0

0

解决机器学习中训练集与测试集特征维度不匹配的常见错误

花韻仙語

花韻仙語

发布时间:2026-03-07 20:23:04

|

731人浏览过

|

来源于php中文网

原创

本文详解因独热编码(One-Hot Encoding)未统一处理训练集与测试集,导致 model.score() 报错“feature names mismatch”的根本原因及专业解决方案。

本文详解因独热编码(one-hot encoding)未统一处理训练集与测试集,导致 `model.score()` 报错“feature names mismatch”的根本原因及专业解决方案。

在使用 pd.get_dummies() 对分类变量进行独热编码时,一个极易被忽视却高频出现的问题是:对训练集和测试集分别独立调用 get_dummies,会导致二者生成的列名(即特征维度)不一致。正如你在代码中所做:

x_train = pd.get_dummies(x_train)
x_test = pd.get_dummies(x_test)

当 x_test 中存在 x_train 未曾出现过的类别值(例如某列 Neighborhood 在测试集中含新区域 "Griffin",而训练集中无此值),pd.get_dummies(x_test) 就会额外生成一列 Neighborhood_Griffin;反之,若某类别仅存在于训练集,则该列在 x_test 中彻底缺失。最终,x_train 和 x_test 的列数与列名无法对齐——这正是 model3.score(x_test, y_test) 抛出 ValueError: The feature names should match those that were passed during fit 的直接原因。

✅ 正确做法是:使用 sklearn.preprocessing.OneHotEncoder 进行可复现、可部署的编码流程,严格遵循「先在训练集上 fit_transform,再用同一编码器对测试集 transform」的原则。该方式能确保:

Napkin AI
Napkin AI

Napkin AI 可以将您的文本转换为图表、流程图、信息图、思维导图视觉效果,以便快速有效地分享您的想法。

下载
  • 所有类别映射关系仅由训练集决定;
  • 测试集中新增类别被自动忽略(默认 handle_unknown='ignore');
  • 缺失类别对应位置补零,保持特征空间完全一致。

以下是修正后的关键代码段(精简整合,保留核心逻辑):

from sklearn.preprocessing import OneHotEncoder
from sklearn.compose import ColumnTransformer
from sklearn.pipeline import Pipeline

# 步骤1:识别需编码的类别列(排除数值型目标y及已处理列)
categorical_cols = x_train.select_dtypes(include=['object']).columns.tolist()

# 步骤2:构建预处理器 —— 仅对类别列OneHot编码,其余列保持原样
preprocessor = ColumnTransformer(
    transformers=[
        ('cat', OneHotEncoder(drop='first', handle_unknown='ignore'), categorical_cols)
    ],
    remainder='passthrough',  # 数值列直接保留
    verbose_feature_names_out=False
)

# 步骤3:将预处理与模型封装为Pipeline(推荐!避免数据泄漏与维度错配)
pipeline = Pipeline([
    ('preprocessor', preprocessor),
    ('classifier', KNeighborsClassifier())
])

# 步骤4:拟合 & 评估(x_test 自动完成一致编码)
pipeline.fit(x_train, y_train)
score = pipeline.score(x_test, y_test)  # ✅ 不再报错
print(f"Test Accuracy: {score:.4f}")

⚠️ 重要注意事项:

  • 切勿对 y_train / y_test 使用 pd.get_dummies:你代码中 y_train = pd.get_dummies(y_train) 是严重错误——SalePrice 是连续型回归目标,不是分类标签,独热编码毫无意义且会破坏数据结构;
  • 缺失值填充需在编码前完成:你当前先 concat([x_train, home_test]) 再填缺失值,虽可缓解分布偏移,但更稳健的做法是:仅基于 x_train 统计量(均值/众数)填充 x_train 和 x_test,避免测试集信息泄露;
  • 始终验证特征对齐:调试阶段可添加断言:
    assert list(x_train.columns) == list(x_test.columns), "Feature columns mismatch!"

总结而言,特征工程必须具备「确定性」与「可复现性」。pd.get_dummies() 适用于探索分析,而生产级建模务必采用 OneHotEncoder + Pipeline 的标准化范式——它不仅解决当前报错,更是构建鲁棒、可维护、可上线模型的基础保障。

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
treenode的用法
treenode的用法

​在计算机编程领域,TreeNode是一种常见的数据结构,通常用于构建树形结构。在不同的编程语言中,TreeNode可能有不同的实现方式和用法,通常用于表示树的节点信息。更多关于treenode相关问题详情请看本专题下面的文章。php中文网欢迎大家前来学习。

548

2023.12.01

C++ 高效算法与数据结构
C++ 高效算法与数据结构

本专题讲解 C++ 中常用算法与数据结构的实现与优化,涵盖排序算法(快速排序、归并排序)、查找算法、图算法、动态规划、贪心算法等,并结合实际案例分析如何选择最优算法来提高程序效率。通过深入理解数据结构(链表、树、堆、哈希表等),帮助开发者提升 在复杂应用中的算法设计与性能优化能力。

27

2025.12.22

深入理解算法:高效算法与数据结构专题
深入理解算法:高效算法与数据结构专题

本专题专注于算法与数据结构的核心概念,适合想深入理解并提升编程能力的开发者。专题内容包括常见数据结构的实现与应用,如数组、链表、栈、队列、哈希表、树、图等;以及高效的排序算法、搜索算法、动态规划等经典算法。通过详细的讲解与复杂度分析,帮助开发者不仅能熟练运用这些基础知识,还能在实际编程中优化性能,提高代码的执行效率。本专题适合准备面试的开发者,也适合希望提高算法思维的编程爱好者。

44

2026.01.06

JavaScript浏览器渲染机制与前端性能优化实践
JavaScript浏览器渲染机制与前端性能优化实践

本专题围绕 JavaScript 在浏览器中的执行与渲染机制展开,系统讲解 DOM 构建、CSSOM 解析、重排与重绘原理,以及关键渲染路径优化方法。内容涵盖事件循环机制、异步任务调度、资源加载优化、代码拆分与懒加载等性能优化策略。通过真实前端项目案例,帮助开发者理解浏览器底层工作原理,并掌握提升网页加载速度与交互体验的实用技巧。

23

2026.03.06

Rust内存安全机制与所有权模型深度实践
Rust内存安全机制与所有权模型深度实践

本专题围绕 Rust 语言核心特性展开,深入讲解所有权机制、借用规则、生命周期管理以及智能指针等关键概念。通过系统级开发案例,分析内存安全保障原理与零成本抽象优势,并结合并发场景讲解 Send 与 Sync 特性实现机制。帮助开发者真正理解 Rust 的设计哲学,掌握在高性能与安全性并重场景中的工程实践能力。

68

2026.03.05

PHP高性能API设计与Laravel服务架构实践
PHP高性能API设计与Laravel服务架构实践

本专题围绕 PHP 在现代 Web 后端开发中的高性能实践展开,重点讲解基于 Laravel 框架构建可扩展 API 服务的核心方法。内容涵盖路由与中间件机制、服务容器与依赖注入、接口版本管理、缓存策略设计以及队列异步处理方案。同时结合高并发场景,深入分析性能瓶颈定位与优化思路,帮助开发者构建稳定、高效、易维护的 PHP 后端服务体系。

162

2026.03.04

AI安装教程大全
AI安装教程大全

2026最全AI工具安装教程专题:包含各版本AI绘图、AI视频、智能办公软件的本地化部署手册。全篇零基础友好,附带最新模型下载地址、一键安装脚本及常见报错修复方案。每日更新,收藏这一篇就够了,让AI安装不再报错!

84

2026.03.04

Swift iOS架构设计与MVVM模式实战
Swift iOS架构设计与MVVM模式实战

本专题聚焦 Swift 在 iOS 应用架构设计中的实践,系统讲解 MVVM 模式的核心思想、数据绑定机制、模块拆分策略以及组件化开发方法。内容涵盖网络层封装、状态管理、依赖注入与性能优化技巧。通过完整项目案例,帮助开发者构建结构清晰、可维护性强的 iOS 应用架构体系。

113

2026.03.03

C++高性能网络编程与Reactor模型实践
C++高性能网络编程与Reactor模型实践

本专题围绕 C++ 在高性能网络服务开发中的应用展开,深入讲解 Socket 编程、多路复用机制、Reactor 模型设计原理以及线程池协作策略。内容涵盖 epoll 实现机制、内存管理优化、连接管理策略与高并发场景下的性能调优方法。通过构建高并发网络服务器实战案例,帮助开发者掌握 C++ 在底层系统与网络通信领域的核心技术。

29

2026.03.03

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号