数据清洗的核心目标是提升模型效果，需围绕模型假设展开：统一量纲、消除噪声、暴露信号；缺失值处理分类型与比例施策；编码方式依模型特性选择；特征缩放按需进行；时间与ID字段应挖掘衍生特征。
理解数据清洗的核心目标
模型效果很大程度上取决于输入数据的质量。清洗不是简单删掉空值，而是让数据更贴近模型的数学假设——比如线性回归要求特征大致服从正态分布、无强共线性；树模型对异常值更鲁棒但对类别不均衡敏感。所以清洗动作要有明确目的：统一量纲、消除噪声、暴露信号。
处理缺失值要分类型、看比例、选策略
数值型字段缺失率低于5%，可用中位数填充（比均值抗异常值）；高于30%且无业务解释，建议直接剔除该特征。类别型字段缺失，不要填“Unknown”一概而论——先检查缺失是否本身携带信息（例如“未填写职业”的人群在信用评分中可能有规律），可单独编码为一类；若纯随机缺失，再用众数或新增“Missing”标签。
类别变量编码需匹配模型特性
逻辑回归、SVM等线性模型需要避免虚假序关系，优先用One-Hot编码；但高基数类别（如用户ID、商品SKU）会导致维度爆炸，改用目标编码（Target Encoding）更稳妥——用该类别的目标变量均值替代原始值，记得用组内折外均值防止数据泄露。树模型可直接用Label Encoding，但要注意sklearn的LabelEncoder会按字母序赋值，业务上无序的类别建议先映射成有序整数再编码。
特征缩放不是所有模型都必需
树类模型（Random Forest、XGBoost）不依赖距离或梯度，无需标准化；但涉及距离计算（KNN、SVM、PCA）或梯度下降优化（Logistic Regression、神经网络）时，必须做。推荐用StandardScaler（均值为0、方差为1），而非Min-Max（易受异常值拉伸）。注意：拟合（fit）只在训练集上做，测试集只能transform，否则造成信息穿越。
立即学习“Python免费学习笔记（深入）”；
别忽略时间与ID类字段的隐藏价值
时间戳别急着转成Unix秒数——拆解出“星期几”“是否节假日”“小时段”等业务特征，常比原始时间更有预测力。ID类字段（如用户ID、订单号）表面看是噪声，但可通过聚合生成统计特征：用户最近7天下单频次、平均间隔、品类集中度等，往往成为强信号。这类衍生特征建议在清洗后、建模前统一构造，并保存特征名清单供后续复现。
