填缺失值本质是业务判断而非技术操作:需结合字段含义选择策略,如分类变量用"unknown"、时间序列慎用ffill、数值型需警惕均值/中位数假设,优先探索缺失模式再决策。

用 fillna() 填缺失值前,先想清楚业务含义
填均值、中位数或众数不是技术问题,而是业务判断。比如用户年龄缺失,填“35”可能掩盖真实分布;订单金额缺失,填 0 会扭曲收入统计;而“未填写”本身可能是用户抗拒提供信息的信号。直接套用 fillna() 很快,但错填比不填更危险。
实操建议:
立即学习“Python免费学习笔记(深入)”;
- 先用
df.isnull().sum()看缺失集中在哪些字段和比例,再查原始采集逻辑(是前端没传?后端校验丢弃?还是 ETL 过程出错?) - 对分类变量,优先考虑
fillna("Unknown")或fillna("Missing"),而不是强行补众数——“未知”本身就是一种有效状态 - 时间序列类字段(如
last_login_time),慎用前向填充(method="ffill"),用户长期未登录 ≠ 上次登录时间可代表当前状态
数值型字段别只盯 mean 和 median
均值对异常值敏感,中位数丢失量级信息,两者都假设缺失是随机发生的——但现实中,缺失常与业务风险强相关(比如高净值客户更不愿填职业)。盲目填充会削弱模型对真实模式的识别能力。
实操建议:
立即学习“Python免费学习笔记(深入)”;
- 先做分组探索:用
df.groupby("is_missing_age")["income"].describe()看缺失人群的收入分布是否显著不同 - 若缺失有业务规律(如新注册用户
job_title普遍为空),可用规则填充:df.loc[df["register_days"] - 需要建模填充时,用
sklearn.impute.IterativeImputer比单变量填充更合理,但注意它默认用线性回归,对非线性关系(如收入与教育年限的拐点)容易失真
fillna() 的 inplace 参数容易引发静默错误
设 inplace=True 看似省事,但遇上链式操作(如 df.dropna().fillna(0))会失效,因为 dropna() 返回新对象,后续 fillna() 作用在副本上,原 df 没变。更麻烦的是,某些 pandas 版本对视图(view)调用 inplace=True 会抛 SettingWithCopyWarning,但不中断执行,导致数据状态难以追踪。
实操建议:
立即学习“Python免费学习笔记(深入)”;
- 统一用赋值写法:
df["age"] = df["age"].fillna(df["age"].median()),清晰可控 - 批量填充时用字典:
df = df.fillna({"age": 32, "income": 8500, "job_title": "Unknown"}),避免逐列覆盖的顺序依赖 - 填充后立刻验证:
assert df["age"].isnull().sum() == 0,尤其在 pipeline 中,别等下游报NaN错误才察觉
导出前检查填充是否污染了关键标识字段
业务系统常依赖某些字段做主键、去重或权限控制(如 user_id、order_no、mobile_hash)。如果这些字段因清洗脚本被误填(比如把空字符串 "" 替换成 "N/A"),下游系统可能当成新用户或重复订单处理。
实操建议:
立即学习“Python免费学习笔记(深入)”;
- 明确标记“禁止填充字段”清单,用
assert not df[forbidden_cols].isnull().any().any()在填充前拦截 - 对含敏感语义的字段(如
is_verified、payment_status),宁可保留NaN也不填False或"Pending"——缺失不等于否定 - 导出 CSV 前加一行:
df.to_csv(..., na_rep="NULL"),让缺失值显式可见,避免接收方把空字符串当有效值
NaN。










