数据清洗需针对性处理缺失值与异常值：识别时兼顾各类伪装缺失；填充按列类型选择众数、中位数或前向填充；异常值优先用iqr法结合可视化判断；推荐pipe链式操作并校验结果。
处理缺失值和异常值是数据清洗的核心环节，直接影响后续分析的准确性和模型效果。Pandas 提供了丰富、灵活的工具，关键在于理解不同场景下该选哪种方法，而不是堆砌函数。
识别缺失值：别只盯着 np.nan
缺失值不只有 np.nan，还可能表现为空字符串、占位符（如 "N/A"、"NULL"、-999）、或空列表等。直接用 .isna() 可能漏掉这些“伪装”的缺失。
- 先用
df.info()和df.describe(include='all')快速扫视各列的数据类型与唯一值分布 - 对字符型列，检查常见占位符：
df[col].str.strip().isin(['', 'N/A', 'NULL', 'unknown']) - 对数值列，留意业务逻辑中的非法值（如年龄为 -1、销售额为 0 但应有交易记录），需结合领域知识判断
填充缺失值：按列特性选择策略
均值/中位数填充不是万能解。类别型、时序型、高基数列各有更合理的填充方式。
-
类别型列（如城市、产品类型）：优先用众数（
mode().iloc[0]）或新增 “Unknown” 类别，避免引入虚假分布 -
数值型列（连续）：若分布偏斜明显（如收入），中位数比均值更稳健；若存在时间维度，可用前向填充（
ffill）或插值（interpolate(method='linear')） -
高基数 ID 类列（如用户 ID）：一般不填充，考虑删除整行或标记为缺失参与后续建模（如用
pd.get_dummies(..., dummy_na=True)）
检测与处理异常值：少用“一刀切”的 3σ
3σ 法则仅适用于近似正态分布，且对样本量敏感。实际中更推荐组合判断：
立即学习“Python免费学习笔记（深入）”；
- 先画箱线图（
df.boxplot()）或直方图，直观看离群点位置和数量 - 对单变量，用 IQR（四分位距）法：
Q1 - 1.5×IQR和Q3 + 1.5×IQR划定边界 - 对多变量关系（如价格 vs 销量），用散点图或局部异常因子（LOF，需 sklearn）识别条件异常
- 处理方式取决于业务：可截断（
clip）、替换为上下界、转为 NaN 后走缺失流程，或保留并添加“是否异常”标志列用于建模
链式操作与就地修改：保持逻辑清晰不污染原数据
清洗过程容易写成多步赋值，既冗余又难调试。推荐用 .pipe() 或明确链式调用，并默认不修改原 DataFrame。
- 避免频繁写
df = df.dropna() → df = df.fillna(...) → df = df.clip(...) - 改用：
df_clean = (df.pipe(clean_col_types).pipe(handle_missing).pipe(remove_outliers)) - 所有清洗函数内部用
copy=True，确保输入不变；必要时才加inplace=True（如内存受限） - 每步后加简单校验，例如
assert df_clean[col].notna().all(), f"{col} 仍有缺失"
