异常值处理需结合分布、业务逻辑与模型敏感度；先用pandas探查数据，再用IQR法、Z-score法或可视化识别异常，最后依成因选择删除、修正或保留。
Python数据预处理不是一串代码堆砌，而是围绕“让数据适合建模”这个目标展开的系统性工作。异常值处理是其中关键一环——它既不能盲目删除，也不能全盘保留，得看分布、业务逻辑和模型敏感度。
数据加载与初步探查
先用pandas读入数据，立刻检查形状、缺失值、数据类型和前几行：
- df.shape 看样本量和特征数
- df.info() 查非空值数量和dtype是否合理（比如日期被读成object）
- df.describe(include='all') 一次性看数值型和类别型变量的统计概览
- df.isnull().sum() 定位缺失集中的列
数值型异常值识别与判断
异常值不等于错误值，得先区分是录入错误、测量偏差，还是真实但罕见的业务现象。常用方法有：
- IQR法：计算Q1、Q3和IQR，定义上下界为 Q1−1.5×IQR 和 Q3+1.5×IQR；适用于近似对称分布
- Z-score法：|z| > 3 视为异常；要求数据近似正态，否则易误判
- 可视化辅助：用箱线图（sns.boxplot）或散点图（plt.scatter）直观定位离群点，结合业务判断是否合理（例如某客户单月消费100万元，在高端珠宝行业可能是正常，但在便利店场景就极可疑）
异常值处理策略选择
处理方式取决于异常成因和后续建模需求：
立即学习“Python免费学习笔记（深入）”；
- 删除：仅适用于确认为录入错误、占比极低（如df = df[~outlier_mask]
- 截断（Winsorization）：将异常值替换成边界值（如用Q1−1.5×IQR替换所有低于下界的值），保留样本量又降低影响；可用 scipy.stats.mstats.winsorize
- 分箱或标记：把异常值单独归为一类（如新增列 is_outlier），供树模型利用其信息；或转为分位数区间（低/中/高/异常）
- 不处理：若使用鲁棒模型（如Random Forest、XGBoost）且异常值有业务含义，有时保留反而提升泛化能力
类别型与时间型字段的预处理要点
异常值不止出现在数字里：
- 类别字段：检查 df['col'].nunique() 和 df['col'].value_counts(dropna=False)，识别拼写错误（如“Male”/“male”/“M”）、异常取值（如年龄字段出现“Unknown”却本应是数值）
- 时间字段：用 pd.to_datetime(df['date'], errors='coerce') 转换，再查 NaT 比例；对明显不合理日期（如“1900-01-01”、“9999-12-31”）按业务规则填充或标记
- 统一编码前先做异常清洗：避免把错误类别（如空格、特殊字符）也编码进模型特征
基本上就这些。预处理没有银弹，核心是理解数据从哪来、要到哪去。每次操作留痕（比如记录删了多少行、哪些值被winsorize），比追求一步到位更重要。
