数据清洗是数据分析中最耗时却最关键的一步；需用df.isnull().sum()和df.info()识别缺失值，再依情况选择删除或填充等方法处理。
数据清洗是数据分析里最耗时却最关键的一步。脏数据不处理，模型再 fancy 也白搭。Python 配合 pandas、numpy 和一些小技巧，能把这事干得又快又稳。
识别并处理缺失值
缺失值不是“看不见就等于没有”，而是可能隐藏偏差的信号。先用 df.isnull().sum() 快速统计每列空值数量；再用 df.info() 看数据类型和非空计数。
- 删除法：缺失少（比如df.dropna(subset=['列名']) 删行，或 df.dropna(axis=1) 删整列
- 填充法：数值型常用均值、中位数（df['age'].fillna(df['age'].median(), inplace=True)）；类别型建议用众数或新增 “Unknown” 类别
- 进阶思路：时间序列用前向/后向填充（ffill/bfill），或用 KNN、回归模型预测填充（需 scikit-learn）
统一格式与类型转换
同一含义的数据，常因录入差异长得不一样——比如日期写成 '2023/01/01'、'2023-01-01'、'01-Jan-2023'；电话号码带括号、空格、横线；价格字段混着字符串如 '$1,299.99'。
- 日期统一：用 pd.to_datetime(df['date'], errors='coerce') 强转，失败变 NaT，便于后续排查
- 字符串清洗：用 .str.replace(r'[^\w\s]', '', regex=True) 去标点；.str.strip().str.lower() 去空格+小写
- 数字提取：对含单位的字段（如 '5.2kg', '38°C'），用 .str.extract(r'(\d+\.?\d*)') 提数字，再转 float
检测并修正异常值
异常值不等于错误，但得确认它是否合理。比如用户年龄出现 180 岁、订单金额 -¥999，大概率是录入或计算 bug。
立即学习“Python免费学习笔记（深入）”；
- 基础筛查：用 df.describe() 看四分位和极值；画箱线图（sns.boxplot(x=df['price'])）直观定位
- 数值型判断：IQR 法更稳健——计算 Q1、Q3，定义上下界为 Q1 - 1.5×IQR 和 Q3 + 1.5×IQR，越界值可设为边界值或 NaN
- 业务逻辑校验：比如注册时间不能晚于下单时间，可用布尔索引快速标记冲突行：df[df['order_time']
去重与结构规整
重复样本会放大某些群体的权重，影响统计和建模结果；而“一表多义”（如把地址拆成多列却有空缺）会让分析逻辑混乱。
- 查重：用 df.duplicated().sum() 看总重复数；df[df.duplicated(keep=False)] 查看所有重复行
- 去重策略：默认保留首次出现（keep='first'），也可按某列排序后再去重，优先留最新记录：df.sort_values('update_time').drop_duplicates('user_id', keep='last')
- 列规整：避免“地址1”“地址2”“地址3”这种设计，用 pandas.melt() 或 pd.concat() 合并冗余列；必要时用 pd.get_dummies() 处理多选分类字段
基本上就这些。清洗不是一步到位，而是“检查→定位→修复→验证”的循环。每次操作后记得 df.shape 和 df.sample(3) 快速过一眼，防止误删或错填。不复杂但容易忽略——真正跑通一个清洗 pipeline，比写十个模型还让人踏实。
