数据清洗是数据分析前最关键的一步，pandas提供处理缺失值、重复值、异常值、格式不一致和类型错误等工具，需结合业务逻辑分步迭代执行并验证。
数据清洗是数据分析前最关键的一步，Pandas 提供了丰富且实用的工具来处理缺失值、重复值、异常值、格式不一致和类型错误等问题。下面通过一个贴近真实业务的销售订单数据清洗实战案例，带你一步步完成从原始数据到分析就绪数据的全过程。
识别并处理缺失值
缺失值常见于用户未填写、系统采集失败或导出异常等情况。直接删除可能丢失重要样本，盲目填充又可能引入偏差。
建议先用 df.isnull().sum() 查看各列缺失数量，再结合业务判断处理方式：
- 对“客户邮箱”这类非必需但有分析价值的字段，可保留空值，后续建模时再做one-hot或标记为“未知”
- 对“订单金额”缺失，检查是否与“订单状态=已取消”强相关——若是，可填充为0；否则考虑用同城市/同商品类别的中位数填充
- 对整行缺失超过3个关键字段（如订单号、日期、金额）的记录，建议直接删除：df.dropna(thresh=4, inplace=True)
去重与主键校验
订单数据中，“订单号”应唯一。但实际常出现因同步延迟、重复提交导致的完全重复行，或仅时间戳微调的近似重复。
立即学习“Python免费学习笔记（深入）”；
分两步处理：
- 用 df.duplicated(subset=['订单号'], keep='first') 找出重复订单号，并人工抽检几条确认是否真重复
- 若存在“同一订单号+不同支付渠道”的合法多行情况，需明确业务规则：是否应合并？还是保留明细？确定后用 groupby('订单号').agg(...) 合并金额、拼接渠道等
- 对无业务意义的全字段重复，直接 df.drop_duplicates(inplace=True)
统一时间与文本格式
原始数据中，“下单时间”可能是字符串（'2024/03/15 14:28'、'2024-03-15T14:28:05'）、数值（Excel序列号）甚至混入“暂未支付”等文本。
清洗要点：
- 先用 pd.to_datetime(df['下单时间'], errors='coerce') 转换，失败的自动变为 NaT，便于定位异常
- 对含“暂未支付”的行，可新增列 df['下单时间_状态'] = df['下单时间'].apply(lambda x: '待支付' if '暂未' in str(x) else '已下单')
- “商品名称”常有空格、大小写、符号不一致（如“iPhone15” vs “iphone 15”），用 df['商品名称'] = df['商品名称'].str.strip().str.lower().str.replace(r'[^a-z0-9\u4e00-\u9fa5]', '', regex=True) 标准化
修正数据类型与异常数值
看似数字的列（如“数量”“折扣率”）可能被读成 object 类型，或混入“—”“NULL”“N/A”等非数值字符。
操作建议：
- 用 df['数量'] = pd.to_numeric(df['数量'], errors='coerce') 强制转数值，异常值变 NaN，再结合业务判断：负数数量是否合理？0 是否代表赠品？
- “折扣率”本应在 0–1 之间，发现值为 85 的记录，大概率是百分比录入错误，统一除以 100：df.loc[df['折扣率'] > 1, '折扣率'] /= 100
- 对“省份”列中“北京市”“北京”“京”混用的情况，建立映射字典标准化：province_map = {'京': '北京市', '沪': '上海市', ...}，再用 df['省份'].replace(province_map, inplace=True)
清洗不是一次性的操作，而是一个迭代过程：每步处理后都应检查 df.info() 和 df.describe(include='all')，对比清洗前后分布变化。把关键清洗逻辑封装成函数，配合断言（如 assert df['订单号'].is_unique）能大幅提升可维护性与可信度。
