本文介绍使用 pandas 对具有相同 id 的多行记录进行智能合并的方法，通过前向/后向填充与分组聚合，将分散在不同行中的非空值整合到同一行，有效消除冗余、提升数据整洁度。
本文介绍使用 pandas 对具有相同 id 的多行记录进行智能合并的方法，通过前向/后向填充与分组聚合，将分散在不同行中的非空值整合到同一行，有效消除冗余、提升数据整洁度。
在数据分析与报表自动化场景中，常遇到“同一实体（如 P ID）的属性分散在多行”的问题：各字段（如 Q1/Q2/Q3）值稀疏分布，每行仅填充部分列，导致重复 ID 出现多次。直接 drop_duplicates() 会丢失信息，而简单取 'first' 或 'last' 又可能遗漏关键值。理想方案是：对每个 ID 组，将所有非空值“合并”至一行，优先保留有效内容，而非机械选取首尾。
✅ 推荐方案：bfill() + groupby().head(1)（推荐）
该方法利用 bfill()（向后填充）将每组内后续行的非空值向上补全，再取每组第一行——等效于“为每个 ID 提取最完整的一行”。
import pandas as pd
# 构造示例数据（模拟原始 Excel 导入结果）
df = pd.DataFrame({
"P ID": [318, 318, 319, 319],
"T ID": [495, 495, 496, 496],
"C ID": ["00036282", "00036282", "00036283", "00036283"],
"Q1": ["NO", None, "Yes", None],
"Q2": [None, "Yes", None, "Yes"],
"Q3": [None, "All cost covered", "No additional costs", None],
})
# 关键步骤：按 P ID 分组 → 向后填充 → 取每组首行 → 重置索引
merged_df = (df.groupby("P ID", group_keys=False)
.apply(lambda x: x.bfill().head(1))
.reset_index(drop=True))
print(merged_df)输出：
P ID T ID C ID Q1 Q2 Q3 0 318 495 00036282 NO Yes All cost covered 1 319 496 00036283 Yes Yes No additional costs
✅ 为什么用 bfill()？
它确保每组中靠下的非空值能“上浮”覆盖上方的空值；若某字段仅在第二行有值（如 Q2），bfill() 会将其填入第一行，最终 head(1) 即得完整行。
⚠️ 注意：此法假设同组内各 ID 的 T ID、C ID 等标识列值完全一致（如示例中 318 对应两个 495）。若存在真实冲突（如 T ID 不一致），需先校验或改用更严格的聚合策略。
? 替代方案：fillna() + first()（兼容性更强）
若数据中存在混合类型（如字符串与数字混杂），或需显式控制填充逻辑，可改用 first() 聚合配合 fillna：
立即学习“Python免费学习笔记（深入）”；
# 先用 first() 获取每组首个非空值（自动跳过 NaN）
agg_dict = {col: 'first' for col in df.columns if col != "P ID"}
# 注意：'first' 在 pandas 中对 NaN 自动忽略，等效于取首个有效值
merged_df_v2 = df.groupby("P ID").agg(agg_dict).reset_index()但需注意：'first' 行为依赖数据顺序。若原始数据中某字段的有效值总出现在后几行，则 bfill().head(1) 更鲁棒。
? 实用注意事项
- ID 列必须唯一标识逻辑实体：确保 P ID（或其他主键）真正代表同一对象，否则合并将导致语义错误。
-
处理缺失值类型：确认空值为 None 或 pd.NA 或空字符串 ""。若含空字符串，建议预处理统一转为 NaN：
df = df.replace("", pd.NA) - 保留全部列：上述方法自动作用于所有列，无需手动指定字段，符合“所有列都要保留”的需求。
- 性能提示：对 3000+ 行数据，groupby().apply() 效率足够；若数据量达百万级，可考虑 sort_values() + drop_duplicates(keep='first') 配合预填充优化。
✅ 总结
| 方法 | 适用场景 | 优势 | 注意点 |
|---|---|---|---|
| bfill().head(1) | 多行稀疏填充、值分布在不同行 | 逻辑清晰、一次成型、天然保留最完整行 | 要求同组标识列（T ID/C ID）一致 |
| agg('first') | 简单去重+取首有效值 | 语法简洁、性能略优 | 依赖原始行序，对错序数据不鲁棒 |
运行后，你的 3130 行数据将精准压缩为约 900 行结构化结果，可直接导出 Excel：
merged_df.to_excel("merged_output.xlsx", index=False)至此，自动化流程中最后一环——冗余行合并——得以优雅闭环。
