在数据分析中，经常需要比对两个数据集，找出差异。当需要基于多个列进行比对时，pandas 提供了强大的工具来简化这个过程。本教程将演示如何使用 pandas 比对两个 dataframe 的三列数据，并找出所有不匹配的行，即使这些行在不同的 dataframe 中顺序不同。
核心思路
核心思路是使用 pd.merge 函数，并利用其 indicator 参数来标记每一行来自哪个 DataFrame。然后，我们可以根据 indicator 的值来筛选出不匹配的行。
具体步骤
-
准备数据： 首先，创建两个包含需要比对数据的 DataFrame。例如：
import pandas as pd df_old = pd.DataFrame({'column1': ['x', 'a'], 'column2': ['y', 'b'], 'column3': ['z', 'c']}) df_new = pd.DataFrame({'column1': ['a', 'x'], 'column2': ['b', 'y'], 'column3': ['c', 'z']}) -
合并 DataFrame： 使用 pd.merge 函数将两个 DataFrame 合并。关键在于设置 on 参数为需要比对的列名列表，how 参数为 'right'（或 'left'，取决于你想以哪个 DataFrame 为基准），以及 indicator 参数为 True。
merged_df = pd.merge(df_old, df_new, on=['column1','column2','column3'], how='right', indicator=True)
indicator=True 会在结果 DataFrame 中添加一个名为 _merge 的列，该列的值指示每一行来自哪个 DataFrame。'right_only' 表示该行只存在于 df_new 中，'left_only' 表示该行只存在于 df_old 中，'both' 表示该行在两个 DataFrame 中都存在。
-
筛选不匹配的行： 使用布尔索引筛选出 _merge 列值为 'right_only' 的行。这些行就是只存在于 df_new 中，而在 df_old 中找不到匹配的行。
mismatched_rows = merged_df[merged_df['_merge'] == 'right_only']
-
移除辅助列： 可以选择移除 _merge 列，因为它只是用于辅助筛选。
mismatched_rows = mismatched_rows.drop('_merge', axis=1) -
查看结果： 打印或保存 mismatched_rows DataFrame，即可查看所有不匹配的行。
print(mismatched_rows) # mismatched_rows.to_csv(file_name + "_output_mismatched.csv",index=False) # save to csv
完整代码示例
import pandas as pd
df_old = pd.DataFrame({'column1': ['x', 'a'],
'column2': ['y', 'b'],
'column3': ['z', 'c']})
df_new = pd.DataFrame({'column1': ['a', 'x'],
'column2': ['b', 'y'],
'column3': ['c', 'z']})
merged_df = pd.merge(df_old, df_new, on=['column1','column2','column3'], how='right', indicator=True)
mismatched_rows = merged_df[merged_df['_merge'] == 'right_only']
mismatched_rows = mismatched_rows.drop('_merge', axis=1)
print(mismatched_rows)注意事项
- Pandas 版本： 确保你的 Pandas 版本在 2.0.1 或更高版本。
- 数据类型： 确保要比较的列的数据类型在两个 DataFrame 中是一致的。如果不一致，可能会导致错误的结果。
- 缺失值： 如果数据中包含缺失值 (NaN)，pd.merge 函数会将其视为不同的值。如果需要将缺失值视为相等，可以先使用 fillna 函数填充缺失值。
- 内存占用： 对于大型 DataFrame，pd.merge 操作可能会占用大量内存。可以考虑使用分块处理或其他优化方法来降低内存消耗。
总结
使用 pd.merge 函数结合 indicator 参数是一种高效且灵活的方法，可以比对 DataFrame 的多列数据并找出不匹配的行。通过调整 how 参数，可以选择不同的比对方式，以满足不同的需求。掌握这种技巧，可以极大地提高数据分析的效率。
