
本文档旨在提供一个清晰、实用的指南,帮助你使用 Pandas 合并两个数据帧,并根据特定列的值创建新的列。通过`merge()`函数,我们可以高效地将数据帧连接起来,并使用后缀区分相同列名的来源,最终得到满足需求的结果。
使用 Pandas merge() 函数合并数据帧并创建新列
在数据分析和处理中,经常需要将来自不同数据源的数据合并到一个统一的数据帧中。Pandas 库提供了强大的 merge() 函数,可以根据共同的列(或索引)将两个数据帧连接起来。本文将详细介绍如何使用 merge() 函数,并根据特定列的值创建新的列,以满足特定的数据分析需求。
1. 数据准备
首先,我们需要准备两个包含需要合并的数据帧。以下是示例数据帧 df_1 和 df_2:
import pandas as pd
df_1 = pd.DataFrame({
'ZIP': [93517, 31625, 89311],
'TERRITORY': [1001, 1002, 1002],
'SEGMENT': ['CR1', 'CR1', 'CR1']
})
df_2 = pd.DataFrame({
'ZIP': [93517, 31625, 72844],
'TERRITORY': [2001, 2002, 2003],
'SEGMENT': ['CR2', 'CR2', 'CR2']
})
print("df_1:\n", df_1)
print("\ndf_2:\n", df_2)2. 使用 merge() 函数进行合并
假设 df_1 仅包含 'CR1' segment 的数据,df_2 仅包含 'CR2' segment 的数据。我们可以使用 merge() 函数,通过 'ZIP' 列进行外连接(outer join):
df_final = df_1.merge(df_2, how='outer', on='ZIP', suffixes=['_CR1', '_CR2'])
print("\ndf_final:\n", df_final)在上述代码中:
- how='outer' 指定进行外连接,这意味着将保留两个数据帧中的所有行,如果某个 ZIP 代码只存在于一个数据帧中,则在另一个数据帧对应的列中填充 NaN 值。
- on='ZIP' 指定使用 'ZIP' 列作为连接的键。
- suffixes=['_CR1', '_CR2'] 指定在合并后,如果两个数据帧存在相同的列名(除了连接键 'ZIP'),则分别添加 '_CR1' 和 '_CR2' 后缀,以区分这些列的来源。
3. 数据清理与转换
合并后的数据帧可能包含 NaN 值。我们可以使用 fillna() 函数将 NaN 值替换为 0:
df_final = df_final.fillna(0)
print("\ndf_final after filling NaN:\n", df_final)此外,我们可能需要对列名进行重命名,以使其更具可读性:
df_final = df_final.rename(columns={
'TERRITORY_CR1': 'CR1_TERRITORY',
'TERRITORY_CR2': 'CR2_TERRITORY'
})
print("\ndf_final after renaming columns:\n", df_final)最后,我们可以选择需要的列,并重新排列列的顺序,以满足最终的需求:
df_final = df_final[['ZIP', 'CR1_TERRITORY', 'CR2_TERRITORY']]
print("\nFinal df_final:\n", df_final)完整代码示例:
import pandas as pd
# 数据准备
df_1 = pd.DataFrame({
'ZIP': [93517, 31625, 89311],
'TERRITORY': [1001, 1002, 1002],
'SEGMENT': ['CR1', 'CR1', 'CR1']
})
df_2 = pd.DataFrame({
'ZIP': [93517, 31625, 72844],
'TERRITORY': [2001, 2002, 2003],
'SEGMENT': ['CR2', 'CR2', 'CR2']
})
# 合并数据帧
df_final = df_1.merge(df_2, how='outer', on='ZIP', suffixes=['_CR1', '_CR2'])
# 数据清理与转换
df_final = df_final.fillna(0)
df_final = df_final.rename(columns={
'TERRITORY_CR1': 'CR1_TERRITORY',
'TERRITORY_CR2': 'CR2_TERRITORY'
})
df_final = df_final[['ZIP', 'CR1_TERRITORY', 'CR2_TERRITORY']]
# 输出结果
print(df_final)注意事项:
- 确保用于连接的列(例如 'ZIP')具有相同的数据类型。如果数据类型不匹配,可能会导致合并失败或产生意外的结果。
- 根据实际需求选择合适的连接方式(how 参数)。常用的连接方式包括 inner, outer, left, right。
- 如果两个数据帧中存在多个同名列,需要仔细考虑如何处理这些列。可以使用 suffixes 参数添加后缀,或者在合并后手动重命名列。
总结:
merge() 函数是 Pandas 中一个非常强大的工具,可以用于将来自不同数据源的数据合并到一个统一的数据帧中。通过灵活使用 merge() 函数的各种参数,可以满足各种复杂的数据合并需求。 掌握 merge() 函数的使用方法,对于数据分析和处理至关重要。










