本文介绍如何在 pandas 中对齐并合并列不完全匹配的数据框，确保目标列（如 usd/eur/gbp）始终保留、缺失列自动补 nan，避免 keyerror 或列丢失，适用于动态字段场景。
本文介绍如何在 pandas 中对齐并合并列不完全匹配的数据框，确保目标列（如 usd/eur/gbp）始终保留、缺失列自动补 nan，避免 keyerror 或列丢失，适用于动态字段场景。
在实际数据分析中，常遇到「基础结构固定但源数据列动态变化」的场景：例如你预先定义了一个含 USD、EUR、GBP 三列的空模板 DataFrame，而后续填充数据来自多个来源——有的含全部三列，有的仅含其中两列（如只有 USD 和 EUR），甚至可能只含一列。此时若直接使用 pd.merge() 默认左连接或内连接，不仅无法保留缺失列，还可能因列名不全引发 KeyError；而简单 concat 或 join 又难以保证行对齐（尤其当 group 索引顺序或完整性不一致时）。
正确解法是：以结构化模板为基准，对每个待填充数据框执行 outer 模式合并，并显式指定 left_index=True 与 right_index=True（或通过 on='group' 对齐），从而实现「列存在则更新、不存在则保留原 NaN」的语义。
以下是可复用的完整实现方案：
import pandas as pd
import numpy as np
# 步骤1：构建标准模板（含全部目标列）
template = pd.DataFrame({
'group': ['A', 'B', 'C'],
'USD': [np.nan, np.nan, np.nan],
'EUR': [np.nan, np.nan, np.nan],
'GBP': [np.nan, np.nan, np.nan]
}).set_index('group') # 设 group 为索引，便于对齐
# 步骤2：模拟不同结构的输入数据（均以 group 为索引）
df_data_1 = pd.DataFrame({
'USD': [np.nan, 0.04, 0.02],
'EUR': [0.05, np.nan, np.nan],
'GBP': [0.04, 0.03, 0.01]
}).set_index(pd.Series(['A', 'B', 'C']))
df_data_2 = pd.DataFrame({
'USD': [np.nan, 0.04, 0.02],
'EUR': [0.05, np.nan, np.nan]
}).set_index(pd.Series(['A', 'B', 'C']))
# 步骤3：使用 outer join 安全合并（关键！）
result_1 = template.join(df_data_1, how='outer', rsuffix='_new')
result_2 = template.join(df_data_2, how='outer', rsuffix='_new')
# 清理：保留左侧列名，右侧同名列覆盖左侧 NaN 值
def safe_fill_template(template_df: pd.DataFrame, data_df: pd.DataFrame) -> pd.DataFrame:
# 确保索引对齐（group 列需一致）
merged = template_df.join(data_df, how='outer')
# 对每个目标列，用 data_df 中的值覆盖 template 中的 NaN（非覆盖则保留原值）
for col in template_df.columns:
if col in data_df.columns:
merged[col] = data_df[col].where(pd.notna(data_df[col]), merged[col])
return merged.reset_index()
# 应用函数（推荐方式，更可控）
final_1 = safe_fill_template(template.reset_index(), df_data_1.reset_index())
final_2 = safe_fill_template(template.reset_index(), df_data_2.reset_index())
print("填充含 USD/EUR/GBP 的数据：")
print(final_1)
print("\n填充仅含 USD/EUR 的数据：")
print(final_2)输出示例：
填充含 USD/EUR/GBP 的数据： group USD EUR GBP 0 A NaN 0.05 0.04 1 B 0.04 NaN 0.03 2 C 0.02 NaN 0.01 填充仅含 USD/EUR 的数据： group USD EUR GBP 0 A NaN 0.05 NaN 1 B 0.04 NaN NaN 2 C 0.02 NaN NaN
✅ 关键要点总结：
- 勿用 merge(..., on='group') 直接操作：当 df_data_2 缺少 GBP 列时，merge 会报错或静默丢弃列；join 在索引对齐下天然支持列补全。
- 优先使用 join + how='outer'：它能自动保留左表所有列，并将右表存在的列值注入对应行，缺失列保持 NaN。
- 若必须用 merge：需先对右表补全缺失列（reindex(columns=template.columns, fill_value=np.nan)），再 merge，但不如 join 简洁。
- 注意索引一致性：确保 template 和各 data_df 的 group 列均设为索引，或统一重置索引后通过 on='group' 合并。
- 生产环境建议封装函数：如上 safe_fill_template()，可校验列名、处理索引、支持多数据源批量填充，提升健壮性。
该方法兼顾灵活性与安全性，是处理「模板驱动、数据稀疏」类 ETL 场景的标准实践。
