本文介绍如何利用 pandas 的 stack() 和 merge() 实现高效、可读性强的二维映射操作，避免低效的逐行遍历，显著提升大数据量下的映射性能。
本文介绍如何利用 pandas 的 `stack()` 和 `merge()` 实现高效、可读性强的二维映射操作，避免低效的逐行遍历，显著提升大数据量下的映射性能。
在实际数据分析中，常需根据两个字段（如 Subtype 和 Building Condition）联合查表获取对应策略（如 Intervention）。若查表结构为“行=子类型、列=状态”的交叉矩阵（即 DataFrame 的索引和列名共同构成坐标），传统做法是用 for 循环配合 df.at[row_idx, col_name] 逐行提取——虽然逻辑直观，但时间复杂度为 O(n)，且无法利用 pandas 底层优化，在处理数千行以上数据时性能明显下降。
更优解是将查表 DataFrame 向量化地“展开”为三元关系表（即长格式），再通过标准 merge 实现批量映射。核心思路如下：
- 使用 .stack() 将宽表（行列双维度）压平为带多级索引的 Series；
- 调用 .reset_index() 将索引转为普通列，并重命名以对齐目标 DataFrame 的字段；
- 执行 merge 左连接，一次性完成全部映射。
以下是完整、可复现的示例代码：
import pandas as pd
# 构造原始数据
df1 = pd.DataFrame({
'Subtype': ['A', 'B', 'C'],
'Building Condition': ['Good', 'Bad', 'Bad']
})
df2 = pd.DataFrame({
'Good': {'A': 'Repair', 'B': 'Retrofit', 'C': 'Reconstruct'},
'Bad': {'A': 'Retrofit', 'B': 'Reconstruct', 'C': 'Reconstruct'}
})
# df2 索引为 Subtype，列为 Building Condition，值为 Intervention
# ✅ 高效映射：三步向量化展开 + 合并
tmp = (df2
.stack() # → Series: (Subtype, Building Condition) → Intervention
.reset_index(name='Intervention') # → DataFrame with cols: Subtype, Building Condition, Intervention
.rename(columns={'level_0': 'Subtype', 'level_1': 'Building Condition'})
)
result = df1.merge(tmp, on=['Subtype', 'Building Condition'], how='left')
print(result)输出结果：
Subtype Building Condition Intervention 0 A Good Repair 1 B Bad Reconstruct 2 C Bad Reconstruct
✅ 优势总结：
- 性能卓越：全程无 Python 循环，底层调用 NumPy/Cython 优化，速度通常比 for + at 快 5–50 倍（取决于数据规模）；
- 健壮性强：自动处理缺失组合（how='left' 保证原行不丢失，缺失值为 NaN），便于后续校验；
- 可扩展性好：若未来增加新状态（如 'Fair' 列），无需修改逻辑，仅需更新 df2 即可；
- 语义清晰：.stack().reset_index() 明确表达了“将二维查表转为键值对”的意图，远胜隐式索引访问。
⚠️ 注意事项：
- 确保 df2 的索引名与 df1 中用于匹配的列名一致（如本例中 df2.index.name 应为 'Subtype'，或通过 df2.index.rename('Subtype') 显式设置）；
- 若 df2 列名含空格或特殊字符，stack() 后的 level_1 列可能需手动重命名，建议统一使用规范列名；
- 对超大规模 df2（如 >10 万行列组合），可考虑先 tmp 持久化为 pd.Categorical 或使用 pd.merge_asof（需预排序），但本场景下 stack + merge 已是最简最优解。
该方法体现了 pandas “数据形状驱动操作”的设计哲学——不强行适配原始宽表结构，而是将其转化为最适合连接的长格式，是高效数据映射的典型范式。
