本文详细介绍了如何利用 Pandas 库高效地根据一个字典来聚合 DataFrame 中的列。通过将原始列名映射到新的分组键，并结合 `rename` 和 `groupby.sum` 方法，或者在较新版本 Pandas 中采用转置 (`.T`) 的策略，我们可以实现将多个指定列按行求和并创建新列的需求，避免了传统循环的低效，提升了代码的简洁性和执行效率。
在数据处理中，我们经常会遇到需要将 DataFrame 中的多列按照某种规则进行聚合，生成新的列。例如，给定一个 DataFrame 和一个字典，该字典的键代表新的列名，值则是一个包含现有列名的列表，表示这些现有列需要按行求和以构成新的列。传统上，这可能通过循环实现，但在 Pandas 中，有更“Pythonic”且高效的向量化方法。
场景描述与初始数据准备
假设我们有一个 Pandas DataFrame，其中包含多列数值数据。同时，我们还有一个字典，它定义了如何将这些列进行分组和求和。
示例数据：
import pandas as pd
df = pd.DataFrame([[4,8,52,7,54],[0,20,2,21,35],[2,33,12,1,87]], columns = ['A', 'B', 'C', 'D', 'E'])
dic = {'x':['A','D'], 'y' : ['E'], 'z':['B','C']}
print("原始 DataFrame:")
print(df)
print("\n聚合字典:")
print(dic)输出：
原始 DataFrame:
A B C D E
0 4 8 52 7 54
1 0 20 2 21 35
2 2 33 12 1 87
聚合字典:
{'x': ['A', 'D'], 'y': ['E'], 'z': ['B', 'C']}我们的目标是创建一个新的 DataFrame，其中包含 'x', 'y', 'z' 三列。列 'x' 的值是原始 DataFrame 中 'A' 和 'D' 列的按行和；列 'y' 是 'E' 列的值；列 'z' 是 'B' 和 'C' 列的按行和。
解决方案一：利用 rename 和 groupby.sum
这种方法的核心思想是：首先创建一个反向映射字典，将原始列名映射到它们所属的新分组名。然后，利用 df.rename(columns=d2) 临时“重命名”列，使得属于同一分组的列拥有相同的名称。最后，使用 groupby(level=0, axis=1).sum() 对这些具有相同名称的列进行按行求和。
-
创建反向映射字典 d2： 这个字典将原始 DataFrame 的每个列名（如 'A', 'D'）映射到其在结果 DataFrame 中对应的列名（如 'x'）。
d2 = {v:k for k,l in dic.items() for v in l} print("\n反向映射字典:") print(d2)输出：
反向映射字典: {'A': 'x', 'D': 'x', 'E': 'y', 'B': 'z', 'C': 'z'} -
重命名列并进行分组求和：df.rename(columns=d2) 会将 DataFrame 的列名根据 d2 进行转换。例如，'A' 和 'D' 都会被临时命名为 'x'。 groupby(level=0, axis=1).sum() 的作用是：
- axis=1 表示按列进行分组操作。
- level=0 在这里指的是列名本身。由于重命名后，属于同一分组的列现在具有相同的名称，groupby 会将它们视为一个组。
- .sum() 则对每个组内的列进行求和，由于 axis=1，这实际上是按行求和。
out = df.rename(columns=d2).groupby(level=0, axis=1).sum() print("\n解决方案一结果:") print(out)输出：
解决方案一结果: x y z 0 11 54 60 1 21 35 22 2 3 87 45
解决方案二：利用转置 (.T) 处理（适用于较新 Pandas 版本）
在某些较新的 Pandas 版本中，直接在 groupby 中使用 axis=1 可能会被弃用或推荐使用其他方法。一个等效且兼容性更好的方法是先转置 DataFrame，然后在行上（即原列）进行分组操作，最后再转置回来。
-
创建反向映射字典 d2： 与解决方案一相同，首先创建这个字典。
d2 = {v:k for k,l in dic.items() for v in l} -
转置、重命名、分组求和并再次转置：
- df.T：将 DataFrame 转置，此时原来的列名变成了索引。
- .rename(d2)：此时 d2 会作用于转置后的索引（即原来的列名）。
- .groupby(level=0).sum()：在转置后的 DataFrame 上，level=0 指的是当前的行索引。具有相同索引值的行（即原 DataFrame中属于同一分组的列）会被聚合求和。
- .T：最后再次转置，将结果恢复到我们期望的列式结构。
out_transposed = df.T.rename(d2).groupby(level=0).sum().T print("\n解决方案二（转置）结果:") print(out_transposed)输出：
解决方案二（转置）结果: x y z 0 11 54 60 1 21 35 22 2 3 87 45
总结与注意事项
- Pythonic 与效率： 这两种方法都充分利用了 Pandas 的向量化操作，避免了显式的 Python 循环，因此在处理大规模数据时具有显著的性能优势。它们比手动迭代 DataFrame 的行和列要高效得多。
- 灵活性： 这种方法非常灵活，只要能够构建出正确的映射字典，就可以根据任意复杂的列分组规则进行聚合。
- groupby(level=0, axis=1) 的理解： level=0 在这里指的是 DataFrame 的列索引的第一个（也是唯一一个）级别。当列名被 rename 映射后，具有相同映射值的列在 groupby 时会被视为一个组。
- 转置方法的适用性： 当遇到 groupby 在 axis=1 上的使用被提示弃用时，转置方法是一个很好的替代方案，它在功能上完全等价。
- 错误处理： 在实际应用中，需要确保 dic 中引用的所有列名都存在于 df 中，否则 rename 操作可能会导致错误或意外行为。
通过掌握这些 Pandas 技巧，您可以更高效、更简洁地完成 DataFrame 列的聚合任务，从而提升数据处理的效率和代码的可维护性。
