在数据分析和处理过程中，我们经常会遇到需要对字符串数据进行聚合和整理的场景。例如，在处理包含多值属性的列时，可能需要将这些属性合并成一个单一的字符串，并且要求合并后的子字符串遵循特定的顺序。本教程将以一个具体的示例来演示如何使用 pandas 实现这一目标。
问题描述
假设我们有一个 DataFrame，其中包含 CLASS 和 MEMBERS 两列。MEMBERS 列可能包含由 " & " 分隔的多个成员字符串。我们的目标是：
- 按 CLASS 列进行分组。
- 在每个组内，收集 MEMBERS 列中所有的唯一成员。
- 将这些唯一的成员重新组合成一个由 " & " 分隔的字符串。
- 最重要的是，合并后的成员字符串必须按照预定义的顺序排列，例如 ['foo', 'bar', 'baz', 'luz']。
以下是初始 DataFrame 示例：
import pandas as pd
df = pd.DataFrame({'CLASS': ['A', 'B', 'A'],
'MEMBERS': ['foo & bar', 'bar & luz', 'baz']})
print(df)
# CLASS MEMBERS
# 0 A foo & bar
# 1 B bar & luz
# 2 A baz我们期望的输出结果是：
# CLASS # A foo & bar & baz # B bar & luz # Name: MEMBERS, dtype: object
可以看到，对于 CLASS A，原始成员是 ['foo & bar', 'baz']。去重后得到 ['foo', 'bar', 'baz']。按照指定顺序 ['foo', 'bar', 'baz', 'luz'] 排序后，得到 foo & bar & baz。
解决方案
为了实现上述目标，我们需要结合 Pandas 的 groupby 和 agg 方法，并利用 Python 的字符串处理、集合操作以及自定义排序逻辑。
方法一：使用 lambda 表达式结合映射字典进行自定义排序
这种方法直接在 agg 函数中使用 lambda 表达式，通过构建一个映射字典来为 sorted 函数提供自定义排序键。
-
定义排序顺序和映射字典： 首先，我们需要定义期望的成员排序顺序。然后，创建一个字典 mapper，将每个成员字符串映射到其在排序列表中的索引。这个字典将作为 sorted 函数的 key 参数，用于指定排序依据。
order = ['foo', 'bar', 'baz', 'luz'] mapper = {k: i for i, k in enumerate(order)} # mapper 的结果将是：{'foo': 0, 'bar': 1, 'baz': 2, 'luz': 3} -
应用 groupby 和 agg： 接下来，对 DataFrame 进行分组，并对 MEMBERS 列应用聚合函数。聚合函数内部的逻辑如下：
- ' & '.join(s).split(' & ')：将当前组内所有 MEMBERS 列的字符串连接成一个大字符串，然后根据 " & " 分隔符拆分成一个成员列表。
- set(...)：将上述成员列表转换为集合，以自动去除重复的成员。
- sorted(..., key=mapper.get)：对去重后的成员集合进行排序。这里的关键是 key=mapper.get。mapper.get(item) 会返回 item 在 order 列表中的索引。如果 item 不在 mapper 中（即不在 order 列表中），mapper.get 默认返回 None，sorted 会将 None 视为最小或最大值（取决于 Python 版本和数据类型，通常会排在前面或后面），这需要在使用时注意。
- " & ".join(...)：将排序后的成员列表重新连接成一个字符串。
out = (df.groupby('CLASS')['MEMBERS'] .agg(lambda s: " & ".join(sorted(set(' & '.join(s).split(' & ')), key=mapper.get))) ) print(out) # CLASS # A foo & bar & baz # B bar & luz # Name: MEMBERS, dtype: object
方法二：封装为自定义函数并利用 itertools.chain
当聚合逻辑变得复杂时，将其封装到一个独立的函数中会使代码更清晰、更易于维护。此外，itertools.chain.from_iterable 可以更高效地扁平化列表的列表。
-
导入 itertools：
from itertools import chain
-
定义自定义聚合函数： 创建一个名为 cust_join 的函数，它接受 Series s（当前组的 MEMBERS 列）和 order 列表作为参数。
def cust_join(s, order): mapper = {k: i for i, k in enumerate(order)} # 使用 chain.from_iterable 扁平化所有成员列表 # s 是一个 Series，其每个元素都是一个字符串，如 'foo & bar' # x.split(' & ') 将每个字符串拆分成列表，如 ['foo', 'bar'] # chain.from_iterable 负责将 ['foo', 'bar'], ['baz'] 这样的列表的列表扁平化为 ['foo', 'bar', 'baz'] all_members = set(chain.from_iterable(x.split(' & ') for x in s)) # 按照 mapper 的值进行排序 sorted_members = sorted(all_members, key=mapper.get) return ' & '.join(sorted_members) -
应用 groupby 和自定义函数： 在 agg 方法中直接调用 cust_join 函数，并通过 order 参数传递排序列表。
out_alt = (df.groupby('CLASS')['MEMBERS'] .agg(cust_join, order=['foo', 'bar', 'baz', 'luz']) ) print(out_alt) # CLASS # A foo & bar & baz # B bar & luz # Name: MEMBERS, dtype: object
这种方法将聚合逻辑封装起来，使得 agg 调用更加简洁，并且 itertools.chain.from_iterable 在处理大量子列表时通常比 join().split() 更加高效。
注意事项
- 排序顺序的完整性： 确保 order 列表中包含了所有可能出现在 MEMBERS 列中的子字符串。如果 MEMBERS 中存在 order 列表之外的字符串，mapper.get 会返回 None。sorted 函数在处理 None 值时，通常会将其排在非 None 值之前或之后（取决于 Python 版本和具体实现），这可能导致非预期的排序结果。如果需要精确控制，可以考虑在 mapper 中为未定义的成员分配一个较大的默认索引值，或者在 sorted 之前过滤掉这些成员。
- 性能考量： 对于非常大的数据集，字符串的 split 和 join 操作可能会比较耗时。itertools.chain.from_iterable 在一定程度上可以优化扁平化过程，但核心的字符串操作仍是性能瓶颈。在极端情况下，可能需要考虑使用更底层的数据结构或优化算法。
- 分隔符的一致性： 确保 MEMBERS 列中的分隔符与代码中使用的分隔符（" & "）保持一致。不一致的分隔符会导致成员提取错误。
总结
本教程展示了如何在 Pandas 中实现对字符串列的复杂聚合和自定义排序。通过结合 groupby、agg、Python 的集合操作以及 sorted 函数的 key 参数，我们可以灵活地控制聚合结果的结构和顺序。无论是使用 lambda 表达式直接实现，还是封装为自定义函数并利用 itertools.chain 提升代码可读性和潜在性能，掌握这些技巧都将大大增强您在 Pandas 中处理复杂字符串数据的能力。
