在数据分析和处理过程中，我们经常会遇到dataframe的某一列中，一个单元格包含了多个逻辑上独立的子项，这些子项通常通过特定的分隔符连接成一个字符串。为了更好地进行数据分析或满足后续处理的需求，我们可能需要将这些包含多项的行拆分成多行，使得每个子项都拥有自己独立的行。pandas提供了强大的工具来优雅地解决这个问题，其中str.split()和explode()函数的组合是实现这一目标的核心方法。
核心方法：str.split()与explode()
实现基于分隔符的行拆分主要分为两个步骤：
使用str.split()将字符串拆分为列表： 首先，我们需要识别目标列中的分隔符，并使用Pandas Series的字符串方法str.split()将每个单元格的字符串内容转换为一个列表。这个列表中的每个元素都对应原始字符串中被分隔符隔开的一个子项。
使用explode()展开列表为多行：explode()函数是Pandas 0.25.0版本引入的一个强大功能。它能够将DataFrame中某一列的列表状条目“展开”成多行。具体来说，如果一个单元格包含一个列表，explode()会为该列表中的每个元素创建一行，同时复制该行其他列的所有数据。
通过这两个步骤的结合，我们就能将一个包含多项的单行数据，有效地扩展成多行，每行代表一个独立的子项。
示例演示
假设我们有一个DataFrame，其中SPLIT列包含用“ / ”分隔的多个值，我们希望将这些值拆分到不同的行中。
原始DataFrame：
import pandas as pd
df = pd.DataFrame({
'ASSET_CLASS': ['Core',],
'SPLIT': ['0.6 Government / 0.4 Credit']
})
print("原始DataFrame:")
print(df)输出：
原始DataFrame: ASSET_CLASS SPLIT 0 Core 0.6 Government / 0.4 Credit
实现步骤：
-
将SPLIT列的字符串按分隔符“ / ”拆分为列表：
df["SPLIT"] = df["SPLIT"].str.split(" / ") print("\n拆分'SPLIT'列为列表后的DataFrame:") print(df)此时，SPLIT列的类型将变为对象（object），其内容为列表：
拆分'SPLIT'列为列表后的DataFrame: ASSET_CLASS SPLIT 0 Core [0.6 Government, 0.4 Credit]
-
使用explode()函数展开SPLIT列的列表：
df = df.explode("SPLIT") print("\n使用explode()展开后的DataFrame:") print(df)explode()会将SPLIT列中的列表元素逐一展开，并为每个元素创建一行，同时保留ASSET_CLASS列的相应值。此时，DataFrame的索引可能会保持原始行的索引。
使用explode()展开后的DataFrame: ASSET_CLASS SPLIT 0 Core 0.6 Government 0 Core 0.4 Credit
-
重置索引（可选但推荐）：
为了获得一个整洁、连续的行索引，通常建议在explode()操作之后使用reset_index(drop=True)。drop=True参数会丢弃旧的索引，而不是将其作为新列保留。
df = df.reset_index(drop=True) print("\n最终拆分并重置索引后的DataFrame:") print(df)最终结果：
最终拆分并重置索引后的DataFrame: ASSET_CLASS SPLIT 0 Core 0.6 Government 1 Core 0.4 Credit
完整代码示例
import pandas as pd
# 原始DataFrame
df = pd.DataFrame({
'ASSET_CLASS': ['Core',],
'SPLIT': ['0.6 Government / 0.4 Credit']
})
print("原始DataFrame:")
print(df)
# 步骤1: 使用str.split()将字符串拆分为列表
df["SPLIT"] = df["SPLIT"].str.split(" / ")
print("\n拆分'SPLIT'列为列表后的DataFrame:")
print(df)
# 步骤2: 使用explode()将列表展开为多行
df = df.explode("SPLIT")
print("\n使用explode()展开后的DataFrame:")
print(df)
# 步骤3: 重置索引以保持整洁
df = df.reset_index(drop=True)
print("\n最终拆分后的DataFrame:")
print(df)注意事项
- 分隔符的准确性： 确保str.split()中使用的分隔符与实际数据中的分隔符完全匹配。如果分隔符可能包含特殊字符（如正则表达式元字符），需要对分隔符进行转义或使用regex=False参数（如果split支持）。
- 空值处理： 如果目标列中存在NaN值或空字符串，str.split()会相应地返回NaN或空列表。explode()在遇到NaN时会将其保留，遇到空列表时则不会生成新的行。根据具体需求，可能需要在拆分前进行空值或空字符串的处理。
- 性能考量： 对于非常大的DataFrame，explode()操作可能会消耗较多的内存和计算资源，因为它会复制其他列的数据。但在大多数情况下，它是处理此类数据转换最简洁高效的方法。
- 多列拆分： 如果需要对多列进行类似的拆分操作，可以对每列重复上述过程，或者考虑更复杂的策略，例如先将需要拆分的列合并，再进行拆分，最后再按需分离。
- Pandas版本： explode()函数是在Pandas 0.25.0版本中引入的。如果使用旧版本Pandas，需要升级或寻找替代方法（如apply(pd.Series).stack().reset_index()等，但通常不如explode()直观和高效）。
总结
通过str.split()和explode()函数的组合，Pandas提供了一种极其强大且简洁的方法来处理DataFrame中包含分隔符的复杂字符串数据，并将其规范化为更易于分析的多行结构。掌握这一技巧对于进行数据清洗、预处理和特征工程至关重要，能够显著提高数据处理的效率和代码的可读性。
