本文旨在详细介绍如何在pandas dataframe中，针对包含混合数据类型的列，利用正则表达式进行高效的模式提取与识别。我们将重点探讨`str.extract()`方法，并结合`|`操作符构建复杂的正则表达式，以从单个列中同时匹配并提取多个特定字符串模式，从而实现数据的清洗、分类及统计。
在数据分析实践中，我们经常会遇到从外部数据源（如Excel、CSV）导入的数据，其中某些列可能包含多种数据类型或复杂的字符串模式。例如，一个列可能同时包含纯数字、特定标识符（如“EE”、“AA”、“EA+”、“EA-”）、以及其他描述性文本。从这类混合数据列中精确提取所需信息，是数据预处理的关键一步。Pandas库提供了强大的字符串操作功能，特别是结合正则表达式，能够高效地解决这类问题。
1. 导入必要的库与数据准备
首先，我们需要导入Pandas库。为了演示，我们将创建一个模拟的DataFrame，其结构类似于问题中描述的Excel数据，包含一个名为Nachfolger的混合数据列。
import pandas as pd
import numpy as np
# 模拟数据，包含混合类型的 'Nachfolger' 列
data = {
'Nachfolger': [
'54;20', '----', '----', '52', '52;128AA;207;22;223', '----',
'52;24', '28', '----', '52;227;27', '30', '227', '----',
'52;31', '----', '138EE;34', '----', '139EE;36', '----',
'140EE;38', '----', '141EE;40', 'EA+;123', 'EA-;456', 'AA', 'OTHER'
]
}
df = pd.DataFrame(data)
print("原始DataFrame:")
print(df)2. 理解str.extract()方法
pandas.Series.str.extract(pat, expand=True)是Pandas中用于从字符串列中提取匹配正则表达式模式的子字符串的强大方法。
- pat: 必需参数，表示要匹配的正则表达式模式。
- expand: 布尔值，默认为True。如果为True，则返回一个DataFrame，每个捕获组对应一列；如果为False，则返回一个Series/DataFrame，取决于捕获组的数量。
当正则表达式包含命名捕获组时，str.extract()会使用这些组名作为返回DataFrame的列名。
3. 构建复杂的正则表达式以提取多个模式
最初的尝试可能分别使用str.extract()来匹配不同的模式，例如：
# 初步尝试：分别提取 'EE' 和 'AA'
df['Verknüpfung1_EE'] = df['Nachfolger'].str.extract(r'(EE)')
df['Verknüpfung2_AA'] = df['Nachfolger'].str.extract(r'(AA)')
print("\n初步提取结果 (分开处理):")
print(df[['Nachfolger', 'Verknüpfung1_EE', 'Verknüpfung2_AA']].head(10))这种方法虽然可行，但会创建多个新列，并且如果需要匹配的模式增多，代码会变得冗长。更高效和简洁的方法是使用正则表达式的“或”运算符|来组合多个模式，并在一个str.extract()调用中完成提取。
例如，我们要提取EE、AA、EA+或EA-这四种模式。
- EE：匹配字符串"EE"。
- AA：匹配字符串"AA"。
- EA[+-]：这是一个字符集，[+-]表示匹配+或-中的任意一个。所以EA[+-]可以匹配"EA+"或"EA-"。
将这些模式组合起来，我们得到正则表达式 (EE|EA[+-]|AA)。括号()创建了一个捕获组，str.extract()会提取这个组匹配到的内容。
# 使用组合正则表达式提取所有目标模式
# 注意：使用原始字符串 (r'') 避免反斜杠的转义问题
df['Verknüpfung'] = df['Nachfolger'].str.extract(r'(EE|EA[+-]|AA)')
print("\n使用组合正则表达式提取结果:")
print(df[['Nachfolger', 'Verknüpfung']])4. 处理提取结果：填充缺失值与统计
str.extract()在没有匹配到任何模式时，会返回NaN（Not a Number）。为了后续分析或统计，我们通常需要处理这些NaN值，例如将其填充为0或特定的字符串。
# 填充NaN值，例如填充为0或者空字符串
df['Verknüpfung'] = df['Verknüpfung'].fillna(0) # 或者 df['Verknüpfung'].fillna('')
print("\n填充NaN后的提取结果:")
print(df[['Nachfolger', 'Verknüpfung']])
# 统计每种模式的出现次数
# 过滤掉填充的0，只统计实际提取到的模式
extracted_counts = df[df['Verknüpfung'] != 0]['Verknüpfung'].value_counts()
print("\n提取模式的统计结果:")
print(extracted_counts)5. 注意事项与最佳实践
- 原始字符串（Raw String）：在Python中定义正则表达式时，强烈建议使用原始字符串（以r开头，如r'pattern'）。这可以避免反斜杠\的转义问题，因为正则表达式本身就大量使用反斜杠进行特殊字符定义。
- 正则表达式的精确性：确保你的正则表达式足够精确，以避免误匹配。例如，如果AA可能作为更大单词的一部分出现，你可能需要使用单词边界\b，如r'\bAA\b'。
- 性能考量：对于非常大的DataFrame，正则表达式操作可能会相对耗时。如果性能是关键因素，可以考虑先对列进行采样或使用更优化的字符串处理库（如re模块的编译模式）进行测试。
-
多捕获组：如果你的正则表达式包含多个捕获组，str.extract()将返回一个DataFrame，其中每个捕获组对应一列。
# 示例：提取数字和字母部分 df_multi_group = pd.DataFrame({'text': ['ID123_A', 'ID456_B', 'NO_MATCH']}) extracted_multi = df_multi_group['text'].str.extract(r'ID(\d+)_([A-Z])') print("\n多捕获组提取结果:") print(extracted_multi) -
str.contains() vs str.extract()：
- str.contains()：返回一个布尔Series，指示每个字符串是否包含匹配模式。适用于检查是否存在特定模式。
- str.extract()：返回匹配模式的实际子字符串。适用于提取具体信息。 根据你的需求选择合适的方法。
总结
通过本文的介绍，我们学习了如何在Pandas DataFrame中，利用str.extract()方法结合强大的正则表达式，从混合数据列中高效地提取和识别多种字符串模式。掌握|运算符的使用，能够构建简洁且功能强大的正则表达式，极大地简化了数据清洗和预处理的工作。正确处理NaN值并进行统计，能够进一步从提取的数据中获取有价值的洞察。在实际应用中，灵活运用这些技巧，将有助于我们更有效地处理和分析复杂的数据集。
