在数据分析实践中，我们经常会遇到数据格式不规范的情况，例如在同一个字符串列中混合了数字和文本。当我们需要对这些数字进行计算（如求和、平均值）时，就必须先将它们精确地提取出来。pandas库提供了强大的字符串处理功能，特别是series.str.extract方法，能够结合正则表达式高效地解决这类问题。
场景描述
假设我们有一个Pandas DataFrame，其中包含产品类别（Category）、销售量（Sales）和支付状态（Paid）等信息。Sales列的数据格式不一致，例如"1 table"、"3chairs"、"8 cushions"等，数字与文本紧密相连，且文本部分也不固定。我们的目标是从Sales列中提取出纯粹的销售数字，并根据Category列进行分组求和。
首先，我们来创建示例数据：
import pandas as pd
import io
data = """Category Sales Paid
Table 1 table Yes
Chair 3chairs Yes
Cushion 8 cushions Yes
Table 3Tables Yes
Chair 12 Chairs No
Mats 12Mats Yes
"""
df = pd.read_csv(io.StringIO(data), sep=r'\s{2,}', engine='python')
print("原始DataFrame:")
print(df)输出：
原始DataFrame: Category Sales Paid 0 Table 1 table Yes 1 Chair 3chairs Yes 2 Cushion 8 cushions Yes 3 Table 3Tables Yes 4 Chair 12 Chairs No 5 Mats 12Mats Yes
使用str.extract提取数值
解决此问题的核心是使用str.extract方法，它允许我们通过正则表达式从字符串中捕获特定模式的数据。
1. 定义正则表达式
我们需要一个正则表达式来匹配字符串开头的数字。
- ^：匹配字符串的开始。
- \d+：匹配一个或多个数字（0-9）。
- ()：捕获组，表示我们想要提取这部分匹配到的内容。
因此，正则表达式为^(\d+)。
2. 应用str.extract并转换类型
将正则表达式应用于Sales列，并指定expand=False以返回一个Series而不是DataFrame（因为我们只有一个捕获组）。提取出的结果将是字符串类型，需要通过astype(int)将其转换为整数类型，以便进行数学运算。
# 提取Sales列中的数字并转换为整数
extracted_sales = df['Sales'].str.extract('^(\d+)', expand=False).astype(int)
print("\n提取并转换后的销售数字:")
print(extracted_sales)输出：
提取并转换后的销售数字: 0 1 1 3 2 8 3 3 4 12 5 12 Name: Sales, dtype: int64
分组聚合：计算各类别的总销售量
现在我们已经得到了纯粹的销售数字，可以将其与原始DataFrame的Category列结合，进行分组求和。
# 计算所有项目的销售总量
total_sales_per_category = extracted_sales.groupby(df['Category']).sum()
print("\n按类别统计的总销售量:")
print(total_sales_per_category)输出：
按类别统计的总销售量: Category Chair 15 Cushion 8 Mats 12 Table 4 Name: Sales, dtype: int64
进阶应用：条件性分组聚合
有时，我们可能需要基于另一个列的条件来计算销售量，例如只计算已支付（Paid == 'Yes'）的销售量。这时，我们可以先对Sales列进行条件筛选，然后再进行提取和聚合。
一种有效的做法是使用Series.where()方法。where()方法根据条件选择性地替换Series中的值。如果条件为True，则保留原始值；如果条件为False，则替换为other参数指定的值。在这里，我们希望对于Paid不为'Yes'的行，其销售量计为0。
# 只计算已支付（Paid == 'Yes'）项目的销售总量
conditional_sales = (
df['Sales']
.where(df['Paid'] == 'Yes', other='0') # 如果Paid不是'Yes'，则将Sales值替换为'0'
.str.extract('^(\d+)', expand=False)
.astype(int)
.groupby(df['Category'])
.sum()
)
print("\n按类别统计的已支付销售量:")
print(conditional_sales)输出：
按类别统计的已支付销售量: Category Chair 3 Cushion 8 Mats 12 Table 4 Name: Sales', dtype: int64
在这个例子中，Chair类别的总销售量是15，但只有一条记录是Paid == 'Yes'（3chairs），另一条（12 Chairs）是Paid == 'No'。因此，条件性聚合后，Chair的已支付销售量变为3。
注意事项与总结
- 正则表达式的准确性：选择正确的正则表达式至关重要。本例中^(\d+)适用于数字在字符串开头的情况。如果数字在字符串中间或末尾，或者有其他更复杂的模式，则需要调整正则表达式。例如，(\d+)可以匹配字符串中任意位置的数字。
- expand参数：当正则表达式包含捕获组时，str.extract默认返回一个DataFrame。如果只有一个捕获组且希望结果为Series，设置expand=False会更方便。
- 类型转换：str.extract提取出的内容总是字符串类型。在进行数值计算前，务必使用astype(int)、astype(float)等方法将其转换为合适的数值类型。
- 错误处理：如果str.extract未能匹配到任何数字，它会返回NaN。尝试将NaN转换为整数会引发错误。在实际应用中，可能需要先用fillna(0)或其他策略处理NaN值，或使用pd.to_numeric(errors='coerce')来更稳健地处理转换失败的情况。
- where()的妙用：Series.where()是一个非常强大的工具，可以在不改变DataFrame结构的前提下，根据条件灵活地修改Series中的值，为后续操作（如本例中的条件性聚合）奠定基础。
通过本教程，我们学习了如何利用Pandas的str.extract方法结合正则表达式，有效地从混合字符串列中提取数值，并进行灵活的分组聚合。掌握这些技巧，将大大提升您在数据清洗和预处理方面的效率和能力。
