本教程详细介绍了如何使用pandas库根据dataframe中特定范围列的数值条件动态创建新列。文章通过一个实际案例，演示了如何利用df.filter()结合正则表达式精确选择目标列，并利用.any()方法判断行内是否存在满足条件的数值（如大于0的事件数），最终高效地生成一个表示“响应者”状态的布尔或分类列。
在数据分析与处理中，我们经常需要根据DataFrame中多列的复杂条件来生成新的特征列。尤其当这些列名具有某种命名模式，并且需要根据其数值内容（例如是否存在大于零的值）来判断时，如何高效且灵活地筛选出目标列并进行条件判断，是一个常见的挑战。本教程将深入探讨如何利用Pandas的强大功能，特别是df.filter()方法结合正则表达式，以及.any()和np.where()函数，来解决这类问题。
场景描述
假设我们有一个实验数据DataFrame，其中包含动物ID、体重、项目类型以及一系列命名为events_d1, events_d2, events_d3, events_d4等事件计数列。我们的目标是创建一个名为“responder”的新列，根据以下规则填充：如果events_d1到events_d3这些列中（注意，不包括events_d4）至少有一个事件数大于0，则“responder”列值为'y'，否则为'n'。关键在于，我们希望能够通过模式匹配而非显式列名列表来选择events_d*列。
原始数据示例如下：
Animal_ID weight Project Exp_type researcher events_d1 events_d2 events_d3 events_d4 0 a1 50 p1 Acute alex 0 0 0 4 1 a2 52 p2 chronic mat 0 1 1 5 2 a3 75 p1 Acute alex 1 NaN 2 NaN 3 a4 53 p2 chronic mat 0 NaN NaN 0
期望的输出结果：
Animal_ID weight responder Project Exp_type researcher events_d1 events_d2 events_d3 events_d4 0 a1 50 n p1 Acute alex 0 0 0 4 1 a2 52 y p2 chronic mat 0 1 1 5 2 a3 75 y p1 Acute alex 1 NaN 2 NaN 3 a4 53 n p2 chronic mat 0 NaN NaN 0
核心方法解析
解决此问题的关键在于三个Pandas和NumPy的函数组合：df.filter()、.any(axis=1)和np.where()。
1. 使用 df.filter() 结合正则表达式筛选目标列
DataFrame.filter() 方法允许我们根据列名或索引的模式进行筛选。它提供了like、items和regex参数来实现不同的筛选逻辑。在本场景中，regex参数是理想选择，因为它允许我们使用正则表达式来精确匹配和排除列。
-
正则表达式 events_d[^4] 的含义：
- events_d: 匹配字符串 "events_d"。
- [^4]: 这是一个字符集，表示匹配任何不是数字 '4' 的单个字符。
- 因此，events_d[^4] 将匹配 events_d1、events_d2、events_d3，但会排除 events_d4。
通过这种方式，我们可以动态地选择所有符合events_d模式且不以4结尾的列，而无需手动列出它们。
import pandas as pd
import numpy as np
# 示例数据
data = {
'Animal_ID': ['a1', 'a2', 'a3', 'a4'],
'weight': [50, 52, 75, 53],
'Project': ['p1', 'p2', 'p1', 'p2'],
'Exp_type': ['Acute', 'chronic', 'Acute', 'chronic'],
'researcher': ['alex', 'mat', 'alex', 'mat'],
'events_d1': [0, 0, 1, 0],
'events_d2': [0, 1, np.nan, np.nan],
'events_d3': [0, 1, 2, np.nan],
'events_d4': [4, 5, np.nan, 0]
}
df = pd.DataFrame(data)
# 使用filter和正则表达式筛选目标列
filtered_df = df.filter(regex="events_d[^4]")
print("筛选后的列数据：")
print(filtered_df)输出的 filtered_df 将只包含 events_d1, events_d2, events_d3 列。
events_d1 events_d2 events_d3 0 0 0.0 0.0 1 0 1.0 1.0 2 1 NaN 2.0 3 0 NaN NaN
2. 使用 .any(axis=1) 进行行级别条件判断
DataFrame.any() 方法用于检查DataFrame或Series中是否存在任何True值。当应用于数值型数据时，非零值通常被视为True，零值被视为False。
- axis=1: 指定在行方向上进行操作，即对每一行进行判断。
- 此方法会返回一个布尔Series，其中每个元素对应DataFrame的一行。如果该行在指定列中至少有一个非零值，则为True；否则为False。
- 需要注意的是，NaN值在.any()判断中默认会被忽略。如果希望NaN也参与判断（例如，将NaN视为不满足条件），则需要在.any()之前对NaN进行填充（如fillna(0)）。在我们的场景中，NaN表示缺失数据或没有事件发生，因此将其视为不满足条件是合理的，any()默认忽略NaN的行为正好符合要求，因为它只关注是否存在 大于0 的事件。
# 判断筛选后的列中每行是否有大于0的值
# any()方法在判断时会将非零数值视为True，零和NaN视为False
m = filtered_df.any(axis=1)
print("\n每行是否包含大于0的事件（布尔掩码）：")
print(m)输出的 m 将是一个布尔Series：
0 False 1 True 2 True 3 False dtype: bool
3. 使用 np.where() 创建新列
numpy.where(condition, x, y) 是一个非常实用的函数，它根据一个布尔条件数组返回一个新数组。如果条件为True，则取x中的值；如果条件为False，则取y中的值。
- condition: 即上一步生成的布尔Series m。
- x: 当条件为True时赋的值，这里是 'y'。
- y: 当条件为False时赋的值，这里是 'n'。
# 根据布尔掩码创建'responder'列
df['responder'] = np.where(m, 'y', 'n')
print("\n最终DataFrame：")
print(df 
