本文介绍了如何使用 Pandas DataFrame，基于指定列的相对范围，对数据进行分组聚合。通过 groupby() 和 transform() 函数，结合 lambda 表达式，实现对每个分组内，值在特定范围内的行进行求和，最终生成目标聚合结果。
在数据分析中，经常会遇到需要根据数据的相对范围进行聚合的需求。例如，对于某个关键列，我们需要将该列值在特定范围内的所有行进行求和，并将其作为新的聚合特征。 Pandas 提供了强大的 groupby() 和 transform() 函数，可以灵活地实现这种需求。
实现方法
以下代码展示了如何使用 Pandas 实现基于相对范围的值进行聚合：
import pandas as pd
# 示例数据
df = pd.DataFrame({
'key': ['A', 'A', 'A', 'A', 'A', 'A', 'A', 'B', 'B', 'B', 'B', 'B', 'B', 'B', 'B', 'B', 'C', 'C', 'C', 'C', 'C', 'C', 'C', 'C', 'C'],
'value': [.1, 0.244, 0.373, 0.514, 0.663, 0.786, 0.902, 1.01, 1.151, 1.295, 1.434, 1.541, 1.679, 1.793, 1.94, 2.049, 2.164, 2.284, 2.432, 2.533, 2.68, 2.786, 2.906, 3.008, 3.136],
'desired_ouput': [1.231, 1.894, 2.68, 3.582, 3.482, 3.238, 2.865, 4.89, 6.431, 9.903, 11.843, 10.833, 11.731, 11.731, 9.002, 7.461, 11.462, 12.093, 17.785, 20.793, 21.765, 21.765, 19.481, 17.049, 14.516]
})
# 相对范围参数
N = 0.5
# 使用 groupby 和 transform 进行聚合
df["desired_output_2"] = df.groupby("key")["value"].transform(
lambda values: [
values[(values > (v - N)) & (values < (v + N))].sum() for v in values
],
)
print(df)代码解释
- 导入 Pandas 库: import pandas as pd 导入 Pandas 库，并将其简写为 pd。
- 创建 DataFrame: 使用示例数据创建一个 Pandas DataFrame。
- 定义相对范围参数: N = 0.5 定义相对范围参数 N，表示允许的偏差范围。
-
使用 groupby() 和 transform() 进行聚合:
- df.groupby("key")["value"] 首先按照 "key" 列进行分组，并选择 "value" 列进行后续操作。
- .transform(lambda values: [...]) 对每个分组应用一个 lambda 函数。
- lambda values: [values[(values > (v - N)) & (values < (v + N))].sum() for v in values] lambda 函数接收一个分组的 "value" 列，并对该分组内的每个值 v，计算在 v - N 和 v + N 范围内的值的总和。 结果是一个列表，其长度与原始分组长度相同。
- 将结果添加到 DataFrame: 将计算得到的聚合结果添加到 DataFrame 中，作为新的列 "desired_output_2"。
注意事项
- transform() 函数的返回值必须与原始 DataFrame 的大小相同。
- lambda 表达式中的条件 (values > (v - N)) & (values < (v + N)) 用于筛选出在相对范围内的值。
- 可以根据实际需求调整相对范围参数 N 的大小。
总结
本文介绍了一种使用 Pandas DataFrame，基于相对范围的值进行聚合的方法。通过 groupby() 和 transform() 函数，结合 lambda 表达式，可以灵活地实现各种复杂的聚合需求。 这种方法简洁高效，避免了使用循环和条件判断语句，提高了代码的可读性和可维护性。
