
本文介绍一种比传统 `groupby().apply(rolling())` 快约 15 倍的替代方案,通过重构索引与预聚合滚动计算,大幅提升大规模时序分组滚动均值(如 180 天窗口)的执行效率。
在处理高频时序分组分析任务(如赛马数据中按“马匹+练马师”组合统计过去 180 天的平均积分)时,Pandas 默认的链式写法虽然语义清晰,但性能瓶颈明显:
# ❌ 原始低效写法(约 18.5 秒 / 10 万行)
df['HorseRaceCount90d'] = (
df.groupby(['Horse', 'Trainer'], group_keys=False)
.apply(lambda x: x.rolling(window='180D', on='RaceDate')['Points'].mean())
)该方式对每个分组单独执行 rolling(..., on='RaceDate'),触发大量重复索引对齐与时间窗口判定,且 apply 无法被 Pandas 底层向量化优化,导致严重性能衰减。
✅ 更优解:先设索引 → 分组滚动 → 合并回原表
核心思路是将时间列设为索引,使 rolling('180D') 直接作用于 DatetimeIndex,避免每次调用都解析 on= 参数;再利用 groupby(...)['Points'].rolling(...).mean() 的原生高效实现,最后通过三键(Horse, Trainer, RaceDate)精准合并结果:
# ✅ 高效写法(约 1.18 秒 / 10 万行,提速 15×)
rolling_result = (
df.set_index('RaceDate') # 关键:以时间列为索引
.groupby(['Horse', 'Trainer'])['Points'] # 按业务维度分组
.rolling('180D') # 原生支持时间字符串窗口
.mean() # 向量化滚动均值
.rename('HorseRaceCount90d') # 命名结果列
)
# 通过 Horse + Trainer + RaceDate 三字段精确匹配合并(确保时序对齐)
df = df.merge(
rolling_result,
left_on=['Horse', 'Trainer', 'RaceDate'],
right_index=True,
how='left'
)⚠️ 注意事项:
- set_index('RaceDate') 前务必确认 RaceDate 已为 datetime64[ns] 类型(可用 pd.to_datetime() 强制转换);
- merge 时必须包含全部分组键(Horse, Trainer)和时间戳(RaceDate),否则可能因索引重复或错位导致 NaN 或数据错乱;
- 若原始数据存在同一 (Horse, Trainer, RaceDate) 多条记录(如多场同日赛事),需提前去重或聚合,否则 merge 可能产生笛卡尔膨胀;
- 此方法天然支持 min_periods=1(默认行为),如需严格要求满窗才计算,可追加 .rolling('180D', min_periods=180),但注意天数精度受实际日期密度影响。
? 扩展建议:
若需批量计算多个时间窗口(如 30D/90D/180D),可封装为函数复用索引结构;对于超大规模数据(千万级+),建议结合 dask.dataframe 或 polars 进一步加速——后者在同类滚动操作中通常比 Pandas 再快 2–5 倍。
总之,避开 apply、善用索引驱动的原生 rolling、精准 merge 回填,是优化 Pandas 时间感知分组滚动计算的黄金三角。










