0

0

如何显著加速 Pandas 中按组的时间窗口滚动均值计算?

碧海醫心

碧海醫心

发布时间:2026-01-28 11:29:26

|

102人浏览过

|

来源于php中文网

原创

如何显著加速 Pandas 中按组的时间窗口滚动均值计算?

本文介绍一种比 `groupby().apply(rolling())` 快约 15 倍的替代方案:利用 `set_index + groupby().rolling()` 链式操作后合并回原表,大幅提升大规模时序分组滚动计算性能。

在处理高频、多维度的时序数据(如赛马历史战绩)时,常需对“ horse–trainer 组合”等复合键,在时间窗口(如过去 180 天)内计算滚动统计量(如平均得分)。原始写法虽语义清晰,但性能瓶颈明显:

# ❌ 原始低效写法(约 18.5 秒 / 10 万行)
df['HorseRaceCount90d'] = (
    df.groupby(['Horse', 'Trainer'], group_keys=False)
      .apply(lambda x: x.rolling(window='180D', on='RaceDate', min_periods=1)['Points'].mean())
)

该方式对每个分组单独执行 rolling(..., on='RaceDate'),触发大量重复索引对齐与时间窗口判定,且 apply 无法被 Pandas 内部优化器有效向量化。

✅ 更优解:先设时间列为索引,再分组滚动,最后精准回填

幻舟AI
幻舟AI

专为短片创作者打造的AI创作平台

下载
# ✅ 优化写法(约 1.18 秒 / 10 万行,提速 15×)
rolling_result = (
    df.set_index('RaceDate')
       .groupby(['Horse', 'Trainer'])['Points']
       .rolling('180D', min_periods=1)
       .mean()
       .rename('HorseRaceCount90d')
)

df = df.merge(
    rolling_result,
    left_on=['Horse', 'Trainer', 'RaceDate'],
    right_index=True,
    how='left'
)

关键优化原理:

  • set_index('RaceDate') 将时间列转为索引后,rolling('180D') 可直接基于 DatetimeIndex 进行高效滑动(底层使用 libwindow 加速),避免每次 apply 中重复解析时间窗口;
  • groupby([...])['Points'].rolling(...) 是 Pandas 原生支持的“分组+时间滚动”组合操作,全程在 C 层完成,无 Python 循环开销;
  • merge 比 assign 或 map 更鲁棒,尤其当存在重复 (Horse, Trainer, RaceDate) 组合时仍能正确对齐。

注意事项:

  • 确保 RaceDate 列已转换为 datetime64[ns] 类型(可用 pd.to_datetime(df['RaceDate'], errors='coerce') 安全转换);
  • 若原始数据中 RaceDate 存在时区信息,建议统一转为 UTC 或无时区(.dt.tz_localize(None)),避免滚动计算异常;
  • min_periods=1 保证首条记录也有值(即从该点起始的窗口内均值),若需严格满窗才计算,可设为 min_periods=2 或更高;
  • 对于超大数据集(千万级+),可考虑结合 dask.dataframe 或 polars 进一步扩展,但本方法在百万行内已接近 Pandas 性能上限。

总结:
避免在 groupby().apply() 中嵌套 rolling(..., on=...) —— 改用“索引化→分组滚动→合并回表”三步范式,是提升 Pandas 时间窗口分组计算速度最简单、最有效的方式之一。实测性能提升达 15 倍以上,且代码更简洁、可维护性更强。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
Python 时间序列分析与预测
Python 时间序列分析与预测

本专题专注讲解 Python 在时间序列数据处理与预测建模中的实战技巧,涵盖时间索引处理、周期性与趋势分解、平稳性检测、ARIMA/SARIMA 模型构建、预测误差评估,以及基于实际业务场景的时间序列项目实操,帮助学习者掌握从数据预处理到模型预测的完整时序分析能力。

57

2025.12.04

golang map内存释放
golang map内存释放

本专题整合了golang map内存相关教程,阅读专题下面的文章了解更多相关内容。

75

2025.09.05

golang map相关教程
golang map相关教程

本专题整合了golang map相关教程,阅读专题下面的文章了解更多详细内容。

36

2025.11.16

golang map原理
golang map原理

本专题整合了golang map相关内容,阅读专题下面的文章了解更多详细内容。

60

2025.11.17

java判断map相关教程
java判断map相关教程

本专题整合了java判断map相关教程,阅读专题下面的文章了解更多详细内容。

41

2025.11.27

俄罗斯Yandex引擎入口
俄罗斯Yandex引擎入口

2026年俄罗斯Yandex搜索引擎最新入口汇总,涵盖免登录、多语言支持、无广告视频播放及本地化服务等核心功能。阅读专题下面的文章了解更多详细内容。

167

2026.01.28

包子漫画在线官方入口大全
包子漫画在线官方入口大全

本合集汇总了包子漫画2026最新官方在线观看入口,涵盖备用域名、正版无广告链接及多端适配地址,助你畅享12700+高清漫画资源。阅读专题下面的文章了解更多详细内容。

35

2026.01.28

ao3中文版官网地址大全
ao3中文版官网地址大全

AO3最新中文版官网入口合集,汇总2026年主站及国内优化镜像链接,支持简体中文界面、无广告阅读与多设备同步。阅读专题下面的文章了解更多详细内容。

74

2026.01.28

php怎么写接口教程
php怎么写接口教程

本合集涵盖PHP接口开发基础、RESTful API设计、数据交互与安全处理等实用教程,助你快速掌握PHP接口编写技巧。阅读专题下面的文章了解更多详细内容。

2

2026.01.28

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.3万人学习

Django 教程
Django 教程

共28课时 | 3.6万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.3万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号