0

0

如何显著加速 Pandas 中基于时间窗口的分组滚动均值计算?

花韻仙語

花韻仙語

发布时间:2026-01-28 13:34:04

|

505人浏览过

|

来源于php中文网

原创

如何显著加速 Pandas 中基于时间窗口的分组滚动均值计算?

本文介绍一种比传统 `groupby().apply(rolling())` 快约 15 倍的替代方案,通过重构索引与预聚合滚动计算,大幅提升大规模时序分组滚动均值(如 180 天窗口)的执行效率。

在处理高频时序分组分析任务(如赛马数据中按“马匹+练马师”组合统计过去 180 天的平均积分)时,Pandas 默认的链式写法虽然语义清晰,但性能瓶颈明显:

# ❌ 原始低效写法(约 18.5 秒 / 10 万行)
df['HorseRaceCount90d'] = (
    df.groupby(['Horse', 'Trainer'], group_keys=False)
      .apply(lambda x: x.rolling(window='180D', on='RaceDate')['Points'].mean())
)

该方式对每个分组单独执行 rolling(..., on='RaceDate'),触发大量重复索引对齐与时间窗口判定,且 apply 无法被 Pandas 底层向量化优化,导致严重性能衰减。

✅ 更优解:先设索引 → 分组滚动 → 合并回原表
核心思路是将时间列设为索引,使 rolling('180D') 直接作用于 DatetimeIndex,避免每次调用都解析 on= 参数;再利用 groupby(...)['Points'].rolling(...).mean() 的原生高效实现,最后通过三键(Horse, Trainer, RaceDate)精准合并结果:

# ✅ 高效写法(约 1.18 秒 / 10 万行,提速 15×)
rolling_result = (
    df.set_index('RaceDate')                    # 关键:以时间列为索引
      .groupby(['Horse', 'Trainer'])['Points']  # 按业务维度分组
      .rolling('180D')                          # 原生支持时间字符串窗口
      .mean()                                   # 向量化滚动均值
      .rename('HorseRaceCount90d')              # 命名结果列
)

# 通过 Horse + Trainer + RaceDate 三字段精确匹配合并(确保时序对齐)
df = df.merge(
    rolling_result,
    left_on=['Horse', 'Trainer', 'RaceDate'],
    right_index=True,
    how='left'
)

⚠️ 注意事项:

ImgCleaner
ImgCleaner

一键去除图片内的任意文字,人物和对象

下载
  • set_index('RaceDate') 前务必确认 RaceDate 已为 datetime64[ns] 类型(可用 pd.to_datetime() 强制转换);
  • merge 时必须包含全部分组键(Horse, Trainer)和时间戳(RaceDate),否则可能因索引重复或错位导致 NaN 或数据错乱;
  • 若原始数据存在同一 (Horse, Trainer, RaceDate) 多条记录(如多场同日赛事),需提前去重或聚合,否则 merge 可能产生笛卡尔膨胀;
  • 此方法天然支持 min_periods=1(默认行为),如需严格要求满窗才计算,可追加 .rolling('180D', min_periods=180),但注意天数精度受实际日期密度影响。

? 扩展建议:
若需批量计算多个时间窗口(如 30D/90D/180D),可封装为函数复用索引结构;对于超大规模数据(千万级+),建议结合 dask.dataframe 或 polars 进一步加速——后者在同类滚动操作中通常比 Pandas 再快 2–5 倍。

总之,避开 apply、善用索引驱动的原生 rolling、精准 merge 回填,是优化 Pandas 时间感知分组滚动计算的黄金三角。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
Python 时间序列分析与预测
Python 时间序列分析与预测

本专题专注讲解 Python 在时间序列数据处理与预测建模中的实战技巧,涵盖时间索引处理、周期性与趋势分解、平稳性检测、ARIMA/SARIMA 模型构建、预测误差评估,以及基于实际业务场景的时间序列项目实操,帮助学习者掌握从数据预处理到模型预测的完整时序分析能力。

57

2025.12.04

俄罗斯Yandex引擎入口
俄罗斯Yandex引擎入口

2026年俄罗斯Yandex搜索引擎最新入口汇总,涵盖免登录、多语言支持、无广告视频播放及本地化服务等核心功能。阅读专题下面的文章了解更多详细内容。

177

2026.01.28

包子漫画在线官方入口大全
包子漫画在线官方入口大全

本合集汇总了包子漫画2026最新官方在线观看入口,涵盖备用域名、正版无广告链接及多端适配地址,助你畅享12700+高清漫画资源。阅读专题下面的文章了解更多详细内容。

35

2026.01.28

ao3中文版官网地址大全
ao3中文版官网地址大全

AO3最新中文版官网入口合集,汇总2026年主站及国内优化镜像链接,支持简体中文界面、无广告阅读与多设备同步。阅读专题下面的文章了解更多详细内容。

79

2026.01.28

php怎么写接口教程
php怎么写接口教程

本合集涵盖PHP接口开发基础、RESTful API设计、数据交互与安全处理等实用教程,助你快速掌握PHP接口编写技巧。阅读专题下面的文章了解更多详细内容。

2

2026.01.28

php中文乱码如何解决
php中文乱码如何解决

本文整理了php中文乱码如何解决及解决方法,阅读节专题下面的文章了解更多详细内容。

4

2026.01.28

Java 消息队列与异步架构实战
Java 消息队列与异步架构实战

本专题系统讲解 Java 在消息队列与异步系统架构中的核心应用,涵盖消息队列基本原理、Kafka 与 RabbitMQ 的使用场景对比、生产者与消费者模型、消息可靠性与顺序性保障、重复消费与幂等处理,以及在高并发系统中的异步解耦设计。通过实战案例,帮助学习者掌握 使用 Java 构建高吞吐、高可靠异步消息系统的完整思路。

8

2026.01.28

Python 自然语言处理(NLP)基础与实战
Python 自然语言处理(NLP)基础与实战

本专题系统讲解 Python 在自然语言处理(NLP)领域的基础方法与实战应用,涵盖文本预处理(分词、去停用词)、词性标注、命名实体识别、关键词提取、情感分析,以及常用 NLP 库(NLTK、spaCy)的核心用法。通过真实文本案例,帮助学习者掌握 使用 Python 进行文本分析与语言数据处理的完整流程,适用于内容分析、舆情监测与智能文本应用场景。

24

2026.01.27

拼多多赚钱的5种方法 拼多多赚钱的5种方法
拼多多赚钱的5种方法 拼多多赚钱的5种方法

在拼多多上赚钱主要可以通过无货源模式一件代发、精细化运营特色店铺、参与官方高流量活动、利用拼团机制社交裂变,以及成为多多进宝推广员这5种方法实现。核心策略在于通过低成本、高效率的供应链管理与营销,利用平台社交电商红利实现盈利。

122

2026.01.26

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Java 教程
Java 教程

共578课时 | 52.3万人学习

国外Web开发全栈课程全集
国外Web开发全栈课程全集

共12课时 | 1.0万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号