0

0

pandas 如何在 rolling().apply() 中使用 numba 加速

冷漠man

冷漠man

发布时间:2026-01-27 18:01:03

|

715人浏览过

|

来源于php中文网

原创

rolling().apply()中直接传numba函数会报错,因pandas要求函数处理一维ndarray且返回标量,而numba不兼容Series;正确做法是设raw=True、用.values提取纯数组,并确保numba函数仅处理numpy.ndarray、自行处理NaN。

pandas 如何在 rolling().apply() 中使用 numba 加速

rolling().apply() 里直接传 numba 函数会报错

因为 pandasrolling().apply() 要求传入的函数必须接受一维 ndarray(或 Series),且返回标量或同长度数组;而 numba.jit 编译后的函数默认不支持对 pandas 对象(如 Series)的直接调用,更不兼容其内部索引逻辑。常见错误是:TypingError: Failed in nopython mode...AttributeError: 'numpy.ndarray' object has no attribute 'values'

关键点:必须确保 numba 函数只处理纯 numpy.ndarray,且输入形状可控(通常是 1D)、无缺失值干扰。

正确做法:先用 numba 编译纯数组函数,再在 apply 中手动提取 .values

绕过 pandas 对象、只喂给 numba 纯 numpy.ndarray 是最稳妥的路径。注意三点:

  • numba.jit 函数需加 nopython=Truefastmath=True(若计算允许)以获得实际加速
  • rolling().apply()raw=True 参数必须设为 True,否则传入的是 Series,不是 ndarray
  • 原始数据中若有 NaNraw=True 下仍会传入 nan 值,numba 函数需自行处理(比如用 np.isnan() 过滤或提前 dropna)

示例:

import numpy as np
import pandas as pd
from numba import jit

@jit(nopython=True, fastmath=True) def my_rolling_sum(arr):

arr 是 1D numpy.ndarray,可能含 nan

total = 0.0
for x in arr:
    if not np.isnan(x):
        total += x
return total

s = pd.Series([1.0, 2.0, np.nan, 4.0, 5.0]) result = s.rolling(3).apply(my_rolling_sum, raw=True)

替代方案:用 numba 实现完整 rolling 逻辑(跳过 pandas apply)

当窗口计算逻辑复杂、或对性能极致敏感时,rolling().apply() 的 Python 层开销(如每次构造子数组、类型检查)反而成为瓶颈。此时更高效的方式是:

唱鸭
唱鸭

音乐创作全流程的AI自动作曲工具,集 AI 辅助作词、AI 自动作曲、编曲、混音于一体

下载
  • np.lib.stride_tricks.sliding_window_view(NumPy 1.20+)生成窗口视图
  • 把整个窗口数组传给 numba 函数批量处理(避免逐窗口调用)
  • 注意边界:sliding_window_view 不自动处理首尾不足窗口长度的情况,需手动 pad 或截断

示例(等效于 rolling(3).sum()):

from numpy.lib.stride_tricks import sliding_window_view

@jit(nopython=True) def batch_sum(windows): # windows.shape == (n_windows, window_size) out = np.empty(windows.shape[0], dtype=windows.dtype) for i in range(windows.shape[0]): acc = 0.0 for j in range(windows.shape[1]): if not np.isnan(windows[i, j]): acc += windows[i, j] out[i] = acc return out

arr = s.to_numpy() windows = sliding_window_view(arr, window_shape=3) result_arr = batch_sum(windows) # 返回 (len-2,) 数组

容易被忽略的坑:dtype 不一致和 missing value 处理

numba 对 dtype 敏感,如果输入数组是 float64,但某次 rolling 窗口因全为 NaN 导致 pandas 内部回退为 object 类型,raw=True 仍可能传入非数值数组,触发 numba 编译失败或运行时报错。

务必在调用前统一 dtype 并显式处理缺失值:

  • s.astype(np.float64) 强制数值类型
  • 避免在滚动前混用 Nonenp.nan(后者才是 numba 可识别的)
  • 若业务允许,优先用 s.fillna(0)s.dropna() 预处理,比在 numba 函数里反复判断 np.isnan 更快

真正卡住人的往往不是 numba 怎么写,而是 pandas 滚动窗口怎么把数据“干净地”塞进去 —— 这一步没控好,后面全白搭。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
Python 时间序列分析与预测
Python 时间序列分析与预测

本专题专注讲解 Python 在时间序列数据处理与预测建模中的实战技巧,涵盖时间索引处理、周期性与趋势分解、平稳性检测、ARIMA/SARIMA 模型构建、预测误差评估,以及基于实际业务场景的时间序列项目实操,帮助学习者掌握从数据预处理到模型预测的完整时序分析能力。

56

2025.12.04

Python 自然语言处理(NLP)基础与实战
Python 自然语言处理(NLP)基础与实战

本专题系统讲解 Python 在自然语言处理(NLP)领域的基础方法与实战应用,涵盖文本预处理(分词、去停用词)、词性标注、命名实体识别、关键词提取、情感分析,以及常用 NLP 库(NLTK、spaCy)的核心用法。通过真实文本案例,帮助学习者掌握 使用 Python 进行文本分析与语言数据处理的完整流程,适用于内容分析、舆情监测与智能文本应用场景。

10

2026.01.27

拼多多赚钱的5种方法 拼多多赚钱的5种方法
拼多多赚钱的5种方法 拼多多赚钱的5种方法

在拼多多上赚钱主要可以通过无货源模式一件代发、精细化运营特色店铺、参与官方高流量活动、利用拼团机制社交裂变,以及成为多多进宝推广员这5种方法实现。核心策略在于通过低成本、高效率的供应链管理与营销,利用平台社交电商红利实现盈利。

109

2026.01.26

edge浏览器怎样设置主页 edge浏览器自定义设置教程
edge浏览器怎样设置主页 edge浏览器自定义设置教程

在Edge浏览器中设置主页,请依次点击右上角“...”图标 > 设置 > 开始、主页和新建标签页。在“Microsoft Edge 启动时”选择“打开以下页面”,点击“添加新页面”并输入网址。若要使用主页按钮,需在“外观”设置中开启“显示主页按钮”并设定网址。

16

2026.01.26

苹果官方查询网站 苹果手机正品激活查询入口
苹果官方查询网站 苹果手机正品激活查询入口

苹果官方查询网站主要通过 checkcoverage.apple.com/cn/zh/ 进行,可用于查询序列号(SN)对应的保修状态、激活日期及技术支持服务。此外,查找丢失设备请使用 iCloud.com/find,购买信息与物流可访问 Apple (中国大陆) 订单状态页面。

131

2026.01.26

npd人格什么意思 npd人格有什么特征
npd人格什么意思 npd人格有什么特征

NPD(Narcissistic Personality Disorder)即自恋型人格障碍,是一种心理健康问题,特点是极度夸大自我重要性、需要过度赞美与关注,同时极度缺乏共情能力,背后常掩藏着低自尊和不安全感,影响人际关系、工作和生活,通常在青少年时期开始显现,需由专业人士诊断。

7

2026.01.26

windows安全中心怎么关闭 windows安全中心怎么执行操作
windows安全中心怎么关闭 windows安全中心怎么执行操作

关闭Windows安全中心(Windows Defender)可通过系统设置暂时关闭,或使用组策略/注册表永久关闭。最简单的方法是:进入设置 > 隐私和安全性 > Windows安全中心 > 病毒和威胁防护 > 管理设置,将实时保护等选项关闭。

6

2026.01.26

2026年春运抢票攻略大全 春运抢票攻略教你三招手【技巧】
2026年春运抢票攻略大全 春运抢票攻略教你三招手【技巧】

铁路12306提供起售时间查询、起售提醒、购票预填、候补购票及误购限时免费退票五项服务,并强调官方渠道唯一性与信息安全。

117

2026.01.26

个人所得税税率表2026 个人所得税率最新税率表
个人所得税税率表2026 个人所得税率最新税率表

以工资薪金所得为例,应纳税额 = 应纳税所得额 × 税率 - 速算扣除数。应纳税所得额 = 月度收入 - 5000 元 - 专项扣除 - 专项附加扣除 - 依法确定的其他扣除。假设某员工月工资 10000 元,专项扣除 1000 元,专项附加扣除 2000 元,当月应纳税所得额为 10000 - 5000 - 1000 - 2000 = 2000 元,对应税率为 3%,速算扣除数为 0,则当月应纳税额为 2000×3% = 60 元。

35

2026.01.26

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.3万人学习

Django 教程
Django 教程

共28课时 | 3.6万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.3万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号