0

0

Python nogil 实验分支的性能实测

冰川箭仙

冰川箭仙

发布时间:2026-02-22 22:06:52

|

229人浏览过

|

来源于php中文网

原创

能,但仅限threading+纯python计算且线程数≥核心数;调用numpy等c扩展则无效;需--enable-nogil编译;全局变量须显式加锁;未适配py_nogil的c扩展会崩溃。

python nogil 实验分支的性能实测

Python 3.13+ nogil 分支实测:多线程 CPU 密集型任务真能快起来?

能,但只在特定条件下——必须用 threading + 纯 Python 计算(无 C 扩展阻塞),且线程数 ≥ CPU 核心数。一旦调用 numpyrequests 或任何带 GIL 锁的 C 函数,加速立刻归零。

实测用 pyperf 跑 4 线程斐波那契(fib(36)),nogil 分支比标准 3.13 快 3.7×;但换成 np.dot 矩阵乘法,两者几乎没差别——因为 NumPy 内部早释放了 GIL,nogil 改动不生效。

  • 必须用 --enable-nogil 编译源码,预编译二进制(如 python.org 下载包)默认不启用
  • threading.Thread 启动后才真正脱离 GIL 竞争,concurrent.futures.ThreadPoolExecutor 可用,但 multiprocessing 无收益(进程本就不共享 GIL)
  • IO 密集型任务(如文件读写、HTTP 请求)不受影响——它们本来就会主动让出 GIL

nogil 下 threading.Lock 还安全吗?

安全,但行为变了:它不再只是“防止多线程同时进临界区”,而是变成真正的 OS 级互斥锁,开销略增。以前靠 GIL 隐式保护的全局变量,现在必须显式加锁,否则大概率出错。

比如这段代码在 nogil 下会崩:

立即学习Python免费学习笔记(深入)”;

BJXSHOP网上开店专家
BJXSHOP网上开店专家

BJXShop网上购物系统是一个高效、稳定、安全的电子商店销售平台,经过近三年市场的考验,在中国网购系统中属领先水平;完善的订单管理、销售统计系统;网站模版可DIY、亦可导入导出;会员、商品种类和价格均实现无限等级;管理员权限可细分;整合了多种在线支付接口;强有力搜索引擎支持... 程序更新:此版本是伴江行官方商业版程序,已经终止销售,现于免费给大家使用。比其以前的免费版功能增加了:1,整合了论坛

下载
counter = 0
def worker():
    global counter
    for _ in range(100000):
        counter += 1  # 不是原子操作!nogil 下竞态直接暴露

修复方式就是加 threading.Lock

lock = threading.Lock()
def worker():
    global counter
    for _ in range(100000):
        with lock:
            counter += 1
  • threading.RLockthreading.Condition 全部可用,语义不变
  • 别依赖 sys.setswitchinterval 来“控制”线程切换——nogil 下这个函数已废弃,调用会抛 RuntimeError
  • 第三方库若内部用 Py_BEGIN_ALLOW_THREADS 手动释放 GIL(如早期 lxml),现在可能因重复释放触发崩溃,需确认其是否适配 nogil

哪些 C 扩展在 nogil 分支里会挂掉?

所有没适配 PY_NOGIL 宏、还直接操作 Python C API 对象(如 PyList_AppendPyObject_GetAttrString)的扩展都会 segfault。不是“慢”,是根本跑不起来。

典型报错:Segmentation fault (core dumped)SystemError: bad argument to internal function。调试时看到堆栈停在 PyFrame_New_PyEval_EvalFrameDefault 就基本可判定。

  • 已知不兼容:旧版 cryptography(psycopg2(pycurl(
  • 已适配:numpy(≥1.26)、pillow(≥10.0)、zlib(CPython 自带模块已更新)
  • 检查方法:运行 python -c "import your_module; print(your_module.__file__)",再用 nm -D your_module.cpython-*.so | grep Py 看是否调用高危 API

从开发到部署,nogil 分支最易忽略的三件事

不是“换解释器就能提速”,落地时卡点很具体。

  • CI/CD 流水线必须重编译 Python,不能复用官方镜像——Dockerfile 得加 ./configure --enable-nogil && make -j$(nproc)
  • pip install 二进制轮子(.whl)大概率不兼容,得强制源码安装:pip install --no-binary=:all: numpy
  • 监控工具如 psutilpy-spy 需升级到支持 nogil 的版本,否则采样时会误判线程状态,显示“大量线程 blocked in unknown”

真正麻烦的从来不是“能不能跑”,而是你不知道哪行看似正常的代码,正踩在 nogil 和旧 C API 的裂缝上。

相关文章

数码产品性能查询
数码产品性能查询

该软件包括了市面上所有手机CPU,手机跑分情况,电脑CPU,电脑产品信息等等,方便需要大家查阅数码产品最新情况,了解产品特性,能够进行对比选择最具性价比的商品。

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
全局变量怎么定义
全局变量怎么定义

本专题整合了全局变量相关内容,阅读专题下面的文章了解更多详细内容。

85

2025.09.18

python 全局变量
python 全局变量

本专题整合了python中全局变量定义相关教程,阅读专题下面的文章了解更多详细内容。

101

2025.09.18

堆和栈的区别
堆和栈的区别

堆和栈的区别:1、内存分配方式不同;2、大小不同;3、数据访问方式不同;4、数据的生命周期。本专题为大家提供堆和栈的区别的相关的文章、下载、课程内容,供大家免费下载体验。

421

2023.07.18

堆和栈区别
堆和栈区别

堆(Heap)和栈(Stack)是计算机中两种常见的内存分配机制。它们在内存管理的方式、分配方式以及使用场景上有很大的区别。本文将详细介绍堆和栈的特点、区别以及各自的使用场景。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

595

2023.08.10

堆和栈的区别
堆和栈的区别

堆和栈的区别:1、内存分配方式不同;2、大小不同;3、数据访问方式不同;4、数据的生命周期。本专题为大家提供堆和栈的区别的相关的文章、下载、课程内容,供大家免费下载体验。

421

2023.07.18

堆和栈区别
堆和栈区别

堆(Heap)和栈(Stack)是计算机中两种常见的内存分配机制。它们在内存管理的方式、分配方式以及使用场景上有很大的区别。本文将详细介绍堆和栈的特点、区别以及各自的使用场景。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

595

2023.08.10

堆和栈的区别
堆和栈的区别

堆和栈的区别:1、内存分配方式不同;2、大小不同;3、数据访问方式不同;4、数据的生命周期。本专题为大家提供堆和栈的区别的相关的文章、下载、课程内容,供大家免费下载体验。

421

2023.07.18

堆和栈区别
堆和栈区别

堆(Heap)和栈(Stack)是计算机中两种常见的内存分配机制。它们在内存管理的方式、分配方式以及使用场景上有很大的区别。本文将详细介绍堆和栈的特点、区别以及各自的使用场景。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

595

2023.08.10

pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法
pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法

本专题系统整理pixiv网页版官网入口及登录访问方式,涵盖官网登录页面直达路径、在线阅读入口及快速进入方法说明,帮助用户高效找到pixiv官方网站,实现便捷、安全的网页端浏览与账号登录体验。

1030

2026.02.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.4万人学习

Django 教程
Django 教程

共28课时 | 4.5万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.7万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号