0

0

Python GIL 对多线程性能的影响

舞夢輝影

舞夢輝影

发布时间:2026-02-19 12:52:03

|

383人浏览过

|

来源于php中文网

原创

python多线程跑cpu密集任务不快,因gil强制单线程执行字节码;应改用multiprocessing或processpoolexecutor实现真正并行。

python gil 对多线程性能的影响

Python 多线程跑 CPU 密集任务为啥不快

因为 GIL(全局解释器锁)强制同一时刻只有一个线程执行 Python 字节码。哪怕你开了 8 个 threading.Thread,CPU 密集型任务(比如数值计算、循环处理)也几乎不会提速,反而可能因线程切换更慢。

常见错误现象:top 或任务管理器里只看到一个 CPU 核心满载,其余闲置;time.time() 测出多线程比单线程还慢。

  • 适用场景:仅适合 I/O 密集型任务(如网络请求、文件读写、数据库查询)——线程在等 I/O 时会自动释放 GIL,其他线程就能抢到执行权
  • 不适用场景:纯计算(sum([i**2 for i in range(10**7)]))、图像处理、加密解密等
  • 验证方法:用 dis.dis(your_function) 看关键循环是否大量调用 Python 解释器操作(如 BINARY_ADDSTORE_FAST),这类代码基本绕不开 GIL

想真正并行跑 CPU 任务,该用啥

绕过 GIL 的唯一可靠办法是换进程 —— multiprocessing 模块每个子进程有独立的 Python 解释器和 GIL,天然支持多核并行。

但别直接照搬 threading 写法:传参、共享状态、启动开销都不同。

立即学习Python免费学习笔记(深入)”;

网趣购物系统精装版
网趣购物系统精装版

精装版对原程序进行了大量的更新和调整,在安全性和实用性上均有重大突破,特色功能:完美整合支付宝功能,根据用户需求,并具有打开和关闭支付宝的功能!匿名用户购买功能,商城支持匿名直接购买商品功能,方便用户购物!增加了后台LOGO图片上传管理功能,管理简单、易用对广告管理进行扩充,所有广告图片、FLASH均可实现在线上传管理!多种在线支付方式,程序同时支持网银、西部支付,可自由选择切换!支持简繁互换显示

下载
  • multiprocessing.Processmultiprocessing.Pool,不是 threading.Thread
  • 函数必须能被序列化(不能是嵌套函数、lambda、类实例方法,除非用 functools.partial 包装)
  • 进程间通信开销大:避免频繁用 multiprocessing.Queuemultiprocessing.Manager 传大数据;优先用 multiprocessing.Array / multiprocessing.Value 做共享内存
  • Windows 下注意:必须包在 if __name__ == "__main__": 里,否则会反复 fork 子进程

concurrent.futures 是不是更简单

是,但它只是封装,底层仍是 threadingmultiprocessing。选错执行器,照样白忙活。

错误用法:ThreadPoolExecutorcpu_bound_func → 还是被 GIL 卡死。

  • CPU 密集任务:必须用 ProcessPoolExecutor
  • I/O 密集任务:用 ThreadPoolExecutor 更轻量,启动快、内存占用小
  • 注意 max_workers 设置:对 CPU 任务,设成 os.cpu_count() 左右较合理;对 I/O 任务可设更大(如 20–50),但太多会引发系统级资源争抢
  • 返回值是 Future 对象,别忘了调用 .result() 获取结果,否则可能卡住不报错

哪些“看起来像绕过 GIL”的操作其实没用

很多开发者试过这些,结果发现性能没改善——根本原因在于它们仍运行在主线程解释器内,GIL 没松动。

  • asyncio + await:纯协程不等于多线程,它还是单线程事件循环,CPU 密集任务照样阻塞整个 loop
  • 调用 C 扩展但没主动释放 GIL:比如自己写的 ctypescffi 函数,若没在 C 侧调用 Py_BEGIN_ALLOW_THREADS,Python 层依然持锁
  • numpy 做矩阵运算:大部分底层是优化过的 C/Fortran,且在关键路径上主动释放了 GIL,所以有效;但如果你在外层套了个 Python for 循环逐行调用 numpy.dot,那循环本身仍受 GIL 约束

真正要确认是否绕开了 GIL,最实在的办法是用 htop 观察所有 CPU 核心是否同时跑满,而不是只看代码“有没有用多线程”。

相关文章

数码产品性能查询
数码产品性能查询

该软件包括了市面上所有手机CPU,手机跑分情况,电脑CPU,电脑产品信息等等,方便需要大家查阅数码产品最新情况,了解产品特性,能够进行对比选择最具性价比的商品。

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
if什么意思
if什么意思

if的意思是“如果”的条件。它是一个用于引导条件语句的关键词,用于根据特定条件的真假情况来执行不同的代码块。本专题提供if什么意思的相关文章,供大家免费阅读。

820

2023.08.22

lambda表达式
lambda表达式

Lambda表达式是一种匿名函数的简洁表示方式,它可以在需要函数作为参数的地方使用,并提供了一种更简洁、更灵活的编码方式,其语法为“lambda 参数列表: 表达式”,参数列表是函数的参数,可以包含一个或多个参数,用逗号分隔,表达式是函数的执行体,用于定义函数的具体操作。本专题为大家提供lambda表达式相关的文章、下载、课程内容,供大家免费下载体验。

212

2023.09.15

python lambda函数
python lambda函数

本专题整合了python lambda函数用法详解,阅读专题下面的文章了解更多详细内容。

192

2025.11.08

Python lambda详解
Python lambda详解

本专题整合了Python lambda函数相关教程,阅读下面的文章了解更多详细内容。

58

2026.01.05

线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

675

2023.08.10

Python 多线程与异步编程实战
Python 多线程与异步编程实战

本专题系统讲解 Python 多线程与异步编程的核心概念与实战技巧,包括 threading 模块基础、线程同步机制、GIL 原理、asyncio 异步任务管理、协程与事件循环、任务调度与异常处理。通过实战示例,帮助学习者掌握 如何构建高性能、多任务并发的 Python 应用。

366

2025.12.24

java多线程相关教程合集
java多线程相关教程合集

本专题整合了java多线程相关教程,阅读专题下面的文章了解更多详细内容。

26

2026.01.21

C++多线程相关合集
C++多线程相关合集

本专题整合了C++多线程相关教程,阅读专题下面的的文章了解更多详细内容。

24

2026.01.21

pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法
pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法

本专题系统整理pixiv网页版官网入口及登录访问方式,涵盖官网登录页面直达路径、在线阅读入口及快速进入方法说明,帮助用户高效找到pixiv官方网站,实现便捷、安全的网页端浏览与账号登录体验。

660

2026.02.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.4万人学习

Django 教程
Django 教程

共28课时 | 4.4万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.6万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号