0

0

Python multiprocessing 性能陷阱解析

舞夢輝影

舞夢輝影

发布时间:2026-01-31 12:50:04

|

256人浏览过

|

来源于php中文网

原创

根本原因是每次启动新进程都触发完整Python解释器初始化,且spawn方式需pickle主进程状态;实操需用if name == "__main__":包裹、避免顶层重IO、慎用Pool传参。

python multiprocessing 性能陷阱解析

为什么 multiprocessing.Process 启动慢得反常?

根本原因不是 CPU 不够,而是每次启动新进程都触发完整的 Python 解释器初始化:导入 sysos、重建模块缓存、甚至重新读取 site-packages。尤其在 Windows 或 macOS 上,spawn 启动方式(默认)会 pickle 主进程状态,若主模块里有不可序列化的对象(比如打开的文件句柄、threading.Lock),还会静默失败或卡住。

实操建议:

立即学习Python免费学习笔记(深入)”;

  • if __name__ == "__main__": 严格包裹 multiprocessing 启动代码,避免子进程重复执行导入逻辑
  • Windows/macOS 下避免在主模块顶层做重 IO 或大对象初始化(如加载模型、读大文件),挪到 target 函数内部按需加载
  • 考虑改用 fork 启动方式(Linux only):mp.set_start_method("fork"),但注意它不隔离内存,可能引发意外共享

multiprocessing.Pool 传参时数据被复制了几次?

答案是:至少两次——一次从主进程序列化(pickle),一次在子进程反序列化。如果传入的是大 NumPy 数组、Pandas DataFrame 或嵌套字典,这个开销会直接吃掉并行收益,甚至比单进程还慢。

实操建议:

立即学习Python免费学习笔记(深入)”;

  • 优先用 multiprocessing.shared_memory(Python 3.8+)或 mp.Array/mp.Value 管理只读大数组,避免 pickle
  • 把数据路径(而非数据本身)传给子进程,让每个 worker 自己加载,配合 joblib.Memory 缓存可进一步减少重复 IO
  • 慎用 pool.map_asyncchunksize 参数:太小 → 频繁调度开销;太大 → 负载不均;建议设为 len(data) // (4 * pool._processes)

为什么用了多进程,CPU 占用却只有 100%?

这通常意味着你没真正跑满所有核心,常见于三类情况:I/O 瓶颈、GIL 干扰、或任务粒度太小。特别注意,multiprocessing 只能绕过 GIL 对 CPU 密集型任务有效;如果目标函数大量调用 C 扩展(如 NumPy 向量化操作),GIL 本就不构成瓶颈,加进程反而引入调度和通信成本。

Build AI
Build AI

为您的业务构建自己的AI应用程序。不需要任何技术技能。

下载

实操建议:

立即学习Python免费学习笔记(深入)”;

  • time.perf_counter()psutil.cpu_percent(percpu=True) 分别测单任务耗时与各核实时占用,确认是否真卡在计算上
  • 检查是否误用 threading 混合 multiprocessing:线程间共享变量在多进程下不生效,且可能因锁竞争拖慢整体
  • 对纯计算任务,确保函数体中没有隐式 I/O(如日志写磁盘、print()、访问网络配置文件

子进程抛异常,主进程为什么只看到 BrokenProcessPool

因为默认情况下,子进程的 traceback 不会自动回传。当你看到 concurrent.futures.process.BrokenProcessPoolmp.pool.MaybeEncodingError,大概率是子进程在 unpickle 参数或执行时崩溃了,但主进程连错在哪都不知道。

实操建议:

立即学习Python免费学习笔记(深入)”;

  • target 函数最外层加 try/except Exception as e: print(e); raise,强制把错误打到子进程 stdout(再重定向到文件更稳妥)
  • 改用 concurrent.futures.ProcessPoolExecutor,它的 submit().result() 会原样抛出子进程异常,包括完整 traceback
  • 避免在 target 中使用闭包变量或 lambda:它们依赖主进程命名空间,在 spawn 模式下容易 unpickle 失败

真正的性能拐点往往不在“开多少进程”,而在于数据怎么进、结果怎么出、以及异常发生时你能不能一眼定位到哪行代码在子进程里悄悄挂了。

相关文章

数码产品性能查询
数码产品性能查询

该软件包括了市面上所有手机CPU,手机跑分情况,电脑CPU,电脑产品信息等等,方便需要大家查阅数码产品最新情况,了解产品特性,能够进行对比选择最具性价比的商品。

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
Python 时间序列分析与预测
Python 时间序列分析与预测

本专题专注讲解 Python 在时间序列数据处理与预测建模中的实战技巧,涵盖时间索引处理、周期性与趋势分解、平稳性检测、ARIMA/SARIMA 模型构建、预测误差评估,以及基于实际业务场景的时间序列项目实操,帮助学习者掌握从数据预处理到模型预测的完整时序分析能力。

71

2025.12.04

Python 数据清洗与预处理实战
Python 数据清洗与预处理实战

本专题系统讲解 Python 在数据清洗与预处理中的核心技术,包括使用 Pandas 进行缺失值处理、异常值检测、数据格式化、特征工程与数据转换,结合 NumPy 高效处理大规模数据。通过实战案例,帮助学习者掌握 如何处理混乱、不完整数据,为后续数据分析与机器学习模型训练打下坚实基础。

1

2026.01.31

python中print函数的用法
python中print函数的用法

python中print函数的语法是“print(value1, value2, ..., sep=' ', end=' ', file=sys.stdout, flush=False)”。本专题为大家提供print相关的文章、下载、课程内容,供大家免费下载体验。

186

2023.09.27

if什么意思
if什么意思

if的意思是“如果”的条件。它是一个用于引导条件语句的关键词,用于根据特定条件的真假情况来执行不同的代码块。本专题提供if什么意思的相关文章,供大家免费阅读。

780

2023.08.22

lambda表达式
lambda表达式

Lambda表达式是一种匿名函数的简洁表示方式,它可以在需要函数作为参数的地方使用,并提供了一种更简洁、更灵活的编码方式,其语法为“lambda 参数列表: 表达式”,参数列表是函数的参数,可以包含一个或多个参数,用逗号分隔,表达式是函数的执行体,用于定义函数的具体操作。本专题为大家提供lambda表达式相关的文章、下载、课程内容,供大家免费下载体验。

208

2023.09.15

python lambda函数
python lambda函数

本专题整合了python lambda函数用法详解,阅读专题下面的文章了解更多详细内容。

191

2025.11.08

Python lambda详解
Python lambda详解

本专题整合了Python lambda函数相关教程,阅读下面的文章了解更多详细内容。

55

2026.01.05

线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

525

2023.08.10

2026赚钱平台入口大全
2026赚钱平台入口大全

2026年最新赚钱平台入口汇总,涵盖任务众包、内容创作、电商运营、技能变现等多类正规渠道,助你轻松开启副业增收之路。阅读专题下面的文章了解更多详细内容。

30

2026.01.31

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL 教程
PostgreSQL 教程

共48课时 | 8.2万人学习

Git 教程
Git 教程

共21课时 | 3.2万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号