0

0

Python multiprocessing 常见坑总结

冰川箭仙

冰川箭仙

发布时间:2026-03-01 19:14:02

|

592人浏览过

|

来源于php中文网

原创

python multiprocessing 常见坑总结

进程间不共享内存,变量修改不互通

很多人误以为 multiprocessing 中的全局变量或函数内变量能像线程(threading)那样被多个进程“看到”。实际上,每个子进程启动时会完整复制父进程的内存空间,之后各自独立运行。你在子进程中修改某个变量,父进程和其他子进程完全感知不到。

例如:

counter = 0
def worker():
  global counter
  counter += 1 # 这个修改只在当前子进程生效

if __name__ == '__main__':
  from multiprocessing import Process
  ps = [Process(target=worker) for _ in range(3)]
  for p in ps: p.start()
  for p in ps: p.join()
  print(counter) # 输出仍是 0

正确做法:用 multiprocessing.Valuemultiprocessing.Arraymultiprocessing.Manager 等支持跨进程共享的对象。

main 模块保护必须加 if __name__ == '__main__'

在 Windows 和部分 macOS 环境下,multiprocessing 默认使用 spawn 启动方式(而非 fork),意味着子进程会重新导入主模块。如果没加保护,子进程一启动就会再次执行创建进程池、启动新进程等逻辑,导致无限递归创建进程,最终报错或卡死。

立即学习Python免费学习笔记(深入)”;

常见错误写法:

《PHP部分常见问题总结》
《PHP部分常见问题总结》

《PHP部分常见问题总结》

下载
from multiprocessing import Process
def f(): print('hello')
p = Process(target=f)
p.start() # ❌ 没有保护,Windows 下可能崩溃

务必写成

if __name__ == '__main__':
  p = Process(target=f)
  p.start()
  p.join()

进程池(Pool)返回值需显式获取,不能直接赋值

调用 pool.apply_async()pool.map_async() 时,返回的是 AsyncResult 对象,不是真实结果。直接打印或使用该对象本身,得到的是类似 <multiprocessing.pool.asyncresult at></multiprocessing.pool.asyncresult> 的东西,不是你想要的计算结果。

常见误区

res = pool.apply_async(func, (x,))
print(res) # ❌ 打印的是 AsyncResult 对象

正确方式

  • .get(timeout=...) 阻塞等待结果(注意超时避免永久挂起)
  • .ready() 轮询判断是否完成
  • map/starmap 类方法,直接用同步版本(如 pool.map())更简单

子进程异常默认不抛给主进程,容易“静默失败”

当子进程内部发生未捕获异常时,multiprocessing 默认不会中断主进程,也不会打印 traceback,尤其在使用 Pool 时,异常可能被吞掉,只返回一个空结果或直接卡住。

排查建议

  • 在 worker 函数中主动捕获异常并打印日志
  • pool.apply_async(..., error_callback=...) 显式注册错误处理函数
  • 调试阶段优先用 pool.map()(同步阻塞),异常会直接冒泡到主进程
  • 避免在子进程中使用依赖标准输出/输入的调试语句(如 print),因重定向可能导致看不到输出

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
python中print函数的用法
python中print函数的用法

python中print函数的语法是“print(value1, value2, ..., sep=' ', end=' ', file=sys.stdout, flush=False)”。本专题为大家提供print相关的文章、下载、课程内容,供大家免费下载体验。

192

2023.09.27

python print用法与作用
python print用法与作用

本专题整合了python print的用法、作用、函数功能相关内容,阅读专题下面的文章了解更多详细教程。

17

2026.02.03

if什么意思
if什么意思

if的意思是“如果”的条件。它是一个用于引导条件语句的关键词,用于根据特定条件的真假情况来执行不同的代码块。本专题提供if什么意思的相关文章,供大家免费阅读。

836

2023.08.22

全局变量怎么定义
全局变量怎么定义

本专题整合了全局变量相关内容,阅读专题下面的文章了解更多详细内容。

87

2025.09.18

python 全局变量
python 全局变量

本专题整合了python中全局变量定义相关教程,阅读专题下面的文章了解更多详细内容。

103

2025.09.18

线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

723

2023.08.10

golang map内存释放
golang map内存释放

本专题整合了golang map内存相关教程,阅读专题下面的文章了解更多相关内容。

77

2025.09.05

golang map相关教程
golang map相关教程

本专题整合了golang map相关教程,阅读专题下面的文章了解更多详细内容。

39

2025.11.16

Golang 测试体系与代码质量保障:工程级可靠性建设
Golang 测试体系与代码质量保障:工程级可靠性建设

Go语言测试体系与代码质量保障聚焦于构建工程级可靠性系统。本专题深入解析Go的测试工具链(如go test)、单元测试、集成测试及端到端测试实践,结合代码覆盖率分析、静态代码扫描(如go vet)和动态分析工具,建立全链路质量监控机制。通过自动化测试框架、持续集成(CI)流水线配置及代码审查规范,实现测试用例管理、缺陷追踪与质量门禁控制,确保代码健壮性与可维护性,为高可靠性工程系统提供质量保障。

24

2026.02.28

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.5万人学习

Django 教程
Django 教程

共28课时 | 4.6万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.8万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号