python多进程适合cpu密集型任务,可绕过gil并行利用多核,典型场景包括数值计算、图像处理、科学计算等;io与计算混合时宜将整流程封装为进程任务,注意参数可序列化、通信方式选择及跨平台启动兼容性。

Python多进程适合CPU密集型任务,比如数值计算、图像处理、数据解析等,当单核跑满仍无法满足性能需求时,用 multiprocessing 可以真正并行利用多核资源。
CPU密集型任务:避开GIL限制
CPython的全局解释器锁(GIL)让多线程无法真正并行执行CPU密集代码,但多进程每个子进程有独立解释器和内存空间,天然绕过GIL。典型场景包括:
- 批量处理大量CSV/Excel文件中的数值计算
- 使用NumPy/Pandas做大规模矩阵运算或分组聚合
- 调用OpenCV进行多张图片的缩放、滤波、特征提取
- 蒙特卡洛模拟、遗传算法迭代等科学计算
IO密集+计算混合:按需拆分
纯IO任务(如HTTP请求、数据库读写)用多线程更轻量,但如果IO之后紧接大量本地计算(例如下载图片后立刻做OCR识别),把“下载+识别”整个流程打包成一个进程任务,比用线程+进程混搭更清晰稳定。建议:
ERMEB云盘发卡系统官方正版系统,发卡系统操作简单、方便、易懂。 系统微信小程序前端采用nuiapp后端采用think PHP6PC前端采用vue开发 使用场景:文件上传储存,适合个人/个体/中小企业使用。本系统配合微信小程序端进行使用,文件下载以及发卡商品卡密领取都需要进入小程序内获取下载码以及卡密领取,小程序内可设置积分充值以及任务获取积分,支持微信激励广告领取文件下载码以及卡密商品,可实现
- 用
Process或Pool管理完整业务单元 - 避免在子进程中再开线程(增加复杂度且收益有限)
- 大文件IO注意共享内存或临时路径冲突,推荐每个进程用独立临时目录
进程间通信与数据传递技巧
进程不共享内存,传参和取结果要格外注意:
立即学习“Python免费学习笔记(深入)”;
- 函数参数必须可序列化(
pickleable),不能传lambda、嵌套函数、带绑定方法的对象 - 小量结果直接用
pool.map()或process.join()后取result.get() - 大数据推荐用
multiprocessing.Manager()的dict/list,或通过文件/Redis中转 - 高频通信慎用
Queue,容易成为瓶颈;优先考虑批量处理+减少交互次数
启动方式与平台兼容性
Windows/macOS默认用 spawn 方式启动子进程,Linux默认用 fork。这会影响全局变量、日志配置、甚至CUDA上下文初始化:
- 跨平台项目务必在主模块入口加
if __name__ == '__main__':保护 - 避免在模块顶层执行耗时初始化(如加载大模型),应移到子进程内按需加载
- 使用
mp.set_start_method('spawn')统一行为,尤其涉及TensorFlow/PyTorch时









