根本原因是每次启动新进程都触发完整Python解释器初始化,且spawn方式需pickle主进程状态;实操需用if name == "__main__":包裹、避免顶层重IO、慎用Pool传参。

为什么 multiprocessing.Process 启动慢得反常?
根本原因不是 CPU 不够,而是每次启动新进程都触发完整的 Python 解释器初始化:导入 sys、os、重建模块缓存、甚至重新读取 site-packages。尤其在 Windows 或 macOS 上,spawn 启动方式(默认)会 pickle 主进程状态,若主模块里有不可序列化的对象(比如打开的文件句柄、threading.Lock),还会静默失败或卡住。
实操建议:
立即学习“Python免费学习笔记(深入)”;
- 用
if __name__ == "__main__":严格包裹multiprocessing启动代码,避免子进程重复执行导入逻辑 - Windows/macOS 下避免在主模块顶层做重 IO 或大对象初始化(如加载模型、读大文件),挪到
target函数内部按需加载 - 考虑改用
fork启动方式(Linux only):mp.set_start_method("fork"),但注意它不隔离内存,可能引发意外共享
multiprocessing.Pool 传参时数据被复制了几次?
答案是:至少两次——一次从主进程序列化(pickle),一次在子进程反序列化。如果传入的是大 NumPy 数组、Pandas DataFrame 或嵌套字典,这个开销会直接吃掉并行收益,甚至比单进程还慢。
实操建议:
立即学习“Python免费学习笔记(深入)”;
- 优先用
multiprocessing.shared_memory(Python 3.8+)或mp.Array/mp.Value管理只读大数组,避免 pickle - 把数据路径(而非数据本身)传给子进程,让每个 worker 自己加载,配合
joblib.Memory缓存可进一步减少重复 IO - 慎用
pool.map_async的chunksize参数:太小 → 频繁调度开销;太大 → 负载不均;建议设为len(data) // (4 * pool._processes)
为什么用了多进程,CPU 占用却只有 100%?
这通常意味着你没真正跑满所有核心,常见于三类情况:I/O 瓶颈、GIL 干扰、或任务粒度太小。特别注意,multiprocessing 只能绕过 GIL 对 CPU 密集型任务有效;如果目标函数大量调用 C 扩展(如 NumPy 向量化操作),GIL 本就不构成瓶颈,加进程反而引入调度和通信成本。
实操建议:
立即学习“Python免费学习笔记(深入)”;
- 用
time.perf_counter()和psutil.cpu_percent(percpu=True)分别测单任务耗时与各核实时占用,确认是否真卡在计算上 - 检查是否误用
threading混合multiprocessing:线程间共享变量在多进程下不生效,且可能因锁竞争拖慢整体 - 对纯计算任务,确保函数体中没有隐式 I/O(如日志写磁盘、
print()、访问网络配置文件)
子进程抛异常,主进程为什么只看到 BrokenProcessPool?
因为默认情况下,子进程的 traceback 不会自动回传。当你看到 concurrent.futures.process.BrokenProcessPool 或 mp.pool.MaybeEncodingError,大概率是子进程在 unpickle 参数或执行时崩溃了,但主进程连错在哪都不知道。
实操建议:
立即学习“Python免费学习笔记(深入)”;
- 在
target函数最外层加try/except Exception as e: print(e); raise,强制把错误打到子进程 stdout(再重定向到文件更稳妥) - 改用
concurrent.futures.ProcessPoolExecutor,它的submit().result()会原样抛出子进程异常,包括完整 traceback - 避免在
target中使用闭包变量或 lambda:它们依赖主进程命名空间,在spawn模式下容易 unpickle 失败
真正的性能拐点往往不在“开多少进程”,而在于数据怎么进、结果怎么出、以及异常发生时你能不能一眼定位到哪行代码在子进程里悄悄挂了。











