
在 python 进程池中创建子进程
在使用进程池并行处理任务时,有时我们需要在子进程中创建新的子进程。然而,默认情况下,进程池内的进程无法创建子进程。本文将介绍如何解决这一限制。
使用 multiprocessing.forkserver 模块
可以通过使用 multiprocessing.forkserver 模块来允许进程池中的进程创建子进程。该模块提供了一个 shim,允许父进程将任务分发给子进程,而子进程可以在其自己的地址空间中创建子进程。
免费 盛世企业网站管理系统(SnSee)系统完全免费使用,无任何功能模块使用限制,在使用过程中如遇到相关问题可以去官方论坛参与讨论。开源 系统Web代码完全开源,在您使用过程中可以根据自已实际情况加以调整或修改,完全可以满足您的需求。强大且灵活 独创的多语言功能,可以直接在后台自由设定语言版本,其语言版本不限数量,可根据自已需要进行任意设置;系统各模块可在后台自由设置及开启;强大且适用的后台管理支
立即学习“Python免费学习笔记(深入)”;
以下是修改后的代码示例:
from multiprocessing import Pool, Process, forkserver
import time
def print_run(msg):
print('msg.%s' % msg)
time.sleep(2)
def print_log(msg):
p = Process(target=print_run,
args=(msg,))
p.start()
p.join()
print('msg is : %s' % msg)
time.sleep(1)
def set_multprocess():
# 使用 forkserver 来允许子进程创建子进程
forkserver.start(set_forkserver_parallelism)
pool = Pool(processes=10)
for i in range(20):
pool.apply_async(func=print_log, args=(str(i),))
pool.close()
pool.join()
print('finished')
# 设置 forkserver 的并行度
def set_forkserver_parallelism(n):
"""Set the parallelism to be n * number of processes."""
n = max(n, 1)
forkserver.set_forkserver_ parallelism(n)
if __name__ == '__main__':
set_multprocess()通过添加 forkserver.start(set_forkserver_parallelism),我们在运行进程池之前初始化了 forkserver 模块。并且,我们通过调用 set_forkserver_parallelism(n) 来设置 forkserver 的并行度,以控制允许创建的子进程数量。









