processpoolexecutor默认调度策略是先到先服务+空闲worker轮询，无优先级、负载感知或亲和性控制；任务靠拆分粒度、chunksize分批及背压控制来避免长任务阻塞短任务。
ProcessPoolExecutor 默认用什么调度策略？
它不调度，只排队。任务提交后直接塞进内部队列，worker 进程谁空闲谁拿，没有优先级、没有负载感知、也没有亲和性控制。这跟线程池的 ThreadPoolExecutor 行为一致，但底层是进程间通信，所以实际吞吐受 queue.Queue 和序列化开销影响更大。
- 默认策略本质是「先到先服务 + 空闲 worker 轮询」
- 没有内置机制让高优任务插队，也没法指定某类任务固定跑在某个子进程上
- 如果任务执行时间差异极大（比如有的 10ms，有的 2s），容易出现 worker 长期空转而重任务堆积在队列头
怎么让短任务不被长任务卡住？
核心是拆任务粒度，别把“处理一整个大文件”当一个任务提交，而是切分成小块，每块独立 submit。这样短任务能快速穿插执行，避免单个慢任务锁死一个 worker。
- 把耗时波动大的逻辑提前预估，超过阈值就拆（比如 >200ms 就分片）
- 使用
chunksize参数配合map()：它会自动把可迭代对象分批发给 worker，比手动 submit 更省队列压力 - 别依赖
max_workers数值去“匹配 CPU 核数”，I/O 密集型任务设太高反而增加上下文切换开销
with ProcessPoolExecutor(max_workers=4) as exe:
# 好：批量分片，减少序列化次数
results = list(exe.map(process_chunk, data_chunks, chunksize=10))
<pre class='brush:python;toolbar:false;'># 差：逐个 submit，队列和 IPC 开销翻倍
futures = [exe.submit(process_chunk, chunk) for chunk in data_chunks]为什么有些任务根本没进 worker？卡在 submit() 不返回？
大概率是主进程的 queue.Queue 满了，且你没设 timeout 或没处理 BrokenPipeError。默认队列大小是 2**20（约 100 万），但 worker 消费慢 + 主进程狂 submit，就会堵死。
-
现象：
submit()阻塞，ps 看 worker 进程 CPU 为 0，但len(executor._work_queue)接近上限立即学习“Python免费学习笔记（深入）”；
解决：用
submit(..., timeout=3)主动失败，或改用map(..., timeout=3)更稳的做法是加背压：用
as_completed()控制并发提交量，保持队列水位在 10% 以内别在循环里无节制
submit()，尤其当 worker 执行慢、输入数据大时
KPPW客客出品专业威客系统下载客客出品专业威客系统英文名称KPPW，也是keke produced professional witkey的缩写。KPPW是一款基于PHP+MYSQL技术构架的威客系统，积客客团队多年实践和对威客模式商业化运作的大量调查分析而精心策划研发，是您轻松搭建威客网站的首选利器。KPPW针对威客任务和商品交易模式进行了细致的分析，提供完善威客任务流程控制解决方案，并将逐步分享威客系统专业化应用作为我们的
initializer函数抛异常会导致整个 worker 退出，后续 submit 全部卡住，务必做 try/except 包裹
Windows 下启动慢、报 RuntimeError: An attempt has been made to start a new process before the current process has finished its bootstrapping phase？
这是 Windows 的 spawn 启动方式强制要求：所有跨进程可调用代码必须包在 if <strong>name</strong> == '<strong>main</strong>': 里。不是警告，是硬性限制。
错误写法：
executor.submit(my_func)直接写在模块顶层正确写法：确保
ProcessPoolExecutor实例化、submit、shutdown 全部在if <strong>name</strong> == '<strong>main</strong>':块内还要检查
my_func引用的所有全局变量、类、函数，是否都能被 pickle，特别是 lambda 和嵌套函数——它们在 spawn 模式下无法跨进程重建Linux/macOS 用 fork 可能不报错，但代码移到 Windows 就崩，别心存侥幸
第三方库如
numpy的数组默认可序列化，但自定义类带文件句柄、socket、threading.Lock 就一定失败
多进程池的“调度”其实是个幻觉，真正可控的只有任务切分节奏、队列水位和 worker 初始化健壮性。其余都交给 multiprocessing 内部的 queue + spawn/fork + pickle 这套链路，改不动，也不该动。
