0

0

Python 线程池 ThreadPoolExecutor 的内部实现

冷漠man

冷漠man

发布时间:2026-01-19 18:29:02

|

329人浏览过

|

来源于php中文网

原创

threadpoolexecutor的核心是封装任务调度与线程复用,依赖queue.queue缓冲任务、threading.thread启动工作线程,通过\_threads集合和原子计数器协调状态;任务提交打包为\_workitem入队并唤醒空闲线程;工作线程循环取任务、异常屏蔽执行、自动退出;线程按需创建,不主动销毁。

python 线程池 threadpoolexecutor 的内部实现

ThreadPoolExecutor 的核心不是“自己管理线程生命周期”,而是“把任务调度和线程复用封装成一个可控的接口”——它底层依赖 queue.Queue 做任务缓冲,用 threading.Thread 启动工作线程,并通过一个共享的 _threads 集合和原子计数器(_shutdown, _work_queue, _idle_semaphore 等)协调状态。

任务提交:先入队,再唤醒空闲线程

调用 submit()map() 时,实际是把 Future 对象和待执行的函数+参数打包成 _WorkItem,丢进内部的 self._work_queue(一个 queue.SimpleQueuequeue.Queue)。如果此时有空闲线程在等待(被 _idle_semaphore.acquire() 阻塞),就会被立即唤醒;否则任务静静排队,等线程循环中主动取走。

  • 队列无界,默认不限制待处理任务数量(可传 maxsize 给底层 Queue 控制)
  • 提交不阻塞主线程,除非队列满且设了限(这时 put() 可能阻塞或超时)
  • 每个 Future 实例绑定一个 _WorkItem,执行完自动调用 set_result()set_exception()

工作线程:无限循环 + 异常屏蔽 + 自动退出

每个工作线程运行的是 _worker() 函数。它在一个 while True: 循环里反复从队列取任务,执行,再取下一个。关键细节包括:

Okaaaay
Okaaaay

适用于所有人的AI文本和内容生成器

下载
  • 取任务用 work_queue.get(timeout=xxx),超时后检查是否要退出(shutdown 标志 + 队列空)
  • 执行任务时包裹了 try/except BaseException,确保即使任务抛出 SystemExitKeyboardInterrupt,线程也不会意外终止
  • 线程退出前会调用 _threads.discard(thread) 并释放信号量,保证 shutdown(wait=True) 能准确等待所有活跃线程结束

线程创建与回收:按需启动,不主动销毁

ThreadPoolExecutor 不预创建全部线程,也不在空闲时销毁线程(除非显式 shutdown(wait=True, cancel_futures=True)):

立即学习Python免费学习笔记(深入)”;

  • 初始线程数为 min(threads, max_workers),后续当任务积压、且当前活跃线程数 max_workers 时,才新启线程
  • 线程一旦启动,就一直运行到整个 executor 关闭;没有“空闲 60 秒就退出”的机制(那是 concurrent.futures.ProcessPoolExecutor 也没有)
  • 所以长期运行的服务中,若 max_workers 设得过大,可能造成大量空转线程占用资源

关闭逻辑:两阶段协作,非强制杀线程

shutdown(wait=True) 不是发信号杀死线程,而是协同控制:

  • 第一阶段:设 self._shutdown = True,禁止新任务提交(submit()RuntimeError
  • 第二阶段:等待所有已提交任务完成(wait=True 时,循环检查 _work_queue.empty()_threads 集合为空)
  • 注意:正在运行的任务不会被中断,必须自行支持取消(如定期检查 future.cancelled()

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
while的用法
while的用法

while的用法是“while 条件: 代码块”,条件是一个表达式,当条件为真时,执行代码块,然后再次判断条件是否为真,如果为真则继续执行代码块,直到条件为假为止。本专题为大家提供while相关的文章、下载、课程内容,供大家免费下载体验。

105

2023.09.25

硬盘接口类型介绍
硬盘接口类型介绍

硬盘接口类型有IDE、SATA、SCSI、Fibre Channel、USB、eSATA、mSATA、PCIe等等。详细介绍:1、IDE接口是一种并行接口,主要用于连接硬盘和光驱等设备,它主要有两种类型:ATA和ATAPI,IDE接口已经逐渐被SATA接口;2、SATA接口是一种串行接口,相较于IDE接口,它具有更高的传输速度、更低的功耗和更小的体积;3、SCSI接口等等。

1848

2023.10.19

PHP接口编写教程
PHP接口编写教程

本专题整合了PHP接口编写教程,阅读专题下面的文章了解更多详细内容。

614

2025.10.17

php8.4实现接口限流的教程
php8.4实现接口限流的教程

PHP8.4本身不内置限流功能,需借助Redis(令牌桶)或Swoole(漏桶)实现;文件锁因I/O瓶颈、无跨机共享、秒级精度等缺陷不适用高并发场景。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2356

2025.12.29

java接口相关教程
java接口相关教程

本专题整合了java接口相关内容,阅读专题下面的文章了解更多详细内容。

47

2026.01.19

线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

763

2023.08.10

Java 并发编程高级实践
Java 并发编程高级实践

本专题深入讲解 Java 在高并发开发中的核心技术,涵盖线程模型、Thread 与 Runnable、Lock 与 synchronized、原子类、并发容器、线程池(Executor 框架)、阻塞队列、并发工具类(CountDownLatch、Semaphore)、以及高并发系统设计中的关键策略。通过实战案例帮助学习者全面掌握构建高性能并发应用的工程能力。

98

2025.12.01

golang map内存释放
golang map内存释放

本专题整合了golang map内存相关教程,阅读专题下面的文章了解更多相关内容。

77

2025.09.05

JavaScript浏览器渲染机制与前端性能优化实践
JavaScript浏览器渲染机制与前端性能优化实践

本专题围绕 JavaScript 在浏览器中的执行与渲染机制展开,系统讲解 DOM 构建、CSSOM 解析、重排与重绘原理,以及关键渲染路径优化方法。内容涵盖事件循环机制、异步任务调度、资源加载优化、代码拆分与懒加载等性能优化策略。通过真实前端项目案例,帮助开发者理解浏览器底层工作原理,并掌握提升网页加载速度与交互体验的实用技巧。

23

2026.03.06

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.5万人学习

Django 教程
Django 教程

共28课时 | 4.8万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.8万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号