0

0

Python 协程泄漏的自动检测工具

冷炫風刃

冷炫風刃

发布时间:2026-02-17 16:17:50

|

626人浏览过

|

来源于php中文网

原创

协程泄漏主因是task未取消或等待完成且被引用,导致gc不回收;应监控all_tasks()数量变化、用objgraph查增长、测试中用fixture清理、生产环境结合滑动窗口与白名单告警。

python 协程泄漏的自动检测工具

协程对象没被 gc 掉,asyncio.Task 仍在运行怎么办

Python 协程泄漏最典型的表征就是 asyncio.Task 数量持续上涨,但对应逻辑早已该结束。根本原因不是“写了 async 就会泄漏”,而是任务没被显式取消或等待完成,又没被引用释放——尤其在异常提前退出、超时丢弃、或忘记 await 的地方。

实操建议:

立即学习Python免费学习笔记(深入)”;

  • asyncio.all_tasks() 在关键检查点(如测试 teardown、服务健康接口)抓快照,对比前后数量变化
  • 对每个 Task 调用 task.get_coro()task.get_stack() 查看挂起点,定位未完成的协程源头
  • 避免直接用 asyncio.create_task() 后不管:要么加 try/finally 确保 await tasktask.cancel(),要么用 asyncio.timeout() 包裹
  • 注意:asyncio.create_task() 返回的对象若被变量引用(哪怕只是临时赋值),GC 不会回收它,即使协程已结束

tracemalloc 能不能查协程泄漏

不能直接查。tracemalloc 跟踪的是内存分配堆栈,而协程对象本身很小,真正占资源的是它持有的上下文、闭包变量、或阻塞中的 IO 对象(比如没关闭的 aiohttp.ClientSession)。靠它只能间接发现“某段异步代码反复分配大对象”,但无法确认是协程没结束还是数据堆积。

实操建议:

立即学习Python免费学习笔记(深入)”;

  • 开启 tracemalloc 前先调用 asyncio.set_event_loop_policy(asyncio.WindowsSelectorEventLoopPolicy())(Windows)或确保 loop 已启动,否则可能报 RuntimeError: no running event loop
  • 配合 sys.getrefcount() 检查特定 Task 引用数是否异常高(比如 >2 且长期不降)
  • 更有效的是用 objgraph:安装后执行 objgraph.show_growth(limit=10),重点观察 TaskcoroutineFuture 类型的增长趋势

pytest-asyncio 写测试时怎么防泄漏

测试框架默认不清理未完成的 Task,一个 test 函数里漏掉 await 或抛出异常中断,就可能让 Task 泄漏到下一个 test 里,造成干扰甚至失败。

Synthesys
Synthesys

Synthesys是一家领先的AI虚拟媒体平台,用户只需点击几下鼠标就可以制作专业的AI画外音和AI视频

下载

实操建议:

立即学习Python免费学习笔记(深入)”;

  • conftest.py 中加 fixture,用 yield 前后比对 asyncio.all_tasks()
  • 确保 pytest-asyncio 配置了 asyncio_mode = "auto",并禁用 --asyncio-mode=strict(它只校验签名,不保证执行)
  • 测试中避免裸写 asyncio.create_task(some_coro());改用 asyncio.create_task(some_coro(), name="test_xxx"),便于后续按名过滤排查
  • 如果用了 asyncio.sleep(0) 触发调度,记得之后 await asyncio.wait_for(task, timeout=0.1),别让它悬着

生产环境用 psutil + asyncio 监控 Task 数量够不够

够用,但有盲区。单纯监控 len(asyncio.all_tasks()) 只能告诉你“现在有多少 Task”,无法区分是正常并发还是泄漏。如果服务长期稳定在 50±5,突然涨到 200 并持续,才值得告警。

实操建议:

立即学习Python免费学习笔记(深入)”;

  • 每 10 秒采集一次 len(asyncio.all_tasks()),同时记录 len([t for t in asyncio.all_tasks() if not t.done()]) —— 后者才是真正在跑的
  • 结合 psutil.Process().memory_info().rss 看内存是否同步上涨,排除是 Task 持有大量数据导致的假阳性
  • 不要只依赖单点数值:用滑动窗口计算标准差,当连续 3 次超出均值 + 2σ 时触发检查,比固定阈值靠谱
  • 注意:某些后台 Task(如心跳、日志刷盘)本就不 done,需白名单过滤,否则天天告警

真正难的不是发现泄漏,是判断哪个 Task 该结束却没结束——它可能卡在第三方库的 await 上,也可能被一个没暴露 cancel 接口的底层 Future 拖住。这时候得进源码翻 __await__ 实现,或者用 asyncio.debug = True 开启事件循环调试模式,看它卡在哪一行。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
if什么意思
if什么意思

if的意思是“如果”的条件。它是一个用于引导条件语句的关键词,用于根据特定条件的真假情况来执行不同的代码块。本专题提供if什么意思的相关文章,供大家免费阅读。

815

2023.08.22

硬盘接口类型介绍
硬盘接口类型介绍

硬盘接口类型有IDE、SATA、SCSI、Fibre Channel、USB、eSATA、mSATA、PCIe等等。详细介绍:1、IDE接口是一种并行接口,主要用于连接硬盘和光驱等设备,它主要有两种类型:ATA和ATAPI,IDE接口已经逐渐被SATA接口;2、SATA接口是一种串行接口,相较于IDE接口,它具有更高的传输速度、更低的功耗和更小的体积;3、SCSI接口等等。

1486

2023.10.19

PHP接口编写教程
PHP接口编写教程

本专题整合了PHP接口编写教程,阅读专题下面的文章了解更多详细内容。

403

2025.10.17

php8.4实现接口限流的教程
php8.4实现接口限流的教程

PHP8.4本身不内置限流功能,需借助Redis(令牌桶)或Swoole(漏桶)实现;文件锁因I/O瓶颈、无跨机共享、秒级精度等缺陷不适用高并发场景。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2225

2025.12.29

java接口相关教程
java接口相关教程

本专题整合了java接口相关内容,阅读专题下面的文章了解更多详细内容。

37

2026.01.19

堆和栈的区别
堆和栈的区别

堆和栈的区别:1、内存分配方式不同;2、大小不同;3、数据访问方式不同;4、数据的生命周期。本专题为大家提供堆和栈的区别的相关的文章、下载、课程内容,供大家免费下载体验。

418

2023.07.18

堆和栈区别
堆和栈区别

堆(Heap)和栈(Stack)是计算机中两种常见的内存分配机制。它们在内存管理的方式、分配方式以及使用场景上有很大的区别。本文将详细介绍堆和栈的特点、区别以及各自的使用场景。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

593

2023.08.10

堆和栈的区别
堆和栈的区别

堆和栈的区别:1、内存分配方式不同;2、大小不同;3、数据访问方式不同;4、数据的生命周期。本专题为大家提供堆和栈的区别的相关的文章、下载、课程内容,供大家免费下载体验。

418

2023.07.18

pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法
pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法

本专题系统整理pixiv网页版官网入口及登录访问方式,涵盖官网登录页面直达路径、在线阅读入口及快速进入方法说明,帮助用户高效找到pixiv官方网站,实现便捷、安全的网页端浏览与账号登录体验。

283

2026.02.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.4万人学习

Django 教程
Django 教程

共28课时 | 4.3万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.6万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号