0

0

Python 内存泄漏的典型场景分析

舞姬之光

舞姬之光

发布时间:2026-01-31 13:52:33

|

641人浏览过

|

来源于php中文网

原创

Python内存泄漏四大源头:全局字典缓存未清理、循环引用+__del__阻塞GC、threading.local残留、闭包捕获大对象;需分别采用LRU限容、弱引用、手动清理、参数解耦等策略防控。

python 内存泄漏的典型场景分析

全局字典缓存未清理

Python 中用 dict 做全局缓存是最常见的内存泄漏源头,尤其在 Web 服务或长时运行脚本里。缓存键没做生命周期控制、没设最大容量、没配过期策略,对象就一直挂在内存里不释放。

典型表现是:进程 RSS 内存持续上涨,gc.get_objects() 能查到大量本该被回收的实例;用 objgraph.show_most_common_types() 会看到某个业务类实例数异常高。

  • 加限容:用 collections.OrderedDict 实现 LRU,或直接上 functools.lru_cache(maxsize=128)
  • 避免用可变类型(如 listdict)作缓存 key,否则哈希不稳定,导致重复缓存
  • 若必须用自定义对象作 key,确保实现了 __hash____eq__,且内容不可变

循环引用 + 自定义 __del__

当两个对象互相持有对方引用,又都定义了 __del__ 方法,Python 的循环垃圾回收器(GC)会放弃清理它们——因为无法确定析构顺序,怕调用出错。这些对象就永久滞留在 gc.garbage 里。

常见于事件回调、观察者模式、数据库连接池中:A 持有 B 的回调函数,B 又通过闭包引用 A,再加个 __del__ 收尾逻辑,就锁死了整条引用链。

立即学习Python免费学习笔记(深入)”;

  • 优先用弱引用替代强引用:把回调注册改为 weakref.WeakKeyDictionaryweakref.ref(callback)
  • 彻底避免在关键路径写 __del__;改用上下文管理器(__enter__/__exit__)或显式 close() 方法
  • 定期检查:import gc; gc.collect(); print(gc.garbage),一旦非空就要排查

线程局部存储(threading.local)残留

threading.local 看似“线程私有”,但 Python 实际是靠线程 ID 查字典实现的。线程退出后,如果主线程或线程池没主动清理,对应字典项不会自动消失,尤其在使用 concurrent.futures.ThreadPoolExecutor 时容易积累。

论论App
论论App

AI文献搜索、学术讨论平台,涵盖了各类学术期刊、学位、会议论文,助力科研。

下载

现象是:多线程服务跑久了,每个线程的 local 对象(比如 DB 连接、日志 handler)不断增生,sys._current_frames() 查不到,但 gc.get_objects() 能扫出大量未释放实例。

  • 不要依赖线程自然退出来清理;在线程任务末尾手动删掉 local 属性:del threading.local().xxx
  • 改用更可控的方案:函数参数传入依赖,或用 contextvars.ContextVar(Python 3.7+),它随协程/任务生命周期自动管理
  • 若必须用 threading.local,可在 executor 的 initializerfinalizer 中统一管理初始化与清空

闭包捕获大对象未释放

闭包函数会隐式持有外层作用域的所有变量,哪怕只用其中一个小字段。如果外层有个大 listpandas.DataFrame 或文件句柄,而闭包只用来取一个配置值,整个大对象仍无法被回收。

这种泄漏隐蔽性强,objgraph.find_backref_chain() 往往指向一个匿名函数,溯源困难。

  • 显式解耦:把需要的值提前取出,传给闭包作为参数,而不是让它捕获整个作用域
  • functools.partial 替代闭包,它只绑定指定参数,不捕获自由变量
  • 调试时打印 func.__code__.co_freevarsfunc.__closure__,确认闭包实际绑定了哪些对象

真正难处理的不是单点泄漏,而是多个小泄漏叠加后触发 GC 阈值升高、延迟回收,让问题变得间歇且难以复现。建议在关键服务启动时设置 gc.set_debug(gc.DEBUG_UNCOLLECTABLE),并配合 tracemalloc 定期快照比对。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
Python 时间序列分析与预测
Python 时间序列分析与预测

本专题专注讲解 Python 在时间序列数据处理与预测建模中的实战技巧,涵盖时间索引处理、周期性与趋势分解、平稳性检测、ARIMA/SARIMA 模型构建、预测误差评估,以及基于实际业务场景的时间序列项目实操,帮助学习者掌握从数据预处理到模型预测的完整时序分析能力。

71

2025.12.04

Python 数据清洗与预处理实战
Python 数据清洗与预处理实战

本专题系统讲解 Python 在数据清洗与预处理中的核心技术,包括使用 Pandas 进行缺失值处理、异常值检测、数据格式化、特征工程与数据转换,结合 NumPy 高效处理大规模数据。通过实战案例,帮助学习者掌握 如何处理混乱、不完整数据,为后续数据分析与机器学习模型训练打下坚实基础。

1

2026.01.31

python中print函数的用法
python中print函数的用法

python中print函数的语法是“print(value1, value2, ..., sep=' ', end=' ', file=sys.stdout, flush=False)”。本专题为大家提供print相关的文章、下载、课程内容,供大家免费下载体验。

186

2023.09.27

线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

525

2023.08.10

Python 多线程与异步编程实战
Python 多线程与异步编程实战

本专题系统讲解 Python 多线程与异步编程的核心概念与实战技巧,包括 threading 模块基础、线程同步机制、GIL 原理、asyncio 异步任务管理、协程与事件循环、任务调度与异常处理。通过实战示例,帮助学习者掌握 如何构建高性能、多任务并发的 Python 应用。

187

2025.12.24

java多线程相关教程合集
java多线程相关教程合集

本专题整合了java多线程相关教程,阅读专题下面的文章了解更多详细内容。

19

2026.01.21

C++多线程相关合集
C++多线程相关合集

本专题整合了C++多线程相关教程,阅读专题下面的的文章了解更多详细内容。

17

2026.01.21

Python 多线程与异步编程实战
Python 多线程与异步编程实战

本专题系统讲解 Python 多线程与异步编程的核心概念与实战技巧,包括 threading 模块基础、线程同步机制、GIL 原理、asyncio 异步任务管理、协程与事件循环、任务调度与异常处理。通过实战示例,帮助学习者掌握 如何构建高性能、多任务并发的 Python 应用。

187

2025.12.24

2026赚钱平台入口大全
2026赚钱平台入口大全

2026年最新赚钱平台入口汇总,涵盖任务众包、内容创作、电商运营、技能变现等多类正规渠道,助你轻松开启副业增收之路。阅读专题下面的文章了解更多详细内容。

33

2026.01.31

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.4万人学习

Django 教程
Django 教程

共28课时 | 3.7万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.3万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号