0

0

Python tracemalloc 的线上内存快照采集

冷炫風刃

冷炫風刃

发布时间:2026-02-14 22:59:02

|

856人浏览过

|

来源于php中文网

原创

tracemalloc 必须在 python 入口第一行启动,否则无法捕获框架初始化阶段的内存分配;快照需启用 traceback_limit=25 并用 statistics('traceback') 对比,过滤 site-packages 干扰,结合 gc 和 objgraph 定位真实泄漏源。

python tracemalloc 的线上内存快照采集

tracemalloc 启动时机必须早于所有业务代码

线上内存问题往往在服务启动几小时后才暴露,但 tracemalloc 如果晚于框架初始化(比如 Django 的 setup()、FastAPI 的 app = FastAPI())再启用,就捕获不到关键对象的分配源头。它只记录启用后的分配行为,之前的所有堆内存分配完全不可见。

常见错误现象:get_traced_memory() 返回值很小,take_snapshot() 里几乎全是 <frozen importlib._bootstrap></frozen> 或空路径,说明没抓到业务逻辑的分配链。

  • 在 Python 解释器最顶层入口(如 main.py 开头第一行)调用 tracemalloc.start()
  • 避免放在 if __name__ == "__main__": 块内——WSGI/ASGI 服务器(如 gunicorn)可能不走这个分支
  • 若用 systemd 或容器启动,确认 PYTHONPATH 和入口文件加载顺序,防止被中间层 wrapper 覆盖

快照采集要带 traceback 且限制深度

默认 take_snapshot() 不包含调用栈,只返回每个分配地址的大小,基本没法定位到哪行代码触发了内存增长。必须显式传参启用追踪,但又不能无限制记录——线上服务扛不住全栈帧开销。

使用场景:排查某个接口反复调用后 RSS 持续上涨,需要对比两次快照中新增的 top 分配点。

立即学习Python免费学习笔记(深入)”;

善美购物商城Sunway Shop
善美购物商城Sunway Shop

系统特点:技术领先:系统基于被广泛使用的Windows平台开发,集百家之所长,技术领先、功能完备; 快速建店:只需简单设置,3分钟即可以建立一个功能完备的网上商城; 操作简便:软件操作界面由专业设计人员设计,采用人性化的布局,界面规范,操作简捷; 安装方便:只需传到您的虚拟空间即可; HTML编辑器:内置优秀的HTML在线编辑器; 可扩展性:软件构架灵活,考虑未来功能扩充之需要,具有较强的可扩展性

下载
  • 启动时加参数:tracemalloc.start(traceback_limit=25)(25 是实测平衡点,再高 GC 压力明显上升)
  • 采集快照务必用:snapshot = tracemalloc.take_snapshot(),不要省略括号
  • 避免在请求处理中高频调用 take_snapshot() —— 单次耗时约 1–5ms,QPS 高时会拖慢响应
  • 如果用 psutil.Process().memory_info().rss 发现内存涨了 100MB,但快照里最大单条才 2MB,说明有大量小对象累积,此时需用 filter_traces 聚合相同 traceback

对比快照时别直接用 statistics('lineno')

statistics('lineno') 按「文件+行号」聚合,看似直观,但对动态生成代码(Jinja 模板、SQLAlchemy lazy loader、Pydantic model 实例化)极不友好——同一行可能对应 N 个语义完全不同的分配源,数据严重失真。

性能影响:当 trace 数超 10 万,statistics() 内部排序会吃掉 200+MB 临时内存,可能触发 OOM。

  • 优先用 statistics('traceback'),能保留函数名和上下文层级
  • 做 diff 时用 snapshot1.compare_to(snapshot2, 'traceback'),而非手动遍历 stat.traceback
  • 过滤干扰项:加上 Filter(inclusive=False, filename_pattern="*/site-packages/*") 排除第三方包噪音
  • 如果发现 top 项全是 dict.__init__list.__init__,说明问题在上层业务逻辑反复构造容器,而不是底层 C 扩展泄漏

线上跑着不能只靠 tracemalloc 定结论

它只能告诉你“哪些 Python 对象被分配了”,但无法区分是引用未释放、循环引用未被 GC 回收、还是底层 C 扩展(如 numpy array、PIL Image)持有的独立内存块。线上看到 RSS 涨了 500MB,tracemalloc 只统计出 80MB,剩下那 420MB 就得换工具查。

容易被忽略的地方:gunicorn worker 进程复用导致 tracemalloc 累积统计跨请求,而 get_traced_memory() 返回的是当前总分配量,不是增量。你看到的“涨了 50MB”可能是前 1000 个请求的累计,不是最近一次请求干的。

  • 配合 gc.get_stats() 看分代回收频率,若 collected 长期为 0,说明有对象逃逸出 GC 范围
  • objgraph.show_most_common_types(limit=20) 快速看存活对象类型分布(需提前装 objgraph)
  • 对疑似 C 扩展内存,用 malloc_info()(Python 3.4+)或 cat /proc/PID/smaps_rollupAnonymousHeap 区域

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
Python Web 框架 Django 深度开发
Python Web 框架 Django 深度开发

本专题系统讲解 Python Django 框架的核心功能与进阶开发技巧,包括 Django 项目结构、数据库模型与迁移、视图与模板渲染、表单与认证管理、RESTful API 开发、Django 中间件与缓存优化、部署与性能调优。通过实战案例,帮助学习者掌握 使用 Django 快速构建功能全面的 Web 应用与全栈开发能力。

58

2026.02.04

Python FastAPI异步API开发_Python怎么用FastAPI构建异步API
Python FastAPI异步API开发_Python怎么用FastAPI构建异步API

Python FastAPI 异步开发利用 async/await 关键字,通过定义异步视图函数、使用异步数据库库 (如 databases)、异步 HTTP 客户端 (如 httpx),并结合后台任务队列(如 Celery)和异步依赖项,实现高效的 I/O 密集型 API,显著提升吞吐量和响应速度,尤其适用于处理数据库查询、网络请求等耗时操作,无需阻塞主线程。

27

2025.12.22

Python 微服务架构与 FastAPI 框架
Python 微服务架构与 FastAPI 框架

本专题系统讲解 Python 微服务架构设计与 FastAPI 框架应用,涵盖 FastAPI 的快速开发、路由与依赖注入、数据模型验证、API 文档自动生成、OAuth2 与 JWT 身份验证、异步支持、部署与扩展等。通过实际案例,帮助学习者掌握 使用 FastAPI 构建高效、可扩展的微服务应用,提高服务响应速度与系统可维护性。

178

2026.02.06

if什么意思
if什么意思

if的意思是“如果”的条件。它是一个用于引导条件语句的关键词,用于根据特定条件的真假情况来执行不同的代码块。本专题提供if什么意思的相关文章,供大家免费阅读。

810

2023.08.22

硬盘接口类型介绍
硬盘接口类型介绍

硬盘接口类型有IDE、SATA、SCSI、Fibre Channel、USB、eSATA、mSATA、PCIe等等。详细介绍:1、IDE接口是一种并行接口,主要用于连接硬盘和光驱等设备,它主要有两种类型:ATA和ATAPI,IDE接口已经逐渐被SATA接口;2、SATA接口是一种串行接口,相较于IDE接口,它具有更高的传输速度、更低的功耗和更小的体积;3、SCSI接口等等。

1440

2023.10.19

PHP接口编写教程
PHP接口编写教程

本专题整合了PHP接口编写教程,阅读专题下面的文章了解更多详细内容。

362

2025.10.17

php8.4实现接口限流的教程
php8.4实现接口限流的教程

PHP8.4本身不内置限流功能,需借助Redis(令牌桶)或Swoole(漏桶)实现;文件锁因I/O瓶颈、无跨机共享、秒级精度等缺陷不适用高并发场景。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2217

2025.12.29

java接口相关教程
java接口相关教程

本专题整合了java接口相关内容,阅读专题下面的文章了解更多详细内容。

37

2026.01.19

pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法
pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法

本专题系统整理pixiv网页版官网入口及登录访问方式,涵盖官网登录页面直达路径、在线阅读入口及快速进入方法说明,帮助用户高效找到pixiv官方网站,实现便捷、安全的网页端浏览与账号登录体验。

76

2026.02.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.4万人学习

Django 教程
Django 教程

共28课时 | 4.3万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.5万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号