0

0

Python 缓存对内存占用的影响评估

舞夢輝影

舞夢輝影

发布时间:2026-02-20 02:45:16

|

685人浏览过

|

来源于php中文网

原创

缓存未清理导致内存持续增长:@lru_cache或字典缓存若键空间失控,强引用会阻止gc回收,引发memoryerror;weakref.weakvaluedictionary可避免阻塞回收;typed=true易致键膨胀、命中率下降;实际内存占用取决于返回值大小而非缓存数量。

python 缓存对内存占用的影响评估

缓存没清掉,内存就一直涨

Python 的 @lru_cache 或手动字典缓存,一旦键空间不受控,内存占用会持续累积,且 GC 很难回收——因为缓存对象本身是强引用,只要缓存容器活着,里头的值就不会被释放。

常见错误现象:MemoryError 在长时间运行服务中突然出现;psutil.Process().memory_info().rss 显示内存稳步上升,但对象计数(len(gc.get_objects()))没明显变化——说明不是“新对象爆炸”,而是旧值被缓存钉住了。

  • 使用场景:高频调用、参数组合多的纯函数(比如解析配置、查表转换),尤其在 Web 请求循环或数据管道中反复复用
  • 参数差异:@lru_cache(maxsize=128)@lru_cache()(即 maxsize=None)安全得多;但若实际调用键远超 128(比如时间戳毫秒级、UUID 类参数),仍等效于无限制
  • 性能影响:maxsize=0 禁用缓存但保留装饰器开销;maxsize=None 最快但最危险;中间值需按键的熵来估算,别拍脑袋设 1024

weakref 替代强引用缓存

当缓存项本身是大型对象(如 pandas.DataFramenumpy.ndarray),又不希望它因被缓存而阻止回收,就得绕过强引用。标准库的 weakref.WeakValueDictionary 是更稳妥的选择。

它只保存对象的弱引用,一旦对象外部引用消失,缓存条目自动失效,不阻塞 GC。

立即学习Python免费学习笔记(深入)”;

怡启AI论文
怡启AI论文

专业AI论文写作

下载
  • 适用场景:缓存“结果对象”而非“计算结果值”,比如缓存某个文件路径对应的已加载模型实例
  • 注意点:WeakValueDictionary 的键必须是不可变类型(strinttuple),值必须支持弱引用(大多数自定义类默认支持,但含 __slots__ 且未显式声明 __weakref__ 的不行)
  • 不能直接套用 @lru_cache:得自己封装逻辑,比如用 functools.lru_cache 缓存 key → id 映射,再用 WeakValueDictionary 存真实值

@lru_cachetyped=True 会悄悄翻倍内存

开启 typed=True 后,(1, 1.0)(1.0, 1) 被视为不同键——表面上是类型安全,实际上让缓存键空间膨胀,尤其在混合数值类型(int/float)、泛型参数场景下。

实测:某配置解析函数开启 typed=True 后,缓存命中率从 72% 降到 19%,内存占用多出 3.2 倍(因重复缓存了本可合并的变体)。

  • 除非你明确依赖 intfloat 的语义区分(比如单位校验),否则关掉它
  • 检查方式:打印 func.cache_info(),对比 hits/misses 比例;若 currsize 接近 maxsizehits 极低,大概率是键粒度太细
  • 兼容性注意:CPython 3.8+ 才支持 typed 参数;PyPy 行为略有差异,建议统一关掉以保一致

评估内存影响必须看实际键分布,不是看代码行数

写一个 @lru_cache(maxsize=512) 不代表最多占 512 个对象内存——每个缓存项的大小取决于返回值本身。一个返回 bytes(1024*1024) 的函数,满缓存就是 512MB;返回 int 就不到 10KB。

真正要做的,是采样真实调用流,统计键的唯一性、返回值大小分布,而不是靠“应该不会太多”来赌。

  • 快速验证方法:在缓存函数内加钩子,用 sys.getsizeof(result) 记录每次缓存项大小,定期输出 top N 大的键和尺寸
  • 容易被忽略的点:字符串拼接、JSON 序列化结果、临时生成的 dict 都可能隐式放大体积;__slots__ 类比普通类省内存,但缓存它时,实例本身大小 ≠ 缓存开销(因为还存了 __dict__ 的引用)
  • 生产环境慎用 tracemalloc 全局追踪——开销太大;优先用 objgraph 定向查缓存字典里的大对象引用链

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
json数据格式
json数据格式

JSON是一种轻量级的数据交换格式。本专题为大家带来json数据格式相关文章,帮助大家解决问题。

442

2023.08.07

json是什么
json是什么

JSON是一种轻量级的数据交换格式,具有简洁、易读、跨平台和语言的特点,JSON数据是通过键值对的方式进行组织,其中键是字符串,值可以是字符串、数值、布尔值、数组、对象或者null,在Web开发、数据交换和配置文件等方面得到广泛应用。本专题为大家提供json相关的文章、下载、课程内容,供大家免费下载体验。

544

2023.08.23

jquery怎么操作json
jquery怎么操作json

操作的方法有:1、“$.parseJSON(jsonString)”2、“$.getJSON(url, data, success)”;3、“$.each(obj, callback)”;4、“$.ajax()”。更多jquery怎么操作json的详细内容,可以访问本专题下面的文章。

322

2023.10.13

go语言处理json数据方法
go语言处理json数据方法

本专题整合了go语言中处理json数据方法,阅读专题下面的文章了解更多详细内容。

81

2025.09.10

Python 时间序列分析与预测
Python 时间序列分析与预测

本专题专注讲解 Python 在时间序列数据处理与预测建模中的实战技巧,涵盖时间索引处理、周期性与趋势分解、平稳性检测、ARIMA/SARIMA 模型构建、预测误差评估,以及基于实际业务场景的时间序列项目实操,帮助学习者掌握从数据预处理到模型预测的完整时序分析能力。

75

2025.12.04

Python 数据清洗与预处理实战
Python 数据清洗与预处理实战

本专题系统讲解 Python 在数据清洗与预处理中的核心技术,包括使用 Pandas 进行缺失值处理、异常值检测、数据格式化、特征工程与数据转换,结合 NumPy 高效处理大规模数据。通过实战案例,帮助学习者掌握 如何处理混乱、不完整数据,为后续数据分析与机器学习模型训练打下坚实基础。

4

2026.01.31

css中float用法
css中float用法

css中float属性允许元素脱离文档流并沿其父元素边缘排列,用于创建并排列、对齐文本图像、浮动菜单边栏和重叠元素。想了解更多float的相关内容,可以阅读本专题下面的文章。

591

2024.04.28

C++中int、float和double的区别
C++中int、float和double的区别

本专题整合了c++中int和double的区别,阅读专题下面的文章了解更多详细内容。

105

2025.10.23

pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法
pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法

本专题系统整理pixiv网页版官网入口及登录访问方式,涵盖官网登录页面直达路径、在线阅读入口及快速进入方法说明,帮助用户高效找到pixiv官方网站,实现便捷、安全的网页端浏览与账号登录体验。

660

2026.02.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.4万人学习

Django 教程
Django 教程

共28课时 | 4.4万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.6万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号