0

0

Python 缓存治理的工程化方法

舞姬之光

舞姬之光

发布时间:2026-02-14 21:39:23

|

824人浏览过

|

来源于php中文网

原创

优先选 @lru_cache(默认 maxsize=128),因 functools.cache 等价于 @lru_cache(maxsize=none),易致内存泄漏;禁用含 dict/list 参数的函数缓存;多进程下 cache_clear() 无效,应改用 redis 等共享缓存。

python 缓存治理的工程化方法

缓存失效策略选 @lru_cache 还是 functools.cache

@lru_cachefunctools.cache 都能做函数级缓存,但行为差异直接影响线上稳定性。前者默认有容量上限(maxsize=128),后者等价于 @lru_cache(maxsize=None) —— 意味着无限增长,可能吃光内存。

常见错误现象:用 functools.cache 缓存带参数的数据库查询函数,参数组合多、生命周期长,几小时后 RSS 暴涨 2GB。

使用场景建议:

  • @lru_cache(maxsize=128):适合参数空间小、结果复用率高的纯计算(如解析固定格式字符串)
  • functools.cache:仅限参数极少且确定不会膨胀的场景(如单例工厂函数)
  • 绝对不要用于含 dict / list 参数的函数 —— 因为不可哈希,会直接抛 TypeError: unhashable type

如何安全地让缓存支持可变参数(比如 **kwargs)?

@lru_cache 原生不接受可变参数,直接加装饰器会报 TypeError: unhashable type: 'dict'。核心矛盾在于:缓存键必须是可哈希的,而 dictlist 不是。

立即学习Python免费学习笔记(深入)”;

解决思路不是“绕过哈希”,而是“构造可哈希键”:

  • **kwargs 转成排序后的 frozenset(items()),或序列化为 tuple(sorted(kwargs.items()))
  • *args 中的列表/字典,用 json.dumps(arg, sort_keys=True) 转字符串再哈希(注意:仅限 JSON-safe 数据)
  • 更稳妥的做法是显式定义缓存键生成逻辑,不用自动推导

示例片段:

DESTOON B2B网站管理系统
DESTOON B2B网站管理系统

DESTOON B2B网站管理系统是一套完善的B2B(电子商务)行业门户解决方案。系统基于PHP+MySQL开发,采用B/S架构,模板与程序分离,源码开放。模型化的开发思路,可扩展或删除任何功能;创新的缓存技术与数据库设计,可负载千万级别数据容量及访问。

下载
def cache_key(*args, **kwargs):
    return (args[0], frozenset(sorted(kwargs.items())))
@lru_cache(maxsize=100)
def expensive_call(_key, *ignored): ...
——把键逻辑抽出来,避免装饰器黑盒误判。

cache_clear() 在多线程下为什么没用?

cache_clear() 是线程安全的,但它只清调用方所在 Python 解释器中的缓存副本。在 gunicorn/uwsgi 多 worker 场景下,每个 worker 是独立进程,各自维护一份 @lru_cache 实例 —— 调一个 worker 的 cache_clear(),其他 worker 完全无感。

常见错误现象:后台触发了 cache_clear(),但用户请求仍返回旧数据,查日志发现只有主进程清了,子进程缓存岿然不动。

真正有效的做法:

  • 改用外部缓存(Redis)+ 主动失效机制,所有 worker 共享同一份缓存状态
  • 或改用进程间共享内存方案(如 multiprocessing.Manager + 自定义缓存容器),但复杂度陡增
  • 简单服务可考虑降级为“TTL 缓存”,用 time.time() 控制过期,不依赖清除动作

redis-py 做分布式缓存时,键名设计踩过哪些坑?

缓存键不是越详细越好,也不是越短越好。关键是“可预测性”和“可清理性”。

容易踩的坑:

  • 直接用原始参数拼接键名,比如 f"user:{user_id}:profile",但 user_id 是 UUID 或长整型时,键名过长且难以批量操作
  • 忘记对参数做标准化:同一语义的输入(如 "foo"b"foo")生成不同键,导致缓存击穿
  • 没预留命名空间,后期想批量 FLUSHDBKEYS user:*:profile 时发现键名混杂、无法收敛

推荐做法:

  • 所有键统一前缀 + 业务域 + 类型 + 标准化参数(如强制转小写、去空格、截断超长字段)
  • 示例:"cache:user:profile:v2:{str(user_id).zfill(10)}"
  • 关键参数必须经过 hashlib.md5()base64.urlsafe_b64encode() 编码,避免特殊字符和长度失控
  • 所有缓存操作封装进类方法,禁止裸写 redis_client.get(...),否则键逻辑散落各处,治理无从谈起

缓存从来不是加个装饰器就完事的事。最麻烦的永远不在“怎么存”,而在“什么时候删”“删不删得干净”“删错了怎么办”。工程化治理的本质,是把不确定性变成可追踪、可审计、可灰度的动作。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
什么是分布式
什么是分布式

分布式是一种计算和数据处理的方式,将计算任务或数据分散到多个计算机或节点中进行处理。本专题为大家提供分布式相关的文章、下载、课程内容,供大家免费下载体验。

388

2023.08.11

分布式和微服务的区别
分布式和微服务的区别

分布式和微服务的区别在定义和概念、设计思想、粒度和复杂性、服务边界和自治性、技术栈和部署方式等。本专题为大家提供分布式和微服务相关的文章、下载、课程内容,供大家免费下载体验。

245

2023.10.07

json数据格式
json数据格式

JSON是一种轻量级的数据交换格式。本专题为大家带来json数据格式相关文章,帮助大家解决问题。

437

2023.08.07

json是什么
json是什么

JSON是一种轻量级的数据交换格式,具有简洁、易读、跨平台和语言的特点,JSON数据是通过键值对的方式进行组织,其中键是字符串,值可以是字符串、数值、布尔值、数组、对象或者null,在Web开发、数据交换和配置文件等方面得到广泛应用。本专题为大家提供json相关的文章、下载、课程内容,供大家免费下载体验。

544

2023.08.23

jquery怎么操作json
jquery怎么操作json

操作的方法有:1、“$.parseJSON(jsonString)”2、“$.getJSON(url, data, success)”;3、“$.each(obj, callback)”;4、“$.ajax()”。更多jquery怎么操作json的详细内容,可以访问本专题下面的文章。

318

2023.10.13

go语言处理json数据方法
go语言处理json数据方法

本专题整合了go语言中处理json数据方法,阅读专题下面的文章了解更多详细内容。

81

2025.09.10

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

531

2023.08.03

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

214

2023.09.04

pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法
pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法

本专题系统整理pixiv网页版官网入口及登录访问方式,涵盖官网登录页面直达路径、在线阅读入口及快速进入方法说明,帮助用户高效找到pixiv官方网站,实现便捷、安全的网页端浏览与账号登录体验。

76

2026.02.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.4万人学习

Django 教程
Django 教程

共28课时 | 4.3万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.5万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号