0

0

Python 如何实现一个简单的带锁的 LRU 缓存(线程安全)

舞夢輝影

舞夢輝影

发布时间:2026-01-18 20:07:13

|

547人浏览过

|

来源于php中文网

原创

线程安全的LRU缓存可通过四种方式实现:一、用threading.Lock封装OrderedDict;二、用锁装饰器代理functools.lru_cache;三、改用threading.RLock防自调用死锁;四、用单线程ThreadPoolExecutor异步封装。

python 如何实现一个简单的带锁的 lru 缓存(线程安全)

如果您需要在多线程环境中使用 LRU 缓存,且要求读写操作互斥以避免状态不一致,则必须引入同步机制。以下是实现一个线程安全的带锁 LRU 缓存的多种方法:

一、使用 threading.Lock 封装 OrderedDict

该方法基于 Python 标准库中的 collections.OrderedDict 实现 LRU 逻辑,并通过显式加锁保证所有缓存操作的原子性。每次访问(get)、更新(put)或删除(popitem)均需获取锁,确保同一时刻仅有一个线程修改内部状态。

1、导入所需模块:from collections import OrderedDictimport threading

2、定义类并初始化 self._cache = OrderedDict()self._lock = threading.Lock()

立即学习Python免费学习笔记(深入)”;

3、在 get 方法中:调用 self._lock.acquire(),检查 key 是否存在,若存在则调用 move_to_end() 更新顺序,再释放锁。

4、在 put 方法中:同样先获取锁,判断是否已满,若满则调用 popitem(last=False) 移除最久未用项,然后设置新键值对并调用 move_to_end(),最后释放锁。

二、继承 functools.lru_cache 并添加锁代理

该方法不直接修改 functools.lru_cache 内部实现(因其为 C 扩展且不可直接加锁),而是将其作为底层缓存引擎,在函数调用入口和出口处统一加锁。适用于缓存目标为纯函数计算结果的场景,将线程安全逻辑与缓存逻辑分离。

1、定义一个装饰器函数,内部创建 threading.RLock()(可重入锁,支持同一线程多次 acquire)。

2、装饰器包裹原函数,在每次调用前执行 lock.acquire(),调用结束后执行 lock.release()

3、对目标函数应用 @functools.lru_cache(maxsize=128),再叠加该锁装饰器。

Autoppt
Autoppt

Autoppt:打造高效与精美PPT的AI工具

下载

4、确保被装饰函数无副作用,否则锁粒度可能导致性能瓶颈或死锁风险。

三、使用 threading.RLock 替代 Lock 防止自调用死锁

当缓存的 get 或 put 方法内部可能间接触发另一轮缓存操作(例如通过回调或嵌套调用),使用普通 threading.Lock 会导致同一线程重复 acquire 而阻塞。此时应改用可重入锁,允许同一线程多次获取而不阻塞,同时仍能阻止其他线程并发进入临界区。

1、将初始化语句改为 self._lock = threading.RLock()

2、保持原有 get/put 方法结构不变,但所有 acquire()release() 调用均作用于该 RLock 实例。

3、在 put 方法中若存在触发 get 的逻辑(如缓存穿透时回源并写入),无需额外规避,RLock 自动处理嵌套持有。

四、基于 concurrent.futures.ThreadPoolExecutor 的异步封装方案

该方法将缓存操作提交至单线程的线程池执行,利用线程池的串行化能力替代显式锁。适用于希望规避手动锁管理复杂性的场景,尤其适合 I/O 密集型缓存回源逻辑,但会引入轻微调度开销。

1、初始化时创建 self._executor = ThreadPoolExecutor(max_workers=1)

2、将 get 和 put 方法重构为返回 concurrent.futures.Future 对象的异步接口。

3、在方法体内调用 self._executor.submit(self._sync_get, key) 或类似方式,将实际逻辑委托给私有同步方法。

4、调用方需使用 future.result() 获取结果,该调用会阻塞直至任务完成。

相关专题

更多
python开发工具
python开发工具

php中文网为大家提供各种python开发工具,好的开发工具,可帮助开发者攻克编程学习中的基础障碍,理解每一行源代码在程序执行时在计算机中的过程。php中文网还为大家带来python相关课程以及相关文章等内容,供大家免费下载使用。

759

2023.06.15

python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

639

2023.07.20

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

762

2023.07.25

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

618

2023.07.31

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

1265

2023.08.03

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

548

2023.08.04

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

579

2023.08.04

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

709

2023.08.11

高德地图升级方法汇总
高德地图升级方法汇总

本专题整合了高德地图升级相关教程,阅读专题下面的文章了解更多详细内容。

68

2026.01.16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 4.2万人学习

Django 教程
Django 教程

共28课时 | 3.2万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.2万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号