0

0

Python deque 在高并发场景下的优势

舞夢輝影

舞夢輝影

发布时间:2026-02-11 21:12:58

|

752人浏览过

|

来源于php中文网

原创

deque比list更适合高并发队列操作,因其两端增删为O(1),而list头部操作为O(n),可减少锁竞争、提升吞吐;但deque本身线程不安全,需配合queue.Queue等线程安全封装使用。

python deque 在高并发场景下的优势

deque 为什么比 list 更适合高并发的队列操作

因为 deque 的两端插入和删除是 O(1) 时间复杂度,而 list 在头部做 insert(0, x)pop(0) 是 O(n) —— 每次都要移动后面所有元素。在多线程或异步任务频繁 push/pop 的场景下,这点差异会直接反映为锁竞争时间变长、吞吐下降。

常见错误现象:queue.Queue 虽线程安全,但底层用的是 deque + 锁;有人却自己用 listthreading.Lock 模拟队列,结果锁住的时间远超必要——本质是选错了底层容器。

  • 使用场景:任务分发器、日志缓冲区、WebSocket 消息广播队列
  • dequemaxlen 参数能自动丢弃旧项,适合限流或滑动窗口,list 得手动切片,容易漏删或误删
  • 注意:deque 不支持随机索引加速(d[10000] 是 O(n)),别把它当 list 用

多线程中直接用 deque 是否线程安全

不安全。Python 的 deque 本身不是原子操作容器,多个线程同时调用 append()popleft() 可能导致数据丢失或 IndexError: pop from empty deque

正确做法不是加锁封装,而是优先用标准库的线程安全队列:

立即学习Python免费学习笔记(深入)”;

  • 普通生产者-消费者:用 queue.Queue(基于 deque + threading.Condition
  • 需要非阻塞或超时:用 queue.SimpleQueue(Python 3.7+,更轻量,但无 maxsize 和 task_done)
  • 纯内存高速通道且能接受少量竞争:可对 deque 加细粒度锁,但必须锁住成对操作,比如 with lock: d.append(x); d.popleft() 不能只锁一半

asyncio 中用 deque 还是 asyncio.Queue

必须用 asyncio.Queue。虽然 deque 在协程里不会被抢占,但它不感知 event loop,无法挂起等待;直接在 await 函数里操作 deque 会导致“假并发”——看起来没报错,实际是同步串行执行。

工资查查移动工资条
工资查查移动工资条

大部分的工资还是以打印工资条的形式进行,偶有公司使用邮件发放工资条,而工资条的现代形式应该是移动工资条,以实现信息的备忘、到达、管理、对帐、环保、高效等需求……,用户已经习惯使用手机(或以其它移动方式)实现一切需求,应用的移动化是大势所趋。工资查查就在这样的背景下诞生,北京亦卓科技于2017的开发并推出了微信小程序工资查查。由于对有用户对数据隐私与安全性的考虑,北京亦卓科技在推出了云端应用--工资

下载

典型错误现象:用 deque 存待处理请求,然后在 async for 里循环 popleft(),结果所有协程都卡在空 deque 上 busy-wait,CPU 拉满,event loop 响应变慢。

  • asyncio.Queue 支持 put_nowait()/get_nowait()(类似 deque),也支持 await put()/await get()(自动挂起)
  • 如果真要裸用 deque(比如做本地缓存),确保只在单个协程内操作,或用 asyncio.Lock 包裹,但性能不如原生 Queue
  • asyncio.Queuemaxsize 是软限制,满时 put() 会 await,这点 deque 完全不提供

deque 的内存开销和 GC 表现

deque 内部用双向链表块(block)管理元素,每块默认存 64 个对象指针。这意味着:存 1 个元素也要占一块内存;存 1000 个元素大概用 16 块,但不会像 list 那样预分配空间导致浪费。

容易被忽略的地方:

  • 大量短生命周期 deque(比如每个 HTTP 请求建一个),会触发频繁的小块内存分配,GC 压力比 list
  • deque.clear() 不释放已分配的 block,只是清空引用;反复 clear + append 可能导致内存不回落
  • 若确定大小固定且只从一端操作,用 list + append()/pop() 反而更省内存、更快(避免链表跳转)

高并发服务上线前,建议用 tracemalloc 对比两种结构的峰值内存和 block 分配次数,而不是只看文档说的“deque 更快”。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

653

2023.08.10

Python 多线程与异步编程实战
Python 多线程与异步编程实战

本专题系统讲解 Python 多线程与异步编程的核心概念与实战技巧,包括 threading 模块基础、线程同步机制、GIL 原理、asyncio 异步任务管理、协程与事件循环、任务调度与异常处理。通过实战示例,帮助学习者掌握 如何构建高性能、多任务并发的 Python 应用。

305

2025.12.24

java多线程相关教程合集
java多线程相关教程合集

本专题整合了java多线程相关教程,阅读专题下面的文章了解更多详细内容。

23

2026.01.21

C++多线程相关合集
C++多线程相关合集

本专题整合了C++多线程相关教程,阅读专题下面的的文章了解更多详细内容。

24

2026.01.21

C# 多线程与异步编程
C# 多线程与异步编程

本专题深入讲解 C# 中多线程与异步编程的核心概念与实战技巧,包括线程池管理、Task 类的使用、async/await 异步编程模式、并发控制与线程同步、死锁与竞态条件的解决方案。通过实际项目,帮助开发者掌握 如何在 C# 中构建高并发、低延迟的异步系统,提升应用性能和响应速度。

82

2026.02.06

go语言 数组和切片
go语言 数组和切片

本专题整合了go语言数组和切片的区别与含义,阅读专题下面的文章了解更多详细内容。

47

2025.09.03

append用法
append用法

append是一个常用的命令行工具,用于将一个文件的内容追加到另一个文件的末尾。想了解更多append用法相关内容,可以阅读本专题下面的文章。

346

2023.10.25

python中append的用法
python中append的用法

在Python中,append()是列表对象的一个方法,用于向列表末尾添加一个元素。想了解更多append的更多内容,可以阅读本专题下面的文章。

1077

2023.11.14

2026春节习俗大全
2026春节习俗大全

本专题整合了2026春节习俗大全,阅读专题下面的文章了解更多详细内容。

68

2026.02.11

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.4万人学习

Django 教程
Django 教程

共28课时 | 4.2万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.5万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号