0

0

C++如何设计一个支持动态扩容的环形无锁生产者消费者环?(数据流控制)

穿越時空

穿越時空

发布时间:2026-03-06 12:19:02

|

454人浏览过

|

来源于php中文网

原创

必须用两个独立的std::atomic存储读写位置,不可用atomic_ref或结构体封装;扩容需原子切换指针并延迟回收旧缓冲区;防覆盖须预留空槽且容量为2的幂;spsc场景可选boost::lockfree::spsc_queue,否则须严格配对acquire/release内存序。

c++如何设计一个支持动态扩容的环形无锁生产者消费者环?(数据流控制)

环形缓冲区用 std::atomic 还是 std::atomic_ref

必须用 std::atomic<size_t></size_t> 存储读写位置,不能用 std::atomic_ref —— 它不支持跨线程长期持有,且 C++20 前根本不可用。更关键的是:读写索引必须独立原子更新,否则会出现“写指针被读线程看到但对应数据尚未写入”的撕裂问题。

常见错误是把 read_poswrite_pos 放进一个结构体再用 std::atomic<struct></struct>,这在多数平台无法无锁实现(不满足 lock-free 要求),运行时 .is_lock_free() 会返回 false,实际退化为互斥锁。

  • 始终用两个独立的 std::atomic<size_t></size_t> 成员,类型必须是无符号整型(避免负数溢出行为不确定)
  • 初始化值设为 0,后续所有操作基于模容量运算,不要依赖 signed overflow
  • 在 x86-64 上 std::atomic<size_t></size_t> 天然 lock-free;ARM64 需确认编译器生成 LDAXR/STLXR 指令(Clang/GCC 通常没问题)

扩容时怎么保证生产者消费者不崩溃?

动态扩容和无锁天然冲突:你要改缓冲区指针、重算容量、迁移数据,而此时其他线程可能正处在 load() → 计算下标 → store() 的中间状态。所以真正的做法不是“边运行边扩容”,而是“申请新缓冲区 + 原子切换指针 + 旧缓冲区延迟回收”。

典型错误是试图在扩容中暂停生产者/消费者,或用自旋等待所有线程离开临界区——这破坏了无锁前提,也极易死锁。

立即学习C++免费学习笔记(深入)”;

海绵音乐
海绵音乐

字节跳动推出的AI音乐生成工具

下载
  • 维护一个 std::atomic<t></t> 指向当前缓冲区,扩容时 new 一块新内存,拷贝有效数据(注意只拷贝未消费部分),再用 compare_exchange_strong 原子替换指针
  • 旧缓冲区不能立刻 delete,需用 hazard pointer 或 epoch-based reclamation(如 libcdsgc::HP)确保无活跃访问后再释放
  • 切换后,新写入全部进新缓冲区;但消费者仍需能从旧缓冲区读完剩余数据——这意味着你得保留旧缓冲区的读索引快照,或让消费者在发现指针变更后主动回退处理

怎么防止生产者覆盖未消费数据?

这不是靠“加锁判断”,而是靠预留一个空槽(即容量设为 N,实际可用 N−1)。因为当 write_pos == read_pos 时,无法区分是缓冲区空还是满。这个设计缺陷在无锁场景下无法绕过,强行用额外标志位会引入 ABA 问题或增加 CAS 失败率。

有人尝试用 64 位计数器替代位置索引(如 write_count/read_count),虽可消除满/空歧义,但每次读写都要做除法取模,且扩容时计数器映射关系难维护,实际性能反而更差。

  • 固定策略:缓冲区大小必须是 2 的幂(便于用位运算 & (capacity - 1) 替代取模),并始终按 capacity - 1 计算可用空间
  • 生产者写入前计算 (write_pos + 1) & mask != read_pos,成立才写;失败则返回 false 或阻塞(取决于你的流控策略)
  • 消费者同理,但要注意:即使缓冲区只剩 1 个元素,也必须允许读,否则流控会卡死

为什么不用 boost::lockfree::spsc_queue

它确实无锁、支持动态增长,但它的“动态”仅指构造时指定最大容量,内部仍是静态数组 + 位图管理;真正在运行时 realloc 内存并保持无锁,它并不支持。而且它只适用于单生产单消费(SPSC),一旦涉及 MPSC 或 SPMC,就得自己实现。

更隐蔽的坑是:它的内存模型默认用 memory_order_relaxed,在 ARM 等弱序平台,若没配对使用 acquire/release,可能出现数据可见性问题——比如生产者写了数据、更新了 write index,但消费者看到新 index 却读到旧数据。

  • 如果你的场景确实是 SPSC,且能接受预分配上限,boost::lockfree::spsc_queue 是成熟选择;否则别碰
  • 自行实现时,所有 load() 至少用 memory_order_acquire,所有 store() 至少用 memory_order_release,CAS 用 memory_order_acq_rel
  • 别省略 fence:x86 上看似宽松,但编译器重排仍可能发生;ARM 上没有 acquire/release 就等于裸奔

最麻烦的从来不是怎么写通,而是怎么证明某次 CAS 失败后,你没漏掉一个本该成功的窗口;还有扩容时,怎么让正在迁移的数据不被某个刚好执行到一半的消费者当成垃圾跳过。这些边界得靠绘图+状态机推演,光测不出。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
golang结构体相关大全
golang结构体相关大全

本专题整合了golang结构体相关大全,想了解更多内容,请阅读专题下面的文章。

449

2025.06.09

golang结构体方法
golang结构体方法

本专题整合了golang结构体相关内容,请阅读专题下面的文章了解更多。

201

2025.07.04

线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

743

2023.08.10

数据库Delete用法
数据库Delete用法

数据库Delete用法:1、删除单条记录;2、删除多条记录;3、删除所有记录;4、删除特定条件的记录。更多关于数据库Delete的内容,大家可以访问下面的文章。

287

2023.11.13

drop和delete的区别
drop和delete的区别

drop和delete的区别:1、功能与用途;2、操作对象;3、可逆性;4、空间释放;5、执行速度与效率;6、与其他命令的交互;7、影响的持久性;8、语法和执行;9、触发器与约束;10、事务处理。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

222

2023.12.29

overflow什么意思
overflow什么意思

overflow是一个用于控制元素溢出内容的属性,当元素的内容超出其指定的尺寸时,overflow属性可以决定如何处理这些溢出的内容。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

1841

2024.08.15

Rust内存安全机制与所有权模型深度实践
Rust内存安全机制与所有权模型深度实践

本专题围绕 Rust 语言核心特性展开,深入讲解所有权机制、借用规则、生命周期管理以及智能指针等关键概念。通过系统级开发案例,分析内存安全保障原理与零成本抽象优势,并结合并发场景讲解 Send 与 Sync 特性实现机制。帮助开发者真正理解 Rust 的设计哲学,掌握在高性能与安全性并重场景中的工程实践能力。

2

2026.03.05

PHP高性能API设计与Laravel服务架构实践
PHP高性能API设计与Laravel服务架构实践

本专题围绕 PHP 在现代 Web 后端开发中的高性能实践展开,重点讲解基于 Laravel 框架构建可扩展 API 服务的核心方法。内容涵盖路由与中间件机制、服务容器与依赖注入、接口版本管理、缓存策略设计以及队列异步处理方案。同时结合高并发场景,深入分析性能瓶颈定位与优化思路,帮助开发者构建稳定、高效、易维护的 PHP 后端服务体系。

58

2026.03.04

AI安装教程大全
AI安装教程大全

2026最全AI工具安装教程专题:包含各版本AI绘图、AI视频、智能办公软件的本地化部署手册。全篇零基础友好,附带最新模型下载地址、一键安装脚本及常见报错修复方案。每日更新,收藏这一篇就够了,让AI安装不再报错!

31

2026.03.04

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
C# 教程
C# 教程

共94课时 | 10.7万人学习

C 教程
C 教程

共75课时 | 5.2万人学习

C++教程
C++教程

共115课时 | 20.7万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号