0

0

C++如何实现基于协程的异步文件I/O并发读取引擎?(高吞吐量方案)

裘德小鎮的故事

裘德小鎮的故事

发布时间:2026-03-11 11:54:11

|

442人浏览过

|

来源于php中文网

原创

可行,需用io_uring配c++20协程手写awaiter:文件须o_direct|o_nonblock打开,buffer须页对齐且生命周期可控,sq队列深度需合理配置,-eagain/-ecanceled须显式处理。

c++如何实现基于协程的异步文件i/o并发读取引擎?(高吞吐量方案)

std::coroutine + io_uring 做高吞吐异步文件读取是可行的,但别直接上 std::filesystemstd::fstream

标准库的 std::fstream 是同步阻塞的,协程挂起它毫无意义;std::filesystem 更是纯同步工具。真要高吞吐,并发读必须落到系统级异步 I/O 上——Linux 下目前最稳的路径是 io_uring 配合 C++20 协程手写 awaiter。Windows 可走 OVERLAPPED + GetQueuedCompletionStatusEx,但生态支持弱、移植成本高,不推荐新项目选。

常见错误现象:co_await 一个封装了 fread 的函数,结果 CPU 跑满、吞吐没提升,还卡死——本质是协程没真正让出线程,底层仍是同步调用。

  • 必须用 liburing(官方 C 封装)或 cpp-uring(C++ 封装)对接内核接口
  • 所有文件需用 O_DIRECT | O_NONBLOCK 打开,否则 io_uring 提交会退化为同步路径
  • 协程函数返回类型得是自定义 task<:vector>></:vector> 这类可 await 的类型,不能是 voidstd::future

io_uring 提交读请求时,buffer 管理不当会导致 SIGBUS 或数据错乱

直接把栈变量地址传给 io_uring_sqe_set_data 是高危操作:协程挂起后栈帧可能已被覆盖;堆分配又带来频繁 new/delete 开销。正确做法是预分配固定大小的 buffer pool,用 std::pmr::monotonic_buffer_resource 或环形 buffer 管理。

使用场景:单次读 128KB 文件块,同时并发 512 个请求——buffer 必须在请求生命周期内稳定有效,且不能跨协程复用未清理的内存。

立即学习C++免费学习笔记(深入)”;

Grammarly
Grammarly

Grammarly是一款在线语法纠正和校对工具,伟大的AI辅助写作工具

下载
  • 每个 io_uring_sqe 绑定的 buffer 指针,必须指向 page-aligned 内存(posix_memalign 分配)
  • 若用 O_DIRECT,buffer 大小必须是 512 字节对齐,否则提交失败并返回 -EINVAL
  • 不要在 await_suspend 里释放 buffer;要在 await_resume 处理完数据后,由上层逻辑归还到 pool

并发控制不是靠“开 1000 个协程”,而是靠 io_uring 的 SQ/CQ 队列深度和提交批处理

盲目增加协程数量只会压垮 submission queue(SQ),导致 io_uring_submit 返回 -EBUSY;更糟的是,部分请求被 silently 丢弃(取决于 flags)。真实吞吐瓶颈常在队列深度、缓存局部性、以及磁盘随机读放大。

性能影响:SQ 深度设为 1024,但只提交 64 个请求就调用 io_uring_submit,比攒够 256 个再提交慢 3–5 倍(实测 NVMe SSD)。

  • 初始化 io_uring_queue_init 时,entries 至少设为预期并发请求数的 2 倍(如目标 512 并发,entries ≥ 1024)
  • io_uring_sqe* io_uring_get_sqe(&ring) 拿 sqe,拿到空指针说明 SQ 满,此时应 yield 协程,而不是忙等
  • 批量提交前调用 io_uring_submit_and_wait(&ring, n_to_wait),其中 n_to_wait 设为本次提交数,减少 syscall 次数

错误码不是全抛异常,-EAGAIN-ECANCELED 必须显式处理

协程 awaiter 的 await_resume() 里如果只检查 res 就 throw,会把 <code>-EAGAIN(资源暂不可用)当成严重错误,导致整个引擎卡住。而 -ECANCELED 在超时或主动 cancel 场景下很常见,应转为协程正常返回而非崩溃。

容易踩的坑:用 std::error_code 包装 io_uring 返回值时,直接传 resstd::error_code(res, std::generic_category()) 是错的——io_uring 错误码是负值,std::generic_category() 不认负数,会变成 success

  • 正确转换方式:std::error_code{-res, std::generic_category()}(取反)
  • -EAGAIN 应触发重试逻辑(比如延后几微秒再 co_await 同一 sqe),不是异常
  • -ECANCELED 对应协程取消,await_resume() 应返回空结果或标记状态,由上层决定是否重发

实际最难的部分不在协程语法,而在 buffer 生命周期与 io_uring 队列状态的精确对齐——差一行内存释放时机,就可能引发静默数据损坏或段错误。别信“封装好就能跑”的库,至少得看懂它怎么管理 sqe 和 cqe 的引用计数。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
javascriptvoid(o)怎么解决
javascriptvoid(o)怎么解决

javascriptvoid(o)的解决办法:1、检查语法错误;2、确保正确的执行环境;3、检查其他代码的冲突;4、使用事件委托;5、使用其他绑定方式;6、检查外部资源等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

186

2023.11.23

java中void的含义
java中void的含义

本专题整合了Java中void的相关内容,阅读专题下面的文章了解更多详细内容。

133

2025.11.27

硬盘接口类型介绍
硬盘接口类型介绍

硬盘接口类型有IDE、SATA、SCSI、Fibre Channel、USB、eSATA、mSATA、PCIe等等。详细介绍:1、IDE接口是一种并行接口,主要用于连接硬盘和光驱等设备,它主要有两种类型:ATA和ATAPI,IDE接口已经逐渐被SATA接口;2、SATA接口是一种串行接口,相较于IDE接口,它具有更高的传输速度、更低的功耗和更小的体积;3、SCSI接口等等。

1902

2023.10.19

PHP接口编写教程
PHP接口编写教程

本专题整合了PHP接口编写教程,阅读专题下面的文章了解更多详细内容。

656

2025.10.17

php8.4实现接口限流的教程
php8.4实现接口限流的教程

PHP8.4本身不内置限流功能,需借助Redis(令牌桶)或Swoole(漏桶)实现;文件锁因I/O瓶颈、无跨机共享、秒级精度等缺陷不适用高并发场景。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2387

2025.12.29

java接口相关教程
java接口相关教程

本专题整合了java接口相关内容,阅读专题下面的文章了解更多详细内容。

47

2026.01.19

堆和栈的区别
堆和栈的区别

堆和栈的区别:1、内存分配方式不同;2、大小不同;3、数据访问方式不同;4、数据的生命周期。本专题为大家提供堆和栈的区别的相关的文章、下载、课程内容,供大家免费下载体验。

443

2023.07.18

堆和栈区别
堆和栈区别

堆(Heap)和栈(Stack)是计算机中两种常见的内存分配机制。它们在内存管理的方式、分配方式以及使用场景上有很大的区别。本文将详细介绍堆和栈的特点、区别以及各自的使用场景。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

605

2023.08.10

Go高并发任务调度与Goroutine池化实践
Go高并发任务调度与Goroutine池化实践

本专题围绕 Go 语言在高并发任务处理场景中的实践展开,系统讲解 Goroutine 调度模型、Channel 通信机制以及并发控制策略。内容包括任务队列设计、Goroutine 池化管理、资源限制控制以及并发任务的性能优化方法。通过实际案例演示,帮助开发者构建稳定高效的 Go 并发任务处理系统,提高系统在高负载环境下的处理能力与稳定性。

22

2026.03.10

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
C# 教程
C# 教程

共94课时 | 11万人学习

C 教程
C 教程

共75课时 | 5.3万人学习

C++教程
C++教程

共115课时 | 21.3万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号