0

0

C++如何构建基于io_uring的高性能异步磁盘I/O库?(Linux底层优化)

穿越時空

穿越時空

发布时间:2026-03-07 15:09:13

|

443人浏览过

|

来源于php中文网

原创

io_uring不能直接当“异步文件库”用,因其仅为内核提交/完成队列接口,不封装文件语义,需手动管理fd、对齐buffer、处理错误及上下文生命周期等。

c++如何构建基于io_uring的高性能异步磁盘i/o库?(linux底层优化)

io_uring 为什么不能直接当“异步文件库”用

因为 io_uring 本身只是内核提供的一组提交/完成队列接口,不封装文件语义。你调用 io_uring_prep_readv 前得自己 open() 文件、管理 fd、处理 O_DIRECT 对齐、应对 -EAGAIN-EBUSY 返回——这些都不是“开箱即用”的异步 I/O,而是裸调度原语。

常见错误现象:io_uring_submit 返回成功,但读写没发生;或 read 完成后 buffer 里全是零;或高并发下大量 -EAGAIN 却没重试逻辑。

  • 必须显式设置 IORING_SETUP_IOPOLL(仅限支持轮询的设备)或 IORING_SETUP_SQPOLL(需 root),否则仍是 syscall 回退路径,性能无优势
  • O_DIRECT 是常态,意味着 buffer 地址和长度都必须页对齐(posix_memalign 分配),否则 io_uring 直接拒绝提交
  • 同一个 ring 不宜混用阻塞/非阻塞 fd:比如用 open("/proc/sys/...", O_RDONLY) 这种非存储 fd 提交到带 IOPOLL 的 ring,会静默失败

如何安全地复用 sqe 和管理 completion

手写库最容易崩在 sqe 生命周期错乱:提前覆盖未提交的 sqe,或 completion 回调里访问已释放的上下文。liburing 的 io_uring_get_sqe 只是取空位指针,不保活,也不自动关联用户数据。

使用场景:长连接服务中每个请求对应一次磁盘 read,需把 request 对象地址嵌入 sqe 的 user_data 字段,completion 时还原。

立即学习C++免费学习笔记(深入)”;

Reecho睿声
Reecho睿声

Reecho AI:超拟真语音合成与瞬时语音克隆平台

下载
  • 永远检查 io_uring_get_sqe 返回值是否为 nullptr,满队列时它不阻塞,要主动 io_uring_submit 后再取
  • user_data 是唯一可靠的上下文传递通道,别依赖 sqe 内存地址——ring 内部可能移动或复用缓冲区
  • completion 处理必须区分 res (错误)和 <code>res == 0(EOF),尤其对普通文件;res > 0 才是真实字节数

Linux 5.19+ 的 IORING_OP_OPENAT2 能省多少事?

以前 open 文件必须走额外 syscall,破坏异步流水线;现在可把 open + read 合并在一个 submission 中,但代价是语义更重、容错更差。

参数差异明显:openat2 需构造 struct open_how,且 how.flags 里若设 O_PATHO_NOFOLLOW,后续 read 会直接失败——不是报错,而是 res == -1cqe->flags & IORING_CQE_F_MORE 为 false,容易误判为成功。

  • 仅当确定文件存在且权限固定时才用 IORING_OP_OPENAT2;动态路径或权限不确定场景,老老实实先 io_uring_prep_openat 再链式 submit
  • IORING_OP_OPENAT2 不支持 O_DIRECT,所以后续 read 仍需对齐 buffer,不能省掉 posix_memalign
  • glibc 尚未封装 openat2,需自己定义 struct open_how 并确保字段顺序与内核一致(__kernel_timespec 等细节易踩坑)

为什么 mmap + io_uring 通常比纯 io_uring 更慢

有人想用 mmap 预映射大文件,再靠 io_uring_prep_read 触发 page fault 异步加载——理论上零拷贝,实际几乎总是更慢。根本原因是 page fault 路径绕过了 io_uring 的 fast path,最终退化成普通 read() syscall。

性能影响具体体现在:相同负载下 CPU 使用率高 20%+,延迟 P99 上浮 3–5 倍,且 vmstat 显示 pgmajfault 暴涨。

  • 真正零拷贝场景只适用于 IORING_OP_PROVIDE_BUFFERS + 用户态 buffer pool,而非 mmap
  • 若必须 mmap,至少用 MADV_DONTNEED 主动释放冷页,避免 swap 压力干扰 io_uring 提交延迟
  • 不要在同一个文件上混用 mmapio_uring read:内核 page cache 锁竞争会导致 completion 阻塞在 page_cache_get_page

最麻烦的其实是信号处理——io_uring 提交过程可能被 SIGUSR1 中断,此时 io_uring_submit 返回 -EINTR,但 sqe 已部分入队,重试前必须用 io_uring_sq_ready 检查真实状态,否则重复提交会触发内核 panic 日志。

相关文章

数码产品性能查询
数码产品性能查询

该软件包括了市面上所有手机CPU,手机跑分情况,电脑CPU,电脑产品信息等等,方便需要大家查阅数码产品最新情况,了解产品特性,能够进行对比选择最具性价比的商品。

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
硬盘接口类型介绍
硬盘接口类型介绍

硬盘接口类型有IDE、SATA、SCSI、Fibre Channel、USB、eSATA、mSATA、PCIe等等。详细介绍:1、IDE接口是一种并行接口,主要用于连接硬盘和光驱等设备,它主要有两种类型:ATA和ATAPI,IDE接口已经逐渐被SATA接口;2、SATA接口是一种串行接口,相较于IDE接口,它具有更高的传输速度、更低的功耗和更小的体积;3、SCSI接口等等。

1846

2023.10.19

PHP接口编写教程
PHP接口编写教程

本专题整合了PHP接口编写教程,阅读专题下面的文章了解更多详细内容。

614

2025.10.17

php8.4实现接口限流的教程
php8.4实现接口限流的教程

PHP8.4本身不内置限流功能,需借助Redis(令牌桶)或Swoole(漏桶)实现;文件锁因I/O瓶颈、无跨机共享、秒级精度等缺陷不适用高并发场景。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2352

2025.12.29

java接口相关教程
java接口相关教程

本专题整合了java接口相关内容,阅读专题下面的文章了解更多详细内容。

47

2026.01.19

磁盘配额是什么
磁盘配额是什么

磁盘配额是计算机中指定磁盘的储存限制,就是管理员可以为用户所能使用的磁盘空间进行配额限制,每一用户只能使用最大配额范围内的磁盘空间。php中文网为大家提供各种磁盘配额相关的内容,教程,供大家免费下载安装。

1542

2023.06.21

如何安装LINUX
如何安装LINUX

本站专题提供如何安装LINUX的相关教程文章,还有相关的下载、课程,大家可以免费体验。

716

2023.06.29

linux find
linux find

find是linux命令,它将档案系统内符合 expression 的档案列出来。可以指要档案的名称、类别、时间、大小、权限等不同资讯的组合,只有完全相符的才会被列出来。find根据下列规则判断 path 和 expression,在命令列上第一个 - ( ) , ! 之前的部分为 path,之后的是 expression。还有指DOS 命令 find,Excel 函数 find等。本站专题提供linux find相关教程文章,还有相关

300

2023.06.30

linux修改文件名
linux修改文件名

本专题为大家提供linux修改文件名相关的文章,这些文章可以帮助用户快速轻松地完成文件名的修改工作,大家可以免费体验。

799

2023.07.05

JavaScript浏览器渲染机制与前端性能优化实践
JavaScript浏览器渲染机制与前端性能优化实践

本专题围绕 JavaScript 在浏览器中的执行与渲染机制展开,系统讲解 DOM 构建、CSSOM 解析、重排与重绘原理,以及关键渲染路径优化方法。内容涵盖事件循环机制、异步任务调度、资源加载优化、代码拆分与懒加载等性能优化策略。通过真实前端项目案例,帮助开发者理解浏览器底层工作原理,并掌握提升网页加载速度与交互体验的实用技巧。

23

2026.03.06

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL 教程
PostgreSQL 教程

共48课时 | 10.2万人学习

Git 教程
Git 教程

共21课时 | 4万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号