0

0

C++如何实现高性能的异步文件读取器?(利用AIO或io_uring)

穿越時空

穿越時空

发布时间:2026-03-05 09:14:03

|

949人浏览过

|

来源于php中文网

原创

io_uring是linux 5.1+下c++异步文件i/o最优解,吞吐与延迟均显著优于posix aio;其为无锁零拷贝内核直通路径,而aio_read底层多为线程池模拟,存在调度开销与兼容性问题。

c++如何实现高性能的异步文件读取器?(利用aio或io_uring)

Linux 下用 io_uring 做异步文件读取,比 aio_read 快得多

直接结论:在 Linux 5.1+ 上,io_uring 是目前 C++ 异步文件 I/O 的最优解,吞吐和延迟都明显优于传统 POSIX AIO(aio_read/aio_write)。POSIX AIO 在内核中仍走线程池模拟,实际是同步阻塞 + 用户态线程调度,而 io_uring 是真正的无锁、零拷贝、内核直通路径。

实操建议:

  • io_uring 需要自己管理提交队列(SQ)和完成队列(CQ),但封装一层后,可做到类似 std::future 的使用体验;不要试图复用同一个 io_uring 实例跨线程提交(除非加锁),它本身不是线程安全的
  • 文件必须用 O_DIRECT 打开才能发挥最大性能,否则内核会绕过 page cache 但还要做额外对齐检查,反而更慢;注意 O_DIRECT 要求 buffer 地址和长度都按 512B 对齐(可用 posix_memalign 分配)
  • 避免频繁调用 io_uring_submit,应批量提交多个 IORING_OP_READ,再统一等待完成——单次提交一个请求,开销可能比实际读还高

为什么 aio_read 在大多数场景下不推荐

现象:调用 aio_read 后,用 aio_error 查状态总是返回 EINPROGRESS,但用 aio_suspend 等待又卡住,或回调没触发。

根本原因:glibc 的 POSIX AIO 实现默认用的是“线程池”模式(libaio 只在特定条件下启用),这意味着你写的“异步”代码,底层其实是起一个线程去 read,再通知你。这带来三重问题:

立即学习C++免费学习笔记(深入)”;

  • 每次操作都有线程创建/切换开销,高并发时线程数爆炸
  • aio_suspendsigwait 机制难调试,信号易丢失,且不能和 epoll 混用
  • 即使编译时链接 -laio,glibc 仍可能 fallback 到线程池(尤其非 O_DIRECT 文件),你根本控制不了

简单验证:strace 你的程序,如果看到大量 cloneepoll_wait 在后台跑,基本就是掉进线程池坑里了。

Supercreator
Supercreator

AI视频创作编辑器,几分钟内从构思到创作。

下载

io_uring 初始化和读请求的最小可行写法

不用框架,纯 liburing(v2.3+)几行就能跑起来。关键不是“怎么初始化”,而是“哪些参数不能错”:

  • 创建时必须传 IORING_SETUP_IOPOLL(针对存储设备)或 IORING_SETUP_SQPOLL(CPU 密集型场景),否则只是普通异步包装,性能无提升
  • io_uring_sqe 提交前,务必调用 io_uring_prep_read 并设好 sqe->flags = IOSQE_FIXED_FILE(若用了 io_uring_register_files),否则每次都要查 fd 表,损耗可观
  • buffer 地址必须是物理内存对齐的,io_uring 不帮你做 memcpy;错误示例:char buf[4096] 直接传给 io_uring_prep_read —— 很大概率触发 -EINVAL

示意片段(省略错误检查):

struct io_uring ring;
io_uring_queue_init(32, &ring, 0); // 32 是 SQ/CQ 大小,太小会频繁轮询
int fd = open("/path", O_RDONLY | O_DIRECT);
void *buf;
posix_memalign(&buf, 4096, 4096);
io_uring_register_files(&ring, &fd, 1);
struct io_uring_sqe *sqe = io_uring_get_sqe(&ring);
io_uring_prep_read(sqe, /* file_index */ 0, buf, 4096, 0);
sqe->flags |= IOSQE_FIXED_FILE;
io_uring_submit(&ring);

别忽略 mmap + readahead 这个“伪异步”组合

如果你的场景是顺序读大文件(比如日志分析、视频帧加载),io_uring 反而是杀鸡用牛刀。真正快且稳的做法是:

  • mmap 映射文件,配合 MAP_POPULATE 预加载到 page cache
  • readahead 提前触发内核预读(注意单位是 page,不是字节)
  • 业务线程直接指针访问,零系统调用、零拷贝、cache line 友好

性能差异明显:在 NVMe 上,mmap + readahead 的顺序读带宽常比 io_uring 高 10%~20%,因为绕过了所有 ring buffer 管理开销。但它只适用于可预测的访问模式;随机跳读或小块高频读,还是得靠 io_uring

容易被忽略的一点:mmap 的 MAP_HUGETLB 在某些 workload 下能进一步减少 TLB miss,但需要提前配置 hugepage,不是默认开启的。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

743

2023.08.10

磁盘配额是什么
磁盘配额是什么

磁盘配额是计算机中指定磁盘的储存限制,就是管理员可以为用户所能使用的磁盘空间进行配额限制,每一用户只能使用最大配额范围内的磁盘空间。php中文网为大家提供各种磁盘配额相关的内容,教程,供大家免费下载安装。

1542

2023.06.21

如何安装LINUX
如何安装LINUX

本站专题提供如何安装LINUX的相关教程文章,还有相关的下载、课程,大家可以免费体验。

716

2023.06.29

linux find
linux find

find是linux命令,它将档案系统内符合 expression 的档案列出来。可以指要档案的名称、类别、时间、大小、权限等不同资讯的组合,只有完全相符的才会被列出来。find根据下列规则判断 path 和 expression,在命令列上第一个 - ( ) , ! 之前的部分为 path,之后的是 expression。还有指DOS 命令 find,Excel 函数 find等。本站专题提供linux find相关教程文章,还有相关

300

2023.06.30

linux修改文件名
linux修改文件名

本专题为大家提供linux修改文件名相关的文章,这些文章可以帮助用户快速轻松地完成文件名的修改工作,大家可以免费体验。

798

2023.07.05

linux系统安装教程
linux系统安装教程

linux系统是一种可以免费使用,自由传播,多用户、多任务、多线程、多CPU的操作系统。本专题提供linux系统安装教程相关的文章,大家可以免费体验。

586

2023.07.06

linux查看文件夹大小
linux查看文件夹大小

Linux是一种自由和开放源码的类Unix操作系统,存在着许多不同的Linux版本,但它们都使用了Linux内核。Linux可安装在各种计算机硬件设备中,比如手机、平板电脑、路由器、视频游戏控制台、台式计算机、大型机和超级计算机。linux怎么查看文件夹大小呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

568

2023.07.20

linux查看ip命令
linux查看ip命令

本专题为大家提供linux查看ip命令相关文章内容,感兴趣的朋友可以免费下载体验试试。

311

2023.07.20

PHP高性能API设计与Laravel服务架构实践
PHP高性能API设计与Laravel服务架构实践

本专题围绕 PHP 在现代 Web 后端开发中的高性能实践展开,重点讲解基于 Laravel 框架构建可扩展 API 服务的核心方法。内容涵盖路由与中间件机制、服务容器与依赖注入、接口版本管理、缓存策略设计以及队列异步处理方案。同时结合高并发场景,深入分析性能瓶颈定位与优化思路,帮助开发者构建稳定、高效、易维护的 PHP 后端服务体系。

4

2026.03.04

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
10分钟--Midjourney创作自己的漫画
10分钟--Midjourney创作自己的漫画

共1课时 | 0.1万人学习

Midjourney 关键词系列整合
Midjourney 关键词系列整合

共13课时 | 0.9万人学习

AI绘画教程
AI绘画教程

共2课时 | 0.2万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号