0

0

如何在c++中使用mmap进行内存映射文件 高效处理大文件【系统编程】

尼克

尼克

发布时间:2025-12-17 19:01:02

|

916人浏览过

|

来源于php中文网

原创

C++中用mmap映射大文件需先open获取fd并fstat得真实大小,mmap时length须准确、offset页对齐,PROT和MAP标志按读写需求选择,失败检查用MAP_FAILED,访问前校验边界,修改后msync同步,最后munmap释放。

如何在c++中使用mmap进行内存映射文件 高效处理大文件【系统编程】

在 C++ 中用 mmap 映射大文件,核心是绕过标准 I/O 缓存,直接让文件内容“变成”进程的虚拟内存,读写就像操作普通指针一样——不拷贝、不阻塞、效率高。

映射文件前先打开并获取大小

必须用 open() 以合适权限打开文件(如 O_RDONLYO_RDWR),再用 fstat() 拿到真实大小。mmap()length 参数不能随便估,必须准确,否则可能映射失败或越界。

  • 只读映射推荐用 PROT_READ + MAP_PRIVATE
  • 需要修改并同步回磁盘,用 PROT_READ | PROT_WRITE + MAP_SHARED
  • offset 必须是页对齐的(通常 getpagesize(),一般为 4096),不足时需向下取整并调整起始地址偏移

调用 mmap 获取映射地址

成功时返回指向映射内存的指针;失败返回 MAP_FAILED(即 (void*)-1),必须检查。不要用 nullptr 判断失败。

示例关键代码:

立即学习C++免费学习笔记(深入)”;

WeShop唯象
WeShop唯象

WeShop唯象是国内首款AI商拍工具,专注电商产品图片的智能生成。

下载
int fd = open("data.bin", O_RDWR);
struct stat sb;
fstat(fd, &sb);
off_t offset = 0;
size_t length = sb.st_size;

void addr = mmap(nullptr, length, PROT_READ | PROT_WRITE, MAP_SHARED, fd, offset); if (addr == MAP_FAILED) { perror("mmap failed"); close(fd); return -1; } // 此时可直接 reinterpret_cast>(addr)[i] 访问字节

安全访问与边界控制

映射区域虽在虚拟内存中,但访问超出 length 仍会触发 SIGSEGV。尤其处理非对齐 offset 时,实际映射起点可能比文件开头早几个字节,读写前要手动计算有效偏移:

  • 若 offset = 1000,页大小=4096,则真实映射起始对应文件 offset 0,映射长度需扩展为 ≥ sb.st_size + 1000
  • 业务逻辑中访问位置 pos,应转为指针偏移:static_cast(addr) + (pos - offset)
  • 建议封装一个 RAII 类,在构造时映射、析构时 munmap + close,避免资源泄漏

修改后同步与解除映射

MAP_SHARED 时,修改内存默认不会立即写入磁盘。按需调用:

  • msync(addr, length, MS_SYNC):强制写回并等待完成
  • msync(addr, length, MS_ASYNC):发起写回但不等待
  • 最后必须调用 munmap(addr, length),否则内存泄漏;close(fd) 可在 munmap 后任意时机调用

不复杂但容易忽略

相关专题

更多
javascriptvoid(o)怎么解决
javascriptvoid(o)怎么解决

javascriptvoid(o)的解决办法:1、检查语法错误;2、确保正确的执行环境;3、检查其他代码的冲突;4、使用事件委托;5、使用其他绑定方式;6、检查外部资源等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

176

2023.11.23

java中void的含义
java中void的含义

本专题整合了Java中void的相关内容,阅读专题下面的文章了解更多详细内容。

98

2025.11.27

length函数用法
length函数用法

length函数用于返回指定字符串的字符数或字节数。可以用于计算字符串的长度,以便在查询和处理字符串数据时进行操作和判断。 需要注意的是length函数计算的是字符串的字符数,而不是字节数。对于多字节字符集,一个字符可能由多个字节组成。因此,length函数在计算字符串长度时会将多字节字符作为一个字符来计算。更多关于length函数的用法,大家可以阅读本专题下面的文章。

923

2023.09.19

golang map内存释放
golang map内存释放

本专题整合了golang map内存相关教程,阅读专题下面的文章了解更多相关内容。

75

2025.09.05

golang map相关教程
golang map相关教程

本专题整合了golang map相关教程,阅读专题下面的文章了解更多详细内容。

36

2025.11.16

golang map原理
golang map原理

本专题整合了golang map相关内容,阅读专题下面的文章了解更多详细内容。

60

2025.11.17

java判断map相关教程
java判断map相关教程

本专题整合了java判断map相关教程,阅读专题下面的文章了解更多详细内容。

40

2025.11.27

c++ 根号
c++ 根号

本专题整合了c++根号相关教程,阅读专题下面的文章了解更多详细内容。

17

2026.01.23

c++空格相关教程合集
c++空格相关教程合集

本专题整合了c++空格相关教程,阅读专题下面的文章了解更多详细内容。

22

2026.01.23

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
CSS3 教程
CSS3 教程

共18课时 | 4.8万人学习

Sass 教程
Sass 教程

共14课时 | 0.8万人学习

Pandas 教程
Pandas 教程

共15课时 | 1.0万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号