0

0

c++利用mmap进行内存映射文件读写_Linux环境极速IO【进阶】

月夜之吻

月夜之吻

发布时间:2026-03-18 17:03:29

|

509人浏览过

|

来源于php中文网

原创

mmap读大文件更快因直接映射至虚拟内存,避免系统调用与数据拷贝,并利用页缓存预读;但需注意页对齐、文件大小、地址空间限制及正确使用MAP_POPULATE等细节。

c++利用mmap进行内存映射文件读写_linux环境极速io【进阶】

为什么 mmap 读大文件比 read() 快?

因为 mmap 把文件直接映射进进程虚拟内存,后续访问就像读内存一样——不触发系统调用、不拷贝数据到用户缓冲区、还能利用内核页缓存自动预读。但前提是:你得用对,否则反而更慢甚至崩溃。

常见错误现象:Segmentation fault(没检查 mmap 返回值)、Invalid argument(文件大小为 0 或 offset 未按页对齐)、读写后文件没更新(忘了 msyncMAP_SHARED 没设对)。

  • 必须用 open()O_RDWR 打开文件才能写;只读用 O_RDONLY + PROT_READ
  • offset 参数必须是页大小(通常是 4096)的整数倍,否则 mmap 失败
  • 映射长度不能超过文件当前大小(除非先用 ftruncate() 扩容)
  • 小文件(mmap 反而可能更慢——页表建立开销压倒收益

怎么安全地用 mmap 写文件并保证落盘?

很多人以为只要改了映射地址里的字节,文件就自动更新了。错。是否落盘取决于 flags 和是否调用 msync

使用场景:需要频繁随机修改大日志/数据库索引文件,又不想每次 write() 都走内核路径。

立即学习C++免费学习笔记(深入)”;

  • 写入必须用 MAP_SHAREDMAP_PRIVATE 是写时复制,改了也不影响原文件
  • 关键一步:修改后调用 msync(addr, length, MS_SYNC),否则可能只在页缓存里,断电就丢
  • 如果程序异常退出,且没 msync,内核会在内存压力大时才回写——不可控
  • 不要在 mmap 区域里用 memcpy 跨越映射边界——可能触发 SIGBUS

munmap 后还能访问映射内存吗?

不能。一旦调用 munmap,该地址空间立刻失效,再读写就是 Segmentation fault。这不是“延迟释放”,是立即解绑。

Hotpot AI Background Remover
Hotpot AI Background Remover

Hotpot.ai推出的图片背景移除工具

下载

容易踩的坑:多线程环境下,一个线程 munmap 了,另一个线程还在用指针——典型 UAF(Use-After-Free)。

  • munmap 成功后,对应地址变成非法访问区域,和 free() 后访问堆内存一样危险
  • 别依赖 fork() 子进程继承映射——子进程会继承,但父子写同一块 MAP_SHARED 区域时需自己加锁
  • 映射失败时 mmap 返回 MAP_FAILED(即 (void *)-1),不是 NULL,务必用 == MAP_FAILED 判断

用 mmap 处理超大文件(>2GB)要注意什么?

32 位程序天然受限于 4GB 地址空间,留给 mmap 的连续空闲虚拟内存往往不够。64 位没问题,但仍有细节要抠。

性能影响:映射 100GB 文件不会立刻占满物理内存,但会占用大量虚拟地址空间和页表项——可能触发 OOM Killer 杀进程。

  • 优先用 MAP_POPULATE(配合 MAP_LOCKED 更稳),避免首次访问时缺页中断卡顿
  • 不要一次性映射整个文件;按需分段映射(比如每次映射 128MB),用完 munmap
  • 检查 /proc/sys/vm/max_map_area,太小会导致 mmap 失败(Cannot allocate memory
  • 文件路径必须是真实路径,符号链接要先 realpath(),否则 mmap 可能静默失败

最常被忽略的是:mmap 映射后,文件描述符可以关闭,但文件本身不能被 unlink() ——否则虽然映射还有效,但磁盘空间无法释放,直到进程退出。

相关文章

c++速学教程(入门到精通)
c++速学教程(入门到精通)

c++怎么学习?c++怎么入门?c++在哪学?c++怎么学才快?不用担心,这里为大家提供了c++速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

c++

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

WorkBuddy
WorkBuddy

腾讯云推出的AI原生桌面智能体工作台

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
bootstrap安装教程
bootstrap安装教程

本专题整合了bootstrap安装相关教程,阅读专题下面的文章了解更多详细操作教程。

3

2026.03.18

bootstrap框架介绍
bootstrap框架介绍

本专题整合了bootstrap框架相关介绍,阅读专题下面的文章了解更多详细内容。

4

2026.03.18

vscode 格式化
vscode 格式化

本专题整合了vscode格式化相关内容,阅读专题下面的文章了解更多详细内容。

2

2026.03.18

vscode设置中文教程
vscode设置中文教程

本专题整合了vscode设置中文相关内容,阅读专题下面的文章了解更多详细教程。

0

2026.03.18

vscode更新教程合集
vscode更新教程合集

本专题整合了vscode更新相关内容,阅读专题下面的文章了解更多详细教程。

3

2026.03.18

Gemini网页版零基础入门:5分钟上手Gemini聊天指南
Gemini网页版零基础入门:5分钟上手Gemini聊天指南

本专题专为零基础用户打造,5分钟快速掌握Gemini网页版核心用法。从账号登录到界面布局,详解如何发起对话、优化提示词及利用多模态功能。通过实战案例,教你高效获取信息、创作内容与分析数据。无论学习还是工作,轻松开启AI辅助新时代,让Gemini成为你的得力智能助手。

9

2026.03.18

Python WebSocket实时通信与异步服务开发实践
Python WebSocket实时通信与异步服务开发实践

本专题聚焦 Python 在实时通信场景中的开发实践,系统讲解 WebSocket 协议原理、长连接管理、消息推送机制以及异步服务架构设计。内容包括客户端与服务端通信实现、连接稳定性优化、消息队列集成及高并发处理策略。通过完整案例,帮助开发者构建高效稳定的实时通信系统,适用于聊天应用、实时数据推送等场景。

8

2026.03.18

Java Spring Security权限控制与认证机制实战
Java Spring Security权限控制与认证机制实战

本专题围绕 Java 后端安全体系建设展开,重点讲解 Spring Security 在权限控制与认证机制中的应用实践。内容涵盖用户认证流程、权限模型设计、JWT 鉴权方案、OAuth2 集成以及接口安全防护策略。通过实际项目案例,帮助开发者构建安全可靠的后端认证体系,提升系统安全性与可扩展能力。

26

2026.03.18

抖漫入口地址合集
抖漫入口地址合集

本专题整合了抖漫入口地址相关合集,阅读专题下面的文章了解更多详细地址。

176

2026.03.17

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
C# 教程
C# 教程

共94课时 | 11.6万人学习

C 教程
C 教程

共75课时 | 5.6万人学习

C++教程
C++教程

共115课时 | 22.5万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号