0

0

C# 内存映射文件持久化 C#如何使用MemoryMappedFile实现一个简单的持久化队列

幻夢星雲

幻夢星雲

发布时间:2026-02-27 11:41:03

|

555人浏览过

|

来源于php中文网

原创

不能。memorymappedfile仅提供内存映射能力,需自行实现环形缓冲区、偏移管理、并发同步及结构化消息布局,否则易致数据覆盖、错位或撕裂。

c# 内存映射文件持久化 c#如何使用memorymappedfile实现一个简单的持久化队列

MemoryMappedFile 能不能直接当队列用

不能。它只是把一段磁盘文件映射成内存视图,本身不提供入队/出队逻辑、游标管理、并发控制或结构化数据布局——你得自己实现环形缓冲区、读写偏移、长度校验这些。直接拿 MemoryMappedFile 当队列,大概率遇到数据覆盖、读写错位、多线程撕裂等问题。

常见错误现象:System.IO.IOException: The process cannot access the file because it is being used by another process(多个进程同时 CreateOrOpen 但没设好 MemoryMappedFileRights);或读到全零、乱码、截断数据(没维护好 readOffsetwriteOffset)。

  • 必须手动划分文件区域:头部存元数据(如 readOffsetwriteOffsetcapacity),后面才是数据槽位
  • 所有偏移操作必须用 Interlockedlock 保护,尤其跨进程时推荐用命名 EventWaitHandle 同步
  • 每次写入前检查剩余空间:若 (writeOffset + itemSize) % capacity ,说明已满(环形判断)

如何组织消息结构并避免序列化开销

别用 BinaryFormatter 或 JSON 序列化——它们动态分配堆内存,违背“持久化+零拷贝”初衷。正确做法是把消息定义为 struct,用 Marshal.PtrToStructure / Marshal.StructureToPtr 直接读写内存视图。

使用场景:日志采集、传感器数据缓存、IPC 高频小消息(≤4KB)。超过 8KB 建议分块或换方案,否则 MemoryMappedViewAccessor 映射成本上升。

  • struct 必须加 [StructLayout(LayoutKind.Sequential, Pack = 1)],禁用字段对齐优化
  • 字符串字段不能直接放 struct 里,改用固定长度 fixed byte message[256],写入前用 Encoding.UTF8.GetBytes() 拷入
  • 写入时先 view.Write(offset, ref item),再原子更新 writeOffset;读取同理,且要先检查该位置是否有效(比如首字节非 0xFF 才认为已写入)

跨进程访问时权限与生命周期怎么管

Windows 下默认创建的 MemoryMappedFile 是进程内私有对象。要跨进程,必须显式指定安全描述符和名称,并统一使用 MemoryMappedFileRights.ReadWrite 权限;Linux/macOS(.NET 6+)需用 MemoryMappedFileOptions.DelayAllocatePages 避免 mmap 失败。

Getsound
Getsound

基于当前天气条件生成个性化音景音乐

下载

容易踩的坑:CreateOrOpen 成功不代表能读写——另一进程可能只开了 Read 权限;或者进程崩溃后没调 Dispose(),导致句柄泄漏,下次 CreateOrOpenUnauthorizedAccessException

  • 始终用带名称的构造: MemoryMappedFile.CreateOrOpen("MyQueue", fileSize, MemoryMappedFileAccess.ReadWrite)
  • 配合 EventWaitHandle 做信号同步:比如用 "MyQueue_WriteReady" 通知消费者有新数据
  • 不要依赖 using 自动释放——进程意外退出时资源不会自动清理,建议在程序启动时先尝试 Open,失败再 Create,并记录 PID 到共享头区做存活检测

为什么不用 ConcurrentQueue + 文件备份替代

因为 ConcurrentQueue<t></t> 完全在托管堆上,重启即丢;而内存映射文件本质是“把磁盘当内存用”,只要文件没删,数据就一直存在。但代价是:你得处理字节序、大小端、结构变更兼容性(比如 v2 版本 struct 多了一个字段,v1 进程读会越界)。

性能影响明显的地方:频繁小消息(如每毫秒 100 条)下,MemoryMappedViewAccessorWrite() 调用比直接指针操作慢约 2–3 倍;这时应批量写入或改用 Span<byte>.GetPinnableReference()</byte> + unsafe 操作视图指针。

  • 版本升级必须加 Magic Number 和 Version 字段到头部,读取时先校验再解析
  • 不要假设文件大小永远够用——扩容需要重新 CreateOrOpen 并迁移旧数据,期间需暂停写入
  • 测试时务必关掉杀毒软件,某些实时扫描会锁住映射文件,导致 IOException

真正麻烦的是结构演进和跨平台路径差异——Windows 上文件名区分大小写但映射名不区分,Linux 上两者都区分。一个叫 "myqueue" 的映射,在两边可能被当成两个不同对象。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
json数据格式
json数据格式

JSON是一种轻量级的数据交换格式。本专题为大家带来json数据格式相关文章,帮助大家解决问题。

449

2023.08.07

json是什么
json是什么

JSON是一种轻量级的数据交换格式,具有简洁、易读、跨平台和语言的特点,JSON数据是通过键值对的方式进行组织,其中键是字符串,值可以是字符串、数值、布尔值、数组、对象或者null,在Web开发、数据交换和配置文件等方面得到广泛应用。本专题为大家提供json相关的文章、下载、课程内容,供大家免费下载体验。

546

2023.08.23

jquery怎么操作json
jquery怎么操作json

操作的方法有:1、“$.parseJSON(jsonString)”2、“$.getJSON(url, data, success)”;3、“$.each(obj, callback)”;4、“$.ajax()”。更多jquery怎么操作json的详细内容,可以访问本专题下面的文章。

326

2023.10.13

go语言处理json数据方法
go语言处理json数据方法

本专题整合了go语言中处理json数据方法,阅读专题下面的文章了解更多详细内容。

81

2025.09.10

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

638

2023.08.03

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

218

2023.09.04

java基础知识汇总
java基础知识汇总

java基础知识有Java的历史和特点、Java的开发环境、Java的基本数据类型、变量和常量、运算符和表达式、控制语句、数组和字符串等等知识点。想要知道更多关于java基础知识的朋友,请阅读本专题下面的的有关文章,欢迎大家来php中文网学习。

1560

2023.10.24

字符串介绍
字符串介绍

字符串是一种数据类型,它可以是任何文本,包括字母、数字、符号等。字符串可以由不同的字符组成,例如空格、标点符号、数字等。在编程中,字符串通常用引号括起来,如单引号、双引号或反引号。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

643

2023.11.24

html5播放器怎么用
html5播放器怎么用

本合集全面介绍HTML5播放器的使用方法,涵盖基础语法、自定义控制、兼容性处理及实战示例。阅读专题下面的文章了解更多详细内容。

0

2026.02.27

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Java 教程
Java 教程

共578课时 | 73.2万人学习

国外Web开发全栈课程全集
国外Web开发全栈课程全集

共12课时 | 1万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号