0

0

.NET如何使用MemoryMappedFile处理超大XML文件

月夜之吻

月夜之吻

发布时间:2026-02-02 10:23:02

|

256人浏览过

|

来源于php中文网

原创

MemoryMappedFile 不能直接解析 XML,因 MemoryMappedViewStream 默认不支持 Seek;正确做法是分块映射+ByteArrayStream+XmlReader 流式处理,并确保 x64 进程与真实编码匹配。

.net如何使用memorymappedfile处理超大xml文件

MemoryMappedFile 不能直接解析 XML

直接用 MemoryMappedFile 加载超大 XML 文件后调用 XDocument.Load()XmlReader.Create() 会失败——因为这些 API 要求流支持 Seek,而内存映射视图(MemoryMappedViewStream)默认不支持随机读写(尤其只读映射时 CanSeekfalse)。这不是权限或路径问题,是设计限制。

正确思路是:用 MemoryMappedFile 做底层数据承载,再配合流式 XML 解析器手动切片读取。

  • 只映射文件的一部分(如前 64MB),避免一次性占用过多虚拟内存
  • MemoryMappedViewAccessor 定位到某个起始标签位置(例如 ),再构造一个支持 Seek 的子流(需自行封装)
  • 更稳妥的做法是:把映射区域复制进 ByteArrayStream,再喂给 XmlReader ——虽有拷贝开销,但稳定可控

分块读取 + XmlReader 流式处理是可行路径

适用于 GB 级、结构清晰的 XML(如日志列表、批量订单),前提是根元素下是同构子节点(...),且不要求 XPath 随机跳转。

关键步骤:

Prezi
Prezi

一款基于AI技术的PPT演示文稿制作工具

下载
  • 先用 FileStream 快速扫描文件,记录每个 开始字节偏移(正则太慢,改用 Span.IndexOf 查找 ASCII 字节序列
  • MemoryMappedFile.CreateFromFile(path, FileMode.Read, null, 0, MemoryMappedFileAccess.Read) 打开全文件(不指定大小,系统自动按需分页)
  • 对每个偏移,调用 map.CreateViewAccessor(offset, length) 得到局部视图,再用 view.ReadArray(0, buffer, 0, buffer.Length) 拷出一段字节
  • buffer 包装为 new MemoryStream(buffer),传给 XmlReader.Create(stream, new XmlReaderSettings { DtdProcessing = DtdProcessing.Ignore })
var offsets = new List();
using (var fs = File.OpenRead("huge.xml"))
{
    Span buf = stackalloc byte[8192];
    long pos = 0;
    while (fs.Read(buf) > 0)
    {
        int idx = buf.IndexOf(stackalloc byte[] { (byte)'<', (byte)'e', (byte)'n', (byte)'t', (byte)'r', (byte)'y', (byte)'>' });
        if (idx != -1) offsets.Add(pos + idx);
        pos += buf.Length;
    }
}

注意 Encoding 和 BOM 导致的解析失败

XML 声明如 中的 encoding 属性必须与实际字节编码一致,否则 XmlReader 会抛 XmlException:“Data at the root level is invalid”。内存映射本身不处理编码转换,所有字节原样暴露。

  • 务必先读取文件开头若干字节,检测 BOM:EF BB BF → UTF-8,FF FE → UTF-16 LE,FE FF → UTF-16 BE
  • 如果 XML 声明里写的是 encoding="UTF-8",但实际含 BOM 或是 UTF-16 编码,XmlReader 会按声明硬解,必然乱码或报错
  • 安全做法:忽略 XML 声明,强制用检测出的真实编码创建 StreamReader,再包装成 XmlReader

64 位进程 + LargeAddressAware 是硬性前提

32 位 .NET 进程用户空间仅 2GB(开启 /LARGEADDRESSAWARE 最多 3GB),而 4GB XML 文件映射后至少需要等量虚拟地址空间。即使物理内存充足,也会在 CreateFromFile 时抛 IOException:“Not enough storage is available to process this command”。

  • 确认项目属性中 PlatformTarget 设为 x64(不是 AnyCPU
  • 检查生成的 exe 是否带 LARGEADDRESSAWARE 标志:dumpbin /headers YourApp.exe | findstr "large"
  • Windows Server 上可启用 4GT,但不如直接切 x64 彻底

真正卡住多数人的不是代码逻辑,而是进程位数和地址空间这层透明屏障。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
c语言中null和NULL的区别
c语言中null和NULL的区别

c语言中null和NULL的区别是:null是C语言中的一个宏定义,通常用来表示一个空指针,可以用于初始化指针变量,或者在条件语句中判断指针是否为空;NULL是C语言中的一个预定义常量,通常用来表示一个空值,用于表示一个空的指针、空的指针数组或者空的结构体指针。

237

2023.09.22

java中null的用法
java中null的用法

在Java中,null表示一个引用类型的变量不指向任何对象。可以将null赋值给任何引用类型的变量,包括类、接口、数组、字符串等。想了解更多null的相关内容,可以阅读本专题下面的文章。

499

2024.03.01

pdf怎么转换成xml格式
pdf怎么转换成xml格式

将 pdf 转换为 xml 的方法:1. 使用在线转换器;2. 使用桌面软件(如 adobe acrobat、itext);3. 使用命令行工具(如 pdftoxml)。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

1905

2024.04.01

xml怎么变成word
xml怎么变成word

步骤:1. 导入 xml 文件;2. 选择 xml 结构;3. 映射 xml 元素到 word 元素;4. 生成 word 文档。提示:确保 xml 文件结构良好,并预览 word 文档以验证转换是否成功。想了解更多xml的相关内容,可以阅读本专题下面的文章。

2094

2024.08.01

xml是什么格式的文件
xml是什么格式的文件

xml是一种纯文本格式的文件。xml指的是可扩展标记语言,标准通用标记语言的子集,是一种用于标记电子文件使其具有结构性的标记语言。想了解更多相关的内容,可阅读本专题下面的相关文章。

1089

2024.11.28

length函数用法
length函数用法

length函数用于返回指定字符串的字符数或字节数。可以用于计算字符串的长度,以便在查询和处理字符串数据时进行操作和判断。 需要注意的是length函数计算的是字符串的字符数,而不是字节数。对于多字节字符集,一个字符可能由多个字节组成。因此,length函数在计算字符串长度时会将多字节字符作为一个字符来计算。更多关于length函数的用法,大家可以阅读本专题下面的文章。

929

2023.09.19

length函数用法
length函数用法

length函数用于返回指定字符串的字符数或字节数。可以用于计算字符串的长度,以便在查询和处理字符串数据时进行操作和判断。 需要注意的是length函数计算的是字符串的字符数,而不是字节数。对于多字节字符集,一个字符可能由多个字节组成。因此,length函数在计算字符串长度时会将多字节字符作为一个字符来计算。更多关于length函数的用法,大家可以阅读本专题下面的文章。

929

2023.09.19

go语言 数组和切片
go语言 数组和切片

本专题整合了go语言数组和切片的区别与含义,阅读专题下面的文章了解更多详细内容。

46

2025.09.03

PHP Swoole 高性能服务开发
PHP Swoole 高性能服务开发

本专题聚焦 PHP Swoole 扩展在高性能服务端开发中的应用,系统讲解协程模型、异步IO、TCP/HTTP/WebSocket服务器、进程与任务管理、常驻内存架构设计。通过实战案例,帮助开发者掌握 使用 PHP 构建高并发、低延迟服务端应用的工程化能力。

0

2026.02.02

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL 教程
PostgreSQL 教程

共48课时 | 8.3万人学习

Excel 教程
Excel 教程

共162课时 | 15万人学习

PHP基础入门课程
PHP基础入门课程

共33课时 | 2万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号