0

0

C#流式写入Excel C#如何处理海量数据导出防止内存溢出

月夜之吻

月夜之吻

发布时间:2026-03-17 14:26:31

|

833人浏览过

|

来源于php中文网

原创

用 EPPlus 的 LoadFromCollection 会爆内存,因其全量加载数据到内存再逐单元格写入;应改用 OpenXmlWriter 流式生成或分块手动写入 ExcelPackage。

c#流式写入excel c#如何处理海量数据导出防止内存溢出

EPPlusLoadFromCollection 会爆内存?别这么用

直接把上百万条数据塞进 List<T> 再调用 LoadFromCollection,本质是全量加载到内存再逐单元格写入,GC 压力大、峰值内存轻松破 2GB。这不是 EPPlus 的问题,是你没走流式路径。

正确做法是绕过集合一次性加载,改用 ExcelPackage + ExcelWorksheet.Cells[row, col] 手动控制行写入节奏,配合 rowIndex 自增和 Save() 前不触发全量渲染。

  • 务必禁用 worksheet.Cells.AutoFitColumns()worksheet.Protection.IsProtected = true 等触发全表扫描的操作
  • 写完 10000 行后主动调用 package.Stream.Position = 0(非必需),但更关键的是避免提前访问 worksheet.Dimension
  • 字段类型尽量用 string 或原始值,别传含复杂 ToString() 逻辑的对象——每次取值都可能触发副作用

StreamWriter 不行,但 OpenXmlWriter 可以真流式

StreamWriter 只能写 CSV,写不了 Excel(.xlsx 是 ZIP+XML 结构)。真正支持边生成边写入的底层 API 是 OpenXmlWriter,它允许你按 Open XML 标准逐段输出 <sheetData><row><c>,完全绕过内存中构建完整 DOM 树。

缺点是编码成本高,需手动处理共享字符串表(SharedStringTablePart)、数字格式、合并单元格等。如果你导出结构固定、无公式、无样式,推荐封装一个轻量 ExcelRowWriter 类:

  • 初始化时创建 SpreadsheetDocument 并获取 WorkbookPartWorksheetPart
  • 每写一行,用 OpenXmlWriter.Create(worksheetPart.GetStream(FileMode.Create)) 追加 <row> 节点
  • 字符串必须先注册进 SharedStringTablePart,重复值复用索引,否则文件体积暴增

为什么 DataTable + LoadFromDataTable 也不安全?

表面看 LoadFromDataTable 接收 DataTable 引用,但 EPPlus 内部仍会遍历所有 DataRow 并缓存每个单元格的样式/类型信息。当 DataTable.Rows.Count > 50000,内部字典扩容和装箱开销就会显著抬升内存占用。

ProcessOn
ProcessOn

免费在线流程图思维导图,专业强大的作图工具,支持多人实时在线协作

下载

更隐蔽的问题是:如果 DataTable 的列含 DBNull.Value,EPPlus 默认转成空字符串并计入共享字符串表——导致本可复用的空值被当成独立字符串条目,共享表膨胀数倍。

  • 导出前先调用 dataTable.AcceptChanges(),减少行状态追踪开销
  • dataTable.AsEnumerable().Take(10000) 分批处理,每批新建 ExcelWorksheet,写完 Dispose() 对应 worksheet
  • 避免在 DataTable 中混用 DateTimestring 存同一列,类型推断失败会导致整列降级为文本且无法设置 NumberFormat

分块写入时如何避免 Excel 打开报“文件已损坏”?

核心是不能只写 <sheetData> 片段——Open XML 要求完整的部件关系(WorkbookPartWorksheetPartSharedStringTablePart)和结尾标签闭合。常见错误是分块后忘了补 </sheetData></worksheet> 或漏写 [Content_Types].xml 中的部件声明。

安全做法是:用 ExcelPackage 创建空模板(含最小必要结构),然后用 OpenXmlWriter 替换其中 WorksheetPart<sheetData> 内容,其他部件保持原样。

  • 不要手动拼接 XML 字符串,用 OpenXmlWriter 保证命名空间和缩进合法
  • 写完所有行后,必须显式调用 worksheetPart.Worksheet.Save(),否则 sheetData 可能未刷新到底层流
  • 若导出含多工作表,每个 WorksheetPart 需独立处理,共用的 SharedStringTablePart 必须在所有写入完成后统一提交
实际最易忽略的点:共享字符串表不是线程安全的,多线程并发写入时若未加锁或未预分配索引,会出现字符串重复注册或索引错位,导致 Excel 打开后显示 #VALUE! 或乱码。单线程分块写入仍是当前最稳方案。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

WorkBuddy
WorkBuddy

腾讯云推出的AI原生桌面智能体工作台

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
string转int
string转int

在编程中,我们经常会遇到需要将字符串(str)转换为整数(int)的情况。这可能是因为我们需要对字符串进行数值计算,或者需要将用户输入的字符串转换为整数进行处理。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

1091

2023.08.02

counta和count的区别
counta和count的区别

Count函数用于计算指定范围内数字的个数,而CountA函数用于计算指定范围内非空单元格的个数。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

203

2023.11.20

pdf怎么转换成xml格式
pdf怎么转换成xml格式

将 pdf 转换为 xml 的方法:1. 使用在线转换器;2. 使用桌面软件(如 adobe acrobat、itext);3. 使用命令行工具(如 pdftoxml)。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

1950

2024.04.01

xml怎么变成word
xml怎么变成word

步骤:1. 导入 xml 文件;2. 选择 xml 结构;3. 映射 xml 元素到 word 元素;4. 生成 word 文档。提示:确保 xml 文件结构良好,并预览 word 文档以验证转换是否成功。想了解更多xml的相关内容,可以阅读本专题下面的文章。

2119

2024.08.01

xml是什么格式的文件
xml是什么格式的文件

xml是一种纯文本格式的文件。xml指的是可扩展标记语言,标准通用标记语言的子集,是一种用于标记电子文件使其具有结构性的标记语言。想了解更多相关的内容,可阅读本专题下面的相关文章。

1178

2024.11.28

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

761

2023.08.03

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

221

2023.09.04

java基础知识汇总
java基础知识汇总

java基础知识有Java的历史和特点、Java的开发环境、Java的基本数据类型、变量和常量、运算符和表达式、控制语句、数组和字符串等等知识点。想要知道更多关于java基础知识的朋友,请阅读本专题下面的的有关文章,欢迎大家来php中文网学习。

1570

2023.10.24

c++ 字符处理
c++ 字符处理

本专题整合了c++字符处理教程、字符串处理函数相关内容,阅读专题下面的文章了解更多详细内容。

0

2026.03.17

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
C# 教程
C# 教程

共94课时 | 11.5万人学习

C 教程
C 教程

共75课时 | 5.5万人学习

C++教程
C++教程

共115课时 | 22.3万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号