0

0

解决XML映射过程中的内存溢出问题

畫卷琴夢

畫卷琴夢

发布时间:2026-01-27 01:07:29

|

845人浏览过

|

来源于php中文网

原创

DocumentBuilder.parse() 易触发 OOM,因其将整个XML加载为DOM树,节点对象开销大、无法流式释放、存在XXE和字符串重复等问题;应改用SAX或StAX流式解析,并禁用DTD、复用对象、合理分块处理。

解决xml映射过程中的内存溢出问题

为什么 DocumentBuilder.parse() 容易触发 OOM

Java 中用 DocumentBuilder.parse(InputStream) 解析大 XML 文件时,DOM 会把整个文档树加载进内存。哪怕只有 100MB 的 XML,实际堆内存占用可能翻倍——因为每个 ElementText、命名空间节点都带对象头、引用、字符数组副本。JVM 堆设得再大,也只是拖延 OOM 时间,不是解法。

  • DOM 不支持流式释放:解析完即全量驻留,GC 无法在解析中途回收中间节点
  • 默认 DocumentBuilderFactory 未关闭外部实体(XXE),某些 DTD 加载行为会额外拉取远程资源并缓存
  • 字符串重复:同一标签名、属性名在不同节点中被多次创建 String 实例,加剧堆压力

改用 SAXParserXMLStreamReader 的关键动作

二者都是事件驱动、只保留当前上下文,内存占用稳定在 KB 级别。选型看需求:SAX 更轻量但不可回溯;StAX(XMLStreamReader)支持部分前向移动,调试友好。

  • 禁用 DTD 和外部实体:
    System.setProperty("javax.xml.parsers.SAXParserFactory", "com.sun.org.apache.xerces.internal.jaxp.SAXParserFactoryImpl");
    SAXParserFactory factory = SAXParserFactory.newInstance();
    factory.setFeature("http://apache.org/xml/features/disallow-doctype-decl", true);
    factory.setFeature("http://xml.org/sax/features/external-general-entities", false);
  • 不要在 startElement() 里缓存全部文本内容——用 StringBuilder 拼接 characters() 回调,且每次处理完立即清空或复用
  • 避免在 handler 中创建新对象:重用 Attributes 参数,提取需要的属性值后立刻转成基本类型或字符串 intern

XmlMapper(Jackson Dataformat XML)解析大文件的陷阱

很多人以为 Jackson XML 是“流式”,其实 XmlMapper.readTree() 仍是 DOM 风格全量构建树,和原生 DOM 一样吃内存。真正安全的是 JsonParser + 手动遍历 token 流。

  • 必须用 XmlFactory.createParser(InputStream) 获取 JsonParser,而非 readValue()
  • 跳过无关字段用 parser.nextToken() + parser.getCurrentName() 判断,不要调用 parser.readValueAsTree()
  • 数值字段优先用 parser.getIntValue()parser.getDecimalValue(),避免构造临时字符串
  • 注意默认 XmlFactory 允许 DTD:需显式设置 factory.configure(FromXmlParser.Feature.USE_DTD, false)

真实场景下的分块与限流策略

即使用了流式解析,如果业务逻辑本身要聚合数据(比如按 分组统计),仍可能因缓存太多中间结果而 OOM。这时不能只依赖解析器,得配合业务切分。

  • CountingInputStream(Apache Commons IO)监控已读字节数,每 50MB 主动触发一次 flush + checkpoint
  • 对重复结构(如订单列表),用「解析即处理」模式:遇到 开始就 new 对象,结束就入库/发消息,不存 List
  • 若必须暂存,用 WeakHashMap 或软引用缓存计算结果,避免强引用锁死内存
  • 生产环境务必加 JVM 参数:-XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/tmp/heap.hprof,OOM 后直接看哪个类实例最多

最常被忽略的一点:XML 命名空间声明(xmlns)虽不占数据体积,但每个带 namespace 的元素都会触发 NamespaceContext 初始化和缓存——在百万级节点场景下,这部分对象能占到堆的 15% 以上。解析前先确认是否真需要 namespace 支持,不需要就关掉 factory.setNamespaceAware(false)

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
string转int
string转int

在编程中,我们经常会遇到需要将字符串(str)转换为整数(int)的情况。这可能是因为我们需要对字符串进行数值计算,或者需要将用户输入的字符串转换为整数进行处理。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

422

2023.08.02

pdf怎么转换成xml格式
pdf怎么转换成xml格式

将 pdf 转换为 xml 的方法:1. 使用在线转换器;2. 使用桌面软件(如 adobe acrobat、itext);3. 使用命令行工具(如 pdftoxml)。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

1898

2024.04.01

xml怎么变成word
xml怎么变成word

步骤:1. 导入 xml 文件;2. 选择 xml 结构;3. 映射 xml 元素到 word 元素;4. 生成 word 文档。提示:确保 xml 文件结构良好,并预览 word 文档以验证转换是否成功。想了解更多xml的相关内容,可以阅读本专题下面的文章。

2091

2024.08.01

xml是什么格式的文件
xml是什么格式的文件

xml是一种纯文本格式的文件。xml指的是可扩展标记语言,标准通用标记语言的子集,是一种用于标记电子文件使其具有结构性的标记语言。想了解更多相关的内容,可阅读本专题下面的相关文章。

1060

2024.11.28

登录token无效
登录token无效

登录token无效解决方法:1、检查token的有效期限,如果token已经过期,需要重新获取一个新的token;2、检查token的签名,如果签名不正确,需要重新获取一个新的token;3、检查密钥的正确性,如果密钥不正确,需要重新获取一个新的token;4、使用HTTPS协议传输token,建议使用HTTPS协议进行传输 ;5、使用双因素认证,双因素认证可以提高账户的安全性。

6143

2023.09.14

登录token无效怎么办
登录token无效怎么办

登录token无效的解决办法有检查Token是否过期、检查Token是否正确、检查Token是否被篡改、检查Token是否与用户匹配、清除缓存或Cookie、检查网络连接和服务器状态、重新登录或请求新的Token、联系技术支持或开发人员等。本专题为大家提供token相关的文章、下载、课程内容,供大家免费下载体验。

816

2023.09.14

token怎么获取
token怎么获取

获取token值的方法:1、小程序调用“wx.login()”获取 临时登录凭证code,并回传到开发者服务器;2、开发者服务器以code换取,用户唯一标识openid和会话密钥“session_key”。想了解更详细的内容,可以阅读本专题下面的文章。

1065

2023.12.21

token什么意思
token什么意思

token是一种用于表示用户权限、记录交易信息、支付虚拟货币的数字货币。可以用来在特定的网络上进行交易,用来购买或出售特定的虚拟货币,也可以用来支付特定的服务费用。想了解更多token什么意思的相关内容可以访问本专题下面的文章。

1341

2024.03.01

Python 自然语言处理(NLP)基础与实战
Python 自然语言处理(NLP)基础与实战

本专题系统讲解 Python 在自然语言处理(NLP)领域的基础方法与实战应用,涵盖文本预处理(分词、去停用词)、词性标注、命名实体识别、关键词提取、情感分析,以及常用 NLP 库(NLTK、spaCy)的核心用法。通过真实文本案例,帮助学习者掌握 使用 Python 进行文本分析与语言数据处理的完整流程,适用于内容分析、舆情监测与智能文本应用场景。

10

2026.01.27

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Kotlin 教程
Kotlin 教程

共23课时 | 2.9万人学习

C# 教程
C# 教程

共94课时 | 7.7万人学习

Java 教程
Java 教程

共578课时 | 51.9万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号