推荐用纯文本流式写入:直接文件对象+手动拼接XML字符串,配合saxutils.escape()转义,高效省内存;结构复杂时选lxml.etree.xmlfile()。

用 Python 流式写入超大 XML 文件,核心是避免把整个文档加载进内存,而是边生成边写入。推荐用 xml.etree.ElementTree 的 iterparse(读)配合手动字符串拼接或 xml.sax(写较麻烦),但更实用、更轻量、更可控的方式是:直接用普通文件对象 + 手动写 XML 标签字符串。
用纯文本流式写入(最简单高效)
对“超大 XML”,通常结构固定、嵌套不深(比如日志、导出记录、批量数据),没必要用 DOM 或完整解析器。直接按 XML 语法规则写字符串,既快又省内存。
- 手动控制缩进和换行(可选,不影响解析,只影响可读性)
- 用 xml.sax.saxutils.escape() 转义特殊字符(
,>,&,",') - 用 .write() 逐块写入,不累积字符串
示例:写一个含百万条 的 文件
from xml.sax.saxutils import escapewith open("huge.xml", "w", encoding="utf-8") as f: f.write('\n') f.write('\n')
for i in range(1_000_000): # 假设 value 是可能含 & < > 的字符串 value = f"record-{i} & more" escaped = escape(value) f.write(f' - {escaped}
\n') f.write('\n')立即学习“Python免费学习笔记(深入)”;
用 xml.etree.cElementTree + write()(适合需校验结构的场景)
如果需要确保标签严格配对、命名空间正确,或后续要读取部分节点,可用
ElementTree构建小片段再写入。关键点是:不构建整棵树,而是一边创建子元素一边写入到文件。
- 用 ET.Element() 创建根节点,调用 ET.ElementTree(root).write() 只写该节点(不带声明)
- 对每个大数据项,新建
Element,append 后立即写入(用method="xml",encoding="utf-8") - 首尾手动补上 XML 声明和根闭合标签
注意:不要反复调用 tree.write() 写同一个文件(会覆盖),应打开文件一次,用 open(..., "wb"),并传入 file.write() 的 buffer。
避免踩坑的关键细节
-
编码必须显式指定:写文件用
encoding="utf-8",且 XML 声明里写encoding="UTF-8"(大小写不敏感,但习惯大写) -
中文/特殊字符必须转义:不能直接写
f.write(f",text 中若有- {text}
")&会破坏 XML 结构 - 不用 minidom 或 lxml.etree.tostring() 全量生成:它们会把整个 Element 转成 bytes,内存暴涨
-
慎用 print(..., file=f):有额外换行和空格开销,直接
f.write()更干净
需要命名空间或复杂结构?用 lxml + incremental writer
若必须支持命名空间、CDATA、DOCTYPE 或自定义序列化逻辑,lxml 提供了 XMLGenerator 和 etree.xmlfile()(v4.3+),专为流式设计:
from lxml import etreewith open("out.xml", "wb") as f: with etree.xmlfile(f, encoding="utf-8") as xf: with xf.element("root", nsmap={None: "https://www.php.cn/link/374cad868cb62202053d308252bc4040"}): for i in range(10000): with xf.element("item", attrib={"id": str(i)}): xf.write(f"content-{i}")
这会自动处理缩进、转义、命名空间声明,且全程不驻留内存。
基本上就这些。小项目用纯字符串写法,清晰可控;中大型且结构复杂,选 lxml.xmlfile。别被“XML 库”吓住——流式本质就是“边算边写”,不是非得靠解析器。










