0

0

Python怎么流式写入超大XML文件

幻夢星雲

幻夢星雲

发布时间:2025-12-16 15:54:47

|

794人浏览过

|

来源于php中文网

原创

推荐用纯文本流式写入:直接文件对象+手动拼接XML字符串,配合saxutils.escape()转义,高效省内存;结构复杂时选lxml.etree.xmlfile()。

python怎么流式写入超大xml文件

用 Python 流式写入超大 XML 文件,核心是避免把整个文档加载进内存,而是边生成边写入。推荐用 xml.etree.ElementTreeiterparse(读)配合手动字符串拼接或 xml.sax(写较麻烦),但更实用、更轻量、更可控的方式是:直接用普通文件对象 + 手动写 XML 标签字符串。

用纯文本流式写入(最简单高效)

对“超大 XML”,通常结构固定、嵌套不深(比如日志、导出记录、批量数据),没必要用 DOM 或完整解析器。直接按 XML 语法规则写字符串,既快又省内存。

  • 手动控制缩进和换行(可选,不影响解析,只影响可读性)
  • xml.sax.saxutils.escape() 转义特殊字符(, <code>>, &, ", '
  • .write() 逐块写入,不累积字符串

示例:写一个含百万条 <item></item><data></data> 文件

from xml.sax.saxutils import escape
<p>with open("huge.xml", "w", encoding="utf-8") as f:
f.write('<?xml version="1.0" encoding="UTF-8"?>\n')
f.write('<data>\n')</p><pre class="brush:php;toolbar:false;">for i in range(1_000_000):
    # 假设 value 是可能含 & < > 的字符串
    value = f"record-{i} & more <text>"
    escaped = escape(value)
    f.write(f'  <item id="{i}">{escaped}</item>\n')

f.write('</data>\n')

立即学习Python免费学习笔记(深入)”;

用 xml.etree.cElementTree + write()(适合需校验结构的场景)

如果需要确保标签严格配对、命名空间正确,或后续要读取部分节点,可用 ElementTree 构建小片段再写入。关键点是:不构建整棵树,而是一边创建子元素一边写入到文件。

PatentPal专利申请写作
PatentPal专利申请写作

AI软件来为专利申请自动生成内容

下载
  • ET.Element() 创建根节点,调用 ET.ElementTree(root).write() 只写该节点(不带声明)
  • 对每个大数据项,新建 Element,append 后立即写入(用 method="xml", encoding="utf-8"
  • 首尾手动补上 XML 声明和根闭合标签

注意:不要反复调用 tree.write() 写同一个文件(会覆盖),应打开文件一次,用 open(..., "wb"),并传入 file.write() 的 buffer。

避免踩坑的关键细节

  • 编码必须显式指定:写文件用 encoding="utf-8",且 XML 声明里写 encoding="UTF-8"(大小写不敏感,但习惯大写)
  • 中文/特殊字符必须转义:不能直接写 f.write(f"<item>{text}</item>"),text 中若有 & 会破坏 XML 结构
  • 不用 minidom 或 lxml.etree.tostring() 全量生成:它们会把整个 Element 转成 bytes,内存暴涨
  • 慎用 print(..., file=f):有额外换行和空格开销,直接 f.write() 更干净

需要命名空间或复杂结构?用 lxml + incremental writer

若必须支持命名空间、CDATA、DOCTYPE 或自定义序列化逻辑,lxml 提供了 XMLGeneratoretree.xmlfile()(v4.3+),专为流式设计:

from lxml import etree
<p>with open("out.xml", "wb") as f:
with etree.xmlfile(f, encoding="utf-8") as xf:
with xf.element("root", nsmap={None: "<a href="https://www.php.cn/link/374cad868cb62202053d308252bc4040">https://www.php.cn/link/374cad868cb62202053d308252bc4040</a>"}):
for i in range(10000):
with xf.element("item", attrib={"id": str(i)}):
xf.write(f"content-{i}")

这会自动处理缩进、转义、命名空间声明,且全程不驻留内存。

基本上就这些。小项目用纯字符串写法,清晰可控;中大型且结构复杂,选 lxml.xmlfile。别被“XML 库”吓住——流式本质就是“边算边写”,不是非得靠解析器。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

WorkBuddy
WorkBuddy

腾讯云推出的AI原生桌面智能体工作台

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
python中print函数的用法
python中print函数的用法

python中print函数的语法是“print(value1, value2, ..., sep=' ', end=' ', file=sys.stdout, flush=False)”。本专题为大家提供print相关的文章、下载、课程内容,供大家免费下载体验。

193

2023.09.27

python print用法与作用
python print用法与作用

本专题整合了python print的用法、作用、函数功能相关内容,阅读专题下面的文章了解更多详细教程。

19

2026.02.03

pdf怎么转换成xml格式
pdf怎么转换成xml格式

将 pdf 转换为 xml 的方法:1. 使用在线转换器;2. 使用桌面软件(如 adobe acrobat、itext);3. 使用命令行工具(如 pdftoxml)。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

1949

2024.04.01

xml怎么变成word
xml怎么变成word

步骤:1. 导入 xml 文件;2. 选择 xml 结构;3. 映射 xml 元素到 word 元素;4. 生成 word 文档。提示:确保 xml 文件结构良好,并预览 word 文档以验证转换是否成功。想了解更多xml的相关内容,可以阅读本专题下面的文章。

2119

2024.08.01

xml是什么格式的文件
xml是什么格式的文件

xml是一种纯文本格式的文件。xml指的是可扩展标记语言,标准通用标记语言的子集,是一种用于标记电子文件使其具有结构性的标记语言。想了解更多相关的内容,可阅读本专题下面的相关文章。

1171

2024.11.28

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

761

2023.08.03

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

221

2023.09.04

java基础知识汇总
java基础知识汇总

java基础知识有Java的历史和特点、Java的开发环境、Java的基本数据类型、变量和常量、运算符和表达式、控制语句、数组和字符串等等知识点。想要知道更多关于java基础知识的朋友,请阅读本专题下面的的有关文章,欢迎大家来php中文网学习。

1570

2023.10.24

TypeScript类型系统进阶与大型前端项目实践
TypeScript类型系统进阶与大型前端项目实践

本专题围绕 TypeScript 在大型前端项目中的应用展开,深入讲解类型系统设计与工程化开发方法。内容包括泛型与高级类型、类型推断机制、声明文件编写、模块化结构设计以及代码规范管理。通过真实项目案例分析,帮助开发者构建类型安全、结构清晰、易维护的前端工程体系,提高团队协作效率与代码质量。

26

2026.03.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.5万人学习

Django 教程
Django 教程

共28课时 | 5万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.9万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号