大xml拆分必须用iterparse流式处理，监听start/end事件、及时clear()、按顶层元素切分并确保每文件有独立根节点和完整声明；禁用head/split直接切行，须用xmllint验证良构性。
用 Python 的 xml.etree.ElementTree 流式解析拆分
直接用 ET.parse() 读大 XML 会内存爆炸，必须流式处理。核心是用 iterparse() 边读边写，不把整个树加载进内存。
常见错误现象：MemoryError 或进程被系统 OOM killer 杀掉；或者误以为 findall() 能在未加载全的树上工作——它不能。
- 只监听
start和end事件，start时记录节点层级，end时清理已处理子树（调用elem.clear()） - 按固定数量的顶层元素（比如每个
<record></record>）或累计字节数切分，避免按行数——XML 行数和结构无关，换行可能是注释或格式缩进 - 每个小文件必须有独立的根节点（如
<root>...</root>），不能只拆中间片段，否则无法被标准解析器读取
保留 XML 声明和命名空间的写法
手动生成新文件时容易漏掉 <?xml version="1.0" encoding="UTF-8"?> 或 xmlns 属性，导致下游系统报 Namespace prefix ... not declared 或编码识别失败。
使用场景：数据要交给 Java 系统或老版本 .NET 解析器，它们对声明和 namespace 更敏感。
- 用
ET.tostring(root, encoding="unicode", xml_declaration=True)生成内容，别手动拼字符串 - 如果原文件有默认 namespace（如
xmlns="http://example.com/ns"），需在构建新Element时传入nsmap参数，否则写出来的节点没 namespace - 注意
encoding="unicode"才返回 str；若用bytes，后续写文件得用mode="wb"，容易因编码混用出乱码
用 sed 或 awk 快速按块切割（仅限结构规整）
当 XML 是扁平、无嵌套、每条记录严格对应一个起始/结束标签（如 <item>...</item>），且不涉及 namespace 时，命令行工具比 Python 更快，适合 GB 级临时处理。
技术上面应用了三层结构，AJAX框架，URL重写等基础的开发。并用了动软的代码生成器及数据访问类，加进了一些自己用到的小功能，算是整理了一些自己的操作类。系统设计上面说不出用什么模式，大体设计是后台分两级分类，设置好一级之后，再设置二级并选择栏目类型，如内容，列表，上传文件，新窗口等。这样就可以生成无限多个二级分类，也就是网站栏目。对于扩展性来说，如果有新的需求可以直接加一个栏目类型并新加功能操作
性能影响：Python 启动慢、解释开销大；sed 是流式 C 实现，单核吞吐高，但完全不校验 XML 语法。
- 用
sed -n '/<item>/,//p' big.xml | split -l 10000 - part_</item>提取所有<item></item>块再分片（注意：必须确保不跨行） - 绝对不要用
head -n 10000或split -l 10000直接切原始文件——很可能切在标签中间，生成非法 XML - 切完务必用
xmllint --noout part_00验证每个小文件是否 well-formed，这是最容易被跳过的步骤
拆分后如何验证内容完整性
拆完发现少数据、字段截断、或顺序错乱，往往不是拆分逻辑问题，而是没处理好“边界状态”——比如最后一个 <record></record> 没被 flush 到文件，或注释/CDATA 被丢弃。
容易踩的坑：只统计 <record></record> 开始标签个数，忽略自闭合标签（<record></record>）或命名空间前缀不同的等价标签。
- 原始文件用
grep -c '<record>]' big.xml</record>和grep -c '' big.xml分别计数，两者应相等 - 每个小文件也跑同样命令，再求和，总和必须等于原始值；不等说明有遗漏或重复
- 对关键字段（如 ID）抽样哈希：用
xmlstar -t -v "//record/id" part_00 | sha256sum，对比原始文件对应段落的哈希
真正麻烦的是带混合 content（文本+子元素+CDATA）的节点，iterparse 默认不暴露 text/tail，得显式保存并重建——这点绝大多数脚本都漏了。
