Python多进程并行解析XML文件需用multiprocessing.Pool分发路径，各子进程独立调用parse_one_xml()并用iterparse流式处理防OOM，避免全局状态，主进程统一汇总结果、写库和日志。
用 Python 多进程并行处理大量 XML 文件，核心是把文件列表分给多个子进程各自解析，避免单进程串行卡在 I/O 或解析上。关键点：别让 XML 解析器（如 xml.etree.ElementTree）跨进程共享，每个进程独立加载和解析；用 multiprocessing.Pool 管理任务分发；注意大文件或内存敏感场景要流式解析（iterparse）。
用 Pool.map 分发文件路径
最直接的方式：把所有 XML 文件路径组成列表，用 Pool.map 并行调用解析函数。每个子进程拿到一个路径，自己打开、解析、提取数据，返回结果（比如字典或结构化记录）。
示例逻辑：
- 先用
glob.glob("*.xml")或pathlib.Path().rglob("*.xml")收集全部路径 - 定义一个顶层函数，如
parse_one_xml(filepath)，内部用ET.parse()或ET.iterparse() - 创建进程池：
with Pool(processes=4) as pool:，然后results = pool.map(parse_one_xml, file_list) - 结果是按输入顺序返回的列表，可直接汇总或写入 CSV/数据库
用 iterparse 流式处理大 XML，防内存爆炸
单个 XML 文件很大（几百 MB 以上）时，ET.parse() 会一次性载入整个树，容易 OOM。改用 ET.iterparse() 边读边清空已处理节点，大幅降低内存占用。
立即学习“Python免费学习笔记（深入）”；
在多进程里照样可用，只需确保每个子进程独立调用：
- 在
parse_one_xml()中打开文件句柄，传给iterparse(file_obj, events=("start", "end")) - 遇到特定标签（如
"end"+"record"）就提取字段，立即 yield 或 append 到临时列表 - 处理完及时
file_obj.close()，避免句柄泄漏
避免全局状态和共享对象
多进程默认不共享内存，所以不要在模块顶层定义全局 XML 解析器、缓存字典或数据库连接——这些不会被子进程继承，强行访问会报错或行为异常。
正确做法：
- 所有依赖（如命名空间映射、XPath 编译对象）都在
parse_one_xml()内部初始化 - 数据库写入不要在子进程中直连（易冲突），改为返回结构化数据，主进程统一入库；或用
concurrent.futures.ProcessPoolExecutor+ 队列暂存结果 - 日志用
logging.getLogger(__name__)，配合QueueHandler统一收集，避免多进程打乱输出
加进度提示和错误隔离
跑几百个文件时，看不到进度容易误判卡死。可在主进程用 tqdm 包裹 pool.imap（非阻塞 map）：
from tqdm import tqdmresults = list(tqdm(pool.imap(parse_one_xml, files), total=len(files)))
单个文件解析出错（如格式损坏）不该中断整个流程。在 parse_one_xml() 里包一层 try...except ET.ParseError，记录警告并返回 None 或占位值，后续过滤掉即可。
基本上就这些。不复杂但容易忽略细节：进程数别盲目设太高（一般设为 CPU 核心数或略高），XML 解析本身是 CPU+I/O 混合型，瓶颈常在磁盘读取，SSD 上开 6–8 进程通常比 HDD 上开 20 个更稳。
