本文介绍通过 saxonc python api 替代反复调用命令行的方式，避免 jvm 启动开销，并结合单次编译、复用处理器与可选多线程，将 xml 批量转换性能提升数倍至数十倍。
在当前实现中，Python 脚本对每个 XML 文件都执行一次 java -cp ... net.sf.saxon.Transform 命令，这意味着：每次调用都会启动全新 JVM 实例、加载 Saxon 库、解析并编译 XSLT（即使样式表完全相同）、再执行转换——这一过程在处理成千上万个文件时会产生巨大的重复开销，成为主要性能瓶颈。
根本优化思路是：复用 Saxon 处理器实例，预编译 XSLT 一次，然后对每个输入文档高效复用执行逻辑。 推荐采用 SaxonC 12+ 的 Python 绑定（saxonche），它基于 C++ 核心，提供原生 Python 接口，无进程启动延迟，内存复用率高，且支持 XSLT 3.0 特性。
✅ 推荐方案：SaxonC + 单次编译 + 文档级复用
首先安装依赖：
pip install saxonche
优化后的核心代码如下（已整合路径处理与异常安全）：
import os
from saxonche import PySaxonProcessor
def transform_single(saxon_proc, executable, input_path, output_path):
"""对单个 XML 文件执行预编译 XSLT 转换"""
try:
# 解析 XML（不触发完整 DOM 构建，SaxonC 内部流式优化）
xdm_doc = saxon_proc.parse_xml(xml_file_name=input_path)
# 设置全局上下文项（供 XSLT 中如 / 或 // 表达式使用）
executable.set_global_context_item(xdm_item=xdm_doc)
# 执行转换并写入文件（无需手动管理输出流）
executable.apply_templates_returning_file(
xdm_value=xdm_doc,
output_file=output_path
)
except Exception as e:
raise RuntimeError(f"XSLT transformation failed for {input_path}: {e}")
# 主流程：仅初始化一次处理器与样式表
with PySaxonProcessor(license=False) as proc: # license=True 若使用 EE 功能
xslt_proc = proc.new_xslt30_processor()
# ✅ 关键：XSLT 编译仅一次！大幅节省重复解析/验证时间
executable = xslt_proc.compile_stylesheet(stylesheet_file="transform.xsl")
for root, dirs, files in os.walk(folderXmlSource):
for file in files:
if not file.endswith('.xml'):
continue
input_path = os.path.join(root, file)
output_path = os.path.join(folderTxtTemp, f"{os.path.splitext(file)[0]}.txt")
try:
transform_single(proc, executable, input_path, output_path)
print(f"✓ Processed: {input_path} → {output_path}")
finalize(output_path) # 你的结果聚合逻辑
except Exception as e:
errorLog.write(f"{input_path} {e}
")
errorLog.flush()? 注意路径处理：原始代码中使用的 \\?\ Windows 扩展路径前缀在 saxonche 中无需手动添加——parse_xml(xml_file_name=...) 已自动适配长路径与 Unicode，直接传入 os.path.join(...) 结果即可，更简洁且跨平台兼容。
⚙️ 进阶优化：多线程并行（CPU 密集型场景）
若 XML 文件数量极大（如 >5,000）且机器为多核 CPU，可在保持单个 PySaxonProcessor 实例的前提下，使用 concurrent.futures.ThreadPoolExecutor 并行调用 transform_single。
⚠️ 注意：PySaxonProcessor 实例线程安全，但 Xslt30Executable（即 executable）也支持并发调用（SaxonC 12+ 明确保证），无需加锁。
参考实现（片段）：
from concurrent.futures import ThreadPoolExecutor, as_completed
# 在 with PySaxonProcessor(...) 块内：
with ThreadPoolExecutor(max_workers=os.cpu_count() or 4) as executor:
futures = []
for root, dirs, files in os.walk(folderXmlSource):
for file in files:
if file.endswith('.xml'):
input_p = os.path.join(root, file)
output_p = os.path.join(folderTxtTemp, f"{os.path.splitext(file)[0]}.txt")
futures.append(
executor.submit(transform_single, proc, executable, input_p, output_p)
)
for future in as_completed(futures):
try:
future.result() # 抛出异常则此处捕获
except Exception as e:
errorLog.write(f"Thread error: {e}
")? XSLT 层面协同优化建议
你当前的 XSLT 使用大量 //System:FileName 这类深度优先遍历表达式，在大型 XML 中可能低效。建议：
- 若 System:FileName 总位于固定层级（如 /root/metadata/System:FileName），改用绝对路径提升性能；
- 合并多个 xsl:variable 为单次 xsl:for-each 或 xsl:sequence 输出，减少中间变量存储；
- 最终目标是生成纯文本行，可考虑直接用
或 xsl:output method="text" 配合模板匹配，避免冗余树构建。
✅ 性能收益总结
| 方式 | JVM 启动 | XSLT 编译次数 | 典型提速 |
|---|---|---|---|
| 原始命令行循环 | 每文件 1 次 | 每文件 1 次 | 1×（基准） |
| SaxonC 单实例 | 0 次（进程内） | 1 次 | 3–8×（实测常见） |
| + 多线程（4核） | 0 次 | 1 次 | 10–25×（I/O 与 CPU 平衡时） |
? 提示：首次运行建议启用 -t（详细跟踪）调试，saxonche 支持 proc.set_configuration_property("http://saxon.sf.net/feature/timing", "true") 获取精确耗时分析。
通过以上重构，你将彻底摆脱“每文件启 JVM”的反模式，让 Saxon 真正以高性能库的身份工作——这不仅是速度提升，更是架构向可维护、可扩展工程实践的关键一步。
