Glue Job 无法解析嵌套 XML 的根本原因是其内置 XMLClassifier 和 XmlSource 仅支持扁平化、单根节点、无命名空间或显式声明命名空间的简单 XML，对多层嵌套结构（如 val）解析不准确，易导致字段合并或丢失。
Glue Job 无法解析嵌套 XML 的根本原因
AWS Glue 内置的 XMLClassifier 和 XmlSource 仅支持扁平化、单根节点、无命名空间或命名空间显式声明的简单 XML。遇到 当作字段名、meta_tag（合并）或直接丢弃深层结构——这取决于 rowTag 设置是否准确、是否启用 ignoreNamespace，以及底层使用的 spark-xml 版本兼容性。
必须手动指定 rowTag 并禁用命名空间解析
如果 XML 文件中每条记录对应一个 rowTag 明确告诉 Glue “哪一层是行级单位”。否则 Glue 会尝试将整个文档当一行处理，导致后续 explode 失败或字段为空。
-
rowTag值必须严格匹配 XML 中的实际标签名（区分大小写），例如order - 若 XML 含
xmlns="http://example.com/ns"，必须设置ignoreNamespace=True，否则 Spark XML 解析器会拒绝匹配任何标签 - Glue 4.0+ 使用
com.databricks:spark-xml_2.12:0.15.0，该版本对空命名空间处理较敏感，ignoreNamespace=False时即使没显式声明 xmlns 也可能触发解析异常
dyf = glueContext.create_dynamic_frame_from_options(
connection_type="s3",
connection_options={
"paths": ["s3://my-bucket/data/input.xml"],
"recurse": True
},
format="xml",
format_options={
"rowTag": "Order",
"ignoreNamespace": True,
"attributePrefix": "@",
"valueTag": "$"
}
)
深层嵌套字段需用 resolveChoice + apply_mapping 二次处理
Spark XML 解析后，嵌套结构常表现为 StructType 字段（如 shipping_address: struct），而 Glue 的默认分类器或 Athena 表 DDL 不会自动展开它。直接写入 S3 Parquet 后，Athena 查询 shipping_address.city 会报错字段不存在——因为 Parquet schema 里它仍是 struct，不是扁平列。
- 先用
resolveChoice把 struct 字段转为 string（临时展平），再用apply_mapping拆解；或更稳妥地：用Map.apply+select在 Spark DataFrame 层显式展开 - 避免在
DynamicFrame阶段依赖toDF()后直接调select("address.*")—— Glue 3.x/4.x 的toDF()可能不保留嵌套字段的可展开性 - 若字段含重复子节点（如多个
explode函数，且注意explode_outer与explode对 null 的处理差异
大文件分片与内存溢出的硬性规避手段
XML 解析是 CPU 和内存密集型操作，Glue Worker 类型选错或未调优会导致 java.lang.OutOfMemoryError: Java heap space 或任务卡死在 parseXml 阶段。这不是代码问题，而是资源约束。
一套专为外贸企业建站首选的信息网站管理系统，英文外贸版模板风格宽频页面十分大方。宁志网站管理系统是国内知名建站软件，它由技术人员开发好了的一种现成建站软件，主要为全国各外贸企业，事业单位、企业公司、自助建站提供方便。网站系统无复杂的安装设置要求，适合广大工作人员使用。特点：安全、稳定、美观、实用、易操作... 功能简介 站点管理 用户分配 信息管理 产品管理 数据库管理 留言本管理
- 单个 XML 文件超过 100MB，务必启用
maxFilesPerCall=1（S3 输入参数），避免 Glue 并行拉取多个大文件同时解析 - Worker 类型至少选
G.2X（8vCPU / 32GB），G.1X在解析含 5 层以上嵌套的 50MB XML 时大概率 OOM - 在 Job 参数中显式设置：
--conf spark.serializer=org.apache.spark.serializer.KryoSerializer --conf spark.kryoserializer.buffer.max=2047m，否则默认 Kryo buffer（64MB）不足以序列化深层 struct - 不要依赖 Glue 自动推断 schema：对复杂 XML，手动传入
schema（PySpark StructType）可跳过耗时的采样解析阶段
真正棘手的从来不是语法，而是当 rowTag 写对了、ignoreNamespace=True 也加了，却在写入 Parquet 后发现 address 字段在 Athena 里显示为 struct<...> 而不是一堆独立列——这时候得回头检查 apply_mapping 的 target type 是否设成了 string，而不是留空让 Glue 自动猜。
