本文深入探讨了jolt转换中将多个独立json对象合并为数组中单个实体的问题。通过分析`shift`操作中数组索引`[]`和固定索引`[0]`的区别，教程展示了如何精确控制输出结构，将分散的数据项聚合到一个统一的数组元素内，并提供了优化`default`操作以提升jolt spec效率的实践建议。
理解JOLT Shift操作与数组构建
JOLT的shift操作是其核心功能之一，用于将输入JSON的字段映射到输出JSON的不同位置。在构建数组时，shift操作中的目标路径（rhs，right-hand side）对输出结构有着决定性的影响。当目标路径包含[]时，JOLT会为每个匹配的输入项在数组中创建一个新的元素。
考虑以下原始输入JSON：
{
"AssetID": "1",
"AssetNumber": "2",
"AssetMaterial": "Cisco MDS 9706",
"RackUnits": "9.0",
"MaterialType": "Chassis",
"AssetName": "Cisco-MDS-9706_1",
"CustRID": "A001",
"SerialNumber": "OU812",
"Room": "ROOM5",
"Datacenter": "DC69",
"UMountingID": "86",
"CabinetAssetID": "181",
"CabinetName": "CAB666"
}如果使用以下JOLT Spec：
[
{
"operation": "shift",
"spec": {
"AssetID": "data[].6.value",
"AssetNumber": "data[].7.value",
"AssetMaterial": "data[].8.value",
"AssetName": "data[].9.value",
"CustRID": "data[].10.value",
"SerialNumber": "data[].11.value",
"Room": "data[].12.value",
"Datacenter": "data[].13.value",
"UMountingID": "data[].14.value",
"CabinetAssetID": "data[].15.value",
"CabinetName": "data[].16.value"
}
},
{
"operation": "default",
"spec": {
"to": "table1"
}
},
{
"operation": "default",
"spec": {
"fieldsToReturn": [6, 7, 8, 9, 10, 11, 12]
}
}
]上述Spec中的data[].语法指示JOLT为每个映射的键值对在data数组中创建一个新的对象。这将导致输出中data数组包含多个独立的JSON对象，每个对象只包含一个键值对，例如：
{
"data": [
{ "6": { "value": "1" } },
{ "7": { "value": "2" } },
// ... 其他对象
{ "16": { "value": "CAB666" } }
],
"to": "table1",
"fieldsToReturn": [ 6, 7, 8, 9, 10, 11, 12 ]
}问题分析：期望的输出结构
然而，实际需求往往是希望将所有这些转换后的键值对聚合到data数组中的一个单个对象内。即，data数组中只有一个元素，这个元素是一个包含所有6到16键的对象。期望的输出结构如下所示：
{
"data" : [
{
"6" : {
"value" : "1"
},
"7" : {
"value" : "2"
},
"8" : {
"value" : "Cisco MDS 9706"
},
// ... 其他键值对
"16" : {
"value" : "CAB666"
}
}
],
"to" : "table1",
"fieldsToReturn" : [ 6, 7, 8, 9, 10, 11, 12 ]
}对比两种输出，核心差异在于data数组的元素数量：一个是多个独立对象，另一个是包含所有数据的单个对象。
解决方案：利用固定数组索引合并对象
解决此问题的关键在于shift操作的目标路径中对数组索引的精确控制。当我们需要将所有转换后的数据聚合到数组的同一个元素中时，不应使用[]来让JOLT自动创建新元素，而应指定一个固定的索引，例如[0]。
将原始JOLT Spec中的所有data[].路径改为data[0].，JOLT会将所有匹配的输入项都映射到data数组的第一个元素（即索引为0的元素）中。如果该元素不存在，JOLT会创建它。
修正后的shift操作Spec片段如下：
[
{
"operation": "shift",
"spec": {
"AssetID": "data[0].6.value",
"AssetNumber": "data[0].7.value",
"AssetMaterial": "data[0].8.value",
"AssetName": "data[0].9.value",
"CustRID": "data[0].10.value",
"SerialNumber": "data[0].11.value",
"Room": "data[0].12.value",
"Datacenter": "data[0].13.value",
"UMountingID": "data[0].14.value",
"CabinetAssetID": "data[0].15.value",
"CabinetName": "data[0].16.value"
}
}
// ... 其他操作
]通过这一简单的修改，JOLT会确保data数组中只有一个元素，并且该元素是一个包含所有指定键值对的JSON对象。
优化JOLT Spec：整合Default操作
在原有的JOLT Spec中，有一个default操作用于添加"to": "table1"字段。这种字面量（literal value）的添加可以通过shift操作的特殊语法#value直接实现，从而减少一个独立的JOLT操作阶段，提高转换效率。
将"#table1": "to"添加到shift操作的Spec中，意味着将字符串字面量"table1"作为值，映射到输出路径to。
完整示例与代码
结合上述修正和优化，完整的JOLT Spec如下：
原始输入 JSON:
{
"AssetID": "1",
"AssetNumber": "2",
"AssetMaterial": "Cisco MDS 9706",
"RackUnits": "9.0",
"MaterialType": "Chassis",
"AssetName": "Cisco-MDS-9706_1",
"CustRID": "A001",
"SerialNumber": "OU812",
"Room": "ROOM5",
"Datacenter": "DC69",
"UMountingID": "86",
"CabinetAssetID": "181",
"CabinetName": "CAB666"
}优化后的 JOLT Spec:
[
{
"operation": "shift",
"spec": {
"AssetID": "data[0].6.value",
"AssetNumber": "data[0].7.value",
"AssetMaterial": "data[0].8.value",
"AssetName": "data[0].9.value",
"CustRID": "data[0].10.value",
"SerialNumber": "data[0].11.value",
"Room": "data[0].12.value",
"Datacenter": "data[0].13.value",
"UMountingID": "data[0].14.value",
"CabinetAssetID": "data[0].15.value",
"CabinetName": "data[0].16.value",
"#table1": "to" // 将 "table1" 作为字面量值映射到 "to" 字段
}
},
{
"operation": "default",
"spec": {
"fieldsToReturn": [6, 7, 8, 9, 10, 11, 12]
}
},
{
"operation": "sort" // 可选操作，用于对输出JSON的键进行排序
}
]预期输出 JSON:
{
"data": [
{
"6": {
"value": "1"
},
"7": {
"value": "2"
},
"8": {
"value": "Cisco MDS 9706"
},
"9": {
"value": "Cisco-MDS-9706_1"
},
"10": {
"value": "A001"
},
"11": {
"value": "OU812"
},
"12": {
"value": "ROOM5"
},
"13": {
"value": "DC69"
},
"14": {
"value": "86"
},
"15": {
"value": "181"
},
"16": {
"value": "CAB666"
}
}
],
"to": "table1",
"fieldsToReturn": [6, 7, 8, 9, 10, 11, 12]
}注意事项与最佳实践
-
数组索引的语义:
- data[]：指示JOLT为每个匹配的输入项在data数组中创建一个新的对象。
- data[0]：指示JOLT将所有匹配的输入项都映射到data数组的第一个元素（索引为0）中。如果该元素不存在，JOLT会创建它。
- 理解这两种语法的区别是JOLT转换中精确控制数组结构的关键。
JOLT操作的链式处理: JOLT Spec是一个操作数组，每个操作会按顺序对前一个操作的输出进行处理。这意味着在设计复杂转换时，需要考虑操作的先后顺序及其对中间结果的影响。
字面量与#符号: 在shift操作中，使用#前缀可以方便地将字面量值映射到输出路径，这是一种简洁且高效的添加固定字段的方式，通常比单独使用default操作更优。
sort操作: 虽然在此示例中不是强制性的，但sort操作可以用于对输出JSON的键进行字母顺序排序。这在需要输出格式一致性（例如，为了方便比较或测试）的场景中非常有用。
总结
通过本教程，我们深入理解了JOLT shift操作中数组索引[]和固定索引[0]的关键差异，并掌握了如何利用固定索引将分散的JSON对象合并为数组中的单个实体。同时，通过将default操作整合到shift中，我们学习了优化JOLT Spec以提高效率和可读性的方法。掌握这些技巧将使您在处理复杂的JSON数据转换任务时更加得心应手。
