使用 jq 高效递归清理 JSON 数据：移除空值、类型转换与字符串修剪

本文详细介绍了如何使用 `jq` 工具对 json 数据进行高效的递归清理。内容涵盖了如何递归地移除空值（包括空字符串、空数组、空对象及空键值对），修剪所有字符串的空白，并将特定字符串（如 "true" 和 "false"）转换为布尔类型。文章通过优化 `walk` 函数，提供了一个高性能的 `jq` 解决方案，旨在降低 cpu 占用，提升数据预处理效率。

在数据处理流程中，经常需要对复杂的 JSON 数据进行清洗和标准化。这些操作包括移除无效或空的数据项、统一数据格式以及进行类型转换。对于嵌套层级较深的 JSON 结构，手动编写递归逻辑不仅繁琐，而且容易出错。jq 作为一款强大的命令行 JSON 处理器，提供了处理此类需求的优雅方案。

核心需求分析

本次数据清洗任务的核心需求可以归纳为以下几点：

1. 递归移除空值： 需要从 JSON 结构中的任何层级移除以下类型的空值：
   • 空数组 ([])
   • 空对象 ({})
   • 空字符串 ("")，包括仅包含空白字符的字符串 (" ", "\t")
   • 键为空字符串的对象属性 ({"": 5})
   • 值为 null 的属性。
2. 递归修剪字符串空白： 对 JSON 中所有字符串类型的值（包括对象键）进行前后空白字符的修剪。
3. 字符串到布尔值的类型转换： 将字符串 "true" 转换为布尔值 true，将字符串 "false" 转换为布尔值 false。

所有这些操作都必须以递归方式应用于整个 JSON 结构。

jq 中的 walk 函数与递归处理

jq 提供了一个内置的 walk 函数，它允许用户对 JSON 结构中的每个节点应用一个过滤器。walk(f) 的基本思想是：对于每个节点，它首先递归地处理其子节点，然后将函数 f 应用于当前节点。这使得 walk 成为处理递归清洗任务的理想选择。

用户最初尝试的 jq 解决方案利用了 walk 函数，并根据节点类型应用不同的清洗逻辑：

jq 'walk(
  if type == "string" then
    # 字符串处理：修剪空白并转换为布尔值
    (sub("^[[:space:]]+"; "") | sub("[[:space:]]+$"; "") | if . == "true" then . |= true else . end | if . == "false" then . |= false else . end)
  elif type == "object" then
    # 对象处理：修剪键的空白，并移除空键或空值的条目
    with_entries(
      select(.value | . != "" and . != null and . != [] and . != {}) # 过滤空值
      | .key |= sub("^[[:space:]]+"; "") | .key |= sub("[[:space:]]+$"; "") # 修剪键的空白
      | select(.key | length > 0) # 过滤空键
    )
  elif type == "array" then
    # 数组处理：移除空元素
    map(select(. | . != "" and . != null and . != [] and . != {})) # 过滤空值
  else . end)'

这个方案在功能上是完整的，能够实现所有预期的清洗和转换。然而，在处理大规模数据或性能敏感的环境中，内置的 walk 函数可能不是最优选择，尤其是在 CPU 密集型场景下。

优化 walk 函数以提升性能

为了提高处理效率，我们可以定义一个自定义的、更高效的 walk 函数。标准的 jq 内置 walk 在某些实现中可能存在性能开销。通过自定义 walk 函数，我们可以更精细地控制递归过程，尤其是在对象处理上，使用 reduce keys_unsorted[] 通常比其他方法更高效。

以下是优化后的 walk 函数定义：

多墨智能

多墨智能 - AI 驱动的创意工作流写作工具

下载

# 定义一个优化的 walk 函数
def walk(f):
  def w:
    if type == "object" then
      # 对于对象，递归处理每个键值对，然后将函数 f 应用于整个对象
      . as $in
      | reduce keys_unsorted[] as $key
          ( {}; . + { ($key):  ($in[$key] | w) } ) | f
    elif type == "array" then
      # 对于数组，递归处理每个元素，然后将函数 f 应用于整个数组
      map( w ) | f
    else
      # 对于其他类型（如字符串、数字、布尔值、null），直接应用函数 f
      f
    end;
  w;

这个优化后的 walk 函数通过以下方式提升了性能：

• 明确的递归路径： 对于对象和数组，它明确地通过 reduce keys_unsorted[] 和 map 来处理子元素，然后将 f 应用于当前节点。
• 避免不必要的拷贝： reduce 配合 {} 初始化和 .+ 操作通常比其他对象构建方式更高效。
• 直接应用 f： 对于非容器类型（字符串、数字等），直接应用 f，减少了额外的处理开销。

结合优化 walk 与数据清洗逻辑

现在，我们将之前的数据清洗和转换逻辑封装到一个独立的 jq 过滤器中，并将其作为参数传递给优化后的 walk 函数。

# 定义优化的 walk 函数
def walk(f):
  def w:
    if type == "object" then
      . as $in
      | reduce keys_unsorted[] as $key
          ( {}; . + { ($key):  ($in[$key] | w) } ) | f
    elif type == "array" then
      map( w ) | f
    else
      f
    end;
  w;

# 定义数据清洗和转换逻辑
def cleanup_transform_filter:
  if type == "string" then
    # 字符串处理：修剪空白并转换为布尔值
    (sub("^[[:space:]]+"; "") | sub("[[:space:]]+$"; "") | if . == "true" then true elif . == "false" then false else . end)
  elif type == "object" then
    # 对象处理：修剪键的空白，并移除空键或空值的条目
    with_entries(
      .key |= (sub("^[[:space:]]+"; "") | sub("[[:space:]]+$"; "")) # 修剪键的空白
      | select(.key | length > 0) # 过滤空键
      | select(.value | . != "" and . != null and . != [] and . != {}) # 过滤空值
    )
  elif type == "array" then
    # 数组处理：移除空元素
    map(select(. | . != "" and . != null and . != [] and . != {})) # 过滤空值
  else
    . # 其他类型保持不变
  end;

# 应用优化后的 walk 函数和清洗逻辑
walk(cleanup_transform_filter)

示例输入 JSON：

{
  "key1": "  value1  ",
  "key2": "",
  "key3": "true",
  "key4": "false",
  "key5": null,
  "key6": [],
  "key7": {},
  "  key8  ": 123,
  "key9": [
    "  array_val  ",
    "",
    null,
    {},
    "false"
  ],
  "key10": {
    "sub_key1": "  sub_val  ",
    "sub_key2": "",
    " ": 456,
    "sub_key3": []
  },
  "": "empty_key_value"
}

使用上述 jq 脚本处理后的输出：

{
  "key1": "value1",
  "key3": true,
  "key4": false,
  "key8": 123,
  "key9": [
    "array_val",
    false
  ],
  "key10": {
    "sub_key1": "sub_val"
  }
}

从输出可以看出：

• 所有字符串前后空白已被修剪。
• 字符串 "true" 和 "false" 已转换为布尔值。
• 空字符串、null、空数组、空对象以及空键的属性均已被移除。

注意事项与总结

1. jq 版本兼容性： 上述脚本中使用的 sub 函数和 . != "" and . != null ... 这种组合适用于 jq 1.6 及更高版本。如果使用更旧的版本，可能需要调整某些语法。特别是，IN 运算符在较旧的 jq 版本中不可用，因此使用 or 组合条件是更通用的做法。
2. 性能考量： 尽管优化了 walk 函数，但对于极其庞大且嵌套极深的 JSON 数据，jq 的递归处理仍然会消耗一定的 CPU 资源。如果数据量达到 TB 级别，或者对延迟有极高的要求，可能需要考虑流式处理（如 jq --stream）或使用其他语言（如 Python、Go）编写更定制化的解析器。
3. 可读性与维护性： 将清洗逻辑封装到独立的 def 过滤器中，可以提高脚本的可读性和维护性。当需要修改清洗规则时，只需调整 cleanup_transform_filter 即可。
4. 避免重复造轮子： jq 在处理 JSON 结构化数据方面表现出色，尤其是在递归遍历和转换方面。在考虑使用其他编程语言（如 JavaScript 或 Groovy）重写之前，应充分探索 jq 的优化潜力，因为它往往能以更简洁、高效的方式解决此类问题。

通过上述优化方案，我们能够在 jq 中高效地实现复杂的 JSON 数据清洗和转换任务，从而更好地支持数据预处理流程。