0

0

如何在Linux中处理JSON Linux jq解析工具入门

P粉602998670

P粉602998670

发布时间:2025-08-31 10:30:03

|

572人浏览过

|

来源于php中文网

原创

答案是jq命令行工具是linux下处理json数据的首选,因其专为json设计、语法灵活、性能优异且能无缝集成到shell管道中。它支持从基础字段提取到复杂的数据过滤、转换和重构,如使用select过滤数组、map变换元素、if-then-else条件赋值等,广泛应用于api响应解析、日志处理和自动化脚本,显著提升数据处理效率。

如何在linux中处理json linux jq解析工具入门

在Linux环境中处理JSON数据,最直接、最有效且几乎是唯一的“正确”姿势,就是拥抱

jq
这个命令行工具。它不仅仅是一个解析器,更像是一个小型的JSON数据处理瑞士军刀,能让你在终端里对复杂的JSON结构进行过滤、转换、甚至重构,效率之高,令人惊叹。

要开始使用

jq
,首先得确保你的系统里有它。大多数Linux发行版都可以通过包管理器轻松安装,比如Debian/Ubuntu系的
sudo apt install jq
,或者RedHat/CentOS系的
sudo yum install jq
。安装好之后,它的魔力就藏在简单的管道命令里。

假设我们有一个

data.json
文件:

{
  "name": "Alice",
  "age": 30,
  "isStudent": false,
  "courses": [
    {"title": "Math", "credits": 3},
    {"title": "Physics", "credits": 4}
  ],
  "address": {
    "street": "123 Main St",
    "city": "Anytown"
  }
}

最基础的操作,提取某个字段:

cat data.json | jq .name
输出:
"Alice"

如果你想要一个不带引号的原始字符串,加上

-r
参数(raw output):
cat data.json | jq -r .name
输出:
Alice

访问嵌套字段:

cat data.json | jq .address.city
输出:
"Anytown"

处理数组,提取所有课程的标题:

cat data.json | jq '.courses[].title'
输出:
"Math"
"Physics"

甚至可以创建新的JSON结构,比如只想要名字和年龄:

cat data.json | jq '{userName: .name, userAge: .age}'
输出:

{
  "userName": "Alice",
  "userAge": 30
}

这只是冰山一角,但足以让你感受到

jq
的强大和灵活。

为什么
jq
是Linux命令行下处理JSON的“杀手锏”?

说实话,在我刚接触Linux处理JSON的时候,也曾尝试过

grep
awk
这些老牌工具,但面对JSON那层层嵌套、结构复杂的特性,它们显得力不从心,写出来的脚本又臭又长,还容易出错。直到我遇到了
jq
,才真正体会到什么叫“专业对口”。

jq
之所以能成为Linux下处理JSON的首选,在我看来,主要有几个原因:

它的设计哲学就非常符合Unix工具的精髓——小而精,专注于一件事并做到极致。它只处理JSON,但处理得极其出色。它的语法虽然初看有点像JavaScript,但实际上更像是一种声明式的查询语言,你告诉它你想要什么,它就能给你变出来。

AI封面生成器
AI封面生成器

专业的AI封面生成工具,支持小红书、公众号、小说、红包、视频封面等多种类型,一键生成高质量封面图片。

下载

jq
的过滤表达式非常强大和灵活。从简单的字段提取,到复杂的条件判断(
if-else
)、数组迭代(
.[]
)、对象重构,甚至数值计算和字符串操作,它几乎无所不能。这意味着,无论你的JSON数据有多么奇形怪状,
jq
总能找到一种方式帮你把它“驯服”。

它的性能表现也相当不错。对于几MB、几十MB甚至上百MB的JSON文件,

jq
处理起来依然迅速。这在需要处理大量API响应或日志文件时,尤为关键。我记得有一次,需要从一个巨大的日志文件中提取特定条件的JSON记录,
jq
配合
grep
,几秒钟就搞定了,换作其他方式,估计我得等半天。

最后,也是我最喜欢的一点,

jq
能够无缝地融入到shell脚本中。它的输入和输出都是标准的JSON,这使得它可以非常自然地与其他命令行工具(如
curl
xargs
sed
等)通过管道连接起来,构建出非常强大的自动化流程。这种“管道友好”的特性,让我在编写各种自动化脚本时,效率提升了一大截。它不仅仅是一个工具,更是一种思维方式的转变,让你能以更“JSON原生”的方式思考数据处理。

如何用
jq
进行复杂数据提取与转换?深入解析高级过滤技巧

jq
的魅力远不止于基础的字段提取,它真正强大之处在于其处理复杂数据结构的能力。有时候,我们面对的JSON数据并非扁平的,而是深层嵌套,甚至包含各种条件分支。这时候,
jq
的高级过滤技巧就派上用场了。

比如,我们想从之前的

data.json
中,找出所有学分大于3的课程标题。这需要结合数组迭代和条件判断:
cat data.json | jq '.courses[] | select(.credits > 3) | .title'
这里,
.courses[]
会遍历
courses
数组中的每一个元素(也就是每一个课程对象)。
select(.credits > 3)
则会筛选出
credits
字段值大于3的课程。最后,
.title
提取这些被筛选出来的课程的标题。 输出:
"Physics"

我们还可以用

jq
来对数据进行“整形”,比如将所有课程信息转换成一个更简洁的列表,只包含标题和学分:
cat data.json | jq '.courses | map({courseTitle: .title, courseCredits: .credits})'
map()
函数在这里非常有用,它会对数组中的每个元素应用一个过滤器,然后返回一个新的数组。在这个例子中,它将每个课程对象转换成了一个只包含
courseTitle
courseCredits
的新对象。 输出:

[
  {
    "courseTitle": "Math",
    "courseCredits": 3
  },
  {
    "courseTitle": "Physics",
    "courseCredits": 4
  }
]

有时候,我们需要处理的数据可能存在缺失值,或者需要根据某些条件动态地选择输出。

jq
if-then-else
结构可以很好地应对这种情况。 假设我们想给学生添加一个状态字段,如果年龄小于25,则为“Young”,否则为“Adult”:
cat data.json | jq '. + {status: (if .age < 25 then "Young" else "Adult" end)}'
这里,
.
代表整个输入对象。
+
用于合并对象。
if-then-else
结构根据
.age
的值来决定
status
字段的值。 输出:

{
  "name": "Alice",
  "age": 30,
  "isStudent": false,
  "courses": [
    {
      "title": "Math",
      "credits": 3
    },
    {
      "title": "Physics",
      "credits": 4
    }
  ],
  "address": {
    "street": "123 Main St",
    "city": "Anytown"
  },
  "status": "Adult"
}

这些例子仅仅是抛砖引玉,

jq
还有
group_by
add
length
等一系列内置函数,以及强大的路径表达式,能够应对各种复杂的数据处理需求。掌握这些高级技巧,能让你在数据处理的道路上如虎添翼。我个人在使用
jq
处理API响应时,经常会用到
map
select
来快速过滤和重组数据,这比在脚本语言里手动解析要快得多,也简洁得多。

jq
在自动化脚本和日常运维中的实用案例与常见陷阱

jq
融入到日常的自动化脚本和系统运维中,能够极大地提升工作效率。它不仅仅是一个数据查询工具,更是一个强大的数据转换引擎。

实际应用场景:

  1. API响应解析: 这是我最常用的场景之一。当你使用
    curl
    请求一个RESTful API时,通常会得到一个JSON格式的响应。
    jq
    可以立即帮你提取所需的数据。 例如,从GitHub API获取某个仓库的信息,并提取其星标数量:
    curl -s https://api.github.com/repos/stedolan/jq | jq -r .stargazers_count

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
PHP API接口开发与RESTful实践
PHP API接口开发与RESTful实践

本专题聚焦 PHP在API接口开发中的应用,系统讲解 RESTful 架构设计原则、路由处理、请求参数解析、JSON数据返回、身份验证(Token/JWT)、跨域处理以及接口调试与异常处理。通过实战案例(如用户管理系统、商品信息接口服务),帮助开发者掌握 PHP构建高效、可维护的RESTful API服务能力。

179

2025.11.26

json数据格式
json数据格式

JSON是一种轻量级的数据交换格式。本专题为大家带来json数据格式相关文章,帮助大家解决问题。

453

2023.08.07

json是什么
json是什么

JSON是一种轻量级的数据交换格式,具有简洁、易读、跨平台和语言的特点,JSON数据是通过键值对的方式进行组织,其中键是字符串,值可以是字符串、数值、布尔值、数组、对象或者null,在Web开发、数据交换和配置文件等方面得到广泛应用。本专题为大家提供json相关的文章、下载、课程内容,供大家免费下载体验。

546

2023.08.23

jquery怎么操作json
jquery怎么操作json

操作的方法有:1、“$.parseJSON(jsonString)”2、“$.getJSON(url, data, success)”;3、“$.each(obj, callback)”;4、“$.ajax()”。更多jquery怎么操作json的详细内容,可以访问本专题下面的文章。

331

2023.10.13

go语言处理json数据方法
go语言处理json数据方法

本专题整合了go语言中处理json数据方法,阅读专题下面的文章了解更多详细内容。

82

2025.09.10

if什么意思
if什么意思

if的意思是“如果”的条件。它是一个用于引导条件语句的关键词,用于根据特定条件的真假情况来执行不同的代码块。本专题提供if什么意思的相关文章,供大家免费阅读。

846

2023.08.22

curl_exec
curl_exec

curl_exec函数是PHP cURL函数列表中的一种,它的功能是执行一个cURL会话。给大家总结了一下php curl_exec函数的一些用法实例,这个函数应该在初始化一个cURL会话并且全部的选项都被设置后被调用。他的返回值成功时返回TRUE, 或者在失败时返回FALSE。

454

2023.06.14

linux常见下载安装工具
linux常见下载安装工具

linux常见下载安装工具有APT、YUM、DNF、Snapcraft、Flatpak、AppImage、Wget、Curl等。想了解更多linux常见下载安装工具相关内容,可以阅读本专题下面的文章。

183

2023.10.30

JavaScript浏览器渲染机制与前端性能优化实践
JavaScript浏览器渲染机制与前端性能优化实践

本专题围绕 JavaScript 在浏览器中的执行与渲染机制展开,系统讲解 DOM 构建、CSSOM 解析、重排与重绘原理,以及关键渲染路径优化方法。内容涵盖事件循环机制、异步任务调度、资源加载优化、代码拆分与懒加载等性能优化策略。通过真实前端项目案例,帮助开发者理解浏览器底层工作原理,并掌握提升网页加载速度与交互体验的实用技巧。

23

2026.03.06

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL 教程
PostgreSQL 教程

共48课时 | 10.3万人学习

Git 教程
Git 教程

共21课时 | 4.1万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号