shell如何读取json

Shell脚本解析JSON数据：实用方法与工具指南**

在Linux/Unix系统管理和自动化运维中，Shell脚本因其简洁高效而被广泛应用，传统的Shell脚本在处理结构化数据，如JSON（JavaScript Object Notation）时，往往会显得力不从心，因为Shell本身并非为解析JSON而设计，JSON以其轻量级、易读易写的特性，成为Web服务和API数据交换的主流格式，在Shell中读取和解析JSON数据的能力，对于编写强大的自动化脚本至关重要，本文将介绍几种在Shell中读取JSON数据的常用方法和工具。

为什么Shell直接解析JSON比较困难？

Shell脚本的核心是处理文本流和简单的键值对,JSON的数据结构（如嵌套对象、数组、引号包围的字符串等）对于Shell内置的字符串操作功能（如grep, awk, sed, cut）来说过于复杂，虽然可以通过极其复杂的组合命令勉强提取简单JSON中的特定值，但这种方法：

脆弱性高：JSON格式的一点小变化（如空格、换行、键的顺序改变）都可能导致解析失败。
可维护性差：复杂的正则表达式和文本处理逻辑难以理解和维护。
功能有限：难以处理嵌套较深或包含数组的JSON结构。

借助专门的工具是更可靠、更高效的选择。

常用的Shell读取JSON方法与工具

使用 `jq` – 强大而流行的JSON处理器

jq 是一个轻量级、灵活的命令行JSON处理器，被誉为“Shell下的sed/awk for JSON”，它提供了强大的查询、过滤和转换JSON数据的功能。

安装jq

在基于Debian/Ubuntu的系统上：

sudo apt-get install jq

在基于RHEL/CentOS的系统上：

sudo yum install jq
# 或者对于较新版本
sudo dnf install jq

macOS上可以使用Homebrew：

brew install jq

基本使用示例

假设有一个名为data.json的文件，内容如下：

{
  "name": "John Doe",
  "age": 30,
  "isStudent": false,
  "address": {
    "street": "123 Main St",
    "city": "New York"
  },
  "hobbies": ["reading", "swimming", "coding"]
}

a. 提取简单值

# 提取name
jq '.name' data.json
# 输出: "John Doe"
# 提取age
jq '.age' data.json
# 输出: 30

b. 提取嵌套对象值

# 提取city
jq '.address.city' data.json
# 输出: "New York"

c. 提取数组元素

# 提取第一个爱好
jq '.hobbies[0]' data.json
# 输出: "reading"
# 提取所有爱好（数组）
jq '.hobbies[]' data.json
# 输出:
# "reading"
# "swimming"
# "coding"

d. 过滤和转换

# 获取所有键
jq 'keys' data.json
# 输出: ["address", "age", "hobbies", "isStudent", "name"]
# 只提取name和city
jq '{name: .name, city: .address.city}' data.json
# 输出: {"name": "John Doe", "city": "New York"}

e. 在Shell脚本中使用jq

#!/bin/bash
json_data='{"name": "Alice", "age": 25, "city": "London"}'
name=$(echo $json_data | jq -r '.name')
age=$(echo $json_data | jq -r '.age')
city=$(echo $json_data | jq -r '.city')
echo "Name: $name"
echo "Age: $age"
echo "City: $city"
# 输出:
# Name: Alice
# Age: 25
# City: London

-r选项表示输出raw string，去除引号。

使用 `python` – 通用且强大的选择

Python内置了json模块，解析JSON非常方便，如果你的系统安装了Python，这是另一个可靠的选择。

示例脚本：parse_json.sh

#!/bin/bash
json_file='data.json'
# 或者直接是JSON字符串
# json_str='{"name": "Bob", "age": 40}'
# 使用Python解析
python3 << EOF
import json
with open('$json_file', 'r') as f:
    data = json.load(f)
print("Name:", data['name'])
print("Age:", data['age'])
print("City:", data['address']['city'])
print("First hobby:", data['hobbies'][0])
EOF

执行脚本：

chmod +x parse_json.sh
./parse_json.sh

输出：

Name: John Doe
Age: 30
City: New York
First hobby: reading

这种方法灵活性极高,可以利用Python的所有功能处理JSON。

使用 `yq` – YAML与JSON的双料杀手

yq 是一个轻量级、可移植的命令行YAML、XML、JSON、CSV和属性文件处理器，它类似于jq，但支持更多格式。

安装yq 通常通过Go安装（需要先安装Go环境）：

go install github.com/mikefarah/yq/v4@latest

或者使用包管理器（根据平台不同）。

基本使用示例

yq处理JSON的语法与jq非常相似。

# 提取name
yq '.name' data.json
# 提取嵌套city
yq '.address.city' data.json
# 遍历hobbies数组
yq '.hobbies[]' data.json

使用 `jsawk` (Node.js环境)

如果你的系统安装了Node.js，jsawk是一个基于JavaScript的JSON处理工具，它允许你在awk中使用JavaScript代码来处理JSON。

安装jsawk 通常通过npm安装：

npm install -g jsawk

使用示例

# 提取name
cat data.json | jsawk 'return this.name'
# 提取city
cat data.json | jsawk 'return this.address.city'

使用 `grep`, `sed`, `awk` (仅限极简单JSON，不推荐)

对于非常简单的、固定的JSON结构，且不考虑健壮性的情况，可以尝试使用这些工具，但务必谨慎！

示例：提取name

# 假设JSON格式非常固定，且name是第一个键值对
cat data.json | grep -o '"name": *"[^"]*"' | cut -d'"' -f4
# 输出: John Doe

这种方法在JSON结构变化或包含特殊字符时极易出错,不推荐在生产环境中使用。

总结与建议

工具/方法	优点	缺点	适用场景
jq	轻量级、高效、专门为JSON设计、语法强大灵活	需要额外安装	强烈推荐，大多数Shell JSON处理场景
Python	功能极其强大、灵活、可处理复杂逻辑、Python标准库	需要Python解释器、脚本相对 heavier	复杂JSON处理、需要结合其他Python功能时
yq	支持多种格式(YAML, JSON等)、语法类似jq	需要安装、功能略重于jq	需要同时处理YAML和JSON的场景
jsawk	基于JavaScript、功能强大	需要Node.js环境	已有Node.js环境且熟悉JavaScript的开发者
grep/sed/awk	系统自带、无需安装	脆弱、难以维护、仅限极简单JSON	快速临时提取、JSON结构绝对固定且简单

建议：

优先选择 jq：对于绝大多数Shell脚本中的JSON处理需求，jq是最佳选择，它专门为JSON设计，轻量、快速且功能强大。
复杂逻辑选 Python：如果JSON处理逻辑非常复杂，需要循环、条件判断或与其他Python库交互，使用Python脚本片段会更清晰易维护。
避免直接使用 grep/sed/awk 解析复杂JSON：除非JSON结构极其简单且永不变化，否则不要用这些工具硬解析，否则会带来无尽的维护麻烦。

通过这些工具,你就能在Shell脚本中游刃有余地读取和解析JSON数据，从而

正文