shell如何处理json串

Shell 脚本中的 JSON 处理：从基础到实用技巧**

在当今的软件开发和运维工作中,JSON（JavaScript Object Notation）因其轻量级、易读易写的特性，已成为数据交换的事实标准，Shell 脚本作为自动化任务的核心工具，经常需要处理来自 API 响应、配置文件或命令输出的 JSON 数据，传统的 Shell（如 bash）本身对 JSON 的原生支持有限，因此我们需要借助一些工具和技巧来高效地处理 JSON 串，本文将介绍在 Shell 中处理 JSON 的几种常用方法，从简单的字段提取到复杂的查询与修改。

为什么 Shell 处理 JSON 有挑战？

Shell 脚本擅长处理文本流和简单的键值对，但 JSON 的结构（如嵌套对象、数组、引号、转义字符等）使得直接用字符串解析变得复杂且容易出错，使用 grep, awk, sed 等工具手动解析嵌套的 JSON 或处理数组元素，往往代码冗余且难以维护。

常用的 JSON 处理工具及方法

为了在 Shell 中优雅地处理 JSON，我们可以借助以下几类工具：

使用 jq：JSON 处理的瑞士军刀

jq 是一个轻量级、灵活的命令行 JSON 处理工具，它就像 sed 对于文本一样，jq 对于 JSON，提供了强大的查询、过滤、映射和转换功能。强烈推荐在 Shell 脚本中使用 jq 处理 JSON。

安装：

• Debian/Ubuntu: sudo apt-get install jq
• CentOS/RHEL: sudo yum install jq (或 EPEL 源)
• macOS: brew install jq

基本用法示例：

假设我们有一个 JSON 文件 data.json：

{
  "name": "John Doe",
  "age": 30,
  "isStudent": false,
  "address": {
    "street": "123 Main St",
    "city": "New York"
  },
  "hobbies": ["reading", "swimming", "coding"]
}

a. 提取简单字段值：

# 提取 name
jq -r '.name' data.json  # -r 输出原始字符串，不包含引号
# 提取 age
jq '.age' data.json

b. 提取嵌套字段值：

# 提取 city
jq -r '.address.city' data.json

c. 处理数组：

# 获取 hobbies 数组的第一个元素 (索引从 0 开始)
jq -r '.hobbies[0]' data.json
# 遍历 hobbies 数组
jq -r '.hobbies[]' data.json
# 获取数组的长度
jq '.hobbies | length' data.json

d. 过滤和条件：

# 只 age 大于 25 的信息 (这里演示过滤，实际会输出整个匹配对象)
jq 'select(.age > 25)' data.json
# 提取爱好是 "coding" 的信息 (这里演示结合数组过滤)
jq -r '.hobbies[] | select(. == "coding")' data.json

e. 修改和创建 JSON：

# 修改 age 为 31
jq '.age = 31' data.json
# 添加新字段
jq '.country = "USA"' data.json
# 删除字段
jq 'del(.isStudent)' data.json

f. 在 Shell 脚本中使用 jq：

#!/bin/bash
json_data='{"name":"Alice","age":25,"city":"London"}'
name=$(echo $json_data | jq -r '.name')
age=$(echo $json_data | jq '.age')
echo "Name: $name, Age: $age"

使用 Python：功能强大的备选方案

当系统没有 jq，或者需要更复杂的逻辑处理时，可以调用 Python 来解析 JSON，Python 的 json 标准库非常成熟易用。

示例：

#!/bin/bash
json_file='data.json'
# 使用 Python 提取嵌套字段
city=$(python3 -c "
import json
with open('$json_file', 'r') as f:
    data = json.load(f)
print(data['address']['city'])
")
echo "City: $city"
# 也可以直接处理字符串
json_str='{"name":"Bob","age":40}'
name=$(python3 -c "import json; print(json.loads('$json_str')['name'])")
echo "Name: $name"

优点： 功能强大，灵活，可处理复杂逻辑。 缺点： 比 jq 繁琐，需要 Python 环境，启动稍慢。

使用其他工具（如 yq）：处理 YAML 和 JSON

yq 是一个类似 jq 的工具，但最初设计用于 YAML，现在也支持 JSON，如果你的环境中同时处理 YAML 和 JSON，yq 是一个不错的选择。

安装： 通常通过 Go 的包管理器 go 安装，或各发行版的包管理器。

示例：

# 基本用法类似 jq
yq -r '.name' data.json
yq '.address.city' data.json

使用 sed/awk/grep（不推荐，仅限极简单情况）

对于非常简单的、结构固定的 JSON，且你不想安装额外工具时，可以尝试使用这些传统文本处理工具。但这种方法极其脆弱，一旦 JSON 结构或值发生变化，脚本很可能失败。

示例（仅提取 name，假设格式严格）：

# 使用 grep + awk (假设 name 是第一个键值对)
grep -o '"name": *"[^"]*"' data.json | awk -F'"' '{print $4}'
# 使用 sed
sed -n 's/.*"name": *"\([^"]*\)".*/\1/p' data.json

警告： 上述方法在 name 不在开头、值包含特殊字符、JSON 有缩进变化等情况时会失效。

实用技巧与最佳实践

1. 优先使用 jq： 除非有特殊需求，否则 jq 是 Shell 脚本处理 JSON 的首选工具，简洁高效。
2. 检查 jq 的退出码： 当 jq 处理无效 JSON 时会返回非零退出码，在脚本中可以利用这一点进行错误处理。

   if ! jq -e '.name' data.json >/dev/null 2>&1; then
    echo "Invalid JSON or name field not found!" >&2
    exit 1
   fi

3. 使用 -r（--raw-output）选项： 当你只需要 JSON 中的值本身，而不需要周围的引号时，务必使用 -r，这能避免后续处理中的麻烦。
4. 处理 JSON 数组和对象： 熟练 jq 中数组的索引 ([0])、切片 ([0:2])、通配符 () 和对象的属性访问 ((.a, .b))。
5. 复杂逻辑用 Python： jq 的表达能力不足以满足你的需求（例如需要复杂的条件判断、循环或函数调用），果断调用 Python。
6. 验证 JSON 有效性： 在处理前，可以使用 jq . 或 python3 -m json.tool 来验证 JSON 字符串或文件是否有效。

   # 验证文件
   jq . data.json >/dev/null 2>&1 && echo "Valid JSON" || echo "Invalid JSON"

验证字符串

echo '{"name":"test"}' | python3 -m json.tool >/dev/null 2>&1 && echo "Valid" || echo "Invalid"

### 四、 
Shell 脚本中处理 JSON 串，`jq` 提供了最优雅、最强大的解决方案，通过 `jq` 的基本用法和一些高级特性，你可以轻松地在 Shell 自动化任务中解析、查询、修改和生成 JSON 数据，对于更复杂的场景，Python 则是一个可靠的补充，避免使用传统的文本处理工具去硬解析 JSON，除非你非常确定其结构且无法安装新工具，希望本文能帮助你更好地在 Shell 世界中驾驭 JSON 数据。