怎么合并多个json文件

如何高效合并多个JSON文件：实用指南与代码示例

在数据处理、日志分析或API响应整合等场景中，我们经常需要将多个JSON文件合并为一个文件，JSON（JavaScript Object Notation）作为一种轻量级的数据交换格式，其结构化特性使得合并操作既需要保持数据完整性，又要兼顾效率，本文将系统介绍合并多个JSON文件的常见方法，涵盖从基础工具到编程实现的多种方案，帮助读者根据实际需求选择最适合的路径。

理解JSON文件合并的核心需求

在开始合并操作前,首先需要明确合并的目标：是简单拼接数据，还是需要处理嵌套结构？是否需要去重？合并后的JSON格式是否有特定要求（如数组合并或对象嵌套）？常见的合并场景包括：

1. 数组合并：多个JSON文件均为数组（如[{"id":1}, {"id":2}]），合并为一个更大的数组（[{"id":1}, {"id":2}, {"id":3}]）。
2. 对象合并：多个JSON文件均为对象（如{"a":1}和{"b":2}），合并为{"a":1, "b":2}（需处理键冲突）。
3. 混合结构合并：部分文件为数组，部分为对象，需统一转换为特定结构（如所有数据放入数组中）。

明确需求后,才能选择合适的合并策略。

方法一：使用命令行工具（适合简单场景）

对于小型JSON文件或需要快速处理的场景,命令行工具是最便捷的选择，以下是两种常用工具：

jq：轻量级JSON处理工具

jq是一个强大的命令行JSON处理器，支持过滤、映射和合并操作，首先需安装jq（Linux/macOS可通过brew install jq或apt-get install jq，Windows可通过官网下载）。

合并多个JSON数组文件

假设有三个JSON文件data1.json、data2.json、data3.json均为数组：

// data1.json
[{"name": "Alice", "age": 25}, {"name": "Bob", "age": 30}]
// data2.json
[{"name": "Charlie", "age": 35}]
// data3.json
[{"name": "Alice", "age": 25}, {"name": "David", "age": 40}]

合并为一个数组（保留重复数据）：

jq -s 'add' data1.json data2.json data3.json > merged.json

输出merged.json：

[
  {"name": "Alice", "age": 25},
  {"name": "Bob", "age": 30},
  {"name": "Charlie", "age": 35},
  {"name": "Alice", "age": 25},
  {"name": "David", "age": 40}
]

若需去重,可通过unique_by函数：

jq -s 'add | unique_by(.name)' data1.json data2.json data3.json > merged_unique.json

Python：结合json模块批量处理

如果文件较多或需要复杂逻辑,Python是最灵活的选择，通过内置的json模块，可以轻松读取、合并和写入JSON文件。

示例：合并多个JSON数组文件

import json
import os
def merge_json_files(file_list, output_file):
    merged_data = []
    for file in file_list:
        with open(file, 'r', encoding='utf-8') as f:
            data = json.load(f)
            # 确保文件内容是数组
            if isinstance(data, list):
                merged_data.extend(data)
            else:
                print(f"警告：{file} 不是数组格式，已跳过")
    # 写入合并后的文件
    with open(output_file, 'w', encoding='utf-8') as f:
        json.dump(merged_data, f, ensure_ascii=False, indent=2)
    print(f"合并完成，结果已保存至 {output_file}")
# 使用示例
json_files = ['data1.json', 'data2.json', 'data3.json']
merge_json_files(json_files, 'merged.json')

示例：合并多个JSON对象文件

若文件均为对象（如配置文件），需处理键冲突（后文件覆盖前文件）：

import json
def merge_json_objects(file_list, output_file):
    merged_data = {}
    for file in file_list:
        with open(file, 'r', encoding='utf-8') as f:
            data = json.load(f)
            if isinstance(data, dict):
                merged_data.update(data)
            else:
                print(f"警告：{file} 不是对象格式，已跳过")
    with open(output_file, 'w', encoding='utf-8') as f:
        json.dump(merged_data, f, ensure_ascii=False, indent=2)
    print(f"合并完成，结果已保存至 {output_file}")
# 使用示例
json_files = ['config1.json', 'config2.json']
merge_json_objects(json_files, 'merged_config.json')

进阶：动态读取目录下所有JSON文件

如果JSON文件分散在某个目录下,可通过os模块动态获取文件列表：

import json
import os
def merge_all_json_in_dir(directory, output_file, merge_type='array'):
    merged_data = []
    if merge_type == 'object':
        merged_data = {}
    for filename in os.listdir(directory):
        if filename.endswith('.json'):
            filepath = os.path.join(directory, filename)
            with open(filepath, 'r', encoding='utf-8') as f:
                data = json.load(f)
                if merge_type == 'array' and isinstance(data, list):
                    merged_data.extend(data)
                elif merge_type == 'object' and isinstance(data, dict):
                    merged_data.update(data)
    with open(output_file, 'w', encoding='utf-8') as f:
        json.dump(merged_data, f, ensure_ascii=False, indent=2)
    print(f"目录 {directory} 下的JSON文件合并完成，结果保存至 {output_file}")
# 使用示例：合并当前目录下所有JSON数组文件
merge_all_json_in_dir('./json_data', 'merged_all.json', merge_type='array')

方法二：使用编程语言（适合复杂场景）

当合并逻辑较复杂（如嵌套对象合并、自定义去重规则或数据转换）时，编程语言（如Python、JavaScript）能提供更精细的控制。

Python：处理嵌套JSON合并

假设有两个嵌套结构的JSON文件：

// nested1.json
{
  "users": [
    {"id": 1, "name": "Alice", "contacts": {"email": "alice@example.com"}}
  ],
  "metadata": {"created_at": "2023-01-01"}
}
// nested2.json
{
  "users": [
    {"id": 2, "name": "Bob", "contacts": {"phone": "123456"}},
    {"id": 1, "name": "Alice", "contacts": {"email": "alice_new@example.com"}}
  ],
  "metadata": {"updated_at": "2023-01-02"}
}

目标是合并users数组（去重id），并合并metadata对象（保留所有键）：

import json
def merge_nested_json(file_list, output_file):
    merged_users = {}
    merged_metadata = {}
    for file in file_list:
        with open(file, 'r', encoding='utf-8') as f:
            data = json.load(f)
            # 合并users数组（去重id）
            if 'users' in data and isinstance(data['users'], list):
                for user in data['users']:
                    if 'id' in user:
                        merged_users[user['id']] = user
            # 合并metadata对象（保留所有键）
            if 'metadata' in data and isinstance(data['metadata'], dict):
                merged_metadata.update(data['metadata'])
    # 构建最终结果
    result = {
        "users": list(merged_users.values()),
        "metadata": merged_metadata
    }
    with open(output_file, 'w', encoding='utf-8') as f:
        json.dump(result, f, ensure_ascii=False, indent=2)
    print(f"嵌套JSON合并完成，结果保存至 {output_file}")
# 使用示例
json_files = ['nested1.json', 'nested2.json']
merge_nested_json(json_files, 'merged_nested.json')

输出merged_nested.json：

{
  "users": [
    {"id": 1, "name": "Alice", "contacts": {"email": "alice_new@example.com"}},
    {"id": 2, "name": "Bob", "contacts": {"phone": "123456"}}
  ],
  "metadata": {
    "created_at": "2023-01-01",
    "updated_at": "2023-01-02"
  }
}

JavaScript（Node.js）：合并JSON文件