如何读取多个json

如何高效读取多个JSON文件：从基础到实践

在数据处理、Web开发或自动化脚本中，我们经常需要同时处理多个JSON文件，无论是读取配置文件、解析API响应，还是批量处理结构化数据，高效读取多个JSON文件的方法都至关重要，本文将从基础概念出发，结合不同编程语言（如Python、JavaScript、Java）的实践示例，带你系统读取多个JSON文件的核心技巧与最佳实践。

JSON文件读取的基础概念

在开始处理多个JSON文件前,我们需要明确两个基础问题：什么是JSON文件，以及单个JSON文件如何读取。

JSON（JavaScript Object Notation）是一种轻量级的数据交换格式，以键值对（Key-Value）的形式组织数据，易于人阅读和编写，也易于机器解析和生成，一个JSON文件通常以.json为后缀，内容符合JSON规范（如字符串必须用双引号包裹、对象用、数组用[]等）。

读取单个JSON文件的核心步骤通常包括：

1. 打开文件：通过文件路径获取文件流；
2. ：将文件内容读取为字符串；
3. 解析数据：将JSON字符串转换为程序中的数据结构（如Python的字典、JavaScript的对象）；
4. 处理数据：对解析后的数据进行操作或存储。

读取多个JSON文件的常见场景

处理多个JSON文件的场景非常广泛,

• 批量处理数据：如日志分析中读取多个.json格式的日志文件；
• 配置管理：读取多个配置文件（如不同环境的config.json、dev.json等）；
• API数据聚合：从多个API端点获取JSON响应并合并数据；
• 文件系统遍历：读取某个目录下所有符合要求的JSON文件（如data_*.json）。

这些场景的共同需求是：如何高效、批量地读取多个文件，并正确解析数据。

核心方法：分步实现多JSON文件读取

获取多个JSON文件的路径

读取多个文件的第一步是获取这些文件的路径,根据文件组织方式的不同，常见方法包括：

（1）手动指定文件路径

如果文件数量少且路径固定,可以直接列出文件路径列表。

file_paths = ["data1.json", "data2.json", "config.json"]

（2）通过文件模式匹配批量获取路径

如果文件存放在同一目录下,且文件名有规律（如前缀data_、后缀.json），可以使用通配符匹配获取路径，不同语言的实现方式如下：

• Python：使用glob模块

  import glob
  # 获取当前目录下所有data_*.json文件
  file_paths = glob.glob("data_*.json")
  # 递归获取子目录下所有.json文件
  file_paths = glob.glob("**/*.json", recursive=True)

• JavaScript（Node.js）：使用fs模块的readdirSync结合正则，或第三方库glob

  const fs = require('fs');
  const path = require('path');
  // 方式1：手动遍历目录并过滤
  const dir = './data';
  const fileNames = fs.readdirSync(dir);
  const filePaths = fileNames
    .filter(name => name.endsWith('.json'))
    .map(name => path.join(dir, name));
  // 方式2：使用第三方库glob（需先安装：npm install glob）
  const glob = require('glob');
  glob("data/*.json", (err, files) => {
    if (err) throw err;
    console.log(files); // ['data/data1.json', 'data/data2.json']
  });

• Java：使用Files.walk和Path匹配

  import java.io.IOException;
  import java.nio.file.*;
  import java.util.stream.Collectors;
  public class JsonFileReader {
      public static List<Path> getJsonFiles(String dirPath) throws IOException {
          return Files.walk(Paths.get(dirPath))
              .filter(Files::isRegularFile)
              .filter(path -> path.toString().endsWith(".json"))
              .collect(Collectors.toList());
      }
  }

逐个读取并解析JSON文件

获取文件路径后,需要逐个读取文件内容并解析为程序数据结构，这里以Python和JavaScript为例，说明具体实现。

（1）Python实现：json模块 + 异步/同步读取

• 同步读取（适合少量文件）
  使用json.load()直接从文件对象读取并解析：

  import json
  import glob
  file_paths = glob.glob("data_*.json")
  all_data = []
  for file_path in file_paths:
      try:
          with open(file_path, 'r', encoding='utf-8') as f:
              data = json.load(f)  # 解析JSON为字典或列表
              all_data.append(data)
              print(f"成功读取: {file_path}")
      except json.JSONDecodeError as e:
          print(f"JSON解析错误 {file_path}: {e}")
      except FileNotFoundError:
          print(f"文件不存在: {file_path}")
  print(f"共读取 {len(all_data)} 个JSON文件")

• 异步读取（适合大量文件，提高效率）
  使用asyncio + aiofiles实现异步IO，避免阻塞：

  import asyncio
  import aiofiles
  import json
  import glob
  async def read_json_file(file_path):
      try:
          async with aiofiles.open(file_path, 'r', encoding='utf-8') as f:
              content = await f.read()
              data = json.loads(content)
              return data
      except Exception as e:
          print(f"读取文件 {file_path} 失败: {e}")
          return None
  async def read_multiple_json_files(file_paths):
      tasks = [read_json_file(path) for path in file_paths]
      results = await asyncio.gather(*tasks)
      # 过滤掉读取失败的结果（None）
      return [data for data in results if data is not None]
  file_paths = glob.glob("data_*.json")
  all_data = asyncio.run(read_multiple_json_files(file_paths))
  print(f"异步读取完成，共 {len(all_data)} 个有效文件")

（2）JavaScript（Node.js）实现：fs模块 + 异步/同步读取

• 同步读取（适合少量文件）
  使用fs.readFileSync读取文件，再用JSON.parse解析：

  const fs = require('fs');
  const path = require('path');
  const dir = './data';
  const fileNames = fs.readdirSync(dir);
  const filePaths = fileNames
      .filter(name => name.endsWith('.json'))
      .map(name => path.join(dir, name));
  const allData = [];
  filePaths.forEach(filePath => {
      try {
          const fileContent = fs.readFileSync(filePath, 'utf-8');
          const data = JSON.parse(fileContent);
          allData.push(data);
          console.log(`成功读取: ${filePath}`);
      } catch (error) {
          console.error(`读取文件 ${filePath} 失败:`, error.message);
      }
  });
  console.log(`共读取 ${allData.length} 个JSON文件`);

• 异步读取（适合大量文件，推荐使用fs.promises）
  使用fs.promises.readFile（Promise版本）避免回调地狱：

  const fs = require('fs').promises;
  const path = require('path');
  async function readJsonFile(filePath) {
      try {
          const fileContent = await fs.readFile(filePath, 'utf-8');
          return JSON.parse(fileContent);
      } catch (error) {
          console.error(`读取文件 ${filePath} 失败:`, error.message);
          return null;
      }
  }
  async function readMultipleJsonFiles(dirPath) {
      try {
          const fileNames = await fs.readdir(dirPath);
          const filePaths = fileNames
              .filter(name => name.endsWith('.json'))
              .map(name => path.join(dirPath, name));
          const readTasks = filePaths.map(readJsonFile);
          const results = await Promise.all(readTasks);
          // 过滤掉失败结果
          return results.filter(data => data !== null);
      } catch (error) {
          console.error('读取目录失败:', error.message);
          return [];
      }
  }
  // 使用示例
  readMultipleJsonFiles('./data')
      .then(allData => {
          console.log(`异步读取完成，共 ${allData.length} 个有效文件`);
      })
      .catch(error => {
          console.error('发生错误:', error);
      });

处理解析过程中的异常

读取多个JSON文件时,难免遇到文件不存在、格式错误、编码问题等异常，合理的异常处理能保证程序健壮性：

• 文件不存在：捕获FileNotFoundError（Python