python爬取的json怎么解析

Python爬取的JSON数据解析全指南

在Python网络爬虫开发中，JSON（JavaScript Object Notation）作为一种轻量级的数据交换格式，因其结构清晰、易于机器解析和生成，被广泛应用于API响应、网页动态数据传输等场景，爬虫获取到的JSON数据往往是原始的字符串或字节流，需通过特定方法解析为Python可操作的对象（如字典、列表），才能进一步提取有用信息，本文将详细介绍Python中解析爬取JSON数据的完整流程、常用方法及实战技巧。

JSON数据在爬虫中的常见来源

爬虫获取的JSON数据通常来自以下场景：

1. API接口返回：许多网站提供RESTful API，直接返回JSON格式数据（如天气API、社交媒体API）。
2. 动态网页数据：现代网页通过AJAX异步加载数据，响应体中常包含JSON格式的动态内容（如商品列表、评论数据）。
3. 隐藏接口：部分网站将核心数据封装在JSON文件中，通过URL直接可访问（如某些数据平台的公开数据集）。

无论来源如何，爬虫获取的原始数据通常是bytes或str类型，需先解码/转换为字符串,再进一步解析。

Python解析JSON的核心工具：json模块

Python内置的json模块是处理JSON数据的利器，提供了“序列化”（将Python对象转为JSON字符串）和“反序列化”（将JSON字符串转为Python对象）两大核心功能，爬虫中主要使用反序列化功能，对应的方法是json.loads()和json.load()。

json.loads()：解析JSON字符串

当爬虫获取的数据是字符串类型（如requests库通过response.text返回的结果）时，使用json.loads()将其转换为Python对象。

语法：

import json
python_object = json.loads(json_string)

示例：

假设爬虫从API获取的JSON字符串如下：

json_str = '{"name": "Python爬虫", "version": "3.10", "features": ["数据抓取", "解析", "存储"]}'

使用json.loads()解析：

import json
data_dict = json.loads(json_str)
print(data_dict)  # 输出：{'name': 'Python爬虫', 'version': '3.10', 'features': ['数据抓取', '解析', '存储']}
print(data_dict["name"])  # 输出：Python爬虫（通过键名访问）
print(data_dict["features"][0])  # 输出：数据抓取（通过索引访问列表元素）

json.load()：解析JSON文件或字节流

当数据来自文件（如本地保存的.json文件）或字节流（如response.content返回的二进制数据）时，使用json.load()直接从文件对象或字节流解析。

语法：

import json
# 从文件对象解析
with open("data.json", "r", encoding="utf-8") as f:
    python_object = json.load(f)
# 从字节流解析（如requests的response.content）
python_object = json.loads(response.content.decode("utf-8"))  # 或直接json.loads(response.text)

示例：

假设本地有data.json为：

{
    "city": "北京",
    "weather": {
        "temperature": 25,
        "humidity": "60%"
    },
    "forecast": [{"day": "周一", "status": "晴"}, {"day": "周二", "status": "多云"}]
}

使用json.load()解析：

import json
with open("data.json", "r", encoding="utf-8") as f:
    weather_data = json.load(f)
print(weather_data["city"])  # 输出：北京
print(weather_data["weather"]["temperature"])  # 输出：25（嵌套字典访问）
print(weather_data["forecast"][1]["status"])  # 输出：多云（嵌套列表+字典访问）

json.loads()与json.load()的区别

解析嵌套JSON与复杂结构

实际爬取的JSON数据往往是多层嵌套的（如字典嵌套字典、列表嵌套字典），需通过“键名索引”或“循环遍历”逐层提取数据。

嵌套字典的解析

假设JSON数据如下：

{
    "shop": {
        "name": "科技书店",
        "books": [
            {"title": "Python编程", "author": "John", "price": 89},
            {"title": "数据采集", "author": "Alice", "price": 79}
        ]
    }
}

解析步骤：

import json
json_str = '''{
    "shop": {
        "name": "科技书店",
        "books": [
            {"title": "Python编程", "author": "John", "price": 89},
            {"title": "数据采集", "author": "Alice", "price": 79}
        ]
    }
}'''
data = json.loads(json_str)
shop_name = data["shop"]["name"]  # 第一层嵌套：shop -> names = [book["title"] for book in data["shop"]["books"]]  # 第二层嵌套：shop -> books -> 遍历列表提取title
print(shop_name)  # 输出：科技书店
print(book_titles)  # 输出：['Python编程', '数据采集']

列表嵌套字典的解析

若JSON数据是一个列表，每个元素是字典（如API返回的多个商品信息），可通过for循环遍历列表，再提取字典中的键值。

示例：

[
    {"id": 1, "product": "手机", "price": 2999},
    {"id": 2, "product": "笔记本", "price": 5999},
    {"id": 3, "product": "平板", "price": 3999}
]

解析代码：

import json
json_list_str = '''[
    {"id": 1, "product": "手机", "price": 2999},
    {"id": 2, "product": "笔记本", "price": 5999},
    {"id": 3, "product": "平板", "price": 3999}
]'''
products = json.loads(json_list_str)
for product in products:
    print(f"商品ID: {product['id']}, 名称: {product['product']}, 价格: {product['price']}元")

输出：

商品ID: 1, 名称: 手机, 价格: 2999元
商品ID: 2, 名称: 笔记本, 价格: 5999元
商品ID: 3, 名称: 平板, 价格: 3999元

处理JSON解析中的常见问题

编码问题：Unicode乱码

若JSON数据包含非ASCII字符（如中文），需确保正确解码，通常建议在requests请求时指定response.encoding，或使用decode()方法显式解码：

import requests
response = requests.get("https://api.example.com/data", headers={"Accept": "application/json"})
response.encoding = "utf-8"  # 强制指定编码（若已知）
json_str = response.text  # 或 response.content.decode("utf-8")
data = json.loads(json_str)

数据格式错误：JSONDecodeError

若JSON字符串格式不合法（如缺少引号、逗号、括号不匹配），json.loads()会抛出json.JSONDecodeError异常，需检查原始数据或使用异常处理：

import json
invalid_json_str = '{"name": "Python", "version": 3.10'  # 缺少闭合括号
try:
    data = json.loads(invalid_json_str)
except json.JSONDecodeError as e:
    print(f"JSON解析失败: {e}")
    # 可尝试修复数据（如用正则替换错误符号）或重新获取数据

处理大型JSON文件：流式解析

若JSON文件较大（如GB级别），直接json.load()可能导致内存不足，此时可使用ijson库进行流式解析，逐块读取数据：

import ijson
# 流式解析大型JSON文件
with open("large_data.json", "rb") as f:
    for item in ijson.items(f, "item"):  # �