怎么爬取json的内容

从网页中轻松获取数据：JSON内容爬取全攻略**

在当今数据驱动的时代，从互联网获取有价值的数据已成为许多开发者和分析师的必备技能，而JSON（JavaScript Object Notation）作为一种轻量级、易读写的数据交换格式，被广泛应用于Web API和网页数据传输中，如何有效地爬取JSON格式的内容呢？本文将为你详细解析JSON内容爬取的步骤、方法和注意事项。

理解JSON：爬取前的必修课

在开始爬取之前，我们首先要对JSON有一个基本的认识，JSON是一种基于文本的格式，它结构清晰，易于机器解析和生成，一个典型的JSON对象由键（key）和值（value）组成，值可以是字符串、数字、布尔值、数组、另一个JSON对象或null。

{
  "name": "张三",
  "age": 30,
  "isStudent": false,
  "courses": ["数学", "英语", "物理"],
  "address": {
    "city": "北京",
    "district": "海淀区"
  }
}

理解这种结构有助于我们在后续爬取时准确定位所需的数据。

JSON内容爬取的主要途径

JSON数据通常不会直接显示在HTML页面中，而是通过以下几种方式提供,这决定了我们爬取的方法：

1. 直接通过API接口返回：许多网站会提供RESTful API，直接返回JSON格式的数据,这是最常见也是最规范的方式。
2. 嵌入在HTML页面中：有些网站会将JSON数据直接嵌入在HTML的<script>标签内,通常作为某个JavaScript变量的值。
3. 通过AJAX请求动态加载：网页通过JavaScript的AJAX技术异步请求服务器,并将返回的JSON数据动态渲染到页面上。

爬取JSON内容的常用工具与方法

针对上述不同的JSON数据来源，我们可以采用不同的工具和方法进行爬取，Python是爬取JSON数据的利器，常用的库有requests、BeautifulSoup、lxml等。

直接爬取API接口返回的JSON（最常用）

这是最直接的方式，我们只需要向API的URL发送HTTP请求，获取响应内容,然后解析JSON即可。

步骤：

1. 发送HTTP请求：使用requests库向目标API URL发送GET或POST请求。
2. 获取响应内容：检查响应状态码，确保请求成功（如状态码200）。
3. 解析JSON：使用requests库的json()方法直接将响应内容解析为Python的字典或列表。

示例代码：

import requests
import json # 虽然requests.json()内部会用到，但显式导入json有时也有用
# 目标API URL (以一个公开的测试API为例)
api_url = "https://jsonplaceholder.typicode.com/posts/1"
try:
    # 1. 发送GET请求
    response = requests.get(api_url)
    # 2. 检查请求是否成功
    response.raise_for_status()  # 如果请求失败（状态码非200），会抛出异常
    # 3. 解析JSON内容
    data = response.json()  # response.json() 将JSON响应转换为Python字典
    # 打印解析后的数据
    print("成功获取JSON数据：")
    print(json.dumps(data, indent=4, ensure_ascii=False)) # 美化输出
    # 访问特定字段
    print(f"\n标题: {data['title']}")
    print(f"内容: {data['body']}")
except requests.exceptions.RequestException as e:
    print(f"请求失败: {e}")
except json.JSONDecodeError as e:
    print(f"JSON解析失败: {e}")

爬取嵌入在HTML页面中的JSON

如果JSON数据在HTML的<script>标签中，我们需要先解析HTML，定位到包含JSON数据的<script>标签,然后提取其中的JSON字符串并解析。

步骤：

1. 发送HTTP请求获取HTML内容：同样使用requests库。
2. 解析HTML：使用BeautifulSoup或lxml解析HTML文档。
3. 定位包含JSON的<script>：可能需要根据标签的id、class或其他特征进行定位。
4. 提取JSON字符串：从<script>标签中提取出JSON文本。
5. 解析JSON字符串：使用json库的loads()方法解析。

import requests
from bs4 import BeautifulSoup
import json
html_url = "https://example.com/page-with-json" # 替换为实际URL
try:
    # 1. 获取HTML内容
    response = requests.get(html_url)
    response.raise_for_status()
    # 2. 使用BeautifulSoup解析HTML
    soup = BeautifulSoup(response.text, 'html.parser')
    # 3. 定位包含JSON的script标签 (这里假设id为"data")
    script_tag = soup.find('script', id='data')
    if script_tag:
        # 4. 提取JSON字符串
        json_string = script_tag.string
        # 5. 解析JSON
        data = json.loads(json_string)
        print("成功从HTML中提取并解析JSON数据：")
        print(json.dumps(data, indent=4, ensure_ascii=False))
    else:
        print("未找到包含JSON数据的script标签")
except requests.exceptions.RequestException as e:
    print(f"请求HTML失败: {e}")
except json.JSONDecodeError as e:
    print(f"JSON解析失败: {e}")
except Exception as e:
    print(f"发生错误: {e}")