scrapy如何使用json

Scrapy中如何使用JSON：数据解析与存储全指南

在Scrapy爬虫开发中,JSON（JavaScript Object Notation）作为一种轻量级、易读的数据交换格式，被广泛应用于数据解析、存储和传输，无论是处理API返回的JSON响应、解析页面内嵌的JSON数据，还是将爬取结果保存为JSON文件，Scrapy与JSON的结合使用都是提升爬虫效率的关键，本文将从数据解析、存储、传输三个核心场景，详细讲解Scrapy中使用JSON的方法及最佳实践。

解析JSON数据：从响应到结构化信息

Scrapy爬取的核心环节是从网页响应中提取目标数据,而现代网页/API普遍使用JSON格式传输数据，Scrapy提供了多种解析JSON数据的方式，满足不同场景需求。

解析API返回的纯JSON响应

许多现代网站（尤其是RESTful API）直接返回JSON格式的数据，此时可通过response.json()方法直接解析，无需手动解析HTML。

示例场景

爬取一个公开API（如https://api.example.com/posts），返回JSON格式如下：

[
  {"id": 1, "title": "JSON解析指南", "author": "张三"},
  {"id": 2, "title": "Scrapy实战", "author": "李四"}
]

实现方法

在Spider的parse方法中，直接调用response.json()将响应体解析为Python字典/列表：

import scrapy
class JsonSpider(scrapy.Spider):
    name = "json_api_spider"
    start_urls = ["https://api.example.com/posts"]
    def parse(self, response):
        # 解析JSON响应为Python列表
        data = response.json()
        for item in data:
            # 提取目标字段，封装为Scrapy Item
            yield {
                "id": item["id"],
                "title": item["title"],
                "author": item["author"]
            }

注意：response.json()会自动处理HTTP响应的编码问题，确保解析后的数据为Unicode格式，若响应非JSON格式（如HTML），调用此方法会抛出JSONDecodeError异常，需结合response.text或response.xpath/response.css解析。

解析HTML页面中的内嵌JSON数据

部分网页会将JSON数据内嵌在HTML的<script>标签中（例如初始化页面数据、动态渲染内容），此时需先定位<script>标签，再提取其中的JSON字符串并解析。

示例场景

页面HTML片段如下：

<div id="app">
  <script>
    var INITIAL_DATA = {
      "posts": [
        {"id": 1, "title": "内嵌JSON解析", "content": "示例内容"}
      ],
      "total": 1
    };
  </script>
</div>

实现方法

通过CSS选择器或XPath定位<script>标签，提取文本内容后用json.loads()解析：

import scrapy
import json
class EmbeddedJsonSpider(scrapy.Spider):
    name = "embedded_json_spider"
    start_urls = ["https://example.com/page"]
    def parse(self, response):
        # 定位包含INITIAL_DATA的<script>标签
        script_content = response.css('script::text').re_first(r'INITIAL_DATA\s*=\s*({.+?});')
        if script_content:
            # 解析JSON字符串
            data = json.loads(script_content)
            for post in data["posts"]:
                yield {
                    "id": post["id"],
                    "title": post["title"],
                    "content": post["content"]
                }

关键点：re_first()用于提取第一个匹配的JSON字符串（需确保正则表达式准确匹配JSON内容）；json.loads()需处理可能存在的BOM头或注释（可通过预清理文本解决）。

处理复杂JSON结构：嵌套与数组

实际数据中常包含嵌套对象或数组（如JSON中的"user": {"name": "张三", "age": 25}），需逐层解析或使用DeepDictItem（Scrapy的扩展Item类型）。

示例场景

嵌套JSON数据：

{
  "id": 1,: "嵌套JSON示例",
  "author": {
    "name": "王五",
    "contact": {"email": "wangwu@example.com"}
  },
  "tags": ["Python", "Scrapy", "JSON"]
}

实现方法

通过多层键访问嵌套数据,或结合循环处理数组：

import scrapy
class NestedJsonSpider(scrapy.Spider):
    name = "nested_json_spider"
    start_urls = ["https://api.example.com/nested-data"]
    def parse(self, response):
        data = response.json()
        yield {
            "id": data["id"],
            "title": data["title"],
            "author_name": data["author"]["name"],  # 访问嵌套对象
            "author_email": data["author"]["contact"]["email"],
            "tags": ", ".join(data["tags"])  # 数组转字符串
        }

存储JSON数据：本地文件与数据库

Scrapy爬取的数据最终需要持久化存储,JSON格式因其通用性成为常用选择，以下是几种主流存储方式。

保存为本地JSON文件

Scrapy内置的JsonItemExporter和JsonLinesItemExporter可将Item导出为JSON文件，前者生成标准JSON数组（[{}, {}, {}]），后者生成每行一个JSON对象（换行），后者更节省内存且支持增量写入。

示例方法：通过FEEDS配置（推荐）

在settings.py中配置FEEDS，指定输出路径和格式：

FEEDS = {
    "output/items.json": {
        "format": "json",  # 标准JSON数组
        "encoding": "utf8",
    },
    "output/items_lines.jsonl": {
        "format": "jsonlines",  # 每行一个JSON对象
        "encoding": "utf8",
    }
}

运行爬虫后,Scrapy会自动将Item导出为指定格式的文件。

示例方法：手动导出（需自定义Pipeline）

若需更灵活的控制（如过滤数据、自定义文件名），可通过Pipeline实现：

import json
from scrapy.exporters import JsonItemExporter
class CustomJsonPipeline:
    def __init__(self):
        self.file = open("custom_items.json", "wb")  # 二进制模式写入
        self.exporter = JsonItemExporter(self.file, ensure_ascii=False, indent=2)
        self.exporter.start_exporting()
    def close_spider(self, spider):
        self.exporter.finish_exporting()
        self.file.close()
    def process_item(self, item, spider):
        self.exporter.export_item(item)
        return item

在settings.py中启用Pipeline：

ITEM_PIPELINES = {
    "myproject.pipelines.CustomJsonPipeline": 300,
}

存储至MongoDB（JSON兼容型数据库）

MongoDB原生支持JSON格式（存储为BSON），适合存储非结构化或半结构化数据，可通过pymongo库实现。

示例Pipeline

import pymongo
from scrapy.item import Item
class MongoJsonPipeline:
    def __init__(self, mongo_uri, mongo_db):
        self.mongo_uri = mongo_uri
        self.mongo_db = mongo_db
    @classmethod
    def from_crawler(cls, crawler):
        return cls(
            mongo_uri=crawler.settings.get("MONGO_URI"),
            mongo_db=crawler.settings.get("MONGO_DATABASE", "items")
        )
    def open_spider(self, spider):
        self.client = pymongo.MongoClient(self.mongo_uri)
        self.db = self.client[self.mongo_db]
    def close_spider(self, spider):
        self.client.close()
    def process_item(self, item, spider):
        # 将Item转为字典并存入MongoDB集合（集合名默认为Item类名的小写）
        collection_name = item.__class__.__name__.lower()
        self.db[collection_name].insert_one(dict(item))
        return item

在settings.py中配置MongoDB连接并启用Pipeline：

MONGO_URI = "mongodb://localhost:27017/"
MONGO_DATABASE = "scrapy_json_data"
ITEM_PIPELINES = {
    "myproject.pipelines.MongoJsonPipeline": 400,
}

存储至Elasticsearch（JSON搜索引擎）

Elasticsearch基于JSON文档存储数据,适合全文搜索和数据分析，可通过elasticsearch库实现。

示例Pipeline（简化版）

from elasticsearch import Elasticsearch
from scrapy.item import Item
class ElasticsearchJsonPipeline:
    def __init__(self, es_host, es_port):
        self.es_host = es_host
        self.es_port = es_port
    @classmethod
    def from_crawler(cls, crawler