Scrapy使用步骤(2)

Scrapy 使用步骤(2)：编写 Spider 核心、多级页面解析与 yield 生成器机制

小象实战讲义 · Python数据分析实战

在 Scrapy 架构中，**Spider（爬虫主体）**是整个数据采集业务的核心所在地。每个 Spider 本质上是一个继承自 scrapy.Spider 的 Python 类，它定义了如何从给定的起始网址（start_urls）出发，如何抓取和解析响应内容，以及如何将提取到的结构化数据（Item）和新发现的跳转链接（Request）提交给引擎。本节我们将系统讲解 Spider 的生成、核心属性结构、多级页面联动爬取，以及 Python yield 生成器在异步流式处理中的关键作用。

💡 核心导读

• Spider 模板生成命令：scrapy genspider <spider_name> <target_domain>。
• Spider 类四大核心属性与方法：
  • name：全局唯一爬虫标识符；
  • allowed_domains：安全域名过滤白名单；
  • start_urls：初始种子 URL 列表；
  • parse(self, response)：首轮默认响应解析回调。
• yield 生成器流式分流机制：
  • yield item：交付业务数据给 Pipeline；
  • yield scrapy.Request(url, callback=...)：派发新任务至 Scheduler。
• 多级页面（Master-Detail）联动解析实战：解析索引列表并跨请求透传 meta 数据。

1. Spider 类的结构与生命周期

┌─────────────────────────────────────────────────────────────┐
│                 Spider 的核心输出分流机制                    │
├─────────────────────────────────────────────────────────────┤
│                    parse(self, response)                    │
│                              │                              │
│              ┌───────────────┴───────────────┐              │
│              ▼                               ▼              │
│       yield Item 对象                yield Request 对象     │
│   (送往 Pipeline 持久化)             (送往 Scheduler 排队)  │
└─────────────────────────────────────────────────────────────┘

使用 yield 生成器的好处在于非阻塞流式处理：解析出一条记录即刻交付管道持久化，无需等待全量数据在内存中累积。

2. Python 代码实战：编写多级城市空气质量 Spider

# 示例 1：Spider 多级联动解析实现

import scrapy
from bs4 import BeautifulSoup
from urllib.parse import urljoin

class CityAqiItem(scrapy.Item):
    city_name = scrapy.Field()
    city_url = scrapy.Field()
    aqi = scrapy.Field()
    quality_level = scrapy.Field()

class AqiSpider(scrapy.Spider):
    name = "aqi_spider"
    allowed_domains = ["pm25.in", "example.com"]
    start_urls = ["http://example.com/all_cities"]
    
    def parse(self, response):
        """1. 第一级页面解析：提取所有城市链接"""
        self.logger.info(f"解析总览页: {response.url}")
        soup = BeautifulSoup(response.text, "html.parser")
        
        for link in soup.find_all("a", class_="city-item-link"):
            city_name = link.text.strip()
            abs_url = urljoin(response.url, link.get("href"))
            
            # 派发二级详情请求，并通过 meta 传递城市名
            yield scrapy.Request(
                url=abs_url,
                callback=self.parse_city_detail,
                meta={"city_name": city_name}
            )

    def parse_city_detail(self, response):
        """2. 第二级页面解析：提取具体城市 AQI"""
        city_name = response.meta.get("city_name", "未知")
        soup = BeautifulSoup(response.text, "html.parser")
        
        item = CityAqiItem()
        item["city_name"] = city_name
        item["city_url"] = response.url
        
        aqi_node = soup.find("div", class_="aqi-value")
        level_node = soup.find("div", class_="level-text")
        
        item["aqi"] = int(aqi_node.text.strip()) if aqi_node else 0
        item["quality_level"] = level_node.text.strip() if level_node else "N/A"
        
        yield item

print("✅ AqiSpider 类定义完毕！")

接下来通过 Mock 测试验证解析逻辑：

# 示例 2：模拟测试 Spider 的生成器输出

class MockResponse:
    def __init__(self, url, text, meta=None):
        self.url = url
        self.text = text
        self.meta = meta or {}

# 模拟首页测试
spider = AqiSpider()
index_html = "<a href='/city/bj' class='city-item-link'>北京</a><a href='/city/sh' class='city-item-link'>上海</a>"
reqs = list(spider.parse(MockResponse("http://example.com/all_cities", index_html)))
print("一级解析生成的 Request 总数:", len(reqs))
for r in reqs:
    print(f"• 目标: {r.url} | 回调: {r.callback.__name__} | Meta: {r.meta}")

# 模拟详情页测试
detail_html = "<div class='aqi-value'>36</div><div class='level-text'>优</div>"
items = list(spider.parse_city_detail(MockResponse("http://example.com/city/bj", detail_html, meta={"city_name": "北京"})))
print("\n二级解析生成的 Item 数据:", dict(items[0]))

📝 动手练一练

1. 机制思考题：在 Scrapy 爬取多级关联页面时，如何将第一级列表页的数据字段优雅透传至第二级详情页的回调函数中？

   👉 点击查看参考答案

   参考答案： 使用 scrapy.Request 的 meta 字典参数：

   yield scrapy.Request(url, callback=self.parse_detail, meta={'city_name': '北京'})
   # 在 parse_detail 中通过 response.meta['city_name'] 读取

2. 编程练习：编写一个循环生成分页请求（1 到 5 页）的代码片段。

   👉 点击查看参考答案

   参考答案：

   import scrapy
   
   def generate_pages(self):
       for p in range(1, 6):
           yield scrapy.Request(f"http://example.com/list?page={p}", callback=self.parse_page)

本章小结

在本节中，我们攻克了 Scrapy 爬虫逻辑的核心引擎——Spider 类：

• 掌握了 scrapy genspider 脚手架工具；
• 理解了 name、allowed_domains 与 start_urls 的配置；
• 掌握了基于 yield 的流式数据传输与多级页面联动调度（callback + meta）机制。

📋 行动清单

• 理解 yield item 与 yield Request 的分工。
• 做好准备，进入下一小节学习《Scrapy 使用步骤(3)：Item Pipeline 管道流水线》！

—— 小象教研组