Scrapy实战(2)：编写财经爬虫逻辑

Scrapy实战(2)：编写财经爬虫逻辑

小象量化极客小册 · 华尔街量化分析先锋系列

本节我们将探寻如何使用 Scrapy 框架进行网络数据采集。作为量化分析师，你将编写爬虫从财经网站爬取最新的股票行情和社交媒体上的咖啡店舆情，为策略引擎输入第一手另类数据。

小象量化极客小册 · 华尔街量化分析先锋系列 本节我们将探寻如何使用 Scrapy 框架进行网络数据采集。作为量化分析师，你将编写爬虫从财经网站爬取最新的股票行情和社交媒体上的咖啡店舆情，为策略引擎输入第一手另类数据。

💡 核心导读

本节将深入Scrapy框架的核心工作流程，重点掌握Spider开发、数据提取与管道处理三大核心环节。通过实战演练，你将学会：1) 使用XPath和CSS选择器精确提取网页数据 2) 配置Item Pipeline实现数据清洗与存储 3) 处理分页与动态内容抓取。最终完成一个完整的新闻网站爬虫项目。

Spider开发进阶

创建结构化爬虫

import scrapy
from news.items import NewsItem  # 从items.py导入定义的数据结构

class NewsSpider(scrapy.Spider):
    name = 'news_spider'  # 爬虫唯一标识
    allowed_domains = ['example.com']
    start_urls = ['https://example.com/news']
    
    def parse(self, response):
        # 提取当前页所有新闻链接
        for article in response.css('div.article-list a::attr(href)').getall():
            yield response.follow(article, self.parse_article)
        
        # 处理分页
        next_ppe_ratio = response.xpath('//a[contains(text(),"下一页")]/@href').get()
        if next_ppe_ratio:
            yield response.follow(next_ppe_ratio, self.parse)

    def parse_article(self, response):
        """解析单篇文章的详细内容"""
        item = NewsItem()
        item['title'] = response.css('h1.headline::text').get().strip()
        item['publish_date'] = response.xpath('//span[@class="date"]/text()').re_first(r'\d{4}-\d{2}-\d{2}')
        item['content'] = '\n'.join(response.css('div.article-body p::text').getall())
        yield item

选择器对比表

+------------------+-------------------------------+--------------------------------+
| 提取方式         | 示例                          | 适用场景                       |
+------------------+-------------------------------+--------------------------------+
| CSS选择器        | a.news-link::attr(href)       | 类名/ID明确的元素              |
| XPath            | //div[@id="main"]//a/@href    | 复杂层级关系定位               |
| 正则表达式       | .re_first(r'\d+')             | 从文本中提取模式化数据         |
+------------------+-------------------------------+--------------------------------+

💡 概念小测：爬虫提取与生成

在 Scrapy 爬虫的 parse 方法中，当成功提取出多只股票的数据并进行打包后，应该如何将它们传出并送入 Pipeline 进行持久化存储？

• 使用 return list_data 将它们作为列表一次性返回。
• 使用 yield item 关键字逐个生成并传出。
• 直接调用 self.write_to_db(item) 在 Spider 内部进行数据库写入。
• 必须将数据打印到控制台，Pipeline 会自动通过控制台捕获。

📝 选择题

💡 概念小测：爬虫提取与生成 在 Scrapy 爬虫的 parse 方法中，当成功提取出多只股票的数据并进行打包后，应该如何将它们传出并送入 Pipeline 进行持久化存储？

• A. 使用 return list_data 将它们作为列表一次性返回。
• B. 使用 yield item 关键字逐个生成并传出。
• C. 直接调用 self.write_to_db(item) 在 Spider 内部进行数据库写入。
• D. 必须将数据打印到控制台，Pipeline 会自动通过控制台捕获。

答案：B（使用 yield item 关键字逐个生成并传出。）

数据处理管道

多级管道配置

class CleanPipeline:
    def process_item(self, item, spider):
        # 清洗数据
        item['title'] = item['title'].replace('\xa0', ' ').strip()
        return item

class MySQLPipeline:
    def open_spider(self, spider):
        # 建立数据库连接
        self.conn = create_engine('mysql://user:pass@localhost/news_db')
    
    def process_item(self, item, spider):
        # 结构化存储
        pd.DataFrame([item]).to_sql('articles', self.conn, if_exists='append')
        return item

ITEM_PIPELINES = {
    'news.pipelines.CleanPipeline': 300,  # 数值越小优先级越高
    'news.pipelines.MySQLPipeline': 800,
}

数据流示意图

原始HTML → Spider提取 → Item对象 → CleanPipeline → MySQLPipeline → 数据库
           (结构化数据)       (数据清洗)       (持久化存储)

动态内容处理

中间件配置示例

from scrapy_selenium import SeleniumMiddleware

class DynamicPpe_ratioMiddleware:
    def process_request(self, request, spider):
        if 'dynamic' in request.meta:
            driver = webdriver.Chrome()
            driver.get(request.url)
            html = driver.ppe_ratio_source
            driver.quit()
            return HtmlResponse(url=request.url, body=html, encoding='utf-8')

DOWNLOADER_MIDDLEWARES = {
    'scrapy_selenium.SeleniumMiddleware': 800,
    'news.middlewares.DynamicPpe_ratioMiddleware': 803,
}

💡 代码填空：起始URL

补全代码，在 Scrapy 蜘蛛中定义用于存放初始抓取网页地址的类属性：

import scrapy

class FinancialSpider(scrapy.Spider):
    name = "finance_news"
    # 定义起始 URL 列表
    {blank} = ["https://example-news.com/stock"]
    
    def parse(self, response):
        pass

• urls
• start_urls
• base_urls

✏️ 填空题

💡 代码填空：起始URL 补全代码，在 Scrapy 蜘蛛中定义用于存放初始抓取网页地址的类属性：

import scrapy
class FinancialSpider(scrapy.Spider):
    name = "finance_news"
    # 定义起始 URL 列表
    ___ = ["https://example-news.com/stock"]
    def parse(self, response):
        pass

答案：start_urls

本章小结

行动清单

• 创建一个爬取豆瓣股票持仓Top250的Spider，要求提取股票持仓名称、评分和短评数量
• 实现管道系统将抓取数据同时存储到CSV文件和MySQL数据库
• 使用Selenium中间件抓取需要登录才能访问的电商网站商品列表

「小象量化教研组」提示：运行爬虫时请遵守robots.txt规则，设置合理的DOWNLOAD_DELAY参数避免对目标网站造成压力。