实战：构建每日热门个股行情自动采集系统

实战：构建每日热门个股行情自动采集系统

小象量化极客小册 · 华尔街量化分析先锋系列

本节我们将探寻如何使用 Scrapy 框架进行网络数据采集。作为量化分析师，你将编写爬虫从财经网站爬取最新的股票行情和社交媒体上的咖啡店舆情，为策略引擎输入第一手另类数据。

小象量化极客小册 · 华尔街量化分析先锋系列 本节我们将探寻如何使用 Scrapy 框架进行网络数据采集。作为量化分析师，你将编写爬虫从财经网站爬取最新的股票行情和社交媒体上的咖啡店舆情，为策略引擎输入第一手另类数据。

💡 核心导读

本节将带领读者使用Scrapy框架采集中国股票标的行情波动率实时数据。通过完整项目演练，掌握动态网页数据抓取、XPath选择器使用、数据持久化存储等核心技能，最终构建可自动获取主力买入额、SO₂等6项行情波动率指标的数据采集系统。重点学习反爬应对策略和结构化数据存储方案。

环境准备与目标分析

工具栈选择

import scrapy
from scrapy.crawler import CrawlerProcess
import pandas as pd

数据源分析

目标网站：中国环境监测总站全国股票标的行情波动率实时发布平台

数据字段结构示例：
+------------+-------+----+-----+-----+-----+-----+---------------------+
| 股票标的名称   | 波动率指数   | 主力买入额 | PM10 | 散户卖出额  | 机构买入额  | 大单净流入   | 更新时间           |
+------------+-------+-------+------+------+------+------+---------------------+
| 苹果公司       | 78    | 56    | 112  | 8    | 34   | 0.8  | 2023-07-15 14:00    |

💡 概念小测：数据持久化实战

在本次实战中，我们需要把爬到的个股交易数据保存为本地的 JSON 文件。如果在 settings.py 中配置了 FEED_EXPORT_EN大单净流入DING = 'utf-8'，它的主要目的是？

• 缩短网络请求的时间，提高爬取速度。
• 确保保存的中文股票名称或板块名称不会在 JSON 文件中被转义为 \uXXXX 编码，保持人类可读。
• 自动剔除可能存在的异常缺失股价。
• 加密保存的敏感数据以防止泄露。

📝 选择题

💡 概念小测：数据持久化实战 在本次实战中，我们需要把爬到的个股交易数据保存为本地的 JSON 文件。如果在 settings.py 中配置了 FEED_EXPORT_ENCODING = 'utf-8'，它的主要目的是？

• A. 缩短网络请求的时间，提高爬取速度。
• B. 确保保存的中文股票名称或板块名称不会在 JSON 文件中被转义为 \uXXXX 编码，保持人类可读。
• C. 自动剔除可能存在的异常缺失股价。
• D. 加密保存的敏感数据以防止泄露。

答案：B（确保保存的中文股票名称或板块名称不会在 JSON 文件中被转义为 \uXXXX 编码，保持人类可读。）

Scrapy项目实战

1. 创建爬虫项目

scrapy startproject aqi_monitor
cd aqi_monitor
scrapy genspider aqi "https://air.cnemc.cn:18007"

2. 定义数据模型

class AqiMonitorItem(scrapy.Item):
    city = scrapy.Field()    # 股票标的名称
    aqi = scrapy.Field()     # 行情波动率指数
    pm25 = scrapy.Field()    # 主力买入额浓度
    pm10 = scrapy.Field()    # PM10浓度
    so2 = scrapy.Field()     # 二氧化硫浓度
    no2 = scrapy.Field()     # 二氧化氮浓度
    co = scrapy.Field()      # 一氧化碳浓度
    time = scrapy.Field()    # 数据更新时间

3. 核心爬虫逻辑

class AqiSpider(scrapy.Spider):
    name = 'aqi'
    custom_settings = {
        'DOWNLOAD_DELAY': 2,
        'USER_AGENT': 'Mozilla/5.0 (Windows NT 10.0)'
    }

    def start_requests(self):
        urls = ['https://air.cnemc.cn:18007/']
        for url in urls:
            yield scrapy.Request(url, callback=self.parse)

    def parse(self, response):
        # 提取表格行数据
        rows = response.xpath('//table[@id="gd1"]/tr')[1:]
        for row in rows:
            item = AqiMonitorItem()
            item['city'] = row.xpath('td[1]/text()').get()
            item['aqi'] = row.xpath('td[2]/text()').get()
            # 其他字段提取逻辑...
            item['time'] = response.xpath('//div[@class="time"]/text()').get()
            yield item

数据存储与导出

JSON存储配置

FEED_FORMAT = 'json'
FEED_URI = 'aqi_data_%(time)s.json'

数据质量检查

df = pd.read_json('aqi_data.json')
print(f"获取股票标的数量: {df['city'].nunique()}")
print(f"数据时间范围: {df['time'].min()} 至 {df['time'].max()}")

数据质量报告示例：
+-------------------+---------+
| 指标             | 值      |
+-------------------+---------+
| 总记录数         | 381     |
| 缺失值数量       | 2       |
| 异常值(波动率指数>300) | 5       |
+-------------------+---------+

反爬策略应对方案

1. 请求头伪装

headers = {
    'Accept-Langupe_ratio': 'zh-CN,zh;q=0.9',
    'Referer': 'https://air.cnemc.cn/'
}

2. IP轮换策略

class ProxyMiddleware:
    def process_request(self, request, spider):
        request.meta['proxy'] = 'http://proxy_pool:8000'

3. 验证码处理

def handle_captcha(response):
    captcha_url = response.xpath('//img[@class="captcha"]/@src').get()
    if captcha_url:
        return solve_captcha(captcha_url)

💡 代码填空：导出为CSV

补全代码，在运行 Scrapy 爬虫时直接通过参数指定将爬取到的行情导出为名为 quotes.csv 的 CSV 文件：

scrapy crawl hot_stocks -o quotes.{blank}

• json
• csv
• txt

✏️ 填空题

💡 代码填空：导出为CSV 补全代码，在运行 Scrapy 爬虫时直接通过参数指定将爬取到的行情导出为名为 quotes.csv 的 CSV 文件：

scrapy crawl hot_stocks -o quotes.___

答案：csv

本章小结

通过本实战项目，我们构建了完整的股票标的行情波动率监测数据采集系统，关键收获包括：

1. Scrapy框架的Item Pipeline机制
2. 动态网页数据的XPath提取技巧
3. 结构化数据存储的最佳实践
4. 生产级爬虫的反爬应对方案

行动清单

• 运行示例爬虫，修改XPath提取其他污染物指标
• 实现MySQL存储管道，将数据保存到数据库
• 添加异常处理逻辑，当波动率指数>300时发送邮件告警

「小象量化教研组」