📑 查看全课大纲（第 19 / 52 节）

网页解析(1)：使用XPath定位财经新闻

小象量化极客小册 · 华尔街量化分析先锋系列

本节我们将探寻如何使用 Scrapy 框架进行网络数据采集。作为量化分析师，你将编写爬虫从财经网站爬取最新的股票行情和社交媒体上的咖啡店舆情，为策略引擎输入第一手另类数据。

小象量化极客小册 · 华尔街量化分析先锋系列 本节我们将探寻如何使用 Scrapy 框架进行网络数据采集。作为量化分析师，你将编写爬虫从财经网站爬取最新的股票行情和社交媒体上的咖啡店舆情，为策略引擎输入第一手另类数据。

💡 核心导读

本节将深入讲解网页解析的核心技术与Scrapy框架的解析模块实现。通过本章学习，你将掌握XPath和CSS选择器的使用技巧，了解Scrapy的Selector对象工作原理，并能够构建完整的网页解析管道。重点包括：HTML文档结构解析方法、响应对象处理、以及使用Scrapy Shell进行快速调试。

HTML文档解析基础

文档对象模型(DOM)

HTML文档是树状结构，由多个嵌套的标签节点组成。解析时需要注意：

<html>                         <!-- 根节点 -->
  <head>                       <!-- 子节点 -->
    <title>示例页面</title>    <!-- 叶子节点 -->
  </head>
  <body>
    <div class="content">      <!-- 带属性的节点 -->
      <p>段落1</p>            <!-- 同级节点 -->
      <p>段落2</p>
    </div>
  </body>
</html>

节点关系术语

父节点(Parent)：直接包含当前节点的上层节点
子节点(Children)：被当前节点直接包含的节点
兄弟节点(Sibling)：拥有相同父节点的同级节点

💡 概念小测：XPath语法

使用 XPath 解析金融新闻 HTML 时，如何获取 class 属性值为 ‘news-title’ 的所有 <a> 标签内的文本内容？

//a[@class="news-title"]/href()
//a[class="news-title"]::text
//a[@class="news-title"]/text()
/a[@class="news-title"]/@text

📝 选择题

💡 概念小测：XPath语法使用 XPath 解析金融新闻 HTML 时，如何获取 class 属性值为 ‘news-title’ 的所有 <a> 标签内的文本内容？

A. //a[@class="news-title"]/href()
B. //a[class="news-title"]::text
C. //a[@class="news-title"]/text()
D. /a[@class="news-title"]/@text

答案：C（//a[@class="news-title"]/text()）

Scrapy Selector实战

创建Selector对象

Scrapy提供两种选择器类型：

from scrapy import Selector

html = """
<div id="products">
  <li class="item">产品A</li>
  <li class="item">产品B</li>
</div>
"""
sel = Selector(text=html)

选择器性能对比

方法类型	执行速度	内存占用	易读性
XPath	快	低	中等
CSS	较快	较低	高
正则表达式	慢	高	低

XPath核心语法

基础定位方法

products = sel.xpath('//li[@class="item"]')

product_names = products.xpath('./text()').getall()
"""
执行结果：
['产品A', '产品B']
"""

高级定位技巧

nodes = sel.xpath('//div[@id="products"]/*')

second_item = sel.xpath('//li[position()=2]')

matched = sel.xpath('//*[contains(text(), "产品")]')

CSS选择器实战

常用选择模式

items = sel.css('.item')

children = sel.css('#products > *')

links = sel.css('a[href^="https"]::attr(href)').getall()

伪元素使用示例

data = []
for a in sel.css('a'):
    item = {
        'text': a.css('::text').get(),
        'href': a.css('::attr(href)').get()
    }
    data.append(item)
"""
输出结构：
[
    {'text': '链接1', 'href': 'http://example.com/1'},
    {'text': '链接2', 'href': 'http://example.com/2'}
]
"""

Scrapy Shell调试技巧

启动交互环境

scrapy shell "http://example.com"

常用调试命令

view(response)  # 在浏览器打开
response.text[:200]  # 查看前200字符

response.css('title::text').get()
response.xpath('//meta/@content').getall()

💡 代码填空：XPath提取价格

补全以下 XPath 选择器代码，提取页面中 class 为 ‘stock-price’ 的所有 <span> 标签的文本：

from scrapy import Selector

html = '<span class="stock-price">150.5</span>'
sel = Selector(text=html)
prices = sel.xpath('//span[@class="stock-price"]/{blank}').get()
print(prices) # 输出 150.5

text
text()
getall()

✏️ 填空题

💡 代码填空：XPath提取价格补全以下 XPath 选择器代码，提取页面中 class 为 ‘stock-price’ 的所有 <span> 标签的文本：

from scrapy import Selector
html = '<span class="stock-price">150.5</span>'
sel = Selector(text=html)
# 提取 class 匹配 of span 节点文本
prices = sel.xpath('//span[@class="stock-price"]/___').get()
print(prices) # 输出 150.5

答案：text()

本章小结

行动清单

使用Scrapy Shell抓取一个新闻网站，分别用XPath和CSS选择器提取标题列表
编写一个解析函数，处理包含分页的商品数据，并输出JSON格式的结构化结果
对比XPath的contains()和starts-with()函数在定位动态class时的效果差异

「小象量化教研组」建议在实际项目中优先使用CSS选择器处理简单结构，复杂嵌套数据建议使用XPath定位。记得始终在try-except块中处理可能缺失的节点。

🎁 免费学习资源

领取《小象 11GB VIP 课件资料包与大厂真题手册》

包含全套实战 Jupyter 源码、清洗后数据集、大厂高频面试真题与专属学员答疑交流群。

✔完整 Python / 数据分析 Jupyter 实战源码
✔大厂真实业务数据集与练习题
✔微信扫码添加课程顾问，免费获取网盘下载链接

微信扫码添加顾问