问答 · ANSWER
整合是什么？
直接回答
在Scrapy爬虫流程中，整合是指将定义Item数据结构、解析网页提取数据、使用yield逐个产出Item这几个环节串联起来，形成完整的数据抓取与处理流程。
关键要点
- 整合的核心是串联定义Item、解析网页和产出数据这几个环节。
- 定义Item是为了将爬取的零散数据封装成结构化的对象。
- 解析网页需要定位目标容器、遍历列表项并提取文本与属性。
- 使用yield逐个产出Item可以降低内存占用，支持流式处理。
怎么选 / 怎么做
整合的步骤包括：1. 定义Item类，明确数据结构（如city_name, city_link）。2. 使用解析器（如html.parser）解析HTML，定位元素并提取数据。3. 将提取的数据填充到Item对象的对应字段。4. 在爬虫逻辑中使用yield逐个返回填充好的Item。
常见问题
整合在爬虫中指的是什么？
将定义数据结构、解析网页和产出Item串联的完整流程。
yield在整合流程中起什么作用？
逐个产出Item，降低内存占用，支持流式处理。