📑 查看全课大纲（第 26 / 101 节）

实战：获取国内城市空气质量指数数据

约 15 分钟

📺 正在播放小象官方高清录播（支持倍速与清晰度调节）

第3章综合实战：获取国内城市空气质量指数数据与结构化持久化

小象实战讲义 · Python数据分析实战

在全面掌握了网络爬虫架构原理、URL 调度管理、Requests 高效下载、BeautifulSoup 文档树遍历以及 Scrapy 工业级异步框架的五大开发步骤之后，本节我们将迎来第 3 章的压轴综合实战——《国内城市空气质量指数（AQI）全网采集与数据清洗持久化》。我们将以经典的环境监测数据采集为业务背景，完整演示从需求拆解、项目构建、Item 数据模型设计、多级页面递归爬取、管道清洗持久化，到最终生成标准数据集的端到端全流程。

💡 核心导读

实战业务目标：自动化采集全国重点城市的实时环境空气质量数据，产出规范合规的结构化 CSV 报表。
目标网站拓扑与两级抓取策略：
- 一级索引页（Home/Index）：提取全国各城市的名称与详情页跳转链接；
- 二级详情页（City Detail）：抓取各城市的 AQI、空气质量级别、PM2.5、PM10 等监测数值。
端到端完整落地流水线：
- 1. CityAqiItem 数据模型定义；
- 1. 爬虫双层页面解析与链接派发；
- 1. Pipeline 数据清洗、异常过滤与 UTF-8 CSV 安全落地；
- 1. 使用 Pandas 进行快速数据探索与质量核验。

1. 实战业务需求与网页结构拓扑分析

空气质量指数（Air Quality Index，简称 AQI）是评估空气质量状况的重要监测指标。我们的任务是采集重点城市的实时环境监测数据。

┌─────────────────────────────────────────────────────────────┐
│               城市空气质量监控数据采集拓扑                  │
├─────────────────────────────────────────────────────────────┤
│ 1. 首页索引总览 (http://www.pm25.in/)                       │
│    └── 提取全部城市 <a href="/beijing">北京</a> 跳转链接    │
│                              │                              │
│                              ▼                              │
│ 2. 城市详情页 (http://www.pm25.in/beijing)                  │
│    ├── 核心指标卡: AQI 数值 (如 35)、质量等级 (如 优)       │
│    └── 污染物网格表: PM2.5 (11.2)、PM10 (24.5)...           │
└─────────────────────────────────────────────────────────────┘

2. Python 代码实战：端到端城市空气质量采集与分析流水线

# 示例 1：构建全国城市空气质量多级爬虫与解析流水线

from bs4 import BeautifulSoup
from urllib.parse import urljoin
import datetime
import csv
import os

# 1. 模拟网络响应 HTML
MOCK_INDEX_PAGE = """
<html><body>
    <div class="all-cities">
        <a href="/beijing" class="city-link">北京</a>
        <a href="/shanghai" class="city-link">上海</a>
        <a href="/guangzhou" class="city-link">广州</a>
    </div>
</body></html>
"""

MOCK_DETAILS = {
    "/beijing": '<div class="aqi">36</div><div class="level">优</div><div class="pm25">11.2</div><div class="pm10">24.5</div>',
    "/shanghai": '<div class="aqi">58</div><div class="level">良</div><div class="pm25">22.0</div><div class="pm10">45.0</div>',
    "/guangzhou": '<div class="aqi">45</div><div class="level">优</div><div class="pm25">15.0</div><div class="pm10">30.0</div>'
}

class FullAqiScraper:
    def __init__(self, base_url="http://www.pm25.in"):
        self.base_url = base_url
        
    def parse_index(self, html_text):
        soup = BeautifulSoup(html_text, "html.parser")
        targets = []
        for a in soup.find_all("a", class_="city-link"):
            targets.append({
                "city_name": a.text.strip(),
                "url": urljoin(self.base_url, a.get("href")),
                "rel_href": a.get("href")
            })
        return targets

    def parse_detail(self, city_name, city_url, detail_html):
        soup = BeautifulSoup(detail_html, "html.parser")
        def get_val(cls, default="0"):
            node = soup.find(class_=cls)
            return node.text.strip() if node else default
            
        return {
            "city_name": city_name,
            "city_url": city_url,
            "aqi": int(get_val("aqi", "0")),
            "quality_level": get_val("level", "N/A"),
            "pm2_5": float(get_val("pm25", "0.0")),
            "pm10": float(get_val("pm10", "0.0")),
            "crawl_time": datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")
        }

scraper = FullAqiScraper()
targets = scraper.parse_index(MOCK_INDEX_PAGE)
collected_data = [scraper.parse_detail(t["city_name"], t["url"], MOCK_DETAILS[t["rel_href"]]) for t in targets]
print(f"✅ 成功采集 {len(collected_data)} 个城市空气质量数据！")

接下来将数据保存至 CSV 并使用 Pandas 进行分析：

# 示例 2：CSV 持久化与 Pandas 探索性分析

import pandas as pd

csv_path = "city_aqi_summary.csv"
fieldnames = ["city_name", "city_url", "aqi", "quality_level", "pm2_5", "pm10", "crawl_time"]

with open(csv_path, "w", newline="", encoding="utf-8-sig") as f:
    writer = csv.DictWriter(f, fieldnames=fieldnames)
    writer.writeheader()
    writer.writerows(collected_data)

# 使用 Pandas 进行数据分析
df = pd.read_csv(csv_path)
print("\n=== 城市空气质量报表 ===")
print(df[["city_name", "aqi", "quality_level", "pm2_5", "pm10"]])

print(f"\n[统计摘要] 监测城市数: {len(df)} | 平均 AQI: {df['aqi'].mean():.1f} | 最佳城市: {df.loc[df['aqi'].idxmin(), 'city_name']}")

if os.path.exists(csv_path):
    os.remove(csv_path)

📝 动手练一练

业务思考题：在实际采集环境监测数据时，部分城市可能因监测站维护缺失 PM2.5 数据，若直接 float() 会报错，应如何优雅处理？
👉 点击查看参考答案
参考答案：编写安全转换函数，使用 try...except 捕获异常并在缺失时返回默认值（如 None 或 0.0）：
```
def safe_float(val, default=0.0):
    try:
        return float(str(val).strip())
    except (ValueError, TypeError):
        return default
```

综合编程练习：使用 Pandas 筛选出 aqi <= 50 的优质城市并计算平均 PM2.5。

👉 点击查看参考答案

参考答案：

import pandas as pd

data = [{"city": "北京", "aqi": 36, "pm25": 11.2}, {"city": "上海", "aqi": 58, "pm25": 22.0}]
df = pd.DataFrame(data)
good = df[df["aqi"] <= 50]
print("优质城市平均 PM2.5:", good["pm25"].mean())

本章小结

在本节中，我们圆满完成了第 3 章《网络数据的获取与表示》的综合压轴大实战：

完整贯通了爬虫三大核心模块与 Scrapy 工业级开发范式；
实现了两级网页（首页索引 → 详情页）的联动采集与结构化提取；
借助 Pipeline 与 Pandas 高效完成了数据清洗与持久化分析。

📋 行动清单

复习第 3 章全部 11 节内容，熟练掌握网络数据采集体系。
做好准备，进入第 4 章《NumPy 科学计算》，开启科学计算新篇章！

—— 小象教研组

配套学习资源与课件

本节课件：实战：获取国内城市空气质量指数数据(PDF · 220KB)
下载
本课实战代码：爬取城市空气质量指数(AQI)数据（ipynb）(ZIP · 2.5KB)
下载
全套课件打包（第1-5章）(ZIP · 12.8MB)
下载
全套课件打包（第6-8章）(ZIP · 15MB)
下载
实战数据集：AppleStore 应用商城分析(ZIP · 329KB)
下载
实战数据集：女性服装电商分析(ZIP · 2.8MB)
下载
Python 数据分析环境搭建指南(PDF · 2MB)
下载
Scrapy 安装教程(PDF · 12.7MB)
下载
附加实战项目：AppleStore 应用商城数据分析(ZIP · 0.3MB · ipynb + CSV 数据)
下载
附加实战项目：银行电话营销数据分析(ZIP · 0.4MB · ipynb + CSV 数据)
下载
附加实战项目：女性服装电商评论数据分析(ZIP · 2.7MB · ipynb + CSV 数据)
下载
附加实战项目：美国化学学会杂志数据分析(ZIP · 34.2MB · ipynb + SQLite 数据库)
下载

🎁 免费学习资源

领取《小象 11GB VIP 课件资料包与大厂真题手册》

包含全套实战 Jupyter 源码、清洗后数据集、大厂高频面试真题与专属学员答疑交流群。

✔完整 Python / 数据分析 Jupyter 实战源码
✔大厂真实业务数据集与练习题
✔微信扫码添加课程顾问，免费获取网盘下载链接

微信扫码添加顾问