网页下载模块

网页下载模块深度实战：Requests 库与 HTTP 协议全解析

小象实战讲义 · Python数据分析实战

在网络爬虫架构中，**网页下载模块（Downloader）**负责直接与目标服务器进行通信交互。它的核心职责是接收由 URL 管理器派发的网址，遵照 HTTP/HTTPS 通信协议建立连接，安全稳定地将远程网页的 HTML 源码、JSON 接口响应或媒体资源拉取到本地内存或磁盘。在 Python 生态中，requests 库以其优雅、人性化的 API 设计成为了网络请求的标准利器。本节我们将全方位拆解 HTTP 协议通信细节与 Requests 库的高级实战用法。

💡 核心导读

• HTTP 协议核心通信要素：请求方法（GET/POST）、请求头（Headers）、状态码（Status Codes）与响应体。
• Requests 库基础与高级语法：
  • requests.get() 发起网络请求；
  • response.status_code 状态码健康判断；
  • response.text（自动解码字符串）与 response.content（二进制原始字节）的边界。
• 网络健壮性工程防护：伪装请求头（User-Agent）、设置超时（timeout）与中文编码乱码修正。

1. HTTP 协议基础与常用状态码

┌─────────────────────────────────────────────────────────────┐
│                    常用 HTTP 状态码速查指南                  │
├─────────┬──────────────┬────────────────────────────────────┤
│ 状态码  │ 英文含义     │ 业务说明与爬虫应对策略             │
├─────────┼──────────────┼────────────────────────────────────┤
│ 200     │ OK           │ 请求成功，可安全提取响应数据       │
│ 301/302 │ Redirect     │ 页面重定向，通常自动跟随           │
│ 403     │ Forbidden    │ 服务器拒绝访问 (常因防爬限制)      │
│ 404     │ Not Found    │ 请求的 URL 资源不存在              │
│ 500/502 │ Server Error │ 目标服务端内部错误                 │
└─────────┴──────────────┴────────────────────────────────────┘

• response.text：自动解码的文本字符串，适用于 HTML / JSON。遇中文乱码可执行 response.encoding = 'utf-8' 修正；
• response.content：原始二进制字节流（bytes），适用于下载图片、音视频与文件。

2. Python 代码实战：Requests 核心请求与下载器封装

# 示例 1：Requests 基础请求与响应核心属性检查

import requests

url = "https://httpbin.org/get"
params = {"city": "beijing", "lang": "zh"}
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) Chrome/120.0.0.0 Safari/537.36"
}

try:
    response = requests.get(url, params=params, headers=headers, timeout=5)
    print(f"1. 响应状态码: {response.status_code}")
    print(f"2. 实际请求 URL: {response.url}")
    print(f"3. 响应编码: {response.encoding}")
    
    # 获取 JSON 响应
    data = response.json()
    print("4. 解析服务端返回的参数:", data.get("args"))
except requests.exceptions.RequestException as e:
    print(f"❌ 网络请求异常: {e}")

接下来封装支持异常重试的健壮下载器：

# 示例 2：封装健壮网页下载器模块

import requests
import time

class RobustDownloader:
    """具备超时控制、UA伪装与异常重试机制的通用下载器"""
    def __init__(self, timeout=5, max_retries=2):
        self.timeout = timeout
        self.max_retries = max_retries
        self.session = requests.Session()
        self.session.headers.update({
            "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) Chrome/120.0.0.0 Safari/537.36"
        })
        
    def download_text(self, url):
        for attempt in range(1, self.max_retries + 1):
            try:
                resp = self.session.get(url, timeout=self.timeout)
                if resp.status_code == 200:
                    resp.encoding = resp.apparent_encoding  # 自动编码识别
                    return resp.text
                elif resp.status_code in [404, 403]:
                    print(f"⚠️ 遇到错误状态码 {resp.status_code}，停止重试: {url}")
                    return None
            except requests.exceptions.RequestException as e:
                print(f"❌ 网络错误: {e} (尝试 {attempt}/{self.max_retries})")
            time.sleep(0.5)
        return None

downloader = RobustDownloader()
html = downloader.download_text("https://httpbin.org/html")
if html:
    print("成功下载 HTML 片段:", html[:80].strip())

📝 动手练一练

1. 原理思考题：在编写爬虫脚本时，如果发现抓取某个中文网页返回的 response.text 中汉字全变成了乱码，最快速有效的解决方案是什么？

   👉 点击查看参考答案

   参考答案： 在读取 response.text 之前，手动指定正确的字符编码或自动嗅探：

   response.encoding = 'utf-8'  # 或 response.apparent_encoding

2. 编程练习：编写一个函数 fetch_api_json(url)，请求接口并在状态码为 200 时返回解析后的字典，失败时安全返回空字典 {}。

   👉 点击查看参考答案

   参考答案：

   import requests
   
   def fetch_api_json(url):
       try:
           resp = requests.get(url, timeout=5)
           if resp.status_code == 200:
               return resp.json()
       except Exception:
           pass
       return {}
   
   print("测试接口调用:", fetch_api_json("https://httpbin.org/json").get("slideshow", {}).get("title"))

本章小结

在本节中，我们全面掌握了网络爬虫的核心动力——网页下载模块：

• 理解了 HTTP 请求与响应通信模型及常见状态码处理；
• 熟练掌握了 requests.get()、参数拼接与请求头伪装；
• 掌握了中文编码乱码修正与健壮下载器的封装实践。

📋 行动清单

• 尝试使用 requests 发送带有 headers 与 params 的网络请求。
• 做好准备，进入下一小节学习《网页解析模块(1)：DOM 树与 BeautifulSoup》！

—— 小象教研组