模型调参介绍

模型评估与调优(1)：K 折交叉验证 Cross-Validation 与泛化性能稳健度量精讲

小象实战讲义 · Python数据分析实战

单次使用 train_test_split 随机划分训练集和测试集虽然快捷，但存在一个潜在的统计学隐患：评估结果高度依赖于这次随机切分的“运气”。如果切分恰好将难以预测的极端样本全分到了测试集，模型得分就会显得异常惨淡；反之亦然。为了得到对模型泛化能力更加客观、无偏、低方差的稳健估计，K 折交叉验证（K-Fold Cross-Validation） 成为了现代机器学习不可或缺的黄金评估准则。本节我们将深入剖析 K 折交叉验证、分层 K 折（Stratified K-Fold）以及 cross_val_score 实战。

💡 核心导读

• K 折交叉验证（K-Fold CV）核心机制：
  • 1. 将全量数据集等分为 $K$ 个互斥的子集（Folds）；
  • 2. 依次轮流将其中 1 个子集作为验证集，剩余 $K-1$ 个子集作为训练集拟合模型；
  • 3. 得到 $K$ 个独立的评估得分，计算其平均值（Mean）与标准差（Std）。
• 分层 K 折（StratifiedKFold）：在每一折内部严格保持分类标签的比例分布。
• 一键交叉验证 API cross_val_score。

1. K 折交叉验证数据流与轮转机制

5 折交叉验证的轮转拓扑结构如下：

┌─────────────────────────────────────────────────────────────┐
│                 5 折交叉验证 (5-Fold CV) 轮转数据流         │
├─────────────────────────────────────────────────────────────┤
│ 轮次 1: [ 验证集 Fold 1 ] [ 训练集 2 ] [ 训练集 3 ] ... ──► 得分 1 │
│ 轮次 2: [ 训练集 1 ] [ 验证集 Fold 2 ] [ 训练集 3 ] ... ──► 得分 2 │
│ 轮次 3: [ 训练集 1 ] [ 训练集 2 ] [ 验证集 Fold 3 ] ... ──► 得分 3 │
│ 轮次 4: [ 训练集 1 ] [ 训练集 2 ] [ 训练集 3 ] [验证 4] ──► 得分 4 │
│ 轮次 5: [ 训练集 1 ] ... [ 训练集 4 ] [ 验证集 Fold 5 ] ──► 得分 5 │
├─────────────────────────────────────────────────────────────┤
│ 综合最终评估指标 = Mean(得分 1~5) ± Std(得分 1~5) (低方差可靠)│
└─────────────────────────────────────────────────────────────┘

import numpy as np
import pandas as pd
from sklearn.datasets import load_iris
from sklearn.model_selection import KFold, StratifiedKFold, cross_val_score
from sklearn.linear_model import LogisticRegression
from sklearn.ensemble import RandomForestClassifier

# 1. 加载经典鸢尾花分类数据集
iris = load_iris()
X, y = iris.data, iris.target

# 2. 实例化模型与分层 5 折交叉验证器
rf_clf = RandomForestClassifier(n_estimators=50, random_state=42)
skf = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)

# 3. 使用 cross_val_score 执行 5 折自动化评测
cv_scores = cross_val_score(rf_clf, X, y, cv=skf, scoring="accuracy")

print("=== 1. 5 折交叉验证逐折得分 ===")
for fold_idx, score in enumerate(cv_scores, 1):
    print(f"• Fold {fold_idx}: 准确率 = {score:.4f}")

print(f"\n=== 2. 综合评估指标 ===")
print(f"平均准确率 (Mean Accuracy): {cv_scores.mean():.4f}")
print(f"评估标准差 (Score Std)   : {cv_scores.std():.4f} (反映模型稳定性)")

2. 多模型在交叉验证下的稳健对比

通过比较不同模型的 CV 均值和标准差，选择既高精度又高稳定性的模型。

lr_clf = LogisticRegression(max_iter=200)
lr_scores = cross_val_score(lr_clf, X, y, cv=skf, scoring="accuracy")

print("\n=== 3. 逻辑回归 vs 随机森林 CV 对比 ===")
print(f"• 逻辑回归: {lr_scores.mean():.4f} (± {lr_scores.std():.4f})")
print(f"• 随机森林: {cv_scores.mean():.4f} (± {cv_scores.std():.4f})")

📝 动手练一练

1. 概念思考题：在工业界中，通常推荐将 K 折交叉验证的 K 设置为多少？为什么 K 既不能设得太小（如 K=2），也不能设得太大（如 K=N 留一法）？

   👉 点击查看参考答案

   参考答案：

   • 通常推荐 $K=5$ 或 $K=10$；
   • $K$ 过小（如 $K=2$）：训练集只有 50% 数据，模型偏差过大，评估悲观；
   • $K$ 过大（如 $K=N$ 留一法 LOOCV）：需要训练 $N$ 次模型，计算成本极其高昂，且各折训练集高度重合导致方差上升。$K=5 \sim 10$ 是计算效率与统计稳定性的最佳平衡点。

2. 编程练习：使用 cross_val_score 对逻辑回归模型计算 3 折交叉验证得分。

   👉 点击查看参考答案

   参考答案：

   from sklearn.model_selection import cross_val_score
   from sklearn.linear_model import LogisticRegression
   scores = cross_val_score(LogisticRegression(), [[1], [2], [3], [4], [5], [6]], [0, 0, 0, 1, 1, 1], cv=3)
   print("CV Scores:", scores)

本章小结

• 深入掌握了 K 折交叉验证（K-Fold）消除随机切分偶然性的统计原理；
• 掌握了在分类任务中使用 StratifiedKFold 保持各折标签比例一致的技术；
• 熟练运用 cross_val_score 计算模型的均值准确率与稳定性标准差。

📋 行动清单

• 在本地执行示例代码，观察控制台输出并记录关键指标。
• 做好准备，进入下一小节学习《模型调优(2)：网格搜索 GridSearchCV 与超参数自动化调优》！

—— 小象教研组