数据集准备及划分

机器学习工程规范(1)：数据集构建、特征标签解耦与 train_test_split 防泄露拆分精讲

小象实战讲义 · Python数据分析实战

在机器学习项目中，最致命的严重错误之一就是数据泄露（Data Leakage）与“用训练集评估训练集”带来的虚假高准确率。为了科学客观地评估一个模型在面对未知现实数据时的真实泛化能力（Generalization Ability），必须在任何训练与调参开始之前，严格将数据集拆分为互不相交的训练集（Training Set）与测试集（Test Set）。scikit-learn 提供了功能完备的 train_test_split 工具。本节我们将深入剖析特征与标签解耦、分层抽样（Stratified Splitting）以及防止数据泄露的严谨操作规范。

💡 核心导读

• 数据集解耦铁律：特征矩阵 $X$（二维大写，形状 $N \times P$）与 目标向量 $y$（一维小写，长度 $N$）。
• train_test_split 核心控制参数：
  • test_size=0.2：测试集占比（通常取 20%~30%）；
  • random_state=42：固定随机数种子，确保实验 100% 可复现；
  • stratify=y（分层抽样）：保持训练集和测试集中各类别的比例与全集完全一致（极度重要！）。
• 杜绝数据泄露的绝对红线。

1. 数据拆分拓扑与分层抽样 stratify 原理

分层抽样确保类别不均衡时正负样本比例严格锁定：

┌─────────────────────────────────────────────────────────────┐
│                 分层拆分 (Stratified Split) 模型            │
├─────────────────────────────────────────────────────────────┤
│ 全量数据集 (正样本 10%, 负样本 90%)                         │
│                ║                                            │
│                ▼ train_test_split(..., stratify=y)          │
│ 训练集 (80%): 正样本 10%, 负样本 90% (类别分布无偏)        │
│ 测试集 (20%): 正样本 10%, 负样本 90% (真实反映总体结构)    │
└─────────────────────────────────────────────────────────────┘

import numpy as np
import pandas as pd
from sklearn.model_selection import train_test_split

# 1. 模拟不均衡业务数据集 (90% 正常样本, 10% 欺诈违约样本)
np.random.seed(42)
n_total = 200
X = np.random.randn(n_total, 4)
y = np.random.choice([0, 1], size=n_total, p=[0.9, 0.1])

print(f"=== 1. 全量数据类别分布 (正样本率: {y.mean():.1%}) ===")

# 2. 开启 stratify=y 进行科学分层拆分
X_train, X_test, y_train, y_test = train_test_split(
    X, y,
    test_size=0.25,     # 75% 训练, 25% 测试
    random_state=42,    # 固定随机种子
    stratify=y          # 强制按 y 的类别比例分层
)

print("\n=== 2. 拆分后样本形状与分布 ===")
print(f"• 训练集形状: X_train={X_train.shape}, y_train={y_train.shape} | 训练集正样本率: {y_train.mean():.1%}")
print(f"• 测试集形状: X_test={X_test.shape}, y_test={y_test.shape}   | 测试集正样本率: {y_test.mean():.1%}")

2. 数据泄露的防范与最佳工程实践

绝对禁止在拆分前对全量数据执行标准化或均值填充，必须“先拆分，后预处理”。

# 演示规范流程：先拆分，再拟合预处理器
from sklearn.preprocessing import StandardScaler

scaler = StandardScaler()
# 仅在训练集上 fit 学习均值和标准差！
X_train_scaled = scaler.fit_transform(X_train)
# 测试集仅使用训练集的均值/标准差执行 transform，绝不能参与 fit！
X_test_scaled = scaler.transform(X_test)

print("\n=== 3. 防泄露预处理规范 ===")
print("• 训练集特征均值 (归一化为 0):", X_train_scaled.mean(axis=0).round(2))
print("• 测试集基于训练集参数转换完成，无任何数据泄露！")

📝 动手练一练

1. 架构思考题：为什么在分类任务（特别是不均衡二分类）中，调用 train_test_split 时强烈建议显式指定 stratify=y？如果不指定会有什么风险？

   👉 点击查看参考答案

   参考答案： 如果类别非常不均衡（如欺诈样本仅占 1%），普通的随机拆分可能导致测试集中根本没有分到任何欺诈样本，或者训练集与测试集的正负样本比例发生严重漂移。指定 stratify=y 强制要求拆分后的训练集与测试集严格保持与原始数据完全相同的正负样本比例，保证评估的客观真实性。

2. 编程练习：编写代码将 DataFrame df 拆分为特征 X（除去 'target' 列）和标签 y（'target' 列），并按 8:2 比例切分。

   👉 点击查看参考答案

   参考答案：

   import pandas as pd
   from sklearn.model_selection import train_test_split
   df = pd.DataFrame({'f1': [1, 2, 3, 4, 5], 'target': [0, 1, 0, 1, 0]})
   X = df.drop(columns=['target'])
   y = df['target']
   X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

本章小结

• 深刻理解了训练集与测试集隔离防泄露的绝对红线；
• 熟练掌握了 train_test_split 中 test_size、random_state 与 stratify 的配置；
• 掌握了“先切分数据集，再独立在训练集上 fit 预处理器”的标准工程准则。

📋 行动清单

• 在本地执行示例代码，观察控制台输出并记录关键指标。
• 做好准备，进入下一小节学习《机器学习基本流程(2)：模型选择与基准拟合》！

—— 小象教研组