数据预处理及特征工程

机器学习工程规范(3)：特征工程实战——数据标准化 StandardScaler 与独热编码 OneHotEncoder

小象实战讲义 · Python数据分析实战

在机器学习界流传着一句至理名言：“数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。”原始现实数据往往包含极大的量纲差异（如身高 170cm 与薪资 20000 元）以及非数值的离散文本分类（如省份、性别、职业类别）。如果不经**特征工程（Feature Engineering）**处理，直接输入模型会导致算法无法收敛或学习到错误的权重。本节我们将深入剖析两大基石特征预处理技术：连续数值特征的 标准差标准化（StandardScaler） 与 离散分类特征的 独热编码（OneHotEncoder）。

💡 核心导读

• 标准差标准化（Z-Score Standardization）：$z = \frac{x - \mu}{\sigma}$，将特征均值化为 0，方差化为 1。
• 最小最大归一化（MinMaxScaler）：$x_{\text{norm}} = \frac{x - x_{\min}}{x_{\max} - x_{\min}}$，压缩至 $[0, 1]$。
• 独热编码（OneHotEncoder）：将包含 $K$ 个取值的无序离散分类变量转化为 $K$ 维稀疏布尔虚拟变量（Dummy Variables）。
• fit_transform（训练集） vs transform（测试集）的铁律规范。

1. 连续特征标准化与离散特征独热编码原理

两大预处理算子的数学变换逻辑如下：

┌─────────────────────────────────────────────────────────────┐
│                 特征工程核心转换器拓扑                      │
├──────────────────────────────┬──────────────────────────────┤
│ 1. StandardScaler (Z-Score)  │ 2. OneHotEncoder (独热编码)  │
│ • [1000, 2000, 3000] ──►     │ • '北京' ──► [1, 0, 0]       │
│ • [-1.22, 0.0, 1.22]         │ • '上海' ──► [0, 1, 0]       │
│ • 消除量纲，加速梯度下降收敛 │ • '广州' ──► [0, 0, 1]       │
└──────────────────────────────┴──────────────────────────────┘

import pandas as pd
import numpy as np
from sklearn.preprocessing import StandardScaler, OneHotEncoder
from sklearn.compose import ColumnTransformer

# 1. 构建包含连续与类别特征的混合业务数据集
df_raw = pd.DataFrame({
    "age": [25, 45, 32, 50, 28],
    "income": [8000, 25000, 12000, 32000, 9500],
    "city": ["北京", "上海", "广州", "北京", "上海"],
    "education": ["本科", "硕士", "本科", "博士", "大专"]
})

print("=== 1. 原始混合特征表格 ===")
print(df_raw)

# 2. 使用 ColumnTransformer 对不同列分别应用不同的转换器
preprocessor = ColumnTransformer(
    transformers=[
        ("num", StandardScaler(), ["age", "income"]),          # 数值列标准化
        ("cat", OneHotEncoder(sparse_output=False), ["city", "education"]) # 类别列独热编码
    ]
)

# 拟合转换
feature_matrix = preprocessor.fit_transform(df_raw)
cat_feature_names = preprocessor.named_transformers_["cat"].get_feature_names_out(["city", "education"])
all_col_names = ["age_scaled", "income_scaled"] + list(cat_feature_names)

df_processed = pd.DataFrame(feature_matrix, columns=all_col_names)
print("\n=== 2. 特征工程全量转换后的纯数值特征矩阵 ===")
print(df_processed.round(2))

2. 测试集转换与未知类别处理 (handle_unknown)

设置 handle_unknown='ignore' 确保遇到训练集中未出现过的新城市时不会抛出异常崩盘。

# 模拟测试集 (包含训练集未见过的城市 '深圳')
df_test = pd.DataFrame({
    "age": [30], "income": [15000], "city": ["深圳"], "education": ["本科"]
})

# 安全转换器：handle_unknown='ignore'
safe_preprocessor = ColumnTransformer(
    transformers=[
        ("num", StandardScaler(), ["age", "income"]),
        ("cat", OneHotEncoder(sparse_output=False, handle_unknown="ignore"), ["city", "education"])
    ]
)
safe_preprocessor.fit(df_raw)
test_transformed = safe_preprocessor.transform(df_test)
print("\n=== 3. 遇到未知分类值 ('深圳') 容错转换结果 ===")
print("转换成功，未见分类自动全填 0 编码:", test_transformed.round(2))

📝 动手练一练

1. 概念思考题：在对离散变量进行编码时，对于“学历”（大专、本科、硕士、博士）这种具有明显等级大小顺序的特征，与“城市”（北京、上海、广州）这种完全平等的无序特征，应该分别采用什么编码方式？

   👉 点击查看参考答案

   参考答案：

   • 城市（无序离散特征）：必须使用 独热编码（OneHotEncoder），避免给无序的类别人为赋予虚假的大小权重；
   • 学历（有序离散特征）：应该使用 序数编码（OrdinalEncoder / 整数标签映射）（如大专=1, 本科=2, 硕士=3, 博士=4），以保留其天然蕴含的先后等级关系。

2. 编程练习：使用 StandardScaler 对数组 X = [[10], [20], [30]] 进行标准化并输出转换后的均值。

   👉 点击查看参考答案

   参考答案：

   from sklearn.preprocessing import StandardScaler
   scaler = StandardScaler()
   res = scaler.fit_transform([[10], [20], [30]])
   print("转换后均值:", res.mean().round(2))

本章小结

• 深刻理解了特征工程在决定模型预测上限中的中枢地位；
• 熟练掌握了 StandardScaler 消除量纲与 OneHotEncoder 虚拟变量转换的算法原理；
• 掌握了使用 ColumnTransformer 统一编排数值列与类别列的现代化数据流水线。

📋 行动清单

• 在本地执行示例代码，观察控制台输出并记录关键指标。
• 做好准备，进入下一小节学习《模型过拟合与欠拟合：偏差-方差权衡与泛化控制》！

—— 小象教研组