模型选择

机器学习工程规范(2)：模型选择策略、多算法基准比对与 fit/predict 规范精讲

小象实战讲义 · Python数据分析实战

面对具体的业务需求，没有任何一个算法模型能在所有数据集上都取得最优效果（即著名的“没有免费的午餐定理” No Free Lunch Theorem）。因此，在实际工程中，模型选择（Model Selection） 是不可逾越的关键步骤。数据分析师需要根据数据规模、特征维度、非线性复杂度以及上线推理延迟要求，选取多个具有代表性的候选基准模型（如逻辑回归、支持向量机、随机森林）进行并行比对。本节我们将深入学习多模型评估比对流程与标准拟合范式。

💡 核心导读

• 没有免费的午餐（No Free Lunch）定理：不存在绝对通用的最优模型，算法选型必须由业务约束与实测指标驱动。
• 算法选型决策考量四维度：
  • 数据规模与维度（小样本高维度首选线性/SVM，大样本表格首选树模型）；
  • 特征非线性关系与特征交互；
  • 模型可解释性要求（信贷风控要求强可解释性）；
  • 在线推理延迟与计算资源限制。
• 多模型批量基准比对流水线代码范式。

1. 算法选型决策树与考量维度

算法选型的多维权衡决策树如下：

┌─────────────────────────────────────────────────────────────┐
│                 工业级算法选型多维决策树                    │
├─────────────────────────────────────────────────────────────┤
│ 1. 强可解释性要求 (风控/医疗) ──► 逻辑回归 / 单棵决策树     │
│ 2. 传统结构化表格数据 (中大型) ──► 随机森林 / GBDT / XGBoost│
│ 3. 高维稀疏特征 (文本分类)     ──► 线性 SVM / 朴素贝叶斯    │
│ 4. 复杂感知类 (图像/语音/NLP)  ──► 深度神经网络 (DNN/CNN)   │
└─────────────────────────────────────────────────────────────┘

import numpy as np
import pandas as pd
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.tree import DecisionTreeClassifier
from sklearn.ensemble import RandomForestClassifier
from sklearn.svm import SVC
from sklearn.metrics import accuracy_score, f1_score

# 1. 构建模拟业务二分类数据集
X, y = make_classification(n_samples=500, n_features=10, n_informative=6, random_state=42)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=42, stratify=y)

# 2. 定义候选模型矩阵字典
candidate_models = {
    "逻辑回归 (基线模型)": LogisticRegression(),
    "单棵决策树": DecisionTreeClassifier(max_depth=4, random_state=42),
    "支持向量机 (RBF核)": SVC(probability=True, random_state=42),
    "随机森林 (集成模型)": RandomForestClassifier(n_estimators=100, random_state=42)
}

# 3. 自动化批量训练与性能评测
results = []
for name, model in candidate_models.items():
    model.fit(X_train, y_train)
    y_pred = model.predict(X_test)
    acc = accuracy_score(y_test, y_pred)
    f1 = f1_score(y_test, y_pred)
    results.append({"模型名称": name, "准确率 (Accuracy)": f"{acc:.2%}", "F1 分数": f"{f1:.4f}"})

print("=== 1. 多算法候选模型基准评测榜单 ===")
print(pd.DataFrame(results))

2. 模型持久化保存与加载 (joblib)

将评估表现最佳的模型持久化导出为 .joblib 文件，以便线上微服务加载调用。

import joblib
import os

best_model = candidate_models["随机森林 (集成模型)"]
model_file = "best_rf_model.joblib"

# 导出模型
joblib.dump(best_model, model_file)
print(f"\n=== 2. 最优模型已持久化保存至: {model_file} ===")

# 加载模型并测试预测
loaded_model = joblib.load(model_file)
sample_pred = loaded_model.predict(X_test[:2])
print("加载模型对前 2 个样本的预测:", sample_pred)

if os.path.exists(model_file): os.remove(model_file)

📝 动手练一练

1. 概念思考题：在商业项目中，当一个复杂的集成树模型（准确率 88%）与一个简单的逻辑回归模型（准确率 86%）性能非常接近时，为什么很多企业级风控系统最终依然会选择逻辑回归？

   👉 点击查看参考答案

   参考答案： ① 极强的业务可解释性：逻辑回归每个特征对应一个明确的权重系数，能够向客户或监管部门清晰解释为何被拒贷； ② 极高的在线推理性能与低延迟：逻辑回归仅需一次简单的点积运算，计算开销与内存占用远低于数百棵树的集成模型； ③ 维护与排错成本低。

2. 编程练习：使用 Python 字典遍历训练两个模型，并打印各自在测试集上的得分。

   👉 点击查看参考答案

   参考答案：

   from sklearn.linear_model import LogisticRegression
   from sklearn.tree import DecisionTreeClassifier
   models = {'LR': LogisticRegression(), 'DT': DecisionTreeClassifier()}
   for name, m in models.items():
       m.fit([[1], [2], [3], [4]], [0, 0, 1, 1])
       print(name, "Score:", m.score([[1.5], [3.5]], [0, 1]))

本章小结

• 深刻理解了“没有免费午餐”准则与多算法基准横向比对的方法；
• 掌握了构建多模型自动化批量评测流水线的编程范式；
• 学会了使用 joblib 完成工业级模型的序列化落盘与加载上线。

📋 行动清单

• 在本地执行示例代码，观察控制台输出并记录关键指标。
• 做好准备，进入下一小节学习《机器学习基本流程(3)：特征工程与数据预处理全解》！

—— 小象教研组