机器学习建模介绍 (2) -- 回归

经典分类算法精讲：逻辑回归 LogisticRegression、决策树 DecisionTree 与支持向量机 SVM

小象实战讲义 · Python数据分析实战

在监督学习中，分类（Classification） 是应用最为普遍的业务任务。从垃圾邮件拦截、疾病诊断、人脸识别到违约风控，分类算法的目标是根据输入特征在特征空间中构建最优决策边界（Decision Boundary），将不同类别的样本清晰隔离开来。本节我们将深入剖析三大基石分类算法：基于概率 Sigmoid 映射的 逻辑回归（Logistic Regression）、基于信息增益树状规则的 决策树（Decision Tree），以及基于最大间隔超平面的 支持向量机（SVM）。

💡 核心导读

• 三大经典分类算法核心原理：
  • 逻辑回归（Logistic Regression）：线性加权输入通过 Sigmoid 函数映射为 $[0, 1]$ 概率值；
  • 决策树（Decision Tree）：基于信息熵（Entropy）或基尼不纯度（Gini）递归构建 if-else 分裂节点；
  • 支持向量机（SVM）：寻找距离两类支持向量样本几何间隔（Margin）最大的最优分离超平面。
• Sigmoid 激活函数数学公式：$\sigma(z) = \frac{1}{1 + e^{-z}}$。
• 多分类决策边界可视化与概率输出。

1. 逻辑回归与决策树算法原理拆解

算法的决策边界形态对比如下：

┌─────────────────────────────────────────────────────────────┐
│                 经典分类算法决策边界拓扑                    │
├──────────────────────────────┬──────────────────────────────┤
│ 1. 逻辑回归 (Logistic)       │ 2. 决策树 (Decision Tree)    │
│ • 平滑线性决策边界           │ • 正交轴平行的阶梯状边界     │
│ • 输出可解释的概率数值       │ • 白盒规则，天然支持非线性   │
└──────────────────────────────┴──────────────────────────────┘

💡 决策树的数学本质：Entropy 与 Gini。 决策树在每个节点如何选择”最优分裂特征”？核心是不纯度指标：

• 信息熵 Entropy：$H(S) = -\sum_{i=1}^{c} p_i \log_2 p_i$，其中 $p_i$ 为第 $i$ 类样本占比，$c$ 为类别总数。熵越大，节点内样本越混乱。
• 基尼不纯度 Gini Impurity：$\mathrm{Gini}(S) = 1 - \sum_{i=1}^{c} p_i^2$。Gini 越小，节点越”纯”。

ID3/C4.5 算法通过最大化信息增益（分裂前后熵之差）选择分裂特征；sklearn 默认 criterion='gini'，通过最小化 Gini 不纯度生长树。两者在工程实践中效果接近，通常保持默认即可。

import numpy as np
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.tree import DecisionTreeClassifier

# 1. 构建二分类考试通过预测数据集 (特征: 出勤率, 期中成绩)
X_train = np.array([
    [0.9, 85], [0.8, 78], [0.95, 92], [0.7, 65],  # 类别 1: 通过
    [0.4, 45], [0.5, 52], [0.3, 38], [0.6, 48]    # 类别 0: 未通过
])
y_train = np.array([1, 1, 1, 1, 0, 0, 0, 0])

# 2. 训练逻辑回归分类器
clf_lr = LogisticRegression()
clf_lr.fit(X_train, y_train)

# 3. 训练决策树分类器
clf_dt = DecisionTreeClassifier(max_depth=2, random_state=42)
clf_dt.fit(X_train, y_train)

print("=== 1. 分类模型训练成功 ===")
print("• 逻辑回归模型权重 w:", clf_lr.coef_, "截距 b:", clf_lr.intercept_)

2. 模型预测类别与后验概率评估

分类模型不仅能输出预测类别标签（predict），还能输出置信概率值（predict_proba）。

# 4. 对两位新学生进行预测
X_new = np.array([
    [0.85, 80],  # 应该通过
    [0.45, 50]   # 应该未通过
])

# 逻辑回归预测类别与概率
pred_lr = clf_lr.predict(X_new)
proba_lr = clf_lr.predict_proba(X_new)

print("=== 2. 逻辑回归预测结果 ===")
for idx, (p, prob) in enumerate(zip(pred_lr, proba_lr)):
    status = "通过 (Pass)" if p == 1 else "未通过 (Fail)"
    print(f"• 学生 {idx+1}: 预测结果 = {status} | 预测通过概率 = {prob[1]:.2%}")

3. K 近邻算法（KNN）简介：最直觉的分类方法

KNN 的思路极其朴素——物以类聚，人以群分。新样本到来时，算法在特征空间里找到与它距离最近的 $K$ 个训练样本，由这 $K$ 个”邻居”投票决定其类别归属。KNN 没有显式的训练过程（惰性学习 Lazy Learning），但预测时需计算与全部训练样本的距离，数据量大时开销显著。

关键超参数 n_neighbors（邻居数 $K$）：$K$ 太小对噪声敏感、易过拟合；$K$ 太大则类别被”稀释”、易欠拟合。实践中常取奇数以避免平票，并通过交叉验证调优。

from sklearn.neighbors import KNeighborsClassifier
knn = KNeighborsClassifier(n_neighbors=5)
knn.fit(X_train_scaled, y_train)
print(f"KNN (K=5) 测试集准确率: {knn.score(X_test_scaled, y_test):.4f}")

工程实践提示：KNN 基于距离度量，对特征尺度极度敏感——必须先做标准化/归一化，与本节前面逻辑回归使用 StandardScaler 的预处理要求完全一致。

📝 动手练一练

1. 概念思考题：虽然逻辑回归名字叫“回归”，为什么它本质上却是一个“分类”算法？

   👉 点击查看参考答案

   参考答案： 逻辑回归内部首先计算线性回归加权和 $z = w^T x + b$，但紧接着使用 Sigmoid 函数 将连续实数 $z$ 压缩映射为 $(0, 1)$ 之间的概率值，并通过设定阈值（默认 0.5）最终输出离散的分类标签（0 或 1），因此本质属于分类算法。

2. 编程练习：使用 scikit-learn 的 LogisticRegression 对特征 X = [[1], [2], [10], [20]] 和标签 y = [0, 0, 1, 1] 进行拟合与预测。

   👉 点击查看参考答案

   参考答案：

   from sklearn.linear_model import LogisticRegression
   clf = LogisticRegression().fit([[1], [2], [10], [20]], [0, 0, 1, 1])
   print("预测结果:", clf.predict([[1.5], [15]]))

本章小结

• 深入掌握了逻辑回归（Sigmoid）、决策树与 SVM 的分类决策机理；
• 学会了区分硬分类标签（predict）与后验软概率（predict_proba）；
• 理解了特征空间中线性与非线性决策边界的数学构建逻辑。

📋 行动清单

• 在本地执行示例代码，观察控制台输出并记录关键指标。
• 做好准备，进入下一小节学习《机器学习常用算法(2)：连续回归预测与正则化》！

—— 小象教研组