机器学习建模介绍 (3) -- 聚类

经典回归算法精讲：线性回归 LinearRegression、岭回归 Ridge 与套索回归 Lasso

小象实战讲义 · Python数据分析实战

如果说分类算法解决的是“离散是非判断”，那么回归（Regression） 算法则是为了解决“连续数值度量与趋势预测”（如预测未来房价、气温、销售额、设备剩余使用寿命）。在回归家族中，普通最小二乘法线性回归（OLS Linear Regression） 是最为经典可解释的模型；而为了克服高维特征下的共线性与过拟合缺陷，引入正则化项的 岭回归（Ridge，L2 正则） 与 套索回归（Lasso，L1 正则稀疏化） 则是工业界最为常用的进阶利器。本节我们将深入拆解回归模型的数学推导与参数惩罚机制。

💡 核心导读

• 多元线性回归模型：$y = w_1 x_1 + w_2 x_2 + \dots + w_p x_p + b = \mathbf{w}^T \mathbf{x} + b$。
• 均方误差损失函数（MSE）：$\mathcal{L}${\text{MSE}} = \frac{1}{n} \sum{i=1}^n (y_i - \hat{y}_i)^2。
• 两大正则化回归对比：
  • Ridge 岭回归（L2 正则化）：损失函数添加 $\alpha \sum w_j^2$，使权重整体向 0 收缩变小，抑制模型震荡；
  • Lasso 套索回归（L1 正则化）：损失函数添加 $\alpha \sum |w_j|$，可将不重要特征的权重精确压缩为 0，实现自动化特征选择。

1. 线性回归与 L1/L2 正则化机制解析

正则化项对权重系数的几何约束模型如下：

┌─────────────────────────────────────────────────────────────┐
│                 Ridge (L2) vs Lasso (L1) 核心对比           │
├──────────────────────────────┬──────────────────────────────┤
│ 1. Ridge 岭回归 (L2 范数)    │ 2. Lasso 套索回归 (L1 范数)  │
│ • 惩罚项: + α * Σ(w^2)       │ • 惩罚项: + α * Σ|w|         │
│ • 几何约束: 圆形/超球体      │ • 几何约束: 菱形/多面体棱角  │
│ • 特点: 权重变小但不为 0     │ • 特点: 产生稀疏解 (自动选特征)│
└──────────────────────────────┴──────────────────────────────┘

import numpy as np
import pandas as pd
from sklearn.linear_model import LinearRegression, Ridge, Lasso

# 1. 模拟生成带有 5 个特征的数据集 (其中后 2 个特征是纯噪声)
np.random.seed(42)
n_samples = 60
X = np.random.randn(n_samples, 5)
# 真实规律: y = 3*x0 - 2*x1 + 1.5*x2 + 0*x3 + 0*x4 + 噪声
y = 3.0 * X[:, 0] - 2.0 * X[:, 1] + 1.5 * X[:, 2] + np.random.normal(0, 0.5, n_samples)

# 2. 分别训练普通线性回归、Ridge 与 Lasso
model_ols = LinearRegression().fit(X, y)
model_ridge = Ridge(alpha=1.0).fit(X, y)
model_lasso = Lasso(alpha=0.2).fit(X, y)

print("=== 1. 三种回归模型系数权重对比 ===")
df_coefs = pd.DataFrame({
    "特征项": [f"X{i}" for i in range(5)],
    "真实基准系数": [3.0, -2.0, 1.5, 0.0, 0.0],
    "普通 OLS 系数": model_ols.coef_.round(3),
    "Ridge (L2) 系数": model_ridge.coef_.round(3),
    "Lasso (L1) 系数": model_lasso.coef_.round(3)
})
print(df_coefs)

2. 回归预测与评估指标 MSE/R2 探查

我们对测试集样本进行预测，并使用均方误差（MSE）与判定系数（$R^2$）评估拟合精度。

from sklearn.metrics import mean_squared_error, r2_score

y_pred_ols = model_ols.predict(X)
y_pred_lasso = model_lasso.predict(X)

print("\n=== 2. 模型拟合优度评估 ===")
print(f"• OLS 均方误差 MSE: {mean_squared_error(y, y_pred_ols):.4f} | R2 得分: {r2_score(y, y_pred_ols):.4f}")
print(f"• Lasso 均方误差 MSE: {mean_squared_error(y, y_pred_lasso):.4f} | R2 得分: {r2_score(y, y_pred_lasso):.4f}")
print("• Lasso 成功将噪声特征 X3, X4 权重压缩为 0，实现了特征筛选！")

📝 动手练一练

1. 概念思考题：在面对特征维度 $P$ 远大于样本数量 $N$（超高维稀疏特征，如文本分类）时，为什么 Lasso 回归比普通的 OLS 线性回归表现显著更好？

   👉 点击查看参考答案

   参考答案： 当 $P > N$ 时，普通 OLS 的正规方程矩阵不可逆，会导致严重的模型过拟合与系数爆炸；而 Lasso 引入了 L1 正则化，能够将大量不相关噪声特征的系数精确归零，从而得到一个极其稀疏、稳健且泛化能力强的高可解释性模型。

2. 编程练习：使用 scikit-learn 的 Ridge 回归拟合数据并打印截距项 intercept_。

   👉 点击查看参考答案

   参考答案：

   from sklearn.linear_model import Ridge
   r = Ridge(alpha=0.5).fit([[1], [2], [3]], [2, 4, 6])
   print("截距:", r.intercept_)

本章小结

• 掌握了多元线性回归的最小二乘数学优化原理；
• 深刻理解了 L2 岭回归（收缩系数）与 L1 套索回归（稀疏选特征）的本质差异；
• 熟练运用 MSE 与 $R^2$ 指标精确度量回归模型的拟合精度。

📋 行动清单

• 在本地执行示例代码，观察控制台输出并记录关键指标。
• 做好准备，进入下一小节学习《机器学习常用算法(3)：无监督聚类 K-Means 与肘部法则》！

—— 小象教研组