线性模型：回归与分类的同一副骨架

小象实战讲义 · 机器学习算法精讲

上一章，我们把一棵决策树养成了一片森林：CART、Bagging、Boosting、GBDT，一路走到 XGBoost。今天，classical machine learning models 的行程换一条主线——线性模型。它其实是我们最早认识的老朋友：刚开始学机器学习时举的房价例子就是它，第 4 章的梯度下降也是为它服务的。本节先把”线性模型”这个词彻底说清楚——它的形式、它的记号、以及它同时服务回归与分类两种任务的本事——最后引出一条新路：不用梯度下降，直接把最优参数解出来。这条路叫最小二乘法，下一节正式开工。

💡 核心导读

• 上章回顾：决策树 → CART（classification and regression tree）→ Bagging（代表：随机森林）与 Boosting（代表：AdaBoost）→ Gradient Boosting（以 CART 举例）→ XGBoost 代码。
• 形式与记号：$h_\theta(x) = \theta_0 + \theta_1 x_1 + \dots + \theta_n x_n = \theta^T x$；参数 $\theta \in \mathbb{R}^{n+1}$，靠 $x_0 \equiv 1$ 的约定把偏置 $\theta_0$ 收进内积。
• 一个形式，两种任务：回归——找让所有点到它距离最短的线/面；分类——拿 $W^T X + B = 0$ 当边界，新数据代入看正负。
• 本节主旨：线性模型可以不走梯度下降，用向量的方式直接求解——最小二乘法，一个在统计学和数学上历史悠久的方法。

章首回顾：从决策树家族到线性模型

先用一分钟把上一章串起来。我们从基本的决策树出发，认识了 CART——classification and regression tree，分类与回归树；在 CART 的基础上讲了两大集成思路：Bagging 与 Boosting。Bagging 的代表例子是随机森林（random forest），Boosting 的代表是 AdaBoost。随后讲了什么是 Gradient Boosting，并继续用 CART 作为基学习器举例；最后还给了一份 XGBoost 的代码，鼓励大家课后动手跑一跑、试一试。

今天我们继续 classical machine learning models 的部分，主角换成 linear model——线性模型。

线性模型：我们最早的老朋友

其实我们以前就讲过线性模型。最开始学机器学习时用它举例子，用的正是吴恩达课程开篇的经典场景：想买房子的时候，发现房子有很多不同的特征——房子的大小、里边有多少个房间、甚至花园的面积等等。这些特征值各不相同，而我们想做的事，是在给定所有这些房子特征时，预测房价该是多少。当时我们说，这件事用一个线性模型就可以进行预测（第 4 章有完整的展开）。

线性模型的形式是：

$$h_\theta(x) = \theta_0 + \theta_1 x_1 + \theta_2 x_2 + \dots + \theta_n x_n$$

它就是一个线性的组合。这里的每一个 $x_i$ 本身又是一个高维向量，包含 $x_1, x_2, \dots, x_n$ 这么多个特征分量；每一组输入 $x_i$ 都对应一个目标值 $y_i$。

$\theta$ 怎么读：特征的权重

面对同一个输入 $x$，换一组系数就换一个函数——那么哪一组系数更正确？我们可以给 $\theta$ 不止一种解释，其中最自然的一种：把它看作各特征之间相对的权重。$\theta_1, \theta_2, \dots, \theta_n$ 分别衡量了每个特征对输出的影响程度——哪个特征更重要、往哪个方向拉，读系数就能感知。这也是线性模型作为”基础模型”的第一层含义。

训练数据与参数估计

有了线性模型，接下来的问题就是：怎么从数据里把 $\theta$ 学出来？ 经典的设定是给定训练数据 $D$：

$$(x_1, y_1),\ (x_2, y_2),\ \dots,\ (x_N, y_N)$$

一共 $N$ 组数据。我们要估计的 $\theta$ 本身也是个高维向量：

$$\theta = (\theta_0, \theta_1, \dots, \theta_n) \in \mathbb{R}^{n+1}$$

注意维度是 $n+1$ 而不是 $n$。为什么？关键在 $\theta_0$：它相当于 $f(x) = ax + b$ 里的那个 $b$，不与任何特征相配。为了记号统一，我们约定永远默认有一个 $x_0$，且 $x_0 \equiv 1$——这样 $\theta_0$ 就有了自己的”座位”，$\theta_0$ 也称为线性函数的偏置（bias）。有了这个约定，整个模型可以写成干净的内积形式：

$$h_\theta(x) = \theta^T x$$

求解它，我们已有的工具

给定 $D$ 之后怎么求 $\hat{\theta}$（帽子表示”从数据估计出来的”）？大家应该还记得第 4 章学过的梯度下降：

$$\theta_j \leftarrow \theta_j - \alpha \frac{\partial L(\theta)}{\partial \theta_j}$$

其中 $\alpha$ 是学习速率，$L$ 是损失函数。梯度下降的完整细节——学习速率怎么选、迭代会出什么状况——第 4 章与配套讲义已经写得非常详细，这里不再重复。

不用梯度下降行不行

有的时候，我们其实并不完全需要梯度下降。 把问题写成向量的形式之后，可以直接对整个函数求它的最优解——一步到位地”解”出参数，而不是一步一步迭代逼近它。这就是我们经常所说的最小二乘法——一个从统计学和数学上发展出来、有非常长历史的算法。它凭什么可以跳过迭代？推导过程正是下一节的主角，今天先把方法和线性模型的一些延伸交代清楚。

“线性”到底指什么

说到 linear model，大家要知道它一般主要在讲 linear regression（线性回归）。在统计学里，linear model 这个词出现的最常见场合就是回归模型，甚至经常被当作 linear regression model 的同义词来用。

线性长什么样？在二维空间里，线性就是 $ax + b$——一条直线。到了高维：

$$\theta_0 + \theta_1 x_1 + \theta_2 x_2 + \dots + \theta_n x_n$$

二维空间里线性是一条线；三维空间里它是一个面；四维空间里它是三维空间里的一个面（更高维则统称超平面）。这些形象大家心里要有数。

还有一点要说清楚：“线性”这个词在别的领域有别的含义——控制理论里有线性系统，运筹学里还有线性规划，说的都不是一回事。我们这门课讲的 linear model，特指特征空间里满足 $h_\theta(x) = \theta^T x$ 这种形式的一类函数——满足这个形式的叫线性函数，相应的模型叫线性模型。

一个形式，两种任务

线性模型能干的活不止一件。

用作回归：找最近的面

用线性函数去拟合数据：在所有直线（或高维的面）里，找到离数据”最近”的那一个。以两个特征为例，$h_\theta(x) = \theta_0 + \theta_1 x_1 + \theta_2 x_2$ 在三维空间里就是一个面，模型把这个面描述出来。

而我们真正期望的 $y$ 呢？大家能想象：不可能所有的点都恰好落在这个平面上——若都落在上面，那就是一次完美的回归，现实里不会这么客气。所以我们退而求其次：希望找到一个面，使所有点到这个面的距离总和最短——这个面就是最合适的面。“距离怎么定义、最短怎么求”，正是下一节最小二乘要解决的问题。

用作分类：拿边界线一分为二

线性模型还可以换一种用法：找到一条线性的直线，作为边界，把所有数据分成两部分。分类时习惯上把参数记成大 $W$，边界的方程是：

$$W^T X + B = 0$$

这条线把特征空间一分为二：代入任何点，函数值大于零落在它的一侧，小于零落在另一侧。于是分类的操作非常简单——来了一条新数据 $X$，把它代进这个方程，看结果比零大还是比零小，就完成了判别。线性模型的分类用法（比如本章后面的逻辑回归）都建立在这个边界思想上。

一个形式，两种任务：回归时它是一张拟合面，分类时它是一条分界线——这就是线性模型作为机器学习”骨架”的地位。

📝 动手练一练

1. 记号辨析：特征有 $n$ 维，为什么参数 $\theta \in \mathbb{R}^{n+1}$？$x_0 \equiv 1$ 这个约定解决了什么问题？如果不引入这个约定，模型表达式会变成什么样？

2. 分类边界手算：某线性分类器的边界方程为 $W^T X + B = 0$，其中 $W = (2, 1)$、$B = -4$，即 $2x_1 + x_2 - 4 = 0$。判断以下三个新样本各落在边界的哪一侧：(A) $(2, 1)$；(B) $(1, 0.5)$；(C) $(1.5, 1)$。样本 C 说明什么？

本章小结

• 上章回顾：决策树 → CART → Bagging（随机森林）与 Boosting（AdaBoost）→ Gradient Boosting → XGBoost，集成学习一章收官。
• 线性模型的形式：$h_\theta(x) = \theta^T x$；参数 $\theta \in \mathbb{R}^{n+1}$，靠 $x_0 \equiv 1$ 的约定把偏置 $\theta_0$ 收进内积，$\theta$ 可读作各特征的相对权重。
• “线性”的边界：本课的 linear model 特指特征空间里 $h_\theta(x) = \theta^T x$ 形式的函数类；二维是线、三维是面、更高维是超平面——与控制里的线性系统、运筹里的线性规划不是一回事。
• 一个形式，两种任务：回归时找让所有点到它距离最短的线/面（点不会都落在面上）；分类时拿 $W^T X + B = 0$ 当边界，新数据代入看正负即完成判别。
• 预告：求 $\hat{\theta}$ 不止梯度下降一条路——用向量形式直接求解，就是历史悠久的最小二乘法，下一节完整推导。

📋 行动清单

• 默写线性模型的完整形式，说清 $\theta \in \mathbb{R}^{n+1}$ 与 $x_0 \equiv 1$ 的来龙去脉
• 在纸上画一个二维分类例子：画出边界直线，标出”大于零”与”小于零”两侧，再放三个点（含一个边界上的点）做判别
• 回顾第 4 章梯度下降的更新公式，带着”能不能不迭代、直接解出来”的问题预习下一节《最小二乘》

—— 小象教研组