有监督学习：从房价预测说起

小象实战讲义 · 机器学习算法精讲

前几节课我们打完了数学地基（线性代数、概率统计），也聊透了机器学习的宏观哲学。从本节开始，进入第一个真正的机器学习问题：波特兰的房价预测。讲师在课上说明这个例子借鉴了吴恩达（Andrew Ng）的公开课——英文好的同学可以直接去 follow 原版，会有更多收获。我们将沿着”提出问题 → 统一记号 → 选定最简模型 → 手工试出最优解”的路径，把监督学习第一次完整走通。

💡 核心导读

• 回顾主线：机器学习 = model learning = 在假设空间（hypothesis space）中搜寻最能解释数据的数学模型。
• 第一个问题：波特兰房价——给定历史数据（面积 → 价格），预测新房子的价格。
• 统一记号：训练数据 $D$、上标 $(i)$ 标样本序号（区别于幂）、特征向量 $x$ 与标签 $y$。
• 线性模型：$h_\theta(x) = \theta^T x$——用 $x_0 \equiv 1$ 的小技巧把截距也收进向量形式。
• 手工试解：在 $h=\theta x$ 的最简情形下，靠”试线—看误差—调整”找到完美拟合，体会学习到底在做什么。

机器学习回顾：从哲学到动手

先用几句话把前面的宏观图景串起来。机器学习本质上是 model learning：在一个巨大的假设空间（hypothesis space）里，搜寻能最好地解释已知数据的那个假设——它的表现形式就是一个函数或数学模型。模型经过训练数据的训练之后，就可以用来预测或分类。

问题按范式分四大类，各自特点一句话说清：

• 监督学习：所有数据都有标签；
• 无监督学习：物以类聚、人以群分，看数据自身特点决定聚类；
• 半监督学习：一部分有标签、一部分没有；
• 强化学习：不直接给标签，但每次执行动作后给一个奖赏或惩罚——有点像监督学习，只是”标签”只有奖惩信号（game AI、下棋都属此类）。

为什么要先学线性代数？因为每个数据都要表示成特征向量。为什么要学概率统计？因为研究模型时充满不确定性，概率是最好的建模语言。地基备齐，现在开始砌第一块砖。

第一个机器学习问题：波特兰房价

问题设定（borrowed from 吴恩达的例子）：研究美国城市波特兰（Portland）的房价。给定一组历史数据：横轴 $x$ 是房子的居住面积（living area，美国用平方英尺 square feet 计，咱们中国习惯用平方米），纵轴 $y$ 是价格（以每 1000 美元为单位——西方习惯用”千”，我们习惯说”万”，看到 400 千就是 40 万，熟悉一下这个换算就好）。

把所有已知数据画成散点，它们大致排成一条直线状的带子。现在来了一套新房子，面积 3500 平方英尺——训练数据里没有它。我们想知道：$f(x_0) = ?$，即它的房价该预测为多少？

这就是最典型的一类问题：学一个从输入到输出的关系。既然数据看着像一条直线，那就从最简单的”直线”开始假设。

训练数据与记号

先把记号统一，后面所有算法都沿用：

• 训练数据（training data） 记作 $D$，由 $N$ 对数据组成： $$D = \lbrace (x^{(1)}, y^{(1)}), (x^{(2)}, y^{(2)}), \dots, (x^{(N)}, y^{(N)}) \rbrace$$
• 上标带括号：$x^{(i)}$ 表示第 $i$ 个样本。注意它和 $x^2$（$x$ 的平方）不是一回事——括号是序号，没括号是幂。
• cardinality：描述集合里元素个数的术语——$D$ 的 cardinality 就是 $N$。
• 每个样本的特征 $x^{(i)}$ 是一个 $n$ 维向量（$x^{(i)} \in \mathbb{R}^n$）：第一个维度可以是房子面积，第二个是卧室数，第三个可以是院子大小（当然，美国的例子才有院子——中国的房子一般不带院子卖，讲师原话）。
• 标签 $y^{(i)}$ 一般是一个标量（$y^{(i)} \in \mathbb{R}$），比如价格。

比如”面积 + 卧室数”两个特征的问题：同样面积下，多一个卧室的房子通常更贵——所以特征从一个标量升级为二维向量，模型也随之升维。我们要做的事情始终没变：学习 $x^{(i)} \to y^{(i)}$ 的映射关系，使得用函数 $f$ 表达的对应关系是最好的。这是一个标准的监督学习问题。

线性模型：假设空间的第一个成员

先从最简单的情况开始，假设 $h_\theta(x)$ 是一个线性函数。什么叫线性函数？讲师现场画了一条线考大家：这条线经过 $(0, 2)$ 和 $(1, 0)$ 两个点，方程是什么？

• $x=0$ 时 $y=2$，$x=1$ 时 $y=0$，两点唯一确定一条直线；
• 稍加计算可得：$y = -2x + 2$（验证：$x=0$ 得 $2$；$x=1$ 得 $-2+2=0$）。

用代码把”两点定线”走一遍：

# 两点确定一条直线：讲师课堂例 (0,2) 与 (1,0)
p1 = (0, 2)
p2 = (1, 0)

theta1 = (p2[1] - p1[1]) / (p2[0] - p1[0])  # 斜率 θ1
theta0 = p1[1] - theta1 * p1[0]            # 截距 θ0

print(f"两点 {p1} 与 {p2} 确定的直线：h(x) = {theta1:g}·x + {theta0:g}")
print(f"验证 x=0: h(0) = {theta1 * 0 + theta0:g}（应为 2）")
print(f"验证 x=1: h(1) = {theta1 * 1 + theta0:g}（应为 0）")

两点 (0, 2) 与 (1, 0) 确定的直线：h(x) = -2·x + 2
验证 x=0: h(0) = 2（应为 2）
验证 x=1: h(1) = 0（应为 0）

直线有两个关键参数：斜率 $\theta_1$（例子里的 $-2$）和截距 $\theta_0$（例子里的 $2$）。于是线性模型的一般形式为：

$$h_\theta(x) = \theta_1 x + \theta_0 \quad (\text{就是我们熟悉的 } y = ax + b)$$

向量化：一个技巧统一所有写法

引入一个永远等于 1 的虚拟特征 $x_0 \equiv 1$，模型就能写成规整的对称形式：

$$h_\theta(x) = \theta_1 x_1 + \theta_0 x_0$$

再把参数和特征各自堆成向量 $\theta = (\theta_0, \theta_1)^T$、$x = (x_0, x_1)^T$，线性模型就变成了一个内积：

$$h_\theta(x) = \theta^T x$$

这个写法的推广性极好：两个特征（面积 $x_1$、卧室数 $x_2$）时，$h_\theta(x) = \theta_0 x_0 + \theta_1 x_1 + \theta_2 x_2$ 依然是 $\theta^T x$，只是函数图像从一条线变成三维空间里的一张面；特征继续加，无非维数继续涨。一般地，$n$ 个特征时 $\theta \in \mathbb{R}^{n+1}$、$x \in \mathbb{R}^{n+1}$——多出来的那一维，就是 $x_0=1$ 这个”截距占位”。

最简情形：一条过原点的直线怎么”调”出来

一切从最简单的开始。令 $\theta_0 = 0$，假设退化为最简形式 $h_\theta(x) = \theta x$——一条必须过原点的直线，$\theta$ 一变，直线就绕着原点转。

讲师给了三个训练点：$D = \lbrace (1,1), (2,2), (3,3) \rbrace$（输入 1 输出 1，输入 2 输出 2，输入 3 输出 3）。现在要学出最好的 $\theta$。

试线的过程：

1. 先试 $\theta = \frac{1}{2}$，即 $y = 0.5x$——三个点都不在线上，误差不小；
2. 再试一条更歪的——误差反而更大，方向不对，继续调；
3. 调到 $\theta = 1$，即 $y = x$——三个点全部落在线上，完美。

用代码复现这个”试线—看误差”的过程：

# 训练数据 D = {(1,1), (2,2), (3,3)}，假设 h(x) = θx（过原点的直线）
D = [(1, 1), (2, 2), (3, 3)]

def h(theta, x):
    """最简线性假设：h(x) = θx"""
    return theta * x

for theta in [0.5, 0.8, 1.0]:
    preds = [round(h(theta, x), 6) for x, _ in D]
    errors = [round(h(theta, x) - y, 6) for x, y in D]
    print(f"θ = {theta}: 预测 {preds}，误差 {errors}")

θ = 0.5: 预测 [0.5, 1.0, 1.5]，误差 [-0.5, -1.0, -1.5]
θ = 0.8: 预测 [0.8, 1.6, 2.4]，误差 [-0.2, -0.4, -0.6]
θ = 1.0: 预测 [1.0, 2.0, 3.0]，误差 [0.0, 0.0, 0.0]

可以看到：$\theta$ 从 0.5 调到 0.8，误差整体缩小；调到 1.0，误差全部归零。所谓”学习”，就是这样一个不断调整参数、让假设越来越贴合数据的过程——我们最终需要的，是让所有点到这条线的距离（误差）最短，让假设能尽可能完美地解释数据。

📝 动手练一练

1. 两点定线：给定训练点 $(0, 1)$ 与 $(2, 5)$，求出它们确定的线性模型 $h(x) = \theta_1 x + \theta_0$，并验证两点都在线上。

2. 试线与误差：换一组数据 $D = \lbrace (1,2), (2,4), (3,6) \rbrace$（即 $y = 2x$ 的点），假设仍为 $h(x) = \theta x$。分别取 $\theta = 1$ 和 $\theta = 2$，逐点计算误差 $h(x) - y$。哪个 $\theta$ 更好？由此体会”调参”在干什么。

本章小结

• 机器学习 = 在假设空间里搜寻最好解释数据的模型；监督学习 = 所有样本都有标签 $(x^{(i)}, y^{(i)})$。
• 波特兰房价是第一个完整走通的监督学习问题：预测 3500 平方英尺新房子的价格。
• 记号是全课程的通用语言：$D$ 有 $N$ 对数据（cardinality 为 $N$），$x^{(i)}$ 是 $n$ 维特征向量，上标括号区分序号与幂。
• 线性模型 $h_\theta(x) = \theta_0 + \theta_1 x$ 借 $x_0 \equiv 1$ 的小技巧统一为 $h_\theta(x) = \theta^T x$，天然支持任意多维特征。
• 在 $h=\theta x$ 的最简情形下，“试线—看误差—调整”就是学习的雏形：$\theta=1$ 让 $(1,1),(2,2),(3,3)$ 全部零误差。

📋 行动清单

• 用自己的话解释 $x^{(2)}$ 与 $x^2$ 的区别，以及 $x_0 \equiv 1$ 这个”占位特征”为什么能统一线性模型的写法
• 手算两点定线：任取两个点，求出 $h(x)$，再代入验证
• 预习下一节：把”误差大小”写成一个严格的函数需要什么要素？（提示：正负号怎么处理、多个样本的误差怎么合并）

—— 小象教研组