损失函数

小象实战讲义 · 机器学习算法精讲

上一节结尾我们留了一个问题：把”误差大小”写成一个严格的数学函数，需要什么要素？——正负号怎么处理、多个样本的误差怎么合并？本节就来兑现这个预告，正式引入损失函数（Loss Function，也常叫 cost function，代价函数）：它是衡量模型好坏的”评分员”，把”找一条好的拟合线”这个模糊愿望，精确转化为”最小化一个关于参数的函数”。我们仍然从那个最简单的三点例子出发。

💡 核心导读

• 为什么需要损失函数：计算机没有眼睛，判断模型好坏需要明确的、可计算的指标。
• 平方误差的构造：正负误差用平方统一处理，多样本误差求和取均值——两个构造要素一次讲清。
• 手算三个 θ：亲手算出 J(0.5)=7/12、J(0)=7/3、J(1)=0，感受损失随参数的变化。
• 碗形曲线：J(θ) 是一只开口向上的”碗”，碗底就是最优参数——这正是下一节梯度下降的舞台。

从”眼睛看”到”算得出”：为什么需要损失函数

先别忘了：我们手里这个三点例子，是被简化到极致的玩具。真实的数据经常是这样的——最完美的那条线既不通过原点，也不太可能把所有点都连成一条直线。我们能追求的，是找到一条线，使所有点到它的误差最小——这就是我们的学习目标。但讲师选择从这个最简单的问题出发，看能不能找到更好的结果。

回顾上一节的设定：三个训练点 $(1,1)$、$(2,2)$、$(3,3)$，假设函数取最简形式 $h_\theta(x) = \theta x$（暂不学截距，只学一个参数 $\theta$）。我们试过三条线：

1. $\theta = 1$：绿色直线 $h_\theta(x) = x$；
2. $\theta = 0.5$：橘黄色直线 $h_\theta(x) = 0.5x$；
3. $\theta = 0$：紫色直线 $h_\theta(x) = 0$，其实就是横轴。

眼睛一看就知道绿色的最好。但计算机没有眼睛——它需要一个明确的、可计算的指标来判断好坏。这个指标，就是损失函数。

构造损失函数：把”误差大小”写成一个严格的函数

好的线是什么？上一节说过：所有的点到这条线的距离最短。麻烦在于，有的点在线上方、有的在线下方——误差有正有负，直接相加会互相抵消。所以求这个”距离”的时候，要么用绝对值，要么用平方。本课选择平方，于是有了下面的构造：

$$J(\theta) = \frac{1}{2N} \sum_{i=1}^{N} \left( h_\theta(x^{(i)}) - y^{(i)} \right)^2$$

其中 $N$ 是训练样本数（本例 $N=3$），$h_\theta(x^{(i)})$ 是模型对第 $i$ 个样本的预测值，$y^{(i)}$ 是真实值。它做的事直白得很：把每个点到当前直线的距离平方加起来，再取均值（把误差平方求和再平均，正是大家常说的均方误差 MSE 一族；本课在它前面再乘了 $\frac{1}{2}$）。

损失函数的意义在于它的操作语义：我们调整 hypothesis 里的参数，每调一次，都希望 $J$ 变小——这样就知道 $\theta$ 该往哪个方向调。换句话说，我们给 $\theta$ 设定了一个目标，而这个目标一定是关于 $\theta$ 的函数。$\theta$ 等于多少的时候最好？等于 $J(\theta)$ 最小的时候。

那个 1/2 是干什么的

为什么均值前面还挂一个 $\frac{1}{2}$？这是故意构造的：整个函数的大小不会因为乘一个常数而变化，而带着 $\frac{1}{2}$，以后对平方项求导时，2 和 $\frac{1}{2}$ 恰好约掉，梯度表达式更干净。用讲师的原话说：for mathematical convenience——纯粹为了数学上的方便。

顺带一提：有的人构造的损失函数就是直接把 $(h_\theta(x^{(i)}) - y^{(i)})^2$ 累加，不带 $\frac{1}{2N}$——本质上没有任何区别，都是求误差最小；本课采用这个形式，是因为它”特别好看和漂亮，用起来特别方便”。

手算三个 θ：损失到底差多少

现在回到三条线，把 $J(\theta)$ 一个个算出来。

情况一：$\theta = 0.5$（橘黄色直线）。逐点代入：$x=1$ 时 $h=0.5$，误差 $0.5-1=-\frac{1}{2}$；$x=2$ 时 $h=1$，误差 $-1$；$x=3$ 时 $h=1.5$，误差 $-\frac{3}{2}$。于是

$$J(0.5) = \frac{1}{2 \times 3}\left[ \left(\tfrac{1}{2}\right)^2 + 1^2 + \left(\tfrac{3}{2}\right)^2 \right] = \frac{1}{6}\left( \tfrac{1}{4} + 1 + \tfrac{9}{4} \right) = \frac{1}{6} \times \frac{7}{2} = \frac{7}{12} \approx 0.5833$$

（较真的同学会问：误差是 $h-y$ 还是 $y-h$？无所谓——平方会把正负号消掉，两者殊途同归。）

情况二：$\theta = 0$（紫色直线，横轴）。三个误差是 $-1$、$-2$、$-3$：

$$J(0) = \frac{1}{2 \times 3}\left( 1^2 + 2^2 + 3^2 \right) = \frac{1}{6} \times 14 = \frac{7}{3} \approx 2.3333$$

情况三：$\theta = 1$（绿色直线）。三个误差全是 0，所以 $J(1) = 0$——而且说句实话，这是碰巧（accidentally）：这个被给定的简单问题，竟然所有的点都正好落在 $y=x$ 上。真实数据不会这么客气。

三个数一摆，好坏立判：$J(0) = 2.3333 > J(0.5) = 0.5833 > J(1) = 0$。

碗形曲线：J(θ) 长什么样

现在换个视角：把 $\theta$ 当自变量、$J(\theta)$ 当因变量，我们已经知道曲线上的三个点——$\theta=1$ 时 $J=0$；$\theta=0.5$ 时 $J=\frac{7}{12}$（比 0.5 略大一点的位置）；$\theta=0$ 时 $J=\frac{7}{3}$（二点多的位置）。把整条曲线画出来，它是一只开口向上的碗（bowl shape）——讲师形容它”像一个碗、或者一条船”，有一个最低点。碗底就在 $\theta = 1$：最好的 $\theta$，就是让损失函数最小的 $\theta$，记作 $\theta^* = \arg\min_\theta J(\theta)$。用代码把这只碗亲眼看一遍，顺便对账刚才的三个手算值：

# 把 J(θ) 的"碗"亲眼看一遍：先对账三个手算值，再扫描不同的 θ
data = [(1, 1), (2, 2), (3, 3)]

def cost(theta):
    """本节的损失函数 J(θ) = 1/(2N) * Σ(h(x) - y)^2，其中 h(x) = θx"""
    total = 0.0
    for x, y in data:
        h = theta * x
        total += (h - y) ** 2
    return total / (2 * len(data))

print(f"J(0.5) = {cost(0.5):.4f}   # 手算 7/12 ≈ 0.5833")
print(f"J(0.0) = {cost(0.0):.4f}   # 手算 7/3 ≈ 2.3333")
print(f"J(1.0) = {cost(1.0):.4f}   # 手算 0")
print()
print("theta | J(theta)")
print("-" * 22)
for t in [0.0, 0.25, 0.5, 0.75, 1.0, 1.25, 1.5]:
    print(f" {t:4.2f} | {cost(t):.4f}")

J(0.5) = 0.5833   # 手算 7/12 ≈ 0.5833
J(0.0) = 2.3333   # 手算 7/3 ≈ 2.3333
J(1.0) = 0.0000   # 手算 0

theta | J(theta)
----------------------
 0.00 | 2.3333
 0.25 | 1.3125
 0.50 | 0.5833
 0.75 | 0.1458
 1.00 | 0.0000
 1.25 | 0.1458
 1.50 | 0.5833

扫描表里有两处耐人寻味。其一，$J$ 从两侧向 $\theta=1$ 一路下滑、在碗底归零——这只碗其实还有个看得见的结构：误差恰好是 $x^{(i)}(\theta-1)$，所以 $J(\theta) = \frac{1+4+9}{6}(\theta-1)^2 = \frac{7}{3}(\theta-1)^2$，单参数的碗就是一条抛物线。其二，$\theta=0.5$ 与 $\theta=1.5$ 的损失同为 $\frac{7}{12}$、$0.75$ 与 $1.25$ 同为 $0.1458$——离碗底等距的两侧，损失相同。

这只碗正是第 1 章我们亲手验证过的凸函数：没有局部坑洼，只要往低处走，就一定能走到全局最低点。也呼应上一章”在假设空间里搜索”的说法——现在搜索有了评分标准：在假设空间中，找使损失函数最小的那个参数。

不过，刚才的一切都只是”随机代几个值进去试”。真实的模型参数动辄成千上万，靠枚举不可能找到碗底。我们需要一套完整的算法：从随机给定的 $\theta$ 出发，一步步走到最优点。这套算法就叫梯度下降（Gradient Descent）——下一节的主角。

📝 动手练一练

1. 概念辨析：如果把损失函数定义中的 $\frac{1}{2N}$ 改成 $\frac{1}{N}$，即 $J'(\theta) = \frac{1}{N} \sum_{i=1}^{N} (h_\theta(x^{(i)}) - y^{(i)})^2$，那么对同一个 $\theta$，$J'(\theta)$ 和 $J(\theta)$ 是什么关系？这会影响我们找到的最优参数 $\theta^*$ 吗？为什么？

2. 动手计算：假设训练数据变为 $(1,2)$、$(2,3)$、$(3,5)$，假设函数仍为 $h_\theta(x) = \theta x$。请手算 $\theta = 1$ 和 $\theta = 1.5$ 对应的损失函数值（用讲义中的定义）。哪个 θ 在这个小数据集上损失更小？

本章小结

本节我们把上一节”试线靠手感”的直觉，升级成了一个严格的数学对象：损失函数 $J(\theta) = \frac{1}{2N}\sum(h_\theta(x^{(i)}) - y^{(i)})^2$。它用平方统一了误差的正负号，用求和取均值合并了多个样本，用 $\frac{1}{2}$ 为将来求导留了方便。手算三个 θ 让我们看到损失如何随参数变化，而它呈现的碗形（凸性）保证了”往低处走就能到最低点”。找碗底的系统方法——梯度下降，就是下一节的内容。

📋 行动清单

学完本节，你可以立即：

• 复述要素：不看讲义，说出损失函数定义里每一部分（平方、求和、均值、1/2）分别解决什么问题。
• 换数据再算：自己编三个数据点，手算两个不同 θ 的损失，体会”评分员”怎么打分。
• 预习下一节：站在碗边想一个问题——不知道碗在哪、也画不出整只碗时，怎么找到碗底？（提示：脚下的坡度。）

—— 小象教研组