隐含变量和概率模型：给看不见的原因建模

小象实战讲义 · 机器学习算法精讲

上一节立好了概率观——概率是对不确定性的度量，贝叶斯公式用证据更新信念。这一节开始搭建统计学习的工具箱：先把「学习」这个动作从函数拟合改写成概率估计，复习参数模型、极大似然、朴素贝叶斯这几件旧武器，然后引入本节的主角——隐含变量：那些与数据相关、却观察不到的「原因」。最后用讲师「特别喜欢」的三硬币问题，把隐含变量模型的全部要素装进一个最小的舞台。

💡 核心导读

• 从函数到概率：机器学习问题不再是找 $f(x_i) \approx y_i$，而是估计 $P(y_i|x_i)$——整个问题变成一个估计问题。
• 参数模型与极大似然：假设数据服从某种带参数的分布（如正态 $N(\mu, \sigma^2)$），用极大似然（连乘取 log、爬到等高线的顶点）估出参数。
• 隐含变量：观测不到的 $Z$ 与 $X$ 相关时，$P(X) = \sum_Z P(X|Z)P(Z)$——把对 $P(X)$ 的建模，转成对 $P(X|Z)$ 与 $P(Z)$ 的建模。
• 生成式模型的哲学：模型是我们对「数据为什么会产生」的一种假设和假想——先设想背后的机理，再用数据反估机理的参数。
• 三硬币问题：A 决定用 B 还是 C，但我们只看得到最终的正反面——一个「既简洁又清晰」的隐含变量完整样本。

从函数拟合到概率估计

先做一次全面的复习（讲师：有了前面这些知识，就可以讲概率方向的统计模型了）。

以前我们拿到训练数据 $d = \lbrace (x_1, y_1), (x_2, y_2), \dots, (x_N, y_N)\rbrace$，学的是函数关系：找一个 $f$，使得给定了 $x_i$，它得到 $y_i$。

但在生成式模型（generative model）、也就是统计学习模型里，我们要学的事情换了：想知道给定 $x_i$ 时，它等于 $y_i$ 的概率有多大——估计 $P(y_i|x_i)$。以二分类为例，$y_i \in \lbrace 0, 1\rbrace$：

• 想算 $P(y=0|x_i)$——给定 $x_i$，它等于 0 的概率是多大；
• 相应地，$P(y=1|x_i) = 1 - P(y=0|x_i)$。

如果 $y_i$ 不是 0、1，而是别的离散值，思路一样——都是去算概率的值。整个机器学习的问题，就变成了一种估计问题。

参数模型与极大似然

给定很多数据 $x_i$ 的时候，我们经常做一个假设：数据服从某种分布——而这个分布，代表着这批数据最重要的特征。比如给定的一些数据，也许可以假设是通过一个正态分布生成的。于是经常要做的事情，就是估计这些正态分布的参数。这种「假设数据来自某个参数化分布」的方法，以前起过一个名字：参数模型（Parametric Model）。

我们观察到了很多数据，想知道参数 $\mu$ 和 $\sigma$ 的估计等于多少——这时候就去求极大似然。给定 $\mu$ 和 $\sigma$，每个数据出现的概率可以由概率密度函数描述，$i$ 从 1 到 $N$ 个数据，极大似然就是它们的连乘：

$$L(\mu, \sigma) = \prod_{i=1}^{N} p(x_i \mid \mu, \sigma)$$

连乘不太好求，所以经常做的是 log 极大似然——把连乘变成连加：

$$\ell(\mu, \sigma) = \sum_{i=1}^{N} \log p(x_i \mid \mu, \sigma)$$

这个 $\ell$ 是关于 $\mu$ 和 $\sigma$ 的函数（$x_i$ 都是给定的训练数据）。不断调整 $\mu$ 和 $\sigma$，就可以把它画成一片「地形」：以 $\mu$、$\sigma$ 为两个坐标轴画出等高线（contour）。我们想取它的极值——比如最高处那一点 $(\mu^*, \sigma^*)$，就是最优的值：因为无论取到什么其他的 $\mu$ 和 $\sigma$，那一点肯定都比它低。通过极大似然，就能求出最好的参数估计（第 8 章《极大似然》做过完整推导，这里是它在分布参数上的直接复用）。

两件旧武器：朴素贝叶斯与条件独立

进入新模型前，再复习两件事。

朴素贝叶斯。做分类的时候，给定一个 $X$，想推断类别 $C$（比如一类、二类的二分类），通过贝叶斯公式：

$$P(C|X) = \frac{P(X|C)P(C)}{P(X)} \propto P(X|C)P(C)$$

别忘了 $X$ 是高维向量（$x_i \in R^n$），所以 $P(X|C)$ 还要按维度拆开连乘（维度用 $j$ 表示，$j = 1 \dots n$）。上下同除 $P(X)$ 之后正比于连乘形式——分母上的 $P(X)$ 当成归一化常数，直接忽略掉（第 5 章的老操作）。

条件独立。如果一个变量 $X$ 的每一个维度都相互独立——记作 $x_i \perp x_j$（$i \ne j$，第 2 章「独立性」一节引入的记号）——那么它的联合概率就等于各维度的乘积：

$$P(X) = P(x_1, x_2, \dots, x_n) = \prod_{j=1}^{n} P(x_j)$$

任何两个特征之间都认为独立时，联合概率才能写成这种连乘的形式。这些全部是我们已经学过的东西——「大家如果忘记了，一定要复习一下」。

隐含变量：把看不见的原因加进模型

现在考虑一种更普遍的建模思路：X 与一个观察不到的 Z 相关。

想知道 $P(X)$ 的概率时，如果 $X$ 跟一个观察不到的变量 $Z$ 有关系，可以把 $Z$ 的所有可能取值连加进去：

$$P(X) = \sum_{Z} P(X, Z)$$

这就是边缘概率：想知道 $X$、$Z$ 的联合概率，再把这个联合概率沿着 $Z$ 的维度连加。几何直觉（讲师的板书）：把 $X$、$Z$ 想成两个坐标轴——把 $Z$ 轴方向上的所有取值都叠加、压到 $X$ 这条轴上，就变成了关于 $X$ 的概率。

而 $X$ 跟 $Z$ 之间有关系（图上画一个箭头）的时候，联合概率可以拆开，得到那个「大家一定要确定是正确的」形式：

$$P(X) = \sum_{Z} P(X|Z)\,P(Z)$$

• $X$ 是可以观察到的量，$Z$ 是隐含变量、不能直接观察到；
• $P(X|Z)$：知道 $x$ 跟 $z$ 之间的关系时，这个概率是可以求出来的；
• $P(Z)$：可以假设 $Z$ 服从某种先验分布——比如正态分布、或者均匀分布。

这么变换的目的：当 $P(X|Z)$ 能算出来、$P(Z)$ 又有假设时，对 $X$ 的概率的估计就会更复杂、考虑到更多的情况——模型也就更有表达力。

掷硬币的例子：机理是一种假设

举个例子。$X$ 是掷硬币这么一个情况：随机变量，取值 $H$（head，正面）或者 $T$（tail，反面）。

最简单的看法：$P(X)$ 就是关于正面反面的一个分布，正面 0.5、反面 0.5。但也可以假设一个隐含变量 $Z$——也许掷硬币的结果，跟掷出来的高度相关。那么：

• 用 $P(X|Z)$ 刻画高度和结果之间的关系；
• 再假设 $Z$ 服从某种分布——这种情况下，对 $X$ 的估计可能会更准确一些。

对比一下两种做法。如果我们只有 $x_1, x_2, \dots, x_N$ 这 $N$ 次观测、不考虑任何隐含变量，那么 $P(H)$ 的估计就是频率：

$$\hat{P}(H) = \frac{1}{N}\sum_{i=1}^{N} \mathbb{1}[x_i = H]$$

（$N$ 里边有多少个 $H$，一数便知。）而如果知道跟高度有关，关键就看 $P(X, Z)$ 能不能刻画出来——通过这个模型，也许会把 $P(H)$ 估计得更好。

这个例子想说的其实是：生活中很多复杂的现象，你怎么看它，取决于你怎么假设它。掷硬币可以认为就是 0.5、0.5 的随机；也可以认为跟高度有关、跟角度有关、跟其他什么情况有关。我们都是在假设和假想——假想你看到的这些数据背后发生的机理：

有了这个机理，知道了数据为什么会产生，回过头来，再用看到的数据去估计「使它产生的机制」的参数。这就是生成式模型（generative model）：它实际上是我们在对事件的发生做一种假设。扔硬币的真实因素也许非常多、甚至永远不可知——但我们希望把模型建出来，假设这些数据为什么会出来。

掷硬币的分布：伯努利与二项式

接着问一个基础问题：掷一次硬币，$P(X)$（分成 $H$、$T$ 两类）服从什么分布？——伯努利分布（Bernoulli distribution），一个离散的二值分布（binary distribution）。如果硬币的参数是 $\theta$，它可以写成：

$$P(X=x) = \theta^{x}(1-\theta)^{1-x}$$

正面反面是二值问题、不好计算，所以我们把它认作 0 或者 1（本质一样）。代进去验证一遍：

• $X = 0$：$\theta^0 = 1$（任何数的 0 次幂都为 1），得到 $1 - \theta$；
• $X = 1$：$(1-\theta)^0 = 1$，得到 $\theta$。

正好符合描述：等于 1 时概率为 $\theta$，等于 0 时概率为 $1 - \theta$。伯努利分布最重要的参数就是 $\theta$——它表示 $x = 1$（正面）的概率。（有的同学纠结为什么有的是 0 有的是 1——这是你自己定义的：可以让 $H$ 是 1、也可以让 $H$ 是 0，总之一个对应 $\theta$、一个对应 $1 - \theta$，不用纠结。）

如果每一次掷硬币是伯努利分布，那么掷了 $n$ 次、想有 $k$ 次正面（toss the coin $n$ times, $k$ heads），就是一个二项式分布：$n$ 里边取 $k$ 次的组合，乘上 $\theta$ 的 $k$ 次幂、$(1-\theta)$ 的 $n-k$ 次幂：

$$P(X=k) = \binom{n}{k}\, \theta^{k}(1-\theta)^{n-k}$$

（讲师板书时先把指数写岔了、当场纠正——最终就是上面这个干净形式：正面 $k$ 次、反面 $n-k$ 次，组合数来自「$n$ 里边取 $k$」。）

熟悉了这些，就可以考虑今天稍复杂的问题了。

三硬币问题：隐含变量的完整舞台

先把记号换一下：硬币的输出记作 $y$——$y_1, y_2, \dots, y_N$，每个 $y_i \in \lbrace 0, 1\rbrace$，代表掷了一连串硬币。单枚硬币的情形，$P(y=1)$ 的估计我们是会的：

$$\hat{P}(y=1) = \frac{1}{N}\sum_{i=1}^{N} \mathbb{1}[y_i = 1]$$

数一数 1 的个数、比上总数，就可以了。但现在的问题比这复杂得多。

假设有三枚硬币：

• 硬币 A，参数 $\pi$——它掷出正面的概率；
• 硬币 B，参数 $p$；
• 硬币 C，参数 $q$。

三枚硬币掷出正面的概率都不一样（反面自然也不同）。想象一个很复杂的生成过程（process）：每次想要一个结果，不是直接掷一枚硬币，而是——

1. 先掷硬币 A；
2. 如果 A 是正面（等于 1），就掷硬币 B，把 B 的结果（H 或 T）记下来（H 记作 1）；
3. 如果 A 是反面（等于 0），就掷硬币 C，把 C 的结果记下来。

不断重复这样的实验，就得到一长串 $y_1, y_2, \dots, y_N$——比如 $0, 1, 1, 0, 0, 0, \dots$ 这样的序列（课件页上写着一串：HTHHTTHHTHTHTTTHTHTTH……HT?）。但这里边的正面和反面，我们并不知道是哪枚硬币掷出来的。

假设给了这样一串数据，想知道下一个数据是正面还是反面的概率有多大——怎么估计？你会发现，这个系统远比想象的复杂：

• 如果只有一枚硬币，数一数 1 的个数、比上总数就行；
• 现在系统的生成过程有三个参数：由 A 决定掷 B 还是 C，再由 B 或 C 各自的 $p$、$q$ 掷出结果——中间那一层（A 的正反面）看不见。

一个能帮你看清困难的假设实验（课件笔记的画法）：如果我们知道每个结果来自哪枚硬币——把硬币 B 掷出的结果标成红色、硬币 C 的标成绿色——那问题立刻退化：红色的一堆数频率是 $p$、绿色的一堆数频率是 $q$、A 的正反面比例是 $\pi$，三个参数直接就估出来了。难就难在这一层看不见：A 的每次结果，正是这个问题的隐含变量。

讲师对它的评价：「这是一个我特别喜欢的、既简洁又清晰的问题。」通过它，我们就能了解怎么做隐含变量、怎么做概率模型——以及，通过一个什么样的算法去做这件事情。这正是下一节《EM 算法》要回答的问题。

📝 动手练一练

1. 概念辨析：在统计学习的生成式模型视角下，学习的目标是什么？与之前学习的逻辑回归、SVM 等判别式方法的目标，根本区别在哪？

2. 单硬币的极大似然：先解决「不含隐含变量」的版本——观测到 10 次投掷结果 $Y = [1,0,1,1,0,1,0,0,1,1]$（1 为正面）。用极大似然估计正面概率 $\theta$，并推导 MLE 的通用形式。

import math

# 观测数据: 1 为正面
Y = [1, 0, 1, 1, 0, 1, 0, 0, 1, 1]
N = len(Y)

# 极大似然估计: 正面频率
theta_mle = sum(Y) / N
print(f"硬币正面朝上的概率的MLE估计值: {theta_mle:.2f}")

# 对数似然函数(含数值保护, 防止 log(0))
def log_likelihood(theta, data):
    eps = 1e-10
    theta = max(min(theta, 1 - eps), eps)
    total = 0.0
    for y in data:
        total += y * math.log(theta) + (1 - y) * math.log(1 - theta)
    return total

ll = log_likelihood(theta_mle, Y)
print(f"在 theta={theta_mle:.2f} 处的对数似然值: {ll:.4f}")

# 对照: 换一个稍差的参数值, 对数似然应当更低
theta_test = 0.5
ll_test = log_likelihood(theta_test, Y)
print(f"在 theta={theta_test:.2f} 处的对数似然值: {ll_test:.4f}")
print(f"MLE估计的对数似然更高吗？ {ll > ll_test}")

硬币正面朝上的概率的MLE估计值: 0.60
在 theta=0.60 处的对数似然值: -6.7301
在 theta=0.50 处的对数似然值: -6.9315
MLE估计的对数似然更高吗？ True

本章小结

• 视角转换：统计学习把「找函数」改写成「估概率」——$P(y_i|x_i)$ 一到手，机器学习问题变成了估计问题。
• 旧武器三件：参数模型（数据服从某分布）＋ 极大似然（连乘取 log、爬到等高线顶点）＋ 朴素贝叶斯的正比形式（$P(X)$ 归一化常数忽略）。
• 隐含变量：$P(X) = \sum_Z P(X|Z)P(Z)$——把建模难度转移到「可求的 $P(X|Z)$」与「可假设的 $P(Z)$」上，换来更强的表达力。
• 生成式哲学：模型是对数据背后机理的一种假设——机理可能永远无法完全知道，但假设让我们能用数据反估机制的参数。
• 三硬币问题：A 决定 B 还是 C、结果可见而中间不可见——隐含变量问题的最小完整舞台，下一节《EM 算法》在此开演。

📋 行动清单

学完本节，你可以立即：

• 手推一遍伯努利 MLE：从 $\theta^x(1-\theta)^{1-x}$ 出发，推出 $\hat{\theta}_{MLE} = \frac{1}{N}\sum_i y_i$，确认「频率估计 = 极大似然」。
• 复述三硬币的生成过程：向一个没学过统计学习的同学讲清「A 正面掷 B、A 反面掷 C、只看得到最终结果」——讲得清，隐含变量就懂了。
• 找一个身边的隐含变量：挑一个你熟悉的现象（成绩、气温、股价……），构思：哪个量是观测不到的 $Z$？$P(X|Z)$ 和 $P(Z)$ 大概长什么样？
• 预习下一节《EM 算法》：三硬币的 $\pi, p, q$ 到底怎么估——下一节揭晓那套「既简洁又清晰」的解法。

—— 小象教研组