隐马尔可夫模型

小象实战讲义 · 机器学习算法精讲

第 12~13 章的三硬币、EM、GMM 处理的都是「静态」的隐含变量：每一次掷硬币用 B 还是 C、每个数据点来自哪个高斯分量，彼此独立、互不相关。这一节讲师还是从掷硬币开场：「我给大家呢再说一件事情，还是掷硬币。但这个硬币呢就跟以前不一样了，变得更复杂了。」复杂在哪？隐含状态自己会随时间演化——上一次掷出 B 会影响下一次掷谁。把静态混合模型加上状态之间的「接力」，就得到隐马尔可夫模型（Hidden Markov Model，HMM）。

💡 核心导读

• 记号交接：隐含变量从 $z$ 换成 $q$、观测记作 $y$；HMM 部分全用下角标表示时间——Notation 是为内容服务的。
• 从静态到动态：假设「下一次的状态与前一次相关」，隐含状态就连成一条马尔可夫链；这就是 HMM 名字的由来。
• 模型三要素：$\pi$（初始状态分布）、$A$（状态转移矩阵）、$B$（释放概率矩阵）——与前两章的隐含变量模型相比，唯一的增量就是 $A$。
• 联合概率：把图模型上每条箭头翻译成一个条件概率再连乘：$P(Q,Y) = \pi(q_0) \cdot \prod A \cdot \prod B$。
• 两个例子：天气-活动（阴晴决定三件事）、盒子-小球（三箱取红白球）——后者的参数会一直沿用到下一节。

从掷硬币到动态隐含模型

回顾三硬币：掷硬币 A，正面用硬币 B、反面用硬币 C 去生成观测。本节起做一次记号交接——隐含变量不再叫 $z$，改叫 $q$：$q$ 代表状态，取值 $B$ 或 $C$；观测 $y$ 取值 $H$ 或 $T$。讲师特意交代了记号约定：

HMM 这部分我都是用下角标描述的（$q_0, q_1, \dots$）。如果大家觉得这件事很别扭，那我们就一样了——数学的 Notation 和里边所用的东西，都是为了你这件事服务的。公式本身也不见得一定有这一种写法；想表述什么东西，Notation 都是可以自己去定的，描述清楚就可以了。

先确认一件「我们已经会的事」：$y$ 和 $q$ 之间的关系是可算的。给定 $q = B$，观测服从伯努利分布：

$$P(y \mid q=B) = p^{y}(1-p)^{1-y}$$

$y=1$ 时是 $p$、$y=0$ 时是 $1-p$；换成硬币 C 同理用 $q$ 参数。把「B 或 C」与「H 或 T」排成一张小表，每个格子都算得出来——这部分生成概率，静态模型里早就有。

现在加一个新假设（讲师原话）：「如果我掷的这次是硬币 B，我下一次掷硬币 B 或者 C 的概率，是跟前一次相关的。」 也就是每次掷的结果之间在时间上有关联——这就构造出了一个动态的隐含模型。「动态」指的就是跟时间 $t$ 相关。这种情况叫一条马尔可夫链（Markov Chain）：一串变量里，$x_t$ 与 $x_{t-1}$ 之间相关，当前的状态跟前面的状态直接相关。

用字词预测理解马尔可夫性

讲师举的例子是自然语言。我写了一个字「我」——下一个字是什么？再来：「我爱」后面接一个字，你猜什么？最后：「我喝」后面接什么？

• 只有「我」时，可能接「爱」「喝」等，各有概率；
• 前面是「我爱」时，接「你」的概率会远远大于其他字；
• 前面是「我喝」时，一般接「水」，不会是「我喝吃」「我喝电」这种奇怪的话。

某个字出现的概率跟它前面的字相关——这就是马尔可夫性。还有一个极端情形值得停一下：如果只有一个字、前面没有任何信息呢？ 那这个字的分布就是我们所有词的先验概率 $P(w)$。把所有中文词从字典的第一个字排到最后一个字，用一个特别大的语料库——比如说大概 50 年的《人民日报》——看每一个词出现的频率，你会发现空着的位置上概率最大的可能是「的」「了」这类语气助词，因为它们在整个语料里出现得最多。

诚实地说一句：掷硬币其实是这个例子里比较「牵强」的例子——大家都认为掷硬币是独立事件，这一次的结果与前一次没有关系。但正是「假设它们有关联」这一步，把独立的三硬币升级成了有结构的链。隐含状态（$q$）之间构成马尔可夫链，所以这个模型叫隐马尔可夫模型（Hidden Markov Model）。

画法约定：空心圈与阴影圈

图模型上，每个节点是一个变量，画法有讲究：

• 隐含变量（不能被观察到）画空白的圈；
• 可观测变量（直接有值）画阴影的圈。

HMM 的图是两条平行的链：上面一排空心圈 $q_0 \to q_1 \to q_2 \to \dots \to q_T$（状态之间的箭头就是转移），每个圈下面挂一个阴影圈 $y_t$（状态「释放」出观测）。讲师还专门交代了一个细节：$q_0$ 单独画出来是有好处的——它头上没有转移进来的箭头，控制它的是 $\pi$，就是给最开始的状态一个初始的选择；之后 $y_0, y_1, y_2$ 才一个接一个地生成出来。

一个更「正常」的例子：天气与活动

为了让大家对 HMM 更有感觉，讲师换了一个听起来更正常的例子。天气有两种状况：rainy（下雨） 和 sunny（晴天）。每天我们做三件事之一：shop（购物）、clean（在家打扫卫生）、walk（散步）。

天气影响做事的概率（释放概率）：

• 晴天：walk 的概率 $0.7$，shop 的概率 $0.2$，clean 的概率 $0.1$——「听起来很 make sense，还是可以的」；
• 雨天：walk 的概率 $0.2$，shop 的概率 $0.3$，clean 的概率 $0.5$——下雨天在家什么都不做、打扫卫生的概率最高。

第一天还必须指定一个先验概率（start）。讲师边写边自我修正：先说「大概 0.4 是阴天」，随即改口「这个听起来阴天没有那么多，0.2 吧是下雨，0.8 是晴天」。

最后加上动态部分——今天的天气影响明天：

• 今天下雨，明天继续下雨的概率 $0.6$；今天下雨、明天转晴的概率 $0.4$（「因为它必须相加为一」）；
• 今天晴天，明天仍然晴天的概率 $0.8$（讲师先说 0.7，又改成「就 0.8 吧，晴天都是接在一起的」）；今天晴天、明天下雨的概率 $0.2$。

这套系统怎么用？讲师给了一个场景：假设你有一个好朋友住在另一个国家，他每天告诉你「我今天打扫卫生了」「我去 shopping 了」「我去散步了」……而你从不知道那个国家的天气。你看到的是一串观测，比如 clean、shopping、shopping、shopping、clean、walk、walk……这时你自然会问：他下一次出现做什么事的概率最大？ 这就需要学出上面这些参数，使它们在最大程度上拟合这串数据、得到最大似然值——「如何训练一个隐马尔可夫链的问题就出来了」。

HMM 的参数：$\pi$、$A$、$B$

现在把天气例子形式化。一个完整的 HMM 由三组参数 $\lambda = (A, B, \pi)$ 定义。

状态转移矩阵 $A$（transition matrix / transitional probability，转移概率）：

$$A = \begin{bmatrix} 0.8 & 0.2 \\ 0.4 & 0.6 \end{bmatrix}$$

行是今天的 sunny/rainy，列是明天的 sunny/rainy：$A_{11} = 0.8$ 是晴天接晴天，$A_{12} = 0.2$ 是晴天转下雨。注意下标的含义：$A$ 的两个下标写的是 $q_t$ 和 $q_{t+1}$——$t$ 与 $t+1$ 代表的是不同的时刻，$q$ 本身取 sunny 或 rainy。如果你觉得用 $i, j$ 别扭，直接读成「$t$ 时刻的状态到 $t+1$ 时刻的状态」就好。

释放概率矩阵 $B$（也有人叫生成概率）：给定状态，生成观测的概率。

$$B = \begin{bmatrix} 0.1 & 0.2 & 0.7 \\ 0.5 & 0.3 & 0.2 \end{bmatrix}$$

行是晴天/雨天，列是 clean、shopping、walk。下标同样是双重的：$B_{q_t,\, y_t}$，其中 $q_t$ 属于 sunny 或 rainy，$y_t$ 属于 clean、shopping、walk。记号上有个小细节：shopping 缩写成 sh，免得跟 sunny 的 s 搞混。$t$ 从 0 开始，$1, 2, \dots$ 一直到 $T$，代表不同的时间段。

初始状态分布 $\pi$：$0.2$ 下雨、$0.8$ 晴天。只有两个状态时就是 $\pi$ 与 $1-\pi$；状态多的时候则是 $\pi_1, \pi_2, \pi_3, \dots$ 每个状态一个先验。

与前两章的模型差在哪

讲师把这笔账算得很清楚：隐马尔可夫链和普通的隐含变量模型，差就差在了 $A$ 的部分上。

• $\pi$ 一直都有的——你最开始的先验部分；
• $B$ 刚才的模型里也是有的——给定了状态就生成观测。状态可以是第一个高斯、第二个高斯（GMM），可以是第一个硬币、第二个硬币（三硬币），也可以是下雨天、晴天（HMM）；有了状态做的事，分别是从高斯里采出一个连续数据、掷出正面或反面、去做 clean/shop/walk。
• $A$ 是新东西：状态之间不再独立，而是随时间转移。

所以给定观测序列 $y$，我们想求 $P(Y \mid A, B, \pi)$——这是一个比较复杂的动态模型，需要对它建模和理解。

联合概率：把箭头翻译成乘积

生成模型的老问题：求 $Q$ 和 $Y$ 的联合概率（大 $Q$ 代表所有 $q$ 的集合，大 $Y$ 代表所有 $y$ 的集合）。先复习一个小工具：两个变量的联合概率怎么拆？

$$P(x, y) = P(y \mid x) \cdot P(x)$$

$x$ 是 $y$ 的条件，联合概率就等于条件乘先验。图模型上，每一个箭头所指的方向，就是一个条件概率——把链上所有箭头逐一翻译、连乘即可：

1. 初始：$P(q_0) = \pi(q_0)$；
2. 状态转移（沿上面的链）：$\prod_{t=0}^{T-1} P(q_{t+1} \mid q_t)$，即一连串 $A$；
3. 释放（沿每个状态垂下的箭头）：$\prod_{t=0}^{T} P(y_t \mid q_t)$，即一连串 $B$。

$$P(Q, Y \mid \lambda) = \pi(q_0) \cdot \prod_{t=0}^{T-1} A_{q_t,\, q_{t+1}} \cdot \prod_{t=0}^{T} B_{q_t,\, y_t}$$

讲师板书时用三种颜色区分这三部分（初始一项、转移一串、释放一串）——公式的结构完全对应图的结构。第 13 章课件（Note_21）上写的也是同一形式：$\pi(q_0)$ 是 prior probability，转移乘积是 transitional probability，释放乘积是 emission probability。

示例：盒子与小球

讲师用一个可以动手算的例子收尾。有三个盒子（三个状态），每个盒子里装着红色和白色两种小球，比例各不相同。实验流程：

1. 最开始根据先验概率 $\pi$ 选一个盒子；
2. 从当前盒子里取出一个小球，记录颜色；
3. 根据转移概率 $A$，从当前盒子转移到下一个盒子；
4. 回到第 2 步，继续取球。

一句话记住分工（讲师原话）：「箱子之间是转移概率，球和箱子之间是释放概率。」

参数（讲师逐个口播，全部有据）：

• $\pi = (0.2, 0.4, 0.4)$：最开始选盒 1、盒 2、盒 3 的概率；
• 转移矩阵（行是当前盒子，列是下一个盒子）：

$$A = \begin{bmatrix} 0.5 & 0.3 & 0.2 \\ 0.2 & 0.5 & 0.3 \\ 0.3 & 0.2 & 0.5 \end{bmatrix}$$

检算一下读法：第一次拿盒 2、下一次拿盒 3 的概率是 $A_{23} = 0.3$——「第二个箱子，它下一次是第三个箱子，就是 0.3」。

• 释放矩阵（行是盒子，列是红、白）：

$$B = \begin{bmatrix} 0.5 & 0.5 \\ 0.4 & 0.6 \\ 0.7 & 0.3 \end{bmatrix}$$

第三个盒子里大部分是红球，第二个盒子里 60% 是白球，第一个盒子里红白各一半。

现在假设我们看到了「红、白、红」这个观测序列——想知道生成这样一个序列的概率到底有多大、似然函数怎么算。视频到这里戛然而止，把计算方法留给了下一节。讲义先演示前半步：如果状态序列也已知（假设路径 盒2 → 盒3 → 盒1），联合概率 $P(Q, Y \mid \lambda)$ 怎么算——这正是上面公式的直接实例：

import math

# HMM 参数 λ = (A, B, pi)：三个盒子（隐状态），红/白两种小球（观测）
pi = [0.2, 0.4, 0.4]          # π：第一次选盒 1/2/3 的先验概率

# A[i][j]：这一次在盒子 i，下一次转到盒子 j 的转移概率
A = [
    [0.5, 0.3, 0.2],          # 盒子1 → (盒1, 盒2, 盒3)
    [0.2, 0.5, 0.3],          # 盒子2 → (盒1, 盒2, 盒3)
    [0.3, 0.2, 0.5],          # 盒子3 → (盒1, 盒2, 盒3)
]

# B[i][k]：在盒子 i 取出（红, 白）的概率
B = [
    [0.5, 0.5],               # 盒子1：红白各一半
    [0.4, 0.6],               # 盒子2：40% 红，60% 白
    [0.7, 0.3],               # 盒子3：大部分是红球
]

# 状态序列与观测序列（状态路径为讲义设定的演示；观测 = 红、白、红）
Q = [1, 2, 0]                 # 盒2 → 盒3 → 盒1
Y = [0, 1, 0]                 # 0=红，1=白

# P(Q,Y|λ) = π(q0) · ∏转移 · ∏释放，六个因子逐个收集
factors = [pi[Q[0]]]                          # 初始：π
for t in range(len(Q)):
    factors.append(B[Q[t]][Y[t]])             # 释放：当前盒子掷出当前颜色
    if t < len(Q) - 1:
        factors.append(A[Q[t]][Q[t + 1]])    # 转移：换到下一个盒子

print("逐因子：", " x ".join(f"{f:.1f}" for f in factors))
prob = 1.0
for f in factors:
    prob *= f
print(f"联合概率 P(Q,Y|lambda) = {prob:.6f}")
print(f"对数值 log(P) = {math.log(prob):.6f}")

逐因子： 0.4 x 0.4 x 0.3 x 0.3 x 0.3 x 0.5
联合概率 P(Q,Y|lambda) = 0.002160
对数值 log(P) = -6.137647

手算对账（六个因子一一对应）：初始在盒 2 的概率 $\pi_2 = 0.4$；盒 2 出红球 $B_{2,\text{红}} = 0.4$；盒 2 转盒 3 的概率 $A_{23} = 0.3$；盒 3 出白球 $B_{3,\text{白}} = 0.3$；盒 3 转盒 1 的概率 $A_{31} = 0.3$；盒 1 出红球 $B_{1,\text{红}} = 0.5$。连乘 $0.4 \times 0.4 \times 0.3 \times 0.3 \times 0.3 \times 0.5 = 0.00216$，与程序输出一致。

但要注意：现实中状态序列 $Q$ 是隐藏的、未知的。我们真正要算的是对所有可能的盒子路径求和后的 $P(Y \mid \lambda)$——三个时刻、三个盒子，有 $3^3 = 27$ 种路径组合，一条条硬算当然算得出来，但是「不是（不可）算」的量级。怎么把它算得聪明？这正是下一节前向-后向算法要解决的问题。

📝 动手练一练

1. 概念辨析：隐马尔可夫模型（HMM）与高斯混合模型（GMM）在「隐含变量」这个概念上有何共同点？最主要的区别是什么？

2. 概率计算：盒子-小球模型中，观测序列改为 $Y = (\text{红}, \text{红}, \text{红})$（三次都是红球），状态路径不变（盒2 → 盒3 → 盒1）。请手算新的联合概率，并修改上面代码中的 Y 验证。

逐因子： 0.4 x 0.4 x 0.3 x 0.7 x 0.3 x 0.5
联合概率 P(Q,Y|lambda) = 0.005040
对数值 log(P) = -5.290349

本章小结

本节从掷硬币出发，把静态的隐含变量模型升级为隐马尔可夫模型：假设隐含状态之间有时间上的关联（当前状态依赖前一个状态），状态就连成一条马尔可夫链——空心圈画隐含状态、阴影圈画可观测变量，箭头逐一翻译成条件概率。HMM 由三组参数定义：初始分布 $\pi$、状态转移矩阵 $A$、释放概率矩阵 $B$；与三硬币、GMM 相比，唯一的增量是 $A$。联合概率按「初始一项、转移一串、释放一串」三部分连乘：$P(Q,Y) = \pi(q_0) \cdot \prod A \cdot \prod B$，并用盒子-小球例子把它算了一遍。视频在本节末尾留下的问题——状态序列未知时如何求 $P(Y)$——正是下一节前向-后向算法的入口。

📋 行动清单

• 默写 HMM 三参数（$\pi, A, B$）的定义与物理含义，并指出与前两章静态混合模型相比唯一的增量。
• 盒子-小球例子：换一条状态路径（比如 盒1 → 盒1 → 盒3）手算联合概率，再用本节代码验证。
• 回到「好朋友在国外」的天气例子：列出你需要学习的全部参数；想一想观测序列到手之后，你希望模型回答什么问题。

—— 小象教研组