EM 算法：把「为什么收敛」推到底

小象实战讲义 · 机器学习算法精讲

上一节结尾我们留了一个问题：EM 算法为什么是收敛的。本节讲师开场就把任务挑明——「我们接着说上次关于 EM 算法的、最底层的这个部分。我给大家用点时间，更清晰地用数学公式去描述一下，请大家跟着稍稍紧一点。」这是全课数学密度最高的一节：12.2/12.3 用三硬币把 EM 的每一步「数」了出来，12.4 用琴生不等式看到了「下界贴着似然往上抬」的图景，本节把图景背后的公式从头到尾正式写全。主角是一个新对象大 Q 函数，外加把下界拆成「两块死数 + 一块可调」的三块分解——EM 为什么每轮迭代都不亏，答案全在这三块里。

💡 核心导读

• 大 Q 函数：$Q(\theta|\theta^t) = \mathbb{E}_{Z \sim P(Z|X,\theta^t)}[\log P(X,Z|\theta)]$——M 步真正要最大化的那个函数。
• 记号课：上角标 $t$ 是「第 $t$ 轮更新」，不是数据个数；$\theta^0$ 随便给一组随机数就能启动。
• 下界三步：比上一个再乘上一个（乘除同值）→ 求和认出期望 → 琴生不等式（$\log$ 是凹函数）。
• 三块分解：$\ell(\theta^t)$ 是死数、被减的 $Q(\theta^t|\theta^t)$ 是死数、$Q(\theta|\theta^t)$ 是 M 步唯一能推大的可调块。
• 收敛的真相：下界永远压在似然下面，每轮 M 步只可能把下界往上推——似然想降都没有地方降。

把问题重新摆上桌

开场先把老问题重述一遍。很多机器学习问题最后都可以变成一个求极大似然的问题：高维空间里有一组数据，这组数据有它的生成机制——无论多复杂的系统，你观察到的数据总跟系统里给定的系数 $\theta$ 直接相关，$\theta$ 就是生成模型里的重要参数；而 $x$ 是随机变量（random variable）。我们想通过给定的一组数据，得到对 $\theta$ 的一个好的估计。讲师讲到「想知道他们的后验概率」时自己刹住纠正：「sorry，不是后验概率——对这个极大似然的估计。」（这个口误自纠值得记下：这一章从头到尾咬住的就是极大似然，不是后验。）

为什么会有隐变量？因为我们研究的复杂概率图模型，一般都有一个隐含变量 $Z$ 存在。三硬币里它就是那个「A 硬币掷完决定走 B 还是 C」的选择——A 实际上代表一种混合权重；如果是隐马尔可夫链，这个动态、跟时序相关的隐变量就是我们记过的状态 $Q$——「把 $Z$ 换成 $Q$，两者是一回事」，只是 HMM 的 $Q$ 与 $Q$ 之间还多了一个状态转移矩阵（时序关系 + 马尔可夫特性），普通的隐含模型用下面这一个公式就能描述。

想做的事情，是把它构造成两个乘积的关系：给定 $Z$ 时 $X$ 的分布知道，再补一个关于 $Z$ 的先验分布——

$$P(X, Z|\theta) = P(X|Z, \theta)\, P(Z|\theta)$$

「这就是我们对于那个硬币的问题的算法，我们就是这么算的。」另外，严格说多个观测的似然原则上是对不同 $i$ 的乘积，取了 $\log$ 才变成加和——讲师板书到这里补了一句「我少写了一个 $P$，Sorry」，顺手把联合概率的每一项补齐。

先构造「大 Q 函数」

在往下推之前，讲师先郑重构造一个函数——这是本节真正的主角：

$$Q(\theta|\theta^t) \triangleq \mathbb{E}_{Z \sim P(Z|X,\theta^t)}\big[\log P(X,Z|\theta)\big]$$

直读一遍：给定了 $X$ 和 $\theta^t$ 的时候，在 $Z$ 的（后验）分布下，对 $\log$ 联合似然取的数学期望。这里有一节必上的记号课——上角标 $t$：

$\theta^t$ 的 $t$（$t = 1, \dots, T$）代表不同更新时刻的参数值，不代表数据的数量 $X_1, \dots, X_N$。$t=0$ 时 $\theta^0$ 就是一个给定的随机数——「像我们以前三硬币的概率那样，0.3、0.5、0.36 随机给定一组就行」。

有了它，E 步和 M 步一句话说清：

• E 步：给定 $\theta^t$，把期望算出来——想知道 $Z$ 有什么样的分布时这个 $Q$ 最大。三硬币里算的 $\mu$（每个观测属于每个状态的估计）干的就是这件事；
• M 步：不断地调整 $\theta$ 使这个函数最大，把最大值点赋给下一时刻——

$$\theta^{t+1} = \arg\max_{\theta}\; Q(\theta|\theta^t)$$

跟 12.4 辨析一下：12.4 的 $Q_i(z^{(i)})$ 是一条分布；本节的 $Q(\theta|\theta^t)$ 是一个关于 $\theta$ 的函数。同一个字母、两层身份——分布决定「期望在哪取」，函数才是「M 步要推大的那个东西」。

下界是怎么来的：三步快走

这一段 12.4 已经用课件详细走过（弦与碗的图就在那里），本节快步重走、把它接到新的展开上。目标函数：

$$\ell(\theta) = \log \sum_{Z} P(X, Z|\theta)$$

第一步，乘除同值。 在 $\log$ 里的求和中，给联合概率比上一个、再乘上一个 $P(Z|X,\theta^t)$——它是关于 $Z$ 的分布（跟当前的 $X$、$\theta^t$ 有关）。一比一乘，相乘为一，公式还是对的，但形态变了：

$$\ell(\theta) = \log \sum_{Z} P(Z|X,\theta^t)\cdot\frac{P(X,Z|\theta)}{P(Z|X,\theta^t)} = \log \mathbb{E}_{Z \sim P(Z|X,\theta^t)}\left[\frac{P(X,Z|\theta)}{P(Z|X,\theta^t)}\right]$$

第二步，认出期望。 带权重的求和就是期望——讲师顺手复习了期望的写法：$\sum_x P(x)\,f(x) = \mathbb{E}[f(X)]$，也常写成「$X \sim P(X)$ 时 $f(X)$ 的期望」。于是「$Z$ 的分布乘 $Z$ 的函数」自然合成为期望，$\log$ 仍罩在最外层。

第三步，琴生不等式。 $\log$ 是凹函数（concave），12.4 的结论直接拿来：期望的函数 $\ge$ 函数的期望——

$$\ell(\theta) \ge \mathbb{E}_{Z \sim P(Z|X,\theta^t)}\left[\log \frac{P(X,Z|\theta)}{P(Z|X,\theta^t)}\right]$$

这一步的形态变化要看清：$\log$ 从「套着求和」变成了「咬着每一项」——右边就是似然函数的下界。

展开、约掉、拆成三块

现在做本节的主菜。往下推之前，讲师先标出两个情况：

1. $X$ 直接跟 $Z$ 相关、间接跟 $\theta$ 相关：$\theta$ 是高层的参数，控制着隐含变量 $Z$；$Z$ 才直接作用到能观察的 $X$ 上。「就像刚开始描述的隐马尔可夫链——$P(X|Z,\theta)$ 其实就等于 $P(X|Z)$，因为 $X$ 只跟单一状态直接相关。」
2. 分母可以用贝叶斯公式展开（讲师口误自纠彩蛋：「分子这样——分母的部分，Sorry，这个分母的这个部分」）：

$$P(Z|X,\theta^t) = \frac{P(X|Z,\theta^t)\, P(Z|\theta^t)}{P(X|\theta^t)}$$

这个展开可以自检：把上标 $t$ 全去掉，右边就是 $P(X|Z)P(Z)/P(X) = P(Z|X)$——分子分母都是 $x$ 与 $z$ 的联合概率拆装，「所以这个公式是肯定对的」。

把贝叶斯展开代入下界的分式，联合概率再按第一节的乘积分解开，分数变成：

$$\frac{P(X,Z|\theta)}{P(Z|X,\theta^t)} \;\Rightarrow\; \frac{P(X|Z)\; P(Z|\theta)\; P(X|\theta^t)}{P(X|Z,\theta^t)\; P(Z|\theta^t)}$$

约掉。 $P(X|Z,\theta)$ 与 $P(X|Z,\theta^t)$ 对 $X$ 的影响是一样的——「因为 $X$ 直接相关的就是 $Z$，跟 $\theta$ 是间接相关，所以它们俩是一样的。一样的就可以约掉。」上下两个发射项一约，分式只剩三样东西：$P(Z|\theta)$、$P(X|\theta^t)$、$P(Z|\theta^t)$。$\log$ 一拆，下界分解成三块：

$$\ell(\theta) \;\ge\; \mathbb{E}_{Z}[\log P(Z|\theta)] \;+\; \ell(\theta^t) \;-\; \mathbb{E}_{Z}[\log P(Z|\theta^t)]$$

逐块定性（讲师在板书上换了三种颜色）：

• 中间块 $\ell(\theta^t)$——死数。 它以 $Z$ 的分布求 $\log P(X|\theta^t)$，跟 $Z$ 没有直接关系；它就是给定 $\theta^t$ 时的极大似然值（正态分布的话，就是给定均值方差后 $X$ 的概率）。数据固定、$\theta^t$ 给定，这个数就定死了。
• 末块 $-\mathbb{E}_Z[\log P(Z|\theta^t)]$——死数（被减）。 给定 $\theta^t$ 后 $Z$ 的分布可以求出来，里面的概率密度也都是给定的非负数——它整体是一个被减掉的固定项，只能往下拽，我们动不了它。
• 首块 $\mathbb{E}_Z[\log P(Z|\theta)]$——唯一可调。 $\theta^t$ 代表上一时刻的参数值，而当前的 $\theta$ 是可以根据它调整的。「怎么调整？就不断地调整 $\theta$，使这个值越来越大——我们在不断地把 $\ell$ 的下界不断提高，因为另外两个部分我们做不了什么事情。」

再把首末两块认出来：加的这块正是 $Q(\theta|\theta^t)$，减的这块正是 $Q(\theta^t|\theta^t)$（「跟刚才定义的公式比——就是它」）。于是三块分解写成正式形态：

$$\ell(\theta) \;\ge\; Q(\theta|\theta^t)\; -\; Q(\theta^t|\theta^t)\; +\; \ell(\theta^t)$$

诚实框（一般情形）：上面「约掉发射项」用到了第 1 个情况的前提——发射侧不带参数。但三硬币的 $p$、$q$ 和 HMM 的释放矩阵 $B$ 本身也是参数：把它们也放进 $\theta$ 时，$P(X|Z,\theta) \ne P(X|Z,\theta^t)$，两项约不得。别慌——不约就行：被约掉的两项会自动并回完整的 $Q(\theta|\theta^t) = \mathbb{E}[\log P(X,Z|\theta)]$ 里，上式的最终形态在一般情形下照样成立（本节开头定义大 Q 用的就是完整联合似然）。变化只有一处：「唯一可调」从 $\mathbb{E}[\log P(Z|\theta)]$ 升级成完整的 $Q(\theta|\theta^t)$，M 步与收敛的结论一字不变。下面块 1 跑的就是完整版（$p$、$q$ 都在 $\theta$ 里）——三块分解照样精确成立。

顺带与 12.4 对个账：12.4 的下界 $L(Q,\theta)$ 把分布 $Q(z)$ 写在分数线下，本节的大 Q 把它挪了出去——两者相差一个与 $\theta$ 无关的熵项，所以哪个 $\theta$ 更好，两边给出的答案相同。

为什么每一轮都不亏

三块分解在手，收敛性就是一行链条。每一轮 M 步把可调块推大、两块死数纹丝不动，于是下界只可能升不可能降；而下界又永远压在似然下面。把三个式子连起来：

$$\ell(\theta^{t+1}) \;\ge\; \underbrace{Q(\theta^{t+1}|\theta^t) - Q(\theta^t|\theta^t) + \ell(\theta^t)}_{\text{step1}} \;\ge\; \underbrace{Q(\theta^t|\theta^t) - Q(\theta^t|\theta^t) + \ell(\theta^t)}_{\text{step2}} \;=\; \ell(\theta^t)$$

• 第一个 $\ge$ 是琴生不等式：似然永远压在下界上方；
• 第二个 $\ge$ 是 M 步的定义：$\theta^{t+1}$ 是让 $Q$ 最大的参数，至少不比原地不动的 $\theta^t$ 差；
• 最后的 $=$ 是取等：$\theta = \theta^t$ 时分式比值恰为 $P(X|\theta^t)$、与 $Z$ 无关——期望取在常数上，琴生取等号（12.4「E 步把下界贴住似然」的代数形态）。

讲师的收口原话，也是本节的全部要点：「这就是我们比较详细的 EM 算法背后的道理——我们为什么认为每次它会收敛、会提到这个下界：因为我们每次所做的优化，都是把这个下界不断地提高。因为我每一次在 E 步的时候，就算得出来这个 $Q$。」

在三硬币上把三块拆开看

还是那串 21 掷观测、那组「随便给」的初值 $(0.3, 0.4, 0.7)$——12.4 从「绿色曲线」看过一遍 E 取等、M 抬升；本节换个视角，把下界拆成三块看每一块的数。先跑完整版（$p$、$q$ 都算 $\theta$ 的成分，对应诚实框里的一般情形）：

import math

# 同一串观测、同一组初值: 12.4 用过的 21 掷记录 HTHHTTHHTHTHTTTHTHTTH (H=1, T=0)
obs = [1, 0, 1, 1, 0, 0, 1, 1, 0, 1, 0, 1, 0, 0, 0, 1, 0, 1, 0, 0, 1]

def ell(pi, p, q):
    """对数似然 ell(theta): log 里面套着求和——直接优化的困难之源"""
    total = 0.0
    for y in obs:
        jb = pi * p**y * (1 - p)**(1 - y)
        jc = (1 - pi) * q**y * (1 - q)**(1 - y)
        total += math.log(jb + jc)
    return total

def posterior(pi, p, q):
    """E 步: mu_i = P(Z=B|y_i, theta)——大 Q 函数里那个期望所用的分布"""
    mu = []
    for y in obs:
        jb = pi * p**y * (1 - p)**(1 - y)
        jc = (1 - pi) * q**y * (1 - q)**(1 - y)
        mu.append(jb / (jb + jc))
    return mu

def Qfun(theta, mu):
    """大 Q 函数: Q(theta|theta_t) = E_{Z~P(Z|X,theta_t)}[log P(X,Z|theta)]"""
    pi, p, q = theta
    total = 0.0
    for y, m in zip(obs, mu):
        jb = pi * p**y * (1 - p)**(1 - y)
        jc = (1 - pi) * q**y * (1 - q)**(1 - y)
        total += m * math.log(jb) + (1 - m) * math.log(jc)
    return total

# theta_t: 沿用 12.3/12.4「随便给」的初值
theta_t = (0.3, 0.4, 0.7)
mu = posterior(*theta_t)

def bound(theta):
    """三块分解: ell(theta) >= Q(theta|theta_t) - Q(theta_t|theta_t) + ell(theta_t)"""
    return Qfun(theta, mu) - Qfun(theta_t, mu) + ell(*theta_t)

print(f"观测 {len(obs)} 次(正面 {sum(obs)}), theta_t = {theta_t}")
print(f"E 步: 正面 mu = {mu[0]:.4f}, 反面 mu = {mu[1]:.4f}")
print()
print("[三块分解] 两块死数 + 一块可调:")
print(f"  死数一: ell(theta_t)       = {ell(*theta_t):.4f}   <- 当前似然, 定死")
print(f"  死数二: Q(theta_t|theta_t) = {Qfun(theta_t, mu):.4f}   <- 被减项, 同样定死")
print(f"  可调块: Q(theta|theta_t)   <- M 步唯一能推大的部分")
print()
print(f"[验证 1] theta = theta_t: 下界 = {bound(theta_t):.4f}, 似然 = {ell(*theta_t):.4f}   <- 琴生取等")
theta2 = (0.5, 0.6, 0.2)
print(f"[验证 2] 换个 theta' = {theta2}:")
print(f"  下界 = {bound(theta2):.4f} < 似然 = {ell(*theta2):.4f}   <- 严格压在下面, 差 {ell(*theta2) - bound(theta2):.4f}")
print()
# M 步: 12.3 的闭式解 = 把可调块 Q 推到最大
sum_mu = sum(mu)
theta_new = (sum_mu / len(obs),
             sum(m * y for m, y in zip(mu, obs)) / sum_mu,
             sum((1 - m) * y for m, y in zip(mu, obs)) / (len(obs) - sum_mu))
print(f"[M 步] argmax Q -> theta_new = ({theta_new[0]:.4f}, {theta_new[1]:.4f}, {theta_new[2]:.4f})")
print(f"  可调块 Q: {Qfun(theta_t, mu):.4f} -> {Qfun(theta_new, mu):.4f}")
print(f"  下界:     {bound(theta_t):.4f} -> {bound(theta_new):.4f}")
print(f"  似然 ell: {ell(*theta_t):.4f} -> {ell(*theta_new):.4f}")
print(f"  链条: ell(new) >= 下界(new) >= 下界(t) = ell(t): {ell(*theta_new):.4f} >= {bound(theta_new):.4f} >= {ell(*theta_t):.4f}")

观测 21 次(正面 10), theta_t = (0.3, 0.4, 0.7)
E 步: 正面 mu = 0.1967, 反面 mu = 0.4615

[三块分解] 两块死数 + 一块可调:
  死数一: ell(theta_t)       = -15.3007   <- 当前似然, 定死
  死数二: Q(theta_t|theta_t) = -27.8509   <- 被减项, 同样定死
  可调块: Q(theta|theta_t)   <- M 步唯一能推大的部分

[验证 1] theta = theta_t: 下界 = -15.3007, 似然 = -15.3007   <- 琴生取等
[验证 2] 换个 theta' = (0.5, 0.6, 0.2):
  下界 = -21.9126 < 似然 = -14.7820   <- 严格压在下面, 差 7.1306

[M 步] argmax Q -> theta_new = (0.3354, 0.2793, 0.5756)
  可调块 Q: -27.8509 -> -27.0825
  下界:     -15.3007 -> -14.5323
  似然 ell: -15.3007 -> -14.5323
  链条: ell(new) >= 下界(new) >= 下界(t) = ell(t): -14.5323 >= -14.5323 >= -15.3007

三件事读出来：取等亲眼看到（$\theta = \theta^t$ 时下界与似然都是 $-15.3007$）；换烂参数下界塌得深（$\theta'$ 处差了 $7.1306$——参数越不对劲，下界离似然越远）；M 步只动可调块（$Q$ 从 $-27.8509$ 推到 $-27.0825$，两块死数一动不动，下界整体抬升 $0.7684$，似然同步到达 $-14.5323$——12.4 发现的「一步到顶」结构在这里再次显形：后验不变，新点的下界又贴住了似然）。

再把讲师推导的前提如实落地跑一遍：$p$、$q$ 视为已知的发射特性（不进 $\theta$），$\theta$ 里只剩控制 $Z$ 先验的高层参数 $\pi$——此时「约掉发射项」严格成立，三块分解逐项精确对上：

import math

# 讲师推导的前提如实落地: p、q 视为已知的发射特性(不进 theta),
# theta 里只剩控制 Z 先验的高层参数 pi——此时「约掉发射项」严格成立
obs = [1, 0, 1, 1, 0, 0, 1, 1, 0, 1, 0, 1, 0, 0, 0, 1, 0, 1, 0, 0, 1]
p_fix, q_fix = 0.4, 0.7
pi_t = 0.3

# E 步(与块 1 相同的 mu)
mu = []
for y in obs:
    jb = pi_t * p_fix**y * (1 - p_fix)**(1 - y)
    jc = (1 - pi_t) * q_fix**y * (1 - q_fix)**(1 - y)
    mu.append(jb / (jb + jc))

def ell_pi(pi):
    """只有 pi 可调时的对数似然"""
    return sum(math.log(pi * p_fix**y * (1 - p_fix)**(1 - y)
                        + (1 - pi) * q_fix**y * (1 - q_fix)**(1 - y)) for y in obs)

def A(pi):
    """可调块: E_Z[log P(Z|theta)] = sum[mu*log(pi) + (1-mu)*log(1-pi)]"""
    return sum(m * math.log(pi) + (1 - m) * math.log(1 - pi) for m in mu)

def bound_pi(pi):
    """三块版下界: A(pi) + ell(pi_t) - A(pi_t)"""
    return A(pi) + ell_pi(pi_t) - A(pi_t)

pi_hat = sum(mu) / len(mu)   # 可调块的最大值点(解析解)

print(f"p={p_fix}, q={q_fix} 固定; pi_t = {pi_t}; 正面 mu = {mu[0]:.4f}, 反面 mu = {mu[1]:.4f}")
print(f"死数: ell(pi_t) = {ell_pi(pi_t):.4f}, A(pi_t) = {A(pi_t):.4f}")
print()
print(f"{'pi':>7} | {'下界':>10} | {'似然':>10} |  差")
for pi in [0.1, 0.2, pi_t, pi_hat, 0.5, 0.8]:
    b, e = bound_pi(pi), ell_pi(pi)
    tag = "  <- 取等" if abs(pi - pi_t) < 1e-12 else ("  <- 下界的最高点" if abs(pi - pi_hat) < 1e-12 else "")
    print(f"{pi:7.4f} | {b:10.4f} | {e:10.4f} |  {e - b:.4f}{tag}")
print()
print(f"可调块 A(pi) 求导归零: pi_hat = sum(mu)/n = {sum(mu):.4f}/21 = {pi_hat:.4f}")
print(f"这正是 12.3 的 M 步数数公式: 红色总份数 / 总次数")

p=0.4, q=0.7 固定; pi_t = 0.3; 正面 mu = 0.1967, 反面 mu = 0.4615
死数: ell(pi_t) = -15.3007, A(pi_t) = -13.4587

     pi |         下界 |         似然 |  差
 0.1000 |   -19.5321 |   -16.2001 |  3.3321
 0.2000 |   -16.2933 |   -15.7010 |  0.5922
 0.3000 |   -15.3007 |   -15.3007 |  0.0000  <- 取等
 0.3354 |   -15.2392 |   -15.1806 |  0.0585  <- 下界的最高点
 0.5000 |   -16.3981 |   -14.7620 |  1.6361
 0.8000 |   -25.8750 |   -14.5433 |  11.3316

可调块 A(pi) 求导归零: pi_hat = sum(mu)/n = 7.0441/21 = 0.3354
这正是 12.3 的 M 步数数公式: 红色总份数 / 总次数

表格把讲师那支彩色的粉笔变成了数：取等只发生在 $\pi_t$（差恰为 $0.0000$）；下界的最高点恰在 $\pi = 0.3354$——对可调块 $A(\pi)$ 求导归零，解出来 $\pi = \sum\mu/n$，正是 12.3 里「红色总份数 / 总次数」的数数公式。当时的直觉「按比例数数」，在这节课里露出了它的真身：把 $\mathbb{E}_Z[\log P(Z|\theta)]$ 这个可调块最大化。至于 $\pi = 0.8$ 那行——下界差了 $11.33$，松得一塌糊涂：参数离谱的程度，就写在下界与似然的缝里。

📝 动手练一练

1. 三块分解与收敛链：给定分解式 $\ell(\theta) \ge Q(\theta|\theta^t) - Q(\theta^t|\theta^t) + \ell(\theta^t)$，回答四问：(a) 哪两块在 $\theta^t$ 给定后是「动不了」的死数？M 步唯一能推大的是哪一块？(b) 为什么 $\theta = \theta^t$ 时恰好取等号？(c) 把「每一轮似然不降」的完整链条写出来，并注明三个不等号各自的来源。(d) 上角标 $t$ 代表什么——数据个数，还是更新时刻？

2. 把数数公式重推一遍：固定 $\mu_i$（E 步算出的后验），可调块为 $A(\pi) = \sum_{i=1}^{n}\big[\mu_i \log \pi + (1-\mu_i)\log(1-\pi)\big]$。对 $\pi$ 求导并令其为零，解出最大值点 $\hat{\pi}$，并说明它与 12.3 的「红色总份数 / 总次数」是同一件事。

本章小结

本节把 EM 的数学底层正式写全：先构造大 Q 函数 $Q(\theta|\theta^t) = \mathbb{E}_{Z \sim P(Z|X,\theta^t)}[\log P(X,Z|\theta)]$（E 步求期望、M 步 argmax，上角标 $t$ 是更新时刻、$\theta^0$ 随机给定）；再经乘除同值、认出期望、琴生不等式三步得到似然的下界；用贝叶斯展开分母、约掉发射项，把下界拆成三块——两块死数（当前似然 $\ell(\theta^t)$ 与被减的 $Q(\theta^t|\theta^t)$）加一块唯一可调的 $Q(\theta|\theta^t)$。收敛性的全部秘密就在这：M 步每轮只能把可调块往上推，下界抬升、又永远压在似然下面，于是 $\ell(\theta^{t+1}) \ge \ell(\theta^t)$ 逐轮成立。发射侧也带参数的一般情形，被约掉的项并回完整的大 Q，结论不变；而在三硬币上，可调块求导归零解出的 $\hat{\pi} = \sum\mu/n$，正是 12.3 那条「按比例数数」公式的真身。

📋 行动清单

• 把板书推导亲手重走一遍：乘除同值 → 认出期望 → 琴生 → 贝叶斯展开 → 约掉 → 三块——讲师预告「跟着稍稍紧一点」，值得慢速重放。
• 回到 12.3 的三硬币迭代，把每一步标注成「算 $Q$（E 步）」或「argmax $Q$（M 步）」。
• 对照 12.4 的 $L(Q,\theta)$ 与本节大 $Q$：确认两者只差一个与 $\theta$ 无关的熵项、argmax 相同。
• 预习下一节：同一套 HMM 骨架怎么装下分词、词性、语音三档难度，以及它如何收尾到「HMM 的参数怎么估」。

—— 小象教研组