主题模型：从词袋到隐含主题

小象实战讲义 · 机器学习算法精讲

上一节我们看到，生成式模型的参数不见得是一个数：高维数据 $x$ 的生成由高维参数控制——均值是一个向量、协方差是一个矩阵。带着这个认识，我们进入本章的重点：主题模型（Topic Model），学习如何从一堆看似无序的词袋（Bag of Words）中，自动发现隐藏的”主题”，并用概率生成模型刻画文档与词之间的关系。这一节我们重点理解 PLSA 的基本思想，建立”文档-主题-词”的生成直觉。

💡 核心导读

• 从词袋到主题：超越简单的词频统计，引入”主题”作为中间隐含变量，连接文档与词语。
• PLSA模型：概率潜在语义分析，用概率图模型清晰定义文档、主题、词三者的生成关系。
• “硬币”类比：用”作者选择硬币（主题混合）-> 硬币掷出词语”的生动比喻，理解主题模型的生成机制。
• 模型表示：学习概率图模型中的”盘（plate）“表示法，用它简洁描述重复的生成过程。
• 迈向LDA：本节只是最简单的 latent topic 概念引入，真正的 LDA（潜在狄利克雷分配）及其完整数学描述在接下来的几节展开。

文本表示：从序列到词袋

为什么这个问题叫”主题”？这要从自然语言处理的历史说起。语言能力是人类智能最重要的标志之一——小猫小狗也能看见东西、被打时也会躲，但它们的语言能力与人类语言的复杂程度和背后的语义相比，完全不在一个量级。因此早期的人工智能研究很多都从自然语言开始：计算机科学家和语言学家一起，依靠语法、语义、句法规则来构建理解语言的系统。但后来发现语言学家在这件事上往往帮倒忙，业内甚至流传一句名言：每开除一位语言学家，语音识别系统的性能就提高一点。

于是人们渐渐放弃”让机器像人脑一样理解语言”，转向统计与概率的方法：机器处理语言的方式和人本来就不一样，完全可以把词看成数字和符号。当读到一句话时，人脑中会有神经层面的变化从而”理解”了它；而机器可以把每个字直接变成一个编号——这个词是 101，那个词是 372，另一个是 41145——面对这些数字和符号，它依然能完成处理。在这条路上，一个关键的简化就是词袋模型（Bag of Words, BoW）：我们并不关心词谁先谁后、词性是什么、代表什么语义，只关心每个词和每个词是不一样的——每个文档就是装着许多词的一个”袋子”。

例如两篇极简的文档：“I love this movie” 和 “I love China”，可以把它们转化成一个词-文档矩阵（Term-Document Matrix）：

# 示例：构建一个极简的词-文档矩阵
# 文档1: "I love this movie"
# 文档2: "I love China"
vocabulary = {'I': 0, 'love': 1, 'this': 2, 'movie': 3, 'China': 4}
# 矩阵表示 (行为词，列为文档)
term_doc_matrix = [
    [1, 1],  # 'I' 在文档1和2中各出现1次
    [1, 1],  # 'love'
    [1, 0],  # 'this' 只在文档1出现
    [1, 0],  # 'movie'
    [0, 1],  # 'China' 只在文档2出现
]

print("词-文档矩阵（行为词，列为文档）：")
for word, idx in vocabulary.items():
    print(f"{word:>6}: {term_doc_matrix[idx]}")

词-文档矩阵（行为词，列为文档）：
     I: [1, 1]
  love: [1, 1]
  this: [1, 0]
 movie: [1, 0]
 China: [0, 1]

矩阵的行是词表（vocabulary，大小记为 $V$），列是文档（可以不断往下加，加到 $K$ 篇），整个矩阵的大小是 $V \times K$。对这个矩阵做奇异值分解（SVD），就得到传统文本分析的经典技术——潜在语义分析（LSA）：把词和文档映射到一个低维语义空间。SVD 具体怎么分解，后面的课会跟 PCA 一起专门讲，这里只需知道它是直接的代数运算。LSA 的问题是它完全没用到概率和生成模型的概念——这正是 PLSA 的切入点。

概率潜在语义分析（PLSA）

概率潜在语义分析（Probabilistic Latent Semantic Analysis, PLSA）在词袋的基础上引入了概率生成框架和隐含变量。它的基本假设很朴素：如果某些词经常在一起出现，就认为它们的语义相关——以此为语义建模。

基本思想与”硬币”类比

PLSA 的核心思想是：文档中的词并非直接由文档产生，而是通过一个隐含的”主题（Topic）“中介生成的。在图模型里，词 $w$ 和文档 $d$ 都是可观测的数据（图中阴影节点），中间引入一个不可直接观测的隐含变量 $z$（也叫 $c$），它就是我们说的 topic。

主题是什么？一个主题就是词的一种组合、词上的一个分布。比如”计算机”主题——它没有一个具体的标签叫 computer，但你会看到 Bill Gates、Word、PPT、machine learning 这些词在它之下出现的概率很大；而 Bible、God、Jesus 这些词则明显属于另一个偏宗教的话题。我们希望在整个大词典里把词分成这样不同的部分，每个 topic 就看成词的一个分布。

理解这个模型最好的方式还是硬币类比——它和我们学三硬币模型时一脉相承：

1. 主题即”硬币”：每个主题好比一枚特殊的硬币，掷出不同面的概率就是不同词的概率。计算机硬币掷出的都是计算机词汇，宗教硬币掷出的都是宗教词汇，还可以有物理硬币、化学硬币……普通的硬币只有正反两面，而这些”主题硬币”可以掷出各自词表里的不同词。
2. 文档即”硬币集合”：一篇文档不会只属于一个主题，它是很多硬币的混合。好比一位同学手里拿了不同的硬币，代表他的喜好：如果拿的基本都是计算机硬币、物理硬币、天文硬币，他大概是一位科学爱好者；如果拿的是艺术硬币、文学硬币、美学硬币，那显然是一位文科同学。文档里 topic 的混合比例，就代表它背后语义上的差别。
3. 观察与推断：硬币（隐含变量）不能直接观察到，但我们能看到硬币掷出的结果——这位同学每次说出的词。说的都是技术词汇，就是理工科同学；说的都是文学美学，就是文科同学。于是我们不需要观察别的，只要看到这些词，就能对文档进行分类。

这与以前的模型唯一的区别是：以前文档直接被词所替代，直接观察给定文档的词汇；而现在假设这些词汇之上还有一个更高阶的特征——由”主题”这枚硬币掷出来。观察到的词由硬币控制，硬币是隐含变量，隐含变量又跟更上层的 document 相关——一个清晰的三层结构。

下面我们用一段简化的代码来模拟这个”作者-硬币-词语”的生成过程：作者 A 是科技爱好者（80% 科技硬币 + 20% 体育硬币），作者 B 是体育爱好者（20% 科技 + 80% 体育）。

import random

random.seed(42)

# 定义两个主题（两枚"硬币"）及其词分布
# 主题0：科技
topic_tech = {'算法': 0.4, '数据': 0.4, '学习': 0.2}
# 主题1：体育
topic_sports = {'比赛': 0.5, '进球': 0.3, '运动员': 0.2}

# 两位作者（文档）的主题混合比例
author_a_mix = [0.8, 0.2]  # 作者A：80%科技 + 20%体育
author_b_mix = [0.2, 0.8]  # 作者B：20%科技 + 80%体育

def generate_words(num_words, topic_mix):
    """根据主题混合比例生成词语：先选硬币，再掷硬币"""
    words = []
    topics = [0, 1]  # 主题索引
    for _ in range(num_words):
        # 1. 根据混合比例选择一枚硬币（主题）
        chosen_topic = random.choices(topics, weights=topic_mix, k=1)[0]
        # 2. 根据选定主题的分布掷出词语
        if chosen_topic == 0:
            word = random.choices(list(topic_tech.keys()), weights=list(topic_tech.values()), k=1)[0]
        else:
            word = random.choices(list(topic_sports.keys()), weights=list(topic_sports.values()), k=1)[0]
        words.append(word)
    return words

# 生成观察数据
words_from_a = generate_words(10, author_a_mix)
words_from_b = generate_words(10, author_b_mix)

print("作者A（科技爱好者）生成的10个词：", words_from_a)
print("作者B（体育爱好者）生成的10个词：", words_from_b)

作者A（科技爱好者）生成的10个词： ['算法', '算法', '数据', '比赛', '算法', '数据', '算法', '数据', '数据', '比赛']
作者B（体育爱好者）生成的10个词： ['进球', '比赛', '比赛', '算法', '进球', '进球', '运动员', '进球', '进球', '进球']

注意一个细节：作者 A 的袋子里偶尔也会蹦出”比赛”，作者 B 也会蹦出”算法”——因为混合比例不是非 0 即 1，每生成一个词都要重新”抽一次硬币”。这正是主题模型与”一个文档只属于一个主题”的本质区别。

PLSA 的概率图模型

PLSA 用概率图模型来形式化上述生成过程。模型涉及三个变量：

• $d$：文档（可观测）
• $w$：词语（可观测）
• $z$：主题（隐含变量，即类比中的”硬币”）

其生成过程为：

1. 以概率 $P(d)$ 选择一篇文档 $d$。
2. 对于文档 $d$ 中的每一个词的位置： a. 根据条件分布 $P(z|d)$ 选择一个主题 $z$。 b. 根据条件分布 $P(w|z)$ 从主题 $z$ 中生成一个词 $w$。

为了简洁地表示重复结构，我们使用盘表示法（Plate Notation）：图中的方块（plate）就代表”重复”。如果只画一个隐含变量 $z$ 对应一个观测 $x$、外面框一个标着 $N$ 的方块，它展开就是 $z_1 \to x_1, z_2 \to x_2, \ldots, z_N \to x_N$——同一对结构重复 $N$ 次。两个长得像的图模型，差别就看重复的方块把谁圈了进来：圈的位置不同，含义就完全不同。

按这个记法，PLSA 的完整图模型是：外层一个标着 $M$ 的盘代表 $M$ 篇文档（$d_1, d_2, \ldots, d_M$，文档参数控制着主题的选择），每篇文档内嵌一个标着 $N$ 的盘，代表这篇文档的 $N$ 个词；内盘中对每个词位置 $n$：$d$ 指向隐含主题 $z_n$，$z_n$ 再指向观测词 $w_n$。一大套复杂的概率关系，用几层”盘子”就简洁地表示出来了。

这个模型想建模的是 $w$ 与 $d$ 的联合概率。推导从引入隐含变量开始：我们想知道”第三个文本里出现某个词的概率”，就要先构造隐含变量 $z$，写出

$$P(d, w) = P(d) \, P(w|d)$$

而 $P(w|d)$ 无法直接得到——词并不是从文档直接生成的。注意到 $z$ 跟 $d$ 相关（$d$ 是 $z$ 的条件），$w$ 又直接跟 $z$ 相关，于是用贝叶斯公式把 $P(d|z)$ 换成 $P(z|d) \cdot P(d)$，再对所有的 topic 求和，就得到：

$$P(d, w) = P(d) \sum_{z} P(w|z) P(z|d)$$

有了这个联合概率，我们就可以根据已观测的 $D$ 和 $W$ 去估计参数（极大似然），进而对未来做预测。具体的求解不需要手推公式——有现成的模型和算法（如期望最大化 EM 算法，正是我们学 GMM 时用过的），而且 topic model 的实现代码有很多不同版本，都可以拿来实验。

展望：从 PLSA 到 LDA

到目前为止，我们其实还没有讲”真正的”主题模型——本节只是最简单地引入了 latent topic 的概念。PLSA 的参数 $P(z|d)$ 与训练文档绑定，不是一个完备的生成式模型。接下来两节我们先学习它的数学基石狄利克雷分布（Dirichlet Distribution），然后正式进入 LDA（Latent Dirichlet Allocation，潜在狄利克雷分配）——那里才有完整的数学描述，希望大家跟得上。

📝 动手练一练

1. 概念辨析：在PLSA模型中，如果我们已知一篇文档的主题分布 $P(z|d)$ 和每个主题的词分布 $P(w|z)$，请描述如何计算该文档中出现某个特定词 $w$ 的概率 $P(w|d)$。这与我们直接统计文档中词频得到的概率有何本质区别？

2. 动手实验：下面的代码观察一段词，用贝叶斯推断它更可能来自哪位作者。请你修改 words_manual 列表里的词语，观察当生成的词语更偏向体育或更混合时，推断结果如何变化。

import math

# 为保证本块可独立运行，重新定义两枚硬币与两位作者的混合比例
topic_tech = {'算法': 0.4, '数据': 0.4, '学习': 0.2}
topic_sports = {'比赛': 0.5, '进球': 0.3, '运动员': 0.2}
author_a_mix = [0.8, 0.2]  # 作者A：80%科技 + 20%体育
author_b_mix = [0.2, 0.8]  # 作者B：20%科技 + 80%体育

def likelihood_of_words(words, topic_mix):
    """计算一段词由某混合比例生成的对数似然（对数空间防止下溢）"""
    log_likelihood = 0.0
    for w in words:
        # P(w) = P(w|主题0)*P(主题0) + P(w|主题1)*P(主题1)
        p_w_given_t0 = topic_tech.get(w, 0.0)
        p_w_given_t1 = topic_sports.get(w, 0.0)
        p_w = p_w_given_t0 * topic_mix[0] + p_w_given_t1 * topic_mix[1]
        # 使用很小的epsilon防止概率为0导致对数无穷大
        log_likelihood += math.log(p_w + 1e-10)
    return log_likelihood

# 修改观察到的词，试试不同组合
words_manual = ['比赛', '进球', '运动员']
print("观察到的词语：", words_manual)

like_a = likelihood_of_words(words_manual, author_a_mix)
like_b = likelihood_of_words(words_manual, author_b_mix)

# 假设先验概率相等 P(A)=P(B)=0.5，计算后验概率
# 先做限幅，防止指数溢出
like_a_safe = max(min(like_a, 500), -500)
like_b_safe = max(min(like_b, 500), -500)
posterior_a = math.exp(like_a_safe) / (math.exp(like_a_safe) + math.exp(like_b_safe))
posterior_b = math.exp(like_b_safe) / (math.exp(like_a_safe) + math.exp(like_b_safe))

print("推断结果（假设先验相等）:")
print(f"  来自作者A的后验概率: {posterior_a:.4f}")
print(f"  来自作者B的后验概率: {posterior_b:.4f}")
if posterior_a > posterior_b:
    print("  结论：这段文字更可能来自作者A（科技爱好者）。")
else:
    print("  结论：这段文字更可能来自作者B（体育爱好者）。")

观察到的词语： ['比赛', '进球', '运动员']
推断结果（假设先验相等）:
  来自作者A的后验概率: 0.0154
  来自作者B的后验概率: 0.9846
  结论：这段文字更可能来自作者B（体育爱好者）。

观察到的词语： ['算法', '数据', '比赛']
推断结果（假设先验相等）:
  来自作者A的后验概率: 0.8000
  来自作者B的后验概率: 0.2000
  结论：这段文字更可能来自作者A（科技爱好者）。

本章小结

本节我们迈出了从简单词袋模型走向深层语义建模的关键一步。从”每开除一位语言学家”的统计主义转向，到词袋与词-文档矩阵的符号化表示，再到 PLSA 引入隐含主题：主题模型通过”主题”这一隐含变量，为文档生成词语的过程提供了优雅的概率解释。其”文档-主题-词”的三层结构、“硬币与同学”的类比、盘表示法与 $P(d, w) = P(d) \sum_{z} P(w|z) P(z|d)$ 的联合概率公式，是我们理解后续 LDA 的坚实基础。

📋 行动清单

• 理解核心类比：确保能用”作者选择硬币（主题混合）-> 硬币掷出词语”的比喻，向他人解释主题模型的基本思想。
• 复现关键公式：在纸上写出PLSA的联合概率公式 $P(d, w) = P(d) \sum_{z} P(w|z) P(z|d)$，并说明每一项的含义，特别是贝叶斯公式在哪一步介入。
• 运行实验代码：动手修改并运行讲义中的代码，观察不同词语组合如何影响对文档来源（作者）的贝叶斯推断，直观感受主题混合与词语生成的关系。

—— 小象教研组