贝叶斯公式：概率即信念

小象实战讲义 · 机器学习算法精讲

第十一章把 SVM 从数学根子一路推到核方法，机器学习的「线性部分」就此收官。从这一节开始，课程进入统计学习（Statistical Learning）。讲师在开讲具体算法（图模型）之前，特意先花一整节探讨「背后的这些东西」：概率到底是什么？这层哲学地基，决定了统计学习一族方法与前面所有章节气质不同的推理方式。

💡 核心导读

• 三大版图：机器学习大致分线性部分（SVM、稀疏编码、压缩感知——控制稀疏性的线性函数）、统计学习（统计方法建模、找极大似然，偏生成式 generative）、深度学习（神经网络、非线性模型）。
• 两种概率观：频率学派把概率定义为大量试验中相对频率的极限；贝叶斯学派把概率定义为不确定性的度量——对一件事信任程度的量化。
• 贝叶斯公式：$P(A|B) = \frac{P(B|A)P(A)}{P(B)}$——用似然更新先验、得到后验，描绘了一个学习过程。
• 两个案例：室友的电影票（强先验被强证据推翻）、外星人与日出（证据累积，后验趋近 1 但不等于 1）。
• 一个体会：人脑的日常推理某种程度就在用贝叶斯——课件页原话 “This intuition is already embedded in our mind!”。

机器学习的三大版图

开场先做一次全局定位。讲师把机器学习划分成几块：

• 线性部分：包括 SVM、稀疏编码（sparse coding）、压缩感知（compressive sensing）等——本质上都是通过控制稀疏性来构造线性函数。第 9 章的 LASSO、第 10–11 章的 SVM，都归这一块。
• 统计学习：通过统计的方法进行建模，找到给定数据的极大似然。我们以前学过的方法偏 Discriminative（判别式）——discriminate 就是「分别、区分」这个词，比如逻辑回归；而统计学习的方法偏 generative（生成式），属于「生成方法」。
• 深度学习：以神经网络为主（neural model，神经算法），偏向非线性的模型。

（讲师的原话是「重要的两大块——线性的部分和统计学习的部分」，深度学习是「今天的」新势力，可以简单认为是第三块。）

本章从 graphical model（图模型）讲起。但在进入算法之前，先来探讨背后的第一件事：主观概率。

频率学派：概率是频率的极限

先看我们最熟悉的世界。数理统计、大学低年级的概率统计课，教的都是比较经典的方法：想知道一枚硬币正面朝上的概率，就要大量地掷这枚硬币；想知道一颗骰子掷出某个点数的概率，就要大量地掷这颗骰子——很多事件的概率，都是靠这种重复性的采样、大量重复性的试验找出来的。

从数学方法上讲，一个事件的概率，要看这件事所占的空间与所有可能事件的空间之比：把「发生这件事」的空间，比上「所有事情」的空间——这就是概率最朴素的定义（第 2 章《概率与统计》一节正是这么起步的）。

这套观点有一个正式的名字：frequentist（频率学派）——frequency（频率）加上表示「人」的后缀 ist，即「相信频率方式的这派人」。课件页给出的定义是：把一个事件的概率，定义为 an event’s probability as the limit of its relative frequency in a large number of trials——大量试验中相对频率的极限。这套解释支撑了实验科学家和民调工作者的统计需求：概率（原则上）可以通过可重复的客观过程得到，理想情况下不掺杂个人意见。

但在机器学习里，我们经常用的是另一种 Bayesian approach（贝叶斯方法）——Bayesian 就是「贝叶斯」这个词的形容词。

贝叶斯学派：概率是不确定性的度量

Bayes 是一个人——Thomas Bayes。这位 18 世纪的英国牧师（第 5 章讲朴素贝叶斯时介绍过他）给后人留下了「好多遗产」，其中主要的一项就是贝叶斯公式：它刻画了先验概率、似然与后验概率之间的关系。

而作为一个学派，贝叶斯统计学派希望把所有的概率，都表示成一种不确定性的度量：你对一件事的概率的看法，是一个 personal belief——个人信念，是对这件事信任程度的量化。课件页的定义原文：概率被解释为代表一种知识状态的合理期望（reasonable expectation），或个人信念的量化（quantification of a personal belief）。

讲师用自己举了个例子（原话场景）：

「大家觉得我这个结婚的概率有多大？」——这个例子一般是在课堂上举的，很多同学能看见他的戒指；只有声音的时候，大家当然看不见。但如果知道讲师的年纪，大概会说：秦老师结婚的概率，应该比不结婚的概率要大一些。

注意这个概率是怎么来的：并不是把「讲师结婚」这个事件所占的空间，除以「所有人结婚、不结婚」的空间算出来的——没有大量采样，没有比例。它是根据已知经验（同样的年纪大概是什么情况）形成的一个 belief、一个信任度的度量。

类似的还有：你叫了一个快递，想知道「12 点之前送到」的概率有多大？你也没办法把送快递这件事拿来大量采样。你能做的，只是给这份不确定性一个数——quantification of uncertainty，不确定性的量化：我们并不知道，但需要一个数把它度量起来。

所以概率本身，是 the measure of an uncertainty——不确定性的度量，取值在 0 和 1 之间，我们有一套数学工具去描述它。至于这个数怎么得到：经典的方式（大量采样、看相对频率）是一种；但只要对一件事有一个 belief、有一个定量的方法，也可以。

课件页在同一页还配了另一个例子：「小明的妻子很漂亮的概率很高」——同样是对单次、不可重复事件的主观判断。

顺带一提：作为两个学派，到今天仍然「有些互相并不认可」（讲师的措辞：不叫冲突，就是不认可）。而学机器学习的这波人，大部分是 Bayesian——为什么？讲师在这里卖了个关子（「一会可以跟大家去讲为什么是这样」），答案藏在后面的室友故事里。

贝叶斯推理：从马航失事说起

其实贝叶斯推理（Bayesian inference）我们已经学过、用过：通过已知的数据，加上人脑先验的知识，推理得到后验的概率——第 2 章的条件概率与贝叶斯、第 5 章的朴素贝叶斯（整章都是「数据＋先验→后验」的流程）都是它。

讲师举了一个当年震动世界的例子：马航失事——那类事件也可以用 Bayesian probability 去做。想求的概率是：

$$P(A|B)$$

其中事件 $A$ 代表「飞机已经失事」，$B$ 是我们已有的卫星数据（satellite data we have）——给定这些卫星数据，飞机已经失事的可能性有多大？

拆开看，它由两个方向的概率组成。一个是先验 $P(A)$：先天地看，飞机失事这件事本身的概率有多大；另一个是似然 $P(B|A)$：如果飞机真的失事了，我们看到这些卫星数据的可能性有多大。「所以这样一个不确定性的后验概率，通过它的似然值和先验概率，就能得到。」

写成完整公式，就是贝叶斯公式：

$$P(A|B) = \frac{P(B|A)\,P(A)}{P(B)}$$

四个成分各有名字：先验 $P(A)$——看到证据之前对 $A$ 的初始看法；似然 $P(B|A)$——如果 $A$ 为真，看到证据 $B$ 的可能性；后验 $P(A|B)$——看到证据之后更新的看法；分母 $P(B)$ 是证据——$B$ 发生的总概率，一个归一化常数（第 2 章讲全概率定理、第 5 章讲朴素贝叶斯时都打过照面）。

这个公式描绘了一个学习过程：从初始看法（先验）出发，拿到新的数据（证据），结合似然，更新出新的看法（后验）。课件页紧接着写了一句话：「This intuition is already embedded in our mind!」——这个直觉，早已内嵌在我们头脑中。下面的两个案例，就是把这句话拆开看。

案例一：室友的电影票

这个故事讲师是从另外一本书上看来的，「我的奇葩室友」：

大学宿舍里几个男孩子住在一起，关系很好，经常一起包宿打游戏。四个人里有一个人打得比较弱——成天被大家取笑、调侃。某天晚上四个人又去打游戏，这人（就叫他小王吧）被虐得不得了，在游戏里输得很惨，被另外三个一顿打。

第二天，三个室友发现小王一夜未归，压根没回宿舍。不用想——他肯定是去包宿练游戏了，想报仇雪恨。这是大家对「小王这个人」的估计：先验已经形成。

再见到他时，室友们问：「怎么样？昨晚包宿练得很努力吧，有没有信心打败我们了？」

小王说：「我没有去啊，我根本就没去练游戏，我跟女朋友去看电影去了。」

没人信：「你别扯了，像你这种的，一定是卧薪尝胆，想把这件事做得更好。」

小王说：「你不信的话，我给你一个证据。」——从兜里掏出一张电影票。

大家突然愣住了：哦，原来你真没去啊。三个室友全都相信了：他确实没去打游戏，真的是跟女朋友看电影去了。

用贝叶斯拆解这个瞬间。设事件 $G$＝小王昨晚去包宿打游戏，证据 $T$＝手里有一张电影票（cinema ticket），想求 $P(G|T)$：

$$P(G|T) = \frac{P(T|G)\,P(G)}{P(T)}$$

（课件页写的是省略分母的形式：$P(\text{PlayGame}|\text{CinemaTicket}) = P(\text{CinemaTicket}|\text{PlayGame})P(\text{PlayGame})$——即第 5 章用过的「正比」形式，分母作为归一化常数，不影响谁大谁小。）

• 先验 $P(G)$ 很大：被虐之夜后一夜未归、动机充分——「我们实际上对某些事情总有先入为主的先验」；
• 似然 $P(T|G)$ 几乎为零：反过来问——有多少同学去包宿打游戏，打了一夜出来时兜里还正好揣着一张电影票当证据？「如果你真的去包宿打游戏了，你拿不出一张电影票」，所以这个概率几乎是 0。

先验再大，乘上一个几乎为零的似然，后验也趋于 0。所以当电影票掏出来的那一刻，三个室友瞬间改判：他没去打游戏。

讲师顺势回收了前面卖的关子——为什么学机器学习的多是 Bayesian：我们每个人在思考、对某些事情做不确定性的推理（reasoning）时，某种程度上人脑就在用贝叶斯的方式。生活中大量类似的推理，「其实都服从着某种贝叶斯的原则」。

案例二：太阳明天会升起吗

第二个案例来自一个经典设问：太阳明天升起来的概率有多大？

我们对这个问题脱口而出「百分之百」——那是把「我所有观测到的数据」当成了答案。但换一个视角：假设有一个外星人刚到地球，对这个星球一无所知，只看到一颗行星绕着某颗恒星旋转。问他：明天太阳升起的概率有多大？

• 先验：一无所知——升起来和不升起来，可能各占 $1/2$；
• 证据累积：之后每一天，太阳都升起来了。这些观测很容易得到，每一天的证据（likelihood）都指向「太阳会升起」；
• 不断更新：每次观察，都是在更新先验的知识——后验不断向 1 逼近。

注意那个精细的差别：趋近于 1，但不等于 1。因为最开始有一个 $1/2$ 的先验垫底，之后无论似然多大，后验只能不断逼近，永远到不了 1。

而如果用 frequentist 的方式回答：给定的所有证据和数据——地球上的太阳每天都升起——都指向百分之百，那答案就是 100%。

「这样你会发现两者还是有一些细微的差别，所以希望大家能体会得到。」——本节视频在此收尾。

📝 动手练一练

1. 概念辨析：频率学派和贝叶斯学派对「概率」定义的根本区别是什么？请各举一个本课程已学内容中的例子说明。

2. 把室友的推理算到底：视频中室友的故事是定性讲的（「先验很大」「似然几乎是 0」）。现在给它配上示意数值（数值为讲义设定，用于演示数量级）：

• 室友的先验：$P(G) = 0.9$（被虐之夜后一夜未归，动机充分）；
• 似然：$P(T|G) = 0.001$（打了一夜游戏出来，兜里还恰好有一张电影票）；
• $P(T|\neg G) = 0.8$（没去包宿、真去看了电影，拿得出票）。

问：掏出电影票之后，室友心里「他去包宿了」的后验概率 $P(G|T)$ 是多少？

本章小结

• 三大版图：线性（SVM／稀疏编码／压缩感知）→ 统计学习（生成式、极大似然）→ 深度学习（神经网络、非线性）——本课自此进入第二块的地盘。
• 两种概率观：频率学派＝大量试验中相对频率的极限，客观可重复；贝叶斯学派＝不确定性的度量、信念的量化。快递送达、某人结婚这类无法重复采样的事件，贝叶斯依然给得出数。
• 贝叶斯公式即学习：$P(\text{后验}) \propto P(\text{似然}) \times P(\text{先验})$——先验给出出发点，证据负责更新。
• 两个案例的分量：电影票——强先验被强证据推翻（似然趋零，后验趋零）；日出——证据持续累积，后验趋近 1 但不等于 1（先验垫底），与频率学派一步到位的 100% 形成细微对照。
• 底色：人脑的日常推理本身就带贝叶斯的影子；下一节起的隐含变量、EM、混合模型等统计学习方法，都建立在这套概率观之上。

📋 行动清单

学完本节，你可以立即：

• 重审三门问题：课件页原题——三扇门 A、B、C 中一扇后面有一百万美元，你选了 A；随机地在 B、C 中挑一扇打开，开到 B，里面是空的。Stay 还是 change？用贝叶斯公式算两种选择的后验。（注意：课件版是「随机打开」，与经典蒙提霍尔「主持人知情、刻意避开奖品」的条件不同——答案也不同，正好体会「证据的产生机制」如何影响更新幅度。）
• 观察生活推理：留意一次「先入为主、后被证据改变」的判断，用先验、似然、后验的框架复盘它（讲师：生活中大量推理都服从某种贝叶斯的原则）。
• 预习下一节《隐含变量和概率模型》：统计学习正式开工——当「原因」看不见时，概率模型怎么搭。

—— 小象教研组