概率与统计：机器学习的数学基础

小象实战讲义 · 机器学习算法精讲

本节我们将深入探讨机器学习中至关重要的数学基石——概率与统计。机器学习处理的往往是充满不确定性的现实世界数据，而概率论与统计学正是我们量化、理解和驾驭这种不确定性的核心数学工具。学完本节，你将能够理解概率的两种核心解释，掌握条件概率的深刻内涵，并能够运用概率公理和基本定理分析实际问题。

💡 核心导读

• 概率的两种面孔：理解基于频率的客观概率（Frequentist）与基于主观信念的主观概率（Subjective/Bayesian）的区别及其在机器学习中的意义。
• 概率的数学基石：从集合论视角回顾概率的定义，并掌握概率论的三条基本公理。
• 条件概率的深刻性：通过经典的“两个孩子”问题，深入理解条件概率的微妙之处及其计算。
• 全概率定理：学习如何将一个复杂事件的概率分解为一系列条件概率的加权和，这是后续贝叶斯推理的基础。

概率：客观与主观

我们通常从“频率”开始理解概率。例如，反复抛掷一枚均匀硬币，正面朝上的次数占总次数的比例会逐渐稳定在1/2附近。这种通过大量重复试验来定义概率的方式，被称为频次主义（Frequentist） 解释，或称客观概率。它适用于可重复的随机试验。

然而，生活中的许多不确定性无法通过重复试验来度量。讲师连举三例（外加一个英文原版）：

• 《伊利亚特》和《奥德赛》是否出自同一位作者（教材里的经典英文例子）——比如问，《红楼梦》和《水浒传》是同一个人写的概率有多大？
• 小张今年 35 岁，他结婚的概率有多大？——你不可能让小张”大量重复采样”来测这个概率。
• 老王今年 42 岁，他的孩子上小学的概率有多大？

这些事件往往是”一次性”的，其概率反映了我们对事件发生可能性的主观信念或知识状态的度量，被称为主观概率。在机器学习，尤其是贝叶斯学派中，我们大量使用这种主观概率，将其视为对不确定性的一种量化估计。

概率的数学基础：从集合论到公理

集合论视角

概率论最初建立在集合论之上。我们将一个随机试验所有可能结果的集合称为样本空间（Sample Space），记作 $\Omega$。样本空间的子集称为事件（Event）。

例如，掷一个骰子的样本空间是 $\Omega = \lbrace 1,2,3,4,5,6\rbrace$。事件“点数为奇数”是 $A = \lbrace 1,3,5\rbrace$，事件“点数大于4”是 $B = \lbrace 5,6\rbrace$。

• 事件 $A$ 与 $B$ 同时发生，对应集合的交集 $A \cap B = \lbrace 5\rbrace$。
• 事件 $A$ 或 $B$ 发生，对应集合的并集 $A \cup B = \lbrace 1,3,5,6\rbrace$。
• 事件 $A$ 不发生，对应集合的补集 $A^c = \lbrace 2,4,6\rbrace$。

集合之间的关系还有两种值得注意：若 $T$ 完全包含于 $S$（$T \subset S$），则”发生 $S$ 但不发生 $T$“对应 $T$ 的补集落在 $S$ 内的那部分；更重要的概念是划分（partition）——如果若干集合两两不相交（disjoint），且合并起来恰好铺满整个空间，它们就构成样本空间的一个划分。比如骰子点数空间中，$\lbrace 1,2\rbrace, \lbrace 3,4\rbrace, \lbrace 5,6\rbrace$ 三块互不重叠又覆盖全部六种可能，就是一个划分。这个概念马上会在全概率定理里唱主角。

事件 $A$ 的概率 $P(A)$ 被定义为一个介于0和1之间的数，用于度量该事件发生的可能性。$P(A)=1$ 表示事件必然发生，$P(A)=0$ 表示事件不可能发生。

顺带一问：为什么概率非要取 0 到 1？其实取 0 到 100 也完全可以——这只是数学上的一种约定，就像给学生打分用 0~100 分制一样，是人为选定的度量方式。用小数表示可能性，1 代表百分之百可能，0 代表没有可能，中间的数代表其大小。

概率公理

作为严密的数学理论，概率论建立在以下三条公理之上——就像平面几何要从”过直线外一点只能作一条平行线”这类公理出发一样，整个概率论的结论都从这几条推出来：

1. 非负性：对于任何事件 $A$，有 $P(A) \ge 0$。
2. 可加性：如果事件 $A$ 与 $B$ 互斥（即 $A \cap B = \emptyset$），则 $P(A \cup B) = P(A) + P(B)$。此性质可推广至可数个两两互斥的事件。
3. 归一性：整个样本空间的概率为1，即 $P(\Omega) = 1$。

这三条公理是概率论所有后续结论的基石。

条件概率与全概率定理

条件概率

条件概率（Conditional Probability） 描述在已知某事件 $B$ 发生的条件下，另一事件 $A$ 发生的概率，记作 $P(A|B)$。其定义为： $$P(A|B) = \frac{P(A \cap B)}{P(B)}, \quad \text{其中 } P(B) > 0$$

直观理解：条件概率 $P(A|B)$ 将我们的关注范围从整个样本空间 $\Omega$ 缩小到了事件 $B$ 已经发生的这个“新世界”里。然后，我们计算在这个新世界里，事件 $A$ 所占的比例（即 $A \cap B$ 占 $B$ 的比例）。

示例：掷一个均匀骰子。设事件 $A$ 为“点数为3”，事件 $B$ 为“点数为奇数”。

• 无条件概率：$P(A) = 1/6$。
• 条件概率：在已知点数为奇数的条件下，点数为3的概率为 $P(A|B) = \frac{P(A \cap B)}{P(B)} = \frac{P(\lbrace 3\rbrace )}{P(\lbrace 1,3,5\rbrace )} = \frac{1/6}{3/6} = \frac{1}{3}$。

经典问题：两个孩子的概率

下面这个经典问题能帮助我们更精细地理解条件概率。

问题背景：邻居约翰有两个孩子。

• 情景一（PA）：约翰告诉你：“我两个孩子中有一个是男孩。”问：另一个孩子是女孩的概率是多少？
• 情景二（PB）：你看到约翰的一个孩子在院子里玩，是个男孩。问：你没看到的那个孩子是女孩的概率是多少？

分析与解答： 两个孩子的性别组合（按出生顺序）有四种等可能的情况：{男男，男女，女男，女女}，即样本空间为 $\Omega = \lbrace MM, MF, FM, FF\rbrace$。

• 对于情景二（PB）：你观察到了一个特定的孩子是男孩。这等价于你知道“第一个孩子是男孩”或“第二个孩子是男孩”中的一个具体事实。无论哪种，另一个孩子的性别与已观察到的孩子独立，因此是女孩的概率为 $PB = 1/2$。

• 对于情景一（PA）：约翰的陈述“有一个是男孩”是基于对两个孩子的整体描述。这个条件事件 $B$ = “至少有一个男孩” = $\lbrace MM, MF, FM\rbrace$。 在这个条件下，另一个孩子是女孩的事件 $A$ = $\lbrace MF, FM\rbrace$。 因此，条件概率 $PA = P(A|B) = \frac{P(A \cap B)}{P(B)} = \frac{P(\lbrace MF, FM\rbrace )}{P(\lbrace MM, MF, FM\rbrace )} = \frac{2/4}{3/4} = \frac{2}{3}$。

结论：$PA = 2/3$，$PB = 1/2$，两者并不相同。关键区别在于条件信息的来源不同：情景一的条件是基于两个孩子的整体信息（过滤掉了“女女”这种可能），而情景二的条件是基于对其中一个孩子的具体观察。

全概率定理

全概率定理（Total Probability Theorem）是条件概率的一个直接应用。如果事件 $B_1, B_2, ..., B_n$ 构成样本空间 $\Omega$ 的一个划分（即它们两两互斥，且并集为 $\Omega$），那么对于任意事件 $A$，有： $$P(A) = \sum_{i=1}^{n} P(A|B_i) P(B_i)$$

直观理解：事件 $A$ 的发生，可以通过多种“路径”实现，即与各个划分事件 $B_i$ 同时发生。全概率定理将 $A$ 的总概率，分解为所有可能路径上概率（$P(B_i)$）与在该路径下 $A$ 发生概率（$P(A|B_i)$）的乘积之和。

这一定理是后续推导贝叶斯定理的关键。

📝 动手练一练

1. 概念辨析：假设我们有一个不均匀的硬币，其正面朝上的概率为 $p$ (未知)。小明抛了10次，观察到7次正面。小华说：“根据频率解释，这枚硬币正面朝上的概率是0.7。” 小华的说法准确吗？为什么？这更接近客观概率还是主观概率的解释？

2. 条件概率计算：某疾病在人群中的发病率为1%。针对该疾病的检测试剂，在患病者中呈阳性的概率为99%（灵敏度），在未患病者中呈阳性的概率为5%（假阳性率）。如果一个人检测结果为阳性，请问他真正患病的概率是多少？（提示：利用全概率定理和条件概率定义进行计算）

本章小结

本节我们奠定了机器学习所需的概率论基础。我们从概率的两种哲学解释——客观的频率主义与主观的贝叶斯主义——入手，理解了概率作为不确定性度量工具的本质。随后，我们回归数学本身，从集合论的角度形式化地定义了概率，并介绍了支撑整个概率论大厦的三条公理。最后，我们深入探讨了条件概率这一核心概念，通过经典例子辨析了其微妙之处，并引出了全概率定理，为后续学习贝叶斯推理和更复杂的概率模型做好了准备。

📋 行动清单

• 尝试用自己的话向他人解释“客观概率”与“主观概率”的区别，并各举一个机器学习中的例子。
• 重做“两个孩子”的概率问题，确保能清晰解释为何两种情景下的概率不同。
• 利用全概率定理，尝试推导著名的贝叶斯定理：$P(B|A) = \frac{P(A|B)P(B)}{P(A)}$，并思考其在机器学习中的应用（如朴素贝叶斯分类器）。

—— 小象教研组