朴素贝叶斯

小象实战讲义 · 机器学习算法精讲

先说名字。“Naive”本是法文词，意思就是”非常单纯”——用现在的话讲，这是”傻白甜”版的贝叶斯；直译太怪，中文就翻成了”朴素贝叶斯”。Bayes 则是 18 世纪的一位英国牧师，他的名字后来被用到了各个地方——讲师的学生里就有人把自家的狗起名叫”贝叶斯”，挺酷。本节会看到：它其实一点也不朴素，只是很 naive。

💡 核心导读

• 贝叶斯定理回顾：从条件概率出发，理解如何将后验概率转化为先验概率与似然的乘积。
• “朴素”假设：掌握“特征条件独立”这一核心假设，理解它如何将高维联合概率分解为低维条件概率的乘积。
• 模型推导：从贝叶斯定理出发，逐步推导出朴素贝叶斯分类器的决策公式。
• 数值技巧：了解在实际计算中，为何常使用对数概率来避免数值下溢问题。
• 应用示例：通过一个简单的二分类例子，直观感受朴素贝叶斯的计算流程。

从贝叶斯定理到分类器

我们首先回顾贝叶斯定理（Bayes’ rule）。假设我们有一个分类问题，类别标签为 $y$（例如，$y=0$ 代表“小狗”，$y=1$ 代表“小猫”）。对于一个具有 $n$ 个特征的新数据点 $\mathbf{x} = (x_1, x_2, ..., x_n)$——比如一张图片，讲师算了笔账：一张 $20\times20$ 的小图，共 400 个像素，再乘上 RGB 3 个颜色通道，就是一个 1200 维的向量。我们想知道它属于类别 $y$ 的概率 $P(y | \mathbf{x})$，即后验概率。

根据贝叶斯定理，这个后验概率可以表示为： $$P(y | \mathbf{x}) = \frac{P(\mathbf{x} | y) P(y)}{P(\mathbf{x})}$$ 其中：

• $P(y)$ 是先验概率（prior），表示在观测到数据前，类别 $y$ 本身出现的概率。
• $P(\mathbf{x} | y)$ 是似然（likelihood），表示在类别 $y$ 的条件下，观测到数据 $\mathbf{x}$ 的概率。
• $P(\mathbf{x})$ 是证据（evidence），对于给定的 $\mathbf{x}$，它是一个与 $y$ 无关的常数，起到归一化的作用。

在分类任务中，我们的目标是找到使后验概率 $P(y | \mathbf{x})$ 最大的那个类别 $y$。由于 $P(\mathbf{x})$ 对所有类别都是相同的，因此最大化后验概率等价于最大化分子： $$\hat{y} = \arg\max_{y} P(\mathbf{x} | y) P(y)$$ 这就是最大后验概率（MAP）决策规则。

顺便把分母也写开——这是实践中经常用的形式。以两类为例，由 $P(C_1|\mathbf{x}) + P(C_2|\mathbf{x}) = 1$，可以把归一化常数展开成两个分子的和：

$$P(C_1 | \mathbf{x}) = \frac{P(\mathbf{x} | C_1) P(C_1)}{P(\mathbf{x} | C_1) P(C_1) + P(\mathbf{x} | C_2) P(C_2)}$$

它长得不如贝叶斯定理原形眼熟，但正因为分母对 $y$ 不产生任何影响（换哪个类别它都一样），做分类时我们才敢把它整个扔掉、只比分子。

“朴素”假设：特征条件独立

现在问题的核心变成了如何估计似然 $P(\mathbf{x} | y)$。$\mathbf{x}$ 是一个高维向量，直接估计其联合分布 $P(x_1, x_2, ..., x_n | y)$ 非常困难，尤其是在数据有限的情况下（这被称为“维数灾难”）。

朴素贝叶斯的核心——“朴素”假设（Naive Assumption）——就是为了解决这个问题而提出的。它假设：在给定类别 $y$ 的条件下，所有特征 $x_1, x_2, ..., x_n$ 之间是相互独立的。

用数学公式表示这个假设就是： $$P(x_1, x_2, ..., x_n | y) = P(x_1 | y) \cdot P(x_2 | y) \cdots P(x_n | y) = \prod_{i=1}^{n} P(x_i | y)$$

这个假设非常强，在现实中很少完全成立（例如，一张图片中相邻像素的颜色通常是相关的）。因此我们说这个模型很“天真”（naive）。然而，尽管这个假设过于简化，朴素贝叶斯在许多实际任务（如文本分类）中却表现出了惊人的效果，并且因其计算简单、效率高而广受欢迎。

朴素贝叶斯分类器推导

将“朴素”假设代入我们的 MAP 决策规则中，我们得到朴素贝叶斯分类器的决策公式： $$\hat{y} = \arg\max_{y} P(y) \prod_{i=1}^{n} P(x_i | y)$$

在实际操作中，$P(y)$ 和 $P(x_i | y)$ 都是从训练数据中估计得到的：

• 先验概率 $P(y)$：用训练集中类别 $y$ 的样本数除以总样本数来估计。讲师的例子：训练集里有 10 张小猫、20 张小狗，那么 $P(\text{小猫}) = 10/30 \approx 33\%$，$P(\text{小狗}) = 20/30 \approx 67\%$。
• 条件概率 $P(x_i | y)$：对于离散特征，用训练集中属于类别 $y$ 且第 $i$ 个特征取值为 $x_i$ 的样本数，除以属于类别 $y$ 的样本总数来估计。对于连续特征，通常假设其服从某种分布（如高斯分布），然后估计该分布的参数。

对数概率：避免数值下溢的实用技巧

直接计算多个概率的乘积 $\prod_{i=1}^{n} P(x_i | y)$ 会导致数值非常小，可能超出计算机浮点数的表示范围，造成数值下溢。一个标准的解决方案是取对数。由于对数函数是单调递增的，最大化一个正数的乘积等价于最大化其对数之和： $$\hat{y} = \arg\max_{y} \left[ \log P(y) + \sum_{i=1}^{n} \log P(x_i | y) \right]$$ 这样就将乘法转换成了加法，有效避免了数值下溢问题，并且计算上也更加高效。

下面，我们通过一个极简的代码示例来演示朴素贝叶斯的核心计算逻辑。我们构造一个只有两个样本、两个二值特征的数据集。

import math
from collections import defaultdict

# 构造一个极简的训练数据：每个样本由特征列表和标签组成
# 特征为二值 [0, 1]，标签为 0 或 1
train_data = [
    ([1, 0], 0),  # 样本1，特征为[1,0]，属于类别0
    ([0, 1], 1),  # 样本2，特征为[0,1]，属于类别1
]

# 手动计算先验概率 P(y) 和条件概率 P(x_i=1 | y) 的对数
# 注意：这是一个演示计算过程的简化版本，条件概率部分含拉普拉斯平滑（见下方公式）。

# 统计各类别样本数
label_count = {0: 0, 1: 0}
for _, label in train_data:
    label_count[label] += 1
total_samples = len(train_data)

# 计算先验概率的对数 log P(y)
log_prior = {}
for label, count in label_count.items():
    log_prior[label] = math.log(count / total_samples)

# 统计每个类别下，每个特征取值为1的次数
# feature_count[label][feature_index] = count of (x_i == 1)
feature_count = {0: defaultdict(int), 1: defaultdict(int)}
for features, label in train_data:
    for i, feat_val in enumerate(features):
        if feat_val == 1:
            feature_count[label][i] += 1

# 计算条件概率的对数 log P(x_i=1 | y)
# 使用拉普拉斯平滑避免零概率： (count + 1) / (label_count + 2)
log_cond_prob = {0: {}, 1: {}}
for label in [0, 1]:
    for i in range(2):  # 我们只有两个特征
        count = feature_count[label][i]
        # 拉普拉斯平滑
        prob = (count + 1) / (label_count[label] + 2)
        log_cond_prob[label][i] = math.log(prob)

print("先验概率的对数:", log_prior)
print("条件概率 P(x_i=1|y) 的对数:")
for label in [0, 1]:
    print(f"   类别 {label}:", dict(log_cond_prob[label]))

先验概率的对数: {0: -0.6931471805599453, 1: -0.6931471805599453}
条件概率 P(x_i=1|y) 的对数:
   类别 0: {0: -0.40546510810816444, 1: -1.0986122886681098}
   类别 1: {0: -1.0986122886681098, 1: -0.40546510810816444}

现在，我们实现一个完整的、包含平滑处理的朴素贝叶斯训练和预测函数，并用一个简单的新样本进行测试。

import math
from collections import defaultdict

def train_naive_bayes(data, alpha=1.0):
    """
    训练朴素贝叶斯模型（适用于二值特征）。
    data: 列表，每个元素为 (特征列表, 标签)
    alpha: 拉普拉斯平滑参数
    返回：先验概率字典，条件概率字典
    """
    label_counts = defaultdict(int)
    feature_counts = defaultdict(lambda: defaultdict(int)) # feature_counts[label][feature_idx]
    feature_present_counts = defaultdict(int) # 记录每个类别下，特征值为1的总次数（用于平滑分母）
    total_samples = len(data)
    num_features = len(data[0][0]) if data else 0

    # 统计
    for features, label in data:
        label_counts[label] += 1
        for i, feat_val in enumerate(features):
            if feat_val == 1:
                feature_counts[label][i] += 1
                feature_present_counts[label] += 1

    # 计算先验概率 log P(y)
    log_prior = {}
    for label, count in label_counts.items():
        log_prior[label] = math.log(count / total_samples)

    # 计算条件概率 log P(x_i=1 | y) 并应用拉普拉斯平滑
    # P(x_i=1|y) = (count(x_i=1, y) + alpha) / (count(y) + alpha * num_features * 2)
    # 这里假设特征为二值，所以可能取值有2种（0和1）。平滑分母加 alpha * 2。
    # 更通用的公式是 (count + alpha) / (count(y) + alpha * |V|)，其中|V|是特征i的可能取值数。
    log_cond_prob = defaultdict(dict)
    for label in label_counts:
        denominator = label_counts[label] + alpha * 2  # 二值特征，|V|=2
        for i in range(num_features):
            count = feature_counts[label].get(i, 0)
            prob = (count + alpha) / denominator
            # 对指数运算的输入进行限幅，防止math.log(0)或极端值
            prob = max(min(prob, 1 - 1e-15), 1e-15)
            log_cond_prob[label][i] = math.log(prob)

    return log_prior, log_cond_prob

def predict_naive_bayes(features, log_prior, log_cond_prob):
    """
    使用训练好的模型预测样本标签。
    features: 特征列表
    返回：预测的标签
    """
    best_label = None
    best_score = -float('inf')

    for label in log_prior:
        score = log_prior[label]  # 先验项
        for i, feat_val in enumerate(features):
            # 注意：我们只存储了 P(x_i=1|y) 的对数。
            # 对于二值特征，P(x_i=0|y) = 1 - P(x_i=1|y)
            if feat_val == 1:
                score += log_cond_prob[label][i]
            else:
                # 计算 log(1 - exp(log_p1))，其中log_p1 = log(P(x_i=1|y))
                log_p1 = log_cond_prob[label][i]
                # 防止数值问题
                p1 = math.exp(log_p1)
                p0 = 1 - p1
                p0 = max(min(p0, 1 - 1e-15), 1e-15)
                score += math.log(p0)
        if score > best_score:
            best_score = score
            best_label = label
    return best_label

# 使用与之前相同的训练数据
train_data = [
    ([1, 0], 0),
    ([0, 1], 1),
]

# 训练模型
log_prior, log_cond_prob = train_naive_bayes(train_data, alpha=1.0)
print("训练完成。")
print("先验概率对数:", dict(log_prior))
print("条件概率对数结构（类别->特征索引->值）:", {k: dict(v) for k, v in log_cond_prob.items()})

# 预测新样本
new_sample = [1, 0]  # 特征与第一个训练样本相同
predicted_label = predict_naive_bayes(new_sample, log_prior, log_cond_prob)
print(f"\n新样本 {new_sample} 的预测标签为: {predicted_label}")

训练完成。
先验概率对数: {0: -0.6931471805599453, 1: -0.6931471805599453}
条件概率对数结构（类别->特征索引->值）: {0: {0: -0.40546510810816444, 1: -1.0986122886681098}, 1: {0: -1.0986122886681098, 1: -0.40546510810816444}}

新样本 [1, 0] 的预测标签为: 0

可以看到，对于特征为 [1, 0] 的新样本，模型正确地预测其属于类别0。你可以尝试修改 new_sample 为 [0, 1] 或 [1, 1]，观察预测结果。

📝 动手练一练

1. 概念辨析：朴素贝叶斯中的“朴素”假设在现实世界中常常不成立，为什么该算法仍然能在许多任务（如垃圾邮件过滤）中取得不错的效果？

2. 代码实践：在上述预测函数 predict_naive_bayes 中，我们分别处理了特征值为1和0的情况。如果特征是多值的（例如，取值为 a, b, c），训练和预测函数应该如何修改？请描述主要修改思路。

本章小结

本节我们深入探讨了朴素贝叶斯分类器。我们从贝叶斯定理出发，引出了最大后验概率决策规则。为了克服高维数据下联合概率估计的难题，我们引入了“特征条件独立”这一核心假设，从而推导出朴素贝叶斯的最终形式。我们还讨论了使用对数概率来避免数值计算问题的实用技巧，并通过手写代码实现了基础的二值特征朴素贝叶斯分类器。

朴素贝叶斯模型简单、高效，且在许多现实任务中表现稳健，是机器学习入门必须掌握的经典算法之一。

📋 行动清单

• 尝试运行讲义中的代码，并修改 new_sample 的特征值，观察预测结果的变化。
• 思考一个你熟悉的应用场景（如判断一条新闻属于体育还是科技），用文字描述如何为该场景构建朴素贝叶斯分类器（需要哪些特征？特征如何表示？）。
• 了解朴素贝叶斯的不同变体，如用于连续特征的高斯朴素贝叶斯，以及用于文本处理的多项朴素贝叶斯。

—— 小象教研组