完备统计量

完备统计量及其在寻找UMVUE中的应用

小象实战讲义 · 数据科学的统计基础

在点估计理论中，我们追求的是“好”的估计量。上一节我们学习了如何利用充分统计量来改进无偏估计的方差，但得到的估计量是否唯一最优？本节将引入完备统计量的概念，它从“唯一性”的角度刻画统计量的优良性质。掌握完备统计量后，我们将得到一个强大的定理，它能指导我们系统地寻找一致最小方差无偏估计（UMVUE），这是点估计理论中一个非常核心的目标。

💡 核心导读

本节你将学到：

1. 完备统计量的定义：理解如何从“期望为零”推导出“几乎处处为零”，并领会其“唯一性”的直观含义。
2. 完备统计量的性质与应用：了解完备统计量与充分统计量、极小充分统计量的关系，并学会证明常见分布族（如二项分布族）的完备性。
3. 寻找UMVUE的核心定理：掌握“若存在参数的充分完备统计量，则可通过条件期望法得到唯一的UMVUE”这一关键定理及其证明。
4. 指数型分布族的充分完备性：学习一大类常见分布（正态、泊松、Gamma等）的充分完备统计量可以如何方便地找到。
5. UMVUE的求解策略：通过具体案例（如估计泊松分布的概率$P(X=k)$），学习如何运用上述定理和策略，分步求解复杂参数的UMVUE。

从充分性到完备性：统计量性质的深化

在第一章我们初步接触了充分统计量$T(\mathbf{X})$，其核心是充分性：在给定$T$的条件下，样本$\mathbf{X}$的条件分布不再依赖于未知参数$\theta$。这意味着$T$已经包含了样本中关于$\theta$的全部信息。

完备统计量则从另一个角度——唯一性——来刻画统计量的性质。考虑一个变换：将一个统计量（函数）$\phi(\mathbf{X})$映射到其期望$E_\theta[\phi(\mathbf{X})]$，这可以看作一个从函数空间到参数空间上函数空间的变换。完备性要求这个变换是“一一对应”的，即如果两个统计量有相同的期望函数，那么它们几乎必然相等。这种唯一性在寻找最优估计量时至关重要。

完备统计量的定义

设样本$\mathbf{X} = (X_1, \ldots, X_n)$来自分布族${F(x; \theta): \theta \in \Theta}$，$T=T(\mathbf{X})$是一个统计量。

定义（完备统计量）：如果对于任意满足$E_\theta[g(T)] = 0$（对一切$\theta \in \Theta$成立）的可测函数$g(\cdot)$，都能推出 $$P_\theta(g(T) = 0) = 1, \quad \forall \theta \in \Theta,$$ 则称$T$是$\theta$的一个完备统计量。

定义（完备分布族）：如果对于任意满足$E_\theta[\phi(\mathbf{X})] = 0$（对一切$\theta \in \Theta$成立）的可测函数$\phi(\cdot)$，都能推出 $$P_\theta(\phi(\mathbf{X}) = 0) = 1, \quad \forall \theta \in \Theta,$$ 则称该分布族是完备的。

关系：统计量$T$是完备的，等价于$T$的抽样分布族是完备的。

完备性的直观理解与性质

定义中的逻辑是：若一个统计量$g(T)$的期望恒为零（对所有参数取值），那么这个统计量本身几乎必然就是零。这杜绝了“期望为零但函数值波动”的可能性，从而保证了基于期望的变换具有唯一性。

性质：

1. 若$T$是完备统计量，$S = h(T)$是$T$的可测函数，且$h$是一一映射，则$S$也是完备统计量。
2. 充分完备统计量一定是极小充分统计量（即不能再被其他充分统计量函数表示的最小充分统计量）。反之不必然成立。
3. 次序统计量$(X_{(1)}, \ldots, X_{(n)})$在很一般的条件下也是完备的。

示例：证明二项分布族的完备性

设$X \sim B(n, p)$，$p \in (0,1)$。考虑其分布族${B(n, p): p \in (0,1)}$。我们要证明它是完备的。

证明：任取函数$\phi(x)$，假设对一切$p \in (0,1)$，有 $$E_p[\phi(X)] = \sum_{x=0}^{n} \phi(x) \binom{n}{x} p^x (1-p)^{n-x} = 0.$$ 令$\theta = \frac{p}{1-p} > 0$，则$p = \frac{\theta}{1+\theta}$，$1-p = \frac{1}{1+\theta}$。代入上式： $$\sum_{x=0}^{n} \phi(x) \binom{n}{x} \theta^x (1+\theta)^{-n} = 0 \quad \Rightarrow \quad \sum_{x=0}^{n} \phi(x) \binom{n}{x} \theta^x = 0, \quad \forall \theta > 0.$$ 左边是关于$\theta$的$n$次多项式。一个$n$次多项式若在无穷多点（此处是所有$\theta>0$）上取值为零，则其所有系数必须为零。因此， $$\phi(x) \binom{n}{x} = 0, \quad x=0,1,\ldots,n.$$ 由于$\binom{n}{x} > 0$，故必有$\phi(x)=0$对所有$x$成立。根据定义，二项分布族是完备的。

由此可知，对于来自伯努利总体的样本$\mathbf{X}$，其和$T_n = \sum_{i=1}^n X_i$作为充分统计量，其分布$B(n, p)$是完备分布族，故$T_n$是一个充分完备统计量。

完备统计量的核心应用：寻找UMVUE

在2.4节中，我们学习了Rao-Blackwell定理：对于参数$g(\theta)$的任意无偏估计$S(\mathbf{X})$，若$T$是充分统计量，则$h(T) = E[S(\mathbf{X}) | T]$也是一个无偏估计，且方差更小，即$\text{Var}$\theta(h(T)) \le \text{Var}\theta(S(\mathbf{X}))。

但这留下一个问题：这样得到的$h(T)$是否就是方差最小的那个？它是否唯一？完备统计量的引入完美地回答了这个问题。

关键定理：充分完备统计量与UMVUE的唯一性

定理 2.5.1：设$\mathbf{X} = (X_1, \ldots, X_n)$是来自分布族${F(x;\theta): \theta \in \Theta}$的i.i.d.样本，$T = T(\mathbf{X})$是$\theta$的充分完备统计量。若$g(\theta)$是可估参数，且存在$g(\theta)$的一个无偏估计$S(\mathbf{X})$，则 $$h(T) = E[S(\mathbf{X}) | T]$$ 是$g(\theta)$的唯一的一致最小方差无偏估计（UMVUE）。

证明：

1. 无偏性与方差改进：由Rao-Blackwell定理，$h(T)$是$g(\theta)$的无偏估计，且对任意无偏估计$S(\mathbf{X})$，有$\text{Var}$\theta(h(T)) \le \text{Var}\theta(S(\mathbf{X}))。
2. 唯一性（核心步骤）：假设存在另一个$T$的函数$h_1(T)$也是$g(\theta)$的UMVUE。考虑差值$f(T) = h(T) - h_1(T)$。由于两者都是无偏估计，故对任意$\theta$， $$E_\theta[f(T)] = E_\theta[h(T)] - E_\theta[h_1(T)] = g(\theta) - g(\theta) = 0.$$ 因为$T$是完备统计量，由$E_\theta[f(T)] \equiv 0$可推出$P_\theta(f(T)=0)=1$，即$h(T) = h_1(T)$几乎必然成立。因此，UMVUE在几乎必然相等的意义下是唯一的。

这个定理为我们寻找UMVUE提供了清晰的路线图：先找到充分完备统计量，再构造或找到一个无偏估计，最后对其关于充分完备统计量求条件期望。

示例：伯努利分布参数$p$的UMVUE

设$X_1, \ldots, X_n \stackrel{\text{i.i.d.}}{\sim} \text{Bernoulli}(p)$。已知$T_n = \sum_{i=1}^n X_i$是充分完备统计量。 样本均值$\bar{X} = \frac{1}{n}T_n$是$p$的无偏估计，且它是$T_n$的函数。 根据定理2.5.1，$\bar{X}$本身就是$p$的UMVUE。这里无需再求条件期望，因为无偏估计恰好是充分完备统计量的函数。

指数型分布族的充分完备统计量

对于一大类常见分布，其充分完备统计量有统一的寻找方法，这大大简化了UMVUE的求解过程。

定理 2.5.2（指数型分布族的充分完备性）：设总体分布属于$k$参数指数型分布族，其密度函数（或分布律）可表示为： $$f(x; \boldsymbol{\eta}) = h(x) \exp\left{ \sum_{j=1}^{k} \eta_j T_j(x) - B(\boldsymbol{\eta}) \right},$$ 其中$\boldsymbol{\eta} = (\eta_1, \ldots, \eta_k)$为自然参数，属于自然参数空间$\mathcal{E}$。

1. 统计量$\mathbf{T}(\mathbf{X}) = \left( \sum_{i=1}^n T_1(X_i), \ldots, \sum_{i=1}^n T_k(X_i) \right)$是$\boldsymbol{\eta}$的充分统计量。
2. 如果自然参数空间$\mathcal{E}$包含一个$k$维开矩形（即具有内点），则$\mathbf{T}(\mathbf{X})$也是$\boldsymbol{\eta}$的完备统计量。

常见分布的充分完备统计量：

• 泊松分布 $P(\lambda)$：密度$f(x;\lambda) = \frac{e^{-\lambda}\lambda^x}{x!} = \frac{1}{x!} \exp{x \ln \lambda - \lambda}$。令$\eta = \ln \lambda$，则$T(x)=x$。故$T_n = \sum_{i=1}^n X_i$是$\lambda$的充分完备统计量。
• 正态分布 $N(\mu, \sigma^2)$：联合密度可写为$\exp\left{ \frac{\mu}{\sigma^2} \sum X_i - \frac{1}{2\sigma^2} \sum X_i^2 - \frac{n\mu^2}{2\sigma^2} - \frac{n}{2}\ln(2\pi\sigma^2) \right}$。故$(\sum X_i, \sum X_i^2)$是$(\mu, \sigma^2)$的充分完备统计量。
• Gamma分布 $\text{Gamma}(\alpha, \beta)$：类似可证，$(\sum \ln X_i, \sum X_i)$是$(\alpha, \beta)$的充分完备统计量。

求解UMVUE的实战策略与案例

综合定理2.5.1和2.5.2，我们得到寻找参数$g(\theta)$的UMVUE的通用策略：

第一步：确定总体分布，并找到参数$\theta$的一个充分完备统计量$T$。对于指数型分布族，可利用定理2.5.2。

第二步：基于$T$构造$g(\theta)$的UMVUE。有两种子思路：

1. 直接法：如果能直接构造出$T$的一个函数$h(T)$，使得$E[h(T)] = g(\theta)$，那么$h(T)$就是UMVUE。
2. 条件期望法：如果直接法困难，则先任意找到一个$g(\theta)$的无偏估计$S(\mathbf{X})$（越简单越好），然后计算条件期望$h(T) = E[S(\mathbf{X}) | T]$，则$h(T)$即为所求UMVUE。

综合案例：泊松分布概率$P_\lambda(X=k)$的UMVUE

设$X_1, \ldots, X_n \stackrel{\text{i.i.d.}}{\sim} P(\lambda)$，求参数$g(\lambda) = P_\lambda(X_1 = k) = \frac{e^{-\lambda} \lambda^k}{k!}$的UMVUE，其中$k$为已知非负整数。

求解步骤：

1. 找充分完备统计量：由定理2.5.2，$T_n = \sum_{i=1}^n X_i$是$\lambda$的充分完备统计量，且$T_n \sim P(n\lambda)$。
2. 找一个简单的无偏估计：考虑示性函数$S = I_{{X_1 = k}}$，即当$X_1=k$时取1，否则取0。其期望为： $$E[S] = P(X_1 = k) = g(\lambda).$$ 因此，$S$是$g(\lambda)$的一个无偏估计，且形式非常简单。
3. 计算条件期望：根据定理2.5.1，UMVUE为$h(T_n) = E[S | T_n]$。我们需要计算： $$h(t) = E[I_{{X_1 = k}} | T_n = t] = P(X_1 = k | T_n = t).$$ 利用泊松分布的可加性与独立性：$T_n = X_1 + \sum_{i=2}^n X_i$，且$\sum_{i=2}^n X_i \sim P((n-1)\lambda)$，与$X_1$独立。 $$\begin{aligned} P(X_1 = k | T_n = t) &= \frac{P(X_1 = k, T_n = t)}{P(T_n = t)} \ &= \frac{P(X_1 = k) \cdot P(\sum_{i=2}^n X_i = t-k)}{P(T_n = t)} \quad (\text{注意：仅当 } 0 \le k \le t \text{ 时概率非零}) \ &= \frac{\left( \frac{e^{-\lambda} \lambda^k}{k!} \right) \cdot \left( \frac{e^{-(n-1)\lambda} [(n-1)\lambda]^{t-k}}{(t-k)!} \right)}{\frac{e^{-n\lambda} (n\lambda)^t}{t!}} \ &= \frac{t!}{k!(t-k)!} \cdot \frac{\lambda^k \cdot [(n-1)\lambda]^{t-k}}{(n\lambda)^t} \ &= \binom{t}{k} \left( \frac{1}{n} \right)^k \left( 1 - \frac{1}{n} \right)^{t-k}, \quad t = 0, 1, 2, \ldots; \quad k = 0, 1, \ldots, t. \end{aligned}$$ 对于$t < k$的情况，条件概率为0。
4. 得到UMVUE：因此，$g(\lambda) = P_\lambda(X=k)$的UMVUE为： $$\hat{g}(\mathbf{X}) = h(T_n) = \begin{cases} \displaystyle \binom{T_n}{k} \left( \frac{1}{n} \right)^k \left( 1 - \frac{1}{n} \right)^{T_n - k}, & T_n \ge k, \ 0, & T_n < k. \end{cases}$$

这个例子展示了条件期望法的威力，也提示我们：在第二步中，应选择形式尽可能简单的无偏估计（如本例中的示性函数），以简化后续条件期望的复杂计算。

import numpy as np
from scipy import stats
import matplotlib.pyplot as plt

# 设置随机种子和参数
np.random.seed(42)
n = 30          # 样本量
lambda_true = 2.5 # 泊松分布真参数
k = 3           # 要估计的概率 P(X=3)
num_simulations = 10000

# 1. 理论值
p_theoretical = stats.poisson.pmf(k, lambda_true)

# 2. 模拟：生成多个样本，计算UMVUE和简单无偏估计（示性函数只基于X1）
estimates_umvue = []
estimates_naive = [] # 仅用X1的示性函数，也是无偏的，但方差大

for _ in range(num_simulations):
    # 生成样本
    sample = stats.poisson.rvs(lambda_true, size=n)
    T_n = sample.sum()
    # 计算UMVUE
    if T_n >= k:
        umvue = stats.binom.pmf(k, T_n, 1/n) # 等价于组合数公式
    else:
        umvue = 0.0
    estimates_umvue.append(umvue)
    # 计算简单无偏估计 (仅基于第一个观测)
    naive_est = 1.0 if sample[0] == k else 0.0
    estimates_naive.append(naive_est)

estimates_umvue = np.array(estimates_umvue)
estimates_naive = np.array(estimates_naive)

# 3. 计算估计量的性能
bias_umvue = estimates_umvue.mean() - p_theoretical
bias_naive = estimates_naive.mean() - p_theoretical
var_umvue = estimates_umvue.var(ddof=1)
var_naive = estimates_naive.var(ddof=1)
mse_umvue = bias_umvue**2 + var_umvue
mse_naive = bias_naive**2 + var_naive

print(f"理论概率 P(X={k}; λ={lambda_true}) = {p_theoretical:.5f}")
print("\n--- UMVUE 性能 ---")
print(f"  偏差: {bias_umvue:.6f}")
print(f"  方差: {var_umvue:.6f}")
print(f"  均方误差(MSE): {mse_umvue:.6f}")
print("\n--- 简单无偏估计 (仅用X1) 性能 ---")
print(f"  偏差: {bias_naive:.6f}")
print(f"  方差: {var_naive:.6f}")
print(f"  均方误差(MSE): {mse_naive:.6f}")
print(f"\nUMVUE方差缩减比例: {(var_naive - var_umvue)/var_naive*100:.1f}%")

# 4. 可视化估计量的分布
fig, axes = plt.subplots(1, 2, figsize=(12, 4))

axes[0].hist(estimates_umvue, bins=50, alpha=0.7, color='skyblue', edgecolor='black', density=True)
axes[0].axvline(p_theoretical, color='red', linestyle='--', linewidth=2, label=f'真值={p_theoretical:.3f}')
axes[0].set_xlabel('UMVUE估计值')
axes[0].set_ylabel('密度')
axes[0].set_title(f'UMVUE的分布 (n={n}, λ={lambda_true}, P(X={k}))')
axes[0].legend()
axes[0].grid(True, alpha=0.3)

axes[1].hist(estimates_naive, bins=[-0.5, 0.5, 1.5], alpha=0.7, color='lightcoral', edgecolor='black', density=True, rwidth=0.8)
axes[1].axvline(p_theoretical, color='red', linestyle='--', linewidth=2, label=f'真值={p_theoretical:.3f}')
axes[1].set_xlabel('简单无偏估计值 (0或1)')
axes[1].set_ylabel('密度')
axes[1].set_title('简单无偏估计的分布 (仅用X1)')
axes[1].set_xticks([0, 1])
axes[1].legend()
axes[1].grid(True, alpha=0.3)

plt.tight_layout()
plt.show()

📝 动手练一练

1. 验证正态分布充分完备统计量：设$X_1, \ldots, X_n \stackrel{\text{i.i.d.}}{\sim} N(\mu, \sigma^2)$，其中$\sigma^2$已知。证明样本均值$\bar{X}$是$\mu$的充分完备统计量，并由此说明$\bar{X}$是$\mu$的UMVUE。 提示：写出样本联合密度，将其化为指数族形式，应用定理2.5.2。

2. 求均匀分布参数的UMVUE：设$X_1, \ldots, X_n \stackrel{\text{i.i.d.}}{\sim} U(0, \theta)$，即密度为$f(x;\theta)=1/\theta, 0 < x < \theta$。 a) 证明最大次序统计量$X_{(n)} = \max{X_1, \ldots, X_n}$是$\theta$的充分统计量。 b) 考虑估计量$\hat{\theta}$c = c X{(n)}，其中$c$为常数。求$c$使得$\hat{\theta}$cθ^c​是$\theta$的无偏估计。 c) （选做）查阅资料，了解$X${(n)}的分布族是完备的。结合(a)(b)的结论，你得到的无偏估计$\hat{\theta}_c$是$\theta$的UMVUE吗？

参考答案：

1. 样本联合密度为$f(\mathbf{x}; \mu) = (2\pi\sigma^2)^{-n/2} \exp\left{ -\frac{1}{2\sigma^2}\sum x_i^2 + \frac{\mu}{\sigma^2}\sum x_i - \frac{n\mu^2}{2\sigma^2} \right}$。这属于指数族，自然参数$\eta = \mu/\sigma^2$，充分统计量$T=\sum X_i$。自然参数空间为$\mathbb{R}$（包含开集），故$T$完备。$\bar{X}=T/n$是$\mu$的无偏估计且为$T$的函数，因此是UMVUE。
2. a) 利用因子分解定理，联合密度$f(\mathbf{x}; \theta) = \theta^{-n} I_{(0, \theta)}(x_{(n)})$，可分解为$g(T(\mathbf{x}); \theta) = \theta^{-n} I_{(0, \theta)}(x_{(n)})$与$h(\mathbf{x})=1$的乘积，故$X_{(n)}$充分。 b) $X_{(n)}$的密度为$f_{X_{(n)}}(t) = n t^{n-1}/\theta^n, 0<t<\theta$。计算$E[X_{(n)}] = \int_0^\theta t \cdot n t^{n-1}/\theta^n dt = \frac{n}{n+1}\theta$。令$E[c X_{(n)}] = \theta$，解得$c = \frac{n+1}{n}$。故$\hat{\theta} = \frac{n+1}{n} X_{(n)}$是无偏估计。 c) 可以证明，$U(0,\theta)$分布族是完备的。因此，$X_{(n)}$是充分完备统计量，而$\hat{\theta} = \frac{n+1}{n} X_{(n)}$是它的无偏函数，根据定理2.5.1，它就是$\theta$的UMVUE。

本章小结

本节我们深入学习了点估计理论中一个关键的概念——完备统计量，并掌握了其最重要的应用：系统化地寻找一致最小方差无偏估计（UMVUE）。

要点回顾：

• 完备性刻画了统计量在期望变换下的唯一性：若$E_\theta[g(T)] \equiv 0$，则$g(T) \equiv 0$（a.s.）。
• 核心定理：若存在参数的充分完备统计量$T$，则对任意无偏估计$S$，$E[S|T]$就是该参数的唯一UMVUE。
• 强大工具：对于指数型分布族，只要其自然参数空间有内点，则其自然充分统计量就是完备的。这覆盖了绝大多数常用分布。
• 求解UMVUE的两步策略：1) 找充分完备统计量；2) 要么直接构造其无偏函数，要么先找简单无偏估计再求条件期望。

行动清单：

1. 判断与构造：面对一个新的分布，尝试将其写成指数族形式，并指出其充分完备统计量。
2. 应用定理：在求解UMVUE的练习题中，有意识地遵循“找充分完备统计量 -> 构造/寻找无偏估计 -> 求条件期望或验证”的流程。
3. 代码验证：像本节示例代码一样，对你推导出的UMVUE进行模拟，验证其无偏性，并与其他无偏估计比较方差，直观感受“最小方差”的含义。

完备统计量是连接充分性与最优估计的桥梁。下一节，我们将学习另一个评价估计量优劣的重要工具——C-R不等式，它从信息论的角度给出了无偏估计方差的下界，并与UMVUE理论相辅相成。

— 小象教研组