无偏检验与一致最优势无偏检验

无偏检验与一致最优势无偏检验

小象实战讲义 · 数据科学的统计基础

在之前的章节中，我们学习了如何寻找最优检验（MP检验）和一致最优势检验（UMP检验）。然而，这些“最优”检验仅在特定条件下存在，例如简单假设对简单备择，或单边复合假设。当面对更普遍的双边假设检验问题时，UMP检验往往不存在。本节将引入“无偏检验”的概念，通过限制检验类，在无偏检验类中寻找最优者，即“一致最优势无偏检验”（UMPUT）。学完本节，你将理解为何需要引入无偏性约束，掌握UMPUT的构造方法，并能将其应用于常见的双边检验问题，例如正态总体均值的双边检验。

💡 核心导读

• 为何需要无偏检验？ 在双边假设检验中，一致最优势检验（UMPT）通常不存在。借鉴估计理论中“限制为无偏估计类以寻找最小方差无偏估计（UMVUE）”的思想，我们通过限制检验为“无偏检验”来确保最优检验的存在性。
• 无偏检验的定义：一个检验被称为水平为 $\alpha$ 的无偏检验，不仅要求其在原假设下犯第一类错误的概率不超过 $\alpha$，还要求其在备择假设下的势函数（检出能力）不低于 $\alpha$。这保证了检验在备择假设下不会比随机猜测更差。
• 一致最优势无偏检验（UMPUT）：在所有水平为 $\alpha$ 的无偏检验中，如果存在一个检验，其势函数在备择参数空间的每一点上都最大，则该检验称为UMPUT。
• 单参数指数族中的UMPUT：对于单参数指数族分布，其双边假设检验问题存在UMPUT，且其形式与UMPT类似，但拒绝域的边界由势函数无偏性条件（导数条件）确定。
• 假设检验的延伸：理解假设检验与区间估计的对偶关系，以及P值的概念与计算，是完整掌握假设检验思想的重要环节。

从最优检验的局限性到无偏检验的引入

在假设检验的理论框架中，我们追求“最优”的检验。Neyman-Pearson引理为我们提供了简单假设对简单备择下的最优势检验（MP检验）。进一步，对于具有单调似然比（MLR）的单参数指数族，我们可以构造出单边复合假设的一致最优势检验（UMP检验）。

然而，当我们面对如下形式的双边假设检验问题时： $$H_0: \theta = \theta_0 \quad \text{vs.} \quad H_1: \theta \neq \theta_0$$ 或更一般的 $$H_0: \theta \in \Theta_0 \quad \text{vs.} \quad H_1: \theta \in \Theta_1$$ 一致最优势检验（UMPT）往往不存在。这是因为，一个在 $\theta > \theta_0$ 时势函数很大的检验，可能在 $\theta < \theta_0$ 时势函数很小，反之亦然，无法在全部备择空间 $\Theta_1$ 上同时达到最优。

这类似于参数估计中的困境：我们希望找到一个估计量 $\hat{\theta}$，使其均方误差（MSE）$E[(\hat{\theta} - \theta)^2]$ 最小。但MSE同时包含了方差和偏差的平方（$MSE = Var(\hat{\theta}) + [Bias(\hat{\theta})]^2$），一个全局MSE最小的估计量通常难以求得。

估计理论的解决方案是：限制估计类。我们只在无偏估计类中寻找方差最小的那个，即一致最小方差无偏估计（UMVUE）。这样，最优解（UMVUE）的存在性就得到了保证。

假设检验沿用了同样的思路：当UMP检验不存在时，我们限制检验类。我们只在无偏检验类中寻找势函数最大的那个，即一致最优势无偏检验（UMPUT）。

无偏检验与一致最优势无偏检验的定义

无偏检验

考虑一般的假设检验问题： $$H_0: \theta \in \Theta_0 \quad \text{vs.} \quad H_1: \theta \in \Theta_1$$ 其中 $\Theta_0 \cap \Theta_1 = \varnothing$。

设 $\phi(\mathbf{X})$ 是该问题的一个检验函数，其势函数为 $g_\phi(\theta) = E_\theta[\phi(\mathbf{X})]$。

定义（无偏检验）：如果检验 $\phi(\mathbf{X})$ 满足：

1. $g_\phi(\theta) \le \alpha, \quad \forall \theta \in \Theta_0$ （水平为 $\alpha$）。
2. $g_\phi(\theta) \ge \alpha, \quad \forall \theta \in \Theta_1$。

则称 $\phi(\mathbf{X})$ 是水平为 $\alpha$ 的一个无偏检验。

解读：

• 条件1是常规的显著性水平要求，控制第一类错误。
• 条件2是“无偏性”的核心：它要求检验在备择假设下的检出能力（势函数）至少不低于显著性水平 $\alpha$。一个势函数低于 $\alpha$ 的检验，意味着当 $H_1$ 为真时，它做出正确判断（拒绝 $H_0$）的概率甚至还不如随机决策（以概率 $\alpha$ 拒绝），这样的检验是无效的，我们称其为“有偏”的。无偏性保证了检验在备择假设下不是无效的。

一致最优势无偏检验

定义（一致最优势无偏检验，UMPUT）：对于上述假设检验问题，如果存在一个水平为 $\alpha$ 的无偏检验 $\phi^$(\mathbf{X})ϕ∗(X)，使得对任何其他水平为 $\alpha$ 的无偏检验 $\phi(\mathbf{X})$，都有 $$g_{\phi^$$}(\theta) \ge g_{\phi}(\theta), \quad \forall \theta \in \Theta_1 则称 $\phi^*(\mathbf{X})$ 是该问题的一个水平为 $\alpha$ 的一致最优势无偏检验，记为UMPUT（Uniformly Most Powerful Unbiased Test）。

单参数指数族中的UMPUT

对于一大类常见的分布——单参数指数族，其双边假设检验的UMPUT存在且有明确的构造形式。

定理（单参数指数族双边检验的UMPUT）：设样本 $\mathbf{X} = (X_1, \ldots, X_n)$ 来自单参数指数族分布，其密度函数（或概率函数）为： $$f(x; \theta) = h(x) \exp{ Q(\theta) T(x) - B(\theta) }, \quad x \in S$$ 其中 $\theta$ 是实参数，$Q(\theta)$ 是 $\theta$ 的严格单调增函数（不失一般性，以下假设 $Q(\theta)$ 严格递增），$S = {x: f(x;\theta) > 0}$ 为分布的支撑集，且与 $\theta$ 无关，$h(x) \ge 0$ 为支撑集上的非负函数，$T(x)$ 为充分统计量。

考虑双边假设：

1. $H_0: \theta = \theta_0 \quad \text{vs.} \quad H_1: \theta \neq \theta_0$。
2. $H_0: \theta \le \theta_0 \quad \text{vs.} \quad H_1: \theta > \theta_0$ 或 $H_0: \theta \ge \theta_0 \quad \text{vs.} \quad H_1: \theta < \theta_0$（单边情形，UMPT存在）。
3. $H_0: \theta_1 \le \theta \le \theta_2 \quad \text{vs.} \quad H_1: \theta < \theta_1 \text{ 或 } \theta > \theta_2$。

对于假设1，存在水平为 $\alpha$ 的UMPUT，其检验函数为： $$\phi(\mathbf{x}) = \begin{cases} 1, & \text{若 } T(\mathbf{x}) < c_1 \text{ 或 } T(\mathbf{x}) > c_2 \ \gamma_i, & \text{若 } T(\mathbf{x}) = c_i, \quad i=1,2 \ 0, & \text{若 } c_1 < T(\mathbf{x}) < c_2 \end{cases}$$ 其中常数 $c_1, c_2$ $(c_1 < c_2)$ 和 $\gamma_1, \gamma_2$ $(0 \le \gamma_1, \gamma_2 \le 1)$ 由以下方程确定： $$\begin{aligned} E_{\theta_0}[\phi(\mathbf{X})] &= \alpha \ E_{\theta_0}[T(\mathbf{X}) \phi(\mathbf{X})] &= \alpha E_{\theta_0}[T(\mathbf{X})] \end{aligned}$$ 对于连续型分布，通常有 $\gamma_1 = \gamma_2 = 0$，检验退化为非随机化检验。

注记：

1. 拒绝域形式与单边UMP检验不同，它是双侧的（$T$ 过小或过大都拒绝 $H_0$）。
2. 确定常数的两个方程有明确的统计含义：第一个是水平条件，控制第一类错误概率为 $\alpha$；第二个是无偏性条件 $g’_\phi(\theta_0) = 0$（势函数在 $\theta_0$ 处导数为零），这是局部最优性的体现，确保了检验在 $\theta_0$ 附近也是“公平”的。
3. 对于假设3，其UMPUT的形式与假设1类似，但确定常数的方程需满足在边界 $\theta_1$ 和 $\theta_2$ 处的水平与无偏性条件。

应用示例：正态总体均值的双边检验

我们通过两个经典例子来演示UMPUT的构造。

示例1：方差已知时，均值的双边检验

设 $X_1, \ldots, X_n \stackrel{\text{i.i.d.}}{\sim} N(\mu, \sigma_0^2)$，其中 $\sigma_0^2$ 已知。考虑假设： $$H_0: \mu = \mu_0 \quad \text{vs.} \quad H_1: \mu \neq \mu_0$$

1. 化为指数族形式：正态分布 $N(\mu, \sigma_0^2)$ 的密度为： $$f(x; \mu) = \frac{1}{\sqrt{2\pi}\sigma_0} \exp\left{ -\frac{x^2}{2\sigma_0^2} \right} \cdot \exp\left{ \frac{\mu}{\sigma_0^2} x - \frac{\mu^2}{2\sigma_0^2} \right}, \quad x \in \mathbb{R}$$ 令 $\theta = \mu$, $Q(\theta) = \theta / \sigma_0^2$, $T(x) = x$, $h(x) = (2\pi\sigma_0^2)^{-1/2} \exp{-x^2/(2\sigma_0^2)}$, $B(\theta) = \theta^2/(2\sigma_0^2)$。这是一个单参数指数族，且 $Q(\theta)$ 关于 $\theta$ 严格递增。样本充分统计量为 $T(\mathbf{X}) = \sum_{i=1}^n X_i$ 或等价的 $\bar{X}$。

2. 构造UMPUT：根据定理，UMPUT基于 $T(\mathbf{X}) = \bar{X}$。由于 $\bar{X}$ 连续，我们采用非随机化检验。其拒绝域形式为：$\bar{X} < c_1$ 或 $\bar{X} > c_2$。

3. 确定常数：在 $H_0: \mu = \mu_0$ 下，$\bar{X} \sim N(\mu_0, \sigma_0^2/n)$。由对称性和无偏性条件 $g’$\phi(\mu_0)=0gϕ′​(μ0​)=0，通常取 $c_1$ 和 $c_2$ 关于 $\mu_0$ 对称，即 $c_1 = \mu_0 - \delta$, $c_2 = \mu_0 + \delta$。 水平条件为： $$P$${\mu_0}(|\bar{X} - \mu_0| > \delta) = \alpha 标准化后： $$P\left( \left| \frac{\sqrt{n}(\bar{X} - \mu_0)}{\sigma_0} \right| > \frac{\sqrt{n}\delta}{\sigma_0} \right) = \alpha$$ 由于 $Z = \frac{\sqrt{n}(\bar{X} - \mu_0)}{\sigma_0} \sim N(0,1)$，可得 $\frac{\sqrt{n}\delta}{\sigma_0} = z_{1-\alpha/2}$，即 $\delta = \frac{\sigma_0}{\sqrt{n}} z_{1-\alpha/2}$。这里 $z_{1-\alpha/2}$ 是标准正态分布的 $1-\alpha/2$ 分位数。

4. 最终检验：水平为 $\alpha$ 的UMPUT为： $$\phi(\mathbf{x}) = \begin{cases} 1, & \text{若 } \left| \frac{\sqrt{n}(\bar{x} - \mu_0)}{\sigma_0} \right| > z_{1-\alpha/2} \ 0, & \text{否则} \end{cases}$$ 这正是我们熟知的双边Z检验。

示例2：方差未知时，均值的双边检验（t检验）

设 $X_1, \ldots, X_n \stackrel{\text{i.i.d.}}{\sim} N(\mu, \sigma^2)$，$\sigma^2$ 未知。考虑假设： $$H_0: \mu = \mu_0 \quad \text{vs.} \quad H_1: \mu \neq \mu_0$$ 此时参数为 $(\mu, \sigma^2)$，是两参数的。但若将 $\sigma^2$ 视为讨厌参数，可以证明，基于t统计量的检验在所有水平为 $\alpha$ 的无偏检验中是一致最优的（UMPUT，一致最优无偏检验）。其检验统计量为： $$T = \frac{\sqrt{n}(\bar{X} - \mu_0)}{S}$$ 其中 $S^2 = \frac{1}{n-1}\sum_{i=1}^n (X_i - \bar{X})^2$ 为样本方差。在 $H_0$ 下，$T \sim t_{n-1}$（自由度为 $n-1$ 的t分布）。

水平为 $\alpha$ 的UMPUT（即双边t检验）的拒绝域为： $$|T| > t_{n-1, 1-\alpha/2}$$ 其中 $t_{n-1, 1-\alpha/2}$ 是 $t_{n-1}$ 分布的 $1-\alpha/2$ 分位数。

import numpy as np
import scipy.stats as stats

# 模拟示例：方差未知时正态均值的双边t检验 (UMPUT)
np.random.seed(321)  # 固定随机种子
mu0 = 100            # 原假设均值
sigma = 15           # 真实标准差（未知）
n = 30               # 样本量
alpha = 0.05         # 显著性水平

# 生成一组样本，假设真实均值 mu_true = 105
mu_true = 105
sample = np.random.normal(loc=mu_true, scale=sigma, size=n)

# 计算样本均值、样本标准差和t统计量
x_bar = np.mean(sample)
s = np.std(sample, ddof=1)  # 无偏估计，自由度 n-1
t_stat = np.sqrt(n) * (x_bar - mu0) / s

# 计算临界值和p值
t_critical = stats.t.ppf(1 - alpha/2, df=n-1)
p_value = 2 * (1 - stats.t.cdf(np.abs(t_stat), df=n-1))  # 双边p值

print(f"样本均值 x̄ = {x_bar:.4f}")
print(f"样本标准差 s = {s:.4f}")
print(f"t 统计量 = {t_stat:.4f}")
print(f"t 分布临界值 (α={alpha}, 双边) = ±{t_critical:.4f}")
print(f"p 值 = {p_value:.6f}")

# 做出检验决策
if np.abs(t_stat) > t_critical:
    print(f"决策：|t| = {np.abs(t_stat):.4f} > {t_critical:.4f}，拒绝 H0 (μ = {mu0})。")
else:
    print(f"决策：|t| = {np.abs(t_stat):.4f} ≤ {t_critical:.4f}，不拒绝 H0 (μ = {mu0})。")

# 验证：p值 < α 等价于拒绝 H0
if p_value < alpha:
    print("根据p值决策：p值 < α，拒绝 H0。")
else:
    print("根据p值决策：p值 ≥ α，不拒绝 H0。")

延伸内容：对偶关系与P值

作为假设检验章节的收尾，我们补充两个紧密相关的重要概念。

假设检验与区间估计的对偶关系

假设检验和区间估计在本质上是对偶的。一个显著性水平为 $\alpha$ 的假设检验，可以导出一个置信水平为 $1-\alpha$ 的置信区间，反之亦然。

对偶关系：考虑参数 $\theta$ 的假设检验问题 $H_0: \theta = \theta_0$ vs $H_1: \theta \neq \theta_0$。设该检验的接受域为 $A(\theta_0)$，即当样本落在 $A(\theta_0)$ 内时不拒绝 $H_0$。那么，参数 $\theta$ 的置信水平为 $1-\alpha$ 的置信区间 $C(\mathbf{x})$ 可以通过“收集所有不能被当前样本拒绝的 $\theta_0$”来构造： $$C(\mathbf{x}) = { \theta_0: \mathbf{x} \in A(\theta_0) }$$ 反之，给定一个置信区间 $C(\mathbf{x})$，可以构造一个检验：当且仅当 $\theta_0 \notin C(\mathbf{x})$ 时拒绝 $H_0: \theta = \theta_0$。

示例回顾：在方差已知的正态总体均值检验中，$H_0: \mu = \mu_0$ 的接受域为 $|\bar{x} - \mu_0| \le \frac{\sigma_0}{\sqrt{n}} z_{1-\alpha/2}$。对应的置信区间正是 $\mu$ 的 $1-\alpha$ 置信区间：$\bar{x} \pm \frac{\sigma_0}{\sqrt{n}} z_{1-\alpha/2}$。

P值：观测到的显著性水平

P值提供了做假设检验的另一种方式，它比固定 $\alpha$ 的拒绝域方法更灵活。

定义（P值）：在一个假设检验问题中，P值是指在原假设 $H_0$ 成立的前提下，获得与当前样本相同或更极端（更不利于 $H_0$）的检验统计量取值的概率。

作用：

1. 决策：若 $P \text{值} < \alpha$，则拒绝 $H_0$；否则不拒绝。这等价于使用拒绝域的方法。
2. 提供证据强度：P值越小，表明当前样本数据与原假设矛盾的程度越大，拒绝 $H_0$ 的证据越强。它报告了“观测到的显著性水平”。
3. 反映第一类错误真实概率：对于当前给定的样本，P值可以理解为“若以当前样本结果作为临界点，所犯第一类错误的最小概率”。

计算（以双边Z检验为例）：若观测到的检验统计量值为 $z_{obs}$，则双边检验的P值为： $$P = 2 \times P(Z \ge |z_{obs}|) = 2 \times [1 - \Phi(|z_{obs}|)]$$ 其中 $Z \sim N(0,1)$，$\Phi$ 是其分布函数。

# 演示P值的计算与含义（接续前一个代码块的样本）
# 我们已经计算了t检验的p值。现在用模拟来理解P值的含义：它是“更极端”结果出现的概率。

np.random.seed(321)
n_simulations = 10000
# 在原假设 H0: mu = 100 下生成模拟样本
simulated_t_stats = []
for _ in range(n_simulations):
    sim_sample = np.random.normal(loc=mu0, scale=sigma, size=n)  # 按H0生成
    sim_x_bar = np.mean(sim_sample)
    sim_s = np.std(sim_sample, ddof=1)
    sim_t = np.sqrt(n) * (sim_x_bar - mu0) / sim_s
    simulated_t_stats.append(sim_t)

simulated_t_stats = np.array(simulated_t_stats)

# 计算模拟中|t| >= |t_obs|的比例，这应近似于我们计算的理论p值
empirical_p = np.mean(np.abs(simulated_t_stats) >= np.abs(t_stat))

print(f"\n--- P值的模拟验证 ---")
print(f"基于当前样本计算的理论p值: {p_value:.6f}")
print(f"通过{int(n_simulations)}次模拟（H0为真），|t| >= |{t_stat:.4f}| 的比例: {empirical_p:.6f}")
print(f"两者接近，说明P值确实是在H0下，出现当前或更极端情况的概率。")

📝 动手练一练

1. 无偏性的理解：设有一个检验问题 $H_0: \theta = 0.5$ vs $H_1: \theta \neq 0.5$，其势函数为 $g(\theta) = \theta^2$（假设 $\theta \in [0,1]$）。取显著性水平 $\alpha = 0.25$。

   • a) 这个检验是水平为 0.25 的检验吗？
   • b) 这个检验是无偏检验吗？为什么？

2. UMPUT的构造：设 $X_1, \ldots, X_n \stackrel{\text{i.i.d.}}{\sim} \text{Exp}(\lambda)$，即指数分布，密度为 $f(x;\lambda) = \lambda e^{-\lambda x}, x>0$。考虑检验问题 $H_0: \lambda = 1$ vs $H_1: \lambda \neq 1$。

   • a) 将该分布写成单参数指数族形式，指出 $Q(\lambda)$, $T(x)$ 和充分统计量 $T(\mathbf{X})$。
   • b) 根据UMPUT定理，拒绝域应基于哪个统计量？其大致形式是什么？（无需求解具体常数）

参考答案：

1. a) 是。因为当 $\theta = 0.5$（$H_0$）时，$g(0.5)=0.25 = \alpha$，满足水平要求。 b) 不是无偏检验。因为当 $\theta$ 接近0但属于 $H_1$（例如 $\theta=0.1$）时，$g(0.1)=0.01 < 0.25 = \alpha$，不满足无偏性条件 $g(\theta) \ge \alpha, \forall \theta \in \Theta_1$。这个检验在备择假设的某些部分表现比随机猜测还差。
2. a) $f(x;\lambda) = \lambda e^{-\lambda x} = \exp{ (-\lambda) x + \ln \lambda }$。令 $\theta = -\lambda$，则 $Q(\theta)=\theta$, $T(x)=x$, $h(x)=1$（$x>0$），$B(\theta)=-\ln(-\theta)$。充分统计量为 $T(\mathbf{X}) = \sum_{i=1}^n X_i$。 b) 拒绝域应基于 $T(\mathbf{X}) = \sum X_i$。其形式为：$\sum X_i < c_1$ 或 $\sum X_i > c_2$，其中常数 $c_1, c_2$ 由水平条件和无偏性条件确定。由于指数分布是单参数指数族且 $Q(\theta)=\theta$ 是线性的，该UMPUT存在。

本章小结

本节是假设检验理论部分的收官之作，我们探讨了当“全局最优”的一致最优势检验（UMPT）不存在时，如何通过引入“无偏性”约束，在更合理的“无偏检验类”中寻找最优解，即一致最优势无偏检验（UMPUT）。

• 核心思想：借鉴估计理论中“限制无偏以求得UMVUE”的思路，通过要求检验在备择假设下的势函数不低于显著性水平 $\alpha$，定义了无偏检验，从而确保了在无偏类中最优检验（UMPUT）的存在性。
• 关键定理：对于单参数指数族分布，其双边假设检验问题存在UMPUT，其形式是基于充分统计量的双侧拒绝域，边界常数由水平条件和势函数在边界点导数为零的无偏性条件共同决定。
• 典型应用：正态总体均值在方差已知时的双边Z检验，以及方差未知时的双边t检验，都是UMPUT的具体体现。
• 延伸理解：假设检验与区间估计存在深刻的对偶关系，两者可以相互转化。P值则提供了比固定拒绝域更灵活的检验报告方式，它量化了数据反对原假设的证据强度。

行动清单

1. 概念辨析：清晰区分MP检验、UMP检验和UMPUT的适用条件与关系。问自己：什么时候UMP检验不存在？为什么需要无偏性？
2. 动手验证：运行讲义中的Python代码，理解t检验作为UMPUT的实现，并通过模拟验证P值的统计含义。
3. 建立联系：回顾第三章区间估计的内容，任选一个置信区间（如正态均值的区间），尝试构造出其对偶的假设检验问题，并写出检验规则，体会两者之间的等价性。

— 小象教研组