实对称矩阵对角化

实对称矩阵对角化

小象实战讲义 · 人工智能数学基础

在人工智能领域，尤其是主成分分析（PCA）、谱聚类等算法中，我们常常需要处理实对称矩阵。这类矩阵拥有极其优良的数学性质，其核心之一便是“一定可以正交相似于一个对角矩阵”。本节我们将深入探讨这一重要结论，学习如何将实对称矩阵通过正交变换化为对角形，并掌握其具体的计算流程。学完本节，你将能够独立完成任意实对称矩阵的正交对角化，这是理解后续SVD分解和诸多优化算法的基础。

💡 核心导读

• 正交相似：比普通相似更严格，要求变换矩阵是正交矩阵，能保持向量长度和夹角。
• 实对称矩阵的核心性质：特征值必为实数；属于不同特征值的特征向量相互正交。
• 核心定理：任何实对称矩阵必可正交相似于一个对角矩阵。
• 对角化流程：求解特征值 → 求解特征向量 → 施密特正交化与单位化 → 构造正交矩阵与对角矩阵。

从相似到正交相似

在上一节中，我们学习了矩阵的相似关系：若存在可逆矩阵 $U$，使得 $U^{-1} A U = B$，则称矩阵 $A$ 与 $B$ 相似。相似关系是一种等价关系，它保持矩阵的秩、行列式和迹不变。

现在，我们对变换矩阵 $U$ 提出更高的要求。如果这个可逆矩阵 $U$ 恰好是一个正交矩阵（即满足 $U^{-1} = U^T$），那么这种相似关系就称为正交相似。

正交相似比普通相似更强，因为正交变换（由正交矩阵定义）是保内积的变换，这意味着它不改变向量的长度和夹角。在几何上，正交变换对应于旋转或镜像反射。对于实对称矩阵，我们将看到，它总是可以通过这种“旋转/反射”的方式，被“摆放”成一个简单的对角矩阵。

实对称矩阵的对角化定理

首先明确，实对称矩阵是指在实数域上定义的对称矩阵，即满足 $A = A^T$ 且所有元素均为实数的矩阵。

实对称矩阵拥有两个至关重要的性质，它们是实现正交对角化的基石。

定理 1：实对称矩阵的特征值均为实数。 设 $A$ 是 $n$ 阶实对称矩阵，其特征多项式为 $|\lambda I - A| = 0$。虽然在复数域上，这个 $n$ 次方程必有 $n$ 个根（含重根），但该定理断言，对于实对称矩阵 $A$，这 $n$ 个根全部是实数。这意味着我们总能解出 $n$ 个实特征值（可能有重复）。

定理 2：实对称矩阵属于不同特征值的特征向量相互正交。 设 $\lambda_1$ 和 $\lambda_2$ 是实对称矩阵 $A$ 的两个不同特征值（$\lambda_1 \ne \lambda_2$），$\alpha_1$ 和 $\alpha_2$ 分别是其对应的特征向量，即 $A\alpha_1 = \lambda_1 \alpha_1$，$A\alpha_2 = \lambda_2 \alpha_2$。则 $\alpha_1$ 与 $\alpha_2$ 正交，即它们的内积 $\langle \alpha_1, \alpha_2 \rangle = \alpha_1^T \alpha_2 = 0$。

证明： 考虑内积 $\langle A\alpha_1, \alpha_2 \rangle$。一方面，由特征值定义： $$\langle A\alpha_1, \alpha_2 \rangle = \langle \lambda_1 \alpha_1, \alpha_2 \rangle = \lambda_1 \langle \alpha_1, \alpha_2 \rangle$$ 另一方面，利用 $A$ 的对称性 $(A^T = A)$ 和矩阵转置的性质： $$\langle A\alpha_1, \alpha_2 \rangle = (A\alpha_1)^T \alpha_2 = \alpha_1^T A^T \alpha_2 = \alpha_1^T (A \alpha_2) = \alpha_1^T (\lambda_2 \alpha_2) = \lambda_2 \langle \alpha_1, \alpha_2 \rangle$$ 将两式联立，得到： $$\lambda_1 \langle \alpha_1, \alpha_2 \rangle = \lambda_2 \langle \alpha_1, \alpha_2 \rangle$$ 移项得： $$(\lambda_1 - \lambda_2) \langle \alpha_1, \alpha_2 \rangle = 0$$ 由于 $\lambda_1 \ne \lambda_2$，则必有 $\langle \alpha_1, \alpha_2 \rangle = 0$。证毕。

这两个定理共同导向了本节最核心的结论：

定理 3（实对称矩阵正交相似对角化定理）： 任何 $n$ 阶实对称矩阵 $A$，必存在一个 $n$ 阶正交矩阵 $T$，使得 $$T^{-1} A T = T^T A T = \Lambda$$ 其中 $\Lambda$ 是一个对角矩阵，其对角线上的元素恰好是 $A$ 的 $n$ 个实特征值。

定理的直观理解：

1. 由定理1，我们总能找到 $n$ 个实特征值。
2. 对于每个特征值 $\lambda_i$，求解对应的特征子空间。属于不同特征值的特征向量由定理2保证是正交的。
3. 对于同一个特征值 $\lambda_i$（重数 $r_i > 1$），其特征子空间是 $r_i$ 维的。我们可以在这个子空间内部，利用施密特正交化方法，构造出一组标准正交基。这组基内部的向量是正交的，并且由于它们都对应同一个特征值，它们与其它特征值对应的特征向量也正交（因为不同特征值对应的特征子空间是正交的）。
4. 最终，我们将所有特征子空间的标准正交基合并起来，就得到了 $n$ 个两两正交的单位向量，它们构成了一个正交矩阵 $T$ 的列向量。$T^T A T$ 的结果必然是对角矩阵 $\Lambda$。

实对称矩阵对角化的计算流程

基于上述定理，我们可以总结出将实对称矩阵 $A$ 正交对角化的标准步骤：

步骤 1：计算特征值与特征向量

1. 求解特征多项式 $|\lambda I - A| = 0$，得到 $A$ 的所有实特征值 $\lambda_1, \lambda_2, \dots, \lambda_m$（其中 $\lambda_i$ 的重数为 $r_i$，且 $\sum_{i=1}^m r_i = n$）。
2. 对每个不同的特征值 $\lambda_i$，求解齐次线性方程组 $(\lambda_i I - A) x = 0$，得到一个基础解系 ${ \alpha_{i1}, \alpha_{i2}, \dots, \alpha_{ir_i} }$，它们张成了 $\lambda_i$ 的特征子空间。

步骤 2：特征向量的正交化与单位化

1. 对于每个特征值 $\lambda_i$ 对应的基础解系 ${ \alpha_{i1}, \alpha_{i2}, \dots, \alpha_{ir_i} }$，使用施密特正交化方法，将其转化为一组正交向量组 ${ \beta_{i1}, \beta_{i2}, \dots, \beta_{ir_i} }$。
   • 若 $r_i = 1$，则无需正交化，直接进入单位化。
   • 施密特正交化公式（以两个向量为例）： $$\begin{aligned} \beta_1 &= \alpha_1 \ \beta_2 &= \alpha_2 - \frac{\langle \alpha_2, \beta_1 \rangle}{\langle \beta_1, \beta_1 \rangle} \beta_1 \end{aligned}$$
2. 对正交化后的每个向量 $\beta_{ij}$ 进行单位化（标准化），得到标准正交向量 $\eta_{ij}$： $$\eta_{ij} = \frac{\beta_{ij}}{|\beta_{ij}|}$$ 这样，${ \eta_{i1}, \eta_{i2}, \dots, \eta_{ir_i} }$ 就构成了特征值 $\lambda_i$ 的特征子空间的一组标准正交基。

步骤 3：构造正交矩阵与对角矩阵

1. 将所有特征子空间的标准正交基向量，按照对应的特征值顺序排列，构成一个 $n \times n$ 的矩阵 $T$： $$T = \begin{bmatrix} \eta_{11} & \dots & \eta_{1 r_1} & \eta_{21} & \dots & \eta_{2 r_2} & \dots & \eta_{m1} & \dots & \eta_{m r_m} \end{bmatrix}$$ 由于所有 $\eta_{ij}$ 是两两正交的单位向量，矩阵 $T$ 是正交矩阵，满足 $T^{-1} = T^T$。
2. 对应的对角矩阵 $\Lambda$ 的对角线元素，按照 $T$ 中列向量的排列顺序，放置相应的特征值： $$\Lambda = \text{diag}(\underbrace{\lambda_1, \dots, \lambda_1}$${r_1\text{个}}, \underbrace{\lambda_2, \dots, \lambda_2}{r_2\text{个}}, \dots, \underbrace{\lambda_m, \dots, \lambda_m}_{r_m\text{个}})
3. 最终有 $T^T A T = \Lambda$。

计算实例演示

让我们通过一个具体例子来实践上述流程。设实对称矩阵 $$A = \begin{bmatrix} 1 & 2 & 2 \ 2 & 1 & 2 \ 2 & 2 & 1 \end{bmatrix}$$ 我们的目标是找到一个正交矩阵 $T$，使得 $T^T A T$ 为对角矩阵。

1. 求特征值与特征向量 计算特征多项式： $$|\lambda I - A| = \begin{vmatrix} \lambda - 1 & -2 & -2 \ -2 & \lambda - 1 & -2 \ -2 & -2 & \lambda - 1 \end{vmatrix} = (\lambda - 5)(\lambda + 1)^2 = 0$$ 解得特征值：$\lambda_1 = -1$（二重）， $\lambda_2 = 5$（一重）。

对于 $\lambda_1 = -1$，解 $(-I - A)x = 0$，即 $(A + I)x = 0$： $$\begin{bmatrix} 2 & 2 & 2 \ 2 & 2 & 2 \ 2 & 2 & 2 \end{bmatrix} \rightarrow \dots \rightarrow x_1 + x_2 + x_3 = 0,\quad \text{基础解系: } \alpha_1 = \begin{bmatrix} 1 \ -1 \ 0 \end{bmatrix}, \alpha_2 = \begin{bmatrix} 1 \ 0 \ -1 \end{bmatrix}$$

对于 $\lambda_2 = 5$，解 $(5I - A)x = 0$： $$\begin{bmatrix} 4 & -2 & -2 \ -2 & 4 & -2 \ -2 & -2 & 4 \end{bmatrix} \rightarrow \dots \rightarrow \text{基础解系: } \alpha_3 = \begin{bmatrix} 1 \ 1 \ 1 \end{bmatrix}$$

2. 正交化与单位化

• 对 $\lambda_1$ 的特征向量 $\alpha_1, \alpha_2$ 进行施密特正交化： $$\begin{aligned} \beta_1 &= \alpha_1 = \begin{bmatrix} 1 \ -1 \ 0 \end{bmatrix} \ \beta_2 &= \alpha_2 - \frac{\langle \alpha_2, \beta_1 \rangle}{\langle \beta_1, \beta_1 \rangle} \beta_1 = \begin{bmatrix} 1 \ 0 \ -1 \end{bmatrix} - \frac{1}{2} \begin{bmatrix} 1 \ -1 \ 0 \end{bmatrix} = \begin{bmatrix} \frac{1}{2} \ \frac{1}{2} \ -1 \end{bmatrix} \end{aligned}$$ 为避免分数运算，可把 $\beta_2$ 放大 2 倍，取 $\beta_2’ = \begin{bmatrix} 1 \ 1 \ -2 \end{bmatrix}$（正交化过程允许向量伸缩，不改变正交性，也不影响单位化结果）。然后单位化： $$\begin{aligned} \eta_1 &= \frac{\beta_1}{|\beta_1|} = \frac{1}{\sqrt{2}} \begin{bmatrix} 1 \ -1 \ 0 \end{bmatrix} = \begin{bmatrix} \frac{\sqrt{2}}{2} \ -\frac{\sqrt{2}}{2} \ 0 \end{bmatrix} \ \eta_2 &= \frac{\beta_2’}{|\beta_2’|} = \frac{1}{\sqrt{6}} \begin{bmatrix} 1 \ 1 \ -2 \end{bmatrix} = \begin{bmatrix} \frac{\sqrt{6}}{6} \ \frac{\sqrt{6}}{6} \ -\frac{\sqrt{6}}{3} \end{bmatrix} \end{aligned}$$
• 对 $\lambda_2$ 的特征向量 $\alpha_3$ 直接单位化（只有一个向量，无需正交化）： $$\eta_3 = \frac{\alpha_3}{|\alpha_3|} = \frac{1}{\sqrt{3}} \begin{bmatrix} 1 \ 1 \ 1 \end{bmatrix} = \begin{bmatrix} \frac{\sqrt{3}}{3} \ \frac{\sqrt{3}}{3} \ \frac{\sqrt{3}}{3} \end{bmatrix}$$

3. 构造矩阵 $T$ 与 $\Lambda$ 将单位化后的特征向量按列排成正交矩阵 $T$，顺序与特征值对应： $$T = \begin{bmatrix} \eta_1 & \eta_2 & \eta_3 \end{bmatrix} = \begin{bmatrix} \frac{\sqrt{2}}{2} & \frac{\sqrt{6}}{6} & \frac{\sqrt{3}}{3} \ -\frac{\sqrt{2}}{2} & \frac{\sqrt{6}}{6} & \frac{\sqrt{3}}{3} \ 0 & -\frac{\sqrt{6}}{3} & \frac{\sqrt{3}}{3} \end{bmatrix}$$ 对应的对角矩阵 $\Lambda$ 为： $$\Lambda = \begin{bmatrix} -1 & 0 & 0 \ 0 & -1 & 0 \ 0 & 0 & 5 \end{bmatrix}$$ 可以验证：$A\eta_1 = -\eta_1$，$A\eta_2 = -\eta_2$，$A\eta_3 = 5\eta_3$，且 $\eta_1, \eta_2, \eta_3$ 两两正交、长度为 1，因此 $T^T A T = \Lambda$。

import numpy as np

# 定义实对称矩阵 A
A = np.array([[1, 2, 2],
              [2, 1, 2],
              [2, 2, 1]], dtype=float)

# 1. 对实对称矩阵，推荐使用 np.linalg.eigh 而非 eig：
#    eigh 专门针对对称矩阵设计，保证返回的特征向量两两正交且已单位化，
#    正好对应本节手工推导中"施密特正交化 + 单位化"的结果。
eigenvalues, T = np.linalg.eigh(A)

print("特征值 (eigh 按升序返回，对应 -1, -1, 5):")
print(eigenvalues)
print("\n特征向量矩阵 T (列向量，已单位正交):")
print(T)

# 2. 验证 T^T * A * T 是否为对角阵（对角线应为 -1, -1, 5）
Lambda_computed = T.T @ A @ T
print("\n验证 T^T * A * T (应为对角阵):")
print(np.round(Lambda_computed, 10))  # 四舍五入消除微小误差

# 3. 验证 T 是正交矩阵 (T^T * T 应为单位阵)
print("\n验证 T 是正交矩阵 (T^T * T 应为单位阵):")
print(np.round(T.T @ T, 10))

# 注意：eigh 返回的特征向量符号可能与手工计算不同（特征向量方向可任意取反），
# 重特征值 (-1) 对应的二维特征子空间中，具体取哪组正交基也不唯一，
# 这正是"正交矩阵 T 不唯一"的体现。

📝 动手练一练

1. 性质理解：设 $A$ 为 $n$ 阶实对称矩阵，且已知其特征值 $\lambda_1 = 1$（三重），$\lambda_2 = -2$（一重）。请问： a) 矩阵 $A$ 的秩可能是多少？说明理由。 b) 能否断言属于 $\lambda_1$ 的任意两个特征向量都是正交的？为什么？

2. 计算实践：对以下实对称矩阵进行正交对角化，即求正交矩阵 $T$ 和对角矩阵 $\Lambda$，使得 $T^T A T = \Lambda$。 $$A = \begin{bmatrix} 2 & 1 & 1 \ 1 & 2 & 1 \ 1 & 1 & 2 \end{bmatrix}$$ （提示：先求特征值，其中一个特征值较容易看出）

参考答案：

1. a) 由于 $\lambda_1 = 1$（三重）与 $\lambda_2 = -2$（一重）全部非零，而实对称矩阵必可对角化，其秩等于非零特征值的个数（计重数），因此 $A$ 的秩为 $3 + 1 = 4$（满秩，$A$ 为 4 阶矩阵）。 b) 不能。定理只保证属于不同特征值的特征向量正交。对于同一个特征值 $\lambda_1$，其特征子空间内的向量不一定正交。例如，在三维特征子空间中，我们可以找到无数个不相互正交的向量。需要通过施密特正交化才能得到正交基。

2. 参考答案： 特征多项式为 $|\lambda I - A| = (\lambda - 1)^2 (\lambda - 4) = 0$。特征值：$\lambda_1 = 1$（二重），$\lambda_2 = 4$（一重）。 对应 $\lambda_1=1$ 的特征向量基础解系：$\alpha_1 = (1, -1, 0)^T$, $\alpha_2 = (1, 0, -1)^T$。正交化：$\beta_1 = \alpha_1$, $\beta_2 = \alpha_2 - \frac{1}{2}\beta_1 = (\frac{1}{2}, \frac{1}{2}, -1)^T$。单位化后得 $\eta_1 = (\frac{\sqrt{2}}{2}, -\frac{\sqrt{2}}{2}, 0)^T$, $\eta_2 = (\frac{\sqrt{6}}{6}, \frac{\sqrt{6}}{6}, -\frac{\sqrt{6}}{3})^T$。 对应 $\lambda_2=4$ 的特征向量：$\alpha_3 = (1, 1, 1)^T$，单位化得 $\eta_3 = (\frac{\sqrt{3}}{3}, \frac{\sqrt{3}}{3}, \frac{\sqrt{3}}{3})^T$。 正交矩阵 $T = [\eta_1, \eta_2, \eta_3]$，对角矩阵 $\Lambda = \text{diag}(1, 1, 4)$。

本章小结

本节我们深入探讨了线性代数中一个极为重要的专题——实对称矩阵的对角化。我们从普通的相似概念出发，引入了要求更严格、几何意义更明确的“正交相似”。实对称矩阵因其自身的对称性，具备了特征值全为实数、不同特征值对应特征向量正交的优良性质。这些性质最终保证了任何实对称矩阵都可以正交相似于一个对角矩阵这一核心结论。

我们不仅学习了这个定性的结论，还掌握了将其实现的定量计算流程：求解特征值与特征向量 → 对特征向量进行施密特正交化与单位化 → 构造正交矩阵与对角矩阵。这个过程是后续学习主成分分析（PCA）、奇异值分解（SVD）等算法的直接数学基础。

行动清单

1. 记忆核心定理：熟记“实对称矩阵必可正交对角化”及其两个前提性质（特征值全实、不同特征值特征向量正交）。
2. 掌握计算流程：独立完成至少一道实对称矩阵正交对角化的计算题，确保每一步（尤其是施密特正交化）都清晰无误。
3. 代码验证：使用 Python 的 NumPy 库（np.linalg.eig）验证你手工计算的结果，理解数值计算与理论推导之间的关系。

— 小象教研组