矩阵对角化与特征值特征向量

矩阵对角化与特征值特征向量

小象实战讲义 · 人工智能数学基础

在矩阵理论中，寻找一个矩阵的“最简形式”是核心目标之一。本节我们将学习一种重要的等价关系——矩阵相似，并探讨如何将一个矩阵通过相似变换化为对角矩阵，即“对角化”。这一过程将引出线性代数中至关重要的两个概念：特征值与特征向量。它们是理解矩阵结构、分析线性变换本质，以及后续学习奇异值分解（SVD）等高级主题的基石。

💡 核心导读

本节你将掌握：

1. 相似矩阵：理解矩阵相似的定义、性质（行列式、秩、迹不变）及其作为一种等价关系的意义。
2. 对角化问题：明确矩阵可对角化的核心条件——存在 n 个线性无关的特征向量。
3. 特征值与特征向量：学习其定义、几何意义，并掌握通过求解特征多项式和齐次线性方程组来计算它们的方法。
4. 重要性质：了解相似矩阵具有相同的特征多项式，以及属于不同特征值的特征向量线性无关。
5. 实践计算：通过具体例子，熟练计算矩阵的特征值、特征向量，并判断其是否可对角化。

矩阵的相似：定义与基本性质

定义（矩阵相似）：设 $A$ 和 $B$ 都是数域 $K$ 上的 $n$ 阶方阵。如果存在 $K$ 上的一个 $n$ 阶可逆矩阵 $U$，使得 $$U^{-1} A U = B$$ 成立，则称 $A$ 与 $B$ 相似，记作 $A \sim B$。

矩阵相似是一种等价关系，满足：

• 反身性：$A \sim A$（取 $U = I$）。
• 对称性：若 $A \sim B$，则 $B \sim A$（由 $U^{-1}AU = B$ 可得 $UBU^{-1} = A$）。
• 传递性：若 $A \sim B$ 且 $B \sim C$，则 $A \sim C$（设 $U^{-1}AU = B$， $T^{-1}BT = C$，则 $(UT)^{-1}A(UT) = C$）。

相似矩阵具有一系列重要的不变量：

1. 行列式相同：若 $A \sim B$，则 $\det(A) = \det(B)$。 证明：$\det(B) = \det(U^{-1}AU) = \det(U^{-1})\det(A)\det(U) = \det(A)$。
2. 秩相同：若 $A \sim B$，则 $\operatorname{rank}(A) = \operatorname{rank}(B)$。 证明：左乘或右乘可逆矩阵不改变矩阵的秩。
3. 可逆性相同：若 $A \sim B$，则 $A$ 可逆当且仅当 $B$ 可逆。当它们都可逆时，其逆矩阵也相似：$A^{-1} \sim B^{-1}$。 证明：由 $U^{-1}AU = B$ 两边取逆，得 $U^{-1}A^{-1}U = B^{-1}$。

矩阵的迹与相似下的另一个不变量

在讨论相似矩阵时，除了行列式和秩，还有一个关键的不变量——迹。

定义（矩阵的迹）：设 $A = (a_{ij})$ 是 $n$ 阶方阵，其迹定义为所有主对角线元素之和： $$\operatorname{tr}(A) = a_{11} + a_{22} + \dots + a_{nn} = \sum_{i=1}^{n} a_{ii}$$

迹具有以下基本性质：

• 线性性：$\operatorname{tr}(A+B) = \operatorname{tr}(A) + \operatorname{tr}(B)$， $\operatorname{tr}(kA) = k \operatorname{tr}(A)$。
• 交换不变性：对于同阶方阵 $A, B$，有 $\operatorname{tr}(AB) = \operatorname{tr}(BA)$。 证明： $$\begin{aligned} \operatorname{tr}(AB) &= \sum_{i=1}^{n} (AB)$${ii} = \sum{i=1}^{n} \sum_{k=1}^{n} a_{ik} b_{ki} \ \operatorname{tr}(BA) &= \sum_{k=1}^{n} (BA){kk} = \sum{k=1}^{n} \sum_{i=1}^{n} b_{ki} a_{ik} \end{aligned} 两者求和顺序不同，但结果相等。

利用迹的交换不变性，我们可以证明它是相似变换下的不变量： 定理（相似矩阵的迹相同）：若 $A \sim B$，则 $\operatorname{tr}(A) = \operatorname{tr}(B)$。 证明：设 $U^{-1}AU = B$，则 $$\operatorname{tr}(B) = \operatorname{tr}(U^{-1}AU) = \operatorname{tr}((AU)U^{-1}) = \operatorname{tr}(A)$$ 其中第二个等号应用了 $\operatorname{tr}(XY) = \operatorname{tr}(YX)$，取 $X = U^{-1}$， $Y = AU$。

至此，我们知道相似矩阵有三个基本不变量：行列式、秩和迹。

矩阵的对角化与特征值、特征向量

对角化问题的提出

既然相似是一种等价关系，我们自然希望在每个等价类中找到一个形式最简单的“代表元”。对角矩阵无疑是最简单的形式之一。这就引出了矩阵对角化的核心问题：

1. 矩阵 $A$ 满足什么条件时，可以相似于一个对角矩阵？
2. 如果可以，如何找到那个可逆矩阵 $U$ 和对角矩阵 $D$？

设 $A \sim D$，其中 $D = \operatorname{diag}(\lambda_1, \lambda_2, \dots, \lambda_n)$，即 $U^{-1}AU = D$。将 $U$ 按列分块为 $U = (\alpha_1, \alpha_2, \dots, \alpha_n)$，由于 $U$ 可逆，这些列向量线性无关。将等式 $U^{-1}AU = D$ 左乘 $U$，得到： $$A U = U D$$ 即 $$A (\alpha_1, \alpha_2, \dots, \alpha_n) = (\alpha_1, \alpha_2, \dots, \alpha_n) \begin{pmatrix} \lambda_1 & & \ & \ddots & \ & & \lambda_n \end{pmatrix} = (\lambda_1 \alpha_1, \lambda_2 \alpha_2, \dots, \lambda_n \alpha_n)$$ 比较等式两边矩阵的每一列，我们得到： $$A \alpha_i = \lambda_i \alpha_i, \quad i = 1, 2, \dots, n$$

这个等式揭示了对角化的本质：我们需要找到 $n$ 个线性无关的向量 $\alpha_i$ 和对应的数 $\lambda_i$，使得 $A$ 作用在 $\alpha_i$ 上，结果只是 $\alpha_i$ 的 $\lambda_i$ 倍。这引出了特征值与特征向量的定义。

定义（特征值与特征向量）：设 $A$ 是数域 $K$ 上的 $n$ 阶方阵。如果存在数 $\lambda \in K$ 和非零列向量 $\alpha \in K^n$，使得 $$A \alpha = \lambda \alpha$$ 成立，则称 $\lambda$ 是 $A$ 的一个特征值，$\alpha$ 是 $A$ 的属于特征值 $\lambda$ 的一个特征向量。

基于此，我们可以重新表述对角化定理： 定理（矩阵可对角化的充要条件）：$n$ 阶矩阵 $A$ 可对角化（即相似于对角矩阵）的充要条件是 $A$ 有 $n$ 个线性无关的特征向量。 若 $\alpha_1, \alpha_2, \dots, \alpha_n$ 是 $n$ 个线性无关的特征向量，满足 $A\alpha_i = \lambda_i \alpha_i$，令 $U = (\alpha_1, \alpha_2, \dots, \alpha_n)$，则有 $$U^{-1} A U = \operatorname{diag}(\lambda_1, \lambda_2, \dots, \lambda_n)$$ 这个对角矩阵称为 $A$ 的相似标准型。

特征值与特征向量的求法

如何求解 $A \alpha = \lambda \alpha$？将其改写为： $$(\lambda I - A) \alpha = 0$$ 这是一个以 $\alpha$ 为未知向量的齐次线性方程组。由于 $\alpha \neq 0$，该方程组必须有非零解。根据线性方程组理论，齐次方程组有非零解的充要条件是系数矩阵的行列式为零，即 $$\det(\lambda I - A) = 0$$

定义（特征多项式与特征方程）：称 $f_A(\lambda) = \det(\lambda I - A)$ 为矩阵 $A$ 的特征多项式。方程 $\det(\lambda I - A) = 0$ 称为 $A$ 的特征方程。

求特征值与特征向量的步骤如下：

1. 计算特征多项式：$f_A(\lambda) = \det(\lambda I - A)$。
2. 解特征方程：求出 $f_A(\lambda) = 0$ 在数域 $K$ 中的所有根 $\lambda_1, \lambda_2, \dots, \lambda_s$（可能有重根）。这些根就是 $A$ 的全部特征值。
3. 对每个特征值 $\lambda_i$，求解齐次线性方程组 $(\lambda_i I - A)X = 0$，得到其基础解系 $\xi_{i1}, \xi_{i2}, \dots, \xi_{ir_i}$。这些基础解系中的非零向量（即所有解向量）就是属于 $\lambda_i$ 的全部特征向量（除去零向量）。所有属于 $\lambda_i$ 的特征向量构成的集合（除去零向量）称为属于 $\lambda_i$ 的特征子空间。

例1：求矩阵 $A = \begin{pmatrix} 1 & -2 \ 1 & 4 \end{pmatrix}$ 的特征值与特征向量。

1. 特征多项式： $$f_A(\lambda) = \det\begin{pmatrix} \lambda - 1 & 2 \ -1 & \lambda - 4 \end{pmatrix} = (\lambda - 1)(\lambda - 4) + 2 = \lambda^2 - 5\lambda + 6 = (\lambda - 2)(\lambda - 3)$$
2. 特征值：$\lambda_1 = 2$， $\lambda_2 = 3$。
3. 对 $\lambda_1 = 2$，解 $(2I - A)X = 0$： $$\begin{pmatrix} 1 & 2 \ -1 & -2 \end{pmatrix} \begin{pmatrix} x_1 \ x_2 \end{pmatrix} = 0 \Rightarrow x_1 = -2x_2$$ 基础解系为 $\xi_1 = \begin{pmatrix} -2 \ 1 \end{pmatrix}$。属于 $\lambda_1=2$ 的全部特征向量为 $k_1 \xi_1$， $k_1 \in K$ 且 $k_1 \neq 0$。
4. 对 $\lambda_2 = 3$，解 $(3I - A)X = 0$： $$\begin{pmatrix} 2 & 2 \ -1 & -1 \end{pmatrix} \begin{pmatrix} x_1 \ x_2 \end{pmatrix} = 0 \Rightarrow x_1 = -x_2$$ 基础解系为 $\xi_2 = \begin{pmatrix} -1 \ 1 \end{pmatrix}$。属于 $\lambda_2=3$ 的全部特征向量为 $k_2 \xi_2$， $k_2 \in K$ 且 $k_2 \neq 0$。

由于找到了两个线性无关的特征向量 $\xi_1, \xi_2$，矩阵 $A$ 可对角化。令 $U = (\xi_1, \xi_2) = \begin{pmatrix} -2 & -1 \ 1 & 1 \end{pmatrix}$，则 $U^{-1}AU = \begin{pmatrix} 2 & 0 \ 0 & 3 \end{pmatrix}$。

import numpy as np

# 定义矩阵 A
A = np.array([[1, -2],
              [1, 4]])

# 使用 numpy.linalg.eig 计算特征值和特征向量
eigenvalues, eigenvectors = np.linalg.eig(A)

print("特征值：", eigenvalues)
print("特征向量（按列排列）：")
print(eigenvectors)

# 验证对角化：计算 U^{-1} A U
U = eigenvectors
# 注意：numpy.linalg.eig 返回的特征向量是单位化的，且可能顺序与计算略有不同
# 这里我们使用计算出的 U 进行验证
D_computed = np.linalg.inv(U) @ A @ U
print("\n验证 U^{-1} A U 是否为对角阵（近似）：")
print(np.round(D_computed, 10)) # 四舍五入到小数点后10位，消除微小误差

特征值与特征向量的进一步性质

性质1（相似矩阵的特征多项式相同）：若 $A \sim B$，则 $f_A(\lambda) = f_B(\lambda)$。 证明：设 $U^{-1}AU = B$，则 $$\begin{aligned} f_B(\lambda) &= \det(\lambda I - B) = \det(\lambda I - U^{-1}AU) \ &= \det(U^{-1}(\lambda I)U - U^{-1}AU) = \det(U^{-1}(\lambda I - A)U) \ &= \det(U^{-1})\det(\lambda I - A)\det(U) = \det(\lambda I - A) = f_A(\lambda) \end{aligned}$$ 因此，相似矩阵具有相同的特征值（包括重数）。

性质2（不同特征值的特征向量线性无关）：设 $\lambda_1, \lambda_2, \dots, \lambda_s$ 是矩阵 $A$ 的互不相同的特征值，$\alpha_{i1}, \dots, \alpha_{ir_i}$ 是属于 $\lambda_i$ 的线性无关的特征向量组（$i=1,\dots,s$）。则向量组 $\alpha_{11}, \dots, \alpha_{1r_1}, \dots, \alpha_{s1}, \dots, \alpha_{sr_s}$ 整体是线性无关的。 证明思路：采用数学归纳法或反证法。核心是利用特征值定义 $A\alpha = \lambda\alpha$，将线性组合等于零的等式两边同时左乘 $A$，或乘以不同的特征值，通过比较消去项，最终证明所有组合系数必须为零。

这个性质非常重要，它意味着：如果 $A$ 有 $n$ 个互不相同的特征值，那么它一定有 $n$ 个线性无关的特征向量，从而 $A$ 一定可对角化。这是判断矩阵可对角化的一个充分条件。

例2：判断矩阵 $A = \begin{pmatrix} -1 & 2 & 2 \ 2 & -1 & -2 \ 2 & -2 & -1 \end{pmatrix}$ 是否可对角化，并求其相似标准型。

1. 求特征多项式（过程略）： $$f_A(\lambda) = \det(\lambda I - A) = (\lambda - 3)^2 (\lambda + 6)$$ 特征值：$\lambda_1 = 3$（二重）， $\lambda_2 = -6$（一重）。
2. 对 $\lambda_1 = 3$，解 $(3I - A)X = 0$，得基础解系： $\xi_1 = \begin{pmatrix} -2 \ 1 \ 0 \end{pmatrix}$， $\xi_2 = \begin{pmatrix} 2 \ 0 \ 1 \end{pmatrix}$。维数为2，等于特征值的重数。
3. 对 $\lambda_2 = -6$，解 $(-6I - A)X = 0$，得基础解系： $\xi_3 = \begin{pmatrix} 1 \ 2 \ -2 \end{pmatrix}$。维数为1。
4. 由于找到了三个线性无关的特征向量 $\xi_1, \xi_2, \xi_3$，因此 $A$ 可对角化。令 $$U = (\xi_1, \xi_2, \xi_3) = \begin{pmatrix} -2 & 2 & 1 \ 1 & 0 & 2 \ 0 & 1 & -2 \end{pmatrix}$$ 则 $$U^{-1}AU = \begin{pmatrix} 3 & 0 & 0 \ 0 & 3 & 0 \ 0 & 0 & -6 \end{pmatrix}$$

📝 动手练一练

1. 求矩阵 $B = \begin{pmatrix} 3 & 1 \ 5 & -1 \end{pmatrix}$ 的特征值、特征向量，并判断其是否可对角化。若可对角化，写出可逆矩阵 $U$ 和对角矩阵 $D$，使得 $U^{-1}BU = D$。
2. 已知三阶矩阵 $A$ 的特征值为 $1, 2, 3$，对应的特征向量依次为 $\begin{pmatrix}1 \ 0 \ 0\end{pmatrix}$, $\begin{pmatrix}1 \ 1 \ 0\end{pmatrix}$, $\begin{pmatrix}1 \ 1 \ 1\end{pmatrix}$。求矩阵 $A$。

参考答案：

1. 特征值与特征向量： 特征多项式：$\det(\lambda I - B) = (\lambda - 3)(\lambda + 1) - 5 = \lambda^2 - 2\lambda - 8 = (\lambda - 4)(\lambda + 2)$。 特征值：$\lambda_1 = 4$， $\lambda_2 = -2$。 对 $\lambda_1=4$：解 $(4I-B)X=0$，得基础解系 $\begin{pmatrix}1 \ 1\end{pmatrix}$。 对 $\lambda_2=-2$：解 $(-2I-B)X=0$，得基础解系 $\begin{pmatrix}1 \ -5\end{pmatrix}$。 可对角化，因为有两个线性无关的特征向量。 取 $U = \begin{pmatrix}1 & 1 \ 1 & -5\end{pmatrix}$， $D = \begin{pmatrix}4 & 0 \ 0 & -2\end{pmatrix}$。
2. 求矩阵 A： 由已知条件，令 $U = \begin{pmatrix}1 & 1 & 1 \ 0 & 1 & 1 \ 0 & 0 & 1\end{pmatrix}$， $D = \begin{pmatrix}1 & 0 & 0 \ 0 & 2 & 0 \ 0 & 0 & 3\end{pmatrix}$。 则有 $A U = U D$，所以 $A = U D U^{-1}$。 计算得 $U^{-1} = \begin{pmatrix}1 & -1 & 0 \ 0 & 1 & -1 \ 0 & 0 & 1\end{pmatrix}$。 因此 $A = \begin{pmatrix}1 & 1 & 1 \ 0 & 1 & 1 \ 0 & 0 & 1\end{pmatrix} \begin{pmatrix}1 & 0 & 0 \ 0 & 2 & 0 \ 0 & 0 & 3\end{pmatrix} \begin{pmatrix}1 & -1 & 0 \ 0 & 1 & -1 \ 0 & 0 & 1\end{pmatrix} = \begin{pmatrix}1 & 1 & 1 \ 0 & 2 & 1 \ 0 & 0 & 3\end{pmatrix}$。

本章小结

本节我们深入探讨了矩阵理论中的一个核心篇章——相似对角化。

• 核心概念：我们首先定义了矩阵相似，它是一种等价关系，并指出相似矩阵在行列式、秩和迹上保持不变。
• 核心问题：我们提出了矩阵对角化的问题，即寻找矩阵的“最简”相似形式——对角矩阵。
• 关键工具：为了解决对角化问题，我们引入了特征值与特征向量的概念。矩阵 $A$ 可对角化的充要条件是它有 $n$ 个线性无关的特征向量。
• 计算方法：我们掌握了通过求解特征方程 $\det(\lambda I - A)=0$ 得到特征值，再通过解齐次线性方程组 $(\lambda_i I - A)X=0$ 得到对应特征向量的标准流程。
• 重要性质：我们了解到相似矩阵特征多项式相同，以及属于不同特征值的特征向量线性无关（后者是判断可对角化的有力工具）。

行动清单 学完本节，你可以立即：

1. 动手计算：任给一个2阶或3阶矩阵，熟练计算出它的所有特征值和特征向量。
2. 判断与构造：根据求得的特征向量，判断该矩阵是否可对角化。如果可对角化，构造出可逆矩阵 $U$ 和对角矩阵 $D$。
3. 代码验证：使用 Python 的 NumPy 库（numpy.linalg.eig 函数）验证你的手算结果，直观理解特征值与特征向量的几何意义（变换方向不变）。

— 小象教研组