特征值与特征向量：矩阵变换的不动方向

小象实战讲义 · 机器学习算法精讲

本节回到矩阵本身，看它的两件”镇家之宝”：行列式与特征值、特征向量。行列式的值不只是计算口诀，它有清晰的几何含义；特征值与特征向量则揭示了矩阵作为线性变换时那些”方向不变”的秘密轴。视频末尾讲师还用一分多钟预告了 SVD（奇异值分解）——本节顺带认识它的样子，正式展开留到第 16 章降维时。

💡 核心导读

• 行列式的几何意义：方阵的行列式绝对值，等于其列向量张成的”有向面积/体积”（二维是平行四边形面积，三维是平行六面体体积）。
• 矩阵即变换：左乘一个矩阵，就是把空间中的向量做一次线性变换，矩阵的列就是标准基向量被”搬”到的新位置。
• 特征值与特征向量：变换后方向不变、只被拉伸或压缩的向量是特征向量，缩放倍数就是特征值；连乘矩阵时，它们决定结果是发散还是收敛。
• SVD 初见：任何实矩阵都能分解为”正交 × 对角 × 正交”三个矩阵的乘积——第 16 章降维的主角提前亮相。

行列式的几何直观

先复习计算：对于 $2 \times 2$ 矩阵

$$A = \begin{bmatrix} a & b \\ c & d \end{bmatrix}, \qquad \det(A) = ad - bc$$

这个式子不只是定义，它有非常清晰的几何含义。讲师在课上现场算了一遍：以矩阵的两个列向量为邻边，可以在平面上张成一个平行四边形，用”大矩形面积减去四周三角形”的拼图法化简，结果恰好就是 $ad - bc$。

用代码复现这个验证（列向量 $v_1 = (3,1)$、$v_2 = (1,2)$ 张成的平行四边形，其面积本应等于 $\det$）：

# 验证：det(A) 的绝对值 = 列向量张成的平行四边形面积
A = [[3, 1],
     [1, 2]]

det_A = A[0][0] * A[1][1] - A[0][1] * A[1][0]  # ad - bc
print(f"矩阵 A = {A}")
print(f"行列式 det(A) = {det_A}")

# 列向量 v1 = (3, 1), v2 = (1, 2)
v1 = (A[0][0], A[1][0])
v2 = (A[0][1], A[1][1])
# 二维叉积 (x1,y1)x(x2,y2) = x1*y2 - y1*x2，其绝对值即张成面积
cross_product = v1[0] * v2[1] - v1[1] * v2[0]
area = abs(cross_product)
print(f"列向量张成的平行四边形面积 = {area}")
print(f"两者是否相等？ {abs(det_A - area) < 1e-10}")

矩阵 A = [[3, 1], [1, 2]]
行列式 det(A) = 5
列向量张成的平行四边形面积 = 5
两者是否相等？ True

推广到三维：$3 \times 3$ 矩阵的行列式代表三个列向量张成的平行六面体的体积——每多一个维度，就多”乘上一层”。这也顺便解释了行列式为零意味着什么：列向量张成的体积塌成了零，说明它们线性相关，矩阵不可逆。

矩阵作为线性变换

理解特征值的关键前提，是把矩阵看成对整个空间施加的一次线性变换。

给定矩阵 $A$ 和向量 $\mathbf{v}$，乘积 $A\mathbf{v}$ 把 $\mathbf{v}$ 从空间中一点搬到另一点。讲师在课上用一个可交互的演示展示了这件事（setosa.io 的 eigenvectors and eigenvalues 页面，课件里附了链接）：调整矩阵 $A$ 的两个列向量，整个坐标网格随之被拉伸、倾斜——而 $A$ 的每一列，正是原标准基向量 $\mathbf{e}_1=(1,0)^T$、$\mathbf{e}_2=(0,1)^T$ 被变换后到达的新位置。矩阵没做别的，就是给空间做了一次线性变换。

特征值与特征向量：变换中的”不动方向”

在这个变换里，有没有一些特殊的向量，方向始终不变、只被拉伸或压缩？有——它们就是特征向量（eigenvector），缩放的倍数就是特征值（eigenvalue）。数学定义：对 $n \times n$ 方阵 $A$，若存在非零向量 $\mathbf{v}$ 与标量 $\lambda$ 使

$$A\mathbf{v} = \lambda \mathbf{v}$$

则 $\lambda$ 是特征值，$\mathbf{v}$ 是对应的特征向量。几何上：$A$ 作用在特征向量上，等价于在原方向上放大 $\lambda$ 倍（$\lambda>1$ 拉长、$0<\lambda<1$ 缩短、$\lambda<0$ 反向）；向量到原点的距离，变换前后正好放大 $\lambda$ 倍。$2\times 2$ 矩阵一般有两个特征方向 $S_1$、$S_2$ 和对应的两个特征值——特征向量可以认为是”矩阵最有代表性的东西”，它指明了这个变换”偏爱”的方向。

讲师在演示里还展示了两个值得记住的现象：

• 连乘的走向：把矩阵 $A$ 反复作用于向量，若向量落在较大特征值的方向上，结果会越乘越大、冲向无穷；落在较小特征值方向上则越乘越小，最终收缩到另一个特征方向上去。矩阵的长期行为，由它的特征值决定。
• 迹（trace）：方阵对角线元素之和 $\mathrm{tr}(A)$，有时也用来刻画矩阵，是个常用的伴随量。

怎么求？ 由 $A\mathbf{v} = \lambda\mathbf{v}$ 移项得 $(A - \lambda I)\mathbf{v} = \mathbf{0}$，要使非零 $\mathbf{v}$ 存在，必须 $\det(A - \lambda I) = 0$——这就是特征方程，解这个关于 $\lambda$ 的多项式即得特征值，再回代解出特征向量。（这是标准线性代数方法，站内《人工智能数学基础》有系统展开；本课直接用它。）用一个最小例子跑通全流程：

# 手工求解 2x2 矩阵的特征值与特征向量（A = [[2,1],[1,2]]）
A = [[2, 1],
     [1, 2]]

# 特征方程 det(A - λI) = (2-λ)^2 - 1 = λ^2 - 4λ + 3 = 0
# 由求根公式 λ = [4 ± sqrt(16-12)] / 2 = [4 ± 2] / 2
lambda1 = (4 + 2) / 2  # 3
lambda2 = (4 - 2) / 2  # 1
print(f"矩阵 A = {A}")
print(f"特征值 λ1 = {lambda1}, λ2 = {lambda2}")

# 回代求特征向量：λ1=3 时 (A-3I)v=0 → -x+y=0 → v1=(1,1)
#               λ2=1 时 (A-I)v=0 →  x+y=0 → v2=(1,-1)
v1 = [1, 1]
v2 = [1, -1]

for lam, v in [(lambda1, v1), (lambda2, v2)]:
    Av = [A[0][0] * v[0] + A[0][1] * v[1], A[1][0] * v[0] + A[1][1] * v[1]]
    lv = [lam * v[0], lam * v[1]]
    ok = all(abs(a - b) < 1e-10 for a, b in zip(Av, lv))
    print(f"λ={lam}: v={v}, Av={Av}, λv={lv}, Av=λv? {ok}")

矩阵 A = [[2, 1], [1, 2]]
特征值 λ1 = 3.0, λ2 = 1.0
λ=3.0: v=[1, 1], Av=[3, 3], λv=[3.0, 3.0], Av=λv? True
λ=1.0: v=[1, -1], Av=[1, -1], λv=[1.0, -1.0], Av=λv? True

两个特征方向 $(1,1)$ 与 $(1,-1)$ 上，矩阵确实只做了”放大 3 倍 / 保持 1 倍”的操作。

SVD 初见：任何矩阵都能”正交-对角-正交”三分

视频的最后，讲师用一分多钟预告了奇异值分解（Singular Value Decomposition, SVD）：特征值分解只对方阵成立，而对一般的 $m \times n$ 实矩阵 $A$，SVD 断言它总能分解成三个矩阵的乘积

$$A = U \Sigma V^T$$

其中 $U$、$V$ 是正交矩阵，$\Sigma$ 是对角矩阵——对角线上的元素叫奇异值。实际使用时，在 R 或 MATLAB 里输入 svd(A) 一行就能得到分解结果。

为什么”任何矩阵都能这样拆”、奇异值又有什么用？讲师留了个钩子：讲主题模型之前会细讲。对应到本课程，SVD 的正式舞台在第 16 章——PCA 降维、SVD 降维都在那里展开。现在只需要记住它的形状：正交 × 对角 × 正交。

📝 动手练一练

1. 概念辨析：一个 $3 \times 3$ 矩阵 $A$ 的行列式 $\det(A)=0$，从几何角度和特征值角度分别意味着什么？

2. 动手验证：对 $A = \begin{bmatrix} 4 & 2 \\ 1 & 3 \end{bmatrix}$，求特征值，并验证 $\mathbf{v} = (2, -1)$ 是否为特征向量。

本章小结

• 行列式是几何量：$|\det(A)|$ = 列向量张成的面积/体积；行列式为零 = 空间被压扁 = 矩阵不可逆。
• 矩阵即线性变换：左乘矩阵就是把空间做一次变换，矩阵的列是基向量变换后的落点。
• 特征向量是变换中方向不变的轴，特征值是沿该轴的缩放倍数；矩阵连乘时”越乘越大还是越乘越小”由特征值决定；迹 $\mathrm{tr}(A)$（对角线之和）是常用伴随量。
• SVD 把任意矩阵拆成”正交 × 对角 × 正交”，第 16 章降维时正式展开。

📋 行动清单

• 打开课件里 setosa.io 的特征向量互动页，拖动矩阵的列向量，观察特征方向如何随矩阵变化
• 任取一个 $2\times2$ 矩阵，纸上走一遍完整流程：写特征方程 → 解 $\lambda$ → 回代解 $\mathbf{v}$ → 用 $A\mathbf{v}=\lambda\mathbf{v}$ 验证
• 预习下一节：Jacobian、Hessian 与凸函数——导数工具如何升级到多元与矩阵世界

—— 小象教研组