向量：从几何直觉到高维空间

小象实战讲义 · 机器学习算法精讲

从本节开始进入线性代数——它在整个机器学习里无处不在。第一个概念是向量（vector）：它既是物理世界里力、速度这类”有方向的量”的数学表达，更是机器学习中表示一个数据样本的基本单元。本节同时引入衡量向量”大小”的工具——范数（norm），L1、L2、L0、L∞ 这一族记号会贯穿后面的损失函数、正则化与距离度量。

💡 核心导读

• 向量与标量的区别：向量有方向；用分量（在各坐标轴上的投影）可以把它写成代数形式。
• 高维空间并不神秘：机器学习的特征动辄几十上百维；用”圆与球的截面”思维实验，可以从低维类比高维。
• 范数（模）：向量长度的度量，L2 是勾股定理的推广；它是个标量，满足非负性、齐次性与三角不等式。
• 范数一族：Lp 范数统一了 L1（绝对值之和）与 L2（平方和开根）；L0 数非零个数，L∞ 取最大绝对值。
• 范数即距离：L2 定义欧几里得距离，L1 定义曼哈顿距离。

向量的直观理解与表示

先分清标量（scalar）与向量（vector）。讲师的例子很接地气：“你多重？""我 150 斤。""你多高？""我 1 米 73。“——这些只有大小、没有方向的量是标量。而物理课上学过的力、速度、位移，除了大小还有方向，这类量就是向量。

在带坐标轴的平面里，一个向量就是从原点出发、指向某一点的一支”箭头”。它在 x 轴、y 轴上的投影叫做分量：设 x、y 方向的单位向量分别为 $\mathbf{i}$、$\mathbf{j}$，则向量 $\mathbf{M}$ 可写作

$$\mathbf{M} = M_x \mathbf{i} + M_y \mathbf{j}$$

单位向量就是”一份标准长度”，$M_x = 7$ 表示 x 方向叠了 7 小份，$M_y = 5$ 表示 y 方向叠了 5 小份——任何向量都能写成”各方向上有多少小份”的叠加。三维空间无非再添一根 z 轴（单位向量 $\mathbf{k}$）。

所有向量构成向量空间（vector space）。我们最常打交道的是欧几里得空间（Euclidean space）——可以简单理解为带笛卡尔坐标系（横轴纵轴那种直角坐标）的空间。讲师提醒：高中还学过极坐标系（用一个角度加一个长度刻画位置），那就不是欧几里得空间的玩法了；我们生活的三维空间、以及二维平面、一条直线，都是欧几里得空间，只是维度小的那些”住户”而已。

高维空间：圆与球的截面思维实验

机器学习的特征往往远超三维——描述一个同学，“是男是女”是一维特征，“多高”第二维，“体重”第三维，“学历”第四维……任何数据都能这样用高维特征表述，这就是我们为什么要研究向量与高维空间。可四维以上画不出来，怎么建立直觉？讲师给了一个漂亮的思维实验——想”圆”是什么：

• 一维空间（一条线）上的”圆”：到某点距离相等的点——恰好是两个点。
• 二维空间：到某点距离相等的点集是圆；而这个圆被一条一维直线截一下，截面正是”两个点”——一维的”圆”。
• 三维空间：到某点距离相等的点集是球；用一个平面去截球，截面是个圆——二维的”圆”。
• 依此类推，四维空间的”球”，用三维空间去截它，截面就是一个三维的球体。

顺着”截面”往下推，低维直觉就能一路延展到高维——数学构造（向量分量表示）则让我们在画不出来的维度里照样精确运算。

向量的模（Norm）：衡量向量的大小

向量的模（norm）就是它的长度/大小，记作 $\Vert\mathbf{x}\Vert$。在二维欧几里得空间里，这就是勾股定理：向量 $\mathbf{x}=[x_1, x_2]^T$ 的模为

$$\Vert\mathbf{x}\Vert_2 = \sqrt{x_1^2 + x_2^2}$$

（下标 2 的原因马上揭晓。）模本身不是向量，是标量，且满足三条基本性质：

1. 非负性：$\Vert\mathbf{x}\Vert \ge 0$，且只有零向量模为零——向量不为零，它在各方向的投影与自身总有长度。
2. 齐次性：向量乘常数，常数直接提出来：$\Vert \alpha \mathbf{x} \Vert = |\alpha| \cdot \Vert\mathbf{x}\Vert$。
3. 三角不等式：$\Vert\mathbf{x}+\mathbf{y}\Vert \le \Vert\mathbf{x}\Vert + \Vert\mathbf{y}\Vert$——两边之和大于第三边。

Lp 范数一族

刚才的模平方再开根，本质是”分量的 2 次幂求和、再开 2 次根”——把 2 换成一般指数 $p$，就得到 Lp 范数：

$$\Vert\mathbf{x}\Vert_p = \left( \sum_{i=1}^{n} |x_i|^p \right)^{\frac{1}{p}}, \quad p \ge 1$$

• $p=1$（L1 范数）：各分量绝对值直接相加。向量 $(1, 2)$ 的 L1 范数 $= |1| + |2| = 3$。
• $p=2$（L2 范数）：平方和开根号，经典的欧几里得长度。$(1, 2)$ 的 L2 范数 $= \sqrt{1+4} = \sqrt{5}$。

机器学习里还常用到两个”编外”成员：

• L0”范数”：数一数向量里有多少个非零元素。$(1, 2)$ 的 L0 是 2；$(1, 0)$ 的 L0 是 1（那个 0 不算数）。它不是严格意义的范数，但在稀疏编码（sparse coding）/稀疏表示里非常关键——我们常希望参数里大量元素是 0、只留少数有值，L0 正是稀疏性的直接度量。
• L∞ 范数：$p \to \infty$ 时会发生什么？按定义是各分量 $p$ 次幂求和再开 $p$ 次根。关键在于指数增长的无情：假设最大的分量是 $x_j$，那么 $x_j^p$ 会把其他项甩开天文数字般的差距——讲师的例子，$3^{1000}$ 远大于 $2.9^{1000}$，仅仅 0.1 的差距被指数放大成了不可逾越的鸿沟，何况 $p$ 趋于无穷。于是求和被最大项独占，开 $p$ 次根后：

$$\Vert\mathbf{x}\Vert_\infty = \max_i |x_i|$$

即所有分量绝对值的最大值。比如 $(3, 7, 9)$ 的 L∞ 范数就是 9。

下面的代码把这一族范数一次算齐：

def l_p_norm(vector, p):
    """计算向量的 Lp 范数（p=0 计非零个数，p=inf 取最大绝对值）。"""
    if p == 0:
        return sum(1 for x in vector if abs(x) > 1e-10)
    elif p == float('inf'):
        return max(abs(x) for x in vector)
    else:
        return sum(abs(x) ** p for x in vector) ** (1.0 / p)

v = [3, -4, 0, 1]
print(f"向量 v = {v}")
print(f"L1 范数 = {l_p_norm(v, 1):g}")
print(f"L2 范数 = {l_p_norm(v, 2):.4f}")
print(f"L∞ 范数 = {l_p_norm(v, float('inf')):g}")
print(f"L0 非零个数 = {l_p_norm(v, 0)}")

向量 v = [3, -4, 0, 1]
L1 范数 = 8
L2 范数 = 5.0990
L∞ 范数 = 4
L0 非零个数 = 3

从范数到距离

范数天然定义距离：给定点 $\mathbf{a}$ 与 $\mathbf{b}$，差向量 $\mathbf{b}-\mathbf{a}$ 的模就是两点距离。

• 欧几里得距离（L2 距离）：$d_2(\mathbf{a},\mathbf{b}) = \Vert\mathbf{b}-\mathbf{a}\Vert_2 = \sqrt{\sum_i (b_i - a_i)^2}$——就是我们说的”直线距离”。
• 曼哈顿距离（L1 距离）：$d_1(\mathbf{a},\mathbf{b}) = \Vert\mathbf{b}-\mathbf{a}\Vert_1 = \sum_i |b_i - a_i|$。名字来自曼哈顿那样横平竖直的街区：从 A 点到 B 点没法穿墙直插，只能沿街道走，横方向走了多少、纵方向走了多少，加起来就是 L1 距离——无论先横后纵还是先纵后横，走的总路程一样。

import math

def manhattan_distance(a, b):
    """L1 距离：各维差绝对值之和。"""
    return sum(abs(a_i - b_i) for a_i, b_i in zip(a, b))

def euclidean_distance(a, b):
    """L2 距离：各维差平方和开根。"""
    return math.sqrt(sum((a_i - b_i) ** 2 for a_i, b_i in zip(a, b)))

point_a = [1, 2]
point_b = [4, 6]
print(f"点 A = {point_a}, 点 B = {point_b}")
print(f"曼哈顿距离 (L1): {manhattan_distance(point_a, point_b)}")
print(f"欧几里得距离 (L2): {euclidean_distance(point_a, point_b)}")
# 验证：|4-1| + |6-2| = 7；sqrt(3^2 + 4^2) = sqrt(25) = 5

点 A = [1, 2], 点 B = [4, 6]
曼哈顿距离 (L1): 7
欧几里得距离 (L2): 5.0

单位球的形状：范数的几何图像

把 $\Vert\mathbf{x}\Vert_p = 1$ 的点集画出来（“单位球”），不同 p 会画出不同的图形：$p=1$ 是一个内切的小方形（顶点落在坐标轴上），$p=2$ 是圆，$p=1.5, 3, 4 \ldots$ 随 p 增大不断向外鼓，直到 $p=\infty$ 时变成一个大方框（由最大分量把边撑住）。讲师在课上画的就是这一族图形从里到外的连续变化。

这个形状差异在机器学习里后果深远，先记两点直觉：L2 的圆对各方向”一视同仁”；L1 的菱形顶点恰在坐标轴上——最优解容易”坐”在轴上，意味着很多分量恰好为零（稀疏解）。稀疏性正是 sparse coding 追求的性质；L1 与稀疏解、L2 与参数平滑的正式搭配，到第 9 章岭回归与 LASSO 时展开。

📝 动手练一练

1. 概念辨析：向量 $[30, 25, 5]$（三个量纲不同的特征值）的 L1 与 L2 范数各是多少？在这个量纲混杂的语境下，哪种范数更”合理”？

2. 代码实践：不用 math.sqrt，改用指数运算符 ** 实现同样的 L2 范数函数，并与原函数核对结果。

def l2_norm_no_sqrt(vector):
    """L2 范数：平方和的 0.5 次幂（与 math.sqrt 等价）。"""
    return sum(x ** 2 for x in vector) ** 0.5

test_vector = [3, 4]
result = l2_norm_no_sqrt(test_vector)
print(f"向量 {test_vector} 的 L2 范数 = {result}")
assert abs(result - 5.0) < 1e-10

向量 [3, 4] 的 L2 范数 = 5.0

本章小结

向量 = 有方向的量，用各方向的分量表示；机器学习中一个样本就是一个特征向量，天然生活在高维欧几里得空间里——“圆与球的截面”帮我们用低维直觉类比高维。范数度量向量大小：L2 是勾股定理（欧几里得距离），L1 是绝对值之和（曼哈顿距离），L0 数非零个数（稀疏性），L∞ 取最大分量；Lp 公式统一全族，p 从 1 到 ∞ 的单位球从菱形一路鼓成方框。这些记号将在损失函数、KNN 的距离度量与第 9 章的正则化中反复出场。

📋 行动清单

• 用向量给自己”画像”：性别、身高、体重、学历……把每个特征当一维，体会”样本=高维空间中的点”
• 写一个函数同时输出两个向量的 L1 / L2 / L∞ 三种距离，对同一对点比较大小关系
• 思考：用 L2 距离比较两个样本时，若某特征数值范围远大于其他特征（量纲悬殊），距离会被谁主导？这对”要不要先做特征缩放”有何启示？

—— 小象教研组