拉格朗日乘子法（2）：等式约束下的平行条件与拉格朗日函数

小象实战讲义 · 机器学习算法精讲

上一节把图画到了一半：等高线、约束圆、移动方向的两个条件、点积判符号——都摆在了台面上，视频停在”接下来要求 $h$ 的梯度”。这一节接着走：把 $h$ 的梯度画出来，看它和 $f$ 的梯度之间是什么关系——这条线索一路走到头，就是拉格朗日函数。

💡 核心导读

• $h$ 的梯度：$\nabla h = (2x_1, 2x_2)$，方向永远是圆的法线方向；约束写成 $h$ 还是 $-h$，圆不变、但梯度反向——别调错方向。
• 平行条件：最优时，可行的移动方向（切向）里再也找不到让 $f$ 下降的——这当口 $\nabla f$ 与 $\nabla h$ 必然平行，两者只差一个常数 $\mu$。
• 拉格朗日函数：$L(x, \mu) = f(x) + \mu h(x)$——对 $x$ 求偏导恰好回收平行条件，对 $\mu$ 求偏导恰好回收约束本身，两件事并成一件事。
• 手算全流程：经典例子 $x^* = (-1, -1)$、$\mu = 1/2$ 一路推到底，最大值点与最小值点各领一个解。

先把 $h$ 的梯度画出来

还是上一节那张图：几条等高线（关于 $f$ 的），加一个圆（$h(x) = 0$ 的可行域）。$h$ 自己也是一个函数，它的梯度怎么求？——去求导呗。

$h(x) = x_1^2 + x_2^2 - 2$，对 $x_1$ 求导是 $2x_1$，对 $x_2$ 求导是 $2x_2$，写成向量：

$$\nabla h = \begin{bmatrix}2x_1\\ 2x_2\end{bmatrix}$$

就是把该点的坐标各乘上 2。比如圆上取点 $(1, -1)$，它的梯度就是 $(2, -2)$；取点 $(-2, -2)$（按比例在圆外延的方向上取值），梯度就是 $(-4, -4)$。把这些箭头画在圆上，会看得很清楚：$h$ 的梯度方向，永远是沿着圆的切线的垂直方向——也就是法线方向。

这里有一个值得单独强调的警告（讲师特意叮嘱”别调错方向”）：约束条件写 $h(x) = 0$ 还是 $-h(x) = 0$，描述的是同一个圆——就像 $x_1 + x_2 - 3 = 0$ 完全可以写成 $-x_1 - x_2 + 3 = 0$。但两者的梯度方向恰好相反：一个处处指向圆外、一个处处指向圆内。几何条件本身不受影响（不管向内向外，都垂直于同一条法线），但写公式、画箭头的时候，心里要清楚自己用的是哪一版。

从两个条件到”平行”

现在 $f$ 的梯度和 $h$ 的梯度都拿到了，可以看它们的关系了。回忆上一节的两个移动条件，在圆上从一点 $x$ 挪一小步 $\mu\Delta x$：

• 可行性：$h(x + \mu\Delta x) = 0$——挪完还在圆上，也就是 $\Delta x$ 要垂直于 $\nabla h$（沿切向走）；
• 优化性：$f(x + \mu\Delta x) < f(x)$——这一步要让 $f$ 变小，也就是 $\Delta x$ 与负梯度成锐角、$\Delta x \cdot (-\nabla f) > 0$。

顺着圆一路走、$f$ 一路降，直到某个点：可行的切向里，再也找不到让 $f$ 下降的方向了。这个”走不动”的几何翻译是什么？切向是与 $\nabla h$ 垂直的方向；“切向上没有 $f$ 的下降分量”意味着 $f$ 的梯度在切向上没有分量——也就是说 $\nabla f$ 只能落在法线方向上。两条梯度都垂直于同一条切线，那它们彼此之间只能是平行的：

$$-\nabla f = \mu \cdot \nabla h$$

负梯度与 $h$ 的梯度平行、只差一个常数 $\mu$——这就是最优时的几何相貌。把圆上每个点的两个梯度实际量一遍：

# ---- 圆上各点 grad h 与 grad f 的夹角: 平行的只有两个点 ----
import math

def angle_between(v1, v2):
    d = v1[0] * v2[0] + v1[1] * v2[1]
    n = math.sqrt(v1[0] ** 2 + v1[1] ** 2) * math.sqrt(v2[0] ** 2 + v2[1] ** 2)
    c = max(-1.0, min(1.0, d / n))
    return math.degrees(math.acos(c))

grad_f = (1.0, 1.0)
r = math.sqrt(2)

print("grad f = (1, 1) (常数); 约束圆 x1^2+x2^2=2 上各点 grad h = (2*x1, 2*x2):")
print("  角度   | 点 (x1, x2)          | grad h            | grad h 与 grad f 夹角")
for deg in (0, 45, 90, 135, 180, 225, 270, 315):
    t = math.radians(deg)
    x1, x2 = r * math.cos(t), r * math.sin(t)
    gh = (2 * x1, 2 * x2)
    a = angle_between(gh, grad_f)
    mark = ""
    if a < 1e-4:
        mark = "  <- 平行(同向): f 的最大值点"
    elif a > 180 - 1e-4:
        mark = "  <- 平行(反向): f 的最小值点"
    print(f"  {deg:3d} 度 | ({x1:+.4f}, {x2:+.4f}) | ({gh[0]:+.4f}, {gh[1]:+.4f}) | {a:6.1f} 度{mark}")

print()
print("两个平行点的方向辨析 (负梯度 -grad f = (-1,-1)):")
for x1, x2, tag in ((-1.0, -1.0, "最小值点"), (1.0, 1.0, "最大值点")):
    gh = (2 * x1, 2 * x2)
    a_neg = angle_between(gh, (-1.0, -1.0))
    mu = -grad_f[0] / gh[0]
    print(f"  ({x1:+.0f}, {x2:+.0f}) {tag}: grad h 与 -grad f 夹角 {a_neg:.0f} 度, "
          f"grad f + mu*grad h = 0 要求 mu = {mu:+.2f}")

grad f = (1, 1) (常数); 约束圆 x1^2+x2^2=2 上各点 grad h = (2*x1, 2*x2):
  角度   | 点 (x1, x2)          | grad h            | grad h 与 grad f 夹角
    0 度 | (+1.4142, +0.0000) | (+2.8284, +0.0000) |   45.0 度
   45 度 | (+1.0000, +1.0000) | (+2.0000, +2.0000) |    0.0 度  <- 平行(同向): f 的最大值点
   90 度 | (+0.0000, +1.4142) | (+0.0000, +2.8284) |   45.0 度
  135 度 | (-1.0000, +1.0000) | (-2.0000, +2.0000) |   90.0 度
  180 度 | (-1.4142, +0.0000) | (-2.8284, +0.0000) |  135.0 度
  225 度 | (-1.0000, -1.0000) | (-2.0000, -2.0000) |  180.0 度  <- 平行(反向): f 的最小值点
  270 度 | (-0.0000, -1.4142) | (-0.0000, -2.8284) |  135.0 度
  315 度 | (+1.0000, -1.0000) | (+2.0000, -2.0000) |   90.0 度

两个平行点的方向辨析 (负梯度 -grad f = (-1,-1)):
  (-1, -1) 最小值点: grad h 与 -grad f 夹角 0 度, grad f + mu*grad h = 0 要求 mu = +0.50
  (+1, +1) 最大值点: grad h 与 -grad f 夹角 180 度, grad f + mu*grad h = 0 要求 mu = -0.50

全圆 8 个采样点里，夹角 45 度、90 度、135 度的都有——平行（0 度或 180 度）只出现在两个点：$(1, 1)$ 与 $(-1, -1)$。这正是上一节扫描 $f$ 值找到的那两个切点：一个最大值、一个最小值。“满足平行关系的点就是这两个非常特殊的点”——一个是最大值、一个是最小值，$f$ 沿圆走到那里都彻底走不动了。

拉格朗日函数：把两件事并成一件事

几何条件拿到了：$-\nabla f = \mu \nabla h$。现在看它跟一个著名的构造有什么关系。回到原始问题：

$$\min f(x) \quad \text{s.t.} \quad h(x) = 0$$

拉格朗日函数是构造出来的一个关于 $x$ 和 $\mu$ 的新函数：

$$L(x, \mu) = f(x) + \mu \cdot h(x)$$

（Lagrange 是人名，Multiplier 是乘子——拉格朗日乘子有时特指这个 $\mu$，整个方法构造出来的 $L$ 叫拉格朗日函数。）

对它求偏导，会发现一件妙事。对 $x$ 求偏导并置零：

$$\frac{\partial L}{\partial x} = \nabla f + \mu \nabla h = 0 \quad\Longleftrightarrow\quad -\nabla f = \mu\nabla h$$

这正是刚才用几何推出来的平行条件——同一件事。对 $\mu$ 求偏导并置零：

$$\frac{\partial L}{\partial \mu} = h(x) = 0$$

这正好是限制条件本身。

所以为什么要这样构造 $L$？讲师的原话把它讲透了：把我们想做的两件事——限制条件的等式、求最优解的等式——通过 $L$ 重新构造到一起去了。优化 $L$（对每个分量求偏导置零），就等于在满足限制条件的前提下、让梯度之间满足那个方向关系——满足这个关系的值，当然就是最优值。

手算一遍：从方程到 $x^*$

把经典例子从头到尾解出来。$f(x) = x_1 + x_2$，$h(x) = x_1^2 + x_2^2 - 2$：

$$L(x_1, x_2, \mu) = (x_1 + x_2) + \mu(x_1^2 + x_2^2 - 2)$$

三个偏导置零：

$$\frac{\partial L}{\partial x_1} = 1 + 2\mu x_1 = 0 \qquad \frac{\partial L}{\partial x_2} = 1 + 2\mu x_2 = 0 \qquad \frac{\partial L}{\partial \mu} = x_1^2 + x_2^2 - 2 = 0$$

由前两个方程，$x_1 = x_2 = -\frac{1}{2\mu}$。（这一步容易错：讲师在黑板上先写成了 $-\frac{\mu}{2}$，当场代回去验算——$2\mu \times (-\frac{\mu}{2})$ 得不到 $-1$、对不上——才自我纠正为 $-\frac{1}{2\mu}$。值得自己推一遍，体会这个坑。）

代入第三个方程：

$$2 \times \frac{1}{4\mu^2} = 2 \quad\Longrightarrow\quad \mu^2 = \frac{1}{4} \quad\Longrightarrow\quad \mu = \pm\frac{1}{2}$$

两支各走一路：$\mu = +\frac{1}{2}$ 给出 $x^* = (-1, -1)$、$f = -2$（最小值）；$\mu = -\frac{1}{2}$ 给出 $x^* = (1, 1)$、$f = +2$（最大值）。跑代码验证：

# ---- 拉格朗日函数完整求解: 两解、全偏导零验证 ----
# L(x1, x2, mu) = (x1 + x2) + mu*(x1^2 + x2^2 - 2)
# dL/dx1 = 1 + 2*mu*x1 = 0  ->  x1 = -1/(2*mu)
# dL/dx2 = 1 + 2*mu*x2 = 0  ->  x2 = -1/(2*mu)
# dL/dmu = x1^2 + x2^2 - 2 = 0  ->  2 * 1/(4*mu^2) = 2  ->  mu^2 = 1/4

print("L(x1, x2, mu) = (x1 + x2) + mu*(x1^2 + x2^2 - 2)")
print("由 dL/dx1 = 0 与 dL/dx2 = 0 得: x1 = x2 = -1/(2*mu)")
print("代入 dL/dmu = 0: 2 * 1/(4*mu^2) = 2  ->  mu^2 = 1/4  ->  mu = +/- 0.5")
print()

for mu in (0.5, -0.5):
    x1 = -1.0 / (2.0 * mu)
    x2 = -1.0 / (2.0 * mu)
    dL_dx1 = 1.0 + 2.0 * mu * x1
    dL_dx2 = 1.0 + 2.0 * mu * x2
    dL_dmu = x1 * x1 + x2 * x2 - 2.0
    f = x1 + x2
    print(f"mu = {mu:+.1f}: x* = ({x1:+.1f}, {x2:+.1f}), f(x*) = {f:+.1f}")
    print(f"    验证: dL/dx1 = {dL_dx1:+.1e}, dL/dx2 = {dL_dx2:+.1e}, dL/dmu = {dL_dmu:+.1e}  (全为零)")

print()
print("几何检查 (mu = +0.5 的解):")
gh = (-2.0, -2.0)
print(f"  在 (-1,-1): grad h = ({gh[0]:.0f}, {gh[1]:.0f}), -grad f = (-1, -1) -- 同一个方向 (mu > 0)")
print(f"  grad f + 0.5*grad h = (1+0.5*({gh[0]:.0f}), 1+0.5*({gh[1]:.0f})) = ({1+0.5*gh[0]:.0f}, {1+0.5*gh[1]:.0f})")

L(x1, x2, mu) = (x1 + x2) + mu*(x1^2 + x2^2 - 2)
由 dL/dx1 = 0 与 dL/dx2 = 0 得: x1 = x2 = -1/(2*mu)
代入 dL/dmu = 0: 2 * 1/(4*mu^2) = 2  ->  mu^2 = 1/4  ->  mu = +/- 0.5

mu = +0.5: x* = (-1.0, -1.0), f(x*) = -2.0
    验证: dL/dx1 = +0.0e+00, dL/dx2 = +0.0e+00, dL/dmu = +0.0e+00  (全为零)
mu = -0.5: x* = (+1.0, +1.0), f(x*) = +2.0
    验证: dL/dx1 = +0.0e+00, dL/dx2 = +0.0e+00, dL/dmu = +0.0e+00  (全为零)

几何检查 (mu = +0.5 的解):
  在 (-1,-1): grad h = (-2, -2), -grad f = (-1, -1) -- 同一个方向 (mu > 0)
  grad f + 0.5*grad h = (1+0.5*(-2), 1+0.5*(-2)) = (0, 0)

两个解都严丝合缝：三个偏导在解处全部精确为零，$\nabla f + \mu\nabla h$ 在 $(-1,-1)$ 处正好合成 $(0, 0)$。

方向辨析（讲师在解完之后特意叮嘱”大家一定要搞清楚这件事，不要搞混了”）：在最小值点 $(-1,-1)$，$\nabla h = (-2,-2)$ 与负梯度 $-\nabla f = (-1,-1)$ 是同一个方向、$\mu > 0$；而在最大值点 $(1,1)$，$\nabla h$ 与 $-\nabla f$ 恰好相反、$\mu < 0$。哪头是哪头，取决于求最大值还是求最小值：找最小值看负梯度，沿梯度方向找的是最大值。$x^* = (-1, -1)$ 这个点，既满足限制条件（在圆上），又沿负梯度方向走到了 $f$ 最低的值——它就是我们期待的最优结果。

换到高维：一口锅、一圈圈等高线

圆和直线的例子讲清楚了，讲师又带着把图景升了一维，值得跟着想象一遍。

$x_1$、$x_2$ 张成一个平面，而 $f(x_1, x_2)$ 在它们头上撑起一个三维曲面——一个光滑的空间面（可以想象一口大锅的形状）。限制条件 $h(x) = 0$ 是底面 $x_1x_2$ 平面上的一条线；把这条线沿着竖直方向”投影”到锅面上，就在锅面上切出一条曲线——这条曲线才是真正的可行域（feasible region）：曲线上的每一点，既满足 $h = 0$，又带着一个 $f$ 的高度。我们要做的，就是在这条曲线上找最优值。

把锅沿竖直方向压到平面上，就得到熟悉的等高线图：一圈套一圈的闭合曲线（contour），同一个圈上高度相等。限制条件还是平面上那条线——于是一切都回到上一节的画面：在线能碰到的范围里，找离最优点”垂直方向最近”的那个接触点，等高线与约束线在那里相切、两条法线（两个梯度）在那里平行。二维图里画的圆和直线，只是这个高维图景的截面。

这就是拉格朗日乘子法背后的真正道理：把需要优化的函数乘上一个拉格朗日乘子加进来，构造出 $L$，对它求偏导置零——等价于在满足约束的前提下找到了梯度之间的方向关系。满足这个关系的值，就是最优值。

到这里，等式约束的优化就讲完了。还差最后一块：不等式约束的优化——$g(x) \le 0$ 的情形。那正是我们做 SVM 的时候要遇到的形态：做到后来你会发现，SVM 的求解就是一个不等式的优化。下一节接着讲。

📝 动手练一练

1. 为什么必须平行：在等式约束优化中，为什么极值点处 $\nabla f$ 必须与 $\nabla h$ 平行？请用”可行移动方向”和”函数值变化”两个角度简要解释。

2. 换一个目标函数：目标函数改为 $f(x) = 2x_1 - x_2$，约束仍是圆 $x_1^2 + x_2^2 = 2$。写出拉格朗日函数、三个偏导方程，手算出两个极值点与对应的乘子，并算出最小值。

本章小结

• $h$ 的梯度：$\nabla h = (2x_1, 2x_2)$，永远沿圆的法线方向；$h$ 与 $-h$ 描述同一个圆但梯度反向（别调错方向），几何条件不受影响。
• 平行条件：可行移动 $\Delta x \perp \nabla h$（不出圆）+ 最优点处切向再无下降分量 ⟹ $\nabla f \parallel \nabla h$、$-\nabla f = \mu\nabla h$；数值扫描确认全圆只有 $(1,1)$（夹角 0°、最大值）与 $(-1,-1)$（夹角 180°、最小值）两点平行。
• 拉格朗日函数：$L(x,\mu) = f(x) + \mu h(x)$；$\partial L/\partial x = 0$ 回收平行条件、$\partial L/\partial \mu = 0$ 回收约束本身——把两件事并成一件事。
• 手算全流程：$x_1 = x_2 = -\frac{1}{2\mu}$（讲师黑板现场从 $-\frac{\mu}{2}$ 自我纠正的坑）、$\mu^2 = \frac{1}{4}$、两解 $(-1,-1)$/$f=-2$ 与 $(1,1)$/$f=+2$，三个偏导在解处精确为零；最小值点 $\nabla h$ 与负梯度同向（$\mu>0$）、最大值点反向（$\mu<0$）——求最小看负梯度、求最大看梯度。
• 高维图景：$f$ 是三维曲面（一口锅）、约束是平面上的一条线、投影到锅面上切出可行曲线；压扁成等高线圈（contour），最优在”垂直方向最近”的相切处。
• 下一站：等式约束讲完，不等式约束（$g(x) \le 0$）正是 SVM 最大间隔求解时的形态。

📋 行动清单

• 在自己画的图上，把圆上 8 个点的 $\nabla h$ 箭头画出来，亲眼确认只有 $(\pm1, \pm1)$ 两点与 $\nabla f$ 平行
• 跑代码一：把约束改成 $-h(x) = 0$（整体乘负号）重跑第一块，观察 $\nabla h$ 全部反向、$\mu$ 变号、而 $x^*$ 纹丝不动
• 完成练一练第 2 题（$f = 2x_1 - x_2$）的手算后，把数值代回三个偏导方程逐项验零
• 用”一口锅 + 一圈圈等高线 + 约束线切出一条道”的画面，给自己讲一遍高维图景
• 预习下一节《拉格朗日乘子法（3）》——不等式约束，通往 SVM 的最后一块数学拼图

—— 小象教研组