高阶偏导数

高阶偏导数

小象实战讲义 · 人工智能数学基础

在上一节，我们掌握了多元函数关于单个变量的变化率——偏导数。然而，要深入理解多元函数的局部形态，例如判断其极值点或进行二阶近似，仅有一阶信息是不够的。本节我们将学习高阶偏导数，即对偏导数再次求导。这不仅是多元微分学的核心内容，更是后续学习最优化算法（如梯度下降法的二阶改进）和机器学习模型（如神经网络的Hessian矩阵）的数学基石。学完本节，你将能够计算任意多元函数的二阶偏导数，理解混合偏导数的对称性，并初步认识描述函数局部曲率的重要工具——Hessian矩阵。

💡 核心导读

• 高阶偏导数的定义：理解如何对一阶偏导函数继续求偏导，从而得到二阶乃至更高阶的偏导数。
• 混合偏导数的对称性：掌握一个关键定理：在偏导数连续的条件下，混合偏导数的求导顺序可以交换。这对于简化计算至关重要。
• Hessian矩阵的引入：学习如何将多元函数的所有二阶偏导数组织成一个对称方阵，这是描述函数局部二阶性质的核心工具。
• 拉普拉斯算子简介：了解一个由二阶偏导数构成的特殊线性算子，它在物理和图像处理等领域有广泛应用。

9.7.1 从一阶到高阶：定义与记号

对于一个二元函数 $z = f(x, y)$，我们有两个一阶偏导数： $$\frac{\partial f}{\partial x} \quad \text{和} \quad \frac{\partial f}{\partial y}.$$ 需要明确的是，$\frac{\partial f}{\partial x}$ 和 $\frac{\partial f}{\partial y}$ 本身仍然是关于 $x$ 和 $y$ 的二元函数。因此，我们可以对它们再次求偏导。

以 $\frac{\partial f}{\partial x}$ 为例，它可以对 $x$ 或 $y$ 再次求导：

1. 对 $x$ 再求一次导：$\frac{\partial}{\partial x} \left( \frac{\partial f}{\partial x} \right)$，记作 $\frac{\partial^2 f}{\partial x^2}$ 或 $f_{xx}$ 或 $z_{xx}$。
2. 对 $y$ 再求一次导：$\frac{\partial}{\partial y} \left( \frac{\partial f}{\partial x} \right)$，记作 $\frac{\partial^2 f}{\partial x \partial y}$ 或 $f_{xy}$ 或 $z_{xy}$。

类似地，对 $\frac{\partial f}{\partial y}$ 也可以求导：

1. 对 $x$ 求一次导：$\frac{\partial}{\partial x} \left( \frac{\partial f}{\partial y} \right)$，记作 $\frac{\partial^2 f}{\partial y \partial x}$ 或 $f_{yx}$ 或 $z_{yx}$。
2. 对 $y$ 再求一次导：$\frac{\partial}{\partial y} \left( \frac{\partial f}{\partial y} \right)$，记作 $\frac{\partial^2 f}{\partial y^2}$ 或 $f_{yy}$ 或 $z_{yy}$。

因此，一个二元函数的二阶偏导数共有四个。其中，$f_{xx}$ 和 $f_{yy}$ 称为纯偏导数，而 $f_{xy}$ 和 $f_{yx}$ 称为混合偏导数。

关于记号的顺序：需要特别注意莱布尼茨记号 $\frac{\partial^2 f}{\partial x \partial y}$ 的读法。它表示先对 $x$ 求偏导，再对 $y$ 求偏导，求导顺序与下标记法 $f_{xy}$ 一致，即从左到右。同理，$\frac{\partial^2 f}{\partial y \partial x}$ 表示先对 $y$ 求导，再对 $x$ 求导，对应 $f_{yx}$。

推广到 $n$ 元函数 $f(x_1, x_2, \dots, x_n)$，其一阶偏导数有 $n$ 个，每个一阶偏导数又可以分别对 $n$ 个变量求导，因此其二阶偏导数共有 $n^2$ 个。以此类推，我们可以定义三阶及更高阶的偏导数。

9.7.2 混合偏导数的对称性

一个自然的问题是：混合偏导数 $f_{xy}$ 和 $f_{yx}$ 是否总是相等？答案是否定的，但它们相等的条件非常宽松且在实际应用中经常满足。

定理（混合偏导数相等条件）：如果函数 $z = f(x, y)$ 的两个混合偏导数 $f_{xy}$ 和 $f_{yx}$ 在点 $(x_0, y_0)$ 的某个邻域内存在且连续，则在点 $(x_0, y_0)$ 处有 $$f_{xy}(x_0, y_0) = f_{yx}(x_0, y_0).$$

这个定理的意义非常重大。在人工智能和科学计算中，我们处理的函数大多是由基本初等函数经过有限次四则运算和复合构成的初等函数。初等函数在其定义域内通常是任意阶连续可导的（$C^\infty$ 函数）。因此，对于这类函数，其二阶混合偏导数必然连续，从而求导顺序可以交换。

这意味着，在计算一个二元初等函数的四个二阶偏导数时，我们实际上只需要计算三个：$f_{xx}$, $f_{xy}$, $f_{yy}$，而 $f_{yx}$ 必然等于 $f_{xy}$。这大大简化了计算，并体现了一种美妙的对称性。

例1：验证函数 $z = y e^{xy}$ 的混合偏导数相等。 首先求一阶偏导： $$\frac{\partial z}{\partial x} = y^2 e^{xy}, \quad \frac{\partial z}{\partial y} = (1 + xy) e^{xy}.$$ 然后求二阶偏导： $$\begin{aligned} \frac{\partial^2 z}{\partial x^2} &= \frac{\partial}{\partial x}(y^2 e^{xy}) = y^3 e^{xy}, \ \frac{\partial^2 z}{\partial x \partial y} &= \frac{\partial}{\partial y}(y^2 e^{xy}) = (2y + xy^2) e^{xy}, \ \frac{\partial^2 z}{\partial y \partial x} &= \frac{\partial}{\partial x}((1+xy)e^{xy}) = (y + y(1+xy)) e^{xy} = (2y + xy^2) e^{xy}, \ \frac{\partial^2 z}{\partial y^2} &= \frac{\partial}{\partial y}((1+xy)e^{xy}) = (x + x(1+xy)) e^{xy} = (2x + x^2 y) e^{xy}. \end{aligned}$$ 可以清楚地看到 $\frac{\partial^2 z}{\partial x \partial y} = \frac{\partial^2 z}{\partial y \partial x}$。

我们可以用 Python 的符号计算库 sympy 来验证这一结果。

import sympy as sp

# 定义符号和函数
x, y = sp.symbols('x y')
z = y * sp.exp(x * y)

# 计算一阶偏导
z_x = sp.diff(z, x)
z_y = sp.diff(z, y)
print("一阶偏导数:")
print(f"∂z/∂x = {z_x}")
print(f"∂z/∂y = {z_y}")

# 计算二阶偏导
z_xx = sp.diff(z_x, x)
z_xy = sp.diff(z_x, y)
z_yx = sp.diff(z_y, x)
z_yy = sp.diff(z_y, y)

print("\n二阶偏导数:")
print(f"∂²z/∂x² = {z_xx}")
print(f"∂²z/∂x∂y = {z_xy}")
print(f"∂²z/∂y∂x = {z_yx}")
print(f"∂²z/∂y² = {z_yy}")

# 验证混合偏导相等
print(f"\n验证 ∂²z/∂x∂y == ∂²z/∂y∂x: {sp.simplify(z_xy - z_yx) == 0}")

9.7.3 拉普拉斯方程简介

由二阶偏导数可以构造一个非常重要的微分算子——拉普拉斯算子（Laplacian）。对于二元函数 $u(x, y)$，其拉普拉斯算子定义为： $$\Delta u = \frac{\partial^2 u}{\partial x^2} + \frac{\partial^2 u}{\partial y^2}.$$ 形如 $\Delta u = 0$ 的方程称为拉普拉斯方程，它的解称为调和函数。拉普拉斯方程在物理学（如电磁学、流体力学）和图像处理（如图像平滑）中无处不在。

例2：验证函数 $u = \frac{1}{2} \ln(x^2 + y^2)$ 满足拉普拉斯方程 $\Delta u = 0$。 首先求一阶偏导： $$\frac{\partial u}{\partial x} = \frac{x}{x^2 + y^2}, \quad \frac{\partial u}{\partial y} = \frac{y}{x^2 + y^2}.$$ 然后求二阶偏导： $$\begin{aligned} \frac{\partial^2 u}{\partial x^2} &= \frac{(x^2+y^2) - x \cdot 2x}{(x^2+y^2)^2} = \frac{y^2 - x^2}{(x^2+y^2)^2}, \ \frac{\partial^2 u}{\partial y^2} &= \frac{(x^2+y^2) - y \cdot 2y}{(x^2+y^2)^2} = \frac{x^2 - y^2}{(x^2+y^2)^2}. \end{aligned}$$ 两者相加： $$\Delta u = \frac{y^2 - x^2}{(x^2+y^2)^2} + \frac{x^2 - y^2}{(x^2+y^2)^2} = 0.$$ 因此，该函数是调和函数。注意观察函数 $u$ 关于 $x$ 和 $y$ 是对称的，这帮助我们快速写出了 $\frac{\partial^2 u}{\partial y^2}$ 的形式。

9.7.4 Hessian矩阵：二阶信息的组织方式

对于 $n$ 元函数 $f(\mathbf{x})$, $\mathbf{x} = (x_1, x_2, \dots, x_n)^T$，其所有二阶偏导数可以系统地组织成一个 $n \times n$ 的矩阵，称为 Hessian矩阵（或海森矩阵），记作 $\mathbf{H}(f)$ 或 $\nabla^2 f$。

$$\mathbf{H}(f) = \begin{bmatrix} \frac{\partial^2 f}{\partial x_1^2} & \frac{\partial^2 f}{\partial x_1 \partial x_2} & \cdots & \frac{\partial^2 f}{\partial x_1 \partial x_n} \[6pt] \frac{\partial^2 f}{\partial x_2 \partial x_1} & \frac{\partial^2 f}{\partial x_2^2} & \cdots & \frac{\partial^2 f}{\partial x_2 \partial x_n} \[6pt] \vdots & \vdots & \ddots & \vdots \[6pt] \frac{\partial^2 f}{\partial x_n \partial x_1} & \frac{\partial^2 f}{\partial x_n \partial x_2} & \cdots & \frac{\partial^2 f}{\partial x_n^2} \end{bmatrix}.$$

Hessian矩阵的性质：

1. 方阵：总是 $n \times n$ 的方阵。
2. 对称性：如果函数 $f$ 的所有二阶偏导数连续，则根据混合偏导数定理，有 $\frac{\partial^2 f}{\partial x_i \partial x_j} = \frac{\partial^2 f}{\partial x_j \partial x_i}$，这意味着 Hessian 矩阵是对称矩阵，即 $\mathbf{H}^T = \mathbf{H}$。
3. 与梯度的关系：Hessian 矩阵可以看作是梯度向量 $\nabla f = \left( \frac{\partial f}{\partial x_1}, \frac{\partial f}{\partial x_2}, \dots, \frac{\partial f}{\partial x_n} \right)^T$ 的导数。向量对向量求导的结果是一个矩阵（Jacobian 矩阵），梯度向量的 Jacobian 就是 Hessian 矩阵：$\mathbf{H}(f) = \mathbf{J}(\nabla f)$。

Hessian 矩阵在优化算法中扮演着核心角色。它描述了函数在一点附近的局部曲率。在梯度下降法中，利用 Hessian 矩阵信息的算法（如牛顿法）可以更智能地选择下降方向和步长，从而加速收敛。

例3：求二元函数 $f(x, y) = x^3 + 2xy - y^2$ 在点 $(1, -1)$ 处的 Hessian 矩阵。 首先求一阶和二阶偏导： $$\begin{aligned} f_x &= 3x^2 + 2y, \quad f_y = 2x - 2y, \ f_{xx} &= 6x, \quad f_{xy} = 2, \quad f_{yx} = 2, \quad f_{yy} = -2. \end{aligned}$$ 因此，Hessian 矩阵为： $$\mathbf{H}(f)(x, y) = \begin{bmatrix} 6x & 2 \ 2 & -2 \end{bmatrix}.$$ 在点 $(1, -1)$ 处，Hessian 矩阵为： $$\mathbf{H}(f)(1, -1) = \begin{bmatrix} 6 & 2 \ 2 & -2 \end{bmatrix}.$$ 这是一个对称矩阵。

📝 动手练一练

1. 计算二阶偏导数：求函数 $f(x, y) = \sin(x^2 y)$ 的所有二阶偏导数。
2. 验证调和函数：证明函数 $u(x, y) = e^x \cos y$ 满足拉普拉斯方程 $\Delta u = 0$。

参考答案：

1. 一阶偏导：$f_x = 2xy \cos(x^2 y)$, $f_y = x^2 \cos(x^2 y)$。 二阶偏导： $f_{xx} = 2y \cos(x^2 y) - 4x^2y^2 \sin(x^2 y)$, $f_{xy} = 2x \cos(x^2 y) - 2x^3y \sin(x^2 y)$, $f_{yy} = -x^4 \sin(x^2 y)$, 且 $f_{yx} = f_{xy}$。
2. 计算得 $u_{xx} = e^x \cos y$, $u_{yy} = -e^x \cos y$，故 $\Delta u = u_{xx} + u_{yy} = 0$。

本章小结

本节我们深入探讨了多元微分学中的高阶偏导数。我们从二元函数出发，定义了二阶偏导数，理解了纯偏导与混合偏导的区别。最关键的是，我们学习了混合偏导数在连续条件下相等的定理，这为简化计算和理解函数对称性提供了依据。我们还介绍了由二阶偏导构成的拉普拉斯算子及其方程。最后，我们将所有二阶偏导数组织成Hessian矩阵，它是连接一阶梯度与函数局部曲率的核心桥梁，在最优化理论中至关重要。

行动清单：

1. 掌握计算：任选一个二元初等函数，手动计算其所有一阶和二阶偏导数，并验证混合偏导相等。
2. 代码验证：使用 sympy 库重复上述计算，确保符号计算的结果与手动计算一致。
3. 联想应用：搜索“牛顿法优化”或“神经网络的二阶优化”，了解 Hessian 矩阵在这些算法中的具体作用，建立数学概念与实际应用的连接。

— 小象教研组