函数与数据泛化

小象实战讲义 · 机器学习算法精讲

欢迎来到机器学习算法精讲的第一课。机器学习听起来像是”机器”在学习，但讲师更愿意把它叫作 model learning——我们面对真实世界纷繁复杂的数据，目标是为其背后的规律找到一个合适的数学模型。本节课从最基础的数学概念——函数出发，看它如何成为我们理解和泛化数据的核心工具，并回顾几种在机器学习中至关重要的函数形式。

💡 核心导读

• 从”机器学习”到”模型学习”：机器学习的本质是给数据寻找数学模型。
• 函数即关系：函数是描述输入与输出之间关系的数学工具，这种关系可以是显式的（如物理公式），也可以是隐式的（如社会现象）。
• 函数的多样性：从标量到向量、从静态模型到动态模型，函数的形式决定了我们描述世界的能力。
• 关键函数回顾：指数、对数、Sigmoid 与 ReLU，是后续课程天天会碰到的基石。
• 函数的构造与复合：简单函数既可相加组合（如多项式），也可层层复合，搭建出复杂的模型。

函数的本质：从映射到关系

在数学中，一个函数（function）定义了一组输入与一组允许输出之间的特定关系，核心特性是：每一个输入都唯一地对应一个输出。它既是一种映射（mapping），本质上更是一种关系（relation）。

一个简单的例子是 $f(x) = 2x + 3$。当输入 $x=2$ 时，输出 $f(2) = 7$。这描述了一种清晰的、显式的（explicit）关系：给一个物体施加力（输入），它会产生运动（输出），可以写成 $F = ma$ 这样的方程。

但生活中还有远比这复杂的函数关系。你饿了、吃了东西，会觉得饱——输入是食物，输出是饱腹感，但这个关系很难用一个简洁的方程描述。再比如”努力学习 → 可能考上好大学 → 可能找到好工作 → 可能挣到更多钱”：这些关系确实存在，只是无法用 $F=ma$ 那样的物理方程显式写出。这类函数称为隐式的（implicit）函数关系，与显式的（explicit）相对。

机器学习的核心任务，正是从观测到的数据（输入-输出对）中，学习出这种或显或隐的函数关系，从而对未知情况做出预测。从这个意义上说，这门课叫”模型学习”（model learning）比”机器学习”更贴切——只是大家叫习惯了。

从标量到向量：函数的维度拓展

我们最先学的函数，如 $y = x^2$，输入输出都是标量（scalar）。但仅有标量函数，能刻画的世界太有限。

• 从平面到空间：把平方、三次方这些简单函数组合起来，就得到多项式（polynomial）函数，能刻画更复杂的形状——这说明复杂函数可以由简单函数构造而来。
• 多元函数：输入变成两个变量时，$z = f(x, y)$ 描述了三维空间中的一张曲面；输入继续拓展到 $n$ 维向量 $\mathbf{x} = [x_1, x_2, \ldots, x_n]^T$，就得到 $y = f(\mathbf{x})$——这正是机器学习里最常见的情形：每个数据样本就是一个特征向量。
• 静态与动态：没有周期性、与时间无关的映射是静态模型——给定一个输入，得到一个输出，与时间顺序无关；而像 $\sin$、$\cos$ 这样沿时间轴周期变化的，以及股票价格、太阳黑子数量这类随时间起伏的序列，则是动态模型（dynamic）——时间本身作为一个输入量，取值随时间不同而不同。

看一个真实数据的例子：从 1700 年到 2008 年，每年的太阳黑子数量大约每 11 年出现一次爆发尖峰，整体呈现明显的周期性动态特征。面对图中这些真实数据点，机器学习希望找到一条函数曲线去拟合（fit）与逼近（approximate）它们——拟合好历史，才能合理预测未来（比如 2050 年太阳黑子会是什么水平）。这个”寻找最佳函数”的过程，就是模型学习。

机器学习中的关键函数

构建和训练模型时，下面这几个函数会反复出现，值得先混个脸熟。

指数函数与对数函数

• 指数函数 $y = e^x$：指数增长是”翻着倍长”——1 变 2、2 变 4、4 变 8，每隔一步总量翻倍，增长越来越快。它与线性增长（每个时间段只增加固定的量）完全不是一个概念。两个经典例子：谣言的传播——你转发给朋友，朋友再转发给他的几百个朋友，很快覆盖整个网络；国际象棋棋盘的传说——第 1 格放 1 粒麦子、第 2 格 2 粒、第 3 格 4 粒……放到 8×8=64 格的第 64 格是 $2^{63}$ 粒，全世界的粮食产量都填不满这个棋盘。指数增长，是非常可怕的事。
• 对数函数 $y = \log(x)$（以 $e$、$2$ 或 $10$ 为底）：它是指数函数的反函数，增长越来越慢。信息论里常用以 2 为底的对数，因为我们关心的信息由 0 和 1 的组合表达——数一数需要多少个 0/1 组合，正好用上 $\log_2$。

Sigmoid 函数

$$\sigma(x) = \frac{1}{1 + e^{-x}}$$

它的输入端是整个实数轴（负无穷到正无穷），而无论输入什么，输出 $\sigma(x)$ 总被压缩在 $(0, 1)$ 之间。这个”把整条数轴映射到 0 和 1 之间”的优良特性，让它日后成为常用的激活函数——比如把线性输出转化为类别概率时。

ReLU 函数

ReLU（Rectified Linear Unit，修正线性单元）更简单：

$$\mathrm{ReLU}(x) = \max(0, x)$$

$x > 0$ 时原样输出（$x=3$ 则 $y=3$），$x \le 0$ 时输出 0。它也是深度学习中常用的激活函数，好处之一是不像 Sigmoid 那样容易在训练中梯度消失——细节到第 19 章神经网络时展开。

函数的复合：构建复杂模型

复杂模型可以由简单函数搭出来。除了像多项式那样”相加组合”，还有一种更灵活的构造方式——复合（composition）：把一个函数的输出，作为另一个函数的输入。记 $f \circ g$ 为 $f$ 与 $g$ 的复合：

$$(f \circ g)(x) = f(g(x))$$

示例：设 $f(x) = 2x + 3$，先求 $f \circ f(x)$：把 $f(x) = 2x+3$ 的输出再喂回 $f$，得 $(f \circ f)(x) = f(f(x)) = 2(2x+3) + 3 = 4x + 9$。

再复合一次，$f \circ f \circ f(x) = f(4x+9) = 2(4x+9) + 3 = 8x + 21$；代入 $x=2$：$f \circ f \circ f(2) = 8 \times 2 + 21 = 37$。逐层套娃，验证一下：$f(2)=7$，$f(7)=17$，$f(17)=37$，一致。

靠这种层层复合，线性变换、Sigmoid、ReLU 这些基础件就能堆叠出表达能力极强的复杂模型——第 19 章的神经网络正是这一思想的代表。

📝 动手练一练

1. 概念辨析：想用机器学习模型刻画”每天学习时间”与”考试成绩”的关系，这更适合静态模型还是动态模型？为什么？

2. 动手实现：用 Python 标准库实现 Sigmoid 与 ReLU，对输入 [-2, -1, 0, 1, 2] 计算输出，并注意数值稳定性（防 exp 溢出）。

import math

def sigmoid(x):
    """Sigmoid，对指数输入限幅防溢出"""
    x = max(min(x, 500), -500)
    return 1 / (1 + math.exp(-x))

def relu(x):
    """ReLU：max(0, x)"""
    return max(0, x)

test_inputs = [-2, -1, 0, 1, 2]
print("输入值:", test_inputs)
print("Sigmoid输出:", [round(sigmoid(x), 6) for x in test_inputs])
print("ReLU输出:    ", [relu(x) for x in test_inputs])

输入值: [-2, -1, 0, 1, 2]
Sigmoid输出: [0.119203, 0.268941, 0.5, 0.731059, 0.880797]
ReLU输出:     [0, 0, 0, 1, 2]

本章小结

本节奠定了全课的思想基调：机器学习更准确地说是”模型学习”——给定数据，为其中的规律找一个合适的数学模型。函数是描述这种规律的基本工具：它既是映射、更是关系，从显式的物理方程到隐式的生活因果；从标量到向量、从静态到动态。指数与对数的增长直觉、Sigmoid 的”压到 (0,1)“、ReLU 的”负数归零”，以及简单函数经组合与复合生长为复杂模型的能力，会在后续每一章反复用到。（函数与线性代数基础的系统展开，可对照站内《人工智能数学基础》相关章节补强。）

📋 行动清单

• 用”输入—输出—关系”的框架观察一个身边现象，判断它是显式函数还是隐式函数
• 运行一遍本节 Sigmoid/ReLU 代码，改几个极端输入（如 -1000、1000），体会限幅的必要性与两函数的形状差异
• 按课件 Page 9 的原题继续算：$f \circ f \circ f \circ f(x)$ 等于多少？（$f(x)=2x+3$）

—— 小象教研组