机器学习的分类

小象实战讲义 · 机器学习算法精讲

机器学习并非一个单一的算法，而是一个包含多种学习范式的广阔领域。理解这些不同的学习范式，是构建系统化知识体系的第一步。本节将系统介绍机器学习的三大核心范畴：监督学习、无监督学习和强化学习，并简要提及半监督学习，帮助学员建立起对机器学习领域的宏观认知。

💡 核心导读

• 监督学习：在有明确“答案”的数据中学习输入与输出之间的映射关系，核心任务是分类与回归。
• 无监督学习：在没有“答案”的数据中发现其内在结构与模式，核心任务是聚类与降维。
• 强化学习：通过与环境交互获得的“奖赏”或“惩罚”信号，学习在特定状态下采取何种行动以获得最大累积回报。
• 半监督学习：结合少量有标签数据和大量无标签数据进行学习，是监督与无监督的混合范式。
• 范式地图：理解不同学习范式之间的关系及其适用的典型问题。（“范式/Paradigm”这个词在业界很讲究——香港科大的杨强教授创办的公司就叫”第四范式 4Paradigm”。）

监督学习：从已知中学习

监督学习（Supervised Learning）是机器学习中最经典、应用最广泛的范式。其核心思想是：我们拥有一个数据集，其中每个样本都包含输入（特征）和对应的输出（标签）。我们的目标是学习一个从输入到输出的映射函数，使得对于新的、未见过的输入，模型能给出准确的预测。

分类与回归

监督学习主要解决两大类问题：

1. 分类（Classification）：预测离散的类别标签。例如，给定一封邮件，判断它是“垃圾邮件”还是“正常邮件”。这里的输出 $y$ 属于一个有限的离散集合，如 $y \in \lbrace 0, 1\rbrace$（二分类），或 $y \in \lbrace 猫, 狗, 鸟\rbrace$（多分类）。
2. 回归（Regression）：预测连续的数值。例如，根据房屋的面积、位置等特征，预测其价格。这里的输出 $y$ 是一个连续值，如 $y \in \mathbb{R}$。

从数学上看，分类可以看作是回归的一种特例，即预测值被限定在几个离散的类别上。在实际应用中，垃圾邮件过滤、情感分析、图像识别等都属于分类问题；而房价预测、股票走势预测、温度预测等则属于回归问题。

监督学习的直观过程是：我们有一个期望的、但未知的真实函数（如图中红色曲线），通过带有噪声的观测数据点（如图中蓝色点），学习出一个近似的函数（如图中绿色曲线），使其尽可能逼近真实函数。

无监督学习：发现数据的内在结构

无监督学习（Unsupervised Learning）处理的是没有标签的数据。我们只有输入特征 $x$，没有对应的输出 $y$。模型的目标是探索数据本身的内在结构、分布或模式。

聚类分析

聚类（Clustering）是无监督学习的核心任务之一，其思想是“物以类聚，人以群分”。算法根据数据点之间的相似性（通常用距离度量），将相似的数据点自动归入同一组（簇），而不相似的点则分到不同的组。

例如，给定平面上的一系列点，聚类算法可以根据点的坐标（特征）将它们自动分成几组。聚类的结果具有一定的主观性，取决于我们如何定义“相似性”（距离度量）。例如，对于一组《辛普森一家》的角色数据，我们可以根据性别（男/女）聚类，也可以根据是否属于辛普森家族来聚类，这取决于我们想解决的具体问题。

降维

降维（Dimensionality Reduction）是另一个重要的无监督学习任务。当数据特征维度非常高时（即“维数灾难”），降维旨在将数据从高维空间映射到低维空间，同时尽可能保留原始数据的主要信息或结构。这有助于数据可视化、去除噪声、减少计算开销等。主成分分析（PCA）和奇异值分解（SVD）是经典的降维方法。

半监督学习：利用未标记数据

半监督学习（Semi-supervised Learning）介于监督学习和无监督学习之间。在实际应用中，获取大量有标签数据往往成本高昂，而无标签数据则相对容易获得。半监督学习正是利用少量有标签数据和大量无标签数据共同进行学习。

其直观思想是：数据本身的分布（由无标签数据揭示）可以提供额外的信息，帮助我们找到更好的决策边界。例如，仅凭少量有标签的红圈和绿叉，我们可能学出一条分类线。但当引入大量无标签的黑点后，我们发现数据在空间中的整体分布发生了变化，此时学出的分类线可能会发生调整，以更好地契合数据的全局结构，从而可能获得更好的泛化性能。

（说明：本课程不会大量展开半监督学习，主讲监督学习与无监督学习，最后一课讲强化学习——但半监督在实际问题中很常用，值得知道它的存在与直觉。）

强化学习：从交互中学习

强化学习（Reinforcement Learning, RL）是一种截然不同的学习范式。它模拟了智能体（Agent）通过与环境的持续交互来学习的过程，其灵感来源于人类或动物通过“试错”和“奖赏”来学习的行为模式。

核心机制

想象训练小狗“握手”：

• 状态（State, $s_t$）：当前环境的情况（如小狗看到你伸出手）。
• 动作（Action, $a_t$）：智能体可以采取的行为（如小狗选择是否抬起爪子）。
• 策略（Policy, $\pi$）：一个函数，定义了在给定状态下应采取何种动作。
• 奖赏（Reward, $r_t$）：环境对智能体动作的反馈（如握手成功给骨头-正奖赏，不握手不给-零或负奖赏）。

智能体的目标不是拟合一个静态的数据集，而是学习一个最优策略 $\pi^*$，使得在与环境交互的整个过程中，获得的累积奖赏最大化。

应用与特点

强化学习在游戏AI（如吃豆人Pac-Man、围棋AlphaGo）、机器人路径规划、无人机控制等领域取得了巨大成功。它的一个有趣特点是，对于极其复杂的环境变换，机器可能通过大量试错找到解决方案，而人类玩家可能会感到困惑。

然而，强化学习通常需要非常长的训练时间，并且算法设计复杂，被业界称为“深坑”，需要谨慎对待。

机器学习范式地图

为了更清晰地把握机器学习的全貌，我们可以参考以下范式地图：

• 无监督学习：包含聚类、降维等。
• 监督学习：包含分类、回归等。
• 强化学习：主要应用于游戏AI、机器人导航等序列决策问题。

我们的课程将主要沿着这条主线展开：从监督学习中的线性模型开始，逐步深入到K近邻、朴素贝叶斯、决策树等经典算法；然后探讨无监督学习中的K均值聚类和PCA降维；最后在课程尾声，会介绍强化学习的基础，如Q学习，并简要探讨深度Q网络（Deep Q-Network）以及AlphaGo背后的基本原理。

📝 动手练一练

1. 概念辨析：假设你正在开发一个电影推荐系统。系统初期，你有少量用户对电影的明确评分（1-5星），同时拥有大量用户的观影记录（看过/未看过，无评分）。为了充分利用数据，你会考虑使用哪种或哪几种机器学习范式？为什么？

2. 代码思考：以下是一个最简单的“最近邻”分类思想的代码演示，它没有显式的训练过程。请运行代码并思考：这段代码模拟了哪种学习范式？如果将距离计算方式从欧氏距离改为曼哈顿距离，可能会对“分类”结果产生什么影响？

import math
import random

# 模拟一些有标签的二维数据点：特征[x, y]，标签'红'或'绿'
labeled_data = [
    ([1.0, 2.0], '红'),
    ([2.0, 3.0], '红'),
    ([3.0, 1.0], '绿'),
    ([5.0, 4.0], '绿'),
]

# 定义一个待分类的新点
new_point = [2.5, 2.0]

# 1-最近邻算法：找到距离最近的点，取其标签
def euclidean_distance(point_a, point_b):
    """计算欧氏距离"""
    return math.sqrt((point_a[0] - point_b[0]) ** 2 + (point_a[1] - point_b[1]) ** 2)

def manhattan_distance(point_a, point_b):
    """计算曼哈顿距离"""
    return abs(point_a[0] - point_b[0]) + abs(point_a[1] - point_b[1])

# 使用欧氏距离
nearest_neighbor = min(labeled_data, key=lambda item: euclidean_distance(item[0], new_point))
predicted_label_euclidean = nearest_neighbor[1]

# 使用曼哈顿距离
nearest_neighbor_manhattan = min(labeled_data, key=lambda item: manhattan_distance(item[0], new_point))
predicted_label_manhattan = nearest_neighbor_manhattan[1]

print(f"待分类点: {new_point}")
print(f"基于欧氏距离的1-最近邻预测标签: {predicted_label_euclidean}")
print(f"基于曼哈顿距离的1-最近邻预测标签: {predicted_label_manhattan}")

# 查看所有点的距离以供分析
print("\n距离分析：")
for point, label in labeled_data:
    print(f"点{point}({label}) -> 欧氏距离: {euclidean_distance(point, new_point):.2f}, 曼哈顿距离: {manhattan_distance(point, new_point):.2f}")

待分类点: [2.5, 2.0]
基于欧氏距离的1-最近邻预测标签: 红
基于曼哈顿距离的1-最近邻预测标签: 红

距离分析：
点[1.0, 2.0](红) -> 欧氏距离: 1.50, 曼哈顿距离: 1.50
点[2.0, 3.0](红) -> 欧氏距离: 1.12, 曼哈顿距离: 1.50
点[3.0, 1.0](绿) -> 欧氏距离: 1.12, 曼哈顿距离: 1.50
点[5.0, 4.0](绿) -> 欧氏距离: 3.20, 曼哈顿距离: 4.50

本章小结

本节为我们勾勒出了机器学习领域的宏观版图。理解监督、无监督、半监督和强化学习这四大范式的区别与联系，是后续深入学习具体算法的基础。每种范式都有其独特的假设、目标和方法论，适用于解决不同类型的问题。

📋 行动清单

• 回顾定义：尝试用自己的话向他人解释监督学习、无监督学习和强化学习的核心区别。
• 观察生活：思考日常生活中遇到的哪些应用（如手机相册的人脸分类、新闻推送、自动驾驶）可能分别对应了哪种机器学习范式。
• 预习准备：下一讲我们将正式进入算法部分，从线性模型和梯度下降开始。建议提前回顾线性代数和微积分中关于向量、矩阵、偏导数的基本概念。

—— 小象教研组