机器学习算法精讲

从数学基础(线性代数/概率)到经典监督模型(KNN/朴素贝叶斯/决策树/GBDT/逻辑回归)、SVM 与核方法、统计学习(EM/GMM/HMM/主题模型)、无监督学习(聚类/PCA/t-SNE)、高斯过程,再到神经网络与强化学习,全部算法以纯 Python 标准库手写实现,20 章 82 节贯通机器学习的数学推导与代码落地。免费

《机器学习算法精讲》是一门体系完备的机器学习核心课程,共 20 章 82 节(89 段视频 / 32.6 小时),每节均配套视频、精修文字讲义与可运行代码示例。全课算法以纯 Python 标准库手写实现(不依赖 sklearn/numpy),从数学推导到代码落地逐行打通。

课程全面涵盖:

  1. 机器学习的数学基础 I:函数、向量、矩阵、特征值分解、SVD、Jacobian/Hessian、凸函数。
  2. 机器学习的数学基础 II:概率论基础与常用分布。
  3. 机器学习的哲学:模型、应用、过拟合、分类问题。
  4. 机器学习的数学基础 III:监督学习、损失函数、梯度下降、牛顿法。
  5. 经典机器学习模型 I:有参无参模型、KNN、距离度量、朴素贝叶斯。
  6. 经典机器学习模型 II:决策树、信息熵、ID3。
  7. 经典机器学习模型 III:CART、Bagging、Boosting、GBDT。
  8. 线性模型:最小二乘、线性分类器、极大似然、逻辑回归。
  9. 逻辑回归、岭回归、LASSO 与优化。
  10. 拉格朗日乘子法与最大间隔。
  11. 拉格朗日对偶、支持向量、SVM 计算、线性可分。
  12. 统计学习:贝叶斯、隐含变量、EM 算法、琴生不等式。
  13. 三硬币模型、GMM、隐马尔可夫模型。
  14. 隐马尔可夫模型与 NLP 应用、EM。
  15. 统计学习:高维高斯、主题模型、Dirichlet 分布。
  16. 无监督学习:k-means、PCA、SVD、Isomap。
  17. 聚类、局部线性嵌入、分布式随机邻域嵌入(t-SNE)。
  18. 无参模型、高斯过程。
  19. 神经网络、反向传播、CNN、RNN。
  20. 深度学习回顾、强化学习。

课程与站内数学、统计系列课程构成「数学 → 统计 → 机器学习」完整学习路径,是算法核心收口课。

课程大纲

共 82 节,按建议顺序学习。

  1. 01函数与数据泛化约 15 分钟 · 函数与数据泛化 小象实战讲义 · 机器学习算法精讲 欢迎来到机器学习算法精讲的第一课。机器学习听起来像是"机器"在学习,但讲师更愿意把它叫作 model learning——我们面对真实世界纷繁复杂的
  2. 02向量:从几何直觉到高维空间约 22 分钟 · 向量:从几何直觉到高维空间 小象实战讲义 · 机器学习算法精讲 从本节开始进入线性代数——它在整个机器学习里无处不在。第一个概念是向量(vector):它既是物理世界里力、速度这类"有方向的量"的数学
  3. 03矩阵与张量约 19 分钟 · 矩阵与张量 小象实战讲义 · 机器学习算法精讲 在上一节我们学习了向量的概念与运算,它们是描述高维空间中单个数据点的基本工具。然而,现实世界的数据往往是成批出现的,例如一个班级所有学生的成绩,或是一张
  4. 04特征值与特征向量:矩阵变换的不动方向约 15 分钟 · 特征值与特征向量:矩阵变换的不动方向 小象实战讲义 · 机器学习算法精讲 本节回到矩阵本身,看它的两件"镇家之宝":行列式与特征值、特征向量。行列式的值不只是计算口诀,它有清晰的几何含义;特征值与特征
  5. 05凸函数:从向量求导的矩阵记号到好优化的函数形状约 11 分钟 · 凸函数:从向量求导的矩阵记号到好优化的函数形状 小象实战讲义 · 机器学习算法精讲 第一章收官。前几节把函数、向量、矩阵、特征值都过了一遍,本节补上最后两块基石:一是当输入从单个数变成向量时,求导该怎
  6. 06概率与统计:机器学习的数学基础约 22 分钟 · 概率与统计:机器学习的数学基础 小象实战讲义 · 机器学习算法精讲 本节我们将深入探讨机器学习中至关重要的数学基石——概率与统计。机器学习处理的往往是充满不确定性的现实世界数据,而概率论与统计学正是我
  7. 07独立性与随机变量:贝叶斯公式与二项分布约 23 分钟 · 独立性与随机变量:贝叶斯公式与二项分布 小象实战讲义 · 机器学习算法精讲 上一节把概率的语言基础(公理、条件概率、全概率)过了一遍。本节让概率真正接上机器学习:先学事件的独立性——它把联合概率简化成
  8. 08期望、方差与协方差:随机变量的数字画像约 18 分钟 · 期望、方差与协方差:随机变量的数字画像 小象实战讲义 · 机器学习算法精讲 上一节认识了随机变量——取值清单加上概率分布。但对着一张概率表逐条念,显然太笨:我们需要几个"数字画像",一眼看穿一个分布的
  9. 09联合概率:当一条轴不够用的时候约 6 分钟 · 联合概率:当一条轴不够用的时候 小象实战讲义 · 机器学习算法精讲 前面几节一直在和"一个随机变量"打交道:立概率的公理、认识随机变量与独立性、再给分布画好"数字画像"(期望、方差、协方差)。但真实数
  10. 10概率分布(一):从伯努利到伽马函数约 21 分钟 · 概率分布(一):从伯努利到伽马函数 小象实战讲义 · 机器学习算法精讲 本节我们将从离散概率迈向连续概率,系统学习机器学习中常用的几种核心概率分布。理解这些分布的特性、适用场景及其数学表达,是后续学习
  11. 11概率分布(二):贝塔、泊松、正态与两个贝叶斯故事约 23 分钟 · 概率分布(二):贝塔、泊松、正态与两个贝叶斯故事 小象实战讲义 · 机器学习算法精讲 上一节收尾时留下了伽马函数,当时讲师就预告过它马上要派上用场。这一节把概率篇的"兵器谱"补齐:先看构建在伽马函数上
  12. 12机器学习的模型:找输入与输出的关系约 15 分钟 · 机器学习的模型:找输入与输出的关系 小象实战讲义 · 机器学习算法精讲 概率篇收官时说过:从这里开始,真正走进机器学习。第一站,讲师先把名字摆正——这门学问更该叫 Model Learning;再借统
  13. 13机器学习的应用约 21 分钟 · 机器学习的应用 小象实战讲义 · 机器学习算法精讲 本节我们将从宏观视角审视机器学习,理解它如何作为一门“从数据中发现规律的科学”,并渗透到我们生活和研究的各个角落。学完本节,你将能清晰地界定一个复杂
  14. 14过拟合约 27 分钟 · 过拟合 小象实战讲义 · 机器学习算法精讲 上一节我们纵览了机器学习能解决的各种问题。本节回到一个更根本的问题:如果机器学习是一门科学,它到底是一门什么样的科学?围绕这个问题,我们走完机器学习"哲学篇
  15. 15机器学习的分类约 12 分钟 · 机器学习的分类 小象实战讲义 · 机器学习算法精讲 机器学习并非一个单一的算法,而是一个包含多种学习范式的广阔领域。理解这些不同的学习范式,是构建系统化知识体系的第一步。本节将系统介绍机器学习的三大核
  16. 16有监督学习:从房价预测说起约 23 分钟 · 有监督学习:从房价预测说起 小象实战讲义 · 机器学习算法精讲 前几节课我们打完了数学地基(线性代数、概率统计),也聊透了机器学习的宏观哲学。从本节开始,进入第一个真正的机器学习问题:波特兰的房价预测
  17. 17损失函数约 11 分钟 · 损失函数 小象实战讲义 · 机器学习算法精讲 上一节结尾我们留了一个问题:把"误差大小"写成一个严格的数学函数,需要什么要素?——正负号怎么处理、多个样本的误差怎么合并?本节就来兑现这个预告,正式引入
  18. 18梯度下降(上):更新规则与学习速率约 27 分钟 · 梯度下降(上):更新规则与学习速率 小象实战讲义 · 机器学习算法精讲 前面几节我们为监督学习定义了假设函数与代价函数:一条直线拟合得好不好,交给代价函数 J ( θ ) J(\theta) J (
  19. 19梯度下降(2)约 33 分钟 · 梯度下降(2) 小象实战讲义 · 机器学习算法精讲 上一节我们把更新规则 θ ← θ − α ⋅ ∂ J ∂ θ \theta \leftarrow \theta - \alpha \cdot \fr
  20. 20牛顿方法约 10 分钟 · 牛顿方法 小象实战讲义 · 机器学习算法精讲 上一节结尾埋了个彩蛋:类似梯度下降这种迭代方法,牛顿时代就有了——想法早就躺在那里,是计算把它唤醒的。本节就请出这位三百多年前的"正主"。讲师开篇就给牛顿
  21. 21KNN简介约 28 分钟 · KNN简介 小象实战讲义 · 机器学习算法精讲 从本节起进入一片新天地:经典的机器学习模型(classical machine learning models)——机器学习出现后的几十年里最早诞生、又
  22. 22距离测算约 18 分钟 · 距离测算 小象实战讲义 · 机器学习算法精讲 上一节讲 KNN 时,有一个词从头到尾没离开过:distance(距离)。要说 nearest neighbor——最近邻,就得先说清什么是 near、什
  23. 23朴素贝叶斯约 12 分钟 · 朴素贝叶斯 小象实战讲义 · 机器学习算法精讲 先说名字。"Naive"本是法文词,意思就是"非常单纯"——用现在的话讲,这是 "傻白甜"版的贝叶斯 ;直译太怪,中文就翻成了"朴素贝叶斯"。Bayes
  24. 24朴素贝叶斯的实际应用约 33 分钟 · 朴素贝叶斯的实际应用 小象实战讲义 · 机器学习算法精讲 本节我们将通过一个具体的分类问题和一个经典的文本分类应用——垃圾邮件过滤,来深入理解朴素贝叶斯算法是如何从理论走向实践的。你将看到,即便基于一
  25. 25信息熵:决策树构建的度量基础约 38 分钟 · 信息熵:决策树构建的度量基础 小象实战讲义 · 机器学习算法精讲 上一节我们重点介绍了朴素贝叶斯分类器。本节课,我们将开启另一个在机器学习历史上具有里程碑意义的算法——决策树(Decision Tre
  26. 26信息增益与决策树的构建约 13 分钟 · 信息增益与决策树的构建 小象实战讲义 · 机器学习算法精讲 在上一节我们学习了信息熵的概念,它衡量了一个系统的不确定性。本节我们将利用信息熵,构建一个核心指标——信息增益,并以此为基础,阐述决策树模型
  27. 27ID3算法约 13 分钟 · ID3算法 小象实战讲义 · 机器学习算法精讲 本节我们将深入探讨决策树学习中的经典算法——ID3。ID3算法以信息增益为准则,通过自顶向下的贪心策略构建决策树,是理解决策树模型运作机制的关键。学完本
  28. 28决策树节点的划分约 34 分钟 · 决策树节点的划分 小象实战讲义 · 机器学习算法精讲 上一节我们用信息熵与信息增益搭起了 ID3。但真实数据比 Play-Tennis 复杂得多:特征有名义型、有序型、连续型之分,决策树要能"对症下刀
  29. 29CART树约 31 分钟 · CART树 小象实战讲义 · 机器学习算法精讲 上节课我们学习了决策树如何利用信息增益进行特征分割,解决分类问题。本节课,我们将深入探讨决策树的另一个强大分支——CART(Classification
  30. 30Bagging约 12 分钟 · Bagging 小象实战讲义 · 机器学习算法精讲 在上一节中,我们学习了决策树 CART 算法。本节课,我们将探讨如何将多个“弱”的决策树(或其它模型)组合起来,形成一个更强大的“强”模型。这种“集
  31. 31Boosting:自适应提升算法约 33 分钟 · Boosting:自适应提升算法 小象实战讲义 · 机器学习算法精讲 在上一节我们学习了Bagging(装袋法)和随机森林,它们通过并行训练多个模型并投票来提升性能。本节我们将深入探讨另一种强大的集成
  32. 32Gradient Boosting约 34 分钟 · Gradient Boosting 小象实战讲义 · 机器学习算法精讲 在上一节我们学习了自适应提升(AdaBoost),它通过调整样本权重来让后续的弱分类器聚焦于之前分错的样本。本节我们将学习另一种
  33. 33线性模型:回归与分类的同一副骨架约 9 分钟 · 线性模型:回归与分类的同一副骨架 小象实战讲义 · 机器学习算法精讲 上一章,我们把一棵决策树养成了一片森林:CART、Bagging、Boosting、GBDT,一路走到 XGBoost。今天,cl
  34. 34最小二乘:把最优参数直接解出来约 32 分钟 · 最小二乘:把最优参数直接解出来 小象实战讲义 · 机器学习算法精讲 上一节末尾留了一个悬念:求线性模型的参数,其实可以不走梯度下降——把问题写成向量形式,直接解出来。本节兑现这个承诺。我们把 N N
  35. 35最小二乘法的几何与概率视角约 38 分钟 · 最小二乘法的几何与概率视角 小象实战讲义 · 机器学习算法精讲 上一节我们得到了最小二乘的解析解 θ = ( X T X ) − 1 X T y \theta = (X^TX)^{-1}X^Ty θ
  36. 36极大似然:给最小二乘一个概率出身约 11 分钟 · 极大似然:给最小二乘一个概率出身 小象实战讲义 · 机器学习算法精讲 上一节结尾埋了一个问题:把残差建模成 ε ∼ N ( 0 , σ 2 ) \varepsilon \sim \mathcal{N}
  37. 37逻辑回归(1):把线性模型接到分类上约 21 分钟 · 逻辑回归(1):把线性模型接到分类上 小象实战讲义 · 机器学习算法精讲 上一节我们给 linear model 配齐了两副眼镜:几何的(投影)与概率的(极大似然)。本节是线性模型一章的收官,也是承前
  38. 38逻辑回归(2):损失函数与多分类约 18 分钟 · 逻辑回归(2):损失函数与多分类 小象实战讲义 · 机器学习算法精讲 上次课我们把逻辑回归的形式讲完了:Sigmoid 装着线性组合、几率的对数是线性函数、它是一个广义线性模型。但还差一点点——它还没
  39. 39---- 手造数据: 5 个样本, 2 个特征; x2 几乎 = 2*x1 (偏差手工指定, 无随机) ----约 26 分钟 · # 岭回归:会"缩水"的最小二乘 小象实战讲义 · 机器学习算法精讲 上一节结尾留了个悬念:特征一多、 X T X X^TX X T X 求不出逆,正规方程就翻车了——讲师说,需要往里面加一些更多的…
  40. 40讲师例: 向量 "23014" -- 三把范数尺子量同一个向量约 19 分钟 · # LASSO:把不重要的系数压成零 小象实战讲义 · 机器学习算法精讲 上一节的 Ridge 把系数统统"缩水"——但缩完之后,每个系数都还活着,只是变小了。也有同学提到了复杂度的问题——这确实是一
  41. 41优化方法(1):坐标下降与前向选择约 17 分钟 · 优化方法(1):坐标下降与前向选择 小象实战讲义 · 机器学习算法精讲 上一节结尾留了话:L1 范数在零点不可导,梯度下降做不出梯度,"会用其他的方法来求这个 LASSO 的优化"。这一节就兑现——介
  42. 42优化方法(2):前向策略与最小角回归约 21 分钟 · 优化方法(2):前向策略与最小角回归 小象实战讲义 · 机器学习算法精讲 上一节收尾留了话:"更多优化方法下一节继续。"这一节把剩下的讲完:第三种 forward strategy(前向策略),以及讲
  43. 43拉格朗日乘子法(1):从无约束到等式约束约 23 分钟 · 拉格朗日乘子法(1):从无约束到等式约束 小象实战讲义 · 机器学习算法精讲 接下来这两节,讲的是通往 SVM 最大间隔的数学准备——拉格朗日乘子法和里面的 KKT 条件。原计划是先讲 SVM 的最大
  44. 44拉格朗日乘子法(2):等式约束下的平行条件与拉格朗日函数约 27 分钟 · 拉格朗日乘子法(2):等式约束下的平行条件与拉格朗日函数 小象实战讲义 · 机器学习算法精讲 上一节把图画到了一半:等高线、约束圆、移动方向的两个条件、点积判符号——都摆在了台面上,视频停在"接下来要
  45. 45拉格朗日乘子法(3):不等式约束与 KKT 条件约 29 分钟 · 拉格朗日乘子法(3):不等式约束与 KKT 条件 小象实战讲义 · 机器学习算法精讲 上一节把等式约束 h ( x ) = 0 h(x)=0 h ( x ) = 0 的优化讲完了:拉格朗日函数 L (
  46. 46最大间隔:把分类问题变成优化问题约 28 分钟 · 最大间隔:把分类问题变成优化问题 小象实战讲义 · 机器学习算法精讲 前三节把拉格朗日乘子法从头到尾搭了一遍——等式约束、不等式约束、KKT 条件。为什么花这么大力气做这件事?讲师开宗明义:我们所有构
  47. 47拉格朗日对偶问题:把 w 和 b 全部换成 α约 31 分钟 · 拉格朗日对偶问题:把 w 和 b 全部换成 α 小象实战讲义 · 机器学习算法精讲 上一节把"找最大间隔"变成了优化问题 min ⁡ 1 2 ∥ w ∥ 2 \min \frac{1}{2}\Vert
  48. 48支持向量:边界上的少数派约 13 分钟 · 支持向量:边界上的少数派 小象实战讲义 · 机器学习算法精讲 上一节把 SVM 变成了只关于 α \alpha α 的对偶问题,结尾留了一个问题:这组 α \alpha α 怎么解出来?这一节先看求解
  49. 49SVM 计算过程:一笔到底算完,再走进核方法约 48 分钟 · SVM 计算过程:一笔到底算完,再走进核方法 小象实战讲义 · 机器学习算法精讲 前三节把 SVM 的理论全部搭好了:最大间隔、对偶形式、支持向量。这一节讲师做了一件最踏实的事——拿出一个真正的 SV
  50. 50贝叶斯公式:概率即信念约 14 分钟 · 贝叶斯公式:概率即信念 小象实战讲义 · 机器学习算法精讲 第十一章把 SVM 从数学根子一路推到核方法,机器学习的「线性部分」就此收官。从这一节开始,课程进入统计学习(Statistical Lea
  51. 51隐含变量和概率模型:给看不见的原因建模约 22 分钟 · 隐含变量和概率模型:给看不见的原因建模 小象实战讲义 · 机器学习算法精讲 上一节立好了概率观——概率是对不确定性的度量,贝叶斯公式用证据更新信念。这一节开始搭建统计学习的工具箱:先把「学习」这个动作
  52. 52EM 算法:期望与最大化的迭代约 38 分钟 · EM 算法:期望与最大化的迭代 小象实战讲义 · 机器学习算法精讲 上一节的三硬币问题停在了最关键的一步:A 决定用 B 还是 C,我们只看得到最终的正反面—— π , p , q \pi, p, q
  53. 53琴生不等式:EM 的数学钥匙约 23 分钟 · 琴生不等式:EM 的数学钥匙 小象实战讲义 · 机器学习算法精讲 上一节的三硬币例子把 EM 算法「跑」通了:E 步算 μ \mu μ 、M 步按比例数红绿,转起来就能估参数。但还有一个问题没有回答:
  54. 54三个硬币问题:EM 的复盘与衔接约 23 分钟 · 三个硬币问题:EM 的复盘与衔接 小象实战讲义 · 机器学习算法精讲 第 12 章从贝叶斯一路走到琴生不等式——EM 的「怎么算」(上一章的 μ \mu μ 与数红绿)和「为什么对」(下界与单调性)都
  55. 55高斯混合模型:用隐变量解释双峰数据约 23 分钟 · 高斯混合模型:用隐变量解释双峰数据 小象实战讲义 · 机器学习算法精讲 上一节的三硬币问题里,概率为 p p p 和 q q q 的两个伯努利分布,被权重 π \pi π 和 1 − π 1-\pi
  56. 56隐马尔可夫模型约 31 分钟 · 隐马尔可夫模型 小象实战讲义 · 机器学习算法精讲 第 1213 章的三硬币、EM、GMM 处理的都是「静态」的隐含变量:每一次掷硬币用 B 还是 C、每个数据点来自哪个高斯分量,彼此独立、互不相关。
  57. 57隐马尔可夫模型(2):前向算法与动态混合模型约 33 分钟 · 隐马尔可夫模型(2):前向算法与动态混合模型 小象实战讲义 · 机器学习算法精讲 上一节结尾,盒子-小球例子停在「看到了红、白、红,生成这个序列的概率到底有多大?我怎么去计算?」——这一节讲师接着往下
  58. 58隐马尔可夫模型在 NLP 中的运用约 27 分钟 · 隐马尔可夫模型在 NLP 中的运用 小象实战讲义 · 机器学习算法精讲 上一章我们从三硬币一路走到 EM、HMM——这一节讲师回应了两件事:一是有同学反馈,EM 里边的数学「可能没有完全详细的推导,为
  59. 59EM 算法:把「为什么收敛」推到底约 27 分钟 · EM 算法:把「为什么收敛」推到底 小象实战讲义 · 机器学习算法精讲 上一节结尾我们留了一个问题:EM 算法为什么是收敛的。本节讲师开场就把任务挑明——「我们接着说上次关于 EM 算法的、最底层的这
  60. 60HMM 在 NLP 中的运用:从分词到机器翻译约 17 分钟 · HMM 在 NLP 中的运用:从分词到机器翻译 小象实战讲义 · 机器学习算法精讲 上一节收尾在循环神经网络——本节开场讲师先把这件事按住:「RNN 做的事情,跟我们这个做的是一回事。」接着把 NLP
  61. 61HMM 参数估计:Baum-Welch 的三块拉格朗日约 26 分钟 · HMM 参数估计:Baum-Welch 的三块拉格朗日 小象实战讲义 · 机器学习算法精讲 13.4 结尾留的问题——「 π \pi π 其实大家都知道,很好估计了。那 A A A 和 B B B 这
  62. 62高维下的高斯模型约 25 分钟 · 高维下的高斯模型 小象实战讲义 · 机器学习算法精讲 在前几次课中,我们已经引入了生成式模型(Generative Model)的基本概念,并学习了三硬币模型、高斯混合模型(GMM)等分层概率图模型。
  63. 63主题模型:从词袋到隐含主题约 22 分钟 · 主题模型:从词袋到隐含主题 小象实战讲义 · 机器学习算法精讲 上一节我们看到,生成式模型的参数不见得是一个数:高维数据 x x x 的生成由高维参数控制——均值是一个向量、协方差是一个矩阵。带着这个
  64. 64Dirichlet 分布(1)约 27 分钟 · Dirichlet 分布(1) 小象实战讲义 · 机器学习算法精讲 在进入完整的主题模型之前,我们需要掌握一个关键的数学工具——狄利克雷分布(Dirichlet Distribution),名字来自
  65. 65Dirichlet 分布(2)约 28 分钟 · Dirichlet 分布(2) 小象实战讲义 · 机器学习算法精讲 上一节我们搭好了 LDA 的雏形:超参数 α \boldsymbol{\alpha} α 生成文档的主题混合 θ \theta θ
  66. 66统计学习内容回顾约 24 分钟 · 统计学习内容回顾 小象实战讲义 · 机器学习算法精讲 前一段时间我们讲了 statistical learning(统计学习)。这一节先把它作为一整块内容回顾一遍——它到底在机器学习里处在什么位置、多
  67. 67K-means 算法约 17 分钟 · K-means 算法 小象实战讲义 · 机器学习算法精讲 从这次课开始,我们讲 unsupervised learning(无监督学习)。以前课程里看到的都是 supervised learning—
  68. 68PCA 降维约 28 分钟 · PCA 降维 小象实战讲义 · 机器学习算法精讲 上一节我们讲完了最简单的聚类算法 K-means。无监督学习还有很大的一块——降维(dimension reduction)。面对动辄成千上万维的数据
  69. 69SVD 降维约 30 分钟 · SVD 降维 小象实战讲义 · 机器学习算法精讲 上一节的 PCA 用「乘一个矩阵」把高维压成低维。这一节讲另一种形式——它跟 PCA 类似,但效果在某种程度上并不输于它:奇异值分解(SVD)。我们还
  70. 70从聚类到流形约 18 分钟 · 从聚类到流形 小象实战讲义 · 机器学习算法精讲 上一章我们把无监督学习的四件事收了线:k-means、PCA、SVD、以及从线性到非线性的 Isomap 和 LLE 开头。这一章先把两条线接得更紧—
  71. 71局部线性嵌入约 40 分钟 · 局部线性嵌入 小象实战讲义 · 机器学习算法精讲 上一章末尾讲 LLE 时说过:核心思路好懂,但每个公式的具体推导「需要下节课再跟进」——这节课就来兑现这句话。我们把 LLE(Local Linear
  72. 72随机邻域嵌入:SNE 与 t-SNE约 40 分钟 · 随机邻域嵌入:SNE 与 t-SNE 小象实战讲义 · 机器学习算法精讲 降维与可视化这条线,我们已经讲了 Isomap、讲了 LLE——这一节讲收官的一种:随机邻域嵌入(SNE,Stochastic
  73. 73无参模型:让数据自己说话约 31 分钟 · 无参模型:让数据自己说话 小象实战讲义 · 机器学习算法精讲 前面十七章里我们学的模型,绝大多数都先给数据「戴了一顶假设的帽子」——线性也好、正态也好、混合模型也好,先把函数形式定下来,再学参数。这一
  74. 74高斯过程:函数空间里的正态分布约 23 分钟 · 高斯过程:函数空间里的正态分布 小象实战讲义 · 机器学习算法精讲 上一节我们讲了无参模型的开场:KNN 推广到核加权、KDE 用小高斯叠加出密度。这一节进入一个特别重要的非参数模型——高斯过程(Ga
  75. 75高斯过程(2):噪声、正则化与核的线性组合约 34 分钟 · 高斯过程(2):噪声、正则化与核的线性组合 小象实战讲义 · 机器学习算法精讲 上一节我们用「三点加一维」的直观例子推出了高斯过程的预测公式。这一节先把这个模型正式定义出来(原来讲师说「管它叫 f 不
  76. 76神经网络简介:从感知器到自编码器约 15 分钟 · 神经网络简介:从感知器到自编码器 小象实战讲义 · 机器学习算法精讲 前面十八章里我们学的模型——线性模型、逻辑回归、决策树、SVM、各种概率模型——都属于「传统」机器学习的地盘。从这一章开始,进入今
  77. 77反向传播:把误差一层层传回去约 23 分钟 · 反向传播:把误差一层层传回去 小象实战讲义 · 机器学习算法精讲 上一节结尾我们停在门口:构造损失函数时要「连续」,这样误差才能不断地传递回来。本节就讲这件事的正片——反向传播(Back Propag
  78. 78卷积神经网络(CNN):让特征自己学出来约 25 分钟 · 卷积神经网络(CNN):让特征自己学出来 小象实战讲义 · 机器学习算法精讲 我们所说的深度学习,其实都是基于已有的神经网络;而深度学习的标志之一,就是 ConvNet(卷积神经网络)——里面是分层的
  79. 79循环神经网络(RNN):给网络装上记忆约 36 分钟 · 循环神经网络(RNN):给网络装上记忆 小象实战讲义 · 机器学习算法精讲 CNN 之后,我们面对一类新数据:动态的、持续的特性——这是循环神经网络(RNN,recurrent neural netw
  80. 80深度学习回顾:静态一类,动态一类约 36 分钟 · 深度学习回顾:静态一类,动态一类 小象实战讲义 · 机器学习算法精讲 这一节是深度学习的收官回顾。先把最基础的神经网络再压一遍——它是万能的函数模拟逼近器;然后换一个新角度复习隐马尔可夫链——把它看成
  81. 81增强学习(1):蒙特卡洛、树搜索与 Q-learning约 20 分钟 · 增强学习(1):蒙特卡洛、树搜索与 Q-learning 小象实战讲义 · 机器学习算法精讲 本节从一件朴素的事情出发:蒙特卡洛——用随机采样去逼近真实情况。先用它把圆周率 π \pi π 算出来(讲
  82. 82强化学习(2):从乌鸦吃核桃到井字棋的 value 回传约 25 分钟 · 强化学习(2):从乌鸦吃核桃到井字棋的 value 回传 小象实战讲义 · 机器学习算法精讲 人是怎么去学到的?我们为什么会去做这样的事?客观来讲,到今天仍然没有完全清晰。网上有很多关于 AI 的评论

同主题课程

主题内继续学