📑 查看全课大纲(第 88 / 101 节)
- 1.数据分析基本概念
- 2.学习数据分析的一般路线
- 3.数据分析的流程
- 4.数据类型
- 5.环境部署(1)
- 6.环境部署(2)
- 7.课程介绍
- 8.TXT文件操作
- 9.JSON文件操作
- 10.CSV文件操作
- 11.Excel文件操作
- 12.数据库及SQL常用语法
- 13.数据库基本操作
- 14.数据库多表连接
- 15.实战:欧洲职业足球数据库分析
- 16.爬虫简介
- 17.URL管理模块
- 18.网页下载模块
- 19.网页解析模块(1)
- 20.网页解析模块(2)
- 21.Scrapy简介
- 22.Scrapy使用步骤(1)
- 23.Scrapy使用步骤(2)
- 24.Scrapy使用步骤(3)
- 25.Scrapy使用步骤(4)
- 26.实战:获取国内城市空气质量指数数据
- 27.NumPy和SciPy介绍
- 28.多维数组
- 29.多维数组操作
- 30.NumPy的常用方法
- 31.向量化介绍
- 32.向量化及通用函数
- 33.实战:2016美国大选分析
- 34.数据结构-Series
- 35.数据结构-DataFrame
- 36.数据结构-Index
- 37.Series的索引操作
- 38.DataFrame的索引操作
- 39.索引操作总结
- 40.运算与对齐
- 41.函数应用操作(1) -- map
- 42.函数应用操作 (2) -- apply applymap
- 43.文件读写操作
- 44.排序操作
- 45.数据清洗--处理缺失数据
- 46.数据清洗--处理重复数据
- 47.数据清洗--替换数据
- 48.常用统计方法(1) -- describe quantile
- 49.常用统计方法(2) -- sum mean median count
- 50.常用统计方法(3) -- max min idxmax idxmin
- 51.常用统计方法(4) -- mad var std cumsum
- 52.实战:全球食品数据分析
- 53.层级索引
- 54.分组与聚合介绍
- 55.分组操作(1) -- GroupBy对象及常用聚合操作
- 56.分组操作(2) -- 自定义分组及聚合操作
- 57.透视表介绍
- 58.透视表操作
- 59.数据规整(1) -- 数据合并concat
- 60.数据规整(2) -- 数据连接merge
- 61.数据重构(3) -- 数据重构stack unstack
- 62.实战:互联网电影资料库分析
- 63.探索性数据分析EDA介绍
- 64.EDA的目的
- 65.EDA常用工具
- 66.Matplotlib绘图基本介绍
- 67.Matplotlib画布
- 68.散点图和柱状图的绘制
- 69.直方图的绘制
- 70.矩阵绘图
- 71.子图的使用
- 72.Matplotlib颜色、标记、线型
- 73.Matplotlib坐标刻度、标签、图例、标题
- 74.Seaborn介绍
- 75.数据集分布可视化(1) -- 单变量分布、双变量分布
- 76.数据集分布可视化(2) -- 变量关系可视化
- 77.类别数据可视化 -- 类别散布图、类别内数据分布、类别内统计图
- 78.交互式数据可视化工具Bokeh介绍
- 79.Bokeh绘制散点图、柱状图、盒子图、弦图
- 80.Bokeh绘制常用图形元素
- 81.D绘图 -- mplot3d
- 82.D曲线可视化
- 83.D散点图可视化
- 84.D柱状图可视化
- 85.Pandas绘图
- 86.实战:Lending Club借贷数据探索性分析及可视化
- 87.机器学习介绍及应用场景
- 88.机器学习建模介绍 (1) -- 分类
- 89.机器学习建模介绍 (2) -- 回归
- 90.机器学习建模介绍 (3) -- 聚类
- 91.机器学习分类
- 92.机器学习工具scikit-learn
- 93.使用scikit-learn的流程
- 94.数据集准备及划分
- 95.模型选择
- 96.数据预处理及特征工程
- 97.过拟合与欠拟合
- 98.模型调参介绍
- 99.模型调参方法
- 100.模型测试及评价
- 101.实战:通过移动设备行为数据预测性别和年龄
机器学习建模介绍 (1) -- 分类
约 10 分钟
📺 正在播放小象官方高清录播(支持倍速与清晰度调节)
机器学习知识图谱:监督学习、无监督学习、半监督学习与强化学习四大流派全景解析
小象实战讲义 · Python数据分析实战
面对纷繁复杂的机器学习算法(从线性回归、决策树到 K-Means 聚类、Q-Learning),建立一个清晰宏观的算法分类认知坐标系是系统掌握机器学习的关键。根据训练数据中是否包含人工标注的**真实标签(Ground Truth Label)**以及与外部环境的交互反馈方式,机器学习主要划分为四大核心流派:监督学习(Supervised Learning)、无监督学习(Unsupervised Learning)、半监督学习(Semi-Supervised Learning) 与 强化学习(Reinforcement Learning)。本节我们将深入剖析各流派的核心问题、输入输出特征与典型算法。
💡 核心导读
- 四大机器学习流派对比矩阵:
- 监督学习(Supervised):输入数据包含特征 $X$ 与真实标签 $y$(分为分类与回归);
- 无监督学习(Unsupervised):输入仅有特征 $X$ 无标签(用于聚类、降维与异常检测);
- 半监督学习(Semi-Supervised):海量无标签数据 + 极少量精标数据协同训练;
- 强化学习(Reinforcement):智能体(Agent)通过与环境交互试错,最大化累积奖励(Reward)。
- 监督学习两大主线任务:分类(离散标签) vs 回归(连续数值)。
1. 四大流派核心架构与输入输出对比
各流派的数据结构形式与优化目标对比如下:
┌─────────────────────────────────────────────────────────────┐
│ 机器学习四大流派全景矩阵 │
├─────────────┬──────────────────┬────────────────────────────┤
│ 学习范式 │ 输入数据结构 │ 核心任务与经典算法 │
├─────────────┼──────────────────┼────────────────────────────┤
│ 监督学习 │ 特征 X + 标签 y │ 分类(SVM/决策树), 回归(OLS)│
│ 无监督学习 │ 仅有特征 X │ 聚类(K-Means), 降维(PCA) │
│ 半监督学习 │ 少量 (X, y) + 大量 X | 伪标签传播 (Label Prop) │
│ 强化学习 │ 状态 S + 奖励 R │ 试错决策 (DQN, PPO) │
└─────────────┴──────────────────┴────────────────────────────┘import numpy as np
import pandas as pd
# 1. 监督学习数据集示例:带标签的客户流失预测
df_supervised = pd.DataFrame({
"monthly_fee": [58, 128, 88, 38, 158],
"contract_months": [12, 1, 6, 24, 2],
"is_churn": [0, 1, 0, 0, 1] # 显式标签 y: 0=留存, 1=流失
})
print("=== 1. 监督学习数据结构 (含显式 y 标签) ===")
print(df_supervised)
# 2. 无监督学习数据集示例:无标签客户行为画像聚类
df_unsupervised = pd.DataFrame({
"app_usage_hours": [2.5, 8.1, 1.2, 7.5, 0.5],
"annual_spend": [1200, 8500, 800, 9200, 300]
# 无任何人工预设的标签,算法需自行寻找群落结构
})
print("\n=== 2. 无监督学习数据结构 (仅有特征 X) ===")
print(df_unsupervised)2. 监督学习内部两大支柱:分类 vs 回归
判断一个监督任务是分类还是回归,核心在于其目标变量 $y$ 的数学类型是离散类别还是连续实数。
def task_classifier(target_series):
unique_count = target_series.nunique()
dtype = target_series.dtype
if dtype == 'object' or unique_count <= 10:
return f"分类任务 (Classification) - 目标是预测 {unique_count} 个离散类别"
else:
return "回归任务 (Regression) - 目标是预测连续数值"
print("=== 3. 任务类型自动判断诊断 ===")
print("• 客户是否流失 is_churn:", task_classifier(df_supervised["is_churn"]))
print("• 房屋售价 price:", task_classifier(pd.Series([120.5, 230.1, 185.6, 320.0, 95.4])))📝 动手练一练
概念辨析题:以下三个业务场景分别属于机器学习的哪种流派?① 预测明天的最高气温;② 电商用户无标签行为细分分群;③ 自动驾驶汽车控制方向盘转角。
👉 点击查看参考答案
参考答案:
- ① 预测明天最高气温:监督学习中的回归任务(Regression);
- ② 电商用户行为细分分群:无监督学习中的聚类任务(Clustering);
- ③ 自动驾驶动态试错控制:强化学习(Reinforcement Learning)。
编程练习:编写代码判断给定目标数组
y = np.array([0, 1, 0, 1, 1])的类别数量。👉 点击查看参考答案
参考答案:
import numpy as np y = np.array([0, 1, 0, 1, 1]) classes = np.unique(y) print("独立类别清单:", classes)
本章小结
- 全面掌握了监督学习、无监督学习、半监督学习与强化学习的分类标准;
- 深入掌握了监督学习内部“分类(离散目标)”与“回归(连续目标)”的判定界限;
- 建立了根据实际业务需求快速匹配算法流派的思维框架。
📋 行动清单
- 在本地执行示例代码,观察控制台输出并记录关键指标。
- 做好准备,进入下一小节学习《机器学习常用算法(1):经典分类算法与决策边界》!
—— 小象教研组
配套学习资源与课件
- 本节课件:机器学习建模介绍 (1) -- 分类(PDF · 364KB)下载
- 全套课件打包(第1-5章)(ZIP · 12.8MB)下载
- 全套课件打包(第6-8章)(ZIP · 15MB)下载
- 实战数据集:AppleStore 应用商城分析(ZIP · 329KB)下载
- 实战数据集:女性服装电商分析(ZIP · 2.8MB)下载
- Python 数据分析环境搭建指南(PDF · 2MB)下载
- Scrapy 安装教程(PDF · 12.7MB)下载
- 附加实战项目:AppleStore 应用商城数据分析(ZIP · 0.3MB · ipynb + CSV 数据)下载
- 附加实战项目:银行电话营销数据分析(ZIP · 0.4MB · ipynb + CSV 数据)下载
- 附加实战项目:女性服装电商评论数据分析(ZIP · 2.7MB · ipynb + CSV 数据)下载
- 附加实战项目:美国化学学会杂志数据分析(ZIP · 34.2MB · ipynb + SQLite 数据库)下载
🎁 免费学习资源
领取《小象 11GB VIP 课件资料包与大厂真题手册》
包含全套实战 Jupyter 源码、清洗后数据集、大厂高频面试真题与专属学员答疑交流群。
- ✔完整 Python / 数据分析 Jupyter 实战源码
- ✔大厂真实业务数据集与练习题
- ✔微信扫码添加课程顾问,免费获取网盘下载链接
微信扫码添加顾问