📑 查看全课大纲(第 87 / 101 节)
- 1.数据分析基本概念
- 2.学习数据分析的一般路线
- 3.数据分析的流程
- 4.数据类型
- 5.环境部署(1)
- 6.环境部署(2)
- 7.课程介绍
- 8.TXT文件操作
- 9.JSON文件操作
- 10.CSV文件操作
- 11.Excel文件操作
- 12.数据库及SQL常用语法
- 13.数据库基本操作
- 14.数据库多表连接
- 15.实战:欧洲职业足球数据库分析
- 16.爬虫简介
- 17.URL管理模块
- 18.网页下载模块
- 19.网页解析模块(1)
- 20.网页解析模块(2)
- 21.Scrapy简介
- 22.Scrapy使用步骤(1)
- 23.Scrapy使用步骤(2)
- 24.Scrapy使用步骤(3)
- 25.Scrapy使用步骤(4)
- 26.实战:获取国内城市空气质量指数数据
- 27.NumPy和SciPy介绍
- 28.多维数组
- 29.多维数组操作
- 30.NumPy的常用方法
- 31.向量化介绍
- 32.向量化及通用函数
- 33.实战:2016美国大选分析
- 34.数据结构-Series
- 35.数据结构-DataFrame
- 36.数据结构-Index
- 37.Series的索引操作
- 38.DataFrame的索引操作
- 39.索引操作总结
- 40.运算与对齐
- 41.函数应用操作(1) -- map
- 42.函数应用操作 (2) -- apply applymap
- 43.文件读写操作
- 44.排序操作
- 45.数据清洗--处理缺失数据
- 46.数据清洗--处理重复数据
- 47.数据清洗--替换数据
- 48.常用统计方法(1) -- describe quantile
- 49.常用统计方法(2) -- sum mean median count
- 50.常用统计方法(3) -- max min idxmax idxmin
- 51.常用统计方法(4) -- mad var std cumsum
- 52.实战:全球食品数据分析
- 53.层级索引
- 54.分组与聚合介绍
- 55.分组操作(1) -- GroupBy对象及常用聚合操作
- 56.分组操作(2) -- 自定义分组及聚合操作
- 57.透视表介绍
- 58.透视表操作
- 59.数据规整(1) -- 数据合并concat
- 60.数据规整(2) -- 数据连接merge
- 61.数据重构(3) -- 数据重构stack unstack
- 62.实战:互联网电影资料库分析
- 63.探索性数据分析EDA介绍
- 64.EDA的目的
- 65.EDA常用工具
- 66.Matplotlib绘图基本介绍
- 67.Matplotlib画布
- 68.散点图和柱状图的绘制
- 69.直方图的绘制
- 70.矩阵绘图
- 71.子图的使用
- 72.Matplotlib颜色、标记、线型
- 73.Matplotlib坐标刻度、标签、图例、标题
- 74.Seaborn介绍
- 75.数据集分布可视化(1) -- 单变量分布、双变量分布
- 76.数据集分布可视化(2) -- 变量关系可视化
- 77.类别数据可视化 -- 类别散布图、类别内数据分布、类别内统计图
- 78.交互式数据可视化工具Bokeh介绍
- 79.Bokeh绘制散点图、柱状图、盒子图、弦图
- 80.Bokeh绘制常用图形元素
- 81.D绘图 -- mplot3d
- 82.D曲线可视化
- 83.D散点图可视化
- 84.D柱状图可视化
- 85.Pandas绘图
- 86.实战:Lending Club借贷数据探索性分析及可视化
- 87.机器学习介绍及应用场景
- 88.机器学习建模介绍 (1) -- 分类
- 89.机器学习建模介绍 (2) -- 回归
- 90.机器学习建模介绍 (3) -- 聚类
- 91.机器学习分类
- 92.机器学习工具scikit-learn
- 93.使用scikit-learn的流程
- 94.数据集准备及划分
- 95.模型选择
- 96.数据预处理及特征工程
- 97.过拟合与欠拟合
- 98.模型调参介绍
- 99.模型调参方法
- 100.模型测试及评价
- 101.实战:通过移动设备行为数据预测性别和年龄
机器学习介绍及应用场景
约 15 分钟
📺 正在播放小象官方高清录播(支持倍速与清晰度调节)
人工智能与数据科学引擎:机器学习核心概念、发展脉络与典型业务场景精讲
小象实战讲义 · Python数据分析实战
在完成了 Python 基础编程、NumPy 科学计算、Pandas 数据清洗与规整,以及 Matplotlib/Seaborn 探索性可视化之后,我们正式迈入数据科学最具生产力与智能化的阶段——机器学习(Machine Learning,简称 ML)。传统软件工程依赖程序员人工编写确定性的业务规则(if-else),而机器学习则彻底颠覆了这一范式:它通过统计与优化算法让计算机直接从历史海量数据中“学习”潜在的映射规律,从而对未来的未知样本进行高精度的预测、分类与决策。本节我们将深入剖析机器学习的定义、与传统规则系统的本质区别,以及各行各业的典型应用场景。
💡 核心导读
- 机器学习的核心本质定义:利用数据训练算法模型,使计算机具备自动优化性能指标 $\mathcal{P}$ 的能力(Tom Mitchell 经典定义)。
- 传统规则编程 vs 机器学习编程范式变革:
- 传统编程:
数据 + 显式规则 ──► 产出答案; - 机器学习:
数据 + 历史答案 ──► 自动产出规则 (模型)。
- 传统编程:
- 现代工业级四大典型应用场景:计算机视觉(CV)、自然语言处理(NLP)、智能推荐系统(RecSys)与风控反欺诈。
- 机器学习的标准工业落地闭环。
1. 机器学习的范式变革与运作机制
机器学习改变了解决复杂业务问题的基本逻辑:
┌─────────────────────────────────────────────────────────────┐
│ 传统编程 vs 机器学习范式对比 │
├─────────────────────────────────────────────────────────────┤
│ 1. 传统规则编程 (无法应对高维复杂混沌系统): │
│ 输入数据 ───┐ │
│ ├──► [ 人工编写的 if-else 规则 ] ──► 业务输出│
│ 业务专家经验─┘ │
│ │
│ 2. 现代机器学习 (自动从数据中归纳统计规律): │
│ 历史特征数据 ─┐ │
│ ├──► 【 机器学习算法训练 】 ──► 泛化模型预测 │
│ 已知真实标签 ─┘ │
└─────────────────────────────────────────────────────────────┘import numpy as np
import pandas as pd
# 演示从数据中自动学习规律:模拟真实房屋价格预测任务
np.random.seed(42)
n_samples = 100
# 特征:房屋面积 (平方米)
house_area = np.random.uniform(40, 180, n_samples)
# 真实规律 (底层物理映射): 价格 = 3.2 * 面积 + 25 + 随机噪声
true_price = 3.2 * house_area + 25 + np.random.normal(0, 15, n_samples)
df_house = pd.DataFrame({
"area": house_area.round(1),
"price_ten_thousand": true_price.round(1)
})
print("=== 1. 房屋历史样本数据前 5 行 ===")
print(df_house.head())
# 简单线性回归拟合:自动学习斜率 w 与截距 b (y = wx + b)
w_learned, b_learned = np.polyfit(df_house["area"], df_house["price_ten_thousand"], deg=1)
print(f"\n=== 2. 算法自动学习到的规律参数 ===")
print(f"• 学习到的单价斜率 w = {w_learned:.3f} (真实基准: 3.2)")
print(f"• 学习到的基础截距 b = {b_learned:.3f} (真实基准: 25.0)")2. 模型预测未知样本与工业落地流
利用训练好的模型,我们可以对新录入的未知面积房屋进行价格预测。
# 3. 对 3 套未知新房进行价格预测
new_areas = np.array([65.0, 90.0, 130.0])
predicted_prices = w_learned * new_areas + b_learned
print("=== 3. 泛化预测未知样本 ===")
for area, pred in zip(new_areas, predicted_prices):
print(f"• 面积: {area:>5.1f} ㎡ ──► 算法预测总价: {pred:>6.2f} 万元")📝 动手练一练
概念思考题:在垃圾邮件过滤场景中,为什么传统的“关键词黑名单匹配规则”最终被“机器学习分类算法”全面取代?
👉 点击查看参考答案
参考答案:
- 黑名单规则维护成本极高,且容易被垃圾邮件发送者通过变体字、错别字或插入无意义符号轻松绕过(漏报);
- 规则容易误伤正常邮件(误报);
- 机器学习算法能够综合分析词频统计、词语共现上下文、发送特征等多维概率分布,具备强大的自适应与抗干扰能力。
编程练习:给定面积特征数组
x与总价标签y,请使用np.polyfit拟合线性模型并打印预测值。👉 点击查看参考答案
参考答案:
import numpy as np x = np.array([50, 100, 150]) y = np.array([150, 300, 450]) w, b = np.polyfit(x, y, 1) print(f"拟合公式: y = {w:.1f}x + {b:.1f}")
本章小结
- 深入理解了机器学习“从数据中自动归纳映射规律”的现代范式;
- 厘清了传统规则编程与机器学习在灵活性、维护成本上的本质鸿沟;
- 了解了机器学习在推荐、风控、预测等工业级场景下的标准应用流。
📋 行动清单
- 在本地执行示例代码,观察控制台输出并记录关键指标。
- 做好准备,进入下一小节学习《机器学习核心分类体系:监督、无监督与强化学习》!
—— 小象教研组
配套学习资源与课件
- 本节课件:机器学习介绍及应用场景(PDF · 993KB)下载
- 第8章配套代码包:机器学习示例与移动设备行为实战数据(ZIP · 274MB)下载
- 全套课件打包(第1-5章)(ZIP · 12.8MB)下载
- 全套课件打包(第6-8章)(ZIP · 15MB)下载
- 实战数据集:AppleStore 应用商城分析(ZIP · 329KB)下载
- 实战数据集:女性服装电商分析(ZIP · 2.8MB)下载
- Python 数据分析环境搭建指南(PDF · 2MB)下载
- Scrapy 安装教程(PDF · 12.7MB)下载
- 附加实战项目:AppleStore 应用商城数据分析(ZIP · 0.3MB · ipynb + CSV 数据)下载
- 附加实战项目:银行电话营销数据分析(ZIP · 0.4MB · ipynb + CSV 数据)下载
- 附加实战项目:女性服装电商评论数据分析(ZIP · 2.7MB · ipynb + CSV 数据)下载
- 附加实战项目:美国化学学会杂志数据分析(ZIP · 34.2MB · ipynb + SQLite 数据库)下载
🎁 免费学习资源
领取《小象 11GB VIP 课件资料包与大厂真题手册》
包含全套实战 Jupyter 源码、清洗后数据集、大厂高频面试真题与专属学员答疑交流群。
- ✔完整 Python / 数据分析 Jupyter 实战源码
- ✔大厂真实业务数据集与练习题
- ✔微信扫码添加课程顾问,免费获取网盘下载链接
微信扫码添加顾问