📑 查看全课大纲(第 12 / 101 节)
- 1.数据分析基本概念
- 2.学习数据分析的一般路线
- 3.数据分析的流程
- 4.数据类型
- 5.环境部署(1)
- 6.环境部署(2)
- 7.课程介绍
- 8.TXT文件操作
- 9.JSON文件操作
- 10.CSV文件操作
- 11.Excel文件操作
- 12.数据库及SQL常用语法
- 13.数据库基本操作
- 14.数据库多表连接
- 15.实战:欧洲职业足球数据库分析
- 16.爬虫简介
- 17.URL管理模块
- 18.网页下载模块
- 19.网页解析模块(1)
- 20.网页解析模块(2)
- 21.Scrapy简介
- 22.Scrapy使用步骤(1)
- 23.Scrapy使用步骤(2)
- 24.Scrapy使用步骤(3)
- 25.Scrapy使用步骤(4)
- 26.实战:获取国内城市空气质量指数数据
- 27.NumPy和SciPy介绍
- 28.多维数组
- 29.多维数组操作
- 30.NumPy的常用方法
- 31.向量化介绍
- 32.向量化及通用函数
- 33.实战:2016美国大选分析
- 34.数据结构-Series
- 35.数据结构-DataFrame
- 36.数据结构-Index
- 37.Series的索引操作
- 38.DataFrame的索引操作
- 39.索引操作总结
- 40.运算与对齐
- 41.函数应用操作(1) -- map
- 42.函数应用操作 (2) -- apply applymap
- 43.文件读写操作
- 44.排序操作
- 45.数据清洗--处理缺失数据
- 46.数据清洗--处理重复数据
- 47.数据清洗--替换数据
- 48.常用统计方法(1) -- describe quantile
- 49.常用统计方法(2) -- sum mean median count
- 50.常用统计方法(3) -- max min idxmax idxmin
- 51.常用统计方法(4) -- mad var std cumsum
- 52.实战:全球食品数据分析
- 53.层级索引
- 54.分组与聚合介绍
- 55.分组操作(1) -- GroupBy对象及常用聚合操作
- 56.分组操作(2) -- 自定义分组及聚合操作
- 57.透视表介绍
- 58.透视表操作
- 59.数据规整(1) -- 数据合并concat
- 60.数据规整(2) -- 数据连接merge
- 61.数据重构(3) -- 数据重构stack unstack
- 62.实战:互联网电影资料库分析
- 63.探索性数据分析EDA介绍
- 64.EDA的目的
- 65.EDA常用工具
- 66.Matplotlib绘图基本介绍
- 67.Matplotlib画布
- 68.散点图和柱状图的绘制
- 69.直方图的绘制
- 70.矩阵绘图
- 71.子图的使用
- 72.Matplotlib颜色、标记、线型
- 73.Matplotlib坐标刻度、标签、图例、标题
- 74.Seaborn介绍
- 75.数据集分布可视化(1) -- 单变量分布、双变量分布
- 76.数据集分布可视化(2) -- 变量关系可视化
- 77.类别数据可视化 -- 类别散布图、类别内数据分布、类别内统计图
- 78.交互式数据可视化工具Bokeh介绍
- 79.Bokeh绘制散点图、柱状图、盒子图、弦图
- 80.Bokeh绘制常用图形元素
- 81.D绘图 -- mplot3d
- 82.D曲线可视化
- 83.D散点图可视化
- 84.D柱状图可视化
- 85.Pandas绘图
- 86.实战:Lending Club借贷数据探索性分析及可视化
- 87.机器学习介绍及应用场景
- 88.机器学习建模介绍 (1) -- 分类
- 89.机器学习建模介绍 (2) -- 回归
- 90.机器学习建模介绍 (3) -- 聚类
- 91.机器学习分类
- 92.机器学习工具scikit-learn
- 93.使用scikit-learn的流程
- 94.数据集准备及划分
- 95.模型选择
- 96.数据预处理及特征工程
- 97.过拟合与欠拟合
- 98.模型调参介绍
- 99.模型调参方法
- 100.模型测试及评价
- 101.实战:通过移动设备行为数据预测性别和年龄
数据库及SQL常用语法
约 11 分钟
关系型数据库基础与 SQL 常用查询语法精讲
小象实战讲义 · Python数据分析实战
当数据规模从几千行增长到数百万行,或者当数据不再是孤立的单张表格,而是由“用户表”、“订单表”、“商品表”等多张相互关联的实体表格组成时,传统的文件存储(CSV/Excel)在并发读写、数据一致性维护与多维度复杂查询上就会遇到瓶颈。此时,**关系型数据库(RDBMS)与结构化查询语言(SQL)**就成为了企业级数据存储与分析的基石。本节将带你建立关系型数据库的底层模型认知,系统攻克 SQL 的 CRUD 核心语法与常用聚合查询技巧。
💡 核心导读
- 数据库与数据表核心概念:掌握表(Table)、记录(Row)、字段(Column)、主键(Primary Key)与外键(Foreign Key)。
- 主流数据库家族对比:了解 MySQL、PostgreSQL、Oracle 以及轻量嵌入式 SQLite 的特点。
- SQL 核心语法体系:精通增删改查(CRUD)四大核心语句的标准编写规范。
- 高阶查询子句全链路:掌握
WHERE过滤、ORDER BY排序、GROUP BY分组与HAVING聚合筛选。 - SQLite 纯 SQL 查询与验证实战:通过 Python 内置数据库引擎实战演练 SQL 核心语法。
1. 关系型数据库全景认知
什么是数据库?
数据库(Database)是按照一定数据模型组织、存储和管理数据的仓库。一个数据库通常由多张**数据表(Table)**组成:
- 行(Row / Record):代表一条具体的实体数据记录(例如:一个特定用户);
- 列(Column / Field):代表实体拥有的某种属性(例如:用户姓名、注册时间、城市);
- 主键(Primary Key):表中能够唯一标识一条记录的字段(如
user_id),不可重复且不可为空; - 外键(Foreign Key):用于建立多张表之间关联关系的字段(如订单表中的
user_id指向用户表的主键)。
┌───────────────────────────────────┐ ┌───────────────────────────────────┐
│ 用户表 (users) │ │ 订单表 (orders) │
├─────────┬───────────┬─────────────┤ ├──────────┬─────────┬──────────────┤
│ user_id │ user_name │ city │<──────┼ order_id │ user_id │ total_amount │
│ (主键 PK)│ (文本) │ (文本) │ (外键) │ (主键 PK)│ (外键 FK)│ (数值) │
└─────────┴───────────┴─────────────┘ └──────────┴─────────┴──────────────┘主流关系型数据库简介
- MySQL / PostgreSQL:开源界最流行的企业级服务端数据库,支持极高并发与海量数据;
- Oracle / MS SQL Server:大型传统企业、电信与核心业务系统常用的商业级数据库;
- SQLite:轻量级嵌入式数据库,整个数据库就是一个独立的本地磁盘文件,无需安装任何独立服务器软件,零配置即可使用,是移动端与单机数据分析的绝佳选择。
2. SQL 常用语法与 CRUD 核心操作
SQL(Structured Query Language,结构化查询语言)是与所有关系型数据库沟通的通用国际标准语言。其核心操作分为四大类别(CRUD):
┌─────────────────────────────────────────────────────────────┐
│ SQL CRUD 核心操作速查 │
├───────────────┬─────────────────────────────────────────────┤
│ 1. Create (增)│ INSERT INTO 表名 (列1, 列2) VALUES (值1, 值2); │
├───────────────┼─────────────────────────────────────────────┤
│ 2. Read (查) │ SELECT 列1, 列2 FROM 表名 WHERE 过滤条件; │
├───────────────┼─────────────────────────────────────────────┤
│ 3. Update (改)│ UPDATE 表名 SET 列1 = 新值 WHERE 过滤条件; │
├───────────────┼─────────────────────────────────────────────┤
│ 4. Delete (删)│ DELETE FROM 表名 WHERE 过滤条件; │
└───────────────┴─────────────────────────────────────────────┘⚠️ 高危操作警示:在执行
UPDATE和DELETE语句时,务必确认携带WHERE条件!如果遗漏WHERE子句,将会更新或清空整张表的所有记录!
3. SQL 查询进阶:过滤、排序、聚合与分组
在日常数据分析中,90% 以上的工作都在使用 SELECT 查询语句。一个完整的复杂查询通常包含以下关键子句,其书写与执行顺序如下:
SELECT 字段列表, 聚合函数(COUNT/SUM/AVG)
FROM 表名
WHERE 行级过滤条件 (AND/OR/IN/BETWEEN/LIKE)
GROUP BY 分组字段
HAVING 组级过滤条件 (针对聚合结果进行筛选)
ORDER BY 排序字段 ASC/DESC
LIMIT 返回行数;- 常用聚合函数:
COUNT(*):统计记录总行数;SUM(column):计算数值列总和;AVG(column):计算数值列平均值;MAX(column)/MIN(column):找出列的最大值与最小值。
4. Python 代码实战:使用内存 SQLite 演练核心 SQL 语法
下面我们通过 Python 内置的 sqlite3 模块,在内存中创建一张模拟员工表,演示标准 SQL 的建表、插入、更新、条件过滤与分组聚合全流程。
# 示例 1:在 SQLite 中执行 DDL 建表与 DML 数据插入
import sqlite3
# 连接到内存数据库(":memory:" 模式,测试完毕自动销毁)
conn = sqlite3.connect(":memory:")
cursor = conn.cursor()
# 1. 创建员工信息表 (employees)
create_table_sql = """
CREATE TABLE employees (
emp_id INTEGER PRIMARY KEY,
name TEXT NOT NULL,
department TEXT,
salary REAL,
city TEXT
);
"""
cursor.execute(create_table_sql)
# 2. 批量插入初始数据
mock_employees = [
(101, "张伟", "技术部", 15000.0, "北京"),
(102, "李娜", "市场部", 12000.0, "上海"),
(103, "王强", "技术部", 18000.0, "北京"),
(104, "刘洋", "运营部", 9500.0, "广州"),
(105, "陈晨", "技术部", 16000.0, "上海"),
(106, "赵敏", "市场部", 13500.0, "北京")
]
insert_sql = "INSERT INTO employees (emp_id, name, department, salary, city) VALUES (?, ?, ?, ?, ?);"
cursor.executemany(insert_sql, mock_employees)
conn.commit()
print(f"✅ 成功创建数据表并插入 {len(mock_employees)} 条员工记录!")接下来,我们执行包含条件过滤、排序、分组聚合与 HAVING 筛选的 SQL 复杂查询:
# 示例 2:执行复杂 SQL 查询与聚合统计
# 1. 基础条件查询:查找北京地区薪资 > 13000 的员工
query_1 = """
SELECT name, department, salary
FROM employees
WHERE city = '北京' AND salary > 13000.0
ORDER BY salary DESC;
"""
cursor.execute(query_1)
print("\n=== 北京高薪员工查询结果 (ORDER BY salary DESC) ===")
for name, dept, sal in cursor.fetchall():
print(f"• 姓名: {name:<4} | 部门: {dept:<6} | 薪资: {sal:.2f} 元")
# 2. 分组聚合查询:统计各部门的人数与平均薪资,并筛选平均薪资 > 12000 的部门
query_2 = """
SELECT department, COUNT(*) AS emp_count, AVG(salary) AS avg_salary, MAX(salary) AS max_salary
FROM employees
GROUP BY department
HAVING AVG(salary) > 12000.0
ORDER BY avg_salary DESC;
"""
cursor.execute(query_2)
print("\n=== 部门薪酬统计 (GROUP BY + HAVING 筛选) ===")
for dept, count, avg_sal, max_sal in cursor.fetchall():
print(f"• 部门: {dept:<6} | 人数: {count} 人 | 平均薪资: {avg_sal:.2f} 元 | 最高薪资: {max_sal:.2f} 元")
# 3. 更新操作演示:为市场部员工全员上调 1000 元
update_sql = "UPDATE employees SET salary = salary + 1000 WHERE department = '市场部';"
cursor.execute(update_sql)
conn.commit()
cursor.execute("SELECT name, salary FROM employees WHERE department = '市场部';")
print("\n=== 调薪后市场部薪资明细 ===")
for name, sal in cursor.fetchall():
print(f"• {name}: {sal:.2f} 元")
conn.close()📝 动手练一练
语法纠错题:一位初学 SQL 的同学写了下面这条查询语句,想要统计订单金额总和大于 10000 元的城市:
SELECT city, SUM(amount) FROM orders WHERE SUM(amount) > 10000 GROUP BY city;请问这条 SQL 会报错吗?为什么?应该如何修改?
👉 点击查看参考答案
参考答案: 会报错。 因为
WHERE子句是在数据分组之前对单行原始记录进行过滤的,不能在WHERE中直接使用聚合函数(如SUM(amount))。 对聚合后的结果进行条件过滤,必须使用HAVING子句。 正确 SQL:SELECT city, SUM(amount) FROM orders GROUP BY city HAVING SUM(amount) > 10000;SQL 编写练习:假设有一张图书表
books (book_id, title, author, price, stock)。请编写一条 SQL 语句,查询库存量(stock)大于 0 且价格在 30 到 80 元之间的图书,按照价格从高到低排序,只返回前 5 本图书的title和price。👉 点击查看参考答案
参考答案:
SELECT title, price FROM books WHERE stock > 0 AND price BETWEEN 30 AND 80 ORDER BY price DESC LIMIT 5;
本章小结
在本节中,我们建立了关系型数据库与 SQL 查询的系统认知:
- 关系型数据库通过主键与外键维护多表实体之间的结构化关联;
- 牢记 CRUD 基础语法,执行修改与删除时切记加上
WHERE条件; - 熟练掌握
WHERE(行过滤)、GROUP BY(分组)、HAVING(聚合过滤)与ORDER BY(排序)的执行顺序。
📋 行动清单
- 记忆常用的 5 个 SQL 聚合函数:
COUNT、SUM、AVG、MAX、MIN。 - 理解
WHERE与HAVING的本质区别,准备进入下一节 Python 操作本地 SQLite 实战。
—— 小象教研组
- 本节课件:数据库及SQL常用语法(PDF · 211KB)下载
- 数据库章节配套练习库:sqliteDatabase.db(ZIP · <1KB · SQLite)下载
- 全套课件打包(第1-5章)(ZIP · 12.8MB)下载
- 全套课件打包(第6-8章)(ZIP · 15MB)下载
- 实战数据集:AppleStore 应用商城分析(ZIP · 329KB)下载
- 实战数据集:女性服装电商分析(ZIP · 2.8MB)下载
- Python 数据分析环境搭建指南(PDF · 2MB)下载
- Scrapy 安装教程(PDF · 12.7MB)下载
- 附加实战项目:AppleStore 应用商城数据分析(ZIP · 0.3MB · ipynb + CSV 数据)下载
- 附加实战项目:银行电话营销数据分析(ZIP · 0.4MB · ipynb + CSV 数据)下载
- 附加实战项目:女性服装电商评论数据分析(ZIP · 2.7MB · ipynb + CSV 数据)下载
- 附加实战项目:美国化学学会杂志数据分析(ZIP · 34.2MB · ipynb + SQLite 数据库)下载
领取《小象 11GB VIP 课件资料包与大厂真题手册》
包含全套实战 Jupyter 源码、清洗后数据集、大厂高频面试真题与专属学员答疑交流群。
- ✔完整 Python / 数据分析 Jupyter 实战源码
- ✔大厂真实业务数据集与练习题
- ✔微信扫码添加课程顾问,免费获取网盘下载链接
微信扫码添加顾问