📑 查看全课大纲(第 55 / 101 节)
- 1.数据分析基本概念
- 2.学习数据分析的一般路线
- 3.数据分析的流程
- 4.数据类型
- 5.环境部署(1)
- 6.环境部署(2)
- 7.课程介绍
- 8.TXT文件操作
- 9.JSON文件操作
- 10.CSV文件操作
- 11.Excel文件操作
- 12.数据库及SQL常用语法
- 13.数据库基本操作
- 14.数据库多表连接
- 15.实战:欧洲职业足球数据库分析
- 16.爬虫简介
- 17.URL管理模块
- 18.网页下载模块
- 19.网页解析模块(1)
- 20.网页解析模块(2)
- 21.Scrapy简介
- 22.Scrapy使用步骤(1)
- 23.Scrapy使用步骤(2)
- 24.Scrapy使用步骤(3)
- 25.Scrapy使用步骤(4)
- 26.实战:获取国内城市空气质量指数数据
- 27.NumPy和SciPy介绍
- 28.多维数组
- 29.多维数组操作
- 30.NumPy的常用方法
- 31.向量化介绍
- 32.向量化及通用函数
- 33.实战:2016美国大选分析
- 34.数据结构-Series
- 35.数据结构-DataFrame
- 36.数据结构-Index
- 37.Series的索引操作
- 38.DataFrame的索引操作
- 39.索引操作总结
- 40.运算与对齐
- 41.函数应用操作(1) -- map
- 42.函数应用操作 (2) -- apply applymap
- 43.文件读写操作
- 44.排序操作
- 45.数据清洗--处理缺失数据
- 46.数据清洗--处理重复数据
- 47.数据清洗--替换数据
- 48.常用统计方法(1) -- describe quantile
- 49.常用统计方法(2) -- sum mean median count
- 50.常用统计方法(3) -- max min idxmax idxmin
- 51.常用统计方法(4) -- mad var std cumsum
- 52.实战:全球食品数据分析
- 53.层级索引
- 54.分组与聚合介绍
- 55.分组操作(1) -- GroupBy对象及常用聚合操作
- 56.分组操作(2) -- 自定义分组及聚合操作
- 57.透视表介绍
- 58.透视表操作
- 59.数据规整(1) -- 数据合并concat
- 60.数据规整(2) -- 数据连接merge
- 61.数据重构(3) -- 数据重构stack unstack
- 62.实战:互联网电影资料库分析
- 63.探索性数据分析EDA介绍
- 64.EDA的目的
- 65.EDA常用工具
- 66.Matplotlib绘图基本介绍
- 67.Matplotlib画布
- 68.散点图和柱状图的绘制
- 69.直方图的绘制
- 70.矩阵绘图
- 71.子图的使用
- 72.Matplotlib颜色、标记、线型
- 73.Matplotlib坐标刻度、标签、图例、标题
- 74.Seaborn介绍
- 75.数据集分布可视化(1) -- 单变量分布、双变量分布
- 76.数据集分布可视化(2) -- 变量关系可视化
- 77.类别数据可视化 -- 类别散布图、类别内数据分布、类别内统计图
- 78.交互式数据可视化工具Bokeh介绍
- 79.Bokeh绘制散点图、柱状图、盒子图、弦图
- 80.Bokeh绘制常用图形元素
- 81.D绘图 -- mplot3d
- 82.D曲线可视化
- 83.D散点图可视化
- 84.D柱状图可视化
- 85.Pandas绘图
- 86.实战:Lending Club借贷数据探索性分析及可视化
- 87.机器学习介绍及应用场景
- 88.机器学习建模介绍 (1) -- 分类
- 89.机器学习建模介绍 (2) -- 回归
- 90.机器学习建模介绍 (3) -- 聚类
- 91.机器学习分类
- 92.机器学习工具scikit-learn
- 93.使用scikit-learn的流程
- 94.数据集准备及划分
- 95.模型选择
- 96.数据预处理及特征工程
- 97.过拟合与欠拟合
- 98.模型调参介绍
- 99.模型调参方法
- 100.模型测试及评价
- 101.实战:通过移动设备行为数据预测性别和年龄
分组操作(1) -- GroupBy对象及常用聚合操作
约 8 分钟
📺 正在播放小象官方高清录播(支持倍速与清晰度调节)
Pandas 分组聚合实战(1):常用聚合指标、多列分组与 agg() 多重汇总精讲
小象实战讲义 · Python数据分析实战
在明确了 Split-Apply-Combine 的处理范式之后,最核心的实战环节就是执行分组聚合计算(Group Aggregation)。聚合操作能够将每个分组的多行记录折叠浓缩为单个标量指标(如各品类的总销售额、平均单价、最高最低区间)。Pandas 不仅支持 sum()、mean()、std()、count() 等一键内置聚合,更提供了极其强大的 agg()(或 aggregate()) 接口,支持对不同列分别指定不同的聚合函数,甚至一次性计算多个统计维度。本节我们将系统讲解分组聚合的高阶实战技术。
💡 核心导读
- 单列与多列聚合:
df.groupby('dept')['sales'].mean()。 - 多维度联合分组:
df.groupby(['region', 'dept'])(自动生成 MultiIndex)。 agg()高级多重聚合矩阵:- 传入函数列表:
agg(['sum', 'mean', 'std'])(一列计算多个指标); - 传入字典映射:
agg({'sales': 'sum', 'profit': 'mean'})(不同列应用不同聚合函数); - 重命名聚合列名(使用元组指定新列名)。
- 传入函数列表:
as_index=False参数:保留原始扁平列,避免分组键被设为行索引。
1. 基础分组聚合与多键联合分组
联合分组可以按多个层级进行精细化交叉统计:
┌─────────────────────────────────────────────────────────────┐
│ 多键联合分组 (地区 x 部门) │
├─────────────────┬─────────────────┬─────────────────────────┤
│ 地区 (Key 1) │ 部门 (Key 2) │ 销售总额 (sum) │
├─────────────────┼─────────────────┼─────────────────────────┤
│ 华北 │ 技术部 │ 30000 │
│ 华北 │ 财务部 │ 15000 │
│ 华东 │ 市场部 │ 44000 │
│ 华南 │ 市场部 │ 31000 │
└─────────────────┴─────────────────┴─────────────────────────┘import pandas as pd
# 创建销售交易明细表
df_tx = pd.DataFrame({
"region": ["华北", "华东", "华北", "华南", "华东", "华北"],
"category": ["数码", "日用", "日用", "数码", "数码", "日用"],
"revenue": [5000, 1200, 800, 7500, 6200, 950],
"quantity": [2, 10, 5, 3, 2, 8]
})
print("=== 1. 原始交易流水 ===")
print(df_tx)
# 1. 单键分组聚合:按商品品类统计平均营收与总销量
print("\n=== 2. 按品类单键聚合 ===")
print(df_tx.groupby("category")[["revenue", "quantity"]].sum())
# 2. 多键联合分组:按 (地区 + 品类) 交叉汇总
print("\n=== 3. 按 (地区 + 品类) 联合分组汇总 ===")
cross_summary = df_tx.groupby(["region", "category"]).sum()
print(cross_summary)2. agg() 多重聚合与列差异化统计实战
通过 agg() 传入字典,可以对 revenue 求和与均值,同时对 quantity 统计最大值和数量。
# 1. 使用列表对同一列同时计算多种统计量
multi_stats = df_tx.groupby("category")["revenue"].agg(["count", "sum", "mean", "std"])
print("=== 4. 同一列计算多重统计量 (agg) ===")
print(multi_stats.round(2))
# 2. 使用字典为不同列定制差异化聚合函数
custom_agg = df_tx.groupby("category").agg({
"revenue": ["sum", "mean"],
"quantity": ["sum", "max"]
})
print("\n=== 5. 字典定制差异化聚合 ===")
print(custom_agg)
# 3. 避免分组键变成 Index (as_index=False)
flat_summary = df_tx.groupby("category", as_index=False)["revenue"].sum()
print("\n=== 6. 保持扁平 DataFrame (as_index=False) ===")
print(flat_summary)📝 动手练一练
概念思考题:在执行 df.groupby(‘dept’).mean() 时,如果 DataFrame 中包含非数值列(如员工姓名),Pandas 会如何处理?
👉 点击查看参考答案
参考答案: 在新版 Pandas 中,对于无法计算均值的非数值列(字符串/对象),若不显式指定数值列,会抛出警告或错误。推荐的做法是显式选取数值列:
df.groupby('dept')[['salary', 'age']].mean()或传入numeric_only=True。编程练习:给定订单表,请按
'customer_id'分组,并使用agg()计算每个客户的订单总金额(sum)与总订单次数(count)。👉 点击查看参考答案
参考答案:
import pandas as pd df = pd.DataFrame({'customer_id': ['C1', 'C2', 'C1'], 'amount': [100, 200, 150]}) res = df.groupby('customer_id')['amount'].agg(['sum', 'count']) print(res)
本章小结
- 掌握了单字段与多字段联合 GroupBy 的核心语法;
- 深刻掌握了
agg()结合列表与字典实现多维度复杂报表汇总的方法; - 掌握了
as_index=False保持输出为标准扁平表格的工程习惯。
📋 行动清单
- 在本地执行示例代码,观察控制台输出并记录关键指标。
- 做好准备,进入下一小节学习《分组操作(2):自定义分组变换 transform 与过滤 filter》!
—— 小象教研组
配套学习资源与课件
- 本节课件:分组操作(1) -- GroupBy对象及常用聚合操作(PDF · 276KB)下载
- 全套课件打包(第1-5章)(ZIP · 12.8MB)下载
- 全套课件打包(第6-8章)(ZIP · 15MB)下载
- 实战数据集:AppleStore 应用商城分析(ZIP · 329KB)下载
- 实战数据集:女性服装电商分析(ZIP · 2.8MB)下载
- Python 数据分析环境搭建指南(PDF · 2MB)下载
- Scrapy 安装教程(PDF · 12.7MB)下载
- 附加实战项目:AppleStore 应用商城数据分析(ZIP · 0.3MB · ipynb + CSV 数据)下载
- 附加实战项目:银行电话营销数据分析(ZIP · 0.4MB · ipynb + CSV 数据)下载
- 附加实战项目:女性服装电商评论数据分析(ZIP · 2.7MB · ipynb + CSV 数据)下载
- 附加实战项目:美国化学学会杂志数据分析(ZIP · 34.2MB · ipynb + SQLite 数据库)下载
🎁 免费学习资源
领取《小象 11GB VIP 课件资料包与大厂真题手册》
包含全套实战 Jupyter 源码、清洗后数据集、大厂高频面试真题与专属学员答疑交流群。
- ✔完整 Python / 数据分析 Jupyter 实战源码
- ✔大厂真实业务数据集与练习题
- ✔微信扫码添加课程顾问,免费获取网盘下载链接
微信扫码添加顾问