📑 查看全课大纲(第 30 / 101 节)
- 1.数据分析基本概念
- 2.学习数据分析的一般路线
- 3.数据分析的流程
- 4.数据类型
- 5.环境部署(1)
- 6.环境部署(2)
- 7.课程介绍
- 8.TXT文件操作
- 9.JSON文件操作
- 10.CSV文件操作
- 11.Excel文件操作
- 12.数据库及SQL常用语法
- 13.数据库基本操作
- 14.数据库多表连接
- 15.实战:欧洲职业足球数据库分析
- 16.爬虫简介
- 17.URL管理模块
- 18.网页下载模块
- 19.网页解析模块(1)
- 20.网页解析模块(2)
- 21.Scrapy简介
- 22.Scrapy使用步骤(1)
- 23.Scrapy使用步骤(2)
- 24.Scrapy使用步骤(3)
- 25.Scrapy使用步骤(4)
- 26.实战:获取国内城市空气质量指数数据
- 27.NumPy和SciPy介绍
- 28.多维数组
- 29.多维数组操作
- 30.NumPy的常用方法
- 31.向量化介绍
- 32.向量化及通用函数
- 33.实战:2016美国大选分析
- 34.数据结构-Series
- 35.数据结构-DataFrame
- 36.数据结构-Index
- 37.Series的索引操作
- 38.DataFrame的索引操作
- 39.索引操作总结
- 40.运算与对齐
- 41.函数应用操作(1) -- map
- 42.函数应用操作 (2) -- apply applymap
- 43.文件读写操作
- 44.排序操作
- 45.数据清洗--处理缺失数据
- 46.数据清洗--处理重复数据
- 47.数据清洗--替换数据
- 48.常用统计方法(1) -- describe quantile
- 49.常用统计方法(2) -- sum mean median count
- 50.常用统计方法(3) -- max min idxmax idxmin
- 51.常用统计方法(4) -- mad var std cumsum
- 52.实战:全球食品数据分析
- 53.层级索引
- 54.分组与聚合介绍
- 55.分组操作(1) -- GroupBy对象及常用聚合操作
- 56.分组操作(2) -- 自定义分组及聚合操作
- 57.透视表介绍
- 58.透视表操作
- 59.数据规整(1) -- 数据合并concat
- 60.数据规整(2) -- 数据连接merge
- 61.数据重构(3) -- 数据重构stack unstack
- 62.实战:互联网电影资料库分析
- 63.探索性数据分析EDA介绍
- 64.EDA的目的
- 65.EDA常用工具
- 66.Matplotlib绘图基本介绍
- 67.Matplotlib画布
- 68.散点图和柱状图的绘制
- 69.直方图的绘制
- 70.矩阵绘图
- 71.子图的使用
- 72.Matplotlib颜色、标记、线型
- 73.Matplotlib坐标刻度、标签、图例、标题
- 74.Seaborn介绍
- 75.数据集分布可视化(1) -- 单变量分布、双变量分布
- 76.数据集分布可视化(2) -- 变量关系可视化
- 77.类别数据可视化 -- 类别散布图、类别内数据分布、类别内统计图
- 78.交互式数据可视化工具Bokeh介绍
- 79.Bokeh绘制散点图、柱状图、盒子图、弦图
- 80.Bokeh绘制常用图形元素
- 81.D绘图 -- mplot3d
- 82.D曲线可视化
- 83.D散点图可视化
- 84.D柱状图可视化
- 85.Pandas绘图
- 86.实战:Lending Club借贷数据探索性分析及可视化
- 87.机器学习介绍及应用场景
- 88.机器学习建模介绍 (1) -- 分类
- 89.机器学习建模介绍 (2) -- 回归
- 90.机器学习建模介绍 (3) -- 聚类
- 91.机器学习分类
- 92.机器学习工具scikit-learn
- 93.使用scikit-learn的流程
- 94.数据集准备及划分
- 95.模型选择
- 96.数据预处理及特征工程
- 97.过拟合与欠拟合
- 98.模型调参介绍
- 99.模型调参方法
- 100.模型测试及评价
- 101.实战:通过移动设备行为数据预测性别和年龄
NumPy的常用方法
约 8 分钟
📺 正在播放小象官方高清录播(支持倍速与清晰度调节)
统计分析与聚合计算:NumPy 常用方法与 axis 轴向计算精讲
小象实战讲义 · Python数据分析实战
在探索性数据分析(EDA)与业务指标建模中,快速计算数据集的集中趋势(均值、中位数)、离散程度(标准差、方差)、极值分布(最大/最小值及其坐标索引)以及累积统计量是最高频的刚需。NumPy 内置了一整套经过底层 C 语言高度优化的聚合统计函数库(Aggregation Routines)。更关键的是,通过引入 axis(轴向)参数,开发者可以极其灵活地控制是进行全局汇总、按行统计还是按列聚合。本节我们将系统讲解 NumPy 的常用统计函数、布尔判断与去重排序方法。
💡 核心导读
- 核心聚合统计函数族速查:
- 基础汇总:
np.sum()、np.mean()、np.max()、np.min(); - 离散分析:
np.std()(标准差)、np.var()(方差); - 极值定位:
np.argmax()、np.argmin()(返回最大/最小值的索引位置); - 累加累乘:
np.cumsum()(前缀和)、np.cumprod()(前缀积)。
- 基础汇总:
axis轴向计算的几何精髓:- 默认无参数:全矩阵扁平化全局统计;
axis=0:沿第 0 轴(纵向跨行折叠,计算每一列的统计值);axis=1:沿第 1 轴(横向跨列折叠,计算每一行的统计值)。
- 逻辑判断与集合去重工具:
np.all()(全真判断)与np.any()(存在真判断);np.unique():唯一值去重与词频统计(return_counts=True)。
1. 聚合函数与 axis 轴向折叠几何模型
理解 axis 参数是掌握 NumPy 多维计算的关键钥匙。在二维矩阵中,axis 可以直观理解为“沿着哪个方向被压缩压扁”:
┌─────────────────────────────────────────────────────────────┐
│ 二维矩阵 axis 轴向折叠模型 │
├─────────────────────────────────────────────────────────────┤
│ axis=0 (纵向压缩,按列求统计值) │
│ │ │ │ │
│ ▼ ▼ ▼ │
│ Col 0 Col 1 Col 2 │
│ Row 0 : [ 10, 20, 30 ] ──► axis=1 │
│ Row 1 : [ 40, 50, 60 ] ──► (横向压缩│
│ 按行统计)
│ axis=0 结果: [ (10+40), (20+50), (30+60) ] │
│ = [50, 70, 90] │
└─────────────────────────────────────────────────────────────┘axis=0:沿着行变化的方向(从上到下)进行计算,输出形状为(列数,);axis=1:沿着列变化的方向(从左到右)进行计算,输出形状为(行数,)。
2. Python 代码实战:常用统计函数与轴向聚合
# 示例 1:核心聚合统计函数与多轴向计算实战
import numpy as np
# 创建 3 个班级、4 门功课的成绩矩阵 (3行4列)
scores = np.array([
[85, 92, 78, 90],
[76, 88, 95, 82],
[90, 85, 88, 94]
], dtype=np.float64)
print("=== 1. 原始成绩矩阵 (3 班级 x 4 门课) ===")
print(scores)
# 1. 全局统计 (所有维度汇总)
print("\n=== 2. 全局聚合指标 ===")
print("• 全年级总分 (sum):", np.sum(scores))
print("• 全年级平均分 (mean):", np.round(np.mean(scores), 2))
print("• 全年级最高分 (max):", np.max(scores), "| 最低分 (min):", np.min(scores))
print("• 成绩标准差 (std):", np.round(np.std(scores), 2))
# 2. 沿 axis=0 计算 (按科目列统计: 跨越各班级)
subject_means = np.mean(scores, axis=0)
print("\n=== 3. 按科目统计 (axis=0, 跨行按列求均值) ===")
print("• 4 门课程的平均分:", np.round(subject_means, 1))
# 3. 沿 axis=1 计算 (按班级行统计: 跨越各科目)
class_sums = np.sum(scores, axis=1)
class_means = np.mean(scores, axis=1)
print("\n=== 4. 按班级统计 (axis=1, 跨列按行求和/均值) ===")
print("• 各班级总分:", class_sums)
print("• 各班级平均分:", np.round(class_means, 1))
# 4. 极值索引定位 (argmax / argmin)
print("\n• 全局最高分的位置 (展平索引):", np.argmax(scores))
print("• 各班级最高分所在的科目编号 (axis=1):", np.argmax(scores, axis=1))接下来,我们演示累加(cumsum)、布尔全量/存在断言与唯一值去重计数:
# 示例 2:累积统计、布尔断言与 np.unique 频次统计
# 1. 累加计算 (cumsum)
monthly_sales = np.array([120, 150, 180, 210, 260])
cum_sales = np.cumsum(monthly_sales)
print("\n=== 5. 累加前缀和 (cumsum) ===")
print("月度销售额:", monthly_sales)
print("年度累积销售额 (至当月):", cum_sales)
# 2. 布尔断言:all vs any
data_samples = np.array([12, 18, 25, 30, 42])
print("\n=== 6. 布尔断言判断 ===")
print("• 是否所有元素都大于 10 (np.all):", np.all(data_samples > 10))
print("• 是否所有元素都大于 20 (np.all):", np.all(data_samples > 20))
print("• 是否存在至少一个元素大于 40 (np.any):", np.any(data_samples > 40))
# 3. 唯一值与词频统计 (unique)
category_data = np.array(["北京", "上海", "北京", "广州", "北京", "上海", "深圳"])
unique_cities, city_counts = np.unique(category_data, return_counts=True)
print("\n=== 7. 唯一值去重与频次统计 (unique) ===")
print("去重后有序城市清单:", unique_cities)
for city, cnt in zip(unique_cities, city_counts):
print(f" • {city}: 出现 {cnt} 次")📝 动手练一练
机制思考题:在对形状为
(5, 6, 7)的三维数组执行np.mean(arr, axis=1)时,输出结果的形状会是什么?为什么?👉 点击查看参考答案
参考答案: 输出形状为
(5, 7)。因为指定axis=1意味着将中间轴(长度为 6 的维度)沿该轴向进行计算并折叠消除,剩下的第 0 轴(5)与第 2 轴(7)保持原样保留下来。编程练习:给定一个一维数组
arr = np.array([10, 50, 20, 90, 30]),请使用np.argmax()找出最大值所在的下标,并通过该下标打印出最大值。👉 点击查看参考答案
参考答案:
import numpy as np arr = np.array([10, 50, 20, 90, 30]) max_idx = np.argmax(arr) print(f"最大值位于索引 [{max_idx}],对应数值为: {arr[max_idx]}")
本章小结
在本节中,我们全面掌握了 NumPy 高性能统计分析的核心方法:
- 熟练掌握了
mean、sum、std、max、min、argmax等核心统计指标函数; - 深刻理解了
axis=0(按列折叠)与axis=1(按行折叠)的几何运算本质; - 掌握了
all、any条件真值校验与np.unique快速去重计数的实战技巧。
📋 行动清单
- 理解二维矩阵中 axis=0 与 axis=1 的计算方向。
- 做好准备,进入下一小节学习《向量化计算与广播机制(Broadcasting)》!
—— 小象教研组
配套学习资源与课件
- 本节课件:NumPy的常用方法(PDF · 186KB)下载
- 全套课件打包(第1-5章)(ZIP · 12.8MB)下载
- 全套课件打包(第6-8章)(ZIP · 15MB)下载
- 实战数据集:AppleStore 应用商城分析(ZIP · 329KB)下载
- 实战数据集:女性服装电商分析(ZIP · 2.8MB)下载
- Python 数据分析环境搭建指南(PDF · 2MB)下载
- Scrapy 安装教程(PDF · 12.7MB)下载
- 附加实战项目:AppleStore 应用商城数据分析(ZIP · 0.3MB · ipynb + CSV 数据)下载
- 附加实战项目:银行电话营销数据分析(ZIP · 0.4MB · ipynb + CSV 数据)下载
- 附加实战项目:女性服装电商评论数据分析(ZIP · 2.7MB · ipynb + CSV 数据)下载
- 附加实战项目:美国化学学会杂志数据分析(ZIP · 34.2MB · ipynb + SQLite 数据库)下载
🎁 免费学习资源
领取《小象 11GB VIP 课件资料包与大厂真题手册》
包含全套实战 Jupyter 源码、清洗后数据集、大厂高频面试真题与专属学员答疑交流群。
- ✔完整 Python / 数据分析 Jupyter 实战源码
- ✔大厂真实业务数据集与练习题
- ✔微信扫码添加课程顾问,免费获取网盘下载链接
微信扫码添加顾问