📑 查看全课大纲(第 86 / 101 节)
- 1.数据分析基本概念
- 2.学习数据分析的一般路线
- 3.数据分析的流程
- 4.数据类型
- 5.环境部署(1)
- 6.环境部署(2)
- 7.课程介绍
- 8.TXT文件操作
- 9.JSON文件操作
- 10.CSV文件操作
- 11.Excel文件操作
- 12.数据库及SQL常用语法
- 13.数据库基本操作
- 14.数据库多表连接
- 15.实战:欧洲职业足球数据库分析
- 16.爬虫简介
- 17.URL管理模块
- 18.网页下载模块
- 19.网页解析模块(1)
- 20.网页解析模块(2)
- 21.Scrapy简介
- 22.Scrapy使用步骤(1)
- 23.Scrapy使用步骤(2)
- 24.Scrapy使用步骤(3)
- 25.Scrapy使用步骤(4)
- 26.实战:获取国内城市空气质量指数数据
- 27.NumPy和SciPy介绍
- 28.多维数组
- 29.多维数组操作
- 30.NumPy的常用方法
- 31.向量化介绍
- 32.向量化及通用函数
- 33.实战:2016美国大选分析
- 34.数据结构-Series
- 35.数据结构-DataFrame
- 36.数据结构-Index
- 37.Series的索引操作
- 38.DataFrame的索引操作
- 39.索引操作总结
- 40.运算与对齐
- 41.函数应用操作(1) -- map
- 42.函数应用操作 (2) -- apply applymap
- 43.文件读写操作
- 44.排序操作
- 45.数据清洗--处理缺失数据
- 46.数据清洗--处理重复数据
- 47.数据清洗--替换数据
- 48.常用统计方法(1) -- describe quantile
- 49.常用统计方法(2) -- sum mean median count
- 50.常用统计方法(3) -- max min idxmax idxmin
- 51.常用统计方法(4) -- mad var std cumsum
- 52.实战:全球食品数据分析
- 53.层级索引
- 54.分组与聚合介绍
- 55.分组操作(1) -- GroupBy对象及常用聚合操作
- 56.分组操作(2) -- 自定义分组及聚合操作
- 57.透视表介绍
- 58.透视表操作
- 59.数据规整(1) -- 数据合并concat
- 60.数据规整(2) -- 数据连接merge
- 61.数据重构(3) -- 数据重构stack unstack
- 62.实战:互联网电影资料库分析
- 63.探索性数据分析EDA介绍
- 64.EDA的目的
- 65.EDA常用工具
- 66.Matplotlib绘图基本介绍
- 67.Matplotlib画布
- 68.散点图和柱状图的绘制
- 69.直方图的绘制
- 70.矩阵绘图
- 71.子图的使用
- 72.Matplotlib颜色、标记、线型
- 73.Matplotlib坐标刻度、标签、图例、标题
- 74.Seaborn介绍
- 75.数据集分布可视化(1) -- 单变量分布、双变量分布
- 76.数据集分布可视化(2) -- 变量关系可视化
- 77.类别数据可视化 -- 类别散布图、类别内数据分布、类别内统计图
- 78.交互式数据可视化工具Bokeh介绍
- 79.Bokeh绘制散点图、柱状图、盒子图、弦图
- 80.Bokeh绘制常用图形元素
- 81.D绘图 -- mplot3d
- 82.D曲线可视化
- 83.D散点图可视化
- 84.D柱状图可视化
- 85.Pandas绘图
- 86.实战:Lending Club借贷数据探索性分析及可视化
- 87.机器学习介绍及应用场景
- 88.机器学习建模介绍 (1) -- 分类
- 89.机器学习建模介绍 (2) -- 回归
- 90.机器学习建模介绍 (3) -- 聚类
- 91.机器学习分类
- 92.机器学习工具scikit-learn
- 93.使用scikit-learn的流程
- 94.数据集准备及划分
- 95.模型选择
- 96.数据预处理及特征工程
- 97.过拟合与欠拟合
- 98.模型调参介绍
- 99.模型调参方法
- 100.模型测试及评价
- 101.实战:通过移动设备行为数据预测性别和年龄
实战:Lending Club借贷数据探索性分析及可视化
约 13 分钟
📺 正在播放小象官方高清录播(支持倍速与清晰度调节)
第7章综合实战:Lending Club 个人信贷违约与风险特征多维可视化探索分析
小象实战讲义 · Python数据分析实战
在系统掌握了 Matplotlib 底层精细控制、Seaborn 声明式统计绘图(分布、关系、类别)、Bokeh Web 交互式大屏以及 Pandas 原生敏捷绘图之后,本节我们将迎来第 7 章的压轴综合大实战——《Lending Club 互联网个人借贷风险与违约特征多维可视化探索分析(EDA)》。我们将使用经典的 Lending Club 借贷数据集,综合运用本章所学的全套可视化与统计分析工具链,深度剖析贷款金额分布、信用评级(Grade)与借款利率的关系、不同收入阶层的违约概率,以及全特征相关性热力图,完整走通从数据清洗、多图探索到风险洞察的工业级实战全流程。
💡 核心导读
- 实战业务目标:从借贷金额、借款期限、信用等级、年收入、债务收入比(DTI)多维度剖析信贷违约特征。
- 可视化工程五大核心步骤:
- 借贷金额与年收入分布的偏态探查(
histplot+kde);
- 借贷金额与年收入分布的偏态探查(
- 信用等级(A~G)对借款利率与违约状态的箱线图对比(
boxplot);
- 信用等级(A~G)对借款利率与违约状态的箱线图对比(
- 贷款用途与还款状态的交叉结构分析(堆叠
bar/crosstab);
- 贷款用途与还款状态的交叉结构分析(堆叠
- 连续数值特征的全景相关系数热力图(
heatmap);
- 连续数值特征的全景相关系数热力图(
- 综合多图仪表盘(Dashboard)整合交付。
- 高内聚可直接执行的端到端代码实战。
1. 信贷数据集构建与单变量分布探索
为了保证代码在单机环境下 100% 零依赖复现运行,我们构建包含经典信贷特征的样本数据集:
┌─────────────────────────────────────────────────────────────┐
│ Lending Club 核心信贷特征矩阵 │
├─────────────────────────────────────────────────────────────┤
│ 1. loan_amnt : 申请借贷金额 (美元) │
│ 2. int_rate : 借款年化利率 (%) │
│ 3. grade : 信用评级 (A 级优质 ~ G 级高风险) │
│ 4. annual_inc : 借款人年收入 (美元) │
│ 5. dti : 债务收入比 (Debt-to-Income Ratio) │
│ 6. loan_status : 贷款状态 (Fully Paid 结清 / Defaulted 违约)│
└─────────────────────────────────────────────────────────────┘import matplotlib.pyplot as plt
import seaborn as sns
import pandas as pd
import numpy as np
# 解决中文显示
plt.rcParams['font.sans-serif'] = ['SimHei', 'Microsoft YaHei', 'DejaVu Sans']
plt.rcParams['axes.unicode_minus'] = False
sns.set_theme(style="whitegrid")
# 1. 模拟构建包含 300 条记录的 Lending Club 借贷样本数据集
np.random.seed(42)
n = 300
grades = np.random.choice(["A", "B", "C", "D", "E"], size=n, p=[0.25, 0.30, 0.25, 0.15, 0.05])
# 利率与评级强相关: A级约 6~9%, E级约 18~24%
base_rates = {"A": 7.5, "B": 11.0, "C": 14.5, "D": 18.0, "E": 22.0}
int_rates = np.array([base_rates[g] + np.random.normal(0, 1.2) for g in grades])
# 违约概率与评级强相关
default_probs = {"A": 0.05, "B": 0.12, "C": 0.22, "D": 0.35, "E": 0.50}
statuses = [np.random.choice(["正常结清", "违约逾期"], p=[1 - default_probs[g], default_probs[g]]) for g in grades]
df_loans = pd.DataFrame({
"loan_amnt": np.random.choice([5000, 10000, 15000, 20000, 25000, 35000], size=n),
"int_rate": int_rates,
"grade": grades,
"annual_inc": np.random.exponential(scale=35000, size=n) + 30000,
"dti": np.random.uniform(5, 35, n),
"loan_status": statuses
})
print("=== 1. Lending Club 数据集概览 ===")
print(df_loans.head(5))
print(f"\n总样本数: {len(df_loans)} | 总体违约率: {(df_loans['loan_status'] == '违约逾期').mean():.2%}")2. 多维风险探索看板与热力矩阵整合
我们构建 2 行 2 列综合看板:分析利率分布、评级与利率箱线图、违约率对比及特征相关性热力图。
# 构建 2x2 综合信贷风险多图看板
fig, axes = plt.subplots(2, 2, figsize=(12, 9))
# 1. 左上: 借贷年利率概率分布与 KDE 曲线
sns.histplot(data=df_loans, x="int_rate", kde=True, color="#2980b9", ax=axes[0, 0])
axes[0, 0].set_title("1. 借贷年化利率总体分布 (Histplot + KDE)", fontsize=12)
axes[0, 0].set_xlabel("年化利率 (%)")
# 2. 右上: 不同信用等级 (Grade) 的借款利率箱线图
grade_order = ["A", "B", "C", "D", "E"]
sns.boxplot(data=df_loans, x="grade", y="int_rate", order=grade_order, palette="Blues", ax=axes[0, 1])
axes[0, 1].set_title("2. 信用评级 vs 借款利率分布 (Boxplot)", fontsize=12)
axes[0, 1].set_xlabel("信用等级 (A 为最佳)")
axes[0, 1].set_ylabel("年化利率 (%)")
# 3. 左下: 各评级违约逾期占比堆叠柱状图
ct_status = pd.crosstab(df_loans["grade"], df_loans["loan_status"], normalize="index") * 100
ct_status.loc[grade_order].plot(kind="bar", stacked=True, color=["#2ecc71", "#e74c3c"], ax=axes[1, 0])
axes[1, 0].set_title("3. 各信用评级的违约概率占比 (%)", fontsize=12)
axes[1, 0].set_xlabel("信用等级")
axes[1, 0].set_ylabel("百分比占比 (%)")
axes[1, 0].legend(loc="upper left")
axes[1, 0].tick_params(axis='x', rotation=0)
# 4. 右下: 数值特征相关系数矩阵热力图
corr_mat = df_loans[["loan_amnt", "int_rate", "annual_inc", "dti"]].corr()
sns.heatmap(corr_mat, annot=True, cmap="coolwarm", fmt=".2f", vmin=-1, vmax=1, ax=axes[1, 1])
axes[1, 1].set_title("4. 信贷核心数值特征相关性热力图", fontsize=12)
plt.tight_layout()
plt.savefig("lending_club_dashboard.png", bbox_inches="tight")
plt.close(fig)
import os
if os.path.exists("lending_club_dashboard.png"): os.remove("lending_club_dashboard.png")
print("✅ Lending Club 信贷风险综合可视化大屏交付完毕!")📝 动手练一练
业务思考题:在信贷风险分析中,为什么通常会发现信用评级越低(如 D、E 级)的借款人群体,其平均利率显著更高、且实际违约率也显著更高(高风险对应高定价)?
👉 点击查看参考答案
参考答案: 这是借贷风控中的风险定价机制(Risk-based Pricing)。借贷机构通过上调高风险人群的借款利率,以更高的利息收益来覆盖坏账带来的本金损失期望;但过高的利率又会进一步加重借款人的还款负担,从而加剧违约概率。
综合编程练习:请编写代码使用 Pandas 统计 Lending Club 数据集中不同信用等级(
'grade')借款人的平均借款金额('loan_amnt')。👉 点击查看参考答案
参考答案:
avg_loan_by_grade = df_loans.groupby('grade')['loan_amnt'].mean() print("各信用等级平均借款额:") print(avg_loan_by_grade.round(1))
本章小结
- 综合贯通了 Matplotlib、Seaborn 与 Pandas 内置绘图在互联网信贷真实场景下的深度应用;
- 熟练掌握了分布形态、多分类对比、交叉结构比例与相关性热力图的综合看板设计;
- 具备了独立主导业务探索性数据分析(EDA)并输出高水准专业数据大屏的实战能力。
📋 行动清单
- 在本地执行示例代码,观察控制台输出并记录关键指标。
- 复习第 7 章全部 24 节内容,准备进入第 8 章《机器学习入门》,开启智能算法建模新篇章!
—— 小象教研组
配套学习资源与课件
- 全套课件打包(第1-5章)(ZIP · 12.8MB)下载
- 全套课件打包(第6-8章)(ZIP · 15MB)下载
- 实战数据集:AppleStore 应用商城分析(ZIP · 329KB)下载
- 实战数据集:女性服装电商分析(ZIP · 2.8MB)下载
- Python 数据分析环境搭建指南(PDF · 2MB)下载
- Scrapy 安装教程(PDF · 12.7MB)下载
- 附加实战项目:AppleStore 应用商城数据分析(ZIP · 0.3MB · ipynb + CSV 数据)下载
- 附加实战项目:银行电话营销数据分析(ZIP · 0.4MB · ipynb + CSV 数据)下载
- 附加实战项目:女性服装电商评论数据分析(ZIP · 2.7MB · ipynb + CSV 数据)下载
- 附加实战项目:美国化学学会杂志数据分析(ZIP · 34.2MB · ipynb + SQLite 数据库)下载
🎁 免费学习资源
领取《小象 11GB VIP 课件资料包与大厂真题手册》
包含全套实战 Jupyter 源码、清洗后数据集、大厂高频面试真题与专属学员答疑交流群。
- ✔完整 Python / 数据分析 Jupyter 实战源码
- ✔大厂真实业务数据集与练习题
- ✔微信扫码添加课程顾问,免费获取网盘下载链接
微信扫码添加顾问