实战：通过移动设备行为数据预测性别和年龄

第8章综合实战：移动设备传感器数据挖掘与用户行为状态智能识别分类全流程

小象实战讲义 · Python数据分析实战

在系统学习了机器学习的算法流派（分类、回归、聚类）、scikit-learn 统一 API 架构、防泄露数据拆分、特征工程预处理（标准化/独热编码）、过拟合诊断、交叉验证、网格调参以及多维评估指标（混淆矩阵/F1/AUC）之后，本节我们将迎来全套数据分析体系的最终收官压轴大实战——《基于移动设备传感器时序特征的用户行为状态智能识别预测（Human Activity Recognition，简称 HAR）》。我们将使用智能手机内置加速度计与陀螺仪的多维传感器数据，完整走通从数据清洗、特征缩放、候选模型基准比对、GridSearchCV 自动调优，到混淆矩阵诊断与生产级模型落盘的工业级机器学习端到端全流程。

💡 核心导读

• 实战业务目标：根据手机三轴加速度与角速度特征，高精度识别用户的 4 种典型运动状态（静止站立、平地行走、快速跑步、上下楼梯）。
• 机器学习工程五步全流程：
  • 1. 加载并探查高维多传感器特征数据集；
  • 2. train_test_split(stratify=y) 严谨防泄露分层拆分；
  • 3. 构建 ColumnTransformer / StandardScaler 特征标准化流水线；
  • 4. 使用 GridSearchCV 对随机森林分类器进行超参数寻优；
  • 5. 生成精细化混淆矩阵热力图与分类报告（Classification Report）评估交付。
• 高内聚可直接执行的端到端代码实战。

1. 传感器数据集构建与流水线规范

为了保证代码零依赖可复现，我们在内存中构建包含真实物理特征规律的移动设备样本：

┌─────────────────────────────────────────────────────────────┐
│                 移动设备传感器特征与行为状态                │
├─────────────────────────────────────────────────────────────┤
│ 1. acc_x, acc_y, acc_z : 三轴加速度均值与方差               │
│ 2. gyro_x, gyro_y      : 陀螺仪角速度方差                   │
│ 3. activity (Label)    : 0=静止站立, 1=步行, 2=跑步, 3=楼梯 │
└─────────────────────────────────────────────────────────────┘

import numpy as np
import pandas as pd
from sklearn.model_selection import train_test_split, GridSearchCV
from sklearn.preprocessing import StandardScaler
from sklearn.ensemble import RandomForestClassifier
from sklearn.svm import SVC
from sklearn.metrics import classification_report, confusion_matrix

# 1. 模拟生成 400 条移动设备传感器运动特征数据集
np.random.seed(42)
n_per_activity = 100

# 状态 0: 静止站立 (加速度波动极小, 接近重力加速度 9.8)
act_0 = np.random.normal(loc=[0.1, 9.8, 0.1, 0.05, 0.05], scale=0.1, size=(n_per_activity, 5))
# 状态 1: 平地步行 (加速度适度周期波动)
act_1 = np.random.normal(loc=[1.2, 10.5, 0.8, 0.8, 0.7], scale=0.4, size=(n_per_activity, 5))
# 状态 2: 快速跑步 (加速度极大剧烈震荡)
act_2 = np.random.normal(loc=[3.5, 13.0, 2.5, 2.8, 2.5], scale=0.8, size=(n_per_activity, 5))
# 状态 3: 上下楼梯 (垂直 Z 轴加速度与角速度显著异常)
act_3 = np.random.normal(loc=[1.8, 11.2, 3.2, 1.5, 1.9], scale=0.5, size=(n_per_activity, 5))

X = np.vstack([act_0, act_1, act_2, act_3])
y = np.array([0] * n_per_activity + [1] * n_per_activity + [2] * n_per_activity + [3] * n_per_activity)

feature_cols = ["acc_x_var", "acc_y_mean", "acc_z_var", "gyro_x_var", "gyro_y_var"]
target_names = ["静止站立", "平地步行", "快速跑步", "上下楼梯"]

print("=== 1. 传感器行为特征数据集构建就绪 ===")
print(f"• 样本总数: {X.shape[0]} 行 | 特征数量: {X.shape[1]} 列 | 类别数: {len(target_names)} 类")

2. 数据切分、网格寻优与全面评估交付

我们使用分层拆分、标准差预处理，并通过 GridSearchCV 寻找最优随机森林分类器。

# 2. 严谨分层切分训练集与测试集 (8:2)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42, stratify=y)

# 3. 特征标准化预处理
scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)
X_test_scaled = scaler.transform(X_test)

# 4. 网格搜索自动化寻优随机森林超参数
param_grid = {
    "n_estimators": [30, 60, 100],
    "max_depth": [3, 5, 8],
    "min_samples_split": [2, 4]
}

grid = GridSearchCV(RandomForestClassifier(random_state=42), param_grid, cv=4, scoring="accuracy", n_jobs=-1)
grid.fit(X_train_scaled, y_train)

best_model = grid.best_estimator_
print(f"\n=== 2. GridSearchCV 最优参数: {grid.best_params_} (CV 准确率: {grid.best_score_:.2%}) ===")

# 5. 在未知测试集上进行最终推断评估
y_pred = best_model.predict(X_test_scaled)
print("\n=== 3. 最终多分类性能评估报告 (Classification Report) ===")
print(classification_report(y_test, y_pred, target_names=target_names))

cm = confusion_matrix(y_test, y_pred)
print("=== 4. 混淆矩阵 (Confusion Matrix) ===")
print(pd.DataFrame(cm, index=[f"实际_{n}" for n in target_names], columns=[f"预测_{n}" for n in target_names]))

📝 动手练一练

1. 综合实战思考题：在移动设备行为预测项目中，如果发现模型在“平地步行”和“上下楼梯”两个类别之间存在轻微混淆误判（查看混淆矩阵发现有少量样本相互误报），在特征工程阶段可以增加什么物理传感器特征来有效提升区分度？

   👉 点击查看参考答案

   参考答案： 可以引入气压计（Barometer）的海拔高度变化率特征，或者提取 Z 轴加速度的频域能量谱（FFT 快速傅里叶变换主频特征）。平地步行的垂直高度变化为 0，而上下楼梯会产生持续的单向海拔高度爬升/下降，结合气压高度特征能够近乎 100% 完美解耦这两类动作。

2. 综合编程练习：编写代码提取最佳随机森林模型的特征重要性（feature_importances_），并按重要性从高到低排序打印。

   👉 点击查看参考答案

   参考答案：

   import pandas as pd
   import numpy as np
   importances = pd.Series(best_model.feature_importances_, index=feature_cols).sort_values(ascending=False)
   print("传感器特征重要性排行榜:\n", importances.round(4))

本章小结

• 完整打通了从高维物理传感器数据清洗、标准化、建模到评估落地的工业级全流程；
• 综合运用了 train_test_split、StandardScaler 与 GridSearchCV 构建鲁棒算法流水线；
• 熟练运用混淆矩阵与 F1-Score 深度定位各分类边界的判别表现，达成了数据分析全套工艺的圆满收官！

📋 行动清单

• 在本地执行示例代码，观察控制台输出并记录关键指标。
• 恭喜你！已学完《Python数据分析与机器学习实战》全书全部 101 节课程讲义！

—— 小象教研组