数据类型

数据分析中的核心数据类型与特征处理

小象实战讲义 · Python数据分析实战

在日常编程中，我们熟悉 Python 的 int、float、str 和 bool 等基础数据类型。然而在统计学与数据分析的语境中，数据的分类方式完全不同。数据的统计类型直接决定了你可以对其使用哪些数学运算、绘制何种可视化图表以及选择什么分析模型。本节将系统拆解数据分析中的四大核心数据形态——数值型、有序型、类别型与噪声数据，并带你掌握每种类型对应的分析与处理方法。

💡 核心导读

• 统计学数据四分法：掌握数值型（连续/离散）、有序型、类别型与脏数据的本质区别。
• 各类数据专属分析方法：明确均值、分位数、频数分布与交叉表在不同数据类型上的适用边界。
• 噪声数据的识别与应对：掌握缺失值、重复行与异常极值的标准清洗策略。
• Python 类型转换与统计实战：通过 Python 代码实现混合特征数据集的清洗、编码与探索性统计。

1. 数据分析中的四大核心数据形态

┌─────────────────────────────────────────────────────────────┐
│                    数据分析核心数据形态分类                  │
├─────────────────┬─────────────────┬─────────────────────────┤
│  1. 数值型数据  │  2. 有序型数据  │      3. 类别型数据      │
│ (高度/价格/评分)│ (等级/满意度/AQI)│ (城市/支付渠道/手机品牌) │
│  加减乘除/均值  │  比大小/排序编码│    计数/频率/频数分布    │
├─────────────────┴─────────────────┴─────────────────────────┤
│            4. 噪声与脏数据 (缺失值 / 重复值 / 异常值)          │
└─────────────────────────────────────────────────────────────┘

1.1 数值型数据（Numerical Data）

数值型数据是具备明确度量含义的连续或离散数字，可以直接进行加减乘除等数学运算。

• 典型示例：商品销售额、房屋面积、用户年龄、物流配送耗时、考试分数。
• 核心分析指标：
  • 位置统计量：均值（Mean）、中位数（Median）、众数（Mode）；
  • 离散程度：极值（Min/Max）、极差（Range）、方差（Variance）、标准差（Standard Deviation）、四分位点（25%, 50%, 75%）；
  • 变量关系：皮尔逊相关系数（Pearson Correlation）、散点图分布。

1.2 有序型数据（Ordinal Data）

有序型数据属于非数值分类，但不同类别之间存在明确的高低、先后或等级顺序，只是类别之间的间距无法进行精确的算术度量。

• 典型示例：
  • 会员等级：大众会员 < 黄金会员 < 铂金会员 < 钻石会员；
  • 问卷评价：非常不满意 < 不满意 < 一般 < 满意 < 非常满意；
  • 空气质量等级：优 < 良 < 轻度污染 < 中度污染 < 重度污染 < 严重污染。
• 处理策略：通常通过映射字典将其转换为有序数值编码（如 1, 2, 3, 4, 5），便于排序与分级分析。

1.3 类别型 / 名义型数据（Nominal / Categorical Data）

类别型数据代表不同的属性或分类，各个类别之间没有内在的高低或先后顺序，属于平等的名义标签。

• 典型示例：用户性别（男、女）、支付方式（微信支付、支付宝、银行卡）、手机品牌（Apple、华为、小米、OPPO）、所在省份。
• 核心分析指标：
  • 计算各分类的出现频数（Count）与百分比占比（Percentage）；
  • 绘制条形图（Bar Chart）、饼图（Pie Chart）展示类别构成；
  • 在后续机器学习中，通常使用独热编码（One-Hot Encoding）将其展开为稀疏特征矩阵。

1.4 噪声数据与脏数据（Noise & Dirty Data）

在真实世界中，数据几乎从来都不是纯净的。噪声数据主要包括：

• 缺失值（Missing Values）：用户未填写的年龄、传感器掉线导致的空值；
• 重复数据（Duplicate Records）：网络重试或系统错误导致的重复上传记录；
• 异常值 / 离群点（Outliers）：由于输入失误导致的异常数据（如年龄填成 250 岁，价格为负数）。

2. Python 代码实战：混合特征数据集的清洗与分析

下面我们通过 Python 编写一个完整的数据清洗与特征统计脚本，模拟对一组包含数值、有序、类别与脏数据的混合用户画像记录进行处理。

# 示例：四类数据的识别、清洗与探索性统计

# 1. 模拟原始用户调研数据集（包含缺失与异常脏数据）
raw_users = [
    {"user_id": 101, "age": 28, "level": "黄金", "device": "Apple", "score": 92.5},
    {"user_id": 102, "age": 35, "level": "铂金", "device": "华为", "score": 88.0},
    {"user_id": 103, "age": None, "level": "大众", "device": "小米", "score": 75.0}, # 缺失年龄
    {"user_id": 104, "age": 42, "level": "钻石", "device": "Apple", "score": 98.0},
    {"user_id": 101, "age": 28, "level": "黄金", "device": "Apple", "score": 92.5}, # 重复记录
    {"user_id": 105, "age": 250, "level": "大众", "device": "OPPO", "score": 60.0},  # 异常年龄
    {"user_id": 106, "age": 31, "level": "黄金", "device": "华为", "score": 85.5}
]

# 2. 噪声数据清洗：去重 + 过滤异常与缺失值
clean_users = []
seen_ids = set()

for u in raw_users:
    uid = u["user_id"]
    # 去除重复 ID
    if uid in seen_ids:
        continue
    # 过滤缺失年龄与不合常理的异常年龄（有效范围 1~120）
    if u["age"] is None or not (1 <= u["age"] <= 120):
        continue
    
    seen_ids.add(uid)
    clean_users.append(u)

print(f"=== 噪声清洗完毕：原始 {len(raw_users)} 条 ➔ 清洗后 {len(clean_users)} 条有效用户 ===")

接下来，我们对清洗后的有效数据分别执行数值分析、有序编码与类别统计：

# 3. 统计数值型特征（age, score）
ages = [u["age"] for u in clean_users]
scores = [u["score"] for u in clean_users]

avg_age = sum(ages) / len(ages)
avg_score = sum(scores) / len(scores)
print(f"\n[数值型特征统计]")
print(f"平均年龄: {avg_age:.1f} 岁 | 年龄范围: [{min(ages)}, {max(ages)}]")
print(f"平均满意度得分: {avg_score:.2f} 分 | 最高评分: {max(scores)}")

# 4. 转换有序型特征（level -> 数值等级映射）
level_rank_map = {"大众": 1, "黄金": 2, "铂金": 3, "钻石": 4}
for u in clean_users:
    u["level_code"] = level_rank_map.get(u["level"], 0)

print(f"\n[有序型特征编码示例]")
for u in clean_users[:3]:
    print(f"用户 {u['user_id']}: 等级【{u['level']}】 ➔ 映射编码: {u['level_code']}")

# 5. 统计类别型特征（device 占比）
device_counts = {}
for u in clean_users:
    dev = u["device"]
    device_counts[dev] = device_counts.get(dev, 0) + 1

print(f"\n[类别型特征分布]")
for dev, count in sorted(device_counts.items(), key=lambda x: x[1], reverse=True):
    print(f"设备品牌【{dev}】: {count} 人 (占比: {count / len(clean_users) * 100:.1f}%)")

📝 动手练一练

1. 分类题：判断以下数据字段分别属于哪种数据类型（数值型、有序型、类别型）：

   • ① 某在线电商平台的商品 SKU 编号（如 "SKU_889201"）；
   • ② 顾客对物流速度的评价（星级：1星、2星、3星、4星、5星）；
   • ③ 物流配送实际花费的分钟数（如 28.5 分钟）；
   • ④ 顾客收货地址所在的省份（如 "广东省"、"四川省"）。
   👉 点击查看参考答案

   参考答案：

   • ① SKU 编号：类别型（虽然由数字组成，但无法进行加减，纯属标识符号）；
   • ② 物流星级评价：有序型（星级越高体验越好，具备先后次序）；
   • ③ 配送实际耗时：数值型（连续变量，可计算均值与标准差）；
   • ④ 收货省份：类别型（无先后高低次序的名义分类）。

2. 编程练习：假设你收集到了一组用户满意的评价列表：ratings = ["满意", "一般", "非常满意", "满意", "不满意", "满意", "非常满意"]。请编写 Python 代码，定义有序映射字典，将该列表转换为对应的数字列表，并计算平均满意度分值。

   👉 点击查看参考答案

   参考答案：

   ratings = ["满意", "一般", "非常满意", "满意", "不满意", "满意", "非常满意"]
   rating_map = {"非常不满意": 1, "不满意": 2, "一般": 3, "满意": 4, "非常满意": 5}
   
   num_ratings = [rating_map[r] for r in ratings]
   avg_rating = sum(num_ratings) / len(num_ratings)
   
   print(f"数字等级列表: {num_ratings}")
   print(f"平均满意度得分: {avg_rating:.2f} 分 (满分 5 分)")

本章小结

在本节中，我们建立了数据分析中至关重要的特征分类思维：

• 数值型数据能够进行加减乘除与深度统计量计算；
• 有序型数据具备高低次序，适合映射为等差数值进行排序分级；
• 类别型数据关注各分类的频数统计与占比结构；
• 噪声与脏数据必须在项目初期通过去重、异常检测与插补清洗彻底消除。

📋 行动清单

• 面对身边的业务数据报表，尝试在草稿纸上标出每个字段的统计数据类型（数值/有序/类别）。
• 掌握 Python 中字典映射（Mapping）与集合去重（Set）的高频清洗操作。

—— 小象教研组