数据清洗：替换异常报价数据

Pandas 数据清洗进阶：检测与替换异常交易报价

小象量化极客小册 · 华尔街量化分析先锋系列

在量化金融实盘数据传输与历史数据清洗过程中，由于交易所系统异常、通信丢包或数据源厂商的缺省占位规范，经常会出现形如 -999.0、9999 或 'N/A' 等无效占位符。若直接将这些脏数据送入因子计算模型，将导致均线失真、波动率爆炸或回测偏差。本节我们将深入探讨 Pandas 提供的强大数据清洗利器——df.replace() 方法，系统学习标量替换、列表映射与字典映射的高级实战技巧。

💡 核心导读

• 异常占位符的危害与清洗逻辑：识别金融数据中的特殊占位标识（如 -999.0、9999）。
• replace() 核心语法与参数机制：to_replace 与 value 的多态输入。
• 三种常用替换模式：标量直替、多对一列表集合替换、以及键值字典精准替换。
• 值与索引的作用域边界：严格区分数据值替换与索引修改，避免误操作。

核心概念解析：数据替换与 replace() 方法

在数据清洗体系中，处理无效数据主要有三类手段：删除（dropna）、填充（fillna）与替换（replace）。其中，replace() 更加通用灵活，它既可以将特定的异常标记替换为有效中位数/默认值，也可以将业务占位符显式转换为 np.nan 以便接入标准缺失值处理管线。

import numpy as np
import pandas as pd

# 构建包含脏数据占位符的模拟股票行情表
# -999.0 代表行情缺失，9999 代表涨跌停异常占位
raw_quotes = {
    'ticker': ['600519.SH', '000858.SZ', '601318.SH', '000001.SZ', '600036.SH'],
    'bid_price': [1750.0, -999.0, 48.5, 12.3, -999.0],
    'ask_price': [1751.0, 9999.0, 48.6, 12.4, 38.2],
    'volume_status': ['NORMAL', 'ERROR', 'NORMAL', 'STOP', 'NORMAL'],
}

df_quotes = pd.DataFrame(raw_quotes)
print("=== 原始包含异常占位符的行情数据 ===")
print(df_quotes)

关键操作演练：四种主流替换形态

1. 标量替换（单值替换）

最简单直接的形式是指定单个旧值和新值。例如将所有买价中的 -999.0 替换为 np.nan：

# 将标量 -999.0 替换为 np.nan
df_clean_scalar = df_quotes.replace(-999.0, np.nan)
print("=== 标量替换 (-999.0 -> NaN) ===")
print(df_clean_scalar)

2. 多对一列表集合替换（List-to-Scalar）

当数据源中混杂了多种异常标识（例如既有 -999.0 也有 9999.0 还有 -1）时，可以传入一个列表作为 to_replace：

# 将 [-999.0, 9999.0] 统一替换为 np.nan
df_clean_list = df_quotes.replace([-999.0, 9999.0], np.nan)
print("=== 多对一列表替换 ([-999.0, 9999.0] -> NaN) ===")
print(df_clean_list)

3. 一对一列表映射替换（List-to-List）

如果需要将状态编码批量转换为标准枚举，可以传入等长的两个列表：

# 将状态码映射为标准中文说明
old_status = ['NORMAL', 'ERROR', 'STOP']
new_status = ['正常交易', '行情异常', '停牌中断']

df_status_mapped = df_quotes.replace(old_status, new_status)
print("=== 列表一对一映射替换 ===")
print(df_status_mapped)

4. 字典精准映射（Dictionary Mapping）

在复杂业务场景下，字典映射是最清晰、最不易出错的书写方式。字典支持全表映射，也支持按列分别指定映射关系：

# 全表映射字典
custom_rules = {
    -999.0: np.nan,
    9999.0: np.nan,
    'ERROR': 'DATA_CORRUPT',
}
df_dict_cleaned = df_quotes.replace(custom_rules)
print("=== 字典全局替换结果 ===")
print(df_dict_cleaned)

# 指定列定制替换：仅在 bid_price 列将 -999.0 替换为 0.0
df_col_specific = df_quotes.replace({'bid_price': {-999.0: 0.0}})
print("\n=== 指定列差异化替换结果 ===")
print(df_col_specific)

避坑指南：作用域边界——值（Values）vs 索引（Index）

在执行 df.replace() 时需要时刻铭记：replace() 仅作用于表格内部的数据值（Data Values），绝对不会修改行索引（Index）或列标签（Columns）。若需修改索引标签，应使用 df.rename() 或直接修改 df.index 属性。

互动练习

📝 选择题

现有如下量化持仓 Series：

positions = pd.Series([100, -999, 500, 0], index=[0, 1, 2, 3])
res = positions.replace([-999, 0], np.nan)

请问执行后 res 中有效非空数值的个数是：

• A. 1
• B. 2
• C. 3
• D. 4

答案：B（列表替换将 -999 和 0 均转换为了 np.nan，仅剩下 100 和 500 两个有效数值，因此有效非空数值个数为 2。）

本章小结

• 掌握 replace() 在金融异常占位符清理中的核心地位与标准写法。
• 熟练运用标量替换、列表集合替换与字典多规则映射对多列数据进行批量清洗。
• 区分数据值替换与索引修改的适用边界，确保特征清洗流水线稳定受控。

小象量化教研组