数据清洗：填充与剔除停牌股票缺失值

数据清洗：填充与剔除停牌股票缺失值

小象量化极客小册 · 华尔街量化分析先锋系列

Pandas 是量化交易员最核心的武器。本节你将通过 Series 和 DataFrame 深度处理时间序列行情数据，掌握 loc/iloc 定位筛选、缺失值与重复值清洗、以及最大回撤与年化波动率等核心指标统计计算。

小象量化极客小册 · 华尔街量化分析先锋系列 Pandas 是量化交易员最核心的武器。本节你将通过 Series 和 DataFrame 深度处理时间序列行情数据，掌握 loc/iloc 定位筛选、缺失值与重复值清洗、以及最大回撤与年化波动率等核心指标统计计算。

💡 核心导读

本节将深入讲解使用 Pandas 处理数据中的缺失值（Missing Data）的核心技术。通过学习，您将掌握：识别缺失值的多种方法、理解 NaN 的特殊性质、运用删除/填充/插值等处理策略，以及针对时间序列数据的特殊处理方法。关键技能包括使用 isna() 检测缺失值、fillna() 智能填充，以及如何根据业务场景选择最优处理方案。

缺失值检测与识别

NaN 的本质特性

在 Pandas 中，缺失值主要由 numpy.nan 表示，其关键特性包括：

• 任何与 NaN 的运算结果都是 NaN
• 在比较操作中 NaN == NaN 返回 False
• 使用 isna() 或 isnull() 进行检测

import numpy as np
import pandas as pd

data = {'温度': [22.5, np.nan, 24.8, np.nan, 23.0],
        '湿度': [45, np.nan, np.nan, 52, 48]}
df = pd.DataFrame(data)
print("原始数据表：")
print(df)

输出结果：

原始数据表：
    温度    湿度
0  22.5  45.0
1   NaN   NaN
2  24.8   NaN
3   NaN  52.0
4  23.0  48.0

缺失值统计方法

missing_counts = df.isna().sum()
print("\n缺失值统计：")
print(missing_counts)

missing_percent = df.isna().mean() * 100
print("\n缺失值占比：")
print(missing_percent.round(2))

💡 概念小测：前向填充机制

在连续多天的股票价格时间序列中，某天股票停牌导致收盘价为 NaN。在量化回测中，为什么首选前向填充 method='ffill' 来处理此缺失值？

• 前向填充可以将缺失值替换为历史以来的最高收盘价。
• 因为在停牌期间，投资者持有的头寸资产价值依然只能按最近一个交易日（即停牌前一天）的收盘价来估算。
• 前向填充会自动预测股票复牌后的涨停价格。
• 这样可以保证停牌股票的当日收益率被计为正数。

📝 选择题

💡 概念小测：前向填充机制 在连续多天的股票价格时间序列中，某天股票停牌导致收盘价为 NaN。在量化回测中，为什么首选前向填充 method='ffill' 来处理此缺失值？

• A. 前向填充可以将缺失值替换为历史以来的最高收盘价。
• B. 因为在停牌期间，投资者持有的头寸资产价值依然只能按最近一个交易日（即停牌前一天）的收盘价来估算。
• C. 前向填充会自动预测股票复牌后的涨停价格。
• D. 这样可以保证停牌股票的当日收益率被计为正数。

答案：B（因为在停牌期间，投资者持有的头寸资产价值依然只能按最近一个交易日（即停牌前一天）的收盘价来估算。）

缺失值处理策略

方案一：直接删除

df_dropped = df.dropna()
print("\n删除缺失值后的数据：")
print(df_dropped)

df_clean_cols = df.dropna(axis=1, how='all')

方案二：智能填充

固定值填充

df_filled = df.fillna({'温度': 20, '湿度': 50})
print("\n固定值填充结果：")
print(df_filled)

统计值填充

df_mean = df.fillna(df.mean())
print("\n均值填充结果：")
print(df_mean)

df_ffill = df.fillna(method='ffill')

高级处理技巧

插值法处理

df_interp = df.interpolate()
print("\n线性插值结果：")
print(df_interp)

ts_data = pd.Series([1, np.nan, np.nan, 8, 10], 
                   index=pd.date_range('20230101', periods=5))
ts_interp = ts_data.interpolate(method='time')

复合处理策略

processing_rules = {
    '温度': lambda x: x.fillna(x.mean()),
    '湿度': lambda x: x.fillna(method='ffill').fillna(method='bfill')
}
df_custom = df.apply(lambda col: processing_rules[col.name](col) 
                    if col.name in processing_rules else col)

💡 代码填空：前向填充

补全代码，使用 fillna 方法对包含缺失股价的 DataFrame 进行前向填充（ffill）：

import pandas as pd
import numpy as np

df = pd.DataFrame({'close': [100.5, np.nan, 102.3]})
df_filled = df.fillna(method='{blank}')
print(df_filled.loc[1, 'close']) # 输出 100.5

• bfill
• ffill
• mean

✏️ 填空题

💡 代码填空：前向填充 补全代码，使用 fillna 方法对包含缺失股价的 DataFrame 进行前向填充（ffill）：

import pandas as pd
import numpy as np
df = pd.DataFrame({'close': [100.5, np.nan, 102.3]})
# 前向填充缺失价格
df_filled = df.fillna(method='___')
print(df_filled.loc[1, 'close']) # 输出 100.5

答案：ffill

本章小结

行动清单

• 使用 pd.read_csv() 加载一个真实数据集，统计各列缺失值比例并绘制缺失值热力图
• 对数据集中的数值列分别尝试均值填充、中位数填充和插值法，比较处理后的数据分布变化
• 创建一个包含时间戳的 DataFrame，练习使用 method='time' 参数进行时间感知插值

「小象量化教研组」