Pandas数据清洗实战：用ffill搞定时间序列缺失值（附真实案例）

金融数据盘中突然断流，物联网传感器每隔几秒就丢失几个读数——时间序列数据中的缺失值就像沙滩上的脚印，潮水一来就消失无踪。但别急着删除这些"残缺"的数据点，前向填充（ffill）能帮你还原数据流的完整面貌。

1. 时间序列缺失值的特殊挑战

上周处理一批工厂传感器数据时，我发现凌晨3点的温度读数突然消失了。如果直接删除这条记录，设备异常分析就会产生偏差；用均值填充？那会完全扭曲温度变化的自然曲线。这时候，df.ffill()的一行代码就能让数据恢复连贯性。

时间序列的缺失值处理之所以特殊，是因为：

• 顺序依赖性：每个数据点都承载着时间维度上的前后关联
• 业务敏感性：金融、物联网等领域对时间连续性有严苛要求
• 模式识别需求：机器学习模型需要完整的时间轨迹来捕捉周期规律

import pandas as pd
import numpy as np

# 模拟传感器数据（每分钟一个读数）
timestamps = pd.date_range('2023-06-01', periods=1440, freq='T')
values = np.sin(np.linspace(0, 4*np.pi, 1440)) + np.random.normal(0, 0.1, 1440)

# 人为制造缺失值（模拟传输丢失）
mask = np.random.choice([True, False], size=1440, p=[0.95, 0.05])
values[~mask] = np.nan

df = pd.DataFrame({'value': values}, index=timestamps)
print(f"原始数据缺失率：{df['value'].isna().mean():.1%}")

2. ffill的核心机制与参数精解

前向填充的原理简单却强大——就像用最近的已知值作为"临时替补"。但Pandas 2.2.0新增的limit_area参数让它进化出了外科手术般的精确控制能力。

2.1 基础用法对比

方法	代码示例	适用场景	缺点
简单ffill	df.ffill()	连续小段缺失	可能过度填充
限制填充次数	df.ffill(limit=3)	控制填充范围	需预设阈值
区域限制填充	df.ffill(limit_area='inside')	精确控制填充区域	需Pandas≥2.2.0

# 创建有边界缺失的测试数据
test_data = pd.Series([np.nan, 1, 2, np.nan, np.nan, 5, np.nan, np.nan])
print("原始序列:\n", test_data.values)

# 传统ffill会填充所有NaN
print("\n传统ffill结果:\n", test_data.ffill().values)

# 仅填充被有效值包围的NaN（插值场景）
print("\nlimit_area='inside'结果:\n", 
      test_data.ffill(limit_area='inside').values)

# 仅填充首尾的NaN（外推场景）
print("\nlimit_area='outside'结果:\n",
      test_data.ffill(limit_area='outside').values)

2.2 与resample的黄金组合

处理不规则时间序列时，先用resample统一时间频率，再用ffill填充，是行业内的经典组合拳：

# 模拟不规则的股票tick数据
irregular_times = pd.to_datetime([
    '2023-06-01 09:30:00',
    '2023-06-01 09:30:02',
    '2023-06-01 09:30:05',  # 缺失09:30:03和09:30:04
    '2023-06-01 09:30:06'
])
ticks = pd.DataFrame({
    'price': [100.2, 100.3, 100.1, 100.0],
    'volume': [200, 150, 300, 250]
}, index=irregular_times)

# 按秒重采样并前向填充
regular_ticks = ticks.resample('1S').ffill()
print(regular_ticks.head(10))

提示：金融数据填充时，通常对价格用ffill，但对成交量应该填充0而非前值，这需要分别处理不同列。

3. 实战：物联网传感器数据修复

去年为某智能农业项目处理温湿度数据时，我们遇到了传感器周期性离线的问题。以下是完整的处理流程：

3.1 数据诊断

首先用缺失模式分析找出问题：

# 计算每小时的缺失率
missing_pattern = df['value'].isna().resample('1H').mean()

# 可视化缺失模式
import matplotlib.pyplot as plt
plt.figure(figsize=(12, 4))
missing_pattern.plot(kind='bar')
plt.title('每小时缺失值比例')
plt.ylabel('缺失率')
plt.axhline(0.1, color='red', linestyle='--')
plt.show()

3.2 分阶段填充策略

根据缺失持续时间采用不同策略：

1. 短时缺失（<5分钟）：直接ffill
2. 中等缺失（5-30分钟）：ffill+平滑处理
3. 长时缺失（>30分钟）：标记为特殊事件

# 标记连续缺失段
df['missing_group'] = df['value'].isna().astype(int).diff().abs().cumsum()

# 计算每段缺失长度
missing_lengths = df.groupby('missing_group')['value'].apply(
    lambda x: x.isna().sum())

# 分情况处理
df['filled_value'] = np.where(
    missing_lengths[df['missing_group']] <= 5,
    df['value'].ffill(),
    np.nan  # 更复杂的情况暂置为NaN
)

# 对中等缺失应用滑动平均平滑
window_size = 3
df['smoothed'] = df['filled_value'].rolling(
    window=window_size, min_periods=1).mean()

3.3 验证填充效果

用已知数据模拟缺失，评估填充准确性：

# 保留10%作为验证集
valid_mask = np.random.choice([True, False], size=len(df), p=[0.9, 0.1])
valid_data = df[valid_mask].copy()

# 在验证集上人为制造缺失
valid_data.loc[valid_data.sample(frac=0.1).index, 'value'] = np.nan

# 应用填充策略
valid_data['filled'] = valid_data['value'].ffill(limit=5)

# 计算填充误差
from sklearn.metrics import mean_absolute_error
original_values = df.loc[valid_data.index, 'value']
mae = mean_absolute_error(
    original_values[valid_data['value'].isna()],
    valid_data.loc[valid_data['value'].isna(), 'filled'])
print(f"填充MAE误差：{mae:.4f}")

4. 高级技巧与避坑指南

4.1 处理多维度时间序列

当面对多个相关联的传感器指标时，需要协调填充策略：

# 假设有温度和湿度两个传感器
multi_df = pd.DataFrame({
    'temp': np.random.normal(25, 2, 1000),
    'humidity': np.random.normal(60, 5, 1000)
}, index=pd.date_range('2023-01-01', periods=1000, freq='5T'))

# 随机制造缺失（可能不同步）
for col in multi_df.columns:
    multi_df.loc[multi_df.sample(frac=0.1).index, col] = np.nan

# 分列填充但保持相同缺失标记
fill_limit = {'temp': 3, 'humidity': 6}  # 根据传感器特性设置不同限制
for col in multi_df.columns:
    multi_df[f"{col}_filled"] = multi_df[col].ffill(limit=fill_limit[col])

4.2 内存优化技巧

处理GB级时间序列时，原始ffill可能内存爆炸：

# 分块处理大文件
chunk_size = 100000
reader = pd.read_csv('huge_timeseries.csv', chunksize=chunk_size)

for i, chunk in enumerate(reader):
    chunk['value'] = chunk['value'].ffill()
    
    # 处理块边界问题
    if i > 0:
        first_value = chunk.iloc[0]['value']
        if pd.isna(first_value):
            chunk['value'].iat[0] = last_value_of_previous_chunk
    
    last_value_of_previous_chunk = chunk.iloc[-1]['value']
    chunk.to_parquet(f'processed_chunk_{i}.parquet')

4.3 常见陷阱

1. 时区混淆：确保时间索引已统一时区

   df = df.tz_localize('UTC').tz_convert('Asia/Shanghai')
   

2. 无序时间戳：填充前先排序

   df = df.sort_index()
   

3. 分类数据误用：ffill不适合无序类别变量

4. 预测偏差：避免在训练集和测试集之间泄漏信息

注意：在金融回测系统中，必须使用"point-in-time"填充，即只能使用历史数据填充，不能看到未来值。