1. 时间序列数据清洗的挑战与汉普尔过滤器
处理时间序列数据时,最让人头疼的问题之一就是那些不按套路出牌的数据点——我们称之为离群点或异常值。想象一下,你正在分析股票市场的交易数据,突然出现一个明显偏离正常范围的交易价格;或者监测工厂设备的温度传感器数据,某个时刻的读数突然飙升到不合理的高度。这些异常值可能来自传感器故障、数据传输错误,也可能是真实发生的特殊事件。
传统的数据清洗方法,比如简单的阈值过滤或均值±3倍标准差,在实际应用中往往表现不佳。举个真实的例子:在金融高频交易数据中,市场波动剧烈时,标准差本身就会被拉大,导致真正的异常值被漏检。这就是为什么我们需要更稳健的异常检测算法——汉普尔过滤器(Hampel Filter)。
我第一次接触汉普尔过滤器是在处理一批物联网传感器数据时。当时用常规方法清洗后,模型效果始终不理想。后来改用汉普尔过滤器,准确率直接提升了15%。它的核心优势在于使用**中位数绝对偏差(MAD)**代替标准差,这使得算法对异常值本身具有更强的抵抗力。换句话说,即使数据中存在少量极端值,也不会过度影响整体的判断基准。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 汉普尔过滤器的工作原理
2.1 中位数绝对偏差(MAD)的魔力
要理解汉普尔过滤器,首先得搞懂它的核心——中位数绝对偏差。与标准差不同,MAD的计算分为三步:
- 计算数据序列的中位数
- 计算每个数据点与中位数的绝对偏差
- 取这些绝对偏差的中位数
这种计算方式为什么更稳健?举个例子:假设有一组温度读数[20,21,22,23,24,100],最后一个100明显是异常值。如果用标准差,均值会被拉到33.3,导致正常值22反而可能被误判为异常。而用MAD,中位数是22.5,绝对偏差的中位数是1.5,100这个异常值就能被准确识别。
在Python中,我们可以用numpy快速计算MAD:
python复制import numpy as np
data = np.array([20,21,22,23,24,100])
median = np.median(data)
mad = np.median(np.abs(data - median))
print(f"中位数: {median}, MAD: {mad}")
2.2 滑动窗口机制
汉普尔过滤器不
