异常值的定义

在一个特征的观测值中，明显不同于其他数据或不合乎常理的观测值。

异常值出现的原因

• 人为错误
  • 数据输入、记录导致的错误
• 自然错误
  • 测量误差，比如仪器出现故障

异常值检测方法

• 简单可视化分析
  • 对特征值进行一个数据可视化，远远偏离大部分样本观测值的样本点认为是异常值。
• $3\sigma$ 原则
  • 当数据服从正态分布，根据正态分布的定义可知， 一个观测值出现在距离平均值 $3\sigma$ 之外的概率是 $P(|x-\mu |>3\sigma )\le 0.003$， 这属于极小概率事件，因此，当观测值距离平均值大于 $3\sigma$，则认为该观测值是异常值。
• 箱型图分析(数字异常值，Numeric Outlier)
  • 落在 $(Q1-1.5\times IQR)$ 和 $(Q3+1.5\times IQR)$ 之外的观测值认为是异常值。
• Z-score
  • 假设特征服从正态分布，异常值是正态分布尾部的观测值点，因此远离特征的平均值。 距离的远近取决于特征归一化之后设定的阈值 $Z_{thr}$，对于特征中的观测值 $x_i$， 如果 $Z_i=\frac{x_i-\mu }{\sigma }>Z_{thr}$，则认为 $x_i$ 为异常值， $Z_{thr}$ 一般设为：2.5，3.0，3.5。

异常值处理方法

• 直接删除含有缺失值的样本
  • 优点: 简单粗暴
  • 缺点: 造成样本量(信息)减少
• 将异常值当做缺失值，交给缺失值处理方法来处理
• 用特征的均值修正；

Sigmoid 参数曲线

Sigmoid 参数曲线：

$$f\left(x\right)=\frac{a}{b+e^{-(dx-c)}}$$

损失函数：

$$S\left(p\right)=\sum _{i=1}^m(y_i-f(x_i,p\left)\right)$$

参考

• 风电异常数据识别与清洗竞赛冠军方案分享