CN106295683A - 一种基于尖锐度的时间序列数据的离群点检测方法 - Google Patents

Abstract

本发明公开了一种基于尖锐度的时间序列数据的离群点检测方法，包括以下步骤：获取待检测的时间序列数据；对时间序列数据进行平滑，得到平滑曲线；计算平滑曲线上各点的尖锐度；由平滑曲线上各点的尖锐度计算尖锐度阈值；利用尖锐度阈值判断时间序列数据中的各点是否为离群点，如果该点的尖锐度大于尖锐度阈值，则判断为离群点。本发明的基于尖锐度的时间序列数据的离群点检测方法，显著降低了离群点检测算法的复杂度，对于离群点具有较高的检出率，对于非离群点具有较小的误检率。

Description

一种基于尖锐度的时间序列数据的离群点检测方法

技术领域

本发明涉及离群点检测技术领域，特别涉及一种基于尖锐度的时间序列数据的离群点检测方法。

背景技术

离群点是指远离序列的一般水平的极端大值和极端小值，亦或指与其他序列样本点一般行为或特征不一样的点。因此，有时候也称它为奇异值或是野值。离群点检测的目的是捕获那些与数据总体分布不一致的点。伴随着云计算、物联网及社交网络的兴起，离群点检测具有广阔的应用前景，可广泛应用于数据预处理、设备故障诊断、信用欺诈检测、交通事件检测等领域。

到现在为止产生了大量的时间序列数据的离群点的检测方法，这些方法大致可以分为如下几类：

(1)基于统计学习的方法

基于统计学习的方法对离群点进行检测的基本思想是将全部数据样本分为离群点和非离群点两类，通过建立二元分类模型来对样本进行分类。具体而言，基于统计学习的方法可以分为监督学习的方法、半监督学习的方法以及非监督学习的方法。基于统计学习的方法需要大量的样本来构建统计模型，尤其是当离群点的数目过少时，所建立的分类模型的检测性能往往不能够满足要求。

(2)基于非统计学习的方法

这类方法往往考察样本点在特征空间分布上的差异性，例如到中心点的距离，局部范围的密度等，如果某些点的此类特征与样本整体的差异性达到一定的程度，则将这些点视为离群点。相比于基于统计学习的方法，此类方法无需进行训练学习，但是检测过程较复杂。

发明内容

本发明针对上述现有技术中存在的问题，提出一种基于尖锐度的时间序列数据的离群点检测方法，其是基于非统计学习的方法，且显著降低了离群点检测算法的复杂度，对于离群点具有较高的检出率，对于非离群点具有较小的误检率。

为解决上述技术问题，本发明是通过如下技术方案实现的：

本发明提供一种基于尖锐度的时间序列数据的离群点检测方法，其包括以下步骤：

S11：获取待检测的时间序列数据；

S12：对所述时间序列数据进行平滑，得到所述时间序列数据的平滑曲线；

S13：计算所述平滑曲线上各点的尖锐度；

S14：由所述平滑曲线上各点的尖锐度计算尖锐度阈值；

S15：利用所述尖锐度阈值判断所述时间序列数据中的各点是否为离群点，如果该点的尖锐度大于所述尖锐度阈值，则判断为离群点。

较佳地，所述步骤S12具体为：采用均值平滑或拉普拉斯平滑对所述时间序列数据进行平滑，得到所述时间序列数据的平滑曲线。

较佳地，所述步骤S13具体包括：

S131：对于所述平滑曲线上的每一点，首先确定当前点第k个点S_k为中心控制点，然后向前或向后各取m个点，一共获得2m+1个点组成该中心控制点的支撑区域；

S132：由该中心控制点与所述支撑区域的两端点进行连线，分别得到两条支撑臂，两条所述支撑臂之间的夹角为支撑角γ_k；

S133：得出该点的尖锐度为：

jrd_k＝1-sin(γ_k/2)。

较佳地，所述步骤S132中，所述支撑区域的两端点分别为S_k-m、S_k+m，所述中心控制点与所述支撑区域的两端点之间的间隔非常小，因此假设： S_kS_k-m|＝|S_kS_k+m|，则有：

$\sin ({\mathrm{\γ}}_k/2)=\frac{\left|S_{k-m}{S}_{k+m}\right|/2}{\left|S_k{S}_{k-m}\right|}=\frac{\left|S_{k-m}{S}_{k+m}\right|/2}{\left|S_k{S}_{k+m}\right|}=\frac{\left|S_{k-m}{S}_{k+m}\right|}{\left|S_k{S}_{k-m}\right|+\left|S_k{S}_{k+m}\right|};$

则步骤S133中，该点的尖锐度为：

${\mathrm{jrd}}_k=1-sin({\mathrm{\γ}}_k/2)=1-\frac{\left|S_{k-m}{S}_{k+m}\right|}{\left|S_k{S}_{k-m}\right|+\left|S_k{S}_{k+m}\right|}.$

较佳地，m∈[3,8]，且为整数。

较佳地，所述步骤S14具体为：提取所述平滑曲线上的尖锐度不为零的点，并计算这些点的尖锐度均值，以此均值作为尖锐度阈值。

较佳地，所述步骤S15具体为：将所述平滑曲线上的各点的尖锐度与所述尖锐度阈值进行比较，如果大于所述尖锐度阈值，则记录下该点的序号，在所述时间序列数据中排在此序号上的点为离群点，如果不大于所述尖锐度阈值，则为非离群点。

较佳地，所述步骤S15之后还包括：

S16：根据所述离群点判断所述时间序列数据中的噪声或有别于正常情形的特殊状态。

较佳地，所述步骤S16具体为：根据所述离群点判断数据预处理或设备故障诊断或信用欺诈检测或交通事件检测的时间序列数据中的的噪声或有别于正常情形的特殊状态。

相较于现有技术，本发明具有以下优点：

(1)本发明提供的基于尖锐度的时间序列数据的离群点检测方法，与现有的统计学方法相比，不需要大量的样本进行训练，尤其对于离群点样本较少时，统计学方法往往无法获得较好的效果或根本无法实施，但是本方法不受影响；

(2)本发明的基于尖锐度的时间序列数据的离群点检测方法，与现有的非统计学方法相比，简单方便，易于实施，实现成本低，本发明的方法可广泛应用于数据预处理、设备故障诊断、信用欺诈检测以及交通事件检测等方面。

当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。

附图说明

下面结合附图对本发明的实施方式作进一步说明：

图1为本发明的实施例的基于尖锐度的时间序列数据的离群点检测方法的流程图；

图2为本发明的实施例中待检测的时间序列数据的分布图；

图3为对图2的对时间序列数据进行平滑后得到的平滑曲线；

图4为本发明的实施例的计算尖锐度的原理示意图；

图5为对图2的时间序列数据进行离群点检测后得到的结果。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

结合图1～图5，对本发明的基于尖锐度的时间序列数据的离群点检测方法进行详细描述，其流程图如图1所示，包括以下步骤：

S11：获取待检测的时间序列数据；

S12：对时间序列数据进行平滑，得到所述时间序列数据的平滑曲线；可以采用均值平滑或拉普拉斯平滑等数据平滑算法进行平滑；

S13：计算平滑曲线上各点的尖锐度；

S14：由平滑曲线上各点的尖锐度均值得出尖锐度阈值；具体为：提取平滑曲线上的尖锐度不为零的点，并计算这些点的尖锐度均值，以此均值作为尖锐度阈值；

S15：利用尖锐度阈值判断时间序列数据中的各点是否为离群点；具体为：将平滑曲线上的各点的尖锐度与尖锐度阈值进行比较，如果大于尖锐度阈值，则记录下该点的序号，在时间序列数据中排在此序号上的点为离群点，如果不大于阈值，则为非离群点，不采取任何措施。

其中，步骤S13具体包括：

S131：对于平滑曲线上的每一点，首先确定当前点第k个点S_k为中心控制点，然后向前或向后各取m个点，一共获得2m+1个点组成该中心控制点的支撑区域；较佳地，m取值为[3，8]且为整数；

S132：由该中心控制点与支撑区域的两端点进行连线，分别得到两条支撑臂，两条支撑臂之间的夹角为支撑角γ_k；

S133：得出该点的尖锐度为：jrd_k＝1-sin(γ_k/2)。

较佳实施例中，为了克服支撑角不好测量的问题，可以采用测量距离的方法来计算得出支撑角，具体为：假设|S_kS_k-m|＝|S_kS_k+m|，于是有

$\sin ({\mathrm{\γ}}_k/2)=\frac{\left|S_{k-m}{S}_{k+m}\right|/2}{\left|S_k{S}_{k-m}\right|}=\frac{\left|S_{k-m}{S}_{k+m}\right|/2}{\left|S_k{S}_{k+m}\right|}=\frac{\left|S_{k-m}{S}_{k+m}\right|}{\left|S_k{S}_{k-m}\right|+\left|S_k{S}_{k+m}\right|}.$

本发明的离群点检测方法可以应用于数据预处理、设备故障诊断、信用欺诈检测以及交通事件检测等领域。对应地，步骤S11中获得的时间序列数据可以为：时间序列的设备参数数据、时间序列的消费记录或时间序列的交通数据等。

较佳实施例中，在步骤S15之后还包括：S16：根据离群点判断时间序列数据中的噪声或有别于正常情形的特殊状态；其中，时间序列数据可以为时间序列的设备参数数据、时间序列的消费记录或时间序列的交通数据等。

下面以具体应用实例来对本发明进行详细描述，具体如下：

(1)获取某路段的一天24小时内采集的速度数据，其分布图如图2所示；

(2)采用均值平滑或拉普拉斯平滑等数据平滑算法对图2的速度数据进行平滑，得到平滑曲线，如图3所示，平滑曲线上的各点与原始速度数据上的各点存在一一对应关系；

(3)计算平滑曲线上各点的尖锐度

对于平滑曲线上的每一点，首先确定当前点S_k为当前中心控制点，然后向前或向后各取m个点，此处以各取4个点为例，一共获得9个点组成该中心控制点的支撑区域；由该中心控制点S_k与支撑区域的两端点S_k-m、S_k+m分别进行连线，分别得到两条支撑臂，两条支撑臂之间的夹角即为支撑角γ_k。如图4所示为其原理示意图，图4中***实线为轮廓线，黑点代表像素点，虚线为S_k、S_k-m、S_k+m三点拟合成的圆弧，N点为圆心，S_kS_k-m，S_kS_k+m为支撑臂，点S_k、S_k-m、S_k+m近似为一段圆弧上的三点，它们之间的间隔非常小，可以假设|S_kS_k-m|＝|S_kS_k+m|，则有

$\sin ({\mathrm{\&gamma;}}_k/2)=\frac{\left|S_{k-m}{S}_{k+m}\right|/2}{\left|S_k{S}_{k-m}\right|}=\frac{\left|S_{k-m}{S}_{k+m}\right|/2}{\left|S_k{S}_{k+m}\right|}=\frac{\left|S_{k-m}{S}_{k+m}\right|}{\left|S_k{S}_{k-m}\right|+\left|S_k{S}_{k+m}\right|},0<{\mathrm{\&gamma;}}_k\&le;180$

当三点处于同一直线上时，γ_k＝180，此时有，

当γ_k趋近于0时，有，

尖锐度为：

${\mathrm{jrd}}_k=1-sin({\mathrm{\&gamma;}}_k/2)=1-\frac{\left|S_{k-m}{S}_{k+m}\right|}{\left|S_k{S}_{k-m}\right|+\left|S_k{S}_{k+m}\right|};$

jrd_k表示平滑曲线上第k个点支撑角的尖锐程度，其值越大，说明该角越尖锐，根据上式可计算出平滑曲线上各点的尖锐度jrd_k。

对于时间序列数据的前m个点和最后m个点，其尖锐度无法计算，可令其尖锐度为0。由于m的取值很小，这一处理不会影响本实施例的最终实施效果。

(4)计算尖锐度阈值

提取平滑曲线上的尖锐度不为零的点，并计算这些点的尖锐度均值，以此均值作为尖锐度阈值；

(5)根据尖锐度阈值判断原始速度数据中的各点是否为离群点

将平滑曲线上各点的尖锐度与尖锐度阈值进行比较，如果大于该阈值则记录下该点的序号，从而在原始数据中排在此序号上的点被判定为离群点。对于原始的速度数据进行离群点检测后得到的结果如图5所示，其中黑色点所表示的点为原始速度数据中的离群点。对于检测出的离群点可以用其支撑区域各数据的均值进行替代，从而达到剔除噪声数据及提高数据质量的效果。

此处公开的仅为本发明的优选实施例，本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，并不是对本发明的限定。任何本领域技术人员在说明书范围内所做的修改和变化，均应落在本发明所保护的范围内。

Claims (10)

1.一种基于尖锐度的时间序列数据的离群点检测方法，其特征在于，包括以下步骤：

S11：获取待检测的时间序列数据；

S12：对所述时间序列数据进行平滑，得到所述时间序列数据的平滑曲线；

S13：计算所述平滑曲线上各点的尖锐度；

S14：由所述平滑曲线上各点的尖锐度计算尖锐度阈值；

S15：利用所述尖锐度阈值判断所述时间序列数据中的各点是否为离群点，如果该点的尖锐度大于所述尖锐度阈值，则判断为离群点。

2.根据权利要求1所述的基于尖锐度的时间序列数据的离群点检测方法，其特征在于，所述步骤S12具体为：采用数据平滑算法对所述时间序列数据进行平滑，得到所述时间序列数据的平滑曲线。

3.根据权利要求1所述的基于尖锐度的时间序列数据的离群点检测方法，其特征在于，所述步骤S13具体包括：

S131：对于所述平滑曲线上的每一点，首先确定当前点第k个点S_k为中心控制点，然后向前或向后各取m个点，一共获得2m+1个点组成该中心控制点的支撑区域；

S132：由该中心控制点与所述支撑区域的两端点进行连线，分别得到两条支撑臂，两条所述支撑臂之间的夹角为支撑角γ_k；

S133：得出该点的尖锐度为：

jrd_k＝1-sin(γ_k/2)。

4.根据权利要求3所述的基于尖锐度的时间序列数据的离群点检测方法，其特征在于，所述步骤S132中，所述支撑区域的两端点分别为S_k-m、S_k+m，所述中心控制点与所述支撑区域的两端点之间的间隔非常小，因此假设：|S_kS_k-m|＝|S_kS_k+m|，则有：

$sin({\mathrm{\&gamma;}}_k/2)=\frac{\left|S_{k-m}{S}_{k+m}\right|/2}{\left|S_k{S}_{k-m}\right|}=\frac{\left|S_{k-m}{S}_{k+m}\right|/2}{\left|S_k{S}_{k+m}\right|}=\frac{\left|S_{k-m}{S}_{k+m}\right|}{\left|S_k{S}_{k-m}\right|+\left|S_k{S}_{k+m}\right|};$

则步骤S133中，该点的尖锐度为：

${\mathrm{jrd}}_k=1-sin({\mathrm{\&gamma;}}_k/2)=1-\frac{\left|S_{k-m}{S}_{k+m}\right|}{\left|S_k{S}_{k-m}\right|+\left|S_k{S}_{k+m}\right|}.$

5.根据权利要求3所述的基于尖锐度的时间序列数据的离群点检测方法，其特征在于，m∈[3,8]，且为整数。

6.根据权利要求3至5任一项所述的基于尖锐度的时间序列数据的离群点检测方法，其特征在于，所述步骤S14具体为：提取所述平滑曲线上的尖锐度不为零的点，并计算这些点的尖锐度均值，以此均值作为尖锐度阈值。

7.根据权利要求6所述的基于尖锐度的时间序列数据的离群点检测方法，其特征在于，所述步骤S15具体为：将所述平滑曲线上的各点的尖锐度与所述尖锐度阈值进行比较，如果大于所述尖锐度阈值，则记录下该点的序号，在所述时间序列数据中排在此序号上的点为离群点，如果不大于所述尖锐度阈值，则为非离群点。

8.根据权利要求1所述的基于尖锐度的时间序列数据的离群点检测方法，其特征在于，所述步骤S11具体为：获取待检测的时间序列数据为时间序列的设备参数数据、时间序列的消费记录或时间序列的交通数据。

9.根据权利要求1所述的基于尖锐度的时间序列数据的离群点检测方法，其特征在于，所述步骤S15之后还包括：

S16：根据所述离群点判断所述时间序列数据中的噪声或有别于正常情形的特殊状态。

10.根据权利要求9所述的基于尖锐度的时间序列数据的离群点检测方法，其特征在于，所述步骤S16具体为：根据所述离群点判断数据预处理或设备故障诊断或信用欺诈检测或交通事件检测的时间序列数据中的的噪声或有别于正常情形的特殊状态。