CN110071913A - 一种基于无监督学习的时间序列异常检测方法 - Google Patents

Abstract

本发明涉及一种基于无监督学习的时间序列异常检测方法，包括：将时间序列数据在其显著变化的位置进行切分，并对每一个切分后的数据段填补至设定长度；使用正常状态下的时间序列切分并填补后的多个数据段训练一个用于异常检测的神经网络；将由待检测时间序列切分并填补后的多个数据段作为异常检测模型的输入进行检测，并输出异常得分；判断异常得分是否超过阈值，若为是，则判断发生异常，反之，则判断未发生异常。与现有技术相比，本发明具有不依赖有标记的异常数据、不丢失数据信息、性能优等优点。

Description

一种基于无监督学习的时间序列异常检测方法

技术领域

本发明涉及一种异常检测方法，尤其是涉及一种基于无监督学习的时间序列异常检测方法。

背景技术

异常检测(Anomaly Detection)是一种检测数据中的异常的手段，其中“异常”是指不符合正常行为的模式，例如在网络流量分析领域，正常模式是指正常的网络访问行为，异常模式是指网络入侵者的行为。异常检测被应用于很多领域，如医疗健康领域、网络安全领域、金融安全领域、***维护领域等等。

时间序列(Time Series)是指一系列形如<时间戳，数据>形式的数据，时间序列常常用于实时记录***运行状态、人体健康数据等数据，通过分析时间序列数据，可以判断***所处的状态，并分析***行为，辅助人类进行决策。在现实生活中，很多***都使用时间序列数据记录***运行状态，如网站***访问量、服务器CPU运行状态。此外，在医疗健康领域，心电图数据、疾病发展变化数据等也都适用时间序列来表示。

时间序列中的异常往往可以反映出***的异常，例如在网站***中，数据库阻塞或死锁均会反映在数据库的监测数据上，在心电图数据中，心脏疾病所导致的异常也会反映在心电图数据中。因此，针对时间序列数据的异常检测有助于人们尽早发现异常，并采取适当措施避免异常。

目前，异常检测主要分为有监督方法和无监督方法两种，其中有监督的方法需要大量的带有异常标记的数据进行模型训练，然而异常往往是偶发的，所以在现实生活中很难得到大量的异常数据。因此，我们考虑使用无监督的方法实现异常检测。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于无监督学习的时间序列异常检测方法。

本发明的目的可以通过以下技术方案来实现：

一种基于无监督学习的时间序列异常检测方法，包括：

将时间序列数据在其显著变化的位置进行切分，并对每一个切分后的数据段填补至设定长度；

使用正常状态下的时间序列切分并填补后的多个数据段作为输入训练异常检测模型；

将由待检测时间序列切分并填补后的多个数据段作为异常检测模型的输入进行检测，并输出异常得分；

判断异常得分是否超过阈值，若为是，则判断发生异常，反之，则判断未发生异常。

所述将时间序列数据在其显著变化的位置进行切分，具体包括：

求时间序列数据的所有极值点；

然后将绝对值较大的极值点位置作为切分点，切分时间序列为多个数据段，其中，切分点由人工设定的数据极值点绝对值阈值决定。

所述异常检测模型包括数据压缩器和高斯混合模型估计器，所述数据压缩器采用多对多的LSTM网络结构，所述高斯混合模型估计器采用多层感知器结构。

所述数据压缩器的压缩过程包括：

将数据段进行压缩重建；

计算压缩前后的相对距离和余弦距离；

将相对距离、余弦距离，以及LSTM网络隐藏层单元的输出合成为高斯混合模型估计器的输入量。

所述相对距离的数学表达式为：

其中：r为相对距离，L为对数据段中包含的时间序列的长度，x_i为数据段中包含的时间序列中的元素，x′为重组后得到的时间序列中的元素。

所述余弦距离的数学表达式为：

其中：c为余弦距离，||·||为范数，x_i为数据段中包含的时间序列中的元素，x′为重组后得到的时间序列中的元素。

所述高斯混合模型估计器的训练过程包括：

接收数据压缩器的输出并映射为K维向量，其中，K为模型中高斯分布的数目，

基于K维向量的各元素得到各高斯分布的混合概率、均值和协方差；

所述高斯混合模型的检测过程包括：

接收数据压缩器的输出并计算得到异常得分。

所述异常得分的数学表达式为：

其中：Score(z)为异常得分，为第k个高斯分布的混合概率，为第k个高斯分布的协方差，z为数据压缩器的输出，为第k个高斯分布的均值，为的逆矩阵。

所述第k个高斯分布的混合概率为：

所述第k个高斯分布的均值为：

所述第k个高斯分布的协方差为：

其中：N为训练样本的总数，为第i个训练样本的第k维数据，z_i为第i个训练样本。

所述数据压缩器与高斯混合模型估计器使用端到端的方式进行训练，训练的目标函数如下：

其中：J为目标函数，λ₁、λ₂为人工设定的参数，x_i为第i个数据段包含的时间序列，x′为由第i个数据段包含的时间序列充足后的时间序列，为惩罚项。

与现有技术相比，本发明具有以下有益效果：

1)在模型训练与异常检测之前，将时间序列数据在其显著变化的位置进行切分，切分后的序列数据用于进行模型训练。常规的异常检测方法使用固定长度的时间窗口滑动选取时间片，导致分割后的序列数据产生大量的冗余信息，不利于神经网络的特征学习，另一方面，使用固定长度的时间序列无法不利于表征时间窗口内的数据有固定含义，无法实现对于具有相似物理含义的时间序列的比较。

2)采用基于密度估计的方法，将分割后的训练样本视为采样自未知高斯混合分布的样本，并利用神经网络估计未知分布的高斯混合模型，常规的方法中仅考虑了整条数据的概率分布，而未考虑数据每段不同的特征分布。

3)在训练阶段，切分后的数据被送入一个多对多的循环神经网络中，用于重建训练样本，神经网络隐含层最后一个步长的输出、重建序列与原始序列之间的相对距离与余弦距离被同时送入一个用于估计高斯混合模型参数的神经网络中，常规方法仅使用重建误差作为高斯混合模型的估计依据。

附图说明

图1为本发明主要步骤流程示意图；

图2为模型训练流程图；

图3为本发明所使用的神经网络模型结构示意图；

图4为异常预测流程图；

图5为本发明方法的性能与现有方法的性能比较示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

一种基于无监督学习的时间序列异常检测方法，主要包括两个步骤：模型训练与异常检测，如图1所示，包括：

将时间序列数据在其显著变化的位置进行切分，并对每一个切分后的数据段填补至设定长度；为实现以上要求，本发明模型训练步骤的流程图如图2所示。其中数据预处理包括两个步骤：

数据切分：首先求序列的所有极值点，然后将绝对值较大的极值点位置作为切分点，切分时间序列为多个数据段，其中，切分点由人工设定的数据极值点绝对值阈值决定。

数据填补：将切分好的多个序列使用0填补至异常检测模型的输入长度。

切分并填补后的多个数据段分别作为独立的样本用于训练后续的模型。

使用正常状态下的时间序列切分并填补后的多个数据段训练一个用于异常检测的神经网络；

将由待检测时间序列切分并填补后的多个数据段作为异常检测模型的输入进行检测，并输出异常得分；

判断异常得分是否超过阈值，若为是，则判断发生异常，反之，则判断未发生异常。

如图3所示，异常检测模型包括数据压缩器和高斯混合模型估计器，数据压缩器采用多对多的LSTM网络结构。

数据压缩器中模型结构中所使用的时间步长大于所有的可能的送入样本长度。输入LSTM模型中的时间序列样本记为x＝[x₁,x₂,…,x_L]，LSTM网络重建后的时间序列记为x′＝[x′₁,x′₂,…,x′_L]，其中L为时间序列的长度，则LSTM网络的训练的损失函数如下：

其中x_i为一个时间序列样本中的第i个元素，x′_i为重建时间序列样本中的第i个元素，L为时间序列的长度。

其压缩过程包括：

将数据段进行压缩重建；

计算压缩前后的相对距离和余弦距离；

将相对距离、余弦距离，以及LSTM网络隐藏层单元的输出合成为高斯混合模型估计器的输入量。

相对距离的数学表达式为：

其中：r为相对距离，L为对数据段中包含的时间序列的长度，x_i为数据段中包含的时间序列中的元素，x′为重组后得到的时间序列中的元素。

余弦距离的数学表达式为：

其中：c为余弦距离，||·||为范数，x_i为数据段中包含的时间序列中的元素，x′为重组后得到的时间序列中的元素。

高斯混合模型估计器采用多层感知器结构(Multilayer perceptions,MLP)。给定高斯混合模型所使用的高斯分布数目K，高斯混合模型估计器用于估计这K个高斯分布的三个参数，分别为混合概率Φ、均值μ、协方差Σ。

参数估计过程如下：

(1)首先使用多层神经网络将输入样本映射为K维向量，以确定用于估计每个高斯分布的所使用的数据。映射过程为：

p＝MLN(z；θ)

其中z为输入到高斯混合模型估计器中的数据，MLN(·)为多层神经网络，其参数为θ，softmax(·)为softmax函数，为用于估计高斯混合模型参数的样本。

(2)高斯混合模型的参数：混合概率Φ、均值μ、协方差Σ的估计公式如下：

其中和分别为第k个高斯分布的混合概率、均值、协方差，为第i个训练样本的第k维数据，z_i为第i个训练样本，N为训练样本的总数。

高斯混合模型估计器输出的异常得分的公式如下：

其中z为输入到估高斯混合模型估计器中的数据，K为给定的高斯分布数量，和分别为第k个高斯分布的混合概率、均值、协方差。

数据压缩器与高斯混合模型估计器使用端到端的方式进行训练，训练的目标函数如下：

其中：J为目标函数，λ₁、λ₂为人工设定的参数，x_i为第i个数据段包含的时间序列，x′为由第i个数据段包含的时间序列充足后的时间序列，为惩罚项，其公式如下：

其中：d为输入到高斯混合模型估计器中的样本z的维度，K为给定的高斯分布数目。

确定用于异常检测的数据段的方法如下，计算切分后的每个数据段训练所生成的高斯分布的方差，选用可产生最小方差的数据段作为异常检测阶段送入异常检测模型的数据。

异常检测步骤的流程图如图4所示，其中数据预处理包括两个步骤：

(1)数据切分：首先求序列的所有极值点，然后绝对值最大的极值点的位置作为切分点。

(2)数据填补：将切分好的多个序列使用0填补至异常检测模型的输入长度。

(3)挑选出模型训练阶段确定的用于异常检测的数据段。

神经网络模型即为模型训练步骤中所训练的异常检测模型，τ为人为给定的异常分数分类阈值。

上述方法在Two-lead ECG数据集上进行了性能评估，并采用AUC、ROC作为衡量性能的指标，本发明所提出的方法AUC为0.8396573，图5列出了本发明所提出方法性能与其他方法性能在同一数据集上的对比数据，其中Seq2Cluster为所提出的方法。由此可见，本发明所提出的方法优于所有现有的同类无监督异常检测方法，可以说明本专利所述的异常检测方法具有先进性。

Claims (10)

1.一种基于无监督学习的时间序列异常检测方法，其特征在于，包括：

将时间序列数据在其显著变化的位置进行切分，并对每一个切分后的数据段填补至设定长度；

使用正常状态下的时间序列切分并填补后的多个数据段作为输入训练异常检测模型；

将由待检测时间序列切分并填补后的多个数据段作为异常检测模型的输入进行检测，并输出异常得分；

判断异常得分是否超过阈值，若为是，则判断发生异常，反之，则判断未发生异常。

2.根据权利要求1所述的一种基于无监督学习的时间序列异常检测方法，其特征在于，所述将时间序列数据在其显著变化的位置进行切分，具体包括：

求时间序列数据的所有极值点；

然后将绝对值超贵设定阈值的的极值点的位置作为切分点切分为多个数据段。

3.根据权利要求1所述的一种基于无监督学习的时间序列异常检测方法，其特征在于，所述异常检测模型包括数据压缩器和高斯混合模型估计器，所述数据压缩器采用多对多的LSTM网络结构，所述高斯混合模型估计器采用多层感知器结构。

4.根据权利要求3所述的一种基于无监督学习的时间序列异常检测方法，其特征在于，所述数据压缩器的压缩过程包括：

将数据段进行压缩重建；

计算压缩前后的相对距离和余弦距离；

将相对距离、余弦距离，以及LSTM网络隐藏层单元的输出合成为高斯混合模型估计器的输入量。

5.根据权利要求4所述的一种基于无监督学习的时间序列异常检测方法，其特征在于，所述相对距离的数学表达式为：

其中：r为相对距离，L为对数据段中包含的时间序列的长度，x_i为数据段中

包含的时间序列中的元素，x′为重组后得到的时间序列中的元素。

6.根据权利要求4所述的一种基于无监督学习的时间序列异常检测方法，其特征在于，所述余弦距离的数学表达式为：

其中：c为余弦距离，||·||为范数，x_i为数据段中包含的时间序列中的元素，x′为重组后得到的时间序列中的元素。

7.根据权利要求4所述的一种基于无监督学习的时间序列异常检测方法，其特征在于，所述高斯混合模型估计器的训练过程包括：

接收数据压缩器的输出并使用多层神经网络映射为K维向量，其中，K为模型中高斯分布的数目，

基于K维向量的各元素并使用多层感知器模型，得到各高斯分布的混合概率、均值和协方差；

所述高斯混合模型的检测过程包括：

接收数据压缩器的输出并计算得到异常得分。

8.根据权利要求7所述的一种基于无监督学习的时间序列异常检测方法，其特征在于，所述异常得分的数学表达式为：

其中：Score(z)为异常得分，为第k个高斯分布的混合概率，为第k个高斯分布的协方差，z为数据压缩器的输出，为第k个高斯分布的均值，为的逆矩阵。

9.根据权利要求8所述的一种基于无监督学习的时间序列异常检测方法，其特征在于，

所述第k个高斯分布的混合概率为：

所述第k个高斯分布的均值为：

所述第k个高斯分布的协方差为：

其中：N为训练样本的总数，为第i个训练样本的第k维数据，z_i为第i个训练样本。

10.根据权利要求3所述的一种基于无监督学习的时间序列异常检测方法，其特征在于，所述数据压缩器与高斯混合模型估计器使用端到端的方式进行训练，训练的目标函数如下：

其中：J为目标函数，λ₁、λ₂为人工设定的参数，x_i为第i个数据段包含的时间序列，x′为由第i个数据段包含的时间序列充足后的时间序列，为惩罚项。