CN104123448B - 基于上下文的多数据流异常检测方法 - Google Patents

Abstract

本发明提供一种基于上下文的多数据流异常检测方法，包括以下步骤：步骤1，多数据流获取和快照生成；步骤2，多数据流快照异常量化；步骤3，数据流异常量化；步骤4，数据流异常识别。本发明所提供的检测方法的目的在于以同构分布式计算***的节点异常检测为研究背景，以计算节点监测的数据流为研究对象，提供一种综合考虑多数据流的上下文信息和单数据流的历史行为信息的异常检测方法，具备较高的检测率。

Description

基于上下文的多数据流异常检测方法

技术领域

本发明属于异常检测技术，特别是一种融合多数据流的上下文信息和单数据流的历史行为信息的异常检测方法。

背景技术

数据流异常检测是数据流挖掘研究中的一个重要的方向。异常指的是在数据集中与众不同的数据，这些数据并不是由于随机偏差产生的，而是产生于完全不同的机制。由于查找数据流中的异常在网络攻击监测，***诈骗、计算***性能分析等领域具有非常广泛的应用，数据流异常检测方法是当前研究的热点之一，对数据流上异常行为的检测和挖掘的研究已经受到了学术界和工业界的共同关注。

在诸如分布式计算等现实应用中，数据流管理***需要同时接收多条数据流，并且各条数据流之间往往并非完全独立，而是存在相关性，例如在证券交易***中，处于同一市场的股票经常会出现相同或相似的升降趋势，在道路交通网络中，不同路段的车流量也将具有一定的关联性。对于相互关联的数据流来说，一旦发现它们之间的相关性被破坏，则可断定在这些数据流中存在有异常情况。基于这一思路，研究者探讨通过监测多数据流间相关性来检测异常的方法。现有的数据流异常检测方法大致可以划分为基于网格的数据流异常检测，基于密度的异常检测和基于距离的异常检测。

基于网格的数据流异常检测是把整个数据空间分割成为相互独立，大小一致的很多网格，人为地设定一个支持度，当网格中所包含的数据元素的支持度超过或者等于了事先设定的支持度大小时，就从所有的维度中选出一维，并按照这一维度将网格动态的分为两个完全独立的子网格。当子网格的支持度也达到或超过阈值时，同样的分割操作也会在子网格上进行。Park和Lee等在提出了一种实时的数据流异常检测方法，该网格聚类方法不需要计算数据对象之间的距离，只需要按照事先确定的网格大小，直接把数据放入相应的网格，因此可以实现实时的增量聚类。每次聚类完毕之后只需要保存每个类的特征信息，并计算所有类的异常度，按照由大到小的顺序进行排序，把Top-k异常度最大的类划分为最终的异常类。(Park N H,Lee W S.Statistical grid-based clustering over datastreams[J]. ACM SIGMOD Record,2004,33(1):32-37.)上述异常检测方法要么采用top-p方式把异常量化值最高的p个数据流作为异常，要么把异常量化值超过预定义阈值的数据流作为异常，这些方法在实际应用过程中存在问题：1)阈值难于设定。阈值的合理设定需要非常熟悉应用程序的底层机制，这对于一般应用者而言，难度太大；2)异常的数目一直在变化。某个时刻可能存在超过p个数据流是异常的，采用top-p方式会错过这些真实存在的异常。因此，本发明中采用一种无指导的学习方法自动获取动态变化的异常检测阈值，能更好地适应异常频繁改变的场景。

基于密度的异常检测的基本思想是利用某一邻域内样本的密度来确定异常。LOF算法是基于密度的异常检测的代表性算法(Breunig M M,Kriegel H P,Ng R T,etal.LOF:identifying density-based local outliers[C]//ACM Sigmod Record.ACM,2000,29(2):93-104.)。该算法是一种基于局部密度的异常检测算法，能够较为准确的在密度分布不均匀的数据集合中发现异常数据对象。但是LOF算法并不适合直接用于数据流的异常检测，因为其时间复杂度较大，如果每得到一个新的数据对象都需要对所有数据对象的异常度重新进行计算，其代价是不可容忍的。因此，Pokrajac和Lazarevic等人对已有的静态LOF算法做出了改进，提出了动态的增量LOF算法(Pokrajac D,Lazarevic A,LateckiL J.Incremental local outlier detection for data streams[C]//ComputationalIntelligence and Data Mining,2007.CIDM2007.IEEE Symposium on.IEEE,2007:504-515.)。增量LOF算法的核心思想就是当一个新的数据对象到来的时候，并不重新计算所有数据对象特征信息的值，而是只对受到新输入数据对象影响的那一部分数据对象的各个特征信息值进行更新。增量LOF算法在接收到一个新输入的数据对象时，其主要操作分为两个步骤:对于新输入的数据对象，计算其所需的特征信息值；对于受到新输入对象影响密度发生变化的邻居结点，挨个更新其特征信息值，对于没有受到影响的数据对象，不重新计算。采用这一策略之后，动态增量LOF算法在能够达到和重复执行静态LOF算法相当效果的同时，却大大降低了算法执行的时间复杂度，使得其适用于针对数据流的异常检测。然而，LOF算法并没有考虑不同维度值域的差异，可能导致部分维度的影响力显著大于其他维度；另外，其时间复杂度对于离线检测来说是可以接受的，但对实时检测来说还不实用。本发明针对LOF算法的上述两个局限性，提出的算法的时间复杂度为O(n)，与数据流 个数呈线性增加关系，能满足实时应用需要。

基于距离的异常检测是由Knorr和Ng等提出的(Knorr E M,Ng R T,TucakovV.Distance-based outliers:algorithms and applications[J].The VLDB Journal—The International Journal on Very Large Data Bases,2000,8(3-4):237-253.)。基于距离的异常定义：数据集S中一个对象O称为DB(p,D)-outlier，如果它满足下列性质：数据集S中至少p*100％的对象与O的距离大于距离D。简单的说，基于距离的异常点就是那些没有“足够多”的邻居的对象。Angiulli等人也提出了基于距离的数据流异常检测算法Storm，包括exact-storm和approx-Storm，前者为精确的算法，后者则是以中心极限定理为保证的近似算法(Angiulli F,Fassetti F.Detecting distance-based outliers in streamsof data[C]//Proceedings of the sixteenth ACM conference on Conference oninformation and knowledge management.ACM,2007:811-820.)。Storm算法采用了基于计数的滑动窗口模型，并根据数据流中数据对象到达的时间先后顺序，将某个特定数据对象的邻居划分为前驱邻居和后续邻居。事先定义两个阈值K和R，分别表示邻居个数和距离，如果数据流中某个输入数据对象在R的距离范围之内邻居个数小于K个，则该对象就为异常数据。算法中定义了一类特殊的数据对象safe inliers，无论数据流随着时间变化如何演化，该类数据对象在整个数据窗口中都不会变为异常数据对象，即邻居个数始终大于K个。在此假设的基础之上，算法对所有非safe inliers数据对象都采用R-Tree来查找每个数据对象的邻居，以提高检索的效率。上述算法，仅考虑数据流的历史信息，忽视了数据流的上下文信息，比如在同构的计算***中，计算节点的数据流往往表现出相似性，本发明综合考虑的多数据流的上下文信息和单个数据流上的历史信息来确定某个数据流是否是异常数据流，有更高的准确性。

发明内容

为了克服现有技术存在的不足，本发明提供一种采用同构分布式计算***的节点异常检测方法，以计算节点监测的数据流为研究对象的综合考虑多数据流的上下文信息和单数据流的历史行为信息的异常检测方法。

一种基于上下文的多数据流异常检测方法，包括以下步骤：

步骤1，多数据流获取和快照生成，过程如下：

给定一个由n个同构的计算节点构成的分布式计算***，记录时刻t同步获取每个计算节点的观测值，根据观测值计算每个计算节点的数据流，所有计算节 点在t时刻的数据流记为快照；

步骤2，多数据流快照异常量化，过程如下：

将时刻t的快照构造矩阵M用于描述时刻t各个计算节点的瞬时行为；对矩阵M的每个列向量逐一采用0-1归一化方式计算归一化值，得到新的矩阵M'；计算归一化后的每个列向量的均值，得到偏差矩阵M″；计算每个计算节点在时刻t产生的数据流快照的异常量化值；

步骤3，数据流异常量化，过程如下：

给定任意的数据流，计算时刻t之前的所有快照异常量化值对于当前时刻t的影响力，综合考虑多数据流快照异常量化结果和单个数据流中历史数据对于异常量化结果的影响力，得出数据流的异常量化结果值；

步骤4，数据流异常识别，过程如下：

对异常量化所得的结果按照从小到大的方式进行排序；计算排序后异常量化值的中位值、最大值、最小值和最大偏差值，并检测数据流。

本发明与现有技术相比，其优点在于：(1)综合考虑多数据流的上下文信息和单数据流的历史信息量化数据流的异常，提高了检测精度；(2)异常识别阈值采用无指导的学习方法自动获取，无需计算节点异常的领域知识，降低了识别参数设定的难度；(3)算法具有较低的时间复杂度，与数据流个数n呈线性增长关系。

下面结合附图对本发明作进一步详细描述。

附图说明

图1是本发明一种基于上下文的多数据流异常检测方法的流程图；

图2是多数据流的上下文、快照生成示意图；

图3是数据流快照异常量化的流程图；

图4是数据流异常检测的流程图；

具体实施方式

结合图1，一种基于上下文的多数据流异常检测方法，包括以下步骤：

步骤1，多数据流获取和快照生成，过程如下：

步骤1.1，给定一个由n个同构的计算节点构成的分布式计算***；

步骤1.2，同步记录t时刻第i个计算节点的观测值其中 表示第i个计算节点在时刻t的观测值的第m个观测维度上的分量，1≤i≤n，每个分量表示一种感兴趣的节点度量，同构的计算节点的度量是完全相同的，m的值由总的度量数目决定；

步骤1.3，构成计算节点i对应的数据流S_i＝{s_i1,s_i2,s_i3,...,s_it}，S_i是一个有序但无限的数据观测序列；

步骤1.4，n个计算节点的数据流构成数据流集S＝{S₁,S₂,...S₃,...S_i,...,S_n}；

步骤1.5，记录t时刻的数据流集S的快照S^t＝[s_it|s_it∈S_i,S_i∈S,1≤i≤n]，数据流集S的快照S^t是由时刻t在每个计算节点上获取的观测值构成的；因此根据快照的定义，数据流集S又可以表示成快照集，即S＝{S¹,S²,...,S^t,...}。

步骤2，多数据流快照异常量化，过程如下：

步骤2.1，给定时刻t的快照S^t，构造n×m矩阵用于描述时刻t各个计算节点的瞬时行为；

步骤2.2，对矩阵M_t的任意列向量1≤d≤m，表示时刻t第i个计算节点的观测值，采用0-1归一化方式计算得到其中 表示第d个观测度量在n个观测值中的最小值， 表示第d个观测度量在n个观测值中的最大值，进而得到新矩阵

步骤2.3，对于矩阵M_t'的任意列向量计算任意列向量的均值得到偏差矩阵其中

步骤2.4，计算每个计算节点在时刻t产生的数据流快照的异常量化值N_it，具体步骤为：

步骤2.4.1，初始化列向量对于任意的观测维度k，1≤k≤m，计算偏差平方则t时刻第k个观测维度的方差

步骤2.4.2，初始化用于存放每个观测维度的异常量化值的列向量其中表示t时刻第k个观测维度的熵， 表示取留一方差情形下第k个观测维度的熵， M_t″(f,k)是矩阵M_t″第f行第k列的值；因此有

步骤2.4.3，计算时刻t第i个计算节点的数据流快照异常量化值

步骤3，数据流异常量化，由于数据流中普遍存在瞬时波动和阶段迁移现象， 仅通过数据流快照识别计算节点异常，会导致较高的误警率；为了缓解这一个问题，在对数据流快照异常量化的基础上，考虑数据流历史数据中展示的集体行为进一步对候选的异常数据流进行量化，并集成数据流快照异常量化结果和单个数据流中历史数据对于异常量化结果的影响力，产生最终的异常量化结果，具体过程如下：

步骤3.1，给定任意的数据流S_i，记录时刻t之前的所有快照异常量化值{N_i0,N_i1,...,N_i(t-1)}，计算这t个快照异常量化值对于当前时刻t的影响力I_it，其中U_t表示影响力衰减函数，本发明中选取指数衰减函数控制影响力衰减程度，即U_t＝e^-λkt，其中λ>0是衰减快慢阈值，因此有：

I_it＝N_i(t-1)e^-λ+N_i(t-2)e^-2λ+N_i(t-1)e^-3λ+...

＝e^-λ(N_i(_t-1)+e^-λ(N_i(t-2)+e^-λ(N_i(t-3)+...；

＝e^-λ(N_i(t-1)+I_i(t-1))

步骤3.2，综合考虑多数据流快照异常量化结果和单个数据流中历史数据对于异常量化结果的影响力，得出数据流S_i的异常量化结果值N_i＝N_it+I_it。

步骤4，数据流异常识别，过程如下：

步骤4.1，给定数据流集S＝{S₁,S₂,...,S_n}对应的异常量化结果序列N＝{N₁,N₂,...,N_n}，对异常量化结果序列N按照从小到大的方式进行排序，得到新的序列N'＝{N′₁,N'₂,...,N'_n}，并记录下标映射关系v＝R(u)，1≤u,v≤n，表示新序列的第u个异常量化结果对应于原序列的第v个异常量化结果；

步骤4.2，设异常量化结果的中位值的下标为mIdx，有计算异常量化结果的中位值N_median＝N'_mIdx，异常量化结果的最小值N_min＝N′₁，异常量化结果的最大值N_max＝N'_n和最大异常量化值分量d_upper；

步骤4.3，设定idx＝mIdx+1；

步骤4.4，若N′_idx>max(2(N_median-N_min),N_min+d_upper)，其中max表示求2个数最大值的函数，当数据流无异常时，N_median-N_min应当近似等于N_max-N_min的一半，所以若大于2(N_median-N_min)时，表示数据流S_R(idx)是一个异常数据流，产生 异常告警；否则，数据流S_R(idx)是一个正常数据流；

若表示在数据流抖动的情形下，存在抖动数据流与无抖动数据流之间异常量化的最大偏差值，当数据流存在抖动，数据流的异常量化结果大于N_min+d_upper时，则数据流S_R(idx)是一个异常数据流，产生异常告警；否则，数据流S_R(idx)是一个正常数据流；

步骤4.5，若idx<n，则idx←idx+1，跳转到步骤4.4，否则，步骤4结束。

利用本发明的方法进行计算得到的数据与现有Storm算法和LOF算法进行比较，可以得出本发明的算法在准确率、召回率和综合评价指标上均优于对比算法。实验数据来源于16个计算节点的监测数据，每个计算节点观测维度为10维，分别是CPU使用率、内存使用率、内存页换入次数、内存页换出次数、Disk读次数、Disk写次数、Disk读字节数、Disk写字节数、网卡接收字节数、网卡发送字节数等，实验中注入了2种类型的异常，分别为内存泄露和CPU泄露结果，注入持续时间为1000s，实验结果如表1所示。

表1不同算法的实验结果比较

。

Claims (4)

1.一种基于上下文的多数据流异常检测方法，其特征在于，包括以下步骤：

步骤1，多数据流获取和快照生成，过程如下：

给定一个由n个同构的计算节点构成的分布式计算***，记录时刻t同步获取每个计算节点的观测值，根据观测值计算每个计算节点的数据流，所有计算节点在t时刻的数据流记为快照；

步骤2，多数据流快照异常量化，过程如下：

将时刻t的快照构造矩阵M用于描述时刻t各个计算节点的瞬时行为；对矩阵M的每个列向量逐一采用0-1归一化方式计算归一化值，得到新的矩阵M'；计算归一化后的每个列向量的均值，得到偏差矩阵M”；计算每个计算节点在时刻t产生的数据流快照的异常量化值；

步骤3，数据流异常量化，过程如下：

给定任意的数据流，计算时刻t之前的所有快照异常量化值对于当前时刻t的影响力，综合考虑多数据流快照异常量化结果和单个数据流中历史数据对于异常量化结果的影响力，得出数据流的异常量化结果值；

步骤4，数据流异常识别，过程如下：

对异常量化所得的结果按照从小到大的方式进行排序；计算排序后异常量化值的中位值、最大值、最小值和最大偏差值，并检测数据流，具体为：

步骤4.1，给定数据流集S＝{S₁,S₂,...,S_n}对应的异常量化结果序列N₁,N₂,...,N_n，对异常量化结果序列按照从小到大的方式进行排序，得到新的序列N′₁,N'₂,...,N'_n，并记录下标映射关系v＝R(u)，1≤u,v≤n，表示新序列的第u个异常量化结果对应于原序列的第v个异常量化结果；

步骤4.2，设异常量化结果的中位值的下标为mIdx，有计算异常量化结果的中位值N_median＝N'_mIdx，异常量化结果的最小值N_min＝N′₁，异常量化结果的最大值N_max＝N'_n和最大异常量化值分量d_upper；

步骤4.3，设定idx＝mIdx+1；

步骤4.4，若N′_idx＞max(2(N_median-N_min),N_min+d_upper)，表示数据流S_R(idx)是一个异常数据流，产生异常告警；若表示在数据流抖动的情形下，存在抖动数据流与无抖动数据流之间异常量化的最大偏差值，当数据流存在抖动，数据流的异常量化结果大于N_min+d_upper时，则数据流S_R(idx)是一个异常数据流，产生异常告警；

步骤4.5，若idx＜n，则idx＝idx+1，跳转到步骤4.4，否则，步骤4结束。

2.根据权利要求1所述的基于上下文的多数据流异常检测方法，其特征在于步骤1多数据流获取和快照生成的具体步骤如下：

步骤1.1，给定一个由n个同构的计算节点构成的分布式计算***，每个计算节点有h个完全相同的度量；

步骤1.2，同步记录t时刻第i个计算节点的观测值其中表示第i个计算节点在时刻t的观测值的第m个观测维度上的分量，1≤i≤n，1≤m≤h；

步骤1.3，构成计算节点i对应的数据流S_i＝{s_i1,s_i2,s_i3,...,s_it}；

步骤1.4，n个计算节点的数据流构成数据流集S＝{S₁,S₂,...S₃,...S_i,...,S_n}；

步骤1.5，记录t时刻的数据流集S的快照S^t＝[s_it|s_it∈S_i,S_i∈S,1≤i≤n]。

3.根据权利要求1所述的基于上下文的多数据流异常检测方法，其特征在于步骤2多数据流快照异常量化的具体步骤如下：

步骤2.1，给定时刻t的快照S^t，构造n×m矩阵

步骤2.2，对矩阵M_t的任意列向量1≤d≤m，采用0-1归一化方式计算得到进而得到新矩阵

步骤2.3，计算任意列向量的均值得到偏差矩阵其中

步骤2.4，计算每个计算节点在时刻t产生的数据流快照的异常量化值N_it，具体步骤为：

步骤2.4.1，初始化列向量其中1≤k≤m，计算第k个观测维度的方差

步骤2.4.2，计算每个计算节点的的数据流快照异常量化值分量其中1≤f≤n，M_t”(f,k)是矩阵M”第f行第k列的值；

步骤2.4.3，计算时刻t第i个计算节点的数据流快照异常量化值

4.根据权利要求3所述的基于上下文的多数据流异常检测方法，其特征在于步骤3的数据流异常量化，步骤如下：

步骤3.1，给定任意的数据流S_i，记录时刻t之前的所有快照异常量化值{N_i0,N_i1,...,N_i(t-1)}，计算这t个快照异常量化值对于当前时刻t的影响力I_it，其中U_t＝e^-λkt为影响力衰减函数，其中λ＞0是衰减快慢阈值；

步骤3.2，综合考虑多数据流快照异常量化结果和单个数据流中历史数据对于异常量化结果的影响力，得出数据流S_i的异常量化结果值N_i＝N_it+I_it。