CN105119734B

CN105119734B - 基于健壮多元概率校准模型的全网络异常检测定位方法

Info

Publication number: CN105119734B
Application number: CN201510414996.5A
Authority: CN
Inventors: 钱叶魁; 叶立新; 朱少卫; 李宇翀; 杜江; 黄浩; 杨瑞朋; 雒朝峰
Original assignee: PLA AIR DEFENCE FORCES ACADEMY SCHOOL
Current assignee: PLA AIR DEFENCE FORCES ACADEMY SCHOOL
Priority date: 2015-07-15
Filing date: 2015-07-15
Publication date: 2018-04-17
Anticipated expiration: 2035-07-15
Also published as: CN105119734A

Abstract

本发明涉及一种基于健壮多元概率校准模型的全网络异常检测定位方法；该全网络异常检测定位方法含有下列步骤：步骤1、正常流量建模：使用采集到的流量数据建立常态模型；正常流量建模分为：含有异常噪声数据下的正常模型构建和流量数据有缺失情况下的正常模型构建；步骤2、流量异常检测：利用样本与常态模型的马氏距离衡量该样本是否异常；步骤3、异常OD定位：通过对异常样本OD流的贡献分析定位异常发生的位置；本发明既可以处理完整数据，也可以处理数据缺失的情况，对异常噪声干扰的抵抗力较强，并且对模型参数的敏感性较低，性能稳定。

Description

基于健壮多元概率校准模型的全网络异常检测定位方法

(一)、技术领域

本发明涉及一种网络异常检测方法，特别涉及一种基于健壮多元概率校准模型的全网络异常检测定位方法。

(二)、背景技术

当前因特网环境下，各种网络异常事件层出不穷，DDos攻击、僵尸网络等大规模的网络入侵给互联网的安全运营带来严重威胁，而网络拥塞、网络故障等也会严重影响互联网的服务质量，因此，网络异常行为的检测和定位是非常必要的。同时，网络异常种类繁多、变化快速，且常常隐藏在复杂庞大的背景流量中，给网络异常的检测、定位带来极大的困难。

针对网络异常检测的研究也有很多，有使用主机的***日志、审计信息等为数据源，采用数据挖掘等方法提出基于主机的异常检测方法；有使用端到端往返时延、丢包率等性能测量数据，采用一元时间序列分析法提出基于单路径的异常检测方法；有使用单条链路的SNMP、NetFlow等网络流量数据，采用机器学习、小波分析等方法提出基于单链路的异常检测方法。上述方法主要关注网络的局部信息，监测范围有限，但随着网络规模不断扩大，数据传输速度持续加快，许多网络异常呈现出很强的全局特性，其影响分散到网络中多条链路或路径，在局部表征信息并不明显。采用上述基于主机、单路径或单链路的分析检测方法无法对网络进行综合测量和全局分析，在检测精度方面也很难保证。

针对以上问题，Lakhina等人首次提出了基于主元分析子空间构建(subspaceconstruction via PCA)的全网络(network-wide)异常检测方法，综合利用多条路径的流量统计信息构建正常模型，通过判断当前情形是否偏离正常模型，从而确定异常是否发生；随后的研究沿着全网络检测的思路，在检测算法的时空扩展性、鲁棒性、实时性和异常测度等方面进行了研究，丰富了全网络异常检测的内容。上述方法综合利用整个网络的流量数据，取得了优于单节点、单路径或单链路方法的检测性能，同时由于采用建立正常模型并与其相比较的异常检测方法，无需建立异常特征库，因而既可以检测已知异常也可以检测未知异常，应用范围广。基于流量统计量的全网络异常检测方法通过引入范围更广、维度更多的网络信息改善检测性能，但该方法部署在大规模高速骨干网上时也面临一些现实问题：一是采集范围的扩大、采集设备的增多、网络速度的加快，使得必须考虑由于部分设备故障造成的采集数据缺失的情况，或者流量数据在传输的过程中出现缺失的情况，会使上述的异常检测方法因为数据不完整而变得不可用；二是实际的骨干网流量不但数据量巨大，而且非常复杂，隐藏的多种异常流量会影响正常模型构建的准确性，使得模型参数难以选择，异常检测方法的稳定性极难保证，而且一些蓄意的攻击流量还能严重毒害检测器；三是上述方法能够发现异常，但在异常定位方面还有欠缺。

Dorothy Denning早在1987年就提出网络异常检测的统计模型，随互联网的发展，网络异常检测也越发重要。按照检测范围区分，有传统的基于主机、单路径、单链路的异常检测方法，而Yegneswaran等人研究发现，网络异常的发生发展呈现出全局性的变化趋势，增大检测范围与异常检测效果的提升超越线性关系，从而奠定了全网络检测方法的基础；2004年，Lakhina等人首次提出了基于流量统计量的全网络异常检测方法，揭示了源-目的(origin-destination,OD)流流量矩阵的低维度特性，并综合利用多条路径的流量统计信息构建正常模型，通过判断当前情形是否偏离正常模型从而确定异常是否发生；随后，LingHuang等人利用随机矩阵扰动(stochastic matrix perturbation)理论对基于PCA的异常检测法进行了改进，提出了低开销的分布式PCA的全网络异常检测方法；Brauckhoff等人将PCA推广得到基于Galerkin的Karhunen-Loveve变换展开式计算方法并用于全网络异常检测；Ahmed等人针对检测时效性的问题提出了核递归最小二乘(kernel recursive leastsquares)在线检测方法。上述方法对网络异常检测中面临的实际网络环境问题(如异常噪声干扰、数据缺失)和异常定位问题缺少研究。

Ringberg等人针对异常流量噪声对检测器性能的影响进行了深入研究，指出大流量异常可以造成PCA检测器正常模型的偏移，从而增加了异常检测的虚警率；Rubinstein等人进一步针对检测器的毒害问题展开研究，定量研究了一些毒害攻击方法对PCA异常检测器的毒害能力。钱叶魁等人列举了3种毒害攻击机制，并采用投影追踪等方法提出一种基于健壮PCA的毒害防御机制RPCA。上述方法主要分析了不同的毒害攻击方式对PCA检测器的危害性，并有针对性的研究了PCA检测器的防御机制，缺少对复杂异常噪声环境下一般的正常建模方法的研究。

数据缺失问题在多个领域都是常见的实际问题，如何从不完整数据中获得足够有用的信息是亟待解决的问题。Wangli Xu等分别针对不同类型变量缺失时变系数模型的拟合优度检验问题提出了解决方法；在网络领域，Yin Zhang等人指出在大规模高速骨干网上进行网络流量数据测量面临着数据缺失的问题，并提出一种稀疏正规化矩阵分解(sparsity regularized matrix factorization)的方法将缺失数据插补填充完整，该方法可以应用在流量工程、容量规划等方面，但对缺失数据下的网络异常检测缺少深入研究。

网络异常检测能够确定异常发生的时间，而异常定位则是一件极具挑战的任务。Ringberg等人研究分析了基于PCA的全网络异常检测方法在异常定位方面存在的不足；Eriksson等人则提出一种基检测(basis detect)的全网络异常检测、定位方法，但该方法只能定位到边界路由器，无法提供更加详细的异常定位信息。

(三)、发明内容

本发明要解决的技术问题是：提供一种基于健壮多元概率校准模型的全网络异常检测定位方法，该方法既可以处理完整数据，也可以处理数据缺失的情况，对异常噪声干扰的抵抗力较强，并且对模型参数的敏感性较低，性能稳定。

本发明的技术方案：

数据源模型：

早期的因特网流量研究主要集中在一个互联网服务提供商(Internet serviceprovider,ISP)中的单链路数据包的时间特征，由此得到了在自相似、长相关等流量特性。但是一个ISP中常包含数百上千条链路，而因特网由几万个这样的ISP组成，当在这样大的背景中观察，流量的空间特性就凸显出来了，而流量矩阵作为一种给定网络结构下节点间流量的紧缩和简洁的描述，是网络流量研究中一种常用的模型结构。同时分析整个网络所有链路的流量数据是项难以完成的任务，而使用OD流流量矩阵进行整个网络的流量分析更加直接和清晰，本发明采用了PoP(point of presence)级流量矩阵作为研究的数据源。

PoP级流量矩阵：假设某自治***(autonomous system,AS)有n个PoP节点，以一定的周期连续地被动测量任意一对PoP节点之间的流量，流量的流入节点为源节点，流出节点为目的节点，这样就可记为源-目的(OD)流流量，然后将该测量值排列成一个N×D的矩阵X，称为该AS的PoP级流量矩阵(如图1所示)，其中，N表示测量的周期数，D表示OD流量测量值的个数(D＝n×n)。流量矩阵第i行表示第i个周期由各OD流量测量值组成的向量；第j列表示第j个OD由各时间测量值序列组成的向量。流量矩阵的任一元素x_ij表示第i个周期第j个OD上的某种流量测度大小。本发明采用的流量测度为流量大小(字节数、分组数或流数)。

数据缺失问题：

在数据采集的过程中，由于高速骨干网数据量庞大、传输快速，可能造成采集设备的负担加大、稳定性下降，从而出现数据缺失；在数据传输过程中由于网络拥塞、设备或链路故障也会造成数据缺失。

网络测量中流量数据的缺失并非都是完全随机化的，许多情况下缺失是高度结构化的，这里提出了4种缺失的机制用来描述网络数据采集和传输过程可能遇到的数据缺失的情况。

(1)完全随机缺失

完全随机缺失是指流量矩阵X中的任意元素x_ij以随机概率q丢失，这种丢失情况可能出现在流量测量设备偶然出现的拥塞，或测量数据采用了不可靠的传输机制而出现的随机数据缺失。

(2)时间段随机缺失

流量矩阵的行对应于流量的采集周期，时间段随机缺失是指流量矩阵X中任意一行元素以概率q丢失，这种情况可能发生在测量数据集中处理时由于数据量过大导致存储设备过载或程序故障等原因造成该时段的采集数据丢失。

(3)OD随机缺失

流量矩阵的列对应于OD流，OD随机缺失对应于流量矩阵X中任意一列元素以概率q丢失。这种情况的出现可能由于流过滤或采集程序错误造成的OD源或目的识别错误，链路或路由器故障也会造成相关OD上数据的缺失。

(4)块随机缺失

块随机缺失是指流量矩阵X的某一子矩阵以概率q丢失。这种结构化的缺失可能出现在采集设备故障或存储器满并持续若干采集周期的情况下，对应于流量矩阵多个相邻行列的数据缺失。如果把缺失的子块设为流量矩阵的某一行则转变为时间段随机缺失，设为某一列则转变为OD随机缺失。

异常噪声下建模问题：

在样本已知的情况下，建立模型常使用极大似然估计进行模型参数的估计，使用该方法需要已知数据的概率分布函数，但是准确描述数据的概率分布是很困难的，由于正态分布具有很好的运算性质，常常假设数据总体满足正态分布的特性。线性高斯回归模型中其极大似然估计与最小二乘估计等价，在有异常噪声环境下进行最小二乘拟合，离群样本点(即与样本集内大部分样本分布差异过大的少量样本)会造成拟合的偏离，影响模型的准确性。因而在实际的互联网环境中，采集得到的流量中含有复杂的异常流量作为流量总体的离群点存在，并影响模型的建立，如何在这种情况下较为准确地构建流量常态模型是亟需解决的问题。

异常定位问题：

进行网络异常检测可以发现异常并确定异常发生的时刻，但是为了更准确地掌握网络中的故障或者安全问题，有针对性的进行处理，就需要进行异常定位。在流量矩阵X中进行异常定位即为确定异常发生时对应的矩阵行列交插的位置x_ij，X的某行对应于异常发生的时间，X的某列对应于异常发生的位置(即位于某个或某几个OD上)。

一种基于健壮多元概率校准模型(robust multivariate probabilisticcalibration model，RMPCM)的全网络异常检测定位方法，含有下列步骤：

步骤1、正常流量建模：使用采集到的流量数据建立常态模型；

步骤2、流量异常检测：利用样本与常态模型的马氏距离衡量该样本是否异常；

步骤3、异常OD定位：通过对异常样本OD流的贡献分析定位异常发生的位置。

步骤1中的正常流量建模分为：含有异常噪声数据下的正常模型构建和流量数据有缺失情况下的正常模型构建。

含有异常噪声数据下的正常模型构建方法为：将多元t分布引入隐变量概率模型，解决含有异常噪声数据下的正常模型构建的问题；

A.使用t分布取代正态分布，建立隐变量概率模型：

设每个d维的隐向量t_i都来自于一个D维特征向量x_i的线性概率投影，其中，D≥d，以此建立隐变量概率模型；为了改善高斯噪声模型对异常观测值过于敏感的问题，选择t分布取代正态分布，并选择单位方差t分布作为隐向量的先验分布，概率模型如下：

p(t_i)＝S(t_i|0,I_d,v) (5)

p(x_i|t_i)＝S(x_i|Wt_i+μ,τI_D,v) (6)

其中，μ为位置向量，I为单位矩阵，v为t分布的自由度，W为投影矩阵，τ为待求解的模型参数；

对该概率模型无法直接使用极大似然估计进行求解，将t分布模型扩展为均值相同的无限高斯混合模型，t分布模型的先验分布为伽玛分布，且参数只与t分布的自由度v有关：

其中，Ga(u|α,β)＝β^αu^α-1e^-βu/Γ(α)为伽玛分布的概率密度函数，Λ为尺度矩阵；根据公式(7)，引入隐变量u，u为标量，u:Ga(v/2,v/2)，若t:t(μ,Λ,v)，则t|u:N(μ,u^-1Λ)；得到如下隐变量模型：

为了求取模型参数{μ,τ,W,v}，还需要得到u|x和t|x,u，由公式(9)和公式(10)，可得：

p(x_i|u_i)＝∫p(x_i|t_i,u_i)p(t_i|u_i)dt＝N(μ,WW^T+τI_D/u_i) (11)

设Ψ＝WW^T+τI_D为D×D的矩阵，x的边缘分布服从t分布，可表示为：p(x_i)＝S(μ,Ψ,v)，

由公式(8)和公式(11)可求得：

其中，δ²＝(x_i-μ)^TΨ^-1(x_i-μ)，由公式(9)和公式(10)可求得：

p(t_i|x_i,u_i)∝p(x_i|t_i,u_i)p(t_i|u_i)＝N(M^-1W^T(x_i-μ),τΜ^-1/u_i) (13)

其中，M＝W^TW+τI_d为d×d的矩阵，t|x服从t分布，即p(t_i|x_i)＝S(M^-1W^T(x_i-μ),τΜ^-1,v)；

B.进行模型参数求解：

需要求取的模型参数为Ω＝{μ,τ,W,v,d}，首先，使用基于PCA的碎石图确定保留主元的个数d为5；对{μ,τ,W,v}，采用极大似然估计进行模型的参数估计，其对数似然函数为：

其中，N为样本的数目；

为了简化计算，采用REM(rapid expectation-maximization)算法求取模型参数的极大似然估计，REM可显著提高算法收敛速度，REM算法含有两个阶段，每个阶段都采用EM算法对不同参数进行估计，然后迭代地进行两个阶段的循环，直至满足收敛条件；

第一阶段：

该阶段不考虑t_i，只对参数μ进行估计；

对数似然函数为：

E步：

由Jensen不等式可知，当p(u_i)＝p(u_i|x_i)时，等号成立，建立L₁的下界，由公式(11)可求得L₁的期望，见公式(16)，<·>表示计算期望：

其中，

M步：

将<L₁>对μ求偏导数并令其等于0，可得μ估计值：

第二阶段：

加入隐变量t_i，估计参数{τ,W,v}，并带入求得的μ的估计值

对数似然函数为：

E步：

当p(t_i,u_i)＝p(t_i,u_i|x_i)时，由公式(8)、公式(9)和公式(10)可求得L₂的期望：

其中，<u_i>见公式(17)，

<t_i>＝M^-1W^T(x_i-μ) (21)

<u_it_i>＝<u_i><t_i> (22)

M步：

极大化<L₂>，求得模型参数{W,τ,v}的更新公式：

参数的估计通过对下式进行线性搜索的方法求得：

所述流量数据有缺失情况下的正常模型构建方法为：

对于D维的样本数据x_i，如果其某些维度上的数据发生了缺失，我们仍然可以使用这些数据进行模型参数的估计；将样本数据x_i划分为观测值和缺失值两部分，即

则样本数据x_i的均值和协方差矩阵可表示为：

由于则

其中，

A.使用t分布取代正态分布，建立隐变量概率模型；

B.进行模型参数求解：确定保留主元的个数d为5，对{μ,τ,W,v}，使用REM算法进行缺失数据下的模型参数估计：

第一阶段：

E步：

其中，

<u_i(x_i-μ)(x_i-μ)^T>＝Q_i+<u_i>(z_i-μ)(z_i-μ)^T (31)

是样本数据x_i的某些维度发生缺失时,剩余可以观测到的维度数目；

M步：

将<L′₁>对μ求偏导数并令其等于0，可得μ估计值：

第二阶段：

加入隐变量t_i，估计参数{τ,W,v}，并带入求得的μ的估计值

E步：

其中，

M步：

极大化<L′₂>，求得模型参数{W,τ,v}的更新公式：

参数v的更新通过下式求得：

步骤2中的流量异常检测的具体方法如下：

对于复杂的流量数据需要选择度量标准从而判定其中的异常流量；判断数据中哪些是异常点常用两种策略，即通过判断Hotelling's T²是否超过阈值确定样本点是否为高杠杆异常点(leverage outlier)，通过判断平方预测误差(squared prediction error，SPE)是否超过阈值确定样本点是否为正交异常点(orthogonal outlier)；由于本发明建立了概率模型，可以简单地采用样本的马氏距离来进行流量异常检测，对于完整数据样本，其马氏距离平方为δ²：

δ²＝(x_i-μ)^TΨ^-1(x_i-μ) (38)

对于某些维度有缺失的样本，其马氏距离平方以求其期望来代替：

采用正态分布“3σ”控制图来判读异常，即：当时间序列出现异常时，相应分布则超出控制界限；设马氏距离平方时间序列记为δ²(t)，其均值为μ_M，方差为则“3σ”控制图的设置如下：

中心线：CL＝μ_M

上控制界限：UCL＝μ_M+3σ_M

下控制界限：LCL＝μ_M-3σ_M

根据正态分布规律有：

其中，Φ(·)为标准正态分布的概率分布函数，

“3σ”控制图的判别公式为：

采用“3σ”控制图来判读异常，即当取值偏离均值超过3倍标准差时，判断异常事件的发生，其置信度为99.74％。

步骤3中的异常OD定位的具体方法如下：

确定了异常样本，还需要进一步确定该样本的哪些维度(样本维度与OD相对应)上的异常值应该对样本异常负责，即异常OD定位；设异常样本为x_a，共有D个维度，x_j(j＝1,…,D)为x_a第j维的变量，采用如下的贡献分析方法进行异常OD定位，该方法可分为两个阶段：

阶段一：依次使j＝1、2、3、～、D，每次重复执行下列步骤a1～步骤c1，得到D个执行结果；

步骤a1，将异常样本x_a中的任一x_j设为缺失，得到观测值和缺失值:和

异常样本x_a的均值和协方差矩阵表示为：

由于则

步骤b1，计算条件概率分布得到相应的z_a和Q_a:

计算异常样本x_a的马氏距离平方

步骤c1，计算x_j的贡献度即x_a与的马氏距离的平方差，它表示了异常样本去除某一维度后其异常度量的减少程度；

D个执行结果中，如果小于异常判别的阈值，即贡献度大于设定的异常判别值，则异常样本x_a的第j个维度对x_a的异常负有责任；

阶段二：

如果阶段一中未发现小于异常判别的阈值，则说明异常样本x_a单独某一维的异常不足以造成样本异常，那么进行下列操作：

步骤a2，按照各维度的贡献度从大到小的顺序对各维度的数据进行排序；

步骤b2，按步骤a2排好的顺序,去除排在最前面的两个维度的数据，如果此时算得的马氏距离平方小于异常判别的阈值，则对应的这两个维度共同对样本x_a的异常负有责任；否则，继续不断地去除排在最前面的那个维度的数据，每去除一次排在最前面的维度的数据，计算一次马氏距离平方，直到算得的马氏距离平方小于异常判别的阈值，这时，所有被去除的维度的数据共同对样本x_a的异常负有责任。

本发明的有益效果：

本发明将多元t分布取代正态分布引入隐变量概率模型，进而建立流量矩阵的常态模型，通过比较样本与常态模型之间的马氏距离(Mahalanobis distance)进行流量异常检测，并通过贡献分析法进而实现异常OD定位。本发明通过建立隐变量概率模型的方法解决了待检数据不完整情况下的异常检测问题，通过将多元t分布引入概率建模过程中解决了异常噪声对正常模型的干扰问题，提高了检测精度；本发明的健壮性较好，应用场景宽泛，既可以处理完整数据，也可以处理数据缺失的情况，对异常噪声干扰的抵抗力较强，并且对模型参数的敏感性较低，性能稳定，减少了实际部署中复杂的参数调试工作。

(四)、附图说明

图1为流量矩阵示意图；

图2为RMPCM方法关系步骤图；

图3为异常噪声下正常建模步骤图；

图4为RMPCM的图模型(阴影节点为观测到的向量，箭头表示各随机向量的条件相关性)；

图5为缺失数据下正常建模步骤图；

图6为异常OD定位步骤图；

图7为实测数据无缺失条件下检测结果图；

图8为实测数据在4种缺失机制下的检测结果图；

图9为PCA(图左侧)与RMPCM(图右侧)对主元数的敏感性分析图；

图10为PCA(图左侧)与RMPCM(图右侧)对流量测度的敏感性分析图。

(五)、具体实施方式

基于健壮多元概率校准模型(robust multivariate probabilisticcalibration model，RMPCM)的全网络异常检测定位方法含有下列步骤：

网络中的异常事件与网络异常检测和定位的关系为(如图2所示)：异常事件会影响网络中部分流的统计量，而网络流总体相应的统计量的改变触发异常检测器报警，网络管理人员收到警报后通过异常定位抽取出网络中的异常流，进而分析确定异常事件；

将网络异常检测方法应用在实际的互联网环境中常常会遇到一些现实问题，例如在传输、采集的过程中流量数据的缺失问题，以及网络中异常流量干扰造成模型偏移的问题。

在流量数据不完整的情况下，以往传统的网络异常检测方法都无法应用，本发明采用Bayes统计计算方法，但由于网络流量数据的复杂性并不能直接应用Bayes方法得到后验均值估计及其渐进方差，而是引入隐变量概率模型，即在已知测量数据的基础上添加一些“潜在数据”，从而简化计算完成参数估计，在这过程中可以将“数据缺失部分”连同未知参数一起作为“潜在数据”，采用EM(expectation-maximization)算法求取模型参数的极大似然估计(MLE)。

在进行极大似然估计时需要已知数据的概率分布，通常假设其满足正态分布，但由于实际网络流量中含有一些异常噪声流量，采用正态分布假设会造成参数估计的偏差过大，故本发明引入多元t分布取代多元正态分布。相对于正态分布，t分布具有重尾特性，引入t分布后在极大似然估计过程中异常样本具有较低的权重，可以减少对参数估计的影响，其具体解释如下：

样本数据为x_i(i＝1,…,N)，假设其满足独立同分布的正态随机向量，记为

其中，N为样本的数目，D为样本的维度，μ为均值向量函数，参数为θ，Σ为D×D的协方差矩阵，参数为我们采用t分布模型取代上述正态分布模型，记为

同样，D为样本的维度，μ为位置参数(location parameter)向量，Λ为尺度矩阵(scale matrix)，v为_t分布的自由度(degrees of freedom)，其概率密度函数(p.d.f.)为：

其中，δ²＝(x-μ)^TΛ^-1(x-μ)是x到μ的马氏距离的平方，Γ(·)为伽玛函数；当v＜∞，使用极大似然估计进行参数估计时，使用t分布模型比正态分布模型对离群点干扰的健壮性更好，主要体现在具有较大马氏距离的离群点对模型参数估计的贡献相对较少，下面以参数θ的估计为例进行解释：

对于正态分布模型(1)，其极大似然估计满足等式：其中，l为对数似然函数，A_i为μ_i对θ的偏导数矩阵；在t分布模型(2)下，极大似然估计满足等式：其中，

为样本i的权重，可见随着的增大w_i减小；异常样本具有较大的δ_i，较小的w_i，因此，在模型参数估计中使用t分布可以减小对异常样本的敏感性，相对于正态分布模型，t分布模型的健壮性更好；v为t分布模型对离群点健壮性的调整参数，随着v的减小而增大；当v→∞时，正态分布模型与t分布模型的极大似然估计等价。

含有异常噪声数据下的正常模型构建方法为：将多元t分布引入隐变量概率模型，解决含有异常噪声数据下的正常模型构建的问题(如图3所示)；

A.使用t分布取代正态分布，建立隐变量概率模型：

p(t_i)＝S(t_i|0,I_d,v) (5)

p(x_i|t_i)＝S(x_i|Wt_i+μ,τI_D,v) (6)

其中，Ga(u|α,β)＝β^αu^α-1e^-βu/Γ(α)为伽玛分布的概率密度函数，Λ为尺度矩阵；根据公式(7)，引入隐变量u，u为标量，u:Ga(v/2,v/2)，若t:t(μ,Λ,v)，则t|u:N(μ,u^-1Λ)；得到如下隐变量模型(如图4所示)：

p(x_i|u_i)＝∫p(x_i|t_i,u_i)p(t_i|u_i)dt＝N(μ,WW^T+τI_D/u_i) (11)

由公式(8)和公式(11)可求得：

其中，δ²＝(x_i-μ)^TΨ^-1(x_i-μ)，由公式(9)和公式(10)可求得：

p(t_i|x_i,u_i)∝p(x_i|t_i,u_i)p(t_i|u_i)＝N(M^-1W^T(x_i-μ),τΜ^-1/u_i) (13)

B.进行模型参数求解：

其中，N为样本的数目；

第一阶段：

该阶段不考虑t_i，只对参数μ进行估计；

对数似然函数为：

E步：

其中，

M步：

将<L₁>对μ求偏导数并令其等于0，可得μ估计值：

第二阶段：

加入隐变量t_i，估计参数{τ,W,v}，并带入求得的μ的估计值

对数似然函数为：

E步：

其中，<u_i>见公式(17)，

<t_i>＝M^-1W^T(x_i-μ) (21)

<u_it_i>＝<u_i><t_i> (22)

M步：

极大化<L₂>，求得模型参数{W,τ,v}的更新公式：

参数的估计通过对下式进行线性搜索的方法求得：

所述流量数据有缺失情况下的正常模型构建方法为(如图5所示)：

则样本数据x_i的均值和协方差矩阵可表示为：

由于则

其中，

A.使用t分布取代正态分布，建立隐变量概率模型；

第一阶段：

E步：

其中，

<u_i(x_i-μ)(x_i-μ)^T>＝Q_i+<u_i>(z_i-μ)(z_i-μ)^T (31)

M步：

将＜L′₁＞对μ求偏导数并令其等于0，可得μ估计值：

第二阶段：

加入隐变量t_i，估计参数{τ,W,v}，并带入求得的μ的估计值

E步：

其中，

M步：

极大化＜L′₂＞，求得模型参数{W,τ,v}的更新公式：

参数v的更新通过下式求得：

步骤2中的流量异常检测的具体方法如下：

δ²＝(x_i-μ)^TΨ^-1(x_i-μ) (38)

中心线：CL＝μ_M

上控制界限：UCL＝μ_M+3σ_M

下控制界限：LCL＝μ_M-3σ_M

根据正态分布规律有：

其中，Φ(·)为标准正态分布的概率分布函数，

“3σ”控制图的判别公式为：

步骤3中的异常OD定位的具体方法如下：

确定了异常样本，还需要进一步确定该样本的哪些维度(样本维度与OD相对应)上的异常值应该对样本异常负责，即异常OD定位；设异常样本为x_a，共有D个维度，x_j(j＝1,…,D)为x_a第j维的变量，采用如下的贡献分析方法(步骤如图6所示)进行异常OD定位，该方法可分为两个阶段：

异常样本x_a的均值和协方差矩阵表示为：

由于则

步骤b1，计算条件概率分布得到相应的z_a和Q_a:

计算异常样本x_a的马氏距离平方

阶段二：

算法复杂度分析：

在RMPCM算法中，主要的计算开销是流量矩阵的尺度矩阵Ψ求逆和EM算法的迭代次数。Ψ为D×D的矩阵，D为样本X的维数，对应于流量矩阵的列数，即OD的个数(n×n)，在计算过程中，直接计算Ψ^-1对算法复杂度影响很大，本发明利用Woodbury矩阵恒等式，可得Ψ^-1＝(WW^T+τI_D)^-1＝τ^-1I_D-τ^-1WM^-1W^T，其中，M＝W^TW+τI_d为d×d的矩阵，使用PCA降维方法确定保留的主元数d，可知d＜＜D，这样就将求D×D的矩阵Ψ的逆转化为求d×d的矩阵M的逆，极大地简化了计算复杂度。其时间复杂度为O(Td²)。算法的时间复杂度还与EM算法的迭代次数有关，本发明采用快速EM算法计算中迭代次数一般小于15次。采用Matlab在win7***配置为酷睿i7 3.5GHz的CPU、4GB内存的计算机，对后续实验中数据集执行RMPCM检测算法，完整数据下运行时间不超过2.53s，在缺失数据下运行时间小于5s，见表1。如果实际部署时将Matlab代码转换为二进制可执行程序计算速度将会进一步加快。

表1RMPCM算法执行时间

网络实测数据分析：

数据集：

实测数据集选择了网络流量研究中常用的骨干网Abilene的数据集，Abilene网络主要用户为美国的大学和科研机构等。由于其2003年的数据较为完整也有较多方法采用便于参考，本发明选择了2003年12月15日至12月21日11个PoP节点的NetFlow数据，并根据BGP和ISIS选路表得到每条流的入口点和出口点，求得OD流量大小及流量矩阵，见表2。本发明使用该数据集进行缺失数据条件下的检测性能评价以及敏感性分析。

表2 Abilene流量矩阵数据集

数据缺失下异常检测：

实测数据无缺失条件下的检测结果如图7所示。在进行实测数据集缺失条件下的异常检测实验时，选择分组数(P)数据集按前面提出的4种缺失机制依次进行测试。为了比较各种缺失机制下RMPCM方法的异同从而分析影响检测性能的因素，在完全随机缺失、时间段随机缺失、OD随机缺失3种机制下设置相同的丢失率比较不同机制对检测性能的影响，在第4种块随机缺失的机制下比较相同丢失率不同块大小对检测性能的影响。为了消除丢失数据实验的偶然性，进行了10次试验，取实验均值并以完整数据下RMPCM的检测结果为基准绘出ROC曲线。

完全随机缺失实验选择了3种丢失率，丢失数据占流量矩阵总数据量的10％，20％，50％，限于篇幅仅展示部分结果，如图8中的(a)依次为丢失率10％，50％的检测曲线图及ROC曲线；时间段随机缺失实验设置随机缺失的周期数分别为200，400，1000，由于总的时间周期为2010，故时间段随机缺失与完全随机缺失所丢弃的数据量是相近的，部分结果如图8中的(b)所示；OD随机缺失实验时由于算法限制矩阵的整列不能全为空，故选择相邻的一半数据为空，设置缺失的OD数分别为24，48，121，OD总数为121，所以OD随机缺失实验的丢弃数据量与前两者相近，部分结果如图8中的(c)所示。三种机制的实验都表现出影响检测率的主要因素为异常数据的缺失，同时也发现随着数据丢失率的增大，相同检测率下的虚警率逐渐升高，ROC曲线表现出的性能也逐渐变差；三种机制相比较也可发现检测性能受完全随机缺失影响最小，时间段随机缺失次之，OD随机缺失最大，分析原因应与每次结构化缺失的数据量的大小有关，为此进行第4种块随机缺失实验，实验设定不同块大小但保持相同丢失量，分别设定三种块大小5*5，16*16，40*40，缺失的块数量分别为2000，200，30，保持丢失量占总数据量约20％，结果如图8中的(d)所示，通过ROC曲线可知结构化缺失的数据量对检测性能影响较大，当块大小增大到40*40时检测性能显著下降。

敏感性分析：

本发明敏感性分析主要针对两种情况：一是对保留主元数目d的敏感性分析，二是对流量测度的敏感性分析。实验选用PCA方法进行对比。

选择流数(F)数据集进行主元数的敏感性分析实验，实验结果如图9所示，图9中的(a)、(c)分别为PCA保留主元数为4和5时的检测曲线，可见曲线轮廓完全不同，检测结果差别很大；图9中的(b)、(d)分别为RMPCM对应的检测曲线，曲线轮廓及检测结果均保持一致。实验中验证了RMPCM方法主元数2至10的检测情况，检测结果基本一致，保持了很高的稳健性。

分别选择数据集B、P、F进行流量测度的敏感性分析，实验均设定主元的累计方差贡献率阈值为0.85，结果如图10所示，PCA方法在3种测度下得到的曲线轮廓完全不同，检测结果也差别很大；而RMPCM方法的检测曲线轮廓近似，检测结果虽有不同但有较大联系，采用分组数为测度检测到的异常数最多，采用流数为测度得到的结果包含在以分组数为测度检测到的异常中，占比为59.6％，同样的采用字节数为测度得到的结果也包含在分组数为测度得到的异常中，占比为43.5％。由于没有实测数据集的异常标注，无法知道异常发生的实际情况，但以流数、字节数、分组数为测度得到的统计量是有关联的，相应的异常检测结果也应该有所重合，而PCA方法得到的结果有多处相互冲突，对流量测度过于敏感，相比之下RMPCM方法稳健性很强，得到的结果更加合理。

模拟实验、仿真平台实验和因特网实测数据分析表明：RMPCM方法的检测性能优于PCA方法和ANTIDOTE方法，并且健壮性很好，无论待检数据完整与否、检测环境是否有较强干扰，该方法都表现出较为稳定的检测性能，对模型参数的敏感性也较低。

Claims

1.一种基于健壮多元概率校准模型的全网络异常检测定位方法，其特征是：含有下列步骤：

步骤3、异常OD定位：通过对异常样本OD流的贡献分析定位异常发生的位置；

所述步骤1中的正常流量建模分为：含有异常噪声数据下的正常模型构建和流量数据有缺失情况下的正常模型构建；

所述含有异常噪声数据下的正常模型构建方法为：

A.使用t分布取代正态分布，建立隐变量概率模型：

设每个_d维的隐向量t_i都来自于一个D维特征向量x_i的线性概率投影，其中，D≥d，选择t分布取代正态分布，并选择单位方差t分布作为隐向量的先验分布，概率模型如下：

p(t_i)＝S(t_i|0,I_d,v) (5)

p(x_i|t_i)＝S(x_i|Wt_i+μ,τI_D,v) (6)

将t分布模型扩展为均值相同的无限高斯混合模型，t分布模型的先验分布为伽玛分布，且参数只与t分布的自由度v有关：

<mrow> <mi>p</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>|</mo> <mi>&mu;</mi> <mo>,</mo> <mi>&Lambda;</mi> <mo>,</mo> <mi>v</mi> <mo>)</mo> </mrow> <mo>=</mo> <msubsup> <mo>&Integral;</mo> <mn>0</mn> <mrow> <mo>+</mo> <mi>&infin;</mi> </mrow> </msubsup> <mi>N</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>|</mo> <mi>&mu;</mi> <mo>,</mo> <msup> <mi>u&Lambda;</mi> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msup> <mo>)</mo> </mrow> <mi>G</mi> <mi>a</mi> <mrow> <mo>(</mo> <mi>u</mi> <mo>|</mo> <mfrac> <mi>v</mi> <mn>2</mn> </mfrac> <mo>,</mo> <mfrac> <mi>v</mi> <mn>2</mn> </mfrac> <mo>)</mo> </mrow> <mi>d</mi> <mi>u</mi> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>7</mn> <mo>)</mo> </mrow> </mrow>

p(x_i|u_i)＝∫p(x_i|t_i,u_i)p(t_i|u_i)dt＝N(μ_,WW^T+τI_D/u_i) (11)

设Ψ＝WW^T+τI_D为D×D的矩阵，x的边缘分布服从t分布，可表示为：

p(x_i)＝S(μ,Ψ,v)，

由公式(8)和公式(11)可求得：

<mrow> <mi>p</mi> <mrow> <mo>(</mo> <msub> <mi>u</mi> <mi>i</mi> </msub> <mo>|</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mo>&Proportional;</mo> <mi>p</mi> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>|</mo> <msub> <mi>u</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mi>p</mi> <mrow> <mo>(</mo> <msub> <mi>u</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mi>G</mi> <mi>a</mi> <mrow> <mo>(</mo> <msub> <mi>u</mi> <mi>i</mi> </msub> <mo>|</mo> <mfrac> <mrow> <mi>D</mi> <mo>+</mo> <mi>v</mi> </mrow> <mn>2</mn> </mfrac> <mo>,</mo> <mfrac> <mrow> <msup> <mi>&delta;</mi> <mn>2</mn> </msup> <mo>+</mo> <mi>v</mi> </mrow> <mn>2</mn> </mfrac> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>12</mn> <mo>)</mo> </mrow> </mrow>

其中，δ²＝(x_i-μ)^TΨ^-1(x_i-μ)，由公式(9)和公式(10)可求得：

p(t_i|x_i,u_i)∝p(x_i|t_i,u_i)p(t_i|u_i)＝N(M^-1W^T(x_i-μ),τΜ^-1/u_i) (13)

B.进行模型参数求解：

需要求取的模型参数为Ω＝{μ,τ,W,v,d}，首先，确定保留主元的个数d为5；对{μ,τ,W,v}，采用极大似然估计进行模型的参数估计，其对数似然函数为：

<mrow> <mi>L</mi> <mo>=</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <mi>ln</mi> <mi> </mi> <mi>p</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <msub> <mi>t</mi> <mi>i</mi> </msub> <mo>,</mo> <msub> <mi>u</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>14</mn> <mo>)</mo> </mrow> </mrow>

其中，N为样本的数目；

采用REM算法求取模型参数的极大似然估计，REM算法含有两个阶段，每个阶段都采用EM算法对不同参数进行估计，然后迭代地进行两个阶段的循环，直至满足收敛条件；

第一阶段：

该阶段不考虑t_i，只对参数μ进行估计；

对数似然函数为：

<mrow> <msub> <mi>L</mi> <mn>1</mn> </msub> <mo>=</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <mi>ln</mi> <mi> </mi> <mi>p</mi> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>,</mo> <msub> <mi>u</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <mi>l</mi> <mi>n</mi> <mo>{</mo> <mi>p</mi> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>|</mo> <msub> <mi>u</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mi>p</mi> <mrow> <mo>(</mo> <msub> <mi>u</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mo>}</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>15</mn> <mo>)</mo> </mrow> </mrow>

E步：

<mrow> <mo><</mo> <msub> <mi>L</mi> <mn>1</mn> </msub> <mo>></mo> <mo>=</mo> <mo>-</mo> <munderover> <mi>&Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <mo><</mo> <msub> <mi>u</mi> <mi>i</mi> </msub> <mo>></mo> <msup> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>-</mo> <mi>&mu;</mi> <mo>)</mo> </mrow> <mi>T</mi> </msup> <msup> <mi>&Psi;</mi> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msup> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>-</mo> <mi>&mu;</mi> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>16</mn> <mo>)</mo> </mrow> </mrow>

其中，

M步：

将<L₁>对μ求偏导数并令其等于0，可得μ估计值：

<mrow> <mover> <mi>&mu;</mi> <mo>~</mo> </mover> <mo>=</mo> <mfrac> <mrow> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <mo><</mo> <msub> <mi>u</mi> <mi>i</mi> </msub> <mo>></mo> <msub> <mi>x</mi> <mi>i</mi> </msub> </mrow> <mrow> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>T</mi> </munderover> <mo><</mo> <msub> <mi>u</mi> <mi>i</mi> </msub> <mo>></mo> </mrow> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>18</mn> <mo>)</mo> </mrow> </mrow>

第二阶段：

加入隐变量t_i，估计参数{τ,W,v}，并带入求得的μ的估计值

对数似然函数为：

<mrow> <msub> <mi>L</mi> <mn>2</mn> </msub> <mo>=</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <mi>ln</mi> <mi> </mi> <mi>p</mi> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>,</mo> <msub> <mi>t</mi> <mi>i</mi> </msub> <mo>,</mo> <msub> <mi>u</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <mi>l</mi> <mi>n</mi> <mo>{</mo> <mi>p</mi> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>|</mo> <msub> <mi>t</mi> <mi>i</mi> </msub> <mo>,</mo> <msub> <mi>u</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mi>p</mi> <mrow> <mo>(</mo> <msub> <mi>t</mi> <mi>i</mi> </msub> <mo>|</mo> <msub> <mi>u</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mi>p</mi> <mrow> <mo>(</mo> <msub> <mi>u</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mo>}</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>19</mn> <mo>)</mo> </mrow> </mrow>

E步：

<mrow> <mtable> <mtr> <mtd> <mrow> <mo><</mo> <msub> <mi>L</mi> <mn>2</mn> </msub> <mo>></mo> <mo>=</mo> <mo>-</mo> <munderover> <mi>&Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <mo>{</mo> <mfrac> <mi>D</mi> <mn>2</mn> </mfrac> <mi>ln</mi> <mi>&tau;</mi> <mo>+</mo> <mfrac> <mrow> <mo><</mo> <msub> <mi>u</mi> <mi>i</mi> </msub> <mo>></mo> </mrow> <mrow> <mn>3</mn> <mi>&tau;</mi> </mrow> </mfrac> <msup> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>-</mo> <mover> <mi>&mu;</mi> <mo>~</mo> </mover> <mo>)</mo> </mrow> <mi>T</mi> </msup> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>-</mo> <mover> <mi>&mu;</mi> <mo>~</mo> </mover> <mo>)</mo> </mrow> <mo>-</mo> <mfrac> <mn>1</mn> <mi>&tau;</mi> </mfrac> <mo><</mo> <msub> <mi>u</mi> <mi>i</mi> </msub> <msub> <mi>t</mi> <mi>i</mi> </msub> <msup> <mo>></mo> <mi>T</mi> </msup> <msup> <mi>W</mi> <mi>T</mi> </msup> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>-</mo> <mover> <mi>&mu;</mi> <mo>~</mo> </mover> <mo>)</mo> </mrow> <mo>+</mo> <mfrac> <mn>1</mn> <mrow> <mn>2</mn> <mi>&tau;</mi> </mrow> </mfrac> <mi>t</mi> <mi>r</mi> <mrow> <mo>(</mo> <msup> <mi>W</mi> <mi>T</mi> </msup> <mi>W</mi> <mo><</mo> <msub> <mi>u</mi> <mi>i</mi> </msub> <msub> <mi>t</mi> <mi>i</mi> </msub> <msubsup> <mi>t</mi> <mi>i</mi> <mi>T</mi> </msubsup> <mo>></mo> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>+</mo> <mfrac> <mi>v</mi> <mn>2</mn> </mfrac> <mi>l</mi> <mi>o</mi> <mi>g</mi> <mfrac> <mi>v</mi> <mn>2</mn> </mfrac> <mo>+</mo> <mfrac> <mrow> <mi>v</mi> <mo>-</mo> <mn>2</mn> </mrow> <mn>2</mn> </mfrac> <mo><</mo> <msub> <mi>logu</mi> <mi>i</mi> </msub> <mo>></mo> <mo>-</mo> <mi>log</mi> <mi>&Gamma;</mi> <mrow> <mo>(</mo> <mfrac> <mi>v</mi> <mn>2</mn> </mfrac> <mo>)</mo> </mrow> <mo>-</mo> <mfrac> <mi>v</mi> <mn>2</mn> </mfrac> <mo><</mo> <msub> <mi>u</mi> <mi>i</mi> </msub> <mo>></mo> <mo>}</mo> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>20</mn> <mo>)</mo> </mrow> </mrow>

其中，<u_i>见公式(17)，

<t_i>＝M^-1W^T(x_i-μ) (21)

<u_it_i>＝<u_i><t_i> (22)

M步：

极大化<L₂>，求得模型参数{W,τ,v}的更新公式：

<mrow> <mover> <mi>W</mi> <mo>~</mo> </mover> <mo>=</mo> <mrow> <mo>(</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <mo>(</mo> <mrow> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>-</mo> <mover> <mi>&mu;</mi> <mo>~</mo> </mover> </mrow> <mo>)</mo> <mo><</mo> <msub> <mi>u</mi> <mi>i</mi> </msub> <msub> <mi>t</mi> <mi>i</mi> </msub> <msup> <mo>></mo> <mi>T</mi> </msup> <mo>)</mo> </mrow> <msup> <mrow> <mo>(</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <mo><</mo> <msub> <mi>u</mi> <mi>i</mi> </msub> <msub> <mi>t</mi> <mi>i</mi> </msub> <msubsup> <mi>t</mi> <mi>i</mi> <mi>T</mi> </msubsup> <mo>></mo> <mo>)</mo> </mrow> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>25</mn> <mo>)</mo> </mrow> </mrow>

<mrow> <mover> <mi>&tau;</mi> <mo>~</mo> </mover> <mo>=</mo> <mfrac> <mn>1</mn> <mrow> <mi>N</mi> <mi>D</mi> </mrow> </mfrac> <munderover> <mi>&Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <mo>{</mo> <mo><</mo> <msub> <mi>u</mi> <mi>i</mi> </msub> <mo>></mo> <mo>|</mo> <mo>|</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>-</mo> <mover> <mi>&mu;</mi> <mo>~</mo> </mover> <mo>|</mo> <msup> <mo>|</mo> <mn>2</mn> </msup> <mo>-</mo> <mn>2</mn> <mo><</mo> <msub> <mi>u</mi> <mi>i</mi> </msub> <msub> <mi>t</mi> <mi>i</mi> </msub> <msup> <mo>></mo> <mi>T</mi> </msup> <msup> <mover> <mi>W</mi> <mo>~</mo> </mover> <mi>T</mi> </msup> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>-</mo> <mover> <mi>&mu;</mi> <mo>~</mo> </mover> <mo>)</mo> </mrow> <mo>+</mo> <mi>t</mi> <mi>r</mi> <mrow> <mo>(</mo> <msup> <mover> <mi>W</mi> <mo>~</mo> </mover> <mi>T</mi> </msup> <mover> <mi>W</mi> <mo>~</mo> </mover> <mo><</mo> <msub> <mi>u</mi> <mi>i</mi> </msub> <msub> <mi>t</mi> <mi>i</mi> </msub> <msubsup> <mi>t</mi> <mi>i</mi> <mi>T</mi> </msubsup> <mo>></mo> <mo>)</mo> </mrow> <mo>}</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>26</mn> <mo>)</mo> </mrow> </mrow>

参数的估计通过对下式进行线性搜索的方法求得：

<mrow> <mn>1</mn> <mo>+</mo> <mi>l</mi> <mi>o</mi> <mi>g</mi> <mfrac> <mi>v</mi> <mn>2</mn> </mfrac> <mo>-</mo> <mi>&psi;</mi> <mrow> <mo>(</mo> <mfrac> <mi>v</mi> <mn>2</mn> </mfrac> <mo>)</mo> </mrow> <mo>+</mo> <mfrac> <mn>1</mn> <mi>N</mi> </mfrac> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <mrow> <mo>(</mo> <mo><</mo> <mi>log</mi> <mi> </mi> <msub> <mi>u</mi> <mi>i</mi> </msub> <mo>></mo> <mo>-</mo> <mo><</mo> <msub> <mi>u</mi> <mi>i</mi> </msub> <mo>></mo> <mo>)</mo> </mrow> <mo>=</mo> <mn>0</mn> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>27</mn> <mo>)</mo> </mrow> <mo>;</mo> </mrow>

所述流量数据有缺失情况下的正常模型构建方法为：

将样本数据x_i划分为观测值和缺失值两部分，即

则样本数据x_i的均值和协方差矩阵可表示为：

由于则

其中，

A.使用t分布取代正态分布，建立隐变量概率模型；

第一阶段：

E步：

<mrow> <mo><</mo> <msup> <msub> <mi>L</mi> <mn>1</mn> </msub> <mo>&prime;</mo> </msup> <mo>></mo> <mo>=</mo> <mo>-</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <mi>t</mi> <mi>r</mi> <mrow> <mo>(</mo> <mo><</mo> <msub> <mi>u</mi> <mi>i</mi> </msub> <mo>(</mo> <mrow> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>-</mo> <mi>&mu;</mi> </mrow> <mo>)</mo> <msup> <mrow> <mo>(</mo> <mrow> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>-</mo> <mi>&mu;</mi> </mrow> <mo>)</mo> </mrow> <mi>T</mi> </msup> <mo>></mo> <msup> <mi>&Psi;</mi> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msup> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>29</mn> <mo>)</mo> </mrow> </mrow>

其中，

<u_i(x_i-μ)(x_i-μ)^T>＝Q_i+<u_i>(z_i-μ)(z_i-μ)^T (31)

M步：

将<L₁′>对μ求偏导数并令其等于0，可得μ估计值：

<mrow> <mover> <mi>&mu;</mi> <mo>~</mo> </mover> <mo>=</mo> <mfrac> <mrow> <munderover> <mi>&Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <mo><</mo> <msub> <mi>u</mi> <mi>i</mi> </msub> <mo>></mo> <msub> <mi>z</mi> <mi>i</mi> </msub> </mrow> <mrow> <munderover> <mi>&Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <mo><</mo> <msub> <mi>u</mi> <mi>i</mi> </msub> <mo>></mo> </mrow> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>32</mn> <mo>)</mo> </mrow> </mrow>

第二阶段：

加入隐变量t_i，估计参数{τ,W,v}，并带入求得的μ的估计值

E步：

<mrow> <mo><</mo> <msup> <msub> <mi>L</mi> <mn>2</mn> </msub> <mo>&prime;</mo> </msup> <mo>></mo> <mo>=</mo> <mo>-</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <mo>{</mo> <mfrac> <mi>D</mi> <mn>2</mn> </mfrac> <mi>l</mi> <mi>n</mi> <mi>&tau;</mi> <mo>+</mo> <mfrac> <mn>1</mn> <mrow> <mn>2</mn> <mi>&tau;</mi> </mrow> </mfrac> <mi>t</mi> <mi>r</mi> <mo>&lsqb;</mo> <mo><</mo> <msub> <mi>u</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>-</mo> <mover> <mi>&mu;</mi> <mo>~</mo> </mover> <mo>)</mo> </mrow> <msup> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>-</mo> <mover> <mi>&mu;</mi> <mo>~</mo> </mover> <mo>)</mo> </mrow> <mi>T</mi> </msup> <mo>></mo> <mo>&rsqb;</mo> <mo>-</mo> <mfrac> <mn>1</mn> <mi>&tau;</mi> </mfrac> <mi>t</mi> <mi>r</mi> <mo>&lsqb;</mo> <mo><</mo> <msub> <mi>u</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>-</mo> <mover> <mi>&mu;</mi> <mo>~</mo> </mover> <mo>)</mo> </mrow> <msubsup> <mi>t</mi> <mi>i</mi> <mi>T</mi> </msubsup> <mo>></mo> <msup> <mi>W</mi> <mi>T</mi> </msup> <mo>&rsqb;</mo> <mo>+</mo> <mfrac> <mn>1</mn> <mrow> <mn>2</mn> <mi>&tau;</mi> </mrow> </mfrac> <mi>t</mi> <mi>r</mi> <mrow> <mo>(</mo> <msup> <mi>W</mi> <mi>T</mi> </msup> <mi>W</mi> <mo><</mo> <msub> <mi>u</mi> <mi>i</mi> </msub> <msub> <mi>t</mi> <mi>i</mi> </msub> <msubsup> <mi>t</mi> <mi>i</mi> <mi>T</mi> </msubsup> <mo>></mo> <mo>)</mo> </mrow> <mo>}</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>33</mn> <mo>)</mo> </mrow> </mrow>

其中，

M步：

极大化<L₂′>，求得模型参数{W,τ,v}的更新公式：

<mrow> <mover> <mi>W</mi> <mo>~</mo> </mover> <mo>=</mo> <mrow> <mo>(</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <mo><</mo> <msub> <mi>u</mi> <mi>i</mi> </msub> <mo>(</mo> <mrow> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>-</mo> <mover> <mi>&mu;</mi> <mo>~</mo> </mover> </mrow> <mo>)</mo> <msubsup> <mi>t</mi> <mi>i</mi> <mi>T</mi> </msubsup> <mo>></mo> <mo>)</mo> </mrow> <msup> <mrow> <mo>(</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <mo><</mo> <msub> <mi>u</mi> <mi>i</mi> </msub> <msub> <mi>t</mi> <mi>i</mi> </msub> <msubsup> <mi>t</mi> <mi>i</mi> <mi>T</mi> </msubsup> <mo>></mo> <mo>)</mo> </mrow> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>36</mn> <mo>)</mo> </mrow> </mrow>

<mrow> <mover> <mi>&tau;</mi> <mo>~</mo> </mover> <mo>=</mo> <mfrac> <mn>1</mn> <mrow> <mi>N</mi> <mi>D</mi> </mrow> </mfrac> <munderover> <mi>&Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <mo>{</mo> <mi>t</mi> <mi>r</mi> <mo>&lsqb;</mo> <mo><</mo> <msub> <mi>u</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>-</mo> <mover> <mi>&mu;</mi> <mo>~</mo> </mover> <mo>)</mo> </mrow> <msup> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>-</mo> <mover> <mi>&mu;</mi> <mo>~</mo> </mover> <mo>)</mo> </mrow> <mi>T</mi> </msup> <mo>&rsqb;</mo> <mo>-</mo> <mn>2</mn> <mi>t</mi> <mi>r</mi> <mo>&lsqb;</mo> <mo><</mo> <msub> <mi>u</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>-</mo> <mover> <mi>&mu;</mi> <mo>~</mo> </mover> <mo>)</mo> </mrow> <msubsup> <mi>t</mi> <mi>i</mi> <mi>T</mi> </msubsup> <mo>></mo> <msup> <mi>W</mi> <mi>T</mi> </msup> <mo>&rsqb;</mo> <mo>+</mo> <mi>t</mi> <mi>r</mi> <mrow> <mo>(</mo> <msup> <mover> <mi>W</mi> <mo>~</mo> </mover> <mi>T</mi> </msup> <mover> <mi>W</mi> <mo>~</mo> </mover> <mo><</mo> <msub> <mi>u</mi> <mi>i</mi> </msub> <msub> <mi>t</mi> <mi>i</mi> </msub> <msubsup> <mi>t</mi> <mi>i</mi> <mi>T</mi> </msubsup> <mo>></mo> <mo>)</mo> </mrow> <mo>}</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>37</mn> <mo>)</mo> </mrow> </mrow>

参数v的更新通过下式求得：

<mrow> <mn>1</mn> <mo>+</mo> <mi>log</mi> <mfrac> <mi>v</mi> <mn>2</mn> </mfrac> <mo>-</mo> <mi>&psi;</mi> <mrow> <mo>(</mo> <mfrac> <mi>v</mi> <mn>2</mn> </mfrac> <mo>)</mo> </mrow> <mo>+</mo> <mfrac> <mn>1</mn> <mi>N</mi> </mfrac> <munderover> <mi>&Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <mrow> <mo>(</mo> <mo><</mo> <mi>log</mi> <mi> </mi> <msub> <mi>u</mi> <mi>i</mi> </msub> <mo>></mo> <mo>-</mo> <mo><</mo> <msub> <mi>u</mi> <mi>i</mi> </msub> <mo>></mo> <mo>)</mo> </mrow> <mo>=</mo> <mn>0.</mn> </mrow>

2.根据权利要求1所述的基于健壮多元概率校准模型的全网络异常检测定位方法，其特征是：所述步骤2中的流量异常检测的具体方法如下：

采用样本的马氏距离来进行流量异常检测，对于完整数据样本，其马氏距离平方为δ²：

δ²＝(x_i-μ)^TΨ^-1(x_i-μ) (38)

<mrow> <msubsup> <mi>&delta;</mi> <mi>m</mi> <mn>2</mn> </msubsup> <mo>=</mo> <mi>t</mi> <mi>r</mi> <mo>{</mo> <msup> <mi>&Psi;</mi> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msup> <mo>&lsqb;</mo> <mrow> <mo>(</mo> <msub> <mi>z</mi> <mi>i</mi> </msub> <mo>-</mo> <mi>&mu;</mi> <mo>)</mo> </mrow> <msup> <mrow> <mo>(</mo> <msub> <mi>z</mi> <mi>i</mi> </msub> <mo>-</mo> <mi>&mu;</mi> <mo>)</mo> </mrow> <mi>T</mi> </msup> <mo>+</mo> <msub> <mi>Q</mi> <mi>i</mi> </msub> <mo>&rsqb;</mo> <mo>}</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>39</mn> <mo>)</mo> </mrow> </mrow>

中心线：CL＝μ_M

上控制界限：UCL＝μ_M+3σ_M

下控制界限：LCL＝μ_M-3σ_M

根据正态分布规律有：

<mrow> <mi>P</mi> <mo>{</mo> <mo>-</mo> <mn>3</mn> <msub> <mi>&sigma;</mi> <mi>M</mi> </msub> <mo><</mo> <msubsup> <mi>&delta;</mi> <mi>M</mi> <mn>2</mn> </msubsup> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> <mo><</mo> <mn>3</mn> <msub> <mi>&sigma;</mi> <mi>M</mi> </msub> <mo>}</mo> <mo>=</mo> <mi>&Phi;</mi> <mrow> <mo>(</mo> <mfrac> <mrow> <mn>3</mn> <msub> <mi>&sigma;</mi> <mi>M</mi> </msub> <mo>-</mo> <msub> <mi>&mu;</mi> <mi>M</mi> </msub> </mrow> <msub> <mi>&sigma;</mi> <mi>M</mi> </msub> </mfrac> <mo>)</mo> </mrow> <mo>-</mo> <mi>&Phi;</mi> <mrow> <mo>(</mo> <mfrac> <mrow> <mo>-</mo> <mn>3</mn> <msub> <mi>&sigma;</mi> <mi>M</mi> </msub> <mo>-</mo> <msub> <mi>&mu;</mi> <mi>M</mi> </msub> </mrow> <msub> <mi>&sigma;</mi> <mi>M</mi> </msub> </mfrac> <mo>)</mo> </mrow> <mo>=</mo> <mn>99.74</mn> <mi>%</mi> </mrow>

其中，Φ(·)为标准正态分布的概率分布函数，

“3σ”控制图的判别公式为：

<mrow> <msubsup> <mi>&delta;</mi> <mi>M</mi> <mn>2</mn> </msubsup> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> <mo>></mo> <mn>3</mn> <msub> <mi>&sigma;</mi> <mi>M</mi> </msub> </mrow>

3.根据权利要求1所述的基于健壮多元概率校准模型的全网络异常检测定位方法，其特征是：所述步骤3中的异常OD定位的具体方法如下：

设异常样本为x_a，共有D个维度，x_j(j＝1,…,D)为x_a第j维的变量，采用如下的贡献分析方法进行异常OD定位，该方法可分为两个阶段：

步骤a1，将异常样本x_a中的任一x_j设为缺失，得到观测值和缺失值:和异常样本x_a的均值和协方差矩阵表示为：

由于则

步骤b1，计算条件概率分布得到相应的z_a和Q_a:

计算异常样本x_a的马氏距离平方

<mrow> <msubsup> <mi>&delta;</mi> <mi>m</mi> <mn>2</mn> </msubsup> <mo>=</mo> <mi>t</mi> <mi>r</mi> <mo>{</mo> <msup> <mi>&Psi;</mi> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msup> <mo>&lsqb;</mo> <mrow> <mo>(</mo> <msub> <mi>z</mi> <mi>a</mi> </msub> <mo>-</mo> <mi>&mu;</mi> <mo>)</mo> </mrow> <msup> <mrow> <mo>(</mo> <msub> <mi>z</mi> <mi>a</mi> </msub> <mo>-</mo> <mi>&mu;</mi> <mo>)</mo> </mrow> <mi>T</mi> </msup> <mo>+</mo> <msub> <mi>Q</mi> <mi>a</mi> </msub> <mo>&rsqb;</mo> <mo>}</mo> </mrow>

步骤c1，计算x_j的贡献度即x_a与的马氏距离的平方差；

阶段二：