CN101534305A - 网络流量异常检测方法和*** - Google Patents

Abstract

本发明提供一种网络流量异常检测方法和***，该方法包括下列步骤：采集流量指标数据，建立流量指标数据矩阵；采用主成分分析方法建立所述流量指标数据矩阵的主元模型；通过所述主元模型的多变量统计控制图对网络流量进行异常检测。本发明提供的上述方法和***可操作性强，且有效提高了网络流量异常检测的准确度。

Description

网络流量异常检测方法和***

技术领域

本发明涉及网络管理与安全技术领域，具体涉及一种对于网络异常的检测方法。

背景技术

在高速骨干网络层面进行宏观网络流量异常检测时，巨大流量的实时处理和未知攻击的检测给传统入侵检测技术带来了很大的挑战。在流量异常检测方面，国内外的学术机构和企业不断探讨并提出了多种检测方法。

目前国内外研究人员主要采用源-目的(Origin-Destination OD)流矩阵以及相关统计分析方法进行网络异常检测，2004年Lakhina等人在ACMSIGMETRICS中的Structural Analysis of Network Traffic Flows等文章中公开了如下所述的网络异常检测分析方法：首先利用主成分分析方法(PCA)，将源和目标之间的OD流组成的OD流矩阵进行PCA分析处理，将网络流量数据大体分为周期变化的数据、短期突变的数据和高斯分布的噪音数据；然后将周期变化的数据归结到3个主成份上，以3个新的复合变量来重构网络流的特征，从而构成了网络流量数据的正常空间，剩下的其它成份复合变量构成了网络流量数据的异常空间；最后采用子空间(Subspace)方法来检测分析网络异常。但在上述方法中，OD流矩阵的获取、计算方法非常复杂，代价高，对异常类型的判断方法也很复杂，需要事先进行标准异常特征的学习，所以该方法在实际应用中可操作性较差。

发明内容

本发明要解决的技术问题是提供一种可操作性强的网络流量异常检测方法和***。

为实现上述目的，本发明提供了一种网络流量异常检测方法，包括下列步骤：

1)采集流量指标数据，建立流量指标数据矩阵；

2)采用主成分分析方法建立所述流量指标数据矩阵的主元模型；

3)通过所述主元模型的多变量统计控制图对网络流量进行异常检测。

上述方法中，所述流量指标数据包括网络应用类型、端口或IP地址对的字节数目指标信息，网络应用类型、端口或IP地址对的包数目指标信息，包字节大小信息，和/或流方向信息。

上述方法中，所述步骤1)进一步包括：

采集所述流量指标数据，基于应用层协议对所述流量指标数据进行分类统计；

建立流量指标数据矩阵。

上述方法中，所述步骤1)还包括对所述流量指标矩阵进行归一化的步骤。

上述方法中，所述步骤3)为：采用平方预测误差统计图检测所述网络流量异常出现的时间。

上述方法中，所述步骤3)还包括步骤：

采用主元贡献图分析对所述网络流量异常贡献最大的流量指标。

根据本发明的另一方面，还提供了一种网络流量异常检测***，包括下列部件：

网络探针，用于采集流量指标数据；

分析部件，用于建立流量指标数据矩阵，采用主成分分析方法建立所述流量指标数据矩阵的主元模型，通过所述主元模型的多变量统计控制图对网络流量进行异常检测。

上述检测***中，所述网络探针包括应用层流量识别与分类模块，用于基于应用层协议分类统计所述流量指标数据。

本发明提供的上述方法可操作性强，而且有效提高了网络流量异常检测的准确度。

附图说明

图1是根据本发明一个具体实施例的网络异常检测方法的流程图；

图2是根据本发明一个具体实施例的字节数目流量指标的碎石图；

图3是根据本发明一个具体实施例的字节数目流量指标数据矩阵的主元模型的SPE统计图；

图4是根据本发明一个具体实施例的第160时刻各字节数目流量指标贡献图；

图5是根据本发明一个具体实施例的异常时刻基础应用各协议出境字节速率；

图6是根据本发明一个具体实施例的包数目流量指标的碎石图；

图7是根据本发明一个具体实施例的包数目流量指标数据矩阵的主元模型的SPE统计图；

图8是根据本发明一个具体实施例的第160时刻各包数目流量指标贡献图；

图9是根据本发明一个具体实施例的异常时刻基础应用各协议出境包速率；

图10是根据本发明一个具体实施例的网络流量检测***。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对根据本发明一个实施例的网络流量异常检测分析方法进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

当前本领域普通技术人员认为基本的网络流量指标数据不能满足对网络的深入分析的要求，必须要有详细的流信息。但实际上对于网络管理员来说，没有详细的流信息，但只要告知出现的异常流信息的特征和范围就能帮助其快速排查原因。例如在线检测出某异常发生，实时报警，并指出该异常是由出境的基本应用流量导致的，数据包的大小主要在256字节和512字节之间，这样的信息可以很快帮助管理员缩小分析问题的范围，管理员可以马上查询当时基础应用各协议的出境比特速率图，如果发现当时HTTP协议的比特速率猛增，这样其可以进行排查，从而检查网内的WEB服务器是否出现异常。

由于在网络流量指标之间存在着一定的相关性，这使得利用较少的变量反映全部变量的信息成为可能，因此，可以采用PCA方法对流量指标数据矩阵进行降维和特征提取，将其转化为相互独立的低维变量空间，建立相应的主元模型，实现对复杂流量指标数据的特征抽取。主元模型舍弃了部分残差而保留体现数据变异的主要方向。一个特定的异常会使测量值按照特定的规律变化，主元模型则包含了异常在变量空间的变化方向。

在具体描述本发明的方法和***之前，首先说明本发明所采用的PCA方法。PCA方法是多元统计学中的一种方法，其试图在力保数据信息丢失最少的原则下，对多变量的截面数据表进行最佳综合简化，也就是说，对高维变量空间进行降维处理。

假设有p个随机变量，记为X₁，X₂，...，X_p，PCA就是要把这p个随机变量的问题，转变为讨论p个随机变量的线性组合F₁，F₂，...，F_p的问题，其被称为主成分，这些线性组合之间相互独立。其中的F₁，F₂，...，F_k(k≤p)按照保留主要信息量的原则充分反映原指标的信息。这种由多个指标降为少数几个综合指标的过程在数学上称为降维。PCA一般的做法是，寻求原指标的线性组合F_i，其中：

F₁＝u₁₁X₁+u₂₁X₂+…+u_p1X_p

F₂＝u₁₂X₁+u₂₂X₂+…+u_p2X_p

……

F_p＝u_1pX₁+u_2pX₂+…+u_ppX_p，

而且，

$u_{1i}^2+u_{2i}^2+\·\·\·+u_{\mathrm{pi}}^2=1.$

主成分之间相互独立，即无重叠的信息，即：

Cov(F_i，F_j)＝0，i≠j，i，j＝1，2，…，p

主成分的方差依次递减，重要性依次递减，即

Var(F₁)≥Var(F₂)≥…≥Var(F_p)

由前面的介绍可知PCA可以产生一个压缩的统计模型——主元模型，模型给出了随机变量的线性组合，描述了数据变化的主要趋势。主元模型使原随机变量数据标准差的平方重新分布，大多数随机变量数据标准差平方会分布在第一主成份上，其次分布在第二主成份上，依此类推。按某种准则将最后几个主成份视为分解残差予以忽略，则有可能利用较少的主成份来说明较多的信息。对于一个给定的m行采样值和n列随机变量的数据矩阵X，每行是给定时间的n个变量的采样。

X的协方差为：

$\mathrm{COV}\left(X\right)=\frac{X\′X}{m-1}$

如果X已经归一化，协方差就成为相关矩阵。PCA将数据矩阵X分解为k(k≤min|m，n)个向量的矢积和以及一个残差矩阵E的主元模型：

X＝t₁p₁+t₂p₂+...+t_mp_m+E＝X_p+E

式中E为残差矩阵，t为得分向量，p为协方差的特征向量。

得分向量t形成的正交矩阵

描述了采样值是如何互相关联的。特征向量p形成的标准正交矩阵( $p_i^T{p}_j=0,$ 当i≠j时， $p_i^T{p}_j=1$ 当i＝j时)描述了随机变量是如何相互关联的。

而且：

COV(X)P_i＝λ_iP_i

式中P_i为协方差的特征向量，λ_i为特征向量P_i的特征值。

一个主成份的得分是指通过对给定采样数量的所有随机变量的特征值进行主成份估值时所得到的值。例如：第一主成份衡量了随机变量的线性组合度，随机变量在该方向获取了最多的数据的变化，因为P₁是与协方差的最大特征值相关的。第二主成份拥有次多的数据变化，和协方差的第二大特征值相关，并和第一主成份正交。与第一主成份不相关的变量线性组合度说明了一些变化是与第一主成份无关的。简要的说，对m维变量空间而言第一特征向量P₁定义了最大变化方向，而第一得分向量t₁表示了每个采样或观察值在第一主成份轴上的投影。对一个m行n列矩阵X，能够计算出n个主成份，但是因为相关性和噪声，最前的k个主成份就足以表述数据的主要变化了，即可得到k个主成份的主元模型。

图1是根据本发明一个具体实施例的网络异常检测方法的流程图，如图1所示，该方法包括如下步骤：采集流量指标数据按一定的时间窗口建立流量指标数据矩阵；对该流量指标数据矩阵进行归一化处理；采用PCA方法建立所述流量指标数据矩阵的主元模型；采用主元模型的SPE统计图将实际数据与正常模型进行对比从而自动发现被测网络流量异常出现的时间点；通过主元贡献图查出对网络流量异常的贡献最大的流量指标分量，从而发现导致异常出现的主要原因。该网络异常检测方法的详细描述如下：

将网络流量基于网络应用层协议进行分类，其包括传统基本流量、P2P流量、即时消息流量、游戏流量、流媒体流量、VoIP流量和基于私有其它协议的流量。所述分类便于管理员了解是何种应用引起了网络异常。本领域普通技术人员可以理解，根据检测的深度还可以对基于任一应用层协议的网络流量进一步细分。采集流量指标数据，其包括网络应用类型、端口或IP地址对的字节数目指标信息；网络应用类型、端口或IP地址对的包数目指标信息；包字节大小信息；和/或流方向信息。将所采集的流量指标数据基于上述流量的分类进行分类统计。

利用分类统计的流量指标数据建立数据矩阵X——流量指标数据矩阵，一个合理的流量指标数据矩阵能反映网络流量的总体变化，并且还要包含丰富的信息帮助观察者发现异常产生的原因。考虑到检测重点和计算复杂性，可以选流量指标数据的某些组合来建立流量指标数据矩阵。从上述流量指标可以看出，对流量指标数据可分别按照字节和包数目进行统计，两者大体一致，但也存在差异，优选的，将两者结合以更好地反映网络流量的特征。

根据本发明的一个实施例，根据上述分类采用如表1所示的字节数目流量指标建立流量指标数据矩阵。

表1 字节数目流量指标数据矩阵行向量构成

 

指标序号	指标名称	说明
			1	basic_in_byte	传统流量入境字节数
2	basic_out_byte	传统流量出境字节数
			3	p2p_in_byte	p2p入境字节数
4	p2p_out_byte	p2p出境字节数
			5	im_in_byte	即时消息入境字节数
6	im_out_byte	即时消息出境字节数
			7	game_in_byte	游戏入境字节数
8	game_out_byte	游戏出境字节数
			9	streaming_in_byte	流媒体入境字节数
10	streaming_out_byte	流媒体出境字节数

 

指标序号	指标名称	说明
			11	voip_in_byte	VOIP入境字节数
12	voip_out_byte	VOIP处境字节数
			13	others_in_byte	其它入境字节数
14	others_out_byte	其它出境字节数
			15	SUM(B_I_64)	小于64byte的包的入境字节总数
16	SUM(B_O_64)	小于64byte的包的出境字节总数
			17	SUM(B_I_128)	大于64小于128的包的入境字节总数
18	SUM(B_O_128)	大于64小于128的包的出境字节总数
			19	SUM(B_I_256)	大于128小于256的包的入境字节总数
20	SUM(B_O_256)	大于128小于256的包的出境字节总数
			21	SUM(B_I_512)	大于256小于512的包的入境字节总数
22	SUM(B_O_512)	大于256小于512的包的出境字节总数
			23	SUM(B_I_1024)	大于512小于1024的包的入境字节总数
24	SUM(B_O_1024)	大于512小于1024的包的出境字节总数
			25	SUM(B_I_1518)	大于1024小于1518的包的入境字节总数
26	SUM(B_O_1518)	大于1024小于1518e的包的出境字节总数
			27	SUM(B_I_L1518)	大于1518byte的包的入境字节总数
28	SUM(B_O_L1518)	大于1518byte的包的出境字节总数

流量指标数据矩阵的行向量由这28个流量指标构成，考虑流量是以天为周期的，采用间隔为5分钟的24小时的采样数据总共288个样本作为建模空间。

为消除实际量纲的影响，对上述流量指标数据进行归一化。每个流量指标作为一个随机变量，将每个随机变量的采样数据减去其均值然后除以其标准差。用Xs表示所有随机变量经过归一化处理后得到的数据矩阵：

$\stackrel{\‾}{X}s=[X-{(1.......1)}^{T}M]\mathrm{diag}[\frac{1}{s_1}\frac{1}{s_2}.....\frac{1}{s_m}];$

式中M为随机变量的均值，M＝[m₁ m₂......m_m]，

s为随机变量标准差， $s=[\frac{1}{s_1}\frac{1}{s_2}.....\frac{1}{s_m}].$

一段网络流量正常期间的的流量指标采样数据在进行了上述归一化后，利用如上所述的PCA方法建立主元模型，以用于对待检测的流量指标数据进行检测。

根据归一化后的数据矩阵进行主成份分析得到：

$\stackrel{\‾}{X}s=t_1{p}_1^T+t_2{p}_2^T+...+t_m{p}_m^T$

如可以用前k(k<m)个主成份来代表数据中的主要变化，可以得到主元模型：X＝X_p+E。

表2是该主元模型前9个主成份的构成参数表，C1-C28表示第1至28号原始字节数目流量指标。表3是该主元模型的前9个主成份的特征值、贡献率以及累积贡献率表。从表3中可看出第一主成份PC1的贡献率为74％，到PC3，累计贡献率已经达到86.7％。

表2 字节数目流量指标数据矩阵主成份构成表

表3 字节数目流量指标数据矩阵主成份特征分析表

图2是字节数目流量指标的碎石图，示出了主成分和其特征值的对应关系，例如第一主成分的特征值是20.73。图中的曲线呈现较为理想的模式，只需前3个主成份即可描述流量指标的主体变化了，所以建立包括3个主成份的主元模型。

建立主元模型之后，利用多变量统计控制图对网络流量进行异常检测。本领域普通技术人员可以理解，多变量统计控制图包括：平方预测误差(SPE)统计图、T^2统计图、主元贡献图等。根据本发明的实施例，采用主元模型的SPE统计图将实际数据与正常模型进行对比从而自动发现被测流量异常出现的时间，本领域普通技术人员可以理解还可以采用其它的多变量统计控制图进行异常检测。优选的，本发明的实施例还包括：通过主元贡献图分析对异常的贡献最大的流量指标分量，从而发现导致异常出现的主要原因。

SPE统计图，又称Q统计图。SPE统计量表示的是待检测网络流量的主元模型相对于网络流量正常时的主元模型的偏离程度，是衡量模型外部数据变化的量度。SPE统计量也称为Q统计量。计算每一采样时刻待检测主元模型的SPE统计量SPE_δ，并计算检验水平为α时，SPE统计量控制限SPE_a。

如果SPE_δ>SPE_a，表示该时刻统计量出现异常。优选的，SPE_a的检验水平α取值为0.95，以达到较高的统计检验可信度。SPE统计量由多个随机变量的综合作用而成，可以对多个变量同时进行监控。一般将各采样值的SPE统计量和控制限画在一张SPE统计图上，超出控制限的点则是可能的异常点。

图3是根据本发明一个具体实施例的字节数目流量指标数据矩阵的SPE统计图，可以明显看到在160点处有一个超出控制限很多的异常，SPE₁₆₀＝297.416446。

当SPE统计量超出其控制限时，可以判定待检测数据出现了异常情况，但是并不能从SPE统计图找出究竟是什么数据出现了问题。一个能帮助确定哪个原始分量数据出现异常的有效工具是主元贡献图(Contributionplot)。

根据待检测的网络流量指标的主元贡献图的分析，可以确定引起SPE统计量超出控制限的是哪些流量指标的变化。将这些分析结果与相关知识结合，将会容易地找出引起异常的原因。在获知160点处有异常后，画出160点处的各随机变量的贡献图，如图所示。图4中示出对此处异常贡献最大的是2号和22号原始变量，也就是矩阵行向量中的basic_out_byte和SUM(B_O_512)指标，这说明此处异常是由出境的基本应用流量导致的，数据包的大小主要在256byte和512byte之间，这样的信息可以很快帮助管理员缩小分析问题的范围。

由于已经知道异常流量为基础应用的出境流量，可以查询当时基础应用各协议的出境比特速率图，如图。图5示出当时HTTP协议的比特速率猛增。这样管理员可以进行排查，检查网内的WEB服务器是否出现异常。

考虑到字节数与数据包数目反映了网络流量的不同状况，根据本发明的实施例，再采用网络流量指标信息中的包数目信息建立流量指标数据矩阵。此流量指标数据矩阵包含的流量指标类似于表1，如表：

表4 包数目流量指标数据矩阵行向量构成

 

指标序号	指标名称	说明
			1	basic_in_pkt	传统流量入境包数目
2	basic_out_pkt	传统流量出境包数目
			3	p2p_in_pkt	p2p入境包数目
…	…	…
			27	SUM(P_1_L1518)	大于1518的包的入境包总数
28	SUM(P_O_L1518)	大于1518的包的出境包总数

同样采用间隔为5分钟的24小时的采样数据总共288个样本作为建模空间。图6是包数目流量指标的碎石图，从中可看出只需前3个主成份即可描述流量的主体变化了。图7是包数目流量指标数据矩阵的主元模型的SPE统计图，其与图4同样示出在160点处有一个超出控制限很多的异常，SPE₁₆₀＝299.074614。图8是根据本发明一个具体实施例的第160时刻各包数目流量指标贡献图，与图4类似，图8也示出了对此处异常贡献最大的是2号和22号原始变量，也就是矩阵行向量中的basic_out_pkt和SUM(P_O_512)指标，同样说明此处异常是由出境的基本应用流量导致的，数据包的大小主要在256byte和512byte之间。

查询当时基础应用各协议的出境包速率图，如图9，发现当时HTTP协议的出境包速率猛增，同时注意到基础应用私有协议的数据包速率也有很大的变化。比较前面同一异常时刻的字节速率图，基础应用私有协议的字节速率并没有大的变化，可以推断这些异常的基础应用私有协议的数据流都是小数据包。由此可知，如果能将流量指标数据矩阵建立得更细致，则本发明将更准确地找到出现异常的原因。

根据本发明的一个实施例，提供了一种网络异常检测***，其部署在国内某运营商某个城域网出口处，如图10所示。该检测***是一套完整的可提供2至7层网络性能测试与流量分析的分布式***，其由支持多种速率及接口的分布式网络探针和集中式分析部件组成。

网络探针部署在城域网的出口链路上，其用于通过分光的形式7*24小时的采集流量指标数据，这些流量指标数据可以反映网络的运行整体状况。优选的，网络探针中包括应用层流量识别与分类模块(MPI)，该模块用于识别基于应用层的流量指标数据，分类统计基于应用层的流量指标数据。

分析部件周期性地接收、保存并分析网络探针所采集的流量指标数据以进行网络流量异常检测。具体的，其建立流量指标数据矩阵，采用主成分分析方法建立流量指标数据矩阵的主元模型，通过主元模型的多变量统计控制图对网络流量进行异常检测。

本发明从网络流量指标方面出发进行网络流量建模与异常检测，这是因为检测***提供了极为丰富的网络指标信息，包括IP地址对、端口号、应用层类型、字节数、包数目、流数目和流入流出方向等，而这些指标信息可以反映网络的运行整体状况。流量指标数据的获取代价要比获取OD流要小很多，因此本发明提供的方法可操作性更强。而且，合适的流量指标数据矩阵可以有效提高的网络流量异常检测的准确度。

应该注意到并理解，在不脱离后附的权利要求所要求的本发明的精神和范围的情况下，能够对上述详细描述的本发明做出各种修改和改进。因此，要求保护的技术方案的范围不受所给出的任何特定示范教导的限制。

Claims (8)

1.一种网络流量异常检测方法，包括下列步骤：

1)采集流量指标数据，建立流量指标数据矩阵；

2)采用主成分分析方法建立所述流量指标数据矩阵的主元模型；

3)通过所述主元模型的多变量统计控制图对网络流量进行异常检测。

2.根据权利要求1所述的检测方法，其特征在于，所述流量指标数据包括网络应用类型、端口或IP地址对的字节数目指标信息，网络应用类型、端口或IP地址对的包数目指标信息，包字节大小信息，和/或流方向信息。

3.根据权利要求1或2所述的检测方法，其特征在于，所述步骤1)进一步包括：

采集所述流量指标数据，基于应用层协议对所述流量指标数据进行分类统计；

建立流量指标数据矩阵。

4.根据权利要求1或2所述的检测方法，其特征在于，所述步骤1)还包括对所述流量指标矩阵进行归一化的步骤。

5.根据权利要求1或2所述的检测方法，其特征在于，所述步骤3)为：采用平方预测误差统计图检测所述网络流量异常出现的时间。

6.根据权利要求1或2所述的检测方法，其特征在于，所述步骤3)还包括步骤：

采用主元贡献图分析对所述网络流量异常贡献最大的流量指标。

7.一种网络流量异常检测***，包括下列部件：

网络探针，用于采集流量指标数据；

分析部件，用于建立流量指标数据矩阵，采用主成分分析方法建立所述流量指标数据矩阵的主元模型，通过所述主元模型的多变量统计控制图对网络流量进行异常检测。

8.根据权利要求7所述的检测***，其特征在于，所述网络探针包括应用层流量识别与分类模块，用于基于应用层协议分类统计所述流量指标数据。

Images