CN102821002A - 网络流量异常检测方法和*** - Google Patents

Abstract

本发明公开了一种网络流量异常检测方法和***，该方法包括：监控网络中的流量，提取网络流量的基本特征数据；根据提取的基本特征数据，确定选定的攻击行为的组合特征数据，其中，所述组合特征数据为基本特征数据的子集；将确定的组合特征数据输入对应的所述选定的攻击行为的流量模型，得到输出结果；所述流量模型为根据样本特征库中的选定的攻击行为的样本数据预先建立的；根据得到的输出结果，确定网络流量中是否存在选定的攻击行为。实现了流量检测多元化、识别更准确，可扩展性强。

Description

网络流量异常检测方法和***

技术领域

本发明涉及网络信息安全技术领域，尤指一种适用于高速IP城域网的网络流量异常检测方法和***。

背景技术

随着Internet的发展，网络流量飞速增长，互联网已成为不可或缺的信息载体。与此同时，网络流量也经常会出现偏离正常范围的异常流量，主要是由蠕虫传播、DOS攻击、DDOS攻击、僵尸网络等恶意网络攻击行为以及网络配置失误、偶发性线路中断等引起。这些异常流量往往会导致整个网络服务质量急剧下降，使受害端主机、网络直接瘫痪。因此，如何在大规模网络环境下进行网络异常检测并及时提供预警信息，对保障网络正常运行具有重要意义。

同时，随着网络带宽的不断提高，网络流量异常检测面临新的问题：一方面，网络传输速率大幅度提高，相同的网络攻击，在局域网表现非常明显，而在高速线路中可能并不容易发现，需要高准确性的网络流量异常检测模型；另一方面，网络带宽提高的同时也加快了网络攻击的速度，以网络蠕虫爆发为例，它能够在10min甚至更短的时间内感染互联网内大部分脆弱主机。这就要求异常检测***在快速高效识别出异常流量的同时，还能够实时实施阻断策略。

因此，异常检测的关键是通过对网络流量正常行为的描述来分析和发现网络或***中可能出现的异常行为，并向管理员提出警告，或主动作出反应。

现有的异常检测方法主要有：统计异常检测法，基于域值的异常检测法，基于小波的异常检测法，基于免疫学的异常检测法，基于机器学习、数据挖掘和神经网络的异常检测法以及基于流量信息熵的异常检测法等，

但是这些方法主要存在以下问题：

(1)报警意义不明确。由于上述异常检测方法只检测网络流量中的一种或几种特征向量，而且选取的特征向量没有特定的攻击含义，因而检测***报警时只能知道网络中某些特征向量出现了异常，但是不能判断出现了什么样的攻击。

(2)不能提供协同运行的共享数据。由于Internet是没有集中管理的多个管理域的互联网络，但是异常检测要求各个检测***之间是协同运行的，因而作为协同运行的主要内容的共享数据的提供就显得非常重要。

(3)可扩展性较差：由于现有的异常检测***大多采用一种或几种单一的网络特征向量作为学习和判断的依据，对网络流量的异常描述较为单薄；在异常检测***协同运行中网络特征向量选取得较少就可能会影响检测***的可扩展性。

(4)检测精度、实时性、全面性和新异常行为识别能力不能满足异常检测的测试要求。

检测精度、实时性、全面性和新异常行为识别能力是评价异常检测***的四大关键指标。而目前的异常检测方法由于不能负荷高速网络流量的实时测量，尚不能实现实时异常检测；且一般采用分组抽样式处理，由于抽样不可避免地会丢失流量信息，导致检测精度和准确度降低，不能满足高速流量监控的精度需求；此外现有的异常检测手段单一，识别能力有限，其检测全面性和识别新异常行为的能力都比较差。

可见，现有流量异常检测实现方式，存在检测精度、实时性、全面性和报警意义不明确等诸多导致检测效果不佳的因素；同时，由于针对单一特征向量检测、控制策略单一，导致异常检测的可扩展性差，识别能力有限。且由于软件处理识别速率低，导致在异常检测时仅能给管理员发送报警，不能实现异常流量的阻断。

发明内容

本发明实施例提供一种网络流量异常检测方法和***，用以解决现有技术中存在流量异常检测效果不佳、灵活性和可扩展性差的问题。

一种网络流量异常检测方法，包括：

监控网络中的流量，提取网络流量的基本特征数据；

根据提取的基本特征数据，确定选定的攻击行为的组合特征数据，其中，所述组合特征数据为基本特征数据的子集；

将确定的组合特征数据输入对应的所述选定的攻击行为的流量模型，得到输出结果；所述流量模型为根据样本特征库中的选定的攻击行为的样本数据预先建立的；

根据得到的输出结果，确定网络流量中是否存在选定的攻击行为。

一种网络流量异常检测***，包括：流量统计过滤子***和网管分析子***；

流量统计过滤子***，用于监控网络中的流量，提取网络流量的基本特征数据；

网管分析子***，用于根据提取的基本特征数据，确定选定的攻击行为的组合特征数据，其中，所述组合特征数据为基本特征数据的子集；将确定的组合特征数据输入对应的所述选定的攻击行为的流量模型，得到输出结果；所述流量模型为根据样本特征库中的选定的攻击行为的样本数据预先建立的；根据所述选定的攻击行为的流量模型的输出结果，确定网络流量中是否存在该选定的攻击行为。

本发明有益效果如下：

本发明实施例提供的网络流量异常检测方法和***，通过实时监控网络中的流量，提取网络流量的基本特征数据，确定选定的攻击行为的组合特征数据，将确定的组合特征数据依次输入对应的所述选定的攻击行为的流量模型，得到输出结果，从而确定网络流量中存在该选定的攻击行为。该方法针对不同的攻击行为分别建立模型，从而可以准确的检测出是哪种攻击行为，报警意义明确，检测精度高；该方法实时提取网络流量中的基本特征数据，且针对不同攻击行为有针对性的确定组合特征数据，从而可以全面的检测各种攻击行为，利于多个管理域的协作管理。该方法可以方便的扩展可检测的攻击行为，当有新的攻击行为时，可以建立其流量模型，对其进行检测，扩展方便。该方法能够获取良好的检测效果、较高的检测精度。

附图说明

图1为本发明实施例中网络流量异常检测***的结构示意图；

图2为本发明实施例中网络流量异常检测方法的流程图；

图3为本发明实施例中建基于量子小波神经网络的流量模型的结构图；

图4为本发明实施例中网络流量异常检测***在城域网络中的部署图；

图5为本发明实施例中网络流量异常检测***的具体结构示意图；

图6为本发明实施例中网管分析子***的具体结构示意图。

具体实施方式

针对现有技术中，网络流量异常检测效果不佳、灵活性和可扩展性差等若干问题，本发明实施例提供一种网络流量异常检测方法，基于实时提取的网络流量的特征数据实现流量异常检测，由于针对不同的异常攻击行为考虑了相应的多种特征数据的组合，使检测的实时性、准确性、全面性都获得提高，且检测灵活性和可扩展也比较好。

本发明实施例提供的网络流量异常检测方法，通过如图1所示的网络流量异常检测***实现。该***包括：流量统计过滤子***1和网管分析子***2。

流量统计过滤子***1，用于流量统计过滤子***，用于监控网络中的流量，提取网络流量的基本特征数据。

网管分析子***2，用于根据提取的基本特征数据，确定选定的攻击行为的组合特征数据，其中，所述组合特征数据为基本特征数据的子集；将确定的组合特征数据输入对应的所述选定的攻击行为的流量模型，得到输出结果；所述流量模型为根据样本特征库中的选定的攻击行为的样本数据预先建立的；根据所述选定的攻击行为的流量模型的输出结果，确定网络流量中存在该选定的攻击行为。

优选的，网管分析子***2，还用于确定网络流量中存在该选定的攻击行为，根据该选定的攻击行为的属性信息，设置流量控制参数；

流量统计过滤子***1，还用于根据设置的流量控制参数对网络流量进行过滤控制。

上述基于高速IP城域网的网络流量异常检测方法的流程如图2所示，包括如下步骤：

步骤S11：监控网络中的流量，提取网络流量的基本特征数据。

实时监控网络中的流量，从网络流量中的下列至少一个信息中提取设定数量的特征信息，作为基本特征数据：流量相关信息、数据包相关信息、协议相关信息、端口相关信息、端口流量相关信息、地址相关信息、TCP标志位的相关信息。

具体的，从上述信息中提取设定数量特征数据，具体包括下列数据中的若干种：流报文数、流字节数、流开始时间、流结束时间、包长震荡频率、数据包平均间隔、平均包长、SYN包个数、协议类型、源端口、目的端口、每秒钟发送的数据包数量、源地址、目的地址。通过这些基本特征数据可以比较详细地描述了网络流量的运行状态。

例如：统计到的基本特征数据可以记为包含n个基本特征变量的基本特征集X₁，X₂，L L X_n。其中，n表示基本特征集中的基本特征变量的数量，优选的，n＝256。

步骤S12：根据提取的基本特征数据，确定选定的攻击行为的组合特征数据，其中，组合特征数据为基本特征数据的子集。

将提取的基本特征数据与选定的攻击行为进行类别互熵；根据互熵结果，确定各基本特征数据对选定的攻击行为的重要程度；根据各基本特征数据对选定的攻击行为的重要程度，从基本特征数据中确定选定的攻击行为的组合特征数据。

即针对每种可能存在的攻击行为进行组合特征数据的选取。在进行特征数据的约简时，运用信息熵相关理论，通过计算基本特征集中的各基本特征变量X₁，X₂，L L X_n与不同的攻击行为的互熵进行重要特征选取，根据互熵的大小确定基本特征变量X_i(i＝1，2，......，n)的重要程度λ_i。

根据重要程度选取重要的基本特征变量组成组合特征集X₁，X₂，......X_m，其中m＜n。进而得到组合特征数据

运用信息熵相关理论，通过计算提取的基本特征数据与不同的攻击行为的互熵进行重要特征数据的选取，依据选取的重要特征数据建立能准确代表各攻击行为的组合特征集合，实现对统计网络流量的基本特征数据的有效约简。

步骤S13：将确定的组合特征数据输入对应的选定的攻击行为的流量模型，得到输出结果。

针对各种可能的攻击行为，提取组合特征数据后，将提取的组合特征数据输入对应的攻击行为的流量模型中。

流量模型为根据样本特征库中的选定的攻击行为的样本数据预先建立的。具体是基于量子小波神经网络对样本特征库中的攻击行为的特征数据进行学习训练之后得到的。

流量模型的建立以及使用流量模型对统计的组合特征数据进行处理得到输出结果的过程，在下面进行详细描述。

步骤S14：根据选定的攻击行为的流量模型的输出结果，确定网络流量中是否存在攻击行为和攻击行为的类型。

根据得到的输出结果，确定网络流量中是否存在攻击行为并确定攻击行为的类型，具体包括：根据输出所述输出结果的攻击行为的流量模型，确定输出所述输出结果的流量模型对应的攻击行为的类型；以及根据输出的输出结果的输出值，确定该输出值对应的是存在攻击或不存在攻击，实现确定网络流量中是否存在攻击行为以及攻击行为的类型。

若输出所述输出结果的攻击行为的流量模型为DDoS攻击的流量模型，当输出结果为正常流量的输出值时，确认不存在DDoS攻击；当其输出结果为异常流量的输出值时，确定存在的攻击行为的类型为DDoS攻击；

若输出所述输出结果的攻击行为的流量模型为木马病毒的流量模型，当输出结果为正常流量的输出值时，确认不存在木马病毒；当其输出结果为异常流量的输出值时，确定存在的攻击行为的类型为木马病毒；

若输出所述输出结果的攻击行为的流量模型为恶意代码的流量模型，当输出结果为正常流量的输出值时，确认不存在恶意代码；当其输出结果为异常流量的输出值时，确定存在的攻击行为的类型为恶意代码；

若输出所述输出结果的攻击行为的流量模型为僵死病毒的流量模型，当输出结果为正常流量的输出值时，确认不存在僵死病毒；当其输出结果为异常流量的输出值时，确定存在的攻击行为的类型为僵死病毒。

即根据某个攻击行为的流量模型的输出结果，可以判断网络流量中是否存在该攻击行为。例如：某个选定的攻击行为-木马攻击的组合特征数据输入该攻击行为的流量模型后，输出结果为A，则表明不存在木马攻击，输出结果为B，则表明存在木马攻击。

优选的，上述网络流量异常检测方法还包括：

步骤S15：当确定网络流量中存在某个选定的攻击行为时，根据该选定的攻击行为的属性信息，设置流量控制参数。

一旦发现网络流量中存在某个攻击行为时，即根据从网络流量中提取的该攻击行为的组合特征数据，确定该攻击行为的流量控制参数，例如：端口、地址或其他控制参数等。

优选的，在确定出网络流量中存在该选定的攻击行为时，向用户提供告警展示信息。

步骤S16：根据设置的流量控制参数对网络流量进行过滤控制。

根据设置的端口、地址等流量控制参数，对网络流量进行过滤控制，实现拦截具有设置的流量控制参数的网络流量。从而实现对网络流量中的攻击行为的拦截和阻断过滤。

上述方法中，建立流量模型的过程具体包括：

1)根据样本数据的期望输出和实际输出，确定基于量子小波神经网络的流量模型的模型参数权值。对模型参数权值的调整，使输入数据能对应到不同的类空间中。

根据样本数据的期望输出和实际输出，训练样本的均方误差函数，其中样本的均方误差函数为：

$E_k=\frac{1}{2}\underset{k=1}{\overset{2}{\mathrm{\Σ}}}{(y_k^s-c_k^s)}^2$

$=\frac{1}{2}\underset{k=1}{\overset{2}{\mathrm{\Σ}}}{(y_k^s-\underset{j=1}{\overset{u}{\mathrm{\Σ}}}{v}_{\mathrm{jk}}\left(\frac{1}{n_q}\underset{q=1}{\overset{n_q}{\mathrm{\Σ}}}h\left(\frac{(\mathrm{\β}\left(\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{w}_{\mathrm{ij}}{\mathrm{\λ}}_i{X}_i\right)-{\mathrm{\θ}}_j^q)-b_j}{a_j}\right)\right))}^2$

其中，

为第s批样本第k个输出神经元的期望输出，

为第s批样本第k个输出神经元的实际输出。

假设量子小波神经网络的小波基采用二进正交小波函数，根据上述均方误差函数即可训练得到基于量子小波神经网络的流量模型的模型参数权值w_ij、v_jk、a_j、b_j，在量子小波网络中，这些神经元权值w_ij、v_jk、a_j、b_j均为可调参数。

具体的，可以基于样本数据基于快速牛顿(FN)算法实现均方误差函数Ek极小化，进行神经网络训练，获得w_ij、v_jk、a_j、b_j的修正量。

2)根据确定的基于量子小波神经网络的流量模型的模型参数权值，调整量子小波神经网络模型的量子间隔。

在每个训练周期，更新不同层间的连接权和隐层量子神经元的量子间隔，具体根据获得神经元权值w_ij、v_jk、a_j和b_j，通过相应的算法对神经网络模型隐层量子小波神经元的量子间隔

进行调整。量子间隔调整算法的思想是使量子小波神经网络中基于同一类流量行为样本数据的隐层神经元的输出变化最小。

3)根据确定的模型参数权值和调整后的量子间隔建立基于量子小波神经网络的流量模型。建立的基于量子小波神经网络的流量模型为：

$c_k^s=\underset{j=1}{\overset{u}{\mathrm{\Σ}}}{v}_{\mathrm{jk}}\left(\frac{1}{n_q}\underset{q=1}{\overset{n_q}{\mathrm{\Σ}}}h\left(\frac{(\mathrm{\β}\left(\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{w}_{\mathrm{ij}}{\mathrm{\λ}}_i{X}_i\right)-{\mathrm{\θ}}_j^q)-b_j}{a_j}\right)\right)$ k＝1，2

其中：为第s批样本第k个输出神经元的期望输出；

为第s批样本第k个输出神经元的实际输出；

X_i为组合特征数据中的特征向量；

λ_i表示特征向量X_i的重要程度；

w_ij为输入层神经元P_i到隐含层神经元S_j的连接权；

β为斜率因子；

为量子间隔；

a_j为隐藏层激励函数尺度因子；

b_j为隐藏层激励函数小波函数平移因子；

h(·)为隐藏层激励函数，其中

n^q为量子间隔的数目；

v_jk隐含层神经元到输出层神经元间的连接权；

通过采用量子小波神经网络对网络流量的样本数据进行训练学习，建立起基于多维度特征数据的流量模型，用于检测网络中异常流量。

由于样本特征库支持在线远程升级，利用量子小波神经网络可以及时建立新异常行为的检测识别模型，便于实时更新异常流量检测识别模型。

建立的基于量子小波神经网络的流量模型的结构如图3所示。该流量模型中，输入层L_in有m个节点，分别对应组合特征集的m个向量；隐含层L_h的节点数目为u；输出层L_out有2个节点。每个节点对应一种输出结果，分别对应网络流量的正常和异常两种状态。相邻层节点全互连，而每层神经元之间无连接。

(1)输入层可以输入组合特征集X₁，X₂，L L X_m，经输入层计算得到用于输入隐含层的输入层节点输出函数：

P_i＝λ_iX_i i＝1，2，L，m；

(2)将输入层节点输出函数输入隐含层，经隐含层计算得到用于输入输出层的隐含层节点输出函数：

$S_j=\frac{1}{n_q}\underset{q=1}{\overset{n_q}{\mathrm{\Σ}}}h\left[\mathrm{\β}(W^{T}P-{{\mathrm{\θ}}_j}^q)\right]$ j＝1，2，L，u；

也就是说，隐含层激励函数为

这是一个含有尺度因子a_j和平移因子b_j的小波函数。β为斜率因子；W^TP为量子小波神经元的输入激励；

为量子间隔(s＝1，2，L，n_q)；n_q为量子间隔的数目。W^T为包含w_ij的向量，为网络权向量；P为包含P_i＝λ_iX_i i＝1，2，L，m的向量，为网络输入向量，从接入层获取。

(3)隐含层节点输出函数输入输出层，经输出层计算后得到输出结果c1和c2。

综合输入层、隐含层和输出层的计算，即经过下列流量模型的计算：

$c_k^s=\underset{j=1}{\overset{u}{\mathrm{\Σ}}}{v}_{\mathrm{jk}}\left(\frac{1}{n_q}\underset{q=1}{\overset{n_q}{\mathrm{\Σ}}}h\left(\frac{(\mathrm{\β}\left(\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{w}_{\mathrm{ij}}{\mathrm{\λ}}_i{X}_i\right)-{\mathrm{\θ}}_j^q)-b_j}{a_j}\right)\right)$ k＝1，2，最终可以得到输出结果，即输出结果满足上述公式。

其中，v_jk为隐含层神经元S_j到输出层神经元C_k间的连接权。

上述模型采用量子小波神经网络，其中量子小波神经网络的隐层神经元借鉴了量子理论中的量子态叠加的思想，采用多个小波基函数的线性叠加作为激励函数，叠加的每一个小波函数有不同的量子间隔。

步骤S13和步骤S14，将确定的组合特征数据依次输入对应的选定的攻击行为的流量模型，确定网络中是否存在选定的攻击行为的过程，即在上述的基于量子小波神经网络的流量模型中输入组合特征数据，最后的输出结果的过程。

将经过信息熵约简后得到的组合特征集X₁，X₂，L L X_m作为描述选定的攻击行为的组合特征数据，输入该攻击行为的流量模型，即可确定网络流量中是否存在该攻击行为了。

量子小波神经网络在结构上是一种多层前馈神经网络，类似于BP网络。由于量子小波神经网络的实现形式多种多样，上述仅仅列举了一种实现形式，本发明的关键在于基于动态提取的针对各攻击行为的组合特征数据，确定是否存在该种攻击行为，实现攻击行为确定是可以考虑多元化的特征数据，因此本发明所建立的流量模型不限于上述基于量子小波神经网络所建立的流量模型，也可以是现有的基于小波理论的成熟的神经网络模型。

上述网络流量异常检测***在城域网络中的部署情况如图4所示。其中高速IP城域网包括传输网、核心层、业务接入控制层和宽带接入网。从图4中可以看出，本发明实施例提供的网络流量异常检测***可以部署在高速IP城域网的主干链路上，对高速的主干链路上的异常流量(木马、病毒等)进行实时识别和控制，达到对异常流量的实时告警和实时过滤的功能。例如部署在宽带接入网的接入路由器或二级以太网交换与业务接入控制层之间的链路上。

上述网络流量异常检测***的具体结构如图5所示。该***包括流量统计过滤子***1和网管分析子***2。其中：

流量统计过滤子***1，具体包括：流量统计识别模块11和在线过滤模块12。优选的，流量统计识别模块11还连接有检测前流量测量模块13，在线过滤模块12之后还连接有检测后流量测量模块14。

流量统计识别模块11，用于监控网络中的流量，提取网络流量的基本特征数据。

在线过滤模块12，用于获取网管分析子***确定网络流量中存在选定的攻击行为时，根据该选定的攻击行为的属性信息，设置流量控制参数；以及根据获取的流量控制参数对网络流量进行过滤控制。

网管分析子***2，具体包括：模型建立模块21、数据提取模块22、数据分析模块23和流量识别模块24。

模型建立模块21，用于根据样本特征库中的选定的攻击行为的样本数据预先建立选定的攻击行为的流量模型。

优选的，上述模型建立模块21，具体用于：根据样本数据的期望输出和实际输出，确定基于量子小波神经网络的流量模型的模型参数权值；根据确定的基于量子小波神经网络的流量模型的模型参数权值，调整量子小波神经网络模型的量子间隔；根据确定的模型参数权值和调整后的量子间隔建立基于量子小波神经网络的流量模型。

数据提取模块22，用于根据提取的基本特征数据，确定选定的攻击行为的组合特征数据，其中，所述组合特征数据为基本特征数据的子集。

优选的，上述数据提取模块22，具体用于：将提取的基本特征数据与选定的攻击行为进行类别互熵；根据互熵结果，确定各基本特征数据对所述选定的攻击行为的重要程度；根据各基本特征数据对所述选定的攻击行为的重要程度，从基本特征数据中确定所述选定的攻击行为的组合特征数据。

数据分析模块23，用于将确定的组合特征数据输入对应的所述选定的攻击行为的流量模型，得到输出结果。

优选的，上述数据分析模块23，具体用于：输入层输入组合特征集X₁，X₂，L L X_m，经输入层计算得到用于输入隐含层的输入层节点输出函数；将得到的输入层节点输出函数输入隐含层，经隐含层计算得到隐含层节点输出函数；将得到的隐含层节点输出函数输入输出层，经输出层计算后得到输出结果。

流量识别模块24，用于根据所述选定的攻击行为的流量模型的输出结果，确定网络流量中存在该选定的攻击行为。

优选的，上述网管分析子***2，还包括：规则挖掘模块25，用于当确定出网络流量中存在该选定的攻击行为时，根据该选定的攻击行为的属性信息，设置流量控制参数。

优选的，上述网管分析子***2，还包括：信息输出模块，用于针对每种攻击行为，向用户展示流量识别模块24的确定结果，用户根据输出信息就可以知道存在哪种攻击行为和不存在哪种攻击行为，以及当存在选定的攻击行为时，向用户提供告警展示信息。

上述流量统计过滤子***1采用高速硬件线路转发引擎，可以对网络流量进行多业务并行识别，使该子***的识别性能不会因业务的种类数量增多而下降，处理能力也不依赖于用户、业务和策略的复杂度。该子***的网络流量统计识别基于网络流量的各中基本特征进行识别，实现了基于链路全局的网络流量特征统计，综合运用深度包检测(Deep Packet Inspection，DPI)、深度流检测(Deep Flow Inspection，DFI)等识别技术，针对报文逐一进行特征统计，例如：协议特征识别、流量行为分析、业务分析和统计，可以实现对网络流量多维特征数据(例如256种特征信息)的实时统计和报文分组级或流级别的智能识别。

上述流量统计过滤子***1实现网络流量统计功能时，可以包括下列方面的功能：各类用户和业务的流量统计；各类流控策略的流量统计；灵活设定策略流的流量统计；指定IP地址或用户群组的流量统计；实时和历史的流量统计等等，在此不再一一列举。上述流量统计过滤子***1实现网络流量业务识别功能时，可以包括下列方面的功能：能够实现对加密的、变种的和未知新出现的业务行为进行有效的识别和控制等等，此处也不再一一列举。

上述流量统计过滤子***1根据网管分析子***2设置的流量控制参数，实现流量控制，设置的控制参数可以是端口、地址等，在对报文进行在线识别时，利用高校的字符串匹配引擎实现对网络流量中的数据内容的筛查，对于携带恶意代码的数据流进行过滤阻断，切断了木马病毒的传播途径。流量统计过滤子***1可以根据网管分析子***2的下发命令启动在线过滤识别。

上述网管分析子***2，主要通过后端软件设计实现，根据流量统计过滤子***1上报的统计数据，获取网络流量的基本特征数据，通过信息熵约简获取组合特征数据，然后基于量子小波神经网络流量模型进行数据分析，检测网络中的异常流量，并可以确定是哪种攻击行为，进而挖掘出过滤规则，设置流量控制参数，指示流量统计过滤子***1实现在线病毒过滤功能。网管分析子***2可以构建针对多种攻击行为的多个流量模型，在获取到基本特征数据后，依次针对多种攻击行为约简获取组合特征数据，依次分别输入相应的流量模型，从而确定是否存在相应的攻击行为。这种方法在有新的攻击行为需要分析时，可以建立流量模型进行分析即可，方便扩展应用。

其中网管分析子***的具体结构如图6所示，流量统计过滤子***从因特网中获取数据后，传送给网管分析子***。网管分析子***在实际部署时，可以部署数据存储单元、数据分析单元和应用程序单元等几部分。

从因特网中获取的数据存储在数据存储单元中，数据存储单元中具体可以布设多个数据库，例如：流量统计数据库、链路层统计数据库、流量行为特征库、告警日志数据库、策略规则数据库和其他统计数据的数据库。分别用于存储从网络流量中提取的各种特征数据、建立的流量模型等，以及挖掘出的过滤规则，例如针对某个攻击行为设置的流量控制参数等信息，还可以存储检测到异常流量时的告警信息、告警展示信息等。其中，选定的攻击行为包括下列攻击行为中的一种或几种：DDoS攻击、木马病毒、恶意代码和僵死病毒等。告警展示信息包括下列展示信息中的一种或几种：各攻击行为的分类告警展示、攻击信息的图表展示和异常检测的策略规则展示。

该数据存储单元主要完成存储和处理所有的数据资源，通过统一的数据管理和维护标准，实现对数据资源管理。并按照资源的类型以及面向的不同应用，提供不同的存储、处理以及访问策略，为各类应用提供统一的数据视图。该单元的数据主要来自于底层硬件组成的流量统计过滤子***上报的流量统计数据，该单元中的流量行为样本特征库支持在线远程升级，以支持对新异常行为的识别。

上述数据分析单元可以实现从基本特征数据中提取组合特征数据，具体采用基于信息熵的特征约简方式。以及将组合特征数据输入基于量子小波神经网络的流量模型，进行数据分析。具体可以数据提取模块22、数据分析模块23和流量识别模块24。

此外，数据分析单元还可以实现模型建立模块21的功能，建立流量模型并交由数据存储单元存储。

数据分析单元从大量的网络流量数据中分析检测隐含的异常流量时，为了避免选用一种或几种特征所导致的检测准确性差的问题，采用了流量特征数据的分层划分思想：先从网络流量中提取基本涵盖网络流量中的全部信息的基本特征数据，使提取的特征数据能够详细的反应网络流量的运行状态。但如果对所有的基本特征数据均进行实时存储、维护和分析检测的话，对于高速网络环境而言，其复杂度极高，实现难度极大。因此在分析时针对不同的攻击行为采用不同的约简后的特征数据进行分析。

上述数据分析单元从基本特征数据中约简出组合特征数据，用于分析是否存在异常流量。组合特征数据的集合是可以根据实际需要实时改变设置的。针对某种特定的攻击行为，将涉及该攻击行为的基本特征的子集作为描述该种攻击行为的组合特征数据。通过信息熵有关理论对网络流量的基本特征数据的最优遴选与有效约简，计算选取基本特征数据中各基本特征与选定的攻击行为的互熵，实现重要特征选取，使选取的组合特征数据为能够准确代表选定的攻击行为的有效特征数据。将这些有效特征数据加载到针对相应攻击行为建立的基于量子小波神经网络的流量模型中，就可以根据输出结果确定是否存在异常流量，并能确定异常流量是由那种攻击行为造成的。

上述数据分析单元在检测到攻击行为时，进行策略规则挖掘，确定过滤拦截该攻击行为的流量控制参数，并及时下发给流量统计过滤子***，实现实时地阻断异常流量。

本发明实施例提供的网络流量异常检测***还包括一个应用程序单元，用于实现信息输出模块的功能。例如：应用程序单元可以针对DDoS攻击、恶意代码攻击、木马病毒、僵死病毒进行检测并向用户展示检测结果，提供告警信息的多维展示以及异常流量的阻断等。其中：

分布式拒绝服务(Distributed Denial of service，DDoS)攻击利用合理的服务请求来占用过多的服务资源，致使服务超载，无法响应其他的请求。这些服务资源包括网络带宽，文件***空间容量，开放的进程或者向内的连接。***主要从以下方面监测DDoS:SYN洪水(SYN flooding)攻击、Smurf攻击(Smurfattack)、UDP洪水(Udp flooding)攻击、死亡之拼(Ping of death)攻击、泪滴(TearDrop)攻击、Land攻击(Land attack)，其提取的组合特征数据可以是目的IP地址和源IP地址，根据网络流量的数据的相同目的IP地址和源IP地址来实现拦截和阻断。

木马病毒利用Windows的漏洞，侵入用户计算机，控制用户计算机，窃取用户资料，其危害面积非常广、危害程度非常深。可以以IP地址、端口号等作为组合特征数据检测过滤木马病毒。可以检测出的木马类型包括：挂马网址、盗号木马、远程控制木马、破坏型的木马、拒绝服务(Denial of Service，DoS)攻击型木马、反弹端口型木马、程序杀手型、代理木马、文件传输协议(File Transfer Protocol，FTP)木马等诸多类型。

恶意代码的检测通过对网络流量的海量数据进行求精和关联分析进行检测，通过对网络流量数据包进行数据分析，与特征码比较来实现检测。

僵死病毒，即僵尸网络(英文名称叫Botnet)是互联网上在网络蠕虫、特洛伊木马、后门工具等传统恶意代码形态的基础上发展、融合而产生的一种新型攻击方法，往往被黑客用来发起大规模的网络攻击，如分布式拒绝服务攻击(DDoS)、海量垃圾邮件等，同时黑客控制的这些计算机所保存的信息也都可被黑客随意“取用”。因此，不论是对网络安全运行还是用户数据安全的保护来说，僵尸网络都是极具威胁的隐患。对僵死病毒的检测可以采用协议与结构相关的僵尸网络检测方式，可以以域名作为特征数据，并结合日志分析，确定出Botnet的位置及其规模、分布等。

上述各种攻击行为的展示信息可以采用图表的形式形象地展示给用户，可以展示包括攻击来源、被攻击者、攻击时间、攻击事件、过滤的事件、成功的攻击数、失败的攻击数等等在内的展示内容，并与用户读取。

告警信息展示实现了在存在攻击时向用户告警的作用。实时地将告警日志按各种条件进行分类有助于帮助管理员迅速地发现某些特定攻击。一般可以按多种标准动态地切换告警日志的分类。对于每条攻击日志可按事先的定义以不同的颜色高亮显示。

应用程序单元还可以支持策略规则的展示；支持以策略组的形式进行编辑修改，管理员可以快捷地修改整个组的规则属性，包括是否激活，以及各种***动作等；提供了用户自定义策略规则功能，并支持正则表达式。

上述***中流量统计过滤子***，基于“全硬件化“的处理方式，对指定高速链路上的报文进行统计、识别和过滤；网管分析子***将集成病毒规则挖掘、数据分析、信息展示、***运维和策略维护等功能，以报表、曲线图等多种形式展示整个网络的安全状况和病毒信息的及时告警。这种分层的入侵检测***架构能够有效地集成40Gbps链路线速病毒规则识别、异常流量过滤、报警信息统计和网络设备维护等功能，同时该体系结构采用前端硬件平台与后台软件***相结合的方式，由前端硬件平台完成对业务流量信息的预处理，后台软件***再对前端子***上报信息进行集中处理，大大减少了处理时间，能够快速、高效、准确地识别出网络中存在的异常流量。

下面以DDoS攻击包含的SYN FLOOD攻击为例，说明通过本发明实施例提供的网络流量异常检测方法和***实现网络流量异常检测的具体过程。

对于SYN FLOOD攻击，经信息熵约简后得到的组合特征向量为6个，例如下表1所示的流报文数、流字节数、包长震荡频度、包平均间隔、SYN包个数、流开始/结束时间等6个组合特征向量。所建立的针对SYN FLOOD攻击的基于量子小波神经网络的流量模型如图3所示，其中该模型的网络拓扑结构为6-12-2。输入层神经元为6个，分别对应经有效约简后的的6个组合特征向量；隐层神经元为12个；输出层神经元为2个，分别对应流量正常、异常两种状态，即c₁c₂＝10(c1为1，c2为0)时表示流量正常状态，c₁c₂＝01(c1为0，c2为1)时表示流量异常状态，表示存在SYN FLOOD攻击。量子小波神经网络的权值和阈值的学习率选为0.02；量子间隔的学习率为0.02；选择多层小波激励函数的斜率因子等于0.95；选择量子神经元的量子层数为4。当所有参数设置相同，即学习误差精度不设定的情况下，直到设定的学习次数完成，学习速率为0.02，最大迭代次数分别设定为580、2500。训练580次，本专利的量子小波神经网络误差为8.8761×10^-4；当训练2500次时，本专利的量子小波神经网络误差为1.8978×10^-5。

部分训练样本数据(未归一化前)如下表1所示。

表1

本发明实施例提供的网络流量异常检测方法和***，适用于高速IP城域网主干网络环境，其单通道处理能力不小于40Gbps，在支持40Gbps链路接口的同时也能顺利兼容10Gbps接口。能够有效的实现网络流量中的异常流量的识别和阻断，可以实时动态的监控到攻击行为，并动态更新数据库挖掘在线过滤规则，确定流量控制参数，对变化多端的攻击行为及时识别、告警、过滤、阻断。

对不同的攻击行为分别建立流量模型来实现识别不同的攻击行为，从而可以准确的检测出网络流量中存在的是哪种攻击行为，报警意义明确，检测精度高。

综合运用了DPI和DFI两种识别技术，能够逐个报文一一进行协议特征识别、流量行为分析、业务分析和统计，该方法实时提取网络流量中的基本特征数据，其提取的特征数据比较全面，且针对不同攻击行为有针对性的确定组合特征数据，从而可以全面的检测各种攻击行为，利于多个管理域的协作管理。且由于实时提取网络流量中的特征数据，能够较好地满足高速网络流量实时监测的要求、能够满足业务应用种类和应用规模增大速度较快、业务应用7×24小时的高可用和高实时性等要求。

可以方便的扩展可检测的攻击行为，当有新的攻击行为时，可以建立其流量模型，对其进行检测，扩展方便。该方法能够获取良好的检测效果、较高的检测精度。整个***采用多个独立的功能模块和子***实现，架构灵活，结构统一，具有良好的可扩展性和重构能力。

由于提取的特征数据可以比较全面的反应网络流量的实际情况，避免了现有方式采用单一的特征数据作为判断依据所导致的检测效果不佳的问题，且可以方便的添加和减少针对不同攻击行为的流量模型，获取全面、准确的检测效果。针对某种攻击行为，通过计算训练样本中各基本特征与该攻击行为的互熵选取其中重要特征建立组合特征集合，并利用量子小波神经网络模型对组合特征集合进行学习训练以实现对流量行为的分类，收敛速度快，涵盖的流量信息全面且准确，在高速网络环境下能够实时有效提高检测精度和识别新异常行为能力，使得在整个基于网络流量模型的异常检测框架下，能比较方便地实现对不同种类的异常攻击的检测，并能取得比较好的检测效果。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (25)

1.一种网络流量异常检测方法，其特征在于，包括：

监控网络中的流量，提取网络流量的基本特征数据；

根据提取的基本特征数据，确定选定的攻击行为的组合特征数据，其中，所述组合特征数据为基本特征数据的子集；

将确定的组合特征数据输入对应的攻击行为的流量模型，得到输出结果；所述流量模型为根据样本特征库中的各攻击行为的样本数据预先建立的；

根据得到的输出结果，确定网络流量中是否存在攻击行为并确定攻击行为的类型。

2.如权利要求1所述的方法，其特征在于，所述提取网络流量的基本特征数据，具体包括：

从网络流量中的下列至少一个信息中提取设定数量的特征信息，作为基本特征数据：流量相关信息、数据包相关信息、协议相关信息、端口相关信息、端口流量相关信息、地址相关信息、TCP标志位的相关信息。

3.如权利要求2所述的方法，其特征在于，所述提取网络流量的设定数量特征数据，具体包括下列数据中的若干种：

流报文数、流字节数、流开始时间、流结束时间、包长震荡频率、数据包平均间隔、平均包长、SYN包个数、协议类型、源端口、目的端口、每秒钟发送的数据包数量、源地址、目的地址。

4.如权利要求1所述的方法，其特征在于，所述根据提取的基本特征数据，确定选定的攻击行为的组合特征数据，具体包括：

将提取的基本特征数据与选定的攻击行为进行类别互熵；

根据互熵结果，确定各基本特征数据对所述选定的攻击行为的重要程度；

根据各基本特征数据对所述选定的攻击行为的重要程度，从基本特征数据中确定所述选定的攻击行为的组合特征数据。

5.如权利要求1所述的方法，其特征在于，根据样本特征库中的选定的攻击行为的样本数据建立流量模型的过程包括：

根据样本数据的期望输出和实际输出，确定基于量子小波神经网络的流量模型的模型参数权值；

根据确定的基于量子小波神经网络的流量模型的模型参数权值，调整量子小波神经网络模型的量子间隔；

根据确定的模型参数权值和调整后的量子间隔建立基于量子小波神经网络的流量模型。

6.如权利要求5所述的方法，其特征在于，所述根据样本数据的期望输出和实际输出，确定基于量子小波神经网络的流量模型的模型参数权值；具体包括：

根据样本数据的期望输出和实际输出，训练样本的均方误差函数：

$E_k=\frac{1}{2}\underset{k=1}{\overset{2}{\mathrm{\Σ}}}{(y_k^s-c_k^s)}^2$

$=\frac{1}{2}\underset{k=1}{\overset{2}{\mathrm{\Σ}}}{(y_k^s-\underset{j=1}{\overset{u}{\mathrm{\Σ}}}{v}_{\mathrm{jk}}\left(\frac{1}{n_q}\underset{q=1}{\overset{n_q}{\mathrm{\Σ}}}h\left(\frac{(\mathrm{\β}\left(\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{w}_{\mathrm{ij}}{\mathrm{\λ}}_i{X}_i\right)-{\mathrm{\θ}}_j^q)-b_j}{a_j}\right)\right))}^2$

其中，

为第s批样本第k个输出神经元的期望输出；

为第s批样本第k个输出神经元的实际输出；

X_i为组合特征数据中的特征向量；

λ_i表示特征向量X_i的重要程度；

w_ij为输入层神经元P_i到隐含层神经元S_j的连接权；

β为斜率因子；

为量子间隔；

a_j为隐藏层激励函数尺度因子；

b_j为隐藏层激励函数小波函数平移因子；

h(·)为隐藏层激励函数，其中

n^q为量子间隔的数目；

v_jk隐含层神经元到输出层神经元间的连接权；

通过实现对均方误差函数极小化，得到模型参数权值w_ij、v_jk、a_j、b_j。

7.如权利要求6所述的方法，其特征在于，所述根据确定的基于量子小波神经网络的流量模型的模型参数权值，调整量子小波神经网络模型的量子间隔，具体包括：

根据得到的模型参数权值w_ij、v_jk、a_j、b_j，调整调整量子小波神经网络模型的量子间隔

8.如权利要求7所述的方法，其特征在于，所述建立的基于量子小波神经网络的流量模型为：

$c_k^s=\underset{j=1}{\overset{u}{\mathrm{\Σ}}}{v}_{\mathrm{jk}}\left(\frac{1}{n_q}\underset{q=1}{\overset{n_q}{\mathrm{\Σ}}}h\left(\frac{(\mathrm{\β}\left(\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{w}_{\mathrm{ij}}{\mathrm{\λ}}_i{X}_i\right)-{\mathrm{\θ}}_j^q)-b_j}{a_j}\right)\right)$ k＝1，2。

9.如权利要求1所述的方法，其特征在于，将确定的组合特征数据输入对应的所述选定的攻击行为的流量模型，得到输出结果，具体包括：

输入层输入组合特征集X₁，X₂，L L X_m，经输入层计算得到用于输入隐含层的输入层节点输出函数；

将得到的输入层节点输出函数输入隐含层，经隐含层计算得到隐含层节点输出函数；

将得到的隐含层节点输出函数输入输出层，经输出层计算后得到输出结果。

10.如权利要求9所述的方法，其特征在于，所述输入层节点输出函数为P_i＝λ_iX_i i＝1，2，L，m；

其中：X_i为组合特征数据中的特征向量；

λ_i表示特征向量X_i的重要程度。

11.如权利要求10所述的方法，其特征在于，所述隐含层节点输出函数为 $S_j=\frac{1}{n_q}\underset{q=1}{\overset{n_q}{\mathrm{\Σ}}}h\left[\mathrm{\β}(W^{T}P-{{\mathrm{\θ}}_j}^q)\right]$ j＝1，2，L，u；

其中：W^T为包含w_ij的向量，w_ij为输入层神经元P_i到隐含层神经元S_j的连接权；

P为包含P_i＝λ_iX_i i＝1，2，L，m的向量；

β为斜率因子；

为量子间隔；

h(·)为隐藏层激励函数，其中

n^q为量子间隔的数目。

12.如权利要求11所述的方法，其特征在于，输出结果满足下列公式： $c_k^s=\underset{j=1}{\overset{u}{\mathrm{\Σ}}}{v}_{\mathrm{jk}}\left(\frac{1}{n_q}\underset{q=1}{\overset{n_q}{\mathrm{\Σ}}}h\left(\frac{(\mathrm{\β}\left(\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{w}_{\mathrm{ij}}{\mathrm{\λ}}_i{X}_i\right)-{\mathrm{\θ}}_j^q)-b_j}{a_j}\right)\right)$ k＝1，2；

其中，为第s批样本第k个输出神经元的期望输出；

为第s批样本第k个输出神经元的实际输出；

X_i为组合特征数据中的特征向量；

λ_i表示特征向量X_i的重要程度；

w_ij为输入层神经元P_i到隐含层神经元S_j的连接权；

β为斜率因子；

为量子间隔；

a_j为隐藏层激励函数尺度因子；

b_j为隐藏层激励函数小波函数平移因子；

h(·)为隐藏层激励函数，其中

n^q为量子间隔的数目；

v_jk隐含层神经元到输出层神经元间的连接权。

13.如权利要求1所述的方法，其特征在于，所述选定的攻击行为包括下列攻击行为中的一种或几种：DDoS攻击、木马病毒、恶意代码和僵死病毒。

14.如权利要求13所述的方法，其特征在于，所述根据得到的输出结果，确定网络流量中是否存在攻击行为并确定攻击行为的类型，具体包括：

若输出所述输出结果的攻击行为的流量模型为DDoS攻击的流量模型，当输出结果为正常流量的输出值时，确认不存在DDoS攻击；当其输出结果为异常流量的输出值时，确定存在的攻击行为的类型为DDoS攻击；

若输出所述输出结果的攻击行为的流量模型为木马病毒的流量模型，当输出结果为正常流量的输出值时，确认不存在木马病毒；当其输出结果为异常流量的输出值时，确定存在的攻击行为的类型为木马病毒；

若输出所述输出结果的攻击行为的流量模型为恶意代码的流量模型，当输出结果为正常流量的输出值时，确认不存在恶意代码；当其输出结果为异常流量的输出值时，确定存在的攻击行为的类型为恶意代码；

若输出所述输出结果的攻击行为的流量模型为僵死病毒的流量模型，当输出结果为正常流量的输出值时，确认不存在僵死病毒；当其输出结果为异常流量的输出值时，确定存在的攻击行为的类型为僵死病毒。

15.如权利要求1-14任一所述的方法，其特征在于，还包括：

在确定出网络流量中存在该选定的攻击行为时，根据该选定的攻击行为的属性信息，设置流量控制参数，对网络流量进行过滤控制。

16.如权利要求15所述的方法，其特征在于，还包括，在确定出网络流量中存在该选定的攻击行为时，向用户提供告警展示信息；

所述告警展示信息包括下列展示信息中的一种或几种：各攻击行为的分类告警展示、攻击信息的图表展示和异常检测的策略规则展示。

17.一种网络流量异常检测***，其特征在于，包括：流量统计过滤子***和网管分析子***；

流量统计过滤子***，用于监控网络中的流量，提取网络流量的基本特征数据；

网管分析子***，用于根据提取的基本特征数据，确定选定的攻击行为的组合特征数据，其中，所述组合特征数据为基本特征数据的子集；将确定的组合特征数据输入对应的所述选定的攻击行为的流量模型，得到输出结果；所述流量模型为根据样本特征库中的选定的攻击行为的样本数据预先建立的；根据所述选定的攻击行为的流量模型的输出结果，确定网络流量中是否存在攻击行为并确定攻击行为的类型。

18.如权利要求17所述的***，其特征在于，所述网管分析子***，还用于：确定网络流量中存在该选定的攻击行为，根据该选定的攻击行为的属性信息，设置流量控制参数；

流量统计过滤子***，还用于：根据设置的流量控制参数对网络流量进行过滤控制。

19.如权利要求17所述的***，其特征在于，所述流量统计过滤子***，具体包括：

流量统计识别模块，用于监控网络中的流量，提取网络流量的基本特征数据；

在线过滤模块，用于获取网管分析子***确定网络流量中存在选定的攻击行为时，根据该选定的攻击行为的属性信息，设置流量控制参数；以及根据获取的流量控制参数对网络流量进行过滤控制。

20.如权利要求17所述的***，其特征在于，所述网管分析子***，具体包括：

模型建立模块，用于根据样本特征库中的选定的攻击行为的样本数据预先建立选定的攻击行为的流量模型；

数据提取模块，用于根据提取的基本特征数据，确定选定的攻击行为的组合特征数据，其中，所述组合特征数据为基本特征数据的子集；

数据分析模块，用于将确定的组合特征数据输入对应的所述选定的攻击行为的流量模型，得到输出结果；

流量识别模块，用于根据所述选定的攻击行为的流量模型的输出结果，确定网络流量中存在该选定的攻击行为。

21.如权利要求20所述的***，其特征在于，所述数据提取模块，具体用于：

将提取的基本特征数据与选定的攻击行为进行类别互熵；根据互熵结果，确定各基本特征数据对所述选定的攻击行为的重要程度；根据各基本特征数据对所述选定的攻击行为的重要程度，从基本特征数据中确定所述选定的攻击行为的组合特征数据。

22.如权利要求20所述的***，其特征在于，所述模型建立模块，具体用于：

根据样本数据的期望输出和实际输出，确定基于量子小波神经网络的流量模型的模型参数权值；

根据确定的基于量子小波神经网络的流量模型的模型参数权值，调整量子小波神经网络模型的量子间隔；

根据确定的模型参数权值和调整后的量子间隔建立基于量子小波神经网络的流量模型。

23.如权利要求20所述的***，其特征在于，所述数据分析模块，具体用于：

输入层输入组合特征集X₁，X₂，L L X_m，经输入层计算得到用于输入隐含层的输入层节点输出函数；

将得到的输入层节点输出函数输入隐含层，经隐含层计算得到隐含层节点输出函数；

将得到的隐含层节点输出函数输入输出层，经输出层计算后得到输出结果。

24.如权利要求20-23任一所述的***，其特征在于，所述网管分析子***，还包括：

规则挖掘模块，用于在确定出网络流量中存在该选定的攻击行为时，根据该选定的攻击行为的属性信息，设置流量控制参数。

25.如权利要求20-23任一所述的***，其特征在于，所述网管分析子***，还包括：

信息输出模块，用于针对每种攻击行为，向用户展示流量识别模块的确定结果，以及当存在选定的攻击行为时，向用户提供告警展示信息。

Images