CN1617512A - 一种自适应网络流量预测和异常报警方法 - Google Patents

Abstract

本发明涉及计算机网络管理技术领域，特别是涉及网络流量性能预测及异常报警的技术。本发明提出了一种基于遗传算法的新型自适应网络流量预测及异常报警的方法。不同于传统方法只根据***设置的固定阈值来判断流量状态是否异常，而是对具体不同网络从横向时间度利用遗传算法预测出下一时刻的流量状态后从纵向时间度根据历史流量信息中每一天该相应时段内的流量样本，利用统计学方法来判断该流量的异常情况。通过网络流量数据采集、网络流量数据处理与存储、网络流量预测、网络流量异常报警四个阶段的步骤来实现。本发明相对已有预警***大大提高了对网络流量变化趋势的灵敏度和准确性，具有更低的漏报率和误报率。

Description

一种自适应网络流量预测和异常报警方法

技术领域

本发明涉及计算机网络管理技术领域，特别是一种自适应网络流量预测和异常报警方法。

背景技术

网络技术的飞速发展和规模的不断扩大，网络业务复杂性日益提高。在这种环境中，资源分布程度和共享程度均迅速扩大，任何微小的故障都可能导致用户应用的失败。为了提高服务质量和降低运行成本，及时有效的发现网络流量的异常情况在网络管理中变得越来越重要。预测和报警是两个有效手段。

对网络流量的时间序列进行预测，经典的是基于Poisson过程的统计模型方法。在当前网络新业务不断涌现的环境下，流量特征已发生极大的改变，这种随机统计模型已不能真实有效的反应实际的网络行为了。

网络流量报警方面，传统的报警***一般只是简单的根据***配置的一个固定阈值来判断当前流量是否处于正常状态，如果流量小于该设置的阈值则认为当前流量状态正常，反之则产生报警。而在实际网络环境中，阈值的设置是很困难的，阈值太大则漏检率提高，阈值太小则误检率提高。

遗传算法(Genetic Algorithm，GA)是一类模拟生物进化的智能优化算法，常被用于工业过程中的优化问题。它借用了生物遗传学的观点，通过自然选择、遗传、变异等作用机制，实现各个个体的适应性的提高，这一点体现了自然界中“物竞天择、适者生存”的进化过程。与传统方法相比，遗传算法的具有不依赖于问题的具体领域，对问题的种类有很强的鲁棒性等优点。遗传算法已成为进化计算研究的一个重要分支。

遗传算法以一群个体为例，它们都有自己的DNA。然后衡量每一个个体的适应性(把它看作是适用于个体的DNA的功能来衡量)，并且使那些更适应的个体更有可能繁衍。而最不适应的个体将会被灭绝。每个幸存者都会有机会繁衍(重要的是任何幸存者都可能会繁衍，如果不太适应的话，仅仅是降低了可能性)。合并双亲的DNA，对合并后的DNA应用随机变异以模拟繁衍。理论上说来，新的个体是和双亲一样适应的，由于变异或增或减会有些微小的变化。然后循环会周而复始。

选择、交叉和变异是GA中最常用的算子：(1)选择算子(Selection/Reproduction)：选择算子从群体中按某一概率成对选择个体，某个体x_i被选择的概率p_i与其适应度值成正比。最通常的实现方法是轮盘赌(Roulette Wheel)模型。(2)交叉算子(Crossover/Recombine)：交叉算子将被选中的两个个体的基因链按概率p_c进行交叉，生成两个新的个体，交叉位置是随机的。其中p_c是一个***参数。(3)变异算子(Mutation)：变异算子将新个体的基因链的各位按概率p_m进行变异，对二值基因链(0，1编码)来说即是取反。

发明内容

本发明的目的和任务是：对具体的不同网络，在网络历史流量性能信息的基础上，先从横向时间度利用遗传算法预测出下一时刻的流量状态后，再从纵向时间度根据历史流量信息中每一天该相同时段的流量样本，利用统计学方法来判断该流量的异常情况，并进行分级报警，从而达到预警的目的。

本发明提出的自适应网络流量预测应用了遗传算法。但是本发明是在计算机及计算机网络上，数据的传输，数据处理，使用了权利要求书的技术方案和技术手段，来达到和实现网络流量预测和异常报警的目的和效果。

下面具体阐述本自适应网络流量预测和异常报警方法的具体实现机制：

定义

编码：将历史流量信息的真实值转换成遗传算法各算子所能操作的二进制串。

种群：历史流量信息的若干真实值即可形成一个种群。***以当前时刻

前一段时间内的流量信息为初始种群。

染色体(个体)：流量真实值经过编码后生成的个体称为染色体。

基因：二进制表示的染色体的每一位因子称为基因。

个体适应度：是对染色体对网络环境的适值评估，个体适应度越大表面该个体对预测的贡献越大。

为了达到所要求的目的，本自适应网络流量预测和异常报警方法，解决方案在如上所提出的理论基础上，通过网络流量数据采集、网络流量数据处理与存储、网络流量预测、网络流量异常报警四个阶段来实现。

具体步骤如下：

一、网络流量数据采集

采用SNMP的GET方法采集路由器的MIB信息，从而获得网络的真实流量性能信息。SNMP基本原理结构如图(4)。一般网络情况下***只需每隔5分钟采集一次数据即可。(注：利用SNMP来采集流量原始数据信息是国际的一个标准协议)

二、网络流量数据处理与存储

将从路由器上采集到的原始数据转化为流量速率(bps)并存储在数据库中。需要记下以下基本信息：

ID

Router_IP

OID

Traffic

Get_time

ID：每条记录的标识字段；

Router_IP：数据源路由器IP。

OID：所采集的MIB库对象值，标识了该流量值来自路由器的端口号及进出属性。例如：1.3.6.1.2.1.2.2.1.10.5表示是路由器5号端口的进流量值；

1.3.6.1.2.1.2.2.1.16.5表示是路由器5号端口的出流量值。

Traffic：流量速率(bps)。

Get_time：流量数据采集时刻。

三、网络流量预测

本***采用遗传算法从横向时间度对网络流量进行预测，正如背景内容中所述，采用遗传算法进行流量预测的具体实施方式如下：

1)编码

将问题的解转换为编码表达的染色体是遗传算法的关键问题，编码的目的是将种群数据的表现型转化为染色体的基因型表示。二进制串长取决于所需要的精度，一般网络流量预测只需精确到kbps，比如在一个千兆局域网内，则需要20位的串长。假设当前种群流量最大值Max和最小值Min，流量值x对应二进制编码为b则二者的关系式如下：

$b=\frac{x-\mathrm{Min}}{\mathrm{Max}-\mathrm{Min}}*(2^{20}-1)$

$x=\mathrm{Min}+b*\frac{(\mathrm{Max}-\mathrm{Min})}{2^{20}-1}$

2)初始种群生成

网络流量一般与当前一段时间内的网络性能状况是紧密联系的。以当前时刻前n分钟所采集的历史流量为样本，并对每个个体进行编码；***以当前时刻前5×n分钟(样本规模可根据具体网络情况而定)所采集的历史流量为样本，将每个流量数据x₁，x₂，...，x_n转换成相应的二进制表示，这样就得到了初始染色体群b₁，b₂，...，b_n。

3)个体适应度计算

计算种群中每个染色体的适应度值。个体适应度值是对染色体适值的评估，是算法进行选择遗传个体的重要依据，适应度大的个体即有更大的繁衍概率。对于下一时刻网络流量的预测，个体适应度主要取决于两个因素：流量值的大小和与当前的时间差，流量值越在期望范围内的适应度越大，异常情况的流量值适应度则小。另外，与当前时刻越接近的流量值，对流量值的预测影响也越大。因此，构造个体适应度函数模型如下(适应度函数的构造方法并不唯一)：

F(x_i)＝ρ(x_i)·t(x_i)

其中，我们可以假设密度函数ρ(x_i)和时间函数t(x_i)如下：

ρ(x_i)＝(Max-Min)-|x_i-E(X)|

${t\left(x_i\right)=\mathrm{\&alpha;}}^{\frac{t_{\mathrm{xi}}-t_0}{\mathrm{\&Delta;t}}}(0<\mathrm{\&alpha;}<1)$

α为时间相关度系数，根据具体网络情况设定(一般在0.7～0.9之间)。

4)选择

遗传算法的一个显著特点是它在交替的在编码空间和解空间中工作，在编码空间中对染色体进行遗传运算，而在解空间中对解进行评估和选择。***的选择操作采用轮转法，从而选择出新的染色体群。具体

实施方式如下：

(1)根据前面个体适应度的计算结果，计算所有种群所有染色体的适值之和(pop_size为种群大小)：

$F=\underset{i=1}{\overset{\mathrm{pop}\_\mathrm{size}}{\mathrm{\&Sigma;}}}f\left(x_i\right)$

(2)对各染色体x_i，计算选择概率：

$p_{x_i}=\frac{f\left(x_i\right)}{F};i=\mathrm{1,2},...,\mathrm{pop}\_\mathrm{size}$

(3)对各染色体计算累积概率：

$q_{x_i}=\underset{j=1}{\overset{i}{\mathrm{\&Sigma;}}}{p}_j;i=\mathrm{1,2},...,\mathrm{pop}\_\mathrm{size}$

(4)在[0，1]区间内产生一个均匀分布的伪随机数r，若r≤q₁，则选择第一个染色体x₁；否则，选择第k个染色体x_k(2≤k≤pop_size)，使得q_k-1＜r≤q_k成立。

(5)循环步骤4pop_size次后即可得到选择重组后的新染色体种群。

5)交叉

交叉算法是保持种群个体多样性的一个重要手段，使得算法尽可能的遍历整个解空间。交叉操作采用最常用的一点交叉法，即在选中个体中随机设定一个交叉点，实行交叉时，将选中染色体该点前后的两个部分结构分别互换，生成两个新个体。假设***设定的交叉率为p_c，具体

实施方式如下：

(1)在[0，1]区间内产生一个均匀分布的伪随机数r，如果r＜p_c则选择交叉的双亲之一；否则执行步骤3；

(2)若已选择出双亲，则产生一个随机整数pos(1≤pos≤染色体长度)作为断点，交叉双亲断点后的所有位，生成两个新染色体。

例如，选择出双亲为

x₁＝[10011011010010101110]

x₂＝[11010010100110011100]

在随机断点第9位交叉后产生的新染色体为：

x₁＝[10011011100110011100]

x₂＝[11010010010010101110]

(3)若不满足终止条件则返回1，循环pop_size次。

6)变异

变异的基本思想是对染色体上每一位依变异概率p_m进行变异操作：在二值基因链中，如果该位为0则变为1，为1则变为0。具体实现方法如下：

假设变异概率为p_m，种群的基因数m为：种群大小×染色体串长。为使每个基因有相同的几率发生变异，将染色体按顺序排列，并产生[0，1]间均匀分布的随机数序列r_k(k＝1，2...，m)，若r_k≤p_m，则根据位址k推算出变异的染色体号和位号，对该位进行变异操作。

7)终止判定

至此，就完成了遗传算法的一次迭代。若不满足终止条件则跳转到3继续，否则结束，输出适应度最佳的值作为预测值f_t+1。终止条件有两个，满足任意一个即可终止：已到达***设定的遗传代数；遗传预测流量值已趋于收敛。

四、网络流量3σ三级异常报警(初级、中级、高级)

对当前网络流量性能状态进行统计分析，发现潜在的流量异常情况并提出预警是***的重要目的。利用遗传算法预测出的网络流量值f_t+1后，***从纵向时间度采用方差分析法进行网络性能预警。方差分析就是根据网络预测的结果进行分析，鉴别各个有关因素对网络性能影响的一种统计分析方法。

稳定运行的网络每天某一时刻的流量值为样本，且某一日该时刻的流量值是一个随机变量，它服从正态分布，采用方差分析法来衡量预测值与真实值的偏离程度，并以此为依据产生级别报警信息。

应用移动平均法得到下一时刻网络流量的预测值f_t+1后，为检验该预测值是否在正常范围内，我们可以用流量样本方差来进行估计，并据此产生3σ三级报警信息。具体实施方式如下：

假设前t天与待预测相同时刻的历史流量真实值y₁，y₂，...，yt为样本，根据方差计算公式可得到该样本的方差s_t。流量移动样本方差和样本标准差的计算公式为：

$s_t^2=\frac{1}{n-1}\underset{i=0}{\overset{n-1}{\mathrm{\&Sigma;}}}{(y_{t-i}-{\stackrel{\&OverBar;}{y}}_t)}^2$

$s_t=\sqrt{\frac{1}{n-1}\underset{i=0}{\overset{n-1}{\mathrm{\&Sigma;}}}{(y_{t-i}-{\stackrel{\&OverBar;}{y}}_t)}^2}$

其中 ${\stackrel{\&OverBar;}{y}}_t=E\left(y_t\right)=\frac{1}{n}(y_1+y_2+\&CenterDot;\&CenterDot;\&CenterDot;+y_t)$ 则有：

(1)当|f_t+1- y_t|≤s_t时：网络状况正常，下一时刻网络流量预测值相对历史流量偏差在允许范围内。

(2)当s_t＜|f_t+1- y_t|≤2st时：产生初级预警，下一时刻网络流量预测值相对历史流量有较小偏差。

(3)当2s_t＜|f_t+1- y_t|≤3s_t时：产生中级预警，下一时刻网络流量预测值相对历史流量有较大偏差。

(4)当3s_t＜|f_t+1- y_t|时：产生高级预警，下一时刻网络流量预测值相对历史流量状况有很大偏差。

本发明的特点和积极效果在于：(1)采用遗传算法对网络流量进行预测，相对其他预测算法，遗传算法的搜索始于历史流量数据的一个种群，采用概率的而不是确定状态的转移规则，而且具有较强的自适应性，在预测过程中能主动去除历史流量中的异常数据，从而预测出更准确的网络流量期望值。(2)分别从横向时间度来进行流量预测，从纵向时间度来预警网络流量的异常情况，大大提高了对网络流量变化趋势的灵敏度和准确性，具有更低的漏报率和误报率。

附图说明

图1是自适应网络流量预测和异常报警方法的总体流程图。

图2是网络流量预测流程图。

图3是网络异常报警流程图。

图4是SNMP基本原理图。

具体实施方式

图1的总体流程图中，***通过S1-1，网络流量数据采集、S1-2，网络流量数据存储与处理、S1-3，网络流量预测、S1-4，网络流量异常报警四个阶段步骤来实现。

图2网络流量预测流程，***从横向时间度对网络流量进行预测，其步骤如下：

S2-1：编码

一般网络流量预测只需精确到kbps，比如在一个千兆局域网内，则需要20位的串长。假设当前种群流量最大值Max和最小值Min，流量值x对应二进制编码为b则二者的关系式如下：

$b=\frac{x-\mathrm{Min}}{\mathrm{Max}-\mathrm{Min}}*(2^{20}-1)$

$x=\mathrm{Min}+b*\frac{(\mathrm{Max}-\mathrm{Min})}{2^{20}-1}$

S2-2：流量样本初始种群生成

***以当前时刻前5×n分钟(样本规模可根据具体网络情况而定)所采集的历史流量为样本，将每个流量数据x₁，x₂，...，x_n转换成相应的二进制表示，这样就得到了初始染色体群b₁，b₂，...，b_n。

S2-3：个体适应度值计算

适应度大的个体即有更大的繁衍概率。个体适应度主要取决于两个因素：流量值的大小和与当前的时间差，构造个体适应度函数模型如下(适应度函数的构造方法并不唯一)：

F(x_i)＝ρ(x_i)·t(x_i)

其中，我们可以假设密度函数ρ(x_i)和时间函数t(x_i)如下：

ρ(x_i)＝(Max-Min)-|x_i-E(X)|

${t\left(x_i\right)=\mathrm{\&alpha;}}^{\frac{t_{\mathrm{xi}}-t_0}{\mathrm{\&Delta;t}}}(0<\mathrm{\&alpha;}<1)$

α为时间相关度系数，根据具体网络情况设定(一般在0.7～0.9之间)。

S2-4：选择重组

***的选择操作采用轮转法，从而选择出新的染色体群。

(1)根据前面个体适应度的计算结果，计算所有种群所有染色体的适值之和(pop_size为种群大小)：

$F=\underset{i=1}{\overset{\mathrm{pop}\_\mathrm{size}}{\mathrm{\&Sigma;}}}f\left(x_i\right)$

(2)对各染色体x_i，计算选择概率：

$p_{x_i}=\frac{f\left(x_i\right)}{F};i=\mathrm{1,2},...,\mathrm{pop}\_\mathrm{size}$

(3)对各染色体计算累积概率：

$q_{x_i}=\underset{j=1}{\overset{i}{\mathrm{\&Sigma;}}}{p}_j;i=\mathrm{1,2},...,\mathrm{pop}\_\mathrm{size}$

(4)在[0，1]区间内产生一个均匀分布的伪随机数r，若r≤q₁，则选择第一个染色体x₁；否则，选择第k个染色体x_k(2≤k≤pop_size)，使得q_k-1＜r≤q_k成立。

(5)循环步骤4pop_size次后即可得到选择重组后的新染色体种群。

S2-5：交叉

选中个体中随机设定一个交叉点，实行交叉时，将选中染色体该点前后的两个部分结构分别互换，生成两个新个体。假设***设定的交叉率为p_c，具体实施方式如下：

(1)在[0，1]区间内产生一个均匀分布的伪随机数r，如果r＜p_c则选择交叉的双亲之一；否则执行步骤3；

(2)若已选择出双亲，则产生一个随机整数pos(1≤pos≤染色体长度)作为断点，交叉双亲断点后的所有位，生成两个新染色体。

(3)若不满足终止条件则返回1，循环pop_size次。

S2-6：变异

变异的基本思想是对染色体上每一位依变异概率p_m进行变异操作：在二值基因链中，如果该位为0则变为1，为1则变为0。具体实现方法如下：

假设变异概率为p_m，种群的基因数m为：种群大小×染色体串长。为使每个基因有相同的几率发生变异，将染色体按顺序排列，并产生[0，1]间均匀分布的随机数序列r_k(k＝1，2...，m)，若r_k≤p_m，则根据位址k推算出变异的染色体号和位号，对该位进行变异操作。

S2-7：终止判定

至此，就完成了遗传算法的一次迭代。若不满足终止条件则跳转到S2-3继续，否则结束，输出适应度最佳的值作为预测值f_t+1。终止条件有两个，满足任意一个即可终止：已到达***设定的遗传代数；遗传预测流量值已趋于收敛。

图3网络异常报警流程，其步骤如下：

S3-1：提取前t天同一时刻的流量样本

从流量信息历史记录中提取出前t天与待预测相同时刻(比如前30天中13:40时段)的历史流量真实值为样本，假设样本是y₁，y₂，...，y_t

S3-2：计算样本方差和标准差

根据方差计算公式可得到该样本的方差s_t。流量移动样本方差和样本标准差的计算公式为：

$s_t^2=\frac{1}{n-1}\underset{i=0}{\overset{n-1}{\mathrm{\&Sigma;}}}{(y_{t-i}-{\stackrel{\&OverBar;}{y}}_t)}^2$

$s_t=\sqrt{\frac{1}{n-1}\underset{i=0}{\overset{n-1}{\mathrm{\&Sigma;}}}{(y_{t-i}-{\stackrel{\&OverBar;}{y}}_t)}^2}$

其中 ${\stackrel{\&OverBar;}{y}}_t=E\left(y_t\right)=\frac{1}{n}(y_1+y_2+\&CenterDot;\&CenterDot;\&CenterDot;+y_t)$

S3-3：异常分析

(1)当|f_t+1- y_t|≤s_t时：网络状况正常，下一时刻网络流量预测值相对历史流量偏差在允许范围内。

(2)当s_t＜|f_t+1- y_t|≤2s_t时：产生初级预警，下一时刻网络流量预测值相对历史流量有较小偏差。

(3)当2s_t＜|f_t+1- y_t|≤3st时：产生中级预警，下一时刻网络流量预测值相对历史流量有较大偏差。

(4)当3s_t＜|f_t+1- y_t|时：产生高级预警，下一时刻网络流量预测值相对历史流量状况有很大偏差。

图4SNMP基本原理图。它是由IETF提出的，随着TCP/IP成为事实上的协议标准而广泛被使用。SNMP主要由三部分组成：管理者、代理和MIB。MIB遵从SMI(Structure of Management Information)，存放设备或者网络运行状态的信息。管理者通过GetRequest，GetNextRequest，SetRequest，GetResponse，Trap等操作通过代理获得和设置MIB的参数值。

Claims (9)

1.一种自适应网络流量预测和异常报警方法，其特征在于，从横向时间度利用遗传算法预测出下一时刻的流量状态后，再从纵向时间度根据历史流量信息中每一天该时段内的流量样本，利用统计学方法来判断该流量的异常情况。

2.根据权利要求1的自适应网络流量预测和异常报警方法，其特征在于，通过网络流量数据采集、网络流量数据处理与存储、网络流量预测、网络流量异常报警四个阶段的步骤来实现。

3.根据权利要求1或2的自适应网络流量预测和异常报警方法，其特征在于，网络流量数据采集，采用SNMP的GET方法采集路由器的MIB信息，从而获得网络的真实流量性能信息。

4.根据权利要求1或2的自适应网络流量预测和异常报警方法，其特征在于，网络流量数据处理与存储，将从路由器上采集到的原始数据转化为流量速率并存储在数据库中。

5.根据权利要求1或2的自适应网络流量预测和异常报警方法，其特征在于，网络流量预测，采用遗传算法从横向时间度对网络流量进行预测。

6.根据权利要求1或2的自适应网络流量预测和异常报警方法，其特征在于，网络流量异常报警，对当前网络流量性能状态进行统计分析，利用遗传算法预测出的网络流量值f_t+1后，***从纵向时间度采用方差分析法进行网络性能预警。

7.根据权利要求2或5的自适应网络流量预测和异常报警方法，其特征在于，网络流量预测包括：1)编码，是将种群数据的表现型转化为染色体的基因型表示；2)初始种群生成，以当前时刻前n分钟所采集的历史流量为样本，并对每个个体进行编码；3)个体适应度计算，计算种群中每个染色体的适应度值；4)选择，在交替的在编码空间和解空间中工作，在编码空间中对染色体进行遗传运算，而在解空间中对解进行评估和选择；5)交叉，交叉操作采用最常用的一点交叉法；6)变异，对染色体上每一位依变异概率p_m进行变异操作；7)终止判定，至6)完成了遗传算法的一次迭代，若不满足终止条件则跳转到3)继续，否则结束，输出适应度最佳的值作为预测值f_t+1。

8.根据权利要求2或5的自适应网络流量预测和异常报警方法，其特征在于，网络流量预测，其具体步骤如下：S2-1：编码，是将种群数据的表现型转化为染色体的基因型表示；S2-2：初始种群生成，以当前时刻前n分钟所采集的历史流量为样本，并对每个个体进行编码；S2-3：个体适应度计算，计算种群中每个染色体的适应度值；S2-4：选择，***采用轮转法来选择，从而产生新的染色体群；S2-5：交叉，交叉操作采用最常用的一点交叉法；S2-6：变异，对染色体上每一位依变异概率pm进行变异操作；S2-7：终止判定，至S2-6，就完成了遗传算法的一次迭代，若不满足终止条件则跳转到S2-3：继续，否则结束，输出适应度最佳的值作为预测值f_t+1。

9.根据权利要求2或6的自适应网络流量预测和异常报警方法，其特征在于，网络流量异常报警，S3-1：从流量信息历史记录中提取出前t天与待预测相同时刻的历史流量真实值为样本；S3-2：计算样本方差和标准差；S3-3：异常状态分析：(1)当|f_t+1- y_t|≤s_t时：网络状况正常，下一时刻网络流量预测值相对历史流量偏差在允许范围内；(2)当s_t＜|f_t+1- y_t|≤2s_t时：产生初级预警，下一时刻网络流量预测值相对历史流量有较小偏差；(3)当2s_t＜|f_t+1- y_t|≤3s_t时：产生中级预警，下一时刻网络流量预测值相对历史流量有较大偏差；(4)当3s_t＜|f_t+1- y_t|时：产生高级预警，下一时刻网络流量预测值相对历史流量状况有很大偏差。

Images