CN101610246B - 局域网链路层的源-目的流量分量推断方法 - Google Patents

Abstract

一种局域网链路层的源-目的流量分量推断方法，包括：对网络中的被管理设备接口采集流量数值并计算得到流量速率平均值；通过构造虚拟网络，将不同目标网络映射到统一的虚拟三节点等价网络中；通过统计所述虚拟网络的出口流量的平均速率采样值，得到出口流量的方差和协方差的统计值；根据流量分量与出口流量之间的线性叠加关系，通过多元线性回归法估计流量分量的方差；根据流量期望和方差关系，和流量分量期望与出口流量期望线性叠加关系，通过多元线性回归法估计流量分量的期望。本发明的有益效果在于，通过获得关键性的网络流量分量以满足一般的应用需求，从而避免了不必要的计算，减轻了计算负担。

Description

局域网链路层的源-目的流量分量推断方法

技术领域

本发明涉及计算机网络流量推断方法，特别涉及计算机网络局域网链路层的源-目的流量分量推断方法。

背景技术

在计算机网络中，通过网络流量矩阵(Traffic Matrix)来描述源节点和目的节点对之间的流量需求，即源-目的对(the pair of Origin andDestination)之间的流量需求。流量矩阵中的一个元素对应一个源-目的流量分量。相比于一般的网络流量监测，流量矩阵能够更细致地描述网络运行状况，能够更好地反映网络所承载应用的实际流量需求和运行状况。流量矩阵在网络规划、流量工程和网络可靠性分析等方面都有重要实用价值。

根据数据来源的不同，流量矩阵的获取方法可分为两类，即基于直接测量的获取方法和基于间接测量的获取方法，具体说明如下。

基于直接测量的获取方法通过Flow技术直接测量获得流量矩阵(如NetFlow^[3]、sFlow^[5])。这种方法在原理上是通过对报文在各层协议的具体内容进行分析再分类统计得到流量矩阵的，因此这种方法具有准确的优点，但这种方法有如下较为明显的缺点：(1)细致的报文分析和统计会对网络设备造成额外的计算负担，从而对网络设备的正常业务功能造成负面影响；(2)该技术当前并得不到广泛支持^[1][2][4][6]，实际应用中基本不存在完全由支持Flow技术的设备构成的网络，故未经过具有Flow功能的网络设备的网络流量便无法被测量；(3)不同厂家都发布了支持Flow功能的网络设备，但出自不同厂家的不同型号的设备所支持的Flow技术标准不尽相同，如CISCO设备仅支持NetFlow协议，HUAWEI设备仅支持NetStream协议，而Alcatel设备仅支持sFlow协议。实际应用中的计算机网络往往由不同类型和出自不同厂商的不同型号的网络设备构成，因此通过Flow技术获取流量矩阵基本上无法在实际网络中得到全面应用。当前已知测量流量矩阵方法相关专利为《通信/数据网络中的数据流动的辅助确定》(200480007497.4)，该专利设计技术即属于基于直接测量获取的方法。

基于间接测量的获取方法则依据易于获取的其他统计数据(如网络设备接口流量等)，通过推断的方法获得流量矩阵。这种方法虽然准确度不如基于直接测量的获取方法，但由于这种方法依据的数据来源简单广泛，并且几乎不需要额外的投资或改造，故更容易应用于实际网络中。

虽然上述的基于间接测量的流量矩阵获取方法具有诸多优点，但当前提出的使用该方法的流量矩阵推断算法通常推断完整流量矩阵，当网络出口偏多的时候，网络中源-目的流量分量将非常巨大，获取流量矩阵所需的计算量也非常巨大，将造成较大的计算负担。

以上背景技术所参考的技术资料：

[1]《NetFlow(网络流量)解决方案手册第4版》(NetFlow ServicesSolutions Guide Version 4.CISCO.January 2007.)；

[2]《技术***：NetFlow(网络流量)性能分析》(Technical WhitePaper：NetFlow Performance Analysis.CISCO.May 2007.)；

[3]《NetFlow(网络流量)服务输出第9版》(B.Claise，Ed.CiscoSystems NetFlow Services Export Version 9，RFC3954.October 2004.)；

[4]《使用sFlow的流量监视》(Traffic Monitoring using sFlow.sFlow.org Forum.2003.)；

[5]《一种用于监视交换路由网络中的流量的方法》(P.Phaal.InMonCorporation′s sFlow：A Method for Monitoring Traffic in Switched andRouted Networks，RFC3176.September 2001.)；

[6]《用于NetStream(网络流)的技术***》(Technical White Paperfor NetStream.Huawei Technologies Co.，Ltd.2007.)。

发明内容

本发明的目的在于，提出一种仅推断网络流量矩阵中的一对元素的算法，从而方便实现对流量矩阵中部分流量分量的求解，以避免不必要的计算。

为此，本发明提出一种局域网链路层的源-目的流量分量推断方法，包括以下步骤：

对网络中的被管理设备接口采集网络字节流量后，对所采集的数值进行采样计算，得到流量速率平均值；

通过构造虚拟网络，将不同目标网络映射到统一的虚拟三节点等价网络中，以删除不相关的网络拓扑和不相关的数据；

通过统计所述虚拟网络的出口流量的平均速率采样值，得到出口流量的方差和协方差的统计值；

根据流量分量与出口流量之间的线性叠加关系，通过多元线性回归法估计流量分量的方差；

根据流量期望和方差关系，和流量分量期望与出口流量期望线性叠加关系，通过多元线性回归法估计流量分量的期望。

本发明的有益效果在于，通过获得关键性的网络流量分量以满足一般的应用需求，从而避免了不必要的计算，减轻了计算负担。同时，由于不需依赖Flow技术即可实现在局域网中估计指定流量分量的速率期望，并且不需要额外的硬件投资和改造，容易应用于广泛存在的主要由低端网络设备构成的局域网络。

附图说明

图1为本发明的局域网链路层的源-目的流量分量推断方法的流程示意图；

图2为从目标网络中划分出子网络以构建虚拟三节点等价网络的示意图；

图3为图2中所划分出的子网络所映射的虚拟三节点等价网络的示意图；

图4为用于获取流量期望方差关系式的网络流量期望方差关系示意图；

图5为采用本发明的推断方法的实施例中的划分子网络以构建虚拟网络的示意图；

图6为图5所示子网络所映射的虚拟三节点等价网络三个出口的输入输出流量示意图；

图7为本发明的实施例中采用本发明的推断方法所得出的流量分量与采用Netflow测量得到的流量分量的比较示意图。

具体实施方式

下面参照附图对本发明的优选实施例进行详细说明。

本发明的方法依据网络设备接口输入和输出流量平均速率采样推断流量分量，属于基于间接测量数据获取流量矩阵的方法，相比基于直接测量的方法，几乎不需要额外的网络改造和投资即可应用，易于被广泛应用于实用局域网中。

图1为本发明的局域网链路层的源-目的流量分量推断方法的示意流程图。如图所示，本发明的局域网链路层的源-目的流量分量推断方法实施方式主要分为三个步骤：(1)通过SNMP采集设备接口的流量数据(S101)并采样得到流量平均速率(S102)；(2)网络拓扑等价转换(S103)；(3)根据采样得到的流量平均速率进行流量分量的推断(S104-106)。

首先说明通过SNMP(简单网络管理协议，Simple NetworkManagement Protocol)采集设备接口的流量数据并采样得到流量平均速率的步骤。

SNMP是当前几乎可得到所有厂商型号的网络设备支持的网络管理协议，通过该协议访问被管理设备的MIB(管理信息库，ManagementInformation Base)数据库中的接口组(Interfaces GROUP)可获取该设备接口的累计字节流量和报文流量，进而获取设备接口流量速率。

通过SNMP进行流量记录的原理是：依据SNMP协议定义和MIB数据库接口组定义，公有MIB数据库的节点ifInOctets和ifOutOctets分别记录了被管理设备每一个接口的输入和输出字节计数器的值，该计数器为32位无符号整数。经过某接口输入(输出)一个字节内容则该接口的输入(输出)字节计数器加1，当计数器当前值为2³²-1并被加1时，计数器被重置为0。

根据上述SNMP数据记录原理，通过SNMP采集被管理网络设备接口的输入输出流量数据(S101)。同时根据上述记录原理，定义采集周期为T秒，并以固定的时间间隔T连续地采集被管理设备接口的ifInOctets或ifOutOctets得到计数器数值采样序列S＝{s₁，s₂，s₃，......，s_n}。则定义：

$f_i=\left\{\begin{array}{cc}(s_{i+1}-s_i)/T& s_{i+1}>s_i\\ (s_{i+1}-s_i+2^{32})/T& s_{i+1}<s_i\end{array}\right.,$

得到接口输入或输出流量在T时间内的平均速率(S102)，对应流量平均速率采样序列为F＝{f₁，f₂，......，f_n-1}。

由于计数器会重置归0，因此，若采集周期过长，之间可能出现多次重置的情况，以至于无法计算得到准确的计数器变化量。

采集周期应进行如下设定：由于当前局域网网络通常最大带宽为1Gbps，故假设接口带宽为1Gbps，当满带宽占用时可计算得知计数器两次翻转的时间间隔为(2³²字节×8位/秒)/(1000000000位/秒)＝34.36秒。因此，为避免出现两次采集之间多次翻转，应满足采集周期T＜34.36秒。为方便计算，本发明中选择采集周期T为30秒。

由于接口组定义距今已超过15年，并且当前网络的发展已出现大带宽的光纤链路，因此为能够有效获取流量平均速率采样，可采集公有MIB数据库IFMIB节点ifHCInOctets和ifHCOutOctets以采集流量计数器数值，该计数器为上述ifInOctets和ifOutOctets的64位计数器版本，这种计数器更适合大带宽接口流量的累加技术，通常不存在计数器重置的问题。

以上阐述了通过SNMP采集设备接口的流量数据并获取在指定周期T内的接口输入和输出流量平均速率连续采样方法，下面说明根据采样得到的流量平均速率进行流量分量的推断。

为方便对推断算法进行描述，首先给出网络拓扑和流量随机过程的定义和推断问题的描述。

一个完全由网络设备互联构成的局域网可定义为NET＝<D，L>，其中：D＝{d₁，d₂，...，d_n}表示设备节点集合，如交换机、路由器等；L＝{l₁，l₂，...，l_m}表示物理链路集合，物理链路l_i可表示为两个物理接口(下文简称为接口)的无序对，即l＝(x，y)。

网络中的网络设备接口按用途分为两类：用于网络设备间直连以构造网络的接口，和用于网络输入输出流量的接口，本发明中定义后者为网络的出口。

定义I(d)＝{i₁，i₂，...，i_n}表示设备d拥有的所有接口集合。设x∈I(d)，定义Fi(x)表示通过接口x流入网络设备d的流量随机过程；定义Fo(x)表示通过接口x流出网络设备d的流量随机过程。

由于所需推断的流量分量位于链路层，故源节点和目的节点都与网络中具体的物理接口对应。定义F(x，y)表示从接口x输入并从接口y输出的流量分量随机过程，即源-目的对<x，y>的流量分量随机过程。网络设备接口输入输出流量可测，即指定周期T内网络接口的输入输出流量平均速率可测，则连续采样N个周期后可得到网络设备接口输入输出流量平均速率在[0，NT]期间的样本，易知接口流量的期望，方差和两不同流量间协方差都是可测的。

综上所述，待解决的技术问题可描述为：已知网络NET，且该网络中所有网络接口流量可测，指定接口x和y，求流量分量F(x，y)和F(y，x)在[0，NT]期间的期望。

其次说明网络拓扑等价转换步骤(S103)。

网络拓扑等价转换步骤包括两个操作过程：(1)在实际复杂的网络中划分出与流量分量推断相关的部分作为子网络，以去除不相关的网络拓扑；(2)将不同结构和规模的上述子网络等价变换到固定统一的虚拟等价网络上。通过上述两个操作过程可实现简化推断过程的目的。下面对上述两个操作过程进行详细说明。

步骤一：子网络的划分

图2为从目标网络中划分出子网络以构建虚拟三节点等价网络的示意图。

在网络NET中选择子网络NET′＝<D′，L′>，其满足条件：该子网络NET′包含分量F(x，y)和F(y，x)经过的所有网络设备节点和物理链路。如图2为例，虚线包含部分为所选择的子网络。可知NET′删除了与待求流量分量无关的网络结构和流量，且NET′中网络设备节点互联形成网络设备节点间相互连通的网络。

步骤二：流量映射

和当前已发表的统计推断算法的假设一致，在本发明中假设设备节点忠实地转发报文，报文错误和丢失等情况被忽略不计。此时设备节点所有通信接口输入流量总和与输出流量总和相等，同理易知仅由满足上述假设的设备节点构成的网络NET′的所有出口输入流量总和与输出流量总和相等。以图2为例，接口w₁、w₂、x和y为NET′网络的出口，z_i为参与设备间物理直连的接口。取非接口x和y的所有出口构成集合I′，易知I′＝{w₁，w₂}。分析NET′网络中的流量可以分为7类，如表1：

表1流量分类表

故已知NET′网络出口x和y，可构造如图3所示的由图2中所划分出的子网络所映射的虚拟三节点等价网络的示意图，所构建的虚拟三节点等价网络NET₀如下：

NET₀＝<D₀，L₀>，D₀＝{d₁，d₂，d₃}，L₀＝{l₁，l₂，l₃}

I(d₁)＝{x，i₁，i₂}，I(d₂)＝{y，i₃，i₄}，I(d₃)＝{i₅，i₆，i₇}

l₁＝(i₁，i₃)，l₂＝(i₂，i₅)，l₃＝(i₄，i₆)

定义流量映射：Fi(i₇)＝∑_i∈I′Fi(i)，Fo(i₇)＝∑_i∈I′Fo(i)。

此时，待求分量为NET₀中经过d₁和d₂的分量，与待求分量无关的流量分量都经过d₃输入和输出网络。在图3所示的等价网络中，流量分量随机过程F与出口流量随机过程S间满足关系式：

S＝AF    (1)

其中，

$A=\left[\begin{array}{ccccccc}1& 1& 0& 0& 0& 0& 0\\ 0& 0& 1& 1& 0& 0& 0\\ 0& 0& 0& 0& 1& 1& 1\\ 0& 0& 1& 0& 1& 0& 0\\ 1& 0& 0& 0& 0& 1& 0\\ 0& 1& 0& 1& 0& 0& 1\end{array}\right],$ $S=\left[\begin{array}{c}\mathrm{Fi}\left(x\right)\\ \mathrm{Fi}\left(y\right)\\ \mathrm{Fi}\left(i_7\right)\\ \mathrm{Fo}\left(x\right)\\ \mathrm{Fo}\left(y\right)\\ \mathrm{Fo}\left(i_7\right)\end{array}\right],$ $F=\left[\begin{array}{c}{F}_1\\ F_2\\ F_3\\ F_4\\ F_5\\ F_6\\ F_7\end{array}\right]=\left[\begin{array}{c}F(x,y)\\ F(x,i_7)\\ F(y,x)\\ F(y,i_7)\\ F(i_7,x)\\ F(i_7,y)\\ F(i_7,i_7)\end{array}\right]$

显然流量分量期望向量λ与出口流量期望向量Y之间满足关系式：

Y＝Aλ    (2)

其中，

$Y=\left[\begin{array}{c}{Y}_1\\ Y_2\\ Y_3\\ Y_4\\ Y_5\\ Y_6\end{array}\right]=\left[\begin{array}{c}E\left(\mathrm{Fi}\left(x\right)\right)\\ E\left(\mathrm{Fi}\left(y\right)\right)\\ E\left(\mathrm{Fi}\left(i_7\right)\right)\\ E\left(\mathrm{Fo}\left(x\right)\right)\\ E\left(\mathrm{Fo}\left(y\right)\right)\\ E\left(\mathrm{Fo}\left(i_7\right)\right)\end{array}\right],$ $\mathrm{\&lambda;}=\left[\begin{array}{c}{\mathrm{\&lambda;}}_1\\ {\mathrm{\&lambda;}}_2\\ {\mathrm{\&lambda;}}_3\\ {\mathrm{\&lambda;}}_4\\ {\mathrm{\&lambda;}}_5\\ {\mathrm{\&lambda;}}_6\\ {\mathrm{\&lambda;}}_7\end{array}\right]=\left[\begin{array}{c}E\left(F(x,y)\right)\\ E\left(F(x,i_7)\right)\\ E\left(F(y,x)\right)\\ E\left(F(y,i_7)\right)\\ E\left(F(i_7,x)\right)\\ E\left(F(i_7,y)\right)\\ E\left(F(i_7,i_7)\right)\end{array}\right]$

可见，三节点等价网络拓扑结构与具体网络拓扑结构无关，即等价网络描述的流量线性叠加关系(1)和(2)是不变的。由于所有网络出口流量都是可测的，根据流量映射定义可知i₇是可测的，即Y是可测的。因此基于三节点等价网络的模型直接推断求解λ₁和λ₃即可得到流量分量F(x，y)和F(y，x)的期望。

下面说明流量分量的推断方法。

推断方法依赖一个重要的流量期望方差关系假设。当前研究工作已普遍承认这种关系仍然存在，且关系形式为幂律形式，即

其中

和c为常数。常数c在不同网络环境下有着不同的取值。本发明中提出的推断算法也以网络流量期望方差关系为假设，由于该假设当前仍通过经验观测提出，因此本发明也通过实际观测验证幂律的关系形式和寻找适合实际流量统计特征的c值。

本发明的方法选择通过SNMP采集网络设备接口流量，并选择局域网的主要交换设备和路由设备为例说明关系式获取方法。验证流量关系的方法是：与上述获取流量速率采样的方法一致。定义T＝30s，通过定时间间隔T访问被管理设备MIB库中接口输入输出计数器的值，可得到被观测设备接口在固定时间周期T内的平均输入输出速率(Bps)；定义N＝10，通过连续采样N次计算得到流量样本的期望和方差，则1次采样对应1个坐标为(logE，logσ²)的点，多次采样得到多个坐标点后使用最小二乘法估计斜率即为c的估计值，参见图4，其图示了为用于获取流量期望方差关系式的网络流量期望方差的关系。

通过观测c的经验取值为1.8左右。图4所示为局域网核心交换机典型流量统计样例。故进一步推断的基本假设为：

根据构造得到的等价网络和经验的流量期望方差关系，进一步提出流量分量推断算法。三节点等价网络中共有7个流量分量，则对应有7个方差和21个协方差。等价网络中可测的出口流量有6个，则对应有6个方差和15个协方差。通过统计所述虚拟网络的出口流量的平均速率采样值，可得到出口流量的方差和协方差的统计值(S104)。

随后，构造出口流量协方差向量和流量分量协方差向量的关联关系：任取矩阵A的行向量A_i和A_j(i≤j)，可构造7×7上三角形矩阵B(i，j)，对任意元素下标n≥m，元素B(i，j)_m，n定义为：

${B(i,j)}_{m,n}=\left\{\begin{array}{c}{A}_{i,m}\&times;A_{j,n}+A_{i,n}\&times;A_{j,m},(m\&NotEqual;n)\\ A_{i,m}\&times;A_{j,n},(m=n)\end{array}\right.$

按行从上向下从左向右的方向遍历矩阵B(i，j)的上三角形部分的28个元素可得1×28行向量：

C(i，j)＝(B(i，j)_1，1，B(i，j)_1，2，...，B(i，j)_1，7，B(i，j)_2，2，...，B(i，j)_2，7，B(i，j)_3，3，...，B(i，j)_7，7)

令Z为21×1出口流量协方差向量，X为28×1流量分量协方差向量，根据C(i，j)可构造21×28矩阵D，则构造关系式为：

Z＝DX    (5)

其中，

$Z=\left[\begin{array}{c}\mathrm{Cov}(y_1,y_1)\\ \mathrm{Cov}\left(y_{1,}{y}_2\right)\\ \mathrm{Cov}(y_1,y_3)\\ \mathrm{Cov}(y_1,y_4)\\ \mathrm{Cov}(y_1,y_5)\\ \mathrm{Cov}(y_1,y_6)\\ \mathrm{Cov}(y_2,y_2)\\ .\\ .\\ .\\ \mathrm{Cov}(y_6,y_6)\end{array}\right],$ $D=\left[\begin{array}{c}C\left(\mathrm{1,1}\right)\\ C\left(\mathrm{1,2}\right)\\ C\left(\mathrm{1,3}\right)\\ C\left(\mathrm{1,4}\right)\\ C\left(\mathrm{1,5}\right)\\ C\left(\mathrm{1,6}\right)\\ C\left(\mathrm{2,2}\right)\\ .\\ .\\ .\\ C\left(\mathrm{6,6}\right)\end{array}\right],$ $X=\left[\begin{array}{c}\mathrm{Cov}\left(F_{1,}{F}_1\right)\\ \mathrm{Cov}(F_1,F_2)\\ \mathrm{Cov}(F_1,F_3)\\ \mathrm{Cov}(F_1,F_4)\\ \mathrm{Cov}(F_1,F_5)\\ \mathrm{Cov}(F_1,F_6)\\ \mathrm{Cov}(F_1,F_7)\\ \mathrm{Cov}(F_2,F_2)\\ \mathrm{Cov}(F_2,F_3)\\ .\\ .\\ .\\ \mathrm{Cov}(F_7,F_7)\end{array}\right]$

根据关系(5)和可测的Z推断X。由于未知的流量分量方差和协方差个数远大于已知的出口流量方差和协方差个数，故关系(5)仍然是不确定性的方程。因此需要进一步提出假设。显然，Cov(F_k，F_k)＝σ_k ²(k＝1，2，...，7)是需要最终计算得到的结果。本发明中采用多元线性回归的方法估计上述7个方差。

本发明中假设全部21个协方差中有k个不为0，其它协方差皆为0。并通过将这些协方差量带入回归算法一同计算以获取方差结果。例如，假设Cov(F₁，F₃)，Cov(F₂，F₅)，Cov(F₄，F₆)皆不为0。则根据该讨论，假设向量X中Cov(F_i，F_i)＝σ_i ²和上述3个协方差外的其它元素都为0。则有：

$R=\left[\begin{array}{c}1100000000\\ 0000000100\\ 0000000010\\ 0000000110\\ 1000000000\\ 0100000000\\ 0011000000\\ 0000000001\\ 1000000000\\ 0000000101\\ 0001000000\\ 0000111000\\ 0000100000\\ 0000010000\\ 0000001011\\ 0010100000\\ 0000000100\\ 0000000010\\ 1000010000\\ 0000000001\\ 0101001000\end{array}\right],$ $X^{\&prime;}=\left[\begin{array}{c}\mathrm{Cov}(F_1,F_1)\\ \mathrm{Cov}\left(F_{2,}{F}_2\right)\\ \mathrm{Cov}(F_3,F_3)\\ \mathrm{Cov}(F_4,F_4)\\ \mathrm{Cov}(F_5,F_5)\\ \mathrm{Cov}\left(F_6{,F}_6\right)\\ \mathrm{Cov}(F_7,F_7)\\ \mathrm{Cov}(F_1,F_3)\\ \mathrm{Cov}(F_2,F_5)\\ \mathrm{Cov}(F_4,F_6)\end{array}\right]$

此时关系(5)等价于10个未知量的冗余方程组。为保证获得最合理的推断结果，结果需要满足：1)7个方差的解皆为正；2)条件1满足的前提下关系(5)的残差平方和Q最小。从左向右顺序选择D中所有21个协方差对应的列向量构造成矩阵R_C，从上向下顺序选择X中21个协方差元素构成列向量X′_C。则D和X可表示为：

$D=\left[\begin{array}{cc}{R}_0& R_C\end{array}\right],X=\begin{array}{c}\left[\begin{array}{c}{X}_0^{\&prime;}\\ X_C^{\&prime;}\end{array}\right]\end{array}$

由于k个协方差量组合有

种可能，假设不为0的协方差数量偏大将导致过多的计算，而偏少则不易推断出合理的方差。因此本发明中经验的假设不为0的协方差量最少3个最多7个，并尝试使用最少数量的协方差量参与计算。已知Z，求X′₀。提出如下推断算法：

Function resolve(Z)

begin

    result：＝(0，0，0，0，0，0，0)′；

    Q：＝∞；

    for i：＝3 to 7 do

         for(j₁，j₂，...，j_i)为1～21的无序组合

               选择R_C第j₁，j₂，...，j_i列构成R_T；

               选择X′_C第j₁，j₂，...，j_i行构成X′_T；

                $R:=\left[\begin{array}{cc}{R}_0& R_T\end{array}\right]:X^{\&prime;}:=\left[\begin{array}{c}{X}_0^{\&prime;}\\ X_T^{\&prime;}\end{array}\right];$

                X′：＝(R^TR)^-1R^TZ：

               if存在X′₀元素小于0 then

                   continue；

               end if

               q：＝Z＝RX′的残差平方和；

               if Q＞q then

                     Q：＝q；

                     result：＝X′₀；

               end if

         end for

         if result is not(0，0，0，0，0，0，0)′then

                break；

         end if

    end for

    return result；

end

多元线性回归估计方法不能保证解为正值。但该算法通过引入多个协方差量参与计算，以尽快获得方差量为正的前提下残差平方和尽可能最小的解。通过实验可知这种引入部分协方差不为零假设的方法可以有效避免负数方差解的出现。

随后，通过可测的Z推断得到X′₀，即根据流量分量与出口流量之间的线性叠加关系，通过多元线性回归法估计流量分量的方差(S105)。

根据流量期望方差关系的假设，有但关系(2)对流量有着更强的约束，故最终推断的结果必须满足(2)。易知rank(A)＝5，(2)为冗余方程。因此删除A的最后一行得到五个方程组成的七元线性方程组，通过求解使λi由λ₁，λ₃和常数线性叠加构成，再带入流量期望方差关系则得到：

G＝HL    (6)

其中：

$L=\left[\begin{array}{c}{\mathrm{\&lambda;}}_1\\ {\mathrm{\&lambda;}}_3\\ 1\end{array}\right]$ $H=\left[\begin{array}{ccc}\mathrm{\&alpha;}& \mathrm{\&beta;}& \mathrm{\&gamma;}\end{array}\right]=\left[\begin{array}{ccc}1& 0& 0\\ -1& 0& Y_1\\ 0& 1& 0\\ 0& -1& Y_2\\ 0& -1& Y_4\\ -1& 0& Y_5\\ 1& 1& Y_3-Y_4-Y_5\end{array}\right]$

由于常数未知，故本发明中采用两两相除的方法消去常数项

取方程(6)中不相同的第i行和第j行，等号两边分别相除消去

后整理得：

$X_j^{\&prime;\frac{1}{c}}{\mathrm{\&gamma;}}_j-X_j^{\&prime;\frac{1}{c}}{\mathrm{\&gamma;}}_i=(X_j^{\&prime;\frac{1}{c}}{\mathrm{\&alpha;}}_i-X_i^{\&prime;\frac{1}{c}}{\mathrm{\&alpha;}}_j){\mathrm{\&lambda;}}_1+(X_j^{\&prime;\frac{1}{c}}{\mathrm{\&beta;}}_i-X_i^{\&prime;\frac{1}{c}}{\mathrm{\&beta;}}_j){\mathrm{\&lambda;}}_3$

通过整理可得

W＝UΛ    (7)

其中：

$\mathrm{\&Lambda;}=\left[\begin{array}{c}{\mathrm{\&lambda;}}_1\\ {\mathrm{\&lambda;}}_3\end{array}\right]$

易知W为21×1向量，(7)是关于λ₁和λ₃的冗余线性方程组。因此利用多元线性回归方法可得：

Λ＝(U^TU)^-1U^TW    (8)

则Λ即为所求。以上为根据流量期望和方差关系

以及根据流量分量期望与出口流量期望线性叠加关系Y＝Aλ，通过多元线性回归法估计流量分量的期望的过程(S106)。

图5为采用本发明的推断方法的实施例中的划分子网络以构建虚拟网络的示意图。如图所示，在软件开发环境国家重点实验室的办公网络设备互联拓扑为：实验室网络以路由交换机CORE为核心，实验室不同楼层网络通过交换机AREA1和AREA2接入网络，实验室服务器集群通过交换机SERVERS接入，实验室网络通过交换机GATE与Internet互联。

CORE和AREA1皆有其他服务器和交换机接入。相关设备包含网络出口数如表2所示：

表2网络出口数统计表

实施例选择推断网络中ROOM1和BALANCE之间的流量分量，并利用CORE设备支持的NetFlow测量结果对推断结果进行对比以验证技术效果。考察上述网络拓扑可知，与待求分量相关的子网络NET′共有18个网络出口，若使用传统推断算法，将需要同时推断18×17＝306个流量分量，推断计算量很大。

以下根据本发明提出的方法推断流量分量，在本发明的方法中，并非所有流量分量都是必须推断出来的。首先，如图5所示从全部网络中划分出子网络NET′，并指定出口x和y。其中AREA2和SERVERS设备与待求流量分量无关，故被排除在子网络NET′之外。令T＝30s，N＝10，根据三节点网络构造方法映射得到网络出口x，y和i₇的输入输出流量。取相邻N个流量速率采样计算平均值，绘制流量速率均值的时间序列，参见图6，其图示了图5所示子网络所映射的虚拟三节点等价网络三个出口的输入输出流量示意图。

图7为本发明的实施例中采用本发明的推断方法所得出的流量分量与采用Netflow测量得到的流量分量的比较示意图，其中计算过程中没有出现流量分量方差估计值为负的情况。

根据本发明的推断算法在本实施例中得到的E(F(x，y))和E(F(y，x))时间序列如图7中灰色曲线所示，利用NetFlow技术测量的E(F(x，y))和E(F(y，x))时间序列如图7中黑色曲线所示。

观察可知本实施例中的计算结果较NetFlow测量结果略微剧烈，但该推断结果在整体趋势上与NetFlow测量结果基本一致，通常情况下能够较准确的反映网络的实际流量分量变化。

以上为本发明的优选实施例，但本发明不局限于上述特定实施例子，在不背离本发明精神及其实质情况下，熟悉本领域技术人员可根据本发明作出各种相应改变和变形，但这些相应改变和变形都应属于本发明所附权利要求保护范围之内。

Claims (2)

1.一种局域网链路层的源-目的流量分量推断方法，包括以下步骤：

对网络中的被管理设备接口采集网络字节流量后，对所采集的数值进行采样计算，得到流量速率平均值；

通过构造虚拟网络，将不同目标网络映射到统一的虚拟三节点等价网络中，以删除不相关的网络拓扑和不相关的数据；

通过统计所述虚拟网络的出口流量的平均速率采样值，得到出口流量的方差和协方差的统计值；

根据流量分量与出口流量之间的线性叠加关系，通过多元线性回归法估计流量分量的方差；

根据流量期望和方差关系，和流量分量期望与出口流量期望线性叠加关系，通过多元线性回归法估计流量分量的期望；

所述构造虚拟网络包括以下步骤：

在实际网络中划分出与流量分量推断相关的部分作为子网络，以去除不相关的网络拓扑；

将不同结构和规模的上述子网络变换为统一的虚拟三节点等价网络；

所述流量分量与出口流量之间的线性叠加关系满足S＝AF，其中，

$A=\left[\begin{array}{ccccccc}1& 1& 0& 0& 0& 0& 0\\ 0& 0& 1& 1& 0& 0& 0\\ 0& 0& 0& 0& 1& 1& 1\\ 0& 0& 1& 0& 1& 0& 0\\ 1& 0& 0& 0& 0& 1& 0\\ 0& 1& 0& 1& 0& 0& 1\end{array}\right],$ $S=\left[\begin{array}{c}\mathrm{Fi}\left(x\right)\\ \mathrm{Fi}\left(y\right)\\ \mathrm{Fi}\left(i_7\right)\\ \mathrm{Fo}\left(x\right)\\ \mathrm{Fo}\left(y\right)\\ \mathrm{Fo}\left(i_7\right)\end{array}\right],$ $F=\left[\begin{array}{c}{F}_1\\ F_2\\ F_3\\ F_4\\ F_5\\ F_6\\ F_7\end{array}\right]=\left[\begin{array}{c}F(x,y)\\ F(x,i_7)\\ F(y,x)\\ F(y,i_7)\\ F(i_7,x)\\ F(i_7,y)\\ F(i_7,i_7)\end{array}\right]$

其中F为流量分量随机过程，S为出口流量随机过程，F(x，y)和F(y，x)为流量分量，x、y和i₇分别为所述虚拟三节点等价网络的出口，Fi(x)和Fo(x)分别表示通过接口x流入和流出网络设备的流量随机过程，Fi(y)和Fo(y)分别表示通过接口y流入和流出网络设备的流量随机过程，Fi(i7)和Fo(i7)分别表示通过接口i7流入和流出网络设备的流量随机过程，F(x，y)表示从接口x输入并从接口y输出的流量分量随机过程，F(y，x)表示从接口y输入并从接口x输出的流量分量随机过程，F(x，i7)表示从接口x输入并从接口i7输出的流量分量随机过程，F(y，i7)表示从接口y输入并从接口i7输出的流量分量随机过程，F(i7，x)表示从接口i7输入并从接口x输出的流量分量随机过程，F(i7，y)表示从接口i7输入并从接口y输出的流量分量随机过程，F(i7，i7)表示从接口i7输入并从接口i7输出的流量分量随机过程；

所述流量期望和方差之间的关系满足

其中

和c为常数，E为流量期望，σ为流量方差，并且所述常数c的确定方式如下：

对出口流量在设定周期内的平均速率进行多次采样并计算后，得到多个流量期望和方差的样本，根据该多个样本得到多个坐标为(logE，logσ²)的点，对该多个坐标点使用最小二乘法估计其斜率即为c的值；

所述流量分量期望与出口流量期望之间的线性叠加关系满足Y＝Aλ，其中，

$Y=\left[\begin{array}{c}{Y}_1\\ Y_2\\ Y_3\\ Y_4\\ Y_5\\ Y_6\end{array}\right]=\left[\begin{array}{c}E\left(\mathrm{Fi}\left(x\right)\right)\\ E\left(\mathrm{Fi}\left(y\right)\right)\\ E\left(\mathrm{Fi}\left(i_7\right)\right)\\ E\left(\mathrm{Fo}\left(x\right)\right)\\ E\left(\mathrm{Fo}\left(y\right)\right)\\ E\left(\mathrm{Fo}\left(i_7\right)\right)\end{array}\right],$ $\mathrm{\&lambda;}=\left[\begin{array}{c}{\mathrm{\&lambda;}}_1\\ {\mathrm{\&lambda;}}_2\\ {\mathrm{\&lambda;}}_3\\ {\mathrm{\&lambda;}}_4\\ {\mathrm{\&lambda;}}_5\\ {\mathrm{\&lambda;}}_6\\ {\mathrm{\&lambda;}}_7\end{array}\right]=\left[\begin{array}{c}E\left(F(x,y)\right)\\ E\left(F(x,i_7)\right)\\ E\left(F(y,x)\right)\\ E\left(F(y,i_7)\right)\\ E\left(F(i_7,x)\right)\\ E\left(F(i_7,y)\right)\\ E\left(F(i_7,i_7)\right)\end{array}\right],$

$A=\left[\begin{array}{ccccccc}1& 1& 0& 0& 0& 0& 0\\ 0& 0& 1& 1& 0& 0& 0\\ 0& 0& 0& 0& 1& 1& 1\\ 0& 0& 1& 0& 1& 0& 0\\ 1& 0& 0& 0& 0& 1& 0\\ 0& 1& 0& 1& 0& 0& 1\end{array}\right]$

其中，λ为流量分量期望向量，Y为出口流量期望向量；

所述估计流量分量的方差包括：

构造出口流量协方差向量与流量分量协方差向量之间的关联关系Z＝DX并根据可测的Z推断X，其中，

$Z=\left[\begin{array}{c}\mathrm{Cov}(y_1,y_1)\\ \mathrm{Cov}(y_1,y_2)\\ \mathrm{Cov}(y_1,y_4)\\ \mathrm{Cov}(y_1,y_5)\\ \mathrm{Cov}(y_1,y_5)\\ \mathrm{Cov}(y_1,y_6)\\ \mathrm{Cov}(y_2,y_2)\\ .\\ .\\ .\\ \mathrm{Cov}(y_6,y_6)\end{array}\right],$ $D=\left[\begin{array}{c}C\left(\mathrm{1,1}\right)\\ C\left(\mathrm{1,2}\right)\\ C(1,3)\\ C\left(\mathrm{1,4}\right)\\ C\left(\mathrm{1,5}\right)\\ C\left(\mathrm{1,6}\right)\\ C(2,2)\\ .\\ .\\ .\\ C\left(\mathrm{6,6}\right)\end{array}\right],$ $X=\left[\begin{array}{c}\mathrm{Cov}(F_1,F_1)\\ \mathrm{Cov}(F_1,F_2)\\ \mathrm{Cov}(F_1,F_3)\\ \mathrm{Cov}(F_1,F_4)\\ \mathrm{Cov}(F_1,F_5)\\ \mathrm{Cov}(F_1,F_6)\\ \mathrm{Cov}(F_1,F_7)\\ \mathrm{Cov}(F_2,F_2)\\ \mathrm{Cov}(F_2,F_3)\\ .\\ .\\ .\\ \mathrm{Cov}(F_7,F_7)\end{array}\right],$

其中Z为出口流量协方差向量，X为流量分量协方差向量，C(i，j)＝(B(i，j)_1，1，B(i，j)_1，2，...，B(i，j)_1，7，B(i，j)_2，2，...，B(i，j)_2，7，B(i，j)_3，3，...，B(i，j)_7，7)， $B{(i,j)}_{m,n}=\left\{\begin{array}{cc}{A}_{i,m}\&times;A_{j,n}+A_{i,n}\&times;A_{j,m}& (m\&NotEqual;n)\\ A_{i,m}\&times;A_{j,n}& (m=n)\end{array}\right.,$ n≥m， $A=\left[\begin{array}{ccccccc}1& 1& 0& 0& 0& 0& 0\\ 0& 0& 1& 1& 0& 0& 0\\ 0& 0& 0& 0& 1& 1& 1\\ 0& 0& 1& 0& 1& 0& 0\\ 1& 0& 0& 0& 0& 1& 0\\ 0& 1& 0& 1& 0& 0& 1\end{array}\right];$

y1～y6为所述虚拟三节点等价网络中可测的6个出口流量，F1～F7为所述虚拟三节点等价网络中的7个流量分量；

i＝1，2，...，7；j＝1，2，...，7；且i≤j；

m＝1，2，...，7；n＝1，2，...，7；且m≤n；

根据Cov(F_k，F_k)＝σ_k ²，通过多元线性回归法估计流量分量的方差σ_k ²，其中k＝1，2，...，7；

通过多元线性回归法估计流量分量的方差σ_k ²包括，根据Z＝DX以下述条件对X中的Cov(F_k，F_k)进行推断：7个流量分量的协方差Cov(F_k，F_k)都为正数，同时Z＝DX的残差平方和最小；

推断Cov(F_k，F_k)的条件还包括，X中除了Cov(F_k，F_k)外的其他协方差中有k个不为零；

通过将Y＝Aλ与流量期望和方差关系

结合得到关系式G＝HL，并在等式两边同时消去涉及

的常数项后，得到W＝UΛ，从而得到所需的结果Λ，其中：

$L=\left[\begin{array}{c}{\mathrm{\&lambda;}}_1\\ {\mathrm{\&lambda;}}_3\\ 1\end{array}\right]$

$H=\left[\begin{array}{ccc}\mathrm{\&alpha;}& \mathrm{\&beta;}& \mathrm{\&gamma;}\end{array}\right]\left[\begin{array}{ccc}1& 0& 0\\ -1& 0& Y_1\\ 0& 1& 0\\ 0& -1& Y_2\\ 0& -1& Y_4\\ -1& 0& Y_5\\ 1& 1& Y_3-Y_4-Y_5\end{array}\right],$

$W=\left[\begin{array}{c}{X_1^{\&prime;}}^{\frac{1}{c}}{\mathrm{\&gamma;}}_2-{X_2^{\&prime;}}^{\frac{1}{c}}{\mathrm{\&gamma;}}_1\\ {X_1^{\&prime;}}^{\frac{1}{c}}{\mathrm{\&gamma;}}_3-{X_3^{\&prime;}}^{\frac{1}{c}}{\mathrm{\&gamma;}}_1\\ .\\ .\\ .\\ {X_1^{\&prime;}}^{\frac{1}{c}}{\mathrm{\&gamma;}}_7-{X_7^{\&prime;}}^{\frac{1}{c}}{\mathrm{\&gamma;}}_1\\ {X_2^{\&prime;}}^{\frac{1}{c}}{\mathrm{\&gamma;}}_3-{X_3^{\&prime;}}^{\frac{1}{c}}{\mathrm{\&gamma;}}_2\\ .\\ .\\ .\\ {X_6^{\&prime;}}^{\frac{1}{c}}{\mathrm{\&gamma;}}_7-{X_7^{\&prime;}}^{\frac{1}{c}}{\mathrm{\&gamma;}}_6\end{array}\right],$ $\mathrm{\&Lambda;}=\left[\begin{array}{c}{\mathrm{\&lambda;}}_1\\ {\mathrm{\&lambda;}}_3\end{array}\right],$ $U=\left[\begin{array}{cc}{X_2^{\&prime;}}^{\frac{1}{c}}{\mathrm{\&alpha;}}_1-{X_1^{\&prime;}}^{\frac{1}{c}}{\mathrm{\&alpha;}}_2& {X_2^{\&prime;}}^{\frac{1}{c}}{\mathrm{\&beta;}}_1-{X_1^{\&prime;}}^{\frac{1}{c}}{\mathrm{\&beta;}}_2\\ {X_3^{\&prime;}}^{\frac{1}{c}}{\mathrm{\&alpha;}}_1-{X_1^{\&prime;}}^{\frac{1}{c}}{\mathrm{\&alpha;}}_3& {X_3^{\&prime;}}^{\frac{1}{c}}{\mathrm{\&beta;}}_1-{X_1^{\&prime;}}^{\frac{1}{c}}{\mathrm{\&beta;}}_3\\ .& .\\ .& .\\ .& .\\ {X_7^{\&prime;}}^{\frac{1}{c}}{\mathrm{\&alpha;}}_1-{X_1^{\&prime;}}^{\frac{1}{c}}{\mathrm{\&alpha;}}_7& {X_7^{\&prime;}}^{\frac{1}{c}}{\mathrm{\&beta;}}_1-{X_1^{\&prime;}}^{\frac{1}{c}}{\mathrm{\&beta;}}_7\\ {X_3^{\&prime;}}^{\frac{1}{c}}{\mathrm{\&alpha;}}_2-{X_2^{\&prime;}}^{\frac{1}{c}}{\mathrm{\&alpha;}}_3& {X_3^{\&prime;}}^{\frac{1}{c}}{\mathrm{\&beta;}}_2-{X_2^{\&prime;}}^{\frac{1}{c}}{\mathrm{\&beta;}}_3\\ .& .\\ .& .\\ .& .\\ {X_7^{\&prime;}}^{\frac{1}{c}}{\mathrm{\&alpha;}}_6-{X_6^{\&prime;}}^{\frac{1}{c}}{\mathrm{\&alpha;}}_7& {X_7^{\&prime;}}^{\frac{1}{c}}{\mathrm{\&beta;}}_6-{X_6^{\&prime;}}^{\frac{1}{c}}{\mathrm{\&beta;}}_7\end{array}\right],$

其中X₁’至X₇’为7个流量分量方差。

2.如权利要求1所述的方法，其特征在于，所述不为零的协方差为3-7个。

Images