CN105071963A - 一种面向大数据互联网的多业务流量估计方法 - Google Patents

Abstract

本发明提出一种面向大数据互联网的多业务流量估计方法，属于通信网络技术领域，包括如下步骤：步骤1：网络管理站采用简单网络管理协议获取骨干网链路负载；步骤2：网络管理站根据网络拓扑结构以及路由器中路由表信息获取路由矩阵；步骤3：网络管理站生成一个随机的伯努利矩阵，并根据该矩阵确定部分直接测量的端到端网络流量；步骤4：利用主成分分析方法近似地描述流量矩阵；步骤5：根据步骤1、2和4构建网络层析成像模型；步骤6：根据步骤3和4构建线性测量模型；步骤7：根据步骤5和6中的模型，网络管理站通过构建最优化模型的方法估计流量矩阵。本发明通过伯努利矩阵构建线性测量模型，并采用网络层析成像技术构建流量估计模型。

Description

一种面向大数据互联网的多业务流量估计方法

技术领域

本发明属于通信网络技术领域，特别涉及一种面向大数据互联网的多业务流量估计方法。

背景技术

随着信息和通信技术的不断发展，互联网技术已经深入到当今社会生活、工业生产中。特别是“互联网+”的提出，进一步推进了互联网技术在工业、农业等领域的推广，促进了社会产业信息化进程。互联网技术逐渐深入到社会各个领域的同时，海量数据处理、信息安全等方面的问题日益突出，这些问题给网络管理提出了更高的要求。

近些年，互联网为不同的终端用户提供了多种多样的网络服务，在此背景下互联网已经成为一个复杂的异构网络。网络管理功能被引入到网络中以保证每一个用户的服务质量。对于一个网络管理者，其在执行一个有效的网络管理功能时首先需要了解端到端网络流量的状态信息。在实际当中，端到端网络流量信息可以通过流量矩阵进行描述，流量矩阵是网络管理过程一个重要的输入参数。

虽然流量矩阵具有极其重要的作用，但是对于一个大尺度骨干网来说，获取流量矩阵并不简单。这个原因是多重的，首先，对于一个大尺度骨干网，直接采集网络流量信息是不可实现的。在这种情况下，研究人员更倾向于间接地估计网络流量而非直接采集网络流量信息。在众多的网络流量估计方法中，通常是通过其他有效的网络信息去推断网络流量，例如网络层析成像技术通过链路负载和路由信息去估计网络流量。然而网络层析成像模型具有高度的病态特性，因此估计网络流量的研究任然面临诸多挑战。

发明内容

针对现有方法存在的不足，本发明提出一种面向大数据互联网的多业务流量估计方法，以此获取准确的骨干网流量估计值，为实现有效的网络管理和网络规划奠定坚实的基础。

一种面向大数据互联网的多业务流量估计方法，包括以下步骤：

步骤1：网络管理站采用简单网络管理协议获取骨干网链路负载；

步骤2：网络管理站根据网络拓扑结构以及路由器中路由表信息获取路由矩阵；

步骤3：网络管理站生成一个随机的伯努利矩阵，并根据该矩阵确定部分直接测量的端到端网络流量；

步骤4：利用主成分分析方法近似地描述流量矩阵；

步骤5：根据步骤1、2和4构建网络层析成像模型；

步骤6：根据步骤3和4构建线性测量模型；

步骤7：根据步骤5和6中的模型，网络管理站通过构建最优化模型的方法估计流量矩阵。

步骤1所述的网络管理站采用简单网络管理协议获取骨干网链路负载，方法为：当用矩阵L表示链路负载时，对于一个具有N个节点和P条链路的骨干网，截取T个时槽的链路负载数据，则L为一个P×T的矩阵。

步骤2所述的网络管理站根据网络拓扑结构以及路由器中路由表信息获取路由矩阵，方法为：当用R表示路由矩阵时，对于一个具有N个节点和P条链路的骨干网，路由矩阵R为一个P×N ²的矩阵。

步骤3所述的网络管理站生成一个随机的伯努利矩阵，并根据该矩阵确定部分直接测量的端到端网络流量，具体步骤如下：

步骤3-1：用矩阵M表示一个流量矩阵，则流量矩阵为一个N ²×T的矩阵，每一个端到端网络流量获得一个标识，分别为1至N ²；

步骤3-2：网络管理站生成一个Q×N ²的随机伯努利矩阵，用符号B表示，其元素之分别为1或0。矩阵B中每一个元素独立同分布，并且b _q,n ～Bern(z)，其中q=1,2,…,Q，n=1,2,…,N ²，z为当b _q,n =1时的概率；

步骤3-3：对伯努利矩阵B的每一个列上的元素取并集，即

，

其中，w _n 为B中每一个列的元素并集的计算结果；

步骤3-4：当w _n 的值等于1时，则网络管理站通过控制路由器端口的方法，利用路由器NetFlow功能测量编号为n的端到端网络流量；

步骤3-5：将直接测量的端到端网络流量放入流量矩阵M中，则流量矩阵M中包含了通过直接测量而已知的端到端网络流量和未被测量的未知流量；

步骤3-6：根据步骤3-5获得了一个线性***，即

，

其中，矩阵Y称为测量值，由上面的线性关系可知，Y只与流量矩阵M中已知的端到端网络流量有关，而与未知流量无关，因此测量值Y对于我们来说是已知的，可通过直接测量的端到端网络流量和伯努利矩阵B相乘计算得到。

步骤4所述的利用主成分分析方法近似地描述流量矩阵，具体步骤如下：

步骤4-1：网络管理站搜集历史流量矩阵，并表示为M ^*；

步骤4-2：利用奇异值分解的方法分解历史流量矩阵M ^*的转置，即

，

其中，Σ^*为对角矩阵，其对角元素上的值为矩阵M ^*T的奇异值。V ^*为一个正交矩阵，矩阵U ^*描述了历史流量矩阵动态变化信息；

步骤4-3：利用主成分近似地描述矩阵M^*T ，即

，

其中，对角矩阵Σ^* _K为提取K个主成分后的奇异值矩阵，该步骤相当于保留K个最大的奇异值，并将其余小的奇异值设置为0；

步骤4-4：用历史流量矩阵M ^*的主成分近似地描述流量矩阵M，即

，

其中，矩阵U ^T描述了流量矩阵M的动态变化特性。

步骤5所述的根据步骤1、2和4构建网络层析成像模型，方法为：网络层析成像模型表示为

。

步骤6所述的根据步骤3和4构建线性测量模型，方法为：该构建的模型表示为：

。

步骤7所述的根据步骤5和6中的模型，网络管理站通过构建最优化模型的方法估计流量矩阵，具体步骤如下：

步骤7-1：步骤5和6中的模型构建优化模型，如下

；

步骤7-2：通过求解步骤7-1中的最优化模型的方法获得矩阵U ^T 的估计值，表示为Es{U ^T }，则流量矩阵估计值Es{M}=V ^*Σ^* _K Es{U ^T }。

本发明的优点：本发明一种面向大数据互联网的多业务流量估计方法，采用压缩感知技术和网络层析成像技术，一方面，克服了网络层析成像技术的欠定特性；另一方面，避免了直接测量所有端到端网络流量的巨大开销问题。本发明方法获得了较好的流量矩阵估计值，在估计误差方面有了明显的改进，估计误差降低了16%。

附图说明

图1为本发明一种面向大数据互联网的多业务流量估计方法具体实施例的网络拓扑结构；

图2为本发明一种面向大数据互联网的多业务流量估计方法结构示意图；

图3为本发明一种面向大数据互联网的多业务流量估计方法流程图；

图4为本发明一种面向大数据互联网的多业务流量估计方法标号为99的端到端网络流量真实值和估计值对比示意图；

图5为本发明一种面向大数据互联网的多业务流量估计方法标号为105的端到端网络流量真实值和估计值对比示意图；

图6为本发明一种面向大数据互联网的多业务流量估计方法的相对均方根误差示意图；

图7为本发明一种面向大数据互联网的多业务流量估计方法的相对均方根误差的累积分布函数示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步详细说明。

本实施例对Abilene骨干网络数据进行估计，Abilene骨干网网络拓扑结构如图1所示，其包含了12个节点和54条单向链路（包括24条外部链路和30条内部链路）。因此流量矩阵M中端到端网络流量的数目为N ²=12²=144，链路负载的数量P=54。对于伯努利矩阵B，其行数Q=144，且z=0.01。在主成分分析过程中，取主成分数量K=6。

本实施例一种面向大数据互联网的多业务流量估计方法，具体步骤如图2所示。

步骤1：网络管理站采用简单网络管理协议获取骨干网链路负载；

当用矩阵L表示链路负载时，对于一个具有12个节点和54条链路的骨干网，截取1516个时槽的链路负载数据，则L为一个54×1516的矩阵。

步骤2：网络管理站根据网络拓扑结构以及路由器中路由表信息获取路由矩阵；

当用R表示路由矩阵时，对于一个具有12个节点和54条链路的骨干网，路由矩阵R为一个54×144的矩阵。

步骤3：网络管理站生成一个随机的伯努利矩阵，并根据该矩阵确定部分直接测量的端到端网络流量，具体步骤如下：

步骤3-1：用矩阵M表示一个流量矩阵，则流量矩阵为一个144×1516的矩阵，每一个端到端网络流量获得一个识别码，分别为1至144；

步骤3-2：网络管理站生成一个144×144随机的伯努利矩阵，用符号B表示，其元素之分别为1或0。矩阵B中每一个元素独立同分布，并且b _q,n ～Bern(0.01)，其中q=1,2,…,144，n=1,2,…,144，z为当b _q,n =1时的概率；

步骤3-3：对伯努利矩阵B的每一个列上的元素取并集，即

，

其中，w _n 为B中每一个列的元素并集的计算结果；

步骤3-4：当w _n 的值等于1时，则网络管理站通过控制路由器端口的方法，利用路由器NetFlow功能测量编号为n的端到端网络流量；

步骤3-5：将直接测量的端到端网络流量放入流量矩阵M中，则流量矩阵M中包含了通过直接测量而已知的端到端网络流量和未被测量的未知流量；

步骤3-6：根据步骤3-5获得了一个线性***，即

，

其中，矩阵Y称为测量值，由上面的线性关系可知，Y只与流量矩阵M中已知的端到端网络流量有关，而与未知流量无关，因此测量值Y对于我们来说是已知的，可通过直接测量的端到端网络流量和伯努利矩阵B相乘计算得到。

步骤4：利用主成分分析方法近似地描述流量矩阵，具体步骤如下：

步骤4-1：网络管理站搜集历史流量矩阵，并表示为M ^*；

步骤4-2：利用奇异值分解的方法分解历史流量矩阵M ^*的转置，即

，

其中，Σ^*为对角矩阵，其对角元素上的值为矩阵M ^*T 的奇异值。V ^*为一个正交矩阵，矩阵U ^*描述了历史流量矩阵动态变化信息；

步骤4-3：利用主成分近似地描述矩阵M ^*T ，即

，

其中，对角矩阵Σ^* _K 为提取10个主成分后的奇异值矩阵，该步骤相当于保留10个最大的奇异值，并将其余小的奇异值设置为0；

步骤4-4：用历史流量矩阵M ^*的主成分近似地描述流量矩阵M，即

，

其中，矩阵U ^T 描述了流量矩阵M的动态变化特性。

步骤5：根据步骤1、2和4构建网络层析成像模型；网络层析成像模型表示为

。

步骤6：根据步骤3和4构建线性测量模型；该构建的模型表示为

。

步骤7：根据步骤5和6中的模型，网络管理站通过构建最优化模型的方法估计流量矩阵，具体步骤如下：

步骤7-1：步骤5和6中的模型构建优化模型，如下

；

步骤7-2：通过求解步骤7-1中的最优化模型的方法获得矩阵U ^T 的估计值，表示为Es{U ^T }，则流量矩阵估计值Es{M}=V ^*Σ^* _K Es{U ^T }。

为验证本发明的有效性，我们首先分析本发明一种面向大数据互联网的多业务流量估计方法跟踪端到端网络流量变化趋势的能力。同时，具体实施例中将本发明一种面向大数据互联网的多业务流量估计方法与三个经典的流量矩阵估计方法进行比较，三种方法分别为稀疏正则化奇异值分解方法（SparsityRegularizedSingularValueDecomposition，SRSVD）、主成分分析方法（PrincipalComponentAnalysis，PCA）和重力模型方法（Tomogravity）。

本具体实施方式中选择两条端到端网络流量并比较他们的真实值和估计值。图4画出了标号为99的端到端网络流量真实值和估计值。通过仿真结果可以看出，所有方法都可以跟踪99号端到端网络流量的变化趋势。尽管如此，SRSVD在1200时槽是由较大的估计误差。Tomogravity方法在估计该条端到端网络流量时，在全部估计时段内出现了欠估计。PCA方法在所有的方法中误差最大。接下来分析标号为105的端到端网络流量，如图5所示，四种方法均获得了较理想的估计结果。通常跟踪流量的抖动是非常困难的。尽管如此，四种方法均能够跟踪该条端到端网络流量的细节变化，例如在时槽770-800间的抖动。

本具体实施方式中，为了定量地描述本发明一种面向大数据互联网的多业务流量估计方法的估计误差，引入相对均方根误差（RelativeRootMeanSquaredError，RRMSE）作为一个度量来比较四种方法。RRMSE定义为

，

其中，m _n (t)为标号为n的端到端网络流量在时槽t时的流量值。Es{m _n (t)}为m _n (t)的估计值。图6给出了四种方法的相对均方根误差。从中可以看出，本发明一种面向大数据互联网的多业务流量估计方法的RRMSE明显低于SRSVD方法和Tomogravity方法。PCA方法的RRMSE有较大的波动。四种方法RRMSE的平均值分别为0.23、0.29、0.26和0.27。在图7中所示为四种方法RRMSE的累积分布函数。图7说明在大多数情况下，本发明一种面向大数据互联网的多业务流量估计方法的RRMSE最低。换句话说，本文所提算法的RRMSE没有大的波动。

Claims (4)

1.一种面向大数据互联网的多业务流量估计方法，其特征在于：包括如下步骤：

步骤1：网络管理站采用简单网络管理协议获取骨干网链路负载；

步骤2：网络管理站根据网络拓扑结构以及路由器中路由表信息获取路由矩阵；

步骤3：网络管理站生成一个随机的伯努利矩阵，并根据该矩阵确定部分直接测量的端到端网络流量；

步骤4：利用主成分分析方法近似地描述流量矩阵；

步骤5：根据步骤1、2和4构建网络层析成像模型；

步骤6：根据步骤3和4构建线性测量模型；

步骤7：根据步骤5和6中的模型，网络管理站通过构建最优化模型的方法估计流量矩阵。

2.根据权利要求1所述的一种面向大数据互联网的多业务流量估计方法，其特征在于：步骤3所述的网络管理站生成一个随机的伯努利矩阵，并根据该矩阵确定部分直接测量的端到端网络流量，具体包括如下步骤：

步骤3-1：用矩阵M表示一个流量矩阵，则流量矩阵为一个N ²×T的矩阵，每一个端到端网络流量获得一个标识，分别为1至N ²；

步骤3-2：网络管理站生成一个Q×N ²的随机伯努利矩阵，用符号B表示，其元素之分别为1或0，矩阵B中每一个元素独立同分布，并且b _q,n ～Bern(z)，其中q=1,2,…,Q，n=1,2,…,N ²，z为当b _q,n =1时的概率；

步骤3-3：对伯努利矩阵B的每一个列上的元素取并集，即

，

其中，w _n 为B中每一个列的元素并集的计算结果；

步骤3-4：当w _n 的值等于1时，则网络管理站通过控制路由器端口的方法，利用路由器NetFlow功能测量编号为n的端到端网络流量；

步骤3-5：将直接测量的端到端网络流量放入流量矩阵M中，则流量矩阵M中包含了通过直接测量而已知的端到端网络流量和未被测量的未知流量；

步骤3-6：根据步骤3-5获得了一个线性***，即

，

其中，矩阵Y称为测量值，由上面的线性关系可知，Y只与流量矩阵M中已知的端到端网络流量有关，而与未知流量无关，因此测量值Y对于我们来说是已知的，可通过直接测量的端到端网络流量和伯努利矩阵B相乘计算得到。

3.根据权利要求1所述的一种面向大数据互联网的多业务流量估计方法，其特征在于：步骤6所述的根据步骤3和4构建线性测量模型，具体步骤如下：

该构建的模型表示为

。

4.根据权利要求1所述的一种面向大数据互联网的多业务流量估计方法，其特征在于，步骤7所述的根据步骤5和6中的模型，网络管理站通过构建最优化模型的方法估计流量矩阵，具体步骤如下：

步骤7-1：步骤5和6中的模型构建优化模型，如下

；

步骤7-2：通过求解步骤7-1中的最优化模型的方法获得矩阵U ^T 的估计值，表示为Es{U ^T }，则流量矩阵估计值Es{M}=V ^*Σ^* _K Es{U ^T }。