CN113379092B - 一种面向大数据的骨干网多业务流量估计方法及*** - Google Patents

一种面向大数据的骨干网多业务流量估计方法及*** Download PDF

Info

Publication number
CN113379092B
CN113379092B CN202010157077.5A CN202010157077A CN113379092B CN 113379092 B CN113379092 B CN 113379092B CN 202010157077 A CN202010157077 A CN 202010157077A CN 113379092 B CN113379092 B CN 113379092B
Authority
CN
China
Prior art keywords
matrix
frequency component
dynamic change
backbone network
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010157077.5A
Other languages
English (en)
Other versions
CN113379092A (zh
Inventor
聂来森
吴诒轩
尚润泽
王蕙质
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Research Institute Of Northwest Polytechnic University
Original Assignee
Qingdao Research Institute Of Northwest Polytechnic University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Research Institute Of Northwest Polytechnic University filed Critical Qingdao Research Institute Of Northwest Polytechnic University
Priority to CN202010157077.5A priority Critical patent/CN113379092B/zh
Publication of CN113379092A publication Critical patent/CN113379092A/zh
Application granted granted Critical
Publication of CN113379092B publication Critical patent/CN113379092B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Mathematical Physics (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • General Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Marketing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Algebra (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)

Abstract

本发明提出了一种面向大数据的骨干网多业务流量估计方法及***。本发明的方法基于压缩感知技术，利用测量矩阵约束动态变化矩阵，建立动态变化矩阵约束函数，然后基于动态变化矩阵约束函数，求解层析成像模型的优化模型，实现低频分量的估计，本发明将压缩感知技术与网络层析成像技术结合，克服了网络层析成像模型的病态特性，提高网络流量估计的精度，并无需直接测量骨干网的所有端到端网络流量，提高了骨干网流量获取的效率。

Description

一种面向大数据的骨干网多业务流量估计方法及***
技术领域
本发明涉及通信网络技术领域，特别是涉及一种面向大数据的骨干网多业务流量估计方法及***。
背景技术
信息和通信技术的发展极大地改变了人类生活和生产方式，智能电网、办公自动化等基于Internet技术的业务已经进入人们生活当中。此外，智慧城市、大数据等先进信息理念和技术的提出，对未来人类社会的发展起到了积极的推动作用。Internet的发展使得网络规模急剧增大，网络承载业务类型呈多样化发展，特别是云计算、物联网的兴起使得网络已经成为一个复杂的异构网络。互联网技术逐渐深入到社会各个领域的同时，海量数据处理、信息安全等方面的问题日益突出，这些问题给网络管理提出了更高的要求。
网络管理者在执行网络管理决策时，需要了解网络运行状态，例如时延、丢包率、吞吐量、带宽和网络流量等等。网络测量技术为网络管理者获取实时网络状态提供了必要的解决方案和技术支持。为了有效地实施网络规划、负载均衡机制、IGP链路权重设置算法、网络故障诊断和异常检测等网络管理操作，网络管理者需要了解网络中各节点间端到端的数据包转发情况。流量矩阵描述了网络中源-目的(OD)节点间的网络流量动态变化情况，是网络管理的重要依据和输入参数。
虽然流量矩阵具有极其重要的作用，但是对于一个大尺度骨干网来说，获取流量矩阵并不简单。这个原因是多重的，首先，对于一个大尺度骨干网，直接采集网络流量信息是不可实现的。在这种情况下，研究人员更倾向于间接地估计网络流量而非直接采集网络流量信息。在众多的网络流量估计方法中，通常是通过其他有效的网络信息去推断网络流量，例如网络层析成像技术通过链路负载和路由信息去估计网络流量。然而网络层析成像模型具有高度的病态特性，因此估计网络流量的研究任然面临诸多挑战。
发明内容
本发明的目的是提供一种面向大数据的骨干网多业务流量估计方法，以克服网络层析成像模型具有高度的病态特性，提高网络流量估计的精度。
为实现上述目的，本发明提供了如下方案：
一种面向大数据的骨干网多业务流量估计方法，所述估计方法包括如下步骤；
生成随机矩阵；
基于压缩感知理论，测量骨干网中所述随机矩阵对应的端到端网络流量，获得测量矩阵；
利用所述测量矩阵约束动态变化矩阵，建立动态变化矩阵约束函数；
建立网络层析成像模型的包括动态变化矩阵的优化模型；
基于所述动态变化矩阵约束函数，求解所述优化模型，获得最优动态变化矩阵；
根据最优动态变化矩阵，基于奇异值分解的方法确定低频分量估计值；
根据所述测量矩阵，利用极大似然估计方法求取高频分量服从的高斯分布的期望和方差，确定高频分量服从的高斯分布；
根据高频分量服从的高斯分布确定高频分量估计值；
根据所述低频分量估计值和所述高频分量估计值采用离散小波逆变换的方法确定骨干网的流量。
可选的，所述动态变化矩阵约束函数为：
Figure BDA0002404447500000021
其中，UT表示流量矩阵M的动态变化矩阵，
Figure BDA0002404447500000022
表示对角矩阵，
Figure BDA0002404447500000023
表示正交矩阵、B表示随机矩阵，Y表示测量矩阵。
可选的，所述优化模型为：
Figure BDA0002404447500000024
其中，L表示骨干网的链路负载矩阵,UT表示流量矩阵M的动态变化矩阵，
Figure BDA0002404447500000025
表示对角矩阵，
Figure BDA0002404447500000026
表示正交矩阵、R表示路由矩阵。
可选的，所述根据最优动态变化矩阵，基于奇异值分解的方法确定低频分量估计值，具体包括：
根据最优动态变化矩阵
Figure BDA0002404447500000027
基于奇异值分解的方法，利用公式
Figure BDA0002404447500000028
确定低频分量估价值
Figure BDA0002404447500000029
其中，
Figure BDA00024044475000000210
表示对角矩阵，
Figure BDA00024044475000000211
表示正交矩阵。
一种面向大数据的骨干网多业务流量估计***，所述估计***包括：
随机矩阵生成模块，用于生成随机矩阵；
测量矩阵获取模块，用于基于压缩感知理论，测量骨干网中所述随机矩阵对应的端到端网络流量，获得测量矩阵；
动态变化矩阵约束函数建立模块，用于利用所述测量矩阵约束动态变化矩阵，建立动态变化矩阵约束函数；
优化模型建立模块，用于建立骨干网的网络层析成像模型的优化模型；
优化模型求解模块，用于基于所述动态变化矩阵约束函数，求解所述优化模型，获得最优动态变化矩阵；
低频分量估计值确定模块，用于根据最优动态变化矩阵，基于奇异值分解的方法确定低频分量估计值；
高频分量服从的高斯分布，用于根据所述测量矩阵，利用极大似然估计方法求取高频分量服从的高斯分布的期望和方差，确定高频分量服从的高斯分布；
高频分量估计值确定模块，用于根据高频分量服从的高斯分布确定高频分量估计值；
骨干网的流量确定模块，用于根据所述低频分量估计值和所述高频分量估计值采用离散小波逆变换的方法确定骨干网的流量。
可选的，所述动态变化矩阵约束函数为：
Figure BDA0002404447500000031
其中，UT表示流量矩阵M的动态变化矩阵，
Figure BDA0002404447500000032
表示对角矩阵，
Figure BDA0002404447500000033
表示正交矩阵、B表示随机矩阵，Y表示测量矩阵。
可选的，所述优化模型为：
Figure BDA0002404447500000034
其中，L表示骨干网的链路负载矩阵,UT表示流量矩阵M的动态变化矩阵，
Figure BDA0002404447500000035
表示对角矩阵，
Figure BDA0002404447500000036
表示正交矩阵、R表示路由矩阵。
可选的，所述低频分量估计值确定模块，具体包括：
根据最优动态变化矩阵
Figure BDA0002404447500000037
基于奇异值分解的方法，利用公式
Figure BDA0002404447500000038
确定低频分量估价值
Figure BDA0002404447500000039
其中，
Figure BDA00024044475000000310
表示对角矩阵，
Figure BDA00024044475000000311
表示正交矩阵。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明提出了一种面向大数据的骨干网多业务流量估计方法及***，所述估计方法包括如下步骤：生成随机矩阵；基于压缩感知理论，测量骨干网中所述随机矩阵对应的端到端网络流量，获得测量矩阵；利用所述测量矩阵约束动态变化矩阵，建立动态变化矩阵约束函数；建立骨干网的网络层析成像模型的优化模型；基于所述动态变化矩阵约束函数，求解所述优化模型，获得最优动态变化矩阵；根据最优动态变化矩阵，基于奇异值分解的方法确定低频分量估计值；根据所述测量矩阵，利用极大似然估计方法求取高频分量服从的高斯分布的期望和方差，确定高频分量服从的高斯分布；根据高频分量服从的高斯分布确定高频分量估计值；根据所述低频分量估计值和所述高频分量估计值采用离散小波逆变换的方法确定骨干网的流量。本发明基于压缩感知技术，利用测量矩阵约束动态变化矩阵，建立动态变化矩阵约束函数，然后基于动态变化矩阵约束函数，求解层析成像模型的优化模型，实现低频分量的估计，本发明将压缩感知技术与网络层析成像技术结合，克服了网络层析成像模型的病态特性，提高网络流量估计的精度，并无需直接测量骨干网的所有端到端网络流量，提高了骨干网流量获取的效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种面向大数据的骨干网多业务流量估计方法的流程图；
图2为本发明提供的一种面向大数据的骨干网多业务流量估计方法中Haar小波波形图；
图3为具体实施例提供的一种骨干网的网络拓扑结构图；
图4为具体实施例提供的一种面向大数据的骨干网多业务流量估计方法的原理图；
图5为具体实施例提供的标号为99的端到端网络流量真实值和估计值对比示意图；
图6为具体实施例提供的标号为105的端到端网络流量真实值和估计值对比示意图；
图7为具体实施例提供的相对均方根误差示意图；
图8为具体实施例提供的相对均方根误差的累积分布函数示意图；
图9为具体实施例提供的需要直接测量流量的端到端数量的分布示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种面向大数据的骨干网多业务流量估计方法，以克服网络层析成像模型具有高度的病态特性，提高网络流量估计的精度。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
为了实现上述目的本发明提供一种面向大数据的骨干网多业务流量估计方法，如图1所示，所述估计方法包括如下步骤；
步骤101，生成随机矩阵。
本发明通过随机漫步生成一个随机矩阵，具体步骤为：
步骤101-1：用矩阵M表示一个流量矩阵，则流量矩阵为一个N2×T′的矩阵，每一个端到端网络流量获得一个标识，分别为1至N2；
步骤101-2：网络管理站通过随机漫步生成一个Q×N2的随机矩阵，用符号B表示，其元素表示为bq,n。通过随机漫步生成矩阵B具体方法如下：1)初始化设置矩阵B为Q×N2的矩阵。2)以矩阵每一行向量为单位分别独立地进行随机漫步。随机漫步的规则为：a.将矩阵B的每一个行向量表示为bq，其中q＝1,2,...,Q；b.从N2个元素中随机选取一个元素作为起始点，表示为bq(0)，每个元素被选取得概率为1/N2；c.在起始点bq(0)外的其他元素中随机选取一个元素，表示为bq(1)，每个元素被选取的概率为1/(N2-1)；d.在除了点bq(1)外的其他元素中随机选取一个元素，每个元素被选取的概率为1/(N2-1)；e.向量bq中每个元素的数值设置为该点被选取的次数。
步骤102，基于压缩感知理论，测量骨干网中所述随机矩阵对应的端到端网络流量，获得测量矩阵。
步骤102-1：对随机矩阵B的每一个列上的元素取并集，即
Figure BDA0002404447500000051
其中，wk为B中每一个列的元素并集的计算结果；
步骤102-2：当wk的值等于1时，则网络管理站通过控制路由器端口的方法，利用路由器NetFlow功能测量编号为k的端到端网络流量。获得测量矩阵Y。
步骤102-3：假如将直接测量的端到端网络流量放入流量矩阵M中，则流量矩阵M中包含了通过直接测量而已知的端到端网络流量和未被测量的未知流量；
步骤102-4：根据步骤102-3获得了一个线性***，即
Y＝BM， (2)
其中，矩阵Y称为测量矩阵，由公式(2)可知，Y只与流量矩阵M中已知的端到端网络流量有关，而与未知流量无关，因此测量矩阵Y是已知的，可通过直接测量的端到端网络流量和随机矩阵B相乘计算得到。
例如，假如步骤101建立的随机矩阵B为
Figure BDA0002404447500000061
流量矩阵M为
Figure BDA0002404447500000062
则测量矩阵Y为
Figure BDA0002404447500000063
需要测量x1、x3和x4对应的端到端的网络流量。
步骤103，利用所述测量矩阵约束动态变化矩阵，建立动态变化矩阵约束函数。
步骤103所述动态变化矩阵约束函数为：
Figure BDA0002404447500000064
其中，UT表示流量矩阵M的动态变化矩阵，
Figure BDA0002404447500000065
表示对角矩阵，
Figure BDA0002404447500000066
表示正交矩阵、B表示随机矩阵，Y表示测量矩阵。
步骤104，建立网络层析成像模型的包括动态变化矩阵的优化模型。
步骤104所述的优化模型为：
Figure BDA0002404447500000067
其中，L表示骨干网的链路负载矩阵，UT表示流量矩阵M的动态变化矩阵，
Figure BDA0002404447500000068
表示对角矩阵，
Figure BDA0002404447500000069
表示正交矩阵、R表示路由矩阵，B表示随机矩阵，Y表示直接测量网络流量矩阵。
其中，链路负载矩阵L为采用骨干网的网络管理协议获取的，当用矩阵L表示链路负载时，对于一个具有N个节点和P条链路的骨干网，截取T个时槽的链路负载数据，则L为一个P×T的矩阵。
其中，路由矩阵R为根据骨干网的网络拓扑结构及路由器中路由表信息获取的，当用R表示路由矩阵时，对于一个具有N个节点和P条链路的骨干网，路由矩阵R为一个P×N2的矩阵。
步骤105，基于所述动态变化矩阵约束函数，求解所述优化模型，获得最优动态变化矩阵。
本发明可以采用但不限于粒子群算法，基于所述动态变化矩阵约束函数，求解所述优化模型，获得最优动态变化矩阵。
步骤106，根据最优动态变化矩阵，基于奇异值分解的方法确定低频分量估计值。
步骤106所述根据最优动态变化矩阵，基于奇异值分解的方法确定低频分量估计值，具体包括：
根据最优动态变化矩阵
Figure BDA0002404447500000071
基于奇异值分解的方法，利用公式
Figure BDA0002404447500000072
确定低频分量估价值
Figure BDA0002404447500000073
其中，
Figure BDA0002404447500000074
表示对角矩阵，
Figure BDA0002404447500000075
表示正交矩阵。
步骤106的原理为：
步骤106-1：利用奇异值分解的方法分解低频分量先验测量值Cprior的转置，即
Figure BDA0002404447500000076
其中，
Figure BDA0002404447500000077
为对角矩阵，其对角元素上的值为矩阵
Figure BDA0002404447500000078
的奇异值。
Figure BDA0002404447500000079
为一个正交矩阵，矩阵
Figure BDA00024044475000000710
描述了历史流量矩阵动态变化信息。
步骤106-2：利用主成分近似地描述矩阵
Figure BDA00024044475000000711
即
Figure BDA00024044475000000712
其中，对角矩阵
Figure BDA00024044475000000713
为提取K个主成分后的奇异值矩阵，步骤106-2相当于保留K个最大的奇异值，并将其余小的奇异值设置为0；
步骤106-3：用流量矩阵Mprior先验测量值的低频分量先验测量值的主成分近似地描述流量矩阵M的低频分量，即
Figure BDA00024044475000000714
其中，矩阵UT描述了流量矩阵M的动态变化特性，C为低频分量。
步骤107，根据所述测量矩阵，利用极大似然估计方法求取高频分量服从的高斯分布的期望和方差，确定高频分量服从的高斯分布。
步骤108，根据高频分量服从的高斯分布确定高频分量估计值。
步骤107-108的原理为：
步骤107-1：将表示第k条OD流Mprior(k,t)的高频分量先验测量值表示为向量Dk，假期其元素满足高斯分布，即
Figure BDA00024044475000000715
其中a和σ2分别为期望和方差。
步骤107-2：计算似然函数
Figure BDA0002404447500000081
步骤107-3：计算对数
Figure BDA0002404447500000082
步骤107-4：计算导数
Figure BDA0002404447500000083
则可得到期望和方差的极大似然估计，表示为
Figure BDA0002404447500000084
和
Figure BDA0002404447500000085
步骤107-5：对于每一条OD流k，通过高斯分布
Figure BDA0002404447500000086
生成其高频分量估计值，从而获得所有OD流的高频分量估计值
Figure BDA0002404447500000087
步骤109，根据所述低频分量估计值和所述高频分量估计值采用离散小波逆变换的方法确定骨干网的流量。
具体的，每一条OD流的估计是可以通过公式(12)计算
Figure BDA0002404447500000088
其中，
Figure BDA0002404447500000089
和
Figure BDA00024044475000000810
分别为矩阵
Figure BDA00024044475000000811
和
Figure BDA00024044475000000812
中的元素，且t′＝1,2,3,...,T′。
步骤109的原理为：
通过离散小波变换将流量矩阵的先验测量值的每一条源-目的流分别分解成低频分量先验测量值和高频分量先验测量值。具体方法为：
本发明采用Haar小波对流量矩阵先验测量值进行滤波，将流量矩阵先验测量值分成低频分量先验测量值和高频分量测量值，Haar小波图形如图2所示，则第k条OD流的离散小波变化表示为：
Figure BDA00024044475000000813
其中，Cn,k和Dn,k分别称为尺度系数和小波系数，φn(t)和ψn(t)分别为尺度函数和小波函数，且t＝1,2,3,...,Tprior，k＝1,2,3,...,N2。尺度系数和小波系数分别可由公式(4)计算：
Figure BDA0002404447500000091
尺度系数和小波系数分别为流量矩阵先验测量值的低频分量先验测量值和高频分量测量值。此时，对于矩阵Mprior，其尺度系数和小波系数分别表示为矩阵Cprior和Dprior。流量矩阵M的低频分量和高频分量可以表示为C和D。
下面结合附图和实施例对本发明作进一步详细说明。本实施例对Abilene骨干网络数据进行估计，Abilene骨干网网络拓扑结构如图3所示，其包含了12个节点和54条单向链路(包括24条外部链路和30条内部链路)。因此流量矩阵M中端到端网络流量的数目为N2＝122＝144，链路负载的数量P＝54。流量矩阵包括了2016个时槽的数据，其中前1000个时槽作为流量矩阵先验测量值，则M为144×1016的矩阵，则。数据对于随机矩阵B，其行数Q＝54，且z＝0.01。在主成分分析过程中，取主成分数量K＝6。
本实施例一种面向大数据的骨干网多业务流量估计方法，如图4所示，包括以下步骤：
步骤1所述的网络管理站测量所有端到端网络流量作为流量矩阵先验测量值，方法为：
本发明中用Mprior表示流量矩阵的先验测量值，对于一个具有12个节点，截取1000个时槽的流量矩阵数据，则Mprior为一个144×1000的矩阵。
步骤2所述的网络管理站采用简单网络管理协议获取骨干网链路负载，方法为：
当用矩阵L表示链路负载时，对于一个具有12个节点和54条链路的骨干网，截取1000个时槽的链路负载数据，则L为一个54×1000的矩阵。
步骤3所述的网络管理站根据网络拓扑结构以及路由器中路由表信息获取路由矩阵，方法为：
当用R表示路由矩阵时，对于一个具有12个节点和54条链路的骨干网，路由矩阵R为一个54×144的矩阵。
步骤4所述的网络管理站通过随机漫步生成一个随机矩阵，并根据该矩阵确定部分直接测量的端到端网络流量，具体步骤如下：
步骤4-1：用矩阵M表示一个流量矩阵，则流量矩阵为一个144×1016的矩阵，每一个端到端网络流量获得一个标识，分别为1至144；
步骤4-2：网络管理站通过随机漫步生成一个54×144的随机矩阵，用符号B表示，其元素表示为bq,n。通过随机漫步生成矩阵B具体方法如下：1)初始化设置矩阵B为54×144的矩阵。2)以矩阵每一行向量为单位分别独立地进行随机漫步。随机漫步的规则为：a.将矩阵B的每一个行向量表示为bq，其中q＝1,2,...,54；b.从144个元素中随机选取一个元素作为起始点，表示为bq(0)，每个元素被选取得概率为1/144；c.在起始点bq(0)外的其他元素中随机选取一个元素，表示为bq(1)，每个元素被选取的概率为1/143；d.在除了点bq(1)外的其他元素中随机选取一个元素，每个元素被选取的概率为1/143；e.向量bq中每个元素的数值设置为该点被选取的次数.
步骤4-3：对随机矩阵B的每一个列上的元素取并集，即
Figure BDA0002404447500000101
其中，wk为B中每一个列的元素并集的计算结果；
步骤4-4：当wk的值等于1时，则网络管理站通过控制路由器端口的方法，利用路由器NetFlow功能测量编号为k的端到端网络流量；
步骤4-5：将直接测量的端到端网络流量放入流量矩阵M中，则流量矩阵M中包含了通过直接测量而已知的端到端网络流量和未被测量的未知流量；
步骤4-6：根据步骤3-5获得了一个线性***，即
Y＝BM， (2)
其中，矩阵Y称为测量值，由上面的线性关系可知，Y只与流量矩阵M中已知的端到端网络流量有关，而与未知流量无关，因此测量值Y对于我们来说是已知的，可通过直接测量的端到端网络流量和随机矩阵B相乘计算得到。
步骤5：网络管理站通过离散小波变换将步骤1中获得的流量矩阵先验测量值的每一条OD流分别分解成低频分量先验测量值和高频分量先验测量值，具体方法为：
本发明采用Haar小波对流量矩阵先验测量值进行滤波，将流量矩阵先验测量值分成低频分量先验测量值和高频分量测量值，Haar小波图形如图2所示，则第k条OD流的离散小波变化表示为：
Figure BDA0002404447500000102
其中，Cn,k和Dn,k分别称为尺度系数和小波系数，φn(t)和ψn(t)分别为尺度函数和小波函数，且t＝1,2,3,...,1000。，k＝1,2,3,...,144。尺度系数和小波系数分别可由以下公式计算：
Figure BDA0002404447500000111
尺度系数和小波系数分别为流量矩阵先验测量值的低频分量先验测量值和高频分量测量值。此时，对于矩阵Mprior，其尺度系数和小波系数分别表示为矩阵Cprior和Dprior。同方法，矩阵M的低频分量和高频分量可以表示为C和D。
步骤6所述的利用主成分分析方法近似地描述步骤5中获得的低频分量先验测量值，具体步骤如下：
步骤6-1：利用奇异值分解的方法分解低频分量先验测量值Cprior的转置，即
Figure BDA0002404447500000112
其中，
Figure BDA0002404447500000113
为对角矩阵，其对角元素上的值为矩阵CT的奇异值。
Figure BDA0002404447500000114
为一个正交矩阵，矩阵
Figure BDA0002404447500000115
描述了历史流量矩阵动态变化信息；
步骤6-2：利用主成分近似地描述矩阵
Figure BDA0002404447500000116
即
Figure BDA0002404447500000117
其中，对角矩阵
Figure BDA0002404447500000118
为提取K个主成分后的奇异值矩阵，该步骤相当于保留K个最大的奇异值，并将其余小的奇异值设置为0；
步骤6-3：用流量矩阵Mprior先验测量值的低频分量先验测量值的主成分近似地描述流量矩阵M的低频分量，即
Figure BDA0002404447500000119
其中，矩阵UT描述了流量矩阵M的动态变化特性。
步骤7所述的网络管理站根据步骤2、3和6构建网络层析成像模型，方法为：
网络层析成像模型表示为：
Figure BDA00024044475000001110
步骤8所述的网络管理站根据步骤4和6构建线性测量模型，方法为：
该构建的模型表示为
Figure BDA0002404447500000121
步骤9所述的网络管理站根据步骤7和8中的模型，通过构建最优化模型的方法计算流量矩阵的低频分量的估计值，具体步骤如下：
步骤9-1：步骤7和8中的模型构建优化模型，如下：
Figure BDA0002404447500000122
步骤9-2：通过求解步骤9-1中的最优化模型的方法获得矩阵UT的估计值，表示为
Figure BDA0002404447500000123
则流量矩阵低频分量的估计值
Figure BDA0002404447500000124
步骤10所述的网络管理站利用极大似然估计方法计算高频分量先验测量值的期望和方差，得到一个高斯分布，通过高斯分布生成流量矩阵的高频分量的估计值，具体步骤如下：
步骤10-1：将表示第k条OD流Mprior(k,t)的高频分量先验测量值表示为向量Dk，假期其元素满足高斯分布，即
Figure BDA0002404447500000125
其中a和σ2分别为期望和方差。
步骤10-2：计算似然函数
Figure BDA0002404447500000126
步骤10-3：计算对数
Figure BDA0002404447500000127
步骤10-4：计算导数
Figure BDA0002404447500000128
则可得到期望和方差的极大似然估计，表示为
Figure BDA0002404447500000129
和
Figure BDA00024044475000001210
步骤10-5：对于每一条OD流k，通过高斯分布
Figure BDA00024044475000001211
生成其高频分量估计值，从而获得所有OD流的低频分量估计值
Figure BDA00024044475000001212
步骤11所述的网络管理站根据步骤9和10获得的流量矩阵的低频分量估计值和高频分量估计值，利用离散小波逆变换的方法获得流量矩阵估计值，方法为：
每一条OD流的估计是可以通过下式计算
Figure BDA0002404447500000131
其中，
Figure BDA0002404447500000132
和
Figure BDA0002404447500000133
分别为矩阵
Figure BDA0002404447500000134
和
Figure BDA0002404447500000135
中的元素。
为验证本发明的有效性，本发明首先分析本发明一种面向大数据的骨干网多业务流量估计方法跟踪端到端网络流量变化趋势的能力。同时，具体实施例中将本发明提供的骨干网多业务流量估计方法与三个经典的流量矩阵估计方法进行比较，三种方法分别为稀疏正则化奇异值分解方法(Sparsity Regularized SingularValue Decomposition，SRSVD)、主成分分析方法(Principal Component Analysis，PCA)和重力模型方法(Tomogravity)。
本具体实施方式中选择两条端到端网络流量并比较他们的真实值和估计值。图5画出了标号为99的端到端网络流量真实值和估计值。通过仿真结果可以看出，PCA方法在所有的方法中误差最大。SRSVD和Tomogravity方法在1200时槽是有较大的估计误差。图6分析标号为步骤105的端到端网络流量，如图6所示，四种方法均获得了较理想的估计结果，但是PCA方法在1450时槽时出现较大误差。
本具体实施方式中，为了定量地描述本发明一种面向大数据的骨干网多业务流量估计方法的估计误差，引入相对均方根误差(Relative RootMean Squared Error，RRMSE)作为一个度量来比较四种方法。RRMSE定义为
Figure BDA0002404447500000136
其中，mk(t)为标号为k的端到端网络流量在时槽t时的流量值。
Figure BDA0002404447500000137
为mn(t)的估计值。图7给出了四种方法的相对均方根误差。从中可以看出，本发明的骨干网多业务流量估计方法的RRMSE明显低于SRSVD方法和Tomogravity方法。PCA方法的RRMSE有较大的波动。四种方法RRMSE的平均值分别为0.15、0.29、0.26和0.27。在图8中所示为四种方法RRMSE的累积分布函数。图9说明在大多数情况下，本发明一种面向大数据的骨干网多业务流量估计方法的RRMSE最低。可见，本发明所提算法的RRMSE没有大的波动。本发明中主要的代价是需要直接测量的端到端网络流量的数量，本发明中做了1000次试验，并统计每次试验需要测量的端到端网络流量数量，如图9所示，纵坐标表示实验发生的次数，横坐标表示需要直接测量的OD流的数量，根据实验发生的次数的柱形图和实验发生的次数的拟合曲线，可以看出本发明所提方法需要直接测量的流量数量为76条，避免了直接测量所有端到端网络流量的巨大开销问题。
本发明还提供一种面向大数据的骨干网多业务流量估计***，所述估计***包括：
随机矩阵生成模块，用于生成随机矩阵；
测量矩阵获取模块，用于基于压缩感知理论，测量骨干网中所述随机矩阵对应的端到端网络流量，获得测量矩阵；
动态变化矩阵约束函数建立模块，用于利用所述测量矩阵约束动态变化矩阵，建立动态变化矩阵约束函数。
所述动态变化矩阵约束函数为：
Figure BDA0002404447500000141
其中，UT表示流量矩阵M的动态变化矩阵，
Figure BDA0002404447500000142
表示对角矩阵，
Figure BDA0002404447500000143
表示正交矩阵、B表示随机矩阵，Y表示测量矩阵。
优化模型建立模块，用于建立骨干网的网络层析成像模型的优化模型。
所述优化模型为：
Figure BDA0002404447500000144
其中，L表示骨干网的链路负载矩阵,UT表示流量矩阵M的动态变化矩阵，
Figure BDA0002404447500000145
表示对角矩阵，
Figure BDA0002404447500000146
表示正交矩阵、R表示路由矩阵。
优化模型求解模块，用于基于所述动态变化矩阵约束函数，求解所述优化模型，获得最优动态变化矩阵；
低频分量估计值确定模块，用于根据最优动态变化矩阵，基于奇异值分解的方法确定低频分量估计值；
所述低频分量估计值确定模块，具体包括：
根据最优动态变化矩阵
Figure BDA0002404447500000147
基于奇异值分解的方法，利用公式
Figure BDA0002404447500000148
确定低频分量估价值
Figure BDA0002404447500000149
其中，
Figure BDA00024044475000001410
表示对角矩阵，
Figure BDA00024044475000001411
表示正交矩阵。
高频分量服从的高斯分布，用于根据所述测量矩阵，利用极大似然估计方法求取高频分量服从的高斯分布的期望和方差，确定高频分量服从的高斯分布；
高频分量估计值确定模块，用于根据高频分量服从的高斯分布确定高频分量估计值；
骨干网的流量确定模块，用于根据所述低频分量估计值和所述高频分量估计值采用离散小波逆变换的方法确定骨干网的流量。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明提出了一种面向大数据的骨干网多业务流量估计方法，所述估计方法包括如下步骤：生成随机矩阵；基于压缩感知理论，测量骨干网中所述随机矩阵对应的端到端网络流量，获得测量矩阵；利用所述测量矩阵约束动态变化矩阵，建立动态变化矩阵约束函数；建立骨干网的网络层析成像模型的优化模型；基于所述动态变化矩阵约束函数，求解所述优化模型，获得最优动态变化矩阵；根据最优动态变化矩阵，基于奇异值分解的方法确定低频分量估计值；根据所述测量矩阵，利用极大似然估计方法求取高频分量服从的高斯分布的期望和方差，确定高频分量服从的高斯分布；根据高频分量服从的高斯分布确定高频分量估计值；根据所述低频分量估计值和所述高频分量估计值采用离散小波逆变换的方法确定骨干网的流量。本发明基于压缩感知技术，利用测量矩阵约束动态变化矩阵，建立动态变化矩阵约束函数，然后基于动态变化矩阵约束函数，求解层析成像模型的优化模型，实现低频分量的估计，本发明将压缩感知技术与网络层析成像技术结合，克服了网络层析成像模型的病态特性，提高网络流量估计的精度，并无需直接测量骨干网的所有端到端网络流量，提高了骨干网流量获取的效率。
本说明书中等效实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，等效实施例之间相同相似部分互相参见即可。对于实施例公开的***而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

Claims (8)

1.一种面向大数据的骨干网多业务流量估计方法，其特征在于，所述估计方法包括如下步骤；
生成随机矩阵；
基于压缩感知理论，测量骨干网中所述随机矩阵对应的端到端网络流量，获得测量矩阵；
利用所述测量矩阵约束动态变化矩阵，建立动态变化矩阵约束函数；
建立骨干网的网络层析成像模型的优化模型；
基于所述动态变化矩阵约束函数，求解所述优化模型，获得最优动态变化矩阵；
根据最优动态变化矩阵，基于奇异值分解的方法确定低频分量估计值；
根据所述测量矩阵，利用极大似然估计方法求取高频分量服从的高斯分布的期望和方差，确定高频分量服从的高斯分布；
根据高频分量服从的高斯分布确定高频分量估计值；
根据所述低频分量估计值和所述高频分量估计值采用离散小波逆变换的方法确定骨干网的流量；
根据流量矩阵的低频分量估计值和高频分量估计值，利用离散小波逆变换的方法获得流量矩阵估计值，方法为：
每一条OD流的估计是通过下式计算
Figure FDA0003882551980000011
其中，
Figure FDA0003882551980000012
和
Figure FDA0003882551980000013
分别为矩阵
Figure FDA0003882551980000014
和
Figure FDA0003882551980000015
中的元素，
Figure FDA0003882551980000016
为低频分量估计值，
Figure FDA0003882551980000017
为高频分量估计值。
2.根据权利要求1所述的面向大数据的骨干网多业务流量估计方法，其特征在于，所述动态变化矩阵约束函数为：
Figure FDA0003882551980000018
其中，UT表示流量矩阵M的动态变化矩阵，
Figure FDA0003882551980000019
表示对角矩阵，
Figure FDA00038825519800000110
表示正交矩阵、B表示随机矩阵，Y表示测量矩阵。
3.根据权利要求1所述的面向大数据的骨干网多业务流量估计方法，其特征在于，所述优化模型为：
Figure FDA00038825519800000111
其中，L表示骨干网的链路负载矩阵,UT表示流量矩阵M的动态变化矩阵，
Figure FDA00038825519800000112
表示对角矩阵，
Figure FDA00038825519800000113
表示正交矩阵、R表示路由矩阵。
4.根据权利要求1所述的面向大数据的骨干网多业务流量估计方法，其特征在于，所述根据最优动态变化矩阵，基于奇异值分解的方法确定低频分量估计值，具体包括：
根据最优动态变化矩阵
Figure FDA0003882551980000021
基于奇异值分解的方法，利用公式
Figure FDA0003882551980000022
确定低频分量估计值
Figure FDA0003882551980000023
其中，
Figure FDA0003882551980000024
表示对角矩阵，
Figure FDA0003882551980000025
表示正交矩阵。
5.一种面向大数据的骨干网多业务流量估计***，其特征在于，所述估计***包括：
随机矩阵生成模块，用于生成随机矩阵；
测量矩阵获取模块，用于基于压缩感知理论，测量骨干网中所述随机矩阵对应的端到端网络流量，获得测量矩阵；
动态变化矩阵约束函数建立模块，用于利用所述测量矩阵约束动态变化矩阵，建立动态变化矩阵约束函数；
优化模型建立模块，用于建立骨干网的网络层析成像模型的优化模型；
优化模型求解模块，用于基于所述动态变化矩阵约束函数，求解所述优化模型，获得最优动态变化矩阵；
低频分量估计值确定模块，用于根据最优动态变化矩阵，基于奇异值分解的方法确定低频分量估计值；
高频分量服从的高斯分布，用于根据所述测量矩阵，利用极大似然估计方法求取高频分量服从的高斯分布的期望和方差，确定高频分量服从的高斯分布；
高频分量估计值确定模块，用于根据高频分量服从的高斯分布确定高频分量估计值；
骨干网的流量确定模块，用于根据所述低频分量估计值和所述高频分量估计值采用离散小波逆变换的方法确定骨干网的流量；
根据流量矩阵的低频分量估计值和高频分量估计值，利用离散小波逆变换的方法获得流量矩阵估计值，方法为：
每一条OD流的估计是通过下式计算
Figure FDA0003882551980000026
其中，
Figure FDA0003882551980000027
和
Figure FDA0003882551980000028
分别为矩阵
Figure FDA0003882551980000029
和
Figure FDA00038825519800000210
中的元素，
Figure FDA00038825519800000211
为低频分量估计值，
Figure FDA00038825519800000212
为高频分量估计值。
6.根据权利要求5所述的面向大数据的骨干网多业务流量估计***，其特征在于，所述动态变化矩阵约束函数为：
Figure FDA0003882551980000031
其中，UT表示流量矩阵M的动态变化矩阵，
Figure FDA0003882551980000032
表示对角矩阵，
Figure FDA0003882551980000033
表示正交矩阵、B表示随机矩阵，Y表示测量矩阵。
7.根据权利要求5所述的面向大数据的骨干网多业务流量估计***，其特征在于，所述优化模型为：
Figure FDA0003882551980000034
其中，L表示骨干网的链路负载矩阵,UT表示流量矩阵M的动态变化矩阵，
Figure FDA0003882551980000035
表示对角矩阵，
Figure FDA0003882551980000036
表示正交矩阵、R表示路由矩阵。
8.根据权利要求5所述的面向大数据的骨干网多业务流量估计***，其特征在于，所述低频分量估计值确定模块，具体包括：
根据最优动态变化矩阵
Figure FDA0003882551980000037
基于奇异值分解的方法，利用公式
Figure FDA0003882551980000038
确定低频分量估计值
Figure FDA0003882551980000039
其中，
Figure FDA00038825519800000310
表示对角矩阵，
Figure FDA00038825519800000311
表示正交矩阵。
CN202010157077.5A 2020-03-09 2020-03-09 一种面向大数据的骨干网多业务流量估计方法及*** Active CN113379092B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010157077.5A CN113379092B (zh) 2020-03-09 2020-03-09 一种面向大数据的骨干网多业务流量估计方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010157077.5A CN113379092B (zh) 2020-03-09 2020-03-09 一种面向大数据的骨干网多业务流量估计方法及***

Publications (2)

Publication Number Publication Date
CN113379092A CN113379092A (zh) 2021-09-10
CN113379092B true CN113379092B (zh) 2022-12-09

Family

ID=77568396

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010157077.5A Active CN113379092B (zh) 2020-03-09 2020-03-09 一种面向大数据的骨干网多业务流量估计方法及***

Country Status (1)

Country Link
CN (1) CN113379092B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114374619A (zh) * 2022-01-10 2022-04-19 昭通亮风台信息科技有限公司 车联网流量预测方法、***、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102647354A (zh) * 2012-04-12 2012-08-22 东北大学 一种时变动态网络中端到端流量的重构方法
CN102724078A (zh) * 2012-06-29 2012-10-10 蒋定德 一种动态网络下基于压缩感知的端到端网络流量重构方法
CN103200043A (zh) * 2013-03-14 2013-07-10 东北大学 一种时变非平稳网络流量测量方法
CN105071963A (zh) * 2015-08-06 2015-11-18 东北大学 一种面向大数据互联网的多业务流量估计方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102647354A (zh) * 2012-04-12 2012-08-22 东北大学 一种时变动态网络中端到端流量的重构方法
CN102724078A (zh) * 2012-06-29 2012-10-10 蒋定德 一种动态网络下基于压缩感知的端到端网络流量重构方法
CN103200043A (zh) * 2013-03-14 2013-07-10 东北大学 一种时变非平稳网络流量测量方法
CN105071963A (zh) * 2015-08-06 2015-11-18 东北大学 一种面向大数据互联网的多业务流量估计方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Network Traffic Prediction Based on Deep Belief Network in Wireless Mesh Backbone Networks;Laisen Nie;《2017 IEEE Wireless Communications and Networking Conference (WCNC)》;20170511;1-4 *
基于压缩感知的端到端网络流量重构策略研究;聂来森;《信息科技辑》;20181215;51-55 *

Also Published As

Publication number Publication date
CN113379092A (zh) 2021-09-10

Similar Documents

Publication Publication Date Title
CN107483251B (zh) 一种基于分布式探针监测的网络业务异常侦测方法
Liang et al. Maximum pseudo likelihood estimation in network tomography
CN105075180B (zh) 用于调整网络属性的方法、装置及计算机可读存储介质
Soule et al. How to identify and estimate the largest traffic matrix elements in a dynamic environment
US8503320B2 (en) Available bandwidth estimation in a packet-switched communication network
US8725871B2 (en) Systems and methods for application dependency discovery
CN102724078B (zh) 一种动态网络下基于压缩感知的端到端网络流量重构方法
Liang et al. A fast lightweight approach to origin-destination IP traffic estimation using partial measurements
Jiang et al. An approximation method of origin–destination flow traffic from link load counts
CN113379092B (zh) 一种面向大数据的骨干网多业务流量估计方法及***
CN105071963A (zh) 一种面向大数据互联网的多业务流量估计方法
Hu et al. Coarse-grained traffic matrix estimation for data center networks
Juva et al. Quick traffic matrix estimation based on link count covariances
Qiao et al. Efficient traffic matrix estimation for data center networks
CN109952743B (zh) 用于低内存和低流量开销大流量对象检测的***和方法
CN107528731B (zh) 应用于ns3并行仿真的网络分割优化算法
CN115022191B (zh) 一种IPv6网络中端到端流快速反演方法
CN110839253A (zh) 一种确定无线网格网络流量的方法
Masry et al. Random sampling estimates of Fourier transforms: antithetical stratified Monte Carlo
Liu et al. Tomogravity space based traffic matrix estimation in data center networks
Wang et al. Modeling residual-geometric flow sampling
CN110149277B (zh) 基于链路拥塞强度分布的网络拥塞链路诊断方法及***
Nie Traffic matrix estimation approach based on partial direct measurements in large-scale IP backbone networks
Nie A novel network tomography approach for traffic matrix estimation problem in large-scale IP backbone networks
Yang et al. An accurate approach for traffic matrix estimation in large-scale backbone networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant