CN111464354B - 一种细粒度的网络流量计算方法、装置及存储介质 - Google Patents
一种细粒度的网络流量计算方法、装置及存储介质 Download PDFInfo
- Publication number
- CN111464354B CN111464354B CN202010247708.2A CN202010247708A CN111464354B CN 111464354 B CN111464354 B CN 111464354B CN 202010247708 A CN202010247708 A CN 202010247708A CN 111464354 B CN111464354 B CN 111464354B
- Authority
- CN
- China
- Prior art keywords
- network flow
- fine
- grained
- network
- network traffic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004364 calculation method Methods 0.000 title claims abstract description 86
- 238000000034 method Methods 0.000 claims abstract description 67
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 42
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 37
- 238000005070 sampling Methods 0.000 claims abstract description 25
- 230000006870 function Effects 0.000 claims description 25
- 230000015654 memory Effects 0.000 claims description 23
- 238000011084 recovery Methods 0.000 claims description 7
- 238000005259 measurement Methods 0.000 abstract description 15
- 239000011159 matrix material Substances 0.000 abstract description 10
- 238000004458 analytical method Methods 0.000 abstract description 7
- 238000011160 research Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 14
- 241001123248 Arma Species 0.000 description 9
- 238000004891 communication Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000010835 comparative analysis Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000005315 distribution function Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/142—Network analysis or design using statistical or mathematical methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/50—Testing arrangements
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Algebra (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Pure & Applied Mathematics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种细粒度的网络流量计算方法、装置及存储介质，该方法包括：获取端到端网络流量；对网络流量进行采样，得到离散的网络流量；根据经验模态分解算法对离散的网络流量进行分解，计算得到分解后的网络流量；根据三次插值算法对分解后的网络流量进行恢复，计算得到细粒度的网络流量。本发明实施例提供的细粒度的网络流量计算方法，研究了如何从采样的流量跟踪中以精细的细粒度尺寸估计和恢复端到端网络流量矩阵。该计算方法利用EMD方法和三次插值可以重建细粒度的网络流量。本发明实施例提供的细粒度的网络流量计算方法，可以计算得到准确的端到端网络流量，解决了现有技术中无法实现网络流量的准确测量和分析的技术问题。
Description
技术领域
本发明涉及网络流量测量技术领域，具体涉及一种细粒度的网络流量计算方法、装置及存储介质。
背景技术
随着新一代信息技术的广泛应用，智能城市、物联网和软件定义网络(softwaredefined network，SDN)等应用呈现爆发式地增长。支持这些应用的高速主干网络承载着巨大的网络流量负载。由于主干网规模不断扩大，主干网速度不断提高，导致网络流量的测量技术带来了巨大挑战。
为了测量网络的性能，网络运营商需要从网络测试节点收集大量流量数据。但是，只有OC48链接可以收集高达每小时600GB的流量，同时需要花费大量资源来存储，传输和处理流量数据。因此，在SDN等下一代网络中，大规模和高速采样技术已成为测量和监控通信网络的主要选择之一。这些技术显著减少了测量数据的数量，还可以避免增加网络测量带来的额外开销，由此该技术引起了广泛关注。
然而，网络流量的采样技术只能获得不完整的测量数据，这些数据会影响网络监控的效果、网络管理和性能评估的正确分析，可能导致最终网络管理决策的不正确。因此，如何实现网络流量的准确测量和分析是目前亟待解决的问题。
发明内容
有鉴于此，本发明实施例提供了一种细粒度的网络流量计算方法、装置及存储介质，以解决现有技术中无法实现网络流量的准确测量和分析的问题。
本发明提出的技术方案如下：
本发明实施例第一方面提供一种细粒度的网络流量计算方法，该计算方法包括：获取端到端网络流量；对网络流量进行采样，得到离散的网络流量；根据经验模态分解算法对所述离散的网络流量进行分解，计算得到分解后的网络流量；根据三次插值算法对分解后的网络流量进行恢复，计算得到细粒度的网络流量。
进一步地，根据经验模态分解算法对所述离散的网络流量进行分解，计算得到分解后的网络流量，包括：根据经验模态分解算法将离散的网络流量分解为成分分量和残差的总和；根据分解次数计算所述成分分量和原始网络流量的相关系数；根据所述相关系数确定有效成分分量；根据所述有效成分分量和残差确定分解后的网络流量。
进一步地，根据三次插值算法对分解后的网络流量进行恢复，计算得到细粒度的网络流量，包括：根据网络流量采样的时间间隔计算得到三次插值函数的系数；根据所述三次插值函数的系数对分解后的网络流量进行重建，得到网络流量分量的三次插值的结果；根据加权平均算法对所述网络流量分量的三次插值的结果进行计算，得到细粒度的网络流量。
进一步地，该细粒度的网络流量计算方法还包括：根据相对误差算法对所述细粒度的网络流量进行误差计算。
本发明实施例第二方面提供一种细粒度的网络流量计算装置，该装置包括：获取模块，用于获取端到端网络流量；采样模块，用于对网络流量进行采样，得到离散的网络流量；分解模块，用于根据经验模态分解算法对所述离散的网络流量进行分解，计算分解后的网络流量；恢复模块，用于根据三次插值算法对分解后的网络流量进行恢复，计算得到细粒度的网络流量。
进一步地，所述分解模块包括：分解子模块，用于根据经验模态分解算法将离散的网络流量分解为成分分量和残差的总和；相关系数计算模块，用于根据分解次数计算所述成分分量和原始网络流量的相关系数；有效成分分量计算模块，用于根据所述相关系数确定有效成分分量；分解计算模块，用于根据所述有效成分分量和残差确定分解后的网络流量。
进一步地，所述恢复模块包括：插值系数计算模块，用于根据网络流量采样的时间间隔计算得到三次插值函数的系数；插值计算模块，用于根据所述三次插值函数的系数对分解后的网络流量进行重建，得到网络流量分量的三次插值的结果；加权计算模块，用于根据加权平均算法对所述网络流量分量的三次插值的结果进行计算，得到细粒度的网络流量。
进一步地，该细粒度的网络流量计算装置还包括：误差计算模块，用于根据相对误差算法对所述细粒度的网络流量进行误差计算。
本发明实施例第三方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行如本发明实施例第一方面及第一方面任一项所述的细粒度的网络流量计算方法。
本发明实施例第四方面提供一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行如本发明实施例第一方面及第一方面任一项所述的细粒度的网络流量计算方法。
本发明提供的技术方案，具有如下效果：
本发明实施例提供的细粒度的网络流量计算方法、装置及存储介质，研究了如何从采样的流量跟踪中以精细的细粒度尺寸估计和恢复端到端网络流量矩阵。该计算方法利用EMD方法和三次插值可以重建细粒度的网络流量。首先利用端到端网络流量的分形和自相似特征，使用EMD方法对网络流量进行分解，分解后的分量可以很好的反应网络流量的相关特性；之后再使用三次插值方法以更精细的时间粒度恢复它们。因此，本发明实施例提供的细粒度的网络流量计算方法，可以计算得到准确的端到端网络流量，解决了现有技术中无法实现网络流量的准确测量和分析的技术问题。
本发明实施例提供的细粒度的网络流量计算方法、装置及存储介质，采用加权几何平均算法对每一个网络流量分量的权值进行计算，并利用加权求和的方法获得细粒度的网络流量，以提高端到端网络流量的重建精度。本发明实施例提供的细粒度的网络流量计算方法具有最佳的重建性能，该方法提可以提取准确的端到端网络流量矩阵，对于SDN应用中的网络规划，网络优化和网络规模具有深远的影响。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的细粒度的网络流量计算方法的流程图；
图2是根据本发明实施例的端到端网络流量的某个直接测量的结构框图；
图3是根据本发明实施例的采样后的端到端网络流量的结构框图；
图4是根据本发明实施例的利用EMD方法对进行预测、填充和从重构的原理图；
图5是根据本发明实施例的EMD方法对网络流量进行分解的结果；
图6是根据本发明另一实施例的细粒度的网络流量计算方法的流程图；
图7是根据本发明另一实施例的细粒度的网络流量计算方法的流程图；
图8是根据本发明另一实施例的细粒度的网络流量计算方法的流程图；
图9是根据本发明实施例的利用EMD－SP方法、SRSVD方法和ARMA方法预测的网络流量结果的对比图；
图10是根据本发明实施例的网络流量的相对误差的概率分布函数图比较；
图11是根据本发明实施例的网络流量相对误差的箱型图比较；
图12是根据本发明实施例的网络流量相对误差的均值与方差比较；
图13是根据本发明实施例的细粒度的网络流量计算装置的结构框图；
图14是根据本发明另一实施例的细粒度的网络流量计算装置的结构框图；
图15是根据本发明另一实施例的细粒度的网络流量计算装置的结构框图；
图16是根据本发明另一实施例的细粒度的网络流量计算装置的结构框图；
图17是根据本发明实施例提供的计算机可读存储介质的结构示意图；
图18是根据本发明实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种细粒度的网络流量计算方法，如图1所示，该计算方法包括如下步骤：
步骤S101：获取端到端网络流量；其中，获取的端到端的网络流量可以如图2所示。具体地，可以建立一个端到端(来源到目的地或始发地－目的地)网络流量的***模型，以便从对网络流量进行建模。对于链路中即端到端的流量y(t)可以用流量矩阵表示，具体可以为公式(1)所示。
y(t)＝Ax(t) 公式(1)
其中，y(t)表示端到端所有链路的流量。yi(t)(i＝1,2,...,v)可以用于表示链路i中的流量。v可以用于表示给定网络中的链接总数。x(t)＝(x1(t),x2(t),...,xu(t))是给定网络中的所有端到端网络业务(即业务矩阵)；u是起始－目标节点对的总数；xj(t)是始发地－目的地j流的流量。A＝(aji)u×v表示描述给定网络中的路由配置信息的路由矩阵。
步骤S102：对网络流量进行采样，得到离散的网络流量；如图3所示，为采样后的端到端网络流量。具体地，由于现有的网络流量较多，无法对所有网络流量进行测量，因此，可以对获取的网络流量进行采样后测量。其中，在给定的测量持续时间[0,T]内端到端网络通信量的测量值为xg(t)，因此，端到端的网络流量采样序列可以表示为公式(2)。
xg(t)＝{(t,xg(t))|t∈[0,T],xg(t)∈R+} 公式(2)
其中，R+表示非负实数域。
对于采样以后的数据流量是一个在时间维度上被离散化的序列，即时间t被离散化。然后，公式(2)可以用公式(3)表示。
xg(n)＝{(n,xg(n))|n∈Z+,xg(n)∈R+} 公式(3)
其中，n∈{0,1,…,N}表示采样的时间序列且n∈Z+，Z+表示非负整数；N是测量过程中采样序列的时隙总数，R+表示非负实数域。
步骤S103：根据经验模态分解算法对离散的网络流量进行分解，计算得到分解后的网络流量；具体地，通过利用端到端网络流量的分形和自相似特征，可以采用EMD(empirical mode decomposition，经验模态分解)算法对网络流量进行分解，分解后的分量可以很好的反应网络流量的相关特性。其中，图4表示利用EMD方法进行预测、填充和从重构的原理图，其中的黑色线条(Actual)表示网络流量的真实测量结果，灰色的线表示残余分量。图5表示利用EMD方法对网络流量进行分解的结果，通过多次分解之后，网络流量的残余分量波动越来越小，说明网络流量的整体平稳性能也越来越强。
步骤S104：根据三次插值算法对分解后的网络流量进行恢复，计算得到细粒度的网络流量。具体地，利用三次插值的方法能够对网络流量的分量进行填充和平滑处理。同时对网络流量的插值结果利用三次插值方法再次插值，可以计算得到细粒度的网络流量。
本发明实施例提供的细粒度的网络流量计算方法，研究了如何从采样的流量跟踪中以精细的细粒度尺寸估计和恢复端到端网络流量矩阵。该计算方法利用EMD方法和三次插值可以重建细粒度的网络流量。首先利用端到端网络流量的分形和自相似特征，使用EMD方法对网络流量进行分解，分解后的分量可以很好的反应网络流量的相关特性；之后再使用三次插值方法以更精细的时间粒度恢复它们。因此，本发明实施例提供的细粒度的网络流量计算方法，可以计算得到准确的端到端网络流量，解决了现有技术中无法实现网络流量的准确测量和分析的技术问题
在一实施例中，如图6所示，步骤S103根据经验模态分解算法对离散的网络流量进行分解，计算得到分解后的网络流量，包括如下步骤：
步骤S301：根据经验模态分解算法将离散的网络流量分解为成分分量和残差的总和；具体地，可以采用EMD方法对网络流量进行分解，将网络流量的时间序列初步表示为成分分量和残差的总和，可以用公式(4)表示。
步骤S302：根据分解次数计算成分分量和原始网络流量的相关系数。具体地，由于并非所有IMF(Intrinsic Mode Function，有限个本征模函数)都是有效的组成部分。一般而言，错误的模式分量很可能出现在低频部分，而噪声分量很可能出现在高频部分。因此，需要将分解的网络流量和原始的网络流量之间根据相关系数来选择一个有效的网络流量分量。而相关系数则是表明网络流量的成分与原始流量之间的关系，相关系数越大，该流量的分量有效性也就越高。
在一实施例中，可以将相关系数的阈值设置为λ，如果分解后的各个成分分量与原始网络流量数据之间的相关系数大于阈值λ，则认为相应的IMF为有效分量，否则视为无效网络流量分量。
IMF分量c与SDN网络的原始网络流量数据x(t)之间的相关系数的具体计算方法，可以用公式(5)表示。
其中，m表示时间序列x(t)的分解次数。
步骤S303：根据相关系数确定有效成分分量；具体地，可以通过网络流量分解获得的网络流量的多个成分分量，将其与原始序列的相关系数与阈值进行比较来确定有效的网络流量。
步骤S304：根据有效成分分量和残差确定分解后的网络流量。具体地，网络流量可以用有效成分分量和残差进行重构，可以用公式(6)表示。
其中，n是提取的IMF的数量，rn(t)是最终残差，它们一起反映了的主要趋势x(t)，ci是相互正交且均值几乎为零的提取的IMF。
在一实施例中，如图7所示，步骤S104根据三次插值算法对分解后的网络流量进行恢复，计算得到细粒度的网络流量，包括如下步骤：
步骤S401：根据网络流量采样的时间间隔计算得到三次插值函数的系数；具体地，三次插值法是一种多项式插值法，首先将插值区间等分成q个小区间，然后再构造插值函数，并利用插值函数计算每一个分割点上的插值。为了不失一般性，对于网络流量的第k个采样间隔[k,k+1]，可以***网络流量的q-1个点，即：
对应于区间[k,k+1]的三次插值函数ck(t)满足以下等式：
其中，
表示对应于时间点
的测量值。F(·)不超过每个子区间
中的三次多项式。然后，对于网络业务的第k个采样间隔[k,k+1]，三次插值函数sk(t)可以用公式(9)表示。
其中，
i＝0，1，…，q，且
和
是三次插值函数的系数。函数sk(t)在采样点
处具有连续的二阶导数，因此根据边界值点
和
的数值，以及三次自然插值方法获得三次插值的系数，可以用公式(10)表示。
其中i＝0，1，…，q。根据公式(10)，可以确定对应于区间[k,k+1]的三次插值函数sk(t)，其中k＝1,2,...,N。
步骤S402：根据三次插值函数的系数对分解后的网络流量进行重建，得到网络流量分量的三次插值的结果；具体地，可以假设被重建的细粒度流量的时间单位是v。当采样间隔为v×j(其中j>1且j∈Z)个时间单位时，采样的网络流量为γv,j。如果持续获取t(0<t<v×j×N)时间单位的数据，每个端到端流都有N个采样数据的总计。重建v时间单位的端到端通信需要(j-1)×N插值点，因此，可以得到公式(11)。
其中
和
分别表示时隙和对应于采样网络流量xv,j和细粒度的三次插值结果。此外，
i＝0,1,...j且k∈{1,2,...,N}。
使用三次插值方法进行重建，可以得到公式(12)。
其中，
表示网络流量分量的三次插值的结果。
步骤S403：根据加权平均算法对网络流量分量的三次插值的结果进行计算，得到细粒度的网络流量。具体地，可以利用加权平均值，计算网络流量的每一个分量(IMF)的插值结果
对于三次插值方法的重构网络流量
在不失一般性的情况下，假设公式(13)成立：
然后，针对每一个分量进行加权平均。加权平均的结果可以用公式(14)表示。
其中，ri,c表示每一个分量的系数；
为网络流量的第c个分量进行插值获得的结果。
在一实施例中，网络流量分量的系数可以通过相关性计算求得。为了计算加权系数ri，假设x(t)表示端到端网络流量的样本值，其中0≤t≤j×N，可以采用公式(15)表示目标精细细粒度推断和估计网络流量功能。
根据公式(15)构造对于0≤t≤j≤N，得到公式(16)的目标函数：
之后，可以将公式(16)可以转换为公式(17)：
通过求解公式(17)，可以得到网络流量分量的最优加权值系数ri,c，用公式(18)表示。
根据公式(18)和公式(14)即可得到端到端网络流量的准确重建结果x(t)。
在一实施例中，该细粒度的网络流量计算方法还包括：根据相对误差算法对细粒度的网络流量进行误差计算。具体地，在端到端流量的重建中，为了对网络流量计算的结果进行验证，则可以采用相对误差对网络流量的结果进行分析。RE表示相对的网络流量误差，其定义可以用公式(19)表示。
其中，REi表示相对误差。
本发明实施例提供的细粒度的网络流量计算方法，采用加权几何平均算法对每一个网络流量分量的权值进行计算，并利用加权求和的方法获得细粒度的网络流量，以提高端到端网络流量的重建精度。本发明实施例提供的细粒度的网络流量计算方法具有最佳的重建性能，该方法提可以提取准确的端到端网络流量矩阵，对于SDN应用中的网络规划，网络优化和网络规模具有深远的影响。
在一实施例中，如图8所示，本发明实施例提供的细粒度的网络流量计算方法可以按照以下过程实现：首先进行粗粒度采样，即获取网络流量，并进行流量采样，实现网络流量的重构；之后进行细粒度的逆采样，即利用EMD网络流量进行分解，得到多个网络流量分量；对于每个网络流量分量可以采用三次插值的方法得到细粒度插值，并将计算得到的多个结果求和从而实现网络流量的恢复和重建，由此得到细粒度的网络流量。
在一实施例中，可以对本发明实施例提供的细粒度的网络流量计算方法(EMP－SP)和SRSVD方法、ARMA方法预测的网络流量进行对比，如图9所示，可以看出EMP－SP的重建结果优于ARMA和SRSVD。此外，三种方法对网络流量的相对误差的比较分析结果如图10、图11及图12所示。其中，图10表示的是网络流量的相对误差的概率分布函数图；图11是网络流量相对误差的箱型图；图12是网络流量相对误差的均值与方差的对比分析。
从图10中可以发现，利用EMD－SP方法估计和填充得到的网络流量相对误差中90％都小于0.3，而ARMA和SRSVD方法90％的相对误差分别小于0.715和0.682。从三个函数的陡峭程度来看，EMD－SP方法也明显优于ARMA和SRSVD方法。
从图11中的箱型图可以看出EMD－SP的中值远小于ARMA和SRSVD两种方法估计得到的网络流量误差值，分别为0.21、0.39和0.52。EMD－SP的相对误差分布范围也远小于ARMA和SRSVD两种方法的网络流量估计结果。
从图12中可以看出EMD－SP、ARMA和SRSVD三种方法的网络流量相对误差的平均值和相对误差，三种方法的网络流量均值分别为0.215，0.384和0.513；它们的网络流量估计结果的相对误差分别为0.09、0.35和0.21，从相对误差可以看出EMD－SP估计结果在这三种方法中最为稳定，而ARMA方法的稳定性相对最差。
本发明实施例还提供一种细粒度的网络流量计算装置，如图13所示，该装置包括：
获取模块1，用于获取端到端网络流量；详细内容参见上述方法实施例中步骤S101的相关描述。
采样模块2，用于对网络流量进行采样，得到离散的网络流量；详细内容参见上述方法实施例中步骤S102的相关描述。
分解模块3，用于根据经验模态分解算法对所述离散的网络流量进行分解，计算分解后的网络流量；详细内容参见上述方法实施例中步骤S103的相关描述。
恢复模块4，用于根据三次插值算法对分解后的网络流量进行恢复，计算得到细粒度的网络流量。详细内容参见上述方法实施例中步骤S104的相关描述。
本发明实施例提供的细粒度的网络流量计算装置，研究了如何从采样的流量跟踪中以精细的细粒度尺寸估计和恢复端到端网络流量矩阵。该计算装置利用EMD方法和三次插值可以重建细粒度的网络流量。首先利用端到端网络流量的分形和自相似特征，使用EMD方法对网络流量进行分解，分解后的分量可以很好的反应网络流量的相关特性；之后再使用三次插值方法以更精细的时间粒度恢复它们。因此，本发明实施例提供的细粒度的网络流量计算装置，可以计算得到准确的端到端网络流量，解决了现有技术中无法实现网络流量的准确测量和分析的技术问题。
在一实施例中，如图14所示，分解模块3包括：
分解子模块31，用于根据经验模态分解算法将离散的网络流量分解为成分分量和残差的总和；详细内容参见上述方法实施例中步骤S301的相关描述。
相关系数计算模块32，用于根据分解次数计算所述成分分量和原始网络流量的相关系数；详细内容参见上述方法实施例中步骤S302的相关描述。
有效成分分量计算模块33，用于根据所述相关系数确定有效成分分量；详细内容参见上述方法实施例中步骤S303的相关描述。
分解计算模块34，用于根据所述有效成分分量和残差确定分解后的网络流量。详细内容参见上述方法实施例中步骤S304的相关描述。
在一实施例中，如图15所示，恢复模块4包括：
插值系数计算模块41，用于根据网络流量采样的时间间隔计算得到三次插值函数的系数；详细内容参见上述方法实施例中步骤S401的相关描述。
插值计算模块42，用于根据所述三次插值函数的系数对分解后的网络流量进行重建，得到网络流量分量的三次插值的结果；详细内容参见上述方法实施例中步骤S402的相关描述。
加权计算模块43，用于根据加权平均算法对所述网络流量分量的三次插值的结果进行计算，得到细粒度的网络流量。详细内容参见上述方法实施例中步骤S403的相关描述。
在一实施例中，如图16所示，该细粒度的网络流量计算装置还包括：
误差计算模块5，用于根据相对误差算法对细粒度的网络流量进行误差计算。具体地，在端到端流量的重建中，为了对网络流量计算的结果进行验证，则可以采用相对误差对网络流量的结果进行分析。RE表示相对的网络流量误差，其定义可以用公式(19)表示。
其中，REi表示相对误差。
本发明实施例提供的细粒度的网络流量计算装置，采用加权几何平均算法对每一个网络流量分量的权值进行计算，并利用加权求和的方法获得细粒度的网络流量，以提高端到端网络流量的重建精度。本发明实施例提供的细粒度的网络流量计算装置具有最佳的重建性能，该装置提可以提取准确的端到端网络流量矩阵，对于SDN应用中的网络规划，网络优化和网络规模具有深远的影响。
本发明实施例提供的细粒度的网络流量计算装置的功能描述详细参见上述实施例中细粒度的网络流量计算方法描述。
本发明实施例还提供一种存储介质，如图17所示，其上存储有计算机程序601，该指令被处理器执行时实现上述实施例中抓屏方法的步骤。该存储介质上还存储有音视频流数据，特征帧数据、交互请求信令、加密数据以及预设数据大小等。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read－Only Memory，ROM)、随机存储记忆体(Random AccessMemory，RAM)、快闪存储器(FlashMemory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid－State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read－Only Memory，ROM)、随机存储记忆体(Random AccessMemory，RAM)、快闪存储器(FlashMemory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid－State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
本发明实施例还提供了一种电子设备，如图18所示，该电子设备可以包括处理器51和存储器52，其中处理器51和存储器52可以通过总线或者其他方式连接，图18中以通过总线连接为例。
处理器51可以为中央处理器(Central Processing Unit，CPU)。处理器51还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器52作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的对应的程序指令/模块。处理器51通过运行存储在存储器52中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的抓屏方法。
存储器52可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储处理器51所创建的数据等。此外，存储器52可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器52可选包括相对于处理器51远程设置的存储器，这些远程存储器可以通过网络连接至处理器51。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器52中，当被所述处理器51执行时，执行如图1－12所示实施例中的细粒度的网络流量计算方法。
上述电子设备具体细节可以对应参阅图1至图12所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (8)
1.一种细粒度的网络流量计算方法，其特征在于，包括：
获取端到端网络流量；
对网络流量进行采样，得到离散的网络流量；
根据经验模态分解算法对所述离散的网络流量进行分解，计算得到分解后的网络流量；
根据三次插值算法对分解后的网络流量进行恢复，计算得到细粒度的网络流量；
根据经验模态分解算法对所述离散的网络流量进行分解，计算得到分解后的网络流量，包括：
根据经验模态分解算法将离散的网络流量分解为成分分量和残差的总和；
根据分解次数计算所述成分分量和原始网络流量的相关系数；
根据所述相关系数确定有效成分分量；
根据所述有效成分分量和残差确定分解后的网络流量。
2.根据权利要求1所述的细粒度的网络流量计算方法，其特征在于，根据三次插值算法对分解后的网络流量进行恢复，计算得到细粒度的网络流量，包括：
根据网络流量采样的时间间隔计算得到三次插值函数的系数；
根据所述三次插值函数的系数对分解后的网络流量进行重建，得到网络流量分量的三次插值的结果；
根据加权平均算法对所述网络流量分量的三次插值的结果进行计算，得到细粒度的网络流量。
3.根据权利要求1所述的细粒度的网络流量计算方法，其特征在于，还包括：
根据相对误差算法对所述细粒度的网络流量进行误差计算。
4.一种细粒度的网络流量计算装置，其特征在于，包括：
获取模块，用于获取端到端网络流量；
采样模块，用于对网络流量进行采样，得到离散的网络流量；
分解模块，用于根据经验模态分解算法对所述离散的网络流量进行分解，计算得到分解后的网络流量；
恢复模块，用于根据三次插值算法对分解后的网络流量进行恢复，计算得到细粒度的网络流量；
所述分解模块包括：
分解子模块，用于根据经验模态分解算法将离散的网络流量分解为成分分量和残差的总和；
相关系数计算模块，用于根据分解次数计算所述成分分量和原始网络流量的相关系数；
有效成分分量计算模块，用于根据所述相关系数确定有效成分分量；
分解计算模块，用于根据所述有效成分分量和残差确定分解后的网络流量。
5.根据权利要求4所述的细粒度的网络流量计算装置，其特征在于，所述恢复模块包括：
插值系数计算模块，用于根据网络流量采样的时间间隔计算得到三次插值函数的系数；
插值计算模块，用于根据所述三次插值函数的系数对分解后的网络流量进行重建，得到网络流量分量的三次插值的结果；
加权计算模块，用于根据加权平均算法对所述网络流量分量的三次插值的结果进行计算，得到细粒度的网络流量。
6.根据权利要求4所述的细粒度的网络流量计算装置，其特征在于，还包括：
误差计算模块，用于根据相对误差算法对所述细粒度的网络流量进行误差计算。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行如权利要求1－3任一项所述的细粒度的网络流量计算方法。
8.一种电子设备，其特征在于，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行如权利要求1－3任一项所述的细粒度的网络流量计算方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010247708.2A CN111464354B (zh) | 2020-03-31 | 2020-03-31 | 一种细粒度的网络流量计算方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010247708.2A CN111464354B (zh) | 2020-03-31 | 2020-03-31 | 一种细粒度的网络流量计算方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111464354A CN111464354A (zh) | 2020-07-28 |
| CN111464354B true CN111464354B (zh) | 2023-02-28 |
Family
ID=71680985
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010247708.2A Active CN111464354B (zh) | 2020-03-31 | 2020-03-31 | 一种细粒度的网络流量计算方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111464354B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115022191B (zh) * | 2022-05-26 | 2023-10-03 | 电子科技大学 | 一种IPv6网络中端到端流快速反演方法 |
| CN115442246B (zh) * | 2022-08-31 | 2023-09-26 | 武汉烽火技术服务有限公司 | 数据平面网络的流量预测方法、装置、设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102568205A (zh) * | 2012-01-10 | 2012-07-11 | 吉林大学 | 非常态下基于经验模态分解和分类组合预测的交通参数短时预测方法 |
| CN103729688A (zh) * | 2013-12-18 | 2014-04-16 | 北京交通大学 | 一种基于emd的断面客流神经网络预测方法 |
| CN108845230A (zh) * | 2018-06-22 | 2018-11-20 | 国网陕西省电力公司电力科学研究院 | 一种次同步振荡随机时变模态辨识方法 |
| CN109802862A (zh) * | 2019-03-26 | 2019-05-24 | 重庆邮电大学 | 一种基于集合经验模态分解的组合型网络流量预测方法 |
| CN110381523A (zh) * | 2019-06-17 | 2019-10-25 | 盐城吉大智能终端产业研究院有限公司 | 一种基于tvf-emd-lstm模型的蜂窝基站网络流量预测方法 |
| CN110740063A (zh) * | 2019-10-25 | 2020-01-31 | 电子科技大学 | 基于信号分解和周期特性的网络流量特征指标预测方法 |
| CN110933023A (zh) * | 2019-10-16 | 2020-03-27 | 电子科技大学 | 一种面向多媒体医疗设备组网通信的网络流量异常检测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160164721A1 (en) * | 2013-03-14 | 2016-06-09 | Google Inc. | Anomaly detection in time series data using post-processing |
-
2020
- 2020-03-31 CN CN202010247708.2A patent/CN111464354B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102568205A (zh) * | 2012-01-10 | 2012-07-11 | 吉林大学 | 非常态下基于经验模态分解和分类组合预测的交通参数短时预测方法 |
| CN103729688A (zh) * | 2013-12-18 | 2014-04-16 | 北京交通大学 | 一种基于emd的断面客流神经网络预测方法 |
| CN108845230A (zh) * | 2018-06-22 | 2018-11-20 | 国网陕西省电力公司电力科学研究院 | 一种次同步振荡随机时变模态辨识方法 |
| CN109802862A (zh) * | 2019-03-26 | 2019-05-24 | 重庆邮电大学 | 一种基于集合经验模态分解的组合型网络流量预测方法 |
| CN110381523A (zh) * | 2019-06-17 | 2019-10-25 | 盐城吉大智能终端产业研究院有限公司 | 一种基于tvf-emd-lstm模型的蜂窝基站网络流量预测方法 |
| CN110933023A (zh) * | 2019-10-16 | 2020-03-27 | 电子科技大学 | 一种面向多媒体医疗设备组网通信的网络流量异常检测方法 |
| CN110740063A (zh) * | 2019-10-25 | 2020-01-31 | 电子科技大学 | 基于信号分解和周期特性的网络流量特征指标预测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111464354A (zh) | 2020-07-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110839016B (zh) | 异常流量监测方法、装置、设备及存储介质 | |
| CN111464354B (zh) | 一种细粒度的网络流量计算方法、装置及存储介质 | |
| CN109120463B (zh) | 流量预测方法及装置 | |
| CN112416643A (zh) | 无监督异常检测方法与装置 | |
| CN110958639A (zh) | 一种目标状态估计方法及*** | |
| US9559911B1 (en) | Forecasting link utilization between points of presence in an IP network | |
| CN113723716B (zh) | 一种客流分级预警异常告警方法、设备及存储介质 | |
| Zhang et al. | A hybrid traffic speed forecasting approach integrating wavelet transform and motif-based graph convolutional recurrent neural network | |
| Devaraj et al. | Uncertainty propagation in analytic availability models | |
| CN115830866A (zh) | 基于时序动态图的交通拥堵推断方法、***、设备及介质 | |
| Hasnat et al. | Sampling of power system graph signals | |
| Tsang et al. | Nonparametric internet tomography | |
| CN116937559A (zh) | 基于循环神经网络和张量分解的电力***负荷预测***和方法 | |
| CN115376309B (zh) | 一种基于多视角时间矩阵分解的缺失交通数据修复方法 | |
| CN116166642A (zh) | 基于引导信息的时空数据填补方法、***、设备及介质 | |
| Zhang et al. | Towards probabilistic robust and sparsity-free compressive sampling in civil engineering: A review | |
| Cressie et al. | Mapping rates associated with polygons | |
| CN116963156B (zh) | 一种无线信号传输能力检测方法和装置 | |
| Nie et al. | A compressive sensing‐based approach to end‐to‐end network traffic reconstruction utilising partial measured origin‐destination flows | |
| CN115049022B (zh) | 基于时间差分的数据处理方法及装置 | |
| CN116975611B (zh) | 一种基于扩散模型ode形式的高频负荷数据生成方法和*** | |
| CN117354072B (zh) | 一种数据中心网络带宽流量自动计费调节方法及装置 | |
| CN117172997B (zh) | 一种防洪预警方法、装置、计算机设备及存储介质 | |
| Guo et al. | The discussions on implementing QoS for IPv6 | |
| Nguyen et al. | Moving-update kalman algorithm in low-cost node-red iot network for estimating flood water level |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |