CN114422382B - 网络流量预测方法、计算机装置、产品及存储介质 - Google Patents
网络流量预测方法、计算机装置、产品及存储介质 Download PDFInfo
- Publication number
- CN114422382B CN114422382B CN202210105778.3A CN202210105778A CN114422382B CN 114422382 B CN114422382 B CN 114422382B CN 202210105778 A CN202210105778 A CN 202210105778A CN 114422382 B CN114422382 B CN 114422382B
- Authority
- CN
- China
- Prior art keywords
- network
- time
- convolution
- module
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 239000011159 matrix material Substances 0.000 claims abstract description 39
- 230000004927 fusion Effects 0.000 claims abstract description 10
- 230000002776 aggregation Effects 0.000 claims description 23
- 238000004220 aggregation Methods 0.000 claims description 23
- 238000006116 polymerization reaction Methods 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000010339 dilation Effects 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 6
- 230000009191 jumping Effects 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 abstract description 19
- 238000013136 deep learning model Methods 0.000 description 15
- ZEFNOZRLAWVAQF-UHFFFAOYSA-N Dinitolmide Chemical compound CC1=C(C(N)=O)C=C([N+]([O-])=O)C=C1[N+]([O-])=O ZEFNOZRLAWVAQF-UHFFFAOYSA-N 0.000 description 8
- 230000000875 corresponding effect Effects 0.000 description 8
- 238000013461 design Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 239000000047 product Substances 0.000 description 6
- 230000002860 competitive effect Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 238000011160 research Methods 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000008034 disappearance Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000003442 weekly effect Effects 0.000 description 2
- 101100326341 Drosophila melanogaster brun gene Proteins 0.000 description 1
- 241000288105 Grus Species 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 235000019580 granularity Nutrition 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 239000012466 permeate Substances 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000005295 random walk Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/147—Network analysis or design for predicting network behaviour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0876—Network utilisation, e.g. volume of load or congestion level
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Environmental & Geological Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种网络流量预测方法、计算机装置、产品及存储介质,本发明分别学习邻近的、以日为周期、以周为周期的三种不同范围的数据的时空特征。将三个模块的输出通过自适应融合机制进行融合,并将融合结果输入预测网络中得到预测序列。设计了门控空洞卷积网络,能够在参数比较小的情况下学习数据时间维度上的长相关性;还设计了混合跳图卷积网络,能够学习数据复杂的空间相关性;此外,为了能够为了充分建模网络节点之间动态的和多层次的相互依赖关系,本发明还提出了一个图学习网络,以数据驱动的方式为STA模块中不同的混合跳图卷积网络学习从浅层次到深层次的邻接矩阵。因此M2STL具有更强的时空学习能力来进行网络流量预测。
Description
技术领域
本发明涉及网络流量预测领域,特别是一种网络流量预测方法、计算机装置、产品及存储介质。
背景技术
近年来,科学技术迅速发展,互联网正在渗透人们生活,工作和娱乐的方方面面,给人们生活带来了极大的便利和欢乐。然而快速增长的用户需求和网络规模给当前网络基础架构以及网络安全带来了许多挑战。网络流量是网络运行的重要指标之一,反映了网络运行的整体健康程度。如果能够提前准确预测网络流量,网络运营商可以合理分配资源,做好拥塞控制,提高网络运行效率。同时还能及时发现潜在的网络威胁和异常,并提供细致化的运维指导,因此对保障网络安全也具有重要意义。
网络流量预测可以看作是一个典型的时空预测问题,而解决这个问题的关键是如何有效地提取复杂的时空特征。如图1显示了网络流量序列在空间维度上的特征,线条越粗,表示两点之间的空间相关性越强。可以发现不同的位置对节点A的影响是不同的,甚至同一个位置随着时间的推移对节点A的影响也是动态变化的。图2显示了时间维度上的特征,两条折线分别表示结点A和结点B的流量变化趋势,实线箭头表示结点未来时间片与历史时间片之间的时间相关性,虚线箭头表示节点A与节点B之间的时空混合特征。可以明显发现,在不同的时间步长上,这些混合特征也是不同的。因此,网络流量数据具有复杂的时间依赖性。
目前关于网络流量预测的研究,主要包括传统的基于统计的回归模型和基于机器学习的预测方法。其中前者假设数据是线性相关的,并采用线性模型对数据进行拟合;后者具有很强的学习能力,能够充分地挖掘数据中的重要特征。
基于统计的回归方法中的一类就是历史平均法(HA)[1],历史一段时期的网络流量平均值被用作预测值,这种方法简单快速,但是不考虑数据的任何特征,预测精度低。此外,自回归移动平均(ARMA)[2]以及为了提高预测精度而衍生出来的相关方法是使用最广的统计预测方法。
基于机器学习的预测方法分为经典机器学习算法和基于深度学习的算法。经典机器学习算法如支持向量机[3],k最近邻算法[4],贝叶斯模型[5]等等都是在流量预测领域的应用,并且这些算法的性能都比上述基于统计的方法有所提高,但这依赖于特征工程所提取特征的准确度。
基于深度学习的算法能够直接地很好地捕捉流量数据的复杂特征并取得了最佳效果。最开始,简单的深度学习模型被用于流量预测问题,尤其是深度置信网络[6],循环神经网络[7]以及它的变体LSTM和GRU等等。但这些简单的深度学习模型往往只考虑了流量数据在时间维度上的特征。
随着网络流量模式越发复杂,为了满足实际网络流量预测的需求,更多的混合模型和改进模型被提出,他们同时考虑流量数据的时间特征和空间特征。研究[8]中提出了卷积神经网络和LSTM的混合模型,使用卷积神经网络来捕捉变量之间的局部相关性,使用LSTM来保持长期的时间相关性。文献[9]提出了Diffusion Convolution和GRU组成的DCRNN模型,该模型使用双向随机行走来对图数据上的空间依赖进行建模,使用encoder-decoder架构来对时间依赖进行建模。文献[10]将扩张因果卷积与图卷积融合,进而每个图卷积层能够处理在不同细粒度下,由扩张因果卷积提取的每个节点信息的空间依赖关系。虽然目前这些混合模型的预测性能有很大的提升,但这些研究仍然存在不能充分利用网络流量数据之间潜在依赖关系的问题。
扩张卷积是一种全卷积结构,最早由F.Yu提出[11]。与普通卷积相比,它引入了超参数扩张率d,即在标准卷积核中注入空洞。它的感受野与网络深度、核大小、步幅以及扩张率呈正相关,因此超参数扩张率可以控制感受野的增长速度。比图3表示一维的情况,其中d是扩张率,呈2的指数幂增加,此时,感受野也以2的幂增加。即在图中,第一隐藏层节点的感受野是输入层的2个单元,在第二隐藏层、第三隐藏层和输出层对应增加到4、8、16。因此,在不池化信息损失和相同的计算条件下,感受野被扩大,即每次卷积包含更大规模的信息。近年来,扩张卷积被广泛应用于语义分割、目标检测和时间序列预测等任务。在本发明中,本发明使用由门控机制连接的扩张卷积来学习网络流量序列的时间相关性,可以容易且快速地捕获长相关性。
图卷积神经网络是卷积神经网络对图数据的自然提升,最早由Brun在图信号处理的基础上提出[12]。它可以同时进行节点特征信息和结构信息的端到端学习。近年来,由于图形卷积神经网络在处理实体间的空间相关性方面取得了巨大的成功,它已被广泛应用于自然语言处理,计算机视觉,它也是本发明交通预测任务的最佳选择。然而,缺乏合适的图结构构造技术,限制了图卷积网络的发展。
综上,现有研究存在如下不足:
(1)网络流量数据具有多范围的时空特征。一段时间的网络流量不仅与最近的时段的历史数据有关,还与最近几天和最近几周相应时段的历史数据有关。在没有同时学习多范围时空特征的情况下,目前的方法预测精度仍然不高。
(2)现有的研究主要使用递归神经网络(RNNs)或卷积神经网络(CNNs)来提取网络流量数据的时间相关性。基于RNN的方法无法通过并行化来加速,因此迭代计算过程非常耗时。对于基于CNN的方法,由于卷积核大小的限制,很难获得足够大的感受野来学习长相关性.
(3)为了学习不局限于欧氏空间的复杂空间特征,图神经网络已经被应用于一些现有的研究中。然而,大多数图卷积都是在预先固定的邻接矩阵上实现的,预先固定的邻接矩阵不能反映网络节点之间动态的关系。虽然有很少的研究[20]开始自适应学习的图结构,但是他们只在较浅层次学习一次,性能仍然不高。
发明内容
本发明所要解决的技术问题是,针对现有技术不足,提供一种网络流量预测方法、计算机装置、产品及存储介质,充分提取并利用网络流量数据中多范围多层次的时空特征,实现对全网网络节点之间未来一段时间网络流量的有效预测。
为解决上述技术问题,本发明所采用的技术方案是:一种网络流量预测方法,包括以下步骤:
S1、根据三维张量模型对采集的网络流量原始数据建模,形成原始张量数据,对所述原始张量数据进行归一化处理;
S3、将分别作为第一时空聚合模块、第二时空聚合模块、第三时空聚合模块的输入,融合第一时空聚合模块、第二时空聚合模块、第三时空聚合模块的输出;计算融合结果与预测序列真实值之间的误差,调整第一时空聚合模块、第二时空聚合模块、第三时空聚合模块的参数,直至训练完成,得到预测模型;其中,所述第一时空聚合模块、第二时空聚合模块、第三时空聚合模块对对应的输入数据进行包括如下过程的处理:提取所述输入数据的时间相关性特征,并提取所述时间相关性特征的空间相关性特征,得到输出。
本发明提出的网络流量预测模型(M2STL)具有更强的时空特征学习能力:(1)本发明学习数据时间维度的长相关性时,能够保持较小的参数量;(2)本发明在学习复杂的空间特征时,能够以数据驱动的方式学习数据之间多层次的相关性;(3)本发明能够学习并融合多范围的时空特征。本发明充分提取并利用了网络流量数据中多范围多层次的时空特征,实现了对全网网络节点之间未来一段时间网络流量的有效预测。
步骤S1的具体实现过程包括:
3)计算N个网络节点在τ时间步内的最大流量值,得到矩阵数据scale∈RN×N;
本发明进行了归一化操作,减小了后续深度学习模型的计算成本。
步骤S3中,所述第一时空聚合模块(STA)、第二时空聚合模块、第三时空聚合模块的结构相同;所述第一时空聚合模块包括:
输入卷积层,输出端与残差模块连接;
至少一个残差模块,当残差模块为多个时,多个所述残差模块串联;第一个残差模块与所述输入卷积层的输出端连接;
图学习网络,输入为对应的历史数据,输出为邻接矩阵,且输出对应与各残差模块连接;
多个并联的跳跃卷积层,第一个跳跃卷积层的输入为对应的历史数据,其余跳跃卷积层对应与各残差模块连接;
融合所述多个跳跃卷积层的输出,得到所述第一时空聚合模块的输出。
本发明中,输入卷积层将原始输入映射到高维空间,有利于后续特征提取;残差模块能够保证在提取较深层次的时空特征时,之前获得的较浅层次的时空特征不会被丢失,同时可以避免梯度消失问题的发生;图学习网络,可以为不同残差模块中的混合跳图卷积网络以数据驱动的方式学习不同的邻接矩阵,反应由浅层次到深层次的图结构;时空聚合模块中包含三个残差模块,依次提取数据由浅层次到深层次的时空特征,多个并联的跳跃卷积能够将这些由浅层次到深层次的时空特征都映射到相同的维度,从而聚合都STA的输出中。因此STA模块具有更强的时空学习能力,可以聚合多层次的时空特征。
所述残差模块包括串联的门控空洞卷积网络和混合跳图卷积网络;
所述混合跳图卷积网络的输出Gout表示为:Gk′=WkGk; A(m)是第m个残差模块中混合跳图卷积网络的邻接矩阵;Gk-1、Gk是该混合跳图卷积网络的第k个图卷积层的输入和输出,G0=Gin,Gin为混合跳图卷积网络的输入,β是超参数,I是单位矩阵,Wk相当于特征选择器,是可学习的参数。
残差模块能够保证在提取较深层次的时空特征时,之前获得的较浅层次的时空特征不会被丢失,同时可以避免梯度消失问题的发生。
所述残差模块数量为三个;三个所述残差模块的混合跳图卷积网络均与图学习网络连接;三个门控空洞卷积网络的输出端各与一跳跃卷积层连接;最后一个残差模块的混合跳图卷积网络的输出端接最后一个跳跃卷积层。时空聚合模块中包含三个残差模块,依次提取数据由浅层次到深层次的时空特征,多个并联的跳跃卷积能够将这些由浅层次到深层次的时空特征都映射到相同的维度,从而聚合都STA的输出中。因此STA模块具有更强的时空学习能力,可以聚合多层次的时空特征。
三个邻接矩阵A(1),A(2),A(3)的计算公式为:和是参数矩阵;m=2,3;其中, W(m-1)∈RL×L是权重矩阵,b(m-1)∈RN×L是偏置,和共享相同的权重矩阵和偏置。图学习网络可以为不同残差模块中的混合跳图卷积网络以数据驱动的方式学习不同的邻接矩阵,反应由浅层次到深层次的图结构。
本发明还包括预测网络;所述预测网络与所述第一时空聚合模块、第二时空聚合模块、第三时空聚合模块的输出端连接;所述预测网络包括两个串联的卷积层。
三个时空聚合模块分别学习邻近的,以日为周期的,以天为周期的三个不同范围数据的时空特征,将三个时空聚合的输出进行自适应融合(即融合了多范围的时空特征);再将融合之后的结果输入预测网络,得到最终的预测结果。
本发明还提供了一种计算机装置,包括存储器、处理器及存储在存储器上的计算机程序;所述处理器执行所述计算机程序,以实现本发明所述方法的步骤。
本发明还提供了一种计算机程序产品,包括计算机程序/指令;该计算机程序/指令被处理器执行时实现本发明所述方法的步骤。
本发明还提供了一种计算机可读存储介质,其上存储有计算机程序/指令;所述计算机程序/指令被处理器执行时实现本发明所述方法的步骤。
与现有技术相比,本发明所具有的有益效果为:
(1)本发明设计了门控空洞卷积网络来学习历史数据时间维度上的依赖关系,由门控机制连接的两个一维空洞卷积组成。其中,超参数扩张率能够控制门控空洞卷积网络的感受野,因此能够在进行较少次数卷积操作的情况下获得较大感受野,从而保持了较少的参数量,并且门控机制能够有效控制信息传递的过程。
(2)本发明设计了由堆叠的图卷积组成的混合跳图卷积网络来学习从局部到全局的空间相关性。其中还采用了混合跳机制来防止经过多次卷积,节点信息聚合到一点。采用了信息选择机制来选择每一跳卷积产生的对预测序列比较重要信息。每个混合跳图卷积网络都学习并聚合了局部到全局的空间特征,即在预测时能够更加充分的利用数据之间的空间相关性。
(3)本发明设计了图学习网络,能够以数据驱动的方式学习由浅层次到深层次的学习图结构,为不同的混合跳图卷积网络提供不同的邻接矩阵。
附图说明
图1表示网络流量数据在空间维度上的复杂特征;
图2表示网络流量数据在时间维度上的复杂特征;
图3为一维空洞卷积接受域随着网络深度变化的示意图;
图4为本发明提出的深度学习模型M2STL的架构;
图5为本发明设计的关键模块STA的结构图;
图6为本发明在STA模块中设计的门控空洞卷积网络的结构图;
图7为本发明在STA模块中设计的混合跳图卷积网络的结构图;
图8为本发明的深度学***均绝对误差(MAE)随着预测间隔的增大的变化趋势;
图9为本发明的深度学***均绝对误差(NMAE)随着预测间隔的增大的变化趋势;
图10为本发明的深度学习模型M2STL与两个最具竞争力的Baselines在Abilene数据上的均方根误差(RMSE)随着预测间隔的增大的变化趋势;
图11为本发明的深度学习模型M2STL与两个最具竞争力的Baselines在Abilene数据上的标准化的均方根误差(NRMSE)随着预测间隔的增大的变化趋势。
具体实施方式
本发明实施例包括如下步骤:
步骤1,根据三维张量模型对采集的网络流量原始数据建模形成原始张量数据,同时进行归一化处理;
步骤2,构建深度学习模型M2STL(多范围多层次时空学习模型),并对模型参数进行初始化。
步骤5,当进行预测时,将所需的历史张量数据输入到训练好的M2STL模型中,就能输出理想的预测张量数据。
步骤1包括:
步骤13,求出这N个网络节点之间在τ时间步内的最大流量值,得到矩阵数据scale∈RN×N;
步骤2包括:
步骤201,在M2STL中设计三个相同的模块STA分别学习邻近的,以日为周期的,以周为周期的历史流量数据的时空特征;
步骤202,在STA模块(时空聚合模块)中首先设计一个输入卷积层,将原始输入映射到高维空间,有利于模块中后续网络结构提取数据的隐藏特征。
步骤203,在STA模块中,设计三个相同的单元,学习数据由浅层到深层的时空特征。
步骤204,在每单元中设计一个由门控连接的两个一维空洞卷积组成的门控空洞卷积网络来捕获时间相关性,如图6所示。其中一维空洞卷积的接受域可以通过膨胀率d进行控制,当d呈指数增长时,接受域也呈指数增长。因此,门控空洞卷积网络能够在保持参数量较小的情况下学习长相关性。图6中的一维空洞卷积1的数学形式可以表示为:
门控空洞卷积网络中的门控机制是通过两个激活函数实现的,能够有效控制信息传递过程,其数学形式可以表示为:
步骤205,在每个单元中,设计一个由多个图卷积堆叠的图卷积构成的混合跳图卷积网络,连接在门控空洞卷积网络之后,来学习从门控空洞卷积网络中提取的信息的空间相关性。本发明在其中设计了混合跳机制来防止当进行多次图卷积时所有的节点信息聚合到一点,即在每一条卷积的输入中都加入一部分原始输入。图卷积的过程可以表示为:
其中有:
在上述公式中,A(m)是STA第m个单元中的混合跳图卷积网络的邻接矩阵。I是单位矩阵,Gk-1、Gk是该混合跳图卷积网络的第k个图卷积的输入和输出,其中G0=Gin是原始输入,β是控制原始状态的保留程度的超参数。
并且,本发明在混合跳图卷积网络中设计了信息选择机制,选择出每一跳卷积提取的重要信息:
Gk′=WkGk
其中,Wk相当于信息选择器,是可学习的。
本发明结合多个图卷积中提取的从局部到全局的空间特征,混合跳图卷积网络的输出为:
其中,K为混合跳图卷积网络中堆叠的图卷积层数。
步骤206,在STA模块设计一个图学习网络为模块中三个单元里的混合跳图卷积网络提供由浅层到深层邻接矩阵A(1),A(2),A(3)。图学习网络的实现主要包括以下两部分:
对于A(1)的计算:本发明使用一种基于高斯核的方法来计算节点之间的两两相似度并初始化:
(2)对二维矩阵进行低秩矩阵分解:
Xa=Xt(Xs)T
为了反映动态网络环境中真实的图结构,本发明使用随机梯度下降(SGD)优化A(1)。为了压缩训练参数,本发明将矩阵A(1)分解为两个小矩阵:
对于A(2),A(3)的计算:跟A(1)一样,A(2),A(3)也被分解成了两个小矩阵:
步骤207,在STA模块中,***跳跃卷积将提取的不同层次的时空信息都聚合到STA的输出中;
步骤208,在STA模块中,***残差连接,将每个单元的输入添加到它的输出中,从而确保在提取较深层次的特征时,之前较浅层次的信息不会丢失。此外,残差连接还可以避免梯度消失问题;
步骤209,设计自适应融合机制学习在不同预测间隔下STAr、STAd、STAw三个模块的影响权重,对三个模块的输出进行融合:
P=Prwr+Pdwd+Pwww
其中wr,wd,ww是训练过程中学习得到的影响权重。
步骤210,最后设计一个由两个标准的1×1的卷积组成预测网络(PredictionNet),将三个模块的融合结果转换到所需要的输出通道大小:
步骤3包括:
步骤4包括:
步骤43,计算误差E对模型参数的偏导,并通过随机梯度下降和反向传播算法对参数(包括三个STA模块中Dilated Conv Net,Mix-hop GCN Net,Graph Learning Net中的训练参数和预测网络中的训练参数)进行更新;
步骤44,重复步骤42-43,当达到训练次数或误差E小于设定阈值0.00001时完成训练,保存此时模型的参数;
本发明提出深度学习模型(M2STL)充分建模历史流量数据多范围多层次的时空关系。首先M2STL包含了三个相同的STA模块,STAr、STAd、STAw,分别学习邻近的、以日为周期、以周为周期的数据的时空特征。其次,在STA模块中设计了几个特别的结构,它们相互配合,共同提取历史网络流量数据中的特征。
如图4所示,M2STL中有三个相同的STA模块和一个预测网络。三个STA模块,即STAr、STAd、STAw分别学习邻近的、以日为周期的和以周为周期的历史数据的时空特征。然后通过自适应融合机制对这三个模块的输出进行融合,并作为预测网络的输入,最终得到预测序列。
如图5所示,每个STA模块由一个输入卷积层,一个图学习网络和图中虚线框所表示的三个单元组成。每个单元包含一个门控空洞卷积网络和一个混合跳图卷积网络,并且剩余连接和跳跃卷积层也穿插其中。
输入卷积层将原始输入映射到高维空间,有利于模块中后续网络结构提取数据的隐藏特征。
在这个单元中,一个混合跳图卷积网络连接在一个门控空洞卷积网络后面。本发明提出基于一维卷积的门控空洞卷积网络来捕获时间相关性。本发明进一步设计了混合跳图卷积网络来提取从门控空洞卷积网络提取出来信息的空间特征。
值得注意的是,本发明在STA模块中用三个单元从浅到深学习时空特征。为了从浅入深地学习图结构,本发明设计了一个图学习网络,它能够以数据驱动的方式,为三个单元的混合跳图卷积网络提供三个不同的邻接矩阵。与目前只能在较浅层学习图结构的图学习方法相反,本发明的图学习网络是多层次的。
为了结合从多层次学习到的时空特征,本发明在每个单元中连接了跳跃卷积层来聚合不同层次的特征作为STA模块的输出。
本发明还在STA模块中设计了一个残差连接,将每个单元的输入融合到其输出中,可以保证在提取更深层次的特征时,不会丢失之前提取的浅层次的信息。此外,残差连接还可以避免梯度消失问题。
本发明提供的基于深度学习的网络流量预测方法,将网络流量数据建模成为张量并进行归一化处理,能够有效为后续深度学习模型中的计算减小负担。本发明提出的M2STL中,设计了门控空洞卷积网络,混合跳图卷积网络图学习网络共同工作,相互配合,来学习网络流量数据之间多范围多层次的时空特征。并且设计了一些有用的机制来使M2STL更加有效和高效,包括门控机制,混合跳机制,自适应特征选择机制,耦合机制,自适应融合机制。
通过在真实数据集上的对比实验验证了本发明提出的深度学***均绝对值误差(MAE),标准化平均绝对值误差(MAE),均方根误差(MRSE),标准化均方根误差(NMRSE)对预测性能进行衡量,并且,这四种指标越小,表明预测性能越好。表1和表2分别表示在Abilene和Geant上的实验结果,从表中可以看出,M2STL的预测性能在所有情况下都要优于其他Baselines。其中,Graph WaveNet,MTGNN是最具竞争力的两种方法,但预测性能仍然不敌本发明的M2STL,图8-11显示了在Abilene数据集上,本发明M2STL,Graph WaveNet,MTGNN三种预测方法的四种指标随着预测间隔h的增大的变化趋势,折线的斜率表示相应指标的增长速率,从图中可以明显的看出,本发明M2STL四种指标的增长速度比Graph WaveNet和MTGNN的都要更小,说明本发明模型的稳定性更好。
表1本发明的深度学习模型M2STL与其他六个Baselines在Abilene数据集上的对比实验结果
表2本发明的深度学习模型M2STL与其他六个Baselines在Geant数据集上的对比实验结果
Claims (6)
1.一种网络流量预测方法,其特征在于,包括以下步骤:
S1、根据三维张量模型对采集的网络流量原始数据建模,形成原始张量数据,对所述原始张量数据进行归一化处理;
S3、将分别作为第一时空聚合模块、第二时空聚合模块、第三时空聚合模块的输入,融合第一时空聚合模块、第二时空聚合模块、第三时空聚合模块的输出;将融合结果输入预测网络得到预测结果,计算预测结果与预测序列真实值之间的误差,根据所述误差调整第一时空聚合模块、第二时空聚合模块、第三时空聚合模块和预测网络的参数,直至训练完成,得到预测模型;其中,所述第一时空聚合模块、第二时空聚合模块、第三时空聚合模块对对应的输入数据进行包括如下过程的处理:提取所述输入数据的时间相关性特征,并提取所述时间相关性特征的空间相关性特征,得到输出;
步骤S1的具体实现过程包括:
3)计算N个网络节点在τ时间步内的最大流量值,得到矩阵数据scale∈RN×N;
步骤S3中,所述第一时空聚合模块、第二时空聚合模块、第三时空聚合模块的结构相同;所述第一时空聚合模块包括:
输入卷积层,输出端与残差模块连接;
至少一个残差模块,当残差模块为多个时,多个所述残差模块串联;第一个残差模块与所述输入卷积层的输出端连接;
图学习网络,输入为对应的历史数据,输出为邻接矩阵,且输出对应与各残差模块连接;
多个并联的跳跃卷积层,第一个跳跃卷积层的输入为对应的历史数据,其余跳跃卷积层对应与各残差模块连接;
融合所述多个跳跃卷积层的输出,得到所述第一时空聚合模块的输出;
所述残差模块包括串联的门控空洞卷积网络和混合跳图卷积网络;
2.根据权利要求1所述的网络流量预测方法,其特征在于,所述残差模块数量为三个;三个所述残差模块的混合跳图卷积网络均与图学习网络连接;三个门控空洞卷积网络的输出端各与一跳跃卷积层连接;最后一个残差模块的混合跳图卷积网络的输出端接最后一个跳跃卷积层。
4.根据权利要求1所述的网络流量预测方法,其特征在于,还包括预测网络;所述预测网络与所述第一时空聚合模块、第二时空聚合模块、第三时空聚合模块的输出端连接;所述预测网络包括两个串联的卷积层。
5.一种计算机装置,包括存储器、处理器及存储在存储器上的计算机程序;其特征在于,所述处理器执行所述计算机程序,以实现权利要求1~4之一所述方法的步骤。
6.一种计算机可读存储介质,其上存储有计算机程序;其特征在于,所述计算机程序被处理器执行时实现权利要求1~4之一所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210105778.3A CN114422382B (zh) | 2022-01-28 | 2022-01-28 | 网络流量预测方法、计算机装置、产品及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210105778.3A CN114422382B (zh) | 2022-01-28 | 2022-01-28 | 网络流量预测方法、计算机装置、产品及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114422382A CN114422382A (zh) | 2022-04-29 |
CN114422382B true CN114422382B (zh) | 2023-02-28 |
Family
ID=81279475
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210105778.3A Active CN114422382B (zh) | 2022-01-28 | 2022-01-28 | 网络流量预测方法、计算机装置、产品及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114422382B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115022191B (zh) * | 2022-05-26 | 2023-10-03 | 电子科技大学 | 一种IPv6网络中端到端流快速反演方法 |
CN114866356B (zh) * | 2022-07-06 | 2022-09-20 | 中国人民解放军国防科技大学 | 基于元学习的策略博弈的行为预测方法和预测器 |
CN115359654B (zh) * | 2022-08-02 | 2023-09-08 | 支付宝(杭州)信息技术有限公司 | 流量预测***的更新方法及装置 |
CN116822382B (zh) * | 2023-08-30 | 2023-11-21 | 中国海洋大学 | 基于时空多重特性图卷积的海表面温度预测方法及网络 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111860951A (zh) * | 2020-06-12 | 2020-10-30 | 北京工业大学 | 一种基于动态超图卷积网络的轨道交通客流预测方法 |
CN113326974A (zh) * | 2021-05-01 | 2021-08-31 | 北京工业大学 | 一种基于多任务超图卷积网络的多源交通流预测方法 |
WO2021174755A1 (zh) * | 2020-03-02 | 2021-09-10 | 北京全路通信信号研究设计院集团有限公司 | 一种基于深度学习的轨道交通客流需求预测方法和装置 |
CN113537580A (zh) * | 2021-06-28 | 2021-10-22 | 中科领航智能科技(苏州)有限公司 | 一种基于自适应图学习的公共交通客流预测方法及*** |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111130839B (zh) * | 2019-11-04 | 2021-07-16 | 清华大学 | 一种流量需求矩阵预测方法及其*** |
IL275018A (en) * | 2020-05-31 | 2021-12-01 | B G Negev Technologies And Applications Ltd At Ben Gurion Univ | A system and method for predicting and handling short-term data overflow |
-
2022
- 2022-01-28 CN CN202210105778.3A patent/CN114422382B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021174755A1 (zh) * | 2020-03-02 | 2021-09-10 | 北京全路通信信号研究设计院集团有限公司 | 一种基于深度学习的轨道交通客流需求预测方法和装置 |
CN111860951A (zh) * | 2020-06-12 | 2020-10-30 | 北京工业大学 | 一种基于动态超图卷积网络的轨道交通客流预测方法 |
CN113326974A (zh) * | 2021-05-01 | 2021-08-31 | 北京工业大学 | 一种基于多任务超图卷积网络的多源交通流预测方法 |
CN113537580A (zh) * | 2021-06-28 | 2021-10-22 | 中科领航智能科技(苏州)有限公司 | 一种基于自适应图学习的公共交通客流预测方法及*** |
Non-Patent Citations (5)
Title |
---|
一种基于序列到序列时空注意力学习的交通流预测模型;杜圣东等;《计算机研究与发展》;20200806(第08期);全文 * |
单时序特征图卷积网络融合预测方法;李昊天等;《计算机与现代化》;20200915(第09期);全文 * |
基于对比预测编码的流处理的流量矩阵填充方法;谢若天;《CNKI》;20210430;全文 * |
基于混合深度学习的地铁站进出客流量短时预测;赵建立等;《交通运输***工程与信息》;20201015(第05期);全文 * |
网络性能数据恢复算法;谢鲲 等;《数据与计算发展前沿》;20200630;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN114422382A (zh) | 2022-04-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114422382B (zh) | 网络流量预测方法、计算机装置、产品及存储介质 | |
CN110119467B (zh) | 一种基于会话的项目推荐方法、装置、设备及存储介质 | |
Sun et al. | Learning structured weight uncertainty in bayesian neural networks | |
CN109948029B (zh) | 基于神经网络自适应的深度哈希图像搜索方法 | |
Wang et al. | Deep learning for real-time crime forecasting and its ternarization | |
CN113053115B (zh) | 一种基于多尺度图卷积网络模型的交通预测方法 | |
Shah et al. | Model compression for communication efficient federated learning | |
US11010658B2 (en) | System and method for learning the structure of deep convolutional neural networks | |
KR20210040248A (ko) | 물질의 생성 구조-특성 역 계산 공동 설계 | |
CN113190688B (zh) | 基于逻辑推理和图卷积的复杂网络链接预测方法及*** | |
US20220383127A1 (en) | Methods and systems for training a graph neural network using supervised contrastive learning | |
CN113780002A (zh) | 基于图表示学习和深度强化学习的知识推理方法及装置 | |
CN112906747A (zh) | 一种基于知识蒸馏的图像分类方法 | |
CN112766603A (zh) | 一种交通流量预测方法、***、计算机设备及存储介质 | |
CN114926770A (zh) | 视频动作识别方法、装置、设备和计算机可读存储介质 | |
CN116844041A (zh) | 一种基于双向卷积时间自注意力机制的耕地提取方法 | |
CN115860215A (zh) | 一种光伏和风电发电功率预测方法及*** | |
Chen et al. | Harsanyinet: Computing accurate shapley values in a single forward propagation | |
Yuan et al. | Multimodal reward shaping for efficient exploration in reinforcement learning | |
CN116402138A (zh) | 一种多粒度历史聚合的时序知识图谱推理方法及*** | |
CN109697511B (zh) | 数据推理方法、装置及计算机设备 | |
CN115544307A (zh) | 基于关联矩阵的有向图数据特征提取与表达方法和*** | |
Pragnesh et al. | Compression of convolution neural network using structured pruning | |
CN117058000B (zh) | 用于图像超分辨率的神经网络架构搜索方法及装置 | |
Ma et al. | Differentiable Network Pruning via Polarization of Probabilistic Channelwise Soft Masks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |