CN115022193A - 一种基于改进ConvLSTM深度学习模型的局域网流量预测方法 - Google Patents
一种基于改进ConvLSTM深度学习模型的局域网流量预测方法 Download PDFInfo
- Publication number
- CN115022193A CN115022193A CN202210561413.1A CN202210561413A CN115022193A CN 115022193 A CN115022193 A CN 115022193A CN 202210561413 A CN202210561413 A CN 202210561413A CN 115022193 A CN115022193 A CN 115022193A
- Authority
- CN
- China
- Prior art keywords
- flow
- module
- convlstm
- model
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000013136 deep learning model Methods 0.000 title claims abstract description 11
- 239000011159 matrix material Substances 0.000 claims abstract description 60
- 238000012549 training Methods 0.000 claims abstract description 11
- 230000006870 function Effects 0.000 claims description 16
- 238000013527 convolutional neural network Methods 0.000 claims description 14
- 230000004913 activation Effects 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 10
- 230000006835 compression Effects 0.000 claims description 9
- 238000007906 compression Methods 0.000 claims description 9
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 230000005284 excitation Effects 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 5
- 238000012935 Averaging Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 230000002123 temporal effect Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 230000003213 activating effect Effects 0.000 claims 1
- 238000004088 simulation Methods 0.000 abstract description 16
- 238000013135 deep learning Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 230000010076 replication Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/147—Network analysis or design for predicting network behaviour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明的公开了一种基于改进ConvLSTM深度学习模型的局域网链路流量预测方法，涉及网络流量预测领域。针对基于传统线性模型和非线性模型的目标网络流量预测方法普遍存在的预测精确度不高、无法同时对目标网络流量空间特征进行预测、无法通过单个模型预测目标网络所有链路流量等问题，本发明提出一种基于改进ConvLSTM深度学习模型的局域网流量预测方法。通过在模型中加入类残差结构模块和基于注意力机制的Squeeze‑and‑Excitation模块以最终达到准确、快速仿真和孪生目标网络链路流量的目的。本发明提高了局域网时空流量矩阵预测的精度，减少了训练迭代次数，提高了计算资源利用率。
Description
技术领域
本发明属于计算机网络流量工程、网络孪生和网络仿真技术领域，特别是涉及一种基于改进ConvLSTM深度学习模型的局域网流量预测方法。
背景技术
网络仿真和网络孪生是当前计算机网络与通信领域的研究热点。除采用软件模拟(simulation)方法外，也可采用网络仿真(emulation)技术，实现对目标网络中节点、链路及拓扑等关键要素的高逼真度复现。例如，采用云计算平台中的虚拟实例(基于传统主机虚拟化技术的虚拟机或基于轻量级虚拟化技术的容器)实现对目标网络节点的仿真或孪生复现、采用云平台底层虚拟链路和虚拟网络实现对目标网络链路和拓扑的仿真或孪生复现。上述网络仿真技术具有仿真逼真度高、灵活可扩展、支持上层协议及应用程序直接部署等优势。
网络仿真和网络孪生不仅需实现对目标网络节点、链路和拓扑的高逼真度复现，更需实现对目标网络中传输流量的实时、准确复现。而实现目标网络中链路流量在仿真网络或孪生网络复现的主要方法包括两种：第一种方法是依据目标网络流量日志的方法。可利用tcpdump等抓包工具完整记录目标网络流量，并将其保存为TraceFile文件，再依据此文件将流量复现在仿真网络或者孪生网络中。此类方法虽能精确复现一段时间内目标网络的流量，但无法达到实时性复现的要求。第二种方法是基于目标网络历史流量数据训练(统计、机器学习、深度学习)模型，通过得到的模型预测目标网络未来流量大小，基于此实现仿真网络或孪生网络中的流量复现。此种方法虽牺牲了一定的流量精度，但能较好地满足网络流量孪生和同步的实时性要求。目前，流量预测方法可分为如下两类：
1)第一类方法：基于线性模型进行网络流量预测；
2)第二类方法：基于非线性模型进行网络流量预测。
一方面，第一类方法包括自回归模型、移动平均模型、自回归合成移动平均模型等。适用于短期内网络节点所产生流量的预测，难以采用方法一构建能够准确预测多个网络节点所产生的复杂业务应用流量的综合模型。另一方面，第二类方法包括小波模型、回归分数整合滑动平均模型以及机器学习领域的支持向量机、人工神经网络模型等，能够对网络流量的自相关性，实现对长期流量的预测，但通常无法实现短期流量预测的高逼真度要求。随着近年来深度学习技术的发展，基于深度神经网络模型实现对目标网络流量进行预测，能够达到较好的精确度，逐渐受到相关研究领域的关注。特别是基于循环神经网络(RNN)模型，长短期记忆(LSTM)网络模型的网络流量预测方法已经能够实现对网络链路流量的准确预测。但是，上述基于深度学习的方法通常仅实现了对目标网络链路时间维度的流量预测，无法捕捉目标网络多条链路的空间特征，且通常无法对目标网络中所有链路流量及其空间联系同时进行预测。
局域网是典型的目标网络中数量最多且流量最为复杂的重要组成部分，因此，在网络仿真和网络孪生应用中，为实现对全网流量准确、实时复现，需进一步研究基于深度学习的局域网流量精准预测理论方法和实现技术，以有效提升局域网仿真和孪生的逼真度。
发明内容
针对基于传统线性模型和非线性模型的目标网络流量预测方法普遍存在的预测精确度不高、无法同时对目标网络流量空间特征进行预测、无法通过单个模型预测目标网络所有链路流量等问题，本发明提出一种基于改进ConvLSTM深度学习模型的局域网流量预测方法。通过在模型中加入类残差结构模块(下文简称RES模板)和基于注意力机制的Squeeze-and-Excitation模块(下文简称SE模块)以最终达到准确、快速仿真和孪生目标网络链路流量的目的。
本发明的技术方案是这样实现的：一种基于改进ConvLSTM深度学习模型的局域网链路流量预测方法，首先设定目标局域网有N个三层节点，其中包括Nc个客户机节点，Ns个服务器节点和Nr个路由器节点；该方法包括以下步骤：
步骤1：采集局域网流量矩阵序列，并对初始矩阵序列做等间距平均；
步骤1.1：采集目标网络所有链路的流量，每秒对到达N个采样节点的出入流量进行统计，得到t时刻的流量数据：
其中：
Dt∈RN×N
元素
表示t时刻i节点发往j节点的流量大小，T表示采样总时刻；
步骤1.2：采集K天的数据，由于局域网流量数据的波动性，对采集数据进行在间隔SS内平均，则可知流量序列长度T＝(24×60×60×K)/SS；
步骤2：目标网络流量矩阵转换，将N×N的点对点流量矩阵重塑成服务器节点对用户节点的M×N的模式流量矩阵；其中M是用户与服务器传输数据的上下行链路数目，即对于Nc个客户机节点，Ns个服务器节点和Nr个路由器节点，M＝(Ns+Nr)×2；转换后流量矩阵如下：
其中：
步骤3：对步骤2得到的转换后流量矩阵进行归一化，归一化后加快了梯度下降求最优解的速度，提高预测精度；归一化公式表示为：
其中：dmax和dmin表示D′t所有时刻的最大值和最小值，
表示归一化后的值，归一化后的流量矩阵表示为D* t；
步骤4：为防止模型过拟合，损失函数Loss定义为预测的流量矩阵与实际流量矩阵的均方误差加上ε倍的流量矩阵预测每个元素的预测误差的均方差，为：
其中，ε为可调超参数，
是流量矩阵D* t中真实值
的预测值；
步骤5：以步骤2得到的模式流量矩阵序列，利用SE-ConvLSTM-Res模型进行时间特征与空间特征信息的提取，SE-ConvLSTM-Res模型包括：Res模块、SE模块和ConvLSTM模块；
步骤5.1：Res模块运算具体流程为：
步骤5.1.1：对流量矩阵D* t进行拆分：
其中
的元素
n表示拆分后的元素矩阵总个数；
步骤5.1.2：对
的元素分别与卷积核为2x2的卷积神经网络进行特征提取之后再合并，最后与SE模块的输出相加，过程为：
其中，ORES为Res模块的输出，ε为可调参数，ωk表示卷积神经网络第k层的权重，bk表示卷积神经网络的偏差系数；
步骤5.2：所述SE模块主要由压缩运算与激励运算组成，具体流程为：
步骤5.2.1：压缩运算是由全局平均池化实现，全局平均池化将空间特征进行整体平均压缩为一个全局特征，但保留其通道的信息即时间特征：
其中z∈RC，C表示通道，z为得到的整个时间序列，
为到第j个节点的第i条链路的元素；
步骤5.2.2：激励运算是为了捕捉通道之间的非线性关系；通过激活函数与全连接层实现，经过两个全连接层的降维与升维，利用sigmoid的门机制将捕获的通道信息映射到(0,1)之间：
s＝σ(ω2⊙ReLU(ω1⊙z))
其中，s表示通道间的门激活值，ω1为全连接FC1层的权重，ω2为全连接FC2层的权重，σ为sigmoid激活函数，ReLU为激活函数；
最后将学习到的通道间的门激活值，与xc相乘，得到SE模块的输出为时间通道权重OSE，xc为通道的矩阵元素，X为流量矩阵序列：
OSE＝X⊙s；
步骤5.3：所述ConvLSTM模块具体流程为：
步骤5.3.1：ConvLSTM在LSTM的基础上把全连接改进为卷积神经网络，即模型的输入Xt与前一时刻单元状态的ht合并经过卷积神经网络模块，作为了SE模块的输入；
其中，ω表示卷积神经网络全连接层的权重集合；
步骤5.3.2：将SE模块的输出与Res模块的输出叠加后作为LSTM部分的输入，即输入ORES+OSE；
步骤5.3.3：ConvLSTM模块的LSTM部分依次进行如下计算：
ft＝Sigmoid(Conv(xt；ωxf)+Conv(ht-1；ωhf)+bf) (4)
it＝Sigmoid(Conv(xt；ωxi)+Conv(ht-1；ωhi)+bi) (5)
ot＝Sigmoid(Conv(xt；ωxo)+Conv(ht-1；ωho)+bo) (6)
gt＝Tanh(Conv(xt；ωxg)+Conv(ht-1；ωhg)+bg) (7)
ct＝ft⊙ct-1+it⊙gt (8)
ht＝ot⊙Tanh(ct) (9)
其中，xt为ConvLSTM模块中LSTM部分对应计算过程的输入元素，且xt＝ORES+OSE；
ωxf、ωhf、ωxi、ωhi、ωxo、ωho、ωxg、ωhg为卷积计算过程的卷积层对应的权重，bf、bi、bo、bg为神经网络的偏差系数，Ct-1与ht-1为所属计算过程上一时刻模型的状态值；
最后将ct和ht作为全连接层的输入，全连接层输出为目标矩阵；采用步骤3得到的数据对所述SE-ConvLSTM-Res模型进行训练，采用训练好的SE-ConvLSTM-Res模型进行流量预测。
本发明的有益效果：本发明为解决网络仿真和网络孪生领域中目标局域网流量准确、高效预测的问题，提出了如下几种方法：
1.将深度学习方法应用于解决目标局域网流量预测问题。并基于局域网流量的独有特性，将原始流量矩阵数据结构简化成基于服务器上下行链路的数据结构；
2.将流量矩阵内的损失值的方差加入了损失函数，有效防止深度学习模型过拟合。
3.基于深度学习SE模块与残差的概念，提出了SE-ConvLSTM-Res增强模型，该增强模型在时间维度上，能更好地把握每个时刻的敏感度。在空间维度上，能更快地学习到局域网的流量特性。
本发明提高了局域网时空流量矩阵预测的精度，减少了训练迭代次数，提高了计算资源利用率。
附图说明
图1为本发明的SE-ConvLSTM-Res深度学习模型结构图；
图2为本发明的局域网流量矩阵预测方法的操作流程图。
具体实施例
为详细说明本发明公开的技术方案，下面结合说明书附图和具体实施例对本发明作进一步的详细说明：
为解决局域网流量矩阵高精度预测问题，本发明提供了一种基于深度学习的局域网流量预测的方法。本发明提供的方法针对局域网的特性，将原始数据结构简化成更利于深度学习的数据结构。为防止流量矩阵内各节点流量预测的误差差别过大，将流量矩阵内的损失值的方差加入了损失函数，防止深度学习模型过拟合。本发明在ConvLSTM的基础上加入了SE与Res模块，提出了SE-ConvLSTM-Res改进模型，该模型能更快的捕获局域网流量矩阵时间与空间特性，提高模型训练速度，并具有一定的预测精度提升。最终有利于实现局域网流量在孪生网络中的实时同步与精确复现。
第一步：采集局域网流量矩阵(Traffic Matrix)序列，并对初始矩阵序列做等间距平均：
(1.1)采集目标网络所有链路的流量，每秒对到达N个采样节点的出入流量进行统计，得到t时刻的流量数据：
其中：
Dt∈RN×N
元素
表示t时刻i节点发往j节点的流量大小。
(1.2)假设采集k天的数据。由于局域网流量数据的波动性，对采集数据进行在很小的间隔SS.内平均，则可知流量序列长度T＝(24×60×60×K)/SS
对于(1.1)局域网中用户访问不同的服务器，会有产生不同的流量模型，如访问web服务器，产生的流量具有突发性，为尽量采集到web服务器的流量特性，节点的数据采样时间需要尽可能短。对于(1.2)，由于局域网流量数据具有较大的波动性，波动性较大的数据会降低模型的预测精度，所以对(1.1)得到的采样数据做等m间隔采样，增加数据平稳性。
第二步：设局域网中有N个三层节点，其中包括Nc个客户机节点，Ns个服务器节点和Nr个路由器节点。其中局域网端到端的流量可分为两部分，用户与用户间的流量，与用户与服务器间的流量：
D(t)＝Dc(t)+Ds(t)
用户与用户间的流量可表示为：
用户与服务器间的流量由用户到服务器的流量与服务器到用户的流量组成，即服务器的上行流量与服务器下行流量组成，可表示为：
因为局域网中Dc(t)很小，而Ds(t)较大。空间上Dc(t)与Ds(t)大小差别悬殊，影响模型卷积提取特征准确度。且Ds(t)中Dcs(t)与Dsc(t)有部分重复，结构上互为转置关系。于是对局域网网络流量矩阵结构重塑，将N×N的点对点流量矩阵重塑成服务器节点对用户节点的M×N的模式流量矩阵。其中M是用户与服务器传输数据的的上下行链路数目，其中M＝(Ns+Nr)×2。转换后的流量矩阵如下：
其中：
第三步：对流量矩阵序列进行归一化，数据归一化后加快了梯度下降求最优解的速度，提高模型精度；本发明使用最大最小标准化进行归一化，公式可表示为：
第四步：确定损失函数，模型训练过程中在M×N的空间上可能过度训练某
点，而忽略空间其他点的训练，导致虽然整体的流量矩阵误差MSE仍然处于下降趋势，但整体预测精度下降。为防止模型过拟合，空间整体预测精度同步提升，本发明训练损失函数定义为预测的流量矩阵与实际流量矩阵的均方误差MSE加上ε倍的流量矩阵预测每个元素的预测误差的均方差。即损失函数为：
其中ε为可调超参数，
是流量矩阵D* t中真实值
的预测值。
第五步：以第二步得到的模式流量矩阵序列，利用SE-ConvLSTM-Res模型进行时间特征与空间特征信息的提取。SE-ConvLSTM-Res模型介绍：
(5.1)ConvLSTM模型(Convolutional LSTM Network)是基于长短期记忆神经网络的改进模型，ConvLSTM在长短期记忆神经网络LSTM模型的基础上，将输入与权值的全连接改进为卷积。原本LSTM模型的一维序列改进为输入可以为二维的图片。原本LSTM模型只能提取时间特征信息，而ConvLSTM由于加入卷积，可以同时提取时间与空间特征信息。适用于局域网流量矩阵预测的场景。
(5.2)由于局域网中不同服务器的流量模式相差很大，如文件服务器，web服务器，音视频服务器与用户间的流量模式差别很大，音视频服务器流量模式在时间上具有持续性，web服务器的流量模式时间上具有突发性，且产生的流量大小普遍较音视频小，文件服务器流量模式具有时间上持续性，空间上具有较强的相关性，产生的流量大小较大。直接将ConvLSTM用于局域网的流量预测，在训练模型时，由于整体卷积的特性，会导致预测出的流量矩阵中混杂其他服务器的干扰信息，从而增加了模型训练的时间成本。
本发明基于ConvLSTM模型进行改进，引入类似ResNet的模块(Deep residualnetwork)与SE模块(Squeeze and Excitation Block)的概念，得到SE-ConvLSTM-Res模型。SE模块是一种轻量级模块，利用注意力机制，对ConvLSTM-Res的输出通道信息进行筛选，提升模型对通道特征的敏感性，重要通道的特征强化，非重要通道的特征弱化。引入的类似于Res的模型将输入信息Xt的单个服务器的信息分离用2x2大小的卷积核卷积层进行特征的单独提取。提取后，再将各服务器的特征信息合并。最后ConvLSTM的卷积的输出加上了γ倍的服务器特征信息合并后的输出作为单元内的输入。SE-ConvLSTM-Res模型结构图见附图1所示，其中SE模块基于注意力机制在时间序列上对敏感时刻的通道信息增强，对不敏感时刻的通道信息减弱。而Res模块在空间上使不同的服务器之间的空间信息的交叉减弱，对单一服务器的空间信息增强。使模型的训练速度加快，预测的损失减少。
SE-ConvLSTM-Res模型流程介绍：
改进模型RES模块运算具体流程为：
(1.1)拆分输入流量矩阵
成服务器流量矩阵集合
其中
的元素
(1.2)对
的元素分别与卷积核为2x2的卷积神经网络进行特征提取之后再合并，最后与SE模块的输出相加，过程为：
改进模型SE模块主要由压缩运算与激励运算组成运算，具体流程为：
(1.1)压缩运算是由全局平均池化(global average pooling)实现，全局平均池化将空间特征进行整体平均压缩为一个全局特征，但保留其通道的信息即时间特征：
其中z∈RC，C表示通道，z代表整个时间序列。
(1.2)激励运算是为了捕捉通道之间的非线性关系。通过激活函数与全连接层实现。激活函数包括ReLU与sigmoid函数。经过两个全连接层的降维与升维，利用sigmoid的门机制将捕获的通道信息映射到(0,1)之间：
s＝σ(ω2⊙ReLU(ω1⊙z))
其中
为全连接FC1层的权重，
为全连接FC2层的权重。σ为sigmoid激活函数。
最后将学习到的通道间的门激活值，与xc相乘，可以达到调整时间通道权重的作用：
OSE＝X⊙s
ConvLSTM模块具体执行流程：
(1.1)ConvLSTM在LSTM的基础上把全连接改进为卷积神经网络，即输入Xt与前一时刻单元状态的ht合并经过卷积神经网络模块，作为了SE模块的输入，公式为：
ISE＝Conv([Xt,ht]；ω)
(1.2)将SE模块的输出与Res模块的输出叠加作为LSTM部分的输入，即输入ORES+OSE(1.3)ConvLSTM的LSTM部分由进行如下计算：
ft＝Sigmoid(Conv(xt；ωxf)+Conv(ht-1；ωhf)+bf) (4)
it＝Sigmoid(Conv(xt；ωxi)+Conv(ht-1；ωhi)+bi) (5)
ot＝Sigmoid(Conv(xt；ωxo)+Conv(ht-1；ωho)+bo) (6)
gt＝Tanh(Conv(xt；ωxg)+Conv(ht-1；ωhg)+bg) (7)
ct＝ft⊙ct-1+it⊙gt (8)
ht＝ot⊙Tanh(ct) (9)
其中b为偏差，Ct-1与Ht-1代表上一时刻模型的状态值。
第六步：为了使得到的输出的结构与预期的一致，使SE-ConvLSTM-Res模型的输出最后经过全连接层。
实验中设置输入维度为20，输出隐藏维度为16。SE-ConvLSTM-Res模型中的ConvLSTM部分的卷积核大小为3x3。，Res模块输出权重ε设为1，学习率为10-3，衰减率gamma为0.9。
Claims (1)
1.一种基于改进ConvLSTM深度学习模型的局域网链路流量预测方法，首先设定目标局域网有N个三层节点，其中包括Nc个客户机节点，Ns个服务器节点和Nr个路由器节点；该方法包括以下步骤：
步骤1：采集局域网流量矩阵序列，并对初始矩阵序列做等间距平均；
步骤1.1：采集目标网络所有链路的流量，每秒对到达N个采样节点的出入流量进行统计，得到t时刻的流量数据：
其中：
Dt∈RN×N
元素
表示t时刻i节点发往j节点的流量大小，T表示采样总时刻；
步骤1.2：采集K天的数据，由于局域网流量数据的波动性，对采集数据进行在间隔SS内平均，则可知流量序列长度T＝(24×60×60×K)/SS；
步骤2：目标网络流量矩阵转换，将N×N的点对点流量矩阵重塑成服务器节点对用户节点的M×N的模式流量矩阵；其中M是用户与服务器传输数据的上下行链路数目，即对于Nc个客户机节点，Ns个服务器节点和Nr个路由器节点，M＝(Ns+Nr)×2；转换后流量矩阵如下：
其中：
步骤3：对步骤2得到的转换后流量矩阵进行归一化，归一化后加快了梯度下降求最优解的速度，提高预测精度；归一化公式表示为：
其中：dmax和dmin表示D′t所有时刻的最大值和最小值，
表示归一化后的值，归一化后的流量矩阵表示为D* t；
步骤4：为防止模型过拟合，损失函数Loss定义为预测的流量矩阵与实际流量矩阵的均方误差加上ε倍的流量矩阵预测每个元素的预测误差的均方差，为：
其中，ε为可调超参数，
是流量矩阵D* t中真实值
的预测值；
步骤5：以步骤2得到的模式流量矩阵序列，利用SE-ConvLSTM-Res模型进行时间特征与空间特征信息的提取，SE-ConvLSTM-Res模型包括：Res模块、SE模块和ConvLSTM模块；
步骤5.1：Res模块运算具体流程为：
步骤5.1.1：对流量矩阵D* t进行拆分：
其中
的元素
n表示拆分后的元素矩阵总个数；
步骤5.1.2：对
的元素分别与卷积核为2x2的卷积神经网络进行特征提取之后再合并，最后与SE模块的输出相加，过程为：
其中，ORES为Res模块的输出，ε为可调参数，ωk表示卷积神经网络第k层的权重，bk表示卷积神经网络的偏差系数；
步骤5.2：所述SE模块主要由压缩运算与激励运算组成，具体流程为：
步骤5.2.1：压缩运算是由全局平均池化实现，全局平均池化将空间特征进行整体平均压缩为一个全局特征，但保留其通道的信息即时间特征：
其中z∈RC，C表示通道，z为得到的整个时间序列，
为到第j个节点的第i条链路的元素；
步骤5.2.2：激励运算是为了捕捉通道之间的非线性关系；通过激活函数与全连接层实现，经过两个全连接层的降维与升维，利用sigmoid的门机制将捕获的通道信息映射到(0,1)之间：
s＝σ(ω2⊙ReLU(ω1⊙z))
其中，s表示通道间的门激活值，ω1为全连接FC1层的权重，ω2为全连接FC2层的权重，σ为sigmoid激活函数，ReLU为激活函数；
最后将学习到的通道间的门激活值，与xc相乘，得到SE模块的输出为时间通道权重OSE，xc为通道的矩阵元素，X为流量矩阵序列：
OSE＝X⊙s；
步骤5.3：所述ConvLSTM模块具体流程为：
步骤5.3.1：ConvLSTM在LSTM的基础上把全连接改进为卷积神经网络，即模型的输入Xt与前一时刻单元状态的ht合并经过卷积神经网络模块，作为了SE模块的输入；
其中，ω表示卷积神经网络全连接层的权重集合；
步骤5.3.2：将SE模块的输出与Res模块的输出叠加后作为LSTM部分的输入，即输入ORES+OSE；
步骤5.3.3：ConvLSTM模块的LSTM部分依次进行如下计算：
ft＝Sigmoid(Conv(xt；ωxf)+Conv(ht-1；ωhf)+bf) (4)
it＝Sigmoid(Conv(xt；ωxi)+Conv(ht-1；ωhi)+bi) (5)
ot＝Sigmoid(Conv(xt；ωxo)+Conv(ht-1；ωho)+bo) (6)
gt＝Tanh(Conv(xt；ωxg)+Conv(ht-1；ωhg)+bg) (7)
ct＝ft⊙ct-1+it⊙gt (8)
ht＝ot⊙Tanh(ct) (9)
其中，xt为ConvLSTM模块中LSTM部分对应计算过程的输入元素，且xt＝ORES+OSE；
ωxf、ωhf、ωxi、ωhi、ωxo、ωho、ωxg、ωhg为卷积计算过程的卷积层对应的权重，bf、bi、bo、bg为神经网络的偏差系数，Ct-1与ht-1为所属计算过程上一时刻模型的状态值；
最后将ct和ht作为全连接层的输入，全连接层输出为目标矩阵；采用步骤3得到的数据对所述SE-ConvLSTM-Res模型进行训练，采用训练好的SE-ConvLSTM-Res模型进行流量预测。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210561413.1A CN115022193B (zh) | 2022-05-23 | 2022-05-23 | 一种基于深度学习模型的局域网流量预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210561413.1A CN115022193B (zh) | 2022-05-23 | 2022-05-23 | 一种基于深度学习模型的局域网流量预测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115022193A true CN115022193A (zh) | 2022-09-06 |
| CN115022193B CN115022193B (zh) | 2024-02-02 |
Family
ID=83068177
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210561413.1A Active CN115022193B (zh) | 2022-05-23 | 2022-05-23 | 一种基于深度学习模型的局域网流量预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115022193B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115187154A (zh) * | 2022-09-14 | 2022-10-14 | 华中科技大学 | 一种基于神经网络的区域电网振荡源风险预测方法及*** |
| CN115426201A (zh) * | 2022-11-03 | 2022-12-02 | 湖南大佳数据科技有限公司 | 一种面向网络靶场的数据采集方法和*** |
| CN116319378A (zh) * | 2023-05-16 | 2023-06-23 | 合肥工业大学 | 基于深度学习的网络流量矩阵估计、模型训练方法和*** |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110851782A (zh) * | 2019-11-12 | 2020-02-28 | 南京邮电大学 | 一种基于轻量级时空深度学习模型的网络流量预测方法 |
| CN112291808A (zh) * | 2020-11-02 | 2021-01-29 | 东南大学 | 基于深度学习的区域网络流量预测方法 |
| CN112508173A (zh) * | 2020-12-02 | 2021-03-16 | 中南大学 | 交通时空序列多步预测方法、***及存储介质 |
| CN112669606A (zh) * | 2020-12-24 | 2021-04-16 | 西安电子科技大学 | 利用动态时空图训练卷积神经网络的交通流预测方法 |
| US20210133569A1 (en) * | 2019-11-04 | 2021-05-06 | Tsinghua University | Methods, computing devices, and storage media for predicting traffic matrix |
| CN112910711A (zh) * | 2021-02-03 | 2021-06-04 | 山东大学 | 一种基于自注意力卷积网络的无线业务流量预测方法、设备及介质 |
| WO2021186158A1 (en) * | 2020-03-17 | 2021-09-23 | The University Court Of The University Of Edinburgh | A distributed network traffic data decomposition method |
-
2022
- 2022-05-23 CN CN202210561413.1A patent/CN115022193B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210133569A1 (en) * | 2019-11-04 | 2021-05-06 | Tsinghua University | Methods, computing devices, and storage media for predicting traffic matrix |
| CN110851782A (zh) * | 2019-11-12 | 2020-02-28 | 南京邮电大学 | 一种基于轻量级时空深度学习模型的网络流量预测方法 |
| WO2021186158A1 (en) * | 2020-03-17 | 2021-09-23 | The University Court Of The University Of Edinburgh | A distributed network traffic data decomposition method |
| CN112291808A (zh) * | 2020-11-02 | 2021-01-29 | 东南大学 | 基于深度学习的区域网络流量预测方法 |
| CN112508173A (zh) * | 2020-12-02 | 2021-03-16 | 中南大学 | 交通时空序列多步预测方法、***及存储介质 |
| CN112669606A (zh) * | 2020-12-24 | 2021-04-16 | 西安电子科技大学 | 利用动态时空图训练卷积神经网络的交通流预测方法 |
| CN112910711A (zh) * | 2021-02-03 | 2021-06-04 | 山东大学 | 一种基于自注意力卷积网络的无线业务流量预测方法、设备及介质 |
Non-Patent Citations (3)
| Title |
|---|
| JUNYU LAI: "Deep Learning Based Traffic Prediction Method for Digital Twin Network", 《SPRINGER》 * |
| 吴雨聪: "基于神经网络的网络流量预测研究", 《硕士电子期刊》 * |
| 郭佳;余永斌;杨晨阳;: "基于全注意力机制的多步网络流量预测", 信号处理, no. 05 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115187154A (zh) * | 2022-09-14 | 2022-10-14 | 华中科技大学 | 一种基于神经网络的区域电网振荡源风险预测方法及*** |
| CN115187154B (zh) * | 2022-09-14 | 2022-12-16 | 华中科技大学 | 一种基于神经网络的区域电网振荡源风险预测方法及*** |
| CN115426201A (zh) * | 2022-11-03 | 2022-12-02 | 湖南大佳数据科技有限公司 | 一种面向网络靶场的数据采集方法和*** |
| CN115426201B (zh) * | 2022-11-03 | 2023-01-17 | 湖南大佳数据科技有限公司 | 一种面向网络靶场的数据采集方法和*** |
| CN116319378A (zh) * | 2023-05-16 | 2023-06-23 | 合肥工业大学 | 基于深度学习的网络流量矩阵估计、模型训练方法和*** |
| CN116319378B (zh) * | 2023-05-16 | 2023-07-21 | 合肥工业大学 | 基于深度学习的网络流量矩阵估计、模型训练方法和*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115022193B (zh) | 2024-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115022193B (zh) | 一种基于深度学习模型的局域网流量预测方法 | |
| Huang et al. | A generalized growing and pruning RBF (GGAP-RBF) neural network for function approximation | |
| CN110851782A (zh) | 一种基于轻量级时空深度学习模型的网络流量预测方法 | |
| WO2021036414A1 (zh) | 一种低轨移动卫星星座下星地下行链路同频干扰预测方法 | |
| CN112491442B (zh) | 一种自干扰消除方法及装置 | |
| CN114091667A (zh) | 一种面向非独立同分布数据的联邦互学习模型训练方法 | |
| CN114528987A (zh) | 一种神经网络边缘-云协同计算分割部署方法 | |
| CN115858675A (zh) | 基于联邦学习框架的非独立同分布数据处理方法 | |
| CN114611798A (zh) | 一种基于动态超图卷积神经网络的od客流预测方法 | |
| CN114124734B (zh) | 一种基于GCN-Transformer集成模型的网络流量预测方法 | |
| Zhang et al. | Traffic estimation based on long short-term memory neural network for mobile front-haul with XG-PON | |
| CN114626550A (zh) | 分布式模型协同训练方法和*** | |
| CN116996401A (zh) | 一种基于时空增强循环神经网络的流量预测方法 | |
| CN116170066B (zh) | 一种面向低轨卫星物联网的负载预测方法 | |
| Nakip et al. | Subspace-based emulation of the relationship between forecasting error and network performance in joint forecasting-scheduling for the Internet of Things | |
| CN117746172A (zh) | 基于域差异感知蒸馏的异构模型聚合方法及*** | |
| CN114510872A (zh) | 基于自注意力机制dlstm的云服务器老化预测方法 | |
| CN114595816A (zh) | 一种基于边缘计算的神经网络模型训练方法 | |
| CN104955059B (zh) | 基于贝叶斯网络的蜂窝网基站状态时变模型建立方法 | |
| CN113297540A (zh) | 在边缘物联代理服务下的app资源需求预测方法、装置及*** | |
| CN114662658A (zh) | 一种基于lstm神经网络的片上光网络热点预测方法 | |
| CN113033695A (zh) | 一种电子器件故障的预测方法 | |
| Zhang et al. | Network traffic classification method based on subspace triple attention mechanism | |
| Gkillas et al. | Deep equilibrium models meet federated learning | |
| CN118042018B (zh) | 一种基于stsgcn的智能多路径数据调度方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |