CN112291808A - 基于深度学习的区域网络流量预测方法 - Google Patents
基于深度学习的区域网络流量预测方法 Download PDFInfo
- Publication number
- CN112291808A CN112291808A CN202011201026.4A CN202011201026A CN112291808A CN 112291808 A CN112291808 A CN 112291808A CN 202011201026 A CN202011201026 A CN 202011201026A CN 112291808 A CN112291808 A CN 112291808A
- Authority
- CN
- China
- Prior art keywords
- flow
- sequence
- time
- matrix
- dimension
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000013135 deep learning Methods 0.000 title claims abstract description 19
- 239000011159 matrix material Substances 0.000 claims abstract description 78
- 238000000605 extraction Methods 0.000 claims abstract description 18
- 230000002123 temporal effect Effects 0.000 claims abstract description 16
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 14
- 230000007246 mechanism Effects 0.000 claims abstract description 11
- 230000000737 periodic effect Effects 0.000 claims abstract description 11
- 230000004913 activation Effects 0.000 claims description 27
- 230000006870 function Effects 0.000 claims description 24
- 238000011176 pooling Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 12
- 238000004088 simulation Methods 0.000 claims description 9
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 6
- 230000006835 compression Effects 0.000 claims description 5
- 238000007906 compression Methods 0.000 claims description 5
- 230000005284 excitation Effects 0.000 claims description 5
- 238000003062 neural network model Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 5
- 230000015654 memory Effects 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 238000007499 fusion processing Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000011282 treatment Methods 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims description 2
- 238000012935 Averaging Methods 0.000 claims 1
- 230000009286 beneficial effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W24/00—Supervisory, monitoring or testing arrangements
- H04W24/06—Testing, supervising or monitoring using simulated traffic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/147—Network analysis or design for predicting network behaviour
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W28/00—Network traffic management; Network resource management
- H04W28/16—Central resource management; Negotiation of resources or communication parameters, e.g. negotiating bandwidth or QoS [Quality of Service]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明的一种基于深度学习的区域网络流量预测方法为:1.获取区域网络流量序列,统计其在每个时刻使用的流量值:2.根据区域流量序列的空间相关性以及时间相关性,抽取对应特性的流量矩阵序列作为深度学习预测模型的输入;其中时间相关性包括包括紧密性、周期性、趋势性:3.对于步骤2得到的三个输入流量矩阵序列,分别用3D卷积神经网络和ConvLSTM进行时间和空间相关性的提取;4.融合三个流量矩阵序列各自由3D卷积和ConvLSTM提取的特征,基于注意力机制进行最终的流量预测;本发明通过时间序列抽取的方法在有限的输入长度下涵盖了流量序列的周期变化特性,以较高的准确率预测下一时刻的区域网络流量值,有利于无线资源的合理分配,提高资源利用率。
Description
技术领域
本发明属于无线通信技术领域,具体涉及一种基于深度学习的区域网络流量预测方法。
背景技术
近年来,随着第五代(5G)移动通信技术的飞速发展,诸如AR(Augmented Reality,增强现实)/VR(Virtual Reality,虚拟现实),高清视频,自动驾驶等创新业务的应用,使得用户对网络流量的需求激增。为了满足这些业务严格的性能需求,精确的流量工程以及网络资源分配变得极为重要。因此基于大数据对移动流量进行预测和理解是实现无线资源智能分配,提高无线资源利用率的重要手段。现有的对区域流量预测的方法较多为单一的时间序列模型,没有考虑区域流量预测中的空间相关性,并且在有限的输入流量序列中没有涵盖流量的周期变化性,导致预测的准确度较低。本发明基于深度学习来提取流量序列的时间和空间相关性,通过流量序列分解来涵盖周期变化特性以提高预测的准确性。
发明内容
技术问题:为了解决上述问题,本发明提出一种基于深度学习的区域网络流量预测方法。针对区域流量中的时间相关性和空间相关性,采用3D卷积神经网络(ConvolutionNeural Network,CNN)和卷积长短期记忆网络(Convolution Long Short Term MemoryNetwork,ConvLSTM)来进行时空相关性的特征提取。根据流量序列具有的紧密性、周期性、趋势性,抽取对应时刻的流量矩阵,使得神经网络预测模型在有限的输入流量序列长度上能够学习区域流量的周期变化特性。最后将不同部分的流量序列提取到的特征进行融合,得到最终的区域网络流量预测结果,可以有效提高区域网络流量预测的准确性。
技术方案:本发明的一种基于深度学习的区域网络流量预测方法包括如下步骤:
步骤1:获取区域网络流量序列,统计其在每个时刻使用的流量值:
步骤2:根据区域流量序列的空间相关性以及时间相关性,抽取对应特性的流量矩阵序列作为深度学习预测模型的输入;其中时间相关性包括包括紧密性、周期性、趋势性:
(2.1)空间相关流量矩阵序列的获得:任一坐标为(x,y)区域的流量值不仅与该区域过去时刻的流量值相关,还与附近r个区域的流量值也存在相关,即区域流量之间存在空间相关性,其中r的取值与模型复杂度和预测精度有关,可根据预测需求确定;为预测t+1时刻区域(x,y)的流量值将t=1,2,3…时刻目标区域(x,y)的流量值与其周围共(2r+1)×(2r+1)个区域的流量一起,得到空间相关性流量矩阵序列其中任一时刻t的流量矩阵如下
(2.2)不同时间相关特性流量矩阵序列的获得:为了预测t+1时刻区域(x,y)的流量值可利用时间序列的相关性,包括紧密性、周期性、趋势性,抽取对应特性的流量矩阵作为输入,得到三个输入流量矩阵序列,即紧密性流量矩阵序列、周期性流量矩阵序列、趋势性流量矩阵序列;
步骤3:对于步骤2得到的三个输入流量矩阵序列,分别用3D卷积神经网络和卷积长短期记忆人工神经网络ConvLSTM进行时间和空间相关性的提取;
由于3D卷积的卷积核在2D卷积的基础上增加了时间维度,因此能在卷积的过程中同时提取空间和时间相关性;而ConvLSTM在能提取时间相关性的长短期记忆人工神经网络LSTM模块的基础上将全连接层改为了卷积运算,即加入了空间相关性的提取;
步骤4:融合三个流量矩阵序列各自由3D卷积和ConvLSTM提取的特征,基于注意力机制进行最终的流量预测;
(4.1)三个流量矩阵序列各自由3D卷积和ConvLSTM提取的特征在时间维度进行合并,通过一层1×1卷积融合各个通道的信息,输出融合后的时空特征,记为U,其中H和W表示空间维度大小,C表示时间维度大小;
(4.2)对该特征U通过SE模块(Squeeze and Excitation Block),以时间维度的注意力机制对特征的重要性进行自适应选择,具体过程如下:
即通过全局平均池化得到全局的空间信息,其中Zc是输出特征Z在时间维度的切片,即Z={Z1,Z2,…ZC},Uc是输出特征U在时间维度的切片,即U={U1,U2,…UC};
其中δ表示激活函数,用Relu激活函数。
所述获取区域网络流量序列具体为:
(1.1)将网络覆盖面积划分成N×M个1km×1km的网格区域,N、M为自然数,记左上角区域坐标为(0,0),右下角区域坐标为(N-1,M-1);对每个区域内的所有用户网络流量值以时间间隔T分钟进行采样,并求和得到每个区域对应的区域流量序列
其中μ表示区域(x,y)历史流量的平均值,σ表示区域(x,y)历史流量的标准差,ε为常数。
所述紧密性流量矩阵序列:紧密性表示t+1时刻的流量值受最近lc个时刻流量值的影响,因此抽取的紧密性流量矩阵序列为
其中lc表示抽取的紧密性流量矩阵序列长度,其取值可以根据模型复杂度以及精度,由仿真择优确定;
周期性流量矩阵序列:周期性表示流量序列存在以天为周期的重复变化特性,因此抽取的流量矩阵序列可以表示为
其中lp表示抽取的流量序列的长度,其取值可以根据模型复杂度以及精度,由仿真择优确定,p表示相邻流量矩阵的时间间隔,此处用一天的间隔来表示周期性,因此,p=1440/T,1440表示一天共1440分钟;
趋势性流量矩阵序列:趋势性表示流量序列存在随着季节变化的特性,因此抽取的流量矩阵序列可以表示为
其中lq表示抽取的流量序列的长度,其取值可以根据模型复杂度以及精度,由仿真择优确定,q表示相邻流量矩阵的时间间隔,此处用一星期的间隔来表示趋势性,因此q=1440×7/T。
所述空间相关性的提取具体为:
(3.1)时空特征提取特征提取:对于表示紧密性、周期性、趋势性三部分的输入序列
其中*表示矩阵相乘,Wml和bm分别表示卷积神经网络的权重和偏置,需要通过训练进行优化,activation表示激活函数,此处采用Relu激活函数,如下所示:
Ct=ft⊙Ct-1+it⊙tanh(Wxc*Xt+Whc*Ht-1+bc) (7)
Ht=ot⊙tanh(Ct) (9)
其中*表示矩阵相乘,⊙表示矩阵元素相乘,Ct表示细胞状态,Ht表示隐藏层状态,it表示输入门,ft表示遗忘门,ot表示输出门,δ表示激活函数,一般可用sigmoid激活函数,W和b分别表示ConvLSTM的权重和偏差,需要通过训练序列进行优化得到;
(3.2)时空特征融合:为了同时利用3D卷积神经网络和ConvLSTM提取的时间和空间相关性,需要通过融合层对两者提取的特征进行特征融合;融合过程为两者在时间维度进行合并,再经由一层1×1卷积进行特征降维,即以一种类似集成学习的方式集成了3D卷积和ConvLSTM提取的特征,有利于提高模型的可靠性;
所述基于注意力机制进行最终的流量预测为;
(4.1)三个流量矩阵序列各自由3D卷积和ConvLSTM提取的特征在时间维度进行合并,通过一层1×1卷积融合各个通道的信息,输出融合后的时空特征,记为U,其中H和W表示空间维度大小,C表示时间维度大小;
(4.2)对该特征U通过SE模块(Squeeze and Excitation Block),以时间维度的注意力机制对特征的重要性进行自适应选择,具体过程如下:
即通过全局平均池化得到全局的空间信息,其中Zc是输出特征Z在时间维度的切片,即Z={Z1,Z2,…ZC},Uc是输出特征U在时间维度的切片,即U={U1,U2,…UC};
其中δ表示激活函数,用Relu激活函数。
所述输出特征Z,通过全连接层来提取时间维度的重要性系数,如下:
S=δ2(W2δ1(W1Z)) (10)
有益效果:本发明基于深度学习来提取区域流量序列的时间和空间相关性,并且通过时间序列抽取的方法在有限的输入长度下涵盖了流量序列的周期变化特性,以较高的准确率预测下一时刻的区域网络流量值,有利于无线资源的合理分配,提高资源利用率。
附图说明
图1是本发明流量矩阵的示意图。
图2是本发明基于深度学习的区域网络流量预测网络结构示意图。
具体实施例
为了详细说明本发明所公开的技术方案,下面结合说明书附图以及具体实施例做进一步的阐述。
本发明提供一种基于深度学习的区域流量预测方法。针对区域流量的时间相关性、空间相关性,通过3D卷积神经网络和ConvLSTM等来同时提取该时空特征。通过时间序列抽取的方法在有限的输入序列长度下,使得预测网络能够学习流量序列的周期变化特性。最后通过多层感知机得到最终的区域流量预测结果。
第一步:获取区域网络流量序列,统计其在每个时刻内使用的流量值。
(1)将网络覆盖面积划分成N×M个1km×1km的网格区域,记左上角区域坐标为(0,0),右下角区域坐标为(N-1,M-1)。对每个区域内的所有用户网络流量值以时间间隔T分钟(具体取值由各运营商根据预测需求确定)进行采样,并求和得到每个区域对应的区域流量序列
其中(x,y)表示对应区域的坐标。本实施例中T取10分钟。
其中μ表示区域(x,y)历史流量的平均值,σ表示区域(x,y)历史流量的标准差,ε为常数,可取1×10-6。
第二步:根据区域流量序列的空间相关性以及时间相关性,抽取对应特性的流量矩阵序列作为深度学习预测模型的输入。其中时间相关性包括包括紧密性(colseness)、周期性(period)、趋势性(trend)。
(1)空间相关流量矩阵序列的获得。任一坐标为(x,y)区域的流量值不仅与该区域过去时刻的流量值相关,还与附近r个区域的流量值也存在相关,即区域流量之间存在空间相关性,其中r的取值与模型复杂度和预测精度有关,可根据预测需求确定。为预测t+1时刻区域(x,y)的流量值将t(t=1,2,3…)时刻目标区域(x,y)的流量值与其周围共(2r+1)×(2r+1)个区域的流量一起,得到空间相关性流量矩阵序列其中任一时刻t的流量矩阵如下
紧密性流量矩阵序列。紧密性表示t+1时刻的流量值受最近lc个时刻流量值的影响,因此抽取的紧密性流量矩阵序列为
其中lc表示抽取的紧密性流量矩阵序列长度,其取值可以根据模型复杂度以及精度,由仿真择优确定。本实施例中lc取12,即过去2小时的流量序列。
周期性流量矩阵序列。周期性表示流量序列存在以天为周期的重复变化特性,因此抽取的流量矩阵序列可以表示为
其中lp表示抽取的流量序列的长度,其取值可以根据模型复杂度以及精度,由仿真择优确定,p表示相邻流量矩阵的时间间隔,此处用一天的间隔来表示周期性,因此,p=1440/T(1440表示一天共1440分钟)。本实施例中lp取3,p取144。
趋势性流量矩阵序列。趋势性表示流量序列存在随着季节变化的特性,因此抽取的流量矩阵序列可以表示为
其中lq表示抽取的流量序列的长度,其取值可以根据模型复杂度以及精度,由仿真择优确定,q表示相邻流量矩阵的时间间隔,此处用一星期的间隔来表示趋势性,因此q=1440×7/T。本实施例中lq取3,q取1008。
第三步:对于步骤2得到的三个输入流量矩阵序列,分别用3D卷积神经网络和ConvLSTM进行时间和空间相关性的提取。
由于3D卷积的卷积核在2D卷积的基础上增加了时间维度,因此能在卷积的过程中同时提取空间和时间相关性。而ConvLSTM在能提取时间相关性的LSTM模块的基础上将全连接层改为了卷积运算,即加入了空间相关性的提取。
具体的运算过程见下面步骤。
(1)时空特征提取特征提取。对于表示紧密性、周期性、趋势性三部分的输入序列
其中*表示矩阵相乘,Wml和bm分别表示卷积神经网络的权重和偏置,需要通过训练进行优化,activation表示激活函数,此处采用Relu激活函数,如下所示:
本实施例中,采用3×3×3的卷积核,采用2层3D卷积,每层的通道数为3和6。
Ct=ft⊙Ct-1+it⊙tanh(Wxc*Xt+Whc*Ht-1+bc) (7)
Ht=ot⊙tanh(Ct) (9)
其中*表示矩阵相乘,⊙表示矩阵元素相乘,Ct表示细胞状态,Ht表示隐藏层状态,it表示输入门,ft表示遗忘门,ot表示输出门,δ表示激活函数,一般可用sigmoid激活函数,W和b分别表示ConvLSTM的权重和偏差,需要通过训练序列进行优化得到。本实施例中,采用2层ConvLSTM,其时间维度的通道数分别为3和6。
(2)时空特征融合。为了同时利用3D卷积神经网络和ConvLSTM提取的时间和空间相关性,需要通过融合层对两者提取的特征进行特征融合。融合过程为两者在时间维度进行合并,再经由一层1×1卷积进行特征降维。即以一种类似集成学习的方式集成了3D卷积和ConvLSTM提取的特征,有利于提高模型的可靠性。
第四步:融合三个流量矩阵序列各自由3D卷积和ConvLSTM提取的特征,基于注意力机制进行最终的流量预测。
(1)三个流量矩阵序列各自由3D卷积和ConvLSTM提取的特征在时间维度进行合并,通过一层1×1卷积融合各个通道的信息,输出融合后的时空特征,记为U,其中H和W表示空间维度大小,C表示时间维度大小。
(2)对该特征U通过SE模块(Squeeze and Excitation Block),以时间维度的注意力机制对特征的重要性进行自适应选择,具体过程如下:
即通过全局平均池化得到全局的空间信息。其中Zc是输出特征Z在时间维度的切片,即Z={Z1,Z2,…ZC},Uc是输出特征U在时间维度的切片,即U={U1,U2,…UC}。
对该特征Z通过全连接层来提取时间维度的重要性系数,如下:
S=δ2(W2δ1(W1Z)) (10)
其中δ表示激活函数,一般可用Relu激活函数。本实施例中采用2层感知机。
以上所述仅为本发明的较佳实施方式,本发明的保护范围并不以上述实施方案为限,但凡本领域普通技术人员根据发明所揭示内容所作的等效修饰或变化,皆应纳入权利要求书中记载的保护范。
Claims (6)
1.一种基于深度学习的区域网络流量预测方法,其特征在于该预测方法包括如下步骤:
步骤1:获取区域网络流量序列,统计其在每个时刻使用的流量值:
步骤2:根据区域流量序列的空间相关性以及时间相关性,抽取对应特性的流量矩阵序列作为深度学习预测模型的输入;其中时间相关性包括包括紧密性、周期性、趋势性:
(2.1)空间相关流量矩阵序列的获得:任一坐标为(x,y)区域的流量值不仅与该区域过去时刻的流量值相关,还与附近r个区域的流量值也存在相关,即区域流量之间存在空间相关性,其中r的取值与模型复杂度和预测精度有关,可根据预测需求确定;为预测t+1时刻区域(x,y)的流量值将t=1,2,3…时刻目标区域(x,y)的流量值与其周围共(2r+1)×(2r+1)个区域的流量一起,得到空间相关性流量矩阵序列其中任一时刻t的流量矩阵如下
(2.2)不同时间相关特性流量矩阵序列的获得:为了预测t+1时刻区域(x,y)的流量值可利用时间序列的相关性,包括紧密性、周期性、趋势性,抽取对应特性的流量矩阵作为输入,得到三个输入流量矩阵序列,即紧密性流量矩阵序列、周期性流量矩阵序列、趋势性流量矩阵序列;
步骤3:对于步骤2得到的三个输入流量矩阵序列,分别用3D卷积神经网络和卷积长短期记忆人工神经网络ConvLSTM进行时间和空间相关性的提取;
由于3D卷积的卷积核在2D卷积的基础上增加了时间维度,因此能在卷积的过程中同时提取空间和时间相关性;而ConvLSTM在能提取时间相关性的长短期记忆人工神经网络LSTM模块的基础上将全连接层改为了卷积运算,即加入了空间相关性的提取;
步骤4:融合三个流量矩阵序列各自由3D卷积和ConvLSTM提取的特征,基于注意力机制进行最终的流量预测;
(4.1)三个流量矩阵序列各自由3D卷积和ConvLSTM提取的特征在时间维度进行合并,通过一层1×1卷积融合各个通道的信息,输出融合后的时空特征,记为U,其中H和W表示空间维度大小,C表示时间维度大小;
(4.2)对该特征U通过SE模块(Squeeze and Excitation Block),以时间维度的注意力机制对特征的重要性进行自适应选择,具体过程如下:
即通过全局平均池化得到全局的空间信息,其中Zc是输出特征Z在时间维度的切片,即Z={Z1,Z2,…ZC},Uc是输出特征U在时间维度的切片,即U={U1,U2,…UC};
其中δ表示激活函数,用Relu激活函数。
3.根据权利要求1所述的基于深度学习的区域网络流量预测方法,其特征在于所述紧密性流量矩阵序列:紧密性表示t+1时刻的流量值受最近lc个时刻流量值的影响,因此抽取的紧密性流量矩阵序列为
其中lc表示抽取的紧密性流量矩阵序列长度,其取值可以根据模型复杂度以及精度,由仿真择优确定;
周期性流量矩阵序列:周期性表示流量序列存在以天为周期的重复变化特性,因此抽取的流量矩阵序列可以表示为
其中lp表示抽取的流量序列的长度,其取值可以根据模型复杂度以及精度,由仿真择优确定,p表示相邻流量矩阵的时间间隔,此处用一天的间隔来表示周期性,因此,p=1440/T,1440表示一天共1440分钟;
趋势性流量矩阵序列:趋势性表示流量序列存在随着季节变化的特性,因此抽取的流量矩阵序列可以表示为
其中lq表示抽取的流量序列的长度,其取值可以根据模型复杂度以及精度,由仿真择优确定,q表示相邻流量矩阵的时间间隔,此处用一星期的间隔来表示趋势性,因此q=1440×7/T。
4.根据权利要求1所述的基于深度学习的区域网络流量预测方法,其特征在于所述空间相关性的提取具体为:
(3.1)时空特征提取特征提取:对于表示紧密性、周期性、趋势性三部分的输入序列
其中*表示矩阵相乘,Wml和bm分别表示卷积神经网络的权重和偏置,需要通过训练进行优化,activation表示激活函数,此处采用Relu激活函数,如下所示:
Ct=ft⊙Ct-1+it⊙tanh(Wxc*Xt+Whc*Ht-1+bc) (7)
ot=δ(Wxo*Ft (x,y)+Who*Ht-1+Wco⊙Ct+bo) (8)
Ht=ot⊙tanh(Ct) (9)
其中*表示矩阵相乘,⊙表示矩阵元素相乘,Ct表示细胞状态,Ht表示隐藏层状态,it表示输入门,ft表示遗忘门,ot表示输出门,δ表示激活函数,一般可用sigmoid激活函数,W和b分别表示ConvLSTM的权重和偏差,需要通过训练序列进行优化得到;
(3.2)时空特征融合:为了同时利用3D卷积神经网络和ConvLSTM提取的时间和空间相关性,需要通过融合层对两者提取的特征进行特征融合;融合过程为两者在时间维度进行合并,再经由一层1×1卷积进行特征降维,即以一种类似集成学习的方式集成了3D卷积和ConvLSTM提取的特征,有利于提高模型的可靠性。
5.根据权利要求1所述的基于深度学习的区域网络流量预测方法,其特征在于所述基于注意力机制进行最终的流量预测为;
(4.1)三个流量矩阵序列各自由3D卷积和ConvLSTM提取的特征在时间维度进行合并,通过一层1×1卷积融合各个通道的信息,输出融合后的时空特征,记为U,其中H和W表示空间维度大小,C表示时间维度大小;
(4.2)对该特征U通过SE模块(Squeeze and Excitation Block),以时间维度的注意力机制对特征的重要性进行自适应选择,具体过程如下:
即通过全局平均池化得到全局的空间信息,其中Zc是输出特征Z在时间维度的切片,即Z={Z1,Z2,…ZC},Uc是输出特征U在时间维度的切片,即U={U1,U2,…UC};
其中δ表示激活函数,用Relu激活函数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011201026.4A CN112291808B (zh) | 2020-11-02 | 2020-11-02 | 基于深度学习的区域网络流量预测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011201026.4A CN112291808B (zh) | 2020-11-02 | 2020-11-02 | 基于深度学习的区域网络流量预测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112291808A true CN112291808A (zh) | 2021-01-29 |
CN112291808B CN112291808B (zh) | 2022-12-23 |
Family
ID=74353077
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011201026.4A Active CN112291808B (zh) | 2020-11-02 | 2020-11-02 | 基于深度学习的区域网络流量预测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112291808B (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113316163A (zh) * | 2021-06-18 | 2021-08-27 | 东南大学 | 基于深度学习的长期网络流量预测方法 |
CN114462679A (zh) * | 2022-01-04 | 2022-05-10 | 广州杰赛科技股份有限公司 | 基于深度学习的网络流量预测方法、装置、设备及介质 |
CN115022193A (zh) * | 2022-05-23 | 2022-09-06 | 电子科技大学 | 一种基于改进ConvLSTM深度学习模型的局域网流量预测方法 |
CN115118511A (zh) * | 2022-06-29 | 2022-09-27 | 北京奇艺世纪科技有限公司 | 异常流量识别方法、装置、电子设备及存储介质 |
CN115116227A (zh) * | 2022-06-30 | 2022-09-27 | 西安交通大学 | 一种交通流量预测方法、***、装置及可读存储介质 |
CN115134816A (zh) * | 2021-03-18 | 2022-09-30 | 中国电信股份有限公司 | 基于时空卷积和多时间尺度的基站流量预测方法 |
CN115150840A (zh) * | 2022-05-18 | 2022-10-04 | 西安交通大学 | 一种基于深度学习的移动网络流量预测方法 |
CN115348215A (zh) * | 2022-07-25 | 2022-11-15 | 南京信息工程大学 | 一种基于时空注意力机制的加密网络流量分类方法 |
CN116153087A (zh) * | 2023-04-23 | 2023-05-23 | 华东交通大学 | 基于时序依赖注意力稀疏卷积的交通流量预测方法及*** |
CN117237994A (zh) * | 2023-11-13 | 2023-12-15 | 四川泓宝润业工程技术有限公司 | 一种油气作业区人员计数及行为检测方法、装置及*** |
CN118101421A (zh) * | 2023-12-20 | 2024-05-28 | 福建省电子政务建设运营有限公司 | 一种基于机器学习的智能告警阈值自适应方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108510741A (zh) * | 2018-05-24 | 2018-09-07 | 浙江工业大学 | 一种基于Conv1D-LSTM神经网络结构的交通流预测方法 |
CN109862585A (zh) * | 2019-01-31 | 2019-06-07 | 湖北工业大学 | 一种基于深度时空神经网络的动态异构网络流量预测方法 |
CN110851782A (zh) * | 2019-11-12 | 2020-02-28 | 南京邮电大学 | 一种基于轻量级时空深度学习模型的网络流量预测方法 |
CN111210633A (zh) * | 2020-02-09 | 2020-05-29 | 北京工业大学 | 一种基于深度学习的短时交通流预测方法 |
CN111243269A (zh) * | 2019-12-10 | 2020-06-05 | 福州市联创智云信息科技有限公司 | 基于融合时空特征的深度网络的交通流预测方法 |
-
2020
- 2020-11-02 CN CN202011201026.4A patent/CN112291808B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108510741A (zh) * | 2018-05-24 | 2018-09-07 | 浙江工业大学 | 一种基于Conv1D-LSTM神经网络结构的交通流预测方法 |
CN109862585A (zh) * | 2019-01-31 | 2019-06-07 | 湖北工业大学 | 一种基于深度时空神经网络的动态异构网络流量预测方法 |
CN110851782A (zh) * | 2019-11-12 | 2020-02-28 | 南京邮电大学 | 一种基于轻量级时空深度学习模型的网络流量预测方法 |
CN111243269A (zh) * | 2019-12-10 | 2020-06-05 | 福州市联创智云信息科技有限公司 | 基于融合时空特征的深度网络的交通流预测方法 |
CN111210633A (zh) * | 2020-02-09 | 2020-05-29 | 北京工业大学 | 一种基于深度学习的短时交通流预测方法 |
Non-Patent Citations (3)
Title |
---|
WENYING DUAN等: "Pre-Trained Bidirectional Temporal Representation for Crowd Flows Prediction in Regular Region", 《IEEE ACCESS》 * |
张杰等: "基于时空特征的移动网络流量预测模型", 《计算机科学》 * |
郭佳等: "基于全注意力机制的多步网络流量预测", 《信号处理》 * |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115134816A (zh) * | 2021-03-18 | 2022-09-30 | 中国电信股份有限公司 | 基于时空卷积和多时间尺度的基站流量预测方法 |
CN115134816B (zh) * | 2021-03-18 | 2024-03-08 | 中国电信股份有限公司 | 基于时空卷积和多时间尺度的基站流量预测方法 |
CN113316163B (zh) * | 2021-06-18 | 2022-04-15 | 东南大学 | 基于深度学习的长期网络流量预测方法 |
CN113316163A (zh) * | 2021-06-18 | 2021-08-27 | 东南大学 | 基于深度学习的长期网络流量预测方法 |
CN114462679A (zh) * | 2022-01-04 | 2022-05-10 | 广州杰赛科技股份有限公司 | 基于深度学习的网络流量预测方法、装置、设备及介质 |
CN115150840B (zh) * | 2022-05-18 | 2024-03-12 | 西安交通大学 | 一种基于深度学习的移动网络流量预测方法 |
CN115150840A (zh) * | 2022-05-18 | 2022-10-04 | 西安交通大学 | 一种基于深度学习的移动网络流量预测方法 |
CN115022193B (zh) * | 2022-05-23 | 2024-02-02 | 电子科技大学 | 一种基于深度学习模型的局域网流量预测方法 |
CN115022193A (zh) * | 2022-05-23 | 2022-09-06 | 电子科技大学 | 一种基于改进ConvLSTM深度学习模型的局域网流量预测方法 |
CN115118511A (zh) * | 2022-06-29 | 2022-09-27 | 北京奇艺世纪科技有限公司 | 异常流量识别方法、装置、电子设备及存储介质 |
CN115116227A (zh) * | 2022-06-30 | 2022-09-27 | 西安交通大学 | 一种交通流量预测方法、***、装置及可读存储介质 |
CN115116227B (zh) * | 2022-06-30 | 2024-07-19 | 西安交通大学 | 一种交通流量预测方法、***、装置及可读存储介质 |
CN115348215B (zh) * | 2022-07-25 | 2023-11-24 | 南京信息工程大学 | 一种基于时空注意力机制的加密网络流量分类方法 |
CN115348215A (zh) * | 2022-07-25 | 2022-11-15 | 南京信息工程大学 | 一种基于时空注意力机制的加密网络流量分类方法 |
CN116153087A (zh) * | 2023-04-23 | 2023-05-23 | 华东交通大学 | 基于时序依赖注意力稀疏卷积的交通流量预测方法及*** |
CN117237994A (zh) * | 2023-11-13 | 2023-12-15 | 四川泓宝润业工程技术有限公司 | 一种油气作业区人员计数及行为检测方法、装置及*** |
CN117237994B (zh) * | 2023-11-13 | 2024-02-13 | 四川泓宝润业工程技术有限公司 | 一种油气作业区人员计数及行为检测方法、装置及*** |
CN118101421A (zh) * | 2023-12-20 | 2024-05-28 | 福建省电子政务建设运营有限公司 | 一种基于机器学习的智能告警阈值自适应方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112291808B (zh) | 2022-12-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112291808B (zh) | 基于深度学习的区域网络流量预测方法 | |
CN113316163B (zh) | 基于深度学习的长期网络流量预测方法 | |
CN112257934A (zh) | 一种基于时空动态神经网络的城市人流预测方法 | |
CN111062395B (zh) | 一种实时的视频语义分割方法 | |
CN110267292B (zh) | 基于三维卷积神经网络的蜂窝网络流量预测方法 | |
CN110543543A (zh) | 一种基于多粒度神经网络的用户移动行为预测方法及装置 | |
CN109829495A (zh) | 基于lstm和dcgan的时序性图像预测方法 | |
KR102093577B1 (ko) | 학습네트워크를 이용한 예측 영상 생성 방법 및 예측 영상 생성 장치 | |
CN115390164B (zh) | 一种雷达回波外推预报方法及*** | |
CN114460555B (zh) | 一种雷达回波外推方法、装置及存储介质 | |
CN113255995A (zh) | 一种空气污染预测方法 | |
CN116524419B (zh) | 基于时空解耦与自注意力差分lstm的视频预测方法、*** | |
CN114862010A (zh) | 一种基于时空数据的流量确定方法、装置、设备和介质 | |
CN115662128A (zh) | 一种基于注意力机制的动态时空神经网络交通流量预测方法 | |
CN114039871B (zh) | 一种蜂窝流量预测的方法、***、装置及介质 | |
CN117292361A (zh) | 一种基于进化动态图卷积的车辆轨迹长时精细预测方法 | |
CN114004152B (zh) | 基于图卷积和循环神经网络的多风场风速时空预测方法 | |
CN114360490A (zh) | 语音合成方法、装置、计算机设备和存储介质 | |
CN116227738B (zh) | 一种电网客服话务量区间预测方法及*** | |
Son et al. | Partial convolutional LSTM for spatiotemporal prediction of incomplete data | |
CN115762147B (zh) | 一种基于自适应图注意神经网络的交通流量预测方法 | |
CN111737598A (zh) | 区域栅格化与时间片段化融合的长时空轨迹预测方法 | |
CN116129124A (zh) | 一种图像分割方法、***及设备 | |
CN114598833B (zh) | 基于时空联合注意力的视频插帧方法 | |
CN115348182A (zh) | 一种基于深度堆栈自编码器的长期频谱预测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |