CN111030889A - 一种基于gru模型的网络流量预测方法 - Google Patents

一种基于gru模型的网络流量预测方法 Download PDF

Info

Publication number
CN111030889A
CN111030889A CN201911343425.1A CN201911343425A CN111030889A CN 111030889 A CN111030889 A CN 111030889A CN 201911343425 A CN201911343425 A CN 201911343425A CN 111030889 A CN111030889 A CN 111030889A
Authority
CN
China
Prior art keywords
model
gru
data
neural network
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911343425.1A
Other languages
English (en)
Other versions
CN111030889B (zh
Inventor
赵炜
尚立
杨会峰
李井泉
江明亮
王旭蕊
刘惠
纪春华
杨杨
郭少勇
喻鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
Beijing University of Posts and Telecommunications
Information and Telecommunication Branch of State Grid Hebei Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
Beijing University of Posts and Telecommunications
Information and Telecommunication Branch of State Grid Hebei Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, Beijing University of Posts and Telecommunications, Information and Telecommunication Branch of State Grid Hebei Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN201911343425.1A priority Critical patent/CN111030889B/zh
Publication of CN111030889A publication Critical patent/CN111030889A/zh
Application granted granted Critical
Publication of CN111030889B publication Critical patent/CN111030889B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876Network utilisation, e.g. volume of load or congestion level
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于GRU模型的网络流量预测方法,涉及信息通信技术领域;其为将网络流量数据序列输入到GRU神经网络模型中并完成预测网络流量;其通过将网络流量数据序列输入到GRU神经网络模型中并完成预测网络流量等,实现提高了网络流量预测的准确度和效果。

Description

一种基于GRU模型的网络流量预测方法
技术领域
本发明涉及信息通信技术领域,尤其涉及一种基于GRU模型的网络流量预测方法。
背景技术
电力数据通信网是综合性的广域网络传输平台,也是电力信息基础设施的重要组成部分。随着电力数据网的迅速发展,网络规模不断扩大,越来越需要有足够的、可靠的信息支撑来保障电力数据网安全可靠的运行。对电力数据网的网络流量进行预测能够为电力数据网的安全运行提供重要信息,特别是对于实现提前感知电力数据网的流量异常和运行状态异常,从而保障电力数据网的运行,因此具有重要的研究价值和应用前景。在通常情况下,网络流量数据受着多种复杂且随机的因素的影响,但本质上网络流量数据是非线性的时间序列数据。
现代互联网的特性使得网络流量预测在提高网络效率、可靠性以及适应性方面显得尤为重要。近年来,已有很多学者在网络流量预测方面做出研究,提出了许多网络流量预测方法。目前,用于网络流量预测的预测模型包括时间序列模型、神经网络模型等。但是由于网络流量数据序列受着多种不确定因素的影响,影响因素数据难以表达,因此网络流量序列具有的高度非线性和非平稳性的复杂特性,采用传统的时间序列模型、神经网络模型都很难进行处理,因此采用简单的预测模型对网络流量预测的准确度较低,从而影响对网络的合理规划和分配。
因此,如何提高对网络流量预测的准确度以提高网络的可靠性是本领域技术人员需要解决的问题。
为了解现有技术的发展状况,对已有的专利和文献进行了检索、比较和分析,筛选出如下与本发明相关度比较高的技术信息:
专利方案1:201510793377.1基于流量趋势的网络流量预测方法
该发明针对采用集中式故障处理方式的无线传感器网络存在占用网络资源的问题,以及采用分布式故障处理方式的无线传感器网络存在消耗传感器资源和能量的问题,提出一种无线传感器网络故障的处理方法。包括以下步骤进行:提取当前时间周期之前的时间周期下的网络流量趋势;根据提取的网络流量趋势,预测未来时刻的网络流量趋势;计算提取的网络流量值和其网络流量趋势之间的误差,预测流量误差;根据预测的网络流量趋势和预测的流量误差,预测未来时刻的网络流量预测值。本发明大大减少了流量误差预测和流量估计所需要的训练样本数,节省了训练时间;并且提取的网络流量趋势不仅突出了流量在各时间周期下的周期特征,也保持了流量的局部结构特征。
专利方案2:201611249158.8基于神经网络的网络流量预测***及其流量预测方法
该发明提出了一种基于BP神经网络的网络流量预测方法,其原理是首先对数据进行归一化处理,使得样本数据值在0~1之间,其次对BP神经网络参数进行初始化,然后对BP神经网络进行预训练并使用BP算法对BP神经网络进行优化,最后利用训练好的BP神经网络进行预测,得出预测结果。该方法不仅可以对数据进行特征提取,还使用BP算法对网络进行优化,解决了网络结构复杂难训练的问题,在一定程度上提高了流量预测的精度。本发明可对各种骨干网络进行监控检测和分析,实时监控、检测骨干网络中的网络异常事件,实现对网络异常情况的提前预警。
专利方案3:201810011664.6一种基于神经网络的流量预测方法
该发明提供了一种基于神经网络的流量预测方法,按设定采样时间周期对计算机数据进行采样,确定训练集的窗口长度,配合使用数据采样、数据集设定、LSTM模型训练及数据判断,可以实现异常流量的预防和检测,具有自动程度高,检测速度快及应用范围广的特点。包括以下步骤:按设定采样时间周期对计算机数据进行采样;划分训练集和验证集;代入LSTM模型中,进行模型训练和验证;对需要预测的计算机流量,采样后带入训练好的LSTM模型进行预测。本发明配合使用数据采样、数据集设定、LSTM模型训练及数据判断,可以实现异常流量的预防和检测,具有自动程度高,检测速度快及应用范围广的特点。
上述专利方案1的缺陷:该方案根据实时网络流量数据,提取当前时刻前一段周期的网络流量趋势并预测未来的一段周期的网络流量趋势;然后,计算过去一段周期的网络流量和网络流量趋势的误差并预测未来网络流量误差;最后,根据预测的网络流量趋势和网络流量误差,预测出未来网络流量预测值;此方案中,预定义的周期时间对未来网络流量的预测有着重要影响,进而会影响预测值的准确度,预测方案更加难以表达高度复杂的非线性序列,因此该方案的普适性不高。
上述专利方案2的缺陷:该方案提出一种基于BP神经网络的网络流量预测方法。BP神经网络易于建立和训练,对复杂数据序列有一定的表达能力,该方案首先进行数据归一化然后对BP神经网络进行预训练并使用BP算法对BP神经网络进行优化,最后利用训练好的BP神经网络进行预测,得出预测。此方案中,主要采用BP神经网络对网络流量数据进行预测,但是BP神经网络对流量数据的记忆性差,限制了流量预测精度的提升。
上述专利方案3的缺陷:该方案提供了一种基于神经网络的流量预测方法,按设定采样时间周期对计算机数据进行采样,利用LSTM模型训练并进行预测。但是该专利方案只是使用了单一的LSTM模型,LSTM模型虽然在非线性序列上有较好的表达性,但实际上由于梯度下降法的缺陷,学习率下降过快,有可能略过最佳点,在预测准确度上还有一定的提升空间。
现有技术问题及思考:
如何解决提高预测网络流量的准确度和效果的技术问题。
发明内容
本发明所要解决的技术问题是提供一种基于GRU模型的网络流量预测方法,其通过将网络流量数据序列输入到GRU神经网络模型中并完成预测网络流量等,实现提高了网络流量预测的准确度和效果。
为解决上述技术问题,本发明所采取的技术方案是:一种基于GRU模型的网络流量预测方法,将网络流量数据序列输入到GRU神经网络模型中并完成预测网络流量。
进一步的技术方案在于:所述GRU神经网络模型的数量为三个,分别是GRU-SGD模型、GRU-Adam模型和GRU-AdaGrad模型,所述GRU-SGD模型为使用SGD梯度下降算法的神经网络模型,所述GRU-Adam模型为使用Adam梯度下降算法的神经网络模型,所述GRU-AdaGrad模型为使用AdaGrad梯度下降算法的神经网络模型,分别利用GRU-SGD模型、GRU-Adam模型和GRU-AdaGrad模型预测,将每一模型预测的数据相加求平均值得到预测的网络流量数据。
进一步的技术方案在于:具体地包括S1~S5步骤,
S1、获取历史网络流量数据;
S2、确定历史网络流量数据中的训练数据和验证数据;
S3、将训练数据带入到每一GRU神经网络模型中进行训练;
S4、通过三个GRU神经网络模型对验证数据进行预测;
S5、将预测得到的数据相加求平均得到预测的网络流量数据。
进一步的技术方案在于:其中S3步骤具体包括S31步骤,
S31、共有三种GRU神经网络模型,分别为GRU-SGD模型、GRU-Adam模型和GRU-AdaGrad模型,所述GRU-SGD模型为使用SGD梯度下降算法的神经网络模型,所述GRU-Adam模型为使用Adam梯度下降算法的神经网络模型,所述GRU-AdaGrad模型为使用AdaGrad梯度下降算法的神经网络模型,将训练数据分别输入到每一GRU神经网络模型中,训练数据首先在GRU神经网络模型中进行前向传播。
进一步的技术方案在于:其中S3步骤具体还包括S32步骤,
S32、计算时间的损失函数。
进一步的技术方案在于:其中S3步骤具体还包括S33步骤,
S33、使用反向链式求导,依次迭代直到损失函数收敛。
进一步的技术方案在于:其中S3步骤具体还包括S34步骤,
S34、所述GRU-SGD模型使用SGD梯度下降算法进行更新,所述GRU-Adam模型使用Adam梯度下降算法进行更新,所述GRU-AdaGrad模型使用AdaGrad梯度下降算法进行更新。
进一步的技术方案在于:其中S3步骤具体还包括S35步骤,
S35、重复S31~S34步骤,不断更新,直到损失函数<0.2时停止,模型训练完毕。
进一步的技术方案在于:其中S34步骤具体包括S341~S343步骤,
S341、GRU-SGD模型使用SGD梯度下降算法,计算出每个参数下降的量,从而更新;
S342、GRU-Adam模型使用Adam梯度下降算法,计算出每个参数下降的量,从而更新;
S343、GRU-AdaGrad模型使用AdaGrad梯度下降算法,计算出每个参数下降的量,从而更新。
进一步的技术方案在于:基于服务器运行该方法。
采用上述技术方案所产生的有益效果在于:
第一,其通过将网络流量数据序列输入到GRU神经网络模型中并完成预测网络流量等,实现提高了网络流量预测的准确度和效果。
第二,分别利用GRU-SGD模型、GRU-Adam模型和GRU-AdaGrad模型预测,将每一模型预测的数据相加求平均值得到预测的网络流量数据,进一步提高了网络流量预测的准确度和效果。
详见具体实施方式部分描述。
附图说明
图1是本发明的流程图;
图2是本发明中GRU神经网络模型的结构图;
图3是本发明中预测流量与真实流量的数据对比图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本申请及其应用或使用的任何限制。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本申请,但是本申请还可以采用其他不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本申请内涵的情况下做类似推广,因此本申请不受下面公开的具体实施例的限制。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本申请的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。同时,应当明白,为了便于描述,附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它示例可以具有不同的值。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
在本申请的描述中,需要理解的是,方位词如“前、后、上、下、左、右”、“横向、竖向、垂直、水平”和“顶、底”等所指示的方位或位置关系通常是基于附图所示的方位或位置关系,仅是为了便于描述本申请和简化描述,在未作相反说明的情况下,这些方位词并不指示和暗示所指的装置或元件必须具有特定的方位或者以特定的方位构造和操作,因此不能理解为对本申请保护范围的限制;方位词“内、外”是指相对于各部件本身的轮廓的内外。
为了便于描述,在这里可以使用空间相对术语,如“在……之上”、“在……上方”、“在……上表面”、“上面的”等,用来描述如在图中所示的一个器件或特征与其他器件或特征的空间位置关系。应当理解的是,空间相对术语旨在包含除了器件在图中所描述的方位之外的在使用或操作中的不同方位。例如,如果附图中的器件被倒置,则描述为“在其他器件或构造上方”或“在其他器件或构造之上”的器件之后将被定位为“在其他器件或构造下方”或“在其他器件或构造之下”。因而,示例性术语“在……上方”可以包括“在……上方”和“在……下方”两种方位。该器件也可以其他不同方式定位(旋转90度或处于其他方位),并且对这里所使用的空间相对描述做出相应解释。
此外,需要说明的是,使用“第一”、“第二”等词语来限定零部件,仅仅是为了便于对相应零部件进行区别,如没有另行声明,上述词语并没有特殊含义,因此不能理解为对本申请保护范围的限制。
如图1所示,本发明公开了一种基于GRU模型的网络流量预测方法,包括S1~S5步骤,将网络流量数据序列输入到GRU神经网络模型中并完成预测网络流量,具体如下:
所述GRU神经网络模型的数量为三个,分别是GRU-SGD模型、GRU-Adam模型和GRU-AdaGrad模型,所述GRU-SGD模型为使用SGD梯度下降算法的神经网络模型,所述GRU-Adam模型为使用Adam梯度下降算法的神经网络模型,所述GRU-AdaGrad模型为使用AdaGrad梯度下降算法的神经网络模型,分别利用GRU-SGD模型、GRU-Adam模型和GRU-AdaGrad模型预测,将每一模型预测的数据相加求平均值得到预测的网络流量数据。
S1、获取历史网络流量数据。
S2、确定历史网络流量数据中的训练数据和验证数据。
S3、将训练数据带入到每一GRU神经网络模型中进行训练。
S31、共有三种GRU神经网络模型,分别为GRU-SGD模型、GRU-Adam模型和GRU-AdaGrad模型,所述GRU-SGD模型为使用SGD梯度下降算法的神经网络模型,所述GRU-Adam模型为使用Adam梯度下降算法的神经网络模型,所述GRU-AdaGrad模型为使用AdaGrad梯度下降算法的神经网络模型,将训练数据分别输入到每一GRU神经网络模型中,训练数据首先在GRU神经网络模型中进行前向传播。
S32、计算时间的损失函数。
S33、使用反向链式求导,依次迭代直到损失函数收敛。
S34、所述GRU-SGD模型使用SGD梯度下降算法进行更新,所述GRU-Adam模型使用Adam梯度下降算法进行更新,所述GRU-AdaGrad模型使用AdaGrad梯度下降算法进行更新。
S341、GRU-SGD模型使用SGD梯度下降算法,计算出每个参数下降的量,从而更新。
S342、GRU-Adam模型使用Adam梯度下降算法,计算出每个参数下降的量,从而更新。
S343、GRU-AdaGrad模型使用AdaGrad梯度下降算法,计算出每个参数下降的量,从而更新。
S35、重复S31~S34步骤,不断更新,直到损失函数<0.2时停止,模型训练完毕。
S4、通过三个GRU神经网络模型对验证数据进行预测。
S5、将预测得到的数据相加求平均得到预测的网络流量数据。
其中,GRU神经网络模型、SGD梯度下降算法、Adam梯度下降算法和AdaGrad梯度下降算法本身为现有技术在此不再赘述。
说明:
首先,本发明需要对基于GRU网络流量预测方法中使用的变量做出说明。使用的变量如下:
zt:t时刻的更新门;
rt:t时刻的重置门;
Figure BDA0002332704710000081
t时刻的存储信息;
ht:t时刻的GRU单元的输出信息;
yt:t时刻的最终输出信息;
Δθt:参数梯度下降的值。
基于GRU的网络流量预测方法,将网络流量数据序列输入到GRU神经网络中,不同的GRU神经网络模型采用不同的梯度下降算法进行训练,最终将各个模型预测的数据相加还原为预测的网络流量数据。依据上述定义的变量,下面结合图1详细阐述本发明的方案。
如图1所示,各步骤描述如下:
S1、获取历史网络流量数据;
S2、确定历史网络流量数据中的训练数据和验证数据;
S3、将训练数据带入到多个GRU模型中进行训练;
S4、多个GRU神经网络模型对验证数据进行预测;
S5、将预测得到的数据相加求平均得到预测的网络流量数据。
其中,步骤S3具体包括:
S31、将训练数据x(t)输入到GRU神经网络模型中,共有三种GRU模型,分别为GRU-SGD,GRU-Adam,GRU-AdaGrad,其差别在于使用的梯度下降算法不同。训练数据首先在GRU神经单元中先进行前向传播。
GRU由更新门和重置门组成,在时间步t时,更新门zt的计算公式为:
zt=σ(Whz*ht-1+Wxz*xt) (1)
其中xt为第t个时间步的输入向量,ht-1为前一个时间步t-1的信息,Whz为权重矩阵,Whz为更新矩阵,σ为sigmoid激活函数,能够将信息压缩到0~1之间,其公式与导数公式如下:
Figure BDA0002332704710000082
σ′(z)=y(1-y) (3)
如图2所示,更新门主要决定有多少过去时间步的信息可以保留到后续的时间步。
重置门主要决定遗忘多少过去时间步的信息,重置门rt的计算公式为:
rt=σ(Whr*ht-1+Wxr*xt) (4)
其中,Wxr为权重矩阵,Whr为更新矩阵。记忆信息
Figure BDA00023327047100000913
通过重置门来存储过去时间步的信息,记忆信息
Figure BDA00023327047100000914
的计算公式为:
Figure BDA00023327047100000911
其中,Wxc为权重矩阵,Whc为更新矩阵,⊙为Hadamard乘积,
Figure BDA00023327047100000912
为tanh激活函数,tanh激活函数公式与其导数公式如下:
Figure BDA0002332704710000091
Figure BDA0002332704710000092
GRU输出单元ht
Figure BDA0002332704710000093
其中,ht-1为上一时间步输出单元信息,zt为更新门信息,
Figure BDA0002332704710000094
为记忆信息。
最终输出值yt再次经过sigmoid激活函数,Wo为权重矩阵:
yt=σ(Wo*ht) (9)
S32、从前向传播过程中的公式中可以看出要学习的参数有Whz、Wxz、Whr、Wxr、Whc、Wxc、Wo,输出层最终输出为yt,计算某时间的损失函数:
Figure BDA0002332704710000095
其中yd为真实值。则单个序列的损失为:
Figure BDA0002332704710000096
S33、使用反向链式求导,逐步求出每个损失函数对每个参数W的导数:
Figure BDA0002332704710000097
Figure BDA0002332704710000098
Figure BDA0002332704710000099
Figure BDA00023327047100000910
Figure BDA0002332704710000101
Figure BDA0002332704710000102
Figure BDA0002332704710000103
其中各中间参数为:
δy,t=(yd-yt)*σ′ (19)
δh,t=δy,tWoz,t+1Whzt+1Whc*rt+1h,t+1Whrh,t+1*(1-zt+1) (20)
Figure BDA0002332704710000104
Figure BDA0002332704710000105
Figure BDA0002332704710000106
在算出了对个参数的偏导之后,就可以更新参数,依次迭代直到损失函数收敛。
S34、三种不同的GRU网络模型分别采用不同的梯度下降算法来更新参数。
其中,S34步骤包括:
S341、GRU-SGD模型使用SGD梯度下降算法,计算出每个参数下降的量Δθt,从而更新参数W。
Figure BDA0002332704710000107
Figure BDA0002332704710000108
其中,gt是权重梯度,
Figure BDA0002332704710000109
为学习率,Δθt是参数W下降的量。
S342、GRU-Adam模型使用Adam梯度下降算法,计算出每个参数下降的量Δθt,从而更新参数W。
Adam算法对每个参数的学***稳变化。
mt=μ*mt-1+(1-μ)*gt (26)
Figure BDA00023327047100001010
Figure BDA00023327047100001011
Figure BDA00023327047100001012
Figure BDA0002332704710000111
其中,gt是权重梯度,mt,nt分别是对参数偏导的一阶矩估计和二阶矩估计,μ和v是指数衰减速率,在[0,1)之间,一般为0.9和0.999,
Figure BDA0002332704710000112
是校正值。Δθt是参数W下降的量,
Figure BDA0002332704710000113
为学习率。
S343、GRU-AdaGrad模型使用AdaGrad梯度下降算法,计算出每个参数下降的量Δθt,从而更新参数W。
AdaGrad算法通过递推形成一个约束项,前期gt较小的时候,约束项较大,能够放大梯度,后期gt较大的时候,约束项较小,能够约束梯度。
Figure BDA0002332704710000114
Figure BDA0002332704710000115
其中,gt是权重梯度,nt是对权重梯度的二阶矩估计,Δθt是权重下降的量,
Figure BDA0002332704710000116
为学习率,∈用来保证分母非0。
S35、重复S31-S34步骤,不断更新W参数,直到损失函数E<0.2时停止,模型训练完毕。
本发明的实例数据说明如下:
S1、本发明的实例中,收集了14776条的网络流量序列数据作为数据集。
S2、本发明的实例中,将网络流量序列数据集中的前12000条数据作为训练集train(t),后2776条数据作为验证集val(t)。
S3、本发明的实例中,将的训练集序列train(t)输入到三个GRU神经网络模型中进行训练,每个GRU神经网络包含32个GRU神经网络单元,随机批量尺寸设置为128,训练100次,其中GRU-SGD模型采用SGD进行梯度下降、GRU-Adam模型采用Adam进行梯度下降、GRU-AdaGrad模型采用AdaGrad进行梯度下降。训练完毕后得到训练好的GRU-SGD模型modelsgd、GRU-Adam模型modelAdam,GRU-AdaGrad模型modelAdaGrad。使用Adam梯度下降算法。
S4、将验证集数据val(t)输入到训练好的GRU神经网络模型modelsgd、modelAdam、modelAdaGrad中,输出预测的数据presgd(t)、preAdam(t)、preAdaGrad(t)。
S5、将预测的子序列数据相加求和得到最终预测的网络流量数据
Figure BDA0002332704710000121
如图3所示,为预测出的流量值pre(t)与真实流量值val(t)比较。
本发明的目的:
网络流量预测,旨在能够较为准确地预测出未来网络中流量变化,为网络规划和维护提供可靠数据。大多已有的网络流量预测模型采用构建线性数学模型或神经网络模型的方法,这些现有的网络流量预测方法,多是单一采用线性或者非线性的方法进行处理,这种片面性造成预测的准确度和实时性难以保证。本专利针对上述问题,提出了一种基于GRU的网络流量预测方法。该方法将网络流量数据序列输入到建立好的多个GRU网络模型中,每个GRU模型采用不同的梯度下降算法,利用GRU神经网络模型分别预测后,将预测数据相加取平均得到预测的网络流量数据。网络流量数据是一个时间序列,其本质上具有一定的规律性和记忆性可循,本发明选择将神经网络模型中的GRU神经网络融入到网络流量预测中来,GRU网络具有良好的记忆性和对时间序列的表达能力。对于通常情况下的网络流量数据,其变化受着多种难以表达的因素影响,其序列具有高度非线性和非平稳性的复杂特性,并且在不同的网络环境条件下会有不同的特征,为了适应各种条件下的网络流量预测,本发明采用多个GRU神经网络模型,每个模型采用不同的梯度下降算法,最终将各个模型预测的数据相加求平均值得到预测的网络流量预测数据。本发明基于GRU的网络流量预测方法,利用采用不同梯度下降算法的GRU神经网络模型分别预测数据,最终相加求平均值得到预测的网络流量数据。本发明旨在当前技术的基础上,克服当前技术中存在的缺陷,进一步提升网络流量数据序列预测的准确度。
本发明的技术贡献:
网络流量预测广泛应用于网络的各个领域,其网络流量数据序列本质上是一种非线性时间序列,但由于受着多种不确定因素的影响,具有高度不稳定性的特性,这种特性使得网络流量数据难以用表达和表达,进而对未来网络的规划和维护变得困难。为此,网络流量预测显得极为重要。本发明提供一种基于GRU的网络流量预测方法。与已有工作相比,本发明的主要贡献在于以下几个方面:
(1)本发明利用GRU神经网络算法预测网络流量序列,GRU神经网络具有记忆性,能够对非线性时间序列做出较好的预测。
(2)为了使本发明提供的流量预测方法能够在不同情景下进行网络流量预测并保持较好的预测准确度,本发明提供的网络流量预测方法采用了多模型预测相加求平均值的方法,三个GRU模型采用不同的梯度下降算法进行预测,最终预测数据为求和取平均的值。
本发明的效果说明:
本发明利用GRU神经网络对网络流量数据序列进行预测,同时采用三个不同梯度下降算法的GRU模型,最后三种模型的预测值求和取平均的方法得到最终的预测的网络流量数据。
本发明通过GRU神经网络,能够记忆过去的网络流量数据变化的规律,GRU神经网络相对简单,资源占用少,表达非线性的网络流量序列能力强,用其对子序列分别进行预测,提升预测的效果。
本发明采用三种配备不同梯度下降法的GRU模型,其目的在于能够适应不同场景下的预测。

Claims (10)

1.一种基于GRU模型的网络流量预测方法,其特征在于:将网络流量数据序列输入到GRU神经网络模型中并完成预测网络流量。
2.根据权利要求1所述的一种基于GRU模型的网络流量预测方法,其特征在于:所述GRU神经网络模型的数量为三个,分别是GRU-SGD模型、GRU-Adam模型和GRU-AdaGrad模型,所述GRU-SGD模型为使用SGD梯度下降算法的神经网络模型,所述GRU-Adam模型为使用Adam梯度下降算法的神经网络模型,所述GRU-AdaGrad模型为使用AdaGrad梯度下降算法的神经网络模型,分别利用GRU-SGD模型、GRU-Adam模型和GRU-AdaGrad模型预测,将每一模型预测的数据相加求平均值得到预测的网络流量数据。
3.根据权利要求1所述的一种基于GRU模型的网络流量预测方法,其特征在于:具体地包括S1~S5步骤,
S1、获取历史网络流量数据;
S2、确定历史网络流量数据中的训练数据和验证数据;
S3、将训练数据带入到每一GRU神经网络模型中进行训练;
S4、通过三个GRU神经网络模型对验证数据进行预测;
S5、将预测得到的数据相加求平均得到预测的网络流量数据。
4.根据权利要求3所述的一种基于GRU模型的网络流量预测方法,其特征在于:其中S3步骤具体包括S31步骤,
S31、共有三种GRU神经网络模型,分别为GRU-SGD模型、GRU-Adam模型和GRU-AdaGrad模型,所述GRU-SGD模型为使用SGD梯度下降算法的神经网络模型,所述GRU-Adam模型为使用Adam梯度下降算法的神经网络模型,所述GRU-AdaGrad模型为使用AdaGrad梯度下降算法的神经网络模型,将训练数据分别输入到每一GRU神经网络模型中,训练数据首先在GRU神经网络模型中进行前向传播。
5.根据权利要求4所述的一种基于GRU模型的网络流量预测方法,其特征在于:其中S3步骤具体还包括S32步骤,
S32、计算时间的损失函数。
6.根据权利要求5所述的一种基于GRU模型的网络流量预测方法,其特征在于:其中S3步骤具体还包括S33步骤,
S33、使用反向链式求导,依次迭代直到损失函数收敛。
7.根据权利要求6所述的一种基于GRU模型的网络流量预测方法,其特征在于:其中S3步骤具体还包括S34步骤,
S34、所述GRU-SGD模型使用SGD梯度下降算法进行更新,所述GRU-Adam模型使用Adam梯度下降算法进行更新,所述GRU-AdaGrad模型使用AdaGrad梯度下降算法进行更新。
8.根据权利要求7所述的一种基于GRU模型的网络流量预测方法,其特征在于:其中S3步骤具体还包括S35步骤,
S35、重复S31~S34步骤,不断更新,直到损失函数<0.2时停止,模型训练完毕。
9.根据权利要求7所述的一种基于GRU模型的网络流量预测方法,其特征在于:其中S34步骤具体包括S341~S343步骤,
S341、GRU-SGD模型使用SGD梯度下降算法,计算出每个参数下降的量,从而更新;
S342、GRU-Adam模型使用Adam梯度下降算法,计算出每个参数下降的量,从而更新;
S343、GRU-AdaGrad模型使用AdaGrad梯度下降算法,计算出每个参数下降的量,从而更新。
10.根据权利要求1~9中任意一项所述的一种基于GRU模型的网络流量预测方法,其特征在于:基于服务器运行该方法。
CN201911343425.1A 2019-12-24 2019-12-24 一种基于gru模型的网络流量预测方法 Active CN111030889B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911343425.1A CN111030889B (zh) 2019-12-24 2019-12-24 一种基于gru模型的网络流量预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911343425.1A CN111030889B (zh) 2019-12-24 2019-12-24 一种基于gru模型的网络流量预测方法

Publications (2)

Publication Number Publication Date
CN111030889A true CN111030889A (zh) 2020-04-17
CN111030889B CN111030889B (zh) 2022-11-01

Family

ID=70211860

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911343425.1A Active CN111030889B (zh) 2019-12-24 2019-12-24 一种基于gru模型的网络流量预测方法

Country Status (1)

Country Link
CN (1) CN111030889B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111932010A (zh) * 2020-08-10 2020-11-13 重庆大学 一种基于骑行上下文信息的共享单车流量预测方法
CN111970206A (zh) * 2020-08-21 2020-11-20 北京浪潮数据技术有限公司 一种fc网络流量控制方法、装置及相关组件
CN113094860A (zh) * 2021-04-29 2021-07-09 北京邮电大学 一种基于注意力机制的工控网络流量建模方法
CN113746696A (zh) * 2021-08-02 2021-12-03 中移(杭州)信息技术有限公司 网络流量预测方法、设备、存储介质及装置
CN117060984A (zh) * 2023-10-08 2023-11-14 中国人民解放军战略支援部队航天工程大学 基于经验模态分解与bp神经网络的卫星网络流量预测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109062901A (zh) * 2018-08-14 2018-12-21 第四范式(北京)技术有限公司 神经网络训练方法和装置及命名实体识别方法和装置
CN109325624A (zh) * 2018-09-28 2019-02-12 国网福建省电力有限公司 一种基于深度学习的月度电力需求预测方法
CN109799533A (zh) * 2018-12-28 2019-05-24 中国石油化工股份有限公司 一种基于双向循环神经网络的储层预测方法
CN109816095A (zh) * 2019-01-14 2019-05-28 湖南大学 基于改进门控循环神经网络的网络流量预测方法
CN109889391A (zh) * 2019-03-13 2019-06-14 南京理工大学 一种基于组合模型的网络短时流量预测方法
WO2019208998A1 (ko) * 2018-04-27 2019-10-31 한국과학기술원 재귀적 신경망에서 시계열 데이터의 데이터 누락 및 노이즈에 강건한 gru 기반의 셀 구조 설계

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019208998A1 (ko) * 2018-04-27 2019-10-31 한국과학기술원 재귀적 신경망에서 시계열 데이터의 데이터 누락 및 노이즈에 강건한 gru 기반의 셀 구조 설계
CN109062901A (zh) * 2018-08-14 2018-12-21 第四范式(北京)技术有限公司 神经网络训练方法和装置及命名实体识别方法和装置
CN109325624A (zh) * 2018-09-28 2019-02-12 国网福建省电力有限公司 一种基于深度学习的月度电力需求预测方法
CN109799533A (zh) * 2018-12-28 2019-05-24 中国石油化工股份有限公司 一种基于双向循环神经网络的储层预测方法
CN109816095A (zh) * 2019-01-14 2019-05-28 湖南大学 基于改进门控循环神经网络的网络流量预测方法
CN109889391A (zh) * 2019-03-13 2019-06-14 南京理工大学 一种基于组合模型的网络短时流量预测方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111932010A (zh) * 2020-08-10 2020-11-13 重庆大学 一种基于骑行上下文信息的共享单车流量预测方法
CN111932010B (zh) * 2020-08-10 2023-09-22 重庆大学 一种基于骑行上下文信息的共享单车流量预测方法
CN111970206A (zh) * 2020-08-21 2020-11-20 北京浪潮数据技术有限公司 一种fc网络流量控制方法、装置及相关组件
CN113094860A (zh) * 2021-04-29 2021-07-09 北京邮电大学 一种基于注意力机制的工控网络流量建模方法
CN113094860B (zh) * 2021-04-29 2023-09-01 北京邮电大学 一种基于注意力机制的工控网络流量建模方法
CN113746696A (zh) * 2021-08-02 2021-12-03 中移(杭州)信息技术有限公司 网络流量预测方法、设备、存储介质及装置
CN117060984A (zh) * 2023-10-08 2023-11-14 中国人民解放军战略支援部队航天工程大学 基于经验模态分解与bp神经网络的卫星网络流量预测方法
CN117060984B (zh) * 2023-10-08 2024-01-09 中国人民解放军战略支援部队航天工程大学 基于经验模态分解与bp神经网络的卫星网络流量预测方法

Also Published As

Publication number Publication date
CN111030889B (zh) 2022-11-01

Similar Documents

Publication Publication Date Title
CN111030889B (zh) 一种基于gru模型的网络流量预测方法
CN110738360B (zh) 一种设备剩余寿命预测方法及***
CN110705692B (zh) 一种时空注意力网络的非线性动态工业过程产品预测方法
CN116757534B (zh) 一种基于神经训练网络的智能冰箱可靠性分析方法
CN111815053B (zh) 一种针对工业时序数据的预测方法及***
CN108879732B (zh) 电力***暂态稳定评估方法及装置
CN111625516A (zh) 检测数据状态的方法、装置、计算机设备和存储介质
CN113449919B (zh) 一种基于特征和趋势感知的用电量预测方法及***
CN112765894B (zh) 一种基于k-lstm的铝电解槽状态预测方法
CN115587666A (zh) 基于季节趋势分解和混合神经网络的负荷预测方法及***
CN114694379B (zh) 一种基于自适应动态图卷积的交通流预测方法及***
CN113393034A (zh) 一种在线自适应oselm-garch模型的电量预测方法
CN113095484A (zh) 基于lstm神经网络的股票价格预测方法
CN115308558A (zh) Cmos器件寿命预测方法、装置、电子设备及介质
Wu et al. Remaining useful life estimation based on a nonlinear Wiener process model with CSN random effects
CN114166509A (zh) 一种电机轴承故障预测方法
CN114330815A (zh) 一种基于改进goa优化lstm的超短期风电功率预测方法与***
CN116303786B (zh) 一种基于多维数据融合算法的区块链金融大数据管理***
CN113159395A (zh) 一种基于深度学习的污水处理厂进水流量预测方法及***
CN115759343A (zh) 一种基于e-lstm的用户电量预测方法和装置
CN113126489B (zh) 一种基于cnn-gru-binn的重型燃气轮机控制***智能bit设计方法
CN114970674A (zh) 一种基于关联度对齐的时序数据概念漂移适配方法
CN113570129A (zh) 带钢酸洗浓度的预测方法及计算机可读存储介质
CN112132310A (zh) 基于改进lstm的电力设备状态预估方法及装置
CN112232557A (zh) 基于长短期记忆网络的转辙机健康度短期预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant