CN108234496A - 一种基于神经网络的流量预测方法 - Google Patents

一种基于神经网络的流量预测方法 Download PDF

Info

Publication number
CN108234496A
CN108234496A CN201810011664.6A CN201810011664A CN108234496A CN 108234496 A CN108234496 A CN 108234496A CN 201810011664 A CN201810011664 A CN 201810011664A CN 108234496 A CN108234496 A CN 108234496A
Authority
CN
China
Prior art keywords
data
neural network
moment
lstm models
predicting based
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810011664.6A
Other languages
English (en)
Inventor
滕建桓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bao Mu Science And Technology (tianjin) Co Ltd
Original Assignee
Bao Mu Science And Technology (tianjin) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bao Mu Science And Technology (tianjin) Co Ltd filed Critical Bao Mu Science And Technology (tianjin) Co Ltd
Priority to CN201810011664.6A priority Critical patent/CN108234496A/zh
Publication of CN108234496A publication Critical patent/CN108234496A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/142—Network analysis or design using statistical or mathematical methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/147—Network analysis or design for predicting network behaviour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H04L63/1458—Denial of Service

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Algebra (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pure & Applied Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种基于神经网络的流量预测方法，按设定采样时间周期对计算机数据进行采样，确定训练集的窗口长度为3，配合使用数据采样、数据集设定、LSTM模型训练及数据判断，可以实现异常流量的预防和检测，具有自动程度高，检测速度快及应用范围广的特点。

Description

一种基于神经网络的流量预测方法
技术领域
本发明属于网络人工智能领域，尤其是涉及一种基于神经网络的流量预测方法。
背景技术
随着信息技术的发展，工业控制***逐步走向开放，互联，通用。很多工业控制协议逐渐运行于工业以太网上,如果能够预测工业以太网的流量速度，会给工业以太网的异常流量识别提供强大的技术保障。现有的技术方案，一般采用ARMA模型来预测互联网流量，但有如下缺点：第一、必需先通过人工收集大量的历史数据。第二、得到的预测函数仅仅适用当时收集数据的网线环境。第三、每种不同的场景都需要不同单独分析计算
发明内容
有鉴于此，本发明旨在提出一种基于神经网络的流量预测方法，配合使用数据采样、数据集设定、LSTM模型训练及数据判断，可以实现异常流量的预防和检测，具有自动程度高，检测速度快及应用范围广的特点。
为达到上述目的，本发明的技术方案是这样实现的：
一种基于神经网络的流量预测方法，包括：
步骤1：按设定采样时间周期对计算机数据进行采样，得到采样数据向量；X＝[X1,X2,X3...Xt...Xn]，Xt为时刻t的流量采样结果，n为采样数据个数；
步骤2：确定训练集的窗口长度为3，即利用前3个时刻t-2,t-1,t的数据Xt-2,Xt-1,Xt来预测下一个时刻t+1的实际流量Xt+1,其中为了方便于训练，t+1时刻的数据我们用ht+1表示，时刻t-2,t-1,t的数据用Zt＝[Xt-2,Xt-1,Xt]表示，得到数据集[Z,h]；
步骤3：将步骤2的数据集[Z,h]按4:1进行划分，其中的80％作为训练集，剩下的20％作为验证数据集；
步骤4：将步骤3中数据集[Z,h]的80％训练集，代入LSTM模型中，进行模型训练，得到LSTM模型；
步骤5：将步骤3中数据集[Z,h]的20％验证集，代入LSTM模型中，进行验证，防止过度拟合；
步骤6：对需要预测的计算机流量，按步骤1中相同的采样时间周期采样，得到三个数据X1,X2,X3，带入步骤5中的最终得到的LSTM模型，得到h4,即预测的X4；进一步采集实际的X4,组成X2,X3,X4，带入得到的LSTM模型得到X5；依次类推,可得到预测数据[X4,X5,X6,X7…]以及实际数据[X4,X5,X6,X7…]，进而可进行异常流量的判断，当实际数据大于预测数据时，阻断对应的数据连接，防止DDoS攻击。
进一步的，在步骤1中，采样周期为1秒钟，采样时间为一周，这样n等于7*24*60*3600＝36288000。
进一步的，在步骤3-5中，选择均方误差(mean squared error)作为误差的计算方式。
进一步的，在步骤3-5中，选择RMSprop算法作为权重参数的迭代更新方式。
相对于现有技术，本发明所述的一种基于神经网络的流量预测方法，具有以下优势：
本发明所述的一种基于神经网络的流量预测方法，配合使用数据采样、数据集设定、LSTM模型训练及数据判断，可以实现异常流量的预防和检测，具有自动程度高，检测速度快及应用范围广的特点。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
在附图中：
图1为本发明实施例所述的一种基于神经网络的流量预测方法流程示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。
下面将参考附图并结合实施例来详细说明本发明。
如图1所示，一种基于神经网络的流量预测方法，包括：
步骤1：按设定采样时间周期对计算机数据进行采样，得到采样数据向量:X＝[X1,X2,X3...Xt...Xn]，Xt为时刻t的流量采样结果，n为采样数据个数；
步骤2：确定训练集的窗口长度为3，即利用前3个时刻t-2,t-1,t的数据Xt-2,Xt-1,Xt来预测下一个时刻t+1的实际流量Xt+1,其中为了方便于训练，t+1时刻的数据我们用ht+1表示，时刻t-2,t-1,t的数据用Zt＝[Xt-2,Xt-1,Xt]表示，得到数据集[Z,h]；
步骤3：将步骤2的数据集[Z,h]按4:1进行划分，其中的80％作为训练集，剩下的20％作为验证数据集；
步骤4：将步骤3中数据集[Z,h]的80％训练集，代入LSTM模型中，进行模型训练，得到LSTM模型；
步骤5：将步骤3中数据集[Z,h]的20％验证集，代入LSTM模型中，进行验证，防止过度拟合；
步骤6：对需要预测的计算机流量，按步骤1中相同的采样时间周期采样，得到三个数据X1,X2,X3，带入步骤5中的最终得到的LSTM模型，得到h4,即预测的X4；进一步采集实际的X4,组成X2,X3,X4，带入得到的LSTM模型得到X5；依次类推,可得到预测数据[X4,X5,X6,X7…]以及实际数据[X4,X5,X6,X7…]，进而可进行异常流量的判断，当实际数据大于预测数据时，阻断对应的数据连接，防止DDoS攻击。
如图1所示，在步骤1中，采样周期为1秒钟，采样时间为一周，这样n等于7*24*60*3600＝36288000。
如图1所示，在步骤3-5中，选择均方误差(mean squared error)作为误差的计算方式。
如图1所示，在步骤3-5中，选择RMSprop算法作为权重参数的迭代更新方式。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于神经网络的流量预测方法，其特征在于：包括：
步骤1：按设定采样时间周期对计算机数据进行采样，得到采样数据向量；X＝[X1,X2,X3...Xt...Xn]，Xt为时刻t的流量采样结果，n为采样数据个数；
步骤2：确定训练集的窗口长度为3，即利用前3个时刻t-2,t-1,t的数据Xt-2,Xt-1,Xt来预测下一个时刻t+1的实际流量Xt+1,其中为了方便于训练，t+1时刻的数据我们用ht+1表示，时刻t-2,t-1,t的数据用Zt＝[Xt-2,Xt-1,Xt]表示，得到数据集[Z,h]；
步骤3：将步骤2的数据集[Z,h]按4:1进行划分，其中的80％作为训练集，剩下的20％作为验证数据集；
步骤4：将步骤3中数据集[Z,h]的80％训练集，代入LSTM模型中，进行模型训练，得到LSTM模型；
步骤5：将步骤3中数据集[Z,h]的20％验证集，代入LSTM模型中，进行验证，防止过度拟合；
步骤6：对需要预测的计算机流量，按步骤1中相同的采样时间周期采样，得到三个数据X1,X2,X3，带入步骤5中的最终得到的LSTM模型，得到h4,即预测的X 4；进一步采集实际的X4,组成X2,X3,X4，带入得到的LSTM模型得到X 5；依次类推,可得到预测数据[X 4,X 5,X 6,X 7…]以及实际数据[X4,X5,X6,X7…]，进而可进行异常流量的判断，当实际数据大于预测数据时，阻断对应的数据连接，防止DDoS攻击。
2.根据权利要求1所述的一种基于神经网络的流量预测方法，其特征在于：在步骤1中，采样周期为1秒钟，采样时间为一周，这样n等于7*24*60*3600＝36288000。
3.根据权利要求2所述的一种基于神经网络的流量预测方法，其特征在于：在步骤3-5中，选择均方误差(mean squared error)作为误差的计算方式。
4.根据权利要求3所述的一种基于神经网络的流量预测方法，其特征在于：在步骤3-5中，选择RMSprop算法作为权重参数的迭代更新方式。
CN201810011664.6A 2018-01-05 2018-01-05 一种基于神经网络的流量预测方法 Pending CN108234496A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810011664.6A CN108234496A (zh) 2018-01-05 2018-01-05 一种基于神经网络的流量预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810011664.6A CN108234496A (zh) 2018-01-05 2018-01-05 一种基于神经网络的流量预测方法

Publications (1)

Publication Number Publication Date
CN108234496A true CN108234496A (zh) 2018-06-29

Family

ID=62645302

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810011664.6A Pending CN108234496A (zh) 2018-01-05 2018-01-05 一种基于神经网络的流量预测方法

Country Status (1)

Country Link
CN (1) CN108234496A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108900546A (zh) * 2018-08-13 2018-11-27 杭州安恒信息技术股份有限公司 基于lstm的时间序列网络异常检测的方法与装置
CN109194498A (zh) * 2018-07-27 2019-01-11 南京理工大学 一种基于lstm的网络流量预测方法
CN109413071A (zh) * 2018-10-31 2019-03-01 新华三信息安全技术有限公司 一种异常流量检测方法及装置
CN109522716A (zh) * 2018-11-15 2019-03-26 中国人民解放军战略支援部队信息工程大学 一种基于时序神经网络的网络入侵检测方法及装置
CN110008079A (zh) * 2018-12-25 2019-07-12 阿里巴巴集团控股有限公司 监控指标异常检测方法、模型训练方法、装置及设备
CN110661781A (zh) * 2019-08-22 2020-01-07 中科创达软件股份有限公司 一种DDoS攻击检测方法、装置、电子设备和存储介质
CN111371626A (zh) * 2020-03-20 2020-07-03 南京大学 一种基于神经网络的带宽预测方法
CN112073255A (zh) * 2020-03-25 2020-12-11 长扬科技（北京）有限公司 基于深度学习的工控网络流量预测方法、装置
CN112364304A (zh) * 2020-11-20 2021-02-12 深圳前海微众银行股份有限公司 一种区块链的日蚀攻击检测方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103716180A (zh) * 2013-12-04 2014-04-09 国网上海市电力公司 基于网络流量实际预测的网络异常预警方法
CN103973663A (zh) * 2013-02-01 2014-08-06 ***通信集团河北有限公司 一种ddos攻击动态阈值异常流量检测方法及装置
US20150128263A1 (en) * 2013-11-07 2015-05-07 Cyberpoint International, LLC Methods and systems for malware detection
US20170339022A1 (en) * 2016-05-17 2017-11-23 Brocade Communications Systems, Inc. Anomaly detection and prediction in a packet broker

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103973663A (zh) * 2013-02-01 2014-08-06 ***通信集团河北有限公司 一种ddos攻击动态阈值异常流量检测方法及装置
US20150128263A1 (en) * 2013-11-07 2015-05-07 Cyberpoint International, LLC Methods and systems for malware detection
CN103716180A (zh) * 2013-12-04 2014-04-09 国网上海市电力公司 基于网络流量实际预测的网络异常预警方法
US20170339022A1 (en) * 2016-05-17 2017-11-23 Brocade Communications Systems, Inc. Anomaly detection and prediction in a packet broker

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109194498A (zh) * 2018-07-27 2019-01-11 南京理工大学 一种基于lstm的网络流量预测方法
CN109194498B (zh) * 2018-07-27 2021-10-08 南京理工大学 一种基于lstm的网络流量预测方法
CN108900546A (zh) * 2018-08-13 2018-11-27 杭州安恒信息技术股份有限公司 基于lstm的时间序列网络异常检测的方法与装置
CN109413071B (zh) * 2018-10-31 2021-08-06 新华三信息安全技术有限公司 一种异常流量检测方法及装置
CN109413071A (zh) * 2018-10-31 2019-03-01 新华三信息安全技术有限公司 一种异常流量检测方法及装置
CN109522716A (zh) * 2018-11-15 2019-03-26 中国人民解放军战略支援部队信息工程大学 一种基于时序神经网络的网络入侵检测方法及装置
CN110008079A (zh) * 2018-12-25 2019-07-12 阿里巴巴集团控股有限公司 监控指标异常检测方法、模型训练方法、装置及设备
CN110661781A (zh) * 2019-08-22 2020-01-07 中科创达软件股份有限公司 一种DDoS攻击检测方法、装置、电子设备和存储介质
CN110661781B (zh) * 2019-08-22 2022-05-17 中科创达软件股份有限公司 一种DDoS攻击检测方法、装置、电子设备和存储介质
CN111371626A (zh) * 2020-03-20 2020-07-03 南京大学 一种基于神经网络的带宽预测方法
CN111371626B (zh) * 2020-03-20 2021-05-28 南京大学 一种基于神经网络的带宽预测方法
CN112073255B (zh) * 2020-03-25 2021-07-20 长扬科技（北京）有限公司 基于深度学习的工控网络流量预测方法、装置
CN112073255A (zh) * 2020-03-25 2020-12-11 长扬科技（北京）有限公司 基于深度学习的工控网络流量预测方法、装置
CN112364304A (zh) * 2020-11-20 2021-02-12 深圳前海微众银行股份有限公司 一种区块链的日蚀攻击检测方法及装置

Similar Documents

Publication Publication Date Title
CN108234496A (zh) 一种基于神经网络的流量预测方法
Zhang et al. Optimizing minimum and maximum green time settings for traffic actuated control at isolated intersections
CN104021674B (zh) 一种快速准确预测车辆通过路段旅行时间的方法
Burger et al. Considerations for model-based traffic control
Daamen et al. Calibration of pedestrian simulation model for emergency doors by pedestrian type
CN111158401B (zh) 一种分布式鼓励时空数据探索的无人机路径规划***及方法
CN106710215B (zh) 瓶颈上游车道级交通状态预测***及实现方法
CN105761488A (zh) 基于融合的实时极限学习机短时交通流预测方法
CN112435469B (zh) 车辆预警控制方法、装置、计算机可读介质及电子设备
CN109977552A (zh) 一种考虑状态检测影响的设备剩余寿命预测方法及***
CN110991776A (zh) 一种基于gru网络实现水位预测的方法及***
KR102063404B1 (ko) 플랫폼 기반 교통체계안전시스템 및 그 운용방법
CN113191485B (zh) 一种基于narx神经网络的电力信息网络安全检测***及方法
CN110422175A (zh) 车辆状态估计方法以及装置、电子设备、存储介质、车辆
CN117141520B (zh) 一种实时轨迹规划方法、装置和设备
CN112911497A (zh) 一种合作类无人机轨迹实时预测方法及***
US10706720B2 (en) Predicting vehicle travel times by modeling heterogeneous influences between arterial roads
CN108831162A (zh) 移动通信终端的交通信号控制方法及交通信号控制***
CN108376470A (zh) 基于粒子群算法的交通道路拥堵预测方法
CN107730882A (zh) 基于人工智能的道路拥堵预测***及方法
Fleck et al. Infinitesimal perturbation analysis for quasi-dynamic traffic light controllers
CN102932337A (zh) 一种网络安全状态预测方法
Majid et al. Distributed model predictive control of freeway traffic networks: A serial partially cooperative approach
Golchoubian et al. Uncertainty-Aware DRL for Autonomous Vehicle Crowd Navigation in Shared Space
Sutarto et al. Modeling, identification, estimation, and simulation of urban traffic flow in Jakarta and Bandung

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180629

RJ01 Rejection of invention patent application after publication