CN113794601B - 网络流量处理方法、装置和计算机可读存储介质 - Google Patents
网络流量处理方法、装置和计算机可读存储介质 Download PDFInfo
- Publication number
- CN113794601B CN113794601B CN202110951512.6A CN202110951512A CN113794601B CN 113794601 B CN113794601 B CN 113794601B CN 202110951512 A CN202110951512 A CN 202110951512A CN 113794601 B CN113794601 B CN 113794601B
- Authority
- CN
- China
- Prior art keywords
- session
- network
- traffic
- data
- flow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 25
- 238000003860 storage Methods 0.000 title claims abstract description 13
- 238000010586 diagram Methods 0.000 claims abstract description 32
- 238000000034 method Methods 0.000 claims abstract description 28
- 238000012545 processing Methods 0.000 claims description 39
- 238000000605 extraction Methods 0.000 claims description 8
- 238000003062 neural network model Methods 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 7
- 239000000284 extract Substances 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000005111 flow chemistry technique Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 3
- 238000000059 patterning Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000013075 data extraction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0876—Network utilisation, e.g. volume of load or congestion level
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0893—Assignment of logical groups to network elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Environmental & Geological Engineering (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请公开了一种网络流量处理方法、装置和计算机可读存储介质,网络流量处理方法包括:获取网络流量,提取网络流量中的会话流量,会话流量对应一次会话;从会话流量中提取会话报文,获取会话报文的应用特征数据;将应用特征数据对应的灰度图输入至网络识别模型得到网络流量的流量信息。本申请通过提取网络流量中的会话流量,基于会话流量提取会话报文,然后采用网络识别模型对会话报文的应用特征数据的灰度图进行识别得到流量信息,如此,处理后的报文具有会话特征,从而提高网络流量的识别效率。
Description
技术领域
本申请涉及计算机网络安全技术领域,尤其涉及一种网络流量处理方法、装置和计算机可读存储介质。
背景技术
目前,在使用深度学习或者机器学习对流量进行业务分类、识别时,报文处理过程是采用单条数据进行截取、填充,不能保留报文的会话特征。或者是通过语义进行上下文关联,如此,需要进行大量的数据计算,对***资源如GPU、CPU等消耗较大。上述两种方式在处理大流量数据以及实时预测的网络数据时,会出现特征信息不明显,导致识别效率低的问题。
发明内容
本申请实施例通过提供一种网络流量处理方法、装置和计算机可读存储介质,旨在解决现有的网络流量识别效率低的问题。
为实现上述目的,本申请一方面提供一种网络流量处理方法,所述方法包括:
获取网络流量,提取所述网络流量中的会话流量,所述会话流量对应一次会话;
从所述会话流量中提取会话报文,获取所述会话报文的应用特征数据;
将所述应用特征数据对应的灰度图输入至网络识别模型得到所述网络流量的流量信息。
可选地,所述从所述会话流量中提取会话报文的步骤包括:
根据所述会话流量的接收时间对所述会话流量进行切片得到切片数据;
根据切片顺序从每个所述切片数据中提取所述会话报文;
所述将所述应用特征数据对应的灰度图输入至网络识别模型得到所述网络流量的流量信息的步骤包括:
根据每个所述切片数据的会话报文的应用特征数据生成每个所述切片数据的灰度图;
将所述会话流量的各个所述灰度图按照生成顺序一次输入所述网络识别模型得到所述网络流量的流量信息。
可选地,所述将所述应用特征数据对应的灰度图输入至网络识别模型得到所述网络流量的流量信息的步骤之后,包括:
获取所述会话流量中每个所述切片数据的识别结果;
在所述识别结果为预设结果的数量大于预设阈值时,确定所述网络流量的流量信息识别正确。
可选地,所述根据所述会话流量的接收时间对所述会话流量进行切片得到切片数据的步骤包括:
获取所述会话流量对应的会话的会话时长;
在所述会话时长小于预设时长时,将所述会话流量作为所述切片数据;
在所述会话时长大于预设时长时,根据所述会话流量的接收时间,每间隔所述预设时长对所述会话流量进行切片得到所述切片数据。
可选地,所述获取所述会话报文的应用特征数据的步骤包括:
获取每个所述切片数据的五元组特征,根据所述五元组特征标识所述会话报文,所述五元组特征包括源IP地址、目的IP地址、源端口、目的端口、传输协议;
获取标识后的所述会话报文的应用特征数据。
可选地,所述获取所述会话报文的应用特征数据的步骤,还包括:
将每个所述会话报文输入至对应的数据通道得到所述应用特征数据,所述会话报文的数量与所述数据通道的数量一致且均为至少两个。
可选地,所述获取网络流量,提取所述网络流量中的会话流量的步骤之前,包括:
获取历史网络流量,提取所述历史网络流量中的历史会话流量;
从所述历史会话流量中提取历史会话报文,获取所述历史会话报文的应用特征数据;
将所述应用特征数据对应的灰度图输入至预设的神经网络模型进行训练得到所述网络识别模型。
此外,为实现上述目的,本申请另一方面还提供一种网络流量处理装置,所述装置包括存储器、处理器及存储在存储器上并在所述处理器上运行的网络流量处理程序,所述处理器执行所述网络流量处理程序时实现如上所述网络流量处理方法的步骤。
此外,为实现上述目的,本申请另一方面还提供一种装置,所述所述装置包括获取模块、提取模块和识别模块,其中:
所述获取模块,用于获取网络流量,提取所述网络流量中的会话流量,所述会话流量对应一次会话;
所述提取模块,用于从所述会话流量中提取会话报文,获取所述会话报文的应用特征数据;
所述识别模块,用于将所述应用特征数据对应的灰度图输入至网络识别模型得到所述网络流量的流量信息。
此外,为实现上述目的,本申请另一方面还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有网络流量处理程序,所述网络流量处理程序被处理器执行时实现如上所述网络流量处理方法的步骤。
本申请提出一种网络流量处理方法,通过获取网络流量,提取网络流量中的会话流量,会话流量对应一次会话;从会话流量中提取会话报文,获取会话报文的应用特征数据;将应用特征数据对应的灰度图输入至网络识别模型得到网络流量的流量信息。本申请通过提取网络流量中的会话流量,基于会话流量提取会话报文,然后采用网络识别模型对会话报文的应用特征数据的灰度图进行识别得到流量信息,如此,处理后的报文具有会话特征,从而提高网络流量的识别效率。
附图说明
图1为本申请实施例方案涉及的硬件运行环境的终端结构示意图;
图2为本申请网络流量处理方法第一实施例的流程示意图;
图3为本申请网络流量处理方法中将所述应用特征数据对应的灰度图输入至网络识别模型得到所述网络流量的流量信息的步骤之后的流程示意图;
图4为为本申请网络流量处理方法的数据处理模型示意图;
图5为本申请网络流量处理方法的数据处理流程示意图;
图6为本申请网络流量处理方法的模块示意图。
本申请目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅用以解释本申请,并不用于限定本申请。
本申请实施例的主要解决方案是:获取网络流量,提取所述网络流量中的会话流量,所述会话流量对应一次会话;从所述会话流量中提取会话报文,获取所述会话报文的应用特征数据;将所述应用特征数据对应的灰度图输入至网络识别模型得到所述网络流量的流量信息。
由于现有在处理大流量数据以及实时预测的网络数据时,会出现特征信息不明显,导致识别效率低的问题。而本申请获取网络流量,提取网络流量中的会话流量,会话流量对应一次会话;从会话流量中提取会话报文,获取会话报文的应用特征数据;将应用特征数据对应的灰度图输入至网络识别模型得到网络流量的流量信息。本申请通过提取网络流量中的会话流量,基于会话流量提取会话报文,然后采用网络识别模型对会话报文的应用特征数据的灰度图进行识别得到流量信息,如此,处理后的报文具有会话特征,从而提高网络流量的识别效率。
如图1所示,图1为本申请实施例方案涉及的硬件运行环境的终端结构示意图。
如图1所示,该终端可以包括:处理器1001,例如CPU,网络接口1004,用户接口1003,存储器1005,通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的终端结构并不构成对终端设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种计算机可读存储介质的存储器1005中可以包括网络流量处理程序。
在图1所示的终端中,网络接口1004主要用于与后台服务器进行数据通信;用户接口1003主要用于与客户端(用户端)进行数据通信;处理器1001可以用于调用存储器1005中网络流量处理程序,并执行以下操作:
获取网络流量,提取所述网络流量中的会话流量,所述会话流量对应一次会话;
从所述会话流量中提取会话报文,获取所述会话报文的应用特征数据;
将所述应用特征数据对应的灰度图输入至网络识别模型得到所述网络流量的流量信息。
参考图2,图2为本申请网络流量处理方法第一实施例的流程示意图。
本申请实施例提供了一种网络流量处理方法,需要说明的是,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本实施例的网络流量处理方法,包括以下步骤:
步骤S10,获取网络流量,提取所述网络流量中的会话流量,所述会话流量对应一次会话;
需要说明的是,网络流量处理终端中设有网络流量获取模块、会话流量处理模块以及神经网络模型模块,各模块间存在数据交互,基于这三个模块实现对网络流量进行特征数据提取及识别。本申请是对终端中各个应用的流量信息进行识别。
在本实施例中,通过网络流量获取模块获取用户的网络流量,例如,对通过网卡的网络流量进行赋值,同时,在不影响网络业务的前提下将网络流量导入到会话流量处理模块。其中,网络流量获取模块采用高性能DPDK方案,直接通过用户态完成网络流量的复制。
会话流量处理模块在接收到网络流量获取模块导入的网络流量后,会自动提取网络流量中的会话流量,其中,该会话流量对应一次会话。例如,网络用户之间的信息交互,是通过网络数据包的交换来实现的,网络数据包中的五元组(源IP地址、目的IP地址、源端口、目的端口、传输协议)可以确定一次唯一的会话。因此,获取网络流量中的网络数据包,然后根据网络数据包中的五元组可以获取会话流量。
步骤S20,从所述会话流量中提取会话报文,获取所述会话报文的应用特征数据;
需要说明的是,会话报文中包括OSI模型(七层模型)数据,其中,OSI模型包括应用层、表示层、会话层、传输层、网络层、数据链路层以及物理层。目前采用OSI模型中的第二层(数据链路层)和第三层(网络层)的数据进行网络流量识别。但是,未经处理的会话报文包含有设备的MAC、IP等信息,同一个网络设备的源地址是相同的,如果将该段信息作为数据源进行深度学习的训练数据,那么在分类中源IP将会成为一个重要的特征,且该特征依赖于设备而非要识别的应用,故而会影响识别算法的准确性。其次,客户端应用发出的会话报文基于安全性考虑,通常会使用随机源port作为发送端口,故在识别应用类型时,需要排除报文中源端口的影响。再者,会话报文中的序列号是会话报文发送的编号,是设备在封包时自动计算出来的,与应用无关,并受限于网络设备的影响,故在识别应用时,需要排除该因素影响。综上所述,采用第二层(数据链路层)和第三层(网络层)数据会对识别结果造成干扰。而本申请是采用第七层(应用层)数据作为应用的特征数据,然后基于该应用的特征数据对终端中的应用进行流量信息识别,其中,直接采用第七层数据进行处理,可以使数据特征更聚焦,从而提高识别的准确性和效率。
基于会话流量处理模块,从会话流量中提取会话报文,然后获取会话报文的应用特征数据,其中,会话流量对应的一个会话中包括多条会话报文。一实施例中,根据会话流量的接收时间对会话流量进行切片得到切片数据,具体地,获取会话流量对应的会话的会话时长,其中,会话分为长链接和短链接,长链接的会话时长一般都会超过1秒,而短链接通常是单条或者几条报文完成一个会话,故会话时长不足1秒。因此,在会话时长小于预设时长(如1秒)时,将会话流量作为切片数据,例如,单次切片的最大时长为1秒,不满1秒的切片按照单次切片计算,并按照会话全量数据处理。在会话时长大于预设时长时,根据会话流量的接收时间,每间隔预设时长对会话流量进行切片得到切片数据,例如,在会话时长超过1秒时,按照会话流量的接收时间,每1秒对会话流量进行一次切片。其中,切片时长会影响数据的处理效率,而1秒的切片时长可以提高数据的处理效率,且特征信息充足。在获取到切片数据后,根据切片顺序从每个切片数据中提取会话报文,例如,从每个切片数据中提取四条报文。
在对会话流量进行切片时,获取每个切片数据的五元组特征,根据五元组特征标识会话报文,例如,将五元组特征附加到处理完成的会话报文头部,用于标识会话报文,然后获取标识后的会话报文的应用特征数据。其中,五元组特征包括源IP地址、目的IP地址、源端口、目的端口、传输协议,而源IP地址表明了网络数据包的起源,源端口是指用来发送数据的端口,目的IP地址解释了网络数据包的目的地,目的端口指用来接收数据的端口,传输层协议一般指的是传输层安全协议。其中,采用五元组特征标识会话报文后,为后续的获取应用特征数据提供了依据。
将每个采用五元组特征标识的会话报文输入至对应的数据通道得到应用特征数据,其中,会话报文的数量与数据通道的数量一致且均为至少两个。例如,将四条会话报文分别输入对应的数据通道中,每个数据通道通过DPDK(Data Plane Development Kit,数据平面开发套件)中的解包方法,剥离会话报文中第二层(数据链路层)、第三层(网络层)和第四层(传输层)的报文头数据,剩余的即为第七层(应用层)的特征数据。同时,数据通道还会对会话报文进行长度截取,例如,对会话报文进行16*16的长度截取,该长度可以包含流量中的大部分数据长度,对于部分过长数据,也可以保证其可包含数据中的主要特征信息。由于采用多个数据通道对会话报文进行并行处理,故减少了单条报文的截取长度。
步骤S30,将所述应用特征数据对应的灰度图输入至网络识别模型得到所述网络流量的流量信息。
获取数据通道输出的每条会话报文的应用特征数据,然后获取应用特征数据对应的灰度图,将灰度图输入至网络识别模型得到网络流量的流量信息。一实施例中,假设有四条数据通道,四条数据通道将组合成一组16*16*4的矩阵数据,将该矩阵数据传送至数据图形化模块,基于数据图形化模块将矩阵数据转换为图像,并对图像进行渲染、扁平化以及归一化处理得到每个切片数据的灰度图。然后,将会话流量的各个灰度图按照生成顺序一次输入网络识别模型得到网络流量的流量信息,即将每个切片数据的灰度图一个一个地输入至网络识别模型进行识别。其中,识别得到的网络流量的流量信息是指终端中某一应用的流量信息,例如,第一个切片数据的识别结果为:该条会话流量来至QQ。
一实施例中,网络识别模型是基于历史网络流量进行训练得到的。获取历史网络流量,提取历史网络流量中的历史会话流量;然后,从历史会话流量中提取历史会话报文;最后,获取历史会话报文的应用特征数据,并将应用特征数据对应的灰度图输入至预设的神经网络模型进行训练得到网络识别模型。其中,预设的神经网络模型可以为卷积神经网络(Convolutional Neural Networks,CNN)。
在实施例通过获取网络流量,提取网络流量中的会话流量,会话流量对应一次会话;从会话流量中提取会话报文,获取会话报文的应用特征数据;将应用特征数据对应的灰度图输入至网络识别模型得到网络流量的流量信息。本申请基于时间和会话对网络流量进行处理,使得处理后的流量具有会话特征和时序特征,使预测的会话报文具有更多的特征信息,从而提高识别的准确性。同时,通过对流量进行图片化处理,可用于深度神经网中的卷积神经网络,提高了识别的效率。
进一步地,参考图3,提出本申请网络流量处理方法第二实施例。
所述网络流量处理方法第二实施例与第一实施例的区别在于,所述将所述应用特征数据对应的灰度图输入至网络识别模型得到所述网络流量的流量信息的步骤之后,包括:
步骤S31,获取所述会话流量中每个所述切片数据的识别结果;
步骤S32,在所述识别结果为预设结果的数量大于预设阈值时,确定所述网络流量的流量信息识别正确。
为确保识别结果的准确性,网络识别模型会对同一个会话的多个切片数据进行阈值管理。一实施例中,基于CNN的网络识别模型在多分类判断上是按照相似率来输出识别结果的。每个切片数据根据其特征的携带数量不同,输出概率的大小也不同,故可以采用设定阈值(如大于60%)以及同一个会话的连续识别数量(如10秒内连续6次)来进行综合判断识别结果,其中,不足6次的按照实际次数进行判断。例如,网络模型识别出某个会话的切片数据89%的概率为QQ,此时,将该识别结果放入到阈值管理子程序中,该会话下一秒的会话报文会进行同样的处理。如此,阈值管理子程序中会源源不断的填充和替换数据,当达到设定值后会开始输出结果,或者设定时间(如10s)后检测阈值中数据不充分时可提示会话结束,同时输出阈值***中的值。例如,某个会话的切片数据在进行连续6次识别后,得到的识别结果为89%的概率为QQ有5次,即最终识别结果为83.3%概率为QQ,大于设定阈值60%,说明当前的识别结果正确。
本实施例的网络识别模型通过对同一个会话的多个切片数据进行阈值管理,如此,提高了识别结果的准确性。
为了更好地说明本申请的网络流量处理方法,参考图4,图4为本申请网络流量处理方法的数据处理模型示意图;
在本实施例中,网络流量处理终端中设有网络流量获取模块、会话流量处理模块以及神经网络模型模块,各模块间存在数据交互。
网络流量获取模块用于获取用户的流量,对通过网卡的流量进行复制,在不影响网络业务的前提下将流量导入会话流量处理模块。该模块采用高性能DPDK方案,直接通过用户态完成网络流量的复制。
会话流量处理模块用于实现会话提取,通道数据提取,通道数据整合等主要操作。
会话提取模块采用时间控制对会话流量进行切片,其中,单次切片的最大时长为1秒,不满1秒的切片按照单次切片计算。同时,在单次切片时会提取切片数据的五元组特征(源IP地址、目的IP地址、源端口、目的端口、传输协议)并作为标识信息附加到会话报文的头部。
单次切片数据会根据传输时的顺序提取出四条会话报文,每条报文对应一条数据通道,该数据通道用于填充报文中的第七层数据。结合游戏业务的数据量以及视频业务的数据量,本申请对第七层数据进行了16*16的长度截取,该长度可以包含流量中的大部分数据长度,对于部分过长数据,也可以保证其可包含数据中的主要特征信息。
四条会话报文数据通道将组合成一组16*16*4的矩阵数据,将矩阵数据传送至数据图形化模块,由数据图形化模块将负责将流量数据转换为图像,并对图像进行渲染、扁平化以及归一化处理得到灰度图,将灰度图像输入至网络识别模型得到网络流量的流量信息。
本实施例基于时间和会话对网络流量进行处理,使得处理后的流量具有会话特征和时序特征,使预测的会话报文具有更多的特征信息,从而提高识别的准确性。同时,通过对流量进行图片化处理,可用于深度神经网中的卷积神经网络,提高了识别的效率。
进一步参考图5,图5为本申请网络流量处理方法的数据处理流程示意图;
本申请的网络流量处理方法的数据处理流程包括以下步骤:
网卡处基于DPDK收集网络流量,并按照网络流量的接收时间对会话流量进行切片得到切片数据;
网卡采用多线程模式将切片数据发送至数据处理模块;
数据处理模块对切片数据的网络特征进行提取;
数据处理模块对切片数据进行第七层数据提取;
数据处理模块对第七层数据进行截取;
数据处理模块对截取的数据进行4通道组合,组成矩阵数据;
矩阵数据进行图形化、扁平化、归一化操作得到灰度图;
数据处理模块将灰度图发送到网络识别模型,用于神经网络计算;
网络识别模型对同一个会话的多个切片进行阈值管理。
本实施例基于时间和会话对网络流量进行处理,使得处理后的流量具有会话特征和时序特征,使预测的会话报文具有更多的特征信息,从而提高识别的准确性。同时,通过对流量进行图片化处理,可用于深度神经网中的卷积神经网络,提高了识别的效率。
此外,本申请还提供一种网络流量处理装置,所述装置包括存储器、处理器及存储在存储器上并在所述处理器上运行的网络流量处理程序,所述处理器执行所述网络流量处理程序时实现如上所述网络流量处理方法的步骤。
参考图6,所述网络流量处理装置100包括获取模块10、提取模块20和识别模块30,其中:
所述获取模块10,用于获取网络流量,提取所述网络流量中的会话流量,所述会话流量对应一次会话;
所述提取模块20,用于从所述会话流量中提取会话报文,获取所述会话报文的应用特征数据;
所述识别模块30,用于将所述应用特征数据对应的灰度图输入至网络识别模型得到所述网络流量的流量信息。
此外,本申请还提供一种计算机可读存储介质,该计算机可读存储介质上存储有网络流量处理方法程序,网络流量处理方法程序被处理器执行时实现如上网络流量处理方法的步骤。
本领域内的技术人员应明白,本申请的实施例可提供为方法、***、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
应当注意的是,在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本申请可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
尽管已描述了本申请的可选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括可选实施例以及落入本申请范围的所有变更和修改。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (7)
1.一种网络流量处理方法,其特征在于,所述方法包括:
获取网络流量,提取所述网络流量中的会话流量,所述会话流量对应一次会话,所述一次会话中包括多条会话报文;
从所述会话流量中提取会话报文,获取所述会话报文的应用特征数据;
将所述应用特征数据对应的灰度图输入至网络识别模型得到所述网络流量的流量信息,所述应用特征数据指应用层的特征数据;
所述从所述会话流量中提取会话报文的步骤包括:
根据所述会话流量的接收时间对所述会话流量进行切片得到切片数据,其中,将会话时长小于预设时长的所述会话流量作为所述切片数据,在会话时长大于预设时长时,根据所述会话流量的接收时间,每间隔预设时长对所述会话流量进行切片得到所述切片数据;
根据切片顺序从每个所述切片数据中提取所述会话报文;
所述将所述应用特征数据对应的灰度图输入至网络识别模型得到所述网络流量的流量信息的步骤包括:
根据每个所述切片数据的会话报文的应用特征数据生成每个所述切片数据的灰度图;
将所述会话流量的各个所述灰度图按照生成顺序一个一个输入所述网络识别模型得到所述网络流量的流量信息;
所述将所述应用特征数据对应的灰度图输入至网络识别模型得到所述网络流量的流量信息的步骤之后,包括:
获取所述会话流量中每个所述切片数据的识别结果;
在所述识别结果为预设结果的数量大于预设阈值时,确定所述网络流量的流量信息识别正确。
2.如权利要求1所述的网络流量处理方法,其特征在于,所述获取所述会话报文的应用特征数据的步骤包括:
获取每个所述切片数据的五元组特征,根据所述五元组特征标识所述会话报文,所述五元组特征包括源IP地址、目的IP地址、源端口、目的端口、传输协议;
获取标识后的所述会话报文的应用特征数据。
3.如权利要求1所述的网络流量处理方法,其特征在于,所述获取所述会话报文的应用特征数据的步骤,还包括:
将每个所述会话报文输入至对应的数据通道得到所述应用特征数据,所述会话报文的数量与所述数据通道的数量一致且均为至少两个。
4.如权利要求1所述的网络流量处理方法,其特征在于,所述获取网络流量,提取所述网络流量中的会话流量的步骤之前,包括:
获取历史网络流量,提取所述历史网络流量中的历史会话流量;
从所述历史会话流量中提取历史会话报文,获取所述历史会话报文的应用特征数据;
将所述应用特征数据对应的灰度图输入至预设的神经网络模型进行训练得到所述网络识别模型。
5.一种网络流量处理装置,其特征在于,所述装置包括存储器、处理器及存储在存储器上并在所述处理器上运行的网络流量处理程序,所述处理器执行所述网络流量处理程序时实现如权利要求1至4中任一项所述的方法的步骤。
6.一种网络流量处理装置,其特征在于,所述装置包括获取模块、提取模块和识别模块,其中:
所述获取模块,用于获取网络流量,提取所述网络流量中的会话流量,所述会话流量对应一次会话;
所述提取模块,用于从所述会话流量中提取会话报文,获取所述会话报文的应用特征数据,所述一次会话中包括多条会话报文;
所述识别模块,用于将所述应用特征数据对应的灰度图输入至网络识别模型得到所述网络流量的流量信息;
所述提取模块,还用于根据所述会话流量的接收时间对所述会话流量进行切片得到切片数据,其中,将会话时长小于预设时长的所述会话流量作为所述切片数据,在会话时长大于预设时长时,根据所述会话流量的接收时间,每间隔预设时长对所述会话流量进行切片得到所述切片数据;根据切片顺序从每个所述切片数据中提取所述会话报文;
所述识别模块,还用于根据每个所述切片数据的会话报文的应用特征数据生成每个所述切片数据的灰度图;将所述会话流量的各个所述灰度图按照生成顺序一个一个输入所述网络识别模型得到所述网络流量的流量信息;获取所述会话流量中每个所述切片数据的识别结果;在所述识别结果为预设结果的数量大于预设阈值时,确定所述网络流量的流量信息识别正确。
7.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有网络流量处理程序,所述网络流量处理程序被处理器执行时实现如权利要求1至4中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110951512.6A CN113794601B (zh) | 2021-08-17 | 2021-08-17 | 网络流量处理方法、装置和计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110951512.6A CN113794601B (zh) | 2021-08-17 | 2021-08-17 | 网络流量处理方法、装置和计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113794601A CN113794601A (zh) | 2021-12-14 |
CN113794601B true CN113794601B (zh) | 2024-03-22 |
Family
ID=78876129
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110951512.6A Active CN113794601B (zh) | 2021-08-17 | 2021-08-17 | 网络流量处理方法、装置和计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113794601B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114254704A (zh) * | 2021-12-20 | 2022-03-29 | 北京天融信网络安全技术有限公司 | 一种http隧道检测方法、装置、电子设备及存储介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103457909A (zh) * | 2012-05-29 | 2013-12-18 | ***通信集团湖南有限公司 | 一种僵尸网络检测方法及装置 |
CN109150859A (zh) * | 2018-08-02 | 2019-01-04 | 北京北信源信息安全技术有限公司 | 一种基于网络流量流向相似性的僵尸网络检测方法 |
CN110011931A (zh) * | 2019-01-25 | 2019-07-12 | 中国科学院信息工程研究所 | 一种加密流量类别检测方法及*** |
CN110417729A (zh) * | 2019-06-12 | 2019-11-05 | 中国科学院信息工程研究所 | 一种加密流量的服务与应用分类方法及*** |
CN111160427A (zh) * | 2019-12-17 | 2020-05-15 | 博雅信安科技(北京)有限公司 | 一种基于神经网络的海量流量数据类型的检测方法 |
CN111464485A (zh) * | 2019-01-22 | 2020-07-28 | 北京金睛云华科技有限公司 | 一种加密代理流量检测方法和装置 |
CN112104570A (zh) * | 2020-09-11 | 2020-12-18 | 南方电网科学研究院有限责任公司 | 流量分类方法、装置、计算机设备和存储介质 |
CN112491643A (zh) * | 2020-11-11 | 2021-03-12 | 北京马赫谷科技有限公司 | 深度报文检测方法、装置、设备及存储介质 |
CN113179223A (zh) * | 2021-04-23 | 2021-07-27 | 中山大学 | 一种基于深度学习和序列化特征的网络应用识别方法及*** |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3293937A1 (en) * | 2016-09-12 | 2018-03-14 | Vectra Networks, Inc. | Method and system for detecting malicious payloads |
-
2021
- 2021-08-17 CN CN202110951512.6A patent/CN113794601B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103457909A (zh) * | 2012-05-29 | 2013-12-18 | ***通信集团湖南有限公司 | 一种僵尸网络检测方法及装置 |
CN109150859A (zh) * | 2018-08-02 | 2019-01-04 | 北京北信源信息安全技术有限公司 | 一种基于网络流量流向相似性的僵尸网络检测方法 |
CN111464485A (zh) * | 2019-01-22 | 2020-07-28 | 北京金睛云华科技有限公司 | 一种加密代理流量检测方法和装置 |
CN110011931A (zh) * | 2019-01-25 | 2019-07-12 | 中国科学院信息工程研究所 | 一种加密流量类别检测方法及*** |
CN110417729A (zh) * | 2019-06-12 | 2019-11-05 | 中国科学院信息工程研究所 | 一种加密流量的服务与应用分类方法及*** |
CN111160427A (zh) * | 2019-12-17 | 2020-05-15 | 博雅信安科技(北京)有限公司 | 一种基于神经网络的海量流量数据类型的检测方法 |
CN112104570A (zh) * | 2020-09-11 | 2020-12-18 | 南方电网科学研究院有限责任公司 | 流量分类方法、装置、计算机设备和存储介质 |
CN112491643A (zh) * | 2020-11-11 | 2021-03-12 | 北京马赫谷科技有限公司 | 深度报文检测方法、装置、设备及存储介质 |
CN113179223A (zh) * | 2021-04-23 | 2021-07-27 | 中山大学 | 一种基于深度学习和序列化特征的网络应用识别方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN113794601A (zh) | 2021-12-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10891177B2 (en) | Message management method and device, and storage medium | |
WO2022257436A1 (zh) | 基于无线通信网络数据仓库构建方法、***、设备及介质 | |
CN105302885B (zh) | 一种全文数据的提取方法和装置 | |
CN107769992B (zh) | 一种报文解析分流方法及装置 | |
CN113794601B (zh) | 网络流量处理方法、装置和计算机可读存储介质 | |
CN109299742A (zh) | 自动发现未知网络流的方法、装置、设备及存储介质 | |
CN112738547B (zh) | 一种实时统计直播在线人数的*** | |
CN112966608A (zh) | 一种基于边端协同的目标检测方法、***及存储介质 | |
CN115473850B (zh) | 一种基于ai的实时数据过滤方法、***及存储介质 | |
CN112350956A (zh) | 一种网络流量识别方法、装置、设备及机器可读存储介质 | |
CN111404768A (zh) | 一种dpi识别的实现方法及设备 | |
CN109710502A (zh) | 日志传输方法、装置及存储介质 | |
US20210158217A1 (en) | Method and Apparatus for Generating Application Identification Model | |
CN116489019A (zh) | 一种智能视觉信令通道管理方法、***及介质 | |
CN114978585B (zh) | 基于流量特征的深度学习对称加密协议识别方法 | |
CN116112209A (zh) | 漏洞攻击流量检测方法及装置 | |
CN115801927A (zh) | 报文解析方法及装置 | |
CN115567457A (zh) | Tsn网络数据传输方法及装置 | |
EP4131873A1 (en) | Traffic identification method and traffic identification device | |
CN111404832B (zh) | 一种基于连续tcp链接的业务分类方法和装置 | |
CN110278225A (zh) | 报文处理方法、装置及设备、计算机可读存储介质 | |
US20110019581A1 (en) | Method for identifying packets and apparatus using the same | |
CN116743506B (zh) | 一种基于四元数卷积神经网络的加密流量识别方法及装置 | |
CN118368611B (zh) | 一种5g结合4g的多卡捆绑数据传输方法 | |
CN117395162B (zh) | 利用加密流量识别操作***的方法、***、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |