CN112751781A - 流量数据的处理方法、装置、设备及计算机存储介质 - Google Patents
流量数据的处理方法、装置、设备及计算机存储介质 Download PDFInfo
- Publication number
- CN112751781A CN112751781A CN201911051320.9A CN201911051320A CN112751781A CN 112751781 A CN112751781 A CN 112751781A CN 201911051320 A CN201911051320 A CN 201911051320A CN 112751781 A CN112751781 A CN 112751781A
- Authority
- CN
- China
- Prior art keywords
- flow
- configuration information
- data
- network
- gateway
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 230
- 238000000034 method Methods 0.000 title claims abstract description 205
- 238000003860 storage Methods 0.000 title claims abstract description 70
- 230000008569 process Effects 0.000 claims abstract description 70
- 241000406668 Loxodonta cyclotis Species 0.000 claims description 186
- 238000004458 analytical method Methods 0.000 claims description 96
- 238000003012 network analysis Methods 0.000 claims description 70
- 238000005206 flow analysis Methods 0.000 claims description 47
- 238000004590 computer program Methods 0.000 claims description 21
- 230000002776 aggregation Effects 0.000 claims description 11
- 238000004220 aggregation Methods 0.000 claims description 11
- 238000012163 sequencing technique Methods 0.000 claims description 10
- 238000005538 encapsulation Methods 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 6
- 238000007726 management method Methods 0.000 description 43
- 238000010586 diagram Methods 0.000 description 30
- 238000003672 processing method Methods 0.000 description 24
- 230000001133 acceleration Effects 0.000 description 14
- 238000004891 communication Methods 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 238000013461 design Methods 0.000 description 9
- 238000012986 modification Methods 0.000 description 8
- 230000004048 modification Effects 0.000 description 8
- 238000013507 mapping Methods 0.000 description 6
- 238000011161 development Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000010223 real-time analysis Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 101000652292 Homo sapiens Serotonin N-acetyltransferase Proteins 0.000 description 1
- 102100030547 Serotonin N-acetyltransferase Human genes 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
- H04L47/2441—Traffic characterised by specific attributes, e.g. priority or QoS relying on flow classification, e.g. using integrated services [IntServ]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/66—Arrangements for connecting between networks having differing types of switching systems, e.g. gateways
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
- H04L47/2483—Traffic characterised by specific attributes, e.g. priority or QoS involving identification of individual flows
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明实施例提供了一种流量数据的处理方法、装置、设备及计算机存储介质,应用于第一类型网关,方法包括:获取待处理的网络流量数据;确定网络流量数据的流量分类信息;在网络流量数据为第一流量数据时,则对网络流量数据进行处理;或者,在网络流量数据为第二流量数据时,则将网络流量数据发送至第二类型网关,以使第二类型网关对网络流量数据进行处理。该方法可以基于第一类型网关对网络流量数据进行处理,在第一类型网关无法对网络流量数据进行处理时,则利用第二类型网关对网络流量数据进行处理,从而有效地保证了对网络流量数据进行处理的稳定可靠性。
Description
技术领域
本发明涉及通信技术领域,尤其涉及一种流量数据的处理方法、装置、设备及计算机存储介质。
背景技术
随着网络技术的飞速发展,在公共云、混合云环境中,用户的云上虚拟机与互联网或者云下IDC机房进行网络通信时,需要经过虚拟网关设备,打通云上虚拟网络和云下传统网络。过去云计算厂商一般选择基于x86服务器的软件方案来实现虚拟网关设备。然而,随着物联网、5G、视频等业务的发展,用户的云上到云下之间的流量越来越大,对转发时延越来越敏感,使用服务器作为虚拟网关已经逐渐无法满足网络容量、时延的要求。
发明内容
本发明实施例提供一种流量数据的处理方法、装置、设备及计算机存储介质,有效地保证了对流量数据进行处理的稳定可靠性,也可以满足网络容量和转发时延的要求,进一步提高了对流量数据进行处理的稳定可靠性。
第一方面,本发明实施例提供一种流量数据的处理方法,应用于第一类型网关,所述方法包括:
获取待处理的网络流量数据;
确定所述网络流量数据的流量分类信息;
在所述网络流量数据为第一流量数据时,则对所述网络流量数据进行处理;或者,
在所述网络流量数据为第二流量数据时,则将所述网络流量数据发送至第二类型网关,以使所述第二类型网关对所述网络流量数据进行处理。
第二方面,本发明实施例提供一种流量数据的处理装置,应用于第一类型网关,所述装置包括:
第一获取模块,用于获取待处理的网络流量数据;
第一确定模块,用于确定所述网络流量数据的流量分类信息;
第一处理模块,用于在所述网络流量数据为第一流量数据时,则对所述网络流量数据进行处理;或者,在所述网络流量数据为第二流量数据时,则将所述网络流量数据发送至第二类型网关,以使所述第二类型网关对所述网络流量数据进行处理。
第三方面,本发明实施例提供一种电子设备,包括:存储器、处理器;其中,所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行时实现上述第一方面中的一种流量数据的处理方法。
第四方面,本发明实施例提供了一种计算机存储介质,用于储存计算机程序,所述计算机程序使计算机执行时实现上述第一方面中的一种流量数据的处理方法。
第五方面,本发明实施例提供一种流量数据的处理方法,应用于第二类型网关,所述方法包括:
接收第一类型网关发送的网络流量数据;
获取用于对所述网络流量数据进行分析处理的第二配置信息表,所述第二配置信息表中包括与第一流量数据相对应的标准配置信息和与所述第二流量数据相对应的标准配置信息;
利用所述第二配置信息表对所述网络流量数据进行处理,并将处理后的网络流量数据转发至物理交换机。
第六方面,本发明实施例提供一种流量数据的处理装置,应用于第二类型网关,所述装置包括:
第一接收模块,用于接收第一类型网关发送的网络流量数据;
第二获取模块,用于获取用于对所述网络流量数据进行分析处理的第二配置信息表,所述第二配置信息表中包括与第一流量数据相对应的标准配置信息和与所述第二流量数据相对应的标准配置信息;
第二处理模块,用于利用所述第二配置信息表对所述网络流量数据进行处理,并将处理后的网络流量数据转发至物理交换机。
第七方面,本发明实施例提供一种电子设备,包括:存储器、处理器;其中,所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行时实现上述第五方面中的一种流量数据的处理方法。
第八方面,本发明实施例提供了一种计算机存储介质,用于储存计算机程序,所述计算机程序使计算机执行时实现上述第五方面中的一种流量数据的处理方法。
第九方面,本发明实施例提供一种流量数据的处理方法,包括:
接收第一类型网关发送的第一流量分析结果和第二类型网关发送的第二流量分析结果;
根据所述第一流量分析结果和第二流量分析结果确定与所述硬件网关和软件网关相对应的大象流分析结果;
将所述大象流分析结果发送至网络管理平台。
第十方面,本发明实施例提供一种流量数据的处理装置,包括:
第二接收模块,用于接收第一类型网关发送的第一流量分析结果和第二类型网关发送的第二流量分析结果;
第二确定模块,用于根据所述第一流量分析结果和第二流量分析结果确定与所述硬件网关和软件网关相对应的大象流分析结果;
第一发送模块,用于将所述大象流分析结果发送至网络管理平台。
第十一方面,本发明实施例提供本发明实施例提供一种电子设备,包括:存储器、处理器;其中,所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行时实现上述第九方面中的一种流量数据的处理方法。
第十二方面,本发明实施例提供了一种计算机存储介质,用于储存计算机程序,所述计算机程序使计算机执行时实现上述第九方面中的一种流量数据的处理方法。
第十三方面,本发明实施例提供一种流量数据的处理方法,包括:
接收网络分析平台发送的大象流分析结果;
根据所述大象流分析结果确定大象流配置信息;
将所述大象流分析结果和大象流配置信息发送至硬件网关。
第十四方面,本发明实施例提供一种流量数据的处理装置,包括:
第三接收模块,用于接收网络分析平台发送的大象流分析结果;
第三确定模块,用于根据所述大象流分析结果确定大象流配置信息;
第二发送模块,用于将所述大象流分析结果和大象流配置信息发送至硬件网关。
第十五方面,本发明实施例提供一种电子设备,包括:存储器、处理器;其中,所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行时实现上述第十三方面中的一种流量数据的处理方法。
第十六方面,本发明实施例提供了一种计算机存储介质,用于储存计算机程序,所述计算机程序使计算机执行时实现上述第十三方面中的一种流量数据的处理方法。
第十七方面,本发明实施例提供了一种流量数据的处理方法,包括:
获取网络流量数据;
对所述网络流量数据进行分类识别,确定与所述网络流量数据相对应的第一流量数据和第二流量数据;
生成与所述第一流量数据相对应的第一配置信息表、以及与所述第一流量数据和第二流量数据相对应的第二配置信息表,所述第一配置信息表中包括与所述第一流量数据相对应的标准配置信息,所述第二配置信息表中包括与所述第一流量数据相对应的标准配置信息和与所述第二流量数据相对应的标准配置信息;
将所述第一配置信息表发送至第一类型网关,将所述第二配置信息表发送至第二类型网关。
第十八方面,本发明实施例提供了一种流量数据的处理装置,包括:
第三获取模块,用于获取网络流量数据;
识别模块,用于对所述网络流量数据进行分类识别,确定与所述网络流量数据相对应的第一流量数据和第二流量数据;
生成模块,用于生成与所述第一流量数据相对应的第一配置信息表、以及与所述第一流量数据和第二流量数据相对应的第二配置信息表,所述第一配置信息表中包括与所述第一流量数据相对应的标准配置信息,所述第二配置信息表中包括与所述第一流量数据相对应的标准配置信息和与所述第二流量数据相对应的标准配置信息;
第三发送模块,用于将所述第一配置信息表发送至第一类型网关,将所述第二配置信息表发送至第二类型网关。
第十九方面,本发明实施例提供一种电子设备,包括:存储器、处理器;其中,所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行时实现上述第十七方面中的一种流量数据的处理方法。
第二十方面,本发明实施例提供了一种计算机存储介质,用于储存计算机程序,所述计算机程序使计算机执行时实现上述第十七方面中的一种流量数据的处理方法。
本实施例提供的上述技术方案,通过第一类型网关和第二类型网关实现对网络流量数据的处理操作,有效地保证了对网络流量数据进行处理的准确可靠性,解决了硬件存储空间和软件性能的瓶颈,完成网络流量加速;另外,引入了网络分析平台通过实时分析、离线分析逐步迭代、自适应的识别大象流,完成了云计算环境中用户网络流量的加速操作,保证了对网络流量数据的稳定、有效处理,同时有效地解决了现有技术中存在的可编程芯片存储容量小和服务器的转发能力弱的瓶颈问题,有效地保证了该方法的实用性,有利于市场的推广与应用。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1a为本发明实施例提供的一种流量数据的处理***的示意图一;
图1b为本发明实施例提供的一种流量数据的处理***的示意图二;
图2为本发明实施例提供的硬件网关与软件网关进行数据通信的示意图;
图3为本发明实施例提供的网络分析平台模型的示意图;
图4为本发明实施例提供的一种流量数据的处理方法的流程图;
图5为本发明实施例提供的确定所述网络流量数据的流量分类信息的流程图;
图6为本发明实施例提供的另一种流量数据的处理方法的流程图;
图7为本发明实施例提供的又一种流量数据的处理方法的示意图;
图8为本发明实施例提供的还一种流量数据的处理方法的流程图;
图9为本发明实施例提供的另一种流量数据的处理方法的流程图;
图10为本发明实施例提供的一种流量数据的处理装置的结构示意图一;
图11为与图10所示实施例提供的流量数据的处理装置对应的电子设备的结构示意图;
图12为本发明实施例提供的一种流量数据的处理装置的结构示意图二;
图13为与图12所示实施例提供的流量数据的处理装置对应的电子设备的结构示意图;
图14为本发明实施例提供的一种流量数据的处理装置的结构示意图三;
图15为与图14所示实施例提供的流量数据的处理装置对应的电子设备的结构示意图;
图16为本发明实施例提供的一种流量数据的处理装置的结构示意图四;
图17为与图16所示实施例提供的流量数据的处理装置对应的电子设备的结构示意图;
图18为本发明实施例提供的一种流量数据的处理装置的结构示意图五;
图19为与图18所示实施例提供的流量数据的处理装置对应的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义,“多种”一般包含至少两种,但是不排除包含至少一种的情况。
应当理解,本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
取决于语境,如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的商品或者***不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种商品或者***所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的商品或者***中还存在另外的相同要素。
另外,下述各方法实施例中的步骤时序仅为一种举例,而非严格限定。
术语解释:
大象流,是通过网络链路进行大量的、持续的传递数据的过程。
老鼠流,是通过网络链路进行少量的、短时间的数据传递过程。
大象流与老鼠流的具体区分的临界点可以依据不同的应用场景而有所不同,例如:网络中10%用户的流(一条流通常指的一组五元组),占了90%的流量,这部分流称为“大象流”,相对的,网络中90%用户的流仅占总流量的10%,这部分流量为“老鼠流”。
为了便于理解本申请的技术方案,下面对现有技术进行简要说明:目前,大部分公有云服务供应商选择使用基于x86服务器的软件提供云计算虚拟网关服务。随着近些年公有云规模的快速增长,虚拟网关承载的流量从几GB/s,百GB/s逐渐向TB/s级别增长。一般情况下,一台提供网络服务的x86服务器,受限于网卡的规格和服务器处理器性能,仅能提供几十G,最多上百G的网络转发能力,已经无法满足日益增长的网络流量。同时,基于x86服务器的软件网关转发时延通常要几十微秒,无法满足机器学习等对网络时延要求很高的场景。云计算服务提供商迫切需要对网络流量进行加速,满足新的需求。
为了可以实现对网络流量进行加速处理,大部分厂商目前仅能选择用水平扩展(scale-out)的方式来扩展虚拟网络转发性能,但该方案由于如下两个缺点,无法无限制的水平扩展。第一,水平扩展成本较高;一台用作虚拟网关的服务器由于承载的网络流量、用户信息规模大,对网卡容量、内存容量、CPU性能均有很高的要求,因此价格昂贵。第二,水平会引入分布式限速、动态信息同步等问题;具体的,在进行水平扩展后,同一个用户的流量会被均衡到不同的服务器上,但是,为了做用户流量的限速、计费,需要将这些分布于不同服务器的流量作为整体进行限速,这给限速带来了很大的难度。此外,用户的网络可能有部分动态配置信息,例如:用户通过源网络地址映射(Source Network AddressTranslation,SNAT)访问互联网,会产生动态的映射关系,这些映射关系需要在分布式的服务器上进行同步,才能保证用户业务的稳定,而同步这些信息开销很大,并且随着水平扩展的服务器数量增加,会线性增长。近期,学术界和工业界开始关注使用可编程交换机来提供虚拟网络服务、实现网络流量加速的可行性。
目前可编程硬件主要有基于FPGA的方案和基于ASIC的方案两种,传统的ASIC芯片一旦出厂后,功能就无法更改。无法满足追求快速迭代的云计算服务提供商的需求,因此大部分云服务提供商选择使用基于x86的软件来提供服务。近来,设备厂商纷纷推出了可编程硬件ASIC,例如:Barefoot Tofino,Intel FlexPipe,Cavium XPliant,Netronome Agilio等,这些芯片使得云计算服务商可以随时修改芯片的逻辑和功能,满足业务的快速发展,同时又有数倍于x86服务器的转发性能。
在使用FPGA提供网络服务时,FPGA同样有可编程、性能高的优势;但FPGA的成本、功耗上均高于基于ASIC的方案。另外,可编程硬件虽然具有容量大、时延低的优点,但是目前没有应用在虚拟网关上。其原因在于硬件的存储空间较小,通常仅有几十兆,而虚拟网关设备通常要保存数万用户的配置信息,保存这些信息需要上千兆的空间。
具体的,在使用FPGA作为智能网卡时,其可以在服务器上将虚拟交换机业务流量从CPU卸载到FPGA,提供低时延,高吞吐量的虚拟机网络服务。然而,FPGA设备的成本比基于ASIC的可编程芯片要高,同时性能也比ASIC可编程芯片差。将FPGA设备用于卸载虚拟交换机的流量的实现中,虚拟交换机是部署在虚拟机所在宿主机上的数据转发模块,使用FPGA智能卡后,虚拟交换机的吞吐量达到32Gbps,同时时延降低到15us。
与本方案相比,采用了传统的硬件设备,不具备可编程的能力,无法满足云网络虚拟网关快速迭代功能的需求。本方案则是基于可编程芯片和智能网络分析平台,提供虚拟网关服务。与虚拟交换机相比,虚拟网关有以下两个难点:1)网络流量远大于虚拟交换机。虚拟网关是云上虚拟网络的边界节点,所有用户进、出云环境的流量都要经过虚拟网关,而虚拟交换机只需要承载本宿主机的虚拟机的网络流量。虚拟网关的流量通常是虚拟交换机的数百倍,或者更高。2)虚拟网关需要的配置信息远大于虚拟交换机。虚拟网关需要有云上所有用户的配置,而虚拟交换机只需要本宿主机的用户的配置信息。而对于硬件设备,由于工艺限制,存储空间往往十分有限,难以保存云环境所需的配置。对于网关设备,如上文所述,流量规模远大于宿主机侧的虚拟交换机,硬件存储空间无法完整存储所有活跃流的匹配信息。
具体的,参考附图1a-图1b所示,为了解决现有技术中存在的现有网关无法满足网络容量、时延要求的问题,本实施例提供了一种流量数据的处理***,该流量数据的处理***采用第一类型网关和第二类型网关,以及智能网络分析平台结合的方式,具体应用时,第一类型网关包括硬件网关,该硬件网关可以由可编程硬件来实现;第二类型网关包括软件网关;通过上述流量数据的处理***来对流量数据进行分析处理,大大提高了虚拟网关的转发容量,同时,对于转发时延敏感的用户,也可以提供网络加速业务,满足用户需求。具体的,参考附图1a-图1b所示,该流量数据的处理***由基于可编程硬件的硬件网关、x86服务器上的软件网关、智能网络分析平台以及虚拟网络管理平台四部分组成。
(一)硬件网关,其是网络流量的入口设备,用户的网络流量会通过硬件网关上预设的端口经过硬件网关。具体应用时,随着P4编程语言逐渐兴起,生态逐渐完善,大部分的可编程硬件均支持P4语言,该语言具有协议无关性、业务无关性、可重构性。开发者可以不感知底层的芯片型号,快速的开发和随时修改业务逻辑。P4语言的快速发展,为云计算服务商从软件设备切换到硬件设备提供了便利,缩短了开发周期,减小了厂商绑定的风险。因此,硬件网关可以是基于P4编程语言所实现的转发模型。
如图1a-图1b所示,硬件网关可以包括:数据缓存单元(DDR或SSD)、中央处理器CPU、流量分类单元等等,其中,CPU包括控制子单元和转发子单元,控制子单元用于负责下发流量配置信息(流量分类表),转发子单元用于负责对网络流量数据进行处理。具体的,硬件网关获取到用户的网络流量数据之后,可以对网络流量数据进行分析处理,分析处理进程可以包括输入、解析、入流水线、缓存、出流水线、输出组成。其中,输入是将通过预设端口接收到的网络流量数据输入至预设的分析处理进程中;在分析处理进程获取到网络流量数据之后,可以对网络流量数据进行报文解析处理,本实施例对于报文解析处理的具体实现过程不做限定,本领域技术人员可以根据具体的应用需求和设计需求进行设置,例如:可以针对网络流量数据来解析报文头部里的IP\MAC\端口等信息,以确定后续的处理策略,该处理策略可以包括以下至少之一:需要转发的目标机器、丢包处理还是继续转发等等。
在获得解析后的网络流量数据之后,可以利用流水线技术对网络流量数据进行处理,其中,流水线(pipeline)技术是指在程序执行时,多条指令重叠进行操作的一种准并行处理实现技术。如图2所示,流水线技术可以包括:入流水线以及出流水线,具体的,为了能进行复杂的数据处理操作,该硬件网关可以支持报文从端口A收到用户的网络流量数据,从端口B发出的流量数据特性。并且,硬件网关预留了一个很大的缓存(例如:固态驱动器(Solid State Drive,简称SSD)和双倍速率同步动态随机存储器DDR),缓存其实就是一个电子元件,可以理解成一个队列,能保存报文,先进先出,也即,该硬件网关可以对入流水线的网络流量数据进行缓存。通过流水线技术对网络流量数据进行处理,可以对解析后的报文数据(与网络流量数据相对应),并可以按照预设的配置信息进行正确的处理操作,例如:修改报文目的IP、mac信息等,对报文进行封装处理、解封装处理等等。
在利用流水线技术对网络流量数据进行处理时,可以先获取用于对网络流量数据进行分类识别的流量分类表,具体的,可以通过CPU中的控制子单元获得流量分类表,该流量分类表中包括有需要硬件网关进行加速处理的流量配置信息。利用流量分类表可以对网络流量数据进行分类识别,即判断网络流量数据是否是需要硬件网关进行加速处理的流量数据,或者也可以理解为:通过流量分类表可以识别网络流量数据是大象流还是老鼠流。如果流量分类表中存在与网络流量数据相对应的流量配置信息,则确定该网络流量数据需要硬件网关进行加速处理,即该网络流量数据可以确定为大象流,此时,可以对网络流量数据打上需要硬件加速处理的标签信息;否则,可以对网络流量数据打上透传给软件网关的标签信息,即该网络流量数据可以确定为老鼠流。
在对网络流量数据进行分类处理之后,可以根据分类标签确定出流水线的处理方式,即对需要硬件网关加速的网络流量数据进行查表、修改报文处理、转发报文处理,报文最终从物理交换机的上联端口发出;对于需要透传的网络流量数据,硬件网关会对网络流量数据进行隧道封装操作,将隧道目的地址填为软件网关的地址,而后将网络流量数据发送给软件网关,以使软件网关可以对转发的网络流量数据进行分析处理。
此外,硬件网关可以支持端口镜像功能,具体的,硬件网关可以通过预设端口将接收到的网络流量数据镜像一份给智能网络分析平台,从而使得网络分析平台可以基于网络流量数据进行深度分析,从而可以获得网络流量数据的特征信息;从而可以通过机器学习等手段提前对未处理的流量进行“预测”,这样可以提前把预测获得的大象流数据所对应的配置信息下发给硬件网关,以使得硬件网关可以基于所下发的配置信息实现更快速的网络加速。
另外,在网络分析平台接收到镜像后的网络流量数据之后,网络分析平台的分析集群可以对报文做聚合处理,进而分析出与硬件网关相对应的流量分类表中的表项是否有没有流量的用户信息,若存在,则删除该流量所对应的流量配置信息,从而节约硬件网关的空间。其中,在对报文进行聚合处理时,可以包括针对数据报文提取一些元数据的操作,元数据可以包括以下至少之一:报文头部信息(IP、MAC、端口等)、报文长度、协议、flag等等,而后可以针对报文以元数据的部分字段作为key,进行分类保存,一般只保存元数据。
(二)软件网关,如图1a-图1b所示,其可以包括用于接收硬件网关转发的网络流量数据的网卡以及用于配置网络流表的控制平面。其中,本实施例对于软件网关中网卡的个数不做限定,本领域技术人员可以根据数据中心内的流量大小进行设置,例如:网卡包括两个、三个或者四个等等,一般来说,网络流量数据的流量越大,需要的网卡数量越多。需要注意的是,网络流表是预先配置的,用于对转发后的网络流量数据进行处理的必要信息,如果没有配置,则无法对处理后的数据进行转发操作。
具体的,由于硬件网关的存储规格比较小,所以只保存了部分用户的流量配置信息,对于那些没保存流量配置信息的网络流量数据,硬件网关则无法直接进行处理,此时,硬件网关需要将网络流量数据发给软件网关,软件网关作为硬件网关的补充,主要负责处理硬件网关无法处理的流量。由于软件网关具有内存空间大的特点,可以保存全量的用户的流量配置信息,因此,可以保证硬件网关无法处理的流量数据,软件网关均可以正常转发,保证了用户业务的稳定性。
在软件网关获取到硬件网关转发的网络流量数据之后,可以利用网络流表对网络流量数据进行分析处理,对网络流量数据进行分析处理的具体处理过程与硬件网关利用流量分类表对网络流量数据进行处理的过程相类似,在此不再赘述。
其中,对于软件网关中的网络流表而言,传统的流表以五元组作为键(key),精确记录每条流的大小,这样做的缺点在于相当消耗空间。为了克服上述缺陷,本实施例中,软件网关的网络流表可以记录了每个用户流量的大小,并且记录了用户的流量特征,例如:该用户大部分流量是访问公网,还是内部互访,或者访问云外自建IDC;通过使用以用户作为键的流表,大大节约了软件网关的存储空间,同时也减小了网络分析平台的数据处理压力。利用网络流表对网络流量数据进行处理之后,可以将处理后的结果(包括流量大小)可以提供给智能网络分析平台,从而使得网络分析平台可以基于软件网关的处理结果来判断由软件网关处理的网络流量数据是否需要硬件网关进行加速,如果发现需要硬件网关进行加速,则可以把该网络流量数据以及相关信息配置给硬件网关。
(三)智能网络分析平台,用于分析热点流量,即“大象流”的分析平台,该网络分析平台的***结构如图3所示,该网络分析平台有两类输入,一类输入是从硬件网关输入的镜像报文,另一类输入是软件网关上报的热点流量报文,在网络分析平台获取到镜像报文和热点流量报文之后,这些报文会经过一个分析集群,对镜像报文和热点流量报文进行聚合成流、提取热点流量操作。具体的,在提取热点流量时,可以根据输出的每条流的流量大小信息进行排序,而后通过预设阈值找到近期流量最大的流,即确定了热点流量。在确定热点流量之后,可以将热点流量发送给实时热点流量分析模块。实时热点流量分析模块可以基于预设的硬件网关的存储空间(包括TCAM和SRAM)大小、每个用户的流量大小和配置信息消耗的空间来确定硬件网关所能够承载的最大流量数据。具体的,可以使用贪心算法来计算与硬件网关相对应的最大加速流量数据。这样可以使得在总流量很大的数据中心网络中,大象流数据可以由硬件网关进行处理,避免了在软件网关对大象流数据进行处理时所存在的处理能力比较低、难以承担大象流的转发的问题。
具体的,最大加速流量数据的确定过程可以包括:
1)获取数据中心总流量,根据数据中心总流量,计算出大象流的阈值信息,将软件网关、硬件网关上报的数据中筛选出符合阈值信息条件的用户信息,并向网络管理平台发出请求,获取出每个用户信息所对应的流量配置信息占用的空间大小。
一般情况下,在数据中心网络中的数据中心总流量很大,但主要都是由大象流组成的,软件网关的网络流量处理能力比较低,难以承担大象流的转发。因此,要保证数据中心内的大象流由硬件网关来处理。另外,在计算大象流的阈值信息时,本实施例中的大象流可以是指占用了数据中心90%流量的流量数据,例如:数据中心总流量1000G,此时,大象流占了900G,此时,为了获取到大象流数据,可以按照流量从大到小进行排序,将top N的流量相加,直至到达900G后停止,此时的top N流量为大象流,剩余流为老鼠流。其中,筛选出符合条件的用户信息就是筛选出大象流所对应的用户信息,并可以通过网络管理平台获取到每个大象流数据的用户配置信息所占用的空间大小,可以想到的是,网络管理平台中预先存储有所有用户配置信息占用的空间大小。
2)对每个大象流的用户信息,计算出“流量配置比”=流量信息/配置占用空间。在获取到流量配置比之后,根据流量配置比对大象流所对应的用户信息进行排序,然后,使用贪心算法,尝试将用户信息对应流量配置信息按照顺序放到硬件网关的存储空间里。
3)根据大象流的分析结果,实时地对硬件网关上的流量配置信息进行动态调整,将不再需要加速流量的流量配置信息剔除。而软件网关将没有命中流量分类表、且属于热点流量下发给网络管理平台,最终由网络管理平台下发给硬件网关进行处理。
其中,大象流的分析结果是指哪些用户的网络流量数据有大象流,即网络平台分析出来的分析结果是有大象流的流量配置信息的集合。在实时地对硬件网关的流量配置信息进行动态调整时,可以参考如下实现过程:
例如:当前时间9:46,用户A的网络流量数据在9:30-9:40很大,由硬件网关进行处理,但9:45以后用户A的网络流量数据基本停止,而用户B在9:30-9:45之间几乎没有,由软件网关处理,9:45之后开始流量突增,并且一直持续,此时,网络分析平台发现用户A的流量配置信息存储在硬件网关上已经没有意义,而用户B的网络流量数据比较大,会从硬件网关上把用户B的流量配置信息添加进去,把用户A的流量配置信息删除,此时用户B的网络流量数据从软件网关处理变成了硬件网关处理。
总结来说,网络分析平台通过硬件网关、软件网关的不断反馈,可以不断地计算热点流量,最终达到硬件网关实时承载尽可能大的网络流量。从而使得该流量数据的处理***能处理云计算环境的大部分场景,但是对于突发的业务流量,可能造成短时间由于硬件网关没有配置,突发的流量被发送给软件网关,超过软件网关的容量限制。
为了应对此类场景,网络分析平台还可以引入离线流量分析模块。该模块可以保存历史数据,根据历史数据分析较长时间内流量的趋势信息和特征信息,针对未来可能出现的突发流量的情况进行预测。例如,某个用户的流量趋势表现为每天的20点流量会有突增,在离线流量分析模块发现后,会在20点前将该网络流量信息所对应的流量配置信息提前下发给硬件网关,以应对流量峰值,在峰值结束后,硬件网关可以将流量配置信息进行删除。
此外,为了提高该方法的实用性,网络分析平台也可以支持人工输入用户的业务特征,对硬件网关的加速流量进行调整。例如:用户为游戏客户,在指定时间新游戏会正式开服,希望对业务流量进行加速提高游戏玩家用户体验。云服务提供商可以提前下发配置,防止突增流量对用户体验造成影响。
(四)网络管理平台,主要负责硬件网关和软件网关的流量配置信息的下发,同时会把网络分析平台的热点流量信息转化成虚拟网关的配置信息,配置给虚拟网关。
其中,网络管理平台可以具有全网的配置管理信息,网络平台分析出来的热点流量结果中可以有用户的身份标识,网络管理平台可以以身份标识作为key,查找到相关的流量配置信息。
本实施例中,硬件网关、软件网关、网络分析平台之间通过自适应、逐步迭代、自动优化的调整硬件网关的流量配置情况,最终实现了动态的网络流量加速处理,具体的,可以包括:
step1:网络管理平台给硬件网关下发预置的流量分类表,给软件网关下发全量配置的网络流表。
step2:在硬件网关获取到用户的网络流量信息之后,可以将网络流量信息镜像一份至网络分析平台,并且还可以对网络流量信息进行分类识别,若网络流量信息命中硬件网关的流量分类表,则通过硬件网关进行加速转发逻辑。
step3:若网络流量信息无法匹配到硬件网关的流量分类表,则通过硬件网关的转发透传逻辑将网络流量信息透传转发到软件网关,这时硬件网关相当于一个交换机。
step4:软件网关接收到网络流量信息之后,可以基于网络流表对网络流量信息进行转发处理。具体的,可以统计该网络流量信息的流量大小和特征,并转发该网络流量信息。
step5:软件网关上预先配置有网络流量分析进程,该网络流量分析进程可以从网络流表中提取热点流量上报给网络分析平台。
step6:网络分析平台根据镜像流量和软件网关的上报信息,计算出大象流,将满足大象流的热点流量下发给网络管理平台。
step7:网络管理平台收集热点流量的相关流量配置信息,并可以将流量配置信息下发给硬件网关。
step8:硬件网关刷新预先接收到的流量分类表,并可以基于流量分类表加速新的大象流。
step9:硬件网关继续将超出流量分类表的无法进行加速处理的网络流量信息透传到软件网关,软件网关继续上面的流程,识别新的大象流,进行新一轮加速迭代。
上述流程充分利用了可编程硬件网关具有的网络转发能力强、可编程的特性,x86服务器实现的软件网关具有的内存容量大、CPU性能强的特点,有效地利用可编程硬件和软件协同工作,解决了硬件存储空间和软件性能的瓶颈,完成网络流量加速。另外,引入了网络分析平台通过实时分析、离线分析逐步迭代、自适应的识别大象流,完成了云计算环境中用户网络流量的加速操作,保证了对网络流量数据的稳定、有效处理,同时有效地解决了现有技术中存在的可编程芯片存储容量小和服务器的转发能力弱的瓶颈。
为了清楚地了解流量数据的处理***中各个设备的数据处理过程,下面分别对硬件网关、软件网关、网络分析平台以及网络管理平台对流量数据的处理过程进行详细说明。
图4为本发明实施例提供的一种流量数据的处理方法的流程图;参考附图4所示,本实施例提供了一种流量数据的处理方法,该处理方法可以应用于第一类型网关,即流量数据的处理方法的执行主体可以为第一类型网关,可以理解的是,该第一类型网关可以实现为软件、或者软件和硬件的组合。为了便于说明,以第一类型网关包括硬件网关,所述第二类型网关包括软件网关为例进行说明,其中,硬件网关可以是基于编程芯片的硬件网关。可以理解的是,在不同的应用场景下,第一类型网关也可以包括软件网关,第二类型网关也可以包括硬件网关。具体的,该方法可以包括:
S101:获取待处理的网络流量数据。
其中,待处理的网络流量数据是待分析的、需要转发处理的网络流量数据,该网络流量数据可以是用户通过预设的端口传输到硬件网关的,从而使得硬件网关可以获取到待处理的网络流量数据。
S102:确定网络流量数据的流量分类信息。
在获取到网络流量数据之后,可以确定网络流量数据的流量分类信息,该流量分类信息用于确定硬件网关是否可以对网络流量数据进行处理。本实施例对于确定网络流量数据的流量分类信息的具体实现方式不做限定,本领域技术人员可以根据具体的应用需求进行任意设置,例如:可以获取网络流量数据的数据特征,通过数据特征来确定网络流量数据的流量分类信息,数据特征可以包括数据标识信息和/或数据大小信息等等。
S103:在网络流量数据为第一流量数据时,则对网络流量数据进行处理。
其中,第一流量数据是预先设置的、硬件网关可以直接进行分析处理的网络流量数据。在确定网络流量数据为第一流量数据之后,硬件网关可以直接对网络流量数据进行处理,例如:可以将网络流量数据通过预设端口转发至物理交换机,并通过物理交换机的上联端口发出。
S104:在网络流量数据为第二流量数据时,则将网络流量数据发送至第二类型网关,以使第二类型网关对网络流量数据进行处理。
其中,第二流量数据是预先设置的、硬件网关无法直接进行分析处理的网络流量数据。在确定网络流量数据为第二流量数据之后,由于硬件网关无法直接对网络流量数据进行分析处理,此时,硬件网关可以将网络流量数据发送至软件网关,以使得软件网关可以对网络流量数据进行分析处理,例如:软件网关可以将网络流量数据转发至预设的物理交换机等;这样有效地保证了对网络流量数据进行分析处理的稳定可靠性。
本实施例提供的流量数据的处理方法,通过获取待处理的网络流量数据,确定网络流量数据的流量分类信息,在网络流量数据为第一流量数据时,则对网络流量数据进行处理;在网络流量数据为第二流量数据时,则将网络流量数据发送至软件网关,以使软件网关对网络流量数据进行处理;从而实现了先基于硬件网关对网络流量数据进行处理,在硬件网关无法对网络流量数据进行处理时,则利用软件网关对网络流量数据进行处理,从而充分利用并结合了硬件网关具有的网络转发能力强、可编程的特性、以及软件网关具有的内存容量大、CPU性能强的特点,解决了现有技术中存在的存储容量小和服务器转发能力弱的瓶颈,进一步保证了对网络流量数据进行处理的稳定可靠性,提高了该方法的实用性,有利于市场的推广与应用。
图5为本发明实施例提供的确定网络流量数据的流量分类信息的流程图;在上述实施例的基础上,继续参考附图5所示,本实施例对于确定网络流量数据的流量分类信息的具体实现方式不做限定,本领域技术人员可以根据具体的应用需求和设计需求进行设置,较为优选的,本实施例中的确定网络流量数据的流量分类信息可以包括:
S1021:获取与网络流量数据相对应的流量配置信息。
在对网络流量数据进行分析处理之后,可以获取到与网络流量数据相对应的流量配置信息,该流量配置信息可以是指与网络流量数据相对应的用户配置信息。具体的,本实施例对于流量配置信息的具体获取方式不做限定,本领域技术人员可以根据具体的应用需求和设计需求进行设置,例如:流量配置信息可以存储在网络管理平台,此时,可以向网络管理平台发送配置请求信息,从而使得网络管理平台基于配合请求信息返回与网络流量数据相对应的流量配置信息;或者,流量配置信息存储在预设区间内,通过流量配置信息与网络流量数据之间的映射关系,通过访问预设区间可以获得与网络流量数据相对应的流量配置信息。
S1022:根据流量配置信息确定网络流量数据的流量分类信息。
在获取到流量配置信息之后,可以对流量配置信息进行分析处理,并根据分析处理结果确定网络流量数据的流量分类信息,具体的,根据流量配置信息确定网络流量数据的流量分类信息可以包括:
S10221:获取第一配置信息表,第一配置信息表中包括多个第一流量数据所对应的标准配置信息。
具体的,可以通过网络管理平台获取到第一配置信息表,此时,网络管理平台中预先存储有第一配置信息表,该第一配置信息表中可以包括多个第一流量数据所对应的标准配置信息;具体应用时,第一配置信息表中可以包括以下条目信息:用户标签(例如vxlanvni,vlan id)+IP目的地址段(例如10.0.0.0/8)+报文修改内容(下一跳设备,出端口号,修改后的相关字段如源、目的IP,源、目的端口等)、用户标签+IP目的地址+报文修改内容、用户标签+多元组(包括源目的ip地址,源目的mac,源目的端口)+报文修改内容。在获取第一配置信息表时,硬件网关可以向网络管理平台发送请求信息,网络管理平台接收到请求信息之后,可以向硬件网关发送与请求信息相对应的第一配置信息表,从而使得硬件网关可以获取到第一配置信息表。
S10222:在第一配置信息表中存在与流量配置信息相匹配的标准配置信息时,则确定网络流量数据为第一流量数据。
S10223:在第一配置信息表中不存在与流量配置信息相匹配的标准配置信息时,则确定网络流量数据为第二流量数据。
在获取到第一配置信息表之后,可以利用第一配置信息表对网络流量数据进行分析处理,具体的,可以将网络流量数据所对应的流量配置信息与第一配置信息表中包括的所有标准配置信息进行分析对比,若第一配置信息表中存在与流量配置信息相匹配的标准配置信息时,则确定网络流量数据为第一流量数据,此时,硬件网关可以直接对网络流量数据进行分析处理;若第一配置信息表中不存在与流量配置信息相匹配的标准配置信息时,则确定网络流量数据为第二流量数据,此时,硬件网关无法直接对网络流量数据进行分析处理,可以将网络流量数据转发至软件网关,从而使得软件网关可以对网络流量数据进行分析处理,进而保证了对网络流量数据进行分析处理的安全可靠性。
举例来说:第一配置信息表包括以下三个条目信息:条目1:标签A+ip目的地址10.0.0.0/8,动作:是大象流,进行相应修改;条目2:标签A+ip目的地址11.1.1.1,动作:是老鼠流,发送给软件网关;条目3:标签B+源端口80+目的IP 12.1.1.1,动作:是大量流,进行对应修改。在获取到网络流量数据之后,比如:网络流量数据的配置信息为:标签A+ip地址是10.0.0.0,此时,通过上述的第一配置信息表对网络流量数据进行分析可知,该网络流量数据与上述第一配置信息表中的条目1相匹配,从而则可以确定该网络流量数据为大象流,此时,该网络流量数据则可以通过硬件网关进行分析处理。
可选地,本实施例对于将网络流量数据发送至软件网关的具体实现方式不做限定,本领域技术人员可以根据具体的应用需求和设计需求进行设置,较为优选的,本实施例中的将网络流量数据发送至软件网关可以包括:
S1041:获取软件网关的地址信息。
S1042:基于地址信息对网络流量数据进行隧道封装,并将封装后的网络流量数据发送至软件网关。
具体的,在硬件网关无法对网络流量数据进行处理时,需要将网络流量数据转发至软件网关,此时,可以先获取到软件网关的地址信息,而后利用该地址信息对网络流量数据进行隧道封装处理,并将封装后的网络流量数据发送至软件网关,从而使得软件网关可以获取到经过隧道封装的网络流量数据,并可以对网络流量数据进行解封装以及其他分析处理操作。
本实施例中,通过获取软件网关的地址信息,基于地址信息对网络流量数据进行隧道封装,有效地保证了网络流量数据可以稳定地发送至软件网关,保证了网络流量数据进行传输的安全可靠性,同时也提高了对网络流量数据进行分析处理的稳定可靠性。
可选地,在上述任意一个实施例的基础上,在获取待处理的网络流量数据之后,本实施例中的方法还可以包括:
S201:获取与网络流量数据相对应的第一流量分析结果。
S202:将第一流量分析结果发送至网络分析平台,以使网络分析平台对第一流量分析结果进行分析处理。
其中,在硬件网关获取到网络流量数据之后,可以获得与网络流量数据相对应的第一流量分析结果,该第一流量分析结果中可以包括有硬件网关对网络流量数据进行分析处理的数据信息;并且,该第一流量分析结果中还可以包括与网络流量数据相对应的镜像报文,该镜像报文是通过镜像技术对网络流量数据进行处理后所获得的数据。在获取到镜像报文之后,可以将镜像报文发送至网络分析平台,在网络分析平台接收到镜像报文之后,可以对镜像报文进行分析处理,例如:可以利用机器学习等手段对镜像报文进行深度分析,获得流量的特征信息,通过该流量的特征信息可以提前对其他待处理的流量进行预测处理,并可以提前把大象流相关信息下发给硬件网关,从而实现更快速的网络加速处理过程。
图6为本发明实施例提供的另一种流量数据的处理方法的流程图;参考附图6所示,本实施例提供了另一种流量数据的处理方法,该处理方法可以应用于第二类型网关,即流量数据的处理方法的执行主体可以为第二类型网关,可以理解的是,该第二类型网关可以实现为软件、或者软件和硬件的组合。为了便于说明,以第二类型网关包括软件网关,该软件网关可以是基于x86服务器的软件网关,所述第一类型网关包括硬件网关为例进行说明。可以理解的是,在不同的应用场景下,第一类型网关也可以包括软件网关,第二类型网关也可以包括硬件网关。具体的,该方法可以包括:
S301:接收第一类型网关发送的网络流量数据。
其中,本实施例中的第一类型网关可以为硬件网关,在硬件网关将网络流量数据发送至软件网关之后,软件网关可以接收到硬件网关发送的网络流量数据,该网络流量数据是硬件网关无法直接进行处理的流量数据。
S302:获取用于对网络流量数据进行分析处理的第二配置信息表,第二配置信息表中包括与第一流量数据相对应的标准配置信息和与所述第二流量数据相对应的标准配置信息。
在获取到网络流量数据之后,可以获取到用于对网络流量数据进行分析处理的第二配置信息表;其中,第二配置信息表可以存储在预设的存储区间内,通过访问存储区间可以获得第二配置信息表,该第二配置信息表中可以包括网络分析平台所配置与所有用户相对应的流量配置信息,流量配置信息可以包括流量大小数据和流量特征数据等等。具体的,第二配置信息表中可以包括以下条目信息:用户标签(例如vxlanvni,vlan id)+IP目的地址段(例如10.0.0.0/8)+报文修改内容(下一跳设备,出端口号,修改后的相关字段如源、目的IP,源、目的端口等);用户标签+IP目的地址+报文修改内容;用户标签+多元组(包括源目的ip地址,源目的mac,源目的端口)+报文修改内容。
S303:利用第二配置信息表对网络流量数据进行处理,并将处理后的网络流量数据转发至物理交换机。
在获取到第二配置信息表之后,可以利用第二配置信息表对网络流量数据进行分析处理,并可以将处理后的网络流量数据转发至物理交换机,从而实现对网络流量数据进行稳定处理的操作。
本实施例提供的流量数据的处理方法,通过接收硬件网关发送的网络流量数据,获取用于对网络流量数据进行分析处理的第二配置信息表,从而可以利用第二配置信息表对网络流量数据进行处理,并将处理后的网络流量数据转发至物理交换机,由于软件网关具有内存空间大的特点,进而可以保存全量用户的流量配置信息,从而可以保证硬件网关无法处理的网络流量数据,软件网关均可以进行正常转发,保证了对用户业务数据进行处理的稳定性,进一步提高了该方法的实用性,有利于市场的推广与应用。
可选地,在利用第二配置信息表对网络流量数据进行处理时,本实施例对于其具体实现方式不做限定,本领域技术人员可以根据具体的应用需求进行设置,较为优选的,本实施例中的利用第二配置信息表对网络流量数据进行处理可以包括:
S3031:对网络流量数据进行解封装处理,获得与网络流量数据相对应的网络流量报文。
在硬件网关发送网络流量数据时,先对网络流量数据进行隧道封装处理,而后将封装处理后的网络流量数据发送至软件网关。因此,软件网关直接接收到的是经过隧道封装处理的网络流量数据,为了可以对网络流量数据进行准确无误地进行分析处理,需要对网络流量数据进行解封装处理,从而可以获得与网络流量数据相对应的网络流量报文,该网络流量报文是对网络流量数据进行解封装处理后所获得的数据。
S3032:利用第二配置信息表对网络流量报文进行处理,获得与网络流量数据相对应的流量配置信息。
在获取到网络流量报文之后,可以利用第二配置信息表对网络流量报文进行处理,从而可以获得与网络流量数据相对应的流量配置信息,其中,流量配置信息包括流量大小和流量特征。具体的,利用第二配置信息表对网络流量报文进行处理,获得与网络流量数据相对应的流量配置信息可以包括:
S30321:利用第二配置信息表对网络流量数据进行流量匹配,确定与网络流量数据相对应的流量特征。
具体的,第二配置信息表包括有预设的所有用户的网络流量数据以及网络流量数据相对应的标准流量特征,在获取到网络流量数据之后,可以利用第二配置信息表对网络流量数据进行流量匹配操作,即查找第二配置信息表中是否存在与网络流量数据相对应的标准流量特征,若存在,则将该标准流量特征确定为与网络流量数据相对应的流量特征。
S30322:利用第二配置信息表对网络流量数据进行流量统计,确定与网络流量数据相对应的流量大小。
在获取到网络流量数据之后,可以利用第二配置信息表对网络流量数据进行流量统计操作,从而可以确定网络流量数据相对应的流量大小,具体的,对于网络流量数据而言,在利用第二配置信息表对网络流量数据进行分析处理时,可以确定与该网络流量数据相匹配的条目信息,而后统计命中该条目信息的数量信息,通过所统计的命中条目信息的数量信息来获取到网络流量数据相对应的流量大小。
本实施例中,利用第二配置信息表对网络流量报文进行处理,获得与网络流量数据相对应的流量配置信息,有效地保证了流量配置信息获取的准确可靠性,进一步提高了该方法使用的稳定可靠性。
可选地,为了进一步提高该方法使用的灵活可靠性,本实施例中的方法还可以包括:
S401:根据流量配置信息判断网络流量数据是否为大象流数据。
S402:在网络流量数据为大象流数据时,将网络流量数据所对应的流量配置信息发送至网络分析平台。
在获取到流量配置信息之后,可以基于流量配置信息来判断该网络流量数据是否为大象流数据,具体的,可以根据流量大小和流量特征来判断该网络流量数据是否为大象流数据,例如:流量大小大于或等于预设阈值,且流量特征满足预设要求,则可以将该网络流量数据确定为大象流数据,此时,为了提高对大象流数据进行处理的质量和效率,可以将网络流量数据所对应的流量配置信息发送至网络分析平台,以使得网络分析平台可以基于该流量配置信息调整预先配置的用于发送至硬件网关的第一配置信息表,从而使得硬件网关可以对之后的大象流数据进行快速、有效地处理操作。
图7为本发明实施例提供的又一种流量数据的处理方法的示意图;参考附图7所示,本实施例提供了又一种流量数据的处理方法,该流量数据的处理方法的执行主体为网络分析平台。可以理解的是,该网络分析平台可以实现为软件、或者软件和硬件的组合。该方法可以包括:
S501:接收硬件网关发送的第一流量分析结果和软件网关发送的第二流量分析结果。
S502:根据第一流量分析结果和第二流量分析结果确定确定与第一类型网关和第二类型网关相对应的大象流分析结果。
S503:将大象流分析结果发送至网络管理平台。
具体的,以第一类型网关包括硬件网关,第二类型网关包括软件网关为例进行说明,在硬件网关向网络分析平台发送第一流量分析结果,软件网关向网络分析平台发送第二流量分析结果之后,该第二流量分析结果中包括有与热点流量相对应的流量配置信息,网络分析平台可以接收到流量配置信息,该流量配置信息与大象流的计算相关。在网络分析平台获取到第一流量分析结果和第二流量分析结果之后,可以根据第一流量分析结果和第二流量分析结果确定与硬件网关和软件网关相对应的大象流分析结果,该大象流分析结果可以是网络分析平台中满足大象流阈值或者其他大象流评判规则的网络流量数据。在获取到大象流分析结果之后,可以将大象流分析结果发送至网络管理平台,以使得网络管理平台可以将大象流分析结果生成用于发送至硬件网关的第一配置信息表,或者,还可以基于大象流分析结果对第一配置信息表进行重新配置,并将重新配置后的第一配置信息表发送至硬件网关,从而使得硬件网关可以基于调整后的第一配置信息表对网络流量数据进行分类识别,进一步保证了对网络流量数据进行处理的稳定可靠性。
本实施例提供的流量数据的处理方法,通过接收硬件网关发送的第一流量分析结果和软件网关发送的第二流量分析结果,根据第一流量分析结果和第二流量分析结果确定与硬件网关和软件网关相对应的大象流分析结果,并将大象流分析结果发送至网络管理平台,从而实现了可以根据硬件网关和软件网关对网络流量数据进行处理的实际情况动态调整大象流分析结果,进一步可以基于大象流分析结果对硬件网关的数据处理过程进行调整,进一步提高了对网络流量数据进行处理的质量和效率,保证了该方法的实用性,有利于市场的推广与应用。
可选地,在上述实施例的基础上,第一类型网关包括硬件网关,第二类型网关包括软件网关,此时,本实施例中的方法还可以包括:
S601:获取第一总流量以及与第一总流量中每个流量数据相对应的流量配置信息,第一总流量与硬件网关的历史网络流量和软件网关的历史网络流量相关。
其中,第一总流量与硬件网关的历史网络流量和软件网关的历史网络流量相关,例如:第一总流量可以等于硬件网关能处理的历史网络流量和软件网关能处理的历史网络流量的流量总和。
S602:根据第一总流量和每个流量数据所对应的流量配置信息生成第二配置信息表。
在获取到第一总流量之后,可以根据第一总流量生成第二配置信息表,具体的,可以先确定与第一总流量中每个流量数据所对应的流量配置信息,根据第一总流量和每个流量数据所对应的流量配置信息生成该第二配置信息表,也即,该第二配置信息表中包括有全量的用户网络流量以及所对应的流量配置信息。
可以想到的是,在根据第一总流量和每个流量数据所对应的流量配置信息生成第二配置信息表之后,本实施例中的方法还包括:
S603:将第二配置信息表通过网络管理平台发送至软件网关。
在获取到第二配置信息表之后,为了使得软件网关可以获知到该第二配置信息表,该网络分析平台可以通过网络管理平台将第二配置信息表发送至软件网关,从而使得软件网关可以基于第二配置信息表对网络流量数据进行分析处理。
可选地,在获取第一总流量以及与第一总流量中每个流量数据相对应的流量配置信息之后,本实施例中的方法还可以包括:
S701:基于第一总流量确定针对硬件网关的大象流数据;
S702:获取与所述大象流数据相对应的大象流配置信息;
S703:根据大象流数据和大象流配置信息生成第一配置信息表。
具体的,在获取到第一总流量之后,可以基于第一总流量确定大象流阈值信息,通过大象流阈值信息可以对所有的流量数据进行分类识别,从而可以确定针对硬件网关的大象流数据。在获取到大象流数据之后,可以确定该大象流数据所对应的流量配置信息,通过大象流数据和流量配置信息可以生成第一网络流量。
可以想到的是,在根据所述大象流数据和所述大象流配置信息生成第一配置信息表之后,本实施例中的方法还包括:
S704:将第一配置信息表通过网络管理平台发送至硬件网关。
在获取到第一配置信息表之后,为了使得硬件网关可以获知到该第一配置信息表,该网络分析平台可以通过网络管理平台将第一配置信息表发送至硬件网关,从而使得硬件网关可以基于第一配置信息表对网络流量数据进行分析处理。
可选地,在上述实施例的基础上,为了提高该方法使用的准确可靠性,本实施例中的方法还可以包括:
S801:获取第二总流量,第二总流量与硬件网关的当前网络流量和软件网关的当前网络流量相关。
S802:根据第二总流量对第一配置信息表进行调整。
其中,第二总流量相对于第一总流量而言,是一个更新后的总流量信息。在获取到更新后的第二总流量之后,为了保证第一配置信息表中数据的准确可靠性,可以根据第二总流量对第一配置信息表进行调整,具体的,根据第二总流量对第一配置信息表进行调整可以包括:
S8021:根据第二总流量确定位于硬件网关和软件网关上的所有大象流数据。
其中,根据第二总流量确定位于硬件网关和软件网关上的所有大象流数据可以包括:
S80211:根据第二总流量确定大象流阈值信息。
S80212:基于大象流阈值信息对硬件网关和软件网关上的流量数据进行筛选,获得位于硬件网关和软件网关上的所有大象流数据。
其中,大象流阈值信息与网络数据的总流量大小有关,不同的总流量可以对应不同的大象流阈值信息。因此,在获取到第二总流量之后,可以根据第二总流量可以确定一大象流阈值信息,通过该大象流阈值信息,可以对位于硬件网关和软件网关上所有用户的网络流量数据进行筛选,将所有用户中大于或等于大象流阈值信息的网络流量数据确定为大象流数据,将所有用户中小于大象流阈值信息的网络流量数据确定为老鼠流数据。
举例来说,现有大象流阈值信息为95%,第二总流量为1000G,此时,可以为了满足大象流阈值信息,则可以获取所有的网络流量数据,将网络流量数据按照流量大小从大到小进行排序,当前N个网络流量数据所对应的流量总和满足950G时,则可以将N个网络流量数据确定为大象流数据,其中,N大于或等于1;其他的网络流量数据确定为老鼠流数据;从而实现了基于大象流阈值信息对硬件网关和软件网关上的流量数据进行筛选的操作。
S8022:获取与每个大象流数据相对应的流量配置信息。
S8023:确定流量配置信息所需要的存储空间。
在确定大象流数据之后,可以获得与每个大象流数据相对应的流量配置信息,而后可以根据该流量配置信息的大小可以确定流量配置信息所需要的存储空间。
S8024:根据存储空间对第一配置信息表进行调整。
其中,根据存储空间对第一配置信息表进行调整可以包括:
S80241:根据与每个大象流数据相对应的流量配置信息和流量配置信息所需要的存储空间确定每个大象流数据所对应的流量配置比。
在获取到与每个大象流数据相对应的流量配置信息和存储空间之后,可以根据流量配置信息和存储空间确定每个大象流数据所对应的流量配置比,该流量配置比可以是流量配置信息与存储空间的比值。
S80242:根据流量配置比对所有大象流数据的流量配置信息进行排序,获得流量排序信息。
可以理解的是,每个大象流数据的流量配置信息均可以对应有一个流量配置比,在获取到多个流量配置比之后,可以基于流量配置比的大小对所有大象流数据的流量配置信息进行排序,具体的,可以基于流量配置比从大到小对所有的大象流数据的流量配置信息进行排序,从而可以获得流量排序信息。
S80243:利用贪心算法、流量排序信息以及硬件网关的预设存储空间对第一配置信息表进行调整。
其中,硬件网关的预设存储空间可以是预先设置的,其可以与硬件网关的硬件配置信息、硬件结构信息相关,一般情况下,在硬件网关确定之后,可以针对硬件网关配置一存储空间。在获取到流量排序信息之后,可以利用贪心算法和预设存储空间对第一配置信息表进行调整,具体的,可以按照流量排序信息从前到后地向硬件网关配发网络流量数据,直至硬件网关的预设存储空间无法再存储流量配置信息即可,此时,向硬件网关进行配发的所有网络流量数据可以构成新的第一配置信息表,从而实现了对第一配置信息表的动态调整。
可选地,在获取到调整后的第一配置信息表之后,本实施例中的方法还可以包括:
S901:基于调整后的第一配置信息表,对大象流数据所对应的流量配置信息进行存储。
具体的,硬件网关具有一定的预设存储空间,该预设存储空间中可以存储与第一配置信息表相对应的流量配置信息,在第一配置信息表进行调整之后,基于调整后的第一配置信息表,可以对大象流数据所对应的流量配置信息进行存储,从而保证了硬件网关可以针对第一配置信息表中的网络流量数据进行准确、有效地处理,进一步提高了对网络流量数据进行处理的稳定可靠性。
可选地,为了进一步提高该方法的实用性,第一流量分析结果中可以包括与网络流量数据相对应的镜像报文,此时,本实施例中的方法还可以包括:
S1001:对镜像报文进行聚合处理,获得聚合结果。
S1002:基于聚合结果判断是否存在空流量的流量数据。
S1003:若存在,则删除流量数据的流量配置信息。
在网络分析平台接收到硬件网关发送的镜像报文之后,还可以对镜像报文进行聚合处理,并可以基于聚合结果判断是否存在没有流量(即空流量)的流量数据,若存在,则删除该流量数据的流量配置信息,从而减少了网络分析平台中的存储空间的占用率,保证了存储资源的利用率。
可选地,为了进一步提高该方法的实用性,本实施例中的方法还可以包括:
S1101:基于大象流分析结果确定与大象流分析结果相对应的趋势信息和数据特征。
S1102:利用趋势信息和数据特征对待处理的大象流网络数据进行预测。
具体的,在网络分析平台获取到大象流分析结果之后,可以对大象流分析结果进行分析处理,从而可以确定与大象流分析结果相对应的趋势信息和数据特征,获取趋势信息和数据特征之后,可以基于趋势信息和数据特征对待处理的其他大象流网络数据进行预测,从而可以提高大象流网络数据进行分析处理的准确率。
图8为本发明实施例提供的还一种流量数据的处理方法的流程图;参考附图8所示,本实施例提供了还一种流量数据的处理方法,该流量数据的处理方法的执行主体为处理装置,具体应用时,该处理装置可以是网络管理平台。可以理解的是,该网络管理平台可以实现为软件、或者软件和硬件的组合。该方法可以包括:
S1201:接收网络分析平台发送的大象流分析结果。
S1202:根据大象流分析结果确定大象流配置信息。
S1203:将大象流分析结果和大象流配置信息发送至硬件网关。
其中,网络管理平台可以接收到网络分析平台发送的大象流分析结果;在网络管理平台获取到大象流分析结果之后,可以根据大象流分析结果确定大象流配置信息,在获取到大象流配置信息之后,可以将大象流配置信息发送至硬件网关,从而使得硬件网关可以准确地获取到大象流配置信息,便于基于大象流配置信息生成第一配置信息表,以实现对用户的网络流量数据进行分类识别的处理操作。
本实施例提供的流量数据的处理方法,网络管理平台接收到大象流分析结果之后,可以确定与大象流分析结果相对应的大象流配置信息,并可以将大象流配置信息发送至硬件网关,从而便于硬件网关基于大象流配置信息对用户的网络流量数据进行分类识别处理,进一步提高了对网络流量数据进行处理的稳定可靠性。
图9为本发明实施例提供的另一种流量数据的处理方法的流程图;参考附图9所示,本实施例提供了一种流量数据的处理方法,该流量数据的处理方法的执行主体为处理装置,具体应用时,该处理装置可以是网络分析平台。可以理解的是,该网络分析平台可以实现为软件、或者软件和硬件的组合。该方法可以包括:
S1301:获取网络流量数据;
S1302:对所述网络流量数据进行分类识别,确定与所述网络流量数据相对应的第一流量数据和第二流量数据;
S1303:生成与所述第一流量数据相对应的第一配置信息表、以及与所述第一流量数据和第二流量数据相对应的第二配置信息表,所述第一配置信息表中包括与所述第一流量数据相对应的标准配置信息,所述第二配置信息表中包括与所述第一流量数据相对应的标准配置信息和与所述第二流量数据相对应的标准配置信息;
S1304:将所述第一配置信息表发送至第一类型网关,将所述第二配置信息表发送至第二类型网关。
具体的,在网络分析平台获取到网络流量数据之后,可以基于预设的分类策略对网络流量数据进行分析识别,从而可以获得与网络流量数据相对应的第一流量数据和第二流量数据,在对网络流量数据进行分析识别之后,可以获取到第一流量数据所对应的配置信息和第二流量数据所对应的配置信息,而后基于第一流量数据、第一流量数据所对应的配置信息生成与第一流量数据相对应的第一配置信息表,基于第一流量数据、第一流量数据所对应的配置信息、第二流量数据和第二流量数据所对应的配置信息生成与第二流量数据相对应的第二配置信息表,为了能够实现利用第一类型网关和第二类型网关对网络流量数据进行分析处理,可以将第一配置信息表发送至第一类型网关,并将第二配置信息表发送至第二类型网关,以使得第一类型网关可以处理与第一配置信息表相对应的网络流量数据,第二类型网关可以处理与第二配置信息表相对应的网络流量数据。
本实施例提供的流量数据的处理方法,网络分析平台获取网络流量数据之后,可以对所述网络流量数据进行分类识别,并基于分类结果生成第一配置信息表和第二配置信息表,而后将第一配置信息表发送至第一类型网关,第二配置信息表发送至第二类型网关,有效地保证了通过第一类型网关和第二类型网关对网络流量数据进行分析处理的稳定可靠性。
图10为本发明实施例提供的一种流量数据的处理装置的结构示意图一;参考附图10所示,本实施例提供了一种流量数据的处理装置,该处理装置可以执行上述图1a-图1b所对应的流量数据的处理方法。具体应用时,该流量数据的处理装置可以为第一类型网关,具体的,该处理装置可以包括:
第一获取模块11,用于获取待处理的网络流量数据;
第一确定模块12,用于确定网络流量数据的流量分类信息;
第一处理模块13,用于在网络流量数据为第一流量数据时,则对网络流量数据进行处理;或者,在网络流量数据为第二流量数据时,则将网络流量数据发送至第二类型网关,以使第二类型网关对网络流量数据进行处理。
可选地,第一类型网关包括硬件网关,第二类型网关包括软件网关。
可选地,在第一确定模块12确定网络流量数据的流量分类信息时,该第一确定模块12可以用于执行:获取与网络流量数据相对应的流量配置信息;根据流量配置信息确定网络流量数据的流量分类信息。
可选地,在第一确定模块12根据流量配置信息确定网络流量数据的流量分类信息时,该第一确定模块12可以用于执行:获取第一配置信息表,第一配置信息表中包括多个第一流量数据所对应的标准配置信息;在第一配置信息表中存在与流量配置信息相匹配的标准配置信息时,则确定网络流量数据为第一流量数据;或者,在第一配置信息表中不存在与流量配置信息相匹配的标准配置信息时,则确定网络流量数据为第二流量数据。
可选地,在第一处理模块13将网络流量数据发送至软件网关时,该第一处理模块13可以用于执行:获取软件网关的地址信息;基于地址信息对网络流量数据进行隧道封装,并将封装后的网络流量数据发送至软件网关。
可选地,在获取待处理的网络流量数据之后,本实施例中的第一获取模块11和第一处理模块13可以用于执行以下步骤:
第一获取模块11,用于获取与网络流量数据相对应的第一流量分析结果;
第一处理模块13,用于将第一流量分析结果发送至网络分析平台,以使网络分析平台对镜像报文进行分析处理。
图10所示装置可以执行图1a、图1b-图5所示实施例的方法,本实施例未详细描述的部分,可参考对图1a、图1b--图5所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1a、图1b-图5所示实施例中的描述,在此不再赘述。
在一个可能的设计中,图10所示流量数据的处理装置的结构可实现为一电子设备,该电子设备可以是硬件网关、具有网关功能的终端设备(例如:手机、平板电脑)、服务器等各种设备。如图11所示,该电子设备可以包括:第一处理器21和第一存储器22。其中,第一存储器22用于存储支持电子设备执行上述图1a、图1b-图5所示实施例中提供的流量数据的处理方法的程序,第一处理器21被配置为用于执行第一存储器22中存储的程序。
程序包括一条或多条计算机指令,其中,一条或多条计算机指令被第一处理器21执行时能够实现如下步骤:
获取待处理的网络流量数据;
确定网络流量数据的流量分类信息;
在网络流量数据为第一流量数据时,则对网络流量数据进行处理;或者,
在网络流量数据为第二流量数据时,则将网络流量数据发送至第二类型网关,以使第二类型网关对网络流量数据进行处理。
可选地,第一处理器21还用于执行前述图1a、图1b-图5所示实施例中的全部或部分步骤。
其中,电子设备的结构中还可以包括第一通信接口23,用于电子设备与其他设备或通信网络通信。
另外,本发明实施例提供了一种计算机存储介质,用于储存电子设备所用的计算机软件指令,其包含用于执行上述图1a、图1b-图5所示方法实施例中流量数据的处理方法所涉及的程序。
图12为本发明实施例提供的一种流量数据的处理装置的结构示意图二;参考附图12所示,本实施例提供了一种流量数据的处理装置,该处理装置可以执行上述图6所对应的流量数据的处理方法。具体应用时,该流量数据的处理装置可以为第二类型网关,具体的,该处理装置可以包括:
第一接收模块31,用于接收第一类型网关发送的网络流量数据;
第二获取模块32,用于获取用于对网络流量数据进行分析处理的第二配置信息表,第二配置信息表中包括与第一流量数据相对应的标准配置信息和与第二流量数据相对应的标准配置信息;
第二处理模块33,用于利用第二配置信息表对网络流量数据进行处理,并将处理后的网络流量数据转发至物理交换机。
可选地,第一类型网关包括硬件网关,第二类型网关包括软件网关。
可选地,在第二处理模块33利用第二配置信息表对网络流量数据进行处理时,该第二处理模块33可以用于执行:对网络流量数据进行解封装处理,获得与网络流量数据相对应的网络流量报文;利用第二配置信息表对网络流量报文进行处理,获得与网络流量数据相对应的流量配置信息。
其中,流量配置信息包括流量大小和流量特征。
可选地,在第二处理模块33利用第二配置信息表对网络流量报文进行处理,获得与网络流量数据相对应的流量配置信息时,该第二处理模块33可以用于执行:利用第二配置信息表对网络流量数据进行流量匹配,确定与网络流量数据相对应的流量特征;利用第二配置信息表对网络流量数据进行流量统计,确定与网络流量数据相对应的流量大小。
可选地,本实施例中的第二处理模块33还可以用于执行以下步骤:根据流量配置信息判断网络流量数据是否为大象流数据;在网络流量数据为大象流数据时,将网络流量数据所对应的流量配置信息发送至网络分析平台。
图12所示装置可以执行图1a、图1b-图3、图6所示实施例的方法,本实施例未详细描述的部分,可参考对图1a、图1b-图3、图6所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1a、图1b-图3、图6所示实施例中的描述,在此不再赘述。
在一个可能的设计中,图12所示流量数据的处理装置的结构可实现为一电子设备,该电子设备可以是软件网关、具有网关功能的终端设备(例如:手机、平板电脑)、服务器等各种设备。如图13所示,该电子设备可以包括:第二处理器41和第二存储器42。其中,第二存储器42用于存储支持电子设备执行上述图1a、图1b-图3、图6所示实施例中提供的流量数据的处理方法的程序,第二处理器41被配置为用于执行第二存储器42中存储的程序。
程序包括一条或多条计算机指令,其中,一条或多条计算机指令被第二处理器41执行时能够实现如下步骤:
接收第一类型网关发送的网络流量数据;
获取用于对网络流量数据进行分析处理的第二配置信息表,第二配置信息表中包括与第一流量数据相对应的标准配置信息和与第二流量数据相对应的标准配置信息;
利用第二配置信息表对网络流量数据进行处理,并将处理后的网络流量数据转发至物理交换机。
其中,电子设备的结构中还可以包括第二通信接口43,用于电子设备与其他设备或通信网络通信。
另外,本发明实施例提供了一种计算机存储介质,用于储存电子设备所用的计算机软件指令,其包含用于执行上述图1a、图1b-图3、图6所示方法实施例中流量数据的处理方法所涉及的程序。
图14为本发明实施例提供的一种流量数据的处理装置的结构示意图三;参考附图14所示,本实施例提供了一种流量数据的处理装置,该处理装置可以执行上述图7所对应的流量数据的处理方法。具体应用时,该流量数据的处理装置可以为网络分析平台,具体的,该处理装置可以包括:
第二接收模块51,用于接收硬件网关发送的第一流量分析结果和软件网关发送的第二流量分析结果;
第二确定模块52,用于根据第一流量分析结果和第二流量分析结果确定与第一类型网关和第二类型网关相对应的大象流分析结果;
第一发送模块53,用于将大象流分析结果发送至网络管理平台。
可选地,第一类型网关包括硬件网关,第二类型网关包括软件网关;本实施例中的第二确定模块52还可以用于执行:获取第一总流量以及与第一总流量中每个流量数据相对应的流量配置信息,第一总流量与硬件网关的历史网络流量和软件网关的历史网络流量相关;根据第一总流量和每个流量数据所对应的流量配置信息生成第二配置信息表。
可选地,在根据第一总流量和每个流量数据所对应的流量配置信息生成第二配置信息表之后,本实施例中的第一发送模块53还可以用于执行:将第二配置信息表通过网络管理平台发送至软件网关。
可选地,在获取第一总流量以及与第一总流量中每个流量数据相对应的流量配置信息之后,本实施例中的第二确定模块52还可以用于执行:基于第一总流量确定针对硬件网关的大象流数据;获取与所述大象流数据相对应的大象流配置信息;根据大象流数据和大象流配置信息生成第一配置信息表。
可选地,在根据所述大象流数据和所述大象流配置信息生成第一配置信息表之后,本实施例中的第一发送模块53还可以用于执行:将第一配置信息表通过网络管理平台发送至硬件网关。
可选地,本实施例中的第二确定模块52还可以用于执行:获取第二总流量,第二总流量与硬件网关的当前网络流量和软件网关的当前网络流量相关;根据第二总流量对第一配置信息表进行调整。
可选地,在第二确定模块52根据第二总流量对第一配置信息表进行调整时,该第二确定模块52可以用于执行:根据第二总流量确定位于硬件网关和软件网关上的所有大象流数据;获取与每个大象流数据相对应的流量配置信息;确定流量配置信息所需要的存储空间;根据存储空间对第一配置信息表进行调整。
可选地,在第二确定模块52根据第二总流量确定位于硬件网关和软件网关上的所有大象流数据时,该第二确定模块52可以用于执行:根据第二总流量确定大象流阈值信息;基于大象流阈值信息对硬件网关和软件网关上的流量数据进行筛选,获得位于硬件网关和软件网关上的所有大象流数据。
可选地,在第二确定模块52根据存储空间对第一配置信息表进行调整时,该第二确定模块52可以用于执行:根据与每个大象流数据相对应的流量配置信息和流量配置信息所需要的存储空间确定每个大象流数据所对应的流量配置比;根据流量配置比对所有大象流数据的流量配置信息进行排序,获得流量排序信息;利用贪心算法、流量排序信息以及硬件网关的预设存储空间对第一配置信息表进行调整。
可选地,本实施例中的第二确定模块52还可以用于执行:基于调整后的第一配置信息表,对大象流数据所对应的流量配置信息进行存储。
可选地,所述第一流量分析结果包括与所述网络流量数据相对应的镜像报文;本实施例中的第二确定模块52还可以用于执行:对镜像报文进行聚合处理,获得聚合结果;基于聚合结果判断是否存在空流量的流量数据;若存在,则删除流量数据的流量配置信息。
可选地,本实施例中的第二确定模块52还可以用于执行:基于大象流分析结果确定与大象流分析结果相对应的趋势信息和数据特征;利用趋势信息和数据特征对待处理的大象流网络数据进行预测。
图14所示装置可以执行图1a、图1b-图3、图7所示实施例的方法,本实施例未详细描述的部分,可参考对图1a、图1b-图3、图7所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1a、图1b-图3、图7所示实施例中的描述,在此不再赘述。
在一个可能的设计中,图14所示流量数据的处理装置的结构可实现为一电子设备,该电子设备可以是网络分析平台、具有分析能力的终端设备(例如:手机、平板电脑)、服务器等各种设备。如图15所示,该电子设备可以包括:第三处理器61和第三存储器62。其中,第三存储器62用于存储支持电子设备执行上述图1a、图1b-图3、图7所示实施例中提供的流量数据的处理方法的程序,第三处理器61被配置为用于执行第三存储器62中存储的程序。
程序包括一条或多条计算机指令,其中,一条或多条计算机指令被第三处理器61执行时能够实现如下步骤:
接收硬件网关发送的第一流量分析结果和软件网关发送的第二流量分析结果;
根据第一流量分析结果和第二流量分析结果确定与第一类型网关和第二类型网关相对应的大象流分析结果;
将大象流分析结果发送至网络管理平台。
其中,电子设备的结构中还可以包括第三通信接口63,用于电子设备与其他设备或通信网络通信。
另外,本发明实施例提供了一种计算机存储介质,用于储存电子设备所用的计算机软件指令,其包含用于执行上述图1a、图1b-图3、图7所示方法实施例中流量数据的处理方法所涉及的程序。
图16为本发明实施例提供的一种流量数据的处理装置的结构示意图四;参考附图16所示,本实施例提供了一种流量数据的处理装置,该处理装置可以执行上述图8所对应的流量数据的处理方法。具体应用时,该流量数据的处理装置可以为网络管理平台,具体的,该处理装置可以包括:
第三接收模块71,用于接收网络分析平台发送的大象流分析结果;
第三确定模块72,用于根据大象流分析结果确定大象流配置信息;
第二发送模块73,用于将大象流分析结果和大象流配置信息发送至硬件网关。
图16所示装置可以执行图1a、图1b-图3所示实施例的方法,本实施例未详细描述的部分,可参考对图1a、图1b-图3所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1a、图1b-图3所示实施例中的描述,在此不再赘述。
在一个可能的设计中,图16所示流量数据的处理装置的结构可实现为一电子设备,该电子设备可以是网络管理平台、具有管理能力的终端设备(例如:手机、平板电脑)、服务器等各种设备。如图17所示,该电子设备可以包括:第四处理器81和第四存储器82。其中,第四存储器82用于存储支持电子设备执行上述图1a、图1b-图3所示实施例中提供的流量数据的处理方法的程序,第四处理器81被配置为用于执行第四存储器82中存储的程序。
程序包括一条或多条计算机指令,其中,一条或多条计算机指令被第四处理器81执行时能够实现如下步骤:
接收网络分析平台发送的大象流分析结果;
根据大象流分析结果确定大象流配置信息;
将大象流分析结果和大象流配置信息发送至硬件网关。
其中,电子设备的结构中还可以包括第四通信接口83,用于电子设备与其他设备或通信网络通信。
另外,本发明实施例提供了一种计算机存储介质,用于储存电子设备所用的计算机软件指令,其包含用于执行上述图1a、图1b-图3、图8所示方法实施例中流量数据的处理方法所涉及的程序。
图18为本发明实施例提供的一种流量数据的处理装置的结构示意图五;参考附图18所示,本实施例提供了一种流量数据的处理装置,该处理装置可以执行上述图9所对应的流量数据的处理方法。具体应用时,该流量数据的处理装置可以为网络分析平台,具体的,该处理装置可以包括:
第三获取模块91,用于获取网络流量数据;
识别模块92,用于对所述网络流量数据进行分类识别,确定与所述网络流量数据相对应的第一流量数据和第二流量数据;
生成模块93,用于生成与所述第一流量数据相对应的第一配置信息表、以及与所述第一流量数据和第二流量数据相对应的第二配置信息表,所述第一配置信息表中包括与所述第一流量数据相对应的标准配置信息,所述第二配置信息表中包括与所述第一流量数据相对应的标准配置信息和与所述第二流量数据相对应的标准配置信息;
第三发送模块94,用于将所述第一配置信息表发送至第一类型网关,将所述第二配置信息表发送至第二类型网关。
图18所示装置可以执行图1a、图1b-图3、图9所示实施例的方法,本实施例未详细描述的部分,可参考对图1a、图1b-图3、图9所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1a、图1b-图3、图9所示实施例中的描述,在此不再赘述。
在一个可能的设计中,图18所示流量数据的处理装置的结构可实现为一电子设备,该电子设备可以是网络分析平台、具有管理能力的终端设备(例如:手机、平板电脑)、服务器等各种设备。如图19所示,该电子设备可以包括:第五处理器101和第五存储器102。其中,第五存储器102用于存储支持电子设备执行上述图1a、图1b-图3、图9所示实施例中提供的流量数据的处理方法的程序,第五处理器101被配置为用于执行第五存储器102中存储的程序。
程序包括一条或多条计算机指令,其中,一条或多条计算机指令被第五处理器101执行时能够实现如下步骤:
获取网络流量数据;
对所述网络流量数据进行分类识别,确定与所述网络流量数据相对应的第一流量数据和第二流量数据;
生成与所述第一流量数据相对应的第一配置信息表、以及与所述第一流量数据和第二流量数据相对应的第二配置信息表,所述第一配置信息表中包括与所述第一流量数据相对应的标准配置信息,所述第二配置信息表中包括与所述第一流量数据相对应的标准配置信息和与所述第二流量数据相对应的标准配置信息;
将所述第一配置信息表发送至第一类型网关,将所述第二配置信息表发送至第二类型网关。
其中,电子设备的结构中还可以包括第五通信接口103,用于电子设备与其他设备或通信网络通信。
另外,本发明实施例提供了一种计算机存储介质,用于储存电子设备所用的计算机软件指令,其包含用于执行上述图1a、图1b-图3、图9所示方法实施例中流量数据的处理方法所涉及的程序。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现,当然也可以通过硬件和软件结合的方式来实现。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以计算机产品的形式体现出来,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例提供的流量数据的处理方法可以由某种程序/软件来执行,该程序/软件可以由网络侧提供,该程序/软件比如可以是前述实施例中提及的即时通信应用程序,前述实施例中提及的预测终端可以将该程序/软件下载到本地的非易失性存储介质中,并在其需要执行前述流量数据的处理方法时,通过CPU将该程序/软件读取到内存中,进而由CPU执行该程序/软件以实现前述实施例中所提供的流量数据的处理方法,执行过程可以参见前述图1a、图1b至图7中的示意。
本发明实施例提供的流量数据的处理方法可以由某种程序/软件来执行,该程序/软件可以由网络侧提供,该程序/软件比如可以是前述实施例中提及的即时通信应用程序,前述实施例中提及的训练终端可以将该程序/软件下载到本地的非易失性存储介质中,并在其需要执行前述流量数据的处理方法时,通过CPU将该程序/软件读取到内存中,进而由CPU执行该程序/软件以实现前述实施例中所提供的流量数据的处理方法,执行过程可以参见前述图8中的示意。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程设备的处理器以产生一个机器,使得通过计算机或其他可编程设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (41)
1.一种流量数据的处理方法,其特征在于,应用于第一类型网关,所述方法包括:
获取待处理的网络流量数据;
确定所述网络流量数据的流量分类信息;
在所述网络流量数据为第一流量数据时,则对所述网络流量数据进行处理;或者,
在所述网络流量数据为第二流量数据时,则将所述网络流量数据发送至第二类型网关,以使所述第二类型网关对所述网络流量数据进行处理。
2.根据权利要求1所述的方法,其特征在于,所述第一类型网关包括硬件网关,所述第二类型网关包括软件网关。
3.根据权利要求2所述的方法,其特征在于,确定所述网络流量数据的流量分类信息,包括:
获取与所述网络流量数据相对应的流量配置信息;
根据所述流量配置信息确定所述网络流量数据的流量分类信息。
4.根据权利要求3所述的方法,其特征在于,根据所述流量配置信息确定所述网络流量数据的流量分类信息,包括:
获取第一配置信息表,所述第一配置信息表中包括多个第一流量数据所对应的标准配置信息;
在所述第一配置信息表中存在与所述流量配置信息相匹配的标准配置信息时,则确定所述网络流量数据为第一流量数据;或者,
在所述第一配置信息表中不存在与所述流量配置信息相匹配的标准配置信息时,则确定所述网络流量数据为第二流量数据。
5.根据权利要求2-4中任意一项所述的方法,其特征在于,将所述网络流量数据发送至软件网关,包括:
获取所述软件网关的地址信息;
基于所述地址信息对所述网络流量数据进行隧道封装,并将封装后的网络流量数据发送至所述软件网关。
6.根据权利要求1-4中任意一项所述的方法,其特征在于,在获取待处理的网络流量数据之后,所述方法还包括:
获取与所述网络流量数据相对应的第一流量分析结果;
将所述第一流量分析结果发送至网络分析平台,以使所述网络分析平台对所述第一流量分析结果进行分析处理。
7.一种流量数据的处理方法,其特征在于,应用于第二类型网关,所述方法包括:
接收第一类型网关发送的网络流量数据;
获取用于对所述网络流量数据进行分析处理的第二配置信息表,所述第二配置信息表中包括与第一流量数据相对应的标准配置信息和与第二流量数据相对应的标准配置信息;
利用所述第二配置信息表对所述网络流量数据进行处理,并将处理后的网络流量数据转发至物理交换机。
8.根据权利要求7所述的方法,其特征在于,所述第一类型网关包括硬件网关,所述第二类型网关包括软件网关。
9.根据权利要求8所述的方法,其特征在于,利用所述第二配置信息表对所述网络流量数据进行处理,包括:
对所述网络流量数据进行解封装处理,获得与所述网络流量数据相对应的网络流量报文;
利用所述第二配置信息表对所述网络流量报文进行处理,获得与所述网络流量数据相对应的流量配置信息。
10.根据权利要求9所述的方法,其特征在于,所述流量配置信息包括流量大小和流量特征。
11.根据权利要求10所述的方法,其特征在于,利用所述第二配置信息表对所述网络流量报文进行处理,获得与所述网络流量数据相对应的流量配置信息,包括:
利用所述第二配置信息表对所述网络流量数据进行流量匹配,确定与所述网络流量数据相对应的流量特征;
利用所述第二配置信息表对所述网络流量数据进行流量统计,确定与所述网络流量数据相对应的流量大小。
12.根据权利要求8-11中任意一项所述的方法,其特征在于,所述方法还包括:
根据所述流量配置信息判断所述网络流量数据是否为大象流数据;
在所述网络流量数据为大象流数据时,将所述网络流量数据所对应的流量配置信息发送至网络分析平台。
13.一种流量数据的处理方法,其特征在于,包括:
接收第一类型网关发送的第一流量分析结果和第二类型网关发送的第二流量分析结果;
根据所述第一流量分析结果和第二流量分析结果确定与所述第一类型网关和第二类型网关相对应的大象流分析结果;
将所述大象流分析结果发送至网络管理平台。
14.根据权利要求13所述的方法,其特征在于,所述第一类型网关包括硬件网关,所述第二类型网关包括软件网关;所述方法还包括:
获取第一总流量以及与所述第一总流量中每个流量数据相对应的流量配置信息,所述第一总流量与所述硬件网关的历史网络流量和软件网关的历史网络流量相关;
根据所述第一总流量和每个流量数据所对应的流量配置信息生成第二配置信息表。
15.根据权利要求14所述的方法,其特征在于,在根据所述第一总流量和每个流量数据所对应的流量配置信息生成第二配置信息表之后,所述方法还包括:
将所述第二配置信息表通过网络管理平台发送至软件网关。
16.根据权利要求14所述的方法,其特征在于,在获取第一总流量以及与所述第一总流量中每个流量数据相对应的流量配置信息之后,所述方法还包括:
基于所述第一总流量确定针对所述硬件网关的大象流数据;
获取与所述大象流数据相对应的大象流配置信息;
根据所述大象流数据和所述大象流配置信息生成第一配置信息表。
17.根据权利要求16所述的方法,其特征在于,在根据所述大象流数据和所述大象流配置信息生成第一配置信息表之后,所述方法还包括:
将所述第一配置信息表通过网络管理平台发送至硬件网关。
18.根据权利要求16所述的方法,其特征在于,所述方法还包括:
获取第二总流量,所述第二总流量与所述硬件网关的当前网络流量和软件网关的当前网络流量相关;
根据所述第二总流量对所述第一配置信息表进行调整。
19.根据权利要求18所述的方法,其特征在于,根据所述第二总流量对所述第一配置信息表进行调整,包括:
根据所述第二总流量确定位于所述硬件网关和所述软件网关上的所有大象流数据;
获取与每个大象流数据相对应的流量配置信息;
确定所述流量配置信息所需要的存储空间;
根据所述存储空间对所述第一配置信息表进行调整。
20.根据权利要求19所述的方法,其特征在于,根据所述第二总流量确定位于所述硬件网关和所述软件网关上的所有大象流数据,包括:
根据所述第二总流量确定大象流阈值信息;
基于所述大象流阈值信息对所述硬件网关和软件网关上的流量数据进行筛选,获得位于所述硬件网关和所述软件网关上的所有大象流数据。
21.根据权利要求19所述的方法,其特征在于,根据所述存储空间对所述第一配置信息表进行调整,包括:
根据与每个大象流数据相对应的流量配置信息和流量配置信息所需要的存储空间确定每个大象流数据所对应的流量配置比;
根据所述流量配置比对所有大象流数据的流量配置信息进行排序,获得流量排序信息;
利用贪心算法、所述流量排序信息以及所述硬件网关的预设存储空间对所述第一配置信息表进行调整。
22.根据权利要求21所述的方法,其特征在于,所述方法还包括:
基于调整后的所述第一配置信息表,对所述大象流数据所对应的流量配置信息进行存储。
23.根据权利要求14-17中任意一项所述的方法,其特征在于,所述第一流量分析结果包括与所述网络流量数据相对应的镜像报文;所述方法还包括:
对所述镜像报文进行聚合处理,获得聚合结果;
基于聚合结果判断是否存在空流量的流量数据;
若存在,则删除所述流量数据的流量配置信息。
24.根据权利要求14-17中任意一项所述的方法,其特征在于,所述方法还包括:
基于所述大象流分析结果确定与所述大象流分析结果相对应的趋势信息和数据特征;
利用所述趋势信息和数据特征对待处理的大象流网络数据进行预测。
25.一种流量数据的处理方法,其特征在于,包括:
接收网络分析平台发送的大象流分析结果;
根据所述大象流分析结果确定大象流配置信息;
将所述大象流分析结果和大象流配置信息发送至硬件网关。
26.一种流量数据的处理方法,其特征在于,包括:
获取网络流量数据;
对所述网络流量数据进行分类识别,确定与所述网络流量数据相对应的第一流量数据和第二流量数据;
生成与所述第一流量数据相对应的第一配置信息表、以及与所述第一流量数据和第二流量数据相对应的第二配置信息表,所述第一配置信息表中包括与所述第一流量数据相对应的标准配置信息,所述第二配置信息表中包括与所述第一流量数据相对应的标准配置信息和与所述第二流量数据相对应的标准配置信息;
将所述第一配置信息表发送至第一类型网关,将所述第二配置信息表发送至第二类型网关。
27.一种流量数据的处理装置,其特征在于,包括:
第一获取模块,用于获取待处理的网络流量数据;
第一确定模块,用于确定所述网络流量数据的流量分类信息;
第一处理模块,用于在所述网络流量数据为第一流量数据时,则对所述网络流量数据进行处理;或者,在所述网络流量数据为第二流量数据时,则将所述网络流量数据发送至第二类型网关,以使所述第二类型网关对所述网络流量数据进行处理。
28.一种电子设备,其特征在于,包括:存储器、处理器;其中,所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行时实现如权利要求1至6中任一项所述的流量数据的处理方法。
29.一种计算机存储介质,其特征在于,该计算机存储介质用于储存计算机程序,所述计算机程序使计算机执行时实现权利要求1-6中任意一项所述的流量数据的处理方法。
30.一种流量数据的处理装置,其特征在于,包括:
第一接收模块,用于接收第一类型网关发送的网络流量数据;
第二获取模块,用于获取用于对所述网络流量数据进行分析处理的第二配置信息表,所述第二配置信息表中包括多个第一流量数据所对应的标准配置信息和多个第二流量数据所对应的标准配置信息;
第二处理模块,用于利用所述第二配置信息表对所述网络流量数据进行处理,并将处理后的网络流量数据转发至物理交换机。
31.一种电子设备,其特征在于,包括:存储器、处理器;其中,所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行时实现如权利要求7-12中任意一项所述的流量数据的处理方法。
32.一种计算机存储介质,其特征在于,该计算机存储介质用于储存计算机程序,所述计算机程序使计算机执行时实现权利要求7-12中任意一项所述的流量数据的处理方法。
33.一种流量数据的处理装置,其特征在于,包括:
第二接收模块,用于接收第一类型网关发送的第一流量分析结果和第二类型网关发送的第二流量分析结果;
第二确定模块,用于根据所述第一流量分析结果和第二流量分析结果确定与所述第一类型网关和第二类型网关相对应的大象流分析结果;
第一发送模块,用于将所述大象流分析结果发送至网络管理平台。
34.一种电子设备,其特征在于,包括:存储器、处理器;其中,所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行时实现如权利要求13-24中任意一项所述的流量数据的处理方法。
35.一种计算机存储介质,其特征在于,该计算机存储介质用于储存计算机程序,所述计算机程序使计算机执行时实现权利要求13-24中任意一项所述的流量数据的处理方法。
36.一种流量数据的处理装置,其特征在于,包括:
第三接收模块,用于接收网络分析平台发送的大象流分析结果;
第三确定模块,用于根据所述大象流分析结果确定大象流配置信息;
第二发送模块,用于将所述大象流分析结果和大象流配置信息发送至硬件网关。
37.一种电子设备,其特征在于,包括:存储器、处理器;其中,所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行时实现如权利要求25所述的流量数据的处理方法。
38.一种计算机存储介质,其特征在于,该计算机存储介质用于储存计算机程序,所述计算机程序使计算机执行时实现权利要求25所述的流量数据的处理方法。
39.一种流量数据的处理装置,其特征在于,包括:
第三获取模块,用于获取网络流量数据;
识别模块,用于对所述网络流量数据进行分类识别,确定与所述网络流量数据相对应的第一流量数据和第二流量数据;
生成模块,用于生成与所述第一流量数据相对应的第一配置信息表、以及与所述第一流量数据和第二流量数据相对应的第二配置信息表,所述第一配置信息表中包括与所述第一流量数据相对应的标准配置信息,所述第二配置信息表中包括与所述第一流量数据相对应的标准配置信息和与所述第二流量数据相对应的标准配置信息;
第三发送模块,用于将所述第一配置信息表发送至第一类型网关,将所述第二配置信息表发送至第二类型网关。
40.一种电子设备,其特征在于,包括:存储器、处理器;其中,所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行时实现如权利要求26所述的流量数据的处理方法。
41.一种计算机存储介质,其特征在于,该计算机存储介质用于储存计算机程序,所述计算机程序使计算机执行时实现权利要求26所述的流量数据的处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911051320.9A CN112751781A (zh) | 2019-10-31 | 2019-10-31 | 流量数据的处理方法、装置、设备及计算机存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911051320.9A CN112751781A (zh) | 2019-10-31 | 2019-10-31 | 流量数据的处理方法、装置、设备及计算机存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112751781A true CN112751781A (zh) | 2021-05-04 |
Family
ID=75641304
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911051320.9A Pending CN112751781A (zh) | 2019-10-31 | 2019-10-31 | 流量数据的处理方法、装置、设备及计算机存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112751781A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113438168A (zh) * | 2021-05-21 | 2021-09-24 | 清华大学 | 软硬件混合流表管理方法及装置 |
CN113595936A (zh) * | 2021-08-03 | 2021-11-02 | 中国电信股份有限公司 | 流量监管方法、网关设备和存储介质 |
CN114900475A (zh) * | 2022-04-29 | 2022-08-12 | 鹏城实验室 | 一种混合流转发方法、装置、设备及存储介质 |
CN114979016A (zh) * | 2022-03-24 | 2022-08-30 | 阿里云计算有限公司 | 网关***、网关、报文转发方法及程序产品 |
CN115037642A (zh) * | 2022-03-30 | 2022-09-09 | 武汉烽火技术服务有限公司 | 一种识别流量瓶颈的方法和装置 |
Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101827017A (zh) * | 2010-02-04 | 2010-09-08 | 蓝盾信息安全技术股份有限公司 | 一种动态分配网络流量的方法及*** |
CN102045363A (zh) * | 2010-12-31 | 2011-05-04 | 成都市华为赛门铁克科技有限公司 | 网络流量特征识别规则的建立方法、识别控制方法及装置 |
CN103716208A (zh) * | 2013-12-31 | 2014-04-09 | 北京邮电大学 | 支持大象流的网络管理方法、***、交换机和网络 |
CN104158753A (zh) * | 2014-06-12 | 2014-11-19 | 南京工程学院 | 基于软件定义网络的动态流调度方法及*** |
CN104378214A (zh) * | 2014-11-14 | 2015-02-25 | 杭州华三通信技术有限公司 | 流量计费方法及装置 |
CN104780088A (zh) * | 2015-03-19 | 2015-07-15 | 杭州华三通信技术有限公司 | 一种业务报文的传输方法和设备 |
CN104869013A (zh) * | 2015-04-24 | 2015-08-26 | 杭州华三通信技术有限公司 | 一种基于sdn的网关配置方法及sdn控制器 |
CN105591925A (zh) * | 2015-12-10 | 2016-05-18 | 杭州华三通信技术有限公司 | 应用于sdn中的报文转发方法和设备 |
CN105915396A (zh) * | 2016-06-20 | 2016-08-31 | 中国联合网络通信集团有限公司 | 家庭网络流量识别***和方法 |
US20170111233A1 (en) * | 2015-10-15 | 2017-04-20 | Citrix Systems, Inc. | Systems and methods for determining network configurations using historical and real-time network metrics data |
CN107911258A (zh) * | 2017-12-29 | 2018-04-13 | 深信服科技股份有限公司 | 一种基于sdn网络的安全资源池的实现方法及*** |
JP2018067829A (ja) * | 2016-10-20 | 2018-04-26 | 中華電信股▲分▼有限公司 | 即時トラフィック収集・分析システム及び方法 |
CN108259347A (zh) * | 2017-05-19 | 2018-07-06 | 新华三技术有限公司 | 一种报文传输方法和装置 |
CN108712292A (zh) * | 2018-05-29 | 2018-10-26 | 广州大学 | 一种基于深度学习的网络流类型预测方法 |
CN108989240A (zh) * | 2018-08-01 | 2018-12-11 | Oppo(重庆)智能科技有限公司 | 网络流量控制方法、装置、终端设备和存储介质 |
CN109063777A (zh) * | 2018-08-07 | 2018-12-21 | 北京邮电大学 | 网络流量分类方法、装置及实现装置 |
CA3076538A1 (en) * | 2017-09-27 | 2019-04-04 | Newsouth Innovations Pty Limited | Process and apparatus for identifying and classifying video-data |
CN109962832A (zh) * | 2017-12-26 | 2019-07-02 | 华为技术有限公司 | 报文处理的方法和装置 |
-
2019
- 2019-10-31 CN CN201911051320.9A patent/CN112751781A/zh active Pending
Patent Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101827017A (zh) * | 2010-02-04 | 2010-09-08 | 蓝盾信息安全技术股份有限公司 | 一种动态分配网络流量的方法及*** |
CN102045363A (zh) * | 2010-12-31 | 2011-05-04 | 成都市华为赛门铁克科技有限公司 | 网络流量特征识别规则的建立方法、识别控制方法及装置 |
CN103716208A (zh) * | 2013-12-31 | 2014-04-09 | 北京邮电大学 | 支持大象流的网络管理方法、***、交换机和网络 |
CN104158753A (zh) * | 2014-06-12 | 2014-11-19 | 南京工程学院 | 基于软件定义网络的动态流调度方法及*** |
CN104378214A (zh) * | 2014-11-14 | 2015-02-25 | 杭州华三通信技术有限公司 | 流量计费方法及装置 |
CN104780088A (zh) * | 2015-03-19 | 2015-07-15 | 杭州华三通信技术有限公司 | 一种业务报文的传输方法和设备 |
CN104869013A (zh) * | 2015-04-24 | 2015-08-26 | 杭州华三通信技术有限公司 | 一种基于sdn的网关配置方法及sdn控制器 |
US20170111233A1 (en) * | 2015-10-15 | 2017-04-20 | Citrix Systems, Inc. | Systems and methods for determining network configurations using historical and real-time network metrics data |
CN105591925A (zh) * | 2015-12-10 | 2016-05-18 | 杭州华三通信技术有限公司 | 应用于sdn中的报文转发方法和设备 |
CN105915396A (zh) * | 2016-06-20 | 2016-08-31 | 中国联合网络通信集团有限公司 | 家庭网络流量识别***和方法 |
JP2018067829A (ja) * | 2016-10-20 | 2018-04-26 | 中華電信股▲分▼有限公司 | 即時トラフィック収集・分析システム及び方法 |
CN108259347A (zh) * | 2017-05-19 | 2018-07-06 | 新华三技术有限公司 | 一种报文传输方法和装置 |
CA3076538A1 (en) * | 2017-09-27 | 2019-04-04 | Newsouth Innovations Pty Limited | Process and apparatus for identifying and classifying video-data |
CN109962832A (zh) * | 2017-12-26 | 2019-07-02 | 华为技术有限公司 | 报文处理的方法和装置 |
CN107911258A (zh) * | 2017-12-29 | 2018-04-13 | 深信服科技股份有限公司 | 一种基于sdn网络的安全资源池的实现方法及*** |
CN108712292A (zh) * | 2018-05-29 | 2018-10-26 | 广州大学 | 一种基于深度学习的网络流类型预测方法 |
CN108989240A (zh) * | 2018-08-01 | 2018-12-11 | Oppo(重庆)智能科技有限公司 | 网络流量控制方法、装置、终端设备和存储介质 |
CN109063777A (zh) * | 2018-08-07 | 2018-12-21 | 北京邮电大学 | 网络流量分类方法、装置及实现装置 |
Non-Patent Citations (4)
Title |
---|
XIANFENG LI; YANHUA SHAO: "Memory compression for Recursive Flow Classification Algorithm in Network Packet Processing Devices", 2018 IEEE 3RD ADVANCED INFORMATION TECHNOLOGY, ELECTRONIC AND AUTOMATION CONTROL CONFERENCE (IAEAC) * |
殷瑞祥;谢小梅;: "一种快速加解密的Femto安全网关***", 信息技术, no. 03 * |
焦宏宇;何利文;黄俊;: "基于蜜场的Openstack安全***", 计算机技术与发展, no. 10 * |
聂荣, 张兴兰, 雷振明: "关于实时网络流量测量的研究", 电信科学, no. 09 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113438168A (zh) * | 2021-05-21 | 2021-09-24 | 清华大学 | 软硬件混合流表管理方法及装置 |
CN113438168B (zh) * | 2021-05-21 | 2022-08-02 | 清华大学 | 软硬件混合流表管理方法及装置 |
CN113595936A (zh) * | 2021-08-03 | 2021-11-02 | 中国电信股份有限公司 | 流量监管方法、网关设备和存储介质 |
CN113595936B (zh) * | 2021-08-03 | 2022-09-20 | 中国电信股份有限公司 | 流量监管方法、网关设备和存储介质 |
CN114979016A (zh) * | 2022-03-24 | 2022-08-30 | 阿里云计算有限公司 | 网关***、网关、报文转发方法及程序产品 |
CN114979016B (zh) * | 2022-03-24 | 2024-06-14 | 阿里云计算有限公司 | 网关***、网关、报文转发方法及程序产品 |
CN115037642A (zh) * | 2022-03-30 | 2022-09-09 | 武汉烽火技术服务有限公司 | 一种识别流量瓶颈的方法和装置 |
CN115037642B (zh) * | 2022-03-30 | 2023-11-21 | 武汉烽火技术服务有限公司 | 一种识别流量瓶颈的方法和装置 |
CN114900475A (zh) * | 2022-04-29 | 2022-08-12 | 鹏城实验室 | 一种混合流转发方法、装置、设备及存储介质 |
CN114900475B (zh) * | 2022-04-29 | 2023-07-14 | 鹏城实验室 | 一种混合流转发方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112751781A (zh) | 流量数据的处理方法、装置、设备及计算机存储介质 | |
US9800502B2 (en) | Quantized congestion notification for computing environments | |
US10122547B2 (en) | Enabling high-bandwidth, responsive mobile applications in LTE networks | |
US10034222B2 (en) | System and method for mapping a service-level topology to a service-specific data plane logical topology | |
US10735325B1 (en) | Congestion avoidance in multipath routed flows | |
US10091100B1 (en) | Network functions virtualization infrastructure comprising virtual switch for internet of things data | |
US9112801B2 (en) | Quantized congestion notification in a virtual networking system | |
US20180070261A1 (en) | Network traffic event management at the client terminal level | |
US11677643B2 (en) | Traffic classification of elephant and mice data flows in managing data networks | |
US20130100803A1 (en) | Application based bandwidth control for communication networks | |
US11146531B2 (en) | Separating CGN forwarding and control | |
US10819640B1 (en) | Congestion avoidance in multipath routed flows using virtual output queue statistics | |
US20130294231A1 (en) | Method of high-speed switching for network virtualization and high-speed virtual switch architecture | |
WO2022116953A1 (zh) | 报文处理方法、设备、***及存储介质 | |
CN103281257A (zh) | 一种协议报文处理方法和设备 | |
US20130265869A1 (en) | Systems and Methods for Selective Data Redundancy Elimination for Resource Constrained Hosts | |
CN106656807A (zh) | 一种报文转发方法及sdn交换机 | |
US20190042294A1 (en) | System and method for implementing virtualized network functions with a shared memory pool | |
US9374308B2 (en) | Openflow switch mode transition processing | |
US10764722B2 (en) | Subscriber sampling for network packet forwarding based upon unique subscriber identifiers | |
CN114024758B (zh) | 流量特征提取方法、***、存储介质及电子设备 | |
US20230283523A1 (en) | Handling, controlling, and managing internet protocol assets using machine learning | |
CN110752994B (zh) | 一种流量分类处理方法、装置、设备及可读存储介质 | |
US20240236011A1 (en) | Tunnel aggregation based optimization in a multi-cloud architecture | |
US9515864B2 (en) | Differentiated service behavior based on differentiated services code point (DSCP) bits |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |