CN116170352A - 网络流量的处理方法、装置、电子设备及存储介质 - Google Patents
网络流量的处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116170352A CN116170352A CN202310109341.1A CN202310109341A CN116170352A CN 116170352 A CN116170352 A CN 116170352A CN 202310109341 A CN202310109341 A CN 202310109341A CN 116170352 A CN116170352 A CN 116170352A
- Authority
- CN
- China
- Prior art keywords
- data
- traffic
- information
- flow
- analysis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003860 storage Methods 0.000 title claims abstract description 65
- 238000003672 processing method Methods 0.000 title description 5
- 238000004458 analytical method Methods 0.000 claims abstract description 115
- 238000000034 method Methods 0.000 claims abstract description 71
- 238000012545 processing Methods 0.000 claims abstract description 54
- 230000015654 memory Effects 0.000 claims description 34
- 238000005206 flow analysis Methods 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 23
- 238000007619 statistical method Methods 0.000 claims description 4
- 238000007726 management method Methods 0.000 abstract description 17
- 238000005516 engineering process Methods 0.000 abstract description 16
- 230000006870 function Effects 0.000 description 23
- 238000009826 distribution Methods 0.000 description 21
- 230000008569 process Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 9
- 238000012544 monitoring process Methods 0.000 description 9
- 238000005192 partition Methods 0.000 description 5
- 230000010354 integration Effects 0.000 description 4
- 230000003139 buffering effect Effects 0.000 description 3
- 238000013480 data collection Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013079 data visualisation Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0876—Network utilisation, e.g. volume of load or congestion level
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/04—Processing captured monitoring data, e.g. for logfile generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Environmental & Geological Engineering (AREA)
- Data Mining & Analysis (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请公开了一种网络流量的处理方法、装置、电子设备及存储介质。依据本申请实施例，通过获取云计算设备集群中传输的流量数据，先将流量数据与地理位置数据库进行匹配获取地理位置信息，对流量数据进行信息匹配确定业务信息，再将地理位置信息和业务信息作为流量数据的分析结果，发送至分布式存储服务器进行存储，最后根据请求获取流量数据的分析结果，进而将分析结果添加至流量分析页面并提供该页面。本申请对现有网络管理***中数据流量信息的处理和分析方式进行改造和升级，以多维数据形式展示网络流量数据多个属性值，克服了现有网络管理***对网络流量数据各个属性值和流向的分析功能技术的局限性。
Description
技术领域
本申请涉及计算机技术领域，尤其涉及一种网络流量的处理方法、装置、电子设备及存储介质。
背景技术
随着企业信息化网络的不断发展，企业的网络规模在扩大，企业的业务在激增，网络管理面临着越来越大的挑战，企业为了满足业务需求，网络接口带宽速率经历了十兆、百兆、千兆和万兆的过程。相关技术中，对网络流量进行处理分析时，数据的处理方式比较单一，对于数据的发掘、利用不足，导致可以展示出来的数据的处理结果参考意义有限；另外，随着网络接口带宽速率的倍速提升，相关技术中对于网络流量数据的处理方式不利于网络管理人员或者企业用户及时发现并排除隐患。为克服现有网络管理***对网络流量数据各个属性值和流向的分析功能技术的局限性，企业迫切需要寻找一种功能丰富，成熟稳定的新技术，对现有网络管理***中数据流量各个属性值的信息采集、分析方式进行改造和升级。
发明内容
本申请实施例提供一种网络流量的处理方法、装置、电子设备及存储介质，以解决上述一个或多个技术问题。
第一方面，本申请实施例提供了一种网络流量的处理方法，包括：
获取云计算设备集群中传输的流量数据；
将所述流量数据与地理位置数据库进行匹配，获取所述流量数据中包括的地理位置信息；
对所述流量数据进行信息匹配，确定所述流量数据对应的业务信息，所述业务信息包括流量数据对应的设备信息、运营商信息、业务用户信息中至少一种；
将所述地理位置信息和业务信息作为所述流量数据的分析结果，发送至分布式存储服务器进行存储；
根据对所述流量数据的分析结果的获取请求，获取对应的流量数据的分析结果；
将所述分析结果添加至流量分析页面，并提供所述流量分析页面。
第二方面，本申请实施例提供了一种网络流量的处理装置，包括：
流量数据获取模块，用于获取云计算设备集群中传输的流量数据；
地理位置匹配模块，用于将所述流量数据与地理位置数据库进行匹配，获取所述流量数据中包括的地理位置信息；
业务信息匹配模块，用于对所述流量数据进行信息匹配，确定所述流量数据对应的业务信息，所述业务信息包括流量数据对应的设备信息、运营商信息、业务用户信息中至少一种；
分析结果存储模块，用于将所述地理位置信息和业务信息作为所述流量数据的分析结果，发送至分布式存储服务器进行存储；
分析结果获取模块，用于根据对所述流量数据的分析结果的获取请求，获取对应的流量数据的分析结果；
分析结果展示模块，用于将所述分析结果添加至流量分析页面，并提供所述流量分析页面。
第三方面，本申请实施例提供了一种计算设备，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器在执行所述计算机程序时实现本申请任一实施例所述的方法。
第四方面，本申请实施例提供了一种计算设备可读存储介质，所述计算设备可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现本申请任一实施例所述的方法。
与相关技术相比，本申请具有如下优点：
本申请通过构建新的网络流量数据处理***，对现有网络管理***中数据流量信息的处理和分析方式进行改造和升级，将网络流量数据作为单个图元元素并集构成数据图像，以多维数据的形式展示网络流量数据的多个属性值。由此可以实现处理结果多样，并监测多个网络接口流量数据的目的，同时提升了网络流量数据的处理速度，克服了现有网络管理***对网络流量数据各个属性值和流向的分析功能技术的局限性。
依据本申请实施例，首先，从云计算设备集群中获取其传输的流量数据；然后将所获取的流量数据与国家官方的地理位置数据库进行匹配，获取流量数据中包括的地理位置信息；再对上述匹配地理位置后的流量数据进行其他信息匹配，确定该流量数据对应的业务信息，这里的业务信息可以包括流量数据对应的设备信息、运营商信息、业务用户信息中的至少一种；将上述经过匹配解析后的地理位置信息和业务信息作为上述流量数据的分析结果，发送至分布式存储服务器中进行存储、备用；根据对上述流量数据的分析结果的获取请求，获取对应的流量数据的分析结果；最后，将上述分析结果添加至流量分析页面，并提供该流量分析页面。
在上述网络流量数据的处理过程中，由于采用了新的网络流量数据处理方法，构建了新的网络流量数据处理***，使得对流量数据的处理更加细化，能够将网络流量数据作为单个图元元素并集构成数据图像，以多维数据的形式展示网络流量数据的多个属性值。由此可以实现处理结果多样，同时监测多个网络接口流量数据的目的，另外，上述方法也提升了网络流量数据的处理速度，克服了现有网络管理***对网络流量数据各个属性值和流向的分析功能技术的局限性。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，可依照说明书的内容予以实施，并且为了让本申请的上述和其他目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本申请的一些实施方式，而不应将其视为是对本申请范围的限制。
图1为本申请提供的实现网络流量处理的一种方案的示意图；
图2为本申请一实施例中网络流量的处理方法的流程图；
图3为本申请一实施例中网络流量的处理装置的结构框图；
图4为用来实现本申请实施例的计算设备电子设备的框图。
具体实施方式
在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本申请的构思或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的，而非限制性的。
为便于理解本申请实施例的技术方案，以下对本申请实施例的相关技术进行说明。以下相关技术作为可选方案与本申请实施例的技术方案可以进行任意结合，其均属于本申请实施例的保护范围。
在本申请之前的一种相关技术中，对网络流量进行处理分析时，处理结果比较单一，只能看见网络流量某个单一属性的分析结果(例如IP趋势)；同时，可以同时监测的网络接口数量有限，可能只能在同一时间监测某一个设备下面一个网络接口的流量数据；另外，随着网络接口带宽速率的倍速提升，如果仅靠传统的手段对流量网络设备的海量数据进行处理、统计和分析，其速度已不能满足现在的要求。为克服现有网络管理***对网络流量数据各个属性值和流向的分析功能技术的局限性，企业迫切需要寻找一种功能丰富，成熟稳定的新技术，对现有网络管理***中数据流量各个属性值的信息采集、分析方式进行改造和升级。
有鉴于此，本申请实施例提供了一种新的网络流量的处理方法、装置、电子设备及存储介质，以全部或部分解决上述技术问题。
本申请实施例涉及一种网络流量的处理方法，流量来源可以是NetFlow网络监测***发过来的数据流量包，也可以是SFlow(网络监测技术)发过来的，还可以是云计算设备集群中发送的实时传输的流量数据，本申请对此并不做任何限制。本申请实施的方案可以应用到各种需要进行网络流量分析的场景，并以可以通过多个维度展示网络流量分析结果，例如：维度一，可以是客户维度：可以展示包括但不限于TOP50的客户出入流量、国家运营商流量分布、IP属性-出口运营商流量分布、出口运营商-目的运营商流量分布等；维度二，可以是运营商维度：可以展示包括但不限于国家-目的运营商流量分布、客户占比、设备接口占比等；维度三，可以是接口维度：可以展示包括但不限于设备-接口流量分布、接口出入流量分布变化、IPTop10&&客户占比、出口运营商-目的运营商-流量分布等。本申请充分利用数据可视化技术，将网络流量数据作为单个图元元素表示，大量的数据集构成数据图像，同时将数据的各个属性值以多维数据的形式展示，可以从不同的维度观察数据，从而对数据进行更深入的观察和分析。具体数据展示形式可以有矩形竖图、桑基图、条形图、饼图、折线图等，本申请对此并不做任何限制。
为了更清楚地展示本申请实施例中提供的网络流量的处理方法，如下给出本申请实施例方案的具体应用实例，图1为本申请提供的实现网络流量处理的一种方案的示意图。图中涉及到处理方法过程中的几种技术选型：PMACCT(网络监视工具)、LOGSTASH(具有实时流水线能力的开源的数据收集引擎)、KAFKA(分布式流式处理平台)、FLINK(流数据处理工具)、CLICKHOUSE(列式数据库管理***)、SPRINGBOOT(写接口代码的工具)。
首先，获取云计算设备集群中传输的流量数据：可以针对各个机房设备路由器发送出的NETFLOE(一种网络数据包交换技术)流量数据，在各个机房部署一个AGNET(代理，一种自主活动的软件或硬件实体)，安装PMACCT用来接收NETFLOW发送出的流量数据。其中，NETFLOW采集回来的数据中可以包括源地址、目的地址、源自治域、目的自治域、流入接口号、流出接口号、源端口、目的端口、协议类型、包数量、字节数、流数量等。PMACCT中的配置文件通过识别获取到的流量数据的IP，将流量数据转发到对应IP的LOGSTASH中。
其次，将LOGSTASH接收到的流量数据与GEOIP库(国家地理位置数据库)进行匹配，获取上述流量数据中包括的地理位置信息：可以包括IP、经度、纬度、国家、城市甚至是目的运营商，并将匹配后的流量数据整合，再发送到KAFKA；
再次，对上述经LOGSTASH匹配整合后的流量数据，进行其他信息匹配，确定KAFKA接收的流量数据对应的业务信息，可以包括流量数据对应的设备信息、运营商信息、业务用户信息中至少一种：KAFKA可以包含两个topic(数据队列)，一个topic是原始数据、一个是经FLINK匹配后的数据，FLINK匹配数据主要是结合CMDB(一种数据库，可以根据需要存入用于匹配的业务数据信息)匹配设备、接口对应的运营商、客户名称、客户uuid(通用唯一识别码，Universally Unique Identifier)、ip属性、机房、目的运营商、设备名称、设备端口名称。上述处理过程可以是，KAFKA将接收的已经确定地理位置信息的流量数据作为原始数据，缓存到第一个topic中(即Kafka/topic)，FLINK按照第一个topic的排序对接收的流量数据进行信息匹配，确定分别对应的业务信息，然后将确定地理位置信息及业务信息后的流量数据缓存至第二个topic(即Kafka/topic-ck)进行缓存。
然后，将上述地理位置信息和业务信息作为上述流量数据的分析结果，发送至分布式存储服务器进行存储：使用Hangout(一种配置、接收数据的服务)，根据流量数据的IP，将从KAFKA的第二个topic中接收的流量数据发送至对应的CLICKHOUSE数据库中。CLICKHOUSE数据库相当于一个总的信息表，在本实施方案中，CLICKHOUSE数据库放置在多个机房的多台设备中，将数据存储在分布式的存储服务器中。每个存储服务器都会对应多个数据表，方便最终页面上的数据展示。
再然后，根据对上述流量数据的分析结果的获取请求，获取对应的流量数据的分析结果：可以使用SPRINGBOOT，配置网页调用接口，该接口中配置有连接数据的组件，组件里配置IP、端口、用户名、密码等信息，用以连接CLICKHOUSE数据库，将网页端客户/网络管理人员对上述流量数据的分析结果的获取请求参数传递给CLICKHOUSE数据库；同时，可以使用SQL(结构化查询语言，Structure Query Language)查询数据，获取对应参数的流量数据的分析结果；
最后，将上述分析结果添加至流量分析页面，并提供该流量分析页面：可以调用SPRINGBOOT中的接口，将上述获取到的流量数据的分析结果添加至流量分析页面，并提供该流量分析页面，进行分析展示。分析展示的维度可以是客户维度：例如TOP50的客户出入流量、国家运营商流量分布、IP属性-出口运营商流量分布、出口运营商-目的运营商流量分布等；也可以是运营商维度：例如国家-目的运营商流量分布、客户占比、设备接口占比等；还可以是接口维度：例如设备-接口流量分布、接口出入流量分布变化、IPTop10&&客户占比、出口运营商-目的运营商-流量分布等。具体数据的展示形式可以是矩形竖图、桑基图、条形图、饼图、折线图等，本申请对此并不做任何限定。
上述方案可以帮助网络管理人员更好更直观更快速的分析监测网络设备是否有故障、网络问题等，会不会对企业造成影响，以便更快速地响应并在对应的设备上做出处理，以修复故障。由于采用了新的网络流量数据处理方法，构建了新的网络流量数据处理***，使得对流量数据的处理更加细化，能够将网络流量数据作为单个图元元素并集构成数据图像，以多维数据的形式展示网络流量数据的多个属性值。由此可以实现处理结果多样，同时监测多个网络接口流量数据的目的，同时提升了网络流量数据的处理速度，克服了现有网络管理***对网络流量数据各个属性值和流向的分析功能技术的局限性。
本申请实施例的执行主体可以是应用程序、服务、实例、软件形态的功能模块、虚拟机(Virtual Machine，VM)、容器或云服务器等，或者具有数据处理功能的硬件设备(如服务器或终端设备)或硬件芯片(如CPU、GPU、FPGA、NPU、AI加速卡或DPU)等。实现网络流量处理的装置可以部署在提供相应服务的应用方的计算设备或提供算力、存储和网络资源的云计算平台上，云计算平台对外提供服务的模式可以是IaaS(Infrastructure as aService，基础设施即服务)、PaaS(Platform as a Service，平台即服务)、SaaS(Software asaService，软件即服务)或DaaS(Data as a Service，数据即服务)。以平台提供SaaS软件即服务(Software as a Service)为例，云计算平台可以利用自身的计算资源提供网络流量处理模型的训练或网络流量处理模块的功能执行，具体的应用架构可以根据服务需求进行搭建。例如，平台可以向使用平台资源的应用方或个人提供基于上述模型的构建服务，进一步基于相关客户端或服务器等设备提交的网络流量处理请求调用上述模型和实现在线或离线网络流量处理的功能。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。
下面以具体的实施例对本申请的技术方案以及本申请的技术方案如何解决前述技术问题进行详细说明。所列举的若干具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。以下将结合附图，对本申请的实施例进行详细描述。
本申请实施例提供了一种网络流量的处理方法，图2为本申请一实施例中网络流量的处理方法的流程图。如图2所示，该方法包括：
在步骤S201中，获取云计算设备集群中传输的流量数据。
本申请实施例涉及的云计算设备集群，可以是云端多个虚拟服务器的集群，也可以是用于云计算的多个物理服务器的集群，只要是能够与互联网连接，并产生网络流量的设备即可，本申请对此并不做任何限制；云计算设备可以通过集群应用、网格技术或分布式文件***等功能，将互联网中各种不同的存储设备集合起来并协调工作，共同对外实现访问和链接的功能，本申请对此并不做任何限制。
涉及的传输的流量数据的类型，可以是泛流量、精准流量，或公域流量、私域流量，本申请对此并不做任何限制。
在本申请的一个实施例中，获取云计算设备集群中传输的流量数据的方式，可以通过安装PMACCT来实现，例如：针对各个机房设备路由器发送出的NETFLOE流量数据，在各个机房部署一个AGNET，安装PMACCT用来接收NETFLOW发送出的流量数据。PMACCT中的配置文件通过识别获取到的流量数据的IP，将流量数据转发到对应IP的LOGSTASH中。
其中，PMACCT是一个被动的网络监视工具，用来衡量帐户分类、汇总和导出的IPv4(网际协议版本4，Internet Protocol version 4)和IPv6(网际协议版本6，InternetProtocol version,6)流量。PMACCT中可***的架构使数据收集非常灵活，可以存储到内存中的表或SQL的数据库，以及通过的NetFlow或远程收集器sFlow的出口协议。PMACCT支持完全自定义的历史数据崩溃、流采样、滤波和标记、恢复操作和触发器。其中，IPv4又称互联网通信协议第四版，是网际协议开发过程中的第四个修订版本，也是此协议第一个被广泛部署的版本；IPv4是互联网的核心，也是使用最广泛的网际协议版本，其后继版本为IPv6，直到2011年，IANA IPv4的位址完全用尽时，IPv6仍处在部署的初期。
一种可能的实现方式中，上述获取云计算设备集群中传输的流量数据，可以通过访问上述云计算设备集群中安装的流量监测软件获取上述云计算设备集群中传输的流量数据，该流量监测软件用于获取与云计算设备集群中连接的路由器传输的流量数据。
上述涉及到的流量监测软件，可以是具有持续监测网络流量功能的NetFlow网络流量监测软件，NetFlow用以收集进入及离开网络界面的IP封包的数量及资讯，经由分析Netflow收集到的资讯，网络管理人员可以知道封包的来源及目的地，网络服务的种类，以及造成网络拥塞的原因；也可以是进行随机采样的Sflow；只要该流量监测软件可以获取云计算设备集群中传输的流量数据即可，本申请对此并不做任何限制。
在步骤S202中，将上述流量数据与地理位置数据库进行匹配，获取上述流量数据中包括的地理位置信息。
本申请实施例涉及到的地理位置数据库，可以是官方的地理位置数据库，例如我国的地理位置数据库GEOIP库。
在本申请的一个实施例中，使用的是LOGSTASH工具，将LOGSTASH接收到的流量数据与GEOIP库进行匹配，获取上述流量数据中包括的地理位置信息：可以包括IP、经度、纬度、国家、城市甚至是目的运营商，并将匹配后的流量数据整合，再发送到KAFKA缓存。其中，LOGSTASH工具是一种具有实时流水线能力的开源的数据收集工具，可以动态统一不同来源的数据，并将数据标准化到所选择的目标输出。
在步骤S203中，对上述流量数据进行信息匹配，确定上述流量数据对应的业务信息，业务信息包括流量数据对应的设备信息、运营商信息、业务用户信息中至少一种。
一种可能的实现方式中，上述步骤中对上述流量数据进行信息匹配，确定上述流量数据对应的业务信息，还可以先将上述流量数据缓存至第一数据队列；再按照上述第一数据队列的排序对上述流量数据进行信息匹配，确定分别对应的业务信息。
在一实施例中，根据上述方法，上述步骤中对上述流量数据进行信息匹配，确定上述流量数据对应的业务信息，还可以包括：将确定的业务信息缓存至第二数据队列；将上述地理位置信息和业务信息作为所述流量数据的分析结果，发送至分布式存储服务器进行存储，还可以包括：从上述第二数据队列获取业务信息，将地理位置信息和业务信息发送至分布式存储服务器进行存储。
本申请实施例涉及的地理位置信息，可以包括IP、经度、纬度、国家、城市，还可以包括目的运营商，取决于地理位置数据库中可以匹配的信息维度，本申请对此并不做任何限制。
涉及的业务信息，可以包括流量数据对应的设备信息、运营商信息、业务用户信息中至少一种，例如设备、接口对应的运营商、客户名称、客户UUID(Universally UniqueIdentifier，通用唯一识别码)、IP属性、机房、目的运营商、设备名称、设备端口名称等。
在本申请的一个实施例中，使用了KAFKA数据缓存工具。例如，对经LOGSTASH匹配整合后的流量数据，进行其他信息匹配，确定KAFKA接收的流量数据对应的业务信息，包括流量数据对应的设备信息、运营商信息、业务用户信息中至少一种：KAFKA共两个topic，一个topic是原始数据、一个是经FLINK匹配后的数据，FLINK匹配数据主要是结合CMDB数据库匹配设备、接口对应的运营商、客户名称、客户UUID、IP属性、机房、目的运营商、设备名称、设备端口名称等。上述处理过程可以是，KAFKA将接收的已经确定地理位置信息的流量数据作为原始数据，缓存到第一个topic中，FLINK按照第一个topic的排序对接收的流量数据进行信息匹配，确定分别对应的业务信息，然后将确定地理位置信息及业务信息后的流量数据缓存至第二个topic进行缓存。
其中，涉及到的KAFKA可以理解为一个分布式流式处理平台，运行在一个由一台或多台服务器组成的集群上，并且分区可以跨集群结点分布。它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性而被广泛使用，目前越来越多的开源分布式处理***都支持与KAFKA集成。KAFKA存储的消息来自任意多被称为Producer生产者的进程。数据从而可以被发布到不同的topic主题下的不同Partition分区。在一个分区内，这些消息被索引并连同时间戳存储在一起。其它被称为Consumer消费者的进程可以从分区订阅消息。topic可以理解为一个队列，其将消息分类，生产者和消费者面向的是同一个topic。
其中，涉及到的FLINK原本的功能可以对数据进行处理，管理数据偏移量的问题。但在本申请实施例中，本申请对该工具做出了一定的改进，并将FLINK工具应用在与其他数据进行匹配上，是本领域技术人员不容易想到的关于FLINK工具的一种使用方式。
其中，涉及到的CMDB数据库，是一个逻辑数据库Configuration ManagementDatabase，中文名称可以叫做配置管理数据库，存储与管理企业IT架构中设备的各种配置信息，它与所有服务支持和服务交付流程都紧密相联，支持这些流程的运转、发挥配置信息的价值，同时依赖于相关流程保证数据的准确性。CMDB软件侧重于信息的管理(采集、整合、记录、维护、检验、更新等)，CMDB数据库侧重于信息的物理存储，两者是密切联系的。但在本申请实施例中，本申请对该数据库做出了一定的改进，增加了本申请中网络管理人员/企业收集到的业务信息，包括设备、接口对应的运营商、客户名称、客户UUID、IP属性、机房、目的运营商、设备名称、设备端口名称等，进而使得FLINK工具可以与CMDB数据库进行数据匹配。
在步骤S204中，将上述地理位置信息和业务信息作为上述流量数据的分析结果，发送至分布式存储服务器进行存储。
本申请实施例涉及到的分布式存储服务器，可以是部署在多个机房的多台物理服务器，也可以是云端的虚拟服务器，本申请对此并不做任何限定；每台服务器用以存储的数据IP、对应的数据来源的设备端口号INDEX可以是不同的，以方便数据的分类存储以及后续的数据调取。
一种可能的实现方式中，将上述地理位置信息和业务信息作为流量数据的分析结果，发送至分布式存储服务器进行存储，可以包括：调用数据表写入组件，将上述地理位置信息和业务信息作为上述流量数据的分析结果，写入上述分布式存储服务器的数据表中。
在本申请的一个实施例中，将上述地理位置信息和业务信息作为上述流量数据的分析结果，发送至分布式存储服务器进行存储，可以使用Hangout工具，根据流量数据的IP，将从KAFKA的第二个topic中接收的流量数据发送至对应的CLICKHOUSE数据库中。CLICKHOUSE数据库相当于一个总的信息表，在本实施方案中，CLICKHOUSE数据库放置在多个机房的多台设备中，将数据存储在分布式的存储服务器中。每个存储服务器都会对应多个数据表，方便最终页面上的数据展示。
其中，Hangout工具可以配置、接收KAFKA发过来的数据，然后发送到对应CLICKHOUSE数据库中。该Hangout工具中设置有配置文件，可以根据流量数据的IP，将从KAFKA的第二个topic中接收的流量数据发送至对应的CLICKHOUSE数据库中。
其中，CLICKHOUSE数据库是一种开源的列式数据库，采用列式存储，可以保证数据类型一致，压缩性能更高，硬件利用率高，可提高磁盘驱动器的效率、CPU利用率，并进行多核多节点并行化的大查询。
在步骤S205中，根据对上述流量数据的分析结果的获取请求，获取对应的流量数据的分析结果。
本申请实施例涉及到的获取请求，可以是网页端用户或网络管理人员等在网页端操作的获取请求，本申请并不对此做任何限制。
在本申请的一个实施例中，根据对上述流量数据的分析结果的获取请求，获取对应的流量数据的分析结果，可以使用SPRINGBOOT工具，配置网页调用接口，该接口中可以配置有连接数据的组件，组件里可以配置IP、端口、用户名、密码等信息，用以连接CLICKHOUSE数据库，将网页端客户/网络管理人员对上述流量数据的分析结果的获取请求参数传递给CLICKHOUSE数据库；同时，可以使用SQL查询数据，获取对应参数的流量数据的分析结果。
其中，涉及到的SPRINGBOOT工具，是JAVA语言中用于写代码，设置接口的一个工具。通过配置的网络接口，可以连接CLICKHOUSE数据库，并将上述获取到的流量数据的分析结果添加至流量分析页面，并提供该流量分析页面，进行分析展示。
在步骤S206中，将上述分析结果添加至流量分析页面，并提供上述流量分析页面。
一种可能的实现方式中，将上述分析结果添加至流量分析页面，可以包括：按照数据维度对上述云计算设备集群的流量数据的分析结果进行分类；将分类后的分析结果添加至流量分析页面。
在本申请的一个实施例中，将上述分析结果添加至流量分析页面，并提供该流量分析页面，可以调用SPRINGBOOT中的接口，将上述获取到的流量数据的分析结果添加至流量分析页面，并提供该流量分析页面，进行分析展示。分析展示的维度可以是客户维度：例如TOP50的客户出入流量、国家运营商流量分布、IP属性-出口运营商流量分布、出口运营商-目的运营商流量分布等；也可以是运营商维度：例如国家-目的运营商流量分布、客户占比、设备接口占比等；还可以是接口维度：例如设备-接口流量分布、接口出入流量分布变化、IPTop10&&客户占比、出口运营商-目的运营商-流量分布等，本申请对此并不做任何限定。具体数据的展示形式可以是矩形竖图、桑基图、条形图、饼图、折线图等，本申请对此并不做任何限定。
可选的，将上述分析结果添加至流量分析页面，并提供上述流量分析页面之前，还可以包括：对上述云计算设备集群的流量数据的分析结果进行数据统计，以获得统计后的分析结果。在一实施例中，统计后的分析结果可以存储在云计算设备集群中。
与本申请实施例提供的方法的应用场景以及方法相对应地，本申请实施例还提供一种网络流量的处理装置。如图3所示为本申请一实施例中网络流量的处理装置的结构框图，该装置可以包括：
流量数据获取模块301，用于获取云计算设备集群中传输的流量数据。
地理位置匹配模块302，用于将上述流量数据与地理位置数据库进行匹配，获取流量数据中包括的地理位置信息。
业务信息匹配模块303，用于对上述流量数据进行信息匹配，确定流量数据对应的业务信息，业务信息包括流量数据对应的设备信息、运营商信息、业务用户信息中至少一种。
分析结果存储模块304，用于将上述地理位置信息和业务信息作为所述流量数据的分析结果，发送至分布式存储服务器进行存储。
分析结果获取模块305，用于根据对上述流量数据的分析结果的获取请求，获取对应的流量数据的分析结果。
分析结果展示模块306，用于将上述分析结果添加至流量分析页面，并提供上述流量分析页面。
一种可能的实现方式中，上述流量数据获取模块301可以包括：
流量数据监测子模块，用于通过访问上述云计算设备集群中安装的流量监测软件获取上述云计算设备集群中传输的流量数据，该流量监测软件用于获取与云计算设备集群中连接的路由器传输的流量数据。
一种可能的实现方式中，上述业务信息匹配模块303可以包括：
第一队列缓存子模块，用于将上述流量数据缓存至第一数据队列；
队列数据匹配子模块，用于按照第一数据队列的排序对上述流量数据进行信息匹配，确定分别对应的业务信息。
在一实施例中，上述业务信息匹配模块303还可以包括：
第二队列缓存子模块，用于将确定的业务信息缓存至第二数据队列。
在一实施例中，上述分析结果存储模块304还可以包括：
队列信息发送子模块，用于从第二数据队列获取业务信息，将地理位置信息和业务信息发送至分布式存储服务器进行存储。
一种可能的实现方式中，分析结果存储模块304可以包括：
分析结果写入子模块，用于调用数据表写入组件，将所述地理位置信息和业务信息作为所述流量数据的分析结果，写入所述分布式存储服务器的数据表中。
一种可能的实现方式中，分析结果展示模块306可以包括：
分析结果分类子模块，用于按照数据维度对上述云计算设备集群的流量数据的分析结果进行分类；
分析结果添加子模块，用于将分类后的分析结果添加至流量分析页面。
一种可能的实现方式中，在所述将所述分析结果添加至流量分析页面，并提供所述流量分析页面之前，该装置还可以包括：
分析结果统计模块，用于对上述云计算设备集群的流量数据的分析结果进行数据统计，以获得统计后的分析结果。
本申请实施例各装置中的各模块的功能可以参见上述方法中的对应描述，并具备相应的有益效果，在此不再赘述。
与本申请实施例提供的方法的应用场景以及方法相对应地，本申请实施例还提供一种一种计算设备，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器在执行所述计算机程序时实现本申请任一实施例所述的方法。图4是用来实现本申请实施例的计算设备电子设备的框图。如图4所示，该云端计算电子设备包括：
存储器401和处理器402，存储器401内存储有可在处理器402上运行的计算机程序。处理器402执行该计算机程序时实现上述实施例中的方法。存储器401和处理器402的数量可以为一个或多个。
该电子设备还包括：
通信接口403，用于与外界设备进行通信，进行数据交互传输。
如果存储器401、处理器402和通信接口403独立实现，则存储器401、处理器402和通信接口403可以通过总线相互连接并完成相互间的通信。该总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture，EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器401、处理器402及通信接口403集成在一块芯片上，则存储器401、处理器402及通信接口403可以通过内部接口完成相互间的通信。
本申请实施例还提供了一种计算机设备可读存储介质，其存储有计算机程序，该计算机程序被处理器执行时实现本申请任一实施例中提供的方法。
本申请实施例还提供一种计算机程序产品，其包括计算机程序，该计算机程序在被处理器执行时实现本申请任一实施例所述的方法。
本申请实施例还提供了一种芯片，该芯片包括处理器，用于从存储器中调用并运行存储器中存储的指令，使得安装有芯片的通信设备执行本申请实施例提供的方法。
本申请实施例还提供了一种芯片，包括：输入接口、输出接口、处理器和存储器，输入接口、输出接口、处理器以及存储器之间通过内部连接通路相连，处理器用于执行存储器中的代码，当代码被执行时，处理器用于执行申请实施例提供的方法。
应理解的是，上述处理器可以是中央处理器(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Srocessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者是任何常规的处理器等。值得说明的是，处理器可以是支持进阶精简指令集机器(Advanced RISC Machines，ARM)架构的处理器。
进一步地，可选的，上述存储器可以包括只读存储器和随机存取存储器，还可以包括非易失性随机存取存储器。该存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以包括只读存储器(Read-OnlyMemory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以包括随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用。例如，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic Random Access Memory，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(EnhancedSDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DR RAM)。
本领域内的技术人员应明白，本申请实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机程序产品包括一个或多个计算机指令。在计算设备/计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请的流程或功能。计算设备/计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输。
本申请实施例是参照根据本申请实施例的方法、终端设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在本说明书的描述中，参考术语“一实施例”、“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包括于本申请的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分。并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。
应理解的是，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。上述实施例方法的全部或部分步骤是可以通过程序来指令相关的硬件完成，该程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。上述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读存储介质中。该存储介质可以是只读存储器，磁盘或光盘等。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，本说明书中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想，尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本申请的保护范围之内。综上所述，本说明书内容不应理解为对本申请的限制，本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种网络流量的处理方法，包括：
获取云计算设备集群中传输的流量数据；
将所述流量数据与地理位置数据库进行匹配，获取所述流量数据中包括的地理位置信息；
对所述流量数据进行信息匹配，确定所述流量数据对应的业务信息，所述业务信息包括流量数据对应的设备信息、运营商信息、业务用户信息中至少一种；
将所述地理位置信息和业务信息作为所述流量数据的分析结果，发送至分布式存储服务器进行存储；
根据对所述流量数据的分析结果的获取请求，获取对应的流量数据的分析结果；
将所述分析结果添加至流量分析页面，并提供所述流量分析页面。
2.根据权利要求1所述的方法，其特征在于，所述获取云计算设备集群中传输的流量数据包括：
通过访问所述云计算设备集群中安装的流量监测软件获取所述云计算设备集群中传输的流量数据，所述流量监测软件用于获取与所述云计算设备集群中连接的路由器传输的流量数据。
3.根据权利要求1所述的方法，其特征在于，所述对所述流量数据进行信息匹配，确定所述流量数据对应的业务信息包括：
将所述流量数据缓存至第一数据队列；
按照所述第一数据队列的排序对所述流量数据进行信息匹配，确定分别对应的业务信息。
4.根据权利要求3所述的方法，其特征在于，所述对所述流量数据进行信息匹配，确定所述流量数据对应的业务信息还包括：
将确定的业务信息缓存至第二数据队列；
所述将所述地理位置信息和业务信息作为所述流量数据的分析结果，发送至分布式存储服务器进行存储包括：
从所述第二数据队列获取所述业务信息，将所述地理位置信息和业务信息发送至分布式存储服务器进行存储。
5.根据权利要求1所述的方法，其特征在于，所述将所述地理位置信息和业务信息作为所述流量数据的分析结果，发送至分布式存储服务器进行存储包括：
调用数据表写入组件，将所述地理位置信息和业务信息作为所述流量数据的分析结果，写入所述分布式存储服务器的数据表中。
6.根据权利要求1所述的方法，其特征在于，所述将所述分析结果添加至流量分析页面包括：
按照数据维度对所述云计算设备集群的流量数据的分析结果进行分类；
将分类后的分析结果添加至流量分析页面。
7.根据权利要求1所述的方法，其特征在于，在所述将所述分析结果添加至流量分析页面，并提供所述流量分析页面之前，所述方法还包括：
对所述云计算设备集群的流量数据的分析结果进行数据统计，以获得统计后的分析结果。
8.一种网络流量的处理装置，包括：
流量数据获取模块，用于获取云计算设备集群中传输的流量数据；
地理位置匹配模块，用于将所述流量数据与地理位置数据库进行匹配，获取所述流量数据中包括的地理位置信息；
业务信息匹配模块，用于对所述流量数据进行信息匹配，确定所述流量数据对应的业务信息，所述业务信息包括流量数据对应的设备信息、运营商信息、业务用户信息中至少一种；
分析结果存储模块，用于将所述地理位置信息和业务信息作为所述流量数据的分析结果，发送至分布式存储服务器进行存储；
分析结果获取模块，用于根据对所述流量数据的分析结果的获取请求，获取对应的流量数据的分析结果；
分析结果展示模块，用于将所述分析结果添加至流量分析页面，并提供所述流量分析页面。
9.一种计算设备，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器在执行所述计算机程序时实现权利要求1-7中任意一项所述的方法。
10.一种计算设备可读存储介质，所述计算设备可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310109341.1A CN116170352A (zh) | 2023-02-01 | 2023-02-01 | 网络流量的处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310109341.1A CN116170352A (zh) | 2023-02-01 | 2023-02-01 | 网络流量的处理方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116170352A true CN116170352A (zh) | 2023-05-26 |
Family
ID=86415907
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310109341.1A Pending CN116170352A (zh) | 2023-02-01 | 2023-02-01 | 网络流量的处理方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116170352A (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103546326A (zh) * | 2013-11-04 | 2014-01-29 | 北京中搜网络技术股份有限公司 | 一种网站流量统计的方法 |
| CN107104852A (zh) * | 2017-03-28 | 2017-08-29 | 深圳市神云科技有限公司 | 监控云平台虚拟网络环境的方法及装置 |
| US20180287903A1 (en) * | 2017-03-29 | 2018-10-04 | Ca, Inc. | Adjusting monitoring based on inspection of network traffic |
| US20180375740A1 (en) * | 2016-03-02 | 2018-12-27 | Huawei Technologies Co., Ltd. | Network device management method and apparatus |
| CN111181799A (zh) * | 2019-10-14 | 2020-05-19 | 腾讯科技（深圳）有限公司 | 一种网络流量监控方法及设备 |
| CN112714118A (zh) * | 2020-12-24 | 2021-04-27 | 新浪网技术(中国)有限公司 | 网络流量检测方法和装置 |
| CN112751835A (zh) * | 2020-12-23 | 2021-05-04 | 石溪信息科技(上海)有限公司 | 一种流量预警方法，***、设备和存储装置 |
| CN113162818A (zh) * | 2021-02-01 | 2021-07-23 | 国家计算机网络与信息安全管理中心 | 一种分布式流量采集分析的实现方法及*** |
| CN114465741A (zh) * | 2020-11-09 | 2022-05-10 | 腾讯科技（深圳）有限公司 | 一种异常检测方法、装置、计算机设备及存储介质 |
| CN114598512A (zh) * | 2022-02-24 | 2022-06-07 | 烽台科技（北京）有限公司 | 一种基于蜜罐的网络安全保障方法、装置及终端设备 |
| US11489780B1 (en) * | 2020-11-30 | 2022-11-01 | Amazon Technologies, Inc. | Traffic estimations for backbone networks |
-
2023
- 2023-02-01 CN CN202310109341.1A patent/CN116170352A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103546326A (zh) * | 2013-11-04 | 2014-01-29 | 北京中搜网络技术股份有限公司 | 一种网站流量统计的方法 |
| US20180375740A1 (en) * | 2016-03-02 | 2018-12-27 | Huawei Technologies Co., Ltd. | Network device management method and apparatus |
| CN107104852A (zh) * | 2017-03-28 | 2017-08-29 | 深圳市神云科技有限公司 | 监控云平台虚拟网络环境的方法及装置 |
| US20180287903A1 (en) * | 2017-03-29 | 2018-10-04 | Ca, Inc. | Adjusting monitoring based on inspection of network traffic |
| CN111181799A (zh) * | 2019-10-14 | 2020-05-19 | 腾讯科技（深圳）有限公司 | 一种网络流量监控方法及设备 |
| CN114465741A (zh) * | 2020-11-09 | 2022-05-10 | 腾讯科技（深圳）有限公司 | 一种异常检测方法、装置、计算机设备及存储介质 |
| US11489780B1 (en) * | 2020-11-30 | 2022-11-01 | Amazon Technologies, Inc. | Traffic estimations for backbone networks |
| CN112751835A (zh) * | 2020-12-23 | 2021-05-04 | 石溪信息科技(上海)有限公司 | 一种流量预警方法，***、设备和存储装置 |
| CN112714118A (zh) * | 2020-12-24 | 2021-04-27 | 新浪网技术(中国)有限公司 | 网络流量检测方法和装置 |
| CN113162818A (zh) * | 2021-02-01 | 2021-07-23 | 国家计算机网络与信息安全管理中心 | 一种分布式流量采集分析的实现方法及*** |
| CN114598512A (zh) * | 2022-02-24 | 2022-06-07 | 烽台科技（北京）有限公司 | 一种基于蜜罐的网络安全保障方法、装置及终端设备 |
Non-Patent Citations (1)
| Title |
|---|
| 张绍华，潘蓉，宗宇伟: "《大数据技术与应用 大数据治理与服务》", 上海科学技术出版社, pages: 154 - 155 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10693734B2 (en) | Traffic pattern detection and presentation in container-based cloud computing architecture | |
| CN107395683B (zh) | 一种回源路径的选择方法及服务器 | |
| CN104620539B (zh) | 用于通过集群支持snmp请求的***和方法 | |
| CN104365058B (zh) | 用于在多核和集群***中高速缓存snmp数据的***和方法 | |
| US20180287920A1 (en) | Intercepting application traffic monitor and analyzer | |
| CN110659109B (zh) | 一种openstack集群虚拟机监控***及方法 | |
| CN109067938B (zh) | 一种测试dns服务器的方法及装置 | |
| CN108900374B (zh) | 一种应用于dpi设备的数据处理方法和装置 | |
| US11188443B2 (en) | Method, apparatus and system for processing log data | |
| US20120026914A1 (en) | Analyzing Network Activity by Presenting Topology Information with Application Traffic Quantity | |
| WO2020258982A1 (zh) | 一种分析基站安全日志的方法、***及计算机可读存储介质 | |
| US20140337471A1 (en) | Migration assist system and migration assist method | |
| CN114389792B (zh) | 一种web日志nat前后关联方法及*** | |
| CN112632129A (zh) | 一种码流数据管理方法、装置及存储介质 | |
| US11665078B1 (en) | Discovery and tracing of external services | |
| CN110633195A (zh) | 一种性能数据的展示方法、装置、电子设备及存储介质 | |
| CN112600952A (zh) | 一种移动端网络加速分流方法和*** | |
| CN117389830A (zh) | 集群日志采集方法、装置、计算机设备及存储介质 | |
| CN109560940B (zh) | 一种内容分发网络cdn服务的计费方法及装置 | |
| US9893945B2 (en) | Process system for constructing network structure deployment diagram and method thereof and computer program product storing analysis program of network structure deployment | |
| CN116170352A (zh) | 网络流量的处理方法、装置、电子设备及存储介质 | |
| CN112671949B (zh) | 一种根据syslog日志关联NAT前后会话的方法及*** | |
| WO2022152230A1 (zh) | 信息流识别方法、网络芯片及网络设备 | |
| CN115695216A (zh) | 一种互联网流量流向的大数据分析的方法 | |
| CN113766363A (zh) | 故障监控方法、装置及计算设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |