CN111404770A - 网络设备、数据处理方法、装置、***及可读存储介质 - Google Patents
网络设备、数据处理方法、装置、***及可读存储介质 Download PDFInfo
- Publication number
- CN111404770A CN111404770A CN202010132778.3A CN202010132778A CN111404770A CN 111404770 A CN111404770 A CN 111404770A CN 202010132778 A CN202010132778 A CN 202010132778A CN 111404770 A CN111404770 A CN 111404770A
- Authority
- CN
- China
- Prior art keywords
- target data
- processor
- data
- preprocessing
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0805—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
- H04L43/0817—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability by checking functioning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F15/00—Digital computers in general; Data processing equipment in general
- G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
- G06F15/163—Interprocessor communication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F15/00—Digital computers in general; Data processing equipment in general
- G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
- G06F15/177—Initialisation or configuration control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F15/00—Digital computers in general; Data processing equipment in general
- G06F15/76—Architectures of general purpose stored program computers
- G06F15/78—Architectures of general purpose stored program computers comprising a single central processing unit
- G06F15/7807—System on chip, i.e. computer system on a single chip; System in package, i.e. computer system on one or more chips in a single package
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
- G06N5/041—Abduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04J—MULTIPLEX COMMUNICATION
- H04J3/00—Time-division multiplex systems
- H04J3/02—Details
- H04J3/06—Synchronising arrangements
- H04J3/0635—Clock or time synchronisation in a network
- H04J3/0638—Clock or time synchronisation among nodes; Internode synchronisation
- H04J3/0658—Clock or time synchronisation among packet nodes
- H04J3/0661—Clock or time synchronisation among packet nodes using timestamps
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0894—Policy-based network configuration management
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0876—Network utilisation, e.g. volume of load or congestion level
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/10—Active monitoring, e.g. heartbeat, ping or trace-route
- H04L43/106—Active monitoring, e.g. heartbeat, ping or trace-route using time related information in packets, e.g. by adding timestamps
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L2463/00—Additional details relating to network architectures or network communication protocols for network security covered by H04L63/00
- H04L2463/121—Timestamp
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/12—Discovery or management of network topologies
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
- H04L41/5003—Managing SLA; Interaction between SLA and QoS
- H04L41/5009—Determining service level performance parameters or violations of service level contracts, e.g. violations of agreed response time or mean time between failures [MTBF]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0823—Errors, e.g. transmission errors
- H04L43/0829—Packet loss
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0852—Delays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0876—Network utilisation, e.g. volume of load or congestion level
- H04L43/0882—Utilisation of link capacity
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Hardware Design (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Environmental & Geological Engineering (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Cardiology (AREA)
- General Health & Medical Sciences (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Hardware Redundancy (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请公开了网络设备、数据处理方法、装置、***及可读存储介质,属于计算机技术领域。网络设备包括:用于接收目标数据的网络接口、用于确定该目标数据的特征信息的第一处理器、用于对特征信息进行预处理的第二处理器以及对预处理结果进行推理的第三处理器。此外,该第二处理器还用于基于推理结果进行策略分析。因此,本申请可由独立的网络设备进行数据的采集、特征提取、预处理、推理及策略分析等处理,避免了因数据上报而造成的较大的延迟,提高了数据处理的效率。并且,所占用的网络传输资源较少,使得进行数据处理的成本较低,还避免了数据在传输过程中发生泄漏,从而保证了数据处理的安全性及可靠性。
Description
技术领域
本申请涉及计算机技术领域,特别涉及网络设备、数据处理方法、装置、***及可读存储介质。
背景技术
随着计算机技术的发展,人们对于数据处理的需求也越来越高,智能化处理应运而生。在智能化处理过程中,往往需要对数据进行分析,根据分析结果确定数据的处理方式,从而根据所确定的处理方式进行数据的处理。
相关技术中,通过数据处理***进行数据的智能化处理。其中,数据处理***包括第一设备以及第二设备,第二设备包括采集模块、分析模块及决策模块。在实施中,第一设备首先获取数据,将数据发送至第二设备中的采集模块,采集模块对接收到的数据进行存储。之后,第二设备中的分析模块对所存储的数据进行分析,得到分析结果。第二设备中的决策模块根据分析结果确定处理信息,将所确定的处理信息返回给第一设备。最后,第一设备便可根据接收到的处理信息进行数据的处理。
然而,由于第一设备需要将数据发送给第二设备,而发送过程会占用较多的网络传输资源及存储资源,因而通过相关技术所提供的数据处理***处理数据的成本较高。另外,第一设备与第二设备之间进行的传输过程往往具有较大延迟,从而导致数据处理的效率较低。
发明内容
本申请实施例提供了一种网络设备、数据处理方法、装置、***及可读存储介质,以解决相关技术提供的问题,技术方案如下:
第一方面,提供了一种网络设备,该网络设备包括:第一处理器、第二处理器、第三处理器及网络接口。该第一处理器分别与网络接口及第二处理器连接,且第二处理器还与第三处理器连接。
在该网络设备中,网络接口用于接收目标数据,将目标数据传输至第一处理器。相应地,第一处理器可用于接收网络接口发送的目标数据。接着,第一处理器可用于确定目标数据的特征信息,将特征信息发送至第二处理器,由该第二处理器对第一处理器发送的特征信息进行接收,以及对特征信息进行预处理,得到预处理结果。之后,第二处理器用于将预处理结果发送至第三处理器。
第三处理器用于接收第二处理器发送的预处理结果,对预处理结果进行推理,得到推理结果,将推理结果发送至第二处理器。最后,第二处理器还用于接收第三处理器发送的推理结果,基于推理结果进行策略分析。
本申请实施例通过独立的网络设备即可进行数据的采集、特征提取、预处理、推理及策略分析等处理,避免了因数据上报而造成的较大的延迟,提高了数据处理的效率。并且,所占用的网络传输资源较少,使得进行数据处理的成本较低,还避免了数据在传输过程中发生泄漏,从而保证了数据处理的安全性及可靠性。
在示例性实施例中,该网络设备用于在网络中传输目标数据。
在示例性实施例中,第一处理器为网络处理器,第二处理器为通用处理器,第三处理器为人工智能AI处理器。
在示例性实施例中,第一处理器包括转发引擎及测量引擎,转发引擎与测量引擎电连接;转发引擎,用于接收网络接口发送的目标数据,向测量引擎转发目标数据;测量引擎,用于接收转发引擎发送的目标数据,确定目标数据的特征信息。本实施例中通过专用的测量引擎来确定目标数据的特征信息,针对性较强,提高了确定特征信息的速度,从而使得数据处理效率提高。
在示例性实施例中,第一处理器还包括:高速缓冲存储器,高速缓冲存储器分别与转发引擎及测量引擎电连接;高速缓冲存储器,用于对转发引擎及测量引擎产生的数据进行缓存。本实施例中,转发引擎及测量引擎可以直接从设置的高速缓冲存储器中存取运行所需的数据,而无需再访问内存。因此,缩短了存取所需的时间,进而提高了数据处理的效率。
在示例性实施例中,第二处理器,还用于获取网络设备的运行状态信息;第二处理器,用于对目标数据的特征信息和网络设备的运行状态信息进行预处理,得到预处理结果。本实施例通过运行状态信息的获取,使得网络设备除了通过网络接口接收到的目标数据以外,还可以对运行状态信息进行处理。也就是说,网络设备具备了针对多种不同类型的数据进行处理的能力,适用性较强。
在示例性实施例中,网络设备还包括:输入输出IO接口,IO接口与第二处理器电连接;IO接口,用于采集网络设备的运行状态信息,将运行状态信息传输至第二处理器;第二处理器,用于接收IO接口发送的运行状态信息。本实施例通过IO接口的设置实现运行状态信息的获取,该获取方式可行性较高。
第二方面,提供了一种数据处理方法,所述方法应用于第一方面任一所述的网络设备,所述方法包括:接收目标数据;确定所述目标数据的特征信息;对所述目标数据的特征信息进行预处理,得到预处理结果;对所述预处理结果进行推理,得到推理结果;基于所述推理结果进行策略分析。
在示例性实施例中,所述确定所述目标数据的特征信息,包括:获取所述目标数据对应的哈希值,读取包含有多个表项的映射表;根据所述哈希值,从所述映射表所包含的多个表项中确定所述目标数据对应的目标表项;响应于确定出所述目标表项,获取所述目标数据的参考信息,根据所述目标数据的参考信息及所述目标表项中存储的参考信息确定所述特征信息。
在示例性实施例中,所述确定所述目标数据的特征信息,还包括:响应于未确定出所述目标表项,在所述映射表中添加所述目标数据对应的新表项;获取所述目标数据的参考信息,将所述参考信息存储于所述新表项中,并基于所述参考信息确定所述特征信息。
在示例性实施例中,所述确定所述目标数据的特征信息之后,所述方法还包括:响应于需要对所述特征信息进行汇聚,获取规则组,所述规则组中包括一个或多个参考规则;按照所述规则组对所述特征信息进行汇聚,得到一个或多个信息组;
所述对所述特征信息进行预处理,得到预处理结果,包括:对所述一个或多个信息组进行预处理,得到所述预处理结果。
在示例性实施例中,所述对所述目标数据的特征信息进行预处理之前,还包括:获取所述网络设备的运行状态信息;
所述对所述目标数据的特征信息进行预处理,包括:对所述目标数据及所述网络设备的运行状态信息进行预处理。
在示例性实施例中,所述确定所述目标数据的特征信息,包括:确定所述目标数据中多个数据包的包长度及时间戳;
所述对所述目标数据的特征信息进行预处理,得到预处理结果,包括:根据所述多个数据包的包长度及时间戳得到所述目标数据的包长度序列,所述包长度序列中多个包长度对应有一个时间戳,将所述包长度序列转换为矩阵;
所述对所述预处理结果进行推理,得到推理结果,包括:根据所述矩阵识别所述目标数据所属的应用类型;
所述基于所述推理结果进行策略分析,包括:基于所述目标数据所属的应用类型确定所述目标数据的转发优先级别。
在示例性实施例中,所述确定所述目标数据的特征信息,包括:确定所述目标数据中多个数据包的时间戳以及传输过程中经过的多个网络设备的设备标识;
所述对所述目标数据的特征信息进行预处理,得到预处理结果,包括:根据所述多个数据包的时间戳以及传输过程中经过的所述多个网络设备的设备标识计算所述数据包经过所述多个网络设备的时间,将所述数据包经过所述多个网络设备的时间转换为矩阵;
所述对所述预处理结果进行推理,得到推理结果,包括:根据所述矩阵确定所述多个网络设备的传输拥堵情况;
所述基于所述推理结果进行策略分析,包括:基于所述多个网络设备的传输拥堵情况确定所述目标数据的转发路径。
在示例性实施例中,所述确定所述目标数据的特征信息,包括:确定所述目标数据中多个数据包的包长度及时间戳;
所述对所述目标数据的特征信息进行预处理,得到预处理结果,包括:根据所述多个数据包的时间戳确定单位时间内网络设备接收到的数据包,计算单位时间内网络设备接收到的数据包的包长度之和得到吞吐量,将所述吞吐量转换为矩阵;
所述对所述预处理结果进行推理,得到推理结果,包括:根据所述矩阵确定网络设备的流量是否存在异常,得到流量监测结果;
所述基于所述推理结果进行策略分析,包括:基于所述流量监测结果确定所述目标数据的转发方式。
第三方面,提供了一种数据处理装置,所述装置包括:
接收模块,用于接收目标数据;
确定模块,用于确定所述目标数据的特征信息;
预处理模块,用于对所述特征信息进行预处理,得到预处理结果;
推理模块,用于对所述预处理结果进行推理,得到推理结果;
分析模块,用于基于所述推理结果进行策略分析。
在示例性实施例中,所述确定模块,用于获取所述目标数据对应的哈希值,读取包含有多个表项的映射表;根据所述哈希值,从所述映射表所包含的多个表项中确定所述目标数据对应的目标表项;响应于确定出所述目标表项,获取所述目标数据的参考信息,根据所述目标数据的参考信息及所述目标表项中存储的参考信息确定所述特征信息。
在示例性实施例中,所述确定模块,还用于响应于未确定出所述目标表项,在所述映射表中添加所述目标数据对应的新表项;获取所述目标数据的参考信息,将所述参考信息存储于所述新表项中,并基于所述参考信息确定所述特征信息。
在示例性实施例中,所述装置还包括:汇聚模块,用于响应于需要对所述特征信息进行汇聚,获取规则组,所述规则组中包括一个或多个参考规则;按照所述规则组对所述特征信息进行汇聚,得到一个或多个信息组;
所述预处理模块,用于对所述一个或多个信息组进行预处理,得到所述预处理结果。
在示例性实施例中,所述装置还包括:获取模块,用于获取所述网络设备的运行状态信息,所述预处理模块,用于对所述目标数据及所述网络设备的运行状态信息进行预处理。
在示例性实施例中,所述确定模块,用于确定所述目标数据中多个数据包的包长度及时间戳;
所述预处理模块,用于根据所述多个数据包的包长度及时间戳得到所述目标数据的包长度序列,所述包长度序列中多个包长度对应有一个时间戳,将所述包长度序列转换为矩阵;
所述推理模块,用于根据所述矩阵识别所述目标数据所属的应用类型;
所述分析模块,用于基于所述目标数据所属的应用类型确定所述目标数据的转发优先级别。
在示例性实施例中,所述确定模块,用于确定所述目标数据中多个数据包的时间戳以及传输过程中经过的多个网络设备的设备标识;
所述预处理模块,用于根据所述多个数据包的时间戳以及传输过程中经过的所述多个网络设备的设备标识计算所述数据包经过所述多个网络设备的时间,将所述数据包经过所述多个网络设备的时间转换为矩阵;
所述推理模块,用于根据所述矩阵确定所述多个网络设备的传输拥堵情况;
所述分析模块,用于基于所述多个网络设备的传输拥堵情况确定所述目标数据的转发路径。
在示例性实施例中,所述确定模块,用于确定所述目标数据中多个数据包的包长度及时间戳;
所述预处理模块,用于根据所述多个数据包的时间戳确定单位时间内网络设备接收到的数据包,计算单位时间内网络设备接收到的数据包的包长度之和得到吞吐量,将所述吞吐量转换为矩阵;
所述推理模块,用于根据所述矩阵确定网络设备的流量是否存在异常,得到流量监测结果;
所述分析模块,用于基于所述流量监测结果确定所述目标数据的转发方式。
第四方面,提供了一种数据处理***,所述***包括多个权利要求1-5任一所述的网络设备,所述多个网络设备中的第一处理器之间相互连接,所述多个网络设备中的第二处理器之间相互连接,所述多个网络设备中的第三处理器之间相互连接。
在示例性实施例中,相互连接的不同处理器用于传输同步信号,所述第一处理器用于基于所述同步信号确定目标数据的特征信息,所述第二处理器用于基于所述同步信号对特征信息进行预处理,得到预处理结果,所述第三处理器用于基于所述同步信号对所述预处理结果进行推理,得到推理结果,所述第二处理器还用于基于所述同步信号及所述推理结果进行策略分析。
在示例性实施例中,不同网络设备之间具有拓扑关系,所述拓扑关系用于指示不同网络设备的上下级关系,相互连接的不同处理器用于按照所述拓扑关系所指示的上下级关系依次处理所述目标数据中的一部分数据,将处理结果发送至上一级的其他网络设备中的处理器,所述处理结果是通过策略分析得到的结果。
第五方面,提供了一种数据处理***,所述***包括多个权利要求1-5任一所述的网络设备,所述网络设备之间相互连接。
在示例性实施例中,多个网络设备中的每个网络设备均用于接收目标数据,根据所述目标数据得到推理结果,多个网络设备中的其中一个网络设备用于汇总每个网络设备得到的推理结果,根据汇总的推理结果进行策略分析。
第六方面,提供了一种计算机程序(产品),所述计算机程序(产品)包括:计算机程序代码,当所述计算机程序代码被计算机运行时,使得所述计算机执行上述各方面中的方法。
第七方面,提供了一种可读存储介质,可读存储介质存储程序或指令,当所述程序或指令在计算机上运行时,上述第二方面中任一所述的方法被执行。
第八方面,提供了一种芯片,包括处理器,用于从存储器中调用并运行所述存储器中存储的指令,使得安装有所述芯片的通信设备执行上述第二方面任一所述的方法。
第九方面,提供另一种芯片,包括:输入接口、输出接口、处理器和存储器,所述输入接口、输出接口、所述处理器以及所述存储器之间通过内部连接通路相连,所述处理器用于执行所述存储器中的代码,当所述代码被执行时,所述处理器用于执行上述第二方面任一所述的方法。
附图说明
图1为本申请实施例提供的相关技术中数据处理***的结构示意图;
图2为本申请实施例提供的网络设备的结构示意图;
图3为本申请实施例提供的网络设备的结构示意图;
图4为本申请实施例提供的第一处理器的结构示意图;
图5为本申请实施例提供的网络设备的结构示意图;
图6为本申请实施例提供的网络设备的结构示意图;
图7为本申请实施例提供的数据处理方法的流程图;
图8为本申请实施例提供的数据处理***的结构示意图;
图9为本申请实施例提供的数据处理***的结构示意图;
图10为本申请实施例提供的数据处理***的结构示意图;
图11为本申请实施例提供的数据处理装置的结构示意图。
对附图中的各标记进行说明如下:
11-第一处理器,12第二处理器,13-第三处理器,14-网络接口,15-IO接口。
具体实施方式
本申请的实施方式部分使用的术语仅用于对本申请的具体实施例进行解释,而非旨在限定本申请。
随着计算机技术的发展,人们对于数据处理的需求也越来越高,智能化处理应运而生。在智能化处理过程中,往往需要对数据进行分析,根据分析结果确定数据的处理方式,从而根据所确定的处理方式进行数据的处理。例如,对来源于多个不同应用程序的数据流进行转发处理的过程中,需要对各个数据流进行分析,确定每个数据流所对应的应用程序类型。之后,再根据应用类型确定数据流的转发优先程度,按照该转发优先程度对数据流进行转发,从而完成数据流的转发处理。
相关技术中,通过如图1所示的数据处理***进行数据的智能化处理。其中,数据处理***包括第一设备以及第二设备,第二设备包括采集器、分析器及决策引擎。在实施中,第一设备首先获取数据,将数据发送至第二设备中的采集模块,采集模块对接收到的数据进行存储。之后,第二设备中的分析模块对所存储的数据进行分析,得到分析结果。第二设备中的决策模块根据分析结果确定处理信息,将所确定的处理信息返回给第一设备。最后,第一设备便可根据接收到的处理信息进行数据的处理。
然而,由于第一设备需要将数据全部发送给第二设备,而发送过程会占用较多的网络传输资源及存储资源,因而通过相关技术所提供的数据处理***处理数据的成本较高。而且,即使通过协商密钥等过程来提高该发送过程的安全性,数据仍有可能由于潜在的漏洞而在发送过程中被泄漏,不够安全可靠。另外,第一设备与第二设备之间进行的传输过程往往具有较大延迟,从而导致数据处理的效率较低。
参见图2,本申请实施例提供了一种网络设备,该设备包括:第一处理器11、第二处理器12、第三处理器13及网络接口14,第一处理器11分别与网络接口14和第二处理器12连接,第二处理器12还与第三处理器13连接。
其中,网络接口14用于接收目标数据,将目标数据传输至第一处理器11。第一处理器11用于接收网络接口14发送的目标数据,确定目标数据的特征信息,将特征信息发送至第二处理器12。第二处理器12用于接收第一处理器11发送的特征信息,对特征信息进行预处理,得到预处理结果,将预处理结果发送至第三处理器13。第三处理器13用于接收第二处理器12发送的预处理结果,对预处理结果进行推理,得到推理结果,将推理结果发送至第二处理器12。第二处理器12,还用于接收第三处理器13发送的推理结果,基于推理结果进行策略分析。
其中,示例性地,网络设备可以是交换机、路由器、无线接入点(access point,AP)、光网络设备(optical network terminal,ONT)、防火墙等设备。在示例性实施例中,该网络设备用于在网络中传输目标数据。示例性地,网络设备可用于对数据进行处理,网络设备对数据所进行的处理包括但不限于:将数据由当前网络设备转发至其他网络设备、停止或减少数据的接收、对数据进行丢弃以及对数据进行上报等等。需要说明的是,对数据进行上报是指:将数据或数据的相关信息发送给当前网络设备以外的控制器或者网络管理员,从而由该控制器或者网络管理员来进行数据的处理。
网络接口14可以是量级为兆字节(megabyte,MB)的接口,也可以是量级为千兆字节(gigabyte,GB)接口,本实施例不对网络接口14的量级加以限定。例如,网络接口14可以是10MB、1G、10G、25G、40G、100G及400G等接口。网络接口14可接收由其他网络设备发送的数据流,或者将数据流发送至其他网络设备。示例性地,网络接口14可将接收到的数据流作为目标数据,且由于第一处理器11与网络接口14连接,因而网络接口14可将目标数据传输至第一处理器11,以便于第一处理器11接收网络接口14发送的目标数据。之后,第一处理器11便可确定目标数据的特征信息,将特征信息发送至第二处理器12。示例性地,第一处理器11可以为网络处理器。
第二处理器12可用于接收第一处理器11发送的特征信息。之后,第二处理器12可用于对接收到的特征信息进行计算、转换格式等形式的预处理,得到预处理结果。其中,转换的格式是适用于第三处理器13的格式,也就是第三处理器13可理解的格式。例如,第二处理器12可将该特征信息转换为矩阵格式。示例性地,第二处理器12包括但不限于X86(一种计算机语言指令集)处理器、第五代精简指令集计算(reduced instruction setcomputing-V,RISC-V)处理器、高级精简指令集计算处理器(advanced RISC machine,ARM)以及无内锁流水线微处理器(microprocessor without interlocked pipelined stages,MIPS)。示例性地,第二处理器12可以为通用处理器。
在第二处理器12得到预处理结果之后,由于第二处理器12与第三处理器13连接,因而第二处理器12可将预处理结果发送至第三处理器13。第三处理器13在接收到第二处理器12发送的预处理结果之后,对该预处理结果进行推理,从而得到推理结果。示例性地,第三处理器13可以是能够执行机器学习算法的处理器,从而可通过执行的机器学习算法进行预处理结果的推理。因此,第三处理器13可以为人工智能(artificial intelligence,AI)处理器。本实施例不对第三处理器13所执行的机器学习算法加以限定。例如,机器学习算法可以是神经网络算法,也可以是支持向量机(support vector machine,SVM)算法、随机森林算法等等非神经网络算法。
在第三处理器13得到推理结果之后,第三处理器13再将推理结果返回至第二处理器12。则第二处理器12可基于该推理结果进行策略分析,第二处理器12进行策略分析所得到的结果可作为目标数据的分析结果。因此,第一处理器11可根据该分析结果对通过网络接口14所接收到的目标数据进行处理。
本实施例可在独立的网络设备中进行数据的处理,而无需在不同设备之间对数据进行传输,避免了传输造成的较大的延迟,提高了数据处理的效率。并且,所占用的网络传输资源及存储资源较少,使得进行数据处理的成本较低,还避免了数据在传输过程中发生泄漏,从而保证了数据处理的安全性及可靠性。
在示例性实施例中,上述第一处理器11、第二处理器12以及第三处理器13可封装于同一个芯片中。例如,可通过芯片上***(system on chip,SOC)的方式对第一处理器11、第二处理器12以及第三处理器13进行封装,由该一个芯片实现上述第一处理器11、第二处理器12以及第三处理器13的功能。或者,第一处理器11、第二处理器12及第三处理器13也可以分别封装在不同的芯片中,如图3所示,则第一处理器11、第二处理器12以及第三处理器13之间可通过总线相互连接,以便于不同处理器之间能够进行数据及信息的交互。可以理解的是,无论是否对不同处理器进行封装,均不会对各个处理器所需执行的业务内容造成影响。
示例性地,不同处理器之间的数据或信息交互需要基于内存来实现。响应于不同处理器位于同一个芯片中,则该芯片与内存相连接。因此,该芯片中的任一个处理器均可以从内存中读取数据或信息,或是将数据或信息存储于内存中,以便于其他处理器从内存中进行读取。响应于不同处理器通过总线相互连接,则内存也与总线连接。因此,任一个处理器均可以通过总线来访问内存,以实现数据或信息的读取及存储。需要说明的是,上述内存可以部署于网络设备中,也可以是独立于网络设备的内存。本实施例不对内存的部署方式加以限定。只要该内存能够接受访问,实现数据及信息的存储即可。
在示例性实施例中,参见图4,第一处理器11包括转发引擎111及测量引擎112,转发引擎111及测量引擎112电连接。其中,转发引擎111用于接收网络接口发送的目标数据,向测量引擎112转发该目标数据。测量引擎112用于接收转发引擎111发送的目标数据,确定目标数据的特征信息。示例性地,在转发引擎111向测量引擎112转发目标数据的过程中,转发引擎111先对目标数据进行复制,再将复制后的目标数据发送给测量引擎112,由测量引擎112来进行特征信息的确定。由此,转发引擎111便保留了所接收到的原始的目标数据,而测量引擎112、第二处理器12及第三处理器13则是根据复制后的目标数据来进行确定特征信息、预处理、推理及策略分析等过程,得到最终的分析结果。之后,转发引擎111根据最终的分析结果对所保留的原始的目标数据进行处理。
示例性地,测量引擎112针对复制后的目标数据所确定的特征信息包括但不限于时延、丢包、吞吐量、包长度序列以及包间隔序列等等。上述丢包、包长度序列以及包间隔序列中的包是指数据包,网络设备通过网络接口14所接收到的数据流即是由多个数据包所构成的流。属于同一数据流的数据包往往具有相同的元组特征,元组特征可以是五元组或三元组。五元组包括源互联网协议(Internet protocol,IP)地址、源端口、目的地IP地址、目的地端口以及传输层协议,三元组包括源IP地址、目的地IP地址以及传输层协议。
需要说明的是,测量引擎112在确定特征信息的过程中,往往需要调用映射表,该映射表可存储于上述内存中。该映射表中可能存储有与复制后的目标数据具有相同元组特征的历史数据的参考信息,则测量引擎112可基于该历史数据的参考信息来确定特征信息。另外,转发引擎111根据最终的分析结果对所保留的原始的目标数据进行处理时,也需要对应的访问控制列表(access control lists,ACL)及转发表,ACL及转发表均可存储于内存中。示例性地,上述第二处理器12通过策略分析所确定的分析结果可以是一条或多条用于指示处理方式的ACL规则。例如,ACL规则可以是对某种类型的数据进行拒收。则第二处理器12在确定出ACL规则之后,便可将ACL规则存储于ACL内。由此,转发引擎111可从内存中读取包含有一条或多条ACL规则的ACL以及转发表,从而根据所读取的ACL及转发表来进行原始的目标数据的处理。
考虑到转发引擎111及测量引擎112从内存中进行读取或存储所需的时间可能较长,影响了数据处理的效率,因而本申请还提供如下的示例性实施例:示例性地,参见图5,第一处理器11还包括:高速缓冲存储器(cache)113,高速缓冲存储器113分别与转发引擎111及测量引擎112电连接。该高速缓冲存储器可用于对转发引擎111及测量引擎112产生的数据进行缓存,也可以对上述ACL、转发表以及映射表进行存储。由此,便缩短了转发引擎111及测量引擎112进行读取或存储所需的时间,提高了数据处理效率。
除了第一处理器11以外,参见图5,本实施例也可以另外针对第二处理器12以及第三处理器13中的一个或两个设置对应的高速缓冲存储器,以提高第二处理器12以及第三处理器13的处理速度,从而进一步使得数据处理效率有所提高。
在示例性实施例中,第二处理器12还用于获取网络设备的运行状态信息。因此,第二处理器12除获取到第一处理器11发送的特征信息以外,还获取到网络设备的运行状态信息,第二处理器12在进行预处理的过程中,对获取到的特征信息及网络设备的运行状态信息均会进行预处理。也就是说,第二处理器12用于对目标数据的特征信息和网络设备的运行状态进行预处理,得到预处理结果。
在示例性实施例中,参见图6,网络设备还包括输入输出(input/output,IO)接口15,IO接口15与第二处理器12电连接,IO接口15用于采集网络设备的运行状态信息,将网络设备的运行状态信息传输至第二处理器12。相应地,第二处理器12用于接收IO接口15发送的运行状态信息。当然,IO接口15也可以与第一处理器11电连接,将采集到的运行状态信息传输至第一处理器11。相应地,第一处理器11还用于接收IO接口15发送的运行状态信息,针对接收到的运行状态信息确定运行状态信息的特征信息,将运行状态信息的特征信息发送给第二处理器12。由此,第二处理器12可针对目标数据的特征信息及运行状态信息的特征信息进行预处理。
无论采用哪种方式,通过设置IO接口15,本实施例不仅可以对通过网络接口14接收到的数据流进行处理,还可以对网络设备自身的运行状态信息进行处理。也就是说,网络设备可对更多类型的数据进行处理,处理方式较为灵活、适用范围较广。另外,后续还可以根据运行状态信息的处理结果来调整网络设备的运行状态。示例性地,IO接口15可以是通用串行总线(universal serial bus,USB)接口。上述运行状态信息包括但不限于内存占用大小以及网络设备的运行温度等等。
另外,由图6可知,网络设备还可以包括持久化存储器及***设备。其中,持久化存储器可以是机械硬盘,也可以是固态硬盘(solid state disk,SSD)。响应于内存部署于网络设备内,则持久化存储器可与内存连接,以便于内存能够访问该持久化存储器。示例性地,连接方式可以为通过总线连接。***设备可以包括风扇、电源等设备。
本申请还提供了一种数据处理方法,该方法可应用于网络设备,例如,该方法应用于上述图2-图6所示的任一种网络设备中。如图7所示,该方法包括:
步骤701,接收目标数据。
在示例性实施例中,第一处理器可以通过网络接口接收数据流,将数据流作为目标数据。数据流包括以流形式传输的一个或多个数据包。在示例性实施例中,数据流可以通过多种不同的协议进行传输,以便于网络接口进行获取。例如,数据流可以通过传输控制协议(transmission control protocol,TCP)传输,也可以通过用户数据报协议(user datagram protocol,UDP)传输。当然,本实施例不对目标数据加以限定,除了通过以上方式获取目标数据以外,也可以采用其他方式获取目标数据。
步骤702,确定目标数据的特征信息。
在获取到目标数据之后,第一处理器可进一步确定目标数据的特征信息。示例性地,第一处理器所包括的转发引擎对所接收到的原始的目标数据进行复制,得到复制后的目标数据。可以理解的是,目标数据与复制后的目标数据是完全一致的数据。之后,转发引擎将复制后的目标数据发送给测量引擎,从而由测量引擎确定复制后的目标数据的特征信息。由于目标数据与复制后的目标数据是完全一致的,因而复制后的目标数据的特征信息即可作为目标数据的特征信息。
在测量引擎确定特征信息的过程中,响应于目标数据为通过网络接口接收的数据流,则特征信息可以是针对数据流所包含的多个不同数据包的信息。例如,特征信息包括但不限于多个数据包中的丢包率、多个数据包的吞吐率、不同数据包所组成的包长度序列以及不同数据包之间的包间隔序列等信息。或者,特征信息也可以是针对单个数据包的信息,例如一个数据包在不同网络设备之间传输的时延、数据包的包长度、数据包到达网络设备的时间等信息。而响应于目标数据为通过IO接口接收的运行状态信息,特征信息包括但不限于主内存的占用大小的变化量、设备温度的变化量等信息。
对于确定特征信息的触发方式,考虑到网络设备除接收目标数据以外,还会接收其他数据,因而可以在检测到所接收的目标数据及其他数据的数量和不小于参考数量阈值的情况下,触发对目标数据的特征信息以及其他特征信息的批量确定。或者,也可以每隔参考时间触发一次特征信息的确定,参考时间可例如为100毫秒,本实施例不对参考时间的数据加以限定。
在示例性实施例中,确定目标数据的特征信息,包括如下的步骤7021-7022:
步骤7021,获取目标数据对应的哈希值,读取包含有多个表项的映射表。
其中,目标数据往往具有对应的数据标识,因而复制后的目标数据也具有对应的数据标识,数据标识用于对目标数据进行唯一指示,以便于将目标数据与其他数据区分开。例如,在目标数据为数据流的情况下,数据流所具有的五元组即可作为数据标识。通过调用哈希算法,可将复制后的目标数据对应的数据标识转换为哈希值,从而获取到复制后的目标数据对应的哈希值。需要说明的是,不同的目标数据所对应的哈希值也有所不同,类似于数据标识,哈希值也能够对目标数据进行唯一指示。
另外,还需要对包含有多个表项的映射表进行获取。其中,若第一处理器中具有高速缓冲存储器,则该高速缓冲存储器从内存中读取映射表,对所读取的映射表进行存储,以便于测量引擎直接从高速缓冲存储器中读取映射表,提高了读取映射表的效率。或者,若第一处理器中不具有高速缓冲存储器,则测量引擎需要直接从内存中读取映射表。
步骤7022,根据哈希值,从映射表所包含的多个表项中确定目标数据对应的目标表项。
其中,映射表中具有多个表项,每个表项与一个数据标识转换得到的哈希值相对应,该表项用于存储具有该数据标识的历史数据的参考信息,历史数据是在接收目标数据之前已经接收到的数据。确定目标表项的作用在于,根据目标表项中存储的历史数据的参考信息确定目标数据的特征信息。以数据为包含多个数据包的数据流为例,则参考信息可以是每个数据包的包长度、时间戳、传输过程中到达的各个网络设备的设备标识等等。在获取目标数据对应的哈希值之后,便可通过所获取的映射表及哈希值来确定目标数据对应的目标表项。
对于所获取的目标数据的哈希值,可以将该哈希值与映射表中的每个表项对应的哈希值进行匹配。若所获取的哈希值与映射表中一个表项对应的哈希值一致,则说明该表项用于存储与目标数据具有相同数据标识的历史数据的参考信息,该表项即为目标数据对应的目标表项。因此,可进一步通过目标表项中存储的参考信息来确定目标数据的特征信息,详见步骤7023。
步骤7023,响应于确定出目标表项,获取目标数据的参考信息,根据目标数据的参考信息及目标表项中存储的参考信息确定特征信息。
示例性地,本实施例可从目标表项中读取到目标表项中存储的参考信息,从而将获取到的目标数据的参考信息以及读取到的目标表项中存储的参考信息进行对比计算,确定特征信息。以目标数据为数据流、特征信息为数据流中一数据包的时延为例,由于时延是指数据包在不同设备之间传输所需的时间,因此,可以根据网络设备两次接收到数据包的时间之间的时间差值来计算时延。示例性地,在获取到该数据包之后,可确认目标表项中是否存储有上一次获取到该数据包的时间。若已存储有上一次获取到该数据包的时间,则可根据上一次获取到该数据包的时间与当前获取到该数据包的时间之间的时间差值来计算时延。或者,若未存储有上一次获取到该数据包的时间,则可在下一次再接收到该数据包时,将当前获取到该数据包的时间与下一次获取数据包的时间之间的时间差值来计算时延。
可以理解的是,对于本次获取的目标数据的参考信息,可以在确定特征信息之前或者之后将该目标数据的参考信息也存储于目标表项中,以便于后续数据处理过程中能够再次从目标表项中进行读取,从而完成后续的数据处理过程。
当然,除了将所存储的目标数据的参考信息与历史数据的参考信息进行对比确定特征信息以外,也可以仅根据目标数据的参考信息来确定目标数据的特征信息。例如,以目标数据为数据流、特征信息为多个数据包的吞吐率为例,则参考信息可以是数据流所包含的多个数据包中每个数据包的时间戳及包长度。其中,根据每个数据包的时间戳可以确定单位时间内网络设备接收到了哪些数据包,这些被接收的数据包的包长度之和即为吞吐率。
根据上述步骤7021-7023中的说明,本实施例可将具有同一数据标识的所有数据均存储于映射表中的同一表项中。由此,目标数据对应的目标表项中除了目标数据的参考信息之外,还可能存储有其他不同时刻获取到的、与目标数据的数据标识相同的数据所具有的信息。因此,可以综合目标数据的参考信息以及其他信息来确定目标数据的特征信息。
在示例性实施例中,本实施例所提供的方法还包括:
步骤7024,响应于未确定出目标表项,在映射表中添加目标数据对应的新表项。获取目标数据的参考信息,将参考信息存储于新表项中,并基于新表项中存储的参考信息确定特征信息。
其中,响应于未确定出目标表项,则说明网络设备在目标数据之前,未接收到任何与目标数据具有相同数据标识的其他数据。因此,可根据目标数据的哈希值在映射表中添加新表项,将目标数据所包含的各个数据包的参考信息存储于新表项中。由此,便可以根据新表项中存储的参考信息确定目标数据的特征信息。可以理解的是,除了先将目标数据的参考信息存储于新表项中,再从新表项中读取参考信息来确定特征信息的方式以外,还可以一边基于参考信息确定特征信息,一边将参考信息存储于新表项中。或者,在后续接收到与该目标数据具有相同数据标识的其他数据的情况下,将其他数据的参考信息也存储于该新表项中,从而根据新表项中存储的信息来确定目标数据的特征信息。
在示例性实施例中,确定目标数据的特征信息之后,方法还包括:响应于需要对特征信息进行汇聚,获取规则组,规则组中包括一个或多个参考规则。按照规则组对特征信息进行汇聚,得到一个或多个信息组。
其中,规则组可以存储于高速缓冲存储器或者内存中,以便于测量引擎进行获取。通过按照规则组对特征信息进行汇聚,可以使得具有一定相似性的特征信息汇聚为同一信息组,便于后续的分析、处理过程。并且,还能够使得处理、分析过程不仅局限于特征信息本身,而是发散至产生特征信息的终端、应用程序等。
例如,在目标数据为数据流的情况下,可以将数据流的五元组中的一项或多项作为规则组。例如,可以将具有同一源IP地址的数据流的特征信息汇聚为同一信息组,则该信息组的特征信息均是来自于同一终端的信息。后续通过对该信息组的特征信息进行处理、分析,可以确定出与该终端相关的信息,从而可基于与该终端相关的信息进行目标数据的处理。或者,还可以将具有同一源IP地址且具有同一源端口的数据流的特征信息汇聚为同一信息组,则该信息组的特征信息均是来自于同一终端上同一应用程序的信息。通过对该信息组的特征信息进行处理分析,可以确定出与该应用程序相关的信息,以便于基于与该应用程序相关的信息进行目标数据的处理。
另外,在目标数据为运行状态信息的情况下,可以将一种或多种部件作为规则组,则由规则组中的部件产生的运行状态信息确定的特征信息可以汇聚为同一信息组。例如,将风扇转速的变化量汇聚为同一信息组、将网络设备的温度变化量汇聚为同一信息组,或者,将风扇转速的变化量、网络设备的温度变化量汇聚为同一信息组。
步骤703,对特征信息进行预处理,得到预处理结果。
在测量引擎确定特征信息之后,可将特征信息发送至第二处理器,由第二处理器对特征信息进行预处理,得到预处理结果。在示例性实施例中,由于步骤702中可能对特征信息进行汇聚,得到一个或多个信息组。因此,对特征信息进行预处理,得到预处理结果,包括:对一个或多个信息组进行预处理,得到预处理结果。
另外,对目标数据的特征信息进行预处理之前,方法还包括:第二处理器获取网络设备的运行状态信息,相应地,对特征信息进行预处理,包括:对目标数据及网络设备的运行状态信息进行预处理。其中,运行状态信息是网络设备自身在运行状态下所产生的信息,例如网络设备中主内存被占用的大小、风扇转速、设备运行温度等等。
当然,无论是针对特征信息进行处理,还是针对包含有特征信息的信息组进行处理,都可以采用如下的示例性方式:对特征信息进行预处理,得到预处理结果,包括:对特征信息进行计算,得到计算结果。将计算结果转换为特征矩阵,将特征矩阵作为预处理结果。
其中,第二处理器对特征信息进行的计算可以是计算特征信息的均值、计算特征信息的方差等等,本实施例不对第二处理器所进行的计算加以限定。在实施中,可以根据特征信息的不同采用不同的计算方式,也可以按照经验设置一种默认的计算方式。在计算得到计算结果之后,可将计算结果转换为特征矩阵。该特征矩阵是第三处理器能够理解的数据格式。可见,对计算结果进行转换的作用在于,令第三处理器能够理解该计算结果。完成转换之后,便可将特征矩阵作为处理后的特征信息。
根据步骤702中的说明可知,测量引擎往往是在目标数据与其他数据的数据量和不小于参考数量阈值,或者每隔参考时间触发特征信息的确定。因此,测量引擎每次确定的特征信息除了包括目标数据的特征信息以外,还包括其他数据的特征信息。因此,第二处理器也是对目标数据及其他数据的特征信息进行转换,从而得到一个特征矩阵作为预处理结果。在转换中,可以将同一数据的特征信息转换为特征矩阵中的一个向量,该向量可对应数据的数据标识,以便于后续得到处理结果后进行区分。
在示例性实施例中,将特征矩阵作为处理后的特征信息,包括:对特征矩阵进行归一化,得到归一化后的特征矩阵。将归一化后的特征矩阵作为预处理结果。在归一化过程中,可将特征矩阵中各个矩阵元素的数值均调整至一参考范围内,以避免矩阵元素的数值量纲、量级不同而影响后续的分析过程。本实施例不对参考范围加以限定,例如,该参考范围可以是-1~1,也可以是其他根据实际需要或经验设置的范围。
步骤704,对预处理结果进行推理,得到推理结果。
在第二处理器得到预处理结果之后,可将预处理结果发送至第三处理器,由第三处理器对预处理结果进行推理,得到推理结果。第三处理器可通过执行机器学习算法进行推理。示例性地,第三处理器将预处理结果输入该机器学习算法,从而得到机器学习算法的输出结果,将机器学习算法的输出结果作为推理结果。
需要说明的是,根据步骤703中的说明可知,预处理结果中往往包含有目标数据对应的向量及其他数据对应的向量。因此,第三处理器所得到的推理结果,也包含目标数据的推理结果及其他数据的推理结果。第三处理器可将每个数据的推理结果与该数据的数据标识相对应,以便于后续处理器进行区分。
步骤705,基于推理结果进行策略分析。
在第三处理器得到推理结果之后,再将推理结果返回给第二处理器,则第二处理器会基于推理结果进行策略分析。示例性地,第二处理器中可存储有推理结果与策略分析的分析结果的对应关系,在第二处理器读取到推理结果之后,便可根据所读取到的推理结果从该对应关系中进行查找,从而完成策略分析过程。需要说明的是,在第三处理器得到多个数据的推理结果的情况下,由于每个推理结果均对应一个数据标识,因而可根据数据标识确定出目标数据,再按照上述说明中的方式确定出目标数据的分析结果。
示例性地,第二处理器所确定出的分析结果可以用于指示转发引擎对目标数据的转发方式。例如,目标数据的转发方式可以是对目标数据进行转发时的优先顺序,对目标数据进行转发时的丢包指示等等。或者,转发方式也可以用于指示转发引擎对目标数据进行丢弃,还可以用于指示拒收或减少接收目标数据之后的与目标数据具有相同数据标识的其他数据,还可以用于指示转发引擎将目标数据上报给控制器或者网络管理员,当然,还可以用于指示转发引擎正常对目标数据进行转发。对于所确定的分析结果,第二处理器将该分析结果作为ACL规则,配置在ACL中,以便于转发引擎通过读取ACL便可获取到分析结果,从而基于所获取的分析结果对目标数据进行处理。
在处理过程中,转发引擎可读取ACL及转发表。其中,转发引擎首先从ACL中确定目标数据的分析结果,若分析结果指示了对目标数据进行转发的转发方式,则再从转发表中确定目标数据适用于二层转发或者三层转发。之后,可通过网络接口按照分析结果指示的转发方式,对目标数据进行其所适用的二层转发或者三层转发。若分析结果指示对目标数据进行正常转发或者对目标数据进行上报,则转发引擎可直接通过网络接口对目标数据进行其所适用的二层转发或者三层转发。若分析结果指示对目标数据进行完全丢弃,则无需读取转发表,直接丢弃目标数据即可。
基于如上的数据处理方法,可进行应用类型的识别、网络传输调优以及流量监测。接下来,对应用类型的识别、网络传输调优以及流量监测等三种应用场景的情况分别进行举例说明:
应用类型的识别:示例性地,结合图7所示实施例的过程,确定目标数据的特征信息,包括:确定目标数据中多个数据包的包长度及时间戳。对目标数据的特征信息进行预处理,得到预处理结果,包括:根据多个数据包的包长度及时间戳得到目标数据的包长度序列,包长度序列中多个包长度对应有一个时间戳,将包长度序列转换为矩阵。对预处理结果进行推理,得到推理结果,包括:根据矩阵识别目标数据所属的应用类型。基于推理结果进行策略分析,包括:基于目标数据所属的应用类型确定目标数据的转发优先级别。
例如,确定目标数据中每个数据包的包长度及时间戳,根据每个数据包的包长度及时间戳得到目标数据的包长度序列,包长度序列中每个包长度对应有一个时间戳,将包长度序列转换为矩阵。之后,根据矩阵识别目标数据所属的应用类型,基于目标数据所属的应用类型确定目标数据的转发优先级别。
示例性地,第一处理器确定目标数据中多个数据包的包长度及时间戳作为特征信息,第二处理器可根据多个数据包的包长度及时间戳得到目标数据对应包长度序列,且序列中多个包长度对应有一个时间戳,第二处理器还对该包长度序列进行格式转换,得到N维矩阵(tensor),以便于发送给第三处理器。可以理解的是,该N维矩阵中除目标数据的特征信息以外,还可能包含其他数据的特征信息。
第三处理器中事先加载了AI算法推理模型。第三处理器接收到第二处理器发送的N维矩阵之后,将该N维矩阵输入已加载的AI算法推理模型,则通过该AI算法推理模型对接收到的N维矩阵进行推理,可输出目标数据所属的应用类型,该应用类型即为推理结果。例如,应用类型可以为游戏类应用、视频播放类应用、网页应用。示例性地,AI算法推理模型所输出的推理结果可以是【0,0,1,1,0,2】的向量,该向量用于指示6个不同的数据流所对应的应用类型。其中,0可以表示游戏类应用,1可以表示视频播放类应用,2可以表示网页应用。
第二处理器根据应用类型进行策略分析,确定目标数据的分析结果。示例性地,第二处理器可以根据应用类型的不同,为数据流配置不同的服务质量(quality of service)级别。例如,游戏类应用程序需要较低的时延,因而其对应的分析结果需要指示优先转发。视频播放类应用程序需要较高的吞吐量,因而其对应的分析结果需要保证单位时间内转发的数据量满足需求。网页应用程序适用于尽力而为的方式,因而其对应的分析结果可以指示较低的优先程度。之后,第一处理器便可根据分析结果来进行目标数据的转发。
需要说明的是,对于所确定的应用类型,第一处理器可在目标数据的IP头中设置差分服务代码点(differentiated series code point,DSCP)来指示该应用类型的转发优先级别,以便于其他网络设备按照相应的转发优先级别进行数据转发。
网络传输调优:确定目标数据的特征信息,包括:确定目标数据中多个数据包的时间戳以及传输过程中经过的多个网络设备的设备标识。对目标数据的特征信息进行预处理,得到预处理结果,包括:根据多个数据包的时间戳以及传输过程中经过的多个网络设备的设备标识计算数据包经过多个网络设备的时间,将数据包经过多个网络设备的时间转换为矩阵。对预处理结果进行推理,得到推理结果,包括:根据矩阵确定多个网络设备的传输拥堵情况。基于推理结果进行策略分析,包括:基于多个网络设备的传输拥堵情况确定目标数据的转发路径。
例如,确定目标数据中每个数据包的时间戳以及传输过程中经过的每个网络设备的设备标识。根据每个数据包的时间戳以及传输过程中经过的每个网络设备的设备标识计算数据包经过每个网络设备的时间,将数据包经过每个网络设备的时间转换为矩阵。根据矩阵确定每个网络设备的传输拥堵情况。之后,基于每个网络设备的传输拥堵情况确定目标数据的转发路径。
示例性地,第一处理器确定目标数据中多个数据包的时间戳以及该数据包所经过的多个网络设备的设备标识。第二处理器根据时间戳和设备标识可计算出数据包经过多个网络设备的时间,第三处理器根据数据包经过网络设备的时间推理得到网络设备的传输拥堵情况。之后,第二处理器可根据传输拥堵情况确定调优策略,例如进行丢包。或者,指示用于向已存在传输拥堵情况的网络设备发送数据的网络设备停止数据的发送,选择其他不存在拥堵情况的网络设备进行数据的发送,从而针对目标数据确定合适的转发路径。第一处理器可根据第二处理器确定的调优策略进行转发,以便于进行其他网络设备的调优。
流量监测:示例性地,结合图7所示实施例的过程,确定目标数据的特征信息,包括:确定目标数据中多个数据包的包长度及时间戳。对目标数据的特征信息进行预处理,得到预处理结果,包括:根据多个数据包的时间戳确定单位时间内网络设备接收到的数据包,计算单位时间内网络设备接收到的数据包的包长度之和得到吞吐量,将吞吐量转换为矩阵。对预处理结果进行推理,得到推理结果,包括:根据矩阵确定网络设备的流量是否存在异常,得到流量监测结果。基于推理结果进行策略分析,包括:基于流量监测结果确定目标数据的转发方式。
例如,确定目标数据中每个数据包的包长度及时间戳,根据每个数据包的时间戳确定单位时间内网络设备接收到的数据包,计算单位时间内网络设备接收到的数据包的包长度之和得到吞吐量,将吞吐量转换为矩阵。根据矩阵确定网络设备的流量是否存在异常,得到流量监测结果。之后,基于流量监测结果确定目标数据的转发方式。
示例性地,第一处理器确定目标数据所包括的多个数据包的时间戳及包长度,第二处理器根据时间戳确定单位时间内到达网络设备的数据包,计算单位时间内到达网络设备的数据包的包长度之和得到吞吐量。第三处理器设备对吞吐量进行推理,从而确认吞吐量是否存在异常。第二处理器根据是否存在异常的推理结果确定不同的分析结果,例如在分析结果为不存在异常时,分析结果指示对目标数据进行正常转发。在分析结果为存在异常时,则说明目标数据可能为恶意攻击数据,因而分析结果可指示对目标数据进行丢弃。
综上所述,本实施例可由独立的网络设备进行数据的采集、特征提取、预处理、推理及策略分析等处理,而无需像相关技术一样在不同设备之间进行数据的传输,避免了传输造成的较大的延迟,提高了数据处理的效率。并且,所占用的网络传输资源及存储资源较少,使得进行数据处理的成本较低,还避免了数据在传输过程中发生泄漏,从而保证了数据处理的安全性及可靠性。
本申请实施例还提供了一种数据处理***,参见图8,该***包括多个网络设备,多个网络设备中的第一处理器之间相互电连接,多个数据设备中的第二处理器相互电连接,多个网络设备中的第三处理器相互电连接。由此,该数据处理***可以通过多个网络设备共同完成目标数据的处理,进一步提高了缩短了数据处理时间,提高了数据处理效率。需要说明的是,多个网络设备中相互连接的处理器需要提前协商好数据格式及策略,在后续处理过程中,每个处理器都统一按照协商好的数据格式及策略来完成数据的处理。其中,多个可以为两个、三个或更多个,本实施例不对数量加以限定,根据实际需要确定设备数量即可,例如在目标数据较多时,确定较大的设备数量。
示例性地,相互连接的不同处理器用于传输同步信号,每个网络设备中的第一处理器用于基于所述同步信号确定目标数据的特征信息。每个网络设备中的第二处理器用于基于所述同步信号对特征信息进行预处理,得到预处理结果。每个网络设备中的第三处理器用于基于所述同步信号对所述预处理结果进行推理,得到推理结果。每个网络设备中的第二处理器还用于基于所述同步信号及所述推理结果进行策略分析。
其中,同步信号的作用在于,各处理器可在同样的时间段内对相同时间维度的目标数据进行处理。例如,各个第一处理器根据该同步信号均确定网络接口在A时刻-B时刻之间采集到的目标数据的特征信息,在各个第一处理器均完成A时刻-B时刻的目标数据的特征信息的确定之后,再进一步开始对B时刻-C时刻的目标数据的特征信息的确定。
示例性地,不同网络设备之间具有拓扑关系,所述拓扑关系用于指示不同网络设备的上下级关系,目标数据在不同网络设备中的传输路径与该拓扑关系所指示的上下级关系相匹配,也就是说,传输路径即为由下级的网络设备传输至上级的网络设备。相互连接的不同处理器用于按照所述拓扑关系所指示的上下级关系依次处理所述目标数据中的一部分数据,将处理结果发送至上一级的其他网络设备中的处理器,所述处理结果是通过策略分析得到的结果。
以网络设备的数量为三个为例,若拓扑关系所指示的上下级从下至上依次为第一网络设备、第二网络设备及第三网络设备,则第一网络设备、第二网络设备及第三网络设备会依次对目标数据中的一部分进行处理。示例性地,第一网络设备对目标数据中第一部分的数据进行策略分析,得到分析结果之后,可将分析结果传输至第二网络设备,第二网络设备结合第一网络设备的分析结果对目标数据中第二部分的数据进行策略分析,进一步得到分析结果,再将目标数据及分析结果传输至第三网络设备。最后,第三网络设备综合第一网络设备及第二网络设备的分析结果对目标数据中还未被处理的第三部分进行处理,从而通过不同网络设备的配合实现了目标数据的处理。
需要说明的是,对于同一网络设备中的各个处理器,虽然该处理器与其他网络设备中的处理器电连接,但在该处理器的工作过程中,无需将数据或信息跨设备传输至其他设备,而是在本设备中完成数据处理即可。
本实施例还提供了一种数据处理***,参见图9,该数据处理***包括多个相互电连接的网络设备。由此,多个网络设备可以独立的对不同数据进行处理,也可以通过配合来完成同一数据的处理,处理方式较为灵活,对各个网络设备的计算能力要求不高。在后一种情况下,各个网络设备可根据自身实际计算能力或者设置的策略来贡献一定的计算能力。
示例性地,多个网络设备中的每个网络设备均用于接收目标数据,根据目标数据得到推理结果,多个网络设备中的其中一个网络设备用于汇总每个网络设备得到的推理结果,根据汇总的推理结果进行策略分析。其中,多个网络设备可通过协商确定出一个用于主导的设备,参见图10,最上端的设备即为用于主导的设备。因此,各网络设备在完成推理、得到推理结果之后,可将推理结果汇总至该用于主导的设备中,以便于主导的设备根据汇总的推理结果统一进行策略分析,从而确定出最终的分析结果。之后,该用于主导的设备还将最终的分析结果下发至其他各网络设备,以便于其他各网络设备分别根据最终的分析结果来进行数据的处理。
本申请实施例还提供了一种数据处理装置,参见图11,该装置包括:
接收模块1101,用于接收目标数据;例如,该接收模块1101可执行图7所示的步骤701的相关内容。
确定模块1102,用于确定目标数据的特征信息;例如,该确定模块1102可执行图7所示的步骤702的相关内容。
预处理模块1103,用于对特征信息进行预处理,得到预处理结果;例如,该预处理模块1103可执行图7所示的步骤703的相关内容。
推理模块1104,用于对预处理结果进行推理,得到推理结果;例如,该推理模块1104可执行图7所示的步骤704的相关内容。
分析模块1105,用于基于推理结果进行策略分析。例如,该分析模块1105可执行图7所示的步骤705的相关内容。
在示例性实施例中,确定模块1102,用于获取目标数据对应的哈希值,读取包含有多个表项的映射表;根据哈希值,从映射表所包含的多个表项中确定目标数据对应的目标表项;响应于确定出目标表项,获取目标数据的参考信息,根据目标数据的参考信息及目标表项中存储的参考信息确定特征信息。
在示例性实施例中,确定模块1102,还用于响应于未确定出目标表项,在映射表中添加目标数据对应的新表项;获取目标数据的参考信息,将参考信息存储于新表项中,并基于参考信息确定特征信息。
在示例性实施例中,装置还包括:汇聚模块,用于响应于需要对特征信息进行汇聚,获取规则组,规则组中包括一个或多个参考规则;按照规则组对特征信息进行汇聚,得到一个或多个信息组;
预处理模块1103,用于对一个或多个信息组进行预处理,得到预处理结果。
在示例性实施例中,装置还包括:获取模块,用于获取网络设备的运行状态信息,预处理模块,用于对目标数据及网络设备的运行状态信息进行预处理。
在示例性实施例中,确定模块1102,用于确定目标数据中多个数据包的包长度及时间戳;
预处理模块1103,用于根据多个数据包的包长度及时间戳得到目标数据的包长度序列,包长度序列中多个包长度对应有一个时间戳,将包长度序列转换为矩阵;
推理模块1104,用于根据矩阵识别目标数据所属的应用类型;
分析模块1105,用于基于目标数据所属的应用类型确定目标数据的转发优先级别。
在示例性实施例中,确定模块1102,用于确定目标数据中多个数据包的时间戳以及传输过程中经过的多个网络设备的设备标识;
预处理模块1103,用于根据多个数据包的时间戳以及传输过程中经过的多个网络设备的设备标识计算数据包经过多个网络设备的时间,将数据包经过多个网络设备的时间转换为矩阵;
推理模块1104,用于根据矩阵确定多个网络设备的传输拥堵情况;
分析模块1105,用于基于多个网络设备的传输拥堵情况确定目标数据的转发路径。
在示例性实施例中,确定模块1102,用于确定目标数据中多个数据包的包长度及时间戳;
预处理模块1103,用于根据多个数据包的时间戳确定单位时间内网络设备接收到的数据包,计算单位时间内网络设备接收到的数据包的包长度之和得到吞吐量,将吞吐量转换为矩阵;
推理模块1104,用于根据矩阵确定网络设备的流量是否存在异常,得到流量监测结果;
分析模块1105,用于基于流量监测结果确定目标数据的转发方式。
综上所述,本实施例可由独立的网络设备进行数据的采集、特征提取、预处理、推理及策略分析等处理,而无需像相关技术一样在不同设备之间进行数据的传输,避免了传输造成的较大的延迟,提高了数据处理的效率。并且,所占用的网络传输资源较少,使得进行数据处理的成本较低,还避免了数据在传输过程中发生泄漏,从而保证了数据处理的安全性及可靠性。
应理解的是,上述图11提供的装置在实现其功能时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
本申请实施例提供了一种计算机程序(产品),所述计算机程序(产品)包括:计算机程序代码,当所述计算机程序代码被计算机运行时,使得所述计算机执行以上任一种示例性实施例所提供的方法。
本申请实施例提供了一种可读存储介质,可读存储介质存储程序或指令,当所述程序或指令在计算机上运行时,上述任一种示例性实施例所提供的方法。
本申请实施例提供了一种芯片,包括处理器,用于从存储器中调用并运行所述存储器中存储的指令,使得安装有所述芯片的通信设备执行任一种示例性实施例所提供的方法。
本申请实施例提供另一种芯片,包括:输入接口、输出接口、处理器和存储器,所述输入接口、输出接口、所述处理器以及所述存储器之间通过内部连接通路相连,所述处理器用于执行所述存储器中的代码,当所述代码被执行时,所述处理器用于执行上述任一种示例性实施例所提供的方法。
应理解的是,上述处理器可以是中央处理器(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(digital signal processing,DSP)、专用集成电路(application specific integrated circuit,ASIC)、现场可编程门阵列(field-programmable gate array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者是任何常规的处理器等。值得说明的是,处理器可以是支持进阶精简指令集机器(advanced RISC machines,ARM)架构的处理器。
进一步地,在一种可选的实施例中,上述存储器可以包括只读存储器和随机存取存储器,并向处理器提供指令和数据。存储器还可以包括非易失性随机存取存储器。例如,存储器还可以存储设备类型的信息。
该存储器可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(read-only memory,ROM)、可编程只读存储器(programmable ROM,PROM)、可擦除可编程只读存储器(erasable PROM,EPROM)、电可擦除可编程只读存储器(electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用。例如,静态随机存取存储器(static RAM,SRAM)、动态随机存取存储器(dynamic random access memory,DRAM)、同步动态随机存取存储器(synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(double data dateSDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(directrambus RAM,DR RAM)。
本申请提供了一种计算机程序,当计算机程序被计算机执行时,可以使得处理器或计算机执行上述方法实施例中对应的各个步骤和/或流程。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid StateDisk)等。
以上所述仅为本申请的实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (29)
1.一种网络设备,其特征在于,所述网络设备包括:第一处理器(11)、第二处理器(12)、第三处理器(13)及网络接口(14),所述第一处理器(11)分别与所述网络接口(14)和所述第二处理器(12)连接,所述第二处理器(12)还与所述第三处理器(13)连接;
其中,所述网络接口(14),用于接收目标数据,将所述目标数据传输至所述第一处理器(11);
所述第一处理器(11),用于接收所述网络接口(14)发送的目标数据,确定所述目标数据的特征信息,将所述目标数据的特征信息发送至所述第二处理器(12);
所述第二处理器(12),用于接收所述第一处理器(11)发送的所述目标数据的特征信息,对所述目标数据的特征信息进行预处理,得到预处理结果,将所述预处理结果发送至所述第三处理器(13);
所述第三处理器(13),用于接收所述第二处理器(12)发送的预处理结果,对所述预处理结果进行推理,得到推理结果,将所述推理结果发送至所述第二处理器(12);
所述第二处理器(12),还用于接收所述第三处理器(13)发送的推理结果,基于所述推理结果进行策略分析。
2.根据权利要求1所述的网络设备,其特征在于,所述第一处理器(11)为网络处理器,所述第二处理器(12)为通用处理器,所述第三处理器(13)为人工智能AI处理器。
3.根据权利要求1或2所述的网络设备,其特征在于,所述第一处理器(11)包括转发引擎(111)及测量引擎(112),所述转发引擎(111)与所述测量引擎(112)电连接;
所述转发引擎(111),用于接收所述网络接口(14)发送的目标数据,向所述测量引擎(112)转发所述目标数据;
所述测量引擎(112),用于接收所述转发引擎(111)发送的目标数据,确定所述目标数据的特征信息。
4.根据权利要求3所述的网络设备,其特征在于,所述第一处理器(11)还包括:高速缓冲存储器(113),所述高速缓冲存储器(113)分别与所述转发引擎(111)及所述测量引擎(112)电连接;
所述高速缓冲存储器(113),用于对所述转发引擎(111)及所述测量引擎(112)产生的数据进行缓存。
5.根据权利要求1-4任一所述的网络设备,其特征在于,所述第二处理器(12),还用于获取网络设备的运行状态信息;
所述第二处理器(12),用于对所述目标数据的特征信息和所述网络设备的运行状态信息进行预处理,得到预处理结果。
6.根据权利要求5所述的网络设备,其特征在于,所述网络设备还包括:输入输出IO接口(15),所述IO接口(15)与所述第二处理器(12)电连接;
所述IO接口(15),用于采集所述网络设备的运行状态信息,将所述运行状态信息传输至所述第二处理器(12);
所述第二处理器(12),用于接收所述IO接口(15)发送的运行状态信息。
7.根据权利要求1-6任一所述的网络设备,其特征在于,所述网络设备用于在网络中传输所述目标数据。
8.一种数据处理方法,其特征在于,所述方法应用于网络设备,所述方法包括:
接收目标数据;
确定所述目标数据的特征信息;
对所述目标数据的特征信息进行预处理,得到预处理结果;
对所述预处理结果进行推理,得到推理结果;
基于所述推理结果进行策略分析。
9.根据权利要求8所述的方法,其特征在于,所述确定所述目标数据的特征信息,包括:
获取所述目标数据对应的哈希值,读取包含有多个表项的映射表;
根据所述哈希值,从所述映射表所包含的多个表项中确定所述目标数据对应的目标表项;
响应于确定出所述目标表项,获取所述目标数据的参考信息,根据所述目标数据的参考信息及所述目标表项中存储的参考信息确定所述特征信息。
10.根据权利要求9所述的方法,其特征在于,所述确定所述目标数据的特征信息,还包括:
响应于未确定出所述目标表项,在所述映射表中添加所述目标数据对应的新表项;
获取所述目标数据的参考信息,将所述参考信息存储于所述新表项中,并基于所述参考信息确定所述特征信息。
11.根据权利要求8-10任一所述的方法,其特征在于,所述确定所述目标数据的特征信息之后,所述方法还包括:
响应于需要对所述特征信息进行汇聚,获取规则组,所述规则组中包括一个或多个参考规则;
按照所述规则组对所述特征信息进行汇聚,得到一个或多个信息组;
所述对所述特征信息进行预处理,得到预处理结果,包括:
对所述一个或多个信息组进行预处理,得到所述预处理结果。
12.根据权利要求8-11任一所述的方法,其特征在于,所述对所述目标数据的特征信息进行预处理之前,还包括:
获取所述网络设备的运行状态信息;
所述对所述目标数据的特征信息进行预处理,包括:
对所述目标数据及所述网络设备的运行状态信息进行预处理。
13.根据权利要求8-12任一所述的方法,其特征在于,所述确定所述目标数据的特征信息,包括:确定所述目标数据中多个数据包的包长度及时间戳;
所述对所述目标数据的特征信息进行预处理,得到预处理结果,包括:根据所述多个数据包的包长度及时间戳得到所述目标数据的包长度序列,所述包长度序列中多个包长度对应有一个时间戳,将所述包长度序列转换为矩阵;
所述对所述预处理结果进行推理,得到推理结果,包括:根据所述矩阵识别所述目标数据所属的应用类型;
所述基于所述推理结果进行策略分析,包括:基于所述目标数据所属的应用类型确定所述目标数据的转发优先级别。
14.根据权利要求8-12任一所述的方法,其特征在于,所述确定所述目标数据的特征信息,包括:确定所述目标数据中多个数据包的时间戳以及传输过程中经过的多个网络设备的设备标识;
所述对所述目标数据的特征信息进行预处理,得到预处理结果,包括:根据所述多个数据包的时间戳以及传输过程中经过的所述多个网络设备的设备标识计算所述数据包经过所述多个网络设备的时间,将所述数据包经过所述多个网络设备的时间转换为矩阵;
所述对所述预处理结果进行推理,得到推理结果,包括:根据所述矩阵确定所述多个网络设备的传输拥堵情况;
所述基于所述推理结果进行策略分析,包括:基于所述多个网络设备的传输拥堵情况确定所述目标数据的转发路径。
15.根据权利要求8-12任一所述的方法,其特征在于,所述确定所述目标数据的特征信息,包括:确定所述目标数据中多个数据包的包长度及时间戳;
所述对所述目标数据的特征信息进行预处理,得到预处理结果,包括:根据所述多个数据包的时间戳确定单位时间内网络设备接收到的数据包,计算单位时间内网络设备接收到的数据包的包长度之和得到吞吐量,将所述吞吐量转换为矩阵;
所述对所述预处理结果进行推理,得到推理结果,包括:根据所述矩阵确定网络设备的流量是否存在异常,得到流量监测结果;
所述基于所述推理结果进行策略分析,包括:基于所述流量监测结果确定所述目标数据的转发方式。
16.一种数据处理装置,其特征在于,所述装置包括:
接收模块,用于接收目标数据;
确定模块,用于确定所述目标数据的特征信息;
预处理模块,用于对所述特征信息进行预处理,得到预处理结果;
推理模块,用于对所述预处理结果进行推理,得到推理结果;
分析模块,用于基于所述推理结果进行策略分析。
17.根据权利要求16所述的装置,其特征在于,所述确定模块,用于获取所述目标数据对应的哈希值,读取包含有多个表项的映射表;根据所述哈希值,从所述映射表所包含的多个表项中确定所述目标数据对应的目标表项;响应于确定出所述目标表项,获取所述目标数据的参考信息,根据所述目标数据的参考信息及所述目标表项中存储的参考信息确定所述特征信息。
18.根据权利要求16所述的装置,其特征在于,所述确定模块,还用于响应于未确定出所述目标表项,在所述映射表中添加所述目标数据对应的新表项;获取所述目标数据的参考信息,将所述参考信息存储于所述新表项中,并基于所述参考信息确定所述特征信息。
19.根据权利要求16-18任一所述的装置,其特征在于,所述装置还包括:汇聚模块,用于响应于需要对所述特征信息进行汇聚,获取规则组,所述规则组中包括一个或多个参考规则;按照所述规则组对所述特征信息进行汇聚,得到一个或多个信息组;
所述预处理模块,用于对所述一个或多个信息组进行预处理,得到所述预处理结果。
20.根据权利要求16-19任一所述的装置,其特征在于,所述装置还包括:获取模块,用于获取所述网络设备的运行状态信息,所述预处理模块,用于对所述目标数据及所述网络设备的运行状态信息进行预处理。
21.根据权利要求16-20任一所述的装置,其特征在于,所述确定模块,用于确定所述目标数据中多个数据包的包长度及时间戳;
所述预处理模块,用于根据所述多个数据包的包长度及时间戳得到所述目标数据的包长度序列,所述包长度序列中多个包长度对应有一个时间戳,将所述包长度序列转换为矩阵;
所述推理模块,用于根据所述矩阵识别所述目标数据所属的应用类型;
所述分析模块,用于基于所述目标数据所属的应用类型确定所述目标数据的转发优先级别。
22.根据权利要求16-20任一所述的装置,其特征在于,所述确定模块,用于确定所述目标数据中多个数据包的时间戳以及传输过程中经过的多个网络设备的设备标识;
所述预处理模块,用于根据所述多个数据包的时间戳以及传输过程中经过的所述多个网络设备的设备标识计算所述数据包经过所述多个网络设备的时间,将所述数据包经过所述多个网络设备的时间转换为矩阵;
所述推理模块,用于根据所述矩阵确定所述多个网络设备的传输拥堵情况;
所述分析模块,用于基于所述多个网络设备的传输拥堵情况确定所述目标数据的转发路径。
23.根据权利要求16-20任一所述的方法,其特征在于,所述确定模块,用于确定所述目标数据中多个数据包的包长度及时间戳;
所述预处理模块,用于根据所述多个数据包的时间戳确定单位时间内网络设备接收到的数据包,计算单位时间内网络设备接收到的数据包的包长度之和得到吞吐量,将所述吞吐量转换为矩阵;
所述推理模块,用于根据所述矩阵确定网络设备的流量是否存在异常,得到流量监测结果;
所述分析模块,用于基于所述流量监测结果确定所述目标数据的转发方式。
24.一种数据处理***,其特征在于,所述***包括多个权利要求1-7任一所述的网络设备,所述多个网络设备中的第一处理器之间相互连接,所述多个网络设备中的第二处理器之间相互连接,所述多个网络设备中的第三处理器之间相互连接。
25.根据权利要求24所述的***,其特征在于,相互连接的不同处理器用于传输同步信号,所述第一处理器用于基于所述同步信号确定目标数据的特征信息,所述第二处理器用于基于所述同步信号对特征信息进行预处理,得到预处理结果,所述第三处理器用于基于所述同步信号对所述预处理结果进行推理,得到推理结果,所述第二处理器还用于基于所述同步信号及所述推理结果进行策略分析。
26.根据权利要求24所述的***,其特征在于,不同网络设备之间具有拓扑关系,所述拓扑关系用于指示不同网络设备的上下级关系,相互连接的不同处理器用于按照所述拓扑关系所指示的上下级关系依次处理所述目标数据中的一部分数据,将处理结果发送至上一级的其他网络设备中的处理器,所述处理结果是通过策略分析得到的结果。
27.一种数据处理***,其特征在于,所述***包括多个权利要求1-7任一所述的网络设备,所述网络设备之间相互连接。
28.根据权利要求27所述的***,其特征在于,多个网络设备中的每个网络设备均用于接收目标数据,根据所述目标数据得到推理结果,多个网络设备中的其中一个网络设备用于汇总每个网络设备得到的推理结果,根据汇总的推理结果进行策略分析。
29.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令,所述指令由处理器加载并执行以实现如权利要求8-15中任一所述的数据处理方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010132778.3A CN111404770B (zh) | 2020-02-29 | 2020-02-29 | 网络设备、数据处理方法、装置、***及可读存储介质 |
EP20921539.1A EP4096166A4 (en) | 2020-02-29 | 2020-09-30 | NETWORK DEVICE, METHOD, APPARATUS AND SYSTEM FOR DATA PROCESSING AND READABLE STORAGE MEDIA |
PCT/CN2020/119348 WO2021169304A1 (zh) | 2020-02-29 | 2020-09-30 | 网络设备、数据处理方法、装置、***及可读存储介质 |
US17/896,554 US20220407783A1 (en) | 2020-02-29 | 2022-08-26 | Network Device, Data Processing Method, Apparatus, and System, and Readable Storage Medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010132778.3A CN111404770B (zh) | 2020-02-29 | 2020-02-29 | 网络设备、数据处理方法、装置、***及可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111404770A true CN111404770A (zh) | 2020-07-10 |
CN111404770B CN111404770B (zh) | 2022-11-11 |
Family
ID=71430479
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010132778.3A Active CN111404770B (zh) | 2020-02-29 | 2020-02-29 | 网络设备、数据处理方法、装置、***及可读存储介质 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220407783A1 (zh) |
EP (1) | EP4096166A4 (zh) |
CN (1) | CN111404770B (zh) |
WO (1) | WO2021169304A1 (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111985635A (zh) * | 2020-09-02 | 2020-11-24 | 北京小米松果电子有限公司 | 一种加速神经网络推理处理的方法、装置及介质 |
WO2021169304A1 (zh) * | 2020-02-29 | 2021-09-02 | 华为技术有限公司 | 网络设备、数据处理方法、装置、***及可读存储介质 |
CN113487033A (zh) * | 2021-07-30 | 2021-10-08 | 上海壁仞智能科技有限公司 | 以图形处理器为执行核心的推理方法和装置 |
CN114095421A (zh) * | 2020-07-30 | 2022-02-25 | 深信服科技股份有限公司 | 一种网络选路方法、装置、设备及计算机可读存储介质 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11265254B1 (en) * | 2020-11-24 | 2022-03-01 | Verizon Patent And Licensing Inc. | Systems and methods for determining a policy that allocates traffic associated with a network protocol type to a network slice |
CN116781389B (zh) * | 2023-07-18 | 2023-12-22 | 山东溯源安全科技有限公司 | 一种异常数据列表的确定方法、电子设备及存储介质 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101483547A (zh) * | 2009-02-12 | 2009-07-15 | 中国人民解放军信息工程大学 | 一种网络突发事件度量评估方法及*** |
CN203311215U (zh) * | 2013-06-26 | 2013-11-27 | 上海铂尔怡环境技术股份有限公司 | 一种水处理远程监控*** |
KR20140014784A (ko) * | 2012-07-26 | 2014-02-06 | 숭실대학교산학협력단 | 선형패턴과 명암 특징 기반 네트워크 트래픽의 이상현상 감지 방법 |
CN104159089A (zh) * | 2014-09-04 | 2014-11-19 | 四川省绵阳西南自动化研究所 | 一种异常事件报警高清视频智能处理器 |
CN104679828A (zh) * | 2015-01-19 | 2015-06-03 | 云南电力调度控制中心 | 一种基于规则的电网故障诊断智能*** |
CN104794136A (zh) * | 2014-01-22 | 2015-07-22 | 华为技术有限公司 | 故障分析方法和装置 |
US20180114130A1 (en) * | 2016-10-20 | 2018-04-26 | Loven Systems, LLC | Method And System For Pre-Processing Data Received From Data Sources To Deduce Meaningful Information |
CN109361609A (zh) * | 2018-12-14 | 2019-02-19 | 东软集团股份有限公司 | 防火墙设备的报文转发方法、装置、设备及存储介质 |
CN110046704A (zh) * | 2019-04-09 | 2019-07-23 | 深圳鲲云信息科技有限公司 | 基于数据流的深度网络加速方法、装置、设备及存储介质 |
CN110213125A (zh) * | 2019-05-23 | 2019-09-06 | 南京维拓科技股份有限公司 | 一种云环境下基于时序数据的异常检测*** |
US20190379342A1 (en) * | 2018-06-07 | 2019-12-12 | Lofelt Gmbh | Systems and methods using predictive analysis of audio signal to generate haptic data for enhanced user experience |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9800608B2 (en) * | 2000-09-25 | 2017-10-24 | Symantec Corporation | Processing data flows with a data flow processor |
CN100499593C (zh) * | 2007-07-06 | 2009-06-10 | 北京航空航天大学 | 一种基于状态参数估计的队列快速控制方法 |
US9699096B2 (en) * | 2013-12-26 | 2017-07-04 | Intel Corporation | Priority-based routing |
CN107113282A (zh) * | 2014-12-30 | 2017-08-29 | 华为技术有限公司 | 一种抽取数据报文的方法及装置 |
CN104735060B (zh) * | 2015-03-09 | 2018-02-09 | 清华大学 | 路由器及其数据平面信息的验证方法和验证装置 |
CN110297207A (zh) * | 2019-07-08 | 2019-10-01 | 国网上海市电力公司 | 智能电表的故障诊断方法、***及电子装置 |
CN110708260A (zh) * | 2019-11-13 | 2020-01-17 | 鹏城实验室 | 数据包传输方法及相关装置 |
CN111404770B (zh) * | 2020-02-29 | 2022-11-11 | 华为技术有限公司 | 网络设备、数据处理方法、装置、***及可读存储介质 |
-
2020
- 2020-02-29 CN CN202010132778.3A patent/CN111404770B/zh active Active
- 2020-09-30 EP EP20921539.1A patent/EP4096166A4/en active Pending
- 2020-09-30 WO PCT/CN2020/119348 patent/WO2021169304A1/zh unknown
-
2022
- 2022-08-26 US US17/896,554 patent/US20220407783A1/en active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101483547A (zh) * | 2009-02-12 | 2009-07-15 | 中国人民解放军信息工程大学 | 一种网络突发事件度量评估方法及*** |
KR20140014784A (ko) * | 2012-07-26 | 2014-02-06 | 숭실대학교산학협력단 | 선형패턴과 명암 특징 기반 네트워크 트래픽의 이상현상 감지 방법 |
CN203311215U (zh) * | 2013-06-26 | 2013-11-27 | 上海铂尔怡环境技术股份有限公司 | 一种水处理远程监控*** |
CN104794136A (zh) * | 2014-01-22 | 2015-07-22 | 华为技术有限公司 | 故障分析方法和装置 |
CN104159089A (zh) * | 2014-09-04 | 2014-11-19 | 四川省绵阳西南自动化研究所 | 一种异常事件报警高清视频智能处理器 |
CN104679828A (zh) * | 2015-01-19 | 2015-06-03 | 云南电力调度控制中心 | 一种基于规则的电网故障诊断智能*** |
US20180114130A1 (en) * | 2016-10-20 | 2018-04-26 | Loven Systems, LLC | Method And System For Pre-Processing Data Received From Data Sources To Deduce Meaningful Information |
US20190379342A1 (en) * | 2018-06-07 | 2019-12-12 | Lofelt Gmbh | Systems and methods using predictive analysis of audio signal to generate haptic data for enhanced user experience |
CN109361609A (zh) * | 2018-12-14 | 2019-02-19 | 东软集团股份有限公司 | 防火墙设备的报文转发方法、装置、设备及存储介质 |
CN110046704A (zh) * | 2019-04-09 | 2019-07-23 | 深圳鲲云信息科技有限公司 | 基于数据流的深度网络加速方法、装置、设备及存储介质 |
CN110213125A (zh) * | 2019-05-23 | 2019-09-06 | 南京维拓科技股份有限公司 | 一种云环境下基于时序数据的异常检测*** |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021169304A1 (zh) * | 2020-02-29 | 2021-09-02 | 华为技术有限公司 | 网络设备、数据处理方法、装置、***及可读存储介质 |
CN114095421A (zh) * | 2020-07-30 | 2022-02-25 | 深信服科技股份有限公司 | 一种网络选路方法、装置、设备及计算机可读存储介质 |
CN114095421B (zh) * | 2020-07-30 | 2023-12-29 | 深信服科技股份有限公司 | 一种网络选路方法、装置、设备及计算机可读存储介质 |
CN111985635A (zh) * | 2020-09-02 | 2020-11-24 | 北京小米松果电子有限公司 | 一种加速神经网络推理处理的方法、装置及介质 |
CN113487033A (zh) * | 2021-07-30 | 2021-10-08 | 上海壁仞智能科技有限公司 | 以图形处理器为执行核心的推理方法和装置 |
CN113487033B (zh) * | 2021-07-30 | 2023-05-23 | 上海壁仞智能科技有限公司 | 以图形处理器为执行核心的推理方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN111404770B (zh) | 2022-11-11 |
WO2021169304A1 (zh) | 2021-09-02 |
US20220407783A1 (en) | 2022-12-22 |
EP4096166A1 (en) | 2022-11-30 |
EP4096166A4 (en) | 2023-07-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111404770B (zh) | 网络设备、数据处理方法、装置、***及可读存储介质 | |
JP4774357B2 (ja) | 統計情報収集システム及び統計情報収集装置 | |
CN108701187B (zh) | 用于混合硬件软件分布式威胁分析的设备和方法 | |
CN106815112B (zh) | 一种基于深度包检测的海量数据监控***及方法 | |
KR101736425B1 (ko) | 통신 네트워크들에 대한 클라우드 컴퓨팅 강화 게이트웨이 | |
CN108429761B (zh) | 智慧协同网络中资源适配解析服务器DDoS攻击检测防御方法 | |
US9356844B2 (en) | Efficient application recognition in network traffic | |
CN113037687A (zh) | 一种流量识别方法及电子设备 | |
CN106972985B (zh) | 加速dpi设备数据处理与转发的方法和dpi设备 | |
TWI583152B (zh) | 適用於異質網路架構的異常預測方法及系統 | |
US20120167222A1 (en) | Method and apparatus for diagnosing malicous file, and method and apparatus for monitoring malicous file | |
CN111740910A (zh) | 一种报文处理方法、装置、网络传输设备及报文处理*** | |
KR20110071817A (ko) | 트래픽 제어 장치 및 방법 | |
CN113630301B (zh) | 基于智能决策的数据传输方法、装置、设备及存储介质 | |
Amaral et al. | Application aware SDN architecture using semi-supervised traffic classification | |
US11218411B2 (en) | Flow monitoring in network devices | |
US20140016459A1 (en) | Network system, gateway, and packet delivery method | |
CN112671662B (zh) | 数据流加速方法、电子设备和存储介质 | |
WO2020002159A1 (en) | Processing local area network diagnostic data | |
US11218394B1 (en) | Dynamic modifications to directional capacity of networking device interfaces | |
US11528187B1 (en) | Dynamically configurable networking device interfaces for directional capacity modifications | |
US11477126B2 (en) | Network device and method for processing data about network packets | |
CN114143385B (zh) | 一种网络流量数据的识别方法、装置、设备和介质 | |
CN115473688A (zh) | 面向软件定义网络的异常检测方法、装置及设备 | |
CN115550470A (zh) | 工控网络数据包解析方法、装置、电子设备与存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |