CN111181759B - 一种网络设备的异常识别方法、装置、设备及存储介质 - Google Patents
一种网络设备的异常识别方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111181759B CN111181759B CN201910730389.8A CN201910730389A CN111181759B CN 111181759 B CN111181759 B CN 111181759B CN 201910730389 A CN201910730389 A CN 201910730389A CN 111181759 B CN111181759 B CN 111181759B
- Authority
- CN
- China
- Prior art keywords
- data
- abnormal
- template
- abnormal event
- regular expression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Computer And Data Communications (AREA)
Abstract
本申请公开了一种网络设备的异常识别方法、装置、设备及存储介质,所述方法包括:获取网络设备的至少一个数据类型的网络通信数据;当至少一个数据类型的网络通信数据中存在异常数据时,将异常数据转换成标准格式数据;基于异常事件模板库中异常事件模板对应的第一正则表达式对标准格式数据进行异常事件模板的匹配,第一正则表达式定义匹配异常事件模板的字符串;利用匹配到的异常事件模板对应的第二正则表达式提取标准格式数据中的关键字段,第二正则表达式定义匹配异常事件的关键字符串;基于关键字段生成网络设备的异常事件的标准表征数据。利用本申请的技术方案可以快速进行多维度的网络设备的异常分析,提高异常分析的效率,减少人力消耗。
Description
技术领域
本申请涉及互联网通信技术领域,尤其涉及一种网络设备的异常识别方法、装置、设备及存储介质。
背景技术
随着计算机和互联网技术的快速发展,人们日常生活对数据通信网络的依赖程度越来越高,网络通信中设备出现的异常所造成影响也日渐增强。因此,出现网络设备异常时,能快速准确的定位网络链路中网络设备的具体异常情况,进而可以排除异常,日渐成为网络设备用户关注的焦点。
现有技术中常常通过SNMP(simple network management protocol,简单网络管理协议)和探测脚本实现网络监控,即SNMP接收网络通信中的随机消息(及事件报告)以获知网络设备是否出现问题。接着,在异常时以邮件,电话等形式通知运维人员,然后,由运维人员来分析异常的具体情况。但上述现有的方案中,只侧重于某种特定的数据源的异常分析,且仅仅是判断出异常,但无法给出异常的具体情况,依然需要大量的运维人员进行具体的异常分析,导致异常分析的效率低,耗时。因此,需要提供更可靠或更有效的方案。
发明内容
本申请提供了一种网络设备的异常识别方法、装置、设备及存储介质,可以快速的进行多维度的网络设备的异常分析,且可以大大提高异常分析的效率,减少人力消耗。
一方面,本申请提供了一种网络设备的异常识别方法,所述方法包括:
获取网络设备的至少一个数据类型的网络通信数据;
当所述至少一个数据类型的网络通信数据中存在异常数据时,将所述异常数据转换成标准格式数据;
基于异常事件模板库中异常事件模板对应的第一正则表达式对所述标准格式数据进行异常事件模板的匹配,所述第一正则表达式定义匹配异常事件模板的字符串;
利用匹配到的异常事件模板对应的第二正则表达式提取所述标准格式数据中的关键字段,所述第二正则表达式定义匹配异常事件的关键字符串;
基于所述关键字段生成所述网络设备的异常事件的标准表征数据。
另一方面提供了一种网络设备的异常识别装置,所述装置包括:
网络通信数据获取模块,用于获取网络设备的至少一个数据类型的网络通信数据;
数据格式转换模块,用于当所述至少一个数据类型的网络通信数据中存在异常数据时,将所述异常数据转换成标准格式数据;
异常事件模板匹配模块,用于基于异常事件模板库中异常事件模板对应的第一正则表达式对所述标准格式数据进行异常事件模板的匹配,所述第一正则表达式定义匹配异常事件模板的字符串;
关键字段提取模块,用于利用匹配到的异常事件模板对应的第二正则表达式提取所述标准格式数据中的关键字段,所述第二正则表达式定义匹配异常事件的关键字符串;
异常表征模块,用于基于所述关键字段生成所述网络设备的异常事件的标准表征数据。
另一方面提供了一种网络设备的异常识别设备,所述设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述的网络设备的异常识别方法。
另一方面提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述的网络设备的异常识别方法。
本申请提供的网络设备的异常识别方法、装置、设备及存储介质,具有如下技术效果:
本申请通过获取至少一个数据类型的网络通信数据,将其中的异常数据转化成标准格式数据,实现对不同的异常数据可以进行统一的识别;接着,结合定义匹配异常事件模板的字符串的第一正则表达式,匹配到异常数据对应的异常事件的异常事件模板;然后,结合定义匹配异常事件的关键字符串的第二正则表达式从标准格式数据中提取关键字段,最后,基于关键字段生成可以表征网络设备的异常事件的具体情况的标准表征数据。利用本说明书实施例提供的技术方案,可以快速的进行多维度的网络设备的异常分析,且可以大大提高异常分析的效率,减少人力消耗。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1是本申请实施例提供的一种应用环境的示意图;
图2是本申请实施例提供的一种网络设备的异常识别方法的流程示意图;
图3是本申请实施例提供的一种将所述异常数据转换成标准格式数据的流程示意图;
图4是本申请实施例提供的一种基于异常事件模板库中异常事件模板对应的第一正则表达式对所述标准格式数据进行异常事件模板的匹配的流程示意图;
图5是本申请实施例提供的一种创建异常事件模板库的流程示意图;
图6是本申请实施例提供的一种端口断开异常事件的异常事件模板;
图7是本申请实施例提供的另一种端口断开异常事件的异常事件模板;
图8是本申请实施例提供的一种流量异常事件的异常事件模板;
图9是本申请实施例提供的一种端口断开异常事件的标准表征数据的示意图;
图10是本申请实施例提供的另一种端口断开异常事件的标准表征数据的示意图;
图11是本申请实施例提供的一种出现断崖式流量异常的SNMP端口流量视图;
图12是本申请实施例提供的一种流量异常事件的标准表征数据的示意图;
图13是本申请实施例提供一种目标网络链路的结构示意图;
图14是本申请实施例提供的一种网络设备的异常识别装置的示意图;
图15是本申请实施例提供的一种异常识别的架构图;
图16是本申请实施例提供的一种服务器的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或服务器不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
请参阅图1,图1是本申请实施例提供的一种应用环境的示意图,如图1所示,该应用环境可以包括网络链路中的至少一个网络设备100和异常识别平台200。
本说明书实施例中,网络设备100可以包括智能手机、台式电脑、平板电脑、笔记本电脑、数字助理、智能可穿戴设备等类型的客户端侧的实体设备,也可以包括交换机(如图1所示的)、负载均衡器、服务器等实体设备,也可以包括运行于实体设备中的软体,例如虚拟机等。
本说明书实施例中,异常识别平台200可以用于对网络链路中的网络设备进行具体异常情况的识别。具体的,异常识别平台200可以包括面向用户的异常识别终端201和为该异常识别终端提供后台服务支持的异常识别服务器202。
本说明书实施例中,异常识别终端201可以包括智能手机、台式电脑、平板电脑、笔记本电脑、数字助理、智能可穿戴设备等类型的实体设备。也可以包括运行于实体设备中的软体,例如应用程序、应用页面等。具体的,异常识别终端可以用于进行网络设备的网络通信数据导入、网络设备的具体异常情况的展示等。
本说明书实施例中,异常识别服务器202可以包括一个独立运行的服务器,或者分布式服务器,或者由多个服务器组成的服务器集群。具体的,异常识别服务器可以用于进行网络设备的具体异常情况的识别。
此外,需要说明的是,上述异常识别服务器通过异常识别终端来获取网络设备的网络通信数据仅仅是一种示例,在实际应用中,异常识别服务器也可以通过相应的接口等方式来获取网络设备的网络通信数据。
以下介绍本申请在一种异常识别方法,图2是本申请实施例提供的一种网络设备的异常识别方法的流程示意图,本说明书提供了如实施例或流程图所述的方法操作步骤,但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的***或服务器产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图2所示,所述方法可以包括:
S201:获取网络设备的至少一个数据类型的网络通信数据。
本说明书实施例中,网络通信数据可以包括但不限于下述中的至少一种:网络设备的日志数据、网络设备的执行命令数据、网络设备的网络诊断数据、网络设备的网络管理数据。
具体的,网络设备的日志数据可以包括网络设备在网络通信过程中产生的日志数据。具体的,网络设备的执行命令数据可以包括网络设备在通信过程中执行命令所产生的数据。具体的,网络设备的网络诊断数据可以包括但不限于执行“ping”(Ping是Windows、Unix和Linux***下的一个命令)命令后的数据。具体的,网络设备的网络管理数据可以包括但不限于流量,丢包率,光衰,内存,cpu等数据。
本说明书实施例中,通过获取网络设备的至少一个数据类型的网络通信数据,以便可以从多维度来对网络设备是否出现异常进行识别。
S203:当所述至少一个数据类型的网络通信数据中存在异常数据时,将所述异常数据转换成标准格式数据。
在实际应用中,基于网络设备的网络通信数据往往可以判断当前网络设备是否存在异常,具体的,不同类型的网络通信数据往往对应不同的异常识别算法,且当某一数据类型中的网络通信数据包括多个时,多个网络通信数据的异常识别算法也存在不同的情况。本说明书实施例中,可以为每种数据类型的网络通信数据设置相应的异常识别算法群。相应的,在得到网络通信数据之后,可以确定网络通信数据的数据类型相对应的异常识别算法群;然后,基于所述异常识别算法群对所述数据类型的数据进行异常识别。
在一个具体的实施例中,以网络设备的网络诊断数据为例,可以通过ping算法来实现对网络设备是否存在连接异常的识别,即利用“ping”命令可以检查网络是否连通,可以很好地帮助我们分析和判定网络故障)
在另一个具体的实施例中,以网络设备的网络管理数据为例,可以通过SNMP(simple network management protocol,简单网络管理协议)接收网络通信中的随机消息(及事件报告)以获知网络设备是否出现问题。具体的,SNMP是专门设计用于在IP网络管理网络设备(服务器、工作站、路由器、交换机及HUBS等)的一种标准协议,它是一种应用层协议。
在另一个具体的实施例中,以网络设备的执行命令数据为例,一般的可以通过分析执行命令数据中是否存在报错、多次重复执行等方式,来识别是否存在异常。
在另一个具体的实施例中,以网络设备的日志数据为例,一般的,可以通过对日志数据的分析,跟预先设定的异常日志进行匹配等方式,来识别是否存在异常。
在实际应用中,考虑到不同类型的网络设备或者相同类型的不同厂家的网络设备,往往会有各自的网络通信数据格式。本说明书实施例中,将网络通信数据中的异常数据转换成标准格式数据。具体的,如图3所示,将所述异常数据转换成标准格式数据可以包括:
S2031:确定所述异常数据的数据类型。
S2033:获取所述数据类型对应的标准格式模板,所述标准格式模板包括表征异常事件的关键字段对象。
S2035:基于所述标准格式模板将所述异常数据转换成所述标准格式数据。
本说明书实施例中,不同的数据类型可以对应不同的标准格式模板;具体的,标准格式模板可以为预先设定的具有固定格式,且包括表征异常事件的关键字段对象。
在一个具体的实施例中,以网络设备的网络管理数据为例,标准格式模板可以看成一种内容日志格式(content_syslog),具体的,可以如下所示:
content_syslog=”'%%QCLOUD_SNMP/{}:Direction={},AlarmThreshold={},AlarmNum={},InterfaceName={}.”'.format(attr_name,Direction,AlarmThreshold,num,port)
%%QCLOUD_SNMP表示指定设备的网络管理数据;{}中可以写入传入具体参数,假设%%QCLOUD_SNMP{}中传入的数据为流量。相应的,Direction(流量方向)、AlarmThreshold(流量报警阈值)、AlarmNum(流量报警数)、InterfaceName(端口号)分别是表征异常事件的关键字段对象。
本说明书实施例中,在确定某一异常数据对应的标准格式模板后,可以将异常数据中的具体参数写入到标准格式模板中,得到标准格式数据。结合上述的标准格式模板,例如,将异常数据中的流量方向传入Direction={}中。
本说明书实施例中,在确定出网络设备出现异常时,将异常数据转换成标准格式数据,以便对不同的异常数据可以进行统一的识别。
S205:基于异常事件模板库中异常事件模板对应的第一正则表达式对所述标准格式数据进行异常事件模板的匹配。
本说明书实施例中,第一正则表达式可以定义匹配异常事件模板的字符串。具体的,如图4所示,所述基于异常事件模板库中异常事件模板对应的第一正则表达式对所述标准格式数据进行异常事件模板的匹配可以包括:
S2051:确定异常事件模板库中异常事件模板对应的第一正则表达式;
S2053:判断所述标准格式数据中是否包括异常事件模板对应的第一正则表达式所定义的字符串;
S2055:当所述标准格式数据中包括异常事件模板对应的第一正则表达式所定义的字符串时,将所述标准格式数据中包括的第一正则表达式所定义的字符串对应的异常事件模板作为所述匹配的异常事件模板。
在一个具体的实施例中,假设端口异常对应的异常事件模板,相应的,该端口异常对应的异常事件模板对应的第一正则表达式定义匹配异常事件模板的字符串可以为%%IFNET/3/PUY_UPDOWN,即当标准格式数据中包括%%IFNET/3/PUY_UPDOWN时,端口异常对应的异常事件模板可以作为匹配的异常事件模板。
本说明书实施例中,异常事件模板库可以包括大量异常事件对应的异常事件模板,具体的,如图5所示,创建异常事件模板库可以包括采用下述方法:
S501:创建多个与异常事件对应的初始事件设置模板。
S503:在每一初始事件设置模板中设置异常模板参数。
S505:基于每一设置好异常模板参数的初始事件设置模板生成每一异常事件的异常事件模板。
S507:基于所述每一异常事件的异常事件模板构建所述异常事件模板库。
具体的,所述异常模板参数可以包括第一正则表达式、第二正则表达式、异常事件的标准表征数据的形式(即分析模式)和异常事件的基础数据。
具体的,异常事件的标准表征数据的形式可以包括可以表征异常事件具体情况的数据的形式。具体的,基础数据可以包括模板标识、模板名称、设备厂家信息、事件级别(一般的,级别越高,异常情况越严重)、健康分(一般的,分越低,异常情况越严重)、异常类型、异常子类别、标准格式样本数据、SLA(Service-Level Agreement,服务等级协议)等。
具体的,所述异常模板参数还可以包括异常事件的自愈接口。相应的,在生成每一异常事件模板,还可以在每一初始事件设置模板中设置异常事件的自愈接口。
具体的,异常事件的自愈接口可以用于调用异常事件的自愈策略。
在一个具体的实施例中,如图6所示,图6是本申请实施例提供的一种端口断开异常事件的异常事件模板。
另外,在实际应用中,若未匹配到异常事件模板,可以向工作人员发送新类别的提醒,以便更新异常事件模板库。
S207:利用匹配到的异常事件模板对应的第二正则表达式提取所述标准格式数据中的关键字段。
本说明书实施例中,第二正则表达式定义匹配异常事件的关键字符串。具体的,利用匹配到的异常事件模板对应的第二正则表达式提取所述标准格式数据中的关键字段包括:
1)确定匹配到的异常事件模板对应的第二正则表达式;
2)基于所述第二正则表达式所定义的关键字符串提取所述标准格式数据中的关键字段。
在一个具体的实施例中,如图7所示,图7是本申请实施例提供的另一种端口断开异常事件的异常事件模板。具体的,从图7中可见,第二正则表达式可以包括“inferface(.*)”和“change state to(\w+)\.”。基于“inferface(.*)”和“change state to(\w+)\.”可以提取标准格式数据中的关键字段:端口和状态变化信息(端口的状态包括断开down和连接up)。
在一个具体的实施例中,如图8所示,图8是本申请实施例提供的一种流量异常事件的异常事件模板。具体的,从图8可见,第二正则表达式可以包括“ifName=(.*)”、“,TrafficDirection=(\w+)”、“,TrafficDirection=(\d+)”。基于“ifName=(.*)”、“,TrafficDirection=(\w+)”、“,TrafficDirection=(\d+)”可以提取标准格式数据中的关键字段:端口、流量方向和流量大小。
S209:基于所述关键字段生成所述网络设备的异常事件的标准表征数据。
本说明书实施例中,可以结合相应的异常模板来确定异常事件的标准表征数据的形式,并基于关键字段生成相应形式的标准表征数据。本说明书实施例中,标准表征数据可以包括表征异常事件具体情况的指定格式的数据。
进一步的,在一些实施例中,所述方法还可以包括:
展示所述网络设备的异常事件的标准表征数据。
在一个具体的实施例中,结合上述图6所示的异常事件模板,如图9所示,图9是本申请实施例提供的一种端口断开异常事件的标准表征数据的示意图。具体的,从图9中可见,以端口down/up的频率统计图来作为端口断开异常事件的标准表征数据。具体的,其中横坐标为不同的时刻,纵坐标为down/up的频率。
在另一个具体的实施例中,结合上述图7所示的异常事件模板,如图10所示,图10是本申请实施例提供的另一种端口断开异常事件的标准表征数据的示意图。具体的,从图10中可见,以端口down/up的频率统计图来作为端口断开异常事件的标准表征数据。具体的,其中横坐标为不同的时刻,纵坐标为down/up的频率。
在一个具体的实施例中,如图11所示,图11是本申请实施例提供的一种出现断崖式流量异常的SNMP端口流量视图。结合上述图8所示的异常事件模板,以端口方向-流量(key-value)的形式作为流量异常事件的标准表征数据进行。具体的,如图12所示,图12是本申请实施例提供的一种流量异常事件的标准表征数据的示意图。具体的,图12中,横坐标为不同的时刻,纵坐标为流量的大小(其中以方向为入的流量为正,方向为出的流量为负)。
由以上本说明书实施例提供的技术方案可见,本说明书通过获取至少一个数据类型的网络通信数据,将其中的异常数据转化成标准格式数据,实现对不同的异常数据可以进行统一的识别;接着,结合定义匹配异常事件模板的字符串的第一正则表达式,匹配到异常数据对应的异常事件的异常事件模板;然后,结合定义匹配异常事件的关键字符串的第二正则表达式从标准格式数据中提取关键字段,最后,基于关键字段生成可以表征网络设备的异常事件的具体情况的标准表征数据。利用本说明书实施例提供的技术方案,可以快速的进行多维度的网络设备的异常分析,且可以大大提高异常分析的效率,减少人力消耗。
在另一些实施例中,结合网络链路中网络设备的异常事件的标准表征数据可以对该网络链路中异常进行根因源头的识别,具体的,可以包括:
1)获取目标网络链路中网络设备的异常事件的标准表征数据。
2)确定所述目标网络链路的传输方向。
3)基于所述目标网络链路的传输方向和网络设备的异常事件的标准表征数据确定所述目标网络链路的异常源头设备。
具体的,一般的,可以结合传输方向,将第一个出现异常事件的网络设备作为异常源头设备。另外,也可以将基于目标网络链路的传输方向和网络设备的异常事件的标准表征数据确定的目标网络链路的异常源头设备,反馈给工作人员,以便进一步确认。
在另一些实施例中,当确定出导致网络链路异常的异常源头设备后,可以结合该异常源头设备对应的异常事件模板中的自愈接口调用自愈策略,以便进行异常的自愈,相应的,所述方法还可以包括:
1)利用所述异常源头设备对应的异常事件模板中的自愈接口调用自愈策略;
2)基于所述自愈策略对所述异常源头设备进行自愈处理。
在一个具体的实施例中,如图13所示,假设目标网络链路包括负载均衡器1301、交换机1302、交换机1303和服务器1304。其中,交换机1302中有两个端口出现异常事件,且异常事件的标准表征数据如图9所示。交换机1303中有一个端口出现异常事件,且异常事件的标准表征数据如图10和12所示。结合图13中目标网络链路的传输方向,以及交换机1302、交换机1303的异常事件的标准表征数据,可以确定交换机1302出现芯片故障导致端口10GE/1/0/20频繁震荡,触发邻居设备交换机1303的端口TenG1/0/25DOWN,由此触发上层服务,例如负载均衡器,自动隔离了受影响的后台服务器进而导致其所在交换机端口流量异常告警。相应的,可以确定交换机1302为异常源头设备,然后基于相应的自愈接口,自动下发端口隔离命令。在故障端口隔离后,负载均衡器再次探测到后台服务器健康从而恢复流量分发,SNMP流量探测算法随后向平台报告其所在端口流量也恢复到正常。
本申请实施例还提供了一种网络设备的异常识别装置,如图14所示,所述装置包括:
网络通信数据获取模块1410,用于获取网络设备的至少一个数据类型的网络通信数据;
数据格式转换模块1420,用于当所述至少一个数据类型的网络通信数据中存在异常数据时,将所述异常数据转换成标准格式数据;
异常事件模板匹配模块1430,用于基于异常事件模板库中异常事件模板对应的第一正则表达式对所述标准格式数据进行异常事件模板的匹配,所述第一正则表达式定义匹配异常事件模板的字符串;
关键字段提取模块1440,用于利用匹配到的异常事件模板对应的第二正则表达式提取所述标准格式数据中的关键字段,所述第二正则表达式定义匹配异常事件的关键字符串;
异常表征模块1450,用于基于所述关键字段生成所述网络设备的异常事件的标准表征数据。
在一些实施例中,所述网络通信数据至少包括下述一种类型的数据:
网络设备的日志数据、网络设备的执行命令数据、网络设备的网络诊断数据、网络设备的网络管理数据。
在一些实施例中,所述数据格式转换模块包括:
数据类型确定单元,用于确定所述异常数据的数据类型;
标准格式模板获取单元,用于获取所述数据类型对应的标准格式模板,所述标准格式模板包括表征异常事件的关键字段对象;
标准格式数据转换单元,用于基于所述标准格式模板将所述异常数据转换成所述标准格式数据。
在一些实施例中,所述异常事件模板匹配模块包括:
第一正则表达式确定单元,用于确定异常事件模板库中异常事件模板对应的第一正则表达式;
字符串判断单元,用于判断所述标准格式数据中是否包括异常事件模板对应的第一正则表达式所定义的字符串;
异常事件模板确定单元,用于当所述标准格式数据中包括异常事件模板对应的第一正则表达式所定义的字符串时,将所述标准格式数据中包括的第一正则表达式所定义的字符串对应的异常事件模板作为所述匹配的异常事件模板。
在一些实施例中,所述关键字段提取模块包括:
第二正则表达式确定单元,用于确定匹配到的异常事件模板对应的第二正则表达式;
关键字段提取单元,用于基于所述第二正则表达式所定义的关键字符串提取所述标准格式数据中的关键字段。
在一些实施例中,所述装置还包括:
异常识别算法群确定模块,用于在获取网络设备的至少一个数据类型的数据之后,确定网络通信数据的数据类型相对应的异常识别算法群;
异常识别模块,用于基于所述异常识别算法群对所述数据类型的数据进行异常识别。
在一些实施例中,所述装置还包括:
初始事件设置模板创建模块,用于创建多个与异常事件对应的初始事件设置模板;
第一模本设置模块,用于在每一初始事件设置模板中设置异常模板参数,所述异常模板参数包括第一正则表达式、第二正则表达式、异常事件的标准表征数据的形式和异常事件的基础数据;
异常事件模板生成模块,用于基于每一设置好异常模板参数的初始事件设置模板生成每一异常事件的异常事件模板;
异常事件模板库构建模块,用于基于所述每一异常事件的异常事件模板构建所述异常事件模板库。
在一些实施例中,所述异常模板参数还包括:异常事件的自愈接口;
所述装置还包括:
第二模本设置模块,用于在每一初始事件设置模板中设置异常事件的自愈接口。
在一些实施例中,所述装置还包括:
标准表征数据获取模块,用于获取目标网络链路中网络设备的异常事件的标准表征数据;
传输方向确定模块,用于确定所述目标网络链路的传输方向;
异常源头设备确定模块,用于基于所述目标网络链路的传输方向和网络设备的异常事件的标准表征数据确定所述目标网络链路的异常源头设备。
在一些实施例中,所述装置还包括:
自愈策略调用模块,用于利用所述异常源头设备对应的异常事件模板中的自愈接口调用自愈策略;
自愈处理模块,用于基于所述自愈策略对所述异常源头设备进行自愈处理。
在一些实施例中,所述装置还包括:
展示模块,用于展示所述网络设备的异常事件的标准表征数据。所述的装置实施例中的装置与方法实施例基于同样的申请构思。
本申请实施例提供了一种网络设备的异常识别设备,该网络设备的异常识别设备包括处理器和存储器,该存储器中存储有至少一条指令、至少一段程序、代码集或指令集,该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现如上述方法实施例所提供的网络设备的异常识别方法。
存储器可用于存储软件程序以及模块,处理器通过运行存储在存储器的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、功能所需的应用程序等;存储数据区可存储根据所述设备的使用所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器还可以包括存储器控制器,以提供处理器对存储器的访问。
本申请实施例还提供一种异常识别的架构图。具体的,如图15所示,从图15的架构图中可见,通过各类识别异常的算法,将异常数据源(异常的网络通信数据)通过应用程序接口服务上报给模板引擎(异常识别服务器中的一个模块),然后,由模板引擎从数据库加载模板,并进行异常数据源的异常事件模板匹配(在匹配前可先将异常数据源转换成模板引擎可识别的标准格式数据);若匹配到(命中),从标准格式数据中提取关键字段,并生成表征异常事件具体情况的标准表征数据,并传输给前端,实现前端的异常事件查询服务,另外,基于标准表征数据,可在前端实现多维度的网络通信数据的分析。反之,若未匹配到,进行新类别提醒,以便前端更新模板,实现前端的模板管理。
本申请实施例所提供的方法实施例可以在移动终端、计算机终端、服务器或者类似的运算装置中执行。以运行在服务器上为例,图16是本申请实施例提供的一种网络设备的异常识别方法的服务器的硬件结构框图。如图16所示,该服务器1600可因配置或性能不同而产生比较大的差异,可以包括一个或一个以***处理器(Central ProcessingUnits,CPU)1610(处理器1610可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器1630,一个或一个以上存储应用程序1623或数据1622的存储介质1620(例如一个或一个以上海量存储设备)。其中,存储器1630和存储介质1620可以是短暂存储或持久存储。存储在存储介质1620的程序可以包括一个或一个以上模块,每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器1610可以设置为与存储介质1620通信,在服务器1600上执行存储介质1620中的一系列指令操作。服务器1600还可以包括一个或一个以上电源1660,一个或一个以上有线或无线网络接口1650,一个或一个以上输入输出接口1640,和/或,一个或一个以上操作***1621,例如WindowsServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
输入输出接口1640可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括服务器1600的通信供应商提供的无线网络。在一个实例中,输入输出接口1640包括一个网络适配器(Network Interface Controller,NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,输入输出接口1640可以为射频(RadioFrequency,RF)模块,其用于通过无线方式与互联网进行通讯。
本领域普通技术人员可以理解,图16所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,服务器1600还可包括比图16中所示更多或者更少的组件,或者具有与图16所示不同的配置。
本申请的实施例还提供了一种存储介质,所述存储介质可设置于服务器之中以保存用于实现方法实施例中一种网络设备的异常识别方法相关的至少一条指令、至少一段程序、代码集或指令集,该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现上述方法实施例提供的网络设备的异常识别方法。
可选地,在本实施例中,上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
由上述本申请提供的网络设备的异常识别方法、装置、设备、服务器或存储介质的实施例可见,本申请中通过获取至少一个数据类型的网络通信数据,将其中的异常数据转化成标准格式数据,实现对不同的异常数据可以进行统一的识别;接着,结合定义匹配异常事件模板的字符串的第一正则表达式,匹配到异常数据对应的异常事件的异常事件模板;然后,结合定义匹配异常事件的关键字符串的第二正则表达式从标准格式数据中提取关键字段,最后,基于关键字段生成可以表征网络设备的异常事件的具体情况的标准表征数据。利用本说明书实施例提供的技术方案,可以快速的进行多维度的网络设备的异常分析,且可以大大提高异常分析的效率,减少人力消耗。
需要说明的是:上述本申请实施例先后顺序仅仅为了描述,不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置和服务器实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指示相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请的较佳实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (13)
1.一种网络设备的异常识别方法,其特征在于,所述方法包括:
获取网络设备的至少一个数据类型的网络通信数据;
当所述至少一个数据类型的网络通信数据中存在异常数据时,将所述异常数据转换成标准格式数据;
基于异常事件模板库中异常事件模板对应的第一正则表达式对所述标准格式数据进行异常事件模板的匹配,所述第一正则表达式定义匹配异常事件模板的字符串,所述异常事件模板库包括采用下述方式得到:创建多个与异常事件对应的初始事件设置模板;在每一初始事件设置模板中设置异常模板参数,所述异常模板参数包括第一正则表达式、第二正则表达式、异常事件的标准表征数据的形式和异常事件的基础数据;基于每一设置好异常模板参数的初始事件设置模板生成每一异常事件的异常事件模板;基于所述每一异常事件的异常事件模板构建所述异常事件模板库;
利用匹配到的异常事件模板对应的第二正则表达式提取所述标准格式数据中的关键字段,所述第二正则表达式定义匹配异常事件的关键字符串;
基于所述关键字段生成所述网络设备的异常事件的标准表征数据。
2.根据权利要求1所述的方法,其特征在于,所述网络通信数据至少包括下述一种类型的数据:
网络设备的日志数据、网络设备的执行命令数据、网络设备的网络诊断数据、网络设备的网络管理数据。
3.根据权利要求1所述的方法,其特征在于,所述将所述异常数据转换成标准格式数据包括:
确定所述异常数据的数据类型;
获取所述数据类型对应的标准格式模板,所述标准格式模板包括表征异常事件的关键字段对象;
基于所述标准格式模板将所述异常数据转换成所述标准格式数据。
4.根据权利要求1所述的方法,其特征在于,所述基于异常事件模板库中异常事件模板对应的第一正则表达式对所述标准格式数据进行异常事件模板的匹配包括:
确定异常事件模板库中异常事件模板对应的第一正则表达式;
判断所述标准格式数据中是否包括异常事件模板对应的第一正则表达式所定义的字符串;
当所述标准格式数据中包括异常事件模板对应的第一正则表达式所定义的字符串时,将所述标准格式数据中包括的第一正则表达式所定义的字符串对应的异常事件模板作为所述匹配的异常事件模板。
5.根据权利要求1所述的方法,其特征在于,所述利用匹配到的异常事件模板对应的第二正则表达式提取所述标准格式数据中的关键字段包括:
确定匹配到的异常事件模板对应的第二正则表达式;
基于所述第二正则表达式所定义的关键字符串提取所述标准格式数据中的关键字段。
6.根据权利要求1所述的方法,其特征在于,在获取网络设备的至少一个数据类型的网络通信数据之后,所述方法还包括:
确定网络通信数据的数据类型相对应的异常识别算法群;
基于所述异常识别算法群对所述数据类型的数据进行异常识别。
7.根据权利要求1所述的方法,其特征在于,所述异常模板参数还包括:异常事件的自愈接口;
所述方法还包括:在每一初始事件设置模板中设置异常事件的自愈接口。
8.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取目标网络链路中网络设备的异常事件的标准表征数据;
确定所述目标网络链路的传输方向;
基于所述目标网络链路的传输方向和网络设备的异常事件的标准表征数据确定所述目标网络链路的异常源头设备。
9.根据权利要求8所述的方法,其特征在于,所述方法还包括:
利用所述异常源头设备对应的异常事件模板中的自愈接口调用自愈策略;
基于所述自愈策略对所述异常源头设备进行自愈处理。
10.根据权利要求1所述的方法,其特征在于,所述方法还包括:
展示所述网络设备的异常事件的标准表征数据。
11.一种网络设备的异常识别装置,其特征在于,所述装置包括:
网络通信数据获取模块,用于获取网络设备的至少一个数据类型的网络通信数据;
数据格式转换模块,用于当所述至少一个数据类型的网络通信数据中存在异常数据时,将所述异常数据转换成标准格式数据;
异常事件模板匹配模块,用于基于异常事件模板库中异常事件模板对应的第一正则表达式对所述标准格式数据进行异常事件模板的匹配,所述第一正则表达式定义匹配异常事件模板的字符串,所述异常事件模板库包括采用下述模块得到:初始事件设置模板创建模块,用于创建多个与异常事件对应的初始事件设置模板;第一模本设置模块,用于在每一初始事件设置模板中设置异常模板参数,所述异常模板参数包括第一正则表达式、第二正则表达式、异常事件的标准表征数据的形式和异常事件的基础数据;异常事件模板生成模块,用于基于每一设置好异常模板参数的初始事件设置模板生成每一异常事件的异常事件模板;异常事件模板库构建模块,用于基于所述每一异常事件的异常事件模板构建所述异常事件模板库;
关键字段提取模块,用于利用匹配到的异常事件模板对应的第二正则表达式提取所述标准格式数据中的关键字段,所述第二正则表达式定义匹配异常事件的关键字符串;
异常表征模块,用于基于所述关键字段生成所述网络设备的异常事件的标准表征数据。
12.一种网络设备的异常识别设备,其特征在于,所述设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至10任一所述的网络设备的异常识别方法。
13.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至10任一所述的网络设备的异常识别方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910730389.8A CN111181759B (zh) | 2019-08-08 | 2019-08-08 | 一种网络设备的异常识别方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910730389.8A CN111181759B (zh) | 2019-08-08 | 2019-08-08 | 一种网络设备的异常识别方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111181759A CN111181759A (zh) | 2020-05-19 |
CN111181759B true CN111181759B (zh) | 2021-09-14 |
Family
ID=70657064
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910730389.8A Active CN111181759B (zh) | 2019-08-08 | 2019-08-08 | 一种网络设备的异常识别方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111181759B (zh) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006099249A (ja) * | 2004-09-28 | 2006-04-13 | Fujitsu Ltd | 障害管理装置および障害管理方法 |
KR100604074B1 (ko) * | 2004-07-30 | 2006-07-24 | 주식회사 팬택 | 불량데이터 관리시스템 및 그 제어방법 |
CN104239158A (zh) * | 2013-06-07 | 2014-12-24 | Sap欧洲公司 | 用于自动分析和链接错误日志的分析引擎 |
CN106130786A (zh) * | 2016-07-26 | 2016-11-16 | 腾讯科技(深圳)有限公司 | 一种网络故障的检测方法及装置 |
US9552249B1 (en) * | 2014-10-20 | 2017-01-24 | Veritas Technologies | Systems and methods for troubleshooting errors within computing tasks using models of log files |
CN106897185A (zh) * | 2016-07-08 | 2017-06-27 | 阿里巴巴集团控股有限公司 | 一种输出异常的方法及装置 |
CN106940679A (zh) * | 2017-02-23 | 2017-07-11 | 中科创达软件股份有限公司 | 数据处理方法及装置 |
CN109213656A (zh) * | 2018-07-23 | 2019-01-15 | 武汉智领云科技有限公司 | 一种交互式大数据智能异常检测***和方法 |
CN109284269A (zh) * | 2018-10-17 | 2019-01-29 | Oppo广东移动通信有限公司 | 异常日志分析方法、装置、存储介质及服务器 |
CN109343993A (zh) * | 2018-09-28 | 2019-02-15 | 郑州云海信息技术有限公司 | 一种云平台的错误信息处理方法及装置 |
CN109560970A (zh) * | 2018-12-24 | 2019-04-02 | 大唐软件技术股份有限公司 | 一种网络故障愈合方法、装置以及*** |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9558298B2 (en) * | 2005-12-28 | 2017-01-31 | Telecom Italia S.P.A. | Method for the approximate matching of regular expressions, in particular for generating intervention workflows in a telecommunication network |
CN105959324A (zh) * | 2016-07-15 | 2016-09-21 | 江苏博智软件科技有限公司 | 基于正则匹配的网络攻击检测方法及装置 |
CN106453438B (zh) * | 2016-12-23 | 2019-12-10 | 北京奇虎科技有限公司 | 一种网络攻击的识别方法及装置 |
CN108683687B (zh) * | 2018-06-29 | 2021-08-10 | 北京奇虎科技有限公司 | 一种网络攻击识别方法及*** |
CN110012005B (zh) * | 2019-03-29 | 2022-05-06 | 新华三大数据技术有限公司 | 识别异常数据的方法、装置、电子设备及存储介质 |
-
2019
- 2019-08-08 CN CN201910730389.8A patent/CN111181759B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100604074B1 (ko) * | 2004-07-30 | 2006-07-24 | 주식회사 팬택 | 불량데이터 관리시스템 및 그 제어방법 |
JP2006099249A (ja) * | 2004-09-28 | 2006-04-13 | Fujitsu Ltd | 障害管理装置および障害管理方法 |
CN104239158A (zh) * | 2013-06-07 | 2014-12-24 | Sap欧洲公司 | 用于自动分析和链接错误日志的分析引擎 |
US9552249B1 (en) * | 2014-10-20 | 2017-01-24 | Veritas Technologies | Systems and methods for troubleshooting errors within computing tasks using models of log files |
CN106897185A (zh) * | 2016-07-08 | 2017-06-27 | 阿里巴巴集团控股有限公司 | 一种输出异常的方法及装置 |
CN106130786A (zh) * | 2016-07-26 | 2016-11-16 | 腾讯科技(深圳)有限公司 | 一种网络故障的检测方法及装置 |
CN106940679A (zh) * | 2017-02-23 | 2017-07-11 | 中科创达软件股份有限公司 | 数据处理方法及装置 |
CN109213656A (zh) * | 2018-07-23 | 2019-01-15 | 武汉智领云科技有限公司 | 一种交互式大数据智能异常检测***和方法 |
CN109343993A (zh) * | 2018-09-28 | 2019-02-15 | 郑州云海信息技术有限公司 | 一种云平台的错误信息处理方法及装置 |
CN109284269A (zh) * | 2018-10-17 | 2019-01-29 | Oppo广东移动通信有限公司 | 异常日志分析方法、装置、存储介质及服务器 |
CN109560970A (zh) * | 2018-12-24 | 2019-04-02 | 大唐软件技术股份有限公司 | 一种网络故障愈合方法、装置以及*** |
Also Published As
Publication number | Publication date |
---|---|
CN111181759A (zh) | 2020-05-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10084681B2 (en) | Method and system for monitoring server cluster | |
CN108600029A (zh) | 一种配置文件更新方法、装置、终端设备及存储介质 | |
WO2019223062A1 (zh) | ***异常的处理方法和*** | |
CN108521339B (zh) | 一种基于集群日志的反馈式节点故障处理方法及*** | |
CN111162950B (zh) | 故障事件处理方法、装置及*** | |
CN111866016A (zh) | 日志的分析方法及*** | |
CN111026602A (zh) | 一种云平台的健康巡检调度管理方法、装置及电子设备 | |
CN111767173A (zh) | 网络设备数据处理方法、装置、计算机设备和存储介质 | |
CN111147306B (zh) | 一种物联网设备的故障分析方法、装置以及物联网平台 | |
US9922539B1 (en) | System and method of telecommunication network infrastructure alarms queuing and multi-threading | |
CN113419935B (zh) | 移动端性能监控方法、装置、设备及存储介质 | |
CN111181759B (zh) | 一种网络设备的异常识别方法、装置、设备及存储介质 | |
CN115202958A (zh) | 一种电力异常监控方法、装置、电子设备及存储介质 | |
CN104516970B (zh) | 一种进行日志分析的方法和装置 | |
CN115102838B (zh) | 服务器宕机风险的应急处理方法和装置、电子设备 | |
CN114650211B (zh) | 故障修复方法、装置、电子设备和计算机可读存储介质 | |
CN113722135A (zh) | 一种错误日志采集***、方法、设备及介质 | |
CN114138720A (zh) | 日志处理方法、装置、电子装置和存储介质 | |
CN115705259A (zh) | 故障处理方法、相关设备及存储介质 | |
CN209746400U (zh) | It设备监控管理*** | |
CN112769923A (zh) | 一种大数据场景下监控网络设备性能指标的方法、装置及存储介质 | |
CN113259878A (zh) | 话单结算方法、***、电子设备及计算机可读存储介质 | |
CN115242688B (zh) | 一种网络故障检测方法、装置以及介质 | |
CN112988842B (zh) | 关联用户id的方法及装置 | |
CN115686583B (zh) | 海量物联网设备升级方法、装置、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |