CN115454787A - 告警分类方法、装置、电子设备及存储介质 - Google Patents
告警分类方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN115454787A CN115454787A CN202211303532.3A CN202211303532A CN115454787A CN 115454787 A CN115454787 A CN 115454787A CN 202211303532 A CN202211303532 A CN 202211303532A CN 115454787 A CN115454787 A CN 115454787A
- Authority
- CN
- China
- Prior art keywords
- alarm
- alarm information
- sample
- sub
- classification model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
- G06F11/324—Display of status information
- G06F11/327—Alarm or error message display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
- G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供一种告警分类方法、装置、电子设备及存储介质。方法包括:获取待分类告警信息的特征数据,并基于所述特征数据构建所述待分类告警信息对应的图网络;将所述图网络输入至告警分类模型,获得所述告警分类模型输出的所述待分类告警信息的告警分类结果。本申请的方案,能够得到准确的告警分类结果。
Description
技术领域
本申请涉及大数据技术,尤其涉及一种告警分类方法、装置、电子设备及存储介质。
背景技术
随着科技的进步和大数据时代的来临,***的日常运行过程中会产生大量的信息,信息包括日志信息、交易信息以及告警信息。告警信息的来源众多,每条告警信息与***中不同的模块关联。
在告警处理过程中,告警信息的严重程度不同,对告警的处理方式不同,获得准确的告警分类结果,可以有效提高告警的处理效率。目前,告警分类方法层出不穷,大多数的告警分类方法的着力点聚集在告警本身,告警分类结果无法准确地表征告警信息的严重程度。因此,如何对告警信息进行准确分类成为当前亟待解决的问题。
发明内容
本申请提供一种告警分类方法、装置、电子设备及存储介质,用以实现对告警信息准确分类。
第一方面,本申请提供一种告警分类方法,包括:获取待分类告警信息的特征数据,并基于所述特征数据构建所述待分类告警信息对应的图网络;将所述待分类告警信息对应的图网络输入至告警分类模型,获得所述告警分类模型输出的所述待分类告警信息的分类结果;其中,所述告警分类模型为预先训练得到的图卷积网络。
在一种可能的实施方式中,所述方法还包括:根据历史告警信息生成样本库;所述样本库包括历史告警信息和所述历史告警信息的参考分类结果,其中,告警信息的分类结果表征该告警信息的紧急程度;依照所述样本库中所述历史告警信息的参考分类结果,将所述样本库分为多个子样本库,所述多个子样本库与不同的紧急程度一一对应;对于每个子样本库分别构建所述子样本库对应的图网络;基于图卷积网络,建立初始的告警分类模型;分别基于所述多个子样本库对应的图网络,对所述初始的告警分类模型进行训练,直至获得所述告警分类模型。
在一种可能的实施方式中,所述对于每个子样本库分别建立所述子样本库对应的图网络,包括:将每个子样本库划分为多个样本集合,对于每个样本集合分别构建所述样本集合对应的图网络;所述分别基于所述多个子样本库对应的图网络,对所述初始的告警分类模型进行训练,直至获得所述告警分类模型,包括:针对每个子样本库,基于所述子样本库下的各样本集合对应的图网络,采用小批量迭代训练的方式,对所述初始的告警分类模型进行训练,直至获得所述告警分类模型。
在一种可能的实施方式中,所述针对每个子样本库,基于所述子样本库下的各样本集合对应的图网络,对所述初始的告警分类模型进行训练,包括:针对每个子样本库,将该子样本库下的每个样本集合对应的图网络输入当前的告警分类模型,得到模型输出的第一告警分类结果;计算所述样本集合所属的子样本库对应的参考分类结果与所述第一告警分类结果的相似度,并根据当前的相似度调整告警分类模型,直至当前的相似度满足预设的要求,则判定训练完成。
在一种可能的实施方式中,所述根据历史告警信息生成样本库,包括:确定所述历史告警信息在各特征类型下的特征值;根据各类型特征对应的权重,对该历史告警信息在各特征类型下的特征值进行加权求和计算,得到该历史告警信息的告警程度值;根据所述历史告警信息的告警程度值和分类结果对应的告警程度取值范围,将所述历史告警信息的告警程度值所在的取值范围对应的分类结果,作为该历史告警信息的参考分类结果。
在一种可能的实施方式中,所述根据历史告警信息生成样本库,之前包括:对所述历史告警信息进行预处理,所述预处理包括以下至少一种:数据去重、数据去噪以及数据补全。
第二方面,本申请提供一种告警分类装置,包括:获取模块,用于获取待分类告警信息的特征数据;构建模块,用于基于所述特征数据构建所述待分类告警信息对应的图网络;处理模块,用于将所述待分类告警信息对应的图网络输入至告警分类模型,获得所述告警分类模型输出的所述待分类告警信息的分类结果;其中,所述告警分类模型为预先训练得到的图卷积网络。
在一种可能的实施方式中,所述装置还包括:样本生成模块,用于根据历史告警信息生成样本库;所述样本库包括历史告警信息和所述历史告警信息的参考分类结果,其中,告警信息的告警分类结果表征该告警信息的紧急程度;划分模块,用于依照所述样本库中所述历史告警信息的参考分类结果,将所述样本库分为多个子样本库,所述多个子样本库与不同的紧急程度一一对应;所述构建模块,还用于对于每个子样本库分别建立所述子样本库对应的图网络;建立模块,用于基于图卷积网络,建立初始的告警分类模型;训练模块,用于分别基于所述多个子样本库对应的图网络,对所述初始的告警分类模型进行训练,直至获得所述告警分类模型。
在一种可能的实施方式中,所述构建模块,还用于:将每个子样本库划分为多个样本集合,对于每个样本集合分别构建所述样本集合对应的图网络;所述训练模块,具体用于:针对每个子样本库,基于所述子样本库下的各样本集合对应的图网络,采用小批量迭代训练的方式,对所述初始的告警分类模型进行训练,直至获得所述告警分类模型。
在一种可能的实施方式中,所述训练模块,包括:处理单元,用于针对每个子样本库,将该子样本库下的每个样本集合对应的图网络输入当前的告警分类模型,得到模型输出的第一告警分类结果;第一计算单元,用于计算所述样本集合所属的子样本库对应的参考分类结果与所述第一告警分类结果的相似度;模型调整单元,用于根据当前的相似度调整告警分类模型,直至当前的相似度满足预设的要求,则判定训练完成。
在一种可能的实施方式中,所述样本生成模块,包括:确定单元,用于确定所述历史告警信息在各特征类型下的特征值;第二计算单元,用于根据各类型特征对应的权重,对该历史告警信息在各特征类型下的特征值进行加权求和计算,得到该历史告警信息的告警程度值;匹配单元,用于根据所述历史告警信息的告警程度值和分类结果对应的告警程度取值范围,将所述历史告警信息的告警程度值所在的取值范围对应的分类结果,作为该历史告警信息的参考分类结果。
在一种可能的实施方式中,所述装置,还包括:预处理模块,用于对所述历史告警信息进行预处理,所述预处理包括以下至少一种:数据去重、数据去噪以及数据补全。
第三方面,本申请提供一种电子设备,包括:处理器,以及与所述处理器通信连接的存储器;所述存储器存储计算机执行指令;所述处理器执行所述存储器存储的计算机执行指令,以实现如前所述的方法。
第四方面,本申请提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如前所述的方法。
本申请提供的告警分类方法、装置、电子设备及存储介质中,获取待分类告警信息的特征数据,并基于特征数据构建待分类告警信息对应的图网络;将待分类告警信息对应的图网络输入至告警分类模型,获得告警分类模型输出的待分类告警信息的分类结果。本申请的方案,基于特征数据构建图网络并基于图卷积网络得到分类结果,其中图网络能够真实深入地反映告警信息之间的关系属性,故能够得到更准确的分类结果,能够很好地适用于告警信息关系属性复杂的场景,有效提高告警的处理效率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
图1为本申请实施例一提供的告警分类方法的流程示意图;
图2为本申请实施例二提供的告警分类方法的流程示意图;
图3为本申请实施例二提供的图卷积神经网络架构示意图;
图4为本申请实施例三提供的告警分类方法的流程示意图;
图5为本申请实施例四提供的告警分类装置的结构示意图;
图6为本申请实施例五提供的告警分类装置的结构示意图;
图7为本申请实施例六中提供的一种电子设备的结构示意图。
通过上述附图,已示出本申请明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围,而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
需要说明的是,本申请中对于术语的简要说明,仅是为了方便理解接下来描述的实施方式,而不是意图限定本申请的实施方式。除非另有说明,这些术语应当按照其普通和通常的含义理解。
本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似或同类的对象或实体,而并不必然意味着限定特定的顺序或先后次序,除非另外注明(Unless otherwise indicated)。应该理解这样使用的用语在适当情况下可以互换,例如能够根据本申请实施例图示或描述中给出那些以外的顺序实施。
此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖但不排他的包含,例如,包含了一系列组件的产品或设备不必限于清楚地列出的那些组件,而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。本申请中使用的术语“模块”,是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合,能够执行与该元件相关的功能。
实际应用中,***的日常运行过程中会产生大量的信息,信息包括日志信息、交易信息以及告警信息。告警信息的来源众多,每条告警信息与***中不同的模块关联。在告警处理过程中,告警信息的严重程度不同,对告警的处理方式不同,获得准确的告警分类结果,可以有效提高告警的处理效率。
目前,告警信息的分类多数着力点聚集在告警本身,没有挖掘告警信息与特征信息之间的关联,告警分类结果无法准确地表征告警信息的严重程度。以金融领域为例,告警信息之间关联属性复杂,传统的告警分类方式忽略了告警信息之间的关系属性,不能得到准确的告警分类结果。
本申请提供的告警分类方法,基于特征数据构建图网络并基于图卷积网络得到分类结果,其中图网络能够真实深入地反映告警信息之间的关系属性,故能够得到更准确的分类结果,能够很好地适用于告警信息关系属性复杂的场景,有效提高告警的处理效率。
下面以具体的实施例对本申请的技术方案以及本申请的技术方案进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。在本申请的描述中,除非另有明确的规定和限定,各术语应在本领域内做广义理解。下面将结合附图,对本申请的实施例进行描述。
实施例一
图1为本申请实施例一提供的告警分类方法的流程示意图,本实施例的实施主体可以为告警分类装置,如图1所示,该方法包括:
S101、获取待分类告警信息的特征数据,并基于特征数据构建待分类告警信息对应的图网络。
其中,待分类告警信息的特征数据为表征待分类告警信息产生原因和产生来源的特征对应的特征值。待分类告警信息的特征至少包括:***名称、模块名称、实例名称、端口号、异常指标、当前阈值、设定阈值、首次异常时间、末次异常时间、异常判断频率。
本实施例中,图网络(Graph Network,简称GN)是指在拓扑空间(TopologicalSpace)内按图(Graph)结构组织以进行关系推理(Relational Reasoning)的函数集合。图网络由相互连接的图网络块(Graph Network Block)组成,在神经网络实现中图网络块也被称为节点(Node)。节点间的连接称为边(Edge),表示了节点间的依赖关系。图网络的每个节点的内部状态和***状态称为属性(Attribute)。
具体的,基于特征数据构建待分类告警信息对应的图网络。示例性的,将***作为图网络的节点,每条告警信息作为一条边,方向代表告警影响因果关系,结合待分类告警信息的特征,构建待分类告警信息对应的图网络。
S102、将待分类告警信息对应的图网络输入至告警分类模型,获得告警分类模型输出的待分类告警信息的分类结果。
其中,告警分类模型为预先训练得到的图卷积神经网络。图卷积网络(GraphConvolutional Network,简称GCN)是指可以直接作用于图并且利用其结构信息的卷积神经网络。
本实施例中,待分类告警信息的分类结果可以分为:严重告警、一般告警、正常告警。示例性的,严重告警是指会造成业务中断,需要立即进行故障检修的告警;一般告警是指影响业务,需要立即进行故障检修的告警;正常告警是指不影响现有业务,但有影响业务的可能,需要进行检修以避免影响业务。
实际应用中,待分类告警信息对应的图网络表征待分类告警信息的特征数据。告警分类模型可以根据输入的待分类告警信息对应的图网络,获得待分类告警信息的分类结果。可以理解,对于相同分类结果对应的待分类告警信息的特征数据具有相似性,根据待分类的告警结果,能够及时判断告警的产生原因和产生来源,便于运维人员及时有效的处理告警。
本实施例提供的告警分类方法中,获取待分类告警信息的特征数据,并基于特征数据构建待分类告警信息对应的图网络;将待分类告警信息对应的图网络输入至告警分类模型,获得告警分类模型输出的待分类告警信息的分类结果。本实施例中,基于特征数据构建图网络并基于图卷积网络得到分类结果,其中图网络能够真实深入地反映告警信息之间的关系属性,故能够得到更准确的分类结果,能够很好地适用于告警信息关系属性复杂的场景,有效提高告警的处理效率。
实施例二
图2为本申请实施例二提供的告警分类方法的流程示意图,如图2所示,该方法还包括:
S201、根据历史告警信息生成样本库。
本实施例中,样本库包括历史告警信息和历史告警信息的参考分类结果,其中,告警信息的分类结果表征该告警信息的紧急程度。
实际应用中,历史告警信息的参考分类结果用于判断历史告警信息的分类结果是否准确,当历史告警信息的分类结果与历史告警信息的参考分类结果一致时,说明历史告警的分类准确;当历史告警信息的分类结果与历史告警信息的参考分类结果不一致时,说明历史告警的分类不准确。举例来说,历史告警信息1的参考分类结果为一般告警,历史告警信息1的分类结果为一般告警,历史告警信息1的分类结果与历史告警信息的参考分类结果一致,历史告警信息1的分类结果准确;历史告警信息2的参考分类结果为一般告警,历史告警信息2的分类结果为严重告警,历史告警信息2的分类结果与历史告警信息的参考分类结果不一致,历史告警信息1的分类结果不准确。
关于样本库的生成,在一种可能的实施方式中,S201包括:
确定历史告警信息在各特征类型下的特征值;
根据各类型特征对应的权重,对该历史告警信息在各特征类型下的特征值进行加权求和计算,得到该历史告警信息的告警程度值;
根据历史告警信息的告警程度值和分类结果对应的告警程度取值范围,将历史告警信息的告警程度值所在的取值范围对应的分类结果,作为该历史告警信息的参考分类结果。
示例的,根据各类型特征对告警信息的影响,设置各类型对应的权重。举例来说,对***重要程度、告警影响范围、业务量大小、阈值异常大小以及告警出现频率,权重赋值为:0.35,0.20,0.20,0.15,0.10。具体的,根据各类型特征对应的权重,对该历史告警信息在各特征类型下的特征值进行加权求和计算,得到该历史告警信息的告警程度值。举例来说,***重要程度、告警原因、告警影响范围、业务量大小、阈值异常大小以及告警出现频率,对应的特征值分别为:6,7,10,4,40%,权重赋值为:0.35,0.20,0.20,0.15,0.10。则该历史告警信息的告警程度值为6.14。
实际应用中,不同的分类结果对应的不同的告警程度取值范围。举例来说,正常告警对应的告警程度取值范围为[0,3],一般告警对应的告警程度取值范围为(3,6],严重告警对应的告警程度取值范围为(6,10]。具体的,根据历史告警信息的告警程度值和分类结果对应的告警程度取值范围,将历史告警信息的告警程度值所在的取值范围对应的分类结果,作为该历史告警信息的参考分类结果。举例来说,历史告警信息1的告警程度值为6.14,历史告警信息1的告警程度值所在的取值范围中对应的分类结果为严重告警,则历史告警信息的参考分类结果为严重告警。
本实施方式中,通过计算历史告警信息在各特征类型下的特征值的进行加权求和,得到该历史告警信息的告警程度值;根据历史告警信息的告警程度值和分类结果对应的告警程度取值范围,将历史告警信息的告警程度值所在的取值范围对应的分类结果,作为该历史告警信息的参考分类结果。本实施方式,根据告警程度值的取值范围确定参考分类结果,为告警分类模型训练过程中输出的告警分类结果提供参考。
实际应用中,为了保证得到更加精准的告警分类模型,可以对用于训练模型的历史告警信息进行预处理。示例的,在一种可能的实施方式中,S201之前还包括:
对历史告警信息进行预处理,预处理包括以下至少一种:数据去重、数据去噪以及数据补全。
其中,数据去重是指去除同一***的相同设备下,由于同一种原因在同一时间产生的重复但无意义的告警信息;数据去噪是指去除缺少特征值的告警信息;数据补全是指对业务交易量大的重要***,产生频率较高,对业务影响范围较大的告警信息,进行特征值的补全工作,确保对重要告警进行分析时,不会出现信息缺失,保障后期告警信息优化。
本实施方式中,在获得历史告警信息后,对告警信息进行预处理,得到了规范、统一、可用性强的历史告警信息,采用预处理后的历史告警信息对初始的告警分类模型进行训练,可以得到准确性更高的告警分类模型,从而得到准确的告警分类结果。
S202、依照样本库中历史告警信息的参考分类结果,将样本库分为多个子样本库;
S203、对于每个子样本库分别构建子样本库对应的图网络;
S204、基于图卷积神经网络,建立初始的告警分类模型;
S205、分别基于多个子样本库对应的图网络,对初始的告警分类模型进行训练,直至获得告警分类模型。
其中,多个子样本库与不同的紧急程度一一对应。示例性的,将样本库按照历史告警信息的参考分类结果分为正常子样本库、一般子样本库以及严重子样本库。
可以理解,子样本库中包括多个历史告警信息,基于子样本库中的所有历史告警信息的特征数据构建待分类告警信息对应的图网络。
具体的,S203中对于每个子样本库分别构建子样本库对应的图网络。举例来说,样本库分为正常子样本库、一般子样本库以及严重子样本库,分别构建正常子样本库对应的图网络、一般子样本库对应的图网络以及严重子样本库对应的图网络。
实际应用中,每个子样本库对应的参考分类结果一致,每个子样本库中的告警分类信息之间的具有关联关系。因此,分别基于多个子样本库对应的图网络,对初始的告警分类模型进行训练,可以有效提高告警分类模型的准确性。
具体的,S205中分别基于多个子样本库对应的图网络,对初始的告警分类模型进行训练,直至获得告警分类模型。举例来说,基于正常子样本库对应图网络对初始的告警分类模型进行训练,直至当前的告警分类模型输出的告警分类结果的准确性满足要求,获得第一告警分类模型;基于一般子样本库对应的图网络对第一告警分类模型进行训练,直至当前的告警分类模型输出的告警分类结果的准确性满足要求,获得第二告警分类模型。基于严重子样本库对应的图网络对第二告警分类模型进行训练,直至当前的告警分类模型输出的告警分类结果的准确性满足要求,获得告警分类模型。
可选的,循环基于每个子样本库对应的图网络,对初始的告警分类模型进行训练,直至获得告警分类模型。
为了更好的理解图卷积神经网络,结合图3对本实施例中的图卷积神经网络进行说明。图3为本申请实施例二提供的图卷积神经网络架构示意图。
如图3所示,本实施例中的图卷积神经网络包括输入层300、隐藏层310以及输出层320。其中,输入层是由图网络中不同节点间的区别特征组成的特征矩阵。隐藏层310包括图卷积(Graph Convolutional)311、线性整流函数(Rectified Linear Unit,简称ReLu)312以及随机失活(Dropout)层313。隐藏层310使用线性整流函数312将告警信息与样本库信息进行线性划分。由于告警信息数据量较大,为了防止过拟合,在隐藏层310后引入随机失活层313。输出层320负责将模型学习的抽象特征转化为预测值输出。
此外,在一种可能的实施方式中,S203具体包括:将每个子样本库划分为多个样本集合,对于每个样本集合分别构建样本集合对应的图网络;S205具体包括:针对每个子样本库,基于子样本库下的各样本集合对应的图网络,采用小批量迭代训练的方式,对初始的告警分类模型进行训练,直至获得告警分类模型。
其中,小批量迭代训练是指将子样本库进一步划分为单体数据量更小的多个样本集合,基于多个样本集合进行多次迭代训练。实际应用中,子样本库中的历史告警信息数量较大且特征属性较多,生成的图网络关系属性更复杂,对关系属性复杂的图网络的训练复杂度更高,需要的训练时间较长。故为了节省训练时间,采用小批量迭代训练的方式。举例来说,针对每个子样本库,将其进一步划分为N个样本集合,根据每个样本集合生成一个对应的图网络,即得到N个图网络。分别基于N个图网络对告警分类模型进行训练。需要说明的是,每次迭代训练的模型为当前的告警分类模型,即经过上一次迭代训练得到的模型。
实际应用中,采用小批量迭代训练的方式,训练的次数增加,可以有效提高告警分类模型的准确性。
本实施方式中,子样本库中的历史告警信息数量较大且特征属性较多时,通过小批量迭代的方式节省了训练时间,提高了告警分类模型的准确性。
在一种可能的实施方式中,将每个子样本库划分为多个样本集合,对于每个样本集合分别构建样本集合对应的图网络,包括:
将每个子样本库划分为训练集和测试集,将训练集和测试集分别划分为多个样本集合,对于每个样本集合分别构建样本集合对应的图网络;
针对每个子样本库,基于子样本库下的各样本集合对应的图网络,采用小批量迭代训练的方式,对初始的告警分类模型进行训练,直至获得告警分类模型,包括:
针对每个子样本库,基于子样本库训练集下的各样本集合对应的图网络,采用小批量迭代训练的方式,对初始的告警分类模型进行训练;基于子样本库测试集下的各样本集各对应的图网络,采用小批量迭代测试的方式,对当前的告警分类模型进行测试,直至获得告警分类模型。
关于样本集合训练过程,在一种可能的实施方式中,针对每个子样本库,基于子样本库下的各样本集合对应的图网络,对初始的告警分类模型进行训练,包括:
针对每个子样本库,将该子样本库下的每个样本集合对应的图网络输入当前的告警分类模型,得到模型输出的第一告警分类结果;
计算样本集合所属的子样本库对应的参考分类结果与第一告警分类结果的相似度,并根据当前的相似度调整告警分类模型,直至当前的相似度满足预设的要求,则判定训练完成。
其中,相似度表征样本集合所属的子样本库对应的参考分类结果与第一告警分类结果的关联程度,相似度越大,关联程度越密切。示例性的,相似度可以是相似度函数的函数值,相似度的取值范围为[0,1],对象a和b的相似度可以表示为sim(a,b),当sim(a,b)=0时表示a和b没有任何关联,当sim(a,b)=1时表示a和b等价。
具体的,计算样本集合所属的子样本库对应的参考分类结果与第一告警分类结果的相似度,并根据当前的相似度调整告警分类模型,直至当前的相似度满足预设的要求,则判定训练完成。举例来说,预设的要求为相似度大于0.75,当前的相似度为0.8,当前的相似度满足预设的要求,判定训练完成。
本实施方式中,通过计算样本集合所属的子样本库对应的参考分类结果与第一告警分类结果的相似度,根据相似度是否满足预设的要求,动态判断训练是否完成。
本实施例提供的告警分类方法中,根据历史告警信息生成样本库;依照样本库中历史告警信息的参考分类结果,将样本库分为多个子样本库;对于每个子样本库分别构建子样本库对应的图网络;基于图卷积神经网络,建立初始的告警分类模型;分别基于多个子样本库对应的图网络,对初始的告警分类模型进行训练,直至获得告警分类模型。本实施例中,基于图卷积神经网络,建立初始的告警分类模型,并基于多个子样本库对应图网络,对初始的告警分类模型进行训练,获得告警分类模型,应用训练得到的告警分类模型,能够得到准确的告警分类结果。
实施例三
图4为本申请实施例三提供的告警分类方法的流程示意图,如图4所示,该方法包括:
S401、根据历史告警信息生成样本库;
S402、依照样本库中历史告警信息的参考分类结果,将样本库分为多个子样本库。
S403、对于每个子样本库分别构建子样本库对应的图网络;
S404、基于图卷积神经网络,建立初始的告警分类模型;
S405、分别基于多个子样本库对应的图网络,对初始的告警分类模型进行训练,直至获得告警分类模型;
S406、获取待分类告警信息的特征数据,并基于特征数据构建待分类告警信息对应的图网络;
S407、将待分类告警信息对应的图网络输入至告警分类模型,获得告警分类模型输出的待分类告警信息的分类结果。
本实施例提供的告警分类方法中,根据历史告警信息生成样本库;依照样本库中历史告警信息的参考分类结果,将样本库分为多个子样本库;对于每个子样本库分别构建子样本库对应的图网络;基于图卷积神经网络,建立初始的告警分类模型;分别基于多个子样本库对应的图网络,对初始的告警分类模型进行训练,直至获得告警分类模型。获取待分类告警信息的特征数据,并基于特征数据构建待分类告警信息对应的图网络;将待分类告警信息对应的图网络输入至告警分类模型,获得告警分类模型输出的待分类告警信息的分类结果。本实施例中,基于图卷积神经网络,建立初始的告警分类模型,并基于多个子样本库对应图网络,对初始的告警分类模型进行训练,获得告警分类模型,应用训练得到的告警分类模型,能够得到准确的告警分类结果。
实施例四
图5为本申请实施例四提供的告警分类装置的结构示意图,如图5所示,该装置包括:
获取模块51,用于获取待分类告警信息的特征数据;
构建模块52,用于基于特征数据构建待分类告警信息对应的图网络。
其中,待分类告警信息的特征数据为表征待分类告警信息产生原因和产生来源的特征对应的特征值。待分类告警信息的特征至少包括:***名称、模块名称、实例名称、端口号、异常指标、当前阈值、设定阈值、首次异常时间、末次异常时间、异常判断频率。
本实施例中,图网络(Graph Network,简称GN)是指在拓扑空间(TopologicalSpace)内按图(Graph)结构组织以进行关系推理(Relational Reasoning)的函数集合。图网络由相互连接的图网络块(Graph Network Block)组成,在神经网络实现中图网络块也被称为节点(Node)。节点间的连接称为边(Edge),表示了节点间的依赖关系。图网络的每个节点的内部状态和***状态称为属性(Attribute)。
具体的,基于特征数据构建待分类告警信息对应的图网络。示例性的,将***作为图网络的节点,每条告警信息作为一条边,方向代表告警影响因果关系,结合待分类告警信息的特征,构建待分类告警信息对应的图网络。
处理模块53,用于将待分类告警信息对应的图网络输入至告警分类模型,获得告警分类模型输出的待分类告警信息的分类结果。
其中,告警分类模型为预先训练得到的图卷积神经网络。图卷积网络是指可以直接作用于图并且利用其结构信息的卷积神经网络。
本实施例中,待分类告警信息的分类结果可以分为:严重告警、一般告警、正常告警。示例性的,严重告警是指会造成业务中断,需要立即进行故障检修的告警;一般告警是指影响业务,需要立即进行故障检修的告警;正常告警是指不影响现有业务,但有影响业务的可能,需要进行检修以避免影响业务。
实际应用中,待分类告警信息对应的图网络表征待分类告警信息的特征数据。告警分类模型可以根据输入的待分类告警信息对应的图网络,获得待分类告警信息的分类结果。可以理解,对于相同分类结果对应的待分类告警信息的特征数据具有相似性,根据待分类的告警结果,能够及时判断告警的产生原因和产生来源,便于运维人员及时有效的处理告警。
本实施例提供的告警分类装置中,获取模块获取待分类告警信息的特征数据,构建模块基于特征数据构建待分类告警信息对应的图网络;处理模块将待分类告警信息对应的图网络输入至告警分类模型,获得告警分类模型输出的待分类告警信息的分类结果。本实施例中,基于特征数据构建图网络并基于图卷积网络得到分类结果,其中图网络能够真实深入地反映告警信息之间的关系属性,故能够得到更准确的分类结果,能够很好地适用于告警信息关系属性复杂的场景,有效提高告警的处理效率。
实施例五
图6为本申请实施例五提供的告警分类装置的结构示意图,如图6所示,该装置还包括:
样本生成模块61,用于根据历史告警信息生成样本库。
本实施例中,样本库包括历史告警信息和历史告警信息的参考分类结果,其中,告警信息的分类结果表征该告警信息的紧急程度。
实际应用中,历史告警信息的参考分类结果用于判断历史告警信息的分类结果是否准确,当历史告警信息的分类结果与历史告警信息的参考分类结果一致时,说明历史告警的分类准确;当历史告警信息的分类结果与历史告警信息的参考分类结果不一致时,说明历史告警的分类不准确。
在一种可能的实施方式中,样本生成模块61,包括:
确定单元,用于确定历史告警信息在各特征类型下的特征值;
第二计算单元,用于根据各类型特征对应的权重,对该历史告警信息在各特征类型下的特征值进行加权求和计算,得到该历史告警信息的告警程度值;
匹配单元,用于根据历史告警信息的告警程度值和分类结果对应的告警程度取值范围,将历史告警信息的告警程度值所在的取值范围对应的分类结果,作为该历史告警信息的参考分类结果。
示例的,根据各类型特征对告警信息的影响,设置各类型对应的权重。实际应用中,不同的分类结果对应的不同的告警程度取值范围。
本实施方式中,通过计算历史告警信息在各特征类型下的特征值的进行加权求和,得到该历史告警信息的告警程度值;根据历史告警信息的告警程度值和分类结果对应的告警程度取值范围,将历史告警信息的告警程度值所在的取值范围对应的分类结果,作为该历史告警信息的参考分类结果。本实施方式,根据告警程度值的取值范围确定参考分类结果,为告警分类模型训练过程中输出的告警分类结果提供参考。
实际应用中,为了保证得到更加精准的告警分类模型,可以对历史告警信息进行预处理。示例的,在一种可能的实施方式中,该装置还包括:
预处理模块,用于对历史告警信息进行预处理,预处理包括以下至少一种:数据去重、数据去噪以及数据补全。
其中,数据去重是指去除同一***的相同设备下,由于同一种原因在同一时间产生的重复但无意义的告警信息;数据去噪是指去除缺少特征值的告警信息;数据补全是指对业务交易量大的重要***,产生频率较高,对业务影响范围较大的告警信息,进行特征值的补全工作,确保对重要告警进行分析时,不会出现信息缺失,保障后期告警信息优化。
本实施方式中,在获得历史告警信息后,对告警信息进行预处理,得到了规范、统一、可用性强的历史告警信息,采用预处理后的历史告警信息对初始的告警分类模型进行训练,可以得到准确性更高的告警分类模型,从而得到准确的告警分类结果。
划分模块62,用于依照样本库中历史告警信息的参考分类结果,将样本库分为多个子样本库。
其中,多个子样本库与不同的紧急程度一一对应。示例性的,将样本库按照历史告警信息的参考分类结果分为正常子样本库、一般子样本库以及严重子样本库。
构建模块52,还用于对于每个子样本库分别建立子样本库对应的图网络。
可以理解,子样本库中包括多个历史告警信息,基于子样本库中的所有历史告警信息的特征数据构建待分类告警信息对应的图网络。
建立模块63,用于基于图卷积神经网络,建立初始的告警分类模型;
训练模块64,用于分别基于多个子样本库对应的图网络,对初始的告警分类模型进行训练,直至获得告警分类模型。
实际应用中,每个子样本库对应的参考分类结果一致,每个子样本库中的告警分类信息之间的具有关联关系。因此,分别基于多个子样本库对应的图网络,对初始的告警分类模型进行训练,可以有效提高告警分类模型的准确性。
可选的,循环基于每个子样本库对应的图网络,对初始的告警分类模型进行训练,直至获得告警分类模型。
在一种可能的实施方式中,构建模块52,还用于:将每个子样本库划分为多个样本集合,对于每个样本集合分别构建样本集合对应的图网络;训练模块64,具体用于:针对每个子样本库,基于子样本库下的各样本集合对应的图网络,采用小批量迭代训练的方式,对初始的告警分类模型进行训练,直至获得告警分类模型。
其中,小批量迭代训练是指将子样本库进一步划分为单体数据量更小的多个样本集合,基于多个样本集合进行多次迭代训练。实际应用中,子样本库中的历史告警信息数量较大且特征属性较多,生成的图网络关系属性更复杂,对关系属性复杂的图网络的训练复杂度更高,需要的训练时间较长。故为了节省训练时间,采用小批量迭代训练的方式。举例来说,针对每个子样本库,将其进一步划分为N个样本集合,根据每个样本集合生成一个对应的图网络,即得到N个图网络。分别基于N个图网络对告警分类模型进行训练。需要说明的是,每次迭代训练的模型为当前的告警分类模型,即经过上一次迭代训练得到的模型。
实际应用中,采用小批量迭代训练的方式,训练的次数增加,可以有效提高告警分类模型的准确性。
本实施方式中,子样本库中的历史告警信息数量较大且特征属性较多时,通过小批量迭代的方式节省了训练时间,提高了告警分类模型的准确性。
在一种可能的实施方式中,构建模块52,还用于:
将每个子样本库划分为训练集和测试集,将训练集和测试集分别划分为多个样本集合,对于每个样本集合分别构建样本集合对应的图网络;
训练模块64,具体用于:
针对每个子样本库,基于子样本库训练集下的各样本集合对应的图网络,采用小批量迭代训练的方式,对初始的告警分类模型进行训练;基于子样本库测试集下的各样本集各对应的图网络,采用小批量迭代测试的方式,对当前的告警分类模型进行测试,直至获得告警分类模型。
在一种可能的实施方式中,训练模块64,包括:
处理单元,用于针对每个子样本库,将该子样本库下的每个样本集合对应的图网络输入当前的告警分类模型,得到模型输出的第一告警分类结果;
第一计算单元,用于计算样本集合所属的子样本库对应的参考分类结果与第一告警分类结果的相似度;
模型调整单元,用于根据当前的相似度调整告警分类模型,直至当前的相似度满足预设的要求,则判定训练完成。
其中,相似度表征样本集合所属的子样本库对应的参考分类结果与第一告警分类结果的关联程度,相似度越大,关联程度越密切。
本实施方式中,通过计算样本集合所属的子样本库对应的参考分类结果与第一告警分类结果的相似度,根据相似度是否满足预设的要求,动态判断训练是否完成。
本实施例提供的告警分类装置中,样本生成模块根据历史告警信息生成样本库;划分模块依照样本库中历史告警信息的参考分类结果,将样本库分为多个子样本库;构建模块对于每个子样本库分别构建子样本库对应的图网络;建立模块基于图卷积神经网络,建立初始的告警分类模型;训练模块分别基于多个子样本库对应的图网络,对初始的告警分类模型进行训练,直至获得告警分类模型。本实施例中,基于图卷积神经网络,建立初始的告警分类模型,并基于多个子样本库对应图网络,对初始的告警分类模型进行训练,获得告警分类模型,应用训练得到的告警分类模型,得到准确的告警分类结果。
实施例六
图7为本申请实施例六中提供的一种电子设备的结构示意图,如图7所示,该电子设备包括:
处理器(processor)71,电子设备还包括了存储器(memory)72;还可以包括通信接口(Communication Interface)73和总线74。其中,处理器71、存储器72、通信接口73、可以通过总线74完成相互间的通信。通信接口73可以用于信息传输。处理器71可以调用存储器72中的逻辑指令,以执行上述实施例的方法。
此外,上述的存储器72中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。
存储器72作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序,如本申请实施例中的方法对应的程序指令/模块。处理器71通过运行存储在存储器72中的软件程序、指令以及模块,从而执行功能应用以及数据处理,即实现上述方法实施例中的方法。
存储器72可包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的应用程序;存储数据区可存储根据终端设备的使用所创建的数据等。此外,存储器72可以包括高速随机存取存储器,还可以包括非易失性存储器。
本申请实施例提供一种非临时性计算机可读存储介质,计算机可读存储介质中存储有计算机执行指令,计算机执行指令被处理器执行时用于实现如前述实施例的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求书指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。
Claims (10)
1.一种告警分类方法,其特征在于,包括:
获取待分类告警信息的特征数据,并基于所述特征数据构建所述待分类告警信息对应的图网络;
将所述待分类告警信息对应的图网络输入至告警分类模型,获得所述告警分类模型输出的所述待分类告警信息的分类结果;其中,所述告警分类模型为预先训练得到的图卷积网络。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
根据历史告警信息生成样本库;所述样本库包括历史告警信息和所述历史告警信息的参考分类结果,其中,告警信息的分类结果表征该告警信息的紧急程度;
依照所述样本库中所述历史告警信息的参考分类结果,将所述样本库分为多个子样本库,所述多个子样本库与不同的紧急程度一一对应;
对于每个子样本库分别构建所述子样本库对应的图网络;基于图卷积网络,建立初始的告警分类模型;
分别基于所述多个子样本库对应的图网络,对所述初始的告警分类模型进行训练,直至获得所述告警分类模型。
3.根据权利要求2所述的方法,其特征在于,所述对于每个子样本库分别建立所述子样本库对应的图网络,包括:
将每个子样本库划分为多个样本集合,对于每个样本集合分别构建所述样本集合对应的图网络;
所述分别基于所述多个子样本库对应的图网络,对所述初始的告警分类模型进行训练,直至获得所述告警分类模型,包括:
针对每个子样本库,基于所述子样本库下的各样本集合对应的图网络,采用小批量迭代训练的方式,对所述初始的告警分类模型进行训练,直至获得所述告警分类模型。
4.根据权利要求3所述的方法,其特征在于,所述针对每个子样本库,基于所述子样本库下的各样本集合对应的图网络,对所述初始的告警分类模型进行训练,包括:
针对每个子样本库,将该子样本库下的每个样本集合对应的图网络输入当前的告警分类模型,得到模型输出的第一告警分类结果;
计算所述样本集合所属的子样本库对应的参考分类结果与所述第一告警分类结果的相似度,并根据当前的相似度调整告警分类模型,直至当前的相似度满足预设的要求,则判定训练完成。
5.根据权利要求2所述的方法,其特征在于,所述根据历史告警信息生成样本库,包括:
确定所述历史告警信息在各特征类型下的特征值;
根据各类型特征对应的权重,对该历史告警信息在各特征类型下的特征值进行加权求和计算,得到该历史告警信息的告警程度值;
根据所述历史告警信息的告警程度值和分类结果对应的告警程度取值范围,将所述历史告警信息的告警程度值所在的取值范围对应的分类结果,作为该历史告警信息的参考分类结果。
6.根据权利要求2-5任一项所述的方法,其特征在于,所述根据历史告警信息生成样本库,之前包括:
对所述历史告警信息进行预处理,所述预处理包括以下至少一种:数据去重、数据去噪以及数据补全。
7.一种告警分类装置,其特征在于,包括:
获取模块,用于获取待分类告警信息的特征数据;
构建模块,用于基于所述特征数据构建所述待分类告警信息对应的图网络;
处理模块,用于将所述待分类告警信息对应的图网络输入至告警分类模型,获得所述告警分类模型输出的所述待分类告警信息的分类结果;其中,所述告警分类模型为预先训练得到的图卷积网络。
8.根据权利要求7所述的装置,其特征在于,所述装置还包括:
样本生成模块,用于根据历史告警信息生成样本库;所述样本库包括历史告警信息和所述历史告警信息的参考分类结果,其中,告警信息的告警分类结果表征该告警信息的紧急程度;
划分模块,用于依照所述样本库中所述历史告警信息的参考分类结果,将所述样本库分为多个子样本库,所述多个子样本库与不同的紧急程度一一对应;
所述构建模块,还用于对于每个子样本库分别建立所述子样本库对应的图网络;
建立模块,用于基于图卷积网络,建立初始的告警分类模型;
训练模块,用于分别基于所述多个子样本库对应的图网络,对所述初始的告警分类模型进行训练,直至获得所述告警分类模型。
9.一种电子设备,其特征在于,包括:处理器,以及与所述处理器通信连接的存储器;
所述存储器存储计算机执行指令;
所述处理器执行所述存储器存储的计算机执行指令,以实现如权利要求1-6中任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如权利要求1-6中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211303532.3A CN115454787A (zh) | 2022-10-24 | 2022-10-24 | 告警分类方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211303532.3A CN115454787A (zh) | 2022-10-24 | 2022-10-24 | 告警分类方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115454787A true CN115454787A (zh) | 2022-12-09 |
Family
ID=84310937
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211303532.3A Pending CN115454787A (zh) | 2022-10-24 | 2022-10-24 | 告警分类方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115454787A (zh) |
-
2022
- 2022-10-24 CN CN202211303532.3A patent/CN115454787A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111124840B (zh) | 业务运维中告警的预测方法、装置与电子设备 | |
WO2022225579A1 (en) | Variables & implementations of solution automation & interface analysis | |
CN109816032B (zh) | 基于生成式对抗网络的无偏映射零样本分类方法和装置 | |
CN110703057A (zh) | 基于数据增强和神经网络的电力设备局部放电诊断方法 | |
CN111652661B (zh) | 一种手机客户端用户流失预警处理方法 | |
CN115204536A (zh) | 楼宇设备故障预测方法、装置、设备及存储介质 | |
CN115718846A (zh) | 用于智能化交互网络的大数据挖掘方法及*** | |
CN112379325A (zh) | 一种用于智能电表的故障诊断方法及*** | |
CN112559316A (zh) | 软件测试方法和设备、计算机存储介质以及服务器 | |
CN116794510A (zh) | 故障预测方法、装置、计算机设备和存储介质 | |
CN115081613A (zh) | 生成深度学习模型的方法、装置、电子设备及存储介质 | |
CN114385403A (zh) | 基于双层知识图谱架构的分布式协同故障诊断方法 | |
CN117519951A (zh) | 基于消息中台的实时数据处理方法及*** | |
CN113191062A (zh) | 基于多源不完整信息的配电网故障区段定位方法及*** | |
CN116523001A (zh) | 电网薄弱线路识别模型构建方法、装置和计算机设备 | |
CN115454787A (zh) | 告警分类方法、装置、电子设备及存储介质 | |
CN110807014A (zh) | 一种基于交叉验证的台区数据异常甄别方法和装置 | |
CN113887452B (zh) | 基于相关性矩阵的故障诊断优化方法 | |
CN113723593B (zh) | 一种基于神经网络的切负荷预测方法及*** | |
CN115618286A (zh) | 变压器局部放电类型识别方法、***、设备、终端及应用 | |
CN113495831B (zh) | 基于关键字生成测试用例的方法、***、设备及介质 | |
CN112906891A (zh) | 基于机器学习的专家***知识库构建方法及装置 | |
CN114281474A (zh) | 一种资源调节方法及装置 | |
KR20220042687A (ko) | 순환 신경망(rnn)을 이용한 스마트팜 센서의 고장여부 판단방법 | |
CN108363728A (zh) | 一种挖掘特高压变电设备状态数据关联规则的方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |