CN113381890B - 告警信息关联方法、装置、电子设备和可读存储介质 - Google Patents
告警信息关联方法、装置、电子设备和可读存储介质 Download PDFInfo
- Publication number
- CN113381890B CN113381890B CN202110638004.2A CN202110638004A CN113381890B CN 113381890 B CN113381890 B CN 113381890B CN 202110638004 A CN202110638004 A CN 202110638004A CN 113381890 B CN113381890 B CN 113381890B
- Authority
- CN
- China
- Prior art keywords
- alarm
- information
- data
- association
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 239000013598 vector Substances 0.000 claims abstract description 127
- 238000012544 monitoring process Methods 0.000 claims abstract description 22
- 239000011159 matrix material Substances 0.000 claims description 29
- 238000012545 processing Methods 0.000 claims description 20
- 238000012163 sequencing technique Methods 0.000 claims description 18
- 238000001914 filtration Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 description 15
- 238000004458 analytical method Methods 0.000 description 6
- 230000006835 compression Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- OOXMVRVXLWBJKF-DUXPYHPUSA-N n-[3-[(e)-2-(5-nitrofuran-2-yl)ethenyl]-1,2,4-oxadiazol-5-yl]acetamide Chemical compound O1C(NC(=O)C)=NC(\C=C\C=2OC(=CC=2)[N+]([O-])=O)=N1 OOXMVRVXLWBJKF-DUXPYHPUSA-N 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000013500 data storage Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000010223 real-time analysis Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000012098 association analyses Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000009960 carding Methods 0.000 description 1
- 238000010205 computational analysis Methods 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 230000002354 daily effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0604—Management of faults, events, alarms or notifications using filtering, e.g. reduction of information by using priority, element types, position or time
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本公开提供了一种告警信息关联方法、装置、电子设备和计算机可读存储介质,涉及网络监控技术领域。其中,告警信息关联方法包括:对在采集到告警信息时,对告警信息进行向量化处理,得到告警向量;基于告警向量表示的告警事件,在告警关联概率模型集合中获取与告警向量匹配的告警关联模型;获取告警向量的多个告警关联信息,根据告警关联模型建立告警向量与多个告警关联信息之间的关联关系;根据关联关系生成告警关联树,将告警关联树推送给监测终端。通过本公开的技术方案,基于实时采集到的告警信息和告警关联模型,能够实时生成告警关联树,有利于提升告警监测体验和告警响应时效。
Description
技术领域
本公开涉及网络监控技术领域,尤其涉及一种告警信息关联方法、装置、电子设备和计算机可读存储介质。
背景技术
通信网络规模庞大,结构复杂,设备多种多样,各种硬件部件和软件模块每天产生大量的告警信息。告警风暴如果不加处理,会使告警监测人员频繁收到大量纷杂的告警信息,告警监测人员往往只能依据经验从海量告警中提取有效信息,其问题根源确定准确性难以保证,问题的快速收敛和修复难以保证。
相关技术中,通过设置告警关联,对告警信息进行过滤、合并和关联,以将纷杂信息过滤,将重复信息合并,将问题发生的关联关系直接展示给监测人员。但是目前采用的告警关联监控方案还存在以下缺陷:
(1)目前的告警关联方案由于依赖频繁访问数据库,导致告警关联分析周期长,告警产出慢,计算量大。
(2)目前的告警关联方式主要还是某一告警只和另一告警集合关联,而实际上某一告警可能和多重告警集合相关联,导致目前的告警关联方案无法反映现实场景的复杂性。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种告警信息关联方法、装置、电子设备和计算机可读存储介质,至少在一定程度上克服由于相关技术中告警关联分析周期长,告警产出慢,计算量大的问题。
本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。
根据本公开的一个方面,提供一种告警信息关联方法,包括:在采集到告警信息时,对所述告警信息进行向量化处理,得到告警向量;基于所述告警向量表示的告警事件,在告警关联概率模型集合中获取与所述告警向量匹配的告警关联模型;获取所述告警向量的多个告警关联信息,根据所述告警关联模型建立所述告警向量与所述多个告警关联信息之间的关联关系;根据所述关联关系生成告警关联树,将所述告警关联树推送给监测终端。
在本公开的一个实施例中,所述在采集到告警信息时,对所述告警信息进行向量化处理,得到告警向量之前,还包括:获取处于时间戳范围内的历史告警数据;对所述历史告警数据集合进行向量化处理,得到向量化告警数据;对所述向量化告警数据进行关联性分组处理,得到分组告警数据;基于所述分组告警数据生成分组告警矩阵;根据所述分组告警矩阵推导出所述告警关联模型,以基于所述告警关联模型生成所述告警关联概率模型集合。
在本公开的一个实施例中,所述基于所述分组告警数据生成分组告警矩阵,具体包括:对每一组所述分组告警数据进行压缩操作,得到对应的精简分组数据;对所述精简分组数据进行标准化处理,得到标准化告警样本;基于所述标准化告警样本构建所述分组告警矩阵。
在本公开的一个实施例中,所述对所述历史告警数据集合进行向量化处理,得到向量化告警数据,具体包括:对所述历史告警数据执行聚类操作,得到用于表示所述告警事件的抽象向量;根据所述抽象向量、所述告警事件的历史发生时间、所述告警事件的历史持续时间,生成所述向量化告警数据。
在本公开的一个实施例中,所述对每一组所述分组告警数据进行压缩操作,得到对应的精简分组数据,具体包括:在检测到每一组所述分组告警数据中的第一分组告警数据和第二分组告警数据具有相同的所述抽象向量时,将所述第一分组告警数据和所述第二分组告警数据合并为第三分组告警数据,以得到所述精简分组数据。
在本公开的一个实施例中,所述将所述第一分组告警数据和所述第二分组告警数据合并为第三分组告警数据,具体包括:将所述第一分组告警数据和所述第二分组告警数据中较早的所述历史发生时间确定为所述第三分组告警数据的历史发生时间;确定所述第一分组告警数据和所述第二分组告警数据中结束较晚的时刻信息;根据所述结束较晚的时刻信息和所述第三分组告警数据的历史发生时间,确定所述第三分组告警数据的历史持续时间;根据相同的所述抽象向量、所述第三分组告警数据的历史发生时间和所述第三分组告警数据的历史持续时间,生成所述第三分组告警数据,并删除所述第一分组告警数据和所述第二分组告警数据。
在本公开的一个实施例中,所述对所述精简分组数据进行标准化处理,得到标准化告警样本,具体包括:根据所述告警事件的最晚结束事件和最早开始时间,计算对应的所述精简分组数据的影响时长;对所述告警事件的发生时间进行排序,得到时间排序序列;对所述时间排序序列进行去重操作,对去重操作后的所述时间排序序列进行计数,得到所述告警事件的畸变次数;根据所述影响时长配置告警时长阈值,根据所述畸变次数配置畸变次数阈值;根据所述告警时长阈值和/或所述畸变次数阈值对所述精简分组数据进行过滤,将过滤后的所述精简分组数据确定为所述标准化告警样本。
在本公开的一个实施例中,所述基于所述标准化告警样本构建所述分组告警矩阵,具体包括:对所述告警事件基于所述发生时间进行排序,生成关系告警序列;遍历所述关系告警序列,根据所述告警事件的畸变次数,以及对应的所述抽象向量在所述关系告警序列中的位置,生成所述分组告警矩阵。
在本公开的一个实施例中,所述根据所述分组告警矩阵推导出所述告警关联模型,具体包括:根据所述分组告警矩阵统计所述标准化告警样本中每个所述抽象向量的关联抽象向量;统计所述抽象向量在所述关联抽象向量之后发生的概率;根据所述概率和所述关联抽象向量生成所述抽象向量的所述告警关联模型。
在本公开的一个实施例中,所述根据所述告警关联模型建立所述告警向量与所述多个告警关联信息之间的关联关系,具体包括:遍历所述多个告警关联信息构成的告警关联集合;在检测到所述多个告警关联信息中具有发生时间早于时间阈值的第一告警关联信息时,在所述告警关联集合中移除所述第一告警关联信息;在检测到所述告警关联集合为空集时,将所述告警信息确定为根源告警信息,并将所述告警向量添加至所述告警关联集合中;在检测到所述告警关联集合为非空集合时,根据所述告警关联模型计算当所述告警关联信息发生时,所述告警信息发生的概率;在检测到所述概率大于概率阈值时,建立所述告警向量和所述告警关联信息之间的关联关系。
在本公开的一个实施例中,还包括:基于所述告警信息的类型将所述告警关联树添加至所述分组告警数据中;基于所述告警关联树的生成频率确定所述告警关联模型的更新频率;基于所述更新频率更新所述告警关联模型。
根据本公开的另一个方面,提供一种告警信息关联装置,包括:处理模块,用于在采集到告警信息时,对所述告警信息进行向量化处理,得到告警向量;获取模块,用于基于所述告警向量表示的告警事件,在告警关联概率模型集合中获取与所述告警向量匹配的告警关联模型;建立模块,用于获取所述告警向量的多个告警关联信息,根据所述告警关联模型建立所述告警向量与所述多个告警关联信息之间的关联关系;生成模块,用于根据所述关联关系生成告警关联树,将所述告警关联树推送给监测终端。
根据本公开的再一个方面,提供一种电子设备,包括:处理器;以及存储器,用于存储处理器的可执行指令;其中,处理器配置为经由执行可执行指令来执行上述任意一项的告警信息关联方法。
根据本公开的又一个方面,提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述任意一项的告警信息关联方法。
本公开的实施例所提供的告警信息关联方案,通过将实时采集到的告警信息转化为告警向量的形式,以在预存的告警关联概率模型集合中获取与告警向量匹配的告警关联模型,并通过告警关联模型建立告警向量和告警关联信息之间的关联关系,进一步,将关联关系以告警关联树的形式推送给监测终端,一方面,通过设置告警关联概率模型集合,并将告警关联概率模型集合预存在内存中,能够减少IO次数,并能够进一步降低关联过程的资源消耗,提高告警关联树的配置速率,另一方面,通过基于实时采集到的告警信息,能够实时生成告警关联树,有利于提升告警监测体验和告警响应时效。
进一步地,告警关联模型是基于对大量历史告警数据进行分析生成的,因此能够较准确地反应出告警信息和多个告警关联信息之间的关联关系,也就是说可以生成多个告警关联,进而给监测人员提供多条基于告警关联的验证路径,从而能够有效地利用告警关联信息查询告警原因,有利于提高告警根因分析和故障定位效率,辅助运维人员的决策分析,提升业务运行的稳定性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出本公开实施例中一种告警信息关联方法的流程图;
图2示出本公开实施例中另一种告警信息关联方法的流程图;
图3示出本公开实施例中再一种告警信息关联方法的流程图;
图4示出本公开实施例中又一种告警信息关联方法的流程图;
图5示出本公开实施例中又一种告警信息关联方法的流程图;
图6示出本公开实施例中又一种告警信息关联方法的流程图;
图7示出本公开实施例中另一种告警信息关联方法的流程图;
图8示出本公开实施例中又一种告警信息关联方法的流程图;
图9示出本公开实施例中再一种告警信息关联方法的流程图;
图10示出本公开实施例中一种告警信息关联***的示意图;
图11示出本公开实施例中一种告警关联树的示意图;
图12示出本公开实施例中一种告警信息关联装置的示意图;
图13示出本公开实施例中一种电子设备的示意图;和
图14示出本公开实施例中一种计算机可读存储介质的示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的征、结构或性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中,提供许多具体细节从而给出对本公开的实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而省略所述定细节中的一个或更多,或者可以采用其它的、组元、装置、步骤等。在其它情况下,不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外,附图仅为本公开的示意性图解,图中相同的附图标记表示相同或类似的分,因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
下面结合附图对本公开示例实施方式进行详细说明。
如图1所示,终端和/或服务器执行告警信息关联方法,包括以下步骤:
步骤S102,在采集到告警信息时,对告警信息进行向量化处理,得到告警向量。
其中,在短时间内***产生的告警风暴中包含大量的告警信息,这些信息有的是由某种共同因素引发,互相之间存在一定的关联,有的也可能没有任何关系。因此需要执行告警关联操作,以找到这些信息之间的关联关系。
具体地,通过解析实时接收到的告警信息所描述的告警事件、告警信息的发生时间和持续时长,对告警事件进行抽象向量表述,得到告警信息的抽象向量,通过对抽象向量、发生时间和持续时长进行拼接,得到告警向量。
步骤S104,基于告警向量表示的告警事件,在告警关联概率模型集合中获取与告警向量匹配的告警关联模型。
其中,通过预先训练生成多个告警关联模型,并将这多个告警关联模型作为一个告警关联概率模型集合。在基于实时接收到的告警信息生成告警向量后,在告警关联概率模型集合中寻找与该告警向量匹配的告警关联模型,以基于告警关联模型建立告警信息与其它信息之间的关联关系。
步骤S106,获取告警向量的多个告警关联信息,根据告警关联模型建立告警向量与多个告警关联信息之间的关联关系。
其中,为了得到当前采集到的告警信息的实际告警关联信息以及实际关联关系,需要获取可能与告警向量具有关联关系的多个告警关联信息,从而根据告警关联模型建立告警向量和告警关联信息之间的关联关系。
比如,告警信息可以包括PIM(Physical Infrastructure Manager,物理基础设施管理器)告警、VIM(文本编辑器)告警和VNF(虚拟网络功能)告警,当VNF发生告警时,EMS(单元管理***)上报给VFVO告警数据时,需要提供发生告警的VNF对应的VIM层虚机的通用唯一识别码UUID(Universally Unique Identifier),VIM层的告警通过北向接口报给NFVO时,也会携带虚机的UUID,因此可以保证发生告警的VNF通过VIM层虚机的UUID与VIM层进行关联。PIM通过北向接口向NFVO报告物理设备告警时,会携带物理设备的设备序列号,VIM层告警通过北向接口报告给NFVO时,根据告警数据携带的虚机UUID,NFVO可以知道该告警位于哪一台计算节点上,而且NFVO预先存储有每一个计算节点对应的物理设备的设备序列号,根据该设备序列号和告警数据携带的虚机UUID,可以将VIM告警与PIM告警关联。基于这些已知的关联方式,得到告警信息的多个告警关联信息,以进一步基于告警关联模型建立告警向量和告警关联信息之间的关联关系。
步骤S108,根据关联关系生成告警关联树,将告警关联树推送给监测终端。
其中,通过将关联关系以告警关联树的方式推送给监测终端,能够便于监测人员看到逻辑结构清晰的告警关联情况。
在该实施例中,通过将实时采集到的告警信息转化为告警向量的形式,以在预存的告警关联概率模型集合中获取与告警向量匹配的告警关联模型,并通过告警关联模型建立告警向量和告警关联信息之间的关联关系,进一步,将关联关系以告警关联树的形式推送给监测终端,一方面,通过设置告警关联概率模型集合,并将告警关联概率模型集合预存在内存中,能够减少IO次数,并能够进一步降低关联过程的资源消耗,提高告警关联树的配置速率,另一方面,通过基于实时采集到的告警信息,能够实时生成告警关联树,有利于提升告警监测体验和告警响应时效。
进一步地,告警关联模型是基于对大量历史告警数据进行分析生成的,因此能够较准确地反应出告警信息和多个告警关联信息之间的关联关系,也就是说可以生成多个告警关联,进而给监测人员提供多条基于告警关联的验证路径,从而能够有效地利用告警关联信息查询告警原因,有利于提高告警根因分析和故障定位效率,辅助运维人员的决策分析,提升业务运行的稳定性。
如图2所示,在本公开的一个实施例中,在步骤S102,采集到告警信息时,对告警信息进行向量化处理,得到告警向量之前,基于历史告警数据生成告警关联模型,具体地,告警关联方法还包括:
步骤S202,获取处于时间戳范围内的历史告警数据。
具体地,所有的历史告警数据集合采用式(1)表示:
W={w1,…,wi,…,wn} (1)
n为存量告警数量;wi为第i个告警数据,i∈[1,n]。
获取时间戳范围内的[Ts,Te]的存量告警数据集合采用式(2)表示:
wj为第j个历史告警数据,j∈[1,m],
Ts为时间戳范围的下限,Te为时间戳范围的上限,m为时间戳范围[Ts,Te]中历史告警数据w的数量。
通常Ts和Te的选取和具体业务情况有较大关系,选择合适的Ts和Te能有效降低基于存量数据构建告警关联模型的开销。比如Te取当前时间前一天的零点,Ts取Te30天之前的零点。
步骤S204,对历史告警数据集合进行向量化处理,得到向量化告警数据。
其中,通过将历史告警数据进行向量化处理,以通过向量描述出历史告警数据中的事件类型、历史发生时间和持续时长等,进而基于向量化告警数据去探寻不同历史告警数据之间的关联关系,以基于这些关联关系构建出多个告警关联模型,并进一步基于多个告警关联模型构建出告警关联概率模型集合WV。
步骤S206,对向量化告警数据进行关联性分组处理,得到分组告警数据。
具体地,对向量化告警数据集合WV进行关联性分组,基于对WV的数据分析配合日常报警登记和梳理进行,得到分组告警数据集合G,如式(3)所示,将具有关联性的向量化告警数据合并到一组WVi中,如式(4)所示。
G={WV1,…,WVi,…,WVx} (3)
WVi={wv1,…,wvj,…,wvy} (4)
在步骤S206后,还包括:基于分组告警数据生成分组告警矩阵,具体包括:
步骤S208,对每一组分组告警数据进行压缩操作,得到对应的精简分组数据。
步骤S210,对精简分组数据进行标准化处理,得到标准化告警样本。
步骤S212,基于标准化告警样本构建分组告警矩阵。
步骤S214,根据分组告警矩阵推导出告警关联模型,以基于告警关联模型生成告警关联概率模型集合。
在该实施例中,通过基于历史告警数据构建告警关联模型,通过告警数据向量化、告警区间识别、告警数据过滤压缩、告警分层构建规格化告警数据,基于规格化后的向量告警数据,构建告警关联模型,实现基于告警关联模型反映出告警内部的业务关联的效果。
如图3所示,在本公开的一个实施例中,步骤S204,对历史告警数据集合进行向量化处理,得到向量化告警数据的一种具体实现方式,包括:
步骤S302,对历史告警数据执行聚类操作,得到用于表示告警事件的抽象向量。
步骤S304,根据抽象向量、告警事件的历史发生时间、告警事件的历史持续时间,生成向量化告警数据。
其中,如式(5)所示,wi为历史告警数据,xi为wi的具体报警事件,比如:CPU IDLE<30%,ti为wi的具体发生时间,di为wi的持续时间。
wi=(xi,ti,di) (5)
得到的向量化告警数据集合如式(7)所示:
V={v1,…,vi,…,vk},i∈[1,k];k为抽象向量枚举数量的上限,由具体业务确定,V为一类告警事件的抽象向量表述,通过对所有告警数据进行聚类后,得到V,V对于某一具体的业务领域,具有可枚举性。同时我们将a~b个具体报警信息x抽象的用告警向量vc体现,称为告警的向量化过程,如式(8)所示:
xa~b→vc(8)
通常的,对于确定的Xm可以通过告警的向量化过程得到V。
Xm={x1,…,xi,…,xm},i∈[1,m] (9)
V={v1,…,vj,…,vk}, j∈[1,k] (10)
其中,m>>k,Xm表示m个具体报警信息的集合,wvi表示历史告警数据wi向量化过程后的结果,如式(11)所示。
wvi=(v,ti,di) (11)
其中,v表示由xi经过xi→vj向量化后的结果,ti为wi的历史发生时间,di为wi的历史持续时间。
在本公开的一个实施例中,步骤S208,对每一组分组告警数据进行压缩操作,得到对应的精简分组数据的一种具体实现方式,包括:
在检测到每一组分组告警数据中的第一分组告警数据和第二分组告警数据具有相同的抽象向量时,将第一分组告警数据和第二分组告警数据合并为第三分组告警数据,以得到精简分组数据。
具体地,对分组告警数据集合G中的每一个子集合WVi进行压缩,得到精简分组数据集合GS,分别如式(12)和式(13)所示。
GS={WV1,…,WVi,…,WVx} (12)
WVi={wv1,…,wvj,…,wvy} (13)
进一步的,x=count(GS);y=count(GS.WVi);x≤count(G);y≤count(G.WVi);i∈[1,x],j∈[1,y];将步骤208中WVi有别于步骤206中的WVi标记为GS.WVi,把步骤206中的WVi标记为G.WVi,特别的,对于任意GS.WVi,其中的向量化告警的向量结果wv.v不重复。下面对对每一组分组告警数据WVi进行压缩操作的过程进行详细描述。
对G.WVi进行压缩的主要方法是对进行告警向量wv合并,具体合并方法为如果G.WVi中任意两个告警向量wva(对应于第一分组告警数据)和wvb(对应于第二分组告警数据)满足wva.v=wvb.v,则操作对wva和wvb做合并操作得到新的告警向量wvc,记为告警向量压缩,表示为式(14)。
wva,wvb→wvc (14)
如图4所示,在本公开的一个实施例中,将第一分组告警数据和第二分组告警数据合并为第三分组告警数据的一种具体实现方式,包括:
步骤S402,将第一分组告警数据和第二分组告警数据中较早的历史发生时间确定为第三分组告警数据的历史发生时间。
步骤S404,确定第一分组告警数据和第二分组告警数据中结束较晚的时刻信息。
步骤S406,根据结束较晚的时刻信息和第三分组告警数据的历史发生时间,确定第三分组告警数据的历史持续时间。
步骤S408,根据相同的抽象向量、第三分组告警数据的历史发生时间和第三分组告警数据的历史持续时间,生成第三分组告警数据,并删除第一分组告警数据和第二分组告警数据。
具体地,合并的具体操作过程如式(15)至式(17)所示。
wvc.v=wva.v (15)
wvc.t=min(wva.t,wvb.t) (16)
wvc.d=max(wva.t+wva.d,wvb.t+wva.d)-wvc.t (17)
在对G.WVi中所有满足实施wva,wvb→wvc条件的告警向量wv进行向量压缩后,得到压缩后的告警向量子集GS.WVi。最终得到精简分组数据集合GS。
如图5所示,在本公开的一个实施例中,步骤S210,对精简分组数据进行标准化处理,得到标准化告警样本的一种具体实现方式包括:
步骤S502,根据告警事件的最晚结束事件和最早开始时间,计算对应的精简分组数据的影响时长。
步骤S504,对告警事件的发生时间进行排序,得到时间排序序列。
步骤S506,对时间排序序列进行去重操作,对去重操作后的时间排序序列进行计数,得到告警事件的畸变次数。
步骤S508,根据影响时长配置告警时长阈值,根据畸变次数配置畸变次数阈值。
步骤S510,根据告警时长阈值和/或畸变次数阈值对精简分组数据进行过滤,将过滤后的精简分组数据确定为标准化告警样本。
其中,精简分组数据集合GS进行标准化处理,得到标准化告警样本集合Gstd,如式(18)所示。
Gstd={WV1,…,WVi,…,WVn} (18)
其中,n≤count(GS),i∈[1,n]。
具体地,首先,计算WVi的影响时长dui,如式(19)所示。
du=max(wv.t+wv.d)-min(wv.t) (19)
上式中,max(wv.t+wv.d)表示获取WVi中wv结束时间最晚的时刻,min(wv.t)表示获取WVi中wv最早的开始时间的时刻,两者的差值即为WVi的影响时长dui,对GS整体处理后得到告警组时长集合DU,如式(20)所示。
DU={du1,…,dui,…,duc} (20)
其中,i∈[1,c]。
然后,计算WVi的畸变次数chi,如式(21)所示。
ch=count(unique(sort(wv.t))) (21)
其中,sort(wv.t)表示对WVi中所有wv的发生时间wv.t进行从小到大排序,unique表示对排序后的结果进行去重,count表示对去重后的结果进行计数,最终得到的计数值就为畸变次数。在对GS整体处理后得到告警组畸变统计集合CH,如式(22)所示。
CH={ch1,…,chi,…,chc} (22)
其中,i∈[1,c]。
结合实际情况和专家意见,选取合适的告警时长阈值dud和畸变次数阈值chd对GS进行过滤,降低边缘数据对最终告警概率模型的干扰。
具体地,令dud从1开始逐渐增加,使得P(dud>dui)>0.9,得到目标dud。令chd从1开始逐渐增加,使得P(chd>chi)>0.9,得到目标chd。最后过滤掉GS中,du>dud,或ch>chd的WVi,得到新的Gstd,如式(23)所示。
Gstd={WV1,…,WVi,…,WVn} (23)
其中,n≤c。
如图6所示,在本公开的一个实施例中,步骤S212,基于标准化告警样本构建分组告警矩阵的一种具体实现方式,包括:
步骤S602,对告警事件基于发生时间进行排序,生成关系告警序列。
步骤S604,遍历关系告警序列,根据告警事件的畸变次数,以及对应的抽象向量在关系告警序列中的位置,生成分组告警矩阵。
其中,基于Gstd构建矩阵化分组告警集合M,如式(24)所示。
其中,Gstd→M是通过对每个WVi进行WVi→mgi操作后得到,j对应的畸变次数,K对应v在V中的位置。
具体地,对于WVi来说,由于经过了压缩、过滤等预处理,所以每一个WVi.wv都可以和不同的抽象告警向量v进行对应,对WVi中所有wv按照wv.t进行从小到大排序,获取具有先后关系的告警序列WVsi,对于WVsi进行遍历,定义临时变量x,临时变量y和一个k×j的零矩阵初始的令x=1,令获取WVsi的第i个元素,如果存在,则记为wvi,如果不存在,则退出遍历过程,获取wvi.v在V中的位置m,m∈[1,k],如果i>1且wvi.t>wv(i-1).t,则令y=y+1,令n=y+i,
如图7所示,在本公开的一个实施例中,步骤S214,根据分组告警矩阵推导出告警关联模型的一种具体实现方式,包括:
步骤S702,根据分组告警矩阵统计标准化告警样本中每个抽象向量的关联抽象向量。
步骤S704,统计抽象向量在关联抽象向量之后发生的概率。
步骤S706,根据概率和关联抽象向量生成抽象向量的告警关联模型。
步骤7,基于M推导关联抽象向量集合V的告警关联概率模型集合P,如式(26)所示。
P={p(vi|vj)} (26)
其中,i∈[1,k],j∈[1,k],i≠j,p(vi|vj)表示告警向量vj发生时,vi发生的概率。
具体地,根据M,可以统计出基于样本集合Gstd的每个不同告警向量vi关联vj的数量列表,记为ci,如式(27)所示。
ci={count(vi|vj)} (27)
其中,i∈[1,k],j∈[1,k],i≠j,count(vi|vj)表示vj发生后,vi随后发生的统计和。由此可以得到式(28),即告警关联模型,由多个p(vi|vj)构成告警关联概率模型集合P。
如图8所示,在本公开的一个实施例中,步骤S106中,根据告警关联模型建立告警向量与多个告警关联信息之间的关联关系的一种具体实现方式包括:
步骤S802,遍历多个告警关联信息构成的告警关联集合。
步骤S804,在检测到多个告警关联信息中具有发生时间早于时间阈值的第一告警关联信息时,在告警关联集合中移除第一告警关联信息。
步骤S806,在检测到告警关联集合为空集时,将告警信息确定为根源告警信息,并将告警向量添加至告警关联集合中。
步骤S808,在检测到告警关联集合为非空集合时,根据告警关联模型计算当告警关联信息发生时,告警信息发生的概率。
步骤S810,在检测到概率大于概率阈值时,建立告警向量和告警关联信息之间的关联关系。
如果检测到不存在与告警信息关联的告警关联集合R,则设定当前告警关联集合R={re},re表示空的告警关联情况。
具体地,遍历R,如果其中的r.wv.t>t0,则从R中移出该r,否则继续遍历。
完成上述遍历后,如果R={re},则表示当前告警w自身为根源告警,并将放入告警关联集合R中,否则遍历R,对于其中的每一个r,令vj=r.wv.v,如果p(v|vj)>p0,则认为wv和r关联,此时构造新的告警关联r0=(wv,r),并替换R中的r为r0;如果p(v|vj)≤p0,则继续遍历过程。上述流程中t0为经验参数,表示两个告警绝对无关联的时间间隔,通常可选24h,p0是认为存在告警关联的概率,该值经验参数,通常可选为0.3,注意,一个告警信息可能具有多个告警关联。
进一步地,将告警关联集合R中每个告警关联信息以树的形式展开表示,如图11所示,w为告警信息,w1和w2为告警关联集合R中的告警关联信息,周期性的推送给监测人员,方便监测人员看到逻辑结构清晰的告警关联情况。此推送周期可以根据经验设定。
在本公开的一个实施例中,还包括:基于告警信息的类型将告警关联树添加至所述分组告警数据中;基于告警关联树的生成频率确定告警关联模型的更新频率;基于更新频率更新告警关联模型。
其中,生成告警关联树的过程,相当于对告警信息与告警关联信息进行打标的过程,如图9所示,告警关联模型的更新方法,包括:
步骤S902,在生成告警信息的关联关系的过程中,对告警信息和告警关联信息进行打标。
步骤S904,将打标后的数据更新至历史告警数据集合。如式(30)所示。
W={w1,…,wi,…,wn} (30)
步骤S906,基于时间周期和历史告警数据集合的更新频次确定告警关联模型的更新频率,以基于更新频率更新告警关联模型。
步骤S908,基于预设的更新频率更新告警关联模型。
其中,步骤S906和步骤S908择一执行即可。
其中,时间周期的确定由专家结合业务现状给出,比如,每周更新一次。更新频次的阀值由专家结合业务现状给出,比如,每发生100次,就立即调节告警模型。如需调节告警模型,则触发告警关联模型的生成流程的自动执行得到新的告警关联概率模型集合Pnew,完成基于增量数据的告警模型调节。
图10示出了一种告警信息关联***,如图10所示,告警信息关联***包括:告警信息采集模块1002、增量实时分析模块1004、告警关联输出模块1006、增量告警关联模型调节模块1008、数据存储模块1010、存量分析模块1012、告警关联模型存储模块1014和告警关联管理模块1016。
告警信息采集模块1002用于采集云平台所有实时告警信息。
增量实时分析模块1004用于基于告警信息采集模块1002提供的实时告警数据,结合从告警关联模型存储模块1014获取的告警关联模型,综合告警关联阈值,产出用于告警关联展示的告警关联结果。
告警关联输出模块1006用于直观的输出增量实时分析模块产出的告警关联结果。
增量告警关联模型调节模块1008用于控制告警关联模型的反馈调节时机。
告警关联管理模块1016用于查看,管理,标记存量告警关联信息,配置告警关联阈值信息。
数据存储模块1010用于存储存量(历史)告警数据及告警关联数据。
存量分析模块1012用于使用数据存储模块1010提供的存量告警数据集和相关关联结果,进行计算分析,得到告警关联模型,并将结果存储到告警关联模型存储模块1014。
告警关联模型存储模块1014用于存储告警关联模型。
需要注意的是,上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明,而不是限制目的。易于理解,上述附图所示的处理并不表明或限制这些处理的时间顺序。另外,也易于理解,这些处理可以是例如在多个模块中同步或异步执行的。
所属技术领域的技术人员能够理解,本发明的各个方面可以实现为***、方法或程序产品。因此,本发明的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“***”。
下面参照图12来描述根据本发明的这种实施方式的告警信息关联装置1200。图12所示的告警信息关联装置1200仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
告警信息关联装置1200以硬件模块的形式表现。告警信息关联装置900的组件可以包括但不限于:处理模块1202,用于在采集到告警信息时,对告警信息进行向量化处理,得到告警向量;获取模块1204,用于基于告警向量表示的告警事件,在告警关联概率模型集合中获取与告警向量匹配的告警关联模型;建立模块1206,用于获取告警向量的多个告警关联信息,根据告警关联模型建立告警向量与多个告警关联信息之间的关联关系;树结构生成模块1208,用于根据关联关系生成告警关联树,将告警关联树推送给监测终端。
在本公开的一个实施例中,还包括:模型生成模块1210,用于获取处于时间戳范围内的历史告警数据;对历史告警数据集合进行向量化处理,得到向量化告警数据;对向量化告警数据进行关联性分组处理,得到分组告警数据;基于分组告警数据生成分组告警矩阵;根据分组告警矩阵推导出告警关联模型,以基于告警关联模型生成告警关联概率模型集合。
在本公开的一个实施例中,模型生成模块1210还用于:对每一组分组告警数据进行压缩操作,得到对应的精简分组数据;对精简分组数据进行标准化处理,得到标准化告警样本;基于标准化告警样本构建分组告警矩阵。
在本公开的一个实施例中,模型生成模块1210还用于:对历史告警数据执行聚类操作,得到用于表示告警事件的抽象向量;根据抽象向量、告警事件的历史发生时间、告警事件的历史持续时间,生成向量化告警数据。
在本公开的一个实施例中,模型生成模块1210还用于:在检测到每一组分组告警数据中的第一分组告警数据和第二分组告警数据具有相同的抽象向量时,将第一分组告警数据和第二分组告警数据合并为第三分组告警数据,以得到精简分组数据。
在本公开的一个实施例中,模型生成模块1210还用于:将第一分组告警数据和第二分组告警数据中较早的历史发生时间确定为第三分组告警数据的历史发生时间;确定第一分组告警数据和第二分组告警数据中结束较晚的时刻信息;根据结束较晚的时刻信息和第三分组告警数据的历史发生时间,确定第三分组告警数据的历史持续时间;根据相同的抽象向量、第三分组告警数据的历史发生时间和第三分组告警数据的历史持续时间,生成第三分组告警数据,并删除第一分组告警数据和第二分组告警数据。
在本公开的一个实施例中,模型生成模块1210还用于:根据告警事件的最晚结束事件和最早开始时间,计算对应的精简分组数据的影响时长;对告警事件的发生时间进行排序,得到时间排序序列;对时间排序序列进行去重操作,对去重操作后的时间排序序列进行计数,得到告警事件的畸变次数;根据影响时长配置告警时长阈值,根据畸变次数配置畸变次数阈值;根据所示告警时长阈值和/或畸变次数阈值对精简分组数据进行过滤,将过滤后的精简分组数据确定为标准化告警样本。
在本公开的一个实施例中,模型生成模块1210还用于:对告警事件基于发生时间进行排序,生成关系告警序列;遍历关系告警序列,根据告警事件的畸变次数,以及对应的抽象向量在关系告警序列中的位置,生成分组告警矩阵。
在本公开的一个实施例中,模型生成模块1210还用于:根据分组告警矩阵统计标准化告警样本中每个抽象向量的关联抽象向量;统计抽象向量在关联抽象向量之后发生的概率;根据概率和关联抽象向量生成抽象向量的告警关联模型。
在本公开的一个实施例中,建立模块1206还用于:遍历多个告警关联信息构成的告警关联集合;在检测到多个告警关联信息中具有发生时间早于时间阈值的第一告警关联信息时,在告警关联集合中移除第一告警关联信息;在检测到告警关联集合为空集时,将告警信息确定为根源告警信息,并将告警向量添加至告警关联集合中;在检测到告警关联集合为非空集合时,根据告警关联模型计算当告警关联信息发生时,告警信息发生的概率;在检测到概率大于概率阈值时,建立告警向量和告警关联信息之间的关联关系,并基于告警信息更新告警关联集合。
在本公开的一个实施例中,还包括:更新模块1212,用于将告警关联树添加至历史告警数据中;基于告警关联树的生成频率确定告警关联模型的更新频率;基于更新频率更新告警关联模型。
下面参照图13来描述根据本发明的这种实施方式的电子设备1300。图13显示的电子设备1300仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图13所示,电子设备1300以通用计算设备的形式表现。电子设备1300的组件可以包括但不限于:上述至少一个处理单元1310、上述至少一个存储单元1320、连接不同***组件(包括存储单元1320和处理单元1310)的总线1330。
其中,存储单元存储有程序代码,程序代码可以被处理单元1310执行,使得处理单元1310执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如,处理单元1310可以执行如图1中所示的步骤S102、S104、S106和S108,以及本公开的告警信息关联方法中限定的其他步骤。
存储单元1320可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(RAM)13201和/或高速缓存存储单元13202,还可以进一步包括只读存储单元(ROM)13203。
存储单元1320还可以包括具有一组(至少一个)程序模块13205的程序/实用工具13204,这样的程序模块13205包括但不限于:操作***、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线1330可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、***总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备1300也可以与一个或多个外部设备1370(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得用户能与该电子设备交互的设备通信,和/或与使得该电子设备1300能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口1350进行。并且,电子设备1300还可以通过网络适配器1360与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器1360通过总线1330与电子设备1300的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
在本公开的示例性实施例中,还提供了一种计算机可读存储介质,其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中,本发明的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当程序产品在终端设备上运行时,程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。
参考图14所示,描述了根据本发明的实施方式的用于实现上述方法的程序产品1400,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本发明的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本公开的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外,尽管在附图中以特定顺序描述了本公开中方法的各个步骤,但是,这并非要求或者暗示必须按照该特定顺序来执行这些步骤,或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的,可以省略某些步骤,将多个步骤合并为一个步骤执行,以及/或者将一个步骤分解为多个步骤执行等。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由所附的权利要求指出。
Claims (13)
1.一种告警信息关联方法,其特征在于,包括:
在采集到告警信息时,对所述告警信息进行向量化处理,得到告警向量;
基于所述告警向量表示的告警事件,在告警关联概率模型集合中获取与所述告警向量匹配的告警关联模型;
获取所述告警向量的多个告警关联信息,根据所述告警关联模型建立所述告警向量与所述多个告警关联信息之间的关联关系,具体包括:
遍历所述多个告警关联信息构成的告警关联集合;
在检测到所述多个告警关联信息中具有发生时间早于时间阈值的第一告警关联信息时,在所述告警关联集合中移除所述第一告警关联信息;
在检测到所述告警关联集合为空集时,将所述告警信息确定为根源告警信息,并将所述告警向量添加至所述告警关联集合中;
在检测到所述告警关联集合为非空集合时,根据所述告警关联模型计算当所述告警关联信息发生时,所述告警信息发生的概率;
在检测到所述概率大于概率阈值时,建立所述告警向量和所述告警关联信息之间的关联关系;
根据所述关联关系生成告警关联树,将所述告警关联树推送给监测终端。
2.根据权利要求1所述的告警信息关联方法,其特征在于,所述在采集到告警信息时,对所述告警信息进行向量化处理,得到告警向量之前,还包括:
获取处于时间戳范围内的历史告警数据;
对所述历史告警数据集合进行向量化处理,得到向量化告警数据;
对所述向量化告警数据进行关联性分组处理,得到分组告警数据;
基于所述分组告警数据生成分组告警矩阵;
根据所述分组告警矩阵推导出所述告警关联模型,以基于所述告警关联模型生成所述告警关联概率模型集合。
3.根据权利要求2所述的告警信息关联方法,其特征在于,所述基于所述分组告警数据生成分组告警矩阵,具体包括:
对每一组所述分组告警数据进行压缩操作,得到对应的精简分组数据;
对所述精简分组数据进行标准化处理,得到标准化告警样本;
基于所述标准化告警样本构建所述分组告警矩阵。
4.根据权利要求3所述的告警信息关联方法,其特征在于,所述对所述历史告警数据集合进行向量化处理,得到向量化告警数据,具体包括:
对所述历史告警数据执行聚类操作,得到用于表示所述告警事件的抽象向量;
根据所述抽象向量、所述告警事件的历史发生时间、所述告警事件的历史持续时间,生成所述向量化告警数据。
5.根据权利要求4所述的告警信息关联方法,其特征在于,所述对每一组所述分组告警数据进行压缩操作,得到对应的精简分组数据,具体包括:
在检测到每一组所述分组告警数据中的第一分组告警数据和第二分组告警数据具有相同的所述抽象向量时,将所述第一分组告警数据和所述第二分组告警数据合并为第三分组告警数据,以得到所述精简分组数据。
6.根据权利要求5所述的告警信息关联方法,其特征在于,所述将所述第一分组告警数据和所述第二分组告警数据合并为第三分组告警数据,具体包括:
将所述第一分组告警数据和所述第二分组告警数据中较早的所述历史发生时间确定为所述第三分组告警数据的历史发生时间;
确定所述第一分组告警数据和所述第二分组告警数据中结束较晚的时刻信息;
根据所述结束较晚的时刻信息和所述第三分组告警数据的历史发生时间,确定所述第三分组告警数据的历史持续时间;
根据相同的所述抽象向量、所述第三分组告警数据的历史发生时间和所述第三分组告警数据的历史持续时间,生成所述第三分组告警数据,并删除所述第一分组告警数据和所述第二分组告警数据。
7.根据权利要求4所述的告警信息关联方法,其特征在于,所述对所述精简分组数据进行标准化处理,得到标准化告警样本,具体包括:
根据所述告警事件的最晚结束事件和最早开始时间,计算对应的所述精简分组数据的影响时长;
对所述告警事件的发生时间进行排序,得到时间排序序列;
对所述时间排序序列进行去重操作,对去重操作后的所述时间排序序列进行计数,得到所述告警事件的畸变次数;
根据所述影响时长配置告警时长阈值,根据所述畸变次数配置畸变次数阈值;
根据所述告警时长阈值和/或所述畸变次数阈值对所述精简分组数据进行过滤,将过滤后的所述精简分组数据确定为所述标准化告警样本。
8.根据权利要求7所述的告警信息关联方法,其特征在于,所述基于所述标准化告警样本构建所述分组告警矩阵,具体包括:
对所述告警事件基于所述发生时间进行排序,生成关系告警序列;
遍历所述关系告警序列,根据所述告警事件的畸变次数,以及对应的所述抽象向量在所述关系告警序列中的位置,生成所述分组告警矩阵。
9.根据权利要求6所述的告警信息关联方法,其特征在于,所述根据所述分组告警矩阵推导出所述告警关联模型,具体包括:
根据所述分组告警矩阵统计所述标准化告警样本中每个所述抽象向量的关联抽象向量;
统计所述抽象向量在所述关联抽象向量之后发生的概率;
根据所述概率和所述关联抽象向量生成所述抽象向量的所述告警关联模型。
10.根据权利要求2所述的告警信息关联方法,其特征在于,还包括:
基于所述告警信息的类型将所述告警关联树添加至所述分组告警数据中;
基于所述告警关联树的生成频率确定所述告警关联模型的更新频率;
基于所述更新频率更新所述告警关联模型。
11.一种告警信息关联装置,其特征在于,包括:
处理模块,用于在采集到告警信息时,对所述告警信息进行向量化处理,得到告警向量;
获取模块,用于基于所述告警向量表示的告警事件,在告警关联概率模型集合中获取与所述告警向量匹配的告警关联模型;
所述告警信息关联装置还包括:
建立模块,用于获取所述告警向量的多个告警关联信息,根据所述告警关联模型建立所述告警向量与所述多个告警关联信息之间的关联关系,所述建立模块具体用于:
遍历所述多个告警关联信息构成的告警关联集合;
在检测到所述多个告警关联信息中具有发生时间早于时间阈值的第一告警关联信息时,在所述告警关联集合中移除所述第一告警关联信息;
在检测到所述告警关联集合为空集时,将所述告警信息确定为根源告警信息,并将所述告警向量添加至所述告警关联集合中;
在检测到所述告警关联集合为非空集合时,根据所述告警关联模型计算当所述告警关联信息发生时,所述告警信息发生的概率;
在检测到所述概率大于概率阈值时,建立所述告警向量和所述告警关联信息之间的关联关系;
生成模块,用于根据所述关联关系生成告警关联树,将所述告警关联树推送给监测终端。
12.一种电子设备,其特征在于,包括:
处理器;以及
存储器,用于存储所述处理器的可执行指令;
其中,所述处理器配置为经由执行所述可执行指令来执行权利要求1~10中任意一项所述的告警信息关联方法。
13.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1~10中任意一项所述的告警信息关联方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110638004.2A CN113381890B (zh) | 2021-06-08 | 2021-06-08 | 告警信息关联方法、装置、电子设备和可读存储介质 |
PCT/CN2021/140396 WO2022257423A1 (zh) | 2021-06-08 | 2021-12-22 | 告警信息关联方法、装置、电子设备和可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110638004.2A CN113381890B (zh) | 2021-06-08 | 2021-06-08 | 告警信息关联方法、装置、电子设备和可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113381890A CN113381890A (zh) | 2021-09-10 |
CN113381890B true CN113381890B (zh) | 2023-01-13 |
Family
ID=77576558
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110638004.2A Active CN113381890B (zh) | 2021-06-08 | 2021-06-08 | 告警信息关联方法、装置、电子设备和可读存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN113381890B (zh) |
WO (1) | WO2022257423A1 (zh) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113381890B (zh) * | 2021-06-08 | 2023-01-13 | 天翼云科技有限公司 | 告警信息关联方法、装置、电子设备和可读存储介质 |
CN114363148B (zh) * | 2021-12-20 | 2023-05-26 | 绿盟科技集团股份有限公司 | 一种检测攻击告警的方法、装置、检测设备及存储介质 |
CN114500229B (zh) * | 2021-12-30 | 2024-02-02 | 国网河北省电力有限公司信息通信分公司 | 基于时空信息的网络告警定位及分析方法 |
CN115150261B (zh) * | 2022-06-29 | 2024-04-19 | 北京天融信网络安全技术有限公司 | 告警分析的方法、装置、电子设备及存储介质 |
CN115426242B (zh) * | 2022-08-05 | 2024-06-07 | 中国电信股份有限公司 | 告警事件处理方法、装置、电子设备及可读存储介质 |
CN115756782A (zh) * | 2022-11-15 | 2023-03-07 | 支付宝(杭州)信息技术有限公司 | 一种大规模告警布防方法、装置以及设备 |
CN116015873B (zh) * | 2022-12-27 | 2023-08-29 | 北京天融信网络安全技术有限公司 | 网络安全告警处理方法、装置、设备及存储介质 |
CN115776409B (zh) * | 2023-01-29 | 2023-06-06 | 信联科技(南京)有限公司 | 一种工业网络安全事件基础数据定向采集方法及*** |
CN115774653A (zh) * | 2023-02-15 | 2023-03-10 | 江西飞尚科技有限公司 | 预警研判方法、***、可读存储介质及计算机设备 |
CN116980181B (zh) * | 2023-06-21 | 2024-02-20 | 江南信安(北京)科技有限公司 | 一种用于检测关联报警事件的方法及*** |
CN116991684B (zh) * | 2023-08-03 | 2024-01-30 | 北京优特捷信息技术有限公司 | 一种告警信息处理方法、装置、设备及介质 |
CN117149587B (zh) * | 2023-08-28 | 2024-05-31 | 招商基金管理有限公司 | 监控台账管理方法、装置、存储介质及设备 |
CN117201165B (zh) * | 2023-09-29 | 2024-07-05 | 中国电子科技集团公司第十五研究所 | 基于网络威胁信息的威胁告警关联分析方法 |
CN117112371B (zh) * | 2023-10-25 | 2024-01-26 | 杭银消费金融股份有限公司 | 一种可观测全链路日志追踪方法及*** |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109189736A (zh) * | 2018-08-01 | 2019-01-11 | 中国联合网络通信集团有限公司 | 一种告警关联规则的生成方法和装置 |
CN110929951A (zh) * | 2019-12-02 | 2020-03-27 | 电子科技大学 | 一种用于电网告警信号的关联分析和预测方法 |
CN111475804A (zh) * | 2020-03-05 | 2020-07-31 | 浙江省北大信息技术高等研究院 | 一种告警预测方法及*** |
CN112118141A (zh) * | 2020-09-21 | 2020-12-22 | 中山大学 | 面向通信网络的告警事件关联压缩方法及装置 |
CN112202584A (zh) * | 2019-07-08 | 2021-01-08 | ***通信集团浙江有限公司 | 告警关联方法、装置、计算设备及计算机存储介质 |
WO2021068831A1 (zh) * | 2019-10-10 | 2021-04-15 | 平安科技(深圳)有限公司 | 一种业务告警方法、设备及存储介质 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11151471B2 (en) * | 2016-11-30 | 2021-10-19 | Here Global B.V. | Method and apparatus for predictive classification of actionable network alerts |
CN109117941A (zh) * | 2018-07-16 | 2019-01-01 | 北京思特奇信息技术股份有限公司 | 告警预测方法、***、存储介质及计算机设备 |
CN110321268B (zh) * | 2019-06-12 | 2022-11-08 | 平安科技(深圳)有限公司 | 一种告警信息处理方法及装置 |
CN111274395B (zh) * | 2020-01-19 | 2021-11-12 | 河海大学 | 基于卷积和长短期记忆网络的电网监控告警事件识别方法 |
CN111897673B (zh) * | 2020-07-31 | 2022-10-21 | 平安科技(深圳)有限公司 | 运维故障根因识别方法、装置、计算机设备和存储介质 |
CN113381890B (zh) * | 2021-06-08 | 2023-01-13 | 天翼云科技有限公司 | 告警信息关联方法、装置、电子设备和可读存储介质 |
-
2021
- 2021-06-08 CN CN202110638004.2A patent/CN113381890B/zh active Active
- 2021-12-22 WO PCT/CN2021/140396 patent/WO2022257423A1/zh active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109189736A (zh) * | 2018-08-01 | 2019-01-11 | 中国联合网络通信集团有限公司 | 一种告警关联规则的生成方法和装置 |
CN112202584A (zh) * | 2019-07-08 | 2021-01-08 | ***通信集团浙江有限公司 | 告警关联方法、装置、计算设备及计算机存储介质 |
WO2021068831A1 (zh) * | 2019-10-10 | 2021-04-15 | 平安科技(深圳)有限公司 | 一种业务告警方法、设备及存储介质 |
CN110929951A (zh) * | 2019-12-02 | 2020-03-27 | 电子科技大学 | 一种用于电网告警信号的关联分析和预测方法 |
CN111475804A (zh) * | 2020-03-05 | 2020-07-31 | 浙江省北大信息技术高等研究院 | 一种告警预测方法及*** |
CN112118141A (zh) * | 2020-09-21 | 2020-12-22 | 中山大学 | 面向通信网络的告警事件关联压缩方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2022257423A1 (zh) | 2022-12-15 |
CN113381890A (zh) | 2021-09-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113381890B (zh) | 告警信息关联方法、装置、电子设备和可读存储介质 | |
CN110008288A (zh) | 用于网络故障分析的知识图谱库的构建方法及其应用 | |
CN107608862B (zh) | 监控告警方法、监控告警装置及计算机可读存储介质 | |
CN111475370A (zh) | 基于数据中心的运维监控方法、装置、设备及存储介质 | |
CN111339175B (zh) | 数据处理方法、装置、电子设备及可读存储介质 | |
CN109992484B (zh) | 一种网络告警相关性分析方法、装置和介质 | |
CN112579789A (zh) | 一种设备故障诊断的方法和装置及设备 | |
CN111078513A (zh) | 日志处理方法、装置、设备、存储介质及日志告警*** | |
CN116932523B (zh) | 一种整合和监管第三方环境检测机构的平台 | |
CN112800061B (zh) | 一种数据存储方法、装置、服务器及存储介质 | |
CN112686717B (zh) | 一种广告召回的数据处理方法及*** | |
CN113407801A (zh) | 云计算索引推荐方法及*** | |
CN115544519A (zh) | 对计量自动化***威胁情报进行安全性关联分析的方法 | |
CN107871055B (zh) | 一种数据分析方法和装置 | |
CN112799868B (zh) | 一种根因确定方法、装置、计算机设备及存储介质 | |
CN112631889B (zh) | 针对应用***的画像方法、装置、设备及可读存储介质 | |
CN117891631A (zh) | 运维故障根因分析方法、装置、电子设备、存储介质 | |
CN111523921B (zh) | 漏斗分析方法、分析设备、电子设备及可读存储介质 | |
WO2023039973A1 (zh) | 异常误报的处理方法及装置、存储介质、终端 | |
CN114996080A (zh) | 数据处理方法、装置、设备及存储介质 | |
CN114819721A (zh) | 一种营业网点的评估方法、装置、电子设备及存储介质 | |
Wang et al. | LSTM-based alarm prediction in the mobile communication network | |
KR101213863B1 (ko) | 학습 기반 홈 네트워크 오류 인식 시스템을 위한 로그 데이터 클러스터링 분석 시스템 및 그 방법 | |
CN111352818A (zh) | 应用程序性能分析方法、装置、存储介质及电子设备 | |
CN117349388B (zh) | 数据时效性确定方法、电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20220208 Address after: 100007 room 205-32, floor 2, building 2, No. 1 and No. 3, qinglonghutong a, Dongcheng District, Beijing Applicant after: Tianyiyun Technology Co.,Ltd. Address before: No.31, Financial Street, Xicheng District, Beijing, 100033 Applicant before: CHINA TELECOM Corp.,Ltd. |
|
TA01 | Transfer of patent application right | ||
GR01 | Patent grant | ||
GR01 | Patent grant |