CN118069916A - ***告警处理方法、结构数据分析方法和装置 - Google Patents
***告警处理方法、结构数据分析方法和装置 Download PDFInfo
- Publication number
- CN118069916A CN118069916A CN202211481139.3A CN202211481139A CN118069916A CN 118069916 A CN118069916 A CN 118069916A CN 202211481139 A CN202211481139 A CN 202211481139A CN 118069916 A CN118069916 A CN 118069916A
- Authority
- CN
- China
- Prior art keywords
- alarm
- root cause
- root
- matching
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 36
- 238000004458 analytical method Methods 0.000 title claims description 61
- 238000000547 structure data Methods 0.000 title description 17
- 230000002159 abnormal effect Effects 0.000 claims abstract description 179
- 238000000034 method Methods 0.000 claims abstract description 60
- 238000004590 computer program Methods 0.000 claims abstract description 34
- 238000007405 data analysis Methods 0.000 claims abstract description 12
- 230000000875 corresponding effect Effects 0.000 claims description 520
- 238000012545 processing Methods 0.000 claims description 25
- 230000004927 fusion Effects 0.000 claims description 16
- 230000001186 cumulative effect Effects 0.000 claims description 12
- 230000002596 correlated effect Effects 0.000 claims description 11
- 230000008520 organization Effects 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 description 22
- 230000001960 triggered effect Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 238000012423 maintenance Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 10
- 230000005856 abnormality Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 241000700605 Viruses Species 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- ZXQYGBMAQZUVMI-GCMPRSNUSA-N gamma-cyhalothrin Chemical compound CC1(C)[C@@H](\C=C(/Cl)C(F)(F)F)[C@H]1C(=O)O[C@H](C#N)C1=CC=CC(OC=2C=CC=CC=2)=C1 ZXQYGBMAQZUVMI-GCMPRSNUSA-N 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 101150008122 Bcan gene Proteins 0.000 description 1
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 230000002155 anti-virotic effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000012098 association analyses Methods 0.000 description 1
- 238000012550 audit Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000012954 risk control Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请涉及一种***告警处理方法、结构数据分析方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括:基于根因集合中各个根因分别对应的子数据量,得到第一***告警对应的第一根因集合和第二***告警对应的第二根因集合中各个根因分别对应的异常贡献度;将第一根因集合中的第一根因和第二根因集合中的第二根因进行匹配,得到至少一个匹配对;将同一匹配对中各个根因分别对应的异常贡献度、以及根因之间的根因相似度进行融合,得到各个匹配对分别对应的根因关联度;基于各个匹配对分别对应的根因关联度和异常贡献度,得到第一***告警和第二***告警之间的告警关联度;告警关联度用于进行告警分类。采用本方法能够提高告警分类效率。
Description
技术领域
本申请涉及计算机技术领域,特别是涉及一种***告警处理方法、结构数据分析方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
大型互联网公司通过服务器向外提供大量的应用和网络服务,为了保证整个***的正常运行,通常会对其中一些核心指标数据进行检测,一旦出现了异常情况,就会触发***告警,相关***负责人需要及时对***告警进行响应处理。
当某个***出现故障时,很有可能触发整个***不同环节的异常告警,导致告警数量急剧增多。传统技术中,通常是运维人员先人为对异常告警进行分类,再分析告警原因进行***修复。然而,运维人员面对大量的异常告警,往往难以快速分类,存在告警分类效率低的问题。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高数据分类效率的***告警处理方法、结构数据分析方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
本申请提供了一种***告警处理方法。所述方法包括:
获取第一***告警对应的第一根因集合和第二***告警对应的第二根因集合;
基于根因集合中各个根因分别对应的子数据量,得到所述第一根因集合和所述第二根因集合中各个根因分别对应的异常贡献度;
将所述第一根因集合中的第一根因和所述第二根因集合中的第二根因进行匹配,得到至少一个匹配对;所述匹配对包括匹配的第一根因和第二根因;
将同一匹配对中各个根因分别对应的异常贡献度、以及根因之间的根因相似度进行融合,得到各个匹配对分别对应的根因关联度;
基于各个匹配对分别对应的根因关联度和异常贡献度,得到所述第一***告警和所述第二***告警之间的告警关联度;所述告警关联度用于进行告警分类。
本申请还提供了一种***告警处理装置。所述装置包括:
根因集合获取模块,用于获取第一***告警对应的第一根因集合和第二***告警对应的第二根因集合;
异常贡献度确定模块,用于基于根因集合中各个根因分别对应的子数据量,得到所述第一根因集合和所述第二根因集合中各个根因分别对应的异常贡献度;
根因匹配模块,用于将所述第一根因集合中的第一根因和所述第二根因集合中的第二根因进行匹配,得到至少一个匹配对;所述匹配对包括匹配的第一根因和第二根因;
数据融合模块,用于将同一匹配对中各个根因分别对应的异常贡献度、以及根因之间的根因相似度进行融合,得到各个匹配对分别对应的根因关联度;
告警关联度确定模块,用于基于各个匹配对分别对应的根因关联度和异常贡献度,得到所述第一***告警和所述第二***告警之间的告警关联度;所述告警关联度用于进行告警分类。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述***告警处理方法所述的步骤。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述***告警处理方法所述的步骤。
一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现上述***告警处理方法所述的步骤。
上述***告警处理方法、装置、计算机设备、存储介质和计算机程序产品,获取第一***告警对应的第一根因集合和第二***告警对应的第二根因集合,基于根因集合中各个根因分别对应的子数据量,得到第一根因集合和第二根因集合中各个根因分别对应的异常贡献度,将第一根因集合中的第一根因和第二根因集合中的第二根因进行匹配,得到至少一个匹配对,该匹配对包括匹配的第一根因和第二根因,将同一匹配对中各个根因分别对应的异常贡献度、以及根因之间的根因相似度进行融合,得到各个匹配对分别对应的根因关联度,基于各个匹配对分别对应的根因关联度和异常贡献度,得到第一***告警和第二***告警之间的告警关联度,该告警关联度用于进行告警分类。可以理解,通过计算得到的告警关联度可以实现对第一***告警和第二***告警的快速分类、自动分类。进一步的,根因集合中的根因可以反映告警指标数据对应的异常维度组合,异常贡献度可以反映根因对***告警的贡献程度、影响程度,基于不同***告警之间相互匹配的根因对应的异常贡献度和相互匹配的根因之间的根因相似度生成的根因关联度,可以反映相互匹配的根因在***告警上的关联程度,基于各个匹配对分别对应的根因关联度和匹配对中根因对应的异常贡献度得到的告警关联度,可以准确反映第一***告警和第二***告警之间的关联程度、相似程度,基于告警关联度对第一***告警和第二***告警进行告警分类,可以在提高分类效率的基础上有效保障分类准确性。
本申请提供了一种结构数据分析方法。所述方法包括:
获取第一树结构和第二树结构;所述第一树结构和所述第二树结构分别对应的信息资源属于同一类型,树结构用于描述信息资源的组织结构;
获取所述第一树结构和所述第二树结构中各个树分支分别对应的贡献度;
将所述第一树结构中的第一树分支和所述第二树结构中的第二树分支进行匹配,得到至少一个匹配对;所述匹配对包括匹配的第一树分支和第二树分支;
将同一匹配对中各个树分支对应的贡献度、以及树分支之间的树分支相似度进行融合,得到各个第一匹配对和各个第二匹配对分别对应的树分支关联度;
基于各个匹配对分别对应的树分支关联度和贡献度,得到所述第一树结构和所述第二树结构之间的树结构相似度;所述树结构相似度用于进行信息资源分类。
本申请还提供了一种结构数据分析装置。所述装置包括:
树结构获取模块,用于获取第一树结构和第二树结构;所述第一树结构和所述第二树结构分别对应的信息资源属于同一类型,树结构用于描述信息资源的组织结构;
贡献度获取模块,用于获取所述第一树结构和所述第二树结构中各个树分支分别对应的贡献度;
树分支匹配模块,用于将所述第一树结构中的第一树分支和所述第二树结构中的第二树分支进行匹配,得到至少一个匹配对;所述匹配对包括匹配的第一树分支和第二树分支;
数据融合模块,用于将同一匹配对中各个树分支对应的贡献度、以及树分支之间的树分支相似度进行融合,得到各个第一匹配对和各个第二匹配对分别对应的树分支关联度;
树结构相似度确定模块,用于基于各个匹配对分别对应的树分支关联度和贡献度,得到所述第一树结构和所述第二树结构之间的树结构相似度;所述树结构相似度用于进行信息资源分类。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述结构数据分析方法所述的步骤。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述结构数据分析方法所述的步骤。
一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现上述结构数据分析方法所述的步骤。
上述结构数据分析方法、装置、计算机设备、存储介质和计算机程序产品,获取第一树结构和第二树结构,第一树结构和第二树结构分别对应的信息资源属于同一类型,树结构用于描述信息资源的组织结构,获取第一树结构和第二树结构中各个树分支分别对应的贡献度,将第一树结构中的第一树分支和第二树结构中的第二树分支进行匹配,得到至少一个匹配对,匹配对包括匹配的第一树分支和第二树分支,将同一匹配对中各个树分支对应的贡献度、以及树分支之间的树分支相似度进行融合,得到各个第一匹配对和各个第二匹配对分别对应的树分支关联度,基于各个匹配对分别对应的树分支关联度和贡献度,得到第一树结构和第二树结构之间的树结构相似度;树结构相似度用于进行信息资源分类。可以理解,通过计算得到的树结构相似度可以实现对第一树结构和第二树结构对应的信息资源的快速分类、自动分类。进一步的,贡献度可以反映树分支在整个树结构中的重要程度,基于不同树结构之间相互匹配的树分支对应的贡献度和相互匹配的树分支之间的树分支相似度生成的树分支关联度,可以反映相互匹配的树分支在树结构上的关联程度,基于各个匹配对分别对应的树分支关联度和匹配对中树分支对应的贡献度得到的树结构相似度,可以准确反映第一树结构和第二树结构之间的相似程度,基于树结构相似度对第一树结构和第二树结构对应的信息资源分类,可以在提高分类效率的基础上有效保障分类准确性。
附图说明
图1为一个实施例中***告警处理方法和结构数据分析方法的应用环境图;
图2为一个实施例中***告警处理方法的流程示意图;
图3为一个实施例中计算告警关联度的流程示意图;
图4为一个实施例中W函数的示意图;
图5为一个实施例中告警收敛的流程示意图;
图6为一个实施例中确定告警关联度目标阈值的流程示意图;
图7为一个实施例中建立***故障分析库的流程示意图;
图8为一个实施例中结构数据分析方法的流程示意图;
图9为一个实施例中告警示例a和b的请求量数据曲线的示意图;
图10为一个实施例中告警示例a和b的根因集合的示意图;
图11为一个实施例中***告警处理装置的结构框图;
图12为一个实施例中结构数据分析装置的结构框图;
图13为一个实施例中计算机设备的内部结构图;
图14为另一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
云安全(Cloud Security)是指基于云计算商业模式应用的安全软件、硬件、用户、机构、安全云平台的总称。云安全融合了并行处理、网格计算、未知病毒行为判断等新兴技术和概念,通过网状的大量客户端对网络中软件行为的异常监测,获取互联网中木马、恶意程序的最新信息,并发送到服务端进行自动分析和处理,再把病毒和木马的解决方案分发到每一个客户端。
云安全主要研究方向包括:1.云计算安全,主要研究如何保障云自身及云上各种应用的安全,包括云计算机***安全、用户数据的安全存储与隔离、用户接入认证、信息传输安全、网络攻击防护、合规审计等;2.安全基础设施的云化,主要研究如何采用云计算新建与整合安全基础设施资源,优化安全防护机制,包括通过云计算技术构建超大规模安全事件、信息采集与处理平台,实现对海量信息的采集与关联分析,提升全网安全事件把控能力及风险控制能力;3.云安全服务,主要研究各种基于云计算平台为用户提供的安全服务,如防病毒服务等。
本申请实施例提供的***告警处理方法和结构数据分析方法,可以涉及到云技术中的云安全,具体可以涉及到云安全中的云安全服务,可以通过云计算技术实现对***告警的分类和后续处理。
本申请实施例提供的***告警处理方法和结构数据分析方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器104进行通信。数据存储***可以存储服务器104需要处理的数据。数据存储***可以集成在服务器104上,也可以放在云上或其他服务器上。其中,终端102可以但不限于是各种台式计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备,物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式***,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
终端和服务器均可单独用于执行本申请实施例中提供的***告警处理方法和结构数据分析方法。
例如,服务器获取第一***告警对应的第一根因集合和第二***告警对应的第二根因集合,基于根因集合中各个根因分别对应的子数据量,得到第一根因集合和第二根因集合中各个根因分别对应的异常贡献度。服务器将第一根因集合中的第一根因和第二根因集合中的第二根因进行匹配,得到至少一个匹配对,匹配对包括匹配的第一根因和第二根因。服务器将同一匹配对中各个根因分别对应的异常贡献度、以及根因之间的根因相似度进行融合,得到各个匹配对分别对应的根因关联度,基于各个匹配对分别对应的根因关联度和异常贡献度,得到第一***告警和第二***告警之间的告警关联度。告警关联度用于进行告警分类。
终端获取第一树结构和第二树结构,第一树结构和第二树结构分别对应的信息资源属于同一类型,树结构用于描述信息资源的组织结构。终端获取第一树结构和第二树结构中各个树分支分别对应的贡献度。终端将第一树结构中的第一树分支和第二树结构中的第二树分支进行匹配,得到至少一个匹配对,匹配对包括匹配的第一树分支和第二树分支。终端将同一匹配对中各个树分支对应的贡献度、以及树分支之间的树分支相似度进行融合,得到各个第一匹配对和各个第二匹配对分别对应的树分支关联度,基于各个匹配对分别对应的树分支关联度和贡献度,得到第一树结构和第二树结构之间的树结构相似度。树结构相似度用于进行信息资源分类。
终端和服务器也可协同用于执行本申请实施例中提供的***告警处理方法和结构数据分析方法。
例如,服务器向外提供应用和网络服务。其他设备(例如,终端或服务器)可以通过访问服务器来获取服务。服务器会对其中一些核心指标数据进行检测,一旦出现了异常情况,就会触发***告警。在触发第一***告警和第二***告警后,服务器基于第一***告警对应的第一根因集合和第二***告警对应的第二根因集合,计算第一***告警和第二***告警之间的告警关联度,基于告警关联度对第一***告警和第二***告警进行告警分类。服务器可以将告警分类结果向运维人员对应的终端返回。
服务器从终端获取第一信息资源对应的第一树结构和第二信息资源对应的第二树结构,计算第一树结构和第二树结构之间的树结构相似度,基于树结构相似度对第一信息资源和第二信息资源进行信息资源分类。服务器可以将信息资源分类结果向终端返回。
在一个实施例中,如图2所示,提供了一种***告警处理方法,以该方法应用于计算机设备来举例说明,计算机设备可以是终端或服务器,由终端或服务器自身单独执行,也可以通过终端和服务器之间的交互来实现。参考图2,***告警处理方法包括以下步骤:
步骤S202,获取第一***告警对应的第一根因集合和第二***告警对应的第二根因集合。
其中,***告警是在***出现异常时触发的警告。***对外提供应用和网络服务。***可以是软件***,也可以是软硬件结合的***,例如,计费***、电力***、广告管理***、网站管理***等。第一***告警和第二***告警是同一***对应的不同告警。
针对***告警的触发,可以预先设置告警指标,在***运行过程中,记录告警指标对应的指标数据的波动情况,在指标数据的波动幅度超出预期幅度时,触发***告警。例如,针对业务***,若告警指标为业务访问量,则可以在业务访问量骤降时,触发***告警;针对计费***,若告警指标为支付成功量,则可以在支付成功量骤降时,触发***告警。
通过归因分析可以得到***告警对应的根因集合。归因分析是指识别所有对最终结果有贡献的过程,归因分析还可以进一步确定每个过程的贡献度。针对***告警,归因分析具体是指异常维度归因分析,即对存在异常的指标数据进行归因分析,定位异常来源的维度组合。
第一根因集合是对第一***告警进行归因分析得到的根因集合,具体可以是对第一***告警对应的告警指标的指标数据进行归因分析得到的根因集合。第二根因集合是对第二***告警进行归因分析得到的根因集合,具体可以是对第二***告警对应的告警指标的指标数据进行归因分析得到的根因集合。
具体地,计算机设备可以在本地或从其他设备上获取第一***告警对应的第一根因集合和第二***告警对应的第二根因集合,基于第一根因集合和第二根因集合计算第一***告警和第二***告警之间的告警关联度,基于告警关联度对第一***告警和第二***告警进行告警分类。
步骤S204,基于根因集合中各个根因分别对应的子数据量,得到第一根因集合和第二根因集合中各个根因分别对应的异常贡献度。
其中,一个根因集合包括至少一个根因,根因集合存在对应的数据量,各个根因分别存在对应的子数据量。根因集合对应的数据量是指告警指标对应的指标数据,例如,若告警指标为请求量指标,则数据量是指具体的请求量、完整的请求量,根因集合中根因对应的子数据量是指在完整的请求量中,请求来源符合根因对应的维度组合的部分请求量。若根因集合中的一个根因是指来源区域为城市A,则该根因对应的子数据量是指在完整请求量对应的所有来源区域中,来源区域为城市A的请求量。
异常贡献度用于表征根因对***告警的贡献程度、重要程度、影响程度。根因对***告警越重要,根因对应的异常贡献度越大。
具体地,计算机设备可以获取第一根因集合和第二根因集合中各个根因分别对应的子数据量,基于第一根因集合中各个第一根因对应的子数据量计算得到各个第一根因分别对应的异常贡献度,基于第二根因集合中各个第二根因对应的子数据量计算得到第二根因分别对应的异常贡献度。例如,若根因对应的子数据量越大,则对应的异常贡献度越高。
在一个实施例中,基于根因集合对应的数据量和根因集合中根因对应的子数据量计算根因对应的异常贡献度。计算机设备基于第一根因集合对应的数据量和第一根因对应的子数据量计算第一根因对应的异常贡献度,分别计算各个第一根因对应的异常贡献度,最终得到各个第一根因分别对应的贡献度。计算机设备基于第二根因集合对应的数据量和第二根因对应的子数据量计算第二根因对应的异常贡献度,分别计算各个第二根因对应的异常贡献度,最终得到各个第二根因分别对应的异常贡献度。例如,若根因对应的子数据量在数据量中的占比越大,则对应的异常贡献度越大。
可以理解,根因集合对应的数据量可以是对根因集合中根因对应的子数据量进行统计得到的。
在一个实施例中,子数据量包括当前子数据量和历史子数据量。在一个实施例中,基于根因集合中各个根因在当前子数据量和历史子数据量之间的差异,得到各个根因分别对应的异常贡献度。在一个实施例中,数据量也包括当前数据量和历史数据量。基于根因集合在当前数据量和历史数据量之间的差异、以及根因集合中根因在当前子数据量和历史子数据量之间的差异,计算根因对应的异常贡献度。
步骤S206,将第一根因集合中的第一根因和第二根因集合中的第二根因进行匹配,得到至少一个匹配对;匹配对包括匹配的第一根因和第二根因。
其中,第一根因集合包括至少一个第一根因,第二根因集合包括至少一个第二根因。将第一根因和第二根因进行匹配,用于查找与第一根因最相似的第二根因,与第二根因最相似的第一根因。
通过匹配可以得到至少一个匹配对。一个匹配对包括相互匹配的一个第一根因和一个第二根因。
具体地,计算机设备可以将第一根因集合中的第一根因和第二根因集合中的第二根因进行匹配,从第二根因集合中获取与第一根因匹配的第二根因,从第一根因集合中获取与第二根因匹配的第一根因,将一对匹配的第一根因和第二根因组成匹配对,最终得到至少一个匹配对。
步骤S208,将同一匹配对中各个根因分别对应的异常贡献度、以及根因之间的根因相似度进行融合,得到各个匹配对分别对应的根因关联度。
其中,根因相似度用于表征根因之间的相似程度。两个根因的相似程度越高,两个根因之间的根因相似度越大。可以采用相似度算法来计算根因之间的相似度。在一个实施例中,将根因转换为向量,以向量的形式计算两个根因之间的相似度,例如,可以计算余弦距离或欧式距离等表示向量之间距离的数据作为两个根因之间的相似度。在一个实施例中,基于两个根因之间的交集元素和并集元素计算两个根因之间的相似度。
根因关联度用于表征两个根因在***告警上的关联程度。关联程度越高,根因关联度越大。
具体地,计算机设备将同一匹配对中各个根因分别对应的异常贡献度、以及根因之间的根因相似度进行融合得到匹配对所对应的根因关联度,分别计算各个匹配对分别对应的根因关联度,最终得到各个匹配对分别对应的根因关联度。
步骤S210,基于各个匹配对分别对应的根因关联度和匹配对中根因对应的异常贡献度,得到第一***告警和第二***告警之间的告警关联度;告警关联度用于进行告警分类。
其中,告警关联度用于表征不同***告警之间的关联程序、相似程度。相似程度越高,告警关联度越大。
告警分类是指对***告警进行分类。基于告警关联度可以对***告警进行分类。例如,若第一***告警和第二***告警之间的告警关联度大于预设阈值,则将第一***告警和第二***告警归为一类***告警。
具体地,在得到根因对应的异常贡献度和匹配对所对应的根因关联度后,计算机设备基于各个匹配对分别对应的根因关联度和匹配对中根因对应的异常贡献度计算第一***告警和第二***告警之间的根因集合相似度,基于根因集合相似度得到第一***告警和第二***告警之间的告警关联度。例如,可以将根因集合相似度作为告警关联度。
后续,计算机设备可以基于第一***告警和第二***告警之间的告警关联度,对第一***告警和第二***告警进行告警分类,基于告警分类结果来进行进一步的告警处理。例如,将同一类***告警进行统一推送;将同一类***告警进行统一问题定位;等等。
上述***告警处理方法中,通过计算得到的告警关联度可以实现对第一***告警和第二***告警的快速分类、自动分类。进一步的,根因集合中的根因可以反映告警指标数据对应的异常维度组合,异常贡献度可以反映根因对***告警的贡献程度、影响程度,基于不同***告警之间相互匹配的根因对应的异常贡献度和相互匹配的根因之间的根因相似度生成的根因关联度,可以反映相互匹配的根因在***告警上的关联程度,基于各个匹配对分别对应的根因关联度和匹配对中根因对应的异常贡献度得到的告警关联度,可以准确反映第一***告警和第二***告警之间的关联程度、相似程度,基于告警关联度对第一***告警和第二***告警进行告警分类,可以在提高分类效率的基础上有效保障分类准确性。
在一个实施例中,基于根因集合中各个根因分别对应的子数据量,得到第一根因集合和第二根因集合中各个根因分别对应的异常贡献度,包括:
获取根因集合对应的数据量和根因集合中根因对应的子数据量;数据量包括当前数据量和历史数据量,子数据量包括当前子数据量和历史子数据量;对根因集合对应的历史数据量进行统计,得到根因集合对应的预测数据量,对根因集合中同一根因对应的历史子数据量进行统计,得到根因对应的预测子数据量;基于根因集合对应的当前数据量和预测数据量、以及根因集合中根因对应的当前子数据量和预测子数据量计算根因对应的异常贡献度,得到各个根因分别对应的异常贡献度。
其中,根因集合对应的数据量包括当前数据量和历史数据量。当前数据量是在触发***告警时生成的数据量,具体可以是告警指标对应的指标数据在当前、在告警时的真实值。历史数据量是在历史时间生成的数据量,具体可以是告警指标对应的指标数据在过去、在历史时的真实值。预测数据量是对历史数据量进行统计得到的,可以反映告警指标对应的指标数据在历史时的平均水平,用于表征告警指标对应的指标数据的期望值。例如,若告警指标为访问量指标,当前数据量为在触发***告警时的当前访问量,历史数据量为***在过去的历史访问量,预测数据量为历史访问量均值。
进一步的,历史数据量对应的生成时间和当前数据量对应的生成时间可以处于同一时间段。例如,当前数据量为今日7点至8点的访问量,历史数据量包括过去14天7点至8点的访问量,预测数据量为过去14天7点至8点的访问量的平均值。
根因集合中根因对应的子数据量包括当前子数据量和历史子数据量。当前子数据量是在当前数据量中,与根因匹配的部分数据量。历史子数据量是在历史数据量中,与根因匹配的部分数据量。例如,针对访问量指标,某个根因表示访问方式为移动端,当前数据量为触发***告警时的访问量,则该根因对应的当前子数据量为当前访问量中访问方式为移动端的访问量,历史数据量为历史时候的访问量,历史子数据量为历史访问量中访问方式为移动端的访问量。
预测子数据量是对历史子数据量进行统计得到的。例如,计算各个历史子数据的平均值作为预测子数据;计算各个历史子数据的中位值作为预测子数据;等等。
具体地,计算机设备可以获取根因集合对应的数据量和根因集合中根因对应的子数据量,基于数据量和子数据量计算根因对应的异常贡献度。
计算机设备可以对同一根因集合对应的各个历史数据量进行统计,得到根因集合对应的预测数据量,例如,计算各个历史数据量的平均值作为预测数据量;计算各个历史数据量的中位值作为预测数据量;计算各个历史数据量的众数作为预测数据量;等等。分别统计各个根因集合对应的历史数据量,最终得到各个根因集合分别对应的预测数据量。可以理解,同一根因对应的各个历史数据量是不同历史时间对应的历史数据量。例如,针对某个根因集合,当前数据量为11月11日7点至8点的数据量,获取距离11月11日最近7天每天7点至8点的历史数据量作为该根因集合对应的各个历史数据量。
同理,计算机设备可以对同一根因集合中同一根因对应的历史子数据量进行统计,得到根因对应的预测子数据量,分别统计各个根因集合中各个根因对应的历史子数据量,得到各个根因分别对应的预测子数据量。计算机设备基于根因集合对应的当前数据量和预测数据量、以及根因集合中根因对应的当前子数据量和预测子数据量计算根因对应的异常贡献度,分别计算各个根因对应的异常贡献度,最终得到各个根因分别对应的异常贡献度。
在一个实施例中,计算机设备可以基于根因集合对应的当前数据量和预测数据量之间的差异,对根因集合中根因对应的当前子数据量和预测子数据量之间的差异进行归一化处理,从而得到根因对应的异常贡献度。归一化处理用于将根因对应的当前子数据量和预测子数据量之间的差异映射到一定范围内,以便比较、衡量不同根因对应的异常贡献度。
上述实施例中,对根因集合对应的历史数据量进行统计,得到根因集合对应的预测数据量,对根因集合中同一根因对应的历史子数据量进行统计,得到根因对应的预测子数据量,基于根因集合对应的当前数据量和预测数据量、以及根因集合中根因对应的当前子数据量和预测子数据量计算根因对应的异常贡献度。这样,综合历史数据量和当前数据量、历史子数据量和当前子数据量来计算得到异常贡献度,能够保障异常贡献度的准确性、可靠性。
在一个实施例中,基于根因集合对应的当前数据量和预测数据量、以及根因集合中根因对应的当前子数据量和预测子数据量计算根因对应的异常贡献度,得到各个根因分别对应的异常贡献度,包括:
基于当前根因对应的当前子数据量和预测子数据量之间的差异,得到第一差异;基于当前根因所属根因集合对应的当前数据量和预测数据量之间的差异,得到第二差异;基于第一差异和第二差异的比值,得到初始贡献度;基于初始贡献度确定当前根因对应的异常贡献度。
其中,当前根因是指当前处理的根因,可以是第一根因集合和第二根因集合中的任意根因。
具体地,在计算当前根因对应的异常贡献度时,计算机设备计算当前根因对应的当前子数据量和预测子数据量之间的差异作为第一差异,计算当前根因所属根因集合对应的当前数据量和预测数据量之间的差异作为第二差异,例如,将当前根因对应的当前子数据量和预测子数据量之间的差值作为第一差异,将当前根因所属根因集合对应的当前数据量和预测数据量之间的差值作为第二差异。第一差异可以反映当前数据相对于期望数据的波动情况,第二差异可以反映当前子数据相对于期望子数据的波动情况。进而,计算机设备计算第一差异和第二差异的比值作为初始贡献度,初始贡献度可以反映第二差异在第一差异中的占比,第二差异对第一差异的贡献程度,最终基于初始贡献度确定异常贡献度。例如,将初始贡献度作为异常贡献度;将初始贡献度和预设贡献度进行比较来确定异常贡献度;等等。
上述实施例中,基于当前根因对应的当前子数据量和预测子数据量之间的差异,得到第一差异,基于当前根因所属根因集合对应的当前数据量和预测数据量之间的差异,得到第二差异,基于第一差异和第二差异的比值,得到初始贡献度,基于初始贡献度确定当前根因对应的异常贡献度。这样,基于当前根因对应的第一差异在其所属根因集合对应的第二差异中的占比来确定异常贡献度,通过当前根因对应的异常波动情况在整个根因集合对应的异常波动情况中的占比来确定当前根因对应的异常贡献度,能够保障异常贡献度的准确性、可靠性。
在一个实施例中,基于初始贡献度确定当前根因对应的异常贡献度,包括:
获取预设贡献度;从预设贡献度和初始贡献度中,获取最大值作为当前根因对应的异常贡献度。
其中,预设贡献度是指预先设置的贡献度,用于作为参考数据。预设贡献度具体可以根据实际需要进行设置,例如,设置为0。
具体地,在基于初始贡献度确定异常贡献度时,计算机设备可以将初始贡献度和预设贡献度进行比较,从预设贡献度和初始贡献度中,获取最大值作为最终的异常贡献度。
上述实施例中,从预设贡献度和初始贡献度中,获取最大值作为当前根因对应的异常贡献度,能够通过预设贡献度约束异常贡献度的最小值,避免异常贡献度过小导致影响后续基于异常贡献度计算得到的告警关联度的准确性。
在一个实施例中,某个***告警对应的根因集合为该根因集合中每个根因对应一种异常维度组合,根因集合中第i个根因/>对应的异常维度组合为{A=a1,B=b1,C=C1,...}。根因/>对应的异常贡献度的计算公式如下:
其中,wi代表对应的异常贡献度,A代表告警指标对应的指标数据的真实值(即当前数据量),F代表告警指标对应的指标数据的预测值(即预测数据量),Ai代表/>对应的真实值(即当前子数据量),Fi代表/>对应的预测值(即预测子数据量)。
在一个实施例中,将第一根因集合中的第一根因和第二根因集合中的第二根因进行匹配,得到至少一个匹配对,包括:
从第二根因集合中,获取各个第一根因分别对应的匹配第二根因,将第一根因和对应的匹配第二根因组成匹配对;从第一根因集合中,获取各个第二根因分别对应的匹配第一根因,将第二根因和对应的匹配第一根因组成匹配对。
其中,匹配第二根因是指与第一根因匹配的第二根因。匹配第一根因是指与第二根因匹配的第一根因。
具体地,在将第一根因和第二根因进行匹配时,可以分别确定第一根因和第二根因分别对应的匹配根因。针对第一根因,将第一根因分别和第二根因集合中的各个第二根因进行匹配,确定第一根因对应的匹配第二根因,将一个第一根因和对应的匹配第二根因组成一个匹配对。为了保持对称性,针对第二根因,将第二根因分别和第一根因集合中的各个第一根因进行匹配,确定第二根因对应的匹配第一根因,将一个第二根因和对应的匹配第一根因组成一个匹配对。
例如,第一根因集合包括根因A1、根因A2、根因A3,第二根因集合包括根因B1和根因B2。针对第一根因集合,从根因B1和根因B2中,确定根因A1、根因A2、根因A3分别对应的匹配第二根因,可以得到三个匹配对。若根因A1和根因B1匹配成功,根因A2和根因B1匹配成功,根因A3和根因B2匹配成功,则根因A1和根因B1组成一个匹配对,根因A2和根因B1组成一个匹配对,根因A3和根因B2组成一个匹配对。针对第二根因集合,从根因A1、根因A2、根因A3中,确定根因B1和根因B2分别对应的匹配第二根因,可以得到两个匹配对。若根因B1和A2匹配成功,根因B2和A3匹配成功,则根因B1和A2组成一个匹配对、根因B2和A3组成一个匹配对。
上述实施例中,在将第一根因和第二根因进行匹配时,可以分别确定第一根因和第二根因分别对应的匹配根因,将第一根因和对应的匹配第二根因组成匹配对,将第二根因和对应的匹配第一根因组成匹配对,这样的匹配对能够保障后续数据处理的对称性,保障后续计算得到的告警关联度的准确性、可靠性。
在一个实施例中,根因对应异常维度组合,异常维度组合包括至少一个异常元素,异常元素包括异常维度和对应的维度值。
从待匹配根因集合中,获取各个当前根因分别对应的目标匹配根因,包括:
统计当前根因对应的异常维度组合分别和各个待匹配根因对应的异常维度组合之间的交集元素数量、并集元素数量;基于同一待匹配根因对应的交集元素数量和并集元素数量的比值,得到当前根因分别和各个待匹配根因之间的根因相似度;获取根因相似度最大值对应的待匹配根因作为当前根因对应的目标匹配根因。
其中,根因集合是通过对告警指标对应的维度特征进行维度归因分析确定的。通过维度归因分析,对一个指标按不同的维度进行细分查看,往往就能找到影响指标数据涨幅的维度组合。***对外提供应用和网络服务,维度归因分析可以是基于从请求服务到服务响应的服务过程,通过拆解分析找到与***告警的发生较相关的环节或链路作为异常维度组合。可以采用各种多维度归因算法进行维度归因分析来确定根因集合。
一个根因对应一个异常维度组合。一个异常维度组合包括至少一个异常元素。一个异常元素由一个异常维度和对应的维度值组成。例如,针对请求量指标,根因集合中的某个根因对应的异常维度组合为{请求方式=移动端,请求行为=支付,请求区域=城市A},“请求方式=移动端”、“请求行为=支付”、“请求区域=城市A”分别表示一个异常元素。以“请求方式=移动端”为例,请求方式表示异常维度,移动端表示对应的维度值。可以理解,针对同一***告警,不同根因对应的异常维度组合可以包括相同的异常元素,也可以包括不同的异常元素。针对同一***告警,不同根因对应的异常维度组合可以包含相同的异常维度,也可以包含不同的异常维度。
交集元素数量是指在两个异常维度组合的交集中,异常元素的数量。并集元素数量是指在两个异常维度组合的并集中,异常元素的数量。例如,若某个第一根因对应的异常维度组合为{A=a1、B=b1、C=c1},某个第二根因对应的异常维度组合为{B=b1、C=c1、D=d2},两个异常维度组合的交集元素包括“B=b1”、“C=c1”,交集元素数量为2,两个异常维度组合的并集元素包括“A=a1”、“B=b1”、“C=c1”和“D=d2”,并集元素数量为4。
在一个实施例中,维度包括用于表征请求方地理位置信息的区域维度、用于表征请求方请求渠道的渠道维度、用于表征请求方设备信息的请求方设备维度、用于表征请求方请求服务类型的服务类型维度、用于表征响应方设备信息的响应方设备维度等中的至少一者。
具体地,获取第一根因对应的匹配第二根因的方式和获取第二根因对应的匹配第一根因的方式相同。以当前根因为例,说明从待匹配根因集合中获取当前根因对应的目标匹配根因的过程。可以理解,若待匹配根因集合为第二根因集合,则当前根因为第一根因,当前根因对应的目标匹配根因为匹配第二根因。若待匹配根因集合为第一根因集合,则当前根因为第二根因,当前根因对应的目标匹配根因为匹配第一根因。
计算机设备获取当前根因对应的异常维度组合和待匹配根因集合中各个待匹配根因分别对应的异常维度组合,统计当前根因对应的异常维度组合分别和各个待匹配根因对应的异常维度组合之间的交集元素数量、并集元素数量,得到各个待匹配根因分别对应的交集元素数量、并集元素数量。针对某个待匹配根因,计算机设备计算该待匹配根因对应的交集元素数量和并集元素数量的比值,基于该比值得到当前根因和该待匹配根因之间的根因相似度。分别计算各个待匹配根因对应的比值,最终可以得到当前根因分别和各个待匹配根因之间的根因相似度。最终,从各个根因相似度中,获取根因相似度最大值对应的待匹配根因作为当前根因对应的目标匹配根因。
上述实施例中,统计当前根因对应的异常维度组合分别和各个待匹配根因对应的异常维度组合之间的交集元素数量、并集元素数量,基于同一待匹配根因对应的交集元素数量和并集元素数量的比值,得到当前根因分别和各个待匹配根因之间的根因相似度。这样,根因对应的异常维度组合中的异常元素通常是有限的,基于当前根因和待匹配根因之间的交集元素数量和并集元素数量的比值,可以快速计算得到当前根因和待匹配根因之间准确的根因相似度。进一步的,获取根因相似度最大值对应的待匹配根因作为当前根因对应的目标匹配根因,能够保障当前根因和对应的目标匹配根因最相似,最匹配。
在一个实施例中,采用Jaccard系数衡量任意两个根因的相似性:
其中,Jaccard系数表示两个根因对应的交集元素数量在并集元素数量中所占的比例。表示根因/>和根因/>之间的交集元素数量,/>表示根因/>和根因/>之间的并集元素数量。
在一个实施例中,如图3所示,基于各个匹配对分别对应的根因关联度和匹配对中根因对应的异常贡献度,得到第一***告警和第二***告警之间的告警关联度,包括:
步骤S302,基于各个匹配对分别对应的根因关联度和匹配对中根因对应的异常贡献度,得到第一***告警和第二***告警之间的根因集合相似度。
步骤S304,基于第一***告警和第二***告警之间的告警时间间隔,得到第一***告警和第二***告警之间的告警时间相似度。
步骤S306,融合根因集合相似度和告警时间相似度,得到告警关联度。
其中,根因集合相似度用于表征不同***告警的根因集合之间的相似程度,相似程度越高,根因集合相似度越大。告警时间相似度用于表征不同***告警的告警时间之间的相似程度,相似程序越高,告警时间相似度越大。
具体地,为了进一步提高告警关联度的准确性,计算机设备可以基于不同***告警的根因集合计算根因集合相似度,基于不同***告警的告警时间计算告警时间相似度,综合根因集合相似度和告警时间相似度来确定不同***告警之间的告警关联度。
针对第一***告警和第二***告警,具体可以基于各个匹配对分别对应的根因关联度和匹配对中根因对应的异常贡献度,计算第一***告警和第二***告警之间的根因集合相似度,具体可以基于第一***告警和第二***告警之间的告警时间间隔,计算第一***告警和第二***告警之间的告警时间相似度。
在一个实施例中,当告警时间间隔小于或等于预设时间间隔时,告警时间相似度随着告警时间间隔的增大而减小。预设时间间隔是指预先设置的时间间隔,具体可以根据实际需要进行设置。可以理解,若不同***告警的告警时间间隔在预设时间间隔内,表明不同***告警之间存在一定的关联,进一步的,若告警时间间隔越小,表明不同***告警之间的关联程度越大,若告警时间间隔越大,表明不同***告警之间的关联程度越小,因此,告警时间相似度随着告警时间间隔的增大而减小。进一步的,告警时间间隔大于预设时间间隔情况下的告警时间相似度小于告警时间间隔等于预设时间间隔情况下的告警时间相似度。可以理解,若不同***告警的告警时间间隔大于预设时间间隔,不同***告警之间通常关联不大。在一个实施例中,当告警时间间隔大于预设时间间隔时,告警时间相似度为预设时间相似度。预设时间相似度是预先设置的时间相似度,具体可以根据实际需要进行设置。例如,可以将预设时间相似度设置为0。
上述实施例中,基于各个匹配对分别对应的根因关联度和匹配对中根因对应的异常贡献度,计算第一***告警和第二***告警之间的根因集合相似度,基于第一***告警和第二***告警之间的告警时间间隔,计算第一***告警和第二***告警之间的告警时间相似度,融合根因集合相似度和告警时间相似度,得到告警关联度。这样,告警关联度融合有不同视角的相似度信息,能够提高告警关联度的准确性、可靠性。
在一个实施例中,基于各个匹配对分别对应的根因关联度和匹配对中根因对应的异常贡献度,得到第一***告警和第二***告警之间的根因集合相似度,包括:
对各个匹配对分别对应的根因关联度进行累积,得到关联度累积值;融合同一匹配对中各个根因对应的异常贡献度,得到各个匹配对分别对应的融合贡献度;对各个匹配对分别对应的融合贡献度进行累积,得到贡献度累积值;基于关联度累积值和贡献度累积值的比值,得到根因集合相似度。
具体地,在计算根因集合相似度时,计算机设备可以计算各个匹配对分别对应的根因关联度的累积值作为关联度累积值,也就是将各个匹配对分别对应的根因关联度的总和作为关联度累积值。计算机设备可以将同一匹配对中各个根因对应的异常贡献度进行融合得到融合贡献度,例如,计算同一匹配对中各个根因对应的异常贡献度的乘积作为融合贡献度,分别计算各个匹配对分别对应的融合贡献度,然后计算各个融合贡献度的累积值作为贡献度累积值,也就是将各个融合贡献度的总和作为贡献度累积值。关联度累积值用于作为分子,贡献度累积值用于作为分母,最终,计算机设备计算关联度累积值和贡献度累积值的比值,基于该比值得到根因集合相似度。
上述实施例中,对各个匹配对分别对应的根因关联度进行累积得到关联度累积值,关联度累积值相当于加权计算得到的贡献度累积值,其中的权重为根因相似度。融合同一匹配对中各个根因对应的异常贡献度,得到各个匹配对分别对应的融合贡献度;对各个匹配对分别对应的融合贡献度进行累积得到贡献度累积值,该贡献度累积值相当于无加权计算得到的贡献度累积值。基于关联度累积值和贡献度累积值的比值得到根因集合相似度,相当于基于无加权计算得到的贡献度累积值,对加权计算得到的贡献度累积值进行归一化,以约束根因集合相似度的取值范围。这样计算得到的根因集合相似度有助于在有限的取值范围内进行数值比较,这样计算得到的根因集合相似度有助于保障后续计算得到的告警关联度的准确性、可靠性。
在一个实施例中,基于第一***告警和第二***告警之间的告警时间间隔,得到第一***告警和第二***告警之间的告警时间相似度,包括:
当告警时间间隔小于或等于预设时间间隔时,将告警时间间隔和预设时间间隔的比值作为目标比值,基于目标比值得到中间值,将第一预设值和中间值之间的差异作为目标差异,基于目标差异得到告警时间相似度;中间值与目标比值呈正相关,目标差异和中间值呈负相关,告警时间相似度与目标差异呈正相关;当告警时间间隔大于预设时间间隔时,将第二预设值作为告警时间相似度;第二预设值小于在告警时间间隔等于预设时间间隔时对应的告警时间相似度。
其中,预设时间间隔是指预先设置的时间间隔,具体可以根据实际需要进行设置,例如,设置为30分钟。针对不同的***可以设置相同或不同的预设时间间隔。第一预设值和第二预设值是指预先设置的数值,具体可以根据实际需要进行设置。
具体地,计算机设备可以基于第一***告警和第二***告警之间的告警时间间隔与预设时间间隔的大小关系选择不同的方式来计算告警时间相似度。
在告警时间间隔小于或等于预设时间间隔的情况下,将告警时间间隔和预设时间间隔的比值作为目标比值,基于目标比值得到中间值,中间值与目标比值呈正相关,目标比值越大,中间值越大。例如,将目标比值作为中间值;将目标比值的二次方作为中间值,将目标比值的三次方作为中间值;等等。然后将第一预设值和中间值之间的差异作为目标差异,目标差异和中间值呈负相关,中间值越大,目标差异越小。最终基于目标差异得到告警时间相似度,告警时间相似度与目标差异呈正相关,目标差异越大,告警时间相似度越大。例如,将目标差异作为告警时间相似度;将目标差异的二次方作为告警时间相似度;将目标差异的三次方作为告警时间相似度;等等。可以理解,依据这样的计算方式,告警时间间隔越小,告警时间相似度越大。
在告警时间间隔大于预设时间间隔的情况下,将第二预设值作为告警时间相似度。可以理解,第二预设值小于在告警时间间隔等于预设时间间隔时对应的告警时间相似度,也就是,在告警时间间隔小于或等于预设时间间隔的情况下计算得到的告警时间相似度,大于在告警时间间隔大于预设时间间隔的情况下计算得到的告警时间相似度。
上述实施例中,当告警时间间隔小于或等于预设时间间隔时,基于告警时间间隔和预设时间间隔的比值得到中间值,基于第一预设值和中间值之间的差异得到告警时间相似度,可以使得告警时间间隔越小,告警时间相似度越大。当告警时间间隔大于预设时间间隔时,将第二预设值作为告警时间相似度,可以使得在告警时间间隔小于或等于预设时间间隔的情况下计算得到的告警时间相似度,大于在告警时间间隔大于预设时间间隔的情况下计算得到的告警时间相似度。异常产生时刻具有强烈的相关性,如某个***产生的异常,往往导致对应时刻大量告警的产生,而随着时间的推移,新的告警与该异常有关联的可能性越来越低。上述实施例中的计算方式,可以保障计算得到的告警时间相似度的准确性和可靠性,进而有助于保障后续计算得到的告警关联度的准确性、可靠性。
在一个实施例中,采用三次W函数计算告警时间相似度。W函数的函数图像如图4所示,若两个***告警的告警时间比较接近,对应的相关系数越高,而随着告警时间间隔增加到λ,对应的相关系数迅速衰减到0。
告警时间相似度的计算公式如下:
其中,ρ1表示告警时间相似度。t1表示第一***告警对应的告警时间。t2表示第二***告警对应的告警时间。λ表示预设时间间隔。|t1-t2|表示第一***告警和第二***告警之间的告警时间间隔。
在一个实施例中,假设告警a对应的根因集合为告警b对应的根因集合为/>告警a对应的根因集合中各个根因对应的异常贡献度为/>告警b对应的根因集合中各个根因对应的异常贡献度为
对于告警a,其任何一个根因都能在b中找到最相似的根因/>
同理,告警b中任何一个根因都能在a中找到最相似的根因/>
基于此,告警a和告警b的根因集合相似度:
基于上述公式定义的根因集合相似度具有以下特性:
变化范围介于0到1,数值越大,两个根因集合的根因集合相似度越高。
在一个实施例中,结合告警时间相似度和根因集合相似度计算告警关联度,告警关联度ρ=ρ1*ρ2,1>ρ>0,告警关联度的数值越大,表示两个告警越相似。
在一个实施例中,***告警处理方法还包括:
当告警关联度大于告警关联度目标阈值时,对第一***告警和第二***告警进行告警收敛,并对第一***告警和第二***告警进行联合告警推送;告警收敛用于在第一***告警和第二***告警中,将前向***告警作为主告警,将后向***告警作为子告警;当告警关联度小于或等于告警关联度目标阈值时,对第一***告警和第二***告警进行单独告警推送。
其中,告警关联度目标阈值是指预先设置或计算得到的、与告警关联度相关的阈值。若告警关联度目标阈值是指预先设置的,具体可以根据实际需要进行设置,例如,设置为0.6。
一般情况下,某个告警产生时,往往会伴随着其他告警,为了避免告警信息过多导致主要告警被忽略,可以对***告警进行收敛来减少告警信息的数量。告警收敛是指将关联程度较大的***告警收敛在一起。针对任意两个***告警,告警收敛具体用于将其中的前向***告警作为主告警,将其中的后向***告警作为子告警。针对任意两个***告警,其中告警时间更早的***告警为前向***告警,告警时间更晚的***告警为后向***告警。例如,第一***告警为某日7点触发的***告警,第二***告警为同日7点5分触发的***告警,则第一***告警为前向***告警,第二***告警为后向***告警。可以理解,主告警用于表征主要的***告警,子告警用于表征伴随产生的子告警。
联合告警推送是指将收敛在一起的***告警进行统一推送、联合推送。统一推送、联合推送具体可以是基于收敛在一起的***告警生成一条推送信息进行推送。单独告警推送是指将各个***告警分别进行单独推送。单独推送是基于一个***告警生成一条推送信息进行推送。在进行告警推送时,可以是将***告警推送至相关人员对应的终端,例如,推送至运维人员对应的终端,推送至服务部署客户对应的终端。可以理解,大型企业推出一些企业服务,其他企业(例如中小型企业)可以从大型企业按需采购部分企业服务进行进一步的部署,其他企业即为服务部署客户。为了保障服务正常稳定运行,大型企业可以对其中一些核心指标进行检测,一旦出现异常情况,触发了***告警,大型企业在经过告警收敛判断后再将告警信息推送至客户对应的终端。
具体地,在计算得到第一***告警和第二***告警之间的告警关联度后,可以通过比较告警关联度和告警关联度目标阈值来进行告警收敛判断。若告警关联度大于告警关联度目标阈值,表明第一***告警和第二***告警之间的关联程度较高,则对第一***告警和第二***告警进行告警收敛,并第一***告警和第二***告警进行联合告警推送,将第一***告警和第二***告警统一推送至相关人员对应的终端。若告警关联度小于或等于告警关联度目标阈值,表明第一***告警和第二***告警之间的关联程度较低,则对第一***告警和第二***告警进行单独告警推送,将第一***告警和第二***告警分别推送至相关人员对应的终端。
上述实施例中,当告警关联度大于告警关联度目标阈值时,自动对第一***告警和第二***告警进行告警收敛,后产生的告警被先产生的告警收敛,达到告警收敛的目的,并对第一***告警和第二***告警进行联合告警推送,能够有效节省推送资源、有效实现精准高效推送。当告警关联度小于或等于告警关联度目标阈值时,对第一***告警和第二***告警进行单独告警推送,能够保障告警推送的准确性、可靠性。
在一个实施例中,如图5所示,***告警处理方法还包括:
步骤S502,在预设时间窗口内,每获取到一个***告警,则基于更新的***告警和前向主告警之间的告警关联度进行告警收敛判断,基于告警收敛判断结果对前向主告警进行更新。
步骤S504,在预设时间窗口结束后,基于更新的各个前向主告警进行告警推送。
其中,预设时间窗口是指预先设置的时间窗口,具体可以根据实际需要进行设置,例如,设置为30分钟。不同的***可以设置相同或不同的预设时间窗口。
告警收敛判断是指判断是否需要进行告警收敛。告警收敛判断结果包括需要进行告警收敛和不需要进行告警收敛。若两个***告警之间的告警关联度大于告警关联度目标阈值,则这两个***告警需要进行告警收敛,若两个***告警之间的告警关联度小于或等于告警关联度目标阈值,则这两个***告警不需要进行告警收敛。
前向主告警是指在预设时间窗口内,在获取到新增的***告警之前已经确定的主告警。
具体地,通常情况下,告警是逐条流式产生的,并且某个告警产生时,往往会伴随着其他告警,为了提高推送效率、节约推送资源,可以对预设时间窗口内产生的***告警进行告警收敛判断,将需要进行告警收敛的***告警收敛在一起,再进行告警推送。
当获取到第一个***告警后,将第一个***告警对应的告警时间作为窗口起始时间,将第一个***告警作为起始的主告警、第一个前向主告警,在预设时间窗口内,每获取到一个***告警,就将新增的***告警和前向主告警进行告警收敛判断。若新增的***告警和前向主告警需要进行告警收敛,则将新增的***告警作为前向主告警的子告警,若新增的***告警和前向主告警不需要进行告警收敛,则将新增的***告警作为另一个前向主告警。在预设时间窗口结束后,可以得到至少一个前向主告警,基于各个前向主告警进行告警推送,例如,将前向主告警和前向主告警对应的子告警进行联合告警推送,将不同的前向主告警进行单独告警推送。
举例说明,假设在预设时间窗口内,依次产生的***告警包括告警A、告警B、告警C、告警D。在获取到告警A时,将告警A作为窗口起始时间,将告警A作为第一个前向主告警。在获取到告警B时,将告警B和告警A进行告警收敛判断,假设告警B和告警A需要进行告警收敛,则将告警B作为告警A的子告警。在获取到告警C时,将告警C和告警A进行告警收敛判断,假设告警C和告警A不需要进行告警收敛,则将告警C作为第二个前向主告警。在获取到告警D时,将告警D分别和告警A、告警C进行告警收敛判断,假设告警D和告警C需要进行告警收敛,则将告警D作为告警C的子告警。最终,将告警B和告警A进行联合告警推送,告警A为主告警,告警B为子告警,将告警D和告警C进行联合告警推送,告警C为主告警,告警D为子告警。
上述实施例中,在一定时间窗口内,持续判断后产生的告警是否需要被先产生的主告警进行收敛,能够实现准确的告警收敛,进而有助于提高告警推送的准确性和效率。
在一个实施例中,如图6所示,***告警处理方法还包括:
步骤S602,获取第一历史***告警集合;第一历史***告警集合包括多个历史***告警对和历史***告警对所对应的目标收敛标签。
步骤S604,计算历史***告警对中历史***告警之间的告警关联度,基于告警关联度和告警关联度初始阈值,对历史***告警对进行告警收敛判断,基于告警收敛判断结果得到历史***告警对所对应的预测收敛标签。
步骤S606,基于同一历史***告警对所对应的目标收敛标签和预测收敛标签之间的差异,对告警关联度初始阈值进行调整,得到告警关联度目标阈值。
其中,第一历史***告警集合包括多个历史***告警对和各个历史***告警对分别对应的目标收敛标签。一个历史***告警对包括两个历史***告警。历史***告警是指在历史时间生成的***告警,也可以称为存量告警。收敛标签用于表征***告警是否与其他***告警收敛。收敛标签包括收敛和不收敛。目标收敛标签是指正确的收敛标签。目标收敛标签可以是预先对历史***告警对中的历史***告警进行收敛标签标注得到的,例如,通过专业人员进行收敛标签标注,专业人员在终端上对历史***告警对进行收敛标签标注。而预测收敛标签是指预测的收敛标签,是基于告警关联度和告警关联度初始阈值进行告警收敛判断得到的预测标签。
告警关联度初始阈值是指初始的告警关联度阈值,例如,可以是随机初始化得到的。告警关联度目标阈值是指最终的告警关联度阈值,用于对新增的***告警进行告警收敛判断。
具体地,为了进一步提高告警收敛的准确性,计算机设备可以基于存量告警来优化告警关联度阈值。
首先,获取第一历史***告警集合,计算第一历史***告警集合中的任意历史***告警对中两个历史***告警之间的告警关联度,基于告警关联度和告警关联度初始阈值,对历史***告警对中的历史***告警进行告警收敛判断,基于告警收敛判断结果确定历史***告警对所对应的预测收敛标签。针对某个历史***告警对,若两个历史***告警之间的告警关联度大于告警关联度初始阈值,则这两个历史***告警需要进行告警收敛,该历史***告警对所对应的预测收敛标签为收敛。针对某个历史***告警对,若两个历史***告警之间的告警关联度小于或等于告警关联度初始阈值,则这两个历史***告警不需要进行告警收敛,该历史***告警对所对应的预测收敛标签为不收敛。
进而,基于同一历史***告警对所对应的目标收敛标签和预测收敛标签之间的差异计算收敛准确度,基于收敛准确度对告警关联度初始阈值进行调整,得到告警关联度目标阈值。若收敛准确度大于预设准确度,则将告警关联度初始阈值直接作为告警关联度目标阈值。若收敛准确度小于或等于预设准确度,则对告警关联度初始阈值进行调整,得到告警关联度中间阈值,将告警关联度中间阈值作为新的告警关联度初始阈值,基于告警关联度和新的告警关联度初始阈值,对历史***告警对重新进行告警收敛判断,基于告警收敛判断结果确定新的预测收敛标签,基于目标收敛标签和新的预测收敛标签重新计算收敛准确度,基于新的收敛准确度判断是否需要继续对告警关联度初始阈值进行调整,若新的收敛准确度大于预设准确度,则将新的告警关联度初始阈值(即告警关联度中间阈值)作为告警关联度目标阈值,若新的收敛准确度依然小于或等于预设准确度,则继续对告警关联度初始阈值进行调整,直至得到告警关联度目标阈值。
在计算收敛准确度时,可以统计目标收敛标签和预测收敛标签一致的历史***告警对的数量作为正确预测数量,统计第一历史***告警集合中历史***告警对的数量作为总数量,将正确预测数量和总数量的比值作为收敛准确度。
上述实施例中,基于已知是否收敛的历史***告警对来优化告警关联度初始阈值,能够可以得到准确的告警关联度目标阈值,后续基于告警关联度目标阈值来进行告警收敛判断,可以实现准确的告警收敛。
在一个实施例中,如图7所示,***告警处理方法还包括:
步骤S702,获取第二历史***告警集合。
步骤S704,针对第二历史***告警集合,计算各个历史***告警之间的告警关联度,将告警关联度转换为告警距离,得到各个历史***告警之间的告警距离。
步骤S706,基于告警距离,对第二历史***告警集合中各个历史***告警进行聚类,得到聚类簇。
其中,告警距离用于表征不同***告警之间的差异。可以理解,两个***告警之间的关联程度越大,告警关联度越大,但是告警距离越远。
聚类是一种对数据对象进行划分的分析手段,可以将大量对象分成由类似对象组成的多个聚类簇。聚类可以使得划分后相同类别的数据对象尽可能相似,而不同类别的数据对象尽可能不同。可以采用聚类算法来进行聚类,常用的聚类算法包括K-Means、DBSCAN-基于密度的空间聚类算法、层次聚类、均值漂移聚类、谱聚类等等。
具体地,历史***告警除了用于优化告警关联度阈值,还可以用于建立***故障分析库。计算机设备可以获取第二历史***告警集合,第二历史***告警集合包括多个历史***告警,基于第二历史***告警集合建立***故障分析库,***故障分析库后续可以用于实现故障场景自动定位。
具体可以计算第二历史***告警集合中各个历史***告警两两之间的告警关联度,并将告警关联度转换为告警距离,告警距离和告警关联度呈反比,告警关联度越大,告警距离越小。进而,基于告警距离对第二历史***告警集合中各个历史***告警进行聚类,得到多个聚类簇,一个聚类簇包括相似的至少一个历史***告警,不同的聚类簇包括不同的历史***告警。
步骤S708,确定各个聚类簇分别对应的***故障场景。
步骤S710,基于各个聚类簇和对应的***故障场景建立***故障分析库。
其中,***故障场景用于标识一类***故障。一个聚类簇对应一个***故障场景。不同的聚类簇对应不同的***故障场景。***故障分析库包括多个***故障场景和各个***故障场景分别对应的聚类簇。
具体地,在经过聚类得到多个聚类簇后,计算机设备可以进一步确定各个聚类簇分别对应的***故障场景,例如,通过专业人员进行***故障场景标注,专业人员在终端上对各个聚类簇进行***故障场景标志;基于***故障原因确定***故障场景;等等。最终,计算机设备基于各个聚类簇和对应的***故障场景建立***故障分析库,将各个聚类簇和各个聚类簇分别对应的***故障场景组成***故障分析库。
上述实施例中,计算第二历史***告警集合中各个历史***告警之间的告警关联度,将告警关联度转换为告警距离,基于告警距离对第二历史***告警集合中各个历史***告警进行聚类,基于聚类得到的各个聚类簇和各个聚类簇对应的***故障场景可以快速建立***故障分析库,并且***故障分析库后续可以用于实现故障场景自动定位。
在一个实施例中,***告警处理方法还包括:
获取待识别***故障对应的目标根因集合;从***故障分析库中,基于目标根因集合确定待识别***故障对应的匹配聚类簇;将匹配聚类簇对应的***故障场景作为待识别***故障对应的***故障场景。
其中,待识别***故障是指待识别其对应的***故障场景的***故障。目标根因集合是指待识别***故障对应的根因集合。
具体地,***故障分析库可以用于实现故障场景自动定位,具体可以基于根因集合和***故障分析库实现故障场景的自动定位。计算机设备获取待识别***故障,确定待识别***故障对应的目标根因集合,基于目标根因集合从***故障分析库中确定与待识别***故障匹配的聚类簇作为匹配聚类簇,将匹配聚类簇对应的***故障场景作为待识别***故障对应的***故障场景。
针对匹配聚类簇的确定,***故障分析库可以进一步包括各个聚类簇分别对应的聚类根因集合,将待识别***故障对应的目标根因集合分别和各个聚类根因集合进行匹配,将匹配成功的聚类根因集合所对应的聚类簇作为待识别***故障对应的匹配聚类簇。例如,计算聚类根因集合和历史根因集合之间的根因集合相似度,将根因集合相似度最大的聚类根因集合作为匹配成功的聚类根因集合;从大于预设相似度的各个根因集合相似度中,获取根因集合相似度最大的聚类根因集合作为匹配成功的聚类根因集合;统计聚类根因集合和历史根因集合之间的根因重合比例,将根因重合比例最大的聚类根因集合作为匹配成功的聚类根因集合;从大于预设重合比例的各个根因重合比例中,获取根因重合比例最大的聚类根因集合作为匹配成功的聚类根因集合;等等。其中,聚类根因集合可以是对同一聚类簇中各个历史***故障分别对应的历史根因集合进行统计得到的,例如,获取各个历史根因集合的交集作为聚类根因集合;获取各个历史根因集合的并集作为聚类根因集合;等等。历史根因集合是指历史***故障对应的根因集合。根因重合比例是指两个根因集合的根因重合数量和根因数量最大值的比值,根因数量最大值是指两个根因集合对应的根因数量中的最大值;等等。
在确定待识别***故障对应的***故障场景后,可以将待识别***故障对应的***故障场景推送至相关人员对应的终端,以便进行后续的故障处理,例如,推送至运维人员对应的终端,以便运维人员进行故障定位、故障修复。
在一个实施例中,若待识别***故障为主故障,则在进行联合告警推送之前,基于***故障分析库确定待识别***故障对应的***故障场景,在进行联合告警推送时,将待识别***故障、待识别***故障对应的***故障场景和待识别***故障对应的子告警一并推送至相关人员对应的终端。
上述实施例中,从***故障分析库中,基于待识别***故障对应的目标根因集合确定待识别***故障对应的匹配聚类簇,将匹配聚类簇对应的***故障场景作为待识别***故障对应的***故障场景。这样,借助***故障分析库能够自动识别待识别***故障对应的***故障场景。
在一个实施例中,如图8所示,提供了一种结构数据分析方法,以该方法应用于计算机设备来举例说明,计算机设备可以是终端或服务器,由终端或服务器自身单独执行,也可以通过终端和服务器之间的交互来实现。参考图8,结构数据分析方法包括以下步骤:
步骤S802,获取第一树结构和第二树结构;第一树结构和第二树结构分别对应的信息资源属于同一类型,树结构用于描述信息资源的组织结构。
其中,信息资源是指可以通过树结构来描述数据结构的数据对象。树结构是一种数据组织形式,具体是将信息资源的数据元素按分支关系组织起来的结构,用于描述信息资源的组织结构。
第一树结构和第二树结构是同一类型下不同信息资源分别对应的树结构。例如,第一树结构是书籍A对应的书籍结构,第二树结构是书籍B对应的书籍结构;第一树结构是网站C对应的网站结构,第二树结构是网站D对应的网站结构;第一树结构是数据库E对应的数据库结构,第二树结构是数据库F对应的数据库结构;等等。
具体地,计算机设备可以在本地或从其他设备上获取第一信息资源对应的第一树结构和第二信息资源对应的第二树结构,基于第一树结构和第二树结构计算第一树结构和第二树结构之间的树结构相似度,基于树结构相似度对第一信息资源和第二信息资源进行信息资源分类。
步骤S804,获取第一树结构和第二树结构中各个树分支分别对应的贡献度。
其中,贡献度用于表征树分支对树结构的贡献程度、重要程度、影响程度。贡献度可以是预设设置的,也可以是基于自定义算法或公式计算得到的。以书籍为例,可以基于书籍的目录生成书籍对应的树结构,可以预先设置书籍中重要章节所在树分支对应的贡献度为第一贡献度,其他章节所在树分支对应的贡献度为第二贡献度,第一贡献度大于第二贡献度,例如,第一贡献度为1,第二贡献度为0。也可以基于章节的页数来生成对应的贡献度,例如,某一章节对应的页数越多则章节所在树分支对应的贡献度越大。
可以理解,树结构通常由多个节点组成,从根节点到叶节点的一条路径为一个树分支。根节点是指树结构中的起始节点,根节点一般位于树结构中最顶端。在树结构中,跟节点存在至少一个对应的子节点。叶节点是指树结构中的终止节点,叶节点一般位于树结构中最低端,叶子节点不存在对应的子节点。
步骤S806,将第一树结构中的第一树分支和第二树结构中的第二树分支进行匹配,得到至少一个匹配对;匹配对包括匹配的第一树分支和第二树分支。
其中,第一树结构包括至少一个第一树分支,第二树结构包括至少一个第二树分支。将第一树分支和第二树分支进行匹配,用于查找与第一树分支最相似的第二树分支,与第二树分支最相似的第一树分支。
通过匹配可以得到至少一个匹配对。一个匹配对包括一个第一树分支和一个第二树分支。
具体地,计算机设备可以将第一树结构中的第一树分支和第二树结构中的第二树分支进行匹配,从第二树结构中获取与第一树分支匹配的第二树分支,从第一树结构中获取与第二树分支匹配的第一树分支,将一对匹配的第一树分支和第二树分支组成匹配对,最终得到至少一个匹配对。
可以理解,树分支的匹配方式可以参考前述***告警处理方法中根因的匹配方式,例如,针对第一树分支,计算第一树分支分别和各个第二树分支之间的树分支相似度,获取树分支相似度最大的第二树分支作为与第一树分支匹配的第二树分支。
步骤S808,将同一匹配对中各个树分支对应的贡献度、以及树分支之间的树分支相似度进行融合,得到各个第一匹配对和各个第二匹配对分别对应的树分支关联度。
其中,树分支相似度用于表征树分支之间的相似程度。两个树分支的相似程度越高,两个树分支之间的树分支相似度越大。可以理解,树分支相似度的计算方式可以参考前述***告警处理方法中根因相似度的计算方式。
树分支关联度用于表征两个树分支在树结构上的关联程度。关联程度越高,树分支关联度越大。
具体地,计算机设备将同一匹配对中各个树分支分别对应的贡献度、以及树分支之间的树分支相似度进行融合得到匹配对所对应的树分支关联度,分别计算各个匹配对分别对应的树分支关联度,最终得到各个匹配对分别对应的树分支关联度。
可以理解,树分支关联度的计算方式可以参考前述***告警处理方法中根因关联度的计算方式。
步骤S810,基于各个匹配对分别对应的树分支关联度和贡献度,得到第一树结构和第二树结构之间的树结构相似度;树结构相似度用于进行信息资源分类。
其中,树结构相似度用于表征不同树结构之间的相似程度。相似程度越高,树结构相似度越大。
信息资源分类是指对信息资源进行分类。基于树结构相似度可以对信息资源进行分类。例如,若第一信息资源和第二信息资源之间的树结构相似度大于预设阈值,则将第一信息资源和第二信息资源归为一类信息资源。
具体地,在得到树分支对应的贡献度和匹配对所对应的树分支关联度后,计算机设备基于各个匹配对分别对应的树分支关联度和匹配对中树分支对应的贡献度计算第一信息资源和第二信息资源之间的树结构相似度。
后续,计算机设备可以基于第一信息资源和第二信息资源之间的树结构相似度,对第一信息资源和第二信息资源进行分类,基于信息资源分类结果来进行进一步的信息资源处理。例如,在信息资源展示时,将同一类信息资源进行集中展示;在信息资源推荐时,从同一类信息资源中将热度最高的信息资源作为目标推荐资源,基于各个目标推荐资源组成最终推荐结果;在信息资源搜索时,从同一类信息资源中将热度最高的信息资源作为目标召回资源,基于各个目标召回资源组成最终搜索结果;等等。
可以理解,树结构相似度的计算方式可以参考前述***告警处理方法中根因集合相似度的计算方式。
通过本申请的结构数据分析方法计算得到的树结构相似度进行信息资源分类,能够提高计算机设备的推送效率,节约计算机设备的推送资源。例如,通过树结构相似度进行信息资源分类可以得到准确的信息资源分类结果,在信息资源推荐时,从同一类信息资源中确定目标推荐资源,基于各个目标推荐资源组成最终推荐结果,将最终推荐结果推送至用户终端。可以理解,从不同类信息资源中确定的目标推荐资源是不同类别的目标推荐资源,可以有效避免重复推荐。在信息资源搜索时,从同一类信息资源中确定目标召回资源,基于各个目标召回资源组成最终搜索结果,将最终搜索结果推送至用户终端。可以理解,从不同类信息资源中确定的目标召回资源是不同类别的目标召回资源,向用户终端返回的搜索结果可以包括多样化的目标召回资源,从而能够有效避免用户的频繁搜索。
上述结构数据分析方法,通过计算得到的树结构相似度可以实现对第一树结构和第二树结构对应的信息资源的快速分类、自动分类。进一步的,贡献度可以反映树分支在整个树结构中的重要程度,基于不同树结构之间相互匹配的树分支对应的贡献度和相互匹配的树分支之间的树分支相似度生成的树分支关联度,可以反映相互匹配的树分支在树结构上的关联程度,基于各个匹配对分别对应的树分支关联度和匹配对中树分支对应的贡献度得到的树结构相似度,可以准确反映第一树结构和第二树结构之间的相似程度,基于树结构相似度对第一树结构和第二树结构对应的信息资源分类,可以在提高分类效率的基础上有效保障分类准确性。
在一个具体的实施例中,本申请提供的***告警处理方法可以应用于运维***。大型互联网公司通过服务器向外提供大量的应用和网络服务,为了保证整个服务***的正常运行,总会对其中一些核心指标数据进行监测,一旦出现了异常情况,相关***负责人需要第一时间进行响应处理。
参考图9,核心指标数据会实时上传到运维***进行统一记录,形成图中所示时序数据。若发现某天17:55服务***发生故障,导致多条检测对象的请求量发生了断崖式下降,运维***识别到该异常,并随后几分钟产生了多个异常告警。针对这段时间上下游子***产生的两个告警a和b,对应的时序数据分别为图9中a)和b)所示,曲线a)和b)均在17:55时刻发生突降,请求量分别由1931降为1232和由2380降为1741。其中,细曲线为当天的时序数据,粗曲线为基于历史数据计算出来的预测数据。可以发现,这两条告警曲线形状具有较大差别,在异常时刻,告警a请求量相比预测值减少了699,降幅36%,而告警b在该时刻请求量相比预测值减少了639,降幅27%。
通过维度归因分析发现,告警a的请求量下降由4个维度组合构成根因集合,根因集合可以通过树结构来表示。参考图10,每条路径代表一个根因,一个根因对应一个异常维度组合, 对应的权重(即异常贡献度)分别为(0.056,0.107,0.325,0.514)。告警b的请求量下降由2个维度组合构成根因集合: 对应的权重分别为(0.314,0.687)。其中,应用E表示应用程序E。
首先,告警a、b均在17:55时刻发生异常,t1-t2=0,告警时间相似度ρ1=1。
其次,根因集合相似度ρ2计算步骤为:
1、初始化分子Sup=0,分母Slow=0
2、对于告警a中的任意一个根因,利用公式2计算它与告警b中所有根因的Jaccard系数。如图10的a)所示,告警a的粗线条路径所示根因 与告警b中两个根因/>和/>的Jaccard系数分别为3/5和2/6。告警b中与告警a中根因/>最相似的根因为/>如图10的b)中粗线条路径所示。
3、将分值3/5×0.107×0.314=0.020和0.107×0.314=0.033分别添加到Sup和Slow
4、遍历告警a中所有根因。
5、为了保持对称性,对于告警b的根因集合重复上述2、3、4过程。
6、根因集合相似度ρ2=Sup/Slow=0.537
7、最后,告警a和b的告警关联度为ρ1×ρ2=0.537。
此外,通过本申请提供的***告警处理方法计算得到的告警关联度,可以应用于以下场景中实现对***告警的聚类:
场景一:通常的告警***,采用流式计算方式,告警是逐条产生,在该场景下,可以计算一定时间窗口内的***告警之间的告警关联度,如果告警关联度大于告警关联度阈值,则后产生的告警被先产生的告警收敛,达到告警收敛的目的。
场景二:在对存量告警进行分析时,可以将告警关联度转换成告警距离,告警距离为1-ρ1×ρ2,再对存量告警进行聚类,可以将不同类别与对应的***故障场景进行关联,构建***故障场景分析库,***故障场景分析库用于实现故障自动识别与诊断。基于存量告警对应的告警关联度可以优化场景一中的告警关联度阈值。
在一些运维场景,由于***故障或者外界网络攻击下,***的重要业务数据可能发生剧烈变动,会导致对应的运维***出现大量的告警。而由于这些业务数据所属***不同或检测角度不同,这些业务数据曲线本身形状千差万别,很难基于曲线本身的相似度告警进行收敛,进而导致运维人员在面对这些大量的异常告警时往往难以理清逻辑,甚至顾此失彼,无法在第一时间内解决最核心的问题。通过本申请提供的***告警处理方法,从根因分析的角度,能够在一定程度对这些告警进行聚类和收敛,减少大量的重复无效告警,帮助运维人员或业务人员快速定位到核心的有问题维度,加速***恢复正常。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的***告警处理方法的***告警处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个***告警处理装置实施例中的具体限定可以参见上文中对于***告警处理方法的限定,在此不再赘述。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的结构数据分析方法的结构数据分析装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个结构数据分析装置实施例中的具体限定可以参见上文中对于结构数据分析方法的限定,在此不再赘述。
在一个实施例中,如图11所示,提供了一种***告警处理装置,包括:根因集合获取模块1102、异常贡献度确定模块1104、根因匹配模块1106、数据融合模块1108和告警关联度确定模块1110,其中:
根因集合获取模块1102,用于获取第一***告警对应的第一根因集合和第二***告警对应的第二根因集合。
异常贡献度确定模块1104,用于基于根因集合中各个根因分别对应的子数据量,得到第一根因集合和第二根因集合中各个根因分别对应的异常贡献度。
根因匹配模块1106,用于将第一根因集合中的第一根因和第二根因集合中的第二根因进行匹配,得到至少一个匹配对;匹配对包括匹配的第一根因和第二根因。
数据融合模块1108,用于将同一匹配对中各个根因分别对应的异常贡献度、以及根因之间的根因相似度进行融合,得到各个匹配对分别对应的根因关联度。
告警关联度确定模块1110,用于基于各个匹配对分别对应的根因关联度和异常贡献度,得到第一***告警和第二***告警之间的告警关联度;告警关联度用于进行告警分类。
上述***告警处理装置,通过计算得到的告警关联度可以实现对第一***告警和第二***告警的快速分类、自动分类。进一步的,根因集合中的根因可以反映告警指标数据对应的异常维度组合,异常贡献度可以反映根因对***告警的贡献程度、影响程度,基于不同***告警之间相互匹配的根因对应的异常贡献度和相互匹配的根因之间的根因相似度生成的根因关联度,可以反映相互匹配的根因在***告警上的关联程度,基于各个匹配对分别对应的根因关联度和匹配对中根因对应的异常贡献度得到的告警关联度,可以准确反映第一***告警和第二***告警之间的关联程度、相似程度,基于告警关联度对第一***告警和第二***告警进行告警分类,可以在提高分类效率的基础上有效保障分类准确性。
在一个实施例中,异常贡献度确定模块1104还用于获取根因集合对应的数据量和根因集合中根因对应的子数据量;数据量包括当前数据量和历史数据量,子数据量包括当前子数据量和历史子数据量;对根因集合对应的历史数据量进行统计,得到根因集合对应的预测数据量,对根因集合中同一根因对应的历史子数据量进行统计,得到根因对应的预测子数据量;基于根因集合对应的当前数据量和预测数据量、以及根因集合中根因对应的当前子数据量和预测子数据量计算根因对应的异常贡献度,得到各个根因分别对应的异常贡献度。
在一个实施例中,异常贡献度确定模块1104还用于基于当前根因对应的当前子数据量和预测子数据量之间的差异,得到第一差异;基于当前根因所属根因集合对应的当前数据量和预测数据量之间的差异,得到第二差异;基于第一差异和第二差异的比值,得到初始贡献度;基于初始贡献度确定当前根因对应的异常贡献度。
在一个实施例中,异常贡献度确定模块1104还用于获取预设贡献度;从预设贡献度和初始贡献度中,获取最大值作为当前根因对应的异常贡献度。
在一个实施例中,根因匹配模块1106还用于从第二根因集合中,获取各个第一根因分别对应的匹配第二根因,将第一根因和对应的匹配第二根因组成匹配对;从第一根因集合中,获取各个第二根因分别对应的匹配第一根因,将第二根因和对应的匹配第一根因组成匹配对。
在一个实施例中,根因对应异常维度组合,异常维度组合包括至少一个异常元素,异常元素包括异常维度和对应的维度值。当待匹配根因集合为第二根因集合时,当前根因为第一根因,当前根因对应的目标匹配根因为匹配第二根因;当待匹配根因集合为第一根因集合,当前根因为第二根因,当前根因对应的目标匹配根因为匹配第一根因。
根因匹配模块1106还用于统计当前根因对应的异常维度组合分别和各个待匹配根因对应的异常维度组合之间的交集元素数量、并集元素数量;基于同一待匹配根因对应的交集元素数量和并集元素数量的比值,得到当前根因分别和各个待匹配根因之间的根因相似度;获取根因相似度最大值对应的待匹配根因作为当前根因对应的目标匹配根因。
在一个实施例中,告警关联度确定模块1110还用于基于各个匹配对分别对应的根因关联度和匹配对中根因对应的异常贡献度,得到第一***告警和第二***告警之间的根因集合相似度;基于第一***告警和第二***告警之间的告警时间间隔,得到第一***告警和第二***告警之间的告警时间相似度;融合根因集合相似度和告警时间相似度,得到告警关联度。
在一个实施例中,告警关联度确定模块1110还用于对各个匹配对分别对应的根因关联度进行累积,得到关联度累积值;融合同一匹配对中各个根因对应的异常贡献度,得到各个匹配对分别对应的融合贡献度;对各个匹配对分别对应的融合贡献度进行累积,得到贡献度累积值;基于关联度累积值和贡献度累积值的比值,得到根因集合相似度。
在一个实施例中,告警关联度确定模块1110还用于当告警时间间隔小于或等于预设时间间隔时,将告警时间间隔和预设时间间隔的比值作为目标比值,基于目标比值得到中间值,将第一预设值和中间值之间的差异作为目标差异,基于目标差异得到告警时间相似度;中间值与目标比值呈正相关,目标差异和中间值呈负相关,告警时间相似度与目标差异呈正相关;当告警时间间隔大于预设时间间隔时,将第二预设值作为告警时间相似度;第二预设值小于在告警时间间隔等于预设时间间隔时对应的告警时间相似度。
在一个实施例中,***告警处理装置还用于
当告警关联度大于告警关联度目标阈值时,对第一***告警和第二***告警进行告警收敛,并对第一***告警和第二***告警进行联合告警推送;告警收敛用于在第一***告警和第二***告警中,将前向***告警作为主告警,将后向***告警作为子告警;当告警关联度小于或等于告警关联度目标阈值时,对第一***告警和第二***告警进行单独告警推送。
在一个实施例中,***告警处理装置还用于:
在预设时间窗口内,每获取到一个***告警,则基于更新的***告警和前向主告警之间的告警关联度进行告警收敛判断,基于告警收敛判断结果对前向主告警进行更新;在预设时间窗口结束后,基于更新的各个前向主告警进行告警推送。
在一个实施例中,***告警处理装置还用于:
获取第一历史***告警集合;第一历史***告警集合包括多个历史***告警对和历史***告警对所对应的目标收敛标签;计算历史***告警对中历史***告警之间的告警关联度,基于告警关联度和告警关联度初始阈值,对历史***告警对进行告警收敛判断,基于告警收敛判断结果得到历史***告警对所对应的预测收敛标签;基于同一历史***告警对所对应的目标收敛标签和预测收敛标签之间的差异,对告警关联度初始阈值进行调整,得到告警关联度目标阈值。
在一个实施例中,***告警处理装置还用于:
获取第二历史***告警集合;针对第二历史***告警集合,计算各个历史***告警之间的告警关联度,将告警关联度转换为告警距离,得到各个历史***告警之间的告警距离;基于告警距离,对第二历史***告警集合中各个历史***告警进行聚类,得到聚类簇;确定各个聚类簇分别对应的***故障场景;基于各个聚类簇和对应的***故障场景建立***故障分析库。
在一个实施例中,***告警处理装置还用于:
获取待识别***故障对应的目标根因集合;从***故障分析库中,基于目标根因集合确定待识别***故障对应的匹配聚类簇;将匹配聚类簇对应的***故障场景作为待识别***故障对应的***故障场景。
在一个实施例中,如图12所示,提供了一种结构数据分析装置,包括:树结构获取模块1202、贡献度获取模块1204、树分支匹配模块1206、数据融合模块1208和树结构相似度确定模块1210,其中:
树结构获取模块1202,用于获取第一树结构和第二树结构;第一树结构和第二树结构分别对应的信息资源属于同一类型,树结构用于描述信息资源的组织结构。
贡献度获取模块1204,用于获取第一树结构和第二树结构中各个树分支分别对应的贡献度。
树分支匹配模块1206,用于将第一树结构中的第一树分支和第二树结构中的第二树分支进行匹配,得到至少一个匹配对;匹配对包括匹配的第一树分支和第二树分支。
数据融合模块1208,用于将同一匹配对中各个树分支对应的贡献度、以及树分支之间的树分支相似度进行融合,得到各个第一匹配对和各个第二匹配对分别对应的树分支关联度。
树结构相似度确定模块1210,用于基于各个匹配对分别对应的树分支关联度和贡献度,得到第一树结构和第二树结构之间的树结构相似度;树结构相似度用于进行信息资源分类。
上述结构数据分析装置,通过计算得到的树结构相似度可以实现对第一树结构和第二树结构对应的信息资源的快速分类、自动分类。进一步的,贡献度可以反映树分支在整个树结构中的重要程度,基于不同树结构之间相互匹配的树分支对应的贡献度和相互匹配的树分支之间的树分支相似度生成的树分支关联度,可以反映相互匹配的树分支在树结构上的关联程度,基于各个匹配对分别对应的树分支关联度和匹配对中树分支对应的贡献度得到的树结构相似度,可以准确反映第一树结构和第二树结构之间的相似程度,基于树结构相似度对第一树结构和第二树结构对应的信息资源分类,可以在提高分类效率的基础上有效保障分类准确性。
上述***告警处理装置或结构数据分析装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图13所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output,简称I/O)和通信接口。其中,处理器、存储器和输入/输出接口通过***总线连接,通信接口通过输入/输出接口连接到***总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储告警关联度阈值、历史***告警、根因集合对应的数据量、根因对应的子数据量等数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种***告警处理方法或结构数据分析方法。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图14所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中,处理器、存储器和输入/输出接口通过***总线连接,通信接口、显示单元和输入装置通过输入/输出接口连接到***总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种***告警处理方法或结构数据分析方法。该计算机设备的显示单元用于形成视觉可见的画面,可以是显示屏、投影装置或虚拟现实成像装置,显示屏可以是液晶显示屏或电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图13、14中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各方法实施例中的步骤。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (20)
1.一种***告警处理方法,其特征在于,所述方法包括:
获取第一***告警对应的第一根因集合和第二***告警对应的第二根因集合;
基于根因集合中各个根因分别对应的子数据量,得到所述第一根因集合和所述第二根因集合中各个根因分别对应的异常贡献度;
将所述第一根因集合中的第一根因和所述第二根因集合中的第二根因进行匹配,得到至少一个匹配对;所述匹配对包括匹配的第一根因和第二根因;
将同一匹配对中各个根因分别对应的异常贡献度、以及根因之间的根因相似度进行融合,得到各个匹配对分别对应的根因关联度;
基于各个匹配对分别对应的根因关联度和匹配对中根因对应的异常贡献度,得到所述第一***告警和所述第二***告警之间的告警关联度;所述告警关联度用于进行告警分类。
2.根据权利要求1所述的方法,其特征在于,所述基于根因集合中各个根因分别对应的子数据量,得到所述第一根因集合和所述第二根因集合中各个根因分别对应的异常贡献度,包括:
获取根因集合对应的数据量和根因集合中根因对应的子数据量;所述数据量包括当前数据量和历史数据量,所述子数据量包括当前子数据量和历史子数据量;
对根因集合对应的历史数据量进行统计,得到根因集合对应的预测数据量,对根因集合中同一根因对应的历史子数据量进行统计,得到根因对应的预测子数据量;
基于根因集合对应的当前数据量和预测数据量、以及根因集合中根因对应的当前子数据量和预测子数据量计算根因对应的异常贡献度,得到所述各个根因分别对应的异常贡献度。
3.根据权利要求2所述的方法,其特征在于,所述基于根因集合对应的当前数据量和预测数据量、以及根因集合中根因对应的当前子数据量和预测子数据量计算根因对应的异常贡献度,得到所述各个根因分别对应的异常贡献度,包括:
基于当前根因对应的当前子数据量和预测子数据量之间的差异,得到第一差异;
基于当前根因所属根因集合对应的当前数据量和预测数据量之间的差异,得到第二差异;
基于所述第一差异和所述第二差异的比值,得到初始贡献度;
基于所述初始贡献度确定所述当前根因对应的异常贡献度。
4.根据权利要求3所述的方法,其特征在于,所述基于所述初始贡献度确定所述当前根因对应的异常贡献度,包括:
获取预设贡献度;
从所述预设贡献度和所述初始贡献度中,获取最大值作为所述当前根因对应的异常贡献度。
5.根据权利要求1所述的方法,其特征在于,所述将所述第一根因集合中的第一根因和所述第二根因集合中的第二根因进行匹配,得到至少一个匹配对,包括:
从所述第二根因集合中,获取各个第一根因分别对应的匹配第二根因,将第一根因和对应的匹配第二根因组成匹配对;
从所述第一根因集合中,获取各个第二根因分别对应的匹配第一根因,将第二根因和对应的匹配第一根因组成匹配对。
6.根据权利要求5所述的方法,其特征在于,所述根因对应异常维度组合,所述异常维度组合包括至少一个异常元素,所述异常元素包括异常维度和对应的维度值;
当待匹配根因集合为第二根因集合时,当前根因为第一根因,当前根因对应的目标匹配根因为匹配第二根因;当待匹配根因集合为第一根因集合,当前根因为第二根因,当前根因对应的目标匹配根因为匹配第一根因;
从待匹配根因集合中,获取各个当前根因分别对应的目标匹配根因,包括:
统计当前根因对应的异常维度组合分别和各个待匹配根因对应的异常维度组合之间的交集元素数量、并集元素数量;
基于同一待匹配根因对应的交集元素数量和并集元素数量的比值,得到所述当前根因分别和各个待匹配根因之间的根因相似度;
获取根因相似度最大值对应的待匹配根因作为所述当前根因对应的目标匹配根因。
7.根据权利要求1所述的方法,其特征在于,所述基于各个匹配对分别对应的根因关联度和匹配对中根因对应的异常贡献度,得到所述第一***告警和所述第二***告警之间的告警关联度,包括:
基于各个匹配对分别对应的根因关联度和匹配对中根因对应的异常贡献度,得到所述第一***告警和所述第二***告警之间的根因集合相似度;
基于所述第一***告警和所述第二***告警之间的告警时间间隔,得到所述第一***告警和所述第二***告警之间的告警时间相似度;
融合所述根因集合相似度和所述告警时间相似度,得到所述告警关联度。
8.根据权利要求7所述的方法,其特征在于,所述基于各个匹配对分别对应的根因关联度和匹配对中根因对应的异常贡献度,得到所述第一***告警和所述第二***告警之间的根因集合相似度,包括:
对各个匹配对分别对应的根因关联度进行累积,得到关联度累积值;
融合同一匹配对中各个根因对应的异常贡献度,得到各个匹配对分别对应的融合贡献度;
对各个匹配对分别对应的融合贡献度进行累积,得到贡献度累积值;
基于所述关联度累积值和所述贡献度累积值的比值,得到所述根因集合相似度。
9.根据权利要求7所述的方法,其特征在于,所述基于所述第一***告警和所述第二***告警之间的告警时间间隔,得到所述第一***告警和所述第二***告警之间的告警时间相似度,包括:
当所述告警时间间隔小于或等于预设时间间隔时,将所述告警时间间隔和所述预设时间间隔的比值作为目标比值,基于所述目标比值得到中间值,将第一预设值和所述中间值之间的差异作为目标差异,基于所述目标差异得到所述告警时间相似度;所述中间值与所述目标比值呈正相关,所述目标差异和所述中间值呈负相关,所述告警时间相似度与所述目标差异呈正相关;
当所述告警时间间隔大于预设时间间隔时,将第二预设值作为所述告警时间相似度;所述第二预设值小于在告警时间间隔等于预设时间间隔时对应的告警时间相似度。
10.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当所述告警关联度大于告警关联度目标阈值时,对所述第一***告警和所述第二***告警进行告警收敛,并对所述第一***告警和所述第二***告警进行联合告警推送;所述告警收敛用于在所述第一***告警和所述第二***告警中,将前向***告警作为主告警,将后向***告警作为子告警;
当所述告警关联度小于或等于所述告警关联度目标阈值时,对所述第一***告警和所述第二***告警进行单独告警推送。
11.根据权利要求1至10中任一项所述的方法,其特征在于,所述方法还包括:
在预设时间窗口内,每获取到一个***告警,则基于更新的***告警和前向主告警之间的告警关联度进行告警收敛判断,基于告警收敛判断结果对前向主告警进行更新;
在预设时间窗口结束后,基于更新的各个前向主告警进行告警推送。
12.根据权利要求1至10中任一项所述的方法,其特征在于,所述方法还包括:
获取第一历史***告警集合;所述第一历史***告警集合包括多个历史***告警对和历史***告警对所对应的目标收敛标签;
计算所述历史***告警对中历史***告警之间的告警关联度,基于告警关联度和告警关联度初始阈值,对所述历史***告警对进行告警收敛判断,基于告警收敛判断结果得到所述历史***告警对所对应的预测收敛标签;
基于同一历史***告警对所对应的目标收敛标签和预测收敛标签之间的差异,对所述告警关联度初始阈值进行调整,得到告警关联度目标阈值。
13.根据权利要求1至10中任一项所述的方法,其特征在于,所述方法还包括:
获取第二历史***告警集合;
针对所述第二历史***告警集合,计算各个历史***告警之间的告警关联度,将告警关联度转换为告警距离,得到各个历史***告警之间的告警距离;
基于所述告警距离,对所述第二历史***告警集合中各个历史***告警进行聚类,得到聚类簇;
确定各个聚类簇分别对应的***故障场景;
基于各个聚类簇和对应的***故障场景建立***故障分析库。
14.根据权利要求13所述的方法,其特征在于,所述方法还包括:
获取待识别***故障对应的目标根因集合;
从所述***故障分析库中,基于所述目标根因集合确定所述待识别***故障对应的匹配聚类簇;
将所述匹配聚类簇对应的***故障场景作为所述待识别***故障对应的***故障场景。
15.一种结构数据分析方法,其特征在于,所述方法包括:
获取第一树结构和第二树结构;所述第一树结构和所述第二树结构分别对应的信息资源属于同一类型,树结构用于描述信息资源的组织结构;
获取所述第一树结构和所述第二树结构中各个树分支分别对应的贡献度;
将所述第一树结构中的第一树分支和所述第二树结构中的第二树分支进行匹配,得到至少一个匹配对;所述匹配对包括匹配的第一树分支和第二树分支;
将同一匹配对中各个树分支对应的贡献度、以及树分支之间的树分支相似度进行融合,得到各个第一匹配对和各个第二匹配对分别对应的树分支关联度;
基于各个匹配对分别对应的树分支关联度和贡献度,得到所述第一树结构和所述第二树结构之间的树结构相似度;所述树结构相似度用于进行信息资源分类。
16.一种***告警处理装置,其特征在于,所述装置包括:
根因集合获取模块,用于获取第一***告警对应的第一根因集合和第二***告警对应的第二根因集合;
异常贡献度确定模块,用于基于根因集合中各个根因分别对应的子数据量,得到所述第一根因集合和所述第二根因集合中各个根因分别对应的异常贡献度;
根因匹配模块,用于将所述第一根因集合中的第一根因和所述第二根因集合中的第二根因进行匹配,得到至少一个匹配对;所述匹配对包括匹配的第一根因和第二根因;
数据融合模块,用于将同一匹配对中各个根因分别对应的异常贡献度、以及根因之间的根因相似度进行融合,得到各个匹配对分别对应的根因关联度;
告警关联度确定模块,用于基于各个匹配对分别对应的根因关联度和异常贡献度,得到所述第一***告警和所述第二***告警之间的告警关联度;所述告警关联度用于进行告警分类。
17.一种结构数据分析装置,其特征在于,所述装置包括:
树结构获取模块,用于获取第一树结构和第二树结构;所述第一树结构和所述第二树结构分别对应的信息资源属于同一类型,树结构用于描述信息资源的组织结构;
贡献度获取模块,用于获取所述第一树结构和所述第二树结构中各个树分支分别对应的贡献度;
树分支匹配模块,用于将所述第一树结构中的第一树分支和所述第二树结构中的第二树分支进行匹配,得到至少一个匹配对;所述匹配对包括匹配的第一树分支和第二树分支;
数据融合模块,用于将同一匹配对中各个树分支对应的贡献度、以及树分支之间的树分支相似度进行融合,得到各个第一匹配对和各个第二匹配对分别对应的树分支关联度;
树结构相似度确定模块,用于基于各个匹配对分别对应的树分支关联度和贡献度,得到所述第一树结构和所述第二树结构之间的树结构相似度;所述树结构相似度用于进行信息资源分类。
18.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至15中任一项所述的方法的步骤。
19.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至15中任一项所述的方法的步骤。
20.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至15中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211481139.3A CN118069916A (zh) | 2022-11-24 | 2022-11-24 | ***告警处理方法、结构数据分析方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211481139.3A CN118069916A (zh) | 2022-11-24 | 2022-11-24 | ***告警处理方法、结构数据分析方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118069916A true CN118069916A (zh) | 2024-05-24 |
Family
ID=91096033
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211481139.3A Pending CN118069916A (zh) | 2022-11-24 | 2022-11-24 | ***告警处理方法、结构数据分析方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118069916A (zh) |
-
2022
- 2022-11-24 CN CN202211481139.3A patent/CN118069916A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10257211B2 (en) | Method, apparatus, and computer-readable medium for detecting anomalous user behavior | |
Aggarwal et al. | Event detection in social streams | |
CN111612041B (zh) | 异常用户识别方法及装置、存储介质、电子设备 | |
CN110826594B (zh) | 一种轨迹聚类的方法、设备及存储介质 | |
CN111612038B (zh) | 异常用户检测方法及装置、存储介质、电子设备 | |
CN109949154B (zh) | 客户信息分类方法、装置、计算机设备和存储介质 | |
CN110855648B (zh) | 一种网络攻击的预警控制方法及装置 | |
CN116305168B (zh) | 一种多维度信息安全风险评估方法、***及存储介质 | |
CN111738221A (zh) | 人脸聚类的方法、装置和计算机可读存储介质 | |
CN113900844A (zh) | 一种基于服务码级别的故障根因定位方法、***及存储介质 | |
CN114036826A (zh) | 模型训练方法、根因确定方法、装置、设备及存储介质 | |
US20170272362A1 (en) | Data communication systems and methods of operating data communication systems | |
CN113947800A (zh) | 一种基于时空碰撞的人脸置信方法、***、设备和介质 | |
CN117221087A (zh) | 告警根因定位方法、装置及介质 | |
CN109933575B (zh) | 监测数据的存储方法及装置 | |
CN114443437A (zh) | 告警根因输出方法、装置、设备、介质和程序产品 | |
CN113326064A (zh) | 划分业务逻辑模块的方法、电子设备及存储介质 | |
CN116805039B (zh) | 特征筛选方法、装置、计算机设备和数据扰动方法 | |
CN116881687B (zh) | 一种基于特征提取的电网敏感数据识别方法及装置 | |
CN118069916A (zh) | ***告警处理方法、结构数据分析方法和装置 | |
Ji et al. | A scalable algorithm for detecting community outliers in social networks | |
CN112364243B (zh) | 一种基于大数据的信息推荐*** | |
CN115619245A (zh) | 一种基于数据降维方法的画像构建和分类方法及*** | |
CN114117418A (zh) | 基于社群检测异常账户的方法、***、设备及存储介质 | |
Abdullah et al. | Predicting qos for web service recommendations based on reputation and location clustering with collaborative filtering |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |