CN117891643A - 一种异常指标排序方法、装置、电子设备和存储介质 - Google Patents
一种异常指标排序方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN117891643A CN117891643A CN202410089369.8A CN202410089369A CN117891643A CN 117891643 A CN117891643 A CN 117891643A CN 202410089369 A CN202410089369 A CN 202410089369A CN 117891643 A CN117891643 A CN 117891643A
- Authority
- CN
- China
- Prior art keywords
- index
- reconstruction
- sequence
- abnormal
- ranking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005856 abnormality Effects 0.000 title claims abstract description 118
- 238000000034 method Methods 0.000 title claims abstract description 71
- 230000002159 abnormal effect Effects 0.000 claims abstract description 151
- 238000001514 detection method Methods 0.000 claims abstract description 130
- 238000012163 sequencing technique Methods 0.000 claims abstract description 39
- 238000013507 mapping Methods 0.000 claims abstract description 21
- 230000006870 function Effects 0.000 claims description 39
- 238000006243 chemical reaction Methods 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 9
- 238000012546 transfer Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 6
- 239000003550 marker Substances 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 17
- 238000010586 diagram Methods 0.000 description 16
- 238000004422 calculation algorithm Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 238000012423 maintenance Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012804 iterative process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 125000000205 L-threonino group Chemical group [H]OC(=O)[C@@]([H])(N([H])[*])[C@](C([H])([H])[H])([H])O[H] 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Testing And Monitoring For Control Systems (AREA)
Abstract
本发明公开了一种异常指标排序方法、装置、电子设备和存储介质,涉及指标处理技术领域。该异常指标排序方法包括:根据获取到的异常指标数据集生成指标重构序列;基于预设异常检测阈值和指标重构序列确定异常检测结果;按照所述异常检测结果和排序分数标准化映射关系在异常检测时间内生成异常指标排序。可解决现有异常指标排序未考虑指标量纲以及时间维度的连续性的问题,可提高指标之间的关联性,增强异常指标排序的准确性,可提高异常指标的处理效率,增强***的稳定性。
Description
技术领域
本发明涉及指标处理技术领域,尤其涉及一种异常指标排序方法、装置、电子设备和存储介质。
背景技术
随着互联网和信息技术的迅猛发展,现代企业的运营环境变得越来越复杂,运维监控体系地位也日渐凸显,其可以帮助企业实时监控应用***、IT***和网络设备的性能和健康状况。在运维监控体系中,大量指标被监控,比如CPU使用率、内存使用率、磁盘空间占用率等,在***运行过程中,可能会出现多个指标同时异常的情况,此时就需要对这些异常指标进行排序,以确定哪些指标最为关键和紧急,需要优先处理,帮助运维人员更加高效地定位和解决问题。
目前,针对多指标异常排序存在基于阈值设定的排序方法,通过设置合适的阈值,将指标超过阈值的情况识别为异常,并根据异常程度进行排序。以及基于深度学习的方法,通过训练深度学习模型,从历史数据中学习指标之间的关联性,以及异常情况下的特征,从而对多指标进行排序。
然而,基于阈值设定的排序方法未考虑到指标之间复杂的关联性,且未考虑持续时间排序,会严重影响排序的准确性。基于深度学习的方法,虽然考虑了指标之间的关联性,但并未考虑异常排序在时间维度上的连续性和随机性。
发明内容
本发明提供了一种异常指标排序方法、装置、电子设备和存储介质,解决现有异常指标排序未考虑指标量纲以及时间维度的连续性的问题,可提高指标之间的关联性,增强异常指标排序的准确性,可提高异常指标的处理效率,增强***的稳定性。
第一方面,本发明实施例提供了一种异常指标排序方法,包括:
根据获取到的异常指标数据集生成指标重构序列;
基于预设异常检测阈值和指标重构序列确定异常检测结果;
按照异常检测结果和排序分数标准化映射关系在异常检测时间内生成异常指标排序。
第二方面,本发明实施例还提供了一种异常指标排序装置,包括:
序列构成模块,用于根据获取到的异常指标数据集生成指标重构序列;
异常检测模块,用于基于预设异常检测阈值和指标重构序列确定异常检测结果;
指标排序模块,用于按照异常检测结果和排序分数标准化映射关系在异常检测时间内生成异常指标排序。
第三方面,本发明实施例还提供了一种电子设备,包括:
至少一个处理器;以及
与至少一个处理器通信连接的存储器;其中,
存储器存储有可被至少一个处理器执行的计算机程序,计算机程序被至少一个处理器执行,以使至少一个处理器能够执行本发明实施例中任一项的异常指标排序方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其中,计算机可读存储介质存储有计算机指令,计算机指令用于使处理器执行时实现本发明实施例中任一项的异常指标排序方法。
根据本发明实施例的技术方案,通过将获取到的异常指标生成指标重构序列,按照预设异常检测阈值确定指标重构序列的异常检测结果,在异常检测时间内按照排序分数标准化映射关系确定异常检测结果对应的异常指标排序,可解决现有异常指标排序未考虑指标量纲以及时间维度的连续性的问题,可提高指标之间的关联性,增强异常指标排序的准确性,可提高异常指标的处理效率,增强***的稳定性。
应当理解,本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征,也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种异常指标排序方法的流程图;
图2为本发明实施例提供的另一种异常指标排序方法的流程图;
图3为本发明实施例提供的一种异常指标排序方法的示例图;
图4为本发明实施例提供的一种排序分数标准化转换函数的示例图;
图5为本发明实施例提供的一种异常指标排序结果的示例图;
图6为本发明实施例提供的一种基于指数移动加权平均的多指标异常排序算法实现示意图;
图7为本发明实施例提供的一种基于异常次数的异常指标排序算法实现示意图;
图8为本发明实施例提供的一种基于各指标最近一段时间内异常次数的异常指标排序算法实现示意图;
图9为根据本发明实施例提供的一种异常指标排序装置的结构示意图;
图10为实现本发明实施例的异常指标排序方法的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在一实施例中,图1为本发明实施例提供的一种异常指标排序方法的流程图,本实施例可适用于对多个同时异常的指标进行紧急性排序的情况,该方法可以由异常指标排序装置来执行,该异常指标排序装置可以采用硬件和/或软件的形式实现。
如图1所示,本实施例提供的一种异常指标排序方法可以包括:
S110、根据获取到的异常指标数据集生成指标重构序列。
本发明实施例中,异常指标数据集可以理解为运维***已经识别出的异常指标的集合。
具体的,可以获取识别出的多个异常指标,通过多指标时序数据重构方法将异常指标数据集生成指标重构序列,在生成的指标重构序列中的值越小代表对应指标越异常,可以使用重构序列中的值来分析指标异常情况。
S120、基于预设异常检测阈值和指标重构序列确定异常检测结果。
本发明实施例中,预设异常检测阈值可以理解为根据指标重构序列中的数据情况,提前设定的异常指标临界值。预设异常检测阈值的设定方法可以包括根据指标情况手动设置,以及采用自动设置模型进行阈值自动设置。
具体的,可以对比指标重构序列中的值与预设异常检测阈值,根据对比情况,确定指标异常检测结果。示例性的,在重构序列中的值小于预设异常检测阈值时,可以判定该值对应的指标异常,在重构序列中的值大于或等于预设异常检测阈值时,可以判定该值对应的指标正常。
S130、按照异常检测结果和排序分数标准化映射关系在异常检测时间内生成异常指标排序。
本发明实施例中,可以将指标重构序列进行升序排列,得到排序序列,在排序序列中存在异常指标所对应的排名序号,可以定义排名序号为衡量多指标之间异常程度的排序分数,分数越小,相比其它指标越异常。排序分数标准化映射关系就可以理解为将重构元素的排序分数进行标准化处理的映射关系,使得多种量纲的重构元素的排序分数对齐,从而保证多种异常指标排序的精准度。异常检测时间指的是进行指标异常检测的时间,异常检测时间可以为一个时间点,也可以为一个时间区间。异常指标排序可以理解为基于历史指标异常情况,以及消除了随机因素的影响后的对多个异常指标的综合排序。
具体的,可以异常检测时间在异常检测结果内提取异常指标,可以通过排序分数标准化映射关系对提取到的异常指标的排序分数进行标准化,并按照标准化后的排序分数对各异常指标进行排序,以生成异常指标排序,其中,异常指标排序越靠前,则该异常指标可以越严重。
根据本发明实施例的技术方案,通过将获取到的异常指标生成指标重构序列,按照预设异常检测阈值确定指标重构序列的异常检测结果,在异常检测时间内按照排序分数标准化映射关系确定异常检测结果对应的异常指标排序,可解决现有异常指标排序未考虑指标量纲以及时间维度的连续性的问题,可提高指标之间的关联性,增强异常指标排序的准确性,可提高异常指标的处理效率,增强***的稳定性。
在上述实施例基础上,本发明实施例提供的一种异常指标排序方法,还包括:
基于预设异常检测阈值统计指标重构序列内所有重构元素在异常检测时间范围内的总异常次数,并按照各重构元素的总异常次数生成异常指标排序;
基于预设异常检测阈值统计指标重构序列内所有重构元素在异常检测时间范围内的平均异常分数,并按照各重构元素的平均异常分数生成异常指标排序。
具体的,可以基于上述得到的预设异常检测阈值与指标重构序列内每个重构元素(即异常指标)进行对比,得到每个重构元素的异常检测结果,统计每个重构元素在异常检测时间范围内对应的总异常结果次数,并可以按照各重构元素的总异常结果次数生成异常指标排序。可以统计指标重构序列内所有重构元素在异常检测时间范围内的平均异常分数,并可以将该平均异常分数与预设异常检测阈值进行对比,若小于预设异常检测阈值,则可以按照各重构元素的平均异常分数生成异常指标排序。
在一实施例中,图2为本发明实施例提供的另一种异常指标排序方法的流程图,本实施例在上述各实施例的基础上,对基于指标重构序列以及预设异常检测阈值来生成异常检测时间内的异常指标排序的过程作进一步优化和扩展。
如图2所示,本实施例提供的另一种异常指标排序方法可以包括:
S210、调用变分自编码器对异常指标数据集内异常指标进行处理以生成构成指标重构序列的重构元素。
本发明实施例中,变分自编码器(Variational Auto-Encoder,VAE)是一种由编码器和解码器组成的结构,经过训练以使编码解码后的数据与初始数据之间的重构误差最小。可以使处理后的指标重构序列内所有重构元素与异常指标数据集中的异常指标尽可以的相似。
具体的,可以调用变分自编码器对异常指标数据集内异常指标进行处理,生成构成指标重构序列的重构元素,处理后的指标重构序列中重构元素的值越小代表对应指标越异常,可以将重构序列中重构元素的值作为指标异常分数来定量分析指标异常情况。
S220、将各重构元素排列作为指标重构序列。
具体的,可以将上述得到的各重构元素进行排列作为指标重构序列,排列方式可以包括随机排列。
S230、获取基于极值理论的峰值超过阈值模型设置的对应指标重构序列内不同重构元素的预设异常检测阈值。
本发明实施例中,基于极值理论的峰值超过阈值模型(Peak Over Thres hold,POT)指的是不需要假设数据分布,可以通过选择参数自动设置阈值的阈值自动设置模型。
具体的,可以通过POT模型自动设置指标重构序列内不同重构元素对应的预设异常检测阈值,并获取设置的预设异常检测阈值。
S240、将重构元素分别与对应的预设异常检测阈值进行比较。
具体的,可以将指标重构序列中各个重构元素分别与对应的POT模型设置的预设异常检测阈值进行比较。
S250、在重构元素小于预设异常检测阈值,则将第一标记添加到异常检测结果的结果序列。
本发明实施例中,第一标记可以理解为表示指标重构序列中重构元素对应的指标为异常情况的标记,该标记可以包括数字和符号等。
具体的,当指标重构序列中的重构元素小于对应的预设异常检测阈值时,可以将第一标记添加到指标的异常检测结果的结果序列中,表示该指标出现异常。
S260、在重构元素大于或等于预设异常检测阈值,则将第二标记添加到异常检测结果的结果序列。
本发明实施例中,第二标记可以理解为表示指标重构序列中重构元素对应的指标为正常情况的标记,该标记可以包括数字和符号等。
具体的,当指标重构序列中的重构元素大于或等于对应的预设异常检测阈值时,可以将第二标记添加到指标的异常检测结果的结果序列中,表示该指标为正常情况。
S270、将指标重构序列结果按照取值大小对重构元素进行排序,并提取各重构元素的排序序号构成排序序列。
在本发明实施例中,可以将指标重构序列结果内的一个或多个重构元素按照其对应的取值大小进行排序,例如,重构元素的取值越大则其排序越靠前,或者,重构元素的取值越小则其排序月靠前等,可以提取每个重构元素经过排序的序号,该序号可以表示重构元素在整个重构序列结果排序生成的序列中的位置,可以将各排序序号按照其对应的重构元素在指标重构序列结果中的位置排列为排序序列。
S280、提取排序分数标准化映射关系的排序分数标准化转换函数。
其中,排序分数标准化转换函数可以是一种对重构元素的排序分数进行标准化调整的映射关系,排序分数标准化转换函数可以包括排除重构元素的排序分数的量纲影响的映射函数。
在本发明实施例中,排序分数标准换转换函数可以预先配置在本地,在需要对多指标异常进行排序时,可以提取到该排序分数标准化转换函数,以便基于该排分表转化转换函数对重构元素的排序进行调整,从而解决不同重构元素的量纲不同导致的排序异常的问题。
S290、按照排序分数标准化转换函数、排序序列和异常检测结果生成各重构元素的指标排序系数。
其中,指标排序系数可以是对重构元素的排序进行调整的系数,该指标排序系数可以由排序分数标准化转换函数、排序序列和异常检测结果共同确定,可以理解的是,可以将经过排序分数标准化转换函数处理后的差异越大的重构元素对应的指标排序系数可以越大。
在本发明实施例中,可以针对异常检测结果确定出处于异常的重构元素,可以在该排序序列中查找出该重构元素的排序序号,并通过该排序序号代入排序分数标准化转换函数从而实现对重构元素的排序分数的标准化映射,从而生成调整重构元素的排序序号的指标排序系数。
S2100、按照指标排序系数调整指标重构序列内重构元素,并将调整后的指标重构序列按照取值大小重新排序后作为异常指标排序。
在本发明实施例中,可以按照指标排序系数对指标重构序列内的重构元素的取值大小进行调整,在对重构元素调整后,可以将各重构元素按照取值大小重新进行排序,可以将重新排序各重构元素之间的排序作为异常指标排序。
根据本发明实施例的技术方案,通过使用变分自编码器将异常指标数据集内异常指标处理为重构元素,并将各重构元素排序为指标重构序列,获取指标重构序列内不同重构元素的预设异常检测阈值,将重构元素分别与对应的预设异常检测阈值进行比较,在重构元素小于预设异常检测阈值时,将第一标记添加到异常检测结果的结果序列,否则,添加第二标记到结果序列,将指标重构序列按照重构元素的取值大小重新进行排序,并将每个重构元素的排序序号组成排序序列,提取排序分数标准化转换函数,并按照排序分数标准化函数、排序序列和异常检测结果生成各重构元素的指标排序系数,按照指标排序系数调整指标重构序列内重构元素,将调整后的指标重构序列按照取值大小重新排序后作为异常指标排序,可实现异常指标排序之间的隐含关系,可保持异常指标的时序特征,提高异常指标排序的准确性,有助于异常指标排序的利用。
在上述实施例基础上,变分自编码器的处理过程通过以下公式实现:
其中,RX表示指标重构序列,pθ(X|Z)表示通过神经网络将X的信息编码进Z后再生成X的条件概率,X为多维随机变量X={x1,x2,…,xn},xi为异常指标i,异常指标i的重构元素定义为log(pθ(xi|Z))。
在本发明实施例中,变分自编码器(Variational Auto-Encoder,VAE)可以是一种深度概率图模型,可以对多维时序数据异常进行检测,可以通过神经网络将高纬空间的随机变量映射到低纬度空间的随机变量,再通过神经网络将低纬度空间的随机变量解码,并在迭代过程中保证解密后的值与原始值相似,该变分自编码器具体可以为
其中,RX表示指标重构序列,pθ(X|Z)表示通过神经网络将X的信息编码进Z后再生成X的条件概率,X为多维随机变量X={x1,x2,…,xn},xi为异常指标i,异常指标i的重构元素定义为log(pθ(xi|Z))。
在上述实施例基础上,按照排序分数标准化转换函数、排序序列和异常检测结果生成各重构元素的指标排序系数,包括:
依次提取异常检测结果内对应重构元素的标记信息;在标记信息为第一标记时,将对应重构元素在排序序列的排序序号代入排序分数标准化转换函数确定指标排序系数;在标记信息为第二标记时,将对应重构元素的指标排序系数设置为0;
其中,排序分数标准化转换函数至少包括:
n表示所述异常检测结果的数量,α为变化率,β为偏移系数,n大于α的取值。
在本发明实施例中,可以提取异常检测结果的中每个重构元素的标记信息,该标记信息可以表示对应的重构元素是否为异常指标,在标记信息为第一标记时,对应的重构元素可以为异常指标,则可以将该重构元素在排序序列中的排序序号代入排序分数标准化转换函数,通过排序分数标准化转换函数对排序序号进行处理从而生成对应该重构元素的指标排序系数,相应的,在标记信息为第二标记时,对应的重构元素可以为非异常指标,可以将该重构元素的指标排序系数直接设置为0,从而使得该重构元素在排序中的顺序降低。具体的,在本发明实施例中,对第一标记的重构元素的指标排序系数的确定可以通过排序分数标准化转换函数确定,:
其中,n表示所述异常检测结果的数量,α为变化率,β为偏移系数,n大于α的取值。
在一个示例性的实施方式中,图3为本发明实施例提供的一种异常指标排序方法的示例图,本发明实施例的目的在于提供一种指数加权移动平均的多指标异常排序方法,该方法能够量化各指标异常时的特征变化,能够根据各指标历史异常排序情况,得到更准确的指标综合异常排序。参见图3,为了对多指标异常排序,包括如下部分:(1)生成各指标的重构序列,并通过在重构序列上划定阈值识别异常指标;(2)计算指标排序分数并标准化处理;(3)综合考虑各指标最近一段时间内的异常排序情况,得到更准确的指标综合异常排序。其具体实施步骤包括:
1)多指标重构序列生成和阈值异常检测
设多指标时序数据可表示为多维随机变量X={x1,x2,…,xn}且独立同分布,变量xi表示指标i。变分自编码器(Variational Auto-Encoder,VAE)是一类深度概率图模型的统称,应用于多维时序数据异常检测,通过神经网络将高维空间的随机变量X编码到低维空间的随机变量Z,再通过神经网络θ将Z解码为X′,在迭代过程中尽量保证解码后的X′与原始值X相似,VAE最终可输出为:
其中,pθ(X|Z)表示通过神经网络将X的信息编码进Z后再生成X的条件概率,X为多维随机变量X={x1,x2,…,xn},xi为异常指标i,定义RX为整体重构序列,且指标i的重构序列定义为log(pθ(xi|Z))。由此,指标的重构序列可以通过变分自编码器获取,重构序列的值域为/>序列中的值越小代表对应指标越异常,因此我们将重构序列的值作为指标异常分数来定量分析指标异常情况。
为了从众多指标中识别异常指标,通常采用阈值分析法,但由于分析指标众多,通过手动设置阈值识别异常,会带来大量的人力开销,因此我们选择一种基于极值理论的POT(Peak Over Threshold)模型,该模型优点在于不需要假设数据分布,通过选择参数自动设置阈值。通过POT模型对多指标重构序列RX自动设置的阈值为最终多指标异常检测结果为:
其中,1表示异常,0表示正常,
2)指标排序分数标准化
由于Rx重构序列的值域为各指标的异常程度不同,重构序列值存在数量级上的差异,因量纲的不同而影响指标综合异常排序的准确性。因此,为了无量纲化,需要对指标排序分数进行标准化得到指标排序系数,可类比协方差与相关系数之间的关系。设多指标在t时刻的重构序列为/>异常检测结果为n为指标个数。排序分数标准化转换函数如下:
其中x={1,2,…,n},α为变化率控制变化速率,β为偏移系数控制下限,且n>α,值域为[β,β+1],转换函数图像如图2。该函数为单调递减凹函数,若将排序名次定义为横坐标x,排序分数定义为纵坐标,排序名次越靠前,其排序分数的区分度越高,排序名次越靠后,其排序分数的区分度越低。图4为本发明实施例提供的一种排序分数标准化转换函数的示例图,在多指标异常排序场景中,由于异常指标众多,我们通常只关注排序后的top k个异常指标,参见图4,该转换函数可以很好的衡量指标异常排序情况。
对多指标t时刻的重构序列按升序进行排序,得到排序序列其中/>表示指标i的排名序号,并定义排名序号为衡量多指标之间异常程度的排序分数,分数越小,相比其它指标越异常,值域为[0,n]。结合和Y对排序分数/>标准化映射,最终标准化的指标排序系数为:
其中表示在t时刻指标i检测出异常时,根据排名序号映射到标准化函数上的分数。
3)指标综合异常排序
由于指标异常具有时间连续性和随机抖动性特征,对于指标异常排序需要考虑历史异常情况和消除随机因素的影响,因此采用指数移动加权平均法解决上述问题。指数移动加权平均法是对(1)历史观察值和当前观察值分别给予不同的权重,按不同权重求得移动平均值,(2)各数值的加权系数随时间呈指数式递减,越靠近当前时刻的数值加权系数越大,能够在连续时间线上刻画趋势,同时抚平短期波动,过滤随机抖动噪音。
设历史时间窗口为[ts,tc],tc为异常检测时间点,ts为历史异常检测的开始时间点,历史标准化的指标排序系数序列为其中为指标i在[ts,tc]窗口内的标准化的排序分数,β为权重,指标i在tc时刻的综合异常分数计算公式:
指标i在ts时刻综合异常排序分数:
指标i在ts时刻综合异常排序分数:
以此类推,指标i在tc时刻综合异常排序分数:
图5为本发明实施例提供的一种异常指标排序结果的示例图,最终,多指标综合异常分数序列为对多指标综合异常分数序列进行排序,选择综合异常分数最大的5个指标的条形图展示如图5。图6为本发明实施例提供的一种基于指数移动加权平均的多指标异常排序算法实现示意图,为在上述发明实施例的基础上,上述步骤可以通过如图6算法实现。图7为本发明实施例提供的一种基于异常次数的异常指标排序算法实现示意图,在另一些发明实施例中,上述步骤可以通过如图7算法实现。图8为本发明实施例提供的一种基于各指标最近一段时间内异常次数的异常指标排序算法实现示意图,在另一些发明实施例中,上述步骤可以通过如图8算法实现。
在一实施例中,图9为根据本发明实施例提供的一种异常指标排序装置的结构示意图。本实施例可以执行上述实施方式。该实施例可适用于多种异常指标进行排序的情况,该装置可以采用硬件/软件的方式来实现,并可配置在电子设备中。
如图9所示,本实施例中提供的异常指标排序装置包括:序列构成模块401、异常检测模块402和指标排序模块403,其中:
序列构成模块401,用于根据获取到的异常指标数据集生成指标重构序列。
异常检测模块402,用于基于预设异常检测阈值和指标重构序列确定异常检测结果。
指标排序模块403,用于按照异常检测结果和排序分数标准化映射关系在异常检测时间内生成异常指标排序。
根据本发明实施例的技术方案,通过序列构成模块将获取到的异常指标生成指标重构序列,异常检测模块按照预设异常检测阈值确定指标重构序列的异常检测结果,指标排序模块在异常检测时间内按照排序分数标准化映射关系确定异常检测结果对应的异常指标排序,可解决现有异常指标排序未考虑指标量纲以及时间维度的连续性的问题,可提高指标之间的关联性,增强异常指标排序的准确性,可提高异常指标的处理效率,增强***的稳定性。
在上述实施例基础上,序列构成模块401,包括:
重构元素生成单元,用于调用变分自编码器对异常指标数据集内异常指标进行处理以生成构成指标重构序列的重构元素。
指标重构序列生成单元,用于将各重构元素排列作为指标重构序列。
在上述实施例基础上,变分自编码器的处理过程通过以下公式实现:
其中,RX表示指标重构序列,pθ(X|Z)表示通过神经网络将X的信息编码进Z后再生成X的条件概率,X为多维随机变量X={x1,x2,…,xn},xi为异常指标i,异常指标i的重构元素定义为log(pθ(xi|Z))。
在上述实施例基础上,异常检测模块402,包括:
阈值设置单元,用于获取基于极值理论的峰值超过阈值模型设置的对应指标重构序列内不同重构元素的预设异常检测阈值。
阈值比较单元,用于将重构元素分别与对应的预设异常检测阈值进行比较。
第一标记添加单元,用于在重构元素小于预设异常检测阈值,则将第一标记添加到异常检测结果的结果序列。
第二标记添加单元,用于在重构元素大于或等于预设异常检测阈值,则将第二标记添加到异常检测结果的结果序列。
在上述实施例基础上,指标排序模块403,包括:
排序序列构成单元,用于将指标重构序列结果按照取值大小对重构元素进行排序,并提取各重构元素的排序序号构成排序序列。
转换函数提取单元,用于提取排序分数标准化映射关系的排序分数标准化转换函数。
排序系数生成单元,用于按照排序分数标准化转换函数、排序序列和异常检测结果生成各重构元素的指标排序系数。
异常指标排序排序单元,用于按照指标排序系数调整指标重构序列内重构元素,并将调整后的指标重构序列按照取值大小重新排序后作为异常指标排序。
在上述实施例基础上,排序系数生成单元,包括:
标记信息提取子单元,用于依次提取异常检测结果内对应重构元素的标记信息。
指标排序系数确定子单元,用于在标记信息为第一标记时,将对应重构元素在排序序列的排序序号代入排序分数标准化转换函数确定指标排序系数。
指标排序系数设置子单元,用于在标记信息为第二标记时,将对应重构元素的指标排序系数设置为0。
其中,排序分数标准化转换函数至少包括:
n表示所述异常检测结果的数量,α为变化率,β为偏移系数,n大于α的取值。
在上述实施例基础上,该异常指标排序装置,还包括:
异常指标排序生成一模块,用于基于预设异常检测阈值统计指标重构序列内所有重构元素在异常检测时间范围内的总异常次数,并按照各重构元素的总异常次数生成异常指标排序。
异常指标排序生成二模块,用于基于预设异常检测阈值统计指标重构序列内所有重构元素在异常检测时间范围内的平均异常分数,并按照各重构元素的平均异常分数生成异常指标排序。
本发明实施例提供的一种异常指标排序装置可执行本发明实施例所提供的任意的异常指标排序方法,具备执行方法相应的功能模块和有益效果。本实施例中未详尽描述的内容可以参考本发明任意方法实施例中的描述。
在一实施例中,图10为实现本发明实施例的异常指标排序方法的电子设备的结构示意图。可以用来实施本发明的实施例的电子设备50,电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图10所示,电子设备50包括至少一个处理器51,以及与至少一个处理器51通信连接的存储器,如只读存储器(ROM)52、随机访问存储器(RAM)53等,其中,存储器存储有可被至少一个处理器执行的计算机程序,处理器51可以根据存储在只读存储器(ROM)52中的计算机程序或者从存储单元58加载到随机访问存储器(RAM)53中的计算机程序,来执行各种适当的动作和处理。在RAM 53中,还可存储电子设备50操作所需的各种程序和数据。处理器51、RAM 52以及RAM 53通过总线54彼此相连。输入/输出(I/O)接口55也连接至总线54。
电子设备50中的多个部件连接至I/O接口55,包括:输入单元55,例如键盘、鼠标等;输出单元57,例如各种类型的显示器、扬声器等;存储单元58,例如磁盘、光盘等;以及通信单元59,例如网卡、调制解调器、无线通信收发机等。通信单元59允许电子设备50通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器51可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器51的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器51执行上文所描述的各个方法和处理,例如异常指标排序方法。
在一些实施例中,监测点的布设方法可被实现为计算机程序,其被有形地包含于计算机可读存储介质,例如存储单元58。在一些实施例中,计算机程序的部分或者全部可以经由ROM 52和/或通信单元59而被载入和/或安装到电子设备50上。当计算机程序加载到RAM 53并由处理器51执行时,可以执行上文描述的异常指标排序方法的一个或多个步骤。备选地,在其他实施例中,处理器51可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行异常指标排序方法。
本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器,使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中,计算机可读存储介质可以是有形的介质,其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备,或者上述内容的任何合适组合。备选地,计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在电子设备上实施此处描述的***和技术,该电子设备具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如,作为数据服务器)、或者包括中间件部件的计算***(例如,应用服务器)、或者包括前端部件的计算***(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将***的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务中,存在的管理难度大,业务扩展性弱的缺陷。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本发明的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。
Claims (10)
1.一种异常指标排序方法,其特征在于,所述方法包括:
根据获取到的异常指标数据集生成指标重构序列;
基于预设异常检测阈值和所述指标重构序列确定异常检测结果;
按照所述异常检测结果和排序分数标准化映射关系在异常检测时间内生成异常指标排序。
2.根据权利要求1所述方法,其特征在于,所述根据获取到的异常指标数据集生成指标重构序列,包括:
调用变分自编码器对所述异常指标数据集内异常指标进行处理以生成构成所述指标重构序列的重构元素;
将各所述重构元素排列作为所述指标重构序列。
3.根据权利要求2所述方法,其特征在于,所述变分自编码器的处理过程通过以下公式实现:
其中,RX表示指标重构序列,pθ(X|Z)表示通过神经网络将X的信息编码进Z后再生成X的条件概率,X为多维随机变量X={x1,x2,…,xn},xi为异常指标i,异常指标i的重构元素定义为log(pθ(xi|Z))。
4.根据权利要求1所述方法,其特征在于,所述基于预设异常检测阈值和所述指标重构序列确定异常检测结果,包括:
获取基于极值理论的峰值超过阈值模型设置的对应所述指标重构序列内不同重构元素的所述预设异常检测阈值;
将所述重构元素分别与对应的所述预设异常检测阈值进行比较;
在所述重构元素小于所述预设异常检测阈值,则将第一标记添加到所述异常检测结果的结果序列;
在所述重构元素大于或等于所述预设异常检测阈值,则将第二标记添加到所述异常检测结果的结果序列。
5.根据权利要求1所述方法,其特征在于,所述按照所述异常检测结果和排序分数标准化映射关系在异常检测时间内生成异常指标排序,包括:
将所述指标重构序列结果按照取值大小对重构元素进行排序,并提取各所述重构元素的排序序号构成排序序列;
提取所述排序分数标准化映射关系的排序分数标准化转换函数;
按照所述排序分数标准化转换函数、所述排序序列和所述异常检测结果生成各所述重构元素的指标排序系数;
按照所述指标排序系数调整所述指标重构序列内所述重构元素,并将调整后的所述指标重构序列按照取值大小重新排序后作为所述异常指标排序。
6.根据权利要求5所述方法,其特征在于,所述按照所述排序分数标准化转换函数、所述排序序列和所述异常检测结果生成各所述重构元素的指标排序系数,包括:
依次提取所述异常检测结果内对应所述重构元素的标记信息;
在所述标记信息为第一标记时,将对应所述重构元素在所述排序序列的排序序号代入所述排序分数标准化转换函数确定所述指标排序系数;
在所述标记信息为第二标记时,将对应所述重构元素的所述指标排序系数设置为0;
其中,所述排序分数标准化转换函数至少包括:
所述n表示所述异常检测结果的数量,所述α为变化率,所述β为偏移系数,所述n大于所述α的取值。
7.根据权利要求1所述方法,其特征在于,还包括:
基于所述预设异常检测阈值统计所述指标重构序列内所有重构元素在异常检测时间范围内的总异常次数,并按照各所述重构元素的总异常次数生成所述异常指标排序;
基于所述预设异常检测阈值统计所述指标重构序列内所有重构元素在异常检测时间范围内的平均异常分数,并按照各所述重构元素的平均异常分数生成所述异常指标排序。
8.一种异常指标排序装置,其特征在于,包括:
序列构成模块,用于根据获取到的异常指标数据集生成指标重构序列;
异常检测模块,用于基于预设异常检测阈值和所述指标重构序列确定异常检测结果;
指标排序模块,用于按照所述异常检测结果和排序分数标准化映射关系在异常检测时间内生成异常指标排序。
9.一种电子设备,其特征在于,所述电子设备包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-7中任一项所述的异常指标排序方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的异常指标排序方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410089369.8A CN117891643A (zh) | 2024-01-22 | 2024-01-22 | 一种异常指标排序方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410089369.8A CN117891643A (zh) | 2024-01-22 | 2024-01-22 | 一种异常指标排序方法、装置、电子设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117891643A true CN117891643A (zh) | 2024-04-16 |
Family
ID=90639459
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410089369.8A Pending CN117891643A (zh) | 2024-01-22 | 2024-01-22 | 一种异常指标排序方法、装置、电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117891643A (zh) |
-
2024
- 2024-01-22 CN CN202410089369.8A patent/CN117891643A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116049146B (zh) | 一种数据库故障处理方法、装置、设备及存储介质 | |
CN115033463B (zh) | 一种***异常类型确定方法、装置、设备和存储介质 | |
CN115794578A (zh) | 一种电力***的数据管理方法、装置、设备及介质 | |
CN115375039A (zh) | 一种工业设备故障预测方法、装置、电子设备及存储介质 | |
CN116629620A (zh) | 一种风险等级确定方法、装置、电子设备及存储介质 | |
CN115509797A (zh) | 一种故障类别的确定方法、装置、设备及介质 | |
CN117593115A (zh) | 信贷风险评估模型的特征值确定方法、装置、设备和介质 | |
CN117273450A (zh) | 一种电力***风险评估方法、装置、设备及存储介质 | |
CN111783883A (zh) | 一种异常数据的检测方法及装置 | |
CN116668264A (zh) | 一种告警聚类的根因分析方法、装置、设备及存储介质 | |
CN117891643A (zh) | 一种异常指标排序方法、装置、电子设备和存储介质 | |
CN112395179B (zh) | 一种模型训练方法、磁盘预测方法、装置及电子设备 | |
CN115600607A (zh) | 一种日志检测方法、装置、电子设备及介质 | |
CN114760190A (zh) | 一种面向服务的融合网络性能异常检测方法 | |
CN114661562A (zh) | 一种数据告警方法、装置、设备及介质 | |
CN117667587A (zh) | 一种异常检测方法、装置、电子设备及存储介质 | |
CN115373449B (zh) | 一种数据处理方法、装置、设备及存储介质 | |
CN117688499A (zh) | 一种多指标异常检测方法、装置、电子设备和存储介质 | |
CN117932474A (zh) | 一种通信缺失数据确定模型的训练方法、装置、设备及存储介质 | |
CN115774648A (zh) | 一种异常定位方法、装置、设备以及存储介质 | |
CN117574087A (zh) | 模型的确定方法、内存故障预测方法、装置、介质及设备 | |
CN116307159A (zh) | 一种负荷预测方法、装置、电子设备和存储介质 | |
CN117195104A (zh) | 资源分类方法、装置、电子设备及存储介质 | |
CN117195118A (zh) | 一种数据的异常检测方法、装置、设备及介质 | |
CN115576830A (zh) | 一种用例质量确定方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |