CN115391160B - 一种异常变更检测方法、装置、设备及存储介质 - Google Patents
一种异常变更检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN115391160B CN115391160B CN202211314800.1A CN202211314800A CN115391160B CN 115391160 B CN115391160 B CN 115391160B CN 202211314800 A CN202211314800 A CN 202211314800A CN 115391160 B CN115391160 B CN 115391160B
- Authority
- CN
- China
- Prior art keywords
- change
- data
- target
- pair
- index data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008859 change Effects 0.000 title claims abstract description 164
- 238000001514 detection method Methods 0.000 title claims abstract description 113
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 85
- 238000012549 training Methods 0.000 claims abstract description 151
- 238000000034 method Methods 0.000 claims abstract description 37
- 238000004590 computer program Methods 0.000 claims description 16
- 230000000737 periodic effect Effects 0.000 claims description 10
- 230000001360 synchronised effect Effects 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 230000000875 corresponding effect Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 238000012423 maintenance Methods 0.000 description 6
- 239000000243 solution Substances 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3476—Data logging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3452—Performance evaluation by statistical analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种异常变更检测方法、装置、设备及存储介质。该方法包括:获取待检测指标数据的历史同期数据检测对和变更前后数据检测对;根据所述待检测指标数据的历史波动幅度,从至少两个候选孪生网络模型中确定目标孪生网络模型;将所述历史同期数据检测对和所述变更前后数据检测对分别输入目标孪生网络模型,得到历史同期距离和变更前后距离;根据所述历史同期距离和变更前后距离确定所述待检测指标数据的异常变更检测结果。本发明实施例可以提高对软件服务***变更的异常检测准确性,并降低相应模型训练所需开销。
Description
技术领域
本发明涉及计算机技术领域,尤其涉及一种异常变更检测方法、装置、设备及存储介质。
背景技术
如今,各软件厂商越来越依赖于日趋复杂的软件服务***,而这些软件***的变更具有高频、不可避免、影响范围大等特点,这也对变更的操作流程和相关代码的质量带来了挑战。即使有针对变更全流程的监控,其仍可能会给软件服务***引入新的问题,给软件厂商或客户带来经济上的损失。其中,在变更后实时监控,检测软件在变更后是否仍然处于正常状态,是该运维场景的关键所在。
软件厂商可选择基于对比或异常检测的方法来确定软件在变更后所处状态,前者比较变更前后的指标数据(KPI)是否相似,如果变更之后的数据形态差异较大,则认为此次变更是异常变更,由于没有考虑不同类别指标数据的形态差异性,导致判定的准确率不高,某些基于距离计算的方法也会导致判定效率过低;后者以变更前的指标数据训练模型,再用该模型来预测变更后的指标数据,据此获知变更后数据是否存在异常,由于需要对每条指标数据训练单独的模型,其训练开销过大,计算效率太低。
发明内容
本发明提供了一种异常变更检测方法、装置、设备及存储介质,以提高对软件服务***变更的异常检测准确性,并降低相应模型训练所需开销。
根据本发明的一方面,提供了一种异常变更检测方法,包括:
获取待检测指标数据的历史同期数据检测对和变更前后数据检测对;
根据所述待检测指标数据的历史波动幅度,从至少两个候选孪生网络模型中确定目标孪生网络模型;
将所述历史同期数据检测对和所述变更前后数据检测对分别输入目标孪生网络模型,得到历史同期距离和变更前后距离;
根据所述历史同期距离和变更前后距离确定所述待检测指标数据的异常变更检测结果。
根据本发明的另一方面,提供了一种异常变更检测装置,包括:
参考数据对获取模块,用于获取待检测指标数据的历史同期数据检测对和变更前后数据检测对;
网络模型确定模块,用于根据所述待检测指标数据的历史波动幅度,从至少两个候选孪生网络模型中确定目标孪生网络模型;
参考距离生成模块,用于将所述历史同期数据检测对和所述变更前后数据检测对分别输入目标孪生网络模型,得到历史同期距离和变更前后距离;
异常变更检测模块,用于根据所述历史同期距离和变更前后距离确定所述待检测指标数据的异常变更检测结果。
根据本发明的另一方面,提供了一种电子设备,所述电子设备包括:
至少一个处理器;
以及与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行本发明任一实施例所述的异常变更检测方法。
根据本发明的另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现本发明任一实施例所述的异常变更检测方法。
本发明实施例在对待检测指标数据的历史周期性和局部稳定性进行参考得到历史同期数据检测对和变更前后数据检测对的基础上,通过历史波动幅度对指标数据进行分类,仅需设计并训练有限个通用性强的孪生网络模型来即可完成对数据对的处理,在保证异常检测准确性的同时,大幅度降低训练模型所需训练资源。
应当理解,本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征,也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1A是根据本发明一实施例提供的一种异常变更检测方法的流程图;
图1B是根据本发明一实施例提供的一种孪生网络模型的结构示意图;
图2A是根据本发明又一实施例提供的一种异常变更检测方法的流程图;
图2B是根据本发明又一实施例提供的一种不同噪声等级孪生网络训练流程的示意图;
图2C是根据本发明又一实施例提供的一种异常变更判断流程的示意图;
图3是根据本发明又一实施例提供的一种异常变更检测装置的结构示意图;
图4是实现本发明实施例的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
图1A为本发明一实施例提供的一种异常变更检测方法的流程图,本实施例可适用于通过历史波动幅度来对指标数据进行分类,根据分类结果来选取相应的目标孪生网络模型,结合目标孪生网络模型和相应数据对对软件变更进行异常检测的情况,该方法可以由异常变更检测装置来执行,该装置可以采用硬件和/或软件的形式实现,该装置可配置于具备相应数据处理能力的电子设备中。如图1A所示,该方法包括:
S110、获取待检测指标数据的历史同期数据检测对和变更前后数据检测对;
其中,待检测指标数据为软件服务***变更后一段时间内指标数据的序列片段,表征了指标数据在变更产生后的一段时间内的变化趋势。历史同期数据检测对包括待检测指标数据和该待检测指标数据的历史同期数据,历史同期数据表征了历史变更上线后指标数据的周期性变化趋势,即取变更后的一段时间的数据和其若干个周期前的历史同期数据进行比较,验证指标数据是否满足历史周期性;变更前后数据检测对包括待检测指标数据和该待检测指标数据对应变更的变更前指标数据,变更前指标数据表征了软件变更前指标数据的原有局部运行趋势,即取变更后的一段时间的指标数据和变更前的一段时间的指标数据进行比较,验证指标数据是否满足局部稳定性。
具体的,从数据采集***中不断地采集机器相关和业务相关的指标,然后将其存储到时序数据库中。当一次变更上线后,根据在变更后一段时间内的运行数据生成待检测指标数据,并从时序数据库中获取相应的时间长度相同的历史同期数据和变更前数据,分别与待检测指标数据组成历史同期数据检测对和变更前后数据检测对,作为后续对变更是否异常的数据判断基础。
S120、根据所述待检测指标数据的历史波动幅度,从至少两个候选孪生网络模型中确定目标孪生网络模型;
其中,孪生网络模型用于读取由两个等长的时间序列片段组成的序列对,并输出两个时间序列片段之间的距离值,若距离值过高,则可以给出两个时间序列片段不相似的判定。在本发明中,输入孪生网络模型的序列对分别为历史同期数据检测对和变更前后数据检测对。不同候选孪生网络模型用于处理不同历史波动幅度区间的指标数据,对于任一历史波动幅度区间,都会为历史波动幅度在该区间的指标数据预先训练对应的候选孪生网络模型。
具体的,为提高基于指标数据的异常变更检测的检测准确性,一般将指标数据划分为多个种类,例如按照指标的标准差分类、按照指标的形状分类、按照指标的物理意义分类等,并为各种类的指标数据生成和训练相应的孪生网络模型,来提高基于指标数据的异常变更检测的检测准确性。但这些指标分类原则难以避免会划分出过多的指标数据种类,导致需要训练模型的数量较多,且不同模型的神经网络结构不一致,缺乏通用性,进一步增加了训练成本。因此,本发明中根据指标数据的历史波动幅度对指标数据进行分类,先根据时序数据库中历史数据确定待检测指标数据的历史波动幅度,再从预先训练好的多个候选孪生网络模型中选取与该历史波动幅度对应的候选孪生网络模型作为目标孪生网络模型。如此,大幅减少了需要训练的模型的数量,且不同候选孪生网络模型的神经网络结构保持一致,具备通用性。即设计并训练有限个通用性强的模型就可在保证异常检测准确性的同时,大幅度降低训练模型所需训练资源。
示例型的,图1B是根据本发明一实施例提供的一种孪生网络模型的结构示意图。其中,模型的上下两个分支需要使用相同的网络结构,将时间长度均为L的KPI片段A和B分别输入到孪生网络的两个输入端,分别得到输入特征A和B,再对两个特征直接进行相减的操作,可以得到一个H维向量。将该向量运用Contrastive Loss Function距离函数进行处理,可以得到一个标量,用于表征两个KPI片段之间的距离。
示例型的,不同指标数据的历史波动幅度可通过下述方式确定:设某个指标数据的时间序列为X,其中Xm表示在m时刻时间序列的值。运维时间序列多存在周期性,这是因为运维数据多和用户流量密切相关,而用户流量在不同日期的表现也大体相似,此种情况下数据的周期可以认为是1天或者1周;设序列周期为T,std是标准差函数,则指标数据的序列在不同周期的历史波动幅度N可以量化表达为:
其中,为历史波动幅度N设置i个分级区间(i≥2),例如0-N1,N1-N2,N2-N3、……、Ni-1-Ni,Ni>……>N1>0,各分级区间与噪声等级一一对应,从而得到i个噪声等级。根据指标数据的历史波动幅度N所落入的分级区间,确定该指标数据确定的噪声等级。
S130、将所述历史同期数据检测对和所述变更前后数据检测对分别输入目标孪生网络模型,得到历史同期距离和变更前后距离;
具体的,将历史同期数据检测对输入目标孪生网络模型,模型对待检测指标数据和对应历史同期数据进行相似度比对,输出历史同期距离来表征两者的相似度;将历史同期距离对输入目标孪生网络模型,模型对变更前指标数据和变更后指标数据进行相似度比对,输出变更前后距离来表征两者的相似度。
S140、根据所述历史同期距离和变更前后距离确定所述待检测指标数据的异常变更检测结果。
具体的,可以根据历史变更的检测和处理结果总结出异常变更的异常置信度阈值,以历史同期距离和变更前后距离为基础计算综合参考距离,并将综合参考距离与异常置信度阈值进行比对,根据比对结果确定该次变更是否属于异常变更,在判定为异常变更的情况下,交由管理员进行二次人工确认,在管理员确认后便可执行变更回滚等操作。需要说明的是,作为变更后生成的待检测指标数据,其在时序数据库中仅存在一份变更前数据,但可能存在不同历史周期的多份历史同期数据,相应的历史同期数据检测对及历史同期距离可以为多个。此时,取多个历史同期数据距离的最小值为最后参与异常变更判断的历史同期距离。
本发明实施例在对待检测指标数据的历史周期性和局部稳定性进行参考得到历史同期数据检测对和变更前后数据检测对的基础上,通过历史波动幅度对指标数据进行分类,仅需设计并训练有限个通用性强的孪生网络模型来即可完成对数据对的处理,在保证异常检测准确性的同时,大幅度降低训练模型所需训练资源。
图2A为本发明又一实施例提供的一种异常变更检测方法的流程图,本实施例在上述实施例的基础上进行了优化改进。如图2A所示,该方法包括:
S210、获取待检测软件服务***变更后的待检测指标数据;获取所述待检测软件服务***变更前的稳定性指标数据,并将所述稳定性指标数据与所述待检测指标数据组成变更前后数据检测对;获取所述待检测软件服务***在任一历史变更周期中,与所述待检测指标数据同期的周期性指标数据,并将所述周期性指标数据与所述待检测指标数据组成历史同期数据检测对。
具体的,假设时序数据库中存储节点1-100的时序数据,节点1、10、20、……、90和100均为软件服务***历史变更中的变更节点,待检测指标数据为最近新采集的节点100-101这段时间内的指标运行数据,节点100-101之间和节点99-100之间的指标运行数据组成唯一的变更前后数据检测对;对于待检测指标数据的历史同期数据,在该时序数据库中,其可以是节点10-11、……、90-91中任何一个,相应的,待检测指标数据100-101可以与其中任何一个历史同期数据组成不唯一的历史同期数据对。
S220、根据待检测指标数据的历史波动幅度,确定目标噪声等级;从至少两个候选孪生网络模型中选取采用目标噪声等级的训练样本对训练的候选孪生网络模型,作为目标孪生网络模型。
其中,训练样本通过向正常数据的数据样本中注入噪声得到,注入的噪声幅度大小与数据样本的噪声等级相关,噪声等级较高的数据样本需要注入幅度较高的噪声,噪声等级较低的数据样本需要注入幅度较低的样本。
具体的,向样本数据注入不同幅度的噪声得到不同噪声等级的训练样本,若指标数据的历史波动幅度N较大,噪声等级较高,则目标孪生网络模型的训练样本,需要向对应历史波动幅度N的数据样本注入较高幅度的噪声得到;若指标数据的历史波动幅度N较小,则目标孪生网络模型的训练样本,需要向对应历史波动幅度N的数据样本注入较小幅度的噪声得到,即检测指标数据的历史波动幅度N与目标孪生网络模型的训练样本的噪声等级正相关。
可选的,所述根据所述待检测指标数据的历史波动幅度,从至少两个候选孪生网络模型中确定目标孪生网络模型之前,还包括:
根据训练样本集中训练样本生成目标噪声等级的目标训练样本对和该目标训练样本对的训练标签;根据所述目标训练样本对和该目标训练样本对的训练标签,对所述目标孪生网络模型进行训练。
其中,训练样本对由两个时间长度相同的训练样本组成,若两个训练样本不相似,则该训练对的训练标签为不相似正例标签;若两个训练样本相似,则该训练对的训练标签为相似负例标签。
具体的,从训练样本集中选取目标噪声等级的训练样本,根据训练样本中注入噪声的强度、样本内容以及样本组对方式来确定各训练样本对的训练标签。根据目标训练样本对和相应训练标签,训练目标孪生网络模型对输入数据对是否相似的判断能力,并输入数值化的距离值,来表征相似/不相似程度。
可选的,所述根据所述目标训练样本对和该目标训练样本对的训练标签,对所述目标孪生网络模型进行训练包括:
若所述目标训练样本对的训练标签为不相似正例标签,则通过所述目标训练样本对训练所述目标孪生网络模型学习样本对不相似特征;若所述目标训练样本对的训练标签为相似负例标签,则通过所述目标训练样本对训练所述目标孪生网络模型学习样本对相似特征。
具体的,本发明中正例指的是训练对两个片段不相似,负例是指训练对两个片段相似。注入噪声获取到的不相似正例,是为了训练模型“两条输入有怎样的偏差的情况下,就应该给出不相似的判断”;而注入噪声获取到的相似负例,是为了增强模型鲁棒性,告诉模型“两条输入中,什么程度、什么类型的偏差是可以容忍的”。通过设计并利用不相似正例和相似负例对模型进行训练,可以降低模型的敏感度并防止过拟合,也能更符合生产环境中数据的真实运维情况。
可选的,所述训练样本集通过向原始样本集注入噪声得到,所述原始样本包括历史同期数据样本和随机时刻前后数据样本。
其中,历史同期数据样本由时序数据库中同一历史周期位置的时间长度相同的指标数据组成,例如节点22-23(数据样本A)与32-33(数据样本B)组成一份历史同期数据样本。随机时刻前后数据样本为任意随机节点时刻之前和之后时间长度相同的指标数据组成,例如随机时刻为节点8,则随机时刻前后数据样本为可以由节点7-8与8-9组成。需要说明的是,随机时刻可以是时序数据库中任意节点,并非必须是变更节点。
具体的,从时序数据库中获取历史同期数据样本和随机时刻前后数据样本,作为原始样本集中的原始样本。向任意两个原始样本分别注入噪声,得到未注入噪声的两个原始样本,和两个增强样本,将其分别一一组对,得到六组潜在有效的训练样本对。根据注入噪声的强度、组对方式、原始样本的噪声等级以及该噪声等级的标准噪声幅度,对六个潜在的训练样本对进行筛选,从中选取真正可用于模型训练的训练样本对,并标注相应的训练标签。
示例性的,将历史同期数据A和B作为待注入噪声的数据对,对训练样本对的组对和筛选打标过程进行如下说明:
组对:
向A注噪声α,向B注入噪声β得到-A和-B,可得到A与-A、A与B、A与-B、B与-B、B与-A、-A与-B共六个潜在的训练样本对。
筛选打标:
1)对于A与B,由于未注入噪声,可直接确定为有效的训练样本对,并标注为相似负例。
2)对于A与-A、B与-B、A与-B、B与-A,由于注入噪声前两个原始样本相似甚至相同且仅有一方注入了噪声,因此可直接确定为有效的训练样本对,打标则需根据注入噪声幅度与标准噪声幅度的大小关系进一步确定,具体为:①若注入噪声α的噪声强度不大于标准噪声幅度,则A与-A、B与-A均标记为相似负例;若注入噪声α的噪声强度大于标准噪声幅度,则A与-A、B与-A均标记为不相似正例;②若注入噪声β的噪声强度不大于标准噪声幅度,则B与-B、A与-B均标记为相似负例;若注入噪声β的噪声强度大于标准噪声幅度,则B与-B、A与-B均标记为不相似正例。
3)对于-A与-B,由于同时需要对两个序列进行噪声注入,不太可控它们的相似度,这种情况我们就避免出现,即不会将-A与-B作为训练样本对。
示例性的,图2B是根据本发明又一实施例提供的一种不同噪声等级孪生网络训练流程的示意图。先根据提取的历史正常的KPI片段的历史波动幅度,确定该片段所属的第i个噪声等级,根据该i个噪声等级的标准噪声幅度,向数据样本中注入幅度相对标准噪声幅度较小的正常幅度的噪声,得到相似的片段二元对,作为模型的相似训练负例;向数据样本中注入幅度相对标准噪声幅度过大的异常幅度的噪声,得到不相似的片段二元对,作为模型的不相似训练正例。
S230、将所述历史同期数据检测对和所述变更前后数据检测对分别输入目标孪生网络模型,得到历史同期距离和变更前后距离。
S240、对所述历史同期距离和所述变更前后距离进行加权相加,得到所述待检测指标数据的异常变更置信度;若所述异常变更置信度大于异常置信度阈值,则确定所述待检测指标数据的检测结果为异常变更;若所述异常变更置信度不大于异常置信度阈值,则确定所述待检测指标数据的检测结果为正常变更。
具体的,基于运维记录设定异常变更置信度阈值th,并分别为历史同期距离和变更前后距离设置各自的参考权重。对历史同期距离和变更前后距离进行加权相加,得到待检测指标数据的异常变更置信度,大于th则判定为异常,不大于th则判定为正常。此外,异常置信度阈值可随着运维场景的变更而更新,在重要更新修改为仅能容忍很少的指标异常,大幅度更新可以修改为容忍较多的异常。例如给服务扩容时,假如扩容3倍,则每台服务器的交易量只会有原来的33%,虽然这个KPI和变更前有大的变化(即水位漂移),但此KPI的表现是可预期的,符合变更的需求,故不应视为异常变更,并根据该扩容对指标数据的推测影响来提前调整异常置信度阈值的数值大小。
示例性的,图2C是根据本发明又一实施例提供的一种异常变更判断流程的示意图。其中,将变更后数据作为待检测指标数据,从时序数据库中获取变更前数据(局部稳定性数据)和对应历史同期数据,分别生成历史同期数据检测对和变更前后数据检测对。根据变更后数据的历史波动幅度,从预先训练完成的多个预训练模型中选取处理该历史波动幅度的目标模型,通过目标模型学习到的KPI层次和相应距离函数得到历史同期距离和变更前后距离,根据距离值和置信度阈值的对比结果来确定初步的异常变更判断结果,并由运维人员进行人工复核,最终确定变更是否异常。
本发明实施例通过数据增强的方法,向样本数据注入不同幅度的噪声来得到训练模型所需的训练样本和训练标签,避免了人工标注数据成本过高,提高样本标注效率,降低标注成本。
图3为本发明又一实施例提供的一种异常变更检测装置的结构示意图。
如图3所示,该装置包括:
参考数据对获取模块310,用于获取待检测指标数据的历史同期数据检测对和变更前后数据检测对;
网络模型确定模块320,用于根据所述待检测指标数据的历史波动幅度,从至少两个候选孪生网络模型中确定目标孪生网络模型;
参考距离生成模块330,用于将所述历史同期数据检测对和所述变更前后数据检测对分别输入目标孪生网络模型,得到历史同期距离和变更前后距离;
异常变更检测模块340,用于根据所述历史同期距离和变更前后距离确定所述待检测指标数据的异常变更检测结果。
本发明实施例所提供的异常变更检测装置可执行本发明任意实施例所提供的异常变更检测方法,具备执行方法相应的功能模块和有益效果。
可选的,网络模型确定模块320包括:
噪声等级确定单元,用于根据待检测指标数据的历史波动幅度,确定目标噪声等级;
网络模型确定单元,用于从至少两个候选孪生网络模型中选取采用目标噪声等级的训练样本对训练的候选孪生网络模型,作为目标孪生网络模型。
可选的,所述装置还包括:
训练样本获取模块,用于根据训练样本集中训练样本生成目标噪声等级的目标训练样本对和该目标训练样本对的训练标签;
网络模型训练模块,用于根据所述目标训练样本对和该目标训练样本对的训练标签,对所述目标孪生网络模型进行训练。
可选的,所述网络模型训练模块包括:
第一模型训练单元,用于若所述目标训练样本对的训练标签为不相似正例标签,则通过所述目标训练样本对训练所述目标孪生网络模型学习样本对不相似特征;
第二模型训练单元,用于若所述目标训练样本对的训练标签为相似负例标签,则通过所述目标训练样本对训练所述目标孪生网络模型学习样本对相似特征。
可选的,所述训练样本集中通过向原始样本集注入噪声得到,所述原始样本包括历史同期数据样本和随机时刻前后数据样本。
可选的,参考数据对获取模块310包括:
指标数据获取单元,用于获取待检测软件服务***变更后的待检测指标数据;
第一数据对获取单元,用于获取所述待检测软件服务***变更前的稳定性指标数据,并将所述稳定性指标数据与所述待检测指标数据组成变更前后数据检测对;
第二数据对获取单元,用于获取所述待检测软件服务***在任一历史变更周期中,与所述待检测指标数据同期的周期性指标数据,并将所述周期性指标数据与所述待检测指标数据组成历史同期数据检测对。
可选的,所述异常变更检测模块340包括:
置信度计算单元,用于对所述历史同期距离和所述变更前后距离进行加权相加,得到所述待检测指标数据的异常变更置信度;
第一变更检测单元,用于若所述异常变更置信度大于异常置信度阈值,则确定所述待检测指标数据的检测结果为异常变更;
第二变更检测单元,用于若所述异常变更置信度不大于异常置信度阈值,则确定所述待检测指标数据的检测结果为正常变更。
进一步说明的异常变更检测装置也可执行本发明任意实施例所提供的异常变更检测方法,具备执行方法相应的功能模块和有益效果。
图4示出了可以用来实施本发明的实施例的电子设备40的结构示意图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图4所示,电子设备40包括至少一个处理器41,以及与至少一个处理器41通信连接的存储器,如只读存储器(ROM)42、随机访问存储器(RAM)43等,其中,存储器存储有可被至少一个处理器执行的计算机程序,处理器41可以根据存储在只读存储器(ROM)42中的计算机程序或者从存储单元48加载到随机访问存储器(RAM)43中的计算机程序,来执行各种适当的动作和处理。在随机访问存储器(RAM) 43中,还可存储电子设备40操作所需的各种程序和数据。处理器41、只读存储器(ROM) 42以及随机访问存储器(RAM) 43通过总线44彼此相连。输入/输出(I/O)接口45也连接至总线44。
电子设备40中的多个部件连接至I/O接口45,包括:输入单元46,例如键盘、鼠标等;输出单元47,例如各种类型的显示器、扬声器等;存储单元48,例如磁盘、光盘等;以及通信单元49,例如网卡、调制解调器、无线通信收发机等。通信单元49允许电子设备40通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器41可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器41的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器41执行上文所描述的各个方法和处理,例如异常变更检测方法。
在一些实施例中,异常变更检测方法可被实现为计算机程序,其被有形地包含于计算机可读存储介质,例如存储单元48。在一些实施例中,计算机程序的部分或者全部可以经由只读存储器(ROM) 42和/或通信单元49而被载入和/或安装到电子设备40上。当计算机程序加载到随机访问存储器(RAM)43并由处理器41执行时,可以执行上文描述的异常变更检测方法的一个或多个步骤。备选地,在其他实施例中,处理器41可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行异常变更检测方法。
本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器,使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中,计算机可读存储介质可以是有形的介质,其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备,或者上述内容的任何合适组合。备选地,计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在电子设备上实施此处描述的***和技术,该电子设备具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如,作为数据服务器)、或者包括中间件部件的计算***(例如,应用服务器)、或者包括前端部件的计算***(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将***的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务中,存在的管理难度大,业务扩展性弱的缺陷。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本发明的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。
Claims (7)
1.一种软件服务***异常变更检测方法,其特征在于,所述方法包括:
获取待检测指标数据的历史同期数据检测对和变更前后数据检测对;
根据所述待检测指标数据的历史波动幅度,从至少两个候选孪生网络模型中确定目标孪生网络模型;
将所述历史同期数据检测对和所述变更前后数据检测对分别输入目标孪生网络模型,得到历史同期距离和变更前后距离;
根据所述历史同期距离和变更前后距离确定所述待检测指标数据的异常变更检测结果;
其中,所述根据所述待检测指标数据的历史波动幅度,从至少两个候选孪生网络模型中确定目标孪生网络模型包括:
根据待检测指标数据的历史波动幅度,确定目标噪声等级;
从至少两个候选孪生网络模型中选取采用目标噪声等级的训练样本对训练的候选孪生网络模型,作为目标孪生网络模型;
其中,各候选孪生网络模型的神经网络结构保持一致;
其中,所述根据所述待检测指标数据的历史波动幅度,从至少两个候选孪生网络模型中确定目标孪生网络模型之前,还包括:
根据训练样本集中训练样本生成目标噪声等级的目标训练样本对和该目标训练样本对的训练标签;
根据所述目标训练样本对和该目标训练样本对的训练标签,对所述目标孪生网络模型进行训练;
所述根据训练样本集中训练样本生成目标噪声等级的目标训练样本对和该目标训练样本对的训练标签包括:
从时序数据库中获取成对的原始样本;
向各原始样本分别注入噪声得到增强样本,并将原始样本和增强样本一一组对得到原始训练样本对;
根据注入噪声的强度、组对方式、原始样本的噪声等级和该噪声等级的标准噪声幅度,从所述原始训练样本对中确定有效训练样本对,并确定各有效训练样本对的训练标签;
其中,所述获取待检测指标数据的历史同期数据检测对和变更前后数据检测对包括:
获取待检测软件服务***变更后的待检测指标数据;
获取所述待检测软件服务***变更前的稳定性指标数据,并将所述稳定性指标数据与所述待检测指标数据组成变更前后数据检测对;
获取所述待检测软件服务***在任一历史变更周期中,与所述待检测指标数据同期的周期性指标数据,并将所述周期性指标数据与所述待检测指标数据组成历史同期数据检测对。
2.根据权利要求1所述的方法,其特征在于,所述根据所述目标训练样本对和该目标训练样本对的训练标签,对所述目标孪生网络模型进行训练包括:
若所述目标训练样本对的训练标签为不相似正例标签,则通过所述目标训练样本对训练所述目标孪生网络模型学习样本对不相似特征;
若所述目标训练样本对的训练标签为相似负例标签,则通过所述目标训练样本对训练所述目标孪生网络模型学习样本对相似特征。
3.根据权利要求1-2任一项所述的方法,其特征在于,所述原始样本包括历史同期数据样本和随机时刻前后数据样本。
4.根据权利要求1所述的方法,其特征在于,若所述根据所述历史同期距离和变更前后距离确定所述待检测指标数据的异常变更检测结果包括:
对所述历史同期距离和所述变更前后距离进行加权相加,得到所述待检测指标数据的异常变更置信度;
若所述异常变更置信度大于异常置信度阈值,则确定所述待检测指标数据的检测结果为异常变更;
若所述异常变更置信度不大于异常置信度阈值,则确定所述待检测指标数据的检测结果为正常变更。
5.一种软件服务***异常变更检测装置,其特征在于,所述装置包括:
参考数据对获取模块,用于获取待检测指标数据的历史同期数据检测对和变更前后数据检测对;
网络模型确定模块,用于根据所述待检测指标数据的历史波动幅度,从至少两个候选孪生网络模型中确定目标孪生网络模型;
参考距离生成模块,用于将所述历史同期数据检测对和所述变更前后数据检测对分别输入目标孪生网络模型,得到历史同期距离和变更前后距离;
异常变更检测模块,用于根据所述历史同期距离和变更前后距离确定所述待检测指标数据的异常变更检测结果;
其中,所述网络模型确定模块包括:
噪声等级确定单元,用于根据待检测指标数据的历史波动幅度,确定目标噪声等级;
网络模型确定单元,用于从至少两个候选孪生网络模型中选取采用目标噪声等级的训练样本对训练的候选孪生网络模型,作为目标孪生网络模型;
其中,各候选孪生网络模型的神经网络结构保持一致;
训练样本获取模块,用于根据训练样本集中训练样本生成目标噪声等级的目标训练样本对和该目标训练样本对的训练标签;
网络模型训练模块,用于根据所述目标训练样本对和该目标训练样本对的训练标签,对所述目标孪生网络模型进行训练;
其中,所述训练样本获取模块具体用于:从时序数据库中获取成对的原始样本;向各原始样本分别注入噪声得到增强样本,并将原始样本和增强样本一一组对得到原始训练样本对;根据注入噪声的强度、组对方式、原始样本的噪声等级和该噪声等级的标准噪声幅度,从所述原始训练样本对中确定有效训练样本对,并确定各有效训练样本对的训练标签;
其中,所述参考数据对获取模块包括:
指标数据获取单元,用于获取待检测软件服务***变更后的待检测指标数据;
第一数据对获取单元,用于获取所述待检测软件服务***变更前的稳定性指标数据,并将所述稳定性指标数据与所述待检测指标数据组成变更前后数据检测对;
第二数据对获取单元,用于获取所述待检测软件服务***在任一历史变更周期中,与所述待检测指标数据同期的周期性指标数据,并将所述周期性指标数据与所述待检测指标数据组成历史同期数据检测对。
6.一种电子设备,其特征在于,所述电子设备包括:
至少一个处理器;
以及与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-4中任一项所述的软件服务***异常变更检测方法。
7.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现权利要求1-4中任一项所述的软件服务***异常变更检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211314800.1A CN115391160B (zh) | 2022-10-26 | 2022-10-26 | 一种异常变更检测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211314800.1A CN115391160B (zh) | 2022-10-26 | 2022-10-26 | 一种异常变更检测方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115391160A CN115391160A (zh) | 2022-11-25 |
CN115391160B true CN115391160B (zh) | 2023-04-07 |
Family
ID=84128950
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211314800.1A Active CN115391160B (zh) | 2022-10-26 | 2022-10-26 | 一种异常变更检测方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115391160B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118035265B (zh) * | 2024-04-12 | 2024-07-26 | 深圳市邦正精密机械股份有限公司 | 一种基于动态数据库的参数记录变更动态处理方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022032471A1 (zh) * | 2020-08-11 | 2022-02-17 | 香港中文大学(深圳) | 一种神经网络模型的训练方法、装置、存储介质及设备 |
CN114469132A (zh) * | 2022-02-11 | 2022-05-13 | 挂号网(杭州)科技有限公司 | 模型训练方法、装置、电子设备及存储介质 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109345408A (zh) * | 2018-08-23 | 2019-02-15 | 国网江苏省电力有限公司 | 基于长短期记忆网络的异常数据甄别方法 |
CN110084407A (zh) * | 2019-04-03 | 2019-08-02 | 新奥数能科技有限公司 | 基于循环神经网络和元学习策略的负荷预测方法及装置 |
CN110471821B (zh) * | 2019-08-07 | 2023-10-13 | 深圳市腾讯计算机***有限公司 | 异常变更检测方法、服务器及计算机可读存储介质 |
CN112883990A (zh) * | 2019-11-29 | 2021-06-01 | 京东安联财产保险有限公司 | 数据分类方法及装置、计算机存储介质、电子设备 |
US20220083840A1 (en) * | 2020-09-11 | 2022-03-17 | Google Llc | Self-training technique for generating neural network models |
CN112163609A (zh) * | 2020-09-22 | 2021-01-01 | 武汉科技大学 | 一种基于深度学习的图像块相似度计算方法 |
CN113536066A (zh) * | 2021-07-16 | 2021-10-22 | 全球能源互联网研究院有限公司 | 一种数据异常检测算法确定方法、装置及计算机设备 |
CN114726581B (zh) * | 2022-03-09 | 2023-06-20 | 同济大学 | 一种异常检测方法、装置、电子设备及存储介质 |
-
2022
- 2022-10-26 CN CN202211314800.1A patent/CN115391160B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022032471A1 (zh) * | 2020-08-11 | 2022-02-17 | 香港中文大学(深圳) | 一种神经网络模型的训练方法、装置、存储介质及设备 |
CN114469132A (zh) * | 2022-02-11 | 2022-05-13 | 挂号网(杭州)科技有限公司 | 模型训练方法、装置、电子设备及存储介质 |
Non-Patent Citations (1)
Title |
---|
A Good Sample is Hard to Find: Noise Injection Sampling and Self-Training for Neural Language Generation Models;Chris Kedzie等;《arXiv》;第1-15页 * |
Also Published As
Publication number | Publication date |
---|---|
CN115391160A (zh) | 2022-11-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115391160B (zh) | 一种异常变更检测方法、装置、设备及存储介质 | |
CN114461644A (zh) | 一种数据采集方法、装置、电子设备及存储介质 | |
CN117041017A (zh) | 数据中心的智能运维管理方法及*** | |
CN115118574A (zh) | 一种数据处理方法、装置及存储介质 | |
CN116975081A (zh) | 一种日志诊断集更新方法、装置、设备及存储介质 | |
CN116431505A (zh) | 一种回归测试方法、装置、电子设备、存储介质及产品 | |
CN116401281A (zh) | 一种sql查询时间预测方法、装置、设备及介质 | |
CN115392403B (zh) | 一种异常变更检测方法、装置、设备及存储介质 | |
CN115759751A (zh) | 一种企业风险预测方法、装置、存储介质、电子设备及产品 | |
CN115665783A (zh) | 一种异常指标溯源方法、装置、电子设备及存储介质 | |
CN115860872A (zh) | 一种目标物品确定方法、装置、电子设备及存储介质 | |
CN115601042A (zh) | 信息识别方法、装置、电子设备及存储介质 | |
CN114676927A (zh) | 风险预测方法和装置、电子设备、计算机可读存储介质 | |
CN114328123A (zh) | 异常确定方法、训练方法、装置、电子设备以及存储介质 | |
CN114611609A (zh) | 一种图网络模型节点分类方法、装置、设备及存储介质 | |
CN115378589B (zh) | 二进制密钥的随机性测试方法、装置、设备及介质 | |
CN114037058B (zh) | 预训练模型的生成方法、装置、电子设备以及存储介质 | |
CN115829160B (zh) | 一种时序异常预测方法、装置、设备及存储介质 | |
CN118277916A (zh) | 企业所属行业识别方法、装置、设备及存储介质 | |
CN117608896A (zh) | 交易数据处理方法、装置、电子设备及存储介质 | |
CN115604745A (zh) | 高维kpi的异常检测方法、装置、计算机可读介质及设备 | |
CN116881857A (zh) | 一种产品推荐方法、装置、设备及介质 | |
CN117609336A (zh) | 一种数据处理方法、装置、电子设备和存储介质 | |
CN117667587A (zh) | 一种异常检测方法、装置、电子设备及存储介质 | |
CN115858621A (zh) | 用户行为预测方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |