CN112508316B - 实时异常检测***中的自适应异常判定方法和装置 - Google Patents
实时异常检测***中的自适应异常判定方法和装置 Download PDFInfo
- Publication number
- CN112508316B CN112508316B CN201910872258.3A CN201910872258A CN112508316B CN 112508316 B CN112508316 B CN 112508316B CN 201910872258 A CN201910872258 A CN 201910872258A CN 112508316 B CN112508316 B CN 112508316B
- Authority
- CN
- China
- Prior art keywords
- residual
- sequence
- real
- value
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005856 abnormality Effects 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000001514 detection method Methods 0.000 title claims abstract description 36
- 230000002159 abnormal effect Effects 0.000 claims abstract description 33
- 208000018910 keratinopathic ichthyosis Diseases 0.000 claims description 82
- 230000006870 function Effects 0.000 claims description 16
- 230000003044 adaptive effect Effects 0.000 claims description 14
- 239000013598 vector Substances 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 2
- 230000008859 change Effects 0.000 abstract description 17
- 238000012423 maintenance Methods 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/20—Administration of product repair or maintenance
Landscapes
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Engineering & Computer Science (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Tourism & Hospitality (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Game Theory and Decision Science (AREA)
- Debugging And Monitoring (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本发明实施例提供一种实时异常检测***中的自适应异常判定方法和装置。所述方法包括：根据历史KPI数据的残差指标确定阈值基准值；根据当前KPI数据的残差指标确定实时调整基准值；根据所述阈值基准值和所述实时调整基准值自适应调整异常判定阈值；根据所述异常判定阈值自动进行异常判定。本发明实施例能够自动设定KPI动态阈值，有效反映***实时动态变化引起的异常阈值动态变化，提高异常判定的准确性。
Description
技术领域
本发明涉及***运维技术领域，尤其涉及一种实时异常检测***中的自适应异常判定方法和装置。
背景技术
数字化、信息化时代，各行各业均需要一些复杂多样的大型软硬件***支撑。与此同时，这些***的部署、运行和维护都需要专业的运维人员，但是传统的运维手段难以高效的支撑规模庞大的***运维场景。近年来，在学术界和工业界的推动下，智能运维(Artificial Intelligence for IT Operations,AIOps)飞速发展，其通过将人工智能技术应用于运维领域，结合大数据分析***以及机器学习算法从海量的运维数据(***日志、监控信息、应用信息等)中不断的挖掘学习，提炼和总结规则，为当前的一些复杂多样的大型软硬件***运维提供了新的解决方案。其中关键性能指标(Key PerformanceIndicator,KPI)异常检测是智能运维的一个底层核心技术。当***的某个KPI呈现出异常(如突增、突降、抖动)时，往往意味着与其相关的应用发生了一些潜在的故障，比如网络故障、服务器故障、配置错误等。然而对于一个实际的大型软硬件***来说，通常包含众多子模块，每个子模块都有多种不同类型的KPI反应其运行状态。例如目前被广泛商用的CDN(Content Delivery Network，内容分发网络)***，其主要包含CDN边缘服务器、负载均衡、调度等功能模块。对于CDN边缘服务器，就有多种不同类型反映其性能的KPI，如命中率、命中时首包响应时间、命中时异常状态码占比等。KPI异常检测的目标就是要监控反映一个实际的大型软硬件***运行状态的所有的KPI。当KPI指标出现异常(如突增、突降、抖动)时，往往意味着发生了潜在的故障。对于KPI的异常判定，目前业界常用的方法主要为基于历史数据的异常判定方法，包括基于经验的固定阈值法、基于正太分布的拉依达准则以及基于打标样本学习的分类方法。
固定阈值法因为其算法简单开销小易实施的优势而被工业界初级异常检测***广泛使用。一般运维人员按照自身经验，为不同的KPI设定异常阈值，如CPU使用率，运维人员根据自己的主观经验将90％设置为异常判定阈值，一旦其大于90％，即显示异常。
拉依达准则同样因为其算法简单开销小易实施的优势而被工业界初级异常检测***广泛使用。拉依达准则又称为3σ准则，它是先假设一组检测数据只含有随机误差，对其进行计算处理得到标准偏差，按一定概率确定一个区间，认为凡超过这个区间的误差，就不属于随机误差而是粗大误差，含有该误差的数据应予以剔除。且3σ适用于有较多组数据的时候。3σ原则为数值分布在(μ-σ,μ+σ)中的概率为0.6827，数值分布在(μ-2σ,μ+2σ)中的概率为0.9545，数值分布在(μ-3σ,μ+3σ)中的概率为0.9973可以认为，Y的取值几乎全部集中在(μ-3σ,μ+3σ)区间内，超出这个范围的可能性仅占不到0.3％，所以可以将这部分数据判定为异常。
基于打标样本学习的分类方法通过人工将一部分历史KPI打标成异常与正常两类数据，然后再利用监督类机器学习方法如支持向量机(SVM)算法、人工神经网络算法等进行分类学习，再将学习到的模型应用于实时数据进行异常判定。
以上三类方法严重依赖历史数据，不能有效反映KPI的实时动态变化引起的异常阈值动态变化，从而造成了监控性能差强人意，误报漏报较多的问题。具体来说，固定阈值法严重依赖专家经验，监控性能差强人意，误报漏报较多。拉依达准则法只针对KPI符合正太分布的曲线，难以适应KPI曲线特征多样化，异常概率实时变化的特点，从而造成了大量的漏报误报。通常来说，对于一个线上运行的大型软硬件***，这样的KPI量级可达到百万级。基于打标样本学习的分类方法一方面增大了人工打标开销，另一方面不能有效反映KPI的实时动态变化引起的异常阈值动态变化。
发明内容
针对现有技术问题，本发明实施例提供一种实时异常检测***中的自适应异常判定方法和装置。
本发明实施例提供一种实时异常检测***中的自适应异常判定方法，所述方法包括：
根据历史KPI数据的残差指标确定阈值基准值；
根据当前KPI数据的残差指标确定实时调整基准值；
根据所述阈值基准值和所述实时调整基准值自适应调整异常判定阈值；
根据所述异常判定阈值自动进行异常判定。
本发明实施例提供一种实时异常检测***中的自适应异常判定装置，所述装置包括：
第一确定单元，用于根据历史KPI数据的残差指标确定阈值基准值；
第二确定单元，用于根据当前KPI数据的残差指标确定实时调整基准值；
调整单元，用于根据所述阈值基准值和所述实时调整基准值自适应调整异常判定阈值；
判定单元，用于根据所述异常判定阈值自动进行异常判定。
本发明实施例还提供一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述实时异常检测***中的自适应异常判定方法。
本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述实时异常检测***中的自适应异常判定方法。
本发明实施例提供的实时异常检测***中的自适应异常判定方法和装置，通过根据KPI历史数据阈值基准值与实时数据动态阈值调整基准值计算得到异常判定阈值，在异常检测过程中，根据***动态变化自适应调整异常判定阈值，能够自动设定KPI动态阈值，有效反映***实时动态变化引起的异常阈值动态变化，提高异常判定的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的实时异常检测***中的自适应异常判定方法的流程示意图；
图2为本发明又一实施例提供的实时异常检测***中的自适应异常判定方法的流程示意图；
图3为本发明一实施例提供的KPI阈值异常判定示意图；
图4为本发明一实施例提供的实时异常检测***中的自适应异常判定装置的结构示意图；
图5为本发明一实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1示出了本发明一实施例提供的实时异常检测***中的自适应异常判定方法的流程示意图。
如图1所示，具体包括以下步骤：
S11、根据历史KPI数据的残差指标确定阈值基准值；
具体地，本发明实施例应可用于CDN***实时异常检测***，CDN***主要包含CDN边缘服务器、负载均衡、调度等功能模块。对于CDN边缘服务器，就有多种不同类型反映其性能的KPI，如命中率、命中时首包响应时间、命中时异常状态码占比等。
所述历史KPI数据包括历史KPI的实际值和预测值，按照时间组成历史KPI时间序列，所述残差指标包括根据历史KPI的实际值和预测值自动计算的平均绝对误差、平均绝对百分比误差、对称平均绝对误差等，不同残差指标从不同角度捕获KPI时间序列实际值和预测值之差。本发明实施例根据历史KPI的残差指标确定的阈值基准值为从历史数据中自动学习得到的合适的阈值，能够反映KPI指标的历史数据信息。
S12、根据当前KPI数据的残差指标确定实时调整基准值；
具体地，所述当前KPI数据包括当前指定时段的KPI的实际值和预测值，按照时间组成当前KPI时间序列，同样地，所述残差指标包括根据当前KPI的实际值和预测值自动计算的平均绝对误差、平均绝对百分比误差、对称平均绝对误差等，不同残差指标从不同角度捕获当前KPI时间序列实际值和预测值之差。考虑到CDN***的动态性导致一些关键性能指标有时会发生波动，本发明实施例根据当前KPI的残差指标确定的调整基准值为实时KPI阈值调整基准值，能够反映KPI的实时动态变化引起的异常阈值动态变化。
S13、根据所述阈值基准值和所述实时调整基准值自适应调整异常判定阈值；
具体地，本发明实施例将KPI历史数据阈值基准值与实时数据动态阈值调整基准值相结合得到最终的自适应异常判定阈值，该异常判定阈值作为在线异常检测的阈值。异常检测过程中，根据***的实时动态信息，动态调整阈值调整基准值，最终在线阈值自适应进行调整。
本发明实施例提供的实时异常检测***中的自适应异常判定方法，通过根据KPI历史数据阈值基准值与实时数据动态阈值调整基准值计算得到异常判定阈值，在异常检测过程中，根据***动态变化自适应调整异常判定阈值，能够自动设定KPI动态阈值，有效反映***实时动态变化引起的异常阈值动态变化，提高异常判定的准确性。
在上述实施例的基础上，步骤S11具体包括：
根据历史KPI时间序列的实际值和预测值计算各残差指标的残差序列；
不断将所述残差序列中的最大值移到异常集合中，直至所述异常集合和剩余残差集合的中心距离大于第一阈值，且所述剩余残差集合对应的异常比例小于第二阈值；其中，所述异常集合和所述剩余残差集合的合集为所述残差序列；
确定所述剩余残差集合中的最大值为所述阈值基准值。
具体地，根据历史KPI时间序列的实际值和预测值，计算平均绝对误差、平均绝对百分比误差、对称平均绝对误差、平均绝对比例误差、期望平均绝对百分比误差等各残差指标，生成不同指标的残差序列，能够从不同角度捕获KPI时间序列实际值和预测值之差。
针对各残差指标的残差序列分别进行如下阈值基准值自动获取算法：
不断的将当前残差序列中最大值移到异常集合中，当异常集合和余下残差集合的中心距离足够远，且余下残差集合满足发生异常的比例小于一定的阈值，则认为当前残差指标能够用于异常判定，此时余下残差集合则为正常集合，自动获取正常集合中的最大值，即为确定的阈值基准值。
进一步地，五种残差指标的残差序列分别得到五种阈值基准值，从不同角度确定阈值基准值。
在上述实施例的基础上，步骤S12具体包括：
根据当前KPI时间序列的实际值和预测值计算各残差指标的残差序列；
根据所述残差序列的均值和方差确定所述实时调整基准值，其中，所述实时调整基准值满足：
将所述残差序列中的所有大于所述实时调整基准值的残差从所述残差序列中移出，使得所述残差序列的均值和方差的变化量最大。
具体地，根据当前KPI时间序列的实际值和预测值，计算平均绝对误差、平均绝对百分比误差、对称平均绝对误差、平均绝对比例误差、期望平均绝对百分比误差等各残差指标，生成不同指标的残差序列，能够从不同角度捕获KPI时间序列实际值和预测值之差。
针对各残差指标的残差序列分别计算残差序列的均值和方差，根据均值和方差进行阈值实时调整基准值的启发式算法，该启发式算法的含义为：如果将残差序列中所有大于某一个阈值的残差从该序列中移除，将使得残差序列的均值和方差将发生相对较大的变化，那么该阈值即是最合理的阈值。
进一步地，五种残差指标的残差序列分别得到五种阈值实时调整基准值，从不同角度确定实时调整基准值。
在上述实施例的基础上，所述根据所述残差序列的均值和方差确定所述实时调整基准值包括：
根据所述残差序列的均值和方差确定候选实时调整基准值；
根据所述残差序列的均值和方差的变化量构建目标函数，确定使所述目标函数最大的候选实时调整基准值为最终的实时调整基准值；
所述目标函数为：
s.t.
其中，为候选实时调整基准值向量，/>μ为所述残差序列的均值，σ为所述残差序列的方差，/>为选取实时调整基准值的步长向量；ε为使所述目标函数最大的实时调整基准值；
为进行平滑处理后的残差序列，/>l为计算残差的时间序列窗口长度，t为当前时刻；
所述残差序列中大于所述实时调整基准值的残差组成异常点序列/>
所述异常点序列中连续的异常点组成异常区间序列/>
为所述异常点序列/>中的元素数量，/>为所述异常区间序列/>中的元素数量。
具体地，KPI时间序列残差记为采用指数加权移动平均对该残差做平滑，得到平滑后的残差/>根据残差序列的均值和方差选取一组候选实时调整基准值向量/> 为选取的步长，取值可为/> 中的多个候选实时调整基准值，计算使得上述目标函数最大的候选实时调整基准值即为确定的实时调整基准值。
进一步地，所述目标函数是根据启发式算法的含义，将残差序列中的所有大于所述实时调整基准值的残差从所述残差序列中移出，使得残差序列的均值和方差的变化量最大为目标构建的。
进一步地，表示在将残差序列中所有大于/>中某一个阈值的残差从该序列中移除后，该残差序列的均值的变化量；/>表示在将残差序列中所有大于/>中某一个阈值的残差从该序列中移除后，该残差序列的方差的变化量。
在上述实施例的基础上，所述异常判定阈值的调整公式为：
ths＝pε+(1-p)thsem
其中，ths为所述异常判定阈值，ε为所述实时调整基准值，p为ε的权重，thsem为所述阈值基准值。
具体地，其中thsem是依据历史数据集自动计算出来的一个较为稳定的阈值，更具一般性；ε则是依据当前数据，采用启发式算法实时计算出来的调整基准值，更能反映***动态特性。将两者通过一定的权重组合到一起得到最终的异常判定阈值，因而具有更高的准确性。
进一步地，五种残差指标的残差序列分别得到五种异常判定阈值，从不同角度判定异常。
图2示出了本发明又一实施例提供的实时异常检测***中的自适应异常判定方法的流程示意图。
如图2所示，具体包括以下步骤：
根据历史KPI数据计算阈值基准值thsem；
根据实时KPI数据计算实时调整基准值ε；
根据阈值基准值thsem和实时调整基准值ε计算最终在线阈值；
根据最终在线阈值进行异常判定。
图3示出了本发明实施例提供的KPI阈值异常判定示意图。
如图3所示，threshold为设定的KPI阈值，超过threshold的区域为异常区域。
图4示出了本发明实施例提供的实时异常检测***中的自适应异常判定装置的结构示意图。
如图4所示，所述装置包括：第一确定单元41、第二确定单元42、调整单元43和判定单元44，其中：
所述第一确定单元41，用于根据历史KPI数据的残差指标确定阈值基准值；
所述第二确定单元42，用于根据当前KPI数据的残差指标确定实时调整基准值；
所述调整单元43，用于根据所述阈值基准值和所述实时调整基准值自适应调整异常判定阈值；
所述判定单元44，用于根据所述异常判定阈值自动进行异常判定。
本发明实施例提供的实时异常检测***中的自适应异常判定装置，通过根据KPI历史数据阈值基准值与实时数据动态阈值调整基准值计算得到异常判定阈值，在异常检测过程中，根据***动态变化自适应调整异常判定阈值，能够自动设定KPI动态阈值，有效反映***实时动态变化引起的异常阈值动态变化，提高异常判定的准确性。
在上述实施例的基础上，所述第一确定单元41包括：
第一计算模块，用于根据历史KPI时间序列的实际值和预测值计算各残差指标的残差序列；
处理模块，用于不断将所述残差序列中的最大值移到异常集合中，直至所述异常集合和剩余残差集合的中心距离大于第一阈值，且所述剩余残差集合对应的异常比例小于第二阈值；其中，所述异常集合和所述剩余残差集合的合集为所述残差序列；
第一确定模块，用于确定所述剩余残差集合中的最大值为所述阈值基准值。
在上述实施例的基础上，所述第一确定单元42包括：
第二计算模块，用于根据当前KPI时间序列的实际值和预测值计算各残差指标的残差序列；
第二确定模块，用于根据所述残差序列的均值和方差确定所述实时调整基准值，其中，所述实时调整基准值满足：
将所述残差序列中的所有大于所述实时调整基准值的残差从所述残差序列中移出，使得所述残差序列的均值和方差的变化量最大。
在上述实施例的基础上，所述第二确定模块包括：
第一确定子模块，用于根据所述残差序列的均值和方差确定候选实时调整基准值；
第二确定子模块，用于根据所述残差序列的均值和方差的变化量构建目标函数，确定使所述目标函数最大的候选实时调整基准值为最终的实时调整基准值；
所述目标函数为：
s.t.
其中，为候选实时调整基准值向量，/>μ为所述残差序列的均值，σ为所述残差序列的方差，/>为选取实时调整基准值的步长向量；ε为使所述目标函数最大的实时调整基准值；
为进行平滑处理后的残差序列，/>l为计算残差的时间序列窗口长度，t为当前时刻；
所述残差序列中大于所述实时调整基准值的残差组成异常点序列/>
所述异常点序列中连续的异常点组成异常区间序列/>
为所述异常点序列/>中的元素数量，/>为所述异常区间序列/>中的元素数量。
在上述实施例的基础上，所述异常判定阈值的调整公式为：
ths＝pε+(1-p)thsem
其中，ths为所述异常判定阈值，ε为所述实时调整基准值，p为ε的权重，thsem为所述阈值基准值。
本实施例所述的实时异常检测***中的自适应异常判定装置可以用于执行上述方法实施例，其原理和技术效果类似，此处不再赘述。
图5示例了一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)51、通信接口(Communications Interface)52、存储器(memory)53和通信总线54，其中，处理器51，通信接口52，存储器53通过通信总线54完成相互间的通信。处理器51可以调用存储器53中的逻辑指令，以执行上述各实施例提供的方法。
此外，上述的存储器53中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的方法。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (6)
1.一种实时异常检测***中的自适应异常判定方法，其特征在于，所述方法包括：
根据历史KPI数据的残差指标确定阈值基准值；所述历史KPI数据包括历史KPI的实际值和预测值，按照时间组成历史KPI时间序列，所述历史KPI包括CDN***的边缘服务器的命中率、命中时首包响应时间和命中时异常状态码占比；所述残差指标包括根据所述历史KPI时间序列的实际值和预测值自动计算的平均绝对误差、平均绝对百分比误差、对称平均绝对误差、平均绝对比例误差和期望平均绝对百分比误差中的一个或至少两个的任意组合，不同残差指标从不同角度捕获所述历史KPI时间序列的实际值和预测值之差；
根据当前KPI数据的残差指标确定实时调整基准值；
根据所述阈值基准值和所述实时调整基准值自适应调整异常判定阈值；
根据所述异常判定阈值自动进行异常判定；
所述根据历史KPI数据的残差指标确定阈值基准值包括：
根据历史KPI时间序列的实际值和预测值计算各残差指标的残差序列；
不断将所述残差序列中的最大值移到异常集合中，直至所述异常集合和剩余残差集合的中心距离大于第一阈值，且所述剩余残差集合对应的异常比例小于第二阈值；其中，所述异常集合和所述剩余残差集合的合集为所述残差序列；
确定所述剩余残差集合中的最大值为所述阈值基准值；
所述根据当前KPI数据的残差指标确定实时调整基准值包括：
根据当前KPI时间序列的实际值和预测值计算各残差指标的残差序列；
根据所述残差序列的均值和方差确定所述实时调整基准值，其中，所述实时调整基准值满足：
将所述残差序列中的所有大于所述实时调整基准值的残差从所述残差序列中移出，使得所述残差序列的均值和方差的变化量最大；
所述根据所述残差序列的均值和方差确定所述实时调整基准值包括：
根据所述残差序列的均值和方差确定候选实时调整基准值；
根据所述残差序列的均值和方差的变化量构建目标函数，确定使所述目标函数最大的候选实时调整基准值为最终的实时调整基准值；
所述残差序列包括：平均绝对误差序列、平均绝对百分比误差序列、对称平均绝对误差序列、平均绝对比例误差序列和期望平均绝对百分比误差序列中的一个或至少两个的任意组合。
2.根据权利要求1所述的实时异常检测***中的自适应异常判定方法，其特征在于，所述目标函数为：
；
其中，为候选实时调整基准值向量，/>，/>为所述残差序列的均值，/>为所述残差序列的方差，/>为选取实时调整基准值的步长向量；/>为使所述目标函数最大的实时调整基准值；
为进行平滑处理后的残差序列，/>，/>为计算残差的时间序列窗口长度，/>为当前时刻；
所述残差序列中大于所述实时调整基准值的残差组成异常点序列/>；
所述异常点序列中连续的异常点组成异常区间序列/>；
为所述异常点序列/>中的元素数量，/>为所述异常区间序列/>中的元素数量。
3.根据权利要求1所述的实时异常检测***中的自适应异常判定方法，其特征在于，所述异常判定阈值的调整公式为：
；
其中，为所述异常判定阈值，/>为所述实时调整基准值，/>为/>的权重，/>为所述阈值基准值。
4.一种实时异常检测***中的自适应异常判定装置，其特征在于，所述装置包括：
第一确定单元，用于根据历史KPI数据的残差指标确定阈值基准值；所述历史KPI数据包括历史KPI的实际值和预测值，按照时间组成历史KPI时间序列，所述历史KPI包括CDN***的边缘服务器的命中率、命中时首包响应时间和命中时异常状态码占比；所述残差指标包括根据所述历史KPI时间序列的实际值和预测值自动计算的平均绝对误差、平均绝对百分比误差、对称平均绝对误差、平均绝对比例误差和期望平均绝对百分比误差中的一个或至少两个的任意组合，不同残差指标从不同角度捕获所述历史KPI时间序列的实际值和预测值之差；
第二确定单元，用于根据当前KPI数据的残差指标确定实时调整基准值；
调整单元，用于根据所述阈值基准值和所述实时调整基准值自适应调整异常判定阈值；
判定单元，用于根据所述异常判定阈值自动进行异常判定；
所述第一确定单元，包括：
第一计算模块，用于根据历史KPI时间序列的实际值和预测值计算各残差指标的残差序列；
处理模块，用于不断将所述残差序列中的最大值移到异常集合中，直至所述异常集合和剩余残差集合的中心距离大于第一阈值，且所述剩余残差集合对应的异常比例小于第二阈值；其中，所述异常集合和所述剩余残差集合的合集为所述残差序列；
第一确定模块，确定所述剩余残差集合中的最大值为所述阈值基准值；
所述第二确定单元，包括：
第二计算模块，用于根据当前KPI时间序列的实际值和预测值计算各残差指标的残差序列；
第二确定模块，用于根据所述残差序列的均值和方差确定所述实时调整基准值，其中，所述实时调整基准值满足：
将所述残差序列中的所有大于所述实时调整基准值的残差从所述残差序列中移出，使得所述残差序列的均值和方差的变化量最大；
所述第二确定模块，包括：
第一确定子模块，用于根据所述残差序列的均值和方差确定候选实时调整基准值；
第二确定子模块，用于根据所述残差序列的均值和方差的变化量构建目标函数，确定使所述目标函数最大的候选实时调整基准值为最终的实时调整基准值；
所述残差序列包括：平均绝对误差序列、平均绝对百分比误差序列、对称平均绝对误差序列、平均绝对比例误差序列和期望平均绝对百分比误差序列中的一个或至少两个的任意组合。
5.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至3任一项所述实时异常检测***中的自适应异常判定方法的步骤。
6.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至3任一项所述实时异常检测***中的自适应异常判定方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910872258.3A CN112508316B (zh) | 2019-09-16 | 2019-09-16 | 实时异常检测***中的自适应异常判定方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910872258.3A CN112508316B (zh) | 2019-09-16 | 2019-09-16 | 实时异常检测***中的自适应异常判定方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112508316A CN112508316A (zh) | 2021-03-16 |
| CN112508316B true CN112508316B (zh) | 2023-08-08 |
Family
ID=74923872
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910872258.3A Active CN112508316B (zh) | 2019-09-16 | 2019-09-16 | 实时异常检测***中的自适应异常判定方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112508316B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113380008B (zh) * | 2021-05-12 | 2022-07-08 | 四川新网银行股份有限公司 | 一种基于命中数和命中率的动态阈值调整方法 |
| CN113099476B (zh) * | 2021-05-13 | 2022-12-06 | 中国联合网络通信集团有限公司 | 网络质量检测方法、装置、设备及存储介质 |
| CN114978956B (zh) * | 2022-04-11 | 2024-04-09 | 北京邮电大学 | 智慧城市网络设备性能异常突变点检测方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014001947A1 (en) * | 2012-06-28 | 2014-01-03 | Koninklijke Philips N.V. | A method of estimating the position of a device and an apparatus implementing the same |
| CN107832855A (zh) * | 2017-09-14 | 2018-03-23 | 北京中恒博瑞数字电力科技有限公司 | 基于相关性分析的线损多源诊断方法及*** |
| CN108460144A (zh) * | 2018-03-14 | 2018-08-28 | 西安华光信息技术有限责任公司 | 一种基于机器学习的煤炭设备故障预警***及方法 |
| CN109213654A (zh) * | 2018-07-05 | 2019-01-15 | 北京奇艺世纪科技有限公司 | 一种异常检测方法及装置 |
| WO2019012726A1 (en) * | 2017-07-14 | 2019-01-17 | Kabushiki Kaisha Toshiba | ANOMALY DETECTION DEVICE, ANOMALY DETECTION METHOD, AND NON-TRANSIENT COMPUTER READABLE MEDIUM |
-
2019
- 2019-09-16 CN CN201910872258.3A patent/CN112508316B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014001947A1 (en) * | 2012-06-28 | 2014-01-03 | Koninklijke Philips N.V. | A method of estimating the position of a device and an apparatus implementing the same |
| WO2019012726A1 (en) * | 2017-07-14 | 2019-01-17 | Kabushiki Kaisha Toshiba | ANOMALY DETECTION DEVICE, ANOMALY DETECTION METHOD, AND NON-TRANSIENT COMPUTER READABLE MEDIUM |
| CN107832855A (zh) * | 2017-09-14 | 2018-03-23 | 北京中恒博瑞数字电力科技有限公司 | 基于相关性分析的线损多源诊断方法及*** |
| CN108460144A (zh) * | 2018-03-14 | 2018-08-28 | 西安华光信息技术有限责任公司 | 一种基于机器学习的煤炭设备故障预警***及方法 |
| CN109213654A (zh) * | 2018-07-05 | 2019-01-15 | 北京奇艺世纪科技有限公司 | 一种异常检测方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112508316A (zh) | 2021-03-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112508316B (zh) | 实时异常检测***中的自适应异常判定方法和装置 | |
| Huong et al. | Detecting cyberattacks using anomaly detection in industrial control systems: A federated learning approach | |
| CN111652496B (zh) | 基于网络安全态势感知***的运行风险评估方法及装置 | |
| WO2022068645A1 (zh) | 数据库故障发现方法、装置、电子设备及存储介质 | |
| CN111309565B (zh) | 告警处理方法、装置、电子设备以及计算机可读存储介质 | |
| CN114978956B (zh) | 智慧城市网络设备性能异常突变点检测方法及装置 | |
| CN114630352B (zh) | 一种接入设备的故障监测方法和装置 | |
| CN111342988A (zh) | 一种基于态势感知的网络安全预警方法及装置 | |
| CN116663747B (zh) | 一种基于数据中心基础设施的智能预警方法及*** | |
| CN115878171A (zh) | 中间件配置的优化方法、装置、设备及计算机存储介质 | |
| CN114363212B (zh) | 一种设备检测方法、装置、设备和存储介质 | |
| CN114301803B (zh) | 网络质量检测方法、装置、电子设备及存储介质 | |
| CN114513470A (zh) | 网络流量控制方法、装置、设备及计算机可读存储介质 | |
| US11337087B2 (en) | Methods, systems and computer readable media for predicting risk in network elements using machine learning | |
| CN110647086B (zh) | 一种基于运行大数据分析的智能运维监控*** | |
| CN117216713A (zh) | 故障定界方法、装置、电子设备和存储介质 | |
| CN116755974A (zh) | 云计算平台运维方法、装置、电子设备及存储介质 | |
| CN108282360B (zh) | 一种长短期预测融合的故障检测方法 | |
| KR20210046423A (ko) | 머신러닝 기반 보안관제 장치 및 방법 | |
| CN109412885A (zh) | 检测方法及装置 | |
| CN113656452A (zh) | 调用链指标异常的检测方法、装置、电子设备及存储介质 | |
| CN111866924A (zh) | 性能指标监控方法、装置、计算设备及计算机存储介质 | |
| CN111722977A (zh) | ***巡检方法、装置及电子设备 | |
| CN112231127A (zh) | 电子装置及用于分析设备可靠度的方法 | |
| CN112070283A (zh) | 一种基于机器学习的服务器运行健康度预测方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |