CN113377630B - 一种通用的kpi异常检测框架实现方法 - Google Patents

一种通用的kpi异常检测框架实现方法 Download PDF

Info

Publication number
CN113377630B
CN113377630B CN202110312047.1A CN202110312047A CN113377630B CN 113377630 B CN113377630 B CN 113377630B CN 202110312047 A CN202110312047 A CN 202110312047A CN 113377630 B CN113377630 B CN 113377630B
Authority
CN
China
Prior art keywords
algorithm
kpi
abnormal
data
algorithms
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110312047.1A
Other languages
English (en)
Other versions
CN113377630A (zh
Inventor
崔英花
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Information Science and Technology University
Original Assignee
Beijing Information Science and Technology University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Information Science and Technology University filed Critical Beijing Information Science and Technology University
Priority to CN202110312047.1A priority Critical patent/CN113377630B/zh
Publication of CN113377630A publication Critical patent/CN113377630A/zh
Application granted granted Critical
Publication of CN113377630B publication Critical patent/CN113377630B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Biomedical Technology (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种通用的KPI异常检测框架实现方法，包括如下步骤：步骤1：采用动态基线方法判定KPI数据是否异常；步骤2：从统计特征算法库中选择若干算法进行权重投票进一步做排查步骤1排查后的异常数据；步骤3：从算法库中选择算法对步骤2排查后的异常数据进行检查。本发明提出了一种三轮异常检测的算法框架，该算法框架组合了实时快速的动态基线方法，基于统计特征的算法集，以及基于神经网络或有监督的异常检测，可以达到高效处理与精确检测的最佳效果。

Description

一种通用的KPI异常检测框架实现方法
技术领域
本发明涉及KPI异常检测技术领域，具体来说，涉及一种通用的KPI异常检测框架实现方法。
背景技术
异常点检测(又称为离群点检测)是找出其行为不同于预期对象的一个检测过程，这些对象被称为异常点或者离群点。异常检测方式通常包括基于统计的模型、基于距离的模型、线性变换的模型、非线性变换的模型、机器学习的模型等。
KPI(key performance indicators)指的是对服务、***等对象的监控指标(如网络中的延迟、吞吐量等)。其存储的形式是按其发生的时间先后顺序排列而成的数列，也就是我们通常所说的时间序列。时间序列的异常检测就是通过历史的数据分析，查看当前的数据是否发生了明显偏离了正常的情况。KPI数据异常检测有着十分重要的意义：通过实时的监控KPI数据，发现KPI数据存在的异常，及时进行相应处理，从而保证应用的正常运行。
通过对KPI数据设置阈值来进行实时异常检测的方法十分普遍，然而阈值的设置依赖用户经验，同时，随着KPI数据逐渐增多，为每一条KPI数据配置若干阈值的方法就会耗费巨大的人力。因此KPI数据异常检测应以免阈值设置、高度自动化为目标。
从统计特征上分，时间序列分为平稳时间序列和非平稳时间序列。平稳序列从直观上讲，均值和标准差不随着时间发生变化，而非平稳序列均值或者标准差一般会随着时间发生变化。下面两个图分别给出平稳序列和非平稳序列的例子。
时间序列分解是探索时序变化规律的一种方法，主要探索周期性和趋势性。基于周期、趋势分解的时序分解算法主要有经典时序分解算法、Holt-Winters算法和STL算法。
传统的时间序列预测方法往往针对一维时间序列本身建模，难以利用额外特征。相比之下，基于神经网络的方法往往可以获得更好的检测结果。如利用变分自动编码器(VAE)的Donut方法对单个时间序列建模(训练)，将重建误差较大的数据判断为异常数据；DeepAR可以利用序列在每个时间步上取值的概率分布，从相关的时间序列中有效地学习全局模型，从而学习复杂的模式。此外，还有一些有监督的异常检测方法，可以利用带标记的样本数据进行模型训练，通常也可以获得非常好的检测结果。
在实际工作中，监控指标非常多，异常的种类也非常多。有很多时序数据分析的算法，往往适用场景不明确，人们往往并不清楚应该采用哪个算法、使用什么参数。此外，数据中可能还有缺失，处理不当就会导致异常检测准确率很低。
对于基于监督学习的算法，在实践中异常标注难以批量获得，而且标注一条KPI曲线，往往需要反反复复调整矫正，耗时耗力。
另外，实际中可能需要同时开始监控几百万、几千万的KPI，因此，现实中的异常检测实践中往往无法找到某一种算法可以同时满足上述要求，无法同时解决上面的挑战。
发明内容
针对相关技术中的问题，本发明提出一种通用的KPI异常检测框架实现方法，以克服现有相关技术所存在的上述技术问题。
为此，本发明采用的具体技术方案如下：
一种通用的KPI异常检测框架实现方法，包括如下步骤：步骤1：采用动态基线方法判定KPI数据是否异常；
步骤2：从统计特征算法库中选择若干算法进行权重投票进一步做排查步骤1排查后的异常数据；
步骤3：从算法库中选择算法对步骤2排查后的异常数据进行检查。
优选的，步骤2中，基于统计理论判断时间序列数据是否发生异常，将多种基于统计特征的异常检测算法组成统计特征算法库，算法模型可以从中选择若干算法并赋予不同的权重，如果判定异常数大于等于阈值，就判定为异常。
优选的，步骤3的算法库中包括基于有监督的Apprentice、XGBoost、基于神经网络方法的DeepAR和Donut算法。
优选的，步骤1中采用ETS方法来建立动态基线。
优选的，在步骤1之前，还包括步骤4，使用RockA算法对不同KPI数据做聚类分析。
优选的，为每个聚类选定不同的集成算法，每个集成算法对应一组步骤1-3异常检测算法的参数选择，通过聚类分析能够找到相似的KPI，将它们划分为若干聚类簇，在每个聚类簇中应用相同的异常检测算法。
优选的，步骤4具体为首先对原始KPI数据进行标准化，消除振幅差异；去除曲线上的噪声和可能的异常点，提取基线来表示曲线的形状；接着采用基于形状的SBD距离作为相似性度量，消除曲线间的相位偏差影响；最后对样本集中的KPI进行高效、鲁棒的聚类，为每个类别计算聚类中心表征该类别曲线形状。对于大量未分类曲线，利用聚类中心为其快速分派类别。
本发明的有益效果为：
本发明提出了一种三轮异常检测的算法框架，该算法框架组合了实时快速的动态基线方法，基于统计特征的算法集，以及基于神经网络或有监督的异常检测，可以达到高效处理与精确检测的最佳效果。算法首先通过RockA算法对KPI做聚类，每个聚类对应一个集成算法，它由一组三轮算法的参数选择表示。通过这种方式，不同特征的KPI数据可以对应到该框架下不同的集成算法，这种统一的异常检测的算法框架具有方便管理及适应性强的突出优点，尤其是：
(1)本发明提出了一种三轮异常检测的算法框架，该算法框架组合了实时快速的动态基线方法，基于统计特征的算法集，以及基于神经网络或有监督的异常检测，可以达到高效处理与精确检测的最佳效果；
(2)本发明通过RockA算法对KPI做聚类，每个聚类对应一个集成算法，它由一组三轮算法的参数选择表示。通过这种方式，不同特征的KPI数据可以对应到该框架下不同的集成算法，这种统一的异常检测的算法框架具有方便管理及适应性强的突出优点。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本申请实施例提出的一种通用的KPI异常检测框架实现方法的流程图。
具体实施方式
为进一步说明各实施例，本发明提供有附图，这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理，配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点，图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。
根据本发明的实施例，提供了一种通用的KPI异常检测框架实现方法，包括如下步骤：步骤1：采用动态基线方法判定KPI数据是否异常；
步骤2：从统计特征算法库中选择若干算法进行权重投票进一步做排查步骤1排查后的异常数据；
步骤3：从算法库中选择算法对步骤2排查后的异常数据进行检查。具体的：
一、提出一种三轮异常检测算法框架：
1、首轮计算采用动态基线方法
KPI数据基线的计算可以提前进行，对于实时来到的KPI数据，只需要与基线值简单进行比较即可判断是否异常，是实时性最好的异常检测算法，适用于对大规模的KPI数据的实时处理。这里推荐采用ETS方法来建立动态基线。动态基线检测异常的KPI数据进入第二轮检测。
2、第二轮计算从统计特征算法库中选择若干算法进行权重投票进一步做排查。
基于统计理论判断时间序列数据是否发生异常，将多种基于统计特征的异常检测算法组成第二轮算法库。算法模型可以从中选择若干算法并赋予不同的权重，如果判定异常数大于等于阈值，就判定为异常。
统计特征算法计算简单、效率较高，这里参照了skyline***(一种近实时异常检测***)的做法，该***提供了9种异常检测算法：
first_hour_average/simple_stddev_from_moving_average/
stddev_from_moving_average/mean_subtraction_cumulation/
least_squares/histogram_bins/grubbs/median_absolute_deviation/
Kolmogorov-Smirnov_test
除了上述9种算法，还增加了极值理论(EVT)算法，该算法的优点是不对数据的分布特征做任何假设。此外，本文还可以从算法库中选择合适的若干算法并赋予不同的权重，大大提高了算法框架的适应性。
第二轮检测仍然异常的KPI数据将进行第三轮检查。
3、第三轮计算从算法库中选择一种合适算法进行异常检查
第三轮算法库包括了若干计算复杂性较高，但检测准确性更高的算法，如基于有监督的Apprentice,XGBoost,基于神经网络方法的DeepAR和Donut算法。算法模型从该算法库中选择一种合适的算法，进行精确检查。
二、使用RockA算法对不同KPI做聚类分析
大多数的异常检测算法都需要为每条KPI单独建立异常检测模型，在面对海量KPI时，会产生极大的模型选择、参数调优、模型训练及异常标注开销。幸运的是，由于许多KPI之间存在隐含的关联性，它们是较为相似的。如果我们能够找到这些相似的KPI，将它们划分为若干聚类簇，则可以在每个聚类簇中应用相同的异常检测模型，从而大大降低各项开销。
KPI本质上是一种时序数据，对KPI的聚类主要面临两种挑战：其一，KPI曲线上的噪声、异常、相位偏差和振幅(量纲)差异通常会改变KPI曲线的形状，从而影响对KPI的相似性判别，难以用传统方法实现快速准确的聚类。其二，一条KPI曲线通常包含上万个数据点，时间跨度从几天到数周，从而完整的刻画其曲线模式(例如周期性、季节性等)。因此，KPI曲线通常具有较高的维度，进一步增加了对聚类的挑战。
面对这些问题，这里推荐采用ROCKA算法，它是一种高效、鲁棒的基于曲线形状的KPI聚类算法。该算法首先对原始KPI数据进行标准化，消除振幅差异；去除曲线上的噪声和可能的异常点，提取基线来表示曲线的形状；接着采用基于形状的SBD距离作为相似性度量，消除曲线间的相位偏差影响；最后对样本集中的KPI进行高效、鲁棒的聚类，为每个类别计算聚类中心表征该类别曲线形状。对于大量未分类曲线，利用聚类中心为其快速分派类别。
三、为每个聚类选定不同的集成算法，每个集成算法对应一组三轮异常检测算法的参数选择
通过聚类分析能够找到相似的KPI，将它们划分为若干聚类簇，这样就可以则可以在每个聚类簇中应用相同的异常检测算法，从而大大降低各项开销。
每个聚类簇的异常检测算法(也称为集成算法)对应一组三轮算法的参数选择，它们通常是通过对已有数据的分析训练得来。这组参数的形式可以为：{"First":True,"Second":[(first_hour_average,0.5),(stddev_from_moving_average,0.8),(least_squares,1),(histogram_bins,1),(grubbs,1),(median_absolute_deviation,1),(evt,1)],"Third":DeepAR}。它表示对应的集成算法，先进行第一轮动态基线算法(当"First":False表示过动态基线算法，直接进行第二轮算法计算)，对于判断为异常的数据，再使用二轮算法库中的first_hour_average/stddev_from_moving_average/least_squares/histogram_bins/grubbs/median_absolute_deviation/evt(哪些算法可以选择)进行计算，并按照相应的权重进行投票。投票数超过指定门限的数据，将进入第三轮检测。第三轮检测采用DeepAR使用神经网络方法对该数据做进一步的精确异常检测。第三轮检测的结果即为最终结果。如果"Third":NULL，表示不进行第三轮检测，即第二轮检测异常的数据将判断为最终的异常点。
其中，关于各算法的介绍：
(a)动态基线预测和检测算法
基线(baseline)即数据变化的基准线，描述一个指标的正常变动范围。动态基线不同于传统的固定阈值门限，它随着时间连续变化。它基于过去一段时间的数据给出未来一段时间的基准线，比如基于过去一周的数据对未来24小时的基准线进行预测。
由于基线的计算可以进行，对于实时来到的KPI数据，只需要与基线值简单进行比较即可判断是否异常，是实时性最好的异常检测算法，适用于对大规模的KPI数据的实时处理。
(b)DeepAR算法
DeepAR是亚马逊提出的一种针对大量相关时间序列统一建模的预测算法，该算法采用了深度学习的技术，通过在大量时间序列上训练自回归递归网络模型，可以从相关的时间序列中有效地学习全局模型，并且能够学习复杂的模式，例如季节性、数据随时间的不确定性增长，从而对各条时间序列进行预测。
训练时，模型每一时刻的输入包括前一时刻的真实值和当前时刻的特征x，x可以是当前时刻的时间特征；然后经过神经网络的学习，对网络返回的状态hit进行函数仿射，返回当前时刻的预测概率分布。预测时，每个时刻的输入也包括两部分：前一时刻的预测值和当前时刻的协变量x，即是一种递归式的预测方法；然后利用学习好的网络，进行预测。
(C)Donut算法
一种基于变分自动编码器(VAE：Variational Auto-Encoder)技术的无监督异常检测算法，其F-score值可以达到0.75到0.9之间，甚至超过了许多有监督的异常检测算法。
(D)Apprentice算法
Apprentice通过监督机器学习来解决问题，监督机器学习可以从历史数据中自动构建分类模型，基于原模型区分新历史数据。Apprentice从标注数据中学习，如同一个操作者学徒。将大量的检测器同时运用在KPI数据中来提取特征，然后将特征和标签用于训练机器学习模型，使得模型能够自动选择合适的检测器参数和阀值，来满足操作者的精度要求。
(E)XGBoost算法
XGBoost是一种高效的集成学习模型框架，利用树型分类器可以得到强大的分类结果和十分高效的运算效率。XGBoost是boosting算法的其中一种。Boosting算法的思想是将许多弱分类器集成在一起形成一个强分类器。因为XGBoost是一种提升树模型，所以它是将许多树模型集成在一起，形成一个很强的分类器。该算法思想就是不断地添加树，不断地进行特征***来生长一棵树，每次添加一个树，其实是学习一个新函数，去拟合上次预测的残差。当我们训练完成得到k棵树，我们要预测一个样本的分数，其实就是根据这个样本的特征，在每棵树中会落到对应的一个叶子节点，每个叶子节点就对应一个分数，最后只需要将每棵树对应的分数加起来就是该样本的预测值。
(F)ETS算法
ETS是一种指数平滑预测算法，既可以理解为Error,Trend and Seasonality，又可以解作ExponenTial Smoothing模型。前者揭示了模型的三个组成部分，后者则描述了模型的工作原理。ETS算法特别适用于具有季节性和其他假设的数据集，它会计算所观测的输入时间序列的加权平均数作为其预测值。其基本思想是：预测值是以前观测值的加权和，且对不同的数据给予不同的权数，新数据给予较大的权数，旧数据给予较小的权数。
尽管为使解释简单化将上述方法图示并描述为一系列动作，但是应理解并领会，这些方法不受动作的次序所限，因为根据一个或多个实施例，一些动作可按不同次序发生和/或与来自本文中图示和描述或本文中未图示和描述但本领域技术人员可以理解的其他动作并发地发生。本领域技术人员将进一步领会，结合本文中所公开的实施例来描述的各种解说性逻辑板块、模块、电路、和算法步骤可实现为电子硬件、计算机软件、或这两者的组合。为清楚地解说硬件与软件的这一可互换性，各种解说性组件、框、模块、电路、和步骤在上面是以其功能性的形式作一般化描述的。此类功能性是被实现为硬件还是软件取决于具体应用和施加于整体***的设计约束。技术人员对于每种特定应用可用不同的方式来实现所描述的功能性，但这样的实现决策不应被解读成导致脱离了本发明的范围。结合本文所公开的实施例描述的各种解说性逻辑板块、模块、和电路可用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立的门或晶体管逻辑、分立的硬件组件、或其设计成执行本文所描述功能的任何组合来实现或执行。通用处理器可以是微处理器，但在替换方案中，该处理器可以是任何常规的处理器、控制器、微控制器、或状态机。处理器还可以被实现为计算设备的组合，例如DSP与微处理器的组合、多个微处理器、与DSP核心协作的一个或多个微处理器、或任何其他此类配置。结合本文中公开的实施例描述的方法或算法的步骤可直接在硬件中、在由处理器执行的软件模块中、或在这两者的组合中体现。软件模块可驻留在RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM、或本领域中所知的任何其他形式的存储介质中。示例性存储介质耦合到处理器以使得该处理器能从/向该存储介质读取和写入信息。在替换方案中，存储介质可以被整合到处理器。处理器和存储介质可驻留在ASIC中。ASIC可驻留在用户终端中。在替换方案中，处理器和存储介质可作为分立组件驻留在用户终端中。在一个或多个示例性实施例中，所描述的功能可在硬件、软件、固件或其任何组合中实现。如果在软件中实现为计算机程序产品，则各功能可以作为一条或更多条指令或代码存储在计算机可读介质上或藉其进行传送。计算机可读介质包括计算机存储介质和通信介质两者，其包括促成计算机程序从一地向另一地转移的任何介质。存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定，这样的计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁存储设备、或能被用来携带或存储指令或数据结构形式的合意程序代码且能被计算机访问的任何其它介质。任何连接也被正当地称为计算机可读介质。例如，如果软件是使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)、或诸如红外、无线电、以及微波之类的无线技术从web网站、服务器、或其它远程源传送而来，则该同轴电缆、光纤电缆、双绞线、DSL、或诸如红外、无线电、以及微波之类的无线技术就被包括在介质的定义之中。如本文中所使用的盘(disk)和碟(disc)包括压缩碟(CD)、激光碟、光碟、数字多用碟(DVD)、软盘和蓝光碟，其中盘(disk)往往以磁的方式再现数据，而碟(disc)用激光以光学方式再现数据。上述的组合也应被包括在计算机可读介质的范围内。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.通用的KPI异常检测框架实现方法，其特征在于：包括如下步骤：步骤1：采用动态基线方法判定KPI数据是否异常；
步骤2：从统计特征算法库中选择若干算法进行权重投票进一步做排查步骤1排查后的异常数据，基于统计理论判断时间序列数据是否发生异常，将多种基于统计特征的异常检测算法组成统计特征算法库，算法模型从中选择若干算法并赋予不同的权重，如果判定异常数大于等于阈值，就判定为异常；
步骤3：从算法库中选择算法对步骤2排查后的异常数据进行检查；
在步骤1之前，还包括步骤4，使用RockA算法对不同KPI数据做聚类分析。
2.根据权利要求1所述的通用的KPI异常检测框架实现方法，其特征在于：步骤3的算法库中包括基于有监督的Apprentice、XGBoost、基于神经网络方法的DeepAR和Donut算法。
3.根据权利要求1所述的通用的KPI异常检测框架实现方法，其特征在于：步骤1中采用ETS方法来建立动态基线。
4.根据权利要求1所述的通用的KPI异常检测框架实现方法，其特征在于：为每个聚类选定不同的集成算法，每个集成算法对应一组步骤1-3异常检测算法的参数选择，通过聚类分析能够找到相似的KPI，将它们划分为若干聚类簇，在每个聚类簇中应用相同的异常检测算法。
5.根据权利要求4所述的通用的KPI异常检测框架实现方法，其特征在于：步骤4具体为首先对原始KPI数据进行标准化，消除振幅差异；去除曲线上的噪声和可能的异常点，提取基线来表示曲线的形状；接着采用基于形状的SBD距离作为相似性度量，消除曲线间的相位偏差影响；最后对样本集中的KPI进行高效、鲁棒的聚类，为每个类别计算聚类中心表征该类别曲线形状，对于大量未分类曲线，利用聚类中心为其快速分派类别。
CN202110312047.1A 2021-03-24 2021-03-24 一种通用的kpi异常检测框架实现方法 Active CN113377630B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110312047.1A CN113377630B (zh) 2021-03-24 2021-03-24 一种通用的kpi异常检测框架实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110312047.1A CN113377630B (zh) 2021-03-24 2021-03-24 一种通用的kpi异常检测框架实现方法

Publications (2)

Publication Number Publication Date
CN113377630A CN113377630A (zh) 2021-09-10
CN113377630B true CN113377630B (zh) 2023-07-04

Family

ID=77569704

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110312047.1A Active CN113377630B (zh) 2021-03-24 2021-03-24 一种通用的kpi异常检测框架实现方法

Country Status (1)

Country Link
CN (1) CN113377630B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115442212A (zh) * 2022-08-24 2022-12-06 浪潮云信息技术股份公司 一种基于云计算的智能监控分析方法及***

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111177505A (zh) * 2019-12-31 2020-05-19 ***通信集团江苏有限公司 指标异常检测模型的训练方法、推荐的方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190057197A1 (en) * 2017-08-15 2019-02-21 Cognant Llc Temporal anomaly detection system and method
US11567914B2 (en) * 2018-09-14 2023-01-31 Verint Americas Inc. Framework and method for the automated determination of classes and anomaly detection methods for time series

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111177505A (zh) * 2019-12-31 2020-05-19 ***通信集团江苏有限公司 指标异常检测模型的训练方法、推荐的方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
robust and rapid clustering of KPIs for Large-Scale Anomaly Detection;zhihan li et al.;《2018 IEEE/ACM 26th International Symposium on Quality of Service (IWQoS)》;1-10 *

Also Published As

Publication number Publication date
CN113377630A (zh) 2021-09-10

Similar Documents

Publication Publication Date Title
CN109818942B (zh) 一种基于时序特征的用户帐号异常检测方法及装置
CN116757534B (zh) 一种基于神经训练网络的智能冰箱可靠性分析方法
CN110717535B (zh) 一种基于数据分析处理***的自动建模方法及***
JP2020500420A (ja) マシンラーニング基盤の半導体製造の収率予測システム及び方法
CN113626502B (zh) 基于集成学习的电网数据异常检测方法及装置
CN113572625B (zh) 故障预警方法、预警装置、设备及计算机介质
CN110571792A (zh) 一种电网调控***运行状态的分析评估方法及***
CN111796957B (zh) 基于应用日志的交易异常根因分析方法及***
CN110757510B (zh) 一种机器人剩余寿命预测方法及***
CN117094184B (zh) 基于内网平台的风险预测模型的建模方法、***及介质
KR20230057327A (ko) 시계열 기반 이상 탐지 방법 및 시스템
CN113705726A (zh) 流量的分类方法、装置、电子设备及计算机可读介质
CN113377630B (zh) 一种通用的kpi异常检测框架实现方法
CN117875724B (zh) 一种基于云计算的采购风险管控方法及***
CN116861331A (zh) 一种融合专家模型决策的数据识别方法及***
CN112183906A (zh) 一种基于多模型组合模型的机房环境预测方法及***
CN115033893B (zh) 一种改进型聚类算法的信息漏洞数据分析方法
CN116910559A (zh) 一种面向电网超算中心智能运维应用的指标异常检测方法
CN114219051B (zh) 图像分类方法、分类模型的训练方法、装置及电子设备
CN111798237B (zh) 基于应用日志的异常交易诊断方法及***
CN114970674A (zh) 一种基于关联度对齐的时序数据概念漂移适配方法
CN113591897A (zh) 一种监控数据异常的检测方法、装置、设备及可读介质
CN113139332A (zh) 一种自动化模型构建方法、装置及设备
CN116861204B (zh) 基于数字孪生的智能制造设备数据管理***
CN114997070B (zh) 控制图模式识别模型的训练方法及控制图模式识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant