CN104536996B - 一种同构环境下计算节点异常检测方法 - Google Patents
一种同构环境下计算节点异常检测方法 Download PDFInfo
- Publication number
- CN104536996B CN104536996B CN201410769068.6A CN201410769068A CN104536996B CN 104536996 B CN104536996 B CN 104536996B CN 201410769068 A CN201410769068 A CN 201410769068A CN 104536996 B CN104536996 B CN 104536996B
- Authority
- CN
- China
- Prior art keywords
- matrix
- data
- point
- dimension
- room
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
- G06F11/0706—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提供一种同构环境下计算节点异常检测方法,包括以下步骤:步骤1,将节点数据转换为标准形式;步骤2,提取特征数据;步骤3,采用cell‑based算法自动检测异常点。本发明提供计算节点异常检测方法,能够采用无指导的学习方法自动获取动态变化的异常检测阈值,能更好地适应异常频繁改变的场景,能够迅速地处理和分析从大型***中采集到的节点信息,从而可以迅速地检测到同构环境下异常的计算节点。
Description
技术领域
本发明涉及异常检测技术,特别是一种基于数据挖掘技术的同构环境下异常节点的检测方法。
背景技术
一个计算节点的数据信息可以由一个多维矩阵表示,其度量维度包括CPU信息,I/O信息,网络信息等。由于度量维度较多,导致处理时会因为各种数据单位以及数量级的不同出现错误检测,所以首要的就是将数据进行预处理。
预处理的方法包括归一化,零均值法、白化处理等。对观测信号去均值的处理过程是从观测中减去信号的均值向量,使得观测信号成为零均值变量。同时还要对数据进行白化处理,白化处理可去除各观测信号之间的相关性,从而简化后续独立分量的提取过程。通常情况下,数据进行白化处理与不对数据进行白化处理相比,算法的收敛性较好,有更好的稳定性。
数据的特征抽取就是将数据矩阵进行简化和降维。由于表示计算节点数据的种类复杂导致了该矩阵的高维度,以及后续计算处理的复杂。所以数据的特征抽取则非常有必要。基于FastICA(Principal ComponentAnalysis)算法的特征抽取技术是一种基于独立分量的分析的识别算法。该算法是基于定点递推算法得到的,它对任何类型的数据都适用,同时它的存在对运用ICA分析高维的数据成为可能。又称固定点(Fixe d-Point)算法,是由芬兰赫尔辛基大学Hyvä;rinen等人提出来的。FastlCA算法本质上是一种最小化估计分量互信息的神经网络方法,是利用最大熵原理来近似负熵,并通过一个合适的非线性函数使其达到最优。这个算法具有很多神经算法里的优点:并行的、分布的、计算简单、要求内存小。
现有的数据流异常检测方法大致可以划分为基于密度的异常检测,基于网格的数据流异常检测和基于距离的异常检测。
基于密度的异常检测的基本思想是利用某一邻域内样本的密度来确定异常。LOF算法是基于密度的异常检测的代表性算法(Breunig M M,Kriegel H P,Ng R T,etal.LOF:identifying density-based local outliers[C]//ACM Sigmod Record.ACM,2000,29(2):93-104.)。该算法是一种基于局部密度的异常检测算法,能够较为准确的在密度分布不均匀的数据集合中发现异常数据对象。但是LOF算法并不适合直接用于数据流的异常检测,因为其时间复杂度较大,如果每得到一个新的数据对象都需要对所有数据对象的异常度重新进行计算,其代价是不可容忍的。因此,Pokrajac和Lazarevic等人对已有的静态LOF算法做出了改进,提出了动态的增量LOF算法(Pokrajac D,Lazarevic A,LateckiL J.Incremental local outlier detection for data streams[C]//ComputationalIntelligence and Data Mining,2007.CIDM 2007.IEEE Symposium on.IEEE,2007:504-515.)。增量LOF算法的核心思想就是当一个新的数据对象到来的时候,并不重新计算所有数据对象特征信息的值,而是只对受到新输入数据对象影响的那一部分数据对象的各个特征信息值进行更新。增量LOF算法在接收到一个新输入的数据对象时,其主要操作分为两个步骤:对于新输入的数据对象,计算其所需的特征信息值;对于受到新输入对象影响密度发生变化的邻居结点,挨个更新其特征信息值,对于没有受到影响的数据对象,不重新计算。采用这一策略之后,动态增量LOF算法在能够达到和重复执行静态LOF算法相当效果的同时,却大大降低了算法执行的时间复杂度,使得其适用于针对数据流的异常检测。然而,LOF算法并没有考虑不同维度值域的差异,可能导致部分维度的影响力显著大于其他维度;另外,其时间复杂度对于离线检测来说是可以接受的,但对实时检测来说还不实用。本发明针对LOF算法的上述两个局限性,提出的算法的时间复杂度为O(n),与数据流个数呈线性增加关系,能满足实时应用需要。
基于网格的数据流异常检测是把整个数据空间分割成为相互独立,大小一致的很多网格,人为地设定一个支持度,当网格中所包含的数据元素的支持度超过或者等于了事先设定的支持度大小时,就从所有的维度中选出一维,并按照这一维度将网格动态的分为两个完全独立的子网格。当子网格的支持度也达到或超过阈值时,同样的分割操作也会在子网格上进行。Park和Lee等在提出了一种实时的数据流异常检测方法,该网格聚类方法不需要计算数据对象之间的距离,只需要按照事先确定的网格大小,直接把数据放入相应的网格,因此可以实现实时的增量聚类。每次聚类完毕之后只需要保存每个类的特征信息,并计算所有类的异常度,按照由大到小的顺序进行排序,把Top-k异常度最大的类划分为最终的异常类。(Park N H,Lee W S.Statistical grid-based clustering over datastreams[J].ACM SIGMOD Record,2004,33(1):32-37.)上述异常检测方法要么采用top-p方式把异常量化值最高的p个数据流作为异常,要么把异常量化值超过预定义阈值的数据流作为异常。
上述方法在实际应用过程中存在问题:(1)阈值难于设定。阈值的合理设定需要非常熟悉应用程序的底层机制,这对于一般应用者而言,难度太大;(2)异常的数目一直在变化。某个时刻可能存在超过p个数据流是异常的,采用top-p方式会错过这些真实存在的异常。因此,本发明中采用一种无指导的学习方法自动获取动态变化的异常检测阈值,能更好地适应异常频繁改变的场景。
发明内容
为了克服现有技术存在的问题,本发明提供一种采用无指导的学习方法自动获取动态变化的异常检测阈值,能更好地适应异常频繁改变的场景,能够迅速地处理和分析从大型***中采集到的节点信息,从而可以迅速地检测到同构环境下异常的计算节点。
实现本发明目的的解决方案为:利用构建特定数据形式,数据特征抽取以及自动检测异常点等技术实现同构环境下的异常检测。主要分为以下几个步骤:
步骤1,将节点数据转换为标准形式,过程如下:
给定一个由n个同构的计算节点构成的分布式计算***,每个计算节点有m个度量维度,对于每一个计算机节点的每个度量维度每经过一段特定时间进行快照形成该度量的k个快照。用矩阵Fi代表从第i个计算机节点采集到的信息数据矩阵,共形成n个矩阵。在矩阵Fi中的每一个元素代表着特征h在第j次快照收集到的数据。
我们重新把每一个矩阵Fi重新组合进一个多维(m*k)的向量然后我们把这组数据构造成一个简单的大型矩阵:F=[f1,f2,...,fi,...,fn]。
步骤2,特征数据的抽取。为了保留数据中最为重要的信息,降低数据噪声,需要降低原始数据特征空间的维度,将原来空间的复杂多个维度减少为数个独立特征的维度。这里本发明提出了一种特征提取技术:基于FastICA(Principal ComponentAnalysis)算法的特征提取技术。
步骤3,采用cell-based算法自动检测异常点,过程如下:
用欧几里得距离描述两个数据点之间的距离。首先将承载有Y={y1,y2,...,yn}的数据空间分割成边长为的方室网络,其中d是距离阈值,s是数据的度量维度;然后根据网格某个方室中的点的个数以及该方室周围一层和数层方室内点的总个数来确定该方室中所有点为异常点或非异常点。
本发明和现有技术相比,具有以下优点:(1)对于具有大量计算机节点的***来说,一次性可以确定大量节点是否异常;(2)由于动态分组和特征提取技术的应用,可扩展性得到提升;(3)误检率大大降低。
下面结合说明书附图对本发明做进一步说明。
附图说明
图1为本发明的方法流程图;
图2为本发明数据形式处理示意图;
图3为本发明数据特征抽取示意图;
图4为本发明采取的cell-based异常点检测方法示意图。
具体实施方式
结合图1,一种同构环境下计算节点异常检测方法,包括以下步骤:
步骤1,将节点数据转换为标准形式;
步骤2,提取特征数据;
步骤3,采用cell-based算法自动检测异常点。
结合图2,步骤1中的具体过程为:
步骤1.1,采集每一个数据节点的m个度量维度的数据,并对每一个数据节点的m个度量维度的数据每隔一段时间便进行一次快照;
步骤1.2,每个数据节点的m个度量维度的数据形成一个m维矩阵,整个***能够形成n个m维矩阵,第i个节点的数据矩阵为Fi,矩阵Fi中的元素表示为第i个节点的第h个度量维度在第j次快照收集到的数据;
步骤1.3,为了便于分析,将矩阵Fi转换为一个m*k的向量
步骤1.4,将整个***的n个节点数据[F1,F2,...,Fi,...,Fn]整合一个简单的大型矩阵F=[f1,f2,...,fi,...,fn]。
结合图3,步骤2中特征数据提取的具体过程为:
步骤2.1,将经过转化后的数据矩阵F=[f1,f2,...,fi,...,fn]中的元素进行0-1归一化处理,将矩阵中数值一一映射到0~1之间,得到新矩阵F';
步骤2.2,将新矩阵F'进行零均值化得到F″,保证矩阵F″的列上数据均值为0,新矩阵的每一列表示一个节点,每一行则是计算节点中度量维度的数据;
步骤2.3,计算新矩阵F″的协方差矩阵
步骤2.4,计算矩阵C的非零特征值[λ1,λ2,...,λr],并对其降序排列:λ1≥λ2≥...≥λr;
步骤2.5,定义矩阵V=diag[λ1,λ2,...,λr],λ1≥λ2≥...≥λr,E=[e1,e2,...,er],e1≥e2≥...≥er,其中eα是λα所对应的特征向量,α∈[1,r];
步骤2.6,将矩阵F″中的数据进行白化处理后得到X=V-1/2ETF″,矩阵X是一个r*n矩阵,其中r≤m*k。
步骤2.7,选择一个初始矩阵W=[w1,w2,...,ws],其中||wl||=1,l∈[1,s];
步骤2.8,构造矩阵W=W(WTW)-1/2,保证当y≠z时,wy=wz;
步骤2.9,将矩阵X中的每一个点xi∈IRr映射到yi∈IRs,其中yi=WTxi,其中i=1,2,...,n,IRr为r维空间,IRs为s维空间。
结合图4,采用cell-based算法自动检测异常点具体过程如下:
步骤3.1,设定距离阈值d;
步骤3.2,将承载有Y={y1,y2,...,yn}的s维空间分割成边长为的方室,其中s是数据的度量维度;每一个方室都被两层所包围:第一层L1由包围着该方室的相邻方室组成;第二层L2由那些和目标方室相距三个方室距离以内的方室组成;
步骤3.3,定义判断异常点的准则:两个数据点ya,yb之间的距离 且a≠b,如果和点O距离大于d的点在整个数据集中所占的比例是至少为p,点O被记作DB(p,d)异常点,p为比例阈值;
步骤3.4,和一个异常点距离为d以内的点的最大数目记为M;根据步骤3.3的准则,在一个数据集中,和异常点距离d以外的点所占的比例至少为p,由此可知M=n(1-p);
步骤3.5,根据以下法则判断目标方室中的点是否为异常点:
如果有大于M个点在该方室中,则这个方室中没有异常点;
如果有大于M个点在该方室以及L1层内,则这个方室中没有异常点;
如果有小于M个点在该方室、L1层以及L2层内,则这个方室内的点都是异常点。
Claims (2)
1.一种同构环境下计算节点异常检测方法,其特征在于,包括以下步骤:
步骤1,将节点数据转换为标准形式;
步骤2,提取特征数据;
步骤3,采用cell-based算法自动检测异常点;
步骤1的具体过程为:
步骤1.1,采集每一个数据节点的m个度量维度的数据,并对每一个数据节点的m个度量维度的数据每隔一段时间进行一次快照;
步骤1.2,每个数据节点的m个度量维度的数据形成一个m维矩阵,整个***能够形成n个m维矩阵,第i个节点的数据矩阵为Fi,矩阵Fi中的元素表示为第i个节点的第h个度量维度在第j次快照收集到的数据;
步骤1.3,将矩阵Fi转换为一个m*k的向量
步骤1.4,将[F1,F2,...,Fi,...,Fn]整合为矩阵F=[f1,f2,...,fi,...,fn];
步骤2的具体过程为:
步骤2.1,将经过转化后的数据矩阵F=[f1,f2,...,fi,...,fn]中的元素进行0-1归一化处理,将矩阵中数值一一映射到0~1之间,得到新矩阵F';
步骤2.2,将新矩阵F'进行零均值化得到F”,保证矩阵F”的列上数据均值为0,新矩阵的每一列表示一个节点,每一行则是计算节点中度量维度的数据;
步骤2.3,计算新矩阵F”的协方差矩阵
步骤2.4,计算矩阵C的非零特征值[λ1,λ2,...,λr],并对其降序排列:λ1≥λ2≥...≥λr;
步骤2.5,定义矩阵V=diag[λ1,λ2,...,λr],λ1≥λ2≥...≥λr,E=[e1,e2,...,er],e1≥e2≥...≥er,其中eα是λα所对应的特征向量,α∈[1,r];
步骤2.6,将矩阵F”中的数据进行白化处理后得到X=V-1/2ETF”,矩阵X是一个r*n矩阵,其中r≤m*k;
步骤2.7,选择一个初始矩阵W=[w1,w2,...,ws],其中||wl||=1,l∈[1,s];
步骤2.8,构造矩阵W=W(WTW)-1/2,保证当y≠z时,wy=wz;
步骤2.9,将矩阵X中的每一个点xi∈IRr映射到yi∈IRs,其中yi=WTxi,其中i=1,2,...,n,IRr为r维空间,IRs为s维空间。
2.根据权利要求1所述的同构环境下计算节点异常检测方法,其特征在于,步骤3的具体过程为:
步骤3.1,设定距离阈值d;
步骤3.2,将承载有Y={y1,y2,...,yn}的s维空间分割成边长为的方室,其中s是数据的度量维度;每一个方室都被两层所包围:第一层L1由包围着该方室的相邻方室组成;第二层L2由那些和目标方室相距三个方室距离以内的方室组成;
步骤3.3,定义判断异常点的准则:两个数据点ya,yb之间的距离 且a≠b,如果和点O距离大于d的点在整个数据集中所占的比例是至少为p,点O被记作DB(p,d)异常点,p为比例阈值;
步骤3.4,记和一个异常点距离为d以内的点的最大数目记为M=n(1-p);
步骤3.5,根据以下法则判断目标方室中的点是否为异常点:
如果有大于M个点在该方室中,则这个方室中没有异常点;
如果有大于M个点在该方室以及L1层内,则这个方室中没有异常点;
如果有小于M个点在该方室、L1层以及L2层内,则这个方室内的点都是异常点。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410769068.6A CN104536996B (zh) | 2014-12-12 | 2014-12-12 | 一种同构环境下计算节点异常检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410769068.6A CN104536996B (zh) | 2014-12-12 | 2014-12-12 | 一种同构环境下计算节点异常检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104536996A CN104536996A (zh) | 2015-04-22 |
CN104536996B true CN104536996B (zh) | 2017-12-12 |
Family
ID=52852524
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410769068.6A Active CN104536996B (zh) | 2014-12-12 | 2014-12-12 | 一种同构环境下计算节点异常检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104536996B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105262612B (zh) * | 2015-09-07 | 2019-04-12 | 值得看云技术有限公司 | 一种云计算***节点失效预警装置和方法 |
CN105871634B (zh) * | 2016-06-01 | 2019-02-15 | 北京蓝海讯通科技股份有限公司 | 检测集群异常的方法及应用、管理集群的*** |
CN106093703A (zh) * | 2016-06-07 | 2016-11-09 | 湖南大学 | 一种智能配电网故障的辨识与定位方法 |
CN108228442B (zh) * | 2016-12-14 | 2020-10-27 | 华为技术有限公司 | 一种异常节点的检测方法及装置 |
CN107689015A (zh) * | 2017-08-11 | 2018-02-13 | 国家电网公司 | 一种改进的电力***不良数据辨识方法 |
CN110648741A (zh) * | 2018-06-27 | 2020-01-03 | 清华大学 | 基于局部离群因子的识别开药异常的医生的方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102664961A (zh) * | 2012-05-04 | 2012-09-12 | 北京邮电大学 | MapReduce环境下的异常检测方法 |
CN103561420A (zh) * | 2013-11-07 | 2014-02-05 | 东南大学 | 基于数据快照图的异常检测方法 |
CN103888304A (zh) * | 2012-12-19 | 2014-06-25 | 华为技术有限公司 | 一种多节点应用的异常检测方法及相关装置 |
CN104123448A (zh) * | 2014-07-14 | 2014-10-29 | 南京理工大学 | 基于上下文的多数据流异常检测方法 |
-
2014
- 2014-12-12 CN CN201410769068.6A patent/CN104536996B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102664961A (zh) * | 2012-05-04 | 2012-09-12 | 北京邮电大学 | MapReduce环境下的异常检测方法 |
CN103888304A (zh) * | 2012-12-19 | 2014-06-25 | 华为技术有限公司 | 一种多节点应用的异常检测方法及相关装置 |
CN103561420A (zh) * | 2013-11-07 | 2014-02-05 | 东南大学 | 基于数据快照图的异常检测方法 |
CN104123448A (zh) * | 2014-07-14 | 2014-10-29 | 南京理工大学 | 基于上下文的多数据流异常检测方法 |
Non-Patent Citations (2)
Title |
---|
《基于NIS的异常检测算法》;徐建 等;《计算机科学》;20051231;第32卷(第4期);第140-142页 * |
《数据挖掘中孤立点检测算法的研究》;范洁;《中国优秀硕士学位论文全文数据库 信息科技辑》;20100415(第4期);论文第3.2、3.3节 * |
Also Published As
Publication number | Publication date |
---|---|
CN104536996A (zh) | 2015-04-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104536996B (zh) | 一种同构环境下计算节点异常检测方法 | |
CN105307200B (zh) | 一种基于轨迹的无线传感器网络多维数据异常值检测方法 | |
Bendre et al. | Time series decomposition and predictive analytics using MapReduce framework | |
WO2018068360A1 (zh) | 一种数据分析中获取因变量与自变量回归关系的方法 | |
CN108709745A (zh) | 一种基于增强型lpp算法和极限学习机快速轴承故障识别方法 | |
KR102215690B1 (ko) | 시계열의 데이터를 모니터링 하는 방법 및 그 장치 | |
Du et al. | Minimal Euclidean distance chart based on support vector regression for monitoring mean shifts of auto-correlated processes | |
CN105260738A (zh) | 基于主动学习的高分辨率遥感影像变化检测方法及*** | |
CN113139600A (zh) | 基于联邦学习的智能电网设备异常检测方法和*** | |
CN104123448B (zh) | 基于上下文的多数据流异常检测方法 | |
CN113657814B (zh) | 一种航空网络风险预测方法及风险等级评估方法 | |
CN116821832A (zh) | 针对高压工商业用户用电负荷的异常数据辨识与修正方法 | |
CN104634265A (zh) | 一种基于多元图像特征融合的矿物浮选泡沫层厚度软测量方法 | |
Zhou et al. | Multi-expert attention network for long-term dam displacement prediction | |
Gori et al. | Graph matching using random walks | |
CN117009900A (zh) | 一种基于图神经网络的物联网信号异常检测方法和*** | |
Singaravel et al. | Explainable deep convolutional learning for intuitive model development by non–machine learning domain experts | |
Yu et al. | A hybrid learning-based model for on-line monitoring and diagnosis of out-of-control signals in multivariate manufacturing processes | |
Xenopoulos et al. | GALE: Globally assessing local explanations | |
CN116365519A (zh) | 一种电力负荷预测方法、***、存储介质及设备 | |
Huang et al. | Advanced ART2 scheme for enhancing metrology-data-quality evaluation | |
Rao et al. | Classification of land cover usage from satellite images using deep learning algorithms | |
JP2016520220A (ja) | 隠れ属性モデル推定装置、方法およびプログラム | |
JP7151604B2 (ja) | モデル学習装置、データ分析装置、モデル学習方法、及びプログラム | |
Viattchenin | Heuristic possibilistic clustering for detecting optimal number of elements in fuzzy clusters |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |