CN112199252B - 一种异常监控方法、装置及电子设备 - Google Patents
一种异常监控方法、装置及电子设备 Download PDFInfo
- Publication number
- CN112199252B CN112199252B CN202011069749.3A CN202011069749A CN112199252B CN 112199252 B CN112199252 B CN 112199252B CN 202011069749 A CN202011069749 A CN 202011069749A CN 112199252 B CN112199252 B CN 112199252B
- Authority
- CN
- China
- Prior art keywords
- data
- monitoring
- time sequence
- time series
- normalized
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 362
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000005856 abnormality Effects 0.000 title claims description 50
- 238000012806 monitoring device Methods 0.000 claims abstract description 8
- 230000000737 periodic effect Effects 0.000 claims description 31
- 238000012545 processing Methods 0.000 claims description 30
- 230000006870 function Effects 0.000 claims description 22
- 230000015654 memory Effects 0.000 claims description 19
- 238000004891 communication Methods 0.000 claims description 12
- 238000012163 sequencing technique Methods 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 5
- 230000002159 abnormal effect Effects 0.000 abstract description 9
- 230000000694 effects Effects 0.000 abstract description 8
- 238000012423 maintenance Methods 0.000 abstract description 5
- 238000012549 training Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 238000010276 construction Methods 0.000 description 6
- 238000013507 mapping Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000012417 linear regression Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000001932 seasonal effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013024 troubleshooting Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3055—Monitoring arrangements for monitoring the status of the computing system or of the computing system component, e.g. monitoring if the computing system is on, off, available, not available
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本申请公开了一种异常监控方法、装置及电子设备。该方法包括:获得监控数据;确定监控数据对应的监控指标;获取与该监控指标对应的波形数据,其中,与该监控指标对应的波形数据是预先基于历史监控数据生成的;比较监控数据中的监控值和该波形数据,以确定是否发生异常。基于本申请公开的方案,能够减少运营维护人员的主观影响,能够在不漏报的前提下减少异常告警的比例,从而提高监控效果,并降低运营维护人员的接警压力。
Description
技术领域
本申请属于数据处理技术领域,尤其涉及一种异常监控方法、装置及电子设备。
背景技术
随着信息技术的不断发展,数据规模与复杂度呈现指数级的增长,数据中心作为数据存储、计算、应用的核心基础设施基地,在各类业务的高可用的场景中扮演着重要角色。为了保证各业务可以平稳运行,需要从基础设施、网络、应用性能等方面实施监控。
传统的监控方式是:设置告警阈值,当监控指标超出告警阈值时,进行告警操作。
目前数据中心的监控信息主要包含硬件设施健康状况、网络连接情况、应用运行状态等监控指标。由于监控数据大,监控指标信息多,很难基于传统的运营维护经验给予合理的阈值判断,如果设定宽松的告警阈值(也就是将告警阈值设置为较小的数值),会导致每天发生海量的告警事件,运营维护人员无法排查,真正的问题事件被湮没于海量告警中;如果设定的阈值较为严格(也就是将告警阈值设置为较大的数值),会导致大量的问题漏报,给故障的排查带来诸多困难。
发明内容
有鉴于此,本申请的目的在于提供一种异常监控方法、装置及电子设备,以提高监控效果。
为实现上述目的,本申请提供如下技术方案:
本申请提供一种异常监控方法,包括:
获得监控数据;
确定所述监控数据对应的监控指标;
获取与所述监控指标对应的波形数据,其中,与所述监控指标对应的波形数据是预先基于历史监控数据生成的;
比较所述监控数据中的监控值和所述波形数据,以确定是否发生异常。
由此可见,本申请的有益效果为:
本申请实施例提供的异常监控方法,预先基于历史监控数据生成各个监控指标对应的波形数据,在获得监控数据后,确定该监控数据对应的监控指标,并获取与该监控指标对应的波形数据,通过比较监控数据中的监控值和波形数据,确定是否发生异常。本申请提供的方案中,与监控指标对应的波形数据是基于历史监控数据预测出的,反映了该监控指标的正常波动状态,当监控数据中的监控值超过正常波动范围时,确定发生异常,与现有技术中基于运营维护人员设定的阈值进行异常监控相比,减少了运营维护人员的主观影响,能够在不漏报的前提下减少异常告警的比例,从而提高监控效果,并降低运营维护人员的接警压力。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请一个实施例提供的异常监控方法的流程图;
图2为本申请另一个实施例提供的生成与监控指标对应的波形数据的方法的流程图;
图3为本申请另一个实施例提供的生成与监控指标对应的原始时序数据的方法的流程图;
图4为本申请另一个实施例提供的根据归一化时序数据和标准化时序数据确定原始时序数据的类型的方法的流程图;
图5为本申请另一个实施例提供的异常监控装置的结构示意图;
图6为本申请另一个实施例提供的异常监控装置的结构示意图;
图7为本申请另一个实施例提供的电子设备的结构示意图。
具体实施方式
本申请实施例提供一种异常监控方法、装置及电子设备,预先基于历史监控数据生成与各监控指标对应的波形数据,通过比较监控数据中的监控值和对应的波形数据,以确定是否发生异常,在不漏报的前提下减少异常告警的比例,从而提高监控效果,并降低运营维护人员的接警压力。
下面将参照附图更详细地描述本申请的实施例。虽然附图中显示了本申请的某些实施例,然而应当理解的是,本申请可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例,相反提供这些实施例是为了更加透彻和完整地理解本申请。应当理解的是,本申请的附图及实施例仅用于示例性作用,并非用于限制本申请的保护范围。
本文使用的术语“包括”及其变形是开放性包括,即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”;术语“另一实施例”表示“至少一个另外的实施例”;术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意,本申请中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意,本申请中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
参见图1,图1为本申请一个实施例提供的异常监控方法的流程图。该方法的执行主体为电子设备,如服务器或者服务器集群。该异常监控方法包括:
S101:获得监控数据。
S102:确定监控数据对应的监控指标。
***中需要实施监控的设备很多,所涉及的监控指标也很多。监控指标包括但不限于:cpu idle(***空闲值)、io wait(等待I/O完成的时间)、磁盘使用率。在获得监控数据后,需要确定监控数据对应的监控指标。
S103:获取与该监控指标对应的波形数据。
其中,与监控指标对应的波形数据是预先基于历史监控数据生成的,反应了该监控指标的正常波动情况。
需要说明的是,本申请中,预先基于历史监控数据生成各个监控指标对应的波形数据。在确定监控数据对应的监控指标后,就可以从预先生成的波形数据中获取与该监控指标对应的波形数据。
S104:比较监控数据中的监控值和波形数据,以确定是否发生异常。
可选的,如果监控数据中的监控值大于波形数据中的最大值或者小于波形数据中的最小值,确定发生异常。
本申请提供的异常监控方法,预先基于历史监控数据生成各个监控指标对应的波形数据,在获得监控数据后,确定该监控数据对应的监控指标,并获取与该监控指标对应的波形数据,通过比较监控数据中的监控值和波形数据,确定是否发生异常。本申请提供的方案中,与监控指标对应的波形数据是基于历史监控数据预测出的,反映了该监控指标的正常波动状态,当监控数据中的监控值超过正常波动范围时,确定发生异常,与现有技术中基于运营维护人员设定的阈值进行异常监控相比,减少了运营维护人员的主观影响,能够在不漏报的前提下减少异常告警的比例,从而提高监控效果,并降低运营维护人员的接警压力。
在本申请的另一个实施例中,对生成与监控指标对应的波形数据的方案进行介绍。
请参见图2,图2为本申请另一个实施例提供的生成与监控指标对应的波形数据的方法的流程图。该方法包括:
S201:获得历史监控数据。
S202:基于历史监控数据生成与监控指标对应的原始时序数据。
其中,监控指标对应的原始时序数据为:与监控指标对应的历史监控数据按照生成时间的先后顺序排列得到的序列,并且原始时序数据中的历史监控数据为预定的格式类型。也就是说,与监控指标对应的原始时序数据中的历史监控数据为统一的格式类型。即,与监控指标对应的原始时序数据是多源同构数据。
可以理解的是,如果获得的历史监控数据包含多种格式类型,那么在基于历史监控数据生成与监控指标对应的原始时序数据的过程中,需要对原始监控数据进行格式转换,以保证原始时序数据中的历史监控数据为统一的格式类型。
S203:对原始时序数据进行归一化处理,得到归一化时序数据。
S204:对原始时序数据进行标准化处理,得到标准化时序数据。
原始时序数据为多源同构数据,多源同构数据的数据归属方、数值波动范围、采样时间间隔、度量单位等方面均存在较大差异。
因此,需要将原始时序数据的采样时间间隔统一,对原始时序数据进行升采样或降采样操作。为了解决不同维度数据的数值波动范围的问题,对原始时序数据进行归一化操作,使得各个历史监控数据的监控值的数值分布被压缩到[0,1]区间,得到归一化时序数据;为了避免度量方式和数据分布差异的影响,对原始时序数据进行标准化操作,得到标准化时序数据。将原始时序数据、归一化时序数据和标准化时序数据都进行保存。
S205:根据归一化时序数据和标准化时序数据确定原始时序数据的类型。
其中,预设的类型包括:平稳周期型、非平稳周期型、非周期平稳型和非周期非平稳型。
在平稳性的维度,原始时序数据被划分为平稳型和非平稳型,在周期性的维度,原始时序数据被划分为周期型和非周期型。那么,在平稳性和周期性这两个维度,原始时序数据被划分为平稳周期型、非平稳周期型、非周期平稳型和非周期非平稳型这四个类型。
S206:将原始时序数据作为目标预测模型的输入,得到目标预测模型输出的波形数据,其中,不同的类型对应于不同的预测模型,目标预测模型为与原始时序数据的类型对应的预测模型。
也就是说,针对不同类型分别预先训练一个预测模型,例如,将与平稳周期型对应的预测模型记为第一预测模型,将与非平稳周期型对应的预测模型记为第二预测模型,将与非周期平稳型对应的预测模型记为第三预测模型,将与非周期非平稳型对应的预测模型记为第四预测模型。在确定原始时序数据的类型后,将对应的预测模型作为目标预测模型,将原始时序数据作为该目标预测模型的输入,将该目标预测模型输出的波形数据作为与该监控指标对应的波形数据。
这里对四个预测模型的训练过程进行说明。
获取历史监控数据,基于历史监控数据生成与各监控指标对应的原始时序数据,确定各原始时序数据的类型。之后,将类型为平稳周期型的原始时序数据作为第一预测模型的训练样本,将类型为非平稳周期型的原始时序数据作为第二预测模型的训练样本,将类型为非周期平稳型的原始时序数据作为第三预测模型的训练样本,将类型为非周期非平稳型的原始时序数据作为第四预测模型的训练样本,采用监控学习或者非监督学习对各个预测模型进行训练。
需要说明的是,本申请中首先确定原始时序数据的类型,之后利用对应的预测模型对该原始时序数据进行处理,以预测出对应的波形数据。与利用同一个预测模型对全部原始时序数据进行处理,以预测出对应的波形数据相比,本申请公开的方案对原始时序数据进行分类,根据原始时序数据的波动规律采用不同的预测算法,在提高预测精度的同时,优化了预测流程的计算资源分配,预测效果得到显著提升。并且,也降低了各个预测模型的训练难度,缩短了各个预测模型的训练时间。
优选的,与平稳周期型对应的预测模型采用自回归移动平均结合指数平滑模型。对于平稳周期型数据而言,采用自回归移动平均结合指数平滑模型进行数据预测可以反映数据周期型特征、自回归特征,与深度学习模型进行长期数据训练相比,可以在短时间内完成模型的构建,节省计算资源,提升模型构建效率。
优选的,与非平稳周期型对应的预测模型采用季节趋势分解法结合线性回归模型。对于非平稳周期型数据而言,通过趋势分解模型可以量化曲线趋势特征,同时结合回归模型训练,可以快速完成模型构建,与其他模型相比,具有较低的时间复杂度,在工程上大大增强了模型的构建效率。
优选的,与非周期平稳型对应的预测模型采用线性回归模型。基于非周期平稳型数据分布表现,由于其波动范围较小,对其预测方式可以直接采用回归算法,无需提取更多的时序数据特征因素,可以直接用模型拟合曲线的形态,算法简单、落地性强,可以快速完成非周期平稳型数据形态的模型构建。
优选的,与非周期非平稳型对应的预测模型采用长短期记忆模型。非周期非平稳型数据是一种复杂的数据分布形态,针对复杂波形的预测采用长短期记忆网络的方式学习时序数据的特征,通过复杂的网络关系可以得到人为无法提取的特征,大大增强了模型的拟合效果,尽管模型的训练周期长,模型的时间复杂度高,但其可以处理传统机器学习方式无法拟合及预测的复杂类型的时序数据。
在本申请的另一个实施例中,对基于历史监控数据生成与监控指标对应的原始时序数据的方案进行介绍。
请参见图3,图3为本申请另一个实施例提供的生成与监控指标对应的原始时序数据的方法的流程图。该方法包括:
S301:将历史监控数据转换为预设的格式类型。
历史监控数据来源于多个设备,例如:主机、中间件、数据库和网络,这使得历史监控数据的数据格式可能是多种多样的,因此需要将历史监控数据转换为预定的格式类型。也就是说,历史监控数据为多源异构数据,需要将历史监控数据转换为多源同构数据。
实施中,对输入的历史监控数据进行格式转化,将多种格式类型的历史监控数据处理为具有统一格式类型的历史监控数据。
可选的,记录原始的历史监控数据和转换后的历史监控数据的映射关系,以便后续通过该映射关系获得与处理后的历史监控数据对应的原始的历史监控数据。
S302:从转换后的历史监控数据中获取与该监控指标对应的历史监控数据。
历史监控数据包括与多个指标对应的历史监控数据,在对历史监控数据进行格式转换后,从转换后的历史监控数据中获取与该监控指标对应的历史监控数据。
上述步骤S301和步骤S302的一个具体实现方式为:
首先对输入的历史监控数据集去掉时间和当前值作为数据指标信息,根据数据指标信息生成uuid_map作为识别信息,为每个数据指标信息构造嵌套字典:将uuid_map作为外层字典的键,内层字典的键为原始的数据指标信息,内层字典的值为转换后的数据指标信息,内层字典构成外部字典的值,形成嵌套字典格式。通过嵌套字典的信息映射,完成对原始指标信息的高效检索以及规范化处理。
根据识别信息uuid_map对完成映射后的嵌套字典进行划分处理,通过uuid_map的信息识别,快速将多源异构数据进行自动化规范处理,将混合数据解析为数据格式相同的时序数据信息,并将其保存为uuid_map,timestamp,value,在完成数据解析工作的同时,可以根据映射关系快速定位数据,在存储和计算方面节省了大量资源。
S303:对与该监控指标对应的历史监控数据进行异常处理。
历史监控数据可能存在数据重复、数据缺失以及异常数据。因此,在获得与该监控指标对应的历史监控数据后,需要进行异常处理。异常处理包括但不限于以下操作:数据去重、数据离群值剔除、以及缺失值填补。
S304:按照生成时间的先后顺序对与该监控指标对应的历史监控数据进行排序,得到与该监控指标对应的原始时序数据。
在对与该监控指标对应的历史监控数据进行异常处理后,按照生成时间的先后顺序对与该监控指标对应的历史监控数据进行排序,得到的序列作为与该监控指标对应的原始时序数据。
例如,监控指标为磁盘使用率,那么需要从转换后的历史监控数据中获取与磁盘使用率对应的历史监控数据,对获取到的与磁盘使用率对应的历史监控数据进行异常处理,针对异常处理后的历史监控数据,按照各历史监控数据生成时间的先后顺序对各历史监控数据进行排序,得到与磁盘使用率对应的原始时序数据。
在本申请的另一个实施例中,对根据归一化时序数据和标准化时序数据确定原始时序数据的类型的方案进行介绍。
请参见图4,图4为本申请另一个实施例提供的根据归一化时序数据和标准化时序数据确定原始时序数据的类型的方法的流程图。该方法包括:
S401:基于归一化时序数据确定局部绝对特征信息和局部相对特征信息。
S402:基于标准化时序数据确定全局绝对特征信息和全局相对特征信息。
可选的,局部绝对特征信息包括:归一化时序数据的中位数α11、归一化时序数据的方差α21、归一化时序数据的偏度α31和归一化时序数据的峰度α41;
局部相对特征信息包括:归一化时序数据的均值比率α12、归一化时序数据的方差比率α22、归一化时序数据的偏度比率α32和归一化时序数据的峰度比率α42;
全局绝对特征信息包括:标准化时序数据的中位数β11、标准化时序数据的方差β21、标准化时序数据的偏度β31和标准化时序数据的峰度β41;
全局相对特征信息包括:标准化时序数据的均值比率β12、标准化时序数据的方差比率β22、标准化时序数据的偏度比率β32和标准化时序数据的峰度比率β42。
S403:基于局部绝对特征信息、局部相对特征信息、全局绝对特征信息、全局相对特征信息确定原始时序数据的类型。
可选的,采用如下方案:
1)、按照Q=W(α1*α2+β1*β2)确定分类判别函数Q的值。
其中,α1为归一化时序数据的中位数α11、归一化时序数据的方差α21、归一化时序数据的偏度α31和归一化时序数据的峰度α41构成的行向量,α2为归一化时序数据的均值比率α12、归一化时序数据的方差比率α22、归一化时序数据的偏度比率α32和归一化时序数据的峰度比率α42构成的列向量,β1为标准化时序数据的中位数β11、标准化时序数据的方差β21、标准化时序数据的偏度β31和标准化时序数据的峰度β41构成的行向量,β2为标准化时序数据的均值比率β12、标准化时序数据的方差比率β22、标准化时序数据的偏度比率β32和标准化时序数据的峰度比率β42构成的列向量,W为预设的权重参数矩阵。
2)、比较分类判别函数Q的值与多个预设的类型对应的区间,将分类判别函数Q的取值所属的区间对应的类型确定为原始时序数据的类型。其中,每个预设的类型对应于一个区间,且多个预设的类型对应的多个区间包含的取值没有重叠。
也就是说,针对4个预设的类型各设置一个区间,并且针对4个预设的类型设置的4个区间包含的取值没有重叠。在计算出分类判别函数Q的取值后,确定分类判别函数Q的取值位于哪个区间内,则将原始时序数据确定为该区间对应的类型。
在一些实施方式中,客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol,超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信,并且可以与任意形式或介质的数字数据通信(例如,通信网络)互连。通信网络的示例包括局域网(“LAN”),广域网(“WAN”),网际网(例如,互联网)以及端对端网络(例如,ad hoc端对端网络),以及任何当前已知或未来研发的网络。
应当理解,本申请的方法实施方式中记载的各个步骤可以按照不同的顺序执行,和/或并行执行。此外,方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本申请的范围在此方面不受限制。
本申请实施例上述提供了异常监控方法,相应的,本申请实施例还提供异常监控装置。说明书中关于两者的描述可以相互参考。
参见图5,图5为本申请另一个实施例提供的异常监控装置的结构示意图。该异常监控装置包括:
监控数据获取单元100,用于获得监控数据;
监控指标确定单元200,用于确定监控数据对应的监控指标;
波形数据获取单元300,用于获取与监控指标对应的波形数据,其中,与监控指标对应的波形数据是预先基于历史监控数据生成的;
比较单元400,用于比较监控数据中的监控值和波形数据,以确定是否发生异常。
本申请提供的异常监控装置,预先基于历史监控数据生成各个监控指标对应的波形数据,在获得监控数据后,确定该监控数据对应的监控指标,并获取与该监控指标对应的波形数据,通过比较监控数据中的监控值和波形数据,确定是否发生异常。本申请提供的方案中,与监控指标对应的波形数据是基于历史监控数据预测出的,反映了该监控指标的正常波动状态,当监控数据中的监控值超过正常波动范围时,确定发生异常,与现有技术中基于运营维护人员设定的阈值进行异常监控相比,减少了运营维护人员的主观影响,能够在不漏报的前提下减少异常告警的比例,从而提高监控效果,并降低运营维护人员的接警压力。
在本申请的另一个实施例中,在上述异常监控装置的基础上,还包括波形数据生成单元500,如图6所示。其中,波形数据生成单元500包括:
历史监控数据获取子单元,用于获得历史监控数据;
原始时序数据生成子单元,用于基于历史监控数据生成与监控指标对应的原始时序数据,其中,监控指标对应的原始时序数据为,与监控指标对应的历史监控数据按照生成时间的先后顺序排列得到的序列,并且原始时序数据中的历史监控数据为预定的格式类型;
归一化子单元,用于对原始时序数据进行归一化处理,得到归一化时序数据;
标准化子单元,用于对原始时序数据进行标准化处理,得到标准化时序数据;
数据类型确定子单元,用于根据归一化时序数据和标准化时序数据确定原始时序数据的类型,其中,预设的类型包括:平稳周期型、非平稳周期型、非周期平稳型和非周期非平稳型;
波形数据预测子单元,用于将原始时序数据作为与目标预测模型的输入,得到目标预测模型输出的波形数据,其中,不同的类型对应于不同的预测模型,目标预测模型为与原始时序数据的类型对应的预测模型。
在本申请的另一个实施例中,在上述异常监控装置的基础上,原始时序数据生成子单元包括:
格式转换模块,用于将历史监控数据转换为预设的格式类型;
指标历史监控数据获取模块,用于从转换后的历史监控数据中获取与监控指标对应的历史监控数据;
异常处理模块,用于对与监控指标对应的历史监控数据进行异常处理;
排序模块,用于按照生成时间的先后顺序对与监控指标对应的历史监控数据进行排序,得到与监控指标对应的原始时序数据。
在本申请的另一个实施例中,在上述异常监控装置的基础上,数据类型确定子单元包括:
局部特征信息获取模块,用于基于归一化时序数据确定局部绝对特征信息和局部相对特征信息;
全局特征信息获取模块,用于基于标准化时序数据确定全局绝对特征信息和全局相对特征信息;
类型判别模块,用于基于局部绝对特征信息、局部相对特征信息、全局绝对特征信息、全局相对特征信息确定原始时序数据的类型。
在本申请的另一个实施例中,在上述异常监控装置的基础上,局部绝对特征信息包括:归一化时序数据的中位数α11、归一化时序数据的方差α21、归一化时序数据的偏度α31和归一化时序数据的峰度α41;
局部相对特征信息包括:归一化时序数据的均值比率α12、归一化时序数据的方差比率α22、归一化时序数据的偏度比率α32和归一化时序数据的峰度比率α42;
全局绝对特征信息包括:标准化时序数据的中位数β11、标准化时序数据的方差β21、标准化时序数据的偏度β31和标准化时序数据的峰度β41;
全局相对特征信息包括:标准化时序数据的均值比率β12、标准化时序数据的方差比率β22、标准化时序数据的偏度比率β32和标准化时序数据的峰度比率β42。
在本申请的另一个实施例中,在上述异常监控装置的基础上,类型判别模块具体用于:
按照Q=W(α1*α2+β1*β2)确定分类判别函数Q的值;其中,α1为归一化时序数据的中位数α11、归一化时序数据的方差α21、归一化时序数据的偏度α31和归一化时序数据的峰度α41构成的行向量,α2为归一化时序数据的均值比率α12、归一化时序数据的方差比率α22、归一化时序数据的偏度比率α32和归一化时序数据的峰度比率α42构成的列向量,β1为标准化时序数据的中位数β11、标准化时序数据的方差β21、标准化时序数据的偏度β31和标准化时序数据的峰度β41构成的行向量,β2为标准化时序数据的均值比率β12、标准化时序数据的方差比率β22、标准化时序数据的偏度比率β32和标准化时序数据的峰度比率β42构成的列向量,W为预设的权重参数矩阵;
比较分类判别函数Q的值与多个预设的类型对应的区间,将分类判别函数Q的取值所属的区间对应的类型确定为原始时序数据的类型;
其中,每个预设的类型对应于一个区间,且多个预设的类型对应的多个区间包含的取值没有重叠。
本申请另一个实施例还提供一种电子设备,以实现本申请上述提供的异常监控方法。
参见图7,图7为本申请另一个实施例提供的电子设备的结构示意图。该电子设备可以包括处理器701、存储器702和通信接口703。
可选的,该服务器还可以包括:输入单元704、显示器705和通信总线706。其中,处理器701、存储器702、通信接口703、输入单元704、显示器705均通过通信总线706完成相互间的通信。
在本申请实施例中,该处理器701可以为中央处理器(Central Processing Unit,CPU),特定应用集成电路,数字信号处理器、现成可编程门阵列或者其他可编程逻辑器件等。
该处理器701可以调用存储器702中存储的程序。
存储器702中用于存放一个或者一个以上程序,程序可以包括程序代码,所述程序代码包括计算机操作指令。在本申请实施例中,该存储器中存储有用于实现上述任意一种异常监控方法的程序。
在一种可能的实现方式中,该存储器702可包括存储程序区和存储数据区,其中,存储程序区可存储操作***、以上所提到的程序等;存储数据区可存储根据计算机设备的使用过程中所创建的数据等。
此外,存储器702可以包括高速随机存取存储器,还可以包括非易失性存储器。
该通信接口703可以为通信模块的接口。
该输入单元704可以包括感应触摸显示面板上的触摸事件的触摸感应单元、键盘等等。
该显示器705包括显示面板,如触摸显示面板等。
当然,图7所示的电子设备的结构并不构成对本申请实施例中电子设备的限定,在实际应用中电子设备可以包括比图7所示的更多或更少的部件,或者组合某些部件。
需要说明的是,本申请实施例中的电子设备可以包括但不限于服务器,例如,服务器集群或一***立的服务器。图7示出的电子设备仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
本申请另一个实施例提供一种电子设备可执行的存储介质,该存储介质中存储有程序,该程序由电子设备的处理器加载并执行时,使得电子设备实现本申请上述公开的任意一种异常监控方法。
需要说明的是,本申请上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质可以是但不限于:电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
根据本申请的一个或多个实施例,提供了一种异常监控方法,包括:
获得监控数据;
确定所述监控数据对应的监控指标;
获取与所述监控指标对应的波形数据,其中,与所述监控指标对应的波形数据是预先基于历史监控数据生成的;
比较所述监控数据中的监控值和所述波形数据,以确定是否发生异常。
根据本申请的一个或多个实施例,在上述异常监控方法的基础上,生成与监控指标对应的波形数据,包括:
获得历史监控数据;
基于所述历史监控数据生成与所述监控指标对应的原始时序数据,其中,所述监控指标对应的原始时序数据为,与所述监控指标对应的历史监控数据按照生成时间的先后顺序排列得到的序列,并且所述原始时序数据中的历史监控数据为预定的格式类型;
对所述原始时序数据进行归一化处理,得到归一化时序数据;
对所述原始时序数据进行标准化处理,得到标准化时序数据;
根据所述归一化时序数据和所述标准化时序数据确定所述原始时序数据的类型,其中,预设的类型包括:平稳周期型、非平稳周期型、非周期平稳型和非周期非平稳型;
将所述原始时序数据作为目标预测模型的输入,得到所述目标预测模型输出的波形数据,其中,不同的类型对应于不同的预测模型,所述目标预测模型为与所述原始时序数据的类型对应的预测模型。
根据本申请的一个或多个实施例,在上述异常监控方法的基础上,所述基于所述历史监控数据生成与所述监控指标对应的原始时序数据,包括:
将所述历史监控数据转换为预设的格式类型;
从转换后的历史监控数据中获取与所述监控指标对应的历史监控数据;
对与所述监控指标对应的历史监控数据进行异常处理;
按照生成时间的先后顺序对与所述监控指标对应的历史监控数据进行排序,得到与所述监控指标对应的原始时序数据。
根据本申请的一个或多个实施例,在上述异常监控方法的基础上,根据所述归一化时序数据和所述标准化时序数据确定所述原始时序数据的类型,包括:
基于所述归一化时序数据确定局部绝对特征信息和局部相对特征信息;
基于所述标准化时序数据确定全局绝对特征信息和全局相对特征信息;
基于所述局部绝对特征信息、局部相对特征信息、全局绝对特征信息、全局相对特征信息确定所述原始时序数据的类型。
根据本申请的一个或多个实施例,在上述异常监控方法的基础上,所述局部绝对特征信息包括:所述归一化时序数据的中位数α11、所述归一化时序数据的方差α21、所述归一化时序数据的偏度α31和所述归一化时序数据的峰度α41;
所述局部相对特征信息包括:所述归一化时序数据的均值比率α12、所述归一化时序数据的方差比率α22、所述归一化时序数据的偏度比率α32和所述归一化时序数据的峰度比率α42;
所述全局绝对特征信息包括:所述标准化时序数据的中位数β11、所述标准化时序数据的方差β21、所述标准化时序数据的偏度β31和所述标准化时序数据的峰度β41;
所述全局相对特征信息包括:所述标准化时序数据的均值比率β12、所述标准化时序数据的方差比率β22、所述标准化时序数据的偏度比率β32和所述标准化时序数据的峰度比率β42。
根据本申请的一个或多个实施例,在上述异常监控方法的基础上,所述基于所述原始时序数据的局部绝对特征信息、局部相对特征信息、全局绝对特征信息、全局相对特征信息确定所述原始时序数据的类型,包括:
按照Q=W(α1*α2+β1*β2)确定分类判别函数Q的值;其中,α1为所述归一化时序数据的中位数α11、所述归一化时序数据的方差α21、所述归一化时序数据的偏度α31和所述归一化时序数据的峰度α41构成的行向量,α2为所述归一化时序数据的均值比率α12、所述归一化时序数据的方差比率α22、所述归一化时序数据的偏度比率α32和所述归一化时序数据的峰度比率α42构成的列向量,β1为所述标准化时序数据的中位数β11、所述标准化时序数据的方差β21、所述标准化时序数据的偏度β31和所述标准化时序数据的峰度β41构成的行向量,β2为所述标准化时序数据的均值比率β12、所述标准化时序数据的方差比率β22、所述标准化时序数据的偏度比率β32和所述标准化时序数据的峰度比率β42构成的列向量,W为预设的权重参数矩阵;
比较所述分类判别函数Q的值与多个预设的类型对应的区间,将所述分类判别函数Q的取值所属的区间对应的类型确定为所述原始时序数据的类型;
其中,每个预设的类型对应于一个区间,且多个预设的类型对应的多个区间包含的取值没有重叠。
根据本申请的一个或多个实施例,提供了一种异常监控装置,包括:
监控数据获取单元,用于获得监控数据;
监控指标确定单元,用于确定所述监控数据对应的监控指标;
波形数据获取单元,用于获取与所述监控指标对应的波形数据,其中,与所述监控指标对应的波形数据是预先基于历史监控数据生成的;
比较单元,用于比较所述监控数据中的监控值和所述波形数据,以确定是否发生异常。
根据本申请的一个或多个实施例,在上述异常监控装置的基础上,还包括波形数据生成单元;所述波形数据生成单元包括:
历史监控数据获取子单元,用于获得历史监控数据;
原始时序数据生成子单元,用于基于所述历史监控数据生成与所述监控指标对应的原始时序数据,其中,所述监控指标对应的原始时序数据为,与所述监控指标对应的历史监控数据按照生成时间的先后顺序排列得到的序列,并且所述原始时序数据中的历史监控数据为预定的格式类型;
归一化子单元,用于对所述原始时序数据进行归一化处理,得到归一化时序数据;
标准化子单元,用于对所述原始时序数据进行标准化处理,得到标准化时序数据;
数据类型确定子单元,用于根据所述归一化时序数据和所述标准化时序数据确定所述原始时序数据的类型,其中,预设的类型包括:平稳周期型、非平稳周期型、非周期平稳型和非周期非平稳型;
波形数据预测子单元,用于将所述原始时序数据作为目标预测模型的输入,得到所述目标预测模型输出的波形数据,其中,不同的类型对应于不同的预测模型,所述目标预测模型为与所述原始时序数据的类型对应的预测模型。
根据本申请的一个或多个实施例,在上述异常监控装置的基础上,所述原始时序数据生成子单元包括:
格式转换模块,用于将所述历史监控数据转换为预设的格式类型;
指标历史监控数据获取模块,用于从转换后的历史监控数据中获取与所述监控指标对应的历史监控数据;
异常处理模块,用于对与所述监控指标对应的历史监控数据进行异常处理;
排序模块,用于按照生成时间的先后顺序对与所述监控指标对应的历史监控数据进行排序,得到与所述监控指标对应的原始时序数据。
根据本申请的一个或多个实施例,在上述异常监控装置的基础上,所述数据类型确定子单元包括:
局部特征信息获取模块,用于基于所述归一化时序数据确定局部绝对特征信息和局部相对特征信息;
全局特征信息获取模块,用于基于所述标准化时序数据确定全局绝对特征信息和全局相对特征信息;
类型判别模块,用于基于所述局部绝对特征信息、局部相对特征信息、全局绝对特征信息、全局相对特征信息确定所述原始时序数据的类型。
根据本申请的一个或多个实施例,在上述异常监控装置的基础上,所述局部绝对特征信息包括:所述归一化时序数据的中位数α11、所述归一化时序数据的方差α21、所述归一化时序数据的偏度α31和所述归一化时序数据的峰度α41;
所述局部相对特征信息包括:所述归一化时序数据的均值比率α12、所述归一化时序数据的方差比率α22、所述归一化时序数据的偏度比率α32和所述归一化时序数据的峰度比率α42;
所述全局绝对特征信息包括:所述标准化时序数据的中位数β11、所述标准化时序数据的方差β21、所述标准化时序数据的偏度β31和所述标准化时序数据的峰度β41;
所述全局相对特征信息包括:所述标准化时序数据的均值比率β12、所述标准化时序数据的方差比率β22、所述标准化时序数据的偏度比率β32和所述标准化时序数据的峰度比率β42。
根据本申请的一个或多个实施例,在上述异常监控装置的基础上,所述类型判别模块具体用于:
按照Q=W(α1*α2+β1*β2)确定分类判别函数Q的值;其中,α1为所述归一化时序数据的中位数α11、所述归一化时序数据的方差α21、所述归一化时序数据的偏度α31和所述归一化时序数据的峰度α41构成的行向量,α2为所述归一化时序数据的均值比率α12、所述归一化时序数据的方差比率α22、所述归一化时序数据的偏度比率α32和所述归一化时序数据的峰度比率α42构成的列向量,β1为所述标准化时序数据的中位数β11、所述标准化时序数据的方差β21、所述标准化时序数据的偏度β31和所述标准化时序数据的峰度β41构成的行向量,β2为所述标准化时序数据的均值比率β12、所述标准化时序数据的方差比率β22、所述标准化时序数据的偏度比率β32和所述标准化时序数据的峰度比率β42构成的列向量,W为预设的权重参数矩阵;
比较所述分类判别函数Q的值与多个预设的类型对应的区间,将所述分类判别函数Q的取值所属的区间对应的类型确定为所述原始时序数据的类型;
其中,每个预设的类型对应于一个区间,且多个预设的类型对应的多个区间包含的取值没有重叠。
根据本申请的一个或多个实施例,提供了一种电子设备,包括处理器、存储器和通信接口;
所述处理器用于执行所述存储器中存储的程序;
所述存储器用于存储程序,所述程序至少用于:
获得监控数据;
确定所述监控数据对应的监控指标;
获取与所述监控指标对应的波形数据,其中,与所述监控指标对应的波形数据是预先基于历史监控数据生成的;
比较所述监控数据中的监控值和所述波形数据,以确定是否发生异常。
根据本申请的一个或多个实施例,提供一种存储介质,所述存储介质中存储有程序,所述程序被处理器加载并执行时,实现本申请提供的任意一种异常监测方法。
实施中,可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码,上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
需要说明的是,附图中的流程图和框图,图示了按照本申请各种实施例的方法、装置和电子设备可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
本申请实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。
虽然采用特定次序描绘了各操作,但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下,多任务和并行处理可能是有利的。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题,但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反,上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。
虽然在上面论述中包含了若干具体实现细节,但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地,在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的公开范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述公开构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (5)
1.一种异常监控方法,其特征在于,包括:
获得监控数据;
确定所述监控数据对应的监控指标;
获取与所述监控指标对应的波形数据,其中,与所述监控指标对应的波形数据是预先基于历史监控数据生成的;
比较所述监控数据中的监控值和所述波形数据,以确定是否发生异常;
其中,生成与所述监控指标对应的波形数据,包括:
获得历史监控数据;
基于所述历史监控数据生成与所述监控指标对应的原始时序数据,其中,所述监控指标对应的原始时序数据为,与所述监控指标对应的历史监控数据按照生成时间的先后顺序排列得到的序列,并且所述原始时序数据中的历史监控数据为预定的格式类型;
对所述原始时序数据进行归一化处理,得到归一化时序数据;
对所述原始时序数据进行标准化处理,得到标准化时序数据;
根据所述归一化时序数据和所述标准化时序数据确定所述原始时序数据的类型,其中,预设的类型包括:平稳周期型、非平稳周期型、非周期平稳型和非周期非平稳型;
将所述原始时序数据作为目标预测模型的输入,得到所述目标预测模型输出的波形数据,其中,不同的类型对应于不同的预测模型,所述目标预测模型为与所述原始时序数据的类型对应的预测模型;
其中,所述基于所述历史监控数据生成与所述监控指标对应的原始时序数据,包括:
将所述历史监控数据转换为预设的格式类型;
从转换后的历史监控数据中获取与所述监控指标对应的历史监控数据;
对与所述监控指标对应的历史监控数据进行异常处理;
按照生成时间的先后顺序对与所述监控指标对应的历史监控数据进行排序,得到与所述监控指标对应的原始时序数据;
其中,根据所述归一化时序数据和所述标准化时序数据确定所述原始时序数据的类型,包括:
基于所述归一化时序数据确定局部绝对特征信息和局部相对特征信息;
基于所述标准化时序数据确定全局绝对特征信息和全局相对特征信息;
基于所述局部绝对特征信息、局部相对特征信息、全局绝对特征信息、全局相对特征信息确定所述原始时序数据的类型。
2.根据权利要求1所述的异常监控方法,其特征在于,
所述局部绝对特征信息包括:所述归一化时序数据的中位数α11、所述归一化时序数据的方差α21、所述归一化时序数据的偏度α31和所述归一化时序数据的峰度α41;
所述局部相对特征信息包括:所述归一化时序数据的均值比率α12、所述归一化时序数据的方差比率α22、所述归一化时序数据的偏度比率α32和所述归一化时序数据的峰度比率α42;
所述全局绝对特征信息包括:所述标准化时序数据的中位数β11、所述标准化时序数据的方差β21、所述标准化时序数据的偏度β31和所述标准化时序数据的峰度β41;
所述全局相对特征信息包括:所述标准化时序数据的均值比率β12、所述标准化时序数据的方差比率β22、所述标准化时序数据的偏度比率β32和所述标准化时序数据的峰度比率β42。
3.根据权利要求2所述的异常监控方法,其特征在于,所述基于所述原始时序数据的局部绝对特征信息、局部相对特征信息、全局绝对特征信息、全局相对特征信息确定所述原始时序数据的类型,包括:
按照Q=W(α1*α2+β1*β2)确定分类判别函数Q的值;其中,α1为所述归一化时序数据的中位数α11、所述归一化时序数据的方差α21、所述归一化时序数据的偏度α31和所述归一化时序数据的峰度α41构成的行向量,α2为所述归一化时序数据的均值比率α12、所述归一化时序数据的方差比率α22、所述归一化时序数据的偏度比率α32和所述归一化时序数据的峰度比率α42构成的列向量,β1为所述标准化时序数据的中位数β11、所述标准化时序数据的方差β21、所述标准化时序数据的偏度β31和所述标准化时序数据的峰度β41构成的行向量,β2为所述标准化时序数据的均值比率β12、所述标准化时序数据的方差比率β22、所述标准化时序数据的偏度比率β32和所述标准化时序数据的峰度比率β42构成的列向量,W为预设的权重参数矩阵;
比较所述分类判别函数Q的值与多个预设的类型对应的区间,将所述分类判别函数Q的取值所属的区间对应的类型确定为所述原始时序数据的类型;
其中,每个预设的类型对应于一个区间,且多个预设的类型对应的多个区间包含的取值没有重叠。
4.一种异常监控装置,其特征在于,包括:
监控数据获取单元,用于获得监控数据;
监控指标确定单元,用于确定所述监控数据对应的监控指标;
波形数据获取单元,用于获取与所述监控指标对应的波形数据,其中,与所述监控指标对应的波形数据是预先基于历史监控数据生成的;
比较单元,用于比较所述监控数据中的监控值和所述波形数据,以确定是否发生异常;
其中,还包括波形数据生成单元,所述波形数据生成单元包括:
历史监控数据获取子单元,用于获得历史监控数据;
原始时序数据生成子单元,用于基于所述历史监控数据生成与所述监控指标对应的原始时序数据,其中,所述监控指标对应的原始时序数据为,与所述监控指标对应的历史监控数据按照生成时间的先后顺序排列得到的序列,并且所述原始时序数据中的历史监控数据为预定的格式类型;
归一化子单元,用于对所述原始时序数据进行归一化处理,得到归一化时序数据;
标准化子单元,用于对所述原始时序数据进行标准化处理,得到标准化时序数据;
数据类型确定子单元,用于根据所述归一化时序数据和所述标准化时序数据确定所述原始时序数据的类型,其中,预设的类型包括:平稳周期型、非平稳周期型、非周期平稳型和非周期非平稳型;
波形数据预测子单元,用于将所述原始时序数据作为目标预测模型的输入,得到所述目标预测模型输出的波形数据,其中,不同的类型对应于不同的预测模型,所述目标预测模型为与所述原始时序数据的类型对应的预测模型;
其中,所述原始时序数据生成子单元包括:
格式转换模块,用于将所述历史监控数据转换为预设的格式类型;
指标历史监控数据获取模块,用于从转换后的历史监控数据中获取与所述监控指标对应的历史监控数据;
异常处理模块,用于对与所述监控指标对应的历史监控数据进行异常处理;
排序模块,用于按照生成时间的先后顺序对与所述监控指标对应的历史监控数据进行排序,得到与所述监控指标对应的原始时序数据;
其中,所述数据类型确定子单元包括:
局部特征信息获取模块,用于基于所述归一化时序数据确定局部绝对特征信息和局部相对特征信息;
全局特征信息获取模块,用于基于所述标准化时序数据确定全局绝对特征信息和全局相对特征信息;
类型判别模块,用于基于所述局部绝对特征信息、局部相对特征信息、全局绝对特征信息、全局相对特征信息确定所述原始时序数据的类型。
5.一种电子设备,其特征在于,包括处理器、存储器和通信接口;
所述处理器用于执行所述存储器中存储的程序;
所述存储器用于存储程序,所述程序至少用于:
获得监控数据;确定所述监控数据对应的监控指标;获取与所述监控指标对应的波形数据,其中,与所述监控指标对应的波形数据是预先基于历史监控数据生成的;比较所述监控数据中的监控值和所述波形数据,以确定是否发生异常;
其中,生成与所述监控指标对应的波形数据,包括:
获得历史监控数据;
基于所述历史监控数据生成与所述监控指标对应的原始时序数据,其中,所述监控指标对应的原始时序数据为,与所述监控指标对应的历史监控数据按照生成时间的先后顺序排列得到的序列,并且所述原始时序数据中的历史监控数据为预定的格式类型;
对所述原始时序数据进行归一化处理,得到归一化时序数据;
对所述原始时序数据进行标准化处理,得到标准化时序数据;
根据所述归一化时序数据和所述标准化时序数据确定所述原始时序数据的类型,其中,预设的类型包括:平稳周期型、非平稳周期型、非周期平稳型和非周期非平稳型;
将所述原始时序数据作为目标预测模型的输入,得到所述目标预测模型输出的波形数据,其中,不同的类型对应于不同的预测模型,所述目标预测模型为与所述原始时序数据的类型对应的预测模型;
其中,所述基于所述历史监控数据生成与所述监控指标对应的原始时序数据,包括:
将所述历史监控数据转换为预设的格式类型;
从转换后的历史监控数据中获取与所述监控指标对应的历史监控数据;
对与所述监控指标对应的历史监控数据进行异常处理;
按照生成时间的先后顺序对与所述监控指标对应的历史监控数据进行排序,得到与所述监控指标对应的原始时序数据;
其中,根据所述归一化时序数据和所述标准化时序数据确定所述原始时序数据的类型,包括:
基于所述归一化时序数据确定局部绝对特征信息和局部相对特征信息;
基于所述标准化时序数据确定全局绝对特征信息和全局相对特征信息;
基于所述局部绝对特征信息、局部相对特征信息、全局绝对特征信息、全局相对特征信息确定所述原始时序数据的类型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011069749.3A CN112199252B (zh) | 2020-09-30 | 2020-09-30 | 一种异常监控方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011069749.3A CN112199252B (zh) | 2020-09-30 | 2020-09-30 | 一种异常监控方法、装置及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112199252A CN112199252A (zh) | 2021-01-08 |
CN112199252B true CN112199252B (zh) | 2024-05-31 |
Family
ID=74013603
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011069749.3A Active CN112199252B (zh) | 2020-09-30 | 2020-09-30 | 一种异常监控方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112199252B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113778781B (zh) * | 2021-02-19 | 2023-09-29 | 北京京东振世信息技术有限公司 | 数据的监控的方法和装置 |
JP7278499B1 (ja) * | 2021-11-30 | 2023-05-19 | 三菱電機株式会社 | 学習装置、異常兆候検知装置、異常兆候検知システム、学習方法およびプログラム |
CN116777305B (zh) * | 2023-08-18 | 2023-11-10 | 河北思极科技有限公司 | 电力数据质量提升方法、装置、电子设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107766299A (zh) * | 2017-10-24 | 2018-03-06 | 携程旅游信息技术(上海)有限公司 | 数据指标异常的监控方法及其***、存储介质、电子设备 |
CN109815084A (zh) * | 2018-12-29 | 2019-05-28 | 北京城市网邻信息技术有限公司 | 异常识别方法、装置和电子设备及存储介质 |
CN111338878A (zh) * | 2020-02-21 | 2020-06-26 | 平安科技(深圳)有限公司 | 异常检测方法、装置、终端设备及存储介质 |
CN111611517A (zh) * | 2020-05-13 | 2020-09-01 | 咪咕文化科技有限公司 | 指标监控方法、装置、电子设备及存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9727049B2 (en) * | 2012-09-04 | 2017-08-08 | Taiwan Semiconductor Manufacturing Company, Ltd. | Qualitative fault detection and classification system for tool condition monitoring and associated methods |
-
2020
- 2020-09-30 CN CN202011069749.3A patent/CN112199252B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107766299A (zh) * | 2017-10-24 | 2018-03-06 | 携程旅游信息技术(上海)有限公司 | 数据指标异常的监控方法及其***、存储介质、电子设备 |
CN109815084A (zh) * | 2018-12-29 | 2019-05-28 | 北京城市网邻信息技术有限公司 | 异常识别方法、装置和电子设备及存储介质 |
CN111338878A (zh) * | 2020-02-21 | 2020-06-26 | 平安科技(深圳)有限公司 | 异常检测方法、装置、终端设备及存储介质 |
CN111611517A (zh) * | 2020-05-13 | 2020-09-01 | 咪咕文化科技有限公司 | 指标监控方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112199252A (zh) | 2021-01-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112199252B (zh) | 一种异常监控方法、装置及电子设备 | |
CN109255523B (zh) | 基于kks编码规则和大数据架构的分析指标计算平台 | |
CN110348622B (zh) | 一种基于机器学习的温度预测方法、***及电子设备 | |
CN111368890A (zh) | 故障检测方法及装置、信息物理融合*** | |
CN112615742A (zh) | 用于预警的方法、装置、设备以及存储介质 | |
AU2022204116A1 (en) | Verification method for electrical grid measurement data | |
CN114267178B (zh) | 一种车站的智能运营维护方法及装置 | |
US20210081501A1 (en) | System and method for automated insight curation and alerting | |
CN111294248A (zh) | 网元故障质检方法、装置、设备及介质 | |
US11429467B2 (en) | Method and system for prediction of correct discrete sensor data based on temporal uncertainty | |
CN112445583A (zh) | 任务管理方法、任务管理***、电子设备、存储介质 | |
CN110971488A (zh) | 一种数据处理方法、装置、服务器和存储介质 | |
CN110895495A (zh) | 人因失误分析方法、***、计算机设备及存储介质 | |
van Oosterom et al. | Optimal maintenance policies for a safety‐critical system and its deteriorating sensor | |
CN113420935A (zh) | 故障定位方法、装置、设备和介质 | |
WO2023224764A1 (en) | Multi-modality root cause localization for cloud computing systems | |
CN105446707B (zh) | 一种数据转换方法 | |
CN113329128B (zh) | 话务数据预测方法及装置、电子设备、存储介质 | |
CN110647070A (zh) | 一种用于超大规模数据中心的动力环境监控*** | |
CN114168409A (zh) | 一种业务***运行状态监控预警方法与*** | |
CN114358581A (zh) | 性能指标的异常阈值确定方法和装置、设备、存储介质 | |
CN116956174B (zh) | 用于进行冷头状态分类检测和寿命预测的分类模型和预测模型的生成方法 | |
CN113064812A (zh) | 一种项目开发过程质量缺陷预测方法、装置及介质 | |
CN115759236B (zh) | 模型训练方法、信息发送方法、装置、设备和介质 | |
Herget et al. | Infrastructure anomaly detection: A cloud-native architecture at Germany’s Federal Employment Agency |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |