CN116049752A - 时序数据异常检测方法、装置、设备及可读存储介质 - Google Patents
时序数据异常检测方法、装置、设备及可读存储介质 Download PDFInfo
- Publication number
- CN116049752A CN116049752A CN202310030407.8A CN202310030407A CN116049752A CN 116049752 A CN116049752 A CN 116049752A CN 202310030407 A CN202310030407 A CN 202310030407A CN 116049752 A CN116049752 A CN 116049752A
- Authority
- CN
- China
- Prior art keywords
- value
- sequence
- real
- time
- time sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Testing And Monitoring For Control Systems (AREA)
Abstract
本发明公开了一种时序数据异常检测方法、装置、设备及可读存储介质,其中,方法包括:通过获取实时序列值;根据所述实时序列值的序列类型对应的异常检测策略以及所述序列类型对应的预定义数据,对实时序列值进行检测。本发明能够根据实时序列值的序列类型,匹配对应的异常检测策略以及预定义数据,从而实现对时序数据的精准监测。
Description
技术领域
本发明涉及时序数据检测技术领域,尤其涉及一种时序数据异常检测方法、装置、设备及可读存储介质。
背景技术
时序数据实时异常检测通过分析对比时间序列数据与预测基线数据,发现序列异常状态,触发异常点告警,提示故障信息,监控和保障各项业务正常运行。
由于银行业务场景丰富,全依赖于规则配置实现异常检测,逻辑复杂、功能变更等运维成本高,参数配置、调优工作繁琐,离散、波动、不规律等复杂类型序列难配置有效规则进行异常监测和发现。
上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种时序数据异常检测方法、装置、设备及可读存储介质,旨在解决现有时序数据异常监测效果较差的技术问题。
为实现上述目的,本发明提供一种时序数据异常检测方法,所述时序数据异常检测方法包括以下步骤:
获取实时序列值;
根据所述实时序列值的序列类型对应的异常检测策略以及所述序列类型对应的预定义数据,对实时序列值进行检测。
进一步地,所述序列类型包括:连续值且上升序列,所述预定义数据包括:第一预设数据,所述根据所述实时序列值的序列类型对应的异常检测策略以及所述序列类型对应的预定义数据,对实时序列值进行检测的步骤包括:
当所述实时序列值的序列类型为连续值且上升序列时,获取第一预设数据,所述第一预设数据包括第一常量阈值、上升型异常宽松度倍数以及第一预测数值;
执行所述连续值且上升序列对应的异常检测策略,以确实所述实时序列值是否大于第一常量阈值以及大于所述第一预测数值与所述上升型异常宽松度倍数的乘积,若是,则生成连续值且上升序列对应的异常点告警信息。
进一步地,所述序列类型包括:连续值且下降序列,所述预定义数据包括:第二预设数据,所述根据所述实时序列值的序列类型对应的异常检测策略以及所述序列类型对应的预定义数据,对实时序列值进行检测的步骤包括:
当所述实时序列值的序列类型为连续值且下降序列时,获取第二预设数据,所述第二预设数据包括第二预测数值;
执行所述连续值且下降序列对应的异常检测策略;
所述执行所述连续值且下降序列对应的异常检测策略的步骤包括:
根据预定义的阈值公式以及第二预测数值,确定所述阈值公式对应的异常范围调控参数;
根据所述实时序列值以及所述第二预测数值,确定第一实际下降范围;
根据所述第一实际下降范围、异常范围调控参数,确定所述实时序列值是否存在下降异常;
若是,则根据动态阈值模型以及实时序列值,生成连续值且下降序列对应的告警信息。
进一步地,所述根据动态阈值模型以及实时序列值,生成连续值且下降序列对应的告警信息的步骤包括:
根据动态阈值模型、第二预测数值以及预设的各个分级比例系数,确定各个分级比例系数对应的实时序列值的统计区间长度、异常点数量阈值以及下降百分比阈值,以获得告警分级的比例系数集合;
通过遍历比例系数集合,确定异常点个数,并根据所述异常点个数以及所述比例系数集合,确定所述实时序列值是否达到异常点告警标准,若达到,则生成连续值且下降序列对应的告警信息。
进一步地,所述序列类型包括:离散型序列,所述预定义数据包括:第三预设数据,所述根据所述实时序列值的序列类型对应的异常检测策略以及所述序列类型对应的预定义数据,对实时序列值进行检测的步骤包括:
当所述实时序列值的序列类型为离散型序列时,获取第三预设数据,所述第三预设数据包括零值区间、第三预测数值、零值区间常量数据,所述零值区间为实时序列值在预定时刻向前包含的连续零值区域的长度;
执行所述离散型序列对应的异常检测策略;
所述执行所述离散型序列对应的异常检测策略的步骤包括:
根据所述第三预测数值以及预设的动态阈值函数,确定零值区间异常阈值;
当所述零值区间大于所述零值区间异常阈值,且所述零值区间小于所述零值区间常量数据,则生成离散型序列对应的告警信息。
进一步地,所述序列类型包括:快速下降的平稳型序列,所述预定义数据包括:第四预设数据,所述根据所述实时序列值的序列类型对应的异常检测策略以及所述序列类型对应的预定义数据,对实时序列值进行检测的步骤包括:
当所述实时序列值的序列类型为快速下降的平稳型序列时,获取第四预设数据,所述第四预设数据包括第四预测值、第一变化速率预测值、第一变化速率实时值、第一变化速率邻域值;
根据所述实时序列值以及所述第四预测数值,确定第二实际下降范围,并根据第四预测值以及下降范围异常阈值函数,确定下降范围异常阈值;
当所述第二实际下降范围大于所述下降范围异常阈值,执行所述快速下降的平稳型序列对应的异常检测策略;
所述执行所述快速下降的平稳型序列对应的异常检测策略的步骤包括:
确定第一变化速率预测值与预设的第一加权参数的乘积,以获得第一计算结果;
确定第一变化速率邻域值与预设的第二加权参数的乘积,以获得第二计算结果;
确定所述变化速率实时值是否大于第一计算结果、第二计算结果以及预设的第三加权参数;
当大于时,生成快速下降的平稳型序列对应的告警信息。
进一步地,所述序列类型包括:快速下降的平稳型序列,所述预定义数据包括:第五预设数据,所述根据所述实时序列值的序列类型对应的异常检测策略以及所述序列类型对应的预定义数据,对实时序列值进行检测的步骤包括:
当所述实时序列值的序列类型为快速下降的平稳型序列时,获取第五预设数据,第五预设数据包括第五预测值、第二变化速率预测值、第二变化速率实时值、第二变化速率邻域值、上升型异常宽松度倍数、第二常量阈值;
若所述实时序列值大于第五预测值与所述上升型异常宽松度倍数的乘积,且所述实时序列值大于第二常量阈值,则执行所述快速上升的平稳型序列对应的异常检测策略;
所述执行所述快速上升的平稳型序列对应的异常检测策略的步骤包括:
确定所述第二变化速率预测值与预设的第四加权参数的乘积,以获得第三计算结果;
确定所述第二变化速率邻域值与预设的第五加权参数的乘积,以获得第四计算结果;
确定所述变化速率实时值是否大于第三计算结果、第四计算结果以及预设的第六加权参数;
当大于时,生成快速上升的平稳型序列对应的告警信息。
此外,为实现上述目的,本发明还提供一种时序数据异常检测装置,所述时序数据异常检测装置包括:
获取模块,用于获取实时序列值;
检测模块,用于根据所述实时序列值的序列类型对应的异常检测策略以及所述序列类型对应的预定义数据,对实时序列值进行检测。
此外,为实现上述目的,本发明还提供一种时序数据异常检测设备,所述时序数据异常检测设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的时序数据异常检测程序,所述时序数据异常检测程序被所述处理器执行时实现前述的时序数据异常检测方法的步骤。
本发明通过通过获取实时序列值;根据所述实时序列值的序列类型对应的异常检测策略以及所述序列类型对应的预定义数据,对实时序列值进行检测。本发明能够根据实时序列值的序列类型,匹配对应的异常检测策略以及预定义数据,从而实现对时序数据的精准监测。
附图说明
图1是本发明实施例方案涉及的硬件运行环境中时序数据异常检测设备的结构示意图;
图2为本发明时序数据异常检测方法第一实施例的流程示意图;
图3为本发明时序数据异常检测装置一实施例的功能模块示意图;
图4为本发明时序数据异常检测装置一实施例的平稳型序列示意图;
图5为本发明时序数据异常检测装置一实施例的波动型序列示意图;
图6为本发明时序数据异常检测装置一实施例的小微量级型序列示意图;
图7为本发明时序数据异常检测装置一实施例的不规则型序列示意图;
图8为本发明时序数据异常检测装置一实施例的不规则型序列又一示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
如图1所示,图1是本发明实施例方案涉及的硬件运行环境中时序数据异常检测设备的结构示意图。
本发明实施例时序数据异常检测设备可以是PC,也可以是智能手机、平板电脑、电子书阅读器、MP3(Moving Picture Experts Group Audio Layer III,动态影像专家压缩标准音频层面3)播放器、MP4(Moving Picture Experts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、便携计算机等具有显示功能的可移动式终端设备。
如图1所示,该时序数据异常检测设备可以包括:处理器1001,例如CPU,网络接口1004,用户接口1003,存储器1005,通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地,时序数据异常检测设备还可以包括摄像头、RF(Radio Frequency,射频)电路,传感器、音频电路、WiFi模块等等。其中,传感器比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示屏的亮度,接近传感器可在时序数据异常检测设备移动到耳边时,关闭显示屏和/或背光。作为运动传感器的一种,重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别时序数据异常检测设备姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;当然,时序数据异常检测设备还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
本领域技术人员可以理解,图1中示出的终端结构并不构成对终端的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种计算机存储介质的存储器1005中可以包括操作***、网络通信模块、用户接口模块以及时序数据异常检测程序。
在图1所示的终端中,网络接口1004主要用于连接后台服务器,与后台服务器进行数据通信;用户接口1003主要用于连接客户端(用户端),与客户端进行数据通信;而处理器1001可以用于调用存储器1005中存储的时序数据异常检测程序。
在本实施例中,时序数据异常检测设备包括:存储器1005、处理器1001及存储在所述存储器1005上并可在所述处理器1001上运行的时序数据异常检测程序,其中,处理器1001调用存储器1005中存储的时序数据异常检测程序时,并执行以下各个实施例中时序数据异常检测方法的步骤。
本发明还提供一种时序数据异常检测方法,参照图2,图2为本发明方法第一实施例的流程示意图。
在本实施例中,该时序数据异常检测方法包括以下步骤:
步骤S101,获取实时序列值;
在本实施例中,首先,获取实时序列值,实时序列值可以是银行业务场景中复杂的时间序列。
步骤S102,根据所述序列类型对应的预定义数据、所述实时序列值的序列类型对应的异常检测策略,对实时序列值进行检测。
在本实施例中,首先,对实时序列值进行分类,如,将实时序列值划分为平稳型、波动型、小微量级型以及不规则型等特征序列,其中,平稳型特征序列如图4所示,波动型特征序列如图5所示,小微量级型特征序列如图6所示,不规则型特征序列如图7以及图8所示。
按序列特征路由适配到对应的异常检测策略,并获取与序列类型对应的预定义数据,通过预定义数据以及异常检测策略,对实时序列值进行检测,以分析实时数据点是否存在异常状态并输出告警点信息。
进一步地,一实施例中,步骤S102包括:
步骤a,当所述实时序列值的序列类型为连续值且上升序列时,获取第一预设数据,所述第一预设数据包括第一常量阈值、上升型异常宽松度倍数以及第一预测数值;
步骤b,执行所述连续值且上升序列对应的异常检测策略,以确实所述实时序列值是否大于第一常量阈值以及大于所述第一预测数值与所述上升型异常宽松度倍数的乘积,若是,则生成连续值且上升序列对应的异常点告警信息。
在本实施例中,首先,确定实时序列值的序列类型,当实时序列值的序列类型为连续值且上升序列时,其中,连续值且上升序列可以是平稳型、波动型的序列。
而后,获取第一预设数据,第一预设数据包括第一常量阈值、上升型异常宽松度倍数以及第一预测数值,其中,第一常量阈值可以取平稳型或波动型序列集合的统计均值,或根据业务特点取经验值,上升型异常宽松度倍数可以是实时序列值超出第一预测数值的异常范围调控参数,第一预测数值是连续值且上升序列对应的预测基线数值。
接着,执行连续值且上升序列对应的异常检测策略,确实实时序列值是否大于第一常量阈值,并确实实时序列值是否大于第一预测数值与上升型异常宽松度倍数的乘积,若实时序列值大于第一常量阈值,并且实时序列值大于第一预测数值与上升型异常宽松度倍数的乘积,则生成连续值且上升序列对应的异常点告警信息。
作为一示例,输入valuecur、valueref。若valuecur>thresup且valuecur>valueref×ωup成立,则该点存在异常情形,生成异常点告警,其中,valuecur为实时序列数值,valueref为第一预测数值即是连续值且上升序列对应的预测基线数值;thresup为常量阈值,一般取平稳型或波动型序列集合的统计均值,或根据业务特点取经验值;ωup为上升型异常宽松度倍数,即实时序列值超出第一预测数值的异常范围调控参数,经验范围ωup∈[2.5,5]。
进一步地,一实施例中,步骤S102还包括:
步骤c,当所述实时序列值的序列类型为连续值且下降序列时,获取第二预设数据,所述第二预设数据包括第二预测数值;
步骤d,执行所述连续值且下降序列对应的异常检测策略;
所述执行所述连续值且下降序列对应的异常检测策略的步骤包括:
步骤d1,根据预定义的阈值公式以及第二预测数值,确定所述阈值公式对应的异常范围调控参数;
步骤d2,根据所述实时序列值以及所述第二预测数值,确定第一实际下降范围;
步骤d3,根据所述第一实际下降范围、异常范围调控参数,确定所述实时序列值是否存在下降异常;
步骤d4,若是,则根据动态阈值模型以及实时序列值,生成连续值且下降序列对应的告警信息。
在本实施例中,首先,确定实时序列值的序列类型,当实时序列值的序列类型为连续值且下降序列时,获取第二预设数据,连续值且下降序列可以是平稳型、波动型等连续值序列,第二预设数据包括实时序列值的序列类型为连续值且下降序列时对应的第二预测数值。
接着,执行连续值且下降序列对应的异常检测策略,具体地,根据预定义的阈值公式以及第二预测数值,确定阈值公式对应的异常范围调控参数,通过计算实时序列值以及第二预测数值,得到第一实际下降范围,如,第一实际下降范围可以是数值下降的百分比,也可以是数值下降的具体数值。而后,通过对比第一实际下降范围、异常范围调控参数的大小关系,当第一实际下降范围大于异常范围调控参数,确定实时序列值存在下降异常。
当实时序列值存在下降异常的时候,则根据动态阈值模型以及实时序列值,生成连续值且下降序列对应的告警信息。
作为一示例,输入valuecur、valueref、valueref为实时序列值的序列类型为连续值且下降序列时对应的第二预测数值。根据自定义动态阈值公式计算thresp,即下降百分比异常范围调控参数。计算公式如下:
thresp=min(0.35×e-0.012x+0.3×e-0.016x+0.1×-0.02x+0.05×e-0.008x+0.2,0.9)(公式1),其中x=valueref。对比实际下降百分比desp与thresp值,若满足desp≥thresp,则进入异常点告警分析流程;否则,不存在下降异常。desp计算方法如下:desp=(valueref-valuecur)/valueref。
进一步地,一实施例中,步骤d4还包括:
步骤d41,根据动态阈值模型、第二预测数值以及预设的各个分级比例系数,确定各个分级比例系数对应的实时序列值的统计区间长度、异常点数量阈值以及下降百分比阈值,以获得告警分级的比例系数集合;
步骤d42,通过遍历比例系数集合,确定异常点个数,并根据所述异常点个数以及所述比例系数集合,确定所述实时序列值是否达到异常点告警标准,若达到,则生成连续值且下降序列对应的告警信息。
在本实施例中,通过动态阈值模型、第二预测数值以及预设的各个分级比例系数,得到各个分级比例系数对应的实时序列值的统计区间长度、异常点数量阈值以及下降百分比阈值,以获得告警分级的比例比例。
具体地,根据动态阈值模型计算生成告警分级的比例系数集合G={(M1,N1,thresp1),...,(Mi,Ni,threspi)},具体算法如下:
PCTS={pcts1,...,pctsi,...} (公式3)
pctsi=1-(i*δ-1)2,i=0,1,...,|1/δ| (公式4)
Mmin=70×e-0.12x+1 (公式5)
Mmax=40×e-0.013x+50×e-0.1x+5 (公式6)
Mi=Mmin+(Mmax-Mmin)×pctsi (公式7)
其中,pctsi为分级比例系数,δ=0.02为系数基数差,M表示异常点统计区间长度,N表示达到告警条件的异常点数量阈值。threspi为不同级别参数条件下,触发告警需满足的下降百分比阈值。
接着,通过遍历比例系数集合,确定异常点个数,并根据异常点个数以及所述比例系数集合,确定实时序列值是否达到异常点告警标准,若达到,则生成连续值且下降序列对应的告警信息。
具体地,遍历j=0,1,...,Mmax,在第j层循环内迭代i=0,1,...,|1/δ|,分析当前异常程度是否达到告警条件:outlieri=outlieri+1,if desp>thresi(公式10)根据(公式8),若j≤Mi与outlieri≥Ni同时成立,则达到异常点告警标准,触发告警输出异常点告警信息。
进一步地,一实施例中,步骤S102还包括:
步骤e,当所述实时序列值的序列类型为离散型序列时,获取第三预设数据,所述第三预设数据包括零值区间、第三预测数值、零值区间常量数据,所述零值区间为实时序列值在预定时刻向前包含的连续零值区域的长度;
步骤f,执行所述离散型序列对应的异常检测策略;
所述执行所述离散型序列对应的异常检测策略的步骤包括:
步骤f1,根据所述第三预测数值以及预设的动态阈值函数,确定零值区间异常阈值;
步骤f2,当所述零值区间大于所述零值区间异常阈值,且所述零值区间小于所述零值区间常量数据,则生成离散型序列对应的告警信息。
在本实施例中,当实时序列值的序列类型为离散型序列时,获取第三预设数据,第三预设数据包括零值区间、实时序列值的序列类型为离散型序列时对应的第三预测数值、零值区间常量数据,零值区间为实时序列值在预定时刻向前包含的连续零值区域的长度,零值区间用来衡量和分析离散型序列的业务中断、故障等下降型表现的异常状态,零值区间常量数据用于过滤长期无数据的序列。
接着,根据第三预测数值以及预设的动态阈值函数,确定零值区间异常阈值,当零值区间大于零值区间异常阈值,且零值区间小于所述零值区间常量数据,则生成离散型序列对应的告警信息。
作为一示例,输入zerocur、zeroref,分别为当前时刻的零值区间实际值与第三预测值。根据动态阈值函数计算当前零值区间异常阈值thresz,计算方法如下:thresz=20×e-0.3x+3×e-0.003x+5(公式11)其中,x=zeroref。判断当前零值区间状态,若zerocur>thresz且zerocur<zerolong成立,则达到异常告警条件,输出异常点信息。zerolong=50400。
进一步地,一实施例中,步骤S102包括:
步骤g,当所述实时序列值的序列类型为快速下降的平稳型序列时,获取第四预设数据,所述第四预设数据包括第四预测值、第一变化速率预测值、第一变化速率实时值、第一变化速率邻域值;
步骤h,根据所述实时序列值以及所述第四预测数值,确定第二实际下降范围,并根据第四预测值以及下降范围异常阈值函数,确定下降范围异常阈值;
步骤i,当所述第二实际下降范围大于所述下降范围异常阈值,执行所述快速下降的平稳型序列对应的异常检测策略;
所述执行所述快速下降的平稳型序列对应的异常检测策略的步骤包括:
步骤i1,确定第一变化速率预测值与预设的第一加权参数的乘积,以获得第一计算结果;
步骤i2,确定第一变化速率邻域值与预设的第二加权参数的乘积,以获得第二计算结果;
步骤i3,确定所述变化速率实时值是否大于第一计算结果、第二计算结果以及预设的第三加权参数;
步骤i4,当大于时,生成快速下降的平稳型序列对应的告警信息。
在本实施例中,首先,当实时序列值的序列类型为快速下降的平稳型序列时,获取第四预设数据,第四预设数据包括实时序列值的序列类型为快速下降的平稳型序列时对应的第四预测值、第一变化速率预测值、第一变化速率实时值、第一变化速率邻域值。具体地,第一变化速率实时值ratiocur计算方法如下:ratiocur=(valuemax-valuemin)/|indexmax-indexmin|(公式12),其中,取当前时刻向前5min窗口内数据计算变化速率值,valuemax为窗口内序列最大值,valuemin为窗口内序列最小值,indexmax和indexmin分别为最大值和最小值对应的下标,且indexmax<indexmin;ratiorecent为近一周邻域内,当前时刻变化速率均值;ratioref为变化速率预测值,即预测模型分析历史一段时期该时刻变化速率所输出的基线值。
而后,根据实时序列值以及第四预测数值,确定第二实际下降范围,并根据第四预测值以及下降范围异常阈值函数,确定下降范围异常阈值,当第二实际下降范围大于下降范围异常阈值,执行所述快速下降的平稳型序列对应的异常检测策略,具体地,计算实际下降百分比desp以及下降百分比异常阈值thresp,desp即为第二实际下降范围,thresp即为降百分比异常阈值。thresp计算方法如下:threspi=min(0.5×e-0.013x+0.5,0.99)(公式13),其中,x=valueref。若desp≥thresp,执行所述快速下降的平稳型序列对应的异常检测策略。
接着,确定第一变化速率预测值与预设的第一加权参数的乘积,以获得第一计算结果;确定第一变化速率邻域值与预设的第二加权参数的乘积,以获得第二计算结果;确定变化速率实时值是否大于第一计算结果、第二计算结果以及预设的第三加权参数;当大于时,生成快速下降的平稳型序列对应的告警信息。作为一示例,对比速率特征:ratiocur≥ratioref×ω1,ratiocur≥ratiorecent×ω2,ratiocur≥ω3。其中,ω1,ω2∈[2,10]、ω3=1.5,即衡量变化速率是否达到标准的加权参数。
进一步地,一实施例中,步骤S102还包括:
步骤j,若所述实时序列值大于第五预测值与所述上升型异常宽松度倍数的乘积,且所述实时序列值大于第二常量阈值,则执行所述快速上升的平稳型序列对应的异常检测策略;
所述执行所述快速上升的平稳型序列对应的异常检测策略的步骤包括:
步骤j1,确定所述第二变化速率预测值与预设的第四加权参数的乘积,以获得第三计算结果;
步骤j2,确定所述第二变化速率邻域值与预设的第五加权参数的乘积,以获得第四计算结果;
步骤j3,确定所述变化速率实时值是否大于第三计算结果、第四计算结果以及预设的第六加权参数;
步骤j4,当大于时,生成快速上升的平稳型序列对应的告警信息。
在本实施例中,当实时序列值的序列类型为快速下降的平稳型序列时,获取第五预设数据,第五预设数据包括快速下降的平稳型序列对应的第五预测值、第二变化速率预测值、第二变化速率实时值、第二变化速率邻域值、上升型异常宽松度倍数、第二常量阈值,其中,第二变化速率实时值与第一变化速率实时值的获得方式类似,在此不再赘述。若所述实时序列值大于第五预测值与上升型异常宽松度倍数的乘积,且实时序列值大于第二常量阈值,则执行快速上升的平稳型序列对应的异常检测策略,具体地,输入valuecur、valueref、ratioref、ratiocur、ratiorecent,分别为序列实时值、预测值、变化速率预测值、变化速率实时值、变化速率邻域值。其中变化速率ratiocur计算方法参照公式12。若valuecur>thresup且valuecur>valueref×ωup成立,则进入告警分析流程。thresup为常量阈值,一般取波动型序列集合的统计均值,或根据业务特点取经验值;ωup为上升型异常宽松度倍数,即实时值超出预测值的异常范围调控参数,经验范围ωup∈[2,10]。
接着,确定第二变化速率预测值与预设的第四加权参数的乘积,以获得第三计算结果,确定第二变化速率邻域值与预设的第五加权参数的乘积,以获得第四计算结果,确定变化速率实时值是否大于第三计算结果、第四计算结果以及预设的第六加权参数,当均大于时,生成快速上升的平稳型序列对应的告警信息。具体地,对比速率特征:ratiocur≥ratioref×ω1,ratiocur≥ratiorecent×ω2,ratiocur≥ω3。其中,ω1,ω2∈[2,10]、ω3=1.5,即衡量变化速率是否达到标准的加权参数。条件同时成立,则达到异常点告警标准,输出异常点信息。
本实施例提出的时序数据异常检测方法,通过获取实时序列值,并根据所述实时序列值的序列类型对应的异常检测策略以及所述序列类型对应的预定义数据,对实时序列值进行检测,能够根据实时序列值的序列类型,匹配对应的异常检测策略以及预定义数据,从而实现对时序数据的精准监测。
本发明还提供一种时序数据异常检测装置,参照图3,所述时序数据异常检测装置包括:
获取模块10,用于:获取实时序列值;
检测模块20,用于:根据所述实时序列值的序列类型对应的异常检测策略以及所述序列类型对应的预定义数据,对实时序列值进行检测。
进一步地,检测模块20,还用于:
当所述实时序列值的序列类型为连续值且上升序列时,获取第一预设数据,所述第一预设数据包括第一常量阈值、上升型异常宽松度倍数以及第一预测数值;
执行所述连续值且上升序列对应的异常检测策略,以确实所述实时序列值是否大于第一常量阈值以及大于所述第一预测数值与所述上升型异常宽松度倍数的乘积,若是,则生成连续值且上升序列对应的异常点告警信息。
进一步地,检测模块20,还用于:
当所述实时序列值的序列类型为连续值且下降序列时,获取第二预设数据,所述第二预设数据包括第二预测数值;
执行所述连续值且下降序列对应的异常检测策略;
所述执行所述连续值且下降序列对应的异常检测策略的步骤包括:
根据预定义的阈值公式以及第二预测数值,确定所述阈值公式对应的异常范围调控参数;
根据所述实时序列值以及所述第二预测数值,确定第一实际下降范围;
根据所述第一实际下降范围、异常范围调控参数,确定所述实时序列值是否存在下降异常;
若是,则根据动态阈值模型以及实时序列值,生成连续值且下降序列对应的告警信息。
进一步地,检测模块20,还用于:
根据动态阈值模型、第二预测数值以及预设的各个分级比例系数,确定各个分级比例系数对应的实时序列值的统计区间长度、异常点数量阈值以及下降百分比阈值,以获得告警分级的比例系数集合;
通过遍历比例系数集合,确定异常点个数,并根据所述异常点个数以及所述比例系数集合,确定所述实时序列值是否达到异常点告警标准,若达到,则生成连续值且下降序列对应的告警信息。
进一步地,检测模块20,还用于:
当所述实时序列值的序列类型为离散型序列时,获取第三预设数据,所述第三预设数据包括零值区间、第三预测数值、零值区间常量数据,所述零值区间为实时序列值在预定时刻向前包含的连续零值区域的长度;
执行所述离散型序列对应的异常检测策略;
所述执行所述离散型序列对应的异常检测策略的步骤包括:
根据所述第三预测数值以及预设的动态阈值函数,确定零值区间异常阈值;
当所述零值区间大于所述零值区间异常阈值,且所述零值区间小于所述零值区间常量数据,则生成离散型序列对应的告警信息。
进一步地,检测模块20,还用于:
当所述实时序列值的序列类型为快速下降的平稳型序列时,获取第四预设数据,所述第四预设数据包括第四预测值、第一变化速率预测值、第一变化速率实时值、第一变化速率邻域值;
根据所述实时序列值以及所述第四预测数值,确定第二实际下降范围,并根据第四预测值以及下降范围异常阈值函数,确定下降范围异常阈值;
当所述第二实际下降范围大于所述下降范围异常阈值,执行所述快速下降的平稳型序列对应的异常检测策略;
所述执行所述快速下降的平稳型序列对应的异常检测策略的步骤包括:
确定第一变化速率预测值与预设的第一加权参数的乘积,以获得第一计算结果;
确定第一变化速率邻域值与预设的第二加权参数的乘积,以获得第二计算结果;
确定所述变化速率实时值是否大于第一计算结果、第二计算结果以及预设的第三加权参数;
当大于时,生成快速下降的平稳型序列对应的告警信息。
进一步地,检测模块20,还用于:
当所述实时序列值的序列类型为快速下降的平稳型序列时,获取第五预设数据,第五预设数据包括第五预测值、第二变化速率预测值、第二变化速率实时值、第二变化速率邻域值、上升型异常宽松度倍数、第二常量阈值;
若所述实时序列值大于第五预测值与所述上升型异常宽松度倍数的乘积,且所述实时序列值大于第二常量阈值,则执行所述快速上升的平稳型序列对应的异常检测策略;
所述执行所述快速上升的平稳型序列对应的异常检测策略的步骤包括:
确定所述第二变化速率预测值与预设的第四加权参数的乘积,以获得第三计算结果;
确定所述第二变化速率邻域值与预设的第五加权参数的乘积,以获得第四计算结果;
确定所述变化速率实时值是否大于第三计算结果、第四计算结果以及预设的第六加权参数;
当大于时,生成快速上升的平稳型序列对应的告警信息。
上述各程序单元所执行的方法可参照本发明时序数据异常检测方法各个实施例,此处不再赘述。
此外,本发明实施例还提出一种时序数据异常检测设备,该时序数据异常检测设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的时序数据异常检测程序,所述时序数据异常检测程序被所述处理器执行时实现如上所述的时序数据异常检测方法的步骤。
此外,本发明实施例还提出一种可读存储介质,所述可读存储介质上存储有时序数据异常检测程序,所述时序数据异常检测程序被处理器执行时实现如上所述的时序数据异常检测方法的步骤。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者***不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者***所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者***中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种时序数据异常检测方法,其特征在于,所述时序数据异常检测方法包括以下步骤:
获取实时序列值;
根据所述实时序列值的序列类型对应的异常检测策略以及所述序列类型对应的预定义数据,对实时序列值进行检测。
2.如权利要求1所述的时序数据异常检测方法,其特征在于,所述序列类型包括:连续值且上升序列,所述预定义数据包括:第一预设数据,所述根据所述实时序列值的序列类型对应的异常检测策略以及所述序列类型对应的预定义数据,对实时序列值进行检测的步骤包括:
当所述实时序列值的序列类型为连续值且上升序列时,获取第一预设数据,所述第一预设数据包括第一常量阈值、上升型异常宽松度倍数以及第一预测数值;
执行所述连续值且上升序列对应的异常检测策略,以确实所述实时序列值是否大于第一常量阈值以及大于所述第一预测数值与所述上升型异常宽松度倍数的乘积,若是,则生成连续值且上升序列对应的异常点告警信息。
3.如权利要求1所述的时序数据异常检测方法,其特征在于,所述序列类型包括:连续值且下降序列,所述预定义数据包括:第二预设数据,所述根据所述实时序列值的序列类型对应的异常检测策略以及所述序列类型对应的预定义数据,对实时序列值进行检测的步骤包括:
当所述实时序列值的序列类型为连续值且下降序列时,获取第二预设数据,所述第二预设数据包括第二预测数值;
执行所述连续值且下降序列对应的异常检测策略;
所述执行所述连续值且下降序列对应的异常检测策略的步骤包括:
根据预定义的阈值公式以及第二预测数值,确定所述阈值公式对应的异常范围调控参数;
根据所述实时序列值以及所述第二预测数值,确定第一实际下降范围;
根据所述第一实际下降范围、异常范围调控参数,确定所述实时序列值是否存在下降异常;
若是,则根据动态阈值模型以及实时序列值,生成连续值且下降序列对应的告警信息。
4.如权利要求3所述的时序数据异常检测方法,其特征在于,所述根据动态阈值模型以及实时序列值,生成连续值且下降序列对应的告警信息的步骤包括:
根据动态阈值模型、第二预测数值以及预设的各个分级比例系数,确定各个分级比例系数对应的实时序列值的统计区间长度、异常点数量阈值以及下降百分比阈值,以获得告警分级的比例系数集合;
通过遍历比例系数集合,确定异常点个数,并根据所述异常点个数以及所述比例系数集合,确定所述实时序列值是否达到异常点告警标准,若达到,则生成连续值且下降序列对应的告警信息。
5.如权利要求1所述的时序数据异常检测方法,其特征在于,所述序列类型包括:离散型序列,所述预定义数据包括:第三预设数据,所述根据所述实时序列值的序列类型对应的异常检测策略以及所述序列类型对应的预定义数据,对实时序列值进行检测的步骤包括:
当所述实时序列值的序列类型为离散型序列时,获取第三预设数据,所述第三预设数据包括零值区间、第三预测数值、零值区间常量数据,所述零值区间为实时序列值在预定时刻向前包含的连续零值区域的长度;
执行所述离散型序列对应的异常检测策略;
所述执行所述离散型序列对应的异常检测策略的步骤包括:
根据所述第三预测数值以及预设的动态阈值函数,确定零值区间异常阈值;
当所述零值区间大于所述零值区间异常阈值,且所述零值区间小于所述零值区间常量数据,则生成离散型序列对应的告警信息。
6.如权利要求1所述的时序数据异常检测方法,其特征在于,所述序列类型包括:快速下降的平稳型序列,所述预定义数据包括:第四预设数据,所述根据所述实时序列值的序列类型对应的异常检测策略以及所述序列类型对应的预定义数据,对实时序列值进行检测的步骤包括:
当所述实时序列值的序列类型为快速下降的平稳型序列时,获取第四预设数据,所述第四预设数据包括第四预测值、第一变化速率预测值、第一变化速率实时值、第一变化速率邻域值;
根据所述实时序列值以及所述第四预测数值,确定第二实际下降范围,并根据第四预测值以及下降范围异常阈值函数,确定下降范围异常阈值;
当所述第二实际下降范围大于所述下降范围异常阈值,执行所述快速下降的平稳型序列对应的异常检测策略;
所述执行所述快速下降的平稳型序列对应的异常检测策略的步骤包括:
确定第一变化速率预测值与预设的第一加权参数的乘积,以获得第一计算结果;
确定第一变化速率邻域值与预设的第二加权参数的乘积,以获得第二计算结果;
确定所述变化速率实时值是否大于第一计算结果、第二计算结果以及预设的第三加权参数;
当大于时,生成快速下降的平稳型序列对应的告警信息。
7.如权利要求1至6任一项所述的时序数据异常检测方法,其特征在于,所述序列类型包括:快速下降的平稳型序列,所述预定义数据包括:第五预设数据,所述根据所述实时序列值的序列类型对应的异常检测策略以及所述序列类型对应的预定义数据,对实时序列值进行检测的步骤包括:
当所述实时序列值的序列类型为快速下降的平稳型序列时,获取第五预设数据,第五预设数据包括第五预测值、第二变化速率预测值、第二变化速率实时值、第二变化速率邻域值、上升型异常宽松度倍数、第二常量阈值;
若所述实时序列值大于第五预测值与所述上升型异常宽松度倍数的乘积,且所述实时序列值大于第二常量阈值,则执行所述快速上升的平稳型序列对应的异常检测策略;
所述执行所述快速上升的平稳型序列对应的异常检测策略的步骤包括:
确定所述第二变化速率预测值与预设的第四加权参数的乘积,以获得第三计算结果;
确定所述第二变化速率邻域值与预设的第五加权参数的乘积,以获得第四计算结果;
确定所述变化速率实时值是否大于第三计算结果、第四计算结果以及预设的第六加权参数;
当大于时,生成快速上升的平稳型序列对应的告警信息。
8.一种时序数据异常检测装置,其特征在于,所述时序数据异常检测装置包括:
获取模块,用于获取实时序列值;
检测模块,用于根据所述实时序列值的序列类型对应的异常检测策略以及所述序列类型对应的预定义数据,对实时序列值进行检测。
9.一种时序数据异常检测设备,其特征在于,所述时序数据异常检测设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的时序数据异常检测程序,所述时序数据异常检测程序被所述处理器执行时实现如权利要求1至7中任一项所述的时序数据异常检测方法的步骤。
10.一种可读存储介质,其特征在于,所述可读存储介质上存储有时序数据异常检测程序,所述时序数据异常检测程序被处理器执行时实现如权利要求1至7中任一项所述的时序数据异常检测方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310030407.8A CN116049752A (zh) | 2023-01-04 | 2023-01-04 | 时序数据异常检测方法、装置、设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310030407.8A CN116049752A (zh) | 2023-01-04 | 2023-01-04 | 时序数据异常检测方法、装置、设备及可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116049752A true CN116049752A (zh) | 2023-05-02 |
Family
ID=86116478
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310030407.8A Pending CN116049752A (zh) | 2023-01-04 | 2023-01-04 | 时序数据异常检测方法、装置、设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116049752A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116593065A (zh) * | 2023-07-14 | 2023-08-15 | 青岛义龙包装机械有限公司 | 一种袋式包装机检测平台的数据分析方法 |
-
2023
- 2023-01-04 CN CN202310030407.8A patent/CN116049752A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116593065A (zh) * | 2023-07-14 | 2023-08-15 | 青岛义龙包装机械有限公司 | 一种袋式包装机检测平台的数据分析方法 |
CN116593065B (zh) * | 2023-07-14 | 2023-09-15 | 青岛义龙包装机械有限公司 | 一种袋式包装机检测平台的数据分析方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10969774B2 (en) | Computer system and method for monitoring the technical state of industrial process systems | |
US10408482B2 (en) | Managing environmental conditions | |
CN111726341B (zh) | 一种数据检测方法、装置、电子设备及存储介质 | |
US20140114609A1 (en) | Adaptive analysis of signals | |
CN116049752A (zh) | 时序数据异常检测方法、装置、设备及可读存储介质 | |
CN112050970B (zh) | 环境监测方法及装置 | |
CN112188531A (zh) | 异常检测方法、装置、电子设备及计算机存储介质 | |
US10267519B2 (en) | System and method for detecting precursors to control blowout in combustion systems | |
CN111210071A (zh) | 业务对象预测方法、装置、设备及可读存储介质 | |
CN111239515A (zh) | 电力设备载流故障预测方法及*** | |
CN116050930A (zh) | 监盘***、方法、存储介质及电子设备 | |
CN113596001B (zh) | DDoS攻击检测方法、装置、设备及计算机可读存储介质 | |
CN112256732B (zh) | 一种异常检测方法、装置、电子设备及存储介质 | |
US20160299966A1 (en) | System and Method for Creation and Detection of Process Fingerprints for Monitoring in a Process Plant | |
KR101969936B1 (ko) | 가스센서 집중관리 시스템 및 이의 동작방법 | |
KR101896157B1 (ko) | 통계적 공정 관리에 기반한 센서 제어 방법 | |
US20200311401A1 (en) | Analyzing apparatus, control method, and program | |
US20210172921A1 (en) | Self-tuning event detection | |
CN107945016B (zh) | 变量的取值升维方法、装置及计算机可读存储介质 | |
KR20190070728A (ko) | 시계열 데이터의 에러를 확인하는 방법 및 장치 | |
JP2008305229A (ja) | 需要予測方法および装置 | |
CN110596453B (zh) | 电磁感应涡流加热设备启动监控方法、装置和存储介质 | |
JP2018191217A (ja) | データ監視装置、データ監視方法及びデータ監視プログラム | |
JP2021103470A (ja) | 解析処理装置、解析処理方法、及び解析処理プログラム | |
CN113361811A (zh) | 运行状态预测方法、***、设备及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |