CN106960126A - 数据预警方法和设备 - Google Patents
数据预警方法和设备 Download PDFInfo
- Publication number
- CN106960126A CN106960126A CN201710192662.7A CN201710192662A CN106960126A CN 106960126 A CN106960126 A CN 106960126A CN 201710192662 A CN201710192662 A CN 201710192662A CN 106960126 A CN106960126 A CN 106960126A
- Authority
- CN
- China
- Prior art keywords
- data
- distribution
- waveform
- dividing value
- target data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Z—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS, NOT OTHERWISE PROVIDED FOR
- G16Z99/00—Subject matter not provided for in other main groups of this subclass
Landscapes
- Alarm Systems (AREA)
Abstract
提供了一种数据预警方法,所述方法包括:获取目标数据;检测所述目标数据在预设时长内是否符合预设波形或预设分布规律;在检测出所述目标数据在预设时长内符合预设波形或预设分布规律的情况下,判断所述目标数据的数据波形或数据分布是否属于第一预设界限内;在判断出所述目标数据的数据波形或数据分布不属于所述第一预设界限内的情况下,生成报警信息。
Description
技术领域
本发明涉及预警领域,更具体的,涉及一种数据预警方法和设备。
背景技术
在日常生活中,很多行业的大部分数据,在通常情况下都是具备一定的规律性的。反观这些数据规律的波动和变化,都可以反映一定实际情况的发生。例如,超市销售数据突然陡峭的上升或下降,可以反映出当地的经济和收入情况,网购、超市外市场的竞争、还有大节日如春节等实际情况等等。
然而,现有技术中并未对产生各种实际情况的数据加以研究,导致各种实际情况时有发生,层出不穷,人们无法及时对各种实际情况加以应对并制定解决策略,给人们的日常生活带来了极大的不便。
发明内容
本发明实施例提出了一种数据预警方法和设备,能够在数据本身波动或分布规律的基础上,实时的监测数据规律的变化,当目标数据规律的变化超过预设的界限时,及时向用户预警生成报警信息,帮助用户提前预知可能发生的各种情况。
根据本发明的一方面,提供了一种数据预警方法,所述方法包括:获取目标数据;检测所述目标数据在预设时长内是否符合预设波形或预设分布规律;在检测出所述目标数据在预设时长内符合预设波形或预设分布规律的情况下,判断所述目标数据的数据波形或数据分布是否属于第一预设界限内;在判断出所述目标数据的数据波形或数据分布不属于所述第一预设界限内的情况下,生成报警信息。
此外,根据本发明的一个实施例,在检测出所述目标数据在预设时长内符合预设波形或预设分布规律的情况下,所述方法包括:确定所述目标数据的数据波形或数据分布符合预设波形或预设分布规律的符合度;在确定出所述符合度高于预设符合度的情况下,检测所述目标数据的数据波形或数据分布是否符合所述预设波形或预设分布的应有规律,且判断所述目标数据的数据波形或数据分布是否在第一界值和第二界值之间,其中,所述第一预设界限具有第一界值和第二界值;在检测出所述目标数据的数据波形或数据分布不符合所述预设波形或预设分布的应有规律,或判断出所述数据的数据波形或数据分布不在所述第一界值和所述第二界值之间的情况下,生成所述报警信息。
此外,根据本发明的一个实施例,所述第一界值具有以所述第一界值和第三界值为边界的第一置信区间,所述第二界值具有以所述第二界值和第四界值为边界的第二置信区间,其中,所述第三界值相对于第一界值远离所述第一预设界限,所述第四界值相对于所述第二界值远离所述第一预设界限,在确定出所述符合度低于预设符合度的情况下,判断所述目标数据的数据波形或数据分布是否在所述第三界值和所述第四界值之间;在判断出所述目标数据的数据波形或数据分布不在所述第三界值和所述第四界值之间的情况下,生成所述报警信息。
此外,根据本发明的一个实施例,检测所述目标数据是否在预设时长内符合预设波形或预设分布规律还包括:在检测出所述目标数据在预设时长内不符合预设波形或预设分布规律的情况下,基于历史数据判断所述目标数据的斜率;在判断出所述目标数据的斜率不在预设斜率范围的情况下,基于所述斜率生成报警信息,其中,在所述斜率表征为增长时,生成对应于增长的报警信息,在所述斜率表征为下降时,生成对应于下降的报警信息。
此外,根据本发明的一个实施例,所述获取目标数据包括:获取原始数据;滤除所述原始数据内的噪声数据后得到中间数据;将所述中间数据属于第二预设界限内的数据作为目标数据,其中所述第二预设界限具有第五界值和第六界值。
此外,根据本发明的一个实施例,滤除所述原始数据内的噪声数据后得到中间数据包括:利用奇异值监测算法,检测所述原始数据内的噪声数据;将原始数据中的噪声数据剔除得到中间数据。
根据本发明的另一方面,还提供了一种数据预警设备,所述设备包括处理器和存储器,所述设备包括:存储器,用于存储指令;处理器,用于基于所述指令来执行如下步骤:获取目标数据;用于检测所述目标数据在预设时长内是否符合预设波形或预设分布规律;在检测出所述目标数据在预设时长内符合预设波形或预设分布规律的情况下,判断所述目标数据的数据波形或数据分布是否属于第一预设界限内;在判断出所述目标数据的数据波形或数据分布不属于所述第一预设界限内的情况下,生成报警信息。
此外,根据本发明的一个实施例,所述处理器在检测出所述目标数据在预设时长内符合预设波形或预设分布规律的情况下,所述处理器确定所述目标数据的数据波形或数据分布符合预设波形或预设分布规律的符合度;在确定出所述符合度高于预设符合度的情况下,检测所述目标数据的数据波形或数据分布是否符合所述预设波形或预设分布的应有规律,且判断所述目标数据的数据波形或数据分布是否在第一界值和第二界值之间,其中,所述第一预设界限具有第一界值和第二界值;在检测出所述目标数据的数据波形或数据分布不符合所述预设波形或预设分布的应有规律,或判断出所述数据的数据波形或数据分布不在所述第一界值和所述第二界值之间的情况下,生成所述报警信息。
此外,根据本发明的一个实施例,所述第一界值具有以所述第一界值和第三界值为边界的第一置信区间,所述第二界值具有以所述第二界值和第四界值为边界的第二置信区间,其中,所述第三界值相对于第一界值远离所述第一预设界限,所述第四界值相对于所述第二界值远离所述第一预设界限,在所述处理器确定出所述符合度低于预设符合度的情况下,判断所述目标数据的数据波形或数据分布是否在所述第三界值和所述第四界值之间;在判断出所述目标数据的数据波形或数据分布不在所述第三界值和所述第四界值之间的情况下,生成所述报警信息。
此外,根据本发明的一个实施例,所述设备还包括:处理器在检测出所述目标数据在预设时长内不符合预设波形或预设分布规律的情况下,基于历史数据判断所述目标数据的斜率;在判断出所述目标数据的斜率不在预设斜率范围的情况下,基于所述斜率生成报警信息,其中,在所述斜率表征为增长时,生成对应于增长的报警信息,在所述斜率表征为下降时,生成对应于下降的报警信息。
此外,根据本发明的一个实施例,所述处理器获取目标数据包括:获取原始数据;滤除所述原始数据内的噪声数据后得到中间数据;将所述中间数据属于第二预设界限内的数据作为目标数据,其中所述第二预设界限具有第五界值和第六界值。
此外,根据本发明的一个实施例,利用奇异值监测算法,检测所述原始数据内的噪声数据;将原始数据中的噪声数据剔除得到中间数据。
通过本发明上述实施例,可以对获取的目标数据,检测该目标数据在预设时长内是否符合预设波形或预设分布规律,在检测出所述目标数据在预设时长内符合预设波形或预设分布规律的情况下,进一步判断该目标数据的数据波形或数据分布是否属于第一预设界限内,若不属于所述第一预设界限内的情况下,生成报警信息。采用本发明,可以基于目标数据是否符合预设波形或预设分布规律,来实时监测目标数据规律的变化,当目标数据规律的变化超过预设的界限时,则及时向用户预警生成报警信息,帮助用户提前预知可能发生的各种情况。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例中所需要使用的附图作简单地介绍,显而易见地,下面所描述的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
在附图中:
图1是根据本发明实施例的一种应用环境示意图;
图2是根据本发明实施例的一种数据预警方法的流程图;
图3是根据本发明实施例的一种数据预警设备的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例,提供了一种数据预警的方法,该方法可以用于如图1所示的环境中,该环境可以包括硬件环境和网络环境。
在本实施例中,该方法可以应用于如图1所示的多个集群节点和终端构成的硬件环境中。如图1所示,该多个集群节点101中可以包括多个处理节点,该多个集群节点对外作为一个整体,用于处理从终端103发送过来的访问请求。具体地,多个集群节点101通过网络与终端103通过集群服务器105(或者称之为负载均衡服务器)进行连接,上述网络包括但不限于:广域网、城域网或局域网。
需要说明的是,上述的多个集群节点可以为服务器侧的集群,也可以是客户端侧的集群,本发明对此不做限定。
在本发明上述运行环境下,本发明提供了如图2所示的数据预警方法的流程图。需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。如图2所示,该方法可以包括如下步骤:
步骤S202,获取目标数据;
步骤S204,检测目标数据在预设时长内是否符合预设波形或预设分布规律;
步骤S206,在检测出目标数据在预设时长内符合预设波形或预设分布规律的情况下,判断目标数据的数据波形或数据分布是否属于第一预设界限内;
步骤S208,在判断出目标数据的数据波形或数据分布不属于第一预设界限内的情况下,生成报警信息。
通过本发明上述实施例,可以对获取的目标数据,检测该目标数据在预设时长内是否符合预设波形或预设分布规律,在检测出目标数据在预设时长内符合预设波形或预设分布规律的情况下,进一步判断该目标数据的数据波形或数据分布是否属于第一预设界限内,若不属于第一预设界限内的情况下,生成报警信息。采用本发明,可以基于目标数据是否符合预设波形或预设分布规律,来实时监测目标数据规律的变化,当目标数据规律的变化超过预设的界限时,则及时向用户预警生成报警信息,帮助用户提前预知可能发生的各种情况。
其中,上述获取目标数据可以是多个集群节点101接收终端103发送过来的数据,并从终端103发送过来的数据中获取目标数据。在获取目标数据之后,对目标数据进行检测及判断。上述获取目标数据,可以是实时的获取目标数据,进而可以是实时获取现阶段一定时长内的目标数据,该目标数据可以是模拟数据,比如声音、图像,也可以是数字数据,如符号、文字。上述目标数据可以是各行各业的任意数据。
在获取目标数据之后,检测该目标数据在预设时长内是否符合预设波形或预设分布规律。上述检测该目标数据在预设时长内是否符合预设波形或预设分布规律,可以对目标数据进行数据拟合,利用该目标数据拟合后的波形或分布规律来判断是否符合预设波形或预设分布规律。
例如,根据本发明的一个实施例,上述预设波形可以是预设的数据波形,上述数据波形与其数据类型相对应,若数据是由机械振动、电磁振动、温度变化、晶体点阵振动或者自旋数据,那么预设的波形可以是对应的机械波、电磁波、温度波、点阵波、自旋波等。
此外,根据本发明的一个实施例,上述预设分布规律可以是预设的数据分布规律,包括离散型数据分布规律,如二项分布,泊松分布,离散均匀分布,几何分布,超几何分布等,和连续型数据分布规律,如正态分布,t分布,F分布,卡方分布,指数分布,Gamma分布,Beta分布等。当然,上述预设波形或预设分布规律也可以人为按照目标数据的类型、特点进行个性化设置。
在检测出目标数据在预设时长内符合预设波形或预设分布规律的情况下,判断目标数据的数据波形或数据分布是否属于第一预设界限内,在判断出目标数据的数据波形或数据分布不属于第一预设界限内的情况下,生成报警信息。
也就是说,在检测出目标数据在预设时长内符合预设波形或预设分布规律的情况下,该目标数据其实就是一种随时间而变化的数据波形或者数据分布并且符合预设的波形或分布规律,进而判断该目标数据的数据波形或数据分布是否属于第一预设界限内,该第一预设界限具有确定的界值,可选的,可以人为的为目标数据的数据波形或数据分布设置界值,在判断出该目标数据的数据波形或数据分布不属于该第一预设界限内的情况下,生成报警信息。上述报警信息包括但不局限于:响铃报警信息、语音报警信息、振动报警信息、颜色报警信息、文字报警信息或其结合。
通过本发明上述实施例,可以在识别出目标数据本身波动规律或其他规律的基础上,实时监测目标数据规律的变化,并在目标数据的规律不在预设界限内的情况下,给出实时的预警,较好的帮助使用者提前预知可能发生的实际情况。
此外,根据本发明的一个实施例,在检测出目标数据在预设时长内符合预设波形或预设分布规律的情况下,方法还包括:确定目标数据的数据波形或数据分布符合预设波形或预设分布规律的符合度;在确定出符合度高于预设符合度的情况下,检测目标数据的数据波形或数据分布是否符合预设波形或预设分布的应有规律,且判断目标数据的数据波形或数据分布是否在第一界值和第二界值之间,其中,第一预设界限具有第一界值和第二界值;在检测出目标数据的数据波形或数据分布不符合预设波形或预设分布的应有规律,或判断出数据的数据波形或数据分布不在第一界值和第二界值之间的情况下,生成报警信息。
上述符合度可以人为设置,在检测出目标数据在预设时长内符合预设波形或预设分布规律的情况下,判断目标数据的数据波形或数据分布是强符合预设波形或预设分布规律,还是弱符合预设波形或预设分布规律,在确定出目标数据在预设时长的数据波形或数据分布的符合度高于预设符合度的情况下,认为目标数据的数据波形或数据分布是强符合预设波形或预设分布规律,在确定出目标数据在预设时长的数据波形或数据分布的符合度低于预设符合度的情况下,认为目标数据的数据波形或数据分布是弱符合预设波形或预设分布规律。
需要说明的是,上述在确定出目标数据的数据波形或数据分布符合预设波形或预设分布规律的符合度高于预设符合度的情况下,检测目标数据的数据波形或数据分布是否符合预设波形或预设分布的应有规律,该应有规律可以是符合度大于预设符合度的规律。
可选的,在确定出目标数据的数据波形或数据分布是强符合预设波形或预设分布规律的情况下,可以直接检测目标数据的数据波形或数据分布是否符合预设波形或预设分布的应有规律,且判断目标数据的数据波形或数据分布是否在第一预设界限的第一界值和第二界值之间,若检测出目标数据的数据波形或数据分布不符合预设波形或预设分布的应有规律,或判断出数据的数据波形或数据分布不在第一界值和第二界值之间的情况下,生成报警信息。
可选的,可以通过Kolmogorov-Smirnov test(柯尔莫哥罗夫-斯米尔诺夫检验)判定实时获取的现阶段的目标数据的分布波或分布规律是否符合预设波形或预设分布规律的应有规律,且在规定界值内。
此外,根据本发明的一个实施例,第一界值具有以第一界值和第三界值为边界的第一置信区间,第二界值具有以第二界值和第四界值为边界的第二置信区间,其中,第三界值相对于第一界值远离第一预设界限,第四界值相对于第二界值远离第一预设界限,在确定出符合度低于预设符合度的情况下,判断目标数据的数据波形或数据分布是否在第三界值和第四界值之间;在判断出目标数据的数据波形或数据分布不在第三界值和第四界值之间的情况下,生成报警信息。
可选的,在确定出目标数据的数据波形或数据分布是弱符合预设波形或预设分布规律的情况下,为第一预设界限的第一界值和第二界值设定上下界分布,从而判断现阶段的目标数据是否在该上下界分布范围内,若现阶段的目标数据的数据波形或数据分布不在该上下界分布范围内,则报警。
此外,根据本发明的一个实施例,检测目标数据是否在预设时长内符合预设波形或预设分布规律还包括:在检测出目标数据在预设时长内不符合预设波形或预设分布规律的情况下,基于历史数据判断目标数据的斜率;在判断出目标数据的斜率不在预设斜率范围的情况下,基于斜率生成报警信息,其中,在斜率表征为增长时,生成对应于增长的报警信息,在斜率表征为下降时,生成对应于下降的报警信息。
也就是说,若检测出实时获取的现阶段目标数据在预设时长内不符合预设波形或预设分布规律的情况下,可以基于现阶段的目标数据的以往历史数据判断现阶段的目标数据的斜率,在判断出现阶段的目标数据的斜率不在预设斜率范围的情况下,基于斜率生成报警信息,其中,在斜率表征为增长时,生成对应于增长的报警信息,在斜率表征为下降时,生成对应于下降的报警信息。
此外,根据本发明的一个实施例,获取目标数据包括:获取原始数据;滤除原始数据内的噪声数据后得到中间数据;将中间数据属于第二预设界限内的数据作为目标数据,其中第二预设界限具有第五界值和第六界值。
在获取原始数据之后,滤除原始数据内的噪声数据后得到中间数据,并为该中间数据设定数据本身界限的上下界,该上下界可以根据该中间数据本身的以往历史稳定阶段设定该中间数据该有的上下界,并将该上下界限内的中间数据作为目标数据,从而使得获取的实时获取的目标数据可以规避噪声的影响。
此外,根据本发明的一个实施例,滤除原始数据内的噪声数据后得到中间数据包括:利用奇异值监测算法,检测原始数据内的噪声数据;将原始数据中的噪声数据剔除得到中间数据。
可选的,可以利用去噪算法,包括但不局限于:K-median,K-MEANS,logistic回归,KNN,BP神经网络,判别分析,广义线性模型等算法,剔除原始数据中的噪声数据,也可以直接采用奇异值监测算法,如KNN算法检测原始数据内的噪声数据,并将原始数据中的噪声数据剔除得到中间数据。
采用本发明,既能够识别数据本身的规律,又能够规避噪声对判断的干扰,从而能够真正的监测出数据规律中的变化,从而给出实时的预警。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明实施例的方法。
根据本发明实施例,在本发明上述图1的运行环境下,还提供了一种数据预警设备,该数据预警设备位于多个集群节点101中。如图3所示,该设备包括处理器和存储器,该设备包括:
存储器301,用于存储指令;
处理器303,用于基于指令来执行如下步骤:获取目标数据;用于检测目标数据在预设时长内是否符合预设波形或预设分布规律;在检测出目标数据在预设时长内符合预设波形或预设分布规律的情况下,判断目标数据的数据波形或数据分布是否属于第一预设界限内;在判断出目标数据的数据波形或数据分布不属于第一预设界限内的情况下,生成报警信息。
通过本发明上述实施例,处理器303基于存储器301存储的指令来执行如下步骤:获取目标数据,检测该获取的目标数据在预设时长内是否符合预设波形或预设分布规律,在检测出目标数据在预设时长内符合预设波形或预设分布规律的情况下,进一步判断该目标数据的数据波形或数据分布是否属于第一预设界限内,若不属于第一预设界限内的情况下,生成报警信息。采用本发明,可以基于目标数据是否符合预设波形或预设分布规律,来实时监测目标数据规律的变化,当目标数据规律的变化超过预设的界限时,则及时向用户预警生成报警信息,帮助用户提前预知可能发生的各种情况。
其中,上述获取目标数据可以是数据预警设备接收终端103发送过来的数据,并从终端103发送过来的数据中获取目标数据。在获取目标数据之后,对目标数据进行检测及判断。上述获取目标数据,可以是实时的获取目标数据,进而可以是实时获取现阶段一定时长内的目标数据,该目标数据可以是模拟数据,比如声音、图像,也可以是数字数据,如符号、文字。上述目标数据可以是各行各业的任意数据。
在获取目标数据之后,检测该目标数据在预设时长内是否符合预设波形或预设分布规律。上述检测该目标数据在预设时长内是否符合预设波形或预设分布规律,可以对目标数据进行数据拟合,利用该目标数据拟合后的波形或分布规律来判断是否符合预设波形或预设分布规律。
例如,根据本发明的一个实施例,上述预设波形可以是预设的数据波形,上述数据波形与其数据类型相对应,若数据是由机械振动、电磁振动、温度变化、晶体点阵振动或者自旋数据,那么预设的波形可以是对应的机械波、电磁波、温度波、点阵波、自旋波等。
此外,根据本发明的一个实施例,上述预设分布规律可以是预设的数据分布规律,包括离散型数据分布规律,如二项分布,泊松分布,离散均匀分布,几何分布,超几何分布等,和连续型数据分布规律,如正态分布,t分布,F分布,卡方分布,指数分布,Gamma分布,Beta分布等。当然,上述预设波形或预设分布规律也可以人为按照目标数据的类型、特点进行个性化设置。
在检测出目标数据在预设时长内符合预设波形或预设分布规律的情况下,判断目标数据的数据波形或数据分布是否属于第一预设界限内,在判断出目标数据的数据波形或数据分布不属于第一预设界限内的情况下,生成报警信息。
也就是说,在检测出目标数据在预设时长内符合预设波形或预设分布规律的情况下,该目标数据其实就是一种随时间而变化的数据波形或者数据分布并且符合预设的波形或分布规律,进而判断该目标数据的数据波形或数据分布是否属于第一预设界限内,该第一预设界限具有确定的界值,可选的,可以人为的为目标数据的数据波形或数据分布设置界值,在判断出该目标数据的数据波形或数据分布不属于该第一预设界限内的情况下,生成报警信息。上述报警信息包括但不局限于:响铃报警信息、语音报警信息、振动报警信息、颜色报警信息、文字报警信息或其结合。
通过本发明上述实施例,可以在识别出目标数据本身波动规律或其他规律的基础上,实时监测目标数据规律的变化,并在目标数据的规律不在预设界限内的情况下,给出实时的预警,较好的帮助使用者提前预知可能发生的实际情况。
此外,根据本发明的一个实施例,处理器在检测出目标数据在预设时长内符合预设波形或预设分布规律的情况下,处理器确定目标数据的数据波形或数据分布符合预设波形或预设分布规律的符合度;在确定出符合度高于预设符合度的情况下,检测目标数据的数据波形或数据分布是否符合预设波形或预设分布的应有规律,且判断目标数据的数据波形或数据分布是否在第一界值和第二界值之间,其中,第一预设界限具有第一界值和第二界值;在检测出目标数据的数据波形或数据分布不符合预设波形或预设分布的应有规律,或判断出数据的数据波形或数据分布不在第一界值和第二界值之间的情况下,生成报警信息。
上述符合度可以人为设置,在处理器检测出目标数据在预设时长内符合预设波形或预设分布规律的情况下,判断目标数据的数据波形或数据分布是强符合预设波形或预设分布规律,还是弱符合预设波形或预设分布规律,在确定出目标数据在预设时长的数据波形或数据分布的符合度高于预设符合度的情况下,认为目标数据的数据波形或数据分布是强符合预设波形或预设分布规律,在确定出目标数据在预设时长的数据波形或数据分布的符合度低于预设符合度的情况下,认为目标数据的数据波形或数据分布是弱符合预设波形或预设分布规律。
需要说明的是,上述在确定出目标数据的数据波形或数据分布符合预设波形或预设分布规律的符合度高于预设符合度的情况下,检测目标数据的数据波形或数据分布是否符合预设波形或预设分布的应有规律,该应有规律可以是符合度大于预设符合度的规律。
在处理器确定出目标数据的数据波形或数据分布是强符合预设波形或预设分布规律的情况下,可以直接检测目标数据的数据波形或数据分布是否符合预设波形或预设分布的应有规律,且判断目标数据的数据波形或数据分布是否在第一预设界限的第一界值和第二界值之间,若检测出目标数据的数据波形或数据分布不符合预设波形或预设分布的应有规律,或判断出数据的数据波形或数据分布不在第一界值和第二界值之间的情况下,生成报警信息。
可选的,处理器可以通过Kolmogorov-Smirnov test(柯尔莫哥罗夫-斯米尔诺夫检验)判定实时获取的现阶段的目标数据的分布波或分布规律是否符合预设波形或预设分布规律的应有规律,且在规定界值内。
此外,根据本发明的一个实施例,第一界值具有以第一界值和第三界值为边界的第一置信区间,第二界值具有以第二界值和第四界值为边界的第二置信区间,其中,第三界值相对于第一界值远离第一预设界限,第四界值相对于第二界值远离第一预设界限,在处理器确定出符合度低于预设符合度的情况下,判断目标数据的数据波形或数据分布是否在第三界值和第四界值之间;在判断出目标数据的数据波形或数据分布不在第三界值和第四界值之间的情况下,生成报警信息。
可选的,可以在处理器确定出目标数据的数据波形或数据分布是弱符合预设波形或预设分布规律的情况下,为第一预设界限的第一界值和第二界值设定上下界分布,从而判断现阶段的目标数据是否在该上下界分布范围内,若现阶段的目标数据的数据波形或数据分布不在该上下界分布范围内,则报警。
此外,根据本发明的一个实施例,设备还包括:处理器在检测出目标数据在预设时长内不符合预设波形或预设分布规律的情况下,基于历史数据判断目标数据的斜率;在判断出目标数据的斜率不在预设斜率范围的情况下,基于斜率生成报警信息,其中,在斜率表征为增长时,生成对应于增长的报警信息,在斜率表征为下降时,生成对应于下降的报警信息。
也就是说,若处理器检测出实时获取的现阶段目标数据在预设时长内不符合预设波形或预设分布规律的情况下,可以基于现阶段的目标数据的以往历史数据判断现阶段的目标数据的斜率,在判断出现阶段的目标数据的斜率不在预设斜率范围的情况下,基于斜率生成报警信息,其中,在斜率表征为增长时,生成对应于增长的报警信息,在斜率表征为下降时,生成对应于下降的报警信息。
此外,根据本发明的一个实施例,处理器获取目标数据包括:获取原始数据;滤除原始数据内的噪声数据后得到中间数据;将中间数据属于第二预设界限内的数据作为目标数据,其中第二预设界限具有第五界值和第六界值。
在处理器获取原始数据之后,滤除原始数据内的噪声数据后得到中间数据,并为该中间数据设定数据本身界限的上下界,该上下界可以根据该中间数据本身的以往历史稳定阶段设定该中间数据该有的上下界,并将该上下界限内的中间数据作为目标数据,从而使得获取的实时获取的目标数据可以规避噪声的影响。
此外,根据本发明的一个实施例,利用奇异值监测算法,检测原始数据内的噪声数据;将原始数据中的噪声数据剔除得到中间数据。
可选的,处理器可以利用去噪算法,包括但不局限于:K-median,K-MEANS,logistic回归,KNN,BP神经网络,判别分析,广义线性模型等算法,剔除原始数据中的噪声数据,也可以直接采用奇异值监测算法,如KNN算法检测原始数据内的噪声数据,并将原始数据中的噪声数据剔除得到中间数据。
采用本发明,既能够识别数据本身的规律,又能够规避噪声对判断的干扰,从而能够真正的监测出数据规律中的变化,从而给出实时的预警。
需要说明的是,对于上述的方法、电子设备实施例,为了简单描述,故将其都表述为一系列的动作或模块组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序或模块连接的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行,某些模块可以采用其他连接方式。
其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,上述实施例序号仅仅为了描述,所涉及的动作和模块并不一定是本发明所必须的。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本发明所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (12)
1.一种数据预警方法,其特征在于,包括:
获取目标数据;
检测所述目标数据在预设时长内是否符合预设波形或预设分布规律;
在检测出所述目标数据在预设时长内符合预设波形或预设分布规律的情况下,判断所述目标数据的数据波形或数据分布是否属于第一预设界限内;
在判断出所述目标数据的数据波形或数据分布不属于所述第一预设界限内的情况下,生成报警信息。
2.如权利要求1所述的方法,其特征在于,在检测出所述目标数据在预设时长内符合预设波形或预设分布规律的情况下,所述方法包括:
确定所述目标数据的数据波形或数据分布符合预设波形或预设分布规律的符合度;
在确定出所述符合度高于预设符合度的情况下,检测所述目标数据的数据波形或数据分布是否符合所述预设波形或预设分布的应有规律,且判断所述目标数据的数据波形或数据分布是否在第一界值和第二界值之间,其中,所述第一预设界限具有第一界值和第二界值;
在检测出所述目标数据的数据波形或数据分布不符合所述预设波形或预设分布的应有规律,或判断出所述数据的数据波形或数据分布不在所述第一界值和所述第二界值之间的情况下,生成所述报警信息。
3.如权利要求2所述的方法,其特征在于,所述第一界值具有以所述第一界值和第三界值为边界的第一置信区间,所述第二界值具有以所述第二界值和第四界值为边界的第二置信区间,其中,所述第三界值相对于第一界值远离所述第一预设界限,所述第四界值相对于所述第二界值远离所述第一预设界限,
在确定出所述符合度低于预设符合度的情况下,判断所述目标数据的数据波形或数据分布是否在所述第三界值和所述第四界值之间;
在判断出所述目标数据的数据波形或数据分布不在所述第三界值和所述第四界值之间的情况下,生成所述报警信息。
4.如权利要求1所述的方法,其特征在于,检测所述目标数据是否在预设时长内符合预设波形或预设分布规律还包括:
在检测出所述目标数据在预设时长内不符合预设波形或预设分布规律的情况下,基于历史数据判断所述目标数据的斜率;
在判断出所述目标数据的斜率不在预设斜率范围的情况下,基于所述斜率生成报警信息,其中,在所述斜率表征为增长时,生成对应于增长的报警信息,在所述斜率表征为下降时,生成对应于下降的报警信息。
5.如权利要求1所述的方法,其特征在于,所述获取目标数据包括:
获取原始数据;
滤除所述原始数据内的噪声数据后得到中间数据;
将所述中间数据属于第二预设界限内的数据作为目标数据,其中所述第二预设界限具有第五界值和第六界值。
6.如权利要求5所述的方法,其特征在于,滤除所述原始数据内的噪声数据后得到中间数据包括:
利用奇异值监测算法,检测所述原始数据内的噪声数据;
将原始数据中的噪声数据剔除得到中间数据。
7.一种数据预警设备,所述设备包括处理器和存储器,其特征在于,
存储器,用于存储指令;
处理器,用于基于所述指令来执行如下步骤:
获取目标数据;
用于检测所述目标数据在预设时长内是否符合预设波形或预设分布规律;在检测出所述目标数据在预设时长内符合预设波形或预设分布规律的情况下,判断所述目标数据的数据波形或数据分布是否属于第一预设界限内;
在判断出所述目标数据的数据波形或数据分布不属于所述第一预设界限内的情况下,生成报警信息。
8.如权利要求7所述的设备,其特征在于,所述处理器在检测出所述目标数据在预设时长内符合预设波形或预设分布规律的情况下,所述处理器确定所述目标数据的数据波形或数据分布符合预设波形或预设分布规律的符合度;
在确定出所述符合度高于预设符合度的情况下,检测所述目标数据的数据波形或数据分布是否符合所述预设波形或预设分布的应有规律,且判断所述目标数据的数据波形或数据分布是否在第一界值和第二界值之间,其中,所述第一预设界限具有第一界值和第二界值;
在检测出所述目标数据的数据波形或数据分布不符合所述预设波形或预设分布的应有规律,或判断出所述数据的数据波形或数据分布不在所述第一界值和所述第二界值之间的情况下,生成所述报警信息。
9.如权利要求8所述的设备,其特征在于,所述第一界值具有以所述第一界值和第三界值为边界的第一置信区间,所述第二界值具有以所述第二界值和第四界值为边界的第二置信区间,其中,所述第三界值相对于第一界值远离所述第一预设界限,所述第四界值相对于所述第二界值远离所述第一预设界限,
在所述处理器确定出所述符合度低于预设符合度的情况下,判断所述目标数据的数据波形或数据分布是否在所述第三界值和所述第四界值之间;
在判断出所述目标数据的数据波形或数据分布不在所述第三界值和所述第四界值之间的情况下,生成所述报警信息。
10.如权利要求7所述的设备,其特征在于,所述设备还包括:
处理器在检测出所述目标数据在预设时长内不符合预设波形或预设分布规律的情况下,基于历史数据判断所述目标数据的斜率;
在判断出所述目标数据的斜率不在预设斜率范围的情况下,基于所述斜率生成报警信息,其中,在所述斜率表征为增长时,生成对应于增长的报警信息,在所述斜率表征为下降时,生成对应于下降的报警信息。
11.如权利要求7所述的设备,其特征在于,所述处理器获取目标数据包括:
获取原始数据;
滤除所述原始数据内的噪声数据后得到中间数据;
将所述中间数据属于第二预设界限内的数据作为目标数据,其中所述第二预设界限具有第五界值和第六界值。
12.如权利要求11所述的设备,其特征在于,利用奇异值监测算法,检测所述原始数据内的噪声数据;将原始数据中的噪声数据剔除得到中间数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710192662.7A CN106960126B (zh) | 2017-03-28 | 2017-03-28 | 数据预警方法和设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710192662.7A CN106960126B (zh) | 2017-03-28 | 2017-03-28 | 数据预警方法和设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106960126A true CN106960126A (zh) | 2017-07-18 |
CN106960126B CN106960126B (zh) | 2020-03-24 |
Family
ID=59471110
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710192662.7A Active CN106960126B (zh) | 2017-03-28 | 2017-03-28 | 数据预警方法和设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106960126B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107577721A (zh) * | 2017-08-17 | 2018-01-12 | 晶赞广告(上海)有限公司 | 用于大数据的数据稳定性检测方法及装置、存储介质、服务器 |
CN108446739A (zh) * | 2018-03-26 | 2018-08-24 | 北京航空航天大学 | 一种数据录入监测方法及装置 |
CN109408303A (zh) * | 2018-09-19 | 2019-03-01 | Oppo(重庆)智能科技有限公司 | 测试数据分析方法及相关产品 |
CN109634801A (zh) * | 2018-10-31 | 2019-04-16 | 深圳壹账通智能科技有限公司 | 数据趋势分析方法、***、计算机装置及可读存储介质 |
CN111210083A (zh) * | 2020-01-13 | 2020-05-29 | 上海威派格智慧水务股份有限公司 | 一种管网异常分析方法 |
CN111260087A (zh) * | 2020-01-13 | 2020-06-09 | 上海威派格智慧水务股份有限公司 | 一种管网异常管理*** |
CN111322524A (zh) * | 2020-03-02 | 2020-06-23 | 周红 | 钻井平台安全检测方法、装置及检测设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1043620A (zh) * | 1988-12-24 | 1990-07-11 | 沈仲元 | 便携式智能型心电监测仪 |
CN101976305A (zh) * | 2010-10-25 | 2011-02-16 | 北京航空航天大学 | 一种基于概率统计的旅行时间筛选方法 |
CN105991362A (zh) * | 2015-02-12 | 2016-10-05 | 腾讯科技(深圳)有限公司 | 数据流量的波动阀值范围设定方法及装置 |
CN106405280A (zh) * | 2016-08-29 | 2017-02-15 | 许继集团有限公司 | 一种智能变电站在线监测参数趋势预警方法 |
-
2017
- 2017-03-28 CN CN201710192662.7A patent/CN106960126B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1043620A (zh) * | 1988-12-24 | 1990-07-11 | 沈仲元 | 便携式智能型心电监测仪 |
CN101976305A (zh) * | 2010-10-25 | 2011-02-16 | 北京航空航天大学 | 一种基于概率统计的旅行时间筛选方法 |
CN105991362A (zh) * | 2015-02-12 | 2016-10-05 | 腾讯科技(深圳)有限公司 | 数据流量的波动阀值范围设定方法及装置 |
CN106405280A (zh) * | 2016-08-29 | 2017-02-15 | 许继集团有限公司 | 一种智能变电站在线监测参数趋势预警方法 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107577721A (zh) * | 2017-08-17 | 2018-01-12 | 晶赞广告(上海)有限公司 | 用于大数据的数据稳定性检测方法及装置、存储介质、服务器 |
CN108446739A (zh) * | 2018-03-26 | 2018-08-24 | 北京航空航天大学 | 一种数据录入监测方法及装置 |
CN108446739B (zh) * | 2018-03-26 | 2020-11-03 | 北京航空航天大学 | 一种数据录入监测方法及装置 |
CN109408303A (zh) * | 2018-09-19 | 2019-03-01 | Oppo(重庆)智能科技有限公司 | 测试数据分析方法及相关产品 |
CN109634801A (zh) * | 2018-10-31 | 2019-04-16 | 深圳壹账通智能科技有限公司 | 数据趋势分析方法、***、计算机装置及可读存储介质 |
CN109634801B (zh) * | 2018-10-31 | 2022-04-12 | 深圳壹账通智能科技有限公司 | 数据趋势分析方法、***、计算机装置及可读存储介质 |
CN111210083A (zh) * | 2020-01-13 | 2020-05-29 | 上海威派格智慧水务股份有限公司 | 一种管网异常分析方法 |
CN111260087A (zh) * | 2020-01-13 | 2020-06-09 | 上海威派格智慧水务股份有限公司 | 一种管网异常管理*** |
CN111322524A (zh) * | 2020-03-02 | 2020-06-23 | 周红 | 钻井平台安全检测方法、装置及检测设备 |
CN111322524B (zh) * | 2020-03-02 | 2021-07-09 | 四川盐业地质钻井大队 | 钻井平台安全检测方法、装置及检测设备 |
Also Published As
Publication number | Publication date |
---|---|
CN106960126B (zh) | 2020-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106960126A (zh) | 数据预警方法和设备 | |
CN107800684B (zh) | 一种低频爬虫识别方法及装置 | |
CN110414313A (zh) | 异常行为告警方法、装置、服务器及存储介质 | |
CN105989441A (zh) | 模型参数调整方法和装置 | |
CN108108743A (zh) | 异常用户识别方法和用于识别异常用户的装置 | |
CN112153002B (zh) | 告警信息分析方法、装置、计算机设备和存储介质 | |
CN109889512B (zh) | 一种充电桩can报文的异常检测方法及装置 | |
CN111930526B (zh) | 负载预测方法、装置、计算机设备和存储介质 | |
CN106251207A (zh) | 订单监控方法及装置 | |
CN111726341A (zh) | 一种数据检测方法、装置、电子设备及存储介质 | |
CN108509996A (zh) | 基于Filter和Wrapper选择算法的特征选择方法 | |
Rajapakshe et al. | Using cnns rnns and machine learning algorithms for real-time crime prediction | |
US20150205856A1 (en) | Dynamic brownian motion with density superposition for abnormality detection | |
CN107729081A (zh) | 应用管理方法、装置、存储介质及电子设备 | |
CN107832848B (zh) | 应用管理方法、装置、存储介质及电子设备 | |
CN111931707A (zh) | 基于对抗补丁的人脸图像预测方法、装置、设备和介质 | |
CN110399405A (zh) | 日志报警方法、装置、***及存储介质 | |
CN107944758A (zh) | 一种智能警情处理方法及*** | |
CN106780138A (zh) | 配电网故障预警方法和装置 | |
CN109523141A (zh) | 一种消防区域布防方法、装置及终端设备 | |
Li et al. | Classification with missing data in a wireless sensor network | |
CN110009473B (zh) | 数据处理方法、装置、设备及存储介质 | |
CN107633173A (zh) | 文件处理方法和装置 | |
CN109615075B (zh) | 一种基于多层聚类模型的居民日常行为识别方法 | |
CN107844375B (zh) | 应用关闭方法、装置、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |