CN117744033A - 数据波动预警方法、装置、非易失性存储介质及电子设备 - Google Patents

数据波动预警方法、装置、非易失性存储介质及电子设备 Download PDF

Info

Publication number
CN117744033A
CN117744033A CN202311801387.6A CN202311801387A CN117744033A CN 117744033 A CN117744033 A CN 117744033A CN 202311801387 A CN202311801387 A CN 202311801387A CN 117744033 A CN117744033 A CN 117744033A
Authority
CN
China
Prior art keywords
data
sample
data set
preset
time period
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311801387.6A
Other languages
English (en)
Inventor
陈桂花
阮宜龙
张云龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Telecom Corp Ltd
Original Assignee
China Telecom Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Telecom Corp Ltd filed Critical China Telecom Corp Ltd
Priority to CN202311801387.6A priority Critical patent/CN117744033A/zh
Publication of CN117744033A publication Critical patent/CN117744033A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种数据波动预警方法、装置、非易失性存储介质及电子设备。其中,该方法包括:获取历史时间周期的历史数据集;使用预设预测模型对历史数据集进行分析,得到目标时间周期的第一预测数据集,其中,预设预测模型至少包括:用于预测目标时间周期的第二预测数据集的预设自回归移动平均模型,和用于预测目标时间周期的误差数据集的预设自回归条件异方差模型,第一预测数据集为基于误差数据集对第二预测数据集的修正结果;监测预测数据集相对于历史数据集的数据波动程度;在数据波动程度超过波动阈值的情况下,进行波动预警。本发明解决了现有技术无法针对大规模数据环境进行数据的波动分析预警的技术问题。

Description

数据波动预警方法、装置、非易失性存储介质及电子设备
技术领域
本发明涉及大数据处理领域,具体而言,涉及一种数据波动预警方法、装置、非易失性存储介质及电子设备。
背景技术
波动分析预警是一种用于监测和预测市场、经济、环境等领域中的波动情况,并及时发出预警的方法。现有的波动分析预警方法多基于传统统计技术和经验判断,难以应对大规模的、动态变化的数据环境。
针对上述现有技术无法针对大规模数据环境进行数据的波动分析预警的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种数据波动预警方法、装置、非易失性存储介质及电子设备,以至少解决现有技术无法针对大规模数据环境进行数据的波动分析预警的技术问题。
根据本发明实施例的一个方面,提供了一种数据的波动预警方法,包括:获取历史时间周期的历史数据集,其中,所述历史时间周期包括:多个历史时刻,所述历史数据集包括:多个所述历史时刻对应的历史数据;使用预设预测模型对所述历史数据集进行分析,得到目标时间周期的第一预测数据集,其中,所述预设预测模型至少包括:预设自回归移动平均模型和预设自回归条件异方差模型,所述预设自回归移动平均模型用于根据所述历史数据集,预测所述目标时间周期的第二预测数据集,所述预设自回归条件异方差模型用于预测所述目标时间周期的误差数据集,所述目标时间周期包括:多个目标时刻,所述第一预测数据集包括:至少一个所述目标时刻对应的第一预测数据,所述第二预测数据集包括:至少一个所述目标时刻对应的第二预测数据,所述误差数据集包括:至少一个所述目标时刻对应的误差数据,所述第一预测数据为同一所述目标时刻的所述第二预测数据与所述误差数据的修正结果;监测所述预测数据集相对于所述历史数据集的数据波动程度;在所述数据波动程度超过波动阈值的情况下,进行波动预警。
可选地,在使用预设预测模型对所述历史数据集进行分析,得到目标时间周期的第一预测数据集之前,所述方法还包括:获取预设样本时间周期的预设样本数据集群,其中,所述预设样本时间周期至少包括连续的第一样本时间周期、第二样本时间周期和第三样本时间周期,所述第一样本时间周期包括:多个第一样本时刻,所述第二样本时间周期包括:多个第二样本时刻,所述第三样本时间周期包括:多个第三样本时刻,所述预设样本数据集群至少包括:所述第一样本时间周期的第一样本数据集、所述第二样本时间周期的第二样本数据集、和所述第三样本时间周期的第三样本数据集,所述第一样本数据集包括:多个所述第一样本时刻对应的第一样本数据,所述第二样本数据集包括:多个所述第二样本时刻对应的第二样本数据,所述第三样本数据集包括:多个所述第三样本时刻对应的第三样本数据;使用第一样本数据集群,训练所述预设自回归移动平均模型,其中,所述第一样本数据集群包括:所述第一样本数据集和所述第二样本数据集;使用所述预设自回归移动平均模型对所述第一样本数据集群进行分析,得到第二样本数据集群,其中,第二样本数据集群包括:所述第二样本时间周期的第四样本数据集,和所述第三样本时间周期的第五样本数据集,所述第四样本数据集为基于所述第一样本数据集的预测结果,所述第五样本数据集为基于所述第二样本数据集的预测结果,所述第四样本数据集包括:多个所述第二样本时刻对应的第四样本数据,所述第五样本数据集包括:多个所述第三样本时刻对应的第五样本数据;使用预设样本残差数据集群,训练所述预设自回归条件异方差模型,其中,所述预设样本残差数据集群包括:所述第二样本时间周期的第一残差数据集,和所述第三样本时间周期的第二残差数据集,所述第一残差数据集包括:多个所述第二样本时刻对应的第一残差数据,所述第一残差数据为同一所述第二样本时刻的所述第四样本数据与所述第二样本数据的差值,所述第二残差数据集包括:多个所述第三样本时刻对应的第二残差数据,所述第二残差数据为同一所述第三样本时刻的所述第五样本数据与所述第三样本数据的差值。
可选地,使用第一样本数据集群,训练所述预设自回归移动平均模型包括:使用初始自回归移动平均模型对所述第一样本数据集进行分析,得到所述第二样本时间周期的第六样本数据集,其中,所述第六样本数据集包括:多个所述第二样本时刻对应的第六样本数据;比对所述第六样本数据集与所述第二样本数据集的差异,得到第一比对结果;根据所述第一比对结果调整所述初始自回归移动平均模型中的第一模型参数集,得到所述预设自回归移动平均模型。
可选地,使用预设样本残差数据集群,训练所述预设自回归条件异方差模型包括:确定所述第二样本数据集群与所述第一样本数据集群的残差,得到预设样本残差数据集群;检测所述预设样本残差数据集群中的预设残差数据是否符合白噪声分布,其中,所述预设残差数据至少包括:所述第一残差数据和所述第二残差数据;在所述预设残差数据符合所述白噪声分布的情况下,使用所述预设样本残差数据集,训练所述预设自回归条件异方差模型。
可选地,使用预设样本残差数据集群,训练所述预设自回归条件异方差模型包括:使用初始自回归条件异方差模型对所述第一残差数据集进行分析,得到所述第三样本时间周期的第三残差数据集,其中,所述第三残差数据集包括:多个所述第三样本时刻对应的第三残差数据;比对所述第三残差数据集与所述第二残差数据集的差异,得到第二比对结果;根据所述第二比对结果调整所述初始自回归条件异方差模型中的第二模型参数集,得到所述预设自回归条件异方差模型。
可选地,监测所述预测数据集相对于所述历史数据集的数据波动程度包括:确定所述预测数据集与所述历史数据集的残差,得到预测残差序列,其中,所述预测残差序列包括:按照时间顺序排列的多个预测残差数据,每个所述预测残差数据为所述目标时刻的预测第一预测数据与预设历史数据的残差;确定所述预测残差序列的统计指标,其中,所述统计指标至少包括:标准差、方差和均值;根据所述统计指标,评估所述数据波动程度。
可选地,在监测所述预测数据集与所述目标时间周期的实际数据集中的数据波动程度之后,所述方法还包括:使用可视化图表,展示所述数据波动程度,其中,所述可视化图表至少包括:曲线图、报表、仪表盘、热力图和动态图表。
根据本发明实施例的另一方面,还提供了一种数据的波动预警装置,包括:获取模块,用于获取历史时间周期的历史数据集,其中,所述历史时间周期包括:多个历史时刻,所述历史数据集包括:多个所述历史时刻对应的历史数据;分析模块,用于使用预设预测模型对所述历史数据集进行分析,得到目标时间周期的第一预测数据集,其中,所述预设预测模型至少包括:预设自回归移动平均模型和预设自回归条件异方差模型,所述预设自回归移动平均模型用于根据所述历史数据集,预测所述目标时间周期的第二预测数据集,所述预设自回归条件异方差模型用于预测所述目标时间周期的误差数据集,所述目标时间周期包括:多个目标时刻,所述第一预测数据集包括:至少一个所述目标时刻对应的第一预测数据,所述第二预测数据集包括:至少一个所述目标时刻对应的第二预测数据,所述误差数据集包括:至少一个所述目标时刻对应的误差数据,所述第一预测数据为同一所述目标时刻的所述第二预测数据与所述误差数据的修正结果;监测模块,用于监测所述预测数据集相对于所述历史数据集的数据波动程度;预警模块,用于在所述数据波动程度超过波动阈值的情况下,进行波动预警。
根据本发明实施例的另一方面,还提供了一种非易失性存储介质,所述非易失性存储介质用于存储程序,其中,在所述程序运行时控制所述非易失性存储介质所在设备执行上述数据的波动预警方法。
根据本发明实施例的另一方面,还提供了一种电子设备,包括:存储器和处理器,所述处理器用于运行存储在所述处理器中的程序,其中,所述程序运行时执行上述数据的波动预警方法。
在本发明实施例中,预设预测模型可以是利用人工智能技术,通过机器学***均模型和预设自回归条件异方差模型结合的预设预测模型,具有处理高频数据、考虑异方差性等问题的能力,通过预设自回归移动平均模型可以根据历史数据集预测目标时间周期的第二预设数据集合,通过预设自回归条件异方差模型可以考虑预测结果的误差不确定性,对第二预设数据集合进行修正,可以得到更加准确的第二预测数据集,进而基于第二预测数据集,可以预测目标时间周期的数据波动程度,并根据预测的数据波动程度进行预警,从而实现了对波动情况的智能预测和预警的技术效果,进而解决了现有技术无法针对大规模数据环境进行数据的波动分析预警技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种数据的波动预警方法的流程图;
图2是根据本发明实施例的一种波动分析预警方法的示意图;
图3是根据本发明实施例的一种ARIMA-GARCH模型训练过程的示意图;
图4是根据本发明实施例的一种训练ARIMA模型的示意图;
图5是根据本发明实施例的一种数据的波动预警装置的示意图;
图6是根据本发明实施例的一种计算机终端的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例,提供了一种数据的波动预警方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的一种数据的波动预警方法的流程图,如图1所示,该方法包括如下步骤:
步骤S102,获取历史时间周期的历史数据集,其中,历史时间周期包括:多个历史时刻,历史数据集包括:多个历史时刻对应的历史数据;
步骤S104,使用预设预测模型对历史数据集进行分析,得到目标时间周期的第一预测数据集,其中,预设预测模型至少包括:预设自回归移动平均模型和预设自回归条件异方差模型,预设自回归移动平均模型用于根据历史数据集,预测目标时间周期的第二预测数据集,预设自回归条件异方差模型用于预测目标时间周期的误差数据集,目标时间周期包括:多个目标时刻,第一预测数据集包括:至少一个目标时刻对应的第一预测数据,第二预测数据集包括:至少一个目标时刻对应的第二预测数据,误差数据集包括:至少一个目标时刻对应的误差数据,第一预测数据为同一目标时刻的第二预测数据与误差数据的修正结果;
步骤S106,监测预测数据集相对于历史数据集的数据波动程度;
步骤S108,在数据波动程度超过波动阈值的情况下,进行波动预警。
在本发明实施例中,预设预测模型可以是利用人工智能技术,通过机器学***均模型和预设自回归条件异方差模型结合的预设预测模型,具有处理高频数据、考虑异方差性等问题的能力,通过预设自回归移动平均模型可以根据历史数据集预测目标时间周期的第二预设数据集合,通过预设自回归条件异方差模型可以考虑预测结果的误差不确定性,对第二预设数据集合进行修正,可以得到更加准确的第二预测数据集,进而基于第二预测数据集,可以预测目标时间周期的数据波动程度,并根据预测的数据波动程度进行预警,从而实现了对波动情况的智能预测和预警的技术效果,进而解决了现有技术无法针对大规模数据环境进行数据的波动分析预警技术问题。
在上述步骤S102中,历史数据集可以基于大数据技术进行实时收集、处理和分析,基于海量的历史数据集可以提供更准确全面的波动信息。
在上述步骤S102中,在获取历史数据集的过程中,可以对收集到的数据采用数据清洗、异常值检测、数据平滑等预处理,确保数据的质量和完整性,为后续的波动分析预警提供可靠的数据基础。
需要说明的是,在预设场景下数据,收集到的特定数据可以确保准确性,则不需要对该特定数据进行预处理,其中,特定数据包括:实时传感器采集的数据、数据库导出的数据、和高可靠性数据源提供的数据。
在上述步骤S104中,自回归移动平均模型ARIMA为:ARIMA(p,d,q),其中,p为自回归项,d为差分次数和q为移动平均项,可以根据经验确定;B表示为后退算子:BkXt=Xt-k;φi为自回归模型AR中的参数,表示在自回归模型中,第i时间周期的历史数据对当前数据的影响程度,通常通过最小二乘法等统计方法来进行估计;θi为移动平均模型MA中的参数,表示在移动平均模型中,第i时间周期的误差对当前数据的影响程度,通常也是通过最小二乘法等统计方法来进行估计。
在上述步骤S104中,自回归条件异方差模型GARCH为:GARCH(P,Q),σt2=ω+∑αiεt-i2+∑βiσt-i2,其中,P为自相关项,用于衡量εt-i2(即过去波动率信息)的期数;Q为移动平均项,用于衡量σt-i2(即过去预测误差的波动率信息)的期数;ω是常数项;εt是残差,即实际数据与预测数据之间的差别;σt2是时间t的波动率或方差;αi表示在GARCH模型中,第i时间周期的残差平方对当前波动率的影响程度,基于最大似然估计法来估计;βi表示在GARCH模型中,第i时间周期的波动率对当前波动率的影响程度,也通过最大似然估计法来进行估计。
在上述步骤S104中,预设预测模型将ARIMA模型的恒定性和GARCH模型的异方差性相互结合起来,形成一个更为强大的模型。
在上述步骤S104中,数据波动程度可以根据预测数据集与历史数据集中的预设历史数据的残差确定,该预设历史数据可以是基于历史数据集设定的,如历史数据集的平均数据、众数数据、以及中位数据等;该预设历史数据可以根据与目标时间周期临近的目标历史周期内的预设历史数据集设定。
需要说明的是,上述历史数据、预测数据、误差数据、以及残差数据,都可以是数据的值。
在上述步骤S108中,波动预警包括:向相关人员发送警报或通知,以便及时采取措施,例如,可以通过发送警报、短信、电子邮件或其他通知方式,向相关人员传递预警信息。
作为一种可选的实施例,在使用预设预测模型对历史数据集进行分析,得到目标时间周期的第一预测数据集之前,方法还包括:获取预设样本时间周期的预设样本数据集群,其中,预设样本时间周期至少包括连续的第一样本时间周期、第二样本时间周期和第三样本时间周期,第一样本时间周期包括:多个第一样本时刻,第二样本时间周期包括:多个第二样本时刻,第三样本时间周期包括:多个第三样本时刻,预设样本数据集群至少包括:第一样本时间周期的第一样本数据集、第二样本时间周期的第二样本数据集、和第三样本时间周期的第三样本数据集,第一样本数据集包括:多个第一样本时刻对应的第一样本数据,第二样本数据集包括:多个第二样本时刻对应的第二样本数据,第三样本数据集包括:多个第三样本时刻对应的第三样本数据;使用第一样本数据集群,训练预设自回归移动平均模型,其中,第一样本数据集群包括:第一样本数据集和第二样本数据集;使用预设自回归移动平均模型对第一样本数据集群进行分析,得到第二样本数据集群,其中,第二样本数据集群包括:第二样本时间周期的第四样本数据集,和第三样本时间周期的第五样本数据集,第四样本数据集为基于第一样本数据集的预测结果,第五样本数据集为基于第二样本数据集的预测结果,第四样本数据集包括:多个第二样本时刻对应的第四样本数据,第五样本数据集包括:多个第三样本时刻对应的第五样本数据;使用预设样本残差数据集群,训练预设自回归条件异方差模型,其中,预设样本残差数据集群包括:第二样本时间周期的第一残差数据集,和第三样本时间周期的第二残差数据集,第一残差数据集包括:多个第二样本时刻对应的第一残差数据,第一残差数据为同一第二样本时刻的第四样本数据与第二样本数据的差值,第二残差数据集包括:多个第三样本时刻对应的第二残差数据,第二残差数据为同一第三样本时刻的第五样本数据与第三样本数据的差值。
本发明上述实施例,在预设预测模型的过程中,通过预设自回归移动平均模型表示数据随时间的变化关系,通过预设自回归条件异方差模型表示预测数据随机的误差数据随时间的变化关系,从预设样本数据集群中选出训练数据,可以训练预设自回归移动平均模型;基于训练好的预设自回归移动平均模型进行预测,可以得到预测数据,然后从预设样本数据集群可以获取该预测数据对应的真实数据,并基于预测数据和真实数据的残差数据,其残差数据即为预测数据随机的误差数据,进而将误差数据作为数据,可以训练预设自回归条件异方差模型,基于该预设自回归条件异方差模型可以预测每个预测数据对应误差数据,从而基于预测的误差数据可以对预设自回归移动平均模型的预测数据进行修正,得到更加准确的预测结果。
作为一种可选的实施例,使用第一样本数据集群,训练预设自回归移动平均模型包括:使用初始自回归移动平均模型对第一样本数据集进行分析,得到第二样本时间周期的第六样本数据集,其中,第六样本数据集包括:多个第二样本时刻对应的第六样本数据;比对第六样本数据集与第二样本数据集的差异,得到第一比对结果;根据第一比对结果调整初始自回归移动平均模型中的第一模型参数集,得到预设自回归移动平均模型。
本发明上述实施例,训练预设自回归移动平均模型的过程,即为调整模型中的第一模型参数集的过程,其第一模型参数集可以根据模型输出的预测数据,与真实数据的差异进行调整,差异越小表示模型拟合的越小,进而确定使模型得到较好拟合的第一模型参数集,然后将确定的第一模型参数集输入初始自回归移动平均模型,即可完成对预设自回归移动平均模型的训练。
可选地,自回归移动平均模型ARIMA为:ARIMA(p,d,q),其中,p为自回归项,d为差分次数和q为移动平均项,可以根据经验确定;B表示为后退算子:BkXt=Xt-k;φi为自回归模型AR中的参数,表示在自回归模型中,第i时间周期的历史数据对当前数据的影响程度,通常通过最小二乘法等统计方法来进行估计;θi为移动平均模型MA中的参数,表示在移动平均模型中,第i时间周期的误差对当前数据的影响程度,通常也是通过最小二乘法等统计方法来进行估计。
可选地,第一模型参数集至少包括:φi和θi。
作为一种可选的实施例,使用预设样本残差数据集群,训练预设自回归条件异方差模型包括:确定第二样本数据集群与第一样本数据集群的残差,得到预设样本残差数据集群;检测预设样本残差数据集群中的预设残差数据是否符合白噪声分布,其中,预设残差数据至少包括:第一残差数据和第二残差数据;在预设残差数据符合白噪声分布的情况下,使用预设样本残差数据集,训练预设自回归条件异方差模型。
本发明上述实施例,数据具有偶然性,无法通过预设自回归移动平均模型进行完全的拟合,因此,预测数据和真实数据可以存在较小程度的误差,该误差可以表示为白噪声,进而在训练预设自回归移动平均模型之后,需要基于预设自回归移动平均模型的预测数据进行白噪声检查,若预测数据符合白噪声分布,则说明预设自回归移动平均模型的预测数据足够准确,进而可以基于该预测数据和真实数据的差值进行自回归条件异方差模型的训练。
作为一种可选的实施例,使用预设样本残差数据集群,训练预设自回归条件异方差模型包括:使用初始自回归条件异方差模型对第一残差数据集进行分析,得到第三样本时间周期的第三残差数据集,其中,第三残差数据集包括:多个第三样本时刻对应的第三残差数据;比对第三残差数据集与第二残差数据集的差异,得到第二比对结果;根据第二比对结果调整初始自回归条件异方差模型中的第二模型参数集,得到预设自回归条件异方差模型。
本发明上述实施例,训练预设自回归条件异方差模型的过程,即为调整模型中的第二模型参数集的过程,其第二模型参数集可以根据模型输出的预测残差数据,和预测数据与真实数据的真实残差数据的差异进行调整,差异越小表示模型拟合的越小,进而确定使模型得到较好拟合的第二模型参数集,然后将确定的第二模型参数集输入初始自回归条件异方差模型,即可完成对预设自回归条件异方差模型的训练。
可选地,自回归条件异方差模型GARCH为:GARCH(P,Q),σt2=ω+∑αiεt-i2+∑βiσt-i2,其中,P为自相关项,用于衡量εt-i2(即过去波动率信息)的期数;Q为移动平均项,用于衡量σt-i2(即过去预测误差的波动率信息)的期数;ω是常数项;εt是残差,即实际数据与预测数据之间的差别;σt2是时间t的波动率或方差;αi表示在GARCH模型中,第i时间周期的残差平方对当前波动率的影响程度,基于最大似然估计法来估计;βi表示在GARCH模型中,第i时间周期的波动率对当前波动率的影响程度,也通过最大似然估计法来进行估计。
可选地,第二模型参数集包括:αi和βi。
作为一种可选的实施例,监测预测数据集相对于历史数据集的数据波动程度包括:确定预测数据集与历史数据集的残差,得到预测残差序列,其中,预测残差序列包括:按照时间顺序排列的多个预测残差数据,每个预测残差数据为目标时刻的预测第一预测数据与预设历史数据的残差;确定预测残差序列的统计指标,其中,统计指标至少包括:标准差、方差和均值;根据统计指标,评估数据波动程度。
本发明上述实施例,使用预测数据集与历史数据集的残差进行数据波动分析,通过分析预测数据集与历史数据集的预测残差序列的波动性,可以了解预测的不确定性和未来数据的波动情况。
作为一种可选的实施例,在监测预测数据集与目标时间周期的实际数据集中的数据波动程度之后,方法还包括:使用可视化图表,展示数据波动程度,其中,可视化图表至少包括:曲线图、报表、仪表盘、热力图和动态图表。
本发明上述实施例,数据波动程度可以通过可视化图表展示和分析预测残差序列的统计指标,评估预测结果的准确性和未来数据的波动情况。
需要说明的是较小的残差波动和靠近零的均值表示预测结果较为准确,较大的残差波动和离零较远的均值则表示预测结果不确定性较高。
本发明还提供了一种可选实施例,该可选实施例提供了一种基于大数据和人工智能技术的波动分析预警方法,将大数据和人工智能技术,应用到波动分析预警方法中,实现对波动的更准确、更及时的监测和预警。该预警方法可以应用于各种领域,如金融市场、环境监测、运输物流等,具有重要的应用价值和市场潜力。
近年来,随着大数据和人工智能技术的快速发展,波动分析预警方法可以借助这些技术得到了改进和提升。大数据技术能够实时收集、处理和分析海量数据,提供更准确全面的波动信息;人工智能技术则能够通过机器学习和深度学习等算法,从数据中挖掘出潜在的规律和趋势,实现对波动情况的智能预测和预警。
目前,虽然大数据已经广泛应用于各个领域,但对大数据的分析和利用仍存在一些问题。例如,如何快速、准确地分析海量的数据,并通过分析结果进行波动预测和预警。该发明旨在提供一种有效的方法和***,利用大数据和人工智能技术,解决上述问题,帮助用户及时采取措施,降低可能的风险和损失。
图2是根据本发明实施例的一种波动分析预警方法的示意图,如图2所示,包括步骤如下:
步骤S202,数据收集和预处理。
步骤S204,模型构建和训练。
步骤S206,波动识别和预警。
步骤S208,可视化和分析。
在上述步骤S202中,数据收集和预处理过程,需要收集和整理需要监测的数据,接着对数据进行预处理,以确保分析结果的准确性和可靠性。
可选地,需要监测的数据包括:销售额、访问量、和用户行为等。
可选地,预处理过程包括:数据清洗、去除异常值和数据平滑等。
作为一种可选的示例,数据收集过程包括步骤如下:
步骤S2021,确定需要监测的数据类型和来源,例如销售额数据可以来自电商平台、访问量数据可以来自网站分析工具。
步骤S2022,建立数据收集***,通过API接口、日志记录、传感器等方式实时获取数据,确保数据能够及时、完整地被收集。
步骤S2023,选择使用关系型数据库、分布式文件***等存储技术,确保数据的安全性和可靠性。
作为一种可选的示例,数据预处理过程包括步骤如下:
步骤S2026,数据清洗,用于对收集到的数据进行去除重复值、缺失值处理等清洗操作,以保证数据的完整性和准确性。
步骤S2026,异常值检测,用于对数据进行异常值检测,分析数据是否存在异常的极值或离群值,并根据需要进行处理。如果数据已经经过有效的异常值处理,可以跳过此步骤。
步骤S2026,数据平滑,对波动较大的数据进行平滑处理,消除随机噪声对分析结果的影响。常用的平滑方法包括移动平均法、指数平滑法等。
本发明上述实施例,在数据收集和预处理阶段,旨在确保数据的质量和完整性,为后续的波动分析预警提供可靠的数据基础。
需要说明的是,在一些应用场景下,是不需要做数据清洗和去除异常值的,包括以下应用场景:
可选地,针对实时传感器进行数据采集的场景,例如在环境监测中,通过传感器设备实时采集环境数据,由于设备本身具备高准确度和可靠性,数据经过校准和筛选,一般没有明显的异常值或噪声,因此不需要进行数据清洗和去除异常值的处理。
可选地,针对数据库导出数据的场景:当数据来自于已经经过严格管理和质量控制的数据库***,并且采用了有效的数据约束和验证机制,通常已经排除了异常值和错误数据,因此在这种情况下,不需要进行数据清洗和去除异常值的操作。
可选地,针对数据源可靠性高的场景,如果数据来源可靠、数据采集和整理过程规范并受到有效监控,那么数据中的异常值和错误数据的概率很低,可以认为数据质量已经足够高,不需要进行清洗和去除异常值的操作。
例如:在双11业务高点的情况下,数据异常值处理可以被认为是可选的,因为在这个特定的情景下,异常值的出现可能是正常的业务行为,而不是真正的异常。
需要说明的是,在双11业务高点情况下,不需要进行数据异常值处理的情形,受高峰期特性和业务需求的影响。
例如,针对高峰期特性,双11是电商行业的重要购物促销活动,在这个期间,数据的波动性和异常值的出现是正常的,这是由大量用户活动和交易量的增加引起的。因此,将某些异常值视为正常的波动现象,不需要对这些异常值进行额外的处理。
又例如,针对业务需求,在双11期间,电商企业可能会根据业务策略进行一些特殊的推广措施,例如闪购、抢购等活动,这些活动可能会导致数据的异常值出现。但这些异常值是为了吸引和激励用户而设定的,并不需要被视为数据错误或异常。
在上述步骤S204中,模型构建和训练,用于在数据预处理完成后,构建模型并进行训练。
可选地,采用GARCH模型与ARIMA模型相结合的方法,可以改进传统ARIMA模型,使其具有处理高频数据、考虑异方差性等问题的能力,这种模型全称为ARIMA-GARCH模型;在时间序列中,可以使用GARCH模型描述波动性聚集和杠杆效应等特性。
图3是根据本发明实施例的一种ARIMA-GARCH模型训练过程的示意图,如图3所示,ARIMA模型与GARCH模型的结合叫做ARIMA-GARCH模型,它是时间序列分析在面临高频数据和波动性问题时的常用工具,具体训练过程包括步骤如下:
步骤S31,数据预处理,实现对数据进行清洗,处理缺失值,异常值等;并且,确定数据是否平稳,如果序列非平稳,可以通过差分,对数变换等方式进行处理。
步骤S32,确定ARIMA模型阶数,构建ARIMA模型,确定最佳的参数,如确定自回归项p、差分次数d和移动平均项q。可以通过自相关函数图ACF和偏自相关函数图PACF结合AIC,BIC等准则进行确定,也可以使用自动化模型选择工具。
步骤S33,训练ARIMA模型,使用极大似然估计法或其它适配方法进行参数训练,得到ARIMA模型的参数。
步骤S34,残差检验。在ARIMA模型训练后,计算残差数据,观察残差数据的分布情况,并进行模型诊断;如果残差数据表现为白噪声分布,则说明ARIMA模型拟合良好,接着进行GARCH模型的训练,如果残差数据不满足白噪声分布,则需要调整ARIMA模型的参数重新训练。
步骤S35,确定GARCH模型阶数,可以在基于ARIMA模型的残差数据的基础上,构建GARCH模型。确定最佳的自相关项P和移动平均项Q参数,同样可以通过自相关函数图ACF和偏自相关函数图PACF图结合AIC,BIC等准则进行确定。
步骤S36,训练GARCH模型,使用极大似然估计法对GARCH模型进行训练,得到GARCH模型的参数。
步骤S37,模型检验,对ARIMA-GARCH模型总体进行检验,如果通过则ARIMA-GARCH模型建立完成;如果未通过检验,则重新调整ARIMA模型的参数和GARCH模型的参数再次训练。
可选地,在大数据波动分析领域,该ARIMA-GARCH模型可用于预警风险,如股市的价格波动、流量波动等风险预警,为决策者提供有价值的决策支持。将ARIMA-GARCH模型应用于实际数据,进行预警分析,当预测的波动度或者风险值达到波动阈值时,发出预警信号。
图4是根据本发明实施例的一种训练ARIMA模型的示意图,如图4所示,包括步骤如下:
S41,构建ARIMA模型。
S42,模型训练结果80%。
S43,引入专家经验20%。
S44,通过模型的预测函数获得未来一段时间内的数据预测值,如确定目标时间周期的第二预测数据集。
S45,使用历史数据和预测值的差异(即残差)来进行波动分析。
S46,得出波动预警分析结果。
可选地,在进行模型训练和波动分析时,个人专家经验(占比20%),该专家经验可以根据经验和领域知识,选择合适的时间序列模型。根据数据特点和历史趋势,对模型参数进行初步估计。针对特定领域和数据的特点,做出合理的模型假设和调整。
可选地,在进行预测和波动分析时,可以根据历史数据和训练好的模型计算出未来一段时间内的预测值(如确定目标时间周期的第二预测数据集),并通过计算预测值(也即第二预测数据)的置信区间来分析未来数据的波动。
可选地,在进行分析时,个人专家经验与模型训练结果的占比可以根据行业特性进行调整,具体调整方法可以参考步骤如下:
步骤S2041,行业背景分析。通过研究和了解目标行业的特性,了解该行业中数据分析和专家经验的作用。了解哪些问题或任务更依赖专家的专业知识,哪些问题或任务更依赖模型的数据分析。
步骤S2043,调整权重。根据行业特性和任务要求,调整专家经验和模型的权重。尽量确保这两者的权重总和为100%。
步骤S2044,实施和反馈。实施调整后的分析,并结合实际结果反馈,进行进一步的调整和优化。
本发明上述实施例,专家经验和模型分析各有优势,合理利用它们的优势,才能进行有效的分析和决策。
作为一种可选的实施例,使用训练好的ARIMA-GARCH模型的参数,以及历史数据作为输入,通过模型的预测函数获得未来一段时间内的预测数据。
可选地,已经有了训练好的ARIMA模型和GARCH模型,参数分别为φi,θi,αi,βi。设p和q分别是ARIMA模型的自回归项和移动平均项,P和Q分别是GARCH模型的自相关项和移动平均项。根据模型,可以通过得到未来一期的预测数据。
可选地,将ARIMA模型的公式写作:
其中,X是观测值(如历史数据),ε是随机的误差数据。
可选地,将GARCH模型的公式写作:εt=σt*Zt
其中,Zt~iid N(0,1)是一个标准正态分布。
可选地,结合上述ARIMA模型和GARCH模型,可以预测下一期的观测值(如预测数据)X{t+1}。
其中,ε{t+1}=σ{t+1}*Z{t+1}
可选地,用ARIMA-GARCH模块获得的参数和已知的历史数据代入公式中,即可得到未来一期的预测值(也即确定预测数据)。
需要说明的是,因为GARCH模型的特性,在进行预测时需要同时考虑估计误差的不确定性。
可选地,根据ARIMA-GARCH模块的预测结果,可以得到未来的预测数据,并进行进一步的分析。
在上述步骤S206中,一旦模型完成训练,可以将其应用于实时数据监测过程中。在监测过程中,模型会对当前数据进行波动识别和预警判断。如果数据的波动程度超过了预先设定的波动阈值,***将自动触发预警机制,向相关人员发送警报或通知,以便及时采取措施。
作为一种可选的示例,波动分析包括步骤如下:
步骤S2061,使用历史数据与预测数据的差异(即残差)来进行波动分析,计算历史数据与模型拟合的残差序列res=y-ypred,其中y为历史数据,ypred为对应的预测数据。
步骤S2062,通过分析残差序列的波动性,可以了解预测的不确定性和未来数据的波动情况。该分析方法采用计算残差序列的标准差、方差、均值等统计指标,以及绘制残差图、自相关图。
步骤S2063,根据残差的统计指标和图形分析结果,评估预测的准确性和未来数据的波动情况,其中,较小的残差波动和靠近零的均值表示预测较为准确,较大的残差波动和离零较远的均值则表示预测不确定性较高。
需要说明的是,分析数据的残差序列,可以使用统计方法如标准差、方差等指标,或者根据历史数据的分布情况来判断当前数据的波动程度。根据预先设定的波动阈值,将实时数据的波动程度与波动阈值进行比较,判断是否触发波动预警。
需要说明的是,在基于大数据进行波动预警的过程中,还需要对历史数据分析残差,不断优化模型参数或者专家经验指标,达到降噪的效果,可以是波动预警结果更加准确。
作为一种可选的示例,降噪过程包括步骤如下:
步骤S2064,收集和整理数据。通过对模型的预测数据和实际数据进行收集,使用相同的时间线和其他对应的标签进行整理,以便准确计算残差。
步骤S2065,计算残差。
需要说明的是,残差是指预测数据与实际数据之间的差异,具体计算方法是对每一项数据,使用实际值减去预测值。
步骤S2066,观察残差分布。通过绘制残差的分布图(如直方图、箱形图等),观察其分布形态。
可选地,如果残差集中在零附近并且形态近似正态分布,说明模型的预测性能相对较好,噪声主要来自随机因素;如果残差呈现某种***性的模式,说明模型可能存在偏误。
步骤S2067,残差序列检测。通过对残差序列进行时间序列图分析,可以判断是否存在季节性、趋势性等;还可以进行自相关性检验,判断残差的前后值是否存在相关性。
步骤S2068,分析噪声来源。通过识别可能的噪声来源,判断噪声是来自数据质量问题(如错误数据、异常值等)、模型问题(如模型偏差、过拟合或欠拟合),还是其他原因(如环境变化、预测期间发生的突发事件等)。
步骤S2069,处理噪声。根据噪声来源的分析结果,采取相应的方法处理相应的问题。例如,修复数据错误、优化模型、采取滤波器等降噪方法。
需要说明的是,上述步骤S2064至步骤2069为迭代过程,每处理完一次噪声都需要重新计算残差,并进行分析理解,直到达到满意的效果。
作为一种可选的示例,如果数据的波动程度超过了预先设定的预警阈值,***将自动触发波动预警机制。
可选地,预警机制可以通过发送警报、短信、电子邮件或其他通知方式,向相关人员传递预警信息;进而相关人员可以根据接收到的预警信息,立即采取相应的措施或决策,以应对波动情况。
可选地,在波动识别和预警过程中,可以根据具体情况对波动阈值进行动态调整,以使预警机制更加精准和可靠。
可选地,波动分析和预警过程中,还可以结合其他因素如外部环境因素、市场变化等,进行综合的波动分析和预警判断。这样可以及时发现异常波动,并采取适当的措施,以减少潜在的风险和损失。
在上述步骤S208中,为了方便使用者理解和分析数据波动情况,通过可视化手段将监测结果展示给使用者,如曲线图、报表、仪表盘、热力图、以及动态图表等。可视化能够直观地展现数据的波动情况,帮助使用者快速识别和分析问题,并做出相应的决策和调整。
可选地,使用曲线图可以将历史数据和预测数据以连续的线条形式展示。可以使用不同的颜色或线条类型来区分观测数据和预测数据,以便于直观地识别数据的波动情况和趋势变化。
可选地,报表可以包含各种统计指标和指标的变化趋势。通过表格、图表、饼图等形式展示,使使用者能够快速了解数据的波动情况和关键指标的变化。
可选地,仪表盘是一种集成了多个指标的可视化工具,可以一次性展示多个关键指标的波动情况。使用者可以通过仪表盘,轻松监测多个指标,并根据波动情况做出决策。
可选地,热力图用颜色编码的方式展示不同时间段或不同区域的数据波动情况。可以根据颜色的深浅来表明数据的强度和波动程度,帮助使用者在大量数据中直观地发现异常波动。
可选地,使用动态图表可以将数据的波动情况以时间序列的方式展示出来,如滚动曲线图或动画图表。这种可视化形式使使用者能够更好地观察数据的波动趋势和变化。
本发明上述实施例,通过可视化手段,使用者可以更加方便地理解和分析数据的波动情况,快速识别异常波动并做出相应的决策和调整;同时,可视化还有助于发现数据中隐藏的模式和关联性,为进一步的分析和预测提供指导。
本发明提供的技术方案,具有高准确性,通过大数据分析和人工智能技术的应用,能够准确地把握不同领域中的波动情况,提高预测的准确性,帮助用户做出更明智的决策。
本发明提供的技术方案,具有高效性,采用分布式计算和存储技术对大数据进行处理,提高处理速度和效率,使得预测和预警能够在最短时间内得出结果,为用户提供及时的信息支持;具有强适应性,可以适用于各个领域的波动分析和预警,具有很强的适应性和灵活性,能够满足不同行业和领域的需求;具有智能化支持,除了提供准确的预测和预警信息外,还能根据预测结果为用户提供智能决策支持,帮助用户做出正确的决策,并及时采取措施,防范风险和减少损失;可以减少人力成本,利用自动化的大数据和人工智能技术,能够在较少人力参与的情况下完成波动分析和预警任务,降低了人力成本和工作强度。
综上,本申请提供的技术方案,能够提供准确、高效、智能的波动分析预警服务,帮助用户降低风险和损失,提高工作效率,具有广泛的应用前景。
根据本发明实施例,还提供了一种数据的波动预警装置实施例,需要说明的是,该数据的波动预警装置可以用于执行本发明实施例中的数据的波动预警方法,本发明实施例中的数据的波动预警方法可以在该数据的波动预警装置中执行。
图5是根据本发明实施例的一种数据的波动预警装置的示意图,如图5所示,该装置可以包括:获取模块52,用于获取历史时间周期的历史数据集,其中,历史时间周期包括:多个历史时刻,历史数据集包括:多个历史时刻对应的历史数据;分析模块54,用于使用预设预测模型对历史数据集进行分析,得到目标时间周期的第一预测数据集,其中,预设预测模型至少包括:预设自回归移动平均模型和预设自回归条件异方差模型,预设自回归移动平均模型用于根据历史数据集,预测目标时间周期的第二预测数据集,预设自回归条件异方差模型用于预测目标时间周期的误差数据集,目标时间周期包括:多个目标时刻,第一预测数据集包括:至少一个目标时刻对应的第一预测数据,第二预测数据集包括:至少一个目标时刻对应的第二预测数据,误差数据集包括:至少一个目标时刻对应的误差数据,第一预测数据为同一目标时刻的第二预测数据与误差数据的修正结果;监测模块56,用于监测预测数据集相对于历史数据集的数据波动程度;预警模块58,用于在数据波动程度超过波动阈值的情况下,进行波动预警。
需要说明的是,该实施例中的获取模块52可以用于执行本申请实施例中的步骤S102,该实施例中的分析模块54可以用于执行本申请实施例中的步骤S104,该实施例中的监测模块56可以用于执行本申请实施例中的步骤S106,该实施例中的预警模块58可以用于执行本申请实施例中的步骤S108。上述模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例所公开的内容。
在本发明实施例中,预设预测模型可以是利用人工智能技术,通过机器学***均模型和预设自回归条件异方差模型结合的预设预测模型,具有处理高频数据、考虑异方差性等问题的能力,通过预设自回归移动平均模型可以根据历史数据集预测目标时间周期的第二预设数据集合,通过预设自回归条件异方差模型可以考虑预测结果的误差不确定性,对第二预设数据集合进行修正,可以得到更加准确的第二预测数据集,进而基于第二预测数据集,可以预测目标时间周期的数据波动程度,并根据预测的数据波动程度进行预警,从而实现了对波动情况的智能预测和预警的技术效果,进而解决了现有技术无法针对大规模数据环境进行数据的波动分析预警技术问题。
作为一种可选的实施例,装置还包括:获取子模块,用于在使用预设预测模型对历史数据集进行分析,得到目标时间周期的第一预测数据集之前,获取预设样本时间周期的预设样本数据集群,其中,预设样本时间周期至少包括连续的第一样本时间周期、第二样本时间周期和第三样本时间周期,第一样本时间周期包括:多个第一样本时刻,第二样本时间周期包括:多个第二样本时刻,第三样本时间周期包括:多个第三样本时刻,预设样本数据集群至少包括:第一样本时间周期的第一样本数据集、第二样本时间周期的第二样本数据集、和第三样本时间周期的第三样本数据集,第一样本数据集包括:多个第一样本时刻对应的第一样本数据,第二样本数据集包括:多个第二样本时刻对应的第二样本数据,第三样本数据集包括:多个第三样本时刻对应的第三样本数据;第一训练子模块,用于使用第一样本数据集群,训练预设自回归移动平均模型,其中,第一样本数据集群包括:第一样本数据集和第二样本数据集;分析子模块,用于使用预设自回归移动平均模型对第一样本数据集群进行分析,得到第二样本数据集群,其中,第二样本数据集群包括:第二样本时间周期的第四样本数据集,和第三样本时间周期的第五样本数据集,第四样本数据集为基于第一样本数据集的预测结果,第五样本数据集为基于第二样本数据集的预测结果,第四样本数据集包括:多个第二样本时刻对应的第四样本数据,第五样本数据集包括:多个第三样本时刻对应的第五样本数据;第二训练子模块,用于使用预设样本残差数据集群,训练预设自回归条件异方差模型,其中,预设样本残差数据集群包括:第二样本时间周期的第一残差数据集,和第三样本时间周期的第二残差数据集,第一残差数据集包括:多个第二样本时刻对应的第一残差数据,第一残差数据为同一第二样本时刻的第四样本数据与第二样本数据的差值,第二残差数据集包括:多个第三样本时刻对应的第二残差数据,第二残差数据为同一第三样本时刻的第五样本数据与第三样本数据的差值。
作为一种可选的实施例,第一训练子模块包括:第一分析单元,用于使用初始自回归移动平均模型对第一样本数据集进行分析,得到第二样本时间周期的第六样本数据集,其中,第六样本数据集包括:多个第二样本时刻对应的第六样本数据;第一比对单元,用于比对第六样本数据集与第二样本数据集的差异,得到第一比对结果;第一调整单元,用于根据第一比对结果调整初始自回归移动平均模型中的第一模型参数集,得到预设自回归移动平均模型。
作为一种可选的实施例,第二训练子模块包括:确定单元,用于确定第二样本数据集群与第一样本数据集群的残差,得到预设样本残差数据集群;检测单元,用于检测预设样本残差数据集群中的预设残差数据是否符合白噪声分布,其中,预设残差数据至少包括:第一残差数据和第二残差数据;训练单元,用于在预设残差数据符合白噪声分布的情况下,使用预设样本残差数据集,训练预设自回归条件异方差模型。
作为一种可选的实施例,第二训练子模块包括:第二分析单元,用于使用初始自回归条件异方差模型对第一残差数据集进行分析,得到第三样本时间周期的第三残差数据集,其中,第三残差数据集包括:多个第三样本时刻对应的第三残差数据;第二比对单元,用于比对第三残差数据集与第二残差数据集的差异,得到第二比对结果;第二调整单元,用于根据第二比对结果调整初始自回归条件异方差模型中的第二模型参数集,得到预设自回归条件异方差模型。
作为一种可选的实施例,监测模块包括:第一确定子单元,用于确定预测数据集与历史数据集的残差,得到预测残差序列,其中,预测残差序列包括:按照时间顺序排列的多个预测残差数据,每个预测残差数据为目标时刻的预测第一预测数据与预设历史数据的残差;第二确定子单元,用于确定预测残差序列的统计指标,其中,统计指标至少包括:标准差、方差和均值;评估子单元,用于根据统计指标,评估数据波动程度。
作为一种可选的实施例,装置还包括:展示子模块,用于在监测预测数据集与目标时间周期的实际数据集中的数据波动程度之后,使用可视化图表,展示数据波动程度,其中,可视化图表至少包括:曲线图、报表、仪表盘、热力图和动态图表。
本发明的实施例可以提供一种计算机终端,该计算机终端可以是计算机终端群中的任意一个计算机终端设备。可选地,在本实施例中,上述计算机终端也可以替换为移动终端等终端设备。
可选地,在本实施例中,上述计算机终端可以位于计算机网络的多个网络设备中的至少一个网络设备。
在本实施例中,上述计算机终端可以执行数据的波动预警方法中以下步骤的程序代码:获取历史时间周期的历史数据集,其中,历史时间周期包括:多个历史时刻,历史数据集包括:多个历史时刻对应的历史数据;使用预设预测模型对历史数据集进行分析,得到目标时间周期的第一预测数据集,其中,预设预测模型至少包括:预设自回归移动平均模型和预设自回归条件异方差模型,预设自回归移动平均模型用于根据历史数据集,预测目标时间周期的第二预测数据集,预设自回归条件异方差模型用于预测目标时间周期的误差数据集,目标时间周期包括:多个目标时刻,第一预测数据集包括:至少一个目标时刻对应的第一预测数据,第二预测数据集包括:至少一个目标时刻对应的第二预测数据,误差数据集包括:至少一个目标时刻对应的误差数据,第一预测数据为同一目标时刻的第二预测数据与误差数据的修正结果;监测预测数据集相对于历史数据集的数据波动程度;在数据波动程度超过波动阈值的情况下,进行波动预警。
可选地,图6是根据本发明实施例的一种计算机终端的结构框图。如图6所示,该计算机终端60可以包括:一个或多个(图中仅示出一个)处理器62、和存储器64。
其中,存储器可用于存储软件程序以及模块,如本发明实施例中的数据的波动预警方法和装置对应的程序指令/模块,处理器通过运行存储在存储器内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的数据的波动预警方法。存储器可包括高速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器可进一步包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至终端60。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
处理器可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:获取历史时间周期的历史数据集,其中,历史时间周期包括:多个历史时刻,历史数据集包括:多个历史时刻对应的历史数据;使用预设预测模型对历史数据集进行分析,得到目标时间周期的第一预测数据集,其中,预设预测模型至少包括:预设自回归移动平均模型和预设自回归条件异方差模型,预设自回归移动平均模型用于根据历史数据集,预测目标时间周期的第二预测数据集,预设自回归条件异方差模型用于预测目标时间周期的误差数据集,目标时间周期包括:多个目标时刻,第一预测数据集包括:至少一个目标时刻对应的第一预测数据,第二预测数据集包括:至少一个目标时刻对应的第二预测数据,误差数据集包括:至少一个目标时刻对应的误差数据,第一预测数据为同一目标时刻的第二预测数据与误差数据的修正结果;监测预测数据集相对于历史数据集的数据波动程度;在数据波动程度超过波动阈值的情况下,进行波动预警。
可选的,上述处理器还可以执行如下步骤的程序代码:在使用预设预测模型对历史数据集进行分析,得到目标时间周期的第一预测数据集之前,获取预设样本时间周期的预设样本数据集群,其中,预设样本时间周期至少包括连续的第一样本时间周期、第二样本时间周期和第三样本时间周期,第一样本时间周期包括:多个第一样本时刻,第二样本时间周期包括:多个第二样本时刻,第三样本时间周期包括:多个第三样本时刻,预设样本数据集群至少包括:第一样本时间周期的第一样本数据集、第二样本时间周期的第二样本数据集、和第三样本时间周期的第三样本数据集,第一样本数据集包括:多个第一样本时刻对应的第一样本数据,第二样本数据集包括:多个第二样本时刻对应的第二样本数据,第三样本数据集包括:多个第三样本时刻对应的第三样本数据;使用第一样本数据集群,训练预设自回归移动平均模型,其中,第一样本数据集群包括:第一样本数据集和第二样本数据集;使用预设自回归移动平均模型对第一样本数据集群进行分析,得到第二样本数据集群,其中,第二样本数据集群包括:第二样本时间周期的第四样本数据集,和第三样本时间周期的第五样本数据集,第四样本数据集为基于第一样本数据集的预测结果,第五样本数据集为基于第二样本数据集的预测结果,第四样本数据集包括:多个第二样本时刻对应的第四样本数据,第五样本数据集包括:多个第三样本时刻对应的第五样本数据;使用预设样本残差数据集群,训练预设自回归条件异方差模型,其中,预设样本残差数据集群包括:第二样本时间周期的第一残差数据集,和第三样本时间周期的第二残差数据集,第一残差数据集包括:多个第二样本时刻对应的第一残差数据,第一残差数据为同一第二样本时刻的第四样本数据与第二样本数据的差值,第二残差数据集包括:多个第三样本时刻对应的第二残差数据,第二残差数据为同一第三样本时刻的第五样本数据与第三样本数据的差值。
可选的,上述处理器还可以执行如下步骤的程序代码:使用初始自回归移动平均模型对第一样本数据集进行分析,得到第二样本时间周期的第六样本数据集,其中,第六样本数据集包括:多个第二样本时刻对应的第六样本数据;比对第六样本数据集与第二样本数据集的差异,得到第一比对结果;根据第一比对结果调整初始自回归移动平均模型中的第一模型参数集,得到预设自回归移动平均模型。
可选的,上述处理器还可以执行如下步骤的程序代码:确定第二样本数据集群与第一样本数据集群的残差,得到预设样本残差数据集群;检测预设样本残差数据集群中的预设残差数据是否符合白噪声分布,其中,预设残差数据至少包括:第一残差数据和第二残差数据;在预设残差数据符合白噪声分布的情况下,使用预设样本残差数据集,训练预设自回归条件异方差模型。
可选的,上述处理器还可以执行如下步骤的程序代码:使用初始自回归条件异方差模型对第一残差数据集进行分析,得到第三样本时间周期的第三残差数据集,其中,第三残差数据集包括:多个第三样本时刻对应的第三残差数据;比对第三残差数据集与第二残差数据集的差异,得到第二比对结果;根据第二比对结果调整初始自回归条件异方差模型中的第二模型参数集,得到预设自回归条件异方差模型。
可选的,上述处理器还可以执行如下步骤的程序代码:确定预测数据集与历史数据集的残差,得到预测残差序列,其中,预测残差序列包括:按照时间顺序排列的多个预测残差数据,每个预测残差数据为目标时刻的预测第一预测数据与预设历史数据的残差;确定预测残差序列的统计指标,其中,统计指标至少包括:标准差、方差和均值;根据统计指标,评估数据波动程度。
可选的,上述处理器还可以执行如下步骤的程序代码:在监测预测数据集与目标时间周期的实际数据集中的数据波动程度之后,使用可视化图表,展示数据波动程度,其中,可视化图表至少包括:曲线图、报表、仪表盘、热力图和动态图表。
采用本发明实施例,提供了一种数据的波动预警的方案。在本发明实施例中,预设预测模型可以是利用人工智能技术,通过机器学***均模型和预设自回归条件异方差模型结合的预设预测模型,具有处理高频数据、考虑异方差性等问题的能力,通过预设自回归移动平均模型可以根据历史数据集预测目标时间周期的第二预设数据集合,通过预设自回归条件异方差模型可以考虑预测结果的误差不确定性,对第二预设数据集合进行修正,可以得到更加准确的第二预测数据集,进而基于第二预测数据集,可以预测目标时间周期的数据波动程度,并根据预测的数据波动程度进行预警,从而实现了对波动情况的智能预测和预警的技术效果,进而解决了现有技术无法针对大规模数据环境进行数据的波动分析预警技术问题。
本领域普通技术人员可以理解,图6所示的结构仅为示意,计算机终端也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌声电脑以及移动互联网设备(MobileInternet Devices,MID)、PAD等终端设备。图6其并不对上述电子装置的结构造成限定。例如,计算机终端60还可包括比图6中所示更多或者更少的组件(如网络接口、显示装置等),或者具有与图6所示不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一非易失性介质中,非易失性存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(Random Access Memory,RAM)、磁盘或光盘等。
本发明的实施例还提供了一种非易失性存储介质。可选地,在本实施例中,上述非易失性存储介质可以用于保存上述实施例所提供的数据的波动预警方法所执行的程序代码。
可选地,在本实施例中,上述非易失性存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中,或者位于移动终端群中的任意一个移动终端中。
可选地,在本实施例中,非易失性存储介质被设置为存储用于执行以下步骤的程序代码:获取历史时间周期的历史数据集,其中,历史时间周期包括:多个历史时刻,历史数据集包括:多个历史时刻对应的历史数据;使用预设预测模型对历史数据集进行分析,得到目标时间周期的第一预测数据集,其中,预设预测模型至少包括:预设自回归移动平均模型和预设自回归条件异方差模型,预设自回归移动平均模型用于根据历史数据集,预测目标时间周期的第二预测数据集,预设自回归条件异方差模型用于预测目标时间周期的误差数据集,目标时间周期包括:多个目标时刻,第一预测数据集包括:至少一个目标时刻对应的第一预测数据,第二预测数据集包括:至少一个目标时刻对应的第二预测数据,误差数据集包括:至少一个目标时刻对应的误差数据,第一预测数据为同一目标时刻的第二预测数据与误差数据的修正结果;监测预测数据集相对于历史数据集的数据波动程度;在数据波动程度超过波动阈值的情况下,进行波动预警。
可选地,在本实施例中,非易失性存储介质被设置为存储用于执行以下步骤的程序代码:在使用预设预测模型对历史数据集进行分析,得到目标时间周期的第一预测数据集之前,获取预设样本时间周期的预设样本数据集群,其中,预设样本时间周期至少包括连续的第一样本时间周期、第二样本时间周期和第三样本时间周期,第一样本时间周期包括:多个第一样本时刻,第二样本时间周期包括:多个第二样本时刻,第三样本时间周期包括:多个第三样本时刻,预设样本数据集群至少包括:第一样本时间周期的第一样本数据集、第二样本时间周期的第二样本数据集、和第三样本时间周期的第三样本数据集,第一样本数据集包括:多个第一样本时刻对应的第一样本数据,第二样本数据集包括:多个第二样本时刻对应的第二样本数据,第三样本数据集包括:多个第三样本时刻对应的第三样本数据;使用第一样本数据集群,训练预设自回归移动平均模型,其中,第一样本数据集群包括:第一样本数据集和第二样本数据集;使用预设自回归移动平均模型对第一样本数据集群进行分析,得到第二样本数据集群,其中,第二样本数据集群包括:第二样本时间周期的第四样本数据集,和第三样本时间周期的第五样本数据集,第四样本数据集为基于第一样本数据集的预测结果,第五样本数据集为基于第二样本数据集的预测结果,第四样本数据集包括:多个第二样本时刻对应的第四样本数据,第五样本数据集包括:多个第三样本时刻对应的第五样本数据;使用预设样本残差数据集群,训练预设自回归条件异方差模型,其中,预设样本残差数据集群包括:第二样本时间周期的第一残差数据集,和第三样本时间周期的第二残差数据集,第一残差数据集包括:多个第二样本时刻对应的第一残差数据,第一残差数据为同一第二样本时刻的第四样本数据与第二样本数据的差值,第二残差数据集包括:多个第三样本时刻对应的第二残差数据,第二残差数据为同一第三样本时刻的第五样本数据与第三样本数据的差值。
可选地,在本实施例中,非易失性存储介质被设置为存储用于执行以下步骤的程序代码:使用初始自回归移动平均模型对第一样本数据集进行分析,得到第二样本时间周期的第六样本数据集,其中,第六样本数据集包括:多个第二样本时刻对应的第六样本数据;比对第六样本数据集与第二样本数据集的差异,得到第一比对结果;根据第一比对结果调整初始自回归移动平均模型中的第一模型参数集,得到预设自回归移动平均模型。
可选地,在本实施例中,非易失性存储介质被设置为存储用于执行以下步骤的程序代码:确定第二样本数据集群与第一样本数据集群的残差,得到预设样本残差数据集群;检测预设样本残差数据集群中的预设残差数据是否符合白噪声分布,其中,预设残差数据至少包括:第一残差数据和第二残差数据;在预设残差数据符合白噪声分布的情况下,使用预设样本残差数据集,训练预设自回归条件异方差模型。
可选地,在本实施例中,非易失性存储介质被设置为存储用于执行以下步骤的程序代码:使用初始自回归条件异方差模型对第一残差数据集进行分析,得到第三样本时间周期的第三残差数据集,其中,第三残差数据集包括:多个第三样本时刻对应的第三残差数据;比对第三残差数据集与第二残差数据集的差异,得到第二比对结果;根据第二比对结果调整初始自回归条件异方差模型中的第二模型参数集,得到预设自回归条件异方差模型。
可选地,在本实施例中,非易失性存储介质被设置为存储用于执行以下步骤的程序代码:确定预测数据集与历史数据集的残差,得到预测残差序列,其中,预测残差序列包括:按照时间顺序排列的多个预测残差数据,每个预测残差数据为目标时刻的预测第一预测数据与预设历史数据的残差;确定预测残差序列的统计指标,其中,统计指标至少包括:标准差、方差和均值;根据统计指标,评估数据波动程度。
可选地,在本实施例中,非易失性存储介质被设置为存储用于执行以下步骤的程序代码:在监测预测数据集与目标时间周期的实际数据集中的数据波动程度之后,使用可视化图表,展示数据波动程度,其中,可视化图表至少包括:曲线图、报表、仪表盘、热力图和动态图表。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个非易失性存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个非易失性存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的非易失性存储介质包括:U盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种数据的波动预警方法,其特征在于,包括:
获取历史时间周期的历史数据集,其中,所述历史时间周期包括:多个历史时刻,所述历史数据集包括:多个所述历史时刻对应的历史数据;
使用预设预测模型对所述历史数据集进行分析,得到目标时间周期的第一预测数据集,其中,所述预设预测模型至少包括:预设自回归移动平均模型和预设自回归条件异方差模型,所述预设自回归移动平均模型用于根据所述历史数据集,预测所述目标时间周期的第二预测数据集,所述预设自回归条件异方差模型用于预测所述目标时间周期的误差数据集,所述目标时间周期包括:多个目标时刻,所述第一预测数据集包括:至少一个所述目标时刻对应的第一预测数据,所述第二预测数据集包括:至少一个所述目标时刻对应的第二预测数据,所述误差数据集包括:至少一个所述目标时刻对应的误差数据,所述第一预测数据为同一所述目标时刻的所述第二预测数据与所述误差数据的修正结果;
监测所述预测数据集相对于所述历史数据集的数据波动程度;
在所述数据波动程度超过波动阈值的情况下,进行波动预警。
2.根据权利要求1所述的方法,其特征在于,在使用预设预测模型对所述历史数据集进行分析,得到目标时间周期的第一预测数据集之前,所述方法还包括:
获取预设样本时间周期的预设样本数据集群,其中,所述预设样本时间周期至少包括连续的第一样本时间周期、第二样本时间周期和第三样本时间周期,所述第一样本时间周期包括:多个第一样本时刻,所述第二样本时间周期包括:多个第二样本时刻,所述第三样本时间周期包括:多个第三样本时刻,所述预设样本数据集群至少包括:所述第一样本时间周期的第一样本数据集、所述第二样本时间周期的第二样本数据集、和所述第三样本时间周期的第三样本数据集,所述第一样本数据集包括:多个所述第一样本时刻对应的第一样本数据,所述第二样本数据集包括:多个所述第二样本时刻对应的第二样本数据,所述第三样本数据集包括:多个所述第三样本时刻对应的第三样本数据;
使用第一样本数据集群,训练所述预设自回归移动平均模型,其中,所述第一样本数据集群包括:所述第一样本数据集和所述第二样本数据集;
使用所述预设自回归移动平均模型对所述第一样本数据集群进行分析,得到第二样本数据集群,其中,第二样本数据集群包括:所述第二样本时间周期的第四样本数据集,和所述第三样本时间周期的第五样本数据集,所述第四样本数据集为基于所述第一样本数据集的预测结果,所述第五样本数据集为基于所述第二样本数据集的预测结果,所述第四样本数据集包括:多个所述第二样本时刻对应的第四样本数据,所述第五样本数据集包括:多个所述第三样本时刻对应的第五样本数据;
使用预设样本残差数据集群,训练所述预设自回归条件异方差模型,其中,所述预设样本残差数据集群包括:所述第二样本时间周期的第一残差数据集,和所述第三样本时间周期的第二残差数据集,所述第一残差数据集包括:多个所述第二样本时刻对应的第一残差数据,所述第一残差数据为同一所述第二样本时刻的所述第四样本数据与所述第二样本数据的差值,所述第二残差数据集包括:多个所述第三样本时刻对应的第二残差数据,所述第二残差数据为同一所述第三样本时刻的所述第五样本数据与所述第三样本数据的差值。
3.根据权利要求2所述的方法,其特征在于,使用第一样本数据集群,训练所述预设自回归移动平均模型包括:
使用初始自回归移动平均模型对所述第一样本数据集进行分析,得到所述第二样本时间周期的第六样本数据集,其中,所述第六样本数据集包括:多个所述第二样本时刻对应的第六样本数据;
比对所述第六样本数据集与所述第二样本数据集的差异,得到第一比对结果;
根据所述第一比对结果调整所述初始自回归移动平均模型中的第一模型参数集,得到所述预设自回归移动平均模型。
4.根据权利要求2所述的方法,其特征在于,使用预设样本残差数据集群,训练所述预设自回归条件异方差模型包括:
确定所述第二样本数据集群与所述第一样本数据集群的残差,得到预设样本残差数据集群;
检测所述预设样本残差数据集群中的预设残差数据是否符合白噪声分布,其中,所述预设残差数据至少包括:所述第一残差数据和所述第二残差数据;
在所述预设残差数据符合所述白噪声分布的情况下,使用所述预设样本残差数据集,训练所述预设自回归条件异方差模型。
5.根据权利要求2所述的方法,其特征在于,使用预设样本残差数据集群,训练所述预设自回归条件异方差模型包括:
使用初始自回归条件异方差模型对所述第一残差数据集进行分析,得到所述第三样本时间周期的第三残差数据集,其中,所述第三残差数据集包括:多个所述第三样本时刻对应的第三残差数据;
比对所述第三残差数据集与所述第二残差数据集的差异,得到第二比对结果;
根据所述第二比对结果调整所述初始自回归条件异方差模型中的第二模型参数集,得到所述预设自回归条件异方差模型。
6.根据权利要求1所述的方法,其特征在于,监测所述预测数据集相对于所述历史数据集的数据波动程度包括:
确定所述预测数据集与所述历史数据集的残差,得到预测残差序列,其中,所述预测残差序列包括:按照时间顺序排列的多个预测残差数据,每个所述预测残差数据为所述目标时刻的预测第一预测数据与预设历史数据的残差;
确定所述预测残差序列的统计指标,其中,所述统计指标至少包括:标准差、方差和均值;
根据所述统计指标,评估所述数据波动程度。
7.根据权利要求1所述的方法,其特征在于,在监测所述预测数据集与所述目标时间周期的实际数据集中的数据波动程度之后,所述方法还包括:
使用可视化图表,展示所述数据波动程度,其中,所述可视化图表至少包括:曲线图、报表、仪表盘、热力图和动态图表。
8.一种数据的波动预警装置,其特征在于,包括:
获取模块,用于获取历史时间周期的历史数据集,其中,所述历史时间周期包括:多个历史时刻,所述历史数据集包括:多个所述历史时刻对应的历史数据;
分析模块,用于使用预设预测模型对所述历史数据集进行分析,得到目标时间周期的第一预测数据集,其中,所述预设预测模型至少包括:预设自回归移动平均模型和预设自回归条件异方差模型,所述预设自回归移动平均模型用于根据所述历史数据集,预测所述目标时间周期的第二预测数据集,所述预设自回归条件异方差模型用于预测所述目标时间周期的误差数据集,所述目标时间周期包括:多个目标时刻,所述第一预测数据集包括:至少一个所述目标时刻对应的第一预测数据,所述第二预测数据集包括:至少一个所述目标时刻对应的第二预测数据,所述误差数据集包括:至少一个所述目标时刻对应的误差数据,所述第一预测数据为同一所述目标时刻的所述第二预测数据与所述误差数据的修正结果;
监测模块,用于监测所述预测数据集相对于所述历史数据集的数据波动程度;
预警模块,用于在所述数据波动程度超过波动阈值的情况下,进行波动预警。
9.一种非易失性存储介质,其特征在于,所述非易失性存储介质用于存储程序,其中,在所述程序运行时控制所述非易失性存储介质所在设备执行权利要求1至7中任意一项所述数据的波动预警方法。
10.一种电子设备,其特征在于,包括:存储器和处理器,所述处理器用于运行存储在所述处理器中的程序,其中,所述程序运行时执行权利要求1至7中任意一项所述数据的波动预警方法。
CN202311801387.6A 2023-12-25 2023-12-25 数据波动预警方法、装置、非易失性存储介质及电子设备 Pending CN117744033A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311801387.6A CN117744033A (zh) 2023-12-25 2023-12-25 数据波动预警方法、装置、非易失性存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311801387.6A CN117744033A (zh) 2023-12-25 2023-12-25 数据波动预警方法、装置、非易失性存储介质及电子设备

Publications (1)

Publication Number Publication Date
CN117744033A true CN117744033A (zh) 2024-03-22

Family

ID=90257480

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311801387.6A Pending CN117744033A (zh) 2023-12-25 2023-12-25 数据波动预警方法、装置、非易失性存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN117744033A (zh)

Similar Documents

Publication Publication Date Title
CN110400022B (zh) 自助柜员机现金用量预测方法及装置
CN106598791B (zh) 一种基于机器学习的工业设备故障预防性识别方法
CN110020770A (zh) 基于人工智能的风险和知识管理
US20190180379A1 (en) Life insurance system with fully automated underwriting process for real-time underwriting and risk adjustment, and corresponding method thereof
US11775412B2 (en) Machine learning models applied to interaction data for facilitating modifications to online environments
CN113570396A (zh) 时间序列数据异常检测方法、装置、设备及存储介质
CN110738527A (zh) 一种特征重要性排序方法、装置、设备和存储介质
US20210303436A1 (en) Machine learning based data monitoring
CN117473048B (zh) 基于数据挖掘的财务异常数据监测分析***及方法
CN115358155A (zh) 一种电力大数据异常预警方法、装置、设备及可读存储介质
CN113780329A (zh) 用于识别数据异常的方法、装置、服务器和介质
CN110490132B (zh) 数据处理方法和装置
WO2020157927A1 (ja) 診断システムおよび診断方法
CN114138601A (zh) 一种业务告警方法、装置、设备及存储介质
CN117333012A (zh) 基于数据挖掘的金融风险跟踪管理***、装置和存储介质
CN110413482B (zh) 检测方法和装置
CN117076521A (zh) 基于大数据的运营数据分析方法及***
CN116911991A (zh) 异常交易行为监测方法、装置、设备及存储介质
JP7062505B2 (ja) 設備管理支援システム
CN117744033A (zh) 数据波动预警方法、装置、非易失性存储介质及电子设备
CN115376692A (zh) 一种健康数据的处理方法、装置、电子设备及存储介质
CN113657648B (zh) 一种多维数据融合的设备健康评估方法、装置及运维***
US20210256447A1 (en) Detection for ai-based recommendation
CN115913596A (zh) 一种网络数据安全态势综合评估分析方法
CN113011596A (zh) 一种模型自动更新方法、装置、***及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination