CN111859264A - 一种基于贝叶斯优化及小波分解的时序预测方法及装置 - Google Patents

一种基于贝叶斯优化及小波分解的时序预测方法及装置 Download PDF

Info

Publication number
CN111859264A
CN111859264A CN202010659067.1A CN202010659067A CN111859264A CN 111859264 A CN111859264 A CN 111859264A CN 202010659067 A CN202010659067 A CN 202010659067A CN 111859264 A CN111859264 A CN 111859264A
Authority
CN
China
Prior art keywords
gru
wavelet decomposition
model
decomposition
optimization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010659067.1A
Other languages
English (en)
Other versions
CN111859264B (zh
Inventor
金学波
张家辉
苏婷立
白玉廷
孔建磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Technology and Business University
Original Assignee
Beijing Technology and Business University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Technology and Business University filed Critical Beijing Technology and Business University
Priority to CN202010659067.1A priority Critical patent/CN111859264B/zh
Publication of CN111859264A publication Critical patent/CN111859264A/zh
Application granted granted Critical
Publication of CN111859264B publication Critical patent/CN111859264B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/148—Wavelet transforms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Algebra (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Operations Research (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提出了一种基于贝叶斯优化及小波分解的时序预测方法，所述方法包括：根据贝叶斯优化方法对模型超参数进行优化获得最优超参数，所述模型超参数包括小波分解层数、小波分解中的母小波函数和GRU子预测器的超参数；获取采集数据，根据优化后获得的小波分解层数和小波分解中的母小波函数对所述采集数据进行小波分解获得分解结果；搭建基于GRU子预测器，根据优化后获得的GRU子预测器的超参数对所述分解结果进行学习和预测获得训练结果；根据所述训练结果获得预测结果。本发明使用贝叶斯优化算法进行超参数的优化，在长期的时间序列预测任务中具有很高的准确度。

Description

一种基于贝叶斯优化及小波分解的时序预测方法及装置
技术领域
本申请涉及时间序列预测领域，尤其涉及一种基于贝叶斯优化及小波分解的时序预测方法及装置。
背景技术
随着工业化和城市化进程不断推进，信息存储、传感器网络和计算机技术迅速发展，互联网等技术在人们生活中逐渐扮演重要角色。在互联网的各类交互任务中大量的信息与之而来，这些信息大多是按照相同的时间间隔依次连续产生的时间序列，如气象监测站的温度、大气PM2.5浓度等数据，这些数据不仅是对历史事件的简单记录，同时它们存储了很多有用的信息，比如气象监测站的温度数据中包含一年四季的温度变化规律。因此，针对这些时间序列进行研究挖掘出数据中的潜藏信息，就可以掌握其变化规律提前进行未来数据的预测。
针对历史时序数据进行建模来对未来一段时间的数据进行预测是时序预测的范畴，目前在时序预测领域的研究已经有一定的基础，其方法大致可分为两类。一种是传统概率方法，传统的时间预测方法受到给定数据知识的极大限制，建模条件也比较苛刻，所以这类方法的效果并不好；另一种是机器学习方法，这种方法只需要知道历史数据就可以根据任务需求设计用于参数学习的算法，相对而言模型的建模也比较容易，往往机器学习方法在非线性的预测任务中表现更好。
基于机器学习的时序预测方法是从浅层神经网络开始，但由于网络深度的限制，浅层网络无法准确地对复杂数据进行建模，因此浅层神经网络只能应用在短期预测中，而无法进行准确的长期预测任务。为了改善浅层网络的弊端，网络的结构逐渐加深，循环神经网络(Recurrent Neural Network，RNN)、GRU等深度神经网络成为时序预测的主流研究方向。但经过研究，由于大多数的时间序列数据是从现实环境中获取，因此数据往往具有很强的波动性、随机性、复杂性，只依靠深度神经网络对其进行分析和学习也很难保证预测准确度。
发明内容
为解决上述技术问题之一，本发明提供了一种基于贝叶斯优化及小波分解的时序预测方法及装置。
本发明实施例第一方面提供了一种基于贝叶斯优化及小波分解的时序预测方法，所述方法包括：
根据贝叶斯优化方法对模型超参数进行优化获得最优超参数，所述模型超参数包括小波分解层数、小波分解中的母小波函数和GRU子预测器的超参数；
获取采集数据，根据优化后获得的小波分解层数和小波分解中的母小波函数对所述采集数据进行小波分解获得分解结果；
搭建基于GRU子预测器，根据优化后获得的GRU子预测器的超参数对所述分解结果进行学习和预测获得训练结果；
根据所述训练结果获得预测结果。
优选地，所述根据贝叶斯优化方法对模型超参数进行优化获得最优超参数的过程包括：
定义模型超参数优化的目标函数，所述模型超参数优化的目标函数服从高斯分布；
根据所述模型超参数优化的目标函数获得贝叶斯优化的目标函数；
对所述模型超参数优化的目标函数进行高斯过程处理获得所述模型超参数优化的目标函数的后验概率；
根据所述后验概率的均值和方差采用UCB采集函数对所述贝叶斯优化的目标函数进行参数更新获取最优超参数。
优选地，所述获取采集数据，根据优化后获得的小波分解层数和小波分解中的母小波函数对所述采集数据进行小波分解获得分解结果的过程包括：
根据所述优化后获得的母小波函数以及所述母小波函数所对应的父小波函数将所述采集数据分解为低频分量和高频分量，其中分解层数根据所述优化后获得的小波分解层数确定；
通过低频滤波器对所述低频分量进行处理获得低频子序列；
通过高频滤波器对所述高频分量进行处理获得高频子序列。
优选地，所述搭建基于GRU子预测器，根据优化后获得的GRU子预测器的超参数对所述分解结果进行学习和预测获得训练结果的过程包括：
基于Keras Tensorflow框架搭建GRU子预测器；
通过所述GRU子预测器对小波分解后获得的低频子序列和高频子序列分别进行学习和预测获得各子序列的训练结果。
优选地，所述根据所述训练结果获得预测结果的过程包括：
将所述各子序列的训练结果进行求和处理获得预测结果。
本发明实施例第二方面提供了一种基于贝叶斯优化及小波分解的时序预测装置，所述装置包括处理器，所述处理器，其被配置有处理器可执行的操作指令，以执行如下操作：
根据贝叶斯优化方法对模型超参数进行优化获得最优超参数，所述模型超参数包括小波分解层数、小波分解中的母小波函数和GRU子预测器的超参数；
获取采集数据，根据优化后获得的小波分解层数和小波分解中的母小波函数对所述采集数据进行小波分解获得分解结果；
搭建基于GRU子预测器，根据优化后获得的GRU子预测器的超参数对所述分解结果进行学习和预测获得训练结果；
根据所述训练结果获得预测结果。
优选地，所述处理器，其被配置有处理器可执行的操作指令，以执行如下操作：
定义模型超参数优化的目标函数，所述模型超参数优化的目标函数服从高斯分布；
根据所述模型超参数优化的目标函数获得贝叶斯优化的目标函数；
对所述模型超参数优化的目标函数进行高斯过程处理获得所述模型超参数优化的目标函数的后验概率；
根据所述后验概率的均值和方差采用UCB采集函数对所述贝叶斯优化的目标函数进行参数更新获取最优超参数。
优选地，所述装置还包括低频滤波器和高频滤波器，所述处理器，其被配置有处理器可执行的操作指令，以执行如下操作：
根据所述优化后获得的母小波函数以及所述母小波函数所对应的父小波函数将所述采集数据分解为低频分量和高频分量，其中分解层数根据所述优化后获得的小波分解层数确定；
所述低频滤波器对所述低频分量进行处理获得低频子序列；
所述高频滤波器对所述高频分量进行处理获得高频子序列。
优选地，所述处理器，其被配置有处理器可执行的操作指令，以执行如下操作：
基于Keras Tensorflow框架搭建GRU子预测器；
通过所述GRU子预测器对小波分解后获得的低频子序列和高频子序列分别进行学习和预测获得各子序列的训练结果。
优选地，所述处理器，其被配置有处理器可执行的操作指令，以执行如下操作：
将所述各子序列的训练结果进行求和处理获得预测结果。
本发明的有益效果如下：本发明鉴于时间序列的强非线性和强随机性的特性，提出了一个时序数据分解方法与深度神经网络结合的混合深度学习模型。通过小波分解降低复杂序列的复杂程度，然后使用GRU网络对分解得到的结果进行预测，最后融合得到预测结果。本发明能够有效提高预测的准确性，使用贝叶斯优化算法进行超参数的优化，在长期的时间序列预测任务中具有很高的准确度。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为基于贝叶斯优化及小波分解的时序预测方法的流程图；
图2为小波分解的过程示意图；
图3为小波分解的结果示意图，其中，左侧区域为低频子序列，右侧区域为高频子序列；
图4为GRU子预测器的结构示意图；
图5为WD-GRU混合模型的整体结构框架示意图；
图6为基于贝叶斯优化和随机搜索方法的模型预测曲线示意图；
图7为Decomposition-ARIMA-GRU-GRU，EMD-RNN，EMDCNN_GRU，WD-RNN，WD-LSTM对2016年3月22日至2016年4月9日北京每小时PM2.5的预测结果示意图；
图8为Decomposition-ARIMA-GRU-GRU，EMD-RNN，EMDCNN_GRU，WD-RNN，WD-LSTM的RMSE和MAE细节对比示意图；
图9为Decomposition-ARIMA-GRU-GRU，EMD-RNN，EMDCNN_GRU，WD-RNN，WD-LSTM的NRMSE、SMAPE和R细节对比示意图。
具体实施方式
为了使本申请实施例中的技术方案及优点更加清楚明白，以下结合附图对本申请的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本申请的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
实施例1
如图1所示，本实施例提出了一种基于贝叶斯优化及小波分解的时序预测方法，所述方法包括：
S101、根据贝叶斯优化方法对模型超参数进行优化获得最优超参数。
具体的，深度学习模型的超参数选择直接决定了模型的性能。在本实施例中，通过基于python的hyperopt库实现贝叶斯优化方法的一种：基于序列模型的优化(SMBO)。
在使用贝叶斯优化确定模型参数时，需要定义一个目标函数和优化的超参数空间。由于深度学习的训练过程实际上是一个黑盒，所以使用混合模型的均方根误差(RMSE)来作为模型超参数优化的目标函数：
Figure BDA0002577829280000061
其中，m为输入样本数量，yi(w)为预测值，
Figure BDA0002577829280000062
为实际值。
贝叶斯优化的目标函数可以表示为：
Figure BDA0002577829280000063
其中，w*为贝叶斯优化确定的最优参数，w为输入的一组超参数，W为多维超参数的参数空间。
贝叶斯优化分为高斯过程(GP)和超参数选取两个过程，在高斯过程中，当设置的目标函数g(w)服从如下高斯分布时：
g(w)～GP(μ(w),O(w,w′))
其中，μ(w)为g(w)的均值，O(w,wv)为g(w)的协方差矩阵，初始的O(w,w′)可以表示为：
Figure BDA0002577829280000071
在进行贝叶斯优化时，高斯过程的协方差矩阵会随着迭代过程改变，假设在第t+1步输入的一组参数为wt+1，则此时协方差矩阵可以表示为：
Figure BDA0002577829280000072
其中，o＝[o(wt+1,w1),o(wt+1,w2),...,o(wt+1,wt)]，这时可以得到目标函数的后验概率：
Figure BDA0002577829280000073
其中，θ为观测数据，μt+1(w)为第t+1步g(w)的均值，
Figure BDA0002577829280000074
为第t+1步g(w)的方差。
在得到后验概率后，接下来基于后验概率的均值和方差，通过超参数搜索方法来寻找最优超参数，本实施例通过UCB采集函数来完成超参数搜索：
Figure BDA0002577829280000075
其中，ζt+1为一个常数，S(w|θt)为UCB采集函数，wt+1为选取出的第t+1步的超参数。其中，超参数包括小波分解层数、小波分解中的母小波函数和GRU子预测器的超参数。
S102、获取采集数据，根据优化后获得的小波分解层数和小波分解中的母小波函数对所述采集数据进行小波分解获得分解结果。
具体的，在本实施例中，当获取到采集数据后，对采集数据进行小波分解以降低数据的复杂度。
在对采集数据进行小波分解时，首先需要选择一个母小波函数，而该母小波函数则可以直接选用S101中优化后获得母小波函数：
Figure BDA0002577829280000076
每个母小波函数有一个对应的父小波函数：
Figure BDA0002577829280000081
其中，k为缩放比例系数，k∈R；k≠0，h为平移系数，h∈R，t为时间索引。
通过母小波函数和父小波函数组成的小波基可以将一个复杂序列分解为低频子序列和高频子序列：
Figure BDA0002577829280000082
其中，M(t)为被分解的序列，ak,h表示缩放比例系数为k、平移系数为h的低频分量，dk,h表示缩放比例系数为k、平移系数为h的高频分量，m表示原始序列长度，n表示小波分解层数，该小波分解层数根据S101中优化后获得的小波分解层数确定。然后使用低通滤波器(LPF)和高通滤波器(HPF)来处理ak,h和dk,h，以获得低频子序列Ak,h和高频子序列Dk,h。在图2展示了小波分解过程，图3展示了一个PM2.5序列选择“db35”母小波函数进行8层小波分解的结果。
S103、搭建基于GRU子预测器，根据优化后获得的GRU子预测器的超参数对所述分解结果进行学习和预测获得训练结果。
具体的，GRU是长短期记忆网络(Long Short Term Memory，LSTM)的一个变体，较LSTM网络而言，GRU网络更简单且效果更好，GRU网络结构中只有更新门和重置门。本实施例可使用两层的GRU子预测器对小波分解得到的各个部分进行学习及预测，图4为本实施例中GRU子预测器的结构。其中，GRU子预测器的超参数具体还包括：GRU第一层中的神经元数、Dropout率、训练次数、批处理大小、优化器。
GRU算法伪代码：
(1)对数据集θ进行归一化
Figure BDA0002577829280000083
(2)模型对训练数据进行学习
Learn H based on θ
return H
基于上述S101至S103的过程可实现模型训练部分的内容，即：首先进行超参数寻优过程，根据贝叶斯优化方法确定训练模型的最优超参数，之后使用这组超参数进行模型训练；其次在进行模型训练时，首先基于小波分解对原始序列进行分解，得到相应的低频分量和高频分量，然后分别使用GRU子预测器对各分量进行规律的学习。由此，可以初步得出贝叶斯优化算法的伪代码：
输入：θ是数据集，g(w)是模型的RMSE，W是超参数空间(w∈W)，H(w|θi)是UCB采集函数，T是需要选择的超参数个数，l是小波分解的子序列个数。
输出：最优超参数w*。
(1)进行初始化，θ(l)←InitSamples(g(w),θ,l)
(2)for i←|θ(l)|to T do
(3)对目标函数g(w)建模，计算后验概率
Figure BDA0002577829280000091
(4)使用UCB采集函数进行参数更新，
(5)使用w*超参数对本发明提出模型进行训练，得到预测yi←g(w*)，计算并更新
Figure BDA0002577829280000093
(6)
Figure BDA0002577829280000094
(7)end for
(8)
Figure BDA0002577829280000095
(9)return w*
S104、根据所述训练结果获得预测结果。
具体的，当在S103中使用GRU子预测器对小波分解得到的各个部分进行学习及预测获得各子序列的训练结果后，将所述各子序列的训练结果进行求和处理获得预测结果。
下面通过两个具体实例对本实施例所提出的方法进一步进行说明。
实例1
本实施例所提出的方法中使用贝叶斯优化方法来确定最优超参数，本实例将展示贝叶斯优化方法的使用，并对结果进行验证。
首先对实验所用数据进行说明，研究表明，PM2.5序列具有强非线性和强随机性的序列，因此本实验使用来自美国国务院的PM2.5数据集，该数据集记录了2013年至2017年5年间北京市每小时的PM2.5平均浓度，总计37704为条，数据的单位为μg/m3。将模型预测周期设为24步，即模型实现的功能为前一天24小时的历史数据预测未来24小时的数值，图5展示了本实施例模型的整体结构。测试在2016年3月22日至2016年4月9日北京空气中每小时的PM2.5含量数据上进行。
其次进行超参数的优化过程，根据上述步骤S101，需要定义一个超参数空间和目标函数，表1展示本实例使用的超参数空间，该空间定义了小波分解层数，母小波函数，第一层中的神经元数量，Dropout率，批处理大小，训练次数，优化器的范围，优化过程选择混合模型的RMSE作为目标函数。本实例中在经过选择100次后，贝叶斯优化会提供一组最佳超参数。表2给出贝叶斯优化确定的超参数结果，为了进行对比，使用传统的随机搜索方法同样得到了一组超参数。
接下来进行模型的训练过程，最终的结果如表3所示，其中均方根误差(RMSE)、归一化均方误差(NRMSE)、平均绝对误差(MAE)、对称平均绝对百分比误差(SMAPE)以及皮尔逊相关系数(R)作为模型性能的评估标准。可以看到相比传统的随机优化方法，贝叶斯优化方法训练出来的模型性能更好，RMSE达到21.7300μg/m3，R指标为0.9276，这是一个很不错的表现。图6为基于贝叶斯优化和随即搜索方法的模型预测曲线，曲线A表示基于随机优化方法的预测曲线，曲线B表示基于贝叶斯优化方法的预测曲线，曲线C表示真实值。可以看到基于贝叶斯优化方法的预测曲线与真实值更接近。
本实例中，为了进一步验证贝叶斯优化的可行性，针对不同小波分解层数会影响整体模型性能的现象设置实验，实验中构建10个模型，模型使用表2中贝叶斯优化确定的超参数，各个模型只在小波分解层数的选择上不同，具体实验设置如下：
(1)模型1：执行1层小波分解，并分别为A1和D1训练2个GRU；
(2)模型2：执行2层小波分解，并分别为A2，D1和D2训练3个GRU；
(3)模型3：执行3层小波分解，并分别为A3，D1-D3训练4个GRU；
(4)模型4：执行4层小波分解，并分别为A4，D1-D4训练5个GRU；
(5)模型5：执行5层小波分解，并分别为A5，D1-D5训练6个GRU；
(6)模型6：执行6层小波分解，并分别为A6，D1-D6训练7个GRU；
(7)模型7：执行7层小波分解，并为A7，D1-D7分别训练8个GRU；
(8)模型8：执行8层小波分解，并分别为A8，D1-D8训练9个GRU；
(9)模型9：执行9层小波分解，并分别为A9，D1-D9训练10个GRU；
(10)模型10：执行10层小波分解，并分别为A10，D1-D10训练11个GRU。
表4给出相应模型的5个评估指标，模型8为完全使用贝叶斯优化参数的模型。根据结果，随着小波分解层数的增加，五个指标总体上呈优化趋势，当分解层数达到6时，指标的变化趋于稳定，此时RMSE的值从48.5712μg/m3减少到22.0185μg/m3。模型8在MAE和NRMSE的两个指标中具有最佳值，并且其余的3项指标也很接近10个模型中的最佳值，相差最大的也仅有0.0132，所以综合考虑模型8的性能是最好的，这验证了贝叶斯优化方法的作用。
实验结果表明：使用贝叶斯优化算法进行超参数优化的方法在混合深度学***。
表1贝叶斯优化超参数空间
Figure BDA0002577829280000111
Figure BDA0002577829280000121
表2贝叶斯优化和随机搜索确定的最佳超参数
Figure BDA0002577829280000122
表3基于贝叶斯优化和随机搜索方法的模型性能
Figure BDA0002577829280000123
表4不同小波分解层数的预测性能分析
Figure BDA0002577829280000131
表5同一测试集下六个模型的预测指标
Figure BDA0002577829280000132
实例2
在实例1中实现贝叶斯优化算法并验证了可行性，在本实例中通过与其他模型进行对比来展示本实施例提出模型(WD-GRU)在准确度上的优势。
首先对实验所用数据进行说明，本实验中使用的数据集、测试集与实施例1中相同，预测周期设置同样为24步。
在本实例中，和同样包括时序数据分解和深度网络的五个组合模型进行比较。使用的组合模型包括Composition-ARIMA-GRU-GRU，EMD_RNN(EMD和RNN结合)，EMDCNN_GRU(EMD、CNN和GRU结合)，WD-RNN(小波分解和RNN结合)，WD-LSTM(小波分解和LSTM结合)和本实施例提出的WD-GRU(小波分解和GRU结合)。
图7展示了这六个模型的预测结果，曲线1至6分别表示Composition-ARIMA-GRU-GRU模型、EMD-RNN模型、EMDCNN_GRU模型、WD-RNN模型、WD-LSTM模型以及本实施例的WD-GRU模型，曲线7表示真实曲线，可以看到这六条曲线与真实曲线的趋势大致相同，而WD-GRU模型最接近于真实曲线。表5给出了六个模型的五个评估指标，表中的红色值为每个指标的最佳值。本发明提出的WD-GRU模型的评估指标均是最优值，其中RMSE达到21.7300μg/m3，这已经是一个非常低的水平。图8、图9进一步展示了5个指标的细节，与预测性能较好的EMDCNN_GRU模型相比，在RMSE，MAE，NRMSE，SMAPE和R五个指标上分别提高了38.3％，31.5％，51.4％，9.8％和17.9％，很明显，WD-GRU模型在准确性方面取得了长足的进步。
接下来通过对比来进一步分析本实施例模型的优势。首先我们发现，小波分解方法在PM2.5复杂序列的研究中有很好的效果。混合模型中，在预测之前通常使用小波分解、经验模态分解和黄土的季节趋势分解方法分解PM2.5序列以降低PM2.5序列的复杂性，然后使用RNN或GRU网络进行预测。在表5中的WD-RNN，EMD-RNN，Decomposition-ARIMA-GRU-GRU的三种混合模型中，WD-RNN模型在所有指标中均处于领先地位。与得分较高的EMD-RNN模型相比，尽管两个模型都使用相同的RNN网络作为次预测因子，但是基于小波分解的WD-RNN模型将RMSE提高了36.0％，MAE提高了36.1％，NRMSE增长34.6％，SMAPE增长23.9％，R增长25.0％，而Decomposition-ARIMA-GRU-GRU模型虽然使用了性能更好的GRU网络但是整体的预测性能却更差。
其次，选择GRU模型作为小波分解各部分的预测器，这可以使模型有更好的性能。表5中WD-RNN、WD-LSTM的结构和WD-GRU模型的区别仅在于子预测器的选择不同，但是，可以看到选择GRU网络作为子预测器的WD-GRU模型，其各项指标都有明显的优势。与WD-LSTM模型相比，所提出模型的均方根误差降低了4.7035μg/m3，皮尔逊相关系数从0.8932增加到0.9276。同样，在EMD-RNN和EMDCNN_GRU模型中，使用GRU网络的模型性能也更好一些。
最后，本实施例模型的性能领先不仅是小波分解和GRU的功劳，贝叶斯优化算法来确定模型的超参数是重要的部分，这组超参数可以使模型的性能最大化。根据表5中的数据，WD-LSTM模型未使用贝叶斯优化算法来确定超参数，其NRMSE为0.0935，而WD-GRU模型的NRMSE为0.0682，仅仅依靠GRU网络是很难有这么大的提升，同样的在其他指标中WD-GRU模型的提升也很大。
结果分析：通过实例1、实例2可以得到，首先，本实施例提出模型的训练过程合理，贝叶斯优化确定的超参数可以使模型的性能更大化的发挥，并且小波分解对复杂序列进行数据分析的效果很好。其次，模型在周期为24小时的长期大气中PM2.5浓度的预测任务上，预测准确度优于普通的混合预测器，这验证了本实施例提出的WD-GRU模型在一般时间序列预测上的使用价值。
实施例2
对应实施例1，本实施例提出了一种基于贝叶斯优化及小波分解的时序预测装置，所述装置包括处理器，所述处理器，其被配置有处理器可执行的操作指令，以执行如下操作：
根据贝叶斯优化方法对模型超参数进行优化获得最优超参数，所述模型超参数包括小波分解层数、小波分解中的母小波函数和GRU子预测器的超参数；
获取采集数据，根据优化后获得的小波分解层数和小波分解中的母小波函数对所述采集数据进行小波分解获得分解结果；
搭建基于GRU子预测器，根据优化后获得的GRU子预测器的超参数对所述分解结果进行学习和预测获得训练结果；
根据所述训练结果获得预测结果。
具体的，本实施例所提出的装置的工作原理以及计算步骤可参照实施例1所记载的内容，在此不再进行赘述。本实施例小波分解降低复杂序列的复杂程度，然后使用GRU网络对分解得到的结果进行预测，最后融合得到预测结果。能够有效提高预测的准确性，使用贝叶斯优化算法进行超参数的优化，在长期的时间序列预测任务中具有很高的准确度。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种基于贝叶斯优化及小波分解的时序预测方法，其特征在于，所述方法包括：
根据贝叶斯优化方法对模型超参数进行优化获得最优超参数，所述模型超参数包括小波分解层数、小波分解中的母小波函数和GRU子预测器的超参数；
获取采集数据，根据优化后获得的小波分解层数和小波分解中的母小波函数对所述采集数据进行小波分解获得分解结果；
搭建基于GRU子预测器，根据优化后获得的GRU子预测器的超参数对所述分解结果进行学习和预测获得训练结果；
根据所述训练结果获得预测结果。
2.根据权利要求1所述的方法，其特征在于，所述根据贝叶斯优化方法对模型超参数进行优化获得最优超参数的过程包括：
定义模型超参数优化的目标函数，所述模型超参数优化的目标函数服从高斯分布；
根据所述模型超参数优化的目标函数获得贝叶斯优化的目标函数；
对所述模型超参数优化的目标函数进行高斯过程处理获得所述模型超参数优化的目标函数的后验概率；
根据所述后验概率的均值和方差采用UCB采集函数对所述贝叶斯优化的目标函数进行参数更新获取最优超参数。
3.根据权利要求1或2所述的方法，其特征在于，所述获取采集数据，根据优化后获得的小波分解层数和小波分解中的母小波函数对所述采集数据进行小波分解获得分解结果的过程包括：
根据所述优化后获得的母小波函数以及所述母小波函数所对应的父小波函数将所述采集数据分解为低频分量和高频分量，其中分解层数根据所述优化后获得的小波分解层数确定；
通过低频滤波器对所述低频分量进行处理获得低频子序列；
通过高频滤波器对所述高频分量进行处理获得高频子序列。
4.根据权利要求3所述的方法，其特征在于，所述搭建基于GRU子预测器，根据优化后获得的GRU子预测器的超参数对所述分解结果进行学习和预测获得训练结果的过程包括：
基于Keras Tensorflow框架搭建GRU子预测器；
通过所述GRU子预测器对小波分解后获得的低频子序列和高频子序列分别进行学习和预测获得各子序列的训练结果。
5.根据权利要求4所述的方法，其特征在于，所述根据所述训练结果获得预测结果的过程包括：
将所述各子序列的训练结果进行求和处理获得预测结果。
6.一种基于贝叶斯优化及小波分解的时序预测装置，其特征在于，所述装置包括处理器，所述处理器，其被配置有处理器可执行的操作指令，以执行如下操作：
根据贝叶斯优化方法对模型超参数进行优化获得最优超参数，所述模型超参数包括小波分解层数、小波分解中的母小波函数和GRU子预测器的超参数；
获取采集数据，根据优化后获得的小波分解层数和小波分解中的母小波函数对所述采集数据进行小波分解获得分解结果；
搭建基于GRU子预测器，根据优化后获得的GRU子预测器的超参数对所述分解结果进行学习和预测获得训练结果；
根据所述训练结果获得预测结果。
7.根据权利要求6所述的装置，其特征在于，所述处理器，其被配置有处理器可执行的操作指令，以执行如下操作：
定义模型超参数优化的目标函数，所述模型超参数优化的目标函数服从高斯分布；
根据所述模型超参数优化的目标函数获得贝叶斯优化的目标函数；
对所述模型超参数优化的目标函数进行高斯过程处理获得所述模型超参数优化的目标函数的后验概率；
根据所述后验概率的均值和方差采用UCB采集函数对所述贝叶斯优化的目标函数进行参数更新获取最优超参数。
8.根据权利要求6或7项所述的装置，其特征在于，所述装置还包括低频滤波器和高频滤波器，所述处理器，其被配置有处理器可执行的操作指令，以执行如下操作：
根据所述优化后获得的母小波函数以及所述母小波函数所对应的父小波函数将所述采集数据分解为低频分量和高频分量，其中分解层数根据所述优化后获得的小波分解层数确定；
所述低频滤波器对所述低频分量进行处理获得低频子序列；
所述高频滤波器对所述高频分量进行处理获得高频子序列。
9.根据权利要求8所述的装置，其特征在于，所述处理器，其被配置有处理器可执行的操作指令，以执行如下操作：
基于Keras Tensorflow框架搭建GRU子预测器；
通过所述GRU子预测器对小波分解后获得的低频子序列和高频子序列分别进行学习和预测获得各子序列的训练结果。
10.根据权利要求9所述的装置，其特征在于，所述处理器，其被配置有处理器可执行的操作指令，以执行如下操作：
将所述各子序列的训练结果进行求和处理获得预测结果。
CN202010659067.1A 2020-07-09 2020-07-09 一种基于贝叶斯优化及小波分解的时序预测方法及装置 Active CN111859264B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010659067.1A CN111859264B (zh) 2020-07-09 2020-07-09 一种基于贝叶斯优化及小波分解的时序预测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010659067.1A CN111859264B (zh) 2020-07-09 2020-07-09 一种基于贝叶斯优化及小波分解的时序预测方法及装置

Publications (2)

Publication Number Publication Date
CN111859264A true CN111859264A (zh) 2020-10-30
CN111859264B CN111859264B (zh) 2024-02-02

Family

ID=73152695

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010659067.1A Active CN111859264B (zh) 2020-07-09 2020-07-09 一种基于贝叶斯优化及小波分解的时序预测方法及装置

Country Status (1)

Country Link
CN (1) CN111859264B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112288193A (zh) * 2020-11-23 2021-01-29 国家海洋信息中心 基于注意力机制的gru深度学习的海洋站表层盐度预测方法
CN112434888A (zh) * 2020-12-17 2021-03-02 中国计量大学上虞高等研究院有限公司 一种基于深度学习的双向长短期记忆网络的pm2.5预测方法
CN112651543A (zh) * 2020-11-10 2021-04-13 沈阳工程学院 一种基于vmd分解与lstm网络的日用电量预测方法
CN112749845A (zh) * 2021-01-13 2021-05-04 中国工商银行股份有限公司 模型训练方法、资源数据预测方法、装置和计算设备
CN113128132A (zh) * 2021-05-18 2021-07-16 河南工业大学 一种基于深度时间序列的粮堆湿度及结露预测方法
CN113360848A (zh) * 2021-06-04 2021-09-07 北京工商大学 一种时序数据预测方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110413494A (zh) * 2019-06-19 2019-11-05 浙江工业大学 一种改进贝叶斯优化的LightGBM故障诊断方法
WO2019229528A2 (en) * 2018-05-30 2019-12-05 Alexander Meyer Using machine learning to predict health conditions
CN111192453A (zh) * 2019-12-30 2020-05-22 深圳市麦谷科技有限公司 一种基于贝叶斯优化的短时交通流预测方法及***

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019229528A2 (en) * 2018-05-30 2019-12-05 Alexander Meyer Using machine learning to predict health conditions
CN110413494A (zh) * 2019-06-19 2019-11-05 浙江工业大学 一种改进贝叶斯优化的LightGBM故障诊断方法
CN111192453A (zh) * 2019-12-30 2020-05-22 深圳市麦谷科技有限公司 一种基于贝叶斯优化的短时交通流预测方法及***

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
CHENG YONG, ET AL: "Hybrid algorithm for short-term forecasting for PM2.5 in china", ATMOSPHERIC ENVIRONMENT, vol. 200, pages 264 - 279 *
FEI WANG, ET AL: "Wavelet Decomposition and Convolutional LSTM Networks Based Improved Deep Learning Model for Solar Irradiance Forecasting", APPLIED SCIENCES, vol. 8, no. 8, XP055561337, DOI: 10.3390/app8081286 *
XIN FU, ET AL: "Short-Term Traffic Speed Prediction Method for Urban Road Sections Based on Wavelet Transform and Gated Recurrent Unit", MATHEMATICAL PROBLEMS IN ENGINEERING *
XUE-BO JIN, ET AL: "Deep Hybrid Model Based on EMD with Classification by Frequency Characteristics for Long-Term Air Quality Prediction", MATHEMATICS, vol. 8, no. 2 *
司阳;肖秦琨;: "基于长短时记忆和动态贝叶斯网络的序列预测", 计算机技术与发展, no. 09 *
梁志坚;唐云;: "一种短期风电场输出功率概率预测方法", 中国电力企业管理, no. 21 *
王欣冉;邢永丽;巨程晖;: "小波包与贝叶斯LS-SVM在石油价格预测中的应用", 统计与决策, no. 06 *
石婧文;罗树添;叶可江;须成忠;: "电商集群的流量预测与不确定性区间估计", 集成技术, no. 03 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112651543A (zh) * 2020-11-10 2021-04-13 沈阳工程学院 一种基于vmd分解与lstm网络的日用电量预测方法
CN112288193A (zh) * 2020-11-23 2021-01-29 国家海洋信息中心 基于注意力机制的gru深度学习的海洋站表层盐度预测方法
CN112434888A (zh) * 2020-12-17 2021-03-02 中国计量大学上虞高等研究院有限公司 一种基于深度学习的双向长短期记忆网络的pm2.5预测方法
CN112749845A (zh) * 2021-01-13 2021-05-04 中国工商银行股份有限公司 模型训练方法、资源数据预测方法、装置和计算设备
CN113128132A (zh) * 2021-05-18 2021-07-16 河南工业大学 一种基于深度时间序列的粮堆湿度及结露预测方法
CN113360848A (zh) * 2021-06-04 2021-09-07 北京工商大学 一种时序数据预测方法及装置

Also Published As

Publication number Publication date
CN111859264B (zh) 2024-02-02

Similar Documents

Publication Publication Date Title
CN111859264B (zh) 一种基于贝叶斯优化及小波分解的时序预测方法及装置
Liang et al. A novel wind speed prediction strategy based on Bi-LSTM, MOOFADA and transfer learning for centralized control centers
Abdar et al. A review of uncertainty quantification in deep learning: Techniques, applications and challenges
CN112784092B (zh) 一种混合融合模型的跨模态图像文本检索方法
CN113905391B (zh) 集成学习网络流量预测方法、***、设备、终端、介质
CN110751318B (zh) 一种基于ipso-lstm的超短期电力负荷预测方法
CN113411216B (zh) 基于离散小波变换和fa-elm的网络流量预测方法
CN112597392B (zh) 一种基于动态注意力和分层强化学习的推荐***
Wang et al. Remaining useful life estimation of aircraft engines using a joint deep learning model based on TCNN and transformer
Yang et al. An ensemble prediction system based on artificial neural networks and deep learning methods for deterministic and probabilistic carbon price forecasting
CN111222689A (zh) 基于多尺度时间特征的lstm负荷预测方法、介质及电子装置
CN114596726A (zh) 基于可解释时空注意力机制的停车泊位预测方法
CN116542701A (zh) 一种基于cnn-lstm组合模型的碳价预测方法及***
CN116842354A (zh) 基于量子人工水母搜索机制的特征选择方法
CN117786602A (zh) 一种基于多元信息交互的长周期多元时间序列预测方法
CN110516792A (zh) 基于小波分解和浅层神经网络的非平稳时间序列预测方法
Xiao et al. Predict stock prices with ARIMA and LSTM
CN112651499A (zh) 一种基于蚁群优化算法和层间信息的结构化模型剪枝方法
CN116632834A (zh) 一种基于SSA-BiGRU-Attention的短期电力负荷预测方法
Zhang [Retracted] Analysis of College Students’ Network Moral Behavior by the History of Ideological and Political Education under Deep Learning
CN113657533B (zh) 一种面向时空场景构建的多元时间序列分割聚类方法
Huang Big data processing and analysis platform based on deep neural network model
Zheng Evaluation of Sino-foreign Cooperative Education Model by Big Data and Deep Learning
CN110648183A (zh) 基于灰色关联及qgnn的居民消费价格指数预测方法
Zhang et al. Ensemble optimization approach based on hybrid mode decomposition and intelligent technology for wind power prediction system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant