CN114218870A - 一种基于变分模态分解与注意力机制的风速预测方法 - Google Patents
一种基于变分模态分解与注意力机制的风速预测方法 Download PDFInfo
- Publication number
- CN114218870A CN114218870A CN202111583769.7A CN202111583769A CN114218870A CN 114218870 A CN114218870 A CN 114218870A CN 202111583769 A CN202111583769 A CN 202111583769A CN 114218870 A CN114218870 A CN 114218870A
- Authority
- CN
- China
- Prior art keywords
- wind speed
- attention mechanism
- data
- input sequence
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007246 mechanism Effects 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000000354 decomposition reaction Methods 0.000 title claims abstract description 33
- 238000013528 artificial neural network Methods 0.000 claims abstract description 24
- 238000003062 neural network model Methods 0.000 claims abstract description 9
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 239000013598 vector Substances 0.000 claims description 23
- 239000011159 matrix material Substances 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 15
- 238000012795 verification Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000012217 deletion Methods 0.000 claims description 6
- 230000037430 deletion Effects 0.000 claims description 6
- 238000002156 mixing Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 230000002159 abnormal effect Effects 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 3
- 238000011049 filling Methods 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims description 2
- 230000005856 abnormality Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 10
- 238000002474 experimental method Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000000306 recurrent effect Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 108010076504 Protein Sorting Signals Proteins 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
- G06F17/141—Discrete Fourier transforms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2111/00—Details relating to CAD techniques
- G06F2111/04—Constraint-based CAD
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2113/00—Details relating to the application field
- G06F2113/08—Fluids
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
- G06F2119/10—Noise analysis or noise optimisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
- G06F2119/12—Timing analysis or timing optimisation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Mathematical Optimization (AREA)
- Artificial Intelligence (AREA)
- Pure & Applied Mathematics (AREA)
- Computing Systems (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Discrete Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明属于风速预测方法技术领域,提出了一种基于变分模态分解与注意力机制的风速预测方法。考虑自然因素的影响,研究多变量条件下风速预测问题。通过预处理已采集的数据进行变分模态分解,深度神经网络的输入序列;深度神经网络包括位置编码、编码器与解码器;位置编码为输入信号提供相对位置信息;编码器包括注意力机制层、前馈网络层与归一化残差连接层,用于神经网络模型捕获时序特征间的相互关系;解码器由双层全连接网络构成,用于将编码器获取的时序特征信息进行解构从而输出预测值。该方法能有效提高超短期风速预测精度;对操作平台没有限制,使用灵活方便,可移植性强,风速预测性能优异。
Description
技术领域
本发明涉及风速预测方法技术领域,具体涉及一种基于变分模态分解与注意力机制的风速预测方法。
背景技术
在远洋航行领域,有效并准确的风速预测结合海况信息预报可以为船舶航行设计出最佳的航线,在保障航行安全性的同时,减少航时与油耗。在军事领域,在作战规划制定、任务部署安排上,气象状况是一项极为重要的参考因素,借助准确的气象预测,军事指挥人员可针对性装配部队、制定行军方案、设定适当的运输模式,从而提高军事行动成功率。因此,风速预测方法研究有着重大的现实意义与应用价值。
传统气象数值预测技术中采用以WRF等NWP数值天气预报物理模型,对实时气象运行规律有较好的模拟,但因建模过程本身的复杂性与对环境信息精确性的高依赖度,使得结果表现出对短期高精度预测的不确定性。新兴的气象数值预测技术区别于经典的物理模型基于气象变化机理的解析,主要从统计学理论与机器学***均法、自回归差分移动平均法等预测方法进行短时预测。然而,基于统计学原理的风速时间序列预测准确性易受到时间序列随机波动性、不稳定性等因素的限制,故越来越多的学者尝试将机器学习理论与模型运用到时间序列预测中,如支持向量机、卡尔曼滤波和人工神经网络等。其中,在深度学习领域,李大中等人提出一种基于卷积循环神经网络的深度学习模型,较一般机器学习算法在短期预报精度上有了较大的提高。Shi等人提出一种卷积长短期记忆神经网络,并在多普勒雷达回波时间序列数据上进行了验证,达到了较传统物理模型光流法更高的预测精度。当前,一些研究开始注重在数据预处理阶段就对原始数据进行降噪、降低复杂度等处理,采用“分解-预测-重构”的思路。田中大等人提出一种基于小波变换的风电场短期风速组合预测模型,SANTHOSH M等人采用集成经验模态分解算法对原始数据进行分解,并将解构之后的信号输入神经网络进行模型的训练,对时序数据的预测精度上有较大提升。然而,分解算法一定程度上会引入端点效应、模态混叠现象,干扰实际预测效果。针对以上问题,目前亟需一种准确度更高的风速预测方法。
发明内容
本发明提供了一种基于变分模态分解与融合注意力机制的深度神经网络的风速预测方法。为克服上述现有技术不足,本发明在考虑风向、风速、阵风、气压、温度与水面温度等自然因素的基础上,研究多变量条件下风速预测问题。变分模态分解在滤除噪声降低数据复杂度的同时,可有效提高噪声鲁棒性使得风速时间序列得到有效分解与特征提取。同时,通过镜像延拓,可避免迭代过程中的端点效应与虚假分量现象。融合注意力机制的深度神经网络模型Transformer具有抓取全局内部关联信息的能力,可有效捕捉到长距离依赖,无过多信息堆积、冗余、丢失。对比试验表明,该模型能有效提高超短期风速预测精度。通过设计深度学习模型,重点关注信号降噪、特征提取、注意力机制等问题,通过理论分析、对比实验等方式验证所提方法的优越性。
本发明的技术方案:一种基于变分模态分解与注意力机制的风速预测方法,包括步骤如下:
步骤一:采集历史气象数据,构建原始风速及相关协变量数据集,对数据缺失或异常,即值≥999的情况,采用分权线性插值法填补数据;
步骤二:数据预处理,为消除数据集中不同特征变量量纲不同对实验造成的影响,采用均值-方差归一化方法将数据集中的数据缩放至同一尺度,(均值为0,方差为1);以8:1:1比例划分数据集为训练集、验证集与测试集;
步骤三:变分模态分解;取数据集一定步长的序列作为深度神经网络的输入序列u(t),对输入序列u(t)采用变分模态分解获得K个具有特定模态的序列uk(t),k=1,2...K;通过镜像延拓,可避免迭代过程中的端点效应与虚假分量现象。变分模态分解可滤除噪声,降低数据复杂度,有效提高噪声鲁棒性;
(3.1)将输入序列u(t)各模态经希尔伯特变换后的解析信号混合为一预估中心频率:
其中,δ(t)为狄拉克函数,ωk为第k个模态的中心频率;
K个模态之和为输入序列u(t)且各模态的估计带宽之和最小,即:
其中,{uk}={u1,…,uK},{ωk}={ω1,…,ωK};
(3.2)将式(2)的约束性变分问题变为非约束性变分问题:
式中,α为二次惩罚因子,保证输入序列u(t)在混入噪声信号的情况下的重构精度;λ(t)为拉格朗日乘法算子,保持约束条件严格性;
分解后输入序列u(t)经傅里叶逆变换取实部为:
式中,F-1(·)表示傅里叶逆变换,Real(·)表示取复数实部;
步骤四:分解后的K个分量{uk(t)}取实部作为融合注意力机制的深度神经网络的输入信号,以实际风速作为预测目标,对深度神经网络进行参数训练、验证或预测;深度神经网络包括位置编码、编码器与解码器;位置编码为输入信号提供相对位置信息;编码器包括注意力机制层、前馈网络层与归一化残差连接层,用于神经网络模型捕获时序特征间的相互关系;解码器由双层全连接网络构成,用于将编码器获取的时序特征信息进行解构从而输出预测值。
所述分权线性插值法如下:
其中,u(tmiss)代表序列tmiss时刻待填充的缺失或异常值,u(tprev)为缺失或异常值前距其最近的tprev时刻的有效值,u(tnext)为缺失或异常值后距其最近的tnext时刻的有效值。所述位置编码的构造方法具体如下:输入序列u(t)的每个单点数据添加特有向量,整个输入序列信号注入位置信息;通过构造与输入序列u(t)维数一致的矩阵,并与输入序列u(t)相加得到下一注意力机制层的输入;
其中,pos表示该单点数据在整个输入序列u(t)中的位置,dmodel是特有向量的维度,i表示特有向量的位置。
所述注意力机制层中,随机初始化三个维度相同的矩阵WQ,WK和WV,使用这三个矩阵分别对输入序列做线性变换,得到结果记为查询向量Q和键向量K与值向量V,并将三者通过计算映射到一个输出矩阵,其中分配给每个值的权重由查询向量Q与相应键向量K的兼容性函数softmax函数计算;输出矩阵计算为:
通过设置h个注意力机制层形成多头注意力机制层。
模型输出结果:未来指定时刻风速预测值,并保存预测结果于文件中。
本发明的有益效果:本发明所述方法在获取浮标站气象观测数据后,对数据进行预处理、变分模态分解、神经网络预测,最终得到未来指定时刻风速预测值。
本发明对操作平台没有限制,使用灵活方便,可移植性强,风速预测性能优异。
附图说明
图1为基于变分模态分解与注意力机制的风速预测方法总体流程图;
图2为注意力机制层结构;
图3为多头注意力机制结构;
图4为变分模态分解算法对风速时间序列进行分解的结果图。
具体实施方式
以下结合发明内容详细说明本发明的具体实施方式:
下面详细介绍了使用基于变分模态分解与融合注意力机制的深度神经网络模型预测风速的过程。本发明通过以下案例进一步说明本发明的用途和使用方法,但本发明并不受限于此。
1.实验环境配置
软件***:Window10***
编程语言:Python3.7
深度学习框架:Pytorch1.10
2.实验方法
(1)风速及相关气象数据获取:通过气象浮标观测历史风速及相关气象数据保存为.csv文件,对观测数据缺失或异常(值≥999)的情况,采用分权线性插值法填补数据。分权线性插值表达式如下:
其中,u(tmiss)代表序列tmiss时刻需填充的缺失或异常值,u(tprev)为缺失或异常值前距其最近的tprev时刻的有效值,u(tnext)为缺失或异常值后距其最近的tnext时刻的有效值。以8:1:1比例划分数据集为训练集、验证集与测试集;
(2)数据预处理:为消除数据集中不同特征变量量纲不同对实验造成的影响,本发明采用均值-方差归一化方法将数据缩放至同一尺度(均值为0,方差为1),并分别应用于训练集、验证集与测试集,转换公式如下:
其中,μ为数据集平均值,σ为数据集标准差。
本发明将站点所测风向、风速、阵风、大气压力、气温与水温等作为6个可能影响风速预测的特征,以间隔30分钟连续观测18小时共36个数据观测值作为每一特征维度的数据输入,组成[Batch Size,36,6]输入矩阵,其中,Batch Size为单次训练所选取的样本数,取Batch Size=256。
(3)变分模态分解:采用变分模态分解对于原始输入序列u(t)寻求K个具有特定模态的序列uk(t),k=1,2...K,使得每个模态的估计带宽之和最小,其约束条件为K个模态重构之和等于输入序列u(t)。目标模态数K的设定取决于各模态中心频率不重叠且最后一层分量的中心频率保持相对稳定。若K取值过大,则会导致模态重叠并引入噪声,若K取值过小,则会存在分解不彻底的问题,将影响预测精度。具体包括以下步骤:
(3.1)对于风速输入序列u(t),将各模态经希尔伯特变换后的解析信号混合一预估中心频率,从而将每个模态的频谱调制到相应的基频带:
其中,δ(t)为狄拉克函数,ωk为第k个模态的中心频率。
受约束变分问题可描述为K个模态之和为输入时间序列且各模态的估计带宽之和最小,即:
其中,{uk}={u1,…,uK},{ωk}={ω1,…,ωK}
(3.2)在此基础上,引入二次惩罚因子α保证时间序列在混入噪声信号的情况下的重构精度,同时引入拉格朗日乘法算子λ(t)以保持约束条件严格性,从而将约束性变分问题变为非约束性变分问题,扩展的拉格朗日表达式如下
式中,F-1(·)表示傅里叶逆变换,Real(·)表示取复数实部。
分解后的K个分量{uk(t)}作为模型输入,则原始输入数据维度变为[256,36,6K]。
变分模态分解所涉及到的超参数根据经验值分别取:惩罚因子α=1000,保真度稀疏τ=1×10-6和收敛停止条件∈=1×10-9。变分模态分解算法对风速时间序列进行分解的结果示意图如图4所示;
(4)融合注意力机制神经网络:注意力机制的神经网络模型Transformer完全基于注意力机制,无需递归与卷积的计算,这使得其在模型参数的计算上不再依赖于前一位置的输出与当前位置的输入来计算得到当前位置的输出,从而将串行化的计算转换为并行化,有效地节省运行时长。并且,传统的递归神经网络算法提取全局信息能力较差,在长时间尺度的特征提取与预测上有较大瓶颈,Transformer可从全局提取信息,在长时间尺度的特征提取与预测上有较大优势。
如图1所示,模型分为编码与解码两大部分。其中,编码器由若干个相同的单元块组成,每个单元块又由两个子单元组成,包括多头注意力机制层和全连接前馈网络层,每一子层都增加残差连接和标准化。解码器部分采用双层全连接神经网络。
经变分模态分解后的时序数据,首先会进行位置编码。Transformer利用时间序列的位置信息,在模型中引入了位置编码以记录序列中各数据间相对的位置空间信息。Transformer为每个输入的单点数据源添加特有向量,向量遵循特定模式,有助于确定每个单点数据源的位置以及不同单点数据源之间的距离,使得在后续的计算中,能更好地表达各数据点之间的距离。位置编码的构造方法可采取如下方法,通过下式构造一个与输入数据维数一致的矩阵,并与输入相加得到下一注意力层的输入。
其中,pos表示该单点数据在整个序列中的位置,dmodel是输入向量的维度,i表示编码向量的位置。整个输入序列信号注入位置信息,位置信息的差异取决于频率和相位的差异。
输入信号序列u(t)在添加位置编码后即输入注意力层,如图2所示。注意力机制是Transformer的核心,能在不同的子空间中学习到相应的位置信息特征。注意力机制函数可以描述为将一组dk维的查询向量Q和dk维的键向量K与dv维的值向量V映射到一个输出,输出被计算为值的加权和,其中分配给每个值的权重由查询与相应键的兼容性函数softmax函数计算。输出矩阵计算为:
如图3所示,多头注意力机制通过h个不同的注意力层进行线性变换对Q,K,V进行投影,即模型中存在多个子空间,将自注意力机制应用于每个子空间,最后将不同的子空间的输出进行拼接以转换为与单一自我注意机制相同维度的结果。上述这种通过增加多头注意力的机制,进一步完善了自注意力层,可扩展模型专注于不同位置的能力。
在编码器中的每一层都包含一个完全连接的前馈网络,这个全连接有两层,第一层的激活函数是ReLu,其数学表达式为f(x)=max(0,x),第二层是一个线性激活函数,它们共同表示为:
FFW(x)=max[W2(0,W1x+b1)+b2] (20)
其中,x是多头注意层的输出,W是权重矩阵,b是偏移值。两个线性变换部分共同构成前馈神经网络,Transformer中各前馈网络参数不同,可灵活匹配不同的序列数据,提高预测精度。
将注意力层归一化后做残差连接。残差连接即在每一层内部,将多头自注意力或前向反馈层的输入与输出连接。后续将处理后的时序数据输入解码器即全连接神经网络进行模型的优化。
本发明中可对风速进行一步至多步预测,选取均方误差(mean square error,MSE)与决定系数R2作为预测结果准确度评价指标。性能指标的定义如下:
其中,N为风速时间序列数据测试集每批样本总数,和yi分别表示风速时间序列的预测值和实际观测值,表示实际观测值均值。MSE数值越小,则表明预测值与实际值越接近,该模型预测精度越高。决定系数R2反映了两个变量之间的线性关系,表现出预测值相对于实际观测值拟合的好坏程度,可衡量模型预测风速值的准确与否,相关系数越高则模型预测性能越优。
本发明中,设定融合注意力机制神经网络中设定编码层为2,其中多头注意力机制层设定为双头注意力,各编码器中前馈网络隐藏单元设置为64,解码器部分为双层全连接神经网络,隐藏单元分别为36,18。模型以256组,每组连续36个观测值作为一个批次的数据集输入网络,即Batch Size=256,网络以均方误差作为损失函数,利用反向传播算法更新网络参数,使用自适应优化器Adam(Adaptive Moment Estimation)对网络模型参数进行优化。模型正则化Dropout比率设定为0.2,Adam优化器学习率设定为0.002。
3.实验结果
(1)对比实验:
将模型在训练集上进行训练,每训练一轮便在验证集上进行模型验证并比较验证效果,当模型在验证集上的性能连续5轮不再改善时,停止训练,将验证效果最好的一次模型参数保存并用于风速序列预测。以下是该发明与其他经典风速预测方式的对比效果。
表1模型预测效果对比(MSE指标)
表2模型预测效果对比(R2指标)
将VMD-Transformer模型与其他LSTM、VMD-LSTM、Persistence Model等其他经典风速预测方式进行对比,采用美国国家海洋和大气管理局国家数据浮标中心(https://www.ndbc.noaa.gov/)中北纬48.493,西经124.726浮标站46087,选取其于2015年12月31日至2020年11月23日所测以30分钟为时间间隔的气象数据共84944条作为实验数据集。以标准差MSE与决定系数R2作为评价指标,实验结果如表1与表2所示。通过上表比对实验可发现,相比于未经变分模态分解直接对原始数据进行处理,结合VMD的模型在预测效果上更加优异,表明VMD可有效提取输入时间序列数据的特征,使得神经网络模型参数训练时更专注于对关键特征信息的处理。同时,比对不同神经网络模型,发现VMD-LSTM在1步预测上效果更优,但VMD-Transformer在2-18步上都具有更优的预测性能,故可知引入融合注意力机制的神经网络模型Transformer相比于循环神经网络LSTM,对全局信息特征的学习效果更佳,从而使得其在相对更长的时间序列的预测中有更佳优良的表现。
Claims (5)
1.一种基于变分模态分解与注意力机制的风速预测方法,其特征在于,包括步骤如下:
步骤一:采集历史气象数据,构建原始风速及相关协变量数据集,对数据缺失或异常的情况,采用分权线性插值法填补数据;
步骤二:数据预处理,采用均值-方差归一化方法将数据集中的数据缩放至同一尺度;以8∶1∶1比例划分数据集为训练集、验证集与测试集;
步骤三:变分模态分解;取数据集一定步长的序列作为深度神经网络的输入序列u(t),对输入序列u(t)采用变分模态分解获得K个具有特定模态的序列uk(t),k=1,2...K;
(3.1)将输入序列u(t)各模态经希尔伯特变换后的解析信号混合为一预估中心频率:
其中,δ(t)为狄拉克函数,ωk为第k个模态的中心频率;
K个模态之和为输入序列u(t)且各模态的估计带宽之和最小,即:
其中,{uk}={u1,…,uK},{ωk}={ω1,…,ωK};
(3.2)将式(2)的约束性变分问题变为非约束性变分问题:
式中,α为二次惩罚因子,保证输入序列u(t)在混入噪声信号的情况下的重构精度;λ(t)为拉格朗日乘法算子,保持约束条件严格性;
分解后输入序列u(t)经傅里叶逆变换取实部为:
式中,F-1(·)表示傅里叶逆变换,Real(·)表示取复数实部;
步骤四:分解后的K个分量{uk(t)}取实部作为融合注意力机制的深度神经网络的输入信号,以实际风速作为预测目标,对深度神经网络进行参数训练、验证或预测;深度神经网络包括位置编码、编码器与解码器;位置编码为输入信号提供相对位置信息;编码器包括注意力机制层、前馈网络层与归一化残差连接层,用于神经网络模型捕获时序特征间的相互关系;解码器由双层全连接网络构成,用于将编码器获取的时序特征信息进行解构从而输出预测值。
5.根据权利要求1或2所述的基于变分模态分解与注意力机制的风速预测方法,其特征在于,通过设置h个注意力机制层形成多头注意力机制层。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111583769.7A CN114218870A (zh) | 2021-12-22 | 2021-12-22 | 一种基于变分模态分解与注意力机制的风速预测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111583769.7A CN114218870A (zh) | 2021-12-22 | 2021-12-22 | 一种基于变分模态分解与注意力机制的风速预测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114218870A true CN114218870A (zh) | 2022-03-22 |
Family
ID=80705340
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111583769.7A Pending CN114218870A (zh) | 2021-12-22 | 2021-12-22 | 一种基于变分模态分解与注意力机制的风速预测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114218870A (zh) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114896826A (zh) * | 2022-07-13 | 2022-08-12 | 成都信息工程大学 | 基于物理学结合残差注意力网络的行星边界层参数化方法 |
CN114898871A (zh) * | 2022-07-14 | 2022-08-12 | 陕西省人民医院 | 一种基于人工神经网络的心脏病诊断研究方法 |
CN115345207A (zh) * | 2022-10-13 | 2022-11-15 | 南京信息工程大学 | 一种自适应的多气象要素预测方法 |
CN115439329A (zh) * | 2022-11-10 | 2022-12-06 | 四川轻化工大学 | 人脸图像超分辨率重建方法及计算机可读取的存储介质 |
CN115471016A (zh) * | 2022-11-01 | 2022-12-13 | 南京信息工程大学 | 一种基于cisso与daed的台风预测方法 |
CN115828758A (zh) * | 2022-12-13 | 2023-03-21 | 广东海洋大学 | 基于改进烟花算法优化网络的海水三维预测方法及*** |
CN116128158A (zh) * | 2023-04-04 | 2023-05-16 | 西南石油大学 | 混合采样注意力机制的油井效率预测方法 |
CN116629142A (zh) * | 2023-07-24 | 2023-08-22 | 合肥工业大学 | 基于transformer机制的雷电定位轨迹预测方法、***和存储介质 |
CN116662766A (zh) * | 2023-08-01 | 2023-08-29 | 浙江大学 | 基于数据二维重构的风速预测方法及装置、电子设备 |
CN116882180A (zh) * | 2023-07-13 | 2023-10-13 | 中国人民解放军国防科技大学 | 一种基于模态分解和自编码器的pin温度特性预测方法 |
CN116996111A (zh) * | 2023-08-23 | 2023-11-03 | 中国科学院微小卫星创新研究院 | 卫星频谱预测方法、装置和电子设备 |
CN117114190A (zh) * | 2023-08-29 | 2023-11-24 | 华中科技大学 | 一种基于混合深度学习的河道径流预测方法及设备 |
WO2024011876A1 (zh) * | 2022-07-14 | 2024-01-18 | 东南大学 | 一种数字集成电路布线后路径延时预测方法 |
CN117494573A (zh) * | 2023-11-16 | 2024-02-02 | 中山大学 | 一种风速预测方法、***及电子设备 |
CN117825743A (zh) * | 2024-03-04 | 2024-04-05 | 浙江大学 | 基于傅里叶特征增强和全局匹配的piv测速方法与装置 |
-
2021
- 2021-12-22 CN CN202111583769.7A patent/CN114218870A/zh active Pending
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114896826A (zh) * | 2022-07-13 | 2022-08-12 | 成都信息工程大学 | 基于物理学结合残差注意力网络的行星边界层参数化方法 |
CN114896826B (zh) * | 2022-07-13 | 2022-09-09 | 成都信息工程大学 | 基于物理学结合残差注意力网络的行星边界层参数化方法 |
CN114898871A (zh) * | 2022-07-14 | 2022-08-12 | 陕西省人民医院 | 一种基于人工神经网络的心脏病诊断研究方法 |
WO2024011876A1 (zh) * | 2022-07-14 | 2024-01-18 | 东南大学 | 一种数字集成电路布线后路径延时预测方法 |
CN115345207A (zh) * | 2022-10-13 | 2022-11-15 | 南京信息工程大学 | 一种自适应的多气象要素预测方法 |
CN115471016A (zh) * | 2022-11-01 | 2022-12-13 | 南京信息工程大学 | 一种基于cisso与daed的台风预测方法 |
CN115439329A (zh) * | 2022-11-10 | 2022-12-06 | 四川轻化工大学 | 人脸图像超分辨率重建方法及计算机可读取的存储介质 |
CN115828758B (zh) * | 2022-12-13 | 2023-08-25 | 广东海洋大学 | 基于改进烟花算法优化网络的海水三维预测方法及*** |
CN115828758A (zh) * | 2022-12-13 | 2023-03-21 | 广东海洋大学 | 基于改进烟花算法优化网络的海水三维预测方法及*** |
CN116128158B (zh) * | 2023-04-04 | 2023-06-23 | 西南石油大学 | 混合采样注意力机制的油井效率预测方法 |
CN116128158A (zh) * | 2023-04-04 | 2023-05-16 | 西南石油大学 | 混合采样注意力机制的油井效率预测方法 |
CN116882180A (zh) * | 2023-07-13 | 2023-10-13 | 中国人民解放军国防科技大学 | 一种基于模态分解和自编码器的pin温度特性预测方法 |
CN116882180B (zh) * | 2023-07-13 | 2024-05-03 | 中国人民解放军国防科技大学 | 一种基于模态分解和自编码器的pin温度特性预测方法 |
CN116629142B (zh) * | 2023-07-24 | 2023-09-29 | 合肥工业大学 | 基于transformer机制的雷电定位轨迹预测方法和*** |
CN116629142A (zh) * | 2023-07-24 | 2023-08-22 | 合肥工业大学 | 基于transformer机制的雷电定位轨迹预测方法、***和存储介质 |
CN116662766B (zh) * | 2023-08-01 | 2023-10-03 | 浙江大学 | 基于数据二维重构的风速预测方法及装置、电子设备 |
CN116662766A (zh) * | 2023-08-01 | 2023-08-29 | 浙江大学 | 基于数据二维重构的风速预测方法及装置、电子设备 |
CN116996111A (zh) * | 2023-08-23 | 2023-11-03 | 中国科学院微小卫星创新研究院 | 卫星频谱预测方法、装置和电子设备 |
CN117114190A (zh) * | 2023-08-29 | 2023-11-24 | 华中科技大学 | 一种基于混合深度学习的河道径流预测方法及设备 |
CN117494573A (zh) * | 2023-11-16 | 2024-02-02 | 中山大学 | 一种风速预测方法、***及电子设备 |
CN117494573B (zh) * | 2023-11-16 | 2024-06-11 | 中山大学 | 一种风速预测方法、***及电子设备 |
CN117825743A (zh) * | 2024-03-04 | 2024-04-05 | 浙江大学 | 基于傅里叶特征增强和全局匹配的piv测速方法与装置 |
CN117825743B (zh) * | 2024-03-04 | 2024-06-11 | 浙江大学 | 基于傅里叶特征增强和全局匹配的piv测速方法与装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114218870A (zh) | 一种基于变分模态分解与注意力机制的风速预测方法 | |
Alencar et al. | Hybrid approach combining SARIMA and neural networks for multi-step ahead wind speed forecasting in Brazil | |
US20150254554A1 (en) | Information processing device and learning method | |
CN110942194A (zh) | 一种基于tcn的风电预测误差区间评估方法 | |
Dolatabadi et al. | Hybrid deep learning-based model for wind speed forecasting based on DWPT and bidirectional LSTM network | |
CN116342657B (zh) | 一种基于编码-解码结构的tcn-gru船舶轨迹预测方法、***、设备及介质 | |
CN114549925A (zh) | 一种基于深度学习的海浪有效波高时间序列预测方法 | |
CN109460874B (zh) | 一种基于深度学习的有义波高预测方法 | |
CN116632820A (zh) | 基于序列延拓vmd与风速波动特性的风电功率预测方法 | |
Kong et al. | A deep spatio-temporal forecasting model for multi-site weather prediction post-processing | |
Abbas et al. | Revolutionizing low-carbon marine transportation: Prediction of wave energy via adaptive neuro-fuzzy inference framework in East China Sea | |
CN113221450B (zh) | 一种针对稀疏不均匀时序数据的航位预测方法及*** | |
Tuyen et al. | A combination of novel hybrid deep learning model and quantile regression for short‐term deterministic and probabilistic PV maximum power forecasting | |
Tang et al. | An EMD-PSO-LSSVM hybrid model for significant wave height prediction | |
Wang et al. | Filling gaps in significant wave height time series records using bidirectional gated recurrent unit and cressman analysis | |
CN116931129A (zh) | 基于多模式集合的短期降水预报方法、装置、设备及介质 | |
CN117154680A (zh) | 一种基于非平稳Transformer模型的风电功率预测方法 | |
CN115526376A (zh) | 多特征融合的生成对抗网络超短期风功率预测方法 | |
CN115296298A (zh) | 一种风电场功率预测方法 | |
Obakrim et al. | Learning the spatiotemporal relationship between wind and significant wave height using deep learning | |
Xie et al. | Decomposition‐Based Multistep Sea Wind Speed Forecasting Using Stacked Gated Recurrent Unit Improved by Residual Connections | |
CN114509825A (zh) | 基于混合进化算法改进三维对抗生成神经网络的强对流天气预测方法及*** | |
Li et al. | Deepphysinet: Bridging deep learning and atmospheric physics for accurate and continuous weather modeling | |
Tan et al. | OSP-FEAN: Optimizing Significant Wave Height Prediction with Feature Engineering and Attention Network | |
Zhao et al. | Spatio-temporal model combining vmd and am for wind speed prediction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |