CN114218870A - 一种基于变分模态分解与注意力机制的风速预测方法 - Google Patents

一种基于变分模态分解与注意力机制的风速预测方法 Download PDF

Info

Publication number
CN114218870A
CN114218870A CN202111583769.7A CN202111583769A CN114218870A CN 114218870 A CN114218870 A CN 114218870A CN 202111583769 A CN202111583769 A CN 202111583769A CN 114218870 A CN114218870 A CN 114218870A
Authority
CN
China
Prior art keywords
wind speed
attention mechanism
data
input sequence
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111583769.7A
Other languages
English (en)
Inventor
章靖凯
顾宏
余向军
秦攀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN202111583769.7A priority Critical patent/CN114218870A/zh
Publication of CN114218870A publication Critical patent/CN114218870A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/141—Discrete Fourier transforms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/04—Constraint-based CAD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2113/00—Details relating to the application field
    • G06F2113/08—Fluids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
    • G06F2119/10—Noise analysis or noise optimisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
    • G06F2119/12—Timing analysis or timing optimisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Optimization (AREA)
  • Artificial Intelligence (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Discrete Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明属于风速预测方法技术领域，提出了一种基于变分模态分解与注意力机制的风速预测方法。考虑自然因素的影响，研究多变量条件下风速预测问题。通过预处理已采集的数据进行变分模态分解，深度神经网络的输入序列；深度神经网络包括位置编码、编码器与解码器；位置编码为输入信号提供相对位置信息；编码器包括注意力机制层、前馈网络层与归一化残差连接层，用于神经网络模型捕获时序特征间的相互关系；解码器由双层全连接网络构成，用于将编码器获取的时序特征信息进行解构从而输出预测值。该方法能有效提高超短期风速预测精度；对操作平台没有限制，使用灵活方便，可移植性强，风速预测性能优异。

Description

一种基于变分模态分解与注意力机制的风速预测方法
技术领域
本发明涉及风速预测方法技术领域，具体涉及一种基于变分模态分解与注意力机制的风速预测方法。
背景技术
在远洋航行领域，有效并准确的风速预测结合海况信息预报可以为船舶航行设计出最佳的航线，在保障航行安全性的同时，减少航时与油耗。在军事领域，在作战规划制定、任务部署安排上，气象状况是一项极为重要的参考因素，借助准确的气象预测，军事指挥人员可针对性装配部队、制定行军方案、设定适当的运输模式，从而提高军事行动成功率。因此，风速预测方法研究有着重大的现实意义与应用价值。
传统气象数值预测技术中采用以WRF等NWP数值天气预报物理模型，对实时气象运行规律有较好的模拟，但因建模过程本身的复杂性与对环境信息精确性的高依赖度，使得结果表现出对短期高精度预测的不确定性。新兴的气象数值预测技术区别于经典的物理模型基于气象变化机理的解析，主要从统计学理论与机器学***均法、自回归差分移动平均法等预测方法进行短时预测。然而，基于统计学原理的风速时间序列预测准确性易受到时间序列随机波动性、不稳定性等因素的限制，故越来越多的学者尝试将机器学习理论与模型运用到时间序列预测中，如支持向量机、卡尔曼滤波和人工神经网络等。其中，在深度学习领域，李大中等人提出一种基于卷积循环神经网络的深度学习模型，较一般机器学习算法在短期预报精度上有了较大的提高。Shi等人提出一种卷积长短期记忆神经网络，并在多普勒雷达回波时间序列数据上进行了验证，达到了较传统物理模型光流法更高的预测精度。当前，一些研究开始注重在数据预处理阶段就对原始数据进行降噪、降低复杂度等处理，采用“分解-预测-重构”的思路。田中大等人提出一种基于小波变换的风电场短期风速组合预测模型，SANTHOSH M等人采用集成经验模态分解算法对原始数据进行分解，并将解构之后的信号输入神经网络进行模型的训练，对时序数据的预测精度上有较大提升。然而，分解算法一定程度上会引入端点效应、模态混叠现象，干扰实际预测效果。针对以上问题，目前亟需一种准确度更高的风速预测方法。
发明内容
本发明提供了一种基于变分模态分解与融合注意力机制的深度神经网络的风速预测方法。为克服上述现有技术不足，本发明在考虑风向、风速、阵风、气压、温度与水面温度等自然因素的基础上，研究多变量条件下风速预测问题。变分模态分解在滤除噪声降低数据复杂度的同时，可有效提高噪声鲁棒性使得风速时间序列得到有效分解与特征提取。同时，通过镜像延拓，可避免迭代过程中的端点效应与虚假分量现象。融合注意力机制的深度神经网络模型Transformer具有抓取全局内部关联信息的能力，可有效捕捉到长距离依赖，无过多信息堆积、冗余、丢失。对比试验表明，该模型能有效提高超短期风速预测精度。通过设计深度学习模型，重点关注信号降噪、特征提取、注意力机制等问题，通过理论分析、对比实验等方式验证所提方法的优越性。
本发明的技术方案：一种基于变分模态分解与注意力机制的风速预测方法，包括步骤如下：
步骤一：采集历史气象数据，构建原始风速及相关协变量数据集，对数据缺失或异常，即值≥999的情况，采用分权线性插值法填补数据；
步骤二：数据预处理，为消除数据集中不同特征变量量纲不同对实验造成的影响，采用均值-方差归一化方法将数据集中的数据缩放至同一尺度，(均值为0，方差为1)；以8:1:1比例划分数据集为训练集、验证集与测试集；
步骤三：变分模态分解；取数据集一定步长的序列作为深度神经网络的输入序列u(t)，对输入序列u(t)采用变分模态分解获得K个具有特定模态的序列uk(t)，k＝1，2...K；通过镜像延拓，可避免迭代过程中的端点效应与虚假分量现象。变分模态分解可滤除噪声，降低数据复杂度，有效提高噪声鲁棒性；
(3.1)将输入序列u(t)各模态经希尔伯特变换后的解析信号混合为一预估中心频率：
Figure BDA0003427126800000031
其中，δ(t)为狄拉克函数，ωk为第k个模态的中心频率；
K个模态之和为输入序列u(t)且各模态的估计带宽之和最小，即：
Figure BDA0003427126800000032
其中，{uk}＝{u1,…,uK},{ωk}＝{ω1,…,ωK}；
(3.2)将式(2)的约束性变分问题变为非约束性变分问题：
Figure BDA0003427126800000033
式中，α为二次惩罚因子，保证输入序列u(t)在混入噪声信号的情况下的重构精度；λ(t)为拉格朗日乘法算子，保持约束条件严格性；
采用交替方向乘子法通过迭代交替更新
Figure BDA0003427126800000041
和
Figure BDA0003427126800000042
求得式(2)中最优解；各模态新分量中心频率由下式表示：
Figure BDA0003427126800000043
分解后各模态新分量
Figure BDA0003427126800000044
为：
Figure BDA0003427126800000045
其中，n为算法迭代次数，
Figure BDA0003427126800000046
与
Figure BDA0003427126800000047
分别代表u(ω)、
Figure BDA0003427126800000048
与λn(ω)傅里叶变换；
分解后输入序列u(t)经傅里叶逆变换取实部为：
Figure BDA0003427126800000049
式中，F-1(·)表示傅里叶逆变换，Real(·)表示取复数实部；
步骤四：分解后的K个分量{uk(t)}取实部作为融合注意力机制的深度神经网络的输入信号，以实际风速作为预测目标，对深度神经网络进行参数训练、验证或预测；深度神经网络包括位置编码、编码器与解码器；位置编码为输入信号提供相对位置信息；编码器包括注意力机制层、前馈网络层与归一化残差连接层，用于神经网络模型捕获时序特征间的相互关系；解码器由双层全连接网络构成，用于将编码器获取的时序特征信息进行解构从而输出预测值。
所述分权线性插值法如下：
Figure BDA00034271268000000410
其中，u(tmiss)代表序列tmiss时刻待填充的缺失或异常值，u(tprev)为缺失或异常值前距其最近的tprev时刻的有效值，u(tnext)为缺失或异常值后距其最近的tnext时刻的有效值。所述位置编码的构造方法具体如下：输入序列u(t)的每个单点数据添加特有向量，整个输入序列信号注入位置信息；通过构造与输入序列u(t)维数一致的矩阵，并与输入序列u(t)相加得到下一注意力机制层的输入；
Figure BDA0003427126800000051
其中，pos表示该单点数据在整个输入序列u(t)中的位置，dmodel是特有向量的维度，i表示特有向量的位置。
所述注意力机制层中，随机初始化三个维度相同的矩阵WQ，WK和WV，使用这三个矩阵分别对输入序列做线性变换，得到结果记为查询向量Q和键向量K与值向量V，并将三者通过计算映射到一个输出矩阵，其中分配给每个值的权重由查询向量Q与相应键向量K的兼容性函数softmax函数计算；输出矩阵计算为：
Figure BDA0003427126800000052
其中
Figure BDA0003427126800000053
为矩阵K列维数取平方根，用于防止训练不稳定。
通过设置h个注意力机制层形成多头注意力机制层。
模型输出结果：未来指定时刻风速预测值，并保存预测结果于文件中。
本发明的有益效果：本发明所述方法在获取浮标站气象观测数据后，对数据进行预处理、变分模态分解、神经网络预测，最终得到未来指定时刻风速预测值。
本发明对操作平台没有限制，使用灵活方便，可移植性强，风速预测性能优异。
附图说明
图1为基于变分模态分解与注意力机制的风速预测方法总体流程图；
图2为注意力机制层结构；
图3为多头注意力机制结构；
图4为变分模态分解算法对风速时间序列进行分解的结果图。
具体实施方式
以下结合发明内容详细说明本发明的具体实施方式:
下面详细介绍了使用基于变分模态分解与融合注意力机制的深度神经网络模型预测风速的过程。本发明通过以下案例进一步说明本发明的用途和使用方法，但本发明并不受限于此。
1.实验环境配置
软件***：Window10***
编程语言：Python3.7
深度学习框架：Pytorch1.10
2.实验方法
(1)风速及相关气象数据获取：通过气象浮标观测历史风速及相关气象数据保存为.csv文件，对观测数据缺失或异常(值≥999)的情况，采用分权线性插值法填补数据。分权线性插值表达式如下：
Figure BDA0003427126800000061
其中，u(tmiss)代表序列tmiss时刻需填充的缺失或异常值，u(tprev)为缺失或异常值前距其最近的tprev时刻的有效值，u(tnext)为缺失或异常值后距其最近的tnext时刻的有效值。以8:1:1比例划分数据集为训练集、验证集与测试集；
(2)数据预处理：为消除数据集中不同特征变量量纲不同对实验造成的影响，本发明采用均值-方差归一化方法将数据缩放至同一尺度(均值为0，方差为1)，并分别应用于训练集、验证集与测试集，转换公式如下：
Figure BDA0003427126800000071
其中，μ为数据集平均值，σ为数据集标准差。
本发明将站点所测风向、风速、阵风、大气压力、气温与水温等作为6个可能影响风速预测的特征，以间隔30分钟连续观测18小时共36个数据观测值作为每一特征维度的数据输入，组成[Batch Size,36,6]输入矩阵，其中，Batch Size为单次训练所选取的样本数，取Batch Size＝256。
(3)变分模态分解：采用变分模态分解对于原始输入序列u(t)寻求K个具有特定模态的序列uk(t)，k＝1，2...K，使得每个模态的估计带宽之和最小，其约束条件为K个模态重构之和等于输入序列u(t)。目标模态数K的设定取决于各模态中心频率不重叠且最后一层分量的中心频率保持相对稳定。若K取值过大，则会导致模态重叠并引入噪声，若K取值过小，则会存在分解不彻底的问题，将影响预测精度。具体包括以下步骤：
(3.1)对于风速输入序列u(t)，将各模态经希尔伯特变换后的解析信号混合一预估中心频率,从而将每个模态的频谱调制到相应的基频带：
Figure BDA0003427126800000072
其中，δ(t)为狄拉克函数，ωk为第k个模态的中心频率。
受约束变分问题可描述为K个模态之和为输入时间序列且各模态的估计带宽之和最小，即：
Figure BDA0003427126800000081
其中，{uk}＝{u1,…,uK},{ωk}＝{ω1,…,ωK}
(3.2)在此基础上，引入二次惩罚因子α保证时间序列在混入噪声信号的情况下的重构精度，同时引入拉格朗日乘法算子λ(t)以保持约束条件严格性，从而将约束性变分问题变为非约束性变分问题，扩展的拉格朗日表达式如下
Figure BDA0003427126800000082
采用交替方向乘子法通过迭代交替更新
Figure BDA0003427126800000083
和
Figure BDA0003427126800000084
(n为迭代次数)寻求扩展拉格朗日表达式的“鞍点”，进而求得式(2)中最优解。其中分解后各模态新分量中心频率可由下式表示：
Figure BDA0003427126800000085
分解后各模态新分量
Figure BDA0003427126800000086
可表述为：
Figure BDA0003427126800000087
其中，n为算法迭代次数，
Figure BDA0003427126800000088
与
Figure BDA0003427126800000089
分别代表u(ω)、
Figure BDA00034271268000000810
与λn(ω)傅里叶变换。分解后序列经傅里叶逆变换取实部作为模型输入，其实部可表示为：
Figure BDA0003427126800000091
式中，F-1(·)表示傅里叶逆变换，Real(·)表示取复数实部。
分解后的K个分量{uk(t)}作为模型输入，则原始输入数据维度变为[256,36,6K]。
变分模态分解所涉及到的超参数根据经验值分别取：惩罚因子α＝1000，保真度稀疏τ＝1×10-6和收敛停止条件∈＝1×10-9。变分模态分解算法对风速时间序列进行分解的结果示意图如图4所示；
(4)融合注意力机制神经网络：注意力机制的神经网络模型Transformer完全基于注意力机制，无需递归与卷积的计算，这使得其在模型参数的计算上不再依赖于前一位置的输出与当前位置的输入来计算得到当前位置的输出，从而将串行化的计算转换为并行化，有效地节省运行时长。并且，传统的递归神经网络算法提取全局信息能力较差，在长时间尺度的特征提取与预测上有较大瓶颈，Transformer可从全局提取信息，在长时间尺度的特征提取与预测上有较大优势。
如图1所示，模型分为编码与解码两大部分。其中，编码器由若干个相同的单元块组成，每个单元块又由两个子单元组成，包括多头注意力机制层和全连接前馈网络层，每一子层都增加残差连接和标准化。解码器部分采用双层全连接神经网络。
经变分模态分解后的时序数据，首先会进行位置编码。Transformer利用时间序列的位置信息，在模型中引入了位置编码以记录序列中各数据间相对的位置空间信息。Transformer为每个输入的单点数据源添加特有向量，向量遵循特定模式，有助于确定每个单点数据源的位置以及不同单点数据源之间的距离，使得在后续的计算中，能更好地表达各数据点之间的距离。位置编码的构造方法可采取如下方法，通过下式构造一个与输入数据维数一致的矩阵，并与输入相加得到下一注意力层的输入。
Figure BDA0003427126800000101
其中，pos表示该单点数据在整个序列中的位置，dmodel是输入向量的维度，i表示编码向量的位置。整个输入序列信号注入位置信息，位置信息的差异取决于频率和相位的差异。
输入信号序列u(t)在添加位置编码后即输入注意力层，如图2所示。注意力机制是Transformer的核心，能在不同的子空间中学习到相应的位置信息特征。注意力机制函数可以描述为将一组dk维的查询向量Q和dk维的键向量K与dv维的值向量V映射到一个输出，输出被计算为值的加权和，其中分配给每个值的权重由查询与相应键的兼容性函数softmax函数计算。输出矩阵计算为：
Figure BDA0003427126800000102
式中，使用所有的键计算点积，将每个键除以
Figure BDA0003427126800000103
防止因点积量纲过大导致softmax的梯度极小，进而导致训练不稳定。
如图3所示，多头注意力机制通过h个不同的注意力层进行线性变换对Q，K，V进行投影，即模型中存在多个子空间，将自注意力机制应用于每个子空间，最后将不同的子空间的输出进行拼接以转换为与单一自我注意机制相同维度的结果。上述这种通过增加多头注意力的机制，进一步完善了自注意力层，可扩展模型专注于不同位置的能力。
在编码器中的每一层都包含一个完全连接的前馈网络，这个全连接有两层，第一层的激活函数是ReLu，其数学表达式为f(x)＝max(0，x)，第二层是一个线性激活函数，它们共同表示为：
FFW(x)＝max[W2(0，W1x+b1)+b2] (20)
其中，x是多头注意层的输出，W是权重矩阵，b是偏移值。两个线性变换部分共同构成前馈神经网络，Transformer中各前馈网络参数不同，可灵活匹配不同的序列数据，提高预测精度。
将注意力层归一化后做残差连接。残差连接即在每一层内部，将多头自注意力或前向反馈层的输入与输出连接。后续将处理后的时序数据输入解码器即全连接神经网络进行模型的优化。
本发明中可对风速进行一步至多步预测，选取均方误差(mean square error,MSE)与决定系数R2作为预测结果准确度评价指标。性能指标的定义如下：
Figure BDA0003427126800000111
Figure BDA0003427126800000112
其中，N为风速时间序列数据测试集每批样本总数，
Figure BDA0003427126800000113
和yi分别表示风速时间序列的预测值和实际观测值，
Figure BDA0003427126800000114
表示实际观测值均值。MSE数值越小，则表明预测值与实际值越接近，该模型预测精度越高。决定系数R2反映了两个变量之间的线性关系，表现出预测值相对于实际观测值拟合的好坏程度，可衡量模型预测风速值的准确与否，相关系数越高则模型预测性能越优。
本发明中，设定融合注意力机制神经网络中设定编码层为2，其中多头注意力机制层设定为双头注意力，各编码器中前馈网络隐藏单元设置为64，解码器部分为双层全连接神经网络，隐藏单元分别为36,18。模型以256组，每组连续36个观测值作为一个批次的数据集输入网络，即Batch Size＝256，网络以均方误差作为损失函数，利用反向传播算法更新网络参数，使用自适应优化器Adam(Adaptive Moment Estimation)对网络模型参数进行优化。模型正则化Dropout比率设定为0.2，Adam优化器学习率设定为0.002。
3.实验结果
(1)对比实验：
将模型在训练集上进行训练，每训练一轮便在验证集上进行模型验证并比较验证效果，当模型在验证集上的性能连续5轮不再改善时，停止训练，将验证效果最好的一次模型参数保存并用于风速序列预测。以下是该发明与其他经典风速预测方式的对比效果。
表1模型预测效果对比(MSE指标)
Figure BDA0003427126800000121
表2模型预测效果对比(R2指标)
Figure BDA0003427126800000122
Figure BDA0003427126800000131
将VMD-Transformer模型与其他LSTM、VMD-LSTM、Persistence Model等其他经典风速预测方式进行对比，采用美国国家海洋和大气管理局国家数据浮标中心(https://www.ndbc.noaa.gov/)中北纬48.493，西经124.726浮标站46087，选取其于2015年12月31日至2020年11月23日所测以30分钟为时间间隔的气象数据共84944条作为实验数据集。以标准差MSE与决定系数R2作为评价指标，实验结果如表1与表2所示。通过上表比对实验可发现，相比于未经变分模态分解直接对原始数据进行处理，结合VMD的模型在预测效果上更加优异，表明VMD可有效提取输入时间序列数据的特征，使得神经网络模型参数训练时更专注于对关键特征信息的处理。同时，比对不同神经网络模型，发现VMD-LSTM在1步预测上效果更优，但VMD-Transformer在2-18步上都具有更优的预测性能，故可知引入融合注意力机制的神经网络模型Transformer相比于循环神经网络LSTM，对全局信息特征的学习效果更佳，从而使得其在相对更长的时间序列的预测中有更佳优良的表现。

Claims (5)

1.一种基于变分模态分解与注意力机制的风速预测方法，其特征在于，包括步骤如下：
步骤一：采集历史气象数据，构建原始风速及相关协变量数据集，对数据缺失或异常的情况，采用分权线性插值法填补数据；
步骤二：数据预处理，采用均值-方差归一化方法将数据集中的数据缩放至同一尺度；以8∶1∶1比例划分数据集为训练集、验证集与测试集；
步骤三：变分模态分解；取数据集一定步长的序列作为深度神经网络的输入序列u(t)，对输入序列u(t)采用变分模态分解获得K个具有特定模态的序列uk(t)，k＝1，2...K；
(3.1)将输入序列u(t)各模态经希尔伯特变换后的解析信号混合为一预估中心频率：
Figure FDA0003427126790000011
其中，δ(t)为狄拉克函数，ωk为第k个模态的中心频率；
K个模态之和为输入序列u(t)且各模态的估计带宽之和最小，即：
Figure FDA0003427126790000012
其中，{uk}＝{u1，…，uK}，{ωk}＝{ω1，…，ωK}；
(3.2)将式(2)的约束性变分问题变为非约束性变分问题：
Figure FDA0003427126790000013
式中，α为二次惩罚因子，保证输入序列u(t)在混入噪声信号的情况下的重构精度；λ(t)为拉格朗日乘法算子，保持约束条件严格性；
采用交替方向乘子法通过迭代交替更新
Figure FDA0003427126790000021
和
Figure FDA0003427126790000022
求得式(2)中最优解；各模态新分量中心频率由下式表示：
Figure FDA0003427126790000023
分解后各模态新分量
Figure FDA0003427126790000024
为：
Figure FDA0003427126790000025
其中，n为算法迭代次数，
Figure FDA0003427126790000026
与
Figure FDA0003427126790000027
分别代表u(w)、
Figure FDA0003427126790000028
与λn(w)傅里叶变换；
分解后输入序列u(t)经傅里叶逆变换取实部为：
Figure FDA0003427126790000029
式中，F-1(·)表示傅里叶逆变换，Real(·)表示取复数实部；
步骤四：分解后的K个分量{uk(t)}取实部作为融合注意力机制的深度神经网络的输入信号，以实际风速作为预测目标，对深度神经网络进行参数训练、验证或预测；深度神经网络包括位置编码、编码器与解码器；位置编码为输入信号提供相对位置信息；编码器包括注意力机制层、前馈网络层与归一化残差连接层，用于神经网络模型捕获时序特征间的相互关系；解码器由双层全连接网络构成，用于将编码器获取的时序特征信息进行解构从而输出预测值。
2.根据权利要求1所述的基于变分模态分解与注意力机制的风速预测方法，其特征在于，所述分权线性插值法如下：
Figure FDA0003427126790000031
其中，u(tmiss)代表序列tmiss时刻待填充的缺失或异常值，u(tprev)为缺失或异常值前距其最近的tprev时刻的有效值，u(tnext)为缺失或异常值后距其最近的tnext时刻的有效值。
3.根据权利要求1或2所述的基于变分模态分解与注意力机制的风速预测方法，其特征在于，所述位置编码的构造方法具体如下：输入序列u(t)的每个单点数据添加特有向量，整个输入序列信号注入位置信息；通过构造与输入序列u(t)维数一致的矩阵，并与输入序列u(t)相加得到下一注意力机制层的输入；
Figure FDA0003427126790000032
其中，pos表示该单点数据在整个输入序列u(t)中的位置，dmodel是特有向量的维度，i表示特有向量的位置。
4.根据权利要求1或2所述的基于变分模态分解与注意力机制的风速预测方法，其特征在于，所述注意力机制层中，随机初始化三个维度相同的矩阵WQ，WK和WV，使用这三个矩阵分别对输入序列u(t)做线性变换，得到结果记为查询向量Q和键向量K与值向量V，并将三者通过计算映射到一个输出矩阵，其中分配给每个值的权重由查询向量Q与相应键向量K的兼容性函数softmax函数计算；输出矩阵计算为：
Figure FDA0003427126790000033
其中
Figure FDA0003427126790000034
为矩阵K列维数取平方根，用于防止训练不稳定。
5.根据权利要求1或2所述的基于变分模态分解与注意力机制的风速预测方法，其特征在于，通过设置h个注意力机制层形成多头注意力机制层。
CN202111583769.7A 2021-12-22 2021-12-22 一种基于变分模态分解与注意力机制的风速预测方法 Pending CN114218870A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111583769.7A CN114218870A (zh) 2021-12-22 2021-12-22 一种基于变分模态分解与注意力机制的风速预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111583769.7A CN114218870A (zh) 2021-12-22 2021-12-22 一种基于变分模态分解与注意力机制的风速预测方法

Publications (1)

Publication Number Publication Date
CN114218870A true CN114218870A (zh) 2022-03-22

Family

ID=80705340

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111583769.7A Pending CN114218870A (zh) 2021-12-22 2021-12-22 一种基于变分模态分解与注意力机制的风速预测方法

Country Status (1)

Country Link
CN (1) CN114218870A (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114896826A (zh) * 2022-07-13 2022-08-12 成都信息工程大学 基于物理学结合残差注意力网络的行星边界层参数化方法
CN114898871A (zh) * 2022-07-14 2022-08-12 陕西省人民医院 一种基于人工神经网络的心脏病诊断研究方法
CN115345207A (zh) * 2022-10-13 2022-11-15 南京信息工程大学 一种自适应的多气象要素预测方法
CN115439329A (zh) * 2022-11-10 2022-12-06 四川轻化工大学 人脸图像超分辨率重建方法及计算机可读取的存储介质
CN115471016A (zh) * 2022-11-01 2022-12-13 南京信息工程大学 一种基于cisso与daed的台风预测方法
CN115828758A (zh) * 2022-12-13 2023-03-21 广东海洋大学 基于改进烟花算法优化网络的海水三维预测方法及***
CN116128158A (zh) * 2023-04-04 2023-05-16 西南石油大学 混合采样注意力机制的油井效率预测方法
CN116629142A (zh) * 2023-07-24 2023-08-22 合肥工业大学 基于transformer机制的雷电定位轨迹预测方法、***和存储介质
CN116662766A (zh) * 2023-08-01 2023-08-29 浙江大学 基于数据二维重构的风速预测方法及装置、电子设备
CN116882180A (zh) * 2023-07-13 2023-10-13 中国人民解放军国防科技大学 一种基于模态分解和自编码器的pin温度特性预测方法
CN116996111A (zh) * 2023-08-23 2023-11-03 中国科学院微小卫星创新研究院 卫星频谱预测方法、装置和电子设备
CN117114190A (zh) * 2023-08-29 2023-11-24 华中科技大学 一种基于混合深度学习的河道径流预测方法及设备
WO2024011876A1 (zh) * 2022-07-14 2024-01-18 东南大学 一种数字集成电路布线后路径延时预测方法
CN117494573A (zh) * 2023-11-16 2024-02-02 中山大学 一种风速预测方法、***及电子设备
CN117825743A (zh) * 2024-03-04 2024-04-05 浙江大学 基于傅里叶特征增强和全局匹配的piv测速方法与装置

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114896826A (zh) * 2022-07-13 2022-08-12 成都信息工程大学 基于物理学结合残差注意力网络的行星边界层参数化方法
CN114896826B (zh) * 2022-07-13 2022-09-09 成都信息工程大学 基于物理学结合残差注意力网络的行星边界层参数化方法
CN114898871A (zh) * 2022-07-14 2022-08-12 陕西省人民医院 一种基于人工神经网络的心脏病诊断研究方法
WO2024011876A1 (zh) * 2022-07-14 2024-01-18 东南大学 一种数字集成电路布线后路径延时预测方法
CN115345207A (zh) * 2022-10-13 2022-11-15 南京信息工程大学 一种自适应的多气象要素预测方法
CN115471016A (zh) * 2022-11-01 2022-12-13 南京信息工程大学 一种基于cisso与daed的台风预测方法
CN115439329A (zh) * 2022-11-10 2022-12-06 四川轻化工大学 人脸图像超分辨率重建方法及计算机可读取的存储介质
CN115828758B (zh) * 2022-12-13 2023-08-25 广东海洋大学 基于改进烟花算法优化网络的海水三维预测方法及***
CN115828758A (zh) * 2022-12-13 2023-03-21 广东海洋大学 基于改进烟花算法优化网络的海水三维预测方法及***
CN116128158B (zh) * 2023-04-04 2023-06-23 西南石油大学 混合采样注意力机制的油井效率预测方法
CN116128158A (zh) * 2023-04-04 2023-05-16 西南石油大学 混合采样注意力机制的油井效率预测方法
CN116882180A (zh) * 2023-07-13 2023-10-13 中国人民解放军国防科技大学 一种基于模态分解和自编码器的pin温度特性预测方法
CN116882180B (zh) * 2023-07-13 2024-05-03 中国人民解放军国防科技大学 一种基于模态分解和自编码器的pin温度特性预测方法
CN116629142B (zh) * 2023-07-24 2023-09-29 合肥工业大学 基于transformer机制的雷电定位轨迹预测方法和***
CN116629142A (zh) * 2023-07-24 2023-08-22 合肥工业大学 基于transformer机制的雷电定位轨迹预测方法、***和存储介质
CN116662766B (zh) * 2023-08-01 2023-10-03 浙江大学 基于数据二维重构的风速预测方法及装置、电子设备
CN116662766A (zh) * 2023-08-01 2023-08-29 浙江大学 基于数据二维重构的风速预测方法及装置、电子设备
CN116996111A (zh) * 2023-08-23 2023-11-03 中国科学院微小卫星创新研究院 卫星频谱预测方法、装置和电子设备
CN117114190A (zh) * 2023-08-29 2023-11-24 华中科技大学 一种基于混合深度学习的河道径流预测方法及设备
CN117494573A (zh) * 2023-11-16 2024-02-02 中山大学 一种风速预测方法、***及电子设备
CN117494573B (zh) * 2023-11-16 2024-06-11 中山大学 一种风速预测方法、***及电子设备
CN117825743A (zh) * 2024-03-04 2024-04-05 浙江大学 基于傅里叶特征增强和全局匹配的piv测速方法与装置
CN117825743B (zh) * 2024-03-04 2024-06-11 浙江大学 基于傅里叶特征增强和全局匹配的piv测速方法与装置

Similar Documents

Publication Publication Date Title
CN114218870A (zh) 一种基于变分模态分解与注意力机制的风速预测方法
Alencar et al. Hybrid approach combining SARIMA and neural networks for multi-step ahead wind speed forecasting in Brazil
US20150254554A1 (en) Information processing device and learning method
CN110942194A (zh) 一种基于tcn的风电预测误差区间评估方法
Dolatabadi et al. Hybrid deep learning-based model for wind speed forecasting based on DWPT and bidirectional LSTM network
CN116342657B (zh) 一种基于编码-解码结构的tcn-gru船舶轨迹预测方法、***、设备及介质
CN114549925A (zh) 一种基于深度学习的海浪有效波高时间序列预测方法
CN109460874B (zh) 一种基于深度学习的有义波高预测方法
CN116632820A (zh) 基于序列延拓vmd与风速波动特性的风电功率预测方法
Kong et al. A deep spatio-temporal forecasting model for multi-site weather prediction post-processing
Abbas et al. Revolutionizing low-carbon marine transportation: Prediction of wave energy via adaptive neuro-fuzzy inference framework in East China Sea
CN113221450B (zh) 一种针对稀疏不均匀时序数据的航位预测方法及***
Tuyen et al. A combination of novel hybrid deep learning model and quantile regression for short‐term deterministic and probabilistic PV maximum power forecasting
Tang et al. An EMD-PSO-LSSVM hybrid model for significant wave height prediction
Wang et al. Filling gaps in significant wave height time series records using bidirectional gated recurrent unit and cressman analysis
CN116931129A (zh) 基于多模式集合的短期降水预报方法、装置、设备及介质
CN117154680A (zh) 一种基于非平稳Transformer模型的风电功率预测方法
CN115526376A (zh) 多特征融合的生成对抗网络超短期风功率预测方法
CN115296298A (zh) 一种风电场功率预测方法
Obakrim et al. Learning the spatiotemporal relationship between wind and significant wave height using deep learning
Xie et al. Decomposition‐Based Multistep Sea Wind Speed Forecasting Using Stacked Gated Recurrent Unit Improved by Residual Connections
CN114509825A (zh) 基于混合进化算法改进三维对抗生成神经网络的强对流天气预测方法及***
Li et al. Deepphysinet: Bridging deep learning and atmospheric physics for accurate and continuous weather modeling
Tan et al. OSP-FEAN: Optimizing Significant Wave Height Prediction with Feature Engineering and Attention Network
Zhao et al. Spatio-temporal model combining vmd and am for wind speed prediction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination