CN112558185A - 基于注意力机制的双向gru台风轨迹智能预测预报***、计算机设备、存储介质 - Google Patents
基于注意力机制的双向gru台风轨迹智能预测预报***、计算机设备、存储介质 Download PDFInfo
- Publication number
- CN112558185A CN112558185A CN202011302642.9A CN202011302642A CN112558185A CN 112558185 A CN112558185 A CN 112558185A CN 202011302642 A CN202011302642 A CN 202011302642A CN 112558185 A CN112558185 A CN 112558185A
- Authority
- CN
- China
- Prior art keywords
- layer
- typhoon
- model
- hidden layer
- attention mechanism
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01W—METEOROLOGY
- G01W1/00—Meteorology
- G01W1/10—Devices for predicting weather conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A50/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE in human health protection, e.g. against extreme weather
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Business, Economics & Management (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Environmental & Geological Engineering (AREA)
- Human Resources & Organizations (AREA)
- Tourism & Hospitality (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Development Economics (AREA)
- General Business, Economics & Management (AREA)
- Game Theory and Decision Science (AREA)
- Atmospheric Sciences (AREA)
- Biodiversity & Conservation Biology (AREA)
- Ecology (AREA)
- Environmental Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种基于注意力机制的双向GRU台风轨迹智能预测预报***、计算机设备、存储介质。本发明涉及大气海洋数值预报和深度学习领域。包括带有注意力机制的双向GRU模型,所述模型建立包括以下流程:构建台风轨迹历史数据集、对数据进行预处理、搭建台风轨迹预测模型以及进行模型训练。首先,构建包含台风轨迹经纬度的用于模型训练和测试的数据集,包括联合台风警报中心(JTWC)提供的历史最佳轨迹数据集;然后对数据进行预处理,包括缺失值填补、数值归一化;然后对搭建网络,包括输入层、双向RGU层、注意力机制模块和全连接层;最后对模型进行训练,确定最优参数,得到台风轨迹的预测经纬度输出值。
Description
技术领域
本发明涉及大气海洋数值预报和深度学习领域,特别设计一种基于注意力机制的双向GRU台风轨迹智能预测预报***、计算机设备、存储介质。
背景技术
热带气旋是在热带和亚热带海洋表面产生的中尺度或天气性暖气旋。强烈的热带气旋将成为台风(飓风),它是最具破坏性和不可预测的自然灾害之一,对台风刮过的地区造成不可估量的生命安全威胁和巨大的财产损失。近年来,强台风的发生频率增加,使得台风路径的预测变得更加重要。
准确预测台风轨迹的变化规律在防灾减灾中具有重要的意义,由于台风轨迹的复杂性随机性,台风轨迹预测的准确性一直有待提升。预测台风轨迹的方法现如今主要分为两类,一类是基于微分方程的模式预报方法,另一类是基于数据驱动的方法。
模式预报是一个较为复杂的过程,需要大量的计算资源和时间。由于海上数据资料缺乏,为构造真实准确的初始场带来了一定的困难;而且现有模式的空间分辨率相对较低,得出的结果仍存在一定的误差。数据驱动的方法主要集中在统计和机器学习的方法,然后这些办法无法学习序列数据的相关性,需要人工选择时间特征,这可能会导致预测结果不理想。
发明内容
基于上述问题,本发明的目的在于提供一种基于注意力机制的双向GRU台风轨迹智能预测预报***、计算机设备、存储介质,可以有效提高台风轨迹的预测准确率。为了对公开实施例的内容有一些基本的了解,下面给出简单的介绍描述。
根据本发明实施例的第一方面,提供了一种基于门控循环单元神经网路的海平面高度智能预测预报***。
在一些可选实施例中,所述***包括带有注意力机制的双向GRU模型,所述模型建立包括以下流程:构建台风轨迹历史数据集、对数据进行预处理、搭建台风轨迹预测模型以及进行模型训练。首先,构建包含台风轨迹经纬度的用于模型训练和测试的数据集,包括联合台风警报中心(JTWC)提供的历史最佳轨迹数据集;然后对数据进行预处理,包括缺失值填补、数值归一化;然后对搭建网络,包括输入层、双向RGU层、注意力机制模块和全连接层;最后对模型进行训练,确定最优参数,得到台风轨迹的预测经纬度输出值。
可选地,所述构建包含台风轨迹经纬度的用于模型训练和测试的数据集,其比例为8:2。
可选地,所述对数据进行缺失值填补、数值归一化以及对数据进行切分,整合成可以输入到神经网络的形式,具体包括:通过python中pandas库的isnull函数检索海洋历史数据中的缺省值,并将其填补为0;通过离差标准化的方法,对数据进行线性变化,将其映射到[0,1]之间。
可选地,所述搭建台风轨迹预测模型主要包括:输入层、隐含层和输出层。
(1)输入层
输入层是把台风历史数据处理成神经网络所能够接收并处理的张量形式。具体分割算法如下所示:
输入:海平面高度时间序列T={x1,x2,…,xn}
输出:H={(X1,Y1),(X2,Y2),…,(Xn-L,Yn-L)}={x1,x2,…,xn}
a:置i=1,
b:如果i>n-L,则停止循环,否则输出先前序列Xi={xi,xi+1,…,xi+L}以及先前序列Xi对应目标值Yi,
c:置i=i+1转b。
(2)隐含层
隐含层主要包括一个双向GRU层和一个注意力机制模块。
双向GRU的当前隐含层状态由当前的输入xt、t-1时刻前向隐层状态的输出值和t-1时刻反向隐层状态的输出值共同决定。因此双向GRU可以看作是两个方向相反的GRU的结合体,其在t时刻的隐含层状态ht可以由和加权求和决定:
RGU()表示对非线性激活函数,ut、vt分别表示t时刻前向隐藏状态和反向隐藏状态所对应的权重参数,bt表示t时刻隐含层所对应的偏置。
引入注意力机制模块后,隐含层状态会进行改变。初始隐含层状态到新的隐含层状态g是各个隐含层状态在新的隐含层状态所占的比重系数ωi和初始隐含层的输入hi的乘积的累加和,通过以下公式可以实现从输入的初始状态到新的注意力机制的转换。
ei=αiATT(βihi+ci) (6)
其中ei分别是第i时刻隐含层hi的能量值,αi、βi是权重系数矩阵,ci是偏置系数,ATT()表示的是激活函数。
(3)输出层
输出层是一层全连接层。全连接层起到将学到的特征表示映射到样本的标记空间的作用,可以转变张量维度,得到模型想要的输出预测的的维度。
可选地,所述激活函数选用RELU,损失函数选择MSE,隐含层初始参数为随机确定。
可选地,所述的对模型进行训练,采用adam算法和反向传播算法进行训练。
根据本发明实施例的第二方面,提供一种计算机设备。
在一些可选实施例中,所述计算机设备包括:存储器、处理器及存储在所述存储器上并可被所述处理器运行的程序,所述处理器执行所述程序时实现以下步骤:构建带有注意力机制的双向GRU模型,所述模型建立包括以下流程:构建台风轨迹历史数据集、对数据进行预处理、搭建台风轨迹预测模型以及进行模型训练。首先,构建包含台风轨迹经纬度的用于模型训练和测试的数据集,包括联合台风警报中心(JTWC)提供的历史最佳轨迹数据集;然后对数据进行预处理,包括缺失值填补、数值归一化;然后对搭建网络,包括输入层、双向RGU层、注意力机制模块和全连接层;最后对模型进行训练,确定最优参数,得到台风轨迹的预测经纬度输出值。
可选地,所述构建包含台风轨迹经纬度的用于模型训练和测试的数据集,其比例为8:2。
可选地,所述对数据进行缺失值填补、数值归一化以及对数据进行切分,整合成可以输入到神经网络的形式,具体包括:通过python中pandas库的isnull函数检索海洋历史数据中的缺省值,并将其填补为0;通过离差标准化的方法,对数据进行线性变化,将其映射到[0,1]之间。
可选地,所述搭建台风轨迹预测模型主要包括:输入层、隐含层和输出层。
(1)输入层
输入层是把台风历史数据处理成神经网络所能够接收并处理的张量形式。具体分割算法如下所示:
输入:海平面高度时间序列T={x1,x2,…,xn}
输出:H={(X1,Y1),(X2,Y2),…,(Xn-L,Yn-L)}={x1,x2,…,xn}
a:置i=1,
b:如果i>n-L,则停止循环,否则输出先前序列Xi={xi,xi+1,…,xi+L}以及先前序列Xi对应目标值Yi,
c:置i=i+1转b。
(2)隐含层
隐含层主要包括一个双向GRU层和一个注意力机制模块。
双向GRU的当前隐含层状态由当前的输入xt、t-1时刻前向隐层状态的输出值和t-1时刻反向隐层状态的输出值共同决定。因此双向GRU可以看作是两个方向相反的GRU的结合体,其在t时刻的隐含层状态ht可以由和加权求和决定:
RGU()表示对非线性激活函数,ut、vt分别表示t时刻前向隐藏状态和反向隐藏状态所对应的权重参数,bt表示t时刻隐含层所对应的偏置。
引入注意力机制模块后,隐含层状态会进行改变。初始隐含层状态到新的隐含层状态g是各个隐含层状态在新的隐含层状态所占的比重系数ωi和初始隐含层的输入hi的乘积的累加和,通过以下公式可以实现从输入的初始状态到新的注意力机制的转换。
ei=αiATT(βihi+ci) (6)
其中ei分别是第i时刻隐含层hi的能量值,αi、βi是权重系数矩阵,ci是偏置系数,ATT()表示的是激活函数。
(3)输出层
输出层是一层全连接层。全连接层起到将学到的特征表示映射到样本的标记空间的作用,可以转变张量维度,得到模型想要的输出预测的的维度。
可选地,所述激活函数选用RELU,损失函数选择MSE,隐含层初始参数为随机确定。
可选地,所述的对模型进行训练,采用adam算法和反向传播算法进行训练。
根据本发明实施例的第三方面,提供了一种存储介质。
在一些可选实施例中,所述存储介质,其上存储有计算机程序,当所述计算机程序被处理器执行时实现如下步骤:构建带有注意力机制的双向GRU模型,所述模型建立包括以下流程:构建台风轨迹历史数据集、对数据进行预处理、搭建台风轨迹预测模型以及进行模型训练。首先,构建包含台风轨迹经纬度的用于模型训练和测试的数据集,包括联合台风警报中心(JTWC)提供的历史最佳轨迹数据集;然后对数据进行预处理,包括缺失值填补、数值归一化;然后对搭建网络,包括输入层、双向RGU层、注意力机制模块和全连接层;最后对模型进行训练,确定最优参数,得到台风轨迹的预测经纬度输出值。
可选地,所述构建包含台风轨迹经纬度的用于模型训练和测试的数据集,其比例为8:2。
可选地,所述对数据进行缺失值填补、数值归一化以及对数据进行切分,整合成可以输入到神经网络的形式,具体包括:通过python中pandas库的isnull函数检索海洋历史数据中的缺省值,并将其填补为0;通过离差标准化的方法,对数据进行线性变化,将其映射到[0,1]之间。
可选地,所述搭建台风轨迹预测模型主要包括:输入层、隐含层和输出层。
(1)输入层
输入层是把台风历史数据处理成神经网络所能够接收并处理的张量形式。具体分割算法如下所示:
输入:海平面高度时间序列T={x1,x2,…,xn}
输出:H={(X1,Y1),(X2,Y2),…,(Xn-L,Yn-L)}={x1,x2,…,xn}
a:置i=1,
b:如果i>n-L,则停止循环,否则输出先前序列Xi={xi,xi+1,…,xi+L}以及先前序列Xi对应目标值Yi,
c:置i=i+1转b。
(2)隐含层
隐含层主要包括一个双向GRU层和一个注意力机制模块。
双向GRU的当前隐含层状态由当前的输入xt、t-1时刻前向隐层状态的输出值和t-1时刻反向隐层状态的输出值共同决定。因此双向GRU可以看作是两个方向相反的GRU的结合体,其在t时刻的隐含层状态ht可以由和加权求和决定:
RGU()表示对非线性激活函数,ut、vt分别表示t时刻前向隐藏状态和反向隐藏状态所对应的权重参数,bt表示t时刻隐含层所对应的偏置。
引入注意力机制模块后,隐含层状态会进行改变。初始隐含层状态到新的隐含层状态g是各个隐含层状态在新的隐含层状态所占的比重系数ωi和初始隐含层的输入hi的乘积的累加和,通过以下公式可以实现从输入的初始状态到新的注意力机制的转换。
ei=αiATT(βihi+ci) (6)
其中ei分别是第i时刻隐含层hi的能量值,αi、βi是权重系数矩阵,ci是偏置系数,ATT()表示的是激活函数。
(3)输出层
输出层是一层全连接层。全连接层起到将学到的特征表示映射到样本的标记空间的作用,可以转变张量维度,得到模型想要的输出预测的的维度。
可选地,所述激活函数选用RELU,损失函数选择MSE,隐含层初始参数为随机确定。
可选地,所述的对模型进行训练,采用adam算法和反向传播算法进行训练。
本发明实施例的有益效果和优点如下:
现阶段台风的发生频率增加,带来的破坏性逐渐加大,需要准确的台风路径预测手段来进行预报,从而达到防灾减灾的效果。本发明针对于现有的一些预测方法耗时耗资源且精度不准的现状提供了一种基于门控循环单元神经网络的海平面高度智能预测预报***、计算机设备、存储介质。利用深度学习中的双向GRU和注意力机制等技术,实现了从台风路径的历史数据中挖掘台风路径走向的特征,从而预测台风轨迹的新形式。相对于传统的海洋数值模式和统计等方法,本发明能够充分的挖掘台风路径历史数据的深层次特征,总结台风路径变化的趋势规律,以更少的计算时间和资源来进行更加精准的预测。
附图说明
图1是根据一示例性实施例示出的一种基于注意力机制的双向GRU台风轨迹智能预测预报***的总体工作流程示意图
图2是根据一示例性实施例示出的台风轨迹预测模型内部示意图
具体实施方式
应当提前指出,以下说明的目的是对本申请提供进一步的详细说明,是示例性的。本发明所用的技术方法和专业术语均与本申请所述领域的技术人员理解一致。在本说明中,使用的术语“包括”、“包含”其指明存在特征、步骤、操作、器件、组件和或者或它们的组合。
可选实施例中,所述***包括带有注意力机制的双向GRU模型,所述模型建立包括以下流程:构建台风轨迹历史数据集、对数据进行预处理、搭建台风轨迹预测模型以及进行模型训练。首先,构建包含台风轨迹经纬度的用于模型训练和测试的数据集,包括联合台风警报中心(JTWC)提供的历史最佳轨迹数据集;然后对数据进行预处理,包括缺失值填补、数值归一化;然后对搭建网络,包括输入层、双向RGU层、注意力机制模块和全连接层;最后对模型进行训练,确定最优参数,得到台风轨迹的预测经纬度输出值。
图1是根据一示例性实施例示出的一种基于注意力机制的双向GRU台风轨迹智能预测预报***的总体工作流程示意图。
可选地,所述构建包含台风轨迹经纬度的用于模型训练和测试的数据集,其比例为8:2。
可选地,所述对数据进行缺失值填补、数值归一化以及对数据进行切分,整合成可以输入到神经网络的形式,具体包括:通过python中pandas库的isnull函数检索海洋历史数据中的缺省值,并将其填补为0;通过离差标准化的方法,对数据进行线性变化,将其映射到[0,1]之间。
可选地,所述搭建台风轨迹预测模型主要包括:输入层、隐含层和输出层。
(1)输入层
输入层是把台风历史数据处理成神经网络所能够接收并处理的张量形式。具体分割算法如下所示:
输入:海平面高度时间序列T={x1,x2,…,xn}
输出:H={(X1,Y1),(X2,Y2),…,(Xn-L,Yn-L)}={x1,x2,…,xn}
a:置i=1,
b:如果i>n-L,则停止循环,否则输出先前序列Xi={xi,xi+1,…,xi+L}以及先前序列Xi对应目标值Yi,
c:置i=i+1转b。
(2)隐含层
隐含层主要包括一个双向GRU层和一个注意力机制模块。
双向GRU的当前隐含层状态由当前的输入xt、t-1时刻前向隐层状态的输出值和t-1时刻反向隐层状态的输出值共同决定。因此双向GRU可以看作是两个方向相反的GRU的结合体,其在t时刻的隐含层状态ht可以由和加权求和决定:
RGU()表示对非线性激活函数,ut、vt分别表示t时刻前向隐藏状态和反向隐藏状态所对应的权重参数,bt表示t时刻隐含层所对应的偏置。
引入注意力机制模块后,隐含层状态会进行改变。初始隐含层状态到新的隐含层状态g是各个隐含层状态在新的隐含层状态所占的比重系数ωi和初始隐含层的输入hi的乘积的累加和,通过以下公式可以实现从输入的初始状态到新的注意力机制的转换。
ei=αiATT(βihi+ci) (6)
其中ei分别是第i时刻隐含层hi的能量值,αi、βi是权重系数矩阵,ci是偏置系数,ATT()表示的是激活函数。
(3)输出层
输出层是一层全连接层。全连接层起到将学到的特征表示映射到样本的标记空间的作用,可以转变张量维度,得到模型想要的输出预测的的维度。
图2是根据一示例性实施例示出的台风轨迹预测模型内部示意图。
可选地,所述激活函数选用RELU,损失函数选择MSE,隐含层初始参数为随机确定。
可选地,所述的对模型进行训练,采用adam算法和反向传播算法进行训练。
在上述实施例示例中,还提供了一种包括指令的非临时性计算机可读存储介质,上述指令可由处理器执行以完成以下步骤:建立带有注意力机制的双向GRU模型,所述模型建立包括以下流程:构建台风轨迹历史数据集、对数据进行预处理、搭建台风轨迹预测模型以及进行模型训练。首先,构建包含台风轨迹经纬度的用于模型训练和测试的数据集,包括联合台风警报中心(JTWC)提供的历史最佳轨迹数据集;然后对数据进行预处理,包括缺失值填补、数值归一化;然后对搭建网络,包括输入层、双向RGU层、注意力机制模块和全连接层;最后对模型进行训练,确定最优参数,得到台风轨迹的预测经纬度输出值。
上述非临时性计算机可读存储介质可以是只读存储器、随机存取存储器、磁带和光存储设备等。
本发明通过深度学***面高度数据进行预测,与传统的海洋数值模式和统计等方法,可减少大量的计算时间和资源,处理速度快,而且有相当精确的准确率,便于集成和大规模的应用。
以上所述,虽然将本发明将较佳具体实施方案描述如上,但仅是本发明的较佳实施例之一,并非用以限定本发明。任何熟悉本领域的技术人员在不脱离本发明技术方案内,当可以对上述具体实施方案做出些许更动或修饰为等同变化的实施方案,但但凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施内容所做的任何简单修改、等同变化与修饰,均仍属于本发明技术方案的范围内。
Claims (7)
1.一种基于注意力机制的双向GRU台风轨迹预测预报***,其特征在于,包括带有注意力机制的双向GRU模型,所述模型建立包括以下流程:构建台风轨迹历史数据集、对数据进行预处理、搭建台风轨迹预测模型以及进行模型训练。首先,构建包含台风轨迹经纬度的用于模型训练和测试的数据集,包括联合台风警报中心(JTWC)提供的历史最佳轨迹数据集;然后对数据进行预处理,包括缺失值填补、数值归一化;然后对搭建网络,包括输入层、双向RGU层、注意力机制模块和全连接层;最后对模型进行训练,确定最优参数,得到台风轨迹的预测经纬度输出值。
2.如权利1所述的***,其特征在于,构建包含台风轨迹经纬度的用于模型训练和测试的数据集,其比例为8∶2。
3.如权利1所述的***,其特征在于,所述对数据进行缺失值填补、数值归一化以及对数据进行切分,整合成可以输入到神经网络的形式,具体包括:通过python中pandas库的isnull函数检索海洋历史数据中的缺省值,并将其填补为0;通过离差标准化的方法,对数据进行线性变化,将其映射到[0,1]之间。
4.如权利1所述的***,其特征在于,所述搭建台风轨迹预测模型主要包括:输入层、隐含层和输出层。
(1)输入层
输入层是把台风历史数据处理成神经网络所能够接收并处理的张量形式。具体分割算法如下所示:
输入:海平面高度时间序列T={x1,x2,…,xn}
输出:H={(X1,Y1),(X2,Y2),…,(Xn-L,Yn-L)}={x1,x2,…,xn}
a:置i=1,
b:如果i>n-L,则停止循环,否则输出先前序列Xi={xi,xi+1,…,xi+L}以及先前序列Xi对应目标值Yi,
c:置i=i+1转b。
(2)隐含层
隐含层主要包括一个双向GRU层和一个注意力机制模块。
双向GRU的当前隐含层状态由当前的输入xt、t-1时刻前向隐层状态的输出值和t-1时刻反向隐层状态的输出值共同决定。因此双向GRU可以看作是两个方向相反的GRU的结合体,其在t时刻的隐含层状态ht可以由和加权求和决定:
RGU()表示对非线性激活函数,ut、vt分别表示t时刻前向隐藏状态和反向隐藏状态所对应的权重参数,bt表示t时刻隐含层所对应的偏置。
引入注意力机制模块后,隐含层状态会进行改变。初始隐含层状态到新的隐含层状态g是各个隐含层状态在新的隐含层状态所占的比重系数ωi和初始隐含层的输入hi的乘积的累加和,通过以下公式可以实现从输入的初始状态到新的注意力机制的转换。
ei=αiATT(βihi+ci) (6)
其中ei分别是第i时刻隐含层hi的能量值,αi、βi是权重系数矩阵,ci是偏置系数,ATT()表示的是激活函数。
(3)输出层
输出层是一层全连接层。全连接层起到将学到的特征表示映射到样本的标记空间的作用,可以转变张量维度,得到模型想要的输出预测的的维度。
5.如权利4所述的***,其特征在于,所述激活函数选用RELU,损失函数选择MSE,隐含层初始参数为随机确定。
6.如权利1所述的***,其特征在于,所述的对模型进行训练,采用adam算法和反向传播算法进行训练。
7.一种计算机设备,包括存储器、处理器及存储在所述存储器上并可被所述处理器运行的程序,其特征在于,所述处理器执行所述程序时实现以下步骤:构建台风轨迹历史数据集、对数据进行预处理、搭建台风轨迹预测模型以及进行模型训练。首先,构建包含台风轨迹经纬度的用于模型训练和测试的数据集,包括联合台风警报中心(JTWC)提供的历史最佳轨迹数据集;然后对数据进行预处理,包括缺失值填补、数值归一化;然后对搭建网络,包括输入层、双向RGU层、注意力机制模块和全连接层;最后对模型进行训练,确定最优参数,得到台风轨迹的经纬度预测输出值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011302642.9A CN112558185A (zh) | 2020-11-19 | 2020-11-19 | 基于注意力机制的双向gru台风轨迹智能预测预报***、计算机设备、存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011302642.9A CN112558185A (zh) | 2020-11-19 | 2020-11-19 | 基于注意力机制的双向gru台风轨迹智能预测预报***、计算机设备、存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112558185A true CN112558185A (zh) | 2021-03-26 |
Family
ID=75044334
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011302642.9A Pending CN112558185A (zh) | 2020-11-19 | 2020-11-19 | 基于注意力机制的双向gru台风轨迹智能预测预报***、计算机设备、存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112558185A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113408588A (zh) * | 2021-05-24 | 2021-09-17 | 上海电力大学 | 一种基于注意力机制的双向gru轨迹预测方法 |
CN113688774A (zh) * | 2021-09-03 | 2021-11-23 | 重庆大学 | 基于深度学习的高层建筑风致响应预测、训练方法及装置 |
CN115577769A (zh) * | 2022-10-10 | 2023-01-06 | 国网湖南省电力有限公司 | 一种基于双向神经网络自回归模型的量测数据拟合方法 |
CN116699731A (zh) * | 2023-08-09 | 2023-09-05 | 中国海洋大学三亚海洋研究院 | 一种热带气旋路径短期预报方法、***及存储介质 |
CN116776745A (zh) * | 2023-08-18 | 2023-09-19 | 南昌云宜然科技有限公司 | 基于边缘计算的污染物浓度和轨迹移动预测的方法与*** |
CN117910512A (zh) * | 2024-03-05 | 2024-04-19 | 广州地铁设计研究院股份有限公司 | 基于注意力机制的钢轨电位预测方法和ovpd智能控制装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109902885A (zh) * | 2019-04-09 | 2019-06-18 | 中国人民解放军国防科技大学 | 基于深度学习混合cnn-lstm模型的台风预测方法 |
CN111199270A (zh) * | 2019-12-30 | 2020-05-26 | 福建省海洋预报台 | 一种基于深度学习的区域波高预报方法及终端 |
CN111242351A (zh) * | 2019-12-31 | 2020-06-05 | 上海师范大学 | 基于自编码器和gru神经网络的热带气旋轨迹预测方法 |
CN111275168A (zh) * | 2020-01-17 | 2020-06-12 | 南京信息工程大学 | 基于卷积全连接的双向门控循环单元的空气质量预测方法 |
CN111553232A (zh) * | 2020-04-22 | 2020-08-18 | 陕西师范大学 | 基于场景状态迭代的门循环单元网络行人轨迹预测方法 |
CN111783960A (zh) * | 2020-07-09 | 2020-10-16 | 中国人民解放军国防科技大学 | 基于自动编码器和双向lstm的船舶轨迹预测方法及*** |
CN111897353A (zh) * | 2020-07-08 | 2020-11-06 | 西北工业大学 | 基于gru的飞行器机动轨迹预测方法 |
-
2020
- 2020-11-19 CN CN202011302642.9A patent/CN112558185A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109902885A (zh) * | 2019-04-09 | 2019-06-18 | 中国人民解放军国防科技大学 | 基于深度学习混合cnn-lstm模型的台风预测方法 |
CN111199270A (zh) * | 2019-12-30 | 2020-05-26 | 福建省海洋预报台 | 一种基于深度学习的区域波高预报方法及终端 |
CN111242351A (zh) * | 2019-12-31 | 2020-06-05 | 上海师范大学 | 基于自编码器和gru神经网络的热带气旋轨迹预测方法 |
CN111275168A (zh) * | 2020-01-17 | 2020-06-12 | 南京信息工程大学 | 基于卷积全连接的双向门控循环单元的空气质量预测方法 |
CN111553232A (zh) * | 2020-04-22 | 2020-08-18 | 陕西师范大学 | 基于场景状态迭代的门循环单元网络行人轨迹预测方法 |
CN111897353A (zh) * | 2020-07-08 | 2020-11-06 | 西北工业大学 | 基于gru的飞行器机动轨迹预测方法 |
CN111783960A (zh) * | 2020-07-09 | 2020-10-16 | 中国人民解放军国防科技大学 | 基于自动编码器和双向lstm的船舶轨迹预测方法及*** |
Non-Patent Citations (1)
Title |
---|
桑海峰,陈紫珍,何大阔: "基于双向GRU 和注意力机制模型的人体动作预测", 《计算机辅助设计与图形学学报》 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113408588A (zh) * | 2021-05-24 | 2021-09-17 | 上海电力大学 | 一种基于注意力机制的双向gru轨迹预测方法 |
CN113408588B (zh) * | 2021-05-24 | 2023-02-14 | 上海电力大学 | 一种基于注意力机制的双向gru轨迹预测方法 |
CN113688774A (zh) * | 2021-09-03 | 2021-11-23 | 重庆大学 | 基于深度学习的高层建筑风致响应预测、训练方法及装置 |
CN113688774B (zh) * | 2021-09-03 | 2023-09-26 | 重庆大学 | 基于深度学习的高层建筑风致响应预测、训练方法及装置 |
CN115577769A (zh) * | 2022-10-10 | 2023-01-06 | 国网湖南省电力有限公司 | 一种基于双向神经网络自回归模型的量测数据拟合方法 |
CN115577769B (zh) * | 2022-10-10 | 2024-05-31 | 国网湖南省电力有限公司 | 一种基于双向神经网络自回归模型的量测数据拟合方法 |
CN116699731A (zh) * | 2023-08-09 | 2023-09-05 | 中国海洋大学三亚海洋研究院 | 一种热带气旋路径短期预报方法、***及存储介质 |
CN116699731B (zh) * | 2023-08-09 | 2023-09-29 | 中国海洋大学三亚海洋研究院 | 一种热带气旋路径短期预报方法、***及存储介质 |
CN116776745A (zh) * | 2023-08-18 | 2023-09-19 | 南昌云宜然科技有限公司 | 基于边缘计算的污染物浓度和轨迹移动预测的方法与*** |
CN116776745B (zh) * | 2023-08-18 | 2023-10-24 | 南昌云宜然科技有限公司 | 基于边缘计算的污染物浓度和轨迹移动预测的方法与*** |
CN117910512A (zh) * | 2024-03-05 | 2024-04-19 | 广州地铁设计研究院股份有限公司 | 基于注意力机制的钢轨电位预测方法和ovpd智能控制装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112558185A (zh) | 基于注意力机制的双向gru台风轨迹智能预测预报***、计算机设备、存储介质 | |
CN111428789A (zh) | 一种基于深度学习的网络流量异常检测方法 | |
CN113936142A (zh) | 一种基于深度学习的降水临近预报方法及装置 | |
CN111242351A (zh) | 基于自编码器和gru神经网络的热带气旋轨迹预测方法 | |
CN112560948B (zh) | 数据偏差下的眼底图分类方法及成像方法 | |
CN114090718B (zh) | 基于Bi-LSTM预测与模糊分析的中断航迹关联方法 | |
Yao et al. | Wave height forecast method with multi-step training set extension LSTM neural network | |
CN115877483A (zh) | 一种基于随机森林和gru的台风路径预报方法 | |
CN117349748A (zh) | 一种基于云边协同的主动学习故障诊断方法 | |
CN117521512A (zh) | 一种基于多尺度贝叶斯卷积Transformer模型的轴承剩余使用寿命预测方法 | |
CN114492217A (zh) | 一种基于混合时间序列感知机模型的台风浪高预测方法 | |
CN113743592A (zh) | 一种基于gan的遥测数据异常检测方法 | |
CN117636183A (zh) | 一种基于自监督预训练的小样本遥感图像分类方法 | |
CN116824140A (zh) | 面向测试场景无掩码监督的小样本分割方法 | |
CN116778709A (zh) | 一种基于注意力时空图卷积网络交通流速度的预测方法 | |
CN114913485A (zh) | 一种多层级特征融合的弱监督检测方法 | |
CN115034432A (zh) | 一种风电场风力发电机组风速预测方法 | |
CN115081519A (zh) | 基于强化学习的自动对星方法 | |
Wang et al. | Indoor sound source localization algorithm based on BP neural network | |
CN117493583B (zh) | 结合事件日志和知识图谱的流程操作序列生成方法及*** | |
CN111523090B (zh) | 基于高斯混合概率假设密度的数目时变多目标跟踪方法 | |
LU504816B1 (en) | Interpretable deep learning model for extreme climate prediction | |
CN118051878B (zh) | 基于多模态融合改进深度学习的极端降水次季节预报方法 | |
CN116805337B (zh) | 一种基于跨尺度视觉变换网络的人群定位方法 | |
CN114819338B (zh) | 基于双注意力机制的多要素海表面温度预测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210326 |
|
WD01 | Invention patent application deemed withdrawn after publication |