CN112785043B - 一种基于时序注意力机制的洪水预报方法 - Google Patents
一种基于时序注意力机制的洪水预报方法 Download PDFInfo
- Publication number
- CN112785043B CN112785043B CN202011639357.6A CN202011639357A CN112785043B CN 112785043 B CN112785043 B CN 112785043B CN 202011639357 A CN202011639357 A CN 202011639357A CN 112785043 B CN112785043 B CN 112785043B
- Authority
- CN
- China
- Prior art keywords
- data
- flood
- attention mechanism
- forecasting
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007246 mechanism Effects 0.000 title claims abstract description 39
- 238000013277 forecasting method Methods 0.000 title claims abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 23
- 238000012360 testing method Methods 0.000 claims abstract description 23
- 238000011156 evaluation Methods 0.000 claims abstract description 13
- 238000007781 pre-processing Methods 0.000 claims abstract description 13
- 238000004140 cleaning Methods 0.000 claims abstract description 9
- 238000013501 data transformation Methods 0.000 claims abstract description 8
- 238000012549 training Methods 0.000 claims description 22
- 239000011159 matrix material Substances 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 18
- 238000013528 artificial neural network Methods 0.000 claims description 14
- 230000015654 memory Effects 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000006403 short-term memory Effects 0.000 claims description 10
- 230000007787 long-term memory Effects 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 230000003247 decreasing effect Effects 0.000 claims description 4
- 238000002790 cross-validation Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 abstract description 4
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000000547 structure data Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2474—Sequence data queries, e.g. querying versioned data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
- Y02A10/40—Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Economics (AREA)
- Computational Linguistics (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- General Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- General Business, Economics & Management (AREA)
- Development Economics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Marketing (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Game Theory and Decision Science (AREA)
- Primary Health Care (AREA)
- Entrepreneurship & Innovation (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Fuzzy Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Educational Administration (AREA)
- Remote Sensing (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Alarm Systems (AREA)
Abstract
本发明属于数据驱动水流预报技术领域，公开了一种基于时序注意力机制的洪水预报方法，首先，收集研究的中小流域的水文数据，然后将收集到的所述水文历史数据经过数据预处理后输入到本模型中；其次，对水文历史数据进行数据清洗、数据变换、数据集划分等；再次，构建基于时序注意力机制的洪水预报模型；输入测试数据测试预报模型性能，判断网络性能是否符合要求，如果不符合则进行参数调节，直到达到理想的预测结果；最后，通过评估标准对模型进行分析，完成洪水预报。本发明的有益效果是：能够有效的预报洪峰精度和洪水趋势，是中小河流洪水实时预报的有效工具。
Description
技术领域
本发明涉及数据驱动水流预报技术领域，具体涉及一种基于时序注意力机制的洪水预报方法。
背景技术
我国是世界上洪涝灾害较为严重的国家之一，特别是2020年，据水利部报道我国洪涝灾害造成6346万人次受灾，直接经济损失达1789.6亿元。洪水预报属于重要的预防洪水灾害的一系列非工程措施之一，及时有效的中小河流洪水预警预报能帮助人类有效地防御洪水、减少洪灾损失，属于重要的防灾减灾应用。中小流域洪水具有突发性强、汇流时间快、预见期短等特点。目前洪水预报一般采用基于径流过程的水文模型和数据驱动的智能模型两种方式，且两个模型在实际预报中互相补充。数据驱动建模基本不考虑水文过程的物理机制，是以建立输入输出数据之间的最优数学关系为目标的黑箱子方法。中小河流具有复杂的水文特性、边界条件和活跃的人类活动等非线性影响因素，针对现有智能洪水预报模型在中小河流实时预报中适应性和精度不足问题，采取实时校正技术适当修正预报误差是必要的措施。
及时有效的中小河流洪水预警预报，是目前最有效可行的防灾减灾非工程措施之一。近二十年里，利用数据驱动技术的智能模型在预测和模拟非线性水文的应用以及捕获复杂数据集中的噪声方面取得了较大的进展。经典的数据驱动建模方法主要有人工神经网络、支持向量机(SVM)、模糊逻辑、进化计算等。在上述方法中，各洪水预报模型都是比较有效的预报方法，由实测降雨和径流资料构建的水文模型本质上是流域径流形成物理过程的一个概化，误差不可避免，因此洪水实时预报采用实时校正技术对预报误差作适当修正是一种必要的措施。
发明内容
针对现有智能洪水预报模型在中小河流实时预报中适应性和精度不足问题，本发明的目的在于提出一种基于注意力机制的洪水预报方法，能够有效的预报洪峰精度和洪水趋势，是中小河流洪水实时预报的有效工具。
用于时间预测的卷积神经网络是深度学习的代表性算法之一。但是传统的卷积神经网络很难处理现实世界中的图结构数据(例如分散分布的水文测站等)。2017年，ThomasN.Kipf提出了一种具有图结构网络的半监督分类模型——图卷积神经网络(GraphConvolutional Network,GCN)，其可以处理类似于水文测站的图结构数据。最近图卷积神经网络被广泛应用于特征学习的社交网络和信息网络、链接关系预测等各种领域。本发明构造了FGC-LSTM模型(Flood Grpah Convolution-LSTM，用于洪水预报的图卷积长短期记忆网络)，该模型首先使用GCN来挖掘空间特征，再使用传统的LSTM(Long Short-TermMemory长短期记忆网络)在一定程度上挖掘时间特征，从而进一步进行水文预测。
人类的视觉***包含着复杂的信息处理机制，其始终可以快速找到重要的目标区域以进行详细分析。深度学习中的注意力机制是根据人类视觉在处理全局图像时，自主增强焦点区域信息抑制其他冗余区域表达的选择性，而衍生出的以从众多信息中自主选择对当前任务更关键信息为核心的一种信息处理方式，被广泛应用于图像描述、自然语言处理和语音识别等多个领域，例如硬注意力机制、软注意力机制，内容注意力机制等。在各种注意力模型的启发下，在上述FGC-LSTM的基础上，从时间维度上分配了注意力权重，并在一定程度上解决了洪水预报问题。
为了实现上述目的，本发明是通过如下的技术方案来实现：
一种基于时序注意力机制的洪水预报方法，其特征在于：
收集研究的中小流域的水文历史数据，将收集到的所述水文历史数据进行数据预处理；
对已经进行过数据预处理的水文历史数据进行空间特征建模；
通过长短期记忆网络的迭代训练，对已经进行过空间特征建模的水文历史数据进行时间特征建模，得到预报模型；
基于时序注意力机制的思想计算每个时刻的时序注意力机制得分，增强对长期记忆的分辨能力，并得到上下文向量，进而得到预测值；
输入所述预测值测试所述预报模型性能，判断整个预报模型性能损失函数值的大小变化趋势，若损失函数值的大小变化趋势不呈递减趋势或没有趋于平缓，则进行参数调节，直到损失函数值呈递减趋势，并且趋于平缓；趋于平缓即损失函数值的导数值在预设范围内。
通过评估标准对预报模型进行分析，完成洪水预报。
进一步地，所述参数调节，具体为通过改变参数值的方式进行训练回合、每个回合的训练样本数量以及图卷积网络的层数的调节。
进一步地，所述水文历史数据包括流域内历史降雨数据和流域出口断面的历史流量数据。
进一步地，所述数据预处理包括数据清洗、数据变换以及数据集划分。
进一步地，所述数据清洗包括去除离群噪声数据和重复数据，且补全缺失数据；数据清洗及补全通过统计学原理自动实现；所述数据变换为通过规范化方式将数据转换成适用于所述预报模型训练的方式，具体方法为标准归一化；归一化处理后的数据集划分为训练集和测试集，其中，数据集划分方法为选取其中一场洪水数据作为测试集，剩下的洪水场次作为训练集；训练数据集训练采用交叉验证法防止所述预报模型过拟合。
进一步地，所述空间特征建模具体包括水文测站空间特征建模和相关性系数计算。
进一步地，所述水文测站空间特征建模为基于欧几里得距离原理计算得到水文关系矩阵；所述相关性计算为基于皮尔逊系数公式计算得到相关性矩阵；将所述水文关系矩阵和相关性矩阵按照设定的比例进行融合，得到最终的输入矩阵，所述输入矩阵输入到图卷积神经网络进行处理，完成经过数据预处理的水文历史数据的空间特征建模。
进一步地，所述通过评估标准对所述预报模型进行分析，得到洪水预报数据，具体为：使用测试集数据评估预报模型的性能，具体为使用三种评估标准同时评估基于注意力机制的洪水预报结果，所述三种评估标准分别为平均绝对误差MAE、决定系数R2、均方根误差RMSE。
进一步地，所述三种评估标准公式如下：
1)平均绝对误差MAE：
其中，
——第m个样本河水流量实际观测值，
——第m个样本河水流量预测值，N——测试样本数量；
2)决定系数R2：
其中，
——第m个样本河水流量实际观测值，
——第m个样本河水流量预测值，
——第m个样本河水流量预测平均值，N——测试样本数量；
3)均方根误差RMSE：
其中，
——第m个样本河水流量实际观测值，
——第m个样本河水流量预测平均值，N——测试样本数量。
进一步地，所述空间特征建模和时间特征建模的具体计算方法如下：
f＝sigmoid(Wf(f(A，Xt)，ht-1))+bf (4)
i＝sigmoid(Wi(f(A，Xt)，ht-1))+bi (5)
j＝tanh(Wj(f(A，Xt)，ht-1))+bj (6)
o＝sigmoid(Wo(f(A，Xt)，ht-1))+bo (7)
其中，f(A，Xt)表示的是GCN进行水文历史数据空间特征建模；f，i、j，o分别表示的是所述预报模型结构的遗忘门、输入门以及输出门的信息；Wf，Wi、Wj，Wo分别表示的是所述预报模型结构的遗忘门、输入门以及输出门的隐藏层状态的权重；bf，bi、bj，bo分别表示的是该结构遗忘门、输入门以及输出门的隐藏层状态的偏置；且W和b均为基于图卷积的长短期记忆网络学习参数。ht-1表示t-1时刻隐藏层状态，sigmoid()和tanh()均表示激活函数；
Ct＝f⊙Ct-1+i⊙j (8)
ht＝tanh(Ct)⊙o (9)
其中，Ct表示记忆单元状态信息，ht表示短期记忆。
进一步地，所述基于的时序注意力机制的思想是一种软注意力机制，所述上下文向量的计算方法具体如下：
ei＝w(2)(w(1)H+b(1))+b(2) (10)
其中，hi(i＝1，2，...，n)代表每个时刻的特征，并将hi作为输入。ei(i＝1，2，...，n)表示经过两层神经网络后计算得到的值，ek表示第k个时刻得到的值，其中w(1)和b(1)是第一层的权重和偏差，而w(2)和b(2)分别是第二层的重量和偏差，且H＝{h1，h2，...，hn}；每个特征的权重ai(i＝1，2，...，n)是通过归一化索引函数来计算的；ct表示的是涵盖洪水全局时序信息的上下文向量。
本发明的有益效果为：本发明利用深度学习算法，采用一种基于时序注意力机制的中小河流洪水预报方法，与传统的方法相比，充分利用了各个时刻的各水文数据的时序特征，并且利用了图卷积神经网络捕获水文空间有效特征的能力，针对于现有基于数据驱动的洪水预报模型在中小河流实时预报中适应性和精度不足问题，能够有效的预报洪峰精度和洪水趋势，是中小河流洪水实时预报的有效工具，具有重要的效果。
附图说明
下面结合附图和具体实施方式来详细说明本发明：
图1为本发明的实验流程图；
图2为本发明的洪水预报模型的FGC-LSTM单元结构示意图；
图3为本发明具体框架图。
具体实施方式
为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。
如图1所示，本发明的一种基于时序注意力机制的洪水预报方法，包括以下步骤：首先，收集研究的中小流域的水文数据，然后将收集到的所述水文历史数据经过数据预处理。其次，对水文历史数据进行数据清洗、数据变换、数据集划分等；再次，构建基于时序注意力机制的洪水预报模型，其中，先基于欧几里得距离和皮尔逊相关系数的原理，对已经进行过数据预处理的水文历史数据进行空间特征建模；然后通过长短期记忆网络的迭代训练，对已经进行过空间特征建模的水文历史数据进行一定程度的时间特征建模，得到本发明的预报模型；最后是基于时序注意力机制的思想计算每个时刻的相关信息，进行更深层次的时间特征建模，并得到上下文向量，进而得到预测值，使预测结果更加准确。接下来，输入预测值测试预报模型性能，判断整个预报模型性能损失函数值的大小变化趋势，若损失函数值的大小变化趋势不呈递减趋势或没有趋于平缓，则进行参数调节，直到损失函数值呈递减趋势，并且趋于平缓；最后，通过评估标准对预报模型进行分析，完成洪水预报。
在本实施例的一种具体实施方式中，参数调节具体为通过改变参数值的方式进行训练回合、每个回合的训练样本数量以及图卷积网络的层数的调节。
在本实施例的一种具体实施方式中，水文历史数据包括流域内历史降雨数据和流域出口断面的历史流量数据。
在本实施例的一种具体实施方式中，数据预处理包括数据清洗、数据变换以及数据集划分。
在本实施例的一种具体实施方式中，数据清洗包括去除离群噪声数据和重复数据，且补全缺失数据；数据清洗及补全通过统计学原理自动实现；数据变换为通过规范化方式将数据转换成适用于预报模型训练的方式，具体方法为标准归一化；归一化处理后的数据集划分为训练集和测试集，其中，数据集划分方法为选取其中一场洪水数据作为测试集，剩下的洪水场次作为训练集；训练数据集训练采用交叉验证法防止预报模型过拟合。
在本实施例的一种具体实施方式中，空间特征建模具体包括水文测站空间特征建模和相关性系数计算。
在本实施例的一种具体实施方式中，水文测站空间特征建模为基于欧几里得距离原理计算得到水文关系矩阵AH；相关性计算为基于皮尔逊系数公式计算得到相关性矩阵AP；将水文关系矩阵和相关性矩阵按照设定的比例进行融合，得到最终的输入矩阵AM，输入矩阵输入到图卷积神经网络进行处理，完成经过数据预处理的水文历史数据的空间特征建模。
经度和纬度组成一个坐标***，它是利用三维空间的球面来定义地球上的空间球面坐标***，能够标示地球上的任何一个位置。在这里，我们利用地球经纬网络来构建一个网络结构，定义AH为水文距离矩阵：
其中，dp，q表示的当上游的河流水流经过测站p经过下游测站q时，测站p与测站q之间的欧式距离，在此通过上下游河流站点两个地理位置的经纬度差来进行计算：
此处atan2为函数，R是地球半径，
l＝sin(Δθ/2)+cosαp·cosαq·sin2(α/2) (3)
其中Δθ表示的是纬度差，αp和αq为p和q的经度，Δα表示精度上的差异。在此处经纬度的单位为弧度。
在本发明中，我们不仅考虑了距离，还基于近些年来单位时间内的流量来计算各个测站之间的相似度，即关联性。如果两个地区相似度较高，则他们的流量等水文变量的变化趋势也往往具有很高的相似性。在这里我们使用皮尔逊相关系数来计算相关性。皮尔逊相关系数是衡量向量相似度的一种方法，输出范围为[-1，+1]，0代表无相关性，负值为负相关，正值为正相关。首先，将单位时间内流量数据进行标准化处理，采用极差法使数据标准化。首先计算指标值的最小值和最大值，然后计算极差，通过极差法将指标值映射到[0，1]之间；然后，再使用皮尔逊相关系数来计算相关性。
最后将结果输出至关联系数矩阵AP当中，其中，n2、N2都表示测站的个数。Pp，q表示测站p与测站q之间的皮尔逊相关系数结果：
其中，n1、N1、n2、N2都表示测站的个数。
主要思想是通过取相应的关联系数，如1：1，将AH与AP进行融合，来得到最终相应的综合性矩阵AM。在本实施例的一种具体实施方式中，通过评估标准对预报模型进行分析，得到洪水预报数据，具体为：使用测试集数据评估预报模型的性能，具体为使用三种评估标准同时评估基于注意力机制的洪水预报结果，三种评估标准分别为平均绝对误差MAE、决定系数R2、均方根误差RMSE。
在本实施例的一种具体实施方式中，三种评估标准公式如下：
1)平均绝对误差MAE：
其中，
——第m个样本河水流量实际观测值，
——第m个样本河水流量预测值，N——测试样本数量；
2)决定系数R2：
其中，
——第m个样本河水流量实际观测值，
——第m个样本河水流量预测值，
——第m个样本河水流量预测平均值，N——测试样本数量；
3)均方根误差RMSE：
其中，
——第m个样本河水流量实际观测值，
——第m个样本河水流量预测平均值，N——测试样本数量。
如图2所示，本发明的神经网络单元模块是基于图卷积神经网络的长短期记忆网络。长短期记忆网络(LSTM)神经单元可以对输入的数据进行有选择性的记忆和遗忘，由输入门、输出门和遗忘门构成，ht-1为前一时刻的隐藏层状态，Ct-1、Ct分别为前一时刻和此时刻经过记忆细胞单元的记忆单元状态变量，ft、it和ot分别为遗忘门、输入门和输出门。当输入的Xt经过记忆细胞单元后，状态变量Ct-1就变成了Ct，其原理在于，当输入的Xt经过记忆细胞单元时，依次通过遗忘门、输入门和输出门，一些信息被记忆单元选择遗忘，而另一些信息被记忆单元选择添加到记忆中。为了弥补LSTM在空间相关性方面的缺陷，本发明的结构设计了图卷积神经网络(GCN)来获取洪水数据的空间特征，从而既考虑了时间特征，又考虑了空间特征，使得洪水预报准确性得到有效改善。
f＝sigmoid(Wf(f(A，Xt)，ht-1))+bf (8)
i＝sigmoid(Wi(f(A，Xt)，ht-1))+bi (9)
j＝tanh(Wj(f(A，Xt)，ht-1))+bj (10)
o＝sigmoid(Wo(f(A，Xt)，ht-1))+bo (11)
其中，f(A，Xt)表示的是GCN进行水文历史数据空间特征建模；f，i、j，o分别表示的是本发明结构的遗忘门、输入门以及输出门的信息；Wf，Wi、Wj，Wo分别表示的是本发明结构的遗忘门、输入门以及输出门的隐藏层状态的权重；bf，bi、bj，bo分别表示的是该结构遗忘门、输入门以及输出门的隐藏层状态的偏置；且W和b均为于图卷积神经网络的长短期记忆网络学习参数。ht-1表示t-1时刻隐藏层状态，sigmoid()和tanh()均表示激活函数。
Ct＝f⊙Ct-1+i⊙j (12)
ht＝tanh(Ct)⊙o (13)
其中，Ct表示记忆单元状态信息，ht表示短期记忆，σ表示sigmoid激活函数。
如图3所示，本发明所提及的神经网络模型是一种基于时序注意力机制的FGC-LSTM的神经网络模型。本发明基于的时序注意力机制是一种软注意力机制，现有的洪水信息并非全部具有代表性和参考价值，信息程度随着不同时间点发生变化，需要更关注重要的信息因素，设计注意力函数来计算每个时刻的相关信息，从而得到可以描述全局流量变化信息的上下文向量，达到更深层次、更有效的时间特征建模结果，并使用此上下文向量得到最终的预测结果。
在本发明中，使用软注意力模型来随时关注洪水的实时流量，然后为洪水预报任务计算上下文向量，上下文向量可以很好的表现洪水流量全局变化趋势，通过注意力机制来分配权重，从而使洪水预报更加高效.
ei＝w(2)(w(1)H+b(1))+b(2) (14)
其中，hi(i＝1，2，...，n)代表每个时刻的特征，并将hi作为输入。ei(i＝1，2，...，n)表示经过两层神经网络后计算得到的值，ek表示第k个时刻得到的值，其中w(1)和b(1)是第一层的权重和偏差，而w(2)和b(2)分别是第二层的重量和偏差，且H＝{h1，h2，...，hn}；每个特征的权重ai(i＝1，2，...，n)是通过归一化索引函数来计算的。ct表示的是涵盖洪水全局时序信息的上下文向量。
在图3中，Xt-n、ht-n、at-n、分别对应着每t-n时刻的输入值、特征值和权重，；同理Xt、ht、at、ct分别对应着t时刻的输入值、特征值、权重以及上下文向量信息。yt为ct经过全连接层后输出的t时刻的预测值。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。
Claims (8)
1.一种基于时序注意力机制的洪水预报方法，其特征在于：
收集研究的中小流域的水文历史数据，将收集到的所述水文历史数据进行数据预处理；
对已经进行过数据预处理的水文历史数据进行空间特征建模；
通过长短期记忆网络的迭代训练，对已经进行过空间特征建模的水文历史数据进行时间特征建模，得到预报模型；
基于时序注意力机制的思想计算每个时刻的时序注意力机制得分，增强对长期记忆的分辨能力，并得到上下文向量，进而得到预测值；
输入所述预测值测试所述预报模型性能，判断整个预报模型损失函数值的大小变化趋势，如果变化趋势不呈递减趋势或没有趋于平缓，则进行参数调节，直到损失函数值呈递减趋势，并且趋于平缓；
通过评估标准对预报模型进行分析，完成洪水预报；
所述空间特征建模具体包括水文测站空间特征建模和相关性系数计算；
所述水文测站空间特征建模为基于欧几里得距离原理计算得到水文关系矩阵；所述相关性计算为基于皮尔逊系数公式计算得到相关性矩阵；将所述水文关系矩阵和相关性矩阵按照设定的比例进行融合，得到最终的输入矩阵，所述输入矩阵输入到图卷积神经网络进行处理，完成经过数据预处理的水文历史数据的空间特征建模。
2.根据权利要求1所述的一种基于时序注意力机制的洪水预报方法，其特征在于：所述水文历史数据包括流域内历史降雨数据和流域出口断面的历史流量数据。
3.根据权利要求1所述的一种基于时序注意力机制的洪水预报方法，其特征在于：所述数据预处理包括数据清洗、数据变换以及数据集划分。
4.根据权利要求3所述的一种基于时序注意力机制的洪水预报方法，其特征在于：所述数据清洗包括去除离群噪声数据和重复数据，且补全缺失数据；数据清洗及补全通过统计学原理自动实现；所述数据变换为通过规范化方式将数据转换成适用于所述预报模型训练的方式，具体方法为标准归一化；归一化处理后的数据集划分为训练集和测试集，其中，数据集划分方法为选取其中一场洪水数据作为测试集，剩下的洪水场次作为训练集；训练数据集训练采用交叉验证法防止所述预报模型过拟合。
5.根据权利要求1所述的一种基于时序注意力机制的洪水预报方法，其特征在于：所述通过评估标准对所述预报模型进行分析，得到洪水预报数据，具体为：使用测试集数据评估预报模型的性能，具体为使用三种评估标准同时评估基于注意力机制的洪水预报结果，所述三种评估标准分别为平均绝对误差MAE、决定系数R2、均方根误差RMSE。
6.根据权利要求5所述的一种基于时序注意力机制的洪水预报方法，其特征在于：所述三种评估标准公式如下：
1)平均绝对误差MAE：
其中，
——第m个样本河水流量实际观测值，
——第m个样本河水流量预测值，N——测试样本数量；
2)决定系数R2：
其中，
——第m个样本河水流量实际观测值，
——第m个样本河水流量预测值，
——第m个样本河水流量预测平均值，N——测试样本数量；
3)均方根误差RMSE：
其中，
——第m个样本河水流量实际观测值，
——第m个样本河水流量预测平均值，N——测试样本数量。
7.根据权利要求1所述的一种基于时序注意力机制的洪水预报方法，其特征在于：所述空间特征建模和时间特征建模中长短期记忆网络的具体计算方法如下：
f＝sigmoid(Wf(f(A,Xt),ht-1))+bf (4)
i＝sigmoid(Wi(f(A,Xt),ht-1))+bi (5)
j＝tanh(Wj(f(A,Xt),ht-1))+bj (6)
o＝sigmoid(Wo(f(A,Xt),ht-1))+bo (7)
其中，f(A,Xt)表示的是GCN进行水文历史数据空间特征建模；f，i、j，o分别表示的是所述预报模型结构的遗忘门、输入门以及输出门的信息；Wf，Wi、Wj，Wo分别表示的是所述预报模型结构的遗忘门、输入门以及输出门的隐藏层状态的权重；bf，bi、bj，bo分别表示的是该结构遗忘门、输入门以及输出门的隐藏层状态的偏置；且W和b均为基于图卷积的长短期记忆网络学习参数；ht-1表示t-1时刻隐藏层状态，sigmoid()和tanh()均表示激活函数；
Ct＝f⊙Ct-1+i⊙j (8)
ht＝tanh(Ct)⊙o (9)
其中，Ct表示记忆单元状态信息，ht表示短期记忆。
8.根据权利要求1所述的一种基于时序注意力机制的洪水预报方法，其特征在于：所述基于的时序注意力机制的思想是一种软注意力机制，所述上下文向量的计算方法具体如下：
ei＝w(2)(w(1)H+b(1))+b(2) (10)
其中，hi(i＝1,2,…,n)代表每个时刻的特征，并将hi作为输入；ei(i＝1,2,…,n)表示经过两层神经网络后计算得到的值，ek表示第k个时刻得到的值，其中w(1)和b(1)是第一层的权重和偏差，而w(2)和b(2)分别是第二层的重量和偏差，且H＝{h1,h2,…,hn}；每个特征的权重ai(i＝1,2,…,n)是通过归一化索引函数来计算的；ct表示的是涵盖洪水全局时序信息的上下文向量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011639357.6A CN112785043B (zh) | 2020-12-31 | 2020-12-31 | 一种基于时序注意力机制的洪水预报方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011639357.6A CN112785043B (zh) | 2020-12-31 | 2020-12-31 | 一种基于时序注意力机制的洪水预报方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112785043A CN112785043A (zh) | 2021-05-11 |
| CN112785043B true CN112785043B (zh) | 2022-08-30 |
Family
ID=75753441
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011639357.6A Active CN112785043B (zh) | 2020-12-31 | 2020-12-31 | 一种基于时序注意力机制的洪水预报方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112785043B (zh) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113487856B (zh) * | 2021-06-04 | 2022-10-14 | 兰州理工大学 | 基于图卷积网络及注意力机制的交通流组合预测模型 |
| CN113487069B (zh) * | 2021-06-22 | 2022-10-11 | 浙江大学 | 一种基于grace日降尺度和新型dwsdi指数的区域洪涝灾害风险评估方法 |
| CN113505536A (zh) * | 2021-07-09 | 2021-10-15 | 兰州理工大学 | 一种优化的基于时空图卷积网络的交通流预测模型 |
| CN113554105B (zh) * | 2021-07-28 | 2023-04-18 | 桂林电子科技大学 | 一种基于时空融合的物联网缺失数据补全方法 |
| CN113837450B (zh) * | 2021-09-03 | 2022-09-30 | 珠江水利委员会珠江水利科学研究院 | 基于深度学习的河网密集流域水情趋势预测方法及其应用 |
| CN113610329B (zh) * | 2021-10-08 | 2022-01-04 | 南京信息工程大学 | 一种双流卷积长短期记忆网络的短时临近降雨预报方法 |
| CN113836819B (zh) * | 2021-10-14 | 2024-04-09 | 华北电力大学 | 一种基于时序关注的床温预测方法 |
| CN114154417B (zh) * | 2021-12-06 | 2022-06-07 | 中国水利水电科学研究院 | 基于深度学习框架的洪水预报模型及洪水预报方法 |
| CN114372631A (zh) * | 2022-01-11 | 2022-04-19 | 电子科技大学 | 一种基于小样本学习和lstm的缺资料地区径流预测方法 |
| CN114971072B (zh) * | 2022-06-23 | 2023-06-13 | 陕西省水文水资源勘测中心 | 一种基于多因子相似分析的水文预报*** |
| CN115374638B (zh) * | 2022-08-24 | 2023-05-30 | 中国水利水电科学研究院 | 一种基于径流模拟的城市不透水面空间管控方法 |
| CN117892162A (zh) * | 2024-01-18 | 2024-04-16 | 水利部交通运输部国家能源局南京水利科学研究院 | 一种基于非负矩阵分解和机器学习的流域径流预报方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109255469A (zh) * | 2018-08-07 | 2019-01-22 | 河海大学 | 融合栈式自编码器和支持向量回归的洪水预测方法 |
| CN109615011A (zh) * | 2018-12-14 | 2019-04-12 | 河海大学 | 一种基于lstm的中小河流短期洪水预报方法 |
| CN110471950A (zh) * | 2019-07-19 | 2019-11-19 | 河海大学 | 一种中小河流实时洪水预报智能模型预报方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105512767B (zh) * | 2015-12-15 | 2019-06-11 | 武汉大学 | 一种多预见期的洪水预报方法 |
-
2020
- 2020-12-31 CN CN202011639357.6A patent/CN112785043B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109255469A (zh) * | 2018-08-07 | 2019-01-22 | 河海大学 | 融合栈式自编码器和支持向量回归的洪水预测方法 |
| CN109615011A (zh) * | 2018-12-14 | 2019-04-12 | 河海大学 | 一种基于lstm的中小河流短期洪水预报方法 |
| CN110471950A (zh) * | 2019-07-19 | 2019-11-19 | 河海大学 | 一种中小河流实时洪水预报智能模型预报方法 |
Non-Patent Citations (1)
| Title |
|---|
| Stream-Flow Forecasting Based on Dynamic Spatio-Temporal Attention;Jun Feng;《IEEE Access》;20190916;第7卷;第134754-134762页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112785043A (zh) | 2021-05-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112785043B (zh) | 一种基于时序注意力机制的洪水预报方法 | |
| Xie et al. | Hybrid forecasting model for non-stationary daily runoff series: a case study in the Han River Basin, China | |
| Chen et al. | An edge intelligence empowered flooding process prediction using Internet of things in smart city | |
| CN108304668B (zh) | 一种结合水文过程数据和历史先验数据的洪水预测方法 | |
| Sanikhani et al. | Non-tuned data intelligent model for soil temperature estimation: A new approach | |
| CN106650767B (zh) | 基于聚类分析和实时校正的洪水预报方法 | |
| Abbasi et al. | A hybrid of Random Forest and Deep Auto-Encoder with support vector regression methods for accuracy improvement and uncertainty reduction of long-term streamflow prediction | |
| Talebizadeh et al. | Uncertainty analysis for the forecast of lake level fluctuations using ensembles of ANN and ANFIS models | |
| Lian et al. | A novel data-driven tropical cyclone track prediction model based on CNN and GRU with multi-dimensional feature selection | |
| CN111767517B (zh) | 一种应用于洪水预测的BiGRU多步预测方法、***及存储介质 | |
| CN111665575B (zh) | 一种基于统计动力的中长期降雨分级耦合预报方法及*** | |
| CN113705877A (zh) | 基于深度学习模型的实时月径流预报方法 | |
| CN113139329B (zh) | 一种基于水文相似性和人工神经网络的新安江模型参数率定方法 | |
| CN109840587A (zh) | 基于深度学习的水库入库流量预测方法 | |
| CN117035201B (zh) | 平原河网水工程集群多目标调度规则制定方法及*** | |
| CN112182063A (zh) | 一种基于时空特征的水文预报模型的构建方法 | |
| CN112396152A (zh) | 一种基于cs-lstm的洪水预报方法 | |
| Xiang et al. | Fully distributed rainfall-runoff modeling using spatial-temporal graph neural network | |
| Guo et al. | A combined model based on sparrow search optimized BP neural network and Markov chain for precipitation prediction in Zhengzhou City, China | |
| Zhang et al. | Reservoir inflow predicting model based on machine learning algorithm via multi‐model fusion: A case study of Jinshuitan river basin | |
| Wei | Comparing single-and two-segment statistical models with a conceptual rainfall-runoff model for river streamflow prediction during typhoons | |
| Chen et al. | A feature decomposition-based deep transfer learning framework for concrete dam deformation prediction with observational insufficiency | |
| Chen et al. | Rainfall forecasting in sub-Sahara Africa-Ghana using LSTM deep learning approach | |
| CN112529270A (zh) | 基于深度学习的水流量预测模型 | |
| CN112668711A (zh) | 基于深度学习的洪水流量预测方法、装置和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |