CN110969282A - 一种基于lstm复合网络的径流量稳定预测方法 - Google Patents
一种基于lstm复合网络的径流量稳定预测方法 Download PDFInfo
- Publication number
- CN110969282A CN110969282A CN201910987183.3A CN201910987183A CN110969282A CN 110969282 A CN110969282 A CN 110969282A CN 201910987183 A CN201910987183 A CN 201910987183A CN 110969282 A CN110969282 A CN 110969282A
- Authority
- CN
- China
- Prior art keywords
- model
- prediction
- data
- runoff
- differential
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 239000002131 composite material Substances 0.000 title claims abstract description 9
- 238000004364 calculation method Methods 0.000 claims abstract description 3
- 238000012549 training Methods 0.000 claims description 33
- 238000012360 testing method Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 11
- 238000010606 normalization Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 description 19
- 230000006870 function Effects 0.000 description 16
- 230000008569 process Effects 0.000 description 15
- 230000004913 activation Effects 0.000 description 8
- 238000001556 precipitation Methods 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000007781 pre-processing Methods 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 6
- 238000012795 verification Methods 0.000 description 6
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 6
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 3
- 238000010200 validation analysis Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 230000010355 oscillation Effects 0.000 description 2
- 230000035515 penetration Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 239000002352 surface water Substances 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- IJJWOSAXNHWBPR-HUBLWGQQSA-N 5-[(3as,4s,6ar)-2-oxo-1,3,3a,4,6,6a-hexahydrothieno[3,4-d]imidazol-4-yl]-n-(6-hydrazinyl-6-oxohexyl)pentanamide Chemical compound N1C(=O)N[C@@H]2[C@H](CCCCC(=O)NCCCCCC(=O)NN)SC[C@@H]21 IJJWOSAXNHWBPR-HUBLWGQQSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 239000003344 environmental pollutant Substances 0.000 description 1
- 238000001704 evaporation Methods 0.000 description 1
- 230000008020 evaporation Effects 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 231100000719 pollutant Toxicity 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Game Theory and Decision Science (AREA)
- Development Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于LSTM复合网络的径流量稳定预测方法，包括如下步骤：从公开的数据库选取水文、气象、土地相关数据；根据选取数据分别建立直接预测模型和差分预测模型；分别从直接预测模型和差分预测模型中选取各自的预测结果；将直接预测结果、差分预测结果和气象数据合并计算生成校准模型；对校准模型进行最优计算获得最优校准模型并输出，该方法基于LSTM使用两种预测方式提高预测模型的表现稳定性。
Description
技术领域
本发明涉及将深度学习方法应用于水文预测领域，对水文情况做出定量和定性的预测，尤其涉及一种基于LSTM复合网络的径流量稳定预测方法。
背景技术
1.日平均径流量
径流量是指在某一时段内通过河流某一过水断面的水量。径流是水循环的主要环节，径流量是陆地上最重要的水文要素之一，是水量平衡的基本要素。径流量会受到该流域气象、土地类型等因素的影响。将瞬时径流量按时间平均，可求得某时段(如一日、一月、一年等) 的平均流量，如日平均流量、月平均流量、年平均流量等。在某时段内通过的总水量叫做径流总量，如日径流总量、月径流总量、年径流总量等。以立方米、万立方米或亿立方米计。
2.LSTM
递归神经网络适用于时间序列的数据处理，然而它却存在着梯度消失的问题。为了解决这一问题，长短期记忆网络(LSTM)被提出，其在时间序列模拟上相较于普通递归神经网络 (RNN)具有优势。它是一种时间循环神经网络，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。
发明内容
针对现有技术中存在的技术问题，本发明提供一种基于LSTM复合网络的径流量稳定预测方法，该方法使用LSTM对泾河流域日平均径流量进行稳定预测的方法；在输入中加入气象和土地类型参数，很好地考虑到了不同土地类型对于地表水渗透能力的差别。同时基于LSTM使用两种预测方式，即直接预测法和差分预测法，去提高预测模型的表现稳定性，使得预测结果更加可靠。
为了解决现有技术中存在的技术问题，本发明采用如下技术方案予以实施：
一种基于LSTM复合网络的径流量稳定预测方法，包括如下步骤：
从公开的数据库选取水文、气象、土地相关数据；
根据选取数据分别建立直接预测模型和差分预测模型；
分别从直接预测模型和差分预测模型中选取各自的预测结果；
将直接预测结果、差分预测结果和气象数据合并计算生成校准模型；
对校准模型进行最优计算获得最优校准模型并输出。
所述最优校准模型获得步骤：
将直接预测结果、差分预测结果和气象数据进行数据归一化处理；
将直接预测结果、差分预测结果和气象数据进行拼接处理生成指定格式；
对指定格式数据中部分无用列进行删除生成监督数据格式；
对监督数据格式中数据进行训练集和测试集划分；
根据训练集、测试集数据分别建立编译、训练、评估模型；
对编译、训练、评估模型进行预测处理输出NSE和RMSE；
判断校准模型是否完成所有参数的调优处理；
比较调优校准模型中NSE和RMSE选取最优的校准模型输出。
所述直接预测模型和差分预测模型均采用三层网络结构，即输入层、LSTM层和输出层。
有益效果
本发明提出了一种使用两种模型加最终平衡预测结果的方法来对泾河流域的日平均径流量进行稳定预测的方法，大大提高了预测模型的最差表现结果，缩小了最好表现与最差表现的差距，提高了平均效果，使得该水文预测模型更加稳定和可靠，这对污染物处理、防洪、抗旱、水资源合理利用等都有着重要的意义。
附图说明
图1是本发明整体结构数据流图；
图2是本发明建立校准模型流程图；
图3是本发明建立直接预测模型的整体流程；
图4是本发明建立差分预测模型的整体流程；
图5是本发明涉及直接预测模型数据预处理过程；
图6是本发明涉及差分预测模型数据预处理过程
图7是本发明涉及基础模型结构示意图
图8是本发明建立基础模型调优整体过程
图9是本发明涉及校准模型结构示意图
图10是本发明涉及确定最终的校准模型
具体实施方式
下面结合附图对本发明作出详细说明:
本发明使用LSTM对泾河流域日平均径流量进行稳定预测的方法。在输入中加入气象和土地类型参数，很好地考虑到了不同土地类型对于地表水渗透能力的差别。同时基于LSTM使用两种预测方式，即直接预测法和差分预测法，去提高预测模型的表现稳定性，使得预测结果更加可靠。在水文预报中，传统的概念性水文模型一般用于平稳序列的预报，但是水文数据是具有高度不确定性和复杂性的非线性序列，所以传统模型的预测效果不尽如人意。现代预测方法中，人们使用人工神经网络建立水文预测模型，它适用于拟合高度非线性的关系在水文预报领域。而LSTM的应用刚刚起步，还处于探索阶段。为了提高水文预报的精确度和稳定性，本发明提出了一种使用LSTM建立多模型组合预报模型的方法。该发明采用有监督学***均径流量。其中输入为泾河流域逐日的日平均径流量相关数据、气象数据和土地类型数据，输出为预测出的某日第二天的日平均径流量的相关数据。
如图1所示，为了提高水文预测模型的精确度和可靠性，本发明采用直接预测和差分预测两种方式相结合最终平衡结果的方法。即先建立两个基础模型：直接预测模型和差分预测模型，然后再用这两个模型的预测结果结合一些气象数据去建立校准模型最终确定预测的日平均径流量数值。
设基础模型预测器为fi(x)(i＝1,2),校准模型预测器为F(x)，x即代表该模型的输入。用 y1、y2和Y依次表示直接预测模型、差分预测模型和校准模型的直接输出，即建立了等量关系： y1＝f1(x),y2＝f2(x),Y＝F(x)。
设训练集数据为S，Sx为训练集数据中的输入元素。
训练集数据集中含有水文流量数据集Srd，水文流量差分数据集Srcd，气象数据集Swd和土地类型数据集Sld，d下标代表该数据所属日的代号，代号按照日期前后进行排序， 0<d<length(S)+1,d取整数首先。需要说明的是训练集的气象数据集中第d天的降水量和日平均气温分别用字母表示为rad和mtd。再次需要说明水文流量差分数据即是每一天与前一天的流量进行相减操作得到的差值为当天的水文流量差值数据，所有这样的水文流量差值数据组成了水文流量差分数据集，公式(1)如下：
Srcd＝Srd-Srd-1 (1)
两种基础模型都是采用LSTM时序依赖网络进行预测。在直接预测模型中，因为某日的日平均径流量会受到前些天的水文情况、气象条件和土地条件的影响，所以直接预测模型在预测泾河流域日平均径流量时，输入为该日前一天的日平均径流量数据和该日及其前一天的气象和土地数据作为预测参考条件。通过两天的水文、气象、土地数据去预测某一天的日平均径流量，表示直接预测模型预测第d天的日平均径流量的公式(2)和(3)如下，这里y1d是直接预测模型第d天的日平均径流量的预测值：
Sxd＝Srd-1+Swd-1+Swd+Sld-1+Sld (2)
这也体现了LSTM的时间间隔依赖性和记忆性。
而差分预测预测模型着眼于寻找影响相邻两日日平均径流量差值的因素，输入为该日及其前一天的气象和土地数据，输出为该日与其前一天的日平均径流量差值，然后在用预测的差值加上该日前一天的实际日平均流量观测值即为该日的日平均径流量预测值。表示预测第 d天的日平均径流量的公式(4)和(5)如下，这里y2d是差分预测模型第d天的日平均径流量的差分预测值：
Sxd＝Swd-1+Swd+Sld-1+Sld (4)
还需要对差分预测模型的直接输出进行逆差分操作才能得到差分预测模型的该日日平均径流量实际预测值，公式(6)如下，其中y2rd表示差分预测模型对于第d天的实际日平均径流量预测值：
这两种基础模型最后都会得到相应的日平均径流量预测值，本发明需要用校准模型中的 LSTM网络对这两个预测值进行最终平衡，输入为直接预测模型得出的该日日平均径流量预测值、差值预测模型得出的该日日平均径流量预测值以及当天的气象数据，输出为最终该日日平均径流量预测值。表示校准模型预测第d天的日平均径流量的公式(7)和(8)如下，这里Yd是校准模型第d天的日平均径流量的预测值：
F(Sxd)＝Yd (8)
本发明具体实现步骤：
1.数据集的预处理与读入
(1)获取数据以及数据清洗
项目需要的气象数据、土地类型数据、流量数据可以通过各种公开数据网站获得。
气象数据包括：年、月、日、日平均气温、日最高气温、日最低气温、20-20时降水量、小型蒸发量、日照时长。土地类型数据包括耕地、林地、灌木丛地、疏林地、高覆盖草原、中覆盖草原、低覆盖草原、其他林地、湖泊和水库、河流、城镇、农村居民用地、其他发展用地这13种土地利用类型，单位均以公顷计算。流量数据为日平均径流量数据。需要找到连续的数据段用于训练、测试和验证。
首先需要对原始数据集进行预处理，因为某些原始气象观测数据使用了其特定的表示方式，比如降水量中32700表示几乎没有降水；32766表示缺测；32XXX表示降水；31XXX表示降雪；30XXX表示降水与降雪。这些值并不代表其实际的降水量值或者降雨量值，所以需要将这些气象数据转化为降水或者降雪的实际量值。
然后在差分预测方式中还要对筛选后的数据进行差分操作，用每一行的日平均径流量值减去它的前一行的日平均径流量值作为当前行的差分值，见公式(1)。再将存在当日径流量差分值的行与其原始所在行的气象、土地数据进行拼接。而直接预测方式中的数据无需进行差分操作。
(2)数据归一化
对数据进行标准化操作，即Z-Score操作。Z-Score通过将多类数据转化为无单位的 Z-Score分值，使得数据标准统一化，提高了数据可比性，消除了数据量纲的影响。标准分数也叫Z分数，是一个分数与平均数的差再除以标准差的过程。Z值的量代表着原始分数和母体平均值之间的距离，是以标准差为单位计算的。标准分数能够真实的反应一个分数距离平均数的相对标准距离。在原始分数低于平均值时Z则为负数，反之则为正数。标准分数是一种可以看出某分数在分布中相对位置的方法。其公式(9)如下：x为个体数据的观测值，μ为总体数据的平均值，σ为总体数据的标准差：
(3)拼接成有监督数据形式
将准备好的直接径流量数据集和差分径流量数据集按照相应的输入输出内容拼接成监督数据的形式。直接预测方式中的输入为前一天的日平均径流量和前一天及第二天的气象加土地数据，输出为第二天的日平均径流量预测值，具体见公式(2)和(3)。差分预测方式中的输入为前一天及第二天的气象数据、土地数据，输出为第二天的日平均径流量差分的预测值，具体见公式(4)和(5)。
(4)划分训练集、测试集和验证集
可供模型使用的数据准备完毕，再划分训练集、测试集和验证集。本项目中使用到的数据量为一万条量级，考虑到数据量较少，使训练集和测试集的比例保持在7:3左右。验证集和测试集采用同样的数据。数据预处理过程到此完成。直接预测模型的数据预处理过程如图1 所示，差分预测模型的数据预处理过程如图2所示。
(5)读入数据集
此时数据预处理过程结果，可以将准备好的直接预测数据集和差分预测数据集作为训练集和测试集分别读入LSTM直接预测模型和LSTM差分预测模型中去了。
2.建立两个基础模型以及基础模型的调优
使用LSTM网络去建立两个基础模型，即直接预测模型和差分预测模型。两个基础模型只是在输入的数据集和预测结果的处理上略有不同，在其他方面没又什么不同。所以两个基础模型的建立、编译、训练、超参数调优、最终模型确定的整体流程是一致的，以下进行统一说明。
(1)初始模型的定义、编译和训练
定义两个基础模型都采用三层网络结构，即输入层、隐层(即LSTM层)、输出层。可以使用Keras框架中model模块的compile方法对初始模型进行编译，再使用model模块中的fit方法在训练集上对模型进行拟合训练。
(2)模型的预测与结果评估
可以使用Keras框架中model模块的predict方法实现运用训练好的模型在测试集上进行预测。值得注意的是，在使差分预测基础模进行预测时，该预测模型得出的直接预测结果是两天之间的差值。所以需要进行逆差分操作，用预测出的当日差分值再加上前一天的实际日平均径流量观测值即为当日的日平均径流量预测值，具体见公式(6)。
预测后，需要对预测结果与日平均径流量实际值的偏差进行评估。进行评估时用到的三个评估指标参数是：NSE、RMSE和Loss。NSE(Nash-Sutcliffe efficiencycoefficient) 即纳什效率系数，一般用以验证水文模型模拟结果的好坏，该纳什效率系数的表达式见公式 (11)。
其中Oi表示第i个实测值，Pi表示第i个预测值，
表示所有预测值的平均数，n为实测值和预测值的数目。E取值为负无穷至1，E接近1，表示模式质量好，模型可信度高；E接近0，表示模拟结果接近观测值的平均值水平，即总体结果可信，但过程模拟误差大；E远远小于0，则模型是不可信的。
RMSE(root-mean-square error)即均方根误差，是一种常用的测量数值之间差异的量 度，其数值常为模型预测的量或是被观察到的估计量。RMSE表达式具体见公式(12)均方根 偏移代表预测的值和观察到的值之差的样本标准差，用来衡量观测值同真实值之间的偏差， 其中yi为第i个真实值，为
第i个预测值，m为样本总个数。RMSE越大说明模型效果越差， 反之，RMSE越小说明预测值与真实值之间偏差越小，模型效果就越好。
Loss即经过损失函数计算出来的损失值，主要是用于评估训练和验证过程中的损失，训练集上的loss即为’loss’，验证集上的loss即为’val_loss’。通过记录训练验证过程的 loss的图像，我们可以看到随着epoch逐渐增大，模型在训练集和验证集上的损失变化趋势。最好的效果就是loss和val_loss随着训练轮次的增加逐渐减小，逐步达到最后的平缓不变，即收敛。而过拟合就是随着训练轮次的增加，loss不断下降而val_loss却出现回升。通过 loss图像，也可以观察到loss和val_loss是否存在不断震荡无法收敛的情况，如果存在也需要采取适当增大batchsize，适当减小学习率等措施。Loss图像是调整模型参数中的重要指示因素。
(3)模型的超参数调优
为了使基础模型的效果达到最优，单隐层LSTM层需要调整很多的超参数：Units，bach_size，Epoch，激活函数，损失函数，优化器等。
Units是LSTM层的输出维度，也代表着LSTM这一层的神经元个数。Units个数过少，网络拟合能力差，就会欠拟合；units个数多，神经网络的处理能力会提高，但是当units个数过多时，神经网络表达的过复杂的非线性关系可能会导致过拟合，且当units多到一定的程度时，神经网络的处理能力也不会有明显的提高。选取最优units的时候，可以先从[a,b]大区间中首先粗略挑选，将[a,b]区间等分为x份，间隔为(b-a)/x，取a、a+(b-a)/x、 a+2*(b-a)/x、a+3*(b-a)/x、......、b-(b-a)/x、b分别为units的取值。然后选取刚才表现较好的units，在其左右范围取新的小区间再按照分间隔法去挑选最优的units取值。如果经过第一次细分后仍无法确定最优取值，可以再进行多次细化间隔分割去寻找最优units。Batch_size是一次梯度下降更新参数所需要的样本个数。Batch_size大于1时可以根据多个样本进行梯度下降，这样下降的方向较为准确稳定，且可以提高训练速度；但是batchsize 过大时，下降方向单一，容易陷入局部最优。batch_size太小会导致计算速度慢，计算量开销大，且目标函数震荡比较剧烈，网络不容易收敛。所以寻找一个适合自己模型的batch_size 需要进行不断的实验。不同的模型针对不同的数据集都有适合自己的不同的batchsize。Epoch 是所有数据训练的轮数，在选取最优epoch的时候可以参照选最优units时采取的粗略间隔法与细化间隔法相结合的方式。epoch过小的话，训练次数不够，无法收敛，网络欠拟合；训练次数太多的话，可能会出现过拟合的情况，导致训练好的模型虽然在训练集上表现良好，但是在测试集上却没有很好的泛化能力。
使用激活函数可以增加非线性的因素。经过尝试，在LSTM隐层使用默认激活函数tanh，在Dense输出层不添加任何激活函数效果最好，所以激活函数的效果也是因不同应用而异。该发明中使用的优化器是Adam，该优化器能自然地实现调整学***均绝对误差(MAE)是一种用于回归模型的损失函数，代表着目标变量和预测变量之间差异的绝对值之和。它在一组预测中衡量误差的平均大小而不考虑误差的方向。MAE的具体表达见公式(10)，其中y为目标变量，yp为预测变量，i代表样本的编号，共有n个样本。不同优化器和不同损失函数的组合可能会产生不同的效果，所以尽可能做多组实验，覆盖到更多的组合情况，以求最优效果。
在不断调整超参数的过程中，就是建立了多种不同的模型，对每一个模型都要进行编译、训练和预测、评估的步骤。
(4)确定两个最优基础模型
对于同样的参数条件，应该进行多次实验，得到实验的最好效果，最差效果和平均效果， NSE系数较大的预测效果好，RMSE较小的预测效果好。通过不断的超参数调优实验，比较不同模型的在测试集上的评估效果，最终确定直接预测模型和差分预测模型的最佳参数。
经过实验，最终确定该发明中两个基础模型的各个参数值分别为：Units＝80，batch_size＝12，Epoch＝80，dropout＝0.2，隐层激活函数＝tanh，优化器＝Adam，损失函数＝mae。 两个基础模型的结构示意图，至此直接预测模型和差分预测模型的调优工作完成，即两个基 础模型调优整体过程如图4。
3.建立校准模型以及校准模型的调优，如图10所示。
完成了对于直接预测模型和差分预测模型的基础模型调优工作后，就最终确定了直接预测模型和差分预测模型这两个基础模型的结构和超参数。为了保证预测结果更加稳定和可靠，该发明采用了双重结果进行校准以确定最终预测值的方式。需要对两个基础模型的预测结果进行再次训练，以获得最终的日平均径流量预测值。
(1)基础模型的各自预测结果以及气象数据的输入
这个最终校准模型的输入是直接预测模型该天的预测结果、差分预测模型该天的预测结果和该天的部分气象数据。校准模型的输入与输出，具体见公式(7)和(8)。
(2)校准模型超参数调优以及确定
读入数据之后，与前述模型训练步骤相同。进行归一化，拼接成监督数据形式，划分训练集、测试集和验证集。准备好数据后，调优模型确定网络的结构和超参数最优取值：Units＝80， batch_size＝12，Epoch＝300，dropout＝0.2，recurrent_dropout＝0，激活函数＝tanh(lstm 默认激活函数)，优化器＝Adam。确定最优校准模型的结构示意图，见下图5。
(3)校准模型的有益效果
经过实验发现该校准模型相较于校准前大大提高了最小NSE：从0.37提高到了0.85；还在整体上降低了RMSE，降低了模型的预测误差。所以该发明大大提高了水文预测模型的稳定性和精确度，对于传统方法来说是一个重要的进步。
我们使用了1956-1963、1972-1987、2006-2012年共31年的泾河站水文、气象、土地数据集，建立基础模型与校准模型去预测泾河的日平均径流量，最终水文预测模型的平均NSE 达到了0.89，平均RMSE约为0.006。直接预测模型可以很好地预测径流量的突变情况，预测平缓时期的径流量与实际径流量值相比偏大。多次试验证明直接预测模型表现不够稳定，最优与最差效果相差较大。差分预测模型在预测径流量突变时效果一般，NSE约为0.5左右，其预测的平缓时期的径流量与实际径流量值相比偏小。二者进行平衡后，校准模型在平缓时期预测值与实际值相差减小，模型更加精确，且校准模型的最差表现被提升，使得模型更加稳定。
应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (3)
1.一种基于LSTM复合网络的径流量稳定预测方法，其特征在于，包括如下步骤：
从公开的数据库选取水文、气象、土地相关数据；
根据选取数据分别建立直接预测模型和差分预测模型；
分别从直接预测模型和差分预测模型中选取各自的预测结果；
将直接预测结果、差分预测结果和气象数据合并计算生成校准模型；
对校准模型进行最优计算获得最优校准模型并输出。
2.根据权利要求1所述的一种基于LSTM复合网络的径流量稳定预测方法，其特征在于，所述最优校准模型获得步骤：
将直接预测结果、差分预测结果和气象数据进行数据归一化处理；
将直接预测结果、差分预测结果和气象数据进行拼接处理生成指定格式；
对指定格式数据中部分无用列进行删除生成监督数据格式；
对监督数据格式中数据进行训练集和测试集划分；
根据训练集、测试集数据分别建立编译、训练、评估模型；
对编译、训练、评估模型进行预测处理输出NSE和RMSE；
判断校准模型是否完成所有参数的调优处理；
比较调优校准模型中NSE和RMSE选取最优的校准模型输出。
3.根据权利要求1所述的一种基于LSTM复合网络的径流量稳定预测方法，其特征在于，
所述直接预测模型和差分预测模型均采用三层网络结构，即输入层、LSTM层和输出层。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910987183.3A CN110969282A (zh) | 2019-10-17 | 2019-10-17 | 一种基于lstm复合网络的径流量稳定预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910987183.3A CN110969282A (zh) | 2019-10-17 | 2019-10-17 | 一种基于lstm复合网络的径流量稳定预测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110969282A true CN110969282A (zh) | 2020-04-07 |
Family
ID=70029690
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910987183.3A Pending CN110969282A (zh) | 2019-10-17 | 2019-10-17 | 一种基于lstm复合网络的径流量稳定预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110969282A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109508810A (zh) * | 2018-09-29 | 2019-03-22 | 天津大学 | 一种基于实现月平均水文流量预测的*** |
| CN111639748A (zh) * | 2020-05-15 | 2020-09-08 | 武汉大学 | 一种基于lstm-bp时空组合模型的流域污染物通量预测方法 |
| CN111753965A (zh) * | 2020-06-30 | 2020-10-09 | 长江水利委员会水文局 | 一种基于深度学习的河流流量自动整编方法及*** |
| CN112541839A (zh) * | 2020-12-23 | 2021-03-23 | 四川大汇大数据服务有限公司 | 基于神经微分方程的水库入库流量预测方法 |
| CN112989705A (zh) * | 2021-03-30 | 2021-06-18 | 海尔数字科技（上海）有限公司 | 水库的入库流量值的预测方法、装置、电子设备及介质 |
| CN114529815A (zh) * | 2022-02-10 | 2022-05-24 | 中山大学 | 一种基于深度学习的流量检测方法、装置、介质及终端 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103337042A (zh) * | 2013-03-04 | 2013-10-02 | 中国电力科学研究院 | 基于双向渐进的地面太阳辐射净空模型构建方法 |
| CN109272146A (zh) * | 2018-08-23 | 2019-01-25 | 河海大学 | 一种基于深度学习模型和bp神经网络校正的洪水预测方法 |
| CN109508810A (zh) * | 2018-09-29 | 2019-03-22 | 天津大学 | 一种基于实现月平均水文流量预测的*** |
-
2019
- 2019-10-17 CN CN201910987183.3A patent/CN110969282A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103337042A (zh) * | 2013-03-04 | 2013-10-02 | 中国电力科学研究院 | 基于双向渐进的地面太阳辐射净空模型构建方法 |
| CN109272146A (zh) * | 2018-08-23 | 2019-01-25 | 河海大学 | 一种基于深度学习模型和bp神经网络校正的洪水预测方法 |
| CN109508810A (zh) * | 2018-09-29 | 2019-03-22 | 天津大学 | 一种基于实现月平均水文流量预测的*** |
Non-Patent Citations (1)
| Title |
|---|
| 周末等: "多算法多模型与在线第二次学习结合的短期电力负荷预测方法" * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109508810A (zh) * | 2018-09-29 | 2019-03-22 | 天津大学 | 一种基于实现月平均水文流量预测的*** |
| CN111639748A (zh) * | 2020-05-15 | 2020-09-08 | 武汉大学 | 一种基于lstm-bp时空组合模型的流域污染物通量预测方法 |
| CN111753965A (zh) * | 2020-06-30 | 2020-10-09 | 长江水利委员会水文局 | 一种基于深度学习的河流流量自动整编方法及*** |
| CN112541839A (zh) * | 2020-12-23 | 2021-03-23 | 四川大汇大数据服务有限公司 | 基于神经微分方程的水库入库流量预测方法 |
| CN112989705A (zh) * | 2021-03-30 | 2021-06-18 | 海尔数字科技（上海）有限公司 | 水库的入库流量值的预测方法、装置、电子设备及介质 |
| CN114529815A (zh) * | 2022-02-10 | 2022-05-24 | 中山大学 | 一种基于深度学习的流量检测方法、装置、介质及终端 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110969282A (zh) | 一种基于lstm复合网络的径流量稳定预测方法 | |
| CN110084367B (zh) | 一种基于lstm深度学习模型的土壤墒情预测方法 | |
| CN111310968B (zh) | 一种基于互信息的lstm神经网络循环水文预报方法 | |
| CN107292098A (zh) | 基于前期气象因子与数据挖掘技术的中长期径流预报方法 | |
| CN101480143B (zh) | 一种预测灌区作物单产量的方法 | |
| CN111665575B (zh) | 一种基于统计动力的中长期降雨分级耦合预报方法及*** | |
| CN111767517B (zh) | 一种应用于洪水预测的BiGRU多步预测方法、***及存储介质 | |
| CN109840587A (zh) | 基于深度学习的水库入库流量预测方法 | |
| CN102495937A (zh) | 一种基于时间序列的预测方法 | |
| CN111553394B (zh) | 基于循环神经网络和关注机制的水库水位预测方法 | |
| CN116205310B (zh) | 一种基于可解释集成学习模型的土壤含水量影响因素敏感区间判定方法 | |
| Samantaray et al. | Sediment assessment for a watershed in arid region via neural networks | |
| CN114861840B (zh) | 一种多源降水数据融合方法 | |
| CN115423163A (zh) | 一种流域短期洪水事件预测方法、装置及终端设备 | |
| CN109816167A (zh) | 径流预报方法及径流预报装置 | |
| CN109919356A (zh) | 一种基于bp神经网络区间需水预测方法 | |
| CN112686481A (zh) | 一种径流量预报方法、处理器 | |
| CN107798431A (zh) | 一种基于改进Elman神经网络的中长期径流预报方法 | |
| CN113033081A (zh) | 一种基于som-bpnn模型的径流模拟方法及*** | |
| CN111723523B (zh) | 一种基于级联神经网络的河口余水位预测方法 | |
| Avanzi et al. | Information content of spatially distributed ground-based measurements for hydrologic-parameter calibration in mixed rain-snow mountain headwaters | |
| Caihong et al. | Real-time flood classification forecasting based on k-means++ clustering and neural network | |
| Zhang et al. | Improved combined system and application to precipitation forecasting model | |
| CN117787081A (zh) | 一种基于Morris和Sobol法的水文模型参数不确定性分析方法 | |
| CN117172037A (zh) | 一种分布式水文预报方法、装置、计算机设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200407 |