CN117034060A - 基于ae-rcnn的洪水分级智能预报方法 - Google Patents

基于ae-rcnn的洪水分级智能预报方法 Download PDF

Info

Publication number
CN117034060A
CN117034060A CN202310908584.1A CN202310908584A CN117034060A CN 117034060 A CN117034060 A CN 117034060A CN 202310908584 A CN202310908584 A CN 202310908584A CN 117034060 A CN117034060 A CN 117034060A
Authority
CN
China
Prior art keywords
flood
rainfall
data
rcnn
flow data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310908584.1A
Other languages
English (en)
Inventor
苑希民
田福昌
李达
王洋
王如锴
侯玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202310908584.1A priority Critical patent/CN117034060A/zh
Publication of CN117034060A publication Critical patent/CN117034060A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C13/00—Surveying specially adapted to open water, e.g. sea, lake, river or canal
    • G01C13/002—Measuring the movement of open water
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
    • Y02A10/40—Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Hydrology & Water Resources (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于AE‑RCNN的洪水分级智能预报方法，经AE模型对归一化后的的降雨、流量数据进行数据降维；获得经过步骤1数据降维之后的降雨、流量数据的隐藏向量，进行K均值聚类，完成洪水分级结果的级别；将经步骤1数据重构的降雨、流量数据的隐藏向量所对应洪水场次分配到步骤2得到的级别，基于RCNN卷积神经网络构建洪水分级预报模型，将各级别的洪水数据根据洪水分级预报模型进行训练，训练后得到K类模型参数，进行最优预报结果。本发明能够有效提取数据特征、提高洪水预报精度。

Description

基于AE-RCNN的洪水分级智能预报方法
技术领域
本发明涉及一种洪水预报方法，具体涉及一种基于洪水分级智能预报方法。
背景技术
当前应用广泛的洪水预报模型主要包括概念性水文模型和数据驱动模型。概念式水文模型应用广泛，在很多流域取得了较好的模拟效果，但其内部不同意义的水文参数相互作用复杂，导致其有很强的不确定性，往往需要大量流域自然地理数据，或借助敏感性分析和优化算法辅助确定参数。数据驱动模型的效果则主要受训练数据和模型结构影响，当输入数据与目标数据相关性不显著时可能会出现模型难以收敛的情况，而模型复杂度较高时则可能出现梯度消失的问题。
当研究区域的产汇流特性较为复杂时，洪水预报模型使用一套参数往往难以实现对洪水过程的准确模拟，此时可对降雨、流量数据进行分级处理，数据特征相近的洪水共用一套模型参数以提高洪水预报的准确性。但面对复杂的降雨流量序列，原始数据包含大量冗余信息，直接进行聚类计算量过大，通常是选取特定的数据特征进行聚类。其中数据特征的选择往往依赖于研究人员的自身经验，选定数据特征对原始数据的描述效果亦难以评定，可能丢失大量有效信息。
因此，使用自编码器实现原始降雨、流量数据的自动降维，再将降维后的数据通过K均值聚类算法进行洪水分级，最后利用残差卷积神经网络进行洪水预报能够有效提高洪水预报精度，具有重要意义。
发明内容
基于上述现有技术存在的问题，本发明提出了一种基于AE-RCNN的洪水分级智能预报方法，利用K均值聚类方法进行洪水分级，应用于RCNN卷积神经网络以实现智能预报方法。
本发明利用以下技术方案实现：
一种基于AE-RCNN的洪水分级智能预报方法，其特征在于，具体包括以下步骤：
步骤1、将降雨、流量数据分别归一化处理，归一化后的的降雨、流量数据输入AE模型中进行数据降维处理；
步骤2、获得经过步骤1数据降维之后的降雨、流量数据的隐藏向量，进行K均值聚类，具体的，每个聚类中心对应洪水级别，将不同场次洪水的降雨、流量数据隐藏向量分配到与其最近的聚类中心所在的级别，更新每个级别的聚类中心，直到达到收敛条件为止，进行洪水分级；
步骤3、将归一化后的降雨、流量数据分配到步骤2得到的级别，基于RCNN卷积神经网络构建洪水分级预报模型，以各级别的洪水数据根据洪水分级预报模型进行训练，得到训练后的K类模型参数；
在模型应用时，将数据分别输入K类聚类中心所对应的RCNN洪水预报模型中得到K类预报结果，再将预报结果和各自的聚类中心按洪峰时刻对齐，计算二者交集的欧氏距离，以距离最近的预报结果作为最优预报结果。
相较于现有技术，本发明能够有效提取数据特征、提高洪水预报精度。
附图说明
图1为本发明的基于AE-RCNN的洪水分级智能预报方法流程图；
图2为本发明的基于AE-RCNN的洪水分级智能预报方法算法框图；流程图；
图3为部分场次模拟洪水过程对比与测试集模拟结果散点图；(a)CNN模型，(b)RCNN模型，(c)降雨聚类RCNN模型，(d)AE-RCNN模型。
具体实施方式
以下结合附图和具体实施例对本发明技术方案进行详细描述。
本发明提供提出一种基于自编码器(AE)和残差卷积神经网络(RCNN)的洪水分级智能预报方法，使用自编码器和K均值聚类算法实现对原始水文数据的特征提取和洪水分级，通过RCNN模型提升卷积神经网络的有效训练深度。
如图1所示，本发明的基于AE-RCNN的洪水分级智能预报方法具体包括以下步骤：
步骤1、进行数据降维处理，具体包括：选取洪峰前后一段时间内的降雨、流量数据作为原始数据，将原始的降雨流量数据分别归一化至[0,1]区间内，得到归一化的降雨流量o，如下式所示：
其中，o是归一化后的降雨流量数据，y是原始降雨流量数据。
将归一化后的的降雨流量o数据输入到AE(自编码器)模型中进行数据降维；相关的原理为：通过将原始数据输入一个编码器网络编码成一个固定维度的隐藏变量，然后通过一个解码器网络对这个隐藏变量进行解码，从而得到输出数据。当以重构数据的误差作为损失函数进行网络训练时，编码器网络在将原始数据映射到低维隐藏向量后，可以通过解码器网络得到与原始数据相似的输出，这表示隐藏向量中保留了原始数据的基本特征，因此将降维后的隐藏向量应用于聚类算法能够大幅降低计算复杂度，也避免了传统聚类算法人为选择数据特征带来的不确定性。
步骤2、进行洪水分级，本步骤中对经过步骤1自编码及数据降维之后的不同场次降雨、流量数据的隐藏向量进行K均值聚类：首先随机初始化K个聚类中心，每个聚类中心对应一个洪水级别，然后将不同场次洪水的降雨、流量数据隐藏向量分配到距离最近的聚类中心所对应级别，接着更新每个级别的聚类中心，直到达到收敛条件为止。具体流程如下：
步骤2.1、随机初始化K个聚类中心，每个聚类中心对应一个洪水级别；
步骤2.2、计算不同场次洪水的降雨、流量数据的隐藏向量与每个聚类中心的距离dist，根据距离dist将不同场次洪水的降雨、流量数据的隐藏向量分配到最近的聚类中心所在的洪水级别；其中，不同场次洪水的降雨、流量数据的隐藏向量与每个聚类中心的距离dist，如下式所示：
其中，oi是第i场次洪水，cj是第j个聚类中心，j∈[1,K]，D是洪水降雨、流量数据的总维度；
步骤2.3、重新计算聚类中心，即将洪水级别中所有洪水的降雨、流量数据取平均值作为第j个洪水级别的新的聚类中心cj_new，如下式所示：
式中，Sj是第j个洪水级别的总的洪水场次，Nj是第j个洪水级别中的洪水场次数量；
步骤2.4、重复执行步骤2.2和2.3，直到满足收敛条件，如聚类中心不再发生明显的变化或达到最大迭代次数等，得到预处理后的聚类中心；
将据预处理后的聚类中心输入AE模型中的解码器得到洪水降雨、流量数据的聚类中心，作为后续实际应用时进行原始洪水数据分级的依据；
步骤3、进行洪水预报，基于卷积神经网络(RCNN)构建洪水分级预报模型，通过分级后的洪水数据对洪水分级预报模型进行训练，保存训练后的K类模型参数；
本步骤的卷积神经网络(RCNN)采用的卷积方式为一维卷积，卷积输出的具体计算公式如下：
其中，为第l层卷积第n个节点的输出，Mn为节点数m的范围，/>为卷积核，*表示卷积运算，/>为偏置项，f为激活函数；
同时使用残差网络的跳层连接实现信息从模型低层到高层的直接传播，以此达到缓解梯度消失的目的。残差网络将上层输入的g跳层与卷积运算后得到的F(g)进行相加作为输出H(g)，当F(g)＝0时，H(g)＝g，形成恒定映射，以保留上层输入特征，避免梯度消失问题。
洪水分级预报模型模型应用，具体的，将数据分别输入K类RCNN洪水预报模型中得到K类预报结果，再将预报结果和各自聚类中心按洪峰时刻对齐，计算二者交集的欧氏距离作为参考，以参考距离最近的预报结果作为最优预报结果，参考距离的计算方法与公式(2)相同。
综上所述，本发明的优点包括：
①使用自编码器对原始水文数据进行特征提取，避免了传统水文数据降维方法对于人工挑选数据特征的依赖性，能够更好的保留原始数据特征；
②使用先预报再计算参考距离进行洪水分级的方法，将预报流量数据同降雨数据一起作为洪水分级依据，因此可在洪水聚类模型中加入流量数据作为模型输入，进而获得更好的聚类效果；
③通过RCNN模型提升卷积神经网络的有效训练深度，更好地学习预报模型输入输出间的关系，提高洪水预报精度。
应用实例：
以XX省XX流域XX水文站为例，选取流域内1987-2019年间27场洪水洪峰前后各24h的降雨、流量数据作为洪水分级依据，通过AE模型进行降维，模型的编码器输入为双通道48维数据，输出为5维隐藏向量；解码器输入为5维隐藏向量，输出数据维度与输入数据相同，模型训练次数为500次，初始学习率为1×10-4，训练300次后变为1×10-5。选取预报时刻前12小时的降雨流量数据和预见期(24h)内的降雨数据作为洪水预报模型输入，通过两个RCNN网络提取前期降雨流量特征和预见期内降雨特征，将两类特征拼接后通过反卷积层实现对预见期内流量过程的预报，模型输入为前期降雨流量形成的双通道12维数据和预见期内降雨形成的单通道24维数据，经特征提取网络分别输出为80通道3维数据和500通道3维数据，拼接成一组580通道3维数据后输入到流量预报网络中，最终模型输出为单通道24维流量数据，模型训练次数为2000次，初始学习率为0.5，训练1800次后减小为0.25。
将洪水数据按使用AE降维数据的聚类结果进行RCNN洪水预报模型训练，选取15％的洪水数据作为测试集，以CNN模型、RCNN模型、降雨聚类RCNN模型作为对比，最终预报效果评价指标如表1、表2所示。使用分级洪水进行训练的AE-RCNN模型评价指标优于CNN模型、RCNN模型和降雨聚类RCNN模型，在测试集的洪水模拟中，AE-RCNN模型的平均MAE指标、RMSE指标、NSE指标分别为5.04、7.91、0.92，较CNN模型分别提高了48.23％、43.94％和22.32％，较RCNN模型分别提高了35.06％、34.70％和11.72％，较降雨聚类RCNN模型分别提高了26.45％、30.58％和11.29％。在将不同类别测试集输入到AE-RCNN模型后的K类预报结果中，参考距离最小的预报结果具备最好的模拟效果，因此本方法所提出通过参考距离判断未来洪水类别的方法是合理可行的。如表1所示，为AE-RCNN、RCNN、CNN模型洪水预报效果评价指标对比结果。如表2所示，为降雨聚类RCNN模型洪水预报效果评价指标。
表1
表2
不同模型对测试集洪水的模拟效果如图2所示，其中AE-RCNN模型的模拟结果与实测洪水过程最为接近，散点图也距离标准线更为紧密。综上可得，本方法能够通过对不同产汇流特性洪水的特征提取与快速聚类，使输入洪水预报模型的数据特征更为清晰，进而达到更好的模拟效果。
需要说明的是，尽管已经参照本发明的特定示例性实施例示出并描述了本发明，但是本领域技术人员应该理解，本发明并不局限于上述实施方式凡是对本发明的各种改变均落入本发明申请保护范围。

Claims (3)

1.一种基于AE-RCNN的洪水分级智能预报方法，其特征在于，具体包括以下步骤：
步骤1、将降雨、流量数据分别归一化处理，归一化后的降雨、流量数据输入AE模型中进行数据降维处理；
步骤2、获得经过步骤1数据降维之后的降雨、流量数据的隐藏向量，进行K均值聚类，具体的，每个聚类中心对应洪水级别，将不同场次洪水的降雨、流量数据隐藏向量分配到与其最近的聚类中心所在的级别，更新每个级别的聚类中心，直到达到收敛条件为止，进行洪水分级；
步骤3、将归一化后的降雨、流量数据分配到步骤2得到的级别，基于RCNN卷积神经网络构建洪水分级预报模型，以各级别的洪水数据根据洪水分级预报模型进行训练，得到训练后的K类模型参数；
在模型应用时，将数据分别输入K类聚类中心所对应的RCNN洪水预报模型中得到K类预报结果，再将预报结果和各自的聚类中心按洪峰时刻对齐，计算二者交集的欧氏距离，以距离最近的预报结果作为最优预报结果。
2.如权利要求1所述的一种基于AE-RCNN的洪水分级智能预报方法，其特征在于，所述步骤2具体包括以下步骤：
步骤2.1、随机初始化K个聚类中心，每个聚类中心对应一个洪水级别；
步骤2.2、计算不同场次洪水的降雨、流量数据的隐藏向量与每个聚类中心的距离dist，根据距离dist将不同场次洪水的降雨、流量数据的隐藏向量分配到最近的聚类中心所在的洪水级别；其中，不同场次洪水的降雨、流量数据的隐藏向量与每个聚类中心的距离dist，如下式所示：
其中，oi是第i场洪水，cj是第j个聚类中心，j∈[1,K]，D是洪水降雨、流量数据的总维度；
步骤2.3、重新计算聚类中心，即将洪水级别中所有洪水的降雨、流量数据取平均值作为第j个洪水级别的新的聚类中心cj_new，如下式所示：
式中，Sj是第j个洪水级别的总的洪水场次，Nj是第j个洪水级别中的洪水场次数量；
步骤2.4、重复执行步骤2.1和2.2，直到满足收敛条件，如聚类中心不再发生明显的变化或达到最大迭代次数等，得到预处理后的聚类中心；
将预处理后的聚类中心输入AE模型中的解码器得到洪水降雨、流量数据的聚类中心，作为后续实际应用时进行原始洪水分级的依据。
3.根据权利要求2所述的一种基于AE-RCNN的洪水分级智能预报方法，其特征在于，其中，所述RCNN卷积神经网络采用的卷积方式为一维卷积，卷积输出的具体计算公式如下：
其中，为第l层卷积第n个节点的输出，Mn为节点数m的范围，/>为卷积核，*表示卷积运算，/>为偏置项，f为激活函数；
利用残差网络将上层输入的g跳层与卷积运算后得到的F(g)进行相加作为输出H(g)，当F(g)＝0时，H(g)＝g，形成恒定映射，保留上层输入特征，避免梯度消失。
CN202310908584.1A 2023-07-24 2023-07-24 基于ae-rcnn的洪水分级智能预报方法 Pending CN117034060A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310908584.1A CN117034060A (zh) 2023-07-24 2023-07-24 基于ae-rcnn的洪水分级智能预报方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310908584.1A CN117034060A (zh) 2023-07-24 2023-07-24 基于ae-rcnn的洪水分级智能预报方法

Publications (1)

Publication Number Publication Date
CN117034060A true CN117034060A (zh) 2023-11-10

Family

ID=88639601

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310908584.1A Pending CN117034060A (zh) 2023-07-24 2023-07-24 基于ae-rcnn的洪水分级智能预报方法

Country Status (1)

Country Link
CN (1) CN117034060A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117669274A (zh) * 2024-02-02 2024-03-08 河北省保定水文勘测研究中心 一种基于虚拟现实的洪水模拟预报方法及***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117669274A (zh) * 2024-02-02 2024-03-08 河北省保定水文勘测研究中心 一种基于虚拟现实的洪水模拟预报方法及***
CN117669274B (zh) * 2024-02-02 2024-04-19 河北省保定水文勘测研究中心 一种基于虚拟现实的洪水模拟预报方法及***

Similar Documents

Publication Publication Date Title
CN109145939B (zh) 一种小目标敏感的双通道卷积神经网络语义分割方法
CN109142171B (zh) 基于特征扩张的融合神经网络的城市pm10浓度预测方法
CN106650767B (zh) 基于聚类分析和实时校正的洪水预报方法
CN112364779A (zh) 信号处理与深-浅网络多模型融合的水声目标识别方法
CN111860982A (zh) 一种基于vmd-fcm-gru的风电场短期风电功率预测方法
CN107729999A (zh) 考虑矩阵相关性的深度神经网络压缩方法
CN114841257B (zh) 一种基于自监督对比约束下的小样本目标检测方法
CN112465120A (zh) 一种基于进化方法的快速注意力神经网络架构搜索方法
CN105913450A (zh) 基于神经网络图像处理的轮胎橡胶炭黑分散度评价方法及***
CN109492748B (zh) 一种基于卷积神经网络的电力***的中长期负荷预测模型建立方法
CN112464004A (zh) 一种多视角深度生成图像聚类方法
CN107609634A (zh) 一种基于增强极速学习的卷积神经网络训练方法
CN112966853A (zh) 基于时空残差混合模型的城市路网短时交通流预测方法
CN114186672A (zh) 一种用于脉冲神经网络的高效高精度训练算法
CN116110022B (zh) 基于响应知识蒸馏的轻量化交通标志检测方法及***
CN117034060A (zh) 基于ae-rcnn的洪水分级智能预报方法
CN112766603A (zh) 一种交通流量预测方法、***、计算机设备及存储介质
CN110096976A (zh) 基于稀疏迁移网络的人体行为微多普勒分类方法
CN117636183A (zh) 一种基于自监督预训练的小样本遥感图像分类方法
CN109408896A (zh) 一种污水厌氧处理产气量多元智能实时监控方法
CN116523877A (zh) 一种基于卷积神经网络的脑mri图像肿瘤块分割方法
CN117152427A (zh) 基于扩散模型和知识蒸馏的遥感图像语义分割方法与***
CN113807005B (zh) 基于改进fpa-dbn的轴承剩余寿命预测方法
CN111382761B (zh) 一种基于cnn的检测器、图像检测方法及终端
CN113469357A (zh) 一种人工神经网络到脉冲神经网络的映射方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination