CN107480341B - 一种基于深度学习的大坝安全综合评判方法 - Google Patents

一种基于深度学习的大坝安全综合评判方法 Download PDF

Info

Publication number
CN107480341B
CN107480341B CN201710598587.4A CN201710598587A CN107480341B CN 107480341 B CN107480341 B CN 107480341B CN 201710598587 A CN201710598587 A CN 201710598587A CN 107480341 B CN107480341 B CN 107480341B
Authority
CN
China
Prior art keywords
measuring point
dam
monitoring
sample
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710598587.4A
Other languages
English (en)
Other versions
CN107480341A (zh
Inventor
毛莺池
齐海
陈豪
李志涛
王龙宝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN201710598587.4A priority Critical patent/CN107480341B/zh
Publication of CN107480341A publication Critical patent/CN107480341A/zh
Application granted granted Critical
Publication of CN107480341B publication Critical patent/CN107480341B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/13—Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Architecture (AREA)
  • Civil Engineering (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Structural Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开一种基于深度学习的大坝安全综合评判方法，采用多层次大坝安全监测***进行安全综合评判。包括以下步骤：1)大坝安全监测测点分级，根据大坝工程特性，将监测***抽象成树状结构；2)监测测点数据预处理，对测点数据填补缺失值、剔除明显异常值；3)测点阈值计算和分类，对测点选取模型进行计算，确定测点阈值并对测点分类；4)构建卷积网络进行训练和评判，由专业监测人员巡检得到大坝以及监测***各级的评判结果，作为训练集和测试集，然后基于训练集和测试集训练卷积神经网络，最后对大坝进行安全综合评判。

Description

一种基于深度学习的大坝安全综合评判方法
技术领域
本发明涉及一种基于深度学习的大坝安全综合评判方法，具体是一种对大坝自动化监测数据进行安全综合评判的方法，属于大坝安全监测领域。。
背景技术
深度学习是机器学习中一种基于对数据进行表征学习的方法。观测值(例如一幅图像)可以使用多种方式来表示，如每个像素强度值的向量，或者更抽象地表示成一系列边、特定形状的区域等。而使用某些特定的表示方法更容易从实例中学习任务(例如，人脸识别或面部表情识别)。深度学习用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。
大坝安全监测是通过仪器观测和巡视检查对水工建筑物主体结构、地基基础、两岸边坡、相关设施以及周围环境所作的测量及观察；监测不仅包括对建筑物固定测点按一定频次进行的仪器观测，也包括对建筑物外表及内部大范围对象的定期或不定期的直观检查和仪器探查。通过观测仪器和设备，以及时取得反映大坝和基岩性态变化以及环境对大坝作用的各种数据的观测和资料处理等工作。其目的是分析估计大坝的安全程度，以便及时采取措施，设法保证大坝安全运行。
传统的大坝安全监测方法是通过人工根据水工专业知识，参考水工建筑专家经验而建立结构力学模型，并用大坝安全监测数据来修正模型和调整参数，对应不同的监测类型需建立相应的力学模型。因而在应对海量监测数据时，用传统结构力学模型对大坝进行安全综合评判会面临模型复杂度增加、模型数目过多、模型参数难以调整且无法保证精度的风险，而且也会使人力成本急剧增加。
本发明提供一种基于深度学习的大坝安全综合评判方法，深度学习网络模型基于大坝安全监测数据，对大坝安全监测海量数据进行表征学习，提取出数据特征。通过的大量的历史数据进行学习，深度学习网络模型能反映大坝安全监测的实时特征，在节约人力成本的同时保证大坝安全综合评判的精确性和实时性。
发明内容
发明目的：针对大坝安全监测***监测点多，数据量庞杂，人工处理和评判难度高且效率低的问题，本发明提供了一种基于深度学习的大坝安全综合评判方法，对海量监测数据进行特征学习，高效精确计算处理并得出评判结果。
技术方案：一种基于深度学习的大坝安全综合评判方法，包括以下四个方面：
(1)大坝安全监测测点分级
(2)监测测点数据预处理
(3)测点阈值计算和分类
(4)构建卷积网络训练和评判
(1)大坝安全监测测点分级采用的如下：
大坝安全监测测点分级的主要分为三个流程，分别是测点划分、测点编号、测点数据存储。首先根据大坝工程结构对监测***进行抽象，然后对监测测点编号，最后从自动化监测***中采集测点数据并存储。
①测点划分：根据大坝工程特性，将监测***抽象成树状结构。根节点为大坝，按照监测***特征往下逐级划分为基本部位、监测项目、仪器类型，最底层为监测测点。
②测点编号：首先为每个测点编号，编号应具有唯一性，并能反映测点所属的基本部位、监测项目、仪器类型。然后对基本部位、监测项目、仪器类型进行编号，并按照步骤①中的测点划分，每一级节点建立到其子节点的索引，即大坝需要索引到所有的基本部位，每个基本部位索引到其对应监测项目，每个监测项目则索引到其对应所有仪器类型，仪器类型所有下属的所有监测测点。最后为大坝、基本部位、监测项目、仪器类型分别建立数据库表，并按照索引结构将大坝所有监测测点编号信息存入数据库。
③测点数据存储：按照步骤②中建立的测点编号，从自动化监测***中汇集监测测点数据，并存储到对应的数据库表中。
(2)监测测点数据预处理采用的如下：
监测测点数据预处理主要分为两个流程：填补缺失值和剔除明显异常值。由于外界因素如仪器故障、数据传输出错、传感器误差等会使得自动化监测***中采集到的数据存在缺失值和明显异常值。因此对测点原始数据进行填补缺失值和剔除明显异常值是有必要的。
①填补缺失值：对监测测点时间序列中的短时缺失数据进行填补，首先利用拟合方法计算缺失值，再用三次指数平滑法处理。对于长时间缺失序列，填补后的数据会存在很大误差，将其视为仪器异常，作为评判的因子之一。
首先确定缺失数据时间点D，向前选取长度为N时间序列，选择均方误差阈值T；然后对长度为N的时间序列应用拟合方法，并计算均方误差E；若E<T，则根据拟合方法计算时间点D的测点数值，否则将N+1并重复应用拟合方法；最后根据计算出的测点数值，与长度为N的时间序列数据，做三次指数平滑，得到的时间点D的数值即为要填补的缺失值。
②采用四分位数和差分法相结合的方法剔除明显偏离整体的点和极端数据。
四分位数法计算：Q1：将数据按升序排列后分成四等分，按照升序方式排列数据，并进行四等分，第一个四分位数便是Q1；Q3：第三个四分位数；IQR＝Q3-Q1。对每一个数据进行检测，如果它位于区间[min-1.5*IQR,max+1.5*IQR]则视为正常值，否则作为异常数据处理。四分位数法只能剔除明显偏离整体的点。
差分法计算相邻两点之差的绝对值|y2-y1|,|y3-y2|,…,|yn-yn-1|，求出这组数的中位数median，如果|yi+1-yi|≤8*median，则视yi+1为正常，如果|yi+1-yi|>8*median，再判断其前面的|yi-yi-1|是否异常和后面的|yi+2-yi+1|是否也为异常，若这两个条件同时满足，则yi+1是异常数据。否则，可能是连续多天的数据较之前的存在较大偏差，这种情况并非异常。由于中位数在数据序列中具有稳定性，因此通过中位数来判别可以避免极端数据影响。
(3)测点阈值计算和分类采用的如下：
测点阈值计算和分类主要分为五个流程：确定样本容量、选取模型计算、计算样本均方误差、划分测点阈值、测点分类。
①确定样本容量：导入经过步骤(2)预处理之后的样本数据。选取初始窗口长度，划分训练样本和测试样本。
②选取模型计算：对候选模型(指数模型、二次多项式模型、三次函数插值模型、三次样条插值模型和拉格朗日插值模型)分别进行拟合，得到对应的拟合的方程，用拟合方程计算所需预测日期的前一天的径向位移作为校验，得到校验误差，校验误差作为对模型的校验，可以分析模型本身的合理性以及预测的准确性。
③计算样本均方差：样本均方误差(RMSE)作为预测模型好坏的评判标准，其计算公式为：其中n为样本的数量，i代表第i个样本，yi为样本的估计值，为估计值的平均值，n-1即为计算一元回归分析时样本均方误差的自由度。
然后每次将样本量(即步长加1)，进行上述操作。如果增加样本量样本均方误差减小，那么应该继续找最优模型，如果连续7次都没有更新样本均方误差，而在这之后更新样本均方误差的概率小于0.003(如果样本每次增加1来求解局部最优看成是一次伯努利实验，且认为它是相互独立的，因为每次都有可能达到最优，并且认为它在每次实验中达到最优或者达不到最优的概率均为1/2，那么经过连续的7次实验都不能改善样本均方误差，那么7次以后再次改善样本均方误差值的概率小于0.00391(即2-8)为小概率事件)，由于在一次随机试验的过程中，这种小概率事件发生的概率近乎于0，所以有理由找到局部最优值。
④划分测点阈值：统计各个模型的拟合结果，以样本均方误差值作为模型拟合的衡量指标，比较上述两种模型中的样本均方误差的大小来确定最终的动态最优模型，采用最优模型的计算结果为预测值，根据测点实测值和预测值计算相对误差，即为阈值。
⑤测点分类：监测点P在日期D的分类计算方法如下：
1)考虑到监测的实时性，取日期D前15天到日期D的监测点数据作为样本，计算样本阈值的均值mean和标准差std；
2)设测点P在日期D的监测值为x，定义Perfect、Regular、Examine、Problem四种基本状态，其中Perfect代表大坝运行状态完美，Regular代表大坝运行正常，Examine代表大坝运行需要检查，Problem代表大坝运行存在问题，需要检查。状态state计算公式如下：
state＝Perfect,mean-std<x<mean+std
state＝Regular,mean-2*std<x<mean+2*std
state＝Examine,mean-3*std<x<mean+3*std
state＝Problem,else
按照Perfect、Regular、Examine、Problem的顺序来判断，最终得到测点的分类。
3)对测点分类进行量化，包括预处理中出现长时间序列缺失(Missing)的情况，将Missing视为Examine和Problem状态的叠加，计算方式为：
Perfect＝[1,0,0,0]
Regular＝[0,1,0,0]
Examine＝[0,0,1,0]
Problem＝[0,0,0,1]
Missing＝[0,0,1,1]
(4)构建卷积网络训练和评判采用的如下：
构建卷积网络训练和评判主要分为四个流程：准备数据集、构建网络模型、训练和评估模型、大坝安全综合评判。根据大坝运行实际情况和工程经验，由监测人员检查得到大坝以及监测***各级的评判结果，作为训练集和测试集；然后基于训练集和测试集训练卷积神经网络，最后对大坝进行安全综合评判。
①准备数据集：根据大坝运行实际情况和工程经验，由监测人员检查得到大坝以及监测***各级的评判结果，作为训练集和测试集。
②构建网络模型：根据步骤(1)划分的大坝树状结构特点，底层监测测点数目远超基本部位、监测项目、仪器类型的节点数目。在底层测点层级，数据量很大，卷积网络能通过共享卷积核，高效处理高维数据，且无需手动选取特征，训练好权重，即得特征分类效果好。在基本部位、监测项目、仪器类型和大坝层级，数据量会急剧减少，此时采用卷积网络并不会增加特征提取精度，并会增加训练时间成本和空间成本。因此改用多层Softmax分类网络来进行训练和评判，在保证分类精度的同时大幅减少训练成本。
1)卷积网络：包括输入层、两层卷积和池化层、全连接层、Dropout层和输出层。
参数初始化：为了创建卷积网络模型，需要创建大量的权重和偏置项，权重在初始化时加入少量的噪声来打破对称性以及避免0梯度。每层网络都使用ReLU(修正线性单元)，因此用一个较小的整数来初始化偏置项以避免神经元节点输出恒为0的问题。
卷积和池化：卷积从高维度数据中计算并提取出特征，然后用池化对不同的特征进行聚合统计，这些概要统计特征具有低得多的维度，并有效避免过拟合。卷积和池化操作将原始数据映射到隐层特征空间。
全连接层：全连接层采用大量冗余参数，对提取的特征加权，融合前面网络学习到的深度特征，将其映射到样本标记空间。把上一层网络的输出乘上权重矩阵，加上偏置，然后对其使用ReLU(修正线性单元)。
Dropout层：为了减少过拟合，在输出层之前加入Dropout。设定神经元的输出在Dropout中保持不变的概率，并在训练过程中启用Dropout，在测试过程中关闭Dropout。
输出层：添加Softmax，得到分类结果。
2)多层Softmax网络：由输入层、隐含层、输出层组成
输入层：对于一批要训练的测点，选定时间序列，设要分类的测点数目为n，代表分类的向量长度为4，因此将测点数据展开为长度为4n的一维向量，在训练过程中每个批次随机选择多个时间点的测点数据作为输入。
隐含层：激活函数为sigmoid，采用反向传播法更新隐含层权重和偏置参数，提取数据特征。
输出层：用Softmax给不同分类分配概率，并输出分类结果。
根据大坝树状结构，为不同的节点层级选用不同的网络模型，并将每一层的网络通过数据共享连接起来，最终构建一个具有多层次的树状网络群模型。
③训练和评估模型：交叉熵是用来衡量网络模型的预测用于描述真相的低效性。在本发明构建的卷积网络和Softmax网络中，交叉熵不仅仅用来衡量单一的一对预测和真实值，而是一个训练批次中所有测点的交叉熵的总和，对于整个训练批次数据点的预测表现比单一数据点的表现能更好地描述模型的性能。交叉熵定义如下，其中y是我们预测的概率分布，y′是实际的分布，i指的是训练批次中第i个批次。
Hy′(y)＝-∑iy′ilog(yi)
定义好损失函数之后，设定学习率。Softmax网络使用梯度下降算法以一定的学习率微调参数，不断减少成本。卷积网络用更加复杂的ADAM优化器来做梯度最速下降，并加入额外的参数来控制Dropout比例。
④大坝安全综合评判：经过深度学习和参数调整，训练各层级网络，最终得到一个多层次的树状网络群模型，存储整个网络群的结构和参数。对大坝所有测点进行逐级评判，并实现大坝整体安全综合评判。
有益效果：与现有技术相比，本发明提供的基于深度学习的大坝安全综合评判方法通过对大坝安全监测测点分级、监测测点数据预处理、测点阈值计算和分类、构建卷积网络训练和评判实现大坝安全综合评判，提高大坝安全综合评判效率和精度，为大坝监测提供可靠依据。
附图说明
图1为本发明实例的基于深度学习的大坝安全综合评判方法的总体框架图；
图2为本发明实例的测点划分结构图。
具体实施方式
下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
图1为本发明提供的基于深度学习的大坝安全综合评判方法的总体框架图，其工作过程如下描述：
①大坝安全监测测点分级。根据大坝工程结构对监测***进行抽象，划分出监测测点，然后对监测测点编号，最后从自动化监测***中采集测点数据并存储。测点划分如附图2所示，根节点为大坝，按照监测***特征往下逐级划分为基本部位、监测项目、仪器类型，最底层为监测测点。
然后对监测测点、基本部位、监测项目、仪器类型逐级进行唯一编号，并按照测点划分，每一级节点建立到其子节点的索引，即大坝需要索引到所有的基本部位，每个基本部位索引到其对应监测项目，每个监测项目则索引到其对应所有仪器类型，仪器类型所有下属的所有监测测点。最后为大坝、基本部位、监测项目、仪器类型分别建立数据库表，并按照索引结构将大坝所有监测测点编号信息存入数据库。
按照各级测点编号，从自动化监测***中汇集监测测点数据，并存储到对应的数据库表中。
②监测测点数据预处理。包括填补缺失值和剔除明显异常值。
填补缺失值：对监测测点时间序列中的短时缺失数据进行填补，首先利用拟合方法计算缺失值，再用三次指数平滑法处理。首先确定缺失数据时间点D，向前选取长度为N时间序列，选择均方误差阈值T；然后对长度为N的时间序列应用拟合方法，并计算均方误差E；若E<T，则根据拟合方法计算时间点D的测点数值，否则将N+1并重复应用拟合方法；最后根据计算出的测点数值，与长度为N的时间序列数据，做三次指数平滑，得到的时间点D的数值即为要填补的缺失值。
采用四分位数和差分法相结合的方法剔除明显偏离整体的点和极端数据。四分位数法计算：Q1：将数据按升序排列后分成四等分，按照升序方式排列数据，并进行四等分，第一个四分位数便是Q1；Q3：第三个四分位数；IQR＝Q3-Q1。对每一个数据进行检测，如果它位于区间[min-1.5*IQR,max+1.5*IQR]则视为正常值，否则作为异常数据处理。四分位数法只能剔除明显偏离整体的点。
差分法计算相邻两点之差的绝对值|y2-y1|,|y3-y2|,…,|yn-yn-1|，求出这组数的中位数median，如果|yi+1-yi|≤8*median，则视yi+1为正常，如果|yi+1-yi|>8*median，再判断其前面的|yi-yi-1|是否异常和后面的|yi+2-yi+1|是否也为异常，若这两个条件同时满足，则yi+1是异常数据。否则，可能是连续多天的数据较之前的存在较大偏差，这种情况并非异常。由于中位数在数据序列中具有稳定性，因此通过中位数来判别可以避免极端数据影响。
③测点阈值计算和分类。包括确定样本容量、选取模型计算、计算样本均方误差、划分测点阈值、测点分类。
确定样本容量：导入经过预处理之后的样本数据。选取初始窗口长度，划分训练样本和测试样本。
选取模型计算：对候选模型(指数模型、二次多项式模型、三次函数插值模型、三次样条插值模型和拉格朗日插值模型)分别进行拟合，得到对应的拟合的方程，用拟合方程计算所需预测日期的前一天的径向位移作为校验，得到校验误差，校验误差作为对模型的校验。
计算样本均方差：样本均方误差(RMSE)作为预测模型好坏的评判标准，其计算公式为：其中n为样本的数量，yi为样本的估计值，为估计值的平均值，n-1即为计算一元回归分析时样本均方误差的自由度。
然后每次将样本量(即步长加1)，进行上述操作。如果增加样本量样本均方误差减小，那么应该继续找最优模型，如果连续7次都没有更新样本均方误差，则认为找到局部最优值。
划分测点阈值：统计各个模型的拟合结果，以样本均方误差值作为模型拟合的衡量指标，比较上述两种模型中的样本均方误差的大小来确定最终的动态最优模型，采用最优模型的计算结果为预测值，根据测点实测值和预测值计算相对误差，即为阈值。
测点分类：监测点P在日期D的分类计算方法如下：
1)考虑到监测的实时性，取日期D前15天到日期D的监测点数据作为样本，计算样本阈值的均值mean和标准差std；
2)设测点P在日期D的监测值为x，定义Perfect、Regular、Examine、Problem四种基本状态，其中Perfect代表大坝运行状态完美，Regular代表大坝运行正常，Examine代表大坝运行需要检查，Problem代表大坝运行存在问题，需要检查。状态state计算公式如下：
state＝Perfect,mean-std<x<mean+std
state＝Regular,mean-2*std<x<mean+2*std
state＝Examine,mean-3*std<x<mean+3*std
state＝Problem,else
按照Perfect、Regular、Examine、Problem的顺序来判断，最终得到测点的分类。
3)对测点分类进行量化，包括预处理中出现长时间序列缺失(Missing)的情况，将Missing视为Examine和Problem状态的叠加，计算方式为：
Perfect＝[1,0,0,0]
Regular＝[0,1,0,0]
Examine＝[0,0,1,0]
Problem＝[0,0,0,1]
Missing＝[0,0,1,1]
每一个状态对应一个长度为4的向量，用向量代表状态分类。
④构建卷积网络训练和评判。包括准备数据集、构建网络模型、训练和评估模型、大坝安全综合评判。根据大坝运行实际情况和工程经验，由监测人员检查得到大坝以及监测***各级的评判结果，作为训练集和测试集；然后基于训练集和测试集训练卷积神经网络，最后对大坝进行安全综合评判。
准备数据集：根据大坝运行实际情况和工程经验，由监测人员检查得到大坝以及监测***各级的评判结果，作为训练集和测试集。
构建网络模型：在底层测点层级，采用多层卷积网络。在基本部位、监测项目、仪器类型和大坝层级，采用多层Softmax分类网络来进行训练和评判。
1)卷积网络：包括输入层、两层卷积和池化层、全连接层、Dropout层和输出层。
参数初始化：权重在初始化时加入少量的噪声来打破对称性以及避免0梯度，用较小的整数来初始化偏置项以避免神经元节点输出恒为0的问题。
卷积和池化：卷积从高维度数据中计算并提取出特征，然后用池化对不同的特征进行聚合统计。卷积和池化操作将原始数据映射到隐层特征空间。
全连接层：全连接层采用大量冗余参数，对提取的特征加权，融合前面网络学习到的深度特征，将其映射到样本标记空间。把上一层网络的输出乘上权重矩阵，加上偏置，然后对其使用ReLU(修正线性单元)。
Dropout层：为了减少过拟合，在输出层之前加入Dropout。设定神经元的输出在Dropout中保持不变的概率，并在训练过程中启用Dropout，在测试过程中关闭Dropout。
输出层：添加Softmax，得到分类结果。
2)多层Softmax网络：由输入层、隐含层、输出层组成
输入层：对于一批要训练的测点，选定时间序列，设要分类的测点数目为n，代表分类的向量长度为4，因此将测点数据展开为长度为4n的一维向量，在训练过程中每个批次随机选择多个时间点的测点数据作为输入。
隐含层：激活函数为sigmoid，采用反向传播法更新参数，提取数据特征。
输出层：用Softmax给不同分类分配概率，并输出分类结果。
根据大坝树状结构，为不同的节点层级选用不同的网络模型，并将每一层的网络通过数据共享连接起来，最终构建一个具有多层次的树状网络群模型。
训练和评估模型：在本发明构建的卷积网络和Softmax网络中，交叉熵是一个训练批次中所有测点的交叉熵的总和。交叉熵定义如下，其中y是我们预测的概率分布，y′是实际的分布。
Hy′(y)=-Σiy′ilog(yi)
设定学习率，Softmax网络使用梯度下降算法以一定的学习率微调参数，不断减少成本。卷积网络用更加复杂的ADAM优化器来做梯度最速下降，并加入额外的参数来控制Dropout比例。
大坝安全综合评判：经过深度学习和参数调整，训练各层级网络，最终得到一个多层次的树状网络群模型，存储整个网络群的结构和参数。对大坝所有测点进行逐级评判，并实现大坝整体安全综合评判。
根据以上实施例可知，针对传统人工计算结构力学模型以进行大坝安全综合评判的模型复杂度高，计算效率低，评判精度低，人力成本高的问题，本发明的方法，通过大坝安全监测测点分级、监测测点数据预处理、测点阈值计算和分类、构建卷积网络训练和评判，提高大坝安全综合评判效率和精度，为大坝监测提供可靠依据。

Claims (5)

1.一种基于深度学习的大坝安全综合评判方法，用于大坝监测***的安全综合评判，其特征在于，包括四个方面：大坝安全监测测点分级，监测测点数据预处理，测点阈值计算和分类，构建卷积网络训练和评判；
1)大坝安全监测测点分级，根据大坝工程结构对监测***进行抽象，然后对监测测点编号，最后从自动化监测***中采集测点数据并存储；
2)监测测点数据预处理，填补缺失值和剔除明显异常值；
3)测点阈值计算和分类，对预处理后的数据，首先确定样本容量，然后选取模型计算，并计算样本均方误差，选取最优模型并划分阈值，最后对测点分类；
4)构建卷积网络训练和评判，根据大坝运行实际情况和工程经验，由监测人员检查得到大坝以及监测***各级的评判结果，作为训练集和测试集；然后基于训练集和测试集训练卷积神经网络，最后对大坝进行安全综合评判；
所述步骤3)包含以下步骤：
3.1)确定样本容量：导入经过预处理之后的样本数据，选取初始窗口长度，划分训练样本和测试样本；
3.2)选取模型计算：对候选模型分别进行拟合，得到对应的拟合的方程，用拟合方程计算所需预测日期的前一天的径向位移作为校验，得到校验误差，校验误差作为对模型的校验；
3.3)计算样本均方差，其计算公式为：其中n为样本的数量，i代表第i个样本，yi为样本的估计值，为估计值的平均值，n-1即为计算一元回归分析时样本均方误差的自由度；然后每次将样本量——步长加1，进行3.2)操作；如果增加样本量样本均方误差减小，那么应该继续找最优模型，如果连续7次都没有更新样本均方误差，则认为找到局部最优值；
3.4)划分测点阈值：统计各个模型的拟合结果，以样本均方误差值作为模型拟合的衡量指标，比较上述各个模型中任意两种模型中的样本均方误差的大小来确定最终的动态最优模型，采用最优模型的计算结果为预测值，根据测点实测值和预测值计算相对误差，即为阈值；
3.5)测点分类，根据大坝的运行状态对测点的分类。
2.如权利要求1所述的基于深度学习的大坝安全综合评判方法，其特征在于，大坝安全监测测点分级分为三个流程，分别是测点划分、测点编号、测点数据存储；首先根据大坝工程结构对监测***进行抽象，然后对监测测点编号，所述步骤1)包含以下步骤：
1.1)测点划分：根据大坝工程特性，将监测***抽象成树状结构；根节点为大坝，按照监测***特征往下逐级划分为基本部位、监测项目、仪器类型，最底层为监测测点；
1.2)测点编号：首先为每个测点编号，编号应具有唯一性，并能反映测点所属的基本部位、监测项目、仪器类型；然后对基本部位、监测项目、仪器类型进行编号，并按照步骤1.1)中的测点划分，每一级节点建立到其子节点的索引，即大坝需要索引到所有的基本部位，每个基本部位索引到其对应监测项目，每个监测项目则索引到其对应所有仪器类型，仪器类型索引下属的所有监测测点；最后为大坝、基本部位、监测项目、仪器类型分别建立数据库表，并按照索引结构将大坝所有监测测点编号信息存入数据库；
1.3)测点数据存储：按照步骤1.2)中建立的测点编号，从自动化监测***中汇集监测测点数据。
3.如权利要求1所述的基于深度学习的大坝安全综合评判方法，其特征在于，监测点P在日期D的分类计算方法如下：
①考虑到监测的实时性，取日期D前15天到日期D的监测点数据作为样本，计算样本阈值的均值mean和标准差std；
②设测点P在日期D的监测值为x，定义Perfect、Regular、Examine、Problem四种基本状态，其中Perfect代表大坝运行状态完美，Regular代表大坝运行正常，Examine代表大坝运行需要检查，Problem代表大坝运行存在问题，需要检查；状态state计算公式如下：
state＝Perfect,mean-std<x<mean+std
state＝Regular,mean-2*std<x<mean+2*std
state＝Examine,mean-3*std<x<mean+3*std
state＝Problem,else
按照Perfect、Regular、Examine、Problem的顺序来判断，最终得到测点的分类；
③对测点分类进行量化，包括预处理中出现长时间序列缺失Missing的情况，将Missing视为Examine和Problem状态的叠加，计算方式为：
Perfect＝[1,0,0,0]
Regular＝[0,1,0,0]
Examine＝[0,0,1,0]
Problem＝[0,0,0,1]
Missing＝[0,0,1,1]。
4.如权利要求1所述的基于深度学习的大坝安全综合评判方法，其特征在于，所述步骤4)包含以下步骤：
4.1)准备数据集：根据大坝运行实际情况和工程经验，由监测人员检查得到大坝以及监测***各级的评判结果，作为训练集和测试集；
4.2)构建网络模型：在底层测点层级，采用多层卷积网络；在基本部位、监测项目、仪器类型和大坝层级，采用多层Softmax分类网络来进行训练和评判；
4.3)训练和评估模型：在建的卷积网络和Softmax网络中，交叉熵是一个训练批次中所有测点的交叉熵的总和；交叉熵定义如下，其中y是预测的概率分布，y′是实际的分布；
Hy′(y)＝-∑iy′ilog(yi)
设定学习率，Softmax网络使用梯度下降算法以设定的学习率微调参数，不断减少成本；卷积网络用ADAM优化器来做梯度最速下降，并加入额外的参数来控制Dropout比例；
4.4)大坝安全综合评判：经过深度学习和参数调整，训练各层级网络，最终得到一个多层次的树状网络群模型，存储整个网络群的结构和参数；对大坝所有测点进行逐级评判，并实现大坝整体安全综合评判。
5.如权利要求4所述的基于深度学习的大坝安全综合评判方法，其特征在于，所述步骤4)包含以下步骤：
①卷积网络：包括输入层、两层卷积和池化层、全连接层、Dropout层和输出层；
参数初始化：权重在初始化时加入少量的噪声来打破对称性以及避免0梯度，用较小的整数来初始化偏置项以避免神经元节点输出恒为0的问题；
卷积和池化：卷积从高维度数据中计算并提取出特征，然后用池化对不同的特征进行聚合统计；卷积和池化操作将原始数据映射到隐层特征空间；
全连接层：全连接层采用大量冗余参数，对提取的特征加权，融合前面网络学习到的深度特征，将其映射到样本标记空间；把上一层网络的输出乘上权重矩阵，加上偏置，然后对其使用修正线性单元ReLU；
Dropout层：为了减少过拟合，在输出层之前加入Dropout；设定神经元的输出在Dropout中保持不变的概率，并在训练过程中启用Dropout，在测试过程中关闭Dropout；
输出层：添加Softmax，得到分类结果；
②多层Softmax网络：由输入层、隐含层、输出层组成
输入层：对于一批要训练的测点，选定时间序列，设要分类的测点数目为n，代表分类的向量长度为4，因此将测点数据展开为长度为4n的一维向量，在训练过程中每个批次随机选择多个时间点的测点数据作为输入；
隐含层：激活函数为sigmoid，采用反向传播法更新参数，提取数据特征；
输出层：用Softmax给不同分类分配概率，并输出分类结果；
根据大坝树状结构，为不同的节点层级选用不同的网络模型，并将每一层的网络通过数据共享连接起来，最终构建一个具有多层次的树状网络群模型。
CN201710598587.4A 2017-07-21 2017-07-21 一种基于深度学习的大坝安全综合评判方法 Active CN107480341B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710598587.4A CN107480341B (zh) 2017-07-21 2017-07-21 一种基于深度学习的大坝安全综合评判方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710598587.4A CN107480341B (zh) 2017-07-21 2017-07-21 一种基于深度学习的大坝安全综合评判方法

Publications (2)

Publication Number Publication Date
CN107480341A CN107480341A (zh) 2017-12-15
CN107480341B true CN107480341B (zh) 2018-10-23

Family

ID=60595335

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710598587.4A Active CN107480341B (zh) 2017-07-21 2017-07-21 一种基于深度学习的大坝安全综合评判方法

Country Status (1)

Country Link
CN (1) CN107480341B (zh)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764601B (zh) * 2018-04-03 2021-07-16 哈尔滨工业大学 一种基于计算机视觉和深度学习技术的结构健康监测异常数据诊断方法
CN108563739B (zh) * 2018-04-11 2021-05-04 平安科技（深圳）有限公司 天气数据获取方法及装置、计算机装置及可读存储介质
CN108549341B (zh) * 2018-04-19 2019-11-19 广州裕申电子科技有限公司 基于物联网的车间生产信息管理方法、***及装置
CN108805192B (zh) * 2018-06-01 2019-04-02 河海大学 基于分层网络结构的监测数据分析方法
CN109284851A (zh) * 2018-06-11 2019-01-29 西安交通大学 一种适用于需求侧响应的用户用电行为分类方法
CN108984932B (zh) * 2018-07-25 2022-11-08 中国地震局地球物理研究所 建筑结构特性快速提取方法及相应损失评估计算方法
CN109145257B (zh) * 2018-09-07 2022-07-05 国网湖南省电力有限公司 一种基于多测点公共异常时间的大坝安全监测分析方法
CN109163997B (zh) * 2018-09-18 2020-12-11 天津大学 一种基于声谱图深度学习的岩石表面强度测定方法
CN109409406A (zh) * 2018-09-19 2019-03-01 北京航空航天大学 一种水坝坝体异常情况的空基检测方法与装置
CN109272039B (zh) * 2018-09-19 2020-06-12 北京航空航天大学 一种基于无人机的水坝周边异常监测方法与装置
CN109255555B (zh) * 2018-10-16 2023-10-27 中国电力科学研究院有限公司 基于历史运行信息的电力大数据设备生命周期估计方法
CN109543746B (zh) * 2018-11-20 2019-09-10 河海大学 一种基于节点可靠性的传感器网络事件融合与决策方法
CN109612423B (zh) * 2018-12-19 2020-08-04 沈阳天眼智云信息科技有限公司 基于位移传感器的巷道坍塌预测方法及***
CN110260914B (zh) * 2019-05-06 2020-06-19 河海大学 一种基于测点时空特征的工程安全监测***区域划分方法
CN110188399B (zh) * 2019-05-07 2020-10-16 河海大学 一种基于多相关序列的大坝安全监测单测点评价方法
CN110595535A (zh) * 2019-08-19 2019-12-20 湖南强智科技发展有限公司 监测方法、装置和存储介质
CN110532694B (zh) * 2019-08-29 2023-02-28 四川大学 一种基于地质力学模型综合法试验的拱坝安全评价方法
CN110728397B (zh) * 2019-09-26 2021-03-02 河海大学 一种基于模型自动匹配的大坝单测点阈值计算方法
CN110765679B (zh) * 2019-09-30 2023-07-07 国电南京自动化股份有限公司 一种基于有限元模型与SVM回归算法的大坝监测web展示方法
CN112766511A (zh) * 2019-11-01 2021-05-07 伊姆西Ip控股有限责任公司 用于模型自适应的方法、设备以及机程序产品
CN111090634B (zh) * 2019-11-06 2023-01-24 长江勘测规划设计研究有限责任公司 一种基于云服务的安全监测资料智能整编分析***
CN111027680B (zh) * 2019-12-06 2020-10-30 北京瑞莱智慧科技有限公司 基于变分自编码器的监控量不确定性预测方法及***
CN111121711B (zh) * 2019-12-24 2022-01-18 河南理工大学 采动影响区内缺失监测点移动变形量的获取方法和装置
CN111105097B (zh) * 2019-12-25 2022-07-29 河海大学常州校区 一种基于卷积神经网络的大坝变形预测***和方法
CN111177218B (zh) * 2019-12-25 2022-08-30 深圳市东深电子股份有限公司 一种基于大数据分析的大坝安全分析方法
CN111860202A (zh) * 2020-06-28 2020-10-30 中铁大桥科学研究院有限公司 图像识别与智能设备结合的梁场台座状态识别方法及***
CN112580682B (zh) * 2020-11-16 2022-07-19 河海大学 基于多任务高斯过程的大坝监测***缺失数据重构方法
CN112381309B (zh) * 2020-11-23 2022-04-12 珠江水利委员会珠江水利科学研究院 水库大坝安全监测预警方法、装置、***及存储介质
CN112487356B (zh) * 2020-11-30 2022-10-14 北京航空航天大学 一种结构健康监测数据增强方法
CN112434750B (zh) * 2020-12-04 2023-05-16 中国电建集团华东勘测设计研究院有限公司 基于卷积神经网络的大坝监测数据发展模式识别方法
CN112598287A (zh) * 2020-12-25 2021-04-02 武汉烽火信息集成技术有限公司 一种轨道交通健康评估方法及***
CN112949900B (zh) * 2021-01-18 2022-01-11 水利部交通运输部国家能源局南京水利科学研究院 一种水库大坝安全信息智慧感知融合预警方法及终端设备
CN112966856A (zh) * 2021-02-10 2021-06-15 四川水利职业技术学院 一种山洪风险预测方法及预测***
CN113033702B (zh) * 2021-04-21 2022-12-13 上海勘察设计研究院(集团)有限公司 一种基于时空数据的结构安全预警方法
CN112990372B (zh) * 2021-04-27 2021-08-06 北京瑞莱智慧科技有限公司 一种数据处理方法、模型训练方法、装置及电子设备
CN113298426B (zh) * 2021-06-17 2022-06-24 华能澜沧江水电股份有限公司 知识图谱驱动的大坝安全评判权重动态拟定方法及***
CN113591668B (zh) * 2021-07-26 2023-11-21 南京大学 一种使用深度学习和空间分析的广域未知大坝自动探测方法
CN113344470B (zh) * 2021-08-02 2021-11-16 山东炎黄工业设计有限公司 一种基于区块链的供电***智能管理方法
CN113554849A (zh) * 2021-08-09 2021-10-26 广东智云工程科技有限公司 一种空天地监测边坡***及其失稳风险评估方法
CN113807570B (zh) * 2021-08-12 2024-02-02 水利部南京水利水文自动化研究所 基于XGBoost的水库大坝风险等级评估方法及***
CN114611833B (zh) * 2022-03-30 2022-08-30 中国华能集团有限公司江西分公司 基于双驱动结合的坝体深度学习模型构建方法
CN114881074B (zh) * 2022-04-24 2023-08-08 同济大学 一种基于聚类-深度学习的工程结构变形预测方法
CN116628473A (zh) * 2023-05-17 2023-08-22 国网上海市电力公司 一种基于多因子神经网络算法的电力设备状态趋势预测方法
CN117078627B (zh) * 2023-08-18 2024-02-27 中国水利水电科学研究院 一种淤地坝坝体缺陷监测及安全评价方法及***

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103410516A (zh) * 2013-05-08 2013-11-27 浙江广川工程咨询有限公司 小直径隧洞全断面开挖围岩变形预警工法
CN104281130A (zh) * 2014-09-22 2015-01-14 国家电网公司 一种基于大数据技术的水电设备监测和故障诊断***

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7769561B2 (en) * 2005-12-01 2010-08-03 Siemens Corporation Robust sensor correlation analysis for machine condition monitoring

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103410516A (zh) * 2013-05-08 2013-11-27 浙江广川工程咨询有限公司 小直径隧洞全断面开挖围岩变形预警工法
CN104281130A (zh) * 2014-09-22 2015-01-14 国家电网公司 一种基于大数据技术的水电设备监测和故障诊断***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ABC-RBF神经网络在平板坝裂缝开合度监测中的应用;赵鲲鹏 等;《水利水电技术》;20151231;第46卷(第10期);第35-37，58页摘要、第2节"经验模态分解"，第3节"ABC-RBF神经网络优化模型"、第4节"结论" *
径向基函数神经网络在大坝安全监测数据处理中的应用;张晓春 等;《武汉大学学报(工学版)》;20030430;第36卷(第2期);第33-36页 *

Also Published As

Publication number Publication date
CN107480341A (zh) 2017-12-15

Similar Documents

Publication Publication Date Title
CN107480341B (zh) 一种基于深度学习的大坝安全综合评判方法
CN109885907B (zh) 一种基于云模型的卫星姿控***健康状态评估和预测方法
Zhu et al. Hesitant analytic hierarchy process
Idrus et al. Development of project cost contingency estimation model using risk analysis and fuzzy expert system
Kisi et al. Modeling discharge–sediment relationship using neural networks with artificial bee colony algorithm
Bellocchi et al. An indicator of solar radiation model performance based on a fuzzy expert system
CN101354757B (zh) 一种精细尺度下的动态风险及易损性预测方法
CN111310981B (zh) 一种基于时间序列的水库水位趋势预测方法
CN108897977A (zh) 一种基于大区域水文模拟的径流演变不确定归因方法
CN111797364B (zh) 一种基于复合云模型的滑坡多层次安全评价方法
CN111178585A (zh) 基于多算法模型融合的故障接报量预测方法
CN109242250A (zh) 一种基于模糊熵权法与云模型的用户行为可信度检测方法
Allawi et al. Reservoir inflow forecasting with a modified coactive neuro-fuzzy inference system: a case study for a semi-arid region
CN107295537A (zh) 一种测评无线传感器网络可靠性的方法及***
CN107798431A (zh) 一种基于改进Elman神经网络的中长期径流预报方法
CN110321493A (zh) 一种社交网络的异常检测与优化方法、***及计算机设备
CN107918837A (zh) 一种果蔬类食品安全风险预测方法
Wieprecht et al. A neuro-fuzzy-based modelling approach for sediment transport computation
CN113269384B (zh) 一种对河流***健康状态进行预警的方法
Wu et al. Temporal convolution network‐based time frequency domain integrated model of multiple arch dam deformation and quantification of the load impact
Dalvi et al. Entropy analysis for identifying significant parameters for seismic soil liquefaction
CN116124460B (zh) 一种基于健康指标构建的轴承寿命预测方法及***
Khadr et al. Data-driven stochastic modeling for multi-purpose reservoir simulation
Feizizadeh et al. Sensitivity and uncertainty analysis approach for GIS-MCDA based economic vulnerability assessment
CN116431346A (zh) 一种用于电子设备主存储器容量的补偿方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20171215

Assignee: HUANENG LANCANG RIVER HYDROPOWER Inc.

Assignor: HOHAI University

Contract record no.: X2021320000034

Denomination of invention: A comprehensive evaluation method for dam safety based on deep learning

Granted publication date: 20181023

License type: Common License

Record date: 20210525

CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Qi Hai

Inventor after: Mao Yingchi

Inventor after: Chen Hao

Inventor after: Li Zhitao

Inventor after: Wang Longbao

Inventor before: Mao Yingchi

Inventor before: Qi Hai

Inventor before: Chen Hao

Inventor before: Li Zhitao

Inventor before: Wang Longbao