CN117372854A - 一种大坝深水结构隐患病害实时检测方法 - Google Patents
一种大坝深水结构隐患病害实时检测方法 Download PDFInfo
- Publication number
- CN117372854A CN117372854A CN202311384543.3A CN202311384543A CN117372854A CN 117372854 A CN117372854 A CN 117372854A CN 202311384543 A CN202311384543 A CN 202311384543A CN 117372854 A CN117372854 A CN 117372854A
- Authority
- CN
- China
- Prior art keywords
- dam
- disease
- deep water
- target detection
- water structure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 201000010099 disease Diseases 0.000 title claims abstract description 73
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 title claims abstract description 73
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000011897 real-time detection Methods 0.000 title claims abstract description 13
- 238000001514 detection method Methods 0.000 claims abstract description 57
- 238000013138 pruning Methods 0.000 claims abstract description 18
- 238000013140 knowledge distillation Methods 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims abstract description 10
- 238000004590 computer program Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 17
- 238000012549 training Methods 0.000 claims description 11
- 238000012360 testing method Methods 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000004821 distillation Methods 0.000 claims description 5
- 210000000988 bone and bone Anatomy 0.000 claims description 4
- 239000000463 material Substances 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 2
- 230000007547 defect Effects 0.000 abstract description 19
- 238000009826 distribution Methods 0.000 abstract description 5
- 230000006835 compression Effects 0.000 abstract description 4
- 238000007906 compression Methods 0.000 abstract description 4
- 238000013508 migration Methods 0.000 abstract description 3
- 230000005012 migration Effects 0.000 abstract description 3
- 230000015556 catabolic process Effects 0.000 abstract description 2
- 238000006731 degradation reaction Methods 0.000 abstract description 2
- 230000003287 optical effect Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000007689 inspection Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000006424 Flood reaction Methods 0.000 description 1
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000003973 irrigation Methods 0.000 description 1
- 230000002262 irrigation Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 238000007430 reference method Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 230000007847 structural defect Effects 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
- 208000016261 weight loss Diseases 0.000 description 1
- 230000004580 weight loss Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/05—Underwater scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/096—Transfer learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种大坝深水结构隐患病害实时检测方法，该方法以基于锚框的单阶段目标检测模型YOLOv5s为基本模型，构建大坝多类别缺陷识别器，并利用模型稀疏化改变模型批处理层权重分布，并根据最优的剪枝策略以去除模型冗余参数。综合运用模型迁移和知识蒸馏理论，恢复由于剪枝压缩参数带来的精度劣化问题，最终构建出轻量高效的大坝水下结构缺陷检测方法。本发明方法可实现仅依靠光学图像数据为输入，实现不同复杂场景下大坝深水多类别结构缺陷病害的实时目标检测。
Description
技术领域
本发明涉及一种大坝深水结构隐患病害实时检测方法，属于大坝深水结构的非接触式缺陷检测技术领域。
背景技术
目前我国已修建水库大坝9.8万余座，总库容8983亿m3，水电装机容量3.91亿千瓦，规模和数量均位居世界前列。这些工程在调蓄江河、抵御洪水、水力发电、航运灌溉等方面发挥重要作用，是国家水安全和经济发展的重要基础保障。然而，它们普遍存在有建设标准低、施工工艺差、三边工程等历史遗留问题，加之年久失修、后期养护管理不到位，坝体普遍存在诸多病害隐患。
传统大坝结构缺陷识别方法主要是基于人工巡视检查，辅以钢尺、锤敲、试纸等手段。实践表明，该方法存在检测效率低、危险度高、漏判率高等不足，且识别结果易受到工程师主观判断影响。此外，人工巡检难以在大坝深水结构区域开展实施，而改进的蛙人水下检测技术同样存在着下潜深度有限(通常不能超过60m)、下潜作业范围狭窄、作业时间短和潜在风险大等问题。
水下机器人是一类通过脐带缆实现动力和信号传输，由岸边人员操作并可执行特定水下作业任务的无人载运设备，近些年水下机器人搭载高清可见光相机被应用于大坝深水隐蔽缺陷的高分辨率图像视频信息采集，可有效克服传统传感器和工程物探感知手段空间分辨率低的限制。
然而，大坝深水部位结构形式复杂多变且水下体积庞大，一次大范围大坝深水探测任务会产生海量图像和视频数据。完全依赖人工读取和记录手段从这些海量数据中提取和结构损伤密切相关信息，不仅耗时长、人工成本高，而且识别难度大、误判率及漏检率高。
发明内容
本发明所要解决的技术问题是：提供一种大坝深水结构隐患病害实时检测方法，采用YOLOv5s单阶段神经网络构建大坝多类别缺陷检测模型，并对模型进行稀疏和剪枝，运用模型迁移和知识蒸馏理论，构建强背景干扰下大坝深水多类别缺陷实时目标框架。
本发明为解决上述技术问题采用以下技术方案：
一种大坝深水结构隐患病害实时检测方法，包括如下步骤：
步骤1，获取大坝深水结构部位的病害图像视频，从病害图像视频中提取病害图像构建大坝深水结构多类别病害数据集；
步骤2，对每张病害图像进行病害类别和病害区域的信息标注，将标注后的数据集划分为训练集、验证集和测试集；
步骤3，以单阶段目标检测模型Yolov5s为识别器，构建大坝深水多类别病害目标检测模型，利用训练集和验证集对大坝深水多类别病害目标检测模型进行预训练，并利用测试集进行评价，得到预训练后的大坝深水多类别病害目标检测模型；
步骤4，对步骤3构建的大坝深水多类别病害目标检测模型中的批处理层进行稀疏正则化，并根据0.5的剪枝率对稀疏正则化后的模型进行剪枝，得到剪枝后的目标检测模型；
步骤5，将步骤3构建的大坝深水多类别病害目标检测模型作为教师网络，步骤4得到的剪枝后的目标检测模型作为学生网络，利用知识蒸馏方法对剪枝后的目标检测模型进行参数优化，得到最终的目标检测模型；
步骤6，获取大坝深水结构部位实时病害图像，利用步骤5得到的最终的目标检测模型对实时病害图像进行检测，得到病害所属类别及位置结果。
作为本发明的一种优选方案，所述步骤1中，采用水下机器人搭载可见光相机获取大坝深水结构部位的病害图像视频，可见光相机的采样频率为25帧每秒，每隔五帧提取一帧放入数据集中，从而得到大坝深水结构多类别病害数据集。
作为本发明的一种优选方案，所述步骤2中，对数据集中的每张图像采用图形界面可视化标注软件Labelme进行标注，利用矩形框确定病害区域在图像中的位置，标注信息包括矩形框的左上角点和右下角点坐标，根据左上角点和右下角点坐标得到矩形框中心点坐标及矩形框的长度和宽度，对矩形框中心点坐标及矩形框的长度和宽度进行归一化后保存在json文件中，同时将病害所属类别一并保存；
所述病害所属类别包括裂缝、凹陷、孔洞以及骨料外露。
作为本发明的一种优选方案，所述步骤4中，稀疏正则化的计算公式如下：
其中，D表示字典矩阵，μi表示稀疏向量，m表示多类别病害数据集中所有样本的总数目，xi表示多类别病害数据集中的第i个样本，λ表示稀疏化比率，||||1、||||2分别表示1范数、2范数。
作为本发明的一种优选方案，所述步骤5中，知识蒸馏方法中的蒸馏损失函数如下：
Lcls＝μLhard(Ps,y)+(1-μ)Lsoft(Ps,Pt)
其中，Lcls表示蒸馏损失函数，μ表示硬损失和软损失之间的平衡参数，Lhard(Ps,y)表示根据教师网络输出和标签值判断出的硬样本损失函数，Lsoft(Ps,Pt)表示教师网络预测出的软样本损失函数，y表示识别对象的真实标签，Ps、Pt分别表示学生网络、教师网络的预测值。
一种计算机设备，包括存储器、处理器，以及存储在所述存储器中并能够在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的大坝深水结构隐患病害实时检测方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的大坝深水结构隐患病害实时检测方法的步骤。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
1、本发明采用YOLOv5s单阶段神经网络作为基本模型，构建大坝多类别缺陷检测模型，利用模型稀疏化和剪枝策略，改变模型批处理层权重分布并去除模型冗余参数；进一步地，综合运用模型迁移和知识蒸馏理论，恢复由于剪枝压缩参数带来的精度劣化问题，据此构建出强背景干扰下大坝深水多类别缺陷实时目标框架，实现对海量大坝深水检测图像和视频数据的批量快速检测，大幅降低了人工检测的成本和潜在风险。
2、本发明方法实现大坝深水缺陷的实时检测，快速探明大坝深水结构损伤区域；同时降低了人工检测频率，避免了放空库水检测代价，极大节约了成本。
3、本发明仅需一次深度学习模型构建，即可实现海量大坝深水检测视频图像数据的批量处理，具有监测频率高、计算处理效率高、精度高误判率低、实用性强等显著优势，可进一步推广应用于各类涉水水工建筑物的水下结构缺陷检测中，大幅降低人工巡检成本和潜在风险，具有广阔实际应用价值。
附图说明
图1是本发明一种大坝深水结构隐患病害实时检测方法的流程图；
图2是YOLOv5s单阶段目标检测网络架构示意图；
图3是模型剪枝和冗余参数去除过程图；
图4是模型参数量及性能随剪枝比例变化图；
图5是模型知识蒸馏和参数微调过程；
图6是利用本发明方法与现有技术对大坝深水结构病害检测效果对比图。
具体实施方式
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
如图1所示，本发明提出一种大坝深水结构隐患病害实时检测方法，具体步骤如下：
步骤1，选取大坝水下结构部位，采用水下机器人搭载可见光相机方式开展深水病害检测。由于水下成像环境恶劣，水下检测平台常采用全程录像模式进行检测，原始采样数据格式通常为视频。搭载相机的采样帧率通常为25帧一秒，采用每五帧截取保存一帧方式，将视频流转换为图像数据，构建大坝深水多类别结构缺陷数据集，涵盖裂缝、孔洞、凹陷以及骨料外露四类典型缺陷。
步骤2，借助图形界面可视化标注软件Labelme对病害图像进行病害类型与病害区域信息标注，以区分损伤面元和背景面元。矩形框标注用于确定缺陷在图像中的位置以及相应类型，标注信息包括即检测框的左上角点和右下角点坐标，进而可据此推求矩形检测框中心点坐标及检测框长度和宽度。进而可据此将以上数据信息进行归一化后，缺陷所属类别信息保存至JSON文件中。病害类型编号从0开展，将裂缝、凹陷、孔洞以及骨料外露等多类别大坝水下病害类型按对应数字进行编号。根据一定比例将采集图像数据划分为训练集、验证集和测试集。
为便于后续目标检测模型构建，需对标注JSON文件实施信息释放，将其转换可读取训练格式，即原始图像文件jpg、检测框信息文件xml以及病害类别标签信息txt。
步骤3，以单阶段目标检测模型YOLOv5s为识别器，构建大坝深水多类别缺陷目标检测模型，YOLOv5s的网络架构如图2所示。在训练集上训练模型并在验证集上验证模型有效性，最终在测试集上评估模型的泛化能力，以构建大坝深水多类别缺陷目标检测模型。
步骤4，模型剪枝和冗余参数去除，如图3所示。通道稀疏正则化是网络瘦身开展的重要前期工作。其基本目的是为每一个通道分配一个比例因子来表征通道重要性，并利用通道稀疏化训练来区分重要通道和不重要通道。综合运用模型稀疏化、剪枝和参数压缩手段，改变模型归一化层的权重分布使之大部分趋近于0，并据此利用剪枝手段去除了模型冗余参数和层数，提升了模型推理效率。经过测试不同剪枝比例对模型缺陷检测性能影响，最终确定出剪枝率0.5是综合兼顾模型参数量规模以及推理效率的重要平衡点，并据此开展模型冗余参数去除，如图4所示。
批处理层是通道稀疏化的主要对象，其通常位于卷积层之后，用于保障模型快速收敛和泛化能力。关于批处理层的数学表达如下式所示：
式中，zin和zout分别代表批处理层的模型输入和输出，∈代表批处理层的噪声项，μB和σB分别代表小批量统计中输入特征的均值和标准差；γ和β分别代表可训练比例因子和偏置参数。当权重系数γ值变小时，相应激活函数值也会随着减少。在卷积-批处理模块层中，批处理层主要用于实现通道放缩。通过定义卷积层中每个通道的缩放因子，可以对这些缩放因子执行稀疏正则化，以自动确定那些不重要的通道，基本计算过程如下式所示：
式中，xi代表目标数据集中的第i-th样本；D代表字典矩阵；μi代表稀疏向量表示；λ代表稀疏化比率，其直接决定了模型正则化稀疏性能，是影响稀疏化结果重要参数。
步骤5，知识蒸馏和模型参数微调，如图5所示。模型稀疏化和参数剪枝的联合应用，虽可有效去除模型冗余参数和架构，但是不可避免会造成模型网络检测精度下降。为克服此问题，在模型剪枝和冗余参数去除的基础上，将模型微调和知识蒸馏相结合，消除由模型剪枝和压缩带来的负面影响。
知识蒸馏的根本目的是利用高性能模型(教师网络)提出的监督信息，增强轻量化网络模型(学生网络)，使其具备更佳的检测性能。教师网络输出监督信息即被视为知识，而学生网络学习传递监督信息的过程即称为蒸馏。具体计算如下式：
Lcls＝μLhard(Ps,y)+(1-μ)Lsoft(Ps,Pt)
式中，Lhard代表根据目标检测模型输出和标签值判断出的硬样本损失函数；Lsoft代表教师网络预测出的软样本损失函数；μ代表硬损失和软损失之间的平衡参数。教师网络可以更好学习数据集数据分布规律，并在测试集中获取更好性能。在软损失函数中包含教师网络学习到的关于多个类别关系信息，学习到的信息可通过软标签***到学生网络中。
步骤6，在待测结构上布置引导线，按照规划路径开展水下检测作业，获取大坝深水结构部位实时病害图像，利用步骤5得到的最终的目标检测模型对实时病害图像进行检测，得到病害所属类别及位置结果。
如图6所示，在光照不均、障碍物遮挡以及低可见度等不同复杂大坝深水检测场景下，以多种先进深度学习目标检测算法作为基准方法，对比验证本发明方法在复杂深水强背景干扰下的具有较强的病害检测泛化能力和鲁棒性。
基于同一发明构思，本申请实施例提供一种计算机设备，包括存储器、处理器，以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现前述的大坝深水结构隐患病害实时检测方法的步骤。
基于同一发明构思，本申请实施例提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现前述的大坝深水结构隐患病害实时检测方法的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。
Claims (7)
1.一种大坝深水结构隐患病害实时检测方法，其特征在于，包括如下步骤：
步骤1，获取大坝深水结构部位的病害图像视频，从病害图像视频中提取病害图像构建大坝深水结构多类别病害数据集；
步骤2，对每张病害图像进行病害类别和病害区域的信息标注，将标注后的数据集划分为训练集、验证集和测试集；
步骤3，以单阶段目标检测模型Yolov5s为识别器，构建大坝深水多类别病害目标检测模型，利用训练集和验证集对大坝深水多类别病害目标检测模型进行预训练，并利用测试集进行评价，得到预训练后的大坝深水多类别病害目标检测模型；
步骤4，对步骤3构建的大坝深水多类别病害目标检测模型中的批处理层进行稀疏正则化，并根据0.5的剪枝率对稀疏正则化后的模型进行剪枝，得到剪枝后的目标检测模型；
步骤5，将步骤3构建的大坝深水多类别病害目标检测模型作为教师网络，步骤4得到的剪枝后的目标检测模型作为学生网络，利用知识蒸馏方法对剪枝后的目标检测模型进行参数优化，得到最终的目标检测模型；
步骤6，获取大坝深水结构部位实时病害图像，利用步骤5得到的最终的目标检测模型对实时病害图像进行检测，得到病害所属类别及位置结果。
2.根据权利要求1所述的大坝深水结构隐患病害实时检测方法，其特征在于，所述步骤1中，采用水下机器人搭载可见光相机获取大坝深水结构部位的病害图像视频，可见光相机的采样频率为25帧每秒，每隔五帧提取一帧放入数据集中，从而得到大坝深水结构多类别病害数据集。
3.根据权利要求1所述的大坝深水结构隐患病害实时检测方法，其特征在于，所述步骤2中，对数据集中的每张图像采用图形界面可视化标注软件Labelme进行标注，利用矩形框确定病害区域在图像中的位置，标注信息包括矩形框的左上角点和右下角点坐标，根据左上角点和右下角点坐标得到矩形框中心点坐标及矩形框的长度和宽度，对矩形框中心点坐标及矩形框的长度和宽度进行归一化后保存在json文件中，同时将病害所属类别一并保存；
所述病害所属类别包括裂缝、凹陷、孔洞以及骨料外露。
4.根据权利要求1所述的大坝深水结构隐患病害实时检测方法，其特征在于，所述步骤4中，稀疏正则化的计算公式如下：
其中，D表示字典矩阵，μi表示稀疏向量，m表示多类别病害数据集中所有样本的总数目，xi表示多类别病害数据集中的第i个样本，λ表示稀疏化比率，||||1、||||2分别表示1范数、2范数。
5.根据权利要求1所述的大坝深水结构隐患病害实时检测方法，其特征在于，所述步骤5中，知识蒸馏方法中的蒸馏损失函数如下：
Lcls＝μLhard(Ps,y)+(1-μ)Lsoft(Ps,Pt)
其中，Lcls表示蒸馏损失函数，μ表示硬损失和软损失之间的平衡参数，Lhard(Ps,y)表示根据教师网络输出和标签值判断出的硬样本损失函数，Lsoft(Ps,Pt)表示教师网络预测出的软样本损失函数，y表示识别对象的真实标签，Ps、Pt分别表示学生网络、教师网络的预测值。
6.一种计算机设备，包括存储器、处理器，以及存储在所述存储器中并能够在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述的大坝深水结构隐患病害实时检测方法的步骤。
7.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的大坝深水结构隐患病害实时检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311384543.3A CN117372854A (zh) | 2023-10-24 | 2023-10-24 | 一种大坝深水结构隐患病害实时检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311384543.3A CN117372854A (zh) | 2023-10-24 | 2023-10-24 | 一种大坝深水结构隐患病害实时检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117372854A true CN117372854A (zh) | 2024-01-09 |
Family
ID=89394279
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311384543.3A Pending CN117372854A (zh) | 2023-10-24 | 2023-10-24 | 一种大坝深水结构隐患病害实时检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117372854A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117690093A (zh) * | 2024-01-31 | 2024-03-12 | 华能澜沧江水电股份有限公司 | 大坝安全监测运行维护方法、装置、电子设备及存储介质 |
-
2023
- 2023-10-24 CN CN202311384543.3A patent/CN117372854A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117690093A (zh) * | 2024-01-31 | 2024-03-12 | 华能澜沧江水电股份有限公司 | 大坝安全监测运行维护方法、装置、电子设备及存储介质 |
| CN117690093B (zh) * | 2024-01-31 | 2024-04-26 | 华能澜沧江水电股份有限公司 | 大坝安全监测运行维护方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11521379B1 (en) | Method for flood disaster monitoring and disaster analysis based on vision transformer | |
| CN109145830B (zh) | 一种智能水尺识别方法 | |
| CN113705478B (zh) | 一种基于改进YOLOv5的红树林单木目标检测方法 | |
| CN109740676B (zh) | 基于相似目标的物体检测迁移方法 | |
| CN111461190A (zh) | 一种基于深度卷积神经网络的非均衡船舶分类方法 | |
| CN109376576A (zh) | 基于交替更新密集连通从零训练网络的目标检测方法 | |
| CN113408423A (zh) | 适用于tx2嵌入式平台的水产品目标实时检测方法 | |
| CN113313166B (zh) | 基于特征一致性学习的船舶目标自动标注方法 | |
| CN117372854A (zh) | 一种大坝深水结构隐患病害实时检测方法 | |
| CN110599459A (zh) | 基于深度学习的地下管网风险评估云*** | |
| CN113487600B (zh) | 一种特征增强尺度自适应感知船舶检测方法 | |
| CN115546565A (zh) | 基于yolocbf电厂关键区域管道油液泄漏检测方法 | |
| CN114511710A (zh) | 一种基于卷积神经网络的图像目标检测方法 | |
| CN116630285A (zh) | 基于显著性特征分级蒸馏的光伏电池类增量缺陷检测方法 | |
| CN115690568A (zh) | 一种基于增量学习的无人艇目标检测方法 | |
| CN112149612A (zh) | 一种基于深度神经网络的海洋生物识别***及识别方法 | |
| CN116486240A (zh) | 图像识别算法在输电线路无人机智能巡检方法上的应用 | |
| CN111814696A (zh) | 一种基于改进YOLOv3的视频船舶目标检测方法 | |
| CN116385911A (zh) | 一种用于无人机巡检绝缘子的轻量型目标检测方法 | |
| CN117789037A (zh) | 作物生长期预测方法及装置 | |
| CN116664846B (zh) | 基于语义分割实现3d打印桥面施工质量监测方法及*** | |
| CN113052103A (zh) | 一种基于神经网络的电气设备缺陷检测方法及装置 | |
| CN116682045A (zh) | 一种基于智能视频分析的游梁式抽油机故障检测方法 | |
| CN115239034B (zh) | 一种风力发电机叶片早期缺陷预测方法及*** | |
| CN116524341A (zh) | 一种基于量化蒸馏的水下目标识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |