CN117274789B - 一种水工混凝土结构水下裂缝语义分割方法 - Google Patents
一种水工混凝土结构水下裂缝语义分割方法 Download PDFInfo
- Publication number
- CN117274789B CN117274789B CN202311549825.4A CN202311549825A CN117274789B CN 117274789 B CN117274789 B CN 117274789B CN 202311549825 A CN202311549825 A CN 202311549825A CN 117274789 B CN117274789 B CN 117274789B
- Authority
- CN
- China
- Prior art keywords
- underwater
- concrete structure
- underwater crack
- crack
- hydraulic concrete
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 52
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 16
- 238000012549 training Methods 0.000 claims abstract description 16
- 238000003384 imaging method Methods 0.000 claims abstract description 7
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 6
- 238000012360 testing method Methods 0.000 claims description 12
- 238000012795 verification Methods 0.000 claims description 11
- 101100295091 Arabidopsis thaliana NUDT14 gene Proteins 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 6
- 239000002131 composite material Substances 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000003321 amplification Effects 0.000 claims description 2
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 6
- 238000013139 quantization Methods 0.000 abstract 1
- 230000006870 function Effects 0.000 description 14
- 230000000694 effects Effects 0.000 description 5
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 238000009991 scouring Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/05—Underwater scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/16—Image acquisition using multiple overlapping images; Image stitching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
- Y02A10/40—Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种水工混凝土结构水下裂缝语义分割方法，包括通过从水下机器人在水库工程现场拍摄的视频中逐帧提取水下裂缝图像，对水下裂缝图像进行处理，构建水下裂缝数据集；构建卷积神经网络模型并进行迭代训练，通过计算损失函数来调整模型参数，得到水工混凝土结构水下裂缝语义分割模型；通过对分割后的图像进行二值化处理，对经二值化处理后的预测结果进行像素级量化处理；结合相机成像原理和相机的参数，将水工混凝土结构水下裂缝的像素级量化结果转化为实际物理量化结果，得到水工混凝土结构水下裂缝分割结果。本发明实现了对水工混凝土结构水下裂缝的量化识别，并提升了水工混凝土结构水下裂缝检测的准确度。
Description
技术领域
本发明属于水工混凝土结构水下裂缝识别技术领域，具体涉及一种水工混凝土结构水下裂缝语义分割方法。
背景技术
水工混凝土结构是水利水电工程的重要组成部分，常用于建造大坝、溢洪道、输水隧洞和船闸闸门等水工建筑物，在防洪、发电、航运和水资源调配等方面发挥了显著作用，如何对其进行科学、有效的安全诊断是目前研究的热点。但是水工混凝土结构工作条件复杂，在运行过程中长期承受水流冲刷以及内部应力状态、化学反应的影响，加之施工质量差或基础处理完善，导致裂缝的产生在所难免，严重影响水工混凝土结构的安全运行。相比于水上裂缝，水下裂缝受水下复杂环境的影响更难以发现，导致水下相机拍摄的图像会更少，且存在对比度低、成像模糊、噪声干扰严重等问题。
现有检测水工混凝土结构水下裂缝的方法主要为人工巡检，该操作对水下裂缝的采集和记录难度非常大，且操作性不强。而基于深度学习的方法可有效减少人工操作环节，提高水下裂缝检测的自动化过程。
目前深度学***衡问题的妥善解决。
发明内容
针对现有技术的不足，本发明目的在于提供一种水工混凝土结构水下裂缝语义分割方法。本发明实现了对水工混凝土结构水下裂缝的量化识别，并提升了水工混凝土结构水下裂缝检测的准确度。
为解决上述技术问题，本发明通过下述技术方案实现：
一种水工混凝土结构水下裂缝语义分割方法，包括如下步骤：
S1：通过水下机器人在水库工程现场采集数据，并对其拍摄的视频进行预处理，逐帧提取其中清晰且能人眼分辨的水下裂缝图像；
S2：利用图像扩充技术对将预处理后的图像进行水下裂缝数据量的扩充，得到水下裂缝数据集；
S3：通过像素级标注软件对水下裂缝数据集进行像素级标注，并按比例将水下裂缝数据集划分为训练集、验证集和测试集；
S4：构建卷积神经网络模型，在训练集和验证集上进行迭代训练，并通过计算分割结果与真实标签之间的损失函数来调整分割模型的参数，最终得到模型准确度达到预设值的水工混凝土结构水下裂缝语义分割模型；
S5：在测试集中选取四种典型工况对水工混凝土结构水下裂缝语义分割模型进行测试，检验模型的泛化能力；
S6：通过对分割后的图像进行二值化处理，利用单像素点实际尺寸重构模型和水工混凝土结构水下裂缝特征分析方法对经二值化处理后的预测结果进行计算，得到像素级量化结果；
S7：结合相机成像原理和相机的参数，将水下裂缝的像素级量化结果转化为实际物理量化结果，得到水工混凝土结构水下裂缝分割结果。
优选地，步骤S2中，图像扩充技术包括局部放大、旋转90°、拉伸30°和左右镜像四种方式。
优选地，步骤S3中的训练集、验证集和测试集的比例为8:1:1。
优选地，步骤S4的具体过程为：
S4-1:对DeepLabv3+分割模型进行改进，将原主干网络Xception更改为MobileNetV2，同时深层特征下采样倍数降为8，构建基于MobileNetV2-DeepLabv3+的语义分割模型；
S4-2:根据下述公式计算得到分割模型在训练集和验证集上的损失函数L：
式(1)中，LCE表示交叉熵损失函数，LDice表示Dice损失函数，yi表示标签值，yi′表示预测值，表示预测值的概率；|X|为样本X中元素个数，|Y|为样本Y中元素个数，|X∩Y|为X和Y之间交集的个数；
依据得到的损失函数分割模型的参数，直至模型准确度达到预设值，得到水工混凝土结构水下裂缝语义分割模型。
优选地，步骤S4-1中，基于MobileNetV2-DeepLabv3+的语义分割模型对水下裂缝图像的特征提取过程如下：
(1)用主干网络MobileNetV2从输入图像中提取深层特征和浅层特征，同时对深层特征进行8倍下采样后传入ASPP模块，而对浅层特征进行4倍下采样后传入解码结构；
(2)ASPP模块对传入的深层特征进行5种方式的并行处理，分别为一个对输入图像进行降维的1×1卷积、三个膨胀率分别为6、12、18的空洞卷积、以及一个全局平均池化操作；5种处理方式得到对应的5个特征层，将其堆叠并利用1×1卷积进行通道数的调整后得到结合上下文信息的深层特征层；
(3)对经编码部分处理后的深层特征层完成上采样操作后，与经过1×1卷积调整通道数的浅层特征层融合拼接，得到包含输入图片浅层特征和深层特征的复合特征图；
(4)通过3×3卷积运算和4倍上采样操作，将复合特征图尺寸恢复到与原始图像一致的大小，并对每一个像素点进行分类，输出预测结果。
优选地，步骤S6中，所述单像素点实际尺寸重构模型为像素尺寸与实际物理尺寸的转换比例，当水下机器人与水工混凝土结构水下裂缝平行时，其具体的计算公式为：
式(2)中，q为单像素点实际尺寸，Zc为水下裂缝与相机的距离，dx和dy分别为沿X和Y方向上的像元尺寸，f为相机焦距。
优选地，步骤S6中，所述水工混凝土结构特征分析方法包括用于判断水工混凝土结构水下裂缝走向的外接矩形法和计算水工混凝土结构水下裂缝长度和宽度的中心线法，具体操作如下：
对水下裂缝图像提取骨架，获得边缘轮廓线和中心线，细化为单像素点，统计水下裂缝中心线上的像素点个数n1，此时水下裂缝长度为L＝n1*q，q为单像素点实际尺寸；过中心线上任意一点作中心线的切线与垂线，统计垂线与两边缘轮廓线交点之间的像素点个数n2，此时水下裂缝宽度为W＝n2*q。
本发明与现有技术相比，具有以下优点及有益效果：
1、构建基于MobileNetV2-DeepLabv3+的语义分割模型，有效解决了现有卷积神经网络在水工混凝土结构水下裂缝识别过程中，因样本数量少导致检测精度过低，不满足实际识别要求的问题，大大提高了识别的泛化能力以及识别准确率。
2、采用基于交叉熵损失函数和Dice损失函数的组合计算方式，有效缓解水下裂缝图像存在的类别不平衡问题，经调整后的分割模型对水下裂缝的分割结果更精确。
3、通过相机成像原理快速计算出水工混凝土结构水下裂缝的物理尺寸，更直观地反映出水工混凝土结构的受损情况。
附图说明
图1为本发明的工作流程图；
图2为本发明的水工混凝土结构水下裂缝分割模型结构图；
图3为本发明的水工混凝土结构水下裂缝分割模型识别效果对比图。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，显然，本发明不限于具体实施方式的范围。对本技术领域的普通技术人员来说，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是非创造性劳动的，一切利用本法发明构思的发明创造均在保护之列。
本发明提供一种水工混凝土结构水下裂缝语义分割方法，请参阅图1，包括以下步骤：
S1：通过水下机器人在水库工程现场采集数据，并对其拍摄的视频进行预处理，逐帧提取其中清晰且能人眼分辨的水下裂缝图像；
S2：利用图像扩充技术对预处理后的图像进行水下裂缝数据量的扩充，得到水下裂缝数据集；
S3：通过像素级标注软件对水下裂缝数据集进行像素级标注，并按比例将水下裂缝数据集划分为训练集、验证集和测试集；
S4：构建卷积神经网络模型，在训练集和验证集上进行迭代训练，并通过计算分割结果与真实标签之间的损失函数来调整分割模型的参数，最终得到模型准确度达到预设值的水工混凝土结构水下裂缝语义分割模型；
S5：在测试集中选取四种典型工况对水工混凝土结构水下裂缝语义分割模型进行测试，检验模型的泛化能力；
S6：通过对分割后的图像进行二值化处理，利用单像素点实际尺寸重构模型和水工混凝土结构水下裂缝特征分析方法对经二值化处理后的预测结果进行计算，得到像素级量化结果；
S7：结合相机成像原理和相机的参数，将水下裂缝的像素级量化结果转化为实际物理量化结果，得到水工混凝土结构水下裂缝分割结果。
其中，步骤S2中图像扩充技术包括局部放大、旋转90°、拉伸30°和左右镜像四种方式。
其中，步骤S3中的训练集、验证集和测试集的比例为8:1:1。
其中，步骤S4的具体过程为：
S4-1:对DeepLabv3+分割模型进行改进，将原主干网络Xception更改为MobileNetV2，同时深层特征下采样倍数降为8，构建基于MobileNetV2-DeepLabv3+的语义分割模型，具体的模型结构如图2所示；该分割模型对水下裂缝图像的特征提取过程如下：
首先，用主干网络MobileNetV2从输入图像中提取深层特征和浅层特征，同时对深层特征进行8倍下采样后传入ASPP模块，而对浅层特征进行4倍下采样后传入解码结构；
接着，ASPP模块对传入的深层特征进行5种方式的并行处理，分别为一个对输入图像进行降维的1×1卷积、三个膨胀率分别为6、12、18的空洞卷积、以及一个全局平均池化操作。5种处理方式得到对应的5个特征层，将其堆叠并利用1×1卷积进行通道数的调整后得到结合上下文信息的深层特征层；
然后，对经编码部分处理后的深层特征层完成上采样操作后，与经过1×1卷积调整通道数的浅层特征层融合拼接，得到包含输入图片浅层特征和深层特征的复合特征图；
最后，通过3×3卷积运算和4倍上采样操作，将复合特征图尺寸恢复到与原始图像一致的大小，并对每一个像素点进行分类，输出预测结果。
S4-2:根据公式：
得到分割模型在训练集和验证集上的损失函数L；其中LCE表示交叉熵损失函数，LDice表示Dice损失函数；yi表示标签值，y′i表示预测值，表示预测值的概率；|X|为样本X中元素个数，|Y|为样本Y中元素个数，|X∩Y|为X和Y之间交集的个数。
依据得到的损失函数分割模型的参数，直至模型准确度达到预设值，得到水工混凝土结构水下裂缝语义分割模型。
表1分割模型精度对比表
| 编号 | 主干网络 | 下采样倍数 | MPA/(％) | MIoU/(％) |
| 1 | Xception | 16 | 89.82 | 85.09 |
| 2 | MobileNetV2 | 16 | 90.51 | 85.42 |
| 3 | Xception | 8 | 90.38 | 85.23 |
| 4 | MobileNetV2 | 8 | 91.77 | 86.33 |
注：MPA为平均像素准确率，它是对每个类别计算准确率后取平均值，该值越大，模型在不同类别上的表现更均衡，更有说服力；MIoU为平均交并比，它是每个类别预测结果与真实标签之间的重叠部分占总部分的比例，求和后的均值，该值越大，说明模型对每个类别的分割效果越好。
本发明的水工混凝土结构水下裂缝分割模型精度对比表见表1。经对比发现，本发明的水工混凝土结构水下裂缝分割模型相比于DeepLabv3+模型的MPA(为89.82％)和MIoU(为85.09％)分别提高了1.95％和1.24％。
本发明在四种典型工况下对水工混凝土结构水下裂缝的识别效果对比图如图3所示，其中A为水工混凝土结构水下裂缝的原图，B为DeepLabv3+模型的识别效果图，C为本发明的水工混凝土结构水下裂缝分割模型识别效果图。
步骤S6中，所述单像素点实际尺寸重构模型为像素尺寸与实际物理尺寸的转换比例，当水下机器人与水工混凝土结构水下裂缝平行时，其具体的计算公式为：
式(2)中，q为单像素点实际尺寸；Zc为水下裂缝与相机的距离；dx和dy分别为沿X和Y方向上的像元尺寸；f为相机焦距。
步骤S6中，水工混凝土结构水下裂缝特征分析方法包括用于判断水工混凝土结构水下裂缝走向的外接矩形法和计算水工混凝土结构水下裂缝长度和宽度的中心线法。具体操作如下：
对水下裂缝图像提取骨架，获得边缘轮廓线和中心线，细化为单像素点，统计水下裂缝中心线上的像素点个数n1，此时水下裂缝长度为L＝n1*q，q为单像素点实际尺寸；过中心线上任意一点作中心线的切线与垂线，统计垂线与两边缘轮廓线交点之间的像素点个数n2，此时水下裂缝宽度为W＝n2*q。
本发明通过构建基于MobileNetV2-DeepLabv3+的语义分割模型，有效解决了现有卷积神经网络在水工混凝土结构水下裂缝识别过程中，因样本数量少导致检测精度过低，不满足实际识别要求的问题，其相比于DeepLabv3+模型的MPA(为89.82％)和MIoU(为85.09％)分别增加了1.95％和1.24％，大大提高了识别的泛化能力以及识别准确率。采用基于交叉熵损失函数和Dice损失函数的组合计算方式，有效缓解水下裂缝图像存在的类别不平衡问题，经调整后的分割模型对水下裂缝的分割结果更精确。通过相机成像原理快速计算出水工混凝土结构水下裂缝的物理尺寸，更直观地反映出水工混凝土结构的受损情况。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
本发明说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。
Claims (3)
1.一种水工混凝土结构水下裂缝语义分割方法，其特征在于，包括如下步骤：
S1：通过水下机器人在水库工程现场采集数据，并对其拍摄的视频进行预处理，逐帧提取其中清晰且能人眼分辨的水下裂缝图像；
S2：利用图像扩充技术对将预处理后的图像进行水下裂缝数据量的扩充，得到水下裂缝数据集；
S3：通过像素级标注软件对水下裂缝数据集进行像素级标注，并按比例将水下裂缝数据集划分为训练集、验证集和测试集；
S4：构建卷积神经网络模型，在训练集和验证集上进行迭代训练，并通过计算分割结果与真实标签之间的损失函数来调整分割模型的参数，最终得到模型准确度达到预设值的水工混凝土结构水下裂缝语义分割模型；
步骤S4的具体过程为：
S4-1:对DeepLabv3+分割模型进行改进，将原主干网络Xception更改为MobileNetV2，同时深层特征下采样倍数降为8，构建基于MobileNetV2-DeepLabv3+的语义分割模型；
S4-2:根据下述公式计算得到分割模型在训练集和验证集上的损失函数L：
式(1)中，LCE表示交叉熵损失函数，LDice表示Dice损失函数，yi表示标签值，yi′表示预测值，表示预测值的概率；|X|为样本X中元素个数，|Y|为样本Y中元素个数，|X∩Y|为X和Y之间交集的个数；
依据得到的损失函数分割模型的参数，直至模型准确度达到预设值，得到水工混凝土结构水下裂缝语义分割模型；
步骤S4-1中，基于MobileNetV2-DeepLabv3+的语义分割模型对水下裂缝图像的特征提取过程如下：
(1)用主干网络MobileNetV2从输入图像中提取深层特征和浅层特征，同时对深层特征进行8倍下采样后传入ASPP模块，而对浅层特征进行4倍下采样后传入解码结构；
(2)ASPP模块对传入的深层特征进行5种方式的并行处理，分别为一个对输入图像进行降维的1×1卷积、三个膨胀率分别为6、12、18的空洞卷积、以及一个全局平均池化操作；5种处理方式得到对应的5个特征层，将其堆叠并利用1×1卷积进行通道数的调整后得到结合上下文信息的深层特征层；
(3)对经编码部分处理后的深层特征层完成上采样操作后，与经过1×1卷积调整通道数的浅层特征层融合拼接，得到包含输入图片浅层特征和深层特征的复合特征图；
(4)通过3×3卷积运算和4倍上采样操作，将复合特征图尺寸恢复到与原始图像一致的大小，并对每一个像素点进行分类，输出预测结果；
S5：在测试集中选取四种典型工况对水工混凝土结构水下裂缝语义分割模型进行测试，检验模型的泛化能力；
S6：通过对分割后的图像进行二值化处理，利用单像素点实际尺寸重构模型和水工混凝土结构水下裂缝特征分析方法对经二值化处理后的预测结果进行计算，得到像素级量化结果；
步骤S6中，所述单像素点实际尺寸重构模型为像素尺寸与实际物理尺寸的转换比例，当水下机器人与水工混凝土结构水下裂缝平行时，其具体的计算公式为：
式(2)中，q为单像素点实际尺寸，Zc为水下裂缝与相机的距离，dx和dy分别为沿X和Y方向上的像元尺寸，f为相机焦距；
步骤S6中，所述水工混凝土结构特征分析方法包括用于判断水工混凝土结构水下裂缝走向的外接矩形法和计算水工混凝土结构水下裂缝长度和宽度的中心线法，具体操作如下：
对水下裂缝图像提取骨架，获得边缘轮廓线和中心线，细化为单像素点，统计水下裂缝中心线上的像素点个数n1，此时水下裂缝长度为L＝n1*q，q为单像素点实际尺寸；过中心线上任意一点作中心线的切线与垂线，统计垂线与两边缘轮廓线交点之间的像素点个数n2，此时水下裂缝宽度为W＝n2*q；
S7：结合相机成像原理和相机的参数，将水下裂缝的像素级量化结果转化为实际物理量化结果，得到水工混凝土结构水下裂缝分割结果。
2.根据权利要求1所述的水工混凝土结构水下裂缝语义分割方法，其特征在于，步骤S2中，图像扩充技术包括局部放大、旋转90°、拉伸30°和左右镜像四种方式。
3.根据权利要求1所述的水工混凝土结构水下裂缝语义分割方法，其特征在于，步骤S3中的训练集、验证集和测试集的比例为8:1:1。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311549825.4A CN117274789B (zh) | 2023-11-21 | 2023-11-21 | 一种水工混凝土结构水下裂缝语义分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311549825.4A CN117274789B (zh) | 2023-11-21 | 2023-11-21 | 一种水工混凝土结构水下裂缝语义分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117274789A CN117274789A (zh) | 2023-12-22 |
| CN117274789B true CN117274789B (zh) | 2024-04-09 |
Family
ID=89210889
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311549825.4A Active CN117274789B (zh) | 2023-11-21 | 2023-11-21 | 一种水工混凝土结构水下裂缝语义分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117274789B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010230421A (ja) * | 2009-03-26 | 2010-10-14 | Nakanihon Highway Engineering Nagoya Kk | コンクリート画像の領域分割方法 |
| CN102680480A (zh) * | 2012-05-03 | 2012-09-19 | 中南大学 | 一种混凝土结构裂缝智能化检测方法 |
| CN111612846A (zh) * | 2020-04-29 | 2020-09-01 | 南京震坤物联网科技有限公司 | 基于U-net CNN图像识别和像素标定的混凝土裂缝宽度测定方法 |
| CN112785579A (zh) * | 2021-01-26 | 2021-05-11 | 西京学院 | 基于图像处理技术的混凝土裂缝识别方法 |
| CN112964712A (zh) * | 2021-02-05 | 2021-06-15 | 中南大学 | 一种快速检测沥青路面状态的方法 |
| CN115880571A (zh) * | 2022-12-08 | 2023-03-31 | 齐丰科技股份有限公司 | 一种基于语义分割的水位尺读数识别方法 |
| CN115953578A (zh) * | 2022-12-07 | 2023-04-11 | 北京科技大学 | 一种裂缝语义分割模型推理结果的评估方法及装置 |
| CN116416244A (zh) * | 2023-04-26 | 2023-07-11 | 山东大学 | 一种基于深度学习的裂缝检测方法及*** |
| CN117058386A (zh) * | 2023-08-23 | 2023-11-14 | 重庆邮电大学 | 基于改进DeepLabv3+网络的沥青道路裂缝检测方法 |
-
2023
- 2023-11-21 CN CN202311549825.4A patent/CN117274789B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010230421A (ja) * | 2009-03-26 | 2010-10-14 | Nakanihon Highway Engineering Nagoya Kk | コンクリート画像の領域分割方法 |
| CN102680480A (zh) * | 2012-05-03 | 2012-09-19 | 中南大学 | 一种混凝土结构裂缝智能化检测方法 |
| CN111612846A (zh) * | 2020-04-29 | 2020-09-01 | 南京震坤物联网科技有限公司 | 基于U-net CNN图像识别和像素标定的混凝土裂缝宽度测定方法 |
| CN112785579A (zh) * | 2021-01-26 | 2021-05-11 | 西京学院 | 基于图像处理技术的混凝土裂缝识别方法 |
| CN112964712A (zh) * | 2021-02-05 | 2021-06-15 | 中南大学 | 一种快速检测沥青路面状态的方法 |
| CN115953578A (zh) * | 2022-12-07 | 2023-04-11 | 北京科技大学 | 一种裂缝语义分割模型推理结果的评估方法及装置 |
| CN115880571A (zh) * | 2022-12-08 | 2023-03-31 | 齐丰科技股份有限公司 | 一种基于语义分割的水位尺读数识别方法 |
| CN116416244A (zh) * | 2023-04-26 | 2023-07-11 | 山东大学 | 一种基于深度学习的裂缝检测方法及*** |
| CN117058386A (zh) * | 2023-08-23 | 2023-11-14 | 重庆邮电大学 | 基于改进DeepLabv3+网络的沥青道路裂缝检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| 基于深度协同训练的肝脏CT图像自动分割方法;姜威威;刘祥强;韩金仓;;电子设计工程(14);全文 * |
| 堤防缺陷水下检测技术综述和展望;田金章 等;《中国水运》;20221130;全文 * |
| 李双 等.《电子测量技术》.2018,全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117274789A (zh) | 2023-12-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| AU2020100200A4 (en) | Content-guide Residual Network for Image Super-Resolution | |
| CN111325751B (zh) | 基于注意力卷积神经网络的ct图像分割*** | |
| CN115049936B (zh) | 一种面向高分遥感影像的边界增强型语义分割方法 | |
| CN113888550B (zh) | 一种结合超分辨率和注意力机制的遥感图像道路分割方法 | |
| CN111951289B (zh) | 一种基于BA-Unet的水下声呐图像数据分割方法 | |
| CN111797920B (zh) | 门控特征融合的深度网络不透水面遥感提取方法及*** | |
| CN111640116B (zh) | 基于深层卷积残差网络的航拍图建筑物分割方法及装置 | |
| CN114419449A (zh) | 一种自注意力多尺度特征融合的遥感图像语义分割方法 | |
| CN114022408A (zh) | 基于多尺度卷积神经网络的遥感图像云检测方法 | |
| CN115984850A (zh) | 基于改进Deeplabv3+的轻量级遥感影像语义分割方法 | |
| CN113658200A (zh) | 基于自适应特征融合的边缘感知图像语义分割方法 | |
| CN114463340B (zh) | 一种边缘信息引导的敏捷型遥感图像语义分割方法 | |
| CN116206112A (zh) | 基于多尺度特征融合和sam的遥感图像语义分割方法 | |
| CN114821316A (zh) | 一种三维探地雷达裂缝病害识别方法及*** | |
| CN114581789A (zh) | 一种高光谱图像分类方法及*** | |
| CN114359102A (zh) | 一种基于注意力机制与边缘引导的图像深度修复取证方法 | |
| CN114092467A (zh) | 一种基于轻量化卷积神经网络的划痕检测方法及*** | |
| CN112529908B (zh) | 一种基于级联卷积网络的数字病理图像分割方法及其模型 | |
| CN117649448A (zh) | 一种隧道工作面渗漏水智能识别和分割方法 | |
| CN117274789B (zh) | 一种水工混凝土结构水下裂缝语义分割方法 | |
| CN113781410A (zh) | 一种基于MEDU-Net+网络的医学图像分割方法和*** | |
| CN113744185A (zh) | 一种基于深度学习和图像处理的混凝土表观裂缝分割方法 | |
| CN113436198A (zh) | 一种协同图像超分辨率重建的遥感图像语义分割方法 | |
| CN115063410B (zh) | 一种基于无锚点目标检测的钢管计数方法 | |
| CN115456957B (zh) | 一种全尺度特征聚合的遥感影像变化检测的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |