CN115457044B - 基于类激活映射的路面裂缝分割方法 - Google Patents

基于类激活映射的路面裂缝分割方法 Download PDF

Info

Publication number
CN115457044B
CN115457044B CN202210969247.9A CN202210969247A CN115457044B CN 115457044 B CN115457044 B CN 115457044B CN 202210969247 A CN202210969247 A CN 202210969247A CN 115457044 B CN115457044 B CN 115457044B
Authority
CN
China
Prior art keywords
patches
crack
segmentation
class activation
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210969247.9A
Other languages
English (en)
Other versions
CN115457044A (zh
Inventor
扎伊德·阿尔胡达
唐堂
杜富和
彭博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Huateng Road Test For Detection Of LLC
Southwest Jiaotong University
Original Assignee
Sichuan Huateng Road Test For Detection Of LLC
Southwest Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Huateng Road Test For Detection Of LLC, Southwest Jiaotong University filed Critical Sichuan Huateng Road Test For Detection Of LLC
Priority to CN202210969247.9A priority Critical patent/CN115457044B/zh
Publication of CN115457044A publication Critical patent/CN115457044A/zh
Application granted granted Critical
Publication of CN115457044B publication Critical patent/CN115457044B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于类激活映射的路面裂缝分割方法，其包括获取路面裂缝图像，并对其进行限制对比度自适应直方图均衡化处理；将处理后的路面裂缝图像裁剪成若干补丁，并输入已训练的Xception网络生成类激活映射；将所有补丁输入已训练的DeepLabV3+网络，DeepLabV3+网络包括编码器、解码器和连接二者的交叉层；采用编码器得到每张补丁的特征图，将特征图和类激活映射在交叉层进行卷积运算操作输出至解码器中，得到对应的分割结果；采用裂缝边界细化模块CBRM细化每张补丁的分割结果中的裂缝边界，得到补丁的分割掩膜；采用重叠融合方法对所有补丁对应的分割掩膜进行组合，并基于最大概率方法获得路面裂缝图像的最终分割结果。

Description

基于类激活映射的路面裂缝分割方法
技术领域
本发明涉及图像识别技术，具体涉及一种基于类激活映射的路面裂缝分割方法。
背景技术
裂缝会降低基础设施项目中建筑物、道路和桥梁的效率和功能，及时检测和修复裂缝能够避免基础设施进一步恶化，并有助于降低维护成本。维护人员可以使用基于视觉的方法来提取裂缝的基本数据，以有效评估工程建设的安全性和剩余价值。由于现代传感器技术和基础设施更容易收集道路图像。因此，许多研究人员研究了基于图像的自动路面裂缝检测方法。计算机辅助视觉检测方法的进步加速和改进了路面裂缝的检测，目标检测可用于估计图像上裂缝的位置，利用图像分类，可以在图像上提取裂缝语义信息。另一方面，语义分割可用于提取裂缝像素级别的详细语义信息。在裂缝图像中，由于路面裂缝没有固定的位置和形状，目标检测和分类任务无法在像素级上描述裂缝的形状和长度。因此，有必要研究基于语义分割的裂缝检测方法。
在现有技术中，往往采用阈值分隔、边缘检测和数学形态学等传统图像处理技术，利用多个Gabor滤波器实现对任意方向路面裂缝的检测，利用LBP算子，将路面模式分为五个子类，以确定裂缝分段特有的判别局部特征。在分析灰度差异的基础上，基于阈值的裂缝分隔***被开发。但是，由于拍摄时间或天气灯不同条件的影响，以及裂缝纹理的变化和路面上出现的不同类型的物体，上述方法都会受到这些噪声的影响，导致部***缝无法被正确检测。
发明内容
针对现有技术中的上述不足，本发明提供的基于类激活映射的路面裂缝分割方法解决了现有裂缝分割方法在存在噪声时，部***缝不能被检测到的问题。
为了达到上述发明目的，本发明采用的技术方案为：
提供一种基于类激活映射的路面裂缝分割方法，其包括步骤：
S1、获取路面裂缝图像，并对其进行限制对比度自适应直方图均衡化处理；
S2、将步骤S1处理后的路面裂缝图像裁剪成若干补丁，并输入已训练的Xception网络生成类激活映射；
S3、将所有补丁输入已训练的DeepLabV3+网络，DeepLabV3+网络包括一个编码器、一个解码器和连接二者的交叉层；
S4、采用编码器得到每张补丁的特征图，将特征图和类激活映射在交叉层进行卷积运算操作输出至解码器中，得到对应的分割结果；
S5、采用裂缝边界细化模块CBRM细化每张补丁的分割结果中的裂缝边界，得到补丁的分割掩膜；
S6、采用重叠融合方法对所有补丁对应的分割掩膜进行组合，并基于最大概率方法获得路面裂缝图像的最终分割结果。
进一步地，基于类激活映射的路面裂缝分割方法还包括采用类激活映射优化模块RCM对步骤S2中的类激活映射进行优化：
A1、采用类激活映射优化模块RCM计算类激活映射中当前像素k和像素q的特征相似性fsim(xk，xq)：
Figure BDA0003796063460000021
其中，xk和xq分别为像素点k像素点q的像素值；
Figure BDA0003796063460000031
和
Figure BDA0003796063460000032
分别为像素点k像素点q的像素值通过一个单独的卷积层进行运算；
Figure BDA0003796063460000033
为像素点k的运算结果进行转置操作；‖.‖为范数；
A2、根据特征相似性和Xception网络生成的类激活映射CAMoriginal，计算精细化的类激活映射CAMRefined：
Figure BDA0003796063460000034
其中，ReLU(.)为激活函数；
步骤S4中采用的类激活映射为精细化后的类激活映射。
进一步地，S5进一步包括：
S51、采用卷积定向边界操作生成每张补丁分割结果的候选级别层次图，每张补丁在其候选级别层次图中选取m个不重叠的区域作为可靠区域；
S52、每张补丁在可靠区域的空间和特征层建模形成构造图，可靠区域的空间和特征维度被表示为邻接图，构造图G＝(gi,j)m×m：
Figure BDA0003796063460000035
其中，gi，j为图矩阵；ri和rj分别为补丁g中的第i个和第j个可靠区域；M(ri,rj)为ri和rj之间的相似度；exp(·)为以e为底的幂次方计算；
Figure BDA0003796063460000036
为范数；
S53、根据特征相似度，构建每个可靠区域r的分割得分模型：
Figure BDA0003796063460000037
其中，αj为第j个区域的矩阵；
S54、构建优化目标函数，并对其进行规范化处理，规范化后模型为：
Figure BDA0003796063460000041
其中，f为f＝(f(r1),...,f(rm))T，ω为区域的权值；δ1和δ2均为权重，D为邻接图中包含度值的对角矩阵，M为M(ri,rj)导出的f的范数，L为补丁的拉普拉斯矩阵，L＝D-G；α为α＝(α1,α1,...,αm)T；H为对角矩阵，其前r个元素设置为1，其余元素设置为0；
S55、对规范化后模型进行求解，得到优化后的α*：
Figure BDA0003796063460000042
其中，α*为最终优化的方程；
S56、根据优化后的α*和分割得分模型，得到优化后的分割得分作为补丁的分割掩膜。
进一步地，步骤S6进一步包括：
S61、读取记录的路面裂缝图像裁剪时每个补丁的位置，预测出分割掩膜的位置分布；
S62、对于重叠位置的分割掩膜，将重叠区域的最大概率相加，计算出最终的输出概率；
S62、根据补丁的位置分布和输出概率，对补丁进行拼接，之后对拼接后的图像经过argmax处理，得到路面裂缝图像的最终分割结果。
进一步地，进行限制对比度自适应直方图均衡化处理的计算公式为：
x＝H(I)
其中，x为后的路面裂缝图像，I为初始的路面裂缝图像；H(·)为限制对比度自适应直方图均衡化操作。
进一步地，Xception网络的训练方法：
S21、获取预训练后的Xception网络，移除Xception网络的最后一层池化层，采用两个可分离扩张卷积取代Xception最后的两个独立卷积；
S22、采用裂缝图像分类数据集对步骤S21构建的Xception网络进行训练；
S23、训练过程中，随机初始化全连接层的权值，在完成全局平均池化GAP后，将特征发送到初始化权重的全连接层后，采用softmax函数激活；
S24、通过迭代最小化交叉熵损失，对Xception网络进行优化，得到已训练的Xception网络，交叉熵损失函数为：
Figure BDA0003796063460000051
其中，y为真实标签值；
Figure BDA0003796063460000052
为预测值；Loss为交叉熵损失。
进一步地，所述裂缝图像分类数据集为数据集CLC，包含40000张补丁，其中20000张裂缝表示正类，另外20000张非裂缝为负类；补丁大小为227*227，训练过程中调整为224*224。
进一步地，DeepLabV3+网络的训练方法包括：
S31、采用编码器、解码器及连接二者的交叉层构成DeepLabV3+网络，并对DeepLabV3+网络的最后一个卷积层替换为一个单通道的卷积层；
S32、获取裂缝训练集，并将裂缝中的每张裂缝图像分割成若干补丁，之后将所有补丁输入编码器，生成对应的特征图；
S33、将步骤S32生成的所有补丁输入已训练的Xception网络，得到类激活映射，并采用类激活映射优化模块RCM优化得到精细的类激活映射；
S34、将步骤S32的特征图和步骤S33精细化后的类激活映射输入交叉层进行卷积运算操作输出至解码器中，得到对应的分割掩膜；
S35、将分割出的裂缝掩膜与其对应的裂缝真实标签计算误差：
Lloss＝Lbce+Ldice+LSSIM
Figure BDA0003796063460000061
Figure BDA0003796063460000062
Figure BDA0003796063460000063
其中，其中，Llosss、Lbce、Ldice和LSSIM分别为总损失、二元交叉熵损失函数、Dice损失函数和SSIM损失函数；y(x,y)为裂缝图像的真实标签；
Figure BDA0003796063460000064
为预测的概率图；μ为均值；σ为方差，
Figure BDA0003796063460000065
为
Figure BDA0003796063460000066
和y(x,y)之间的协方差，(c1,c2)为计算稳定性的常数；h为图像的高；w为图像的宽度；
S36、迭代优化过程中使用小批量的梯度下降方法，当迭代次数达到预设迭代次数时，停止训练得到已训练的DeepLabV3+网络。
进一步地，所述裂缝训练集为DeepCrack、Crack500和CFD；其中DeepCrack为基准数据集，包含不同尺度和场景的裂缝，总共有300张训练图像和237张测试图像，分辨率为544×384，裁剪补丁时将训练集的每一张裂缝图像裁剪成15个补丁，训练时补丁数量为4500张，测试时补丁数量为3555张，每个补丁的大小为224*224；
Crack500数据集包含1896幅训练图像和1124幅测试图像，分辨率为360×640，裁剪补丁时将训练集的每一张裂缝图像裁剪成12个补丁，训练时补丁数量为22752张，测试时补丁数量为13488张，每个补丁的大小为224*224；
CFD数据集包含118张裂缝图像，人工标注的裂缝尺寸大小为480×320，先使用旋转增强和在水平轴与垂直轴分别翻转进行增强，增强到590张图像，按照7:3的比例划分训练集和测试集，训练集有413张图片，测试时有177张图片；裁剪补丁时将训练集的每一张裂缝图像裁剪成8个补丁，最终训练时补丁数量为3304张，测试时补丁数量为1416张，每个补丁的大小为224*224。
与现有技术相比，本发明的有益效果为：
一、本方案将Xception网络作为分类网络，DeepLabV3+网络作为分割网络，通过分类网络和分割网络结合起来对路面裂缝图像进行检测，使用分类网络生成类激活映射(高质量的裂缝定位图)，这些裂缝定位图与编码器的特征图相结合并输入到解码器中，使裂缝的分割结果更加精确。
二、本方案的类激活映射优化模块RCM对类激活映射进行优化，通过自注意力机制，捕获上下文信息，增强了像素级预测结果，采用融合每个像素的低级特征，进而改进类激活映射，在去除残余连接时保持了与原始类激活映射相同的激活程度，将ReLU激活与L1归一化相结合，消除了不相关的像素，提高了类激活映射的质量。
三、本方案在分割网络的编码器和解码器中间添加了交叉层CL，将优化后的类激活映射与编码器的图像特征结合起来，再将新的特征图传送给解码器，这保证了裂缝能够被精确分割。
四、本方案采用混合损失函数来优化分割网络，将三种损失函数进行结合，由于Dice损失函数主要关注训练过程中的准确率，将SSIM损失函数引入，通过预测裂缝结构的空间位置来准确测量不同宽度的裂缝，此外，由于路面裂缝分割是一个标准的二值分割问题，因此，引入二元交叉熵损失函数，将三种损失函数结合起来提高了路面裂缝的分割性能。
五、本方案设置了裂缝边界细化模块CBRM，由于分割网络生成的分割图裂缝边界比较模糊，裂缝边界细化模块CBRM基于图的优化方法，利用卷积定向边界生成分层分割级别的可靠区域，利用裂缝边界细化模块CBRM能够生成更精细的、具有清晰边界的路面裂缝分割。
附图说明
图1为基于类激活映射的路面裂缝分割方法的流程图。
图2为是本方案的路面裂缝分割方法整体工作流程的原理框图。
图3为本方案的Xception网络(分类网络)的架构图。
图4为类激活映射优化模块RCM的架构图。
图5为DeepLabV3+网络的工作流程图。
图6是裂缝边界细化模块CBRM流程图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
参考图1，图1示出了基于类激活映射的路面裂缝分割方法的流程图，如图1所示，该方法S包括步骤S1至步骤S6。
在步骤S1中，获取路面裂缝图像，并对其进行限制对比度自适应直方图均衡化处理：
x＝H(I)
其中，x为后的路面裂缝图像，I为初始的路面裂缝图像；H(·)为限制对比度自适应直方图均衡化操作。
路面裂缝图像采用步骤S1的方式进行处理后，能减少光照的负面影响，以降低光照对路面裂缝图像质量的影响。
在步骤S2中，将步骤S1处理后的路面裂缝图像裁剪成若干补丁，并输入已训练的Xception网络生成类激活映射；
本方案构建好的Xception网络的架构图可以参考图3，Xception网络(分类网络)由三部分组成：EntryFlow、MiddleFlow和ExitFlow；Conv+BN+Relu表示卷积+批标准化+Relu激活，Separable Conv+BN+Relu表示可分离卷积+批标准化+Relu激活，DilatedSeparable Conv+BN+Relu表示扩张可分离式卷积。
Sconv表示Separable Conv，Dsconv表示Dilated Separable Conv。GAP表示全局平均池化，FC表示全连接层。输入的补丁图像(InputImages)经过图2中的一系列操作之后，能够定位出裂缝的具***置，从分类网络的最后一个卷积层中提取出裂缝的具***置。
在本发明的一个实施例中，Xception网络的训练方法：
S21、获取预训练后的Xception网络，移除Xception网络的最后一层池化层，采用两个可分离扩张卷积取代Xception最后的两个独立卷积；
S22、采用裂缝图像分类数据集对步骤S21构建的Xception网络进行训练；其中，裂缝图像分类数据集为数据集CLC，包含40000张补丁，其中20000张裂缝表示正类，另外20000张非裂缝为负类；补丁大小为227*227，训练过程中调整为224*224。
S23、训练过程中，随机初始化全连接层的权值，在完成全局平均池化GAP后，将特征发送到初始化权重的全连接层后，采用softmax函数激活；
S24、通过迭代最小化交叉熵损失，对Xception网络进行优化，得到已训练的Xception网络，交叉熵损失函数为：
Figure BDA0003796063460000101
其中，y为真实标签值；
Figure BDA0003796063460000102
为预测值；Loss为交叉熵损失。
由于CNN是为了提高分类精度，往往会捕捉一个物体最具鉴别性的特征，以最大限度的减少分类歧义，所以CNN无法激活图像的完整空间响应；为了克服CNN无法激活图像的完整空间响应的问题，本方案还引入了类激活映射优化模块RCM对已训练的Xception网络生成类激活映射进行优化，优化的具体步骤为：
A1、采用类激活映射优化模块RCM计算类激活映射中当前像素k和像素q的特征相似性fsim(xk，xq)：
Figure BDA0003796063460000103
其中，xk和xq分别为像素点k像素点q的像素值；
Figure BDA0003796063460000104
和
Figure BDA0003796063460000105
分别为像素点k像素点q的像素值通过一个单独的卷积层进行运算；
Figure BDA0003796063460000106
为像素点k的运算结果进行转置操作；‖.‖为范数；
A2、根据特征相似性和Xception网络生成的类激活映射CAMoriginal，计算精细化的类激活映射CAMRefined：
Figure BDA0003796063460000111
其中，ReLU(.)为激活函数；
下面步骤S4中采用的类激活映射为精细化后的类激活映射。
本方案的类激活映射优化模块RCM可以参考图4，在生成精细的类激活映射(RefinedCAM)的过程中，特征图(FeatureMaps)是通过分类网络产生的1×1Conv表示卷积核大小为1×1的卷积层，H、W分别表示特征图(FeatureMaps)的高度和宽度，C、C1、C2表示通道数。
在步骤S3中，将所有补丁输入已训练的DeepLabV3+网络，DeepLabV3+网络包括一个编码器、一个解码器和连接二者的交叉层；DeepLabV3+网络的工作流程图可以参考图5。
在本发明的一个实施例中，DeepLabV3+网络的训练方法包括：
S31、采用编码器、解码器及连接二者的交叉层构成DeepLabV3+网络，并对DeepLabV3+网络的最后一个卷积层替换为一个单通道的卷积层；
S32、获取裂缝训练集，并将裂缝中的每张裂缝图像分割成若干补丁，之后将所有补丁输入编码器，生成对应的特征图；
其中，裂缝训练集为DeepCrack、Crack500和CFD；其中DeepCrack为基准数据集，包含不同尺度和场景的裂缝，总共有300张训练图像和237张测试图像，分辨率为544×384，裁剪补丁时将训练集的每一张裂缝图像裁剪成15个补丁，训练时补丁数量为4500张，测试时补丁数量为3555张，每个补丁的大小为224*224；
Crack500数据集包含1896幅训练图像和1124幅测试图像，分辨率为360×640，裁剪补丁时将训练集的每一张裂缝图像裁剪成12个补丁，训练时补丁数量为22752张，测试时补丁数量为13488张，每个补丁的大小为224*224；
CFD数据集包含118张裂缝图像，人工标注的裂缝尺寸大小为480×320，先使用旋转增强和在水平轴与垂直轴分别翻转进行增强，增强到590张图像，按照7:3的比例划分训练集和测试集，训练集有413张图片，测试时有177张图片；裁剪补丁时将训练集的每一张裂缝图像裁剪成8个补丁，最终训练时补丁数量为3304张，测试时补丁数量为1416张，每个补丁的大小为224*224。
S33、将步骤S32生成的所有补丁输入已训练的Xception网络，得到类激活映射，并采用类激活映射优化模块RCM优化得到精细的类激活映射；
S34、将步骤S32的特征图和步骤S33精细化后的类激活映射输入交叉层进行卷积运算操作输出至解码器中，得到对应的分割掩膜；
S35、将分割出的裂缝掩膜与其对应的裂缝真实标签计算误差：
Lloss＝Lbce+Ldice+LSSIM
Figure BDA0003796063460000121
Figure BDA0003796063460000122
Figure BDA0003796063460000131
其中，Llosss、Lbce、Ldice和LSSIM分别为总损失、二元交叉熵损失函数、Dice损失函数和SSIM损失函数；y(x,y)为裂缝图像的真实标签；
Figure BDA0003796063460000132
为预测的概率图；μ为均值；σ为方差，
Figure BDA0003796063460000133
为
Figure BDA0003796063460000134
和y(x,y)之间的协方差，(c1,c2)为计算稳定性的常数；h为图像的高；w为图像的宽度；
S36、迭代优化过程中使用小批量的梯度下降方法，当迭代次数达到预设迭代次数时，停止训练得到已训练的DeepLabV3+网络。
在步骤S4中，采用编码器得到每张补丁的特征图，将特征图和类激活映射在交叉层进行卷积运算操作输出至解码器中，得到对应的分割结果；
在步骤S5中，采用裂缝边界细化模块CBRM细化每张补丁的分割结果中的裂缝边界，得到补丁的分割掩膜；裂缝边界细化模块CBRM的工作流程可以参考图6。
实施时，本方案优选步骤S5的具体实现过程包括：
S51、采用卷积定向边界操作生成每张补丁分割结果的候选级别层次图，每张补丁在其候选级别层次图中选取m个不重叠的区域作为可靠区域；
S52、每张补丁在可靠区域的空间和特征层建模形成构造图，可靠区域的空间和特征维度被表示为邻接图，构造图G＝(gi,j)m×m：
Figure BDA0003796063460000135
其中，gi，j为图矩阵；ri和rj分别为补丁g中的第i个和第j个可靠区域；M(ri,rj)为ri和rj之间的相似度；exp(·)为以e为底的幂次方计算；
Figure BDA0003796063460000141
为范数；
S53、根据特征相似度，构建每个可靠区域r的分割得分模型：
Figure BDA0003796063460000142
其中，αj为第j个区域的矩阵；
S54、构建优化目标函数，并对其进行规范化处理，规范化后模型为：
Figure BDA0003796063460000143
其中，f为f＝(f(r1),...,f(rm))T，ω为区域的权值；δ1和δ2均为权重，D为邻接图中包含度值的对角矩阵，M为M(ri,rj)导出的f的范数，L为补丁的拉普拉斯矩阵，L＝D-G；α为α＝(α1,α1,...,αm)T；H为对角矩阵，其前r个元素设置为1，其余元素设置为0；
S55、对规范化后模型进行求解，得到优化后的α*：
Figure BDA0003796063460000144
其中，α*为最终优化的方程；
S56、根据优化后的α*和分割得分模型，得到优化后的分割得分作为补丁的分割掩膜。
在步骤S6中，采用重叠融合方法对所有补丁对应的分割掩膜进行组合，并基于最大概率方法获得路面裂缝图像的最终分割结果。
在本发明的一个实施例中，步骤S6进一步包括：
S61、读取记录的路面裂缝图像裁剪时每个补丁的位置，预测出分割掩膜的位置分布；
S62、对于重叠位置的分割掩膜，将重叠区域的最大概率相加，计算出最终的输出概率；
S62、根据补丁的位置分布和输出概率，对补丁进行拼接，之后对拼接后的图像经过argmax处理，得到路面裂缝图像的最终分割结果
图2给出了本方案的路面裂缝分割的完整原理框图；在图1的第1部分为图像预处理，输入原始图片(original Inage)经过限制对比度自适应直方图均衡化处理(CLAHE)以后，使用裁剪(Crop)操作将图像裁剪成补丁(Patches)。
第2部分为训练分割网络，首先将裁剪后的补丁(Patches)通过分类网络(CNN)的训练，应用类激活映射模块(CAM)生成初始类激活映射(OriginalCAM)，在应用类激活映射优化模块(RCM)生成精细的类激活映射(RefinedCAM)；同时，将裁剪后的补丁(Patches)传入分割网络的编码器(Encoder)中，得到相对应的特征图(Features)；利用交叉层(CrossLayer)将精细的类激活映射(RefinedCAM)与特征图(Features)结合，传到解码器中生成相应补丁的分割结果(SegmentationOutput)；最后，使用裂缝边界细化模块(CBRM)对分割结果(SegmentationOutput)进行优化生成精细化的分割结果(RefinedResult)。
第3部分是后处理，每一个补丁的精细化结果(RefinedResultt of Patches)通过第2部分生成，为了最终得到一张完整的裂缝分割图像，使用重叠融合方法(OverlappingFusion Strategy)将补丁进行整合，得到最终的输出结果。
下面结合具体的实例对本方案路面裂缝分割方法的效果进行说明：
实施例1
利用现有方法多种裂缝分割方法与本方案的路面裂缝分割方法在三个数据集上进行比对，在DeepCrack数据集上选择召回率、精度和F-分数指标作为3种常见的评价方法，与现有技术多种分割方法HED、U-Net、DeepLabV3+、AutoCrack、DeepCrack、DeepCrack-Aug、RoadCNNs、SegNet、PSP-Net、U2Net、DMA-Net进行对比，最终对比结果如下表1所示。
表1
Method Recall Precision F1meausre
HED 0.691 0.594 0.649
U-Net 0.835 0.862 0.848
DeepLabV3+ 0.853 0.840 0.846
AutoCrack 0.424 0.772 0.548
DeepCrack 0.799 0.794 0.796
DeepCrack-Aug 0.869 0.861 0.865
RoadCNNs 0.860 0.229 0.361
SegNet 0.729 0.797 0.762
PSP-Net 0.835 0.851 0.843
U2Net 0.868 0.823 0.864
DMA-Net 0.871 0.869 0.870
本方案方法 0.882 0.887 0.886
在Crack500数据集上选择召回率、精度、F-分数、Dice系数和均交并比指标作为5种常见的评价方法，与CNN、U-Net、SAN、FPHBN、DeepLabV3+、PSP-Net、U2Net、DMA-Net进行对比，最终对比结果如下表2所示；
表2
Figure BDA0003796063460000161
Figure BDA0003796063460000171
在CFD数据集上选择召回率、精度和F-分数指标作为3种常见的评价方法，与CNN、U-Net、SAN、DeepLabV3+、U2Net进行对比，最终对比结果如下表3所示。
表3
Method Recall Precision F1meausre
CNN 0.948 0.912 0.924
U-Net 0.913 0.857 0.875
U-Net 0.916 0.852 0.873
SAN 0.938 0.970 0.952
DeepLabV3+ 0.927 0.958 0.942
U2Net 0.938 0.965 0.951
U-Net 0.943 0.970 0.956
本方案方法 0.941 0.979 0.960
通过3个表可以看出，本方案方法无论是在数据图像较多的DeepCrack数据集上，还是在数据图像较少的CFD数据集上，整体分割性能都明显优于其他方法。
由于路面裂缝分割的基本问题是裂缝的形状和大小众多、裂缝强度不均匀、路面环境的复杂以及缺乏标记的训练集。本方法利用了路面裂缝分割中分割和分类任务之间的内在关系，通过将分类网络中的知识转移到裂缝边界细化的分割过程中，以便于路面裂缝分割。
根据本方案的研究结果，提出的路面裂缝分割框架在三个基准数据集(包括DeepCrack、Crack500和CFD)上取得了最新的结果，能够生成更精细的裂缝分割图，同时能够检测和分割短而小的裂缝，证明了本方法的有效性。
实施例2
在本实施例中，验证了类激活映射优化模块在裂缝分割任务中的有效性。在分类网络中，使用了类激活映射框架，生成特定类的定位映射，但是CNN不能激活物体的完整空间响应，本方法使用类激活映射优化模块对类激活映射进行优化。由于DeepCrack数据集更具有代表性，能够更加充分反映算法的泛化性能，本方法选择在DeepCrack数据集上进行了验证，分别使用和不使用类激活映射优化模块的对比，对比结果如表4；使用类激活映射优化模块生成更精确的裂缝定位图，这些图与编码器的图像特征融合，并反馈给解码器。
表4
Method Recall Precision F1meausre MIou
CAM 0.596 0.497 0.542 0.488
CAM+RCM 0.645 0.586 0.614 0.577
通过表4可知，本方案使用类激活映射优化模块生成的像素级注释的MIou从0.488显著提高到0.577，这表明了本方法提出的类激活映射优化模块是有效的，有利于提高模型的分割性能。
实施例3
本实施例验证了在分割网络的编码器和解码器中间使用交叉层，融合裂缝定位图(精细化类激活映射)与编码器的特征图，再传送给解码器的有效性。由于分类网络能够定位裂缝的位置，本方法将分类网络的定位映射引入到分割网络中，有利于提高分割网络的分割性能。本方法在DeepCrack数据集上验证了交叉层的有效性，对比结果如表5所示。
表5
Method Recall Precision F1meausre MIou
Segmentation 0.823 0.808 0.815 0.807
CAM+Segmentation 0.869 0.846 0.857 0.867
根据表5的结果可知，本方法将裂缝定位图从分类网络中转移到分割网络中，对裂缝的分割更加有效，在召回率、精度、F-分数和均交并比四个指标上明显高于没有使用交叉层的结果，进一步证明了本方法提出的交叉层的有效性。
实施例4
本实施例验证了结合二元交叉熵损失函数、SSIM损失函数以及Dice损失函数三者在裂缝分割任务中的有效性，由于路面裂缝分割是一个标准的二值分割问题，因此使用了二元交叉熵损失函数，在此基础上，引入了Dice损失函数和SSIM损失函数。针对不同的组合，本方法进行了不同组合的验证实验，如表6所示。
表6
Method Recall Precision F1meausre MIou
bce 0.824 0.869 0.846 0.837
bce+SSIM 0.834 0.872 0.853 0.841
bce+Dice 0.856 0.878 0.867 0.848
bce+SSIM+Dice 0.878 0.887 0.883 0.878
通过表6可知，将三种损失函数结合起来的结果比仅使用二元交叉熵损失函数和其他两种组合的分割指标更优，验证了本方法提出结合三种损失函数的有效性。
实施例5
本实施例验证了裂缝边界细化模块(CBRM)在裂缝分割中的有效性，由于分割网络生成的分割图对象边界模糊，为了细化边界，基于图的优化方法，利用卷积定向边界生成分层分割级别为的可靠区域。本方法在DeepCrack数据集上验证了裂缝边界细化模块的有效性，对比了使用和不使用CBRM模块的指标，如表7所示。
表7
Method Recall Precision F1meausre MIou
Segmentation 0.869 0.846 0.830 0.867
CBRM+Segmentation 0.882 0.887 0.886 0.898
通过表7可知，使用了裂缝边界细化模块对裂缝的分割是有效的，各指标有明显提高，表明使用CBRM模块能够生成更精细的分割结果。

Claims (8)

1.基于类激活映射的路面裂缝分割方法，其特征在于，包括步骤：
S1、获取路面裂缝图像，并对其进行限制对比度自适应直方图均衡化处理；
S2、将步骤S1处理后的路面裂缝图像裁剪成若干补丁，并输入已训练的Xception网络生成类激活映射；
S3、将所有补丁输入已训练的DeepLabV3+网络，DeepLabV3+网络包括一个编码器、一个解码器和连接二者的交叉层；
S4、采用编码器得到每张补丁的特征图，将特征图和类激活映射在交叉层进行卷积运算操作输出至解码器中，得到对应的分割结果；
S5、采用裂缝边界细化模块CBRM细化每张补丁的分割结果中的裂缝边界，得到补丁的分割掩膜；
S6、采用重叠融合方法对所有补丁对应的分割掩膜进行组合，并基于最大概率方法获得路面裂缝图像的最终分割结果；
基于类激活映射的路面裂缝分割方法还包括采用类激活映射优化模块RCM对步骤S2中的类激活映射进行优化：
A1、采用类激活映射优化模块RCM计算类激活映射中当前像素k和像素q的特征相似性：
其中，x k和x q分别为像素点k像素点q的像素值；和分别为像素点k像素点q的像素值通过一个单独的卷积层进行运算；为像素点k的运算结果进行转置操作；为范数；
A2、根据特征相似性和Xception网络生成的类激活映射，计算精细化的类激活映射：
其中，为激活函数；表示计算点积，指当前像素与其他像素之间的亲和力关系；
步骤S4中采用的类激活映射为精细化后的类激活映射。
2.根据权利要求1所述的基于类激活映射的路面裂缝分割方法，其特征在于，所述S5进一步包括：
S51、采用卷积定向边界操作生成每张补丁分割结果的候选级别层次图，每张补丁在其候选级别层次图中选取m个不重叠的区域作为可靠区域；
S52、每张补丁在可靠区域的空间和特征层建模形成构造图，可靠区域的空间和特征维度被表示为邻接图，构造图：
，
其中，g i，j为图矩阵；r i和r j分别为补丁g中的第i个和第j个可靠区域；为r i和r j之间的相似度；为以e为底的幂次方计算；为范数；
S53、根据特征相似度，构建每个可靠区域r的分割得分模型：
其中，为第j个区域的矩阵；
S54、构建优化目标函数，并对其进行规范化处理，规范化后模型为：
其中，f为，为区域的权值；和均为权重，D为邻接图中包含度值的对角矩阵，M为导出的f的范数，L为补丁的拉普拉斯矩阵，；为；H为对角矩阵，其前r个元素设置为1，其余元素设置为0；
S55、对规范化后模型进行求解，得到优化后的：
其中，为最终优化的方程；P为单位矩阵；
S56、根据优化后的和分割得分模型，得到优化后的分割得分作为补丁的分割掩膜。
3.根据权利要求1或2所述的基于类激活映射的路面裂缝分割方法，其特征在于，步骤S6进一步包括：
S61、读取记录的路面裂缝图像裁剪时每个补丁的位置，预测出分割掩膜的位置分布；
S62、对于重叠位置的分割掩膜，将重叠区域的最大概率相加，计算出最终的输出概率；
S62、根据补丁的位置分布和输出概率，对补丁进行拼接，之后对拼接后的图像经过argmax处理，得到路面裂缝图像的最终分割结果。
4.根据权利要求1所述的基于类激活映射的路面裂缝分割方法，其特征在于，进行限制对比度自适应直方图均衡化处理的计算公式为：
其中，x为均衡化处理后的路面裂缝图像，I为初始的路面裂缝图像；为限制对比度自适应直方图均衡化操作。
5.根据权利要求1所述的基于类激活映射的路面裂缝分割方法，其特征在于，Xception网络的训练方法：
S21、获取预训练后的Xception网络，移除Xception网络的最后一层池化层，采用两个可分离扩张卷积取代Xception最后的两个独立卷积；
S22、采用裂缝图像分类数据集对步骤S21构建的Xception网络进行训练；
S23、训练过程中，随机初始化全连接层的权值，在完成全局平均池化GAP后，将特征发送到初始化权重的全连接层后，采用softmax函数激活；
S24、通过迭代最小化交叉熵损失，对Xception网络进行优化，得到已训练的Xception网络，交叉熵损失函数为：
其中，y为真实标签值；为预测值；Loss为交叉熵损失。
6.根据权利要求5所述的基于类激活映射的路面裂缝分割方法，其特征在于，所述裂缝图像分类数据集为数据集CLC，包含40000张补丁，其中20000张裂缝表示正类，另外20000张非裂缝为负类；补丁大小为227*227，训练过程中调整为224*224。
7.根据权利要求2或5所述的基于类激活映射的路面裂缝分割方法，其特征在于，DeepLabV3+网络的训练方法包括：
S31、采用编码器、解码器及连接二者的交叉层构成DeepLabV3+网络，并对DeepLabV3+网络的最后一个卷积层替换为一个单通道的卷积层；
S32、获取裂缝训练集，并将裂缝中的每张裂缝图像分割成若干补丁，之后将所有补丁输入编码器，生成对应的特征图；
S33、将步骤S32生成的所有补丁输入已训练的Xception网络，得到类激活映射，并采用类激活映射优化模块RCM优化得到精细的类激活映射；
S34、将步骤S32的特征图和步骤S33精细化后的类激活映射输入交叉层进行卷积运算操作输出至解码器中，得到对应的分割掩膜；
S35、将分割出的裂缝掩膜与其对应的裂缝真实标签计算误差：
其中，L losss、L bce、L dice和L SSIM分别为总损失、二元交叉熵损失函数、Dice损失函数和SSIM损失函数；为裂缝图像的真实标签；为预测的概率图；为均值；为方差，为和之间的协方差，（c1,c2）为计算稳定性的常数；h为图像的高；w为图像的宽度；
S36、迭代优化过程中使用小批量的梯度下降方法，当迭代次数达到预设迭代次数时，停止训练得到已训练的DeepLabV3+网络。
8.根据权利要求7所述的基于类激活映射的路面裂缝分割方法，其特征在于，所述裂缝训练集为DeepCrack、Crack500和CFD；其中DeepCrack为基准数据集，包含不同尺度和场景的裂缝，总共有300张训练图像和237张测试图像，分辨率为544×384，裁剪补丁时将训练集的每一张裂缝图像裁剪成15个补丁，训练时补丁数量为4500张，测试时补丁数量为3555张，每个补丁的大小为224*224；
Crack500数据集包含1896幅训练图像和1124幅测试图像，分辨率为360×640，裁剪补丁时将训练集的每一张裂缝图像裁剪成12个补丁，训练时补丁数量为22752张，测试时补丁数量为13488张，每个补丁的大小为224*224；
CFD数据集包含118张裂缝图像，人工标注的裂缝尺寸大小为480×320，先使用旋转增强和在水平轴与垂直轴分别翻转进行增强，增强到590张图像，按照7:3的比例划分训练集和测试集，训练集有413张图片，测试时有177张图片；裁剪补丁时将训练集的每一张裂缝图像裁剪成8个补丁，最终训练时补丁数量为3304张，测试时补丁数量为1416张，每个补丁的大小为224*224。
CN202210969247.9A 2022-08-12 2022-08-12 基于类激活映射的路面裂缝分割方法 Active CN115457044B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210969247.9A CN115457044B (zh) 2022-08-12 2022-08-12 基于类激活映射的路面裂缝分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210969247.9A CN115457044B (zh) 2022-08-12 2022-08-12 基于类激活映射的路面裂缝分割方法

Publications (2)

Publication Number Publication Date
CN115457044A CN115457044A (zh) 2022-12-09
CN115457044B true CN115457044B (zh) 2023-04-28

Family

ID=84299135

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210969247.9A Active CN115457044B (zh) 2022-08-12 2022-08-12 基于类激活映射的路面裂缝分割方法

Country Status (1)

Country Link
CN (1) CN115457044B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117876383B (zh) * 2024-03-13 2024-06-07 西南林业大学 一种基于yolov5l的公路表面条状裂缝检测方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110415233A (zh) * 2019-07-26 2019-11-05 东南大学 基于两步卷积神经网络的路面裂缝快速提取方法
CN111179253B (zh) * 2019-12-30 2023-11-24 歌尔股份有限公司 一种产品缺陷检测方法、装置与***
CN112435219B (zh) * 2020-11-09 2022-11-15 东南大学 一种基于转置神经网络层间特征融合的路面裂缝识别方法

Also Published As

Publication number Publication date
CN115457044A (zh) 2022-12-09

Similar Documents

Publication Publication Date Title
Hoang et al. Metaheuristic optimized edge detection for recognition of concrete wall cracks: a comparative study on the performances of roberts, prewitt, canny, and sobel algorithms
CN113160192B (zh) 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置
CN110599537A (zh) 基于Mask R-CNN的无人机图像建筑物面积计算方法及***
Tran et al. One stage detector (RetinaNet)-based crack detection for asphalt pavements considering pavement distresses and surface objects
CN108492281B (zh) 一种基于生成式对抗网络的桥梁裂缝图像障碍物检测与去除的方法
WO2013020142A2 (en) Image-based crack detection
CN105574527A (zh) 一种基于局部特征学习的快速物体检测方法
CN111860106B (zh) 一种无监督的桥梁裂缝识别方法
JP2014228357A (ja) ひび割れ検出方法
CN111652213A (zh) 一种基于深度学习的船舶水尺读数识别方法
CN113177456B (zh) 基于单阶段全卷积网络和多特征融合的遥感目标检测方法
CN113962960A (zh) 基于深度学习的路面病害检测方法
CN114596500A (zh) 一种基于通道-空间注意力和DeeplabV3plus的遥感影像语义分割方法
CN115937518A (zh) 一种基于多源图像融合的路面病害识别方法及***
CN115457044B (zh) 基于类激活映射的路面裂缝分割方法
US11410300B2 (en) Defect inspection device, defect inspection method, and storage medium
CN115995056A (zh) 一种基于深度学习的桥梁病害自动识别方法
CN114972759A (zh) 基于分级轮廓代价函数的遥感图像语义分割方法
CN117291913B (zh) 一种水工混凝土结构表观裂缝测量方法
CN113158954B (zh) 交通非现场的基于ai技术的斑马线区域自动检测方法
GB2556328A (en) Street asset mapping
CN105809657A (zh) 一种角点检测方法和装置
CN110889418A (zh) 一种气体轮廓识别方法
CN115908276A (zh) 融合深度学习的桥梁表观损伤双目视觉智能检测方法及***
CN115953678A (zh) 一种基于局部灰度极值点和特征融合的路面破损检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant