CN114066808A - 一种基于深度学习的路面缺陷检测方法及*** - Google Patents

一种基于深度学习的路面缺陷检测方法及*** Download PDF

Info

Publication number
CN114066808A
CN114066808A CN202111182085.6A CN202111182085A CN114066808A CN 114066808 A CN114066808 A CN 114066808A CN 202111182085 A CN202111182085 A CN 202111182085A CN 114066808 A CN114066808 A CN 114066808A
Authority
CN
China
Prior art keywords
road surface
convolution
network
deep
detection method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111182085.6A
Other languages
English (en)
Inventor
陈波
李琦
王鑫
白卓玉
于令君
赵建敏
王月明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inner Mongolia University of Science and Technology
Original Assignee
Inner Mongolia University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inner Mongolia University of Science and Technology filed Critical Inner Mongolia University of Science and Technology
Priority to CN202111182085.6A priority Critical patent/CN114066808A/zh
Publication of CN114066808A publication Critical patent/CN114066808A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明涉及一种基于深度学习的路面缺陷检测方法及***，所述方法包括以下步骤：图像分割模型构建，U‑MDN使用U‑Net特征提取网络作为主干，提取从不同卷积阶段得到的多尺度特征，使用U‑MDM进一步提取缺陷深层特征，再将浅层特征和深层特征中得到的多尺度特征进行高效融合，以得到预测结果；路面缺陷量化评定，基于量化参数进一步计算路面破损指标，得到相应的路面破损等级。本发明克服了常用标准卷积提取的特征单一的缺点，可以去除冗余信息减少计算量；通过使用改进的深度神经网路对路面缺陷进行实时检测，克服了传统人工检测路面方法的缺点，提高了检测效率。

Description

一种基于深度学习的路面缺陷检测方法及***
技术领域
本发明涉及路面缺陷检测技术领域，尤其涉及一种基于深度学习的路面缺陷检测方法及***。
背景技术
随着交通运输业的快速发展，我国已经形成具有一定规模的公路交通网。在使用过程中产生的大量表面缺陷标志着现有公路已进入大面积检测和养护阶段。而公路交通网的愈发多样化和复杂化，致使该领域对缺陷检测方法的性能要求越来越高。因此，能够及时发现和更加精准且快速地实现裂缝检测对公路养护和行车安全具有重大意义。
路面裂缝是最为常见的病害之一，对公路安全产生了巨大威胁。能够及时发现、修复和阻止进一步恶化成为了交通部门的一项重要任务。早期路面缺陷检测方法主要有摄像测量法、探地雷达法、激光测量和红外线测量法等。这些方法通常采用人工评估，实地获取数据再回到实验室进行数据分析。这种评估方法不仅增加了成本，费时费力，而且检测精度低，达不到要求。之后对路面缺陷检测技术的研究主要集中在机器学习方面，其中包括定向梯度直方图、支持向量机、Canny边缘检测和Otsu阈值分割等检测方法。这类基于阈值的检测方法在简单背景下检测效果较好。但现如今路况复杂程度不断加深，一些诸如油渍、阴影和异物等原因严重影响着检测精度，制约着图像分割技术的发展。从而满足不了实际检测要求。
随着深度学习的发展，各种深度神经网路被用于道路缺陷检测领域，能够挖掘出更深层次的特征，在很大程度上滤除复杂背景带来的影响，成为了道路缺陷检测领域的主流趋势。典型的全卷积网络(FCN)因其跳级融合结构取得的良好分割效果成为了语义分割领域具有里程碑式意义的分割网络。但FCN将下采样阶段获得的裂缝边缘、图案和形状等不同特征进行了相同的处理，这样对分割结果影响较大。而且对于路面裂缝这种比较纤细的目标来说，FCN的连续卷积操作会使局部细节丢失严重。为了改善这一问题，国内外诸多研究学者对FCN进行了改进，诞生出了U-Net和SegNet等网络，这些网络沿用了FCN编解码结构的基本思路。不同的是，二者都对上采样阶段获得的特征图与下采样阶段获得的底层特征进行了融合，增加了定位的准确性和语义信息的完整性，提高了裂缝分割效果。但是，这些基于编解码结构的网络仅对一些裂缝连续性好且与强干扰对比度大等情况检测效果较为理想。因此，在光线变化大、背景干扰性强以及一些纤细裂缝与噪声边界模糊等情况下检测效果依然不佳。由此可见，实现高精度的裂缝检测依然是一个研究重点。
综上所述，寻求一种路面缺陷检测方法以解决上述问题是非常有必要的。
发明内容
本发明的目的在于提供一种基于深度学习的路面缺陷检测方法及***，通过设置U-MDM，该模块采用4个尺度的上下采样结构，并且结合了膨胀卷积的优点，克服了常用标准卷积提取的特征单一的缺点，并且可以去除冗余信息减少计算量。
为了解决上述技术问题，本发明提供的基于深度学习的路面缺陷检测方法及***的技术方案具体如下：
第一方面，本发明实施例公开了一种基于深度学习的路面缺陷检测方法，所述方法包括以下步骤：
图像分割模型构建，所述图像分割模型构建包括U型多尺度扩张网络，所述U型多尺度扩张网络将U型多尺度膨胀卷积模块嵌入到U-Net深度神经网络上采样之前形成了U-MDN，U-MDN使用U-Net特征提取网络作为主干，提取从不同卷积阶段得到的多尺度特征，使用U-MDM进一步提取缺陷深层特征，再将浅层特征和深层特征中得到的多尺度特征进行高效融合，以得到预测结果；
路面缺陷量化评定，所述路面缺陷量化评定根据得到的预测结果对缺陷的量化参数进行量化计算，并且基于量化参数进一步计算路面破损指标，得到相应的路面破损等级。
在上述任一方案中优选的是，U-Net深度神经网络包含有下采样图像压缩路径和上采样图像扩展路径的对称U型结构。
在上述任一方案中优选的是，所述下采样阶段使用了4个Convolution block1和1个Convolution block2，上采样阶段使用了4个Convolution block3，Convolution block1和3中每个卷积块都使用了两次卷积核为3*3的卷积操作和一次2*2的MaxPooling操作，Convolution block2中使用了三次卷积核为3*3的卷积操作。
在上述任一方案中优选的是，U-MDN网络由4个Convolution block1、1个Convolution block2、1个U-MDM和4个Convolution block3组成，U-MDN网络输入图像为256*256*3，输出特征为256*256*2的黑白二值图像。
在上述任一方案中优选的是，所述图像分割模型构建包括模型训练，训练过程中，设置超参数Batch size为8，每次训练设置150个epoch，初始学习率lr为1e-4，使用Adam优化器来收敛网络，并使用Adam的动量和自适应学习率来加快收敛速度。
在上述任一方案中优选的是，所述对缺陷的量化参数进行量化计算包括以下步骤：
根据裂缝图像像素数量N和实际尺寸D计算出换算比例
Figure BDA0003297690060000041
分割后的裂缝图像的实际裂缝尺寸为D＝p·N，将分割后的二值图像进行裂缝轮廓提取，将裂缝区域用内接圆填充。
在上述任一方案中优选的是，所述对缺陷的量化参数进行量化计算包括以下步骤：h为裂缝区域外轮廓长度，w为裂缝区域外轮廓宽度，将相邻圆连接圆心，计算圆心之间的距离，wi为相邻两个圆的圆心像素横坐标之差，hi为相邻两个圆的圆心像素纵坐标之差，则li为裂缝的近似实际距离，那么n个圆心间的距离就是该整条裂缝的实际长度L，实际宽度R为内接圆直径平均值，则需要计算的量化参数宽度的计算方式为：
Figure BDA0003297690060000042
Figure BDA0003297690060000043
长度的计算方式为：
Figure BDA0003297690060000044
外接矩形面积的计算方式为：S＝p2·h·w。
在上述任一方案中优选的是，所述U-MDN将得到的16*16*512特征图分别进行了Pooling size为16*16、8*8、4*4和2*2的MaxPooling操作之后分别得到了1*1*512、2*2*512、4*4*512和8*8*512的特征图，再经过膨胀率为1、2、4和6的卷积操作得到1*1*256、2*2*256、4*4*256和8*8*256的特征图。
在上述任一方案中优选的是，所述特征图经过反卷积还原尺寸到256个高16像素、宽16像素的特征图，反卷积核大小分别为16*16、8*8、4*4和2*2，将4个16*16*256进行叠加融合得到16*16*1024的特征图，再经过一个卷积操作最终得到U-MDM的输出特征图，尺寸为16*16*512，经过U-MDM之后在进行4个Convolution block3得到了32个高256像素、宽256像素的特征图，经过Sigmoid激活函数得到了256*256*2的路面缺陷检测图像，每幅图像均为黑白二值图像，分为缺陷区域和背景区域两类，其中白色区域代表缺陷，黑色区域代表背景。
本发明与现有技术相比，具有如下有益效果：
通过增加U-MDM，该模块采用4个尺度的上下采样结构，并且结合了膨胀卷积的优点，克服了常用标准卷积提取的特征单一的缺点，可以去除冗余信息减少计算量；通过使用改进的深度神经网路对路面缺陷进行实时检测，克服了传统人工检测路面方法的缺点，提高了检测效率；对路面缺陷检测结果进行路面状况健康评定，为后续公路养护管理提供了充足的数据支持。
第二方面，一种基于深度学习的路面缺陷检测***，包括：
构建模块，用于图像分割模型构建，所述图像分割模型构建包括U型多尺度扩张网络，所述U型多尺度扩张网络将U型多尺度膨胀卷积模块嵌入到U-Net深度神经网络上采样之前形成了U-MDN，U-MDN使用U-Net特征提取网络作为主干，提取从不同卷积阶段得到的多尺度特征，使用U-MDM进一步提取缺陷深层特征，再将浅层特征和深层特征中得到的多尺度特征进行高效融合，以得到预测结果；
评定模块，用于路面缺陷量化评定，所述路面缺陷量化评定根据得到的预测结果对缺陷的量化参数进行量化计算，并且基于量化参数进一步计算路面破损指标，得到相应的路面破损等级。
本发明与现有技术相比，具有如下有益效果：通过增加U-MDM，该模块采用4个尺度的上下采样结构，并且结合了膨胀卷积的优点，克服了常用标准卷积提取的特征单一的缺点。并且可以去除冗余信息减少计算量；通过使用改进的深度神经网路对路面缺陷进行实时检测，克服了传统人工检测路面方法的缺点，提高了检测效率；对路面缺陷检测结果进行路面状况健康评定，为后续公路养护管理提供了充足的数据支持。
附图说明
附图用于对本发明的进一步理解，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
图1是本发明一种基于深度学习的路面缺陷检测方法整体结构框图；
图2是本发明一种基于深度学习的路面缺陷检测方法卷积块示意图；
图3是本发明一种基于深度学习的路面缺陷检测方法U-MDN结构示意图；
图4是本发明一种基于深度学习的路面缺陷检测方法U-MDN网络结构示意图。
图5是本发明一种基于深度学习的路面缺陷检测方法计算量化参数示意图。
图6是本发明一种基于深度学习的路面缺陷检测***示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
一种基于深度学习的路面缺陷检测方法，具体内容包括：图像分割模型构建和路面缺陷量化评定，本发明将路面缺陷检测视为二值分类任务，通过改进U-Net对路面缺陷进行特征提取。将缺陷图像中每一个像素分为缺陷和背景两类，以便获得精确的缺陷量化信息。具体来说，本发明设计了U型多尺度膨胀卷积模块(U-Multiscale Dilated Module,U-MDM)。将U-MDM嵌入到U-Net上采样之前形成U型多尺度扩张网络(U-Multiscale DilatedNetwork,U-MDN)。该网络使用U-Net特征提取网络作为主干，提取从不同卷积阶段得到的多尺度特征。然后使用U-MDM进一步提取缺陷深层特征，再将浅层特征和深层特征中得到的多尺度特征进行高效融合，最终得到预测结果。
特征提取网络下采样阶段共有5个卷积块，将不同分辨率的缺陷图像统一尺寸到3通道，高256像素，宽256像素的RGB图像之后输入到该网络中。经过下采样得到512通道，高16像素，宽16像素的图像。再将16*16*512特征层输入到U-MDM中经过4个尺度的最大池化和膨胀卷积之后进行融合再次得到16*16*512特征层，最后经过U-Net上采样的4个卷积块得到256*256*32特征层，在将其通过Sigmoid函数得到只包含缺陷和背景的尺寸为256*256*2的路面缺陷预测图像。
将分割模型搭建完成之后，使用数据集并设置超参数对模型进行训练。训练完毕之后使用训练好的模型对缺陷图像进行检测。最终实时生成缺陷掩码图像以进行后续缺陷量化评定。
路面缺陷图像分割后的需要对提取出来的缺陷目标进行信息量化，以便后续进行高效的公路养护管理。根据得到的预测结果对各种缺陷进行量化计算，包括各种线性裂缝的长度、宽度和方向，网状裂缝的覆盖面积以及裂纹密集程度，坑洞、凸起和凹陷等缺陷的几何面积以及外接矩形长度和宽度等量化参数。并且基于这些量化参数进一步计算路面破损指标，最终得到相应的路面破损等级。
根据相关公路状况评定标准，在评价路面状况时，一般采用破损类型和破损程度两个指标对其进行评定。路面破损主要分为横纵向线性裂缝、网状和块状等不规则裂缝、车辙、凹陷凸起和坑槽等几种类型，破损程度根据缝宽可以分为轻度、中度和重度三个等级。由此可见，不同裂缝类型的破损严重等级判定也不同。为统一标准，采用路面状况指数PCI对其进行评估。PCI的值域范围为[0,100]，反映了路面破损严重程度，值越小，路面破损状况就越严重。
为了更好地理解上述技术方案，下面将结合说明书附图及具体实施方式对本发明技术方案进行详细说明。
实施例：
本发明设计的U-MDN在整体网络结构上主要由U-Net和U-MDM两部分组成。先使用U-Net提取从不同卷积块得到的多尺度信息，然后使用U-MDM从四个不同的尺度进一步提取深层特征，最后利用U-Net上采样将浅层特征与深层特征相融合。最终通过Sigmoid函数得到预测结果。
分割网络设计，U-Net深度神经网络是包含有下采样图像压缩路径和上采样图像扩展路径的对称U型结构。这种结构沿用了FCN编解码器结构的基本思路。且两个网络都使用卷积操作代替全连接操作，这样能够大大减少网络模型参数量，提高模型训练速度。不同的是U-Net将重点放在上采样阶段，增加了上采样阶段的feature map数量，再将其与下采样得到的底层特征进行融合，增加了定位的准确性和语义信息的完整性，使得网络更具有泛化能力。由于这种结构中的下采样过程可以捕捉丰富的语义信息，上采样过程可以进行精确定位，所以利用少量数据就可以得到很好的效果。因此，本发明使用U-Net作为特征提取网络的主干，提取从下采样过程中不同卷积块中获得的语义信息。
在U-Net中使用的卷积块见图2，图中(a)和(b)是下采样阶段的卷积块，(c)为上采样阶段的卷积块。下采样阶段使用了4个Convolution block1和1个Convolution block2，上采样阶段使用了4个Convolution block3，Convolution block1和3中每个卷积块都使用了两次卷积核为3*3的卷积操作和一次2*2的MaxPooling操作，而Convolution block2中使用了三次卷积核为3*3的卷积操作。并且在每个卷积块的卷积层和激活函数之间都加入了Batch Normalization(BN)，使用BN会使得梯度变大，避免了梯度消失得问题。而梯度变大意味学习收敛速度加快，大大加快了模型训练速度。激活函数使用了ReLU和Sigmoid函数，在网络的最后一层使用的是Sigmoid激活函数，而在其它卷积层用的是ReLu激活函数。ReLu激活函数效果比Sigmoid函数好，收敛速度也比较快，适用于解决深度网络梯度消失的问题。而sigmoid函数能够将计算结果限制在[0,1]范围内，方便利用概率去区分目标与背景，更加适用于图像的二分类任务，常用于网络最后一层。ReLu和Sigmoid函数计算公式分别见(1)和(2)。
Figure BDA0003297690060000101
Figure BDA0003297690060000102
基于编解码器结构的神经网络虽然可以提取裂缝的多尺度信息，但是这些多尺度信息不足以将裂缝从一些复杂性强的背景中检测出来。因此，受到其他研究者使用的多尺度膨胀模块(MDM)的启发，并考虑到U-Net只用了一种标准卷积滤波器提取裂缝特征，这样只能获得裂缝的一种上下文信息。而对于宽度、长度和方向等具有不同拓扑结构的复杂裂缝图像来说，只使用一种卷积层不利于多种有效特征的提取。而且连续的卷积操作对辨识度高的目标识别效果较好，但对于一些辨识度低的目标很不友好。而膨胀卷积可以在不损失信息的情况下增大感受野进而有效地提取更加丰富的语义信息，增强对分辨力较弱目标区域的识别能力。因此，结合膨胀卷积的特点设计了U型多尺度膨胀卷积模块(U-MDM)。
U-MDM网络结构如图3，该模块融合了四种不同尺度的深度特征信息。具体来说，U-MDM并没有直接将U-Net下采样之后获得的特征层进行融合，而是先经过了Pooling size为16、8、4、2四种不同尺度的最大池化操作，这样可以去除冗余信息并减少计算量。之后再经过卷积块，与U-Net中的卷积块不同的是该卷积块中卷积操作的膨胀率为1、2、4和6，卷积核均为3*3，且在卷积之后加入了BN和ReLu。最后经过上采样还原尺寸输入到U-Net上采样结构中进行融合。这样就形成了一个U型结构有助于进一步提取裂缝更深层次的特征。
U-MDN的整体结构示意图如图4所示，该网络由4个Convolution block1、1个Convolution block2、1个U-MDM和4个Convolution block3组成。该网络输入图像为256*256*3(分别为宽256像素，高256像素，3个通道，后续均为宽*高*通道数)，输出特征为256*256*2的黑白二值图像。具体来说，输入的256*256*3图像连续经过了4个Convolutionblock1得到了256个高16像素、宽16像素的特征图。再经过1个Convolution block2得到了512个高16像素、宽16像素的特征图。再经过U-MDM之后仍然得到了512个高16像素、宽16像素的特征图。不同的是，该特征图融合了4种不同尺度的深层特征，首先，U-MDM将得到的16*16*512特征图分别进行了Pooling size为16*16、8*8、4*4和2*2的MaxPooling操作之后分别得到了1*1*512、2*2*512、4*4*512和8*8*512的特征图，再经过了膨胀率为1、2、4和6的卷积操作得到了1*1*256、2*2*256、4*4*256和8*8*256的特征图，之后又经过了反卷积还原尺寸到256个高16像素、宽16像素的特征图，反卷积核大小分别为16*16、8*8、4*4和2*2。最后将4个16*16*256进行叠加融合得到16*16*1024的特征图，再经过一个卷积操作最终得到U-MDM的输出特征图，尺寸为16*16*512。经过了U-MDM之后在进行4个Convolution block3得到了32个高256像素、宽256像素的特征图，最终经过Sigmoid激活函数得到了256*256*2的路面缺陷检测图像，每幅图像均为黑白二值图像，分为缺陷区域和背景区域两类，其中白色区域代表缺陷，黑色区域代表背景。
模型训练，训练过程中，设置超参数Batch size为8，每次训练设置150个epoch，初始学习率lr为1e-4，使用Adam优化器来收敛网络，并使用Adam的动量和自适应学习率来加快收敛速度。Adam代替了经典随机梯度下降法(Stochastic Gradient Descent.SGD)，可以更有效更新网络权重。
在深度神经网络中，常用到交叉熵作为处理分类问题的损失函数。因此，训练过程使用了神经网络模型应用广泛的交叉熵损失函数计算损失值(Loss)以描述模型在训练过程中预测结果与真实标签的误差值大小。研究中使用的损失函数是交叉熵中的一种Binarycrossentropy(见式3)，这种损失函数常用来处理二分类问题，而且在使用过程中会涉及到计算类别概率，所以通常和式1中的sigmoid函数一起使用。
Figure BDA0003297690060000121
其中，N为输出尺寸大小，n∈[1,N]，yn∈{0,1}为真实标签，
Figure BDA0003297690060000122
为预测概率。
路面缺陷量化评定，在路面缺陷检测任务中，对不同缺陷进行几何参数计算是为了给后续的路面修补工作提供数据支持。路面缺陷量化分别对单向裂缝的长度和宽度等参数和网状裂缝的块度和面积等参数进行计算。针对裂缝需要计算的特征参数有宽度、长度、外接矩形面积。
首先，根据裂缝图像像素数量N和实际尺寸D计算出换算比例
Figure BDA0003297690060000123
则分割后的裂缝图像的实际裂缝尺寸为D＝p·N。其次，将分割后的二值图像进行裂缝轮廓提取，将裂缝区域用内接圆填充，请参看图5，h为裂缝区域外轮廓长度，w为裂缝区域外轮廓宽度。将相邻圆连接圆心，计算圆心之间的距离，wi为相邻两个圆的圆心像素横坐标之差，hi为相邻两个圆的圆心像素纵坐标之差，则li为裂缝的近似实际距离。那么n个圆心间的距离就是该整条裂缝的实际长度L，实际宽度R为内接圆直径平均值。需要计算的量化参数以及实际意义如下：
(1)宽度
Figure BDA0003297690060000131
其物理意义是裂缝边界某点垂线与裂缝交点的距离，反映了裂缝开裂程度。
(2)长度
Figure BDA0003297690060000132
Figure BDA0003297690060000133
其物理意义是细化后裂缝骨架长度，反映了裂缝延伸程度。
(3)外接矩形面积
S＝p2·h·w (7)
其物理意义是各种形状裂缝外接矩形面积，反映了裂缝覆盖程度。
在路面缺陷中，一般采用破损类型和破损程度两个指标对其进行评定，根据各种量化参数的计算公式得到了量化信息之后，就可以根据分类标准得到各种缺陷的破损程度。根据相关公路状况评定指标，列出了路面常见缺陷及其评定标准。如表2。
表1路面缺陷类型及破损分级
Figure BDA0003297690060000134
Figure BDA0003297690060000141
由此可见，不同裂缝类型的破损严重等级判定也不同。为统一标准，采用路面状况指数(PCI)对其进行评估。PCI值反映了路面破损严重程度，值越小，路面破损状况越严重，各项指标及维修意见如表3。
表2路面破损状况评价指标及养护意见
Figure BDA0003297690060000142
PCI的值域范围为[0,100]，采用公式4和5来计算。
Figure BDA0003297690060000151
Figure BDA0003297690060000152
其中，DR为路面破损率(％)；Ai为第i类路面破损的累计面积(m2)；A为考察路段的总面积(m2)；ωi为第i类路面损坏的破损权重值；a0为沥青路面取值15.00，混凝土路面取值10.66；ai为沥青路面取值0.412，混凝土路面取值0.461；i0为包含破损程度的破坏类型总数。最终根据PCI值得出路面破损状况等级。
第二方面，一种基于深度学习的路面缺陷检测***，包括：
构建模块，用于图像分割模型构建，所述图像分割模型构建包括U型多尺度扩张网络，所述U型多尺度扩张网络将U型多尺度膨胀卷积模块嵌入到U-Net深度神经网络上采样之前形成了U-MDN，U-MDN使用U-Net特征提取网络作为主干，提取从不同卷积阶段得到的多尺度特征，使用U-MDM进一步提取缺陷深层特征，再将浅层特征和深层特征中得到的多尺度特征进行高效融合，以得到预测结果；
评定模块，用于路面缺陷量化评定，所述路面缺陷量化评定根据得到的预测结果对缺陷的量化参数进行量化计算，并且基于量化参数进一步计算路面破损指标，得到相应的路面破损等级。
以上仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习的路面缺陷检测方法，其特征在于：所述方法包括以下步骤：
图像分割模型构建，所述图像分割模型构建包括U型多尺度扩张网络，所述U型多尺度扩张网络将U型多尺度膨胀卷积模块嵌入到U-Net深度神经网络上采样之前形成了U-MDN，U-MDN使用U-Net特征提取网络作为主干，提取从不同卷积阶段得到的多尺度特征，使用U-MDM进一步提取缺陷深层特征，再将浅层特征和深层特征中得到的多尺度特征进行高效融合，以得到预测结果；
路面缺陷量化评定，所述路面缺陷量化评定根据得到的预测结果对缺陷的量化参数进行量化计算，并且基于量化参数进一步计算路面破损指标，得到相应的路面破损等级。
2.根据权利要求1所述的基于深度学习的路面缺陷检测方法，其特征在于：U-Net深度神经网络包含有下采样图像压缩路径和上采样图像扩展路径的对称U型结构。
3.根据权利要求2所述的基于深度学习的路面缺陷检测方法，其特征在于：所述下采样阶段使用了4个Convolution block1和1个Convolution block2，上采样阶段使用了4个Convolution block3，Convolution block1和3中每个卷积块都使用了两次卷积核为3*3的卷积操作和一次2*2的MaxPooling操作，Convolution block2中使用了三次卷积核为3*3的卷积操作。
4.根据权利要求3所述的基于深度学习的路面缺陷检测方法，其特征在于：U-MDN网络由4个Convolution block1、1个Convolution block2、1个U-MDM和4个Convolution block3组成，U-MDN网络输入图像为256*256*3，输出特征为256*256*2的黑白二值图像。
5.根据权利要求4所述的基于深度学习的路面缺陷检测方法，其特征在于：所述图像分割模型构建包括模型训练，训练过程中，设置超参数Batch size为8，每次训练设置150个epoch，初始学习率lr为1e-4，使用Adam优化器来收敛网络，并使用Adam的动量和自适应学习率来加快收敛速度。
6.根据权利要求5所述的基于深度学习的路面缺陷检测方法，其特征在于：所述对缺陷的量化参数进行量化计算包括以下步骤：
根据裂缝图像像素数量N和实际尺寸D计算出换算比例
Figure FDA0003297690050000021
分割后的裂缝图像的实际裂缝尺寸为D＝p·N，将分割后的二值图像进行裂缝轮廓提取，将裂缝区域用内接圆填充。
7.根据权利要求6所述的基于深度学***均值，则需要计算的量化参数宽度的计算方式为：
Figure FDA0003297690050000022
长度的计算方式为：
Figure FDA0003297690050000023
外接矩形面积的计算方式为：S＝p2·h·w。
8.根据权利要求7所述的基于深度学习的路面缺陷检测方法，其特征在于：所述U-MDN将得到的16*16*512特征图分别进行了Pooling size为16*16、8*8、4*4和2*2的MaxPooling操作之后分别得到了1*1*512、2*2*512、4*4*512和8*8*512的特征图，再经过膨胀率为1、2、4和6的卷积操作得到1*1*256、2*2*256、4*4*256和8*8*256的特征图。
9.根据权利要求8所述的基于深度学习的路面缺陷检测方法，其特征在于：所述特征图经过反卷积还原尺寸到256个高16像素、宽16像素的特征图，反卷积核大小分别为16*16、8*8、4*4和2*2，将4个16*16*256进行叠加融合得到16*16*1024的特征图，再经过一个卷积操作最终得到U-MDM的输出特征图，尺寸为16*16*512，经过U-MDM之后在进行4个Convolutionblock3得到了32个高256像素、宽256像素的特征图，经过Sigmoid激活函数得到了256*256*2的路面缺陷检测图像，每幅图像均为黑白二值图像，分为缺陷区域和背景区域两类，其中白色区域代表缺陷，黑色区域代表背景。
10.一种基于深度学习的路面缺陷检测***，其特征在于：包括：
构建模块，用于图像分割模型构建，所述图像分割模型构建包括U型多尺度扩张网络，所述U型多尺度扩张网络将U型多尺度膨胀卷积模块嵌入到U-Net深度神经网络上采样之前形成了U-MDN，U-MDN使用U-Net特征提取网络作为主干，提取从不同卷积阶段得到的多尺度特征，使用U-MDM进一步提取缺陷深层特征，再将浅层特征和深层特征中得到的多尺度特征进行高效融合，以得到预测结果；
评定模块，用于路面缺陷量化评定，所述路面缺陷量化评定根据得到的预测结果对缺陷的量化参数进行量化计算，并且基于量化参数进一步计算路面破损指标，得到相应的路面破损等级。
CN202111182085.6A 2021-10-11 2021-10-11 一种基于深度学习的路面缺陷检测方法及*** Pending CN114066808A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111182085.6A CN114066808A (zh) 2021-10-11 2021-10-11 一种基于深度学习的路面缺陷检测方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111182085.6A CN114066808A (zh) 2021-10-11 2021-10-11 一种基于深度学习的路面缺陷检测方法及***

Publications (1)

Publication Number Publication Date
CN114066808A true CN114066808A (zh) 2022-02-18

Family

ID=80234498

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111182085.6A Pending CN114066808A (zh) 2021-10-11 2021-10-11 一种基于深度学习的路面缺陷检测方法及***

Country Status (1)

Country Link
CN (1) CN114066808A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114581415A (zh) * 2022-03-08 2022-06-03 成都数之联科技股份有限公司 Pcb缺陷的检测方法、装置、计算机设备及存储介质
CN114820493A (zh) * 2022-04-15 2022-07-29 西南交通大学 一种制孔导致的复合材料孔口劈裂检测方法
CN115012281A (zh) * 2022-05-30 2022-09-06 海南大学 一种道路路面质量检测方法及装置
CN115228690A (zh) * 2022-08-08 2022-10-25 深圳市深赛尔股份有限公司 一种基于环保水性卷钢涂料的漆面修补装置和方法
CN116758507A (zh) * 2023-07-03 2023-09-15 中铁建设集团有限公司 基于病害图像采集、分割的道面质量分析方法、装置及程序

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114581415A (zh) * 2022-03-08 2022-06-03 成都数之联科技股份有限公司 Pcb缺陷的检测方法、装置、计算机设备及存储介质
CN114820493A (zh) * 2022-04-15 2022-07-29 西南交通大学 一种制孔导致的复合材料孔口劈裂检测方法
CN114820493B (zh) * 2022-04-15 2023-08-22 西南交通大学 一种制孔导致的复合材料孔口劈裂检测方法
CN115012281A (zh) * 2022-05-30 2022-09-06 海南大学 一种道路路面质量检测方法及装置
CN115012281B (zh) * 2022-05-30 2023-09-05 海南大学 一种道路路面质量检测方法及装置
CN115228690A (zh) * 2022-08-08 2022-10-25 深圳市深赛尔股份有限公司 一种基于环保水性卷钢涂料的漆面修补装置和方法
CN115228690B (zh) * 2022-08-08 2023-08-08 深圳市深赛尔股份有限公司 一种基于环保水性卷钢涂料的漆面修补装置和方法
CN116758507A (zh) * 2023-07-03 2023-09-15 中铁建设集团有限公司 基于病害图像采集、分割的道面质量分析方法、装置及程序
CN116758507B (zh) * 2023-07-03 2023-12-19 中铁建设集团有限公司 基于病害图像采集、分割的道面质量分析方法、装置及程序

Similar Documents

Publication Publication Date Title
Jiang et al. A deep learning approach for fast detection and classification of concrete damage
CN114066808A (zh) 一种基于深度学习的路面缺陷检测方法及***
Sony et al. A systematic review of convolutional neural network-based structural condition assessment techniques
Wang et al. RENet: Rectangular convolution pyramid and edge enhancement network for salient object detection of pavement cracks
CN109190481B (zh) 一种遥感影像道路材质提取方法和***
Deng et al. Review on computer vision-based crack detection and quantification methodologies for civil structures
CN112215819B (zh) 基于深度特征融合的机场道面裂缝检测方法
CN109753949B (zh) 一种基于深度学习的多视窗交通标志检测方法
CN112489054A (zh) 一种基于深度学习的遥感图像语义分割方法
CN112964712A (zh) 一种快速检测沥青路面状态的方法
Yu et al. Intelligent Crack Detection and Quantification in the Concrete Bridge: A Deep Learning‐Assisted Image Processing Approach
Sarmiento Pavement distress detection and segmentation using YOLOv4 and DeepLabv3 on pavements in the Philippines
CN113240623A (zh) 一种路面病害检测方法及装置
CN114049538A (zh) 基于udwgan++网络的机场裂缝图像对抗生成方法
Dong et al. Intelligent segmentation and measurement model for asphalt road cracks based on modified mask R-CNN algorithm
CN114596316A (zh) 一种基于语义分割的道路图像细节抓取方法
Li et al. Pixel‐Level Recognition of Pavement Distresses Based on U‐Net
CN112560895A (zh) 一种基于改进PSPNet网络的桥梁裂缝检测方法
Huang et al. Image-based automatic multiple-damage detection of concrete dams using region-based convolutional neural networks
Sun et al. Roadway crack segmentation based on an encoder-decoder deep network with multi-scale convolutional blocks
Liu et al. Pavement distress detection using street view images captured via action camera
CN113610052A (zh) 一种基于深度学习的隧道渗漏水自动识别方法
Yuan et al. Automated pixel-level crack detection and quantification using deep convolutional neural networks for structural condition assessment
Pang et al. Multi-Scale Feature Fusion Model for Bridge Appearance Defect Detection
CN116052110B (zh) 一种路面标线缺损智能定位方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination