CN114359130A - 一种基于无人机影像的道路裂缝检测方法 - Google Patents

Abstract

本发明涉及人工智能的技术领域，公开了一种基于无人机影像的道路裂缝检测方法，利用无人机采集道路裂缝图像，构建图像数据集；构建改进U‑Net神经网络模型，共七层，包括编码器和解码器，所述解码器包括三层，其最后一层中设置有CBAM注意力模块，编码后的各层特征图经上采样至原始输入图像大小，再与解码器中最后一层输出的特征图进行深浅层信息融合，然后进入CBAM注意力模块，所述CBAM注意力模块用于从通道层面和空间层面重新分配权重，得到更加聚焦裂缝的目标特征图；基于图像数据集，对构建好的改进U‑Net神经网络模型进行训练和测试，并利用训练好的改进U‑Net神经网络模型对待检图像进行检测。

Description

一种基于无人机影像的道路裂缝检测方法

技术领域

本发明属于人工智能的技术领域，具体涉及一种基于无人机影像的道路裂缝检测方法。

背景技术

高速公路是重要的交通基础设施，对社会、经济和工业发展至关重要。道路裂缝的快速分割能使危险道路状况得到快速掌握，确保路面高效维护和交通的后续恢复。与车载摄像机获取的传统道路影像相比，无人机(UAV)影像可以被快速获取，并覆盖大区域范围内的道路，特别是，当基础设施受到地震和其他灾害的严重破坏时，无人机摄影可以为道路监测提供有效的数据源。

数字图像处理技术曾广泛应用于裂纹分割，主要方法包括阈值分割、边缘检测和种子生长等，然而，这些方法往往使用浅层图像信息，包括纹理、边缘和灰度等，因此很容易受到照明和噪声等环境因素的干扰。传统的机器学习方法，如支持向量机、最小生成树和随机结构森林也被用于裂缝分割研究，但这些方法需要在早期阶段手动分析图像特征，相比之下，深度学习方法可以自动提取浅层和深层图像特征，确保了机器视觉任务的稳定性和高精度，由于这些优势，近些年深度学习被广泛应用于裂纹分割。

以往关于道路裂缝分割的研究主要使用智能手机或车载摄像头来捕获道路图像，传统模型可能不适合对无人机图像进行裂缝分割，这是因为无人机图像中的裂缝更小、更窄，并且裂缝包含的纹理特征更少，即使在高分辨率无人机遥感图像中，裂缝通常也只占少数像素，网络模型中的多次下采样有利于抽象特征提取，但这也导致了无人机影像中裂纹信息的丢失。因此，应着重考虑改善无人机图像中道路裂缝纹理和裂缝边缘信息的技术，有效利用有限的裂纹信息和增强裂纹边缘是网络设计的关键因素。

发明内容

本发明提供一种基于无人机影像的道路裂缝检测方法，在现有U-Net神经网络基础上进行网络模型的改进，使之适用于在无人机影像中准确分割道路细微裂缝的应用场景，为在地震等极端自然灾害发生后，快速掌握道路破损状况，为后续道路维修及救灾工作提供技术支持。

本发明可通过以下技术方案实现：

一种基于无人机影像的道路裂缝检测方法，包括以下步骤：

步骤一、利用无人机采集道路裂缝图像，构建图像数据集；

步骤二、构建改进U-Net神经网络模型，共七层，包括编码器和解码器，所述解码器包括三层，其最后一层中设置有CBAM注意力模块，编码后的各层特征图经上采样至原始输入图像大小，再与解码器中最后一层输出的特征图进行深浅层信息融合，然后进入CBAM注意力模块，所述CBAM注意力模块用于从通道层面和空间层面重新分配权重，得到更加聚焦裂缝的目标特征图；

步骤三、基于图像数据集，对构建好的改进U-Net神经网络模型进行训练和测试，并利用训练好的改进U-Net神经网络模型对待检图像进行检测。

进一步，所述CBAM注意力模块包括串行设置的通道注意力模块和空间注意力模块，所述通道注意力模块用于对融合后的特征图分别在通道方向进行最大池化和平均池化，再经过两层共享参数的全连接层后，将得到的两个特征图相加得到通道特征ChannelAttention，最后将其与输入通道注意力模块原始的融合后的特征图相乘，得到经通道层面权重分配后的通道特征图；

所述空间注意力模块用于将通道特征图分别在空间方向上进行最大池化和平均池化，再用1×1卷积将通道数降为1，得到空间特征Spatial Attention，最后将其与输入空间注意力模块原始的通道特征图相乘，得到更新特征图。

进一步，所述CBAM注意力模块设置在解码器中最后一层的1×1卷积操作之前。

进一步，所述编码器包括四层，前三层均包括两个卷积操作和一个最大池化操作，最后一层仅包括两个卷积操作；

所述解码器的三层均包括一次反卷积操作和两个卷积操作。

进一步，所述卷积操作采用3×3的卷积核，所述最大池化操作的最大池化层的步长为2。

进一步，将采集到的道路裂缝图像裁切至统一尺寸，再采用旋转与翻转策略，扩充图像样本，建立图像数据集。

本发明有益的技术效果在于：

1.改进U-Net神经网络结构中编码器部分采用适当次数的下采样层，由于无人机影像中的裂缝更为细小，裂缝通常只占少量像素，因此，适当次数的下采样能减少无人机道路影像中少量有限道路裂缝信息的大量损失，同时保障道路裂缝抽象信息的提取。

2.改进U-Net神经网络结构采用了融合长短跳跃连接融合的策略，对编码后的各层特征进行上采样至原始输入图像大小，再与解码后的最后一层进行信息融合，充分融合深层裂缝空间位置信息和浅层裂缝形态细节信息。同时，在解码器末端添加CBAM注意力模块，对融合深浅层信息后的特征图进行通道层面和空间层面的权重再分配处理，使网络聚焦于有益的道路裂缝信息，改善了裂缝边缘部分的分割，提高了分割精度，更加适用于无人机道路影像的处理，检测精度更高。

3.本发明的裂缝检测方法利用公共数据集进行训练，然后用训练好的网路对待测图像进行预测，为地震等灾后需要快速掌握道路破损情况时提供了一种有效方法，另外，为了提高网络对新数据的预测性能，在训练过程中，采用数据扩充策略增大数据量从而提升网络的泛化性能。

附图说明

图1为本发明的总体流畅示意图；

图2为本发明的改进U-Net神经网络模型的结构示意图；

图3为采用本发明的检测方法和其他方法对无人机影像高速公路裂缝进行检测的对比示意图。

具体实施方式

下面结合附图及较佳实施例详细说明本发明的具体实施方式。

如图1所示，本发明提供了一种基于无人机影像的道路裂缝检测方法，首先，收集由无人机拍摄的高速公路影像制作图像数据集，其次，提出一种改进的U-Net神经网络模型，较现有U-Net神经网络主要有以下两个创新点：1、改善了编码器，使其包含适当的下采样层数；2、融合了长短跳跃连接的策略以及添加了通道与空间双重注意力模块，提升了无人机影像中道路裂缝的分割精度；同时，在训练过程中增加了数据扩充的策略，增大训练集数据量，使网络得到充分训练并获得较好的泛化能力。本发明提供了一种利用改进的网络模型结构快速检测高速公路裂缝的新方法，尤其在发生地震等自然灾害后，需要对道路开裂状况进行快速响应的情况下，是一种有效的检测手段。具体如下：

步骤一、利用无人机采集道路裂缝图像，构建图像数据集；

从无人机高速公路影像公共数据集获取道路裂缝影像，将图像裁切至统一尺寸大小，如512×512，然后利用labelme软件在裂缝相应的位置做标签，道路裂缝标记为1，背景标记为0，组成图像数据库，从中选取80％作为训练网络模型的数据集，20％用于验证训练后的网络的预测性能；

为了提高网络的泛化性能，在网络训练过程中采取了数据扩充策略，考虑到裂缝方向往往分为横向与纵向，方向较为单一，故在数据扩充策略中着重考虑旋转与翻转策略，其中，旋转可分为八个特定的角度，如0°,45°,90°,135°,180°,225°,270°和315°，翻转操作包括水平翻转和垂直翻转。

步骤二、构建改进U-Net神经网络模型，如图2所示，共七层，包括编码器和解码器，该编码器包括四层，将现有U-Net神经网络中编码器要进行四次下采样操作减少为三次，其中，前三层均包括两个卷积操作和一个最大池化操作，最后一层仅包括两个卷积操作，这样在原始输入图像输入网络模型后，在第1层经过两个3×3卷积操作后进行最大池化操作，再进入第2层；在第2层经过两个3×3卷积操作后进行最大池化操作，再进入第3层；在第3层经过两个3×3卷积操作后进行最大池化操作，再进入第4层；在第4层经过两个3×3卷积后进入第5层，随后进入解码器阶段，完成编码工作。

该解码器对应编码器，包括三层，进行三次反卷积操作，并且在最后一层中设置有CBAM注意力模块。在解码阶段融合了长短跳跃连接策略，现有U-Net神经网络在解码器各层的特征图分别与解码器各层中大小相同的特征图相连接，而本发明的改进U-Net神经网络结构在编码器阶段的各层特征图直接上采样至原始输入图像大小，再与解码器末端第七层输出的特征图相连，进行深浅层信息融合，融合后的特征图进入解码器末端的CBAM(Convolutional Block Attention Module)注意力模块，该模块设置在解码器第七层的1×1卷积操作之前，用于从通道层面和空间层面重新分配权重，得到更加聚焦裂缝的目标特征图，主要包含通道注意力模块与空间注意力模块，它们以串行的方式添加在改进的网络模型中。

具体地，如输入经过裁切后尺寸为512×512×3的无人机道路遥感影像，经过两次3×3卷积及一次最大池化(步长为2)操作得到大小为256×256×64的特征图，接着进行两次3×3卷积及最大池化(步长为2)操作得到大小为128×128×128的特征图，紧接着仍进行两次3×3卷积操作和最大池化(步长为2)操作，得到大小为64×64×256的特征图，最后进行两次3×3卷积操作，得到大小为64×64×512的特征图，完成解码工作，进入解码器阶段。

解码过程对应于网络结构的5-7层，每一层都包括一次3×3的反卷积操作和两次3×3的卷积操作，得到的特征图大小分别为128×128×256，256×256×128和512×512×64。在第7层两次3×3卷积过程之后，连接先前在编码阶段采用长短跳跃连接策略融合得到的特征图。即将编码器阶段各个不同大小的特征图均进行一次上采样至原始输入图像大小512×512，并在通道方向与解码器最后一层的特征图相加，最后，融合后的特征图进入CBAM注意力模块，它分为通道注意力模块Channel Attention module和空间注意力模块Spatial Attention module，两个模块串行排列，其中通道注意力模块在特征图输入后分别在通道方向进行最大池化和平均池化，得到的两个特征图经过两层共享参数的全连接层后，将得到的两个特征图相加得到各个特征通道的权重，即通道特征Channel Attention。通过乘法逐通道加权到输入通道注意力模块前的特征图上，得到在通道层面权重重新分配后的通道特征图；

随后，该通道特征图进入空间注意力模块，同样分别经过空间方向上的最大池化和平均池化，再用1×1卷积将通道数降为1，得到的空间特征Spatial Attention与进入该空间注意力模块的通道特征图相乘，即得到经过整个CBAM注意力模块后的更新特征图，此时得到的更新特征图，最后通过1×1卷积得到最终特征图。

步骤三、基于图像数据集，对构建好的改进U-Net神经网络模型进行训练和测试，并利用训练好的改进U-Net神经网络模型对待检图像进行检测。

可采用以以下指标用于评估本发明所提出的改进模型：平均交并比(mIoU)、精准率(P)、召回率(R)和整体性能(F1)，其中，TP为预测正例正确，FP为预测正例错误，TN为预测负例正确，FN为预测负例错误，这些指标计算如下：

为了验证本发明的检测方法的可行性，我们选取的无人机图像拍摄于2020年1月19日中国新疆维吾尔自治区喀什地区伽师县发生6.4级地震后，无人机图像的分辨率为5厘米，飞行高度约为200米。使用该数据集对网络进行测试，研究该模型对新道路裂缝数据的预测性能，检测结果如下表所示：

上表显示经典的语义分割网络如FCN，SegNeg，PSPNet，DeepLabV3及Unet，和部分同类研究中提出的网路网络模型在新数据中的预测性能。通过对比，本发明提出的改进网络模型(U-Net-light-CBAM)在F1及MIoU指标上表现最好，在裂缝准确度上虽不及Unet，但是假阳问题得到了明显改善。附图3是选取了上表中表现较好的网络模型与我们提出的改进模型进行道路预测结果的比较，其中，(a)表示输入图像，(b)表示标签；(c)表示PSPNet的分割结果，(d)表示Augustauskas提出的U-Net的分割结果，(e)表示U-Net的分割结果和(f)表示本发明提出的网路模型的分割结果图。本发明提出的方法在道路裂缝的完整性和边缘细节方面均得到了明显的改善，从而验证了该方法的有效性。

虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些仅是举例说明，在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，因此，本发明的保护范围由所附权利要求书限定。

Claims (6)

1.一种基于无人机影像的道路裂缝检测方法，其特征在于包括以下步骤：

步骤一、利用无人机采集道路裂缝图像，构建图像数据集；

步骤二、构建改进U-Net神经网络模型，共七层，包括编码器和解码器，所述解码器包括三层，其最后一层中设置有CBAM注意力模块，编码后的各层特征图经上采样至原始输入图像大小，再与解码器中最后一层输出的特征图进行深浅层信息融合，然后进入CBAM注意力模块，所述CBAM注意力模块用于从通道层面和空间层面重新分配权重，得到更加聚焦裂缝的目标特征图；

步骤三、基于图像数据集，对构建好的改进U-Net神经网络模型进行训练和测试，并利用训练好的改进U-Net神经网络模型对待检图像进行检测。

2.根据权利要求1所述的基于无人机影像的道路裂缝检测方法，其特征在于：所述CBAM注意力模块包括串行设置的通道注意力模块和空间注意力模块，所述通道注意力模块用于对融合后的特征图分别在通道方向进行最大池化和平均池化，再经过两层共享参数的全连接层后，将得到的两个特征图相加得到通道特征Channel Attention，最后将其与输入通道注意力模块原始的融合后的特征图相乘，得到经通道层面权重分配后的通道特征图；

所述空间注意力模块用于将通道特征图分别在空间方向上进行最大池化和平均池化，再用1×1卷积将通道数降为1，得到空间特征Spatial Attention，最后将其与输入空间注意力模块原始的通道特征图相乘，得到更新特征图。

3.根据权利要求2所述的基于无人机影像的道路裂缝检测方法，其特征在于：所述CBAM注意力模块设置在解码器中最后一层的1×1卷积操作之前。

4.根据权利要求1所述的基于无人机影像的道路裂缝检测方法，其特征在于：所述编码器包括四层，前三层均包括两个卷积操作和一个最大池化操作，最后一层仅包括两个卷积操作；

所述解码器的三层均包括一次反卷积操作和两个卷积操作。

5.根据权利要求4所述的基于无人机影像的道路裂缝检测方法，其特征在于：所述卷积操作采用3×3的卷积核，所述最大池化操作的最大池化层的步长为2。

6.根据权利要求1所述的基于无人机影像的道路裂缝检测方法，其特征在于：将采集到的道路裂缝图像裁切至统一尺寸，再采用旋转与翻转策略，扩充图像样本，建立图像数据集。

Images