CN113284107A - 一种引入注意力机制改进型U-net的混凝土裂缝实时检测方法 - Google Patents

Abstract

本发明涉及一种引入注意力机制改进型U‑net的混凝土裂缝实时检测方法，属于图像检测领域。该方法包括：S1：获取数据集；S2：对数据集内图片中的裂缝进行逐像素标注；S3：构建引入注意力机制改进型U‑net的卷积神经网络分割模型，基于传统U‑net网络的基础上，使用MobileNet作为骨干网络，在编码部分引入通道注意力模块，在解码部分引入空间注意力模块；S4：将数据集图片送入改进的网络模型进行训练；S5：将训练好的最优模型封装到检测平台；S6：使用移动采集平台采集传输图片至移动终端；S7：使用移动终端上传图片至检测平台进行检测。本发明可实现边采集边检测，增加混凝土表面结构损伤检测人员的工作效率。

Description

一种引入注意力机制改进型U-net的混凝土裂缝实时检测 方法

技术领域

本发明属于图像检测领域，涉及混凝土结构健康检测与评估领域，具体涉及一种引入注意力机制改进型U-net的混凝土裂缝实时检测方法。

背景技术

在工程建设领域中，混凝土已经被广泛的运用到公共交通设施建设、居民住宅建设以及公共服务设施建设之中，并取得了重大的成果，方便了人们的日常生活。然而混凝土设施在运营使用的过程中会不可避免地受到各类复杂因素(如雨雪冲刷、荷载冲击、地震、泥石流等)的干扰，这些因素会降低混凝土结构强度，最终导致混凝土表面产生不同形状的损伤，降低混凝土设施的使用寿命，并因此产生安全隐患。在诸多混凝土损伤中，混凝土结构裂缝是其中最为显著和致命的损伤。如何快速准确地对现有混凝土结构裂缝进行检测是工程建设领域中的关键问题。

传统的混凝土裂缝检测方法以人工检测为主，但人工检测具有很大的局限性，无法实时、精准、快速的检测出混凝土的裂缝损伤，从而影响对各类混凝土设施的维护。目前，对于裂缝检测的方式主要分为两大类：

1)传统图像检测。

传统图像检测采用数字图像处理技术进行自动化混凝土检测，相较于以往人工检测而言具有一定程度上的改进，但是仍然存在问题，传统数字图像处理技术大多基于混凝土裂缝的特定特征进行检测，在进行检测前工程师必须依靠自身的经验对算法模型进行数据调参，寻找最佳的匹配参数，当检测环境发生改变时，工程师也必须改变算法模型的参数，这导致算法模型的鲁棒性不足且工程师需要耗费大量的时间进行模型调整，无法完全摆脱工程师的主观因素的影响，从而影响检测结果。

例如，赵芳等人基于传统的Canny算子在道路裂缝检测中针对噪声和边缘检测的问题，提出一种改进的Canny边缘检测方法(将多尺度形态学和双边滤波结合)；周慧媛等人在基于对比度受限时针对多种路面裂缝检测与识别提出利用CLAHE和中值滤波去噪，利用形态学去除图像中的伪裂缝；韦春桃等人在基于自适应阈值的细小裂缝与微灰度差异裂缝自动检测方法中，提出了一种基于自适应阈值的裂缝自动检测方法；姚立平等人在基于图像处理的路面裂缝检测***设计与研究中，提出一种基于Matlab的图像裂缝检测***。

这些传统的图像检测方法虽然在一定程度上解决了人工检测耗时耗力的问题。但仍然存在一定的局限性，如检测精度不高、鲁棒性较差等问题。

2)使用深度学习的方法对裂缝进行检测。

针对传统图像检测方法的不足，研究人员开始研究使用深度学习的方法对裂缝进行检测。虽然深度学习用于裂缝检测相比于传统图像处理技术在检测精度和鲁棒性上有所提高，但都需要专业的工程师去采集图像，最后将采集的图像带到实验室使用电脑进行检测，仍然耗时耗力。

例如，Zhang L.等人采用深度卷积神经网络对路面裂缝进行自动检测，该方法在强噪声环境中具有很好的识别效果，但在弱噪声环境下表现一般。Yun Liu等人提出一种使用多种卷积特征的边缘检测方法，该网络充分利用目标对象的多尺度和多级信息，通过融合所有卷积特征使训练图像接近目标图像，但网络模型较大增加了复杂度及检测时间。Jianghong Tang等人为了提高Faster R-CNN模型对小尺度的检测精度，提出一种基于Faster R-CNN(ME-Faster R-CNN)的多任务增强大坝裂缝图像检测方法，但使用该方法不能检测图像中全部的裂缝特征。

目前，上述各种基于深度学习的裂缝检测算法相较于传统图像处理算法具有一定的提升，但检测精度和时效性仍然达不到实际工程应用的要求。

发明内容

有鉴于此，本发明的目的在于提供一种引入注意力机制改进型U-net的混凝土裂缝实时检测方法，用于提高裂缝检测精度以及实现在线检测。

为达到上述目的，本发明提供如下技术方案：

一种引入注意力机制改进型U-net的混凝土裂缝实时检测方法，包括以下步骤：

S1：获取数据集，包括训练集和测试集；

S2：对步骤S1中数据集内图片中的裂缝进行逐像素标注，形成密闭空间；

S3：构建引入注意力机制改进型U-net的卷积神经网络分割模型，该模型基于传统U-net网络的基础上，使用MobileNet作为骨干网络进行裂缝特征提取，在编码部分引入通道注意力模块，在解码部分引入空间注意力模块；

S4：将步骤S2中标注后的训练集图片输入步骤S3构建的引入注意力机制改进型U-net的卷积神经网络分割模型进行训练；

S5：将步骤S4中训练好的最优模型封装到检测平台；

S6：使用移动采集平台采集传输图片；

S7：使用移动终端上传图片至检测平台进行检测。

进一步，步骤S1中，获取数据集，具体包括：获取包含阴雨、大雾、遮阴、半遮阴等天气中复杂因素作用下产生的不同形状的混凝土裂缝损伤图片；人工进行实地拍摄损伤裂缝，并按照损伤裂缝形状进行划分，再使用图像增广技术扩充数据量，将增广后的各类别裂缝损伤图片与网上搜集到的各类型裂缝图片进行混合，最后创建出包含各类混凝土裂缝的数据集。

进一步，步骤S3中，在编码部分引入通道注意力，具体包括：在U-net编码器部分每一层均加入通道注意力模块，使得在编码的过程中逐层注意裂缝特征，进一步增强网络对图像裂缝细节特征的提取能力，提高检测精度。

进一步，步骤S3中，在解码部分引入空间注意力，具体包括：在U-net解码器部分每一层均加入空间注意力模块，使得网络根据各个区域权重的大小能更加专注于对裂缝像素进行定位与预测，减弱网络提取背景像素特征，抑制背景干扰。

进一步，步骤S3中，在U-net解码部分将上一层经过上采样(Upsample)和通道注意力模块的特征图与只经过上采样的特征图进行融合送入轻量化网络MobileNet中。

进一步，步骤S4中，训练改进型U-net的卷积神经网络分割模型，具体包括：采用SGD优化器进行训练，使用二元交叉熵函数(BCEWithLogitsLoss)作为训练过程损失函数，训练150轮，学习率设置为0.001，动量设置为0.9，批训练的大小设置为4，其中二元交叉熵函数为：

其中，L_BCE-loss表示损失值，N表示一张混凝土图像的总像素数目，L_i和y_i分别表示第i个像素点的标签值与预测概率值。

进一步，将S4中训练好的网络模型封装到混凝土裂缝检测平台；

使用混凝土裂缝图像移动采集平台，用于在混凝土结构表面进行实时图像采集传输；

使用移动终端，用于接收保存图像采集***采集的实时图片，并将图片上传至混凝土裂缝图像检测平台；

使用混凝土裂缝图像检测平台，对移动终端请求检测的图像进行实时检测；并将检测的结果反馈至移动终端，移动终端显示检测结果并控制采集平台移动。

本发明的有益效果在于：

1)相比于传统U-net网络，本发明将MobileNet作为骨干网络，使得网络轻量化，提高运算速度；

2)相比于传统U-net网络，为了更好的提取裂缝特征，本发明选择在编码部分加入通道注意力模块，利用通道注意力能注意目标的特性，在每一层编码后均使用通道注意力使得裂缝特征逐层明显。在解码部分加入空间注意力模块，空间注意力模块针对编码部分加入通道注意力产生的注意裂缝特征图，对特征图的每一个区域进行空间注意力加权，使得网络根据各个区域权重大小能逐层专注于对裂缝像素进行定位与预测。增强网络对裂缝细节特征的提取能力，提高检测精度。

3)本发明设计的混凝土裂缝图片采集平台与混凝土损伤检测平台能够实现边采集边检测，节省人力，提高检测效率，可工程化应用等优点。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1为本发明混凝土裂缝实时检测方法实施示意图；

图2为图像检测平台工作示意图；

图3为本发明引入注意力机制改进的U-net网络结构图；

图4为骨干网络MobileNet示意图；

图5为通道注意力模块示意图；

图6为空间注意力模块示意图；

图7为本发明方法与传统图像处理、FCN、AttU-Net方法裂缝检测效果对比图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

请参阅图1～图7，本实施例设计了一种引入注意力机制改进型U-net的混凝土裂缝实时检测方法用于提高检测精度，同时实现边采集边检测，该方法具体包括以下步骤：

步骤1：收集数据集，包括不同天气条件中混凝土建筑、道路、桥梁壁面等混凝土表面损伤裂缝，针对上述裂缝，进行专门的实地拍摄裂缝并对损伤裂缝按照表面形状进行划分，再通过旋转、平投影变换、缩放、随机剪裁等方式扩增数据量，将增广后的各类别损伤裂缝与网上搜集到的各类型裂缝图片进行混合，最后创建出混凝土裂缝数据集。按照8：2：1的比例将数据集划分为训练集、验证集与测试集。

步骤2：使用Labelme软件对数据集的图片中裂缝进行逐像素标注，形成完整闭环。

步骤3：如图3所示，改进传统U-net网络并引入通道注意力(ECA)和空间注意力(AG)构建卷积神经网络分割模型。具体如下：

1)改进的U-net网络采用轻量化卷积网络MobileNet(如图4所示)作为骨干网络进行裂缝特征提取，降低网络的复杂度，减轻模型重量，提高算法的实时性。

2)特征提取的收缩路径，具体为：对于输入的混凝土图像，在第1层使用一次卷积操作，完成卷积操作后将生成的特征图送入通道注意力模块，对经过通道注意力模块后的特征图进行最大池化操作后进入第2层，在第2层将特征图进行一次深度残差卷积后送入通道注意力模块，对经过通道注意力模块后的特征图进行最大池化操作后进入第3层，在第3层将特征图进行一次深度残差卷积后送入通道注意力模块，对经过通道注意力模块后的特征图进行最大池化操作后进入第4层，在第4层将特征图进行一次深度残差卷积后送入通道注意力模块，对经过通道注意力模块后的特征图进行最大池化操作后进入第5层。在第5层将特征图进行一次深度残差卷积后送入通道注意力模块，对经过通道注意力模块后的特征图进行最大池化操作。

其中，在编码部分，上述特征图每次经过通道注意力模块时，通道注意力将进一步注意特征图中裂缝特征，通过在编码部分逐层增强通道注意力模块，从而逐层增加网络对裂缝细节特征的提取。如图5所示，在不改变维数的情况下，通道注意力模块利用全局平均池化方法对编码部分输入裂纹特征图

进行池化，然后利用一维卷积和SigMoid激活函数学习通道注意力α。在卷积过程中设置卷积核大小为3，使网络更注重学习裂纹本身的特征，更好地在编码部分进行裂缝特征的提取。具体公式如下：

α＝σ_S(W_k⊙(P(y_l-1))+b_y)

y_l＝α(y_l-1)

其中，σ_S代表激活函数，W_k代表卷积核，⊙代表卷积操作，P代表全局平均池化操作，b_y代表偏置项。输入特征图通过通道注意力模块后增加了通道注意力权重α，从而提取到更多的裂缝细节特征，提高模型对于裂缝细节特征的提取能力。

3)分割预测的扩张路径，具体为：在第6层对第5层输出的特征图进行上采样，再将上采样后的特征图与第4层经过通道注意力模块后的特征图作为空间注意力模块的2个输入送入，经过空间注意力模块后输出1个特征图，再将特征图与第4层输出的特征图进行拼接后进行一次深度残差卷积后进入第7层；在第7层对第6层输出的特征图进行上采样，再将上采样后的特征图与第3层经过通道注意力模块后的特征图作为空间注意力模块的2个输入送入，经过空间注意力模块后输出1个特征图，再将特征图与第3层输出的特征图进行拼接后进行一次深度残差卷积后进入第8层；在第8层对第7层输出的特征图进行上采样，再将上采样后的特征图与第2层经过通道注意力模块后的特征图作为空间注意力模块的2个输入送入，经过空间注意力模块后输出1个特征图，再将特征图与第2层输出的特征图进行拼接后进行一次深度残差卷积后进入第9层，在第9层对第8层输出的特征图进行上采样，再将上采样后的特征图与第1层经过通道注意力模块后的特征图作为空间注意力模块的2个输入送入，经过空间注意力模块后输出1个特征图，再将特征图与第1层输出的特征图进行拼接后进行一次深度残差卷积后进入第10层，在第10层进行一次卷积操作后，模型输出结果。

其中在解码部分，上述特征图每次经过空间注意力模块时，空间注意力模块可以对特征图的每一个区域进行空间注意力加权，使得网络逐层专注于对裂缝像素进行定位与预测，减弱网络提取背景像素特征。如图6所示，空间注意力模块主要包含卷积层、批归一化层以及激活函数层。具体公式如下：

q＝σ_R(B(W_k⊙x_l-1+b_x)+B(W_k⊙y_l-1+b_y))

β＝σ_S(B(W_k⊙q+b_q))

y_l＝β(x_l-1,y_l-1)

其中，y_l-1代表输入特征图(即降采样后同层的特征图)，x_l-1为编码器特征图(即输入特征图)。对y_l-1和x_l-1进行一维的通道卷积和归一化处理，然后通过ReLU、一维的通道卷积和SigMoid激活函数生成权值。最后，将输入的特征图与注意力系数和权重图逐像素相乘，得到空间注意力系数β∈[0,1]。σ_R对应ReLU激活函数，σ_S对应SigMoid激活函数，b_q和b_y为偏置项，B_x和B_y为归一化操作。

4)设置第1层和第10层使用的卷积操作所选取的卷积核大小均为1*1，步长均为1，第1层至第10层采用的卷积核数目是1、64、128、256、512、1024、512、256、128、1。

步骤4：设置网络训练参数。在训练过程中，采用SGD优化器进行训练，即每一次计算梯度时，其会在训练集中随机选择一个训练样本来更新参数。使用二元交叉熵函数(BCEWithLogitsLoss)作为训练过程损失函数，训练150轮，batch-size大小为4，输入图像尺寸大小为448×448,学习率λ为0.001，迭代次数为150个epoch，进行训练。

步骤5：将训练集与验证集送入步骤3构建的引入注意力机制改进型U-net的卷积神经网络分割模型并使用步骤4设置的网络参数进行训练与验证，保存训练的模型。

步骤6：对比实验：根据训练的模型数据画出LOSS曲线，找出LOSS较低的模型，使用该模型对比Adaptive Threshold、Canny、FCN、AttU-Net算法对Test图片进行裂缝检测，使用准确率(Precision)、召回率(Recall)、F₁分数(F₁-score)以及平均交并比(meanIntersection over Union，mIoU)四种指标进行模型评价。

模型评价指标具体构成如下：

FP表示将背景错误的判断为裂缝的像素总数量，TP表示裂缝区域的像素被正确提取出来的总数目。FN表示本来属于裂缝区域但是被误判断为背景的像素总数量。为了更精确的评估F₁分数引入准确率(Precision)、召回率(Recall)。计算公式如下：

表1本发明算法与其他算法各指标对比

表2本发明算法与其他算法检测速度对比

实验结果表明，如表1、2所示，本发明使用MobileNet作为骨干网络，在编码部分引入通道注意力，在解码部分引入空间注意力改进传统U-net算法在准确率，召回率，F₁分数(F₁-score)以及平均交并比(mIoU)，相比于传统图像处理算法以及FCN、U-net中引入注意力机制，提高了裂缝检测的精度，能够在多种环境下精确、快速的检测到混凝土裂缝，之后将该模型封装到检测模块，方便调用。

步骤7：构建检测***的收发模块。检测***采用HTTP中的GET与POST请求完成收发，整个***的数据传输基于无线网络传输数据信息。

步骤8：构建检测***的软件框架。采用基于python语言开发的轻量级web端框架Flask。其中Flask框架配置自由灵活，扩展性强，易于封装。本方法的整体框架采用Flask将检测模块与收发模块综合构建为一个整体。

步骤9：采用智能移动设备作为混凝土裂缝图片采集平台。操作人员可通过远程终端控制该设备移动，设备具体构成如下：

1)智能移动设备采用高清摄像头作为混凝土结构图像采集模块，其可实现设备在移动时拍摄稳定的图像。

2)智能移动设备采用高速图传模块，该图传模块可将摄像头采集的图像发送至生成安装接收器的上位机中。

3)智能移动设备使用电源进行供电，提供能源。

4)智能移动设备安装无线通信模块，可通过无线通信模块与终端实现通信。

步骤10：专业检测人员携带智能移动设备到达需要检测的混凝土结构，通过移动终端远程控制智能移动设备在结构表面移动并拍摄照片。

步骤11：智能移动设备将移动过程中拍摄的图片通过图传模块传送到移动终端，移动终端将图像上传至图像检测***请求检测处理，检测***收到检测请求后，调用步骤6的对比实验中训练得到的最优网络模型，从而对输入图片进行混凝土损伤裂缝检测。完成检测后输出一张检测结果图像。

步骤12：对预测的二值图将利用逐像素读取的方法将二值图中的裂缝占整个图片中的比例(白色像素占总像素数量的比例)计算出来。最终将预测结果及混凝土结构损伤数据返回给移动终端，检测人员根据智能移动设备采集图像的预测图及损伤数据评价结构损伤情况。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (7)

1.一种引入注意力机制改进型U-net的混凝土裂缝实时检测方法，其特征在于，该方法包括以下步骤：

S1：获取数据集，包括训练集和测试集；

S2：对步骤S1中数据集内图片中的裂缝进行逐像素标注，形成密闭空间；

S3：构建引入注意力机制改进型U-net的卷积神经网络分割模型，该模型在基于传统U-net网络的基础上，使用MobileNet作为骨干网络，在编码部分引入通道注意力模块，在解码部分引入空间注意力模块；

S4：将步骤S2中标注后的训练集图片送入步骤S3构建的引入注意力机制改进型U-net的卷积神经网络分割模型进行训练；

S5：将步骤S4中训练好的最优模型封装到检测平台；

S6：使用移动采集平台采集传输图片；

S7：使用移动终端上传图片至检测平台进行检测。

2.根据权利要求1所述的混凝土裂缝实时检测方法，其特征在于，步骤S1中，获取数据集，具体包括：获取天气因素作用下产生的不同形状的混凝土裂缝损伤图片；并按照损伤裂缝形状进行划分，再使用图像增广技术扩充数据量，将增广后的各类别裂缝损伤图片与网上搜集到的各类型裂缝图片进行混合，最后创建出包含各类混凝土裂缝的数据集。

3.根据权利要求1所述的混凝土裂缝实时检测方法，其特征在于，步骤S3中，在编码部分引入通道注意力，具体包括：在U-net编码器部分每一层均加入通道注意力模块，使得在编码的过程中逐层注意裂缝特征。

4.根据权利要求1所述的混凝土裂缝实时检测方法，其特征在于，步骤S3中，在解码部分引入空间注意力，具体包括：在U-net解码器部分每一层均加入空间注意力模块，使得网络解码部分逐层专注于对图片裂缝像素进行定位与预测，减弱网络提取背景像素特征。

5.根据权利要求1所述的混凝土裂缝实时检测方法，其特征在于，步骤S3中，在U-net解码部分将上一层经过上采样和通道注意力模块的特征图与只经过上采样的特征图进行融合送入轻量化网络MobileNet中。

6.根据权利要求1所述的混凝土裂缝实时检测方法，其特征在于，步骤S4中，训练改进型U-net的卷积神经网络分割模型，具体包括：采用SGD优化器进行训练，使用二元交叉熵函数作为训练过程损失函数，其中二元交叉熵函数为：

其中，L_BCE-loss表示损失值，N表示一张混凝土图像的总像素数目，L_i和y_i分别表示第i个像素点的标签值与预测概率值。

7.根据权利要求1～6中任意一项所述的混凝土裂缝实时检测方法，其特征在于，该检测方法封装在混凝土裂缝图像检测平台中；

使用混凝土裂缝图像移动采集平台，用于在混凝土结构表面进行实时图像采集传输；

使用移动终端，用于接收保存图像采集***采集的实时图片，并将图片上传至混凝土裂缝图像检测平台；

使用混凝土裂缝图像检测平台，对移动终端请求检测的图像进行实时检测；并将检测的结果反馈至移动终端，移动终端显示检测结果并控制采集平台移动。

Images