CN115984234A

CN115984234A - 一种基于改进Yolov5的桥梁裂缝检测分类方法

Info

Publication number: CN115984234A
Application number: CN202310040120.3A
Authority: CN
Inventors: 于银山; 蒋令杰; 李思敏; 邵明振; 卫晋松; 张慧; 丁萍; 穆天宇; 徐通
Original assignee: Huaiyin Institute of Technology
Current assignee: Huaiyin Institute of Technology
Priority date: 2023-01-12
Filing date: 2023-01-12
Publication date: 2023-04-18

Abstract

本发明公开了一种基于改进Yolov5的桥梁裂缝检测分类方法，步骤如下：使用无人拍摄，提取适当的视频帧保存在计算机中；对保存的图片进行数据集的标注，采用合适的标注工具，标注完成后按比例随机划分数据集为训练集、验证集和测试集；将划分好的数据集配置好路径文件，进行Yolov5模型训练，经过多次实验，选择最合适的超参数；对Yolov5模型进行改进，分别添加注意力机制C3SE和C3CBAM，同样进行模型训练。本发明相较于原模型在平均准确度上有所提高，并且能够解决原模型目标漏检问题，从而提高检查桥梁安全状况的效率。

Description

一种基于改进Yolov5的桥梁裂缝检测分类方法

技术领域

本发明涉及桥梁裂缝检测分类技术，特别是一种基于改进Yolov5的桥梁裂缝检测分类方法。

背景技术

桥梁作为目前出行的重要交通组成，必须要定期对其进行安全状况检查。其中，桥梁裂缝作为最主要的桥梁病害之一，已经严重影响了桥梁的安全状况，更有甚者，还会出现桥梁坍塌事件，这可能会造成不可弥补的伤亡事故。因此，对于桥梁裂缝的检测尤为关键。

桥梁裂缝检测技术的一个突出优势就在于可以进行多种裂缝的检测，但是，如果想要实现将不同种类的裂缝检测出来，就要面临如何将裂缝特征信息提取出来，并加以分类。桥梁裂缝检测技术一个重要指标就是桥梁裂缝特征信息的提取。在实际测量中，裂缝走向不确定，无人机视角下的横向裂缝大多横穿整条道路，裂缝形态蜿蜒曲折；裂缝长度不一且不会单独出现，一条裂缝的形成往往会伴随着多条细小裂缝的产生，裂缝复杂多变。这些种种的因素都会导致裂缝特征信息提取的困难，那么多目标检测的优势便不复存在。因此，着重要解决的就是优化裂缝特征信息的提取，从而更好地对桥梁裂缝进行检测，这对于桥梁安全状况的检查尤为重要。

发明内容

发明目的：本发明的目的是提供一种基于改进Yolov5的桥梁裂缝检测分类方法，从而提高检查桥梁安全状况的效率。

技术方案：本发明所述的一种基于改进Yolov5的桥梁裂缝检测分类方法，包括以下步骤：

步骤1、桥梁图像采集与处理：使用无人机采集桥梁裂缝图像，通过调节无人机高度拍摄对应状态下的桥梁裂缝图像，同时，采集桥梁底部的裂缝图像，将拍摄的视频按适当帧提取图片并保存在计算机中。

步骤2、数据集标注：对步骤1中筛选并保存的图片进行数据集的标注，采用适当的标注工具，标注完成后按比例随机划分数据集为训练集、验证集和测试集。

步骤2.1、数据集标注，标注步骤1中获得的桥梁裂缝图像，使用适合的标注工具，框选出裂缝目标，总计四种裂缝。

步骤2.2、格式转化，对步骤2.1中标注完成的VOC格式数据集进行转化，需要转化为适用Yolo训练的数据集。

步骤2.3、按比例随机划分，对步骤2.2中裂缝数据集按比例随机划分数据集为训练集、验证集和测试集。

步骤3、裂缝检测分类：将步骤2划分好的数据集配置好路径文件，进行Yolov5模型训练，经过多次实验，选择最合适的超参数，找出最佳训练轮数。

步骤3.1、使用原Yolov5模型训练数据集，综合考虑模型的大小、运行效率以及裂缝检测分类的精度来进行权重文件的选择。

步骤3.2、开始训练前，创建自己数据集所对应的路径文件，文件里包含以下要素：训练集裂缝图片和标签路径、验证集裂缝图片和标签路径、裂缝类别数、裂缝类别名称。

步骤3.3、训练运行前阶段，调整相应的超参数设定，具体包含训练权重文件、数据集yaml文件、训练轮数、batch-size、输入尺寸。

步骤3.4、模型预测阶段，将步骤3.3训练完成得到的最好权重文件用于测试文件的预测，从而获得预测出来的裂缝检测分类结果。

步骤4、桥梁裂缝检测分类模型改进步骤：对步骤3中的Yolov5模型进行改进，分别添加注意力机制C3SE和C3CBAM，随后两种改进方式都进行最佳训练轮数的训练。

步骤4.1、针对原Yolov5模型对于多目标复杂图像漏检问题，加入注意力机制来改善。

步骤4.2、在原模型中对C3层进行改进，将主干网络中的C3模块都替换为C3SE模块，然后重新进行模型训练，训练过程参考步骤3中的原模型训练步骤。

步骤4.3、在原模型中对C3层进行改进，将主干网络中的C3模块都替换为C3CBAM模块，然后重新进行模型训练，训练过程参考步骤3中的原模型训练步骤。

所述步骤4.1中采用尺度注意力机制来改善原Yolov5模型对于多目标复杂图像漏检问题。

一种计算机存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的一种基于改进Yolov5的桥梁裂缝检测分类方法。

一种计算机设备，包括储存器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的一种基于改进Yolov5的桥梁裂缝检测分类方法。

有益效果：与现有技术相比，本发明具有如下优点：1、采用改进Yolov5进行桥梁裂缝检测相比于传统的人工检测要更加的高效、安全；2、改进的Yolov5相较于原模型在多目标检测上效果更好，针对漏检问题有个比较好的解决方案。

附图说明

图1为本发明中数据集标注流程图。

图2为本发明中改进Yolov5模型训练部分的流程图。

图3为本发明中数据集标注过程图。

图4为本发明中原Yolov5模型各训练结果图，其中图4(a)为本发明中原Yolov5模型训练过程中的各类函数变化曲线图，图4(b)为本发明中原Yolov5模型训练各个类别的裂缝分类精度变化曲线图，图4(c)为本发明中原Yolov5模型训练验证集结果验证图。

图5为本发明中原Yolov5模型验证集的预测效果图，其中，图5(a)为本发明中验证集真实值，图5(b)为本发明中验证集预测图。

图6为本发明中原Yolov5模型测试集的预测效果图，其中，图6(a)为本发明中测试结果图1，图6(b)为本发明中测试结果图2，图6(c)为本发明中测试结果图3。

图7为本发明中SE和CBAM结构图，其中，图7(a)为本发明中SE结构图，图7(b)为本发明中CBAM结构图。

图8为本发明中加入C3SE训练过程中的各结果图，其中，图8(a)为本发明中加入C3SE训练300轮过程中的各类函数变化曲线图，图8(b)为本发明中C3SE训练300轮各个类别的裂缝平均准确度变化曲线图，图8(c)为本发明中加入C3SE训练300轮验证集结果验证图。

图9为本发明中加入C3CBAM训练过程中的各结果图，其中，图9(a)为本发明中加入C3CBAM训练300轮过程中的各类函数变化曲线图，图9(b)为本发明中加入C3CBAM训练300轮各类别的裂缝平均准确度变化曲线图，图9(c)为本发明中加入C3CBAM训练300轮验证集结果验证图。

图10为本发明中各模型测试效果图，其中，图10(a)为本发明中原Yolov5模型测试效果图，图10(b)为本发明中加入C3SE测试效果图，图10(c)为本发明中加入C3CBAM测试效果图。

具体实施方式

下面结合附图对本发明的技术方案作进一步说明。

如图1-2所示，一种基于改进Yolov5的桥梁裂缝检测分类方法，包括如下步骤：

步骤1、桥梁图像采集，这里选用无人机摄像方式采集图像，无人机首先进行桥梁表面的裂缝图像采集。由于桥梁裂缝多为细小裂缝，为了保证裂缝的完整性与清晰度，因此拍摄高度设置为1.5m、2m、2.5m、3m，随后，进行桥梁底部的裂缝采集；

步骤2、图像数据处理，对步骤1中采集的无人机视频进行帧提取，为了提高模型的鲁棒性和稳定性，需要降低裂缝图像的重复率，每隔30帧提取一次图片较为合适，汇总之后将数据集保存在计算机中；

步骤3、数据集标注，对步骤2中筛选并保存的图片进行数据集的标注，采用LabelImg标注工具，标注完成后按比例随机划分数据集为训练集、验证集和测试集；

步骤3.1、对步骤2中的裂缝图像进行标注，使用LabelImg工具标注，标注时选择矩形框框选对应类别，分别用数字0-3表示横向、纵向、斜向、块状裂缝，标注过程如图3所示；

步骤3.2、格式转化，对步骤3.1中标注完成的VOC格式数据集进行转化，对应的文件后缀名为xml，需要转化为后缀名为txt的适用Yolo训练的数据集；

步骤3.3、按比例随机划分，对步骤3.2中裂缝数据集按比例随机划分数据集为训练集、验证集和测试集，划分比例为8：1：1；划分过程使用Python脚本文件全自动化完成，相较于人工划分更具随机性以及高效性。

步骤4、裂缝检测分类，将步骤3划分好的数据集配置好路径文件，进行Yolov5模型训练，经过多次实验，选择最合适的超参数，结果发现训练300轮最佳；

步骤4.1、先使用原Yolov5模型训练数据集，权重选择Yolov5s.pt，属于模型里的轻量级权重，既能保证检测效率，同时又能保证在检测分类精度上较高；

步骤4.2、开始训练前，需创建自己数据集所对应的yaml文件，文件里包含这些要素：训练集裂缝图片和标签路径、验证集裂缝图片和标签路径、裂缝类别数为4、裂缝类别名称为横向、纵向、斜向、块状裂缝；

步骤4.3、训练运行前阶段，还需要调整相应的超参数设定，具体包含训练权重文件、数据集yaml文件、训练轮数、batch-size、输入尺寸等，对应的参数设置分别为权重文件Yolov5.pt、data.yaml、300、64、640；

步骤4.4、在经过多次模型训练后，训练的轮数300最为合适，按照步骤4.3的过程训练原Yolov5模型，训练过程中的各类函数变化曲线如图4(a)所示；

从图4(a)中可以看出，第一排为训练函数的各函数变化曲线，分别为：边界框损失、目标检测损失、分类损失、精度和召回率；第二排为验证集的各函数变化曲线，分别为边界框损失、目标检测损失、分类损失以及两种平均精度mAP：。各类曲线已经趋向于平稳，边框损失函数也开始平稳下降，其次，训练损失函数已经趋向于稳定，如果再次加大训练轮数可能效果不是很明显；

如图4(b)所示为各个类别的裂缝分类平均准确率变化曲线图，从图中可以看出，原Yolov5模型的总体类别平均准确率为94.7％；

步骤4.5、将原Yolov5模型训练完成后得到的最好权重文件best.pt进行验证集的验证，调整验证文件验证参数，方法同步骤4.3训练参数修改，只需要改变权重文件，运行完毕后结果图如图4(c)所示；

从图4(c)中可以看出，验证集总共454张图片，裂缝的数量总计为1042，其中横向裂缝438个、纵向裂缝311个、斜向裂缝133个、块状裂缝160个，总体的准确率为89.9％、召回率86.5％、平均准确率为92.8％；

从图4(c)的结果可以看出，原Yolov5模型总体的平均准确率和精度都较高，在90％以上，但是召回率相对来说较低，总结原因可能是验证集样本少，从训练集的大的样本上来看，整体召回率也较高；

步骤4.6、原Yolov5模型的验证集验证效果图如图5所示，从图中可以看出，每个类别的裂缝置信度均较高，因此，原Yolov5模型对于裂缝的检测分类效果较为良好；

步骤4.7、利用原Yolov5模型训练得到的最好权重文件best.pt进行测试集的预测，重新选择几张未经过训练的桥梁裂缝图像进行测试，测试结果如图6所示；

从图6中可以看出，前两幅图的预测框框选以及类别判断都较好，第三张图的大部分目标都能检测出，但是还是会出现漏检的情况，考虑其原因可能是样本目标的复杂度较高，因此，需要提高模型的特征提取能力。

步骤5、桥梁裂缝检测分类模型改进步骤，对步骤4中的原Yolov5模型进行改进，分别添加注意力机制C3SE和C3CBAM，随后两种改进方式都进行300轮的训练。

步骤5.1、针对原Yolov5模型对于多目标复杂图像漏检问题，加入注意力机制来改善，计算机视觉中的注意力机制主要分为自注意力和尺度注意两类，自注意力机制对计算机计算和显存要求很高，而尺度注意力机制是根据强化和抑制特征图中的重点部分，进而分配不同的注意力。尺度注意力机制比较典型的有SE，主要对特征图进行压缩、激励、尺度处理，可理解为在通道方向进行加权处理，SE结构图如图7(a)所示。CBAM包含通道注意力和空间注意力两个模块，CBAM是在SE的基础上加入卷积空间信息编码，增强了两个模块的特征表达，CBAM结构图如图7(b)所示；

步骤5.2、在原模型中对C3层进行改进，将主干网络中的C3模块都替换为C3SE模块，然后重新进行模型训练，训练过程及参数描述同步骤4.3，训练300轮过程中的各类函数变化曲线如图8(a)所示；

从图8(a)中可以看出，各类曲线已经基本趋向于平稳，相对比原Yolov5模型函数曲线变化不明显，总体来说，验证集类别损失函数变得更加平稳了一点；

各个类别的裂缝分类平均准确度变化曲线图如下图8(b)所示，从图中可以看出，训练300轮时的总的分类平均准确度为94.8％；

步骤5.3、利用训练300轮以后得到的最好的权重文件best.pt进行验证集的验证，超参数的调整方法类似步骤4.3，需要改变的就是权重文件以及验证集路径，执行验证文件后，其结果图如图8(c)所示；

从图8(c)中可以看出，验证集总共454张图片，裂缝的数量总计为1042，其中横向裂缝438个、纵向裂缝311个、斜向裂缝133个、块状裂缝160个，总体的准确率为89.9％、召回率86.5％、平均准确率为92.8％；

步骤5.4、在原模型中对C3层进行改进，将主干网络中的C3模块都替换为C3CBAM模块，然后重新进行模型训练，训练过程及参数描述同步骤4.4，训练300轮过程中的各类函数变化曲线如图9(a)所示；

从图9(a)中可以看出，各类曲线已经基本趋向于平稳，相对比原Yolov5模型函数曲线变化不明显，总体来说，验证集类别损失函数变得更加平稳了一点；

各个类别的裂缝分类平均准确度变化曲线图如下图9(b)所示，从图中可以看出，训练300轮时的总的分类平均准确度为94.8％；

步骤5.5、利用训练300轮以后得到的最好的权重文件best.pt进行验证集的验证，超参数的调整方法类似步骤4.3，需要改变的就是权重文件以及验证集路径，执行验证文件后，其结果图如图9(c)所示；

从图9(c)中可以看出，验证集总共454张图片，裂缝的数量总计为1042，其中横向裂缝438个、纵向裂缝311个、斜向裂缝133个、块状裂缝160个，总体的准确率为93.7％、召回率89.7％、平均准确率为94.8％，从此结果可以看出，加入C3CBAM比加入C3SE的检测效果更好，在每个指标上都有不小的提升；

步骤5.6、在经过加入注意力机制的模型训练过后，测试对比结果如图10所示,其中mAP、准确率和召回率作为评价指标；

从表1中可以看出，加入注意力机制模块模型在测试结果上的平均准确率相较于原模型有一定提高；

表1加入注意力机制和原模型评估对比表

模型	Precision(％)	Recall(％)	mAP(％)
				yolov5	96.3	98	94.7
yolov5_C3SE	95.6	98	94.8
				yolov5_C3CBAM	96.1	98	94.8

步骤5.7、由图9可以看出，原Yolov5模型对于预测的效果较好，但是也是存在一些不足之处，虽然Yolov5设置了五种不同的网络模型，可以根据不同类型的训练目标选择相应的大、中、小权重文件进行网络训练，并且在Yolov5的检测端设置了3种不同尺寸的输出，提升了Yolov5对多尺度目标的检测能力，但是Yolov5算法在面对复杂多目标类别时会存在漏检情况；

如图10(a)和10(b)所示，为加入注意力机制C3SE和C3CBAM后与原模型的对比预测图；

从图10(a)中可以看出，加入注意力机制后的模型，对于漏检的部分有个很好的检测效果；从图10(b)中可以看出，加入注意力机制后的模型，对于裂缝类别的避免重复检测也有一定的提升。

Claims

1.一种基于改进Yolov5的桥梁裂缝检测分类方法，其特征在于，包括以下步骤：

步骤1、桥梁图像采集与处理：使用无人机采集桥梁裂缝图像，通过调节无人机高度拍摄对应状态下的桥梁裂缝图像，同时，采集桥梁底部的裂缝图像，将拍摄的视频按适当帧提取图片并保存在计算机中；

步骤2、数据集标注：对步骤1中筛选并保存的图片进行数据集的标注，采用适当的标注工具，标注完成后按比例随机划分数据集为训练集、验证集和测试集；

步骤3、裂缝检测分类：将步骤2划分好的数据集配置好路径文件，进行Yolov5模型训练，经过多次实验，选择最合适的超参数，找出最佳训练轮数；

2.根据权利要求1所述的一种基于改进Yolov5的桥梁裂缝检测分类方法，其特征在于，所述步骤2具体为：

步骤2.1、数据集标注，标注步骤1中获得的桥梁裂缝图像，使用适合的标注工具，框选出裂缝目标，总计四种裂缝；

步骤2.2、格式转化，对步骤2.1中标注完成的VOC格式数据集进行转化，需要转化为适用Yolo训练的数据集；

3.根据权利要求1所述的一种基于改进Yolov5的桥梁裂缝检测分类方法，其特征在于，所述步骤3具体为：

步骤3.1、使用原Yolov5模型训练数据集，综合考虑模型的大小、运行效率以及裂缝检测分类的精度来进行权重文件的选择；

步骤3.2、开始训练前，创建自己数据集所对应的路径文件，文件里包含以下要素：训练集裂缝图片和标签路径、验证集裂缝图片和标签路径、裂缝类别数、裂缝类别名称；

步骤3.3、训练运行前阶段，调整相应的超参数设定，具体包含训练权重文件、数据集yaml文件、训练轮数、batch-size、输入尺寸；

4.根据权利要求1所述的一种基于改进Yolov5的桥梁裂缝检测分类方法，其特征在于，所述步骤4具体为：

步骤4.1、针对原Yolov5模型对于多目标复杂图像漏检问题，加入注意力机制来改善；

步骤4.2、在原模型中对C3层进行改进，将主干网络中的C3模块都替换为C3SE模块，然后重新进行模型训练，训练过程参考步骤3中的原模型训练步骤；

5.根据权利要求4所述的一种基于改进Yolov5的桥梁裂缝检测分类方法，其特征在于，所述步骤4.1中采用尺度注意力机制来改善原Yolov5模型对于多目标复杂图像漏检问题。

6.一种计算机存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-5中任一项所述的一种基于改进Yolov5的桥梁裂缝检测分类方法。

7.一种计算机设备，包括储存器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-5中任一项所述的一种基于改进Yolov5的桥梁裂缝检测分类方法。