CN116109616A - 基于YOLOv5的路面裂缝检测及小面元拟合检测方法 - Google Patents

基于YOLOv5的路面裂缝检测及小面元拟合检测方法 Download PDF

Info

Publication number
CN116109616A
CN116109616A CN202310184523.5A CN202310184523A CN116109616A CN 116109616 A CN116109616 A CN 116109616A CN 202310184523 A CN202310184523 A CN 202310184523A CN 116109616 A CN116109616 A CN 116109616A
Authority
CN
China
Prior art keywords
model
yolov5
network
crack
small
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310184523.5A
Other languages
English (en)
Inventor
王崇倡
郑斯文
孙尚宇
张晋赫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Liaoning Technical University
Original Assignee
Liaoning Technical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Liaoning Technical University filed Critical Liaoning Technical University
Priority to CN202310184523.5A priority Critical patent/CN116109616A/zh
Publication of CN116109616A publication Critical patent/CN116109616A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • E—FIXED CONSTRUCTIONS
    • E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01C—CONSTRUCTION OF, OR SURFACES FOR, ROADS, SPORTS GROUNDS, OR THE LIKE; MACHINES OR AUXILIARY TOOLS FOR CONSTRUCTION OR REPAIR
    • E01C23/00—Auxiliary devices or arrangements for constructing, repairing, reconditioning, or taking-up road or like surfaces
    • E01C23/01—Devices or auxiliary means for setting-out or checking the configuration of new surfacing, e.g. templates, screed or reference line supports; Applications of apparatus for measuring, indicating, or recording the surface configuration of existing surfacing, e.g. profilographs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Architecture (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明公开了一种基于YOLOv5的路面裂缝检测及小面元拟合检测方法，包括获取目标检测数据集；图像预处理；图像数据分类标定；数据集划分；搭建网络并进行检测；G‑YOLOv5网络模型训练；损失函数设置；G‑YOLOv5网络模型测试；标定小面元数据集；小面元数据集划分；VIT网络模型训练；VIT网络模型测试；裂缝面积计算。本发明的基于YOLOv5的路面裂缝检测及小面元拟合检测方法能够解决传统的目标检测算法不能准确识别路面裂缝缺陷面积的问题，减少了对裂缝缺陷无效面积的计算，提高了对细小裂缝、模糊裂缝的识别能力；对裂缝区域进行细致的划分，分块拟合可以更大程度的提高裂缝面积的精度，减少计算误差，从而得到更精细的裂缝区域面积。

Description

基于YOLOv5的路面裂缝检测及小面元拟合检测方法
技术领域
本发明属于路面检测的技术领域，尤其涉及一种基于YOLOv5的路面裂缝检测及小面元拟合检测方法，适用于道路养护和管理领域。
背景技术
近年来，随着我国公路大量的投入使用和运输量的不断增大，在长期且反复的汽车荷载和外界自然环境因素的影响下，致使路面出现不同类型、不同程度的病害。其中路面裂缝作为最常见公路病害，会损坏路面的完整性，导致路面的使用性能及安全性能降低，更会加大交通事故的发生率，危害人身安全。因此，为了加强城市基础设施建设，要及时对路面裂缝问题进行排查。其中就包括对路面裂缝类型的检测识别和对裂缝面积的统计，以此来准确高效的对路面裂缝的破损情况进行预测和分析，降低路面维修的费用，减少经济损失。
传统检测主要依靠人力进行，存在检测速度慢、识别精度低、对交通影响大等诸多弊端；基于物理的检测方法费时、费力且存在主观因素，因此无法对病害进行客观准确的评价；基于机器视觉的检测方法，存在易受光照影响、忽视初期病害等问题。提取裂缝面积的图像分割算法有基于阈值的分割算法，具有较小计算量的同时具有一定的局限性；基于边缘检测的分割方法定位较为准确，常被用于对裂缝面积的提取问题；基于聚类的分割方法，该方法根据特征矩阵的相似性将像素聚集，通过迭代各个区域的特征像素点直至收敛，最终实现分割。
随着计算机技术的发展，基于机器视觉的CNN被广泛应用于道路的病害检测中。由于路面裂缝的成因复杂多样、情况各异，导致在对路面裂缝识别与检测的过程中仍存在很多的困难。传统的目标检测算法以及对病害面积的统计计算存在对模糊目标、小目标识别不准确的问题以及对裂缝面积统计不精确的问题。
发明内容
基于以上现有技术的不足，本发明所解决的技术问题在于提供一种基于YOLOv5的路面裂缝检测及小面元拟合检测方法，解决传统的目标检测算法不能准确识别路面裂缝缺陷面积的问题，减少了对裂缝缺陷无效面积的计算，提高了对细小裂缝、模糊裂缝的识别能力。
为了解决上述技术问题，本发明通过以下技术方案来实现：本发明提供一种基于YOLOv5的路面裂缝检测及小面元拟合检测方法，包括：
一、获取目标检测数据集：通过检测车采集大量的路面裂缝样本作为制作数据集的基础；
二、图像预处理：对步骤一获取的路面裂缝样本进行预处理；
三、图像数据分类标定：根据步骤二得到经过预处理的样本图像，对其中的路面裂缝进行分类标注；
四、数据集划分：将路面目标检测数据集划分为三个数据子集，分别为训练集、验证集、测试集；
五、搭建网络并进行检测：搭建基于YOLOv5l模型的改进G-YOLOv5网络模型，使用G-YOLOv5网络对裂缝进行检测，并输出裂缝的类别信息；
六、G-YOLOv5网络模型训练：搭载G-YOLOv5网络的模型，将模型初始化，并将训练集图片导入模型，进行训练；
七、损失函数设置：G-YOLOv5网络训练时的损失函数由边界框回归损失、置信度损失、分类损失组成；
八、G-YOLOv5网络模型测试：引入测试集图片进行模型测试，输出各项检测数值指标，判断损失函数是否趋于稳定，超参数设置是否合理，模型是否达到预期效果；
九、标定小面元数据集：根据获取的目标检测结果，选择最优大小的小面元模块尺寸，将结果中的矩形框进行分块切割并进行分类标注；
十、小面元数据集划分：将所述步骤九获取的小面元数据集划分为两个数据子集，分别为训练集和测试集；
十一、VIT网络模型训练：搭载基于VIT网络的小面元模型，将模型初始化，并将训练集图片导入模型，进行训练；
十二、VIT网络模型测试：引入测试集图片进行模型测试，输出各项检测数值指标，判断损失函数是否趋于稳定，超参数设置是否合理，模型是否达到预期效果；
十三、裂缝面积计算：将一张目标检测结果图像中所有输出为defect的小面元连接在一起，实现拟合操作。
进一步的，所述步骤一获取数据集的方法为：通过车载移动测量***，每隔两米获取一张相片，通过间隔抽取和人工筛选相片集的方式，得到目标最清晰且相邻照片重复度不超过30％的相片，由此共获得41865张街景影像图用于制作数据集。
进一步的，所述步骤二具体包括：
将采集到的街景影像图进行畸变校正、透视变换、图像去噪的预处理，并统一处理为分辨率为1143×714像素大小的正射影像图；
采用Mosaic数据增强和Mixup数据增强的方式对数据集进行数据增广处理。
进一步的，所述步骤三具体包括：
将目标检测数据集中的裂缝类型分为横向裂缝、纵向裂缝、网状裂缝三类；
使用可视化的图像标定工具Labelimg工具对路面裂缝进行标定。
进一步的，所述步骤五选取YOLOv5l网络作为基础模型，进行以下改进：
利用GhostBN代替YOLOv5l网络模型中骨干网络和多尺度特征融合模块中的所有CSP模块；
在骨干网络中添加三处CBAM模块。
进一步的，所述步骤九选取1500张质量较好的目标检测结果图，共标定48×48像素的小面元数据集42632张，数据集分为缺陷和非缺陷两类。
由上，本发明的基于YOLOv5的路面裂缝检测及小面元拟合检测方法与传统方法相比，至少具有以下有益效果：
针对传统目标检测算法对模糊、小目标裂缝识别不准确的问题，本发明在YOLOv5网络模型的基础上，经过对CSP模块的替换以及添加CBAM注意力机制的改进，得到G-YOLOv5网络模型，实现了对模糊裂缝、细小裂缝快速且准确的检测和识别；针对传统目标检测算法对裂缝面积统计不精确的问题，本发明提出了基于VIT网络的小面元拟合算法，对裂缝区域进行细致的划分，分块拟合可以更大程度的提高裂缝面积的精度，减少计算误差，从而得到更精细的裂缝区域面积。
通过检测车拍摄大量样本，制作目标检测数据集，共分为横向裂缝、纵向裂缝、网状裂缝三类；在YOLOv5模型的基础上替换CSP模块并添加CBAM模块得到改进后的G-YOLOv5模型；在目标检测结果的基础上选取部分高质量样本，制作小面元数据集；通过VIT网络实现对裂缝面积的分块计算，最终拟合成真实的裂缝面积，减小冗余计算。本发明减少了对裂缝缺陷无效面积的计算，提高了对细小裂缝、模糊裂缝的识别能力，在提高裂缝识别的精确度、准确率的同时减少了模型参数量，提升了模型运算速度；本发明可用于路面的检修和养护，能够有效降低道路养护和修补的成本。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更简明易懂，以下结合优选实施例，并配合附图，详细说明如下。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见的，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明的基于YOLOv5的路面裂缝检测及小面元拟合检测方法的流程图；
图2为基于YOLOv5模型的改进G-YOLOv5模型结构图；
图3为对小面元图块边缘改进的对比图；其中,(a)为改进前的结果图，(b)为改进后的结果图。
具体实施方式
下面结合附图详细说明本发明的基于YOLOv5的路面裂缝检测及小面元拟合检测方法的具体实施方式。
如图1至图3所示，本发明提供的基于YOLOv5的路面裂缝检测及小面元拟合检测方法，包括以下步骤：
一、获取目标检测数据集：通过检测车采集大量的路面裂缝样本作为制作数据集的基础。
二、图像预处理：对步骤一获取的路面裂缝样本进行预处理。
三、图像数据分类标定：根据步骤二得到经过预处理的样本图像，对其中的路面裂缝进行分类标注。
四、数据集划分：将路面目标检测数据集划分为三个数据子集，分别为训练集、验证集、测试集；数据集划分中三个数据子集的比例为8:1:1。
五、搭建网络并进行检测：搭建基于YOLOv5l模型的改进G-YOLOv5网络模型，使用G-YOLOv5网络对裂缝进行检测，并输出裂缝的类别信息。
六、G-YOLOv5网络模型训练：搭载G-YOLOv5网络的模型，将模型初始化，并将训练集图片导入模型，进行训练；选择在ImageNet上的预训练参数作为初始化参数。
七、损失函数设置：G-YOLOv5网络训练时的损失函数由边界框回归损失、置信度损失、分类损失组成。
八、G-YOLOv5网络模型测试：引入测试集图片进行模型测试，输出各项检测数值指标，判断损失函数是否趋于稳定，超参数设置是否合理，模型是否达到预期效果；选用Parameters、mAP、PFS作为主要的评价指标。
九、标定小面元数据集：根据获取的目标检测结果，选择最优大小的小面元模块尺寸，将结果中的矩形框进行分块切割并进行分类标注；选取1500张质量较好的目标检测结果图，共标定48×48像素的小面元数据集42632张，数据集分为缺陷和非缺陷两类。
十、小面元数据集划分：将所述步骤九获取的小面元数据集划分为两个数据子集，分别为训练集和测试集，训练集和测试集按9:1的比例划分。
十一、VIT网络模型训练：搭载基于VIT网络的小面元模型，将模型初始化，并将训练集图片导入模型，进行训练；将小面元作为patch分块的图片，代替了原本的大图输入网络，能够有效的减少噪声干扰。
十二、VIT网络模型测试：引入测试集图片进行模型测试，输出各项检测数值指标，判断损失函数是否趋于稳定，超参数设置是否合理，模型是否达到预期效果，选用准确率作为主要的评价指标。
十三、裂缝面积计算：将一张目标检测结果图像中所有输出为defect的小面元连接在一起，实现拟合操作。
进一步的，步骤一获取数据集的方法为：通过车载移动测量***，每隔两米获取一张相片，通过间隔抽取和人工筛选相片集的方式，得到目标最清晰且相邻照片重复度不超过30％的相片，由此共获得了41865张街景影像图用于制作数据集。
步骤二具体包括：
将采集到的街景影像图进行畸变校正、透视变换、图像去噪等预处理，并统一处理为分辨率为1143×714像素大小的正射影像图；
采用Mosaic数据增强和Mixup数据增强的方式对数据集进行数据增广处理。
步骤三具体包括：
将目标检测数据集中的裂缝类型分为横向裂缝、纵向裂缝、网状裂缝三类；
使用可视化的图像标定工具(Labelimg工具)对路面裂缝进行标定。
步骤五选取YOLOv5l网络作为基础模型，进行以下改进：
1、利用GhostBN代替YOLOv5l网络模型中骨干网络和多尺度特征融合模块中的所有CSP模块；
2、在骨干网络中添加三处CBAM模块。
本发明的实施例的实现步骤如下：
S10、获取样本集：通过检测车采集样本，获取大量的街景影像图；
S11、筛选影像图：通过间隔抽取和人工筛选相片集的方式，得到目标最清晰且相邻照片重复度不超过30％的相片，由此获得了41865张样本作为制作数据集的基础；
S12、图像预处理：将影像图进行畸变校正、透视变换、图像去噪等预处理，剪裁为1143×714像素大小的正射影像图；
S13、采用Mosaic数据增强和Mixup数据增强的方式对数据集进行数据增广处理。
S20、目标检测数据集的分类：将裂缝划分为横向裂缝、纵向裂缝、网状裂缝三种类型；
S21、目标检测数据集标定：对目标检测数据集进行标定，具体的原则如下：
1、标签的一致性，即标注过程中必须标记图像中所有类的所有实例；
2、标签的准确性，标签必须紧密的包围每个对象，对象和边界框之间不应存在任何空间，任何对象都不应该缺少标签；
3、图像的多样性，应当绘制一天中不同时间、不同天气、不同照明、不同角度的样本图像；
4、保留一部分图像的负样本，即不包含任何标签的背景图像。
S30、建立目标检测数据集：使用可视化的图像标定工具LabelImg对数据集中存在的路面裂缝进行标记；
S31、数据集划分为三个子集，分别为训练集、验证集、测试集，三者比例为8:1:1；
S32、选取样本集中的高质量影像图，建立包含10230张样本的目标检测数据集，每类裂缝相应的样本数量如表1所示。
表1目标检测数据集标注的类型及数量
Figure BDA0004103254790000081
Figure BDA0004103254790000091
S40、基于YOLOv5l模型的改进G-YOLOv5模型，模型的结构如图2所示，主要改进体现在以下两个方面：
1、利用GhostBN模块代替YOLOv5l网络模型的骨干网络和多尺度特征融合模块中的所有CSP模块；
2、在骨干网络中添加三处CBAM模块。
具体的，GhostBN模块是由Ghost Module与BN、ReLU、DWConv堆叠而成，采用了残差结构，使得网络具备长距离的特征信息记忆能力，GhostBN与CSP相比，GhostBN首先采用深度可分离卷积获取部分特征信息，之后通过线性计算获得冗余特征，线性计算与卷积计算相比，线性计算的代价很小，从而能够有效的降低神经网络的参数量，同时能获得相对更多的特征信息；CBAM模块是一种轻量级的注意力模块，可以在空间和通道两个维度上进行注意力操作，用来增强模型的特征提取能力，抑制无用信息对网络的影响；两种注意力模块的具体内容如下：
1、通道注意力模块可以提高对有用特征图的权重，抑制无用信息的权重，通道注意力的表达式如下：
Figure BDA0004103254790000092
其中，σ为sigmoid函数，W0∈RC/r×C，W1∈RC×C/r。
2、空间注意力模块会寻找网络中重要的部分，对其施加更大的权值，抑制周围的无用特征信息，空间注意力的表达式如下：
Figure BDA0004103254790000093
Figure BDA0004103254790000101
其中，σ为sigmoid函数，f7×7为7×7的卷积运算。
在G-YOLOv5模型中添加的第一处CBAM模块是为了筛选图像的特征，抑制噪声干扰，增强有用特征图的通道权重和空间权重，第一次增强骨干网络对大尺度(80×80)特征信息的提取能力，抑制无用的特征图的信息；第二处CBAM模块连接了CBL3与GhostBN3，减少了网络对冗余信息或噪声特征的提取，同时加强对中尺度(40×40)的通道和空间信息的学习能力；第三处CBAM模块连接了CBL4和CBL5，同理是为了增强对小尺度(20×20)的特征学习能力。
S50、模型训练：搭载G-YOLOv5网络的模型，将模型初始化，并将训练集图片导入模型，进行训练；
S51、选择在ImageNet上的预训练参数作为初始化参数。
具体的，ImageNet预训练的模型经过反复的调优，泛化性更好，比随机初始化的参数更容易收敛、更容易获得较高的精度，并且能够提高模型的泛化能力，使模型收敛更快，效果更好。
S60、G-YOLOv5模型测试：引入测试集图片进行模型测试，输出各项检测数值指标，判断损失函数是否趋于稳定，超参数设置是否合理，模型是否达到预期效果；
具体的，通过分析标注文件中真实标注框出现的位置信息，利用k-means聚类分析的方法在自定义的数据集上重新生成候选框的位置信息，根据本数据集目标的大小分为九个候选框位置信息；对YOLOv5的Backbone结构采用迁移学习的方式进行预训练，在训练了200轮后，训练集的损失函数和验证集的损失函数以及测试集的mAP的值都趋于稳定，表示模型已经收敛；因此，可以证明G-YOlOv5模型的各项超参数设置合理，学习效果较好；
G-YOLOv5网络结构对比了Faster R-CNN、SSD、YOLOv4、YOLOv5、VIT-YOLOv5这5种优秀的目标检测网络模型，如表2所示，从表中可以看出G-YOLOv5模型的精度更高、速度更快、模型参数量更少。
表2 G-YolOv5与其他优秀模型的参数对比
Figure BDA0004103254790000111
S70、建立小面元数据集：以目标检测的结果图作为基础，选择最优尺寸的小面元模块对矩形框进行分块切割并进行分类标注；
S71、小面元数据集分为缺陷和非缺陷两类，数据集划分为两个子集，分别为训练集和测试集，二者比例为9:1；
S72、选取目标检测结果中质量较好的1500张样本，对每一张样本进行分块处理，得到42632张48×48像素的小面元数据集。
具体的，在小面元数据集制作的初始阶段预设了三种尺寸，分别是16×16像素、32×32像素、48×48像素；16×16像素和32×32像素的图块制作数据集会导致图像分辨率过低，不能够实现裂缝缺陷的全覆盖，会导致关键信息的丢失明显增多，而且标注过程十分困难，因此将图块的大小设置为统一的48×48像素。
S80、VIT网络模型训练：搭载基于VIT网络的小面元模型，将模型初始化，并将训练集图片导入模型，进行训练；
具体的，在对目标检测结果进行分块处理时，会存在很多超过检测框边界的图块，如图3中的(a)所示，若将整个小面元的面积当做裂缝的面积，则会在目标检测结果上产生多余计算，对面积拟合产生计算误差；本发明将尺寸不足48×48大小的小面元到边界的图块进行切割，如图3中的(b)所示，将切割后的图块一同输入网络，进行预处理后再参与特征识别，进行结果预测，会减少因为边界问题产生的计算误差，增强了网络拟合的准确率。
S90、VIT网络模型测试：引入测试集图片进行模型测试，输出各项检测数值指标，判断损失函数是否趋于稳定，超参数设置是否合理，模型是否达到预期效果；
具体的，小面元拟合计算同样采用了ImageNet上预训练的初始化权重进行迁移学习，训练集和验证集均训练了200轮，两个损失函数曲线都趋于稳定，表示模型已经收敛；训练集的训练精度曲线和验证集的训练精度曲线逐渐趋于稳定，表示模型已经收敛，得到训练集的准确率为86.7％，测试集的准确率为91.8％，测试集较高的准确率证明了模型的各项超参数设置合理，网络学习效果好。
S100、裂缝面积计算：将一张目标检测结果图像中所有输出为defect的小面元连接在一起，实现拟合操作。
具体的，使用小面元拟合算法相比于目标检测结果，可以大大减少裂缝区域的无效面积；减少的无效缺陷面积的大小与裂缝倾斜角度的大小有关，可以粗略的将目标检测结果的斜边边长看做裂缝，设路面裂缝的倾斜角度为θ，θ对应的边长能划分x个48×48的方块，则可以得到θ对应边的长度为48×x，斜边边长为
Figure BDA0004103254790000121
底边边长为cotθ×x；因此，能够通过计算得到目标检测的面积、小面元拟合后的面积以及无效面积，公式如下：
Sdet＝cotθ×x2×482
Figure BDA0004103254790000122
Sreduce＝Sdet-Schunk
其中Sdet表示目标检测得到的面积；Schunk表示小面元拟合的面积；Sreduce表示小面元拟合的面积相较目标检测的面积所减少的无效面积；由此可以进行如下计算：
1、设θ＝30°，x＝10，则Sdet＝399064，Schunk＝46080，Sreduce＝352984；小面元拟合的面积占目标检测面积的11.5％，减少了88.4％的无效面积计算；
2、设θ＝45°，x＝10，则Sdet＝230400，Schunk＝32583，Sreduce＝197817；小面元拟合的面积占目标检测面积的14.1％，减少了85.8％的无效面积计算；
3、设θ＝60°，x＝10，则Sdet＝133022，Schunk＝26604，Sreduce＝106418；小面元拟合的面积占目标检测面积的19.9％，减少了80％的无效面积计算；
4、设θ＝30°，x＝20，则Sdet＝1596258，Schunk＝92160，Sreduce＝1504098；小面元拟合的面积占目标检测面积的5.8％，减少了94.2％的无效面积计算；
5、设θ＝60°，x＝20，则Sdet＝532086，Schunk＝53208，Sreduce＝478877；小面元拟合的面积占目标检测面积的9.9％，减少了89.9％的无效面积计算。
由此可以得到如下的结论：小面元拟合算法减少的无效面积的大小，与裂缝倾斜角度的大小和其对应边长有关，当x不变时，角度θ和无效面积Sreduce呈负相关，即角度越大，减少的无效面积越小；当角度θ不变时，x与无效面积Sreduce呈正相关，即x越大，减小的无效面积越大。
以上实例所述的一种基于YOLOv5的路面裂缝检测及小面元拟合检测方法，采用改进的G-YOLOv5网络模型和基于VIT网络的小面元拟合算法，有效的提高了对模糊、小目标裂缝识别的准确度，同时有效的减少了模型参数量，提高了模型运算速度；小面元分块拟合算法可以大大提高裂缝缺陷的精度，能够得到更精准的裂缝缺陷面积。
最后应说明的是：以上所述是本发明的优选实施方式而已，当然不能以此来限定本发明之权利范围，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和变动，这些改进和变动也视为本发明的保护范围。

Claims (6)

1.基于YOLOv5的路面裂缝检测及小面元拟合检测方法，其特征在于，包括以下步骤：
一、获取目标检测数据集：通过检测车采集大量的路面裂缝样本作为制作数据集的基础；
二、图像预处理：对步骤一获取的路面裂缝样本进行预处理；
三、图像数据分类标定：根据步骤二得到经过预处理的样本图像，对其中的路面裂缝进行分类标注；
四、数据集划分：将路面目标检测数据集划分为三个数据子集，分别为训练集、验证集、测试集；
五、搭建网络并进行检测：搭建基于YOLOv5l模型的改进G-YOLOv5网络模型，使用G-YOLOv5网络对裂缝进行检测，并输出裂缝的类别信息；
六、G-YOLOv5网络模型训练：搭载G-YOLOv5网络的模型，将模型初始化，并将训练集图片导入模型，进行训练；
七、损失函数设置：G-YOLOv5网络训练时的损失函数由边界框回归损失、置信度损失、分类损失组成；
八、G-YOLOv5网络模型测试：引入测试集图片进行模型测试，输出各项检测数值指标，判断损失函数是否趋于稳定，超参数设置是否合理，模型是否达到预期效果；
九、标定小面元数据集：根据获取的目标检测结果，选择最优大小的小面元模块尺寸，将结果中的矩形框进行分块切割并进行分类标注；
十、小面元数据集划分：将所述步骤九获取的小面元数据集划分为两个数据子集，分别为训练集和测试集；
十一、VIT网络模型训练：搭载基于VIT网络的小面元模型，将模型初始化，并将训练集图片导入模型，进行训练；
十二、VIT网络模型测试：引入测试集图片进行模型测试，输出各项检测数值指标，判断损失函数是否趋于稳定，超参数设置是否合理，模型是否达到预期效果；
十三、裂缝面积计算：将一张目标检测结果图像中所有输出为defect的小面元连接在一起，实现拟合操作。
2.根据权利要求1所述的基于YOLOv5的路面裂缝检测及小面元拟合检测方法，其特征在于，所述步骤一获取数据集的方法为：通过车载移动测量***，每隔两米获取一张相片，通过间隔抽取和人工筛选相片集的方式，得到目标最清晰且相邻照片重复度不超过30％的相片，由此共获得41865张街景影像图用于制作数据集。
3.根据权利要求1所述的基于YOLOv5的路面裂缝检测及小面元拟合检测方法，其特征在于，所述步骤二具体包括：
将采集到的街景影像图进行畸变校正、透视变换、图像去噪的预处理，并统一处理为分辨率为1143×714像素大小的正射影像图；
采用Mosaic数据增强和Mixup数据增强的方式对数据集进行数据增广处理。
4.根据权利要求1所述的基于YOLOv5的路面裂缝检测及小面元拟合检测方法，其特征在于，所述步骤三具体包括：
将目标检测数据集中的裂缝类型分为横向裂缝、纵向裂缝、网状裂缝三类；
使用可视化的图像标定工具Labelimg工具对路面裂缝进行标定。
5.根据权利要求1所述的基于YOLOv5的路面裂缝检测及小面元拟合检测方法，其特征在于，所述步骤五选取YOLOv5l网络作为基础模型，进行以下改进：
利用GhostBN代替YOLOv5l网络模型中骨干网络和多尺度特征融合模块中的所有CSP模块；
在骨干网络中添加三处CBAM模块。
6.根据权利要求1所述的基于YOLOv5的路面裂缝检测及小面元拟合检测方法，其特征在于，所述步骤九选取1500张质量较好的目标检测结果图，共标定48×48像素的小面元数据集42632张，数据集分为缺陷和非缺陷两类。
CN202310184523.5A 2023-03-01 2023-03-01 基于YOLOv5的路面裂缝检测及小面元拟合检测方法 Pending CN116109616A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310184523.5A CN116109616A (zh) 2023-03-01 2023-03-01 基于YOLOv5的路面裂缝检测及小面元拟合检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310184523.5A CN116109616A (zh) 2023-03-01 2023-03-01 基于YOLOv5的路面裂缝检测及小面元拟合检测方法

Publications (1)

Publication Number Publication Date
CN116109616A true CN116109616A (zh) 2023-05-12

Family

ID=86267289

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310184523.5A Pending CN116109616A (zh) 2023-03-01 2023-03-01 基于YOLOv5的路面裂缝检测及小面元拟合检测方法

Country Status (1)

Country Link
CN (1) CN116109616A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117670874A (zh) * 2024-01-31 2024-03-08 安徽省交通规划设计研究总院股份有限公司 一种基于图像处理的箱型梁内部裂缝检测方法
CN117876383A (zh) * 2024-03-13 2024-04-12 西南林业大学 一种基于yolov5l的公路表面条状裂缝检测方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117670874A (zh) * 2024-01-31 2024-03-08 安徽省交通规划设计研究总院股份有限公司 一种基于图像处理的箱型梁内部裂缝检测方法
CN117876383A (zh) * 2024-03-13 2024-04-12 西南林业大学 一种基于yolov5l的公路表面条状裂缝检测方法
CN117876383B (zh) * 2024-03-13 2024-06-07 西南林业大学 一种基于yolov5l的公路表面条状裂缝检测方法

Similar Documents

Publication Publication Date Title
CN113160192B (zh) 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置
CN116109616A (zh) 基于YOLOv5的路面裂缝检测及小面元拟合检测方法
CN112800913B (zh) 一种基于多源特征融合的路面损伤数据时空分析方法
CN111784657A (zh) 一种基于数字图像的水泥路面病害自动识别的***及方法
CN110866430B (zh) 一种车牌识别方法及装置
CN111860596B (zh) 基于深度学习的无监督路面裂缝分类方法及模型建立方法
CN114998852A (zh) 一种基于深度学习的公路路面病害智能检测方法
CN111612784A (zh) 一种基于分类优先yolo网络的钢板表面缺陷检测方法
CN113962960A (zh) 基于深度学习的路面病害检测方法
CN115457044B (zh) 基于类激活映射的路面裂缝分割方法
CN115147380A (zh) 一种基于YOLOv5的小型透明塑料制品缺陷检测方法
CN116824399A (zh) 基于改进YOLOv5神经网络的路面裂缝识别方法
CN115937518A (zh) 一种基于多源图像融合的路面病害识别方法及***
CN115205255A (zh) 基于深度学习的石料自动分级方法与***
CN112085725B (zh) 基于启发式迭代算法的残膜残留量检测方法及预警***
CN117197085A (zh) 基于改进YOLOv8网络的公路快检图像路面病害检测方法
CN116052110B (zh) 一种路面标线缺损智能定位方法及***
CN110765900A (zh) 一种基于dssd的自动检测违章建筑方法及***
CN116129327A (zh) 一种基于改进YOLOv7算法的红外车辆检测方法
CN114821165A (zh) 一种轨道检测图像采集分析方法
CN114463678A (zh) 一种利用摄像头视频图像的降雨类型识别方法
CN111627018A (zh) 一种基于双流神经网络模型的钢板表面缺陷分类方法
Yan et al. An automatic pavement crack detection system with FocusCrack Dataset
CN115984174B (zh) 一种基于旋转等变检测器的路面病害识别方法
CN116433659B (zh) 一种三段式道路缺陷图像处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination