CN117576073A - 一种基于改进YOLOv8模型的道路缺陷检测方法、装置和介质 - Google Patents
一种基于改进YOLOv8模型的道路缺陷检测方法、装置和介质 Download PDFInfo
- Publication number
- CN117576073A CN117576073A CN202311674348.4A CN202311674348A CN117576073A CN 117576073 A CN117576073 A CN 117576073A CN 202311674348 A CN202311674348 A CN 202311674348A CN 117576073 A CN117576073 A CN 117576073A
- Authority
- CN
- China
- Prior art keywords
- feature map
- model
- road
- feature
- yolov8
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 66
- 238000001514 detection method Methods 0.000 title claims abstract description 59
- 238000011176 pooling Methods 0.000 claims abstract description 15
- 230000007246 mechanism Effects 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 6
- 230000004927 fusion Effects 0.000 claims abstract description 5
- 238000012549 training Methods 0.000 claims description 22
- 230000003935 attention Effects 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 13
- 238000000034 method Methods 0.000 claims description 13
- 238000010586 diagram Methods 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 9
- 238000012795 verification Methods 0.000 claims description 8
- 210000000988 bone and bone Anatomy 0.000 claims description 7
- 230000008439 repair process Effects 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 230000010332 selective attention Effects 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims 1
- 238000004364 calculation method Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000011897 real-time detection Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/86—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using syntactic or structural representations of the image or video pattern, e.g. symbolic string recognition; using graph matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30236—Traffic on road, railway or crossing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于改进YOLOv8模型的道路缺陷检测方法、装置和介质，属于图像处理与目标检测技术领域。通过对YOLOv8网络模型进行优化改进，减小了模型的尺寸,重构原模型的Neck结构，提高了模型的特征融合能力；使用SimSPPF模块优化空间金字塔池化层加快模型的检测速度；引入动态大卷积核的注意力机制LSK attention适应不同类型目标的上下文信息，并动态的调整其感受野，以适应不同类型的目标和背景，提升模型的检测精度。
Description
技术领域
本发明涉及一种基于改进YOLOv8模型的道路缺陷检测方法、装置和介质，属于图像处理与目标检测技术领域。
背景技术
目前常见的道路缺陷包括裂缝、坑洼、道路修补等。及时发现路面裂缝对于预防道路损坏、维护交通道路安全具有重要意义。常见的道路缺陷检测方法有人工检测和多功能道路检测车，人工检测的方法不仅费时费力，且易受检测人员主观因素的影响。与人工检测相比，多功能道路检测车主要依靠GPS、摄像头、激光轮廓仪、探地雷达等集成传感器实现对道路缺陷的便捷、准确的检测。道路测量车辆的建造成本昂贵，目前仍不适合大规模推广。因此，快速、高效、准确的裂纹检测技术的研究和应用具有很大的现实需求。
随着深度学习的快速发展，目标检测技术也应用到了道路缺陷。目标检测技术主要分为两类。第一类是基于区域的两阶段检测模型，主要分为两个过程。第一步是提出几个可能包含对象的区域，第二步是在建议的区域上运行分类网络以获得每个区域内的对象类别。常见的两阶段算法包括基于区域的快速卷积神经网络(Fast R-CNN)、基于区域的全卷积网络(R-FCN)和基于掩模区域的卷积神经网络 (Mask R-CNN)。第二种是基于回归的一步检测方法，直接分离特定类别并回归边界。其速度比两阶段检测法快，但精度稍低。上述方法普遍存在参数量较大检测速度较慢等缺点不适合应用于实时检测的问题。
发明内容
本发明目的是提供了一种基于改进YOLOv8模型的道路缺陷检测方法、装置和介质，提升缺陷检测精度，降低了模型体积，适用于嵌入式设备便于实时监测。
本发明为实现上述目的，通过以下技术方案实现：
采集道路缺陷图像，并划分为训练集、验证集和测试集；
基于改进的YOLOv8模型构建道路缺陷检测模型，所述道路缺陷检测模型的Backbone网络中使用SimSPPF模块替换原有的空间金字塔池化层，并将动态大卷积核选择注意力机制添加到SimSPPF模块之后；所述 Neck结构引入Backbone网络第一c2f层输出的B2层特征图丰富细节信息，并通过跨尺度连接的方式保留更多的原始特征信息；
使用训练集迭代训练道路缺陷检测模型，通过验证集验证模型性能，获取性能最优模型；
采集真实的道路缺陷图像，输入到训练完成的道路缺陷检测模型，输出道路缺陷类型。
优选的，所述道路缺陷图像包含纵向裂缝、横向裂缝、网状裂缝、坑洼、道路修补五种缺陷类型的图像。
优选的，所述SimSPPF模块包括3个依次串联的5×5最大池化层，并将三个最大池化层输出的特征图通过concat连接后作出SimSPPF模块输出。
优选的，所述SimSPPF模块中激活函数为ReLU激活函数，具体如下：
，
其中，表示特征图与卷积核的卷积结果加上偏置项。
优选的，所述动态大卷积核选择注意力机制具体处理过程如下：
根据输入特征图X构建大卷积核，应用N个不同感受野的深度可分离卷积对大卷积核进行分解得到N个小卷积核；
将输入特征图X通过分解得到的小卷积核分割成多个子特征图，然后对每个子特征图应用不同大小的卷积核，产生多个子特征图的输出；
将这些子特征图的输出进行拼接，形成了一个通道维度大的输出特征图；
对特征图通过通道维度的平均池化提取空间关系描述符/>，并通过最大池化提取空间关系描述符/>；
将和/>拼接，使用/>卷积层将其转换为与深度可分离卷积个数N相同的空间注意力图；
对每个空间注意力图应用Sigmod激活函数，得到每个深度可分离卷积对应的空间选择权重，并利用得到的权重加权深度可分离卷积的特征图；
通过一个卷积层将加权深度可分离卷积的特征图融合为注意力特征图S；
将输入特征图X和空间选择后的特征图S进行元素乘积，得到最终的输出特征图。
优选的，所述neck结构具体如下：
Backbone网络中动态大卷积核选择注意力机制输出的特征图B5上采样后与Backbone网络中第三c2f层输出的特征图B4进行Concat拼接形成特征图P4；再对特征图P4上采样后与Backbone网络中第二c2f层输出的特征图B3进行Concat拼接形成特征图P3；引入Backbone网络中第一c2f层输出的特征图B2对其下采样后与特征图P3和特征图B3进行跨尺度连接形成特征图N3；对特征图N3下采样后与P4和B4进行跨尺度连接形成特征图N4，最后对N4下采样后与B5进行跨尺度连接形成特征图N5。
优选的，所述使用训练集迭代训练道路缺陷检测模型具体方式如下：
将训练集图像输入到Backbone网络进行特征的提取，将输入图像转化为多级的特征图；
将得到的特征图传入Neck网络进行多尺度特征融合，并传递到head层；
Head层根据每个特征图上的每个像素点预测缺陷类别、中心偏移量和缺陷四个边界框参数，所述参数包括宽度、高度、角度和置信度；
使用非极大值抑制算法，根据置信度和交并比筛选出最终的检测结果，并通过损失函数计算预测值和真实值之间的损失值，进行反向传播，直至达到设定的迭代次数，模型完成训练。
本发明的优点在于：本发明通过对YOLOv8网络模型进行优化改进，减小了模型的尺寸, 重构原模型的Neck结构，提高了模型的特征融合能力；使用SimSPPF模块优化空间金字塔池化层加快模型的检测速度；引入动态大卷积核的注意力机制LSK attention适应不同类型目标的上下文信息，并动态的调整其感受野，以适应不同类型的目标和背景，提升模型的检测精度。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
图1为本发明网络结构示意图。
图2为本发明改进的neck结构式示意图。
图3为本发明SimSPPF模块结构示意图。
图4为本发明动态大卷积核的注意力机制原理示意图。
图5为本发明实施例检测效果示意图。
图6为本发明改进后的模型与原始模型的mAP对比曲线示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
S1：采集道路缺陷图像，并划分为训练集、验证集和测试集；使用公开数据集RDD2022，该数据集有多个国家道路图像组成，本文选取来自中国道路的共计4398张道路图像进行实验验证。其中包含无人机拍摄图像2401张道路图像，车载相机拍摄的1977张道路图像。获取的道路缺陷图像分辨率大小为512×512。
筛选出包含纵向裂缝、横向裂缝、网状裂缝、坑洼、道路修补五种缺陷类型的图像，标签分别为D00、D10、D20、D40和Repair，利用python程序将其转换为YOLO模型可用的.txt格式标签，按照8:1:1的比例划分为训练集、验证集和测试集。
S2：基于改进的YOLOv8模型构建道路缺陷检测模型，
所述道路缺陷检测模型的Backbone网络中使用SimSPPF模块替换原有的空间金字塔池化层,SimSPPF模块包括3个依次串联的5×5最大池化层，并将三个最大池化层输出的特征图通过concat连接后作出SimSPPF模块输出；极大地减少了计算量和运算时间，并从而增加模型的感受野，提升特征的表达能力。
将动态大卷积核选择注意力机制添加到SimSPPF模块之后。
所述 Neck结构引入Backbone网络第一c2f层输出的B2层特征图丰富细节信息，并通过跨尺度连接的方式保留更多的原始特征信息。
S3：使用训练集迭代训练道路缺陷检测模型，通过验证集验证模型性能，获取性能最优模型；所述使用训练集迭代训练道路缺陷检测模型具体方式如下：
将训练集图像输入到Backbone网络进行特征的提取，将输入图像转化为多级的特征图；
将得到的特征图传入Neck网络进行多尺度特征融合，并传递到head层；
Head层根据每个特征图上的每个像素点预测缺陷类别、中心偏移量和缺陷四个边界框参数，所述参数包括宽度、高度、角度和置信度；
使用非极大值抑制算法，根据置信度和交并比筛选出最终的检测结果，并通过损失函数计算预测值和真实值之间的损失值，进行反向传播，直至达到设定的迭代次数，模型完成训练。
所述模型超参数如下：设定学习率Learning Rate=0.01、输入图像大小ImageSize=640×640、批样本数量Batch size=64、迭代次数Epoch=160、学习率动量Momentum=0.937、优化器Optimizer=SGD、权重衰减Weight Decay=0.0005。
S4：采集真实的道路缺陷图像，输入到训练完成的道路缺陷检测模型，输出道路缺陷类型。
可选的，所述SimSPPF模块中激活函数为ReLU激活函数，具体如下：
，
其中，表示特征图与卷积核的卷积结果加上偏置项。
可选的，所述动态大卷积核选择注意力机制具体处理过程如下：
根据输入特征图X构建大卷积核，应用N个不同感受野的深度可分离卷积对大卷积核进行分解得到N个小卷积核；
将输入特征图X通过分解得到的小卷积核分割成多个子特征图，然后对每个子特征图应用不同大小的卷积核，产生多个子特征图的输出；
将这些子特征图的输出进行拼接，形成了一个通道维度大的输出特征图；
对特征图进行通道维度的平均池化和最大池化，提取空间关系描述符/>和；
将和/>拼接，使用/>卷积层将其转换为与深度可分离卷积个数N相同的空间注意力图；
对每个空间注意力图应用Sigmod激活函数，得到每个深度可分离卷积对应的空间选择权重，并利用得到的权重加权深度可分离卷积的特征图；
通过一个卷积层将加权深度可分离卷积的特征图融合为注意力特征图S；
将输入特征图X和空间选择后的特征图S进行元素乘积，得到最终的输出特征图。
可选的，所述neck结构具体如下：
Backbone网络中动态大卷积核选择注意力机制输出的特征图B5上采样后与Backbone网络中第三c2f层输出的特征图B4进行Concat拼接形成特征图P4；再对特征图P4上采样后与Backbone网络中第二c2f层输出的特征图B3进行Concat拼接形成特征图P3；引入Backbone网络中第一c2f层输出的特征图B2对其下采样后与特征图P3和特征图B3进行跨尺度连接形成特征图N3；对特征图N3下采样后与P4和B4进行跨尺度连接形成特征图N4，最后对N4下采样后与B5进行跨尺度连接形成特征图N5。
模型评价
为客观的评价道路缺陷检测模型的性能，采用的评价指标包括GFLOPS(gigafloating-point operations per second)每秒十亿次浮点运算数，用于衡量网络模型的执行时间；Parameters参数量，用于衡量模型大小和复杂程度；FPS(Frames Per Second)每秒传输帧数，用于衡量模型的检测速度，mAP(mean average precision)平均精度均值，用于评价模型的准确度，其计算公式如下：
，
F1-Score精确度和召回率的加权平均，衡量模型的综合性能和稳定性，具体计算公式下：
，
式中：N为类别综述；Pa为以召回率为横坐标、精确度为纵坐标形成曲线所围成的面积。[email protected]为阈值等于0.5时的平均精度；Precision体现了模型对负样本的区分能力，Precision越高，模型对负样本的区分能力越强；Recall体现了模型对正样本的识别能力，Recall越高，模型对正样本的识别能力越强。F1 score是两者的综合，F1-score越高，说明模型越稳定。。Precision和Recall的计算公式如下所示：
，
，
其中，TP（True Positive）表示正样本预测正确的数量，FP（False Positive）表示其他样本预测为正样本的数量，FN（False Negative）表示正样本预测为其他样本的数量。
改进后的YOLOv8模型参数量Parameters为7.82M、计算量为25.5GFLOPs、平均精度[email protected]为90.7%、F1-score为0.87，并且FPS达98可满足实时检测的要求。改进后的模型与原始模型的mAP对比曲线如图6所示，与原模型相比，平均精度[email protected]提升了3.3%，参数量减少了29.92%，计算量减少了11.45%，并且FPS达98能够满足实时检测的要求，模型的体积减少使得该模型适用于嵌入式设备这种内存和计算能力受限的场景。
实施例2
本公开实施例还提供一种基于改进YOLOv8模型的道路缺陷检测装置，包括处理器（processor）和存储器（memory）。可选地，该装置还可以包括通信接口（CommunicationInterface）和总线。其中，处理器、通信接口、存储器可以通过总线完成相互间的通信。通信接口可以用于信息传输。处理器可以调用存储器中的逻辑指令，以执行上述实施例的基于改进YOLOv8模型的道路缺陷检测方法。
此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令/模块。处理器通过运行存储在存储器中的程序指令/模块，从而执行功能应用以及数据处理，即实现上述实施例中基于改进YOLOv8模型的道路缺陷检测方法。
存储器可包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器。
本公开实施例提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为执行上述基于改进YOLOv8模型的道路缺陷检测方法。
上述的计算机可读存储介质可以是暂态计算机可读存储介质，也可以是非暂态计算机可读存储介质。
本公开实施例的技术方案可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括一个或多个指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本公开实施例所述方法的全部或部分步骤。而前述的存储介质可以是非暂态存储介质，包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于改进YOLOv8模型的道路缺陷检测方法，其特征在于，包括：
采集道路缺陷图像，并划分为训练集、验证集和测试集；
基于改进的YOLOv8模型构建道路缺陷检测模型，所述道路缺陷检测模型的Backbone网络中使用SimSPPF模块替换原有的空间金字塔池化层，并将动态大卷积核选择注意力机制添加到SimSPPF模块之后；所述 Neck结构引入Backbone网络第一c2f层输出的B2层特征图丰富细节信息，并通过跨尺度连接的方式保留更多的原始特征信息；
使用训练集迭代训练道路缺陷检测模型，通过验证集验证模型性能，获取性能最优模型；
采集真实的道路缺陷图像，输入到训练完成的道路缺陷检测模型，输出道路缺陷类型。
2.根据权利要去1所述的基于改进YOLOv8模型的道路缺陷检测方法，其特征在于，所述道路缺陷图像包含纵向裂缝、横向裂缝、网状裂缝、坑洼、道路修补五种缺陷类型的图像。
3.根据权利要去2所述的基于改进YOLOv8模型的道路缺陷检测方法，其特征在于，所述SimSPPF模块包括3个依次串联的5×5最大池化层，并将三个最大池化层输出的特征图通过concat连接后作出SimSPPF模块输出。
4.根据权利要去3所述的基于改进YOLOv8模型的道路缺陷检测方法，其特征在于，所述SimSPPF模块中激活函数为ReLU激活函数，具体如下：
，
其中，表示特征图与卷积核的卷积结果加上偏置项。
5.根据权利要去2所述的基于改进YOLOv8模型的道路缺陷检测方法，其特征在于，
所述动态大卷积核选择注意力机制具体处理过程如下：
根据输入特征图X构建大卷积核，应用N个不同感受野的深度可分离卷积对大卷积核进行分解得到N个小卷积核；
将输入特征图X通过分解得到的小卷积核分割成多个子特征图，然后对每个子特征图应用不同大小的卷积核，产生多个子特征图的输出；
将这些子特征图的输出进行拼接，形成了一个通道维度大的输出特征图；
对特征图通过通道维度的平均池化提取空间关系描述符/>，并通过最大池化提取空间关系描述符/>；
将和/>拼接，使用/>卷积层将其转换为与深度可分离卷积个数N相同的空间注意力图；
对每个空间注意力图应用Sigmod激活函数，得到每个深度可分离卷积对应的空间选择权重，并利用得到的权重加权深度可分离卷积的特征图；
通过一个卷积层将加权深度可分离卷积的特征图融合为注意力特征图S；
将输入特征图X和空间选择后的特征图S进行元素乘积，得到最终的输出特征图。
6.根据权利要去5所述的基于改进YOLOv8模型的道路缺陷检测方法，其特征在于，所述neck结构具体如下：
Backbone网络中动态大卷积核选择注意力机制输出的特征图B5上采样后与Backbone网络中第三c2f层输出的特征图B4进行Concat拼接形成特征图P4；再对特征图P4上采样后与Backbone网络中第二c2f层输出的特征图B3进行Concat拼接形成特征图P3；引入Backbone网络中第一c2f层输出的特征图B2对其下采样后与特征图P3和特征图B3进行跨尺度连接形成特征图N3；对特征图N3下采样后与P4和B4进行跨尺度连接形成特征图N4，最后对N4下采样后与B5进行跨尺度连接形成特征图N5。
7.根据权利要去1所述的基于改进YOLOv8模型的道路缺陷检测方法，其特征在于，所述使用训练集迭代训练道路缺陷检测模型具体方式如下：
将训练集图像输入到Backbone网络进行特征的提取，将输入图像转化为多级的特征图；
将得到的特征图传入Neck网络进行多尺度特征融合，并传递到head层；
Head层根据每个特征图上的每个像素点预测缺陷类别、中心偏移量和缺陷四个边界框参数，所述参数包括宽度、高度、角度和置信度；
使用非极大值抑制算法，根据置信度和交并比筛选出最终的检测结果，并通过损失函数计算预测值和真实值之间的损失值，进行反向传播，直至达到设定的迭代次数，模型完成训练。
8.一种基于改进YOLOv8模型的道路缺陷检测装置，包括处理器和存储有程序指令的存储器，其特征在于，所述处理器被配置为在运行所述程序指令时，执行如权利要求1至6任一项所述的基于改进YOLOv8模型的道路缺陷检测方法。
9.一种计算机可读存储介质，其特征在于其上存储有计算机程序，该程序被处理器执行时实现如上述权利要求1-6任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311674348.4A CN117576073A (zh) | 2023-12-08 | 2023-12-08 | 一种基于改进YOLOv8模型的道路缺陷检测方法、装置和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311674348.4A CN117576073A (zh) | 2023-12-08 | 2023-12-08 | 一种基于改进YOLOv8模型的道路缺陷检测方法、装置和介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117576073A true CN117576073A (zh) | 2024-02-20 |
Family
ID=89891726
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311674348.4A Pending CN117576073A (zh) | 2023-12-08 | 2023-12-08 | 一种基于改进YOLOv8模型的道路缺陷检测方法、装置和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117576073A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118071751A (zh) * | 2024-04-22 | 2024-05-24 | 成都中科卓尔智能科技集团有限公司 | 一种基于YOLOv8的缺陷检测方法 |
-
2023
- 2023-12-08 CN CN202311674348.4A patent/CN117576073A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118071751A (zh) * | 2024-04-22 | 2024-05-24 | 成都中科卓尔智能科技集团有限公司 | 一种基于YOLOv8的缺陷检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111444821B (zh) | 一种城市道路标志自动识别方法 | |
| CN111091105B (zh) | 基于新的边框回归损失函数的遥感图像目标检测方法 | |
| CN110929577A (zh) | 一种基于YOLOv3的轻量级框架改进的目标识别方法 | |
| EP3690741A2 (en) | Method for automatically evaluating labeling reliability of training images for use in deep learning network to analyze images, and reliability-evaluating device using the same | |
| CN114998852A (zh) | 一种基于深度学习的公路路面病害智能检测方法 | |
| CN111898432B (zh) | 一种基于改进YOLOv3算法的行人检测***及方法 | |
| CN113420607A (zh) | 无人机多尺度目标检测识别方法 | |
| US20220315243A1 (en) | Method for identification and recognition of aircraft take-off and landing runway based on pspnet network | |
| CN114495029B (zh) | 一种基于改进YOLOv4的交通目标检测方法及*** | |
| CN113033604A (zh) | 一种基于SF-YOLOv4网络模型的车辆检测方法、***及存储介质 | |
| CN114049356B (zh) | 一种结构表观裂缝检测方法、装置及*** | |
| CN117576073A (zh) | 一种基于改进YOLOv8模型的道路缺陷检测方法、装置和介质 | |
| CN116310785A (zh) | 基于YOLO v4的无人机影像路面病害检测方法 | |
| Rastogi et al. | A comparative evaluation of the deep learning algorithms for pothole detection | |
| CN116524189A (zh) | 一种基于编解码索引化边缘表征的高分辨率遥感图像语义分割方法 | |
| CN112949510A (zh) | 基于Faster R-CNN热红外影像人物探测方法 | |
| CN116206112A (zh) | 基于多尺度特征融合和sam的遥感图像语义分割方法 | |
| CN116665153A (zh) | 一种基于改进型Deeplabv3+网络模型的道路场景分割方法 | |
| CN116597411A (zh) | 极端天气下无人驾驶车辆识别交通标志的方法及*** | |
| CN110751005B (zh) | 融合深度感知特征和核极限学习机的行人检测方法 | |
| CN114332075A (zh) | 基于轻量化深度学习模型的结构缺陷快速识别与分类方法 | |
| CN111160282B (zh) | 一种基于二值化Yolov3网络的红绿灯检测方法 | |
| CN111832463A (zh) | 一种基于深度学习的交通标志检测方法 | |
| CN111179278A (zh) | 一种图像检测的方法、装置、设备和存储介质 | |
| Wu et al. | Research on asphalt pavement disease detection based on improved YOLOv5s |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |