CN115496752B - 一种基于一阶段目标检测算法的钢材表面缺陷检测方法 - Google Patents
一种基于一阶段目标检测算法的钢材表面缺陷检测方法 Download PDFInfo
- Publication number
- CN115496752B CN115496752B CN202211429925.9A CN202211429925A CN115496752B CN 115496752 B CN115496752 B CN 115496752B CN 202211429925 A CN202211429925 A CN 202211429925A CN 115496752 B CN115496752 B CN 115496752B
- Authority
- CN
- China
- Prior art keywords
- feature
- convolution
- module
- attention
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 68
- 230000007547 defect Effects 0.000 title claims abstract description 43
- 229910000831 Steel Inorganic materials 0.000 title claims abstract description 24
- 239000010959 steel Substances 0.000 title claims abstract description 24
- 230000004927 fusion Effects 0.000 claims abstract description 58
- 238000000605 extraction Methods 0.000 claims abstract description 52
- 238000012549 training Methods 0.000 claims abstract description 35
- 238000012360 testing method Methods 0.000 claims abstract description 30
- 238000012795 verification Methods 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 13
- 238000004806 packaging method and process Methods 0.000 claims abstract description 7
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 239000013598 vector Substances 0.000 claims description 27
- 238000000034 method Methods 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 13
- 238000011176 pooling Methods 0.000 claims description 12
- 238000010586 diagram Methods 0.000 claims description 10
- 230000011218 segmentation Effects 0.000 claims description 8
- 101100269850 Caenorhabditis elegans mask-1 gene Proteins 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 239000013604 expression vector Substances 0.000 claims description 3
- 206010037180 Psychiatric symptoms Diseases 0.000 claims description 2
- 238000007499 fusion processing Methods 0.000 claims description 2
- 238000012216 screening Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 21
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30136—Metal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及数字图像处理目标识别技术领域,尤其是一种基于一阶段目标检测算法的钢材表面缺陷检测方法,包括如下步骤:S1、对钢铁表面缺陷图片进行数据预处理,预处理后的图片划分为训练集、验证集、测试集;S2、进行目标检测模型主干特征提取网络的搭建;S3、进行目标检测模型特征融合网络的搭建;S4、进行目标检测模型检测头的搭建;S5、将主干特征提取网络、特征融合网络、检测头进行连接,采用训练集训练连接后的目标检测模型,并采用验证集进行验证,测试集进行测试;S6、训练结束后选择超过设定阈值模型进行封装部署,对钢材表面缺陷图片进行检测。实现对钢材表面缺陷的检测,及时发现工业缺陷产品有助于保障产品质量安全。
Description
技术领域
本发明涉及数字图像处理目标识别技术领域,具体涉及一种基于一阶段目标检测算法的钢材表面缺陷检测方法。
背景技术
近年来,工业领域的重复性操作大多数已被智能化***所取代。在工业智能化***中,信号数据的处理是重要的技术,工业数字信号处理内容包含图像、光电信号等。其中,图像数据的处理为工业自动化场景中应用和需求最广泛的领域。工业图像处理主要用于工业产品的缺陷检测、工厂安全预警等。工业产品的缺陷检测是工业生产中重要的一环,及时发现工业缺陷产品有助于保障产品质量安全。
工业图像数据有许多经典的处理方法,在传统的检测方法中, HOG特征提取占据主导地位。HOG通过对物体边缘使用直方图统计来进行编码,特征表达能力更强但生成过程冗长,导致速度慢,实时性差;很难处理遮挡问题。其次由于梯度的性质,HOG对噪声敏感。最近一些基于深度学习的目标检测技术被广泛提出,YOLO系列算法是目前工业缺陷检测运用最广泛的方法。然而工业场景的缺陷检测仍有几个难点:首先,物体类间差异大,工业品缺陷复杂多样,不同的缺陷之间差异极大,这种差异导致算法泛化能力不强;其次,类间的模糊性大,不同类缺陷表观特征相似度大,很难区分类别;第三,缺陷背景复杂,缺陷物体语义信息弱,缺陷特征不明显。第四,物体尺度变化剧烈,小物体的IoU-Loss过小导致网络更新效果差,检测不同尺度物体难度大。解决工业缺陷物体的弱语义信息的提取以及对尺度变化剧烈物体的Loss设计为当前工业缺陷检测的核心问题。当前大多数YOLO算法的变体无法做到更好地融合不同缺陷的语义特征以及对尺度变化剧烈缺陷的检测,因此针对工业场景的特殊性专门设计一种目标检测器至关重要。
发明内容
针对上述问题,本发明提供了一种基于一阶段目标检测算法的钢材表面缺陷检测方法,可有效地解决工业场景下存在的问题,实现对钢材表面缺陷的检测,及时发现工业缺陷产品有助于保障产品质量安全。
本发明提供如下技术方案:一种基于一阶段目标检测算法的钢材表面缺陷检测方法,其特征在于包括如下步骤:
S1、对钢铁表面缺陷图片进行数据预处理,预处理后的图片划分为训练集、验证集、测试集;
S2、进行目标检测模型主干特征提取网络的搭建;
S3、进行目标检测模型特征融合网络的搭建;
S4、进行目标检测模型检测头的搭建;
S5、将主干特征提取网络、特征融合网络、检测头进行连接组成目标检测模型,采用训练集训练连接后的目标检测模型,并采用验证集进行验证,测试集进行测试;
S6、训练结束后选择超过设定阈值模型进行封装部署,即选择精度最高的模型进行封装部署,对钢材表面缺陷图片进行检测。
步骤S1中,将钢铁表面缺陷图片数据与XML格式标签数据一一对应,并将XML格式标签数据转换为TXT格式标签数据,其中TXT标签数据中包含钢铁表面缺陷的目标位置以及缺陷种类,处理好数据集格式后将图片数据调整为640×640并进行伽马变换,公式如下:
其中 代表增强后的图片数据, 代表增强前的原始图片数据, 为固定值,,在标签处理完成以及图片处理完成后,将图片和标签一一对应,按照6:2:2的比例分别划分训练集、验证集、测试集。
步骤S2中,目标检测模型的主干特征提取网络包括单卷积模块、卷积特征提取模块和自注意力特征提取模块级联,其中,单卷积模块为一个卷积核大小为3的卷积,卷积特征提取模块包含单卷积模块、4个瓶颈特征提取模块、卷积注意力模块,自注意力特征提取模块包含分割模块、多层感知机、批标准化模块和2个自注意力模块。
瓶颈特征提取模块包含两个卷积核大小为1的卷积模块和一个卷积核大小为3的卷积模块;卷积注意力模块包含三个卷积核大小为1的卷积模块、残差边、softmax函数以及批正则化、Relu激活函数,在卷积注意力模块中通过一个卷积核大小为1的卷积模块和softmax函数进行权重生成后与原始特征图对应相乘,公式如下:
其中,M表示生成的注意力特征矩阵,F表示输入的原始特征,MLP由两层卷积构成,表示按位相乘, 表示沿通道方相叠加,为输出的特征图。
分割模块按照16×16的大小将图片分为多个图像块,自注意力特征提取模块中自注意力模块的个数为4,在自注意力特征提取模块中,首先进行一个随机矩阵的生成,将生成的一个随机矩阵M1分别与分割模块分割出的图像块mask1进行相乘,依次生成查询向量q;其次对分割后的图片块分别进行2×2的全局平均池化,并随机生成两个矩阵M2、M3分别与全局平均池化后的图像块进行相乘,分别生成查询键向量k和特征表达向量v;最后,以四个相邻的图像块为基准,在四个相邻的图像块中抽选出与原k、v向量相同数量的q向量进行相乘,自注意力模块的公式如下所示:
其中,random代表随机抽取q向量的过程, 代表q向量,代表k向量, 代表v向量。
步骤S3中,特征融合网络为三层,第一层包括5个特征融合节点,每个特征融合节点分别融合特征提取网络的相邻两层输出特征,其中在融合特征提取网络的相邻两层输出特征融合过程中,高分辨率的低层特征进行一个3×3的卷积下采样两倍后与低分辨率的特征进行融合,第二层由4个特征融合节点组成,每个特征融合节点的下采样倍数为2,其中高层的特征融合节点在融合时会将第一层的相邻两层的输出特征与低层的下采样特征进行融合。第三层由3个特征融合节点组成,每个特征融合节点分别融合第二层的相邻两层的输出特征,最低层的特征会与特征融合网络的最低层特征的平均池化后的特征融合。
步骤S4中,检测头包括通道注意力模块、特征融合节点、检测器级联,检测器包括一个卷积核大小为11的卷积模块和sigmoid函数,在特征融合节点中,首先将特征融合网络中第三层所有的特征融合节点输出的特征图调整为同一纬度后进行融合,其次进行通道注意力模块,在通道注意力模块中,融合后的特征图首先经过一个全局平均池化将融合后的特征图调整至C ×1×1的维度,随后沿通道的维度进行softmax函数生成注意力矩阵并与原图进行相乘,随后相乘后的特征图与原特征图相加经过一个卷积核大小为1的卷积模块后输出,总体注意力公式如下:
其中, 为通道注意力的特征图, 代表平均池化, 代表融合后的特征图。
步骤S5中,将搭建好的主干特征提取网络、特征融合网络、检测头进行依次连接组成目标检测模型,将预处理的数据集的训练集输入到连接好的目标检测模型训练300回合,在训练的每个回合结束后使用验证集对训练的模型进行验证得到模型的精度,其中,在训练过程中使用QFocal Loss作为本文模型分类以及置信度的损失函数,使用CIoU作为回归定位损失并在CIoU前,增加平衡函数以平衡不同尺度的损失差异,公式如下:
其中, 表示最大的物体真实框的面积, 表示最小的物体真实框的面积,为目标物体的面积,A为常数,A的变化用于调节平衡函数的曲率,从而控制大小物体的分界,
总损失函数为如下:
其中, , 为可学习的权重,在训练时 , 会进行梯度更新以寻求最好的权重,即获得准确的权重。
在训练过程中使用QFocal Loss作为本文模型分类以及置信度的损失函数,公式如下,
其中y是平滑标签,值为[0,1],是预测结果,用于平衡正负样本, 用于强调难以检测的样本,
训练过程中的定位损失采用CIoU,CIoU回归定位损失考虑了三种几何参数:重叠面积、中心点距离、长宽比,CIoULoss公式如下,
其中 是预测框 和目标框 的惩罚项,在CIoU中,边界框之间的中心点欧氏距离和惩罚项为,
其中, 分别代表了 的中心点, 代表了欧式距离, 代表两个边框组成的最小包围框的对角线距离, 是一个平衡参数, 分别代表预测框的宽高。
训练结束时,选择验证时超过设定阈值精度的模型进行测试,测试时将预处理的图片数据集的测试集输入到模型中进行测试,选择测试结果准确的模型进行TensorRT加速后封装为DLL文件。
附图说明
图1为本发明具体实施方式的流程图。
图2为主干特征提取网络结构图。
图3为主干特征提取网络中的卷积特征提取模块结构图。
图4为主干特征提取网络中的自注意力特征提取模块结构图。
图5为特征融合网络中的自注意力特征提取模块结构图。
图6为检测头的结构图。
具体实施方式
下面将结合本发明具体实施方式中的附图,对本发明具体实施方式中的技术方案进行清楚、完整地描述,显然,所描述的具体实施方式仅仅是本发明一种具体实施方式,而不是全部的具体实施方式。基于本发明中的具体实施方式,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他具体实施方式,都属于本发明保护的范围。
通过附图可以看出,本发明一种基于一阶段目标检测算法的钢材表面缺陷检测方法,其特征在于包括如下步骤:
S1、对钢铁表面缺陷图片进行数据预处理,预处理后的图片划分为训练集、验证集、测试集。
将钢铁表面缺陷图片数据与XML格式标签数据一一对应,并将XML格式标签数据转换为TXT格式标签数据,其中TXT标签数据中包含钢铁表面缺陷的目标位置以及缺陷种类,处理好数据集格式后将图片数据调整为640 ×640并进行伽马变换,公式如下:
其中 代表增强后的图片数据,x代表增强前的原始图片数据, 为固定值,,在标签处理完成以及图片处理完成后,按照6:2:2的比例分别划分训练集、验证集、测试集。
S2、进行目标检测模型主干特征提取网络的搭建;
如图2所示,目标检测模型的主干特征提取网络包括单卷积模块、卷积特征提取块和自注意力特征提取模块级联。其中,单卷积模块为一个卷积核大小为3的卷积。卷积特征提取模块包含单卷积模块、4个瓶颈特征提取模块、卷积注意力模块。其中,瓶颈特征提取模块包含两个卷积核大小为1的卷积模块和一个卷积核大小为3的卷积模块;卷积注意力模块包含卷积和三个卷积核大小为1的卷积模块、残差边、softmax函数以及批正则化、Relu激活函数,在卷积注意力模块中通过一个卷积核大小为1的卷积模块和softmax函数进行权重生成后与原始特征图对应相乘,公式如下:
其中,M表示生成的注意力特征矩阵,F表示输入的原始特征,MLP由两层卷积构成,表示按位相乘, 表示沿通道方相叠加,F’为输出的特征图。
自注意力特征提取模块包含分割模块、多层感知机、批标准化模块和2个自注意力模块。分割模块按照16×16的大小将图片分为多个图像块。自注意力特征提取模块中自注意力模块的个数为4。在自注意力特征提取模块中,首先进行一个随机矩阵的生成,将生成的一个随机矩阵M1分别与分割模块分割出的图像块mask1进行相乘,依次生成查询向量q;其次对分割后的图片块分别进行2×2的全局平均池化,并随机生成两个矩阵M2、M3分别与全局平均池化后的图像块进行相乘,分别生成查询键向量k和特征表达向量v;最后,以四个相邻的图像块为基准,在四个相邻的图像块中抽选出与原k、v向量相同数量的q向量进行相乘。完整的自注意力模块的公式如下所示:
其中,random代表随机抽取q向量的过程, 代表q向量,代表k向量, 代表v向量。
S3、进行目标检测模型特征融合网络的搭建;
特征融合网络为三层,第一层包括5个特征融合节点,每个特征融合节点分别融合特征提取网络的相邻两层输出特征,其中在融合特征提取网络的相邻两层输出特征融合过程中,高分辨率的低层特征进行一个3×3的卷积下采样两倍后与低分辨率的特征进行融合,第二层由4个特征融合节点组成,每个特征融合节点的下采样倍数为2,其中高层的特征融合节点在融合时会将第一层的相邻两层的输出特征与低层的下采样特征进行融合,第三层由3个特征融合节点组成,每个特征融合节点分别融合第二层的相邻两层的输出特征,最低层的特征会与特征融合网络的最低层特征的平均池化后的特征融合。
S4、进行目标检测模型检测头的搭建;
检测头包括通道注意力模块、特征融合节点、检测器级联,检测器包括一个卷积核大小为11的卷积模块和sigmoid函数,在特征融合节点中,首先将特征融合网络中第三层所有的特征融合节点输出的特征图调整为同一纬度后进行融合,其次进行通道注意力模块,在通道注意力模块中,融合后的特征图首先经过一个全局平均池化将融合后的特征图调整至C×1×1的维度,随后沿通道的维度进行softmax函数生成注意力矩阵并与原图进行相乘,随后相乘后的特征图与原特征图相加经过一个卷积核大小为1的卷积模块后输出,总体注意力公式如下:
其中, 为通道注意力的特征图, 代表平均池化, 代表融合后的特征图。
S5、将主干特征提取网络、特征融合网络、检测头进行连接,采用训练集训练连接后的目标检测模型,并采用验证集进行验证,测试集进行测试;
将搭建好的主干特征提取网络、特征融合网络、检测头进行依次连接组成目标检测模型,将预处理的数据集的训练集输入到连接好的目标检测模型300回合,在训练的每个回合结束后使用验证集对训练的模型进行验证得到模型的精度,其中,在训练过程中使用QFocal Loss作为本文模型分类以及置信度的损失函数,在训练过程中使用QFocal Loss作为本文模型分类以及置信度的损失函数,公式如下,
其中y是平滑标签,值为[0,1],是预测结果,用于平衡正负样本, 用于强调难以检测的样本,
训练过程中的定位损失采用CIoU,CIoU回归定位损失考虑了三种几何参数:重叠面积、中心点距离、长宽比,CIoULoss公式如下,
其中 是预测框 和目标框 的惩罚项,在CIoU中,边界框之间的中心点欧氏距离和惩罚项为,
其中, 分别代表了 的中心点, 代表了欧式距离, 代表两个边框组成的最小包围框的对角线距离, 是一个平衡参数, 分别代表预测框的宽高。
在CIoU前,增加平衡函数以平衡不同尺度的损失差异,公式如下:
公式如下:
其中, 表示最大的物体真实框的面积, 表示最小的物体真实框的面积,为目标物体的面积,A为常数,A的变化用于调节平衡函数的曲率,从而控制大小物体的分界,
总损失函数为如下:
其中, , 为可学习的权重,在训练时 , 会进行梯度更新以寻求最好的权重。
S6、训练结束时,选择验证时超过设定阈值精度的模型进行测试,测试时将预处理的图片数据集的测试集输入到模型中进行测试,选择测试结果准确的模型进行TensorRT加速后封装为DLL文件。
上述虽然结合附图对本公开的具体实施方式进行了描述,但并非对本公开保护范围的限制,所属领域技术人员应该明白,在本公开的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。
Claims (2)
1.一种基于一阶段目标检测算法的钢材表面缺陷检测方法,其特征在于包括如下步骤:
S1、对钢铁表面缺陷图片进行数据预处理,预处理后的图片划分为训练集、验证集、测试集;
S2、进行目标检测模型主干特征提取网络的搭建;
S3、进行目标检测模型特征融合网络的搭建;
S4、进行目标检测模型检测头的搭建;
S5、将主干特征提取网络、特征融合网络、检测头进行连接组成目标检测模型,采用训练集训练连接后的目标检测模型,并采用验证集进行验证,测试集进行测试;
S6、训练结束后选择超过设定阈值模型进行封装部署,对钢材表面缺陷图片进行检测;
步骤S1中,将钢铁表面缺陷图片数据与XML格式标签数据一一对应,并将XML格式标签数据转换为TXT格式标签数据,其中TXT标签数据中包含钢铁表面缺陷的目标位置以及缺陷种类,处理好数据集格式后将图片数据调整为640 ×640并进行伽马变换,公式如下:
其中代表增强后的图片数据,代表增强前的原始图片数据,为固定值,,在标签处理完成以及图片处理完成后,按照6:2:2的比例分别划分训练集、验证集、测试集;
步骤S2中,目标检测模型的主干特征提取网络包括单卷积模块、卷积特征提取模块和自注意力特征提取模块级联,其中,单卷积模块为一个卷积核大小为3的卷积,卷积特征提取模块包含单卷积模块、4个瓶颈特征提取模块、卷积注意力模块,自注意力特征提取模块包含分割模块、多层感知机、批标准化模块和2个自注意力模块;
瓶颈特征提取模块包含两个卷积核大小为1的卷积模块和一个卷积核大小为3的卷积模块;卷积注意力模块包含三个卷积核大小为1的卷积模块、残差边、softmax函数以及批正则化、Relu激活函数,在卷积注意力模块中通过一个卷积核大小为1的卷积模块和softmax函数进行权重生成后与原始特征图对应相乘,公式如下:
其中,M表示生成的注意力特征矩阵,表示输入的原始特征,MLP由两层卷积构成,表示按位相乘,表示沿通道方相叠加,为输出的特征图;
分割模块按照16×16的大小将图片分为多个图像块,自注意力特征提取模块中自注意力模块的个数为4,在自注意力特征提取模块中,首先进行一个随机矩阵的生成,将生成的一个随机矩阵M1分别与分割模块分割出的图像块mask1进行相乘,依次生成查询向量q;其次对分割后的图片块分别进行2×2的全局平均池化,并随机生成两个矩阵M2、M3分别与全局平均池化后的图像块进行相乘,分别生成查询键向量k和特征表达向量v;最后,以四个相邻的图像块为基准,在四个相邻的图像块中抽选出与原k、v向量相同数量的q向量进行相乘,自注意力模块的公式如下所示:
其中,random代表随机抽取q向量的过程,代表q向量,代表k向量,代表v向量;
步骤S3中,特征融合网络为三层,第一层包括5个特征融合节点,每个特征融合节点分别融合特征提取网络的相邻两层输出特征,其中在融合特征提取网络的相邻两层输出特征融合过程中,高分辨率的低层特征进行一个3×3的卷积下采样两倍后与低分辨率的特征进行融合,第二层由4个特征融合节点组成,每个特征融合节点的下采样倍数为2,其中高层的特征融合节点在融合时会将第一层的相邻两层的输出特征与低层的下采样特征进行融合,第三层由3个特征融合节点组成,每个特征融合节点分别融合第二层的相邻两层的输出特征,最低层的特征会与特征融合网络的最低层特征的平均池化后的特征融合;
步骤S4中,检测头包括通道注意力模块、特征融合节点、检测器级联,检测器包括一个卷积核大小为11的卷积模块和sigmoid函数,在特征融合节点中,首先将特征融合网络中第三层所有的特征融合节点输出的特征图调整为同一纬度后进行融合,其次进行通道注意力模块,在通道注意力模块中,融合后的特征图首先经过一个全局平均池化将融合后的特征图调整至C×1×1的维度,随后沿通道的维度进行softmax函数生成注意力矩阵并与原图进行相乘,随后相乘后的特征图与原特征图相加经过一个卷积核大小为1的卷积模块后输出,总体注意力公式如下:
其中,为通道注意力的特征图,代表平均池化,代表融合后的特征图;
步骤S5中,将搭建好的主干特征提取网络、特征融合网络、检测头进行依次连接,将预处理的数据集的训练集输入到连接好的目标检测模型300回合,在训练的每个回合结束后使用验证集对训练的模型进行验证得到模型的精度,其中,在训练过程中使用QFocal Loss作为本文模型分类以及置信度的损失函数,使用CIoU作为回归定位损失并在CIoU前,增加平衡函数以平衡不同尺度的损失差异,公式如下:
其中,表示最大的物体真实框的面积,表示最小的物体真实框的面积,为目标物体的面积,A为常数,A的变化用于调节平衡函数的曲率,从而控制大小物体的分界,
总损失函数为如下:
其中,,为可学习的权重;
在训练过程中使用QFocal Loss作为本文模型分类以及置信度的损失函数,公式如下,
其中y是平滑标签,值为[0,1],是预测结果,用于平衡正负样本,用于强调难以检测的样本,
训练过程中的定位损失采用CIoU,CIoU回归定位损失考虑了三种几何参数:重叠面积、中心点距离、长宽比,CIoULoss公式如下,
其中是预测框和目标框的惩罚项,在CIoU中,边界框之间的中心点欧氏距离和惩罚项为,
其中, 分别代表了的中心点,代表了欧式距离,代表两个边框组成的最小包围框的对角线距离,是一个平衡参数,分别代表预测框的宽高。
2.根据权利要求1所述基于一阶段目标检测算法的钢材表面缺陷检测方法,其特征在于,
训练结束时,选择验证时超过设定阈值精度的模型进行测试,测试时将预处理的图片数据集的测试集输入到模型中进行测试,选择测试结果准确的模型进行TensorRT加速后封装为DLL文件。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211429925.9A CN115496752B (zh) | 2022-11-16 | 2022-11-16 | 一种基于一阶段目标检测算法的钢材表面缺陷检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211429925.9A CN115496752B (zh) | 2022-11-16 | 2022-11-16 | 一种基于一阶段目标检测算法的钢材表面缺陷检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115496752A CN115496752A (zh) | 2022-12-20 |
CN115496752B true CN115496752B (zh) | 2023-04-18 |
Family
ID=85115760
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211429925.9A Active CN115496752B (zh) | 2022-11-16 | 2022-11-16 | 一种基于一阶段目标检测算法的钢材表面缺陷检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115496752B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116434076A (zh) * | 2023-03-21 | 2023-07-14 | 北京市遥感信息研究所 | 一种融合先验知识的遥感图像目标识别方法 |
CN116092040B (zh) * | 2023-04-12 | 2023-06-23 | 齐鲁工业大学(山东省科学院) | 一种车道线预测和车道线缺陷检测方法 |
CN116503932B (zh) * | 2023-05-24 | 2024-06-18 | 北京万里红科技有限公司 | 重点区域加权的眼周特征提取方法、***及存储介质 |
CN116935221B (zh) * | 2023-07-21 | 2024-02-13 | 山东省计算中心(国家超级计算济南中心) | 一种基于物联网的植保无人机杂草深度学习检测方法 |
CN117420196B (zh) * | 2023-11-20 | 2024-04-16 | 中磁数智(北京)科技有限公司 | 一种基于目标检测与弱磁检测的管道缺陷识别定位方法 |
CN117292120B (zh) * | 2023-11-27 | 2024-02-09 | 南昌工程学院 | 一种轻量化可见光绝缘子目标检测方法及*** |
CN117876799B (zh) * | 2024-03-11 | 2024-05-28 | 暨南大学 | 一种物流供应链品控缺陷检测方法及*** |
CN117934980B (zh) * | 2024-03-25 | 2024-05-31 | 山东山科数字经济研究院有限公司 | 基于注意力监督调整的玻璃容器缺陷检测方法及*** |
CN117975176B (zh) * | 2024-04-02 | 2024-06-04 | 山东省计算中心(国家超级计算济南中心) | 一种基于工业动态视觉自我提示的钢铁缺陷检测方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113920107A (zh) * | 2021-10-29 | 2022-01-11 | 西安工程大学 | 一种基于改进yolov5算法的绝缘子破损检测方法 |
CN114494164A (zh) * | 2022-01-13 | 2022-05-13 | 大连嘉济自动化机电科技有限公司 | 一种钢材表面缺陷检测方法、装置及计算机存储介质 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022160167A1 (zh) * | 2021-01-28 | 2022-08-04 | 东莞职业技术学院 | 基于卷积神经网络模型训练的带钢表面缺陷检测方法 |
CN113706471A (zh) * | 2021-07-30 | 2021-11-26 | 安徽工业大学 | 一种基于模型压缩的钢铁产品表面缺陷检测方法 |
CN113628178B (zh) * | 2021-07-30 | 2024-03-15 | 安徽工业大学 | 一种速度与精度平衡的钢铁产品表面缺陷检测方法 |
-
2022
- 2022-11-16 CN CN202211429925.9A patent/CN115496752B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113920107A (zh) * | 2021-10-29 | 2022-01-11 | 西安工程大学 | 一种基于改进yolov5算法的绝缘子破损检测方法 |
CN114494164A (zh) * | 2022-01-13 | 2022-05-13 | 大连嘉济自动化机电科技有限公司 | 一种钢材表面缺陷检测方法、装置及计算机存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN115496752A (zh) | 2022-12-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115496752B (zh) | 一种基于一阶段目标检测算法的钢材表面缺陷检测方法 | |
CN112308019B (zh) | 基于网络剪枝和知识蒸馏的sar舰船目标检测方法 | |
CN112396002A (zh) | 一种基于SE-YOLOv3的轻量级遥感目标检测方法 | |
CN109886066A (zh) | 基于多尺度和多层特征融合的快速目标检测方法 | |
CN109784183B (zh) | 基于级联卷积网络和光流的视频显著性目标检测方法 | |
CN112364931B (zh) | 一种基于元特征和权重调整的少样本目标检测方法及网络*** | |
CN111462051B (zh) | 一种基于深度神经网络的布匹疵点检测方法和*** | |
CN110147707B (zh) | 一种高精度车辆识别方法及*** | |
CN111444939A (zh) | 电力领域开放场景下基于弱监督协同学习的小尺度设备部件检测方法 | |
CN115937655B (zh) | 多阶特征交互的目标检测模型及其构建方法、装置及应用 | |
CN110826379A (zh) | 一种基于特征复用与YOLOv3的目标检测方法 | |
CN113221852B (zh) | 一种目标识别方法及装置 | |
CN113469050A (zh) | 基于图像细分类的火焰检测方法 | |
CN114648665A (zh) | 一种弱监督目标检测方法及*** | |
CN116310850B (zh) | 基于改进型RetinaNet的遥感图像目标检测方法 | |
CN111353440A (zh) | 一种目标检测方法 | |
CN114758255A (zh) | 一种基于yolov5算法的无人机检测方法 | |
CN116342894A (zh) | 基于改进YOLOv5的GIS红外特征识别***及方法 | |
CN115937659A (zh) | 基于Mask-RCNN的室内复杂环境下多目标检测方法 | |
CN114821022A (zh) | 融合主观逻辑和不确定性分布建模的可信目标检测方法 | |
CN112507778A (zh) | 一种基于线特征的改进词袋模型的回环检测方法 | |
CN115496971A (zh) | 一种红外目标检测方法、装置、电子设备及存储介质 | |
CN117095155A (zh) | 一种基于改进的yolo自适应注意力-特征增强网络的多尺度数码管检测方法 | |
CN112508848B (zh) | 一种基于深度学习多任务端到端的遥感图像船舶旋转目标检测方法 | |
CN114494823A (zh) | 零售场景下的商品识别检测计数方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |