CN116012337A - 一种基于改进YOLOv4的热轧带钢表面缺陷检测方法 - Google Patents

Abstract

本发明公开了一种基于改进YOLOv4的热轧带钢表面缺陷检测方法，获取公开的热轧带钢数据集；使用k‑means++算法对YOLOv4网络的锚框参数值进行修改，选择精度最高的聚类结果作为YOLOv4网络的锚框参数值；构建包括主干特征提取网络、Neck部分与预测输出模块的改进的YOLOv4网络，调整特征图大小来适配整个网络模型，并对该算法做优化地后处理操作；采用改进的YOLOv4网络对训练集与验证集进行训练，采用训练好的改进网络对测试集进行测试。本发明在YOLOv4框架下，使用轻量化Transformer网络架构作为模型的特征提取网络，用较少的参数提取输入对象的全局、局部表征信息；添加ASFF自适应特征融合模块自适应地融合不同尺度特征，丰富大、小目标物的表征信息；最后采用改进的DIoUNMS算法，进一步降低漏检率。

Description

一种基于改进YOLOv4的热轧带钢表面缺陷检测方法

技术领域

本发明属于热轧带钢表面缺陷检测技术领域，具体涉及一种基于改进YOLOv4的热轧带钢表面缺陷检测方法。

背景技术

在倡导高质量发展的背景下，热轧带钢作为“绿色钢材”有着经济性强、可回收、强度高等生产优势，在建筑、汽车、造船等领域得到了广泛应用。然而，在实际生产中，不同的加工工艺过程都有可能导致带钢表面产生缺陷，这些缺陷不仅影响产品的美观，而且也会降低产品的耐磨性和疲劳强度。如果没有适时地检测出缺陷并进行相应的处理，就会使产品质量愈发恶化。因此，需要提前筛选出表面有缺陷的带钢来提高产品的合格率，减少经济损失。相较于人工检测得主观性以及机器视觉检测得易受干扰性，基于深度学习的缺陷检测有着高精度、高效率以及泛化性的优点，更能适应复杂的检测环境,被广泛地应用于产品缺陷检测领域。

近几年，深度学习在金属表面缺陷检测中的应用得到了广泛的研究。现有技术中有利用改进后的YOLOv3算法检测型钢表面缺陷，通过将Darknet53网络的部分残差单元的卷积层替换为可变形卷积，在原有的3个预测尺度上增加1层更浅层的预测尺度，来强化特征学习能力和增强对密集微小缺陷的表征能力。也有利用改进的YOLOv3算法检测热轧钢条表面缺陷，融合网络的浅层特征与深层特征生成新预测尺度，加入DIoU边框回归损失和利用K-Means++聚类算法，来提取更多小缺陷目标特征，加快模型收敛。还有针对冲压件缺陷检测提出了一种基于改进YOLOv4模型的快速检测算法，使用改进的MobileNetV3网络代替YOLOv4结构中的主干网络CSPDarknet53，结合SE Block(轻量级注意力结构)，再进行数据增强和使用K-Means聚类，提高检测精度。以上算法使用的均是卷积神经网络，而卷积神经网络通常提取的是局部特征，不能很好的捕捉全局特征信息间的依赖关系，且主干网络随着网络深度的增加，参数量与计算量也会随之增加，检测速度变慢。随着Transformer的快速发展，其凭借着优于CNN的更好的全局信息特征捕获能力，在CNN的应用领域中也取得了不错的成果。鉴于CNN与Transformer的不同优势，本文提出了一种基于YOLOv4改进的缺陷检测方法。

发明内容

发明目的：本发明的目的是提出一种基于改进YOLOv4的热轧带钢表面缺陷检测方法，该方法能够在保证一定的检测速度前提下,充分的提取缺陷的全局特征与局部特征，较好地提高带钢表面缺陷的检测与定位精度。

技术方案：本发明所述的一种基于改进YOLOv4的热轧带钢表面缺陷检测方法，包括以下步骤：

(1)获取公开的热轧带钢数据集，将数据集分为训练集、验证集与测试集，并调整图片大小；

(2)使用k-means++算法对YOLOv4网络的锚框参数值进行修改，选择精度最高的聚类结果作为YOLOv4网络的锚框参数值；

(3)构建改进的YOLOv4网络，调整特征图大小来适配整个网络模型，并对该算法做优化地后处理操作；所述改进的YOLOv4网络包括主干特征提取网络、Neck部分与预测输出模块；

(4)采用改进的YOLOv4网络对训练集与验证集进行训练，采用训练好的改进网络对测试集进行测试；

(5)将待测试的图片输入到训练好的改进的YOLOv4网络中，来检测热轧带钢表面缺陷，得到图片中缺陷的置信度、类别以及位置。

进一步地，步骤(1)所述的调整图片大小为将公开的热轧带钢数据集图片从原尺寸200×200统一缩放至512×512。

进一步地，步骤(3)所述的Neck部分包括SPP金字塔模块、PANet多尺度融合模块与ASFF特征自适应融合模块；所述的主干特征提取网络采用的是MobileVit网络架构，从网络中抽取三个特征图：64×64×96，32×32×128，16×16×160，用作所述Neck部分的输入；接着，将16×16×160特征图通过3次CBL操作将通道数调整成与YOLOv4适配的大小，得到一个16×16×512的特征图；接着，将其通过所述SPP金字塔模块来增加特征的感受野，使用特征拼接与普通卷积对通道数进行调整，得到一个16×16×512的特征图；接着，将所得的16×16×512特征图与之前从所述主干特征提取网络抽取的前两个特征图：64×64×96，32×32×128特征图，输入到所述的PANet多尺度融合模块进行多尺度特征提取拼接，得到表征信息更多的三个特征图：64×64×128，32×32×256，16×16×512；接着，将得到的三个特征图通过所述ASFF特征自适应融合模块跨尺度地丰富不同尺寸的表征信息，输出三个特征图：64×64×128，32×32×256，16×16×512：接着，将得到的三个特征图通过所述预测输出模块的三个不同大小的特征层进行多尺度检测，得到三个初步的预测结果特征图64×64×C,32×32×C,16×16×C：接着，对所述后处理操作进行优化，即改进的DIoU NMS来对初步的预测结果筛选得到最终的输出结果，输出的结果经过转换公式的换算可得到实际预测框的中心点坐标、宽和高。

进一步地，所述主干特征提取网络是由多个MobileVit block和MobileNetV2block组成；所述MobileVit block由Local representations局部表示部分、Globalrepresentations全局表示部分与Fusion融合部分组成；所述Local representations局部表示部分用来提取局部空间信息，利用n×n与1×1的卷积对输入特征进行局部特征提取并投影到高维空间；所述Global representations全局表示部分用来来学习全局特征，将特征展开为N个non-overlapping flattened patches，其中Transformer部分用来对多个patches之间的关系进行编码；所述Fusion融合部分用n×n卷积来融合前两个部分得到的局部、全局特征；所述MobileNetV2 block先通过1×1的卷积升维，进一步提取更丰富的特征；然后利用3×3的深度可分离卷积，在使用较少计算量的情况下来提取更大感受野的特征；再利用1×1的卷积将输入的特征图降维，减少参数量；最后再利用残差连接，使其在较少增加计算量与参数量的同时又可以捕获到更多的特征信息。

进一步地，所述ASFF特征自适应融合模块通过学习后的权重参数自动地融合所输入的三个特征图的多尺度特征信息，加强特征的提取，通过以下公式实现：

ASFF-3＝X^1→3*α³+X^2→3*β³+X^3→3*γ³

其中，X^1→3为level 1特征层通过通道数调整、尺寸缩放，变换至同level 3特征层相同大小的特征层；同理，X^2→3为level 2变换至同level 3特征层相同大小的特征层；X^3→3为level 3特征层；α，β，γ为各自的权重系数，在训练中通过反向传播获得。

进一步地，所述对后处理操作进行优化，即改进的DIoU NMS，在原DIoU计算公式中添加一个权重系数λ来进一步过滤掉重复检测的预测框，操作步骤具体为：

S1：对所有的候选预测框按照置信度值进行降序排列；

S2：选择置信度值最高的预测框A添加到输出列表中，并将其从候选列表中删除；

S3：计算框A与其他候选预测框的DIoU值，并将大于NMS threshold的候选预测框视为重叠预测，将其从候选列表中删除；

改进的DIoU值的计算公式为：

其中，λ为权重系数(0<λ<1)，当λ<1时,原

值被减小，DIoU值增大，在原本的置信度阈值下进一步过滤掉重复检测的预测框；

S4：重复步骤S1-S3，直至候选列表为空后，返回输出列表，即真正的预测框。

有益效果：与现有技术相比，本发明的有益效果：在YOLOv4框架下，结合Transfomer技术重构出一个新的网络，使用轻量化Transformer网络架构作为模型的特征提取网络，用较少的参数提取输入对象的全局、局部表征信息；其次，通过ASFF自适应特征融合模块自适应地融合不同尺度特征，丰富大、小目标物的表征信息；最后将NMS算法替换为改进的DIoU NMS算法，进一步降低漏检率；本发明通过与其他算法对比，综合FPS与mAP两个评价指标可知，本发明算法的综合检测性能最佳，在保证一定检测速度的前提下，有效地提高了热轧带钢表面缺陷检测的精度。

附图说明

图1为本发明提出的改进的YOLOv4网络结构示意图；

图2为MobileVit block结构示意图；

图3为MobileNetV2 block结构示意图；

图4为ASFF自适应特征融合模块的结构示意图。

具体实施方式

以下将结合附图，对本发明的技术方案进行详细说明。

本发明供了一种基于改进YOLOv4的热轧带钢表面缺陷检测方法，具体包括以下步骤：

步骤1：获取公开的热轧带钢数据集，将数据集分为训练集、验证集与测试集，并调整图片大小。

公开的热轧带钢数据集，从原尺寸为200×200统一缩放至512×512，并从数据集每类缺陷图片中按照7:2:1的比例随机抽取分为训练集、验证集和测试集。其中，公开的热轧带钢数据集包含热轧带钢常见6种的表面缺陷：裂纹(crazing,Cr)，压入氧化皮(rolled-in scale，RS)，夹杂(inclusion,In)，麻点(pitted surface,PS)，斑块(patches,Pa)，划痕(scratches,Sc)。每类缺陷各有300张图片，整个数据集共有1800张图片。

步骤2：使用k-means++算法对YOLOv4网络模型的锚框参数值进行修改，选择精度最高的聚类结果作为YOLOv4网络的锚框参数值。

k-means++算法的具体实现过程如下：

S1.输入热轧带钢表面缺陷数据集并设置k值为9；

S2.从数据集中随机选择一个样本点作为第一个初始聚类中心；

S3.计算每个样本与当前已有的聚类中心之间的距离D(x)；

S4.计算每个样本点被选为下一个聚类中心的概率P(x)，选择最大概率值对应的样本点作为下一个聚类中心；

S5.重复步骤S3和S4，直到得到9个初始聚类中心点；

S6.计算每个样本点到9个初始聚类中心点的距离，按照距离最近将其归类到对应的聚类中心，将样本全部归类完毕后得到多个簇；

S7.新的聚类中心更新为每个簇中所有样本点的均值；

S8.重复步骤S6和S7，直到聚类中心不再变化时，输出最终的9个聚类中心。

步骤3：构建改进的YOLOv4网络，调整特征图大小来适配整个网络模型，并对该网络做优化地后处理操作。

改进的YOLOv4网络结构图如图1所示，改进的YOLOv4网络包括主干特征提取网络、Neck部分与预测输出模块(Yolo Head)。Neck部分包括SPP金字塔模块、PANet多尺度融合模块与ASFF特征自适应融合模块；主干特征提取网络采用的是MobileVit网络架构，MobileVit的网络结构图如图2所示，从网络中抽取三个特征图：64×64×96，32×32×128，16×16×160，用作所述Neck部分的输入；接着，将16×16×160特征图通过3次CBL(Conv卷积+BN批量标准化+LeakyRelu带泄露修正线性单元函数)操作将通道数调整成与YOLOv4适配的大小，得到一个16×16×512的特征图；接着，将其通过所述SPP金字塔模块来增加特征的感受野，使用特征拼接与普通卷积对通道数进行调整，得到一个16×16×512的特征图；接着，将所得的16×16×512特征图与之前从所述主干特征提取网络抽取的前两个特征图：64×64×96，32×32×128特征图，输入到所述的PANet多尺度融合模块进行多尺度特征提取拼接，得到表征信息更多的三个特征图：64×64×128，32×32×256，16×16×512；接着，将得到的三个特征图通过所述ASFF特征自适应融合模块跨尺度地丰富不同尺寸的表征信息，输出三个特征图：64×64×128，32×32×256，16×16×512：接着，将得到的三个特征图通过所述预测输出模块的三个不同大小的特征层进行多尺度检测，得到三个初步的预测结果特征图64×64×C,32×32×C,16×16×C：接着，对所述后处理操作进行优化，即改进的DIoU NMS来对初步的预测结果筛选得到最终的输出结果，输出的结果经过转换公式的换算可得到实际预测框的中心点坐标、宽和高。

如图2、图3所示，主干特征提取网络MobileVit主要是由多个MobileVit block和MobileNetV2 block组成由，其中，MobileVit block由Local representations局部表示部分、Global representations全局表示部分与Fusion融合部分组成。如图2所示，其中，Local representations局部表示部分用来提取局部空间信息，利用n×n与1×1的卷积对输入特征进行局部特征提取并投影到高维空间；Global representations全局表示部分用来来学习全局特征，将特征展开为N个non-overlapping flattened patches,其中Transformer部分用来对多个patches之间的关系进行编码；Fusion融合部分用n×n卷积来融合前两个部分得到的局部、全局特征；包括Resblock_body残差结构和CSPX跨阶段结构。

MobileNetV2 block又称为倒残差，如图3所示，先通过1×1的卷积升维，进一步提取更丰富的特征；然后利用3×3的深度可分离卷积，在使用较少计算量的情况下来提取更大感受野的特征；再利用1×1的卷积将输入的特征图降维，减少参数量；最后再利用残差连接，使其在较少增加计算量与参数量的同时又可以捕获到更多的特征信息。

SPP金字塔模块利用4个不同pooling size的最大池化对从所述主干特征提取网络中抽取并进行三次CBL操作的第三个特征图不同程度的感受野增大，生成四个特征图后进行特征拼接与通道调整，输出大小为16×16×512的特征图作为所述PANet模块的第三个输入。

PANet多尺度融合模块通过多次卷积上采样与下采样操作将从所述SPP金字塔模块所得的16×16×512特征图与从所述主干特征提取网络中所得的64×64×96和32×32×128特征图进行从下至上，从上至下的特征提取拼接，多尺度地融合语义信息和空间信息，输出大小为64×64×128，32×32×256，16×16×512的三个特征图，并输入至ASFF特征自适应融合模块。

ASFF特征自适应融合模块可通过学习后的权重参数自动地融合所输入的64×64×128，32×32×256，16×16×512三个特征图的多尺度特征信息，加强特征的提取。以三特征层的ASFF结构为例，如图4为示。每个ASFF的输入为level 1、level 2、level 3。当level3特征图中既有大物体，又有小物体时，小物体的存在会对特征提取有一定的干扰性，此时应该过滤掉小物体的信息，并结合level 1与level 2特征图中含有的高级语义特征信息来丰富level 3特征图中的大物体特征信息，其中，ASFF特征自适应融合模块的计算以ASFF-3为例，流程具体为：3个层的特征经过变换后乘上相应的权重系数并相加，即可得到新的融合后的特征图ASFF-3，计算公式如下所示：

ASFF-3＝X^1→3*α³+X^2→3*β³+X^3→3*γ³

其中，X^1→3为level 1特征层通过通道数调整、尺寸缩放，变换至同level 3特征层相同大小的特征层；同理，X^2→3为level 2变换至同level 3特征层相同大小的特征层；X^3→3为level 3特征层；α，β，γ为各自的权重系数，在训练中通过反向传播获得。

预测输出模块通过3个不同大小的特征层进行多尺度检测，分别输出64×64×C,32×32×C,16×16×C三个预测特征图，可分别检测出小、中、大不同尺度的目标物。每个特征层由1个CBL模块和普通卷积组成。此处的CBL模块用于通道数的过渡与调整，普通卷积用于输出预测结果。

对后处理操作进行优化，即改进的DIoU NMS，在原DIoU计算公式中添加一个权重系数来进一步过滤掉重复检测的预测框，操作步骤具体为：

S1.对所有的候选预测框按照置信度值进行降序排列。

S2.选择置信度值最高的预测框A添加到输出列表中，并将其从候选列表中删除。

S3.计算框A与其他候选预测框的DIoU值，并将大于NMS threshold的候选预测框视为重叠预测，将其从候选列表中删除。

改进的DIoU值的计算公式为：

其中，λ为权重系数(0<λ<1)，当λ<1时,原

值被减小，DIoU值增大，在原本的置信度阈值下进一步过滤掉重复检测的预测框。

S4.重复S1-S3，直至候选列表为空后，返回输出列表，即真正的预测框。

步骤4：采用改进的YOLOv4网络对训练集与验证集进行训练，采用训练好的改进网络对测试集进行测试；将待测试的图片输入到训练好的改进的YOLOv4网络中，来检测热轧带钢表面缺陷，得到图片中缺陷的置信度、类别以及位置。

在本实施例中，通过Python编程语言和Pytorch深度学习框架实现改进的YOLOv4网络。使用训练集的图像对改进的YOLOv4网络进行训练，验证集的图像用于验证网络的训练效果。同时为了做对比，使用同样的训练方法对原YOLOv4进行训练。

同时，本实例使用测试集对改进的YOLOv4网络和YOLOv4，YOLO v3，YOLO v5，Faster R-CNN算法做基于mAP与FPS这两个评价指标的综合对比，如表1所示，综合两个评价指标可知，本文算法的综合检测性能最佳，做到了准确度更高的实时检测。

表1不同算法对比

算法	mAP/(％)	FPS/(frame·s)
			Faster R-CNN	71.32	18.3
YOLO v3	67.43	50.1
			YOLOv4	68.59	45.6
YOLO v5	70.51	103.4
			本发明算法	80.16	45.7

本实例是在ubuntu20.04操作***下基于pytorh深度学习框架实现的，GPU选用内存12G的NVIDIA GeForce GTX 3060,CUDA11.1,CUDNN11.1。训练150个epoch，冻结与解冻时的batchsize设为4，使用Adam优化器进行参数处理，冻结时的学习率为le-3，解冻时的学习率为le-4，训练集在解冻训练时采用在线数据增强。

本实施例测试集的数量为180张，使用该测试集对本实例的算法进行测试。与原YOLOv4算法对比，本实例算法平均精度达到了80.16％，较原YOLOv4算法提高了11.57％，FPS达到了45.7frame/s。本发明算法与原YOLOv4算法的结果对比可看出原YOLOv4算法更容易出现漏检的情况，且部分缺陷无法识别或者识别出的置信度值较低；且本发明算法能够尽可能多的检测出缺陷。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (6)

1.一种基于改进YOLOv4的热轧带钢表面缺陷检测方法，其特征在于，包括以下步骤：

(1)获取公开的热轧带钢数据集，将数据集分为训练集、验证集与测试集，并调整图片大小；

(2)使用k-means++算法对YOLOv4网络的锚框参数值进行修改，选择精度最高的聚类结果作为YOLOv4网络的锚框参数值；

(3)构建改进的YOLOv4网络，调整特征图大小来适配整个网络模型，并对该算法做优化地后处理操作；所述改进的YOLOv4网络包括主干特征提取网络、Neck部分与预测输出模块；

(4)采用改进的YOLOv4网络对训练集与验证集进行训练，采用训练好的改进网络对测试集进行测试；

(5)将待测试的图片输入到训练好的改进的YOLOv4网络中，来检测热轧带钢表面缺陷，得到图片中缺陷的置信度、类别以及位置。

2.根据权利要求1所述的一种基于改进YOLOv4的热轧带钢表面缺陷检测方法，其特征在于，步骤(1)所述的调整图片大小为将公开的热轧带钢数据集图片从原尺寸200×200统一缩放至512×512。

3.根据权利要求1所述的一种基于改进YOLOv4的热轧带钢表面缺陷检测方法，其特征在于，步骤(3)所述的Neck部分包括SPP金字塔模块、PANet多尺度融合模块与ASFF特征自适应融合模块；所述的主干特征提取网络采用的是MobileVit网络架构，从网络中抽取三个特征图：64×64×96，32×32×128，16×16×160，用作所述Neck部分的输入；接着，将16×16×160特征图通过3次CBL操作将通道数调整成与YOLOv4适配的大小，得到一个16×16×512的特征图；接着，将其通过所述SPP金字塔模块来增加特征的感受野，使用特征拼接与普通卷积对通道数进行调整，得到一个16×16×512的特征图；接着，将所得的16×16×512特征图与之前从所述主干特征提取网络抽取的前两个特征图：64×64×96，32×32×128特征图，输入到所述的PANet多尺度融合模块进行多尺度特征提取拼接，得到表征信息更多的三个特征图：64×64×128，32×32×256，16×16×512；接着，将得到的三个特征图通过所述ASFF特征自适应融合模块跨尺度地丰富不同尺寸的表征信息，输出三个特征图：64×64×128，32×32×256，16×16×512：接着，将得到的三个特征图通过所述预测输出模块的三个不同大小的特征层进行多尺度检测，得到三个初步的预测结果特征图64×64×C,32×32×C,16×16×C：接着，对所述后处理操作进行优化，即改进的DIoU NMS来对初步的预测结果筛选得到最终的输出结果，输出的结果经过转换公式的换算可得到实际预测框的中心点坐标、宽和高。

4.根据权利要求1所述的一种基于改进YOLOv4的热轧带钢表面缺陷检测方法，其特征在于，所述主干特征提取网络是由多个MobileVit block和MobileNetV2 block组成；所述MobileVit block由Local representations局部表示部分、Global representations全局表示部分与Fusion融合部分组成；所述Local representations局部表示部分用来提取局部空间信息，利用n×n与1×1的卷积对输入特征进行局部特征提取并投影到高维空间；所述Global representations全局表示部分用来来学习全局特征，将特征展开为N个non-overlapping flattened patches，其中Transformer部分用来对多个patches之间的关系进行编码；所述Fusion融合部分用n×n卷积来融合前两个部分得到的局部、全局特征；所述MobileNetV2 block先通过1×1的卷积升维，进一步提取更丰富的特征；然后利用3×3的深度可分离卷积，在使用较少计算量的情况下来提取更大感受野的特征；再利用1×1的卷积将输入的特征图降维，减少参数量；最后再利用残差连接，使其在较少增加计算量与参数量的同时又可以捕获到更多的特征信息。

5.根据权利要求3所述的一种基于改进YOLOv4的热轧带钢表面缺陷检测方法，其特征在于，所述ASFF特征自适应融合模块通过学习后的权重参数自动地融合所输入的三个特征图的多尺度特征信息，加强特征的提取，通过以下公式实现：

ASFF-3＝X^1→3*α³+X^2→3*β³+X^3→3*γ³

其中，X^1→3为level 1特征层通过通道数调整、尺寸缩放，变换至同level 3特征层相同大小的特征层；同理，X^2→3为level 2变换至同level 3特征层相同大小的特征层；X^3→3为level 3特征层；α，β，γ为各自的权重系数，在训练中通过反向传播获得。

6.根据权利要求3所述的一种基于改进YOLOv4的热轧带钢表面缺陷检测方法，其特征在于，所述对后处理操作进行优化，即改进的DIoU NMS，在原DIoU计算公式中添加一个权重系数λ来进一步过滤掉重复检测的预测框，操作步骤具体为：

S1：对所有的候选预测框按照置信度值进行降序排列；

S2：选择置信度值最高的预测框A添加到输出列表中，并将其从候选列表中删除；

S3：计算框A与其他候选预测框的DIoU值，并将大于NMS threshold的候选预测框视为重叠预测，将其从候选列表中删除；

改进的DIoU值的计算公式为：

其中，λ为权重系数，0<λ<1，当λ<1时,原

值被减小，DIoU值增大，在原本的置信度阈值下进一步过滤掉重复检测的预测框；

S4：重复步骤S1-S3，直至候选列表为空后，返回输出列表，即真正的预测框。

Images