CN113628178B - 一种速度与精度平衡的钢铁产品表面缺陷检测方法 - Google Patents

Abstract

本发明公开了一种速度与精度平衡的钢铁产品表面缺陷检测方法，属于钢材表面缺陷检测技术领域，包括以下步骤：S1：从数据库中获取热轧带钢表面缺陷典型图像样本，并对样本进行预处理；S2：基于CenterNet目标检测模型，设计包含跳层连接和金字塔特征融合模块的热轧带钢表面缺陷目标检测模型，并选择骨干网络作为目标检测模型的特征提取器；S3：对目标检测模型中骨干网络结构部分的参数采用在ImageNet数据集上训练好的参数进行初始化，并用训练样本训练目标检测模型；S4：用训练后的目标检测模型对测试样本进行测试，并输出检测结果。本发明检测热轧带钢表面缺陷目标位置的准确率高，检测速度快，能够有效地应用于现场实时检测热轧带钢的表面缺陷。

Description

一种速度与精度平衡的钢铁产品表面缺陷检测方法

技术领域

本发明涉及钢材表面缺陷检测技术领域，具体涉及一种速度与精度平衡的钢铁产品表面缺陷检测方法。

背景技术

热轧带钢生产过程中，因各种物理和化学因素及热轧工艺的复杂性，导致带钢表面易出现压入氧化皮、划痕、麻面、夹杂、斑块、裂缝等各式各样的缺陷，严重影响产品的性能和美观。缺陷产品产生并流向市场会给产品制造商带来巨大的经济和商业声誉损失。因此，实时、正确的热轧带钢表面缺陷检测研究对带钢生产和质量控制非常重要。

目前，钢铁表面缺陷的检查主要分为人工观察和自动缺陷检测***。人工观察的检测方法对检测人员的依赖性高，会耗费大量人力，并且主观性强，难以对产品表面缺陷做出科学和准确的识别。红外、漏磁和机器视觉等自动缺陷检测技术在实际工业生产中的广泛应用，使得人工缺陷检测方法带来的问题逐渐得到解决。特别是计算机视觉的发展，大大提高了缺陷分类技术的准确性和速度。然而，这些方法无法在缺陷检查任务中获得准确的缺陷位置信息。近年来，随着深度学习的发展，卷积神经网络在特征提取方面占据着独特的优势，并在识别任务中取得了较好的成绩。因此，将深度学习方法应用到工业目标检测中是目前产品检测的研究热点。

申请号为CN201611136821.3的中国发明专利公开了一种铸坯表面缺陷传承到轧材的精确定位方法。该发明专利主要研究方大特钢核心产品表面缺陷产生的时间、空间的对应关系，推断表面缺陷产生的既定工序，为提高核心产品的质量和企业的生产效率提供重要的参考依据。该专利介绍的一种铸坯表面缺陷对应轧材缺陷的快速精确定位方法，通过沿轧制方向在铸坯表面缺陷两端一定距离按要求孔径及深度开孔，并用焊条焊接填充平整，轧制后按对应关系可以快速精确查找到开孔对应轧材上缺陷，并据此快速定位铸坯表面缺陷，并进行取样检测分析，实现铸坯表面缺陷对应轧材缺陷的快速精确定位，能够有效提高判断缺陷产生原因以及工序改进的及时性、精准性。

当前在深度学***衡的钢铁产品表面缺陷检测方法。

发明内容

本发明所要解决的技术问题在于：如何对钢铁产品表面缺陷进行精度高且速度能满足实时生产线要求的检测，提供了一种速度与精度平衡的钢铁产品表面缺陷检测方法。

本发明是通过以下技术方案解决上述技术问题的，本发明包括以下步骤：

S1：从NEU-DET数据库中获取热轧带钢表面缺陷典型图像样本，并对其进行预处理；

S2：基于CenterNet目标检测模型，设计包含跳层连接和金字塔特征融合模块的热轧带钢表面缺陷目标检测的模型，并选择参数量少的骨干网络作为模型的特征提取器；

S3：对模型中骨干网络结构部分的参数采用在ImageNet数据集上训练好的参数初始化，并用训练样本训练模型；

S4：用训练好的模型对测试样本进行测试，并输出检测结果。

更进一步地，所述步骤S1包括以下步骤：

S1.1：将获取的样本以7:3比例分为训练集和测试集，所述训练集和测试集均包含6种类别，并将训练集中的样本扩大为384*384的图片；

S1.2：对训练样本进行翻转、平移、增加亮度、裁减等一系列数据增强处理。

更进一步地，所述步骤S2基于CenterNet目标检测模型，设计包含跳层连接和金字塔特征融合模块的热轧带钢表面缺陷目标检测的模型，并选择参数量少的骨干网络作为模型的特征提取器的步骤为：

S2.1：基于CenterNet目标检测模型，选择参数量少且轻便的骨干网络ResNet18-dcn作为特征提取器。

S2.2：为了提升检测模型对目标与背景差异小的缺陷图像的检测能力，设计包含跳层连接模块的热轧带钢表面缺陷目标检测的模型；

S2.3：为了提升检测模型对具有类内差异大、类间相似性高特点的缺陷图像的检测能力，在加入跳层连接模块的模型中添加金字塔特征融合模块，得到最终的检测模型。

更进一步地，所述步骤S3对模型中骨干网络结构部分的参数采用在ImageNet数据集上训练好的参数初始化，并用训练样本训练模型的步骤为：

S3.1：在改进的模型中，ResNet18-dcn中的ResNet-18骨干网络结构的初始参数采用其在ImageNet数据集上训练好的参数，ResNet18-dcn中解码网络结构及金字塔特征融合模块中的上采样层采用线性插值方式初始化参数，形变卷积层采用xavier高斯初始化方式进行参数初始化；

S3.2：将训练集输入到改进的目标检测模型，采用BP算法进行参数学习及更新。

更进一步地，所述步骤S4采用训练好的模型对测试样本进行测试，并输出检测结果的步骤为：

S4.1：对测试样本进行放大1.6倍和翻转两种数据增强处理；

S4.2：最终的检测结果是增强样本与原始样本检测结果的平均值。

更进一步地，所述步骤S2中的CenterNet模型分别采用ResNet-101、DLA-34以及Hourglass-104三种骨干网络结构作为目标检测过程中的特征提取器。当将ResNet作为骨干网络时，采用编码解码的方式提取目标的特征，其中ResNet网络结构被称为编码网络，在编码器之后引入的三个交替连接的形变卷积层和上采样层作为解码网络，所述的形变卷积层采用卷积核大小为3×3，步长为1，所述上采样层采用卷积核大小为4×4，初始化方式为线性插值，步长为2，上采样后的每个特征图的通道为256、128、64。

更进一步地，所述步骤S2.1设计跳层连接模块的步骤为：

S2.2.1：基于ResNet-18编码网络以及由形变卷积层和上采样层组成的解码网络，将这两个网络中通道数和尺寸大小相同的两个特征图合并，即两个特征图同一位置上的像素值相加；

S2.1.2：将合并后的特征图输入到解码网络中的形变卷积层中；

更进一步地，所述步骤S2.3设计金字塔特征融合模块的步骤为：

S2.3.1：将解码网络中每一个经过上采样层的特征图，再一次上采样，再一次上采样层的卷积核大小分别为16×16、8×8、4×4，步长分别为8，4，2，参数初始化方式为线性插值；

S2.3.2：将上采样后的四个特征图合并，所述的合并方式为同一位置上的像素值相加。

本发明相比现有技术具有以下优点：

(1)基于具有较快检测速度的一阶检测CenterNet模型，采用更加轻便且模块化的ResNet-18网络作为骨干结构，同时在解码网络中的上采样层之前加入形变卷积层来适应缺陷形态多样的工业数据，增强了模型的鲁棒性；ResNet-18中残差结构的设计，可以简化网络的学习过程、加快网络梯度传播，同时避免网络退化。

(2)在轻便的特征提取网络结构基础上，设计了跳层连接和金字塔特征融合两个模块；跳层连接模块的设计在不增加网络参数的基础上实现了对整个网络结构的深度监督，同时，它将网络的深层和浅层特征进行融合实现局部和全局特征的整合，提高了模型对低质量缺陷样本的检测能力；金字塔特征融合模块的设计将四个具有丰富语义信息的特征图融合成一个尺寸较大的输出特征图，提升了模型对具有类内差异大、类间相似性高特点的缺陷样本的检测能力。

(3)与现有的网络模型相比，不仅提升了检测准确率，同时也满足了实际生产过程中检测样本缺陷的最低速度需求。

附图说明

图1为本发明实施例中速度与精度平衡的钢铁产品表面缺陷检测方法的流程图；

图2为本发明实施例中NEU数据库中6种典型的缺陷图像样本；

图3为本发明实施例中网络结构图；

图4为本发明实施例中对缺陷图片检测效果的展示图；

图5为不同的跳层连接模块结构示意图。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

本实施例提供一种技术方案：一种速度与精度平衡的钢铁产品表面缺陷检测方法，以对热轧带钢表面缺陷识别与定位为例，如图1所示，其步骤如下：

S1：从NEU-DET数据库中获取热轧带钢表面缺陷典型图像样本，并对样本进行预处理。

NEU数据库指(Northeastern University，东北大学)表面缺陷数据库，可以在该数据库中得到热轧带钢表面六种典型表面缺陷的图像及每副图像中缺陷所在的位置坐标信息，如图2所示，该数据图像中，包括裂纹(Cr)、压入氧化皮(Rs)、麻面(Ps)、斑块(Pa)、夹杂(In)、划痕(Sc)共6种1800张典型的热轧带钢表面缺陷图像。

该步骤中，包括以下两个步骤：

S1.1：将获取的样本以7:3比例分为训练集和测试集，训练集和测试集均包含6种类别，并将训练集中的样本尺寸扩大为384*384的图片；

S1.2：对训练样本进行翻转、平移、增加亮度、裁减等一系列数据增强处理。

S2：基于CenterNet目标检测模型，以参数量少的ResNet18-dcn网络结构作为模型的特征提取器，搭建包含跳层连接和金字塔特征融合模块的热轧带钢表面缺陷目标检测的模型。

其中ResNet18-dcn模型是一种将编码器和解码器相结合的一种特征提取器，它采用传统的ResNet-18模型作为骨干网络(也被称作是ResNet18-dcn中的编码器)，并采用3个堆叠的形变卷积层和上采样层作为ResNet18-dcn的解码网络结构。ResNet-18包括17个卷积层、1个最大池化层。缺陷目标检测网络结构图如图3所示。结合图3对本发明的目标检测网络做具体说明，首先是将原始缺陷图像输入到编码器中依次连接的一个卷积层和一个最大池化层(取名为conv1)，输出特征图的尺寸是原始图像大小的1/4(这里的分数数值是指输出图像的尺寸与原始输入图像尺寸大小的比例，下文均如此解释)，然后依次连接4个相同的卷积模块(conv2、conv3、conv4和conv5)，每个模块均包含两个有两个卷积层的残差结构，在conv2中，卷积层的步长均为1，在conv3、conv4和conv5中，第一个卷积残差结构中的第一个卷积层的步长为2，其余的卷积层步长均为1，每个卷积模块输出特征图尺寸大小依次为1/4、1/8、1/16、1/32；然后连接解码网络中三个相同的上采样模块up-conv1、up-conv2、up-conv3，每个上采样模块均包含一个形变卷积层一个上采样层，所述的形变卷积层采用卷积核大小为3×3，步长为1，所述上采样层采用卷积核大小为4×4，初始化方式为线性插值，步长为2，上采样后的每个特征图的通道为256，128，64，三个上采样模块的输出特征图尺寸为1/16、1/8、1/4。跨层连接模块(SCM)表现为编码网络与解码网络中输出特征图尺寸大小相同的特征图之间的连接，实际的结合方式是特征图之间像素值的相加，相加后的融合特征图输出尺寸不变。金字塔特征融合模块(PFM)表现为首先将四个不同尺寸的特征图通过上采样层调整为统一大小，然后将它们通过相加的方式合并，融合为一个具有较大尺寸的特征图；然后连接由两个卷积层组成的三个输出模块，其中第一个模块(cls)的用于缺陷分类，第二个模块(loc_offset)用于预测缺陷目标检测框的宽和高，第三个模块(loc_wh)用于预测缺陷目标的中心点坐标在x和y方向上的偏移量。

S3：对模型中骨干网络结构部分的参数采用在ImageNet数据集上训练好的参数进行初始化，并用训练样本训练模型。

训练目标检测模型的过程包括以下步骤：

S3.1：在改进的模型中，ResNet18-dcn中ResNet-18骨干网络结构的初始参数采用其在ImageNet数据集上训练好的参数，ResNet18-dcn中解码网络结构及金字塔特征融合模块中的上采样层采用线性插值方式初始化参数，形变卷积层采用xavier高斯初始化方式进行参数初始化参数；

S3.2：将训练集输入到改进的目标检测模型，进行参数学习及更新。

采用BP算法训练改进的目标检测模型，因为本发明主要针对的是钢铁产品表面缺陷目标的检测，可以将改进的检测网络称为钢铁产品表面缺陷检测器，根据网络输出与样本缺陷类别和缺陷位置的误差更新网络参数，每次采用24张图片为一个批次计算网络误差并更新权重，在训练时，采用Adam优化算法，初始学习率设置为1.25e-4，当训练至60和120轮时，将学习率依次下降10倍，迭代至160时结束训练。

S4：用训练好的模型对测试样本进行测试，并输出检测结果。

测试目标检测模型的过程包括以下步骤：

S4.1：对测试样本进行放大1.6倍和翻转两种数据增强处理；

S4.2：最终的检测结果是增强样本与原始样本检测结果的平均值。

采用上述方法，对一组钢铁产品表面样本进行缺陷检测，并采用现有的一阶和二阶目标检测技术中在检测速度或精度上最新的几种检测方法对钢铁产品表面缺陷进行识别，并针对检测精度和速度进行对比。具体的一阶检测模型为faster RCNN，cascade RCNN和DDN模型，二阶检测模型为M2Det，SSD、FCOS、ATSS、YOLOv3和CenterNet模型。为了获得更具竞争力的检测结果，faster RCNN、DDN、M2Det和CneterNet检测模型采用多个特征骨干网络进行训练。通过训练，得到每个模型对不同类别缺陷的检测结果，如表1所示。对其中部分图像的检测效果展示在图4中。

表1基于不同模型的钢铁产品表面缺陷性能评估

由表1可知，二阶检测器对钢铁产品表面缺陷检测有较高的平均精度均值，三个模型的检测精度分别为77.9％、73.3％和82.3％，但它们对每个样本的检测速度很慢。例如，当DDN检测器选择ResNet50作为特征提取网络时，其检测速度仅为11FPS。对比之下，一阶检测器可以实现较快的检测速度，但检测精度差异较大，尤其是M2Det模型的检测结果。相比其它检测模型，本发明的钢铁产品表面缺陷检测器(Our work)平均精度均值高，速度快。与同样将resnet18-dcn作为骨干的CenterNet模型相比，本发明设计的跳层连接和金字塔特征融合模块在不显著降低检测速度的情况下，将平均精度均值提升了6.1％。总体上，本发明中的缺陷目标检测模型实现了80.0％的检测精度和64FPS的检测速度，实现了最优的速度与精度权衡。

模型结构的设计与论述

跳层连接模块

卷积神经网络中的浅层特征可以提供更多的目标位置信息。在上述部分，我们已经简要说明了跳层连接模块(如图5a所示)可以通过融合具有相同分辨率的特征来提高检测性能。然而，这些层的其他组合方式是否会产生更好的性能？为此，本实施例在ResNet18-dcn的基础上，设计了另外两种组合样式来集成不同尺寸的特征图，如图5b和图5c所示。

将这些不同的组合应用于热轧带钢表面缺陷检测，与以ResNet18-dcn为主干的网络相比，检测性能得到了提高。具体地，将编码网络中的大特征图和解码网络中的小特征图相结合的低层融合方式SCM_L获得77.2％的mAP和61FPS的检测速度。将编码网络中的小特征图与解码网络中的大特征图相结合的高层次特征融合方式SCM_H得到80.2％的最佳mAP。但是，这种方式中增加的反卷积操作使检测模型的检测速度降低至59FPS，比同级特征图相融合的方式SCM_S要慢。作为比较，同级别组合的单片机SCM_S的mAP为80.0％，速度为64FPS，可以满足不同工业生产场景的最低速度要求。

更具体地说，不同组合的检测模型对不同缺陷类别的检测性能如表3所示，可见三种组合方式对划痕、斑块、压入氧化皮、夹杂的检测性能相对稳定，而对裂纹缺陷的平均检测准确率分别为53.7％、58.6％和45.0％，对麻点表面的检测准确率分别为87％、84.5％和80.1％，这表明不同特征融合方式对这两种缺陷的性能影响明显不同。其潜在原因是裂纹和麻面缺陷本身与背景非常相似，而SCM_L组合方法在低层采用最大池法对不同层次的特征进行融合，会丢失更多的目标位置信息，导致检测结果变差。相比之下，SCM_H利用反卷积技术扩大浅层特征的大小，进一步提取更多的语义特征，从而获得更好的检测效果。然而，卷积运算也降低了模型检测的速度。最终，SCM_S实现了最佳性能权衡。

表3不同组合方式下的模型检测性能

金字塔特征融合模块

实验证明，金字塔特征融合模块结合四个深度特征可以提高检测性能。为了探索在不降低输出特征图分辨率的前提下，融合哪一级的特征能够达到最佳精度，本实施例比较了编码网络中的conv5模块、上采样conv1、up-conv2和up-conv3模块等不同层次融合特征的检测性能。如前面所述，我们还将ResNet18-dcn作为基线。不同集成方式的检测结果见表4。通过引入SCM，模型的mAP为77.6％。随着引入的特征图个数的增加，检测精度有不同程度的提高，而检测速度没有明显降低。两层或三层特征图融合的检测精度分别为77.8％、78.6％和78.5％，速度仅偏差1FPS。这表明，不同层次的特征图能够提供独特的缺陷信息，而且，融合更多的特征信息是提高钢表面缺陷检测精度的有效途径。

表4组合不同层次的特征图，模型的检测性能

conv5	up-conv1	up-conv2	up-conv3	mAP(％)	FPS
									√	77.6	70
		√	√	77.8	69
							√	√	√	78.6	68
√	√	√		78.5	64
						√	√	√	√	80.0	64

综上所述，上述实施例的速度与精度平衡的钢铁产品表面缺陷检测方法，检测热轧带钢表面缺陷目标位置的准确率高，检测速度快，能够有效地应用于现场实时检测热轧带钢的表面缺陷，值得被推广使用。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (3)

1.一种速度与精度平衡的钢铁产品表面缺陷检测方法，其特征在于，包括以下步骤：

S1：从数据库中获取热轧带钢表面缺陷典型图像样本，并对样本进行预处理；

所述步骤S1包括以下步骤：

S11：将获取的样本以设定比例分为训练集和测试集，所述训练集和测试集均包含6种典型表面缺陷类别，并将训练集中的样本扩大为384*384的图片；

S12：对训练样本进行数据增强处理，数据增强处理方式包括翻转、平移、增加亮度、裁减、放大；

S2：基于CenterNet目标检测模型，设计包含跳层连接和金字塔特征融合模块的热轧带钢表面缺陷目标检测模型，并选择骨干网络作为目标检测模型的特征提取器；

所述步骤S2包括以下步骤：

S21：基于CenterNet目标检测模型，选择骨干网络ResNet18-dcn作为特征提取器；

S22：设计包含跳层连接模块的热轧带钢表面缺陷目标检测模型；

S23：在加入跳层连接模块的目标检测模型中添加金字塔特征融合模块，得到最终的目标检测模型；

在所述步骤S23中，最终的目标检测模型包括编码网络、解码网络、跳层连接模块、金字塔特征融合模块、输出模块；所述编码网络包括依次连接的第一卷积模块、第二卷积模块、第三卷积模块、第四卷积模块、第五卷积模块，所述第一卷积模块包括依次连接的一个卷积层与一个池化层，所述第二卷积模块、第三卷积模块、第四卷积模块、第五卷积模块结构相同，均包括两个依次连接且有两个卷积层的残差结构，所述解码网络包括依次连接的第一上采样模块、第二上采样模块、第三上采样模块，所述第一上采样模块、第二上采样模块、第三上采样模块结构相同，均包括依次连接的一个形变卷积层与一个上采样层；所述跳层连接模块用于实现所述编码网络与解码网络中输出特征图尺寸大小相同的特征图之间的连接，连接结合方式是特征图之间像素值的相加，相加后的融合特征图输出尺寸不变；所述金字塔特征融合模块用于将不同尺寸的特征图通过上采样层调整为统一大小，然后将它们通过相加的方式合并，融合为一个具有较大尺寸的特征图；

在所述编码网络中，所述第一卷积模块输出特征图的尺寸是原始图像大小的1/4，所述第二卷积模块中卷积层的步长均为1，第三卷积模块、第四卷积模块、第五卷积模块中第一个卷积残差结构中的第一个卷积层的步长为2，其余的卷积层步长均为1，除所述第一卷积模块外，每个卷积模块输出特征图尺寸大小依次为1/4、1/8、1/16、1/32；

在所述解码网络中，所述形变卷积层采用卷积核大小为3×3，步长为1，所述上采样层采用卷积核大小为4×4，步长为2，上采样后的每个特征图的通道为256、128、64；

在所述步骤S23中，最终的目标检测模型还包括与所述金字塔特征融合模块连接的第一输出模块、第二输出模块、第三输出模块，其中第一输出模块用于缺陷分类，第二输出模块用于预测缺陷目标检测框的宽和高，第三输出模块用于预测缺陷目标的中心点坐标在x和y方向上的偏移量；

S3：对目标检测模型中骨干网络结构部分的参数采用在ImageNet数据集上训练好的参数进行初始化，并用训练样本训练目标检测模型；

S4：用训练后的目标检测模型对测试样本进行测试，并输出检测结果；

所述步骤S4包括以下步骤：

S41：对测试样本进行放大和翻转两种数据增强处理，得到增强测试样本，将增强测试样本与和原始测试样本输入训练后的目标检测模型；

S42：分别得到增强测试样本与和原始测试样本的检测结果，最终检测结果取增强测试样本与原始测试样本检测结果的平均值。

2.根据权利要求1所述的一种速度与精度平衡的钢铁产品表面缺陷检测方法，其特征在于：在所述步骤S1中，所述数据库为NEU表面缺陷数据库，在该数据库中得到热轧带钢表面六种典型表面缺陷的图像及每副图像中缺陷所在的位置坐标信息，六种典型表面缺陷分别为裂纹、压入氧化皮、麻面、斑块、夹杂、划痕。

3.根据权利要求1所述的一种速度与精度平衡的钢铁产品表面缺陷检测方法，其特征在于：所述步骤S3包括以下步骤：

S31：ResNet18-dcn中的ResNet-18骨干网络结构的初始参数采用其在ImageNet数据集上训练好的参数，骨干网络结构即编码网络结构，ResNet18-dcn中解码网络结构及金字塔特征融合模块中的上采样层采用线性插值方式初始化参数，形变卷积层采用xavier高斯初始化方式进行参数初始化；

S3.2：将训练集输入到改进的目标检测模型，采用BP算法进行参数学习及更新。