CN116342542A - 一种基于轻量级神经网络的钢铁产品表面缺陷检测方法 - Google Patents

一种基于轻量级神经网络的钢铁产品表面缺陷检测方法 Download PDF

Info

Publication number
CN116342542A
CN116342542A CN202310318437.9A CN202310318437A CN116342542A CN 116342542 A CN116342542 A CN 116342542A CN 202310318437 A CN202310318437 A CN 202310318437A CN 116342542 A CN116342542 A CN 116342542A
Authority
CN
China
Prior art keywords
convolution
module
surface defect
steel product
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310318437.9A
Other languages
English (en)
Inventor
王兵
刘佳
李健
汪文艳
卢琨
吴紫恒
周郁明
马小陆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University of Technology AHUT
Original Assignee
Anhui University of Technology AHUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University of Technology AHUT filed Critical Anhui University of Technology AHUT
Priority to CN202310318437.9A priority Critical patent/CN116342542A/zh
Publication of CN116342542A publication Critical patent/CN116342542A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于轻量级神经网络的钢铁产品表面缺陷检测方法，属于钢材表面缺陷检测技术领域，包括以下步骤：从数据库中获取钢铁产品表面缺陷样本，并对样本进行预处理；基于YOLOv4‑tiny模型，选取特征提取网络，构建包含改进的金字塔特征融合模块的钢铁产品表面缺陷目标检测模型；对钢铁产品表面缺陷目标检测模型中特征提取网络的参数采用在ImageNet数据集上训练好的参数进行初始化，并用训练样本训练钢铁产品表面缺陷目标检测模型，保存训练后的钢铁产品表面缺陷目标检测模型；用保存的目标检测模型对测试样本进行测试，并输出检测结果。本发明检测钢铁产品表面缺陷目标位置的准确率高，检测速度快，能够有效地应用于现场实时检测钢铁产品的表面缺陷。

Description

一种基于轻量级神经网络的钢铁产品表面缺陷检测方法
技术领域
本发明涉及钢材表面缺陷检测技术领域，具体涉及一种基于轻量级神经网络的钢铁产品表面缺陷检测方法。
背景技术
热轧带钢生产过程中，因各种物理和化学因素及热轧工艺的复杂性，导致带钢表面易出现压入氧化皮、划痕、麻面、夹杂、斑块、裂缝等各式各样的缺陷，严重影响产品的性能和美观。缺陷产品产生并流向市场会给产品制造商带来巨大的经济和商业声誉损失。因此，实时、正确的热轧带钢表面缺陷检测研究对带钢生产和质量控制非常重要。
目前，钢铁表面缺陷的检查主要分为人工观察和自动缺陷检测***。人工观察的检测方法对检测人员的依赖性高，会耗费大量人力，并且主观性强，难以对产品表面缺陷做出科学和准确的识别。红外、漏磁和机器视觉等自动缺陷检测技术在实际工业生产中的广泛应用，使得人工缺陷检测方法带来的问题逐渐得到解决。特别是计算机视觉的发展，大大提高了缺陷分类技术的准确性和速度。然而，这些方法无法在缺陷检查任务中获得准确的缺陷位置信息。近年来，随着深度学习的发展，卷积神经网络在特征提取方面占据着独特的优势，并在识别任务中取得了较好的成绩。因此，将深度学习方法应用到工业目标检测中是目前产品检测的研究热点。
申请号为CN201611136821.3的中国发明专利公开了一种铸坯表面缺陷传承到轧材的精确定位方法。该发明专利主要研究方大特钢核心产品表面缺陷产生的时间、空间的对应关系，推断表面缺陷产生的既定工序，为提高核心产品的质量和企业的生产效率提供重要的参考依据。该专利介绍的一种铸坯表面缺陷对应轧材缺陷的快速精确定位方法，通过沿轧制方向在铸坯表面缺陷两端一定距离按要求孔径及深度开孔，并用焊条焊接填充平整，轧制后按对应关系可以快速精确查找到开孔对应轧材上缺陷，并据此快速定位铸坯表面缺陷，并进行取样检测分析，实现铸坯表面缺陷对应轧材缺陷的快速精确定位，能够有效提高判断缺陷产生原因以及工序改进的及时性、精准性。
当前在深度学习方法中，已被证实卷积神经网络中不同等级的特征图包含不同的图像信息。具体地，浅层特征图可以充分表示目标的位置信息，而高层次特征包含了丰富的目标语义信息。DOI为的10.1109/TIM.2019.2915404科研论文公开了一种通过融合多层特征对热轧带钢表面缺陷进行检测的端到端算法。该论文主要研究了通过融合多个等级的特征图来提升检测模型对热轧带钢表面缺陷的检测能力。其首先检验了特征融合方法的引入没有显著降低模型对缺陷的分类性能，之后将该网络结构应用于热轧带钢缺陷检测中。该方法的主要侧重点在于，将不同层次的特征采用不同的下采样或上采样策略将特征图尺寸缩放至统一尺寸，然后将它们融合。实验结果确实证明了该方法可以提升检测模型的缺陷检测能力，但是，其并没有针对不同特点的热轧带钢表面缺陷图像设计专门的解决方案，而是将几乎所有层次的特征图统一进行整合。另外，其选择的网络骨干具有较多的训练参数，没有考虑实际工业生产环境中的检测速度要求。为此，提出一种基于轻量级神经网络的钢铁产品表面缺陷检测方法。
发明内容
本发明所要解决的技术问题在于：如何对钢铁产品表面缺陷进行精度高且速度能满足实时生产线要求的检测，提供了一种基于轻量级神经网络的钢铁产品表面缺陷检测方法。
本发明是通过以下技术方案解决上述技术问题的，本发明包括以下步骤：
S1：样本预处理
从数据库中获取钢铁产品表面缺陷样本，并对样本进行预处理；
S2：模型构建
基于YOLOv4-tiny模型，将Darknet53-tiny网络作为特征提取网络，构建包含改进的金字塔特征融合模块的钢铁产品表面缺陷目标检测模型；
S3：模型训练
对钢铁产品表面缺陷目标检测模型中特征提取网络的参数采用在ImageNet数据集上训练好的参数进行初始化，并用训练样本训练钢铁产品表面缺陷目标检测模型，并保存训练后的钢铁产品表面缺陷目标检测模型权重参数；
S4：缺陷检测
用训练后钢铁产品表面缺陷目标检测模型对测试样本进行测试，并输出检测结果。
更进一步地，在所述步骤S1中，具体处理过程如下：
S11：将获取的样本以设定比例分为训练集和测试集，训练集和测试集均包含多种典型表面缺陷类别，并将训练集中的样本尺寸扩大为320*320的图片；
S12：对训练样本进行数据增强处理。
更进一步地，在所述步骤S2中，具体过程如下：
S21：基于YOLOv4-tiny模型，选择Darknet53-tiny网络作为特征提取网络；
S22：在金字塔特征融合模块中加入SPP模块，即得到改进的金字塔特征融合模块；
S23：在改进的金字塔特征融合模块加入跳层连接，并在跳层连接后加入上采样操作得到最终的钢铁产品表面缺陷目标检测模型。
更进一步地，在所述步骤S23中，通过跳层连接实现改进的金字塔特征融合模块中两个相同尺寸特征图之间的连接，连接方式是特征图之间通道的拼接。
更进一步地，在所述步骤S2中，钢铁产品表面缺陷目标检测模型包括依次连接的特征提取网络、改进的金字塔特征融合模块、输出模块；所述特征提取网络为Darknet53-tiny网络，包括依次连接的第一卷积模块、第二卷积模块、第三卷积模块、第四卷积模块、第五卷积模块、第六卷积模块，所述第四卷积模块、第六卷积模块输出的特征图分别输入到改进的金字塔特征融合模块中进行融合；所述改进的金字塔特征融合模块包括SPP模块、金字塔特征融合模块，所述第六卷积模块通过所述SPP模块与所述金字塔特征融合模块连接，在所述金字塔特征融合模块中通过跳层连接实现金字塔特征融合模块中两个相同尺寸特征图之间的连接，连接方式是特征图之间通道的拼接，所述金字塔特征融合模块包括下采样层和上采样层，下采样层通过卷积核为3×3、步长为2的卷积方式实现，上采样层通过线性插值的方式实现；所述输出模块包括两个独立的卷积块结构，分别对改进的金字塔融合模块输出的两个特征图进行预测并输出预测结果，每个卷积块结构包含依次连接的3×3卷积层和1×1卷积层。
更进一步地，所述第一卷积模块、第二卷积模块和第六卷积模块均包括依次连接的一个卷积层、一个批量归一化层和一个激活函数层，所述第三卷积模块、第四卷积模块、第五卷积模块结构相同，均包括两个相连的卷积残差结构，每个卷积残差结构均包括两个卷积层。
更进一步地，所述第一卷积模块输出特征图的尺寸是原始图像大小的1/2，所述第二卷积模块中卷积层的步长为2，第三卷积模块、第四卷积模块、第五卷积模块中第一个卷积残差结构中的卷积层的步长为2，其余的卷积层步长为1，第六卷积模块中卷积层的步长为1，除所述第一卷积模块和第六卷积模块外，每个卷积模块输出特征图尺寸大小依次为1/4、1/8、1/16、1/32。
更进一步地，所述SPP模块包含依次连接的三个最大池化层，池化核依次为5×5、9×9、13×13。
更进一步地，在所述步骤S3中，具体处理过程如下：
S31：特征提取网络的初始参数采用其在ImageNet数据集上训练好的参数，金字塔特征融合模块中的上采样层采用线性插值方式初始化参数，下采样层采用步长为2的卷积方式进行参数初始化；
S32：将训练集输入到钢铁产品表面缺陷目标检测模型，采用Adam算法进行参数学习及更新，保存训练后的钢铁产品表面缺陷目标检测模型权重参数。
更进一步地，在所述步骤S4中，具体处理过程如下：
S41：对测试样本进行增强处理，得到增强测试样本，将增强测试样本与和原始测试样本输入训练后的钢铁产品表面缺陷目标检测模型；
S42：通过输出模块得到输出结果，将每个网格点加上它对应的x_offset和y_offset，加完后的结果即预测框的中心，然后再利用先验框和h、w结合计算出预测框的长和宽，得到整个预测框的位置；
S43：对于每一个类进行判别，先取出每一类得分大于0.5的预测框和得分，再利用预测框的位置和得分进行非极大值抑制；
S44：通过步骤S43的处理获得预测框在原图上的位置，预测框被绘制于原图上，即获取检测结果。
本发明相比现有技术具有以下优点：
(1)基于具有较快检测速度的一阶检测YOLOv4-tiny模型，采用Darknet53-tiny网络作为骨干结构，Darknet53-tiny中残差结构的设计，可以简化网络的学习过程、加快网络梯度传播，同时避免网络退化。
(2)在轻便的特征提取网络结构基础上，设计了包含SPP模块和跳层连接的金字塔特征融合两个模块；跳层连接的设计在不增加网络参数的基础上实现了将网络的深层和浅层特征进行融合实现局部和全局特征的整合，提高了模型对低质量缺陷样本的检测能力；金字塔特征融合模块的设计是对不同尺寸下对图像进行采样，大物体检测需要在低分辨率上较好，也就是深层特征，具有全局的感受野，小物体在底层高分辨率的预测较好，因为一些细节比如边缘在放大后预测的结果更好，提升了模型对具有类内差异大、类间相似性高特点的缺陷样本的检测能力。
(3)与现有的网络模型相比，不仅提升了检测准确率，同时也满足了实际生产过程中检测样本缺陷的最低速度需求。
附图说明
图1为本发明实施例二中基于轻量级神经网络的钢铁产品表面缺陷检测方法的流程示意图；
图2(a)为本发明实施例二中NEU-DET数据库中裂纹缺陷图像样本；
图2(b)为本发明实施例二中NEU-DET数据库中夹杂缺陷图像样本；
图2(c)为本发明实施例二中NEU-DET数据库中斑块缺陷图像样本；
图2(d)为本发明实施例二中NEU-DET数据库中麻面缺陷图像样本；
图2(e)为本发明实施例二中NEU-DET数据库中压入氧化皮缺陷图像样本；
图2(f)为本发明实施例二中NEU-DET数据库中划痕缺陷图像样本；
图3为本发明实施例二中热轧带钢表面缺陷目标检测模型的结构示意图；
图4(a)为本发明实施例三中对裂纹缺陷图片检测效果图；
图4(b)为本发明实施例三中对夹杂缺陷图片检测效果图；
图4(c)为本发明实施例三中对斑块缺陷图片检测效果图；
图4(d)为本发明实施例三中对麻面缺陷图片检测效果图；
图4(e)为本发明实施例三中对压入氧化皮缺陷图片检测效果图；
图4(f)为本发明实施例三中对划痕缺陷图片检测效果图；
图5为本发明实施例三中改进的金字塔特征融合模块的结构示意图。
具体实施方式
下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
实施例一
本实施例提供一种技术方案：一种基于轻量级神经网络的钢铁产品表面缺陷检测方法，包括以下步骤：
S1：从数据库中获取热轧带钢表面缺陷样本，并对样本进行预处理；
S2：基于YOLOv4-tiny模型，以参数量少的Darknet53-tiny网络作为模型的特征提取网络，搭建包含SPP(空间金字塔池化)模块、跳层连接的金字塔特征融合模块的热轧带钢表面缺陷目标检测模型；
S3：对热轧带钢表面缺陷目标检测模型中特征提取网络的参数采用在ImageNet数据集上训练好的参数进行初始化，并用训练样本训练热轧带钢表面缺陷目标检测模型，保存训练后的热轧带钢表面缺陷目标检测模型权重参数；
S4：用训练后热轧带钢表面缺陷目标检测模型对测试样本进行测试，并输出检测结果。
在本实施例中，在所述步骤S1中，所述数据库为热轧钢带表面缺陷数据库，在该数据库中得到热轧带钢表面六种典型表面缺陷的图像及每副图像中缺陷所在的位置坐标信息，六种典型表面缺陷分别为裂纹(crazing)、夹杂(inclusion)、斑块(patches)、麻点(pitted surface)、轧制氧化皮(rolled-in scale)、划痕(scratches)。
在本实施例中，所述步骤S1包括以下步骤：
S11：将获取的样本以设定比例分为训练集和测试集，所述训练集和测试集均包含6种典型表面缺陷类别，并将训练集中的样本尺寸扩大为320*320的图片；
S12：对训练样本进行数据增强处理，数据增强处理方式为Mosaic数据增强。
在本实施例中，所述步骤S2包括以下步骤：
S21：基于YOLOv4-tiny模型，选择Darknet53-tiny网络作为特征提取网络；
S22：在金字塔特征融合模块中加入SPP模块，即得到改进的金字塔特征融合模块；
S23：在改进的金字塔特征融合模块加入跳层连接，并在跳层连接后加入上采样操作得到最终的热轧带钢表面缺陷目标检测模型。
在本实施例中，在所述步骤S23中，热轧带钢表面缺陷目标检测模型包括特征提取网络、改进的金字塔特征融合模块和输出模块；所述特征提取网络可以获得两个有效特征层，包括依次连接的第一卷积模块、第二卷积模块、第三卷积模块、第四卷积模块、第五卷积模块、第六卷积模块，所述第一卷积模块、第二卷积模块和第六卷积模块均包括依次连接的一个卷积层、一个批量归一化层和一个激活函数层，所述第三卷积模块、第四卷积模块、第五卷积模块结构相同(均包括两个相连的卷积残差结构，每个卷积残差结构均包括两个卷积层)，均使用了CSPnet结构，将原来的残差块的堆叠进行了一个拆分，拆成左右两部分：主干部分继续进行原来的残差块的堆叠；另一部分则像一个残差边一样，经过少量处理直接连接到最后；所述SPP模块包含三个最大池化层，池化核依次为5×5、9×9、13×13、1×1(1×1即无处理)(1×1池化核对原特征图不做池化操作，其作用是恒等映射，因为后面还有原特征图与三个池化后的特征图通道拼接操作)，池化后的特征图再进行通道拼接；跳层连接用于实现金字塔特征融合模块中两个相同尺寸特征图之间的连接，连接方式是特征图之间通道的拼接；金字塔特征融合模块包括下采样层和上采样层，下采样层通过卷积核为3×3、步长为2的卷积方式实现，上采样层通过线性插值的方式实现，金字塔特征融合模块一个重要的特点就是特征的反复提取，在完成从上到下的特征提取后，还要实现从下到上的特征提取，然后将它们通过通道拼接的方式合并，融合为相同尺寸的特征图；输出模块包含两个独立的卷积块结构，分别对改进的金字塔融合模块输出的两个特征图进行预测并输出预测结果，每个卷积块包含依次连接的3×3卷积层和1×1卷积层，输出的两个结果分别为(10、10、33)、(20、20、33)，对应每个图像分别为10×10、20×20的网格上3个预测框的位置和类别信息。
在本实施例中，在所述特征提取网络中，所述第一卷积模块输出特征图的尺寸是原始图像大小的1/2，所述第二卷积模块中卷积层的步长为2，第三卷积模块、第四卷积模块、第五卷积模块中第一个卷积残差结构中的卷积层的步长为2，其余的卷积层步长为1，第六卷积模块中卷积层的步长为1，除所述第一卷积模块和第六卷积模块外，每个卷积模块输出特征图尺寸大小依次为1/4、1/8、1/16、1/32。
在本实施例中，在所述特征提取网络中，各卷积模块输出的特征图尺寸为(160、160、32)、(80、80、64)、(40、40、128)、(20、20、256)、(10、10、512)、(10、10、512)，将(20、20、256)和最后一个(10、10、512)作为有效特征层传入改进的金字塔特征融合模块进行特征融合。
在本实施例中，在所述步骤S23中，与所述金字塔特征融合模块连接的输出模块，输出为两个特征层每个网格点对应的预测框及其种类，分别为(20、20、33)和(10、10、33)，最后一个维度33包含了3*(4+1+6)，即两个特征层分别对应着图片被分为不同尺寸的网格后，每个网格点上三个先验框对应的x_offset、y_offset、h和w、置信度、分类结果。
在本实施例中，所述步骤S3包括以下步骤：
S31：Darknet53-tiny骨干网络结构的初始参数采用其在ImageNet数据集上训练好的参数，金字塔特征融合模块中的上采样层采用线性插值方式初始化参数，下采样层采用步长为2的卷积方式进行参数初始化；
S32：将训练集输入到热轧带钢表面缺陷目标检测模型，采用Adam算法进行参数学习及更新。
在本实施例中，所述步骤S4包括以下步骤：
S41：对测试样本进行Mosaic数据增强处理，得到增强测试样本，将增强测试样本与和原始测试样本输入训练后的热轧带钢表面缺陷目标检测模型；
S42：通过输出模块得到输出结果，将每个网格点加上它对应的x_offset和y_offset，加完后的结果就是预测框的中心，然后再利用先验框和h、w结合计算出预测框的长和宽，就能得到整个预测框的位置了；
S43：对于每一个类进行判别，先取出每一类得分大于0.5的预测框和得分，再利用预测框的位置和得分进行非极大值抑制；
S44：通过步骤S43，可以获得预测框在原图上的位置，而且这些预测框都是经过筛选的。这些筛选后的预测框可以直接绘制在图片上，就可以获得检测结果了。
实施例二
本实施例提供一种技术方案：一种基于轻量级神经网络的钢铁产品表面缺陷快速检测方法，以对热轧带钢表面缺陷识别与定位为例，如图1所示，其步骤如下：
S1：从NEU-DET数据库中获取热轧带钢表面缺陷典型图像样本，并对样本进行预处理。
NEU-DET数据库指(Northeastern University，东北大学)表面缺陷数据库，可以在该数据库中得到热轧带钢表面六种典型表面缺陷的图像及每副图像中缺陷所在的位置坐标信息，如图2(a)-(f)所示，该数据图像中，包括裂纹(crazing)、夹杂(inclusion)、斑块(patches)、麻点(pitted surface)、轧制氧化皮(rolled-in scale)、划痕(scratches)共6种1800张典型的热轧带钢表面缺陷图像。
在步骤S1中，包括以下两个子步骤：
S11：将获取的样本以7:3比例分为训练集和测试集，训练集和测试集均包含6种缺陷类别，并将训练集中的样本尺寸扩大为320*320的图片；
S12：对训练样本进行Mosaic数据增强处理。
S2：基于YOLOv4-tiny模型，以参数量少的Darknet53-tiny网络结构作为模型的特征提取器，搭建包含SPP模块、跳层连接的金字塔特征融合模块的热轧带钢表面缺陷目标检测模型。
其中，Darknet53-tiny网络是一种轻量级特征提取器，包括15个卷积层、3个最大池化层。缺陷目标检测网络结构图如图3所示。结合图3对本发明的目标检测网络做具体说明，首先是将原始缺陷图像输入到特征提取网络(Darknet53-tiny网络)中依次连接的2个相同的卷积块，每个卷积块均由一个卷积层、一个批量归一化层和一个激活函数层(取名为p1、p2)，输出特征图的尺寸是原始图像大小的1/2、1/4(这里的分数数值是指输出图像的尺寸与原始输入图像尺寸大小的比例，下文均如此解释)，然后依次连接3个相同的卷积模块(p3、p4和p5)，每个卷积模块均包含两个有两个卷积层的残差结构，在p3、p4和p5中，第一个卷积残差结构中的第一个卷积层的步长为2，其余的卷积层步长均为1，每个卷积模块输出特征图尺寸大小依次为1/8、1/16、1/32；跳层连接(SLC)实际的结合方式是特征图之间通道的拼接。金字塔特征融合模块(PFM)表现为将不同尺寸的特征图通过上采样层或下采样层调整为统一大小，然后将它们通过通道拼接的方式合并，融合为两个不同尺寸的特征图，将这两个特征图经过输出模块处理后就能得到预测结果；输出模块最后的输出内容是两个特征层每个网格点对应的预测框及其种类，分别为(20、20、33)和(10、10、33)，最后一个维度33包含了3*(4+1+6)，即两个特征层分别对应着图片被分为不同尺寸的网格后，每个网格点上三个先验框对应的x_offset、y_offset、h和w、置信度、分类结果。
S3：对热轧带钢表面缺陷目标检测模型中骨干网络结构部分(特征提取网络)的参数采用在ImageNet数据集上训练好的参数进行初始化，并用训练样本训练目标检测模型。
在步骤S3中，训练目标检测模型的过程包括以下步骤：
S31：在改进的模型中，Darknet53-tiny网络的初始参数采用其在ImageNet数据集上训练好的参数，金字塔特征融合模块中的上采样层采用线性插值方式初始化参数，下采样层采用步长为2的卷积方式进行参数初始化；
S32：将训练集输入到热轧带钢表面缺陷目标检测模型，进行参数学习及更新，保存训练后的热轧带钢表面缺陷目标检测模型权重参数。
采用Adam算法训练热轧带钢表面缺陷目标检测模型，因为本发明主要针对的是钢铁产品表面缺陷目标的检测，可以将改进的检测网络称为钢铁产品表面缺陷检测器，根据网络输出与样本缺陷类别和缺陷位置的误差更新网络参数，每次采用32张图片为一个批次计算网络误差并更新权重，在训练时，采用Adam优化算法，初始学习率设置为1e-3，当训练至50轮时，将学习率下降10倍，迭代至100时结束训练。
S4：用训练后的热轧带钢表面缺陷目标检测模型对测试样本进行测试，并输出检测结果。
在步骤S4中，测试训练后的热轧带钢表面缺陷目标检测模型的过程包括以下步骤：
S41：对测试样本进行Mosaic数据增强处理，得到增强测试样本，将增强测试样本与和原始测试样本输入训练后的热轧带钢表面缺陷目标检测模型；
S42：通过输出模块得到输出结果，将每个网格点加上它对应的x_offset和y_offset，加完后的结果即预测框的中心，然后再利用先验框和h、w结合计算出预测框的长和宽，进而得到整个预测框的位置；
S43：对于每一个类进行判别，先取出每一类得分大于0.5的预测框和得分，再利用预测框的位置和得分进行非极大值抑制处理；
S44：通过步骤S43，获得预测框在原图上的位置，而且这些预测框都是经过筛选的。这些筛选后的预测框可以直接绘制在图片上，就可以获得预测结果。
实施例三
在本实施例中，采用实施例一中的方法，对一组钢铁产品表面样本进行缺陷检测，并采用现有的一阶目标检测技术中在检测速度或精度上最新的几种检测方法对钢铁产品表面缺陷进行识别，并针对检测精度和速度进行对比。具体的一阶检测模型为SSD、RetinaNet、CenterNet、YOLOv3、YOLOv4、YOLOv4-Tiny、YOLOX模型。为了获得更具竞争力的检测结果，YOLOv4检测模型采用多个特征骨干网络进行训练，YOLOX检测模型使用不同的金字塔特征融合方式进行训练。通过训练，得到每个模型对不同类别缺陷的检测结果，如表1所示。对其中部分图像的检测效果展示在图4(a)-(f)中。
表1基于不同模型的钢铁产品表面缺陷性能评估
Figure BDA0004150877070000091
Figure BDA0004150877070000101
由表1可知，部分一阶检测器可以实现较快的检测速度，但检测精度差异较大。尤其是RetinaNet模型的检测结果，其精度和速度均比使用了相同ResNet50骨干网络的CenterNet检测模型低。精度最高的检测模型是YOLOX-X，为79.5％，但因其模型比较大，导致检测速度只有12FPS，不能满足实时性要求。相比其它检测模型，本发明的钢铁产品表面缺陷检测模型(Our work)平均精度均值高，速度快。与同样将CSPDarkNet53-Tiny作为骨干网络的YOLOv4-Tiny模型相比，本发明设计的跳层连接和金字塔特征融合模块在不显著降低检测速度的情况下，将平均精度均值提升了1.9％。总体上，本发明中的钢铁产品表面缺陷检测模型实现了78.6％的检测精度和152FPS的检测速度，实现了最优的速度与精度权衡。
模型结构的设计与论述
SPP模块用在CSPDarkNet53-Tiny主干网络输出的最后一个有效特征层后面，分别利用四个不用尺度的最大池化进行处理，最大池化的池化核大小分别为5×5、9×9、13×13、1×1(1×1即无处理)，池化处理后再进行通道拼接。SPP模块能够极大地增加感受野，分离出最显著的上下文特征。不同组合方式下的模型检测性能见表2。从表2可以看出，原始的YOLOv4-Tiny检测模型加入SPP模块后，检测精度从76.5％提升到了76.9％，检测速度只降低了2FPS。
表2不同组合方式下的模型检测性能
Figure BDA0004150877070000102
改进的金字塔特征融合模块
实验证明，本发明中改进的金字塔特征融合模块可以提高检测性能。原始的YOLOv4-Tiny检测模型的金字塔特征融合模块为FPN结构，FPN只对特征提取网络输出的最后一个有效特征层进行上采样，然后与上一个输出的有效特征层进行堆叠并卷积。改进的金字塔特征融合模块特点就是特征的反复提取，在完成从上到下的特征提取后，还要实现从下到上的特征提取，然后将它们通过通道拼接的方式合并，融合为相同尺寸的特征图。如前面表2所述，将YOLOv4-Tiny检测模型作为基线。加入SPP模块后再改进金字塔特征融合模块，检测精度由76.5％提升至77.8％，精度提升了1.3％，而检测速度没有明显降低。这表明不同层次的特征图能够提供独特的缺陷信息，而且，融合更多的特征信息是提高钢铁产品表面缺陷检测精度的有效途径。
跳层连接
卷积神经网络中的浅层特征可以提供更多的目标位置信息。在上述部分，已经简要说明了跳层连接可以通过融合具有相同分辨率的特征来提高检测性能。如前面表2所述，引入跳层连接后得到的最终的检测模型(钢铁产品表面缺陷检测模型)，检测精度为78.6％，检测速度为152FPS。
综上所述，上述实施例的基于轻量级神经网络的钢铁产品表面缺陷检测方法，检测热轧带钢表面缺陷目标位置的准确率高，检测速度快，能够有效地应用于现场实时检测热轧带钢的表面缺陷。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于轻量级神经网络的钢铁产品表面缺陷检测方法，其特征在于，包括以下步骤：
S1：样本预处理
从数据库中获取钢铁产品表面缺陷样本，并对样本进行预处理；
S2：模型构建
基于YOLOv4-tiny模型，将Darknet53-tiny网络作为特征提取网络，构建包含改进的金字塔特征融合模块的钢铁产品表面缺陷目标检测模型；
S3：模型训练
对钢铁产品表面缺陷目标检测模型中特征提取网络的参数采用在ImageNet数据集上训练好的参数进行初始化，并用训练样本训练钢铁产品表面缺陷目标检测模型，并保存训练后的钢铁产品表面缺陷目标检测模型权重参数；
S4：缺陷检测
用训练后钢铁产品表面缺陷目标检测模型对测试样本进行测试，并输出检测结果。
2.根据权利要求1所述的一种基于轻量级神经网络的钢铁产品表面缺陷检测方法，其特征在于：在所述步骤S1中，具体处理过程如下：
S11：将获取的样本以设定比例分为训练集和测试集，训练集和测试集均包含多种典型表面缺陷类别，并将训练集中的样本尺寸扩大为320*320的图片；
S12：对训练样本进行数据增强处理。
3.根据权利要求1所述的一种基于轻量级神经网络的钢铁产品表面缺陷检测方法，其特征在于：在所述步骤S2中，具体过程如下：
S21：基于YOLOv4-tiny模型，选择Darknet53-tiny网络作为特征提取网络；
S22：在金字塔特征融合模块中加入SPP模块，即得到改进的金字塔特征融合模块；
S23：在改进的金字塔特征融合模块加入跳层连接，并在跳层连接后加入上采样操作得到最终的钢铁产品表面缺陷目标检测模型。
4.根据权利要求3所述的一种基于轻量级神经网络的钢铁产品表面缺陷检测方法，其特征在于：在所述步骤S23中，通过跳层连接实现改进的金字塔特征融合模块中两个相同尺寸特征图之间的连接，连接方式是特征图之间通道的拼接。
5.根据权利要求1所述的一种基于轻量级神经网络的钢铁产品表面缺陷检测方法，其特征在于：在所述步骤S2中，钢铁产品表面缺陷目标检测模型包括依次连接的特征提取网络、改进的金字塔特征融合模块、输出模块；所述特征提取网络为Darknet53-tiny网络，包括依次连接的第一卷积模块、第二卷积模块、第三卷积模块、第四卷积模块、第五卷积模块、第六卷积模块，所述第四卷积模块、第六卷积模块输出的特征图分别输入到改进的金字塔特征融合模块中进行融合；所述改进的金字塔特征融合模块包括SPP模块、金字塔特征融合模块，所述第六卷积模块通过所述SPP模块与所述金字塔特征融合模块连接，在所述金字塔特征融合模块中通过跳层连接实现金字塔特征融合模块中两个相同尺寸特征图之间的连接，连接方式是特征图之间通道的拼接，所述金字塔特征融合模块包括下采样层和上采样层，下采样层通过卷积核为3×3、步长为2的卷积方式实现，上采样层通过线性插值的方式实现；所述输出模块包括两个独立的卷积块结构，分别对改进的金字塔融合模块输出的两个特征图进行预测并输出预测结果，每个卷积块结构包含依次连接的3×3卷积层和1×1卷积层。
6.根据权利要求5所述的一种基于轻量级神经网络的钢铁产品表面缺陷检测方法，其特征在于：所述第一卷积模块、第二卷积模块和第六卷积模块均包括依次连接的一个卷积层、一个批量归一化层和一个激活函数层，所述第三卷积模块、第四卷积模块、第五卷积模块结构相同，均包括两个相连的卷积残差结构，每个卷积残差结构均包括两个卷积层。
7.根据权利要求6所述的一种基于轻量级神经网络的钢铁产品表面缺陷检测方法，其特征在于：所述第一卷积模块输出特征图的尺寸是原始图像大小的1/2，所述第二卷积模块中卷积层的步长为2，第三卷积模块、第四卷积模块、第五卷积模块中第一个卷积残差结构中的卷积层的步长为2，其余的卷积层步长为1，第六卷积模块中卷积层的步长为1，除所述第一卷积模块和第六卷积模块外，每个卷积模块输出特征图尺寸大小依次为1/4、1/8、1/16、1/32。
8.根据权利要求5所述的一种基于轻量级神经网络的钢铁产品表面缺陷检测方法，其特征在于：所述SPP模块包含依次连接的三个最大池化层，池化核依次为5×5、9×9、13×13。
9.根据权利要求1所述的一种基于轻量级神经网络的钢铁产品表面缺陷检测方法，其特征在于：在所述步骤S3中，具体处理过程如下：
S31：特征提取网络的初始参数采用其在ImageNet数据集上训练好的参数，金字塔特征融合模块中的上采样层采用线性插值方式初始化参数，下采样层采用步长为2的卷积方式进行参数初始化；
S32：将训练集输入到钢铁产品表面缺陷目标检测模型，采用Adam算法进行参数学习及更新，保存训练后的钢铁产品表面缺陷目标检测模型权重参数。
10.根据权利要求1所述的一种基于轻量级神经网络的钢铁产品表面缺陷检测方法，其特征在于：在所述步骤S4中，具体处理过程如下：
S41：对测试样本进行增强处理，得到增强测试样本，将增强测试样本与和原始测试样本输入训练后的钢铁产品表面缺陷目标检测模型；
S42：通过输出模块得到输出结果，将每个网格点加上它对应的x_offset和y_offset，加完后的结果即预测框的中心，然后再利用先验框和h、w结合计算出预测框的长和宽，得到整个预测框的位置；
S43：对于每一个类进行判别，先取出每一类得分大于0.5的预测框和得分，再利用预测框的位置和得分进行非极大值抑制；
S44：通过步骤S43的处理获得预测框在原图上的位置，预测框被绘制于原图上，即获取检测结果。
CN202310318437.9A 2023-03-28 2023-03-28 一种基于轻量级神经网络的钢铁产品表面缺陷检测方法 Pending CN116342542A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310318437.9A CN116342542A (zh) 2023-03-28 2023-03-28 一种基于轻量级神经网络的钢铁产品表面缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310318437.9A CN116342542A (zh) 2023-03-28 2023-03-28 一种基于轻量级神经网络的钢铁产品表面缺陷检测方法

Publications (1)

Publication Number Publication Date
CN116342542A true CN116342542A (zh) 2023-06-27

Family

ID=86883662

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310318437.9A Pending CN116342542A (zh) 2023-03-28 2023-03-28 一种基于轻量级神经网络的钢铁产品表面缺陷检测方法

Country Status (1)

Country Link
CN (1) CN116342542A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116542974A (zh) * 2023-07-05 2023-08-04 杭州百子尖科技股份有限公司 一种基于多尺度网格化的覆铜板表面缺陷检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116542974A (zh) * 2023-07-05 2023-08-04 杭州百子尖科技股份有限公司 一种基于多尺度网格化的覆铜板表面缺陷检测方法
CN116542974B (zh) * 2023-07-05 2023-09-26 杭州百子尖科技股份有限公司 一种基于多尺度网格化的覆铜板表面缺陷检测方法

Similar Documents

Publication Publication Date Title
CN110660052B (zh) 一种基于深度学习的热轧带钢表面缺陷检测方法
CN111507990B (zh) 一种基于深度学习的隧道表面缺陷分割方法
CN111223088B (zh) 一种基于深层卷积神经网络的铸件表面缺陷识别方法
CN108961235B (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN109035233B (zh) 视觉注意力网络***及工件表面缺陷检测方法
CN113628178B (zh) 一种速度与精度平衡的钢铁产品表面缺陷检测方法
CN111861978B (zh) 基于Faster R-CNN的桥梁裂缝实例分割方法
CN111768388B (zh) 一种基于正样本参考的产品表面缺陷检测方法及***
CN109146944B (zh) 一种基于深度可分卷积神经网络的视觉深度估计方法
CN111062915A (zh) 一种基于改进YOLOv3模型的实时钢管缺陷检测方法
CN116883393B (zh) 一种基于无锚框目标检测算法的金属表面缺陷检测方法
CN112819748B (zh) 一种带钢表面缺陷识别模型的训练方法及装置
CN110895814A (zh) 一种基于上下文编码网络的航空发动机孔探图像损伤智能分割方法
CN115760734A (zh) 一种基于改进retinanet算法的带钢表面缺陷检测方法
CN111985552A (zh) 复杂背景下机场道面细带状结构病害检测方法
CN116342542A (zh) 一种基于轻量级神经网络的钢铁产品表面缺陷检测方法
CN113012153A (zh) 一种铝型材瑕疵检测方法
CN116012310A (zh) 基于线性残差注意力的跨海大桥桥墩表面裂缝检测方法
CN117132827A (zh) 基于改进YOLOv5s网络的热轧钢带表面缺陷检测方法
CN115797808A (zh) 一种无人机巡检缺陷图像的识别方法、***、装置及介质
CN117173096A (zh) 基于改进YOLOv8网络的车门表面缺陷检测方法
CN115526863A (zh) 一种圆柱型锂电池表面缺陷检测方法及装置
Fan et al. Application of YOLOv5 neural network based on improved attention mechanism in recognition of Thangka image defects
CN115588112A (zh) 一种基于rfef-yolo目标检测方法
CN115423743A (zh) 一种基于改进YOLOv5的热轧带钢表面缺陷检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination