CN115294039A - 一种钢卷端面缺陷检测方法 - Google Patents

一种钢卷端面缺陷检测方法 Download PDF

Info

Publication number
CN115294039A
CN115294039A CN202210886416.2A CN202210886416A CN115294039A CN 115294039 A CN115294039 A CN 115294039A CN 202210886416 A CN202210886416 A CN 202210886416A CN 115294039 A CN115294039 A CN 115294039A
Authority
CN
China
Prior art keywords
data
steel coil
end surface
surface defect
stage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210886416.2A
Other languages
English (en)
Inventor
林姝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jingrui Vision Intelligent Technology Shanghai Co ltd
Original Assignee
Jingrui Vision Intelligent Technology Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jingrui Vision Intelligent Technology Shanghai Co ltd filed Critical Jingrui Vision Intelligent Technology Shanghai Co ltd
Priority to CN202210886416.2A priority Critical patent/CN115294039A/zh
Publication of CN115294039A publication Critical patent/CN115294039A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种钢卷端面缺陷检测的方法、***、计算机设备及存储介质。该方法包括：对钢卷端面数据进行预处理，所述出行数据包括灰度图和深度图；将所述预处理后的所述数据进行多信息融合；再经过数据增强，扩充数据样本；利用跨阶段卷积网络提取特征；将所述上一步的多级特征进行融合并进行缺陷的分类和定位。本申请解决了往常方法中没有引入高效性能的神经网络，以及样本不均衡等问题，为提升钢卷端面缺陷检测的效率提供了一种可靠方法。

Description

一种钢卷端面缺陷检测方法
技术领域
本申请涉及一种钢卷端面缺陷检测方法，特别涉及一种基于神经网络的钢卷端面缺陷检测方法，属于机器视觉检测技术领域。
背景技术
在机器视觉技术中，深度学习成为了图像处理的主流方法。随着神经网络的提出，图像分类、目标检测、图像分割等诸多领域得到了全新的发展。卷积神经网络在目标检测领域中，便发挥着重大作用。而调研中发现，当下诸多生产企业仍然采用人工肉眼检测的方案，效率低下且对员工身心健康有一定影响。将神经网络技术引入钢卷端面缺陷检测中，便是十分高效的解决方案。
经过调查研究，目前缺陷检测技术主要分为两种，第一种是两阶段检测网络，其利用神经网络，将目标检测分为两个阶段完成，一般首先提取候选区域，再进行区域的分类回归。这样的方案，相对繁琐且模型参数量大，在工业中使用并不多。另一种是单阶段检测网络，其利用神经网络一次性完成模型的分类与回归。该种方案检测速度快、模型量小，更适用于钢卷生产领域。但神经网络的训练均需要大量的数据作为支撑，工业场景下，数据量不足且环境差，光源等干扰因素多使得拍摄图像质量低下。样本的收集成为一件十分困难的事，利用少量样本直接训练，效果往往不好。于是一种针对数量不足、质量低下的样本数据集的方案的提出，对于解决钢卷端面缺陷检测问题有着巨大的意义。一方面可以改善工人的操作环境，另一方面也可以提升产品质量，降低因缺陷损坏下游生产设备的可能。
发明内容
本申请的目的在于提供一种高效鲁棒的钢卷端面缺陷检测方法，以解决钢卷缺陷数据不足的问题，并有效提高钢卷端面检测的准确程度。
本申请提供一种钢卷端面缺陷检测的方法，包括：
对钢卷端面缺陷数据进行预处理，所述数据包括2D相机拍摄的灰度图像和3D相机拍摄的深度图像；
将所述预处理后的数据进行通道整合拼接；
使用卷积神经网络对所述的整合后的数据进行处理，得到各阶段的特征数据；
将所述的各阶段的特征数据输入到特征金字塔结构的神经网络中处理得到丰富融合多级多尺度的特征；
将得到的特征输入到解耦合的检测头部中，得到检测结果。
其中，将预处理后的数据进行通道整合拼接，包括：
利用单通道的深度图和灰度图进行通道整合；
将第三个通道填充为深度图和灰度图像素值的加和。
其中，使用卷积神经网络对整合后的数据进行处理，得到各阶段的特征数据，包括：
利用跨阶段卷积神经网络提取通道整合后的处理好的数据，并得到多级特征；
使用得到的卷积图像特征向量来表示图像的综合表示。
其中，将各阶段的特征数据输入到特征金字塔结构的神经网络中处理得到丰富融合多级多尺度的特征，包括：
多级特征的各级特征数据输入到特征金字塔结构中；
将其中的不同阶段的特征数据进行融合，继而得到最终的丰富多尺度信息的特征向量。
本申请还提供一种钢卷端面缺陷检测的装置，包括：
预处理模块，用于把输入的灰度图和深度图进行整合；
卷积神经网络模块，用于将整合后的数据进行卷积操作提取特征；
特征金字塔模块，用于将卷积网络中的各级特征融合在一起，获得多尺度融合的丰富信息特征；
检测模块，用于将得到的丰富特征信息进行处理，得到检测结果。
进一步地，所述预处理模块包括：多信息融合模块，所述多信息融合模块包括通道拼接操作，用于将两个单通道数据拼接在一起，并将第三个通道填入前二者的加和，构成模型输入的数据。
进一步地，所述卷积神经网络结构包括一个CSPNet模型，利用跨阶段连接的结构进行卷积提取特征。
进一步地，所述特征金字塔模块包括FPN模型和PAN模型，利用特征金字塔结构，把多级特征进行融合，得到具备多尺度信息的特征向量。
进一步地，所述检测模块包括解耦合的分类分支和回归分支。利用分类分支进行缺陷的类别分类，利用回归分支，检测缺陷位置所在。
本申请还提供一种计算机设备，包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条程序代码，所述程序代码由所述一个或多个处理器加载并执行时，实现如上所述钢卷端面缺陷检测方法的功能。
本申请还提供一种计算机存储介质，所述计算机存储介质中存储有至少一条程序代码，所述程序代码由处理器加载并执行时，实现如上所述钢卷端面缺陷检测方法的功能。
综上，本申请提供的一种钢卷端面缺陷检测方法及***能够有效利用智能技术检测钢卷端面缺陷，降低人力成本，提高产品质量，降低缺陷产品损害下游生产设备的概率。
附图说明
图1为钢卷端面缺陷的示意图；
图2为多信息融合模型的示意图；
图3为本申请实施例中提供的钢卷端面缺陷检测***的示意图；
图4为本申请实施例中提供的钢卷端面缺陷检测方法的流程图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚明白，下文中将结合附图对本申请的实施例进行详细说明。
本申请的目的是针对钢卷端面的缺陷，设计一个高性能且鲁棒的深度学习模型完成钢卷端面缺陷检测。具体缺陷示意如图1所示，在钢卷边部会产生一些损坏、波折或断裂等缺陷。并且其具有尺寸差异大、样本数据质量低等难点。
基于上述难点，本实施例提出了一种钢卷端面缺陷检测方法，可以有效进行钢卷端面缺陷的检测和识别，提高产品质量。
图3为本申请实施例提供的钢卷端面缺陷检测***的示意图，如图3所示，本实施例的钢卷端面缺陷检测***主要包括：多信息融合模块、卷积网络模块、特征金字塔模块和检测头部模块。
图4为本申请实施例提供的钢卷端面缺陷检测方法的流程图，如图4所示，本实施例提供的方法包括以下步骤：
步骤S1，通过2D线扫相机获取钢卷端面的灰度图像，同时利用3D线扫相机收集钢卷端面对应的深度图像，初步得到样本集合{G，D}；
步骤S2，将G中的灰度图和D中的深度图，进行通道融合，并通过前二者数据的加和作为第三个通道构建具备多信息的数据集M；
具体的信息融合公式为:Mi＝Concat(Gi,Di,Gi+Di)；
其中，Gi为灰度图数据，Di为深度图数据，Concat为通道数据拼接函数，Mi为获得的多信息数据样本。
步骤S3，将S2中得到的M中的图像，再经过水平和垂直翻转、噪声扰动和仿射变换等数据增强。另外对数据样本进行随机擦除10像素的方块，构造新的数据。同时将四张不同的缺陷数据随机比例拼接在一起，构成一张和原图像等大小的新图片。随机应用上述图像处理操作，最终使得M中的数据得到10倍扩充，生成最终的数据集M'。
步骤S4，利用上述得到的数据集依次输入到卷积神经网络结构CSPNet中，进行图像特征的卷积提取，继而利用引入的特征金字塔结构将各级特征进行融合，以解决缺陷尺寸大小不一的问题；
步骤S5，再讲上述的多级特征输入到检测头部，进行目标的分类与定位，在目标分类的损失函数中引入Focal loss函数，以解决部分缺陷样本分类不均衡的问题。Focalloss的公式如下：
Losscls(pt)＝-αt(1-pt)γlog(pt)
步骤S6，将训练得到的神经网络模型保存其权重，以供后续的新数据的缺陷检测与定位。
本申请实施例提出的方法解决了往常方法中没有有效考虑新型的高性能神经网络以及没有针对样本不均衡、多尺度以及样本数量不足的问题，为准确进行钢卷端面缺陷的检测定位提供了一种可靠的预测方法。
本申请实施例还提供一种计算机设备，所述计算机设备包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条程序代码，所述程序代码由所述一个或多个处理器加载并执行时，实现上述钢卷端面缺陷检测的方法的功能。
本申请实施例还提供了一种计算机存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述的一种钢卷端面缺陷检测的方法。
本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本申请不限制于任何特定形式的硬件和软件的结合。
以上仅为本申请的优选实施例，当然，本申请还可有其他多种实施例，在不背离本申请精神及其实质的情况下，熟悉本领域的技术人员当可根据本申请作出各种相应的改变和变形，但这些相应的改变和变形都应属于本申请所附的权利要求的保护范围。

Claims (10)

1.一种钢卷端面缺陷检测方法，其特征在于，包括：
对钢卷端面缺陷数据进行预处理，所述数据包括2D相机拍摄的灰度图像和3D相机拍摄的深度图像；
将预处理后的数据进行通道整合拼接；
使用卷积神经网络对整合后的数据进行处理，得到各阶段的特征数据；
将各阶段的特征数据输入到特征金字塔结构的神经网络中处理得到丰富融合多级多尺度的特征；
将得到的特征输入到解耦合的检测头部中，得到检测结果。
2.如权利要求1所述的钢卷端面缺陷检测方法，其特征在于，将预处理后的数据进行通道整合拼接，包括：
利用单通道的深度图和灰度图进行通道整合；
将第三个通道填充为深度图和灰度图像素值的加和。
3.如权利要求2所述的钢卷端面缺陷检测方法，其特征在于，使用卷积神经网络对整合后的数据进行处理，得到各阶段的特征数据，包括：
利用跨阶段卷积神经网络提取通道整合后的处理好的数据，并得到多级特征；
使用得到的卷积图像特征向量来表示图像的综合表示。
4.如权利要求3所述的钢卷端面缺陷检测方法，其特征在于，将各阶段的特征数据输入到特征金字塔结构的神经网络中处理得到丰富融合多级多尺度的特征，包括：
多级特征的各级特征数据输入到特征金字塔结构中；
将其中的不同阶段的特征数据进行融合，继而得到最终的丰富多尺度信息的特征向量。
5.一种钢卷端面缺陷检测***，其特征在于，包括：
预处理模块，用于把输入的灰度图和深度图进行整合；
卷积神经网络模块，用于将整合后的数据进行卷积操作提取特征；
特征金字塔模块，用于将卷积网络中的各级特征融合在一起，获得多尺度融合的丰富信息特征；
检测模块，用于将得到的丰富特征信息进行处理，得到检测结果。
6.如权利要求5所述的钢卷端面缺陷检测***，其特征在于，所述卷积神经网络模块包括：跨阶段卷积神经网络模块，所述跨阶段卷积神经网络模块包括多层卷积网络单元，用于提取图像各类特征。
7.如权利要求5所述的钢卷端面缺陷检测***，其特征在于，所述特征金字塔模块包括FPN金字塔和PAN金字塔结构，
其中，所述FPN特征金字塔将深层卷积特征，自顶向下的传递并将不同阶段的特征进行融合，
所述PAN特征金字塔，将FPN得到的自顶向下的多级特征再自顶向上的传递，再次强化浅层信息，完成特征融合。
8.如权利要求5所述的钢卷端面缺陷检测***，其特征在于，所述检测模块为解耦合的检测头部，包括分类模块和定位模块，所述检测模块的输入数据为多尺度融合的丰富信息特征，利用检测模块的分类和回归计算，得到最终的检测结果。
9.一种计算机设备，其特征在于，所述计算机设备包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条程序代码，所述程序代码由所述一个或多个处理器加载并执行时，实现权利要求1至4中任一项所述的钢卷端面缺陷检测方法的功能。
10.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有至少一条程序代码，所述程序代码由处理器加载并执行时，实现权利要求1至4中任一项所述的钢卷端面缺陷检测方法的功能。
CN202210886416.2A 2022-07-26 2022-07-26 一种钢卷端面缺陷检测方法 Pending CN115294039A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210886416.2A CN115294039A (zh) 2022-07-26 2022-07-26 一种钢卷端面缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210886416.2A CN115294039A (zh) 2022-07-26 2022-07-26 一种钢卷端面缺陷检测方法

Publications (1)

Publication Number Publication Date
CN115294039A true CN115294039A (zh) 2022-11-04

Family

ID=83824497

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210886416.2A Pending CN115294039A (zh) 2022-07-26 2022-07-26 一种钢卷端面缺陷检测方法

Country Status (1)

Country Link
CN (1) CN115294039A (zh)

Similar Documents

Publication Publication Date Title
CN103279765B (zh) 基于图像匹配的钢丝绳表面损伤检测方法
CN111460927B (zh) 对房产证图像进行结构化信息提取的方法
CN110827312A (zh) 一种基于协同视觉注意力神经网络的学习方法
CN113989604A (zh) 基于端到端深度学习的轮胎dot信息识别方法
CN117252815A (zh) 基于2d-3d多模态图像的工业零件缺陷检测方法、***、设备及存储介质
CN113780484B (zh) 工业产品缺陷检测方法和装置
CN114612418A (zh) 一种鼠标外壳表面缺陷检测方法及装置、***、电子设备
CN116580026B (zh) 精密零部件外观缺陷自动光学检测方法、设备及存储介质
CN113610024A (zh) 一种多策略的深度学习遥感影像小目标检测方法
CN113313688A (zh) 一种含能材料药桶识别方法、***、电子设备及存储介质
CN112967224A (zh) 一种基于人工智能的电子电路板检测***、方法及介质
CN111179278B (zh) 一种图像检测的方法、装置、设备和存储介质
CN115797970B (zh) 基于YOLOv5模型的密集行人目标检测方法及***
CN112364687A (zh) 一种基于改进的Faster R-CNN加油站静电标志识别方法及***
CN110889418A (zh) 一种气体轮廓识别方法
CN115294039A (zh) 一种钢卷端面缺陷检测方法
CN113139932B (zh) 一种基于集成学习的深度学习缺陷图像识别方法及***
CN116912670A (zh) 基于改进yolo模型的深海鱼类识别方法
CN111680691B (zh) 文字检测方法、装置、电子设备和计算机可读存储介质
CN111882545B (zh) 基于双向信息传递及特征融合的织物疵点检测方法
CN113850167A (zh) 一种基于边缘计算与机器深度学习的商品识别方法及***
CN114445767A (zh) 一种传输带传输异物检测方法及***
CN116580277B (zh) 一种基于深度学习的底部电子识别标签丢失图像识别方法
CN118071735B (zh) 一种液漏检测方法及***
CN112115949B (zh) 一种烟草证件以及订单的光学文字识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination