CN117495884B - 一种钢铁表面缺陷分割方法、装置、电子设备及存储介质 - Google Patents

一种钢铁表面缺陷分割方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN117495884B
CN117495884B CN202410003483.4A CN202410003483A CN117495884B CN 117495884 B CN117495884 B CN 117495884B CN 202410003483 A CN202410003483 A CN 202410003483A CN 117495884 B CN117495884 B CN 117495884B
Authority
CN
China
Prior art keywords
image
feature
coded
fusion
enhancement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410003483.4A
Other languages
English (en)
Other versions
CN117495884A (zh
Inventor
李婕
高澄
杨子豪
秦涛
张新月
李焕文
陈记文
陈诗雨
朱成勇
杨陈波
胡图
涂静敏
熊炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei University of Technology
Original Assignee
Hubei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei University of Technology filed Critical Hubei University of Technology
Priority to CN202410003483.4A priority Critical patent/CN117495884B/zh
Publication of CN117495884A publication Critical patent/CN117495884A/zh
Application granted granted Critical
Publication of CN117495884B publication Critical patent/CN117495884B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种钢铁表面缺陷分割方法、装置、电子设备及存储介质，包括：获取待分割钢铁表面图像；将待分割钢铁表面图像输入到训练完备的钢铁缺陷分割网络中，逐级进行多级像素特征增强得到多级编码图像和编码特征图像，对多级编码图像和编码特征图像特征融合得到多级融合特征图像，对编码特征图像逐级进行像素特征增强、通道叠加多级融合特征图像和插值上采样操作得到多级解码图像和解码特征图像，对解码特征图像进行缺陷分割预测得到钢铁表面缺陷分割结果。综上，本发明通过像素特征增强捕获特征的全局空间关系，通过通道叠加多级融合特征图像捕获钢铁表面图像缺陷特征，实现对钢铁表面缺陷轮廓的清晰分割，得到准确的钢铁表面缺陷分割结果。

Description

一种钢铁表面缺陷分割方法、装置、电子设备及存储介质
技术领域
本发明涉及图像处理领域，具体涉及一种钢铁表面缺陷分割方法、装置、电子设备及存储介质。
背景技术
在钢铁制造过程中，钢板、钢卷和钢管等产品表面可能存在着各种缺陷，如裂纹、凹陷、划痕和气泡等。钢铁等金属材料表面存在的这些缺陷，会导致机器使用过程中产生不正常的振动和噪声，加快缺陷面与空气接触后进一步的氧化和磨损。因此，钢铁表面缺陷检测是非常重要的环节，通过缺陷检测，可以及时发现和修复这些缺陷，提升钢材产品的质量。
随着图像识别的发展，经典语义分割网络UNet和Deeplab等被广泛应用于工业产品表面的缺陷分割。但是，由于钢铁表面的缺陷存在着多种类型，这些类型中也存在着不同形状和轮廓的缺陷，经典语义分割网络在面临着多种类型的钢铁表面缺陷时，难以将轮廓信息清晰的分割出来，得到的钢铁表面缺陷分割结果准确度较低。
发明内容
有鉴于此，有必要提供一种钢铁表面缺陷分割方法、装置、电子设备及存储介质，用于解决现有技术对多种类型的钢铁表面缺陷，难以清晰分割轮廓信息，得到的钢铁表面缺陷分割结果准确度较低的技术问题。
为解决上述问题，一方面，本发明提供了一种钢铁表面缺陷分割方法，包括：
获取待分割钢铁表面图像；
将待分割钢铁表面图像输入到训练完备的钢铁缺陷分割网络中，钢铁缺陷分割网络对待分割钢铁表面图像逐级进行多级像素特征增强得到多级编码图像和编码特征图像，对多级编码图像和编码特征图像进行特征融合得到多级融合特征图像，对编码特征图像逐级进行像素特征增强、通道叠加多级融合特征图像和插值上采样操作得到多级解码图像和解码特征图像，对解码特征图像进行缺陷分割预测得到钢铁表面缺陷分割结果。
进一步的，对待分割钢铁表面图像逐级进行多级像素特征增强得到多级编码图像和编码特征图像，包括：
对待分割钢铁表面图像依次进行特征卷积和下采样得到第一编码图像，对第一编码图像重复特征卷积和下采样得到第二编码图像；
对第二编码图像依次进行像素特征增强和下采样得到第三编码图像，对第三编码图像逐级重复像素特征增强和下采样依次得到第四编码图像和编码特征图像。
进一步的，对多级编码图像和编码特征图像进行特征融合得到多级融合特征图像，包括：
分别将编码特征图像、第四编码图像和第三编码图像作为第一融合分组，将第四编码图像、第三编码图像和第二编码图像作为第二融合分组，将第三编码图像、第二编码图像和第一编码图像作为第三融合分组；
对各融合分组进行特征融合得到融合特征图像，融合特征图像包括第一融合特征图像、第二融合特征图像和第三融合特征图像。
进一步的，对各融合分组进行特征融合得到融合特征图像，包括：
将各多级编码图像或编码特征图像按尺寸大小排列为大尺寸特征图像、中尺寸特征图像和小尺寸特征图像；
对大尺寸特征图像进行下采样操作与中尺寸特征图像尺寸对齐，对小尺寸特征图像进行下采样操作与中尺寸特征图像尺寸对齐；
对各多级编码图像或编码特征图像进行卷积降维并拼接得到拼接特征，对拼接特征依次通过ReLU激活函数、卷积操作和Sigmiod激活函数得到权重信息；
将权重信息和中尺寸特征图像相乘得到融合特征图像。
进一步的，对编码特征图像逐级进行像素特征增强、通道叠加多级融合特征图像和插值上采样操作得到多级解码图像和解码特征图像，包括：
对编码特征图像依次进行像素特征增强、双线性插值和上采样得到第一解码图像；
将第一解码图像和第一融合特征图像通道叠加后，进行双线性插值得到第二解码图像，并逐级重复进行通道叠加和双线性插值依次得到第三解码图像和第四解码图像；
将第四解码图像和第一编码图像通道叠加后，进行双线性插值得到解码特征图像。
进一步的，以多级编码图像、编码特征图像和/或多级解码图像作为待增强特征图像，像素特征增强，包括：
将待增强特征图像按通道维度切分为第一切分图像、第二切分图像、第三切分图像和第四切分图像；
随机初始化第一张量、第二张量和第三张量，对第一张量进行双线性插值和深度可分离卷积后与第一切分图像相乘得到第一增强特征；
维度置换第二切分图像，对第二张量进行双线性插值和深度可分离卷积后与第二切分图像相乘并维度置换得到第二增强特征；
维度置换第三切分图像，对第三张量进行双线性插值和深度可分离卷积后与第三切分图像相乘并维度置换得到第三增强特征；
对第四切分图像进行深度可分离卷积得到第四增强特征；
合并第一增强特征、第二增强特征、第三增强特征和第四增强特征，深度可分离卷积后得到像素特征增强输出。
进一步的，对解码特征图像进行缺陷分割预测得到钢铁表面缺陷分割结果，包括：
对解码特征图像进行卷积通道降维得到钢铁表面缺陷分割结果。
另一方面，本发明还提供了一种钢铁表面缺陷分割装置，包括：
图像获取单元，用于获取待分割钢铁表面图像；
缺陷分割预测单元，用于将待分割钢铁表面图像输入到训练完备的钢铁缺陷分割网络中，钢铁缺陷分割网络对待分割钢铁表面图像逐级进行多级像素特征增强得到多级编码图像和编码特征图像，对多级编码图像和编码特征图像进行特征融合得到多级融合特征图像，对编码特征图像逐级进行像素特征增强、通道叠加多级融合特征图像和插值上采样操作得到多级解码图像和解码特征图像，对解码特征图像进行缺陷分割预测得到钢铁表面缺陷分割结果。
另一方面，本发明还提供了一种电子设备，包括存储器和处理器，其中，
存储器，用于存储计算机程序；
处理器，与存储器耦合，用于执行计算机程序，以实现上述的钢铁表面缺陷分割方法中的步骤。
另一方面，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时，实现上述的钢铁表面缺陷分割方法中的步骤。
与现有技术相比，采用上述实施例的有益效果是：本发明通过像素特征增强捕获特征的全局空间关系，通过通道叠加多级融合特征图像得到更丰富的钢铁表面图像缺陷特征，实现对钢铁表面缺陷轮廓信息的清晰分割，得到准确的钢铁表面缺陷分割结果。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍，显然，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的钢铁表面缺陷分割方法的一个实施例的流程示意图；
图2为本发明提供的钢铁表面缺陷分割装置的一个实施例的结构示意图；
图3为本发明提供的电子设备的一个实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，示意图的附图并未按实物比例绘制。本发明中使用的流程图示出了根据本发明的一些实施例实现的操作。应当理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本发明内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器***和/或微控制器***中实现这些功能实体。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其他实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其他实施例相结合。
图1为本发明提供的钢铁表面缺陷分割方法的一个实施例的流程示意图，如图1所示，钢铁表面缺陷分割方法包括：
S101、获取待分割钢铁表面图像；
S102、将待分割钢铁表面图像输入到训练完备的钢铁缺陷分割网络中，钢铁缺陷分割网络对待分割钢铁表面图像逐级进行多级像素特征增强得到多级编码图像和编码特征图像，对多级编码图像和编码特征图像进行特征融合得到多级融合特征图像，对编码特征图像逐级进行像素特征增强、通道叠加多级融合特征图像和插值上采样操作得到多级解码图像和解码特征图像，对解码特征图像进行缺陷分割预测得到钢铁表面缺陷分割结果。
具体地，在本发明提供的钢铁表面缺陷分割方法中，通过像素特征增强捕获特征的全局空间关系，通过通道叠加多级融合特征图像得到更丰富的钢铁表面图像缺陷特征，实现对钢铁表面缺陷轮廓信息的清晰分割，得到准确的钢铁表面缺陷分割结果。
在本发明的具体实施例中，对待分割钢铁表面图像逐级进行多级像素特征增强得到多级编码图像和编码特征图像，包括：
对待分割钢铁表面图像依次进行特征卷积和下采样得到第一编码图像，对第一编码图像重复特征卷积和下采样得到第二编码图像；
对第二编码图像依次进行像素特征增强和下采样得到第三编码图像，对第三编码图像逐级重复像素特征增强和下采样依次得到第四编码图像和编码特征图像。
具体地，实施例中钢铁缺陷分割网络为U型结构，大致上分为编码器和解码器两部分。其中编码器部分，首先对待分割钢铁表面图像尺寸调整到512×512，输入网络的RGB图片大小为512×512×3，经过第一个卷积模块后得到大小为512×512×64的特征，第一卷积模块包含两个3×3×64的卷积核和一个ReLU激活函数，此外为了保证卷积前后图片大小相同，需要对图片进行padding操作。再对得到的特征经过下采样操作得到第一编码特征，大小为256×256×64。
将第一编码特征送入第二个卷积模块中得到大小为256×256×128的特征，第二个卷积模块包含两个大小为3×3×128的卷积和一个ReLU激活函数，再对特征下采样后得到第二编码特征。
再将第二编码特征经过一个EPA（Element-by-element Product Attention，逐相似注意力）模块进行像素特征增强，再经过下采样操作得到第三编码特征。并以此类推对第三编码特征进行像素特征增强和下采样得到第四编码特征，对第四编码特征进行像素特征增强和下采样得到编码特征图像。
在本发明的具体实施例中，对多级编码图像和编码特征图像进行特征融合得到多级融合特征图像，包括：
分别将编码特征图像、第四编码图像和第三编码图像作为第一融合分组，将第四编码图像、第三编码图像和第二编码图像作为第二融合分组，将第三编码图像、第二编码图像和第一编码图像作为第三融合分组；
对各融合分组进行特征融合得到融合特征图像，融合特征图像包括第一融合特征图像、第二融合特征图像和第三融合特征图像。
在本发明的具体实施例中，对各融合分组进行特征融合得到融合特征图像，包括：
将各多级编码图像或编码特征图像按尺寸大小排列为大尺寸特征图像、中尺寸特征图像和小尺寸特征图像；
对大尺寸特征图像进行下采样操作与中尺寸特征图像尺寸对齐，对小尺寸特征图像进行下采样操作与中尺寸特征图像尺寸对齐；
对各多级编码图像或编码特征图像进行卷积降维并拼接得到拼接特征，对拼接特征依次通过ReLU激活函数、卷积操作和Sigmiod激活函数得到权重信息；
将权重信息和中尺寸特征图像相乘得到融合特征图像。
具体地，为了捕获更丰富的钢铁表面图像缺陷特征，实施例将解码器部分得到的各级特征，融合之后在解码器的步骤中通过通道叠加的方式进行特征合并。实施例将三个特征图像作为一组进行融合得到三个融合特征图像。其中，将编码器最后得到的编码特征图像与第四编码图像和第三编码图像作为第一个分组融合得到第一融合特征图像；将第四编码图像、第三编码图像和第二编码图像作为第二个分组融合得到第二融合特征图像；将第三编码图像、第二编码图像和第一编码图像作为第三个分组融合得到第三融合特征图像。
在进行特征融合的过程中，本发明设计了一个MIA（Multiple input attention，多输入注意力）模块来实现对不同尺度特征的融合。融合过程中，首先将需要融合的特征图像按尺寸大小排列为大尺寸特征图像X1、中尺寸特征图像X2和小尺寸特征图像X3，对大尺寸图像X1和小尺寸图像X3分别进行下采样操作和上采样操作，使其大小尺寸与X2对齐。然后，将特征X1、X2和X3分别通过不同的1×1×1的卷积，进行尺寸和通道的降维，并相加得到1×1×1大小的拼接特征，再将拼接特征经过ReLU激活函数、1×1×1的卷积和Sigmoid激活函数得到权重信息，最后将权重信息与中尺寸特征X2相乘，得到融合特征图像X2^。融合过程公式如下：
其中，、/>和/>分别表示/>、/>和/>各自对应的1×1×1卷积，/>表示对拼接特征的1×1×1卷积。
在本发明的具体实施例中，对编码特征图像逐级进行像素特征增强、通道叠加多级融合特征图像和插值上采样操作得到多级解码图像和解码特征图像，包括：
对编码特征图像依次进行像素特征增强、双线性插值和上采样得到第一解码图像；
将第一解码图像和第一融合特征图像通道叠加后，进行双线性插值得到第二解码图像，并逐级重复进行通道叠加和双线性插值依次得到第三解码图像和第四解码图像；
将第四解码图像和第一编码图像通道叠加后，进行双线性插值得到解码特征图像。
具体地，在网络结构的解码器部分，首先通过EPA模块对特征编码图像进行像素特征增强，然后通过双线性插值操作和上采样操作得到大小为32×32×256的第一解码图像。将第一解码图像和第一融合特征图像通过通道叠加操作进行合并，再进行像素特征增强和双线性插值得到第二解码图像；并逐级重复该过程，通道叠加第二解码图像和第二融合特征，像素特征增强和双线性插值得到第三解码图像，通道叠加第三解码图像和第三融合特征，像素特征增强和双线性插值得到第四解码图像。最后直接将第四解码图像和第一编码图像进行通道叠加后进行像素特征增强和双线性插值得到解码特征图像。
在本发明的具体实施例中，以多级编码图像、编码特征图像和/或多级解码图像作为待增强特征图像，像素特征增强，包括：
将待增强特征图像按通道维度切分为第一切分图像、第二切分图像、第三切分图像和第四切分图像；
随机初始化第一张量、第二张量和第三张量，对第一张量进行双线性插值和深度可分离卷积后与第一切分图像相乘得到第一增强特征；
维度置换第二切分图像，对第二张量进行双线性插值和深度可分离卷积后与第二切分图像相乘并维度置换得到第二增强特征；
维度置换第三切分图像，对第三张量进行双线性插值和深度可分离卷积后与第三切分图像相乘并维度置换得到第三增强特征；
对第四切分图像进行深度可分离卷积得到第四增强特征；
合并第一增强特征、第二增强特征、第三增强特征和第四增强特征，深度可分离卷积后得到像素特征增强输出。
具体地，考虑到经典语义分割网络使用卷积核提取特征，而卷积核又存在着参数量大、局部信息限制的缺点，本发明提出了EPA（Element-by-element Product Attention，逐像素注意力）模块替换卷积核，对特征信息进行像素特征增强，以捕获特征的全局空间关系。EPA模块首先将待增强特征图像在通道维度切分为四份，得到第一切分图像、第二切分图像、第三切分图像和第四切分图像，如下式：
其中，表示切分操作。
然后随机初始化tensor操作得到第一张量、第二张量/>和第三张量，对第一张量/>进行双线性插值/>和深度可分离卷积/>后与第一切分图像/>相乘得到第一增强特征/>，如下式：
对第二张量进行双线性插值和深度可分离卷积，对第二切分图像/>进行维度置换/>，然后相乘并维度置换回去得到第二增强特征/>，如下式：
第三切分图像处理方式与第二切分图像相似，得到第三增强特征，如下式：
第四切分图像则直接进行深度可分离卷积得到第四增强特征/>，如下式：
最后将各增强图像合并后进行深度可分离卷积后得到像素特征增强输出，如下式：
其中，表示合并操作。
在本发明的具体实施例中，对解码特征图像进行缺陷分割预测得到钢铁表面缺陷分割结果，包括：
对解码特征图像进行卷积通道降维得到钢铁表面缺陷分割结果。
最后实施例在得到解码特征图像后，通过1×1的卷积来对解码特征图像进行通道降维，得到满足条件的钢铁表面缺陷分割结果。
综上，本发明通过像素特征增强，捕获特征的全局空间关系，通过通道叠加多级融合特征图像捕获更丰富的钢铁表面图像缺陷特征，实现对钢铁表面缺陷轮廓信息的清晰分割，得到准确的钢铁表面缺陷分割结果。
为验证本发明有效性，实施例以Kaggle钢铁缺陷检测比赛的钢铁表面图像作为数据集，钢铁缺陷共分为4类：划痕、埋渣、皮鳞和氧化。原始图像像素大小为1600×2560。其中皮鳞的占比高达71.85%，数据集各个类别之间存在失衡，因此实施例对原始图像裁剪过后进行数据增强，使用水平翻转和竖直翻转增强图片的多样性，以此平衡各类别图像数量；并通过调整图像的亮度和对比度，减少光照不均的影响，突出缺陷的边缘特征，使用直方图均衡化增强图像的全局对比度；最后给训练集增加模糊和噪声干扰，进一步提升模型的泛化能力，得到网络训练所需的数据集，并按8:1:1的比例分配为训练集、验证集和测试集。
然后实施例将分别将训练集送入本发明方案的EPA-MIA网络、经典语义分割网络UNet和Deeplabv3+中进行训练，并进行分割效果的对比。经过比对分割结果，本方案提出的EPA-MIA的分割效果最佳，可以很好的将划痕部分的轮廓分割出来；其次为UNet网络，存在着无法将部分区域分割出来的缺陷；而在Deeplabv3+网络的分割结果中，则存在着很多噪点，分割效果较差。此外在准确度的量化上，本发明的准确度达到95.4%，高于Unet的93.1%和Deeplabv3+的90.7。
基于本发明提供的钢铁表面缺陷分割方法，本发明还提供了一种钢铁表面缺陷分割装置200，如图2所示，包括：
图像获取单元201，用于获取待分割钢铁表面图像；
缺陷分割预测单元202，用于将待分割钢铁表面图像输入到训练完备的钢铁缺陷分割网络中，钢铁缺陷分割网络对待分割钢铁表面图像逐级进行多级像素特征增强得到多级编码图像和编码特征图像，对多级编码图像和编码特征图像进行特征融合得到多级融合特征图像，对编码特征图像逐级进行像素特征增强、通道叠加多级融合特征图像和插值上采样操作得到多级解码图像和解码特征图像，对解码特征图像进行缺陷分割预测得到钢铁表面缺陷分割结果。
上述实施例提供的钢铁表面缺陷分割装置200可实现上述钢铁表面缺陷分割方法实施例中的技术方案，上述各模块或单元具体实现的原理可参见上述钢铁表面缺陷分割方法实施例中的相应内容，此处不再赘述。
本发明还提供了一种电子设备300，如图3所示，图3为本发明提供的电子设备一实施例的结构示意图，电子设备300包括处理器301、存储器302及存储在存储器302并可在处理器301上运行的计算机程序，处理器301执行程序时，实现上述的钢铁表面缺陷分割方法。
作为优选的实施例，上述电子设备还包括显示器303，用于显示处理器301执行上述钢铁表面缺陷分割方法的过程。
其中，处理器301可能是一种集成电路芯片，具有信号的处理能力。上述的处理器301可以是通用处理器，包括中央处理器（Central Processing Unit，CPU ）、网络处理器（Network Processor，NP）等；还可以是数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器也可以是微处理器或者该处理器也可以是任何常规的处理器等。
其中，存储器302可以是，但不限于，随机存取存储器（Random Access Memory，RAM），只读存储器（Read Only Memory，ROM），安全数字（Secure Digital，SD卡），闪存卡（Flash Card）等。其中，存储器302用于存储程序，处理器301在接收到执行指令后，执行程序，前述本发明实施例任一实施例揭示的流程定义的方法可以应用于处理器301中，或者由处理器301实现。
其中，显示器303可以是LED显示屏，液晶显示器或触控式显示器等。显示器303用于显示在电子设备300的各种信息。
可以理解的是，图3所示的结构仅为电子设备300的一种结构示意图，电子设备300还可以包括比图3所示更多或更少的组件。图3中所示的各组件可以采用硬件、软件或其组合实现。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时，实现上述的钢铁表面缺陷分割方法。
一般来说，用于实现本发明方法的计算机指令的可以采用一个或多个计算机可读的存储介质的任意组合来承载。非临时性计算机可读存储介质可以包括任何计算机可读介质，除了临时性的传播中的信号本身。
计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线，或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件，或者上述的任意合适的组合。在本发明件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
以上，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种钢铁表面缺陷分割方法，其特征在于，所述方法包括：
获取待分割钢铁表面图像；
将所述待分割钢铁表面图像输入到训练完备的钢铁缺陷分割网络中，对所述待分割钢铁表面图像依次进行特征卷积和下采样得到第一编码图像，对所述第一编码图像重复特征卷积和下采样得到第二编码图像，对所述第二编码图像依次进行像素特征增强和下采样得到第三编码图像，对所述第三编码图像逐级重复像素特征增强和下采样依次得到第四编码图像和编码特征图像，分别将所述编码特征图像、第四编码图像和第三编码图像作为第一融合分组，将所述第四编码图像、第三编码图像和第二编码图像作为第二融合分组，将所述第三编码图像、第二编码图像和第一编码图像作为第三融合分组，对各融合分组进行特征融合得到融合特征图像，所述融合特征图像包括第一融合特征图像、第二融合特征图像和第三融合特征图像，对所述编码特征图像依次进行像素特征增强、双线性插值和上采样得到第一解码图像，将所述第一解码图像和所述第一融合特征图像通道叠加后，进行双线性插值得到第二解码图像，并逐级重复进行通道叠加和双线性插值依次得到第三解码图像和第四解码图像，将所述第四解码图像和所述第一编码图像通道叠加后，进行双线性插值得到解码特征图像，对所述解码特征图像进行缺陷分割预测得到钢铁表面缺陷分割结果。
2.根据权利要求1所述的钢铁表面缺陷分割方法，其特征在于，所述对各融合分组进行特征融合得到融合特征图像，包括：
将各多级编码图像或编码特征图像按尺寸大小排列为大尺寸特征图像、中尺寸特征图像和小尺寸特征图像；
对所述大尺寸特征图像进行下采样操作与所述中尺寸特征图像尺寸对齐，对所述小尺寸特征图像进行下采样操作与所述中尺寸特征图像尺寸对齐；
对各多级编码图像或编码特征图像进行卷积降维并拼接得到拼接特征，对所述拼接特征依次通过ReLU激活函数、卷积操作和Sigmiod激活函数得到权重信息；
将所述权重信息和所述中尺寸特征图像相乘得到融合特征图像。
3.根据权利要求1所述的钢铁表面缺陷分割方法，其特征在于，以所述多级编码图像、编码特征图像和/或多级解码图像作为待增强特征图像，所述像素特征增强，包括：
将所述待增强特征图像按通道维度切分为第一切分图像、第二切分图像、第三切分图像和第四切分图像；
随机初始化第一张量、第二张量和第三张量，对所述第一张量进行双线性插值和深度可分离卷积后与所述第一切分图像相乘得到第一增强特征；
维度置换所述第二切分图像，对所述第二张量进行双线性插值和深度可分离卷积后与所述第二切分图像相乘并维度置换得到第二增强特征；
维度置换所述第三切分图像，对所述第三张量进行双线性插值和深度可分离卷积后与所述第三切分图像相乘并维度置换得到第三增强特征；
对所述第四切分图像进行深度可分离卷积得到第四增强特征；
合并所述第一增强特征、第二增强特征、第三增强特征和所述第四增强特征，深度可分离卷积后得到像素特征增强输出。
4.根据权利要求1所述的钢铁表面缺陷分割方法，其特征在于，所述对所述解码特征图像进行缺陷分割预测得到钢铁表面缺陷分割结果，包括：
对所述解码特征图像进行卷积通道降维得到钢铁表面缺陷分割结果。
5.一种钢铁表面缺陷分割装置，其特征在于，包括：
图像获取单元，用于获取待分割钢铁表面图像；
缺陷分割预测单元，用于将所述待分割钢铁表面图像输入到训练完备的钢铁缺陷分割网络中，对所述待分割钢铁表面图像依次进行特征卷积和下采样得到第一编码图像，对所述第一编码图像重复特征卷积和下采样得到第二编码图像，对所述第二编码图像依次进行像素特征增强和下采样得到第三编码图像，对所述第三编码图像逐级重复像素特征增强和下采样依次得到第四编码图像和编码特征图像，分别将所述编码特征图像、第四编码图像和第三编码图像作为第一融合分组，将所述第四编码图像、第三编码图像和第二编码图像作为第二融合分组，将所述第三编码图像、第二编码图像和第一编码图像作为第三融合分组，对各融合分组进行特征融合得到融合特征图像，所述融合特征图像包括第一融合特征图像、第二融合特征图像和第三融合特征图像，对所述编码特征图像依次进行像素特征增强、双线性插值和上采样得到第一解码图像，将所述第一解码图像和所述第一融合特征图像通道叠加后，进行双线性插值得到第二解码图像，并逐级重复进行通道叠加和双线性插值依次得到第三解码图像和第四解码图像，将所述第四解码图像和所述第一编码图像通道叠加后，进行双线性插值得到解码特征图像，对所述解码特征图像进行缺陷分割预测得到钢铁表面缺陷分割结果。
6.一种电子设备，其特征在于，包括存储器和处理器，其中，
所述存储器，用于存储计算机程序；
所述处理器，与所述存储器耦合，用于执行计算机程序，以实现权利要求1至4中任意一项所述的钢铁表面缺陷分割方法中的步骤。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求1至4任一项所述的钢铁表面缺陷分割方法中的步骤。
CN202410003483.4A 2024-01-02 2024-01-02 一种钢铁表面缺陷分割方法、装置、电子设备及存储介质 Active CN117495884B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410003483.4A CN117495884B (zh) 2024-01-02 2024-01-02 一种钢铁表面缺陷分割方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410003483.4A CN117495884B (zh) 2024-01-02 2024-01-02 一种钢铁表面缺陷分割方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN117495884A CN117495884A (zh) 2024-02-02
CN117495884B true CN117495884B (zh) 2024-03-22

Family

ID=89685451

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410003483.4A Active CN117495884B (zh) 2024-01-02 2024-01-02 一种钢铁表面缺陷分割方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN117495884B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110853039A (zh) * 2019-10-16 2020-02-28 深圳信息职业技术学院 一种多数据融合的草图图像分割方法、***、装置及存储介质
CN112465790A (zh) * 2020-12-03 2021-03-09 天津大学 基于多尺度卷积和三线性全局注意力的表面缺陷检测方法
CN112767354A (zh) * 2021-01-19 2021-05-07 南京汇川图像视觉技术有限公司 基于图像分割的缺陷检测方法、装置、设备及存储介质
WO2021104058A1 (zh) * 2019-11-26 2021-06-03 中国科学院深圳先进技术研究院 图像分割方法、装置及终端设备
WO2022088628A1 (zh) * 2020-10-30 2022-05-05 北京市商汤科技开发有限公司 缺陷检测方法、装置、计算机设备及存储介质
CN115439446A (zh) * 2022-09-06 2022-12-06 北京航空航天大学杭州创新研究院 一种外观缺陷检测方法、装置、存储介质及电子设备
KR20230030259A (ko) * 2021-08-25 2023-03-06 금오공과대학교 산학협력단 제품 결함 검출 학습을 위한 딥러닝 기반 데이터 증강 방법
CN115861323A (zh) * 2023-02-28 2023-03-28 泉州装备制造研究所 基于精细化分割网络的皮革缺陷检测方法
CN116051549A (zh) * 2023-03-29 2023-05-02 山东建筑大学 一种太阳能电池片缺陷分割方法、***、介质及设备
CN116152226A (zh) * 2023-04-04 2023-05-23 东莞职业技术学院 基于可融合的特征金字塔的换向器内侧图像缺陷检测方法
CN116433914A (zh) * 2023-04-28 2023-07-14 齐鲁工业大学(山东省科学院) 一种二维医学图像分割方法及***
CN116977336A (zh) * 2023-09-22 2023-10-31 苏州思谋智能科技有限公司 摄像头缺陷检测方法、装置、计算机设备及存储介质
CN117094975A (zh) * 2023-08-23 2023-11-21 河钢数字技术股份有限公司 钢铁表面缺陷检测方法、装置及电子设备

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110853039A (zh) * 2019-10-16 2020-02-28 深圳信息职业技术学院 一种多数据融合的草图图像分割方法、***、装置及存储介质
WO2021104058A1 (zh) * 2019-11-26 2021-06-03 中国科学院深圳先进技术研究院 图像分割方法、装置及终端设备
WO2022088628A1 (zh) * 2020-10-30 2022-05-05 北京市商汤科技开发有限公司 缺陷检测方法、装置、计算机设备及存储介质
CN112465790A (zh) * 2020-12-03 2021-03-09 天津大学 基于多尺度卷积和三线性全局注意力的表面缺陷检测方法
CN112767354A (zh) * 2021-01-19 2021-05-07 南京汇川图像视觉技术有限公司 基于图像分割的缺陷检测方法、装置、设备及存储介质
KR20230030259A (ko) * 2021-08-25 2023-03-06 금오공과대학교 산학협력단 제품 결함 검출 학습을 위한 딥러닝 기반 데이터 증강 방법
CN115439446A (zh) * 2022-09-06 2022-12-06 北京航空航天大学杭州创新研究院 一种外观缺陷检测方法、装置、存储介质及电子设备
CN115861323A (zh) * 2023-02-28 2023-03-28 泉州装备制造研究所 基于精细化分割网络的皮革缺陷检测方法
CN116051549A (zh) * 2023-03-29 2023-05-02 山东建筑大学 一种太阳能电池片缺陷分割方法、***、介质及设备
CN116152226A (zh) * 2023-04-04 2023-05-23 东莞职业技术学院 基于可融合的特征金字塔的换向器内侧图像缺陷检测方法
CN116433914A (zh) * 2023-04-28 2023-07-14 齐鲁工业大学(山东省科学院) 一种二维医学图像分割方法及***
CN117094975A (zh) * 2023-08-23 2023-11-21 河钢数字技术股份有限公司 钢铁表面缺陷检测方法、装置及电子设备
CN116977336A (zh) * 2023-09-22 2023-10-31 苏州思谋智能科技有限公司 摄像头缺陷检测方法、装置、计算机设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Efficient Fused-Attention Model for Steel Surface Defect Detection;Ching-Chi Yeung et al;IEEE Transactions on Instrumentation and Measurement;20220518;全文 *
MFAM-Net:A Surface Defect Detection Network for Strip Steel via Multiscale Feature Fusion and Attention Mechanism;Qingtian Zeng et al;2023 International Conference on New Trends in Computational Intelligence (NTCI);20231105;全文 *
黄怡等.桂林电子科技大学学报.2022,全文. *

Also Published As

Publication number Publication date
CN117495884A (zh) 2024-02-02

Similar Documents

Publication Publication Date Title
CN108664981B (zh) 显著图像提取方法及装置
CN111709883B (zh) 一种图像检测方法、装置及设备
CN112907530B (zh) 基于分组反向注意力的伪装物体检测方法及***
CN111681162A (zh) 一种缺陷样本生成方法、装置、电子设备及存储介质
CN112819748B (zh) 一种带钢表面缺陷识别模型的训练方法及装置
CN110415237B (zh) 皮肤瑕疵检测方法、检测装置、终端设备及可读存储介质
KR20160130769A (ko) 화상을 프로세싱하기 위한 방법 및 디바이스
CN113628179B (zh) 一种pcb表面缺陷实时检测方法、装置及可读介质
CN111738952A (zh) 一种图像修复的方法、装置及电子设备
CN115631112B (zh) 一种基于深度学习的建筑轮廓矫正方法及装置
CN117495884B (zh) 一种钢铁表面缺陷分割方法、装置、电子设备及存储介质
Agarwal et al. Median filtering forensics based on optimum thresholding for low-resolution compressed images
CN113643173A (zh) 水印去除方法、装置、终端设备及可读存储介质
CN113591507A (zh) 一种鲁棒的二维码DataMatrix定位方法及***
CN112465764A (zh) 一种图像篡改检测方法和装置
CN115760641B (zh) 基于多尺度特征注意力网络的遥感影像去云雾方法和设备
CN116645365A (zh) 基于频谱的石英玻璃检测方法、装置、设备及介质
CN115393868B (zh) 文本检测方法、装置、电子设备和存储介质
CN113947529B (zh) 图像增强方法、模型训练方法、构件识别方法及相关设备
CN115937121A (zh) 基于多维度特征融合的无参考图像质量评价方法及***
CN115619678A (zh) 一种图像变形的矫正方法、装置、计算机设备及存储介质
CN114596210A (zh) 噪声估计方法、装置、终端设备及计算机可读存储介质
CN111539922A (zh) 基于多任务网络的单目深度估计与表面法向量估计方法
CN117635645B (zh) 一种复杂稠密网络下的并置多尺度融合边缘检测模型
CN115409914B (zh) 文物线描图的生成方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant