CN116664839B - 一种弱监督半监督缺陷感知分割方法、装置及电子设备 - Google Patents

一种弱监督半监督缺陷感知分割方法、装置及电子设备 Download PDF

Info

Publication number
CN116664839B
CN116664839B CN202310641253.6A CN202310641253A CN116664839B CN 116664839 B CN116664839 B CN 116664839B CN 202310641253 A CN202310641253 A CN 202310641253A CN 116664839 B CN116664839 B CN 116664839B
Authority
CN
China
Prior art keywords
defect
defect image
image
target
original
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310641253.6A
Other languages
English (en)
Other versions
CN116664839A (zh
Inventor
林旭新
梁延研
强孙源
李国钊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Boyan Technology Zhuhai Co ltd
Original Assignee
Boyan Technology Zhuhai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Boyan Technology Zhuhai Co ltd filed Critical Boyan Technology Zhuhai Co ltd
Priority to CN202310641253.6A priority Critical patent/CN116664839B/zh
Publication of CN116664839A publication Critical patent/CN116664839A/zh
Application granted granted Critical
Publication of CN116664839B publication Critical patent/CN116664839B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种弱监督半监督缺陷感知分割方法、装置及电子设备，方法包括通过缺陷修复器的下采样模块和第一残差卷积块获取目标缺陷图像的原始特征；通过缺陷修复器的缺陷激活模块根据原始特征预先获取目标缺陷图像中缺陷位置对应的原始二值掩码；将通过缺陷激活模块根据原始特征获得的原始二值掩码，输入由缺陷实例归一化构建的残差卷积块，得到目标非缺陷图像。将所述目标缺陷图像与得到的所述对应的目标非缺陷图像进行二值差分，得到预测缺陷位置的预测二值掩码。本发明可以降低缺陷数据标注的工作量并提高缺陷感知的性能，可广泛应用于计算机视觉领域。

Description

一种弱监督半监督缺陷感知分割方法、装置及电子设备
技术领域
本发明涉及计算机视觉领域，尤其是一种弱监督半监督缺陷感知分割方法、装置及电子设备。
背景技术
由于工业产品质量的保证和维护的实际重要性，缺陷检测一直是研究界关注的焦点。然而，尽管计算机视觉的发展促进了缺陷检测任务的有效解决，但高昂的缺陷数据标注成本，特别是在像素级缺陷分割的任务场景中，限制了基于深度学习方法的能力。
因此，上述问题亟待解决。
发明内容
有鉴于此，本发明实施例提供一种弱监督半监督缺陷感知分割方法、装置及电子设备，用于降低缺陷数据标注的工作量并提高缺陷感知的性能。
本发明实施例的一方面提供了一种弱监督半监督缺陷感知分割方法，包括：
将目标缺陷图像输入至经过预先训练的缺陷修复器，得到所述目标缺陷图像对应的目标非缺陷图像；
将所述目标缺陷图像与得到的所述对应的目标非缺陷图像进行二值差分，得到预测缺陷位置的预测二值掩码；
所述缺陷修复器的训练过程为与缺陷生成器进行对抗损失训练，所述对抗损失训练的过程包括：
将第一缺陷图像输入至缺陷修复器，得到所述第一缺陷图像对应的第一非缺陷图像；将所述第一非缺陷图像输入至缺陷生成器，得到所述第一非缺陷图像对应的缺陷图像；
将新的一张非缺陷图像作为第二非缺陷图像，将所述第二非缺陷图像输入所述缺陷生成器，得到所述第二非缺陷图像对应的缺陷图像；将所述第二非缺陷图像对应的缺陷图像输入所述缺陷修复器，得到与所述第二非缺陷图像对应的非缺陷图像；
根据所述第一非缺陷图像对应的缺陷图像，与所述第二非缺陷图像对应的非缺陷图像进行交替对抗训练，得到经过预先训练的缺陷修复器。
可选地，所述将目标缺陷图像输入至经过预先训练的缺陷修复器，得到所述目标缺陷图像对应的目标非缺陷图像，包括：
通过所述缺陷修复器的下采样模块和第一残差卷积块获取目标缺陷图像的原始特征；
通过所述缺陷修复器的缺陷激活模块根据所述原始特征获取所述目标缺陷图像中缺陷位置对应的原始二值掩码；
将通过所述缺陷激活模块根据所述原始特征获得的所述原始二值掩码，输入由缺陷实例归一化构建的残差卷积块，得到目标非缺陷图像。
可选地，所述通过所述缺陷修复器的缺陷激活模块根据所述原始特征获取所述目标缺陷图像中缺陷位置对应的原始二值掩码，包括：
通过缺陷激活模块分别对所述原始特征进行全局平均池化和全局最大池化，得到所述缺陷修复器对应的第一分类权重和所述缺陷生成器对应的第二分类权重；
根据所述第一分类权重和所述第二分类权重并结合特征激活响应的热力图获取所述目标缺陷图像中缺陷位置对应的原始二值掩码。
可选地，所述根据所述第一分类权重和所述第二分类权重并结合特征激活响应的热力图获取所述目标缺陷图像中缺陷位置对应的原始二值掩码，包括：
根据所述第一分类权重和所述第二分类权重计算所述原始特征的热力激活图；
根据所述热力激活图获取所述目标缺陷图像中缺陷位置对应的原始二值掩码。
可选地，所述由缺陷实例归一化组成的第二残差卷积块的构建过程，包括：
通过所述原始二值掩码提取前景特征和背景特征；
计算所述前景特征的均值和方差，并计算所述背景特征的均值和方差；
将所述前景特征的均值和方差，以及所述背景特征的均值和方差进行归一化处理，得到归一化特征；
合并所述归一化特征，并将合并后的归一化特征嵌入到残差卷积块，得到所述第二残差卷积块。
可选地，所述缺陷生成器和所述缺陷修复器在对抗损失训练过程中包括对缺陷数据和非缺陷数据的数据分布进行鉴别。
可选地，对抗损失训练过程的损失函数包括训练对抗损失函数、循环一致性损失函数、恒等映射损失函数、二值交叉熵损失函数以及背景一致性损失函数；
其中，所述训练对抗损失函数用于将输入图像从源域转换到目标域；
所述循环一致性损失函数用于将转换到目标域的输入图像重构回源域图像；
所述恒等映射损失函数用于确定缺陷感知模型的恒等映射输出，所述缺陷感知模型根据所述缺陷修复器和所述缺陷生成器得到；
所述二值交叉熵损失函数用于训练预设的分类器，以使所述分类器识别出输入的缺陷图像与非缺陷图像的区别特征；
所述背景一致性损失函数用于将输入的缺陷图像与非缺陷图像的背景保持一致。
本发明实施例的另一方面还提供了一种弱监督半监督缺陷感知分割装置，包括：
原始特征获取单元，用于通过缺陷修复器的下采样模块和第一残差卷积块获取目标缺陷图像的原始特征；
原始二值掩码获取单元，用于通过所述缺陷修复器的缺陷激活模块根据所述原始特征获取所述目标缺陷图像中缺陷位置对应的原始二值掩码；
缺陷修复单元，用于将通过所述缺陷激活模块根据所述原始特征获得的所述原始二值掩码，输入由缺陷实例归一化构建的残差卷积块，得到目标非缺陷图像；
所述缺陷修复器的训练过程为与缺陷生成器进行对抗损失训练，所述对抗损失训练的过程包括：
将第一缺陷图像输入至缺陷修复器，得到所述第一缺陷图像对应的第一非缺陷图像；将所述第一非缺陷图像输入至缺陷生成器，得到所述第一非缺陷图像对应的缺陷图像；
将新的一张非缺陷图像作为第二非缺陷图像，将所述第二非缺陷图像输入所述缺陷生成器，得到所述第二非缺陷图像对应的缺陷图像；将所述第二非缺陷图像对应的缺陷图像输入所述缺陷修复器，得到与所述第二非缺陷图像对应的非缺陷图像；
根据所述第一非缺陷图像对应的缺陷图像，与所述第二非缺陷图像对应的非缺陷图像进行交替对抗训练，得到经过预先训练的缺陷修复器。
预测二值掩码获取单元，用于将所述目标缺陷图像与得到的所述对应的目标非缺陷图像进行二值差分，得到预测缺陷位置的预测二值掩码。
本发明实施例的另一方面还提供了一种电子设备，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器执行所述程序实现上述任一项所述的方法。
本发明实施例的另一方面还提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现上述任一项所述的方法。
本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。
本发明的缺陷修复器的训练过程需要与缺陷生成器共同参与，本发明可以构造缺陷图像与非缺陷图像的转换神经网络，即缺陷图像到非缺陷图像的转换，以及，非缺陷图像到缺陷图像的转换。当缺陷修复器和缺陷生成器经过训练后，本发明可以通过缺陷修复器直接对缺陷图像进行预测并得到对应的非缺陷图像。本发明可以仅基于缺陷图像进行弱监督半监督进行训练，无需使用大量标注的图像，同时，经过训练的缺陷修复器有较高的预测性能，可以准确地输出缺陷图像对应的非缺陷图像，实现缺陷感知的高效分割。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种缺陷修复器与缺陷生成器进行对抗损失训练的示例图；
图2为本发明实施例提供的一种弱监督半监督缺陷感知分割方法的流程示意图；
图3为本发明实施例提供的一种弱监督半监督缺陷感知分割方法的示例流程图；
图4为本发明实施例提供的一种弱监督半监督缺陷感知分割装置的结构框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例提供了一种弱监督半监督缺陷感知分割方法，具体包括以下：
将目标缺陷图像输入至经过预先训练的缺陷修复器，得到所述目标缺陷图像对应的目标非缺陷图像。
将所述目标缺陷图像与得到的所述对应的目标非缺陷图像进行二值差分，得到预测缺陷位置的预测二值掩码。
首先，对上述缺陷修复器的训练过程进行介绍，参照图1，本发明实施例提供了一种缺陷修复器与缺陷生成器进行对抗损失训练的示例图，具体可以包括以下：
S1、将第一缺陷图像输入至缺陷修复器，得到所述第一缺陷图像对应的第一非缺陷图像；将所述第一非缺陷图像输入至缺陷生成器，得到所述第一非缺陷图像对应的缺陷图像。
S2、将新的一张非缺陷图像作为第二非缺陷图像，将所述第二非缺陷图像输入所述缺陷生成器，得到所述第二非缺陷图像对应的缺陷图像；将所述第二非缺陷图像对应的缺陷图像输入所述缺陷修复器，得到与所述第二非缺陷图像对应的非缺陷图像。
S3、根据所述第一非缺陷图像对应的缺陷图像，与所述第二非缺陷图像对应的非缺陷图像进行交替对抗训练，得到经过预先训练的缺陷修复器。
具体的，本发明可以包括缺陷修复器和缺陷生成器，构造两组图像的转换神经网络，即缺陷图像Y到非缺陷图像X的转换，以及，非缺陷图像X到缺陷图像Y的转换。其中，本发明的缺陷修复器和缺陷生成器可以对缺陷数据和非缺陷数据的数据分布进行鉴别以便实现对抗训练过程。当缺陷修复器和缺陷生成器经过训练后，本发明可以通过缺陷修复网络R直接对缺陷图像进行预测并得到对应的非缺陷图像X，即可以直接对两张图像进行绝对值差分计abs(Y-X)算得到预测二值掩码以提取出缺陷的位置。
进一步，对上述将目标缺陷图像输入至经过预先训练的缺陷修复器，得到所述目标缺陷图像对应的目标非缺陷图像的步骤进行详细说明，详情可参照图2。
S100：通过所述缺陷修复器的下采样模块和第一残差卷积块获取目标缺陷图像的原始特征。
具体的，可以先将目标缺陷图像输入值下采样模块进行下采样，进而进行残差卷积以获取原始特征。
S110：通过所述缺陷修复器的缺陷激活模块根据所述原始特征获取所述目标缺陷图像中缺陷位置对应的原始二值掩码。
具体的，给定下采样得到的原始特征，本发明实施例还额外训练了一个分类器来区分原始特征对应非缺陷图像还是缺陷图像，即基于该原始特征的缺陷图像和非缺陷图像二分类。具体的，可以对原始特征进行全局平均池化和全局最大池化，然后分别通过缺陷图像分类器和非缺陷图像分类器获取对应的分类权重，并得到logits，分类权重的计算表达式如下：
FR-classifier(y)＝[PGMP，PGAP]，
其中Feat(y)表示的是经过残差模块之后的热力图特征。sigma表示的是sigmoid激活函数。Wgmp和Wgap分别是两组分类器的分类权重。GMP和GAP分别表示全局最大池化和全局平均池化。[,]表示的是concatenation拼接操作。
通过上述得到的分类权重，本发明实施例可以计算关于改原始特征的热力激活图，并进而根据热力激活图获取目标缺陷图像中缺陷位置对应的原始二值掩码，具体计算过程如下：
AGMP＝wGMP⊙Feat(y)，
AGAP＝wGAP ⊙ Feat(y)，
A＝[AGMP，AGAP]，
其中A表示通过两组分类器权重和热力图特征得到的特征。⊙表示的是通道层面的点乘操作。
其中Ac表示特征A的第c个通道的特征，按照通道进行求和最后得到了热力激活图。
S120：将通过所述缺陷激活模块根据所述原始特征获得的所述原始二值掩码，输入由缺陷实例归一化构建的残差卷积块，得到目标非缺陷图像。
具体的，首先对由缺陷实例归一化组成的第二残差卷积块进行说明。
本发明实施例提出了一种基于缺陷的响应热力图的特征归一化方法。具体的，根据热力图得到的二值掩码，对二值掩码提取得到前景特征和背景特征，提取计算过程如下：
其中，BKGD表示前景特征，FGD表示背景特征。
然后，计算前景特征的均值和方差，并计算背景特征的均值和方差，并进行归一化，具前景特征的均值和方差计算过程如下：
其中H和W分别表示特征高度和宽度。
背景特征的均值和方差计算过程如下，以及归一化计算过程依次如下：
将归一化的特征合并，具体计算过程如下：
最后将合并后的归一化特征嵌入到残差卷积块，得到第二残差卷积块。
接下来，介绍缺陷修复器与缺陷生成器进行对抗损失训练过程中的损失函数，包括损失函数包括训练对抗损失函数、循环一致性损失函数、恒等映射损失函数、二值交叉熵损失函数以及背景一致性损失函数。
具体的，训练对抗损失函数用于将输入图像从源域转换到目标域，表达式如下：
其中Dx表示非缺陷判别器，R表示缺陷修复器。x和y分别表示非缺陷图像和缺陷图像。
循环一致性损失函数用于将转换到目标域的输入图像重构回源域图像，表达式如下：
同上，其中R表示缺陷修复器，y表示缺陷图像。G表示缺陷生成器。
本发明实施例可以额外添加一个二分类的分类器并进行训练，用于识别出缺陷图像和非缺陷图像的区别特征，以便能够很好的对具体的缺陷区域使用激活热力图进行响应。二值交叉熵损失函数用于训练上述分类器，表达式如下：
其中F表示分类器概率输出。
由于，本发明实施例可以通过二值掩码提取出缺陷图像的背景，以及对应的非缺陷图像的背景，背景一致性损失函数用于将输入的缺陷图像与非缺陷图像的背景保持一致，且仅仅关注缺陷点的响应，背景一致性损失函数表达式如下：
其中M表示背景提取的操作。
所述恒等映射损失函数用于确定缺陷感知模型的恒等映射输出，所述缺陷感知模型根据所述缺陷修复器和所述缺陷生成器得到。
一种可选的实施方式下，将上述各个损失函数进行加权求和，可以得到对抗损失训练过程的总损失函数，表达式如下所示：
其中λ，β，γ，η分别表示总损失函数的权重参数。
当缺陷修复器训练完毕，给定目标缺陷图像，将其通过所述缺陷激活模块根据所述原始特征获得的所述原始二值掩码，输入由缺陷实例归一化构建的残差卷积块，得到目标非缺陷图像。将所述目标缺陷图像与得到的所述对应的目标非缺陷图像进行二值差分，得到预测缺陷位置的预测二值掩码。
接下来将以具体实例说明本发明的应用过程。
参照图3，本发明实施例提供了一种弱监督半监督缺陷感知分割方法的示例流程图。
具体的，缺陷修复器可以将缺陷图像转换为对应的修复后的非缺陷图像。缺陷修复器的架构可以包括缺陷激活模块和缺陷实例归一化构建的残差卷积块。首先，通过卷积下采样和残差卷积块得到关于缺陷图像的原始特征。原始特征通过缺陷激活模块，缺陷激活模块对缺陷图像的缺陷区域进行无监督响应，输出缺陷位置的二值掩码，用于后续将缺陷图像转换为非缺陷图像的过程。然后，原始特征被送入由缺陷实例归一化残差卷积块，进行更进一步的特征提取，以及图像转换，最后通过卷积上采样得到与缺陷图像对应的非缺陷图像，并输出非缺陷图像。将该缺陷图像与输出的非缺陷图像进行二值差分，得到预测缺陷位置的预测二值掩码。
参照图4，本发明实施例提供了一种弱监督半监督缺陷感知分割装置，包括：
原始特征获取单元，用于通过缺陷修复器的下采样模块和第一残差卷积块获取目标缺陷图像的原始特征；
原始二值掩码获取单元，用于通过所述缺陷修复器的缺陷激活模块根据所述原始特征预先获取所述目标缺陷图像中缺陷位置对应的原始二值掩码；
缺陷修复单元，用于将通过所述缺陷激活模块根据所述原始特征获得的所述原始二值掩码，输入由缺陷实例归一化构建的残差卷积块，得到目标非缺陷图像；
所述缺陷修复器的训练过程为与缺陷生成器进行对抗损失训练，所述对抗损失训练的过程包括：
将第一缺陷图像输入至缺陷修复器，得到所述第一缺陷图像对应的第一非缺陷图像；将所述第一非缺陷图像输入至缺陷生成器，得到所述第一非缺陷图像对应的缺陷图像；
将新的一张非缺陷图像作为第二非缺陷图像，将所述第二非缺陷图像输入所述缺陷生成器，得到所述第二非缺陷图像对应的缺陷图像；将所述第二非缺陷图像对应的缺陷图像输入所述缺陷修复器，得到与所述第二非缺陷图像对应的非缺陷图像；
根据所述第一非缺陷图像对应的缺陷图像，与所述第二非缺陷图像对应的非缺陷图像进行交替对抗训练，得到经过预先训练的缺陷修复器。
预测二值掩码获取单元，用于将所述目标缺陷图像与得到的所述对应的目标非缺陷图像进行二值差分，得到预测缺陷位置的预测二值掩码。
本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图2所示的方法。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)、便携式计算机盘盒(磁装置)、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编辑只读存储器(EPROM或闪速存储器)、光纤装置以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本发明权利要求所限定的范围内。

Claims (6)

1.一种弱监督半监督缺陷感知分割方法，其特征在于，包括：
将目标缺陷图像输入至经过预先训练的缺陷修复器，得到所述目标缺陷图像对应的目标非缺陷图像；
将所述目标缺陷图像与得到的所述对应的目标非缺陷图像进行二值差分，得到预测缺陷位置的预测二值掩码；
所述缺陷修复器的训练过程为与缺陷生成器进行对抗损失训练，所述对抗损失训练的过程包括：
将第一缺陷图像输入至缺陷修复器，得到所述第一缺陷图像对应的第一非缺陷图像；将所述第一非缺陷图像输入至缺陷生成器，得到所述第一非缺陷图像对应的缺陷图像；
将新的一张非缺陷图像作为第二非缺陷图像，将所述第二非缺陷图像输入所述缺陷生成器，得到所述第二非缺陷图像对应的缺陷图像；将所述第二非缺陷图像对应的缺陷图像输入所述缺陷修复器，得到与所述第二非缺陷图像对应的非缺陷图像；
根据所述第一非缺陷图像对应的缺陷图像，与所述第二非缺陷图像对应的非缺陷图像进行交替对抗训练，得到经过预先训练的缺陷修复器；
所述将目标缺陷图像输入至经过预先训练的缺陷修复器，得到所述目标缺陷图像对应的目标非缺陷图像，包括：通过所述缺陷修复器的下采样模块和第一残差卷积块获取目标缺陷图像的原始特征；通过所述缺陷修复器的缺陷激活模块根据所述原始特征预先获取所述目标缺陷图像中缺陷位置对应的原始二值掩码；将通过所述缺陷激活模块根据所述原始特征获得的所述原始二值掩码，输入由缺陷实例归一化构建的残差卷积块，得到目标非缺陷图像；
所述通过所述缺陷修复器的缺陷激活模块根据所述原始特征预先获取所述目标缺陷图像中缺陷位置对应的原始二值掩码，包括：通过缺陷激活模块分别对所述原始特征进行全局平均池化和全局最大池化，得到所述缺陷修复器对应的第一分类权重和所述缺陷生成器对应的第二分类权重；根据所述第一分类权重和所述第二分类权重并结合原始特征获取所述目标缺陷图像中缺陷位置对应的原始二值掩码；
所述根据所述第一分类权重和所述第二分类权重并结合原始特征获取所述目标缺陷图像中缺陷位置对应的原始二值掩码，包括：根据所述第一分类权重和所述第二分类权重计算所述原始特征的热力激活图；根据所述热力激活图获取所述目标缺陷图像中缺陷位置对应的原始二值掩码；
所述由缺陷实例归一化组成的第二残差卷积块的构建过程，包括：通过所述原始二值掩码提取前景特征和背景特征；计算所述前景特征的均值和方差，并计算所述背景特征的均值和方差；将所述前景特征的均值和方差，以及所述背景特征的均值和方差进行归一化处理，得到归一化特征；合并所述归一化特征，并将合并后的归一化特征嵌入到残差卷积块，得到所述第二残差卷积块。
2.根据权利要求1所述的一种弱监督半监督缺陷感知分割方法，其特征在于，所述缺陷生成器和所述缺陷修复器在对抗损失训练过程中包括对缺陷数据和非缺陷数据的数据分布进行鉴别。
3.根据权利要求1所述的一种弱监督半监督缺陷感知分割方法，其特征在于，对抗损失训练过程的损失函数包括训练对抗损失函数、循环一致性损失函数、恒等映射损失函数、二值交叉熵损失函数以及背景一致性损失函数；
其中，所述训练对抗损失函数用于将输入图像从源域转换到目标域；
所述循环一致性损失函数用于将转换到目标域的输入图像重构回源域图像；
所述恒等映射损失函数用于确定缺陷感知模型的恒等映射输出，所述缺陷感知模型根据所述缺陷修复器和所述缺陷生成器得到；
所述二值交叉熵损失函数用于训练预设的分类器，以使所述分类器识别出输入的缺陷图像与非缺陷图像的区别特征；
所述背景一致性损失函数用于将输入的缺陷图像与非缺陷图像的背景保持一致。
4.一种弱监督半监督缺陷感知分割装置，其特征在于，包括：
原始特征获取单元，用于通过缺陷修复器的下采样模块和第一残差卷积块获取目标缺陷图像的原始特征；
原始二值掩码获取单元，用于通过所述缺陷修复器的缺陷激活模块根据所述原始特征获取所述目标缺陷图像中缺陷位置对应的二值掩码；
缺陷修复单元，用于将通过所述缺陷激活模块根据所述原始特征获得的所述原始二值掩码，输入由缺陷实例归一化构建的残差卷积块，得到目标非缺陷图像；
所述缺陷修复器的训练过程为与缺陷生成器进行对抗损失训练，所述对抗损失训练的过程包括：
将第一缺陷图像输入至缺陷修复器，得到所述第一缺陷图像对应的第一非缺陷图像；将所述第一非缺陷图像输入至缺陷生成器，得到所述第一非缺陷图像对应的缺陷图像；
将新的一张非缺陷图像作为第二非缺陷图像，将所述第二非缺陷图像输入所述缺陷生成器，得到所述第二非缺陷图像对应的缺陷图像；将所述第二非缺陷图像对应的缺陷图像输入所述缺陷修复器，得到与所述第二非缺陷图像对应的非缺陷图像；
根据所述第一非缺陷图像对应的缺陷图像，与所述第二非缺陷图像对应的非缺陷图像进行交替对抗训练，得到经过预先训练的缺陷修复器；
预测二值掩码获取单元，用于将所述目标缺陷图像与得到的所述对应的目标非缺陷图像进行二值差分，得到预测缺陷位置的预测二值掩码；
所述通过所述缺陷修复器的缺陷激活模块根据所述原始特征预先获取所述目标缺陷图像中缺陷位置对应的原始二值掩码，包括：通过缺陷激活模块分别对所述原始特征进行全局平均池化和全局最大池化，得到所述缺陷修复器对应的第一分类权重和所述缺陷生成器对应的第二分类权重；根据所述第一分类权重和所述第二分类权重并结合原始特征获取所述目标缺陷图像中缺陷位置对应的原始二值掩码；
所述根据所述第一分类权重和所述第二分类权重并结合原始特征获取所述目标缺陷图像中缺陷位置对应的原始二值掩码，包括：根据所述第一分类权重和所述第二分类权重计算所述原始特征的热力激活图；根据所述热力激活图获取所述目标缺陷图像中缺陷位置对应的原始二值掩码；
所述由缺陷实例归一化组成的第二残差卷积块的构建过程，包括：通过所述原始二值掩码提取前景特征和背景特征；计算所述前景特征的均值和方差，并计算所述背景特征的均值和方差；将所述前景特征的均值和方差，以及所述背景特征的均值和方差进行归一化处理，得到归一化特征；合并所述归一化特征，并将合并后的归一化特征嵌入到残差卷积块，得到所述第二残差卷积块。
5.一种电子设备，其特征在于，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器执行所述程序实现如权利要求1至3中任一项所述的方法。
6.一种计算机可读存储介质，其特征在于，所述存储介质存储有程序，所述程序被处理器执行实现如权利要求1至3中任一项所述的方法。
CN202310641253.6A 2023-05-31 2023-05-31 一种弱监督半监督缺陷感知分割方法、装置及电子设备 Active CN116664839B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310641253.6A CN116664839B (zh) 2023-05-31 2023-05-31 一种弱监督半监督缺陷感知分割方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310641253.6A CN116664839B (zh) 2023-05-31 2023-05-31 一种弱监督半监督缺陷感知分割方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN116664839A CN116664839A (zh) 2023-08-29
CN116664839B true CN116664839B (zh) 2024-02-13

Family

ID=87709234

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310641253.6A Active CN116664839B (zh) 2023-05-31 2023-05-31 一种弱监督半监督缺陷感知分割方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN116664839B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117671431B (zh) * 2024-01-29 2024-05-07 杭州安脉盛智能技术有限公司 一种工业缺陷图像生成方法、装置、设备及存储介质

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111798409A (zh) * 2020-05-19 2020-10-20 佛山市南海区广工大数控装备协同创新研究院 一种基于深度学习的pcb缺陷数据生成方法
CN112070733A (zh) * 2020-08-28 2020-12-11 深兰人工智能芯片研究院（江苏）有限公司 基于弱监督模式的缺陷粗定位方法和装置
CN112581463A (zh) * 2020-12-25 2021-03-30 北京百度网讯科技有限公司 图像缺陷的检测方法、装置、电子设备、存储介质及产品
CN112884758A (zh) * 2021-03-12 2021-06-01 国网四川省电力公司电力科学研究院 一种基于风格迁移方法的缺陷绝缘子样本生成方法及***
CN113240673A (zh) * 2021-07-09 2021-08-10 武汉Tcl集团工业研究院有限公司 缺陷检测方法、装置、电子设备及存储介质
CN214895702U (zh) * 2021-05-12 2021-11-26 合肥锐威博衍科技有限公司 一种塔迪兰锂亚硫酰氯电池电量在线检测装置
CN114049309A (zh) * 2021-10-26 2022-02-15 广州大学 基于半监督网络的图像缺陷检测方法、装置和存储介质
CN114841992A (zh) * 2022-05-31 2022-08-02 厦门大学嘉庚学院 基于循环生成对抗网络和结构相似性的缺陷检测方法
CN115239719A (zh) * 2022-09-22 2022-10-25 南昌昂坤半导体设备有限公司 缺陷检测方法、***、电子设备及存储介质
CN115240195A (zh) * 2022-08-04 2022-10-25 成都泓睿科技有限责任公司 一种药瓶缺陷自动检测方法、装置及存储介质
CN115311504A (zh) * 2022-10-10 2022-11-08 之江实验室 一种基于注意力重定位的弱监督定位方法和装置
CN115410024A (zh) * 2022-05-27 2022-11-29 福建亿榕信息技术有限公司 一种基于动态激活热力图的电力图像缺陷检测方法
CN115471463A (zh) * 2022-08-26 2022-12-13 江苏大学 一种基于对抗式生成网络的太阳能电池缺陷检测方法
CN116188516A (zh) * 2022-12-30 2023-05-30 深存科技(无锡)有限公司 缺陷数据生成模型的训练方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111798409A (zh) * 2020-05-19 2020-10-20 佛山市南海区广工大数控装备协同创新研究院 一种基于深度学习的pcb缺陷数据生成方法
CN112070733A (zh) * 2020-08-28 2020-12-11 深兰人工智能芯片研究院（江苏）有限公司 基于弱监督模式的缺陷粗定位方法和装置
CN112581463A (zh) * 2020-12-25 2021-03-30 北京百度网讯科技有限公司 图像缺陷的检测方法、装置、电子设备、存储介质及产品
CN112884758A (zh) * 2021-03-12 2021-06-01 国网四川省电力公司电力科学研究院 一种基于风格迁移方法的缺陷绝缘子样本生成方法及***
CN214895702U (zh) * 2021-05-12 2021-11-26 合肥锐威博衍科技有限公司 一种塔迪兰锂亚硫酰氯电池电量在线检测装置
CN113240673A (zh) * 2021-07-09 2021-08-10 武汉Tcl集团工业研究院有限公司 缺陷检测方法、装置、电子设备及存储介质
CN114049309A (zh) * 2021-10-26 2022-02-15 广州大学 基于半监督网络的图像缺陷检测方法、装置和存储介质
CN115410024A (zh) * 2022-05-27 2022-11-29 福建亿榕信息技术有限公司 一种基于动态激活热力图的电力图像缺陷检测方法
CN114841992A (zh) * 2022-05-31 2022-08-02 厦门大学嘉庚学院 基于循环生成对抗网络和结构相似性的缺陷检测方法
CN115240195A (zh) * 2022-08-04 2022-10-25 成都泓睿科技有限责任公司 一种药瓶缺陷自动检测方法、装置及存储介质
CN115471463A (zh) * 2022-08-26 2022-12-13 江苏大学 一种基于对抗式生成网络的太阳能电池缺陷检测方法
CN115239719A (zh) * 2022-09-22 2022-10-25 南昌昂坤半导体设备有限公司 缺陷检测方法、***、电子设备及存储介质
CN115311504A (zh) * 2022-10-10 2022-11-08 之江实验室 一种基于注意力重定位的弱监督定位方法和装置
CN116188516A (zh) * 2022-12-30 2023-05-30 深存科技(无锡)有限公司 缺陷数据生成模型的训练方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Defect attention template generation cycleGAN for weakly supervised surface defect segmentation;Shuanlong Niu ET AL;《Pattern Recognition》;第123卷;1-13 *
基于正样本的深度学习缺陷检测方法;邓勇;《中国优秀硕士学位论文全文数据库》(第03期);I138-1117 *

Also Published As

Publication number Publication date
CN116664839A (zh) 2023-08-29

Similar Documents

Publication Publication Date Title
Nguyen et al. Two-stage convolutional neural network for road crack detection and segmentation
US11645744B2 (en) Inspection device and inspection method
CN112329702B (zh) 一种快速人脸密度预测和人脸检测方法、装置、电子设备及存储介质
CN116664839B (zh) 一种弱监督半监督缺陷感知分割方法、装置及电子设备
Marques et al. Automatic road pavement crack detection using SVM
CN114170184A (zh) 一种基于嵌入特征向量的产品图像异常检测方法及装置
Chen et al. Deep-learning-based road crack detection frameworks for dashcam-captured images under different illumination conditions
CN112348011B (zh) 一种车辆定损方法、装置及存储介质
Neagoe et al. A concurrent neural network approach to pedestrian detection in thermal imagery
CN116630286B (zh) 一种图像异常检测与定位的方法、装置、设备及存储介质
CN112949344B (zh) 一种用于异常检测的特征自回归方法
KR20190125569A (ko) 영상 특징의 미분 및 지도 학습을 이용하여 비디오의 장면 상황 정보를 생성하는 방법 및 장치
CN116580232A (zh) 一种图像自动标注方法、***及电子设备
Guo et al. Udtiri: An open-source road pothole detection benchmark suite
Mousavi et al. Crowd estimation using histogram model classificationbased on improved uniform local binary pattern
Kalai Selvi et al. An industrial inspection approach for weld defects using machine learning algorithm
CN112613341A (zh) 训练方法及装置、指纹识别方法及装置、电子设备
Mathiyalagan et al. Image fusion using convolutional neural network with bilateral filtering
Zhang et al. Recognition of bridge over water in remote sensing image using discrete hopfield neural network
CN117934979B (zh) 一种基于分形编解码器的目标识别方法
Balakrishnan et al. Image denoising and contrast via intensity histogram equalization method
García-Gozález et al. Foreground Segmentation Improvement by Image Denoising Preprocessing Applied to Noisy Video Sequences
Niaz et al. Increment-CAM: Incrementally-weighted Class Activation Maps for Better Visual Explanations
Bukała et al. The impact of distortions on the image recognition with histograms of oriented gradients
Sahli et al. Automatic Recognition System of Tunisian License Plates for Car Park Access Control

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant