CN110880176B - 一种基于对抗生成网络的半监督工业图像缺陷分割方法 - Google Patents

一种基于对抗生成网络的半监督工业图像缺陷分割方法 Download PDF

Info

Publication number
CN110880176B
CN110880176B CN201911134257.5A CN201911134257A CN110880176B CN 110880176 B CN110880176 B CN 110880176B CN 201911134257 A CN201911134257 A CN 201911134257A CN 110880176 B CN110880176 B CN 110880176B
Authority
CN
China
Prior art keywords
network
image
segmentation
loss
defect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911134257.5A
Other languages
English (en)
Other versions
CN110880176A (zh
Inventor
余永强
楼利璇
刘小为
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201911134257.5A priority Critical patent/CN110880176B/zh
Publication of CN110880176A publication Critical patent/CN110880176A/zh
Application granted granted Critical
Publication of CN110880176B publication Critical patent/CN110880176B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于对抗生成网络的半监督工业图像缺陷分割方法，使用少量标注的带有缺陷的负样本和大量没有缺陷的正样本来训练神经网络从而得到能对缺陷自动识别的分割网络。在神经网络的构建过程中分别使用了基于D‑LinkNet的分割网络和基于U‑net重构网络，通过交叉训练的方式来分离负样本和正样本的特征空间从而使分割网络能正确分割出负样本中的缺陷。本方法能大大减少对工业缺陷样本图像的依赖，同时能大幅度减少分割模型在分割缺陷时的误差。

Description

一种基于对抗生成网络的半监督工业图像缺陷分割方法
技术领域
本发明属于计算机视觉领域，具体涉及一种基于对抗生成网络的半监督工业图像缺陷分割方法。
背景技术
在工业生产过程中，为了保证工业成品的质量，最重要的任务之一就是对产品表面的缺陷检测。通常，产品表面质量的缺陷必须经由培训过的工人才能进行有效的识别，这种方式效率低下，准确度不高，特殊情况下还会严重制约企业的生产。随着工业4.0的提出和人工智能技术的发展，以数据驱动为代表的深度学习得到了广泛的应用。深度学习可以仅依靠适当数量的标记图片便可以进行缺陷的定位识别，可以快速满足生产弹性化，产品线迭代快速化的需求。而图像分割是其中重要的研究方向之一。
在利用图像分割进行缺陷定位时，图像数据至关重要。与自然场景下的应用不同，工业图像的正负样本极为不均衡，往往缺陷样本远远小于正常样本。此外工业生产时，产品产生的缺陷种类繁多，缺陷与缺陷之间差异很大，标注难度很高，而为了满足生产品控需求往往对算法模型的精度和抗干扰性有着非常高的要求。这就为基于深度学习的图像分割算法在工业产品表面检测的应用落地带来了很大的挑战。
发明内容
针对现有技术中存在的工业产品正样本和缺陷样本严重失衡的情况，本发明提出一种基于对抗生成网络的半监督工业图像缺陷分割方法，在大大减少对缺陷样本的需求的同时，实现对缺陷的精确分割，此外，该方法还可以大程度提高分割模型的抗干扰性和检测稳定性。
本发明的目的通过如下的技术方案来实现：
一种基于对抗生成网络的半监督工业图像缺陷分割方法，该方法包括以下步骤：
S1：分别创建含有缺陷的图像的负样本库XF和不含缺陷的图像的正样本库XT，并对正负样本进行像素标记，对于正样本xt的标记yT，默认其标签为1，对于负样本xf的标记yF，图像的缺陷处像素点标记标签为0，其他地方为1；
S2：利用图像增强技术对负样本、正样本分别进行图像增强，得到增强后的负样本库XF′和正样本库XT′；
S3：分别构建基于D-LinkNet的分割网络和基于U-Net的重构网络，对于所述的分割网络，输入为图像批次xD，输出为每个图像对应的图像特征和每张图像上每个像素对应的网络生成的标签；对于所述的重构网络，输入为图像批次xG,输出为其对应的生成图像；
S4：设计解码网络和重构网络训练方法和优化方式，主要包括网络生成过程和网络对抗过程，具体步骤如下：
S4.1：不断地随机从经过S2增强后的负样本库XF′和正样本库XT′中获得相同批次的正常图片xt和异常图片xf，将正常图片xt输入到所述的分割网络中，得到其对应的训练后的分割标签yt和对应的分割特征et；
S4.2：由损失函数计算S4.1中的xt的标记标签yT和yt的目标损失ld1；
S4.3：将S4.1中的异常图片xf输入到所述的基于U-Net的重构网络中，得到其对应的生成图片xg；
S4.4：将S4.3得到的生成图片xg输入到所述的基于D-LinkNet分割网络中，得到生成图片xg的标签yg和分割特征eg；
S4.5：由损失函数计算出S4.4中的生成图片xg的标签yg和生成图片xg本身的标记标签y的目标损失ld2，以及由损失函数计算S4.4中的分割特征eg和S4.1中的分割特征et的正负样本差异损失le；
S4.6：计算在生成过程中的网络总损失ld，ld＝ld1+ld2+le；
S4.7：利用反向传播算法同时优化ld、基于D-LinkNet的分割网络和基于U-Net的重构网络；
S4.8：再次将S4.1中的xf输入到迭代更新后的基于U-Net的重构网络中，得到一张新的生成图片xg′；
S4.9：将S4.8中的xg′输入到S4.7中更新后的基于D-LinkNet的分割网络中得到其生成标签yg′和分割特征eg′；
S4.10：计算S4.8中的生成图片xg′和S4.1中的xf之间的重构损失lc，以及由S4.9得到yg′与xf的标记标签之间的目标损失ld3；
S4.11：计算网络在对抗过程中的总损失lg，lg＝ld3+lc；
S4.12：利用反向传播算法，同时优化步骤S4.11中的lg、基于D-LinkNet的分割网络和于U-Net的重构网络；
S4.13：不断利用网络生成过程和网络对抗过程迭代ld和lg，直到二者收敛，即得到优化后的图像缺陷的分割网络；
S5：将要分割的图像放入S4得到的优化后的分割网络中，得到最终分割后的图像。
进一步地，所述的S2中利用图像增强技术对负样本、正样本分别进行图像增强包括，对负样本及其标记随机进行翻转，偏移，以及对负样本进行归一化，改变对比度、饱和度、亮度，增加噪点等变化操作；对正样本同样进行随机进行翻转，偏移，改变对比度、饱和度、亮度，增加噪点，归一化等变化操作。同时在数据增强时，要确保缺陷的意义不发生变化。
进一步地，在构建基于D-LinkNet的分割网络时用Imagenet数据集预训练好的Resnet网络作为提取图像特征的基础网络结构。
进一步地，在所述S4.2中ld1的计算方式依靠二分类的交叉熵损失来计算。ld1的计算方式如下：
ld1(yt，yT；θd)＝lbce(yt，yT)
其中θd为分割网络的参数，对于lbce二分类的交叉熵损失的输入M∈RA，N∈RA：
Figure BDA0002279150560000031
其中A表示输入图像的像素的个数。
进一步地，在所述的S4.5中的ld2的计算方式主要由Dice损失和二分类的交叉熵损失来计算。ld2的计算方式如下：
ld2(yg，yF；θd)＝lbce(yg，yF；θd)+ldice(yg，yF，θd)。
对于ldice二分类的交叉熵损失的输入M∈RA，N∈RA：
Figure BDA0002279150560000032
其中A表示输入图像的像素的个数，α为平滑系数。
进一步地，在所述的S4.5中的le的计算方式如下：
Figure BDA0002279150560000033
其中，D为欧式距离，yi，j＝1表示le输入的两个特征在(i,j)位置都属于正样本，而yi，j＝0，表示输入特征在这个位置的特征，一个属于正样本，一个属于负样本中的缺陷。(i,j)位置上的label由S1中的yF来控制。
进一步地，在所述的S4.10中的lc损失由欧式距离来计算，lc的计算方式如下：
lc(xg′，xf)＝D(xg′，xf)
本发明的有益效果如下：
与现有技术相比，本发明提供的基于种基于对抗生成网络的半监督工业图像缺陷分割方法，利用了对抗网络来分离缺陷和正常背景的特征，使得分割模型在分割缺陷时的缺陷分割位置更为精准，同时还可以大大减少工业生产中对于缺陷样本的依赖。本方法不受缺陷种类，形状，大小的限制，可以广泛适用于各个工业产品生产的表面缺陷的定位中，具有很好的通用性和普适性。
附图说明
图1为本发明所涉及的方法及流程图；
图2为本发明所涉及的基于D-LinkNet的分割网络的结构图；
图3为本发明所涉及的基于U-Net的重构网络的结构图；
图4为本发明所涉及的基于D-LinkNet分割网络的Deblock模块结构图；
图5为本发明所涉及的基于D-LinkNet分割网络的decoder模块结构图；
图6为本发明所涉及的基于U-net的生成网络的Down-module模块结构图；
图7为本发明所涉及的基于U-net的生成网络的up-module模块结构图；
图8为本发明所涉及的缺陷样本标记图，图8a和图8c为缺陷样本图，图8b和图8d为缺陷样本的标记图；
图9为本发明所涉及的分割结果示意图，图9a、图9c和图9e为缺陷样本原图，图9b、图9d和图9f为缺陷样本经过训练好的分割网络后的分割结果图。
具体实施方式
下面根据附图和优选实施例详细描述本发明，本发明的目的和效果将变得更加明白，应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，本发明的基于对抗生成网络的半监督工业图像缺陷分割方法，具体包括以下步骤：
S1：分别创建含有缺陷的图像的负样本库XF和不含缺陷的图像的正样本库XT，并对正负样本进行像素标记，对于正样本xt的标记yT，默认其标签为1，对于负样本xf的标记yF，图像的缺陷处像素点标记标签为0，其他地方为1；
S2：利用图像增强技术对负样本、正样本分别进行图像增强，得到增强后的负样本库XF′和正样本库XTl。由于工厂环境很多情况下都存在不确定性，工业产品在形态和外观上往往难以做到完全一致，因此一定的增强技术能提高神经网络的分辨能力。图像时要确保图像像素的标记属性不发生变化。此外，为了S4中的网络对抗过程中的lg更好地收敛，图像归一化也是必须的。因此，S2中利用图像增强技术对负样本、正样本分别进行图像增强包括，对负样本及其标记随机进行翻转，偏移，以及对负样本进行归一化，改变对比度、饱和度、亮度，增加噪点等变化操作；对正样本同样进行随机进行翻转，偏移，改变对比度、饱和度、亮度，增加噪点，归一化等变化操作。同时在数据增强时，要确保缺陷的意义不发生变化。
S3：分别构建基于D-LinkNet的分割网络和基于U-Net的重构网络，对于所述的分割网络，输入为图像批次xD，输出为每个图像对应的图像特征和每张图像上每个像素对应的网络生成的标签，其结构图如图2所示；对于所述的重构网络，输入为图像批次xG,输出为其对应的生成图像；
基于D-LinkNet的分割网络的主要有特征提取过程和特征解码。在分割网络特征提取阶段，先主要利用pytorch上Imagenet预训练好的resnet模型的conv1，bn1，maxpool，layer1，layer2，layer3，layer4和如图4所示的Deblock模块作为图像特征的提取结构。其中，Deblock由多层不同尺度的膨胀卷积网络组成，可以有效地扩大网络的感受视野，帮助解码网络获得不同尺度的缺陷信息。接着，再利用图5所示的decoder模块依次对不同层级上提取的特征依次采样解码，再通过层级交叉相加的解码方式来减少解码过程中的语义损失，从而得到整个图片的特征和生成标签。
如图3所示，基于U-net的生成网络也主要分为特征提取过程和特征重构过程。在特征解码的过程中，主要采用Down-module来对图像特征进行解码，Down-module的主要结构如图6所示。在特征重构过程中主要采用up-module来对特征进行重构，up-module主要如图7所示。图像重构完成之后，重构图像的通道数和原图像的通道数完全一致。
S4：设计解码网络和重构网络训练方法和优化方式，主要包括网络生成过程和网络对抗过程，具体步骤如下：
S4.1：不断地随机从经过S2增强后的负样本库XF′和正样本库XT′中获得相同批次的正常图片xt和异常图片xf，将正常图片xr输入到所述的分割网络中，得到其对应的训练后的分割标签yt和对应的分割特征et；
S4.2：由损失函数计算S4.1中的xt的标记标签yT和yt的目标损失ld1；
优选地，ld1的计算方式依靠二分类的交叉熵损失来计算。ld1的计算方式如下：
ld1(yt，yT；θd)＝lbce(yt，yT)
其中θd为分割网络的参数，对于lbce二分类的交叉熵损失的输入M∈RA，N∈RA：
Figure BDA0002279150560000061
其中A表示输入图像的像素的个数。
S4.3：将S4.1中的异常图片xf输入到所述的基于U-Net的重构网络中，得到其对应的生成图片xg；
S4.4：将S4.3得到的生成图片xg输入到所述的基于D-LinkNet分割网络中，得到生成图片xg的标签yg和分割特征eg；
S4.5：由损失函数计算出S4.4中的生成图片xg的标签yg和生成图片xg本身的标记标签yF的目标损失ld2，以及由损失函数计算S4.4中的分割特征eg和S4.1中的分割特征et的正负样本差异损失le；
优选地，ld2的计算方式主要由Dice损失和二分类的交叉熵损失来计算。ld2的计算方式如下：
ld2(yg，yF；θd)＝lbce(yg，yF；θd)+ldice(yg，yF；θd)。
对于ldice二分类的交叉熵损失的输入M∈RA，N∈RA：
Figure BDA0002279150560000062
其中A表示输入图像的像素的个数，α为平滑系数。
le的计算方式如下：
Figure BDA0002279150560000063
其中，D为欧式距离，yi，j＝1表示le输入的两个特征在(i,j)位置都属于正样本，而yi，j＝0，表示输入特征在这个位置的特征，一个属于正样本，一个属于负样本中的缺陷。(i,j)位置上的label由S1中的yF来控制。
S4.6：计算在生成过程中的网络总损失ld，ld＝ld1+ld2+le；
S4.7：利用反向传播算法同时优化ld、基于D-LinkNet的分割网络和基于U-Net的重构网络；
S4.8：再次将S4.1中的xf输入到迭代更新后的基于U-Net的重构网络中，得到一张新的生成图片xg′；
S4.9：将S4.8中的xg′输入到S4.7中更新后的基于D-LinkNet的分割网络中得到其生成标签yg′和分割特征eg′；
S4.10：计算S4.8中的生成图片xg′和S4.1中的xf之间的重构损失lc，以及由S4.9得到yg′与xf的标记标签之间的目标损失ld3。为了更好的重构出目标图，片lc的计算方式为lc＝D(xf，xg′),其中D为欧式距离。ld3的计算方式和ld1一致。
其中，lc损失由欧式距离来计算，lc的计算方式如下：
lc(xg′，xf)＝D(xg′，xf)
S4.11：计算网络在对抗过程中的总损失lg，lg＝ld3+lc；
S4.12：利用反向传播算法，同时优化步骤S4.11中的lg、基于D-LinkNet的分割网络和于U-Net的重构网络；
S4.13：不断利用网络生成过程和网络对抗过程迭代ld和lg，直到二者收敛，即得到优化后的图像缺陷的分割网络；
S5：将要分割的图像放入S4得到优化后的分割网络中，得到最终分割后的图像。如图8所示，图8a和图8c为缺陷样本图，图8b和图8d为缺陷样本的标记图。在选取部分缺陷样本进行标记后经由上述过程训练迭代后，分割网络便可以分割出任意大小和形状的缺陷。如图9所示，图9a、图9c和图9e为缺陷样本原图，图9b、图9d和图9f为缺陷样本经过训练好的分割网络后的分割结果图，尽管缺陷的形状，大小，类型和标记图像差异很大，将缺陷样本输入后，分割网络便可以精确的找出缺陷的位置。
本领域普通技术人员可以理解，以上所述仅为发明的优选实例而已，并不用于限制发明，尽管参照前述实例对发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在发明的精神和原则之内，所做的修改、等同替换等均应包含在发明的保护范围之内。

Claims (7)

1.一种基于对抗生成网络的半监督工业图像缺陷分割方法，其特征在于，该方法包括以下步骤：
S1：分别创建含有缺陷的图像的负样本库XF和不含缺陷的图像的正样本库XT，并对正负样本进行像素标记，对于正样本xt的标记yT，默认其标签为1，对于负样本xf的标记yF，图像的缺陷处像素点标记标签为0，其他地方为1；
S2：利用图像增强技术对负样本、正样本分别进行图像增强，得到增强后的负样本库XF′和正样本库XT′；
S3：分别构建基于D-LinkNet的分割网络和基于U-Net的重构网络，对于所述的分割网络，输入为图像批次xD，输出为每个图像对应的图像特征和每张图像上每个像素对应的网络生成的标签；对于所述的重构网络，输入为图像批次xG，输出为其对应的生成图像；
S4：设计解码网络和重构网络训练方法和优化方式，主要包括网络生成过程和网络对抗过程，具体步骤如下：
S4.1：不断地随机从经过S2增强后的负样本库XF′和正样本库XT′中获得相同批次的正常图片xt和异常图片xf，将正常图片xt输入到所述的分割网络中，得到其对应的训练后的分割标签yt和对应的分割特征et；
S4.2：由损失函数计算S4.1中的xt的标记标签yT和yt的目标损失ld1；
S4.3：将S4.1中的异常图片xf输入到所述的基于U-Net的重构网络中，得到其对应的生成图片xg；
S4.4：将S4.3得到的生成图片xg输入到所述的基于D-LinkNet分割网络中，得到生成图片xg的标签yg和分割特征eg；
S4.5：由损失函数计算出S4.4中的生成图片xg的标签yg和生成图片xg本身的标记标签yF的目标损失ld2，以及由损失函数计算S4.4中的分割特征eg和S4.1中的分割特征et的正负样本差异损失le；
S4.6：计算在生成过程中的网络总损失ld，ld＝ld1+ld2+le；
S4.7：利用反向传播算法同时优化ld、基于D-LinkNet的分割网络和基于U-Net的重构网络；
S4.8：再次将S4.1中的xf输入到迭代更新后的基于U-Net的重构网络中，得到一张新的生成图片xg′；
S4.9：将S4.8中的xg′输入到S4.7中更新后的基于D-LinkNet的分割网络中得到其生成标签yg′和分割特征eg′；
S4.10：计算S4.8中的生成图片xg′和S4.1中的xf之间的重构损失lc，以及由S4.9得到yg′与xf的标记标签之间的目标损失ld3；
S4.11：计算网络在对抗过程中的总损失lg，lg＝ld3+lc；
S4.12：利用反向传播算法，同时优化步骤S4.11中的lg、基于D-LinkNet的分割网络和于U-Net的重构网络；
S4.13：不断利用网络生成过程和网络对抗过程迭代ld和lg，直到二者收敛，即得到优化后的图像缺陷的分割网络；
S5：将要分割的图像放入S4得到的优化后的分割网络中，得到最终分割后的图像。
2.根据权利要求1所述的基于对抗生成网络的半监督工业图像缺陷分割方法，其特征在于，所述的S2中利用图像增强技术对负样本、正样本分别进行图像增强包括，对负样本及其标记随机进行翻转，偏移，以及对负样本进行归一化，改变对比度、饱和度、亮度，增加噪点；对正样本同样进行随机进行翻转，偏移，改变对比度、饱和度、亮度，增加噪点，归一化；同时在数据增强时，要确保缺陷的意义不发生变化。
3.根据权利要求1所述的基于对抗生成网络的半监督工业图像缺陷分割方法，其特征在于，在构建基于D-LinkNet的分割网络时用Imagenet数据集预训练好的Resnet网络作为提取图像特征的基础网络结构。
4.根据权利要求1所述的基于对抗生成网络的半监督工业图像缺陷分割方法，其特征在于，在所述S4.2中ld1的计算方式依靠二分类的交叉熵损失来计算；ld1的计算方式如下：
ld1(yt，yT；θd)＝lbce(yt，yT)
其中θd为分割网络的参数，对于lbce二分类的交叉熵损失的输入M∈RA，N∈RA：
Figure FDA0003538260980000021
其中A表示输入图像的像素的个数。
5.根据权利要求1所述的基于对抗生成网络的半监督工业图像缺陷分割方法，其特征在于，在所述的S4.5中的ld2的计算方式主要由Dice损失和二分类的交叉熵损失来计算；ld2的计算方式如下：
ld2(yg，yF；θd)＝lbce(yg，yF；θd)+ldice(yg，yF；θd)；
对于ldice二分类的交叉熵损失的输入M∈RA，N∈RA：
Figure FDA0003538260980000031
其中A表示输入图像的像素的个数，α为平滑系数。
6.根据权利要求1所述的基于对抗生成网络的半监督工业图像缺陷分割方法，其特征在于，在所述的S4.5中的le的计算方式如下：
Figure FDA0003538260980000032
其中，D为欧式距离，yi，j＝1表示le输入的两个特征在(i，j)位置都属于正样本，而yi，j＝0，表示输入特征在这个位置的特征，一个属于正样本，一个属于负样本中的缺陷；(i，j)位置上的label由S1中的yF来控制。
7.根据权利要求1所述的基于对抗生成网络的半监督工业图像缺陷分割方法，其特征在于，在所述的S4.10中的lc损失由欧式距离来计算，lc的计算方式如下：
lc(xg′，xf)＝D(xg′，xf)。
CN201911134257.5A 2019-11-19 2019-11-19 一种基于对抗生成网络的半监督工业图像缺陷分割方法 Active CN110880176B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911134257.5A CN110880176B (zh) 2019-11-19 2019-11-19 一种基于对抗生成网络的半监督工业图像缺陷分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911134257.5A CN110880176B (zh) 2019-11-19 2019-11-19 一种基于对抗生成网络的半监督工业图像缺陷分割方法

Publications (2)

Publication Number Publication Date
CN110880176A CN110880176A (zh) 2020-03-13
CN110880176B true CN110880176B (zh) 2022-04-26

Family

ID=69728965

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911134257.5A Active CN110880176B (zh) 2019-11-19 2019-11-19 一种基于对抗生成网络的半监督工业图像缺陷分割方法

Country Status (1)

Country Link
CN (1) CN110880176B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111652209B (zh) * 2020-04-30 2024-05-10 平安科技（深圳）有限公司 损伤检测方法、装置、电子设备及介质
CN111968095B (zh) * 2020-08-19 2022-08-02 成都数之联科技股份有限公司 一种产品表面缺陷检测方法及***及装置及介质
CN113947601B (zh) * 2021-12-20 2022-03-22 武汉鑫国茂包装有限公司 基于半监督学习的塑料制品表面缺陷检测方法及***
CN114332135B (zh) * 2022-03-10 2022-06-10 之江实验室 一种基于双模型交互学习的半监督医学图像分割方法及装置
CN114758125B (zh) * 2022-03-31 2023-04-14 上海科致电气自动化股份有限公司 基于深度学习的齿轮表面缺陷检测方法与***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110097131A (zh) * 2019-05-08 2019-08-06 南京大学 一种基于对抗协同训练的半监督医疗图像分割方法
CN110211117A (zh) * 2019-05-31 2019-09-06 广东世纪晟科技有限公司 医学影像中识别线管状物的处理***及优化分割的方法
WO2019191346A1 (en) * 2018-03-28 2019-10-03 Kla-Tencor Corporation Training a neural network for defect detection in low resolution images

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10624558B2 (en) * 2017-08-10 2020-04-21 Siemens Healthcare Gmbh Protocol independent image processing with adversarial networks

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019191346A1 (en) * 2018-03-28 2019-10-03 Kla-Tencor Corporation Training a neural network for defect detection in low resolution images
CN110097131A (zh) * 2019-05-08 2019-08-06 南京大学 一种基于对抗协同训练的半监督医疗图像分割方法
CN110211117A (zh) * 2019-05-31 2019-09-06 广东世纪晟科技有限公司 医学影像中识别线管状物的处理***及优化分割的方法

Also Published As

Publication number Publication date
CN110880176A (zh) 2020-03-13

Similar Documents

Publication Publication Date Title
CN110880176B (zh) 一种基于对抗生成网络的半监督工业图像缺陷分割方法
CN108647585B (zh) 一种基于多尺度循环注意力网络的交通标识符检测方法
Zhao et al. A surface defect detection method based on positive samples
Li et al. Unsupervised video object segmentation with motion-based bilateral networks
CN107368845B (zh) 一种基于优化候选区域的Faster R-CNN目标检测方法
Lang et al. Base and meta: A new perspective on few-shot segmentation
CN112561910B (zh) 一种基于多尺度特征融合的工业表面缺陷检测方法
CN112037219A (zh) 一种基于两阶段卷积神经网络的金属表面缺陷检测方法
CN109919209A (zh) 一种领域自适应深度学习方法及可读存储介质
CN110648310A (zh) 基于注意力机制的弱监督铸件缺陷识别方法
CN110598698B (zh) 基于自适应区域建议网络的自然场景文本检测方法和***
CN111161213B (zh) 一种基于知识图谱的工业产品缺陷图像分类方法
CN109657538B (zh) 基于上下文信息指导的场景分割方法和***
CN109711411B (zh) 一种基于胶囊神经元的图像分割识别方法
CN111739037B (zh) 一种针对室内场景rgb-d图像的语义分割方法
CN113778719A (zh) 基于复制粘贴的异常检测算法
KR20230073751A (ko) 레이아웃 기반의 동일 화풍 영상 생성 시스템 및 방법
CN116310128A (zh) 基于实例分割与三维重建的动态环境单目多物体slam方法
CN113763364B (zh) 一种基于卷积神经网络的图像缺陷检测方法
Li et al. Fabric defect segmentation system based on a lightweight GAN for industrial Internet of Things
CN112733861B (zh) 基于u型残差网络的文本擦除和抠字方法
CN112257810A (zh) 一种基于改进FasterR-CNN的海底生物目标检测方法
CN116912144A (zh) 一种基于大律算法与通道注意力机制的数据增强方法
CN110929013A (zh) 一种基于bottom-up attention和定位信息融合的图片问答实现方法
CN114708591A (zh) 基于单字连接的文档图像中文字符检测方法

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant