CN114693685A - 无监督的缺陷检测模型的训练方法、缺陷检测方法 - Google Patents

无监督的缺陷检测模型的训练方法、缺陷检测方法 Download PDF

Info

Publication number
CN114693685A
CN114693685A CN202210617738.7A CN202210617738A CN114693685A CN 114693685 A CN114693685 A CN 114693685A CN 202210617738 A CN202210617738 A CN 202210617738A CN 114693685 A CN114693685 A CN 114693685A
Authority
CN
China
Prior art keywords
image
defect
sample
segmentation
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210617738.7A
Other languages
English (en)
Other versions
CN114693685B (zh
Inventor
曾利宏
杨洋
李杰明
黄淦
林泽伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Huahan Weiye Technology Co ltd
Original Assignee
Shenzhen Huahan Weiye Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Huahan Weiye Technology Co ltd filed Critical Shenzhen Huahan Weiye Technology Co ltd
Priority to CN202210617738.7A priority Critical patent/CN114693685B/zh
Publication of CN114693685A publication Critical patent/CN114693685A/zh
Application granted granted Critical
Publication of CN114693685B publication Critical patent/CN114693685B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种无监督的缺陷检测模型的训练方法、缺陷检测方法，使用样本对训练缺陷检测模型，部分样本对由正常样本图像和对该正常样本图像施加人工噪声的人工异常样本图像构成，部分样本对由完全相同的两个正常样本图像构成，不需要真实的异常样本图像和对应标签，克服了有监督算法的局限性，实现降本提效。训练时将人工异常样本图像或正常样本图像输入模型中通过重建模块进行重建，根据重建图像和对应的样本对中的正常样本图像构建重建损失函数用于训练，将重建图像与输入的人工异常样本图像或正常样本图像拼接后进行缺陷分割，在提高对正常图像精细化重建效果的同时，增大异常图像与其重建图像之间的差异，减少对正常图像的误检，提升检测性能。

Description

无监督的缺陷检测模型的训练方法、缺陷检测方法
技术领域
本发明涉及图像处理技术领域，具体涉及一种无监督的缺陷检测模型的训练方法、缺陷检测方法。
背景技术
工业图像的缺陷检测，通常依赖于人工对大量图像进行分类，挑选出不符合要求的异常图像，标注相应的缺陷信息以训练模型，从而达到缺陷检测的目的。随着消费需求对工业产品质量要求的不断提高，工业图像数据呈现三大特性：稀有性、不平衡性以及多样性。
（1）稀有性：体现在异常图像的数量上，在实际的工业生产中，随着生产工艺的技术进步，生产出来的大多数产品属于完好的标准产品，只有小部分为缺陷产品，数量稀少，由缺陷产品拍摄得到的异常图像也因此较为稀少，需要熟悉产品的人员手工挑选出异常图像，若采用有监督技术进行检测的缺陷，还需要专门的技术人员对所有异常图像打上精确的像素级标注，成本昂贵，且不易获得；
（2）不平衡性：主要有两个方面，一是在图像层面上，稀有性导致异常图像的数量相较于正常图像少；二是在像素层面上，一张图像中缺陷区域占整张图像的比重小；图像级和像素级两个层面共同作用，导致工业图像数据中正常数据与缺陷数据的比例严重失衡；
（3）多样性：在工业生产中，缺陷类型众多，其大小、形状、位置以及颜色纹理等表现差异巨大，在统计学上，缺陷数据分布呈现不一致性；在连续的生产过程中，可能会有新类型的缺陷出现，具有不可预知性，因此，缺陷的类型无法以统计的方式被完全地概括，呈现多样性。
以有监督的方式训练模型进行缺陷的检测，需要有充足的样本，保证样本之间的类型平衡以及类型的全面覆盖，但工业图像数据的以上三大特性，使得其无法满足有监督算法的技术要求。
发明内容
本发明提供一种无监督的缺陷检测模型的训练方法以及缺陷检测方法，以克服有监督算法在缺陷检测中的局限性。
根据第一方面，一种实施例中提供一种无监督的缺陷检测模型的训练方法，所述缺陷检测模型包括特征提取器、特征压缩模块、图像重建模块和缺陷分割模块，所述缺陷检测模型的训练方法包括：
获取正常样本图像集，其中正常样本图像为无缺陷的标准品的图像；
从所述正常样本图像集中抽取预定比例p的正常样本图像x，对所抽取的正常样本图像x施加人工噪声得到人工异常样本图像
Figure 714535DEST_PATH_IMAGE001
，并与原图像组成样本对
Figure DEST_PATH_IMAGE002
，对未被抽取的正常样本图像x进行拷贝得到拷贝图像，并与原图像组成样本对
Figure DEST_PATH_IMAGE003
，由所有样本对组成训练样本集；
从所述训练样本集中获取样本对，当获取到样本对
Figure 82542DEST_PATH_IMAGE002
时，则将其中的人工异常样本图像
Figure 675329DEST_PATH_IMAGE001
输入所述特征提取器中得到初始特征α，当获取到样本对
Figure 132855DEST_PATH_IMAGE003
时，则将其中的任意一个正常样本图像x输入所述特征提取器中得到初始特征α；
将所述初始特征α输入所述特征压缩模块中以得到压缩特征β；
将所述压缩特征β输入所述图像重建模块中以得到重建图像y；
若所获取的是样本对
Figure 586708DEST_PATH_IMAGE002
，则将重建图像y与人工异常样本图像
Figure 222219DEST_PATH_IMAGE001
在通道上进行拼接得到合并图像，若所获取的是样本对
Figure 958094DEST_PATH_IMAGE003
，则将重建图像y与正常样本图像x在通道上进行拼接得到合并图像；
将所述合并图像输入所述缺陷分割模块以得到缺陷预测图像z；
根据重建图像y和对应的样本对中的正常样本图像x构建重建损失函数L r ，根据缺陷预测图像z和对应的缺陷标签图像m构建分割损失函数L s ，根据重建损失函数L r 和分割损失函数L s 构建总损失函数L total ；
根据总损失函数L total 对所述缺陷检测模型进行训练，得到相应的模型参数。
一种实施例中，所述特征提取器为一预训练的神经网络，所述初始特征α包括所述预训练的神经网络的一个或多个网络层输出的特征图。
一种实施例中，在训练过程中，所述特征提取器的参数先保持不变，当所述缺陷检测模型中除所述特征提取器外的其他部分的参数进行过预设次数的更新后，所述特征提取器开始进行参数更新。
一种实施例中，所述特征压缩模块通过以下方式对所述初始特征α进行压缩以得到压缩特征β：
预先设定压缩尺寸s；
将所述初始特征α中的每一个特征图的大小调整至所述压缩尺寸s；
将调整大小后的特征图在通道上进行拼接以组成一特征组；
对于特征组中的每一个特征图，将其分成不重叠的多个小块，取每个小块的像素平均值，组成新的特征图；
对特征组进行通道压缩从而得到压缩特征β。
一种实施例中，所述图像重建模块包括一个或多个反卷积层、批次标准化层和ReLU激活函数。
一种实施例中，所述重建损失函数L r 具体为：
Figure 100002_DEST_PATH_IMAGE004
，
其中λ 1和λ 2为预设的平衡系数，L MSE 表示均方根误差，且
Figure DEST_PATH_IMAGE005
，
其中y i 表示重建图像y的第i个像素值，x i 表示对应的正常样本图像x的第i个像素值，n表示像素的数量；
L SSIM 表示结构相似性损失，且
Figure DEST_PATH_IMAGE006
，
其中
Figure DEST_PATH_IMAGE007
，
其中μ y 和μ x 分别为重建图像y和对应的正常样本图像x的像素均值，
Figure DEST_PATH_IMAGE008
和
Figure DEST_PATH_IMAGE009
分别为重建图像y和对应的正常样本图像x的像素方差，σ yx 为重建图像y和对应的正常样本图像x的协方差，c1和c2为预设的常数。
一种实施例中，所述分割损失函数L s 具体为：
Figure 100002_DEST_PATH_IMAGE010
，
其中δ 1和δ 2分别为预设的权重系数，L cross 表示交叉熵损失，且
Figure 48672DEST_PATH_IMAGE012
，
其中z i 表示缺陷预测图像z的第i个像素的预测值，m i 表示对应的缺陷标签图像m的第i个像素的标签值，n表示像素的数量；
L dice 表示交并比损失，且
Figure DEST_PATH_IMAGE013
，
其中z d 表示缺陷预测图像z中被预测为缺陷的区域，m d 表示缺陷标签图像m中被标记为缺陷的区域。
一种实施例中，所述总损失函数L total 具体为：
Figure DEST_PATH_IMAGE014
。
根据第二方面，一种实施例中提供一种无监督的缺陷检测方法，包括：
获取被检测物体的待检测图像；
将所述待检测图像输入经过如上述第一方面所述的训练方法训练的缺陷检测模型中以得到缺陷预测图像；
使用设定的分割阈值对所述缺陷预测图像进行阈值分割以得到缺陷分割图。
一种实施例中，所述分割阈值通过以下方式设定：
获取验证集，所述验证集由正常样本图像组成；
将所述验证集中的各正常样本图像分别输入所述缺陷检测模型中以获得各正常样本图像的缺陷预测图像；
获取所有缺陷预测图像的所有像素的最大预测值S max和最小预测值S min；
从最大预测值S max开始并以步长Δ逐渐递减，将当前数值作为分割阈值对各缺陷预测图像进行阈值分割，然后计算误检率，直至误检率大于或等于预设的误检率阈值为止，将此时的分割阈值作为最终的分割阈值，其中当进行阈值分割时，将预测值大于分割阈值的像素点判定为缺陷点，步长Δ的计算公式为：
Figure 100002_DEST_PATH_IMAGE015
，
其中S step 为预设的步长数。
根据第三方面，一种实施例中提供一种计算机可读存储介质，所述介质上存储有程序，所述程序能够被处理器执行以实现如上述第一方面所述的训练方法，和/或如上述第二方面所述的缺陷检测方法。
依据上述实施例的无监督的缺陷检测模型的训练方法、缺陷检测方法，由于只需要使用正常样本图像用于训练，抽取预定比例的正常样本图像施加人工噪声得到人工异常样本图像，并与原图像组成样本对对缺陷检测模型进行训练，不需要真实的异常样本图像和对应标签，使用者只需提供正常样本图像即可训练模型，完成缺陷的检测任务，克服了有监督算法的局限性，节省了人力，提高了厂家生产效率，实现降本提效。在训练过程中，将人工异常样本图像或正常样本图像输入模型中通过重建模块进行重建，并根据重建图像和对应的样本对中的正常样本图像构建重建损失函数以用于进行训练，将重建图像与输入的人工异常样本图像或正常样本图像进行拼接，然后输入缺陷分割模块进行缺陷分割，有利于在提高对正常图像精细化重建效果的同时，增大异常图像与其重建图像之间的差异，减少对正常图像的误检，提高缺陷分割的精度，提升检测性能。
附图说明
图1为一种实施例中的缺陷检测模型的结构示意图；
图2为一种实施例的缺陷检测模型的训练过程示意图；
图3为一种实施例的无监督的缺陷检测模型的训练方法的流程图；
图4为一种实施例的无监督的缺陷检测方法的流程图；
图5为一种实施例的缺陷分割图的示意图；
图6为一种实施例的设置分割阈值的方法的流程图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。
本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接（联接）。
本发明使用无监督技术来对工业产品进行缺陷检测，在缺乏异常图像或者获取异常图像困难的情形下，本发明使用的无监督技术能够很好地满足使用者的数据要求，不需要真实的异常图像和对应标签，只需使用正常样本图像即可训练模型，完成缺陷的检测任务。
目前一些采用无监督技术进行缺陷检测的方法大都采用的是图像重建的方法，一般处理方式是将正常样本图像作为训练样本，构建网络模型对其提取特征并进行编码，获取隐藏层表示，然后再进行解码完成图像的重建。推理时，利用网络模型未使用异常图像进行训练，而无法较好地恢复图像中的缺陷区域的原理，依据重建图像和输入图像之间的逐像素差距定位缺陷。然而，网络模型的隐藏层表示通常只接受来自直接上层的输出特征，对特征的归纳和表示能力有限，对正常图像的重建结果有时也比较模糊，质量不够精细，并且由于网络模型固有的泛化性，有时候缺陷区域也可以被较好地重建，输入图像与重建图像之间差异度不大，重建误差较小，不利于缺陷检测。对正常图像的重建效果不佳以及缺陷区域的相当的恢复能力，两者综合作用，导致了检测性能下降。
本发明提供一种新的基于图像重建技术的无监督缺陷检测方法，可以在提高对正常图像精细化重建效果的同时，增大异常图像与其重建图像之间的差异，将重建图像与输入图像合并进行缺陷分割，有利于实现工业产品表面缺陷的精准检测，提升检测性能。本发明的缺陷检测方法能以端到端的方式直接输出缺陷分割结果，同时在训练时无需任何真实的异常样本，将正常样本图像以一定方式组成训练样本即可完成模型的训练，技术人员也不用对样本图像进行像素级标注，减轻了产品生产厂商的数据负担，节省人力，提高厂家生产效率，实现降本提效。
下面先对本发明的缺陷检测模型的结构进行说明。请参考图1，本发明一种实施例中的缺陷检测模型F包括特征提取器f、特征压缩模块g、图像重建模块R和缺陷分割模块S。
特征提取器f用于提取输入图像的特征得到初始特征α，用于后续模块的处理。一种实施例中，特征提取器f可以采用预训练的神经网络，预训练的神经网络经过常用的图像数据集如ImageNet等进行训练，具有良好的特征提取能力。可以从预训练的神经网络的一个或多个网络层中获取输出的特征图来组成初始特征α，当采用多个特征图时可以获得输入图像的多尺度特征。
特征压缩模块g用于对提取的图像特征进行压缩和整合，提取更有效的特征表示得到压缩特征β，供图像重建模块R进行重建。在一种实施例中，当特征提取器f输出的初始特征α是多层特征图时，特征压缩模块g可以通过以下方式对初始特征α进行压缩得到压缩特征β：首先，预先设定压缩尺寸s，在一个具体的实施例中，可以将压缩尺寸s设置为输入图像分辨率的四分之一；然后对初始特征α中的每一个特征图的大小进行调整，调整的目标大小为压缩尺寸s，即将每一个特征图的大小调整至压缩尺寸s，本质上是特征对齐操作，获得统一分辨率的多层特征图；然后将调整大小后的特征图在通道上进行拼接，组成一个特征组；对于特征组中的每一个特征图，在空间上执行压缩操作，具体为：将特征图分块成为不重叠的小块，在一个具体的实施例中，可以取小块的数量为1024，小块的大小为4×4，之后对每一个小块内的所有像素执行平均操作，得到压缩后的特征图，即取每个小块的像素平均值，组成新的特征图，这样一来特征图的尺寸便得到了压缩；特征组中的所有特征图经过空间压缩操作后，对特征组进行通道压缩，减少特征组的通道数从而得到压缩特征β，通道压缩可以通过例如将特征组输入一1×1卷积层等方式来实现。其中对小块内的像素执行平均操作，可以平滑特征图上的特征变化，使生成的特征对噪声输入更具鲁棒性，其次也可以减少计算量。
图像重建模块R可以是一神经网络模型，包括有一个或多个反卷积层、批次标准化层（Batch Normalization，BN）和ReLU激活函数。图像重建模块R用于利用压缩特征β进行图像重建，重建的目标是将输入图像映射到正常图像上。
重建图像和输入图像在通道上进行拼接后输入缺陷分割模块S进行缺陷分割，缺陷分割模块S输出缺陷预测图像，缺陷预测图像的每个像素具有预测值，用于表征该像素被预测属于缺陷点的概率，预测值可以是0到1之间的数值，对缺陷预测图像进行阈值分割可以得到缺陷区域。缺陷分割模块S可以是一神经网络模型，例如可以采用经典的UNet网络结构。
在训练过程中，对于图像重建模块R和缺陷分割模块S这两个部分，分别设计相应的损失函数进行训练，训练的总体过程可以参考图2。本发明中模型的整体结构、特征压缩模块g以及图像重建模块R和缺陷分割模块S的损失函数的设计十分关键。下面对本发明的缺陷检测模型的训练方法进行说明，请参考图3，一种实施例中该方法包括步骤110~190，下面具体说明。
步骤110：获取正常样本图像集，正常样本图像集由正常样本图像组成，正常样本图像为无缺陷的标准品的图像。
步骤120：构造样本对，组成训练样本集。
从正常样本图像集中抽取预定比例p的正常样本图像x，对所抽取的正常样本图像x施加人工噪声得到人工异常样本图像
Figure 186392DEST_PATH_IMAGE001
，并与原图像组成样本对
Figure 648598DEST_PATH_IMAGE002
，对未被抽取的正常样本图像x进行拷贝得到拷贝图像，并与原图像组成样本对
Figure 451862DEST_PATH_IMAGE003
，由所有样本对组成训练样本集。
步骤130：获取初始特征α。
从训练样本集中获取样本对。所获取的样本对可能是
Figure 47929DEST_PATH_IMAGE002
或
Figure 118784DEST_PATH_IMAGE003
，当获取到样本对
Figure 17470DEST_PATH_IMAGE002
时，则将其中的人工异常样本图像
Figure 118150DEST_PATH_IMAGE001
输入特征提取器f中得到初始特征α，当获取到样本对
Figure 862115DEST_PATH_IMAGE003
时，则将其中的任意一个正常样本图像x输入特征提取器f中得到初始特征α。
步骤140：将初始特征α输入特征压缩模块g中以得到压缩特征β。
步骤150：将压缩特征β输入图像重建模块R中以得到重建图像y。
步骤160：将重建图像y与模型的输入图像进行拼接得到合并图像。
若步骤130中所获取的是样本对
Figure 551591DEST_PATH_IMAGE002
，则将重建图像y与人工异常样本图像
Figure 745812DEST_PATH_IMAGE001
在通道上进行拼接得到合并图像
Figure DEST_PATH_IMAGE016
，若所获取的是样本对
Figure 756625DEST_PATH_IMAGE003
，则将重建图像y与正常样本图像x在通道上进行拼接得到合并图像
Figure DEST_PATH_IMAGE017
。
步骤170：将合并图像输入缺陷分割模块S以得到缺陷预测图像z。缺陷预测图像z可经过预设的分割阈值进行阈值分割后得到缺陷分割图，从缺陷分割图上可以获得被预测为缺陷的区域。
步骤180：根据重建图像y和对应的样本对中的正常样本图像x构建重建损失函数L r ，根据缺陷预测图像z和对应的缺陷标签图像m构建分割损失函数L s ，根据重建损失函数L r 和分割损失函数L s 构建总损失函数L total 。
重建图像y和对应的样本对中的正常样本图像x在重建损失函数L r 的引导下对图像重建模块R进行训练。在本发明的技术方案中，对于图像重建模块R，其应当实现无论输入缺陷检测模型F的是正常图像还是异常图像，经过图像重建模块R的重建操作后都可以映射到正常图像上。在训练过程中，若输入的是人工异常样本图像
Figure 477849DEST_PATH_IMAGE001
，则图像重建模块R的学习目标是将重建图像y映射到对应样本对中的正常样本图像x，本质上是学习对噪声样本的去噪能力，使得输入的异常图像能够被恢复成正常图像；若输入的是正常样本图像x，则图像重建模块R的学习目标是将重建图像y映射到正常样本图像x自身（也相当于是对应的样本对中的正常样本图像x），本质上是学习对正常样本的精细重建能力。
缺陷预测图像z和对应的缺陷标签图像m在分割损失函数L s 的引导下对缺陷分割模块S进行训练。在对正常样本图像x施加人工噪声得到人工异常样本图像
Figure 710247DEST_PATH_IMAGE001
的时候，容易理解，也可同时生成缺陷标签图像m。对于缺陷分割模块S，其应能精确识别缺陷，当其输入中包括异常图像时，最终应能得到精确的缺陷分割图，当其输入中仅包括正常图像时，则最终应能在像素级别上得到不存在缺陷的分割结果。
基于上述目标，申请人设计了相应的重建损失函数L r 和分割损失函数L s 。一种实施例中，重建损失函数L r 由两部分构成，第一部分采用均方根误差，其表达式为：
Figure 75370DEST_PATH_IMAGE005
，
其中y i 表示重建图像y的第i个像素值，x i 表示对应的正常样本图像x的第i个像素值，n表示像素的数量。
第二部分为结构相似性损失，表达式为：
Figure 573478DEST_PATH_IMAGE006
，
其中
Figure 190404DEST_PATH_IMAGE007
，
其中μ y 和μ x 分别为重建图像y和对应的正常样本图像x的像素均值，
Figure 339626DEST_PATH_IMAGE008
和
Figure 124917DEST_PATH_IMAGE009
分别为重建图像y和对应的正常样本图像x的像素方差，σ yx 为重建图像y和对应的正常样本图像x的协方差，c1和c2为预设的常数，c1、c2可以为两个较小的常数，用于避免分母除零操作。函数h从亮度、对比度和结构三方面共同衡量重建图像y和对应的正常样本图像x的相似性，能够有效提升图像重建质量。
重建损失函数L r 为两部分的加权求和：
Figure 297273DEST_PATH_IMAGE004
，
其中λ 1和λ 2为预设的平衡系数，一个实例是λ 1=0.3，λ 2=0.7。
一种实施例中，分割损失函数L s 由交叉熵损失L cross 和交并比损失L dice 两部分构成。交叉熵损失L cross 的表达式为：
Figure 311365DEST_PATH_IMAGE018
，
其中z i 表示缺陷预测图像z的第i个像素的预测值，m i 表示对应的缺陷标签图像m的第i个像素的标签值，n表示像素的数量。由于此处是判断像素点是否为缺陷点，属于二分类，因此可以将标签值取为0或1，正类（即缺陷点）为1，负类为0。
交并比损失L dice 的表达式为：
Figure 331405DEST_PATH_IMAGE013
，
其中z d 表示缺陷预测图像z中被预测为缺陷的区域，m d 表示缺陷标签图像m中被标记为缺陷的区域。
分割损失函数L s 为两部分的加权求和：
Figure 913696DEST_PATH_IMAGE010
，
其中δ 1和δ 2分别为预设的权重系数，一个实例是δ 1=0.5，δ 2=0.5。
对于总损失函数L total ，一种实施例中可以将重建损失函数L r 和分割损失函数L s 相加来作为总损失函数L total ，即：
Figure 697981DEST_PATH_IMAGE014
。
步骤190：根据总损失函数L total 对缺陷检测模型F进行训练，得到相应的模型参数，完成缺陷检测模型F的训练。
在整体模型训练的前期，特征提取器f的参数可以先保持冻结状态，不参与模型的训练，不进行参数的更新，当模型中其他部分的参数进行过预设次数的更新后，训练状态趋于稳定，特征提取器f才开始解封，进行参数的更新，以提高特征提取器f对图像的特征提取能力。
在完成缺陷检测模型的训练后可使用它来进行缺陷检测，本发明提供一种无监督的缺陷检测方法，通过使用经本发明任意实施例的训练方法训练的缺陷检测模型来检测产品的缺陷，请参考图4，一种实施例中该方法包括步骤210~230，下面具体说明。
步骤210：获取被检测物体的待检测图像。
被检测物体可以是工业生产过程中的产品，例如机械零件、电子元器件等等。可以使用任意摄像装置如相机等对被检测物体进行拍摄得到其待检测图像。
步骤220：将待检测图像输入经过本发明任意实施例的训练方法训练的缺陷检测模型中以得到缺陷预测图像。
步骤230：使用设定的分割阈值对缺陷预测图像进行阈值分割以得到缺陷分割图。最终得到的结果如图5所示，从缺陷分割图中可以知晓缺陷所在的位置。
本发明采用了人为制造的异常对正常样本图像进行数据扩充并以此完成缺陷检测模型的训练，但人造的异常不是某种或者几种真实缺陷，而是偏离正常样本图像的正态性的样本数据，所以根据样本图像直接设置的分割阈值不准确，降低了缺陷检测模型的检测性能。因此本发明一种实施例中提供一种设置分割阈值的方法，在缺陷检测模型训练完成后，通过采用控制正常样本图像的误检率（False Positive Rate, FPR）的方式来获取精确的分割阈值。请参考图6，一种实施例中该设置分割阈值的方法包括步骤231~237，下面具体说明。
步骤231：获取验证集，验证集由正常样本图像组成。
步骤232：将验证集中的各正常样本图像分别输入训练好的缺陷检测模型中以获得各正常样本图像的缺陷预测图像。
步骤233：获取像素级的最大预测值S max和最小预测值S min，即所有缺陷预测图像的所有像素的最大预测值S max和最小预测值S min。
步骤234：使用当前数值作为分割阈值对各缺陷预测图像进行阈值分割，然后计算误检率FPR。其中当前数值的初始值为最大预测值S max。在进行阈值分割时，可以将预测值大于分割阈值的像素点判定为缺陷点。
步骤235：判断误检率是否大于或等于预设的误检率阈值，若是则执行步骤236，否则执行步骤237。一个具体的实施例中，误检率阈值可以设置为0.01。
步骤236：将此时的分割阈值作为最终的分割阈值。
步骤237：将当前数值减去预设的步长Δ，返回步骤234。步长Δ的计算公式为：
Figure 391130DEST_PATH_IMAGE015
，
其中S step 为预设的步长数。
行业常用的同类方法由于技术局限性，为了保证异常图像的检测率，一般会采用降低分割阈值的方式，导致对正常图像的误检率过高，在实际应用中，往往需要二次检测。而本发明提供的根据正常样本图像的误检率设置分割阈值的方法，可以在对正常图像保持较低误检率的同时，提升对缺陷的检测性能。
依据上述实施例的无监督的缺陷检测模型的训练方法、缺陷检测方法，只需要使用正常样本图像用于训练，通过对正常样本图像施加人工噪声得到人工异常样本图像，不需要真实的异常样本图像和对应标签，使用者只需提供正常样本图像即可训练模型，完成缺陷的检测任务，克服了有监督算法的局限性，节省了人力，提高了厂家生产效率，实现降本提效。在训练过程中，将人工异常样本图像或正常样本图像输入模型中通过重建模块进行重建，将正常样本图像作为图像重建的学习目标，使得无论输入缺陷检测模型的是正常图像还是异常图像，经过图像重建操作后都可以映射到正常图像上，提高了对正常图像的精细化重建质量，增大了异常图像与其重建图像的差异；将重建图像与输入图像进行拼接，输入缺陷分割模块进行缺陷分割，保留了缺陷的位置信息，有利于减少对正常图像的误检，实现缺陷位置的精确定位，提高缺陷分割的精度，提升检测性能。
本发明一种实施例中还提供一种根据正常样本图像的误检率设置分割阈值的方法，不但能够降低误检率，而且由于不同的产品在生产过程中，对于检测率和误检率有不同的数值要求，本发明设置分割阈值的方法通过控制正常样本图像的误检率来获取分割阈值，使得使用者可以根据自身需求，对误检率进行不同设置，更加方便地检测不同产品的缺陷。
本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的***进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。
以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

Claims (11)

1.一种无监督的缺陷检测模型的训练方法，其特征在于，所述缺陷检测模型包括特征提取器、特征压缩模块、图像重建模块和缺陷分割模块，所述缺陷检测模型的训练方法包括：
获取正常样本图像集，其中正常样本图像为无缺陷的标准品的图像；
从所述正常样本图像集中抽取预定比例p的正常样本图像x，对所抽取的正常样本图像x施加人工噪声得到人工异常样本图像
Figure DEST_PATH_IMAGE001
，并与原图像组成样本对
Figure 418148DEST_PATH_IMAGE002
，对未被抽取的正常样本图像x进行拷贝得到拷贝图像，并与原图像组成样本对
Figure 866447DEST_PATH_IMAGE003
，由所有样本对组成训练样本集；
从所述训练样本集中获取样本对，当获取到样本对
Figure 85332DEST_PATH_IMAGE002
时，则将其中的人工异常样本图像
Figure DEST_PATH_IMAGE004
输入所述特征提取器中得到初始特征α，当获取到样本对
Figure 152645DEST_PATH_IMAGE003
时，则将其中的任意一个正常样本图像x输入所述特征提取器中得到初始特征α；
将所述初始特征α输入所述特征压缩模块中以得到压缩特征β；
将所述压缩特征β输入所述图像重建模块中以得到重建图像y；
若所获取的是样本对
Figure 373542DEST_PATH_IMAGE002
，则将重建图像y与人工异常样本图像
Figure 399267DEST_PATH_IMAGE004
在通道上进行拼接得到合并图像，若所获取的是样本对
Figure 197459DEST_PATH_IMAGE003
，则将重建图像y与正常样本图像x在通道上进行拼接得到合并图像；
将所述合并图像输入所述缺陷分割模块以得到缺陷预测图像z；
根据重建图像y和对应的样本对中的正常样本图像x构建重建损失函数L r ，根据缺陷预测图像z和对应的缺陷标签图像m构建分割损失函数L s ，根据重建损失函数L r 和分割损失函数L s 构建总损失函数L total ；
根据总损失函数L total 对所述缺陷检测模型进行训练，得到相应的模型参数。
2.如权利要求1所述的训练方法，其特征在于，所述特征提取器为一预训练的神经网络，所述初始特征α包括所述预训练的神经网络的一个或多个网络层输出的特征图。
3.如权利要求2所述的训练方法，其特征在于，在训练过程中，所述特征提取器的参数先保持不变，当所述缺陷检测模型中除所述特征提取器外的其他部分的参数进行过预设次数的更新后，所述特征提取器开始进行参数更新。
4.如权利要求2所述的训练方法，其特征在于，所述特征压缩模块通过以下方式对所述初始特征α进行压缩以得到压缩特征β：
预先设定压缩尺寸s；
将所述初始特征α中的每一个特征图的大小调整至所述压缩尺寸s；
将调整大小后的特征图在通道上进行拼接以组成一特征组；
对于特征组中的每一个特征图，将其分成不重叠的多个小块，取每个小块的像素平均值，组成新的特征图；
对特征组进行通道压缩从而得到压缩特征β。
5.如权利要求1所述的训练方法，其特征在于，所述图像重建模块包括一个或多个反卷积层、批次标准化层和ReLU激活函数。
6.如权利要求1所述的训练方法，其特征在于，所述重建损失函数L r 具体为：
Figure 832577DEST_PATH_IMAGE005
，
其中λ 1和λ 2为预设的平衡系数，L MSE 表示均方根误差，且
Figure 907981DEST_PATH_IMAGE006
，
其中y i 表示重建图像y的第i个像素值，x i 表示对应的正常样本图像x的第i个像素值，n表示像素的数量；
L SSIM 表示结构相似性损失，且
Figure 166924DEST_PATH_IMAGE007
，
其中
Figure 327778DEST_PATH_IMAGE008
，
其中μ y 和μ x 分别为重建图像y和对应的正常样本图像x的像素均值，
Figure 268052DEST_PATH_IMAGE009
和
Figure DEST_PATH_IMAGE010
分别为重建图像y和对应的正常样本图像x的像素方差，σ yx 为重建图像y和对应的正常样本图像x的协方差，c1和c2为预设的常数。
7.如权利要求1所述的训练方法，其特征在于，所述分割损失函数L s 具体为：
Figure 750025DEST_PATH_IMAGE011
，
其中δ 1和δ 2分别为预设的权重系数，L cross 表示交叉熵损失，且
Figure 586394DEST_PATH_IMAGE013
，
其中z i 表示缺陷预测图像z的第i个像素的预测值，m i 表示对应的缺陷标签图像m的第i个像素的标签值，n表示像素的数量；
L dice 表示交并比损失，且
Figure 359178DEST_PATH_IMAGE014
，
其中z d 表示缺陷预测图像z中被预测为缺陷的区域，m d 表示缺陷标签图像m中被标记为缺陷的区域。
8.如权利要求1所述的训练方法，其特征在于，所述总损失函数L total 具体为：
Figure DEST_PATH_IMAGE015
。
9.一种无监督的缺陷检测方法，其特征在于，包括：
获取被检测物体的待检测图像；
将所述待检测图像输入经过如权利要求1-8中任一项所述的训练方法训练的缺陷检测模型中以得到缺陷预测图像；
使用设定的分割阈值对所述缺陷预测图像进行阈值分割以得到缺陷分割图。
10.如权利要求9所述的缺陷检测方法，其特征在于，所述分割阈值通过以下方式设定：
获取验证集，所述验证集由正常样本图像组成；
将所述验证集中的各正常样本图像分别输入所述缺陷检测模型中以获得各正常样本图像的缺陷预测图像；
获取所有缺陷预测图像的所有像素的最大预测值S max和最小预测值S min；
从最大预测值S max开始并以步长Δ逐渐递减，将当前数值作为分割阈值对各缺陷预测图像进行阈值分割，然后计算误检率，直至误检率大于或等于预设的误检率阈值为止，将此时的分割阈值作为最终的分割阈值，其中当进行阈值分割时，将预测值大于分割阈值的像素点判定为缺陷点，步长Δ的计算公式为：
Figure 978509DEST_PATH_IMAGE016
，
其中S step 为预设的步长数。
11.一种计算机可读存储介质，其特征在于，所述介质上存储有程序，所述程序能够被处理器执行以实现如权利要求1-8中任一项所述的训练方法，和/或如权利要求9-10中任一项所述的缺陷检测方法。
CN202210617738.7A 2022-06-02 2022-06-02 无监督的缺陷检测模型的训练方法、缺陷检测方法 Active CN114693685B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210617738.7A CN114693685B (zh) 2022-06-02 2022-06-02 无监督的缺陷检测模型的训练方法、缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210617738.7A CN114693685B (zh) 2022-06-02 2022-06-02 无监督的缺陷检测模型的训练方法、缺陷检测方法

Publications (2)

Publication Number Publication Date
CN114693685A true CN114693685A (zh) 2022-07-01
CN114693685B CN114693685B (zh) 2022-08-09

Family

ID=82130901

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210617738.7A Active CN114693685B (zh) 2022-06-02 2022-06-02 无监督的缺陷检测模型的训练方法、缺陷检测方法

Country Status (1)

Country Link
CN (1) CN114693685B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114841294A (zh) * 2022-07-04 2022-08-02 杭州德适生物科技有限公司 一种检测染色体结构异常的分类器模型训练方法及装置
CN115239719A (zh) * 2022-09-22 2022-10-25 南昌昂坤半导体设备有限公司 缺陷检测方法、***、电子设备及存储介质
CN115331077A (zh) * 2022-08-22 2022-11-11 北京百度网讯科技有限公司 特征提取模型的训练方法、目标分类方法、装置、设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103440654A (zh) * 2013-08-27 2013-12-11 南京大学 一种lcd异物缺陷检测方法
CN106803244A (zh) * 2016-11-24 2017-06-06 深圳市华汉伟业科技有限公司 缺陷识别方法及***
CN110796637A (zh) * 2019-09-29 2020-02-14 郑州金惠计算机***工程有限公司 图像缺陷检测模型的训练、测试方法、装置及存储介质
CN112446869A (zh) * 2020-11-27 2021-03-05 鹏城实验室 基于深度学习的无监督工业品缺陷检测方法及装置
CN112837295A (zh) * 2021-02-01 2021-05-25 北京工业大学 一种基于生成对抗网络的橡胶手套缺陷检测方法
CN112884721A (zh) * 2021-02-01 2021-06-01 成都市览图科技有限公司 一种异常检测方法、***及计算机可读存储介质
CN113674263A (zh) * 2021-08-27 2021-11-19 浙江捷瑞电力科技有限公司 一种基于生成式对抗网络的小样本缺陷检测方法
CN114092386A (zh) * 2020-05-26 2022-02-25 富士通株式会社 缺陷检测方法和设备
CN114299034A (zh) * 2021-12-30 2022-04-08 杭州海康威视数字技术股份有限公司 一种缺陷检测模型的训练方法、缺陷检测方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103440654A (zh) * 2013-08-27 2013-12-11 南京大学 一种lcd异物缺陷检测方法
CN106803244A (zh) * 2016-11-24 2017-06-06 深圳市华汉伟业科技有限公司 缺陷识别方法及***
CN110796637A (zh) * 2019-09-29 2020-02-14 郑州金惠计算机***工程有限公司 图像缺陷检测模型的训练、测试方法、装置及存储介质
CN114092386A (zh) * 2020-05-26 2022-02-25 富士通株式会社 缺陷检测方法和设备
CN112446869A (zh) * 2020-11-27 2021-03-05 鹏城实验室 基于深度学习的无监督工业品缺陷检测方法及装置
CN112837295A (zh) * 2021-02-01 2021-05-25 北京工业大学 一种基于生成对抗网络的橡胶手套缺陷检测方法
CN112884721A (zh) * 2021-02-01 2021-06-01 成都市览图科技有限公司 一种异常检测方法、***及计算机可读存储介质
CN113674263A (zh) * 2021-08-27 2021-11-19 浙江捷瑞电力科技有限公司 一种基于生成式对抗网络的小样本缺陷检测方法
CN114299034A (zh) * 2021-12-30 2022-04-08 杭州海康威视数字技术股份有限公司 一种缺陷检测模型的训练方法、缺陷检测方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JUHUA LIU ET AL: "Multistage GAN for fabric defect detection", 《IEEE TRANSACTION ON IMAGE PROCESS》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114841294A (zh) * 2022-07-04 2022-08-02 杭州德适生物科技有限公司 一种检测染色体结构异常的分类器模型训练方法及装置
CN115331077A (zh) * 2022-08-22 2022-11-11 北京百度网讯科技有限公司 特征提取模型的训练方法、目标分类方法、装置、设备
CN115331077B (zh) * 2022-08-22 2024-04-26 北京百度网讯科技有限公司 特征提取模型的训练方法、目标分类方法、装置、设备
CN115239719A (zh) * 2022-09-22 2022-10-25 南昌昂坤半导体设备有限公司 缺陷检测方法、***、电子设备及存储介质

Also Published As

Publication number Publication date
CN114693685B (zh) 2022-08-09

Similar Documents

Publication Publication Date Title
CN114693685B (zh) 无监督的缺陷检测模型的训练方法、缺陷检测方法
CN111383209B (zh) 一种基于全卷积自编码器网络的无监督瑕疵检测方法
CN106846316B (zh) 一种gis内部典型缺陷图像自动识别方法
CN112818827B (zh) 基于图像识别的烟叶烘烤过程中阶段控温点的判断方法
CN111783532B (zh) 一种基于在线学习的跨年龄人脸识别方法
CN114663346A (zh) 一种基于改进YOLOv5网络的带钢表面缺陷检测方法
CN111047543A (zh) 图像增强方法、装置和存储介质
CN110766708A (zh) 基于轮廓相似度的图像比较方法
Chen et al. Automatic colorization of images from Chinese black and white films based on CNN
WO2024021461A1 (zh) 缺陷检测方法及装置、设备、存储介质
CN117237279A (zh) 一种非均匀失真全景图像盲质量评价方法及***
CN107644203B (zh) 一种形状自适应分类的特征点检测方法
CN115880170A (zh) 基于图像先验和门控注意力学习的单图去雨方法和***
CN115731166A (zh) 一种基于深度学习的高压电缆接头打磨缺陷检测方法
CN115272203A (zh) 一种基于深度学习的无参考图像质量评价方法
CN111428730B (zh) 弱监督细粒度物体分类方法
CN115272350A (zh) 一种计算机pcb主板生产质量检测方法
CN111462002A (zh) 一种基于卷积神经网络的水下图像增强与复原方法
CN108629771B (zh) 一种具有尺度鲁棒性的图像质量盲评价方法
CN110660048A (zh) 一种基于形状特征的皮革表面缺陷检测算法
CN114202491A (zh) 一种增强光学图像的方法及***
CN112258592A (zh) 一种人脸可见光图的生成方法及相关装置
CN115994900A (zh) 基于迁移学习的无监督缺陷检测方法和***、存储介质
CN113947567B (zh) 基于多任务学习的缺陷检测方法
CN115619796A (zh) 获取光伏组件模板的方法及装置、非易失性存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant