CN117333383B - 一种表面缺陷检测方法、装置和设备 - Google Patents

一种表面缺陷检测方法、装置和设备 Download PDF

Info

Publication number
CN117333383B
CN117333383B CN202311154548.7A CN202311154548A CN117333383B CN 117333383 B CN117333383 B CN 117333383B CN 202311154548 A CN202311154548 A CN 202311154548A CN 117333383 B CN117333383 B CN 117333383B
Authority
CN
China
Prior art keywords
reflection
image
workpiece
generator
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311154548.7A
Other languages
English (en)
Other versions
CN117333383A (zh
Inventor
高红超
杜洪威
闫笑颜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong OPT Machine Vision Co Ltd
Original Assignee
Guangdong OPT Machine Vision Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong OPT Machine Vision Co Ltd filed Critical Guangdong OPT Machine Vision Co Ltd
Priority to CN202311154548.7A priority Critical patent/CN117333383B/zh
Publication of CN117333383A publication Critical patent/CN117333383A/zh
Application granted granted Critical
Publication of CN117333383B publication Critical patent/CN117333383B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供一种表面缺陷检测方法、装置和设备。在本申请实施例中，能够获取待表面缺陷检测的目标工件图像；将所述目标工件图像输入至反光估计模型中，以输出得到所述目标工件图像的反光类型，其中，所述反光估计模型为基于多个工件图像以及对应的反光类型标签训练得到的，所述反光类型包括无反光类型和有反光类型；若所述目标工件图像的反光类型为有反光类型，则通过反光擦除网络对所述目标工件图像进行抹除反光区域的修复操作；其中，所述反光擦除网络为基于多个反光工件在多个不同成像效果下的原始反光图像，以及所述多个反光工件的原始无反光图像训练得到的；将所述修复操作后的目标工件图像输入至缺陷检测网络中。

Description

一种表面缺陷检测方法、装置和设备
技术领域
本申请涉及深度学习技术领域，尤其涉及一种表面缺陷检测方法、装置和设备。
背景技术
工件的表面缺陷检测是工业生产中保证产品质量的重要一环，传统的人工检测易受主观因素的影响，漏检误检率很高，检测效率低下。还有一些采用超声扫描检测法、红外检测法等无损检测方法，但因其检测成本较高，大多局限于部分高精密零件的抽检。随着深度学习等新兴技术的发展，使用以卷积神经网络为代表的深度神经网络进行工件表面缺陷检测的技术正在被广泛地研究，这类检测方法也正在逐渐被应用到各种实际的工业场景中。
目前使用深度神经网络进行工件的表面缺陷检测时，清晰的工件图片往往是高效检测的重要前提。然而，由于有一些工件表面通常较为光滑、而且具有高反光等特性，这就使得获取到的图片表面反光严重，导致工件的缺陷表面不清晰，无法获取到反光部位的图片细节，在进行缺陷检测时会影响被测物的缺陷特征提取，使得检测结果出现错检漏检，无法满足工业需求，从而降低表面缺陷检测成功率，对工件的缺陷检测造成了很大的困难。
发明内容
本申请的多个方面提供一种表面缺陷检测方法、装置和设备，用于解决对具备反光特性的工件的缺陷检测成功率较低的问题。
本申请实施例提供一种表面缺陷检测方法，包括：获取待表面缺陷检测的目标工件图像；将所述目标工件图像输入至反光估计模型中，以输出得到所述目标工件图像的反光类型，其中，所述反光估计模型为基于多个工件图像以及对应的反光类型标签训练得到的，所述反光类型包括无反光类型和有反光类型，所述有反光类型包括第一反光程度和第二反光程度；若所述目标工件图像的反光类型为有反光类型，则通过反光擦除网络对所述目标工件图像进行抹除反光区域的修复操作；其中，所述反光擦除网络为基于多个反光工件在多个不同成像效果下的原始反光图像，以及所述多个反光工件的原始无反光图像训练得到的；将所述修复操作后的目标工件图像输入至缺陷检测网络中，以输出得到所述目标工件图像的表面缺陷检测结果。
本申请实施例还提供一种表面缺陷检测装置，包括：图像获取模块，用于获取待表面缺陷检测的目标工件图像；反光估计模块，用于将所述目标工件图像输入至反光估计模型中，以输出得到所述目标工件图像的反光类型，其中，所述反光估计模型为基于多个工件图像以及对应的反光类型标签训练得到的，所述反光类型包括无反光类型和有反光类型，所述有反光类型包括第一反光程度和第二反光程度；反光修复模块，用于若所述目标工件图像的反光类型为有反光类型，则通过反光擦除网络对所述目标工件图像进行抹除反光区域的修复操作；其中，所述反光擦除网络为基于多个反光工件在多个不同成像效果下的原始反光图像，以及所述多个反光工件的原始无反光图像训练得到的；缺陷检测模块，用于将所述修复操作后的目标工件图像输入至缺陷检测网络中，以输出得到所述目标工件图像的表面缺陷检测结果。
本申请实施例还提供一种电子设备，包括：存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，与所述存储器耦合，用于执行所述计算机程序，以用于：获取待表面缺陷检测的目标工件图像；将所述目标工件图像输入至反光估计模型中，以输出得到所述目标工件图像的反光类型，其中，所述反光估计模型为基于多个工件图像以及对应的反光类型标签训练得到的，所述反光类型包括无反光类型和有反光类型，所述有反光类型包括第一反光程度和第二反光程度；若所述目标工件图像的反光类型为有反光类型，则通过反光擦除网络对所述目标工件图像进行抹除反光区域的修复操作；其中，所述反光擦除网络为基于多个反光工件在多个不同成像效果下的原始反光图像，以及所述多个反光工件的原始无反光图像训练得到的；将所述修复操作后的目标工件图像输入至缺陷检测网络中，以输出得到所述目标工件图像的表面缺陷检测结果。
本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，当所述计算机程序被处理器执行时，致使所述处理器实现本申请实施例提供的表面缺陷检测方法中的步骤。
本申请实施例中提供的表面缺陷检测方法，能够获取待表面缺陷检测的目标工件图像；并通过反光估计模型预测目标工件图像的反光类型，其中，该反光估计模型为基于多个工件图像以及对应的反光类型标签训练得到的，该反光类型包括无反光类型和有反光类型。并在确定目标工件图像的反光类型为有反光类型的情况下，通过反光擦除网络对目标工件图像进行抹除反光区域的修复操作；其中，反光擦除网络为基于多个反光工件在多个不同成像效果下的原始反光图像，以及多个反光工件的原始无反光图像训练得到的，最后再将修复操作后的目标工件图像输入至缺陷检测网络中，便可输出得到目标工件图像的表面缺陷检测结果，该缺陷检测结果相较于反光修复前的缺陷检测效果显然会更加准确，从而减少工件表面反光对缺陷检测结果的影响。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请示例性实施例提供的一种表面缺陷检测方法的流程示意图；
图2为本申请实施例提供的表面缺陷检测方法中的反光估计模型的结构示意图；
图3为本申请实施例提供的反光擦除网络的结构示意图；
图4为本申请实施例提供的第一生成器和第二生成器的结构示意图；
图5为本申请实施例提供的第一判别器和第二判别器的结构示意图；
图6为本申请实施例提供的表面缺陷检测方法的详细流程示意图；
图7为本申请示例性实施例提供的一种表面缺陷检测装置的示意图；
图8为本申请示例性实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
解决对具备反光特性的工件的缺陷检测成功率较低的问题，在本申请一些实施例中提供一种表面缺陷检测方法。能够获取待表面缺陷检测的目标工件图像；并通过反光估计模型预测目标工件图像的反光类型，其中，该反光估计模型为基于多个工件图像以及对应的反光类型标签训练得到的，该反光类型包括无反光类型和有反光类型。并在确定目标工件图像的反光类型为有反光类型的情况下，通过反光擦除网络对目标工件图像进行抹除反光区域的修复操作；其中，反光擦除网络为基于多个反光工件在多个不同成像效果下的原始反光图像，以及多个反光工件的原始无反光图像训练得到的，最后再将修复操作后的目标工件图像输入至缺陷检测网络中，便可输出得到目标工件图像的表面缺陷检测结果，该缺陷检测结果相较于反光修复前的缺陷检测效果显然会更加准确，从而减少工件表面反光对缺陷检测结果的影响。
以下结合附图，详细说明本申请各实施例提供的技术方案。
图1为本申请示例性实施例提供的一种缺陷检测网络的构建方法的流程示意图。如图1所示，该方法包括：
步骤110，获取待表面缺陷检测的目标工件图像。
步骤120，将目标工件图像输入至反光估计模型中，以输出得到目标工件图像的反光类型，其中，反光估计模型为基于多个工件图像以及对应的反光类型标签训练得到的，反光类型包括无反光类型和有反光类型。
在一些示例性的实施例中，反光估计模型的训练过程包括：
获取工业场景下待检测工件的样本图像数据集，所述样本图像数据集中包含有多个表面反光的样本图像以及多个表面不反光的样本图像，以及对应的反光程度标签；
按照预设的训练样本数量，随机从样本图像数据集选择多个图像；
对多个图像进行预设的图像增强操作，预设的图像增强操作包括翻转、模糊、缩放和随机裁剪中的至少一种；
基于所述图像增强操作后的多个图像以及预设的交叉熵损失函数，训练得到反光估计模型，其中，反光估计模型为基于ResNet18构建得到的。
其中，反光类型可包括弱反光类型和强反光类型，其中，弱反光类型的反光程度为第一反光程度，强反光类型的反光程度为第二反光程度。具体地，该反光估计模型的训练过程可包括：S1，可将获取的工业场景下待检测工件的样本图像数据集中的样本图像分为无反光类型、弱反光类型和强反光类型，即对应的反光程度标签可包括无反光类型、弱反光类型和强反光类型。S2，再随机从工业场景下待检测工件的样本图像数据集中选择一批图像(包含多个图像)，并对这批图像中的各个图像执行翻转、模糊、缩放、随机裁剪等一种或几种的预设的图像增强操作。S3，再将图像增强操作的各个图像输入至反光估计模型中，通过反光估计模型对各个图像进行特征提取以及基于各个图像的特征进行反光类别预测操作，以预测各个图像的反光程度，并基于预测结果和各个图像的反光程度标签，计算反光估计模型的多分类交叉熵损失函数值。S4，重复执行S3，直至反光估计模型的多分类交叉熵损失函数值不再降低为止，得到训练好的反光估计模型。
可选地，S3中，对各个图像进行反光类别预测操作，具体可预测得到各个图像的反光程度估计值logits，再通过sigmoid激活函数将各个图像的反光程度估计值logits转化为多标签的表示形式p，其中，p＝sigmoid(logits)，sigmoid(logits)＝1/(1+e-logits)。反光估计模型的多分类交叉熵损失函数的计算公式为：
其中，M为反光程度标签的类型个数，即类别的数量，yic是符号函数(0或1)，如果样本图像i的真实类别(即真实反光程度标签)等于指定反光程度标签c取1，否则取0，pic表示观测样本图像i属于指定反光程度标签c的预测概率。图2为本申请实施例提供的反光估计模型的结构示意图，图2中，该反光估计模型包括用于对输入图像进行特征提取的ResNet18和两个全连接层，即图中的FC(英文全称为Fully Connected)层，全连接层是神经网络中的一种常见的层类型，可将输入特征与每个神经元之间的连接权重进行矩阵乘法和偏置加法操作，从而得到输出结果。图2所示的第一个FC层对ResNet18提取的输入图像的特征进行特征提取，第二个FC层则基于第一个FC层提取的特征进行反光类别的预测，得到输入图像的反光程度估计值logits，再通过sigmoid激活函数将各个图像的反光程度估计值logits转化为多标签的表示形式p，得到输入图像的反光类型。
步骤130，若目标工件图像的反光类型为有反光类型，则通过反光擦除网络对目标工件图像进行抹除反光区域的修复操作；其中，反光擦除网络为基于多个反光工件在多个不同成像效果下的原始反光图像，以及多个反光工件的原始无反光图像训练得到的。
其中，反光擦除网络的构建过程包括：
获取多个反光工件在多个不同成像效果下的原始反光图像，以及多个反光工件的原始无反光图像；
建立多个反光工件中各反光工件的原始反光图像和原始无反光图像之间的映射关系，以获取反光擦除网络训练集；
基于反光擦除网络训练集，训练得到反光擦除网络，反光擦除网络包括第一生成器、第二生成器、第一判别器和第二判别器，第一生成器与第一判别器连接，第二生成器和第二判别器连接，多个反光工件中各反光工件的原始反光图像作为所述第一生成器的输入，多个反光工件中各反光工件的原始无反光图像作为第二生成器的输入；
其中，第一生成器的网络模块和第二生成器的网络模块的网络结构相同，包括编码器、辅助分类器和解码器；第一判别器的网络模块和第二判别器的网络模块的网络结构相同，包括编码器和辅助分类器；第一生成器用于基于输入的反光工件的原始反光图像生成输入的反光工件的无反光图像，第一判别器用于确定第一生成器模块生成的所述输入的反光工件的无反光图像、与输入的反光工件的原始无反光图像之间的相似度；第二生成器用于基于输入的反光工件的原始无反光图像生成输入的反光工件的反光图像，第二判别器用于确定第二生成器模块生成的输入的反光工件的反光图像、与输入的反光工件的原始反光图像之间的相似度。
图3为本申请实施例提供的反光擦除网络的结构示意图，该反光擦除网络的结构包括第一生成器Gs→t和第二生成器Gt→s以及第一判别器Dt和第二判别器Ds组成。其中，第一生成器Gs→t用于基于输入的反光工件的原始反光图像X生成该反光工件的无反光图像第一判别器Dt用于确定第一生成器模块Gs→t生成的反光工件的无反光图像/>与该反光工件的原始无反光图像Y之间的相似度；第二生成器Gt→s用于基于反光工件的原始无反光图像Y生成该反光工件的反光图像/>第二判别器Ds用于确定第二生成器模块Gt→s生成的反光工件的反光图像/>与该反光工件的原始反光图像X之间的相似度。
图4为本申请实施例提供的第一生成器和第二生成器的结构示意图。第一生成器Gs→和第二生成器Gt→s的结构如图3所示。这两个生成器都是由编码器Encoder、辅助分类器Auxiliary classifier和解码器Decoder三部分组成。其中，编码器用于对输入图像分别进行降采样操作以及通过图像特征提取模块进行特征编码操作得到编码特征图(图3所示的其中/>为编码特征图上的第一个通道的数据，/>为编码特征图上的第n个通道的数据)，辅助分类器用于基于编码特征图生成高语义向量，得到注意力特征图(图3所示的其中/>为注意力特征图上的第一个通道的数据，/>为注意力特征图上的第n个通道的数据)，解码器用于对注意力特征图进行解码操作得到待输出图像，并对待输出图像进行上采样操作得到输出图像，其中，解码器由全连接层和自适应图像特征提取网络组成。其中，输出图像的尺寸与输入图像的尺寸一致，待输出图像的尺寸与对输入图像进行降采样操作后的图像尺寸一致，该待输出图像的尺寸小于输出图像和输入图像的尺寸，用于减少生成器网络对输入图像的计算量。其中，辅助分类器模块用于确定编码特征图中各个通道的重要性度量，可用权重w1～wn来表征，其中，w1为编码特征图中第一个通道的权重，wn为编码特征图中第n个通道的权重。图3所示的注意力特征图/>为基于编码特征图中各个通道的权重和编码特征图各个通道的数据加权得到。
其中，辅助分类器用于生成关注更重要区域并忽略次要区域的通道重要性度量。具体来说，辅助分类器使用global pooling和max-pooling来学习源域中特征图的第k个通道数据的权重wk，权重wk决定了该通道的特征数据的重要性，实现了特征图下的注意力机制。
图5为本申请实施例提供的第一判别器和第二判别器的结构示意图。这两个判别器都是由编码器Encoder和辅助分类器Auxiliary classifier组成。其中，编码器用于对输入图像(目标工件图像的原始无反光图像和目标工件图像的无反光图像，该无反光图像由第一生成器生成)分别进行降采样操作以及通过图像特征提取网络进行特征编码操作得到编码特征图(图4所示的其中/>为编码特征图上的第一个通道的数据，/>为编码特征图上的第n个通道的数据)，辅助分类器用于基于编码特征图生成高语义向量，得到注意力特征图(图4所示的/>其中/>为注意力特征图上的第一个通道的数据，为注意力特征图上的第n个通道的数据)，最后通过回归模块logit对注意力特征图进行回归拟合处理得到输入图像(即目标工件图像的原始无反光图像和目标工件图像的无反光图像)之间的相似度。
在一些示例性的实施例中，基于反光擦除网络训练集，训练得到反光擦除网络，包括：
从反光去除数据集中随机选择一个目标工件的原始反光图像和原始无反光图像，目标工件为多个反光工件中的任意一个反光工件；
将目标工件的原始反光图像作为第一生成器的输入，以通过第一生成器基于目标工件的原始反光图像生成目标工件的无反光图像，以及将目标工件的原始无反光图像作为第二生成器的输入，以通过第二生成器基于目标工件的原始无反光图像生成目标工件的反光图像；
将目标工件的原始反光图像和目标工件的反光图像作为第一判别器的输入，以通过第一判别器确定目标工件的原始反光图像和目标工件的反光图像之间的第一相似度，以及将目标工件的原始无反光图像和目标工件的无反光图像作为第二判别器的输入，以通过第二判别器确定目标工件的原始无反光图像和目标工件的无反光图像之间的第二相似度；
基于第一相似度和第二相似度，优化第一生成器和第二生成器的网络模块的网络参数；
按照预设的训练轮次，重复执行从反光去除数据集中随机选择一个目标工件的原始反光图像和原始无反光图像、至优化第一生成器和第二生成器的网络模块的网络参数的步骤，训练得到反光擦除网络。
其中，生成器(第一生成器或第二生成器)将通过最小化损失来学习其对应的变换函数，通过测量生成器(第一生成器或第二生成器)生成的数据与目标数据的差异来计算第一生成器或第二生成器的损失。以第一生成器为例，第一生成器生成的数据为目标工件的无反光图像，第一生成器的目标数据为目标工件的原始无反光图像，那么目标工件的无反光图像与目标工件的原始无反光图像之间的差异即可作为第一生成器的损失。以第二生成器为例，第二生成器生成的数据为目标工件的反光图像，第一生成器的目标数据为目标工件的原始反光图像，那么目标工件的反光图像与目标工件的原始反光图像之间的差异即可作为第二生成器的损失。生成器(第一生成器或第二生成器)生成的数据与目标数据的差异越大，生成器将受到的处罚就越高。判别器(第一判别器或第二判别器)的损失也用于训练判别器，以使得第一判别器能够擅长区分真实数据(即目标工件的原始无反光图像)和合成数据(即第一生成器生成的目标工件的无反光图像)，使得第二判别器能够擅长区分真实数据(即目标工件的原始反光图像)和合成数据(即第二生成器生成的目标工件的反光图像)。显然，第一生成器的生成结果能够作为第一判别器的输入，用于训练第一判别器，而第一判别器的结果则用来对第一生成器进行优化；第二生成器的生成结果作为第二判别器的输入，用于训练第二判别器，而第二判别器的结果则用来对第二生成器进行优化。即第一生成器和第一判别器之间能够彼此改善，第二生成器和第二判别器之间也能够彼此改善。
在一些示例性的实施例中，若目标工件图像的反光类型为有反光类型，则所述方法还包括：
若目标工件图像的反光类型为有反光类型，则通过反光估计模型确定目标工件图像的反光程度估计值；
根据预设的反光程度估计值与反光程度之间的映射关系，确定目标工件图像的反光程度估计值对应的反光程度，反光程度包括第一反光程度和第二反光程度，第一反光程度小于第二反光程度。
在一些示例性的实施例中，对于一些反光程度较高的图像，即便是缺陷检测结果为无缺陷，为提高对这类图像的缺陷检测的准确度，可对缺陷检测结果为无缺陷且反光程度较高的图像进行再次核验。具体地，若目标工件图像的表面缺陷检测结果为无缺陷且目标工件图像的反光程度为第二反光程度，则确定目标工件图像为异常图像。
步骤140，将修复操作后的目标工件图像输入至缺陷检测网络中，以输出得到目标工件图像的表面缺陷检测结果。
在一些示例性的实施例中，为提高对无反光图像的缺陷检测效率，可将这类图像直接输入至缺陷检测网络中。具体地，所述方法还包括：
若目标工件图像的反光类型为无反光类型，则将目标工件图像输入至缺陷检测网络中，以输出得到目标工件图像的表面缺陷检测结果。
作为一种示例，结合图6所示的表面缺陷检测的详细流程示意图对表面缺陷检测的过程进行详细介绍，该流程可包括：
S11，输入图像。
输入待检测的多个工件图像(1～n)至反光估计模型中。
S12，反光程度预测。
利用反光估计模型对待检测的多个工件图像(1～n)进行表面反光程度的估计。对于多个工件图像中的任意一个工件图像i，通过反光估计模型确定工件图像i的反光估计值为Ri。
S13，确定Ri是否大于或等于τ。
基于工件图像i的反光估计值为Ri，可根据预先设定的反光可信度阈值τ，对不同类型的反光图像进行相应的去反光和缺陷检测操作，并输出相对应的缺陷检测结果或异常结果。其中，反光可信度阈值τ用于指示反光估计模型对工件图像i的反光检测的结果的可信度，高于或等于该阈值则表明反光估计模型对工件图像i的反光检测的结果是可信的，低于该阈值，则表明反光估计模型对工件图像i的反光检测的结果是不可信的，此时可直接用缺陷检测网络对其进行缺陷检测。
S14，输入缺陷检测网络。
对于反光估计值Ri<τ的工件图像i，通过缺陷检测网络对工件图像i进行缺陷检测，执行S15确定是否有检测结果，若有检测结果则输出检测结果，若无检测结果则执行S21输出异常结果。由于工件图像i反光估计值Ri<τ，且缺陷检测网络对工件图像i进行缺陷检测无结果，则表明该工件图像i存在异常需要人工进行核验，此时可输出异常结果，以指示人工对其进行核验。
S16，计算argmax(Ri)。
对反光估计值Ri≥τ的工件图像i，计算argmax(Ri)，以从反光估计值Ri≥τ的工件图像i中，选择反光估计值最大的工件图像i，进行相应的反光去除和/或缺陷检测操作。具体地，可基于预设的反光程度估计值与反光程度之间的映射关系，确定工件图像i的反光类型是无反光、弱反光还是强反光。
S17，通过反光擦除网络抹除反光区域。
对于弱反光类型的工件图像i，首先通过反光擦除网络抹除反光区域，然后利用缺陷检测网络对反光擦除后的工件图像i进行检测，并输出检测结果。
对于强反光类型的工件图像i，首先通过反光擦除网络抹除反光区域，然后利用缺陷检测网络对反光擦除后的工件图像i进行检测，并输出检测结果，若缺陷检测网络检测不到缺陷信息，则输出异常结果。
S18，输入至缺陷检测网络。
对于无反光类型的工件图像i，输入至缺陷检测网络进行后续的缺陷检测，并输出检测结果。
S19，输出缺陷检测结果。
S20，确定是否有缺陷检测结果且是否为强反光类型。
若缺陷检测网络检测不到缺陷信息且工件图像i为强反光类型，则输出异常结果。
S21，输出异常结果。
重复执行S15及其后续的步骤，直至输出多个工件图像的检测结果。
本申请实施例中提供的表面缺陷检测方法，获取待表面缺陷检测的目标工件图像；并通过反光估计模型预测目标工件图像的反光类型，其中，该反光估计模型为基于多个工件图像以及对应的反光类型标签训练得到的，该反光类型包括无反光类型和有反光类型。并在确定目标工件图像的反光类型为有反光类型的情况下，通过反光擦除网络对目标工件图像进行抹除反光区域的修复操作；其中，反光擦除网络为基于多个反光工件在多个不同成像效果下的原始反光图像，以及多个反光工件的原始无反光图像训练得到的，最后再将修复操作后的目标工件图像输入至缺陷检测网络中，便可输出得到目标工件图像的表面缺陷检测结果，该缺陷检测结果相较于反光修复前的缺陷检测效果显然会更加准确，从而减少工件表面反光对缺陷检测结果的影响。
另外，本实施例提供的方法可应用于任何存在反光的工件的缺陷检测的应用场景中。
需要说明的是，上述实施例所提供方法的各步骤的执行主体均可以是同一设备，或者，该方法也由不同设备作为执行主体。比如，步骤110至步骤130的执行主体可以为设备A；又比如，步骤110至步骤120的执行主体可以为设备A，步骤130的执行主体可以为设备B；等等。
还需要说明的是，本申请实施例提供的缺陷检测网络的构建方法及缺陷检测方法的网络训练和缺陷检测的思路，不仅局限于缺陷检测的场景，将缺陷检测替换为其他目标检测，比如更加通用普适的物体(车辆、人、猫等物体)检测场景中，上述发明构思中的网络训练、网络构建方法也同样适用于这类场景中。
另外，在上述实施例及附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如110、120、510、等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类别。
图7为本申请示例性实施例提供的一种表面缺陷检测装置700的结构示意图。如图7所示，该装置700包括：图像获取模块710、反光估计模块720和反光修复模块730，其中：
图像获取模块710，用于获取待表面缺陷检测的目标工件图像；
反光估计模块720，用于将所述目标工件图像输入至反光估计模型中，以输出得到所述目标工件图像的反光类型，其中，所述反光估计模型为基于多个工件图像以及对应的反光类型标签训练得到的，所述反光类型包括无反光类型和有反光类型；
反光修复模块730，用于若所述目标工件图像的反光类型为有反光类型，则通过反光擦除网络对所述目标工件图像进行抹除反光区域的修复操作；其中，所述反光擦除网络为基于多个反光工件在多个不同成像效果下的原始反光图像，以及所述多个反光工件的原始无反光图像训练得到的；
缺陷检测模块740，用于将所述修复操作后的目标工件图像输入至缺陷检测网络中，以输出得到所述目标工件图像的表面缺陷检测结果。
可选地，所述装置还包括：所述反光估计模型的训练模块，用于：
获取工业场景下待检测工件的样本图像数据集，所述样本图像数据集中包含有多个表面反光的样本图像以及多个表面不反光的样本图像，以及对应的反光程度标签；
按照预设的训练样本数量，随机从所述样本图像数据集选择多个图像；
对所述多个图像进行预设的图像增强操作，所述预设的图像增强操作包括翻转、模糊、缩放和随机裁剪中的至少一种；
基于所述图像增强操作后的多个图像以及预设的交叉熵损失函数，训练得到所述反光估计模型，其中，所述反光估计模型为基于ResNet18构建得到的。
可选地，所述装置还包括反光擦除网络的构建模块，用于：
获取多个反光工件在多个不同成像效果下的原始反光图像，以及所述多个反光工件的原始无反光图像；
建立多个反光工件中各反光工件的原始反光图像和原始无反光图像之间的映射关系，以获取反光擦除网络训练集；
基于所述反光擦除网络训练集，训练得到反光擦除网络，所述反光擦除网络包括第一生成器、第二生成器、第一判别器和第二判别器，所述第一生成器与所述第一判别器连接，所述第二生成器和所述第二判别器连接，多个所述反光工件中各反光工件的原始反光图像作为所述第一生成器的输入，多个所述反光工件中各反光工件的原始无反光图像作为所述第二生成器的输入；
其中，所述第一生成器的网络模块和所述第二生成器的网络模块的网络结构相同，包括编码器、辅助分类器和解码器；所述第一判别器的网络模块和所述第二判别器的网络模块的网络结构相同，包括编码器和辅助分类器；所述第一生成器用于基于输入的反光工件的原始反光图像生成所述输入的反光工件的无反光图像，所述第一判别器用于确定所述第一生成器模块生成的所述输入的反光工件的无反光图像、与所述输入的反光工件的原始无反光图像之间的相似度；所述第二生成器用于基于输入的反光工件的原始无反光图像生成所述输入的反光工件的反光图像，所述第二判别器用于确定所述第二生成器模块生成的所述输入的反光工件的反光图像、与所述输入的反光工件的原始反光图像之间的相似度。
可选地，所述反光擦除网络的构建模块在基于所述反光擦除网络训练集，训练得到反光擦除网络时，具体用于：
从所述反光去除数据集中随机选择一个目标工件的原始反光图像和原始无反光图像，所述目标工件为所述多个反光工件中的任意一个反光工件；
将所述目标工件的原始反光图像作为所述第一生成器的输入，以通过所述第一生成器基于所述目标工件的原始反光图像生成所述目标工件的无反光图像，以及将所述目标工件的原始无反光图像作为所述第二生成器的输入，以通过所述第二生成器基于所述目标工件的原始无反光图像生成所述目标工件的反光图像；
将所述目标工件的原始反光图像和所述目标工件的反光图像作为所述第一判别器的输入，以通过所述第一判别器确定所述目标工件的原始反光图像和所述目标工件的反光图像之间的第一相似度，以及将所述目标工件的原始无反光图像和所述目标工件的无反光图像作为所述第二判别器的输入，以通过所述第二判别器确定所述目标工件的原始无反光图像和所述目标工件的无反光图像之间的第二相似度；
基于所述第一相似度和所述第二相似度，优化所述第一生成器和所述第二生成器的网络模块的网络参数；
按照预设的训练轮次，重复执行从所述反光去除数据集中随机选择一个目标工件的原始反光图像和原始无反光图像、至优化所述第一生成器和所述第二生成器的网络模块的网络参数的步骤，训练得到所述反光擦除网络。
可选地，所述编码器用于对输入图像分别进行降采样操作以及通过图像特征提取网络进行特征编码操作得到编码特征图，所述辅助分类器用于基于所述编码特征图生成高语义向量，得到注意力特征图，所述解码器用于对所述注意力特征图进行解码操作得到待输出图像，并对所述待输出图像进行上采样操作得到输出图像，其中，所述解码器由全连接层和自适应图像特征提取网络组成。
可选地，若所述目标工件图像的反光类型为有反光类型，则所述装置还包括反光程度确定模块，用于：
若所述目标工件图像的反光类型为有反光类型，则通过所述反光估计模型确定所述目标工件图像的反光程度估计值；
根据预设的反光程度估计值与反光程度之间的映射关系，确定所述目标工件图像的反光程度估计值对应的反光程度，所述反光程度包括第一反光程度和第二反光程度，所述第一反光程度小于所述第二反光程度。
可选地，所述装置还包括，异常图像确定模块，用于：
若所述目标工件图像的表面缺陷检测结果为无缺陷且所述目标工件图像的反光程度为所述第二反光程度，则确定所述目标工件图像为异常图像。
表面缺陷检测装置700能够实现图1～图6的方法实施例的方法，具体可参考图1～图6所示实施例的表面缺陷检测方法，不再赘述。
本申请实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述的缺陷检测网络的构建方法，或如上述的缺陷检测方法。具体地，图8为本申请示例性实施例提供的一种电子设备的结构示意图。如图8所示，该设备包括：存储器81和处理器82。
存储器81，用于存储计算机程序，并可被配置为存储其它各种数据以支持在计算设备上的操作。这些数据的示例包括用于在计算设备上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图像，视频等。
处理器82，与存储器81耦合，用于执行存储器81中的计算机程序，以用于：获取待表面缺陷检测的目标工件图像；将所述目标工件图像输入至反光估计模型中，以输出得到所述目标工件图像的反光类型，其中，所述反光估计模型为基于多个工件图像以及对应的反光类型标签训练得到的，所述反光类型包括无反光类型和有反光类型；若所述目标工件图像的反光类型为有反光类型，则通过反光擦除网络对所述目标工件图像进行抹除反光区域的修复操作；其中，所述反光擦除网络为基于多个反光工件在多个不同成像效果下的原始反光图像，以及所述多个反光工件的原始无反光图像训练得到的；将所述修复操作后的目标工件图像输入至缺陷检测网络中，以输出得到所述目标工件图像的表面缺陷检测结果。
本申请实施例中提供的电子设备，能够获取待表面缺陷检测的目标工件图像；并通过反光估计模型预测目标工件图像的反光类型，其中，该反光估计模型为基于多个工件图像以及对应的反光类型标签训练得到的，该反光类型包括无反光类型和有反光类型。并在确定目标工件图像的反光类型为有反光类型的情况下，通过反光擦除网络对目标工件图像进行抹除反光区域的修复操作；其中，反光擦除网络为基于多个反光工件在多个不同成像效果下的原始反光图像，以及多个反光工件的原始无反光图像训练得到的，最后再将修复操作后的目标工件图像输入至缺陷检测网络中，便可输出得到目标工件图像的表面缺陷检测结果，该缺陷检测结果相较于反光修复前的缺陷检测效果显然会更加准确，从而减少工件表面反光对缺陷检测结果的影响。
进一步，如图8所示，该电子设备还包括：通信组件83、显示器84、电源组件85、音频组件86等其它组件。图8中仅示意性给出部分组件，并不意味着电子设备只包括图8所示组件。另外，根据流量回放设备的实现形态的不同，图8中虚线框内的组件为可选组件，而非必选组件。例如，当电子设备实现为智能手机、平板电脑或台式电脑等终端设备时，可以包括图8中虚线框内的组件；当电子设备实现为常规服务器、云服务器、数据中心或服务器阵列等服务端设备时，可以不包括图8中虚线框内的组件。
相应地，本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，计算机程序被处理器执行时，致使处理器能够实现上述缺陷检测网络的构建方法实施例中的步骤。
上述图8中的通信组件被配置为便于通信组件所在设备和其他设备之间有线或无线方式的通信。通信组件所在设备可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件还可以包括近场通信(NFC)模块，射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术等。
上述图8中的存储器可以由任何类别的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
上述图8中的显示器包括屏幕，其屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。
上述图8中的电源组件，为电源组件所在设备的各种组件提供电力。电源组件可以包括电源管理***，一个或多个电源，及其他与为电源组件所在设备生成、管理和分配电力相关联的组件。
上述图8中的音频组件，可被配置为输出和/或输入音频信号。例如，音频组件包括一个麦克风(MIC)，当音频组件所在设备处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器或经由通信组件发送。在一些实施例中，音频组件还包括一个扬声器，用于输出音频信号。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类别的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种表面缺陷检测方法，其特征在于，包括：
获取待表面缺陷检测的目标工件图像；
将所述目标工件图像输入至反光估计模型中，以输出得到所述目标工件图像的反光类型，其中，所述反光估计模型为基于多个工件图像以及对应的反光类型标签训练得到的，所述反光类型包括无反光类型和有反光类型；
若所述目标工件图像的反光类型为有反光类型，则通过反光擦除网络对所述目标工件图像进行抹除反光区域的修复操作；其中，所述反光擦除网络为基于多个反光工件在多个不同成像效果下的原始反光图像，以及所述多个反光工件的原始无反光图像训练得到的；所述反光擦除网络包括第一生成器、第二生成器、第一判别器和第二判别器，所述第一生成器与所述第一判别器连接，所述第二生成器和所述第二判别器连接，多个所述反光工件中各反光工件的原始反光图像作为所述第一生成器的输入，多个所述反光工件中各反光工件的原始无反光图像作为所述第二生成器的输入；其中，所述第一生成器的网络模块和所述第二生成器的网络模块的网络结构相同，包括编码器、辅助分类器和解码器；所述第一判别器的网络模块和所述第二判别器的网络模块的网络结构相同，包括编码器和辅助分类器；所述第一生成器用于基于输入的反光工件的原始反光图像生成所述输入的反光工件的无反光图像，所述第一判别器用于确定所述第一生成器模块生成的所述输入的反光工件的无反光图像、与所述输入的反光工件的原始无反光图像之间的相似度；所述第二生成器用于基于输入的反光工件的原始无反光图像生成所述输入的反光工件的反光图像，所述第二判别器用于确定所述第二生成器模块生成的所述输入的反光工件的反光图像、与所述输入的反光工件的原始反光图像之间的相似度；
将所述修复操作后的目标工件图像输入至缺陷检测网络中，以输出得到所述目标工件图像的表面缺陷检测结果。
2.如权利要求1所述的方法，其特征在于，所述反光估计模型的训练过程包括：
获取工业场景下待检测工件的样本图像数据集，所述样本图像数据集中包含有多个表面反光的样本图像以及多个表面不反光的样本图像，以及对应的反光程度标签；
按照预设的训练样本数量，随机从所述样本图像数据集选择多个图像；
对所述多个图像进行预设的图像增强操作，所述预设的图像增强操作包括翻转、模糊、缩放和随机裁剪中的至少一种；
基于所述图像增强操作后的多个图像以及预设的交叉熵损失函数，训练得到所述反光估计模型，其中，所述反光估计模型为基于ResNet18构建得到的。
3.如权利要求1所述的方法，其特征在于，所述反光擦除网络的构建过程包括：
获取多个反光工件在多个不同成像效果下的原始反光图像，以及所述多个反光工件的原始无反光图像；
建立多个反光工件中各反光工件的原始反光图像和原始无反光图像之间的映射关系，以获取反光擦除网络训练集；
基于所述反光擦除网络训练集，训练得到反光擦除网络。
4.如权利要求3所述的方法，其特征在于，所述基于所述反光擦除网络训练集，训练得到反光擦除网络，包括：
从所述反光擦除训练集中随机选择一个目标工件的原始反光图像和原始无反光图像，所述目标工件为所述多个反光工件中的任意一个反光工件；
将所述目标工件的原始反光图像作为所述第一生成器的输入，以通过所述第一生成器基于所述目标工件的原始反光图像生成所述目标工件的无反光图像，以及将所述目标工件的原始无反光图像作为所述第二生成器的输入，以通过所述第二生成器基于所述目标工件的原始无反光图像生成所述目标工件的反光图像；
将所述目标工件的原始反光图像和所述目标工件的反光图像作为所述第一判别器的输入，以通过所述第一判别器确定所述目标工件的原始反光图像和所述目标工件的反光图像之间的第一相似度，以及将所述目标工件的原始无反光图像和所述目标工件的无反光图像作为所述第二判别器的输入，以通过所述第二判别器确定所述目标工件的原始无反光图像和所述目标工件的无反光图像之间的第二相似度；
基于所述第一相似度和所述第二相似度，优化所述第一生成器和所述第二生成器的网络模块的网络参数；
按照预设的训练轮次，重复执行从所述反光擦除训练集中随机选择一个目标工件的原始反光图像和原始无反光图像、至优化所述第一生成器和所述第二生成器的网络模块的网络参数的步骤，训练得到所述反光擦除网络。
5.如权利要求3或4所述的方法，其特征在于，所述编码器用于对输入图像分别进行降采样操作以及通过图像特征提取网络进行特征编码操作得到编码特征图，所述辅助分类器用于基于所述编码特征图生成高语义向量，得到注意力特征图，所述解码器用于对所述注意力特征图进行解码操作得到待输出图像，并对所述待输出图像进行上采样操作得到输出图像，其中，所述解码器由全连接层和自适应图像特征提取网络组成。
6.如权利要求1所述的方法，其特征在于，若所述目标工件图像的反光类型为有反光类型，则所述方法还包括：
若所述目标工件图像的反光类型为有反光类型，则通过所述反光估计模型确定所述目标工件图像的反光程度估计值；
根据预设的反光程度估计值与反光程度之间的映射关系，确定所述目标工件图像的反光程度估计值对应的反光程度，所述反光程度包括第一反光程度和第二反光程度，所述第一反光程度小于所述第二反光程度。
7.如权利要求6所述的方法，其特征在于，所述方法还包括：
若所述目标工件图像的表面缺陷检测结果为无缺陷且所述目标工件图像的反光程度为所述第二反光程度，则确定所述目标工件图像为异常图像。
8.一种表面缺陷检测装置，其特征在于，包括：
图像获取模块，用于获取待表面缺陷检测的目标工件图像；
反光估计模块，用于将所述目标工件图像输入至反光估计模型中，以输出得到所述目标工件图像的反光类型，其中，所述反光估计模型为基于多个工件图像以及对应的反光类型标签训练得到的，所述反光类型包括无反光类型和有反光类型；
反光修复模块，用于若所述目标工件图像的反光类型为有反光类型，则通过反光擦除网络对所述目标工件图像进行抹除反光区域的修复操作；其中，所述反光擦除网络为基于多个反光工件在多个不同成像效果下的原始反光图像，以及所述多个反光工件的原始无反光图像训练得到的；所述反光擦除网络包括第一生成器、第二生成器、第一判别器和第二判别器，所述第一生成器与所述第一判别器连接，所述第二生成器和所述第二判别器连接，多个所述反光工件中各反光工件的原始反光图像作为所述第一生成器的输入，多个所述反光工件中各反光工件的原始无反光图像作为所述第二生成器的输入；其中，所述第一生成器的网络模块和所述第二生成器的网络模块的网络结构相同，包括编码器、辅助分类器和解码器；所述第一判别器的网络模块和所述第二判别器的网络模块的网络结构相同，包括编码器和辅助分类器；所述第一生成器用于基于输入的反光工件的原始反光图像生成所述输入的反光工件的无反光图像，所述第一判别器用于确定所述第一生成器模块生成的所述输入的反光工件的无反光图像、与所述输入的反光工件的原始无反光图像之间的相似度；所述第二生成器用于基于输入的反光工件的原始无反光图像生成所述输入的反光工件的反光图像，所述第二判别器用于确定所述第二生成器模块生成的所述输入的反光工件的反光图像、与所述输入的反光工件的原始反光图像之间的相似度；
缺陷检测模块，用于将所述修复操作后的目标工件图像输入至缺陷检测网络中，以输出得到所述目标工件图像的表面缺陷检测结果。
9.一种电子设备，其特征在于，包括：存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，与所述存储器耦合，用于执行所述计算机程序，以用于：
获取待表面缺陷检测的目标工件图像；
将所述目标工件图像输入至反光估计模型中，以输出得到所述目标工件图像的反光类型，其中，所述反光估计模型为基于多个工件图像以及对应的反光类型标签训练得到的，所述反光类型包括无反光类型和有反光类型；
若所述目标工件图像的反光类型为有反光类型，则通过反光擦除网络对所述目标工件图像进行抹除反光区域的修复操作；其中，所述反光擦除网络为基于多个反光工件在多个不同成像效果下的原始反光图像，以及所述多个反光工件的原始无反光图像训练得到的；所述反光擦除网络包括第一生成器、第二生成器、第一判别器和第二判别器，所述第一生成器与所述第一判别器连接，所述第二生成器和所述第二判别器连接，多个所述反光工件中各反光工件的原始反光图像作为所述第一生成器的输入，多个所述反光工件中各反光工件的原始无反光图像作为所述第二生成器的输入；其中，所述第一生成器的网络模块和所述第二生成器的网络模块的网络结构相同，包括编码器、辅助分类器和解码器；所述第一判别器的网络模块和所述第二判别器的网络模块的网络结构相同，包括编码器和辅助分类器；所述第一生成器用于基于输入的反光工件的原始反光图像生成所述输入的反光工件的无反光图像，所述第一判别器用于确定所述第一生成器模块生成的所述输入的反光工件的无反光图像、与所述输入的反光工件的原始无反光图像之间的相似度；所述第二生成器用于基于输入的反光工件的原始无反光图像生成所述输入的反光工件的反光图像，所述第二判别器用于确定所述第二生成器模块生成的所述输入的反光工件的反光图像、与所述输入的反光工件的原始反光图像之间的相似度；
将所述修复操作后的目标工件图像输入至缺陷检测网络中，以输出得到所述目标工件图像的表面缺陷检测结果。
10.一种存储有计算机程序的计算机可读存储介质，其特征在于，当所述计算机程序被处理器执行时，致使所述处理器实现如权利要求1至7任一所述的表面缺陷检测方法中的步骤。
CN202311154548.7A 2023-09-07 2023-09-07 一种表面缺陷检测方法、装置和设备 Active CN117333383B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311154548.7A CN117333383B (zh) 2023-09-07 2023-09-07 一种表面缺陷检测方法、装置和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311154548.7A CN117333383B (zh) 2023-09-07 2023-09-07 一种表面缺陷检测方法、装置和设备

Publications (2)

Publication Number Publication Date
CN117333383A CN117333383A (zh) 2024-01-02
CN117333383B true CN117333383B (zh) 2024-05-24

Family

ID=89294185

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311154548.7A Active CN117333383B (zh) 2023-09-07 2023-09-07 一种表面缺陷检测方法、装置和设备

Country Status (1)

Country Link
CN (1) CN117333383B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112102201A (zh) * 2020-09-24 2020-12-18 深圳市赛为智能股份有限公司 图像阴影反光消除方法、装置、计算机设备及存储介质
CN113570549A (zh) * 2021-06-30 2021-10-29 青岛海尔科技有限公司 反光表面的缺陷检测方法及装置
WO2022127919A1 (zh) * 2020-12-17 2022-06-23 杭州海康威视数字技术股份有限公司 表面缺陷检测方法、装置、***、存储介质及程序产品
CN115100191A (zh) * 2022-08-22 2022-09-23 南通恒强轧辊有限公司 基于工业检测的金属铸件缺陷识别方法
CN115482220A (zh) * 2022-09-21 2022-12-16 淮阴工学院 基于改进Faster RCNN的高反光金属表面缺陷检测方法
CN115880223A (zh) * 2022-11-10 2023-03-31 淮阴工学院 一种基于改进yolox的高反光金属表面缺陷检测方法
CN116485735A (zh) * 2023-04-06 2023-07-25 深兰人工智能应用研究院(山东)有限公司 缺陷检测方法、装置、电子设备及计算机可读存储介质
CN116611748A (zh) * 2023-07-20 2023-08-18 吴江市高瑞庭园金属制品有限公司 一种钛合金家具生产质量监控***

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112102201A (zh) * 2020-09-24 2020-12-18 深圳市赛为智能股份有限公司 图像阴影反光消除方法、装置、计算机设备及存储介质
WO2022127919A1 (zh) * 2020-12-17 2022-06-23 杭州海康威视数字技术股份有限公司 表面缺陷检测方法、装置、***、存储介质及程序产品
CN113570549A (zh) * 2021-06-30 2021-10-29 青岛海尔科技有限公司 反光表面的缺陷检测方法及装置
CN115100191A (zh) * 2022-08-22 2022-09-23 南通恒强轧辊有限公司 基于工业检测的金属铸件缺陷识别方法
CN115482220A (zh) * 2022-09-21 2022-12-16 淮阴工学院 基于改进Faster RCNN的高反光金属表面缺陷检测方法
CN115880223A (zh) * 2022-11-10 2023-03-31 淮阴工学院 一种基于改进yolox的高反光金属表面缺陷检测方法
CN116485735A (zh) * 2023-04-06 2023-07-25 深兰人工智能应用研究院(山东)有限公司 缺陷检测方法、装置、电子设备及计算机可读存储介质
CN116611748A (zh) * 2023-07-20 2023-08-18 吴江市高瑞庭园金属制品有限公司 一种钛合金家具生产质量监控***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于Mask R-CNN算法在轨道扣件缺陷检测中的应用;闫笑颜;《机械工程师》;20210409(第第2021年04期期);20-23 *
基于深度学习的图像去反光算法研究;喻雷;《中国优秀硕士学位论文全文数据库》;20220115(第第2022年第01期期);I138-2306 *

Also Published As

Publication number Publication date
CN117333383A (zh) 2024-01-02

Similar Documents

Publication Publication Date Title
EP3637310A1 (en) Method and apparatus for generating vehicle damage information
CN111612751A (zh) 基于嵌入分组注意力模块的Tiny-yolov3网络的锂电池缺陷检测方法
CN110675399A (zh) 屏幕外观瑕疵检测方法及设备
CN108229480A (zh) 一种数字表读数的识别方法、装置及设备
CN110827249A (zh) 电子设备背板外观瑕疵检测方法及设备
CN110796647A (zh) 一种电子设备屏幕区域瑕疵检测方法与设备
CN112465049A (zh) 异常检测模型生成方法和装置、异常事件检测方法和装置
CN112948937B (zh) 一种混凝土强度智能预判断方法和装置
CN110827246A (zh) 电子设备边框外观瑕疵检测方法及设备
CN115797349B (zh) 一种缺陷检测方法、装置和设备
US20180308236A1 (en) Image Background Subtraction For Dynamic Lighting Scenarios
US20220084234A1 (en) Method and electronic device for identifying size of measurement target object
CN109584262A (zh) 基于遥感影像的云检测方法、装置及电子设备
CN113469807A (zh) 信贷风险确定和数据处理方法、设备、介质及程序产品
CN113466839B (zh) 侧扫声呐海底线检测方法和装置
CN113269307B (zh) 神经网络训练方法以及目标重识别方法
CN111929688B (zh) 一种用于确定雷达回波预测帧序列的方法与设备
CN117333383B (zh) 一种表面缺陷检测方法、装置和设备
CN111488927B (zh) 分类阈值确定方法、装置、电子设备及存储介质
CN117437455A (zh) 一种晶圆缺陷模式的确定方法、装置、设备及可读介质
CN111931920A (zh) 基于级联神经网络的目标检测方法、装置及存储介质
CN111435411B (zh) 命名体类型识别方法和装置以及电子设备
CN114550129B (zh) 一种基于数据集的机器学习模型处理方法和***
CN115810011A (zh) 异常检测网络的训练及异常检测方法、装置和设备
CN115861160A (zh) 一种手机电源接口表面缺陷检测方法、装置和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant