CN111340785B - 模型训练方法、产品表面缺陷检测方法和存储介质 - Google Patents

模型训练方法、产品表面缺陷检测方法和存储介质 Download PDF

Info

Publication number
CN111340785B
CN111340785B CN202010122929.7A CN202010122929A CN111340785B CN 111340785 B CN111340785 B CN 111340785B CN 202010122929 A CN202010122929 A CN 202010122929A CN 111340785 B CN111340785 B CN 111340785B
Authority
CN
China
Prior art keywords
network
image
product surface
training
discriminator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010122929.7A
Other languages
English (en)
Other versions
CN111340785A (zh
Inventor
蔡长青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou University
Original Assignee
Guangzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou University filed Critical Guangzhou University
Priority to CN202010122929.7A priority Critical patent/CN111340785B/zh
Publication of CN111340785A publication Critical patent/CN111340785A/zh
Application granted granted Critical
Publication of CN111340785B publication Critical patent/CN111340785B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8874—Taking dimensions of defect into account
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/888—Marking defects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种模型训练方法、产品表面缺陷检测方法和存储介质。所述训练方法包括获取自动编码网络，对所述自动编码网络进行训练，获取生成对抗网络；所述生成对抗网络包括生成器网络和鉴别器网络，所述鉴别器网络由所述自动编码网络中的编码器网络构建得到，对生成对抗网络进行训练等步骤。训练所得的卷积自动编码网络‑生成对抗网络联合网络，它兼具了卷积自动编码网络的无监督训练优点，以及生成对抗网络的半监督训练优点，具有较好的泛化能力，能够适应产品表面缺陷尤其是钢铁产品表面缺陷检测场合中所面对的训练样本少、图像外观复杂、组内差异大等情况，取得较好的识别效果。本发明广泛应用于图像检测技术领域。

Description

模型训练方法、产品表面缺陷检测方法和存储介质
技术领域
本发明涉及图像检测技术领域，尤其是一种模型训练方法、产品表面缺陷检测方法和存储介质。
背景技术
在钢铁产品等产品的生产和维护过程中，对其表面缺陷进行检测分析是一种高效的缺陷检测方法。但是，由于缺陷的罕见发生和外观变化，识别表面缺陷一直是一项艰巨的任务。
近年来，深度学习方法在图像分类中表现出出色的性能，尤其是在有足够的训练样本的情况下。因此，陆续出现了一些识别和检测产品表面缺陷的现有技术，包括极限学习机(ELM)和支持向量机(SVM)等，再此基础上引入遗传算法(GA)、RNAMlet特征校正器、尺度不变特征变换(SIFT)和剪切波变换等以进行改善，其总的原理是对产品表面进行拍摄，将拍摄得到的图像输入到经过训练的深度学习模型中，获取深度学习模型所输出的识别结果，判断产品表面是否存在缺陷或者存在何种类型的缺陷。因此，这种方法的有效性取决于深度学习模型的性能。
但是，产品表面缺陷具有复杂的外观，这使得拍摄所得的图片也具有很高的复杂性。图1所示是钢铁产品的表面缺陷，其中a-d部分是接缝，e-h部分是氧化皮，由图1可以看出，即使是同种表面缺陷，其外观也存在很大的差异，即产品表面缺陷图像的特点是具有很大的组内差异，以及图像背景非常复杂，这使得现有技术的泛化能力不佳，在应用现有技术时只能针对每种外观来分别构建和训练模型，极大地提高了使用成本，降低了使用效率。产品表面缺陷图像的另一特点是难以获得足够数量的样本图像去对模型进行训练，并且产品表面缺陷图像的上下文与多数预训练模型有很大的不同，这使得迁移学习等针对小数据集场景进行改善的技术难以应用在产品表面缺陷检测领域。
发明内容
针对上述至少一个技术问题，本发明的目的在于提供一种模型训练方法、产品表面缺陷检测方法和存储介质。
一方面，本发明实施例包括一种产品表面缺陷检测模型的训练方法，包括以下步骤：
获取自动编码网络；所述自动编码网络包括编码器网络和解码器网络；
获取样本图像；至少部分所述样本图像中包括产品表面缺陷；
使用所述样本图像对所述自动编码网络进行训练；
获取生成对抗网络；所述生成对抗网络包括生成器网络和鉴别器网络，所述鉴别器网络由所述自动编码网络中的编码器网络构建得到；
获取真实图像及其标记；所述真实图像中包括产品表面缺陷，所述标记用于表示相应真实图像中所包括的产品表面缺陷的种类；
将所述真实图像或由所述生成器网络生成的伪图像输入到所述鉴别器网络，获取所述鉴别器网络的输出结果，调整所述鉴别器网络和/或生成器网络的参数，直至所述鉴别器网络的损失函数和/或生成器网络的损失函数达到目标值；
经过训练的所述生成对抗网络用作产品表面缺陷检测模型。
进一步地，所述调整所述鉴别器网络和/或生成器网络的参数这一步骤，具体包括：
由所述解码器网络重构样本图像；
获取所述解码器网络在重构过程中的误差；
根据所述误差调整所述编码器网络。
进一步地，所述鉴别器网络的损失函数为：
Figure BDA0002393536670000021
Figure BDA0002393536670000022
进一步地，所述鉴别器网络由所述编码器网络和多分类网络连接得到。
进一步地，所述多分类网络为softmax网络。
进一步地，所述自动编码网络为卷积自动编码网络；所述编码器网络包括多个卷积层和一个passthrough层；所述passthrough层用于对较浅的卷积层输出的特征图进行尺寸缩小，并与较深的卷积层输出的特征图连接起来。
进一步地，所述较深的卷积层为所述编码器网络中最后一个卷积层。
进一步地，所述编码器网络中的至少一个所述卷积层进行最大池化操作。
另一方面，本发明实施例还包括一种产品表面缺陷检测方法，包括以下步骤：
获取待检测图像；所述待检测图像包括产品表面；
将所述待检测图像输入到产品表面缺陷检测模型；所述产品表面缺陷检测模型经过实施例所述的训练方法训练；
获取所述产品表面缺陷检测模型的输出结果，根据所述输出结果确定产品表面缺陷类型。
另一方面，本发明实施例还包括一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行实施例所述的物体形状测量方法。
本发明的有益效果是：通过实施例中的模型训练方法训练所得的生成对抗网络，实际上是一个卷积自动编码网络-生成对抗网络联合网络，它兼具了卷积自动编码网络的无监督训练优点，以及生成对抗网络的半监督训练优点，具有较好的泛化能力，能够适应产品表面缺陷尤其是钢铁产品表面缺陷检测场合中所面对的训练样本少、图像外观复杂、组内差异大等情况，取得较好的识别效果。
附图说明
图1为钢铁产品的表面缺陷的图像；
图2为实施例中模型训练方法的原理示意图；
图3为实施例中所构建的卷积自动编码网络的原理示意图；
图4为实施例中所构建的卷积自动编码网络的结构示意图；
图5为实施例中解码器网络中执行的上采样的原理示意图；
图6为实施例中生成对抗网络的原理示意图。
具体实施方式
实施例1
本实施例中提出的一种训练方法，包括以下步骤：
P1.获取卷积自动编码网络；所述卷积自动编码网络包括编码器网络和解码器网络；
P2.获取样本图像；至少部分所述样本图像中包括产品表面缺陷；
P3.使用所述样本图像对所述卷积自动编码网络进行训练；
P4.获取生成对抗网络；所述生成对抗网络包括生成器网络和鉴别器网络，所述鉴别器网络由所述卷积自动编码网络中的编码器网络构建得到；
P5.获取真实图像及其标记；所述真实图像中包括产品表面缺陷，所述标记用于表示相应真实图像中所包括的产品表面缺陷的种类；
P6.将所述真实图像或由所述生成器网络生成的伪图像输入到所述鉴别器网络，获取所述鉴别器网络的输出结果，调整所述鉴别器网络和/或生成器网络的参数，直至所述鉴别器网络的损失函数达到目标值；所述损失函数由所述鉴别器网络的输出结果与所述真实图像的标记或所述伪图像的标记确定；
经过训练的所述生成对抗网络用作产品表面缺陷检测模型。
在不影响逻辑性的基础上，步骤P1-P6的顺序可以进行调整，这不影响本实施例训练方法的实现。
步骤P1-P6的目标是构建一个生成对抗网络，对这个生成对抗网络进行训练，经过训练之后的生成对抗网络是我们想要得到的产品表面缺陷检测模型。
步骤P1-P6的原理如图2所示。优选地，本实施例中使用的自动编码网络为卷积自动编码网络(CAE)，与标准的自动编码网络相比，卷积自动编码网络更适用于高维的图像数据。而且，在卷积自动编码网络中，权重和偏差在输入中的所有位置之间共享，这意味着卷积自动编码网络可以保留空间局部性。因此，解码器网络的重建是基于编码器网络输出的基本图像块的线性组合。
通过执行步骤P1-P4，先构建卷积自动编码网络，并使用样本图像对卷积自动编码网络进行训练，对于经过训练的卷积自动编码网络，将其编码器网络部分直接或者稍加改造之后，用作生成对抗网络中的鉴别器网络，与构建的生成器网络一起构成生成对抗网络。
步骤P1-P3中，所构建的卷积自动编码网络的原理如图3所示，其中输入数据x表示m维向量，其中x∈Rm。输出数据特征表示n维向量特征，其中n∈Rn，并且m>n。卷积自动编码网络的原理是：首先在编码器网络中将输入数据转换为通常较低维度的空间，然后扩展为在解码器网络中再现初始数据。
卷积自动编码网络运行时包括三个主要步骤：
步骤1：通过下式将输入的x转换为编码器网络的代码：
f＝sigmoid(W1 Tx+b1)；
其中x是输入向量；W1 T是输入层和隐藏层之间的权重矩阵；b1是偏差向量；f是编码器网络的输出值。
步骤2：根据编码器网络的输出，解码器网络通过下式重建输入值：
Figure BDA0002393536670000041
其中f是编码器网络的输出；
Figure BDA0002393536670000042
是隐藏层和输出层之间的权重矩阵；b2偏差矢量。
Figure BDA0002393536670000043
是解码器网络的输出值。
对卷积自动编码网络的训练是无监督的，也就是无需对步骤P2获取到的样本图像进行标记，只需要一部分样本图像中包括产品表面缺陷，另一部分样本图像中不包括产品表面缺陷，对卷积自动编码网络训练的目标是最小化原始图像和解码器网络输出的误差，也就是下式：
Figure BDA0002393536670000044
其中En代表编码器网络；De代表解码器网络；x是输入向量；
Figure BDA0002393536670000045
是解码器网络的输出，
Figure BDA0002393536670000051
通常，还可以在
Figure BDA0002393536670000052
后加惩罚项α以强制卷积自动编码网络对输入图像的稀疏表示进行编码。本实施例中，惩罚项α满足：
Figure BDA0002393536670000053
Figure BDA0002393536670000054
是编码器网络的平均输出；ρ是实验中设定的目标值0.05；KL是Kullback-Leibler散度，它有助于编码器网络输出更多的稀疏值。
所使用的卷积自动编码网络更为细致的结构如图4所示，其中编码器网络的具体参数如表1所示，解码器网络的具体参数如表2所示。
表1
Figure BDA0002393536670000055
表2
Figure BDA0002393536670000056
编码器网络包含多个卷积层，在每个卷积层的最后还包括一个最大池化层，以对该卷积层所输出的数据进行最大池化操作。
本实施例中，编码器网络以大小为224×224的图像作为输入，并由八个卷积层和四个最大池化层进行处理，以构造一组区分特征图。编码器网络中的一个卷积层可以描述为：
y＝f(∑fc*kc+bc)；
其中y表示卷积层的输出特征图；fc和kc分别是第c个特征图和第c个卷积核。bc是第c个偏差；*表示卷积运算。对卷积自动编码网络的训练就是不断学习kc和bc。
本实施例中，在编码器网络的每个卷积层都使用了整流线性单元(ReLU)，可以提高卷积自动编码网络的非线性表达能力。一个整流线性单元表示为：
y＝max(x,0)；
其中x是卷积层的输出；最大池化层可以减少特征图的维数，一个最大池化层可以表示为：
Figure BDA0002393536670000061
其中，x(i,j)表示第(i,j)个合并区域；R是所有不同的合并区域；y(i,j)是第(i,j)个合并区域的输出；最大合并会增加卷积自动编码网络的平移不变性，并使其编码更稀疏的特征。
由于向卷积自动编码网络输入的图像的大小为224×224，并且编码器网络中有四个最大池化层，因此编码器网络的输出特征图的大小为14×14，然后将其代入解码器网络以重建原始图像图片，作为卷积自动编码网络的最终输出。
本实施例中，在编码器网络中设置一个passthrough层。如图4所示，passthrough层的输入端连接在编码器网络中的一个较浅的卷积层的输出端，这里的深浅是卷积层在编码器网络中的位置的描述，较深的卷积层位于较浅的卷积层之后。passthrough层获取这个较浅的卷积层所输出的特征图，将这一特征图中相邻的特征堆叠到不同的特征图通道中，使得这个特征图被转换为多个尺寸更小的特征图，例如，passthrough层可以将较浅卷积层输出的大小为4×4的特征图转换为大小为4个大小均为2×2的不同的特征图。
passthrough层的输出端连接在编码器网络中的一个较深的卷积层，在完成上述处理后，passthrough层在深度通道中将浅卷积层输出的这些特征图与较深卷积层输出的特征图连接起来，以形成编码器网络的最终输出。
本实施例中，passthrough层所连接的较浅的卷积层，是编码器网络中第五个卷积层，这一卷积层输出128个大小均为28×28的不同的特征图，passthrough层将这128个特征图转换为512个大小均为14×14的特征图。passthrough层所连接的较浅的卷积层是编码器网络中最后一个卷积层，它本身可以输出128个大小均为14×14的特征图，passthrough层将转换得到的特征图与最后一个卷积层输出的特征图连接起来，得到640个大小均为14×14的特征图，也就是编码器网络的最终输出为14×14×640。
passthrough层可以保留较浅卷积层中的详细特征，也就是帮助编码器网络更好地提取输入数据中的细粒度特征，使得卷积自动编码网络最终输出结果中仍包含大量的细节特征，避免因卷积层数量过多导致细节丢失，提高编码器网络的分辨率。
解码器网络以编码器网络的输出作为输入，并且与九个卷积层和上采样层进行卷积。解码器网络中执行的上采样的原理如图5所示，通过复制对特征图进行上采样，其过程和效果与最大池化相反，可以扩展特征图的尺寸。
在构建并训练好卷积自动编码网络之后，可以将卷积自动编码网络中的编码器网络直接用作生成对抗网络中的鉴别器网络。
构建一个生成器网络，本实施例中，生成器网络的结构如表3所示，它由9个卷积层和4个上采样层组成，输入大小为14×14，从0到1的均匀分布采样。上采样层的作用与卷积自动编码网络中解码器网络的作用相同，也就是扩展特征图的大小。在经过这些上采样和卷积之后，生成器网络所接收的随机噪声输入被映射到一个伪图像中。
表3
Figure BDA0002393536670000071
所述伪图像是相对真实图像而言的，即不属于真实图像的图像，将伪图像和真实图像输入到鉴别器网络中，由鉴别器网络输出对伪图像和真实图像的判断结果。参照图6，在将卷积自动编码网络中的编码器网络直接用作鉴别器网络的情况下，鉴别器网络的判断结果是二元的，即输入到鉴别器网络中的图像是对产品表面缺陷真实拍摄所得的真实图像，还是由随机噪声生成的伪图像。
根据鉴别器的判断结果，确定鉴别器网络的损失函数的具体取值；鉴别器网络的损失函数可以定义为：
Figure BDA0002393536670000081
其中D代表鉴别器网络，G代表将随机噪声z作为输入的生成器网络，x代表数据集的真实图像，
Figure BDA0002393536670000082
表示训练目标是使损失函数最大化。
生成器网络的训练目标是生成具有最大可能值D(x)的图像，以测试鉴别器网络。生成器的损失函数可以定义为：
Figure BDA0002393536670000083
在损失函数未达到目标值的情况下，沿着梯度下降的方向对生成器网络和鉴别器网络的参数进行调整，进行下一轮处理。相邻的两轮处理可以分别对生成器网络和鉴别器网络的参数进行调整，以达到轮流训练的结果，当鉴别器网络的损失函数取得目标值时，可以结束对鉴别器网络的训练，即不再改变鉴别器网络的参数；当生成器网络的损失函数取得目标值时，可以结束对生成器网络的训练，即不再改变生成器网络的参数。当鉴别器网络和生成器网络的训练均完成时，对整个生成对抗网络的训练完成。
本实施例中，生成对抗网络中的鉴别器网络，是在卷积自动编码网络的编码器网络的基础上，连接一个多分类网络得到的，而这个多分类网络可以选择为softmax网络。多分类网络可以输出多个分类结果，也就是除了可以识别所接收的图像是属于真实图像或者伪图像之外，还可以识别出所接收的图像中含有何种产品表面缺陷，因此，经过这样改进的鉴别器网络，具有更好的泛化能力。此时，相应地所使用的训练资料中，对真实图像的标记除了表明其属于真实图像外，还表明其包含的产品表面缺陷的种类，这样可以将鉴别器网络训练为具有识别产品表面缺陷种类的能力。
在执行步骤P4以将编码器网络用作鉴别器网络时，可以完全截断解码器网络与编码器网络之间的连接。本实施例中，还可以在对生成对抗网络的训练过程中，保留解码器网络与编码器网络之间的连接。此时，步骤P4中的调整所述鉴别器网络和/或生成器网络的参数这一步骤，由以下步骤组成：
P401.由所述解码器网络重构样本图像；
P402.获取所述解码器网络在重构过程中的误差；
P403.根据所述误差调整所述编码器网络。
鉴别器网络的损失函数相应变为：
Figure BDA0002393536670000091
其中De代表解码器网络；En代表编码器网络，它也用作鉴别器网络的卷积层；α用于降低图像重建的损失权重，以确保鉴别器网络快速收敛。
通过保留解码器网络与编码器网络之间的连接，解码器网络仍从实际生产线重构样本图像，并将误差传播回编码器网络，这样，在对生成对抗网络进行训练时，鉴别器网络仍然可以从解码器网络中学习到样本图像的特征，提高鉴别器网络的识别准确率。
综上，步骤P1-P6实际上包括两阶段，第一阶段是步骤P1-P3所述的构建和训练卷积自动编码网络的过程，第二阶段是步骤P4-P6所述的构建和训练生成对抗网络的过程。在实际执行时，可以使用Keras或Tensorflow来构建卷积自动编码网络和生成对抗网络，第一阶段和第二阶段的学习率分别设置为0.001和0.0001，动量均设置为0.9，权重衰减均设置为0.0005，可以达到较优的识别率。
执行步骤P1-P6构建和训练所得的生成对抗网络，实际上是一个卷积自动编码网络-生成对抗网络联合网络，它兼具了卷积自动编码网络的无监督训练优点，以及生成对抗网络的半监督训练优点，具有较好的泛化能力，能够适应产品表面缺陷尤其是钢铁产品表面缺陷检测场合中所面对的训练样本少、图像外观复杂、组内差异大等情况，取得较好的识别效果。
实施例2
在执行实施例1所述训练方法后，所得到的生成对抗网络用作产品表面缺陷检测模型，将其用于执行以下产品表面缺陷检测方法：
S1.获取待检测图像；所述待检测图像包括产品表面，通常可以通过拍摄或扫描等方法得到待检测图像；
S2.将所述待检测图像输入到产品表面缺陷检测模型；
S3.获取所述产品表面缺陷检测模型的输出结果，根据所述输出结果确定产品表面缺陷类型。
使用实施例1中获得的产品表面缺陷检测模型来执行产品表面缺陷检测方法，可以获得与实施例1所述的相同的技术效果，也就是能够适应产品表面缺陷尤其是钢铁产品表面缺陷检测场合中所面对的图像外观复杂、组内差异大等情况，取得较高的识别准确率。
实施例3
将实施例1所记载的训练方法和实施例2所记载的检测方法编写成相应的计算机代码并写入至存储介质中，当存储介质被连接到控制器时，其中的计算机程序代码可被读取出来并执行，从而自动执行步骤P1-P6或S1-S3，实现与实施例1或实施例2中所述的相同的技术效果。
需要说明的是，如无特殊说明，当某一特征被称为“固定”、“连接”在另一个特征，它可以直接固定、连接在另一个特征上，也可以间接地固定、连接在另一个特征上。此外，本公开中所使用的上、下、左、右等描述仅仅是相对于附图中本公开各组成部分的相互位置关系来说的。在本公开中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。此外，除非另有定义，本实施例所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。本实施例说明书中所使用的术语只是为了描述具体的实施例，而不是为了限制本发明。本实施例所使用的术语“和/或”包括一个或多个相关的所列项目的任意的组合。
应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种元件，但这些元件不应限于这些术语。这些术语仅用来将同一类型的元件彼此区分开。例如，在不脱离本公开范围的情况下，第一元件也可以被称为第二元件，类似地，第二元件也可以被称为第一元件。本实施例所提供的任何以及所有实例或示例性语言(“例如”、“如”等)的使用仅意图更好地说明本发明的实施例，并且除非另外要求，否则不会对本发明的范围施加限制。
应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向目标终端的编程语言来实现以与计算机***通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。
此外，可按任何合适的顺序来执行本实施例描述的过程的操作，除非本实施例另外指示或以其他方式明显地与上下文矛盾。本实施例描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机***的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。
进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本实施例所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。
计算机程序能够应用于输入数据以执行本实施例所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的目标终端，包括显示器上产生的物理和有形目标终端的特定视觉描绘。
以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。

Claims (9)

1.一种产品表面缺陷检测模型的训练方法，其特征在于，包括以下步骤：
获取自动编码网络；所述自动编码网络包括编码器网络和解码器网络；
获取样本图像；至少部分所述样本图像中包括产品表面缺陷；
使用所述样本图像对所述自动编码网络进行训练；
获取生成对抗网络；所述生成对抗网络包括生成器网络和鉴别器网络，所述鉴别器网络由所述自动编码网络中的编码器网络构建得到；
获取真实图像及其标记；所述真实图像中包括产品表面缺陷，所述标记用于表示相应真实图像中所包括的产品表面缺陷的种类；
将所述真实图像或由所述生成器网络生成的伪图像输入到所述鉴别器网络，获取所述鉴别器网络的输出结果，调整所述鉴别器网络和/或生成器网络的参数，直至所述鉴别器网络的损失函数和/或生成器网络的损失函数达到目标值；
经过训练的所述生成对抗网络用作产品表面缺陷检测模型；
鉴别器网络的损失函数为：
Figure FDA0004045293000000011
其中D代表鉴别器网络，G代表将随机噪声z作为输入的生成器网络，x代表数据集的真实图像即输入向量，
Figure FDA0004045293000000012
表示训练目标是使损失函数最大化，
Figure FDA0004045293000000014
是解码器网络的输出，
Figure FDA0004045293000000013
De代表解码器网络；En代表编码器网络，也用作鉴别器网络的卷积层；α用于降低图像重建的损失权重。
2.根据权利要求1所述的训练方法，其特征在于，所述调整所述鉴别器网络和/或生成器网络的参数这一步骤，具体包括：
由所述解码器网络重构样本图像；
获取所述解码器网络在重构过程中的误差；
根据所述误差调整所述编码器网络。
3.根据权利要求1或2所述的训练方法，其特征在于，所述鉴别器网络由所述编码器网络和多分类网络连接得到。
4.根据权利要求3所述的训练方法，其特征在于，所述多分类网络为softmax网络。
5.根据权利要求3所述的训练方法，其特征在于，所述自动编码网络为卷积自动编码网络；所述编码器网络包括多个卷积层和一个passthrough层；所述passthrough层用于对较浅的卷积层输出的特征图进行尺寸缩小，并与较深的卷积层输出的特征图连接起来。
6.根据权利要求5所述的训练方法，其特征在于，所述较深的卷积层为所述编码器网络中最后一个卷积层。
7.根据权利要求3所述的训练方法，其特征在于，所述编码器网络中的至少一个所述卷积层进行最大池化操作。
8.一种产品表面缺陷检测方法，其特征在于，包括以下步骤：
获取待检测图像；所述待检测图像包括产品表面；
将所述待检测图像输入到产品表面缺陷检测模型；所述产品表面缺陷检测模型经过权利要求1-7任一项所述的训练方法训练；
获取所述产品表面缺陷检测模型的输出结果，根据所述输出结果确定产品表面缺陷类型。
9.一种存储介质，其中存储有处理器可执行的指令，其特征在于，所述处理器可执行的指令在由处理器执行时用于执行如权利要求1-8任一项所述的方法。
CN202010122929.7A 2020-02-27 2020-02-27 模型训练方法、产品表面缺陷检测方法和存储介质 Active CN111340785B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010122929.7A CN111340785B (zh) 2020-02-27 2020-02-27 模型训练方法、产品表面缺陷检测方法和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010122929.7A CN111340785B (zh) 2020-02-27 2020-02-27 模型训练方法、产品表面缺陷检测方法和存储介质

Publications (2)

Publication Number Publication Date
CN111340785A CN111340785A (zh) 2020-06-26
CN111340785B true CN111340785B (zh) 2023-04-07

Family

ID=71185482

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010122929.7A Active CN111340785B (zh) 2020-02-27 2020-02-27 模型训练方法、产品表面缺陷检测方法和存储介质

Country Status (1)

Country Link
CN (1) CN111340785B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111815601B (zh) * 2020-07-03 2021-02-19 浙江大学 一种基于深度卷积自编码器的纹理图像表面缺陷检测方法
CN111860485B (zh) * 2020-07-24 2024-04-26 腾讯科技（深圳）有限公司 图像识别模型的训练方法、图像的识别方法、装置、设备
CN112561864B (zh) * 2020-12-04 2024-03-29 深圳格瑞健康科技有限公司 龋齿图像分类模型的训练方法、***和存储介质
CN112634219B (zh) * 2020-12-17 2024-02-20 五邑大学 一种金属表面缺陷检测方法、***、装置和存储介质
CN114972375B (zh) * 2022-05-09 2023-08-04 梅卡曼德（北京）机器人科技有限公司 图像生成模型的训练方法及装置、设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108376387A (zh) * 2018-01-04 2018-08-07 复旦大学 基于聚合膨胀卷积网络的图像去模糊方法
CN108805188A (zh) * 2018-05-29 2018-11-13 徐州工程学院 一种基于特征重标定生成对抗网络的图像分类方法
CN109242841A (zh) * 2018-08-30 2019-01-18 广东工业大学 一种基于生成对抗网络的输电杆塔缺陷检测方法
CN110796637A (zh) * 2019-09-29 2020-02-14 郑州金惠计算机***工程有限公司 图像缺陷检测模型的训练、测试方法、装置及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108376387A (zh) * 2018-01-04 2018-08-07 复旦大学 基于聚合膨胀卷积网络的图像去模糊方法
CN108805188A (zh) * 2018-05-29 2018-11-13 徐州工程学院 一种基于特征重标定生成对抗网络的图像分类方法
CN109242841A (zh) * 2018-08-30 2019-01-18 广东工业大学 一种基于生成对抗网络的输电杆塔缺陷检测方法
CN110796637A (zh) * 2019-09-29 2020-02-14 郑州金惠计算机***工程有限公司 图像缺陷检测模型的训练、测试方法、装置及存储介质

Also Published As

Publication number Publication date
CN111340785A (zh) 2020-06-26

Similar Documents

Publication Publication Date Title
CN111340785B (zh) 模型训练方法、产品表面缺陷检测方法和存储介质
CN107766894B (zh) 基于注意力机制和深度学习的遥感图像自然语言生成方法
JP4284288B2 (ja) パターン認識装置及びその方法
CN112257572B (zh) 一种基于自我注意力机制的行为识别方法
US20160300121A1 (en) Neural network image representation
EP3853764A1 (en) Training neural networks for vehicle re-identification
CN108734210B (zh) 一种基于跨模态多尺度特征融合的对象检测方法
US11367222B2 (en) Three-dimensional shape classification and retrieval using convolutional neural networks and majority vote
CN109978077B (zh) 视觉识别方法、装置和***及存储介质
KR102440385B1 (ko) 멀티 인식모델의 결합에 의한 행동패턴 인식방법 및 장치
CN116188584B (zh) 基于图像识别物体打磨位置的方法及***
EP4246458A1 (en) System for three-dimensional geometric guided student-teacher feature matching (3dg-stfm)
CN116758544B (zh) 一种基于图像处理的晶圆编码识别***
Khurana et al. A survey on object recognition and segmentation techniques
CN113312973A (zh) 一种手势识别关键点特征提取方法及***
CN117522990B (zh) 基于多头注意力机制和迭代细化的类别级位姿估计方法
CN117036832B (zh) 一种基于随机多尺度分块的图像分类方法、装置及介质
CN116152334A (zh) 图像处理方法及相关设备
CN116051984B (zh) 一种基于Transformer的弱小目标检测方法
CN116704554A (zh) 一种基于深度学习的手姿估计与识别的方法、设备及介质
CN116994024A (zh) 集装箱图像中的部件识别方法、装置、设备、介质及产品
CN111951287A (zh) 一种二维码检测和识读方法
WO2020197494A1 (en) Place recognition
CN111680722B (zh) 内容识别方法、装置、设备及可读存储介质
Zhou et al. PVRAR: Point-View Relation Neural Network Embedded with Both Attention Mechanism and Radon Transform for 3D Shape Recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant