CN114612468A - 一种基于正样本的设备外部缺陷检测方法 - Google Patents

Abstract

本发明涉及一种基于正样本的设备外部缺陷检测方法，包括步骤：对实例分割网络模型、生成对抗网络模型进行训练；将待检测设备图像输入训练好的实例分割网络模型中，获得设备外部图，再融合边缘检测算法，得到完整的设备外部图；将完整的设备外部图输入训练好的生成对抗网络模型的生成器中，得到对应的无缺陷设备外部图；利用弗雷歇•马尔可夫距离算法对步骤S3中得到的完整的设备外部图和对应生成的无缺陷设备外部图进行距离差值计算，从而确定和定位待检测设备图像的缺陷位置。本发明实现自动检测设备外部是否存在缺陷，对无人值守设备外部缺陷自动排查提供了技术支撑，提高了无人值守智能化程度。

Description

一种基于正样本的设备外部缺陷检测方法

技术领域

本发明涉及设备外部缺陷检测技术领域，特别涉及一种基于正样本的设备外部缺陷检测方法。

背景技术

现有设备表面缺陷检测的方法大多数是针对工业产品的，很少有大型设备外部缺陷检测解决方案，针对设备外部缺陷检测的方法主要有以下两种：

（1）传统的图像处理算法。这类方法主要是通过分析设备外部缺陷的特征，如颜色特征、纹理特征，从而检测设备的外部缺陷。这一类方法受光照强度、复杂背景等环境的影响较大，不具备鲁棒性。

（2）基于深度学习目标检测的方法。这一类方法主要通过使用标注了的缺陷数据，训练目标检测网络，从而实现对设备外观缺陷的检测。如公布号为CN 113724233 A，名称为《基于融合数据生成和迁移学习技术的变电设备外观图像缺陷检测方法》，是将缺陷图像和正常图像共同输入变电设备外观缺陷检测模型中，对该变电设备外观缺陷检测模型进行训练，训练完成后将待检测图像输入该变电设备外观缺陷检测模型，最后输出变电设备图像的缺陷问题。该文献也是使用缺陷图像作为训练集，但是这种方法需要大量的设备外观缺陷数据，而事实上设备外观的缺陷种类多种多样，但数据却很缺乏，所以这种方法最终并不能够准确的检测出设备外观缺陷。

发明内容

本发明的目的在于在代替人工排查设备外部缺陷的前提下，提高设备外部缺陷检测的精度和效率，提供一种基于正样本的设备外部缺陷检测方法。

为了实现上述发明目的，本发明实施例提供了以下技术方案：

一种基于正样本的设备外部缺陷检测方法，包括以下步骤：

步骤S1，将若干没有缺陷且含有背景的设备外部图像及其对应的设备外部实例分割标签输入实例分割网络模型训练框架中进行训练，从而获得训练好的实例分割网络模型；

步骤S2，将若干没有缺陷且不含背景的设备外部图像输入生成对抗网络模型训练框架中进行训练，从而获得训练好的生成对抗网络模型；

步骤S3，将待检测设备图像输入训练好的实例分割网络模型中，获得设备外部图，再融合边缘检测算法，得到完整的设备外部图；

步骤S4：将完整的设备外部图输入训练好的生成对抗网络模型的生成器中，得到对应的无缺陷设备外部图；利用弗雷歇•马尔可夫距离算法对步骤S3中得到的完整的设备外部图和对应生成的无缺陷设备外部图进行距离差值计算，从而确定和定位待检测设备图像的缺陷位置。

在上述方案中，将整个缺陷检测分为完整设备外部提取阶段、缺陷检测阶段，在进行这两个应用阶段之前需要对模型进行训练，步骤S1、步骤S2即为对模型的训练过程，步骤S3为完整设备外部提取阶段，步骤S4为缺陷检测阶段，最终获得将待检测设备图像的缺陷检测结果。

所述步骤S1具体包括以下步骤：

步骤S1-1：收集若干没有缺陷且含有背景的设备外部图像，并使用标注软件进行设备外部实例分割标签的标注；所述设备外部实例分割标签包括设备外部的像素；

步骤S1-2：将若干没有缺陷且含有背景的设备外部图像输入实例分割网络模型中，得到实例分割输出，同时将所述实例分割输出和对应标注的设备外部实例分割标签输入实例分割损失函数中，得到损失值，并将损失值反向传播，通过梯度下降优化算法调整实例分割网络模型的权重参数，对实例分割网络模型进行训练；

步骤S1-3：待训练至设定步长或损失收敛后，固定实例分割网络模型的权重，从而获得训练好的实例分割网络模型。

所述步骤S2具体包括以下步骤：

步骤S2-1：收集若干没有缺陷且不含背景的设备外部图像；

步骤S2-2：所述生成对抗网络模型包括生成器、判别器，其中生成器由编码器、卷积长短期记忆网络、解码器组成；将若干没有缺陷且不含背景的设备外部图像输入生成器的编码器中提取出特征矩阵后，输入生成器的卷积长短期记忆网络对特征矩阵进行存储和提取，再将特征矩阵传输至生成器的解码器中，解码器根据特征矩阵生成没有缺陷的设备外部图；

步骤S2-3：将若干没有缺陷且不含背景的设备外部图像标注为正样本，将步骤S2-2生成的没有缺陷的设备外部图标注为负样本，将样本图片输入判别器的网络模型中，得到分类预测值，所述样本图片为正样本或负样本，以及正样本的标签或负样本的标签；将所述分类预测值和对应样本的标签输入分类损失函数中，得到损失值，将损失值反向传播，通过梯度下降优化算法调整判别器的网络模型的权重参数，对判别器的网络模型进行训练，以提高判别器分辨没有缺陷的设备外部图是否为生成器生成的能力；

步骤S2-4：待训练至设定步长或损失收敛后，固定判别器的网络模型的权重，从而获得训练好的判别器的网络模型；

步骤S2-5：将若干没有缺陷且不含背景的设备外部图像输入生成器的网络模型中，生成没有缺陷的设备外部图，将其标注为正样本；将生成的没有缺陷的设备外部图输入步骤S2-4中训练好的权重参数已固定的判别器的网络模型中，得到分类预测值，将所述分类预测值和标注为正样本的标签输入分类损失函数中，得到损失值，将损失值反向传播，通过梯度下降优化算法调整生成器的网络模型的权重参数，对生成器的网络模型进行训练，以提高生成器中编码器的网络模型和卷积长短期记忆网络的模型的提取和存储没有缺陷的设备外部图的特征的能力，提高生成器中解码器的网络模型生成还原没有缺陷的设备外部图的能力；

步骤S2-6：待训练至设定步长或损失收敛后，固定生成器的网络模型的权重，从而获得训练好的生成器的网络模型；

步骤S2-7：重复步骤S2-2到步骤S2-6，直至生成器能够生成判别器也无法分辨正样本还是负样本时，获得训练好的生成对抗网络模型。

所述步骤S3具体包括以下步骤：

步骤S3-1：将待检测设备图像输入训练好的实例分割网络模型中，得到设备外部图；同时使用边缘检测算法处理待检测设备图像的边缘，得到设备边缘图；

步骤S3-2：将设备外部图和设备边缘图进行融合，得到完整的设备外部图。

所述步骤S4具体包括以下步骤：

步骤S4-1：将完整的设备外部图输入训练好的生成器中，生成器中的编码器和卷积长短期记忆网络提取对应的无缺陷设备外部图特征矩阵，生成器中解码器根据提取到的无缺陷设备外部图特征矩阵生成还原对应的无缺陷设备外部图；

步骤S4-2：将完整的设备外部图和对应生成的无缺陷设备外部图输入训练好的没有全连接层的判别器中，分别得到对应的特征向量；

步骤S4-3：通过弗雷歇•马尔可夫距离算法计算两者特征向量之间的距离，判断距离是否超过预设阈值，若超过，则判断为待检测设备图像存在缺陷，并通过完整的设备外部图和对应生成的无缺陷设备外部图的图像差确定缺陷位置；若未超过，则判断待检测设备图像不存在缺陷。

与现有技术相比，本发明的有益效果：

（1）本发明的缺陷检测过程分为完整设备外部提取阶段、缺陷检测阶段，在完整设备外部提取阶段，利用实例分割网络模型和边缘检测算子相融合的方式提取待检测设备图像的完整的设备外部图，去除复杂背景的干扰。在缺陷检测阶段，将完整的设备外部图输入生成对抗网络模型中，生成无缺陷设备外部图，通过计算完整的设备外部图和无缺陷设备外部图之间的距离差值，从而判断待检测设备图像是否存在缺陷，并定位缺陷位置。

（2）本发明在完整设备外部提取阶段融合实例分割网络模型和边缘检测算子，是因为实例分割的外部设备图边缘一般是不平滑的，融合边缘检测算子后可以使外部设备图的边缘平滑完整。

（3）本发明利用计算机视觉技术实现自动检测设备外部是否存在缺陷，这对无人值守设备外部缺陷自动排查提供了技术支撑，提高了无人值守智能化程度。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍， 应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明缺陷检测方法流程图；

图2为本发明完整设备外部提取阶段流程图；

图3为本发明缺陷检测阶段流程图；

图4为本发明实例分割网络模型的训练流程图；

图5为本发明生成器生成没有缺陷的设备外部图的流程图；

图6为本发明判别器的训练流程图；

图7为本发明生成器的训练流程图。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“集合A”、“集合B”等仅用于区分描述，而不能理解为指示或暗示相对重要性，或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

实施例：

本发明通过下述技术方案实现，一种基于正样本的设备外部缺陷检测方法，包括两个应用阶段，如图1、图2所示，分别为完整设备外部提取阶段、缺陷检测阶段，在完整设备外部提取阶段时使用实例分割网络模型提取待检测设备图像的完整的设备外部图，在缺陷检测阶段时将完整的设备外部图输入生成对抗网络模型，生成对应的无缺陷设备图，再利用弗雷歇·马尔可夫距离算法(Fréchet Markov Distance,FMD)计算完整的设备外部图和对应的无缺陷设备图之间的距离差值，从而判断待检测设备图像是否存在缺陷，并且确定其缺陷位置。

步骤S1：将若干没有缺陷且含有背景的设备外部图像及其对应的设备外部实例分割标签输入实例分割网络模型训练框架中进行训练，从而获得训练好的实例分割网络模型。

在进行上述两个应用阶段之前，需要对所述实例分割网络模型、生成对抗网络模型进行训练，请参见图4为对实例分割网络模型的训练过程：

首先收集大量的没有缺陷且含有背景的设备外部图像，记为集合A。并使用标注软件对集合A进行设备外部实例分割标签的标注，标注的设备外部实例分割标签为集合B，设备外部实例分割标签包括但不限于设备外部图像的像素。

然后将集合A输入实例分割网络模型中，得到实例分割输出，同时将所述实例分割输出和集合B输入实例分割损失函数中，得到损失值，并将损失值反向传播，通过梯度下降优化算法调整实例分割网络模型的权重参数，对实例分割网络模型进行训练。待训练至设定步长或损失收敛后，固定实例分割网络模型的权重，从而获得训练好的实例分割网络模型。

步骤S2，将若干没有缺陷且不含背景的设备外部图像输入生成对抗网络模型训练框架中进行训练，从而获得训练好的生成对抗网络模型。

请参见图6，所述生成对抗网络模型由生成器、判别器结合组成，其中生成器由编码器（卷积神经网络特征提取模型）、卷积长短期记忆网络（ConvLSTM）和解码器组成，所述判别器为简单分类器。传统的生成器仅有解码器，即反卷积神经网络，但本方案对生成对抗网络模型做了改进，首先由编码器作为卷积神经网络特征提取模型的功能，再加上卷积长短期记忆网络对提取的特征进行存储和提取。

请参见图6为对判别器的训练过程，在训练之前请参见图5，收集若干没有缺陷且不含背景的设备外部图像，记为集合C，将集合C输入生成器的编码器中提取特征矩阵，经过卷积长短期记忆网络对特征矩阵进行细胞状态读取，细胞状态中存储了与特征矩阵相关的信息，再传输至解码器中，解码器根据特征矩阵生成没有缺陷的设备外部图，记为集合D。

由于此时生成器还没有经过训练，所以生成的集合D效果差，将集合C标注为正样本，将集合D标注为负样本，将样本图片输入判别器，所述样本图片为正样本或者负样本，以及正样本的标签和负样本的标签。请参见图4为对判别器的训练过程，样本图片输入判别器的网络模型中，得到分类预测值，将所述分类预测值和对应样本的标签输入分类损失函数中，得到损失值，将损失值反向传播，通过梯度下降优化算法调整判别器的权重参数，对判别器的网络模型进行训练，以提高判别器分辨集合D是否为生成器生成的能力。待训练至设定步长或损失收敛后，固定判别器的网络模型的权重，从而获得训练好的判别器的网络模型。

需要说明的是，“判别器的网络模型”旨在强调判别器的结构，“判别器”旨在强调判别器的功能，因此在训练时是训练的判别器的结构，而在应用时是应用判别器的功能。

接着请参见图7为对生成器的训练过程，也是对生成对抗网络模型的训练过程。将集合C输入生成器的网络模型中，生成集合D，将集合D标注为正样本；将集合D输入训练好的权重参数已固定的判别器的网络模型中，得到分类预测值，将所述分类预测值和标注为正样本的标签输入分类损失函数中，得到损失值，将损失值反向传播，通过梯度下降优化算法调整生成器的网络模型的权重参数，对生成器的网络模型进行训练，以提高生成器中编码器的网络模型和卷积长短期记忆网络的模型的提取和存储集合D的特征的能力，提高生成器中解码器的网络模型生成还原集合D的能力。待训练至设定步长或损失收敛后，固定生成器的网络模型的权重，从而获得训练好的生成器的网络模型。

需要说明的是，“生成器的网络模型”旨在强调生成器的结构，“生成器”旨在强调生成器的功能，因此在训练时是训练的生成器的结构，而在应用时是应用生成器的功能。

循环判别器、生成器的训练过程，直至生成器能够生成判别器也无法分辨正样本还是负样本时，获得训练好的生成对抗网络模型。

步骤S3，将待检测设备图像输入训练好的实例分割网络模型中，获得设备外部图，再融合边缘检测算法，得到完整的设备外部图。

步骤S1和步骤S2即是两个应用阶段之前对实例分割网络模型和生成对抗网络模型的训练，在完成模型训练后，请参见图2，采集待检测设备图像，记为集合E，将集合E输入训练好的实例分割网络模型中，得到设备外部图，记为集合F。同时结合边缘检测算法对待检测设备图像的边缘进行处理，得到设备边缘图，记为集合G。

将集合F和集合G进行融合，得到完整的设备外部图，记为集合H。步骤S3即为完整设备外部提取阶段。

步骤S4：将完整的设备外部图输入训练好的生成对抗网络模型的生成器中，得到对应的无缺陷设备外部图；利用弗雷歇•马尔可夫距离算法对步骤S3中得到的完整的设备外部图和对应生成的无缺陷设备外部图进行距离差值计算，从而确定和定位待检测设备图像的缺陷位置。

请参见图3，将集合H输入训练好的生成器中，生成器中的编码器和卷积长短期记忆网络提取对应的无缺陷设备外部图特征矩阵，生成器中解码器根据提取到的无缺陷设备外部图特征矩阵生成还原对应的无缺陷设备外部图，将还原对应的无缺陷设备外部图，记为集合I。

将集合H和集合I输入训练好的没有全连接层的判别器中，分别得到集合H的特征向量和集合I的特征向量。判别器中有全连接层时是为了输出预测的分类类别，没有全连接层时是为了输出特征向量或特征矩阵，由于在对判别器进行训练时是以输出分类类别为目的，所有在训练时判别器的网络模型中有全连接层，而在应用时则没有全连接层。

最后通过弗雷歇·马尔可夫距离算法(Fréchet Markov Distance,FMD)计算两者特征向量之间的距离，判断距离是否超过预设阈值，若超过，则判断为待检测设备图像存在缺陷，并通过集合H（即完整的设备外部图）和集合I（即对应生成的无缺陷设备外部图）的图像差确定缺陷位置；若未超过，则判断待检测设备图像不存在缺陷。步骤S4即为缺陷检测阶段。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (5)

1.一种基于正样本的设备外部缺陷检测方法，其特征在于：包括以下步骤：

步骤S1，将若干没有缺陷且含有背景的设备外部图像及其对应的设备外部实例分割标签输入实例分割网络模型训练框架中进行训练，从而获得训练好的实例分割网络模型；

步骤S2，将若干没有缺陷且不含背景的设备外部图像输入生成对抗网络模型训练框架中进行训练，从而获得训练好的生成对抗网络模型；

步骤S3，将待检测设备图像输入训练好的实例分割网络模型中，获得设备外部图，再融合边缘检测算法，得到完整的设备外部图；

步骤S4：将完整的设备外部图输入训练好的生成对抗网络模型的生成器中，得到对应的无缺陷设备外部图；利用弗雷歇•马尔可夫距离算法对步骤S3中得到的完整的设备外部图和对应生成的无缺陷设备外部图进行距离差值计算，从而确定和定位待检测设备图像的缺陷位置。

2.根据权利要求1所述的一种基于正样本的设备外部缺陷检测方法，其特征在于：所述步骤S1具体包括以下步骤：

步骤S1-1：收集若干没有缺陷且含有背景的设备外部图像，并使用标注软件进行设备外部实例分割标签的标注；所述设备外部实例分割标签包括设备外部的像素；

步骤S1-2：将若干没有缺陷且含有背景的设备外部图像输入实例分割网络模型中，得到实例分割输出，同时将所述实例分割输出和对应标注的设备外部实例分割标签输入实例分割损失函数中，得到损失值，并将损失值反向传播，通过梯度下降优化算法调整实例分割网络模型的权重参数，对实例分割网络模型进行训练；

步骤S1-3：待训练至设定步长或损失收敛后，固定实例分割网络模型的权重，从而获得训练好的实例分割网络模型。

3.根据权利要求1所述的一种基于正样本的设备外部缺陷检测方法，其特征在于：所述步骤S2具体包括以下步骤：

步骤S2-1：收集若干没有缺陷且不含背景的设备外部图像；

步骤S2-2：所述生成对抗网络模型包括生成器、判别器，其中生成器由编码器、卷积长短期记忆网络、解码器组成；将若干没有缺陷且不含背景的设备外部图像输入生成器的编码器中提取出特征矩阵后，输入生成器的卷积长短期记忆网络对特征矩阵进行存储和提取，再将特征矩阵传输至生成器的解码器中，解码器根据特征矩阵生成没有缺陷的设备外部图；

步骤S2-3：将若干没有缺陷且不含背景的设备外部图像标注为正样本，将步骤S2-2生成的没有缺陷的设备外部图标注为负样本，将样本图片输入判别器的网络模型中，得到分类预测值，所述样本图片为正样本或负样本，以及正样本的标签或负样本的标签；将所述分类预测值和对应样本的标签输入分类损失函数中，得到损失值，将损失值反向传播，通过梯度下降优化算法调整判别器的网络模型的权重参数，对判别器的网络模型进行训练，以提高判别器分辨没有缺陷的设备外部图是否为生成器生成的能力；

步骤S2-4：待训练至设定步长或损失收敛后，固定判别器的网络模型的权重，从而获得训练好的判别器的网络模型；

步骤S2-5：将若干没有缺陷且不含背景的设备外部图像输入生成器的网络模型中，生成没有缺陷的设备外部图，将其标注为正样本；将生成的没有缺陷的设备外部图输入步骤S2-4中训练好的权重参数已固定的判别器的网络模型中，得到分类预测值，将所述分类预测值和标注为正样本的标签输入分类损失函数中，得到损失值，将损失值反向传播，通过梯度下降优化算法调整生成器的网络模型的权重参数，对生成器的网络模型进行训练，以提高生成器中编码器的网络模型和卷积长短期记忆网络的模型的提取和存储没有缺陷的设备外部图的特征的能力，提高生成器中解码器的网络模型生成还原没有缺陷的设备外部图的能力；

步骤S2-6：待训练至设定步长或损失收敛后，固定生成器的网络模型的权重，从而获得训练好的生成器的网络模型；

步骤S2-7：重复步骤S2-2到步骤S2-6，直至生成器能够生成判别器也无法分辨正样本还是负样本时，获得训练好的生成对抗网络模型。

4.根据权利要求1所述的一种基于正样本的设备外部缺陷检测方法，其特征在于：所述步骤S3具体包括以下步骤：

步骤S3-1：将待检测设备图像输入训练好的实例分割网络模型中，得到设备外部图；同时使用边缘检测算法处理待检测设备图像的边缘，得到设备边缘图；

步骤S3-2：将设备外部图和设备边缘图进行融合，得到完整的设备外部图。

5.根据权利要求3所述的一种基于正样本的设备外部缺陷检测方法，其特征在于：所述步骤S4具体包括以下步骤：

步骤S4-1：将完整的设备外部图输入训练好的生成器中，生成器中的编码器和卷积长短期记忆网络提取对应的无缺陷设备外部图特征矩阵，生成器中解码器根据提取到的无缺陷设备外部图特征矩阵生成还原对应的无缺陷设备外部图；

步骤S4-2：将完整的设备外部图和对应生成的无缺陷设备外部图输入训练好的没有全连接层的判别器中，分别得到对应的特征向量；

步骤S4-3：通过弗雷歇•马尔可夫距离算法计算两者特征向量之间的距离，判断距离是否超过预设阈值，若超过，则判断为待检测设备图像存在缺陷，并通过完整的设备外部图和对应生成的无缺陷设备外部图的图像差确定缺陷位置；若未超过，则判断待检测设备图像不存在缺陷。

Images