CN117710371B - 一种扩充缺陷样本的方法、装置、设备及存储介质 - Google Patents

Abstract

本申请提供一种扩充缺陷样本的方法、装置、设备及存储介质，涉及缺陷检测技术领域，用于解决缺陷样本较少的问题。该方法包括：对真实面板中的缺陷进行图像采集，获得原始缺陷图像；将所述原始缺陷图像输入训练好的VAE模型中进行缺陷扩充，获得扩充缺陷图像；其中，所述训练好的VAE模型中的编码器包括卷积层、特征均值层和指数函数激活层，所述训练好的VAE模型中的解码器包括上采样层和批量归一化层，所述训练好的VAE模型中的损失函数包括KL散度计算模块。因此，不仅可以在进行模型训练时，更快速、更高效进行模型收敛，缩短模型的训练时间，还可以提高目标检测模型的指标，降低缺陷检测模型的漏检率。

Description

一种扩充缺陷样本的方法、装置、设备及存储介质

技术领域

本申请涉及缺陷检测技术领域，提供一种扩充缺陷样本的方法、装置、设备及存储介质。

背景技术

随着社会经济和信息技术的发展，面板玻璃的应用逐渐成为未来的新趋势，与此同时，面板产品高频率的更新换代，也为缺陷检测带来越来越高、越来越严格的要求。

然而，由于生产工艺的问题，在某一个时间段中会爆发大量的缺陷，因此，缺陷数量多，模型对于此类缺陷的检测效果较好。但是，对某些由于偶然性操作产生的特殊种类的缺陷来说，因为其可复现性较低，所以，收集该缺陷的数量较少，进而，导致出现模型漏检或检测困难的问题出现。

因此，针对发生率较低、数量较少的缺陷，如何进行缺陷样本扩充是目前亟待解决的问题。

发明内容

本申请实施例提供一种扩充缺陷样本的方法、装置、设备及存储介质，用于解决缺陷样本较少的问题。

一方面，提供一种扩充缺陷样本的方法，所述方法包括：

对真实面板中的缺陷进行图像采集，获得原始缺陷图像；

将所述原始缺陷图像输入训练好的VAE模型中进行缺陷扩充，获得扩充缺陷图像；其中，所述训练好的VAE模型中的编码器包括卷积层、特征均值层和指数函数激活层，所述训练好的VAE模型中的解码器包括上采样层和批量归一化层，所述训练好的VAE模型中的损失函数包括KL散度计算模块。

本申请的有益效果为：由于训练好的VAE模型中的编码器包括卷积层、特征均值层和指数函数激活层，解码器包括上采样层和批量归一化层，损失函数包括KL散度计算模块，因此，针对发生率较低、数量较少的缺陷，在采用该训练好的VAE模型来扩充缺陷样本时，其可以生成高质量的扩充缺陷图像，以大量的扩充样本，从而，有益于提高目标检测模型的指标，降低缺陷检测模型的漏检率。由于训练好的VAE模型中包括卷积层和上采样层，因此，针对高分辨率和较大尺寸的面板缺陷图像扩充也非常的适用。此外，由于训练好的VAE模型中的损失函数包括KL散度计算模块，即，本申请对Loss函数的计算进行了优化，因此，在进行模型训练时，可以更快速、更高效进行模型收敛，缩短模型的训练时间。

在一种实现方式中，在将所述原始缺陷图像输入训练好的VAE模型中进行缺陷扩充，获得扩充缺陷图像之前，所述方法还包括：

对所述真实面板中的各种缺陷进行实时图像采集，获取多张原始缺陷图像；

将所述多张原始缺陷图像按照预设比例，获得训练集和测试集；

采用所述训练集对改进后的VAE模型进行训练，并采用所述测试集对所述改进后的VAE模型进行测试，获得训练好的VAE模型。

本申请的有益效果为：由于是采用实时采集的缺陷图像，来对改进后的VAE模型进行训练与测试，因此，可以使训练好的VAE模型更符合当前的实际情况，使获得的扩充缺陷图像也更能具有真实性。

在一种实现方式中，在采用所述训练集对改进后的VAE模型进行训练，并采用所述测试集对所述改进后的VAE模型进行测试，获得训练好的VAE模型之前，所述方法还包括：

将原始VAE模型的编码器中的全连接层替换为卷积层和批量归一化层，以及将所述编码器中的Sigmod激活函数替换为Leakyrelu激活函数，获得第一VAE模型；

在所述第一VAE模型的编码器中构建特征均值层和指数函数激活层，获得第二VAE模型；

将所述第二VAE模型的解码器中的初始全连接层替换为上采样层和批量归一化层，并采用Tanh激活函数进行解码结果输出，获得第三VAE模型；

在所述第三VAE模型的损失函数中添加KL散度计算模块，获得所述改进后的VAE模型。

本申请的有益效果为：由于将原始VAE模型的编码器中的全连接层替换为卷积层和批量归一化层，以及将编码器中的Sigmod激活函数替换为Leakyrelu激活函数，因此，在本申请中，不仅可以进一步使得训练好的VAE模型能够对高分辨率和较大尺寸的面板缺陷图像进行扩充，还可以进一步增加VAE模型的表现力，并使VAE模型的网络神经更好地拟合数据，从而，进一步加快VAE模型的收敛速度。由于编码器中还构建了特征均值层和指数函数激活层，因此，在本申请中，可以通过编码器得到一个与原始缺陷图像特征相似的图像特征，以便于后续得到扩充缺陷图像。由于将解码器中的初始全连接层替换为上采样层和批量归一化层，并采用Tanh激活函数进行解码结果输出，因此，在本申请中，不仅可以进一步使训练好的VAE模型能够更加适用于对高分辨率和较大尺寸的面板缺陷图像，还可以进一步加快VAE模型的收敛速度。此外，由于损失函数中还添加了KL散度计算模块，因此，在进行模型训练时，还可以进一步缩短模型的训练时间。

在一种实现方式中，所述将所述原始缺陷图像输入训练好的VAE模型中进行缺陷扩充，获得扩充缺陷图像的步骤，包括：

将所述原始缺陷图像输入所述训练好的VAE模型的编码器中进行编码，获得带噪声的图像特征；

将所述带噪声的图像特征输入所述训练好的VAE模型的解码器中进行解码，获得所述扩充缺陷图像。

本申请的有益效果为：由于训练好的VAE模型的编码器输出图像特征为带噪声的图像特征，因此，可以使得后续获得的扩充缺陷图像与原始缺陷图像相似，以达到扩充缺陷样本的目的。

在一种实现方式中，所述将所述原始缺陷图像输入所述训练好的VAE模型的编码器中进行编码，获得带噪声的图像特征的步骤，包括：

采用所述编码器中的卷积层和批量归一化层对所述原始缺陷图像进行处理，获得归一化后的图像特征；

采用所述编码器中的特征均值层和指数函数激活层对所述归一化后的图像特征进行处理，获得带噪声的图像特征。

本申请的有益效果为：由于获得的带噪声的图像特征，是依次通过卷积层、批量归一化层、特征均值层和指数函数激活层来获得的，因此，不仅可以进一步使得训练好的VAE模型能够对高分辨率和较大尺寸的面板缺陷图像进行扩充，还可以进一步通过编码器得到一个与原始缺陷图像特征相似的图像特征，以便于后续得到扩充缺陷图像。

在一种实现方式中，所述采用所述编码器中的特征均值层和指数函数激活层对所述归一化后的图像特征进行处理，获得带噪声的图像特征的步骤，包括：

采用所述编码器中的特征均值层对所述归一化后的图像特征进行均值处理，获得均值后的图像特征；

采用所述编码器中的指数函数激活层对所述均值后的图像特征进行噪声自学习，获得自学习后的第一图像特征和自学习后的第二图像特征；

对所述自学习后的第一图像特征进行高斯白噪声学习，获得自学习后的第三图像特征；

根据所述自学习后的第二图像特征和所述自学习后的第三图像特征，获得所述带噪声的图像特征。

本申请的有益效果为：由于最终的带噪声的图像特征是根据对噪声自学习后的图像特征获得的，因此，可以进一步使得最终的带噪声的图像特征与真实的缺陷图像特征相符，以便于后续得到扩充缺陷图像更符合实际情况。

在一种实现方式中，所述将所述带噪声的图像特征输入所述训练好的VAE模型的解码器中进行解码，获得所述扩充缺陷图像的步骤，包括：

根据所述解码器中的上采样层和批量归一化层，获得所述扩充缺陷图像。

本申请的有益效果为：由于是解码器中的上采样层和批量归一化层，来获得扩充缺陷图像，因此，可以进一步使得解码得到的扩充缺陷图像符合高分辨率和较大尺寸的实际缺陷图像条件。

在一种实现方式中，所述采用所述训练集对改进后的VAE模型进行训练，并采用所述测试集对所述改进后的VAE模型进行测试，获得训练好的VAE模型的步骤，包括：

采用所述训练集对改进后的VAE模型进行训练，并根据所述KL散度计算模块，确定所述训练集中的原始缺陷图像和扰动缺陷图像的潜在空间相似度；

根据所述潜在空间相似度，对所述改进后的VAE模型进行网络权重调整，获得调整后的VAE模型；

采用所述测试集对所述调整后的VAE模型进行测试，获得所述训练好的VAE模型。

本申请的有益效果为：由于是通过KL散度计算模块计算潜在空间相似度，来对改进后的VAE模型进行网络权重调整，因此，在进行模型训练时，还可以进一步缩短模型的训练时间。

在一种实现方式中，在将所述多张原始缺陷图像按照预设比例，获得训练集和测试集之前，所述方法还包括：

对所述多张原始缺陷图像进行对比度增强，获得多张增强后的缺陷图像；

对所述多张增强后的缺陷图像进行亮度变换，获得多张变换后的缺陷图像；

对所述多张变换后的缺陷图像进行畸形变换，获得多张预处理后的缺陷图像；

则，所述将所述多张原始缺陷图像按照预设比例，获得训练集和测试集的步骤，包括：

将所述多张预处理后的缺陷图像按照预设比例，获得训练集和测试集。

本申请的有益效果为：由于对原始缺陷图像进行了对比度增强、亮度变换以及畸形变换等操作，因此，可以减少原始缺陷图像中的噪声，以便对改进的VAE模型进行训练，从而，进一步缩短VAE模型的训练时间。

一方面，提供一种扩充缺陷样本的装置，所述装置包括：

图像采集单元，用于对真实面板中的缺陷进行图像采集，获得原始缺陷图像；

缺陷图像扩充单元，用于将所述原始缺陷图像输入训练好的VAE模型中进行缺陷扩充，获得扩充缺陷图像；其中，所述训练好的VAE模型中的编码器包括卷积层、特征均值层和指数函数激活层，所述训练好的VAE模型中的解码器包括上采样层和批量归一化层，所述训练好的VAE模型中的损失函数包括KL散度计算模块。

一方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一种方法。

一方面，提供一种计算机存储介质，其上存储有计算机程序指令，该计算机程序指令被处理器执行时实现上述任一种方法。

附图说明

为了更清楚地说明本申请实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例提供的一种应用场景示意图；

图2为本申请实施例提供的扩充缺陷样本的方法的一种流程示意图；

图3为本申请实施例提供的获得带噪声的图像特征的一种示意图；

图4为本申请实施例提供的扩充缺陷样本的装置的一种示意图。

图中标记：10-扩充缺陷样本的设备，101-处理器，102-存储器，103-I/O接口，104-数据库，40-扩充缺陷样本的装置，401-图像采集单元，402-缺陷图像扩充单元，403-模型训练单元，404-图像预处理单元。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚明白，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

随着社会经济和信息技术的发展，面板玻璃的应用逐渐成为未来的新趋势，与此同时，面板产品高频率的更新换代，也为缺陷检测带来越来越高、越来越严格的要求。

然而，由于生产工艺的问题，在某一个时间段中会爆发大量的缺陷，因此，缺陷数量多，模型对于此类缺陷的检测效果较好。但是，对某些由于偶然性操作产生的特殊种类的缺陷来说，因为其可复现性较低，所以，收集该缺陷的数量较少，进而，导致出现模型漏检或检测困难的问题出现。

基于此，本申请实施例提供一种扩充缺陷样本的方法，在该方法中，可以对真实面板中的缺陷进行图像采集，来获得原始缺陷图像；进而，可以将原始缺陷图像输入训练好的VAE模型中进行缺陷扩充，来获得扩充缺陷图像；其中，训练好的VAE模型中的编码器可以包括卷积层、特征均值层和指数函数激活层，训练好的VAE模型中的解码器可以包括上采样层和批量归一化层，训练好的VAE模型中的损失函数包括KL散度计算模块。因此，在本申请实施例中，由于训练好的VAE模型中的编码器包括卷积层、特征均值层和指数函数激活层，解码器包括上采样层和批量归一化层，损失函数包括KL散度计算模块，因此，针对发生率较低、数量较少的缺陷，在采用该训练好的VAE模型来扩充缺陷样本时，其可以生成高质量的扩充缺陷图像，以大量的扩充样本，从而，有益于提高目标检测模型的指标，降低缺陷检测模型的漏检率。由于训练好的VAE模型中包括卷积层和上采样层，因此，针对高分辨率和较大尺寸的面板缺陷图像扩充也非常的适用。此外，由于训练好的VAE模型中的损失函数包括KL散度计算模块，即，本申请对Loss函数的计算进行了优化，因此，在进行模型训练时，可以更快速、更高效进行模型收敛，缩短模型的训练时间。

在介绍完本申请实施例的设计思想之后，下面对本申请实施例的技术方案能够适用的应用场景做一些简单介绍，需要说明的是，以下介绍的应用场景仅用于说明本申请实施例而非限定。在具体实施过程中，可以根据实际需要灵活地应用本申请实施例提供的技术方案。

如图1所示，为本申请实施例提供的一种应用场景示意图。该应用场景中可以包括扩充缺陷样本的设备10。

其中，扩充缺陷样本的设备10可以用于对面板产品的缺陷样本进行扩充，例如，可以为个人计算机（Personal Computer，PC）、服务器与手提电脑等。扩充缺陷样本的设备10可包括一个或者多个处理器101、存储器102、I/O接口103以及数据库104。具体的，处理器101可以为中央处理单元（central processing unit，CPU），或者为数字处理单元等等。存储器102可以是易失性存储器（volatile memory），例如随机存取存储器（random-accessmemory，RAM）；存储器102也可以是非易失性存储器（non-volatile memory），例如只读存储器，快闪存储器（flash memory），硬盘（hard disk drive，HDD）或固态硬盘（solid-statedrive，SSD）；或者存储器102是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器102可以是上述存储器的组合。存储器102中可以存储本申请实施例提供的扩充缺陷样本的方法的部分程序指令，这些程序指令被处理器101执行时能够用以实现本申请实施例提供的扩充缺陷样本的方法的步骤，以解决缺陷样本较少的问题。数据库104可以用于存储本申请实施例提供的方案中涉及到的原始缺陷图像、扩充缺陷图像、训练好的VAE模型、训练集和测试集等数据。

在本申请实施例中，扩充缺陷样本的设备10可以通过I/O接口103获取原始缺陷图像，然后，扩充缺陷样本的设备10的处理器101会按照存储器102中本申请实施例提供的扩充缺陷样本的方法的程序指令来解决缺陷样本较少的问题。此外，还可以将原始缺陷图像、扩充缺陷图像、训练好的VAE模型、训练集和测试集等数据存储于数据库104中。

当然，本申请实施例提供的方法并不限用于图1所示的应用场景中，还可以用于其他可能的应用场景，本申请实施例并不进行限制。对于图1所示的应用场景的各个设备所能实现的功能将在后续的方法实施例中一并进行描述，在此先不过多赘述。下面，将结合附图对本申请实施例的方法进行介绍。

如图2所示，为本申请实施例提供的扩充缺陷样本的方法的一种流程示意图，该方法可以通过图1中的扩充缺陷样本的设备10来执行，具体的，该方法的流程介绍如下。

步骤201：对真实面板中的缺陷进行图像采集，获得原始缺陷图像。

为了进一步提高面板产品的缺陷检测准确率，在本申请实施例中，可以通过对面板产品的缺陷图像进行扩展，来提高面板产品的缺陷检测准确率，具体的，首先，可以对真实面板中的缺陷进行图像采集，以获得原始缺陷图像。

步骤202：将原始缺陷图像输入训练好的VAE模型中进行缺陷扩充，获得扩充缺陷图像。

在本申请实施例中，训练好的VAE模型中的编码器可以包括卷积层、特征均值层和指数函数激活层，训练好的VAE模型中的解码器可以包括上采样层和批量归一化层，训练好的VAE模型中的损失函数可以包括KL散度计算模块。

进而，为了对面板产品的缺陷图像进行扩展，在获取了真实面板的原始缺陷图像之后，可以直接将该原始缺陷图像输入训练好的VAE模型中进行缺陷扩充，来获得扩充缺陷图像。

基于此，由于训练好的VAE模型中的编码器包括卷积层、特征均值层和指数函数激活层，解码器包括上采样层和批量归一化层，损失函数包括KL散度计算模块，因此，针对发生率较低、数量较少的缺陷，在采用该训练好的VAE模型来扩充缺陷样本时，其可以生成高质量的扩充缺陷图像，以大量的扩充样本，从而，有益于提高目标检测模型的指标，降低缺陷检测模型的漏检率。由于训练好的VAE模型中包括卷积层和上采样层，因此，针对高分辨率和较大尺寸的面板缺陷图像扩充也非常的适用。此外，由于训练好的VAE模型中的损失函数包括KL散度计算模块，即，本申请对Loss函数的计算进行了优化，因此，在进行模型训练时，可以更快速、更高效进行模型收敛，缩短模型的训练时间。

在一种可能的实施方式中，为了进一步对面板产品的缺陷图像进行扩展，在本申请实施例中，在将原始缺陷图像输入训练好的VAE模型中进行缺陷扩充，获得扩充缺陷图像之前，还可以对改进后的VAE模型进行训练，以及获得该训练好的VAE模型。

具体的，首先，可以对真实面板中的各种缺陷进行实时图像采集，以获取多张原始缺陷图像。当然，为了进一步对面板产品的缺陷图像进行扩展，在本申请实施例中，除了获取各种缺陷对应的原始缺陷图像，还可以获取无缺陷图像和发生率低的缺陷图像。且，还可以将无缺陷图像和发生率低的缺陷图像放到同一文件夹下，为后续的图像预处理做准备；然后，可以将这多张原始缺陷图像（具体可以包括发生率高的缺陷图像、发生率低的缺陷图像以及无缺陷图像）按照预设比例，来获得训练集和测试集，例如，可以按照7:3比例，来划分训练集和测试集；最后，可以采用训练集对改进后的VAE模型进行训练，并采用测试集对改进后的VAE模型进行测试，从而，获得训练好的VAE模型。进而，由于是采用实时采集的缺陷图像，来对改进后的VAE模型进行训练与测试，因此，可以使训练好的VAE模型更符合当前的实际情况，使获得的扩充缺陷图像也更能具有真实性。

在一种可能的实施方式中，为了进一步提高扩充缺陷图像的质量，在本申请实施例中，在采用训练集对改进后的VAE模型进行训练，并采用测试集对改进后的VAE模型进行测试，获得训练好的VAE模型之前，还可以对原始VAE模型进行改进，以获得改进后的VAE模型。

具体的，首先，可以将原始VAE模型的编码器中的全连接层替换为卷积层和批量归一化层，以及将编码器中的Sigmod激活函数替换为Leakyrelu激活函数，以获得第一VAE模型。进而，由于将原始VAE模型的编码器中的全连接层替换为卷积层和批量归一化层，以及将编码器中的Sigmod激活函数替换为Leakyrelu激活函数，因此，在本申请中，不仅可以进一步使得训练好的VAE模型能够对高分辨率和较大尺寸的面板缺陷图像进行扩充，还可以进一步增加VAE模型的表现力，并使VAE模型的网络神经更好地拟合数据，从而，进一步加快VAE模型的收敛速度。

然后，可以在第一VAE模型的编码器中构建特征均值层和指数函数激活层，获得第二VAE模型。其中，特征均值层可采用如下公式（1）进行表示：

（1）

其中，x表示特征向量，n表示特征值向量的个数。

指数函数激活层可采用如下公式（2）进行表示：

（2）

进而，由于编码器中还构建了特征均值层和指数函数激活层，因此，在本申请中，可以通过编码器得到一个与原始缺陷图像特征相似的图像特征，以便于后续得到扩充缺陷图像。

接下来，可以将第二VAE模型的解码器中的初始全连接层替换为上采样层和批量归一化层，并采用Tanh激活函数进行解码结果输出，来获得第三VAE模型。进而，由于将解码器中的初始全连接层替换为上采样层和批量归一化层，并采用Tanh激活函数进行解码结果输出，因此，在本申请中，不仅可以进一步使训练好的VAE模型能够更加适用于对高分辨率和较大尺寸的面板缺陷图像，还可以进一步加快VAE模型的收敛速度。

最后，可以在第三VAE模型的损失函数中添加KL散度计算模块，来获得改进后的VAE模型。其中，KL散度可采用如下公式（3）进行表示：

（3）

进而，由于损失函数中还添加了KL散度计算模块，因此，在进行模型训练时，还可以进一步缩短模型的训练时间。

在一种可能的实施方式中，为了达到扩充缺陷样本的目的，在本申请实施例中，在将原始缺陷图像输入训练好的VAE模型中进行缺陷扩充，来获得扩充缺陷图像时，具体可以将原始缺陷图像输入训练好的VAE模型的编码器中进行编码，来获得带噪声的图像特征；然后，还可以将带噪声的图像特征输入训练好的VAE模型的解码器中进行解码，以获得扩充缺陷图像。

进而，由于训练好的VAE模型的编码器输出图像特征为带噪声的图像特征，因此，可以使得后续获得的扩充缺陷图像与原始缺陷图像相似，以达到扩充缺陷样本的目的。

在一种可能的实施方式中，为了便于后续得到扩充缺陷图像，在本申请实施例中，在将原始缺陷图像输入训练好的VAE模型的编码器中进行编码，来获得带噪声的图像特征时，具体可以采用编码器中的卷积层和批量归一化层对原始缺陷图像进行处理，来获得归一化后的图像特征；然后，可以采用编码器中的特征均值层和指数函数激活层对归一化后的图像特征进行处理，来获得带噪声的图像特征。

进而，由于获得的带噪声的图像特征，是依次通过卷积层、批量归一化层、特征均值层和指数函数激活层来获得的，因此，不仅可以进一步使得训练好的VAE模型能够对高分辨率和较大尺寸的面板缺陷图像进行扩充，还可以进一步通过编码器得到一个与原始缺陷图像特征相似的图像特征，以便于后续得到扩充缺陷图像。

在一种可能的实施方式中，为了便于后续得到扩充缺陷图像更符合实际情况，在本申请实施例中，采用所述编码器中的特征均值层和指数函数激活层对所述归一化后的图像特征进行处理，来获得带噪声的图像特征时，如图3所示，为本申请实施例提供的获得带噪声的图像特征的一种示意图。

首先，可以采用编码器中的特征均值层对归一化后的图像特征进行均值处理，来获得均值后的图像特征；然后，可以采用编码器中的指数函数激活层对均值后的图像特征进行噪声自学习，来获得自学习后的第一图像特征和自学习后的第二图像特征，其中，如图3所示，自学习后的第一图像特征是对进行自学习后获得的，自学习后的第二图像特征是对/>进行自学习后获得的；接下来，可以对自学习后的第一图像特征进行高斯白噪声学习，获得自学习后的第三图像特征，其中，如图3所示，自学习后的第三图像特征是自学习后的第一图像特征对高斯白噪声/>进行自学习后获得的，且该高斯白噪声/>可以采用/>来进行表示；最后，可以根据自学习后的第二图像特征和自学习后的第三图像特征，来获得带噪声的图像特征，如图3中所示的/>。

进而，由于最终的带噪声的图像特征是根据对噪声自学习后的图像特征获得的，因此，可以进一步使得最终的带噪声的图像特征与真实的缺陷图像特征相符，以便于后续得到扩充缺陷图像更符合实际情况。

在一种可能的实施方式中，为了进一步使得解码得到的扩充缺陷图像符合高分辨率和较大尺寸的实际缺陷图像条件，在本申请实施例中，在将带噪声的图像特征输入训练好的VAE模型的解码器中进行解码，来获得扩充缺陷图像时，具体可以根据解码器中的上采样层和批量归一化层，来获得扩充缺陷图像。

进而，由于是解码器中的上采样层和批量归一化层，来获得扩充缺陷图像，因此，可以进一步使得解码得到的扩充缺陷图像符合高分辨率和较大尺寸的实际缺陷图像条件。

在一种可能的实施方式中，为了缩短模型的训练时间，在本申请实施例中，在采用训练集对改进后的VAE模型进行训练，并采用测试集对改进后的VAE模型进行测试，来获得训练好的VAE模型时，首先，可以采用训练集对改进后的VAE模型进行训练，并根据KL散度计算模块，来确定训练集中的原始缺陷图像和扰动缺陷图像的潜在空间相似度；然后，可以根据潜在空间相似度，对改进后的VAE模型进行网络权重调整，来获得调整后的VAE模型；最后，可以采用测试集对调整后的VAE模型进行测试，来获得训练好的VAE模型。

进而，由于是通过KL散度计算模块计算潜在空间相似度，来对改进后的VAE模型进行网络权重调整，因此，在进行模型训练时，还可以进一步缩短模型的训练时间。

在一种可能的实施方式中，为了进一步缩短VAE模型的训练时间，在本申请实施例中，在将多张原始缺陷图像按照预设比例，获得训练集和测试集之前，还可以对多张原始缺陷图像进行预处理。

具体的，首先，可以对这多张原始缺陷图像进行对比度增强，来获得多张增强后的缺陷图像；然后，可以对多张增强后的缺陷图像进行亮度变换，来获得多张变换后的缺陷图像；最后，可以对多张变换后的缺陷图像进行畸形变换，来获得多张预处理后的缺陷图像。

基于此，在将多张原始缺陷图像按照预设比例，获得训练集和测试集时，进一步可以将多张预处理后的缺陷图像按照预设比例，来获得训练集和测试集。进而，由于对原始缺陷图像进行了对比度增强、亮度变换以及畸形变换等操作，因此，可以减少原始缺陷图像中的噪声，以便对改进的VAE模型进行训练，从而，进一步缩短VAE模型的训练时间。

综上所述，在本申请实施例中，由于训练好的VAE模型中的编码器包括卷积层、特征均值层和指数函数激活层，解码器包括上采样层和批量归一化层，损失函数包括KL散度计算模块，因此，针对发生率较低、数量较少的缺陷，在采用该训练好的VAE模型来扩充缺陷样本时，其可以生成高质量的扩充缺陷图像，以大量的扩充样本，从而，有益于提高目标检测模型的指标，降低缺陷检测模型的漏检率。由于训练好的VAE模型中包括卷积层和上采样层，因此，针对高分辨率和较大尺寸的面板缺陷图像扩充也非常的适用。此外，由于训练好的VAE模型中的损失函数包括KL散度计算模块，即，本申请对Loss函数的计算进行了优化，因此，在进行模型训练时，可以更快速、更高效进行模型收敛，缩短模型的训练时间。

基于同一发明构思，本申请实施例提供一种扩充缺陷样本的装置40，如图4所示，该扩充缺陷样本的装置40包括：

图像采集单元401，用于对真实面板中的缺陷进行图像采集，获得原始缺陷图像；

缺陷图像扩充单元402，用于将原始缺陷图像输入训练好的VAE模型中进行缺陷扩充，获得扩充缺陷图像；其中，训练好的VAE模型中的编码器包括卷积层、特征均值层和指数函数激活层，训练好的VAE模型中的解码器包括上采样层和批量归一化层，训练好的VAE模型中的损失函数包括KL散度计算模块。

在一种实现方式中，该扩充缺陷样本的装置40还包括模型训练单元403，模型训练单元403，用于：

对真实面板中的各种缺陷进行实时图像采集，获取多张原始缺陷图像；

将多张原始缺陷图像按照预设比例，获得训练集和测试集；

采用训练集对改进后的VAE模型进行训练，并采用测试集对改进后的VAE模型进行测试，获得训练好的VAE模型。

在一种实现方式中，模型训练单元403，还用于：

将原始VAE模型的编码器中的全连接层替换为卷积层和批量归一化层，以及将编码器中的Sigmod激活函数替换为Leakyrelu激活函数，获得第一VAE模型；

在第一VAE模型的编码器中构建特征均值层和指数函数激活层，获得第二VAE模型；

将第二VAE模型的解码器中的初始全连接层替换为上采样层和批量归一化层，并采用Tanh激活函数进行解码结果输出，获得第三VAE模型；

在第三VAE模型的损失函数中添加KL散度计算模块，获得改进后的VAE模型。

在一种实现方式中，缺陷图像扩充单元402，还用于：

将原始缺陷图像输入训练好的VAE模型的编码器中进行编码，获得带噪声的图像特征；

将带噪声的图像特征输入训练好的VAE模型的解码器中进行解码，获得扩充缺陷图像。

在一种实现方式中，缺陷图像扩充单元402，还用于：

采用编码器中的卷积层和批量归一化层对原始缺陷图像进行处理，获得归一化后的图像特征；

采用编码器中的特征均值层和指数函数激活层对归一化后的图像特征进行处理，获得带噪声的图像特征。

在一种实现方式中，缺陷图像扩充单元402，还用于：

采用编码器中的特征均值层对归一化后的图像特征进行均值处理，获得均值后的图像特征；

采用编码器中的指数函数激活层对均值后的图像特征进行噪声自学习，获得自学习后的第一图像特征和自学习后的第二图像特征；

对自学习后的第一图像特征进行高斯白噪声学习，获得自学习后的第三图像特征；

根据自学习后的第二图像特征和自学习后的第三图像特征，获得带噪声的图像特征。

在一种实现方式中，缺陷图像扩充单元402，还用于：

根据解码器中的上采样层和批量归一化层，获得扩充缺陷图像。

在一种实现方式中，模型训练单元403，还用于：

采用训练集对改进后的VAE模型进行训练，并根据KL散度计算模块，确定训练集中的原始缺陷图像和扰动缺陷图像的潜在空间相似度；

根据潜在空间相似度，对改进后的VAE模型进行网络权重调整，获得调整后的VAE模型；

采用测试集对调整后的VAE模型进行测试，获得训练好的VAE模型。

在一种实现方式中，该扩充缺陷样本的装置40还包括图像预处理单元404，图像预处理单元404，用于：

对多张原始缺陷图像进行对比度增强，获得多张增强后的缺陷图像；

对多张增强后的缺陷图像进行亮度变换，获得多张变换后的缺陷图像；

对多张变换后的缺陷图像进行畸形变换，获得多张预处理后的缺陷图像；

则，将多张原始缺陷图像按照预设比例，获得训练集和测试集的步骤，包括：

将多张预处理后的缺陷图像按照预设比例，获得训练集和测试集。

该扩充缺陷样本的装置40可以用于执行图2-图3所示的实施例中所执行的方法，因此，对于该扩充缺陷样本的装置40的各功能模块所能够实现的功能等可参考图2-图3所示的实施例的描述，不多赘述。

在一些可能的实施方式中，本申请提供的方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在计算机设备上运行时，所述程序代码用于使所述计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的方法中的步骤，例如，所述计算机设备可以执行如图2-图3所示的实施例中所执行的方法。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机、服务器、或者网络设备等）执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种扩充缺陷样本的方法，其特征在于，所述方法包括：

对真实面板中的各种缺陷进行实时图像采集，获取多张原始缺陷图像；

将所述多张原始缺陷图像按照预设比例，获得训练集和测试集；

将原始VAE模型的编码器中的全连接层替换为卷积层和批量归一化层，以及将所述编码器中的Sigmod激活函数替换为Leakyrelu激活函数，获得第一VAE模型；

在所述第一VAE模型的编码器中构建特征均值层和指数函数激活层，获得第二VAE模型；

将所述第二VAE模型的解码器中的初始全连接层替换为上采样层和批量归一化层，并采用Tanh激活函数进行解码结果输出，获得第三VAE模型；

在所述第三VAE模型的损失函数中添加KL散度计算模块，获得改进后的VAE模型；

采用所述训练集对改进后的VAE模型进行训练，并采用所述测试集对所述改进后的VAE模型进行测试，获得训练好的VAE模型；

对真实面板中的缺陷进行图像采集，获得原始缺陷图像；

将所述原始缺陷图像输入训练好的VAE模型中进行缺陷扩充，获得扩充缺陷图像；其中，所述训练好的VAE模型中的编码器包括卷积层、特征均值层和指数函数激活层，所述训练好的VAE模型中的解码器包括上采样层和批量归一化层，所述训练好的VAE模型中的损失函数包括KL散度计算模块。

2.如权利要求1所述的方法，其特征在于，所述将所述原始缺陷图像输入训练好的VAE模型中进行缺陷扩充，获得扩充缺陷图像的步骤，包括：

将所述原始缺陷图像输入所述训练好的VAE模型的编码器中进行编码，获得带噪声的图像特征；

将所述带噪声的图像特征输入所述训练好的VAE模型的解码器中进行解码，获得所述扩充缺陷图像。

3.如权利要求2所述的方法，其特征在于，所述将所述原始缺陷图像输入所述训练好的VAE模型的编码器中进行编码，获得带噪声的图像特征的步骤，包括：

采用所述编码器中的卷积层和批量归一化层对所述原始缺陷图像进行处理，获得归一化后的图像特征；

采用所述编码器中的特征均值层和指数函数激活层对所述归一化后的图像特征进行处理，获得带噪声的图像特征。

4.如权利要求3所述的方法，其特征在于，所述采用所述编码器中的特征均值层和指数函数激活层对所述归一化后的图像特征进行处理，获得带噪声的图像特征的步骤，包括：

采用所述编码器中的特征均值层对所述归一化后的图像特征进行均值处理，获得均值后的图像特征；

采用所述编码器中的指数函数激活层对所述均值后的图像特征进行噪声自学习，获得自学习后的第一图像特征和自学习后的第二图像特征；

对所述自学习后的第一图像特征进行高斯白噪声学习，获得自学习后的第三图像特征；

根据所述自学习后的第二图像特征和所述自学习后的第三图像特征，获得所述带噪声的图像特征。

5.如权利要求2所述的方法，其特征在于，所述将所述带噪声的图像特征输入所述训练好的VAE模型的解码器中进行解码，获得所述扩充缺陷图像的步骤，包括：

根据所述解码器中的上采样层和批量归一化层，获得所述扩充缺陷图像。

6.如权利要求1所述的方法，其特征在于，所述采用所述训练集对改进后的VAE模型进行训练，并采用所述测试集对所述改进后的VAE模型进行测试，获得训练好的VAE模型的步骤，包括：

采用所述训练集对改进后的VAE模型进行训练，并根据所述KL散度计算模块，确定所述训练集中的原始缺陷图像和扰动缺陷图像的潜在空间相似度；

根据所述潜在空间相似度，对所述改进后的VAE模型进行网络权重调整，获得调整后的VAE模型；

采用所述测试集对所述调整后的VAE模型进行测试，获得所述训练好的VAE模型。

7.如权利要求1所述的方法，其特征在于，在将所述多张原始缺陷图像按照预设比例，获得训练集和测试集之前，所述方法还包括：

对所述多张原始缺陷图像进行对比度增强，获得多张增强后的缺陷图像；

对所述多张增强后的缺陷图像进行亮度变换，获得多张变换后的缺陷图像；

对所述多张变换后的缺陷图像进行畸形变换，获得多张预处理后的缺陷图像；

则，所述将所述多张原始缺陷图像按照预设比例，获得训练集和测试集的步骤，包括：

将所述多张预处理后的缺陷图像按照预设比例，获得训练集和测试集。

8.一种扩充缺陷样本的装置，其特征在于，所述装置包括：

模型训练单元，用于对真实面板中的各种缺陷进行实时图像采集，获取多张原始缺陷图像；将所述多张原始缺陷图像按照预设比例，获得训练集和测试集；将原始VAE模型的编码器中的全连接层替换为卷积层和批量归一化层，以及将所述编码器中的Sigmod激活函数替换为Leakyrelu激活函数，获得第一VAE模型；在所述第一VAE模型的编码器中构建特征均值层和指数函数激活层，获得第二VAE模型；将所述第二VAE模型的解码器中的初始全连接层替换为上采样层和批量归一化层，并采用Tanh激活函数进行解码结果输出，获得第三VAE模型；在所述第三VAE模型的损失函数中添加KL散度计算模块，获得改进后的VAE模型；采用所述训练集对改进后的VAE模型进行训练，并采用所述测试集对所述改进后的VAE模型进行测试，获得训练好的VAE模型；

图像采集单元，用于对真实面板中的缺陷进行图像采集，获得原始缺陷图像；

缺陷图像扩充单元，用于将所述原始缺陷图像输入训练好的VAE模型中进行缺陷扩充，获得扩充缺陷图像；其中，所述训练好的VAE模型中的编码器包括卷积层、特征均值层和指数函数激活层，所述训练好的VAE模型中的解码器包括上采样层和批量归一化层，所述训练好的VAE模型中的损失函数包括KL散度计算模块。

9.一种电子设备，其特征在于，所述设备包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序指令执行权利要求1-7中任一所述的方法。

10.一种存储介质，其特征在于，所述存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行权利要求1-7中任一所述的方法。