CN113516615A - 一种样本生成方法、***、设备及存储介质 - Google Patents

Abstract

本申请实施例提供一种样本生成方法、***、设备及存储介质。在本申请实施例中，可通过生成对抗网络，从原始样本集包含的若干第一类型样本中，捕获指定类型的对象的特征分布信息，从而可利用生成对抗网络中的对象生成器衍生出若干符合指定类型的对象的特征分布信息的对象图像，在此基础上，可为衍生出的对象图像分别融合背景，从而获得若干新的第一类型样本。据此，本申请实施例中，可在有限数量的第一类型样本的基础上，衍生出更丰富的新的第一类型样本，这可为用于指定类型的对象检测的深度学习模型提供更多样、更大规模且高真实度的训练样本，从而可有效提高深度学习模型对指定类型的对象的检测性能。

Description

一种样本生成方法、***、设备及存储介质

技术领域

本申请涉及图像处理技术领域，尤其涉及一种样本生成方法、***、设备及存储介质。

背景技术

在工业制造的许多场景中，产品外观瑕疵检测一直都是企业生产产品的一个重要环节，瑕疵检测能够让企业及早发现缺陷产品，定位瑕疵产生原因，避免给企业造成更大的经济损失。传统瑕疵检测方法更多是采用人工方式，检测过程漫长、检测标准因人而异，于是更加自动化的检测方法成为企业的研究重点。随着深度学习的发展，基于深度学习的瑕疵检测算法不断涌现并取得了非常不错的效果，在各行各业中逐渐被应用起来。

但是，得益于当前生产工艺提高和自动化产线升级，产品的良品率通常较高，瑕疵样本较少出现，这导致瑕疵样本收集难、收集周期长、多样性不足，这严重影响了深度学习模型的训练效果，造成深度学习的检测性能不佳。

发明内容

本申请的多个方面提供一种样本生成方法、***、设备及存储介质，用以提高样本的多样性和数量。

本申请实施例提供一种样本生成方法，包括：

获取原始样本集，所述原始样本集中的样本为第一类型样本，所述第一类型样本中包含指定类型的对象；

基于所述原始样本集对生成对抗网络进行训练，以供所述生成对抗网络中的对象生成器捕获所述原始样本集中指定类型的对象的特征分布信息；

利用所述对象生成器生成符合所述特征分布信息的若干对象图像；

为所述若干对象图像分别融合背景，以获得若干新的第一类型样本。

本申请实施例还提供一种样本生成方法，包括：

响应于调用目标服务的请求，确定所述目标服务对应的处理资源，利用所述目标服务对应的处理资源执行如下步骤：

获取原始样本集，所述原始样本集中的样本为第一类型样本，所述第一类型样本中包含指定类型的对象；

基于所述原始样本集对生成对抗网络进行训练，以供所述生成对抗网络中的对象生成器捕获所述原始样本集中指定类型的对象的特征分布信息；

利用所述对象生成器生成符合所述特征分布信息的若干对象图像；

为所述若干对象图像分别融合背景，以获得若干新的第一类型样本。

本申请实施例还提供一种样本生成方法，包括：

获取原始样本集；

基于所述原始样本集对生成对抗网络进行训练，以供所述生成对抗网络中的对象生成器捕获所述原始样本集中的指定类型的对象的特征分布信息；

利用所述对象生成器生成符合所述指定类型的对象的特征分布信息的若干对象图像；

为所述若干对象图像分别融合背景，以获得若干新的第一类型样本。

本申请实施例还提供一种样本生成***，包括生成对抗网络和融合单元，所述生成对抗网络包括对象生成器；

所述对象生成器，用于获取原始样本集，所述原始样本集中的样本为第一类型样本，所述第一类型样本中包含指定类型的对象；并从所述原始样本集中捕获指定类型的对象的特征分布信息；基于所述指定类型的对象的特征分布信息，生成若干对象图像并提供给所述融合单元；

所述融合单元，用于为所述若干对象图像分别融合背景，以获得若干新的第一类型样本。

本申请实施例还提供一种计算设备，包括存储器和处理器；

所述存储器用于存储一条或多条计算机指令；

所述处理器与所述存储器耦合，用于执行所述一条或多条计算机指令，以用于：

获取原始样本集，所述原始样本集中的样本为第一类型样本，所述第一类型样本中包含指定类型的对象；

基于所述原始样本集对生成对抗网络进行训练，以供所述生成对抗网络中的对象生成器捕获所述原始样本集中的指定类型的对象的特征分布信息；

利用所述对象生成器生成符合所述指定类型的对象的特征分布信息的若干对象图像；

为所述若干对象图像分别融合背景，以获得若干新的第一类型样本。

本申请实施例还提供一种存储计算机指令的计算机可读存储介质，当所述计算机指令被一个或多个处理器执行时，致使所述一个或多个处理器执行前述的样本生成方法。

在本申请实施例中，可通过生成对抗网络，从原始样本集包含的若干第一类型样本中，捕获指定类型的对象的特征分布信息，从而可利用生成对抗网络中的对象生成器衍生出若干符合指定类型的对象的特征分布信息的对象图像，在此基础上，可为衍生出的对象图像分别融合背景，从而获得若干新的第一类型样本。据此，本申请实施例中，可在有限数量的第一类型样本的基础上，衍生出更丰富的新的第一类型样本，这可为用于指定类型的对象检测的深度学习模型提供更多样、更大规模且高真实度的训练样本，从而可有效提高深度学习模型对指定类型的对象的检测性能。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请一示例性实施例提供的一种样本生成方法的流程示意图；

图2a为本申请一示例性实施例提供的一种样本生成方案的逻辑示意图；

图2b为本申请一示例性实施例提供的一种第一类型样本的示意图；

图3为本申请一示例性实施例提供的一种样本生成***的结构示意图；

图4a为本申请一示例性实施例提供的一种生成对抗网络的原理图；

图4b为对生成对抗网络进行训练的逻辑示意图；

图5a和图5b为本申请一示例性实施例中进行形态学膨胀后进行融合以及不进行形态学膨胀进行融合的效果图；

图6为本申请一示例性实施例提供的一种填充处理效果示意图；

图7为本申请另一示例性实施例提供的一种计算设备的结构示意图；

图8为本申请又一示例性实施例提供的另一种样本生成方法的流程示意图；

图9为本申请又一示例性实施例提供的又一种样本生成方法的流程示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

针对现有瑕疵样本不足的技术问题，本申请实施例的一些实施例中：通过生成对抗网络，从原始样本集包含的若干第一类型样本中，捕获指定类型的对象的特征分布信息，从而可利用生成对抗网络中的对象生成器衍生出若干符合指定类型的对象的特征分布信息的对象图像，在此基础上，可为衍生出的对象图像分别融合背景，从而获得若干新的第一类型样本。据此，本申请实施例中，可在有限数量的第一类型样本的基础上，衍生出更丰富的新的第一类型样本，这可为用于指定类型的对象检测的深度学习模型提供更多样、更大规模且高真实度的训练样本，从而可有效提高深度学习模型对指定类型的对象的检测性能。

以下结合附图，详细说明本申请各实施例提供的技术方案。

图1为本申请一示例性实施例提供的一种样本生成方法的流程示意图。图2a为本申请一示例性实施例提供的一种样本生成方案的逻辑示意图。参考图1和图2a，该样本生成方法可包括：

步骤100、获取原始样本集，原始样本集中的样本为第一类型样本，第一类型样本中包含指定类型的对象；

步骤101、基于原始样本集对生成对抗网络进行训练，以供生成对抗网络中的对象生成器捕获原始样本集中的指定类型的对象的特征分布信息；

步骤102、利用对象生成器生成符合指定类型的对象的特征分布信息的若干对象图像；

步骤103、为若干对象图像分别融合背景，以获得若干新的第一类型样本。

本实施例提供的样本生成方法可应用于各种需要进行指定类型的对象的检测场景中，例如，工业瑕疵检测场景或者其它表面缺陷检测场景等，本实施例对应用场景不做限定。在工业瑕疵检测场景下，指定类型的对象可以是工业瑕疵。当然，在其它应用场景下，指定类型的对象还可以是其它对象本实施例对此不作限定。另外，本实施例中，指定类型的对象的形状、体积等属性可以是多种多样的，本实施例对此也不做限定。本实施例生成的新的第一类型样本可参与对象检测模型的训练，以提高对象检测模型的性能，当然，本实施例并不限于此，本实施例生成的新的第一类型样本也可另作他用。其中，对象检测模型是指用于对象检测的深度学习模型。

本实施例中，可将从真实场景中收集到的有限数量的包含指定类型的对象的图像样本作为第一类型样本，并构建原始样本集。图2b为本申请一示例性实施例提供的一种第一类型样本的示意图。由于这些第一类型样本原本就是要用于训练对象检测模型的，因此，这些第一类型样本通常具有标注信息。第一类型样本的标注信息包括但不限于用于标定对象位置的标定真值框(参考图3中两张第一类型样本中的矩形框)等。

图3为本申请一示例性实施例提供的一种样本生成***的结构示意图。本实施例中，可基于样本生成***，实施样本生成方法。参考图3，样本生成***中包含一生成对抗网络10(GAN,Generative Adversarial Networks)和融合单元20。生成对抗网络10可用于衍生对象图像，而融合单元20可用于为衍生出的对象图像融合背景，以产生新的第一类型样本。

其中，生成对抗网络采用大规模对抗网络BigGAN、权重对抗网络WCGAN、循环对抗网络cycleGAN或星型对抗网络starGAN。本实施例对生成对抗网络采用的网络类型不做限定。

结合图1，在步骤101中，可基于原始样本集对生成对抗网络进行训练。参考图3，生成对抗网络10中包括对象生成器11和对象判别器12，对象生成器11的输出为图像。基于此，通过对生成对抗网络10进行训练，可使得生成对抗网络10中的对象生成器11捕获到原始样本集中的指定类型的对象的特征分布信息。通常，原始样本集中的指定类型的对象的特征分布信息符合高斯分布。

实际应用中，可对第一类型样本进行抠图，以从第一类型样本中截取出对象截图。正如前文提及的，在原始样本集中通常包含多个第一类型样本及对应的对象特征标注信息，如对象位置的标定真值框，基于此，可根据对象位置的标定真值框，直接从第一类型样本中截取出对象截图。例如，图2b中，可截取矩形框内的图像区域，作为对象截图。这样，可基于多个对象截图对生成对抗网络进行训练，这可有效提高训练效率和训练效果。当然，本实施例对此不做限定，也可直接以第一类型样本对生成对抗网络进行训练。由于使用对象截图的训练效果更佳，后文将，将从对象截图的角度说明对生成对抗网络的训练过程，对于以第一类型样本对生成对抗网络进行训练的方式，可对后续描述中的对象截图进行替换即可。

图4a为本申请一示例性实施例提供的一种生成对抗网络的原理图，图4b为对生成对抗网络进行训练的逻辑示意图。参考图4a，生成对抗网络包括对象生成器(对应图4a中的Generator)和对象判别器(对应图4a中的Discrininator)。

本实施例中，可将上述截取出的多个对象截图作为训练集，输入生成对抗网络中的对象判别器，以供对象判别器从多个对象截图中学习指定类型的对象的特征分布信息，并传播至对象生成器，从而实现对生成对抗网络的训练。以下将结合图4a和4b，示例性说明对生成对抗网络的训练过程：

1、将多个对象截图作为对象判别器的训练集(对应于图4a中的Training set)，以对对象判别器进行训练。在此过程中，对象判别器可从多个对象截图中学习指定类型的对象的特征分布信息(可对应于图4b中虚线的高斯分布)。

2、利用对象判别器对对象生成器进行对抗训练。对象生成器中已有生成分布信息(可对应于图4b中实线的曲线)，通过图4b中的(a)、(b)、(c)和(d)阶段，可逐步将对象生成器中的生成分布信息拟合与上述的指定类型的对象的特征分布信息。从而，对象生成器可捕获到多个对象截图中的指定类型的对象的特征分布信息。

至此，可完成生成对抗网络的训练，获得可用的对象生成器。

这样，对象生成器可学习到原始样本集中的指定类型的对象的特征分布信息。基于此，在步骤102中，对象生成器可根据学习到的指定类型的对象的特征分布信息，生成若干符合指定类型的对象的特征分布信息的对象图像。其中，对象图像中可仅包含指定类型的对象，而不包含任何背景。

参考图4a，对象生成器的输入为一噪声向量，输出为图像。而正如前文提及的，本实施例中对象生成器捕获到的指定类型的对象的特征分布信息通常是符合高斯分布的(参考图4b)，因此，本实施例中，可基于指定类型的对象的特征分布信息进行多次高斯采样，以获得多组噪声向量(对应于图4a中的Random noise)；将多组噪声向量输入对象生成器；在对象生成器中，基于指定类型的对象的特征分布信息，为多组噪声向量分别生成对象图像(对应于图4a中的Fake image)。

参考图4b，不同的噪声向量(对应的图4b中的Z)，映射至指定类型的对象的特征分布信息后，将产生不完全相同的对象图像。实际应用中，衍生出的对象图像可能在原始样本集中出现过，当然，在更多情况下，衍生出的对象图像并未在原始样本集中出现过。因此，本实施例中，可利用对象生成器可衍生出大量的、更多样的对象图像，且对象图像符合第一类型样本中的指定类型的对象的特征分布信息，因此，对象图像将具有极高的真实度。

之后，参考图1和图2a，在步骤103中，可为若干对象图像分别融合背景，以获得若干新的第一类型样本。结合图3，融合单元20可用于为若干对象图像分别融合背景。

在一种示例性的融合方案中，融合单元20包括掩码分割模型21和融合模型22。基于此，在该示例性的融合方案中，可利用掩码分割模型21对若干对象图像分别进行掩码分割，以获得若干对象图像各自对应的掩码图；融合模型22可以基于掩码图从对应的对象图像中提取指定类型的对象，作为前景主体，以至少一张第二类型图像作为背景图，分别为若干对象图像融合背景。优选地，本实施例中，第二类型图像中不包含指定类型的对象，例如，在工业瑕疵检测场景下，第二类型图像可以选用应用场景中的良品图像等。当然，本实施例并不限于此，也以包含指定类型的对象的图像作为背景图，例如，可在第一类型样本上再次融合对象图像，来获得新的第一类型样本。

在该示例性的融合方案中，融合模型22可对若干掩码图进行形态学膨胀；分别基于若干形态学膨胀后的掩码图从对象的对象图像中提取指定类型的对象。图5a和图5b为本申请一示例性实施例中进行形态学膨胀后进行融合以及不进行形态学膨胀进行融合的效果图。参考图5a和图5b，工业瑕疵检测场景中，在一些情况下，瑕疵的形状为线条状时，由于瑕疵过细可能导致瑕疵被过渡平滑掉，而无法在新的第一类型样本中呈现。显然，对掩码图进行形态学膨胀后再进行图像融合，可有效避免这种问题的出现。可选地，可增加对对象图像中对象形状的判断操作，当对象形状为线条状时，可对掩码图进行形态学膨胀后再进行图像融合，否则，可直接进行图像融合。

在该示例性的融合方案中，可预先训练掩码分割模型21，训练过程可以是：从原始样本集包含的各第一类型样本中，分别截取对象截图；获取各对象截图对应的掩码标注信息；将各对象截图及其对应的掩码标注信息，输入掩码分割模型，以训练掩码分割模型21。据此，掩码分割模型21可学习到掩码分割知识，从而保证对衍生出的对象图像进行正确的掩码分割。其中，截取对象截图的过程可参考前文，而掩码标注信息可来自人工标注，也可来自其它渠道，本实施例对此不做限定。

另外，掩码分割模型21可采用全卷积分割网络FCN(Fully ConvolutionalNetworks for Semantic Segmentation)或金字塔场景解析网络PSPNET等，本实施例对掩码分割模型采用的网络类型不做限定。

在该示例性的融合方案中，融合模型22可通过图像融合技术，为对象图像融合背景。实际应用中，可采用泊松融合技术，将对象图像和背景图进行融合。另外，前述的背景图可以是多样的，这样，多样的对象图像可与多样的背景图进行多样化的组合，以提高新的第一类型样本的多样性。

实际应用中，由于新的第一类型样本是融合而来的，因此，可记录新的第一类型样本中的对象图像的位置、形状等信息作为标注信息，例如，以前文提及的标定真值框的形式记录这些标注信息。这样，新的第一类型样本即具备了标注信息，以便于参与对象检测模型的训练过程。

据此，本实施例中，通过生成对抗网络，从有限数量的第一类型样本中，捕获指定类型的对象的特征分布信息，从而可利用生成对抗网络中的对象生成器衍生出若干符合第一类型样本对应的指定类型的对象的特征分布信息的对象图像，在此基础上，可为衍生出的对象图像分别融合背景，从而获得若干新的第一类型样本。据此，本申请实施例中，可在第一类型样本的基础上，衍生出更丰富的新的第一类型样本，这可为用于对象检测的深度学习模型提供更多样、更大规模且高真实度的训练样本，从而可有效提高深度学习模型的对象检测性能。

在上述或下述实施例中，可在对生成对抗网络进行训练之前，对多个对象截图进行填充处理。

由于对多个对象截图的填充处理过程相似，为便于描述，本实施例中，将以第一对象截图为例，进行填充方案的详细说明。应当理解的是，第一对象截图可以是上述实施例中多个对象截图中的任意一个。

本实施例中，可将第一对象截图填充至指定形状，以获得填充后对象截图；并可基于第一对象截图对应的填充后对象截图，训练生成对抗网络。

图6为本申请一示例性实施例提供的一种填充处理效果示意图。参考图6，指定形状可以是正方形，当然，还可以是矩形或其它形状，本实施例对此不做限定。实际应用中，可根据生成对抗网络的训练集中的形状规定来确定本实施例中的指定形状。这是由于，对象截图归为生成对抗网络的训练集时，需要拉伸至生成对抗网络的训练集中规定的形状，例如，训练集中规定的形状为正方形，则需要将训练集中的所有对象图像拉伸至正方形，而对象图像的形状可能是矩形或其它形状，因此，拉伸过程中可能导致对象图像中的对象发生形变，而失去真实的对象特征。为此，本实施例中，可将第一对象截图填充至指定形状。

本实施例中，可预先判断第一对象截图的形状是否符合预设要求，在符合预设要求的情况下，在对第一对象截图进行前述的填充处理。其中，预设要求可以是长宽比大于预设阈值。也即是，对于长度超过宽度足够多的对象图像进行填充，以改善形变。当然，这仅是示例性的，本实施例中，也可无需判断，而对所有对象截图都进行填充处理。

以第一对象截图的长宽比大于预设阈值为例，对第一对象图像的填充过程可以是：以第一对象截图的短边作为横边，以第一对象截图的长边作为竖边；在第一对象截图的两条竖边外侧填充指定像素，直至将第一对象截图填充为正方形。参考图6，填充后对象截图中，对象图像的左右两侧为填充部分。当然，还可采用其它填充方案，例如，在第一对象图像的四周都进行填充等，本实施例中的填充方案并不限于此，填充方案能将第一对象图像填充至指定形状即可。

据此，本实施例中，可在融合背景前，将对象图像填充至指定形状，这样，在后续需要进行拉伸时，只需考虑填充后对象截图与生成对抗网络的训练集中规定的形状之间的规格比例即可，也即只需对填充后对象截图进行整体缩放即可，这有效改善了对象图像的形变。

需要说明的是，上述实施例所提供方法的各步骤的执行主体均可以是同一设备，或者，该方法也由不同设备作为执行主体。比如，步骤101至步骤103的执行主体可以为设备A；又比如，步骤101和102的执行主体可以为设备A，步骤103的执行主体可以为设备B；等等。

另外，在上述实施例及附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的图像、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。

图7为本申请另一示例性实施例提供的一种计算设备的结构示意图。如图7所示，该计算设备包括：存储器70和处理器71。

存储器70，用于存储计算机程序，并可被配置为存储其它各种数据以支持在计算平台上的操作。这些数据的示例包括用于在计算平台上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。

存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

处理器71，与存储器70耦合，用于执行存储器70中的计算机程序，以用于：

获取原始样本集，原始样本集中的样本为第一类型样本，第一类型样本中包含指定类型的对象；

基于原始样本集对生成对抗网络进行训练，以供生成对抗网络中的对象生成器捕获原始样本集中指定类型的对象的特征分布信息；

利用对象生成器生成符合特征分布信息的若干对象图像；

为若干对象图像分别融合背景，以获得若干新的第一类型样本。

本实施例中的处理器71可执行存储器中的计算机程序，以用于实现上述的生成对抗网络及后文提及的掩码分割模型、背景融合操作等功能。

在一可选实施例中，原始样本集中包含多个第一类型样本及对应的对象特征标注信息，处理器71在基于原始样本集对生成对抗网络进行训练时，用于：

按照对象特征标注信息，分别从各第一类型样本中截取对象截图；

基于多个对象截图对生成对抗网络进行训练。

在一可选实施例中，处理器71在基于多个对象截图对生成对抗网络进行训练时，用于：

若第一对象截图的形状符合预设要求，则将第一对象截图填充至指定形状，以获得填充后对象截图；

基于第一对象截图对应的填充后对象截图，训练生成对抗网络；

其中，第一对象截图为多个对象截图中的任意一个。

在一可选实施例中，指定形状为正方形，预设要求包括长宽比值大于预设阈值。

在一可选实施例中，处理器71在将第一对象截图填充至指定形状时，用于：

以第一对象截图的短边作为横边，以第一对象截图的长边作为竖边；

在第一对象截图的两条竖边外侧填充指定像素，直至将第一对象截图填充为正方形。

在一可选实施例中，处理器71在基于多个对象截图对生成对抗网络进行训练时，用于：

以多个对象截图作为训练集，输入生成对抗网络中的对象判别器，以供对象判别器从多个对象截图中学习指定类型的对象的特征分布信息，并传播至对象生成器。

在一可选实施例中，生成对抗网络采用大规模对抗网络BigGAN、权重对抗网络WCGAN、循环对抗网络cycleGAN或星型对抗网络starGAN。

在一可选实施例中，处理器71在利用对象生成器生成符合指定类型的对象的特征分布信息的若干对象图像时，用于：

基于指定类型的对象的特征分布信息进行多次高斯采样，以获得多组噪声向量；

将多组噪声向量输入对象生成器；

在对象生成器中，基于指定类型的对象的特征分布信息，为多组噪声向量分别生成对象图像。

在一可选实施例中，处理器71在为若干对象图像分别融合背景时，用于：

利用掩码分割模型对若干对象图像分别进行掩码分割，以获得若干对象图像各自对应的掩码图；

基于掩码图从对应的对象图像中提取指定类型的对象，作为前景主体，以至少一张第二类型图像作为背景图，采用泊松融合技术，分别为若干对象图像融合背景；

其中，第二类型图像中不包含指定类型的对象。

在一可选实施例中，处理器71在分别为若干掩码图融合背景时，用于：

对若干掩码图进行形态学膨胀；

分别基于若干形态学膨胀后的掩码图从对象的对象图像中提取指定类型的对象。

在一可选实施例中，处理器71在对掩码分割模型进行训练的过程时，用于：

从原始样本集包含的各第一类型样本中，分别截取对象截图；

获取各对象截图对应的掩码标注信息；

将各对象截图及其对应的掩码标注信息，输入掩码分割模型，以训练掩码分割模型。

在一可选实施例中，掩码分割模型采用全卷积分割网络FCN或金字塔场景解析网络PSPNET。

在一可选实施例中，指定类型的对象为瑕疵。

进一步，如图7所示，该计算设备还包括：通信组件72、显示器73、电源组件74其它组件。图7中仅示意性给出部分组件，并不意味着计算设备只包括图7所示组件。

值得说明的是，上述关于计算设备各实施例中的技术细节，可参考前述的方法实施例中的相关描述，为节省篇幅，在此不再赘述，但这不应造成本申请保护范围的损失。

相应地，本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，计算机程序被执行时能够实现上述方法实施例中可由计算设备执行的各步骤。

上述图7中的通信组件，被配置为便于通信组件所在设备和其他设备之间有线或无线方式的通信。通信组件所在设备可以接入基于通信标准的无线网络，如WiFi，2G、3G、4G/LTE、5G等移动通信网络，或它们的组合。在一个示例性实施例中，通信组件经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

上述图7中的显示器，包括屏幕，其屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。

上述图7中的电源组件，为电源组件所在设备的各种组件提供电力。电源组件可以包括电源管理***，一个或多个电源，及其他与为电源组件所在设备生成、管理和分配电力相关联的组件。

在一些可能的设计中，前述实施例中的样本生成方案可在云服务器或云平台中实施。基于此，图8为本申请又一示例性实施例提供的另一种样本生成方法的流程示意图。参考图8，该方法可包括：

步骤800、响应于调用目标服务的请求，确定目标服务对应的处理资源，利用目标服务对应的处理资源执行如下步骤：

步骤801、获取原始样本集，原始样本集中的样本为第一类型样本，第一类型样本中包含指定类型的对象；

步骤802、基于原始样本集对生成对抗网络进行训练，以供生成对抗网络中的对象生成器捕获原始样本集中指定类型的对象的特征分布信息；

步骤803、利用对象生成器生成符合特征分布信息的若干对象图像；

步骤804、为若干对象图像分别融合背景，以获得若干新的第一类型样本。

本实施例中，目标服务可部署在云服务器或云平台上，云服务器或云平台可接收调用目标服务的请求，以对外提供样本生成功能。其中，目标服务中可包含生成对抗网络和融合单元，而云服务器或云平台还可按上述步骤逻辑对生成对抗网络和融合单元进行训练，以使目标服务可支持样本生成功能。

关于目标服务可提供的样本生成方案以及对生成对抗网络和融合单元的训练方案，可参考前述实施例中的相关描述，在此不再赘述，但这不应造成对本申请保护范围的损失。

图9为本申请又一示例性实施例提供的工业瑕疵检测场景下的样本生成方法的流程示意图。参考图9，该方法可包括：

步骤900、获取原始瑕疵样本集；

步骤901、基于原始瑕疵样本集对生成对抗网络进行训练，以供生成对抗网络中的瑕疵生成器捕获原始瑕疵样本集中的瑕疵特征分布信息；

步骤902、利用瑕疵生成器生成符合瑕疵特征分布信息的若干瑕疵图像；

步骤903、为若干瑕疵图像分别融合背景，以获得若干新的瑕疵样本。

其中，该方法适用于工业瑕疵检测场景，用于生成新的瑕疵样本。本实施例可基于图3所示的样本生成***中的生成对抗网络和融合单元进行实施。关于本实施例可提供的样本生成方案以及对生成对抗网络和融合单元的训练方案，可参考前述实施例中的相关描述，在此不再赘述，但这不应造成对本申请保护范围的损失。

本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (19)

1.一种样本生成方法，其特征在于，包括：

获取原始样本集，所述原始样本集中的样本为第一类型样本，所述第一类型样本中包含指定类型的对象；

基于所述原始样本集对生成对抗网络进行训练，以供所述生成对抗网络中的对象生成器捕获所述原始样本集中指定类型的对象的特征分布信息；

利用所述对象生成器生成符合所述特征分布信息的若干对象图像；

为所述若干对象图像分别融合背景，以获得若干新的第一类型样本。

2.根据权利要求1所述的方法，其特征在于，所述原始样本集中包含多个第一类型样本及对应的对象特征标注信息，所述基于所述原始样本集对生成对抗网络进行训练，包括：

按照所述对象特征标注信息，分别从各第一类型样本中截取对象截图；

基于所述多个对象截图对所述生成对抗网络进行训练。

3.根据权利要求2所述的方法，其特征在于，所述基于所述多个对象截图对所述生成对抗网络进行训练，包括：

若第一对象截图的形状符合预设要求，则将所述第一对象截图填充至指定形状，以获得填充后对象截图；

基于所述第一对象截图对应的填充后对象截图，训练所述生成对抗网络；

其中，所述第一对象截图为所述多个对象截图中的任意一个。

4.根据权利要求3所述的方法，其特征在于，所述指定形状为正方形，所述预设要求包括长宽比值大于预设阈值。

5.根据权利要求4所述的方法，其特征在于，所述将所述第一对象截图填充至指定形状，包括：

以所述第一对象截图的短边作为横边，以所述第一对象截图的长边作为竖边；

在所述第一对象截图的两条竖边外侧填充指定像素，直至将所述第一对象截图填充为正方形。

6.根据权利要求2所述的方法，其特征在于，所述基于所述多个对象截图对所述生成对抗网络进行训练，包括：

以所述多个对象截图作为训练集，输入所述生成对抗网络中的对象判别器，以供所述对象判别器从所述多个对象截图中学习所述指定类型的对象的特征分布信息，并传播至所述对象生成器。

7.根据权利要求1所述的方法，其特征在于，所述生成对抗网络采用大规模对抗网络BigGAN、权重对抗网络WCGAN、循环对抗网络cycleGAN或星型对抗网络starGAN。

8.根据权利要求1所述的方法，其特征在于，所述利用所述对象生成器生成符合所述特征分布信息的若干对象图像，包括：

基于所述指定类型的对象的特征分布信息进行多次高斯采样，以获得多组噪声向量；

将所述多组噪声向量输入所述对象生成器；

在所述对象生成器中，基于所述指定类型的对象的特征分布信息，为所述多组噪声向量分别生成对象图像。

9.根据权利要求1所述的方法，其特征在于，所述为所述若干对象图像分别融合背景，包括：

利用掩码分割模型对所述若干对象图像分别进行掩码分割，以获得所述若干对象图像各自对应的掩码图；

基于所述掩码图从对应的对象图像中提取所述指定类型的对象，作为前景主体，以至少一张第二类型图像作为背景图，采用泊松融合技术，分别为所述若干对象图像融合背景；

其中，所述第二类型图像中不包含所述指定类型的对象。

10.根据权利要求9所述的方法，其特征在于，所述基于所述掩码图从对应的对象图像中提取所述指定类型的对象，包括：

对所述若干掩码图进行形态学膨胀；

分别基于若干形态学膨胀后的掩码图从对象的对象图像中提取所述指定类型的对象。

11.根据权利要求9所述的方法，其特征在于，对所述掩码分割模型进行训练的过程，包括：

从所述原始样本集包含的各第一类型样本中，分别截取对象截图；

获取各对象截图对应的掩码标注信息；

将所述各对象截图及其对应的掩码标注信息，输入所述掩码分割模型，以训练所述掩码分割模型。

12.根据权利要求11所述的方法，其特征在于，所述掩码分割模型采用全卷积分割网络FCN或金字塔场景解析网络PSPNET。

13.根据权利要求1所述的方法，其特征在于，所述指定类型的对象为瑕疵。

14.一种样本生成方法，其特征在于，包括：

响应于调用目标服务的请求，确定所述目标服务对应的处理资源，利用所述目标服务对应的处理资源执行如下步骤：

获取原始样本集，所述原始样本集中的样本为第一类型样本，所述第一类型样本中包含指定类型的对象；

基于所述原始样本集对生成对抗网络进行训练，以供所述生成对抗网络中的对象生成器捕获所述原始样本集中指定类型的对象的特征分布信息；

利用所述对象生成器生成符合所述特征分布信息的若干对象图像；

为所述若干对象图像分别融合背景，以获得若干新的第一类型样本。

15.一种样本生成方法，其特征在于，包括：

获取原始瑕疵样本集；

基于所述原始瑕疵样本集对生成对抗网络进行训练，以供所述生成对抗网络中的瑕疵生成器捕获所述原始瑕疵样本集中的瑕疵特征分布信息；

利用所述瑕疵生成器生成符合所述瑕疵特征分布信息的若干瑕疵图像；

为所述若干瑕疵图像分别融合背景，以获得若干新的瑕疵样本。

16.一种样本生成***，其特征在于，包括生成对抗网络和融合单元，所述生成对抗网络包括对象生成器；

所述对象生成器，用于获取原始样本集，所述原始样本集中的样本为第一类型样本，所述第一类型样本中包含指定类型的对象；并从所述原始样本集中捕获指定类型的对象的特征分布信息；基于所述指定类型的对象的特征分布信息，生成若干对象图像并提供给所述融合单元；

所述融合单元，用于为所述若干对象图像分别融合背景，以获得若干新的第一类型样本。

17.根据权利要求16所述的***，其特征在于，所述融合单元包括掩码分割模型和融合模型；

所述掩码分割模型，用于对所述若干对象图像分别进行掩码分割，以获得所述若干对象图像各自对应的掩码图；

所述融合模型，用于基于所述掩码图从对应的对象图像中提取所述指定类型的对象，作为前景主体，以至少一张第二类型图像作为背景图，采用泊松融合技术，分别为所述若干对象图像融合背景；其中，所述第二类型图像中不包含所述指定类型的对象。

18.一种计算设备，其特征在于，包括存储器和处理器；

所述存储器用于存储一条或多条计算机指令；

所述处理器与所述存储器耦合，用于执行所述一条或多条计算机指令，以用于：

获取原始样本集，所述原始样本集中的样本为第一类型样本，所述第一类型样本中包含指定类型的对象；

基于所述原始样本集对生成对抗网络进行训练，以供所述生成对抗网络中的对象生成器捕获所述原始样本集中指定类型的对象的特征分布信息；

利用所述对象生成器生成符合所述特征分布信息的若干对象图像；

为所述若干对象图像分别融合背景，以获得若干新的第一类型样本。

19.一种存储计算机指令的计算机可读存储介质，其特征在于，当所述计算机指令被一个或多个处理器执行时，致使所述一个或多个处理器执行权利要求1-15任一项所述的样本生成方法。

Images