CN108961358A - 一种获得样本图片的方法、装置及电子设备 - Google Patents

Abstract

本申请公开了一种获得样本图片的方法、装置以及电子设备。其中，所述获得样本图片的方法，包括：从真实图片中提取包含内容特征的图像；确定包含内容特征的样本备选图片；根据所述样本备选图片与所述图像之间的差异，提取出所述真实图片的风格特征；使用所述风格特征对样本备选图片进行图像处理，生成样本图片。所述技术方案避免了人工标注的错误，解决了虚拟的字符图片无法模拟出真实图片的风格特征的问题，解决了人工获取数据不平衡的问题，并能够为对样本备选图片进行识别的识别模型提供大量有准确标注的识别样本。

Description

一种获得样本图片的方法、装置及电子设备

技术领域

本申请涉及计算机技术领域，具体涉及一种获得样本图片的方法。本申请同时涉及一种获得样本图片的装置、一种电子设备、一种用于获得样本图片的存储设备以及一种获得样本图片的方法。

背景技术

随着计算机技术的飞速发展，在很多应用场景下，需要使用深度学习技术对字符图片识别模型进行训练，例如，对于交通监控场景下的车牌识别，一般使用深度学习技术训练一个车牌识别模型来解决，通过该训练，期望能够获得能够准确识别出车牌号码的车牌识别模型。但是，深度学习的字符图片识别模型训练依赖于大量的已经标注出所包含字符的字符样本图片。

现有技术下，在获取大量的已标注字符图片时，一般采用获取大量的字符图片，然后再进行人工标注的方法。

在获取大量字符图片时，通常采用以下两种方法：人工获取字符图片或者使用计算机图形学的方法绘制虚拟的字符图片。

现有技术下获取大量的已标注字符图片的方法存在一些缺陷：

就采用人工获取大量真实图片的方法而言，首先，其获取真实车牌图片的困难很大，其次，所获得的真实车牌图片往往存在数据不平衡问题；例如，在杭州获得的交通视频数据大部分都是“浙A”的车牌，训练数据的极度不平衡会导致车牌识别模型过拟合；另外，使用人工去标注字符图片，容易产生错误，这些错误将会影响识别模型的训练。

就使用计算机图形学的方法绘制虚拟的字符图片的方法而言，，虚拟的字符图片一般无法模拟出真实图片的风格特征，例如亮度、模糊度、使用造成的字符变形等，从而使训练出的识别模型不符合真实使用场合的要求；

综上所述，现有技术获取已标注字符图片的方法分别存在一些显著的缺陷，有待改进。

发明内容

本申请提供一种获得样本图片的方法，以解决现有获取已标注字符图片的方法分别存在一些显著的缺陷的问题。本申请另外提供一种获得样本图片的装置、一种电子设备、一种用于获得样本图片的存储设备以及一种获得样本图片的方法。

本申请提供一种获得样本图片的方法，所述获得样本图片的方法，包括：

从真实图片中提取包含内容特征的图像；

确定包含内容特征的样本备选图片；

根据所述样本备选图片与所述图像之间的差异，提取出所述真实图片的风格特征；

使用所述风格特征对样本备选图片进行图像处理，生成样本图片。

可选的，在所述使用所述风格特征对样本备选图片进行图像处理，生成样本图片的步骤之后，包括：

对所述样本图片进行是否为真实图片的识别；

若根据识别结果，所述样本图片与真实图片之间的相似度达到收敛平衡状态，则判别所述样本图片为符合要求的样本图片，使用所述样本图片作为真实图片的替代。

可选的，所述收敛平衡状态包括：

将所述样本图片识别为所述真实图片的概率，与将所述样本图片未识别为所述真实图片的概率之差小于预设的阈值。

可选的，所述使用所述风格特征对样本备选图片进行图像处理，生成样本图片，该步骤采用预先训练过的生成模型实现。

可选的，所述的获得样本图片的方法，包括：采用预先训练生成的识别模型对所述样本图片进行是否为真实图片的识别。

可选的，所述的获得样本图片的方法，包括：

所述使用所述风格特征对样本备选图片进行图像处理，生成样本图片的步骤采用预先训练过的生成模型实现；

所述对所述样本图片进行是否为真实图片的识别采用预先训练生成的识别模型实现；

采用下列方式对所述生成模型和所述识别模型进行训练：

调整所述生成模型参数，提高生成的所述样本图片被所述识别模型识别识别为真实图片的概率；相应的，调整识别模型参数，使其能够准确识别出提供给其进行判别的图片中的样本图片；重复上述调整过程，直到二者达到收敛平衡状态。

可选的，所述对所述样本图片进行是否为真实图片的识别，包括：

通过多分类判别器进行识别，即根据所述样本备选图片所包括的内容特征的集合设计多个分类，其中包括假类，对所有需要识别的所述样本备选图片，若能够将其分到对应的内容特征的分类中，则判断识别的图片为真；若不能分到对应的内容特征的分类中，则判断识别的图片为假。

可选的，所述生成模型和/或所述识别模型采用卷积神经网络实现。

可选的，所述真实图片，包括：车牌图片。

相应的，本申请实施例还提供了一种获得样本图片的装置，所述获得样本图片的装置，包括：

图像提取单元，用于从真实图片中提取包含内容特征的图像；

样本备选图片生成单元，用于确定包含内容特征的样本备选图片；

风格提取单元，用于根据所述样本备选图片与所述图像之间的差异，提取出所述真实图片的风格特征；

图片生成单元，用于使用所述风格特征对样本备选图片进行图像处理，生成样本图片。

可选的，所述装置还包括：

图片识别单元，用于在所述使用所述风格特征对样本备选图片进行图像处理，生成样本图片之后，对所述样本图片进行是否为真实图片的识别；

若根据识别结果，所述样本图片与真实图片之间的相似度达到收敛平衡状态，则判别所述样本图片为符合要求的样本图片，使用所述样本图片作为真实图片的替代。

可选的，所述收敛平衡状态包括：

将所述样本图片识别为所述真实图片的概率，与将所述样本图片未识别为所述真实图片的概率之差小于预设的阈值。

可选的，所述图片生成单元具体用于：

所述使用所述风格特征对样本备选图片进行图像处理，生成样本图片，该步骤采用预先训练过的生成模型实现。

可选的，所述图片识别单元具体用于：采用预先训练生成的识别模型对所述样本图片进行是否为真实图片的识别。

可选的，所述装置还包括：

所述图片生成单元，具体用于使用所述风格特征对样本备选图片进行图像处理，生成样本图片的步骤采用预先训练过的生成模型实现；

所述图片识别单元，具体用于所述对所述样本图片进行是否为真实图片的识别采用预先训练生成的识别模型实现；

模型训练单元，用于采用下列方式对所述生成模型和所述识别模型进行训练：

调整所述生成模型参数，提高生成的所述样本图片被所述识别模型识别识别为真实图片的概率；相应的，调整识别模型参数，使其能够准确识别出提供给其进行判别的图片中的样本图片；重复上述调整过程，直到二者达到收敛平衡状态。

此外，本申请实施例还提供了一种电子设备，包括：

处理器；

存储器，用于存储获得样本图片的程序，所述程序在被所述处理器读取执行时，执行如下操作：从真实图片中提取包含内容特征的图像；确定包含内容特征的样本备选图片；根据所述样本备选图片与所述图像之间的差异，提取出所述真实图片的风格特征；使用所述风格特征对样本备选图片进行图像处理，生成样本图片

此外，本申请实施例还提供了一种用于获得样本图片的存储设备，所述用于获得样本图片的存储设备，包括：

存储有指令，所述指令能够被处理器加载并执行以下步骤：从真实图片中提取包含内容特征的图像；确定包含内容特征的样本备选图片；根据所述样本备选图片与所述图像之间的差异，提取出所述真实图片的风格特征；使用所述风格特征对样本备选图片进行图像处理，生成样本图片。

此外，本申请实施例还提供了一种获得样本图片的方法，所述获得样本图片的方法，包括：

基于包括内容特征的真实图片与包括所述内容特征的备选图片之间的差异，从真实图片中提取出风格特征；

使用所述风格特征对备选图片进行图像处理，生成样本图片。

与现有技术相比，本申请具有以下优点:

本申请提供了一种获得样本图片的方法，所述方法包括：从真实图片中提取包含内容特征的图像；确定包含内容特征的样本备选图片；根据所述样本备选图片与所述图像之间的差异，提取出所述真实图片的风格特征；使用所述风格特征对样本备选图片进行图像处理，生成样本图片。

本申请方案通过使用少量的真实图片数据，提取出真实图片的风格特征，然后将风格特征与不特定的样本备选图片进行融合，生成与该风格特征一致的样本图片，作为真实图片的替代。与现有技术相比，本申请提供的技术方案存在显著的优势。

首先，由于不特定的样本备选图片中的内容字符可以随意输入，因此，人工获取数据不平衡的问题可以非常方便的解决；

其次，由于替代字符图片的风格特征与真实图片的风格特征一致，因此解决了虚拟的字符图片无法模拟出真实图片的风格特征的问题；

再次，在融合过程中，能得到样本备选图片对应的内容字符，避免了人工标注的错误。

由此可见，本申请提供的技术方案能够为对样本备选图片进行识别的识别模型提供大量有准确标注的识别样本。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1示出了根据本申请的实施例提供的获得样本图片的方法的流程图；

图2示出了根据本申请的实施例提供的一个具体例子的示意图；

图3示出了根据本申请的实施例提供的获得样本图片的装置的示意图；

图4示出了根据本申请的实施例提供的电子设备的示意图；

图5示出了根据本申请的实施例提供的另一种获得样本图片的方法的流程图。

具体实施方式

为了能够更清楚地理解本申请的上述目的、特征和优点，下面结合附图和具体实施方式对本申请进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是，本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此，本申请不受下面公开的具体实施的限制。

本申请的实施例提供了一种获得样本图片的方法；本申请另外提供一种获得样本图片的装置、一种电子设备以及一种用于获得样本图片的存储设备。在下面的实施例中逐一进行详细说明。

目前，在获取大量字符图片时，通常采用以下两种方法：人工获取字符图片或者使用计算机图形学的方法绘制虚拟的字符图片。现有技术下获取大量的已标注字符图片的方法存在一些缺陷：就采用人工获取大量真实图片的方法而言，首先，其获取真实车牌图片的困难很大，其次，所获得的真实车牌图片往往存在数据不平衡问题；例如，在杭州获得的交通视频数据大部分都是“浙A”的车牌，训练数据的极度不平衡会导致车牌识别模型过拟合；另外，使用人工去标注字符图片，容易产生错误，这些错误将会影响识别模型的训练。就使用计算机图形学的方法绘制虚拟的字符图片的方法而言，虚拟的字符图片一般无法模拟出真实图片的风格特征，例如亮度、模糊度、使用造成的字符变形等，从而使训练出的识别模型不符合真实使用场合的要求。针对这一问题，本申请方案通过使用少量的真实图片数据，提取出真实图片的风格特征，然后将风格特征与不特定的样本备选图片进行融合，生成与该风格特征一致的样本图片，作为真实图片的替代。所述技术方案避免了人工标注的错误，解决了虚拟的字符图片无法模拟出真实图片的风格特征的问题，解决了人工获取数据不平衡的问题，并能够为对样本备选图片进行识别的识别模型提供大量有准确标注的识别样本。

在详细描述本实施例的具体步骤之前，先对本技术方案涉及的计算机学习过程以及视觉技术作简要说明。

深度学习(Deep Learning)：深度学习是机器学习拉出的分支，它试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。深度学习是机器学习中表征学习方法。观测值(例如一幅图像)可以使用多种方式来表示，如每个像素强度值的矢量，或者更抽象地表示成一系列边、特定形状的区域等。而使用某些特定的表示方法更容易从实例中学习任务(例如，人脸识别或面部表情识别)。深度学习的好处是将用非监督式或半监督式的特征学习和分层特征提取的高效算法来替代手工获取特征。

计算机视觉(ComputerVision)：计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和计算机代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图像处理，用计算机处理成为更适合人眼观察或传送给仪器检测的图像。作为一门科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能***。

本申请的实施例提供了一种获得样本图片的方法，所述速度测量的方法通过使用少量的真实图片数据，提取出真实图片的风格特征，然后将风格特征与不特定的样本备选图片进行融合，生成与该风格特征一致的样本图片，作为真实图片的替代。所述获得样本图片的方法实施例如下：

请参考图1以及图2，其分别示出了根据本申请的实施例提供的获得替代字符图片的方法的流程图；以及一个具体例子的示意图。

所述获得样本图片的方法，包括：

步骤S101，从真实图片中提取包含内容特征的图像。

所述真实图片，可以指通过摄像设备采集到的图片。例如，通过照相机拍摄的车牌图片“鄂FDF051”，以鄂FDF051作为本步骤中的真实图片。

需要说明的是，所述真实图片中会包含一定数目的字符，在所述真实图片中的每一个字符均可以表示为一个内容特征。例如：车牌图片鄂FDF051中，包含的字符为：鄂，F，D，F，0，5，1。

在本实施例中，所述从真实图片中提取包含内容特征的图像，可以采用如下方式实现：通过计算机视觉技术，识别所述真实图片中的每一个内容特征(字符)，并从识别出的内容特征中，提取包含任意一个或多个内容特征的图像。

例如：从所述真实图片中提取包含内容特征为“5”的笔画，从而形成包含内容特征“5”的图像。

需要说明的是，所述图像为所述真实图片中的一部分或一个片段，即：所述真实图片的一部分，而提取出来的所述图像，可以包括一个或多个内容特征以及修饰所述内容特征的风格特征。所述风格特征包括修饰内容特征的颜色、模糊程度、字体倾斜等特征。例如，从经过拍照获得的车牌图片“鄂FDF051”中，提取包含内容特征为“5”时，则所述内容特征5的风格特征为车牌的使用的字体，颜色，大小等。

在具体实施时，可以通过使用卷积神经网络(Convolutional Neural Networks，CNN)从真实图片中提取包含内容特征的图像。

卷积神经网络由纽约大学的Yann LeCun于1998年提出。CNN本质上是一个多层感知机，其成功的原因关键在于它所采用的局部连接和共享权值的方式，一方面减少了的权值的数量使得网络易于优化，另一方面降低了过拟合的风险。CNN在二维图像处理上有众多优势，如网络能自行抽取图像特征包括颜色、纹理、形状及图像的拓扑结构。

步骤S102，确定包含内容特征的样本备选图片。

在本实施例中，所述确定包含内容特征的样本备选图片，可以采用如下方式实现：生成或选取包含内容特征的样本备选图片。

需要说明的是，在步骤S101中从真实图片中提取包含内容特征的图像，而本步骤是基于所述内容特征而确定包含有内容特征的样本备选图片。其中，所述样本备选图片可以：将其他图像中获取包含有内容特征的已有图片，选取为包含内容特征的样本备选图片；或者，由计算机或其他制图设备生成一张包含有内容特征的新图片，将生成的新图片作为包含内容特征的样本备选图片。

所述生成包含有内容特征的新图片时，所述新图片中的内容特征的风格特征可以是任意的，例如：任意的字体，大小，颜色等。

可以理解的，所述样本备选图片中，可以包括一个内容特征(字符)或多个内容特征。所述样本备选图片中包含的内容特征个数，根据步骤S101中从真实图片中提取包含内容特征的图像所含有的内容特征的个数而确定。

步骤S103，根据所述样本备选图片与所述图像之间的差异，提取出所述真实图片的风格特征。

在本实施例中，所述根据所述样本备选图片与所述图像之间的差异，提取出所述真实图片的风格特征，可以采用如下方式实现：根据计算机视觉技术，分别提取出所述样本备选图片的风格特征，以及从所述真实图片中提取出的所述图像的风格特征，通过计算机视觉技术学习两者之间的差异，提取出所述真实图片的风格特征。

需要说明的是，由于本申请中所采用的计算机视觉技术为本领域常规算法，这里不再对其具体实现进行赘述。

可以理解的，由于从所述真实图片中提取出的所述图像的风格特征与所述真实图片的风格特征是一致的，所以可以将所述图像的风格特征作为真实图片的风格特征。

所述风格特征，包括图片中除内容特征之外具有的其它特征，所述风格特征是用于描述并修饰图片以及内容特征的，一般包括图片的颜色、模糊程度、字体倾斜等特征。

仍沿用上述例子，如果从所述真实图片“鄂FDF051”中提取出的所述图像中包含的内容特征的为数字“5”的图片，则根据所述图像中数字“5”与所述样本备选图片中的数字“5”之间的差异，提取出所述图像中数字“5”的的风格特征，即提取所述图像中数字“5”的颜色、模糊程度、字体倾斜等特征，并将提取出的所述风格特征，作为真实图片“鄂FDF051”的风格特征。

本步骤提取出真实图片的风格特征，作为步骤S104的基础。

步骤S104，使用所述风格特征对样本备选图片进行图像处理，生成样本图片。

在本实施例中，所述使用所述风格特征对样本备选图片进行图像处理，生成样本图片，可以采用如下方式实现：以所述真实图片中提取出风格特征作为图像处理参数，对所述样本备选图片进行图像处理，修饰所述备选图片，将图像处理后的所述备选图片作为新生成的样本图片。

在本实施例中，所述样本图片，是指所述样本备选图片的内容特征，融合了述风格特征后，形成的样本图片。例如：将图2中提取出的真实图片“鄂FDF051”的风格特征与字符“5”，融合成的包含真实图片“鄂FDF051”的风格特征的样本图片“5”。

为了使生成的样本图片更接近于真实图片，所述使用所述风格特征对所述样本备选图片进行修饰，生成样本图片，该步骤采用预先训练过的生成模型实现。所述生成模型可以为对抗生成网络(Generative Adversarial Networks，GAN)中的生成模型G。其中对抗生成网络是传统生成模型的一种改进。在抗生成网络的框架中包含一对模型：一个生成模型G和一个识别模型D。识别模型D负责判断一张图片是真实的图片还是生成模型G生成的图片，而生成模型G负责生成以假乱真的图片来迷惑识别模型D。两者同时训练以达到一种均衡状态，最终生成模型G生成的图片和真实的图片十分近似。

所述生成模型G可以采用卷积神经网络实现，为了使生成样本图片更接近真实图片，可以使用L2范数作为模型G的代价函数。

需要说明的是，在本步骤中采用的L2范数，是L2norm范数，是指欧几里德距离。

在通过步骤S103提取出真实图片的风格特征后，该风格特征就可以与任意内容特征融合在一起生成其它的具有该风格特征的样本图片。其中一个重要应用场景就是在深度学***衡的问题；然后，由于生成的样本图片的风格特征与真实图片的风格特征一致，因此解决了虚拟的字符图片无法模拟出真实图片的光照、噪声等风格特征的问题；再次，在融合过程中能得到样本备选图片对应的字符标注，避免了人工标注的错误。由于识别模型所依赖的大量的标注车牌样本获取到有准确标注的车牌样本图片，从而使深度车牌识别模型得到更好的训练。

在本实施例中，在执行步骤S104使用所述风格特征对样本备选图片进行图像处理，生成样本图片之后，就可以通过生成的样本图片来替代真实图片使用。但在使用之前，还需对所述样本图片进行是否为真实图片的识别；若根据识别结果，所述样本图片与真实图片之间的相似度达到收敛平衡状态，则判别所述样本图片为符合要求的样本图片，使用所述样本图片作为真实图片的替代。

在对所述样本图片进行是否为真实图片的识别时，可以采用预先训练生成的识别模型。所述生成模型可以为对抗生成网络(Generative Adversarial Networks，GAN)中的识别模型D。所述识别模型D，负责判断一张图片是真实的图片还是生成模型G生成的图片。

其中，所述收敛平衡状态是指：将所述样本图片识别为所述真实图片的概率，与将所述样本图片未识别为所述真实图片的概率之差小于预设的阈值。

可以理解的，生成的大量所述样本图片进行识别后，可能会有部分所述样本图片被识别为真实图片，有部分所述样本图片未被识别出来，而将识别为真实图片的所述样本图片的数目和总样本图片的数目就可以获取到将所述样本图片识别为所述真实图片的概率；同样的道理，也可以获取到未识别为所述真实图片的所述样本图片的概率，以上述概率的差就可以判断出较为合适的收敛平衡状态。所述收敛平衡状态可以为一个很小的值，例如：设为5％。

所述识别模型可以采用卷积神经网络实现。

当所述使用所述风格特征对样本备选图片进行图像处理，生成样本图片的步骤采用预先训练过的生成模型实现，并且所述对所述样本图片进行是否为真实图片的识别采用预先训练生成的识别模型实现时，

可以采用下列方式对所述生成模型和所述识别模型进行训练：

调整所述生成模型参数，提高生成的所述样本图片被所述识别模型识别识别为真实图片的概率；相应的，调整识别模型参数，使其能够准确识别出提供给其进行判别的图片中的样本图片；重复上述调整过程，直到二者达到收敛平衡状态。

所述收敛平衡状态，包括识别模型识别出来提供给其进行判别的图片中的样本图片识别为出的概率和未识别出的概率之差在预设范围内，其中，预设范围可以设置为5％，识别模型识别出来提供给其进行判别的图片中的样本图片识别出的概率和未识别出的概率相同时(即两者均为50％)时，为训练的最理想状态。

优选的，为了提供更精细的反馈信息，识别模型可以通过多分类判别器进行识别，即根据样本备选图片所包括的字符的集合设计多个分类，其中包括假类，对所有需要识别的图片，若能够将其分到对应的字符类别中，则判断识别的图片为真；若不能分到对应的字符类别，则判断识别的图片为假。多分类判别器，相比二分类的判别器可以提供更精细的反馈信息。

例如，当真实图片为车牌图片时，多分类判别器学习把一张输入图片分类到65+1类，65为车牌中的字符类别数量，10个数字+26个大写字母(不含I、O)+31个汉字，1为“假类”。对于真实的字符图片，D学习的标签是对应的字符类别，比如“5”，对于生成模型G生成的图片，D学习的标签是“假类”。

可以理解的，若识别出对应的字符类别，则判断所述样本图片为真，若未识别出，则判断所述样本图片为假。

下面举例说明训练的过程，如果第一次生成模型生成了100个样本图片，识别模型识别出100个样本图片中有10个为“假”的图片，90个为真的图片，则说明识别模型的识别精度不够，需要改变代价函数的值，反向传播训练的方法进行改进，提高识别模型的精度；第二次生成模型重新生成了100个样本图片，识别模型识别出100个样本图片中有90个图片为“假”，10个图片为真，则说明生成模型的精度不够，需要改变代价函数的值，反向传播训练的方法进行改进，提高生成模型的精度；第三次生成模型生成了100个样本图片，识别模型识别出100个样本图片中有30个图片为“假”，70个图片为真，则说明识别模型的识别精度不够，需要再次改变代价函数的值，反向传播训练的方法进行改进，提高识别模型的精度；第四次生成模型生成了100个样本图片，识别模型识别出其中50个为“假”，另外50个为“真”，则说明生成模型和识别模型在经过几次训练后达到了收敛平衡状态。

需要说明的是，反向传播算法(Backpropagation)是目前用来训练人工神经网络(ArtificialNeural Network，ANN)的最常用且最有效的算法。其主要思想是：(1)将训练集数据输入到ANN的输入层，经过隐藏层，最后达到输出层并输出结果，这是ANN的前向传播过程；(2)由于ANN的输出结果与实际结果有误差，则计算估计值与实际值之间的误差，并将该误差从输出层向隐藏层反向传播，直至传播到输入层；(3)在反向传播的过程中，根据误差调整各种参数的值；不断迭代上述过程，直至收敛。

本步骤使用所述样本图片作为真实图片的替代，实现了将样本图片作为深度学习识别模型的样本，由于真实图片能够达到“以假乱真”的程度，因此本申请为深度学习识别模型提供了准确的样本。

至此，通过上述步骤S101-S104，对本实施例提供的获得样本图片的方法的实施方式进行了描述。通过上述描述可以看出，所述方法通过使用少量的真实图片数据，提取出真实图片的风格特征，然后将风格特征与不特定的样本备选图片进行融合，生成与该风格特征一致的样本图片，作为真实图片的替代。本申请提供的技术方案存在以下有益效果：首先，由于不特定的样本备选图片中的内容字符可以随意输入，因此，人工获取数据不平衡的问题可以非常方便的解决；其次，由于替代字符图片的风格特征与真实图片的风格特征一致，因此解决了虚拟的字符图片无法模拟出真实图片的风格特征的问题；再次，在融合过程中，能得到样本备选图片对应的内容字符，避免了人工标注的错误。由此可见，本申请提供的技术方案能够为对样本备选图片进行识别的识别模型提供大量有准确标注的识别样本。

与上述获得样本图片的方法相对应的，本申请还提供了一种获得样本图片的装置。由于所述装置的实施例基本相似于方法的实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。所述一种获得样本图片的装置实施例如下：

请参考图3，其示出了根据本申请的实施例提供的获得样本图片的装置的示意图。

所述获得样本图片的装置，包括：图像提取单元301、样本备选图片生成单元302、风格提取单元303以及图片生成单元304。

所述图像提取单元301，用于从真实图片中提取包含内容特征的图像；

所述样本备选图片生成单元302，用于确定包含内容特征的样本备选图片；

所述风格提取单元303，用于根据所述样本备选图片与所述图像之间的差异，提取出所述真实图片的风格特征；

所述图片生成单元304，用于使用所述风格特征对样本备选图片进行图像处理，生成样本图片。

可选的，所述获得样本图片的装置，还包括：图片识别单元；

所述图片识别单元，用于在在所述使用所述风格特征对样本备选图片进行图像处理，生成样本图片之后，对所述样本图片进行是否为真实图片的识别；

若根据识别结果，所述样本图片与真实图片之间的相似度达到收敛平衡状态，则判别所述样本图片为符合要求的样本图片，使用所述样本图片作为真实图片的替代。

可选的，所述收敛平衡状态包括：

将所述样本图片识别为所述真实图片的概率，与将所述样本图片未识别为所述真实图片的概率之差小于预设的阈值。

可选的，所述图片生成单元具体用于：

使用所述风格特征对样本备选图片进行图像处理，生成样本图片，该步骤采用预先训练过的生成模型实现

可选的，所述图片识别单元具体用于：采用预先训练生成的识别模型对所述样本图片进行是否为真实图片的识别。

可选的，所述获得样本图片的装置，还包括：

所述图片生成单元，具体用于所述使用所述风格特征对样本备选图片进行图像处理，生成样本图片的步骤采用预先训练过的生成模型实现；

所述图片识别单元，具体用于所述对所述样本图片进行是否为真实图片的识别采用预先训练生成的识别模型实现；

模型训练单元，用于采用下列方式对所述生成模型和所述识别模型进行训练：

调整所述生成模型参数，提高生成的所述样本图片被所述识别模型识别识别为真实图片的概率；相应的，调整识别模型参数，使其能够准确识别出提供给其进行判别的图片中的样本图片；重复上述调整过程，直到二者达到收敛平衡状态。

可选的，所述图片识别单元，具体用于：

通过多分类判别器进行识别，即根据所述样本备选图片所包括的内容特征的集合设计多个分类，其中包括假类，对所有需要识别的所述样本备选图片，若能够将其分到对应的内容特征的分类中，则判断识别的图片为真；若不能分到对应的内容特征的分类中，则判断识别的图片为假。

可选的，所述生成模型和/或所述识别模型采用卷积神经网络实现。

可选的，所述真实图片，包括：车牌。

在上述的实施例中，提供了一种获得样本图片的方法以及一种获得样本图片的装置，此外，本申请还提供了一种电子设备；所述电子设备实施例如下：

请参考图4，其示出了根据本申请的实施例提供的电子设备的示意图。

所述电子设备，包括：处理器401；存储器403；

所述存储器403，用于存储获得样本图片的程序，所述程序在被所述处理器读取执行时，执行如下操作：从真实图片中提取包含内容特征的图像；确定包含内容特征的样本备选图片；根据所述样本备选图片与所述图像之间的差异，提取出所述真实图片的风格特征；使用所述风格特征对样本备选图片进行图像处理，生成样本图片。

例如，所述电子设备为一台计算机，所述计算机从真实图片中提取包含内容特征的图像；并确定包含内容特征的样本备选图片；再根据所述样本备选图片与所述图像之间的差异，提取出所述真实图片的风格特征；最后使用所述风格特征对样本备选图片进行图像处理，生成样本图片。由于本电子设备使用上述获得样本图片的方法，相关之处请参见上述获得样本图片的方法的实施例说明，此处不再赘述。

在上述的实施例中，提供了一种获得样本图片的方法、一种获得样本图片的装置以及一种电子设备，此外，本申请还提供了一种用于获得样本图片的存储设备；所述用于获得样本图片的存储设备实施例如下：

所述用于获得样本图片的存储设备，存储有指令，所述指令能够被处理器加载并执行以下步骤：从真实图片中提取包含内容特征的图像；确定包含内容特征的样本备选图片；根据所述样本备选图片与所述图像之间的差异，提取出所述真实图片的风格特征；使用所述风格特征对样本备选图片进行图像处理，生成样本图片。

在本实施例中，所述用于获得样本图片的存储设备，还存储并执行上述获得样本图片的方法，相关之处请参见上述获得样本图片的方法的实施例说明，此处不再赘述。

在上述的实施例中，提供了一种获得样本图片的方法、一种获得样本图片的装置、一种电子设备以及一种用于获得样本图片的存储设备，此外，本申请还提供了另一种获得样本图片的方法；所述另一种获得样本图片的方法实施例如下：

请参考图5，其示出了根据本申请的实施例提供的另一种获得样本图片的方法的流程图。

所述获得样本图片的方法，包括：

步骤S501，基于包括内容特征的真实图片与包括所述内容特征的备选图片之间的差异，从真实图片中提取出风格特征。

在本实施例中，所述基于包括内容特征的真实图片与包括所述内容特征的备选图片之间的差异，从真实图片中提取出风格特征，可以采用如下方式实现：根据所述包括内容特征的真实图片，与包括所述内容特征的备选图片之间的差异，提取出真实图片的风格特征，可以分别提取出所述从真实图片以及所述备选图片的风格特征，通过计算机视觉技术学习两者之间的差异，提取出所述真实图片片段的风格特征。

步骤S502，使用所述风格特征对备选图片进行图像处理，生成样本图片。

在本实施例中，所述使用所述风格特征对样本备选图片进行图像处理，生成样本图片，可以采用如下方式实现：以所述真实图片中提取出风格特征作为图像处理参数，对所述备选图片进行图像处理，修饰所述备选图片，将图像处理后的所述备选图片作为新生成的样本图片。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

1、计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

2、本领域技术人员应明白，本申请的实施例可提供为方法、***或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请虽然以较佳实施例公开如上，但其并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此本申请的保护范围应当以本申请权利要求所界定的范围为准。

Claims (18)

1.一种获得样本图片的方法，其特征在于，包括：

从真实图片中提取包含内容特征的图像；

确定包含内容特征的样本备选图片；

根据所述样本备选图片与所述图像之间的差异，提取出所述真实图片的风格特征；

使用所述风格特征对样本备选图片进行图像处理，生成样本图片。

2.根据权利要求1所述的获得样本图片的方法，其特征在于，在所述使用所述风格特征对样本备选图片进行图像处理，生成样本图片的步骤之后，包括：

对所述样本图片进行是否为真实图片的识别；

若根据识别结果，所述样本图片与真实图片之间的相似度达到收敛平衡状态，则判别所述样本图片为符合要求的样本图片，使用所述样本图片作为真实图片的替代。

3.根据权利要求2所述的获得样本图片的方法，其特征在于，所述收敛平衡状态包括：

将所述样本图片识别为所述真实图片的概率，与将所述样本图片未识别为所述真实图片的概率之差小于预设的阈值。

4.根据权利要求2所述的获得样本图片的方法，其特征在于，所述使用所述风格特征对样本备选图片进行图像处理，生成样本图片，该步骤采用预先训练过的生成模型实现。

5.根据权利要求2或4所述的获得样本图片的方法，其特征在于，包括：采用预先训练生成的识别模型对所述样本图片进行是否为真实图片的识别。

6.根据权利要求2所述的获得样本图片的方法，其特征在于，包括：

所述使用所述风格特征对样本备选图片进行图像处理，生成样本图片的步骤采用预先训练过的生成模型实现；

所述对所述样本图片进行是否为真实图片的识别采用预先训练生成的识别模型实现；

采用下列方式对所述生成模型和所述识别模型进行训练：

调整所述生成模型参数，提高生成的所述样本图片被所述识别模型识别识别为真实图片的概率；相应的，调整识别模型参数，使其能够准确识别出提供给其进行判别的图片中的样本图片；重复上述调整过程，直到二者达到收敛平衡状态。

7.根据权利要求2所述的获得样本图片的方法，其特征在于，所述对所述样本图片进行是否为真实图片的识别，包括：

通过多分类判别器进行识别，即根据所述样本备选图片所包括的内容特征的集合设计多个分类，其中包括假类，对所有需要识别的所述样本备选图片，若能够将其分到对应的内容特征的分类中，则判断识别的图片为真；若不能分到对应的内容特征的分类中，则判断识别的图片为假。

8.根据权利要求4或5所述的获得样本图片的方法，其特征在于，所述生成模型和/或所述识别模型采用卷积神经网络实现。

9.根据权利要求1所述的获得样本图片的方法，其特征在于，所述真实图片，包括：车牌图片。

10.一种获得样本图片的装置，其特征在于，包括：

图像提取单元，用于从真实图片中提取包含内容特征的图像；

样本备选图片生成单元，用于确定包含内容特征的样本备选图片；

风格提取单元，用于根据所述样本备选图片与所述图像之间的差异，提取出所述真实图片的风格特征；

图片生成单元，用于使用所述风格特征对样本备选图片进行图像处理，生成样本图片。

11.根据权利要求10所述的获得样本图片的装置，其特征在于，所述装置还包括：

图片识别单元，用于在所述使用所述风格特征对样本备选图片进行图像处理，生成样本图片之后，对所述样本图片进行是否为真实图片的识别；

若根据识别结果，所述样本图片与真实图片之间的相似度达到收敛平衡状态，则判别所述样本图片为符合要求的样本图片，使用所述样本图片作为真实图片的替代。

12.根据权利要求11所述的获得样本图片的装置，其特征在于，所述收敛平衡状态包括：

将所述样本图片识别为所述真实图片的概率，与将所述样本图片未识别为所述真实图片的概率之差小于预设的阈值。

13.根据权利要求11所述的获得样本图片的装置，其特征在于，所述图片生成单元具体用于：

所述使用所述风格特征对样本备选图片进行图像处理，生成样本图片，该步骤采用预先训练过的生成模型实现。

14.根据权利要求11或13所述的获得样本图片的装置，其特征在于，所述图片识别单元具体用于：采用预先训练生成的识别模型对所述样本图片进行是否为真实图片的识别。

15.根据权利要求11所述的获得样本图片的装置，其特征在于，所述装置还包括：

所述图片生成单元，具体用于使用所述风格特征对样本备选图片进行图像处理，生成样本图片的步骤采用预先训练过的生成模型实现；

所述图片识别单元，具体用于所述对所述样本图片进行是否为真实图片的识别采用预先训练生成的识别模型实现；

模型训练单元，用于采用下列方式对所述生成模型和所述识别模型进行训练：

调整所述生成模型参数，提高生成的所述样本图片被所述识别模型识别识别为真实图片的概率；相应的，调整识别模型参数，使其能够准确识别出提供给其进行判别的图片中的样本图片；重复上述调整过程，直到二者达到收敛平衡状态。

16.一种电子设备，其特征在于，包括：

处理器；

以及存储器，用于存储获得样本图片的程序，所述程序在被所述处理器读取执行时，执行如下操作：从真实图片中提取包含内容特征的图像；确定包含内容特征的样本备选图片；根据所述样本备选图片与所述图像之间的差异，提取出所述真实图片的风格特征；使用所述风格特征对样本备选图片进行图像处理，生成样本图片。

17.一种用于获得样本图片的存储设备，其特征在于，存储有指令，所述指令能够被处理器加载并执行以下步骤：从真实图片中提取包含内容特征的图像；确定包含内容特征的样本备选图片；根据所述样本备选图片与所述图像之间的差异，提取出所述真实图片的风格特征；使用所述风格特征对样本备选图片进行图像处理，生成样本图片。

18.一种获得样本图片的方法，其特征在于，包括：

基于包括内容特征的真实图片与包括所述内容特征的备选图片之间的差异，从真实图片中提取出风格特征；

使用所述风格特征对备选图片进行图像处理，生成样本图片。