CN112529154A - 图像生成模型训练方法和装置、图像生成方法和装置 - Google Patents

Abstract

本申请公开了一种图像生成模型训练方法和装置，涉及图像处理、增强现实、深度学习等技术领域。该方法的一具体实施方式包括：获取预置的样本集，样本集的样本包括第一域图像和第二域图像；获取预先建立的生成式对抗网络，其中，生成式对抗网络的生成网络包括生成模块和网络模块，网络模块用于提升生成模块输出的图像的精细度；从样本集中选取样本；将该样本的第一域图像输入生成模块，得到生成模块输出的伪图像以及网络模块输出的参考图像；将该样本的第二域图像、伪图像以及参考图像一起输入生成式对抗网络的判别网络；若生成式对抗网络训练完成，则将生成式对抗网络作为图像生成模型。该实施方式提升了图像模型生成的图片的精细度。

Description

图像生成模型训练方法和装置、图像生成方法和装置

技术领域

本申请涉及计算机技术领域，具体涉及图像处理、增强现实、深度学习技术领域，尤其涉及一种图像生成模型训练方法和装置、图像生成方法和装置、电子设备、计算机可读存储介质以及计算机程序产品。

背景技术

基于传统的生成式对抗网络实现的图像转换、翻译算法网络一般都是一个编码器和解码器结构，网络把解码器部分生成的图片直接送入判别网络进行判别，生成的图片效果不是太好，经常会出现生成的图片不完整，局部往往出现较多的瑕疵现象，而且生成图片清晰度也不太高，细节的纹理也不甚清晰。特别是对一些背景复杂和一些不太常见的人脸输入，生成的图片效果往往很差，甚至完全转换失败。

发明内容

提供了一种图像生成模型训练方法和装置、图像生成方法和装置、电子设备、计算机可读存储介质以及计算机程序产品。

根据第一方面，提供了一种图像生成模型训练方法，上述方法包括：获取预置的样本集，其中，样本集至少包括一个样本，样本包括第一域图像和第二域图像；获取预先建立的生成式对抗网络，其中，生成式对抗网络的生成网络包括生成模块和网络模块，网络模块用于提升生成模块输出的图像的精细度；执行以下训练步骤：从样本集中选取样本；将该样本的第一域图像输入生成模块，得到生成模块输出的伪图像以及网络模块输出的参考图像；将该样本的第二域图像、伪图像以及参考图像一起输入生成式对抗网络的判别网络；响应于确定生成式对抗网络满足训练完成条件，则将生成式对抗网络作为图像生成模型。

根据第二方面，提供了一种图像生成模型训练装置，该装置包括：样本获取单元，被配置成获取预置的样本集，其中，样本集至少包括一个样本，样本包括第一域图像和第二域图像；网络获取单元，被配置成获取预先建立的生成式对抗网络，其中，生成式对抗网络的生成网络包括生成模块和网络模块，网络模块用于提升生成模块输出的图像的精细度；选取单元，被配置成从样本集中选取样本；得到单元，被配置成将该样本的第一域图像输入生成模块，得到生成模块输出的伪图像以及网络模块输出的参考图像；输入单元，被配置成将该样本的第二域图像、伪图像以及参考图像一起输入生成式对抗网络的判别网络；模型生成单元，被配置成响应于确定生成式对抗网络满足训练完成条件，则将生成式对抗网络作为图像生成模型。

根据第三方面，提供了一种图像生成方法，该方法包括：获取待处理图像；将待处理图像输入采用如第一方面任一实现方式描述的方法生成的图像生成模型中，输出生成后的图像。

根据第四方面，提供了一种图像生成装置，该装置包括：图像获取单元，被配置成获取待处理图像；图像生成单元，被配置成将待处理图像输入采用如第一方面任一实现方式描述的方法生成的图像生成模型中，输出生成后的图像。

根据第五方面，提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器，其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面或第二方面任一实现方式描述的方法。

根据第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如第一方面或第二方面任一实现方式描述的方法。

根据第七方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如第一方面或第二方面任一实现方式描述的方法。

本申请的实施例提供的技术，在生成式对抗网络的生成网络部分增加网络模块，提升了图片精细度，不仅增加了图片的完整度，图片的清晰度和细节丰富度也都大大提升，使得生成的图像更加清晰，真实、自然、丰富，质量和效果也更佳。该技术可以广泛应用到图像翻译、风格转换等多个任务中，具有很强的应用价值。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是根据本申请图像生成模型训练方法的实施例的流程图；

图2是本申请中图像生成模型的一种结构示意图；

图3是根据本申请图像生成方法的实施例的流程图；

图4是根据本申请图像生成模型训练装置的实施例的结构示意图；

图5是根据本申请图像生成装置的实施例的结构示意图；

图6是用来实现本申请实施例的图像生成模型训练方法或图像生成方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1示出了根据本申请图像生成模型训练方法的一个实施例的流程100。上述图像生成模型训练方法包括以下步骤：

步骤101，获取预置的样本集。

在本实施例中，图像生成模型训练方法的执行主体可以通过多种方式来获取样本集。例如，执行主体可以通过有线连接方式或无线连接方式，从数据库服务器中获取存储于其中的现有的样本集。再例如，用户可以通过终端(例如与数据库服务器连接的终端)来收集样本。这样，执行主体可以接收终端所收集的样本，并将这些样本存储在本地，从而生成样本集。

在这里，样本集中可以包括至少一个样本。其中，样本可包括第一域图像和第二域图像。域指的是图像的类别，例如，男性、女性、油画、照片、漫画等。样本可包括第一域照片图像和转换成第二域漫画图像。第一域和第二域图像类型在此不做限定，可以是任意的组合。具体实现过程可参考步骤203的样本选取步骤。

步骤102，获取预先建立的生成式对抗网络。

在本实施例中，生成式对抗网络的网络结构如图2所示。生成式对抗网络(Generative Adversarial Nets，GAN)包括生成网络G、判别网络D，生成式对抗网络的生成网络G包括生成模块g1和网络模块w。

生成模块由编码器、转换器和解码器构成。编码器采用卷积神经网络从输入的图象中提取特征。例如，将图像压缩成256个64*64的特征向量。转换器通过组合图像的不相近特征，将图像在DA域中的特征向量转换为DB域中的特征向量。例如，可以使用6层Reset模块，每个Reset模块是一个由两个卷积层构成的神经网络层，从而达到在转换时同时保留原始图像特征的目标。解码器利用反卷积层(decovolution)完成从特征向量中还原出低级特征的工作，最后得到生成图像。

本实施例中，生成网络用于将第一域图像转换成第二域的图像，网络模块用于提升生成模块输出的图像的精细度，即网络模块可以提升第二域图像的精细度。本实施例中，精细度不仅包括完整度还包括图像的细节清晰度。

判别网络将一张图像作为输入，并尝试预测其为原始图像或是生成网络的输出图像。判别网络本身属于卷积网络，需要从图像中提取特征，再通过添加产生一维输出的卷积层来确定提取的特征是否属于特定类别。本实施例中，判别网络还用于确定所输入的图像是否为生成网络所输出的图像。

需要说明的是，上述生成网络可以是用于进行图像处理的卷积神经网络(例如包含卷积层、池化层、反池化层、反卷积层的各种卷积神经网络结构，可以依次进行降采样和上采样)；上述判别网络可以是卷积神经网络(例如包含全连接层的各种卷积神经网络结构，其中，上述全连接层可以实现分类功能)。此外，上述判别网络也可以是可以用于实现分类功能的其他模型结构，例如支持向量机(Support Vector Machine，SVM)。

步骤103，从样本集中选取样本。

在本实施例中，执行主体可以从步骤101中获取的样本集中选取样本，以及执行步骤103至步骤106的训练步骤。其中，样本的选取方式和选取数量在本申请中并不限制。例如可以是随机选取至少一个样本，也可以是从中选取清晰度较好(即像素较高)的样本。每个样本可以是一对图像。一对图像中包括一个第一域图像和一个第二域图像。可根据实际需求选择第一域图像和第二域图像。例如，如果需要进行图像性别转换，由男性转为女性，则选择男性图像作为第一域图像，选择女性图像作为第二域图像。同理，如果需要进行图像性别转换，由女性转为男性，则选择女性图像作为第一域图像，选择男性图像作为第二域图像。如果需要进行图像风格转换，由照片转为油画，则选择男性照片、女性照片、风景照片等照片作为第一域图像，相应地选择男性油画、女性油画、风景油画等油画作为第二域图像。图像风格转换也可以是多种组合，例如，油画转照片、照片转国画、国画转照片、莫奈转毕加索等。只需要将原类型的图像作为第一域图像，将目标类型的图像作为第二域图像，即可实现任意类型之间的图像转换。

步骤104，将该样本的第一域图像输入生成模块，得到生成模块输出的伪图像以及网络模块输出的参考图像。

在本实施例中，生成模块可将输入的第一域图像转换成第二域的伪图像。例如，如图2所示，输入一个照片人脸图像，输出一个Q萌人脸图像。

在本实施例的一些可选实现方式中，为了进一步提高网络模块形成的图像的质量，可以提取生成模块的中间层特征，并将提取的中间层特征输入网络模块，以使网络模块输出新的参考图像；采用新的参考图像替换参考图像。

本可选实现方式中，生成模块的中间层特征可以是生成模块中解码器的中间层特征，网络模块融合接收到中间层特征，生成新的参考图像。一般中间层特征的分辨率应与网络模块的分辨率相同，当中间层特征的分辨率与网络模块的分辨率不相同时，可以通过反卷积或者上采样保证两者同一大小，实现融合。

本可选实现方式中，融合是指将中间层特征与网络模块的特征进行拼接，例如，中间层特征是32个通道，网络模块的特征也是32个通道，融合之后得到64个通道。

本可选实现方式中，通过提取生成模块的中间特征，增强了网络模块的特征，方便网络模块生成更加清晰的参考图片，提高了网络模块生成的参考图像的整体特征和局部特征的精细度。

步骤105，将该样本的第二域图像、伪图像以及参考图像一起输入生成式对抗网络的判别网络。

在本实施例中，除了判别网络的判别次数增加之外，本申请的判别网络的功能与经典的判别网络相同。判别网络若判定上述生成模块所输出的伪图像是输入的第二域图像，则可以输出1；若判定上述生成模块所输出的伪图像不是输入的第二域图像，(来自真实数据)，则可以输出0。判别网络若判定上述网络模块所输出的参考图像是输入的第二域图像，则可以输出1；若判定上述网络模块所输出的参考图像不是输入的第二域图像，(来自真实数据)，则可以输出0。需要说明的是，判别网络也可以基于预先设定是输出其他数值，不限于1和0，比如，置信度分数值等。进一步，可计算该样本的伪图像和该样本的第二域图像的L1损失值或L2损失值，以及计算该样本的参考图像和该样本的第二域图像的L1损失值或L2损失值。

本实施例中，可选地，网络模块可以是一个模块，比如，由7个卷积层组成卷积网络。

在本实施例的一些可选实现方式中，网络模块还可以包括多个级联连接的卷积模块，每个卷积模块包括依次连接的设定个卷积层。如图2所示，网络模块w包括：5个级联连接卷积模块(w1、w2、w3、w4、w5)。

本实施例中，每个级联的网络模块具有相似的结构，每个网络模块输出都是第二域图像，随着级联的深度，越到后面的网络模块输出的图像的精细度更高。如图2，所有级联的网络模块中每个网络模块输入是不同的，后面的网络模块输入都是前一个网络模块输出，后面网络模块在前面网络模块生成的图片基础上进行微调，生成比前一网络模块更加精细的图像。

本实施例中，网络模块的级联个数一般是基于经验设置，图2中，网络模块的级联个数可以是5个，需要说明的是，级联的网络模块太少最终生成的图片精细度不够，级联的网络模块太多则会增加对抗式生成网络的计算量，使得训练速度也变慢。而且输出的图像的精细度不会随着级联个数增加一直增加，在网络模块级联达到一定数量后，再增加级联个数收益微乎其微。

本可选实现方式中，卷积模块是由设定个数个卷积层组成的模块，设定个数可根据需求而设置比如，设定个数为7个。

本可选实现方式中，级联的网络模块很大程度上负责在生成模块生成的图像的中获取最抽象的信息，从而对图像的内容做出更好的推断，保证了图像的信息提取的可靠性。

本实施例中，可选地，可以将所有级联后的卷积模块的输出的图像作为参考图像输入生成式对抗网络的判别网络。

在本实施例一些可选实现方式中，上述将参考图像输入生成式对抗网络的判别网络包括：将每个卷积模块输出的图像输入生成式对抗网络的判别网络，以使判别网络对各个卷积模块输出的图像进行分类。

如图2所示，每个卷积模块的输出均与判别网络D连接，从而使各个卷积模块的输出的图像均会进入到判别网络，判别网络分别对各个卷积模块输出转换后的第二域的图片进行一一判别，判别结果可以是多个置信度分数，然后对所有的置信度分数进行平均，得到一个最终的置信度分数，该最终的置信度分数即为参考图像的置信度分数。

本可选实现方式中，对对抗式生成网络的判别网络的结构没有改进，只是增加了判别网络的判别的次数，通过对所有的判别结果求平均，得到了具有更高参考价值的判别结果。

本可选实现中，每个网络模块可以保持相似的结构，并且每个网络模块输出的图像分别送入判别网络进行判别(相当于中继监督)。比较低级的网络模块输出的图片可能比较粗糙，不是太精细，但是通过多个网络模块级联，每个网络模块在上一个网络模块基础上进一步提升，使得越靠后面的网络模块输出的图片无论是完整度还是细节清晰度更加精细。

步骤106，响应于确定生成式对抗网络满足训练完成条件，将生成式对抗网络作为图像生成模型。

在本实施例中，训练完成条件包括以下至少一项：训练迭代次数达到预定迭代阈值，该样本的第二域图像、伪图像以及参考图像一起输入生成式对抗网络的判别网络之后，计算的损失值小于预定损失值阈值，判别网络的判别准确率在预定范围内。例如，训练迭代达到5千次。损失值小于0.05，判别网络的判别准确率达到50％。训练完成后，将生成式对抗网络作为图像生成模型。设置训练完成条件可以加快图像生成模型收敛速度。

本实施例一些可选实现方式中，在步骤106之后，还可以包括：调整步骤：若生成式对抗网络不满足训练完成条件，则调整生成式对抗网络中的相关参数使得损失值收敛，基于调整后的生成式对抗网络，继续执行步骤103-106。

在本实施例中，若训练未完成，则调整生成网络或判别网络的参数来使得损失值收敛。可先保持判别网络的参数不变，反复执行步骤103-步骤106、调整步骤，调整对应生成网络的参数，使得损失值逐渐变小直至稳定。然后再保持生成网络的参数不变，反复执行步骤103-步骤106、调整步骤，调整判别网络的参数，使得损失值逐渐变大直至稳定。交替训练生成网络的参数和判别网络的参数，直至损失值收敛。

本实施例提供的图像生成模型训练方法，不仅对生成模块生成的真假图片进行判别，还对网络模块输出的真假图片进行判别。加入网络模块后，提升了生成网络的图片的质量，不仅图片的完整度得到提升，图片清晰度和细节丰富度也变得更佳。

通过本实施例提供的图像生成模型训练方法生成的图像生成模型，不仅适用于如循环生成对抗网络(cycleGAN)、pix2pix(像素点对像素点做出预测，predict from pixelsto pixels)等图片翻译的框架，而且还广泛适用于与对抗式生成网络的图片生成相关的十分广阔的领域，甚至不需要较大地改动算法，只需要在生成模块的解码器后追加几个网络模块，并分别加以监督，便可以大大提升最后生成图片的效果，生成的图片的瑕疵更少，完整度、清晰度和真实度等都有明显提升。

请参见图3，其示出了本申请提供的图像生成方法的一个实施例的流程300。该图像生成方法可以包括以下步骤：

步骤301，获取待处理图像。

在本实施例中，图像生成方法的执行主体可以通过多种方式来获取待处理图像。例如，执行主体可以通过有线连接方式或无线连接方式，从数据库服务器中获取存储于其中的待处理图像。再例如，执行主体也可以接收终端(例如与数据库服务器连接的终端)或其他设备采集的待处理图像。

在本实施例中，获取待处理图像可以是彩色图像和/或灰度图像等等。且该待处理图像的格式在本申请中也不限制。

步骤302，将待处理图像输入图像生成模型中，输出生成后的图像。

在本实施例中，执行主体可以将步骤301中获取的待处理图像输入图像生成模型中，从而使图像生成模型输出生成后的图像。步骤101-106训练生成的图像生成模型可以将图像从第一域转换成第二域，采用由步骤101-106训练得到的图像生成模型，输入照片格式人脸图像，可以转换成Q萌人脸图像。

在本实施例中，图像生成模型可以是采用如上述图1实施例所描述的方法而生成的。具体生成过程可以参见图1实施例的相关描述，在此不再赘述。

需要说明的是，本实施例图像生成方法可以用于测试上述各实施例所生成的图像生成模型。进而根据转换结果可以不断地优化图像生成模型。该方法也可以是上述各实施例所生成的图像生成模型的实际应用方法。采用上述各实施例所生成的图像生成模型，来进行图像生成，有助于提高生成的图像的精细度。

进一步参考图4，作为对上述各图所示方法的实现，本申请提供了图像生成模型训练装置的一个实施例，该装置实施例与图1所示的方法实施例相对应，该装置具体可应用于各种电子设备中。

如图4所示，本实施例提供的图像生成模型训练装置400包括：样本获取单元401，网络获取单元402，选取单元403，得到单元404，输入单元405，模型生成单元406。其中，上述样本获取单元401，可以被配置成获取预置的样本集，其中，样本集至少包括一个样本，样本包括第一域图像和第二域图像。上述网络获取单元402，可以被配置成获取预先建立的生成式对抗网络，其中，生成式对抗网络的生成网络包括生成模块和网络模块，网络模块用于提升生成模块输出的图像的精细度。上述选取单元403，可以被配置成从样本集中选取样本。上述得到单元404，可以被配置成将该样本的第一域图像输入生成模块，得到生成模块输出的伪图像以及网络模块输出的参考图像。上述输入单元405，可以被配置成将该样本的第二域图像、伪图像以及参考图像一起输入生成式对抗网络的判别网络。上述模型生成单元406，可以被配置成响应于确定生成式对抗网络满足训练完成条件，则将生成式对抗网络作为图像生成模型。

在本实施例中，图像生成模型训练装置400中：样本获取单元401、网络获取单元402、选取单元403、得到单元404、输入单元405、模型生成单元406的具体处理及其所带来的技术效果可分别参考图1对应实施例中的步骤101、步骤102、步骤103、步骤104、步骤105、步骤106的相关说明，在此不再赘述。

在本实施例的一些可选的实现方式中，上述装置400还包括：提取单元(图中未示出)，配置单元(图中未示出)，替换单元(图中未示出)。其中，上述提取单元，可以被配置成提取生成模块的中间层特征。上述配置单元，可以被配置成将提取的中间层特征输入网络模块，以使网络模块输出新的参考图像。上述替换单元，可以被配置成采用新的参考图像替换参考图像。

在本实施例的一些可选的实现方式中，上述网络模块包括多个级联连接的卷积模块，每个卷积模块包括依次连接的设定个卷积层。

在本实施例的一些可选的实现方式中，上述配置单元进一步被配置成：将每个卷积模块输出的图像输入生成式对抗网络的判别网络，以使判别网络对各个卷积模块输出的图像进行分类。

在本实施例的一些可选的实现方式中，上述训练完成条件包括以下至少一项：

训练迭代次数达到预定迭代阈值，判别网络的判别准确率在预定范围内，该样本的第二域图像、伪图像以及参考图像一起输入生成式对抗网络的判别网络之后，计算的损失值小于预定损失值阈值。

通过本实施例提供的图像生成模型训练装置生成的图像生成模型，不仅适用于如循环生成对抗网络(cycleGAN)、pix2pix(像素点对像素点做出预测，predict from pixelsto pixels)等图片翻译的框架，而且还广泛适用于与对抗式生成网络的图片生成相关的十分广阔的领域，甚至不需要较大地改动算法，只需要在生成模块的解码器后追加几个网络模块，并分别加以监督，便可以大大提升最后生成图片的效果，生成的图片的瑕疵更少，完整度、清晰度和真实度等都有明显提升。

继续参见图5，作为对上述图3所示方法的实现，本申请提供了一种图像生成装置的一个实施例。该装置实施例与图3所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图5所示，本实施例的图像生成装置500可以包括：图像获取单元501，被配置成获取待处理图像。图像生成单元502，被配置成将待处理图像输入如上述图1或图3实施例所描述的方法生成的图像生成模型中，输出生成后的图像。

可以理解的是，该装置500中记载的诸单元与参考图3描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作、特征以及产生的有益效果同样适用于装置500及其中包含的单元，在此不再赘述。

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

如图6所示，是根据本申请实施例的图像生成模型训练方法或图像生成方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图6所示，该电子设备包括：一个或多个处理器601、存储器602，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器***)。图6中以一个处理器601为例。

存储器602即为本申请所提供的非瞬时计算机可读存储介质。其中，存储器存储有可由至少一个处理器执行的指令，以使至少一个处理器执行本申请所提供的图像生成模型训练方法或图像生成方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的图像生成模型训练方法或图像生成方法。

存储器602作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的图像生成模型训练方法对应的程序指令/模块(例如，附图4所示的样本获取单元401、网络获取单元402、选取单元403、得到单元404、输入单元405、模型生成单元406)。处理器601通过运行存储在存储器602中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的图像生成模型训练方法。

存储器602可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储根据图像生成模型训练方法的电子设备的使用所创建的数据等。此外，存储器602可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器602可选包括相对于处理器601远程设置的存储器，这些远程存储器可以通过网络连接至图像生成模型训练方法或图像生成方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

图像生成模型训练方法或图像生成方法的电子设备还可以包括：输入装置603和输出装置604。处理器601、存储器602、输入装置603和输出装置604可以通过总线605或者其他方式连接，图6中以通过总线605连接为例。

输入装置603可接收输入的数字或字符信息，以及产生与图像生成模型训练方法或图像生成方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置604可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网和区块链网络。计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与虚拟专用服务器(VPS，Virtual Private Server)服务中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式***的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (15)

1.一种图像生成模型训练方法，所述方法包括：

获取预置的样本集，其中，所述样本集至少包括一个样本，样本包括第一域图像和第二域图像；

获取预先建立的生成式对抗网络，其中，所述生成式对抗网络的生成网络包括生成模块和网络模块，所述网络模块用于提升所述生成模块输出的图像的精细度；

执行以下训练步骤：从所述样本集中选取样本；将该样本的第一域图像输入所述生成模块，得到所述生成模块输出的伪图像以及所述网络模块输出的参考图像；将该样本的第二域图像、所述伪图像以及所述参考图像一起输入所述生成式对抗网络的判别网络；响应于确定所述生成式对抗网络满足训练完成条件，则将所述生成式对抗网络作为图像生成模型。

2.根据权利要求1所述的方法，所述方法还包括：

提取所述生成模块的中间层特征，并将提取的中间层特征输入所述网络模块，以使所述网络模块输出新的参考图像；

采用新的参考图像替换所述参考图像。

3.根据权利要求1所述的方法，其中，所述网络模块包括多个级联连接的卷积模块，每个卷积模块包括依次连接的设定个卷积层。

4.根据权利要求3所述的方法，所述将所述参考图像输入所述生成式对抗网络的判别网络包括：

将每个卷积模块输出的图像输入所述生成式对抗网络的判别网络，以使所述判别网络对各个卷积模块输出的图像进行分类。

5.根据权利要求1-4之一所述的方法，其中，所述训练完成条件包括以下至少一项：

训练迭代次数达到预定迭代阈值，所述判别网络的判别准确率在预定范围内，该样本的第二域图像、所述伪图像以及所述参考图像一起输入所述生成式对抗网络的判别网络之后，计算的损失值小于预定损失值阈值。

6.一种图像生成方法，所述方法包括：

获取待处理图像；

将所述待处理图像输入采用如权利要求1-5中任一项所述的方法生成的图像生成模型中，输出生成后的图像。

7.一种图像生成模型训练装置，所述装置包括：

样本获取单元，被配置成获取预置的样本集，其中，所述样本集至少包括一个样本，样本包括第一域图像和第二域图像；

网络获取单元，被配置成获取预先建立的生成式对抗网络，其中，所述生成式对抗网络的生成网络包括生成模块和网络模块，所述网络模块用于提升所述生成模块输出的图像的精细度；

选取单元，被配置成从所述样本集中选取样本；

得到单元，被配置成将该样本的第一域图像输入所述生成模块，得到所述生成模块输出的伪图像以及所述网络模块输出的参考图像；

输入单元，被配置成将该样本的第二域图像、所述伪图像以及所述参考图像一起输入所述生成式对抗网络的判别网络；

模型生成单元，被配置成响应于确定所述生成式对抗网络满足训练完成条件，则将所述生成式对抗网络作为图像生成模型。

8.根据权利要求7所述的装置，所述装置还包括：

提取单元，被配置成提取所述生成模块的中间层特征；

配置单元，被配置成将提取的中间层特征输入所述网络模块，以使所述网络模块输出新的参考图像；

替换单元，被配置成采用新的参考图像替换所述参考图像。

9.根据权利要求7所述的装置，其中，所述网络模块包括多个级联连接的卷积模块，每个卷积模块包括依次连接的设定个卷积层。

10.根据权利要求9所述的装置，所述配置单元进一步被配置成：将每个卷积模块输出的图像输入所述生成式对抗网络的判别网络，以使所述判别网络对各个卷积模块输出的图像进行分类。

11.根据权利要求7-10之一所述的装置，其中，所述训练完成条件包括以下至少一项：

训练迭代次数达到预定迭代阈值，所述判别网络的判别准确率在预定范围内，该样本的第二域图像、所述伪图像以及所述参考图像一起输入所述生成式对抗网络的判别网络之后，计算的损失值小于预定损失值阈值。

12.一种图像生成装置，所述装置包括：

图像获取单元，被配置成获取待处理图像；

图像生成单元，被配置成将所述待处理图像输入采用如权利要求1-5中任一项所述的方法生成的图像生成模型中，输出生成后的图像。

13.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。

14.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-6中任一项所述的方法。

15.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-6中任一项所述的方法。

Images