CN113240576A - 风格迁移模型的训练方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开关于一种风格迁移模型的训练方法、装置、电子设备及存储介质，涉及计算机领域。本公开实施例至少解决相关技术中较小图像的风格迁移效果较差的问题。该方法包括：将样本图像输入神经网络模型进行风格迁移处理，得到第一输出图像；对第一输出图像进行上采样处理，得到第二输出图像；根据第一目标风格化图像与第一输出图像之间的差异，确定第一输出图像损失；根据第二目标风格化图像与第二输出图像之间的差异，确定第二输出图像损失；根据第一输出图像损失与第二输出图像损失，训练神经网络模型，得到目标风格迁移模型。

Description

风格迁移模型的训练方法、装置、电子设备及存储介质

技术领域

本公开涉及互联网技术领域，尤其涉及一种风格迁移模型的训练方法、装置、电子设备及存储介质。

背景技术

现有技术中，通常会利用通过例如深度学习等方法获取到的风格迁移模型，来对图像进行风格迁移处理，得到风格化图像(图像风格可以为例如动漫风格、黑白风格、毕加索风格等)。移动的终端设备(例如手机)的硬件的计算能力较差，可能会对部署于移动的终端设备上的图像风格迁移处理任务的运算量产生较大的限制。另外通过风格迁移模型进行图像风格迁移处理时的运算量与输入图像(即输入该风格迁移模型的图像)的大小相关联，输入图像越大，则通过风格迁移模型进行图像风格迁移处理时的运算量越大。因此，将对图像进行风格迁移处理的任务部署于移动的终端设备时，需要限制输入图像的大小。但是较小的输入图像在经风格迁移模型处理后，输出的风格化图像的线条较为粗糙，图像的风格迁移效果较差。

发明内容

本公开提供一种风格迁移模型的训练方法、装置、电子设备及存储介质，以至少解决相关技术中图像的风格迁移效果较差的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种风格迁移模型的训练方法，包括：将样本图像输入神经网络模型进行风格迁移处理，得到第一输出图像；对第一输出图像进行上采样处理，得到第二输出图像；根据第一目标风格化图像与第一输出图像之间的差异，确定第一输出图像损失，该第一目标风格化图像为样本图像对应的目标风格化图像，且该第一目标风格化图像的分辨率与第一输出图像的分辨率相同。根据第二目标风格化图像与第二输出图像之间的差异，确定第二输出图像损失，第二目标风格化图像为第一目标风格化图像上采样处理后的图像，该第二目标风格化图像的分辨率与第二输出图像的分辨率相同。最后，根据第一输出图像损失与第二输出图像损失，训练神经网络模型，得到目标风格迁移模型。

在一种可能的实现方式中，第二输出图像有至少一张。此时，对第一输出图像进行上采样处理，得到第二输出图像，包括：根据至少一种上采样倍数，对第一输出图像进行上采样处理，得到至少一张第二输出图像，该至少一张第二输出图像与至少一种上采样倍数之间一一对应；在根据第二目标风格化图像与第二输出图像之间的差异，确定第二输出图像损失之前，该方法还包括：根据每张第二输出图像的分辨率以及样本图像，确定一张第二目标风格化图像，每张第二输出图像的分辨率与对应的第二目标风格化图像的分辨率相同；根据第二目标风格化图像与第二输出图像之间的差异，确定第二输出图像损失，包括：根据每张第二目标风格化图像与对应的分辨率相同的第二输出图像之间的差异，确定第二输出图像损失。

在一种可能的实现方式中，根据第一输出图像损失与第二输出图像损失，训练神经网络模型，得到目标风格迁移模型，包括：对第一输出图像损失与第二输出图像损失进行加权求和，得到目标图像损失；随后，根据目标图像损失对神经网络模型中的参数进行调整，得到目标风格迁移模型。

在一种可能的实现方式中，第一输出图像损失包括感知损失或像素损失，第二输出图像损失包括感知损失和/或像素损失。

根据本公开实施例的第二方面，提供一种风格迁移方法，包括：获取待处理图像；随后，将待处理图像输入目标风格迁移模型进行图像风格迁移处理，得到目标风格化图像。其中，目标风格迁移模型是根据第一方面任一种可能的实现方式所述的风格迁移模型的训练方法训练得到的。

根据本公开实施例的第三方面，提供一种风格迁移模型的训练装置，包括：

风格化处理单元，被配置为执行将样本图像输入神经网络模型进行风格迁移处理，得到第一输出图像。上采样处理单元，被配置为执行对第一输出图像进行上采样处理，得到第二输出图像。损失监督单元，被配置为执行根据第一目标风格化模型与第一输出图像之间的差异，确定第一输出图像损失，第一目标风格化图像为样本图像对应的目标风格化图像，且第一目标风格化图像的分辨率与第一输出图像的分辨率相同。损失监督单元，还被配置为执行根据第二目标风格化图像与第二输出图像之间的差异，确定第二输出图像损失，第二目标风格化图像为第一目标风格化图像上采样处理后的图像，第二目标风格化图像的分辨率与第二输出图像的分辨率相同。模型训练单元，被配置为执行根据第一输出图像损失与第二输出图像损失，训练神经网络模型，得到目标风格迁移模型。

在一种可能的实现方式中，第二输出图像有至少一张。此时，上采样处理单元，具体被配置为执行根据至少一种上采样倍数，对第一输出图像进行上采样处理，得到至少一张第二输出图像，至少一张第二输出图像与至少一种上采样倍数之间一一对应；损失监督单元，还被配置为执行根据每张第二输出图像的分辨率以及样本图像，确定一张第二目标风格化图像，每张第二输出图像的分辨率与对应的第二目标风格化图像的分辨率相同；损失监督单元，具体还被配置为执行根据每张第二目标风格化图像与对应的分辨率相同的第二输出图像之间的差异，确定第二输出图像损失。

在一种可能的实现方式中，模型训练单元，具体被配置为执行对第一输出图像损失与第二输出图像损失进行加权求和，得到目标图像损失；随后，根据目标图像损失对神经网络模型中的参数进行调整，得到目标风格迁移模型。

在一种可能的实现方式中，第一输出图像损失包括感知损失或像素损失，第二输出图像包括感知损失和/或像素损失。

根据本公开实施例的第四方面，提供一种风格迁移装置，包括：获取单元，被配置为执行获取待处理图像；处理单元，被配置为执行将待处理图像输入目标风格迁移模型是根据第一方面中任一种可能的实现方式所述的风格迁移模型的训练方法训练得到的。

根据本公开实施例的第五方面，提供一种电子设备，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现上述第一方面中任一种可能的实现方式所述的风格迁移模型的训练方法，或实现上述第二方面所述的风格迁移方法。

根据本公开实施例的第六方面，提供一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行上述第一方面中任一种可能的实现方式所述的风格迁移模型的训练方法，或第二方面所述的风格迁移方法。

根据本公开实施例的第七方面，提供一种计算机程序产品，包括计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行上述第一方面中任一种可能的实现方式所述的风格迁移模型的训练方法或第二方面所述的风格迁移方法。

上述提供的任一种风格迁移模型的训练装置或电子设备或计算机可读存储介质或计算机程序产品用于执行上文所提供的对应的方法，通过第一目标风格化图像和第一目标风格化图像上采样处理得到的第二目标风格化图像，分别对第一输出图像和对第一输出图像进行上采样处理得到的第二输出图像进行损失监督，确定第一输出图像损失与第二输出图像损失，进而根据该第一输出图像损失与第二输出图像损失对神经网络模型进行训练，得到目标风格迁移模型。在这一过程中，在进行风格迁移模型训练时，即对神经网络模型进行训练时，引入了较高分辨率的第二目标风格化图像对第二输出图像进行监督，进而通过得到的第二输出图像损失调整该神经网络模型得到目标风格迁移模型，从而解决输入图像的大小受限时，经风格迁移模型处理后得到的风格化图像的线条较为粗糙，风格迁移效果较差的问题。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是根据一示例性实施例示出的一种风格迁移模型的训练方法的流程图；

图2是根据一示例性实施例示出的一种风格迁移模型的训练过程的示意图；

图3是根据一示例性实施例示出的一种风格化图像的示意图；

图4是根据一示例性实施例示出的一种风格迁移方法的流程图；

图5是根据一示例性实施例示出的一种风格迁移过程的示意图；

图6是根据一示例性实施例示出的一种风格迁移模型的训练装置的框图；

图7是根据一示例性实施例示出的一种风格迁移装置的框图；

图8是根据一示例性实施例示出的一种电子设备的框图(电子设备的一般结构)。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在对本公开的实施例提供的风格迁移模型的训练方法进行详细介绍之前，这里先对本公开的实施例涉及的应用场景进行简单介绍。

本公开的实施例提供的风格迁移模型的训练方法可以应用于各种图像处理场景(如，拍照场景，修图场景等)中，也可以应用于其他场景中，本公开对此不作限定。

本公开的实施例提供的风格迁移模型的训练方法的执行主体可以为风格迁移模型的训练装置，也可以为该风格迁移模型的训练装置中能够实现图像风格迁移模型的训练方法的功能模块和/或功能实体，具体的可以根据实际使用需求确定，本公开实施例不作限定。

本公开实施例中的风格迁移模型的训练装置可以为电子设备，该电子设备可以为移动终端设备，也可以为非移动终端设备。示例性的，移动终端设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载终端、可穿戴设备、超级移动个人计算机(ultra-mobilepersonal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，非移动终端设备可以为个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本公开实施例不作具体限定。

下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

图1是根据一示例性实施例示出的一种风格迁移模型的训练方法的流程图，该风格迁移模型的训练方法应用于风格迁移模型的训练装置中，如图1所示，该风格迁移模型的训练方法包括以下步骤：

S101、将样本图像输入神经网络模型进行风格迁移处理，得到第一输出图像。

其中，样本图像的分辨率与第一输出图像的分辨率相同。该样本图像的风格与该第一输出图像的风格不同，但该样本图像的内容与该第一输出图像的内容相同。

示例性的，样本图像的分辨率为360*640，该样本图像为相机拍摄得到的原图，且该样本图像的内容为人脸。将该样本图像输入神经网络模型后所得到的第一输出图像的分辨率为360*640，该第一输出图像的风格为动漫风格，且该第一输出图像的内容为人脸。也就是说，该样本图像的分辨率与第一输出图像的分辨率相同，该样本图像的风格与第一输出图像的风格不同，该输入图像的内容与该第一输出图像的内容相同。

在一种可能的实现方式中，神经网络模型为输入和输出均为图像的深度学习模型，该模型的网络结构包括编码器(encoder，E)与解码器(generator，G)。

S102、对第一输出图像进行上采样处理，得到第二输出图像。

其中，第二输出图像有至少一张。经上采样处理后的第二输出图像的分辨率高于该第一输出图像的分辨率，第二输出图像的内容与第一输出图像的内容相同。

可选的，根据至少一种上采样倍数，对第一输出图像进行上采样处理，得到至少一张第二输出图像。其中，该至少一张第二输出图像与该至少一种上采样倍数之间一一对应。另外，上采样操作为可回传计算损失的操作。例如模型训练过程中所采用的架构为pytorch架构(一种基于Python语言的深度学习架构)，则该上采样操作为pytorch架构中所定义的上采样操作，此时网络可导，可根据第一输出图像损失来对神经网络模型中的参数进行调整。

在一种可能的实现方式中，上述第二输出图像的分辨率一般为第一输出图像的分辨率的m(m>1)倍。通常情况下，m＝2。也就是说，上采样倍数为2。

在另一种可能的实现方式中，上采样倍数一般为2或者4。当然，该上采样倍数的具体取值可参照实际应用场景来确定为2或者4或者其他可能的值。

示例性的，以至少一种上采样倍数分别为2和4，第一输出图像的分辨率为360*640为例，上采样倍数为2时，对第一输出图像进行上采样处理，得到第二输出图像A，该第二输出图像A的分辨率为720*1280；上采样倍数为4时，对第一输出图像进行上采样处理，得到第二输出图像B，该第二输出图像B的分辨率为1480*2360。

S103、根据第一目标风格化图像与第一输出图像之间的差异，确定第一输出图像损失。

其中，第一目标风格化图像为样本图像对应的目标风格化图像，且该第一目标风格化图像的分辨率与第一输出图像的分辨率相同。也就是说，第一目标风格化图像的分辨率与样本图像的分辨率相同。需要说明的是，上述样本图像对应的目标风格化图像即第一目标风格化图像为在过去的预设时间段内通过神经网络模型对该样本图像进行风格迁移处理得到的风格化图像。其中，该第一目标风格化图像可以是在进行模型训练的设备上进行风格迁移处理得到的，也可以是在其他电子设备上进行风格迁移处理得到的。另外，第一目标风格化图像的内容、第一输出图像的内容与样本图像的内容是相同的。

在一种可能的实现方式中，通过第一预设损失函数，对该第一输出图像与第一目标风格化图像进行对比，确定该第一目标风格化图像与第一输出图像之间的差异，并将该差异确定为该第一目标风格化图像相对于该第一输出图像的损失，即第一输出图像损失。

其中，上述第一预设损失函数可以为例如深度学习中常用的L1损失函数或者是感知损失函数等。其中，L1损失函数用于确定像素损失。也就是说，第一输出图像损失可以为感知损失，或者是像素损失。

S104、根据第二目标风格化图像与第二输出图像之间的差异，确定第二输出图像损失。

其中，第二目标风格化图像为第一目标风格化图像上采样处理后的图像，该第二目标风格化图像的分辨率与第二输出图像的分辨率相同。也就是说，第二目标风格化图像的分辨率高于第一目标风格化图像的分辨率，且第二目标风格化图像的内容与该第一目标风格化图像的内容相同。另外，第二目标风格化图像的内容与第二输出图像的内容相同。

在一种可能的实现方式中，第一目标风格化图像的分辨率为第二目标风格化图像的分辨率的2*n倍。也就是说，第二目标风格化图像为第一目标风格化图像的下采样小图。其中，n为大于或等于1的整数。通常情况下，n的取值为1或者2。

示例性的，以第二目标风格化图像的分辨率为第一目标风格化图像的分辨率的2倍(即对第一目标风格化图像进行上采样处理时的上采样倍数为2)为例，样本图像的分辨率为360*640，样本图像的内容为人脸，则第一目标风格化图像的分辨率与第一输出图像的分辨率均为360*640，第二目标风格化图像的分辨率为720*1280，第二输出图像的分辨率为720*1280，该第一输出图像的内容、第一风格化图像的内容、第二风格化图像的内容以及第二输出图像的内容均为相同人脸。

在一种可能的实现方式中，第二输出图像有至少一张。此时，在根据第二目标风格化图像与第二输出图像之间的差异，确定第二输出图像损失之前，根据每张第二输出图像的分辨率以及样本图像，确定一张第二目标风格化图像。随后，根据每张第二目标风格化图像与对应的分辨率相同的第二输出图像之间的差异，确定第二输出图像损失。也就是说，第二目标风格化图像与第二输出图像之间一一对应。

示例性的，以至少一种上采样倍数分别为2和4，第一输出图像的分辨率为360*640，为例，上采样倍数为2时，对第一输出图像进行上采样处理，得到第二输出图像A，该第二输出图像A的分辨率为720*1280；上采样倍数为4时，对第一输出图像进行上采样处理，得到第二输出图像B，该第二输出图像B的分辨率为1480*2360。相应的，第二输出图像A所对应的第二目标风格化图像a的分辨率为720*1280，第二输出图像B对应的第二目标风格化图像b的分辨率为1480*2360。其中，第二目标风格化图像a是对分辨率为360*640的第一目标风格化图像以上采样倍数2进行上采样处理得到的，第二目标风格化图像b是对分辨率为360*640的第一目标风格化图像以上采样倍数4进行上采样处理得到的。该分辨率为360*640的第一目标风格化图像与上述分辨率为360*640的第一输出图像相对应，用于确定第二目标风格化图像a和第二目标风格化图像b的第一目标风格化图像为同一第一目标风格化图像。

在另一种可能的实现方式中，该第二目标风格化图像可以是在进行模型训练的设备上对具有较高分辨率的输入图像进行风格迁移处理得到的，也可以是在其他电子设备上对具有较高分辨率的输入图像进行风格迁移处理得到的。此时，可根据第二输出图像的分辨率以及样本图像的内容，确定分辨率与该第二输出图像的分辨率相同且内容与样本图像的内容相同的目标风格化图像，为所需的第二目标风格化图像。

具体的，确定第二目标风格化图像后，通过第二预设损失函数，对每张第二目标风格化图像与对应的分辨率相同的第二输出图像进行对比，确定每张第二目标风格化图像与对应的第二输出图像之间的差异，并将该差异确定为每张第二目标风格化图像相对于其对应的第二输出图像的损失，即第二输出图像损失。

其中，上述第二预设损失函数可以为例如深度学习中常用的L1损失函数或者感知损失函数等。或者该第二预设损失函数包括该L1损失函数与感知损失函数，此时第二输出图像损失为通过这两种损失函数(即L1损失函数与感知损失函数)所确定的损失相结合所确定的损失。需要说明的是，上述第一损失函数与此处的第二损失函数可以是预先确定的，也可以根据实际应用情况来确定。另外，该第一损失函数与第二损失函数还可以是上述L1损失函数与感知损失函数之外的其他损失函数。

也就是说，第二输出图像损失包括感知损失和/或像素损失。示例性的，第二输出图像损失包括感知损失，或者第二输出图像损失包括像素损失，或者第二输出图像损失包括感知损失与像素损失。需要说明的是，该第二输出图像损失中还可以包括其他类型的损失。

在一种可能的实现方式中，第二输出图像损失为感知损失、像素损失以及其他损失的总和，该总和可以是通过对该感知损失、像素损失以及其他损失进行加权求和得到的。

需要说明的是，上述步骤S102与步骤103在步骤S104之前执行即可，也就是说，在步骤S104之前，可以先执行步骤S102再执行步骤S103，也可以先执行步骤S103再执行步骤S102。

在上述过程中，根据至少一张第二输出图像以及与该至少一张第二输出图像一一对应的第二目标风格化图像，来确定每一第二目标风格化图像与对应的第二输出图像的差异，进而确定第二输出图像损失。根据至少一张第二输出图像和至少一张第二目标风格化图像所确定的第二输出图像损失具有较高的准确性，因此，根据该第二输出图像损失进行模型训练得到的目标风格迁移模型可以实现更好的风格迁移的效果，通过该目标风格迁移模型进行风格迁移处理的较小图像对应的风格化图像的线条更精细。

另外，在确定第一输出图像损失与第二输出图像损失时，会考虑到多种类型的损失，包括感知损失、像素损失等，从而尽可能保证所确定的图像损失的准确性或者多样性，以保证对神经网络模型进行调整所得到的目标风格迁移模型对较小图像的风格迁移效果。

S105、根据第一输出图像损失与第二输出图像损失，训练神经网络模型，得到目标风格迁移模型。

可选的，先对第一输出图像损失与第二输出图像损失进行加权求和，得到目标图像损失，随后，根据该目标图像损失对神经网络模型中的参数进行调整，得到目标风格迁移模型。

在一种可能的实现方式中，根据第一权重系数、第二权重系数对第一输出图像损失和第二输出图像损失进行加权求和。其中，第一权重系数与第一输出图像损失相对应，即第一权重系数为该第一输出图像损失对应的权重，第二权重系数与第二输出图像损失相对应，及第二权重系数为该第二输出图像损失对应的权重。

示例性的，以第一输出图像损失包含感知损失，第二输出图像损失包含感知损失为例，按照Loss＝w₁*L₁+w₂*L₂，来对第一输出图像损失与第二输出图像损失进行加权求和。其中，w₁为与第一输出图像损失对应的第一权重系数，w₂为与第二输出图像损失对应的第二权重系数，L₁为第一输出图像损失，L₂为第二输出图像损失，Loss表示目标图像损失。

示例性的，以第一输出图像损失包含感知损失，第二输出图像损失包含感知损失与像素损失为例，按照Loss＝w₁*L₁+w₂*L₂+w₃*L₃，来对第一输出图像损失与第二输出图像损失进行加权求和。其中，w₁为与第一输出图像损失中的感知损失对应的第一权重系数，w₂为与第二输出图像损失中的感知损失对应的第二权重系数，w₃为与第二输出图像损失中的像素损失对应的第三权重系数，L₁为第一输出图像损失中的感知损失，L₂为第二输出图像损失中的感知损失，L₃为第二输出图像损失中的像素损失。其中，w₁可以与w₂和/或w₃相同，也可以不同，w₂可以与w₃相同，也可以不同，Loss表示目标图像损失。

可选的，在确定目标图像损失后，进行网络回传，以根据该目标图像损失更新神经网络模型中的参数。这一过程为通过深度学习进行模型训练时的通用过程，在此不进行赘述。

示例性的，如图2所示，将样本图像输入神经网络模型，得到第一输出图像，其中，该神经网络模型可由编码器E和解码器G构成。随后，对第一输出图像进行上采样处理，得到第二输出图像，结合第二目标风格化图像对该第二输出图像进行高分辨率的损失监督，得到第二输出图像损失，并结合第一目标风格化图像对第一输出图像进行损失监督，得到第一输出图像损失。根据第一输出图像损失与第二输出图像损失调整神经网络模型，以得到目标风格迁移模型。

在上述对神经网络模型进行调整的过程中，综合考虑第一输出图像损失以及高分辨率损失监督获取到的第二输出图像损失，可得到较好的目标风格迁移模型，保证较小图像的风格化迁移效果。

在一种可能的实现方式中，为了获得具有更好的风格迁移处理效果的目标风格迁移模型，可以循环多次执行上述步骤S101-步骤S105，对神经网络模型进行多次调整，从而得到具有更好的风格迁移处理效果的目标风格迁移模型，使得经该目标风格迁移模型进行风格迁移处理后得到的风格化图像具有更加精细的线条，保证风格化的效果。

示例性的，如图3所示，以图3的(a)所示的人脸图像为例，经神经网络模型进行风格迁移处理后，得到如图3的(b)所示的风格化图像，经通过多次执行上述步骤S101-S105所得到的目标风格迁移模型进行风格迁移处理，得到如图3的(c)所示的风格化图像。相对比图3的(b)所示的风格化图像来说，图3的(c)所示的风格化图像的线条更加精细，风格迁移处理的效果更好。

在一种可能的实现方式中，对神经网络模型进行调整的次数，即循环执行上述步骤S101-步骤S105的次数可以为预设次数。也就是说，在执行上述步骤S101-S105的次数达到该预设次数，将对神经网络模型进行预设次数的调整后得到的风格迁移模型，确定为所需的目标风格迁移模型。其中，预设次数可以是预先设定的固定次数，也可以是根据当前应用场景所确定的次数。

在另一种可能的实现方式中，若根据目标图像损失对神经网络模型中的参数进行调整时，至少一项参数的变化值为预设值，则确定此次调整后得到的风格迁移模型为所需的目标风格迁移模型。其中，该预设值可以为0，也可以为使调整前后的风格迁移模型的参数值的变化趋近于0的其他值。

在另一种可能的实现方式中，可根据经目标风格化模型进行图像风格迁移处理得到的风格化图像，来确定该目标风格迁移模型的风格迁移处理的效果是否满足需求，即确定该风格化图像的线条的精细度是否满足需求。若满足需求，则确定该目标风格化模型为所需的风格迁移模型。若不满足，则可将该目标风格迁移模型作为步骤S101中的神经网络模型，再次循环执行上述步骤S101-S105，直至获得可满足需求的目标风格迁移模型。

在一种可能的实现方式中，在通过上述确定第一输出图像损失与第二输出图像损失后，直接分别按照预设的权重系数根据该第一输出图像损失和该第二输出图像损失，对神经网络模型中的参数进行调整，得到目标风格迁移模型。

需要说明的是，通过上述步骤S101-S105，在图像的风格迁移模型的训练过程中引入高分辨率的第二风格化图像来监督输出图像的损失，以在训练目标风格迁移模型的过程中，综合考虑第一输出图像损失与高分辨率损失监督得到的第二输出图像损失，从而得到可在待风格迁移处理的图像的大小受限的情况下，使得到的风格化图像的线条更加精细，也即风格迁移效果较好的目标风格迁移模型，以保证较小图像的风格迁移效果。

图4是根据一示例性实施例示出的一种风格迁移方法的流程图，该风格迁移方法应用于风格迁移装置中，如图4所示，该风格迁移方法包括以下步骤：

S401、获取待处理图像。

S402、将待处理图像输入目标风格迁移模型进行图像风格迁移处理，得到目标风格化图像。

其中，该目标风格迁移模型即通过上述图1所示的风格迁移模型的训练方法训练得到的风格迁移模型。关于该目标风格迁移模型的风格迁移效果可以参照上述图3给出的示例。

示例性的，如图5所示，获取到待处理图像后，将该待处理图像输入目标风格迁移模型中，该目标风格迁移模型由编码器E和解码器G构成，目标风格迁移模型对待处理图像进行风格迁移处理后，得到目标风格化图像。

通过上述图1所述的风格迁移模型的训练方法得到的目标风格迁移模型，对获取到的待处理图像进行风格迁移处理，可得到具有较为精细的线条的目标风格图像，在待处理图像大小受限的情况下，保证较好的图像的风格迁移效果。

图6是根据一示例性实施例示出的一种风格迁移模型的训练装置框图。参照图6，该装置包括风格化处理单元601、上采样处理单元602、损失监督单元603和模型训练单元604。

该风格化处理单元601，被配置为执行将样本图像输入神经网络模型进行风格迁移处理，得到第一输出图像。

上采样处理单元602，被配置为执行对第一输出图像进行上采样处理，得到第二输出图像。

损失监督单元603，被配置为执行根据第一目标风格化图像与第一输出图像之间的差异，确定第一输出图像损失；该第一目标风格化图像为样本图像对应的目标风格化图像，且第一风格化图像的分辨率与第一输出图像的分辨率相同的风格化图像。

该损失监督单元603，还被配置为执行根据第二目标风格化图像与第二输出图像之间的差异，确定第二输出图像损失；第二目标风格化图像为第一风格化图像上采样处理后的图像，第二目标风格化图像的分辨率与第二输出图像的分辨率相同。

在一种可能的实现方式中，第二输出图像有至少一张。此时，上采样处理单元602具体被配置为执行根据至少一种上采样倍数，对第一输出图像进行上采样处理，得到至少一张第二输出图像，该至少一张第二输出图像与至少一种上采样倍数之间一一对应；损失监督单元603，还被配置为执行根据每张第二输出图像的分辨率以及样本图像，确定一张第二目标风格化图像，每张第二输出图像的分辨率与对应的第二目标风格化图像的分辨率相同；损失监督单元601具体该被配置为执行根据每张第二目标风格化图像与对应的分辨率相同的第二输出图像之间的差异，确定第二输出图像损失。

模型训练单元604，被配置为执行根据第一输出图像损失与第二输出图像损失，训练上述神经网络模型，得到目标风格迁移模型。

在一种可能的实现方式中，该模型训练单元604，具体还被配置为执行对第一输出图像损失与第二输出图像损失进行加权求和，得到目标图像损失；随后，根据目标图像损失对神经网络模型中的参数进行调整，得到目标风格迁移模型。

在一种可能的实现方式中，第一输出图像损失包括感知损失或像素损失，第二输出图像损失包括像素损失和/或感知损失。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图7是根据一示例性实施例示出的一种风格迁移装置框图。参照图7，该装置包括获取单元701以及处理单元702。

获取单元701，被配置为执行获取待处理图像。

处理单元702，被配置为执行将待处理图像输入目标风格迁移模型进行图像风格迁移处理，得到目标风格化图像。其中，该目标风格迁移模型是根据上述图1所述的风格迁移模型的训练方法中任意一种可能的实现方式进行训练得到的。

图8是根据一示例性实施例示出的一种电子设备的框图。该电子设备可以包括至少一个处理器801，通信总线802，存储器803以及至少一个通信接口804。

处理器801可以是一个处理器(central processing units，CPU)，微处理单元，特定用途集成电路(application specific integrated circuit，ASIC)，或一个或多个用于控制本公开方案程序执行的集成电路。

通信总线802可包括一通路，在上述组件之间传送信息。

通信接口804，使用任何收发器一类的装置，用于与其他设备或通信网络通信，如服务器、以太网，无线接入网(radio access network，RAN)，无线局域网(wireless localarea networks，WLAN)等。

存储器803可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electricallyerasable programmable read-only memory，EEPROM)、只读光盘(compact disc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过总线与处理单元相连接。存储器也可以和处理单元集成在一起。

其中，存储器803用于存储执行本公开方案的应用程序代码，并由处理器801来控制执行。处理器801用于执行存储器803中存储的应用程序代码，从而实现本公开方法中的功能。

在具体实现中，作为一种实施例，处理器801可以包括一个或多个CPU，例如图8中的CPU0和CPU1。

在具体实现中，作为一种实施例，该电子设备可以包括多个处理器，例如图8中的处理器801和处理器805。这些处理器中的每一个可以是一个单核(single-CPU)处理器，也可以是一个多核(multi-CPU)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。

在具体实现中，作为一种实施例，该电子设备还可以包括输入设备806和输出设备807。输入设备806和处理器801通信，可以以多种方式接受用户的输入。例如，输入设备806是鼠标、键盘、触摸屏设备或传感设备等。输出设备807和处理器801通信，可以以多种方式来显示信息。例如，输出设备807可以是液晶显示器(liquid crystal display，LCD)，发光二级管(light emitting diode，LED)显示设备等。

本领域技术人员可以理解，图8中示出的结构并不构成对上述电子设备的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器803，上述指令可由电子设备的处理器801执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器RAM、CD-ROM、磁带、软盘和光数据存储设备等。

在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器803，上述指令可由电子设备的处理器801或处理器805执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

在示例性实施例中，还提供了一种包含计算机指令的计算机程序产品，当其在计算机上运行时，使得计算机设备执行上述所示实施例提供的风格迁移模型的训练方法或风格迁移方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种风格迁移模型的训练方法，其特征在于，所述方法包括：

将样本图像输入神经网络模型进行风格迁移处理，得到第一输出图像；

对所述第一输出图像进行上采样处理，得到第二输出图像；

根据第一目标风格化图像与所述第一输出图像之间的差异，确定第一输出图像损失；所述第一目标风格化图像为所述样本图像对应的目标风格化图像，且所述第一目标风格化图像的分辨率与所述第一输出图像的分辨率相同；

根据第二目标风格化图像与所述第二输出图像之间的差异，确定第二输出图像损失；所述第二目标风格化图像为所述第一目标风格化图像上采样处理后的图像，所述第二目标风格化图像的分辨率与所述第二输出图像的分辨率相同；

根据所述第一输出图像损失与所述第二输出图像损失，训练所述神经网络模型，得到目标风格迁移模型。

2.根据权利要求1所述的风格迁移模型的训练方法，其特征在于，所述第二输出图像有至少一张；

所述对所述第一输出图像进行上采样处理，得到第二输出图像，包括：根据至少一种上采样倍数，对所述第一输出图像进行上采样处理，得到至少一张第二输出图像；所述至少一张第二输出图像与所述至少一种上采样倍数之间一一对应；

在所述根据第二目标风格化图像与所述第二输出图像之间的差异，确定第二输出图像损失之前，所述方法还包括：根据每张第二输出图像的分辨率以及所述样本图像，确定一张第二目标风格化图像，每张第二输出图像的分辨率与对应的第二目标风格化图像的分辨率相同；

所述根据第二目标风格化图像与所述第二输出图像之间的差异，确定第二输出图像损失，包括：根据每张第二目标风格化图像与对应的分辨率相同的第二输出图像之间的差异，确定所述第二输出图像损失。

3.根据权利要求1所述的风格迁移模型的训练方法，其特征在于，所述根据所述第一输出图像损失与所述第二输出图像损失，训练所述神经网络模型，得到目标风格迁移模型，包括：

对所述第一输出图像损失与所述第二输出图像损失进行加权求和，得到目标图像损失；

根据所述目标图像损失对所述神经网络模型中的参数进行调整，得到所述目标风格迁移模型。

4.根据权利要求1-3中任一项所述的风格迁移模型的训练方法，其特征在于，所述第一输出图像损失包括感知损失或像素损失，所述第二输出图像损失包括像素损失和/或感知损失。

5.一种风格迁移方法，其特征在于，所述方法包括：

获取待处理图像；

将所述待处理图像输入目标风格迁移模型进行图像风格迁移处理，得到目标风格化图像；其中，所述目标风格迁移模型是根据权利要求1-4中任一项所述的风格迁移模型的训练方法训练得到的。

6.一种风格迁移模型的训练装置，其特征在于，所述装置包括：

风格化处理单元，被配置为执行将样本图像输入神经网络模型进行风格迁移处理，得到第一输出图像；

上采样处理单元，被配置为执行对所述第一输出图像进行上采样处理，得到第二输出图像；

损失监督单元，被配置为执行根据第一目标风格化图像与所述第一输出图像之间的差异，确定第一输出图像损失；所述第一目标风格化图像为所述样本图像对应的目标风格化图像，且所述第一目标风格化图像的分辨率与所述第一输出图像的分辨率相同；

所述损失监督单元，还被配置为执行根据第二目标风格化图像与所述第二输出图像之间的差异，确定第二输出图像损失；所述第二目标风格化图像为所述第一目标风格化图像上采样处理后的图像，所述第二目标风格化图像的分辨率与所述第二输出图像的分辨率相同；

模型训练单元，被配置为执行根据所述第一输出图像损失与所述第二输出图像损失，训练所述神经网络模型，得到目标风格迁移模型。

7.根据权利要求6所述的风格迁移模型的训练装置，其特征在于，所述第二输出图像有至少一张；

所述上采样处理单元，具体被配置为执行根据至少一种上采样倍数，对所述第一输出图像进行上采样处理，得到至少一张第二输出图像；所述至少一张第二输出图像与所述至少一种上采样倍数之间一一对应；

损失监督单元，还被配置为执行根据每张第二输出图像的分辨率以及所述样本图像，确定一张第二目标风格化图像，每张第二输出图像的分辨率与对应的第二目标风格化图像的分辨率相同；

损失监督单元，具体还被配置为执行根据每张第二目标风格化图像与对应的分辨率相同的第二输出图像之间的差异，确定所述第二输出图像损失。

8.一种风格迁移装置，其特征在于，包括

获取单元，被配置为执行获取待处理图像；

处理单元，被配置为执行将所述待处理图像输入目标风格迁移模型进行图像风格迁移处理，得到目标风格化图像；其中，所述目标风格迁移模型是根据权利要求1-4所述的风格迁移模型的训练方法训练得到的。

9.一种电子设备，其特征在于，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如权利要求1至4中任一项所述的风格迁移模型的训练方法或如权利要求5所述的风格迁移方法。

10.一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至4中任一项所述的风格迁移模型的训练方法或如权利要求5所述的风格迁移方法。

Images