CN110276811B - 图像转换方法、装置、电子设备及可读存储介质 - Google Patents

Abstract

本申请实施例提供一种图像转换方法、装置、电子设备及可读存储介质，通过获取待转换的源域图像，并通过自编码网络的编码器可以得到源域图像到隐空间的源域隐空间编码并通过循环生成对抗网络得到隐空间的源域隐空间编码到目标域隐空间编码之间的映射，最后将目标域隐空间编码输入目标域解码器进行解码，得到目标域图像，实现源域和目标域之间的转换。如此，相较于现有技术单纯采用对抗生成网络训练而言，能够得到更加高质量的目标域图像，并且降低了网络深度和训练难度，能够更好地适应多种环境下的要求。

Description

图像转换方法、装置、电子设备及可读存储介质

技术领域

本申请涉及图像处理领域，具体而言，涉及一种图像转换方法、装置、电子设备及可读存储介质。

背景技术

用户在对所拍摄的图像进行修整时，已经不再满足仅仅对图像的对比度、饱和度等数值的简单调整，而更多地需要对图像的风格类型的转换等进阶的调整需求。例如，将真实自拍图像转换为卡通人物图像，将风景图像转换为铅笔素描图像，将面无表情的脸部图像转换为笑脸的脸部图像，将***像转换为孩童图像等等。

目前大多数针对图像转换的方法都是基于生成对抗网络实现的，这类方法采用一个生成器，将源域图像映射到目标图像域上，得到转换的图像。接着，将转换的图像和目标图像域上的图像输入鉴别器中，同时训练二者，然后将映射到目标域的图像再通过一个生成器映射回源域中，得到二次生成图像，最后最小化二次生成图像与原始图像之间的某种约束来达到源域图像到目标域图像的转换。然而，发明人经研究发现，上述方案往往网络结构复杂且网络深度较高，并且生成对抗网络的训练难度较高，导致最终转换后的图像质量往往较差。

发明内容

有鉴于此，本申请实施例的目的在于提供一种图像转换方法、装置、电子设备及可读存储介质，以解决或者改善上述问题。

根据本申请实施例的一个方面，提供一种电子设备，可以包括一个或多个存储介质和一个或多个与存储介质通信的处理器。一个或多个存储介质存储有处理器可执行的机器可执行指令。当电子设备运行时，处理器执行所述机器可执行指令，以执行图像转换方法。

根据本申请实施例的另一方面，提供一种图像转换方法，应用于电子设备，所述电子设备中存储有自编码网络和循环生成对抗网络，所述自编码网络包括编码器和目标域解码器，所述方法包括：

获取待转换的源域图像；

将所述源域图像输入所述自编码网络的编码器进行编码，得到源域隐空间编码；

将所述源域隐空间编码输入所述循环生成对抗网络中源域到目标域的生成网络进行处理，得到目标域隐空间编码；

将所述目标域隐空间编码输入所述目标域解码器进行解码，得到目标域图像。

在一种可能的实施方式中，所述方法还包括：

配置初始自编码网络，所述初始自编码网络包括初始编码器、初始源域解码器和初始目标域解码器；

获取训练样本集，所述训练样本集包括源域图像样本和目标域图像样本；

根据所述源域图像样本和目标域图像样本训练所述初始编码器、所述初始源域解码器和所述初始目标域解码器，得到所述自编码网络，并将所述自编码网络存储在所述电子设备中。

在一种可能的实施方式中，所述根据所述源域图像样本和目标域图像样本训练所述初始编码器、所述初始源域解码器和所述初始目标域解码器，得到所述自编码网络的步骤，包括：

通过所述初始编码器分别对所述源域图像样本和目标域图像样本进行编码，得到所述源域图像样本对应的源域隐空间编码和目标域图像样本对应的目标域隐空间编码；

通过所述初始源域解码器对所述源域隐空间编码进行解码，得到所述源域隐空间编码对应的源解码图像，并通过所述初始目标域解码器对所述目标域隐空间编码进行解码，得到所述目标域隐空间编码对应的目标解码图像；

根据所述源解码图像、所述源域图像样本、所述目标解码图像以及所述目标域图像样本更新所述初始编码器、初始源域解码器和初始目标域解码器的网络参数，并返回通过所述初始编码器分别对所述源域图像样本和目标域图像样本进行编码的步骤，直到所述初始编码器、所述初始源域解码器和所述初始目标域解码器满足训练终止条件时，输出训练得到的所述自编码网络。

在一种可能的实施方式中，所述根据所述源解码图像、所述源域图像样本、所述目标解码图像以及所述目标域图像样本更新所述初始编码器、初始源域解码器和初始目标域解码器的网络参数的步骤，包括：

计算所述源解码图像与所述源域图像样本之间的第一损失函数值以及所述目标解码图像与所述目标域图像样本之间的第二损失函数值；

根据所述第一损失函数值和所述第二损失函数值更新所述初始编码器、初始源域解码器和初始目标域解码器的网络参数。

在一种可能的实施方式中，所述方法还包括：

配置初始循环生成对抗网络，所述初始循环生成对抗网络包括源域到目标域的第一初始生成网络和第一初始判别网络以及目标域到源域的第二初始生成网络和第二初始判别网络；

通过所述第一初始生成网络对输入的所述自编码网络的编码器对源域图像样本进行编码后得到的源域隐空间编码进行处理，得到第一目标域隐空间编码，并通过所述第二初始生成网络对所述第一目标域隐空间编码进行处理，得到第一源域隐空间编码；

通过所述第二初始生成网络对输入的所述自编码网络的编码器对目标域图像样本进行编码后得到的目标域隐空间编码进行处理，得到第二源域隐空间编码，并通过所述第一初始生成网络对所述第二源域隐空间编码进行处理，得到第二目标域隐空间编码；

根据所述第一源域隐空间编码、所述第二源域隐空间编码、所述第一目标域隐空间编码以及所述第二目标域隐空间编码训练所述初始循环生成对抗网络，得到所述循环生成对抗网络，并将所述循环生成对抗网络存储在所述电子设备中。

在一种可能的实施方式中，所述通过所述第一初始生成网络对输入的所述自编码网络的编码器对源域图像样本进行编码后得到的源域隐空间编码进行处理，得到第一目标域隐空间编码，并通过所述第二初始生成网络对所述第一目标域隐空间编码进行处理，得到第一源域隐空间编码的步骤，包括：

通过所述第一初始生成网络对输入的所述自编码网络的编码器对源域图像样本进行编码后得到的源域隐空间编码进行处理，得到所述源域隐空间编码到目标域隐空间编码的编码映射和隐空间编码中每一位编码上与所述源域隐空间编码对应的加权系数；

根据所述源域隐空间编码到所述目标域隐空间编码的编码映射和所述隐空间编码中每一位编码上与所述源域隐空间编码对应的加权系数得到所述第一目标域隐空间编码；

通过所述第二初始生成网络对输入的所述第一目标域隐空间编码进行处理，得到所述第一目标域隐空间编码到源域隐空间编码的编码映射和隐空间编码中每一位编码上与所述第一目标域隐空间编码对应的加权系数；

根据所述第一目标域隐空间编码到源域隐空间编码的编码映射和隐空间编码中每一位编码上与所述第一目标域隐空间编码对应的加权系数得到所述第一源域隐空间编码；

所述通过所述第二初始生成网络对输入的所述自编码网络的编码器对目标域图像样本进行编码后得到的目标域隐空间编码进行处理，得到第二源域隐空间编码，并通过所述第一初始生成网络对所述第二源域隐空间编码进行处理，得到第二目标域隐空间编码的步骤，包括：

通过所述第二初始生成网络对输入的所述自编码网络的编码器对目标域图像样本进行编码后得到的目标域隐空间编码进行处理，得到所述目标域隐空间编码到源域隐空间编码的编码映射和隐空间编码中每一位编码上与所述目标域隐空间编码对应的加权系数；

根据所述目标域隐空间编码到源域隐空间编码的编码映射和隐空间编码中每一位编码上与所述目标域隐空间编码对应的加权系数得到所述第二源域隐空间编码；

通过所述第一初始生成网络对输入的所述第二源域隐空间编码进行处理，得到所述第二源域隐空间编码到源域隐空间编码的编码映射和隐空间编码中每一位编码上与所述第二源域隐空间编码对应的加权系数；

根据所述第二源域隐空间编码到源域隐空间编码的编码映射和隐空间编码中每一位编码上与所述第二源域隐空间编码对应的加权系数得到所述第二目标域隐空间编码。

在一种可能的实施方式中，所述根据所述第一源域隐空间编码、所述第二源域隐空间编码、所述第一目标域隐空间编码以及所述第二目标域隐空间编码训练所述初始循环生成对抗网络，得到所述循环生成对抗网络的步骤，包括：

通过所述第一初始判别网络对所述第一目标域隐空间编码和所述目标域隐空间编码进行判别，得到第一判别结果，并通过所述第二初始判别网络对所述第二源域隐空间编码和所述源域隐空间编码进行判别，得到第二判别结果；

计算所述第一判别结果中第一目标域隐空间编码的判别值与所述目标域隐空间编码的判别值之间的第三损失函数值以及所述第一源域隐空间编码与所述源域隐空间编码之间的第四损失函数值，并计算所述第二判别结果中第二源域隐空间编码的判别值和所述源域隐空间编码的判别值之间的第五损失函数值，以及所述第二目标域隐空间编码与所述目标域隐空间编码之间的第六损失函数值；

根据所述第一判别结果、第二判别结果、第三损失函数值、第四损失函数值、第五损失函数值以及第六损失函数值更新所述初始循环生成对抗网络的网络参数，并返回通过所述第一初始生成网络对输入的所述自编码网络的编码器对源域图像样本进行编码后得到的源域隐空间编码进行处理的步骤，直到所述初始循环生成对抗网络满足训练终止条件时，输出训练得到的所述循环生成对抗网络。

根据本申请实施例的另一方面，提供一种图像转换装置，应用于电子设备，所述电子设备中存储有自编码网络和循环生成对抗网络，所述自编码网络包括编码器和目标域解码器，所述装置包括：

获取模块，用于获取待转换的源域图像；

编码模块，用于将所述源域图像输入所述自编码网络的编码器中进行编码，得到源域隐空间编码；

输入模块，用于将所述源域隐空间编码输入所述循环生成对抗网络中源域到目标域的生成网络进行处理，得到目标域隐空间编码；

解码模块，用于将所述目标域隐空间编码输入所述目标域解码器进行解码，得到目标域图像。

根据本申请实施例的另一方面，提供一种可读存储介质，该可读存储介质上存储有机器可执行指令，该计算机程序被处理器运行时可以执行上述的图像转换方法的步骤。

基于上述任一方面，本申请实施例通过获取待转换的源域图像，并通过自编码网络的编码器可以得到源域图像到隐空间的源域隐空间编码并通过循环生成对抗网络得到隐空间的源域隐空间编码到目标域隐空间编码之间的映射，最后将目标域隐空间编码输入目标域解码器进行解码，得到目标域图像，实现源域和目标域之间的转换。如此，相较于现有技术单纯采用对抗生成网络训练而言，能够得到更加高质量的目标域图像，并且降低了网络深度和训练难度，能够更好地适应多种环境下的要求。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本申请实施例所提供的图像转换方法的流程示意图之一；

图2示出了本申请实施例所提供的图像转换方法的流程示意图之二；

图3示出了本申请实施例所提供的自编码网络的训练示意图；

图4示出了本申请实施例所提供的图像转换方法的流程示意图之三；

图5示出了本申请实施例所提供的循环生成对抗网络的训练示意图；

图6示出了本申请实施例所提供的电子设备的结构示意图框图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请实施例的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。

另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

图1示出了本申请实施例提供的图像转换方法的流程示意图，应当理解，在其它实施例中，本实施例的图像转换方法其中部分步骤的顺序可以不以图1及以下具体实施例的顺序为限制，例如可以根据实际需要相互交换，或者其中的部分步骤也可以省略或删除。该图像转换方法的详细步骤介绍如下。

步骤S110，获取待转换的源域图像。

步骤S120，将源域图像输入自编码网络的编码器进行编码，得到源域隐空间编码。

步骤S130，将源域隐空间编码输入循环生成对抗网络中源域到目标域的生成网络进行处理，得到目标域隐空间编码。

步骤S140，将目标域隐空间编码输入目标域解码器进行解码，得到目标域图像。

本实施例中，针对步骤S110，该待转换的源域图像可以是用户通过拍照、网络下载等任意可行方式获取到的图像信息，例如可以是通过安装的相机应用程序拍摄得到的图像，或者通过网络从网站、聊天记录、云服务等下载的图像，本实施例对此不作任何限制。

针对步骤S120，通过将源域图像输入自编码网络的编码器进行编码，即可得到源域图像到隐空间的映射，也即源域隐空间编码。

针对步骤S130，通过将源域隐空间编码输入循环生成对抗网络中源域到目标域的生成网络进行处理，可以得到源域隐空间编码到目标域隐空间编码的编码映射和隐空间编码中每一位编码上与源域隐空间编码对应的加权系数，并按照源域隐空间编码到目标域隐空间编码的编码映射和隐空间编码中每一位编码上与源域隐空间编码对应的加权系数的加权即可得到目标域隐空间编码。

在得到目标域隐空间编码后，即可通过输入目标域解码器进行解码，得到目标域图像。

基于上述设计，本实施例通过获取待转换的源域图像，并通过自编码网络的编码器可以得到源域图像到隐空间的源域隐空间编码并通过循环生成对抗网络得到隐空间的源域隐空间编码到目标域隐空间编码之间的映射，最后将目标域隐空间编码输入目标域解码器进行解码，得到目标域图像，实现源域和目标域之间的转换。如此，相较于现有技术单纯采用对抗生成网络训练而言，能够得到更加高质量的目标域图像，并且降低了网络深度和训练难度，能够更好地适应多种环境下的要求。

作为一种可能的实施方式，请参阅图2，在前述步骤S110之前，本实施例提供的图像转换方法还可以包括如下步骤：

步骤S101，配置初始自编码网络。

本实施例中，初始自编码网络可以包括初始编码器、初始源域解码器和初始目标域解码器。

步骤S102，获取训练样本集。

本实施例中，训练样本集包括源域图像样本和目标域图像样本。源域图像样本可以是任意需要转换为目标域的图像，目标域图像样本为转换为目标域的图像。

步骤S103，根据源域图像样本和目标域图像样本训练初始编码器、初始源域解码器和初始目标域解码器，得到自编码网络，并将自编码网络存储在电子设备中。

请结合参阅图3，下面基于图3对本步骤S103中自编码网络的训练过程进行示例性阐述。

首先，通过初始编码器分别对源域图像样本和目标域图像样本进行编码，得到源域图像样本对应的源域隐空间编码和目标域图像样本对应的目标域隐空间编码。由此，通过同一初始编码器可以保证源域图像样本和目标域图像样本能够映射到同一个隐空间中。

接着，通过初始源域解码器对源域隐空间编码进行解码，得到源域隐空间编码对应的源解码图像，并通过初始目标域解码器对目标域隐空间编码进行解码，得到目标域隐空间编码对应的目标解码图像；

而后，根据源解码图像、源域图像样本、目标解码图像以及目标域图像样本更新初始编码器、初始源域解码器和初始目标域解码器的网络参数。例如作为一种可能的实施方式，可以计算源解码图像与源域图像样本之间的第一损失函数值以及目标解码图像与目标域图像样本之间的第二损失函数值，并根据第一损失函数值和第二损失函数值更新初始编码器、初始源域解码器和初始目标域解码器的网络参数。在此基础上，返回通过初始编码器分别对源域图像样本和目标域图像样本进行编码的步骤，直到初始编码器、初始源域解码器和初始目标域解码器满足训练终止条件时，输出训练得到的自编码网络。

其中，上述的训练终止条件可以包括以下三种条件中的至少一种：

1)迭代训练次数达到设定次数；2)第一损失函数值和第二损失函数值低于设定阈值；3)第一损失函数值和第二损失函数值不再下降。

其中，在条件1)中，为了节省运算量，可以设置迭代次数的最大值，如果迭代次数达到设定次数，可以停止本迭代周期的迭代，将最后得到的网络作为自编码网络。在条件2)中，如果第一损失函数值和第二损失函数值低于设定阈值，说明当前的自编码网络已经基本可以满足条件，此时可以停止迭代。在条件3)中，第一损失函数值和第二损失函数值不再下降，表明已经形成了最佳的自编码网络，可以停止迭代。

需要说明的是，上述迭代停止条件可以结合使用，也可以择一使用，例如，可以在第一损失函数值和第二损失函数值不再下降停止迭代，或者，在迭代次数达到设定次数时停止迭代，或者，在第一损失函数值和第二损失函数值不再下降时停止迭代。或者，还可以在第一损失函数值和第二损失函数值低于设定阈值，并且第一损失函数值和第二损失函数值不再下降时，停止迭代。

此外，在实际实施过程中，也可以不限于采用上述示例作为训练终止条件，本领域技术人员可以根据实际需求设计与上述示例不同的训练终止条件。

在前述描述的基础上，请进一步参阅图4，在该步骤S103之后，本实施例提供的图像转换方法还可以包括如下步骤：

步骤S104，配置初始循环生成对抗网络。

本实施例中，初始循环生成对抗网络可以包括源域到目标域的第一初始生成网络和第一初始判别网络以及目标域到源域的第二初始生成网络和第二初始判别网络。

请结合参阅图5，下面基于图5对本实施例中循环生成对抗网络的训练过程进行示例性阐述。

步骤S105，通过第一初始生成网络对输入的自编码网络的编码器对源域图像样本进行编码后得到的源域隐空间编码进行处理，得到第一目标域隐空间编码，并通过第二初始生成网络对第一目标域隐空间编码进行处理，得到第一源域隐空间编码。

例如，作为一种可能的实施方式，可以通过第一初始生成网络对输入的自编码网络的编码器对源域图像样本进行编码后得到的源域隐空间编码进行处理，得到源域隐空间编码到目标域隐空间编码的编码映射和隐空间编码中每一位编码上与源域隐空间编码对应的加权系数。在此基础上，根据源域隐空间编码到目标域隐空间编码的编码映射和隐空间编码中每一位编码上与源域隐空间编码对应的加权系数得到第一目标域隐空间编码，并通过第二初始生成网络对输入的第一目标域隐空间编码进行处理，得到第一目标域隐空间编码到源域隐空间编码的编码映射和隐空间编码中每一位编码上与第一目标域隐空间编码对应的加权系数。接着，根据第一目标域隐空间编码到源域隐空间编码的编码映射和隐空间编码中每一位编码上与第一目标域隐空间编码对应的加权系数得到第一源域隐空间编码。

步骤S106，通过第二初始生成网络对输入的自编码网络的编码器对目标域图像样本进行编码后得到的目标域隐空间编码进行处理，得到第二源域隐空间编码，并通过第一初始生成网络对第二源域隐空间编码进行处理，得到第二目标域隐空间编码。

例如，作为一种可能的实施方式，可以通过第二初始生成网络对输入的自编码网络的编码器对目标域图像样本进行编码后得到的目标域隐空间编码进行处理，得到目标域隐空间编码到源域隐空间编码的编码映射和隐空间编码中每一位编码上与目标域隐空间编码对应的加权系数。在此基础上，根据目标域隐空间编码到源域隐空间编码的编码映射和隐空间编码中每一位编码上与目标域隐空间编码对应的加权系数得到第二源域隐空间编码，并通过第一初始生成网络对输入的第二源域隐空间编码进行处理，得到第二源域隐空间编码到源域隐空间编码的编码映射和隐空间编码中每一位编码上与第二源域隐空间编码对应的加权系数。接着，根据第二源域隐空间编码到源域隐空间编码的编码映射和隐空间编码中每一位编码上与第二源域隐空间编码对应的加权系数得到第二目标域隐空间编码。

步骤S107，根据第一源域隐空间编码、第二源域隐空间编码、第一目标域隐空间编码以及第二目标域隐空间编码训练初始循环生成对抗网络，得到循环生成对抗网络，并将循环生成对抗网络存储在电子设备中。

例如，作为一种可能的实施方式，可以通过第一初始判别网络对第一目标域隐空间编码和目标域隐空间编码进行判别，得到第一判别结果，并通过第二初始判别网络对第二源域隐空间编码和源域隐空间编码进行判别，得到第二判别结果。在此基础上，计算第一判别结果中第一目标域隐空间编码的判别值与目标域隐空间编码的判别值之间的第三损失函数值(L2 LOSS)以及第一源域隐空间编码与源域隐空间编码之间的第四损失函数值，并计算第二判别结果中第二源域隐空间编码的判别值和源域隐空间编码的判别值之间的第五损失函数值(L2 LOSS)，以及第二目标域隐空间编码与目标域隐空间编码之间的第六损失函数值。而后，根据第一判别结果、第二判别结果、第三损失函数值、第四损失函数值、第五损失函数值以及第六损失函数值更新初始循环生成对抗网络的网络参数，并返回通过第一初始生成网络对输入的自编码网络的编码器对源域图像样本进行编码后得到的源域隐空间编码进行处理的步骤，直到初始循环生成对抗网络满足训练终止条件时，输出训练得到的循环生成对抗网络。

其中，上述的训练终止条件可以包括以下三种条件中的至少一种：

1)迭代训练次数达到设定次数；2)第三损失函数值、第四损失函数值、第五损失函数值以及第六损失函数值的总损失函数值低于设定阈值；3)总损失函数值不再下降。

基于上述步骤，可以提升隐空间映射的质量，由此提高后续生成的目标域图像的质量。

图6示出了本申请实施例提供的电子设备100的示意图，本实施例中，该电子设备100可以包括存储介质110、处理器120以及图像转换装置130。

其中，处理器120可以是一个通用的中央处理器(Central Processing Unit，CPU)，微处理器，特定应用集成电路(Application-Specific Integrated Circuit，ASIC)，或一个或多个用于控制上述方法实施例提供的图像转换方法的程序执行的集成电路。

存储介质110可以是ROM或可存储静态信息和指令的其他类型的静态存储设备，RAM或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(Electrically Erasable Programmabler-Only Memory，EEPROM)、只读光盘(Compactdisc Read-Only Memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储介质110可以是独立存在，通过通信总线与处理器120相连接。存储介质110也可以和处理器集成在一起。其中，存储介质110用于存储执行本申请方案的应用程序代码，例如图6中所示的图像转换装置130，并由处理器120来控制执行。处理器120用于执行存储介质110中存储的应用程序代码，例如图像转换装置130，以执行上述方法实施例的图像转换方法。

本申请可以根据上述方法实施例对图像转换装置130进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。比如，在采用对应各个功能划分各个功能模块的情况下，图6示出的图像转换装置130只是一种装置示意图，下面分别对该图像转换装置130的各个功能模块的功能进行详细阐述。

获取模块131，用于获取待转换的源域图像。可以理解，该获取模块131可以用于执行上述步骤S110，关于该获取模块131的详细实现方式可以参照上述对步骤S110有关的内容。

编码模块132，用于将源域图像输入自编码网络的编码器中进行编码，得到源域隐空间编码。可以理解，该编码模块132可以用于执行上述步骤S120，关于该编码模块132的详细实现方式可以参照上述对步骤S120有关的内容。

输入模块133，用于将源域隐空间编码输入循环生成对抗网络中源域到目标域的生成网络进行处理，得到目标域隐空间编码。可以理解，该输入模块133可以用于执行上述步骤S130，关于该输入模块133的详细实现方式可以参照上述对步骤S130有关的内容。

解码模块134，用于将目标域隐空间编码输入目标域解码器进行解码，得到目标域图像。可以理解，该解码模块134可以用于执行上述步骤S140，关于该解码模块134的详细实现方式可以参照上述对步骤S140有关的内容。

由于本申请实施例提供的图像转换装置130是图1所示的图像转换方法的另一种实现形式，且图像转换装置130可用于执行图1所示的实施例所提供的方法，因此其所能获得的技术效果可参考上述方法实施例，在此不再赘述。

进一步地，基于同一发明构思，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述图像转换方法的步骤。

具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述图像转换方法。

本申请实施例是参照根据本申请实施例的方法、设备(如图6的电子设备100)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

尽管在此结合各实施例对本申请进行了描述，然而，在实施所要求保护的本申请过程中，本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书，可理解并实现所述公开实施例的其他变化。在权利要求中，“包括”一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。

以上所述，仅为本申请的各种实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (7)

1.一种图像转换方法，其特征在于，应用于电子设备，所述电子设备中存储有自编码网络和循环生成对抗网络，所述自编码网络包括编码器和目标域解码器，所述方法包括：

获取待转换的源域图像；

将所述源域图像输入所述自编码网络的编码器进行编码，得到源域隐空间编码；

将所述源域隐空间编码输入所述循环生成对抗网络中源域到目标域的生成网络进行处理，得到目标域隐空间编码；

将所述目标域隐空间编码输入所述目标域解码器进行解码，得到目标域图像；

所述方法还包括：

配置初始自编码网络，所述初始自编码网络包括初始编码器、初始源域解码器和初始目标域解码器；获取训练样本集，所述训练样本集包括源域图像样本和目标域图像样本；通过所述初始编码器分别对所述源域图像样本和目标域图像样本进行编码，得到所述源域图像样本对应的源域隐空间编码和目标域图像样本对应的目标域隐空间编码；通过所述初始源域解码器对所述源域隐空间编码进行解码，得到所述源域隐空间编码对应的源解码图像，并通过所述初始目标域解码器对所述目标域隐空间编码进行解码，得到所述目标域隐空间编码对应的目标解码图像；根据所述源解码图像、所述源域图像样本、所述目标解码图像以及所述目标域图像样本更新所述初始编码器、初始源域解码器和初始目标域解码器的网络参数，并返回通过所述初始编码器分别对所述源域图像样本和目标域图像样本进行编码的步骤，直到所述初始编码器、所述初始源域解码器和所述初始目标域解码器满足训练终止条件时，输出训练得到的所述自编码网络，并将所述自编码网络存储在所述电子设备中；

配置初始循环生成对抗网络，所述初始循环生成对抗网络包括源域到目标域的第一初始生成网络和第一初始判别网络以及目标域到源域的第二初始生成网络和第二初始判别网络；通过所述第一初始生成网络对输入的所述自编码网络的编码器对源域图像样本进行编码后得到的源域隐空间编码进行处理，得到第一目标域隐空间编码，并通过所述第二初始生成网络对所述第一目标域隐空间编码进行处理，得到第一源域隐空间编码；通过所述第二初始生成网络对输入的所述自编码网络的编码器对目标域图像样本进行编码后得到的目标域隐空间编码进行处理，得到第二源域隐空间编码，并通过所述第一初始生成网络对所述第二源域隐空间编码进行处理，得到第二目标域隐空间编码；根据所述第一源域隐空间编码、所述第二源域隐空间编码、所述第一目标域隐空间编码以及所述第二目标域隐空间编码训练所述初始循环生成对抗网络，得到所述循环生成对抗网络，并将所述循环生成对抗网络存储在所述电子设备中。

2.根据权利要求1所述的图像转换方法，其特征在于，所述根据所述源解码图像、所述源域图像样本、所述目标解码图像以及所述目标域图像样本更新所述初始编码器、初始源域解码器和初始目标域解码器的网络参数的步骤，包括：

计算所述源解码图像与所述源域图像样本之间的第一损失函数值以及所述目标解码图像与所述目标域图像样本之间的第二损失函数值；

根据所述第一损失函数值和所述第二损失函数值更新所述初始编码器、初始源域解码器和初始目标域解码器的网络参数。

3.根据权利要求1所述的图像转换方法，其特征在于，所述通过所述第一初始生成网络对输入的所述自编码网络的编码器对源域图像样本进行编码后得到的源域隐空间编码进行处理，得到第一目标域隐空间编码，并通过所述第二初始生成网络对所述第一目标域隐空间编码进行处理，得到第一源域隐空间编码的步骤，包括：

通过所述第一初始生成网络对输入的所述自编码网络的编码器对源域图像样本进行编码后得到的源域隐空间编码进行处理，得到所述源域隐空间编码到目标域隐空间编码的编码映射和隐空间编码中每一位编码上与所述源域隐空间编码对应的加权系数；

根据所述源域隐空间编码到所述目标域隐空间编码的编码映射和所述隐空间编码中每一位编码上与所述源域隐空间编码对应的加权系数得到所述第一目标域隐空间编码；

通过所述第二初始生成网络对输入的所述第一目标域隐空间编码进行处理，得到所述第一目标域隐空间编码到源域隐空间编码的编码映射和隐空间编码中每一位编码上与所述第一目标域隐空间编码对应的加权系数；

根据所述第一目标域隐空间编码到源域隐空间编码的编码映射和隐空间编码中每一位编码上与所述第一目标域隐空间编码对应的加权系数得到所述第一源域隐空间编码；

所述通过所述第二初始生成网络对输入的所述自编码网络的编码器对目标域图像样本进行编码后得到的目标域隐空间编码进行处理，得到第二源域隐空间编码，并通过所述第一初始生成网络对所述第二源域隐空间编码进行处理，得到第二目标域隐空间编码的步骤，包括：

通过所述第二初始生成网络对输入的所述自编码网络的编码器对目标域图像样本进行编码后得到的目标域隐空间编码进行处理，得到所述目标域隐空间编码到源域隐空间编码的编码映射和隐空间编码中每一位编码上与所述目标域隐空间编码对应的加权系数；

根据所述目标域隐空间编码到源域隐空间编码的编码映射和隐空间编码中每一位编码上与所述目标域隐空间编码对应的加权系数得到所述第二源域隐空间编码；

通过所述第一初始生成网络对输入的所述第二源域隐空间编码进行处理，得到所述第二源域隐空间编码到源域隐空间编码的编码映射和隐空间编码中每一位编码上与所述第二源域隐空间编码对应的加权系数；

根据所述第二源域隐空间编码到源域隐空间编码的编码映射和隐空间编码中每一位编码上与所述第二源域隐空间编码对应的加权系数得到所述第二目标域隐空间编码。

4.根据权利要求1所述的图像转换方法，其特征在于，所述根据所述第一源域隐空间编码、所述第二源域隐空间编码、所述第一目标域隐空间编码以及所述第二目标域隐空间编码训练所述初始循环生成对抗网络，得到所述循环生成对抗网络的步骤，包括：

通过所述第一初始判别网络对所述第一目标域隐空间编码和所述目标域隐空间编码进行判别，得到第一判别结果，并通过所述第二初始判别网络对所述第二源域隐空间编码和所述源域隐空间编码进行判别，得到第二判别结果；

计算所述第一判别结果中第一目标域隐空间编码的判别值与所述目标域隐空间编码的判别值之间的第三损失函数值以及所述第一源域隐空间编码与所述源域隐空间编码之间的第四损失函数值，并计算所述第二判别结果中第二源域隐空间编码的判别值和所述源域隐空间编码的判别值之间的第五损失函数值，以及所述第二目标域隐空间编码与所述目标域隐空间编码之间的第六损失函数值；

根据所述第一判别结果、第二判别结果、第三损失函数值、第四损失函数值、第五损失函数值以及第六损失函数值更新所述初始循环生成对抗网络的网络参数，并返回通过所述第一初始生成网络对输入的所述自编码网络的编码器对源域图像样本进行编码后得到的源域隐空间编码进行处理的步骤，直到所述初始循环生成对抗网络满足训练终止条件时，输出训练得到的所述循环生成对抗网络。

5.一种图像转换装置，其特征在于，应用于电子设备，所述电子设备中存储有自编码网络和循环生成对抗网络，所述自编码网络包括编码器和目标域解码器，所述装置包括：

获取模块，用于获取待转换的源域图像；

编码模块，用于将所述源域图像输入所述自编码网络的编码器中进行编码，得到源域隐空间编码；

输入模块，用于将所述源域隐空间编码输入所述循环生成对抗网络中源域到目标域的生成网络进行处理，得到目标域隐空间编码；

解码模块，用于将所述目标域隐空间编码输入所述目标域解码器进行解码，得到目标域图像；

所述获取模块，还用于：

配置初始自编码网络，所述初始自编码网络包括初始编码器、初始源域解码器和初始目标域解码器；获取训练样本集，所述训练样本集包括源域图像样本和目标域图像样本；通过所述初始编码器分别对所述源域图像样本和目标域图像样本进行编码，得到所述源域图像样本对应的源域隐空间编码和目标域图像样本对应的目标域隐空间编码；通过所述初始源域解码器对所述源域隐空间编码进行解码，得到所述源域隐空间编码对应的源解码图像，并通过所述初始目标域解码器对所述目标域隐空间编码进行解码，得到所述目标域隐空间编码对应的目标解码图像；根据所述源解码图像、所述源域图像样本、所述目标解码图像以及所述目标域图像样本更新所述初始编码器、初始源域解码器和初始目标域解码器的网络参数，并返回通过所述初始编码器分别对所述源域图像样本和目标域图像样本进行编码的步骤，直到所述初始编码器、所述初始源域解码器和所述初始目标域解码器满足训练终止条件时，输出训练得到的所述自编码网络，并将所述自编码网络存储在所述电子设备中；

配置初始循环生成对抗网络，所述初始循环生成对抗网络包括源域到目标域的第一初始生成网络和第一初始判别网络以及目标域到源域的第二初始生成网络和第二初始判别网络；通过所述第一初始生成网络对输入的所述自编码网络的编码器对源域图像样本进行编码后得到的源域隐空间编码进行处理，得到第一目标域隐空间编码，并通过所述第二初始生成网络对所述第一目标域隐空间编码进行处理，得到第一源域隐空间编码；通过所述第二初始生成网络对输入的所述自编码网络的编码器对目标域图像样本进行编码后得到的目标域隐空间编码进行处理，得到第二源域隐空间编码，并通过所述第一初始生成网络对所述第二源域隐空间编码进行处理，得到第二目标域隐空间编码；根据所述第一源域隐空间编码、所述第二源域隐空间编码、所述第一目标域隐空间编码以及所述第二目标域隐空间编码训练所述初始循环生成对抗网络，得到所述循环生成对抗网络，并将所述循环生成对抗网络存储在所述电子设备中。

6.一种电子设备，其特征在于，所述电子设备包括一个或多个存储介质和一个或多个与存储介质通信的处理器，一个或多个存储介质存储有处理器可执行的机器可执行指令，当电子设备运行时，所述处理器执行所述机器可执行指令，以实现权利要求1-4中任意一项所述的图像转换方法。

7.一种可读存储介质，其特征在于，所述可读存储介质存储有机器可执行指令，所述机器可执行指令被执行时实现权利要求1-4中任意一项所述的图像转换方法。

Images