CN110458750A - 一种基于对偶学习的无监督图像风格迁移方法 - Google Patents

Abstract

本发明涉及一种基于对偶学***衡技术，自适应地调节模型不同风格迁移方向上的收敛速度；最后应用S_T对输入图像进行风格迁移。对比现有方法，本发明能生成更高质量的目标图像，具有良好的普适性，同时使模型的训练过程更加稳定，网络结构的选择和设计更加灵活。

Description

一种基于对偶学习的无监督图像风格迁移方法

技术领域

本发明设计一种基于对偶学习的无监督图像风格迁移方法，尤其涉及一种基于被称作生成对抗网络、运用多种损失函数训练来进行无监督图像风格迁移的方法，属于计算机视觉技术领域。

背景技术

随着人工智能时代深入，大量的图像应用如雨后春笋般涌现，代表之一就是主打滤镜功能的各种图像美化App，而滤镜功能的关键技术就是图像风格迁移。

图像风格迁移，是指把原图像转换为另一种风格的图像，同时保持图像主体内容不变，比如不同季节风景的转换，不同绘画风格的转换等。基于神经网络的无监督图像风格迁移，是指模型结构使用神经网络，但训练时采用无标签数据，具体实现通常采用生成对抗网络；无监督学习主要是为了应对缺乏大量标注样本的难题。

一些研究人员已经对无监督图像风格迁移进行了部分尝试，通常采用生成对抗网络的形式。但是，单独基于对抗网络的方法得到风格迁移图像往往存在噪点较多、局部畸变等缺点。

发明内容

本发明的目的是克服现有技术的不足，提出一种基于对偶学习的无监督图像风格迁移方法，能够获得更加清晰真实的风格迁移图像。

本发明的目的是通过以下技术方案实现的。

一种基于对偶学习的无监督图像风格迁移方法：包括：

步骤1：预处理训练数据；

准备两种风格的一定数目的图像作为训练数据；将训练数据集中所有图像统一缩放为m×n的固定尺寸；其中，m和n为自然数；

作为优选，m＝n＝256。

步骤2：设计网络结构模型；

网络结构模型共包含五个网络：风格迁移网络G_A、G_B，判别网络D_A、D_B，美学评分网络N_s；

其中，G_A、G_B具有相同的网络结构，分别用于不同方向的图像风格迁移；D_A、D_B具有相同的网络结构，分别判断不同风格的某图像是否真实；N_s是预训练的美学评分模型，作为整个网络的插件使用，本身不参与更新；整个模型由端到端训练的深度卷积神经网络构成；

对于A风格原始图像a₀，首先经G_B生成B风格生成图像b₁，再经G_A生成A风格重建图像a₂；对于B风格原始图像b₀，首先经G_A生成A风格生成图像a₁，再经G_B生成B风格重建图像b₂；

步骤3：设计用于训练网络的损失函数；

采用多种损失函数相结合，网络的损失函数包含四部分：对抗损失L_adv、美学损失L_aes、对偶一致性损失L_dual、风格平衡损失L_style；整体损失函数Loss为：

Loss＝L_adv+λ₁L_aes+λ₂L_dual+λ₃L_style

其中，λ₁、λ₂、λ₃分别表示美学损失L_aes、对偶一致性损失L_dual、风格平衡损失L_style的权重；

对抗损失L_adv使用最小二乘损失，对于D_A和G_A，分别表示如下：

对于D_B和G_B，则分别表示如下：

其中，D_A(·)表示判别网络D_A对图像·的判别结果，D_B(·)表示判别网络D_B对图像·的判别结果；G_A(·)表示图像·经过风格迁移网络G_A转换后的结果，G_B(·)表示图像·经过风格迁移网络G_B转换后的结果；表示·关于a₀的数学期望，表示·关于b₀的数学期望。

美学损失L_aes通过美学模型进行计算，表示如下：

其中，K是自然数，N_s分别给出评分为1-K分的概率，p_i表示评分为i的概率；美学损失通过最大化生成图像的美学评分期望，指导风格迁移网络的训练，以消除图像噪点和畸变；

对偶一致性损失L_dual同时使用基本像素特征和高级语义特征，并进行一阶范式约束(以下简称L₁约束)，用于约束风格迁移后的图像与原图像在内容上有对应关系，表示如下：

L_dual＝θ_pL_p+θ_sL_s

其中，L_p、L_s分别表示基本像素特征的L₁约束和来自判别网络的高级语义特征的L₁约束，θ_p、θ_s用于动态调整像素约束和语义约束的权重；

像素约束L_p表示如下：

语义约束L_s表示如下：

其中，||·||₁表示·的L₁约束；

风格平衡损失L_style主要用于平衡不同方向上的训练速度，以保证联合训练时的模型可以取得较好的效果；对于风格迁移网络，表示如下：

其中，分别表示G_A,G_B的对抗损失；

对于判别网络，表示如下：

其中，分别表示D_A,D_B的对抗损失；

步骤4：用步骤1的预处理训练数据、步骤3的损失函数，训练步骤2的网络模型得到无监督图像风格迁移网络S_T；

作为优选，本步骤通过以下过程实现：

Step1：初始化模型参数，将风格迁移网络G_A、G_B和网络判别器D_A、D_B的参数进行高斯分布初始化，使用预处理训练数据集开始训练；

Step2：将生成图像输入到判别网络D_A、D_B，计算对抗损失L_adv；

Step3：计算重建图像与原始图像的对偶一致性损失L_dual；

Step4：将生成图像不经缩放直接输入美学模型N_S，计算美学损失L_aes；

Step5：计算整个模型的风格平衡损失L_style；

Step6：按步骤3的整体损失函数Loss进行计算，得到最终的损失函数，然后反向传播计算梯度，并更新风格迁移网络与判别网络的参数值，同时保持美学模型的参数值始终不变；

Step7：重复Step2-Step6，直到损失函数趋于稳定。

针对每个数据集，采用无监督方式，经过上述端到端训练后，得到一个无监督图像风格迁移模型S_T；

步骤5：进行风格迁移应用，将待转换图像输入步骤4得到的风格迁移网络S_T，得到风格迁移后的图像。

有益效果

本发明方法，与现有技术相比，具有以下有益效果：

本发明引入了美学评分模型，通过最大化美学质量评分，能够更有效地消除图像噪点与图像畸变。

本发明针重新定义了对偶一致性约束，动态调整像素特征与语义特征的权重，可以加速风格迁移模型的收敛，生成更高质量的风格迁移图像。

本发明使用风格平衡技术，可以自适应调节模型不同风格迁移方向上的收敛速度，极大的提高模型的稳定性，使模型的网络结构选择和设计更加灵活。

本发明在多个数据集上的效果均比较理想，具有良好的普适性。

附图说明

图1为本发明方法的工作流程图；

图2为本发明方法的整体网络架构图；

图3为本发明方法的普通卷积单元CIR；

图4为本发明方法的残差块单元ResBlock；

图5为本发明方法的普通转置卷积单元DIR。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明

实施例

本实施例为无监督图像风格迁移模型的整体流程和网络结构。

一种基于对偶学习的无监督图像风格迁移方法，如图1所示，包括以下步骤：

步骤1：预处理训练数据。在公共数据集上获取高分辨率图像，作为训练数据；训练数据集中包含多张不同尺寸的图片，为方便网络结构设计，减少计算量，首先忽略原图像的长宽比例，统一缩放为284×284的尺寸；为弥补训练数据量不足的问题，在缩放图像上随机裁剪出256×256的区域，以实现数据增强；采用此一尺寸是为了方便模型运算时内部的多次下采样操作(每进行一次下采样，图像尺寸都会减半，因此只有奇数尺寸图像可以下采样；而256x256可以保证经过多次下采样后，图像尺寸依然不会变成奇数)。

步骤2：设计网络结构模型。如图2所示，网络的输入分别为A风格原始图像a₀和B风格原始图像b₀，输出分别为风格迁移后的B风格生成图像b₁和A风格生成图像a₁；在训练阶段，还需要使用A风格重建图像a₂和B风格重建图像b₂。在训练阶段，生成图像a₁、b₁除输入各自风格的判别网络D_A、D_B进行对抗训练外，还输入美学评分模型N_S，通过最大化N_S的美学质量评分，指导风格迁移网络G_A、G_B的训练。

图3、图4、图5分别展示了普通卷积单元CIR、残差块单元ResBlock、普通转置卷积单元DIR的实现细节，主要包括卷积Conv、实例归一化InstanceNorm、转置卷积Deconv和激活函数ReLU。

表1、表2分别展示了风格迁移网络和判别网络的网络结构，风格迁移网络主要由卷积模块、特征提取模块、输出模块、双曲正切激活层Tanh构成，其中，卷积模块是多个普通卷积单元CIR的堆叠，主要用于初步特征提取及特征图降维；特征提取模块是多个相同尺度残差块ResBlock的堆叠，主要用于高效特征提取；输出模块是多个转置卷积单元DIR的堆叠，主要用于生成目标风格的图像。K、M、N表示卷积核尺寸、输入通道数、输出通道数；H、W、C表示特征图高、宽、通道数。判别网络使用分块网络，输出是一个32×32的矩阵，分别表示每一块属于真实样本的标签。

美学评分模型使用基于MobileNet的NIMA模型，评分类别数K＝10。

表1

操作	卷积核(KKMN)	输入(HWC)	输出(HWC)
				CIR	7×7×3×64	256×256×3	256×256×64
CIR	3×3×64×128	256×256×64	128×128×128
				CIR	3×3×128×256	128×128×128	64×64×256
9×ResBlock	3×3×256×256	64×64×256	64×64×256
				DIR	3×3×256×128	64×64×256	128×128×128
DIR	3×3×128×64	128×128×128	256×256×64
				Conv	7×7×64×3	256×256×64	256×256×3
Tanh	N/A	256×256×3	256×256×3

表2

步骤3：设计用于训练网络的损失函数。包括对抗损失L_adv、美学损失L_aes、对偶一致性损失L_dual、风格平衡损失L_style；整体损失函数Loss是上述四项损失的加权，即：

Loss＝L_adv+λ₁L_aes+λ₂L_dual+λ₃L_style

其中λ₁从0.0线性递增至0.5，λ₂固定为10，λ₃固定为1；在计算L_dual时，像素约束权重θ_p从0.6线性减小至0.4，语义约束权重θ_s从0.4线性递增至0.6。

具体的，对抗损失L_adv采用最小二乘损失，用于激励生成图像尽量接近真实图像；对抗损失用于生成对抗网络的对抗训练，是模型最基本的损失函数；美学损失L_aes最大化生成图像的美学质量评分数学期望，用于消除图像噪点与畸变；对偶一致性损失L_dual是原始图像与重建图像的像素特征、语义特征的L₁范式约束加权，用于保证风格迁移后的图像与原图像存在内容上的对应关系；风格平衡损失L_style总是等于A风格对抗损失与B风格对抗损失中的较大值，通过额外的参数更新幅度来维持不同风格迁移方向的收敛速度。

步骤4：用步骤1的预处理训练数据、步骤3的损失函数，端到端地训练步骤2的网络模型；具体步骤如下：

Step1：初始化模型参数，将网络G_A、G_B和网络D_A、D_B的参数进行高斯分布初始化(均值为0，方差为0.01)，使用两千张图片的训练数据集，进行固定尺寸缩放并进行随机裁剪，用于训练无监督图像风格迁移网络；

Step2：考虑到显存消耗，每次将1～2张图像输入到风格迁移网络S_T，将生成图像输入到判别网络D_A、D_B，计算对抗损失L_adv；

Step3：计算重建图像与原始图像的对偶一致性损失L_dual；

Step4：将生成图像不经缩放直接输入NIMA美学模型，计算美学损失L_aes；

Step5：计算整个模型的风格平衡损失L_style；

Step6：按步骤3的整体损失函数Loss进行计算，得到最终的损失函数，然后使用Adam反向传播梯度并更新风格迁移网络和判别网络的参数，Adam的一阶矩系数设置为0.5，二阶矩系数设置为0.99，同时保持美学模型的参数值始终不变；

Step7：重复Step2-Step6，直到损失函数趋于稳定。

针对每个数据集，采用无监督方式，经过上述端到端训练后，得到一个无监督图像风格迁移模型S_T；

步骤5：进行风格迁移应用，将待转换图像输入步骤4得到的风格迁移网络S_T，得到风格迁移后的图像。

本发明方法在apple2orange、summer2winter_yosemite等数据集上，风格迁移网络S_T都有良好的迁移效果；在保持图像主体内容不变的前提下，通过色彩、纹理等的变换，可以实现不同风格的图像之间的风格迁移。

为了说明本发明的内容及实施方法，本说明书给出了上述具体实施例。但是，本领域技术人员应理解，本发明不局限于上述最佳实施方式，任何人在本发明的启示下都可得出其他各种形式的产品，但不论在其形状或结构上作任何变化，凡是具有与本申请相同或相近似的技术方案，均落在本发明的保护范围之内。

Claims (3)

1.一种基于对偶学习的无监督图像风格迁移方法，其特征在于，包括以下步骤：

步骤1：预处理训练数据；

准备两种风格的一定数目的图像作为训练数据；将训练数据集中所有图像统一缩放为m×n的固定尺寸；其中，m和n为自然数；

步骤2：设计网络结构模型；

网络结构模型共包含五个网络：风格迁移网络G_A、G_B，判别网络D_A、D_B，美学评分网络N_s；

其中，G_A、G_B具有相同的网络结构，分别用于不同方向的图像风格迁移；D_A、D_B具有相同的网络结构，分别判断不同风格的某图像是否真实；N_s是预训练的美学评分模型，作为整个网络的插件使用，本身不参与更新；整个模型由端到端训练的深度卷积神经网络构成；

对于A风格原始图像a₀，首先经G_B生成B风格生成图像b₁，再经G_A生成A风格重建图像a₂；对于B风格原始图像b₀，首先经G_A生成A风格生成图像a₁，再经G_B生成B风格重建图像b₂；

步骤3：设计用于训练网络的损失函数；

采用多种损失函数相结合，网络的损失函数包含四部分：对抗损失L_adv、美学损失L_aes、对偶一致性损失L_dual、风格平衡损失L_style；整体损失函数Loss为：

Loss＝L_adv+λ₁L_aes+λ_2Ldual+λ₃L_style

其中，λ₁、λ₂、λ₃分别表示美学损失L_aes、对偶一致性损失L_dual、风格平衡损失L_style的权重；

对抗损失L_adv使用最小二乘损失，对于D_A和G_A，分别表示如下：

对于D_B和G_B，则分别表示如下：

其中，D_A(·)表示判别网络D_A对图像·的判别结果，D_B(·)表示判别网络D_B对图像·的判别结果；G_A(·)表示图像·经过风格迁移网络G_#转换后的结果，G_B(·)表示图像·经过风格迁移网络G_B转换后的结果；表示·关于a₀的数学期望，表示·关于b₀的数学期望。

美学损失L_aes通过美学模型进行计算，表示如下：

其中，K是自然数，N_s分别给出评分为1-K分的概率，p_i表示评分为i的概率；美学损失通过最大化生成图像的美学评分期望，指导风格迁移网络的训练，以消除图像噪点和畸变；

对偶一致性损失L_dual同时使用基本像素特征和高级语义特征，并进行一阶范式约束，即L₁约束，用于约束风格迁移后的图像与原图像在内容上有对应关系，表示如下：

L_dual＝θ_pL_p+θ_sL_s

其中，L_p、L_s分别表示基本像素特征的L₁约束和来自判别网络的高级语义特征的L₁约束，θ_p、θ_s用于动态调整像素约束和语义约束的权重；

像素约束L_p表示如下：

语义约束L_s表示如下：

其中，||·||₁表示·的L₁约束；

风格平衡损失L_style主要用于平衡不同方向上的训练速度，以保证联合训练时的模型可以取得较好的效果；对于风格迁移网络，表示如下：

其中，分别表示G_A,G_B的对抗损失；

对于判别网络，表示如下：

其中，分别表示D_A,D_B的对抗损失；

步骤4：用步骤1的预处理训练数据、步骤3的损失函数，训练步骤2的网络模型得到无监督图像风格迁移网络S_T；

步骤5：进行风格迁移应用，将待转换图像输入步骤4得到的风格迁移网络S_T，得到风格迁移后的图像。

2.根据权利要求1所述的一种基于对偶学习的无监督图像风格迁移方法，其特征在于，所述m＝n＝256。

3.根据权利要求1或2任一所述的一种基于对偶学习的无监督图像风格迁移方法，其特征在于，步骤3中所述训练的过程如下：

Step1：初始化模型参数，将风格迁移网络G_A、G_B和网络判别器D_A、D_B的参数进行高斯分布初始化，使用预处理训练数据集开始训练；

Step2：将生成图像输入到判别网络D_A、D_B，计算对抗损失L_adv；

Step3：计算重建图像与原始图像的对偶一致性损失L_dual；

Step4：将生成图像不经缩放直接输入美学模型N_S，计算美学损失L_aes；

Step5：计算整个模型的风格平衡损失L_style；

Step6：按步骤3的整体损失函数Loss进行计算，得到最终的损失函数，然后反向传播计算梯度，并更新风格迁移网络与判别网络的参数值，同时保持美学模型的参数值始终不变；

Step7：重复Step2-Step6，直到损失函数趋于稳定。