CN113808008A - 基于Transformer构建生成对抗网络实现妆容迁移的方法 - Google Patents

Abstract

本发明公开了基于Transformer构建生成对抗网络实现妆容迁移的方法，使用Swin‑Transformer block代替ResNet block来作为生成器的特征提取器，并采用与CNN网络相似分层特征表示，因而具有比传统基于ResNet的网络具有更强的风格特征提取能力。同时，为了解决在妆容迁移过程中的空间错位问题，本发明引入注意力机制，通过建立逐像素的对应关系，并通过面部解析蒙版和面部标志来实现对应面部区域特征的有效融合，进而实现有效的妆容迁移。

Description

基于Transformer构建生成对抗网络实现妆容迁移的方法

技术领域

本发明涉及计算机视觉与模式识别的技术领域，尤其涉及到基于Transformer构建生成对抗网络实现妆容迁移的方法。

背景技术

妆容迁移是指将目标图上的妆容风格直接迁移到原图上的技术。虚拟化妆软件在照片或者短视频上尝试将不同的妆容，如口红、眼影、腮红等；在人脸之间进行迁移，逐渐变得越来越受欢迎。将适合的参考图像的化妆风格自然地迁移到未化妆人脸图像上，可以广泛应用于摄影、视频、娱乐和时尚等领域。目前进行人脸妆容迁移的方法可以大致分类为传统的基于数字图像处理的方法和基于深度学习的方法。随着深度学习技术飞速发展，尤其是GANs的提出和不断创新，基于GANs的妆容迁移方法愈发具有传统数字图像处理方法所无法比拟的优势。

图像风格转换：图像风格转换是近几年来的热门话题，研究者尝试把源图像转换为各种风格的图像，例如梵高、艺术、卡通等风格，妆容迁移也是其中一种形式。传统的风格转换可以分为以下三类：(1)基于笔画的渲染；(2)基于区域的技术；(3)基于示例的渲染。随着深度学习的发展，出现了许多基于CNN的模型。然而，这些图像风格转换的方法通常是将图像风格从一个图像域转移到另一个图像域。因此，缺乏局部理解和可控性，因此不能应用于特定面部妆容的迁移。

妆容迁移：CycleGAN是其中一种广泛关注的图像迁移方法，它可以实现两张不成对图片之间的风格转换，但是它不能指定参考图片。PairedCycleGAN进一步引入了一个非对称函数来完成妆容迁移/去除的任务和循环一致性损失的变体，以支持指定妆容图片的妆容迁移。BeautyGlow使用Glow框架将隐特征解构为妆容特征和非妆容特征，然后这些特征重新组合并反转到图像域。BeautyGAN引入了双输入/双输出GAN来同时完成妆容迁移和去除，并通过化妆损失来细化局部细节。局部对抗结构网络(LADN)利用多个重叠的局部鉴别器和非对称损失函数来确保局部细节的一致性。以上方法虽然在某种意义上可以进行妆容迁移，但并没有专门处理源图像和参考图像之间的空间错位问题。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于Transformer构建生成对抗网络实现妆容迁移的方法。

为实现上述目的，本发明所提供的技术方案为：

基于Transformer构建生成对抗网络实现妆容迁移的方法，包括以下步骤：

S1、在互联网上收集照片，形成图片数据集，

S2、把图片数据集中的图片分类为化妆图片和未化妆图片；

S3、对分类好的图片进行预处理；

S4、搭建基于Transformer的妆容迁移网络；

S5、预处理后的图片数据集中，未化妆的图片作为源图，化妆图片作为参考图，用于对步骤S4搭建的基于Transformer的妆容迁移网络进行训练；

S6、将训练好的基于Transformer的妆容迁移网络应用于妆容迁移。

进一步地，所述步骤S3对分类好的图片进行预处理的具体过程包括：

S3-1、裁剪出人脸区域；

S3-2、把裁剪好的人脸妆容图片进行放缩；

S3-3、使用dlib库获取人脸68个面部关键点作为面部标记；

S3-4、使用BiSeNet语义分割网络把人脸分割成眼睛、嘴唇和面部三个区域。

进一步地，搭建的基于Transformer的妆容迁移网络包括有两个输入分支，该两个分支的结构和功能相同，但不共享权重；

每个分支均包括特征提取第一阶段和特征提取第二阶段，而每个阶段均使用两个连续的Swin-Transformer block作为特征提取器。

进一步地，所述两个连续的Swin-Transformer block，计算过程如下：

其中，WMSA为基于窗口的多头自注意力，SWMSA为滑动窗口多头自注意力机制，MLP为多层感知机，LN为层归一化层，

与Z^l分别表示在第l块Swin-Transformer block中WMSA或SWMSA和MLP的特征输出，并且使用了残差结构。

进一步地，搭建的基于Transformer的妆容迁移网络中，损失函数设计如下：

1)对抗损失：

由于源图和参考图两个输入，因此需要使用两个判别器来判断图片是来自源图像域X还是参考图像域Y亦或是生成的图片，故对抗损失为：

其中D_X和D_Y分别表示图像域X和图像域Y的判别器，G()为生成器，G(x,y)表示从X域的图像生成Y域的图像；

2)循环一致性损失：

由于训练数据是不成对的，因此使用无监督的训练方法，故而引入循环一致性损失来约束重构的图片：

3)感知损失：

使用VGG-16的预训练模型，在隐藏层F_l中计算源图与生成图的二范式损失，其中l表示VGG-16的第l层：

4)总损失：

其中，λ_adv，λ_cyc，λ_per为平衡各项损失的超参数。

进一步地，所述步骤S6将训练好的基于Transformer的妆容迁移网络应用于妆容迁移的具体过程如下：

在每个分支中，

对应的源图或参考图作为输入，而输入的图片首先分割成不重叠的小块，每一个小块视为一个token，其特征设置为原始像素RBG值的串联；

然后使用一个线性嵌入层把原始的特征值映射到任意维度C；

接着把数据传递到两个Swin-Transformer Block中进行自注意力计算；线性嵌入层与其后的两个Swin-Transformer Block构成特征提取的第一阶段；

紧跟着，为了实现特征的分层表示，在每一个patch中的小矩阵进行分组然后进行连接，再经过一个线性连接层把维度降低，此时特征空间大小减小一半，与基于卷积的下采样后的特征空间大小相同，下采样层与其后的两个Swin-Transformer Block构成特征提取的第二阶段；

再接着对特征空间进行转换，把一维的特征序列转换成二维的特征矩阵；

然后进行两个分支的特征融合；

最后经过两层反卷积上采样层，把特征融合后的特征映射反转输出为源图迁移了参考图妆容的图片。

进一步地，两个分支的特征融合的具体过程包括：

通过AMM模块计算一个空间注意力矩阵A∈R^HW×HW来指定源图x的像素如何从参考图y的像素进行形变；A_i，j表示源图x的第i个像素与参考图y的第j个像素对应的注意力值；

使用68个面部标记点作为锚点来描述像素x_i的位置相关特征P_i，其通过计算像素x_i与68个面部标记点的坐标差得到：

P_i＝[f(x_i)-f(l₁)，f(x_i)-f(l₂)，...，f(x_i)-f(l₆₈)，

g(x_i)-g(l₁)，g(x_i)-g(l₂)，...，g(x_i)-g(l₆₈)]

其中，f()和g()分别表示像素点的横坐标和纵坐标，l_i表示第i个面部标记点，这些面部标记通过面部标记检测器获得；考虑到图片大小可能不同，把这些位置相关特征P归一化为

为了实现更好的妆容迁移效果，已使用BiSeNet语义分割网络把人脸分割成眼睛、嘴唇和面部三个区域，用v_i和v_j分别表示原图和参考图对应像素点经过两阶特征提取并转换后项相对应的特征值，则空间注意力A_i，j表示为：

其中，ω为相关特征的权重，

和

分别表示x_i和y_i所在的区域，即眼睛、嘴唇和面部，分别用0，1，2表示，θ()为脉冲函数，当

时为1，否则为0；

用γ∈R^1×H×W和β∈R^1×H×W表示从参考图的特征映射V_y∈R^C×H×W分别经过一个1×1卷积层获得的化妆矩阵，然后与A矩阵相乘则得到两个经过空间形变的化妆矩阵：

再把γ′和β′沿通道维度扩充，得到Γ′∈R^C×H×W和B′∈R^C×H×W，再应用到源图的特征映射V_x∈R^C×H×W上，则得到特征融合后的特征映射V′_x：

V′_x＝Γ′V_x+B′。

与现有技术相比，本方案原理及优点如下：

本方案使用Swin-Transformer block代替ResNet block来作为生成器的特征提取器，并采用与CNN网络相似分层特征表示，因而具有比传统基于ResNet的网络具有更强的风格特征提取能力。同时，为了解决在妆容迁移过程中的空间错位问题，本方案引入注意力机制，通过建立逐像素的对应关系，并通过面部解析蒙版和面部标志来实现对应面部区域特征的有效融合，进而实现有效的妆容迁移。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的服务作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为基于Transformer的妆容迁移网络的结构示意图；

图2为为两个连续swin-Transformer block的网络结构示意图；

图3为AMM模块的结构示意图。

具体实施方式

下面结合具体实施例对本发明作进一步说明：

本实施例所述的基于Transformer构建生成对抗网络实现妆容迁移的方法，包括以下步骤：

S1、在互联网上收集照片，形成图片数据集，

S2、把图片数据集中的图片分类为化妆图片和未化妆图片；

S3、对分类好的图片进行预处理，过程如下：

S3-1、裁剪出人脸区域；

S3-2、把裁剪好的人脸妆容图片进行放缩；

S3-3、使用dlib库获取人脸68个面部关键点作为面部标记；

S3-4、使用BiSeNet语义分割网络把人脸分割成眼睛、嘴唇和面部三个区域。

S4、搭建基于Transformer的妆容迁移网络；

结构如图1所示，该基于Transformer的妆容迁移网络包括有两个输入分支，该两个分支的结构和功能相同，但不共享权重；

每个分支均包括特征提取第一阶段和特征提取第二阶段，而每个阶段均使用两个连续的Swin-Transformer block作为特征提取器，如图2所示。

两个连续的Swin-Transformer block，计算过程如下：

其中，WMSA为基于窗口的多头自注意力，SWMSA为滑动窗口多头自注意力机制，MLP为多层感知机，LN为层归一化层，

与Z^l分别表示在第l块Swin-Transformer block中WMSA或SWMSA和MLP的特征输出，并且使用了残差结构。

而搭建的基于Transformer的妆容迁移网络中，损失函数设计如下：

1)对抗损失：

由于源图和参考图两个输入，因此需要使用两个判别器来判断图片是来自源图像域X还是参考图像域Y亦或是生成的图片，故对抗损失为：

其中D_X和D_Y分别表示图像域X和图像域Y的判别器，G()为生成器，G(x,y)表示从X域的图像生成Y域的图像；

2)循环一致性损失：

由于训练数据是不成对的，因此使用无监督的训练方法，故而引入循环一致性损失来约束重构的图片：

3)感知损失：

使用VGG-16的预训练模型，在隐藏层F_l中计算源图与生成图的二范式损失，其中l表示VGG-16的第l层：

4)总损失：

其中，λ_adv，λ_cyc，λ_per为平衡各项损失的超参数。

S5、预处理后的图片数据集中，未化妆的图片作为源图，化妆图片作为参考图，用于对步骤S4搭建的基于Transformer的妆容迁移网络进行训练；

S6、将训练好的基于Transformer的妆容迁移网络应用于妆容迁移。

妆容迁移的具体过程如下：

在每个分支中，

因为Transformer源自自然语言处理领域，它的输入数据是一维的串行token，并且需要进行embedding操作，因而不能直接把二维的图片数据作为输入。为此，本实施例输入的图片首先分割成不重叠的小块，每一个小块视为一个token，其特征设置为原始像素RBG值的串联；在实现中，把小块的大小设置为4×4,因此每个patch的特征维度为4×4×3＝48；

然后使用一个线性嵌入层把原始的特征值映射到任意维度C，本实施例把C设置为96；

接着把数据传递到两个Swin-Transformer Block中进行自注意力计算；线性嵌入层与其后的两个Swin-Transformer Block构成特征提取的第一阶段；此时特征空间为

为了实现特征的分层表示，即随着网络层数的加深token数量减少而维度增大，在每一个patch中2×2的小矩阵进行分组然后进行连接，则维度变成4C，token数量变为

再经过一个线性连接层把维度降为2C，此时特征空间大小减小一半，为

与基于卷积的下采样后的特征空间大小相同，下采样层与其后的两个Swin-Transformer Block构成特征提取的第二阶段；

再接着对特征空间进行转换，把一维的特征序列转换成二维的特征矩阵，然后进行两个分支的特征融合；

两个分支的特征融合的具体过程包括：

由于源图片和参考图片的姿势和表情可能会存在较大的差异，因此通过前面步骤获得的两个输入分支的特征会存在空间错位。

为此，本实施例通过如图3所示的AMM模块计算一个空间注意力矩阵A∈R^HW×HW来指定源图x的像素如何从参考图y的像素进行形变；A_i，j表示源图x的第i个像素与参考图y的第j个像素对应的注意力值；

使用68个面部标记点作为锚点来描述像素x_i的位置相关特征P_i，其通过计算像素x_i与68个面部标记点的坐标差得到：

P_i＝[f(x_i)-f(l₁)，f(x_i)-f(l₂)，...，f(x_i)-f(l₆₈)，

g(x_i)-g(l₁)，g(x_i)-g(l₂)，...，g(x_i)-g(l₆₈)]

其中，f()和g()分别表示像素点的横坐标和纵坐标，l_i表示第i个面部标记点，这些面部标记通过面部标记检测器获得；考虑到图片大小可能不同，把这些位置相关特征P归一化为

为了实现更好的妆容迁移效果，已使用BiSeNet语义分割网络把人脸分割成眼睛、嘴唇和面部三个区域，用v_i和v_j分别表示原图和参考图对应像素点经过两阶特征提取并转换后项相对应的特征值，则空间注意力A_i，j表示为：

其中，ω为相关特征的权重，

和

分别表示x_i和y_i所在的区域，即眼睛、嘴唇和面部，分别用0，1，2表示，θ()为脉冲函数，当

时为1，否则为0；

用γ∈R^1×H×W和β∈R^1×H×W表示从参考图的特征映射V_y∈R^C×H×W分别经过一个1×1卷积层获得的化妆矩阵，然后与A矩阵相乘则得到两个经过空间形变的化妆矩阵：

再把γ′和β′沿通道维度扩充，得到Γ′∈R^C×H×W和B′∈R^C×H×W，再应用到源图的特征映射V_x∈R^C×H×W上，则得到特征融合后的特征映射V′_x：

V′_x＝Γ′V_x+B′。

以上所述之实施例子只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (7)

1.基于Transformer构建生成对抗网络实现妆容迁移的方法，其特征在于，包括以下步骤：

S1、在互联网上收集照片，形成图片数据集，

S2、把图片数据集中的图片分类为化妆图片和未化妆图片；

S3、对分类好的图片进行预处理；

S4、搭建基于Transformer的妆容迁移网络；

S5、预处理后的图片数据集中，未化妆的图片作为源图，化妆图片作为参考图，用于对步骤S4搭建的基于Transformer的妆容迁移网络进行训练；

S6、将训练好的基于Transformer的妆容迁移网络应用于妆容迁移。

2.根据权利要求1所述的基于Transformer构建生成对抗网络实现妆容迁移的方法，其特征在于，所述步骤S3对分类好的图片进行预处理的具体过程包括：

S3-1、裁剪出人脸区域；

S3-2、把裁剪好的人脸妆容图片进行放缩；

S3-3、使用dlib库获取人脸68个面部关键点作为面部标记；

S3-4、使用BiSeNet语义分割网络把人脸分割成眼睛、嘴唇和面部三个区域。

3.根据权利要求2所述的基于Transformer构建生成对抗网络实现妆容迁移的方法，其特征在于，搭建的基于Transformer的妆容迁移网络包括有两个输入分支，该两个分支的结构和功能相同，但不共享权重；

每个分支均包括特征提取第一阶段和特征提取第二阶段，而每个阶段均使用两个连续的Swin-Transformer block作为特征提取器。

4.根据权利要求3所述的基于Transformer构建生成对抗网络实现妆容迁移的方法，其特征在于，所述两个连续的Swin-Transformer block，计算过程如下：

其中，WMSA为基于窗口的多头自注意力，SWMSA为滑动窗口多头自注意力机制，MLP为多层感知机，LN为层归一化层，

与Z^l分别表示在第l块Swin-Transformer block中WMSA或SWMSA和MLP的特征输出，并且使用了残差结构。

5.根据权利要求4所述的基于Transformer构建生成对抗网络实现妆容迁移的方法，其特征在于，搭建的基于Transformer的妆容迁移网络中，损失函数设计如下：

1)对抗损失：

由于源图和参考图两个输入，因此需要使用两个判别器来判断图片是来自源图像域X还是参考图像域Y亦或是生成的图片，故对抗损失为：

其中D_X和D_Y分别表示图像域X和图像域Y的判别器，G()为生成器，G(x,y)表示从X域的图像生成Y域的图像；

2)循环一致性损失：

由于训练数据是不成对的，因此使用无监督的训练方法，故而引入循环一致性损失来约束重构的图片：

3)感知损失：

使用VGG-16的预训练模型，在隐藏层F_l中计算源图与生成图的二范式损失，其中l表示VGG-16的第l层：

4)总损失：

其中，λ_adv，λ_cyc，λ_per为平衡各项损失的超参数。

6.根据权利要求5所述的基于Transformer构建生成对抗网络实现妆容迁移的方法，其特征在于，所述步骤S6将训练好的基于Transformer的妆容迁移网络应用于妆容迁移的具体过程如下：

在每个分支中，

对应的源图或参考图作为输入，而输入的图片首先分割成不重叠的小块，每一个小块视为一个token，其特征设置为原始像素RBG值的串联；

然后使用一个线性嵌入层把原始的特征值映射到任意维度C；

接着把数据传递到两个Swin-Transformer Block中进行自注意力计算；线性嵌入层与其后的两个Swin-Transformer Block构成特征提取的第一阶段；

紧跟着，为了实现特征的分层表示，在每一个patch中的小矩阵进行分组然后进行连接，再经过一个线性连接层把维度降低，此时特征空间大小减小一半，与基于卷积的下采样后的特征空间大小相同，下采样层与其后的两个Swin-Transformer Block构成特征提取的第二阶段；

再接着对特征空间进行转换，把一维的特征序列转换成二维的特征矩阵；

然后进行两个分支的特征融合；

最后经过两层反卷积上采样层，把特征融合后的特征映射反转输出为源图迁移了参考图妆容的图片。

7.根据权利要求6所述的基于Transformer构建生成对抗网络实现妆容迁移的方法，其特征在于，两个分支的特征融合的具体过程包括：

通过AMM模块计算一个空间注意力矩阵A∈R^HW×HW来指定源图x的像素如何从参考图y的像素进行形变；A_i，j表示源图x的第i个像素与参考图y的第j个像素对应的注意力值；

使用68个面部标记点作为锚点来描述像素x_i的位置相关特征P_i，其通过计算像素x_i与68个面部标记点的坐标差得到：

P_i＝[f(x_i)-f(l₁)，f(x_i)-f(l₂)，...，f(x_i)-f(l₆₈)，g(x_i)-g(l₁)，g(x_i)-g(l₂)，...，g(x_i)-g(l₆₈)]

其中，f()和g()分别表示像素点的横坐标和纵坐标，l_i表示第i个面部标记点，这些面部标记通过面部标记检测器获得；考虑到图片大小可能不同，把这些位置相关特征P归一化为

为了实现更好的妆容迁移效果，已使用BiSeNet语义分割网络把人脸分割成眼睛、嘴唇和面部三个区域，用v_i和v_j分别表示原图和参考图对应像素点经过两阶特征提取并转换后项相对应的特征值，则空间注意力A_i，j表示为：

其中，ω为相关特征的权重，

和

分别表示x_i和y_j所在的区域，即眼睛、嘴唇和面部，分别用0，1，2表示，θ()为脉冲函数，当

时为1，否则为0；

用γ∈R^1×H×W和β∈R^1×H×W表示从参考图的特征映射V_y∈R^C×H×W分别经过一个1×1卷积层获得的化妆矩阵，然后与A矩阵相乘则得到两个经过空间形变的化妆矩阵：

再把γ′和β′沿通道维度扩充，得到Γ′∈R^C×H×W和B′∈R^C×H×W，再应用到源图的特征映射V_x∈R^C×H×W上，则得到特征融合后的特征映射V′_x：

V′_x＝Γ′V_x+B′。

Images