CN112991484A - 智能人脸编辑方法、装置、存储介质及设备 - Google Patents

智能人脸编辑方法、装置、存储介质及设备 Download PDF

Info

Publication number
CN112991484A
CN112991484A CN202110466411.XA CN202110466411A CN112991484A CN 112991484 A CN112991484 A CN 112991484A CN 202110466411 A CN202110466411 A CN 202110466411A CN 112991484 A CN112991484 A CN 112991484A
Authority
CN
China
Prior art keywords
image
geometric
face
appearance
local
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110466411.XA
Other languages
English (en)
Other versions
CN112991484B (zh
Inventor
高林
陈姝宇
刘锋林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute Of Digital Economy Industry Institute Of Computing Technology Chinese Academy Of Sciences
Original Assignee
Institute Of Digital Economy Industry Institute Of Computing Technology Chinese Academy Of Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute Of Digital Economy Industry Institute Of Computing Technology Chinese Academy Of Sciences filed Critical Institute Of Digital Economy Industry Institute Of Computing Technology Chinese Academy Of Sciences
Priority to CN202110466411.XA priority Critical patent/CN112991484B/zh
Publication of CN112991484A publication Critical patent/CN112991484A/zh
Application granted granted Critical
Publication of CN112991484B publication Critical patent/CN112991484B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种智能人脸编辑方法、装置、存储介质及设备。适用于计算机视觉、计算机图形学领域。提供一种智能人脸编辑方法、装置、存储介质及设备。本发明所采用的技术方案是：一种智能人脸编辑方法，其特征在于：将人脸几何特征图像和人脸外观特征图像根据人脸部位输入相应的、经训练的局部解耦模块，提取人脸各部位对应的几何特征和外观特征；局部解耦模块基于几何特征和外观特征生成人脸各部位对应的局部图像及局部中间特征图；通过经训练的全局融合模块将人脸各部位对应的局部中间特征图融合生成具有所述几何特征和外观特征的最终人脸图像。

Description

智能人脸编辑方法、装置、存储介质及设备
技术领域
本发明涉及一种智能人脸编辑方法、装置、存储介质及设备。适用于计算机视觉、计算机图形学领域。
背景技术
人脸合成技术是数字图像处理领域重要的课题之一，围绕高质量人脸合成有许多相关技术。基于深度学习的人脸合成技术主要有以下两类：通过高斯采样，使用生成式对抗网络（GAN），合成新的人脸；使用条件生成式对抗网络，输入语义标记图、草图、属性标签等信息，合成相应的人脸。通过草图合成真实人脸虽然已有许多技术，但是其大多无法控制生成的人脸的外观，或者人脸合成的效果较差。
对于人脸编辑，一些现有技术使用带标签的人脸属性标记数据，对GAN的隐空间进行解耦。通过操作隐空间的投影编码，对人脸属性进行编辑。但是，这些技术只能编辑特定属性，无法修改属性标签以外的内容，自由度较低。一些技术使用语义标记图编辑人脸，但由于其输入缺少几何信息，因此无法编辑如皱纹、发型走向等人脸几何信息。一些技术使用草图编辑人脸，但是其基于图像补全技术，有较多局限性。
Portenier等人于2018年发表于ACM Transactions on Graphics的“Faceshop:Deep Sketch-Based Face Image Editing”中提出了基于草图的人脸编辑***，使用遮盖标记、草图、颜色笔触，对人脸进行编辑。Jo等人于2019年发表于Proceedings of theIEEE/CVF International Conference on Computer Vision的“SC-FEGAN: Face EditingGenerative Adversarial Network With User’s Sketch and Color.”使用了风格损失，生成了更高质量、更鲁棒的结果。但是，现有技术无法编辑人脸的整体外观，当以纯草图作为输入时，也无法生成真实逼真的人脸。
发明内容
本发明要解决的技术问题是：针对上述存在的问题，提供一种智能人脸编辑方法、装置、存储介质及设备。
本发明所采用的技术方案是：一种智能人脸编辑方法，其特征在于：
将人脸几何特征图像和人脸外观特征图像根据人脸部位输入相应的、经训练的局部解耦模块，提取人脸各部位对应的几何特征和外观特征；
局部解耦模块基于几何特征和外观特征生成人脸各部位对应的局部图像及局部中间特征图；
通过经训练的全局融合模块将人脸各部位对应的局部中间特征图融合生成具有所述几何特征和外观特征的最终人脸图像。
所述几何特征图像为人脸草图或人脸真实图像，所述局部解耦模块包括草图编码器
Figure 108685DEST_PATH_IMAGE001
、图像编码器
Figure 760246DEST_PATH_IMAGE002
、外观编码器
Figure 274404DEST_PATH_IMAGE003
和图像合成生成器
Figure 669613DEST_PATH_IMAGE004
；
所述从几何特征图像中提取人脸各部位对应的几何特征，包括：
训练由草图编码器
Figure 218406DEST_PATH_IMAGE005
和草图解码器
Figure 40869DEST_PATH_IMAGE006
组成的网络，瓶颈层中的隐空间是维度为
Figure 42323DEST_PATH_IMAGE007
的低分辨率特征图，其中
Figure 241223DEST_PATH_IMAGE008
、
Figure 893790DEST_PATH_IMAGE009
和
Figure 887154DEST_PATH_IMAGE010
是几何特征图的高度、宽度和通道数；
令
Figure 375904DEST_PATH_IMAGE011
表示人脸真实图像，而
Figure 112916DEST_PATH_IMAGE012
表示其对应的人脸草图；
通过预训练的草图编码器
Figure 370722DEST_PATH_IMAGE013
，提取
Figure 534987DEST_PATH_IMAGE012
的几何特征，几何特征表示为
Figure 776612DEST_PATH_IMAGE014
；
训练图像编码器
Figure 786157DEST_PATH_IMAGE002
，将相应的人脸真实图像
Figure 429628DEST_PATH_IMAGE011
映射到草图表征的几何隐空间，表示为
Figure 499215DEST_PATH_IMAGE015
。
当
Figure 228136DEST_PATH_IMAGE016
和
Figure 41372DEST_PATH_IMAGE017
输入预训练的解码器
Figure 539349DEST_PATH_IMAGE018
时，算法对
Figure 45417DEST_PATH_IMAGE018
的每一层都施加约束，同时也在最终输出
Figure 996055DEST_PATH_IMAGE019
和
Figure 862249DEST_PATH_IMAGE020
之间添加L1损失。
所述局部解耦模块的几何特征提取训练，包括：
首先，训练
Figure 949154DEST_PATH_IMAGE005
和
Figure 891702DEST_PATH_IMAGE006
，使用L1重建损失函数学习草图的几何隐空间，一旦
Figure 64057DEST_PATH_IMAGE005
经过训练，将几何特征表示为
Figure 484674DEST_PATH_IMAGE021
；
然后训练网络
Figure 691665DEST_PATH_IMAGE002
，以人脸真实图像
Figure 805114DEST_PATH_IMAGE011
作为输入，并预测几何特征
Figure 464766DEST_PATH_IMAGE022
，使其遵循与学习的几何空间相同的分布，损失函数定义如下：
Figure 689074DEST_PATH_IMAGE024
其中，N是解码器
Figure 484991DEST_PATH_IMAGE006
的层数，索引0对应输入特征图，索引N对应输出图像，其他索引是中间特征图。
所述外观编码器
Figure 503763DEST_PATH_IMAGE003
利用全局平均池化，消除人脸外观特征图像上的空间信息并提取与几何特征无关的外观特征。
所述外观编码器及图像合成生成器采用交换训练策略；
使用人脸几何特征图像
Figure 916290DEST_PATH_IMAGE025
的几何特征
Figure 678709DEST_PATH_IMAGE026
与人脸外观特征图像
Figure 860292DEST_PATH_IMAGE027
的外观特征
Figure 33653DEST_PATH_IMAGE028
，生成图像
Figure 933476DEST_PATH_IMAGE029
，即
Figure 234007DEST_PATH_IMAGE030
；
使用
Figure 535676DEST_PATH_IMAGE029
的外观特征与
Figure 630671DEST_PATH_IMAGE027
的几何特征，循环重建图像
Figure 17790DEST_PATH_IMAGE027
，即
Figure 122012DEST_PATH_IMAGE031
。
采用以下损失函数训练局部解耦模块，包括：
a、自重建损失：
Figure 12608DEST_PATH_IMAGE033
其中：
Figure 544083DEST_PATH_IMAGE034
表示感知损失；
Figure 356181DEST_PATH_IMAGE035
表示鉴别器的特征匹配损失；
Figure 513362DEST_PATH_IMAGE036
表示颜色损失，将图像转换到CIE-Lab颜色空间，通过计算a和b通道中的色度距离来控制色调；a和b通道包含CIE LAB颜色空间中的颜色信息；
Figure 258464DEST_PATH_IMAGE037
、
Figure 226420DEST_PATH_IMAGE038
、
Figure 56973DEST_PATH_IMAGE039
根据经验设置具体参数；
b、循环交换损失：
Figure 768577DEST_PATH_IMAGE040
Figure 368185DEST_PATH_IMAGE041
Figure 241464DEST_PATH_IMAGE042
其中
Figure 824892DEST_PATH_IMAGE043
、
Figure 809028DEST_PATH_IMAGE044
根据经验设置具体参数；
c、对抗损失：
采用多尺度鉴别器D来限制生成图像的分布，以匹配真实图像的分布：
Figure 794302DEST_PATH_IMAGE045
Figure 838481DEST_PATH_IMAGE046
权重值
Figure 909205DEST_PATH_IMAGE047
，
Figure 697033DEST_PATH_IMAGE048
。
一种智能人脸编辑装置，其特征在于，包括：
特征提取单元，用于将人脸几何特征图像和人脸外观特征图像根据人脸部位输入相应的、经训练的局部解耦模块，提取人脸各部位对应的几何特征和外观特征；
图像生成单元，用于局部解耦模块基于几何特征和外观特征生成人脸各部位对应的局部图像及局部中间特征图；
图像融合单元，用于通过经训练的全局融合模块将人脸各部位对应的局部中间特征图融合生成具有所述几何特征和外观特征的最终人脸图像。
一种存储介质，其上存储有能被处理器执行的计算机程序，其特征在于：所述计算机程序被执行时实现所述智能人脸编辑方法的步骤。
一种计算机设备，具有存储器和处理器，存储器上存储有能被处理器执行的计算机程序，其特征在于：所述计算机程序被执行时实现所述智能人脸编辑方法的步骤。
本发明的有益效果是：本发明为基于草图的人脸合成与编辑技术，草图所表征的几何信息较为丰富，可以对人脸几何细节进行控制，其相较于现有技术更为灵活。同时，通过解耦技术，可以替换人脸对应的外观，对肤色、发色等信息进行编辑。
本发明将将人脸分成了左眼、右眼、鼻子、嘴巴、背景五个部分，结合局部解耦模块与全局融合模块，可分别编辑局部几何和外观特征，合成结果在局部细节处质量较高。
本发明中局部解耦模块，将图像和草图编码到同一空间，保证信息的解耦。训练过程中，使用交换操作，组合不同图像的几何和外观，生成中间结果，并对该结果分别进行几何和外观约束，从而可从人脸或真实图像提取几何信息，与其他图像的外观组合生成新的局部合成结果。
本发明中局部解耦模块生成中间特征图，全局融合模块将中间特征图按固定位置拼接，再使用下采样网络、残差网络、上采样网络，通过GAN中判别器与相关损失函数优化网络，融合分块拼接的结果。通过局部解耦模块合成的中间特征图，拼接生成高真实感的人脸。
附图说明
图1为实施例的网络框架结构图（示出了结构化的局部到全局的训练策略，同时示出局部解耦模块的交换、循环重建的训练策略）。
图2为实施例中几何编码器的结构及训练策略示意图（将草图几何和真实图像编码到同一个潜在空间，可以从真实图像和草图中提取几何信息）。
图3为实施例中几何和外观交换的人脸生成结果（第一行提供外观信息，第一列提供几何信息）。
图4为实施例中利用草图进行局部编辑的结果（输入的草图进行了序列化的编辑，***生成了对应的人脸编辑结果，该***为用户提供了较高的自由度和创意性）。
图5为实施例中局部外观编辑的结果（固定图像的几何特征，通过替换眼睛和嘴巴的外观参考图像，生成了局部外观编辑的结果）。
图6为实施例中对几何和外观进行插值的结果（左上角与右下角的图像为真实图像，其余为插值生成结果）。
具体实施方式
如图1所示，本实施例使用图像解耦技术，采用局部到全局的方法，提出一种智能人脸编辑方法。
本例中将人脸分成了5个部分：左眼、右眼、鼻子、嘴巴、背景，在完成图像分块后，设计局部解耦模块分别对每个部分的图像进行解耦特征提取与生成；在获取到每个部分的生成结果后，通过全局融合模块将分块的结果进行拼接融合，得到具有全局一致性的人脸图像结果。
本实施例的网络结构包括了5个局部解耦模块用于解耦几何和外观信息，1个全局融合模块实现局部特征的融合并生成高质量的、具有全局一致性的结果。在网络训练的过程中，使用交换的策略，并设计循环一致的特征约束，保证网络框架的鲁棒性与泛化性。
本实施例中智能人脸编辑方法的具体步骤如下：
1）局部解耦：将人脸几何特征图像（图像中包含人脸的几何特征）和人脸外观特征图像（图像中包含人脸的外观特征）根据人脸部位输入相应的、经训练的局部解耦模块，提取人脸各部位对应的几何特征和外观特征，几何特征图像为人脸草图或人脸真实图像。
几何特征主要包括两方面的内容：1. 外形信息，例如五官的形状、人物脸型、头发长短等；2. 几何细节，即人脸的几何特征的细节的表达，例如人物脸部的皱纹、头发的走向等。
外观特征主要包括三个内容：1. 颜色信息，例如人脸的发色、肤色、唇色等色彩信息；2. 材质信息，即人脸的头发和皮肤的质感，例如皮肤的光滑程度等；3. 光照信息，即光照条件对人脸的明暗的影响，例如光线的亮暗、阴影的变化等信息。在某些情况下，以上因素对外观的影响是相互的，如光照变化可能会影响肤色的表达，外观特征并未对以上每个因素之间做明确的划分。
针对每一个局部分块，局部解耦模块先提取其几何和外观信息，再融合生成局部特征图。因此，局部解耦模块包括几何编码器与外观编码器，分别获取几何和外观特征。
1a）几何编码器：草图是真实图像的单色轮廓，可以提取几何信息。因此，自编码器网络从输入草图直接提取几何信息。从真实图像中直接提取几何特征较为困难，当真实人脸局部图像作为输入时，提取其几何特征的一种直观方法是使用一个预先训练好的图像到草图转换网络将真实图像转换成草图，然后将生成的草图应用到草图的几何编码器中。
为了简化网络，本实施例提出一种从草图和真实图像中提取几何信息的统一方法，通过训练两个自编码器来实现这一点，草图编码器
Figure 536813DEST_PATH_IMAGE005
和图像编码器
Figure 1161DEST_PATH_IMAGE002
，一个用于草图，另一个用于图像。本实施例中将图像空间的隐式分布与草图空间的隐式分布对齐，确保仅对几何信息进行编码。
首先训练由草图编码器
Figure 28023DEST_PATH_IMAGE013
和草图解码器
Figure 885120DEST_PATH_IMAGE018
组成的网络，生成草图的中间特征，如图2所示。为了保留必要的空间信息，瓶颈层中的隐空间不是以向量的形式，而是维度为
Figure 313828DEST_PATH_IMAGE049
的低分辨率特征图，其中
Figure 965389DEST_PATH_IMAGE050
、
Figure 745126DEST_PATH_IMAGE009
和
Figure 140335DEST_PATH_IMAGE010
是几何特征图的高度、宽度和通道数。网络的输入和输出都是草图，该草图既可以是从图像中提取的边缘图，也可以是手绘草图。对于手绘草图，特别是草图绘制过程中的不完整草图，发明人使用了预处理过程中草图流形投影提高***鲁棒性。
令
Figure 892391DEST_PATH_IMAGE011
表示真实的图像，而
Figure 698542DEST_PATH_IMAGE012
表示其对应的草图。通过预训练的
Figure 434416DEST_PATH_IMAGE013
，提取
Figure 633317DEST_PATH_IMAGE012
的几何特征，公式为
Figure 505458DEST_PATH_IMAGE014
。
然后，需要训练编码器
Figure 967663DEST_PATH_IMAGE002
，将相应的图像
Figure 705681DEST_PATH_IMAGE011
映射到草图表征的几何隐空间，表示为
Figure 177113DEST_PATH_IMAGE015
。
为了保证
Figure 434919DEST_PATH_IMAGE016
和
Figure 68026DEST_PATH_IMAGE017
遵循相同的分布，当
Figure 512914DEST_PATH_IMAGE016
和
Figure 49024DEST_PATH_IMAGE017
输入预训练的解码器
Figure 426915DEST_PATH_IMAGE018
时，算法对
Figure 230923DEST_PATH_IMAGE018
的每一层都施加约束，同时也在最终输出
Figure 694266DEST_PATH_IMAGE019
和
Figure 773080DEST_PATH_IMAGE020
之间添加L1损失。
1b）外观编码器：外观是人脸图像的另一个重要属性。人脸几何草图和真实人脸图像之间的映射是一对多的，通过指定外观，可解决这种模糊性。
本实施例使用外观编码器
Figure 5478DEST_PATH_IMAGE003
提取外观特征，外观编码器
Figure 245967DEST_PATH_IMAGE003
利用全局平均池化（即，对于每个特征通道，取特征图中所有空间位置的平均值），以消除空间信息并提取与几何特征无关的外观特征。
由于外观特征是针对局部区域提取的，因此删除空间信息不会造成有用信息的显著损失。通过对人脸外观和几何特征的插值实验，如图6，证明
Figure 180294DEST_PATH_IMAGE003
可以学习连续的人脸外观空间。
2）图像生成：局部解耦模块基于几何特征和外观特征生成人脸各部位对应的局部图像及局部中间特征图。
局部解耦模块还包括图像合成生成器
Figure 62799DEST_PATH_IMAGE004
，组合同一幅图像或两幅图像（一幅提供几何特征，另一幅提供外观特征）中的几何特征和外观特征，得到转换后的局部图像及中间特征图。
图像合成生成器：输入独立的几何和外观特征，生成重建或几何、外观交换的结果。为了控制生成人脸图像的外观，本实施例在人脸图像合成生成网络中采用了自适应实例归一化（AdaIN）。
本实施例中图像合成生成器包括4个残差块和4个上采样层：首先，将外观特征注入到每个残差块中；然后，通过4次上采样操作得到特征图，每个特征图与输入图像具有相同的分辨率，但有64个通道；最后，通过一个卷积层生成与输入几何和外观特征一致的图像。
3）全局融合：通过经训练的全局融合模块将人脸各部位对应的局部中间特征图融合生成具有所述几何特征和外观特征的最终人脸图像。
为了将局部图像特征图转换成完整且自然的面部图像，一种可行的方法是直接组合局部解耦生成的局部图像块（如图2中生成
Figure 884124DEST_PATH_IMAGE029
的过程）。然而，这种直观方法容易在局部分块的边界显示人工处理痕迹。
本实施例中不是直接组合局部图像块，而是将局部解耦模块生成的中间特征图输入到图像生成网络进行组合，使网络融合了更多的信息流，生成高质量的图像。
本例中全局融合模块包括三个单元：编码器、残差块和解码器。在给定背景部分的特征图的基础上，使用其他分块对应生成的特征图，按“嘴”、“鼻子”、“左眼”和“右眼”的顺序，替换背景特征图中的对应分块，减少分块间重叠的影响。融合后的特征图送入全局融合模块，生成具有输入指定的外观和几何特征的全新人脸。
以下对本实施例中局部解耦模块和全局融合模块的训练过程进行介绍，本例中分步地训练整个网络框架，先训练局部解耦模块，然后固定局部解耦模块的参数，训练全局融合模块。
A-1）训练数据集：本实施例需要大规模的草图与图像相匹配的数据集训练网络。同时，草图图像对中的草图要求有较高质量，与手绘草图相似。传统的边缘提取技术，如HED和Canny，通常无法产生理想的边缘映射。因此，本实施例使用Photoshop中的影印滤镜获得边缘图像，然后简化边缘图像获得草图，构建训练数据集，使用CelebA HQ作为训练数据，图像和草图的分辨率都设置为512×512。
A-2）解耦训练，局部解耦模块的训练过程包括三个步骤：
首先，训练
Figure 295514DEST_PATH_IMAGE005
和
Figure 733449DEST_PATH_IMAGE006
，使用L1重建损失函数学习草图的几何隐空间。一旦
Figure 888487DEST_PATH_IMAGE005
经过训练，就可以将几何特征表示为
Figure 829898DEST_PATH_IMAGE021
。
然后，训练网络
Figure 395877DEST_PATH_IMAGE002
，以真实图像
Figure 321108DEST_PATH_IMAGE011
作为输入，并预测几何特征
Figure 279837DEST_PATH_IMAGE022
，使其遵循与学习的几何空间相同的分布。损失函数定义如下：
Figure 341334DEST_PATH_IMAGE051
其中，N=7是解码器
Figure 625684DEST_PATH_IMAGE006
的层数，索引0对应输入特征图，索引N对应输出图像，其他索引是中间特征图。本例中在优化
Figure 772632DEST_PATH_IMAGE002
的参数时，固定
Figure 269472DEST_PATH_IMAGE005
和
Figure 185476DEST_PATH_IMAGE006
的权重。
固定
Figure 375149DEST_PATH_IMAGE005
和
Figure 274972DEST_PATH_IMAGE002
的权重，训练外观编码器
Figure 824770DEST_PATH_IMAGE003
和图像合成生成器
Figure 860860DEST_PATH_IMAGE004
。
将草图的几何特征
Figure 221434DEST_PATH_IMAGE016
或真实图像的几何特征
Figure 342974DEST_PATH_IMAGE017
随机输入
Figure 181617DEST_PATH_IMAGE004
。在下面的部分中，将
Figure 72212DEST_PATH_IMAGE016
和
Figure 869267DEST_PATH_IMAGE017
都表示为
Figure 212524DEST_PATH_IMAGE016
，而不区分其来源。
本实施例中外观编码器及图像合成生成器采用交换训练策略，并利用循环一致性损失项解耦真实人脸图像的外观和几何结构；还采用多尺度鉴别器和对抗性损失确保生成图像的真实感。
本例中交换训练策略举例说明如下：给定训练集中的两张图像
Figure 386016DEST_PATH_IMAGE025
（
Figure 131118DEST_PATH_IMAGE025
是真实图像或草图（作为人脸几何特征图像））和
Figure 817183DEST_PATH_IMAGE027
（
Figure 647736DEST_PATH_IMAGE027
是真实图像（作为人脸外观特征图像）），如图1所示，通过预训练的
Figure 828182DEST_PATH_IMAGE005
或
Figure 958949DEST_PATH_IMAGE002
从
Figure 832227DEST_PATH_IMAGE025
和
Figure 150075DEST_PATH_IMAGE027
中提取几何特征
Figure 134212DEST_PATH_IMAGE052
和
Figure 119486DEST_PATH_IMAGE053
，利用
Figure 163665DEST_PATH_IMAGE003
从
Figure 968810DEST_PATH_IMAGE054
中提取外观特征。
通过将
Figure 22217DEST_PATH_IMAGE027
的几何特征与
Figure 845685DEST_PATH_IMAGE025
的几何特征交换，使用
Figure 60766DEST_PATH_IMAGE025
的几何特征
Figure 353207DEST_PATH_IMAGE026
与
Figure 944725DEST_PATH_IMAGE027
的外观特征，生成图像
Figure 639012DEST_PATH_IMAGE029
，即
Figure 24994DEST_PATH_IMAGE030
。
使用
Figure 804731DEST_PATH_IMAGE029
的外观特征与
Figure 199940DEST_PATH_IMAGE027
的几何特征，循环重建图像
Figure 483154DEST_PATH_IMAGE027
，即
Figure 571195DEST_PATH_IMAGE031
。
本实施例还包括自重建损失：当
Figure 572650DEST_PATH_IMAGE002
和
Figure 240391DEST_PATH_IMAGE003
以相同的图像（如
Figure 892958DEST_PATH_IMAGE025
）作为输入时，可以利用其几何特征和外观特征进行重建，
Figure 151901DEST_PATH_IMAGE025
的重建可以表述为
Figure 109493DEST_PATH_IMAGE055
。
本实施例中采用以下损失函数训练局部解耦模块：
自重建损失：
当几何特征和外观特征来自同一张图像时，即
Figure 846505DEST_PATH_IMAGE056
时，该算法的自重建一致性要求通过网络框架可以重建I。
自重构损失函数包含三项：1）感知损失
Figure 104311DEST_PATH_IMAGE034
，通过预训练的VGG-19模型度量生成图像和输入图像之间的视觉相似性；2）鉴别器的特征匹配损失
Figure 268576DEST_PATH_IMAGE035
，旨在稳定训练过程；3）颜色损失
Figure 244622DEST_PATH_IMAGE036
，将图像转换到CIE-Lab颜色空间，通过计算a和b通道中的色度距离来控制色调。自重建损失可以表示为：
Figure 254167DEST_PATH_IMAGE032
其中a和b通道包含CIE LAB颜色空间中的颜色信息，根据经验设置
Figure 632058DEST_PATH_IMAGE037
、
Figure 216492DEST_PATH_IMAGE038
、
Figure 414255DEST_PATH_IMAGE057
。
循环交换损失：
为彻底地解耦几何特征和外观特征，本实施例采用交换的方法从不同图像的几何特征和外观特征生成人脸图像，即
Figure 493070DEST_PATH_IMAGE058
≠
Figure 991047DEST_PATH_IMAGE054
，循环交换损失
Figure 965957DEST_PATH_IMAGE059
包含项
Figure 916595DEST_PATH_IMAGE060
和
Figure 533521DEST_PATH_IMAGE061
。
为彻底解耦人脸图像的几何特征和外观特征，将
Figure 620426DEST_PATH_IMAGE025
的外观替换为
Figure 297395DEST_PATH_IMAGE027
的外观后生成
Figure 719018DEST_PATH_IMAGE029
后，应保持
Figure 874056DEST_PATH_IMAGE025
的几何结构。因此，算法引入了几何损失
Figure 815467DEST_PATH_IMAGE060
（geometry loss），通过与输入图像比较来约束生成图像的几何结构不变：
Figure 663337DEST_PATH_IMAGE062
网络使用了循环一致性损失项保证交换图像
Figure 322989DEST_PATH_IMAGE029
的外观与
Figure 547297DEST_PATH_IMAGE027
相同。使用
Figure 608793DEST_PATH_IMAGE027
的几何结构和交换图像
Figure 345674DEST_PATH_IMAGE029
的外观，生成的图像
Figure 492622DEST_PATH_IMAGE063
应该循环重建图像
Figure 255041DEST_PATH_IMAGE027
。本例使用之前的重建损失公式
Figure 171045DEST_PATH_IMAGE064
来实现循环一致性的约束：
Figure 626297DEST_PATH_IMAGE065
Figure 260541DEST_PATH_IMAGE037
、
Figure 826651DEST_PATH_IMAGE038
、
Figure 597161DEST_PATH_IMAGE039
与之前设置相同。
循环交换损失为：
Figure 223314DEST_PATH_IMAGE066
Figure 79275DEST_PATH_IMAGE043
、
Figure 183497DEST_PATH_IMAGE044
设置为1、1。
对抗损失：
本实施例中采用多尺度鉴别器D来限制生成图像的分布，以匹配真实图像的分布：
Figure 339672DEST_PATH_IMAGE045
Figure 120415DEST_PATH_IMAGE067
权重值
Figure 729251DEST_PATH_IMAGE047
，
Figure 106006DEST_PATH_IMAGE048
。
本实施例中局部解耦模块的优化目标
Figure 116687DEST_PATH_IMAGE068
为以上3项的和，最小化
Figure 819064DEST_PATH_IMAGE068
将优化下述3个网络：
Figure 649617DEST_PATH_IMAGE004
，
Figure 361221DEST_PATH_IMAGE003
，
Figure 226408DEST_PATH_IMAGE069
。
Figure 365266DEST_PATH_IMAGE068
可表示为：
Figure 417535DEST_PATH_IMAGE070
A-3）全局融合训练：局部解耦模块训练完成后，需训练全局融合模块，融合局部解耦模块生成的特征图，生成最终结果。与前一阶段类似，使用了对抗损失、特征匹配损失和感知损失作为全局融合模块的损失函数，该阶段不使用交换策略，因为其不涉及任何解耦操作。
本实施例还提供一种智能人脸编辑装置，包括特征提取单元、图像生成单元和图像融合单元，其中特征提取单元用于将人脸几何特征图像和人脸外观特征图像根据人脸部位输入相应的、经训练的局部解耦模块，提取人脸各部位对应的几何特征和外观特征；图像生成单元用于局部解耦模块基于几何特征和外观特征生成人脸各部位对应的局部图像及中间特征图；图像融合单元用于通过经训练的全局融合模块将人脸各部位对应的局部中间特征图融合生成具有所述几何特征和外观特征的最终人脸图像。
本实施例还提供一种存储介质，其上存储有能被处理器执行的计算机程序，该计算机程序被执行时实现本实施例中智能人脸编辑方法的步骤。
本实施例还提供一种计算机设备，具有存储器和处理器，存储器上存储有能被处理器执行的计算机程序，该计算机程序被执行时实现本实施例中智能人脸编辑方法的步骤。

Claims (10)

1.一种智能人脸编辑方法，其特征在于：
将人脸几何特征图像和人脸外观特征图像根据人脸部位输入相应的、经训练的局部解耦模块，提取人脸各部位对应的几何特征和外观特征；
局部解耦模块基于几何特征和外观特征生成人脸各部位对应的局部图像及局部中间特征图；
通过经训练的全局融合模块将人脸各部位对应的局部中间特征图融合生成具有所述几何特征和外观特征的最终人脸图像。
2.根据权利要求1所述的智能人脸编辑方法，其特征在于：所述几何特征图像为人脸草图或人脸真实图像，所述局部解耦模块包括草图编码器
Figure 875624DEST_PATH_IMAGE001
、图像编码器
Figure 693407DEST_PATH_IMAGE002
、外观编码器
Figure 302374DEST_PATH_IMAGE003
和图像合成生成器
Figure 914621DEST_PATH_IMAGE004
；
所述从几何特征图像中提取人脸各部位对应的几何特征，包括：
训练由草图编码器
Figure 327148DEST_PATH_IMAGE001
和草图解码器
Figure 823988DEST_PATH_IMAGE005
组成的网络，瓶颈层中的隐空间是维度为
Figure 553041DEST_PATH_IMAGE006
的低分辨率特征图，其中
Figure 742714DEST_PATH_IMAGE007
、
Figure 236012DEST_PATH_IMAGE008
和
Figure 677489DEST_PATH_IMAGE009
是几何特征图的高度、宽度和通道数；
令
Figure 979157DEST_PATH_IMAGE010
表示人脸真实图像，而
Figure 74152DEST_PATH_IMAGE011
表示其对应的人脸草图；
通过预训练的草图编码器
Figure 817198DEST_PATH_IMAGE012
，提取
Figure 186999DEST_PATH_IMAGE011
的几何特征，几何特征表示为
Figure 874332DEST_PATH_IMAGE013
；
训练图像编码器
Figure 671387DEST_PATH_IMAGE002
，将相应的人脸真实图像
Figure 749065DEST_PATH_IMAGE010
映射到草图表征的几何隐空间，表示为
Figure 532344DEST_PATH_IMAGE014
。
3.根据权利要求2所述的智能人脸编辑方法，其特征在于：
当
Figure 339763DEST_PATH_IMAGE015
和
Figure 776560DEST_PATH_IMAGE016
输入预训练的解码器
Figure 482479DEST_PATH_IMAGE017
时，算法对
Figure 662925DEST_PATH_IMAGE017
的每一层都施加约束，同时也在最终输出
Figure 324850DEST_PATH_IMAGE018
和
Figure 807916DEST_PATH_IMAGE019
之间添加L1损失。
4.根据权利要求3所述的智能人脸编辑方法，其特征在于，所述局部解耦模块的训练，包括：
首先，训练
Figure 391344DEST_PATH_IMAGE001
和
Figure 375480DEST_PATH_IMAGE005
，使用L1重建损失函数学习草图的几何隐空间，一旦
Figure 954229DEST_PATH_IMAGE001
经过训练，将几何特征表示为
Figure 811458DEST_PATH_IMAGE020
；
然后训练网络
Figure 882182DEST_PATH_IMAGE002
，以人脸真实图像
Figure 670009DEST_PATH_IMAGE010
作为输入，并预测几何特征
Figure 103265DEST_PATH_IMAGE021
，使其遵循与学习的几何空间相同的分布，损失函数定义如下：
Figure 131395DEST_PATH_IMAGE022
其中，N是解码器
Figure 892677DEST_PATH_IMAGE005
的层数，索引0对应输入特征图，索引N对应输出图像，其他索引是中间特征图。
5.根据权利要求2或3或4所述的智能人脸编辑方法，其特征在于：所述外观编码器
Figure 749775DEST_PATH_IMAGE003
利用全局平均池化，消除人脸外观特征图像上的空间信息并提取与几何特征无关的外观特征。
6.根据权利要求5所述的智能人脸编辑方法，其特征在于，所述外观编码器及图像合成生成器采用交换训练策略；
使用人脸几何特征图像
Figure 303116DEST_PATH_IMAGE023
的几何特征
Figure 423519DEST_PATH_IMAGE024
与人脸外观特征图像
Figure 468835DEST_PATH_IMAGE025
的外观特征
Figure 411515DEST_PATH_IMAGE026
，生成图像
Figure 960308DEST_PATH_IMAGE027
，即
Figure 641825DEST_PATH_IMAGE028
；
使用
Figure 643279DEST_PATH_IMAGE027
的外观特征与
Figure 842179DEST_PATH_IMAGE025
的几何特征，循环重建图像
Figure 792948DEST_PATH_IMAGE025
，即
Figure 645367DEST_PATH_IMAGE029
。
7.根据权利要求6所述的智能人脸编辑方法，其特征在于，采用以下损失函数训练局部解耦模块，包括：
a、自重建损失：
Figure 399696DEST_PATH_IMAGE030
其中：
Figure 871129DEST_PATH_IMAGE031
表示感知损失；
Figure 394514DEST_PATH_IMAGE032
表示鉴别器的特征匹配损失；
Figure 168566DEST_PATH_IMAGE033
表示颜色损失，将图像转换到CIE-Lab颜色空间，通过计算a和b通道中的色度距离来控制色调；a和b通道包含CIE LAB颜色空间中的颜色信息；
Figure 941350DEST_PATH_IMAGE034
、
Figure 950894DEST_PATH_IMAGE035
、
Figure 204152DEST_PATH_IMAGE036
根据经验设置具体参数；
b、循环交换损失：
Figure 539319DEST_PATH_IMAGE037
Figure 64978DEST_PATH_IMAGE038
Figure 612634DEST_PATH_IMAGE039
其中
Figure 110611DEST_PATH_IMAGE040
、
Figure 226466DEST_PATH_IMAGE041
根据经验设置具体参数；
c、对抗损失：
采用多尺度鉴别器D来限制生成图像的分布，以匹配真实图像的分布：
Figure 442684DEST_PATH_IMAGE042
Figure 794031DEST_PATH_IMAGE043
权重值
Figure 943252DEST_PATH_IMAGE044
，
Figure 885800DEST_PATH_IMAGE045
。
8.一种智能人脸编辑装置，其特征在于，包括：
特征提取单元，用于将人脸几何特征图像和人脸外观特征图像根据人脸部位输入相应的、经训练的局部解耦模块，提取人脸各部位对应的几何特征和外观特征；
图像生成单元，用于局部解耦模块基于几何特征和外观特征生成人脸各部位对应的局部图像及局部中间特征图；
图像融合单元，用于通过经训练的全局融合模块将人脸各部位对应的局部中间特征图融合生成具有所述几何特征和外观特征的最终人脸图像。
9.一种存储介质，其上存储有能被处理器执行的计算机程序，其特征在于：所述计算机程序被执行时实现权利要求1~7任意一项所述智能人脸编辑方法的步骤。
10.一种计算机设备，具有存储器和处理器，存储器上存储有能被处理器执行的计算机程序，其特征在于：所述计算机程序被执行时实现权利要求1~7任意一项所述智能人脸编辑方法的步骤。
CN202110466411.XA 2021-04-28 2021-04-28 智能人脸编辑方法、装置、存储介质及设备 Active CN112991484B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110466411.XA CN112991484B (zh) 2021-04-28 2021-04-28 智能人脸编辑方法、装置、存储介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110466411.XA CN112991484B (zh) 2021-04-28 2021-04-28 智能人脸编辑方法、装置、存储介质及设备

Publications (2)

Publication Number Publication Date
CN112991484A true CN112991484A (zh) 2021-06-18
CN112991484B CN112991484B (zh) 2021-09-03

Family

ID=76340521

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110466411.XA Active CN112991484B (zh) 2021-04-28 2021-04-28 智能人脸编辑方法、装置、存储介质及设备

Country Status (1)

Country Link
CN (1) CN112991484B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113470182A (zh) * 2021-09-03 2021-10-01 中科计算技术创新研究院 人脸几何特征编辑方法及深度人脸重塑编辑方法
CN114845067A (zh) * 2022-07-04 2022-08-02 中科计算技术创新研究院 基于隐空间解耦的人脸编辑的深度视频传播方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111160138A (zh) * 2019-12-11 2020-05-15 杭州电子科技大学 一种基于卷积神经网络的快速人脸交换方法
CN111915693A (zh) * 2020-05-22 2020-11-10 中国科学院计算技术研究所 基于草图的人脸图像生成方法及***
CN112188234A (zh) * 2019-07-03 2021-01-05 广州虎牙科技有限公司 一种图像处理、直播方法及相关装置
CN112241708A (zh) * 2020-10-19 2021-01-19 戴姆勒股份公司 用于由原始人物图像生成新的人物图像的方法及装置
CN112258387A (zh) * 2020-10-30 2021-01-22 北京航空航天大学 一种基于人脸照片生成漫画人像的图像转换***及方法
CN112668401A (zh) * 2020-12-09 2021-04-16 中国科学院信息工程研究所 一种基于特征解耦合的人脸隐私保护方法和装置
CN112734890A (zh) * 2020-12-22 2021-04-30 上海影谱科技有限公司 基于三维重建的人脸替换方法及装置
CN112837210A (zh) * 2021-01-28 2021-05-25 南京大学 一种基于特征图分块的多形变风格人脸漫画自动生成方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112188234A (zh) * 2019-07-03 2021-01-05 广州虎牙科技有限公司 一种图像处理、直播方法及相关装置
CN111160138A (zh) * 2019-12-11 2020-05-15 杭州电子科技大学 一种基于卷积神经网络的快速人脸交换方法
CN111915693A (zh) * 2020-05-22 2020-11-10 中国科学院计算技术研究所 基于草图的人脸图像生成方法及***
CN112241708A (zh) * 2020-10-19 2021-01-19 戴姆勒股份公司 用于由原始人物图像生成新的人物图像的方法及装置
CN112258387A (zh) * 2020-10-30 2021-01-22 北京航空航天大学 一种基于人脸照片生成漫画人像的图像转换***及方法
CN112668401A (zh) * 2020-12-09 2021-04-16 中国科学院信息工程研究所 一种基于特征解耦合的人脸隐私保护方法和装置
CN112734890A (zh) * 2020-12-22 2021-04-30 上海影谱科技有限公司 基于三维重建的人脸替换方法及装置
CN112837210A (zh) * 2021-01-28 2021-05-25 南京大学 一种基于特征图分块的多形变风格人脸漫画自动生成方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHUYU CHEN,ETC: "DeepFaceDrawing: Deep Generation of Face Images from Sketches", 《ACM TRANSACTIONS ON GRAPHICS》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113470182A (zh) * 2021-09-03 2021-10-01 中科计算技术创新研究院 人脸几何特征编辑方法及深度人脸重塑编辑方法
CN114845067A (zh) * 2022-07-04 2022-08-02 中科计算技术创新研究院 基于隐空间解耦的人脸编辑的深度视频传播方法

Also Published As

Publication number Publication date
CN112991484B (zh) 2021-09-03

Similar Documents

Publication Publication Date Title
Chen et al. Deep generation of face images from sketches
Chai et al. Using latent space regression to analyze and leverage compositionality in gans
US11880766B2 (en) Techniques for domain to domain projection using a generative model
Chen et al. Beautyglow: On-demand makeup transfer framework with reversible generative network
Khakhulin et al. Realistic one-shot mesh-based head avatars
Wang et al. A survey on face data augmentation
CN108288072A (zh) 一种基于生成对抗网络的面部表情合成方法
Shi et al. Deep generative models on 3d representations: A survey
CN110222668A (zh) 基于生成对抗网络的多姿态面部表情识别方法
US11562536B2 (en) Methods and systems for personalized 3D head model deformation
Zhang et al. Hair-GAN: Recovering 3D hair structure from a single image using generative adversarial networks
CN113470182B (zh) 人脸几何特征编辑方法及深度人脸重塑编辑方法
CN112991484B (zh) 智能人脸编辑方法、装置、存储介质及设备
Singh et al. Neural style transfer: A critical review
US11587288B2 (en) Methods and systems for constructing facial position map
CN113807265B (zh) 一种多样化的人脸图像合成方法及***
JP7462120B2 (ja) ２次元（２ｄ）顔画像から色を抽出するための方法、システム及びコンピュータプログラム
JP2024506170A (ja) 個人化された３ｄ頭部モデルおよび顔モデルを形成するための方法、電子装置、およびプログラム
Zhao et al. Cartoon image processing: a survey
Xia et al. Controllable continuous gaze redirection
CN117635771A (zh) 一种基于半监督对比学习的场景文本编辑方法和装置
Hilsmann et al. Going beyond free viewpoint: creating animatable volumetric video of human performances
Huang et al. IA-FaceS: A bidirectional method for semantic face editing
Liu et al. Transformer-based high-fidelity facial displacement completion for detailed 3d face reconstruction
CN117333604A (zh) 一种基于语义感知神经辐射场的人物面部重演方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 12 / F, building 4, 108 Xiangyuan Road, Gongshu District, Hangzhou City, Zhejiang Province 310015

Applicant after: Zhongke Computing Technology Innovation Research Institute

Address before: 12 / F, building 4, 108 Xiangyuan Road, Gongshu District, Hangzhou City, Zhejiang Province 310015

Applicant before: Institute of digital economy industry, Institute of computing technology, Chinese Academy of Sciences

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant