CN111476749A - 基于人脸关键点引导式生成对抗网络的人脸修复方法 - Google Patents

基于人脸关键点引导式生成对抗网络的人脸修复方法 Download PDF

Info

Publication number
CN111476749A
CN111476749A CN202010261441.2A CN202010261441A CN111476749A CN 111476749 A CN111476749 A CN 111476749A CN 202010261441 A CN202010261441 A CN 202010261441A CN 111476749 A CN111476749 A CN 111476749A
Authority
CN
China
Prior art keywords
face
layer
convolutional
key point
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010261441.2A
Other languages
English (en)
Other versions
CN111476749B (zh
Inventor
裴炤
黄丽
张艳宁
马苗
郭敏
李峻
武杰
陈昱莅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaanxi Normal University
Original Assignee
Shaanxi Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shaanxi Normal University filed Critical Shaanxi Normal University
Priority to CN202010261441.2A priority Critical patent/CN111476749B/zh
Publication of CN111476749A publication Critical patent/CN111476749A/zh
Application granted granted Critical
Publication of CN111476749B publication Critical patent/CN111476749B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于人脸关键点引导式生成对抗网络的人脸修复方法，包括：人脸关键点引导式生成对抗网络构建、人脸关键点引导式生成对抗网络训练、人脸修复步骤。本发明使用人脸关键点引导式生成对抗网络生成完整人脸，在人脸大面积区域缺失的情况下，结合人脸关键点损失函数辅助网络的训练，引导生成人脸的轮廓不断接近于真实人脸的轮廓，使得修复后的人脸轮廓连贯、真实。解决了严重遮挡等条件导致的大面积区域缺失的人脸修复结果失真的问题。

Description

基于人脸关键点引导式生成对抗网络的人脸修复方法
技术领域
本发明属于计算机视觉技术领域，主要涉及一种在大面积区域缺失情况下利用人脸关键点引导式生成对抗网络完成人脸修复任务的方法。
背景技术
人脸修复是一种利用已知人脸信息修补缺失区域从而获得完整人脸的技术。生成对抗网络的提出进一步提高了人脸修复结果的真实性。文献“Semantic image inpaintingwith deep generative models.In proceedings of the IEEE conference on computervision and pattern recognition,2017:5485-5493”利用深度卷积生成对抗网络，结合上下文和 先验损失来搜索最接近已知信息的编码，将该编码输入生成器推断出缺失区域信息， 较好地完成了在结构相对简单的人脸图像上的修复任务。然而，在严重遮挡等条件下，人脸大面积区域信息缺失，该方法由于缺少有效的上下文和先验信息，导致修复结果 并不理想，尤其表现在修复得到的人脸面部轮廓等关键部位失真方面。人脸面部轮廓、 眉毛、眼睛、鼻子等关键点定位任务称为人脸关键点预测。针对上述问题，在人脸大 面积区域信息缺失的情况下，确定一个最佳结构的生成对抗网络，利用人脸关键点预 测结果引导生成的人脸面部轮廓等不断接近真实值，从而更好地完成人脸修复任务是 极具研究意义和价值的。
发明内容
要解决的技术问题
本发明所要解决的技术问题在于克服现有技术问题，提供一种基于人脸关键点引导式生成对抗网络的人脸修复方法，使用一个深度神经网络模型完成大面积区域缺失 情况下的人脸修复任务，获得更为真实和连贯的人脸修复图像。
技术方案
一种基于人脸关键点引导式生成对抗网络的人脸修复方法，其特征在于步骤如下：
步骤1：构建人脸关键点引导式生成对抗网络，该网络包括人脸修复模块和人脸关键点预测模块；
所述的人脸修复模块由一个生成器和一个判别器组成，生成器包括输入、10个卷积层、2个空洞卷积层、2个反卷积层、输出；输入是大小为64×64×3的带随机二进 制掩膜的人脸图像，如下：
IM＝I⊙M (1)
式中，IM为带随机二进制掩膜的人脸图像，I为用于训练网络的人脸数据集中的原始人脸图像，M为随机生成的大小为64×64的二进制掩膜；
第一层卷积层，卷积核大小为5×5，步长为1，激活函数为LReLU，输出64个大 小为64×64的特征图；第二层卷积层，卷积核大小为5×5，步长为2，激活函数为LReLU， 输出128个大小为32×32的特征图；第三层卷积层，卷积核大小为5×5，步长为1， 激活函数为LReLU，输出128个大小为32×32的特征图；第四层卷积层，卷积核大小 为5×5，步长为2，激活函数为LReLU，输出256个大小为16×16的特征图；第五层 卷积层，卷积核大小为5×5，步长为1，激活函数为LReLU，输出256个大小为16×16 的特征图；第六层卷积层，卷积核大小为5×5，步长为1，激活函数为LReLU，输出 256个大小为16×16的特征图；第七层空洞卷积层，卷积核大小为3×3，空洞率为2， 激活函数为LReLU，输出256个大小为16×16的特征图；第八层空洞卷积层，卷积核 大小为3×3，空洞率为4，激活函数为LReLU，输出256个大小为16×16的特征图； 第九层卷积层，卷积核大小为5×5，步长为1，激活函数为LReLU，输出256个大小 为16×16的特征图；第十层卷积层，卷积核大小为5×5，步长为1，激活函数为LReLU， 输出256个大小为16×16的特征图；第十一层反卷积层，卷积核大小为5×5，步长为2，激活函数为LReLU，输出128个大小为32×32的特征图；第十二层卷积层，卷积 核大小为5×5，步长为1，激活函数为LReLU，输出128个大小为32×32的特征图； 第十三层反卷积层，卷积核大小为5×5，步长为2，激活函数为LReLU，输出64个大 小为64×64的特征图；第十四层卷积层，卷积核大小为5×5，步长为1，激活函数为 LReLU，输出32个大小为64×64的特征图；第十五层输出层，是生成器生成的大小 为64×64×3的人脸图像；
判别器包括输入、4个卷积层、1个全连接层、输出；输入是大小为64×64×3的 人脸图像；第一层卷积层，卷积核大小为5×5，步长为2，激活函数为LReLU，输出 64个大小为64×64的特征图；第二层卷积层，卷积核大小为5×5，步长为1，激活函 数为LReLU，输出128个大小为32×32的特征图；第三层卷积层，卷积核大小为5×5， 步长为1，激活函数为LReLU，输出256个大小为16×16的特征图；第四层卷积层， 卷积核大小为5×5，步长为1，激活函数为LReLU，输出512个大小为4×4的特征图； 第五层全连接层，激活函数为Sigmoid，输出一个范围为[0,1]的单个数值，代表输入判 别器人脸为真实人脸的概率值；
所述的人脸关键点预测模块包括输入、4个卷积层、1个全连接层、输出；除输出外，该模块结构与上述判别器结构相同；该模块输出为一个136维的向量，代表人脸 68个关键点x、y坐标预测结果；
步骤2：训练人脸关键点引导式生成对抗网络，该网络的训练包含两个步骤，第 一步训练人脸关键点预测模块，第二步固定人脸关键点预测模块，训练人脸修复模块；
第一步使用带有人脸关键点标签的人脸数据集训练人脸关键点预测模块，训练过程使用的人脸关键点损失函数定义如下：
Lld＝||H(IX)-PGT||1 (2)
式中，Lld为人脸关键点损失函数，IX是人脸关键点预测模块的输入人脸图像，在训练人脸关键点预测模块时，IX＝I，H(·)代表人脸预测模块的输出，PGT代表输入人 脸图像对应的人脸关键点标签值，||·||1表示L1范数；
第二步使用带有人脸关键点标签的人脸数据集训练人脸修复模块，训练由交替更新生成器和判别器参数完成，训练使用的人脸修复模块损失函数由三个部分组成，第 一部分为传统的对抗损失函数，定义如下：
Figure BDA0002439450460000041
式中Ladv为对抗损失函数，D(·)代表判别器的输出，G(·)代表生成器的输出，E[·]代 表期望值；
第二部分为人脸重构损失函数，定义如下：
Lmse＝||I-G(IM)||2 (4)
式中，Lmse为人脸重构损失函数，||·||2表示L2范数；
第三部分为人脸关键点损失函数，定义如公式(2)所示，其中，在训练生成器时，IX＝G(IM)；
最终确定人脸修复模块损失函数：
LFIM＝αLmse+βLadv+γLld (5)
式中，LFIM为人脸修复模块损失函数，α，β和γ为超级参数；
步骤3：人脸修复
将待修复的人脸输入到模型中的生成器中，生成器输出一张完整的人脸，然后将输出人脸对应待修复区域剪贴到待修复人脸上，最终得到人脸修复结果：
IC＝G(IM)⊙(1-M)+IM (6)
式中，IC为人脸修复结果。
有益效果
本发明提出的一种基于人脸关键点引导式生成对抗网络的人脸修复方法，包括：
人脸关键点引导式生成对抗网络构建、人脸关键点引导式生成对抗网络训练、人脸修 复步骤。本发明使用人脸关键点引导式生成对抗网络生成完整人脸，在人脸大面积区域缺失的情况下，结合人脸关键点损失函数辅助网络的训练，引导生成人脸的轮廓不 断接近于真实人脸的轮廓，使得修复后的人脸轮廓连贯、真实。解决了严重遮挡等条 件导致的大面积区域缺失的人脸修复结果失真的问题。
具体实施方式
现结合实施例对本发明作进一步描述：
以300VM公开人脸数据集为人脸修复模块和人脸关键点预测模块训练集，FaceScrub公开人脸数据集为测试集为例，基于人脸关键点引导式生成对抗网络的人脸 修复方法步骤如下：
(1)构建人脸关键点引导式生成对抗网络
该网络包括两个模块，即人脸修复模块和人脸关键点预测模块。
人脸修复模块由一个生成器和一个判别器组成。生成器包括输入、10个卷积层、 2个空洞卷积层、2个反卷积层、输出。输入是大小为64×64×3的带随机二进制掩膜 的人脸图像，如下：
IM＝I⊙M (1)
式中，IM为带随机二进制掩膜的人脸图像，I为用于训练网络的人脸数据集中的原始人 脸图像，M为随机生成的大小为64×64的二进制掩膜。
第一层卷积层，卷积核大小为5×5，步长为1，激活函数为LReLU，输出64个大 小为64×64的特征图。第二层卷积层，卷积核大小为5×5，步长为2，激活函数为LReLU， 输出128个大小为32×32的特征图。第三层卷积层，卷积核大小为5×5，步长为1， 激活函数为LReLU，输出128个大小为32×32的特征图。第四层卷积层，卷积核大小 为5×5，步长为2，激活函数为LReLU，输出256个大小为16×16的特征图。第五层 卷积层，卷积核大小为5×5，步长为1，激活函数为LReLU，输出256个大小为16×16 的特征图。第六层卷积层，卷积核大小为5×5，步长为1，激活函数为LReLU，输出 256个大小为16×16的特征图。第七层空洞卷积层，卷积核大小为3×3，空洞率为2， 激活函数为LReLU，输出256个大小为16×16的特征图。第八层空洞卷积层，卷积核 大小为3×3，空洞率为4，激活函数为LReLU，输出256个大小为16×16的特征图。 第九层卷积层，卷积核大小为5×5，步长为1，激活函数为LReLU，输出256个大小 为16×16的特征图。第十层卷积层，卷积核大小为5×5，步长为1，激活函数为LReLU， 输出256个大小为16×16的特征图。第十一层反卷积层，卷积核大小为5×5，步长为2，激活函数为LReLU，输出128个大小为32×32的特征图。第十二层卷积层，卷积 核大小为5×5，步长为1，激活函数为LReLU，输出128个大小为32×32的特征图。 第十三层反卷积层，卷积核大小为5×5，步长为2，激活函数为LReLU，输出64个大 小为64×64的特征图。第十四层卷积层，卷积核大小为5×5，步长为1，激活函数为 LReLU，输出32个大小为64×64的特征图。第十五层输出层，是生成器生成的大小 为64×64×3的人脸图像。
判别器包括输入、4个卷积层、1个全连接层、输出。输入是大小为64×64×3的 人脸图像。第一层卷积层，卷积核大小为5×5，步长为2，激活函数为LReLU，输出 64个大小为64×64的特征图。第二层卷积层，卷积核大小为5×5，步长为1，激活函 数为LReLU，输出128个大小为32×32的特征图。第三层卷积层，卷积核大小为5×5， 步长为1，激活函数为LReLU，输出256个大小为16×16的特征图。第四层卷积层， 卷积核大小为5×5，步长为1，激活函数为LReLU，输出512个大小为4×4的特征图。 第五层全连接层，激活函数为Sigmoid，输出一个范围为[0,1]的单个数值，代表输入判 别器人脸为真实人脸的概率值。
人脸关键点预测模块，包括输入、4个卷积层、1个全连接层、输出。除输出外， 该模块结构与上述判别器结构相同。该模块输出为一个136维的向量，代表人脸68 个关键点x、y坐标预测结果。
(2)训练人脸关键点引导式生成对抗网络
该网络的训练包含两个步骤，第一步训练人脸关键点预测模块，第二步固定人脸关键点预测模块，训练人脸修复模块。
第一步使用带有人脸关键点标签的人脸数据集300VM训练人脸关键点预测模块。确定人脸关键点预测模块的损失函数：
Lld＝||H(IX)-PGT||1 (2)
式中，Lld为人脸关键点损失函数，IX是人脸关键点预测模块的输入人脸图像，在训练 人脸关键点模块时，IX＝I，H(·)代表人脸预测模块的输出，PGT代表输入人脸图像对 应的人脸关键点标签值，||·||1表示L1范数。
第二步使用带有人脸关键点标签的人脸数据集300VM训练人脸修复模块。训练由交替更新生成器和判别器参数完成。确定损失函数由三个部分组成，第一部分为传统 的对抗损失，定义如下：
Figure BDA0002439450460000071
式中，Ladv为对抗损失函数，D(·)代表判别器的输出，G(·)代表生成器的输出，E[·]代 表期望值。
第二部分为人脸重构损失，定义如下：
Lmse＝||I-G(IM)||2 (4)
式中，Lmse为人脸重构损失函数，||·||2表示L2范数。
第三部分为人脸关键点损失，定义如公式(2)所示，其中，在训练生成器时，IX＝G(IM)。
最终确定人脸修复模块损失函数：
LFIM＝αLmse+βLadv+γLld (5)
式中，LFIM为人脸修复模块损失函数，α，β和γ为超级参数,分别取值1，0.0001和0.0001。
(3)人脸修复
使用步骤(2)训练完毕的模型完成人脸修复任务。在人脸数据集FaceScrub上生成随机二进制掩膜作为待修复人脸输入到模型的生成器中，生成器输出一张完整的人 脸，然后将输出人脸对应待修复区域剪贴到待修复人脸上，最终得到人脸修复结果：
IC＝G(IM)⊙(1-M)+IM (6)
式中，IC为人脸修复结果。

Claims (1)

1.一种基于人脸关键点引导式生成对抗网络的人脸修复方法，其特征在于步骤如下：
步骤1：构建人脸关键点引导式生成对抗网络，该网络包括人脸修复模块和人脸关键点预测模块；
所述的人脸修复模块由一个生成器和一个判别器组成，生成器包括输入、10个卷积层、2个空洞卷积层、2个反卷积层、输出；输入是大小为64×64×3的带随机二进制掩膜的人脸图像，如下：
IM＝I⊙M (1)
式中，IM为带随机二进制掩膜的人脸图像，I为用于训练网络的人脸数据集中的原始人脸图像，M为随机生成的大小为64×64的二进制掩膜；
第一层卷积层，卷积核大小为5×5，步长为1，激活函数为LReLU，输出64个大小为64×64的特征图；第二层卷积层，卷积核大小为5×5，步长为2，激活函数为LReLU，输出128个大小为32×32的特征图；第三层卷积层，卷积核大小为5×5，步长为1，激活函数为LReLU，输出128个大小为32×32的特征图；第四层卷积层，卷积核大小为5×5，步长为2，激活函数为LReLU，输出256个大小为16×16的特征图；第五层卷积层，卷积核大小为5×5，步长为1，激活函数为LReLU，输出256个大小为16×16的特征图；第六层卷积层，卷积核大小为5×5，步长为1，激活函数为LReLU，输出256个大小为16×16的特征图；第七层空洞卷积层，卷积核大小为3×3，空洞率为2，激活函数为LReLU，输出256个大小为16×16的特征图；第八层空洞卷积层，卷积核大小为3×3，空洞率为4，激活函数为LReLU，输出256个大小为16×16的特征图；第九层卷积层，卷积核大小为5×5，步长为1，激活函数为LReLU，输出256个大小为16×16的特征图；第十层卷积层，卷积核大小为5×5，步长为1，激活函数为LReLU，输出256个大小为16×16的特征图；第十一层反卷积层，卷积核大小为5×5，步长为2，激活函数为LReLU，输出128个大小为32×32的特征图；第十二层卷积层，卷积核大小为5×5，步长为1，激活函数为LReLU，输出128个大小为32×32的特征图；第十三层反卷积层，卷积核大小为5×5，步长为2，激活函数为LReLU，输出64个大小为64×64的特征图；第十四层卷积层，卷积核大小为5×5，步长为1，激活函数为LReLU，输出32个大小为64×64的特征图；第十五层输出层，是生成器生成的大小为64×64×3的人脸图像；
判别器包括输入、4个卷积层、1个全连接层、输出；输入是大小为64×64×3的人脸图像；第一层卷积层，卷积核大小为5×5，步长为2，激活函数为LReLU，输出64个大小为64×64的特征图；第二层卷积层，卷积核大小为5×5，步长为1，激活函数为LReLU，输出128个大小为32×32的特征图；第三层卷积层，卷积核大小为5×5，步长为1，激活函数为LReLU，输出256个大小为16×16的特征图；第四层卷积层，卷积核大小为5×5，步长为1，激活函数为LReLU，输出512个大小为4×4的特征图；第五层全连接层，激活函数为Sigmoid，输出一个范围为[0,1]的单个数值，代表输入判别器人脸为真实人脸的概率值；
所述的人脸关键点预测模块包括输入、4个卷积层、1个全连接层、输出；除输出外，该模块结构与上述判别器结构相同；该模块输出为一个136维的向量，代表人脸68个关键点x、y坐标预测结果；
步骤2：训练人脸关键点引导式生成对抗网络，该网络的训练包含两个步骤，第一步训练人脸关键点预测模块，第二步固定人脸关键点预测模块，训练人脸修复模块；
第一步使用带有人脸关键点标签的人脸数据集训练人脸关键点预测模块，训练过程使用的人脸关键点损失函数定义如下：
Lld＝||H(IX)-PGT||1 (2)
式中，Lld为人脸关键点损失函数，IX是人脸关键点预测模块的输入人脸图像，在训练人脸关键点预测模块时，IX＝I，H(·)代表人脸预测模块的输出，PGT代表输入人脸图像对应的人脸关键点标签值，||·||1表示L1范数；
第二步使用带有人脸关键点标签的人脸数据集训练人脸修复模块，训练由交替更新生成器和判别器参数完成，训练使用的人脸修复模块损失函数由三个部分组成，第一部分为传统的对抗损失函数，定义如下：
Figure FDA0002439450450000031
式中Ladv为对抗损失函数，D(·)代表判别器的输出，G(·)代表生成器的输出，E[·]代表期望值；
第二部分为人脸重构损失函数，定义如下：
Lmse＝||I-G(IM)||2 (4)
式中，Lmse为人脸重构损失函数，||·||2表示L2范数；
第三部分为人脸关键点损失函数，定义如公式(2)所示，其中，在训练生成器时，IX＝G(IM)；
最终确定人脸修复模块损失函数：
LFIM＝αLmse+βLadv+γLld (5)
式中，LFIM为人脸修复模块损失函数，α，β和γ为超级参数；
步骤3：人脸修复
将待修复的人脸输入到模型中的生成器中，生成器输出一张完整的人脸，然后将输出人脸对应待修复区域剪贴到待修复人脸上，最终得到人脸修复结果：
IC＝G(IM)⊙(1-M)+IM (6)
式中，IC为人脸修复结果。
CN202010261441.2A 2020-04-03 2020-04-03 基于人脸关键点引导式生成对抗网络的人脸修复方法 Active CN111476749B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010261441.2A CN111476749B (zh) 2020-04-03 2020-04-03 基于人脸关键点引导式生成对抗网络的人脸修复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010261441.2A CN111476749B (zh) 2020-04-03 2020-04-03 基于人脸关键点引导式生成对抗网络的人脸修复方法

Publications (2)

Publication Number Publication Date
CN111476749A true CN111476749A (zh) 2020-07-31
CN111476749B CN111476749B (zh) 2023-02-28

Family

ID=71749797

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010261441.2A Active CN111476749B (zh) 2020-04-03 2020-04-03 基于人脸关键点引导式生成对抗网络的人脸修复方法

Country Status (1)

Country Link
CN (1) CN111476749B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738230A (zh) * 2020-08-05 2020-10-02 深圳市优必选科技股份有限公司 一种人脸识别方法、人脸识别装置及电子设备
CN112633130A (zh) * 2020-12-18 2021-04-09 成都三零凯天通信实业有限公司 一种基于关键点修复图像的人脸去口罩方法
CN112949553A (zh) * 2021-03-22 2021-06-11 陈懋宁 基于自注意力级联生成对抗网络的人脸图像修复方法
CN113066034A (zh) * 2021-04-21 2021-07-02 腾讯科技（深圳）有限公司 人脸图像的修复方法与装置、修复模型、介质和设备
CN114140883A (zh) * 2021-12-10 2022-03-04 沈阳康泰电子科技股份有限公司 步态识别方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019015466A1 (zh) * 2017-07-17 2019-01-24 广州广电运通金融电子股份有限公司 人证核实的方法及装置
CN109961507A (zh) * 2019-03-22 2019-07-02 腾讯科技（深圳）有限公司 一种人脸图像生成方法、装置、设备及存储介质
CN110288537A (zh) * 2019-05-20 2019-09-27 湖南大学 基于自注意力的深度生成式对抗网络的人脸图像补全方法
CN110689499A (zh) * 2019-09-27 2020-01-14 北京工业大学 一种基于密集扩张卷积自编码对抗网络的人脸图像修复方法
WO2020029356A1 (zh) * 2018-08-08 2020-02-13 杰创智能科技股份有限公司 一种基于生成对抗网络的脸部变化预测方法
CN110910322A (zh) * 2019-11-05 2020-03-24 北京奇艺世纪科技有限公司 图片处理方法、装置、电子设备及计算机可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019015466A1 (zh) * 2017-07-17 2019-01-24 广州广电运通金融电子股份有限公司 人证核实的方法及装置
WO2020029356A1 (zh) * 2018-08-08 2020-02-13 杰创智能科技股份有限公司 一种基于生成对抗网络的脸部变化预测方法
CN109961507A (zh) * 2019-03-22 2019-07-02 腾讯科技（深圳）有限公司 一种人脸图像生成方法、装置、设备及存储介质
CN110288537A (zh) * 2019-05-20 2019-09-27 湖南大学 基于自注意力的深度生成式对抗网络的人脸图像补全方法
CN110689499A (zh) * 2019-09-27 2020-01-14 北京工业大学 一种基于密集扩张卷积自编码对抗网络的人脸图像修复方法
CN110910322A (zh) * 2019-11-05 2020-03-24 北京奇艺世纪科技有限公司 图片处理方法、装置、电子设备及计算机可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
孙硕等: "生成对抗网络进行感知遮挡人脸还原的算法研究", 《小型微型计算机***》 *
曹志义等: "基于生成对抗网络的遮挡图像修复算法", 《北京邮电大学学报》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738230A (zh) * 2020-08-05 2020-10-02 深圳市优必选科技股份有限公司 一种人脸识别方法、人脸识别装置及电子设备
CN112633130A (zh) * 2020-12-18 2021-04-09 成都三零凯天通信实业有限公司 一种基于关键点修复图像的人脸去口罩方法
CN112949553A (zh) * 2021-03-22 2021-06-11 陈懋宁 基于自注意力级联生成对抗网络的人脸图像修复方法
CN113066034A (zh) * 2021-04-21 2021-07-02 腾讯科技（深圳）有限公司 人脸图像的修复方法与装置、修复模型、介质和设备
CN114140883A (zh) * 2021-12-10 2022-03-04 沈阳康泰电子科技股份有限公司 步态识别方法和装置

Also Published As

Publication number Publication date
CN111476749B (zh) 2023-02-28

Similar Documents

Publication Publication Date Title
CN111476749A (zh) 基于人脸关键点引导式生成对抗网络的人脸修复方法
Quan et al. Image inpainting with local and global refinement
Yang et al. Freenerf: Improving few-shot neural rendering with free frequency regularization
CN111275618B (zh) 一种基于双支感知的深度图超分辨率重建网络构建方法
Choe et al. Face generation for low-shot learning using generative adversarial networks
CN109919830B (zh) 一种基于美学评价的带参考人眼图像修复方法
Zhang et al. Text-guided neural image inpainting
Wang et al. Dual-path image inpainting with auxiliary gan inversion
CN113112411A (zh) 基于多尺度特征融合的人脸图像语义修复方法
CN113240613A (zh) 一种基于边缘信息重建的图像修复方法
CN112950775A (zh) 一种基于自监督学习的三维人脸模型重建方法及***
CN111784602A (zh) 一种生成对抗网络用于图像修复的方法
CN113066171B (zh) 一种基于三维人脸形变模型的人脸图像生成方法
CN111612872B (zh) 人脸年龄变化图像对抗生成方法及***
CN111291669B (zh) 一种双通道俯角人脸融合校正gan网络及人脸融合校正方法
CN112001859A (zh) 一种人脸图像的修复方法及***
CN113112416B (zh) 一种语义引导的人脸图像修复方法
Shen et al. Single-shot semantic image inpainting with densely connected generative networks
CN111914618B (zh) 基于对抗式相对深度约束网络的三维人体姿态估计方法
CN113935919A (zh) 一种基于gan网络的图像修复算法
CN115731138A (zh) 一种基于Transformer与卷积神经网络的图像修复方法
CN113538472B (zh) 一种基于编码-解码网络的向量场引导精细化分割方法
Zhang et al. Image extrapolation based on multi-column convolutional attention network
Liu et al. Facial image inpainting using multi-level generative network
CN116523985B (zh) 一种结构和纹理特征引导的双编码器图像修复方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant