CN109815928B - 一种基于对抗学习的人脸图像合成方法和装置 - Google Patents
一种基于对抗学习的人脸图像合成方法和装置 Download PDFInfo
- Publication number
- CN109815928B CN109815928B CN201910097890.5A CN201910097890A CN109815928B CN 109815928 B CN109815928 B CN 109815928B CN 201910097890 A CN201910097890 A CN 201910097890A CN 109815928 B CN109815928 B CN 109815928B
- Authority
- CN
- China
- Prior art keywords
- face image
- generator
- front face
- layer
- discriminator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于对抗学习的人脸图像合成方法和装置。该方法提供一种新型的生成对抗网络(FC‑GAN),旨在从遮挡的人脸图像合成标准光照下的正面人脸图像。FC‑GAN使用一个编码器‑解码器的卷积神经网络结构作为生成器,同时引入了两个判别器:一个是全局判别器,用于区分整张人脸图像的真实性,同时保持人的身份信息不变;另一个是局部判别器,用于区分人脸中遮挡区域的真实性。此外引入一个人脸语义分割网络强化生成图像中人脸五官的一致性。通过对比合成人脸图像和真实人脸图像的语义标签,反传梯度给生成器调整合成人脸图像的五官。基准数据集Multi‑PIE上的实验结果表明,FC‑GAN的性能优于现有的大多数方法。
Description
技术领域
本发明属于计算机视觉技术领域,具体涉及一种基于对抗学习的人脸图像合成方法和装置。
背景技术
人脸识别是计算机视觉领域中一个重要的研究主题。由于其使用方便、准确性高、且具有非侵入式的特点,因此在安防监控、金融服务、手机终端和实体商业等诸多领域展现出巨大的应用潜力。近十年中,深度学习在人脸识别方面取得了巨大的成功,基于深度神经网络的人脸识别***的性能已经显著地超过了基于手工设计特征的人脸识别***。许多研究人脸识别技术的初创公司如雨后春笋一般涌现出来,例如商汤科技、旷视科技、云从科技和依图科技等。
人脸识别***的性能依赖于人脸的特征表达,而人脸的特征表达与人脸表象(Appearance)的变化有直接关系,这些变化主要包括角度、光照和表情的变化。然而,在实际场景中获取的人脸图像往往对应着不同的视角和光照条件,这大大增加了人脸识别的难度。
对于理想场景(如实验室场景)中的正面无遮挡人脸图像,文献中的人脸识别方法已经取得了较高的识别精度。但是,当人脸存在视角变化并且部分人脸被遮挡时,已有人脸识别方法的性能将会显著下降。带遮挡的侧面人脸图像经常出现在真实场景中,影响人脸识别***的性能。已有文献分别对角度变化和遮挡问题提出解决方案,但是目前缺乏一个解决方案同时处理这两个问题。一个替代的解决方案是:首先利用人脸转正方法旋转人脸,然后利用图像补全方法去除人脸遮挡。但是,这个方案容易生成模糊的和有瑕疵的人脸图像。
联合分解和融合的生成式对抗网络DF-GAN(Disentangling and FusingGenerative Adversarial Network)将人脸补全和人脸破坏看作完整人脸图像和遮挡物的分解和融合过程。该方法构造了三个分别对应于遮挡人脸图像,完整人脸图像和结构化遮挡物的域,并且将分解和融合过程看作是三个域之间的相互转换。DF-GAN建立了分解和融合网络来学习不成对数据的转换,同时可以通过修改隐变量来模拟结构化的遮挡。该方法将分解和融合过程、对抗学习统一为双重学习框架,并且在Meshface验证问题上评估了提出的方法,但该方法不能同时处理视角变化和遮挡。
DR-GAN(Disentangled Representation learning-Generative AdversarialNetwork)使用自动编码器作为生成网络,并且将目标角度向量串联到自动编码器的最中间一层。提出的判别器不仅区分输入图像的真假,还对输出图像的角度进行分类。不同于DR-GAN,本发明不仅设计了全局判别器,还引入了局部判别器对遮挡部分进行恢复。DR-GAN只能解决人脸视角变化问题,并不能解决遮挡问题。
TP-GAN(Two-Pathway Generative Adversarial Network)结合了多个损失函数来合成最终的正面人脸图像。他们提出两个生成器来合成人脸图像:一个是用来提取整幅人脸图像特征的全局生成器;另一个是用来提取包含重要人脸特征点的图像块内特征的局部的生成器。他们还增加了保持身份不变的损失函数使得生成人脸图像的高层特征与真值人脸图像的高层特征尽可能接近。TP-GAN只能解决人脸视角变化问题,并不能解决遮挡问题。
发明内容
为了解决现有技术中的上述问题,本发明提出了一种基于对抗学习的人脸图像合成方法和装置,可以同时处理人脸的视角变化和遮挡。
本发明公开了一种新型的生成对抗网络(jointly Frontalize and Completeface images through a Generative Adversarial Network(FC-GAN)),旨在从遮挡的人脸图像合成标准光照下的正面人脸图像。FC-GAN使用一个编码器-解码器的卷积神经网络结构作为生成器,同时引入了两个判别器:一个是全局判别器,用于区分整张人脸图像的真实性,同时保持人的身份信息不变;另一个是局部判别器,用于区分人脸中遮挡区域的真实性。由于基于生成对抗网络合成正面人脸的方法生成的人脸图像存在五官不一致的现象,FC-GAN引入一个人脸语义分割网络强化生成图像中人脸五官的一致性。通过对比合成人脸图像和真实人脸图像的语义标签,反传梯度给生成器调整合成人脸图像的五官。
具体来说,本发明采用的技术方案如下:
一种基于对抗学习的人脸图像合成方法,包括以下步骤:
1)将遮挡的人脸图像输入生成器,通过所述生成器合成正面人脸图像并补全缺失的人脸部分;
2)将所述生成器合成的正面人脸图像和数据库中真实的正面人脸图像输入全局判别器,通过所述全局判别器区分整张人脸图像的真实性,同时保持人的身份信息不变;
3)将所述生成器合成的正面人脸图像的遮挡区域和数据库中真实的正面人脸图像对应遮挡区域的部分输入局部判别器,通过所述局部判别器区分人脸图像中遮挡区域的真实性;
4)将所述生成器合成的正面人脸图像和数据库中真实的正面人脸图像输入人脸语义分割网络,通过所述人脸语义分割网络强化生成的图像中人脸五官的一致性;
5)将所述全局判别器、所述局部判别器和所述人脸语义分割网络的梯度反传到所述生成器,以对所述生成器进行训练,最终通过生成器合成标准光照下的正面的无遮挡的人脸图像。
进一步地,所述生成器包含编码器和解码器;所述编码器首先从输入人脸图像中提取一个身份特征表达,然后将该身份特征表达与一个噪声向量串联来增加生成图像的多样性,最后将合并的向量送入解码器来合成最终的正面人脸图像,并标记其中对应遮挡位置的区域。
进一步地,所述生成器中的编码器由五个卷积模块组成,解码器由五个反卷积模块组成;所述卷积模块中的各层依次为:输入层、卷积层、批标准化层、ELU层、卷积层、批标准化层、ELU层、卷积层、批标准化层、ELU层、输出层;所述反卷积模块中的各层依次为:输入层、反卷积层、批标准化层、ELU层、反卷积层、批标准化层、ELU层、反卷积层、批标准化层、ELU层、输出层。
进一步地,定义一个结构化的L1损失函数作为所述生成器的损失函数,所述结构化的L1损失函数在人脸关键部位的像素上设置更大的权重,以重建出高质量的人脸五官。
进一步地,由所述人脸关键部位的像素位置组成掩膜M,所述结构化的L1损失函数定义如下:
Lstruct=|IGT-IF|+α|M⊙IGT-M⊙IF|
其中,|·|表示L1损失,⊙表示哈达玛积,IGT代表目标正面人脸图像,α是用来平衡人脸关键部位像素之间权重的系数,IF表示生成器合成的正面人脸图像。
进一步地,所述人脸关键部位包括眉毛、眼睛、鼻子、嘴巴和牙齿。
进一步地,所述全局判别器的网络结构为:在所述生成器的编码器的网络结构基础上,在最后增加一层全连接层来判断图像的真假和人的身份。
进一步地,所述局部判别器比所述全局判别器少一个卷积模块。
进一步地,所述人脸语义分割网络包含一个编码器和一个解码器,所述编码器包含五个卷积模块,所述解码器包含五个反卷积模块;卷积模块和反卷积模块中的卷积层使用大小为3*3、步长为1的卷积核;卷积模块和反卷积模块中的卷积层后面都接有非线性激活函数ReLU;每个卷积模块的末尾都使用最大池化层,每个反卷积模块的开始都使用双线性上采样层。
一种基于对抗学习的人脸图像合成装置,包括生成器、全局判别器、局部判别器和人脸语义分割网络;
所述生成器根据输入的遮挡的人脸图像合成正面人脸图像并补全缺失的人脸部分;
所述全局判别器的输入为所述生成器合成的正面人脸图像和数据库中真实的正面人脸图像,用于区分整张人脸图像的真实性,同时保持人的身份信息不变;
所述局部判别器的输入为所述生成器合成的正面人脸图像的遮挡区域和数据库中真实的正面人脸图像对应遮挡区域的部分,用于区分人脸图像中遮挡区域的真实性;
所述人脸语义分割网络的输入为所述生成器合成的正面人脸图像和数据库中真实的正面人脸图像,用于强化生成的图像中人脸五官的一致性;
所述全局判别器、所述局部判别器和所述人脸语义分割网络的梯度反传到所述生成器,以对所述生成器进行训练,最终所述生成器合成标准光照下的正面的无遮挡的人脸图像。
本发明的有益效果如下:
现有的DF-GAN、DR-GAN、TP-GAN等方案,是分别对角度变化和遮挡问题提出解决方案,本发明提出的新型的生成对抗网络FC-GAN可以同时处理这两个问题,能够从遮挡的人脸图像合成标准光照下的正面人脸图像。不同于现有方法,本发明从人脸分割网络中引入了语义信息的指导来使得人脸的不同成分保持一致,此外还提出了结构化的L1损失函数来强化人脸的关键部分。基准数据集Multi-PIE上的实验结果表明,本发明的FC-GAN的性能优于现有的大多数方法。
附图说明
图1所示为本发明的FC-GAN的网络结构。输入一张遮挡的侧面人脸图像,生成器生成正面人脸图像,同时判别器使得生成的图像更加逼真。此外,引入人脸语义分割网络强化生成图像中人脸五官的一致性。
图2所示为人脸十一个标签的示例。(左)输入的人脸图像。(中)输出的人脸语义分割结果。(右)不同颜色所代表的人脸部位。
图3所示为编码器中一个卷积模块的详细结构。图中的数字代表卷积核宽×卷积核高×步长。
图4所示为解码器中一个反卷积模块的详细结构。图中的数字代表反卷积核宽×反卷积核高×步长。
图5为Multi-PIE测试数据集上从随机噪声遮挡的人脸图像合成的样本。在每一个面板中,从左到右:原始人脸图像,有遮挡的输入图像,生成的人脸图像。
图6所示为Multi-PIE测试数据集上从物体遮挡的人脸图像合成的样本。在每一个面板中,从左到右:原始人脸图像,有遮挡的输入图像,生成的人脸图像。
图7所示为Multi-PIE数据集中人脸图像的分割结果:(1、3、5列)输入的人脸图像。(2、4、6列)输出的人脸分割结果(不同的颜色代表不同的人脸部位)。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面通过具体实施例和附图,对本发明做进一步详细说明。
本实施例提供一种基于对抗学习的人脸合成方法,该方法的总体流程以及所采用的网络结构如图1所示,包括以下步骤:
S1:根据检测到的人脸关键点,对Multi-PIE数据库中的人脸图像进行裁剪。
S2:从Caltech 101、Caltech 256和Cambridge Hand Gesture数据集中选取出24种物体。对人脸图像利用随机噪声或者上述物体随机遮挡人脸图像的1/4区域。
S3:用Helen数据库训练人脸语义分割网络。本发明设计的人脸语义分割网络包含一个编码器和一个解码器。编码器网络中有五个卷积模块,同时解码器网络中有五个反卷积模块。卷积层使用大小为3*3、步长为1的卷积核。卷积模块和反卷积模块中的卷积层后面都接有非线性激活函数ReLU。特例是反卷积模块的最后一层没有接ReLU。网络在每个卷积模块的末尾都使用了最大池化层,在每个反卷积模块的开始都使用了双线性上采样层。需要注意的是,人脸语义分割网络与生成器所使用的卷积模块和反卷积模块是不同的。图2展示了人脸图像和对应的语义分割结果。
S4:将遮挡后的人脸图像送入设计的生成器合成标准光照下的正面人脸图像,同时补全缺失的人脸部分。
S41:生成器由编码器和解码器组成,其中编码器由五个卷积模块组成,图3展示了其中一个卷积模块的详细结构,依次包括:输入层、卷积层、批标准化层(BatchNormalization)、ELU层、卷积层、批标准化层、ELU层、卷积层、批标准化层、ELU层、输出层。解码器由五个反卷积模块组成,图4展示了其中一个反卷积模块的详细结构,依次包括:输入层、反卷积层、批标准化层、ELU层、反卷积层、批标准化层、ELU层、反卷积层、批标准化层、ELU层、输出层。
S42:编码器首先从输入人脸图像I中提取一个320维的身份特征表达RI;然后将RI与一个噪声向量串联来增加生成图像的多样性;最后将合并的向量送入解码器来合成最终的正面人脸图像IF。将IF中对应遮挡位置的区域标记为IFM。
S43:已有方法通常利用L1损失或者L2损失函数来生成人脸图像,与他们不同,本发明定义了一个结构化的L1损失函数作为生成器的损失函数。因为人脸不同部位的纹理差异较大,直接应用L1损失不能够重建出高质量的人脸五官。为了提升重建人脸五官的质量,结构化的L1损失在人脸关键部位的像素上设置了更大的权重,其中关键的人脸五官部分包括眉毛、眼睛、鼻子、嘴巴和牙齿。这些关键部位的像素位置组成了掩膜M。结构化的L1损失定义如下:
Lstruct=|IGT-IF|+α|M⊙IGT-M⊙IF|
其中,|·|表示L1损失,⊙表示哈达玛积(Hadamard Product),IGT代表目标正面人脸图像,α是用来平衡人脸关键部位像素之间权重的系数。
S5:将生成器合成的假图IF和数据库中的真图IGT送入全局判别器进行训练,使得全局判别器尽可能的区分开真图和假图。利用全局判别器对人的身份进行分类。如果全局判别器将IF分类到真图,那么判别器将会对它的身份进行分类。如果全局判别器将IF分类到假图,那么判别器将不会对它的身份进行分类。全局判别器在最后一层有两个分支:一个分支判断图像的真假,向量的长度是1;另一个分支对人的身份进行分类,向量的长度与训练集中人的个数相等。综上所述,全局判别器使得IF在保持身份信息不变的同时更加逼真。全局判别器的网络结构在生成器中的编码器网络结构的基础上,在最后增加了一层全连接层来判断图像的真假和人的身份。
S6:将IFM送入局部判别器,判断IFM是真图还是假图,从而使得遮挡区域IFM更加逼真。局部判别器比全局判别器少一个卷积模块,图3展示了一个卷积模块的详细结构。
S7:将生成器合成的假图IF和数据库中的真图IGT送入人脸语义分割网络输出语义分割结果,将IGT输出的语义分割结果当作真值,计算误差,将梯度反传到生成器,与判别器的梯度一起对生成器进行训练,最终通过生成器合成标准光照下的正面的无遮挡的人脸图像。
图5为Multi-PIE测试数据集上从随机噪声遮挡的人脸图像合成的样本。在每一个面板中,从左到右:原始人脸图像,有遮挡的输入图像,生成的人脸图像。
图6所示为Multi-PIE测试数据集上从物体遮挡的人脸图像合成的样本。在每一个面板中,从左到右:原始人脸图像,有遮挡的输入图像,生成的人脸图像。
图7所示为Multi-PIE数据集中人脸图像的分割结果:(1、3、5列)输入的人脸图像。(2、4、6列)输出的人脸分割结果(不同的颜色代表不同的人脸部位)。
本发明另一实施例提供一种基于对抗学习的人脸图像合成装置,包括生成器、全局判别器、局部判别器和人脸语义分割网络;
所述生成器根据输入的遮挡的人脸图像合成正面人脸图像并补全缺失的人脸部分;
所述全局判别器的输入为所述生成器合成的正面人脸图像和数据库中真实的正面人脸图像,用于区分整张人脸图像的真实性,同时保持人的身份信息不变;
所述局部判别器的输入为所述生成器合成的正面人脸图像的遮挡区域和数据库中真实的正面人脸图像对应遮挡区域的部分,用于区分人脸图像中遮挡区域的真实性;
所述人脸语义分割网络的输入为所述生成器合成的正面人脸图像和数据库中真实的正面人脸图像,用于强化生成的图像中人脸五官的一致性;
所述全局判别器、所述局部判别器和所述人脸语义分割网络的梯度反传到所述生成器,以对所述生成器进行训练,最终所述生成器合成标准光照下的正面的无遮挡的人脸图像。
本发明中的生成器、全局判别器、局部判别器、人脸语义分割网络除上述实施例中公开的网络结构以外,也可以采用其它适用的网络结构。
以上实施例仅用以说明本发明的技术方案而非对其进行限制,本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明的原理和范围,本发明的保护范围应以权利要求书所述为准。
Claims (9)
1.一种基于对抗学习的人脸图像合成方法,其特征在于,包括以下步骤:
将遮挡的人脸图像输入生成器,通过所述生成器合成正面人脸图像并补全缺失的人脸部分;
将所述生成器合成的正面人脸图像和数据库中真实的正面人脸图像输入全局判别器,通过所述全局判别器区分整张人脸图像的真实性,同时保持人的身份信息不变;所述全局判别器的网络结构为:在所述生成器的编码器的网络结构基础上,在最后增加一层全连接层来判断图像的真假和人的身份信息;如果全局判别器将所述生成器合成的正面人脸图像分类到真图,则对所述生成器合成的正面人脸图像中人的身份进行分类;如果全局判别器将所述生成器合成的正面人脸图像分类到假图,则不对所述生成器合成的正面人脸图像中人的身份进行分类;
将所述生成器合成的正面人脸图像的遮挡区域和数据库中真实的正面人脸图像对应遮挡区域的部分输入局部判别器,通过所述局部判别器区分人脸图像中遮挡区域的真实性;
将所述生成器合成的正面人脸图像和数据库中真实的正面人脸图像输入人脸语义分割网络,通过所述人脸语义分割网络强化生成的图像中人脸五官的一致性;
将所述全局判别器、所述局部判别器和所述人脸语义分割网络的梯度反传到所述生成器,以对所述生成器进行训练,最终通过所述生成器合成标准光照下的正面的无遮挡的人脸图像。
2.根据权利要求1所述的方法,其特征在于,所述生成器包含编码器和解码器;所述编码器首先从输入人脸图像中提取一个身份特征表达,然后将该身份特征表达与一个噪声向量串联来增加生成图像的多样性,最后将合并的向量送入解码器来合成最终的正面人脸图像,并标记其中对应遮挡位置的区域。
3.根据权利要求2所述的方法,其特征在于,所述生成器中的编码器由五个卷积模块组成,解码器由五个反卷积模块组成;所述卷积模块中的各层依次为:输入层、卷积层、批标准化层、ELU层、卷积层、批标准化层、ELU层、卷积层、批标准化层、ELU层、输出层;所述反卷积模块中的各层依次为:输入层、反卷积层、批标准化层、ELU层、反卷积层、批标准化层、ELU层、反卷积层、批标准化层、ELU层、输出层。
4.根据权利要求2或3所述的方法,其特征在于,定义一个结构化的L1损失函数作为所述生成器的损失函数,所述结构化的L1损失函数在人脸关键部位的像素上设置更大的权重,以重建出高质量的人脸五官。
5.根据权利要求4所述的方法,其特征在于,由所述人脸关键部位的像素位置组成掩膜M,所述结构化的L1损失函数定义如下:
Lstruct=|IGT-IF|+α|M⊙IGT-M⊙IF|
其中,|·|表示L1损失,⊙表示哈达玛积,IGT代表目标正面人脸图像,α是用来平衡人脸关键部位像素之间权重的系数,IF表示生成器合成的正面人脸图像。
6.根据权利要求4所述的方法,其特征在于,所述人脸关键部位包括眉毛、眼睛、鼻子、嘴巴和牙齿。
7.根据权利要求1所述的方法,其特征在于,所述局部判别器比所述全局判别器少一个卷积模块。
8.根据权利要求1所述的方法,其特征在于,所述人脸语义分割网络包含一个编码器和一个解码器,所述编码器包含五个卷积模块,所述解码器包含五个反卷积模块;卷积模块和反卷积模块中的卷积层使用大小为3*3、步长为1的卷积核;卷积模块和反卷积模块中的卷积层后面都接有非线性激活函数ReLU;每个卷积模块的末尾都使用最大池化层,每个反卷积模块的开始都使用双线性上采样层。
9.一种基于对抗学习的人脸图像合成装置,其特征在于,包括生成器、全局判别器、局部判别器和人脸语义分割网络;
所述生成器根据输入的遮挡的人脸图像合成正面人脸图像并补全缺失的人脸部分;
所述全局判别器的输入为所述生成器合成的正面人脸图像和数据库中真实的正面人脸图像,用于区分整张人脸图像的真实性,同时保持人的身份信息不变;所述全局判别器的网络结构为:在所述生成器的编码器的网络结构基础上,在最后增加一层全连接层来判断图像的真假和人的身份信息;如果全局判别器将所述生成器合成的正面人脸图像分类到真图,则对所述生成器合成的正面人脸图像中人的身份进行分类;如果全局判别器将所述生成器合成的正面人脸图像分类到假图,则不对所述生成器合成的正面人脸图像中人的身份进行分类;
所述局部判别器的输入为所述生成器合成的正面人脸图像的遮挡区域和数据库中真实的正面人脸图像对应遮挡区域的部分,用于区分人脸图像中遮挡区域的真实性;
所述人脸语义分割网络的输入为所述生成器合成的正面人脸图像和数据库中真实的正面人脸图像,用于强化生成的图像中人脸五官的一致性;
所述全局判别器、所述局部判别器和所述人脸语义分割网络的梯度反传到所述生成器,以对所述生成器进行训练,最终所述生成器合成标准光照下的正面的无遮挡的人脸图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910097890.5A CN109815928B (zh) | 2019-01-31 | 2019-01-31 | 一种基于对抗学习的人脸图像合成方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910097890.5A CN109815928B (zh) | 2019-01-31 | 2019-01-31 | 一种基于对抗学习的人脸图像合成方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109815928A CN109815928A (zh) | 2019-05-28 |
CN109815928B true CN109815928B (zh) | 2021-05-11 |
Family
ID=66606110
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910097890.5A Active CN109815928B (zh) | 2019-01-31 | 2019-01-31 | 一种基于对抗学习的人脸图像合成方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109815928B (zh) |
Families Citing this family (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110163796B (zh) * | 2019-05-29 | 2023-03-24 | 北方民族大学 | 一种无监督多模态对抗自编码的图像生成方法及框架 |
CN110335212B (zh) * | 2019-06-28 | 2021-01-15 | 西安理工大学 | 基于条件对抗网络的缺损古籍汉字修复方法 |
CN110399856B (zh) * | 2019-07-31 | 2021-09-14 | 上海商汤临港智能科技有限公司 | 特征提取网络训练方法、图像处理方法、装置及其设备 |
CN110705353A (zh) * | 2019-08-29 | 2020-01-17 | 北京影谱科技股份有限公司 | 基于注意力机制的遮挡人脸的识别方法和装置 |
CN110543846B (zh) * | 2019-08-29 | 2021-12-17 | 华南理工大学 | 一种基于生成对抗网络的多姿态人脸图像正面化方法 |
CN110599435B (zh) * | 2019-09-04 | 2021-01-12 | 精英数智科技股份有限公司 | 一种图像合成的方法、装置、设备和存储介质 |
CN110782503B (zh) * | 2019-09-16 | 2021-06-15 | 中国电子进出口有限公司 | 一种基于两分支深度相关网络的人脸图像合成方法和装置 |
CN110633748B (zh) * | 2019-09-16 | 2022-06-14 | 电子科技大学 | 一种鲁棒的自动人脸融合方法 |
CN110738161A (zh) * | 2019-10-12 | 2020-01-31 | 电子科技大学 | 一种基于改进生成式对抗网络的人脸图像矫正方法 |
CN110706303B (zh) * | 2019-10-15 | 2021-05-11 | 西南交通大学 | 基于GANs的人脸图像生成方法 |
CN110868598B (zh) * | 2019-10-17 | 2021-06-22 | 上海交通大学 | 基于对抗生成网络的视频内容替换方法及*** |
CN110929786B (zh) * | 2019-11-22 | 2023-08-01 | 湃方科技(北京)有限责任公司 | 一种数据增广方法及电子设备 |
CN111080650B (zh) * | 2019-12-12 | 2020-10-09 | 哈尔滨市科佳通用机电股份有限公司 | 铁路货车小部件轴承挡键螺母松动和丢失故障检测方法 |
CN111028251B (zh) * | 2019-12-27 | 2023-08-11 | 成都牙讯科技有限公司 | 一种牙科图片剪裁方法、***、设备及存储介质 |
CN111242078A (zh) * | 2020-01-20 | 2020-06-05 | 重庆邮电大学 | 一种基于自注意力机制的人脸正脸化生成方法 |
CN111275057B (zh) * | 2020-02-13 | 2023-06-20 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置及设备 |
CN111523412A (zh) * | 2020-04-08 | 2020-08-11 | 北京百度网讯科技有限公司 | 图像处理方法和装置 |
CN111553235B (zh) * | 2020-04-22 | 2023-04-07 | 支付宝(杭州)信息技术有限公司 | 保护隐私的网络训练方法、身份识别方法及装置 |
CN111652827B (zh) * | 2020-04-24 | 2023-04-18 | 山东大学 | 一种基于生成对抗网络的正面人脸合成方法及*** |
CN111476200B (zh) * | 2020-04-27 | 2022-04-19 | 华东师范大学 | 基于生成对抗网络的人脸去识别化生成方法 |
CN111797682A (zh) * | 2020-05-21 | 2020-10-20 | 天津大学 | 一种跨模态特征学习和人脸合成的方法 |
CN111667004B (zh) * | 2020-06-05 | 2024-05-31 | 孝感市思创信息科技有限公司 | 数据生成方法、装置、设备以及存储介质 |
CN111598051B (zh) * | 2020-06-16 | 2023-11-14 | 腾讯科技(深圳)有限公司 | 一种脸部验证方法、装置、设备及可读存储介质 |
CN111709878B (zh) | 2020-06-17 | 2023-06-23 | 北京百度网讯科技有限公司 | 人脸超分辨率实现方法、装置、电子设备及存储介质 |
CN113761997B (zh) * | 2020-08-27 | 2024-04-09 | 北京沃东天骏信息技术有限公司 | 生成半遮挡人脸识别器的方法和装置 |
CN113255788B (zh) * | 2021-05-31 | 2023-04-07 | 西安电子科技大学 | 基于两阶段掩码指导的生成对抗网络人脸校正方法及*** |
CN113239867B (zh) * | 2021-05-31 | 2023-08-11 | 西安电子科技大学 | 一种基于掩码区域自适应增强的光照变化人脸识别方法 |
CN113378721B (zh) * | 2021-06-11 | 2023-08-18 | 西安电子科技大学 | 一种基于对称和局部判别的生成对抗人脸校正方法及*** |
WO2023097640A1 (zh) * | 2021-12-03 | 2023-06-08 | 宁德时代新能源科技股份有限公司 | 用于生成包含特定特征的图像样本的方法和*** |
CN114821747A (zh) * | 2022-05-26 | 2022-07-29 | 深圳市科荣软件股份有限公司 | 一种工地人员异常状态识别方法及装置 |
CN116704084B (zh) * | 2023-08-01 | 2023-11-03 | 苏州浪潮智能科技有限公司 | 人脸动画生成网络的训练方法、人脸动画生成方法及装置 |
CN117079142B (zh) * | 2023-10-13 | 2024-01-26 | 昆明理工大学 | 无人机自动巡检的反注意生成对抗道路中心线提取方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107239766A (zh) * | 2017-06-08 | 2017-10-10 | 深圳市唯特视科技有限公司 | 一种利用对抗网络和三维形态模型的大幅度人脸摆正方法 |
CN108446609A (zh) * | 2018-03-02 | 2018-08-24 | 南京邮电大学 | 一种基于生成对抗网络的多角度面部表情识别方法 |
CN108460830A (zh) * | 2018-05-09 | 2018-08-28 | 厦门美图之家科技有限公司 | 图像修复方法、装置及图像处理设备 |
CN108537743A (zh) * | 2018-03-13 | 2018-09-14 | 杭州电子科技大学 | 一种基于生成对抗网络的面部图像增强方法 |
CN109191402A (zh) * | 2018-09-03 | 2019-01-11 | 武汉大学 | 基于对抗生成神经网络的图像修复方法和*** |
CN109255831A (zh) * | 2018-09-21 | 2019-01-22 | 南京大学 | 基于多任务学习的单视图人脸三维重建及纹理生成的方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10474880B2 (en) * | 2017-03-15 | 2019-11-12 | Nec Corporation | Face recognition using larger pose face frontalization |
CN107292813B (zh) * | 2017-05-17 | 2019-10-22 | 浙江大学 | 一种基于生成对抗网络的多姿态人脸生成方法 |
CN108334816B (zh) * | 2018-01-15 | 2021-11-23 | 桂林电子科技大学 | 基于轮廓对称约束生成式对抗网络的多姿态人脸识别方法 |
CN108932693B (zh) * | 2018-06-15 | 2020-09-22 | 中国科学院自动化研究所 | 基于人脸几何信息的人脸编辑补全方法及装置 |
CN109284738B (zh) * | 2018-10-25 | 2020-08-04 | 上海交通大学 | 不规则人脸矫正方法和*** |
-
2019
- 2019-01-31 CN CN201910097890.5A patent/CN109815928B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107239766A (zh) * | 2017-06-08 | 2017-10-10 | 深圳市唯特视科技有限公司 | 一种利用对抗网络和三维形态模型的大幅度人脸摆正方法 |
CN108446609A (zh) * | 2018-03-02 | 2018-08-24 | 南京邮电大学 | 一种基于生成对抗网络的多角度面部表情识别方法 |
CN108537743A (zh) * | 2018-03-13 | 2018-09-14 | 杭州电子科技大学 | 一种基于生成对抗网络的面部图像增强方法 |
CN108460830A (zh) * | 2018-05-09 | 2018-08-28 | 厦门美图之家科技有限公司 | 图像修复方法、装置及图像处理设备 |
CN109191402A (zh) * | 2018-09-03 | 2019-01-11 | 武汉大学 | 基于对抗生成神经网络的图像修复方法和*** |
CN109255831A (zh) * | 2018-09-21 | 2019-01-22 | 南京大学 | 基于多任务学习的单视图人脸三维重建及纹理生成的方法 |
Non-Patent Citations (3)
Title |
---|
Beyond Face Rotation: Global and Local Perception GAN for Photorealistic and Identity Preserving Frontal View Synthesis;Rui Huang等;《2017 IEEE International Conference on Computer Vision》;20171029;第2458-2467段 * |
Perceptual Face Completion using a Local-Global Generative Adversarial Network;Ruijun Ma等;《2018 24th International Conference on Pattern Recognition》;20180824;第1670-1675段 * |
UV-GAN: Adversarial Facial UV Map Completion for Pose-Invariant Face Recognition;Jiankang Deng等;《2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition》;20180623;第7093-7102页 * |
Also Published As
Publication number | Publication date |
---|---|
CN109815928A (zh) | 2019-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109815928B (zh) | 一种基于对抗学习的人脸图像合成方法和装置 | |
Tolosana et al. | Deepfakes and beyond: A survey of face manipulation and fake detection | |
Chen et al. | Fsrnet: End-to-end learning face super-resolution with facial priors | |
CN108537743B (zh) | 一种基于生成对抗网络的面部图像增强方法 | |
CN110728628B (zh) | 一种基于条件生成对抗网络的人脸去遮挡方法 | |
CN111783566B (zh) | 一种基于唇语同步和神态适配效果增强的视频合成方法 | |
CN110399849A (zh) | 图像处理方法及装置、处理器、电子设备及存储介质 | |
CN111932444A (zh) | 基于生成对抗网络的人脸属性编辑方法及信息处理终端 | |
Ren et al. | Reinforced swin-convs transformer for simultaneous underwater sensing scene image enhancement and super-resolution | |
Yu et al. | Semantic face hallucination: Super-resolving very low-resolution face images with supplementary attributes | |
CN110378208B (zh) | 一种基于深度残差网络的行为识别方法 | |
CN110610464A (zh) | 一种基于稠密残差神经网络的人脸图像超分辨率方法 | |
CN111275638B (zh) | 基于多通道注意力选择生成对抗网络的人脸修复方法 | |
CN111080513A (zh) | 一种基于注意力机制的人脸图像超分辨率方法 | |
CN111275613A (zh) | 一种引入注意力机制生成对抗网络人脸属性编辑方法 | |
Kim et al. | Pixel-wise wasserstein autoencoder for highly generative dehazing | |
CN115914505B (zh) | 基于语音驱动数字人模型的视频生成方法及*** | |
CN116563681A (zh) | 一种基于注意力交叉和双路特征融合网络的注视估计检测算法 | |
CN112633234A (zh) | 人脸去眼镜模型训练、应用方法及其装置、设备和介质 | |
CN115526891B (zh) | 一种缺陷数据集的生成模型的训练方法及相关装置 | |
Guo et al. | Deep illumination-enhanced face super-resolution network for low-light images | |
Wang et al. | Convolutional LSTM-based hierarchical feature fusion for multispectral pan-sharpening | |
CN112949707A (zh) | 一种基于多尺度语义信息监督的跨模态人脸图像生成方法 | |
CN115565039A (zh) | 基于自注意力机制的单目输入动态场景新视图合成方法 | |
CN113379606B (zh) | 一种基于预训练生成模型的人脸超分辨方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |