CN113553895A - 一种基于人脸正面化的多姿态人脸识别方法 - Google Patents
一种基于人脸正面化的多姿态人脸识别方法 Download PDFInfo
- Publication number
- CN113553895A CN113553895A CN202110292442.8A CN202110292442A CN113553895A CN 113553895 A CN113553895 A CN 113553895A CN 202110292442 A CN202110292442 A CN 202110292442A CN 113553895 A CN113553895 A CN 113553895A
- Authority
- CN
- China
- Prior art keywords
- image
- face
- face image
- loss
- synthesized
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000012549 training Methods 0.000 claims abstract description 26
- 230000036544 posture Effects 0.000 claims abstract description 13
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 29
- 238000005286 illumination Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 9
- 239000002131 composite material Substances 0.000 claims description 7
- 230000008447 perception Effects 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000001815 facial effect Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 5
- 230000009286 beneficial effect Effects 0.000 abstract description 4
- 230000002411 adverse Effects 0.000 abstract description 2
- 230000009466 transformation Effects 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 7
- 230000014509 gene expression Effects 0.000 description 4
- 230000001680 brushing effect Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000012113 quantitative test Methods 0.000 description 2
- 230000016571 aggressive behavior Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于人脸正面化的多姿态人脸识别方法,针对实际应用中的人脸姿态变化问题,提出了一种合成正面人脸图像的新方法。本发明利用编码器和解码器构成的生成器提取特征并合成正面人脸图像;利用特征判别器和图像判别器判断特征域和图像真假;利用特征提取器提取合成正脸图像和目标合成图像的特征;通过设计的损失函数,交替训练基于生成对抗网络设计的网络,直到损失函数的值稳定收敛。本发明可以将各种姿态的人脸图像校正为正脸图像,有助于减少人脸姿态变换给人脸识别带来的不利影响,有利于人脸识别在非限制条件下的实际应用。
Description
技术领域
本发明属于人脸识别技术领域,具体涉及一种基于人脸正面化的多姿态人脸识别方法。
背景技术
人脸识别技术具有非接触性,易于获取且获取过程不会造成强烈的侵略性等优点,在各个领域都得到了广泛地应用,社区管理中的刷脸门禁,手机移动端的刷脸解锁,超市商场中的刷脸支付,生活中处处可见人脸识别技术的影子。。近年来,,基于深度神经网络的人脸识别***的性能已经显著地超过了基于手工设计特征的人脸识别***。因此,研究基于深度学习的人脸识别***符合当前的研究趋势,具有良好的应用前景。
在理想的实验条件下,正面人脸识别技术获得了较高的识别精度,但这种技术的应用通常是在被识别人员的配合下完成的。随着人脸识别技术的不断成熟,人们希望人脸识别技术能更好地应用于非受控环境中。在非受控环境下,采集到的人脸图像具有不确定性,大概率具有一定的头部旋转。在这种情况下,直接利用采集到的人脸图像提取特征进行识别,人脸识别准确率会大幅度下降。。针对人脸识别中的姿态问题,现有的处理方法通常可以分为两类。一种方法如文献[1,2]等是直接从非正面人脸图像中学习具有鲁棒性的特征,但在偏转角度较大时提取鲁棒性特征很困难。另一种方法如文献[3,4,5]等是人脸正面化,即利用非正面人脸图像合成同一身份的正面人脸图像,然后利用合成图像进行人脸识别。这种方法一般可以处理偏转较小角度的侧面人脸,但当偏转角度逐渐增大时,超过60°的侧脸合成正面人脸存在严重变形并且可能丢失身份特征,导致后续人脸识别准确率的下降。
相比于其他基于生成对抗网络的多姿态人脸识别方法,本发明利用生成对抗网络进行了人脸转正,采用了不同的网络结构和损失函数。即使输入偏转角度较大的人脸图像,本发明也能够合成逼真的人脸正面图像并且保留更多的人物身份信息,大幅度提高了后续人脸识别工作的效率
[1]Chen D,Cao X,Wen F,et al.Blessing of dimensionality:High-dimensional feature and its efficient compression for face verification[C]//Proceedings of the IEEE conference on computer vision and patternrecognition.2013:3025-3032.
[2]Schroff F,Kalenichenko D,Philbin J.Facenet:A unified embedding forface recognition and clustering[C]//Proceedings of the IEEE conference oncomputer vision and pattern recognition.2015:815-823.
[3]Zhu Z,Luo P,Wang X,et al.Multi-view perceptron:a deep model forlearning face identity and view representations[C]//Advances in NeuralInformation Processing Systems.2014:217-225.
[4]Yin X,Yu X,Sohn K,et al.Towards large-pose face frontalization inthe wild[C]//Proceedings of the IEEE international conference on computervision.2017:3990-3999.
[5]Hu Y,Wu X,Yu B,et al.Pose-guided photorealistic face rotation[C]//Proceedings of the IEEE conference on computer vision and patternrecognition.2018:8398-8406.
发明内容
针对现有技术存在的不足,本发明提供了一种基于生成对抗网络的人脸正面化方法,通过深度学习技术解决由于面部偏转无法获取正面人脸的问题,所实现的***应当在不同面部角度偏转的情况下实现正面人脸的合成,并保留原始身份
本发明所采用的技术方案是:
一种基于人脸正面化的多姿态人脸识别方法,步骤1,收集各个姿态的人脸图像作为训练集,包括非正面人脸图像集和正面人脸图像集 和分别代表第i个人的非正面人脸图像和正面人脸图像,并且已知XP和XF对应的身份集为和
步骤2,在训练阶段,把训练集中的非正面人脸图像XP和正面人脸图像XF分别输入到编码器E,得到姿态不变的特征fP和fF;将特征fP和fF输入到解码器G,得到合成的正面人脸图像分别为和将合成的正面人脸图像输入到编码器E,到正面人脸特征g;
步骤3,将特征fP和fF输入特征空间的判别器Df,判断输入的特征是来自非正面人脸图像XP还是正面人脸图像XF;将合成的正面人脸图像和对应身份的真实正脸Y输入到图像空间的判别器Dg,判断这些输入图像的是合成图像还是非合成图像;
步骤5,将步骤3的判别结果、步骤4提取的特征、合成的正面人脸图像真实正面人脸图像Y带入到预先设计好的损失函数中,交替训练由编码器E、解码器G、特征判别器Df、图像判别器Dg、特征提取器F构成的模型,直至训练完成;
优选地,在步骤1中,所有人脸图像皆来自数据集Multi-PIE;该数据集的图像数目超过75万张,包含337人的在20张光照下15姿态6种表情的图像,非正面人脸图像为包含13种姿态20种光照的200人的图像,记作XP;正面人脸图像为包含正面姿态20种光照的200人的图像,记作XF。
优选地,在步骤2中,编码器E采用VGG-19网络结构提取特征fP和fF,fP和fF大小分别为h×w×d,在编码器和解码器之间利用了skip connection,解码器每个上采样层concatenate到对应的编码器卷积得到的特征层,从而实现对每层特征图都有效使用。
优选地,在步骤3中,所述判别器Df是一个以卷积神经网络为基础的二分类器,判断输入的特征fP和fF是来自非正面人脸图像XP还是正脸人脸图像XF,图像判别器Dg是一个以ResNet18结构为基础的分类器,判断输入图像和Y是合成图像还是真实图像。
优选地,在步骤4中,特征提取器F是预训练的的VGG-Face网络,训练过程中参数固定不进行更新。
优选地,在步骤5中,所述损失函数的目标是最小化合成的正脸图像和非合成的正脸图像之间的差异,从而使合成的正脸图像能够保留更多输入人脸图像的身份信息;步骤5中用到的损失函数包括重建损失函数、对称损失函数和对抗损失函数,还包括了感知损失;
首先是重建损失函数,它计算的是合成的正面人脸图像与的非合成的正面人脸图像ground-truth的损失,重建损失的公式定义如下:
其中,图像xp对应的ground-truth图像为yp,图像xF对应的ground-truth图像为yF;重建损失利用L1范数计算保证图像清晰度,正面人脸图像和非正面人脸图像在训练过程中会打乱,因此没必要同时观察相同身份不同偏转角度的图像;
其中,fF=E(xF)和fP=E(xP)分别代表正面人脸图像和非正面人脸图像编码得到的特征,G(fF)和G(fP)表示fP和fF经过合成的正脸图像,G(fF)sym和G(fP)sym代表合成的正脸图像经过左右翻转后得到的图像;
特征对抗损失的目标是使非正面人脸图像提取的特征能够欺骗特征判别器,从而让特征更接近正面人脸图像的特征,以鼓励编码器E提取出姿态不变的特征。特征对抗损失的公式如下:
其中,fF=E(xF)和fP=E(xP)分别代表正面人脸图像和非正面人脸图像编码得到的特征;
图像对抗损失的目标是使合成的正面人脸图像能够混淆图像判别器,从而让合成的图像更加接近真实图像,增强了合成图像的逼真程度。图像对抗损失的公式如下:
其中,xF为非合成的正面人脸图像,G(fP)和G(fF)是合成的人脸图像;
合成的正脸图片与目标正脸除了在像素级相似外,在特征空间也要相似。利用感知损失Lffeat可以达到这个目的;
解码器的目标不是简单地恢复输入的非正面人脸图像中丢失的细节,也要使恢复的正面人脸图像有助于后续的人脸识别任务,也就是说,恢复的正面人脸图像需要与原始的非正面人脸图像具有相同的身份。具体实现方法是添加身份损失;
总体的损失函数为:
其中,Lid、Lrec、Lsym和Lfeat分别代表身份损失、特征对抗损失、重建损失、图像对抗损失、对称损失和感知损失,λid、λtri、λrec、和λsym和λfeat代表控制对应损失重要性的权重;
优选地,在步骤5中交替地训练模型中各模块能够使其在对抗中互相优化提升,训练完成后,生成的图像清晰并且接近原始图像数据。
本发明与现有技术相比,具有如下优点与有益效果:
(1)本发明采用基于生成对抗网络的网络模块能够通过输入的非正面人脸图像合成出对应身份的正脸图像,可直接用于人脸识别等后续任务
(2)本发明在输入的人脸图像偏转角超过60°的时候,也可以生成清晰逼真的正脸图像,并且不会产生形变。
(3)本发明合成的正脸图像能够保留输入人脸图片的身份信息,有助于减少人脸姿态变换给人脸识别带来的不利影响,为后续的人脸身份识别工作带来便利。
附图说明
图1是本发明方法的流程图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明,下面结合附图对本发明作进一步的详细描述,应当理解,此处所描述的实施示例仅用于说明和解释本发明,并不用于限定本发明。
如图1所示,本实施例所提供的基于生成对抗网络进行人脸正面化的多姿态人脸识别方法,包括以下步骤:
步骤1,所用数据集的图像来源于Multi-PIE人脸数据集,数据集中的图片数目超过75万,包含了337个人的20种光照和15种姿态6种表情下的图像;图片的光照由光照标号01到20从暗变亮,其中光照标号07为标准光照条件;实验选取偏转角90°以内的13种姿态,所有光照条件下的标准表情人脸图像作为数据集。将实验数据集所有非正面人脸图像标记为XP,对每一张图像XP,找到同一人的、偏转角度为0°的标准表情图像记为XF。数据集在使用前利用MTCNN算法进行人脸检测和截取人脸等预处理。将实验数据前200人的图像划分为训练集,剩余137人的图像划分为测试集。对训练集所有图像进行归一化处理。归一化是指把图像的所有像素的值除以255,使图像所有像素的取值范围为[0,1]。同时对训练集中的图像进行随机剪切和随机左右翻转,来缓解模型过拟合的情况。
步骤2,在训练阶段,把多种姿态的人脸图像XP和XF分别输入到编码器E得到特征fP和fF,这两个特征通过解码器G恢复为正面人脸图像。恢复的正面人脸图像通过编码器E提取出正面人脸特征g。其中,编码器E均采用了预训练过的VGG-19网络结构,值得注意的是,在编码器和解码器之间利用了skip connection,采用类似U-net的网络结构来增强网络的稳定性,这将有助于图像重建的过程,允许更有效的梯度传播。
步骤3,将特征fP和fF输入特征空间的判别器Df,判断输入的特征是来自非正面人脸图像XP还是正面人脸图像XF。将合成的正面人脸图像和对应身份的真实正脸Y输入到图像空间的判别器Dg,判断这些输入图像的是合成图像还是真实图像。
Df是一个以卷积神经网络为基础的二分类器,有3个卷积层,核是4x4,步幅是2,通道数量是64,128,1,除了最后一层每一个卷积层后面都有一个LeakyRelu。它的作用是判断输入的特征f来自正面人脸图像还XF是侧面人脸图像XP。判别网络的最终输出一个值,用来表示输入特征来源于正面人脸图像的可能性,这个值越大说明输入图像来源于正面人脸图像的可能性越大。
步骤4,特征提取器F是预训练的的VGG-Face网络,训练过程中参数固定不进行更新。
步骤5,将步骤3的判别结果、步骤4提取的特征、合成的正面人脸图像真实正面人脸图像Y带入到预先设计好的损失函数中,交替训练由编码器E、解码器G、特征判别器Df、图像判别器Dg、特征提取器F构成的模型,直至训练完成。
步骤5中用到的损失函数除了同类型方法常用的重建损失函数、对称损失函数和对抗损失函数,还包括了感知损失函数。
首先是重建损失函数,它计算的是合成的正面人脸图像与的非合成的正面人脸图像ground-truth的损失,重建损失的公式定义如下:
其中,图像xp对应的ground-truth图像为yp,图像xF对应的ground-truth图像为yF。重建损失利用L1范数计算保证图像清晰度。正面人脸图像和非正面人脸图像在训练过程中会打乱,因此没必要同时观察相同身份不同偏转角度的图像。
其中,fF=E(xF)和fP=E(xP)分别代表正面人脸图像和非正面人脸图像编码得到的特征,G(fF)和G(fP)表示fP和fF经过合成的正脸图像,G(fF)sym和G(fP)sym代表合成的正脸图像经过左右翻转后得到的图像。
特征对抗损失的目标是使非正面人脸图像提取的特征能够欺骗特征判别器,从而让特征更接近正面人脸图像的特征,以鼓励编码器E提取出姿态不变的特征。特征对抗损失的公式如下:
其中,fF=E(xF)和fP=E(xP)分别代表正面人脸图像和非正面人脸图像编码得到的特征。
图像对抗损失的目标是使合成的正面人脸图像能够混淆图像判别器,从而让合成的图像更加接近真实图像,增强了合成图像的逼真程度。图像对抗损失的公式如下:
其中,xF为非合成的正面人脸图像,G(fP)和G(fF)是合成的人脸图像。
合成的正脸图片与目标正脸除了在像素级相似外,在特征空间也要相似。利用感知损失Lffeat可以达到这个目的。
解码器的目标不是简单地恢复输入的非正面人脸图像中丢失的细节,也要使恢复的正面人脸图像有助于后续的人脸识别任务,也就是说,恢复的正面人脸图像需要与原始的非正面人脸图像具有相同的身份。具体实现方法是添加身份损失。
总体的损失函数为:
其中,Lid、Lrec、Lsym和Lfeat分别代表身份损失、特征对抗损失、重建损失、图像对抗损失、对称损失和感知损失,λid、λtri、λrec、和λsym和λfeat代表控制对应损失重要性的权重。
交替地训练网络各模块能够使其在对抗中互相优化提升。在初始阶段,提取的特征不具有判别性,生成的人脸图像模糊不清,判别器能够轻易判断输入特征和图像的来源,鼓励编码器提取更具鲁棒性的特征,解码器生成更加清晰的图像。在后续阶段,编码器提取的特征更接近正面人脸图像的特征,生成的图像比较清晰并且接近原始图像数据了,鼓励判别器对输入特征和图像做出更加精确的判断,提高判别器的判别能力。
步骤6,在测试阶段,有定性测试和定量测试两种方法验证模型的效果。
定量测试中,把任意姿态的非正面人脸图像XP输入到训练完成的模型,得到一张合成的正面人脸图像通过基于欧几里得距离的近邻搜索得到最相似的gallery图像,计算probe图像第一次成功搜索到正确gallery图像的概率,得到Rank-1,Rank-1越大,说明模型效果越好。
应当理解的是,本说明书未详细阐述的部分均属于现有技术。
应当理解的是,上述针对较佳实施例的描述较为详细,并不能因此而认为是对本发明专利保护范围的限制,本领域的普通技术人员在本发明的启示下,在不脱离本发明权利要求所保护的范围情况下,还可以做出替换或变形,均落入本发明的保护范围之内,本发明的请求保护范围应以所附权利要求为准。
Claims (7)
1.一种基于人脸正面化的多姿态人脸识别方法,其特征在于:步骤1,收集各个姿态的人脸图像作为训练集,包括非正面人脸图像集和正面人脸图像集 和分别代表第i个人的非正面人脸图像和正面人脸图像,并且已知XP和XF对应的身份集为和
步骤2,在训练阶段,把训练集中的非正面人脸图像XP和正面人脸图像XF分别输入到编码器E,得到姿态不变的特征fP和fF;将特征fP和fF输入到解码器G,得到合成的正面人脸图像分别为和将合成的正面人脸图像输入到编码器E,到正面人脸特征g;
步骤3,将特征fP和fF输入特征空间的判别器Df,判断输入的特征是来自非正面人脸图像XP还是正面人脸图像XF;将合成的正面人脸图像和对应身份的真实正脸Y输入到图像空间的判别器Dg,判断这些输入图像的是合成图像还是非合成图像;
步骤5,将步骤3的判别结果、步骤4提取的特征、合成的正面人脸图像真实正面人脸图像Y带入到预先设计好的损失函数中,交替训练由编码器E、解码器G、特征判别器Df、图像判别器Dg、特征提取器F构成的模型,直至训练完成;
2.根据权利要求1所述的一种基于人脸正面化的多姿态人脸识别方法,其特征在于:在步骤1中,所有人脸图像皆来自数据集Multi-PIE;该数据集的图像数目超过75万张,包含337人的在20张光照下15姿态6种表情的图像,非正面人脸图像为包含13种姿态20种光照的200人的图像,记作XP;正面人脸图像为包含正面姿态20种光照的200人的图像,记作XF。
3.根据权利要求1所述的一种基于生成对抗网络的人脸正面化方法,其特征在于:在步骤2中,编码器E采用VGG-19网络结构提取特征fP和fF,fP和fF大小分别为h×w×d,在编码器和解码器之间利用了skip connection,解码器每个上采样层concatenate到对应的编码器卷积得到的特征层,从而实现对每层特征图都有效使用。
5.根据权利要求1所述的一种基于生成对抗网络的人脸正面化方法,其特征在于:在步骤4中,特征提取器F是预训练的的VGG-Face网络,训练过程中参数固定不进行更新。
6.根据权利要求1所述的一种基于生成对抗网络的人脸正面化方法,其特征在于:在步骤5中,所述损失函数的目标是最小化合成的正脸图像和非合成的正脸图像之间的差异,从而使合成的正脸图像能够保留更多输入人脸图像的身份信息;步骤5中用到的损失函数包括重建损失函数、对称损失函数和对抗损失函数,还包括了感知损失;
首先是重建损失函数,它计算的是合成的正面人脸图像与的非合成的正面人脸图像ground-truth的损失,重建损失的公式定义如下:
其中,图像xp对应的ground-truth图像为yp,图像xF对应的ground-truth图像为yF;重建损失利用L1范数计算保证图像清晰度,正面人脸图像和非正面人脸图像在训练过程中会打乱,因此没必要同时观察相同身份不同偏转角度的图像;
其中,fF=E(xF)和fP=E(xP)分别代表正面人脸图像和非正面人脸图像编码得到的特征,G(fF)和G(fP)表示fP和fF经过合成的正脸图像,G(fF)sym和G(fP)sym代表合成的正脸图像经过左右翻转后得到的图像;
特征对抗损失的目标是使非正面人脸图像提取的特征能够欺骗特征判别器,从而让特征更接近正面人脸图像的特征,以鼓励编码器E提取出姿态不变的特征。特征对抗损失的公式如下:
其中,fF=E(xF)和fP=E(xP)分别代表正面人脸图像和非正面人脸图像编码得到的特征;
图像对抗损失的目标是使合成的正面人脸图像能够混淆图像判别器,从而让合成的图像更加接近真实图像,增强了合成图像的逼真程度。图像对抗损失的公式如下:
其中,xF为非合成的正面人脸图像,G(fP)和G(fF)是合成的人脸图像;
解码器的目标不是简单地恢复输入的非正面人脸图像中丢失的细节,也要使恢复的正面人脸图像有助于后续的人脸识别任务,也就是说,恢复的正面人脸图像需要与原始的非正面人脸图像具有相同的身份。具体实现方法是添加身份损失;
总体的损失函数为:
7.根据权利要求1所述的一种基于生成对抗网络的人脸正面化方法,其特征在于:在步骤5中交替地训练模型中各模块能够使其在对抗中互相优化提升,训练完成后,生成的图像清晰并且接近原始图像数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110292442.8A CN113553895A (zh) | 2021-03-19 | 2021-03-19 | 一种基于人脸正面化的多姿态人脸识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110292442.8A CN113553895A (zh) | 2021-03-19 | 2021-03-19 | 一种基于人脸正面化的多姿态人脸识别方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113553895A true CN113553895A (zh) | 2021-10-26 |
Family
ID=78101709
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110292442.8A Pending CN113553895A (zh) | 2021-03-19 | 2021-03-19 | 一种基于人脸正面化的多姿态人脸识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113553895A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116579917A (zh) * | 2023-05-16 | 2023-08-11 | 山东大学 | 基于级联双生成器的人脸正面化方法及*** |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110543846A (zh) * | 2019-08-29 | 2019-12-06 | 华南理工大学 | 一种基于生成对抗网络的多姿态人脸图像正面化方法 |
CN112418041A (zh) * | 2020-11-16 | 2021-02-26 | 武汉大学 | 一种基于人脸正面化的多姿态人脸识别方法 |
-
2021
- 2021-03-19 CN CN202110292442.8A patent/CN113553895A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110543846A (zh) * | 2019-08-29 | 2019-12-06 | 华南理工大学 | 一种基于生成对抗网络的多姿态人脸图像正面化方法 |
CN112418041A (zh) * | 2020-11-16 | 2021-02-26 | 武汉大学 | 一种基于人脸正面化的多姿态人脸识别方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116579917A (zh) * | 2023-05-16 | 2023-08-11 | 山东大学 | 基于级联双生成器的人脸正面化方法及*** |
CN116579917B (zh) * | 2023-05-16 | 2023-09-26 | 山东大学 | 基于级联双生成器的人脸正面化方法及*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108537743B (zh) | 一种基于生成对抗网络的面部图像增强方法 | |
CN112418041B (zh) | 一种基于人脸正面化的多姿态人脸识别方法 | |
CN110543846A (zh) | 一种基于生成对抗网络的多姿态人脸图像正面化方法 | |
Wandzik et al. | Morphing detection using a general-purpose face recognition system | |
CN111967427A (zh) | 一种伪造人脸视频鉴别方法、***和可读存储介质 | |
CN112507617B (zh) | 一种SRFlow超分辨率模型的训练方法及人脸识别方法 | |
KR20210025020A (ko) | 의사 이미지들을 이용한 얼굴 이미지 인식 | |
CN110390308B (zh) | 一种基于时空对抗生成网络的视频行为识别方法 | |
CN111797702A (zh) | 基于空间局部二值模式与光流梯度的人脸伪造视频检测方法 | |
CN108564061A (zh) | 一种基于二维主元分析的图像识别方法和*** | |
Chen et al. | Exploring the use of iriscodes for presentation attack detection | |
CN111126307A (zh) | 联合稀疏表示神经网络的小样本人脸识别方法 | |
Yin et al. | Dynamic difference learning with spatio-temporal correlation for deepfake video detection | |
CN113947794A (zh) | 基于头部姿态偏差校正的伪造换脸增强检测方法 | |
CN110222568B (zh) | 一种基于时空图的跨视角步态识别方法 | |
CN117636400B (zh) | 基于图像可识别动物身份的方法及*** | |
Zhang et al. | Morphganformer: Transformer-based face morphing and de-morphing | |
CN114036553A (zh) | 一种结合k匿名的行人身份隐私保护方法 | |
Gao et al. | Adaptive random down-sampling data augmentation and area attention pooling for low resolution face recognition | |
Mohamed et al. | Automated face recogntion system: Multi-input databases | |
CN112016437B (zh) | 一种基于人脸视频关键帧的活体检测方法 | |
Zhou et al. | Real-time gender recognition based on eigen-features selection from facial images | |
CN113553895A (zh) | 一种基于人脸正面化的多姿态人脸识别方法 | |
Liu et al. | Superimposition-guided facial reconstruction from skull | |
CN115482595B (zh) | 一种基于语义分割的特定人物视觉伪造检测与鉴别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |