CN110569724A - 一种基于残差沙漏网络的人脸对齐方法 - Google Patents

一种基于残差沙漏网络的人脸对齐方法 Download PDF

Info

Publication number
CN110569724A
CN110569724A CN201910716528.1A CN201910716528A CN110569724A CN 110569724 A CN110569724 A CN 110569724A CN 201910716528 A CN201910716528 A CN 201910716528A CN 110569724 A CN110569724 A CN 110569724A
Authority
CN
China
Prior art keywords
network
residual
hourglass
face
hourglass network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910716528.1A
Other languages
English (en)
Other versions
CN110569724B (zh
Inventor
邵雄凯
阳邹
高榕
刘建舟
王春枝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei University of Technology
Original Assignee
Hubei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei University of Technology filed Critical Hubei University of Technology
Priority to CN201910716528.1A priority Critical patent/CN110569724B/zh
Publication of CN110569724A publication Critical patent/CN110569724A/zh
Application granted granted Critical
Publication of CN110569724B publication Critical patent/CN110569724B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于残差沙漏网络的人脸对齐方法，首先在沙漏网络基本单元残差模块的基础上新增卷积分支来增加网络的感受野以更好的提取到不同尺度下的特征信息，同时保持了高分辨率信息；然后结合沙漏网络的特性，让新增卷积分支的核尺度随沙漏网络层数来调整大小，以更好的平衡feature map分辨率和感受野之间的关系，使网络既能提取到更多的细节信息，同时还保留了从局部到整体的结构化信息。最后对沙漏网络进行堆叠再辅以中间监督机制，即保证了低层参数的正常更新同时还允许网络重新评估整个图像的初始估计和特征。本发明通过堆叠新的残差沙漏网络，在提取更多有效信息的同时还增加了网络提取局部细节信息的能力，提高了对人脸关键点检测的精度。

Description

一种基于残差沙漏网络的人脸对齐方法
技术领域
本发明属于计算机视觉技术领域，涉及一种残差沙漏网络的人脸对齐方法，具体涉及数字图像的人脸识别领域中的一种基于新型残差沙漏网络人脸对齐方法。
背景技术
人脸对齐又叫做人脸关键点检测，用来定位人脸的眼睛，鼻子，嘴巴，面部轮廓等关键点，人脸对齐能够帮助提供准确的、有特定语义的人脸形状信息，不管是在人脸识别还是人脸表情分析，性别年龄鉴定，三维人脸建模等领域都有着至关重要的作用。由于自然场景或者无约束条件下人脸表情、头部姿势夸张、光照条件的差异和部分遮挡的存在，人脸对齐问题仍然面临着巨大的挑战，因此一种高效、精确的人脸对齐算法，才能更好的满足我们的要求。
近年来，随着深度学习框架广泛应用于人脸对齐领域，人类对人脸问题的研究取得了飞速的进展。深度学习的优势在于特征提取这一块尤为突出，深度学习的深层网络结构可以逐层对数据特征进行提取,使得提取到的特征更明显且更容易分类。
最早将深度学习引入人脸对齐的算法DCNN(Deep Convolutional Network)[文献1]，通过设计拥有三个层级的级联卷积神经网络，不仅改善初始不当导致陷入局部最优的问题，而且借助于CNN强大的特征提取能力，获得更为精准的关键点检测。相比于早期的基于最优的人脸对齐算法(ASM[文献2]、AAM[文献3]-[文献5]、CLM[文献6]-[文献7])，通过优化误差方程以达到人脸对齐的目的，求解非线性最优化问题本就相对复杂，中间维度过高还会使得求解代价增大，基于级联形状回归的人脸对齐算法[文献8]-[文献14]根据初始化形状逐步估计形状增量来不断逼近标准形状，对初始化形状要求较高，并且特征的提取比较繁琐，深度学习的方法显的更为简单高效。
随着对卷积神经网络的认识和使用，有人提出了沙漏网络[文献15]来替代CNN提取特征，对于人脸对齐这种关联型任务，人脸各个部分，并不是在相同的feature map上具有最好的识别精度。举例来说，眼睛可能在第3层的feature map上容易识别，而嘴巴在第5层上更容易识别，所以相比传统的卷积神经网络只使用最后一层卷积作为目标特征，沙漏网络以其自下而上，自上而下的独特结构将网络低层次和高层次的特征都联合起来，使最后得到的特征更具体更有效，从而做到图像特征信息的最大化利用，但由于沙漏网络每一层采用的都是单一感受野来提取特征，缺乏对整体和局部关联信息的描述，面对光照、遮挡等复杂情形下的人脸关键点会难以定位。本发明的基于新型残差沙漏网络则是在沙漏网络基础上新增卷积分支并随沙漏网络层数相应调整卷积核尺度大小，增加了感受野，同时平衡了feature map分辨率和感受野之间的关系，使网络既能提取到更多的细节信息，同时还保留了从局部到整体的结构化信息，增加了网络提取更多有效特征的能力。
[文献1]Sun Y,Wang X,Tang X.Deep Convolutional Network Cascade forFacial Point Detection[C]//Computer Vision and Pattern Recognition.IEEE,2013:3476-3483.
[文献2]Cootes T F,Taylor C J,Cooper D H,Graham J.Active shape models-their training and application.Computer vision and image understanding,1995,61(1):38-59.
[文献3]Sauer P,Cootes T F,Taylor C J.Accurate regression proceduresfor active appearance models.//Proceedings of the British Machine VisionConference.Dundee,Scotland,2011:681-685.
[文献3]Cootes T F,Edwards G J,Taylor C J.Active appearancemodels.IEEE Transactions on Pattern Analysis and Machine Intelligence,2001,23(6):581-585.
[文献5]Asthana A,Zafeiriou S,Cheng S,Pantic M.Robust discriminativeresponse map fitting with constrained local models.//IEEE Conference onComputer Vision and Pattern Recognition.Portland,USA,2013:3444-3451.
[文献6]Cristinacce D,Cootes T.Feature detection and tracking withconstrained local models.//Proceedings of the British Machine VisionConference.Edinburgh,UK,2006:929-938.
[文献7]Asthana A,Zafeiriou S,CHENG Shi-yang,Pantic M.Incremental FaceAlignment in the Wild.//IEEE Conference on Computer Vision and PatternRecognition.Columbus,USA,2014:1859-1867.
[文献8]Xiong Xue-han,Torre F D L.Supervised descent method and itsapplications to face alignment.//IEEE Conference on Computer Vision andPattern Recognition.Portland,USA,2013:532-539.
[文献9]Cao Xu-dong,Wei Yi-chen,Wen Fang,Sun Jian.Face alignment byexplicit shape regression.International Journal of Computer Vision,2014,107(2):177-190.
[文献10]Burgos-Artizzu X P,Perona P,Dollar P.Robust face landmarkestimation under occlusion.//IEEE International Conference on ComputerVison.Sydney,Australia,2013:1513-1520.
[文献11]Ren Shao-qing,Cao Xu-dong,Wei Yi-chen,Sun Jian.Face alignmentat 3000fps via regressing local binary features.//IEEE Conference on ComputerVision and Pattern Recognition.Columbus,USA,2014:1685-1692.
[文献12]Dollar P,Welinder P,Perona P.Cascaded pose regression.//IEEEConference on Computer Vision and Pattern Recognition.San Francisco,USA,2010:1078-1085.
[文献13]Tzimiropoulos G,Pantic M.Gauss-newton deformable part modelsfor face alignment in-the-wild.//IEEE Conference on Computer Vision andPattern Recognition.Columbus,USA,2014:1851-1858.
[文献14]Smith B M,Brandt J,Lin Z,Zhang L.Nonparametric contextmodeling of local appearance for pose-and expression-robust facial landmarklocalization.//IEEE Conference on Computer Vision and PatternRecognition.Columbus,USA,2014:1741-1748.
[文献15]A.Newell,K.Yang,and J.Deng.Stacked hourglass networks forhuman pose estimation.In European Conference on Computer Vision,pages 483–499.Springer,2016.1,2,3
发明内容
本发明的目的在于提供一种基于新型残差沙漏网络人脸对齐方法，增加网络提取有效特征的能力，提高人脸对齐的精度。
本发明所采用的技术方案是：一种基于残差沙漏网络的人脸对齐方法，其特征在于，包括以下步骤：
步骤1：构建新型残差沙漏网络；
所述新型残差沙漏网络包括新型残差模块和残差模块；所述新型残差模块是在残差模块的基础上新增一个卷积分支,新增卷积分支核尺度大小为k，其中k随沙漏网络当前层数hg_level变化；残差模块的输出为h(x)，新型残差模块的输出为h′(x)，则有：
h(x)＝f(x)+x；
h′(x)＝f(x)+gk(x)+x；
k＝hg_level*2+1；
式中，x为残差模块的输入，f(x)为将x经由三层卷积操作的到输出，gk(x)为新型残差模块中x在新型卷积分支核尺度为k的情况下得到的输出，hg_level为沙漏网络当前所在层，hg_levels为沙漏网络总层数，H(x)为沙漏网络最后输出；
步骤2：对输入图片经过堆叠新型残差沙漏网络得到预估人脸关键点热力图{H1,H2...,HN},其中，Hi表示第i个新型残差沙漏网络得到的预估人脸关键点热力图，1≤i≤N，N为堆叠的新型残差沙漏网络个数；
步骤3：对输入图片的真实人脸关键点结合二维高斯函数生成真实人脸关键点热力图
步骤4：将新型残差沙漏网络每个阶段的预估人脸关键点热力图Hi和真实人脸关键点热力图进行loss，得到Li,再对整个网络阶段得到的loss{L1,L2...,LN}取平均值得到最终的L；
步骤5：通过对网络训练得到训练模型，对输入图片经过训练模型得到预测的人脸关键点热力图H，将热力图H转化为预测人脸关键点坐标P；
步骤6：将这些人脸关键点在原图上绘制出来。
本发明基于新型残差沙漏网络人脸对齐方法是一种相对简单但却具有不错鲁棒性的人脸对齐方法。使用新型残差沙漏网络模型增强了网络对关键点整体和局部关联信息的描述，增强了有效特征提取的完备性，结合中间监督机制的堆叠新型残差沙漏网络可以有效避免随网络深度加深而出现梯度消失(vanishing gradients)的问题，在保证底层参数正常更新型同时使网络能够在上下文中处理特征，允许对特征进行重新评估，增强了网络的容错率，提升了算法的效果。
附图说明
图1：本发明实施例的整体框架图；
图2：本发明实施例的网络流程图；
图3：本发明实施例的新型残差沙漏网络模型示意图；
图4：本发明实施例中沙漏网络(HG)和本发明提出的新型残差沙漏(NRHG)在300W数据集上的累计误差分布图(cumulative errors distribution，CED)；
图5：本发明实施例中沙漏网络(HG)和本发明提出的新型残差沙漏(NRHG)在IBUG数据集上的累计误差分布图(cumulative errors distribution，CED)；
图6：本发明实施例中沙漏网络(HG)和本发明提出的新型残差沙漏(NRHG)在COFW数据集上的累计误差分布图(cumulative errors distribution，CED)；
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
请见图1和图2，本发明提供的一种新型残差沙漏网络人脸对齐方法，包括以下步骤：
步骤1：构建新型残差沙漏网络；
图3给出了新型残差沙漏网络结构的示意图，新型残差沙漏网络的基本组成单元为新型残差模块和残差模块，新型残差模块则是在残差模块的基础上新增了一个卷积分支,新增卷积分支核尺度大小为k，k随沙漏网络层数hg_level变化，残差模块的输出为h(x)，自适应残差模块的输出为h′(x)，则有：
h(x)＝f(x)+x
h′(x)＝f(x)+gk(x)+x
k＝hg_level*2+1
式中，x为残差模块的输入，f(x)为将x经由三层卷积操作的到输出，gk(x)为新型残差模块中x在新型卷积分支核尺度为k的情况下得到的输出，hg_level为沙漏网络当前所在层，hg_levels为沙漏网络总层数(这里设计为4)，H(x)为沙漏网络最后输出。
步骤2：对输入图片经过堆叠新型残差沙漏网络得到预估人脸关键点热力图{H1,H2...,HN}，其中，Hi表示第i个新型残差沙漏网络得到的预估人脸关键点热力图，1≤i≤N，N为堆叠的新型残差沙漏网络个数；
步骤3：对输入图片的真实人脸关键点结合二维高斯函数生成真实人脸关键点热力图
hm(w,h,i)0＜i＜M＝f(xi,yi)0＜xi＜w,0＜yi＜h
式中f(x,y)为二维高斯函数，ksize为高斯函数大小，相当于幅值，sigma2为高斯函数方差，(x0,y0)为中心点的坐标，这里即为真实人脸关键点的坐标，hm(w,h,i)0＜i＜M为第i个关键点的热力图，w、h分别为热力图的宽、高，M为关键点的总个数。最终生成的真实人脸关键点热力图即为所有关键点生成的hm(w,h,i)0＜i＜M的组合
步骤4：将网络每个阶段的预估人脸关键点热力图Hi(即第i个沙漏网络的输出热力图)和真实人脸关键点热力图进行loss，得到Li，再对整个网络阶段得到的loss{L1,L2...,LN}取平均值得到最终的L；
式中hj和分别为当前阶段的第j个人脸关键点的预估热力图和真实热力图，M为人脸关键点的总个数，n为网络阶段总数(即为堆叠的新型残差沙漏网络个数)
步骤5：通过对网络训练得到训练模型，对输入图片经过训练模型得到预测的人脸关键点热力图H，将热力图H转化为预测人脸关键点坐标P；
预测的到的人脸关键点热力图H由所有关键点热力图hm(w,h,i)0＜i＜M组成，热力图中颜色越深的位置对应的二维高斯函数值越大即离真实关键点越近，这里将热力图hm(w,h,i)0＜i＜M转化为一位向量，取其中最大值，再计算出该值所在原热力图像素位置坐标即预测的人脸关键点坐标P。
步骤6：将这些人脸关键点在原图上绘制出来。
本发明还提供了一种基于残差沙漏网络的人脸对齐方法性能评估的方法，对预测的人脸关键点坐标P和真实人脸关键点坐标进行误差比较；
一般采用归一化平均误差NME(Normalized Mean Error)来衡量人脸对齐算法的质量，其定义如下：
式中M为人脸关键点的个数，pi和分别是i个人脸关键点的预测坐标和真实坐标,d是归一化因子，本实施例采用了两种归一化方式，一种是Inter-pupil Normalisation(瞳孔间距)，另一种是Inter-ocular Normalisation(外眼角间距)。
本发明提出的一种基于新型残差沙漏网络人脸对齐方法(NRHG)，与使用传统沙漏网络的人脸对齐方法(HG)相比(网络结构，训练参数皆相同，只是将新型残差沙漏网络替换为普通沙漏网络)，算法对人脸对齐的精度有所提升，除此之外本实施例所提算法NRHG对比现有的其他部分人脸对齐算法也有一定的优越性，以下通过实验说明。实验中所使用的数据集为300W、IBUG、COFW。300W数据集训练集共计3148张图像，测试集有554张图像；IBUG数据集训练集和300W一样，测试集共有135张图像；COFW数据集训练集共有1345张图像测试集有507张图像。
表1本实施例NRHG和HG在300W、IBUG、COFW数据集上两种不同的归一化方法下的实验结果对比(％省略)
表1中的数据为不同测试集下的归一化平均误差(NME),从数据对比可以看出新型残差沙漏网络(NRHG)对比传统沙漏网络(HG)不管是在300W数据集和IBUG数据集还是COFW数据集，在两种不同的归一化方式下得到的平均误差均有不同程度的下降，并且在困难数据集IBUG上下降幅度较大，这说明本实施例提出的新型残差沙漏网络(NRHG)相比传统沙漏网络(HG)对于人脸图像的特征提取更加有效，能够更加有助于对人脸关键点进行定位，从而一定程度上提升算法对人脸对齐的精度，同时也一定程度上说明了本实施例所提NRHG相比HG对于关照、遮挡等复杂场景下人脸关键点定位要更有优势一些。
请见图4，本发明实施例中普通沙漏网络(HG)和本发明提出的新型残差沙漏(NRHG)在300W数据集上的累计误差分布图(cumulative errors distribution，CED)；
请见图5，本发明实施例中普通沙漏网络(HG)和本发明提出的新型残差沙漏(NRHG)在IBUG数据集上的累计误差分布图(cumulative errors distribution，CED)；
请见图6，本发明实施例中普通沙漏网络(HG)和本发明提出的新型残差沙漏(NRHG)在COFW数据集上的累计误差分布图(cumulative errors distribution，CED)；
图4，图5，图6直观的反映了本发明提出的新型残差沙漏(NRHG)相比传统沙漏网络(HG)在三种不同数据集两种不同的归一化方式下的人脸对齐效果都有一定程度的提高。
表2本实施例算法(NRHG)和其他人脸对齐算法在COFW数据集的实验结果对比(％省略)
表3本实施例算法(NRHG)和其他人脸对齐算法在300W数据集的实验结果对比(％省略)
由表2可以很清楚的看出本实施例提出的新型残差沙漏网络算法(NRHG)的实验结果要优于上述这些人脸对齐算法，除了归一化平均误差(NME)比上述这些人脸对齐算法都要小之外，FR(Feature Rate)也要明显降低了很多，通过数据结果可以说明本实施例所提算法在COFW数据集上的优越性。
表3给出了本实施例提出的新型残差沙漏网络人脸对齐算法(NRHG)与其他人脸对齐算法在300W数据集上三种指标(公共子集，挑战子集，全集)下的实验结果比较。从表中数据可以看出本实施例所提算法要优于上述这些人脸对齐算法，尤其是对比传统的级联回归RCPR,ESR,LBF等算法实验效果提升幅度较大，从一定程度可以反映出本实施例所提算法对比传统级联回归算法在人脸对齐上有较明显的优势，虽然从实验数据不难看出本实施例所提算法实验结果对比上述这些人脸对齐算法都有不同程度的提升，但在挑战子集上仍然存在着一些问题，本实施例提出的新型残差沙漏网络人脸对齐算法侧重在于对人脸图像特征的处理，尽管对于图像特征细致化在面临关照，遮挡等复杂情况下有一定的帮助，但对比RAR,TSR等侧重解决姿态，光照，遮挡等问题的算法还是有很大的提升空间，这也是后面需要学习和改进的地方，但整体而言，本实施例所提算法还是有一定的优越性。
应当理解的是，本说明书未详细阐述的部分均属于现有技术。本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (5)

1.一种基于残差沙漏网络的人脸对齐方法，其特征在于，包括以下步骤：
步骤1：构建新型残差沙漏网络；
所述新型残差沙漏网络包括新型残差模块和残差模块；所述新型残差模块是在残差模块的基础上新增一个卷积分支,新增卷积分支核尺度大小为k，其中k随沙漏网络当前层数hg_level变化；残差模块的输出为h(x)，新型残差模块的输出为h′(x)，则有：
h(x)＝f(x)+x；
h′(x)＝f(x)+gk(x)+x；
k＝hg_level*2+1；
式中，x为残差模块的输入，f(x)为将x经由三层卷积操作的到输出，gk(x)为新型残差模块中x在新型卷积分支核尺度为k的情况下得到的输出，hg_level为沙漏网络当前所在层，hg_levels为沙漏网络总层数，H(x)为沙漏网络最后输出；
步骤2：对输入图片经过堆叠新型残差沙漏网络得到预估人脸关键点热力图{H1,H2...,HN},其中，Hi表示第i个新型残差沙漏网络得到的预估人脸关键点热力图，1≤i≤N，N为堆叠的新型残差沙漏网络个数；
步骤3：对输入图片的真实人脸关键点结合二维高斯函数生成真实人脸关键点热力图
步骤4：将新型残差沙漏网络每个阶段的预估人脸关键点热力图Hi和真实人脸关键点热力图进行loss，得到Li,再对整个网络阶段得到的loss{L1,L2...,LN}取平均值得到最终的L；
步骤5：通过对网络训练得到训练模型，对输入图片经过训练模型得到预测的人脸关键点热力图H，将热力图H转化为预测人脸关键点坐标P；
步骤6：将这些人脸关键点在原图上绘制出来。
2.根据权利要求1所述的基于残差沙漏网络的人脸对齐方法，其特征在于，步骤3中，利用二维高斯函数生成人脸关键点热力图的计算公式为：
hm(w,h,i)0＜i＜M＝f(xi,yi)0＜xi＜w,0＜yi＜h；
式中f(x,y)为二维高斯函数，ksize为高斯函数大小，sigma2为高斯函数方差，(x0,y0)为中心点的坐标，这里即为真实人脸关键点的坐标，hm(w,h,i)0＜i＜M为第i个关键点的热力图，w、h分别为热力图的宽、高，M为关键点的总个数；最终生成的真实人脸关键点热力图即为所有关键点生成的hm(w,h,i)0＜i＜M的组合。
3.根据权利要求1所述的基于残差沙漏网络的人脸对齐方法，其特征在于，步骤4中，个阶段的损失函数Li和最终的损失函数L的表达式为：
式中，hj和分别为当前阶段的第j个人脸关键点的预估热力图和真实热力图，M为人脸关键点的总个数，n为网络阶段总数，即为堆叠的新型残差沙漏网络个数。
4.根据权利要求2所述的基于残差沙漏网络的人脸对齐方法，其特征在于，步骤5的具体实现包括以下步骤：
步骤5.1：将热力图hm(w,h,i)0＜i＜M转化为一位向量，取其中最大值；
步骤5.2：计算出热力图hm(w,h,i)0＜i＜M中最大值所在热力图像素位置坐标，即为预测的人脸关键点坐标P。
5.一种基于残差沙漏网络的人脸对齐方法性能评估的方法，其特征在于：对预测的人脸关键点坐标P和真实人脸关键点坐标进行误差比较；
性能评估的表达式为：
式中M为人脸关键点的个数，pi和分别是i个人脸关键点的预测坐标和真实坐标，d是归一化因子。
CN201910716528.1A 2019-08-05 2019-08-05 一种基于残差沙漏网络的人脸对齐方法 Active CN110569724B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910716528.1A CN110569724B (zh) 2019-08-05 2019-08-05 一种基于残差沙漏网络的人脸对齐方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910716528.1A CN110569724B (zh) 2019-08-05 2019-08-05 一种基于残差沙漏网络的人脸对齐方法

Publications (2)

Publication Number Publication Date
CN110569724A true CN110569724A (zh) 2019-12-13
CN110569724B CN110569724B (zh) 2021-06-04

Family

ID=68774545

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910716528.1A Active CN110569724B (zh) 2019-08-05 2019-08-05 一种基于残差沙漏网络的人脸对齐方法

Country Status (1)

Country Link
CN (1) CN110569724B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111402228A (zh) * 2020-03-13 2020-07-10 腾讯科技（深圳）有限公司 图像检测方法、装置和计算机可读存储介质
CN111523484A (zh) * 2020-04-24 2020-08-11 北京嘀嘀无限科技发展有限公司 一种人脸关键点的检测方法、装置、电子设备及存储介质
CN112417991A (zh) * 2020-11-02 2021-02-26 武汉大学 基于沙漏胶囊网络的双注意力人脸对齐方法
CN112699847A (zh) * 2021-01-15 2021-04-23 苏州大学 基于深度学习的人脸特征点检测方法
CN113610115A (zh) * 2021-07-14 2021-11-05 广州敏视数码科技有限公司 一种基于灰度图像的高效人脸对齐方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080247611A1 (en) * 2007-04-04 2008-10-09 Sony Corporation Apparatus and method for face recognition and computer program
CN101499128A (zh) * 2008-01-30 2009-08-05 中国科学院自动化研究所 基于视频流的三维人脸动作检测和跟踪方法
CN106951875A (zh) * 2017-03-24 2017-07-14 深圳市唯特视科技有限公司 一种基于二进制卷积的人体姿态估计和人脸对齐的方法
CN108090470A (zh) * 2018-01-10 2018-05-29 浙江大华技术股份有限公司 一种人脸对齐方法及装置
US20180263568A1 (en) * 2017-03-09 2018-09-20 The Board Of Trustees Of The Leland Stanford Junior University Systems and Methods for Clinical Image Classification
CN108764133A (zh) * 2018-05-25 2018-11-06 北京旷视科技有限公司 图像识别方法、装置及***
CN108898556A (zh) * 2018-05-24 2018-11-27 麒麟合盛网络技术股份有限公司 一种三维人脸的图像处理方法及装置
CN109033946A (zh) * 2018-06-08 2018-12-18 东南大学 融合方向图的人体姿态估计方法
CN109241910A (zh) * 2018-09-07 2019-01-18 高新兴科技集团股份有限公司 一种基于深度多特征融合级联回归的人脸关键点定位方法
CN109299659A (zh) * 2018-08-21 2019-02-01 中国农业大学 一种基于rgb相机和深度学习的人体姿态识别方法与***
CN109299669A (zh) * 2018-08-30 2019-02-01 清华大学 基于双智能体的视频人脸关键点检测方法及装置
CN109657595A (zh) * 2018-12-12 2019-04-19 中山大学 基于堆叠沙漏网络的关键特征区域匹配人脸识别方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080247611A1 (en) * 2007-04-04 2008-10-09 Sony Corporation Apparatus and method for face recognition and computer program
CN101499128A (zh) * 2008-01-30 2009-08-05 中国科学院自动化研究所 基于视频流的三维人脸动作检测和跟踪方法
US20180263568A1 (en) * 2017-03-09 2018-09-20 The Board Of Trustees Of The Leland Stanford Junior University Systems and Methods for Clinical Image Classification
CN106951875A (zh) * 2017-03-24 2017-07-14 深圳市唯特视科技有限公司 一种基于二进制卷积的人体姿态估计和人脸对齐的方法
CN108090470A (zh) * 2018-01-10 2018-05-29 浙江大华技术股份有限公司 一种人脸对齐方法及装置
CN108898556A (zh) * 2018-05-24 2018-11-27 麒麟合盛网络技术股份有限公司 一种三维人脸的图像处理方法及装置
CN108764133A (zh) * 2018-05-25 2018-11-06 北京旷视科技有限公司 图像识别方法、装置及***
CN109033946A (zh) * 2018-06-08 2018-12-18 东南大学 融合方向图的人体姿态估计方法
CN109299659A (zh) * 2018-08-21 2019-02-01 中国农业大学 一种基于rgb相机和深度学习的人体姿态识别方法与***
CN109299669A (zh) * 2018-08-30 2019-02-01 清华大学 基于双智能体的视频人脸关键点检测方法及装置
CN109241910A (zh) * 2018-09-07 2019-01-18 高新兴科技集团股份有限公司 一种基于深度多特征融合级联回归的人脸关键点定位方法
CN109657595A (zh) * 2018-12-12 2019-04-19 中山大学 基于堆叠沙漏网络的关键特征区域匹配人脸识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
OSHIN MISRA 等: "An Approach to Face Detection and Alignment Using Hough Transformation with Convolution Neural Network", 《ICACCA》 *
王浩 等: "基于堆叠深度卷积沙漏网络的步态识别", 《计算机工程与应用》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111402228A (zh) * 2020-03-13 2020-07-10 腾讯科技（深圳）有限公司 图像检测方法、装置和计算机可读存储介质
CN111402228B (zh) * 2020-03-13 2021-05-07 腾讯科技（深圳）有限公司 图像检测方法、装置和计算机可读存储介质
CN111523484A (zh) * 2020-04-24 2020-08-11 北京嘀嘀无限科技发展有限公司 一种人脸关键点的检测方法、装置、电子设备及存储介质
CN112417991A (zh) * 2020-11-02 2021-02-26 武汉大学 基于沙漏胶囊网络的双注意力人脸对齐方法
CN112417991B (zh) * 2020-11-02 2022-04-29 武汉大学 基于沙漏胶囊网络的双注意力人脸对齐方法
CN112699847A (zh) * 2021-01-15 2021-04-23 苏州大学 基于深度学习的人脸特征点检测方法
CN113610115A (zh) * 2021-07-14 2021-11-05 广州敏视数码科技有限公司 一种基于灰度图像的高效人脸对齐方法
CN113610115B (zh) * 2021-07-14 2024-04-12 广州敏视数码科技有限公司 一种基于灰度图像的高效人脸对齐方法

Also Published As

Publication number Publication date
CN110569724B (zh) 2021-06-04

Similar Documents

Publication Publication Date Title
CN110569724B (zh) 一种基于残差沙漏网络的人脸对齐方法
CN109472198B (zh) 一种姿态鲁棒的视频笑脸识别方法
WO2020186886A1 (zh) 一种人脸识别模型的生成方法及设备
CN110348330B (zh) 基于vae-acgan的人脸姿态虚拟视图生成方法
WO2020108362A1 (zh) 人体姿态检测方法、装置、设备及存储介质
WO2017088432A1 (zh) 图像识别方法和装置
Zhang et al. Content-adaptive sketch portrait generation by decompositional representation learning
Wang et al. Background-driven salient object detection
Li et al. A comprehensive survey on 3D face recognition methods
WO2016023264A1 (zh) 指纹识别方法及其指纹识别装置
CN112084962A (zh) 基于生成式对抗网络脸部隐私保护方法
CN112232184B (zh) 一种基于深度学习和空间转换网络的多角度人脸识别方法
CN111178208A (zh) 基于深度学习的行人检测方法、装置及介质
CN109190535A (zh) 一种基于深度学习的人脸面部肤色分析方法和***
CN108446672A (zh) 一种基于由粗到细脸部形状估计的人脸对齐方法
CN111832405A (zh) 一种基于hog和深度残差网络的人脸识别方法
Yu et al. Improvement of face recognition algorithm based on neural network
CN115376159A (zh) 一种基于多模态信息的跨外观行人重识别方法
Jiang et al. Face recognition method based on sparse representation and feature fusion
CN114743234A (zh) 基于深度学习的人脸口罩高效识别方法
CN110969101A (zh) 一种基于hog和特征描述子的人脸检测与跟踪方法
Wan et al. Palmprint recognition system for mobile device based on circle loss
Yan et al. A parameter-free framework for general supervised subspace learning
Su et al. A multiattribute sparse coding approach for action recognition from a single unknown viewpoint
Zhang et al. Region constraint person re-identification via partial least square on riemannian manifold

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant