CN111160119B - 一种用于化妆人脸验证的多任务深度判别度量学习模型构建方法 - Google Patents
一种用于化妆人脸验证的多任务深度判别度量学习模型构建方法 Download PDFInfo
- Publication number
- CN111160119B CN111160119B CN201911263264.5A CN201911263264A CN111160119B CN 111160119 B CN111160119 B CN 111160119B CN 201911263264 A CN201911263264 A CN 201911263264A CN 111160119 B CN111160119 B CN 111160119B
- Authority
- CN
- China
- Prior art keywords
- layer
- ddml
- fda
- face
- task
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012795 verification Methods 0.000 title claims abstract description 26
- 238000005259 measurement Methods 0.000 title claims abstract description 9
- 238000010276 construction Methods 0.000 title description 2
- 238000000034 method Methods 0.000 claims abstract description 46
- 239000011159 matrix material Substances 0.000 claims abstract description 38
- 239000002537 cosmetic Substances 0.000 claims abstract description 22
- 239000013598 vector Substances 0.000 claims description 34
- 238000013507 mapping Methods 0.000 claims description 26
- 230000006870 function Effects 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 3
- 238000002474 experimental method Methods 0.000 abstract description 6
- 238000012562 intraclass correlation Methods 0.000 abstract description 3
- 238000006243 chemical reaction Methods 0.000 abstract 1
- 238000000605 extraction Methods 0.000 description 9
- 238000013135 deep learning Methods 0.000 description 8
- 239000011521 glass Substances 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 230000001815 facial effect Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 230000005484 gravity Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 101150039208 KCNK3 gene Proteins 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012733 comparative method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
一种用于化妆人脸验证的多任务深度判别度量学习模型构建方法,针对人脸化妆会导致人脸验证方法性能的降低的问题,提出了融合Fisher判别分析的多任务深度判别度量学习模型MT‑DDML‑FDA,使用深度度量学习结构,通过共享一个网络层在多个任务之间学习共享的转换知识,来捕获不同任务的人脸图像之间的潜在识别信息。同时,MT‑DDML‑FDA使用Fisher判别分析将类内相关矩阵和类间相关矩阵引入该模型,使每一个任务具有良好的距离度量。实验证明,MT‑DDML‑FDA在真实化妆人脸数据集上能够有效提高人脸验证的性能。
Description
技术领域
本发明涉及人脸识别领域,具体涉及一种融合Fisher判别分析的多任务深度判别度量学习(MT-DDML-FDA)的化妆人脸验证方法。
背景技术
随着人工智能、云计算和高性能计算的发展,人脸验证领域出现了大量性能优秀的算法,逐步解决了与姿势、照片和面部表情等相关的难题,这些算法能够在不同应用场景中实现无约束的人脸验证和面部识别。但人脸验证仍在一些应用中存在挑战,包括跨年龄场景和化妆场景等。在现实世界的应用中,面部化妆常见且会显著改变面部的感知外观,降低人脸的辨识,化妆前后的人脸可以直观地感受到面部外观的明显变化。因此,对人脸化妆具有鲁棒性的人脸验证算法对实际应用有着重要的意义。为了开发一个强大的面部识别***,化妆品对人脸验证的影响亟需解决。近年来,深度学习方法显著改善了人脸验证。深度学习方法可以分为两类:一类是基于深度神经网络提取非线性特征和识别特征来表示人脸图像。深度学习的另一类是深度度量学习。目前常用的距离学习的距离度量方法主要基于欧式距离和马式距离,但这些方法不足以解决复杂场景下的人脸识别问题。深度度量学习的目标是使用深度学习的方法来学习距离度量,以发现配对样本之间的相似性和不配对样本之间的差异性。
在面对化妆人脸验证的任务时,无论外表如何变化,同一个人的一对面部图像与所呈现的化妆品都应具有最大的相关性,而不同的人即使拥有相同的化妆品或不化妆,也不应具有很大的相关性。人脸验证可以看作是一个二值分类问题,同一个人的图像对可以标记为正对,不同人的图像对可以标记为负对。从分类的角度来看,如果能找到一个投影空间,使得同一个人图像距离尽可能得小,不同人图像间的距离尽可能地大,那么人脸验证问题可以得到有效解决。
发明内容
本发明基于深度判别度量学习(DDML)模型构建一个深度判别度量学习,并融入Fisher判别分析和多任务的思想,提出了融合Fisher判别分析的多任务深度判别度量学习(Multi-task Deep Discriminative Metric Learning with Fisher DiscriminantAnalysis,MT-DDML-FDA)模型。MT-DDML-FDA使用多层深度判别度量学习结构,通过共享一个网络层,在多个任务之间学习共享的转换知识来捕获不同任务的人脸图像之间的潜在识别信息。神经网络的每一层次均形成非线性变换,以形成一个良好的距离度量。同时,融合Fisher判别分析将类内相关矩阵和类间相关矩阵引入深度神经网络,将具有高相似性的类间样本投影到一个邻域中,使得类间邻域样本尽可能远离,保证每个任务所学习的距离度量以有效的方式执行。
一种用于化妆人脸验证的多任务深度判别度量学习模型构建方法,所述人脸验证方法为,步骤1,建立融合Fisher判别分析的多任务深度判别度量学习模型MT-DDML-FDA;步骤2,对该模型进行求解,最终得到用于化妆人脸验证的MT-DDML-FDA模型。
进一步地,假设同时有M个任务学习,给定第m个任务的人脸图像对{(xm,i,ym,i,lm,i)|i=1,2,...,nm,m=1,2,...,M},其中xm,i,ym,i∈Rd表示任一人脸图像对xm,i,lm,i表示其相应的图像对的标签,lm,i=1说明图像xm,i和ym,i来源于同一人,lm,i=-1说明图像xm,i和ym,i来源于不同的人。
进一步地,步骤1中,MT-DDML-FDA的第1层是所有任务的共享层,输入的人脸图像xm,i在共享层的输出g(1)(xm,i)为:
g(1)(xm,i)=φ(W(1)xm,i+b(1)) (5)
其中W(1)和b(1)表示共享层的映射矩阵和偏移向量;
进一步地,在多任务深度判别度量学习的框架上考虑Fisher准则,MT-DDML-FDA定义的优化问题为:
式(10)和(11)中的qi,c和qi,b分别定义为
进一步地,步骤2中,MT-DDML-FDA的求解方法,采用反向传播方法,在训练过程的每次迭代中,根据梯度下降公式更新各层的参数,映射矩阵和偏差向量可用下式更新:
其中μ是梯度下降的学习速率;
其中Δ表示元素乘法运算.根据MT-DDML-FDA的输入,得到:
进一步地,最终得到的用于化妆人脸验证的MT-DDML-FDA模型,其算法如下:
输入:P个任务的人脸图像,正则化参数α,β,最大迭代次数T,最大近邻数k和收敛阈值ε;
Step1,特征提取每对人脸图像的特征,得到P个任务的人脸图像对的特征向量表示Xk={(xk,i,xk,j,li,j)|k=1,2,...,P};
Step2,初始化所有映射矩阵和偏差向量;
For t=1,2,…,T
For k=1,2,…,P
Step5,使用式(8)计算d2(xp,i,yp,i);
Step7,更新映射矩阵W(1)和偏差向量b(1);
Step9,使用式(9)计算目标函数Jt;
end
本发明达到的有益效果为:1)引入多任务学习框架,在多个任务之间学习共享的投影信息,这些投影信息可以捕获不同任务的人脸图像之间的潜在识别信息。2)利用每个任务特殊的识别信息,同时考虑不同的任务之间的差异性,使得每个任务所学习的距离度量更有效。3)图像的局部几何信息是人脸识别问题的重要信息,将Fisher判别引入多任务深度度量学习,在投影过程基于配对信息建立能较好区分人脸图像的方法。实验结果表明MT-DDML-FDA在真实化妆人脸数据集Disguised Faces in the Wild(DFW)上取得较好的性能。
附图说明
图1为本发明中MT-DDML-FDA模型的示意图。
图2为本发明中化妆数据集DWF示意图。
图3为本发明中DFW数据集多任务子集表。
图4为本发明中不同特征下不同算法ROC曲线比较示意图。
图5为本发明中不同特征下不同算法ROC曲线比较示意图。
图6为本发明中基于HOG特征提取的CAR、EER和AUC性能(%)及其方差示意表。
图7为本发明中基于LBP特征提取的CAR、EER和AUC性能(%)及其方差示意表。
图8为本发明中不同参数β时基于HOG特征提取的MT-DDML-FDA模型6个任务的平均性能示意表。
图9为本发明中不同参数γ时基于HOG特征提取的MT-DDML-FDA模型6个任务的平均性能示意表。
图10为本发明中不同参数k时基于HOG特征提取的MT-DDML-FDA模型6个任务的平均性能示意表。
具体实施方式
下面结合说明书附图对本发明的技术方案做进一步的详细说明。
一种用于化妆人脸验证的多任务深度判别度量学习模型构建方法,包括如下步骤:步骤1,建立融合Fisher判别分析的多任务深度判别度量学习模型MT-DDML-FDA;步骤2,对该模型进行求解,最终得到用于化妆人脸验证的MT-DDML-FDA模型。
假设同时有M个任务学习,给定第m个任务的人脸图像对{(xm,i,ym,i,lm,i)|i=1,2,...,nm,m=1,2,...,M},其中xm,i,ym,i∈Rd表示任一人脸图像对xm,i,lm,i表示其相应的图像对的标签,lm,i=1说明图像xm,i和ym,i来源于同一人,lm,i=-1说明图像xm,i和ym,i来源于不同的人。
步骤1中,MT-DDML-FDA的第1层是所有任务的共享层,输入的人脸图像xm,i在共享层的输出g(1)(xm,i)为:
g(1)(xm,i)=φ(W(1)xm,i+b(1)) (5)
其中W(1)和b(1)表示共享层的映射矩阵和偏移向量。
在多任务深度判别度量学习的框架上考虑Fisher准则,MT-DDML-FDA定义的优化问题为:
式(10)和(11)中的qi,c和qi,b分别定义为:
步骤2中,MT-DDML-FDA的求解方法,采用反向传播方法,在训练过程的每次迭代中,根据梯度下降公式更新各层的参数,映射矩阵和偏差向量可用下式更新:
其中μ是梯度下降的学习速率。
其中Δ表示元素乘法运算.根据MT-DDML-FDA的输入,得到:
最终得到的用于化妆人脸验证的MT-DDML-FDA模型,其算法如下:
输入:P个任务的人脸图像,正则化参数α,β,最大迭代次数T,最大近邻数k和收敛阈值ε。
Step1,特征提取每对人脸图像的特征,得到P个任务的人脸图像对的特征向量表示Xk={(xk,i,xk,j,li,j)|k=1,2,...,P}。
Step2,初始化所有映射矩阵和偏差向量。
For t=1,2,…,T
For k=1,2,…,P
Step5,使用式(8)计算d2(xp,i,yp,i)。
Step7,更新映射矩阵W(1)和偏差向量b(1)。
Step9,使用式(9)计算目标函数Jt。
end
接下来介绍实验中所使用的数据集、算法和评测标准,然后在真实数据集上将MT-DDML-FDA与对比算法进行了比较。
选用了被广泛被应用于化妆人脸数据集Disguised Faces in the Wild(DFW),如图2所示。DFW数据集中包含了从网络上收集的1000个人的11155幅不同的图片,来自于电影明星、歌星,运动员和政治家等的人脸图像,每个人物均包含一张未化妆和多张化妆人脸图像,并且在在姿态、年龄、光照和表情等方面存在差异。每人有多幅不同图片,包含一幅不化妆照片和多幅化妆照片,佩戴眼镜和帽子也算化妆的范畴。实验选取900对人脸,按照男士(不戴帽子和眼镜)、男士戴帽子、男士戴眼镜、女士(不戴帽子和眼镜)、女士戴帽子和女士戴眼镜,分成6个任务,每个任务中的负对采用随机选取的方式获得,各个任务的基本信息如表1所示。每个任务随机将75%的数据作为训练集,用于多任务学***均计算结果作为最终结果。
使用HOG(Histogram of Oriented Gradient)和LBP](Local Binary Pattern)2种特征提取算法对人脸图像进行处理。HOG算法设置图像块大小为16*16,共提取特征为1764维。LBP将每幅人脸数据集图片分为16*16像素的16块非重叠区域,共提取3776为数据特征。获得的特征经Principal Component Analysis(PCA)处理将至500维。实验对比方法采用了LFDA(Local Fisher Discriminant Analysis)、Sub-SM(Large Margin NearestNeighbor)和DDML(Deep Discriminative metric learning)。在实验中,DDML和提出的MT-DDML-FDA均采用3层神经网络,神经节点为200→200→100,激活函数使用sigmoid函数。每一层的初始化权重矩阵其主对角线上的元素为1,其他元素为零;初始偏移向量为0。参数β和γ的网格搜索范围{10-2,10-1,...,102},最大近邻数k的网格搜索范围{5,7,...,13}。经过大量实验,收敛阈值ε取值10-5,梯度下降的学习速率为0.05。3个对比算法参数的设置均按照对应文献中的默认设置进行设定。评价标准采用了分类精确率(ClassificationAccuracy Rate,CAR)、错误率(Equal Error Rate,EER)和ROC曲线下面积(area under theRoc curve,AUC)。CAR为nc/nt,nc为测试集中分类正确的图片对的数目,nt为测试集中所有图片对的数目。实验采用的二分类器为support vector machine(SVM)。
图6显示了MT-DDML-FDA和3种对比算法在CAR、EER和AUC指标上的性能比较。实验结果表明:1)MT-DDML-FDA在CAR、EER和AUC指标上均取得了最佳结果。MT-DDML-FDA使用深度判别度量学习和多任务的学习框架,同时利用Fisher判别能提取每个任务的独立信息,挖掘所有任务之间共享的隐藏相关信息,MTCS-TSK-FS能够获得最佳的性能。LFDA主要基于局部判别扩大负对数据的间隔;Sub-SM主要利用领域间样本的大间隔信息,均不能有效地充分利用配对信息,因此仍然表现出较差的能力。DDML虽然使用多任务深度判别度量学习方法,但不能有效地充分利用所有任务之间的信息,特别是不能利用所有任务之间的公共信息,其性能不能达到理想的结果。2)所有算法在Task1和Task4任务取得了相对较高的性能,在其它4个任务上取得了较低的性能,这是因为Task1和Task4任务人物图像仅化妆而没有佩戴眼镜和帽子,Task2、Task3、Task5和Task6任务在化妆的基础上还佩戴了眼镜或者帽子,使得脸部增加了遮挡的物品,提升了人脸验证的难度。如何进一步提升面部有遮挡时的人脸识别问题是我们下一段的目标。3)对比算法在CAR、EER和AUC指标取得了一致的结果,说明使用这3个指标来评价化妆人脸的验证结果是合适的。另外,在HOG和LBP特征上也取得了类似的结果,也说明这2种特征提取方法是适合用来提取化妆人脸特征向量的。
为了更好地比较MT-DDML-FDA与3种对比算法的性能比,图7和图4-5比较了4种算法的ROC曲线。从图7和图4-5可以看出:1)2种深度学习方法(MT-DDML-FDA和DDML)都优于度量学习方法,因为深度学习方法可以在深度多层次结构中学习更多的人脸识别信息。2)在多任务学习的启发下,MT-DDML-FDA在不同任务的人脸图像中学习到比其他深度学习方法更有用的识别信息。因此,深度学习非常适合于多任务学习。3)MT-DDML-FDA基于Fisher准则充分考虑了人脸图像对的配对信息,使得同一人人脸图像在投影空间尽可能地接近,不同人的人脸图像在投影空间尽可能地远离。因此,配对信息和样本几何信息都对人脸配对的性能产生积极的影响。
MT-DDML-FDA模型中参数β、γ和最大近邻数k均与模型的性能有关,本小节对参数β、γ和k进行分析,图8-10显示了MT-DDML-FDA模型6个任务在基于HOG特征提取的不同参数β、γ和k值下的CAR、EER和AUC的平均值。
从图8的结果可以看出:1)β取值的不同导致了MT-DDML-FDA模型的不同性能。β数值的高低体现了多层深度神经网络的共享层上学到的共享参数映射矩阵W(1)和偏差向量b(1)在目标函数中的比重。β值越大,W(1)和b(1)在目标函数中的比重越大,目标函数更多地考虑共享知识在多任务学***均值之间无规律可循。MT-DDML-FDA算法在DWF数据集上β=1时,CAR、EER和AUC的平均值取得了最佳性能。因此,使用网格搜索法确定β的最优值是可行的。
从图9的结果可以看出:1)γ取值的不同也导致了MT-DDML-FDA模型的不同性能。γ体现了多层深度神经网络的各个独立层上学到的映射矩阵和偏差向量在目标函数中的比重。γ值越大,各个独立层参数在目标函数中的比重越大。2)从表中数据看出,γ=1时,CAR、EER和AUC的平均值在化妆数据集DWF取得了最佳性能。
从图10的结果可以看出:1)k值表示类内相关矩阵和类间相关矩阵中的近邻数。k值过小或过大时,类内相关矩阵和类间相关矩阵均不能合适地表示人脸图像的内在数据结构。因此,k值小于7值,CAR、EER和AUC的平均值较低;当k值大于11值,CAR、EER和AUC的平均值也出现了下降的趋势。2)因为k取值与数据集的分布和内在结构密切相关,因此,针对数据集使用网格搜索法确定k的最优值是可行的。
以上所述仅为本发明的较佳实施方式,本发明的保护范围并不以上述实施方式为限,但凡本领域普通技术人员根据本发明所揭示内容所作的等效修饰或变化,皆应纳入权利要求书中记载的保护范围内。
Claims (1)
1.一种用于化妆人脸验证的多任务深度判别度量学习模型构建方法,其特征在于:
所述人脸验证方法为,步骤1,建立融合Fisher判别分析的多任务深度判别度量学习模型MT-DDML-FDA;步骤2,对该模型进行求解,最终得到用于化妆人脸验证的MT-DDML-FDA模型;
假设同时有M个任务学习,给定第m个任务的人脸图像对
{(xm,i,ym,i,lm,i)|i=1,2,...,nm,m=1,2,...,M},其中xm,i,ym,i∈Rd表示任一人脸图像对,lm,i表示其相应的图像对的标签,lm,i=1说明图像xm,i和ym,i来源于同一人,lm,i=-1说明图像xm,i和ym,i来源于不同的人;
步骤1中,MT-DDML-FDA的第1层是所有任务的共享层,输入的人脸图像xm,i在共享层的输出g(1)(xm,i)为:
g(1)(xm,i)=φ(W(1)xm,i+b(1)) (5)
其中W(1)和b(1)表示共享层的映射矩阵和偏移向量;
在多任务深度判别度量学习的框架上考虑Fisher准则,MT-DDML-FDA定义的优化问题为:
式(10)和(11)中的qi,c和qi,b分别定义为
步骤2中,MT-DDML-FDA的求解方法,采用反向传播方法,在训练过程的每次迭代中,根据梯度下降公式更新各层的参数,映射矩阵和偏移向量可用下式更新:
其中μ是梯度下降的学习速率;
其中Δ表示元素乘法运算;根据MT-DDML-FDA的输入,得到:
最终得到的用于化妆人脸验证的MT-DDML-FDA模型,其算法如下:
输入:P个任务的人脸图像,正则化参数α,β,最大迭代次数T,最大近邻数k和收敛阈值ε;
步骤S1,特征提取每对人脸图像的特征,得到P个任务的人脸图像对的特征向量表示Xk={(xk,i,xk,j,li,j)|k=1,2,...,P};
步骤S2,初始化所有映射矩阵和偏移向量;
For t=1,2,…,T
For k=1,2,…,P
步骤S5,使用式(8)计算d2(xp,i,yp,i);
步骤S7,更新映射矩阵W(1)和偏移向量b(1);
步骤S9,使用式(9)计算目标函数Jt;
结束。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911263264.5A CN111160119B (zh) | 2019-12-11 | 2019-12-11 | 一种用于化妆人脸验证的多任务深度判别度量学习模型构建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911263264.5A CN111160119B (zh) | 2019-12-11 | 2019-12-11 | 一种用于化妆人脸验证的多任务深度判别度量学习模型构建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111160119A CN111160119A (zh) | 2020-05-15 |
CN111160119B true CN111160119B (zh) | 2023-07-14 |
Family
ID=70556958
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911263264.5A Active CN111160119B (zh) | 2019-12-11 | 2019-12-11 | 一种用于化妆人脸验证的多任务深度判别度量学习模型构建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111160119B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111667055A (zh) * | 2020-06-05 | 2020-09-15 | 北京百度网讯科技有限公司 | 用于搜索模型结构的方法和装置 |
CN113128605A (zh) * | 2021-04-23 | 2021-07-16 | 浙江理工大学 | 基于粒子滤波及深度距离度量学习的目标跟踪方法 |
CN115690758B (zh) * | 2022-12-12 | 2023-08-08 | 吉林农业大学 | 一种基于深度度量学习的茶脸验真方法及验真*** |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104123560B (zh) * | 2014-07-03 | 2017-12-01 | 中山大学 | 基于相位编码特征和多度量学习的模糊人脸图像验证方法 |
CN104462818B (zh) * | 2014-12-08 | 2017-10-10 | 天津大学 | 一种基于Fisher准则的嵌入流形回归模型 |
-
2019
- 2019-12-11 CN CN201911263264.5A patent/CN111160119B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN111160119A (zh) | 2020-05-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Wang et al. | Cooperative training of deep aggregation networks for RGB-D action recognition | |
Yan et al. | Multitask linear discriminant analysis for view invariant action recognition | |
Zhu et al. | Multi-label convolutional neural network based pedestrian attribute classification | |
Mao et al. | Hierarchical Bayesian theme models for multipose facial expression recognition | |
CN106372581B (zh) | 构建及训练人脸识别特征提取网络的方法 | |
Tao et al. | Ensemble manifold rank preserving for acceleration-based human activity recognition | |
KR102174595B1 (ko) | 비제약형 매체에 있어서 얼굴을 식별하는 시스템 및 방법 | |
Tao et al. | Person re-identification by regularized smoothing kiss metric learning | |
US8379940B2 (en) | Robust human authentication using holistic anthropometric and appearance-based features and boosting | |
CN111160119B (zh) | 一种用于化妆人脸验证的多任务深度判别度量学习模型构建方法 | |
WO2015127394A1 (en) | System for beauty, cosmetic, and fashion analysis | |
Ravì et al. | Real-time food intake classification and energy expenditure estimation on a mobile device | |
CN105224918B (zh) | 基于双线性联合稀疏判别分析的步态识别方法 | |
Guo | Human age estimation and sex classification | |
CN110516533A (zh) | 一种基于深度度量的行人再辨识方法 | |
Xu et al. | Speed-invariant gait recognition using single-support gait energy image | |
Tong et al. | Cross-view gait recognition based on a restrictive triplet network | |
Ren et al. | Deep metric learning via subtype fuzzy clustering | |
Watson et al. | Person re-identification combining deep features and attribute detection | |
Wang et al. | A survey on kinship verification | |
Ramanathan et al. | Robust human authentication using appearance and holistic anthropometric features | |
Pahde et al. | Low-shot learning from imaginary 3d model | |
Kächele et al. | Cascaded fusion of dynamic, spatial, and textural feature sets for person-independent facial emotion recognition | |
Wang et al. | Learning with hidden information using a max-margin latent variable model | |
CN110991459A (zh) | 基于arm-lbp和卷积神经网络的行李图像分类算法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20240617 Address after: No. 98 Wangjiang Road, Menghe Town, Xinbei District, Changzhou City, Jiangsu Province (Building 1, 440) Patentee after: Ansei Rui (Changzhou) Information Technology Co.,Ltd. Country or region after: China Address before: 213164 No.28, Mingxin Middle Road, Wujin District, Changzhou City, Jiangsu Province Patentee before: Changzhou Polytechnic Country or region before: China |
|
TR01 | Transfer of patent right |