CN107341463A - 一种结合图像质量分析与度量学习的人脸特征识别方法 - Google Patents
一种结合图像质量分析与度量学习的人脸特征识别方法 Download PDFInfo
- Publication number
- CN107341463A CN107341463A CN201710508297.6A CN201710508297A CN107341463A CN 107341463 A CN107341463 A CN 107341463A CN 201710508297 A CN201710508297 A CN 201710508297A CN 107341463 A CN107341463 A CN 107341463A
- Authority
- CN
- China
- Prior art keywords
- msub
- mrow
- face
- facial image
- train
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Collating Specific Patterns (AREA)
Abstract
本发明公开了一种结合图像质量分析与度量学***均值,并将其加入训练,得到度量学习的损失函数;通过损失函数监督训练过程,得到卷积神经网络的最终参数,作为最终的人脸特征提取模型并对人脸图片进行人脸特征识别。本发明用很小的计算量获取图片质量的量化值,并根据人脸特征的范数值制定了统一的量化标准;提高了网络的表达能力,并增强了网络对低质量图片的适应性。
Description
技术领域
本发明涉及人脸识别方法,特别涉及一种结合图像质量分析与度量学习的人脸特征识别方法。
背景技术
现今的人脸识别***大多将人脸图像数据进行预处理后,利用卷积神经网络训练,得到网络的权重;根据训练所得网络的权重计算得到人脸特征向量,通过对特征向量进行处理获得人脸识别的结果。由于参与训练的人脸数据之间的图像质量有较大差异,一些低质量的人脸图片,如低分辨率、模糊、光照过强或过暗、面部偏转较大等,会影响参数的学习效果,进而降低识别***的性能。现有的结合图片质量进行人脸特征识别的技术如下:
a.人脸区域+人工标注图片质量信息训练卷积神经网络,用于提取人脸特征进行识别:
缺点:人工标注耗费大量人力物力,且对图片质量的量化标准不统一。
b.单独训练网络量化图片质量+人脸区域训练卷积神经网络,用于提取人脸特征进行识别:
缺点:需要单独训练网络处理质量的网络,需要的参数更多,识别速度慢。
c.直接剔除质量较差的人脸图片,剩余图片训练网络用于提取人脸特征识别:
缺点:数据的利用率低,对低分辨率等质量不高的图片识别效果差。
本发明通过定义一种通过人脸特征直接获取量化后的人脸图片质量的运算方式,用很小的计算量获取图片质量的量化值,节省了标注的人力物力,并制定了统一的量化标准;通过将量化后的图片质量作为辅助信息输入到网络中进行训练,提高了网络的表达能力,并增强了网络对低质量图片的适应性。
发明内容
本发明要解决的技术问题是,本发明的目的是提供一种人脸识别方法,通过该方法能对人脸图像的质量进行量化,并结合量化后的人脸图像的质量,获取更高效的人脸身份特征表达,优化人脸比较判别单元的性能,从而提高人脸识别的准确率。
解决上述技术问题,本发明提供了一种结合图像质量分析与度量学习的人脸特征识别方法,包括:
通过将人脸图像Ii(i=1,2,,…,Ntrain)经过处理后加入卷积神经网络中训练,获得训练集中所有人脸图像的初级特征Fi(i=1,2,,…,Ntrain),其中Ntrain为训练集IMGtrain的图像数量;
根据所述训练集中所有人脸图像的初级特征Fi的L2范数得到所述人脸图像的质量量化值μ;
添加全连接参数层将所述初级特征Fi进行降维处理得到最终特征并得到同一身份的N张人脸图像构成的身份集合Sa的特征定义Ra(Sa);
根据所述最终特征并将所述人脸图像的质量量化值μ作为附加权重信息得出加权平均值,将所述加权平均值加入训练,得到度量学习的损失函数;
通过所述损失函数监督训练过程,得到卷积神经网络的最终参数θf,作为最终的人脸特征提取模型,根据所述人脸特征提取模型对人脸图像进行人脸特征识别。
进一步的,如前述的方法,所述将人脸图像经过处理具体包括:对于每一张输入的人脸图像Ii(i=1,2,,…,Ntrain),进行人脸检测与关键点标注,再根据关键点对所述每一张输入的人脸图像进行对齐处理,将所述所有输入的人脸图像划归为同一尺度,并得与所述每一张输入的人脸图像对应的处理后人脸图像I‘i(i=1,2,…,Ntrain),将所述人脸图像I’加入到卷积神经网络中进行初步训练,得到相应的卷积神经网络参数θ。
更进一步的,如前述的方法,在所述获得训练集中所有人脸图像的初级特征Fi(i=1,2,,…,Ntrain)后还包括:
利用所述卷积神经网络参数θ提取训练集IMGtrain中相应的人脸图像的初级特征Fi(i=1,2,,…,Ntrain),所述初级特征的特征维数为512维,Fi=θ1·Ii,其中Fi={xi,0,xi,1,xi,2,…,xi,511},xi,j为训练集IMGtrain中图像Ii(i=1,2,,…,Ntrain)的第j+1维特征维数数值。
更进一步的,如前述的方法,所述人脸图像质量的量化值μ得出方法具体为:
其中μi为人脸图像Ii的质量量化值,即图像Ii对应的初级特征的L2范数。
更进一步的,如前述的方法,所述特征定义Ra(Sa)的获取方法为:
获取同一身份的N张人脸图像构成的身份集合Sa:Sa={I1,I2,…,IN},a∈{t1,t2,…,tL},Ik∈IMGtrain,其中L为所有人脸身份标签的数量,T={t1,t2,…,tL}为身份标签的集合;
根据所述身份集合Sa内的N张图片的特征获得的身份集合Sa的特征定义Ra(Sa),即
更进一步的,如前述的方法,所述将所述初级特征Fi进行降维处理得到最终特征具体为;所述初级特征Fi经过全连接参数层进行降维处理后
得到所述最终特征所述最终特征的特征维数为128,即
更进一步的,如前述的方法,所述将所述人脸图像的质量量化值μ作为附加权重信息得出加权平均值,具体为:
结合所述人脸图像的质量量化值μ,将所述特征定义Ra(Sa)定义为:集合Sa内所有图片对于其图像质量的加权平均值,且所述加权平均值如下式进行计算:
其中μi为人脸图像Ii的质量量化值,即图像Ii对应的初级特征的L2范数。
更进一步的,如前述的方法,所述通过所述损失函数监督训练过程,得到卷积神经网络参数θf,具体方法为:
每一轮的训练随机取出3个身份集合Sa,Sp,Sn,共3N张图片,并使得a=p,a≠n,即a与p取自同一个身份,a与n取自不同的身份;得到度量学习的损失函数:
Ltriplet=‖Ra(Sa)-Ra(Sp)‖2-‖Ra(Sa)-Ra(Sn)‖2+δ
利用所述损失函数监督神经网络的训练过程,训练一定的轮次后,得出并保存所述卷积神经网络的最终参数θf。
本发明还提供如前任一项所述的方法的人脸特征识别***,包括:特征点标注单元、人脸对齐单元、模型单元、计算比较单元及判别单元;
所述特征点标注单元用于对导入***的多张人脸图像分别进行人脸检测和并识别出关键点;
所述人脸对齐单元用于根据所述关键点对人脸图像进行人脸对齐;
所述模型单元用于根据所述人脸特征提取模型得到与每个人脸图像对应的最终特征;
所述计算比较单元用于计算不同人脸图像对应的最终特征间的欧氏距离D;并将D与判别阈值Th进行比较;
所述判别单元用于根据欧氏距离D与判别阈值Th大小判定两张测试图片的人脸是否属于同一个人;若D≤Th,则判定两张测试图片的人脸属于同一个人;反之不是。
本发明的有益效果:
本发明通过定义一种通过人脸特征直接获取量化后的人脸图片质量的处理方法,用很小的计算量获取图片质量的量化值,节省了标注的人力物力,并制定了统一的量化标准;通过将量化后的图片质量作为辅助信息输入到网络中进行训练,提高了网络的表达能力,并增强了网络对低质量图片的适应性。
附图说明
图1是本发明一种实施例的流程示意图;
图2是本发明一种方法实施例的流程示意图;
图3是本发明一种方法实施例中进行训练的流程示意图;
图4是本发明一种实施例中提取初级特征的流程示意图;
图5是使用本发明一种方法实施中得到损失函数以及最终卷积神经网络权值的流程图;
图6是使用本发明一种方法实施例对应的模型的测试流程图;
图7是使用本发明一种实施例中***结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明进一步详细说明。
如图1所示,本发明一种实施例如下所述:
S100、通过将人脸图像Ii(i=1,2,,…,Ntrain)经过处理后加入卷积神经网络中训练,获得训练集中所有人脸图像的初级特征Fi(i=1,2,,…,Ntrain),其中Ntrain为训练集IMGtrain的图像数量;
S200、根据所述训练集中所有人脸图像的初级特征Fi的L2范数得到所述人脸图像的质量量化值μ;
S300、添加全连接参数层将所述初级特征Fi进行降维处理得到最终特征并得到同一身份的N张人脸图像构成的身份集合Sa的特征定义Ra(Sa);
S400、根据所述最终特征并将所述人脸图像的质量量化值μ作为附加权重信息得出加权平均值,将所述加权平均值加入训练,得到度量学习的损失函数;
S500、通过所述损失函数监督训练过程,得到卷积神经网络的最终参数θf,作为最终的人脸特征提取模型,根据所述人脸特征提取模型对人脸图像进行人脸特征识别。
如图2所示,本发明一种方法实施例的流程如下所述:
本发明可以分两个阶段阐述。下文所述的人脸图像与人脸图片为等同描述。在训练阶段,我们首先通过将人脸图像/图片进行人脸识别与特征点标注,然后根据人脸特征点进行人脸对齐处理;经过处理后加入卷积神经网络中训练,获得人脸图像的初步特征表示,并通过对初步特征的进行处理和计算,得到图像质量的量化值。训练的过程如图3所示。设训练集为,IMGtrain,训练集图像数量为Ntrain,对于每一张输入的人脸图像,Ii(i=1,2,,…,Ntrain),我们对其进行人脸检测与关键点标注,之后根据关键点对人脸图像进行对齐处理,将人脸图像划归为同一尺度,作为卷积神经网络的训练输入。将所述人脸图像I’加入到卷积神经网络中进行初步训练,得到相应的卷积神经网络参数θ,用于提取人脸的初步特征。
在网络训练完成后,利用其提取对于训练集中每张人脸图像的初级特征的网络参数,特征维数为512维,并以此计算人脸图像质量的量化值μ。具体步骤如图4所示。首先处理图片,得到对齐后的人脸图像。我们记训练集中的图片Ii(i=1,2,,…,Ntrain)的对应初级特征为Fi(i=1,2,,…,Ntrain),其中Fi={xi,0,xi,1,xi,2,…,xi,511},xi,j为训练集IMGtrain中图像Ii(i=1,2,,…,Ntrain)的第j+1维特征维数数值。则有:Fi=θ1·Ii;
其中·表示与神经网络的运算关系。
接下来,通过对Fi处理获得人脸质量的量化值。对人脸特征Fi计算其L2范数,即:
经过计算比较发现,对于质量高的人脸图像,即分辨率高、清晰度好、光照均匀的正脸图像,其对应的初级特征的L2范数较大;而对于分辨率较低、过暗或过亮、严重侧脸的图像,其对应的初级特征的L2范数较小。因此,以图像的初级特征的L2范数作为人脸图像的质量量化值μ,即:
得到人脸图像的质量量化值后,对卷积神经网络继续进行训练,使用度量学***均值,将所述加权平均值加入训练,得到度量学习的损失函数,以监督训练过程。具体过程如图5所示:记所有人脸身份标签的数量为L,身份标签的集合为:T={t1,t2,…,tL}。另记由同一身份的N张人脸图像构成的身份集合为Sa={I1,I2,…,IN},a∈{t1,t2,…,tL},Ik∈IMGtrain,则对于身份集合Sa的特征定义Ra(Sa)可以由集合内的N张图片的特征去获得,即
其中表示身份集合内Ik对应的最终特征,由初级特征经过全连接参数层进行降维处理后得到,维数为128,即结合上文得到的图片质量的量化值,我们将Ra(Sa)定义为:集合Sa内所有图片对于其图像质量的加权平均值,即质量高的图像对训练过程的贡献大,质量低的图像对训练过程的贡献小,这样可以有效避免质量较低的图像对***的不良影响:
μi=L2(Fi)=L2(θ1·Ii)
其中μi为图像Ii的质量量化值,即图像Ii对应的初级特征的L2范数。
在训练过程中,每一轮的训练随机取出3个身份集合Sa,Sp,Sn,共3N张图片,并使得a=p,a≠n,即a与p取自同一个身份,与n取自不同的身份。最后度量学习通过定义损失函数为:
Ltriplet=‖Ra(Sa)-Ra(Sp)‖2-‖Ra(Sa)-Ra(Sn)‖2+δ
度量学习的目标是使损失函数最小。利用上述的损失函数,训练一定的轮次后,保存卷积神经网络的最终参数θf,作为最终的人脸特征提取模型;θf中的f表示final,表示模型的最终参数,是图像质量得分和图像特征结合损失函数联合训练卷积神经网络得到的参数。
测试阶段,具体如图6所示,为使用本方法实施例对应的模型的测试流程图:
对于测试图片1和测试图片2,首先对其进行人脸检测和特征点识别,并根据特征点对图片进行人脸对齐,构成神经网络输入X1和X2,经过与卷积神经网络参数θf的计算,得到两个128维特征向量Y1和Y2。之后计算Y1和Y2间的欧氏距离为D。将D与判别阈值Th进行比较,若D≤Th,则判定两张测试图片的人脸属于同一个人;否则两个人脸测试图片不属于同一个人。其中,判别阈值Th的确定按以下方法:得到大量含有人脸标签信息的人脸图像中任意两个128位最终特征向量,并根据计算得到所有特征向量的欧氏距离,根据欧氏距离得到最佳判别阈值Th。
如图7所示,采用上述任一方法实施例的人脸特征识别***,包括:特征点标注单元1、人脸对齐单元2、模型单元3、计算比较单元4及判别单元5;
所述特征点标注单元1用于对导入***的多张人脸图像分别进行人脸检测和并识别出关键点;
所述人脸对齐单元2用于根据所述关键点对人脸图像进行人脸对齐;
所述模型单元3用于根据所述人脸特征提取模型得到与每个人脸图像对应的最终特征;
所述计算比较单元4用于计算不同人脸图像对应的最终特征间的欧氏距离D;并将D与判别阈值Th进行比较;
所述判别单元5用于根据欧氏距离D与判别阈值Th大小判定两张测试图片的人脸是否属于同一个人;若D≤Th,则判定两张测试图片的人脸属于同一个人;反之不是。
所属领域的普通技术人员应当理解:以上,所述仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。与该发明方法或等同的技术原理都属保护范围之内。
Claims (9)
1.一种结合图像质量分析与度量学习的人脸特征识别方法,其特征在于,包括:
通过将人脸图像Ii(i=1,2,,…,Ntrain)经过处理后加入卷积神经网络中训练,获得训练集中所有的人脸图像的初级特征Fi(i=1,2,,…,Ntrain),其中Ntrain为训练集IMGtrain的图像数量;
根据所述训练集中所有人脸图像的初级特征Fi的L2范数得到所述人脸图像的质量量化值μ;
添加全连接参数层将所述初级特征Fi进行降维处理得到最终特征并得到同一身份的N张人脸图像构成的身份集合Sa的特征定义Ra(Sa);
根据所述最终特征并将所述人脸图像的质量量化值μ作为附加权重信息得出加权平均值,将所述加权平均值加入训练,得到度量学习的损失函数;
通过所述损失函数监督训练过程,得到卷积神经网络的最终参数θf,作为最终的人脸特征提取模型,根据所述人脸特征提取模型对人脸图片进行人脸特征识别。
2.根据权利要求1所述的方法,其特征在于,所述将人脸图像经过处理具体包括:对于每一张输入的人脸图像Ii(i=1,2,,…,Ntrain),进行人脸检测与关键点标注,再根据关键点对所述每一张输入的人脸图像进行对齐处理,将所述所有输入的人脸图像划归为同一尺度,并得与所述每一张输入的人脸图像对应的处理后人脸图像I‘i(i=1,2,…,Ntrain),将所述人脸图像I’加入到卷积神经网络中进行初步训练,得到相应的卷积神经网络参数θ。
3.根据权利要求2所述的方法,其特征在于,在所述获得训练集中所有人脸图像的初级特征Fi(i=1,2,,…,Ntrain)后还包括:
利用所述卷积神经网络参数θ提取训练集IMGtrain中相应的人脸图像的初级特征Fi(i=1,2,,…,Ntrain),所述初级特征的特征维数为512维,Fi=θ1·Ii,其中Fi={xi,0,xi,1,xi,2,…,xi,511},xi,j为训练集IMGtrain中图像Ii(i=1,2,,…,Ntrain)的第j+1维特征维数数值。
4.根据权利要求3所述的方法,其特征在于,所述人脸图像质量的量化值μ得出方法具体为:
<mrow>
<msub>
<mi>&mu;</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<msub>
<mi>L</mi>
<mn>2</mn>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>F</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msup>
<mrow>
<mo>(</mo>
<msubsup>
<mi>&Sigma;</mi>
<mrow>
<mi>k</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mn>511</mn>
</msubsup>
<msubsup>
<mi>x</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>k</mi>
</mrow>
<mn>2</mn>
</msubsup>
<mo>)</mo>
</mrow>
<mrow>
<mn>1</mn>
<mo>/</mo>
<mn>2</mn>
</mrow>
</msup>
</mrow>
其中μi为人脸图像Ii的质量量化值,即图像Ii对应的初级特征的L2范数。
5.根据权利要求1所述的方法,其特征在于,所述特征定义Ra(Sa)的获取方法为:
获取同一身份的N张人脸图像构成的身份集合Sa:Sa={I1,I2,…,IN},a∈{t1,t2,…,tL},Ik∈IMGtrain,其中L为所有人脸身份标签的数量,T={t1,t2,…,tL}为身份标签的集合;
根据所述身份集合Sa内的N张图片的特征获得的身份集合Sa的特征定义Ra(Sa),即
<mrow>
<msub>
<mi>R</mi>
<mi>a</mi>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>S</mi>
<mi>a</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>f</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>R</mi>
<msub>
<mi>I</mi>
<mn>1</mn>
</msub>
</msub>
<mo>,</mo>
<msub>
<mi>R</mi>
<msub>
<mi>I</mi>
<mn>2</mn>
</msub>
</msub>
<mo>,</mo>
<mo>.</mo>
<mo>.</mo>
<mo>.</mo>
<mo>,</mo>
<msub>
<mi>R</mi>
<msub>
<mi>I</mi>
<mi>N</mi>
</msub>
</msub>
<mo>)</mo>
</mrow>
<mo>.</mo>
</mrow>
6.根据权利要求5所述的方法,其特征在于,所述将所述初级特征Fi进行降维处理得到最终特征具体为;所述初级特征Fi经过全连接参数层进行降维处理后得到所述最终特征所述最终特征的特征维数为128,即
<mrow>
<msub>
<mi>R</mi>
<msub>
<mi>I</mi>
<mi>k</mi>
</msub>
</msub>
<mo>=</mo>
<mo>{</mo>
<msub>
<mi>x</mi>
<mrow>
<msub>
<mi>I</mi>
<mi>k</mi>
</msub>
<mo>,</mo>
<mn>0</mn>
</mrow>
</msub>
<mo>,</mo>
<msub>
<mi>x</mi>
<mrow>
<msub>
<mi>I</mi>
<mi>k</mi>
</msub>
<mo>,</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>,</mo>
<msub>
<mi>x</mi>
<mrow>
<msub>
<mi>I</mi>
<mi>k</mi>
</msub>
<mo>,</mo>
<mn>2</mn>
</mrow>
</msub>
<mo>,</mo>
<mo>...</mo>
<mo>,</mo>
<msub>
<mi>x</mi>
<mrow>
<msub>
<mi>I</mi>
<mi>k</mi>
</msub>
<mo>,</mo>
<mn>127</mn>
</mrow>
</msub>
<mo>}</mo>
<mo>.</mo>
</mrow>
1
7.根据权利要求5所述的方法,其特征在于,所述将所述人脸图像的质量量化值μ作为附加权重信息得出加权平均值,具体为:
结合所述人脸图像的质量量化值μ,将所述特征定义Ra(Sa)定义为:集合Sa内所有图片对于其图像质量的加权平均值,且所述加权平均值如下式进行计算:
<mrow>
<msub>
<mi>R</mi>
<mi>a</mi>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>S</mi>
<mi>a</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>f</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>R</mi>
<msub>
<mi>I</mi>
<mn>1</mn>
</msub>
</msub>
<mo>,</mo>
<msub>
<mi>R</mi>
<msub>
<mi>I</mi>
<mn>2</mn>
</msub>
</msub>
<mo>,</mo>
<mo>...</mo>
<mo>,</mo>
<msub>
<mi>R</mi>
<msub>
<mi>I</mi>
<mi>N</mi>
</msub>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<msubsup>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</msubsup>
<msub>
<mi>&mu;</mi>
<mi>i</mi>
</msub>
<msub>
<mi>R</mi>
<msub>
<mi>I</mi>
<mi>i</mi>
</msub>
</msub>
</mrow>
<mrow>
<msubsup>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</msubsup>
<msub>
<mi>&mu;</mi>
<mi>i</mi>
</msub>
</mrow>
</mfrac>
<mo>,</mo>
<msub>
<mi>&mu;</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<msub>
<mi>L</mi>
<mn>2</mn>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>F</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msub>
<mi>L</mi>
<mn>2</mn>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>&theta;</mi>
<mn>1</mn>
</msub>
<mo>&CenterDot;</mo>
<msub>
<mi>I</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
其中μi为人脸图像Ii的质量量化值,即图像Ii对应的初级特征的L2范数。
8.根据权利要求5所述的方法,其特征在于,所述通过所述损失函数监督训练过程,得到卷积神经网络的参数θf,具体方法为:
每一轮的训练随机取出3个身份集合Sa,Sp,Sn,共3N张图片,并使得a=p,a≠n,即a与p取自同一个身份,a与n取自不同的身份;得到度量学习的损失函数:
Ltriplet=‖Ra(Sa)-Ra(Sp)‖2-‖Ra(Sa)-Ra(Sn)‖2+δ
利用所述损失函数监督神经网络的训练过程,训练一定的轮次后,得出并保存所述卷积神经网络的最终参数θf。
9.一种运用权利要求1~8任一项所述的方法的人脸特征识别***,其特征在于,包括:特征点标注单元、人脸对齐单元、模型单元、计算比较单元及判别单元;
所述特征点标注单元用于对导入***的多张人脸图像分别进行人脸检测和并识别出关键点;
所述人脸对齐单元用于根据所述关键点对人脸图像进行人脸对齐;
所述模型单元用于根据所述人脸特征提取模型得到与每个人脸图像对应的最终特征;
所述计算比较单元用于计算不同人脸图像对应的最终特征间的欧氏距离D;并将D与判别阈值Th进行比较;
所述判别单元用于根据欧氏距离D与判别阈值Th大小判定两张测试图片的人脸是否属于同一个人;若D≤Th,则判定两张测试图片的人脸属于同一个人;反之不是。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710508297.6A CN107341463B (zh) | 2017-06-28 | 2017-06-28 | 一种结合图像质量分析与度量学习的人脸特征识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710508297.6A CN107341463B (zh) | 2017-06-28 | 2017-06-28 | 一种结合图像质量分析与度量学习的人脸特征识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107341463A true CN107341463A (zh) | 2017-11-10 |
CN107341463B CN107341463B (zh) | 2020-06-05 |
Family
ID=60221011
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710508297.6A Active CN107341463B (zh) | 2017-06-28 | 2017-06-28 | 一种结合图像质量分析与度量学习的人脸特征识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107341463B (zh) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107944458A (zh) * | 2017-12-08 | 2018-04-20 | 北京维大成科技有限公司 | 一种基于卷积神经网络的图像识别方法和装置 |
CN108647583A (zh) * | 2018-04-19 | 2018-10-12 | 浙江大承机器人科技有限公司 | 一种基于多目标学习的人脸识别算法训练方法 |
CN108765394A (zh) * | 2018-05-21 | 2018-11-06 | 上海交通大学 | 基于质量评价的目标识别方法 |
CN108875542A (zh) * | 2018-04-04 | 2018-11-23 | 北京旷视科技有限公司 | 一种人脸识别方法、装置、***及计算机存储介质 |
CN108898087A (zh) * | 2018-06-22 | 2018-11-27 | 腾讯科技(深圳)有限公司 | 人脸关键点定位模型的训练方法、装置、设备及存储介质 |
CN110472400A (zh) * | 2019-08-22 | 2019-11-19 | 山东浪潮人工智能研究院有限公司 | 一种基于人脸识别的可信计算机***及实现方法 |
CN111104852A (zh) * | 2019-11-06 | 2020-05-05 | 重庆邮电大学 | 一种基于启发式高斯云变换的人脸识别技术 |
CN111241892A (zh) * | 2018-11-29 | 2020-06-05 | 中科视语(北京)科技有限公司 | 一种基于多神经网络模型联合优化的人脸识别方法及*** |
WO2020113563A1 (zh) * | 2018-12-07 | 2020-06-11 | 北京比特大陆科技有限公司 | 人脸图像质量评估方法、装置、设备及存储介质 |
CN111738083A (zh) * | 2020-05-20 | 2020-10-02 | 云知声智能科技股份有限公司 | 一种人脸识别模型的训练方法和装置 |
CN112215831A (zh) * | 2020-10-21 | 2021-01-12 | 厦门市美亚柏科信息股份有限公司 | 一种用于人脸图像质量的评价方法和*** |
CN112329833A (zh) * | 2020-10-28 | 2021-02-05 | 浙江大学 | 一种基于球面嵌入的图像度量学习方法 |
CN112766164A (zh) * | 2021-01-20 | 2021-05-07 | 深圳力维智联技术有限公司 | 人脸识别模型训练方法、装置、设备及可读存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104866829A (zh) * | 2015-05-25 | 2015-08-26 | 苏州大学 | 一种基于特征学习的跨年龄人脸验证方法 |
CN105404877A (zh) * | 2015-12-08 | 2016-03-16 | 商汤集团有限公司 | 基于深度学习和多任务学习的人脸属性预测方法及装置 |
US20160148077A1 (en) * | 2013-06-28 | 2016-05-26 | President And Fellows Of Harvard College | Systems and methods for machine learning enhanced by human measurements |
CN105678249A (zh) * | 2015-12-31 | 2016-06-15 | 上海科技大学 | 针对注册人脸和待识别人脸图片质量不同的人脸识别方法 |
CN106600538A (zh) * | 2016-12-15 | 2017-04-26 | 武汉工程大学 | 一种基于区域深度卷积神经网络的人脸超分辨率算法 |
CN106845421A (zh) * | 2017-01-22 | 2017-06-13 | 北京飞搜科技有限公司 | 基于多区域特征与度量学习的人脸特征识别方法及*** |
-
2017
- 2017-06-28 CN CN201710508297.6A patent/CN107341463B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160148077A1 (en) * | 2013-06-28 | 2016-05-26 | President And Fellows Of Harvard College | Systems and methods for machine learning enhanced by human measurements |
CN104866829A (zh) * | 2015-05-25 | 2015-08-26 | 苏州大学 | 一种基于特征学习的跨年龄人脸验证方法 |
CN105404877A (zh) * | 2015-12-08 | 2016-03-16 | 商汤集团有限公司 | 基于深度学习和多任务学习的人脸属性预测方法及装置 |
CN105678249A (zh) * | 2015-12-31 | 2016-06-15 | 上海科技大学 | 针对注册人脸和待识别人脸图片质量不同的人脸识别方法 |
CN106600538A (zh) * | 2016-12-15 | 2017-04-26 | 武汉工程大学 | 一种基于区域深度卷积神经网络的人脸超分辨率算法 |
CN106845421A (zh) * | 2017-01-22 | 2017-06-13 | 北京飞搜科技有限公司 | 基于多区域特征与度量学习的人脸特征识别方法及*** |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107944458A (zh) * | 2017-12-08 | 2018-04-20 | 北京维大成科技有限公司 | 一种基于卷积神经网络的图像识别方法和装置 |
CN108875542A (zh) * | 2018-04-04 | 2018-11-23 | 北京旷视科技有限公司 | 一种人脸识别方法、装置、***及计算机存储介质 |
CN108875542B (zh) * | 2018-04-04 | 2021-06-25 | 北京旷视科技有限公司 | 一种人脸识别方法、装置、***及计算机存储介质 |
CN108647583A (zh) * | 2018-04-19 | 2018-10-12 | 浙江大承机器人科技有限公司 | 一种基于多目标学习的人脸识别算法训练方法 |
CN108647583B (zh) * | 2018-04-19 | 2022-02-22 | 浙江大承机器人科技有限公司 | 一种基于多目标学习的人脸识别算法训练方法 |
CN108765394B (zh) * | 2018-05-21 | 2021-02-05 | 上海交通大学 | 基于质量评价的目标识别方法 |
CN108765394A (zh) * | 2018-05-21 | 2018-11-06 | 上海交通大学 | 基于质量评价的目标识别方法 |
CN108898087A (zh) * | 2018-06-22 | 2018-11-27 | 腾讯科技(深圳)有限公司 | 人脸关键点定位模型的训练方法、装置、设备及存储介质 |
CN111241892A (zh) * | 2018-11-29 | 2020-06-05 | 中科视语(北京)科技有限公司 | 一种基于多神经网络模型联合优化的人脸识别方法及*** |
WO2020113563A1 (zh) * | 2018-12-07 | 2020-06-11 | 北京比特大陆科技有限公司 | 人脸图像质量评估方法、装置、设备及存储介质 |
CN112889061A (zh) * | 2018-12-07 | 2021-06-01 | 北京比特大陆科技有限公司 | 人脸图像质量评估方法、装置、设备及存储介质 |
CN110472400A (zh) * | 2019-08-22 | 2019-11-19 | 山东浪潮人工智能研究院有限公司 | 一种基于人脸识别的可信计算机***及实现方法 |
WO2021088640A1 (zh) * | 2019-11-06 | 2021-05-14 | 重庆邮电大学 | 一种基于启发式高斯云变换的人脸识别技术 |
CN111104852A (zh) * | 2019-11-06 | 2020-05-05 | 重庆邮电大学 | 一种基于启发式高斯云变换的人脸识别技术 |
CN111738083A (zh) * | 2020-05-20 | 2020-10-02 | 云知声智能科技股份有限公司 | 一种人脸识别模型的训练方法和装置 |
CN111738083B (zh) * | 2020-05-20 | 2022-12-27 | 云知声智能科技股份有限公司 | 一种人脸识别模型的训练方法和装置 |
CN112215831A (zh) * | 2020-10-21 | 2021-01-12 | 厦门市美亚柏科信息股份有限公司 | 一种用于人脸图像质量的评价方法和*** |
CN112215831B (zh) * | 2020-10-21 | 2022-08-26 | 厦门市美亚柏科信息股份有限公司 | 一种用于人脸图像质量的评价方法和*** |
CN112329833A (zh) * | 2020-10-28 | 2021-02-05 | 浙江大学 | 一种基于球面嵌入的图像度量学习方法 |
CN112766164A (zh) * | 2021-01-20 | 2021-05-07 | 深圳力维智联技术有限公司 | 人脸识别模型训练方法、装置、设备及可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN107341463B (zh) | 2020-06-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107341463A (zh) | 一种结合图像质量分析与度量学习的人脸特征识别方法 | |
CN108717568B (zh) | 一种基于三维卷积神经网络的图像特征提取与训练方法 | |
CN109543606B (zh) | 一种加入注意力机制的人脸识别方法 | |
CN112308158B (zh) | 一种基于部分特征对齐的多源领域自适应模型及方法 | |
CN108537743B (zh) | 一种基于生成对抗网络的面部图像增强方法 | |
CN106203395B (zh) | 基于多任务深度学习的人脸属性识别方法 | |
CN105975931B (zh) | 一种基于多尺度池化的卷积神经网络人脸识别方法 | |
CN107451607B (zh) | 一种基于深度学习的典型人物的身份识别方法 | |
CN104239858B (zh) | 一种人脸特征验证的方法和装置 | |
CN110020682A (zh) | 一种基于小样本学习的注意力机制关系对比网络模型方法 | |
CN107239514A (zh) | 一种基于卷积神经网络的植物识别方法及*** | |
CN108090830B (zh) | 一种基于面部画像的信贷风险评级方法和装置 | |
CN106875007A (zh) | 用于语音欺骗检测的基于卷积长短期记忆端对端深度神经网络 | |
CN110245550A (zh) | 一种基于总体余弦分布的人脸噪音数据集cnn训练方法 | |
CN106529377A (zh) | 一种基于图像的年龄估计方法、装置及*** | |
CN112580445B (zh) | 基于生成对抗网络的人体步态图像视角转化方法 | |
CN109583507A (zh) | 一种基于深度卷积神经网络的猪体识别方法 | |
CN103778430B (zh) | 一种基于肤色分割和AdaBoost相结合的快速人脸检测方法 | |
CN106529395A (zh) | 基于深度置信网络和k均值聚类的签名图像鉴定方法 | |
CN107145841A (zh) | 一种基于矩阵的低秩稀疏人脸识别方法及其*** | |
CN108345866A (zh) | 一种基于深度特征学习的行人再识别方法 | |
CN106971161A (zh) | 基于颜色和奇异值特征的人脸活体检测*** | |
CN109255339A (zh) | 基于自适应深度森林人体步态能量图的分类方法 | |
CN106778897A (zh) | 基于余弦距离和中心轮廓距离的两次植物物种识别方法 | |
CN109617864A (zh) | 一种网站识别方法及网站识别*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20200428 Address after: 215123 unit 2-b702, creative industry park, No. 328, Xinghu street, Suzhou Industrial Park, Suzhou City, Jiangsu Province Applicant after: SUZHOU FEISOU TECHNOLOGY Co.,Ltd. Address before: 100082 Beijing city Haidian District Lian Hui Lu Hai Yunxuan apartment No. 99 block B Applicant before: BEIJING FEISOU TECHNOLOGY Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |