CN105373777B - 一种用于人脸识别的方法及装置 - Google Patents
一种用于人脸识别的方法及装置 Download PDFInfo
- Publication number
- CN105373777B CN105373777B CN201510727701.XA CN201510727701A CN105373777B CN 105373777 B CN105373777 B CN 105373777B CN 201510727701 A CN201510727701 A CN 201510727701A CN 105373777 B CN105373777 B CN 105373777B
- Authority
- CN
- China
- Prior art keywords
- face
- image
- critical component
- facial expression
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000008921 facial expression Effects 0.000 claims abstract description 49
- 238000013528 artificial neural network Methods 0.000 claims abstract description 36
- 230000001815 facial effect Effects 0.000 claims abstract description 34
- 238000000638 solvent extraction Methods 0.000 claims abstract description 13
- 230000011218 segmentation Effects 0.000 claims abstract description 10
- 239000000284 extract Substances 0.000 claims abstract description 6
- 230000014509 gene expression Effects 0.000 claims description 20
- 230000000007 visual effect Effects 0.000 claims description 13
- 239000013598 vector Substances 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 7
- 206010053238 Amimia Diseases 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 238000003709 image segmentation Methods 0.000 claims description 3
- 229910002056 binary alloy Inorganic materials 0.000 claims 2
- 230000006399 behavior Effects 0.000 claims 1
- 238000004364 calculation method Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 8
- 210000000887 face Anatomy 0.000 description 4
- 230000002708 enhancing effect Effects 0.000 description 3
- 230000009452 underexpressoin Effects 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000004069 differentiation Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000016776 visual perception Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000002087 whitening effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/175—Static expression
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种用于人脸识别的方法和装置,所述方法包括:对于输入的待识别人脸图片进行人脸关键部件定位,确定人脸关键部件中心位置;根据人脸关键部件中心位置进行人脸图像区域分割,以人脸关键部件的中心为图像中心位置分别分割出人脸关键部件区域;将人脸图像分割为预定数量同样大小的正方形图像区域;基于第一种分割方式得到的人脸关键部件区域对应的图像,利用面部表情识别神经网络进行面部表情识别,得到人脸图像对应的面部表情信息;所述面部表情识别神经网络基于卷积深度信念神经网络构成;基于第二种分割方式得到的预定数量的语义区域对应的图像,提取每一块语义区域图像的局部二值模式直方图,并在所述面部表情信息的调控下,得到人脸识别结果。
Description
技术领域
本发明属于图像识别或计算机视觉领域,尤其涉及人脸关键部件定位、面部表情识别和人脸身份识别。
背景技术
局部二值模式(local binary pattern,LBP)是一种可用于纹理分析的图像空间特征,具有较强的可区分性;同时,对于单调的灰度变化、光照变化具有较好的鲁棒性。Ahonen等人将其作为一种人脸描述子用于人脸身份识别(T.Ahonen,A.Hadid,andM.Pietikainen,“Face description with localbinary patterns:Application to facerecognition,”IEEE Trans.PatternAnal.Mach.Intell.,vol.28,no.12,pp.2037-2041,Dec.2006.)。他们把人脸图像分成若干区域,从每个图像区域提取局部二值模式直方图,然后把所有的直方图向量连接成一个空间增强局部二值模式直方图(spatiallyenhancedlocal binary pattern histogram,eLBPH)用于人脸身份识别。他们考虑到了不同的人脸图像区域对于人脸身份识别的贡献不同,即不同的人脸图像区域用于人脸身份识别的区分能力不同,并做了相应的改进——根据每个人脸图像区域区分能力的大小赋予不同的权值,并称之为weighted eLBPH。
然而,他们却没有考虑表情因素,即人脸图像区域用于人脸身份识别时的区分能力在不同表情下不同。同时,他们对于人脸图像的区域分割也是较为简单的,划分出的人脸图像区域没有明确的语义含义。
发明内容
有鉴于此,本发明正是针对上述的两点不足进行了改进,受生物学证据启发相应地引入了“人脸图像语义分割”和“表情调控下的人脸身份识别”步骤,提出了一种改进的用于人脸识别的空间增强局部二值模式直方图方法(后均简称为改进方法)。最终并通过实验验证了改进的合理性和有效性。
根据本发明一方面,提供了
一种用于人脸识别的方法,其包括:
步骤1、对于输入的待识别人脸图片进行人脸关键部件定位,确定人脸关键部件中心位置;
步骤2、根据人脸关键部件中心位置进行人脸图像区域分割,包括两种分割方式:第一种、以人脸关键部件的中心为图像中心位置分别分割出人脸关键部件区域;第二种、将人脸图像分割为预定数量同样大小的正方形图像区域;
步骤3、基于步骤2中第一种分割方式得到的人脸关键部件区域对应的图像,利用面部表情识别神经网络进行面部表情识别,得到人脸图像对应的面部表情信息;所述面部表情识别神经网络基于卷积深度信念神经网络构成;
步骤4、基于步骤2中第二种分割方式得到的预定数量的语义区域对应的图像,提取每一块语义区域图像的局部二值模式直方图,并在所述面部表情信息的调控下,得到人脸识别结果。
根据本发明另一方面,其提供了一种用于人脸识别的装置,其包括:
人脸关键部件定位模块,对于输入的待识别人脸图片进行人脸关键部件定位,确定人脸关键部件中心位置;
人脸图像分割模块,根据人脸关键部件中心位置进行人脸图像分割,包括两种分割方式:第一种、以人脸关键部件的中心为图像中心位置分别分割出人脸关键部件区域;第二种、将人脸图像分割为预定数量同样大小的正方形语义区域图像;
面部表情信息识别模块,基于所述第一种分割方式得到的人脸关键部件区域对应的图像,利用面部表情识别神经网络进行面部表情识别,得到人脸图像对应的面部表情信息;所述面部表情识别神经网络基于卷积深度信念神经网络构成;
人脸识别模块,基于所述第二种分割方式得到的预定数量的语义区域对应的图像,提取每一块语义区域图像的局部二值模式直方图,并在所述面部表情信息的调控下,得到人脸识别结果。
本发明主要受以下生物学证据启发:(1)人脑对于人脸的视觉感知,从功能层次和神经层次都可以分为两条通路:一条通路用于感知不变的信息(如身份),另一条用于感知可变的信息(如表情);(2)这两条分离的人脸感知通路之间会有交互,来处理人脸变化特征。
附图说明
图1为本发明所描述方法的流程图;
图2为人脸图像区域语义分割方法一示意图;
图3为人脸图像区域语义分割方法二示意图;
图4为利用卷积深度信念神经网络进行面部表情识别的网络结构示意图;
图5为卷积深度信念神经网络自动提取特征时的位置示意图;
图6为不同表情下不同人脸区域对于人脸身份识别的贡献示意图;
图7为本发明与原方法和一种经典方法(Eigenface)的人脸识别效果对比图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明作进一步的详细说明。
本发明受生物学证据启发相应地引入了“人脸图像语义分割”和“表情调控下的人脸身份识别”步骤,提出了一种改进的用于人脸识别的空间增强局部二值模式直方图方法(后均简称为改进方法)。最终并通过实验验证了改进的合理性和有效性。
本发明主要受以下生物学证据启发:(1)人脑对于人脸的视觉感知,从功能层次和神经层次都可以分为两条通路:一条通路用于感知不变的信息(如身份),另一条用于感知可变的信息(如表情);(2)这两条分离的人脸感知通路之间会有交互,来处理人脸变化特征。
如图1所示,本发明提出的用于人脸识别的方法具体包括:
步骤一、对于输入的人脸图片进行人脸关键部件定位,确定人脸关键部件中心位置。所述人脸关键部件包括右眼、左眼、鼻子、嘴巴等。
优选的,人脸关键部件的定位可以采用人脸特征点定位的经典方法ASM(ActiveShape Model)和AAM(Active Appreance Model)及其衍生方法。本发明采用一种衍生ASM方法(S.Milborrow and F.Nicolls,“Active Shape Models with SIFTDescriptors andMARS,”VISAPP,2014.)来完成人脸特征点定位,然后从中找出人脸关键部件的中心位置。
步骤二、根据人脸关键部件中心位置信息进行人脸图像区域语义分割;本发明中进行两种分割:
第一种,如图2所示,以人脸关键部件的中心为图像区域中心,分别分割出人脸关键部件区域,如右眼、左眼、鼻子、嘴巴等区域,尽可能地使图像区域内容干净——不覆盖相邻的人脸关键部件;
第二种,如图3所示,结合人脸特点,将人脸图像分割为预定数量同样大小的正方形图像区域,如预定数量为20,分割时需要遵循两个原则:a.以双眼的中心分别作为区域10和11的中心,其中区域10和11为左右眼所在区域;b.正方形区域的边长取为双眼中心间距长度。满足这两个原则后,分割出的人脸区域都有一定的语义含义,例如:区域7是左前额,区域11是左眼,区域15是左脸颊,区域19是左下巴。
步骤三、基于上述步骤分割出的人脸关键部件区域图像(第一种),利用面部表情识别神经网络进行面部表情识别,得到人脸图像对应的面部表情信息;所述面部表情识别神经网络基于卷积深度信念神经网络构成。
一般,典型的面部表情识别方法包括3个步骤:特征学习、特征选择和分类器分类识别,并且通常所采用的特征都是人为地巧妙设计的。本发明提出了一种新方法,利用卷积深度信念神经网络来自动地定位包含表情信息最多的局部区域,并有效地从这些局部区域来提取特征用于面部表情识别。也就是说,卷积深度信念神经网络可以同时完成特征学习和特征选择。所述卷积深度信念神经网络为离线建立,并通过典型的训练方法训练得到。
具体实现的面部表情识别神经网络结构示意图如图4所示,该网络共包含3层:底层、中间层和上层。底层由多个相互独立的CDBN网络构成,分别处理多种不同的人脸关键部件图像区域(如右眼、左眼、鼻子、嘴巴),下面以4个人脸关键部件为例说明。将4个相互独立的CDBN网络命名为CDBN-RE、CDBN-LE、CDBN-N、CDBN-M。这4个CDBN网络采用相同的网络结构,即每个CDBN都有1个可视层V(输入层),2个隐层:第一隐层H(1)和第二隐层H(2),2个池化(pooling)层:第一池化层P(1)和第二池化层P(2)。人脸关键部件图像区域经过白化处理后作为相应的网络输入,即作为可视层;可视层通过卷积操作得到第一隐层H(1),再经过池化操作得到第一池化层P(1);第一池化层P(1)通过卷积、求和操作得到第二隐层H(2),再经过池化操作得到第二池化层P(2)。第二池化层P(2)作为CDBN最顶层的输出,其本质是一个低维的二维阵列,可以表征相应图像区域的表情信息。为了后续的计算,这些低维的二维阵列在中间层以列向量堆砌的形式被拉伸变形为一维向量xi,i=1,2,3,4,并组成为一个合成向量XE=[x1,x2,x3,x4]。合成向量XE被送到上层的SVM分类器,然后得到面部表情识别结果YE=k,k=1,2,...,Ne,其中Ne是表情的类别总数。
每一个CDBN网络基本单元的能量函数可以表示为:
其中,v表示相应的网络可视层单元,h表示相应的网络隐层单元,K表示隐层单元的数量,W表示可视层和隐层之间的连接权重,c是可视层单元共享的偏置,b是每个隐层单元对应的偏置。往往,可视层单元、隐层单元、池化层单元、权重都是长宽相等的二维阵列,因此用nv表示可视层单元的边长维度,用nh表示隐层单元的边长维度,用nw表示权重的边长维度。
每一个CDBN网络都可以用contrastive divergenceapproximation算法(G.E.Hinton and R.R.Salakhutdinov,“Reducing the dimensionalityof data withneural networks,”Science,vol.313,no.5786,pp.504-507,2006.)来单独训练。
步骤四、基于步骤二分割出的人脸20块语义区域图像,提取每一块区域的局部二值模式直方图(LBPH);然后在面部表情信息的调控下,完成人脸身份识别。该阶段可分为两个步骤:提取局部二值模式直方图和表情调控下的人脸身份识别。
步骤41:提取局部二值模式直方图。
对于步骤二分割出的人脸20块语义区域图像,我们对每一块都执行LBP操作,即对图像中每个像素的邻域进行二值化滤波操作,阈值选为当前像素的灰度值;然后将滤波结果用二进制表示,并把数值赋给当前像素。该过程可以表示为:
其中,fi(x,y)表示针对第i个区域图像进行LBP操作结束后输出的标签图像,变量x,y是图像坐标索引项,即(x,y)表示标签图像中的一个像素点。vc(x,y)表示像素点(x,y)的灰度值,vp(x,y)表示像素点(x,y)的第p个邻域像素点的灰度值,p的取值范围取决于领域类型,在本发明中采用8邻域,因此取值范围是1~8,s表示二值化滤波操作。
然后计算每一块标签图像的灰度直方图Hi,其可以表示为:
其中,Hi是第i个区域图像的灰度直方图,表示直方图Hi中的第j个元素,I是逻辑函数(条件成立时取值为1,否则为0),n表示标签图像的灰度阶数。
步骤42:表情调控下的人脸身份识别。
在上一阶段中已知待识别人脸图像的面部表情信息YE=k,此时每一块区域的局部二值模式直方图Hi将自动附加一个权重ωi,k,用来表征在表情YE=k下第i个人脸区域用于人脸身份识别时的区分能力。ωi,k体现了面部表情信息对于人脸身份识别的调控。
可选地,ωi,k可以用一个简单的策略得到:在只包含面部表情信息为YE=k的训练集上,仅凭借第i个区域进行人脸身份识别的准确率被赋值给ωi,k。
接着,在人脸面部表情信息的调控下,综合20个人脸区域的有效信息进行人脸身份识别,其数学表达形式如下:
其中YI表示最终的人脸身份识别结果,Np表示候选的已认识人的总数,Nr表示人脸图像被分割成区域的数量,Pi,j表示仅凭借第i个人脸区域进行身份识别时,测试样本和已认识(存储)的第j个人无表情样本的相似程度。注意,此处的相似程度仅仅是和已认识人的无表情样本进行相似性比较,不考虑带有表情的样本,这样可以有效地减少模型的存储量和计算复杂度。而在具体实现上,可以用pairwise coupling方法扩展的SVM算法来估计Pi,j(T.Wu,C.Lin,and R.Weng,“Probability estimates for multi-classclassificationby pairwise coupling,”Journal of Machine LearningResearch,vol.5,pp.975-1005,Aug.2004.)。
我们在AR数据集上测试了本发明方法。
图5是卷积深度信念神经网络提取特征位置示意图。利用卷积深度信念神经网络进行面部表情识别时,在训练后网络可以自动定位到包含表情信息最多的局部区域(图中绿色方框区域)。图5展示了3种表情下(无表情、微笑、尖叫),对于不同人脸部位图像(右眼、左眼、鼻子、嘴巴)卷积深度信念神经网络自动提取特征时的位置。通过分析该图,不难发现绿色方框区域也确实是相应人脸部位范围内最能体现出相应表情特征的区域。
图6是实验中3种表情情况下(无表情、微笑、尖叫),不同人脸图像区域用于人脸身份识别的区分能力示意图,颜色越深表示区分能力越强,即用于人脸身份识别的可靠性越高。通过对比这3种表情下的区域区分能力示意图,可以得出结论:人脸图像区域用于人脸身份识别时的区分能力在不同表情下不同,即证明了本发明改进思路的合理性。
图7是在AR数据库上3种不同方法(经典的人脸识别方法Eigenface、改进前的原始方法和本发明方法)识别结果的对比图。从图中可以看出本发明方法要优于改进前的原始方法,说明了本发明改进的有效性。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种用于人脸识别的方法,其包括:
步骤1、对于输入的待识别人脸图片进行人脸关键部件定位,确定人脸关键部件中心位置;
步骤2、根据人脸关键部件中心位置进行人脸图像区域分割,包括两种分割方式:第一种、以人脸关键部件的中心为图像中心位置分别分割出人脸关键部件区域;第二种、将人脸图像分割为预定数量同样大小的正方形图像区域;
步骤3、基于步骤2中第一种分割方式得到的人脸关键部件区域对应的图像,利用面部表情识别神经网络进行面部表情识别,得到人脸图像对应的面部表情信息;所述面部表情识别神经网络基于卷积深度信念神经网络构成;
步骤4、基于步骤2中第二种分割方式得到的预定数量的语义区域对应的图像,提取每一块语义区域图像的局部二值模式直方图,并在所述面部表情信息的调控下,得到人脸识别结果。
2.如权利要求1所述的人脸识别的方法,其中,步骤2中第二种分割方式遵循两个原则:
a、以左眼和右眼的中心分别作为左眼和右眼所在区域的中心;
b、正方形区域的边长取左眼和右眼中心间距长度。
3.如权利要求1所述的方法,其中,步骤3中面部表情识别神经网络包括:底层、中间层和上层;其中底层包括多个相互独立的卷积深度信念神经网络,用于分别处理多个不同的人脸关键部件区域;中间层用于将每个所述卷积深度信念神经网络的二维阵列输出以列向量堆砌的形式拉伸变形为一维向量,之后再合成为一个一维向量;上层为分类器,用于根据所合成的一维向量得到面部表情识别结果。
4.如权利要求3所述的方法,其中,所述卷积深度信念神经网络由下至上包括:可视层、第一隐层、第一池化层、第二隐层、第二池化层;所述卷积深度信念神经网络基本单元的能量函数如下表示:
其中,v表示相应的网络可视层单元,h表示相应的网络隐层单元,K表示隐层单元的数量,W表示可视层和隐层之间的连接权重,c是可视层单元共享的偏置,b是每个隐层单元对应的偏置,nv表示可视层单元的边长维度,nh表示隐层单元的边长维度,nw表示权重的边长维度。
5.如权利要求1所述的方法,其中,步骤4中提取每一块语义区域图像的局部二值模式直方图具体包括:
对每一块语义区域图像中的每个像素的邻域进行二值化滤波操作,其中阈值为当前像素的灰度值,将所述二值化滤波操作得到的结果用二进制表示,并将所述二进制赋予当前像素,得到每一块语义区域图像对应的标签图像;
计算每一块语义区域图像对应的标签图像的灰度直方图,即为每一块语义区域图像的局部二值模式直方图。
6.如权利要求1所述的方法,其中,步骤4中在所述面部表情信息的调控下,得到人脸识别结果具体包括:
对于每一块语义区域图像的局部二值模式直方图附加一权重值,所述权重值如下获得:只包含所述面部表情信息的训练集上,仅凭借当前语义区域图像进行人脸身份识别的准确率作为权重值附加给当前语义区域图像的局部二值模式直方图;
综合所有语义区域图像进行人脸识别,人脸识别结果具体如下表示:
其中,YI表示最终的人脸识别结果,Np表示候选的已认识人的总数,Nr表示人脸图像被分割成语义区域的数量,Pi,j表示仅凭借第i个语义区域图像进行身份识别时,待识别人脸图片和已认识人的第j个人无表情样本的相似程度,ωi,k表示为第i个语义区域图像的局部二值模式直方图附加的权重值。
7.一种用于人脸识别的装置,其包括:
人脸关键部件定位模块,对于输入的待识别人脸图片进行人脸关键部件定位,确定人脸关键部件中心位置;
人脸图像分割模块,根据人脸关键部件中心位置进行人脸图像分割,包括两种分割方式:第一种、以人脸关键部件的中心为图像中心位置分别分割出人脸关键部件区域;第二种、将人脸图像分割为预定数量同样大小的正方形语义区域图像;
面部表情信息识别模块,基于所述第一种分割方式得到的人脸关键部件区域对应的图像,利用面部表情识别神经网络进行面部表情识别,得到人脸图像对应的面部表情信息;所述面部表情识别神经网络基于卷积深度信念神经网络构成;
人脸识别模块,基于所述第二种分割方式得到的预定数量的语义区域对应的图像,提取每一块语义区域图像的局部二值模式直方图,并在所述面部表情信息的调控下,得到人脸识别结果。
8.如权利要求7所述的装置,其中,面部表情识别神经网络包括:底层、中间层和上层;其中底层包括多个相互独立的卷积深度信念神经网络,用于分别处理多个不同的人脸关键部件区域;中间层用于将每个所述卷积深度信念神经网络的二维阵列输出以列向量堆砌的形式拉伸变形为一维向量,之后再合成为一个一维向量;上层为分类器,用于根据所合成的一维向量得到面部表情识别结果。
9.如权利要求7所述的装置,其中,人脸识别模块中提取每一块语义区域图像的局部二值模式直方图具体包括:
标签图像获取模块,对每一块语义区域图像中的每个像素的邻域进行二值化滤波操作,其中阈值为当前像素的灰度值,将所述二值化滤波操作得到的结果用二进制表示,并将所述二进制赋予当前像素,得到每一块语义区域图像对应的标签图像;
直方图计算模块,计算每一块语义区域图像对应的标签图像的灰度直方图,即为每一块语义区域图像的局部二值模式直方图。
10.如权利要求7所述的装置,其中,所述人脸识别模块在所述面部表情信息的调控下,得到人脸识别结果具体包括:
权重附加模块,对于每一块语义区域图像的局部二值模式直方图附加一权重值,所述权重值如下获得:只包含所述面部表情信息的训练集上,仅凭借当前语义区域图像进行人脸身份识别的准确率作为权重值附加给当前语义区域图像的局部二值模式直方图;
人脸识别结果获取模块,综合所有语义区域图像进行人脸识别,人脸识别结果具体如下表示:
其中,YI表示最终的人脸识别结果,Np表示候选的已认识人的总数,Nr表示人脸图像被分割成语义区域的数量,Pi,j表示仅凭借第i个语义区域图像进行身份识别时,待识别人脸图片和已认识人的第j个人无表情样本的相似程度,ωi,k表示为第i个语义区域图像的局部二值模式直方图附加的权重值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510727701.XA CN105373777B (zh) | 2015-10-30 | 2015-10-30 | 一种用于人脸识别的方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510727701.XA CN105373777B (zh) | 2015-10-30 | 2015-10-30 | 一种用于人脸识别的方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105373777A CN105373777A (zh) | 2016-03-02 |
CN105373777B true CN105373777B (zh) | 2019-01-08 |
Family
ID=55375961
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510727701.XA Active CN105373777B (zh) | 2015-10-30 | 2015-10-30 | 一种用于人脸识别的方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105373777B (zh) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106682616B (zh) * | 2016-12-28 | 2020-04-21 | 南京邮电大学 | 基于双通道特征深度学习的新生儿疼痛表情识别方法 |
CN106971155B (zh) * | 2017-03-21 | 2020-03-24 | 电子科技大学 | 一种基于高度信息的无人车车道场景分割方法 |
CN108416772A (zh) * | 2018-03-07 | 2018-08-17 | 汕头大学 | 一种基于级联卷积神经网络的斜眼检测方法 |
CN110298212B (zh) * | 2018-03-21 | 2023-04-07 | 腾讯科技(深圳)有限公司 | 模型训练方法、情绪识别方法、表情显示方法及相关设备 |
CN108537722A (zh) * | 2018-03-30 | 2018-09-14 | 北京金山安全软件有限公司 | 图像处理方法、装置、电子设备及介质 |
CN108564526A (zh) * | 2018-03-30 | 2018-09-21 | 北京金山安全软件有限公司 | 一种图像处理方法、装置、电子设备及介质 |
CN110414296A (zh) * | 2018-04-26 | 2019-11-05 | 上海西门子医疗器械有限公司 | 被扫描人状态的监控方法、监控设备和医学影像扫描设备 |
CN108737729A (zh) * | 2018-05-04 | 2018-11-02 | Oppo广东移动通信有限公司 | 自动拍照方法和装置 |
CN108446688B (zh) * | 2018-05-28 | 2020-01-07 | 北京达佳互联信息技术有限公司 | 人脸图像性别判断方法、装置、计算机设备及存储介质 |
CN109948441B (zh) * | 2019-02-14 | 2021-03-26 | 北京奇艺世纪科技有限公司 | 模型训练、图像处理方法、装置、电子设备及计算机可读存储介质 |
CN109886190A (zh) * | 2019-02-20 | 2019-06-14 | 哈尔滨工程大学 | 一种基于深度学习的人脸表情和姿态双模态融合表情识别方法 |
CN113011386B (zh) * | 2021-04-13 | 2023-04-07 | 重庆大学 | 一种基于等分特征图的表情识别方法及*** |
CN113435335B (zh) * | 2021-06-28 | 2022-08-12 | 平安科技(深圳)有限公司 | 微观表情识别方法、装置、电子设备及存储介质 |
CN113469040B (zh) * | 2021-06-30 | 2023-10-24 | 北京市商汤科技开发有限公司 | 一种图像处理方法、装置、计算机设备和存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103034840A (zh) * | 2012-12-05 | 2013-04-10 | 山东神思电子技术股份有限公司 | 一种性别识别方法 |
CN104318221A (zh) * | 2014-11-05 | 2015-01-28 | 中南大学 | 一种基于elm的人脸表情识别方法 |
-
2015
- 2015-10-30 CN CN201510727701.XA patent/CN105373777B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103034840A (zh) * | 2012-12-05 | 2013-04-10 | 山东神思电子技术股份有限公司 | 一种性别识别方法 |
CN104318221A (zh) * | 2014-11-05 | 2015-01-28 | 中南大学 | 一种基于elm的人脸表情识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN105373777A (zh) | 2016-03-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105373777B (zh) | 一种用于人脸识别的方法及装置 | |
CN104866829B (zh) | 一种基于特征学习的跨年龄人脸验证方法 | |
Gunay et al. | Automatic age classification with LBP | |
CN102938065B (zh) | 基于大规模图像数据的人脸特征提取方法及人脸识别方法 | |
CN103218609B (zh) | 一种基于隐最小二乘回归的多姿态人脸识别方法及其装置 | |
CN105205449B (zh) | 基于深度学习的手语识别方法 | |
CN105825183B (zh) | 基于部分遮挡图像的人脸表情识别方法 | |
CN107038422A (zh) | 基于空间几何约束深度学习的疲劳状态识别方法 | |
Yadav et al. | Bacteria foraging fusion for face recognition across age progression | |
CN113963032A (zh) | 一种融合目标重识别的孪生网络结构目标跟踪方法 | |
CN105550657A (zh) | 基于关键点的改进sift人脸特征提取方法 | |
CN102637251A (zh) | 基于参考特征的人脸识别方法 | |
CN106021330A (zh) | 一种用于混合轮廓线视图下的三维模型检索方法 | |
CN104915658B (zh) | 一种基于情感分布学习的情感成分分析方法及其*** | |
Zhang | Advances in Face Image Analysis: Techniques and Technologies: Techniques and Technologies | |
CN110046550A (zh) | 基于多层特征学习的行人属性识别***及方法 | |
CN105956570B (zh) | 基于唇部特征和深度学习的笑脸识别方法 | |
CN106897669A (zh) | 一种基于一致迭代多视角迁移学习的行人再辨识方法 | |
Shu et al. | Age progression: Current technologies and applications | |
CN108681721A (zh) | 基于图像分割二维双向数据线性相关组合的人脸识别方法 | |
Ouarda et al. | MLP Neural Network for face recognition based on Gabor Features and Dimensionality Reduction techniques | |
CN104298974A (zh) | 一种基于深度视频序列的人体行为识别方法 | |
CN103065158A (zh) | 基于相对梯度的isa模型的行为识别方法 | |
CN112818755B (zh) | 一种基于主动学习的步态识别方法 | |
Duan et al. | Expression of Concern: Ethnic Features extraction and recognition of human faces |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |