CN104680141B - 基于运动单元分层的人脸表情识别方法及*** - Google Patents
基于运动单元分层的人脸表情识别方法及*** Download PDFInfo
- Publication number
- CN104680141B CN104680141B CN201510077019.0A CN201510077019A CN104680141B CN 104680141 B CN104680141 B CN 104680141B CN 201510077019 A CN201510077019 A CN 201510077019A CN 104680141 B CN104680141 B CN 104680141B
- Authority
- CN
- China
- Prior art keywords
- layer
- classification
- class
- extracting
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000008921 facial expression Effects 0.000 title claims abstract description 19
- 230000014509 gene expression Effects 0.000 claims abstract description 47
- 238000007637 random forest analysis Methods 0.000 claims abstract description 14
- 239000000284 extract Substances 0.000 claims abstract description 4
- 238000012549 training Methods 0.000 claims description 19
- 238000012360 testing method Methods 0.000 claims description 10
- 238000000926 separation method Methods 0.000 claims description 6
- 206010063659 Aversion Diseases 0.000 claims description 5
- 238000003066 decision tree Methods 0.000 claims description 3
- 230000037303 wrinkles Effects 0.000 claims description 2
- 230000001815 facial effect Effects 0.000 description 6
- 230000008451 emotion Effects 0.000 description 5
- 241000282414 Homo sapiens Species 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000001804 debridement Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000001097 facial muscle Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
基于运动单元分层的人脸表情识别方法及***。本发明公开了一种人脸表情识别方法,包括三层分类步骤,具体为:首先,提取鼻子上部邻近区域作为第一层分类区域,以检测是否出现AU9运动单元作为第一层分类器判定标准,以对表情进行粗分类;接着,提取嘴唇区域作为第二层分类区域,以检测是否出现AU25和AU12运动单元作为第二层分类器判定标准,以在第一层分类结果进行细分;最后,分别提取上、下半脸区域作为第三层分类区域,以在第二层分类结果中进行精分。本发明还提供了实现上述方法的***。本发明基于AU分层结构,提取对表情具有代表性区域的特征结合随机森林逐层分类,有效提高表情识别精确度与速度,尤其适用于低分辨率图像。
Description
技术领域
本发明涉及计算机视觉技术领域,具体涉及一种人脸表情识别方法及***。
背景技术
人脸表情识别是通过视觉信号分析人脸运动及面部特征的变化对表情进行分类。表情分类的研究基本是依据1971年心理学家Ekman与Friesen最早提出的人类六种主要情感,每种情感以唯一的表情来反映人的一种独特的心理活动。这六种情感被称为基本情感,由生气(anger)、开心(happiness)、悲伤(sadness)、惊讶(surprise)、厌恶(disgust)和恐惧(fear)组成。近年来随着一系列相关领域的飞速发展,如机器学习、图像处理、人脸检测等,人脸表情识别越来越受到重视,其应用前景十分广泛,如自然人机交互,智能机器人,情绪检测及心理状态分析、虚拟现实技术、合成脸部动画等等。
人脸表情识别的研究主要步骤为:人脸检测,表情特征提取以及表情分类。第一步需要从背景图像中对人脸进行准确定位,这一环节现在已作为一个独立的研究方向;第二步从人脸图像或图像序列提取能够代表表情本质的信息,如纹理表观、运动变化或几何形状特征等;第三步设计表情分类器,结合提取的特征识别表情。目前主要有以下分类方法:贝叶斯网络、K近邻域、神经网络、随机森林、支持向量机、隐马尔可夫模型等。
近年来的表情识别方面的研究取得了很大的进展,获得不错的识别效果。但现有方法一般针对高分辨率的图像,需要定位精确特征点,容易受到噪声影响,准确率低。
发明内容
本发明提供一种人脸表情识别方法及***,其目的在于,针对低分辨率图像,通过基于AU分层结构提取对表情具有代表性区域的特征逐层分类,提高了表情识别精确度与速度。
一种人脸表情识别方法,该方法包括三层分类步骤,具体为:
(1)第一层分类步骤:
在待识别人脸图像中提取鼻子上部邻近区域作为第一层分类区域,在第一层分类区域内提取纹理特征,以检测是否出现AU9运动单元作为第一层分类器判定标准,所述AU9运动单元表明皱鼻;若出现,则第一层分类结果为class-1{厌恶},结束;若未出现,则第一层分类结果为class-2{生气、开心、恐惧、惊奇、悲伤},进入步骤(2);
(2)第二层分类步骤:
在待识别人脸图像中提取嘴唇区域作为第二层分类区域,在第二层分类区域内提取纹理特征,以检测是否出现AU25和AU12运动单元作为第二层分类器判定标准,所述AU25运动单元表明双唇分离,AU12运动单元表明唇角上拉;若均未出现,则第二层分类结果为class-21{生气、悲伤},进入步骤(31);若出现至少一种,则第二层分类结果为class-22{恐惧、开心、惊奇},进入步骤(32);
(3)第三层分类步骤:
(31)在待识别人脸图像中提取上半脸区域作为第三层分类区域,在第三层分类区域内提取纹理特征并利用第三层分类器精确分类,最终确定表情为class-211{生气}和class-212{悲伤}中的一类;
(32)在待识别人脸图像中提取下半脸区域作为第三层分类区域,在第三层分类区域内提取纹理特征并利用第三层分类器分类,最终确定表情为class-221{恐惧}、class-222{开心}和class-223{惊奇}中的一类。
一种人脸表情识别***,该***包括:
第一模块,用于在待识别人脸图像中提取鼻子上部邻近区域作为第一层分类区域,在第一层分类区域内提取纹理特征,以检测是否出现AU9运动单元作为第一层分类器判定标准,所述AU9运动单元表明皱鼻;若出现,则第一层分类结果为class-1{厌恶},结束;若未出现,则第一层分类结果为class-2{生气、开心、恐惧、惊奇、悲伤},进入第二模块;
第二模块,用于在待识别人脸图像中提取嘴唇区域作为第二层分类区域,在第二层分类区域内提取纹理特征,以检测是否出现AU25和AU12运动单元作为第二层分类器判定标准,所述AU25运动单元表明双唇分离,AU12运动单元表明唇角上拉;若均未出现,则第二层分类结果为class-21{生气、悲伤},进入第三一子模块;若出现至少一种,则第二层分类结果为class-22{恐惧、开心、惊奇},进入第三二子模块;
第三模块,包括:
第三一子模块,用于在待识别人脸图像中提取上半脸区域作为第三层分类区域,在第三层分类区域内提取纹理特征并利用第三层分类器精确分类,最终确定表情为class-211{生气}和class-212{悲伤}中的一类;
第三二子模块,用于在待识别人脸图像中提取下半脸区域作为第三层分类区域,在第三层分类区域内提取纹理特征并利用第三层分类器分类,最终确定表情为class-221{恐惧}、class-222{开心}和class-223{惊奇}中的一类。
本发明通过上述步骤将人脸表情识别进行了层次化分类,相较于现有的技术,具有如下优点:
相较于其他通过整个人脸对表情特征识别的方法,本发明基于AU分层结构,提取对表情具有代表性区域的特征结合随机森林逐层分类,有效提高表情识别精确度与速度,尤其适用于低分辨率图像。本发明不需要依赖精确的特征点信息,通过提取图像的例如灰度、LBP和Gabor等纹理特征即可达到较好识别率,有效的降低对图像质量的要求和对图像预处理的难度,提高该方法的实用性和通用性。
附图说明
图1为本发明基于AU分层的人脸表情识别方法流程图;
图2为本发明实例详细流程图;
图3为本发明实例归一化示意图;
图4为本发明实例用于分层分类的局部区域示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
为描绘不同的脸部肌肉动作和不同表情的对应关系,心理学家Paul Ekman和W.V.Friesen提出了FACS(Facial Action Coding System)面部表情编码***。根据人类解刨学特点,将该***划分成若干既相互独立又相互联系的运动单元即AU(Action Units),例如AU1(Inner Brow Raiser内端眉毛上扬),AU2(Outer Brow Raiser外端眉毛上扬)等等。
本发明针对低分辨率图像,提出AU分层思想从而对六类基本表情进行识别。本发明分层具体如下:
首先,分层结构的第一层基于AU9(Nose Wrinkler)鼻子上部邻近区域,皱鼻,将六类表情粗分为两类,class-1:Disgust;class-2:生气、开心、恐惧、惊奇和悲伤;
然后,分层结构的第二层基于AU25(Lips Part)双唇分离,和AU12(Lip CornerPuller)唇角上拉,将class-2细化为,class-21:生气、悲伤;class-22:恐惧、开心和惊喜;
最后,分层结构的第三层中,基于上半脸区域(见图4,人脸区域从上往下三分之一部分),将class-21分为class-211:生气;class-212:悲伤;基于下半脸区域(见图4,人脸区域从下往上三分之二部分),将class-22分为:class-221:恐惧;class-222:开心;class-223:惊奇。
基于上述分层,本发明图1给出了逐层分类的具体实施步骤,具体为:
(1)第一层分类步骤:
在待识别人脸图像中提取鼻子上部邻近区域作为第一层分类区域,在第一层分类区域内提取纹理特征,以检测是否出现AU9运动单元作为第一层分类器判定标准,所述AU9运动单元表明皱鼻;若出现,则第一层分类结果为class-1{厌恶},结束;若未出现,则第一层分类结果为class-2{生气、开心、恐惧、惊奇、悲伤},进入步骤(2);
(2)第二层分类步骤:
在待识别人脸图像中提取嘴唇区域作为第二层分类区域,在第二层分类区域内提取纹理特征,以检测是否出现AU25和AU12运动单元作为第二层分类器判定标准,所述AU25运动单元表明双唇分离,AU12运动单元表明唇角上拉;若均未出现,则第二层分类结果为class-21{生气、悲伤},进入步骤(31);若出现至少一种,则第二层分类结果为class-22{恐惧、开心、惊奇},进入步骤(32);
(3)第三层分类步骤:
(31)在待识别人脸图像中提取上半脸区域作为第三层分类区域,在第三层分类区域内提取纹理特征并利用第三层分类器精确分类,最终确定表情为class-211{生气}和class-212{悲伤}中的一类;
(32)在待识别人脸图像中提取下半脸区域作为第三层分类区域,在第三层分类区域内提取纹理特征并利用第三层分类器分类,最终确定表情为class-221{恐惧}、class-222{开心}和class-223{惊奇}中的一类。
在所述第一、二、三层分类步骤中,不需要依赖精确的特征点信息,提取图像的一般纹理特征,又特别是以灰度特征、LBP特征和Gabor特征组合为最佳选择,有效的降低对图像质量的要求和对图像预处理的难度,提高本发明方法的实用性和通用性。
在所述第一、二、三层分类步骤中,分类器可采用现有技术中的任何一种,例如支持向量机、神经网络或隐马尔科夫模型等。在本发明中基于上述三种纹理特征的基础上优选随机森林法,由于随机森林法在高维数据处理中,不需要做特征选择,训练速度快,容易并行等特点,能有效的提高分类器速度,降低运算时间。下面给出采用随机森林法训练分类器的具体实现方式:
S1、在第n个样本图像中提取第j层分类区域aj,j=1,2,3,将该区域作为第j层决策树的训练样本,n=1,2,…,N,N为样本图像总数;
S2、在第j层分类区域aj,j=1,2,3中随机提取M个图像子块Pm,在各图像子块中提取特征并构成组合特征集其中,Fm 1为灰度特征,Fm 2为LBP特征,Fm 3为Gabor特征,为第j层分类区域中第m个图像子块对应的第i类类别;由于分层区域大小不一,对随机森林的取块大小可进行优化,将原始图像子块均采用正方形块改进为长方形块实验,可得到更优分类结果。
S3、生成叶子节点,具体为:
对图像子块Pm进行二进制测试***为左子集和右子集,二进制测试是在子集中不断地逼近类标注不确定性纯度的过程,最终将训练集***成2个子集。随机树的生长就是一个由二进制测试创建子节点的迭代过程。具体为:当二进制测试式φ:成立时,生成右子节点,反之生成左子节点,其中,R1、R2是图像子块Pm中的两个随机选取的矩形区域,k为矩形区域中的像素点,Ff(k)从像素点k的特征中随机选取,τ是预定阈值;
计算各图像子块的熵其中,表示第j层分类区域aj中的图像子块Pm属于表情类的概率,|P|是第j层分类区域aj中表情为的图像子块数量;
选择最佳***测度φ,使得信息增益(IG)估计函数最大,所述信息增益值wR是右子集的图像子块数量PR占总图像子块数P的比率,wL是左子集的图像子块数量PL占总图像子块数P的比率;
如果信息增益值IG低于预定阈值或树的最大深度已达到时,停止***,生成一个叶子节点;
叶子节点包括了表情的分类概率,其满足高斯概率分布其中,分别是第j层中叶子节点表情为的概率、概率均值和协方差。在本发明中,选取高斯概率分布作为分类投票模型,这是因为随机森林子层的叶子节点呈高斯分布,具有最大化分类概率的优势,使得分类效果最佳。
上述步骤中,预定阈值或树的最大深度均属于经验值,可根据实验结果进行调整。
下面给出一个较佳实例:
步骤1创建表情数据集
步骤1-1:数据集的准备和预处理
从CK库、JAFFE库和自然人脸表情数据中采集多幅人脸图像(本实施例中以1000幅人脸图像为例),优选基于Haar特征的AdaBoost方法检测人脸,以及在人脸区域内自动检测眼睛与嘴巴的位置。然后将所有人脸图像归一化,头部姿态矫正。具体如图3,以左内眼角点和右内眼角点距离50进行缩放,以左内眼角点和右内眼角点在同一水平线上(Y相同)作旋转。得到训练样本图像集。
n=50/(xl-xr),
其中,n为缩放比例,θ为旋转角度,(xl,yl)、(xr,yr)分别为左右眼内眼角点坐标。
步骤1-2:将1000幅训练样本图像随机分为5组图像,分别以其中4份作为训练样本,另外一份作为测试样本进行训练,标记特征区域,如图4所示,包括AU9区域即以眼角为参考的80*100区域,AU25、AU12区域即以嘴巴为参考的150*100的区域,以人脸为参考的上半脸区域200*67和下半脸200*133。
步骤1-3:对训练样本中的每幅图像进行特征提取:灰度特征Bgray、LBP特征Blbp和Gabor特征Bgabor。
步骤2随机森林训练
步骤2-1随机特征选择与标注:训练的过程是一种监督学习,森林中的每一棵树Tt的建立都是在数据集中随机训练而成森林T={Tt}。
为了训练Tt,首先在800个表情图片样本库中随机抽取每种表情30张图,合计180张图,每张图片在限定的AU或半脸区域中选取M个图像子块Pm,图像子块的长宽为xm,ym
xm=0.25*xau
ym=0.25*yau
其中xau为对应所取AU区域的长度,yau为对应所取AU区域的宽度。随机选择纹理特征(灰度特征、LBP特征和gabor特征),作为训练集其中m=1,……,M,D为训练集的空间维度。
然后提取图像子区域块的组合特征集其中,Fm 1为原始的灰度值,Fm 2表示LBP特征,Fm 3是Gabor特征,为第j层分类区域中第m个图像子块对应的第i类类别。
步骤2-2二进制测试:本实例中τ=20。
步骤2-3测度:测度H(P|aj)定义为图像子块的熵。
步骤2-4选择最佳***测度使得信息增益(IG)估计函数最大
步骤2-4生成叶子节点:如果信息增益(IG)低于预先设定的阈值或者树的最大深度达到时,生产一个叶子节点,本实例中预先设定的阈值为0.05,树的最大深度为15。每一个叶子节点的表情分类概率满足高斯概率分布模型。
步骤3人脸表情识别
步骤3-1预处理:待识别的人脸表情图片,使用Haar分类器,检测出人脸区域、嘴巴区域和眼睛区域,将图像归一化。
步骤3-2取块:按照训练时候选定的区域,取得多个相同大小的图像子块Pm。
步骤3-3投票分类:将所有图像子块Pm全部投放到步骤2中训练好的随机森林中的每一棵随机森林树Tt上进行判决,即将当前图像的全部图像子块Pm分别落入t棵随机森林树Tt的根节点,根据高斯投票,对各图像子块Pm进行分类处理,直到各图像子块Pm落入对应的叶子节点。高斯投票结果最高的即为与之匹配的表情。
实例结果表明,针对低分辨图像,无需提取精确特征点,对6类基本面部表情的平均识别率可达90%以上。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (2)
1.一种人脸表情识别方法,其特征在于,该方法包括三层分类步骤,具体为:
(1)第一层分类步骤:
在待识别人脸图像中提取鼻子上部邻近区域作为第一层分类区域,在第一层分类区域内提取纹理特征,以检测是否出现AU9运动单元作为第一层分类器判定标准,所述AU9运动单元表明皱鼻;若出现,则第一层分类结果为class-1{厌恶},结束;若未出现,则第一层分类结果为class-2{生气、开心、恐惧、惊奇、悲伤},进入步骤(2);
(2)第二层分类步骤:
在待识别人脸图像中提取嘴唇区域作为第二层分类区域,在第二层分类区域内提取纹理特征,以检测是否出现AU25和AU12运动单元作为第二层分类器判定标准,所述AU25运动单元表明双唇分离,所述AU12运动单元表明唇角上拉;若均未出现,则第二层分类结果为class-21{生气、悲伤},进入步骤(31);若出现至少一种,则第二层分类结果为class-22{恐惧、开心、惊奇},进入步骤(32);
(3)第三层分类步骤:
(31)在待识别人脸图像中提取上半脸区域作为第三层分类区域,在第三层分类区域内提取纹理特征并利用第三层分类器精确分类,最终确定表情为class-211{生气}和class-212{悲伤}中的一类;
(32)在待识别人脸图像中提取下半脸区域作为第三层分类区域,在第三层分类区域内提取纹理特征并利用第三层分类器分类,最终确定表情为class-221{恐惧}、class-222{开心}和class-223{惊奇}中的一类;
所述第一、二、三层分类步骤中提取的纹理特征包括灰度特征、LBP特征和Gabor特征;所述第一、二和三分类步骤中所述分类器采用级联分层随机森林法训练确定,具体为:
S1、在第n个样本图像中提取第j层分类区域aj,j=1,2,3,将该区域作为第j层决策树的训练样本,n=1,2,…,N,N为样本图像总数;
S2、在第j层分类区域aj,j=1,2,3中随机提取M个图像子块Pm,在各图像子块中提取特征并构成组合特征集其中,Fm 1为灰度特征,Fm 2为LBP特征,Fm 3为Gabor特征,为第j层分类区域中第m个图像子块对应的第i类类别;
S3、生成叶子节点,具体为:
对图像子块Pm进行二进制测试***为左子集和右子集,具体为:当二进制测试式φ:成立时,生成右子节点,反之生成左子节点,其中,R1、R2是图像子块Pm中的两个随机选取的矩形区域,k为矩形区域中的像素点,Ff(k)从像素点k的特征中随机选取,τ是预定阈值;
计算各图像子块的熵其中,表示第j层分类区域aj中的图像子块Pm属于表情类的概率,|P|是第j层分类区域aj中表情为的图像子块数量;
选择最佳***测度φ,使得信息增益(IG)估计函数最大,所述信息增益值wR是右子集的图像子块数量PR占总图像子块数P的比率,wL是左子集的图像子块数量PL占总图像子块数P的比率;
如果信息增益值IG低于预定阈值或树的最大深度已达到时,停止***,生成一个叶子节点;
叶子节点包括了表情的分类概率,其满足高斯概率分布其中,分别是第j层中叶子节点表情为的概率、概率均值和协方差。
2.一种人脸表情识别***,其特征在于,该***包括:
第一模块,用于在待识别人脸图像中提取鼻子上部邻近区域作为第一层分类区域,在第一层分类区域内提取纹理特征,以检测是否出现AU9运动单元作为第一层分类器判定标准,所述AU9运动单元表明皱鼻;若出现,则第一层分类结果为class-1{厌恶},结束;若未出现,则第一层分类结果为class-2{生气、开心、恐惧、惊奇、悲伤},进入第二模块;
第二模块,用于在待识别人脸图像中提取嘴唇区域作为第二层分类区域,在第二层分类区域内提取纹理特征,以检测是否出现AU25和AU12运动单元作为第二层分类器判定标准,所述AU25运动单元表明双唇分离,AU12运动单元表明唇角上拉;若均未出现,则第二层分类结果为class-21{生气、悲伤},进入第三一子模块;若出现至少一种,则第二层分类结果为class-22{恐惧、开心、惊奇},进入第三二子模块;
第三模块,包括:
第三一子模块,用于在待识别人脸图像中提取上半脸区域作为第三层分类区域,在第三层分类区域内提取纹理特征并利用第三层分类器精确分类,最终确定表情为class-211{生气}和class-212{悲伤}中的一类;
第三二子模块,用于在待识别人脸图像中提取下半脸区域作为第三层分类区域,在第三层分类区域内提取纹理特征并利用第三层分类器分类,最终确定表情为class-221{恐惧}、class-222{开心}和class-223{惊奇}中的一类;
所述第一、二、三层分类步骤中提取的纹理特征包括灰度特征、LBP特征和Gabor特征;所述第一、二和三分类步骤中所述分类器采用级联分层随机森林法训练确定,具体为:
S1、在第n个样本图像中提取第j层分类区域aj,j=1,2,3,将该区域作为第j层决策树的训练样本,n=1,2,…,N,N为样本图像总数;
S2、在第j层分类区域aj,j=1,2,3中随机提取M个图像子块Pm,在各图像子块中提取特征并构成组合特征集其中,Fm 1为灰度特征,Fm 2为LBP特征,Fm 3为Gabor特征,为第j层分类区域中第m个图像子块对应的第i类类别;
S3、生成叶子节点,具体为:
对图像子块Pm进行二进制测试***为左子集和右子集,具体为:当二进制测试式φ:成立时,生成右子节点,反之生成左子节点,其中,R1、R2是图像子块Pm中的两个随机选取的矩形区域,k为矩形区域中的像素点,Ff(k)从像素点k的特征中随机选取,τ是预定阈值;
计算各图像子块的熵其中,表示第j层分类区域aj中的图像子块Pm属于表情类的概率,|P|是第j层分类区域aj中表情为的图像子块数量;
选择最佳***测度φ,使得信息增益(IG)估计函数最大,所述信息增益值wR是右子集的图像子块数量PR占总图像子块数P的比率,wL是左子集的图像子块数量PL占总图像子块数P的比率;
如果信息增益值IG低于预定阈值或树的最大深度已达到时,停止***,生成一个叶子节点;
叶子节点包括了表情的分类概率,其满足高斯概率分布其中,分别是第j层中叶子节点表情为的概率、概率均值和协方差。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510077019.0A CN104680141B (zh) | 2015-02-13 | 2015-02-13 | 基于运动单元分层的人脸表情识别方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510077019.0A CN104680141B (zh) | 2015-02-13 | 2015-02-13 | 基于运动单元分层的人脸表情识别方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104680141A CN104680141A (zh) | 2015-06-03 |
CN104680141B true CN104680141B (zh) | 2017-11-14 |
Family
ID=53315159
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510077019.0A Active CN104680141B (zh) | 2015-02-13 | 2015-02-13 | 基于运动单元分层的人脸表情识别方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104680141B (zh) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107944434A (zh) * | 2015-06-11 | 2018-04-20 | 广东欧珀移动通信有限公司 | 一种基于旋转摄像头的报警方法及终端 |
CN107798281B (zh) * | 2016-09-07 | 2021-10-08 | 北京眼神科技有限公司 | 一种基于lbp特征的人脸活体检测方法和装置 |
CN108074203A (zh) * | 2016-11-10 | 2018-05-25 | ***通信集团公司 | 一种教学调整方法和装置 |
CN106650637A (zh) * | 2016-12-02 | 2017-05-10 | 华中师范大学 | 一种基于条件随机森林的笑脸检测器及方法 |
CN106682616B (zh) * | 2016-12-28 | 2020-04-21 | 南京邮电大学 | 基于双通道特征深度学习的新生儿疼痛表情识别方法 |
CN107358169A (zh) * | 2017-06-21 | 2017-11-17 | 厦门中控智慧信息技术有限公司 | 一种人脸表情识别方法及人脸表情识别装置 |
CN107633207B (zh) * | 2017-08-17 | 2018-10-12 | 平安科技(深圳)有限公司 | Au特征识别方法、装置及存储介质 |
CN107862292B (zh) * | 2017-11-15 | 2019-04-12 | 平安科技(深圳)有限公司 | 人物情绪分析方法、装置及存储介质 |
CN108011367B (zh) * | 2017-12-04 | 2020-12-18 | 贵州电网有限责任公司电力科学研究院 | 一种基于深度决策树算法的电力负荷特性挖掘方法 |
TWI625680B (zh) * | 2017-12-15 | 2018-06-01 | 財團法人工業技術研究院 | 臉部表情辨識的方法及裝置 |
CN108261178B (zh) * | 2018-01-12 | 2020-08-28 | 平安科技(深圳)有限公司 | 动物疼痛指数判断方法、装置及存储介质 |
CN109190490B (zh) * | 2018-08-08 | 2021-11-23 | 陕西科技大学 | 基于小数据集下的面部表情bn识别方法 |
CN109583431A (zh) * | 2019-01-02 | 2019-04-05 | 上海极链网络科技有限公司 | 一种人脸情绪识别模型、方法及其电子装置 |
CN109919124B (zh) * | 2019-03-19 | 2021-01-29 | 北京邮电大学 | 快速构建人脸动作单元识别数据集的方法 |
CN110532971B (zh) * | 2019-09-02 | 2023-04-28 | 京东方科技集团股份有限公司 | 图像处理及装置、训练方法以及计算机可读存储介质 |
CN111553421B (zh) * | 2020-04-28 | 2022-03-08 | 电子科技大学 | 基于双层嵌套结构的sar装备任务失效成因推理方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103065122A (zh) * | 2012-12-21 | 2013-04-24 | 西北工业大学 | 基于面部动作单元组合特征的人脸表情识别方法 |
CN103246879A (zh) * | 2013-05-13 | 2013-08-14 | 苏州福丰科技有限公司 | 一种基于表情识别的智能机器人*** |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102094723B1 (ko) * | 2012-07-17 | 2020-04-14 | 삼성전자주식회사 | 견고한 얼굴 표정 인식을 위한 특징 기술자 |
-
2015
- 2015-02-13 CN CN201510077019.0A patent/CN104680141B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103065122A (zh) * | 2012-12-21 | 2013-04-24 | 西北工业大学 | 基于面部动作单元组合特征的人脸表情识别方法 |
CN103246879A (zh) * | 2013-05-13 | 2013-08-14 | 苏州福丰科技有限公司 | 一种基于表情识别的智能机器人*** |
Non-Patent Citations (2)
Title |
---|
基于序列特征的随机森林表情识别;陈雄;《中国优秀硕士学位论文全文数据库 信息科技辑》;20140115;第1到59页 * |
基于面部动作单元组合特征的表情识别;欧阳琰,桑农;《中国体视学与图像分析》;20110131;第16卷(第1期);第38至43页 * |
Also Published As
Publication number | Publication date |
---|---|
CN104680141A (zh) | 2015-06-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104680141B (zh) | 基于运动单元分层的人脸表情识别方法及*** | |
Kim et al. | Efficient facial expression recognition algorithm based on hierarchical deep neural network structure | |
Zhao et al. | Dynamic texture recognition using local binary patterns with an application to facial expressions | |
CN112784763B (zh) | 基于局部与整体特征自适应融合的表情识别方法及*** | |
Rioux-Maldague et al. | Sign language fingerspelling classification from depth and color images using a deep belief network | |
Abd El Meguid et al. | Fully automated recognition of spontaneous facial expressions in videos using random forest classifiers | |
Rao et al. | Multi-pose facial expression recognition based on SURF boosting | |
Khan et al. | Facial expression recognition on real world face images using intelligent techniques: A survey | |
CN108921037B (zh) | 一种基于BN-inception双流网络的情绪识别方法 | |
Kundu et al. | Advancements and recent trends in emotion recognition using facial image analysis and machine learning models | |
CN111460981B (zh) | 一种基于重构跨域视频生成对抗网络模型的微表情识别方法 | |
Anwar et al. | Learned features are better for ethnicity classification | |
Salih et al. | Study of video based facial expression and emotions recognition methods | |
Bhavanam et al. | On the classification of kathakali hand gestures using support vector machines and convolutional neural networks | |
Prabhu et al. | Facial Expression Recognition Using Enhanced Convolution Neural Network with Attention Mechanism. | |
Borgalli et al. | Deep learning for facial emotion recognition using custom CNN architecture | |
Rahul et al. | A new hybrid approach for efficient emotion recognition using deep learning | |
Kulkarni et al. | Analysis on techniques used to recognize and identifying the Human emotions | |
CN115862120A (zh) | 可分离变分自编码器解耦的面部动作单元识别方法及设备 | |
CN113298018A (zh) | 基于光流场和脸部肌肉运动的假脸视频检测方法及装置 | |
Zhang et al. | Evaluation of texture and geometry for dimensional facial expression recognition | |
Danisman et al. | Automatic facial feature detection for facial expression recognition | |
Zhao et al. | Experiments with facial expression recognition using spatiotemporal local binary patterns | |
Anantharajah et al. | Quality based frame selection for video face recognition | |
Liang et al. | Hidden Markov model decision forest for dynamic facial expression recognition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |