CN101777116B - 一种基于动作跟踪的脸部表情分析方法 - Google Patents
一种基于动作跟踪的脸部表情分析方法 Download PDFInfo
- Publication number
- CN101777116B CN101777116B CN2009102437341A CN200910243734A CN101777116B CN 101777116 B CN101777116 B CN 101777116B CN 2009102437341 A CN2009102437341 A CN 2009102437341A CN 200910243734 A CN200910243734 A CN 200910243734A CN 101777116 B CN101777116 B CN 101777116B
- Authority
- CN
- China
- Prior art keywords
- face
- expression
- people
- sample
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000008921 facial expression Effects 0.000 title abstract description 11
- 230000014509 gene expression Effects 0.000 claims abstract description 126
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 26
- 238000001514 detection method Methods 0.000 claims abstract description 11
- 238000010195 expression analysis Methods 0.000 claims abstract description 8
- 238000004458 analytical method Methods 0.000 claims description 13
- 230000009471 action Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000013459 approach Methods 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 4
- 230000006872 improvement Effects 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000000844 transformation Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 abstract 1
- 238000007781 pre-processing Methods 0.000 abstract 1
- 239000011159 matrix material Substances 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 230000008859 change Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 230000001815 facial effect Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 230000008451 emotion Effects 0.000 description 4
- 239000000203 mixture Substances 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000036651 mood Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 239000007859 condensation product Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000007850 degeneration Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000008909 emotion recognition Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000001097 facial muscle Anatomy 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明一种基于动作跟踪的脸部表情分析方法,特别涉及人脸多特征跟踪和表情识别技术方法,包括步骤:对输入视频图像进行预处理并进行人脸检测和人脸关键点定位,以确定人脸位置并进行归一化;采用三维参数化人脸网格模型对人脸和表情动作进行建模,提取鲁棒特征并结合在线学习方法对输入视频图像中人脸的位置、姿态及表情动作进行跟踪,实现快速和有效的人脸多特征跟踪;将跟踪得到的表情参数作为表情分析的特征,并采用一种改进的基于高斯基距离度量的模糊聚类算法进行表情分析,给出表情的模糊性描述。
Description
技术领域
本发明涉及图像处理与模式识别技术领域,特别涉及人脸多特征跟踪和表情识别技术方法。
背景技术
人脸是人类行为中一种丰富而有力的人际交流信息的来源。人脸表情含有丰富的人体行为信息,对它的研究可以进一步了解人类对应的心理状态。人脸表情也在人际交往和非言语交流中扮演着非常重要的角色。表情能够填补言语交流的不足,也可以独立传递完整的思想。计算机和机器人如果能够像人类那样具有理解和表达情感的能力,并能够自主适应环境,这将从根本上改变人与计算机之间的关系,使计算机能够更好的为人类服务。要利用人脸表情所提供的信息,研究出鲁棒、准确、快速且智能的自动化实时人脸表情识别方法是非常重要的。
表情是情绪的外在表现之一,而情绪是受到历史、社会和个体等诸多方面影响的综合产物,这也使得表情的变化既细致入微又扑朔迷离。表情分析与识别与情感识别是两个不同的概念,表情识别仅依赖于视觉信息把面部肌肉的运动及其它面部特征的变形分成抽象的各个类别。现有的一些表情识别方法普遍存在这样以下一些问题:
目前大部分算法很难排除不同人的面部差异对于表情识别的影响。在人脸识别研究中表情是干扰,而在专门研究表情识别时也同样需要排除因人脸的差异而导致的表情变化。人脸的类别比表情类别要多得多,可以达到了几十亿,典型的表情类别却只有几种到几十种,因此在统计意义上不同人脸造成的表情类别中的类内差异会大于表情变化引起的人脸类别的类内差异,所以表情识别中人脸差异的干扰更大于人脸识别中表情的干扰。另外不同的文化背景及不同的性别等都会对表情的表现形式产生影响,对表情的分析与识别带来困难。
现有的方法一般将前期的定位跟踪部分与后续的表情分类孤立开考虑,即在进行了定位归一化调整后再重新对图像进行特征提取进而分类识别。而实际上在对人脸进行特征定位过程中也需要对于脸部特征进行建模和处理,定位以后完全地抛弃之前的结果再重新进行特征抽取导致了整体效率低下,如果结合多特征的定位与跟踪提取出有效的特征来用于表情识别就可以节省很多后续的处理。现有的表情识别方法都倾向于使用尽量多的特征和尽量多的信息保证识别效果,但很多信息不是必须的。多数识别方法直接对图像提取脸部的纹理信息,或脸部纹理信息和形状信息结合构造表情分类特征向量,依据观点主要是信息越多越有利于表达表情,越能提高表情识别率。纹理信息中相对包含了更多的可用信息,对纹理信息处理和表示方法也相对于形状信息要多,所以现有的表情识别研究中基于纹理信息的方法要相对多一些。但是纹理特征往往复杂也导致了冗余度高,效率低的问题。现有的识别方法多数直接映射到确定性的几种表情,输出结果是表情类别的标记,而忽视表情的复杂性和不确定性,没有进行表情模糊性的描述。情感是复杂多样的,识别表情是为了情感的识别,表情模糊性是情感复杂性的一种反映。通常说的某一种表情是指那种表情的典型面部表达,在实际中,相信每个人都遇到过愤怒带点悲伤、高兴带点惊讶等等复杂表情的例子。所以如果硬性给某张表情图像定义成一种表情不是很妥当,而有必要在识别时给出表情模糊性的描述。
在实用性方面,现有技术对于人脸检测定位、人脸跟踪和表情分析这三者的结合,仍然缺少完整有效的解决方案。本发明针对这些问题,平衡各方面性能的需求,同时考虑到实际应用中对计算速度的要求,给出了有效的解决方法。
发明内容
本发明的目的是提供一种基于动作跟踪的脸部表情分析方法。本***首先实时地、鲁棒地检测到人脸和关键点位置,然后对视频中人脸的位置、姿态及表情动作进行跟踪,并将跟踪得到的特征参数直接用于表情识别。由于表情的复杂性和不确定性,在识别时给出表情模糊性的描述。
为实现上述目的,本发明提出一种基于动作跟踪的脸部表情分析方法,该方法包括步骤:
步骤1:对输入视频图像进行预处理并对人脸和脸部关键点的位置进行检测和定位,以确定脸部位置,获得脸部关键点定位信息并进行脸部的归一化;
步骤2:采用三维参数化人脸网格模型对脸部和脸部表情动作进行建模,利用脸部位置和关键点的定位信息对三维模型进行初始化,得到三维模型的初始位置、姿态和形状参数,然后提取鲁棒特征结合在线学习方法实现视频中的人脸多特征跟踪,即对输入视频图像中脸部的位置、姿态及表情动作多个特征进行实时和有效的跟踪,相当于提取了脸部特征;
步骤3:将跟踪得到人脸多特征中的表情参数特征作为表情分析的特征,并采用一种改进的基于高斯基距离度量的模糊聚类算法进行表情分析,给出表情的模糊性描述。
根据本发明的实施例,所述人脸检测和人脸关键点定位的步骤包括:
步骤11:从输入视频图像的视频流中,提取每一帧图像;
步骤12:采用像素的均值和方差算法对每帧图像进行光线矫正预处理;
步骤13:对输入视频图像序列,使用基于AdaBoost的方法对人脸进行检测,得到人脸在图像中的位置和大小;
步骤14:在人脸检测得到人脸在图像中位置和大小的基础上,使用基于主动表观模型的方法对人脸关键点进行定位。
根据本发明的实施例,所述的人脸多特征跟踪,即脸部特征提取的步骤如下:
步骤21:通过检测和定位的人脸和脸部多个特征点位置的结果,对三维可变形人脸网格模型的形状、位置和姿态进行初始化;
步骤22:根据三维网格模型的形状姿态参数,采用分段仿射变换,分别计算出基于灰度和边强度的形状无关纹理图像作为观测;
步骤23:对基于灰度和边强度的形状无关纹理图像建立基于高斯分布的在线纹理模型;
步骤24:对于输入视频图像序列中的每帧图像,利用反转合成图像对齐算法进行在线纹理模型的迭代运算,得到最优的姿态和表情参数,实现实时跟踪;
步骤25:根据每帧图像的姿态表情参数计算结果重新计算基于灰度和边强度的形状无关纹理图像,并利用计算结果对在线纹理模型进行更新。
根据本发明的实施例,所述表情分析步骤如下:
步骤31:采集不同表情类别情况下的视频数据,通过自动检测、定位和跟踪得到每张图片中人脸对应的姿态和表情参数,组成了存在不同表情的训练样本集;
步骤32:选择一部分人脸图像数据手动标定其对应的表情类别,将其对应的姿态和表情参数组成标定样本集合;
步骤33:根据标定样本集合计算各表情参数特征的改进方差率;
步骤34:根据改进方差率,计算每个表情参数特征对应的惩罚因子;
步骤35:初始化训练样本集合中各个样本的隶属度和各个聚类中心;
步骤36:采用改进的基于高斯基距离度量来计算各个样本与聚类中心的距离,更新各个样本的隶属度和各个聚类中心直到收敛,得到各个表情类别最终的聚类中心;
步骤37:对于新输入视频中的图像,根据跟踪得到人脸多特征中的表情参数特征和各个表情类别的聚类中心,采用改进的基于高斯基距离度量来计算其对于每个分类的隶属度,给出表情的模糊性描述,完成表情分析。
本发明的有益效果:本发明可以实现对视频流中的人脸及人脸动作的自动检测定位、实时跟踪并进行自动的表情分析。在人脸和表情建立的模型中引入了生理结构约束,避免了生成一些实际不可能出现的表情,提高了后期跟踪识别的效率。另外根据人脸表情的特点可以选择出合适的表情动作参数用于人脸多特征跟踪和表情识别。使用三维可变形人脸网格进行位置、姿态和动作的跟踪,可以适用于头部姿态和表情具有较大幅度变化的情况,动作跟踪精细。在人脸多特征跟踪过程中,采用鲁棒特征和在线学习的自适应方法来进行观测建模,保证了跟踪算法对于复杂的光线和表情变化的高度稳定性。同时观测模型在跟踪前的检测和定位阶段进行初始化且在跟踪过程中不断自我更新,因此不需要针对特定使用者进行提前训练的过程,可以适用于任何使用者。利用反转合成图像对齐算法实现对观测模型的匹配,有效地提高了跟踪的速度。在表情分析过程中,使用一种基于高斯基距离度量的模糊聚类算法用于表情识别,基于改进方差率来设计高斯基度量中的惩罚因子,可以提高聚类算法的性能。将跟踪与表情分类进行了统一考虑,直接将跟踪得到的表情参数作为表情识别的特征,排除了不同人的面部差异对于表情识别的影响。由于表情的复杂性和不确定性,本发明的方法在识别时还可以给出表情模糊性的描述。
附图说明
图1是本发明的人脸表情的自动分析方法的流程图;
图2是本发明的自动表情分析方法采用的坐标***和姿态参数定义;
图3是本发明的自动表情分析方法的跟踪正确和跟踪失败时对应的形状无关纹理图像(边强度和灰度);
图4是本发明的人脸表情自动分析方法的对三维网格模型进行初始化后的结果及相应得到的形状无关边强度和灰度纹理图像;
图5是本发明的表情自动分析方法的模糊聚类算法流程图。
具体实施方式
下面将结合附图对本发明加以详细说明,应指出的是,所描述的实施例仅旨在便于对本发明的理解,而对其不起任何限定作用。
请参见图1,本发明提供的一种基于动作跟踪的自动表情分析方法,按照以下步骤实施:
(1)采用自动人脸检测和定位算法,对输入视频图像上人脸及人脸关键点位置进行检测和定位,确定脸部位置并实现脸部的归一化。人脸检测方法采用了Adaboost和Cascade结合的人脸分类器,人脸关键点定位采用了AAM(Active Appearance Model)方法。采用320×240的彩***图像作为输入,完成一次人脸检测和人脸关键点定位的总时间小于100ms。
(2)使用CANDIDE三维可变形网格模型对人脸和表情进行建模。CANDIDE模型不但包括了网格、纹理信息,而且提供了形状参数和动画参数,来分别描述不同人之间和同一人脸的不同表情所造成的差别。其根据这样的思路进行设计,人脸模型的形状由N个顶点链接而成,每个顶点由一个三维坐标来表示。模型可以通过如下描述进行变形:
g=g+Sτs+Aτa
g是模型的三维标准网格,τs和τa分别为形状和表情系数,S和A分别是表示模型的形状和动画分量,g表示了变形后的网格模型。因此Sτs描述的是不同人的人脸形状差异,而Aτa描述的是同一人脸的表情变化。本文中假设形状和表情的变化相互独立,实际应用中可以通过线性组合来逼近这两种变化。动画分量对应着模型中的活动单元向量AUV,而形状分量对应着模型中的形状单元SU(Shape Units)。CANDIDE-3模型中定义了14个形状单元SU和20个活动单元向量AUV,通过设置不同的形状和表情参数可以实现对模型进行控制,从而实现对不同人之间的脸部形状变化和同一人脸上的表情变化的描述。
得到由形状和表情系数确定三维网格后,还需要人脸的姿态参数进行建模。图2中显示了所采用的坐标***和姿态参数定义,由3D到2D的映射使用弱透视模型为:
g=f·R·(g+Sτs+Aτa)+t
其中f为相机焦距,平移向量t=(tx,ty)T,tx和ty分别表示x和y方向的平移,旋转矩阵R定义如下:
R=Rα·Rβ·Rγ
其中,α、β、γ分别代表三个轴的旋转方向,Rα、Rβ和Rγ分别表示了***中三个坐标的旋转,定义如下:
这样姿态参数τp可以表示为:
τp=[α,β,γ,f,tx,ty]T
则我们需要的所有参数ρ可以表示为:
在本发明提供的方法中,形状变化系数τs是在检测和定位以后确定的,在跟踪过程中不再发生改变,除非跟踪失败,需要重新初始化网格模型;表情变化系数τa在跟踪过程中根据每一帧图像上人脸的动作进行调整,在检测和定位阶段,假设τa中的每个值都为0,即人脸为中性表情。人脸的动作跟踪的结果即由τa表达。另外,检测定位和跟踪阶段都需要确定人脸三维网格模型的位置和姿态参数,即对人脸位置和姿态跟踪的结果。
(3)采用一种基于边强度和灰度的融合信息的鲁棒特征和在线学习的自适应目标建模方法并结合反转合成图像对齐算法用于人脸的多特征跟踪,在视频图像序列中对人脸位置、姿态和表情动作进行实时跟踪。
要对输入图像与参考图像通过灰度或边强度纹理信息来进行比较,需要去除形状变化对纹理的影响。因此我们采用分段仿射变换将纹理从网格g映射到标准网格g中,得到形状无关纹理图像。如图3,通过生成形状无关纹理图像可以很好地判断跟踪结果的准确性,当参数准确时,对应的纹理图像是一张完好的正面无表情人脸,而跟踪错误时纹理图像也随之发生了变形。如图4是第一帧输入图像通过检测定位对三维网格模型进行初始化后的结果及相应得到的形状无关边强度和灰度纹理图像。
在t时刻的形状无关灰度和边强度纹理图像都可以看成是该时刻的观测,将两者相结合组成的特征数组记为At。假定纹理中的像素与像素间相互独立,则可建立一个多元高斯模型来描述纹理的分布。假设t时刻分布的中心为μt,方差为σt 2,它们都是以纹理图像大小为长度的向量。这样观测At发生的概率可以表示为:
其中ρt为t时刻的跟踪参数,d是像素点总数,函数N(x;μ,σ2)表示均值为μ,方差为σ2正态分布的概率密度函数:
其中x为函数变量。
为了更好地利用当前帧的跟踪结果使模型自适应,采用如下方式对模型参数进行更新以得到t+1时刻的分布模型的均值和方差:
μt+1(j)=(1-αt)μt(j)+αtAt(j)
其中更新速度系数αt=1/t,且将其限制在0.01与0.1之间。要求得最优的形状和表情参数,需所得形状无关纹理图像与观测模型的距离最小化,即满足:
其中,et表示观测模型计算误差,W(It;ρ)表示对于输入图像It,对应参数ρ生成的形状无关纹理图像,Dis()表示两者间的距离函数,d是像素点总数。
建立在线纹理模型后,采用反转图像合成算法来实现对在线纹理模型的匹配,以提高模型匹配的效率。反转合成图像对齐算法是一种快速的梯度下降算法,其提出就是为了优化梯度下降法中需要每次迭代中都要重新计算Hessian矩阵的问题。在图像对齐问题中需要最小化的目标函数为:
其中T(x)是需要对齐的目标模板,p是迭代参数,I(W(x;p))说明利用迭代参数对图像的变形操作。一般会通过迭代参数的变化量来对其进行优化,反转合成图像对齐算法改变了迭代量的优化位置:
优化的过程就变成需要在目标模板上求取一个变化量Δp,使得模板与当前形状对齐。通过一阶泰勒进行近似就得到:
这样可以得到变化量:
其中Hessian矩阵H为:
这里定义最快下降图像SD:
其描述了误差下降最快的路径,所以称之为最快下降图像,这样就有:
H=SDTSD
W(x;p)←W(W-1(x;p);p)
p=arg{W(x;p)}
反转合成图像对齐算法主要分成两块,提前计算部分和迭代部分。如果不考虑动态更新模版,算法包括如下几个步骤:
1.提前计算部分:
(1)计算模板的梯度图像;
(3)计算最快下降图像SD;
(4)计算Hessian矩阵
2.迭代至收敛:
(1)根据当前系数,对输入图像进行变形操作,得到形状无关纹理图像,表示为I(W(x;p));
(2)计算误差图像I(W(x;p))-T(x),如果误差不再减少则退出循环;
(3)通过以上结果计算系数的变化量Δp;
(4)更新变形操作W(x;p)←W(W-1(x;Δp);p)
将在线纹理模型中的观测模型的均值μt作为反转图像合成算法中的目标模板,模型匹配过程为如下步骤:
1.初始化:
(1)通过检测定位确定形状参数τs,设置表情参数τa和姿态参数为零,并计算形状无关纹理图像,初始化在线纹理模型。
(2)计算(x,0)处的雅克比;
2.在t时刻进行如下迭代:
(1)设置模板为μt并计算模板的梯度图像T(x);
(2)计算最快下降图像SD和Hessian矩阵;
(3)迭代姿态和表情参数至收敛(迭代次数不超过某固定值):
(a)根据当前系数和输入图像计算形状无关纹理图像W(x;ρ)并计算纹理特征At作为观测;
(b)根据观测模型计算误差et与上次误差做比较,如果误差不再减少则退出循环;
(c)计算系数的变化量Δρ;
(d)更新变形操作W(x;ρ)←W(W-1(x;Δρ);ρ)
(e)求得新的参数ρ′后,以小步更新姿态和表情参数ρ←ρ+λ(ρ′-ρ),其中参数λ<<1。
3.跟踪结果更新在线纹理模型,即计算新的均值μ和方差σ2。
(4)将跟踪得到的表情参数作为表情分析的特征,并采用一种改进的基于高斯基距离度量的模糊聚类算法进行表情分析,给出表情的模糊性描述。
给定集合Rn表示实数n维向量空间,对于1≤k≤N,N是样本个数,Xk=(xk1,xk2,…,xkn)T∈Rn,其中,xkj(j=1,2,…,n)是样本Xk(k=1,2,…,N)的第j个特征值,n是特征个数。则所述X的一个模糊C-划分FC是指:
(i=1,2,…,c;k=1,2,…,N)
其中,Uc×N表示划分FC中的元素,McN是c×N阶矩阵的集合,μik表示样本Xk属于第i类的隶属度。 是指每一个元素属于c个模糊子集的隶属度总和为1。 是指每一子集非空,但又不能是全集X。为了讨论问题方便,也可以将要求放宽,允许有空集和全集,这样的划分空间称为退化的模糊C划分空间。在聚类分析中,对给定的数据集,如果能找出在一定条件下的最佳划分矩阵U,则对应的分类就是在该条件下的最佳分类。
记VT=(V1,V2,…,Vc)(Vi∈Rn,i=1,2,…,c)为聚类中心向量,Bezdek的模糊聚类算法的关键是在对于给定的c,选择隶属度μik(i=1,2,…,c;k=1,2,…,N)和Vi(i=1,2,…,c)使得误差函数最小化min Jm(U,V,c)表示为:
可以证明当h>1,可用以上两个式子作为更新公式求取类中心和隶属度的软分类矩阵且进行迭代运算,该运算是收敛的。由此得到模糊聚类算法步骤为:
2.根据Ui 0计算类中心vi,其中Xj为原始样本的数据,用向量来表达;
5.则μij *及相应得到的vi *即是所求结果,否则再返回到步骤2。其中ε越小,结果越精确。
改进方差率(augmented variance ratio,AVR)是一种非常有效的特征子集选择方法,其定义为:
其中,c是类别总数,Var(F)是特征F在整体分布上的方差,也就是类间方差,Vari(F)是特征F属于第i类的方差,也就是第i类的类内方差,meani(F)是特征F属于第i类的平均值.即使特征属于某一类的平均值与其属于另一类的平均值比较接近,也就是说这两类几乎重叠在一起,惩罚因子mini≠j|meani(F)-meanj(F)|仍然可以保证区分开这两类。单个特征的AVR值越大,则该特征的区分度也就越大。样本Xi与Xj之间基于AVR的高斯基距离定义如下:
单个特征的AVR值越大,则该特征的区分度也就越好,此时,其相应在高斯基距离度量中惩罚的力度应该越小;反之,如果特征的AVR值越差,其区分力度也越小,其在高斯基距离度量中惩罚的力度应该越强。由此,我们将与第i个特征Fi相应的惩罚系数定义如下:
βi=λi/n
其中n是特征个数。
由以上这种基于AVR改进的高斯基距离度量方式,我们将对模糊聚类中的目标函数进行重新定义:
求解最小化全局代价函数得到类中心和隶属度更新公式如下:
则我们可以得到基于改进方差率的高斯距离度量的模糊聚类过程。如图5示出本发明的表情自动分析方法的模糊聚类算法流程图,具体的表情分析步骤如下:
1.采集不同表情类别情况下的视频数据,通过自动检测、定位和跟踪得到每张图片中人脸对应的姿态和表情参数,组成了存在不同表情的训练样本集。选择一部分人脸图像数据手动标定其对应的表情类别,将其对应的姿态和表情参数组成标定样本集合。
2.预先给定聚类数,根据标定样本集合计算各表情参数特征的改进方差率;
3.根据改进方差率,计算每个表情参数特征对应的惩罚因子;
4.初始化训练样本集合中各个样本的隶属度和各个聚类中心;
5.采用改进的基于高斯基距离度量来计算各个样本与聚类中心的距离,更新各个样本的隶属度和各个聚类中心直到收敛,得到各个表情类别最终的聚类中心;
6.对于新输入视频中的图像,根据跟踪得到人脸多特征中的表情参数特征和各个表情类别的聚类中心,采用改进的基于高斯基距离度量来计算其对于每个分类的隶属度,给出表情的模糊性描述,完成表情分析。
以上所述,仅为本发明中的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉该技术的人在本发明所揭露的技术范围内,可理解想到的变换或替换,都应涵盖在本发明的包含范围之内,因此,本发明的保护范围应该以权利要求书的保护范围为准。
Claims (3)
1.一种基于动作跟踪的脸部表情分析方法,其特征在于:该方法包括步骤:
步骤1:对输入视频图像进行预处理并对人脸和脸部关键点的位置进行检测和定位,以确定脸部位置,获得脸部关键点定位信息并进行脸部的归一化;
步骤2:采用三维参数化人脸网格模型对脸部和脸部表情动作进行建模,利用脸部位置和关键点的定位信息对三维模型进行初始化,得到三维模型的初始位置、姿态和形状参数,然后提取鲁棒特征结合在线学习方法实现视频中的人脸多特征跟踪,即对输入视频图像中脸部的位置、姿态及表情动作多个特征进行实时和有效的跟踪,相当于提取了脸部特征;
步骤3:将跟踪得到人脸多特征中的表情参数特征作为表情分析的特征,并采用一种基于改进方差率定义的高斯基距离度量的模糊聚类算法进行表情分析,给出表情的模糊性描述的步骤如下:
步骤31:采集不同表情类别情况下的视频数据,通过自动检测、定位和跟踪得到每张图片中人脸对应的姿态和表情参数,组成了存在不同表情的训练样本集;
步骤32:选择一部分人脸图像数据手动标定其对应的表情类别,将其对应的姿态和表情参数组成标定样本集合;给定标定样本集合Rn表示实数n维向量空间,对于1≤k≤N,N是样本个数,Xk=(xk1,xk2,…,xkn)T∈Rn,其中,xkj(j=1,2,…,n)是样本Xk(k=1,2,…,N)的第j个特征值,n是特征个数;
步骤33:根据标定样本集合计算各表情参数特征的改进方差率;对于特征F改进方差率的定义为:
其中,c是类别总数,Var(F)是特征F在整体分布上的方差,也就是类间方差,Vari(F)是特征F属于第i类的方差,也就是第i类的类内方差,meani(F)是特征F属于第i类的平均值;
步骤34:根据改进方差率,计算每个表情参数特征对应的惩罚因子;对第i类,其特征Fi相应的惩罚系数βi定义如下:
βi=λi/n
步骤35:初始化训练样本集合中各个样本的隶属度和各个聚类中心;
步骤36:采用基于改进方差率定义的高斯基距离度量来计算各个样本与聚类中心的距离,更新各个样本的隶属度和各个聚类中心直到收敛,得到各个表情类别最终的聚类中心;样本Xk与样本Xj之间基于AVR的高斯基距离定义如下:
其中,xki和xji分别表示样本Xk和样本Xj的第i个特征值;
步骤37:对于新输入视频中的图像,根据跟踪得到人脸多特征中的表情参数特征和各个表情类别的聚类中心,采用基于改进方差率定义的高斯基距离度量来计算其对于每个分类的隶属度,给出表情的模糊性描述,完成表情分析。
2.根据权利要求1所述的基于动作跟踪的脸部表情分析方法,其特征在于,所述人脸检测和人脸关键点定位的步骤包括:
步骤11:从输入视频图像的视频流中,提取每一帧图像;
步骤12:采用像素的均值和方差算法对每帧图像进行光线矫正预处理;
步骤13:对输入视频图像序列,使用基于AdaBoost的方法对人脸进行检测,得到人脸在图像中的位置和大小;
步骤14:在人脸检测得到人脸在图像中位置和大小的基础上,使用基于主动表观模型的方法对人脸关键点进行定位。
3.根据权利要求1所述的基于动作跟踪的脸部表情分析方法,其特征在于,所述的人脸多特征跟踪,即脸部特征提取的步骤如下:
步骤21:通过检测和定位的人脸和脸部多个特征点位置的结果,对三维可变形人脸网格模型的形状、位置和姿态进行初始化;
步骤22:根据三维可变形人脸网格模型的形状姿态参数,采用分段仿射变换,分别计算出基于灰度和边强度的形状无关纹理图像作为观测;
步骤23:对基于灰度和边强度的形状无关纹理图像建立基于高斯分布的在线纹理模型;
步骤24:对于输入视频图像序列中的每帧图像,利用反转合成图像对齐算法进行在线纹理模型的迭代运算,得到最优的姿态和表情参数,实现实时跟踪;
步骤25:根据每帧图像的姿态表情参数计算结果重新计算基于灰度和边强度的形状无关纹理图像,并利用计算结果对在线纹理模型进行更新。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2009102437341A CN101777116B (zh) | 2009-12-23 | 2009-12-23 | 一种基于动作跟踪的脸部表情分析方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2009102437341A CN101777116B (zh) | 2009-12-23 | 2009-12-23 | 一种基于动作跟踪的脸部表情分析方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101777116A CN101777116A (zh) | 2010-07-14 |
CN101777116B true CN101777116B (zh) | 2012-07-25 |
Family
ID=42513574
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2009102437341A Expired - Fee Related CN101777116B (zh) | 2009-12-23 | 2009-12-23 | 一种基于动作跟踪的脸部表情分析方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101777116B (zh) |
Families Citing this family (41)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101916367A (zh) * | 2010-08-19 | 2010-12-15 | 西北工业大学 | 三维人脸本征属性描述方法 |
CN102479329A (zh) * | 2010-11-22 | 2012-05-30 | 索尼公司 | 分类器生成装置和方法,检测图像中的对象的装置和方法 |
CN103391419A (zh) * | 2012-05-08 | 2013-11-13 | 西安秦码软件科技有限公司 | 一种弱目标识别与跟踪的处理方法 |
CN103530900B (zh) * | 2012-07-05 | 2019-03-19 | 北京三星通信技术研究有限公司 | 三维人脸模型的建模方法、人脸跟踪方法以及设备 |
CN103729616B (zh) * | 2012-10-11 | 2017-10-03 | 爱唯秀股份有限公司 | 高精确度的脸形追踪方法 |
CN103020658B (zh) * | 2012-12-31 | 2015-06-03 | 中国科学院自动化研究所 | 二维图像中的物体识别方法 |
CN103473807B (zh) * | 2013-09-26 | 2018-02-13 | 王治魁 | 一种3d模型变换***及方法 |
CN105095827B (zh) * | 2014-04-18 | 2019-05-17 | 汉王科技股份有限公司 | 人脸表情识别装置和方法 |
CN105094292A (zh) * | 2014-05-05 | 2015-11-25 | 索尼公司 | 评价用户关注度的方法和设备 |
CN104598936B (zh) * | 2015-02-28 | 2018-07-27 | 北京畅景立达软件技术有限公司 | 人脸图像面部关键点的定位方法 |
CN104732203B (zh) * | 2015-03-05 | 2019-03-26 | 中国科学院软件研究所 | 一种基于视频信息的情绪识别与跟踪方法 |
US9576190B2 (en) | 2015-03-18 | 2017-02-21 | Snap Inc. | Emotion recognition in video conferencing |
CN104820829A (zh) * | 2015-05-08 | 2015-08-05 | 常州大学 | 一种新的基于深度数据的人脸识别算法及其在智能权限分配***中的应用 |
CN105718915B (zh) * | 2016-01-27 | 2019-04-12 | 中国石油大学(华东) | 一种基于多视角典型相关分析的人脸识别方法及其*** |
CN105847734A (zh) * | 2016-03-30 | 2016-08-10 | 宁波三博电子科技有限公司 | 一种基于人脸识别的视频通信方法及*** |
CN106126579B (zh) * | 2016-06-17 | 2020-04-28 | 北京市商汤科技开发有限公司 | 物体识别方法和装置、数据处理装置和终端设备 |
CN108021847B (zh) * | 2016-11-02 | 2021-09-14 | 佳能株式会社 | 用于识别脸部表情的装置和方法、图像处理装置和*** |
CN106383452B (zh) * | 2016-11-24 | 2020-06-19 | 北京地平线机器人技术研发有限公司 | 智能控制模块和包括其的厨电设备 |
CN108108651B (zh) * | 2016-11-25 | 2022-02-11 | 广东亿迅科技有限公司 | 基于视频人脸分析的驾驶员非专心驾驶检测方法及*** |
CN107085654B (zh) * | 2017-04-06 | 2021-04-02 | 深圳创维-Rgb电子有限公司 | 基于人脸图像的健康分析方法及装置 |
CN107194314B (zh) * | 2017-04-20 | 2020-09-25 | 江苏大学 | 融合模糊2dpca和模糊2dlda的人脸识别方法 |
CN107170319A (zh) * | 2017-07-12 | 2017-09-15 | 安徽味唯网络科技有限公司 | 一种互联网上独立考试的方法 |
CN107464291B (zh) * | 2017-08-22 | 2020-12-29 | 广州魔发科技有限公司 | 一种脸部图像的处理方法及装置 |
US10289899B2 (en) | 2017-08-31 | 2019-05-14 | Banuba Limited | Computer-implemented methods and computer systems for real-time detection of human's emotions from visual recordings |
CN108197533A (zh) * | 2017-12-19 | 2018-06-22 | 迈巨(深圳)科技有限公司 | 一种基于用户表情的人机交互方法、电子设备及存储介质 |
CN108197534A (zh) * | 2017-12-19 | 2018-06-22 | 迈巨(深圳)科技有限公司 | 一种人头部姿态检测方法、电子设备及存储介质 |
US10573349B2 (en) * | 2017-12-28 | 2020-02-25 | Facebook, Inc. | Systems and methods for generating personalized emoticons and lip synching videos based on facial recognition |
CN108629278B (zh) * | 2018-03-26 | 2021-02-26 | 奥比中光科技集团股份有限公司 | 基于深度相机实现信息安全显示的***及方法 |
CN108460829B (zh) * | 2018-04-16 | 2019-05-24 | 广州智能装备研究院有限公司 | 一种用于ar***的三维图像注册方法 |
CN109472198B (zh) * | 2018-09-28 | 2022-03-15 | 武汉工程大学 | 一种姿态鲁棒的视频笑脸识别方法 |
CN109829436B (zh) * | 2019-02-02 | 2022-05-13 | 福州大学 | 基于深度表观特征和自适应聚合网络的多人脸跟踪方法 |
CN109934116B (zh) * | 2019-02-19 | 2020-11-24 | 华南理工大学 | 一种基于生成对抗机制与注意力机制的标准人脸生成方法 |
CN109934156A (zh) * | 2019-03-11 | 2019-06-25 | 重庆科技学院 | 一种基于elman神经网络的用户体验评价方法及*** |
CN110147729A (zh) * | 2019-04-16 | 2019-08-20 | 深圳壹账通智能科技有限公司 | 用户情绪识别方法、装置、计算机设备及存储介质 |
CN110942503B (zh) * | 2019-11-13 | 2022-02-11 | 中南大学 | 一种基于虚拟人脸模型的微表情数据生成方法 |
CN112826486A (zh) * | 2019-11-25 | 2021-05-25 | 虹软科技股份有限公司 | 心率估计方法、装置及应用其的电子设备 |
CN111241968A (zh) * | 2020-01-06 | 2020-06-05 | 上海摩督信息科技有限公司 | 一种学习监督***及方法 |
WO2022036483A1 (zh) * | 2020-08-17 | 2022-02-24 | 南京智导智能科技有限公司 | 一种面向hmd设备的面部表情识别*** |
CN114170540B (zh) * | 2020-08-21 | 2023-06-13 | 四川大学 | 一种融合表情和姿态的个体情绪识别方法 |
CN112307942B (zh) * | 2020-10-29 | 2024-06-28 | 广东富利盛仿生机器人股份有限公司 | 一种面部表情量化表示方法、***及介质 |
CN112651998B (zh) * | 2021-01-18 | 2023-10-31 | 沈阳航空航天大学 | 基于注意力机制和双流多域卷积神经网络的人体跟踪算法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1794265A (zh) * | 2005-12-31 | 2006-06-28 | 北京中星微电子有限公司 | 基于视频的面部表情识别方法及装置 |
CN1828630A (zh) * | 2006-04-06 | 2006-09-06 | 上海交通大学 | 基于流形学习的人脸姿势识别方法 |
CN1932846A (zh) * | 2006-10-12 | 2007-03-21 | 上海交通大学 | 基于外表模型的视频人脸跟踪识别方法 |
-
2009
- 2009-12-23 CN CN2009102437341A patent/CN101777116B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1794265A (zh) * | 2005-12-31 | 2006-06-28 | 北京中星微电子有限公司 | 基于视频的面部表情识别方法及装置 |
CN1828630A (zh) * | 2006-04-06 | 2006-09-06 | 上海交通大学 | 基于流形学习的人脸姿势识别方法 |
CN1932846A (zh) * | 2006-10-12 | 2007-03-21 | 上海交通大学 | 基于外表模型的视频人脸跟踪识别方法 |
Non-Patent Citations (4)
Title |
---|
Xiaoyan Wang等.Adaptive Gaussian Mixture Models Based Facial Actions Tracking.《IEEE》.2008,全文. * |
Xiaoyan Wang等.On Edge Structure Based Adaptive Observation Model for Facial Feature Tracking.《IEEE》.2008,全文. * |
Xuetao Feng等.A Fully Automatic Approach to Facial Feature Tracking Based on Image Registraction.《IEEE》.2008,全文. * |
汪晓妍.综合鲁棒特征和在线学习的自适应三维人脸多特征跟踪.《计算机科学》.2009,第36卷(第11期),第1-7部分. * |
Also Published As
Publication number | Publication date |
---|---|
CN101777116A (zh) | 2010-07-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101777116B (zh) | 一种基于动作跟踪的脸部表情分析方法 | |
CN109657631B (zh) | 人体姿态识别方法及装置 | |
CN106682598B (zh) | 一种基于级联回归的多姿态的人脸特征点检测方法 | |
CN107168527B (zh) | 基于区域卷积神经网络的第一视角手势识别与交互方法 | |
Von Agris et al. | The significance of facial features for automatic sign language recognition | |
CN101964064B (zh) | 一种人脸比对方法 | |
CN102880866B (zh) | 一种人脸特征提取方法 | |
CN104574445B (zh) | 一种目标跟踪方法 | |
Li et al. | Robust visual tracking based on convolutional features with illumination and occlusion handing | |
CN105069746B (zh) | 基于局部仿射和颜色迁移技术的视频实时人脸替换方法及其*** | |
KR101588254B1 (ko) | 3차원 근거리 상호작용 | |
CN109325398A (zh) | 一种基于迁移学习的人脸属性分析方法 | |
CN109408653A (zh) | 基于多特征检索和形变的人体发型生成方法 | |
CN100389430C (zh) | 基于aam的头部姿态实时估算方法及*** | |
CN107895160A (zh) | 人脸检测与识别装置及方法 | |
CN108171133B (zh) | 一种基于特征协方差矩阵的动态手势识别方法 | |
CN112784736B (zh) | 一种多模态特征融合的人物交互行为识别方法 | |
CN104598871B (zh) | 一种基于相关回归的面部年龄计算方法 | |
CN110175504A (zh) | 一种基于多任务级联卷积网络的目标检测和对齐方法 | |
CN101968846A (zh) | 一种人脸跟踪方法 | |
CN102654903A (zh) | 一种人脸比对方法 | |
CN101369309B (zh) | 基于主动表观模型和外耳长轴的人耳图像归一化方法 | |
CN103593654A (zh) | 一种人脸定位的方法与装置 | |
CN104821010A (zh) | 基于双目视觉的人手三维信息实时提取方法及*** | |
CN110490052A (zh) | 基于级联多任务学习的人脸检测及人脸属性分析方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20120725 Termination date: 20151223 |
|
EXPY | Termination of patent right or utility model |