CN105678235B - 基于典型区域多维度特征的三维人脸表情识别方法 - Google Patents
基于典型区域多维度特征的三维人脸表情识别方法 Download PDFInfo
- Publication number
- CN105678235B CN105678235B CN201511021337.1A CN201511021337A CN105678235B CN 105678235 B CN105678235 B CN 105678235B CN 201511021337 A CN201511021337 A CN 201511021337A CN 105678235 B CN105678235 B CN 105678235B
- Authority
- CN
- China
- Prior art keywords
- feature
- contour
- areas
- region
- bending
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/175—Static expression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提出一种基于典型区域多维度特征的三维人脸表情识别算法,具体包括以下步骤:首先,对三维人脸数据进行预处理操作,获取更规格化的点云数据;接着,进行三维人脸表情典型区域的自动标定,根据鼻尖点位置,完成眼部区域(E区)、鼻子区域(N区)和嘴巴区域(M区)的自动标定;然后,分别提取三个典型区域的三维特征和二维特征,进行高斯归一化,并特征融合;最后,根据各典型区域的融合特征进行SVM训练,实现三维人脸表情识别。本发明不仅能观察出人脸不同区域对于不同表情的贡献程度,而且能有效地识别三维人脸的不同表情。
Description
技术领域
本发明涉及计算机视觉以及模式识别领域,具体来说涉及一种基于典型区域多维度特征的三维人脸表情识别方法。
背景技术
人脸表情识别是计算机视觉以及模式识别领域的热点研究问题,自20世纪80年代以来的三十年间受到了越来越多研究人员的重视。同时作为人工智能以及情感分析的重要分支,人脸表情识别在人机交互、重症病房监护等领域具有很大的研究价值以及应用前景。
早期的人脸表情识别专注于二维图像以及图像序列,也即视频上的算法实现。但是由于二维人脸图像是三维物体的二维平面投影,在投影过程中必然会损失纹理、形状等特征,还会受到姿态、光照等的影响。因此,近些年来,基于三维人脸点云模型的表情识别逐渐成为该领域的研究重点。
三维人脸表情识别通常包括三个主要步骤,分别为人脸图像预处理、表情特征提取和表情分类。基于此,本发明提出一种基于面部表情典型区域混合维度的三维人脸表情识别方法。针对三维人脸不同区域对表情的影响程度,将人脸划分为三个典型区域。刘慧敏等人在《地图上等高线信息度量的层次方法研究》一文中详细介绍了等高线图信息的利用方法。本发明基于等高线图信息度量研究,提出针对三维人脸典型区域等高线图的信息度量方法。全面的利用了人脸等高线图,极大地丰富了三维特征的信息量。然后,将三维人脸典型区域映射到二维平面进行研究。最后,结合典型区域的二维和三维特征实现三维人脸表情识别。
发明内容
本发明针对三维人脸点云数据,提出一种基于面部表情典型区域多维度的三维人脸表情识别方法。
首先,对三维人脸点云数据进行预处理操作,得到规格化的三维人脸点云数据;然后,自动标定三维人脸面部表情典型区域,分别为眼部区域(E区)、两颊区域(N区)和嘴巴区域(M区)。分别提取这三个典型区域的二维和三维特征;最后,根据提取的二维和三维特征进行SVM训练,实现三维人脸表情识别。具体流程如下:
1.人脸数据预处理
根据获取的原始三维人脸点云数据特点,对其进行剪切、去刺、平滑、补洞、坐标校正、网格对齐重采样的一种或几种预处理工作,从而得到规格化后的三维人脸点云数据。
2.三维人脸表情典型区域自动标定
人脸表情通常指高兴、悲伤、愤怒、惊讶、厌恶和恐惧6种。在人脸呈现不同表情时,其眼部、两颊和嘴巴三个区域会呈现不同的特征,且这些不同特征对于不同表情有着良好地描述能力。基于此,本发明就这三个人脸表情典型区域进行自动标定,以进行后续的研究和分析。
三个典型区域的自动标定,首先需要确定人脸的鼻尖点,然后再进一步确定各个区域。具体步骤如下:
(1)鼻尖点的确定
本发明采用BU-3DFE三维人脸数据库,由于此数据库中的三维人脸点云都有严格的坐标限定,即采集实验者人脸点云时人脸与正对的三维数据采集设备平面连线并指向图像采集方向为Z轴正方向,与Z轴垂直平面为X轴、Y轴所在的二维平面,并且符合右手定则,水平方向为X轴,向右为X轴正方向,竖直方向为Y轴,向上为Y轴正方向。故由人脸解剖学可以获取人脸正面最高点,即该点坐标的Z轴坐标值最大点即为大体鼻尖端点。出于准确性考虑,提取Z轴坐标最大点及其邻接各点的三维坐标,取平均以获取更加准确的鼻尖三维坐标。
(2)E区、N区和M区的自动标定
沿下眼睑,两侧外眼角划分区域,这个区域将包括额头和双眼,作为眼睛区域(E区),以鼻尖点为原点,分别向嘴角的两个边界点做射线,这两条射线之间的区域为嘴巴区域(M区)。其余部分为两颊区域(N区)。具体如图4所示。
3.典型区域三维特征提取
当人脸表情变化时,脸部的高低起伏也随之变化。为了有效地描述这种变化的量化规律,对人脸典型区域作等高线图。对于人脸典型区域的等高线图,本发明首先关注表情变化时整个人脸典型区域等高线图的变化,即人脸等高线图的整体形态特征;随后关注的是人脸局部起伏程度及其变化,即人脸等高线图坡度特征;最后,关注的是表情变化时,等高线图单条等高线走向的曲折变化,即弯曲度特征。用每个典型区域提取到的整体形态特征、坡度特征和弯曲度特征,构成特征矢量,全面地描述三维人脸表情特征。具体提取过程如下:
(1)整体形态特征提取
人脸等高线图会根据人脸表情的不同而呈现出不同的形态。当人脸表情发生变化时,等高线图的等高线数量和不同等高线围成的基本形貌单元面积等都将发生变化。本发明采取这两个指标来描述等高线图的每个区域的整体形态特征。
假设区域内有m条等高线,被划分为T个基本形貌单元,其中,第i个基本形貌单元含有mi条等高线,平均每个基本形貌单元包含的等高线为m=m/T。对等高线数目进行规范化处理后,即可算得由于等高线的多样性而产生信息量IGC,具体公式如下:
假设形貌单元的覆盖面积为si,整个等高线图的面积为s,即可得形貌覆盖区域面积的信息量IFG为:
最后,结合这两种特征,即可得到等高线图整体形态上的特征值IZT,具体公式如下:
IZT=IGC(m)+IFG(s) (3)
(2)坡度特征提取
人脸在呈现不同表情特征时,脸部的高低起伏存在着较大的区别,这将造成人脸等高线图的等高线形态和脸部平均坡度发生变化。基于此,进行坡度信息特征提取的具体过程如下:
对于一个由mw条等高线组成的形貌Tw,按照一定的方向对每两条相邻等高线围成的区域求取坡度qj,由于后续信息量度量仅考虑坡度多样性和差异性,即仅与坡度的相对关系有关,而不涉及坡度绝对值,因而可将qj简化表达为:
qj=aj/lj,1≤j≤mw (4)
其中,lj和aj分别为第j条与第j+1条等高线围成区域的中轴线长度和区域面积。
对形貌Tw,依次求取各相邻等高线间的坡度,并求取所有坡度的平均值q。代入公式(5)即可得到形貌Tw的坡度差异性信息量。
由此,综合坡度差异信息量,可得到等高线坡度特征IPD表达式:
其中,T表示区域内等高图被分解为基本形貌单元的总数。
(3)弯曲度特征提取
人脸表情的变化会导致人脸等高线图中单条等高线的弯曲度和弯曲面积比发生相应变化。对于一幅人脸等高线图,不妨设有m条等高线,对于其任一条等高线Lu,首先对等高线进行弯曲划分,得到一个弯曲有序集。对该弯曲有序集中的每一个弯曲,采用式(7)和(8)计算弯曲度fuv和弯曲面积比puv。
其中,n为曲线的弯曲个数。luv是曲线Lu的第v个弯曲的曲线长度,duv是第v个弯曲底线宽度。suv表示第v个弯曲的曲线长度和底线宽度所围成的面积,即弯曲面积。sz表示所有弯曲的弯曲面积均值。
从而,单条等高线的弯曲度特征IWQ(Lu)为:
等高线图的弯曲度信息量IWQ为:
其中,fuv对应于等高线Lu经弯曲划分后的第v个弯曲的弯曲度;puv对应于等高线Lu经弯曲划分后的第v个弯曲的弯曲面积比;IWQ(Lu)对应等高线Lu包含的弯曲度信息量;IWQ为整个区域内所有等高线包含的弯曲度信息量。
由公式(9)可得所有等高线的弯曲信息序列,求所有等高线的平均弯曲信息,记为IWP,则可得等高线的形态复杂度IWX为:
则弯曲度特征IWD为:
IWD=IWQ+IWX (12)
(4)典型区域特征矢量获取
经过上述步骤,可以获取三个典型区域等高线图的整体形态特征、坡度特征和弯曲度特征,但根据人脸等高线的特征,两颊部分,即N区,弯曲度特征变化不明显,因此在N区只选取整体形态特征和坡度特征进行计算。
所以,眼部区域(E区)、两颊区域(N区)和嘴巴区域(M区)的三维特征分别可以表述为:
4.典型区域二维特征提取
虽然三维表情识别的研究是近年来学术界针对表情识别的研究热点,但是由于其巨大的数据量,对计算机处理技能的要求,导致短期内无法实现实时的三维表情识别。为了减轻三维人脸表情识别的计算量,本发明结合由三维人脸映射得到的二维人脸进行特征提取与分析研究。
纹理是一种反映图像中同质现象的视觉特征,它体现了物体表面的具有缓慢变化或者周期性变化的表面结构组织排列属性。当人脸表情发生变化时,映射得到的图像中纹理特征也会发生相应变化。本发明采用改进的LBP算法进行纹理特征提取。具体步骤如下:
(1)E区、N区和M区二维图像金字塔
为了更全面的描述二维人脸图像的纹理特征,本发明利用高斯函数对人脸图像典型区域,即E区、N区和M区,进行高斯平滑和降采样,得到典型区域图像的高斯金字塔。且每个区域均构建3层高斯金字塔,大小分别为原始图像的1/2和1/4。
(2)LBP纹理特征提取
针对典型区域高斯金字塔图像,本发明提取每层图像的LBP纹理特征,并进行融合,得到描述能力更强的LBP纹理特征描述符。LBP纹理特征提取算法如下:
假设像素c(灰度值为gc)拥有P个邻域像素(灰度值为ge,1≤e≤P)。首先将图像分为若干个细胞。对细胞中的每一个像素,确定其为候选像素,其周围的像素定义为邻域像素。
然后计算候选像素与其各邻域像素灰度值的差值PLec。并根据如下公式计算该候选像素的局部二元模式特征值:
其中,在此LBP算法中,邻域像素点集是以中心像素点为圆心、半径R的一个环形邻域点集。这样可以有效地提高LBP算子的旋转不变性能。
最后使用统计方法提取图像中所有像素点的局部二元模式特征值,得到LBP纹理直方图,记为LBP(P,R)。
由于高斯金字塔每层图像是由图像降采样获取,因此,选取每层图像的LBP纹理特征分别为:LBP(P,R),LBP(2P,2R)和LBP(3P,3R)。结合提取到的3层金字塔的LBP纹理特征,进行如下融合,得到改进的LBP特征描述符LBPfinal。
LBPfinal={LBP(P,R),LBP(2P,2R),LBP(3P,3R)} (17)
所以,E区、N区和M区的LBP纹理特征可以表述为:
5.SVM训练
根据步骤3和4,分别得到三维人脸典型区域的三维和二维特征,分别为:
根据提取的典型区域三维和二维特征,为了全面地描述三维人脸表情特征,本发明利用高斯归一化对三维和二维特征进行处理,并进行特征融合。假设三维和二维特征归一化之后,可表述为下表所示:
那么,对于归一化后的二维和三维特征融合结果为:
最后根据不同区域的融合特征,分别进行SVM训练,实现不同区域对于三维人脸表情识别的效果。如果某一区域的融合特征能够很好地辨识出某种表情,那么在SVM训练器中,对于这种表情的判断只用针对单一区域的融合特征。如果不行,则继续添加其他区域进行判断。这样即有利于观察不同区域对不同表情的贡献程度,又能很好地减少表情识别的计算量。
有益效果
1.根据三维人脸不同区域对于表情的贡献,本发明提出了三维人脸典型区域的概念,并进行区域自动标定工作。这对于研究三维人脸不同部位对于表情的贡献程度有着重要的参考价值。
2.针对三维人脸表情识别,本发明分别提取了人脸的三维和二维特征。利用典型区域的等高线图分别提取人脸典型区域的整体形态特征、坡度特征和弯曲度特征;利用三维人脸映射到二维的图像,提取其改进的LBP纹理特征。实
现了从多维度对三维人脸特征进行描述。
3.根据人脸等高线的特征,本发明对每个区域的划分侧重点各有不同,以便进行不同方式的特征融合。在眼睛区域和嘴巴区域,整体形态特征、坡度特征和弯曲度特征均有显著影响,但在两颊区域,只有整体形态特征和弯曲度特征影响显著,因此在进行特征融合时不选取弯曲度特征,减小了计算量。
4.根据典型区域的融合特征,分别进行SVM训练,并进行实验得到三维人脸表情识别结果。根据不同区域的识别准确率,可以直观地看出不同区域对于人脸表情的影响程度。同时,对于3个典型区域的融合特征分别进行训练,能有效地降低算法复杂度,有效地缓解了三维人脸表情识别计算量大的问题。
附图说明
图1是本发明的整体流程图;
图2是三维人脸的三维特征提取算法流程图;
图3是三维人脸的二维特征提取算法流程图;
图4是三维人脸典型区域划分图;
具体实施方式
图1为本发明的整体流程图,下面为本发明的具体实施步骤:
1.人脸数据预处理
本发明以BU-3DFE三维人脸数据库为基础进行操作。由于三维人脸点云数据通常伴有毛刺、噪声等的干扰,为了获取更规则的三维人脸点云数据,根据实际需要对获得的原始三维人脸点云数据进行剪切、去刺、平滑、补洞、坐标校正、网格对齐重采样的一种或几种预处理工作。
2.三维人脸表情典型区域自动标定
本发明根据三维人脸表情的特点,划分出三个重要的人脸表情相关区域,分别为眼部区域(E区)、两颊区域(N区)和嘴巴区域(M区)。这三个人脸表情典型区域对于不同表情的特点有着重要的描述能力。典型区域的自动标定分为两步:首先确定鼻尖点的位置,然后根据鼻尖点的位置,完成三维人脸典型区域的自动标定。具体实施步骤如下:
(1)鼻尖点的确定
根据BU-3DFE三维人脸数据库的三维人脸点云数据坐标限定,Z轴方向最大值即为鼻尖点位置。为了结果更为精确,选取Z轴最大值周边点,取平均,得到鼻尖点位置。
(2)E区、N区和M区自动标定
沿下眼睑,两侧外眼角划分区域,这个区域将包括额头和双眼,作为眼睛区域(E区),以鼻尖点为原点,分别向嘴角的两个边界点做射线,这两条射线之间的区域为嘴巴区域(M区)。其余部分为两颊区域(N区)。具体如图4所示。
3.典型区域三维特征提取
三维特征是基于典型区域的等高线图来获取的。首先,将三维人脸放平,分别得到E区、N区和M区的等高线图,根据等高线图提取其整体形态特征、坡度特征和弯曲度特征,具体提取过程如下:
(1)整体形态提取
假设区域内有m条等高线,被划分为T个基本形貌单元,其中,第i个基本形貌单元含有mi条等高线,平均每个基本形貌单元包含的等高线为m=m/T。对等高线数目进行规范化处理后,即可算得由于高差特征的多样性产生的信息量IGC,具体公式如下:
对于形貌单元的覆盖面积特征指标si,整个等高线图的面积为s,仿等高线数目特征指标,可得整体层次上形貌单元覆盖区域的差异信息量IFG为:
最后,结合这两种特征,即可得到等高线图整体形态上的特征值IZT,具体公式如下:
IZT=IGC(m)+IFG(s) (23)
(2)坡度特征提取
对于一个由mw条等高线组成的形貌单元Tw,按照一定的方向对每相邻等高线围成的区域求取坡度qj,由于后续信息量度量仅考虑坡度多样性和差异性,即仅与坡度的相对关系有关,而不涉及坡度绝对值,因而可将qj简化表达为:
qj=aj/lj,1≤j≤mw (24)
其中,lj和aj分别为第j条与第j+1条等高线围成区域的中轴线长度和区域面积。
对形貌Tw,依次求取各相邻等高线间的坡度,并求取所有坡度的平均值q。根据以下公式即可得到形貌Tw的坡度差异性信息量。
由此,综合坡度差异信息量,可得到等高线坡度特征IPD表达式(26):
其中,T表示等高线图被分解为基本形貌单元的总数。
(2)弯曲度特征提取
不妨设一幅等高线图有m条等高线,对于其任一条等高线Lu,首先对等高线进行弯曲划分,得到一个弯曲有序集。对该弯曲有序集中的每一个弯曲,采用式(27)和式(28)计算弯曲度fuv和弯曲面积比puv。
其中,n为曲线的弯曲个数。luv是曲线Lu的第v个弯曲的曲线长度,duv是第v个弯曲底线宽度。suv表示第v个弯曲的曲线长度和底线宽度所围成的面积,即弯曲面积。sz表示所有弯曲的弯曲面积均值。
从而,单条等高线的弯曲度特征IWQ(Lu)为:
等高线图的弯曲度信息量IWQ为:
其中,fuv对应于等高线Lu经弯曲划分后的第v个弯曲的弯曲度;puv对应于等高线Lu经弯曲划分后的第v个弯曲的弯曲面积比;IWD(Lu)对应等高线Lu包含的弯曲度信息量;IWD为整个区域内所有等高线包含的弯曲度信息量。
由公式(29)可得所有等高线的弯曲信息序列,求所有等高线的平均弯曲信息,记为IWP,则可得等高线的形态复杂度IWX为:
则弯曲度特征IWD为:
IWD=IWQ+IWX (32)
(4)根据步骤(1)(2)(3),可以获取E区、N区和M区的三维特征分别为:
4.典型区域二维特征提取
为了更好地描述典型区域的纹理特征,本发明提出了一种改进型LBP纹理特征提取算法,具体流程如下:
(1)E区、N区、M区构造3层高斯金字塔
以E区、N区和M区图像作为输入图像,分别构造3层高斯金字塔。第0层为输入图像,第1层和第2层图像大小分别为原区域的1/2和1/4。
(2)纹理特征的提取
提取3个典型区域输入图像的LBP纹理特征,提取步骤如下:
假设像素c(灰度值为gc)拥有P个邻域像素(灰度值为ge,1≤e≤P)。首先将图像分为若干个细胞。对细胞中的每一个像素,确定其为候选像素,其周围的像素定义为邻域像素。
然后计算候选像素与其各邻域像素灰度值的差值PLec。并根据如下公式计算该候选像素的局部二元模式特征值:
其中,在此LBP算法中,邻域像素点集是以中心像素点为圆心、半径为R的一个环形邻域点集。最后使用统计方法提取图像中所有像素点的局部二元模式特征值,得到LBP纹理直方图,记为LBP(P,R)。本发明选取P=8和R=1。
由于高斯金字塔每层图像是由图像降采样获取,因此,选取每层图像的LBP纹理特征为:LBP(P,R),LBP(2P,2R)和LBP(3P,3R)。结合提取到的3层金字塔的LBP纹理特征,进行如下融合,得到改进的LBP特征描述符LBPfinal。
LBPfinal={LBP(8,1),LBP(16,2),LBP(24,3)} (37)
所以,E区、N区和M区的LBP纹理特征可以表述为:
5.SVM训练
根据步骤3和4,分别得到三维人脸典型区域的三维特征和二维特征,为了更好地观察特征对于三维人脸的贡献程度,将它们进行高斯归一化,并进行特征融合。具体实施步骤如下:
对获取的三维人脸典型区域的三维和二维特征进行高斯归一化,得到如下结果:
将每个典型区域的三维特征和二维特征进行如下方式融合:
最后,选取BU-3DFE数据库中60个人的三维人脸数据进行训练和实验。每人24个三维表情,共1440个表情,这60个人被分成10组,利用SVM进行训练,9组拿来训练,1组验证训练效果。结果计入下表,观察训练后三维人脸表情识别效果。(单位:%)
从上述训练后的识别结果可以得知,眼睛区域(E区)对于愤怒表情的影响最大,识别准确率为76.12%,远远超过了对于其他表情的识别准确率;而两颊区域(N区)对于高兴、悲伤、愤怒和恐惧表情的识别影响程度相当,无明显的甄别能力;利用嘴巴区域(M区)的融合特征进行训练后,对于悲伤表情的识别准确率为75.32%,M区对于悲伤表情有着很好的识别效果。
通过上述实验,我们可以发现愤怒表情可以仅由E区特征进行识别,悲伤表情仅由M区特征进行识别,无需利用三个区域共同进行识别,可以有效地降低算法复杂度,同时,可以有效地观察出不同区域对不同表情的贡献程度。
最后,利用三个区域融合特征进行上述实验,得到本算法最后的识别平均准确度为71.13%。结果证明了本算法有着较好的表情识别准确率。
Claims (3)
1.一种基于典型区域多维度特征的三维人脸表情识别方法,其特征包括以下步骤:
(1)对三维人脸数据预处理以获取更规格化的三维人脸点云数据,根据实际需要预处理操作包括剪切、去刺、平滑、补洞、坐标校正、网格对齐重采样;
(2)实现三维人脸表情典型区域的自动标定,典型区域包括眼部区域即E区、两颊区域即N区和嘴巴区域即M区;
(3)获取典型区域的等高线图,根据等高线图,分别提取典型区域的整体形态特征、坡度特征和弯曲度特征,并进行特征融合,得到典型区域三维特征;
(4)将三维人脸典型区域映射到二维平面,分别对典型区域二维图像构造3层高斯金字塔,提取金字塔每层的LBP纹理特征,综合3层LBP特征,得到典型区域的二维纹理特征;
(5)对典型区域的三维特征和二维特征分别进行高斯归一化和特征融合,针对典型区域融合特征进行SVM训练,实现三维人脸表情识别;
所述步骤(3)中,典型区域等高线图的整体形态特征IZT提取公式:
等高线图有m条等高线,被划分为T个基本形貌单元,其中,第i个基本形貌单元含有mi条等高线,平均每个基本形貌单元包含的等高线为形貌单元的覆盖面积特征指标为si,等高线图总面积为s;典型区域等高线图的整体形态特征IZT提取公式如下:
其中,IGC(m)和IFG(s)分别表示等高线图高差特征的多样性产生的信息量和形貌单元覆盖区域的差异信息量;
所述步骤(3)中,典型区域等高线图的坡度特征IPD提取公式:
第w个形貌单元Tw有mw条等高线,每两条相邻等高线围成的区域求取坡度qj,具体表述为:
qj=aj/lj,1≤j≤mw (2)
其中,lj和aj分别为第j条与第j+1条等高线围成区域的中轴线长度和区域面积;
对第w个形貌单元Tw,依次求取各相邻等高线间的坡度,并求取所有坡度的平均值q;第w个形貌单元Tw的坡度差异性信息量IPD(Tw)为:
由此,综合坡度差异信息量,得到等高线坡度特征IPD表达式:
其中,T表示区域内等高图被分解为基本形貌单元的总数;
所述步骤(3)中,提取典型区域的弯曲度特征IWD具体如下:
一幅等高线图有m条等高线,对于其任一条等高线Lu,首先对等高线进行弯曲划分,得到一个弯曲有序集;对该弯曲有序集中的每一个弯曲,采用式(3-1)和式(3-2)计算弯曲度fuv和弯曲面积比puv;
其中,n为曲线的弯曲个数;luv是曲线Lu的第v个弯曲的曲线长度,duv是第v个弯曲底线宽度;suv表示第v个弯曲的曲线长度和底线宽度所围成的面积,即弯曲面积;sz表示所有弯曲的弯曲面积均值;
从而,单条等高线的弯曲度特征IWQ(Lu)为:
典型区域等高线图的弯曲度信息量IWQ提取公式:
其中,n为曲线的弯曲个数,m表示等高线图有m条等高线,fuv对应于等高线Lu经弯曲划分后的第v个弯曲的弯曲度;puv对应于等高线Lu经弯曲划分后的第v个弯曲的弯曲面积比;IWQ(Lu)对应等高线Lu包含的弯曲度信息量;IWQ为整个区域内所有等高线包含的弯曲度信息量;
求所有等高线的平均弯曲信息,记为IWP;等高线的形态复杂度IWX为:
则弯曲度特征IWD为:
IWD=IWQ+IWX (6)。
2.根据权利要求1所述的基于典型区域多维度特征的三维人脸表情识别方法,其特征在于:所述步骤(2)中,根据选取的BU-3DFE三维人脸数据库的特点,得到人脸鼻尖点位置;并根据鼻尖点位置,进行E区、N区和M区的自动标定。
3.根据权利要求1所述的基于典型区域多维度特征的三维人脸表情识别方法,其特征在于:所述步骤(4)中,典型区域二维特征提取过程:首先构造典型区域3层高斯金字塔,并分别提取高斯金字塔每层的LBP纹理特征,结合各层纹理特征,得到典型区域纹理特征公式如下:
其中,和分别表示最终提取的E区、N区和M区改进的纹理特征;和分别表示E区半径为1、2、3,邻域像素为8、16、24的LBP纹理特征;N区和M区的纹理特征表示含义与E区相同。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201511021337.1A CN105678235B (zh) | 2015-12-30 | 2015-12-30 | 基于典型区域多维度特征的三维人脸表情识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201511021337.1A CN105678235B (zh) | 2015-12-30 | 2015-12-30 | 基于典型区域多维度特征的三维人脸表情识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105678235A CN105678235A (zh) | 2016-06-15 |
CN105678235B true CN105678235B (zh) | 2018-08-14 |
Family
ID=56189791
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201511021337.1A Expired - Fee Related CN105678235B (zh) | 2015-12-30 | 2015-12-30 | 基于典型区域多维度特征的三维人脸表情识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105678235B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107194371B (zh) * | 2017-06-14 | 2020-06-09 | 易视腾科技股份有限公司 | 基于层次化卷积神经网络的用户专注度识别方法及*** |
CN108875335B (zh) * | 2017-10-23 | 2020-10-09 | 北京旷视科技有限公司 | 人脸解锁与录入表情和表情动作的方法、以及认证设备和非易失性存储介质 |
CN107742117A (zh) * | 2017-11-15 | 2018-02-27 | 北京工业大学 | 一种基于端到端模型的人脸表情识别方法 |
CN108052912A (zh) * | 2017-12-20 | 2018-05-18 | 安徽信息工程学院 | 一种基于矩傅里叶描述子的立体面像识别方法 |
CN108446658A (zh) * | 2018-03-28 | 2018-08-24 | 百度在线网络技术(北京)有限公司 | 用于识别人脸图像的方法和装置 |
CN108537194A (zh) * | 2018-04-17 | 2018-09-14 | 谭红春 | 一种基于深度学习和svm的肝豆状核变性患者的表情识别方法 |
CN108564042A (zh) * | 2018-04-17 | 2018-09-21 | 谭红春 | 一种基于肝豆状核变性患者的人脸表情识别*** |
CN109902702B (zh) * | 2018-07-26 | 2021-08-03 | 华为技术有限公司 | 目标检测的方法和装置 |
CN110348344B (zh) * | 2019-06-28 | 2021-07-27 | 浙江大学 | 一种基于二维和三维融合的特殊人脸表情识别的方法 |
CN113724280B (zh) * | 2021-09-15 | 2023-12-01 | 南京信息工程大学 | 一种地面天气图高压***的自动识别方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104298995A (zh) * | 2014-05-06 | 2015-01-21 | 深圳市唯特视科技有限公司 | 基于三维点云的三维人脸识别装置及方法 |
CN104850838A (zh) * | 2015-05-19 | 2015-08-19 | 电子科技大学 | 基于表情不变区域的三维人脸识别方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW201023092A (en) * | 2008-12-02 | 2010-06-16 | Nat Univ Tsing Hua | 3D face model construction method |
-
2015
- 2015-12-30 CN CN201511021337.1A patent/CN105678235B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104298995A (zh) * | 2014-05-06 | 2015-01-21 | 深圳市唯特视科技有限公司 | 基于三维点云的三维人脸识别装置及方法 |
CN104850838A (zh) * | 2015-05-19 | 2015-08-19 | 电子科技大学 | 基于表情不变区域的三维人脸识别方法 |
Non-Patent Citations (4)
Title |
---|
An automatic 3D expression recognition framework based on sparse representation of conformal images;Wei Zeng.etc;《2013 10th IEEE International Conference and Workshops on Automatic Face and Gesture Recognition》;20130715;第1-8页 * |
Fully automatic 3D facial expression recognition using local depth features;Mingliang Xue.etc;《2014 IEEE Winter Conference on Applications of Computer Vision》;20140623;第1096-1103页 * |
SHREC’08 entry: 3D face recognition using facial contour curves;Frank B. ter Haar.etc;《IEEE International Conference on Shape Modeling and Applications》;20080620;第259-260页 * |
基于曲面等高线特征的不同姿态三维人脸深度图识别;叶长明等;《模式识别与人工智能》;20130228;第219-224页 * |
Also Published As
Publication number | Publication date |
---|---|
CN105678235A (zh) | 2016-06-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105678235B (zh) | 基于典型区域多维度特征的三维人脸表情识别方法 | |
CN105956582B (zh) | 一种基于三维数据的人脸识别*** | |
CN107742102B (zh) | 一种基于深度传感器的手势识别方法 | |
CN104850825B (zh) | 一种基于卷积神经网络的人脸图像颜值计算方法 | |
CN106228185B (zh) | 一种基于神经网络的通用图像分类识别***及方法 | |
Marcolin et al. | Novel descriptors for geometrical 3D face analysis | |
WO2018107979A1 (zh) | 一种基于级联回归的多姿态的人脸特征点检测方法 | |
CN103632132B (zh) | 一种基于肤色分割和模板匹配的人脸检测与识别方法 | |
CN103295025B (zh) | 一种三维模型最优视图的自动选择方法 | |
Lemaire et al. | Fully automatic 3D facial expression recognition using differential mean curvature maps and histograms of oriented gradients | |
CN109584251A (zh) | 一种基于单目标区域分割的舌体图像分割方法 | |
CN108090830B (zh) | 一种基于面部画像的信贷风险评级方法和装置 | |
CN108230383A (zh) | 手部三维数据确定方法、装置及电子设备 | |
Casanova et al. | Texture analysis using fractal descriptors estimated by the mutual interference of color channels | |
CN110084211A (zh) | 一种动作识别方法 | |
CN112132812B (zh) | 证件校验方法、装置、电子设备及介质 | |
CN107408290A (zh) | 增龄化预测***、增龄化预测方法以及增龄化预测程序 | |
CN104794441A (zh) | 复杂背景下基于主动形状模型和poem纹理模型的人脸特征定位方法 | |
CN113781387A (zh) | 模型训练方法、图像处理方法、装置、设备及存储介质 | |
CN106886754B (zh) | 一种基于三角面片的三维场景下的物体识别方法及*** | |
CN104573722A (zh) | 基于三维点云的三维人脸种族分类装置和方法 | |
Gilani et al. | Towards large-scale 3D face recognition | |
Ter Haar et al. | A 3D face matching framework for facial curves | |
CN106778491A (zh) | 人脸3d特征信息的获取方法及设备 | |
CN109886091A (zh) | 基于带权重局部旋度模式的三维人脸表情识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180814 Termination date: 20201230 |