CN104850838A - 基于表情不变区域的三维人脸识别方法 - Google Patents

Abstract

本发明公开了一种基于表情不变区域的三维人脸识别方法，首先从三维人脸数据对应的二维人脸图像中检测得到二人脸区域，根据二维人脸区域在三维人脸数据中提取到初始三维人脸区域，对其进行横向切片，检测得到鼻尖点，再根据鼻尖点提取到较准确的三维人脸区域，然后从该三维人脸区域中提取统计特征向量和表情不变区域，将对照样本的统计特征向量作为拒绝分类器的对照样本，根据待识别样本的统计特征向量得到待选对照样本，再将待识别样本的表情不变区域的点集与待选对照样本的表情不变区域的点集进行匹配，根据匹配误差得到识别结果。本发明能够提高三维人脸区域的准确率，并通过结合统计特征向量和表情不变区域来提高三维人脸识别的准确度。

Description

基于表情不变区域的三维人脸识别方法

技术领域

本发明属于三维人脸识别技术领域，更为具体地讲，涉及一种基于表情不变区域的三维人脸识别方法。

背景技术

从上世纪90年代算起，人脸识别已经经过了20多年的发展。最初的人脸识别研究热点集中于二维图像上的人脸识别，经过相关研究的推进，在限制光照角度、姿态、表情等约束条件下二维人脸识别已经能够取得不错的识别率，能够满足简单条件下的应用场景。随着研究的推进，非理想条件下的人脸识别成为相关研究热点，但是复杂条件下的识别率没有取得长足进步。随着三维扫描技术的发展，三维数据获取变得越来越容易，加之计算机处理能力的提升，三维人脸识别成为研究热点。二维图像从本质上说是三维数据在平面上的简约投影，所以三维数据在信息量方面拥有更为丰富的形状信息，而且三维数据采集过程基本不受光照影响。但是三维人脸识别的劣势明显，高分辨率下的三维数据匹配需要消耗大量的计算时间，而且三维人脸更易受到表情变化的影响，非刚性变换区域将直接影响识别率。因此，需要研究更好更新的方适当法消除表情变化的影响，并尽量减少识别过程所需的匹配时间。

三维人脸数据一般以点云形式表示，通过空间中虚拟的X、Y、Z轴标定每个点的坐标信息，且点点之间无其他关联。三维人脸识别的基本流程可以分为预处理、特征提取、特征匹配三部分。预处理部分要解决的主要问题是提取完整的人脸区域和降噪平滑，由于三维扫描设备获取人脸数据时会附带头发、肩部等部位，这些部位势必会影响完整人脸提取，同时由扫描设备所引起的空洞、凸起等噪声也需要予以消除。特征提取是通过特定算法提取某些值组成向量来表征原有人脸，特征匹配则是以这些向量计算两两人脸之间相似度的过程。

根据三维人脸识别所需数据的不同可以分为两类。首先是单模态识别，此类识别只依靠三维人脸数据进行识别，人脸关键点标定、特征提取等步骤依赖于原生三维数据。单模态识别可以分为基于特征的方法和基于整体分析的方法两种。其次是多模态识别，由于三维数据缺乏二维图像上的纹理信息，所以在三维数据的基础上融合二维图像从理论上能够获得更高的信息量，提取到的特征更有区分度，从而提高识别率。

多模态识别有多种理解形式，可以利用不同传感器获得不同表示形式进行识别，也可以利用多条件下不同取样进行识别，或者利用不同算法的结果进行融合得到最终识别结果。针对三维人脸上的多模态识别，Tsalakanidou利用PCA对彩色图像、深度图像分别进行处理，并将其结果融合作为最终识别结果；Mian依据三维人脸的球面表示设计了一个拒绝分类器，从而能够筛选部分待识别人脸并减少计算量，提取人脸受表情影响较小的区域表示原有人脸，并基于这些区域进行人脸识别。但是目前的多模态识别方法，在提取表情不变区域时精确底较低，因此在消除表情变化影响方面仍然存在不足。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于表情不变区域的三维人脸识别方法，通过二维图像和三维图像结合，准确提取人脸的鼻尖点，以此来获取精确度更高的人脸区域和表情不变区域，从而提高三维人脸识别的准确度。

为实现上述发明目的，本发明基于表情不变区域的三维人脸识别方法包括以下步骤：

S1：分别提取待识别样本和对照样本的统计特征和表情不变区域，每幅三维人脸数据的特征提取的具体步骤包括：

S1.1：对三维人脸数据对应的二维人脸图像进行人脸区域检测；

S1.2：根据二维人脸图像检测到的人脸区域的x坐标范围和y坐标范围，从三维人脸数据提取出对应的三维人脸区域，作为初始三维人脸区域；

S1.3：根据步骤S1.2得到的初始三维人脸区域进行鼻尖点检测，得到鼻尖点；

S1.4：以鼻尖点为球心，计算三维人脸数据中每个点到鼻尖点的距离，如果距离小于预设半径R，则该点属于三维人脸区域，否则不属于，从而得到三维人脸区域；

S1.5：对步骤S1.4得到的三维人脸区域进行人脸姿态校正，得到校正后的三维人脸区域；

S1.6：对于步骤S1.5得到的三维人脸区域，设置K个半径λ_k，k＝1,2,…,K，λ_k＜λ_k+1，且λ_K≤R，以鼻尖点为球心，分别统计以λ_k为半径的球体内的三维人脸数据点数f_k，构建统计特征向量F＝(f₁,f₂,…,f_K)；

S1.7：提取表情不变区域，具体方法为：首先获取鼻尖点(x_a,y_a,z_a)的横向切片，再以鼻尖点为圆心、以预设半径v在切片平面上作圆，求得与鼻尖点横向切片的两个交点(x_b,y_b,z_b)、(x_c,y_c,z_c)；在步骤S1.5得到的三维人脸区域内，遍历每个点(x,y,z)，如果x∈[x_b,x_c]并且y∈[y_a-δ₁,y_a+δ₂]，或者y＞y_a+δ₂，其中δ₁表示向下偏移量，δ₂表示向上偏移量，那么该点属于表情不变区域，否则不属于；

S2：将对照样本的统计特征向量作为拒绝分类器的对照样本，计算待识别样本的三维人脸区域的统计特征向量和每个对照样本的统计特征向量的距离，将对照样本按照距离从小到大进行排序，根据预定比例选择前若干个对照样本作为待选对照样本；

S3：根据待识别样本和步骤S2得到的待选对照样本，将待识别样本的表情不变区域的坐标点集和每个待选对照样本的表情不变区域的坐标点集进行匹配，选择匹配误差最小的Q个待选对照样本作为识别结果。

本发明基于表情不变区域的三维人脸识别方法，首先从三维人脸数据对应的二维人脸图像中检测得到二人脸区域，根据二维人脸区域在三维人脸数据中提取到初始三维人脸区域，对其进行横向切片，检测得到鼻尖点，再根据鼻尖点提取到较准确的三维人脸区域，然后从该三维人脸区域中提取统计特征向量和表情不变区域，将对照样本的统计特征向量作为拒绝分类器的对照样本，根据待识别样本的统计特征向量得到待选对照样本，再将待识别样本的表情不变区域的点集与待选对照样本的表情不变区域的点集进行匹配，根据匹配误差得到识别结果。

本发明具有以下有益效果：

(1)采用二维人脸图像和三维人脸数据相结合的方法得到三维人脸区域，使提取到的三维人脸区域更准确；

(2)通过对三维人脸区域的人脸姿态校正，可以对待识别样本和对照样本进行粗略校正，避免匹配算法的不收敛；

(3)通过鼻尖点来得到表情不变区域，能够适应人脸的变化，使表情不变区域更加准确。

附图说明

图1是本发明基于表情不变区域的三维人脸识别方法的流程图；

图2是人脸特征提取的流程图；

图3是三维人脸数据的示例图；

图4是三维人脸数据进行噪声消除的示例图；

图5是二维人脸图像的人脸检测结果图；

图6是基于切片的鼻尖点检测的原理示意图；

图7是提取到的三维人脸区域示例图；

图8是统计特征提取示意图；

图9是提取表情不变区域的示意图；

图10是表情不变区域的示例图；

图11是实验一和实验二的CMC曲线对比图；

图12是迭代最近点算法和LDA算法、PCA算法的CMC曲线的对比图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

实施例

图1是本发明基于表情不变区域的三维人脸识别方法的流程图。如图1所示，本发明基于表情不变区域的三维人脸识别方法的具体步骤包括：

S101：提取待识别样本和对照样本的特征：

首先要分别提取待识别样本和对照样本的特征，本发明中所采用的三维人脸区域的特征有两种：统计特征向量和表情不变区域点集，为了特征提取的准确性，在进行人脸区域检测之前需要对样本图像进行预处理，并且还需要对提取到的人脸区域进行一定的校正。图2是人脸特征提取的流程图。如图2所示，人脸特征提取的具体步骤包括：

S201：图像预处理：

在进行特征提取之前，一般需要对三维人脸数据进行预处理，以去除三维人脸数据中的噪声。与现有技术一样，本发明三维人脸的x轴表示人脸的水平向，y轴表示人脸的竖直方向，z轴垂直于x轴和y轴的平面，可以理解为深度。

图3是三维人脸数据的示例图。如图3所示，共计有三幅三维人脸数据，每一列为一幅图像的两个视角。三维人脸数据的噪声主要表现为设备缺陷造成的尖点、空洞、椒盐等噪声。

消除尖点的方法为：遍历三维人脸数据中的每个点O(x_o,y_o,z_o)，将x∈[x_o-l,x_o+l]、y∈[y_o-l,y_o+l]内的数据点作为点O邻域内的点，l为正整数，可见邻域的边长为2l+1。计算这些点中除点O和空洞点以外的数据点的z坐标的均值μ_o和标准差σ_o，根据均值μ_o和标准差σ_o为每个三维人脸数据的点设置一个阈值t_O，计算公式为：

t_O＝μ_o+0.6σ_o      (1)

如果z_o≤t_O，则认为该点正常，不作任何操作，如果z_o＞t_O，则认为该点为异常点，令z_o＝t_O。

对于三维人脸数据中的空洞，采用对三维数据进行插值和重采样的方法，其具体方法为：首先将经过尖点消除后的三维人脸数据转化为Delaunay(德洛涅)三角网格数据，并利用线性插值的方法对空洞点进行插值，再按照原三维人脸数据的分辨率对插值后的数据进行重采样。

最后再采用平均曲率流法对经过空洞消除后的三维人脸数据进行平滑，消除椒盐噪声。

图4是三维人脸数据进行噪声消除的示例图。如图4所示，第一排为三幅原始三维人脸数据，第二排为噪声消除后的三维人脸数据，可见，经噪声消除后的三维人脸数据更加完整和平滑。

为了使二维人脸图像和三维人脸数据进行对齐，本实施例对二维人脸图像的灰度图像也采用与三维人脸数据的相同处理方法进行插值和重采样：即将二维人脸的灰度数据转化为Delaunay(德洛涅)三角网格数据，并利用线性插值的方法进行插值，再按照原二维人脸图像的分辨率对插值后的数据进行重采样。

S202：对二维人脸图像进行人脸检测：

为了提高后续鼻尖点检测的鲁棒性，首先需要对三维人脸数据对应的二维人脸图像进行人脸区域检测，然后再在该检测到的二维人脸区域的基础上进行鼻尖点检测。目前二维人脸图像的人脸检测方法已经较为成熟，有多种算法可供选择。本实施例中采用基于Haar(哈尔)特征的人脸检测方法。Haar特征是一种比较经典的人脸特征，基于Haar特征的人脸检测方法可以参考文献Viola P,Jones M.2001),Rapid Object Detection Using a Boosted Cascade of SimpleFeatures[J].in IEEE Conference on Computer Vision and Pattern Recognition(CVPR’01,2001,1:I-511-I-518.。图5是二维人脸图像的人脸检测结果图。如图5所示，在检测到人脸后，会在原始二维图像上得到一个包含人脸区域的矩形框。如果在二维人脸图像中没有检测到人脸区域，则从二维人脸图像边缘向内缩小一定比例，该比例根据实际情况设置，将得到的区域作为二维人脸区域。

S203：提取初始三维人脸区域：

根据二维人脸图像检测到的人脸区域的x坐标范围[x₁,x₂]和y坐标范围[y₁,y₂]，从三维人脸数据提取出对应的三维人脸区域，作为初始三维人脸区域。也就是说，如果三维人脸数据中某个点的坐标(x_o,y_o,z_o)，如果x_o∈[x₁,x₂]、y_o∈[y₁,y₂]，则该点属于三维人脸区域。

S204：鼻尖点检测：

根据步骤S203得到的初始三维人脸区域进行鼻尖点检测，从而得到鼻尖点。鼻尖点检测的具体方法可以根据需要确定。本实施例中采用基于切片的鼻尖点检测方法。

图6是基于切片的鼻尖点检测的原理示意图。如图6所示，鼻尖点检测的原理为：在三维人脸区域中在鼻子处进行横向切片，以鼻子的顶点为圆心做圆，与该切片会有两个相交的点，此三点能够形成一个三角形，以鼻尖点为顶点做高即为图中的绿线所示。明显当圆心沿着切片移动时，位于鼻尖点的三角形的高(图6中的粗直线)将取得最大值。如果沿着脸部区域的纵向一直做切片，则三角形高的最大值仍然会在鼻尖处取得。

因此，本发明中鼻尖点检测的具体方法为：在三维人脸区域范围内，以切片间隔α₁对三维人脸区域进行横向切片，即切片的y＝y₁+k×α₁,y∈[y₁,y₂]，其中k＝0,1,2…，α₁表示初次切片间隔。对于得到的每个切片，在切片上遍历每个点，以该点为圆心、预设半径r进行作圆得到与切片的两个交点，求取圆心点到两个交点构成直线的高，在所有切片的点中选择高最大的点作为初始鼻尖点。如果高最大的点不止一个，则任意选择一个。以初始算尖点所在切片的y坐标y_*为中心，分别向上向下各扩大一定范围，得到二次切片范围[y_*-β,y_*+β]，β表示偏移量，以切片间隔α₂对二次切片范围内的人脸区域进行横向切片，此时切片的y＝y_b-β+k×α₂,y∈[y_b-β,y₂+β]，α₂表示二次切片间隔，α₂＜α₁。同样地，对于得到的每个切片，在切片上遍历每个点，以该点为圆心、预设半径r进行作圆，求得与切片的两个交点，求取圆心点到两个交点构成直线的高，在所有切片的点中选择高最大的点作为鼻尖点。

为了使得到的鼻尖点更加准确，通常初次切片间隔和二次切片间隔不宜太小，根据人脸大小，α₁的范围一般为5mm≤α₁≤10mm，α₂等于三维人脸数据中点的y坐标间距，也就是三维人脸数据的分辨率，偏移量β的取值范围为15mm≤β≤25mm，具体数值根据三维人脸数据的分辨率来确定。例如本实施例中三维人脸数据的分辨率为1mm，设置α₁＝5mm，α₂＝1mm，偏移量β＝20mm。

S205：根据鼻尖点提取三维人脸区域：

根据步骤S204检测得到的鼻尖点即可提取到三维人脸区域，其方法为：以鼻尖点为球心，计算三维人脸数据中每个点到鼻尖点的距离，如果距离小于预设半径R，则该点属于三维人脸区域，否则不属于。也就是说，在以鼻尖点为球心，以R为半径的球体内的点，属于三维人脸区域。从而完成三维人脸区域的提取。半径R也是根据人脸大小来设置的，通常R的取值范围为60mm≤R≤100mm，本实施例中设置R＝80mm。图7是提取到的三维人脸区域示例图。

S206：人脸姿态校正：

由于人脸采集时有6个自由度，所以获取得到人脸可能姿态不一，需要对步骤S205提取的三维人脸区域的人脸姿态进行校正，具体校正方法可以根据需要进行选择。本实施例中采用基于Hotelling(霍特林)变换的人脸姿态校正方法。其具体方法为：

对于一个人脸三维数据，可以将其x,y,z三个坐标轴的坐标以列向量的形式表示，所有的点构成一个矩阵：

$P=\left(\begin{array}{ccc}{x}_1& ...& x_N\\ y_1& ...& y_N\\ z_1& ...& z_N\end{array}\right)---\left(2\right)$

其中，N表示步骤S205提取的三维人脸区域中点的数量。

计算P矩阵的平均向量m和协方差矩阵C，分别如(2)、(3)所示，

$m=\frac{1}{N}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{p}_n---\left(3\right)$

$C=\frac{1}{N}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{p}_n{p_n}^T-{\mathrm{mm}}^T---\left(4\right)$

其中p_n表示第n个点的坐标列向量，即p_n＝(x_n,y_n,z_n)^T，上标T表示转置。其相应的特征向量可以表示为(5)式：

CV＝DV    (5)

式子中的D为协方差矩阵C的特征值矩阵，它是一个对角矩阵。V是特征向量构成的矩阵，可以表示为V＝[v₁；v₂；v₃]。求解特征向量的方法较多，在此不再详述。求得特征向量之后即可进行hotelling变换，如(6)所示。

p_n′＝U(p_n-m)     (6)

p_n′表示变换后矩阵P′中的第n个点的坐标列向量。其中U可以通过V变换得到，两者的关系如(7)所示。

V＝[v₁；v₂；v₃]

                                    (7)

U＝[v₃；v₂；v₁]^T

Hotelling变换是一个迭代多次进行的过程，并不能一次变换到理想位置，在进行迭代时可以判断两次变换之间数据(即P′与P)的差值，当小于某个阈值时或达到最大迭代次数可终止迭代，否则令P＝P′，重新求取平均向量和协方差矩阵进行下一次变换。经过hotelling变换的人脸可能会露出一些空洞区域，这些空洞区域一般是之前没有被扫描仪扫描到。如果不存在空洞，则不作任何操作，如果存在空洞，则需要对这些空洞进行填充，可以直接采用插值方式进行填充，也可以采用其他方式。经过空洞填充后三维人脸区域中点数仍然为N。

S207：提取三维人脸区域的统计特征向量：

对于经过人脸姿态校正的三维人脸区域，首先需要提取统计特征。图8是统计特征提取示意图。如图8所示，统计特征提取的方法为：设置K个半径λ_k，k＝1,2,…,K，λ_k＜λ_k+1，且λ_K≤R，以鼻尖点为球心，分别统计以λ_k为半径的球体内的人脸点数f_k，构建统计特征向量F＝(f₁,f₂,…,f_K)。

一般来说，为了充分使用三维人脸区域的数据，令λ_K＝R。由于本实施例步骤S205中三维人脸区域的半径R＝80mm，因此以半径步进6mm来构建15个以鼻尖点为球心的同心球体，根据每个点到鼻尖点的距离，从而将每个点划入不同的球体，统计得到15维的特征向量。

S208：提取表情不变区域：

三维人脸识别中非常重要的一点是要避免人脸表情的影响，经分析可知受表情影响较小的区域主要集中在鼻子、前额、部分脸颊等区域，可以提取这些区域作为三维人脸识别的待匹配区域从而减少表情变化的影响。

图9是提取表情不变区域的示意图。如图9所示，提取表情不变区域的方法为：首先获取鼻尖点(x_a,y_a,z_a)的横向切片(即y＝y_a)，再以鼻尖点为圆心，以预设半径v在切片平面上作圆，求得与鼻尖点横向切片的两个交点(x_b,y_b,z_b)、(x_c,y_c,z_c)。以这两个交点的x坐标作为表示表情不变区域中鼻子区域的x坐标范围，将鼻尖点的y坐标y_a向下移动一定距离，再向上移动一定距离，得到表情不变区域中鼻子区域的y坐标范围，再加上眼睛与额头区域，从而得到表情不变区域。具体判定方法为：三维人脸区域内，遍历每个点(x,y,z)，如果x∈[x_b,x_c]并且y∈[y_a-δ₁,y_a+δ₂]，其中δ₁表示向下偏移量，δ₂表示向上偏移量，那么该点属于表情不变区域，否则进一步判断是否y＞y_a+δ₂，如果是，那么该点属于表情不变区域，否则不属于。根据实验可知，令35mm≤v≤45mm、5mm≤δ₁≤15mm、15mm≤δ₂≤25mm时，得到的表情不变区域较为准确，具体取值可以根据实际样本的情况确定。本实施例中v＝40mm，δ₁＝10mm，δ₂＝20mm。

图10是表情不变区域的示例图。如图10所示，第一排为三维人脸区域，第二排为根据第一排三维人脸区域提取到的表情不变区域。从图10可以看出，本发明的表情不变区域提取方法，能够很好地适应不同人脸。

S102：根据统计特征向量进行粗分类：

本发明首先根据统计特征，采用拒绝分类器对待识别样本进行粗分类。拒绝分类器是指能够从一个集合快速过滤掉大部分待选项的分类器。在拒绝分类器过滤掉一部分待选项，输出剩余待选项，再将待识别样本与这些剩下的待选项进行匹配判断。可见，当拒绝分类器判断得到的类别个数越少，则后续需要进一步判断的计算量就越少，通过控制拒绝分类器的拒绝率，就可以对后续判断的计算量进行控制。

拒绝分类器的分类过程为：计算待识别样本的三维人脸区域的统计特征向量和每个对照样本的统计特征向量的距离，将对照样本按照距离从小到大进行排序，根据预定比例选择前若干个对照样本作为待选对照样本。预定比例越小，待选对照样本就越小，后续判断的计算量就越小。

本实施例中，统计特征向量之间的距离采用标准化欧式距离。标准化欧式距离是基于欧式距离的改进方法，针对数据各个维度分布不一致的情况，标准化欧式距离先将各个维度上的属性标准化到一致，即各维上的均值、方差一致。对于两个K维的统计特征向量(f₁₁,f₁₂,…,f_1K)和(f₂₁,f₂₂,…,f_2K)，其标准化欧式距离d的计算公式：

$d=\sqrt{\underset{k=1}{\overset{K}{\mathrm{\Σ}}}\frac{{(f_{1k}-f_{2k})}^2}{s_k}}---\left(8\right)$

其中，s_k表示f_1k和f_2k的标准差。

S103：根据表情不变区域进行人脸匹配识别：

接下来，根据待识别样本和步骤S102得到的待选对照样本，将待识别样本的表情不变区域的坐标点集和每个待选对照样本的表情不变区域的坐标点集进行匹配，选择匹配误差最小的Q个待选对照样本作为识别结果。Q的大小是根据实际需要设置的。

本实施例中，采用迭代最近点算法进行表情不变区域点集的匹配。迭代最近点算法是三维点集配准的一种主流算法，其主要思路为：记待识别样本的表情不变区域的坐标点集M₁表示表情不变区域中点的数量，p_i表示点集P中第i个点的坐标。记待选对照样本的表情不变区域的坐标点集M₂表示表情不变区域中点的数量，g_j表示点集G中第j个点的坐标。首先从点集P取子集P′，子集P′中的点数量记为M，在点集G中搜索得到子集P′中所有点的最近点的子集G′，再求出两个子集P′和G′之间的平移矩阵τ和旋转矩阵γ，对待识别样本的子集G′进行变换，变换后的点集P′(t+1)＝γP′(t)+τ，t表示第t次迭代，每次迭代后重新搜索最代点子集G′(t+1)，再求平移矩阵和旋转矩阵。显然P′(0)＝P′，G′(0)＝G′。每次迭代后都可以计算当前迭代次数下的距离误差E_t，计算公式为：

$E_t=\frac{1}{M}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\left|\right|p_i^t-g_i^{t-1}\left|\right|---\left(9\right)$

当迭代次数达到预设次数或距离误差小于预设阈值时，迭代结束。迭代最近点算法的具体过程可以参见文献Neugebauer P J.Reconstruction of real-worldobjects via simultaneous registration and robust combination of multiple rangeimages[J].International Journal of Shape Modeling,2011。

本发明中，由于需要使用距离误差作为人脸识别的判断标准，因此设置迭代次数t_o，迭代完成后计算得到距离误差。

在对待识别样本的表情不变区域的坐标点集和每个待选对照样本的表情不变区域的坐标点集进行匹配时，如果两个点集在一开始不能很好地对齐，有可能造成匹配算法不收敛。因此本发明在一开始就对三维人脸区域进行了姿态校正，能够有效避免匹配算法不收敛的情况。

在实际应用中，可以先统一对对照样本提取统计特征和表情不变区域，然后存储下来，当有待识别样本时，只需要提取待识别样本的统计特征和表情不变区域，再按本发明的识别步骤进行识别即可。

为了验证本发明的技术效果，采用UMB-DB人脸数据库进行了测试实验。按照人脸的表情分类(中性、微笑、生气、厌烦共四种)，随机选取了人脸库中的部分人脸作为测试集。表1是测试集的数据列表。

表1

为了对每个测试集内的人脸进行测试，随机从143个测试对象中选取了50个人的100个中性表情人脸，作为对照样本。

此处共设计了三组实验。实验一为本发明，即采用拒绝分类器得到待选对照样本，拒绝分类器的拒绝比例设置为50％，然后测试集每个样本的表情不变区域和待选对照样本的表情不变区域进行迭代最近点匹配，得到人脸识别结果。实验二和和实验三为对照实验，其中实验二对测试集Probe1、Probe2、Probe3和对照样本进行了人脸检测，直接根据测试集的人脸区域和所有对照样本的人脸区域进行迭代最近点匹配，得到人脸识别结果，并且无拒绝分类这一步。实验三是基于PCA(Principal Component Analysis，主成分分析)、LDA(LinearDiscriminant Analysis,线性差别分析)的典型人脸识别方法进行人脸识别的对照实验。

图11是实验一和实验二的CMC曲线对比图。CMC(Cumulative Match Score，累计匹配分值)曲线是三维人脸识别中常用的用于评价检测结果的曲线。如图11所示，Probe4、Probe5、Probe6分别表示直接采用测试集Probe1、Probe2、Probe3检测的人脸区域进行人脸识别。从图11可以看出，在Rank范围在1到5时，实验一内每个probe的验证率明显高于后者，但在6到15范围内性能提升不如实验二。这是因为拒绝分类器在拒绝比例为50％时分类正确率只有97％，直接限制了实验一性能的提升。但是总体而言，实验一的整体效果要优于实验二，这是因为本发明只采用了表情不变区域进行人脸匹配，提高了匹配准确率。

表2是实验一和实验二每个测试集的时间列表。

表2

从表2可以看出，实验一内容含有拒绝分类这一过程，而且拒绝比例设置为50％，由实验结果可以看出，实验一所需时间基本是实验二所需的一半，这与拒绝分类器的预计作用类似。可见，本发明由于采用了拒绝分类器，可以显著减少识别时间，使得方法的实时性得以提高。

图12是迭代最近点算法和LDA算法、PCA算法的CMC曲线的对比图。此处仅比较了测试集Probe1的CMC曲线。由图12可以看出，迭代最近点算法占优，从Rank1到Rank5，迭代最近点算法的score平滑上升，并最终稳定在0.93左右。其他两种方法最终稳定在0.85左右。从整体来看，三种方法的效果差距并不大，这是因为probe1是经过表情不变区域提取的人脸区域，影响PCA和LDA最大的表情变化因素已经在预处理时被削弱。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (9)

1.一种基于表情不变区域的三维人脸识别方法，其特征在于，包括以下步骤：

S1：分别提取待识别样本和对照样本的统计特征和表情不变区域，每幅三维人脸数据的特征提取的具体步骤包括：

S1.1：对三维人脸数据对应的二维人脸图像进行人脸区域检测；

S1.2：根据二维人脸图像检测到的人脸区域的x坐标范围和y坐标范围，从三维人脸数据提取出对应的三维人脸区域，作为初始三维人脸区域；

S1.3：根据步骤S1.2得到的初始三维人脸区域进行鼻尖点检测，得到鼻尖点；

S1.4：以鼻尖点为球心，计算三维人脸数据中每个点到鼻尖点的距离，如果距离小于预设半径R，则该点属于三维人脸区域，否则不属于，从而得到三维人脸区域；

S1.5：对步骤S1.4得到的三维人脸区域进行人脸姿态校正，得到校正后的三维人脸区域；

S1.6：对于步骤S1.5得到的三维人脸区域，设置K个半径λ_k，k＝1,2,…,K，λ_k＜λ_k+1，且λ_K≤R，以鼻尖点为球心，分别统计以λ_k为半径的球体内的三维人脸数据点数f_k，构建统计特征向量F＝(f₁,f₂,…,f_K)；

S1.7：提取表情不变区域，具体方法为：首先获取鼻尖点(x_a,y_a,z_a)的横向切片，再以鼻尖点为圆心、以预设半径v在切片平面上作圆，求得与鼻尖点横向切片的两个交点(x_b,y_b,z_b)、(x_c,y_c,z_c)；在步骤S1.5得到的三维人脸区域内，遍历每个点(x,y,z)，如果x∈[x_b,x_c]并且y∈[y_a-δ₁,y_a+δ₂]，或者y＞y_a+δ₂，其中δ₁表示向下偏移量，δ₂表示向上偏移量，那么该点属于表情不变区域，否则不属于；

S2：将对照样本的统计特征向量作为拒绝分类器的对照样本，计算待识别样本的三维人脸区域的统计特征向量和每个对照样本的统计特征向量的距离，将对照样本按照距离从小到大进行排序，根据预定比例选择前若干个对照样本作为待选对照样本；

S3：根据待识别样本和步骤S2得到的待选对照样本，将待识别样本的表情不变区域的坐标点集和每个待选对照样本的表示不变区域的坐标点集进行匹配，选择匹配误差最小的Q个待选对照样本作为识别结果。

2.根据权利要求1所述的三维人脸识别方法，其特征在于，所述步骤S1.1之前，还需要对三维人脸数据及对应的二维人脸图像进行预处理，预处理方法为：

三维人脸数据的预处理为：遍历三维人脸数据中的每个点O(x_o,y_o,z_o)，将x∈[x_o-l,x_o+l]、y∈[y_o-l,y_o+l]内的数据点作为点O邻域内的点，计算这些点中除点O和空洞点以外的点的z坐标的均值μ_o和标准差σ_o，计算阈值t_O＝μ_o+0.6σ_o，如果z_o≤t_O，不作任何操作，如果z_o＞t_O，令z_o＝t_O；然后将处理后的三维人脸数据转化为Delaunay三角网格数据，利用线性插值的方法对空洞点进行插值，再按照原三维人脸数据的分辨率对插值后的数据进行重采样；最后对重采样的三维人脸数据采用平均曲率流表进行平滑。

二维人脸图像的预处理为：将二维人脸图像转化为灰度图像，再把灰度数据转化为Delaunay三角网格数据，利用线性插值的方法进行插值，再按照原二维人脸图像的分辨率对插值后的数据进行重采样。

3.根据权利要求1所述的三维人脸识别方法，其特征在于，所述步骤1.1中的人脸区域检测方法采用的特征为哈尔特征。

4.根据权利要求1所述的三维人脸识别方法，其特征在于，所述步骤S1.3中的鼻尖点检测方法为：

在三维人脸区域范围内，以切片间隔α₁对三维人脸区域进行横向切片，对于得到的每个切片，遍历切片上的每个点，以该点为圆心、预设半径r进行作圆，得到与切片的两个交点，求取圆心点到两个交点构成直线的高，在所有切片的点中选择高最大的点作为初始鼻尖点；

以初始算尖点所在切片的y坐标y_*为中心，得到二次切片范围[y_*-β,y_*+β]，β表示偏移量，为正整数，以切片间隔α₂对二次切片范围内的人脸区域进行横向切片，α₂＜α₁；对于得到的每个切片，遍历切片上的每个点，以该点为圆心、预设半径r进行作圆，求得与切片的两个交点，求取圆心点到两个交点构成直线的高，在所有切片的点中选择高最大的点作为鼻尖点。

5.根据权利要求4所述的三维人脸识别方法，其特征在于，所述切片间隔α₁的取值范围为5mm≤α₁≤10mm，α₂等于三维人脸数据的分辨率，偏移量β的取值范围为15mm≤β≤25mm。

6.根据权利要求1所述的三维人脸识别方法，其特征在于，所述步骤S1.5中的人脸姿态校正方法采用基于Hotelling变换的人脸姿态校正方法。

7.根据权利要求1所述的三维人脸识别方法，其特征在于，所述步骤S1.7中，半径v的取值范围为35mm≤v≤45mm、向下偏移量δ₁的取值范围为5mm≤δ₁≤15mm、向上偏移量δ₁的取值范围为15mm≤δ₂≤25mm。

8.根据权利要求1所述的三维人脸识别方法，其特征在于，所述步骤S2中统计特征向量之间的距离采用标准化欧式距离。

9.根据权利要求1所述的三维人脸识别方法，其特征在于，所述步骤S3中坐标点集的匹配方法采用迭代最近点算法。