CN106778468A - 3d人脸识别方法及设备 - Google Patents

Abstract

本发明提供了一种3D人脸识别方法及设备。该方法包括以下步骤：获取待测人脸RGBD图；通过人脸RGBD图获取人脸3D特征信息；将获取的人脸3D特征信息与人脸3D特征身份信息库中的人脸3D特征信息进行匹配；若匹配成功，则获取待测人脸RGBD图对应的身份信息。该设备包括第一图像获取模块、第一特征信息获取模块、3D信息匹配模块和身份信息获取模块。本发明使得人脸识别更加精确，并且，人脸的姿态、表情、光照以及脸部化妆等非几何外观变化以及人脸胖瘦等情况的变化均不会对本发明的人脸识别构成影响。

Description

3D人脸识别方法及设备

技术领域

本发明涉及3D人脸识别技术领域，特别是涉及一种3D人脸识别方法及设备。

背景技术

信息安全问题已经引起社会各界的广泛重视。保障信息安全的一个主要途径就是对信息使用者的身份进行准确鉴别，通过鉴别结果进一步判断用户获取信息的权限是否合法，从而达到保证信息不被外泄和保障用户合法权益的目的。因此，可靠的身份识别是非常重要和必要的。

人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术，人脸识别技术作为一种更加安全、方便的个人身份鉴别技术，越来越受到关注。传统的人脸识别技术为2D人脸识别，2D人脸识别没有深度信息，容易受到姿态、表情、光照以及脸部化妆等非几何外观变化的影响，因此难以进行精确的人脸识别。

发明内容

本发明提供一种3D人脸识别方法及设备，能够解决现有技术存在的难以进行精确的人脸识别的问题。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种3D人脸识别方法，该方法包括以下步骤：获取待测人脸RGBD图；通过所述人脸RGBD图获取人脸3D特征信息；将获取的所述人脸3D特征信息与人脸3D特征身份信息库中的人脸3D特征信息进行匹配；若匹配成功，则获取所述待测人脸RGBD图对应的身份信息。

其中，所述通过所述人脸RGBD图获取人脸3D特征信息的步骤包括：通过所述人脸RGBD图采集人脸的特征点；根据所述特征点建立人脸彩色3D网格；根据所述人脸彩色3D网格度量所述特征点的特征值并计算所述特征点之间的连接关系；对所述特征值和所述连接关系进行分析以获取所述特征点的人脸3D特征信息。

其中，所述将获取的所述人脸3D特征信息与人脸3D特征身份信息库中的人脸3D特征信息进行匹配的步骤包括：计算获取的所述人脸3D特征信息与人脸3D特征身份信息库中的人脸3D特征信息的匹配度，以获取最高匹配度；将所述最高匹配度与预设的匹配度阈值比较，若所述最高匹配度达到所述预设的匹配度阈值的范围，则判断匹配成功；所述获取所述待测人脸RGBD图对应的身份信息的步骤中，所述人脸3D特征身份信息库中具有最高匹配度的个人的身份信息则为待测人的身份信息。

其中，所述通过所述人脸RGBD图获取人脸3D特征信息的步骤之前，还包括：预先设定所述匹配度阈值的范围。

其中，在获取待测人脸RGBD图的步骤中，还包括：获取人脸RGB图；通过所述人脸RGBD图获取人脸3D特征信息的步骤中，还包括：通过所述人脸RGB图获取人脸2D特征信息；将获取的所述人脸3D特征信息与人脸3D特征身份信息库中的人脸3D特征信息进行匹配的步骤中，还包括：将获取的所述人脸2D特征信息与人脸3D特征身份信息库中的人脸2D特征信息进行匹配；若匹配成功，则获取所述待测人脸RGBD图对应的身份信息的步骤为：若所述3D特征信息和所述2D特征信息均匹配成功，则获取所述待测人脸RGBD图和RGB图对应的身份信息。

为解决上述技术问题，本发明采用的另一个技术方案是：提供一种3D人脸识别设备，该设备包括第一图像获取模块、第一特征信息获取模块、3D信息匹配模块和身份信息获取模块；第一图像获取模块用于获取待测人脸RGBD图；第一特征信息获取模块与所述第一图像获取模块连接，用于通过所述人脸RGBD图获取人脸3D特征信息；3D信息匹配模块与所述第一信息获取模块连接，用于将获取的所述人脸3D特征信息与人脸3D特征身份信息库中的人脸3D特征信息进行匹配；身份信息获取模块与所述3D信息匹配模块连接，用于在匹配成功时，获取所述待测人脸RGBD图对应的身份信息。

其中，所述第一特征信息获取模块包括采集模块、网格建立模块、第一计算模块和分析模块；采集模块与所述第一图像获取模块连接，用于通过所述人脸RGBD图采集人脸的特征点；网格建立模块与所述采集模块连接，用于根据所述特征点建立人脸彩色3D网格；第一计算模块与所述网格建立模块连接，用于根据所述人脸彩色3D网格度量所述特征点的特征值并计算所述特征点之间的连接关系；分析模块与所述第一计算模块连接，用于对所述特征值和所述连接关系进行分析以获取所述特征点的人脸3D特征信息。

其中，所述3D信息匹配模块包括第二计算模块和比较模块，第二计算模块与所述第一特征信息获取模块连接，用于计算获取的所述人脸3D特征信息与人脸3D特征身份信息库中的人脸3D特征信息的匹配度，以获取最高匹配度；比较模块与所述第二计算模块连接，用于将所述最高匹配度与预设的匹配度阈值比较，若所述最高匹配度达到所述预设的匹配度阈值的范围，则判断匹配成功；所述身份信息获取模块则获取所述人脸3D特征身份信息库中具有最高匹配度的个人的身份信息作为待测人的身份信息。

其中，所述设备还包括预设模块，所述预设模块与所述比较模块连接，用于预先设定所述匹配度阈值的范围。

其中，所述设备还包括第二图像获取模块、第二特征信息获取模块和2D信息匹配模块；第二图像获取模块用于获取待测人脸RGB图；第二特征信息获取模块与所述第二图像获取模块连接，用于通过所述人脸RGB图获取人脸2D特征信息；2D信息匹配模块与所述第二特征信息获取模块连接，将获取的所述人脸2D特征信息与人脸3D特征身份信息库中的人脸2D特征信息进行匹配；所述身份信息获取模块还与所述2D信息匹配模块连接，所述身份信息获取模块用于在述3D特征信息和所述2D特征信息均匹配成功时，获取所述待测人脸RGBD图和RGB图对应的身份信息。

本发明的有益效果是：区别于现有技术的情况，本发明通过获取人脸RGBD图来获取人脸3D特征信息，并将该人脸3D特征信息与人脸3D特征身份信息库内保存的人脸3D特征信息进行匹配，从而进行人脸识别，由于进行匹配的是人脸3D信息，包括颜色信息和深度信息，从而使得人脸信息更加全面，识别更加精确，并且，由于该D信息图库中的人脸信息是3D信息，因此人脸的姿态、表情、光照以及脸部化妆等非几何外观变化以及人脸胖瘦等情况的变化均不会对人脸识别进行影响。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种3D人脸识别方法的流程示意图；

图2是图1中步骤S12的流程示意图；

图3是图1中步骤S13的流程示意图；

图4是本发明实施例提供的又一种3D人脸识别方法的流程示意图；

图5是本发明实施例提供的一种3D人脸识别设备的结构示意图；

图6是本发明实施例提供的另一种3D人脸识别设备的结构示意图；

图7是本发明实施例提供的又一种3D人脸识别设备的结构示意图；

图8是本发明实施例提供的一种3D人脸识别设备的实体装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1，图1是本发明实施例提供的一种3D人脸识别方法的流程示意图。

本实施例的3D人脸识别方法包括以下步骤：

S11：获取待测人脸RGBD图。

具体地，RGBD人脸图像包括人脸的颜色信息(RGB)和深度信息(Depth)，RGBD人脸图像可以通过Kinect传感器获得。其中，测人脸RGBD图可以包括待测人的一个RGBD图，也可以包括待测人的多个角度的多个RGBD图。

S12：通过人脸RGBD图获取人脸3D特征信息。

请参阅图2，图2是图1中步骤S12的流程示意图。具体地，步骤S12包括：

S121：通过人脸RGBD图采集人脸的特征点。该步骤中，通过采集人脸元素来进行特征点的采集，其中，人脸元素包括：眉毛、眼睛、鼻子、嘴巴、脸颊以及下巴中的一个或者多个。

特征点的获取方法可以是多种，例如，通过人工标记人脸的眼睛、鼻子等五官、面颊、下颌及其边缘等特征点，也可以兼容RGB(2D)的人脸特征点标记方法来确定人脸的特征点。

举例而言，人脸关键特征点的定位方法：选取人脸的9个特征点，这些特征点的分布具有角度不变性，分别为2个眼球中心点、4个眼角点、两鼻孔的中点和2个嘴角点。在此基础上可以容易地获得与识别有关的人脸各器官特征以及扩展的其他特征点位置，用于进一步的识别算法。

在进行人脸特征提取时，由于无法将局部的边缘信息有效地组织起来，传统的边缘检测算子不能可靠地提取人脸的特征(眼睛或嘴的轮廓)，但从人类视觉特性出发，充分利用边缘及角点的特征来进行人脸关键特征点的定位，则会大大提高其可靠性。

其中选择Susan(Smallest Univalue Segment Assimilating Nucleus)算子用于提取局部区域的边缘和角点特征。根据Susan算子的特性，它既可用来检测边缘，又能用来提取角点。因此与Sobel、Canny等边缘检测算子相比较而言，Susan算子更适合进行人脸眼部和嘴巴等特征的提取，尤其是对眼角点和嘴角点的自动定位。

以下是Susan算子的介绍：

用一个圆形模板遍历图像，若模板内其他任意像素的灰度值与模板中心像素(核)的灰度值的差小于一定阈值，就认为该点与核具有相同(或相近)的灰度值，满足这样条件的像素组成的区域称为核值相似区(Univalue Segment Assimilating Nucleus,USAN)。把图像中的每个像素与具有相近灰度值的局部区域相联系是SUSAN准则的基。

具体检测时，是用圆形模板扫描整个图像，比较模板内每一像素与中心像素的灰度值，并给定阈值来判别该像素是否属于USAN区域，如下式：

式中，c(r,r₀)为模板内属于USAN区域的像素的判别函数，I(r₀)是模板中心像素(核)的灰度值，I(r)为模板内其他任意像素的灰度值，t是灰度差门限。它影响检测到角点的个数。t减小，获得图像中更多精细的变化，从而给出相对较多的检测数量。门限t必须根据图像的对比度和噪声等因素确定。则图像中某一点的USAN区域大小可由下式表示：

其中，g为几何门限，影响检测到的角点形状，g越小，检测到的角点越尖锐。(1)t,g的确定门限g决定了输出角点的USAN区域的最大值，即只要图象中的象素具有比g小的USAN区域，该点就被判定为角点。g的大小不但决定了可从图象中提取角点的多寡，而且如前所述，它还决定了所检测到的角点的尖锐程度。所以一旦确定了所需角点的质量(尖锐程度)，g就可以取一个固定不变的值。门限t表示所能检测角点的最小对比度，也是能忽略的噪声的最大容限。它主要决定了能够提取的特征数量，t越小，可从对比度越低的图象中提取特征，而且提取的特征也越多。因此对于不同对比度和噪声情况的图象，应取不同的t值。SUSAN算子有一个突出的优点，就是对局部噪声不敏感，抗噪能力强。这是由于它不依赖于前期图像分割的结果，并避免了梯度计算，另外，USAN区域是由模板内与模板中心像素具有相似灰度值的像素累加而得，这实际上是一个积分过程，对于高斯噪声有很好的抑制作用。

SUSAN二维特征检测的最后一个阶段，就是寻找初始角点响应的局部最大值，也就是非最大抑制处理，以得到最终的角点位置。非最大抑制顾名思义，就是在局部范围内，如果中心像素的初始响应是此区域内的最大值，则保留其值，否则删除，这样就可以得到局部区域的最大值。

(1)眼球及眼角的自动定位。在眼球及眼角的自动定位过程中，首先采用归一化模板匹配的方法初步定位人脸。在整个人脸图像中确定出脸部的大概区域。通常的人眼定位算法根据眼睛的谷点性质来定位，而此处则采用将谷点的搜索和方向投影以及眼球的对称性相结合的方法，利用两眼之间的相关性可以提高眼睛定位的准确度。对脸部区域的左上和右上部分进行梯度图积分投影，并对积分投影的直方图进行归一化，首先根据水平投影的谷点确定出眼睛在y方向的大致位置，然后让x在较大的范围内变化，寻找此区域内的谷点，将检测到的点作为两眼的眼球中心点。

在获得两眼球位置的基础上，对眼部区域进行处理，首先采用自适应二值化方法确定门限阈值，得到眼部区域的自动二值化图像，然后结合Susan算子，利用边缘和角点检测的算法在眼部区域内准确定位内外眼角点。

经过上述算法获得的眼部区域边缘图像，在此基础上对图像中的边缘曲线进行角点提取即可获得准确的两眼内外眼角点位置。

(2)鼻域特征点的自动定位。将人脸鼻子区域的关键特征点确定为两个鼻孔中心连线的中点处，即鼻唇中心点。人脸鼻唇中心点的位置相对较稳定，而且对于人脸图像归一化预处理时也可起到基准点的作用。

以找到的两眼球位置为基础，采用区域灰度积分投影的方法确定两个鼻孔的位置。

首先截取两眼瞳孔宽度的条状区域，进行Y方向积分投影，然后对投影曲线进行分析。可以看到，沿着投影曲线自眼球位置的Y坐标高度向下搜索，找到第一个谷点的位置(通过调整选择适当的峰谷Δ值，忽略中间可能由于脸部疤痕或眼镜等因素产生的毛刺影响)，将这个谷点作为鼻孔位置的Y坐标基准点；第二步选取以两眼球X坐标为宽度，鼻孔Y坐标上下δ像素(例如，选取δ＝[鼻孔Y坐标-眼球Y坐标]×0.06)为高度的区域进行X方向积分投影，然后对投影曲线进行分析，以两眼瞳孔中点的X坐标作为中心点，分别向左右两侧进行搜索，找到的第一个谷点即为左右鼻孔的中心点的X坐标。计算两个鼻孔的中点作为鼻唇中点，获得鼻唇中心点的准确位置，并划定鼻子区域。

(3)嘴角的自动定位。由于人脸表情的不同可能会引起嘴巴形状的较大变动，而且嘴巴区域比较容易受到胡须等因素的干扰，因此嘴部特征点提取的准确性对于识别影响较大。由于嘴角点的位置受表情等影响相对变动较小，角点的位置较准确，所以采取嘴部区域的重要特征点为两个嘴角点的定位方式。

在确定了双眼区域以及鼻域特征点的基础上，首先利用区域灰度积分投影的方法确定自鼻孔以下Y坐标投影曲线的第一个谷点(同理，需要通过适当的峰谷Δ值来消除由于胡须、痣痕等因素产生的毛刺影响)作为嘴巴的Y坐标位置；然后选定嘴巴区域，对区域图像利用Susan算子进行处理，得到嘴部边缘图后；最后进行角点提取，便可以获得两个嘴角的精确位置。

S122：根据特征点建立人脸彩色3D网格。

S123：根据人脸彩色3D网格度量特征点的特征值并计算特征点之间的连接关系。

具体而言，通过颜色信息可以针对人脸特征的特征点对相关特征值进行度量，该特征值为人脸特征在2D平面上的包括对位置、距离、形状、大小、角度、弧度以及曲率中的一种或者多种的度量，此外，还包括对色彩、亮度、纹理等的度量。例如根据虹膜中心像素点向周围延伸，得到眼睛的全部像素位置，眼睛的形状，眼角的倾斜弧度，眼睛的颜色等等。

结合颜色信息和深度信息，则可以计算出特征点之间的连接关系，该连接关系可以是特征点之间的拓扑连接关系和空间几何距离，或者也可以是特征点的各种组合的动态连接关系信息等。

根据人脸彩色3D网格的度量和计算可以获得包括人脸的各个元素本身的平面信息和每个元素上的特征点的空间位置关系的局部信息，以及各个元素之间的空间位置关系的整体信息。局部信息和整体信息分别从局部和整体上反映隐含在人脸RGBD图上的信息和结构关系。

S124：对特征值和连接关系进行分析以获取人脸3D特征信息。通过对特征值和连接关系的分析，因而可以获得立体的人脸形状信息，从而获得人脸3D特征信息。

步骤S124中，通过对特征值和连接关系的分析，因而可以获得立体的人脸形状信息，从而获得人脸各特征点的3D空间分布特征信息，使后期进行人脸识别的时候，可以通过人脸的3D空间分布特征信息进行识别。

举例而言，采用有限元分析方法对特征值、特征点之间的拓扑连接关系和空间几何距离进行分析以获取特征点的3D空间分布特征信息。

具体地，使用有限元分析可对人脸彩色3D网格进行曲面变形。有限元分析(FEA，Finite Element Analysis)即利用数学近似的方法对真实物理***(几何和载荷工况)进行模拟。还利用简单而又相互作用的元素，即单元，就可以用有限数量的未知量去逼近无限未知量的真实***。

例如，对人脸彩色3D网格每个线单元进行变形能量分析后，可以建立线单元的单元刚度方程。然后引入约束单元，如点、线、切矢、法矢等约束单元类型。因为曲线曲面要满足稽核设计时对其形状、位置、尺寸以及与相邻曲面的连续性等要求，这些都是通过约束来实现的。本实施例通过罚函数法处理这些约束，最终获得约束单元的刚度矩阵和等效载荷列阵。

扩充变形曲线曲面的数据结构，使得变形曲线曲面的数据结构既包含如阶数、控制顶点和节点矢量等的几何参数部分，还包括表明物理特性和外载荷的一些参数。从而使得变形曲线曲面可以整体表示一些较为复杂的形体表明，大大简化了人脸的几何模型。并且，在数据结构中的物理参数和约束参数唯一决定了人脸的构形几何参数，

通过程序设计来用有限元求解变形曲线曲面，针对不同的约束单元，设置单元入口程序，可计算出任何一种约束的单元刚度矩阵和单元载荷列阵。根据总体刚度矩阵的对称性、带状性和稀疏性，采用变带宽一维数组存储方法对总体刚度矩阵计算。组装时，不仅将线单元或面单元刚度矩阵，也将约束单元刚度矩阵按“对号入座”方式加入到总体刚度矩阵中，同时将约束单元等效载荷列阵加入到总体载荷列阵中，最后采用高斯消去法求解线性代数方程组。

举例而言，人脸曲线曲面的造型方法可用数学模型描述为：

所求变形曲线

或曲面

是如下极值问题的解

其中，是曲线曲面的能量泛函，它在一定程度上反映曲线曲面的变形特点，赋予曲线曲面物理特性。f1，f2，f3，f4是关于(·)中变量的函数，是参数定义域的边界，Γ′是曲面参数域内的曲线，(μ₀，v₀)是参数域内某参数值，条件(1)是边界插值约束，条件(2)是边界处连续性约束，条件(3)是曲面内特征线的约束，条件(4)是曲线曲面内点约束。在应用中，能量泛函取成如下形式：

曲线：

曲面：

其中，α、β、γ分别表示曲线的拉伸、玩去、扭曲系数，αij和βij分别为曲面在(μ，v)处局部沿μ，v方向的拉很和玩去系数。

从数学模型中可以看出，变形曲线曲面造型方法同一、协调地处理各类约束，既满足了局部控制，又保证了整体广顺。利用变分原理，求解上述极值问题可转化为求解如下方程：

这里的δ表示一阶变分。式(5)是一个微分方程，由于该方程比较复杂，难于求出精确分析结，因此采用数值解放。例如，采用有限元方法求解。

有限元方法可认为是先根据需要选择合适的插值形式，再求解组合参数，因此所得的解不仅为连续形式，而前处理生成的网格也为有限元分析奠定了基础。

通过上述有限元方法对人脸彩色3D网格进行了曲面变形，使人脸彩色3D网格各个点均不断接近真实人脸的特征点，从而获得立体的人脸形状信息，进而获取了人脸特征点的3D空间分布特征信息。

又如，采用小波变换纹理分析方法对特征值和特征点之间的动态连接关系进行分析，以获取特征点的3D空间分布特征信息。

具体而言，动态连接关系为各种特征点组合的动态连接关系。小波变换是时间和频率的局域变换，它具有多分辨率分析的特征，而且在时域频域都具有表征信号局部特征的能力。本实施例通过小波变换纹理分析经过对纹理特征的提取、分类和分析步骤并结合人脸特征值以及动态连接关系信息，具体包括颜色信息和深度信息，最终获取立体的人脸形状信息，最终再从人脸形状信息中分析提取出人脸细微表情变化下具有不变性的人脸形状信息，进行编码人脸形状模型参数，该模型参数即可作为人脸的几何特征，从而获得人脸特征点的3D空间分布特征信息。

举例而言，三维小波变换的基础如下：

其中，

A_J1为函数f(x，y，z)到空间V³ _J1的投影算子，

Q_n为H_x，H_y，H_zG_x，G_y，G_z的组合；

令矩阵H＝(H_m.k)，G＝(G_m，k)，其中， H_x，H_y，H_z分别表示H作用到三维信号x，y，z方向上，G_x，G_y，G_z分别表示G作用到三维信号x，y，z方向上。

S13：将获取的人脸3D特征信息与人脸3D特征身份信息库中的人脸3D特征信息进行匹配。

请参阅图3，图3是图1中步骤S13的流程示意图。步骤S13具体包括：

S131：计算获取的人脸3D特征信息与人脸3D特征身份信息库中的人脸3D特征信息的匹配度，以获取最高匹配度。

S132：将最高匹配度与预设的匹配度阈值比较，若最高匹配度达到预设的匹配度阈值的范围，则判断匹配成功。

其中，在初次使用本发明的方法时，在上述步骤S12之前还包括预先设定匹配度阈值的范围的步骤，该步骤可以在步骤S11之前或者之后，也可以与步骤S11同时进行。

其中，人脸识别的算法可以有多种，举例而言：

在一个实施例中，通过寻找人脸图像分布的基本元素，即人脸图像样本集协方差矩阵的特征向量，因此近似地表征人脸图像，这些特征向量称为特征脸，特征脸反应了隐含在人脸样本集合内部的信息和人脸的结构关系，将眼睛、面颊、下颌的样本集协方差矩阵的特征相两为特征眼、特征颌和特征唇，同城特征子脸。特征子脸在相应的图像空间中生产子空间，称为子脸空间。计算出测试图像窗口在子脸空间的投影距离，若窗口图像满足阈值比较条件，则判断其为人脸。

该方法是先确定眼虹膜、鼻翼、嘴角等面像五官轮廓的大小、位置、距离等属性，然后再计算出它们的几何特征量，而这些特征量形成一描述该面像的特征向量。这种基于整体脸的识别，不仅保留了人脸各元素之间的拓扑关系，也保留了单个元素本身的信息。这种算法是利用人体面部各器官及特征部位的方法。如对应几何关系多数据形成识别参数与数据库中所有的原始参数进行比较、判断与确认。

在另一个实施例中，采用有限元分析方法进行识别。将物体用稀疏图形来描述，其顶点用局部能量谱的多尺度描述来标记，边则表示拓扑连接关系并用几何距离来标记，然后应用塑性图形匹配技术来寻找最近的已知图形。采用有限元分析方法，在识别阶段，未知人脸图像与已知人脸模板之间的相似性度量由下式给出：

式中：C_iX_i分别为待识别人脸的特征和人脸库中人脸的特征，i₁，i₂，j₁，j₂，k₁，k₂为3D网格顶点特征。式中的第一项是机选两个矢量场中对应的局部特征X_j和C_i的相似程度，第二项则是计算局部位置关系和匹配次序，由此可见，最佳匹配也就是最小能量函数时的匹配。

将人脸图像建模为可变形的3D网格表面(x，y，I(x，y))，从而将人脸匹配问题转化为可变形曲面的弹性匹配问题。利用有限元分析的方法进行曲面变形，并根据变形的情况判断两张图片是否为同一个人。这种方法的特点在于将空间(x，y)和灰度I(x，y)放在了一个3D空间中同时考虑。

在又一个实施例中，采用小波变换纹理分析方法，在识别阶段，将未知人脸图像小波变换后，取其低频低分辨率子图映射到人脸空间，将得到特征系数，可以使用欧式距离比较待分类特征系数与每个人的特征系数之间的距离，结合PCA算法，根据公式：

式中，K为与未知人脸最匹配的人，N为数据库人数，Y为未知人脸映射到由特征脸形成的子空间上得到的m维向量，Y_k为数据库中已知人脸映射到由特征脸形成的子空间上得到的m维向量。

在另外一些实施例中，利用小波对3D人脸轮廓线进行滤波，以实现人脸3D特征提取，得到表征该人脸模型的特征数据，将该特征数据通过分类器与样本数据库中已有的模型进行匹配，计算匹配程度。其中，

x_i∈{3D人脸数据库中已经训练好并得出的支持向量}，

y_i为x_i所对应的分类取值，b是分类阈值，x为待识别的三维人脸特征数据。

根据匹配计算可得出待识别三维人脸特征数据x对每一个分类器所分类别的归属，遍历所有的SVM分类器并进行投票，最后将x判定为属于某个分类得到票数最多的类别。

此外，还可以采用是基于二维小波特征的3D人脸识别方法进行识别，首先需要进行二维小波特征提取，二维小波基函数g(x，y)定义为

g_mn(x，y)＝a^-mng(x′，y′)，a＞1，m，n∈Z

其中，σ为高斯窗口的大小，一个自相似的滤波器函数可通过函数g_mn(x，y)对g(x，y)进行适当膨胀和旋转得到。基于以上函数，对图像I(x，y)的小波特征可以定义为

人脸图像二维小波提取算法的实现步骤如下：

(1)通过小波分析获取关于人脸的小波表征，使原图像I(x，y)中的相应特征转化为小波特征向量F(F∈R^m)。

(2)采用小指数多项式(FPP)模型k(x，v)＝(x·v)^d(0＜d＜1)使m维小波特征空间R^m投影到更高n维空间Rⁿ中。

(3)基于核线性判决分析算法(KFDA)，在Rⁿ空间中建立类间矩阵S_h和类内矩阵S_w。

计算S_w的标准正交特征向量α₁，α₂，...，α_n。

(4)提取人脸图像显著判别特征向量。另P1＝(α₁，α₂，...，α_q)，其中，α₁，α₂，...，α_q是S_w对应的q个特征值为正的特征向量，q＝rank(S_w)。计算对应于L个最大特征值的特征向量β₁，β₂，...，β_L，(L≤c-1)，其中，c是人脸分类的数量。显著判别特征向量，f_regular＝B^TP₁ ^Ty其中，y∈Rⁿ；B＝(β₁，β₂，…，β_l)。

(5)提取人脸图像不显著的判别特征向量。计算对应于一个最大特征值的特征向量γ₁，γ₂，…，γ_L，(L≤c-1)。令P₂＝(α_q+1，α_q+2…α_m)，则不显著的判别特征向量

在3D人脸识别阶段包括的步骤如下：

(1)对正面人脸进行检测，定位一张正面人脸和一张人脸图像中关键的人脸特征点，比如人脸的轮廓特征点、左眼和右眼、嘴和鼻等。

(2)通过上述提取的二维Gabor特征向量和一个常用的3D人脸数据库重建三维人脸模型。为了重建一个三维人脸模型，使用ORL(Olivetti Research Laboratory)单人脸三维人脸数据库，包括检测到的100张人脸图像。数据库中每个人脸模型都有将近70000个顶点。确定一个特征转换矩阵P，在原有三维人脸识别方法中，该矩阵通常是由子空间分析方法得到的子空间分析投影矩阵，由样本的协方差矩阵对应于前m个最大特征值的特征向量组成。将提取出的小波判别特征向量对应于m个最大特征值的特征向量，组成主特征转换矩阵P’，该特征转换矩阵比原有特征矩阵P对光照、姿态和表情等因素具有更强的鲁棒性，即代表的特征更准确且稳定。

(3)对新生成的人脸模型采用模板匹配及线性判别分析(FLDA)方法进行处理，提取模型的类内差异和类间差异，进一步优化最后的识别结果。

当然，在其它一些实施例中，还可以通过其它方法进行识别，若识别结果为匹配成功，则进入步骤S14。

S14：获取待测人脸RGBD图对应的身份信息。

匹配成功之后，人脸3D特征身份信息库中最高匹配度的个人的身份信息即该待测人的身份信息。

本发明的3D人脸识别方法可以在手机、门禁、安防、游戏账户、登录、支付等等各种安全级别的人脸识别进行身份认证等的应用。在获得待测人的身份信息之后，可以判断待测人的权限，例如，应用在手机开机上时，根据待测人的身份信息可知是机主本人，则可以开机。应用在支付***上时，可知该待测人是用户本人，因而可以进行支付。

区别于现有技术，本发明通过获取人脸RGBD图来获取人脸3D特征信息，并将该人脸3D特征信息与人脸3D特征身份信息库内保存的人脸3D特征信息进行匹配，从而进行人脸识别，由于进行匹配的是人脸3D信息，包括颜色信息和深度信息，从而使得人脸信息更加全面，识别更加精确，并且，由于该3D信息图库中的人脸信息是3D信息，因此人脸的姿态、表情、光照以及脸部化妆等非几何外观变化以及人脸胖瘦等情况的变化均不会对人脸识别进行影响。

请参阅图4，图4是本发明实施例提供的又一种3D人脸识别方法的流程示意图。

S21：获取待测人脸RGBD图和RGB图。

S22：通过人脸RGBD图获取人脸3D特征信息，通过人脸RGB图获取人脸2D特征信息。

S23：将获取的人脸3D特征信息与人脸3D特征身份信息库中的人脸3D特征信息进行匹配，将获取的人脸2D特征信息与人脸3D特征身份信息库中的人脸2D特征信息进行匹配。若3D特征信息和2D特征信息均匹配成功时，进入步骤S24。

S24：获取待测人脸RGBD图和RGB图对应的身份信息。

本实施例与上述实施例的区别在于，在采集人脸RGBD图集的同时也采集人脸RGB图集，从而不仅能建立人脸骨架，还得获取人脸纹理信息、肤色信息等，结合3D人脸识别和2D人脸识别技术，采用加权平均，如A*g(2D)+B*h(3D)＝C*f(RGBD)来进行人脸识别，从而达到更加精确的识别效果。

具体地，本实施例可以应用于以下情况，例如，需要获取某一被识别人的个人属性的身份信息和群体属性的身份信息时，如果获取的人脸3D特征信息仅能识别出该被识别人的群体属性的身份信息，而无法识别到被识别人的个人属性的身份信息，此时需要结合人脸2D特征信息，通过人脸2D特征信息和人脸3D特征信息对人脸骨架、人脸肤色和纹理信息等进行识别，以得出被识别人的个人属性的身份信息。

请参阅图5，图5是本发明实施例提供的一种3D人脸识别设备的结构示意图。

本实施例的3D人脸识别设备包括第一图像获取模块10、第一特征信息获取模块11、3D信息匹配模块12和身份信息获取模块13。

具体地，第一图像获取模块10用于获取待测人脸RGBD图。

第一特征信息获取模块11与第一图像获取模块10连接，用于通过人脸RGBD图获取人脸3D特征信息。

3D信息匹配模块12与第一信息获取模块11连接，用于将获取的人脸3D特征信息与人脸3D特征身份信息库中的人脸3D特征信息进行匹配。

身份信息获取模块13与3D信息匹配模块12连接，用于在匹配成功时，获取待测人脸RGBD图对应的身份信息。

请参阅图6，图6是本发明实施例提供的另一种3D人脸识别设备的结构示意图。

本实施例的3D人脸识别设备包括第一图像获取模块20、第一特征信息获取模块21、3D信息匹配模块22、身份信息获取模块23和预设模块24。

第一图像获取模块20用于获取待测人脸RGBD图。

第一特征信息获取模块21与图像获取模块20连接，用于通过人脸RGBD图获取人脸3D特征信息。

具体而言，第一特征信息获取模块21包括采集模块211、网格建立模块212、第一计算模块213和分析模块214。

采集模块211与第一图像获取模块20连接，用于通过人脸RGBD图采集人脸的特征点。

网格建立模块212与采集模块211连接，用于根据特征点建立人脸彩色3D网格。

第一计算模块213与网格建立模块212连接，用于根据人脸彩色3D网格度量特征点的特征值并计算特征点之间的连接关系。

分析模块214与第一计算模块213连接，用于对特征值和连接关系进行分析以获取特征点的人脸3D特征信息。

3D信息匹配模块22与第一特征信息获取模块21连接，用于将获取的人脸3D特征信息与人脸3D特征身份信息库中的人脸3D特征信息进行匹配。

3D信息匹配模块22包括第二计算模块221和比较模块222。

第二计算模块221与第一特征信息获取模块21连接，用于计算获取的人脸3D特征信息与人脸3D特征身份信息库中的人脸3D特征信息的匹配度，以获取最高匹配度。

比较模块222与第二计算模块221连接，用于将最高匹配度与预设的匹配度阈值比较，若最高匹配度达到预设的匹配度阈值的范围，则判断匹配成功。

预设模块24与比较模块222连接，用于预先设定匹配度阈值的范围。

身份信息获取模块23与3D信息匹配模块22连接，用于在匹配成功时，获取人脸3D特征身份信息库中具有最高匹配度的个人的身份信息作为待测人的身份信息。

请参阅图7，图7是本发明实施例提供的又一种3D人脸识别设备的结构示意图。

本实施例的3D人脸识别设备包括第一图像获取模块30、第一特征信息获取模块31、3D信息匹配模块32和身份信息获取模块33以及第二图像获取模块34、第二特征信息获取模块35和2D信息匹配模块36。

具体地，第一图像获取模块10用于获取待测人脸RGBD图。第二图像获取模块34用于获取待测人脸RGB图。

第一特征信息获取模块11与第一图像获取模块10连接，用于通过人脸RGBD图获取人脸3D特征信息。第二特征信息获取模块35与第二图像获取模块34连接，用于通过人脸RGB图获取人脸2D特征信息。

3D信息匹配模块12与第一信息获取模块11连接，用于将获取的人脸3D特征信息与人脸3D特征身份信息库中的人脸3D特征信息进行匹配。2D信息匹配模块36与第二特征信息获取模块35连接，将获取的人脸2D特征信息与人脸3D特征身份信息库中的人脸2D特征信息进行匹配。

身份信息获取模块13与3D信息匹配模块12以及2D信息匹配模块36连接，用于在述3D特征信息和2D特征信息均匹配成功时，获取待测人脸RGBD图和RGB图对应的身份信息。

请参阅图8，图8是本发明实施例提供的一种3D人脸识别设备的实体装置的结构示意图。本实施方式的装置可以执行上述方法中的步骤，相关内容请参见上述方法中的详细说明，在此不再赘述。

该智能电子设备包括处理器41、与处理器41耦合的存储器42。

存储器42用于存储操作***、设置的程序人脸3D特征身份信息库。

处理器41用于获取待测人脸RGBD图；通过人脸RGBD图获取人脸3D特征信息；将获取的人脸3D特征信息与人脸3D特征身份信息库中的人脸3D特征信息进行匹配；若匹配成功，则获取所述人脸RGBD图对应的身份信息。

处理器41还用于通过人脸RGBD图采集人脸的特征点；根据特征点建立人脸彩色3D网格；根据人脸彩色3D网格度量特征点的特征值并计算特征点之间的连接关系；对特征值和连接关系进行分析以获取特征点的人脸3D特征信息。

处理器41还用于计算获取的人脸3D特征信息与人脸3D特征身份信息库中的人脸3D特征的匹配度，以获取最高匹配度；将最高匹配度与预设的匹配度阈值比较，若最高匹配度达到预设的匹配度阈值的范围，则判断匹配成功；并获取人脸3D特征身份信息库中具有最高匹配度的个人的身份信息作为待测人的身份信息。

处理器41还用于预先设定所述匹配度阈值的范围。

处理器41还用于获取人脸RGB图；通过人脸RGB图获取人脸2D特征信息；将获取的人脸2D特征信息与人脸3D特征身份信息库中的人脸2D特征信息进行匹配；当3D特征信息和2D特征信息均匹配成功时，获取待测人脸RGBD图和RGB图对应的身份信息。

在本发明所提供的几个实施方式中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本发明各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

综上所述，本发明使得人脸识别更加精确，并且，人脸的姿态、表情、光照以及脸部化妆等非几何外观变化以及人脸胖瘦等情况的变化均不会对本发明的人脸识别构成影响。

以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种3D人脸识别方法，其特征在于，包括以下步骤：

获取待测人脸RGBD图；

通过所述人脸RGBD图获取人脸3D特征信息；

将获取的所述人脸3D特征信息与人脸3D特征身份信息库中的人脸3D特征信息进行匹配；

若匹配成功，则获取所述待测人脸RGBD图对应的身份信息。

2.根据权利要求1所述的方法，其特征在于，所述通过所述人脸RGBD图获取人脸3D特征信息的步骤包括：

通过所述人脸RGBD图采集人脸的特征点；

根据所述特征点建立人脸彩色3D网格；

根据所述人脸彩色3D网格度量所述特征点的特征值并计算所述特征点之间的连接关系；

对所述特征值和所述连接关系进行分析以获取所述特征点的人脸3D特征信息。

3.根据权利要求2所述的方法，其特征在于，所述将获取的所述人脸3D特征信息与人脸3D特征身份信息库中的人脸3D特征信息进行匹配的步骤包括：

计算获取的所述人脸3D特征信息与人脸3D特征身份信息库中的人脸3D特征信息的匹配度，以获取最高匹配度；

将所述最高匹配度与预设的匹配度阈值比较，若所述最高匹配度达到所述预设的匹配度阈值的范围，则判断匹配成功；

所述获取所述待测人脸RGBD图对应的身份信息的步骤中，所述人脸3D特征身份信息库中具有最高匹配度的个人的身份信息则为待测人的身份信息。

4.根据权利要求3所述的方法，其特征在于，所述通过所述人脸RGBD图获取人脸3D特征信息的步骤之前，还包括：

预先设定所述匹配度阈值的范围。

5.根据权利要求1所述的方法，其特征在于，在获取待测人脸RGBD图的步骤中，还包括：获取人脸RGB图；

通过所述人脸RGBD图获取人脸3D特征信息的步骤中，还包括：通过所述人脸RGB图获取人脸2D特征信息；

将获取的所述人脸3D特征信息与人脸3D特征身份信息库中的人脸3D特征信息进行匹配的步骤中，还包括：将获取的所述人脸2D特征信息与人脸3D特征身份信息库中的人脸2D特征信息进行匹配；

若匹配成功，则获取所述待测人脸RGBD图对应的身份信息的步骤为：若所述3D特征信息和所述2D特征信息均匹配成功，则获取所述待测人脸RGBD图和RGB图对应的身份信息。

6.一种3D人脸识别设备，其特征在于，包括：

第一图像获取模块，用于获取待测人脸RGBD图；

第一特征信息获取模块，与所述第一图像获取模块连接，用于通过所述人脸RGBD图获取人脸3D特征信息；

3D信息匹配模块，与所述第一信息获取模块连接，用于将获取的所述人脸3D特征信息与人脸3D特征身份信息库中的人脸3D特征信息进行匹配；

身份信息获取模块，与所述3D信息匹配模块连接，用于在匹配成功时，获取所述待测人脸RGBD图对应的身份信息。

7.根据权利要求6所述的设备，其特征在于，所述第一特征信息获取模块包括：

采集模块，与所述第一图像获取模块连接，用于通过所述人脸RGBD图采集人脸的特征点；

网格建立模块，与所述采集模块连接，用于根据所述特征点建立人脸彩色3D网格；

第一计算模块，与所述网格建立模块连接，用于根据所述人脸彩色3D网格度量所述特征点的特征值并计算所述特征点之间的连接关系；

分析模块，与所述第一计算模块连接，用于对所述特征值和所述连接关系进行分析以获取所述特征点的人脸3D特征信息。

8.根据权利要求7所述的设备，其特征在于，所述3D信息匹配模块包括：

第二计算模块，与所述第一特征信息获取模块连接，用于计算获取的所述人脸3D特征信息与人脸3D特征身份信息库中的人脸3D特征信息的匹配度，以获取最高匹配度；

比较模块，与所述第二计算模块连接，用于将所述最高匹配度与预设的匹配度阈值比较，若所述最高匹配度达到所述预设的匹配度阈值的范围，则判断匹配成功；

所述身份信息获取模块则获取所述人脸3D特征身份信息库中具有最高匹配度的个人的身份信息作为待测人的身份信息。

9.根据权利要求8所述的设备，其特征在于，所述设备还包括预设模块，所述预设模块与所述比较模块连接，用于预先设定所述匹配度阈值的范围。

10.根据权利要求6所述的设备，其特征在于，所述设备还包括：

第二图像获取模块，用于获取待测人脸RGB图；

第二特征信息获取模块，与所述第二图像获取模块连接，用于通过所述人脸RGB图获取人脸2D特征信息；

2D信息匹配模块，与所述第二特征信息获取模块连接，将获取的所述人脸2D特征信息与人脸3D特征身份信息库中的人脸2D特征信息进行匹配；

所述身份信息获取模块还与所述2D信息匹配模块连接，所述身份信息获取模块用于在述3D特征信息和所述2D特征信息均匹配成功时，获取所述待测人脸RGBD图和RGB图对应的身份信息。