CN106469465A - 一种基于灰度和深度信息的三维人脸重建方法 - Google Patents

Abstract

本发明中提出的一种基于灰度和深度信息的三维人脸重建方法，其主要内容包括：对人脸灰度信息进行识别；对人脸深度信息进行识别；多模态人脸识别；通过3D模型进行匹配；对人脸进行3D重建。其过程为，对人脸数据进行特征区域定位，利用特征点进行配准和特征提取。利用Adaboost算法选出对于分类最为有效的特征。然后利用最近邻分类器计算出匹配分数实现多模态人脸识别。最后通过匹配局部3D模型，完成人脸重建。本发明通过融合策略，有效提升了人脸识别***的性能和效率。采用3D级联回归，选择致密的3D点集，脸部被完全标记，避免标志位置变化，解决了动作变化定位点不一致和自封闭的问题，计算花费减小。通用性强，实时效果好。

Description

一种基于灰度和深度信息的三维人脸重建方法

技术领域

本发明涉及人脸识别技术领域，尤其是涉及一种基于灰度和深度信息的三维人脸重建方法。

背景技术

3D人脸网格重建方法，可以用于罪犯监控，在不需要罪犯指纹或者身份信息的情况下进行人脸重构，还可以用于三维打印，另外还可以用于三维人脸建模、动画制作等领域中，对各领域的影响重大。三维人脸识别相对于二维人脸识别，有着其对光照鲁棒、受姿态以及表情等因素影响较小等优点，因此在三维数据采集技术飞速发展以及三维数据的质量和精度大大提升之后，很多学者都将他们的研究投入到该领域中。

人脸灰度图像容易受到光照变化的影响，而人脸深度图像容易受到数据采集精度以及表情变化等影响，这些因素在一定程度上影响了人脸识别***的稳定性及准确性。因此多模态融合***越来越受到人们的关注。多模态***通过进行多模态数据的采集，可以利用每个模态数据的优点，并通过融合策略来克服单模态***的某些内在弱点(如灰度图像的光照，深度图像的表情)，有效地提升了人脸识别***的性能。

本发明通过融合灰度和深度信息获得多模态***通过进行二维灰度信息和三维深度信息的采集，利用采集信息点通过匹配局部3D模型重建脸部形状。通过融合策略来克服单模态***的某些内在弱点(如灰度图像的光照，深度图像的表情)，有效地提升了人脸识别***的性能，使得人脸识别更加准确快捷。采用3D级联回归，动作变化中面中标志保持一致，通过选择致密的3D点集，脸部被完全标记，避免标志的位置发生变化，解决了动作变化定位点不一致和自封闭的问题；计算花费大大减小。3D网格不含背景，通用性强，而且实时效果好。

发明内容

针对人脸灰度图像容易受到光照变化的影响，而人脸深度图像容易受到数据采集精度以及表情变化等影响的问题，本发明的目的在于提供一种基于灰度和深度信息的三维人脸重建方法，通过融合灰度和深度信息获得多模态***，通过进行二维灰度信息和三维深度信息的采集，利用采集信息点通过匹配局部3D模型重建脸部形状。

为解决上述问题，本发明提供一种基于灰度和深度信息的三维人脸重建方法，其主要内容包括：

(一)对人脸灰度信息进行识别；

(二)对人脸深度信息进行识别；

(三)多模态人脸识别

(四)通过3D模型进行匹配；

(五)对人脸进行3D重建；

其中，所述的对人脸灰度信息进行识别，包括如下步骤：

(1)特征区域定位，使用人眼检测器获取人眼区域，所述的人眼检测器为层级分类器H，经如下算法得到：

给定训练样本集合S＝{(x₁,y₁),…,(x_m,y_m)}，弱空间分类器其中x_i∈χ为样本向量，y_i＝±1为分类标签，m为样本总数，初始化样本概率分布

对t＝1,…,T中的每个弱分类器作如下操作：

对样本空间χ进行划分，得到X₁,X₂,…,X_n；

其中ε为一小正常数；

计算归一化因子，

在弱分类器空间中选择一个，使得Z最小化

更新训练样本概率分布

其中Z_t为归一化因子，使得D_t+1为一个概率分布；

最终强分类器H为

(2)使用获得的人眼区域位置进行配准，利用LBP算法处理人眼位置数据获得LBP直方

图特征，取值公式为

将该特征输入灰度图像分类器获取灰度匹配分数。

其中，所述的对人脸深度信息进行识别，包括如下步骤：

(1)特征区域定位，判定人脸鼻尖区域位置；

(2)对于不同姿态的三维数据，得到配准的参考区域后，按照ICP算法进行数据的配准，配准完成后计算输入数据与注册库中的三维人脸模型数据之间的欧式距离；

(3)按照深度信息进行深度图像的获取，利用滤波器对于映射后的深度图像中的噪音点进行补偿去噪，最后对表情鲁棒区域进行选择，得到最终的三维人脸深度图像；

(4)提取三维深度图像的视觉词典直方图特征向量，当测试人脸图像输入后，经过Gabor滤波后，将任一滤波向量都与其所在位置相对应的视觉分词典中的所有基元词汇比较，通过距离匹配的方式，把它映射到与之距离最为接近的基元上，提取出原始深度图像的视觉词典直方图特征，利用该特征输入深度图像分类器获取匹配分数。

其中，所述的多模态人脸识别，包括多模态融合***包括多个数据源：如二维灰度图像，三维深度图像；

(1)对于二维灰度图像，首先进行特征点检测(人眼)，然后利用获得的特征点位置进行配准，在灰度图像配准后，利用LBP算法对该数据获取LBP直方图特征；

(2)对于三维深度数据，首先进行特征点检测(鼻尖)并利用获取的特征点进行配准，然后将配准后的三维空间数据映射为人脸深度图像，利用视觉词典算法对该数据获取视觉词典直方图特征；

进一步地，该多模态***利用特征层融合策略，因此在获取各数据源特征后，将所有特征拼接在一起形成特征池，特征池中的每一个特征构建一个弱分类器，然后利用Adaboost算法，在特征池中挑选出对于分类最为有效的特征，最后基于多模态特征层融合得到的特征，利用最近邻分类器计算出匹配分数，以此实现多模态人脸识别。

其中，所述的通过3D模型进行匹配，包括如下步骤：

(1)迭代算法细化对应关系

之前的二维灰度信息和三维深度信息的采集，从二维形状重建三维形状，需要使重构误差最小化

这里的P代表了矩阵在二维的投影，z是目标的二维形状，迭代方法在2D特征点上注册3D模型，建立了刚性(p＝{s，α，β，γ，t})和非刚性(r和s)的转换；

顶点数量的增加对重建错误率的降低效果微弱，而且顶点数量增加影响回归模型和匹配速度，顶点数量取较低值；迭代算法次数的增加对重建错误率的降低效果显著，对模型尺寸的影响不大，所以迭代算法次数取较大值；

(2)通过矩阵进行矫正

假定在2D和3D特征点之间有语义对应，采用矩阵的形式来选择正确的3D对应2D的特征点，这里的语义对应在建模阶段已经建立，3D标志的二维投影标志通过级联回归获得；

(3)约束可见标志

通过约束可见标志的过程，级联回归评估了标志的清晰度

ξ＝{j|v_j＝1}表明标志指标的子集是可见的；

(4)二维测量

进入时间同步的二维测量(z(1)，...，z(C))，所有的C测量代表相同的三维人脸，但是从不同的角度，通过对所有测量的重建的限制，将上式进行扩展：

上标(k)代表k^th次测量，能见度设置为ξ(k)，因为我们观察的是相同的人脸但是是从不同角度，整体刚性(r)和部分非刚性(s)的测量方法都相同；

(5)确定刚性、非刚性参数

假定人脸的刚性结构变化很小(参数r)，只有表情会有变化(参数s)，为了解决这种情况，在时间域中进行解决

1)计算刚性变型参数：

т＝{z^(t)|t＝1,…,T}代表时间测量的设置，rт代表从т计算出的刚性变型参数，这一步里的非刚性参数设置为0；

2)在任意时间帧计算刚性变型参数t∈[1,…,T]，

其中，所述的对人脸进行3D重建，包括在一个参数向量中

q:p(q)∝N(q；0,∧)

参数的优先原则遵循一个平均值为0、方差为Λ的正态分布，使用主成份分析法确定3维基向量的d部分，则：

分别对刚性和非刚性这两部分进行建模，

其中3维基向量的d部分(θ＝[θ₁；...；θ_M]∈R^3M×d)描述刚性变形，3维基向量的e部分(ψ＝[ψ₁；...；ψ_M]∈R3^M×d)描述了非刚性变形。

进一步的，所述的特征区域定位，包括如下步骤：

(1)确定阈值，确定域平均负有效能量密度的阈值，定义为thr；

(2)利用深度信息选取待处理数据，利用数据的深度信息，提取在一定深度范围内的人脸数据作为待处理数据；

(3)法向量的计算，计算由深度信息选取出的人脸数据的方向量信息；

(4)区域平均负有效能量密度的计算，按照区域平均负有效能量密度的定义，求出待处理数据中个连通域的平均负有效能量密度，选择其中密度值最大的连通域；

(5)判定是否找到鼻尖区域，当前区域阈值大于预定义的thr时，该区域即为鼻尖区域，否则回到步骤(1)重新开始循环。

进一步地，所述的ICP算法，主要步骤如下：

(1)确定匹配数据集合对，从参考模板中的三维鼻尖数据选取参考点数据点集P；

(2)利用点对点之间的最近的距离来选择输入三维人脸中与参考数据相匹配的数据点集Q；

(3)计算刚性运动参数，计算旋转矩阵R和平移向量t；当X行列式值为1时，R＝X；t＝P-R*Q；

(4)根据刚性变换后的数据集RQ+t和参考数据集P之间的误差判断三维数据集是否配准，配准之后通过输入数据与注册库中的三维人脸模型数据之间的欧式距离

其中P，Q分别是待匹配的特征点集合，集合中含有N个特征点。

进一步地，所述的提取三维深度图像的视觉词典直方图特征向量，包括如下步骤：

1)将三维人脸深度图像分割成一些局部纹理区域；

2)对于每个GaBor滤波响应向量，按照位置的不同将其映射到其对应的视觉分词典的词汇中，并依此为基础建立视觉词典直方图向量作为三维人脸的特诊表达；

3)将灰度图像的LBP直方图特征和深度图像的视觉词典直方图特征拼接起来构成特征池，利用特征选取算法，如Adaboost，从已经获取的特征池中选取其中对于人脸识别最为有效地特征组合，实现特征层的数据融合；

4)获取人脸特征后，将最近邻分类器用来作为最后的人脸识别，其中L1距离被选作为距离度量。

进一步地，所述的刚性部分，是从每个视频中选择中间帧，应用主成份分析法确定基向量(θ)和平均值提供了一个整体的线性子空间，描述了人脸形状的变化。

进一步地，建立描述非刚性变形(ψ)的线性子空间目标是建立一个模型，由自主训练并共享软边界的PCA模型集合组成，建立基于部分的模型，使顶点高度相关，形成密集的区域，由于这些区域将更好通过PCA压缩，为了找到面部表情数据驱动分割，使用了数据集中选出的6000帧，数据集D∈R6000×3072由6000帧和1024三维顶点组成；把D分为三个子集Dx，Dy，Dz∈R6000×1024每个包含顶点对应的空间坐标，描述顶点之间的相关测量，通过Dx，Dy，Dz计算相关矩阵归一化，然后平均成一个相关矩阵C；相同区域的顶点也应该在人脸表面互相接近，因此，我们利用计算了模型顶点间距离形成距离矩阵G归一化到[0，1]范围，这两个矩阵整合成一个矩阵。

附图说明

图1是本发明一种基于灰度和深度信息的三维人脸重建方法的***流程图。

图2是本发明一种基于灰度和深度信息的三维人脸重建方法的二维人脸人眼检测示意图。

图3是本发明一种基于灰度和深度信息的三维人脸重建方法的二维人脸LBP特征示意图。

图4是本发明一种基于灰度和深度信息的三维人脸重建方法的二维人脸灰度表象特征提取示意图。

图5是本发明一种基于灰度和深度信息的三维人脸重建方法的三维人脸鼻尖定位示意图。

图6是本发明一种基于灰度和深度信息的三维人脸重建方法的三维人脸空间映射示意图。

图7是本发明一种基于灰度和深度信息的三维人脸重建方法的三维人脸深度表象特征提取示意图。

图8是本发明一种基于灰度和深度信息的三维人脸重建方法的多模态人脸识别的流程框图。

图9是本发明一种基于灰度和深度信息的三维人脸重建方法的多模态人脸识别的***框图。

图10是本发明一种基于灰度和深度信息的三维人脸重建方法的通过3D模型进行匹配流程图。

图11是本发明一种基于灰度和深度信息的三维人脸重建方法的迭代次数和定点数量对重建错误率的关系曲线图。

图12是本发明一种基于灰度和深度信息的三维人脸重建方法的对人脸进行3D重建流程图。

图13是本发明一种基于灰度和深度信息的三维人脸重建方法的人脸重构图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。

图1是本发明一种基于灰度和深度信息的三维人脸重建方法的***流程图，包括对人脸灰度信息进行识别；对人脸深度信息进行识别；多模态人脸识别；通过3D模型进行匹配；对人脸进行3D重建。

图2是本发明一种基于灰度和深度信息的三维人脸重建方法的二维人脸人眼检测示意图。如图2所示，通过人眼检测器获取人眼区域，该人眼检测器为层级分类器，每一层都是一个强分类器(如Adaboost)，每一层都会滤过一部分非人眼区域，最后获得的图像区域就是人眼区域。Adaboost算法可总结如下：

给定训练样本集合S＝{(x₁,y₁),…,(x_m,y_m)}，弱空间分类器其中x_i∈χ为样本向量，y_i＝±1为分类标签，m为样本总数，初始化样本概率分布

对t＝1,…,T中的每个弱分类器作如下操作：

对样本空间χ进行划分，得到X₁,X₂,…,X_n；

其中ε为一小正常数；

计算归一化因子，

在弱分类器空间中选择一个，使得Z最小化

更新训练样本概率分布

其中Z_t为归一化因子，使得D_t+1为一个概率分布；

最终强分类器H为

图3是本发明一种基于灰度和深度信息的三维人脸重建方法的二维人脸LBP特征示意图。如图3所示，使用获得的人眼区域位置进行配准，利用LBP算法处理人眼位置数据获得LBP直方图特征，取值公式为

图4是本发明二维人脸灰度表象特征提取示意图。如图4所示，输入二维人脸数据，先通过人眼检测提取关键点，然后根据人眼位置将该人脸图像通过刚性变换调整为正向直立姿态。将通过配准通过的灰度图提取出LBP直方图特征。将该特征输入灰度图像分类器获取灰度匹配分数。

图5是本发明一种基于灰度和深度信息的三维人脸重建方法的三维人脸鼻尖定位示意图。如图5所示，对于三维深度数据，首先进行人脸鼻尖区域的检测，具体通过如下步骤：

(1)确定阈值，确定域平均负有效能量密度的阈值，定义为thr；

(2)利用深度信息选取待处理数据，利用数据的深度信息，提取在一定深度范围内的人脸数据作为待处理数据；

(3)法向量的计算，计算由深度信息选取出的人脸数据的方向量信息；

(4)区域平均负有效能量密度的计算，按照区域平均负有效能量密度的定义，求出待处理数据中个连通域的平均负有效能量密度，选择其中密度值最大的连通域；

(5)判定是否找到鼻尖区域，当前区域阈值大于预定义的thr时，该区域即为鼻尖区域，否则回到步骤(1)重新开始循环。

图6是本发明一种基于灰度和深度信息的三维人脸重建方法的三维人脸空间映射示意图。如图6所示，利用获取的鼻尖区域进行配准，使用ICP算法进行数据的配准，步骤如下：

(1)确定匹配数据集合对，从参考模板中的三维鼻尖数据选取参考点数据点集P；

(2)利用点对点之间的最近的距离来选择输入三维人脸中与参考数据相匹配的数据点集Q；

(3)计算刚性运动参数，计算旋转矩阵R和平移向量t；当X行列式值为1时，R＝X；t＝P-R*Q；

(4)根据刚性变换后的数据集RQ+t和参考数据集P之间的误差判断三维数据集是否配准，配准之后通过输入数据与注册库中的三维人脸模型数据之间的欧式距离

其中P，Q分别是待匹配的特征点集合，集合中含有N个特征点。

图7是本发明一种基于灰度和深度信息的三维人脸重建方法的三维人脸深度表象特征提取示意图。如图7所示，当测试人脸图像输入后，经过Gabor滤波后，将任一滤波向量都与其所在位置相对应的视觉分词典中的所有基元词汇比较，通过距离匹配的方式，把它映射到与之距离最为接近的基元上，提取出原始深度图像的视觉词典直方图特征，流程如下：

1)将三维人脸深度图像分割成一些局部纹理区域；

2)对于每个GaBor滤波响应向量，按照位置的不同将其映射到其对应的视觉分词典的词汇中，并依此为基础建立视觉词典直方图向量作为三维人脸的特诊表达；

3)将灰度图像的LBP直方图特征和深度图像的视觉词典直方图特征拼接起来构成特征池，利用特征选取算法，如Adaboost，从已经获取的特征池中选取其中对于人脸识别最为有效地特征组合，实现特征层的数据融合；

4)获取人脸特征后，将最近邻分类器用来作为最后的人脸识别，其中L1距离被选作为距离度量。

图8是本发明一种基于灰度和深度信息的三维人脸重建方法的多模态人脸识别的流程框图。图9是本发明一种基于灰度和深度信息的三维人脸重建方法的多模态人脸识别的***框图。如图8、9所示，多模态融合***包括多个数据源：如二维灰度图像，三维深度图像；

(1)对于二维灰度图像，首先进行特征点检测(人眼)，然后利用获得的特征点位置进行配准，在灰度图像配准后，利用LBP算法对该数据获取LBP直方图特征；

(2)对于三维深度数据，首先进行特征点检测(鼻尖)并利用获取的特征点进行配准，然后将配准后的三维空间数据映射为人脸深度图像，利用视觉词典算法对该数据获取视觉词典直方图特征；

该多模态***利用特征层融合策略，因此在获取各数据源特征后，将所有特征拼接在一起形成特征池，特征池中的每一个特征构建一个弱分类器，然后利用Adaboost算法，在特征池中挑选出对于分类最为有效的特征，最后基于多模态特征层融合得到的特征，利用最近邻分类器计算出匹配分数，以此实现多模态人脸识别。

图10是本发明一种基于灰度和深度信息的三维人脸重建方法的通过3D模型进行匹配流程图，主要步骤为：

(1)迭代算法细化对应关系

之前的二维灰度信息和三维深度信息的采集，从二维形状重建三维形状，需要使重构误差最小化

这里的P代表了矩阵在二维的投影，z是目标的二维形状，迭代方法在2D特征点上注册3D模型，建立了刚性(p＝{s，α，β，γ，t})和非刚性(r和s)的转换；

(2)通过矩阵进行矫正

假定在2D和3D特征点之间有语义对应，采用矩阵的形式来选择正确的3D对应2D的特征点，这里的语义对应在建模阶段已经建立，3D标志的二维投影标志通过级联回归获得；

(3)约束可见标志

通过约束可见标志的过程，级联回归评估了标志的清晰度

ξ＝{j|v_j＝1}表明标志指标的子集是可见的；

(4)二维测量

进入时间同步的二维测量(z(1)，...，z(C))，所有的C测量代表相同的三维人脸，但是从不同的角度，通过对所有测量的重建的限制，将上式进行扩展：

上标(k)代表k^th次测量，能见度设置为ξ(k)，因为我们观察的是相同的人脸但是是从不同角度，整体刚性(r)和部分非刚性(s)的测量方法都相同；

(5)确定刚性、非刚性参数

假定人脸的刚性结构变化很小(参数r)，只有表情会有变化(参数s)，为了解决这种情况，在时间域中进行解决

1)计算刚性变型参数：

т＝{z^(t)|t＝1,…,T}代表时间测量的设置，rт代表从т计算出的刚性变型参数，这一步里的非刚性参数设置为0；

2)在任意时间帧计算刚性变型参数t∈[1,…,T]，

图11是本发明一种基于灰度和深度信息的三维人脸重建方法的迭代次数和定点数量对重建错误率的关系曲线图。可以看出，顶点数量的增加对重建错误率的降低效果微弱，而且顶点数量增加影响回归模型和匹配速度，顶点数量取较低值；迭代算法次数的增加对对重建错误率的降低效果显著，对模型尺寸的影响不大，所以迭代算法次数取较大值。使用单目照相机图像时，对应公式有多个解，避免产生3D幻觉，在这里同时使用多个图像帧。

图12是本发明一种基于灰度和深度信息的三维人脸重建方法的对人脸进行3D重建流程图。在一个参数向量中

q:p(q)∝N(q；0,∧)

参数的优先原则遵循一个平均值为0、方差为Λ的正态分布，使用主成份分析法确定3维基向量的d部分，则：

分别对刚性和非刚性这两部分进行建模，

其中3维基向量的d部分(θ＝[θ₁；...；θ_M]∈R^3M×d)描述刚性变形，3维基向量的e部分(ψ＝[ψ₁；...；ψ_M]∈R3^M×d)描述了非刚性变形。

进一步地，建立刚性部分，我们从每个视频中选择中间帧，应用主成份分析法确定基向量(θ)和平均值提供了一个整体的线性子空间，描述了人脸形状的变化；

进一步地，建立描述非刚性变形(ψ)的线性子空间目标是建立一个模型，由自主训练并共享软边界的PCA模型集合组成，建立基于部分的模型，使顶点高度相关，形成密集的区域，由于这些区域将更好通过PCA压缩，为了找到面部表情数据驱动分割，使用了数据集中选出的6000帧，数据集D∈R6000×3072由6000帧和1024三维顶点组成；把D分为三个子集Dx，Dy，Dz∈R6000×1024每个包含顶点对应的空间坐标，描述顶点之间的相关测量，通过Dx，Dy，Dz计算相关矩阵归一化，然后平均成一个相关矩阵C；相同区域的顶点也应该在人脸表面互相接近，因此，我们利用计算了模型顶点间距离形成距离矩阵G归一化到[0，1]范围，这两个矩阵整合成一个矩阵。

图13是本发明一种基于灰度和深度信息的三维人脸重建方法的人脸重构图。可以看出，采用多帧视频图像，获得3D网格顶点，3D点集将脸部完全覆盖，动作变化定位点保持一致，并且成功完成人脸重建。

对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

Claims (10)

1.一种基于灰度和深度信息的三维人脸重建方法，其特征在于，主要包括对人脸灰度信息进行识别(一)；对人脸深度信息进行识别(二)；多模态人脸识别(三)；通过3D模型进行匹配(四)；对人脸进行3D重建(五)。

2.基于权利要求书1所述的对人脸灰度信息进行识别(一)，其特征在于，包括如下步骤：

(1)特征区域定位，使用人眼检测器获取人眼区域，所述的人眼检测器为层级分类器H，经如下算法得到：

给定训练样本集合S＝{(x₁,y₁),…,(x_m,y_m)}，弱空间分类器其中x_i∈χ为样本向量，y_i＝±1为分类标签，m为样本总数，初始化样本概率分布

$D_1\left(i\right)=\frac{1}{m},i=1,...,m;$

对t＝1,…,T中的每个弱分类器作如下操作：

对样本空间χ进行划分，得到X₁,X₂,…,X_n；

$\∀x\∈X_i,h\left(x\right)=\frac{1}{2}\ln \left(\frac{W_{+1}^j+\mathrm{\ϵ}}{W_{-1}^j+\mathrm{\ϵ}}\right),j=1,...,n,$

其中ε为一小正常数；

计算归一化因子，

$Z=2\underset{j}{\Σ}\sqrt{W_{+1}^j{W}_{-1}^j}$

在弱分类器空间中选择一个，使得Z最小化

更新训练样本概率分布

$D_{i+1}\left(i\right)=D_i\left(i\right)\frac{\exp \[-y_i{h}_i\left(x_i\right)\]}{Z_t},i=1,...,m,$

其中Z_t为归一化因子，使得D_t+1为一个概率分布；

最终强分类器H为

$H\left(x\right)=sign\[\underset{t=1}{\overset{r}{\mathrm{\Σ}}}{h}_t\left(x\right)-b\]$

(2)使用获得的人眼区域位置进行配准，利用LBP算法处理人眼位置数据获得LBP直方图特征，取值公式为

${\mathrm{LBP}}_{PR}=\underset{P=0}{\overset{P-1}{\mathrm{\Σ}}}s(g_p-g_c)2^p$

将该特征输入灰度图像分类器获取灰度匹配分数。

3.基于权利要求书1所述的对人脸深度信息进行识别(二)，其特征在于，包括如下步骤：

(1)特征区域定位，判定人脸鼻尖区域位置；

(2)对于不同姿态的三维数据，得到配准的参考区域后，按照ICP算法进行数据的配准，配准完成后计算输入数据与注册库中的三维人脸模型数据之间的欧式距离；

(3)按照深度信息进行深度图像的获取，利用滤波器对于映射后的深度图像中的噪音点进行补偿去噪，最后对表情鲁棒区域进行选择，得到最终的三维人脸深度图像；

(4)提取三维深度图像的视觉词典直方图特征向量，当测试人脸图像输入后，经过Gabor滤波后，将任一滤波向量都与其所在位置相对应的视觉分词典中的所有基元词汇比较，通过距离匹配的方式，把它映射到与之距离最为接近的基元上，提取出原始深度图像的视觉词典直方图特征，利用该特征输入深度图像分类器获取匹配分数。

4.基于权利要求书3所述的特征区域定位(1)，其特征在于，包括如下步骤：

(1)确定阈值，确定域平均负有效能量密度的阈值，定义为thr；

(2)利用深度信息选取待处理数据，利用数据的深度信息，提取在一定深度范围内的人脸数据作为待处理数据；

(3)法向量的计算，计算由深度信息选取出的人脸数据的方向量信息；

(4)区域平均负有效能量密度的计算，按照区域平均负有效能量密度的定义，求出待处理数据中个连通域的平均负有效能量密度，选择其中密度值最大的连通域；

(5)判定是否找到鼻尖区域，当前区域阈值大于预定义的thr时，该区域即为鼻尖区域，否则回到步骤(1)重新开始循环。

5.基于权利要求书3所述的ICP算法，其特征在于，包括步骤如下：

(1)确定匹配数据集合对，从参考模板中的三维鼻尖数据选取参考点数据点集P；

(2)利用点对点之间的最近的距离来选择输入三维人脸中与参考数据相匹配的数据点集Q；

(3)计算刚性运动参数，计算旋转矩阵R和平移向量t；当X行列式值为1时，R＝X；t＝P-R*Q；

(4)根据刚性变换后的数据集RQ+t和参考数据集P之间的误差判断三维数据集是否配准，配准之后通过输入数据与注册库中的三维人脸模型数据之间的欧式距离

$D_{(P,Q)}=\underset{1}{\overset{N}{\Σ}}{(p_i-q_i)}^2/N$

其中P，Q分别是待匹配的特征点集合，集合中含有N个特征点。

6.基于权利要求书3所述的步骤(4)，其特征在于，包括如下步骤：

1)将三维人脸深度图像分割成一些局部纹理区域；

2)对于每个GaBor滤波响应向量，按照位置的不同将其映射到其对应的视觉分词典的词汇中，并依此为基础建立视觉词典直方图向量作为三维人脸的特诊表达；

3)将灰度图像的LBP直方图特征和深度图像的视觉词典直方图特征拼接起来构成特征池，利用特征选取算法，如Adaboost，从已经获取的特征池中选取其中对于人脸识别最为有效地特征组合，实现特征层的数据融合；

4)获取人脸特征后，将最近邻分类器用来作为最后的人脸识别，其中L1距离被选作为距离度量。

7.基于权利要求书1所述的多模态人脸识别(三)，其特征在于，包括多模态融合***包括多个数据源：如二维灰度图像，三维深度图像；

(1)对于二维灰度图像，首先进行特征点检测(人眼)，然后利用获得的特征点位置进行配准，在灰度图像配准后，利用LBP算法对该数据获取LBP直方图特征；

(2)对于三维深度数据，首先进行特征点检测(鼻尖)并利用获取的特征点进行配准，然后将配准后的三维空间数据映射为人脸深度图像，利用视觉词典算法对该数据获取视觉词典直方图特征；

该多模态***利用特征层融合策略，因此在获取各数据源特征后，将所有特征拼接在一起形成特征池，特征池中的每一个特征构建一个弱分类器，然后利用Adaboost算法，在特征池中挑选出对于分类最为有效的特征，最后基于多模态特征层融合得到的特征，利用最近邻分类器计算出匹配分数，以此实现多模态人脸识别。

8.基于权利要求书1所述的通过3D模型进行匹配(四)，其特征在于，包括如下步骤：

(1)迭代算法细化对应关系

之前的二维灰度信息和三维深度信息的采集，从二维形状重建三维形状，需要使重构误差最小化

$\underset{p,r,s}{\mathrm{argmin}}\underset{i=1}{\overset{M}{\Σ}}\left|\right|{\mathrm{Px}}_i(p,r,s)-z_i|{|}_2^2$

这里的P代表了矩阵在二维的投影，z是目标的二维形状，迭代方法在2D特征点上注册3D模型，建立了刚性(p＝{s，α，β，γ，t})和非刚性(r和s)的转换；

顶点数量的增加对重建错误率的降低效果微弱，而且顶点数量增加影响回归模型和匹配速度，顶点数量取较低值；迭代算法次数的增加对重建错误率的降低效果显著，对模型尺寸的影响不大，所以迭代算法次数取较大值；

(2)通过矩阵进行矫正

假定在2D和3D特征点之间有语义对应，采用矩阵的形式来选择正确的3D对应2D的特征点，这里的语义对应在建模阶段已经建立，3D标志的二维投影标志通过级联回归获得；

(3)约束可见标志

通过约束可见标志的过程，级联回归评估了标志的清晰度

$\underset{p,r,s}{\mathrm{argmin}}\underset{i\∈\mathrm{\ξ}}{\Σ}\left|\right|{\mathrm{Px}}_i(p,r,s)-z_i|{|}_2^2$

ζ＝{j|v_j＝1}表明标志指标的子集是可见的；

(4)二维测量

进入时间同步的二维测量(z(1)，...，z(C))，所有的C测量代表相同的三维人脸，但是从不同的角度，通过对所有测量的重建的限制，将上式进行扩展：

$\underset{p^{\left(1\right)},...,p^{\left(C\right)},}{\arg \min }\underset{k=1}{\overset{C}{\mathrm{\Σ}}}\underset{i\∈{\mathrm{\ξ}}^{\left(k\right)}}{\mathrm{\Σ}}\left|\right|{\mathrm{Px}}_i\left(p^{\left(k\right)},r,s\right)-{z_i}^{\left(k\right)}|{|}_2^2$

上标(k)代表k^th次测量，能见度设置为ξ(k)，因为我们观察的是相同的人脸但是是从不同角度，整体刚性(r)和部分非刚性(s)的测量方法都相同；

(5)确定刚性、非刚性参数

假定人脸的刚性结构变化很小(参数r)，只有表情会有变化(参数s)，为了解决这种情况，在时间域中进行解决

1)计算刚性变型参数：

$\arg \underset{r_T}{min}\underset{t\∈T}{\Σ}\underset{i\∈{\mathrm{\ξ}}^{\left(t\right)}}{\Σ}\left|\right|{\mathrm{Px}}_i(p^{\left(t\right)},r_T,0)-{z_i}^{\left(t\right)}|{|}_2^2$

т＝{z^(t)|t＝1,…,T}代表时间测量的设置，rт代表从т计算出的刚性变型参数，这一步里的非刚性参数设置为0；

2)在任意时间帧计算刚性变型参数t∈[1,…,T]，

$\underset{p^{\left(t\right)},s^{\left(t\right)}}{\mathrm{argmin}}{\mathrm{\Σ}}_{i\∈{\mathrm{\ξ}}^{\left(t\right)}}\left|\right|{\mathrm{Px}}_i(p^{\left(t\right)},r_T,s^{\left(t\right)})-{z_i}^{\left(t\right)}|{|}_2^2.$

9.基于权利要求书1所述的对人脸进行3D重建(五)，其特征在于，包括在一个参数向量中

q:p(q)∝N(q；0,∧)

参数的优先原则遵循一个平均值为0、方差为Λ的正态分布，使用主成份分析法确定3维基向量的d部分，则：

分别对刚性和非刚性这两部分进行建模，

$x_i=(p,r,s)=sR({\stackrel{\‾}{x}}_i+{\mathrm{\θ}}_{i}r+{\mathrm{\ψ}}_{i}s)+t,(i=1,...,M)$

其中3维基向量的d部分(θ＝[θ₁；...；θ_M]∈R^3M×d)描述刚性变形，3维基向量的e部分(ψ＝[ψ₁；...；ψ_M]∈R3^M×d)描述了非刚性变形。

10.基于权利要求书9所述的刚性部分，其特征在于，包括从每个视频中选择中间帧，应用主成份分析法确定基向量(θ)和平均值提供了一个整体的线性子空间，描述了人脸形状的变化；所述的非刚性变形，其特征在于，包括建立描述非刚性变形(ψ)的线性子空间目标是建立一个模型，由自主训练并共享软边界的PCA模型集合组成，建立基于部分的模型，使顶点高度相关，形成密集的区域，由于这些区域将更好通过PCA压缩，为了找到面部表情数据驱动分割，使用了数据集中选出的6000帧，数据集D∈R6000×3072由6000帧和1024三维顶点组成；把D分为三个子集Dx，Dy，Dz∈R6000×1024每个包含顶点对应的空间坐标，描述顶点之间的相关测量，通过Dx，Dy，Dz计算相关矩阵归一化，然后平均成一个相关矩阵C；相同区域的顶点也应该在人脸表面互相接近，因此，我们利用计算了模型顶点间距离形成距离矩阵G归一化到[0，1]范围，这两个矩阵整合成一个矩阵。