CN107330371A - 3d脸部模型的脸部表情的获取方法、装置和存储装置 - Google Patents

Abstract

本发明提供了一种3D脸部模型的脸部表情的获取方法、装置和存储装置，该方法包括：获取3D脸部模型；通过RGBD图像序列获取人脸特征点的运动轨迹；将所述人脸特征点的运动轨迹映射到所述3D脸部模型，以使所述3D脸部模型的人脸特征点的运动轨迹与获取的人脸特征点的运动轨迹相匹配。该装置包括处理器，该处理器执行上述方法。该存储装置存储有程序数据，所述程序数据能够被执行以实现上述方法。本发明获取的表情信息更加全面、准确，从而使得3D脸部模型能更加逼真地反应人脸的表情。

Description

3D脸部模型的脸部表情的获取方法、装置和存储装置

技术领域

本发明涉及图像处理技术领域，特别是涉及一种3D脸部模型的脸部表情的获取方法、装置和存储装置。

背景技术

RGBD图像由RGBD相机拍摄场景而获得，是指深度信息与彩色信息融合的图像，每个图像元素均具有相关联的颜色值和相关联的深度值，该深度值表示从图像传感器到场景中的物体表面的距离。

表情是情绪和情感的外部表现，按基本情绪模型可将表情分为六类：生气、厌恶、恐惧、高兴、悲伤、惊讶。人脸表情识别一直以来都具非常重要的研究意义，在人机交互、公共安全、智能影视等多个领域有着巨大的市场价值。

对现有技术的研究和实践过程中，本发明的发明人发现仅从RGB图像中获取的人脸表情信息并不能全面、准确地映射出人脸的真实表情。

发明内容

本发明提供一种3D脸部模型的脸部表情的获取方法、装置和存储装置，能够解决现有技术存在不能全面、准确映射人脸的真实表情的问题。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种3D脸部模型的脸部表情的获取方法，该方法包括以下步骤：获取3D脸部模型；通过RGBD图像序列获取人脸特征点的运动轨迹；将所述人脸特征点的运动轨迹映射到所述3D脸部模型，以使所述3D脸部模型的人脸特征点的运动轨迹与获取的人脸特征点的运动轨迹相匹配。

为解决上述技术问题，本发明采用的另一个技术方案是：提供一种3D脸部模型的脸部表情的获取装置。该装置包括处理器，所述处理器用于获取3D脸部模型；通过RGBD图像序列获取人脸特征点的运动轨迹；将所述人脸特征点的运动轨迹映射到所述3D脸部模型，以使所述3D脸部模型的人脸特征点的运动轨迹与获取的人脸特征点的运动轨迹相匹配。

为解决上述技术问题，本发明采用的又一个技术方案是：提供一种存储装置，该存储装置存储有程序数据，所述程序数据能够被执行以实现上述方法。

本发明的有益效果是：区别于现有技术的情况，本发明通过RGBD图像序列获取人脸特征点的运动轨迹并映射到3D脸部模型上，以使3D脸部模型的表情与获取的人脸表情匹配，从而实现了人脸表情的映射。由于RGBD图像具有像素信息和深度信息，因而该人脸特征点及其运动轨迹信息也能全面地从像素信息和深度信息上反映出来，使得获取的表情信息更加全面、准确，从而使得3D脸部模型能更加逼真地反应人脸的表情。

附图说明

图1是本发明提供的一种3D脸部模型的脸部表情的获取方法实施例的流程示意图；

图2是本发明提供的一种3D脸部模型的脸部表情的获取方法另一实施例的流程示意图；

图3是图2中步骤S21一实施例的流程示意图；

图4是图2中步骤S21另一实施例的流程示意图；

图5是图2中步骤S22实施例的流程示意图；

图6是图5中步骤S222实施例的流程示意图；

图7是图5中步骤S222另一实施例的流程示意图；

图8是图5中步骤S223实施例的流程示意图；

图9是本发明提供的一种3D脸部模型的脸部表情的获取方法一个应用场景的示意图；

图10是本发明提供的一种3D脸部模型的脸部表情的获取方法另一个应用场景的示意图；

图11是本发明提供的一种3D脸部模型的脸部表情的获取装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1，图1是本发明提供的一种3D脸部模型的脸部表情的获取方法实施例的流程示意图。图1所示的3D脸部模型的脸部表情的获取方法包括以下步骤：

S11、获取3D脸部模型。

具体地，该3D脸部模型可以是完整的头部的3D脸部模型，即3D头部模型，该3D脸部模型也可以是只有人脸部的3D脸部模型，其可以在一定的角度范围内显示，该3D脸部模型还可以是通过动画制作技术制作而成的3D人偶脸部模型。

3D脸部模型的获取可以是从预存在3D脸部模型数据库中调用，例如，在本方法实施之前，在3D脸部模型数据库中保存多种3D脸部模型以供选择。也可以是即时建立的3D脸部模型，例如本地使用RGBD相机进行三维建模以获得3D脸部模型等。

S12、通过RGBD图像序列获取人脸特征点的运动轨迹。

其中，人脸特征点可以通过采集人脸元素来获取，人脸元素包括眉毛、眼睛、鼻子、嘴巴、脸颊以及下巴等等中的一个或者多个。人脸的表情发生变化的时候，至少有一部分人脸特征点会发生变化，例如，笑的时候，嘴角上扬，嘴巴张开等。

人脸特征点的运动轨迹可以是预存的，可以是实时获取的。例如，可以预先将人脸特征点的运动轨迹与对应的表情存储在表情库中，在进行动画制作的时候可从该表情库中调用；而进行视频直播的时候，可以实时获取人脸特征点的运动轨迹，例如，可以采用RGBD拍摄设备通过实时拍摄人脸连续帧的RGBD图像序列来捕获人脸特征点的运动轨迹。

S13、将人脸特征点的运动轨迹映射到3D脸部模型，以使3D脸部模型的人脸特征点的运动轨迹与获取的人脸特征点的运动轨迹相匹配。

步骤S13中，将人脸特征点的运动轨迹映射到3D脸部模型上，使得3D脸部模型上的人脸特征点的运动轨迹与获取的人脸特征点的运动轨迹相匹配，从而使得该3D人脸模型的动态表情与获取的人脸的表情变化相匹配。

其中，该3D脸部模型可以预先标记好人脸特征点。例如，获取的人脸的表情为微笑，此时人脸的嘴角上扬，获取的人脸特征点的运动轨迹为嘴巴左右两边的嘴角分别朝左上、右上方运动。将该人脸特征点的运动轨迹映射到3D脸部模型上，即找到3D脸部模型上标记的人脸特征点，例如，嘴巴，具体为嘴角，并将获取的人脸特征点的运动轨迹映射到3D脸部模型上，即，使3D脸部模型的人脸的左右两边的嘴角分别朝左上、右上方运动，从而在3D脸部模型的人脸上映射出获取的人脸的微笑的表情。

此外，上述3D脸部模型以及表情的匹配关系也可以进行储存，例如，可以储存到终端存储器，或通过网络管道存储于云端，或存储于上位机软件的存储模块等，以便于后期进行调用。

区别于现有技术，本发明通过RGBD图像序列获取人脸特征点的运动轨迹并映射到3D脸部模型上，以使3D脸部模型的表情与获取的人脸表情匹配，从而实现了人脸表情的映射。由于RGBD图像具有像素信息和深度信息，因而该人脸特征点及其运动轨迹信息也能全面地从像素信息和深度信息上反映出来，使得获取的表情信息更加全面、准确，从而使得3D脸部模型能更加逼真地反应人脸的表情。

请参阅图2，图2是本发明提供的一种3D脸部模型的脸部表情的获取方法另一实施例的流程示意图。

本实施例的方法包括以下步骤：

S21、获取3D脸部模型。

具体地，在一个实施例中，如图3所示，图3是图2中步骤S21一实施例的流程示意图。图3所示的步骤S21包括：

S211、获取人脸的多个角度的RGBD图像。

步骤S211中，可以通过RGBD相机从人体的头部的多个角度进行拍摄，从而可以通过该RGBD图像获取人脸的多个角度的信息。

S212、利用多个角度的RGBD图像构建3D脸部模型。

步骤S211中根据多个角度的RGBD图像获取了人脸的多个角度的信息之后，步骤S212即可以根据该人脸的信息来构建3D脸部模型。

S213、在3D脸部模型上标记人脸特征点。

步骤S213中人脸特征点的提取和标记的方法可以与下述步骤S223和步骤S224的方法相同。当然，在其它一些实施例中，也可以采用其它本领域常用的方法来提取和标记人脸特征点。

在另一个实施例中，如图4所示，图4是图2中步骤S21另一实施例的流程示意图。图4所示的步骤S21包括：

S211＇、获取人脸的多个角度的RGBD图像.

S212＇、利用多个角度的RGBD图像构建3D脸部模型。

其中，步骤S211＇和S212＇与上一实施例的步骤S211和S212相同。

S213＇、提取3D脸部模型的头部信息。

具体地，头部信息可以包括头部的轮廓信息和尺寸信息。

S214＇、调用人体完整头部的3D模型的数据，结合头部信息将3D脸部模型生成完整的3D头部模型。

步骤S214＇中，可以调用人体完整头部的3D模型数据库中关于人体头部的数据，结合步骤S213＇中提取的轮廓、尺寸等头部信息来构件完整的3D头部模型。

具体地，步骤S214＇可以采用泊松表面重建或者自适应表面弹性匹配等方法来将以构建的3D脸部模型构建成完整的3D头部模型。

举例而言，泊松表面重建算法，其属于隐函数方法，该算法将有向点集的表面重建转化为一个空间泊松问题。输入数据S是点云数据的采样点集s∈S，每个样本包含一个点s.p和一个向内的法向量根据采样点和模型的指示函数之间的积分关系，假设点集在未知模型的表面上或其附近，通过估计模型的指示函数得到模型的近似表示，然后提取等值面，最后对表面重建一个无缝的三角逼近。

创建一个指示函数来表示表面模型：

构造泊松方程：

(1)由一直有向点云估计向量场

(2)求解函数x,其梯度最接近向量场：

(3)应用散度算子，可将其变成一个泊松问题：

算法实现：

(1)建立八叉树空间

使用样本点的位置来定义八叉树O，然后附加一个函数F₀给八叉树的每一个接点o∈O，选自八叉树和附加函数，使之满足下列条件：

1)向量场可以被精确有效地表示为F₀的线性求和。

2)泊松方程的矩阵表示按照F₀能够有效求解的方式来表达。

3)指示函数的表示，作为F₀的和，能够在模型表面附近精确有效的估计，并将其和作为指示函数。

(2)计算向量场

定义空间函数：

计算向量场：

(3)解泊松方程求指示函数

计算指示函数。

求解函数x,其梯度最接近向量场：

构造系数矩阵解泊松方程求解指示函数。

(4)提取等值面

为获得重建表面，首先需要选择一个等值，然后通过计算指示函数提取对应的等值面。选择等值使得提取的等值面近似逼近输入的样本点的位置。首先通过在样本点的位置估计，然后使用平均值来提取等值面：

在系数点云重建的基础上采用泊松表面重建算法重建了场景，本实施例为人脸或头部的表面。该方法能很好地解决基于图像生成的三维空间点云，噪声大、系数、分布不均等问题，可以满足不对模型精度过高要求应用的需求。

S215＇、在3D头部模型上标记人脸特征点。

步骤S215＇中人脸特征点的提取和标记的方法可以与下述步骤S223和S224的方法相同。当然，在其它一些实施例中，也可以采用其它本领域常用的方法来提取和标记人脸特征点。

在又一个实施例中，3D脸部模型为采用动画制作技术制作出的3D人偶的脸部模型。可以是即时制作的，也可以是从数据库中调用的。

S22、通过RGBD图像序列获取人脸特征点的运动轨迹。

请参阅图5，图5是图2中步骤S22实施例的流程示意图。图5所示的步骤S22包括：

S221、获取包含人脸的RGBD图像序列，RGBD图像包括RGB图像和深度图像，其中，RGB图像和深度图像的像素一一对应。

其中，RGBD图像序列是指特定时间内连续帧的RGBD图像，可以由RGBD拍摄设备获取。

S222、对RGBD图像进行人脸检测，以提取出人脸区域的RGBD图像。

步骤S222中的RGBD图像可以是步骤S11中RGBD图像序列中的任一RGBD图像，例如RGBD图像序列中的第一个RGBD图像。人脸区域可以只从其中一个RGBD图像中提取即可。

在一个实施例中，如图6所示，图6是图5中步骤S222实施例的流程示意图。具体地，S222包括以下步骤：

S2221、获取RGBD图像中的RGB图像。

本实施例中，步骤S2221的RGBD图像为步骤S221中RGBD图像序列的第一个RGBD图像。由于RGBD图像中包括了深度图像和RGB图像，因此，该RGB图像可以从RGBD图像中直接获取。

S2222、对RGB图像进行人脸检测以提取人脸区域的RGB图像。

步骤S2222中，提取人脸区域的RGB图像即检测出2D图像中的人脸区域。检测2D图像的人脸区域的方法有多种，例如，可以结合肤色特征通过AdaBoost算法进行人脸检测。举例而言，该方法包括:

一、用AdaBoost算法做初始定位：

(1)准备样本：在一二20*20的图片中提取一些简单的Harry特征，计算其白色区域和黑色区域的像素和之差，这些特征值在人脸和非人脸图片的相同位置上的大小是不一样的。

(2)训练分类器：使用数千张切割好的人脸图片和上万张背景图片作为训练样本。训练图片一般归一化到20*20的大小，通过AdaBoost算法挑选数千个有效的Harr特征来组成人脸检测器。

(3)检测：使用将分类器按比例一次缩放，然后图像中移动搜索窗口，检测每一个位置来确定可能的人脸。

得到初步的检测结果后，记录其平均人脸面积S_a作为后续比较。

二、通过判断肤色点获取初步的人脸区域：

由三基色RGB空间经过变换，可以得到各种彩色空间的色度表示。例如在YUV空间和YIQ空间上进行人脸肤色分布特性的分析。

在YUV空间中，U和V是平面上的两个相互正交的矢量。每一种颜色对应一个色度信号矢量，它的保护度由模值Ch表示，色调由相位角θ表示：

θ＝tan^-1(V/U)。

根据对人脸图像样本的θ值分析结构可知人脸肤色的色调范围，以此为特征进行图像分割可以滤掉与人脸肤色在色调上有较大区别的背景。

此外，还可以在YIQ空间上利用彩色的饱和度信息来增强分割效果。将YUV色空间的UV平面逆时针方向旋转33°，得到了YIQ空间的IQ平面。根据实验确定I值范围。采用YUV空间的相位角θ和YIQ空间的I分量作为特征，能够联合确定人脸肤色的色度信息分布范围。即彩色图像的像素p由RGB空间变换到YUV空间和YIQ空间，如果同时满足θ和I值的范围，则p是肤色点，继而确定一个初步的候选人脸区域。

步骤二的粗定位可把图像中的大多数人脸检测到，且速度较快，但是检测到人脸的同时，也会将非人脸的背景区域误检。因此，步骤三的精检测通过对初始的候选区域进行一系列几何特征的限制，剔除出不符合人脸条件的噪声，筛选出人脸。

三、对初始的候选区域用数学形态学的闭运算进行平滑处理，去除当中存在的空洞，得到多个连通的区域。

其次，对候选的各个连通域进行人脸几何特征判断：

(1)将各个连通域的面积S_i与AdaBoost算法检测到的人脸面积进行比较，将差距很大(例如S_i＜0.3S_a且S_i＞2S_a)的连通域判定为非人脸并将其剔除，这样就可以将很多明显的背景及其噪声排除。

(2)运用人脸的几何性质对其进行判别。例如，先对各个连通域求得最外层矩形边界，再计算矩形的长宽比，对于人脸来说，长宽比一般为1左右，因此，将长宽比大于2的区域判定为非人脸区域，可将手臂、腿等非人脸区域从候选区域中排除。

(3)通过连通区域最外层矩形边界的区域面积占有率去除干扰区域。即计算矩形边界中连通域的像素点个数占整个矩形像素数的比例，若该比例小于一定的阈值就把该连通区域判定为非人脸区域，将其从候选区域中排除。

(4)通过连通区域与最外层矩形的周长占有率去除干扰区域。即计算连通区域的轮廓曲线周长和矩形边界周长的比例，若该比例小于一定的阈值就把该连通区域判定为非人脸区域，将其从候选区域中排除。

最后，将AdaBoost算法初始定位，结合颜色特征和几何特征的精检测作为人脸检测的结构，从而提取出人脸区域的像素信息。

S2223、从RGBD图像的深度图像中提取出与人脸区域的RGB图像对应的区域，从而获取人脸区域的RGBD图像。

步骤S2223中，由于RGB图像和深度图像的像素一一对应，因此，在深度图像中，与人脸区域的RGB图像对应的区域的图像即人脸区域的深度图像，人脸区域的RGB图像和人脸区域的深度图像结合即人脸区域的RGBD图像。

在另一个实施例中，如图7所示，图7是图5中步骤S222另一实施例的流程示意图。具体地，S222包括以下步骤：

S2221＇、获取RGBD图像中的深度图像。

本实施例中，步骤S2221＇的RGBD图像为S222中RGBD图像序列的第一个RGBD图像。由于该RGBD图像包括了深度图像和RGB图像，因此，该深度图像可以从RGBD图像中直接获取。

S2222＇、对深度图像进行人脸检测以提取人脸区域的深度图像。

步骤S2222＇中，提取人脸区域的深度图像即检测出3D图像中的人脸区域。从深度图像中进行人脸检测提取人脸区域的方法有多种，本实施例采用的方法具体如下：

记D_i,j为当前深度图中空洞的像素点D(i,j)，其深度信息为：

其中:D_p,q为深度图中点D(p,q)的深度；w_p,q为当前深度图中点D(p,q)对点D(i,j)深度的贡献值,越大表示贡献越大,反之越小；w_p,q由下式决定:

C_i,j为深度图中点D(i,j)在彩色图中的像素值,C_p,q为深度图中点D(p,q)在彩色图中的像素值。

使用上述算法对图中的深度信息缺失部分进行恢复,并对深度图使用区域增长算法,以排除其他部分对人脸区域造成的干扰。

通过对深度区域信息的分析,能够判断当前检测的人脸是否是真实的人脸而非照片人脸.具体实现方法如下：记d(x,y)为图像中像素点p(x,y)的深度信息,则人脸区域的平均深度Avg_d可以表示为

p(x，y)∈Area_face}；

深度信息的方差Vari_d表示为：

p(x，y)∈Area_face}.

最后,通过对Varid值的判断来确认是否已通过深度信息过滤。

扩展Haar特征，以准确地表示出深度信息上的人脸变化特征。扩展Haar特征充分利用了人脸区域在深度信息上的变化，能为人脸检测分类器的训练提供稳定特征。

采用扩展Haar特征作为AdaBoost训练中的弱分类器，通过如下方式完成最终强分类器的训练。

给出训练集(x₁,y₁)，……，(x_m,y_m)。其中，x_i∈X，y_i∈Y＝{-1，1}，这里X代表特征空间，Y代表目标空间。即，-1代表非人脸区域，1代表人脸区域。对于i＝1,2,…，m个弱分类器，均匀话初始权值分布D1(i)＝1/m，D1(i)表示第1次迭代中第i个特征的权值，进行t＝1,2,…，T次迭代。

记H为所有弱分类器的集合，根据其权值D_t找出本次迭代过程最大化阈值的弱分类器为

其中，

如果∣0.5-φ∣≤β,β为预先设置的阈值,则停止迭代,输出强分类器.选择一个实数α_t∈R,通过下式计算确定：

根据下式更新所有权值分布,继续迭代直至停止：

最后输出强分类器组合,即

S2223＇、从RGBD图像中的RGB图像中提取出与人脸区域的深度图像对应的区域，从而获取人脸区域的RGBD图像。

步骤S2223＇中，由于RGB图像和深度图像的像素一一对应，因此，在RGB图像中，与人脸区域的深度图像对应的区域的图像即人脸区域的RGB图像，人脸区域的RGB图像和人脸区域的深度图像结合即人脸区域的RGBD图像。

S223、从人脸区域的RGBD图像中获取人脸特征点。

人脸特征点可以通过采集人脸元素来获取，人脸元素包括眉毛、眼睛、鼻子、嘴巴、脸颊以及下巴等等中的一个或者多个。

在一个实施例中，如图8所示，图8是图5中步骤S223实施例的流程示意图。具体地，步骤S223包括：

S2231、从人脸区域的RGBD图像中的人脸区域的RGB图像中识别RGB人脸特征点。

人脸区域的RGBD图像包括人脸区域的RGB图像和人脸区域的深度图像，本实施例从人脸区域的RGB图像中提取人脸特征点。步骤S251中的人脸区域的RGB图像可以是从人脸区域的RGBD图像中获取，也可以直接采用步骤S23中获取的人脸区域的RGB图像。RGB人脸特征点的获取方法有多种，例如：

(1)基于灰度信息的方法

几何投影法：几何投影方法是利用人脸特征灰度与其他部分的差异，先统计出不同方向上的灰度值和，根据和的变化找出特定的变化点，然后利用投影灰度值基于统计的方法将不同方向上的变化点位置相结合，找到人脸特征点的位置。

谷分析：图像中亮度比周围像点暗的区域就称作谷，通过亮度比较的方法，就可以对人脸的各个关键部位如眼睛、眉毛、鼻子、嘴巴等相对较暗的区域进行定位。

(2)先验规则的方法

根据人脸特征的一般特点总结出一些经验规则就称作基于先验规则的方法。人脸图像有一些明显的基本特征，比如人脸的长度比例，满足“三庭五眼”，脸部区域的双眼、鼻子和嘴巴等脸部特征处的亮度一般低于其周边区域；两眼间的对称以及眼睛与鼻子的三角分布规律，都是人脸识别的重要根据。

镶嵌图法：可以用一组相同大小的方格去划分图像，每个方格的灰度取格中各像素灰度的均值，根据一定的规则确定哪些可能是人脸的方格区域，将确定的可能存在人脸的方格的变长减半，重新构建镶嵌图，重复第一步的工作，找到眼睛，鼻子，嘴巴等脸部特征所在的位置，然后对这两次得到的脸部区域二值化，利用边缘检测最终精确定位各个特征的位置。

二值化定位：得到图像的直方图，选择合适的阀值将图像二值化，二值化后区域的相对位置和面积形状等几何信息就可以用来确定瞳孔的位置，再通过眼睛与其他特征点的位置关系和几何关系等对其他的人脸特征点进行定位。显然该方法受光照和图像质量等的影响较大。

广义对称法：显然，在人脸图像中，眼睛眼、眉毛、鼻子等都具有较强的点对称性。通过定义广义对称变换来描述点对称性，通过考察人眼中心点的强对称性和脸部特征的几何分布来对人脸的特征点进行定位。

(3)基于几何形状的方法

Shake算法：该方法利用一条由几个控制点组成的闭合曲线，再利用一个进行匹配的能量函数来作为评价标准，当不断迭代最后使得能量函数最小化时就定位到人脸特征点。

可变形模板方法：把眼睛特征为有两条抛物线(上下眼睑)和一个圆(虹膜)构成的几何图形，通过优化的方法来调整其参数以达到最佳的匹配，嘴巴、下巴等也可以采用类似的几何图形建模。

基于点分布模型算法：ASM和AAM都是基于点分布模型(Point DistributionModel，PDM)的算法在PDM中，外形相似的特定类别物体，比如人脸、人手的形状通过若干关键的特征点的坐标串接成原始形状向量。对训练集中的所有形状向量进行对齐操作后，对它们进行PCA分析建模，保留的主成分形成最终的形状模型，形状模型的参数反映了形状的主要可变化模式，ASM搜索则首先通过局部纹理模型匹配得到各个特征点的更佳的位置，经过相似变换对齐后，通过统计形状模型对其进行约束，而后再进行局部纹理模型的匹配，形成一个迭代过程，以期形状模型最终匹配到输入的形状模式上去。

而在AAM中，则采用了形状和纹理二者融合的统计约束，即所谓的统计表观模型。AAM搜索借鉴了基于合成的分析技术的思想，通过模型参数的优化调整使得模型能够不断逼近实际输入模式，模型参数的更新则放弃了ASM中的局部纹理搜索过程，仅使用一个线性预测模型根据当前模型和输入模式之间的差别来预测和更新模型参数。

(4)基于统计模型的方法

肤色唇色分割法：该方法是使用统计方法建立起人脸特征的色彩模型，定位时遍历候选区域，根据被测点的色彩与模型的匹配度筛选出候选的人脸特征点。该方法主要是对人脸面部特征的色彩信息进行研究，构造人脸特征的色彩模型，利用人脸肤色的色彩信息进行特征点定位。

特征脸法：该方法利用K-L变换将表征人脸的高维向量映射到由若干个特征向量(也称Eigenface特征脸)张成的子空间中，先用主成分分析模型重构被检区域，求出重构图与原图之间的距离，当距离小于一定阈值时，即被认定为候选区域。

支持向量机：支持向量机(Support Vector Machines，SVM)是Vapnik等提出的基于风险最小化原理的统计学习理论，用于分类与回归问题。将SVM方法用于脸部特征检测，使用了方形扫描窗口，将眉毛与眼睛作为一个整体作为定位的对象，从而减少了眉毛对定位的干扰。

模板匹配法：模板匹配法是较早用于面部特征点定位的方法之一，也是使用范围较广的一种。这是由于模板匹配法具有比较直观、易于构造等优点。在对图像进行预处理的基础上产生特征的候选区域，之后通过一个具有几何约束(五官模板的相关量)的模板对特征加以定位。Sako等人采用彩色直方图方法分割脸部区域和嘴唇区域，并根据眼睛的结构和灰度信息特点预先构造了眼睛模板，利用此模板进行搜索以确定眼睛的位置匹配的过程是利用事先建立的面部特征的模板在候选窗口逐点滑动进行特征匹配定位。

人工神经网络：人工神经网络(ANN)在模式识别中有着广泛的应用，特别适合研究非线性问题。完整的人脸图像受个体差异、眼睛状态和目标对象姿态等变化的影响较大，而子特征点(包括左右眼角和上下眼眶顶点)附近区域相对稳定，根据这一特点，Waite等以各子特征点附近的灰度图像为输入，分别建立神经网络。检测时，先用各个神经网络对目标区域进行遍历搜索，再结合先验知识对搜索结果进行筛选和结合。这个算法训练过程比较简单，有较强的鲁棒性。

贝叶斯概率网络方法：Kin和Cipolla使用一个3层的概率网络来对脸型建模。他们在搜索中采用了自底向上的搜索策略，结合使用高斯滤波器和边缘检测算法找出双眉、鼻和嘴的候选点(对应于网络中的第1层)，据邻近候选点之间的相对关系两两配对为水平或垂直组合(对应于网络中的第2层)，并进一步归入脸部的上、下、左、右4个区域(对应于网络中的第3层)，从而筛去虚警点。

(5)基于小波的方法

弹性图匹配法：该方法是面部关键特证定位的另一个重要算法，该方法将人脸面部关键特证点的属性及其他们之间的位置关系通过一个属性图进行描述，图的顶点对关键特征点的局部纹理建模(通过Gabor特征)，图的边则反映了特征点之间的距离等位置关系。对新输入的图像，其特征点则通过基于相位预测的位移估计结合图匹配技术来定位。通过属性图的形变，一方面匹配顶点处的Gabor局部特征，另一方面匹配全局几何结构特征。

DWN(Gabor小波网络)：Krüger等将Gabor小波引入图像处理领域，使用一组同源派生的Gabor小波函数取代RBF神经网络的基函数，通过训练，可以将目标图像分解为若干个小波函数的线性组合。GWN的训练中同时对相关权值和小波函数本身的参数作优化，这使得GWN模型可以用很小数量的小波函数实现对目标对象的解析和重构。Feris使用两层的GWN树模型来定位脸部特征，两层GWN分别用于表征全脸和各个脸部特征。在训练中，他们为每幅训练图建立一个GWN树模型，并标定出各脸部特征的位置，存入人脸库中。实际搜索的时候，他们首先通过全脸比对从库中找出与目标图像最接近的一个模型，然后以该模型的标定位置为搜索起点，在小范围内，通过与该模型中相应的脸部特征信息的比对求出脸部特征的精确位置。

S2232、从人脸区域的RGBD图像中的人脸区域的深度图像中提取出与RGB人脸特征点对应的特征点，从而获取人脸特征点。

步骤S2232中，由于RGB图像和深度图像一一对应，因此，在深度图像中，与RGB人脸特征点对应的特征点即深度图人脸特征点，RGB人脸特征点和深度图人脸特征点结合即RGBD图像的人脸特征点。

在另一实施例中，步骤S223中，人脸特征点的获取方法可以是上述实施例的从RGB图像中获取，然后在对应于该RGBD图像中以获取RGBD图像的人脸特征点。也可以从深度图中直接检测出人脸特征点。

本实施例中，采用Susan算法获取人脸特征点。具体而言，人脸关键特征点的定位方法：选取人脸的9个特征点，这些特征点的分布具有角度不变性，分别为2个眼球中心点、4个眼角点、两鼻孔的中点和2个嘴角点。在此基础上可以容易地获得与识别有关的人脸各器官特征以及扩展的其他特征点位置，用于进一步的识别算法。

在进行人脸特征提取时，由于无法将局部的边缘信息有效地组织起来，传统的边缘检测算子不能可靠地提取人脸的特征(眼睛或嘴的轮廓)，但从人类视觉特性出发，充分利用边缘及角点的特征来进行人脸关键特征点的定位，则会大大提高其可靠性。

其中选择Susan(Smallest Univalue Segment Assimilating Nucleus)算子用于提取局部区域的边缘和角点特征。根据Susan算子的特性，它既可用来检测边缘，又能用来提取角点。因此与Sobel、Canny等边缘检测算子相比较而言，Susan算子更适合进行人脸眼部和嘴巴等特征的提取，尤其是对眼角点和嘴角点的自动定位。

以下是Susan算子的介绍：

用一个圆形模板遍历图像，若模板内其他任意像素的灰度值与模板中心像素(核)的灰度值的差小于一定阈值，就认为该点与核具有相同(或相近)的灰度值，满足这样条件的像素组成的区域称为核值相似区(Univalue Segment Assimilating Nucleus,USAN)。把图像中的每个像素与具有相近灰度值的局部区域相联系是SUSAN准则的基。

具体检测时，是用圆形模板扫描整个图像，比较模板内每一像素与中心像素的灰度值，并给定阈值来判别该像素是否属于USAN区域，如下式：

式中，c(r,r₀)为模板内属于USAN区域的像素的判别函数，I(r₀)是模板中心像素(核)的灰度值，I(r)为模板内其他任意像素的灰度值，t是灰度差门限。它影响检测到角点的个数。t减小，获得图像中更多精细的变化，从而给出相对较多的检测数量。门限t必须根据图像的对比度和噪声等因素确定。则图像中某一点的USAN区域大小可由下式表示：

其中，g为几何门限，影响检测到的角点形状，g越小，检测到的角点越尖锐。(1)t,g的确定门限g决定了输出角点的USAN区域的最大值，即只要图象中的象素具有比g小的USAN区域，该点就被判定为角点。g的大小不但决定了可从图象中提取角点的多寡，而且如前，它还决定了所检测到的角点的尖锐程度。所以一旦确定了所需角点的质量(尖锐程度)，g就可以取一个固定不变的值。门限t表示所能检测角点的最小对比度，也是能忽略的噪声的最大容限。它主要决定了能够提取的特征数量，t越小，可从对比度越低的图象中提取特征，而且提取的特征也越多。因此对于不同对比度和噪声情况的图象，应取不同的t值。SUSAN算子有一个突出的优点，就是对局部噪声不敏感，抗噪能力强。这是由于它不依赖于前期图像分割的结果，并避免了梯度计算，另外，USAN区域是由模板内与模板中心像素具有相似灰度值的像素累加而得，这实际上是一个积分过程，对于高斯噪声有很好的抑制作用。

SUSAN二维特征检测的最后一个阶段，就是寻找初始角点响应的局部最大值，也就是非最大抑制处理，以得到最终的角点位置。非最大抑制顾名思义，就是在局部范围内，如果中心像素的初始响应是此区域内的最大值，则保留其值，否则删除，这样就可以得到局部区域的最大值。

(1)眼球及眼角的自动定位。在眼球及眼角的自动定位过程中，首先采用归一化模板匹配的方法初步定位人脸。在整个人脸图像中确定出脸部的大概区域。通常的人眼定位算法根据眼睛的谷点性质来定位，而此处则采用将谷点的搜索和方向投影以及眼球的对称性相结合的方法，利用两眼之间的相关性可以提高眼睛定位的准确度。对脸部区域的左上和右上部分进行梯度图积分投影，并对积分投影的直方图进行归一化，首先根据水平投影的谷点确定出眼睛在y方向的大致位置，然后让x在较大的范围内变化，寻找此区域内的谷点，将检测到的点作为两眼的眼球中心点。

在获得两眼球位置的基础上，对眼部区域进行处理，首先采用自适应二值化方法确定门限阈值，得到眼部区域的自动二值化图像，然后结合Susan算子，利用边缘和角点检测的算法在眼部区域内准确定位内外眼角点。

经过上述算法获得的眼部区域边缘图像，在此基础上对图像中的边缘曲线进行角点提取即可获得准确的两眼内外眼角点位置。

(2)鼻域特征点的自动定位。将人脸鼻子区域的关键特征点确定为两个鼻孔中心连线的中点处，即鼻唇中心点。人脸鼻唇中心点的位置相对较稳定，而且对于人脸图像归一化预处理时也可起到基准点的作用。

以找到的两眼球位置为基础，采用区域灰度积分投影的方法确定两个鼻孔的位置。

首先截取两眼瞳孔宽度的条状区域，进行Y方向积分投影，然后对投影曲线进行分析。可以看到，沿着投影曲线自眼球位置的Y坐标高度向下搜索，找到第一个谷点的位置(通过调整选择适当的峰谷Δ值，忽略中间可能由于脸部疤痕或眼镜等因素产生的毛刺影响)，将这个谷点作为鼻孔位置的Y坐标基准点；第二步选取以两眼球X坐标为宽度，鼻孔Y坐标上下δ像素(例如，选取δ＝[鼻孔Y坐标-眼球Y坐标]×0.06)为高度的区域进行X方向积分投影，然后对投影曲线进行分析，以两眼瞳孔中点的X坐标作为中心点，分别向左右两侧进行搜索，找到的第一个谷点即为左右鼻孔的中心点的X坐标。计算两个鼻孔的中点作为鼻唇中点，获得鼻唇中心点的准确位置，并划定鼻子区域。

(3)嘴角的自动定位。由于人脸表情的不同可能会引起嘴巴形状的较大变动，而且嘴巴区域比较容易受到胡须等因素的干扰，因此嘴部特征点提取的准确性对于识别影响较大。由于嘴角点的位置受表情等影响相对变动较小，角点的位置较准确，所以采取嘴部区域的重要特征点为两个嘴角点的定位方式。

在确定了双眼区域以及鼻域特征点的基础上，首先利用区域灰度积分投影的方法确定自鼻孔以下Y坐标投影曲线的第一个谷点(同理，需要通过适当的峰谷Δ值来消除由于胡须、痣痕等因素产生的毛刺影响)作为嘴巴的Y坐标位置；然后选定嘴巴区域，对区域图像利用Susan算子进行处理，得到嘴部边缘图后；最后进行角点提取，便可以获得两个嘴角的精确位置。

S224、标记人脸特征点在人脸区域的RGBD图像上的位置。

步骤S224对人脸特征点的标记以便于后续步骤S15对该人脸特征点进行跟踪。

S225、在RGBD图像序列中跟踪人脸特征点的运动轨迹，并记录运动轨迹信息。

步骤S225中，在RGBD图像序列中跟踪标记好的人脸特征点，从而获取该人脸特征点的运动轨迹信息，并记录，从而根据人脸特征点的运动轨迹，例如，嘴角、眼角等特征点的运动轨迹来捕获人脸的表情并捕捉人脸表情的变化。

具体而言，步骤S225中的人脸特征点的跟踪方法可以采用基于KLT(Kanade-Lucas-Tomasi)算法的人脸特征点跟踪方法、Gabor小波的人脸特征点跟踪方法和AAM的人脸特征点跟踪方法等方法。

例如，Lucas-Kanade特征点跟踪算法，给定相邻两帧图像I₁和I₂，对I₁中的特征点p＝(x,y)^T，假设光流为d＝(u,v)^T，则在I₂中对应的特征点为p+d，Lucas-Kanade算法的目的是搜索位移量使得与对应点相关的邻域的匹配误差最小，即在p的局部邻域N(p)上定义如下的代价函数:

其中，w(r)为权函数。

对其油画得到所求解：d＝G^-1h，其中，

S23、将人脸特征点的运动轨迹映射到3D脸部模型，以使3D脸部模型的人脸特征点的运动轨迹与获取的人脸特征点的运动轨迹相匹配。

步骤S23中，将人脸特征点的运动轨迹映射到3D脸部模型上，使得3D脸部模型上的人脸特征点的运动轨迹与获取的人脸特征点的运动轨迹相匹配，从而使得该3D人脸模型的动态表情与获取的人脸的表情变化相匹配。

举例而言，如图9所示，图9是本发明提供的一种3D脸部模型的脸部表情的获取方法一个应用场景的示意图。A和B进行视频会话，一个实施例中，A的人脸通过A的手机的RGBD相机拍摄后而建立第一3D脸部模型，同时，A的表情映射到该第一3D脸部模型A’，该第一3D脸部模型在B的显示界面上显示，使B能看到A’。而B的人脸通过B的手机的RGBD相机拍摄后而建立第二3D脸部模型B’，同时，B的表情映射到该第二3D脸部模型，该第二3D脸部模型在A的显示界面上显示，从而使得A能看到B’。当然，在其它实施例中，该交互可以是多人交互，每个人均能在其显示界面上看到其他的人的3D脸部模型。

在另一个实施例中，如图10所示，图10是本发明提供的一种3D脸部模型的脸部表情的获取方法另一个应用场景的示意图。A的人脸通过A的手机的RGBD相机拍摄后而建立第一3D脸部模型，同时，A的表情映射到该第一3D脸部模型，该第一3D脸部模型同时在A和B的显示界面上显示，使A和B均能看到A的3D脸部模型。而B的人脸通过B的手机的RGBD相机拍摄后而建立第二3D脸部模型，同时，B的表情映射到该第二3D脸部模型，该第二3D脸部模型同时在A和B的显示界面上显示，从而使得A和B均能看到B的3D脸部模型。当然，在其它实施例中，该交互可以是多人交互，每个人都能在其显示界面上看到所有人的3D脸部模型。

此外，在又一个实施例中，调用数据库内的人脸特征点的运动轨迹信息映射到动画制作的人偶的3D脸部模型中，并在A和B等人的显示界面上显示该3D脸部模型。

将人脸特征点的运动轨迹映射到3D脸部模型，以使3D脸部模型的人脸特征点的运动轨迹与获取的人脸特征点的运动轨迹相匹配。

S24、保存3D脸部模型及其人脸特征点运动轨迹。

请参阅图11，图11是本发明提供的一种3D脸部模型的脸部表情的获取装置的结构示意图。图11所示的3D脸部模型的脸部表情的获取装置包括处理器10、RGBD相机11和存储器12，其中，RGBD相机11与处理器10连接。

处理器10用于获取3D脸部模型；通过RGBD图像序列获取人脸特征点的运动轨迹；将人脸特征点的运动轨迹映射到3D脸部模型，以使3D脸部模型的人脸特征点的运动轨迹与获取的人脸特征点的运动轨迹相匹配。

一个实施例中，RGBD相机11用于获取人脸的多个角度的RGBD图像。具体地，可以在人的头部的多个角度方位均设置RGBD相机进行拍摄。处理器10用于利用多个角度的RGBD图像构建3D脸部模型。

另一个实施例中，处理器10还用于提取3D脸部模型的头部信息；调用人体完整头部的3D模型的数据，结合头部信息将3D脸部模型生成完成的3D头部模型。

在又一个实施例中，3D脸部模型为采用动画制作技术制作出的3D人偶的脸部模型。

可选地，处理器10还用于在3D脸部模型上标记人脸特征点。

可选地，RGBD相机11还用于获取包含人脸的RGBD图像序列，RGBD图像包括RGB图像和深度图像，其中，RGB图像和深度图像的像素一一对应。

处理器10还用于对RGBD图像进行人脸检测，以提取出人脸区域的RGBD图像；从人脸区域的RGBD图像中获取人脸特征点；标记人脸特征点在人脸区域的RGBD图像上的位置；在RGBD图像序列中跟踪人脸特征点的运动轨迹，并记录运动轨迹信息。

存储器12用于保存3D脸部模型及其人脸特征点运动轨迹。

本发明还提供了一种存储装置，该存储装置存储有程序数据，该程序数据能够被执行以实现上述任一实施例的3D脸部模型的脸部表情的获取方法。

举例而言，该存储装置可以是便携式存储介质，例如U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等。可以理解地，存储装置还可以是服务器等各种可以存储程序代码的介质。

综上所述，本发明获取的表情信息更加全面、准确，从而使得3D脸部模型能更加逼真地反应人脸的表情。

以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (13)

1.一种3D脸部模型的脸部表情的获取方法，其特征在于，包括以下步骤：

获取3D脸部模型；

通过RGBD图像序列获取人脸特征点的运动轨迹；

将所述人脸特征点的运动轨迹映射到所述3D脸部模型，以使所述3D脸部模型的人脸特征点的运动轨迹与获取的人脸特征点的运动轨迹相匹配。

2.根据权利要求1所述的方法，其特征在于，所述获取3D脸部模型的步骤包括：

获取人脸的多个角度的RGBD图像；

利用所述多个角度的RGBD图像构建3D脸部模型。

3.根据权利要求2所述的方法，其特征在于，所述利用多个角度的RGBD图像构建3D脸部模型的步骤之后还包括：

提取所述3D脸部模型的头部信息；

调用人体完整头部的3D模型的数据，结合所述头部信息将所述3D脸部模型生成完成的3D头部模型。

4.根据权利要求1所述的方法，其特征在于，所述获取3D脸部模型的步骤中，所述3D脸部模型为采用动画制作技术制作出的3D人偶的脸部模型。

5.根据权利要求2至4任一项所述的方法，其特征在于，所述获取3D脸部模型的步骤之后，还包括：

在所述3D脸部模型上标记人脸特征点。

6.根据权利要求1所述的方法，其特征在于，所述获取人脸特征点的运动轨迹的步骤包括：

获取包含人脸的RGBD图像序列，所述RGBD图像包括RGB图像和深度图像，其中，所述RGB图像和深度图像的像素一一对应；

对所述RGBD图像进行人脸检测，以提取出人脸区域的RGBD图像；

从所述人脸区域的RGBD图像中获取人脸特征点；

标记所述人脸特征点在所述人脸区域的RGBD图像上的位置；

在所述RGBD图像序列中跟踪所述人脸特征点的运动轨迹，并记录运动轨迹信息。

7.一种3D脸部模型的脸部表情的获取装置，其特征在于，包括处理器，所述处理器用于获取3D脸部模型；通过RGBD图像序列获取人脸特征点的运动轨迹；将所述人脸特征点的运动轨迹映射到所述3D脸部模型，以使所述3D脸部模型的人脸特征点的运动轨迹与获取的人脸特征点的运动轨迹相匹配。

8.根据权利要求7所述的装置，其特征在于，还包括RGBD相机，所述RGBD相机与所述处理器连接；

所述RGBD相机用于获取人脸的多个角度的RGBD图像；

所述处理器用于利用所述多个角度的RGBD图像构建3D脸部模型。

9.根据权利要求8所述的装置，其特征在于，所述处理器还用于提取所述3D脸部模型的头部信息；调用人体完整头部的3D模型的数据，结合所述头部信息将所述3D脸部模型生成完成的3D头部模型。

10.根据权利要求7所述的装置，其特征在于，所述3D脸部模型为采用动画制作技术制作出的3D人偶的脸部模型。

11.根据权利要求8至10所述的装置，其特征在于，所述处理器还用于在所述3D脸部模型上标记人脸特征点。

12.根据权利要求8所述的装置，其特征在于，所述RGBD相机还用于获取包含人脸的RGBD图像序列，所述RGBD图像包括RGB图像和深度图像，其中，所述RGB图像和深度图像的像素一一对应；

所述处理器还用于对所述RGBD图像进行人脸检测，以提取出人脸区域的RGBD图像；从所述人脸区域的RGBD图像中获取人脸特征点；标记所述人脸特征点在所述人脸区域的RGBD图像上的位置；在所述RGBD图像序列中跟踪所述人脸特征点的运动轨迹，并记录运动轨迹信息。

13.一种存储装置，其特征在于，存储有程序数据，所述程序数据能够被执行以实现如权利要求1至6任一项所述的方法。