CN102479388A - 基于人脸跟踪和分析的表情互动方法 - Google Patents

Abstract

一种基于人脸跟踪和分析的表情互动方法，属于图形图像处理和计算机视觉领域。它是通过摄像头采集人脸的表情图像；利用提出的人脸跟踪和表情分析技术实时对捕获的人脸图像进行分析处理，实现人脸的跟踪和表情参数的提取；然后利用提取出的表情参数驱动目标三维人脸模型做出相同的表情动画。本发明的特点是自动、鲁棒、互动性强，适合应用在电影制作、三维游戏、互动多媒体等领域。

Description

基于人脸跟踪和分析的表情互动方法

技术领域

本发明涉及图形图像处理与计算机视觉领域，特别是基于人脸的跟踪和表情互动方法。

背景技术

表情互动指通过实时捕捉人脸的表情动作来驱动虚拟人物做出相似表情的技术，其在人机互动虚拟游戏、虚拟人播报、3D影视制作等场合有着广泛的应用；如3D电影《阿凡达》就使用了表情互动技术来制作纳威人的表情动画。本发明提出的基于人脸表情跟踪和分析的表情互动是指利用摄像头实时采集图像，利用人脸跟踪算法对视频中的人脸进行跟踪，并分析出每一帧中人脸的表情参数；然后利用提取出的表情参数来驱动一个三维人脸模型，让其生成与表演者相同的表情。这种表情互动方法主要涉及两方面的技术：一是计算机视觉领域中的人脸跟踪和表情分析技术，二是计算机图形学中三维人脸模型的表情驱动技术。人脸跟踪技术是表情互动的核心，跟踪的准确度将极大的影响后续三维模型表情的合成。目前比较流行的人脸跟踪技术是基于主动外观模型(AAM)的人脸定位方法。由于反转合成算法的提出，使得AAM在人脸定位的搜索过程中能够迅速的收敛，获得一个局部最优解。AAM求解出的是一个局部最优值，因此AAM初值的设定对定位结果有非常大的影响。同时AAM能量函数形式的设定对参数的求解也会有极大的影响，好的能量函数式能够引导迭代过程走向真实参数值；否则会在迭代过程中陷入一个局部极小值而停止搜索，得出一个偏离真实值的结果。

人脸跟踪结果是为表情分析服务的，只有分析出当前帧的人脸表情和强度后才能指导后续三维模型的表情合成。目前在人脸表情识别领域，提出了众多的方法，如利用人脸上特征点的运动在不同表情下的表现形式存在差异的特征实现表情的识别和分类；结合形状和面部纹理特征实现表情的识别等等。这些方法适合于单张图像的识别，不太适合连续动态的表情识别和表情强度分析。在表情互动中，需要提取每一帧人脸的表情类型和对应的强度信息。Chai等人提出利用特征点之间的距离变化来提取表情的强度和类型，由此驱动三维模型做相应的表情。但这一方法不能通用，每换一个表演者参数都需要进行调整。在三维模型的表情合成方法中，主要有基于特征点控制的网格变形方法和线形插值方法。其中特征点的网格变形算法复杂度和计算量不符合表情互动的需求；线形插值技术具备运算量小、合成效果逼真的优点。在本发明中，采用线形插值来实现三维表情的合成。

发明内容

本发明提供了一种基于人脸跟踪分析的表情互动方法，通过摄像头采集人脸的表情图像；利用提出的人脸跟踪和表情分析技术实时对捕获的人脸图像进行分析处理，实现人脸的跟踪和表情参数的提取；然后利用提取出的表情参数驱动目标三维人脸模型做出相同的表情动画。本发明的示意图如图1所示。

为了实现上述目的，本发明提出如下的技术方案：

(1)设计某一人物的三维模型，并制作该人物的若干典型表情模型(本步离线完成)；

(2)三个不同侧脸角度下的主动外观模型(本步离线完成)；

(3)如果上一帧存在人脸，则利用上一帧参数作为主动外观模型的初始值；如果跟踪丢失或人脸第一次进入画面，则利用Adaboost算法检测人脸，利用获取的人脸大小和位置信息来初始化主动外观模型；

(4)最小化能量函数，获取当前帧最优的主动外观模型参数和表情参数，检测眼睛的状态；

(5)利用获得的表情参数和眼睛状态驱动制作的三维模型，让其生成与表演者相同的表情；

(6)更新摄像头数据，开始下一帧的表情分析和表情驱动处理。

本发明的优点是：

1.通用性强；用户可以更换所需的三维人物模型，同一表演者可以驱动不同的人脸模型。

2.人脸跟踪鲁棒，处理速度快；可以实时准确的捕获人脸的几种典型表情，对于Pentium4 2G的计算机，可以实现25f/s的处理速度。

3.无需人工交互，适用于普通大众人群。

附图说明

图1为本发明的表情互动示意图，图中1.为摄像头捕获画面，2.为三维人物模型的对应表情。

图2为本发明的模型制作示意图(未显示全部模型)，从上到下、从左到右依次对应表一中的表情编号为：1，7，8，2，5，6，3，4

具体实施方式

下面将结合附图对本发明加以详细说明，应指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。本发明通过如下实施例进行说明：

制作三维模型、训练主动外观模型、人脸跟踪初始化、人脸跟踪中能量函数式设定和表情分析、眼睛睁闭状态检测、三维模型驱动，具体实施过程如下：

1.制作三维模型

三维模型制作属于离线预处理阶段，目的是设计一个三维人脸模型及对应的14个表情状态下的模型，部分模型如图2所示。在表情互动中，让该模型实时模拟表演者的表情。在本发明中，根据人脸动作的特点，划分了14种基本的表情，制作模型时按如下表格进行。

表一模型制作说明

编号	表情状态	制作提示
			1	初始模型	无表情，嘴巴微闭，眼睛睁开
2	张大嘴	模型嘴张大
			3	撅嘴	嘴部向前撅起
4	咧嘴	嘴巴呈一字张开
			5	笑	嘴角上翘
6	悲伤	嘴角下拉
			7	左闭眼	模型左眼紧闭，其他无动作
8	右闭眼	模型右眼紧闭，其他无动作
			9	左愤怒	左眉毛做愤怒状
10	右愤怒	右眉毛做愤怒状
			11	左瞪眼	左眼瞪大
12	右瞪眼	右眼瞪大
			13	左抬眼	左眉毛抬高
14	右抬眼	右眉毛抬高

2.训练主动外观模型

由于跟踪过程中表演者的头部姿态不可控，为了增强人脸跟踪的鲁棒性，本发明提出了多角度下的人脸跟踪方法。训练了三个不同侧脸角度下的主动外观模型，侧脸角度分别对应

和

在跟踪过程中，如果人脸的侧脸角度超过一定度数，则载入新角度下的主动外观模型，增强人脸跟踪的准确度。对于每一个主动外观模型，其训练过程如下：

(21)离线采集该角度下的人脸样本，并对标定样本人脸的形状；

(22)归一化样本人脸的形状和纹理。其中纹理包含三个部分：形状无关灰度纹理图、x方向梯度图和y方向梯度图。其中梯度图的引入是为了增强抗光线干扰的能力。

(23)对归一化后的形状和纹理做PCA处理，获得主动外观模型的形状和纹理模型：

其中S代表人脸的形状，p为形状参数；A为三通道的纹理图像，λ为纹理参数。此外，计算迭代中需要的Hessian矩阵。

3.人脸跟踪初始化

当人初次进入画面或者跟踪丢失时，需要自动的实现人脸跟踪初始化，即检测人脸的位置、人脸大小信息，并利用这些信息初始化主动外观模型的参数。本发明利用Adaboost进行人脸自动检测，Adaboost(Adaptiveboosing，自适应增强)是一种常用的统计学习算法，已经成功地应用于人脸检测和人脸分类。Adaboost通过若干弱分类器的级联组合来获得最终的强分类器，排在前面的几个弱分类器可以预先排除大量非人脸的图像区域，后续的分类器集中在类似人脸区域的判别上。

4.能量函数设定

人脸跟踪过程就是一个最小化主动外观模型的能量函数值的过程，能量函数形式的设定对人脸跟踪的精度有很大的影响。为了提高跟踪精度，本发明提出了新的能量函数形式，由三部分组成：

(41)整体纹理差限制：

$E_1\left(p\right)=\left|\right|A_0-I\left(W\left(p\right)\right)\left|\right|=\underset{x\∈S_0}{\mathrm{\Σ}}{[A_0\left(x\right)-I\left(W(x;p)\right)]}^2$

该能量函数项与原AAM算法一致，区别在于A为三通道的纹理图像。该函数项的物理意义为通过不断优化参数p，使得由形状获取的形状无关纹理图像与平均纹理图像的残差最小。

(42)局部纹理差限制：

$E_2\left(p\right)=\underset{j\∈{\mathrm{\Ω}}_t}{\mathrm{\Ω}}\underset{x\∈R^j}{\mathrm{\Σ}}{[A_{t-1}\left(x\right)-I_t\left(W(x;p)\right)]}^2$

Ω_t为检测的人脸特征点集，R^j为以第j个特征点为中心的一个9×9的小块，A_t-1为前一帧人脸的纹理图像。该函数项的物理意义为通过优化参数p，使得当前特征点确定的子块区域的纹理图像与上一帧特征点对应子块区域的纹理图像的残差最小。该函数项保证跟踪过程中前后帧之间的一致性，避免参数跳变。

(43)肤色区域限制：

$E_3\left(p\right)=\underset{x\∈S_0}{\mathrm{\Σ}}{\left[I_D\left(W(x;p)\right)\right]}^2$

为了避免迭代过程中参数p确定的人脸形状偏离人脸区域，因此引入该函数项。I_D是一个灰度图像，人脸区域内值为0，非人脸区域内值为255。人脸区域由人脸肤色模型来确定，通过第一帧检测的人脸区域，可以训练出一个肤色模型，后续跟踪时对肤色模型进行更新。该函数项的物理意义为保证迭代过程在人脸有效区域内进行，避免偏离真实值过远。

在参数优化过程中，本发明确定的能量函数为上述三项的组合：

E(p)＝E₁(p)+ω₂E₂(p)+ω₃E₃(p)

其中ω₂，ω₃为权重系数，调整各函数项的影响能力。通过反转合成算法可以求解出最优的形状参数p；通过表达式可以获得人脸的形状。

5.表情分析

为了对每一帧的人脸表情进行分析，本发明在获得人脸形状后对几种典型的表情动作进行了分析。本发明引入了CANDIDE三维人脸模型，并在此基础上对模型进行了修改，以配合表一的几种表情。CANDIDE形状模型的形式如下：

$g(\mathrm{\σ},\mathrm{\α})=\stackrel{\‾}{g}+\mathrm{S\σ}+\mathrm{A\α}$

为三维平均人脸形状，S为三维形状的变化分量，A为表情动作分量。

用来描述特定人的人脸形状，Aα表示该人的表情动作。在人脸跟踪的第一帧，假定不存在表情动作，由此确定该人的人脸形状

后续跟踪过程只有表情动作，人脸形状则保持不变。表情参数的提取即最小化如下能量函数：

E＝‖S′(p)-P(Q(g′(σ，α)))‖²

其中式中’代表形状中的若干特征点，S(p)为跟踪得到的人脸形状，Q()代表三维形状模型的旋转操作，即头部的姿态；P()代表投影操作，将三维形状投影到图像平面。该能量函数式的物理意义是最优化参数σ，α，使得该三维形状模型经过旋转和投影后与跟踪获得的形状一致。σ在第一帧确定，跟踪过程中保持不变，只有动作参数α发生变化，由此提取出每一帧的表情动作参数。

6.眼睛状态识别

由于摄像头所采集图像的分辨率有限，全局AAM虽然可以获得良好的人脸形状定位结果，但眼睛的定位精度有限，因此本发明对眼睛进行了进一步的处理。眼睛处理包括眼睛形状的精细定位和眼睛睁闭状态的检测。眼睛的精细定位如下：

(1)训练一个眼睛区域的局部主动外观模型，过程如2所述；

(2)利用全局AAM的人脸定位结果初始化局部AAM(离线完成)；

(3)迭代计算获得局部AAM的收敛结果，获得眼睛的精细定位。

对于眼睛的睁闭状态检测，在本发明中采用了LBP直方图的特征和SVM线性分类器。具体的实现过程如下：

(1)收集大量睁眼和闭眼的样本，并计算每个样本的LBP直方图作为分类特征(离线完成)；

(2)利用SVM训练出一个眼睛睁闭状态检测的线性分类器；

(3)在眼睛精细定位的基础上，计算该区域图像的LBP直方图并利用分类器检测出眼睛的状态。

7.三维模型驱动

在本发明中，三维模型的驱动采用线形插值的方法。结合制作的模型和提取的表情动作参数，可以确定在某一表情类型下，模型各顶点的位移量为：D_i＝α_i(V_i-V₀)；其中V_i为第i个表情类型下的顶点坐标，V₀为无表情下的顶点坐标，α_i为第i个表情的强度。则最终带表情的模型为：

表情类型i的数量与表一一致。最后利用姿态参数(即旋转矩阵Q())来旋转模型，使得模型的头部姿态与表演者的姿态一致。

上面的描述是用于实现本发明及其实施例，因此，本发明的范围不应由该描述来限定。本领域的技术人员应该理解，在不脱离本发明的范围的任何修改或局部替换，均属于本发明权利要求来限定的范围。

Claims (5)

1.一种基于人脸跟踪和分析的表情互动方法，其特征在于，包括如下步骤：

步骤1：设计某一人物的三维模型，并制作该人物的若干典型表情模型(本步离线完成)；

步骤2：训练三个不同侧脸角度下的主动外观模型(本步离线完成)；

步骤3：如果上一帧存在人脸，则利用上一帧参数作为主动外观模型的初始值；如果跟踪丢失或人脸第一次进入画面，则利用Adaboost算法检测人脸，利用获取的人脸大小和位置信息来初始化主动外观模型；

步骤4：最小化能量函数，获取当前帧最优的主动外观模型参数和表情参数，检测眼睛的状态；

步骤5：利用获得的表情参数和眼睛状态驱动制作的三维模型，让其生成与表演者相同的表情；

步骤6：更新摄像头数据，开始下一帧的表情分析和表情驱动处理。

2.根据权利要求1所述的基于人脸跟踪和分析的表情互动方法，其特征在于，步骤2中的主动外观模型的训练按如下过程进行：

步骤21：分别采三种不同侧脸角度下的人脸表情图像，并标注每幅图像的人脸形状；

步骤22：对每一种侧脸角度下的样本集，归一化样本的人脸形状和人脸纹理图像，其中纹理图像由灰度图像、x方向梯度图和y方向梯度图三个通道组成；

步骤23：通过PCA训练出三种角度下的主动外观模型。

3.根据权利要求1所述的基于人脸跟踪和分析的表情互动方法，其特征在于，步骤4中的能量函数和表情参数获取按如下过程进行：

步骤31：设定主动外观模型的能量函数表达式，包括人脸纹理与平均纹理的差值最小化约束、基于特征点局部纹理的相邻帧一致性约束、基于肤色模型的人脸区域约束(本步离线完成)；

步骤32：制作改进型的CANDIDE三维人脸形状网格以及几种典型表情下对应的形状网格(本步离线完成)；

步骤33：利用反转合成算法最小化主动外观模型的能量函数，获得单前帧的人脸形状；

步骤34：利用获得的人脸形状和改进型的CANDIDE三维人脸网格，提取单前帧的表情参数和头部姿态。

4.根据权利要求1所述的基于人脸跟踪和分析的表情互动方法，其特征在于，步骤4中的眼睛状态检测按如下过程进行：

步骤41：训练一个眼睛区域的局部主动外观模型(本步离线完成)；

步骤42：利用LBP直方图特征和SVM训练一个眼睛睁眼和闭眼的状态分类器(本步离线完成)；

步骤43：在全局主动外观模型定位的基础上，利用局部主动外观模型精确定位眼睛的形状；

步骤44：计算眼睛区域图像的LBP，并根据SVM分类器判断眼睛的睁闭状态。

5.根据权利要求1所述的基于人脸跟踪和分析的表情互动方法，其特征在于，步骤5中的表情驱动按如下过程进行：

步骤51：载入三维人物模型及其相应的典型表情模型(本步在程序初始化时完成)；

步骤52：利用表情参数计算出每种典型表情下模型各顶点的位移量，然后与中性无表情模型相叠加，获得该人物与表演者相一致的表情模型；

步骤53：对表情模型实施三个角度的旋转操作，使其与表演者的头部姿态一致；

Images