CN104616005A - 一种领域自适应的人脸表情分析方法 - Google Patents

Abstract

本发明是一种领域自适应的人脸面部表情分析方法，属于计算机视觉和情感计算研究领域。目的是解决自动表情分析中训练与测试数据领域差异阻碍预测精度的问题，更符合实际需要。本发明提出了一种基于对象领域的领域适应表情分析方法。对每个受试对象，定义一个数据领域。首先通过构建辅助预测问题的方式来定义对象领域之间的距离。然后在源数据集里选取与测试对象数据性质相近的一组对象，组成训练集。在训练集上，采用加权协同训练的方式，将部分测试对象数据直接用于模型训练，使得预测模型进一步接近测试对象领域。本发明的优势在于：解决了训练与测试数据相隔离的问题，使得预测模型适应于测试数据领域，对领域差异具有鲁棒性，适用范围广。

Description

一种领域自适应的人脸表情分析方法

技术领域

本发明属于计算机视觉和情感计算研究领域，具体地说是一种自动人脸表情分析方法。

背景技术

自动人脸表情分析是计算机视觉领域一个由来已久的研究问题。主流自动表情分析的目标是从图像或视频中提取出一系列带有语义级信息的面部动作单元。通常采用FACS手册中的定义。FACS(Facial Action Coding System)是行为心理学家提出的一套研究面部表情的细分标注***。FACS***将面部动作分解为一系列的表情动作单元(Action Unit,AU)。每一个动作单元与一个或多个面部肌肉运动相关。

当前大部分的表情分析研究都假定训练(源)数据和测试(目标)数据来自同一个数据分布。在分析时通常采用如下步骤：首先在事先采集好的训练(源)数据集上训练预测模型，再将预测模型应用于测试(目标)数据集。用于训练的视频数据要求带有表情标签，而表情标签通常由受过专业训练的标注者人工标注得到。

目前可用于训练的视频数据基本在实验室受控成像环境下采集得到。而实际应用则要求在真实环境下的图像上测试。真实环境人脸图像中的长相，姿态和光照等因素的变化往往远超出训练数据的范围。此时，训练和测试数据之间的数据领域(domain)差异就不能被忽略。这种差异导致传统算法训练得出的预测模型不能在测试视频上获得与训练集内一致的性能。

为此，本发明提出一种具有领域自适应能力的表情分析方法。该方法假设训练数据与测试数据来自不同的数据领域，并设计相应算法步骤，使得预测模型适应测试数据领域。

发明内容

本发明的目的是解决表情分析中训练与测试数据领域差异阻碍预测精度的问题，从而使得表情分析***更适合实际应用环境。本发明提出了一种具有领域自适应能力的表情分析方法。着眼于个人移动终端应用环境，我们对每一个受试对象定义一个数据领域。对象数据领域由所有采集自该对象的视频数据组成。本方法首先通过一种构建辅助预测问题的方式来定义对象领域之间的距离。这种距离定义反映了对象领域中几何特征和表观特征之间的相关性。基于对象领域之间距离，我们在源数据集中选取与测试对象数据性质相近的对象，组成训练集。在训练集上，我们采用加权协同训练的方式，将部分测试对象视频数据直接用于模型训练，使得预测模型进一步接近测试数据领域。

与现有技术相比，本发明的优势在于：解决了训练数据与测试数据相隔离的问题，使得表情动作预测模型适应于测试数据。所提出表情分析算法对测试和训练领域差异具有更好的鲁棒性，扩大了表情分析技术的实际应用范围。

附图说明

图1：人脸特征点检测结果示意

图2：参考人脸形状

图3：图像对齐结果示意

图4：算法整体流程图

具体实施方式

本发明是一种具有领域自适应能力的自动人脸表情分析方法。本发明以FACS中定义的人脸面部动作单元(Action Unit，AU)作为表情分析的目标。AU是一组定义在面部肌肉运动上的动作单元。例如AU 12代表嘴角上扬，语义上基本等同于“笑”这个动作。在充分利用两类人脸图像特征之间相关又互补性质的基础上，本发明提出方法可以全自动的分析测试对象视频，给出特定AU在每一帧中出现与否的标签。

利用现有技术，我们可以检测人脸特征点。我们选用SDM(SupervisedDescent Machine)技术在人脸视频中的每一帧检测人脸特征点。人脸特征点的检测结果示意见图1。

除了我们关心的表情信息之外，人脸视频中还包含着头部姿态，焦距，拍摄角度和距离的等影响因素。为了消除这些干扰因素对表情分析的影响，我们将人脸表***向参考人脸形状对齐。我们预先选定一个固定大小(200X 200像素)的参考人脸形状，如图2中所示。对每一张人脸图像，我们利用ProcrustesAnalaysis来计算最优的尺度，(平面内)旋转和平移变换，使得人脸图像与参考形状最接近。Procrustes Analaysis是形状分析领域的一种研究手段，可用于形状对齐。我们利用计算得到的最优变换参数，对人脸图像进行纹理映射。这个过程被称为图像对齐，它保证了参与训练和测试的所有人脸图像在统一的尺度上进行比较，并且不受头部姿态(平面内)偏转的影响。对齐后的人脸图像和特征点如图3所示。

根据FACS手册中对各个AU的描述，我们定义几何特征和表观特征两类特征。几何特征指的是由人脸特征点计算出的一系列角度和距离等几何测量，包括嘴角的开合角，鼻尖到眼角的距离和眼睛的高度等。我们将几何特征记为f₁。同时，表观特征则描绘了人脸图像中纹理，边缘，曲线方向等信息。我们将表观特征记为f₂。本发明选用SIFT(Scale Invariant Feature Transform)的描述子作为表观特征。通常SIFT描述子的提取位置和尺度由SIFT检测子得到，而在本发明中我们选择一组由人脸特征点决定的固定提取位置。同时我们固定SIFT的提取尺度。结合之前描述的图像对齐步骤，我们保证了训练和测试中所有人脸图像上提取到的SIFT描述子可以在统一平台上做比较。

基于辅助预测问题的训练对象集合选取部分：

本发明所述表情分析方法的输入数据包括带有表情标签的源数据集D_S，和测试对象数据U＝{X^t}。表情分析方法的目标是预测测试对象的表情标签L中的X^s为事先采集得到的人脸表***，而Y^s则是相对应的表情标签。Y^s通常由受过专业训练的标注者人工给出，包含特定AU在每一帧是否出现的信息。U中的X^t为测试对象人脸面部视频。在这里我们假定U中仅有一名测试对象，我们认为U构成该对象的数据领域。

在本发明中，我们提出一种新的在源数据集L中选取训练对象的策略。与现有技术中使用所有训练数据或随机采样不同，我们在L中选取与U数据特征相近的n个对象，组成集合L′，用于训练预测模型。通过这种选择，我们将训练数据集从与U无关的L转化成更适应U的L′，以达到领域自适应的目的。

我们利用几何特征f₁和表观特征f₂之间的关联性来选择与U相近的对象。设计这种策略主要是基于以下两点考虑。

a.几何特征与我们要预测的表情动作单元紧密关联，同时高度抽象，相对不容易受到对象特点的影响。在提出的训练对象选择策略中，几何特征起到“桥梁”的作用。

b.通过分析各个对象几何特征和表观特征的关联性模式，我们可以寻找与U性质相近的对象。在接近U的数据领域学习。

具体地，我们首先利用几何特征f₁建立一组辅助预测问题。假设f₁包含l₁维度。对f₁中的每一维度f₁(i)，我们建立并求解如下辅助问题：

a.建立辅助标签。对每一个样本，建立辅助标签其中是f₁(i)在L中的平均值，而sign(·)表示取符号运算。

b.对每一个对象j的全部样本，利用f₂训练线性SVM模型，来预测辅助标签Y₁(i)。训练所得线性SVM模型的权重向量记为w_j(i).

对每一个对象j，通过求解上述的l₁个辅助问题，我们可以获得一组辅助预测模型权重向量{w_j(i)}_i，其中每一项w_j(i)为对象j在由f₁(i)建立的辅助预测问题上的线性SVM权重向量。将这组权重向量拼接，我们对每一个对象建立一个辅助预测模型长向量W_j＝[w_j(1)^T，w_j(2)^T，...，w_j(l₁)^T]^T，其中l₁是f₁的维度。W_j的维度为l₁×l₂，其中l₂是f₂的维度。辅助预测模型长向量W_j代表的是在对应对象数据上表观特征和几何特征之间的关联性，反应了对象的数据特性。因此，基于对象的辅助预测模型矩阵，我们可以将任意两个对象j和k之间的距离定义为对应的W_j和W_k两个矩阵之间的距离。具体地，对象j和k之间的距离d_jk被定义为：d_jk＝Σ|W_j-W_k|-Σ_sign(W_jοW_k)，其中Σ表示叠加向量中的所有元素，而ο代表矩阵Hadamard积，即对应元素相乘。在这种新的距离定义中，Σ|W_j-W_k|项的作用是在考察各个对应元素取值接近的情况，而Σsign(W_jοW_k)项则是考察对应元素符号一致的情况。考虑到W_j的物理意义是线性SVM的权重向量，在寻找数据特性相近对象这个应用上，符号一致甚至比取值接近更为重要。基于对象间的距离，我们在L中选取n个与U最接近的对象，组成训练集L′。

基于样本加权的协同训练部分：

在选取得到的训练集L′和测试对象U上，我们提取几何特征和表观特征，利用加权协同训练的方法，分别训练对应的几何特征和表观特征预测器。在本发明中，我们提出一套给协同训练样本加权重的策略。通过加权，预测模型将更有效的适应测试数据领域U，同时具有更好的鲁棒性。

预测器训练方法选用线性支持向量机(linear Support Vector Machine,SVM)。为了使得不同SVM模型的输出可以一起比较，在训练时，我们采用PlattScaling的方法来处理SVM的输出。经过这个步骤，各个SVM模型的输出具有统一的概率含义。我们在测试时将其用于评价预测的置信度。

具体的，首先我们在L′上利用线性SVM训练几何特征预测器h₁和表观特征预测器h₂。为方便讨论，我们将h₁和h₂的训练集分别称为L₁′和L₂′。在输入测试对象数据U上，我们采用与在L′上一致的方法，检测人脸特征点，提取几何特征f₁和表观特征f₂。然后，我们循环执行以下步骤:

a.将h₁应用于测试对象数据U，获得预测标签将h₂应用于U，获得预测标签

b.在U中，选取h₁以较高置信度预测的，且不在L₂′中样本。以作为伪标签，加入h₂的训练集合L₂′。类似的，选取h₂高置信度新样本，加入L₁′。

c.对于L₁′和L₂′中每一个训练样本x，赋予训练权重Q_x。

d.基于训练权重Q_x，重新训练h₁和h₂。

这个循环过程的终止条件是U中没有新的高置信度样本可以加入L₁′或L₂′。所谓高置信度指的是h₁或h₂预测时的置信度高于事先设定的阈值。

训练样本权重Q_x根据来自U中样本的正负样本比例和h₁与h₂之间的差值来计算。具体地：

$Q_x=\left\{\begin{array}{cc}1+a{R}_{\mathrm{skew}}\left(x\right)+b|h_1\left(x\right)-h_2\left(x\right)|& \mathrm{ifx}\∈U\\ 1& \mathrm{ifx}\∈L^{\′}\end{array}\right.$

其中a和b是预先设定的大于零的常数，由在数据库中通过交叉验证(crossvalidation)选取得到。而R_skew(x)则考察所有来自U中样本的正负样本不均衡的程度。如果x的伪标签为+1，那么R_skew(x)为所有来自U中样本中负样本个数与正样本的个数的比率。反之，伪标签为-1，R_skew(x)则是正样本个数与负样本个数之比。

通过基于R_skew(x)加权重的方式，在训练预测模型时，我们给予样本个数较少的类更多的权重。这种策略均衡了来自U中正负两方面样本的影响。同时，通过给予|h₁(x)-h₂(x)|较大的样本更多的权重，我们实际上放大了几何特征和表观特征之间互补性质的效果。

基于优势预测的模型融合部分：

在加权协同训练过程完成后，我们将h₁和h₂融合组成最终表情分析预测模型h。融合采用加权求和的方式。在本发明中，我们提出一种新的权重计算策略。模型权重基于预测得到的几何特征相对于表观特征在U上的优势。具体的有：h＝v₁h₁+v₂h₂，v₁和v₂由优势预测模型h_1v2在U上的输出计算得到。

优势预测模型h_1v2的目的是预测几何特征相对于表观特征的优势。这里的优势指的是在测试对象数据U，执行表情分析任务时性能的优势。如果h_1v2以较高的置信度预测几何特征将在U的表情分析任务中具有较优的性能，则对h₁设置较大的权重v₁。反之，则对h₂设置较大的权重v₂。

优势预测模型h_1v2由在L上做二值化分类训练得到。通过在L中进行舍一交叉验证(leave-one-out cross validation)，我们可以获得在每一个对象j上，几何特征模型和表观特征模型各自的性能。我们将几何特征模型具有性能优势的对象作为正样本，而将表观特征模型具有性能优势的对象作为负样本，由{W_j}_j作为训练数据，利用线性SVM训练得到优势预测模型h_1v2。我们在训练时采用PlattScaling的方法，使得h_1v2的输出在[0，1]之间，所代表的是几何特征具有性能优势的概率。

在测试中，我们将h_1v2应用于U。基于其输出，设置模型融合权重：V₁＝h_1v2(U)+λ，v₂＝1-h_1v2(U)+λ。其中λ是预先设置的正则项，目的是避免某一特征的影响被完全掩盖。λ通常设置为1。

最终，我们将h应用于U上，获得表情分析结果。算法整体描述如下：

Data：带有表情标签的源数据集L＝{X^s，Y^s},和测试对象数据U＝{X^t}

Result：测试对象预测表情标签

1.根据FACS中关于选定面部动作单元的描述，定义几何特征f₁和表观特征f₂

2.选取L中与测试对象U相近的对象集合，组成训练集

2.1对f₁中的每一维度f₁(i)，建立辅助预测问题，由f₂训练线性SVM预测模型

2.2对每个对象j，构建辅助预测模型长向量W_j＝[w_j(1)^T，w_j(2)^T，...，w_j(l₁)^T]^T，其中w_j(i)为对象j在由f₁(i)建立的辅助预测问题上的线性SVM权重向量，l₁是f₁的维度

2.3计算L中所有对象与U之间的距离，对象j和k之间的距离被定义为W_j和W_k之间的距离

2.4在L中选择n个与U距离最小的对象，组成训练集L′

3.加权协同训练预测模型h₁和h₂

在L′上，利用f₁训练预测模型h₁,利用f₂训练预测模型h₂

将h₁和h₂的训练集分别记为L₁′和L₂′

while U中依然存在高置信度新样本可加入训练集L₁′和L₂′do

{

将h₁应用到U上，选取高置信度样本，加入L₂′；类似地，将h₂高置信度样本加入L₁′

对L₁′和L₂′中每一训练样本x，根据提出的权重计算策略，赋予权重Q_x

基于样本权重Q_x，重新训练h₁和h₂

}

4.融合最终预测模型h，输出预测表情标签

将预先训练得到的几何特征优势预测模型h_1v2应用于U上，计算权重v₁和v₂

融合预测模型，h＝v₁h₁+v₂h₂

输s出预测表情标签，

整体流程图见图4。由于本发明所述方法具有领域适应性，不再要求测试数据和训练数据来自同一个分布，本发明更符合实际场景，在人机交互和情感计算领域有着广泛的潜在应用。

以上所述的是本发明的一个优选实施方式，应当指出：在不脱离本发明原理的前提下，本研究领域的技术人员做出的若干改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种领域自适应人脸表情分析方法，其特征在于如下步骤：

(1)根据FACS手册中关于表情动作单元的描述，定义人脸面部几何特征f₁和表观特征f₂；

(2)构建辅助预测问题，由几何特征f₁计算标签，由表观特征f₂预测标签，记录预测参数向量；

(3)由预测参数向量定义对象之间的距离，距离定义包括取值接近和符号一致两部分，在训练集L中选取与测试对象U距离相近的训练对象，组成训练集

(4)采用加权协同训练，训练预测模型h₁和h₂，训练样本权重计算包含正负样本个数比例和h₁与h₂分值的绝对差值两个因素；

(5)利用预先训练的优势预测模型h_1v2，融合h₁和h₂得到模型h，输出最终预测结果。

2.根据权利要求1所述的方法，其特征在于:

所述的几何特征和表观特征具有独立的表情分析能力，同时具有互补性。

3.根据权利要求1所述的方法，其特征在于:所述步骤(1)中特征定义进一步包括：

(1.1)几何特征由角度，长度等几何度量组成，基于人脸特征点计算得出；

(1.2)表观特征选用固定位置和尺度的SIFT描述子。

4.根据权利要求1所述的方法，其特征在于:所述步骤(4)加权协同训练样本进一步包括：权重计算中，正负样本个数的比例统计所有来自测试对象U的样本，记为R_skew(x)。

5.根据权利要求1所述的方法，其特征在于:所述步骤(4)加权协同训练

样本进一步包括：权重计算的具体公式为：

$Q_x\text{=}\left\{\begin{array}{ccc}1+a{R}_{\mathrm{skew}}\left(x\right)+b|h_1\left(x\right)-h_2\left(x\right)|& \mathrm{if}& x\∈U\\ 1& \mathrm{if}& x\∈L^{\′}\end{array}\right.$

其中a和b是预先设定的大于零的常数，通过在数据库中进行交叉验证(crossvalidation)选取得到。

6.根据权利要求1所述的方法，其特征在于:所述步骤(5)进一步包括：利用预先训练优势预测模型h_1v2，预测几何特征f₁在测试对象U上相对于表观特征f₂处于优势的概率，融合几何特征模型h₁和表观特征模型h₂。