CN113095201A - 基于人脸不同区域间自注意力和不确定性加权多任务学习的au程度估计模型建立方法 - Google Patents

Abstract

本发明公开了一种从人脸图像中对不同人脸肌肉运动单元AU进行运动变化程度估计的模型建立方法。该方法首先得到人脸不同区域的特征表达；其次利用自注意力机制编码不同区域特征的高级表征；最后，对所有AU的程度值进行多任务的学习，每一个AU程度值的可信度作为多任务学习时不同AU的权重，得到AU程度估计模型。本发明减少了特征提取过程的计算量，保证了提取到的特征更加的鲁棒。同时，可以有效的挖掘对特定AU识别时不同区域的关键信息。有效的降低数据集标注中噪声对训练带来的影响，挖掘了有效的AU标注和人脸样本。这种在模型中同时通过自注意力编码不同区域特征的方法，配合不确定度加权的多任务学习，明显的提高了AU程度估计的准确度。

Description

基于人脸不同区域间自注意力和不确定性加权多任务学习的 AU程度估计模型建立方法

技术领域

本发明采用深度卷积神经网络(CNN)、自注意力(Self-Attention)以及不确定性加权的多任务学习(Uncertainty Weighted Multi-task Learning)，涉及一种从人脸图像中对不同人脸肌肉运动单元(Facial Action Unit)进行运动变化程度估计的模型建立方法。

背景技术

人脸肌肉运动单元(AU)是描述面部肌肉变化的最小单位。自动AU识别领域近年来越来越受到人们的关注，如在人机交互领域中，机器可以自动识别被观测者面部肌肉AU的运动变化，从而估计出被观测者的情绪，并做出相应的反应。目前AU识别领域主要分为两类，一种是检测人脸肌肉AU运动单元是否出现，即将面部的肌肉运动分类为出现或不出现两种常见的状态；另外一种是连续的人脸肌肉AU运动单元程度估计，它将面部肌肉的状态用六个不同程度(0-5)进行表示，其中0表示没有出现，5表示出现时变化程度达到最高。正是因为人脸面部肌肉AU的程度估计可以更加精细描述人面部的情感状态，近年来对面部人脸肌肉AU的程度估计成为了研究的难点和热点。

在过去几年中，通过对人脸图像进行区域分析来进行AU的估计已经取得了许多重要的成果，并且大量的研究已经证明了基于区域分析方法提取出来的特征要优于直接从整幅图像提取特征的方法。文献“Pattnet:Patch-attentive deep network for actionunit detection,2019,in Proceedings of the British Machine Vision Conference(BMVC)”公开了一种基于区域注意力的AU识别方法。此方法使用人类先验知识将人脸划分为不同的区域，然后利用CNN提取不同区域的特征，最后通过sigmoid注意力机制实现在识别不同AU时，给予不同区域的特征不同的重要程度。但是，这种模型在提取特征时，由于不同区域需要不同的CNN模型，因此计算量较大；另外sigmoid注意力机制需要对不同的AU学习一个固定的查询向量(Query)，但是这样学习到的Query会依赖于训练所用的数据集，使得模型受到了一定的局限，导致对没有见过的人脸数据估计准确率降低，泛化性能差，无法达到精度的要求；另外该方法受限与人脸AU数量多，无法同时估计所有AU，需要对每一个AU单独建立一个模型，导致该方法计算量大，因此该方法具有一定的局限性且难以推广。

目前研究学者已经在AU程度估计模型中取得了一定的成果，然而由于人脸的复杂性和个体差异性，AU程度估计仍然面临以下挑战：

1)“面部肌肉运动单元AU之间相互依赖”问题。在AU程度估计任务中，不同的AU之间存在强相关性，主要体现在一些AU会同时出现，或某AU不会同时出现。在过去的AU程度估计研究中，为了建立不同AU之间的关系，多数方法通过统计模型学习不同AU之间的关系，但这种方法只能学习到所使用数据库中AU的统计特性，忽略了个体的差异性，导致模型难以泛化到为见过的人脸数据上，影响了模型的泛化能力和准确度。

2)“弱标注和噪声”问题。AU的运动是一个连续变化的过程，现有的数据集往往都局限于将AU的运动变化分为6个等级，这种标注方法会造成每一个等级内的数据具有较大的方差；另外，AU运动变化程度的标注往往受到标注员自身认知能力的影响，而且一个数据集往往由多位不同的标注人员共同标注完成，这样就更加增加了标注中的噪声问题。

综上所述，现有的AU程度估计方法受到了模型难以挖掘不同AU之间依赖关系的限制，导致无法从多方位准确的进行识别；另外在训练的过程中，标签中的大量噪声容易造成模型估计精度低，泛化能力差等问题。

发明内容

为了解决上面提到的这些问题，本发明设计了一种基于卷积神经网络(CNN)，自注意力机制(Self-Attention)、不确定性加权的多任务学习(Uncertainty Weighted Multi-task Learning)的AU程度估计模型建立方法，本发明的创新点如下：

1)为了避免传统人脸区域分析中，需要对不同区域单独计算导致计算量增大的问题，首先使用CNN提取整幅人脸的特征图，然后根据不同人脸区域的位置在特征图中的对应关系，提取不同区域的特征，从而有效的降低了模型的计算量。提取出不同区域的特征后，使用自注意力机制实现不同区域之间特征的依赖。对面部上的不同区域，每一个区域的信息都可以动态与其它区域进行交互，获取来自于其它区域中的互补的信息，完成了不同区域重要性的判断和不同区域信息的融合。

2)为了降低标注中的噪声对模型训练带来的影响，提出AU的程度表示为一个高斯分布而不是一个值，因此除了估计出一个均值作为AU的程度值外，还额外估计出标准差作为程度值的不确定度。最后在对所有AU进行多任务学习时，将不同AU的不确定度作为损失函数中的权值进行训练，对噪声较大的数据，该方法可以通过降低不确定值来降低损失函数的值，从而降低训练中带来的误差。

3)提出一套完整的AU程度估计模型，该模型共包含三个模块：①区域特征提取模块，利用CNN提取整幅人脸的特征图，再利用预定义的区域提取特征；②自注意力模块，使用自注意力实现不同区域之前特征的相互依赖，编码得到根据不同AU融合了不同区域互补信息的高级特征表达；③不确定性加权的多任务学习模块，对每一个AU，除了估计出它的程度值，还额外估计出该程度值的不确定度，作为权值作用在多任务学习中。

本发明解决其技术问题所采用的技术方案：卷积神经网络(CNN)，自注意力机制(Self-Attention)和不确定性加权多任务学习的AU程度估计模型建立方法，其特点如图1所示，包括了三个串联的子模块，下面将每一个子模块作为一个步骤来顺序描述：

步骤一、得到人脸不同区域的特征表达(图1-RoI-Net)。本发明中，将整幅人脸图像v首先输入到卷积神经网络E_s中，提取最后一层的卷积层的输出作为共享的特征图M_s，然后按照先验知识预定义的人脸区域，如图2所示，将人脸分为上中下三个区域，其中人脸上部分，从图像顶端到眼睛下侧，人脸中间部分，从眼睛下侧到鼻子下侧，人脸下部分，从鼻子下侧到图像最低端。利用RoIAlign方法提取对应的每一区域的特征集合M_r，最后对每一个人脸区域都单独使用一个浅层网络E_r得到每一个区域的特征表示，所述浅层网络E_r为两个卷积层中间包含一个Relu非线性激活层。

步骤二、利用Vanilla Transformer中的自注意力机制编码不同区域特征的高级表征(图1-Self-Attention)。首先对输入的不同区域的特征，按照Vanilla Transformer中位置编码的方法，对每一个区域得到的特征表示加入对应的位置信息(PositionEncoding)，然后送入Vanilla Transformer提出的自注意力模块，获取不同区域特征的依赖关系，通过迭代使用自注意力模块，可以逐渐的修正不同区域间特征的依赖关系。

步骤三、利用每一个区域的特征，通过一层的DNN回归出对应区域中所有AU的程度值和其中每一个AU程度值的可信度，最后对所有AU的程度值进行多任务的学习，每一个AU程度值的可信度作为多任务学习时不同AU的权重，得到AU程度估计模型。

本发明的有益效果是：通过先提取整幅人脸图像的特征图，并在特征图上提取不同区域的特征，可以减少特征提取过程的计算量，保证提取到的特征更加的鲁棒。同时，该发明提出了使用自注意力机制编码不同区域特征之间的依赖关系，可以有效的挖掘对特定AU识别时不同区域的关键信息。最后通过将每一个AU的程度值表示为一个高斯分布，即同时估计出每一个AU的程度值和其可信度，并将可信度作为权值加入到所有AU的多任务学习中，可以有效的降低数据集标注中噪声对训练带来的影响，挖掘了有效的AU标注和人脸样本。这种在模型中同时通过自注意力编码不同区域特征的方法，配合不确定度加权的多任务学习，明显的提高了AU程度估计的准确度。

附图说明

图1是本发明提出模型结构框图；

图2是本发明方法中预定义的人脸区域示意图。

具体实施方式

以下通过具体的实例对本发明的技术实施流程做进一步说明。

1、计算人脸不同区域的特征。

本发明首先对输入分辨率为112×112的图像v，使用参数为θ_s的卷积神经网络E_s(ResNet50),提取ResNet50中layer4后的输出(分辨率为28×28，通道数为512)作为特征图M_s：

M_s＝E_s(v；θ_s)

然后根据预定义的人脸区域位置r＝[r_upper,r_middle,r_lower](如图2中不同颜色框所示)，使用RoIAlign提取出不同位置的特征M_r：

M_r＝RoIAlign(M_s，r)

最后对不同区域使用结构相同(两个卷积层中间包含一个非线性激活函数Relu，其中两个卷积核的大小都为3，通道数为256)，但参数不同的卷积神经网络E_r＝[E_upper,E_middle,E_lower]分别提取不同区域的特征表达：

F_r＝E_r(M_r；θ_r)

2、利用自注意力机制编码不同区域特征。

自注意力机制主要包含两个模块，一个是多头注意力(Multi-head Attention(MHA))，另外一个前向全连接网络(Forward Fully-Connect Network(FFN))。自注意力将这两个模块串联起来，并迭代多次，比如对第l次迭代得到的特征矩阵Z^l，生成第l+1次迭代的特征矩阵Z^l+1的方法如下

C^l+1＝LN(MHA(Z^l)+Z^l)

Z^l+1＝LN(FFN(C^l+1)+C^l+1)

其中LN表示归一化LayerNorm。第一次迭代输入的特征是第一步人脸不同区域的特征，即Z⁰＝F。下面介绍MHA和FFN的计算方法：

a)多头注意力(Multi-head Attention(MHA))

多头注意力模块主要用于获取不同区域间特征的相互依赖，给定第l次迭代的输入特征矩阵Z^l，首先通过线性投影矩阵

将其映射到不同的子空间：

然后在每一个子空间中计算不同区域的权重：

每一个子空间的特征可以表示为不同区域的加权和：

最后将不同子空间的结果融合起来再通过线性映射得到最后的每个区域的特征表示：

b)前向传播模块(Forward Fully-Connected Network(FFN))

通过a)，我们得到了不同区域的特征表示，该特征表示融合了来自不同区域的信息，前向传播模块包括了两个线性映射和一个RELU非线性激活函数，其计算公式如下：

FFN(C^l+1)＝W₂ReLU(W₁C^l+1+b₁)+b₂

其中x为不同区域特征组成的特征矩阵，该前向传播模块可以提高模型的非线性拟合能力，使得模型更高得到更好的准确率。

3、不确定性加权的多任务学习

不同于传统方法中将AU的程度表示为一个单独的值，我们将AU的程度值表示为一个高斯分布：

由2中我们得到了不同区域的特征表达，每一个区域通过简单的线性映射预测该区域中包含的AU的均值作为程度值，并额外估计一个标准差作为不确定度。然后我们将不同AU进行多任务的学习，并将估计的不确定度作为权值作用在多任务学习的损失函数中：

本发明主要利用自注意力机制编码不同人脸区域特征获取依赖不同区域之间特征的依赖关系，另外将每一个AU的程度值表示为一个高斯分布，其中均值作为AU的程度值，标准差作为不确定度应用到所有AU的多任务学***均ICC(3,1)值可以达到0.66，平均MAE值可以达到0.30。

Claims (1)

1.基于人脸不同区域间自注意力和不确定性加权多任务学习的AU程度估计模型建立方法，其特征在于，包括如下三个步骤：

步骤一、得到人脸不同区域的特征表达：将整幅人脸图像v首先输入到卷积神经网络E_s中，提取最后一层的卷积层的输出作为共享的特征图M_s，然后按照先验知识预定义的人脸区域，将人脸分为上中下三个区域，其中人脸上部分，从图像顶端到眼睛下侧，人脸中间部分，从眼睛下侧到鼻子下侧，人脸下部分，从鼻子下侧到图像最低端；利用RoIAlign方法提取对应的每一区域的特征集合M_r，最后对每一个人脸区域都单独使用一个浅层网络E_r得到每一个区域的特征表示，所述浅层网络E_r为两个卷积层中间包含一个Relu非线性激活层；

步骤二、利用Vanilla Transformer中的自注意力机制编码不同区域特征的高级表征：首先对输入的不同区域的特征，按照Vanilla Transformer中位置编码的方法，对每一个区域得到的特征表示加入对应的位置信息，然后送入Vanilla Transformer提出的自注意力模块，获取不同区域特征的依赖关系，通过迭代使用自注意力模块，逐渐修正不同区域间特征的依赖关系；

步骤三、利用每一个区域的特征，通过一层的DNN回归出对应区域中所有AU的程度值和其中每一个AU程度值的可信度，，最后对所有AU的程度值进行多任务的学习，每一个AU程度值的可信度作为多任务学习时不同AU的权重，得到AU程度估计模型。

Images