CN108764207A - 一种基于多任务卷积神经网络的人脸表情识别方法 - Google Patents

Abstract

一种基于多任务卷积神经网络的人脸表情识别方法，首先设计多任务卷积神经网络结构，在网络中依次提取所有表情共享的低层语义特征和多个单表情判别性特征；然后采用多任务学***衡网络的损失；最后根据训练好的网络模型，从模型最后的柔性最大分类层得到最终的人脸表情识别结果。将特征提取与表情分类放在一个端到端的框架中进行学习，从输入图片中提取出判别性特征，对输入图片做出可靠地表情识别。通过实验分析可知，本算法性能卓越，可有效地区分复杂的人脸表情，在多个公开的数据集上都取得了良好的识别性能。

Description

一种基于多任务卷积神经网络的人脸表情识别方法

技术领域

本发明涉及计算机视觉技术，尤其是涉及一种基于多任务卷积神经网络的人脸表情识别方法。

背景技术

在过去的几十年时间里，人脸表情自动识别已经吸引了越来越多计算机视觉的专家和学者广泛的关注。人脸表情识别的目标是，对给定的人脸表情图片，设计一种***，能够自动预测其所属的人脸表情类别。人脸表情自动识别技术有着广泛的应用场景，如人机交互，安全驾驶和医疗保健等。尽管这些年来这项技术已经取得了不小的成功，但是在不可控的环境条件下进行可靠的人脸表情自动识别仍然是一个巨大的挑战。

一个人脸表情识别***包括三个模块：人脸检测、特征提取和人脸表情分类。其中，人脸检测技术已经发展得相当成熟，目前的人脸表情识别方法主要集中解决特征提取和人脸表情分类这两个模块。通常来说，这些技术可大致分为两类：基于手工设计特征的方法和基于卷积神经网络特征的方法。Zhong等人(L.Zhong,Q.Liu,P.Yang,J.Huang,D.N.Metaxas,“Learning active facial patches for expression analysis”,in IEEEConference on Computer Vision and Pattern Recognition(CVPR),2012,pp.2562–2569.)提出了一种多任务稀疏学习方法，该方法使用多任务学习从人脸表情图片中提取通用人脸区域和特定人脸区域，其中，通用人脸区域对所有表情的识别都有作用，特定人脸区域只对特定一种表情的识别有作用。然而，这种方法所提取出的通用人脸区域和特定人脸区域可能会有重合，为了解决这个问题，Liu等人(P.Liu,J.T.Zhou,W.H.Tsang,Z.Meng,S.Han,Y.Tong,“Feature disentangling machine-a novel approach of featureselection and disentangling in facial expression analysis”,in EuropeanConference on Computer Vision(ECCV),2014,pp.151–166.)提出了一种人脸表情特征分解的方法，该方法将稀疏SVM和多任务学习结合到一个框架中，从人脸表情图片中直接提取两种没有重合的特征：通用特征和特定特征，通用特征被所有表情所共享，而特定特征用于识别特定的一种表情。然而，这些基于手工设计特征的方法将特征学习和分类器训练分开进行，可能会导致比较差的泛化性能。最近，卷积神经网络在计算机视觉领域取得了重大的突破。借助卷积神经网络，许多计算视觉领域的工作取得了非常不错的结果。多数的卷积神经网络模型是通过在交叉熵损失监督下训练得到的。虽然利用交叉熵损失学习到的特征是可分的，但是只用交叉熵损失来训练网络可能无法得到令人满意的判别性的特征分布。最近Wen等人(Y.Wen,K.Zhang,Z.Li,Y.Qiao,“A discriminative feature learning ap-620proach for deep face recognition”,in European Conference on ComputerVision(ECCV),2016,pp.499–515.)提出一种类内损失作为卷积神经网络的辅助监督信号。类内损失可以有效地减小特征的类内差异性，然而，类内损失并没有显式地扩大特征的类间差异性。

发明内容

本发明的目的在于提供一种基于多任务卷积神经网络的人脸表情识别方法。

本发明包括以下步骤：

1)准备训练样本集i＝1,...,N，j＝1,...c，其中，N为样本的数目，c表示训练样本集包含的类别数，N和c为自然数；P_i表示第i个训练样本对应的固定大小的图像；表示第i个训练样本对于第j类表情的类别标签：

2)设计多任务卷积神经网络结构，网络由两部分组成，第一部分用于提取图片的低层语义特征，第二部分用于提取图片的高层语义特征以及预测输入人脸图片所属的表情类别；

3)在设计好的多任务卷积神经网络里，采用多任务学习，同时执行多个单表情判别性特征学习任务以及多表情识别任务，并使用一种联合损失来监督每个单表情判别任务，用于学习对某种表情具有判别性的特征；

4)使用大的人脸识别数据集，利用反向传播算法进行预训练；

5)使用给定的人脸表情训练样本集进行微调，得到训练好的模型；

6)利用训练好的模型进行人脸表情识别。

在步骤2)中，所述设计多任务卷积神经网络结构的具体方法可为：

(1)网络的第一部分为全卷积网络，用于提取输入图像的中被所有表情所共享的低层语义特征，对于网络的第一部分，采用预激活残差单元结构(K.He,X.Zhang,S.Ren,J.Sun,“Identity Mappings in Deep Residual Networks”,arXiv:1603.05027,2016.)堆叠多个卷积层；

(2)网络的第二部分由多个并行的全连接层和一个用于多表情分类的柔性最大(softmax)分类层组成，多个并行的全连接层的个数与训练样本集包含的类别数一致，每个并行的全连接层接收网络的第一部分所输出的特征作为输入，获得所有并行的全连接层的输出之后，将这些输出串联起来，作为柔性最大分类层的输入。

在步骤3)中，所述在设计好的多任务卷积神经网络里，采用多任务学习，同时执行多个单表情判别性特征学习任务以及多表情识别任务的具体方法可为：

(1)每个单表情判别性特征学习任务，用于学习对特定一个表情具有判别性的特征，第j个任务对应所有并行的全连接层中的第j个全连接层，每个单表情判别性特征学习任务需要学习两个向量和作为两种样本的类中心，表示第j类表情特征的类中心，表示除第j类表情之外，其他类表情特征的类中心，计算样本特征到每个类中心的距离，具体计算公式如下所示：

其中，表示输入训练样本P_i在第j个全连接层得到的特征。为标签，表示属于第j类表情，表示不属于第j类表情，||.||₂表示欧式距离，是正距离，表示样本特征到所属类中心的欧氏距离的平方，是负距离，表示样本特征到另一个类中心的欧氏距离的平方；

(2)在和的基础上，对每个输入样本，计算如下两种损失：

其中是在单个样本上的类内损失，是在单个样本上的类间损失，α是边界阈值，用于控制和的相对间隔；

(3)在每个样本上，使用样本敏感损失权重对两种损失和进行加权：

其中，和分别是样本的类内损失和类间损失的损失敏感权重，通过一种调制函数得来，调制函数公式如下：

调制函数δ(x)将输入的样本损失归一化到区间[0,1)，作为样本的损失敏感权重，和分别对应第j个表情的类内损失和类间损失，m为第j个任务训练时的样本数量；

(4)对每个表情，使用动态表情权重对两种损失和进行加权，所有单表情判别性特征学习任务的联合损失为：

其中，和分别是第j个任务的类内损失和类间损失的动态表情权重，由柔性最大函数计算得来，计算公式如下：

经过柔性最大函数计算得到的权重之和为1.0，即

(5)将所有单任务学习到的特征串联起来，输入到柔性最大分类层进行分类，对柔性最大分类层计算交叉熵损失：

其中，网络计算得到的表明训练样本P_i属于第j类表情的概率；

(6)联合损失和交叉熵损失构成网络的总损失：

L_total＝L_J+L_cls。 (12)

整个网络通过反向传播算法进行优化。

本发明首先设计多任务卷积神经网络结构，在网络中依次提取所有表情共享的低层语义特征和多个单表情判别性特征；然后采用多任务学***衡网络的损失；最后根据训练好的网络模型，从模型最后的柔性最大分类层得到最终的人脸表情识别结果。

本发明使用多任务学***衡网络的损失，使得网络在训练过程中可以很好地聚焦到难以分类的样本与难以分类的表情。本发明将特征学习与表情分类放在一个网络中执行，优化了人脸表情识别的结果，达到了端到端的训练。

附图说明

图1为本发明实施例的框架图。

图2为在CK+数据集上，本发明提出的方法在不同设置下学习到的特征交叉熵损失可视化图。

图3为在CK+数据集上，本发明提出的方法在不同设置下学习到的特征交叉熵损失和类内损失可视化图。

图4为在CK+数据集上，本发明提出的方法在不同设置下学习到的特征交叉熵损失、类内损失和类间损失可视化图。

具体实施方式

下面结合附图和实施例对本发明的方法作详细说明。

参见图1，本发明实施例的实施方式包括以下步骤：

1.设计多任务卷积神经网络。对输入的图像，使用网络的第一部分提取图像的低层语义特征，在所提取的低层语义特征基础上，使用多个并行的全连接层进一步提取网络的高层语义特征。

2.在设计好的多任务卷积神经网络里，采用多任务学习，同时执行多个单表情判别性特征学习任务以及多表情识别任务，并使用一种联合损失来监督每个单表情判别任务，用于学习对某种表情具有判别性的特征。

B1.每个单表情判别性特征学习任务，用于学习对特定一个表情具有判别性的特征。第j个任务对应所有并行的全连接层中的第j个全连接层。每个单表情判别性特征学习任务需要学习两个向量和作为两种样本的类中心。表示第j类表情特征的类中心，表示除第j类表情之外，其他类表情特征的类中心。计算样本特征到每个类中心的距离，具体计算公式如下所示：

其中，表示输入训练样本P_i在第j个全连接层得到的特征。为标签，表示属于第j类表情，表示不属于第j类表情，||.||₂表示欧式距离，是正距离，表示样本特征到所属类中心的欧氏距离的平方，是负距离，表示样本特征到另一个类中心的欧氏距离的平方。

B2.在和的基础上，对每个输入样本，计算如下两种损失：

其中，是在单个样本上的类内损失，是在单个样本上的类间损失。α是边界阈值，用于控制和的相对间隔。

B3.在每个样本上，使用样本敏感损失权重对两种损失和进行加权：

其中，和分别是样本的类内损失和类间损失的损失敏感权重，通过一种调制函数得来，调制函数公式如下：

调制函数δ(x)将输入的样本损失归一化到区间[0,1)，作为样本的损失敏感权重。和分别对应第j个表情的类内损失和类间损失。m为第j个任务训练时的样本数量。

B4.对每个表情，使用动态表情权重对两种损失和进行加权，所有单表情判别性特征学习任务的联合损失为：

其中，和分别是第j个任务的类内损失和类间损失的动态表情权重，由柔性最大函数计算得来，计算公式如下：

经过柔性最大函数计算得到的权重之和为1.0，即

B5.将所有单任务学习到的特征串联起来，输入到柔性最大分类层进行分类。对柔性最大分类层计算交叉熵损失：

其中，网络计算得到的表明训练样本P_i属于第j类表情的概率，

B6.联合损失和交叉熵损失构成网络的总损失：

L_total＝L_J+L_cls。 (12)

整个网络通过反向传播算法进行优化。

3.使用大的人脸识别数据集，利用反向传播算法进行预训练。

4.使用给定的人脸表情训练样本集进行微调，得到训练好的模型。

5.利用训练好的模型而已进行人脸表情识别。

图2～4为在CK+数据集上，本发明提出的方法在不同设置下学习到的特征可视化图。

表1

表1为在CK+，Oulu-CASIA和MMI数据集上，本发明提出的方法与其他方法的人脸表情结果对比。其中

LBP-TOP对应G.Zhao等人提出的方法(G.Zhao,M.Pietikainen,“Dynamic texturerecognition using local binary patterns with an application to facialexpressions”,in IEEE Transactions on Pattern Analysis and MachineIntelligence 29(6)(2007)915–928.)；

STM-ExpLet对应M.Liu等人提出的方法(M.Liu,S.Shan,R.Wang,X.Chen,“Learning expressionlets on spatiotemporal manifold for dynamic facialexpression recognition”,in IEEE Conference on Computer Vision andPatternRecognition(CVPR),2014,pp.1749–1756)；

DTAGN对应H.Jung等人提出的方法(H.Jung,S.Lee,J.Yim,S.Park,“Joint fine-tuning in deep neural networks for facial expression recognition”,in IEEEInternational Conference on ComputerVision(ICCV),2015,pp.2983–2991)；

PHRNN-MSCNN对应K.Zhang等人提出的方法(K.Zhang,Y.Huang,Y.Du,L.Wang,“Facial expression recognitionbased on deep evolutional spatial-temporalnetworks”,in IEEE Transactions on Image Processing 26(9)(2017)4193–4203)。

本发明将特征提取与表情分类放在一个端到端的框架中进行学习，可以有效地从输入图片中提取出判别性特征，并且对输入图片做出可靠地表情识别。通过实验分析可知，本算法性能卓越，可以有效地区分复杂的人脸表情，在多个公开的数据集上都取得了良好的识别性能。

Claims (3)

1.一种基于多任务卷积神经网络的人脸表情识别方法，其特征在于包括以下步骤：

1)准备训练样本集i＝1,...,N，j＝1,...c，其中，N为样本的数目，c表示训练样本集包含的类别数，N和c为自然数；P_i表示第i个训练样本对应的固定大小的图像；表示第i个训练样本对于第j类表情的类别标签：

2)设计多任务卷积神经网络结构，网络由两部分组成，第一部分用于提取图片的低层语义特征，第二部分用于提取图片的高层语义特征以及预测输入人脸图片所属的表情类别；

3)在设计好的多任务卷积神经网络里，采用多任务学习，同时执行多个单表情判别性特征学习任务以及多表情识别任务，并使用一种联合损失来监督每个单表情判别任务，用于学习对某种表情具有判别性的特征；

4)使用大的人脸识别数据集，利用反向传播算法进行预训练；

5)使用给定的人脸表情训练样本集进行微调，得到训练好的模型；

6)利用训练好的模型进行人脸表情识别。

2.如权利要求1所述一种基于多任务卷积神经网络的人脸表情识别方法，其特征在于在步骤2)中，所述设计多任务卷积神经网络结构的具体方法为：

(1)网络的第一部分为全卷积网络，用于提取输入图像的中被所有表情所共享的低层语义特征，对于网络的第一部分，采用预激活残差单元结构堆叠多个卷积层；

(2)网络的第二部分由多个并行的全连接层和一个用于多表情分类的柔性最大分类层组成，多个并行的全连接层的个数与训练样本集包含的类别数一致，每个并行的全连接层接收网络的第一部分所输出的特征作为输入，获得所有并行的全连接层的输出之后，将这些输出串联起来，作为柔性最大分类层的输入。

3.如权利要求1所述一种基于多任务卷积神经网络的人脸表情识别方法，其特征在于在步骤3)中，所述在设计好的多任务卷积神经网络里，采用多任务学习，同时执行多个单表情判别性特征学习任务以及多表情识别任务的具体方法为：

(1)每个单表情判别性特征学习任务，用于学习对特定一个表情具有判别性的特征，第j个任务对应所有并行的全连接层中的第j个全连接层，每个单表情判别性特征学习任务需要学习两个向量和作为两种样本的类中心，表示第j类表情特征的类中心，表示除第j类表情之外，其他类表情特征的类中心，计算样本特征到每个类中心的距离，具体计算公式如下所示：

其中，表示输入训练样本P_i在第j个全连接层得到的特征，为标签，表示属于第j类表情，表示不属于第j类表情，||.||₂表示欧式距离，是正距离，表示样本特征到所属类中心的欧氏距离的平方，是负距离，表示样本特征到另一个类中心的欧氏距离的平方；

(2)在和的基础上，对每个输入样本，计算如下两种损失：

其中是在单个样本上的类内损失，是在单个样本上的类间损失，α是边界阈值，用于控制和的相对间隔；

(3)在每个样本上，使用样本敏感损失权重对两种损失和进行加权：

其中，和分别是样本的类内损失和类间损失的损失敏感权重，通过一种调制函数得来，调制函数公式如下：

调制函数δ(x)将输入的样本损失归一化到区间[0,1)，作为样本的损失敏感权重，和分别对应第j个表情的类内损失和类间损失，m为第j个任务训练时的样本数量；

(4)对每个表情，使用动态表情权重对两种损失和进行加权，所有单表情判别性特征学习任务的联合损失为：

其中，和分别是第j个任务的类内损失和类间损失的动态表情权重，由柔性最大函数计算得来，计算公式如下：

经过柔性最大函数计算得到的权重之和为1.0，即

(5)将所有单任务学习到的特征串联起来，输入到柔性最大分类层进行分类，对柔性最大分类层计算交叉熵损失：

其中，网络计算得到的表明训练样本P_i属于第j类表情的概率；

(6)联合损失和交叉熵损失构成网络的总损失：

L_to_tal＝L_J+L_cls

整个网络通过反向传播算法进行优化。