CN111626113A - 一种基于面部动作单元的面部表情识别方法和装置 - Google Patents

Abstract

本发明实施例公开了一种基于面部动作单元的面部表情识别方法和装置，其中，所述方法包括：利用人脸关键点检测技术对采集的含有人脸区域的图片数据进行预处理，将人脸区域细分成若干个面部动作单元触发区；利用预设的三维卷积神经网络识别模型对所述面部动作单元进行识别，获得面部动作单元的特征；将获得的面部全局特征与所述面部动作单元的特征进行特征融合，获得面部表情融合特征；将所述面部表情融合特征输入到预设的高斯过程分类器，利用所述高斯过程分类器对人脸面部表情进行识别，输出面部表情识别结果。采用本发明所述的方法，能够基于面部动作单元进行表情识别，更有利于微小表情的识别，提升了面部表情识别性能和鲁棒性。

Description

一种基于面部动作单元的面部表情识别方法和装置

技术领域

本发明实施例涉及计算机视觉领域，具体涉及一种基于面部动作单元的面部表情识别方法和装置。另外，还涉及一种电子设备和存储介质。

背景技术

近年来，随着经济社会的快速发展，人们对智能化生活的需求日益增高。人工智能技术的不断发展成熟，而高质量的人机交互体验是提升和完善智能化生活品质的必要条件，因此，人机交互过程中对用户的情绪分析是关键的一个环节。由于面部表情在人类的情绪表达中起到了非常重要的作用，通过对面部表情进行分析可以获得丰富的情绪信息。另外，面部表情的获取只需要使用摄像头进行捕捉，获取方式便捷。因此面部表情的分析在当前的智能产品中有着广泛的应用前景。

但是，现有的面部表情识别算法只在较为宏观的基本表情的有很好的效果，有的时候微观表情在面部表现并不明显。因为其面部特征相比于宏观表情的面部特征变化比较微小，且表情之间的差异并不明显。因此，仅依靠传统的机器学习方法并不能有效的解决微表情的识别问题。而微表情的分析并不只是人工智能领域专有的课题，解剖学领域在该课题上也有大量的研究成果，面部活动单元就是解剖学领域关于微表情分析这一课题的研究成果，通过面部活动单元进一步了解到面部肌肉运动与面部表情之间关联，能够为微表情的分析提供大量的先验知识，运用到人工智能领域能够有效的辅助面部表情的识别。所以，面部活动单元在面部表情识别研究中的应用受到了广泛关注，同时基于面部活动单元的面部表情识别技术也成为了计算机视觉领域的重要研究课题之一。因此，如何基于面部动作单元准确识别面部表情信息成为当前迫切需要解决的问题。

发明内容

为此，本发明实施例提供一种基于面部动作单元的面部表情识别方法，以解决现有技术中存在的机器学习方法无法有效的解决微表情的识别问题。

为了实现上述目的，本发明实施例提供如下技术方案：

根据本发明实施例提供的一种基于面部动作单元的面部表情识别方法，包括：采集含有人脸区域的图片数据；利用人脸关键点检测技术对含有人脸区域的图片数据进行预处理，将人脸区域细分成若干个面部动作单元触发区；利用预设的三维卷积神经网络识别模型对所述面部动作单元进行识别，获得面部动作单元的特征；将获得的面部全局特征与所述面部动作单元的特征进行特征融合，获得面部表情融合特征；将所述面部表情融合特征输入到预设的高斯过程分类器，利用所述高斯过程分类器对人脸面部表情进行识别，输出面部表情识别结果。

进一步的，所述利用人脸关键点检测技术对含有人脸区域的图片数据进行预处理，将人脸区域细分成若干个面部动作单元触发区，具体包括：根据人脸解刨学结构和人脸关键点检测算法检测出人脸区域上预设数量的关键点；根据预设数量的关键点对图片数据进行剪裁，获得目标人脸区域，将所述目标人脸区域缩放到预设像素大小，实现面部图像的归一化；将所述目标人脸区域再细分成三个面部动作单元触发区，所述三个面部动作单元触发区包括眼部动作单元触发区、T区动作单元触发区以及唇部动作单元触发区。

进一步的，所述利用预设的三维卷积神经网络识别模型对面部动作单元进行识别，获得面部动作单元的特征，具体包括：选取与表情存在关联关系面部动作单元，并构建所述面部动作单元与所述三个面部动作单元触发区对应关系；利用所述三维卷积神经网络识别模型提取所述面部动作单元在对应面部动作单元触发区的局部特征，获得面部动作单元触发区局部特征；将所述面部动作单元触发区局部特征输入到softmax层中进行面部动作单元的识别，获得所述面部动作单元的特征。

进一步的，所述将获得的面部全局特征与所述面部动作单元的特征进行特征融合，获得面部表情融合特征，包括：将所述目标人脸区域切块并输入到预设的三维卷积神经网络识别模型中提取正脸的特征，获得所述面部全局特征；将所述面部动作单元的特征和所述面部全局特征进行特征层面的融合，获得面部表情融合特征。

进一步的，所述高斯过程分类器基于面部动作单元和表情之间的关联关系约束。

进一步的，所述利用所述高斯过程分类器对人脸面部表情进行识别，输出面部表情识别结果，具体包括：将所述面部表情融合特征输入到所述高斯过程分类器中得到初步的人脸面部表情的识别结果；将所述面部动作单元的特征，利用面部动作单元和表情之间的关联关系对所述初步的人脸面部表情的识别结果进行进一步的约束，输出面部表情识别结果。

相应的，本申请实施例还提供一种基于面部动作单元的面部表情识别装置，包括：数据采集单元，用于采集含有人脸区域的图片数据；预处理单元，用于利用人脸关键点检测技术对含有人脸区域的图片数据进行预处理，将人脸区域细分成若干个面部动作单元触发区；面部动作单元识别单元，用于利用预设的三维卷积神经网络识别模型对所述面部动作单元进行识别，获得面部动作单元的特征；特征融合单元，用于将获得的面部全局特征与所述面部动作单元的特征进行特征融合，获得面部表情融合特征；面部表情识别单元，用于将所述面部表情融合特征输入到预设的高斯过程分类器，利用所述高斯过程分类器对人脸面部表情进行识别，输出面部表情识别结果。

进一步的，所述预处理单元具体用于：根据人脸解刨学结构和人脸关键点检测算法检测出人脸区域上预设数量的关键点；根据预设数量的关键点对图片数据进行剪裁，获得目标人脸区域，将所述目标人脸区域缩放到预设像素大小，实现面部图像的归一化；将所述目标人脸区域再细分成三个面部动作单元触发区，所述三个面部动作单元触发区包括眼部动作单元触发区、T区动作单元触发区以及唇部动作单元触发区。

进一步的，所述面部动作单元识别单元具体用于：选取与表情存在关联关系面部动作单元，并构建所述面部动作单元与所述三个面部动作单元触发区对应关系；利用所述三维卷积神经网络识别模型提取所述面部动作单元在对应面部动作单元触发区的局部特征，获得面部动作单元触发区局部特征；将所述面部动作单元触发区局部特征输入到softmax层中进行面部动作单元的识别，获得所述面部动作单元的特征。

进一步的，所述特征融合单元具体用于：将所述目标人脸区域切块并输入到预设的三维卷积神经网络识别模型中提取正脸的特征，获得所述面部全局特征；将所述面部动作单元的特征和所述面部全局特征进行特征层面的融合，获得面部表情融合特征。

进一步的，所述高斯过程分类器基于面部动作单元和表情之间的关联关系约束。

进一步的，所述面部表情识别单元具体用于：将所述面部表情融合特征输入到所述高斯过程分类器中得到初步的人脸面部表情的识别结果；将所述面部动作单元的特征，利用面部动作单元和表情之间的关联关系对所述初步的人脸面部表情的识别结果进行进一步的约束，输出面部表情识别结果。

相应的，本申请还提供一种电子设备，包括：处理器和存储器；其中，所述存储器，用于存储基于面部动作单元的面部表情识别方法的程序，该电子设备通电并通过所述处理器运行该基于面部动作单元的面部表情识别方法的程序后，执行上述任意一项所述的基于面部动作单元的面部表情识别方法。

相应的，本申请还提供一种计算机可读存储介质，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于被服务器执行如上任一项所述的基于面部动作单元的面部表情识别方法。

采用本发明所述的基于面部动作单元的面部表情识别方法，实现了从用户直观的肖像图片到对用户直观可见的面部表情识别结果的端到端算法，并且对测试对象的不同具有较强的鲁棒性，能够基于面部动作单元进行表情识别，相较于宏观的表情识别而言，其使用微观的面部动作单元对宏观表情进行约束，更有利于微小表情的识别，同时结合整脸特征与动作单元的局部特征形成对面部表情更具有表征能力的面部特征，利用人脸拓扑学和面部动作单元与表情之间的关系，能够在不影响识别效果的同时降低***消耗，提升了面部表情识别性能。

附图说明

为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引申获得其它的实施附图。

图1为本发明实施例提供的一种基于面部动作单元的面部表情识别方法的流程图；

图2为本发明实施例提供的一种基于面部动作单元的面部表情识别装置的示意图；

图3为本发明实施例提供的一种电子设备的示意图；

图4为本发明实施例提供的一种基于图像背景风格转换的数据增强方法中识别模型的原理图。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面根据本发明所述的基于面部动作单元的面部表情识别方法，对其实施例进行详细描述。如图1所示，其为本发明实施例提供的一种基于面部动作单元的面部表情识别方法的流程图，具体实现过程包括以下步骤：

步骤S101：采集含有人脸区域的图片数据。

步骤S102：利用人脸关键点检测技术对含有人脸区域的图片数据进行预处理，将人脸区域细分成若干个面部动作单元触发区。

上述步骤S101中采集含有人脸区域的图片数据之后，在本步骤中可利用人脸关键点检测技术对含有人脸区域的图片数据进行预处理。

在本发明实施例中，所述的利用人脸关键点检测技术对含有人脸区域的图片数据进行预处理，将人脸区域细分成若干个面部动作单元触发区，具体实现过程可以包括：根据人脸解刨学结构和人脸关键点检测算法检测出人脸区域上预设数量的关键点；根据预设数量的关键点对图片数据进行剪裁，获得目标人脸区域，将所述目标人脸区域缩放到预设像素大小，实现面部图像的归一化；将所述目标人脸区域再细分成三个面部动作单元触发区，所述三个面部动作单元触发区包括眼部动作单元触发区、T区动作单元触发区以及唇部动作单元触发区。比如，在具体实施过程中，可基于人脸解刨学与拓扑结构和人脸关键点(特征点)检测算法检测出并提取出人脸上的68个关键点，根据68个关键点从原始肖像图片中将人脸区域裁剪下来，将其缩放到250*250像素大小实现面部图像的归一化；将人脸区域再细分成眼部动作单元触发区，T区动作单元触发区以及唇部动作单元触发区这三个面部动作单元触发区。

步骤S103：利用预设的三维卷积神经网络识别模型对所述面部动作单元进行识别，获得面部动作单元的特征。

上述步骤S102中将人脸区域细分成若干个面部动作单元触发区之后，在本步骤中可利用预设的三维卷积神经网络识别模型对所述面部动作单元进行识别，进一步获得面部动作单元的特征。

如图4所示，在本发明实施例中，所述的利用预设的三维卷积神经网络识别模型对面部动作单元进行识别，获得面部动作单元的特征，具体实现过程可以包括：选取与表情存在关联关系面部动作单元，并构建所述面部动作单元与所述三个面部动作单元触发区对应关系；利用所述三维卷积神经网络识别模型提取所述面部动作单元在对应面部动作单元触发区的局部特征，获得面部动作单元触发区局部特征；将所述面部动作单元触发区局部特征输入到softmax层中进行面部动作单元的识别，获得所述面部动作单元的特征。比如，在具体实施过程中，根据人脸解刨学与拓扑结构提取人脸上的68个特征点，再根据面部动作单元和表情之间的关联关系从41个表情相关面部动作单元(AU1-AU41)中挑选出13个与表情关联关系较强的13个面部动作单元(Action Unit，AU)，再综合这13个AU的触发区域将人脸分为三个动作单元触发区分别是眼部动作单元触发区，T区动作单元触发区，唇部动作单元触发区，并构建所述13个面部动作单元分别与所述三个面部动作单元触发区对应关系。相应的，利用13个所述三维卷积神经网络识别模型(3D Convolutional Neural Networks；3D CNN)分别提取所述13个面部动作单元在对应面部动作单元触发区的局部特征，获得13个动作单元触发区局部特征；将所述13个动作单元触发区局部特征通入到softmax层中进行13个面部动作特征的识别，获得13个面部动作特征的识别结果，即获得所述面部动作单元的特征，在此不做具体限定。其中，所述三维卷积神经网络识别模型可分为13个并行的3DCNN网络。其中，4个接收眼部动作单元触发区作为输入，AU1(对应特征为眉毛内角抬起)、AU2(对应特征为眉毛外角抬起)、AU4(对应特征为皱眉)、AU7(对应特征为眼轮匝肌圈收紧)的识别结果作为输出；2个接收T区动作单元触发区作为输入，AU9(对应特征为眉毛内角抬起)、AU17(对应特征为眉毛内角抬起)的识别结果作为输出；7个唇部动作单元触发区作为输入，AU10(对应特征为拉动嘴角向上运动)、AU12(对应特征为拉动嘴角倾斜向上)、AU15(对应特征为拉动嘴角向下运动)、AU20(对应特征为推动下唇向上)、AU24(对应特征为嘴角拉伸)、AU25(对应特征为嘴角相互按压)、AU26(对应特征为张嘴)的识别结果作为输出。

另外，需要说明的是，在基于AU的面部表情识别过程中，在众多AU中选择与面部表情有较强关联性的AU对面部表情的识别效果十分重要，因此在选择的过程中应当排除关联性过弱的AU以减少对面部表情识别的影响。根据FACS中统计的AU与6种基本面部表情的关联关系，本申请挑选了13个与6种基本表情关联度在70％以上的AU(即关联度最大的13个AU)。该13个AU主要分布在眉眼区域、鼻子区域和嘴唇区域。其中，U1(对应特征为眉毛内角抬起)、AU2(对应特征为眉毛外角抬起)、AU4(对应特征为皱眉)、AU7(对应特征为眼轮匝肌圈收紧)描述了眉眼区域的肌肉运动，AU9(对应特征为眉毛内角抬起)、AU17(对应特征为眉毛内角抬起)描述了鼻子区域的肌肉运动，AU10(对应特征为拉动嘴角向上运动)、AU12(对应特征为拉动嘴角倾斜向上)、AU15(对应特征为拉动嘴角向下运动)、AU20(对应特征为推动下唇向上)、AU24(对应特征为嘴角拉伸)、AU25(对应特征为嘴角相互按压)、AU26(对应特征为张嘴)描述了嘴唇区域的肌肉运动。

计算机视觉研究中，二维卷积的使用较为普遍，但是当需要处理视频数据的时候，就需要多个连续帧之间的动态信息。在CNN的卷积阶段进行了三维卷积，从而达到从空间和时间两个维度进行特征计算。三维卷积是通过利用三维卷积核在连续视频帧堆叠形成的立方体上进行卷积特征提取。该种构造使得卷积层中的特征映射与前一层中的多个连续帧相连接，因此能够捕捉视频中的运动信息，具体实现过程在此不再展开追逐赘述。

步骤S104：将获得的面部全局特征与所述面部动作单元的特征进行特征融合，获得面部表情融合特征。

在上述步骤S103中获得面部动作单元的特征之后，在本步骤中可将获得的面部全局特征与所述面部动作单元的特征进行特征融合处理。

所述的将获得的面部全局特征与所述面部动作单元的特征进行特征融合，获得面部表情融合特征，具体实现过程可以包括：将所述目标人脸区域切块并输入到预设的三维卷积神经网络识别模型中提取正脸的特征，获得所述面部全局特征；将所述面部动作单元的特征和所述面部全局特征进行特征层面的融合，获得面部表情融合特征。具体的，可将得到的归一化人脸区域切块通入到另外一个预设的三维卷积神经网络识别模型(3D CNN)中提取正脸的特征。将得到的13个局部动作单元触发区特征和得到的整脸特征进行特征层面的融合。在具体实施过程中，可将归一化的人脸区域输入到一个独立的3DCNN网络中进行整脸特征的提取；再将提取得到的整脸特征与之前13个AU的局部特征进行特征层的融合，得到整脸和局部动作单元触发区结合的融合特征。

步骤S105：将所述面部表情融合特征输入到预设的高斯过程分类器，利用所述高斯过程分类器对人脸面部表情进行识别，输出面部表情识别结果。

在上述步骤S104中获得面部表情融合特征之后，在本步骤中可利用所述高斯过程分类器对人脸面部表情进行识别输出面部表情识别结果。

其中，所述高斯过程分类器基于面部动作单元和表情之间的关联关系约束。因此所述的利用所述高斯过程分类器对人脸面部表情进行识别，输出面部表情识别结果，具体实现过程可以包括：将所述面部表情融合特征输入到所述高斯过程分类器中得到初步的人脸面部表情的识别结果；将所述面部动作单元的特征，利用面部动作单元和表情之间的关联关系对所述初步的人脸面部表情的识别结果进行进一步的约束，输出面部表情识别结果。具体的，可将步骤S104得到的融合特征通入到高斯过程分类器中得到初步的人脸表情的识别结果。将步骤S103得到的面部动作特征的识别结果，利用面部动作特征与面部表情之间的关联关系对得到的面部表情初步识别结果进行进一步的约束，从而得到的更准确的表情识别。

在本发明一个具体实施例中，对含有人脸区域的图片数据利用人脸关键点检测技术，再根据关键点与面部动作单元的解刨学结构，对图片进行裁剪，将人脸分为眼部，鼻部，嘴部三个部分；多任务的面部动作单元识别：对眼部，鼻部，嘴部的裁剪数据分区域分别输入到13个深度卷积神经网络(CNN)中，进行AU识别；基于AU的人脸表情识别：利用AU识别过程中提取的AU特征，与对面部图像提取的面部特征做特征融合，得到面部表情特征。在基本面部表情识别高斯过程分类器设计基础上，加入共生关系作为约束，利用AU-表情间关系的先验知识，提升面部表情识别性能，实现了从用户直观的肖像图片到对用户直观可见的面部表情识别结果的端到端算法，并且对测试对象的不同具有较强的鲁棒性。

采用本发明所述的基于面部动作单元的面部表情识别方法，采用本发明所述的基于面部动作单元的面部表情识别方法，实现了从用户直观的肖像图片到对用户直观可见的面部表情识别结果的端到端算法，并且对测试对象的不同具有较强的鲁棒性，能够基于面部动作单元进行表情识别，相较于宏观的表情识别而言，其使用微观的面部动作单元对宏观表情进行约束，更有利于微小表情的识别，同时结合整脸特征与动作单元的局部特征形成对面部表情更具有表征能力的面部特征，利用人脸拓扑学和面部动作单元与表情之间的关系，能够在不影响识别效果的同时降低***消耗，提升了面部表情识别性能。

与上述提供的一种基于面部动作单元的面部表情识别方法相对应，本发明还提供一种基于面部动作单元的面部表情识别装置。由于该装置的实施例相似于上述方法实施例，所以描述的比较简单，相关之处请参见上述方法实施例部分的说明即可，下面描述一种基于面部动作单元的面部表情识别装置的实施例仅是示意性的。请参考图2所示，其为本发明实施例提供的一种基于面部动作单元的面部表情识别装置的示意图。

本发明所述的一种基于面部动作单元的面部表情识别装置包括如下部分：

数据采集单元201，用于采集含有人脸区域的图片数据。

预处理单元202，用于利用人脸关键点检测技术对含有人脸区域的图片数据进行预处理，将人脸区域细分成若干个面部动作单元触发区。

面部动作单元识别单元203，用于利用预设的三维卷积神经网络识别模型对所述面部动作单元进行识别，获得面部动作单元的特征。

特征融合单元204，用于将获得的面部全局特征与所述面部动作单元的特征进行特征融合，获得面部表情融合特征。

面部表情识别单元205，用于将所述面部表情融合特征输入到预设的高斯过程分类器，利用所述高斯过程分类器对人脸面部表情进行识别，输出面部表情识别结果。

采用本发明所述的基于面部动作单元的面部表情识别装置，采用本发明所述的基于面部动作单元的面部表情识别方法，实现了从用户直观的肖像图片到对用户直观可见的面部表情识别结果的端到端算法，并且对测试对象的不同具有较强的鲁棒性，能够基于面部动作单元进行表情识别，相较于宏观的表情识别而言，其使用微观的面部动作单元对宏观表情进行约束，更有利于微小表情的识别，同时结合整脸特征与动作单元的局部特征形成对面部表情更具有表征能力的面部特征，利用人脸拓扑学和面部动作单元与表情之间的关系，能够在不影响识别效果的同时降低***消耗，提升了面部表情识别性能。

与上述提供的基于面部动作单元的面部表情识别方法相对应，本发明还提供一种电子设备。由于该电子设备的实施例相似于上述方法实施例，所以描述的比较简单，相关之处请参见上述方法实施例部分的说明即可，下面描述的电子设备仅是示意性的。如图3所示，其为本发明实施例提供的一种电子设备的示意图。

该电子设备具体包括：处理器301和存储器302；其中，存储器302用于运行一个或多个程序指令，用于存储基于面部动作单元的面部表情识别方法的程序，该服务器通电并通过所述处理器301运行该基于面部动作单元的面部表情识别方法的程序后，执行上述任意一项所述的基于面部动作单元的面部表情识别方法。本发明所述的电子设备可以是指服务器。

与上述提供的一种基于面部动作单元的面部表情识别方法相对应，本发明还提供一种计算机存储介质。由于该计算机存储介质的实施例相似于上述方法实施例，所以描述的比较简单，相关之处请参见上述方法实施例部分的说明即可，下面描述的计算机存储介质仅是示意性的。

所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于被服务器执行上述所述的基于面部动作单元的面部表情识别方法。

在本发明实施例中，处理器或处理器模块可以是一种集成电路芯片，具有信号的处理能力。处理器可以是通用处理器、数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质中的信息，结合其硬件完成上述方法的步骤。

存储介质可以是存储器，例如可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。

其中，非易失性存储器可以是只读存储器(Read-Only Memory，简称ROM)、可编程只读存储器(Programmable ROM，简称PROM)、可擦除可编程只读存储器(Erasable PROM，简称EPROM)、电可擦除可编程只读存储器(Electrically EPROM，简称EEPROM)或闪存。

易失性存储器可以是随机存取存储器(Random Access Memory，简称RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，简称SRAM)、动态随机存取存储器(Dynamic RAM，简称DRAM)、同步动态随机存取存储器(Synchronous DRAM，简称SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，简称DDRSDRAM)、增强型同步动态随机存取存储器(EnhancedSDRAM，简称ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM，简称SLDRAM)和直接内存总线随机存取存储器(Direct Ram bus RAM，简称DRRAM)。

本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (10)

1.一种基于面部动作单元的面部表情识别方法，其特征在于，包括：

采集含有人脸区域的图片数据；

利用人脸关键点检测技术对含有人脸区域的图片数据进行预处理，将人脸区域细分成若干个面部动作单元触发区；

利用预设的三维卷积神经网络识别模型对所述面部动作单元进行识别，获得面部动作单元的特征；

将获得的面部全局特征与所述面部动作单元的特征进行特征融合，获得面部表情融合特征；

将所述面部表情融合特征输入到预设的高斯过程分类器，利用所述高斯过程分类器对人脸面部表情进行识别，输出面部表情识别结果。

2.根据权利要求1所述的基于面部动作单元的面部表情识别方法，其特征在于，所述利用人脸关键点检测技术对含有人脸区域的图片数据进行预处理，将人脸区域细分成若干个面部动作单元触发区，具体包括：

根据人脸解刨学结构和人脸关键点检测算法检测出人脸区域上预设数量的关键点；

根据预设数量的关键点对图片数据进行剪裁，获得目标人脸区域，将所述目标人脸区域缩放到预设像素大小，实现面部图像的归一化；

将所述目标人脸区域再细分成三个面部动作单元触发区，所述三个面部动作单元触发区包括眼部动作单元触发区、T区动作单元触发区以及唇部动作单元触发区。

3.根据权利要求2所述的基于面部动作单元的面部表情识别方法，其特征在于，所述利用预设的三维卷积神经网络识别模型对面部动作单元进行识别，获得面部动作单元的特征，具体包括：

选取与表情存在关联关系面部动作单元，并构建所述面部动作单元与所述三个面部动作单元触发区对应关系；

利用所述三维卷积神经网络识别模型提取所述面部动作单元在对应面部动作单元触发区的局部特征，获得面部动作单元触发区局部特征；

将所述面部动作单元触发区局部特征输入到softmax层中进行面部动作单元的识别，获得所述面部动作单元的特征。

4.根据权利要求3所述的基于面部动作单元的面部表情识别方法，其特征在于，所述将获得的面部全局特征与所述面部动作单元的特征进行特征融合，获得面部表情融合特征，包括：

将所述目标人脸区域进行切块并输入到预设的三维卷积神经网络识别模型中提取正脸的特征，获得所述面部全局特征；

将所述面部动作单元的特征和所述面部全局特征进行特征层面的融合，获得面部表情融合特征。

5.根据权利要求4所述的基于面部动作单元的面部表情识别方法，其特征在于，所述高斯过程分类器基于面部动作单元和表情之间的关联关系约束。

6.根据权利要求5所述的基于面部动作单元的面部表情识别方法，其特征在于，所述利用所述高斯过程分类器对人脸面部表情进行识别，输出面部表情识别结果，具体包括：

将所述面部表情融合特征输入到所述高斯过程分类器中得到初步的人脸面部表情的识别结果；

将所述面部动作单元的特征，利用面部动作单元和表情之间的关联关系对所述初步的人脸面部表情的识别结果进行进一步的约束，输出面部表情识别结果。

7.一种基于面部动作单元的面部表情识别装置，其特征在于，包括：

数据采集单元，用于采集含有人脸区域的图片数据；

预处理单元，用于利用人脸关键点检测技术对含有人脸区域的图片数据进行预处理，将人脸区域细分成若干个面部动作单元触发区；

面部动作单元识别单元，用于利用预设的三维卷积神经网络识别模型对所述面部动作单元进行识别，获得面部动作单元的特征；

特征融合单元，用于将获得的面部全局特征与所述面部动作单元的特征进行特征融合，获得面部表情融合特征；

面部表情识别单元，用于将所述面部表情融合特征输入到预设的高斯过程分类器，利用所述高斯过程分类器对人脸面部表情进行识别，输出面部表情识别结果。

8.根据权利要求7所述的基于面部动作单元的面部表情识别装置，其特征在于，所述预处理单元具体用于：根据人脸解刨学结构和人脸关键点检测算法检测出人脸区域上预设数量的关键点；根据预设数量的关键点对图片数据进行剪裁，获得目标人脸区域，将所述目标人脸区域缩放到预设像素大小，实现面部图像的归一化；将所述目标人脸区域再细分成三个面部动作单元触发区，所述三个面部动作单元触发区包括眼部动作单元触发区、T区动作单元触发区以及唇部动作单元触发区。

9.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储基于面部动作单元的面部表情识别方法的程序，该电子设备通电并通过所述处理器运行该基于面部动作单元的面部表情识别方法的程序后，执行上述权利要求1-6任意一项所述的基于面部动作单元的面部表情识别方法。

10.一种计算机可读存储介质，其特征在于，该计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于被服务器执行如权利要求1-6任一项所述的基于面部动作单元的面部表情识别方法。

Images