CN106599800A - 一种基于深度学习的人脸微表情识别方法 - Google Patents

Abstract

本发明提供的是一种基于深度学习的人脸微表情识别方法。包括：步骤A：建立微表情数据库；步骤B：对微表情图像进行预处理；步骤C：利用卷积块代替大卷积核提取特征；步骤D：利用卷积块构建基于卷积块的微表情识别网络结构，并用利用微表情识别网络结构对微表情进行识别。本发明构建的数据库克服了传统微表情库背景单一、光照变化不明显、缺少遮挡等的限制，更接近于自然状态微表情。本发明仅依赖一个卷积神经网络对微表情进行识别，无需复杂的特征提取过程，利用网络自动分析特征，改善了传统人脸识别方法特征不易提取的劣势。

Description

一种基于深度学习的人脸微表情识别方法

技术领域

本发明涉及的是一种人脸识别方法，尤其涉及一种基于深度学习的人脸微表情识别的方法。

背景技术

语言和表情是表达人们内心情感状态的重要方式。心理学研究表明：人类日常生活中通过语言来表达的信息只占7％，而近乎55％的信息表达来源于表情。直到今天，人类对面部表情的分类研究已经取得了惊人的成果，但关注的大多是普通表情，然而，普通表情不能更加精准的表示人类的心理活动，内心的流露和掩饰能够通过微表情表达出来，在人们做的不同表情之间，会“透露”一部分重要信息，当我们试图隐藏某种情感时，微表情会一闪而过，下意识的表情可能会持续一段时间，但视频序列中截取的某几帧图像能够揭示我们是否在撒谎。我们微表情会泄露比我们想像的多得多的信息。因此，微表情的识别越来越受到学术界和广大研究人员的重视。

20世纪60年代，Ekman在研究抑郁症患者的表情时，Mary表情愉悦的恳求大夫让她回家看看她的猫，可是回去后她选择了***，在分析Mary的表情时发现，有两帧图像的表情非常痛苦，这两帧图像只持续了1/15秒。Ekman把它叫做微表情。微表情持续时间只有1/25到1/5秒，我们很难发现它的存在，它可能包含普通表情的全部肌肉动作，也可能只包含其中的一部分。往往是人们试图隐藏内心真实想法的表现。

后来，Ekman收集了大量的表情图片进行研究，并总结出了“微表情大全”，即“面部动作编码***”。Ekman用人脸部的43块肌肉组合出了10000种不同表情，有3000种和情感相关。通过人脸的不同肌肉组合就可以分辨出人的情感变化。目前很多读心术也是采用这种方法。

由于能提供研究的微表情数据库很少，而且瞬间微表情的变化很难捕捉和分析，关于微表情识别的文章也不是很多，微表情不同于普通表情的地方在于它的持续时间过短，微表情往往是受到刺激后情绪的表现。因为它用裸眼很难发现，所以亟待研究出关于微表情的计算机检测的识别***。另外，由于诱发微表情和标记微表情很困难，目前的微表情数据库还很有限。随着科学技术的发展，微表情识别成为了新的研究热点，主要研究目标是自动识别出人脸中隐藏的表情的微妙变化。

发明内容

本发明的目的在于提供一种能够自动识别出人脸中隐藏的表情的微妙变化的基于深度学习的人脸微表情识别方法。

本发明的目的是这样实现的：

步骤A：建立微表情数据库；

步骤B：对微表情图像进行预处理；

步骤C：利用卷积块代替大卷积核提取特征；

步骤D：利用卷积块构建基于卷积块的微表情识别网络结构(CBCNN)，并用利用微表情识别网络结构对微表情进行识别。

本发明还可以包括：

1、所述建立微表情数据库具体包括：

步骤A1：搜集现有的微表情数据库图片；

步骤A2：从网络上搜索一定量的微表情图片；

步骤A3：从现有的微表情数据库图片中截取一部分图片和从网络上搜索的微表情图片组合成新的微表情数据库。

2、所述对微表情图像进行预处理具体包括：

步骤B1：将图片进行左右翻转，将微表情图片数量增大一倍；

步骤B2：进行图像归一化操作；

步骤B3：进行直方图均衡化操作。

3、所述利用卷积块代替大卷积核提取特征是利用小卷积核多次卷积的方法。

本发明利用从网络上搜集的大量微表情图片构建新的微表情库，弥补现有微表情库背景、光照、遮挡等单一的缺陷。并通过卷积块的组建来改善传统大卷积核对微表情图片卷积的效果。构造适用于微表情图征的CBCNN网络结构对微表情进行识别。

本发明的有益效果为：

1、本发明构建的微表情数据库从网络搜集了更接近自然状态的微表情图片，然后与现有微表情数据库组合成为新的微表情数据库。本发明构建的数据库克服了传统微表情库背景单一、光照变化不明显、缺少遮挡等的限制，更接近于自然状态微表情。

2、本发明仅依赖一个卷积神经网络对微表情进行识别，无需复杂的特征提取过程，利用网络自动分析特征，改善了传统人脸识别方法特征不易提取的劣势。并对传统卷积神经网络结构进行改善，利用小卷积核多次卷积来代替大卷积核，提出卷积块结构，这种卷积块结构对于微表情这种差异不明显的图片有较好的效果。

附图说明

图1是本发明的微表情图像样本和预处理操作图。

图2是本发明的微表情识别卷积神经网络卷积块的结构和网络整体结构图。

具体实施方式

本发明的基于深度学习的人脸微表情识别的方法，主要包括以下四个步骤：

步骤A：微表情数据库的建立；

步骤B：微表情图像预处理；

步骤C：利用卷积块代替大卷积核提取特征；

步骤D：利用卷积块构建基于卷积块的微表情识别网络结构(CBCNN)，并用于对微表情进行识别。

步骤A中的微表情数据库建立的步骤为：

步骤A1：搜集现有的微表情数据库图片；

步骤A2：从网络上搜索一定量的微表情图片；

步骤A3：从现有的微表情库中截取一部分图片和自行搜索图片组合成新的微表情数据库。

步骤B中在所建立的微表情数据库的基础上，对微表情图片进行预处理的步骤为：

步骤B1：将图片进行左右翻转来将微表情图片数量增大一倍；

步骤B2：进行图像归一化操作；

步骤B3：进行直方图均衡化操作。

步骤C中卷积块结构利用小卷积核多次卷积的方法代替已往大卷积核以减少卷积神经网络的连接参数并使决策函数更加多样化。

步骤D中利用卷积块构建基于卷积块的微表情识别网络结构(CBCNN)，并用于对微表情进行识别的方法，微表情识别网络结构利用提出的卷积块来构建，并结合RELU代替sigmod、Dropout、GPU加速等优化微表情识别网络结构，通过本网络对12种静态微表情进行识别。

下面结合附图举例对本发明作进一步说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。

结合图1对本发明的微表情图像样本和预处理操作方法详述如下：

在步骤101中，构建的微表情数据库结合了CASME和The large MPI微表情库的部分图片，在其基础上去掉表情不明显的前后部分帧，将表情明显的帧纳入本发明的微表情库。

在步骤102中，本发明从网络自行搜集了大量基于自然状态的微表情图片，尽管现有的微表情数据库包含大量图片，但基本都是在实验室环境下诱发的，其光照条件，背景条件，以及遮挡等都十分单一，不能很好的代表自然状态的微表情，因此本发明选择从网络以及视频中截取图片。

本发明的微表情库将表情重新分为12类，分别为悲伤、吃惊、大笑、微笑、痛苦、愤怒、生气、厌恶、疑惑、无奈、困倦。其中，从CASME数据库中寻找相对应的微表情图像，并截取其中较为明显的若干帧，12种表情共获取5500张图像，同样，从The large MPI中选取了相应图像9340张。从两个库中共获取图像5500+9340＝14840张。

此外，为了使样本图像更接近人的自然状态，能适应复杂的环境变化，本发明搜集的图像包括不同背景，不同光照，不同遮挡的样本。其中，从百度，谷歌等浏览器中搜索这12类的微表情图像，由于网络的图片过于杂乱，能够准确表达微表情的图像难以筛选，加之较难处理重复复筛选的问题，本发明共搜集12类微表情3550张。此外，从自然背景图像库LFW中选取符合标准的图像1835张。又增加了从影视剧中截取一部分图像和自行拍摄的微表情图像2230张。共搜集各类图像7615张，通过对这些图片进行左右翻转变换，共获得7615×2＝15230张微表情图像。这样，本发明的微表情库中图像总数为14840+15230＝30070张。其中，用25000张进行训练，5070张用于测试。

相对于已有的微表情库来说，本发明搜集的图片包含以下几种不同类型：

1.现有人脸库中大部分图像是在固定时间，固定地点采集的，所以其图像库的背景过于单一，缺少复杂背景的干扰，本发明搜集了不同背景的微表情图像，这种图像训练出来的网络将对背景有更强的抗扰能力，对多变的环境有更强的适应性。

2.光照的强弱会直接影响图像的质量，从而决定网络训练的参数。然而不同程度的光照条件很难通过摄像头来实现，因此，本发明搜集了大量包含不同光照条件的微表情图片。

3.现实中人们的状态是多变的，有的人戴着帽子，有的人戴着眼镜，还存在不同程度的遮挡，为了使整个微表情识别的网络的鲁棒性更强，本发明寻找了戴有不同饰物和遮挡的人脸图像。

在步骤103中，为了进一步增加样本量，对本发明搜集的微表情图片进行左右翻转变换，将搜集的样本量扩大了一倍。

在步骤104中，对图像进行归一化使其符合卷积神经网络的输入要求。

图像的归一化基本思想是对图像进行一系列变换，将所有样本图像都变换成统一的形式，对于卷积神经网络来说，图像归一化有利于后续对图像的处理。因为图像归一化会将所有图片变换到同一尺度，从而减小网络对像素过高图像的计算量，这样，可以加快网络的收敛性，另外，归一化使图像具有相同的统计分布。使网络的输入图像均值接近0，与方差相比很小，加快了网络的学习速度。

由于卷积神经网络的输入图像要求大小一致，因此，对图像进行尺寸归一化变得尤为重要。本发明的人脸数据库一部分来源于网络搜集，其中大多数图像的人脸位置相差较大，有的甚至是全身图像，人脸部分占到整张图像的比例很小。本发明的尺寸归一化首先是对人脸图像进行裁剪，增大人脸在图像中所占比例，并排除一些对微表情特征毫不相关的因素如腰带，裤子，复杂的服饰等的干扰。另外，为了防止输入过大造成的神经元饱和，本发明将原有的在[0,255]之间的灰度级全部归一化到[0,1]之间。同时，还需要将处理过的图像归一化到相同的格式，相同的尺寸。本发明中，将所有图像归一化成100*100大小的尺寸并全部转化为jpg格式。

在步骤105中，进一步对图片进行对比度调整，采用直方图均衡化。

直方图均衡化通常用于增加图像的局部对比度。灰度级直方图反应了图像中的某个灰度级和这个灰度级在图像中出现的概率的关系。如果一幅图像的灰度范围是[a,b]，r是这个范围内的一个灰度级，p(r)是灰度级为r的像素出现的概率，则p(r)是r的函数，这个函数描述的就是这幅图像的灰度直方图。

由于本发明中采集的人脸图像来自于各种复杂的环境，容易受光照等的影响，从而造成细节不清晰。直方图均衡化可以使图像的灰度分布更加均衡，使图像更能突出细节，易于后期识别。直方图均衡化的基本思想是对原图像中某些灰度级比较集中的区间进行处理，使其在整个灰度区间内呈均匀分布，也相当于对图像进行了非线性的拉伸，使一定灰度范围内的像素的概率基本相同。

直方图均衡化的步骤：

(1)统计原图像的直方图，求出：

p_r(r_k)＝n_k/N (2)

(2)用累计分布函数对统计出来的直方图进行变换，获得变换之后的新的灰度

(3)用变换后的灰度代替原图像的灰度，同时把灰度级相同或相近的合并一起。

结合图2的微表情识别卷积神经网络卷积块的结构和网络整体结构图。

鉴于各种微表情之间的差异不是很明显，只集中于图像的某部分细节，因此对图像的精细处理变得更为重要。基于以上分析，本发明选用了小的卷积核，同时增加层数的思想来设计适用于微表情的卷积神经网络，提出了基于卷积块的卷积神经网络，在CNN基础上进行改进。本发明中选用两个较小的卷积核组成一个卷积块，分别为4*4，3*3。用这个模块代替较大卷积核处理高分辨率图像。卷积块的基本构成如图2所示：

每一个卷积块都由两个卷积层和一个池化层组成。其中，4*4和3*3的卷积核后面都跟有一个RELU。RELU层的增多可以使网络的收敛更快，这就弥补了层数的增加给训练时间带来的困难。由于卷积神经网络的权值共享机制，使得小卷积核相对于大卷积核的参数连接数量更少。因此这种特有的卷积块模型既可以防止大卷积核带来的参数灾难，又可以更加精准地提取图像细节特征。同时，这种模块化的网络结构相当于增加了网络的层数。网络层数的增加会使决策函数更加多样化，提取的信息也就更具有代表性。2014年，Andrew等使用3*3的卷积核，比较了不同深度的网络对训练速度的影响，实验证明，使用小的卷积核，即使层数有所增加，网络训练速度并没有减少太多，而网络的性能却得到很大改善，这也充分体现了卷积神经网络相对于人工神经网络的优点，深度的增加不会给网络带来训练的巨大困难。在两个卷积层后面，通过一个窗口大小，步长为2的最大值池化层减少权值连接数量，同时增强对图像的畸变容忍能力。

基于以上卷积块的结构设计，本发明提出了一种基于卷积块的卷积神经网络(Convolutional Block Convolutional Neural Networks,简称CBCNN)。

网络中使用了3个上文所述的卷积模块，但在第一个卷积层，本发明用了一层7×7的卷积，这是为了减少训练收敛的时间，如果全部使用卷积块，则需要另加一个模块，过多的模块使用使网络层数进一步增加，网络的收敛速度变慢，也会耗费大量的计算成本。综合考虑网络的整体性能，本发明选择在第一个卷积层用稍大的卷积核，再使用卷积模块。全连接层会大大增加网络的连接参数，因此本发明的全连接层只设置了一个，输出层输出相应的类别。

本发明将经过归一化好的的人脸微表情图像输入到网络中，网络含有3个卷积块，包括6个卷积层，3个池化层。在三个模块之前又增添了1个卷积层，1个池化层，整个网络共包括7个卷积层，4个池化层，1个全连接层。输入图像经过卷积和池化后，图像的像素越来越低，特征图越来越小，但是经过隐层的传播，特征图数量逐渐增多。提取特征的种类也就越来越多，能够更抽象的表示图像信息。这些抽象的信息输入到全连接层完成对微表情图像的分类。

Claims (5)

1.一种基于深度学习的人脸微表情识别方法，其特征是：

步骤A：建立微表情数据库；

步骤B：对微表情图像进行预处理；

步骤C：利用卷积块代替大卷积核提取特征；

步骤D：利用卷积块构建基于卷积块的微表情识别网络结构，并用利用微表情识别网络结构对微表情进行识别。

2.根据权利要求1所述的一种基于深度学习的人脸微表情识别方法，其特征是所述建立微表情数据库具体包括：

步骤A1：搜集现有的微表情数据库图片；

步骤A2：从网络上搜索一定量的微表情图片；

步骤A3：从现有的微表情数据库图片中截取一部分图片和从网络上搜索的微表情图片组合成新的微表情数据库。

3.根据权利要求1或2所述的一种基于深度学习的人脸微表情识别方法，其特征是所述对微表情图像进行预处理具体包括：

步骤B1：将图片进行左右翻转，将微表情图片数量增大一倍；

步骤B2：进行图像归一化操作；

步骤B3：进行直方图均衡化操作。

4.根据权利要求1或2所述的一种基于深度学习的人脸微表情识别方法，其特征是所述利用卷积块代替大卷积核提取特征是利用小卷积核多次卷积的方法。

5.根据权利要求3所述的一种基于深度学习的人脸微表情识别方法，其特征是所述利用卷积块代替大卷积核提取特征是利用小卷积核多次卷积的方法。