CN114049675B - 基于轻量双通道神经网络的人脸表情识别方法 - Google Patents

Abstract

本发明涉及表情识别方法技术领域，且公开了基于轻量双通道神经网络的人脸表情识别方法，包括以下操作步骤：S1、图像预处理和图结构的构建；S2、搭建基于GCN的轻量双通道网络，自动提取表情的全局特征和局部特征；S3、特征融合和表情分类。本发明从输入表情图像中构建图结构，使用GCN可自动提取人脸表情几何和纹理两种局部特征，不受人为因素干扰，从而提高表情分类结果准确率，轻量双通道网络在网络简化、网络层数少、参数小的情况下，依然能取得极好的分类性能，且运行速度更快，鲁棒性更好。

Description

基于轻量双通道神经网络的人脸表情识别方法

技术领域

本发明涉及表情识别方法技术领域，具体为基于轻量双通道神经网络的人脸表情识别方法。

背景技术

现有的基于局部特征的传统方法主要是针对人脸的表情易变区域(比如眼睛、嘴巴和鼻子)进行编码与表征。但这些方法提取的人脸局部特征，易受人为因素干扰，会造成人脸表情信息的丢失，导致分类不准确。而基于全局特征的深度学习方法以RGB原始脸部数据为输入，识别的准确性有所提高，但这些方法中网络的复杂性也有所增加。且由于面部表情数据集数量有限，容易发生过拟合问题。不论是基于局部特征的传统方法还是基于全局特征的深度方法，在面对复杂场景时，算法会出现性能波动大、鲁棒性差等问题。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了基于轻量双通道神经网络的人脸表情识别方法，解决了现有方法准确率低和鲁棒性差的问题。

(二)技术方案

为实现上述目的，本发明提供如下技术方案：基于轻量双通道神经网络的人脸表情识别方法，包括以下操作步骤：

S1、图像预处理和图结构的构建

S11、对输入图片的面部图像进行预处理，先对其进行灰度化处理以降低数据维数；

S12、再进行人脸检测及裁剪，以减少图像中与人脸无关的背景信息对特征提取等产生的影响；

S13、将裁剪后的面部图像归一化为统一大小224x224，作为CNN通道的输入；

S14、图结构构建

检测输入图像中的人脸特征点，构建图，每两个图结点相连，距离构成边的权值，得到一个加权邻接矩阵表示表情的几何特征，这些特征点周围的像素值就是这些图节点的属性，得到一个节点特征矩阵/>可以表示表情的纹理特征；

S2、搭建基于GCN的轻量双通道网络，自动提取表情的全局特征和局部特征

S21、全局特征通道——CNN通道

CNN通道由5个卷积单元组成，每个卷积单元包含一个卷积层和一个最大池化层，都是3x3的卷积核和2x2的池化核，其中，修正线性单元被用作每个卷积层的激活函数，向量化层将多维数据一维化为全局特征向量，便于后面的特征向量连接,还加入了批归一化层；

在批训练中，每个batch的激活以零均值和单位方差为中心，对于m维输入X＝{x⁽¹⁾,...,x^(m)}，每个维度的正则化将是

其中E和Var是输入X的期望值和方差，CNN中一个层的输入有四个维度，所以每个维度都会进行归一化，通过使用批归一化，一个minibatch中所有样本都被关联在了一起，因此网络不会从某一个训练样本中生成确定的结果，即同样一个样本的输出不再仅仅取决于样本的本身，也取决于跟这个样本同属一个batch的其他样本，而每次网络都是随机取batch，这样一定程度上也避免了过拟合；

S22、局部特征通道——GCN通道

图卷积网络和普通的卷积神经网络的思想类似，对于节点特征矩阵X和加权邻接矩阵A，它的层与层之前的传播方式如下：

GCN通道具体由4层图卷积层构成；

S3、特征融合和表情分类

S31、将双通道网络提取的全局特征和局部特征连接，得到一个连接特征向量；

S32、将其输入到一层全连接层进行特征融合及表情分类，得到最终的分类结果。

优选的，所述步骤S2中，四个维度指batch size,channels,width and height。

优选的，所述步骤S2中，I_N是单位矩阵；/>是/>的度矩阵，公式为/>W^(l)是一个可训练的权重矩阵；H^(l)是每一层的特征，对于输入层，H就是X；σ表示激活函数，比如ReLU(·)＝max(0,·)。

优选的，所述步骤S3中，连接特征向量可以表示为：

v_c＝(v_g,v_l)，其中v_c、v_g和v_l分别表示连接特征向量、全局特征向量和局部特征向量。

(三)有益效果

本发明提供了基于轻量双通道神经网络的人脸表情识别方法，具备以下有益效果：

(1)、本发明从输入表情图像中构建图结构，使用GCN可自动提取人脸表情几何和纹理两种局部特征，不受人为因素干扰，从而提高表情分类结果准确率。

(2)、本发明使用两个通道可同时提取局部特征和全局特征，对全局和局部的特征进行融合，得到一个综合的表示，比使用单一类型的特征得到更好的识别结果。

(3)、本发明轻量双通道网络在网络简化、网络层数少、参数小的情况下，依然能取得极好的分类性能，且运行速度更快，鲁棒性更好。

附图说明

图1为本发明的流程图；

图2为本发明的构件图；

图3为本发明CNN通道的细节表；

图4为本发明GCN通道详细信息表。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1-4所示，本发明提供一种技术方案：基于轻量双通道神经网络的人脸表情识别方法，包括以下操作步骤：

S1、图像预处理和图结构的构建

S11、为了更好地提取人脸表情特征，对输入图片的面部图像进行预处理，先对其进行灰度化处理以降低数据维数；

S12、再进行人脸检测及裁剪，以减少图像中与人脸无关的背景信息对特征提取等产生的影响；

S13、将裁剪后的面部图像归一化为统一大小224x224，作为CNN通道的输入；

S14、图结构构建

不同于CNN的输入是整张图片，GCN的输入是图结构。为了从人脸表情中构建图结构，需要检测输入图像中的人脸特征点，构建如图2的图结构。在图2中，每两个图结点相连，距离构成边的权值，得到一个加权邻接矩阵表示表情的几何特征，这些特征点周围的像素值就是这些图节点的属性，得到一个节点特征矩阵/>可以表示表情的纹理特征；

S2、搭建基于GCN的轻量双通道网络，自动提取表情的全局特征和局部特征

S21、全局特征通道——CNN通道

CNN通道由5个卷积单元组成，每个卷积单元包含一个卷积层和一个最大池化层，都是3x3的卷积核和2x2的池化核，这个通道的细节在图3中列出。其中，修正线性单元被用作每个卷积层的激活函数，向量化层将多维数据一维化为全局特征向量，便于后面的特征向量连接,此外，为了解决人脸表情类内差异大、类间差异小问题，还加入了批归一化层。不同于一个类别只代表一个人的人脸识别任务，在面部表情识别中，一个类别包含多个个体。因此，属于同一个表情类的图像可能具有不同的外观、性别、肤色和年龄。由此产生了很大的类内差异。

在批训练中，每个batch的激活以零均值和单位方差为中心，对于m维输入X＝{x⁽¹⁾,...,x^(m)}，每个维度的正则化将是

其中E和Var是输入X的期望值和方差。CNN中一个层的输入有四个维度(batchsize,channels,width and height)，所以每个维度都会进行归一化。通过使用批归一化，一个minibatch中所有样本都被关联在了一起，因此网络不会从某一个训练样本中生成确定的结果，即同样一个样本的输出不再仅仅取决于样本的本身，也取决于跟这个样本同属一个batch的其他样本，而每次网络都是随机取batch，这样一定程度上也避免了过拟合；

S22、局部特征通道——GCN通道

图卷积网络和普通的卷积神经网络的思想类似，对于节点特征矩阵X和加权邻接矩阵A，它的层与层之前的传播方式如下：

其中I_N是单位矩阵；/>是/>的度矩阵，公式为/>W^(l)是一个可训练的权重矩阵；H^(l)是每一层的特征，对于输入层，H就是X；σ表示激活函数，比如ReLU(·)＝max(0,·)。

GCN通道具体由4层图卷积层构成，详细信息见图4；

S3、特征融合和表情分类

S31、将双通道网络提取的全局特征和局部特征连接，得到一个连接特征向量，可以表示为:

v_c＝(v_g,v_l)

其中v_c、v_g和v_l分别表示连接特征向量、全局特征向量和局部特征向量；

S32、将其输入到一层全连接层进行特征融合及表情分类，得到最终的分类结果。

本方法解决现有方法准确率低和鲁棒性差问题。GCN通道提取局部特征，CNN通道提取全局特征，双通道神经网络对全局和局部的特征进行融合，得到一个综合的表示，比使用单一类型的特征得到更好的识别结果。此外，通过设计结构紧凑的轻量双通道网络，简化了网络，解决了网络复杂问题，也解决了过拟合问题，具有很强鲁棒性。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (4)

1.基于轻量双通道神经网络的人脸表情识别方法，其特征在于，包括以下操作步骤：

S1、图像预处理和图结构的构建

S11、对输入图片的面部图像进行预处理，先对其进行灰度化处理以降低数据维数；

S12、再进行人脸检测及裁剪，以减少图像中与人脸无关的背景信息对特征提取等产生的影响；

S13、将裁剪后的面部图像归一化为统一大小224x224，作为CNN通道的输入；

S14、图结构构建

检测输入图像中的人脸特征点，构建图，每两个图结点相连，距离构成边的权值，得到一个加权邻接矩阵表示表情的几何特征，这些特征点周围的像素值就是这些图节点的属性，得到一个节点特征矩阵/>可以表示表情的纹理特征；

S2、搭建基于GCN的轻量双通道网络，自动提取表情的全局特征和局部特征

S21、全局特征通道——CNN通道

CNN通道由5个卷积单元组成，每个卷积单元包含一个卷积层和一个最大池化层，都是3x3的卷积核和2x2的池化核，其中，修正线性单元被用作每个卷积层的激活函数，向量化层将多维数据一维化为全局特征向量，便于后面的特征向量连接,还加入了批归一化层；

在批训练中，每个batch的激活以零均值和单位方差为中心，对于m维输入X＝{x⁽¹⁾,...,x^(m)}，每个维度的正则化将是

其中E和Var是输入X的期望值和方差，CNN中一个层的输入有四个维度，所以每个维度都会进行归一化，通过使用批归一化，一个minibatch中所有样本都被关联在了一起，因此网络不会从某一个训练样本中生成确定的结果，即同样一个样本的输出不再仅仅取决于样本的本身，也取决于跟这个样本同属一个batch的其他样本，而每次网络都是随机取batch，这样一定程度上也避免了过拟合；

S22、局部特征通道——GCN通道

图卷积网络和普通的卷积神经网络的思想类似，对于节点特征矩阵X和加权邻接矩阵A，它的层与层之前的传播方式如下：

GCN通道具体由4层图卷积层构成；

S3、特征融合和表情分类

S31、将双通道网络提取的全局特征和局部特征连接，得到一个连接特征向量；

S32、将其输入到一层全连接层进行特征融合及表情分类，得到最终的分类结果。

2.根据权利要求1所述的基于轻量双通道神经网络的人脸表情识别方法，其特征在于，所述步骤S2中，四个维度指batch size,channels,width and height。

3.根据权利要求1所述的基于轻量双通道神经网络的人脸表情识别方法，其特征在于，所述步骤S2中，I_N是单位矩阵；/>是/>的度矩阵，公式为/>W^(l)是一个可训练的权重矩阵；H^(l)是每一层的特征，对于输入层，H就是X；σ表示激活函数，比如ReLU(·)＝max(0,·)。

4.根据权利要求1所述的基于轻量双通道神经网络的人脸表情识别方法，其特征在于，所述步骤S3中，连接特征向量可以表示为：

v_c＝(v_g,v_l)，其中v_c、v_g和v_l分别表示连接特征向量、全局特征向量和局部特征向量。