CN114049675B - 基于轻量双通道神经网络的人脸表情识别方法 - Google Patents
基于轻量双通道神经网络的人脸表情识别方法 Download PDFInfo
- Publication number
- CN114049675B CN114049675B CN202111430259.6A CN202111430259A CN114049675B CN 114049675 B CN114049675 B CN 114049675B CN 202111430259 A CN202111430259 A CN 202111430259A CN 114049675 B CN114049675 B CN 114049675B
- Authority
- CN
- China
- Prior art keywords
- channel
- layer
- feature
- network
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000008921 facial expression Effects 0.000 title claims abstract description 20
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 13
- 230000014509 gene expression Effects 0.000 claims abstract description 25
- 238000010276 construction Methods 0.000 claims abstract description 7
- 230000004927 fusion Effects 0.000 claims abstract description 7
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 239000011159 matrix material Substances 0.000 claims description 21
- 239000013598 vector Substances 0.000 claims description 20
- 238000013527 convolutional neural network Methods 0.000 claims description 18
- 230000004913 activation Effects 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 230000002596 correlated effect Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 description 5
- 230000001815 facial effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及表情识别方法技术领域,且公开了基于轻量双通道神经网络的人脸表情识别方法,包括以下操作步骤:S1、图像预处理和图结构的构建;S2、搭建基于GCN的轻量双通道网络,自动提取表情的全局特征和局部特征;S3、特征融合和表情分类。本发明从输入表情图像中构建图结构,使用GCN可自动提取人脸表情几何和纹理两种局部特征,不受人为因素干扰,从而提高表情分类结果准确率,轻量双通道网络在网络简化、网络层数少、参数小的情况下,依然能取得极好的分类性能,且运行速度更快,鲁棒性更好。
Description
技术领域
本发明涉及表情识别方法技术领域,具体为基于轻量双通道神经网络的人脸表情识别方法。
背景技术
现有的基于局部特征的传统方法主要是针对人脸的表情易变区域(比如眼睛、嘴巴和鼻子)进行编码与表征。但这些方法提取的人脸局部特征,易受人为因素干扰,会造成人脸表情信息的丢失,导致分类不准确。而基于全局特征的深度学习方法以RGB原始脸部数据为输入,识别的准确性有所提高,但这些方法中网络的复杂性也有所增加。且由于面部表情数据集数量有限,容易发生过拟合问题。不论是基于局部特征的传统方法还是基于全局特征的深度方法,在面对复杂场景时,算法会出现性能波动大、鲁棒性差等问题。
发明内容
(一)解决的技术问题
针对现有技术的不足,本发明提供了基于轻量双通道神经网络的人脸表情识别方法,解决了现有方法准确率低和鲁棒性差的问题。
(二)技术方案
为实现上述目的,本发明提供如下技术方案:基于轻量双通道神经网络的人脸表情识别方法,包括以下操作步骤:
S1、图像预处理和图结构的构建
S11、对输入图片的面部图像进行预处理,先对其进行灰度化处理以降低数据维数;
S12、再进行人脸检测及裁剪,以减少图像中与人脸无关的背景信息对特征提取等产生的影响;
S13、将裁剪后的面部图像归一化为统一大小224x224,作为CNN通道的输入;
S14、图结构构建
检测输入图像中的人脸特征点,构建图,每两个图结点相连,距离构成边的权值,得到一个加权邻接矩阵表示表情的几何特征,这些特征点周围的像素值就是这些图节点的属性,得到一个节点特征矩阵/>可以表示表情的纹理特征;
S2、搭建基于GCN的轻量双通道网络,自动提取表情的全局特征和局部特征
S21、全局特征通道——CNN通道
CNN通道由5个卷积单元组成,每个卷积单元包含一个卷积层和一个最大池化层,都是3x3的卷积核和2x2的池化核,其中,修正线性单元被用作每个卷积层的激活函数,向量化层将多维数据一维化为全局特征向量,便于后面的特征向量连接,还加入了批归一化层;
在批训练中,每个batch的激活以零均值和单位方差为中心,对于m维输入X={x(1),...,x(m)},每个维度的正则化将是
其中E和Var是输入X的期望值和方差,CNN中一个层的输入有四个维度,所以每个维度都会进行归一化,通过使用批归一化,一个minibatch中所有样本都被关联在了一起,因此网络不会从某一个训练样本中生成确定的结果,即同样一个样本的输出不再仅仅取决于样本的本身,也取决于跟这个样本同属一个batch的其他样本,而每次网络都是随机取batch,这样一定程度上也避免了过拟合;
S22、局部特征通道——GCN通道
图卷积网络和普通的卷积神经网络的思想类似,对于节点特征矩阵X和加权邻接矩阵A,它的层与层之前的传播方式如下:
GCN通道具体由4层图卷积层构成;
S3、特征融合和表情分类
S31、将双通道网络提取的全局特征和局部特征连接,得到一个连接特征向量;
S32、将其输入到一层全连接层进行特征融合及表情分类,得到最终的分类结果。
优选的,所述步骤S2中,四个维度指batch size,channels,width and height。
优选的,所述步骤S2中,IN是单位矩阵;/>是/>的度矩阵,公式为/>W(l)是一个可训练的权重矩阵;H(l)是每一层的特征,对于输入层,H就是X;σ表示激活函数,比如ReLU(·)=max(0,·)。
优选的,所述步骤S3中,连接特征向量可以表示为:
vc=(vg,vl),其中vc、vg和vl分别表示连接特征向量、全局特征向量和局部特征向量。
(三)有益效果
本发明提供了基于轻量双通道神经网络的人脸表情识别方法,具备以下有益效果:
(1)、本发明从输入表情图像中构建图结构,使用GCN可自动提取人脸表情几何和纹理两种局部特征,不受人为因素干扰,从而提高表情分类结果准确率。
(2)、本发明使用两个通道可同时提取局部特征和全局特征,对全局和局部的特征进行融合,得到一个综合的表示,比使用单一类型的特征得到更好的识别结果。
(3)、本发明轻量双通道网络在网络简化、网络层数少、参数小的情况下,依然能取得极好的分类性能,且运行速度更快,鲁棒性更好。
附图说明
图1为本发明的流程图;
图2为本发明的构件图;
图3为本发明CNN通道的细节表;
图4为本发明GCN通道详细信息表。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1-4所示,本发明提供一种技术方案:基于轻量双通道神经网络的人脸表情识别方法,包括以下操作步骤:
S1、图像预处理和图结构的构建
S11、为了更好地提取人脸表情特征,对输入图片的面部图像进行预处理,先对其进行灰度化处理以降低数据维数;
S12、再进行人脸检测及裁剪,以减少图像中与人脸无关的背景信息对特征提取等产生的影响;
S13、将裁剪后的面部图像归一化为统一大小224x224,作为CNN通道的输入;
S14、图结构构建
不同于CNN的输入是整张图片,GCN的输入是图结构。为了从人脸表情中构建图结构,需要检测输入图像中的人脸特征点,构建如图2的图结构。在图2中,每两个图结点相连,距离构成边的权值,得到一个加权邻接矩阵表示表情的几何特征,这些特征点周围的像素值就是这些图节点的属性,得到一个节点特征矩阵/>可以表示表情的纹理特征;
S2、搭建基于GCN的轻量双通道网络,自动提取表情的全局特征和局部特征
S21、全局特征通道——CNN通道
CNN通道由5个卷积单元组成,每个卷积单元包含一个卷积层和一个最大池化层,都是3x3的卷积核和2x2的池化核,这个通道的细节在图3中列出。其中,修正线性单元被用作每个卷积层的激活函数,向量化层将多维数据一维化为全局特征向量,便于后面的特征向量连接,此外,为了解决人脸表情类内差异大、类间差异小问题,还加入了批归一化层。不同于一个类别只代表一个人的人脸识别任务,在面部表情识别中,一个类别包含多个个体。因此,属于同一个表情类的图像可能具有不同的外观、性别、肤色和年龄。由此产生了很大的类内差异。
在批训练中,每个batch的激活以零均值和单位方差为中心,对于m维输入X={x(1),...,x(m)},每个维度的正则化将是
其中E和Var是输入X的期望值和方差。CNN中一个层的输入有四个维度(batchsize,channels,width and height),所以每个维度都会进行归一化。通过使用批归一化,一个minibatch中所有样本都被关联在了一起,因此网络不会从某一个训练样本中生成确定的结果,即同样一个样本的输出不再仅仅取决于样本的本身,也取决于跟这个样本同属一个batch的其他样本,而每次网络都是随机取batch,这样一定程度上也避免了过拟合;
S22、局部特征通道——GCN通道
图卷积网络和普通的卷积神经网络的思想类似,对于节点特征矩阵X和加权邻接矩阵A,它的层与层之前的传播方式如下:
其中IN是单位矩阵;/>是/>的度矩阵,公式为/>W(l)是一个可训练的权重矩阵;H(l)是每一层的特征,对于输入层,H就是X;σ表示激活函数,比如ReLU(·)=max(0,·)。
GCN通道具体由4层图卷积层构成,详细信息见图4;
S3、特征融合和表情分类
S31、将双通道网络提取的全局特征和局部特征连接,得到一个连接特征向量,可以表示为:
vc=(vg,vl)
其中vc、vg和vl分别表示连接特征向量、全局特征向量和局部特征向量;
S32、将其输入到一层全连接层进行特征融合及表情分类,得到最终的分类结果。
本方法解决现有方法准确率低和鲁棒性差问题。GCN通道提取局部特征,CNN通道提取全局特征,双通道神经网络对全局和局部的特征进行融合,得到一个综合的表示,比使用单一类型的特征得到更好的识别结果。此外,通过设计结构紧凑的轻量双通道网络,简化了网络,解决了网络复杂问题,也解决了过拟合问题,具有很强鲁棒性。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。
Claims (4)
1.基于轻量双通道神经网络的人脸表情识别方法,其特征在于,包括以下操作步骤:
S1、图像预处理和图结构的构建
S11、对输入图片的面部图像进行预处理,先对其进行灰度化处理以降低数据维数;
S12、再进行人脸检测及裁剪,以减少图像中与人脸无关的背景信息对特征提取等产生的影响;
S13、将裁剪后的面部图像归一化为统一大小224x224,作为CNN通道的输入;
S14、图结构构建
检测输入图像中的人脸特征点,构建图,每两个图结点相连,距离构成边的权值,得到一个加权邻接矩阵表示表情的几何特征,这些特征点周围的像素值就是这些图节点的属性,得到一个节点特征矩阵/>可以表示表情的纹理特征;
S2、搭建基于GCN的轻量双通道网络,自动提取表情的全局特征和局部特征
S21、全局特征通道——CNN通道
CNN通道由5个卷积单元组成,每个卷积单元包含一个卷积层和一个最大池化层,都是3x3的卷积核和2x2的池化核,其中,修正线性单元被用作每个卷积层的激活函数,向量化层将多维数据一维化为全局特征向量,便于后面的特征向量连接,还加入了批归一化层;
在批训练中,每个batch的激活以零均值和单位方差为中心,对于m维输入X={x(1),...,x(m)},每个维度的正则化将是
其中E和Var是输入X的期望值和方差,CNN中一个层的输入有四个维度,所以每个维度都会进行归一化,通过使用批归一化,一个minibatch中所有样本都被关联在了一起,因此网络不会从某一个训练样本中生成确定的结果,即同样一个样本的输出不再仅仅取决于样本的本身,也取决于跟这个样本同属一个batch的其他样本,而每次网络都是随机取batch,这样一定程度上也避免了过拟合;
S22、局部特征通道——GCN通道
图卷积网络和普通的卷积神经网络的思想类似,对于节点特征矩阵X和加权邻接矩阵A,它的层与层之前的传播方式如下:
GCN通道具体由4层图卷积层构成;
S3、特征融合和表情分类
S31、将双通道网络提取的全局特征和局部特征连接,得到一个连接特征向量;
S32、将其输入到一层全连接层进行特征融合及表情分类,得到最终的分类结果。
2.根据权利要求1所述的基于轻量双通道神经网络的人脸表情识别方法,其特征在于,所述步骤S2中,四个维度指batch size,channels,width and height。
3.根据权利要求1所述的基于轻量双通道神经网络的人脸表情识别方法,其特征在于,所述步骤S2中,IN是单位矩阵;/>是/>的度矩阵,公式为/>W(l)是一个可训练的权重矩阵;H(l)是每一层的特征,对于输入层,H就是X;σ表示激活函数,比如ReLU(·)=max(0,·)。
4.根据权利要求1所述的基于轻量双通道神经网络的人脸表情识别方法,其特征在于,所述步骤S3中,连接特征向量可以表示为:
vc=(vg,vl),其中vc、vg和vl分别表示连接特征向量、全局特征向量和局部特征向量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111430259.6A CN114049675B (zh) | 2021-11-29 | 2021-11-29 | 基于轻量双通道神经网络的人脸表情识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111430259.6A CN114049675B (zh) | 2021-11-29 | 2021-11-29 | 基于轻量双通道神经网络的人脸表情识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114049675A CN114049675A (zh) | 2022-02-15 |
CN114049675B true CN114049675B (zh) | 2024-02-13 |
Family
ID=80211583
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111430259.6A Active CN114049675B (zh) | 2021-11-29 | 2021-11-29 | 基于轻量双通道神经网络的人脸表情识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114049675B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114612987A (zh) * | 2022-03-17 | 2022-06-10 | 深圳集智数字科技有限公司 | 一种表情识别方法及装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108491835A (zh) * | 2018-06-12 | 2018-09-04 | 常州大学 | 面向面部表情识别的双通道卷积神经网络 |
WO2019196308A1 (zh) * | 2018-04-09 | 2019-10-17 | 平安科技(深圳)有限公司 | 人脸识别模型的生成装置、方法及计算机可读存储介质 |
CN112766220A (zh) * | 2021-02-01 | 2021-05-07 | 西南大学 | 双通道微表情识别方法、***、存储介质、计算机设备 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109815785A (zh) * | 2018-12-05 | 2019-05-28 | 四川大学 | 一种基于双流卷积神经网络的人脸情绪识别方法 |
-
2021
- 2021-11-29 CN CN202111430259.6A patent/CN114049675B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019196308A1 (zh) * | 2018-04-09 | 2019-10-17 | 平安科技(深圳)有限公司 | 人脸识别模型的生成装置、方法及计算机可读存储介质 |
CN108491835A (zh) * | 2018-06-12 | 2018-09-04 | 常州大学 | 面向面部表情识别的双通道卷积神经网络 |
CN112766220A (zh) * | 2021-02-01 | 2021-05-07 | 西南大学 | 双通道微表情识别方法、***、存储介质、计算机设备 |
Non-Patent Citations (2)
Title |
---|
一种基于改进的卷积神经网络的人脸表情识别方法;邹建成;曹秀玲;;北方工业大学学报;20200415(02);全文 * |
面向面部表情识别的双通道卷积神经网络;曹金梦;倪蓉蓉;杨彪;;南京师范大学学报(工程技术版);20180920(03);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN114049675A (zh) | 2022-02-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11417148B2 (en) | Human face image classification method and apparatus, and server | |
CN110288018B (zh) | 一种融合深度学习模型的WiFi身份识别方法 | |
CN108615010B (zh) | 基于平行卷积神经网络特征图融合的人脸表情识别方法 | |
CN112580590B (zh) | 一种基于多语义特征融合网络的指静脉识别方法 | |
CN110348399B (zh) | 基于原型学习机制和多维残差网络的高光谱智能分类方法 | |
WO2021082480A1 (zh) | 一种图像分类的方法及相关装置 | |
CN110084266B (zh) | 一种基于视听特征深度融合的动态情感识别方法 | |
CN104268593A (zh) | 一种小样本情况下多稀疏表示的人脸识别方法 | |
CN111914617B (zh) | 一种基于平衡栈式生成式对抗网络的人脸属性编辑方法 | |
CN111160130B (zh) | 一种多平台虚拟身份账号的多维碰撞识别方法 | |
CN110046544A (zh) | 基于卷积神经网络的数字手势识别方法 | |
CN112842348B (zh) | 一种基于特征提取与深度学习的心电信号自动分类方法 | |
CN116052218B (zh) | 一种行人重识别方法 | |
CN115862091A (zh) | 基于Emo-ResNet的面部表情识别方法、装置、设备和介质 | |
CN111368734B (zh) | 一种基于正常表情辅助的微表情识别方法 | |
CN111694977A (zh) | 一种基于数据增强的车辆图像检索方法 | |
CN111523483A (zh) | 中餐菜品图像识别方法及装置 | |
Du et al. | Age factor removal network based on transfer learning and adversarial learning for cross-age face recognition | |
CN114049675B (zh) | 基于轻量双通道神经网络的人脸表情识别方法 | |
CN114241564A (zh) | 一种基于类间差异强化网络的人脸表情识别方法 | |
CN110349176B (zh) | 基于三重卷积网络和感知干扰学习的目标跟踪方法和*** | |
CN113378620B (zh) | 监控视频噪声环境下跨摄像头行人重识别方法 | |
CN108090460A (zh) | 基于韦伯多方向描述子的人脸表情识别特征提取算法 | |
CN113361346A (zh) | 一种替换调节参数的尺度参数自适应的人脸识别方法 | |
CN109583406B (zh) | 基于特征关注机制的人脸表情识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |