CN112668486A - 一种预激活残差深度可分离卷积网络面部表情识别方法、装置和载体 - Google Patents

一种预激活残差深度可分离卷积网络面部表情识别方法、装置和载体 Download PDF

Info

Publication number
CN112668486A
CN112668486A CN202011607372.2A CN202011607372A CN112668486A CN 112668486 A CN112668486 A CN 112668486A CN 202011607372 A CN202011607372 A CN 202011607372A CN 112668486 A CN112668486 A CN 112668486A
Authority
CN
China
Prior art keywords
depth separable
convolution
residual
activation
sample data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011607372.2A
Other languages
English (en)
Inventor
刘云清
李棋
刘聪
颜飞
张琼
彭月琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun University of Science and Technology
Original Assignee
Changchun University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun University of Science and Technology filed Critical Changchun University of Science and Technology
Priority to CN202011607372.2A priority Critical patent/CN112668486A/zh
Publication of CN112668486A publication Critical patent/CN112668486A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种预激活残差深度可分离卷积网络面部表情识别方法、装置和载体,属于人工智能领域,其包含人脸面部表情图像进行预处理,浅层特征提取,得到基本的视觉特征,主要是眼睛,眉毛和嘴唇的形状,下采样进行深层特征提取,上采样特征融合部分等过程,应用softmax激活函数以产生预测。本发明在人脸面部表情识别中能够更精准的提取人脸特征,使用的参数数量更少并具有很高的分类识别准确率。

Description

一种预激活残差深度可分离卷积网络面部表情识别方法、装 置和载体
技术领域
本发明涉及人工智能领域,具体而言,涉及带有一种预激活残差深度可分离卷积网络面部表情识别方法、装置和载体。
背景技术
人脸表情是最直接、最有效的情感识别模式。随着人工智能的发展,人机交互领域的研究热点也逐渐增多,情感识别在以人为本的设计中引起了人们的关注,事实上,一些研究已经表明了机器解释人类情感的重要性。人脸表情识别在舆情分析、辅助医疗、疲劳驾驶监督、网络课堂教学质量分析等领域都发挥着非常重要的作用。面部表情作为一种非语言交流形式,比语言交流能更快地被理解,由于面部表情的多样性和复杂性,且涉及心理学和生理学等多个学科,相对于人脸识别技术,表情识别发展较慢,且类别之间不完全相互独立,给表情识别带来了很多挑战。
人脸表情识别过程包括三个阶段:1.利用人脸检测器检测出包含人脸图像中的人脸区域。2.从检测到的人脸区域中提取人脸特征。3.面部特征分析:分析面部有限元运动,解读面部表情。特征提取与特征分析是面部表情识别的关键环节。传统特征提取时,所采用的是人为设定的特征,容易损失部分原有特征信息,而且由于特征维数较大增加了一定的运算量和复杂度。而卷积神经网络不需要人为的设定特征,而是通过训练网络结构去自动学习特征,从而给出识别的结果,与早期手动提取特征的方法相比,卷积神经网络是通过构建、组合多个卷积层来自动提取深层次的人脸表情特征,尽可能的避免人为提取特征的误差,且同时具有极强的鲁棒性,逐渐成为了主流方法。
由于人脸表情样本的采集较为繁琐、建立大型的专有人脸表情数据库较为困难,故目前库的数量有限、库中样本数量也相对较少。深度学习方法解决人脸表情识别问题时,虽然有区别于传统人工设计特征的不便的优点,而且能够利用网络本身强大的学习能力自动提取深层次的人脸表情特征,从而进一步提高识别精确度。但由于表情识别问题的复杂性,网络结构越来越复杂,参数不断增加,计算复杂度越来越大,当样本数量不够时容易出现过拟合现象。
发明内容
本发明为解决上述小数据集的面部表情分类问题,而提供了一种预激活残差深度可分离卷积网络面部表情识别方法、装置和载体,采用深度可分离卷积在增加并平衡网络深度和宽度的同时不增加额外的计算负担,更精准提取人脸表情特征,并在残差块中采用预激活的方式实现对模型的优化并减少过拟合的影响。
提供的技术方案为:
提供了一种预激活残差深度可分离卷积网络面部表情识别方法:
识别面部并采集面部照片得到数据样本图像;
数据样本图像输入至浅层特征提取部分进行多次普通卷积运算以提取浅层特征,得到多幅浅层样本数据特征图;
每幅浅层样本数据特征图作为输入通道输入至下采样层特征提取部分分别执行深层特征提取得到深层样本数据特征图;
深层样本数据特征图输入至下采样层特征提取部分全局平均池化后应用Softmax激活函数产生预测,并输出访问者面部面部表情预测结果;
其中,下采样层特征提取部分包括预激活残差深度可分离单元,预激活残差深度可分离单元得到浅层样本数据特征图后进行深度可分离卷积运算后输出深层样本数据特征图;
深度可分离卷积运算的执行过程包括逐次进行的深度卷积运算和逐点卷积运算;
深度卷积运算包括逐次进行的批归一化运算、掺入Relu函数运算、通道卷积运算;
逐点卷积运算包括逐次进行的批归一化运算、掺入Relu函数运算和1×1卷积运算。
优选的,所述的下采样层特征提取部分包括预激活残差深度可分离单元,预激活残差深度可分离单元得到浅层样本数据特征图后进行深度可分离卷积运算后输出深层样本数据特征图步骤,同时或之后还包括,
预激活残差深度可分离单元还包括残差模块,得到的浅层样本数据特征图输入至残差模块,残差模块将浅层样本数据特征图进行普通卷积运算和批归一化处理并输出残差特征图与深度可分离卷积的结果求和后输出深层样本数据特征图。
优选的,所述的下采样层特征提取部分包含四层顺次执行的预激活残差深度可分离单元,且上层预激活残差深度可分离单元输出的深层样本数据特征图为下层预激活残差深度可分离单元的输入。
优选的,所述的深度可分离卷积执行过程步骤,包括,
预设深度卷积运算的卷积核倍数,每次深度可分离卷积结束后得到深度卷积的卷积核倍数的深层特征样本,逐点卷积过程中将各个深层特征样本同一位置的信息进行融合得到该层的深层样本数据特征图。
优选的,所述的下采样层特征提取部分包含四层顺次执行的预激活残差深度可分离单元步骤,包括,
所述的深度可分离卷积运算还包括最大池化层,最大池化层将逐点卷积的输出结果最大池化运算后输入至下层预激活残差深度可分离单元。
优选的,所述的数据样本图像输入至浅层特征提取部分进行多次普通卷积运算以提取浅层特征,得到多幅浅层样本数据特征图步骤,包括,
浅层特征提取部分包含三层顺次执行的卷积网络,得到数据样本图像后卷积网络进行批归一化运算和掺入Relu函数运算并将结果输出至下层的卷积网络直至得到多幅浅层样本数据特征图。
优选的,所述的识别访问者面部并采集面部照片得到数据样本图像步骤,包括
识别访问者面部直至完成人脸检测并截取当前时刻的人像图,得到人像后裁剪图像保留面部区域,并复制该面部区域的多角度翻转图像和尺寸变化图像并将所有图像作为数据样本图像输出。
优选的,所述的数据样本图像为样本数据集。
一种预激活残差深度可分离卷积网络面部表情识别装置,包括上述的一种预激活残差深度可分离卷积网络面部表情识别方法,包括
取相单元,用于拍照取得面部图像或
输入单元,用于输入获得面部图像;
存储单元,用于保存上述获得的面部图像;
运行单元,用于执行一种预激活残差深度可分离卷积网络面部表情识别方法预测所获得的面部图像的表情。
一种预激活残差深度可分离卷积网络面部表情识别载体,包括如上所述的一种预激活残差深度可分离卷积网络面部表情识别方法,包括
存储单元,用于存储所述的一种预激活残差深度可分离卷积网络面部表情识别方法的执行程序。
与现有技术相比具有的有益效果在于:
1.预激活残差深度可分离单元由深度可分离卷积的残差连接构成,实现一层的输出作为输入传递给体系结构的另一层,使网络的参数更容易学习。
2.在残差连接中采用了预激活残差方式进行连接,通过调整激活函数的位置,将激活函数放在最终的输出之前,在获取输入后先对输入值进行归一化,然后再进行激活,再与残差作为的权重层相乘,最后输出。
3.在预激活中使用BN能够提高模型的正则化,从而减少了过拟合的影响,使得训练变得更简单,同时也提高了网络的泛化能力。
4.下采样层特征提取部分的每一层预激活残差深度可分离单元都增加为原来的两倍并进行一次池化进行下采样,有效去除冗余参数。
5.采用了批归一化处理,由于每层输入的分布在训练中会随着前一层参数的变化而变化。这会导致训练变得复杂,因为每一层的输入都会受到之前所有层的参数的影响,因此即使较低层参数的微小变化也会在很大程度上影响较深层的输入。通过加入每个预激活残差深度可分离单元都进行批归一化操作和ReLU激活函数以及残差连接,并使每个标量特征的均值为零且方差为1,来独立地归一化每个标量特征。
6.通过使用批处理归一化,不仅内部协方差减小,而且梯度对参数或它们的初始值的比例的依赖性也减小。
7.针对人脸表情图像,在提取多个表情特征时,采用深度可分离卷积要比普通卷积节省更多的参数和较低的运算成本。
8.在解决训练人脸小数据样本中容易存在的过拟合问题,提出了在深度可分离卷积中引入预激活方式的残差网络,使神经网络在优化过程中变得更加简单,并在预激活中使用BN提高模型的正则化,从而减少过拟合的影响。
9.本发明在实验室环境下单摄像头和图像处理实现了对人脸表情的识别,在保证准确率的同时还具有较高的实时性,有效地分析人脸表情信息。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。
图1是本发明实施例提供的基于预激活残差深度可分离卷积神经网络的表情识别方法的流程图。
图2是本发明提供的预激活残差深度可分离卷积神经网络模型结构示意图
图3是为深度可分离卷积结构示意图
图4是预激活残差网络模块示意图
图5是本发明在FER2013数据集上进行训练时的混淆矩阵图
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“预设载入规则”、“预设编号规则”等是用于区别类似的对象,本编号规则为本发明所详细公开的顺序规则。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
以下根据附图1-5对本发明做进一步说明:
提供了一种预激活残差深度可分离卷积网络面部表情识别方法:
识别面部并采集面部照片得到数据样本图像;
具体的,通过摄像头进行拍照并获得其拍照图像或者导入样本训练集,得到数据样本图像导入神经元层进行神经元训练,神经元层包括逐级连接的浅层特征提取部分、下采样层特征提取部分和上采样层特征提取部分。
数据样本图像输入至浅层特征提取部分进行多次普通卷积运算以提取浅层特征,得到多幅浅层样本数据特征图;
具体的,浅层特征提取部分包含三层顺次执行的卷积网络,得到数据样本图像后卷积网络进行普通卷积运算、批归一化运算和掺入Relu函数运算以使得参数变成非线性参数并将结果输出至下层的卷积网络直至得到代表视觉特征,主要是眼睛,眉毛和嘴唇的形状的多幅浅层样本数据特征图,该浅层样本数据特征图的协方差减小,特征和原样本脱离。
以上普通卷积运算即为3*3的卷积核的卷积运算,对输入图像进行卷积处理,得到8个不同的局部表情特征图,并引入ReLU函数进行非线性激活。
每幅浅层样本数据特征图作为输入通道输入至下采样层特征提取部分分别执行深层特征提取得到深层样本数据特征图;
具体的,假设作为输入数据的浅层样本数据特征图为DK×DK×1个通道,下采样层特征提取部分用于减少卷积的成本和参数数量并提高深层特征的提取量,下采样层特征提取部分作为过滤器预设为M个,输出的大小为DP×DP×M。
下采样层特征提取部分包括预激活残差深度可分离单元,预激活残差深度可分离单元得到浅层样本数据特征图后进行深度可分离卷积运算后输出深层特征样本的计算量总数为
Figure BDA0002872169210000091
深度可分离卷积运算的执行过程包括逐次进行的深度卷积运算和逐点卷积运算;
深度卷积运算包括逐次进行的批归一化运算、掺入Relu函数运算、通道卷积运算;用于实现各个浅层样本数据特征图以预设的深度卷积的卷积核数进行翻倍的卷积运算,得到代表面部表情肌肉点及五官变化点位及其复合表情特征权重特点的各个浅层样本数据特征图卷积后具有深度的深层特征样本;
逐点卷积运算包括逐次进行的批归一化运算、掺入Relu函数运算和1×1卷积运算,逐点卷积用于实现将每个通道(深层特征样本)上应用1×1卷积运算,卷积核大小将为1×1×M。设定使用N个这样的卷积核,输出大小为DP×DP×N各个同一位置的信息进行融合得到该层的深层样本数据特征图,逐点卷积运算结束后得到深层样本数据特征图的计算量为
Figure BDA0002872169210000101
在残差连接中采用了预激活残差方式进行连接,通过调整激活函数的位置,将激活函数放在最终的输出之前,即在获取输入后先对输入值进行归一化,然后再进行激活,再与权重层相乘,最后输出。在预激活中使用BN能够提高模型的正则化,从而减少了过拟合的影响,使得训练变得更简单,同时也提高了网络的泛化能力。在预激活中使用BN能够提高模型的正则化,从而减少了过拟合的影响,使得训练变得更简单,同时也提高了网络的泛化能力。
深层样本数据特征图输入至下采样层特征提取部分全局平均池化后应用Softmax激活函数产生预测,并输出访问者面部面部表情预测结果;
具体的,深层样本数据特征图经过下采样层特征提取部分进行预设的像素点的均值池化以进行全局平均池化,并输入至Softmax激活函数(Softmax作为回归分类函数)产生预测,并输出访问者面部面部表情预测结果,输出是面部表情识别结果包含(生气、厌恶、恐惧、高兴、悲伤、惊讶和正常)。
可选的,所述的下采样层特征提取部分包括预激活残差深度可分离单元,预激活残差深度可分离单元得到浅层样本数据特征图后进行深度可分离卷积运算后输出深层样本数据特征图步骤,同时或之后还包括,
预激活残差深度可分离单元还包括残差模块,得到的浅层样本数据特征图输入至残差模块,残差模块将浅层样本数据特征图进行普通卷积运算和批归一化处理并输出残差特征图与深度可分离卷积的结果求和后输出深层样本数据特征图。
具体的,每个预激活残差深度可分离单元还包括与深度可分离卷积运算相并列的残差运算,所述的浅层样本数据特征图输入至残差模块后其残差运算过程为普通卷积运算和批归一化处理,残差运算结束后得到残差特征图,并与该层的逐点卷积运算所得到的结果求和后输出该层预激活残差深度可分离单元所输出的深层样本数据特征图。
激活残差深度可分离单元由深度可分离卷积的残差连接构成,实现一层的输出作为输入传递给体系结构的另一层,使网络的参数更容易学习。
可选的,所述的下采样层特征提取部分包含四层顺次执行的预激活残差深度可分离单元步骤,包括,
所述的下采样层特征提取部分包含四层顺次执行的预激活残差深度可分离单元,且上层预激活残差深度可分离单元输出的深层样本数据特征图为下层预激活残差深度可分离单元的输入。
可选的,所述的深度可分离卷积运算还包括最大池化层,最大池化层将逐点卷积的输出结果最大池化运算后输入至下层预激活残差深度可分离单元。
具体的,上述残差特征图与逐点卷积运算所得到的结果求和后所输出的深层样本数据特征图会进行最大池化层处理,最大池化层将逐点卷积的输出结果最大池化运算后输入至下层预激活残差深度可分离单元。
可选的,所述的深度可分离卷积执行过程步骤,包括,
预设深度卷积运算的卷积核倍数,每次深度可分离卷积结束后得到深度卷积的卷积核倍数的深层特征样本,逐点卷积过程中将各个深层特征样本同一位置的信息进行融合得到该层的深层样本数据特征图。
可选的,所述的数据样本图像输入至浅层特征提取部分进行多次普通卷积运算以提取浅层特征,得到多幅浅层样本数据特征图步骤,包括,
浅层特征提取部分包含三层顺次执行的卷积网络,得到数据样本图像后卷积网络进行批归一化运算和掺入Relu函数运算并将结果输出至下层的卷积网络直至得到多幅浅层样本数据特征图。
以上,卷积网络即为普通卷积运算,普通卷积运算为3*3的卷积核的卷积运算,对输入图像进行卷积处理,得到8个不同的局部表情特征图,并引入ReLU函数进行非线性激活。
可选的,所述的识别访问者面部并采集面部照片得到数据样本图像步骤,包括
识别访问者面部直至完成人脸检测并截取当前时刻的人像图,得到人像后裁剪图像保留面部区域,并复制该面部区域的多角度翻转图像和尺寸变化图像并将所有图像作为数据样本图像输出。
可选的,所述的数据样本图像为样本数据集。
具体的,利用Haar级联分类器从输入图像中检测出人脸信息,并将检测到的面部信息裁剪并标准化为48×48的大小,图像采用经过预处理后的尺寸为48×48的人脸灰度图片。
现有技术的卷积计算量为:
对于具有d维输入x=(x(1)…X(D))的层,则每个维度的归一化公式为
Figure BDA0002872169210000131
采用本方法所可减少的计算量为:
对于相同的输入图像,深度可分离卷积的乘法次数是两个阶段中乘法次数的总和,通过对比深度可分离卷积的计算量与标准卷积的计算量如公式(3)可知乘法和可训练参数的总数减少了
Figure BDA0002872169210000132
Figure BDA0002872169210000133
深度神经网络常常会有梯度消失问题的困扰,即来自误差函数的梯度信号会在反向传播回更早的层时指数级地下降。本质上讲,在误差信号反向回到更早的层时,它们会变得非常小以至于网络无法学习。本发明网络利用残差模块中梯度信号可以通过“跳跃连接”或“快捷路径”的方式,实现一层的输出作为输入传递给体系结构的另一层,使网络的参数更容易学习。本发明结构在使用残差网络时利用一个预激活残差单元,预激活残差模块如图3所示。通过调整激活函数的位置,将激活函数放在最终的输出之前,即在获取输入后先对输入值进行归一化,然后再进行激活,再与权重层相乘,最后输出。在预激活网络中,将ReLU和BN都放在预激活中,在预激活中使用BN能够提高模型的正则化,从而减少了过拟合的影响,使得训练变得更简单,同时也提高了网络的泛化能力,具有大约58,000个参数,与原始CNN相比减少了80倍,同时网络模型在FER2013人脸表情数据集中的识别准确率达到72.4%
实施例2
提供了一种预激活残差深度可分离卷积网络面部表情识别装置,包括如实施例1所公开的一种预激活残差深度可分离卷积网络面部表情识别方法,
取相单元,用于拍照取得面部图像或
输入单元,用于输入获得面部图像;
存储单元,用于保存上述获得的面部图像;
运行单元,用于执行一种预激活残差深度可分离卷积网络面部表情识别方法预测所获得的面部图像的表情。
实施例3,提供了一种预激活残差深度可分离卷积网络面部表情识别载体,包括如实施例1所述的一种预激活残差深度可分离卷积网络面部表情识别方法,包括
存储单元,用于存储所述的一种预激活残差深度可分离卷积网络面部表情识别方法的执行程序。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种预激活残差深度可分离卷积网络面部表情识别方法,其特征在于:
识别面部并采集面部照片得到数据样本图像;
数据样本图像输入至浅层特征提取部分进行多次普通卷积运算以提取浅层特征,得到多幅浅层样本数据特征图;
每幅浅层样本数据特征图作为输入通道输入至下采样层特征提取部分分别执行深层特征提取得到深层样本数据特征图;
深层样本数据特征图输入至下采样层特征提取部分全局平均池化后应用Softmax激活函数产生预测,并输出访问者面部面部表情预测结果;
其中,下采样层特征提取部分包括预激活残差深度可分离单元,预激活残差深度可分离单元得到浅层样本数据特征图后进行深度可分离卷积运算后输出深层样本数据特征图;
深度可分离卷积运算的执行过程包括逐次进行的深度卷积运算和逐点卷积运算;
深度卷积运算包括逐次进行的批归一化运算、掺入Relu函数运算、通道卷积运算;
逐点卷积运算包括逐次进行的批归一化运算、掺入Relu函数运算和1×1卷积运算。
2.根据权利要求1所述的一种预激活残差深度可分离卷积网络面部表情识别方法,其特征在于:
所述的下采样层特征提取部分包括预激活残差深度可分离单元,预激活残差深度可分离单元得到浅层样本数据特征图后进行深度可分离卷积运算后输出深层样本数据特征图步骤,同时或之后还包括,
预激活残差深度可分离单元还包括残差模块,得到的浅层样本数据特征图输入至残差模块,残差模块将浅层样本数据特征图进行普通卷积运算和批归一化处理并输出残差特征图与深度可分离卷积的结果求和后输出深层样本数据特征图。
3.根据权利要求2所述的一种预激活残差深度可分离卷积网络面部表情识别方法,其特征在于,
所述的下采样层特征提取部分包含四层顺次执行的预激活残差深度可分离单元,且上层预激活残差深度可分离单元输出的深层样本数据特征图为下层预激活残差深度可分离单元的输入。
4.根据权利要求2所述的一种预激活残差深度可分离卷积网络面部表情识别方法,其特征在于,所述的深度可分离卷积执行过程步骤,包括,
预设深度卷积运算的卷积核倍数,每次深度可分离卷积结束后得到深度卷积的卷积核倍数的深层特征样本,逐点卷积过程中将各个深层特征样本同一位置的信息进行融合得到该层的深层样本数据特征图。
5.根据权利要求3所述的一种预激活残差深度可分离卷积网络面部表情识别方法,其特征在于,
所述的下采样层特征提取部分包含四层顺次执行的预激活残差深度可分离单元步骤,包括,
所述的深度可分离卷积运算还包括最大池化层,最大池化层将逐点卷积的输出结果最大池化运算后输入至下层预激活残差深度可分离单元。
6.根据权利要求1所述的一种预激活残差深度可分离卷积网络面部表情识别方法,其特征在于,
所述的数据样本图像输入至浅层特征提取部分进行多次普通卷积运算以提取浅层特征,得到多幅浅层样本数据特征图步骤,包括,
浅层特征提取部分包含三层顺次执行的卷积网络,得到数据样本图像后卷积网络进行批归一化运算和掺入Relu函数运算并将结果输出至下层的卷积网络直至得到多幅浅层样本数据特征图。
7.根据权利要求1所述的一种预激活残差深度可分离卷积网络面部表情识别方法,其特征在于,
所述的识别访问者面部并采集面部照片得到数据样本图像步骤,包括
识别访问者面部直至完成人脸检测并截取当前时刻的人像图,得到人像后裁剪图像保留面部区域,并复制该面部区域的多角度翻转图像和尺寸变化图像并将所有图像作为数据样本图像输出。
8.根据权利要求1所述的一种预激活残差深度可分离卷积网络面部表情识别方法,其特征在于,所述的数据样本图像为样本数据集。
9.一种预激活残差深度可分离卷积网络面部表情识别装置,包括如权利要求1-8任一所述的一种预激活残差深度可分离卷积网络面部表情识别方法,其特征在于:包括
取相单元,用于拍照取得面部图像或
输入单元,用于输入获得面部图像;
存储单元,用于保存上述获得的面部图像;
运行单元,用于执行一种预激活残差深度可分离卷积网络面部表情识别方法预测所获得的面部图像的表情。
10.一种预激活残差深度可分离卷积网络面部表情识别载体,包括如权利要求1-8任一所述的一种预激活残差深度可分离卷积网络面部表情识别方法,其特征在于:包括
存储单元,用于存储所述的一种预激活残差深度可分离卷积网络面部表情识别方法的执行程序。
CN202011607372.2A 2020-12-30 2020-12-30 一种预激活残差深度可分离卷积网络面部表情识别方法、装置和载体 Pending CN112668486A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011607372.2A CN112668486A (zh) 2020-12-30 2020-12-30 一种预激活残差深度可分离卷积网络面部表情识别方法、装置和载体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011607372.2A CN112668486A (zh) 2020-12-30 2020-12-30 一种预激活残差深度可分离卷积网络面部表情识别方法、装置和载体

Publications (1)

Publication Number Publication Date
CN112668486A true CN112668486A (zh) 2021-04-16

Family

ID=75410904

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011607372.2A Pending CN112668486A (zh) 2020-12-30 2020-12-30 一种预激活残差深度可分离卷积网络面部表情识别方法、装置和载体

Country Status (1)

Country Link
CN (1) CN112668486A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113313162A (zh) * 2021-05-25 2021-08-27 国网河南省电力公司电力科学研究院 一种多尺度特征融合目标检测的方法及***
CN114648802A (zh) * 2022-05-19 2022-06-21 深圳市海清视讯科技有限公司 用户面部表情识别方法、装置和设备
CN117115895A (zh) * 2023-10-25 2023-11-24 成都大学 一种课堂微表情识别方法、***、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110188708A (zh) * 2019-06-03 2019-08-30 西安工业大学 一种基于卷积神经网络的人脸表情识别方法
CN110427867A (zh) * 2019-07-30 2019-11-08 华中科技大学 基于残差注意力机制的面部表情识别方法及***
CN111695513A (zh) * 2020-06-12 2020-09-22 长安大学 一种基于深度残差网络的人脸表情识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110188708A (zh) * 2019-06-03 2019-08-30 西安工业大学 一种基于卷积神经网络的人脸表情识别方法
CN110427867A (zh) * 2019-07-30 2019-11-08 华中科技大学 基于残差注意力机制的面部表情识别方法及***
CN111695513A (zh) * 2020-06-12 2020-09-22 长安大学 一种基于深度残差网络的人脸表情识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JASON KUEN ET AL.: "DelugeNets: Deep Networks with Efficient and Flexible Cross-layer Information Inflows", 《ICCV 2017》, pages 958 - 966 *
KAIMING HE ET AL.: "Identity Mappings in Deep Residual Networks", 《ECCV 2016》, pages 630 - 645 *
SEN WANG ET AL.: "Real-time Detection of Facial Expression Based on Improved Residual Convolutional Neural Network", 《2019 IEEE INTERNATIONAL CONFERENCE ON SIGNAL PROCESSING, COMMUNICATIONS AND COMPUTING (ICSPCC)》, pages 1 - 4 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113313162A (zh) * 2021-05-25 2021-08-27 国网河南省电力公司电力科学研究院 一种多尺度特征融合目标检测的方法及***
CN114648802A (zh) * 2022-05-19 2022-06-21 深圳市海清视讯科技有限公司 用户面部表情识别方法、装置和设备
CN114648802B (zh) * 2022-05-19 2022-08-23 深圳市海清视讯科技有限公司 用户面部表情识别方法、装置和设备
CN117115895A (zh) * 2023-10-25 2023-11-24 成都大学 一种课堂微表情识别方法、***、设备及介质

Similar Documents

Publication Publication Date Title
Canal et al. A survey on facial emotion recognition techniques: A state-of-the-art literature review
CN108615010B (zh) 基于平行卷积神经网络特征图融合的人脸表情识别方法
Xie et al. Scut-fbp: A benchmark dataset for facial beauty perception
CN112668486A (zh) 一种预激活残差深度可分离卷积网络面部表情识别方法、装置和载体
CN111291604A (zh) 面部属性识别方法、装置、存储介质及处理器
CN106599800A (zh) 一种基于深度学习的人脸微表情识别方法
CN109711422A (zh) 图像数据处理、模型的建立方法、装置、计算机设备和存储介质
CN111160350A (zh) 人像分割方法、模型训练方法、装置、介质及电子设备
CN110929558B (zh) 一种基于深度学习的行人重识别方法
KR20200010672A (ko) 딥러닝을 이용한 스마트 상품 검색 방법 및 시스템
CN115966010A (zh) 一种基于注意力和多尺度特征融合的表情识别方法
CN116612335B (zh) 一种基于对比学习的少样本细粒度图像分类方法
CN110096991A (zh) 一种基于卷积神经网络的手语识别方法
CN110210380A (zh) 基于表情识别与心理学测试生成性格的分析方法
CN114863572A (zh) 一种多通道异构传感器的肌电手势识别方法
Al-Tamimi Combining convolutional neural networks and slantlet transform for an effective image retrieval scheme
CN117010971B (zh) 一种基于人像识别的智能健康险提供方法及***
吴雨林 et al. Face recognition system based on CNN and LBP features for classifier optimization and fusion
Taslim et al. Plant leaf identification system using convolutional neural network
CN114170657A (zh) 融合注意力机制与高阶特征表示的面部情感识别方法
CN111860601B (zh) 预测大型真菌种类的方法及装置
CN113011436A (zh) 一种基于卷积神经网络的中医舌色苔色协同分类方法
ALISAWI et al. Real-Time Emotion Recognition Using Deep Learning Methods: Systematic Review
Mohana et al. Emotion recognition from facial expression using hybrid CNN–LSTM network
Kousalya et al. Prediction of Best Optimizer for Facial Expression Detection using Convolutional Neural Network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination