CN113435315A - 一种基于双路神经网络特征聚合的表情识别方法 - Google Patents

一种基于双路神经网络特征聚合的表情识别方法 Download PDF

Info

Publication number
CN113435315A
CN113435315A CN202110710692.9A CN202110710692A CN113435315A CN 113435315 A CN113435315 A CN 113435315A CN 202110710692 A CN202110710692 A CN 202110710692A CN 113435315 A CN113435315 A CN 113435315A
Authority
CN
China
Prior art keywords
neural network
layer
features
image
follows
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110710692.9A
Other languages
English (en)
Inventor
李靖宇
林克正
苗壮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin University of Science and Technology
Original Assignee
Harbin University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin University of Science and Technology filed Critical Harbin University of Science and Technology
Priority to CN202110710692.9A priority Critical patent/CN113435315A/zh
Publication of CN113435315A publication Critical patent/CN113435315A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种基于双路神经网络特征聚合的表情识别方法，目的是解决人脸表情识别率低的问题。本方法主要包括：人脸检测；图像直方图均衡化处理；CS‑LBP局部纹理特征提取；利用双路神经网络分别进行特征提取；特征降维；采用加权融合的方法融合特征；送入softmax层进行分类，输出人脸表情。本方法采用双路神经网络架构，CNN1采用改进的残差网络，通过快捷连接来组合每个残差单元的输出特征图，网络结构从全局残差变为全局局部残差，同时避免了模型训练中的过拟合，避免了梯度反向传播中梯度消失的现象。CNN2充分利用图像局部纹理特征，在卷积神经网络中嵌入注意力机制，自动聚焦网络感兴趣的特征区域。在训练过程中采用隔离损失函数，减小同一类的特征的差异，增大不同类之间特征的空间分布，增强神经网络所提取特征的判别性。

Description

一种基于双路神经网络特征聚合的表情识别方法
技术领域
本发明涉及一种人脸表情识别方法，属于图像识别领域。
背景技术
人脸表情识别是计算机视觉领域的研究热点，在通信工程，医疗卫生，安全驾驶，社会情感分析等多个领域都显示出了广泛的应用前景。当前的人脸表情识别算法主要是基于传统方法和基于深度学习方法。传统的人脸特征提取算法主要有主成分分析(PrincipalComponent Analysis,PCA)、尺度不变特征变换(Scale-Invariant FeatureTransformation,SIFT)、局部二值模式(Local Binary Patterns,LBP)、Gabor小波变换以及方向梯度直方图(Histogram Of Gradient,HOG)等，分类算法主要有支持向量机(Support Vector Machine,SVM)、K近邻等，随着人工智能技术越来越成熟，深度学习方法在图像识别领域大放异彩，深度神经网络(Deep neural network,DNN)被应用于表情识别并取得了较好的成绩。
然而目前的表情识别方法易受到图片噪声和人为干扰因素的影响造成识别正确率欠佳，而且单通道的神经网络从图像全局出发，容易忽略图像局部特征，造成特征损失的问题，稳定性较差。
发明内容
本发明要解决的技术问题是人脸表情识别过程中单一通道卷积神经网络特征损失的问题，提出了一种基于双路神经网络特征聚合的表情识别方法。
为了达到上述目的，本发明采用的技术方案是：
S1、对待识别的图像进行人脸检测，获取人脸区域；
S2、对获取的人脸图像做直方图均衡化处理；
S3、提取人脸图像的CS-LBP局部纹理特征；
S4、利用双路神经网络分别对步骤S2和步骤S3获取的图进行特征提取，加入网络注意力机制聚焦有用特征，剔除无效特征；
S5、将步骤S4获取的特征送入全连接层进行降维；
S6、将步骤S5中降维后的特征采用加权融合的方式融合成新的特征；
S7、将步骤S6中的新特征送入全连接层利用Softmax激活函数对其进行分类，输出表情。
进一步的，所述步骤S1中人脸检测获取人脸区域采用MTCNN网络模型，其具体方法包括：
S11、将图像进行“金字塔”变换，以解决目标多尺度问题。
S12、将步骤S11中获取的“图片金字塔”输入到卷积神经网络P-net中，得到大量的候选区域。
S13、将步骤S12中经过P-net筛选出来的照片送入较复杂的卷积神经网络R-net中进行精调，对P-net产生的多张人脸区域进行细化选择，并且舍去大部分的错误输入，提高人脸区域的可信度。
S14、将步骤S13中的候选区域输入到神经网路O-net中继续筛选，输出准确的bbox坐标和landmark坐标，获取准确的人脸区域。
进一步的，所述步骤S2中图像直方图均衡化处理的具体方法是：统计直方图每个灰度级出现的次数，累计归一化的直方图，利用映射关系计算新的像素值，处理后的图像灰度范围变大，图像对比度增强。
进一步的，所述步骤S3中CS-LBP的具体内容是：
CS-LBP是一种描述图像局部纹理特征的算子，该算子对光照变化与轮廓模糊具有一定的鲁棒性，还可以表达图像局部纹理的空间结构，计算复杂度低且抗噪声能力强，并且能够准确无误的描述图像中每一点与其相邻点在灰度值上的大小关系。CS-LBP局部纹理特征是通过使用图像对角位置像素对进行编码其计算过程如下：
Figure BDA0003132909370000021
式中：g(pi,pi+(N/2))计算公式是通过使用像素值做差值，对差值取绝对值后判断与阈值t的大小关系进行计算如下所示：
Figure BDA0003132909370000022
进一步的，所述步骤S4包括：
S41、将步骤S2中直方图均衡化后的人脸图像X＝(x1,x2,...,xn)送入改进的残差网络CNN1中，经过若干层卷积运算和最大池化运算之后，获得相应的特征fH＝(fH 1,fH 2,...,fH m)，其中卷积运算过程如下所示：
Figure BDA0003132909370000023
其中，CBAM为网络注意力机制；L为当前层；L-1为前一层；
Figure BDA0003132909370000024
表示当前层的第j个特征区域；
Figure BDA0003132909370000025
表示前一层第i个特征区域；K表示两个区域的卷积核；
Figure BDA0003132909370000026
当前层第j个特征区域的偏置；Mj为当前层特征区域的数量；f(.)为激活函数。
S42、将步骤S3获取的CS-LBP特征图X'＝(x'1,x'2,...,x'n)送入自行设计的基于注意力机制卷积神经网络CNN2中，经过若干层卷积运算和最大池化运算之后获取到相应的局部特征fL＝(fL 1,fL 2,...,fL k)；
S43、特征经过展平层之后获到特征向量
Figure BDA0003132909370000027
和
Figure BDA0003132909370000028
进一步的，步骤S5中降维的具体方法为：
S51、将步骤S4中提取到的特征向量
Figure BDA0003132909370000029
输入到两层全连接层fc1-1和fc1-2中进行降维，采用Relu激活函数，如下所示：
Figure BDA00031329093700000210
全连接层各层结构如下所示：
fc1-1＝{s1,s2,...,s500}
fc1-2＝{s1,s2,...,s6}
其中，s表示当前全连接层的神经元，fc1-1中有500个神经元，fc1-2中有6个神经元，全连接层最后输出维度为6的特征向量
Figure BDA00031329093700000211
S52、将步骤S4中提取到的特征向量fL输入到两层全连接层fc2-1和fc2-2中进行降维，各层结构如下所示：
fc2-1＝{l1,l2,...,l500}
fc2-2＝{l1,l2,...,l6}
其中，l表示当前全连接层的神经元，fc2-1中有500个神经元，fc2-2中有6个神经元，全连接层最后输出维度为6的特征向量
Figure BDA0003132909370000031
进一步的，所述步骤S6具体为：
将步骤S5中的特征
Figure BDA0003132909370000032
和
Figure BDA0003132909370000033
加权融合后形成新的特征Fz，设置权重系数k来调节两个通道的特征比重，融合过程如下所示：
Figure BDA0003132909370000034
当k取0或1的时候表示只有一个单通道的网络。
进一步的，所述步骤S7中Softmax激活函数分类过程如下所示：
Figure BDA0003132909370000035
其中，Z是上一层的输出，Softmax的输入，维度为C，yi为某一类别的概率值，i的取值代表了类别数。
本发明的先进点在于：
1、本发明采用双通道并行神经网络的方法提取特征，直方图均衡化后的图像用于提取全局特征，CS-LBP局部纹理特征图用于提取图像局部特征，然后采用加权融合的方式，将局部特征和全局特征有效融合，获取更有效的特征信息。
2、在卷积神经网络中引入注意力机制，在特征提取的过程中自动聚焦网络感兴趣的特征区域，抑制无用特征，提高了特征提取的效率。
3、采用新的损失函数—隔离损失，隔离损失不仅能减小同一类的特征的差异，而且能够增大不同类之间特征的空间分布，增强神经网络所提取特征的判别性。
附图说明
图1为基于双路神经网络特征聚合的表情识别方法流程图。
图2为改进的残差网络结构示意图。
图3为CS-LBP特征图特征提取网络结构示意图。
图4为双路神经网络整体结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1，
参见图1-图4，本实施例1提供了一种基于并行神经网络的人脸表情识别方法，
包括如下步骤：
S1、对待识别的图像进行人脸检测，获取人脸区域；
步骤S1中待识别的图像使用国际中一些人脸表情公开数据集，比如FER2013，CK+，和Jaffe等，或者采用摄像头获取图像，并将图片用于人脸检测和分割，具体步骤为：
S11、将图像进行“金字塔”变换，以解决目标多尺度问题。
S12、将步骤S11中获取的“图片金字塔”输入到卷积神经网络P-net中，得到大量的候选区域。
S13、将步骤S12中经过P-net筛选出来的照片送入较复杂的卷积神经网络R-net中进行精调，对P-net产生的多张人脸区域进行细化选择，并且舍去大部分的错误输入，提高人脸区域的可信度。
S14、将步骤S13中的候选区域输入到神经网路O-net中继续筛选，输出准确的bbox坐标和landmark坐标，获取准确的人脸区域。
具体的说，S1步骤是从人脸表情数据库，或者摄像头获取图像，然后使用MTCNN网络对图像进行人脸检测，筛选出可信度最高的人脸区域，去除图像中背景的干扰，最终获取大小为64*64的人脸灰度图。
S2、对获取的人脸图像做直方图均衡化处理；
具体的说，图像的直方图均衡化的方法是：统计直方图每个灰度级出现的次数，累计归一化的直方图，利用映射关系计算新的像素值，对在图像中像素个数多的灰度值(即对画面起主要作用的灰度值)进行展宽，而对像素个数少的灰度值(即对画面不起主要作用的灰度值)进行归并，从而增大对比度，达到使图像清晰的效果。
S3、提取人脸图像的CS-LBP局部纹理特征；
步骤S3中CS-LBP局部纹理特征是通过使用图像对角位置像素对其进行编码，其计算过程如下：
Figure BDA0003132909370000041
式中：g(pi,pi+(N/2))计算公式是通过使用像素值做差值，对差值取绝对值后判断与阈值t的大小关系进行计算如下所示：
Figure BDA0003132909370000042
具体的说，步骤S3计算了图像的CS-LBP局部纹理特征，CS-LBP是一种描述图像局部纹理特征的算子，该算子对光照变化与轮廓模糊具有一定的鲁棒性，还可以表达图像局部纹理的空间结构，计算复杂度低且抗噪声能力强，并且能够准确无误的描述图像中每一点与其相邻点在灰度值上的大小关系。最终获得大小为64*64的CS-LBP的特征图。
S4、利用并行神经网络分别对步骤S2和步骤S3获取的图进行特征提取，加入网络注意力机制聚焦有用特征，剔除无效特征；
步骤S4具体包括：
S41、将步骤S2中直方图均衡化后的人脸图像X＝(x1,x2,...,xn)送入基于网络注意力机制的卷积神经网络CNN1中，经过卷积运算和最大池化运算之后，获取相应的全局特征fH＝(fH 1,fH 2,...,fH m)，其中卷积运算过程如下所示：
Figure BDA0003132909370000043
其中，CBAM为网络注意力机制；L为当前层；L-1为前一层；
Figure BDA0003132909370000044
表示当前层的第j个特征区域；
Figure BDA0003132909370000045
表示前一层第i个特征区域；K表示两个区域的卷积核；
Figure BDA0003132909370000046
当前层第j个特征区域的偏置；Mj为当前层特征区域的数量；f(.)为激活函数。
参见图2，如图2(a)所示，原始的残差块由两个卷积层和两个BN层组成，每个模块都有一个快速的输入输出连接，CNN1对原始的残差块结构进了改进，如图2(b)所示，去除了原有结构中的两个BN层，并在第二个卷积层后添加了ReLU，以提高残差单元的非线性表达能力，避免了BN层对图像空间信息的破坏，为增强残差网络的性能，减轻网络得训练负担，提出一种跨层集成策略，如图2(c)所示，通过快捷连接来组合每个残差单元的输出特征图，网络结构从全局残差变为局部残差，同时避免了模型训练中的过拟合和反向传播中梯度消失的现象。在全局残差结构的基础上结合了每个残差单元的输出特性，从而充分利用了每个残差单元的输出特征，增强了网络浅层特征的表达能力。
S42、将步骤S3获取的CS-LBP特征图X'＝(x'1,x'2,...,x'n)送入基于注意力机制的卷积神经网络CNN2中，采用较小卷积核提取局部特征，经过若干层卷积运算和最大池化运算之后获取到相应的局部特征fL＝(fL 1,fL 2,...,fL k)；
参见图3，CNN2的网络的具体结构为：第一层是一个卷积核大小为5*5的卷积层，后接一个最大池化层；第二层是两个卷积核大小为3*3的卷积层，后接一个最大池化层；第3层是卷积核为3*3的卷积层，后接一个最大池化层；特征提取完毕后送入展平层，最后接入两层全连接层节点数分别是500和6，在全连接层加入Dropout预防过拟合，设置Dropout值为0.5。
S43、特征经过展平层之后获到特征向量
Figure BDA0003132909370000051
和
Figure BDA0003132909370000052
S5、将步骤S4获取的特征送入两层全连接层进行降维；
步骤S5具体包括：
S51、将步骤S4中提取到的特征向量
Figure BDA0003132909370000053
输入到两层全连接层fc1-1和fc1-2中进行降维，采用Relu激活函数，如下所示：
Figure BDA0003132909370000054
各层结构如下所示：
fc1-1＝{s1,s2,...,s500}
fc1-2＝{s1,s2,...,s6}
其中，s表示当前全连接层的神经元，fc1-1中有500个神经元，fc1-2中有6个神经元，全连接层最后输出维度为6的特征向量
Figure BDA0003132909370000055
S52、将步骤S4中提取到的特征向量fL输入到来两层全连接层fc2-1和fc2-2进行降维，各层结构如下所示：
fc2-1＝{l1,l2,...,l500}
fc2-2＝{l1,l2,...,l6}
其中，l表示当前全连接层的神经元，fc2-1中有500个神经元，fc2-2中有6个神经元全连接层最后输出维度为6的特征向量
Figure BDA0003132909370000056
具体的说，将CNN1和CNN2输出的特征分别降为和输出相同维度的特征，为特征融合做准备。
S6、将步骤S5中降维后的特征利用加权融合的方式融合成新的特征；
参见图4，将步骤S5中的特征
Figure BDA0003132909370000057
和
Figure BDA0003132909370000058
加权融合后形成新的特征Fz，设置权重系数k来调节两个通道的特征比重，融合过程如下所示：
Figure BDA0003132909370000059
当k取0或1的时候表示只有一个单通道的网络。
加权融合的好处就是可以调节不同神经网络输出特征的比例，通过大量实验寻找k的最佳取值，为0.6。
S7、将步骤S6中的新特征送入全连接层利用Softmax激活函数对其进行分类，输出表情；
所述步骤S7中Softmax激活函数分类过程如下所示：
Figure BDA0003132909370000061
其中，Z是上一层的输出，Softmax的输入，维度为C，yi为某一类别的概率值，i的取值代表了类别数，此处将表情分为6类，分别是生气(anger)、厌恶(disgust)、恐惧(fear)、开心(happy)、伤心(sad)、惊讶(surprised)，最后的分类结果为输出最大概率值的神经元节点所对应的类别。
本发明未详述之处，均为本领域技术人员的公知技术。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (8)

1.一种基于双路神经网络特征聚合的表情识别方法，其特征在于，包括以下几个步骤：
S1、对待识别的图像进行人脸检测，获取人脸区域；
S2、对获取的人脸图像做直方图均衡化处理；
S3、提取人脸图像的CS-LBP局部纹理特征；
S4、利用双路神经网络分别对步骤S2和步骤S3获取的图进行特征提取，加入网络注意力机制聚焦有用特征，剔除无效特征；
S5、将步骤S4获取的特征送入两层全连接层进行降维；
S6、将步骤S5中降维后的特征利用加权融合的方式融合成新的特征；
S7、将步骤S6中的新特征送入全连接层利用Softmax激活函数对其进行分类，输出表情。
2.根据权利要求1所述的基于并行神经网络的人脸表情识别方法，其特征在于，所述步骤S1包括：
S11、将图像进行“金字塔”变换，以解决目标多尺度问题。
S12、将步骤S11中获取的“图片金字塔”输入到卷积神经网络P-net中，得到大量的候选区域。
S13、将步骤S12中经过P-net筛选出来的照片送入较复杂的卷积神经网络R-net中进行精调，对P-net产生的多张人脸区域进行细化选择，并且舍去大部分的错误输入，提高人脸区域的可信度。
S14、将步骤S13中的候选区域输入到神经网路O-net中继续筛选，输出准确的bbox坐标和landmark坐标，获取准确的人脸区域。
3.根据权利要求2所述的基于并行神经网络的人脸表情识别方法，其特征在于，在所述步骤S2中，统计直方图每个灰度级出现的次数，累计归一化的直方图，利用映射关系计算新的像素值，对在图像中像素个数多的灰度值进行展宽，而对像素个数少的灰度值进行归并，获取更清晰的图像。
4.根据权利要求3所述的基于并行神经网络的人脸表情识别方法，其特征在于，在所述步骤S3中，计算原始图像的CS-LBP特征，计算过程为：
Figure FDA0003132909360000011
式中：g(pi,pi+(N/2))计算公式是通过使用像素值做差值，对差值取绝对值后判断与阈值t的大小关系进行计算如下所示：
Figure FDA0003132909360000012
5.根据权利要求4所述的基于并行神经网络的人脸表情识别方法，其特征在于，在所述步骤S4包括：
S41、将步骤S2中直方图均衡化后的人脸图像X＝(x1,x2,...,xn)送入改进的残差网络CNN1中，经过若干层卷积运算和最大池化运算之后，获取相应的全局特征fH＝(fH 1,fH 2,...,fH m)，其中卷积运算过程如下所示：
Figure FDA0003132909360000013
其中，CBAM为网络注意力机制；L为当前层；L-1为前一层；
Figure FDA0003132909360000014
表示当前层的第j个特征区域；
Figure FDA0003132909360000015
表示前一层第i个特征区域；K表示两个区域的卷积核；
Figure FDA0003132909360000016
当前层第j个特征区域的偏置；Mj为当前层特征区域的数量；f(.)为激活函数。
S42、将步骤S3获取的CS-LBP特征图X'＝(x'1,x'2,...,x'n)送入基于注意力机制的卷积神经网络CNN2中，经过若干层卷积运算和最大池化运算之后获取到相应的局部特征fL＝(fL 1,fL 2,...,fL k)；
S43、特征经过展平层之后获到特征向量
Figure FDA0003132909360000021
和
Figure FDA0003132909360000022
6.根据权利要求5所述的基于并行神经网络的人脸表情识别方法，其特征在于，在所述步骤S5包括：
S51、将步骤S4中提取到的特征向量
Figure FDA0003132909360000023
输入到两层全连接层fc1-1和fc1-2中进行降维，采用Relu激活函数，如下所示：
Figure FDA0003132909360000024
各层结构如下所示：
fc1-1＝{s1,s2,...,s500}
fc1-2＝{s1,s2,...,s6}
其中，s表示当前全连接层的神经元，fc1-1中有500个神经元，fc1-2中有6个神经元，全连接层最后输出维度为6的特征向量
Figure FDA0003132909360000025
S52、将步骤S4中提取到的特征向量fL输入到来两层全连接层fc2-1和fc2-2进行降维，各层结构如下所示：
fc2-1＝{l1,l2,...,l500}
fc2-2＝{l1,l2,...,l6}
其中，l表示当前全连接层的神经元，fc2-1中有500个神经元，fc2-2中有6个神经元全连接层最后输出维度为6的特征向量
Figure FDA0003132909360000026
7.根据权利要求6所述的基于并行神经网络的人脸表情识别方法，其特征在于，在所述步骤S6中加权融合的计算方法为：
将步骤S5中的特征
Figure FDA0003132909360000027
和
Figure FDA0003132909360000028
加权融合后形成新的特征Fz，设置权重系数k来调节两个通道的特征比重，融合过程如下所示：
Figure FDA0003132909360000029
当k取0或1的时候表示只有一个单通道的网络。
8.根据权利要求7所述的基于并行神经网络的人脸表情识别方法，其特征在于，在所述步骤S7中Softmax激活函数的表达式为：
Figure FDA00031329093600000210
其中，Z是上一层的输出，Softmax的输入，维度为C，yi为某一类别的概率值，i的取值代表了类别数，此处将表情分为6类，分别是生气(anger)、厌恶(disgust)、恐惧(fear)、开心(happy)、伤心(sad)、惊讶(surprised)，最后的分类结果为输出最大概率值的神经元节点所对应的类别。
CN202110710692.9A 2021-06-25 2021-06-25 一种基于双路神经网络特征聚合的表情识别方法 Pending CN113435315A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110710692.9A CN113435315A (zh) 2021-06-25 2021-06-25 一种基于双路神经网络特征聚合的表情识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110710692.9A CN113435315A (zh) 2021-06-25 2021-06-25 一种基于双路神经网络特征聚合的表情识别方法

Publications (1)

Publication Number Publication Date
CN113435315A true CN113435315A (zh) 2021-09-24

Family

ID=77754363

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110710692.9A Pending CN113435315A (zh) 2021-06-25 2021-06-25 一种基于双路神经网络特征聚合的表情识别方法

Country Status (1)

Country Link
CN (1) CN113435315A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114937293A (zh) * 2022-04-06 2022-08-23 江苏商贸职业学院 基于gis的农业服务管理方法及***

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114937293A (zh) * 2022-04-06 2022-08-23 江苏商贸职业学院 基于gis的农业服务管理方法及***

Similar Documents

Publication Publication Date Title
Dino et al. Facial expression classification based on SVM, KNN and MLP classifiers
CN111639692B (zh) 一种基于注意力机制的阴影检测方法
WO2022036777A1 (zh) 基于卷积神经网络的人体动作姿态智能估计方法及装置
CN108460356B (zh) 一种基于监控***的人脸图像自动处理***
CN106529447B (zh) 一种小样本人脸识别方法
CN114758383A (zh) 基于注意力调制上下文空间信息的表情识别方法
CN111797683A (zh) 一种基于深度残差注意力网络的视频表情识别方法
CN112883941A (zh) 一种基于并行神经网络的人脸表情识别方法
CN110097050B (zh) 行人检测方法、装置、计算机设备及存储介质
Yang et al. Facial expression recognition based on dual-feature fusion and improved random forest classifier
CN107818299A (zh) 基于融合hog特征和深度信念网络的人脸识别算法
CN111274987A (zh) 人脸表情识别方法及人脸表情识别装置
CN112597873A (zh) 一种基于深度学习的双通道人脸表情识别方法
CN112580480A (zh) 一种高光谱遥感影像分类方法及装置
Zhang et al. Spatial–temporal gray-level co-occurrence aware CNN for SAR image change detection
CN113592893B (zh) 一种确定主体和精准化边缘相结合的图像前景分割方法
CN113763417B (zh) 一种基于孪生网络和残差结构的目标跟踪方法
CN111209873A (zh) 一种基于深度学习的高精度人脸关键点定位方法及***
CN114492634A (zh) 一种细粒度装备图片分类识别方法及***
CN112016592B (zh) 基于交叉领域类别感知的领域适应语义分割方法及装置
Deeksha et al. Classification of Brain Tumor and its types using Convolutional Neural Network
CN113435315A (zh) 一种基于双路神经网络特征聚合的表情识别方法
CN110910497B (zh) 实现增强现实地图的方法和***
KR20180092453A (ko) Cnn과 스테레오 이미지를 이용한 얼굴 인식 방법
Nanthini et al. A novel Deep CNN based LDnet model with the combination of 2D and 3D CNN for Face Liveness Detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination