CN110135251B - 一种基于注意力机制和混合网络的群体图像情绪识别方法 - Google Patents

一种基于注意力机制和混合网络的群体图像情绪识别方法 Download PDF

Info

Publication number
CN110135251B
CN110135251B CN201910280721.5A CN201910280721A CN110135251B CN 110135251 B CN110135251 B CN 110135251B CN 201910280721 A CN201910280721 A CN 201910280721A CN 110135251 B CN110135251 B CN 110135251B
Authority
CN
China
Prior art keywords
image
facial
cnn
attention mechanism
emotion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910280721.5A
Other languages
English (en)
Other versions
CN110135251A (zh
Inventor
邵洁
钱勇生
季欣欣
李晓瑞
莫晨
程其玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai University of Electric Power
Original Assignee
Shanghai University of Electric Power
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai University of Electric Power filed Critical Shanghai University of Electric Power
Priority to CN201910280721.5A priority Critical patent/CN110135251B/zh
Publication of CN110135251A publication Critical patent/CN110135251A/zh
Application granted granted Critical
Publication of CN110135251B publication Critical patent/CN110135251B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于注意力机制和混合网络的群体图像情绪识别方法，包括以下步骤：步骤1：使用卷积网络模型以检测和提取图像中人的面部信息并输入面部CNN，通过注意力机制结合图像中的面部特征获取面部特征的单个表示；步骤2：使用姿势估计方法获取图像中人体骨架信息并输入骨架CNN；步骤3：利用数据库训练各分支网络模型；步骤4：融合各个模型的预测结果，执行网络搜索以学习每个模型的权重；步骤5：通过权重得出混合网络针对图像的最终识别结果。与现有技术相比，本发明具有降低由个别面部表情混淆最终分类的概率，充分结合了图像中场景、人脸、骨架的特征信息，降低由不同特征混淆最终分类的概率，更高的识别准确率等优点。

Description

一种基于注意力机制和混合网络的群体图像情绪识别方法
技术领域
本发明涉及群体情绪识别技术领域，尤其是涉及一种基于注意力机制和混合网络的群体图像情绪识别方法。
背景技术
智能情感分析研究已经走过了漫长的道路，但传统上一直关注场景中的单一个体，对群体情感识别的研究相对匮乏，然而，随着城市人口的迅速增长，研究对象由个体逐渐转变为群体。群体可分为大小群体，大群体如街道的人流，此时人与人之间并没有情感的交流和统一的情绪，本发明是对多位个体间有情感交流的小群体进行情绪识别。并且在拥挤的环境中，由于遮挡和分辨率的问题，很难根据个人的表情去推断群体的情感。因此，基于小群体情感识别显得尤为重要，它不仅可以应用于监控视频的异常检测，预测小群体情绪变化，保证社会安全。还可以应用于智能城市的规划，以给人们提供更加人性化的服务。如何高效地识别群体情感是目前急需解决的问题。
群体情绪识别最早由Dhall等人进行，该工作介绍了AFEW数据库和群体情绪识别框架，包括使用面部动作单元提取面部特征，在对齐的面上提取低级特征，使用GIST和CENTRIST描述符提取场景特征并使用多核学习融合。然而，他们提出的方法依赖于LBQ和PHOG特征和CENTRIST，其捕获面部表示和场景表示是有限的。
以往的情绪识别广泛使用人体面部特征，但根据实验心理学和情感计算的研究结果，身体姿势特征也传达重要的情感信息。人脸标志可直接作为位置向量，或者通过计算它们之间的几何距离来识别情绪，身体姿势特征主要被编码为图像中身体区域的手工特征。为了保留人脸标志和身体特征关键点的相对位置，可使用骨架特征表示，对应于人脸、身体和手的关键点集合。由于面部遮挡、光照变化、头部姿势变化，各种室内和室外环境不同以及由于相机距离不同而导致低分辨率的面部图像，因此群体情绪识别问题具有挑战性。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于注意力机制和混合网络的群体图像情绪识别方法。
本发明的目的可以通过以下技术方案来实现：
一种基于注意力机制和混合网络的群体图像情绪识别方法，包括以下步骤：
步骤1：使用卷积网络模型以检测和提取图像中人的面部信息并输入面部CNN，通过注意力机制结合图像中的面部特征获取面部特征的单个表示；
步骤2：使用姿势估计方法获取图像中人体骨架信息并输入骨架CNN；
步骤3：利用数据库训练各分支网络模型；
步骤4：融合各个模型的预测结果，执行网络搜索以学习每个模型的权重；
步骤5：通过权重得出混合网络针对图像的最终识别结果。
优选地，所述的步骤1包括以下分步骤：
步骤11：使用多任务级联卷积网络模型获取图像中人的面部信息；
步骤12：将面部信息输入面部CNN；
步骤13：引入损失函数减轻过拟合；
步骤14：通过注意力机制找到图像中每个面部的概率权重并获得单个面部特征向量。
优选地，所述步骤12中的面部CNN采用ResNet18和SphereFace模型，其输入为96×112RGB对齐的人脸图像。
优选地，所述步骤13中的损失函数为L-Softmax损失函数。
优选地，所述步骤14中的单个面部特征向量，其描述公式为：
式中，Pd为单个面部特征向量，δi为权重，pi为面部特征向量。
优选地，所述步骤3中的各分支网络模型还包括场景CNN，所述场景CNN的网络模型架构包括VGG19、ResNet101、SE-net154和DenseNet-161，所述场景CNN中还引入压缩和奖惩网络模块，其描述公式为：
s＝σ(W2δ(W1z))
式中，zc为压缩通道的第c个元素，Fsq(.)为挤压函数，W和H为输入图像的宽度和高度，uc(i,j)为第i个通道第j个元素的输入，σ为sigmoid函数，δ为ReLU函数，z为压缩通道的所有压缩量，W1和W2表示升维层和降维层，s为奖惩量。
优选地，所述步骤2中的骨架CNN的网络模型架构包括ResNet101和SE-net154，所述步骤2中姿势估计方法采用OpenPose姿势估计方法。
与现有技术相比，本发明具有以下优点：
(1)本发明方法步骤1以及自身的分步骤11～分步骤14能给予各个面部表情不同的权重，降低由个别面部表情混淆最终分类的概率。
(2)本发明中步骤1～4充分结合了图像中场景、人脸、骨架的特征信息，降低由不同特征混淆最终分类的概率。
(3)本发明中的场景、人脸、骨架各自的模型构成不同，场景CNN包括VGG19、ResNet101、SE-net154和DenseNet-161且引入了压缩和奖惩网络模块，骨架CNN包括ResNet101和SE-net154，面部CNN中从MTCNN模型获得的面部因图像差异而具有不同的取向和比例，其架构使用ResNet18和SphereFace模型，具有很强的学习和泛化能力，具有更高的识别准确率。
附图说明
图1为本发明识别方法对应的整体流程框架示意图；
图2为本发明合并面部特征向量的流程示意图，其中，图2-a为利用平均值的合并面部特征向量的流程示意图，图2-b为利用注意力机制的合并面部特征向量的流程示意图；
图3为本发明中的压缩和奖惩网络模块的架构示意图；
图4为本发明中的利用OpenPose的骨架提取图，其中，图4-a为图例1的利用OpenPose的骨架提取图，图4-b为图例2的利用OpenPose的骨架提取图；
图5为本发明中的各分支最优模型识别结果混淆矩阵示意图，其中，图5-a为SphereFace Attention的识别结果混淆矩阵示意图，图5-b为DenseNet-161的识别结果混淆矩阵示意图，图5-c为SE-net154的识别结果混淆矩阵示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
实施例
1.群体情绪识别架构
主要包括三种类型CNN，即基于面部的CNN，基于场景的CNN和基于骨架的CNN。三种类型的CNN都训练了多个模型，然后对选取的模型执行决策融合以学习最佳组合，如图1所示。
2.面部CNN
2.1面部CNN预处理
使用多任务级联卷积网络模型(MTCNN)来检测图像中人的面部，MTCNN是基于卷积神经网络的人脸检测方法，具有性能高和速度快的优点。它包含级联CNN，可以快速准确地检测和对齐面部关节(五个面部标志检测，即两只眼睛、两个嘴角和鼻子)。它根据输入图像构建图像金字塔，然后将它们提供给以下三级级联框架，候选区域在第一阶段产生并在后两个阶段细化，面部标志位置在第三阶段产生。
从MTCNN模型获得的面部因图像差异而具有不同的取向和比例，为了学***并将图像尺寸重新缩放到96×112，获得所有基于人脸表情面部CNN所需要的对齐人脸。面部情感CNN使用ResNet18和SphereFace模型，模型的输入为96×112RGB对齐的人脸图像。为了减轻过度拟合并增强泛化，使用人脸识别数据集对其进行预训练。
2.2L-Softmax损失函数
Large-Margin Softmax Loss(L-Softmax)被引入用于判别学习，它能够有效地引导网络学习使得类内距离较小、类间距离较大的特征。同时，L-Softmax不但能够调节不同的间隔(margin)，而且能够减轻过拟合问题。在微调阶段，对于面部特征xi，损失通过以下公式计算：
其中yi是xi的标签，wyi是全连接层中j类的权重；
其中m是预设角度边界约束，k是整数且k∈[0,m-1]。
2.3注意力机制
群体图像中存在多个人脸，为了可以独立于图像中存在的不同面部来进行情感识别，需要将所有的面部特征转换为单个表示。最简单的解决方法是计算平均特征，如图2-a所示，但是并非所有面部对于群体情感识别都同样重要。使用注意力机制来找到图像中每个面部的概率权重，计算根据这些权重的加权和以产生面部特征的单个表示，如图2-b所示。该注意力机制的方案将图像中检测到的面部输入到特征提取网络，即SphereFace。再把面部特征向量Pi输入到具有一维输出的全μi连接层，计算得分向量Pm：
然后将Pm和Pi连接起来并将其输入另一个全连接层，其中一维输出注意权重δi表示Pi和Pm之间的关系。根据注意权重计算面部特征的加权和，以产生单个面部特征向量Pd：
3.场景CNN
图像的全局场景为群体情绪识别提供重要线索。本发明使用四种最先进分类网络架构作为场景分类器来预测群体情绪，即VGG19，ResNet101，SE-net154和DenseNet-161，从整个图像中学习全局场景特征，训练基于图像全局的场景CNN。SE-net154是一种先进的识别网络，引入了压缩和奖惩网络模块筛选有用特征。
压缩和奖惩网络模块(Squeeze-and-Excitation blocks，SE)主要思想是通过显式地建模卷积特征通道之间的相互依赖性来提高网络的表达能力。对每个特征通道进行校准的机制，使网络从全局信息出发来提升有价值的特征通道并且抑制对当前任务无用的特征通道，如图3所示。squeeze功能如下所示：
其中zc是压缩通道的第c个元素，Fsq(.)是挤压函数，uc是第c个通道的输入，W和H表示输入图像的高度和宽度。
excition操作包括两个全连接层两个激活层操作，具体公式如下：
s＝Fex(z,W)＝σ(g(z,W))＝σ(W2δ(W1z))
其中δ和σ分别是激活函数ReLU和Sigmoid，降维层和升维层
4.骨架CNN
以往的情绪识别广泛使用人体面部特征，但根据实验心理学和情感计算的研究结果，身体姿势特征也传达重要的情感信息。为了保留人脸标志和身体特征关键点的相对位置，使用OpenPose来获得人体骨架姿势，如图4-a和图4-b所示，它可以联合检测单幅图像中人体、手和面部的关键点(每个人总共135个关键点)，并且与图像中检测到的人数相同。提取结果显示清晰的嘴形、身体姿势、手势和人物在图像中的布局，骨架特征图像与原始图像尺寸相同，再将图像按人体骨架外部最大矩形裁剪。本发明使用ResNet101、SE-net154作为骨架CNN来识别群体情绪，首先通过模型获取图像中每个人骨架的得分，然后将所有得分平均作为整个图像的预测。
5.本发明情绪识别方法具体实施结果分析
5.1各分支模型的结果，如图5-a、图5-b和图5-c所示，
表1显示了EmotiW验证集上六种面部CNN模型的结果，其中两种使用了注意机制，所有型号的准确度均达到70％左右。如表可得用注意机制的网络比Resnet18和SphereFace的基线提高了性能约2％，即训练面部CNN时，本发明使用注意机制是有效的。
表1 EmotiW验证集上面部CNN模型的结果
表2列出了EmotiW验证集上四种场景CNN模型的结果。其中VGG19使用L-Softmax损失，ResNet101、SE-net154和DenseNet-161使用Softmax损失。由表可见SE-net154和DenseNet-161获得了较优的性能。
表2 EmotiW验证集上场景CNN模型的结果
表3显示了EmotiW验证集上两种骨架CNN模型的结果。由表可见SE-net154的性能优于ResNet101。
表3 EmotiW验证集上骨架CNN模型的结果
5.2混合网络模型的结果，如表4所示：
表4 EmotiW测试集混合模型的结果
混合网络最终由7个模型组成：SphereFace、SphereFace_Attention、ResNet18、VGG-FACE、SE-net154(场景)、DenseNet-161(场景)和SE-net154(骨架)。表2显示了EmotiW测试集上具有不同权重的多个模型组合结果，并与Xin Guo和Dakshit Agrawal的模型进行比较，准确率分别提高了3.9％和1.9％。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (4)

1.一种基于注意力机制和混合网络的群体图像情绪识别方法，其特征在于，包括以下步骤：
步骤1：使用卷积网络模型以检测和提取图像中人的面部信息并输入面部CNN，通过注意力机制结合图像中的面部特征获取面部特征的单个表示；
步骤2：使用姿势估计方法获取图像中人体骨架信息并输入骨架CNN；
步骤3：利用数据库训练各分支网络模型；
步骤4：融合各个模型的预测结果，执行网络搜索以学习每个模型的权重；
步骤5：通过权重得出混合网络针对图像的最终识别结果，所述最终识别结果包括正面情绪、负面情绪或中性情绪；
所述的步骤1包括以下分步骤：
步骤11：使用多任务级联卷积网络模型获取图像中人的面部信息；
步骤12：将面部信息输入面部CNN；
步骤13：引入损失函数减轻过拟合；
步骤14：通过注意力机制找到图像中每个面部的概率权重并获得单个面部特征向量；
所述步骤12中的面部CNN采用ResNet18和SphereFace模型，其输入为96×112RGB对齐的人脸图像；
所述步骤3中的各分支网络模型还包括场景CNN，所述场景CNN的网络模型架构包括VGG19、ResNet101、SE-net154和DenseNet-161，所述场景CNN中还引入压缩和奖惩网络模块，其描述公式为：
s＝σ(W2δ(W1z))
式中，zc为压缩通道的第c个元素，Fsq(.)为挤压函数，W和H为输入图像的宽度和高度，uc(i,j)为第i个通道第j个元素的输入，σ为sigmoid函数，δ为ReLU函数，z为压缩通道的所有压缩量，W1和W2表示升维层和降维层，s为奖惩量。
2.根据权利要求1所述的一种基于注意力机制和混合网络的群体图像情绪识别方法，所述步骤13中的损失函数为L-Softmax损失函数。
3.根据权利要求1所述的一种基于注意力机制和混合网络的群体图像情绪识别方法，所述步骤14中的单个面部特征向量，其描述公式为：
式中，Pd为单个面部特征向量，δi为权重，pi为面部特征向量。
4.根据权利要求1所述的一种基于注意力机制和混合网络的群体图像情绪识别方法，所述步骤2中的骨架CNN的网络模型架构包括ResNet101和SE-net154，所述步骤2中姿势估计方法采用OpenPose姿势估计方法。
CN201910280721.5A 2019-04-09 2019-04-09 一种基于注意力机制和混合网络的群体图像情绪识别方法 Active CN110135251B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910280721.5A CN110135251B (zh) 2019-04-09 2019-04-09 一种基于注意力机制和混合网络的群体图像情绪识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910280721.5A CN110135251B (zh) 2019-04-09 2019-04-09 一种基于注意力机制和混合网络的群体图像情绪识别方法

Publications (2)

Publication Number Publication Date
CN110135251A CN110135251A (zh) 2019-08-16
CN110135251B true CN110135251B (zh) 2023-08-08

Family

ID=67569518

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910280721.5A Active CN110135251B (zh) 2019-04-09 2019-04-09 一种基于注意力机制和混合网络的群体图像情绪识别方法

Country Status (1)

Country Link
CN (1) CN110135251B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111274942A (zh) * 2020-01-19 2020-06-12 国汽(北京)智能网联汽车研究院有限公司 一种基于级联网络的交通锥识别方法及装置
CN111967379B (zh) * 2020-08-14 2022-04-08 西北工业大学 一种基于rgb视频和骨架序列的人体行为识别方法
CN112070058A (zh) * 2020-09-18 2020-12-11 深延科技(北京)有限公司 人脸面部复合情感表情识别方法及***
CN112766158B (zh) * 2021-01-20 2022-06-03 重庆邮电大学 基于多任务级联式人脸遮挡表情识别方法
CN113076905B (zh) * 2021-04-16 2022-12-16 华南理工大学 一种基于上下文交互关系的情绪识别方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011081445A (ja) * 2009-10-02 2011-04-21 Nippon Telegr & Teleph Corp <Ntt> 表情認識装置、人物間感情推定装置、表情認識方法、人物間感情推定方法、及びプログラム
CN109117750A (zh) * 2018-07-24 2019-01-01 深圳先进技术研究院 一种基于深度学习的情绪识别方法、***及电子设备
CN109359599A (zh) * 2018-10-19 2019-02-19 昆山杜克大学 基于联合学习身份和情感信息的面部表情识别方法
CN109508654A (zh) * 2018-10-26 2019-03-22 中国地质大学（武汉） 融合多任务和多尺度卷积神经网络的人脸分析方法及***
CN109522945A (zh) * 2018-10-31 2019-03-26 中国科学院深圳先进技术研究院 一种群体情感识别方法、装置、智能设备及存储介质
CN109543606A (zh) * 2018-11-22 2019-03-29 中山大学 一种加入注意力机制的人脸识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011081445A (ja) * 2009-10-02 2011-04-21 Nippon Telegr & Teleph Corp <Ntt> 表情認識装置、人物間感情推定装置、表情認識方法、人物間感情推定方法、及びプログラム
CN109117750A (zh) * 2018-07-24 2019-01-01 深圳先进技术研究院 一种基于深度学习的情绪识别方法、***及电子设备
CN109359599A (zh) * 2018-10-19 2019-02-19 昆山杜克大学 基于联合学习身份和情感信息的面部表情识别方法
CN109508654A (zh) * 2018-10-26 2019-03-22 中国地质大学（武汉） 融合多任务和多尺度卷积神经网络的人脸分析方法及***
CN109522945A (zh) * 2018-10-31 2019-03-26 中国科学院深圳先进技术研究院 一种群体情感识别方法、装置、智能设备及存储介质
CN109543606A (zh) * 2018-11-22 2019-03-29 中山大学 一种加入注意力机制的人脸识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于多流CNN-LSTM网络的群体情绪识别;卿粼波等;《计算机应用研究》;20180208(第12期);章节1.1-1.3 *

Also Published As

Publication number Publication date
CN110135251A (zh) 2019-08-16

Similar Documents

Publication Publication Date Title
CN110135251B (zh) 一种基于注意力机制和混合网络的群体图像情绪识别方法
Li et al. Attention mechanism-based CNN for facial expression recognition
Sun et al. Deep spatial-temporal feature fusion for facial expression recognition in static images
Wang et al. Large-scale isolated gesture recognition using convolutional neural networks
Liu et al. SAANet: Siamese action-units attention network for improving dynamic facial expression recognition
CN111325155A (zh) 基于残差式3d cnn和多模态特征融合策略的视频动作识别方法
CN111967379B (zh) 一种基于rgb视频和骨架序列的人体行为识别方法
Youssif et al. Arabic sign language (arsl) recognition system using hmm
Asif et al. Privacy preserving human fall detection using video data
CN112287891B (zh) 基于表情行为特征提取的通过视频评估学习专注力的方法
Yang et al. Rankboost with l1 regularization for facial expression recognition and intensity estimation
Heng et al. Hybrid supervised deep learning for ethnicity classification using face images
CN113743544A (zh) 一种跨模态神经网络构建方法、行人检索方法及***
Ni et al. Facial expression recognition through cross-modality attention fusion
Zhuang et al. Skin lesion analysis towards melanoma detection using deep neural network ensemble
Wang et al. Action unit detection and key frame selection for human activity prediction
Nasir et al. ENGA: elastic net-based genetic algorithm for human action recognition
CN107832713A (zh) 一种基于OptiTrack的人体姿态识别方法
Mohana et al. Emotion recognition from facial expression using hybrid CNN–LSTM network
Sruthi et al. Double-handed dynamic gesture recognition using contour-based hand tracking and maximum mean probability ensembling (MMPE) for Indian Sign language
Ke et al. Spatial, structural and temporal feature learning for human interaction prediction
Singh et al. Robust modelling of static hand gestures using deep convolutional network for sign language translation
Ma et al. Convolutional transformer network for fine-grained action recognition
CN105224952A (zh) 基于最大间隔马尔可夫网模型的双人交互行为识别方法
Mi et al. Dual-branch network with a subtle motion detector for microaction recognition in videos

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant