CN108596039A - 一种基于3d卷积神经网络的双模态情感识别方法及*** - Google Patents

一种基于3d卷积神经网络的双模态情感识别方法及*** Download PDF

Info

Publication number
CN108596039A
CN108596039A CN201810267991.8A CN201810267991A CN108596039A CN 108596039 A CN108596039 A CN 108596039A CN 201810267991 A CN201810267991 A CN 201810267991A CN 108596039 A CN108596039 A CN 108596039A
Authority
CN
China
Prior art keywords
layer
expression
posture
neural networks
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810267991.8A
Other languages
English (en)
Other versions
CN108596039B (zh
Inventor
卢官明
郭迪
闫静杰
卢峻禾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Post and Telecommunication University
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing Post and Telecommunication University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Post and Telecommunication University filed Critical Nanjing Post and Telecommunication University
Priority to CN201810267991.8A priority Critical patent/CN108596039B/zh
Publication of CN108596039A publication Critical patent/CN108596039A/zh
Application granted granted Critical
Publication of CN108596039B publication Critical patent/CN108596039B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Neurology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于3D卷积神经网络的双模态情感识别方法及***。该方法首先分别构建用于表情情感识别和姿态情感识别两种3D卷积神经网络，并基于双模态情感视频库的训练集和验证集优化网络模型参数；然后基于双模态情感视频库的测试集分别对优化后的两种神经网络进行测试，得到表情情感识别混淆矩阵和姿态情感识别混淆矩阵；最后利用表情情感识别混淆矩阵和姿态情感识别混淆矩阵的先验知识，将对新输入的表***序列和姿态视频序列的两种模态的识别结果进行融合，得到双模态的情感分类结果。该方法采用3D卷积神经网络和双模态融合算法，避免了人工设计特征的主观性，克服了单模态情感识别的局限性，并能有效提高情感识别的准确性和鲁棒性。

Description

一种基于3D卷积神经网络的双模态情感识别方法及***
技术领域
本发明属于机器学习与模式识别领域，涉及一种视频情感识别方法及***，特别涉及一种基于3D卷积神经网络的双模态情感识别方法及***。
背景技术
随着科学技术的高速发展，人类对计算机的依赖不断增强，人机交互能力受到研究者的重视。计算机科学发展的重要目标之一就是如何实现计算机的拟人化，这已经成为了该领域研究的一个热点问题。在人机交互中所需要解决的一个关键问题是实现计算机的情感识别能力。
情感识别能力是计算机智能的一个重要方面，它反映了计算机通过对获取的信息判断操作者或对话者的情感状态的能力。通过研究情感识别技术，让机器可以识别了解人的情感，人们就可以建立更加友好、和谐的人机交互环境。情感识别技术在人机交互、医疗、安全、教育以及娱乐等领域具有广阔的应用前景。随着情感识别技术研究的深入和计算机情感识别能力的不断提高，必将大大提高人类的生活质量。
目前，情感识别的研究很大一部分是针对面部表情、语音或脑电信号等单一模态进行的。相比单模态，两种或多种模态拥有更多的情感信息。人类也是通过多模态的方式来表达情感信息的。因此，深度挖掘和融合多种模态信号，是进一步提高情感识别性能的一种有效途径。
中国专利申请“一种复合时空特征的双模态视频情感识别方法”(专利申请号201611096937.9，公开号CN106529504A)，通过分别提取上身姿态样本和人脸表情样本的时空局部三值模式矩(TSLTPM)直方图特征和三维梯度方向(3DHOG)直方图特征，构成相应样本的上身姿态复合时空特征和人脸表情复合时空特征，最后使用D-S证据理论判决规则对复合时空特征测试集进行分类，得到情感识别结果。该方法采用人工设计的特征，特征提取过程较为繁琐，且复杂度较高，此外，在采用D-S证据理论判决规则进行融合时，会产生因基本概率分配函数的微小变化而导致融合结果截然不同的不稳定性，以及在处理完全冲突或高度冲突证据时产生有悖于常理的结果。
中国专利申请“基于表情和行为双模态结合的人类自然状态情感识别方法”(专利申请号201610654684.6，公开号CN106295568A)，采用两级分类模式的情感认知架构，首先将提取的人体躯干运动特征与事先建立的人体躯干运动特征库进行匹配比对，获得情感粗分类结果；然后，从事先建立的人脸表情特征库查找出与所提取的人脸表情特征相匹配的人脸表情特征，输出对应的情感细分类结果。该方法存在的最大问题是无法提取有效的人体躯干运动特征，以及难以建立有效的人体躯干运动特征库和人脸表情特征库。
发明内容
发明目的：针对现有技术的不足，本发明目的在于提供一种基于3D卷积神经网络的双模态情感识别方法及***，通过强大的特征学习与分类能力，简化特征的提取，并提高情感识别的准确性和鲁棒性。
技术方案：本发明为实现上述发明目的采用以下技术方案：
一种基于3D卷积神经网络的双模态情感识别方法，包括以下步骤：
(1)同时获取每一个人的面部表***片段和身体姿态视频片段样本，将每一个视频片段剪辑成一个等长的帧序列，建立包含情感类别标签的表情和姿态双模态情感视频库，并将双模态情感视频库的样本划分为训练集、验证集和测试集；
(2)利用训练集和验证集中的表***序列和姿态视频序列分别对构建的第一3D卷积神经网络和第二3D卷积神经网络进行训练，优化网络模型参数；所述训练集用于网络训练，每训练迭代预设次数后，在验证集上进行一次测试，用于验证网络参数的选取是否合理；所述第一3D卷积神经网络和第二3D卷积神经网络均包括：
数据输入层，用于输入视频序列，对视频序列中的每帧图像进行归一化处理；
至少2个卷积层和池化层的组合模块，其中卷积层采用若干3D卷积核对上一层的输出进行卷积运算，池化层用于对卷积层的输出进行下采样操作；
全连接层，用于将上一层池化层的输出全连接至本层的输出神经元，输出一个特征向量；
以及，分类层，用于将全连接层输出的特征向量全连接到表示情感类别的输出节点，输出一个n维向量，其中n为情感类别数目；
作为优选，所述第一3D卷积神经网络，包括顺序连接的1个数据输入层、至少2个卷积层和池化层的组合模块、1个全连接层和1个Softmax分类层；
所述数据输入层为第一层，输入为表***序列，对视频序列中的每帧图像进行归一化处理；所述表***序列的长度为16、24或32帧；
所述卷积层和池化层的组合模块，包含1个卷积层和1个池化层，其中，卷积层包含ReLU非线性激活函数层，选用m1个d1×k1×k1的3D卷积核对上一层的输出进行卷积运算，其中，d1、k1在3、5、7数值中选取，m1在32、64、128、256、512数值中选取；池化层选用d2×k2×k2的池化核对上一层卷积层的输出进行下采样操作，其中，d2、k2在1、2、3数值中选取；
所述全连接层将上一层池化层的输出全连接至本层的c个输出神经元，输出一个c维的特征向量，其中，c在256、512、1024数值中选取；
所述Softmax分类层将上一层全连接层输出的特征向量全连接到n个输出节点，经过Softmax回归后得到一个n维向量[p1 p2 p3 … pn]T，其中每一个维度的数值就是输入视频序列的情感类别属于对应类别的概率；n为情感类别数目。
作为优选，所述第二3D卷积神经网络，包括顺序连接的1个数据输入层、至少2个卷积层和池化层的组合模块、1个全连接层和1个Softmax分类层；
所述数据输入层为第一层，输入为姿态视频序列，对视频序列中的每帧图像进行归一化处理；所述姿态视频序列的长度为16、24或32帧；
所述卷积层和池化层的组合模块，包含1个卷积层和1个池化层，其中，卷积层包含ReLU非线性激活函数层，选用m2个d3×k3×k3的3D卷积核对上一层的输出进行卷积运算，其中，d3、k3在3、5、7数值中选取，m2在32、64、128、256、512数值中选取；池化层选用d4×k4×k4的池化核对上一层卷积层的输出进行下采样操作，其中，d4、k4在1、2、3数值中选取；
所述全连接层将上一层池化层的输出全连接至本层的c个输出神经元，输出一个c维的特征向量，其中，c在256、512、1024数值中选取；
所述Softmax分类层将上一层全连接层输出的特征向量全连接到n个输出节点，经过Softmax回归后得到一个n维向量[q1 q2 q3 … qn]T，其中每一个维度的数值就是输入视频序列的情感类别属于对应类别的概率。
(3)利用优化后的第一3D卷积神经网络对测试集中的表***序列样本进行情感分类识别，得到一个n维向量，比较向量的每一个维度的数值大小，其中数值最大的维度所对应的类别就是该样本的情感类别；对测试集中的所有表***序列样本进行重复测试，统计分类识别结果，得到表情情感分类识别混淆矩阵E，即
同理，利用优化后的第二3D卷积神经网络对测试集中的姿态视频序列样本进行情感分类识别，得到一个n维向量，比较向量的每一个维度的数值大小，其中数值最大的维度所对应的类别就是该样本的情感类别；对测试集中的所有姿态视频序列样本进行重复测试，统计分类识别结果，得到姿态情感分类识别混淆矩阵G，即
(4)利用优化后的第一3D卷积神经网络和第二3D卷积神经网络分别对新输入的表***序列和姿态视频序列进行情感分类识别，得到表情和姿态两种模态的情感分类识别结果；
(5)利用步骤(3)得到的表情情感分类识别混淆矩阵E和姿态情感分类识别混淆矩阵G的先验知识，将步骤(4)得到的两种模态的情感分类识别结果在决策层进行加权融合，得到双模态的情感分类结果，具体的步骤如下：
(5.1)对表情情感分类识别混淆矩阵E主对角线上的元素的数值进行归一化，得到
(5.2)对姿态情感分类识别混淆矩阵G主对角线上的元素的数值进行归一化，得到
(5.3)将表情和姿态两种模态的情感分类识别结果进行加权融合，得到一个新的n维向量V，即
比较向量V中每一个维度的数值大小，其中数值最大的维度所对应的类别就是输入视频序列的情感类别。
本发明另一方面提供的一种基于3D卷积神经网络的双模态情感识别***，包括：
预处理模块，用于同时获取每一个人的面部表***片段和身体姿态视频片段样本，将每一个视频片段剪辑成一个等长的帧序列，建立包含情感类别标签的表情和姿态双模态情感视频库，并将双模态情感视频库的样本划分为训练集、验证集和测试集；
网络模型训练模块，利用训练集和验证集中的表***序列和姿态视频序列分别对构建的第一3D卷积神经网络和第二3D卷积神经网络进行训练，优化网络模型参数；所述第一3D卷积神经网络和第二3D卷积神经网络均包括：数据输入层，用于输入视频序列，对视频序列中的图像进行归一化处理；至少2个卷积层和池化层的组合模块，其中卷积层采用若干3D卷积核对上一层的输出进行卷积运算，池化层用于对卷积层的输出进行下采样操作；全连接层，用于将上一层池化层的输出全连接至本层的输出神经元，输出一个特征向量；以及，分类层，用于将全连接层输出的特征向量全连接到表示情感类别的输出节点，输出一个n维向量，其中n为情感类别数目；
混淆矩阵获取模块，用于分别利用优化后的第一3D卷积神经网络和第二3D卷积神经网络对测试集中的表***序列样本和姿态视频序列样本进行情感分类识别，并统计分类识别结果，得到n×n的表情情感分类识别混淆矩阵和姿态情感分类识别混淆矩阵；
表情和姿态情感分类识别模块，利用优化后的第一3D卷积神经网络和第二3D卷积神经网络分别对新输入的表***序列和姿态视频序列进行情感分类识别，得到表情和姿态两种模态的情感分类识别结果；
以及，决策模块，用于利用混淆矩阵获取模块得到的表情情感分类识别混淆矩阵和姿态情感分类识别混淆矩阵的先验知识，将表情和姿态情感分类识别模块得到的两种模态的情感分类识别结果在决策层进行加权融合，得到双模态的情感分类结果。
有益效果：与现有技术相比，本发明具有以下技术效果：
(1)本发明采用3D卷积神经网络提取视频片段的时域和空域特征，将特征提取从静态图像拓展到图像序列，通过训练网络自适应地调整参数，可以自主提取能够反映时间信息的动态特征，提取到的情感特征可以更好地表征面部表情和身体姿态的变化，相对于传统的人工设计特征，具有更强的表征能力和泛化能力，从而最终提升分类识别的准确性。
(2)本发明采用融合面部表情和身体姿态两种模态的信息进行情感分类识别，克服了单模态情感分类识别的局限性。
(3)本发明在决策层对表情和姿态两种模态的识别结果进行加权融合时，利用表情和姿态两种模态的情感分类识别混淆矩阵的先验知识来确定加权的权重值，可以克服采用D-S证据理论判决规则进行融合时因基本概率分配函数的微小变化而导致融合结果截然不同的不稳定性，以及在处理完全冲突或高度冲突证据时产生有悖于常理的结果等问题，能有效地提高情感识别的准确性和鲁棒性。
附图说明
图1是本发明的一种基于3D卷积神经网络的双模态情感识别方法的流程图；
图2是本发明的一种基于3D卷积神经网络的双模态情感识别方法的基本架构图；
图3是FABO数据库中的部分视频截取的图像；(a)-(c)为不同面部表***截图，(d)-(f)为不同身体姿态视频截图。
具体实施方式
下面结合说明书附图对本发明的具体实施方式做进一步详细的说明。
如图1所示，本发明实施例提供的一种基于3D卷积神经网络的双模态情感识别方法，主要包括如下步骤：
步骤1：同时获取每一个人的面部表***片段和身体姿态视频片段样本，将每一个视频片段剪辑成一个等长的帧序列，建立包含情感类别标签的表情和姿态双模态情感视频库，并将双模态情感视频库的样本按照一定的比例划分为训练集、验证集和测试集。
本实施例中，选取FABO(A Bimodal Face and Body Gesture Database)双模态情感视频数据库。在实际中，也可以采用其他的视频数据库，或自行采用双摄像机采集面部表***和身体姿态视频，建立包含情感类别标签的表情和姿态双模态情感视频库。本实施例的FABO数据库提供的样本包含了23个人，每个人有9种不同的情感类别，包括生气、焦虑、厌倦、厌恶、害怕、伤心、惊讶、高兴、不确定。鉴于FABO数据库包含的“伤心”和“惊讶”两种情感类别的样本数不足，我们选取了生气、焦虑、厌倦、厌恶、害怕、高兴、不确定7种情感类别的样本，分别用1～7作为情感类别标签；对数据库中的视频样本进行预处理，按照4:1:1的比例任意选取视频样本分别作为训练集、验证集和测试集，每个视频片段截取成一个16帧长的帧序列，将各个样本集的视频序列及标签存储为lst文件。实际应用时，帧长可以在16、24、32数值中选取。
步骤2：分别构建两种3D卷积神经网络，其中，第一3D卷积神经网络用于面部表情情感识别，第二3D卷积神经网络用于身体姿态情感识别。
构建的第一3D卷积神经网络，包括顺序连接的1个数据输入层、至少2个卷积层和池化层的组合模块、1个全连接层和1个Softmax分类层；
数据输入层为第一层，输入为表***序列，对视频序列中的每帧图像进行归一化处理；
卷积层和池化层的组合模块，包含1个卷积层和1个池化层，其中，卷积层包含ReLU非线性激活函数层，选用m1个d1×k1×k1的3D卷积核对上一层的输出进行卷积运算，其中，m1、d1、k1为正整数，d1、k1在3、5、7数值中选取，m1在32、64、128、256、512数值中选取；池化层选用d2×k2×k2的池化核对上一层卷积层的输出进行下采样操作，其中，d2、k2为正整数，d2、k2在1、2、3数值中选取；
全连接层将上一层池化层的输出全连接至本层的c个输出神经元，输出一个c维的特征向量，其中，c为正整数，在256、512、1024数值中选取；
Softmax分类层将上一层全连接层输出的特征向量全连接到n个输出节点，经过Softmax回归后得到一个n维向量，其中每一个维度的数值就是输入视频序列的情感类别属于对应类别的概率。
构建的第二3D卷积神经网络，包括顺序连接的1个数据输入层、至少2个卷积层和池化层的组合模块、1个全连接层和1个Softmax分类层；
数据输入层为第一层，输入为姿态视频序列，对视频序列中的每帧图像进行归一化处理；
卷积层和池化层的组合模块，包含1个卷积层和1个池化层，其中，卷积层包含ReLU非线性激活函数层，选用m2个d3×k3×k3的3D卷积核对上一层的输出进行卷积运算，其中，m2、d3、k3为正整数，d3、k3在3、5、7数值中选取，m2在32、64、128、256、512数值中选取；池化层选用d4×k4×k4的池化核对上一层卷积层的输出进行下采样操作，其中，d4、k4为正整数，d4、k4在1、2、3数值中选取；
全连接层将上一层池化层的输出全连接至本层的c个输出神经元，输出一个c维的特征向量，其中，c为正整数，在256、512、1024数值中选取；
Softmax分类层将上一层全连接层输出的特征向量全连接到n个输出节点，经过Softmax回归后得到一个n维向量，其中每一个维度的数值就是输入视频序列的情感类别属于对应类别的概率。
基于本实施例的所采用的数据库，可以构建两种结构相同、模型参数不同的3D卷积神经网络，如图2所示，具体结构如下：
第一层为数据输入层，将输入的16帧长的视频序列中的每一帧图像归一化为112×112像素；
第二层为卷积层1，选用64个3×3×3的3D卷积核对第一层数据输入层输出的特征图组进行卷积操作，卷积步长为1，进行补零(Zero Padding)操作加边的长度为1，卷积后再经过修正线性单元(ReLU)函数进行非线性映射，输出64个特征图组，每个特征图组包含16个大小为112×112的特征图；
第三层为池化层1，选用1×2×2的池化核，以步长2对卷积层1输出的特征图组进行下采样操作，输出64个特征图组，每个特征图组包含16个大小为56×56的特征图；
第四层为卷积层2，选用128个3×3×3的3D卷积核对池化层1输出的特征图组进行卷积操作，卷积步长为1，进行补零操作加边的长度为1，卷积后再经过修正线性单元(ReLU)函数进行非线性映射，输出128个特征图组，每个特征图组包含16个大小为56×56的特征图；
第五层为池化层2，选用2×2×2的池化核，以步长2对卷积层2输出的特征图组进行下采样操作，输出128个特征图组，每个特征图组包含8个大小为28×28的特征图；
第六层为卷积层3，选用256个3×3×3的3D卷积核对池化层2输出的特征图组进行卷积操作，卷积步长为1，进行补零操作加边的长度为1，卷积后再经过修正线性单元(ReLU)函数进行非线性映射，输出256个特征图组，每个特征图组包含8个大小为28×28的特征图；
第七层为池化层3，选用2×2×2的池化核，以步长2对卷积层3输出的特征图组进行下采样操作，输出256个特征图组，每个特征图组包含4个大小为14×14的特征图；
第八层为卷积层4，选用256个3×3×3的3D卷积核对池化层3输出的特征图组进行卷积操作，卷积步长为1，进行补零操作加边的长度为1，卷积后再经过修正线性单元函数进行非线性映射，输出256个特征图组，每个特征图组包含4个大小为14×14的特征图；
第九层为池化层4，选用2×2×2大小的池化核，以步长2对卷积层4输出的特征图组进行下采样操作，输出256个特征图组，每个特征图组包含2个大小为7×7的特征图；
第十层为全连接层，将池化层4的输出全连接至本层的512个输出神经元，输出一个512维的特征向量，将其再经过ReLU函数非线性变换，然后使用Dropout方法调整连接权重，全连接数目为512个；
第十一层为分类层，采用Softmax分类器，将第十层全连接层输出的特征向量全连接到7个输出节点，经过Softmax回归后得到一个7维向量，其中每一个维度的数值就是输入视频序列的情感类别属于对应类别的概率；
构建好上述两种3D卷积神经网络后，以双模态情感视频库中的表***序列和姿态视频序列作为输入，分别对相应的3D卷积神经网络进行训练，利用反向传播算法优化两种3D卷积神经网络的模型参数。
步骤3：利用训练集和验证集中的表***序列对第一3D卷积神经网络进行训练，利用训练集和验证集中的姿态视频序列对第二3D卷积神经网络进行训练，优化网络模型参数。其中，训练集用于网络训练，每训练迭代预设次数后，在验证集上进行一次测试，用于验证网络参数的选取是否合理。
步骤4：利用优化后的第一3D卷积神经网络对测试集中的表***序列样本进行情感分类识别，得到一个7维向量，比较向量的每一个维度的数值大小，其中数值最大的维度所对应的类别就是该样本的情感类别；对测试集中的所有表***序列样本进行重复测试，统计分类识别结果，得到表情情感分类识别混淆矩阵E，即
同理，利用优化后的第二3D卷积神经网络对测试集中的姿态视频序列样本进行情感分类识别，得到一个7维向量，比较向量的每一个维度的数值大小，其中数值最大的维度所对应的类别就是该样本的情感类别；对测试集中的所有姿态视频序列样本进行重复测试，统计分类识别结果，得到姿态情感分类识别混淆矩阵G，即
步骤5：利用优化后的第一3D卷积神经网络和第二3D卷积神经网络分别对新输入的表***序列和姿态视频序列进行情感分类识别，得到表情和姿态两种模态的情感分类识别结果；
步骤6：利用步骤4得到的表情情感分类识别混淆矩阵E和姿态情感分类识别混淆矩阵G的先验知识，将步骤5得到的两种模态的情感分类识别结果在决策层进行加权融合，得到双模态的情感分类结果，具体的步骤如下：
(6.1)对表情情感分类识别混淆矩阵E主对角线上的元素的数值进行归一化，得到
(6.2)对姿态情感分类识别混淆矩阵G主对角线上的元素的数值进行归一化，得到
(6.3)将表情和姿态两种模态的情感分类识别结果进行加权融合，得到一个新的7维向量V，即
比较向量V中每一个维度的数值大小，其中数值最大的维度所对应的类别就是输入视频序列的情感类别。
本发明实施例提出的一种基于3D卷积神经网络的双模态情感识别方法，和传统的双模态情感识别方法相比，提取到的情感特征相对于人工设计特征具有更强的表征能力和泛化能力，从而最终提升分类识别的准确性。此外，在决策层对表情和姿态两种模态的识别结果进行加权融合时，利用表情和姿态两种模态的情感分类识别混淆矩阵的先验知识来确定加权的权重值，可以克服采用D-S证据理论判决规则进行融合时因基本概率分配函数的微小变化而导致融合结果截然不同的不稳定性，以及在处理完全冲突或高度冲突证据时产生有悖于常理的结果等问题，能有效地提高情感识别的准确性和鲁棒性。
本发明另一实施例提供的一种基于3D卷积神经网络的双模态情感识别***，包括：预处理模块，用于同时获取每一个人的面部表***片段和身体姿态视频片段样本，将每一个视频片段剪辑成一个等长的帧序列，建立包含情感类别标签的表情和姿态双模态情感视频库，并将双模态情感视频库的样本划分为训练集、验证集和测试集；网络模型训练模块，利用训练集和验证集中的表***序列和姿态视频序列分别对构建的第一3D卷积神经网络和第二3D卷积神经网络进行训练，优化网络模型参数；所述第一3D卷积神经网络和第二3D卷积神经网络均包括：数据输入层，用于输入视频序列，对视频序列中的图像进行归一化处理；至少2个卷积层和池化层的组合模块，其中卷积层采用若干3D卷积核对上一层的输出进行卷积运算，池化层用于对卷积层的输出进行下采样操作；全连接层，用于将上一层池化层的输出全连接至本层的输出神经元，输出一个特征向量；以及，分类层，用于将全连接层输出的特征向量全连接到表示情感类别的输出节点；混淆矩阵获取模块，用于分别利用优化后的第一3D卷积神经网络和第二3D卷积神经网络对测试集中的表***序列样本和姿态视频序列样本进行情感分类识别，并统计分类识别结果，得到的表情情感分类识别混淆矩阵和姿态情感分类识别混淆矩阵；表情和姿态情感分类识别模块，利用优化后的第一3D卷积神经网络和第二3D卷积神经网络分别对新输入的表***序列和姿态视频序列进行情感分类识别，得到表情和姿态两种模态的情感分类识别结果；以及，决策模块，用于利用混淆矩阵获取模块得到的表情情感分类识别混淆矩阵和姿态情感分类识别混淆矩阵的先验知识，将表情和姿态情感分类识别模块得到的两种模态的情感分类识别结果在决策层进行加权融合，得到双模态的情感分类结果。
上述基于3D卷积神经网络的双模态情感识别***实施例可以用于执行上述基于3D卷积神经网络的双模态情感识别方法实施例，其技术原理、所解决的技术问题及产生的技术效果相似，上述描述的基于3D卷积神经网络的双模态情感识别的具体工作过程及有关说明，可以参考前述基于3D卷积神经网络的双模态情感识别方法实施例中的对应过程，在此不再赘述。
本领域技术人员可以理解，可以对实施例中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个***中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。
以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (5)

1.一种基于3D卷积神经网络的双模态情感识别方法，其特征在于，包括以下步骤：
(1)同时获取每一个人的面部表***片段和身体姿态视频片段样本，将每一个视频片段剪辑成一个等长的帧序列，建立包含情感类别标签的表情和姿态双模态情感视频库，并将双模态情感视频库的样本划分为训练集、验证集和测试集；
(2)利用训练集和验证集中的表***序列和姿态视频序列分别对构建的第一3D卷积神经网络和第二3D卷积神经网络进行训练，优化网络模型参数；所述第一3D卷积神经网络和第二3D卷积神经网络均包括：
数据输入层，用于输入视频序列，对视频序列中的每帧图像进行归一化处理；
至少2个卷积层和池化层的组合模块，其中卷积层采用若干3D卷积核对上一层的输出进行卷积运算，池化层用于对卷积层的输出进行下采样操作；
全连接层，用于将上一层池化层的输出全连接至本层的输出神经元，输出一个特征向量；
以及，分类层，用于将全连接层输出的特征向量全连接到表示情感类别的输出节点，输出一个n维向量，其中n为情感类别数目；
(3)分别利用优化后的第一3D卷积神经网络和第二3D卷积神经网络对测试集中的表***序列样本和姿态视频序列样本进行情感分类识别，并统计分类识别结果，得到n×n的表情情感分类识别混淆矩阵E和姿态情感分类识别混淆矩阵G；
(4)利用优化后的第一3D卷积神经网络和第二3D卷积神经网络分别对新输入的表***序列和姿态视频序列进行情感分类识别，得到表情和姿态两种模态的情感分类识别结果；
(5)利用步骤(3)得到的表情情感分类识别混淆矩阵E和姿态情感分类识别混淆矩阵G的先验知识，将步骤(4)得到的两种模态的情感分类识别结果在决策层进行加权融合，得到双模态的情感分类结果。
2.根据权利要求1所述的一种基于3D卷积神经网络的双模态情感识别方法，其特征在于，所述第一3D卷积神经网络，包括顺序连接的1个数据输入层、至少2个卷积层和池化层的组合模块、1个全连接层和1个Softmax分类层；
所述数据输入层为第一层，输入为表***序列，对视频序列中的每帧图像进行归一化处理；所述表***序列的长度为16、24或32帧；
所述卷积层和池化层的组合模块，包含1个卷积层和1个池化层，其中，卷积层包含ReLU非线性激活函数层，选用m1个d1×k1×k1的3D卷积核对上一层的输出进行卷积运算，其中，d1、k1在3、5、7数值中选取，m1在32、64、128、256、512数值中选取；池化层选用d2×k2×k2的池化核对上一层卷积层的输出进行下采样操作，其中，d2、k2在1、2、3数值中选取；
所述全连接层将上一层池化层的输出全连接至本层的c个输出神经元，输出一个c维的特征向量，其中，c在256、512、1024数值中选取；
所述Softmax分类层将上一层全连接层输出的特征向量全连接到n个输出节点，经过Softmax回归后得到一个n维向量[p1 p2 p3 … pn]T，其中每一个维度的数值就是输入表***序列的情感类别属于对应类别的概率；n为情感类别数目。
3.根据权利要求1所述的一种基于3D卷积神经网络的双模态情感识别方法，其特征在于，所述第二3D卷积神经网络，包括顺序连接的1个数据输入层、至少2个卷积层和池化层的组合模块、1个全连接层和1个Softmax分类层；
所述数据输入层为第一层，输入为姿态视频序列，对视频序列中的每帧图像进行归一化处理；所述姿态视频序列的长度为16、24或32帧；
所述卷积层和池化层的组合模块，包含1个卷积层和1个池化层，其中，卷积层包含ReLU非线性激活函数层，选用m2个d3×k3×k3的3D卷积核对上一层的输出进行卷积运算，其中，d3、k3在3、5、7数值中选取，m2在32、64、128、256、512数值中选取；池化层选用d4×k4×k4的池化核对上一层卷积层的输出进行下采样操作，其中，d4、k4在1、2、3数值中选取；
所述全连接层将上一层池化层的输出全连接至本层的c个输出神经元，输出一个c维的特征向量，其中，c在256、512、1024数值中选取；
所述Softmax分类层将上一层全连接层输出的特征向量全连接到n个输出节点，经过Softmax回归后得到一个n维向量[q1 q2 q3 … qn]T，其中每一个维度的数值就是输入姿态视频序列的情感类别属于对应类别的概率；n为情感类别数目。
4.根据权利要求1所述的一种基于3D卷积神经网络的双模态情感识别方法，其特征在于，所述步骤(5)包括：
(5.1)对表情情感分类识别混淆矩阵E主对角线上的元素的数值进行归一化，得到
(5.2)对姿态情感分类识别混淆矩阵G主对角线上的元素的数值进行归一化，得到
(5.3)将表情和姿态两种模态的情感分类识别结果进行加权融合，得到一个新的n维向量V，即
比较向量V中每一个维度的数值大小，其中数值最大的维度所对应的类别就是输入视频序列的情感类别；其中[p1 p2 p3 … pn]T和[q1 q2 q3 … qn]T分别为第一3D卷积神经网络和第二3D卷积神经网络分类层输出的识别结果向量。
5.一种基于3D卷积神经网络的双模态情感识别***，其特征在于，包括：
预处理模块，用于同时获取每一个人的面部表***片段和身体姿态视频片段样本，将每一个视频片段剪辑成一个等长的帧序列，建立包含情感类别标签的表情和姿态双模态情感视频库，并将双模态情感视频库的样本划分为训练集、验证集和测试集；
网络模型训练模块，利用训练集和验证集中的表***序列和姿态视频序列分别对构建的第一3D卷积神经网络和第二3D卷积神经网络进行训练，优化网络模型参数；所述第一3D卷积神经网络和第二3D卷积神经网络均包括：数据输入层，用于输入视频序列，对视频序列中的图像进行归一化处理；至少2个卷积层和池化层的组合模块，其中卷积层采用若干3D卷积核对上一层的输出进行卷积运算，池化层用于对卷积层的输出进行下采样操作；全连接层，用于将上一层池化层的输出全连接至本层的输出神经元，输出一个特征向量；以及，分类层，用于将全连接层输出的特征向量全连接到表示情感类别的输出节点，输出一个n维向量，其中n为情感类别数目；
混淆矩阵获取模块，用于分别利用优化后的第一3D卷积神经网络和第二3D卷积神经网络对测试集中的表***序列样本和姿态视频序列样本进行情感分类识别，并统计分类识别结果，得到n×n的表情情感分类识别混淆矩阵和姿态情感分类识别混淆矩阵；
表情和姿态情感分类识别模块，利用优化后的第一3D卷积神经网络和第二3D卷积神经网络分别对新输入的表***序列和姿态视频序列进行情感分类识别，得到表情和姿态两种模态的情感分类识别结果；
以及，决策模块，用于利用混淆矩阵获取模块得到的表情情感分类识别混淆矩阵和姿态情感分类识别混淆矩阵的先验知识，将表情和姿态情感分类识别模块得到的两种模态的情感分类识别结果在决策层进行加权融合，得到双模态的情感分类结果。
CN201810267991.8A 2018-03-29 2018-03-29 一种基于3d卷积神经网络的双模态情感识别方法及*** Active CN108596039B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810267991.8A CN108596039B (zh) 2018-03-29 2018-03-29 一种基于3d卷积神经网络的双模态情感识别方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810267991.8A CN108596039B (zh) 2018-03-29 2018-03-29 一种基于3d卷积神经网络的双模态情感识别方法及***

Publications (2)

Publication Number Publication Date
CN108596039A true CN108596039A (zh) 2018-09-28
CN108596039B CN108596039B (zh) 2020-05-05

Family

ID=63623893

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810267991.8A Active CN108596039B (zh) 2018-03-29 2018-03-29 一种基于3d卷积神经网络的双模态情感识别方法及***

Country Status (1)

Country Link
CN (1) CN108596039B (zh)

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109460737A (zh) * 2018-11-13 2019-03-12 四川大学 一种基于增强式残差神经网络的多模态语音情感识别方法
CN109472269A (zh) * 2018-10-17 2019-03-15 深圳壹账通智能科技有限公司 图像特征配置及校验方法、装置、计算机设备及介质
CN109508644A (zh) * 2018-10-19 2019-03-22 陕西大智慧医疗科技股份有限公司 基于深度视频数据分析的面瘫等级评估***
CN109522945A (zh) * 2018-10-31 2019-03-26 中国科学院深圳先进技术研究院 一种群体情感识别方法、装置、智能设备及存储介质
CN109614895A (zh) * 2018-10-29 2019-04-12 山东大学 一种基于attention特征融合的多模态情感识别的方法
CN109766765A (zh) * 2018-12-18 2019-05-17 深圳壹账通智能科技有限公司 音频数据推送方法、装置、计算机设备和存储介质
CN109934293A (zh) * 2019-03-15 2019-06-25 苏州大学 图像识别方法、装置、介质及混淆感知卷积神经网络
CN110033029A (zh) * 2019-03-22 2019-07-19 五邑大学 一种基于多模态情感模型的情感识别方法和装置
CN110084266A (zh) * 2019-03-11 2019-08-02 中国地质大学（武汉） 一种基于视听特征深度融合的动态情感识别方法
CN110147548A (zh) * 2019-04-15 2019-08-20 浙江工业大学 基于双向门控循环单元网络和新型网络初始化的情感识别方法
CN110163145A (zh) * 2019-05-20 2019-08-23 西安募格网络科技有限公司 一种基于卷积神经网络的视频教学情感反馈***
CN110188706A (zh) * 2019-06-03 2019-08-30 南京邮电大学 基于生成对抗网络的视频中人物表情的神经网络训练方法及检测方法
CN111292765A (zh) * 2019-11-21 2020-06-16 台州学院 一种融合多个深度学习模型的双模态情感识别方法
CN111401116A (zh) * 2019-08-13 2020-07-10 南京邮电大学 基于增强卷积和空时lstm网络的双模态情感识别方法
CN111401117A (zh) * 2019-08-14 2020-07-10 南京邮电大学 基于双流卷积神经网络的新生儿疼痛表情识别方法
CN111414839A (zh) * 2020-03-16 2020-07-14 清华大学 基于姿态的情感识别方法及装置
CN111506697A (zh) * 2019-01-30 2020-08-07 北京入思技术有限公司 一种跨模态情感知识图谱构建方法及装置
CN111523462A (zh) * 2020-04-22 2020-08-11 南京工程学院 基于自注意增强cnn的视频序列表情识别***及方法
CN111680550A (zh) * 2020-04-28 2020-09-18 平安科技（深圳）有限公司 情感信息识别方法、装置、存储介质及计算机设备
CN111860064A (zh) * 2019-04-30 2020-10-30 杭州海康威视数字技术股份有限公司 基于视频的目标检测方法、装置、设备及存储介质
CN112329648A (zh) * 2020-11-09 2021-02-05 东北大学 基于面部表情交互的人际关系行为模式识别方法
CN112529054A (zh) * 2020-11-27 2021-03-19 华中师范大学 一种多源异构数据的多维度卷积神经网络学习者建模方法
CN112784730A (zh) * 2021-01-20 2021-05-11 东南大学 一种基于时域卷积网络的多模态情感识别方法
CN112784798A (zh) * 2021-02-01 2021-05-11 东南大学 一种基于特征-时间注意力机制的多模态情感识别方法
CN112800894A (zh) * 2021-01-18 2021-05-14 南京邮电大学 一种基于时空流间注意力机制的动态表情识别方法及***
CN112800979A (zh) * 2021-02-01 2021-05-14 南京邮电大学 一种基于表征流嵌入网络的动态表情识别方法及***
CN113326868A (zh) * 2021-05-06 2021-08-31 南京邮电大学 一种用于多模态情感分类的决策层融合方法
CN113326781A (zh) * 2021-05-31 2021-08-31 合肥工业大学 基于面部视频的非接触式焦虑识别方法和装置
CN113383345A (zh) * 2019-12-17 2021-09-10 索尼互动娱乐有限责任公司 用于定义情感机器的方法和***
CN113505719A (zh) * 2021-07-21 2021-10-15 山东科技大学 基于局部-整体联合知识蒸馏算法的步态识别模型压缩***及方法
CN113780091A (zh) * 2021-08-12 2021-12-10 西安交通大学 一种基于身体姿势变化表示的视频情感识别方法
CN114170540A (zh) * 2020-08-21 2022-03-11 四川大学 一种融合表情和姿态的个体情绪识别方法
WO2023151289A1 (zh) * 2022-02-09 2023-08-17 苏州浪潮智能科技有限公司 情感识别方法、训练方法、装置、设备、存储介质及产品
CN116682168A (zh) * 2023-08-04 2023-09-01 阳光学院 一种多模态表情识别方法、介质及***
CN117315755A (zh) * 2023-10-09 2023-12-29 北京大学 一种异常图像识别方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102968643B (zh) * 2012-11-16 2016-02-24 华中科技大学 一种基于李群论的多模态情感识别方法
CN106250855A (zh) * 2016-08-02 2016-12-21 南京邮电大学 一种基于多核学习的多模态情感识别方法
WO2017164478A1 (ko) * 2016-03-25 2017-09-28 한국과학기술원 미세 얼굴 다이나믹의 딥 러닝 분석을 통한 미세 표정 인식 방법 및 장치
CN107220591A (zh) * 2017-04-28 2017-09-29 哈尔滨工业大学深圳研究生院 多模态智能情绪感知***
CN107808146A (zh) * 2017-11-17 2018-03-16 北京师范大学 一种多模态情感识别分类方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102968643B (zh) * 2012-11-16 2016-02-24 华中科技大学 一种基于李群论的多模态情感识别方法
WO2017164478A1 (ko) * 2016-03-25 2017-09-28 한국과학기술원 미세 얼굴 다이나믹의 딥 러닝 분석을 통한 미세 표정 인식 방법 및 장치
CN106250855A (zh) * 2016-08-02 2016-12-21 南京邮电大学 一种基于多核学习的多模态情感识别方法
CN107220591A (zh) * 2017-04-28 2017-09-29 哈尔滨工业大学深圳研究生院 多模态智能情绪感知***
CN107808146A (zh) * 2017-11-17 2018-03-16 北京师范大学 一种多模态情感识别分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JINGJIE YAN等: "Integrating Facial Expression and Body Gesture in Videos for Emotion Recognition", 《IEICE TRANS.INF.& SYST.》 *
卢官明等: "一种用于人脸表情识别的卷积神经网络", 《南京邮电大学学报（自然科学版）》 *

Cited By (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109472269A (zh) * 2018-10-17 2019-03-15 深圳壹账通智能科技有限公司 图像特征配置及校验方法、装置、计算机设备及介质
CN109508644A (zh) * 2018-10-19 2019-03-22 陕西大智慧医疗科技股份有限公司 基于深度视频数据分析的面瘫等级评估***
CN109614895A (zh) * 2018-10-29 2019-04-12 山东大学 一种基于attention特征融合的多模态情感识别的方法
CN109522945A (zh) * 2018-10-31 2019-03-26 中国科学院深圳先进技术研究院 一种群体情感识别方法、装置、智能设备及存储介质
CN109460737A (zh) * 2018-11-13 2019-03-12 四川大学 一种基于增强式残差神经网络的多模态语音情感识别方法
CN109766765A (zh) * 2018-12-18 2019-05-17 深圳壹账通智能科技有限公司 音频数据推送方法、装置、计算机设备和存储介质
CN111506697A (zh) * 2019-01-30 2020-08-07 北京入思技术有限公司 一种跨模态情感知识图谱构建方法及装置
CN110084266A (zh) * 2019-03-11 2019-08-02 中国地质大学（武汉） 一种基于视听特征深度融合的动态情感识别方法
CN109934293A (zh) * 2019-03-15 2019-06-25 苏州大学 图像识别方法、装置、介质及混淆感知卷积神经网络
CN110033029A (zh) * 2019-03-22 2019-07-19 五邑大学 一种基于多模态情感模型的情感识别方法和装置
CN110147548B (zh) * 2019-04-15 2023-01-31 浙江工业大学 基于双向门控循环单元网络和新型网络初始化的情感识别方法
CN110147548A (zh) * 2019-04-15 2019-08-20 浙江工业大学 基于双向门控循环单元网络和新型网络初始化的情感识别方法
CN111860064A (zh) * 2019-04-30 2020-10-30 杭州海康威视数字技术股份有限公司 基于视频的目标检测方法、装置、设备及存储介质
CN111860064B (zh) * 2019-04-30 2023-10-20 杭州海康威视数字技术股份有限公司 基于视频的目标检测方法、装置、设备及存储介质
CN110163145A (zh) * 2019-05-20 2019-08-23 西安募格网络科技有限公司 一种基于卷积神经网络的视频教学情感反馈***
CN110188706A (zh) * 2019-06-03 2019-08-30 南京邮电大学 基于生成对抗网络的视频中人物表情的神经网络训练方法及检测方法
CN110188706B (zh) * 2019-06-03 2022-04-19 南京邮电大学 基于生成对抗网络的视频中人物表情的神经网络训练方法及检测方法
CN111401116A (zh) * 2019-08-13 2020-07-10 南京邮电大学 基于增强卷积和空时lstm网络的双模态情感识别方法
CN111401116B (zh) * 2019-08-13 2022-08-26 南京邮电大学 基于增强卷积和空时lstm网络的双模态情感识别方法
CN111401117B (zh) * 2019-08-14 2022-08-26 南京邮电大学 基于双流卷积神经网络的新生儿疼痛表情识别方法
CN111401117A (zh) * 2019-08-14 2020-07-10 南京邮电大学 基于双流卷积神经网络的新生儿疼痛表情识别方法
CN111292765A (zh) * 2019-11-21 2020-06-16 台州学院 一种融合多个深度学习模型的双模态情感识别方法
CN113383345A (zh) * 2019-12-17 2021-09-10 索尼互动娱乐有限责任公司 用于定义情感机器的方法和***
CN111414839A (zh) * 2020-03-16 2020-07-14 清华大学 基于姿态的情感识别方法及装置
CN111414839B (zh) * 2020-03-16 2023-05-23 清华大学 基于姿态的情感识别方法及装置
CN111523462A (zh) * 2020-04-22 2020-08-11 南京工程学院 基于自注意增强cnn的视频序列表情识别***及方法
CN111523462B (zh) * 2020-04-22 2024-02-09 南京工程学院 基于自注意增强cnn的视频序列表情识别***及方法
CN111680550A (zh) * 2020-04-28 2020-09-18 平安科技（深圳）有限公司 情感信息识别方法、装置、存储介质及计算机设备
CN111680550B (zh) * 2020-04-28 2024-06-04 平安科技（深圳）有限公司 情感信息识别方法、装置、存储介质及计算机设备
CN114170540B (zh) * 2020-08-21 2023-06-13 四川大学 一种融合表情和姿态的个体情绪识别方法
CN114170540A (zh) * 2020-08-21 2022-03-11 四川大学 一种融合表情和姿态的个体情绪识别方法
CN112329648B (zh) * 2020-11-09 2023-08-08 东北大学 基于面部表情交互的人际关系行为模式识别方法
CN112329648A (zh) * 2020-11-09 2021-02-05 东北大学 基于面部表情交互的人际关系行为模式识别方法
CN112529054A (zh) * 2020-11-27 2021-03-19 华中师范大学 一种多源异构数据的多维度卷积神经网络学习者建模方法
CN112800894A (zh) * 2021-01-18 2021-05-14 南京邮电大学 一种基于时空流间注意力机制的动态表情识别方法及***
CN112800894B (zh) * 2021-01-18 2022-08-26 南京邮电大学 一种基于时空流间注意力机制的动态表情识别方法及***
CN112784730B (zh) * 2021-01-20 2022-03-29 东南大学 一种基于时域卷积网络的多模态情感识别方法
CN112784730A (zh) * 2021-01-20 2021-05-11 东南大学 一种基于时域卷积网络的多模态情感识别方法
CN112784798B (zh) * 2021-02-01 2022-11-08 东南大学 一种基于特征-时间注意力机制的多模态情感识别方法
CN112800979B (zh) * 2021-02-01 2022-08-26 南京邮电大学 一种基于表征流嵌入网络的动态表情识别方法及***
CN112784798A (zh) * 2021-02-01 2021-05-11 东南大学 一种基于特征-时间注意力机制的多模态情感识别方法
CN112800979A (zh) * 2021-02-01 2021-05-14 南京邮电大学 一种基于表征流嵌入网络的动态表情识别方法及***
CN113326868B (zh) * 2021-05-06 2022-07-15 南京邮电大学 一种用于多模态情感分类的决策层融合方法
CN113326868A (zh) * 2021-05-06 2021-08-31 南京邮电大学 一种用于多模态情感分类的决策层融合方法
CN113326781A (zh) * 2021-05-31 2021-08-31 合肥工业大学 基于面部视频的非接触式焦虑识别方法和装置
CN113326781B (zh) * 2021-05-31 2022-09-02 合肥工业大学 基于面部视频的非接触式焦虑识别方法和装置
CN113505719B (zh) * 2021-07-21 2023-11-24 山东科技大学 基于局部-整体联合知识蒸馏算法的步态识别模型压缩***及方法
CN113505719A (zh) * 2021-07-21 2021-10-15 山东科技大学 基于局部-整体联合知识蒸馏算法的步态识别模型压缩***及方法
CN113780091A (zh) * 2021-08-12 2021-12-10 西安交通大学 一种基于身体姿势变化表示的视频情感识别方法
CN113780091B (zh) * 2021-08-12 2023-08-22 西安交通大学 一种基于身体姿势变化表示的视频情感识别方法
WO2023151289A1 (zh) * 2022-02-09 2023-08-17 苏州浪潮智能科技有限公司 情感识别方法、训练方法、装置、设备、存储介质及产品
CN116682168B (zh) * 2023-08-04 2023-10-17 阳光学院 一种多模态表情识别方法、介质及***
CN116682168A (zh) * 2023-08-04 2023-09-01 阳光学院 一种多模态表情识别方法、介质及***
CN117315755A (zh) * 2023-10-09 2023-12-29 北京大学 一种异常图像识别方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN108596039B (zh) 2020-05-05

Similar Documents

Publication Publication Date Title
CN108596039A (zh) 一种基于3d卷积神经网络的双模态情感识别方法及***
CN110532900B (zh) 基于U-Net和LS-CNN的人脸表情识别方法
CN104679863B (zh) 一种基于深度学习的以图搜图方法和***
CN103605972B (zh) 一种基于分块深度神经网络的非限制环境人脸验证方法
CN110309861A (zh) 一种基于生成对抗网络的多模态人类活动识别方法
CN107085704A (zh) 基于elm自编码算法的快速人脸表情识别方法
CN109920501A (zh) 基于卷积神经网络和主动学习的电子病历分类方法及***
CN106599797A (zh) 一种基于局部并行神经网络的红外人脸识别方法
CN106503654A (zh) 一种基于深度稀疏自编码网络的人脸情感识别方法
CN109389171B (zh) 基于多粒度卷积降噪自动编码器技术的医疗图像分类方法
CN110084266A (zh) 一种基于视听特征深度融合的动态情感识别方法
CN106909938B (zh) 基于深度学习网络的视角无关性行为识别方法
CN110188615A (zh) 一种人脸表情识别方法、装置、介质及***
CN106096641A (zh) 一种基于遗传算法的多模态情感特征融合方法
CN110399821A (zh) 基于人脸表情识别的顾客满意度获取方法
CN106971145A (zh) 一种基于极限学习机的多视角动作识别方法及装置
CN101169830A (zh) 基于嵌入式隐马尔可夫模型和选择性集成的人脸画像自动生成方法
CN108364662A (zh) 基于成对鉴别任务的语音情感识别方法与***
CN105956570B (zh) 基于唇部特征和深度学习的笑脸识别方法
CN115966010A (zh) 一种基于注意力和多尺度特征融合的表情识别方法
Xu et al. Face expression recognition based on convolutional neural network
CN116150747A (zh) 基于cnn和sltm的入侵检测方法及装置
Cui et al. Hard sample mining and learning for skeleton-based human action recognition and identification
CN111259264B (zh) 一种基于生成对抗网络的时序评分预测方法
CN116628605A (zh) 一种基于ResNet和DSCAttention机制的窃电分类的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant