CN112307958A - 基于时空外观运动注意力网络的微表情识别方法 - Google Patents

基于时空外观运动注意力网络的微表情识别方法 Download PDF

Info

Publication number
CN112307958A
CN112307958A CN202011186780.5A CN202011186780A CN112307958A CN 112307958 A CN112307958 A CN 112307958A CN 202011186780 A CN202011186780 A CN 202011186780A CN 112307958 A CN112307958 A CN 112307958A
Authority
CN
China
Prior art keywords
layer
network
micro
attention
space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011186780.5A
Other languages
English (en)
Other versions
CN112307958B (zh
Inventor
刘教民
刘灿
王岩
王建春
李扬
孟庆鲁
李若曦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Information Research Institute Of Tianjin Academy Of Agricultural Sciences
Hebei University of Technology
Tianjin University of Commerce
Original Assignee
Information Research Institute Of Tianjin Academy Of Agricultural Sciences
Hebei University of Technology
Tianjin University of Commerce
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Information Research Institute Of Tianjin Academy Of Agricultural Sciences, Hebei University of Technology, Tianjin University of Commerce filed Critical Information Research Institute Of Tianjin Academy Of Agricultural Sciences
Priority to CN202011186780.5A priority Critical patent/CN112307958B/zh
Publication of CN112307958A publication Critical patent/CN112307958A/zh
Application granted granted Critical
Publication of CN112307958B publication Critical patent/CN112307958B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明为基于时空外观运动注意力网络的微表情识别方法，该方法包括以下内容：对微表情样本进行预处理，得到固定帧数的原始图像序列和光流序列；构建时空外观运动网络，它包括时空外观网络STAN和时空运动网络STMN，STAN和STMN都采用CNN‑LSTM的结构进行设计，先用CNN模型学习微表情的空间特征，再用LSTM模型学习微表情的时间特征；在STAN和STMN的CNN模型中均引入分层卷积注意力机制，在低层网络上应用多尺度核空间注意力机制，在高层网络上应用全局双池化通道注意力机制，分别获得添加注意力机制的STAN网络和添加注意力机制的STMN网络；将原始图像序列输入到添加注意力机制的STAN网络中进行训练，将光流序列输入到添加注意力机制的STMN网络中进行训练，将二者的输出结果通过特征级联‑SVM进行集成实现微表情识别任务，提高微表情识别的准确率。

Description

基于时空外观运动注意力网络的微表情识别方法
技术领域
本发明的技术方案涉及微表情识别图像数据处理，具体地说是基于时空外观运动注意力网络的微表情识别方法。
背景技术
微表情是一个人试图隐藏自己内心真实情感却不由自主流露出的难以察觉的面部表情，具有快速、自发、无意识的特点。微表情的持续时间短、强度低，通常持续1/25s-1/5s，并且微表情引起的肌肉运动只出现在面部很小的区域，因此正确理解并识别微表情有着一定的难度，这在一定程度上限制了微表情识别的性能。近年来涌现出大量利用计算机视觉技术的算法进行微表情自动识别，极大地提高了微表情的应用可行性。微表情识别在警察讯问、临床诊断、抑郁分析、测谎、商务谈判、教学辅助、刑事侦查等领域有着广泛的应用前景。
设计一个健壮的特征描述符有效提取特征是微表情识别的关键所在。LBP-TOP(Local Binary Pattern with Three Orthogonal Planes)是一种经典的纹理特征提取方法，但还存在敏感性和稀疏采样的问题，因此出现了它的多种改进方法，如LBP-SIP(LocalBinary Pattern with Six Intersection Points)、STLBP-IP(Spitiotemporal LocalBinary Pattern with Integral Projection)、STCLQP(Spitiotemporal CompletedLocal Quantized Patterns)等，这些方法一定程度上提高了特征描述符的鲁棒性。基于光流的方法也常用于微表情识别，MDMO(Main directional mean optical flow feature)、FDM(Facial Dynamics Map)、Sparse MDMO、Bi-WOOF(Bi-Weighted Oriented OpticalFlow)等方法用光流场描述微表情的运动变化信息。这些传统的微表情识别方法过分依赖于繁琐的手工特征设计，自动的从细微的变化中提取有用的信息并进行高质量的特征描述仍然具有挑战性。近年来，深度卷积神经网络(Convolutional Neural Networks，CNNs)，长短期记忆网络(Long Short-Term Memory，LSTM)在很多领域显示出强大的能力。基于深度学习的微表情识别方法主要有两种基本结构，第一种是两步顺序模型，典型方法如CNN-LSTM，先用CNN模型提取所有帧的空间特征，再将其输入到LSTM模型中提取微表情序列时域上的动态信息，第二种是同时提取微表情序列时空特征信息的模型，如经典模型3DConvNets。
文献“OFF-ApexNet on micro-expression recognition system”将手工特征和完全数据驱动的CNN架构进行结合，提出基于光流特性的顶点帧网络，但仅利用微表情序列的顶点帧作为输入数据会损失微表情的很多有效信息。CN111353390A公开了一种基于深度学习的微表情识别方法，该方法采用3DCNN与ConvLSTM的网络结构，避免了因人为故意掩饰情绪或人脸无明显表情变化导致的识别精度低的问题，但该方法将微表情帧的每个像素点等同处理，忽略了不同像素点或通道对于微表情识别的贡献程度。CN110348271A公开了一种基于长短时记忆网络的微表情识别方法，该方法采用卷积神经网络和长短时记忆网络提取微表情序列的特征，但提取到的特征具有单一性，并且忽略了不同网络层特征的互补性。CN109034143A公开了基于视频放大和深度学习的人脸微表情识别方法，该方法利用视频放大技术放大微表***数据的动作幅度，但不可避免的会引入一些噪声，影响微表情细微的运动变化。CN108629314A公开了一种基于主动迁移学习的微表情识别方法，该方法实现了从表情数据到微表情数据的迁移，但相似任务进行迁移需要找到与目标域相似的高质量、大规模的源域数据，并且需要更高的技术要求。
发明内容
本发明所要解决的技术问题是：提供基于时空外观运动注意力网络的微表情识别方法，设计一个时空外观运动网络，并在网络模型中引入分层卷积注意力机制，使模型能够学习到更丰富、更有效、更有代表性的特征信息，从而提高微表情识别的准确率。
本发明解决该技术问题所采用的技术方案是：基于时空外观运动注意力网络的微表情识别方法，设计一个时空外观运动网络，由时空外观网络(SpatiotemporalAppearance Network，STAN)和时空运动网络(Spatiotemporal Motion Network，STMN)两个单流网络构成，并在这两个网络中引入分层卷积注意力机制，通过模型集成实现微表情识别任务，该方法包括以下内容：
对微表情样本进行预处理，得到固定帧数的原始图像序列和光流序列；
构建时空外观运动网络，它包括时空外观网络STAN和时空运动网络STMN，STAN和STMN都采用CNN-LSTM的结构进行设计，先用CNN模型学习微表情的空间特征，再用LSTM模型学习微表情的时间特征；
STAN的CNN模型包括卷积计算、池化操作、高低层特征融合三部分，卷积计算包括多个卷积块，每个卷积块包括一个卷积层、一个批标准化BN层和一个ReLU激活函数；在每个卷积块之后连接一个最大池化层；高低层特征融合是在第一个池化层和最后一个池化层之后分别通过一个1×1卷积核的卷积层和一个全局平均池化(Global Average Pooling，GAP)层，分别获得全局的低层特征和高层语义特征，最后将全局的低层特征和高层语义特征通过级联的方式实现融合，得到描述微表情序列帧的外观信息的空间特征向量；
STMN的CNN模型包括卷积计算、池化操作和GAP三部分，卷积计算包括多个卷积块，每个卷积块由一个卷积层、一个批标准化层和一个ReLU激活函数构成，在每个卷积块之后连接一个最大池化层，进行下采样，经过卷积计算和池化操作后，提取到微表情不同的局部特征，最后，通过GAP整合这些特征，得到描述微表情序列帧的运动信息的空间特征向量；
将描述微表情序列帧的外观信息的空间特征向量和描述微表情序列帧的运动信息的空间特征向量输入到各自的单层的LSTM(长短期记忆网络)中，学习帧与帧之间的相关性，得到描述微表情序列外观信息的时空特征向量和描述微表情序列运动信息的时空特征向量，之后，通过一个全连接层，将特征空间通过线性变换映射到样本标记空间，最后使用Softmax函数将多个神经元的输出，映射到(0,1)区间，分别得到属于每个微表情类别的概率值组成的特征向量；
在STAN和STMN的CNN模型中均引入分层卷积注意力机制，STAN和STMN的CNN模型的低层网络均提取包含微表情的纹理、边缘、轮廓的低层视觉信息，高层网络均提取抽象的高层语义特征信息，根据高低层网络特征之间的差异性，在低层网络上应用多尺度核空间注意力机制应用不同的注意力机制，有效差异化空间维度的每个像素点，在高层网络上应用全局双池化通道注意力机制，模型自动获取每个特征通道的贡献度，按贡献度提升有效特征同时抑制对微表情识别贡献小的特征，进行自适应的特征细化；
至此，分别获得添加注意力机制的STAN网络和添加注意力机制的STMN网络；
将原始图像序列输入到添加注意力机制的STAN网络中进行训练，将光流序列输入到添加注意力机制的STMN网络中进行训练，将添加注意力机制的STAN网络和添加注意力机制的STMN网络的输出结果通过特征级联-SVM进行集成实现微表情识别任务，至此获得时空外观运动注意力网络；
将训练好的时空外观运动注意力网络用于微表情识别。
所述分层卷积注意力机制为在STAN和STMN的CNN模型的低层网络上应用多尺度核空间注意力机制，高层网络上应用全局双池化通道注意力机制：
多尺度核空间注意力机制是指对输入的特征图用不同尺度的卷积核分别进行卷积操作，在不同的感受野下提取多尺度特征，获得不同尺度的空间特征矩阵，再通过级联的方式对不同尺度的空间特征矩阵进行融合，再通过卷积操作获得有效空间特征信息，用Sigmoid函数进行归一化后得到空间注意力权重值，空间注意力权重值是模型自适应学习到的空间中每个像素点的权重值，将空间注意力权重值与输入的特征图相乘，获得细化的空间注意力特征图；
全局双池化通道注意力机制是指对输入的特征图先在空间维度上使用GAP和全局最大池化(Global Max Pooling，GMP)聚合特征图的空间信息，获得全局平均池化特征向量和全局最大池化特征向量，之后，应用两个连续的全连接层，进行自适应的参数调整，学习不同通道之间的相关性和依赖关系，经过全连接层之后，获得两个有效的通道特征向量，再通过元素相加的方式将两个有效的通道特征向量进行合并，用Sigmoid函数进行归一化处理后得到通道注意力权重值，通道注意力权重值是模型自适应学习到的每个特征通道的权重值，将通道注意力权重值和输入特征图相乘，得到细化的通道注意力特征图。
与现有技术相比，本发明的有益效果是：
本发明的显著进步如下：
(1)本发明方法与CN111353390A相比，本发明方法所具有的优点是根据高低层网络特征之间的差异性，引入分层卷积注意力机制，模型自动获取每个像素点和每个特征通道的贡献度，按贡献度提升有效特征同时抑制对微表情识别贡献小的特征，使模型重点关注微表情显著运动区域。
(2)本发明方法与CN110348271A相比，本发明方法所具有的优点是将低层特征和高层语义进行融合，充分利用不同层次特征的互补性。
(3)本发明方法与CN109034143A相比，本发明方法所具有的优点是减少了微表情图像数据中不必要的干扰信息，能够更加精确的识别微表情的运动变化。
(4)本发明方法与CN108629314A相比，本发明方法所具有的优点是减少了模型对数据的高质量和大规模的要求，技术要求较低，更容易得到实际应用。
(5)本发明方法采用深度学习技术设计了一个互补的时空外观网络和时空运动网络，旨在得到微表情序列的外观特征和运动特征，使模型能够学习到更丰富的特征信息。
本发明的突出的实质性特点是：
(1)本发明方法针对微表情识别这一任务充分考虑时空网络模型结构的设计及设计的意图、注意力机制的结构及添加位置，将时空外观运动网络模型与注意力机制有机结合，通过在时空外观运动网络的CNN模型中引入分层卷积注意力机制，进行自适应的特征细化，使模型可以学习到更有效、更精确的特征，从而有效提升微表情识别的准确率，并且设计的分层卷积注意力机制是一个轻量级的通用模块，它可以无缝地集成到网络架构中，开销可以忽略不计，可以与基础神经网络一起进行端到端地训练。
(2)本发明方法考虑到不同层的特征是互补的，模型同时学习深层和浅层特征，能够使网络对特征的学习能力更强，将STAN的CNN模型设计为高低层特征融合网络，同时提取浅层的纹理等特征和深层的语义特征，获取更加丰富的空间信息。本申请的输入数据均为序列数据，包括RGB图像序列和彩色光流序列，而非单帧数据，它们均包含时间和空间信息，添加注意力机制的两个时空网络模型分别对各自的序列数据进行处理，提取微表情序列的外观特征和运动特征，最后通过特征级联-SVM方式进行模型集成，而非采用加权方式，提高了微表情识别精度。
(3)本申请考虑到并不是所有的像素点都对微表情识别具有相同的贡献，微表情主要出现在人脸的眼睛，眉毛，嘴巴等区域，为了使模型能够重点关注这些显著运动区域，在两个时空网络模型中均引入了分层卷积注意力机制，根据不同层次特征的特点，在CNN模型的低层网络上应用多尺度核空间注意力机制，在高层网络上应用全局双池化通道注意力机制，充分考虑了高低层特征的差异性，使网络的注意力集中在这些显著运动区域，如眼睛、眉毛、嘴巴等区域。
(4)微表情序列的纹理等外观信息和微表情细微的运动变化对于微表情识别任务来说都非常重要，本发明为同时获取这两种特征，构建了时空外观运动网络，由时空外观网络STAN和时空运动网络STMN构成，分别学习微表情序列的外观特征和运动特征。由于微表情数据集很小，所以将整体的模型设计为一个浅层的网络，将CNN模型的卷积层的层数设计为5层，LSTM的层数设计为一层，使用GAP代替FC层，在整个网络结构上进行正则化，有效防止过拟合，增强了模型的泛化能力。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1为本发明基于时空外观运动注意力网络的微表情识别方法的流程示意框图。
图2为本发明方法多尺度核空间注意力机制的流程示意框图。
图3为本发明方法全局双池化通道注意力机制的流程示意框图。
图4为本发明方法在CASME、CASME II数据集上的识别效果对比图。
图5为本发明方法添加和未添加注意力机制的识别效果对比图。
具体实施方式
图1所示实施例表明，本发明基于时空外观运动注意力网络的微表情识别方法的流程如下：
对微表情样本进行预处理，得到固定帧数的原始图像序列和光流序列作为输入数据→分别构建时空外观网络STAN和时空运动网络STMN→在STAN和STMN的CNN模型的低层网络上应用多尺度核空间注意力机制，高层网络上应用全局双池化通道注意力机制→将原始图像序列输入到添加注意力机制的STAN网络中进行训练，将光流序列输入到添加注意力机制的STMN网络中进行训练→将添加注意力机制的STAN网络和添加注意力机制的STMN网络的输出结果通过特征级联-SVM进行集成实现微表情识别任务。
实施例1
第一部分：实施方法
本实施例的基于时空外观运动注意力网络的微表情识别方法，具体步骤如下：
第一步，对微表情样本进行预处理，得到固定帧数的原始图像序列和光流序列作为输入数据：
首先，对微表情序列中的每一帧图像，定位面部关键特征点，以得到的特征点为基础，裁剪出人脸区域，然后，使用局部加权平均算法(Local weighted mean,LWM)进行人脸对齐，进一步将对齐后的人脸微表情序列中的每一帧图像的尺寸归一化为224×224像素，一般来说，微表情序列的长度是不统一的，但网络模型在训练时通常需要固定长度的输入维度，因此，需要对微表情序列进行时间归一化，采用时域插值模型(TemporalInterpolation Model，TIM)，即使用图像嵌入的方式在微表情序列的任意位置***图像，将微表情序列统一为固定的长度，得到9帧的原始图像序列，作为STAN的输入数据，在原始图像序列的基础上，计算相邻两帧之间的光流信息，得到9帧的光流序列作为STMN的输入数据；
第二步，分别构建时空外观网络STAN和时空运动网络STMN：
STAN和STMN都采用CNN-LSTM的结构进行设计，考虑到网络不同层的特征是互补的，低层网络提取微表情的纹理、边缘、轮廓等低层视觉信息，高层网络提取微表情更加抽象的高层语义特征信息，模型同时学习深层和浅层特征，能够使网络对微表情特征的学习能力更强，故本申请将STAN的CNN模型设计为高低层特征融合网络，将原始图像输入到该网络中，同时提取浅层的纹理等特征和深层的语义特征，获取更加丰富的空间信息；将STMN网络设计为浅层网络结构，用光流场描述微表情细微的运动变化，从光流序列中提取时空运动特征；
第2.1步，将STAN的CNN模型设计为高低层特征融合网络，具体步骤如下：
STAN的CNN模型包括卷积计算、池化操作、高低层特征融合三部分，卷积计算包括5个卷积块，每个卷积块由一个卷积层、一个批标准化(Batch Normalization，BN)层和一个ReLU激活函数f(x)＝max(0,x)构成，卷积层均使用3×3的卷积核，使用BN层加快模型的训练速度，使用ReLU激活函数增强网络的非线性表达能力，在每个卷积块之后连接一个最大池化层，在2×2的邻域范围，步长为2的条件下，进行下采样，高低层特征融合是在第一个池化层和最后一个池化层之后分别通过一个1×1卷积核的卷积层和一个全局平均池化(Global Average Pooling，GAP)层，分别获得全局的低层特征和高层语义特征，最后将高低层特征通过级联的方式实现融合，得到描述微表情序列帧的外观信息的空间特征向量，上述过程为高低层特征融合网络；
第2.2步，将STMN的CNN模型设计为浅层的网络结构，具体步骤如下：
STMN的CNN模型包括卷积计算、池化操作和GAP三部分，卷积计算包括5个卷积块，每个卷积块由一个卷积层、一个批标准化层和一个ReLU激活函数构成，卷积层均使用3×3的卷积核，使用BN层加快模型的训练速度，使用ReLU激活函数增强网络的非线性表达能力，在每个卷积块之后连接一个最大池化层，在2×2的邻域范围，步长为2的条件下，进行下采样，经过卷积计算和池化操作后，提取到微表情不同的局部特征，最后，通过GAP整合这些特征，得到描述微表情序列帧的运动信息的空间特征向量；
第2.3步，将上述第2.1步得到的描述微表情序列帧的外观信息的空间特征向量和上述第2.2步得到的描述微表情序列帧的运动信息的空间特征向量输入到单层的LSTM(长短期记忆网络)中，学习帧与帧之间的相关性，得到描述微表情序列外观信息的时空特征向量和描述微表情序列运动信息的时空特征向量，之后，通过一个全连接层，将特征空间通过线性变换映射到样本标记空间，最后使用Softmax函数将多个神经元的输出，映射到(0,1)区间，分别得到属于每个微表情类别的概率值组成的特征向量，Softmax函数的公式如(1)所示，
Figure BDA0002751649160000061
其中，P(i)表示属于第i类的概率值，n表示微表情总类别数，zi和zj分别表示最后一个全连接层的第i和第j个微表情类别的输出值；i是当前的微表情类别序号，j＝1,2…n，用来遍历微表情类别序号；
第三步，在STAN和STMN的CNN模型的低层网络上应用多尺度核空间注意力机制，高层网络上应用全局双池化通道注意力机制：
本申请根据高低层网络特征之间的差异性，在STAN和STMN的CNN模型中引入分层卷积注意力机制，分层卷积注意力机制相对于分层注意力机制来说，强调对卷积进行分层，第一层卷积层为低层网络，最后一层卷积层为高层网络，低层网络提取微表情的纹理、边缘、轮廓等低层视觉信息，这些信息在不同通道之间几乎没有差异，故在低层网络上应用多尺度核空间注意力机制，有效差异化空间维度的每个像素点，高层网络提取更加抽象的高层语义特征信息，不同特征通道对不同的语义产生不同的响应，故在高层网络上应用全局双池化通道注意力机制，自动获取每个特征通道的贡献度，按贡献度提升有效特征同时抑制对微表情识别贡献小的特征，通过引入注意力机制，进行自适应的特征细化，使模型能够学习到更精确、更具代表性的特征信息，该方法避免了对微表情图像每个像素点的贡献等同处理，和现有基于注意力的微表情识别方法对多层次特征进行无区别处理的问题，具体过程是：
第3.1步，在STAN和STMN的CNN模型的低层网络上应用多尺度核空间注意力机制，具体步骤如下：
在STAN和STMN的CNN模型的低层网络，即第一个卷积层之后应用多尺度核空间注意力机制，给定输入的低层特征图
Figure BDA0002751649160000062
其中C表示特征通道总数，H和W分别表示特征图的高度和宽度，借鉴多尺度核理论，先对特征图Fl采用1×1、3×3和5×5的卷积核进行卷积操作，在不同的感受野下提取多尺度特征，获得不同尺度的空间特征矩阵
Figure BDA0002751649160000071
Figure BDA0002751649160000072
和
Figure BDA0002751649160000073
如公式(2)-(4)所示，
Figure BDA0002751649160000074
Figure BDA0002751649160000075
Figure BDA0002751649160000076
其中，
Figure BDA0002751649160000077
分别代表使用1×1、3×3和5×5卷积核的卷积操作，
通过级联的方式将三个特征矩阵S1、S2和S3进行融合，然后，使用1×1的卷积操作获得有效的空间特征信息，用Sigmoid函数进行归一化处理，得到空间注意力权重值
Figure BDA0002751649160000078
如公式(5)所示，
Figure BDA0002751649160000079
其中,
Figure BDA00027516491600000710
表示使用1×1卷积核的卷积操作，σ表示Sigmoid函数，若输入的特征向量为z，则归一化后的向量σ(z)用公式(6)表示，
Figure BDA00027516491600000711
将空间注意力权重值SA和输入特征图Fl相乘，得到最终细化的空间注意力特征图
Figure BDA00027516491600000712
如公式(7)所示，
Figure BDA00027516491600000713
其中,
Figure BDA00027516491600000714
表示向量按元素相乘；
第3.2步，在STAN和STMN的CNN模型的高层网络上应用全局双池化通道注意力机制，具体步骤如下：
在STAN和STMN的CNN模型的高层网络，即第五个卷积层之后应用全局双池化通道注意力机制，给定输入的高层特征图
Figure BDA00027516491600000715
其中C表示特征通道总数，H和W分别表示特征图的高度和宽度，先在空间维度上对Fh使用GAP和全局最大池化(Global MaxPooling，GMP)聚合特征图的空间信息，获得全局平均池化特征向量
Figure BDA00027516491600000716
和全局最大池化特征向量
Figure BDA00027516491600000717
之后，应用两个连续的全连接层FC1和FC2，进行自适应的参数调整，学习不同通道之间的相关性和依赖关系，为限制模型的复杂度，将FC1层的单元数设为C/r，r为压缩比率，FC2层将单元数还原为C，经过全连接层之后，获得两个有效的通道特征向量
Figure BDA00027516491600000718
和
Figure BDA00027516491600000719
如公式(8)-(9)所示，
Figure BDA00027516491600000720
Figure BDA00027516491600000721
其中,w1和w2为FC层的权重值，b1和b2为偏置项，δ表示ReLU激活函数，如图3所示，应用GAP和GMP之后得到全局平均池化特征向量
Figure BDA0002751649160000081
和全局最大池化特征向量
Figure BDA0002751649160000082
然后将这两个特征向量描述符都输入到一个共享网络中，这个共享网络由两个连续的FC层表示，FC层的参数是共享的，
通过元素相加的方式将两个通道特征向量C1和C2进行合并，之后，用Sigmoid函数进行归一化处理，得到通道注意力权重值
Figure BDA0002751649160000083
如公式(10)所示，
Figure BDA0002751649160000084
其中，σ表示Sigmoid函数，
Figure BDA0002751649160000085
表示向量按元素相加，
将通道注意力权重值CA和输入特征图Fh相乘，得到最终细化的通道注意力特征图
Figure BDA0002751649160000086
如公式(11)所示，
Figure BDA0002751649160000087
其中，
Figure BDA0002751649160000088
表示向量按元素相乘；
第四步，将原始图像序列输入到添加注意力机制的STAN网络中进行训练，将光流序列输入到添加注意力机制的STMN网络中进行训练：
将添加注意力机制的STAN网络和添加注意力机制的STMN网络结构搭建完成后，使用交叉熵损失函数，Adam优化器对两个网络模型进行编译，采用留一法交叉验证(LeaveOne Subject Out Cross Validation，LOSOCV)将微表情原始图像序列和光流序列划分为训练集和测试集，由于每个数据集都包含许多个实验参与者(Subject)，每次将其中一个Subject的所有样本作为测试集，其余样本作为训练集，将训练集中的原始图像序列输入到添加注意力机制的STAN网络中进行训练，得到描述微表情序列外观信息的特征向量，将训练集中的光流序列输入到添加注意力机制的STMN网络中进行训练，得到描述微表情序列运动信息的特征向量；
第五步，将添加注意力机制的STAN网络和添加注意力机制的STMN网络的输出结果通过特征级联-SVM进行集成实现微表情识别任务：
首先用线性核函数初始化SVM对象定义分类器，用pi表示上述第四步得到的描述微表情序列外观信息的特征向量，用qi表示上述第四步得到的描述微表情序列运动信息的特征向量，将它们进行级联得到f(pi,qi)，将其作为分类器的特征X，将微表情的类别向量转换为独热编码的类别矩阵后作为特征对应的标签Y，用X和Y对SVM进行训练，实现过程如公式(12)所示，
||X:f(pi,qi)，Y||→SVM (12)，
将测试集中的微表情数据输入到训练好的添加注意力机制的STAN和添加注意力机制的STMN网络中，得到两个描述微表情序列外观特征和运动特征的输出向量，将他们进行级联后输入到训练好的SVM分类器对微表情进行识别；
至此，完成基于时空外观运动注意力网络的微表情识别。
本申请提出一种决策级融合方式，特征级联-SVM方式将融合注意力机制的两个单流网络模型进行集成，即将融合注意力机制的两个单流网络的输出结果作为特征向量，将它们进行级联，然后输入到SVM分类器中进行分类，从而实现微表情识别任务。
第二部分：实施方法的效果
利用本实施例基于时空外观运动注意力网络的微表情识别方法在CASME、CASMEII两个基准微表情数据集上进行实验，采用识别准确率作为评价模型性能的指标，识别准确率的公式为：
Figure BDA0002751649160000091
将本实施例方法与经典的LBP-TOP、FDM、MDMO、3DFCNN方法的实验结果进行比较，其中LBP-TOP是局部二值模式(Local Binary Pattern，LBP)的时空扩展符，是基于纹理的特征提取方法；FDM、MDMO用光流场描述微表情细微的运动变化，是基于光流的特征提取方法；3DFCNN是基于深度学习的方法。从图4可以看出，在两个数据集上，本实施例的准确率高于其他经典的微表情识别方法，准确率达到65％左右，验证了基于时空外观运动注意力网络的微表情识别方法的有效性。
此外，为验证添加的注意力机制是否能够提升微表情识别的性能，将模型添加和未添加注意力机制的实验结果进行了对比，从图5可以看出，在CASME、CASME II两个数据集上，模型添加注意力机制(Attention)之后获得的准确率高于未添加注意力机制(No-Attention)的结果，说明添加的注意力机制能够提升人脸微表情识别的效果，验证了注意力机制的有效性。
本发明未述及之处适用于现有技术。

Claims (4)

1.一种基于时空外观运动注意力网络的微表情识别方法，该方法包括以下内容：
对微表情样本进行预处理，得到固定帧数的原始图像序列和光流序列；
构建时空外观运动网络，它包括时空外观网络STAN和时空运动网络STMN，STAN和STMN都采用CNN-LSTM的结构进行设计，先用CNN模型学习微表情的空间特征，再用LSTM模型学习微表情的时间特征；
STAN的CNN模型包括卷积计算、池化操作、高低层特征融合三部分，卷积计算包括多个卷积块，每个卷积块包括一个卷积层、一个批标准化BN层和一个ReLU激活函数；在每个卷积块之后连接一个最大池化层；高低层特征融合是在第一个池化层和最后一个池化层之后分别通过一个1×1卷积核的卷积层和一个全局平均池化(Global Average Pooling，GAP)层，分别获得全局的低层特征和高层语义特征，最后将全局的低层特征和高层语义特征通过级联的方式实现融合，得到描述微表情序列帧的外观信息的空间特征向量；
STMN的CNN模型包括卷积计算、池化操作和GAP三部分，卷积计算包括多个卷积块，每个卷积块由一个卷积层、一个批标准化层和一个ReLU激活函数构成，在每个卷积块之后连接一个最大池化层，进行下采样，经过卷积计算和池化操作后，提取到微表情不同的局部特征，最后，通过GAP整合这些特征，得到描述微表情序列帧的运动信息的空间特征向量；
将描述微表情序列帧的外观信息的空间特征向量和描述微表情序列帧的运动信息的空间特征向量输入到各自的单层的LSTM(长短期记忆网络)中，学习帧与帧之间的相关性，得到描述微表情序列外观信息的时空特征向量和描述微表情序列运动信息的时空特征向量，之后，通过一个全连接层，将特征空间通过线性变换映射到样本标记空间，最后使用Softmax函数将多个神经元的输出，映射到(0,1)区间，分别得到属于每个微表情类别的概率值组成的特征向量；
在STAN和STMN的CNN模型中均引入分层卷积注意力机制，STAN和STMN的CNN模型的低层网络均提取包含微表情的纹理、边缘、轮廓的低层视觉信息，高层网络均提取抽象的高层语义特征信息，根据高低层网络特征之间的差异性，在低层网络上应用多尺度核空间注意力机制应用不同的注意力机制，有效差异化空间维度的每个像素点，在高层网络上应用全局双池化通道注意力机制，模型自动获取每个特征通道的贡献度，按贡献度提升有效特征同时抑制对微表情识别贡献小的特征，进行自适应的特征细化；
至此，分别获得添加注意力机制的STAN网络和添加注意力机制的STMN网络；
将原始图像序列输入到添加注意力机制的STAN网络中进行训练，将光流序列输入到添加注意力机制的STMN网络中进行训练，将添加注意力机制的STAN网络和添加注意力机制的STMN网络的输出结果通过特征级联-SVM进行集成实现微表情识别任务，至此获得时空外观运动注意力网络；
将训练好的时空外观运动注意力网络用于微表情识别。
2.根据权利要求1所述的识别方法，其特征在于，所述分层卷积注意力机制为在STAN和STMN的CNN模型的低层网络上应用多尺度核空间注意力机制，高层网络上应用全局双池化通道注意力机制：
多尺度核空间注意力机制是指对输入的特征图用不同尺度的卷积核分别进行卷积操作，在不同的感受野下提取多尺度特征，获得不同尺度的空间特征矩阵，再通过级联的方式对不同尺度的空间特征矩阵进行融合，再通过卷积操作获得有效空间特征信息，用Sigmoid函数进行归一化后得到空间注意力权重值，空间注意力权重值是模型自适应学习到的空间中每个像素点的权重值，将空间注意力权重值与输入的特征图相乘，获得细化的空间注意力特征图；
全局双池化通道注意力机制是指对输入的特征图先在空间维度上使用GAP和全局最大池化(Global Max Pooling，GMP)聚合特征图的空间信息，获得全局平均池化特征向量和全局最大池化特征向量，之后，应用两个连续的全连接层，进行自适应的参数调整，学习不同通道之间的相关性和依赖关系，经过全连接层之后，获得两个有效的通道特征向量，再通过元素相加的方式将两个有效的通道特征向量进行合并，用Sigmoid函数进行归一化处理后得到通道注意力权重值，通道注意力权重值是模型自适应学习到的每个特征通道的权重值，将通道注意力权重值和输入特征图相乘，得到细化的通道注意力特征图。
3.一种基于时空外观运动注意力网络的微表情识别方法，其特征在于，该方法的具体步骤是：
第一步，对微表情样本进行预处理，得到固定帧数的原始图像序列和光流序列作为输入数据：
首先，对微表情序列中的每一帧图像，定位面部关键特征点，以得到的特征点为基础，裁剪出人脸区域，然后，使用局部加权平均算法进行人脸对齐，进一步将对齐后的人脸微表情序列中的每一帧图像的尺寸归一化为r×r像素；采用时域插值模型对微表情序列进行时间归一化，即使用图像嵌入的方式在微表情序列的任意位置***图像，将微表情序列统一为固定的长度，得到n帧的原始图像序列；n帧的原始图像序列作为STAN的输入数据，在原始图像序列的基础上，计算相邻两帧之间的光流信息，得到n帧的光流序列作为STMN的输入数据；
第二步，分别构建时空外观网络STAN和时空运动网络STMN：
STAN和STMN都采用CNN-LSTM的结构进行设计；
第2.1步，将STAN的CNN模型设计为高低层特征融合网络，具体步骤如下：
STAN的CNN模型包括卷积计算、池化操作、高低层特征融合三部分，卷积计算包括5个卷积块，每个卷积块由一个卷积层、一个批标准化BN层和一个ReLU激活函数f(x)＝max(0,x)构成，卷积层均使用3×3的卷积核，使用BN层加快模型的训练速度，使用ReLU激活函数增强网络的非线性表达能力，在每个卷积块之后连接一个最大池化层，在2×2的邻域范围，步长为2的条件下，进行下采样，高低层特征融合是在第一个池化层和最后一个池化层之后分别通过一个1×1卷积核的卷积层和一个全局平均池化GAP层，分别获得全局的低层特征和高层语义特征，最后将全局的低层特征和高层语义特征通过级联的方式实现融合，得到描述微表情序列帧的外观信息的空间特征向量；
第2.2步，将STMN的CNN模型设计为浅层的网络结构，具体步骤是：
STMN的CNN模型包括卷积计算、池化操作和GAP三部分，卷积计算包括5个卷积块，每个卷积块由一个卷积层、一个批标准化层和一个ReLU激活函数构成，卷积层均使用3×3的卷积核，使用BN层加快模型的训练速度，使用ReLU激活函数增强网络的非线性表达能力，在每个卷积块之后连接一个最大池化层，在2×2的邻域范围，步长为2的条件下，进行下采样，经过卷积计算和池化操作后，提取到微表情不同的局部特征，最后，通过GAP整合这些特征，得到描述微表情序列帧的运动信息的空间特征向量；
第2.3步，将上述第2.1步得到的描述微表情序列帧的外观信息的空间特征向量和上述第2.2步得到的描述微表情序列帧的运动信息的空间特征向量输入到单层的LSTM中，学习帧与帧之间的相关性，得到描述微表情序列外观信息的时空特征向量和描述微表情序列运动信息的时空特征向量，之后，通过一个全连接层，将特征空间通过线性变换映射到样本标记空间，最后使用Softmax函数将多个神经元的输出，映射到(0,1)区间，分别得到属于每个微表情类别的概率值组成的特征向量；
第三步，在STAN和STMN的CNN模型的低层网络上应用多尺度核空间注意力机制，高层网络上应用全局双池化通道注意力机制：
第3.1步，在STAN和STMN的CNN模型的低层网络上应用多尺度核空间注意力机制，具体步骤如下：
在STAN和STMN的CNN模型的低层网络，即第一个卷积层之后应用多尺度核空间注意力机制，
多尺度核空间注意力机制为：给定输入的低层特征图
Figure FDA0002751649150000031
其中C表示特征通道总数，H和W分别表示特征图的高度和宽度，l表示低层；借鉴多尺度核理论，先对特征图Fl采用1×1、3×3和5×5的卷积核进行卷积操作，在不同的感受野下提取多尺度特征，获得不同尺度的空间特征矩阵
Figure FDA0002751649150000032
和
Figure FDA0002751649150000033
通过级联的方式将三个特征矩阵S1、S2和S3进行融合，然后，使用1×1的卷积操作获得有效的空间特征信息，用Sigmoid函数进行归一化处理，得到空间注意力权重值
Figure FDA0002751649150000034
将空间注意力权重值SA和输入特征图Fl相乘，得到最终细化的空间注意力特征图
Figure FDA0002751649150000035
第3.2步，在STAN和STMN的CNN模型的高层网络上应用全局双池化通道注意力机制，具体步骤如下：
在STAN和STMN的CNN模型的高层网络，即第五个卷积层之后应用全局双池化通道注意力机制，
全局双池化通道注意力机制为：给定输入的高层特征图
Figure FDA0002751649150000036
其中C表示特征通道总数，H和W分别表示特征图的高度和宽度，h表示高层，先在空间维度上对Fh使用GAP和全局最大池化GMP聚合特征图的空间信息，获得全局平均池化特征向量
Figure FDA0002751649150000037
和全局最大池化特征向量
Figure FDA0002751649150000038
之后，应用两个连续的全连接层FC1和FC2，进行自适应的参数调整，学习不同通道之间的相关性和依赖关系，为限制模型的复杂度，将FC1层的单元数设为C/r，r为压缩比率，FC2层将单元数还原为C，经过全连接层之后，获得两个有效的通道特征向量
Figure FDA0002751649150000039
和
Figure FDA00027516491500000310
通过元素相加的方式将两个通道特征向量C1和C2进行合并，之后，用Sigmoid函数进行归一化处理，得到通道注意力权重值
Figure FDA0002751649150000041
将通道注意力权重值CA和输入特征图Fh相乘，得到最终细化的通道注意力特征图
Figure FDA0002751649150000042
第四步，将原始图像序列输入到添加注意力机制的STAN网络中进行训练，将光流序列输入到添加注意力机制的STMN网络中进行训练：
将添加注意力机制的STAN网络和添加注意力机制的STMN网络结构搭建完成后，使用交叉熵损失函数，Adam优化器对两个网络模型进行编译，采用留一法交叉验证将微表情原始图像序列和光流序列划分为训练集和测试集，由于每个数据集都包含许多个实验参与者，每次将其中一个实验参与者的所有样本作为测试集，其余样本作为训练集，将训练集中的原始图像序列输入到添加注意力机制的STAN网络中进行训练，得到描述微表情序列外观信息的特征向量，将训练集中的光流序列输入到添加注意力机制的STMN网络中进行训练，得到描述微表情序列运动信息的特征向量；
第五步，将添加注意力机制的STAN网络和添加注意力机制的STMN网络的输出结果通过特征级联-SVM进行集成实现微表情识别任务：
首先用线性核函数初始化SVM对象定义分类器，用pi表示上述第四步得到的描述微表情序列外观信息的特征向量，用qi表示上述第四步得到的描述微表情序列运动信息的特征向量，将它们进行级联得到f(pi,qi)，将其作为分类器的特征X，将微表情的类别向量转换为独热编码的类别矩阵后作为特征对应的标签Y，用X和Y对SVM进行训练，
将测试集中的微表情数据输入到训练好的添加注意力机制的STAN和添加注意力机制的STMN网络中，得到两个描述微表情序列外观特征和运动特征的输出向量，将它们进行级联后输入到训练好的SVM分类器对微表情进行识别；
至此，完成基于时空外观运动注意力网络的微表情识别。
4.根据权利要求3所述的识别方法，其特征在于，所述第一步中微表情序列中每帧的尺寸归一化为r×r像素，其中r为224，将输入的原始图像序列和光流序列的帧数n设定为9。
CN202011186780.5A 2020-10-30 2020-10-30 基于时空外观运动注意力网络的微表情识别方法 Active CN112307958B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011186780.5A CN112307958B (zh) 2020-10-30 2020-10-30 基于时空外观运动注意力网络的微表情识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011186780.5A CN112307958B (zh) 2020-10-30 2020-10-30 基于时空外观运动注意力网络的微表情识别方法

Publications (2)

Publication Number Publication Date
CN112307958A true CN112307958A (zh) 2021-02-02
CN112307958B CN112307958B (zh) 2023-06-23

Family

ID=74332409

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011186780.5A Active CN112307958B (zh) 2020-10-30 2020-10-30 基于时空外观运动注意力网络的微表情识别方法

Country Status (1)

Country Link
CN (1) CN112307958B (zh)

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112560812A (zh) * 2021-02-19 2021-03-26 中国科学院自动化研究所 基于融合深度特征的微表情识别方法
CN112560810A (zh) * 2021-02-19 2021-03-26 中国科学院自动化研究所 基于多尺度时空特征神经网络的微表情识别方法
CN112817587A (zh) * 2021-02-08 2021-05-18 南京邮电大学 一种基于注意力机制的移动应用行为识别方法
CN112949841A (zh) * 2021-05-13 2021-06-11 德鲁动力科技(成都)有限公司 一种基于Attention的CNN神经网络的训练方法
CN113065451A (zh) * 2021-03-29 2021-07-02 四川翼飞视科技有限公司 一种多模态融合的动作识别装置、方法和存储介质
CN113095409A (zh) * 2021-04-13 2021-07-09 西安电子科技大学 基于注意力机制和权值共享的高光谱图像分类方法
CN113139479A (zh) * 2021-04-28 2021-07-20 山东大学 一种基于光流和rgb模态对比学习的微表情识别方法及***
CN113158905A (zh) * 2021-04-23 2021-07-23 佛山市南海区广工大数控装备协同创新研究院 一种基于注意力机制的行人重识别方法
CN113158872A (zh) * 2021-04-16 2021-07-23 中国海洋大学 一种在线学习者情绪识别方法
CN113177455A (zh) * 2021-04-23 2021-07-27 中国科学院计算技术研究所 一种用于识别运动强度的方法和***
CN113221639A (zh) * 2021-04-01 2021-08-06 山东大学 一种基于多任务学习的代表性au区域提取的微表情识别方法
CN113255530A (zh) * 2021-05-31 2021-08-13 合肥工业大学 基于注意力的多通道数据融合网络架构及数据处理方法
CN113283298A (zh) * 2021-04-26 2021-08-20 西安交通大学 基于时间注意力机制和双流网络的实时行为识别方法
CN113408381A (zh) * 2021-06-08 2021-09-17 上海对外经贸大学 基于自注意残差卷积神经网络的微表情分类方法
CN113420703A (zh) * 2021-07-03 2021-09-21 西北工业大学 基于多尺度特征提取和多注意力机制建模的动态面部表情识别方法
CN113449661A (zh) * 2021-07-05 2021-09-28 东南大学 一种基于注意力机制的自适应微表情识别方法
CN113496217A (zh) * 2021-07-08 2021-10-12 河北工业大学 视频图像序列中人脸微表情识别方法
CN113516028A (zh) * 2021-04-28 2021-10-19 南通大学 一种基于混合注意力机制的人体异常行为识别方法及***
CN113516152A (zh) * 2021-04-08 2021-10-19 北京航空航天大学 一种基于复合图像语义的图像描述方法
CN113576480A (zh) * 2021-08-12 2021-11-02 北京计算机技术及应用研究所 一种刑事检察公诉询问流程中的非接触式测谎方法
CN113705384A (zh) * 2021-08-12 2021-11-26 西安交通大学 一种考虑局部时空特性和全局时序线索的面部表情识别方法
CN113723287A (zh) * 2021-08-30 2021-11-30 平安科技（深圳）有限公司 基于双向循环神经网络的微表情识别方法、装置及介质
CN113782190A (zh) * 2021-09-22 2021-12-10 河北工业大学 基于多级时空特征和混合注意力网络的抑郁症诊断方法
CN113963421A (zh) * 2021-11-16 2022-01-21 南京工程学院 基于混合特征增强网络的动态序列非约束表情识别方法
CN114038041A (zh) * 2021-11-17 2022-02-11 杭州电子科技大学 一种基于残差神经网络和注意力机制的微表情识别方法
CN114239756A (zh) * 2022-02-25 2022-03-25 科大天工智能装备技术（天津）有限公司 一种虫害检测方法及***
CN114360005A (zh) * 2021-12-14 2022-04-15 武汉烽火信息集成技术有限公司 一种基于AU区域和多层级Transformer融合模块的微表情分类方法
CN114612987A (zh) * 2022-03-17 2022-06-10 深圳集智数字科技有限公司 一种表情识别方法及装置
CN114971007A (zh) * 2022-05-20 2022-08-30 山东华科信息技术有限公司 基于多尺度图卷积神经网络的光伏发电预测方法及***
CN115034259A (zh) * 2022-05-17 2022-09-09 合肥工业大学 基于csi与双线程卷积网络的位置无关的人体动作识别方法
CN115035571A (zh) * 2022-05-19 2022-09-09 重庆邮电大学 基于运动矢量化和宏观表情引导机制的微表情识别方法
CN115276784A (zh) * 2022-07-26 2022-11-01 西安电子科技大学 基于深度学习的轨道角动量模态识别方法
CN115661820A (zh) * 2022-11-15 2023-01-31 广东工业大学 一种基于密集特征反向融合的图像语义分割方法及***
CN116912922A (zh) * 2023-09-12 2023-10-20 深圳须弥云图空间科技有限公司 表情识别模型训练方法、装置、电子设备及存储介质
CN117197727A (zh) * 2023-11-07 2023-12-08 浙江大学 一种基于全局时空特征学习的行为检测方法与***
CN117392727A (zh) * 2023-11-02 2024-01-12 长春理工大学 一种基于对比学习及特征解耦的人脸微表情识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107609460A (zh) * 2017-05-24 2018-01-19 南京邮电大学 一种融合时空双重网络流和attention机制的人体行为识别方法
CN110287801A (zh) * 2019-05-29 2019-09-27 中国电子科技集团公司电子科学研究院 一种微表情识别算法
US20190311188A1 (en) * 2018-12-05 2019-10-10 Sichuan University Face emotion recognition method based on dual-stream convolutional neural network
CN110516571A (zh) * 2019-08-16 2019-11-29 东南大学 基于光流注意力神经网络的跨库微表情识别方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107609460A (zh) * 2017-05-24 2018-01-19 南京邮电大学 一种融合时空双重网络流和attention机制的人体行为识别方法
US20190311188A1 (en) * 2018-12-05 2019-10-10 Sichuan University Face emotion recognition method based on dual-stream convolutional neural network
CN110287801A (zh) * 2019-05-29 2019-09-27 中国电子科技集团公司电子科学研究院 一种微表情识别算法
CN110516571A (zh) * 2019-08-16 2019-11-29 东南大学 基于光流注意力神经网络的跨库微表情识别方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
何晓云;许江淳;史鹏坤;陈文绪;: "基于注意力机制的视频人脸表情识别", 信息技术, no. 02 *

Cited By (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112817587A (zh) * 2021-02-08 2021-05-18 南京邮电大学 一种基于注意力机制的移动应用行为识别方法
CN112817587B (zh) * 2021-02-08 2022-09-30 南京邮电大学 一种基于注意力机制的移动应用行为识别方法
CN112560810A (zh) * 2021-02-19 2021-03-26 中国科学院自动化研究所 基于多尺度时空特征神经网络的微表情识别方法
CN112560812A (zh) * 2021-02-19 2021-03-26 中国科学院自动化研究所 基于融合深度特征的微表情识别方法
CN113065451A (zh) * 2021-03-29 2021-07-02 四川翼飞视科技有限公司 一种多模态融合的动作识别装置、方法和存储介质
CN113065451B (zh) * 2021-03-29 2022-08-09 四川翼飞视科技有限公司 一种多模态融合的动作识别装置、方法和存储介质
CN113221639A (zh) * 2021-04-01 2021-08-06 山东大学 一种基于多任务学习的代表性au区域提取的微表情识别方法
CN113516152A (zh) * 2021-04-08 2021-10-19 北京航空航天大学 一种基于复合图像语义的图像描述方法
CN113516152B (zh) * 2021-04-08 2024-04-16 北京航空航天大学 一种基于复合图像语义的图像描述方法
CN113095409A (zh) * 2021-04-13 2021-07-09 西安电子科技大学 基于注意力机制和权值共享的高光谱图像分类方法
CN113158872A (zh) * 2021-04-16 2021-07-23 中国海洋大学 一种在线学习者情绪识别方法
CN113177455A (zh) * 2021-04-23 2021-07-27 中国科学院计算技术研究所 一种用于识别运动强度的方法和***
CN113158905A (zh) * 2021-04-23 2021-07-23 佛山市南海区广工大数控装备协同创新研究院 一种基于注意力机制的行人重识别方法
CN113283298B (zh) * 2021-04-26 2023-01-03 西安交通大学 基于时间注意力机制和双流网络的实时行为识别方法
CN113283298A (zh) * 2021-04-26 2021-08-20 西安交通大学 基于时间注意力机制和双流网络的实时行为识别方法
CN113516028B (zh) * 2021-04-28 2024-01-19 南通大学 一种基于混合注意力机制的人体异常行为识别方法及***
CN113139479A (zh) * 2021-04-28 2021-07-20 山东大学 一种基于光流和rgb模态对比学习的微表情识别方法及***
CN113516028A (zh) * 2021-04-28 2021-10-19 南通大学 一种基于混合注意力机制的人体异常行为识别方法及***
CN113139479B (zh) * 2021-04-28 2022-07-29 山东大学 一种基于光流和rgb模态对比学习的微表情识别方法及***
CN112949841A (zh) * 2021-05-13 2021-06-11 德鲁动力科技(成都)有限公司 一种基于Attention的CNN神经网络的训练方法
CN113255530B (zh) * 2021-05-31 2024-03-29 合肥工业大学 基于注意力的多通道数据融合网络架构及数据处理方法
CN113255530A (zh) * 2021-05-31 2021-08-13 合肥工业大学 基于注意力的多通道数据融合网络架构及数据处理方法
CN113408381A (zh) * 2021-06-08 2021-09-17 上海对外经贸大学 基于自注意残差卷积神经网络的微表情分类方法
CN113408381B (zh) * 2021-06-08 2023-09-19 上海对外经贸大学 基于自注意残差卷积神经网络的微表情分类方法
CN113420703A (zh) * 2021-07-03 2021-09-21 西北工业大学 基于多尺度特征提取和多注意力机制建模的动态面部表情识别方法
CN113449661B (zh) * 2021-07-05 2022-11-25 东南大学 一种基于注意力机制的自适应微表情识别方法
CN113449661A (zh) * 2021-07-05 2021-09-28 东南大学 一种基于注意力机制的自适应微表情识别方法
CN113496217B (zh) * 2021-07-08 2022-06-21 河北工业大学 视频图像序列中人脸微表情识别方法
CN113496217A (zh) * 2021-07-08 2021-10-12 河北工业大学 视频图像序列中人脸微表情识别方法
CN113705384B (zh) * 2021-08-12 2024-04-05 西安交通大学 一种考虑局部时空特性和全局时序线索的面部表情识别方法
CN113705384A (zh) * 2021-08-12 2021-11-26 西安交通大学 一种考虑局部时空特性和全局时序线索的面部表情识别方法
CN113576480A (zh) * 2021-08-12 2021-11-02 北京计算机技术及应用研究所 一种刑事检察公诉询问流程中的非接触式测谎方法
CN113723287A (zh) * 2021-08-30 2021-11-30 平安科技（深圳）有限公司 基于双向循环神经网络的微表情识别方法、装置及介质
CN113782190A (zh) * 2021-09-22 2021-12-10 河北工业大学 基于多级时空特征和混合注意力网络的抑郁症诊断方法
CN113782190B (zh) * 2021-09-22 2023-12-15 河北工业大学 基于多级时空特征和混合注意力网络的图像处理方法
CN113963421A (zh) * 2021-11-16 2022-01-21 南京工程学院 基于混合特征增强网络的动态序列非约束表情识别方法
CN114038041A (zh) * 2021-11-17 2022-02-11 杭州电子科技大学 一种基于残差神经网络和注意力机制的微表情识别方法
CN114360005A (zh) * 2021-12-14 2022-04-15 武汉烽火信息集成技术有限公司 一种基于AU区域和多层级Transformer融合模块的微表情分类方法
CN114360005B (zh) * 2021-12-14 2024-03-22 武汉烽火信息集成技术有限公司 一种基于AU区域和多层级Transformer融合模块的微表情分类方法
CN114239756B (zh) * 2022-02-25 2022-05-17 科大天工智能装备技术（天津）有限公司 一种虫害检测方法及***
CN114239756A (zh) * 2022-02-25 2022-03-25 科大天工智能装备技术（天津）有限公司 一种虫害检测方法及***
CN114612987A (zh) * 2022-03-17 2022-06-10 深圳集智数字科技有限公司 一种表情识别方法及装置
CN115034259A (zh) * 2022-05-17 2022-09-09 合肥工业大学 基于csi与双线程卷积网络的位置无关的人体动作识别方法
CN115034259B (zh) * 2022-05-17 2024-02-20 合肥工业大学 基于csi与双线程卷积网络的位置无关的人体动作识别方法
CN115035571A (zh) * 2022-05-19 2022-09-09 重庆邮电大学 基于运动矢量化和宏观表情引导机制的微表情识别方法
CN114971007A (zh) * 2022-05-20 2022-08-30 山东华科信息技术有限公司 基于多尺度图卷积神经网络的光伏发电预测方法及***
CN115276784A (zh) * 2022-07-26 2022-11-01 西安电子科技大学 基于深度学习的轨道角动量模态识别方法
CN115276784B (zh) * 2022-07-26 2024-01-23 西安电子科技大学 基于深度学习的轨道角动量模态识别方法
CN115661820B (zh) * 2022-11-15 2023-08-04 广东工业大学 一种基于密集特征反向融合的图像语义分割方法及***
CN115661820A (zh) * 2022-11-15 2023-01-31 广东工业大学 一种基于密集特征反向融合的图像语义分割方法及***
CN116912922B (zh) * 2023-09-12 2024-01-05 深圳须弥云图空间科技有限公司 表情识别模型训练方法、装置、电子设备及存储介质
CN116912922A (zh) * 2023-09-12 2023-10-20 深圳须弥云图空间科技有限公司 表情识别模型训练方法、装置、电子设备及存储介质
CN117392727A (zh) * 2023-11-02 2024-01-12 长春理工大学 一种基于对比学习及特征解耦的人脸微表情识别方法
CN117392727B (zh) * 2023-11-02 2024-04-12 长春理工大学 一种基于对比学习及特征解耦的人脸微表情识别方法
CN117197727B (zh) * 2023-11-07 2024-02-02 浙江大学 一种基于全局时空特征学习的行为检测方法与***
CN117197727A (zh) * 2023-11-07 2023-12-08 浙江大学 一种基于全局时空特征学习的行为检测方法与***

Also Published As

Publication number Publication date
CN112307958B (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
CN112307958B (zh) 基于时空外观运动注意力网络的微表情识别方法
Zhang et al. A face emotion recognition method using convolutional neural network and image edge computing
CN107316307B (zh) 一种基于深度卷积神经网络的中医舌图像自动分割方法
CN113496217B (zh) 视频图像序列中人脸微表情识别方法
Han et al. Two-stage learning to predict human eye fixations via SDAEs
CN113011357B (zh) 基于时空融合的深度伪造人脸视频定位方法
Jin et al. Adversarial autoencoder network for hyperspectral unmixing
CN108985252B (zh) 改进的脉冲深度神经网络的图像分类方法
Dudul et al. Emotion recognition from facial expression using neural networks
CN111476178A (zh) 一种基于2d-3d cnn的微表情识别方法
Tereikovskyi et al. The method of semantic image segmentation using neural networks
CN112597873A (zh) 一种基于深度学习的双通道人脸表情识别方法
Podder et al. Time efficient real time facial expression recognition with CNN and transfer learning
CN110135435B (zh) 一种基于广度学习***的显著性检测方法及装置
CN116758621B (zh) 基于自注意力机制的遮挡人脸面部表情深度卷积识别方法
CN112329875B (zh) 一种基于连续吸引子网络的连续图像序列识别方法
CN111950373B (zh) 一种基于光流输入的迁移学习用于微表情识别的方法
Qiu Convolutional neural network based age estimation from facial image and depth prediction from single image
Giap et al. Adaptive multiple layer retinex-enabled color face enhancement for deep learning-based recognition
Jaison et al. A review on facial emotion recognition and classification analysis with deep learning
Lou et al. Palm vein recognition via multi-task loss function and attention layer
Jaswanth et al. Deep learning based intelligent system for robust face spoofing detection using texture feature measurement
Singla et al. Age and gender detection using Deep Learning
Depuru et al. Hybrid CNNLBP using facial emotion recognition based on deep learning approach
Li et al. An optical biomimetic eyes with interested object imaging

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant