CN111950373A - 一种基于光流输入的迁移学习用于微表情识别的方法 - Google Patents

一种基于光流输入的迁移学习用于微表情识别的方法 Download PDF

Info

Publication number
CN111950373A
CN111950373A CN202010666988.0A CN202010666988A CN111950373A CN 111950373 A CN111950373 A CN 111950373A CN 202010666988 A CN202010666988 A CN 202010666988A CN 111950373 A CN111950373 A CN 111950373A
Authority
CN
China
Prior art keywords
expression
micro
optical flow
layer
transfer learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010666988.0A
Other languages
English (en)
Other versions
CN111950373B (zh
Inventor
张立言
李星燃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202010666988.0A priority Critical patent/CN111950373B/zh
Publication of CN111950373A publication Critical patent/CN111950373A/zh
Application granted granted Critical
Publication of CN111950373B publication Critical patent/CN111950373B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于光流输入的迁移学习用于微表情识别的方法，包括以下步骤：步骤1：下载微表情数据集，对其进行对齐、归一化；步骤2：计算经步骤1处理后的微表情数据集中每个微表***的光流估计，得到光流序列；步骤3：使用基于面部表情的CNN模型进行从宏表情到微表情迁移学习，输入为步骤2中得到的光流序列，输出为时间空间特征，对网络进行训练后最终实现微表情识别功能。本发明解决了微表情识别中数据规模小产生过拟合的问题，同时光流比原始数据具有更高的层次特征，进一步提升了模型的性能。

Description

一种基于光流输入的迁移学习用于微表情识别的方法
技术领域
本发明属于计算机视觉领域中，特别涉及一种应用深度学习实现的微表情识别方法。
背景技术
微表情识别是计算机视觉领域的一个具有挑战性的任务，因为它具有面部表情受抑制和持续时间短的特点。近年来，因其在临床诊断、刑事侦查、安全***等诸多领域的潜在应用，越来越受到不同学科领域专家的关注。微表情是一种特殊的面部表情，它被定义为一种不受人的意识控制、能表现真实情感的快速面部动作，能够揭示人们试图隐藏的真实情感。用面部表情来欺骗别人是可能的，但是微表情是不可能的。
尽管微表情在视觉上与面部表情相似，但微表情短且受抑制，这使得微表情识别比面部表情识别更具挑战性。在一个心理学实验中使用微表情训练工具(METT)来训练微表情的七个类别，平均微表情识别率为50％。深度学习的发展使得可以利用卷积神经网络(CNN)从多个标记图像中学习层次特征。然而，深度学习需要大量的数据，由于微表情数据的缺乏，从微表情数据中直接训练卷积神经网络(CNN)模型是不可行的。据规模小的问题。
发明内容
本发明的目的是提供一种基于光流输入的迁移学习用于微表情识别的方法，以解决直接用微表情数据库进行微表情识别数据规模小而产生的过拟合问题
为实现上述目的，本发明采用的技术方案为：
一种基于光流输入的迁移学习用于微表情识别的方法，包括以下步骤：
步骤1：下载微表情数据集，对其进行对齐、归一化；
步骤2：计算经步骤1处理后的微表情数据集中每个微表***的光流估计，得到光流序列；
步骤3：使用基于面部表情的CNN模型进行从宏表情到微表情迁移学习，输入为步骤2中得到的光流序列，输出为时间空间特征，对网络进行训练后最终实现微表情识别功能。
所述步骤1中，对齐时使用活动形状模型在微表情数据集中的每个微表***的第一帧中检测到68个面部标志，然后根据比对模板对每个微表***的第一帧进行归一化，每个微表***中的后续帧都通过局部加权均值变换与第一帧进行比对；归一化包括空间域和时间域归一化，空间域归一化将所有图像都在人脸区域内被裁剪为96×112像素，时间域归一化采用线性插值方法来获取足够数量的帧。
所述步骤2中，在一段微表***中，设在点(x,y,t)的值是I(x,y,t)，时隔δt到下一帧,像素移动(x+δx,y+δy,t+δt)，强度为I(x+δx,y+δy,t+δt)，基于小周期内亮度的不变性，得到
I(x,y,t)＝I(x+δx,y+δy,t+δt) (1)
其中，δx＝uδt，δy＝vδt，u(x,y)和v(x,y)为光流场中需要估计的水平分量和垂直分量，设微表***中的像素值是其位置和时间的连续函数，根据泰勒级数展开，上述函数的右部表示为:
Figure BDA0002580658360000021
其中，ε是二阶及以上时间δt的无偏估计量，当δt趋向于无穷小,让式(2)两边除以时间δt和式(1),然后得到光流方程如下:
Figure BDA0002580658360000022
即，
Figure BDA0002580658360000023
所述步骤3中，设计一个从宏表情到微表情进行迁移学习的网络，以实现微表情识别功能：
迁移学习的源标签空间为：
yS＝{Neutral,Angry,Contempt,Disgust,Fear,Happy,Sad,Surprise}
目标标签空间为：
yT＝{Positive,Negative,Surprise,Others}
其中，Positive＝{Happy}，Negative＝{Afraid,Angry,Disgust,Sad,Fear}，Surprise＝{Surprise}，情绪不清的面部动作属于Others；
网络整体结构如下：
input->conv_1->max-pool_1->conv_2->max-pool_2->conv_3->max-pool_3->fc_1->fc_2->lstm_1->lstm_2->lstm_3->fc_3->spatial_temporal feature
其中，input为步骤2中得到的光流序列，conv_i{i＝1，2，3}表示第i个卷积层，除conv1的卷积操作后都采用批归一化；max-pool_i{i＝1，2，3}表示第i个最大池化层；fc_i{i＝1，2，3}表示第i个全连接层，从fc2层提取空间特征表示；lstm_i{i＝1，2，3}表示第i个LSTM层；spatial_temporal feature表示经过迁移学习最终得到的时空特征向量；每个卷积和全连接层的输出都采用ReLU非线性层作为激活函数来约束输出；在第一和第二完全连接层之后，有一个dropout层，来减轻对特征向量的过拟合；
学习空间特征表示的目标函数如下：
Figure BDA0002580658360000031
其中，
Figure BDA0002580658360000032
表示第i个样本的真值，如果k是正确的类，则为1，否则为0，
Figure BDA0002580658360000033
表示在全连接层上计算的表情类别k的预测概率；目标项L1使具有不同表情类型的样本在功能空间中可分离；
Figure BDA0002580658360000034
其中，fc，p，i表示c类第i个训练样本的空间特征表示向量，最后一层提取的第p个表情状态；mc表示c类训练样本的均值特征向量；
Figure BDA0002580658360000035
是在j≠c时，mc和mj之间最小距离的一半；目标项L2使同一表情类中的类内变化因受试者外观等因素造成的影响减少；
学习时间特征表示的LSTM层的操作如下：
gin，t (l)＝sigm(Win (l)[ht-1 (l)，ht (l-1)]+bin (l))，
gf，t (l)＝sigm(Wf (l)[ht-1 (l)，ht (l-1)]+bf (l))，
go，t (l)＝sigm(Wo (l)[ht-1 (l)，ht (l-1)]+bo (l))，
Figure BDA0002580658360000036
Figure BDA0002580658360000037
其中，W* (l)和bx (l)分别表示第l个LSTM层的权值和偏差，*为下标in、f、o、cell，分别表示input、forget、output、记忆单元；gin，t (l)表示输入门，决定了当前时刻t网络的输入有多少保存到单元状态；gf，t (l)表示遗忘门，决定了上一时刻的单元状态有多少保存到当前时刻t；go，t (l)表示输出门，决定单元状态有多少输出到LSTM的当前输出值；cellt (l)表示当前时刻t输入的单元状态；ht (l)表示给定第t个输入的第l个LSTM层的输出。
有益效果：与现有技术不同的是，本发明在两方面提出了创新。一方面，网络输入不是经过简单对齐、归一化处理的微表情数据序列，而是对原始微表情数据集中序列进行光流估计，使得微表***中的细微动作更加明显，以此来获得高层次的特征；另一方面，卷积神经网络能够学习具有代表性的表情状态帧的空间图像特征，但是微表情数据的样本量非常小，直接训练很容易过拟合，因此本发明采用基于面部表情的CNN模型进行迁移学习，使用预训练的ImageNet_CNN在面部表情数据集CK+上训练，训练后的网络包含一些与微表情共享的表情信息，这些信息被传输到LSTM训练网络中学习时空特征。以此来解决直接用微表情数据库进行微表情识别数据规模小而产生的过拟合问题。
具体实施方式
下面对本发明做更进一步的解释。
一种基于光流输入的迁移学习用于微表情识别的方法，包括以下步骤：
步骤1，下载微表情数据集，对其进行对齐、归一化；获取CASMEII作为本次训练模型的数据集。其中，对齐时使用活动形状模型(ASM)在微表情数据集中的每个微表***的第一帧中检测到68个面部标志，然后根据比对模板对每个微表***的第一帧进行归一化，每个微表***中的后续帧都通过局部加权均值(LWM)变换与第一帧进行比对；归一化包括空间域和时间域归一化，空间域归一化将所有图像都在人脸区域内被裁剪为96×112像素，时间域归一化采用线性插值方法来获取足够数量的帧。
步骤2：计算经步骤1处理后的微表情数据集中每个微表***的光流估计，得到光流序列；为了保证提出的体系结构能够获得高层特征，输入网络的数据不是原始数据，而是光流，光流比原始数据具有更高的层次特征，在微表情识别中被证明是有效的。
在一段微表***中，设在点(x，y，t)的值是I(x，y，t)，时隔δt到下一帧，像素移动(x+δx，y+δy，t+δt)，强度为I(x+δx，y+δy，t+δt)，基于小周期内亮度的不变性，得到
I(x，y，t)＝I(x+δx，y+δy，t+δt) (1)
其中，δx＝uδt，δy＝vδt，u(x，y)和v(x，y)为光流场中需要估计的水平分量和垂直分量，设微表***中的像素值是其位置和时间的连续函数，根据泰勒级数展开，上述函数的右部表示为：
Figure BDA0002580658360000051
其中，ε是二阶及以上时间δt的无偏估计量，当δt趋向于无穷小，让式(2)两边除以时间δt和式(1)，然后得到光流方程如下：
Figure BDA0002580658360000052
即，
Figure BDA0002580658360000053
步骤3：使用基于面部表情的CNN模型进行从宏表情到微表情迁移学习，输入为步骤2中得到的光流序列，输出为时间空间特征，对网络进行训练后最终实现微表情识别功能。
表情和微表情有着共同的知识，它们在表达情感时是相似的，因此有相似的纹理信息。作为动态的面部运动，它们具有相同的时间模式、onset期、apex期和offset期。相似的纹理和时间模式使得从表情到微表情的学习成为可能。
迁移学习的目的是在相关的源域和目标域之间迁移知识。
设计一个从宏表情到微表情进行迁移学习的网络，以实现微表情识别功能：
迁移学习的源标签空间为：
ys＝{Neutral，Angry，Contempt，Disgust，Fear，Happy，Sad，Surprise}
目标标签空间为：
yT＝{Positive，Negative，Surprise，Others}
其中，Positive＝{Happy}，Negative＝{Afraid，Angry，Disgust，Sad，Fear}，Surprise＝{Surprise}，情绪不清的面部动作属于Others；因此，源任务和目标任务是相关的，这进一步提高了迁移学习的性能。
Deep CNN需要大量带注释的样本，微表情数据的样本量与现有的表情数据相比，样本量非常小。深度CNN对这样小尺寸的数据并不能保证有良好的性能。因此，使用预训练的ImageNet_CNN在面部表情数据集CK+上训练，训练后的网络包含一些与微表情共享的表情信息，这些信息被传输到LSTM训练网络中学习时空特征。
网络整体结构如下：
input->conv_1->max-pool_1->conv_2->max-pool_2->conv_3->max-pool_3->fc_1->fc_2->lstm_1->lstm_2->lstm_3->fc_3->spatial_temporalfeature
其中，input为步骤2中得到的光流序列，conv_i{i＝1，2，3}表示第i个卷积层，除conv1的卷积操作后都采用批归一化；max-pool_i{i＝1，2，3}表示第i个最大池化层；fc_i{i＝1，2，3}表示第i个全连接层，从fc_2层提取空间特征表示；lstm_i{i＝1，2，3}表示第i个LSTM层；spatial_temporal feature表示经过迁移学习最终得到的时空特征向量；每个卷积和全连接层的输出都采用ReLU非线性层作为激活函数来约束输出；在第一和第二完全连接层之后，有一个dropout层，来减轻对特征向量的过拟合；
学习空间特征表示的目标函数如下：
Figure BDA0002580658360000061
其中，
Figure BDA0002580658360000062
表示第i个样本的真值，如果k是正确的类，则为1，否则为0，
Figure BDA0002580658360000063
表示在全连接层上计算的表情类别k的预测概率；目标项L1使具有不同表情类型的样本在功能空间中可分离；
Figure BDA0002580658360000064
其中，fc，p，i表示c类第i个训练样本的空间特征表示向量，最后一层提取的第p个表情状态；mc表示c类训练样本的均值特征向量；
Figure BDA0002580658360000065
是在j≠c时，mc和mj之间最小距离的一半；目标项L2使同一表情类中的类内变化因受试者外观等因素造成的影响减少；
学习时间特征表示的LSTM层的操作如下：
gin，t (l)＝sigm(Win (l)[ht-1 (l)，ht (l-1)]+bin (l))，
gf，t (l)＝sigm(Wf (l)[ht-1 (l)，ht (l-1)]+bf (l))，
go，t (l)＝sigm(Wo (l)[ht-1 (l)，ht (l-1)]+bo (l))，
Figure BDA0002580658360000066
Figure BDA0002580658360000067
其中，W* (l)和b* (l)分别表示第l个LSTM层的权值和偏差，*为下标in、f、o、cell，分别表示input、forget、output、记忆单元；gin，t (l)表示输入门，决定了当前时刻t网络的输入有多少保存到单元状态；gf，t (l)表示遗忘门，决定了上一时刻的单元状态有多少保存到当前时刻t；go，t (l)表示输出门，决定单元状态有多少输出到LSTM的当前输出值；cellt (l)表示当前时刻t输入的单元状态；ht (l)表示给定第t个输入的第l个LSTM层的输出；。
本发明对原始微表情数据集中的视频序列进行光流估计，使得视频中的细微动作更加明显，以此来获得高层次的特征；在网络结构方面，本发明使用了从宏表情到微表情的迁移学习，利用在ImageNet上预训练的深度CNN，使用大样本的表情数据对上述深度CNN进行预训练，训练后的网络包含一些与微表情共享的表情信息，这些信息被传输到LSTM训练网络中进行微表情识别，加快网络训练速度。解决了因为卷积神经网络需要大量带注释的样本而对这样小尺寸的数据产生过拟合且不能保证有良好性能的问题。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (5)

1.一种基于光流输入的迁移学习用于微表情识别的方法，其特征在于：包括以下步骤：
步骤1：下载微表情数据集，对其进行对齐、归一化；
步骤2：计算经步骤1处理后的微表情数据集中每个微表***的光流估计，得到光流序列；
步骤3：使用基于面部表情的CNN模型进行从宏表情到微表情迁移学习，输入为步骤2中得到的光流序列，输出为时间空间特征，对网络进行训练后最终实现微表情识别功能。
2.根据权利要求1所述的基于光流输入的迁移学习用于微表情识别的方法，其特征在于：所述步骤1中，对齐时使用活动形状模型在微表情数据集中的每个微表***的第一帧中检测到68个面部标志，然后根据比对模板对每个微表***的第一帧进行归一化，每个微表***中的后续帧都通过局部加权均值变换与第一帧进行比对；归一化包括空间域和时间域归一化，空间域归一化将所有图像都在人脸区域内被裁剪为96×112像素，时间域归一化采用线性插值方法来获取足够数量的帧。
3.根据权利要求1或2所述的基于光流输入的迁移学习用于微表情识别的方法，其特征在于：所述步骤1中，微表情数据集为CASMEII。
4.根据权利要求1所述的基于光流输入的迁移学习用于微表情识别的方法，其特征在于：所述步骤2中，在一段微表***中，设在点(x，y，t)的值是I(x，y，t)，时隔δt到下一帧，像素移动(x+δx，y+δy，t+δt)，强度为I(x+δx，y+δy，t+δt)，基于小周期内亮度的不变性，得到：
I(x，y，t)＝I(x+δx，y+δy，t+δt) (1)
其中，δx＝uδt，δy＝vδt，u(x，y)和v(x，y)为光流场中需要估计的水平分量和垂直分量，设微表***中的像素值是其位置和时间的连续函数，根据泰勒级数展开，上述函数的右部表示为：
Figure FDA0002580658350000011
其中，ε是二阶及以上时间δt的无偏估计量，当δt趋向于无穷小，让式(2)两边除以时间δt和式(1)，然后得到光流方程如下：
Figure FDA0002580658350000012
即，
Figure FDA0002580658350000021
5.根据权利要求1所述的基于光流输入的迁移学习用于微表情识别的方法，其特征在于：所述步骤3中，设计一个从宏表情到微表情进行迁移学习的网络，以实现微表情识别功能：
迁移学习的源标签空间为：
Figure FDA0002580658350000022
目标标签空间为：
Figure FDA0002580658350000023
其中，Positive＝{Happy}，Negative＝{Afraid，Angry，Disgust，Sad，Fear}，Surprise＝{Surprise}，情绪不清的面部动作属于Others；
网络整体结构如下：
input-＞conv_1-＞max-pool_1-＞conv_2-＞max-pool_2-＞conv_3-＞max-pool_3-＞fc_1-＞fc_2-＞lstm_1-＞lstm_2-＞lstm_3-＞fc_3-＞spatial_temporal feature
其中，input为步骤2中得到的光流序列，conv_i{i＝1，2，3}表示第i个卷积层，除conv1的卷积操作后都采用批归一化；max-pool_i{i＝1，2，3}表示第i个最大池化层；fc_i{i＝1，2，3}表示第i个全连接层，从fc_2层提取空间特征表示；lstm_i{i＝1，2，3}表示第i个LSTM层；spatial_temporal feature表示经过迁移学习最终得到的时空特征向量；每个卷积和全连接层的输出都采用ReLU非线性层作为激活函数来约束输出；在第一和第二完全连接层之后，有一个dropout层，来减轻对特征向量的过拟合；
学习空间特征表示的目标函数如下：
Figure FDA0002580658350000024
其中，
Figure FDA0002580658350000025
表示第i个样本的真值，如果k是正确的类，则为1，否则为0，
Figure FDA0002580658350000026
表示在全连接层上计算的表情类别k的预测概率；目标项L1使具有不同表情类型的样本在功能空间中可分离；
Figure FDA0002580658350000027
其中，fc，p，i表示c类第i个训练样本的空间特征表示向量，最后一层提取的第p个表情状态；mc表示c类训练样本的均值特征向量；
Figure FDA0002580658350000031
是在j≠c时，mc和mj之间最小距离的一半；目标项L2便同一表情类中的类内变化因受试者外观等因素造成的影响减少；
学习时间特征表示的LSTM层的操作如下：
gin，t (l)＝sigm(Win (l)[ht-1 (l)，ht (l-1)]+bin (l))，
gf，t (l)＝sigm(Wf (l)[ht-1 (l)，ht (l-1)]+bf (l))，
go，t (l)＝sigm(Wo (l)[ht-1 (l)，ht (l-1)]+bo (l))，
Figure FDA0002580658350000032
Figure FDA0002580658350000033
其中，W* (l)和b* (l)分别表示第l个LSTM层的权值和偏差，*为下标in、f、o、cell，分别表示input、forget、output、记忆单元；gin，t (l)表示输入门，决定了当前时刻t网络的输入有多少保存到单元状态；gf，t (l)表示遗忘门，决定了上一时刻的单元状态有多少保存到当前时刻t；go，t (l)表示输出门，决定单元状态有多少输出到LSTM的当前输出值；cellt (l)表示当前时刻t输入的单元状态；ht (l)表示给定第t个输入的第l个LSTM层的输出。
CN202010666988.0A 2020-07-13 2020-07-13 一种基于光流输入的迁移学习用于微表情识别的方法 Active CN111950373B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010666988.0A CN111950373B (zh) 2020-07-13 2020-07-13 一种基于光流输入的迁移学习用于微表情识别的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010666988.0A CN111950373B (zh) 2020-07-13 2020-07-13 一种基于光流输入的迁移学习用于微表情识别的方法

Publications (2)

Publication Number Publication Date
CN111950373A true CN111950373A (zh) 2020-11-17
CN111950373B CN111950373B (zh) 2024-04-16

Family

ID=73340475

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010666988.0A Active CN111950373B (zh) 2020-07-13 2020-07-13 一种基于光流输入的迁移学习用于微表情识别的方法

Country Status (1)

Country Link
CN (1) CN111950373B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112381036A (zh) * 2020-11-26 2021-02-19 厦门大学 一种应用于刑侦的微表情与宏表情片段识别方法
CN113870315A (zh) * 2021-10-18 2021-12-31 南京硅基智能科技有限公司 一种动作迁移模型的训练方法及动作迁移方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107194347A (zh) * 2017-05-19 2017-09-22 深圳市唯特视科技有限公司 一种基于面部动作编码***进行微表情检测的方法
CN108710829A (zh) * 2018-04-19 2018-10-26 北京红云智胜科技有限公司 一种基于深度学习的表情分类及微表情检测的方法
CN110287805A (zh) * 2019-05-31 2019-09-27 东南大学 基于三流卷积神经网络的微表情识别方法及***
CN110348271A (zh) * 2018-04-04 2019-10-18 山东大学 一种基于长短时记忆网络的微表情识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107194347A (zh) * 2017-05-19 2017-09-22 深圳市唯特视科技有限公司 一种基于面部动作编码***进行微表情检测的方法
CN110348271A (zh) * 2018-04-04 2019-10-18 山东大学 一种基于长短时记忆网络的微表情识别方法
CN108710829A (zh) * 2018-04-19 2018-10-26 北京红云智胜科技有限公司 一种基于深度学习的表情分类及微表情检测的方法
CN110287805A (zh) * 2019-05-31 2019-09-27 东南大学 基于三流卷积神经网络的微表情识别方法及***

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112381036A (zh) * 2020-11-26 2021-02-19 厦门大学 一种应用于刑侦的微表情与宏表情片段识别方法
CN113870315A (zh) * 2021-10-18 2021-12-31 南京硅基智能科技有限公司 一种动作迁移模型的训练方法及动作迁移方法
CN113870315B (zh) * 2021-10-18 2023-08-25 南京硅基智能科技有限公司 基于多算法集成的动作迁移模型训练方法及动作迁移方法

Also Published As

Publication number Publication date
CN111950373B (zh) 2024-04-16

Similar Documents

Publication Publication Date Title
CN107679526B (zh) 一种人脸微表情识别方法
Wang et al. MESNet: A convolutional neural network for spotting multi-scale micro-expression intervals in long videos
Shan et al. Automatic facial expression recognition based on a deep convolutional-neural-network structure
CN107609460B (zh) 一种融合时空双重网络流和attention机制的人体行为识别方法
Wang et al. Trajectory predictor by using recurrent neural networks in visual tracking
CN106919903B (zh) 一种鲁棒的基于深度学习的连续情绪跟踪方法
CN113496217B (zh) 视频图像序列中人脸微表情识别方法
CN112307958A (zh) 基于时空外观运动注意力网络的微表情识别方法
CN112800903B (zh) 一种基于时空图卷积神经网络的动态表情识别方法及***
CN112560810B (zh) 基于多尺度时空特征神经网络的微表情识别方法
CN110399821B (zh) 基于人脸表情识别的顾客满意度获取方法
CN110188343A (zh) 基于融合注意力网络的多模态情感识别方法
CN108509839A (zh) 一种基于区域卷积神经网络高效的手势检测识别方法
CN112464865A (zh) 一种基于像素和几何混合特征的人脸表情识别方法
CN109753897A (zh) 基于记忆单元强化-时序动态学习的行为识别方法
Xu et al. Face expression recognition based on convolutional neural network
CN112597873A (zh) 一种基于深度学习的双通道人脸表情识别方法
CN111950373B (zh) 一种基于光流输入的迁移学习用于微表情识别的方法
Borgalli et al. Deep learning for facial emotion recognition using custom CNN architecture
Podder et al. Time efficient real time facial expression recognition with CNN and transfer learning
CN109508640A (zh) 一种人群情感分析方法、装置和存储介质
Seyedarabi et al. Recognition of six basic facial expressions by feature-points tracking using RBF neural network and fuzzy inference system
Nie Research on facial expression recognition of robot based on CNN convolution neural network
CN113723287A (zh) 基于双向循环神经网络的微表情识别方法、装置及介质
Liu et al. An optimized Capsule-LSTM model for facial expression recognition with video sequences

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant