CN111325131B - 基于自适应去除过渡帧深度网络的微表情检测方法 - Google Patents

基于自适应去除过渡帧深度网络的微表情检测方法 Download PDF

Info

Publication number
CN111325131B
CN111325131B CN202010092959.8A CN202010092959A CN111325131B CN 111325131 B CN111325131 B CN 111325131B CN 202010092959 A CN202010092959 A CN 202010092959A CN 111325131 B CN111325131 B CN 111325131B
Authority
CN
China
Prior art keywords
frame
micro
network
expression
transition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010092959.8A
Other languages
English (en)
Other versions
CN111325131A (zh
Inventor
付晓峰
牛力
柳永翔
赵伟华
计忠平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202010092959.8A priority Critical patent/CN111325131B/zh
Publication of CN111325131A publication Critical patent/CN111325131A/zh
Application granted granted Critical
Publication of CN111325131B publication Critical patent/CN111325131B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于自适应去除过渡帧深度网络的微表情检测方法。本发明包括网络构造、网络训练和微表情检测，其中所述的网络训练中首先对原始视频进行数据预处理；然后使用自适应去除过渡帧方法去除过渡帧；最后将去除了过渡帧的微表情帧和中性帧样本输入MesNet网络进行训练。本发明所构建的MesNet本质是一个二分类网络，检测微表情帧不依赖帧时序关系，因此MesNet不仅可以从微表情数据库完整视频中检测微表情帧，也可以从给定的任意帧集合中检测微表情帧，还可以判断给定的单独一帧是否为微表情帧。

Description

基于自适应去除过渡帧深度网络的微表情检测方法
技术领域
本发明属于计算机图像处理技术领域，涉及一种基于自适应去除过渡帧深度网络的微表情检测方法。
背景技术
与持续时间为0.5s～4s的传统面部表情不同，持续时间为1/25s～1/5s的面部微表情是一种瞬时、无意识的反应，揭示人的真实情感。因其在情感监测、谎言检测、临床诊断、商业谈判等各个领域中的潜在应用，在过去的十多年中，微表情识别已经引起研究人员越来越多的关注。
微表情具有诱导困难，数据难以采集，样本规模较小，人眼难以识别等特殊性，最初的微表情识别主要是由心理学家等专业人士人工识别的，近年来计算机硬件的进步使得利用计算机视觉方法和机器学习方法自动识别微表情成为可能。
微表情识别包含微表情检测和微表情种类判别两个步骤。微表情检测是微表情种类判别的前提，对于一段包含微表情的视频，首先需检测微表情分布于哪些帧，才能进一步判断微表情属于哪种类别。现有微表情检测方法普遍存在的问题是微表情检测精度较低或者适用范围偏小。常用于微表情检测的数据库有CASME II、SMIC-E-HS和CAS(ME)2，之前还没有一种微表情检测方法同时在三个数据库上得到验证。
发明内容
本发明针对现有技术的不足，提供了一种基于自适应去除过渡帧深度网络的微表情检测方法，该方法在微表情检测应用上具有高精度和广适用范围特点。
本发明包括网络构造、网络训练和使用训练好的网络检测微表情。
所述的网络构造具体是：
步骤S1：选取在ImageNet数据库上预训练好的CNN模型，保留卷积层及预训练参数。
步骤S2：在上述CNN模型后添加全连接层。
步骤S3：在全连接层后添加输出层和logistic分类器。
具体地，本发明使用Inception-ResNet-V2为基础构造微表情检测网络，命名为MesNet(micro-expression spotting network)。
具体地，全连接层神经元数量为512。
具体地，MesNet网络为微表情帧和中性帧二分类网络，输出层神经元数量为1。
所述的网络训练具体是：
步骤S1：对训练集原始视频进行数据预处理。
步骤S2：使用自适应去除过渡帧方法从训练集去除过渡帧。
步骤S3：将去除了过渡帧的微表情帧和中性帧样本输入MesNet网络进行训练。
具体地，对原始视频进行数据预处理包括人脸检测、人脸对齐、微表情区域裁剪。
所述的自适应去除过渡帧方法具体是：
步骤S1：将训练集分为自信样本和待去除过渡帧样本。
步骤S2：通过自信样本训练MesNet网络，得到微表情帧、中性帧二分类模型。
步骤S3：用二分类模型预测待去除过渡帧样本，得到每个样本属于正样本微表情帧的概率。
步骤S4：通过待去除过渡帧样本概率分布图自适应地确定筛选过渡帧的阈值，从而去除过渡帧。
所述的使用训练好的网络检测微表情具体是：
步骤S1：对测试集原始视频进行数据预处理。
步骤S2：将预处理后的样本输入训练好的MesNet网络，得到预测标签值。标签为1代表样本为微表情帧，标签为0代表中性帧。
具体地，输入的待检测样本可以是单段视频，也可以是完整测试集的多段视频。
本发明相对于现有方法具有以下有益效果：
本发明微表情检测精度高，MesNet在CASME II、SMIC-E-HS和CAS(ME)2数据库上均取得目前最优结果。本发明适用范围广，对输入视频长短无任何限制，不仅适用于CASMEII、SMIC-E-HS的短视频，也适用于CAS(ME)2数据库的长视频。
附图说明
图1表示MesNet训练流程图。
图2表示CASME II数据库视频片段示例。
图3表示自适应去除过渡帧方法。
图4表示待去除过渡帧样本概率分布。
图5(a)表示视频中某一帧图像。
图5(b)表示提取得到的人脸矩形框。
图6表示人脸对齐方法。
图7(a)表示人脸对齐后的图像。
图7(b)表示裁剪的微表情区域。
图8(a)表示CASME II数据库一些视频帧。
图8(b)为图8(a)对应的Dlib人脸检测图。
图8(c)为采用本发明预处理方法对图8(a)进行预处理得到的图。
具体实施方式
下面将结合附图对本发明加以详细说明，应指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。
图1以CASME II数据库中编号为20_EP15_03f的一段视频为例描述MesNet训练流程。如式(1)所示，Input为输入MesNet网络的微表情帧和中性帧样本，f(Input)表示使用预训练模型从图像中提取形状和纹理特征Features：
Features＝f(Input). (1)
为了进一步提取微表情特征，如式(2)所示，函数f1(Features,N)表示以Features为输入，在预训练模型之后连接一层包含有N个神经元的全连接层：
FC＝f1(Features,N). (2)
接着以FC为输入，构造输出层Output如式(3)所示。因为MesNet为二分类网络，所以输出层只包含1个神经元：
Output＝f1(FC,1). (3)
MesNet网络使用logistic分类器，损失函数为
Figure BDA0002384329360000051
式中m表示参与一次迭代的样本数，y(i)表示第i个训练样本的真实标签值，标签为1代表正样本微表情帧，0代表负样本中性帧。
Figure BDA0002384329360000052
表示MesNet预测第i个样本为正样本的概率值，/>
Figure BDA0002384329360000053
计算方法为
Figure BDA0002384329360000054
MesNet网络优化采用学习率自适应的Adam方法。
图2表示CASME II数据库视频片段示例，与图1为同一段视频，此段视频时长5秒，共1024帧。根据CASME II数据库说明文档，起始帧(Onset Frame)第86帧是微表情开始的那一帧，顶点帧(Apex Frame)第129帧是微表情峰值帧，结束帧(Offset Frame)第181帧是微表情持续的最后一帧。
在监督学习中，训练数据所对应的标签质量对学习效果有重要影响。从微表情数据库制作过程可知，在200fps的高速相机之下，并不能十分明确地划分起始帧和结束帧附近的一些帧为微表情帧或者中性帧。因此，第86帧和第181帧附近的帧可能带有噪声标签，如果把带有噪声标签的帧放入训练集，会对模型训练造成干扰。因此，本实施例将起始帧和结束帧附近带有噪声标签的帧定义为过渡帧，并对训练集做去除过渡帧的处理。
以图2所示视频为例，为了去除过渡帧，以第86、第129、第181帧为界将整段视频分为四个片段，同时每一片段分为两个部分，图中对总共8个部分进行了编号。以U1表示第1部分样本的集合，以L1表示第1部分样本的数量，其余7部分以此类推。
图3表示自适应去除过渡帧方法，具体流程如下：
步骤S1：考虑到过渡帧为少量带有噪声标签的样本，其比例不会超过训练集样本总数50％且过渡帧靠近起始帧或结束帧。那么，如图2所示，初始化L1:L2＝L3:L4＝L5:L6＝L7:L8＝1:1。以UT表示过渡帧样本集合，以UT0表示待去除过渡帧样本集合，则UT0＝U2∪U3∪U6∪U7。
步骤S2：U4∪U5作为微表情帧样本，U1∪U8作为中性帧样本，训练MesNet网络，得到模型C。
步骤S3：使用模型C预测UT0中的样本x(i)属于正样本微表情帧的概率Pi，若Pi接近0，则样本为中性帧，若Pi接近1，则样本为微表情帧。那么过渡帧判别公式为UT＝{xi|P1<Pi<P2,xi∈UT0} (6)
式中P1,P2∈(0,1)，P1、P2具体取值将在下文讨论；
步骤S4：U2、U3、U6、U7去除过渡帧之后的样本集合分别为U2-、U3-、U6-、U7-。则放入训练集的微表情帧样本集合为：
UME＝U3-UU4UU5UU6-, (7)
中性帧样本集合为：
UN＝U1UU2-UU7-UU8. (8)
图4表示待去除过渡帧样本概率分布。将UT0总共24454个样本输入模型C进行预测，得到对应的24454个概率值。为确定最优阈值P1、P2，作概率分布图如图4所示。概率分布在[0.000,0.050]区间内的16616个样本，模型C判断其为微表情帧的概率不高于0.05，即为中性帧的概率不低于0.95；概率分布在(0.950,1.000]区间内的5429个样本，模型C判断其为微表情帧的概率不低于0.95；样本预测概率值越接近0.5，说明模型C越难以判断其类别，预测结果可信度越低，此类样本即为过渡帧。结合概率分布情况，分布在[0.000,0.050]区间的样本数量远远大于下一个区间(0.050，0.100]，而(0.050，0.100]区间样本数量没有远多于区间(0.100，0.150]，因此可以确定P1取值为0.05，同理可确定P2取值为0.95。采用自适应去除过渡帧方法从CASME II数据库训练集总共48670个样本中去除2409个过渡帧样本，占训练集样本总数约4.950％。
图5(a)是CASME II数据库中编号为15_EP03_02的视频中某一帧图像，可见受试者头部有明显的角度倾斜，另外还有背景、头发、耳机等大量的干扰信息。本发明对原始视频的预处理分为三个步骤：人脸检测、人脸对齐和微表情区域裁剪。图5(b)表示利用Dlib正向人脸检测器，提取得到人脸矩形框。下一步使用残差神经网络人脸特征点检测模型，检测得到矩形框内的68个人脸特征点。
图6表示人脸对齐。设两个外眼角坐标编号分别为36和45，利用这两点的横纵坐标可计算得出人脸的偏斜角度。设第36和45关键点坐标分别为(x1,y1)和(x2,y2)，则
水平差量：
dx＝x2-x1, (9)
垂直差量：
dy＝y2-y1, (10)
人脸偏转角度：
Figure BDA0002384329360000081
利用angle计算仿射矩阵作仿射变换，即可得到如图7(a)所示人脸对齐后的图像。
由图7(a)可见，人脸对齐之后的图像仍然包含较多噪声，例如眼镜框和图像四角的头发等干扰信息，其他受试者有的还会存在衣物领口和耳机线等干扰信息(见图8(b))，相较微表情帧和中性帧之间微小的类间间距，这些噪声干扰造成的类内间距更为显著。为了最大限度缩小类内间距，需要进一步裁剪图像。结合面部动作编码***(Facial ActionCoding System，FACS)对相关微表情的编码，基于两个原则：最大限度保留CASME II几种微表情包含的动作单元和最大程度减少噪声干扰，进一步裁剪图像。反复试验确定最佳裁剪参数，最终结果如图7(b)所示。CASME II、SMIC-E-HS与CAS(ME)2数据库中总共32万多帧图像全部依据以上流程进行预处理。
图8(a)表示CASME II数据库一些图像预处理原图，图8(b)为Dlib人脸检测图，图8(c)为采用本发明预处理方法进行预处理得到的图。比较图8(a)和图8(c)可见，本发明的预处理方法能够较为准确地从原始视频得到人脸微表情区域图像，且有效去除了大部分影响微表情检测的噪声干扰。
MesNet完成训练之后，将测试集样本输入，可得到每个样本属于正样本微表情帧的概率
Figure BDA0002384329360000091
若/>
Figure BDA0002384329360000092
大于等于0.5，判为微表情帧，输出标签为1；若/>
Figure BDA0002384329360000093
小于0.5，判为中性帧，输出标签为0。根据测试集真实标签和MesNet预测标签，可作出ROC曲线图及计算AUC值。AUC值越高，模型性能越好。
实验结果
为表明本发明方法具有更高的微表情检测AUC值，特将本发明与其他方法进行比较，比较结果如下表所示。表中的其他方法引用文献如下：
[1]DAVISON A K,LANSLEY C,NG C C,et al.Objective Micro-Facial MovementDetection Using FACS-Based Regions and Baseline Evaluation[C]//2018 13th IEEEInternational Conference on Automatic Face&Gesture Recognition(FG 2018),2018:642-649.
[2]QU F,WANG S J,YAN W J,et al.CAS(ME)^2:ADatabase for SpontaneousMacro-expression and Micro-expression Spotting and Recognition[J].IEEETransactions on Affective Computing,2018,9(4):424-436.
[3]WANG S J,WU S,QIAN X,et al.Amain directional maximal differenceanalysis for spotting facial movements from long-term videos[J].Neurocomputing,2017,230:382-389.
[4]LI X,HONG X,MOILANEN A,et al.Towards Reading Hidden Emotions:AComparative Study of Spontaneous Micro-Expression Spotting and RecognitionMethods[J].IEEE Transactions on Affective Computing,2018,9(4):563-577.
[5]DUQUE C A,ALATA O,EMONET R,et al.Micro-Expression Spotting Usingthe Riesz Pyramid[C]//2018IEEE Winter Conference on Applications of ComputerVision(WACV).IEEE,2018:66-74.
Figure BDA0002384329360000101
从表中可以看到，在CASME II、SMIC-E-HS和CAS(ME)2数据库上，MesNet的AUC值均领先于现有方法。与其他方法相比，除了精度更高之外，MesNet还具有适用范围广的优势。MesNet对输入视频长短无任何限制，不仅适用于CASME II、SMIC-E-HS的短视频，也适用于CAS(ME)2数据库的长视频。相比之下，文献[1][4][5]提出的方法仅在CASME II或者SMIC-E-HS的短视频上得到验证，文献[2][3]提出的方法仅在CAS(ME)2长视频数据库上得到验证。
为表明本发明自适应去除过渡帧方法的有效性，设置不去除过渡帧与自适应去除过渡帧方法的对比实验，AUC值比较结果如下表所示。
Figure BDA0002384329360000111
从表中可以看到，采用自适应去除过渡帧方法，在三个数据库上均有效提高了微表情检测AUC值。
前面已经具体描述了本发明的实施方案，应当理解，对于一个具有本技术领域的普通技能的人，不在背离本发明的范围的情况下，在上述的和在附加的权利要求中特别提出的本发明的范围内进行变化和调整能同样达到本发明的目的。

Claims (6)

1.基于自适应去除过渡帧深度网络的微表情检测方法，包括网络构造、网络训练和微表情检测，其特征在于：
所述的网络构造具体是：
步骤S1：选取在ImageNet数据库上预训练好的CNN模型，保留卷积层及预训练参数；
步骤S2：在上述CNN模型后添加全连接层；
步骤S3：在全连接层后添加输出层和logistic分类器，构造完成的网络命名为MesNet网络；
所述的网络训练具体是：
步骤S1：对原始视频进行数据预处理，去除影响微表情检测的噪声干扰；
步骤S2：使用自适应去除过渡帧方法从训练集去除过渡帧；
步骤S3：将去除了过渡帧的微表情帧和中性帧样本输入MesNet网络进行训练；
所述的自适应去除过渡帧方法具体是：
步骤S1：将训练集分为自信样本和待去除过渡帧样本；
步骤S2：通过自信样本训练MesNet网络，得到微表情帧、中性帧二分类模型；
步骤S3：用二分类模型预测待去除过渡帧样本，得到每个样本属于正样本微表情帧的概率；
步骤S4：通过待去除过渡帧样本概率分布图自适应地确定筛选过渡帧的阈值，从而去除过渡帧；
所述的微表情检测具体是：
步骤S1：对测试集原始视频进行数据预处理；
步骤S2：将预处理后的样本输入训练好的MesNet网络，得到预测标签值。
2.根据权利要求1所述的基于自适应去除过渡帧深度网络的微表情检测方法，其特征在于：
网络构造阶段，使用预训练好的Inception-ResNet-V2模型为基础，添加含512个神经元的全连接层和含1个神经元的输出层，构造微表情帧和中性帧二分类网络，用于从视频中检测微表情。
3.根据权利要求1所述的基于自适应去除过渡帧深度网络的微表情检测方法，其特征在于：
网络训练阶段，原始视频的数据预处理包括人脸检测、人脸对齐和微表情区域裁剪；
所述的人脸检测是利用Dlib正向人脸检测器，提取得到人脸矩形框，使用残差神经网络人脸特征点检测模型，检测得到矩形框内的68个人脸特征点；
所述的人脸对齐是通过计算两个外眼角水平差量和垂直差量从而确定人脸偏转角度，并利用人脸偏转角度计算仿射矩阵作仿射变换，完成人脸对齐。
4.根据权利要求1所述的基于自适应去除过渡帧深度网络的微表情检测方法，其特征在于：
所述的过渡帧带有噪声标签，通过自适应去除过渡帧方法可以识别并去除过渡帧。
5.根据权利要求1所述的基于自适应去除过渡帧深度网络的微表情检测方法，其特征在于：
MesNet网络完成训练之后，将测试集样本输入，可得到每个样本属于正样本微表情帧的概率；若概率大于等于0.5，判为微表情帧，输出标签为1；若概率小于0.5，判为中性帧，输出标签为0；根据测试集真实标签和MesNet网络预测标签，做出ROC曲线图及计算AUC值；AUC值越高，MesNet网络性能越好。
6.根据权利要求1所述的基于自适应去除过渡帧深度网络的微表情检测方法，其特征在于：
微表情检测过程中，所述MesNet网络检测微表情对输入视频适用于长度为几十帧的短视频或适用于上千帧的长视频。
CN202010092959.8A 2020-02-14 2020-02-14 基于自适应去除过渡帧深度网络的微表情检测方法 Active CN111325131B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010092959.8A CN111325131B (zh) 2020-02-14 2020-02-14 基于自适应去除过渡帧深度网络的微表情检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010092959.8A CN111325131B (zh) 2020-02-14 2020-02-14 基于自适应去除过渡帧深度网络的微表情检测方法

Publications (2)

Publication Number Publication Date
CN111325131A CN111325131A (zh) 2020-06-23
CN111325131B true CN111325131B (zh) 2023-06-23

Family

ID=71171012

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010092959.8A Active CN111325131B (zh) 2020-02-14 2020-02-14 基于自适应去除过渡帧深度网络的微表情检测方法

Country Status (1)

Country Link
CN (1) CN111325131B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103530648A (zh) * 2013-10-14 2014-01-22 四川空港知觉科技有限公司 一种基于多帧图像的人脸识别方法
CN106803909A (zh) * 2017-02-21 2017-06-06 腾讯科技（深圳）有限公司 一种视频文件的生成方法及终端
CN107679526A (zh) * 2017-11-14 2018-02-09 北京科技大学 一种人脸微表情识别方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8848068B2 (en) * 2012-05-08 2014-09-30 Oulun Yliopisto Automated recognition algorithm for detecting facial expressions
EP2960905A1 (en) * 2014-06-25 2015-12-30 Thomson Licensing Method and device of displaying a neutral facial expression in a paused video

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103530648A (zh) * 2013-10-14 2014-01-22 四川空港知觉科技有限公司 一种基于多帧图像的人脸识别方法
CN106803909A (zh) * 2017-02-21 2017-06-06 腾讯科技（深圳）有限公司 一种视频文件的生成方法及终端
CN107679526A (zh) * 2017-11-14 2018-02-09 北京科技大学 一种人脸微表情识别方法

Also Published As

Publication number Publication date
CN111325131A (zh) 2020-06-23

Similar Documents

Publication Publication Date Title
Yang et al. Deep multimodal representation learning from temporal data
Littlewort et al. Dynamics of facial expression extracted automatically from video
US9530048B2 (en) Automated facial action coding system
CN111797683A (zh) 一种基于深度残差注意力网络的视频表情识别方法
CN109543526A (zh) 基于深度差异性特征的真假面瘫识别***
CN112784763A (zh) 基于局部与整体特征自适应融合的表情识别方法及***
CN109299690B (zh) 一种可提高视频实时人脸识别精度的方法
CN111666845B (zh) 基于关键帧采样的小样本深度学习多模态手语识别方法
Khatri et al. Facial expression recognition: A survey
CN111967354B (zh) 基于肢体和微表情的多模态特征的抑郁倾向识别方法
Zhao et al. Applying contrast-limited adaptive histogram equalization and integral projection for facial feature enhancement and detection
CN112949560A (zh) 双通道特征融合下长视频表情区间连续表情变化识别方法
Bartlett et al. Towards automatic recognition of spontaneous facial actions
Lee et al. Face and facial expressions recognition system for blind people using ResNet50 architecture and CNN
CN111680660A (zh) 基于多源异构数据流的人体行为检测方法
Suh et al. Adversarial deep feature extraction network for user independent human activity recognition
CN106709442B (zh) 一种人脸识别方法
CN113408389A (zh) 一种智能识别司机睡意动作的方法
Chang et al. Using gait information for gender recognition
CN111325131B (zh) 基于自适应去除过渡帧深度网络的微表情检测方法
Mao et al. Robust facial expression recognition based on RPCA and AdaBoost
Khan et al. Traditional features based automated system for human activities recognition
Lee et al. Recognition of facial emotion through face analysis based on quadratic bezier curves
Agnihotri et al. Vision based Interpreter for Sign Languages and Static Gesture Control using Convolutional Neural Network
Hema et al. Gait energy image projections based on gender detection using support vector machines

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant