CN113807226B - 基于视频放大技术与多特征关系模型的微表情识别方法 - Google Patents

基于视频放大技术与多特征关系模型的微表情识别方法 Download PDF

Info

Publication number
CN113807226B
CN113807226B CN202111049912.4A CN202111049912A CN113807226B CN 113807226 B CN113807226 B CN 113807226B CN 202111049912 A CN202111049912 A CN 202111049912A CN 113807226 B CN113807226 B CN 113807226B
Authority
CN
China
Prior art keywords
micro
expression
image
frame
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111049912.4A
Other languages
English (en)
Other versions
CN113807226A (zh
Inventor
张静
晏博赟
翁谢川
刘娟秀
杜晓辉
刘霖
刘永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202111049912.4A priority Critical patent/CN113807226B/zh
Publication of CN113807226A publication Critical patent/CN113807226A/zh
Application granted granted Critical
Publication of CN113807226B publication Critical patent/CN113807226B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明是一种基于视频放大技术与多特征关系模型的微表情识别方法，属于图像处理领域和深度学***然后拼接起来，经过softmax层进行分类。本发明具有效率高，准确率高且高度自动化的特点，具有更好的鲁棒性。

Description

基于视频放大技术与多特征关系模型的微表情识别方法
技术领域
本发明属于图像处理领域和深度学习领域，主要涉及基于视频放大技术与多特征关系模型的微表情识别方法。
背景技术
微表情是不受人主观意识控制的，面部自然出现的与人内心情绪相符合的表情，其难以伪造，常常作为情绪识别的依据，在公共安全、心理健康、疲劳驾驶等领域有很高的利用价值。但微表情动作幅度小、持续时间短、隐蔽性高等特点，使其识别难度很大。
在对微表情进行识别时，往往需要从大量视频信息中找出存在的微表情片段，再对微表情进行识别。仅依靠有限人力从海量视频中识别微表情是不切实际的，不能快速反馈识别结果。且即使受过专业培训的人员对微表情的识别准确率仍然处于较低水平，还受限于培训的人力、物力、时间成本和专业性要求，难以进行大规模推广。随着计算机的发展，深度学习等逐渐应用于微表情识别领域，但微表情数据难以采集，无法快速准确的采集到高质量的微表情片段导致微表情数据集小且各类数据分布不均匀，这使得网络具有偏向性，给微表情的分类带来巨大挑战。此外，微表情具有高维度、非线性、非刚性、变化多样的特点，使得特征提取网络深度设置困难。网络过浅容易丢失微表情高频细节特征，过深导致提取与微表情无关的面部环境特征，增加算法复杂度。
针对上述微表情识别问题，利用视频放大技术提取微表情帧的空间特征，并对各帧间特征进行差分与放大，输出微表情放大后的差分特征。同时为了提高特征的全面性，迁移学习resnet50网络提取输入微表情帧的全局特征辅助微表情识别。将放大后的微表情差分特征与提取的全局特征分别输入两个特征关系模型中，计算微表情帧间的相对位置关系与图像特征关系，最后结合两个关系特征输入全连接层中进行分类。
发明内容
本发明针对人力识别微表情效率低且难以进行推广、微表情数据集小且分布不均匀导致网络具有偏向性、微表情特征提取网络深度设置困难的问题，设计了一种基于视频放大技术与多特征关系模型的微表情识别方法，以实现快速、准确的自动化识别微表情的方法。
本发明技术方案是一种基于视频放大技术与多特征关系模型的微表情识别方法，该方法包括以下步骤：
步骤1：输入微表情序列图像；
步骤2：对步骤1输入的微表情序列图像进行抽取，抽取每个微表情片段的开始帧、中间帧(开始帧和最大帧之间的中间帧)、最大帧、终止帧；
步骤3：对步骤2抽取的四帧微表情图像进行基于暗通道先验理论的去噪算法处理；
步骤4：对步骤3处理后的图像进行人脸检测、裁剪、人脸关键点检测、对齐一系列处理；
步骤5：搭建基于深度学习的视频放大网络结构，利用其提取微表情的空间特征并进行差分放大处理；
步骤6：将步骤4处理后的四帧图像输入到步骤5搭建的视频放大网络结构中，分别提取四帧微表情帧的空间特征。将后3帧图像与第一帧图像的空间特征进行差分，然后再进行放大，得到放大的微表情帧间的差分特征；
步骤7：搭建基于Resnet50微调的卷积神经网络结构，加载其在ImageNet数据集上预训练的模型，冻结所有卷积层；
步骤8：将步骤4处理后的四帧图像分别输入到步骤7构建的卷积神经网络中，将最后一个卷积层的输出作为微表情的全局特征；
步骤9：搭建特征关系模型；
步骤10：将步骤6中得到的放大的微表情帧间的差分特征和步骤8提取的微表情的全局特征分别拼接成两个矩阵输入特征关系模型中，得到两个特征的帧间关系；
步骤11：将步骤10中输出的两个特征的帧间关系先展平为一维向量，再拼接起来，最后通过softmax层进行分类。
其中，所述步骤2具体为：根据微表情数据集标注的各个微表情片段的开始帧、最大帧、终止帧，计算开始帧与最大帧之间的中间帧，抽取这四帧图像作为网络的输入。
其中，所述步骤3具体为：
步骤3.1：对步骤2抽取的四帧微表情图像进行归一化处理，图像的像素值均除以255；
步骤3.2：计算归一化图像每个像素点的R、G、B三通道的最小值，并将该像素点的R、G、B三通道均变为该值，输出该暗通道图像；
步骤3.3：对归一化后的图像按照暗通道图像进行导向滤波，得到导向滤波后的图像；
步骤3.4：根据暗通道图像、导向滤波结果等计算大气光强和透射率的大小；
步骤3.5：利用大气光强和透射率对归一化后的图像进行修正，得到最终的基于暗通道先验理论的微表情去噪图像。
其中，所述步骤4具体为：
步骤4.1：调用dlib包对步骤3处理后的图像进行人脸检测，然后再调用dlib训练好的人脸关键点检测器检测微表情图像中人脸的68个关键点；
步骤4.2：通过关键点对微表情图像进行裁剪，以左右特征点的中心作为图像的水平的中心位置，以眉毛中心和嘴唇中心的中心点作为图像的垂直的中心位置，选择适当的尺寸进行裁剪，仅保留人脸面部区域；
步骤4.3：根据人脸关键点检测，找到后3帧图像分别与第一帧图像匹配的关键点，计算对应关键点的匹配度，仅保留最匹配的一部分，并计算其单应性矩阵；
步骤4.4：通过计算得到的单应性矩阵分别将后3帧图像映射到第一帧图像上，达到图像对齐的目的。
其中，所述步骤5具体为：
步骤5.1：搭建放大模块的Encoder结构，首先搭建2个卷积层和3个残差网络模块，每个卷积层后均使用了Relu激活函数，然后通过一个卷积层提取微表情的空间特征，其步长设置为2，最后连接两个残差结构输出；
步骤5.2：搭建Manipulation结构，先通过一个卷积层对两帧图像空间特征的差分进行卷积运算，激活函数为Relu函数，然后乘以放大因子α，再利用卷积层和残差结构对放大后的特征进行非线性变化，得到放大的微表情的差分特征；
步骤5.3：搭建Decoder结构，通过两个卷积层对微表情放大的差分特征解码，然后通过一个平坦层将特征转换为一维向量输出。
其中，所述步骤7具体为：搭建Resnet50网络结构，该网络结构先有一个卷积层和一个最大池化层，然后经过4个不同的卷积块Bottleblock，各个卷积块的个数分别为[3，4，6，3]，将最后一个卷积块的输出作为微表情的全局特征输出。
其中，所述步骤9具体为：
步骤9.1：计算第m帧微表情帧与当前第n帧微表情帧之间的相对位置关系和图像特征关系权重；
步骤9.2：根据计算得到的相对位置关系和图像特征关系权重，计算第m帧与第n帧微表情帧的总关系权重，并进行归一化处理；
步骤9.3：根据总权值计算每个局部关系模块的输出；
步骤9.4：最后拼接所有局部关系模块输出的特征，并叠加在第n帧的原始图像特征上，输出与之前通道数相同的新关系特征。
本发明是一种基于视频放大技术与多特征关系模型的微表情识别方法，该方法首先对微表情数据进行基于暗通道先验理论的去噪处理、人脸检测、裁剪、人脸关键点检测、人脸对齐等一系列预处理操作，提高微表情数据的质量，然后搭建视频放大网络，提取微表情帧的空间特征并进行差分与放大。为了提高特征的全面性，搭建了基于Resnet50微调的卷积神经网络结构，利用其在ImageNet上的预训练模型，提取微表情的全局特征。然后搭建了特征关系模型分别提取放大的微表情帧间的差分特征和提取的微表情全局特征的关系特征，最终将得到的两个关系特征展平然后拼接起来，经过softmax层进行分类。本发明与依靠人力检测微表情的方法相比，具有效率高，准确率高且高度自动化的特点，与传统的图像特征提取与分类网络相比，利用视频放大技术放大微表情的空间特征，并结合微表情的全局特征，分别提取这两个特征的帧间关系进行分类，具有更好的鲁棒性。
附图说明
图1是视频放大网络结构。
图2是基于Resnet50微调的卷积神经网络。
图3是特征关系模型网络结构。
图4是该网络结构的整体框架。
图5是微表情识别算法的流程图。
具体实施方式
下面结合附图，对本发明一种基于视频放大技术与多特征关系模型的微表情识别方法进行详细说明：
步骤1：输入微表情序列图像；
步骤2：对步骤1输入的微表情序列图像进行抽取，抽取每个微表情片段的开始帧、中间帧(开始帧和最大帧之间的中间帧)、最大帧、终止帧；具体为根据微表情数据集标注的各个微表情片段的开始帧、最大帧、终止帧，计算开始帧与最大帧之间的中间帧，抽取这四帧图像作为网络的输入。
步骤3：对步骤2抽取的四帧微表情图像进行基于暗通道先验理论的去噪算法处理；
步骤3.1：对步骤2抽取的四帧微表情图像进行归一化处理，图像的像素值均除以255；
步骤3.2：计算归一化图像每个像素点的R、G、B三通道的最小值，并将该像素点的R、G、B三通道均变为该值，输出该暗通道图像；
步骤3.3：对归一化后的图像按照暗通道图像进行导向滤波，得到导向滤波后的图像；
步骤3.4：根据暗通道图像、导向滤波结果等计算大气光强和透射率的大小；
步骤3.5：利用大气光强和透射率对归一化后的图像进行修正，得到最终的基于暗通道先验理论的微表情去噪图像。
步骤4：对步骤3处理后的图像进行人脸检测、裁剪、人脸关键点检测、对齐一系列处理；
步骤4.1：调用dlib包对步骤3处理后的图像进行人脸检测，然后再调用dlib训练好的人脸关键点检测器检测微表情图像中人脸的68个关键点；
步骤4.2：通过关键点对微表情图像进行裁剪，以左右特征点的中心作为图像的水平的中心位置，以眉毛中心和嘴唇中心的中心点作为图像的垂直的中心位置，选择适当的尺寸进行裁剪，仅保留人脸面部区域；
步骤4.3：根据人脸关键点检测，找到后3帧图像分别与第一帧图像匹配的关键点，计算对应关键点的匹配度，仅保留最匹配的一部分，并计算其单应性矩阵；
步骤4.4：通过计算得到的单应性矩阵分别将后3帧图像映射到第一帧图像上，达到图像对齐的目的。
步骤5：搭建基于深度学习的视频放大网络结构，利用其提取微表情的空间特征并进行差分放大处理；
步骤5.1：搭建放大模块的Encoder结构，首先搭建2个卷积层和3个残差网络模块，每个卷积层后均使用了Relu激活函数，然后通过一个卷积层提取微表情的空间特征，其步长设置为2，最后连接两个残差结构输出；
步骤5.2：搭建Manipulation结构，先通过一个卷积层对两帧图像空间特征的差分进行卷积运算，激活函数为Relu函数，然后乘以放大因子α，再利用卷积层和残差结构对放大后的特征进行非线性变化，得到放大的微表情的差分特征；
步骤5.3：搭建Decoder结构，通过两个卷积层对微表情放大的差分特征解码，然后通过一个平坦层将特征转换为一维向量输出。
步骤6：将步骤4处理后的四帧图像输入到步骤5搭建的视频放大网络结构中，分别提取四帧微表情帧的空间特征。将后3帧图像与第一帧图像的空间特征进行差分，然后再进行放大，得到放大的微表情帧间的差分特征；
步骤7：搭建基于Resnet50微调的卷积神经网络结构，加载其在ImageNet数据集上预训练的模型，冻结所有卷积层。具体为搭建Resnet50网络结构，该网络结构先有一个卷积层和一个最大池化层，然后经过4个不同的卷积块Bottleblock，各个卷积块的个数分别为[3，4，6，3]，将最后一个卷积块的输出作为微表情的全局特征输出；
步骤8：将步骤4处理后的四帧图像分别输入到步骤7构建的卷积神经网络中，将最后一个卷积层的输出作为微表情的全局特征；
步骤9：搭建特征关系模型；
步骤9.1：计算第m帧微表情帧与当前第n帧微表情帧之间的相对位置关系和图像特征关系权重；
步骤9.2：根据计算得到的相对位置关系和图像特征关系权重，计算第m帧与第n帧微表情帧的总关系权重，并进行归一化处理；
步骤9.3：根据总权值计算每个局部关系模块的输出；
步骤9.4：最后拼接所有局部关系模块输出的特征，并叠加再第n帧的原始图像特征上，输出与之前通道数相同的新关系特征。
步骤10：将步骤6中得到的放大的微表情帧间的差分特征和步骤8提取的微表情的全局特征分别拼接成两个矩阵输入特征关系模型中，得到两个特征的帧间关系；
步骤11：将步骤10中输出的两个特征的帧间关系先展平为一维向量，再拼接起来，最后通过softmax层进行分类。

Claims (5)

1.一种基于视频放大技术与多特征关系模型的微表情识别方法，该方法包括以下步骤：
步骤1：输入微表情序列图像；
步骤2：对步骤1输入的微表情序列图像进行抽取，抽取每个微表情片段的开始帧、中间帧、最大帧、终止帧；所述中间帧表示开始帧和最大帧之间的中点的一帧；
步骤3：对步骤2抽取的四帧微表情图像进行基于暗通道先验理论的去噪算法处理；
步骤4：对步骤3处理后的图像进行人脸检测、裁剪、人脸关键点检测、对齐处理；
步骤5：搭建基于深度学习的视频放大网络结构，利用其提取微表情的空间特征并进行差分放大处理；
步骤6：将步骤4处理后的四帧图像输入到步骤5搭建的视频放大网络结构中，分别提取四帧微表情帧的空间特征；将后三帧图像与第一帧图像的空间特征进行差分，然后再进行放大，得到放大的微表情帧间的差分特征；
步骤7：搭建基于Resnet50微调的卷积神经网络结构，加载其在ImageNet数据集上预训练的模型，冻结所有卷积层；
步骤8：将步骤4处理后的四帧图像分别输入到步骤7构建的卷积神经网络中，将最后一个卷积层的输出作为微表情的全局特征；
步骤9：搭建特征关系模型；
步骤9.1：计算第m帧微表情帧与当前第n帧微表情帧之间的相对位置关系和图像特征关系权重；
步骤9.2：根据计算得到的相对位置关系和图像特征关系权重，计算第m帧与第n帧微表情帧的总关系权重，并进行归一化处理；
步骤9.3：根据总权值计算每个局部关系模块的输出；
步骤9.4：最后拼接所有局部关系模块输出的特征，并叠加在第n帧的原始图像特征上，输出与之前通道数相同的新关系特征；
步骤10：将步骤6中得到的放大的微表情帧间的差分特征和步骤8提取的微表情的全局特征分别拼接成两个矩阵输入特征关系模型中，得到两个特征的帧间关系；
步骤11：将步骤10中输出的两个特征的帧间关系先展平为一维向量，再拼接起来，最后通过softmax层进行分类。
2.如权利要求1所述一种基于视频放大技术与多特征关系模型的微表情识别方法，其特征在于步骤3具体为：
步骤3.1：对步骤2抽取的四帧微表情图像进行归一化处理，图像的像素值均除以255；
步骤3.2：计算归一化图像每个像素点的R、G、B三通道的最小值，并将该像素点的R、G、B三通道均变为该值，输出得到的图像；
步骤3.3：对归一化后的图像按照暗通道图像进行导向滤波，得到导向滤波后的图像；
步骤3.4：根据暗通道图像、导向滤波结果计算大气光强和透射率的大小；
步骤3.5：利用大气光强和透射率对归一化后的图像进行修正，得到最终的基于暗通道先验理论的微表情去噪图像。
3.如权利要求1所述一种基于视频放大技术与多特征关系模型的微表情识别方法，其特征在于步骤4具体为：
步骤4.1：调用dlib包对步骤3处理后的图像进行人脸检测，然后再调用dlib训练好的人脸关键点检测器检测微表情图像中人脸的68个关键点；
步骤4.2：通过关键点对微表情图像进行裁剪，以左右特征点的中心作为图像的水平的中心位置，以眉毛中心和嘴唇中心的中心点作为图像的垂直的中心位置，选择适当的尺寸进行裁剪，仅保留人脸面部区域；
步骤4.3：根据人脸关键点检测，找到后3帧图像分别与第一帧图像匹配的关键点，计算对应关键点的匹配度，仅保留最匹配的一部分，并计算其单应性矩阵；
步骤4.4：通过计算得到的单应性矩阵分别将后3帧图像映射到第一帧图像上，达到图像对齐的目的。
4.如权利要求1所述一种基于视频放大技术与多特征关系模型的微表情识别方法，其特征在于步骤5具体为：
步骤5.1：搭建放大模块的Encoder结构，首先搭建2个卷积层和3个残差网络模块，每个卷积层后均使用了Relu激活函数，然后通过一个卷积层提取微表情的空间特征，其步长设置为2，最后连接两个残差结构输出；
步骤5.2：搭建Manipulation结构，先通过一个卷积层对两帧图像空间特征的差分进行卷积运算，激活函数为Relu函数，然后乘以放大因子α，再利用卷积层和残差结构对放大后的特征进行非线性变化，得到放大的微表情的差分特征；
步骤5.3：搭建Decoder结构，通过两个卷积层对微表情放大的差分特征解码，然后通过一个平坦层将特征转换为一维向量输出。
5.如权利要求1所述一种基于视频放大技术与多特征关系模型的微表情识别方法，其特征在于步骤7具体为搭建Resnet50网络结构，该网络结构先有一个卷积层和一个最大池化层，然后经过4个不同的卷积块Bottleblock，各个卷积块的个数分别为[3，4，6，3]，将最后一个卷积块的输出作为微表情的全局特征输出。
CN202111049912.4A 2021-09-08 2021-09-08 基于视频放大技术与多特征关系模型的微表情识别方法 Active CN113807226B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111049912.4A CN113807226B (zh) 2021-09-08 2021-09-08 基于视频放大技术与多特征关系模型的微表情识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111049912.4A CN113807226B (zh) 2021-09-08 2021-09-08 基于视频放大技术与多特征关系模型的微表情识别方法

Publications (2)

Publication Number Publication Date
CN113807226A CN113807226A (zh) 2021-12-17
CN113807226B true CN113807226B (zh) 2023-04-07

Family

ID=78894867

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111049912.4A Active CN113807226B (zh) 2021-09-08 2021-09-08 基于视频放大技术与多特征关系模型的微表情识别方法

Country Status (1)

Country Link
CN (1) CN113807226B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111353390A (zh) * 2020-01-17 2020-06-30 道和安邦（天津）安防科技有限公司 一种基于深度学习的微表情识别方法
CN111476178A (zh) * 2020-04-10 2020-07-31 大连海事大学 一种基于2d-3d cnn的微表情识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10210320B2 (en) * 2016-09-21 2019-02-19 Lextron Systems, Inc. System and method for secure 5-D user identification

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111353390A (zh) * 2020-01-17 2020-06-30 道和安邦（天津）安防科技有限公司 一种基于深度学习的微表情识别方法
CN111476178A (zh) * 2020-04-10 2020-07-31 大连海事大学 一种基于2d-3d cnn的微表情识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Fei Song 等.Optimization of CNN-based Garbage Classification Model.Proceedings of the 4th International Conference on Computer Science and Application Engineering.2020,全文. *
Geesung Oh 等.DRER: Deep Learning–Based Driver’s Real Emotion Recognizer.Sensors.2021,全文. *
刘永.一种稀疏残差深度网络及其在人脸识别中的应用.中国优秀硕士学位论文全文数据库 (信息科技辑).2019,全文. *

Also Published As

Publication number Publication date
CN113807226A (zh) 2021-12-17

Similar Documents

Publication Publication Date Title
CN110033002B (zh) 基于多任务级联卷积神经网络的车牌检测方法
Amara et al. A deep learning-based approach for banana leaf diseases classification
CN108288015B (zh) 基于时间尺度不变性的视频中人体动作识别方法及***
CN104077579B (zh) 基于专家***的人脸表情图像识别方法
CN109255284B (zh) 一种基于运动轨迹的3d卷积神经网络的行为识别方法
CN112101241A (zh) 一种基于深度学习的轻量级表情识别方法
CN106203356B (zh) 一种基于卷积网络特征提取的人脸识别方法
CN110991238A (zh) 一种基于语音情感分析和微表情识别的演讲辅助***
CN108416780A (zh) 一种基于孪生-感兴趣区域池化模型的物体检测与匹配方法
CN110992374A (zh) 一种基于深度学习的头发精细化分割方法及***
CN112163490A (zh) 一种基于场景图片的目标检测方法
CN111666845A (zh) 基于关键帧采样的小样本深度学习多模态手语识别方法
CN110688966B (zh) 语义指导的行人重识别方法
Ahammad et al. Recognizing Bengali sign language gestures for digits in real time using convolutional neural network
CN110929239B (zh) 一种基于唇语指令的终端解锁方法
CN115393928A (zh) 基于深度可分离卷积与加性角度间隔损失的人脸识别方法及装置
Borra et al. Face recognition based on convolutional neural network
Singh et al. Feature based method for human facial emotion detection using optical flow based analysis
CN114863572A (zh) 一种多通道异构传感器的肌电手势识别方法
Tur et al. Isolated sign recognition with a siamese neural network of RGB and depth streams
CN113076916B (zh) 基于几何特征加权融合的动态人脸表情识别方法及***
CN113807226B (zh) 基于视频放大技术与多特征关系模型的微表情识别方法
CN115331289A (zh) 基于视频运动放大和光流特征的微表情识别方法
CN115546862A (zh) 基于跨尺度局部差异深度子空间特征的表情识别方法和***
CN111444863A (zh) 基于相机的5g车载网络云辅助的驾驶员情绪识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant