CN114005157A - 一种基于卷积神经网络的像素位移向量的微表情识别方法 - Google Patents
一种基于卷积神经网络的像素位移向量的微表情识别方法 Download PDFInfo
- Publication number
- CN114005157A CN114005157A CN202111204917.XA CN202111204917A CN114005157A CN 114005157 A CN114005157 A CN 114005157A CN 202111204917 A CN202111204917 A CN 202111204917A CN 114005157 A CN114005157 A CN 114005157A
- Authority
- CN
- China
- Prior art keywords
- displacement vector
- maximum frame
- pixel displacement
- frame image
- micro
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000006073 displacement reaction Methods 0.000 title claims abstract description 125
- 239000013598 vector Substances 0.000 title claims abstract description 76
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000013527 convolutional neural network Methods 0.000 title claims description 12
- 230000014509 gene expression Effects 0.000 claims abstract description 31
- 238000010586 diagram Methods 0.000 claims abstract description 20
- 238000012549 training Methods 0.000 claims abstract description 14
- 230000006870 function Effects 0.000 claims abstract description 13
- 230000008569 process Effects 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 12
- 238000005070 sampling Methods 0.000 claims abstract description 11
- 238000010606 normalization Methods 0.000 claims abstract description 10
- 238000013528 artificial neural network Methods 0.000 claims abstract description 4
- 238000012360 testing method Methods 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000002679 ablation Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000007430 reference method Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于卷积神经网络的像素位移向量的微表情识别方法，建立基于像素位移生成模块的端到端的的微表情识别网络，基于微表情识别网络的处理流程：选取最大帧，包括在训练过程中随机选取原最大帧前后某一帧作为最大帧图像；将所选最大帧图像与起始帧图像一同输入像素位移生成模块，输出两幅图像间的像素位移向量特征图；计算相关损失函数，包括先对生成的位移向量特征图进行采样得到位移特征图，再采样生成近似最大帧图像，计算重建损失和正则损失；归一化操作，包括对生成的像素位移向量特征图进行归一化；进行特征学习和微表情分类，包括将最大帧图像与归一化后的像素位移向量特征图相连接后一起输入分类网络，得到分类预测结果。
Description
技术领域
本发明属于微表情识别技术领域，涉及一种基于动态特征表示的微表情识别技术。
背景技术
目前，用于微表情识别的主流深度学习方法分为两大类：
第一大类是将图像序列中的各帧依次进行特征提取并输入时间序列神经网络，同时学习空间分布和时间变化特征。如近年提出的ELRCN网络(文献1)，其实验结果表明时间和空间特征在微表情识别中发挥着不同的作用，而好的识别效果依赖于二者的有效结合。
第二大类将整个表情序列的变化特征提取为一张特征图，直接输入分类网络进行预测，通常利用微表情片段的起始帧和最大帧之间的变化差异特征进行分类。特征提取方法在不断改善，早期普遍使用LBP-TOP(文献2)提取微表情的时空变化特征，并用作该领域的基准方法。基于该方法，一系列LBP变种也逐一被提出，以改善提取特征的质量和鲁棒性。后来逐步被Optical flow(文献3)所取代，Optical flow估算两帧之间物***置的改变，表征图像像素移动的方向和大小，可以较为鲁棒地提取帧间物体运动信息。Bi-WOOF(文献4)则在Optical flow的基础上又计算了Optical strain作为补充。除此之外，提取微表情片段变化特征的方法还有用于动作识别领域的Dynamic imaging(文献5)方法，把一个图片序列压缩为一张RGB图像，其中包含着整个图像序列的空间特征和时间动态特征。
但是目前表情序列的变化特征提取都是在训练的预处理过程中实现，局限于各自的处理过程，没有与用于分类的深度学习网络相融合，不能根据分类效果的反馈调节其生成的动态特征，缺乏足够的灵活性和适应性。
相关文献：
【文献1】H.Khor,J.See,R.C.Phan,W.Lin,“Enriched Long-term RecurrentConvolutional Network for Facial Micro-Expression Recognition,”Proceedings ofthe 2018International Conference on Automatic Face&Gesture Recognition(FG),2018,pp.667–674.
【文献2】G.Zhao,M.Pietikainen,“Dynamic Texture Recognition Using LocalBinary Patterns with an Application to Facial Expressions,”Pattern Analysisand Machine Intelligence,IEEE Transactions,2009,pp.915–928.
【文献3】D.Fleet,Y.Weiss,“Optical Flow Estimation,”Springer US,2006.
【文献4】Liong ST,See J,Wong K,Phan RC,“Less is more:Micro-expressionrecognition from video using apex frame,”Signal Processing:ImageCommunication,2018,pp.62:82–92.
【文献5】H.Bilen,B.Fernando,E.Gavves,A.Vedaldiand S.Gould,“Dynamicimage networks for action recognition,”In Proc.IEEEInt.Conf.Comput.Vis.Pattern Recognit,2016,pp.3034–3042.
发明内容
针对现有微表情识别方法存在的上述不足，本发明以深度学习为基础，提出一种基于像素位移生成模块的端到端的微表情识别网络，给位移特征提取和表情识别分类的模块更多可以根据数据自动调节的空间，以增加模型的整体契合度。
本发明的技术方案为一种基于卷积神经网络的像素位移向量的微表情识别方法，建立基于像素位移生成模块的端到端的的微表情识别网络，基于微表情识别网络的处理流程包括以下步骤，
选取最大帧，包括在训练过程中随机选取原最大帧前后某一帧作为最大帧图像；
生成像素位移向量特征图，包括将所选最大帧图像与起始帧图像一同输入像素位移生成模块，经过各卷积层的学习和特征融合，输出两幅图像间的像素位移向量特征图；
计算相关损失函数，包括先对生成的位移向量特征图进行双线性插值上采样得到与最大帧相同大小的位移特征图，再根据位移特征图对原起始帧图像进行采样生成近似最大帧图像，根据所生成的近似最大帧图像和原所选最大帧图像，计算重建损失和正则损失；
归一化操作，包括对生成的像素位移向量特征图进行归一化；
进行特征学习和微表情分类，包括将之前选取的最大帧图像与归一化后的像素位移向量特征图相连接后一起输入分类网络，得到分类预测结果。
而且，在训练过程中，最大帧的选取经过一个随机化过程实现，随机选取原最大帧前后一定范围内的某一帧，增加实际用于训练的图像对；若在验证或测试阶段，则直接采用原最大帧图像；
而且，生成的像素位移向量特征在被输入分类网络之前进行归一化操作，将各位移向量特征图分别除以其绝对值的前若干个值的平均值。
而且，对于生成的像素位移向量特征图，其损失函数包括原最大帧与根据起始帧和位移向量重建的最大帧之间的重建损失，以及对位移向量特征图本身计算的L1正则损失。
而且，所选的最大帧图像与生成的像素位移向量特征图一起输入分类网络进行学习，得到分类预测结果后，根据需要计算分类损失以相关评价指标。
与现有技术相比，本发明具有以下优点和积极效果：
(1)本发明提出的像素位移生成模块可与分类网络相结合，进行端到端的统一训练，分类损失可以反向传播到像素位移生成模块中，使其根据分类效果自动调节参数，生成更易于分类的位移特征，同时整体模型也有更高的契合度。
(2)本发明提出的随机选取最大帧操作可以增加实际用于训练的图像对，增强网络鲁棒性以及对细微变化的敏感度，提高位移特征的生成和分类效果。
(3)本发明提出的归一化操作相当于缩小较大幅度的表情位移，同时放大较小幅度的表情位移，起到自适应表情幅度调节作用，减小不同图像对之间的幅度差异对分类网络的影响，也使分类网络更易于学习。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步解释，示意图及其说明并不构成对本申请的不当限定。
图1是本发明实施例的基于像素位移生成模块的端到端的微表情识别网络的整体结构示意图；
图2是本发明实施例的像素位移生成模块的结构示意图；
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。需要理解的是，此处所描述的具体实施方式仅仅用于说明或解释本发明，不用于限制本发明。
本发明公开了一种全卷积的像素位移生成模块(DGM)，用于生成两帧之间的像素位移向量特征图(displacement)代替传统的Optical Flow或Dynamic Imaging方法生成的动态特征。该模块与现有的LEARNet分类网络相结合，组成一个端到端的微表情识别模型。我们还公开了一种对于最大帧的随机化操作，以增加训练样本对，提高网络对细微表情变化的敏感度。本发明直接以表情序列中的起始帧和用随机化操作选取的最大帧作为输入，用像素位移生成模块生成像素位移向量特征图，对其进行归一化处理后与最大帧图像相连接，一起输入LEARNet分类网络进行学习和预测。该模型可以将分类损失的梯度反向传播至DGM，使其根据分类结果调节参数，生成更易于分类的位移特征。
如图1所示，本发明实施例提供一种基于像素位移生成模块的端到端的微表情识别方法，基于本发明提供的一种基于像素位移生成模块的端到端的的微表情识别网络实现，所述微表情识别网络包括用于生成像素位移向量特征和用于学习分类的两部分神经网络，所述的网络模型进行端到端的训练，微表情的动态特征由卷积模块DGM(即如图2所示像素位移生成模块Displacement Generating Module)生成的起始帧和最大帧之间的像素位移向量表征。
实施例中，基于微表情识别网络的主要流程如下：
(1)选取最大帧：在训练过程中，最大帧的选取需经过一个随机化过程，随机选取原最大帧前后一定范围内的某一帧作为最大帧图像，增加实际用于训练的图像对。若在验证或测试阶段，则直接采用原最大帧图像。
令起始帧索引为i，最大帧索引为j，图像序列中最后一帧的索引为Ilast，则随机化选取的帧索引Iselect由下式计算：
Iselect＝random[MAX(i+1,round(j-(j-i)*0.2)),MIN(round(j+(j-i)*0.2),Imax)]
其中，MAX表示选取二者中的较大值，MIN表示选取二者中的较小值，以保证所选取的最大帧在起始帧之后，而不超过序列的最后一帧。random()则表示随机选取区间内的任意一个整数。
(2)生成像素位移向量特征图：所选最大帧图像与起始帧图像一同输入像素位移生成模块，经过各卷积层的学习和特征融合，输出两幅图像间的像素位移向量特征图。
(3)计算相关损失函数：先对生成的位移向量特征图进行双线性插值上采样得到与最大帧相同大小的位移特征图，再根据它对原起始帧图像进行采样生成近似最大帧图像。其中，若位移向量的值不是整数，则采用双线性插值计算对应点的像素值。然后根据所生成的近似最大帧图像和原所选最大帧图像，计算Lrec重建损失和L1正则损失。
(4)归一化操作：对生成的像素位移向量特征图进行归一化。设网络生成的位移特征图为If，M(I,n)函数表示取图像I的前n大数的平均值，归一化处理后的图像In可由下式得到：
其中与0.0001的比较是为了避免除零错误。
(5)进行特征学习和微表情分类：将之前选取的最大帧图像与归一化后的像素位移向量特征图相连接(concat)后一起输入分类网络，得到分类预测结果(在本发明中将微表情划分为negative，positive，surprise三类)，根据需要计算分类损失Softmax Loss以及UF1、UAR等评价指标。
可认为本发明提供了一种基于像素位移生成模块的端到端的微表情识别模型，包括位移向量特征生成模块、随机化处理模块、归一化处理模块和分类网络模块。其中：
所述的位移向量特征生成模块以表情序列中的起始帧和用随机化操作选取的最大帧作为输入，通过像素位移生成模块提供的卷积神经网络生成两帧之间的像素位移向量特征图(displacements)代替用传统的Optical flow或Dynamic imaging方法生成的动态图像。像素位移向量特征表示最大帧图像在起始帧图像的基础上每个像素的位移量，取值范围位于(-1,1)之间，为了使网络更专注于每个像素点周围的特征，将生成的像素位移向量特征图乘以缩放因子α∈(0,1)，限制其范围至(-α,α)之间。相关损失函数包括：原最大帧与根据起始帧和位移向量重建的最大帧之间的重建损失；对位移向量特征图本身计算的L1正则损失。
所述的随机化处理模块中，由于数据集之间以及数据集中的不同图像序列有不同的表情幅度，为了让生成位移向量特征图像的网络更具鲁棒性，加载数据时随机选取原最大帧前后一定范围内的某一帧作为最大帧。
所述的归一化处理模块中，为了将不同幅度大小的像素位移向量特征图归一化，本发明将各位移向量特征图分别除以其绝对值的前n大值的平均值。取平均值而不是最大值是为了减小可能出现的较大噪声点的干扰。
所述的分类网络可以选择不同的现有网络结构，此前所得到的像素位移向量特征图经归一化处理后与选取的最大帧图像一起输入分类网络进行学习和预测，使其同时保有时间维度和空间维度的特征。本发明实施例中选取LEARNet(Verma Monu,VipparthiSantosh Kumar,Singh Girdhari,Murala Subrahmanyam,“LEARNet:Dynamic ImagingNetwork for Micro Expression Recognition,”IEEE Transactions on ImageProcessing,2019,pp.99.)作为分类网络，相比于经典的ResNet和VGG结构，该网络可以保留更多细节，更好地学习和区分不同表情类别的特征。
如图2所示，本发明提供像素位移生成模块的结构示意图，其中依次设置Conv,Conv1,Conv2,Conv3,Conv4,Up,Conv5,Conv6，且UP的输出与Conv1层的输出相连接(Concat)作为Conv5的输入。因此该模块包括两次下采样(由stride为2的Conv1和Conv3层实现)和一次上采样(由Up层实现)，各卷积层的具体参数配置如下表所示。其中各卷积层Conv,Conv1,Conv2,Conv3,Conv4,Conv5层后面都接着BN层(批量归一化层)和Leaky_relu激活函数层，而最后的Conv6层后面接的则是BN层和Tanh激活函数层。Up层表示使用双线性插值的上采样层，其输出与Conv1层的输出相连接作为下一层的输入。
对于宽高分别为w、h的输入图像，最终输出通道数为2，宽高为w/2、h/2的像素位移向量特征图用于分类。其中第一个通道代表X方向的位移，第二个通道代表Y方向的位移。同时对生成的像素位移向量特征图进行双线性插值上采样，得到宽高为w、h的位移特征图用于损失函数的计算。其中，先根据上采样后的位移特征图对起始帧图像进行网格采样，生成近似最大帧图像，然后对近似最大帧和原选取的最大帧计算Lrec损失，同时对位移特征图计算L1正则损失。相关损失函数设置如下：
(1)将原起始帧图像记作Is，所选最大帧图像记作It，而T(Is)表示根据位移特征图对起始帧进行采样得到的近似最大帧图像，则Lrec重建损失由下式计算得到：
Lrec＝||T(Is)-It||1
(2)为了使生成的位移特征更加精简，令Txy表示(x,y)处的像素位移向量，对像素位移向量特征图计算如下式所示的L1正则损失：
(3)微表情的分类损失使用经典的Cross Entropy交叉熵损失，记为Lc,则网络的总体损失计算L如下：
L＝w1×Lc+w2×Lrec+w3×L1
其中w1,w2和w3分别为Lc,Lrec和L1损失函数的权重。可以分别对三个损失函数进行梯度反向传播至位移生成模块，根据其量级的差异选取权重系数，由于该模块以重建损失Lrec为主要损失，因此设置权重使其梯度比Lc和L1有更高的量级。实施例优选取实验值w1＝0.0001,w2＝1000,w3＝1。
像素位移值使用相对于图像宽高的百分比表示，设Txy＝(Δx,Δy)为(x,y)处的像素位移向量，则它表示原起始帧的(x,y)处的像素移动到了近似最大帧图像的(x+w×Δx,y+h×Δy)处。网络输出[-1，1]范围内的位移特征图，为了使网络更专注于像素周围的位移特征，将其乘以缩放因子α∈(0,1]得到最终的[-α,α]范围内的像素位移向量特征图，即限制其实际X方向位移分量大小在[-w×α,w×α]之间，Y方向位移分量大小在[-h×α,h×α]之间。若位移向量的值不是整数，则采用双线性插值计算对应点的像素值。
为便于理解本发明的技术效果起见，以下附实验结果：
表1.对专利所提出的网络的消融实验结果
表2.使用传统动态特征提取方法的网络和专利所提出网络的UF1和UAR结果对比
具体实施时，本发明技术方案提出的方法可由本领域技术人员采用计算机软件技术实现自动运行流程，实现方法的***装置例如存储本发明技术方案相应计算机程序的计算机可读存储介质以及包括运行相应计算机程序的计算机设备，也应当在本发明的保护范围内。
在一些可能的实施例中，提供一种基于卷积神经网络的像素位移向量的微表情识别***，包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如上所述的一种基于卷积神经网络的像素位移向量的微表情识别方法。
在一些可能的实施例中，提供一种基于卷积神经网络的像素位移向量的微表情识别***，包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如上所述的一种基于卷积神经网络的像素位移向量的微表情识别方法。
应当理解的是，本说明书未详细阐述的部分均属于现有技术。
应当理解的是，上述针对当前流行框架实施示例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，做出的替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。
Claims (5)
1.一种基于卷积神经网络的像素位移向量的微表情识别方法，其特征在于：建立基于像素位移生成模块的端到端的的微表情识别网络，基于微表情识别网络的处理流程包括以下步骤，选取最大帧，包括在训练过程中随机选取原最大帧前后某一帧作为最大帧图像；
生成像素位移向量特征图，包括将所选最大帧图像与起始帧图像一同输入像素位移生成模块，经过各卷积层的学习和特征融合，输出两幅图像间的像素位移向量特征图；
计算相关损失函数，包括先对生成的位移向量特征图进行双线性插值上采样得到与最大帧相同大小的位移特征图，再根据位移特征图对原起始帧图像进行采样生成近似最大帧图像，根据所生成的近似最大帧图像和原所选最大帧图像，计算重建损失和正则损失；
归一化操作，包括对生成的像素位移向量特征图进行归一化；
进行特征学习和微表情分类，包括将之前选取的最大帧图像与归一化后的像素位移向量特征图相连接后一起输入分类网络，得到分类预测结果。
2.根据权利要求1所述基于卷积神经网络的像素位移向量的微表情识别方法，其特征在于：在训练过程中，最大帧的选取经过一个随机化过程实现，随机选取原最大帧前后一定范围内的某一帧，增加实际用于训练的图像对；若在验证或测试阶段，则直接采用原最大帧图像。
3.根据权利要求1所述基于卷积神经网络的像素位移向量的微表情识别方法，其特征在于：生成的像素位移向量特征在被输入分类网络之前进行归一化操作，将各位移向量特征图分别除以其绝对值的前若干个值的平均值。
4.根据权利要求1所述基于卷积神经网络的像素位移向量的微表情识别方法，其特征在于：对于生成的像素位移向量特征图，其损失函数包括原最大帧与根据起始帧和位移向量重建的最大帧之间的重建损失，以及对位移向量特征图本身计算的L1正则损失。
5.根据权利要求1或2或3或4所述基于卷积神经网络的像素位移向量的微表情识别方法，其特征在于：所选的最大帧图像与生成的像素位移向量特征图一起输入分类网络进行学习，得到分类预测结果后，根据需要计算分类损失以相关评价指标。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111204917.XA CN114005157B (zh) | 2021-10-15 | 2021-10-15 | 一种基于卷积神经网络的像素位移向量的微表情识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111204917.XA CN114005157B (zh) | 2021-10-15 | 2021-10-15 | 一种基于卷积神经网络的像素位移向量的微表情识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114005157A true CN114005157A (zh) | 2022-02-01 |
| CN114005157B CN114005157B (zh) | 2024-05-10 |
Family
ID=79923097
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111204917.XA Active CN114005157B (zh) | 2021-10-15 | 2021-10-15 | 一种基于卷积神经网络的像素位移向量的微表情识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114005157B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114627218A (zh) * | 2022-05-16 | 2022-06-14 | 成都市谛视无限科技有限公司 | 一种基于虚拟引擎的人脸细微表情捕捉方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020037965A1 (zh) * | 2018-08-21 | 2020-02-27 | 北京大学深圳研究生院 | 一种用于视频预测的多运动流深度卷积网络模型方法 |
| CN112183419A (zh) * | 2020-10-09 | 2021-01-05 | 福州大学 | 一种基于光流生成网络和重排序的微表情分类方法 |
| CN112766159A (zh) * | 2021-01-20 | 2021-05-07 | 重庆邮电大学 | 一种基于多特征融合的跨数据库微表情识别方法 |
| CN112800891A (zh) * | 2021-01-18 | 2021-05-14 | 南京邮电大学 | 一种用于微表情识别的鉴别性特征学习方法与*** |
-
2021
- 2021-10-15 CN CN202111204917.XA patent/CN114005157B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020037965A1 (zh) * | 2018-08-21 | 2020-02-27 | 北京大学深圳研究生院 | 一种用于视频预测的多运动流深度卷积网络模型方法 |
| CN112183419A (zh) * | 2020-10-09 | 2021-01-05 | 福州大学 | 一种基于光流生成网络和重排序的微表情分类方法 |
| CN112800891A (zh) * | 2021-01-18 | 2021-05-14 | 南京邮电大学 | 一种用于微表情识别的鉴别性特征学习方法与*** |
| CN112766159A (zh) * | 2021-01-20 | 2021-05-07 | 重庆邮电大学 | 一种基于多特征融合的跨数据库微表情识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 吴进;闵育;马思敏;张伟华;: "一种基于CNN与LSTM结合的微表情识别算法", 电讯技术, no. 01, 28 January 2020 (2020-01-28) * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114627218A (zh) * | 2022-05-16 | 2022-06-14 | 成都市谛视无限科技有限公司 | 一种基于虚拟引擎的人脸细微表情捕捉方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114005157B (zh) | 2024-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111639692B (zh) | 一种基于注意力机制的阴影检测方法 | |
| CN112052886B (zh) | 基于卷积神经网络的人体动作姿态智能估计方法及装置 | |
| CN111062872B (zh) | 一种基于边缘检测的图像超分辨率重建方法及*** | |
| CN107977932B (zh) | 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法 | |
| CN110110624B (zh) | 一种基于DenseNet网络与帧差法特征输入的人体行为识别方法 | |
| CN108648197B (zh) | 一种基于图像背景掩膜的目标候选区域提取方法 | |
| US20230080693A1 (en) | Image processing method, electronic device and readable storage medium | |
| CN112507617B (zh) | 一种SRFlow超分辨率模型的训练方法及人脸识别方法 | |
| CN110136062B (zh) | 一种联合语义分割的超分辨率重建方法 | |
| CN113688723A (zh) | 一种基于改进YOLOv5的红外图像行人目标检测方法 | |
| CN113283444B (zh) | 一种基于生成对抗网络的异源图像迁移方法 | |
| CN110097028B (zh) | 基于三维金字塔图像生成网络的人群异常事件检测方法 | |
| CN113658057B (zh) | 一种Swin Transformer微光图像增强方法 | |
| CN107123091A (zh) | 一种基于深度学习的近红外人脸图像超分辨率重建方法 | |
| CN111476178A (zh) | 一种基于2d-3d cnn的微表情识别方法 | |
| CN114898284B (zh) | 一种基于特征金字塔局部差异注意力机制的人群计数方法 | |
| CN113763417B (zh) | 一种基于孪生网络和残差结构的目标跟踪方法 | |
| CN114897728A (zh) | 图像增强方法、装置、终端设备以及存储介质 | |
| CN114022506A (zh) | 一种边缘先验融合多头注意力机制的图像修复方法 | |
| CN114463176B (zh) | 基于改进esrgan的图像超分辨重建方法 | |
| CN116664435A (zh) | 一种基于多尺度人脸解析图融入的人脸复原方法 | |
| CN115359534A (zh) | 基于多特征融合和双流网络的微表情识别方法 | |
| Kan et al. | A GAN-based input-size flexibility model for single image dehazing | |
| CN114005157B (zh) | 一种基于卷积神经网络的像素位移向量的微表情识别方法 | |
| CN113379606A (zh) | 一种基于预训练生成模型的人脸超分辨方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |