CN110287805B - 基于三流卷积神经网络的微表情识别方法及*** - Google Patents
基于三流卷积神经网络的微表情识别方法及*** Download PDFInfo
- Publication number
- CN110287805B CN110287805B CN201910468036.5A CN201910468036A CN110287805B CN 110287805 B CN110287805 B CN 110287805B CN 201910468036 A CN201910468036 A CN 201910468036A CN 110287805 B CN110287805 B CN 110287805B
- Authority
- CN
- China
- Prior art keywords
- image
- neural network
- micro
- stream
- convolutional neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于三流卷积神经网络的微表情识别方法及***,所述方法包括:(1)获取若干微表***,转化为若干微表情图像序列样本;(2)从所述图像序列样本中提取出单通道人脸灰度图像,作为静态空间特征;(3)对所述单通道人脸灰度图像进行分块和堆叠,得到多通道灰度图像,作为局部空间特征;(4)对于所述图像序列样本,计算由水平/垂直光流场堆叠而成的四通道灰度图像,作为动态时间特征;(5)建立由静态空间流、堆叠空间流、动态时间流三路卷积网络合并而成的三流卷积神经网络,将每路对应特征作为输入,对三流卷积神经网络进行训练;(6)将待识别的微表***输入训练好的三流卷积神经网络,得到识别出的微表情。本发明识别率更高。
Description
技术领域
本发明涉及图像处理技术,尤其涉及一种基于三流卷积神经网络的微表情识别方法及***。
背景技术
微表情(Micro-Expression)是人类试图隐藏或者抑制内心真实情绪时产生的非常短暂且无法自主控制的面部表情。微表情是人类隐藏情绪的重要非语言信号,通常能够有效地揭示一个人的真实心理状态,被认为是识别谎言和危险的关键线索,对理解人类欺骗行为有着重要作用。正因如此,微表情可以有效地应用在情绪识别任务上,例如,在刑侦方面,经过一定微表情识别能力训练的审讯员对于谎言的识别能力将得到提升,从而有效地发现犯罪嫌疑人试图隐藏的内容以降低审讯难度;在社会安全方面中,通过观察微表情判断潜伏在日常生活中的危险分子,检测异常行为,预防暴恐的发生;在临床医疗方面,医生可以通过微表情了解患者的真实想法,从而更加有效地与患者沟通,更加准确地分析病情、改进治疗方案。
与宏观表情相比,微表情持续非常短,研究表明微表情仅持续1/25~1/3s。与此同时微表情面部肌肉动作幅度也非常小,通常只发生在人脸中很小的一部分区域,不会同时出现在上半脸和下半脸。因此对于没有经过专业训练的普通人,捕捉并正确识别微表情有着相当的难度。为此,Ekman等人开发出微表情训练工具(Micro-Expression TrainingTool,METT)以帮助人类更高效地理解和识别微表情。但尽管如此,依靠人力进行微表情识别的准确率并不高,根据有关文献报道仅能达到40%以上,这远远不及微表情在上述领域应用的基本要求。另外,人工识别微表情的培训成本较高,难以进行大规模推广。因此,利用计算机程序和人工智能算法进行微表情识别的需求越来越大,成为近年来的模式识别、计算机视觉、情感计算等领域的主要研究趋势。
微表情分类(或统称微表情识别)指将给定的微表情样本识别为某一具体的情绪类别,是微表情自动识别技术的核心内容,相关研究主要基于传统机器学***均光流特征(Main Directional Mean Optical flow feature,MDMO)等等。
随着深度学习的飞速发展,研究人员也在着手将其应用于微表情识别工作。Kim等人提出了一个基于卷积神经网络(Convolutional Neural Network,CNN)和长短时记忆循环神经网络(Long Short Term Memory Recurrent Neural Network,LSTM RNN)的空时特征学习网络,该方法使用所有微表***样本的峰值帧训练CNN学习空间特征,而后使用CNN的输出作为特征训练LSTM网络学习时间特征,这是深度学习在微表情识别工作上的首次尝试。当前绝大部分有关微表情识别的研究仅可以取得60%以上的识别率,距离实际应用仍有一段距离;此外随着微表情数据集的扩充,基于深度学习的方法将是微表情识别在未来的主要研究方向之一,但目前相关研究较少,整体进展也较为缓慢。
发明内容
发明目的:本发明针对现有技术存在的问题,提供一种基于三流卷积神经网络的微表情识别方法及***,识别率更高。
技术方案:本发明所述的基于三流卷积神经网络的微表情识别方法包括:
(1)获取若干微表***,转化为若干微表情图像序列样本;
(2)从所述图像序列样本中提取出单通道人脸灰度图像,作为静态空间特征;
(3)对所述单通道人脸灰度图像进行分块和堆叠,得到多通道灰度图像,作为局部空间特征;
(4)对于所述图像序列样本,计算由水平/垂直光流场堆叠而成的四通道灰度图像,作为动态时间特征;
(5)建立由静态空间流、局部空间流、动态时间流三路卷积网络合并而成的三流卷积神经网络,将每路对应特征作为输入,对三流卷积神经网络进行训练;
(6)将待识别的微表***输入训练好的三流卷积神经网络,得到识别出的微表情。
本发明所述的基于三流卷积神经网络的微表情识别系包括:
样本获取模块,用于获取若干微表***,转化为若干微表情图像序列样本;
静态空间特征提取模块,用于从所述图像序列样本中提取出单通道人脸灰度图像,作为静态空间特征;
局部空间特征特征提取模块,用于对所述单通道人脸灰度图像进行分块和堆叠,得到多通道灰度图像,作为局部空间特征;
动态时间特征提取模块,用于对于所述图像序列样本,计算由水平/垂直光流场堆叠而成的四通道灰度图像,作为动态时间特征;
三流卷积网络训练模块,用于建立由静态空间流、局部空间流、动态时间流三路卷积网络合并而成的三流卷积神经网络,将每路对应特征作为输入,对三流卷积神经网络进行训练;
微表情识别模块,用于将待识别的微表***输入训练好的三流卷积神经网络,得到识别出的微表情。
有益效果:本发明与现有技术相比,其显著优点是:本发明识别效果更高、识别率更高。
附图说明
图1是本发明提供的基于三流卷积神经网络的微表情识别方法的一个实施例的流程示意图;
图2是光流场计算实例图;
图3是三流卷积神经网络的详细结构图;
图4是不同网络结构在CASME-II数据集下的实验结果对比;
图5是不同网络结构在SAMM数据集下的实验结果对比;
图6是本发明在CASME-II数据集下的归一化混淆矩阵;
图7是本发明在SAMM数据集下的归一化混淆矩阵。
具体实施方式
本实施例提供了一种基于三流卷积神经网络的微表情识别方法,如图1所示,该方法包括:
(1)获取若干微表***,转化为若干微表情图像序列样本。
(2)从所述图像序列样本中提取出单通道人脸灰度图像,作为静态空间特征。
该步骤具体包括:(2-1)将所述图像序列样本进行灰度化处理;(2-2)从灰度化处理后的图像序列样本中提取出微表情峰值帧;(2-3)对微表情峰值帧进行人脸检测,裁剪出矩形人脸图像并进行缩放,将缩放后的矩形人脸图像作为当前样本的静态空间特征。
本实施例中,人脸检测采用OpenCV自带的Viola-Jones级联检测器,该检测器可以对正面人脸进行有效的检测并具有较高的检测速度,缩放后的尺寸设为48×48像素,作为当前样本的静态空间特征,静态空间特征最为直观地展示了发生微表情的面部的形状外观。
(3)对所述单通道人脸灰度图像进行分块和堆叠,得到多通道灰度图像,作为局部空间特征。
该步骤具体包括:(3-1)将所述单通道人脸灰度图像放大n倍,n为大于1小于20的正整数;(3-2)将放大后的人脸灰度图像平均分为n×n个大小相同的矩形区域;(3-3)将矩形区域堆叠在一起,形成n2通道的灰度图像,作为局部空间特征。
本实施例中设n=3,人脸图像放大就得到48×3×48×3像素大小,进而将其分割成3×3个大小相同的48×48像素的局部人脸灰度图像,最后将这3×3个图像在第三维上堆叠而成48×48像素大小9通道的灰度图像,即为需要的局部空间特征,其更为细致地描述了人脸图像的局部信息,对微表情识别效果的提升有所帮助。
(4)对于所述图像序列样本,计算由水平/垂直光流场堆叠而成的四通道灰度图像,作为动态时间特征。
该步骤具体包括:(4-1)获取所述图像序列样本的起始帧、峰值帧与终止帧;(4-2)分别计算起始帧与峰值帧之间的水平光流场和垂直光流场,以及峰值帧与终止帧之间的水平光流场和垂直光流场;(4-3)对计算得到的四个流场分别进行人脸检测,裁剪出矩形人脸区域并缩放为与所述单通道人脸灰度图像相同尺寸;(4-4)将四个缩放后的人脸区域分别采取min-max归一化处理,得到四个灰度图像,所述min-max归一化处理具体为:
式中,Horg表示归一化前的人脸区域,Hnorm表示归一化后的灰度图像;(4-5)将四个灰度图像进行堆叠,得到四通道灰度图像,作为动态时间特征。
本实施例中,光流的计算采用开源光流估算器bob.ip.liu.optflow,对于输入的两幅图像可以计算出相同尺寸的两组光流矩阵分别是水平光流场和垂直光流场。通过归一化处理使得光流矩阵的所有元素均落在[0,1]区间内,能够作为灰度图像进行显示。光流场计算实例如图2所示,通过光流计算可以直观地观察到样本发生的皱眉动作在二维平面上的投影。对于一段微表***可以获得四幅光流图像,进行堆叠操作最终得到48×48像素的四通道图像,即为需要的动态时间特征,其有效地描述了微表情由发生到峰值再由峰值至结束这两个动态过程在二维平面上的投影,从而使得卷积网络能够获取时序动态信息,可以有效地改善最终识别结果。
(5)建立由静态空间流、局部空间流、动态时间流三路卷积网络合并而成的三流卷积神经网络,将每路对应特征作为输入,对三流卷积神经网络进行训练。
该步骤具体包括:
(5-1)建立由静态空间流、局部空间流、动态时间流三路卷积网络合并而成的三流卷积神经网络,其中,如图3所示,所述三路卷积网络除输入层数不同外其余结构全部相同,即分别包含五个卷积层、一个最大值池化层、两个平均值池化层和一个全连接层,三路卷积网络最后都连接至一个包含五个神经元的总全连接层,所有卷积层和全连接层均采用参数化线性修正单元(Parametric Rectified.Linear Unit,PReLU)作为激活函数,所有全连接层均采用随机失活(Dropout)防止过拟合。激活函数具体为:
式中i表示不同的通道,yi表示激活函数的输入,参数ai通过训练得到,在更新时采用带动量的方式,如下所示:
式中,Δai表示参数ai的增长量,μ表示动量,ε表示学习率,η表示损失;
采用的损失函数为交叉熵损失函数:
式中,Rj为实际概率分布,zj、θj分别表示第j个输出神经元及其权重;
(5-2)将每路神经网络的对应特征作为输入,对三流卷积神经网络进行训练,训练时采用带有校正因子动量Nesterov Momentum的随机梯度下降算法,计算损失函数从而不断更新权值,Nesterov Momentum通过模拟物理中动量的概念,抑制梯度方向的震荡,加快收敛速度,若历史梯度与当前梯度方向一致,Momentum项增大,否则减少;而Nesterov项在梯度更新时加入校正,迭代过程如下:
θ=θ-vt
本实施例训练神经网络时,网络参数设置如下:所有卷积层的局部感受野大小均为5×5,步长为1,并在卷积后采用边缘补零策略保持特征映射大小不变。对于前三个卷积层,设置64个卷积核;对于后两个卷积层,设置128个卷积核。网络第一个最大值池化层池化第一个卷积层,第二第三个平均值池化层池化之前的两个卷积层,最大值池化层窗口大小为5×5,平均值池化层为3×3,步长均为2。每一次池化均使特征映射的大小减小到原来的一半。η学习率实验中设置为10-3,权值衰减设置为10-5,校正因子为0.9。
为加快训练速度,本实施例在大型人脸表情识别数据集FER2013上预训练静态空间流,并将保存的权重用做初始化,而局部空间流与动态时间流则采用随机初始化。训练采用早停(Early Stop)策略,最大周期设置为500,当验证集损失不再下降时即终止训练,训练过程遵循留一主题交叉验证(LOSO)协议,即每次训练选取数据集中的一个被试的全部样本作为验证集,其余样本作为训练集,由此可以避免网络对某一被试的样本产生过度依赖的现象,提高识别结果的可靠度。
(6)将待识别的微表***输入训练好的三流卷积神经网络,得到识别出的微表情。
其中,在训练好神经网络后,会进行测试,测试结果如下:
为验证本发明的三流卷积网络的有效性与必要性,在CASME-II和SAMM数据集上改变了不同的网络结构进行了实验,选取识别率和mean F1-Score作为评价指标,结果如图4图5所示,可以观察到本发明的三流卷积网络在两个数据集上均取得了最好的效果,其中光流信息的加入对结果的提升起到了关键作用。为避免由于数据集中各类情绪样本数量不平衡导致的识别率无法完全客观地评价模型的问题,我们对于三流卷积网络在两个数据集上的结果计算了归一化混淆矩阵,如图6和图7所示。
本实施例还提供了一种基于三流卷积神经网络的微表情识别***,包括:
样本获取模块,用于获取若干微表***,转化为若干微表情图像序列样本;
静态空间特征提取模块,用于从所述图像序列样本中提取出单通道人脸灰度图像,作为静态空间特征;
局部空间特征特征提取模块,用于对所述单通道人脸灰度图像进行分块和堆叠,得到多通道灰度图像,作为局部空间特征;
动态时间特征提取模块,用于对于所述图像序列样本,计算由水平/垂直光流场堆叠而成的四通道灰度图像,作为动态时间特征;
三流卷积网络训练模块,用于建立由静态空间流、局部空间流、动态时间流三路卷积网络合并而成的三流卷积神经网络,将每路对应特征作为输入,对三流卷积神经网络进行训练;
微表情识别模块,用于将待识别的微表***输入训练好的三流卷积神经网络,得到识别出的微表情。
其中,所述静态空间特征提取模块具体包括:
灰度化处理单元,用于将所述图像序列样本进行灰度化处理;
峰值帧提取单元,用于从灰度化处理后的图像序列样本中提取出微表情峰值帧;
人脸检测处理单元,用于对微表情峰值帧进行人脸检测,裁剪出矩形人脸图像并进行缩放,将缩放后的矩形人脸图像作为当前样本的静态空间特征。
其中,所述局部空间特征特征提取模块具体包括:
图像放大单元,用于将所述单通道人脸灰度图像放大n倍,n为大于1小于20的正整数;
图像划分单元,用于将放大后的人脸灰度图像平均分为n×n个大小相同的矩形区域;
图像堆叠单元,用于将矩形区域堆叠在一起,形成n2通道的灰度图像,作为局部空间特征。
其中,所述动态时间特征提取模块具体包括:
帧图像提取单元,用于获取所述图像序列样本的起始帧、峰值帧与终止帧;
光流场计算单元,用于分别计算起始帧与峰值帧之间的水平光流场和垂直光流场,以及峰值帧与终止帧之间的水平光流场和垂直光流场;
人脸检测处理单元,用于对计算得到的四个流场分别进行人脸检测,裁剪出矩形人脸区域并缩放为与所述单通道人脸灰度图像相同尺寸;
归一化单元,用于将四个缩放后的人脸区域分别采取min-max归一化处理,得到四个灰度图像,所述min-max归一化处理具体为:
式中,Horg表示归一化前的人脸区域,Hnorm表示归一化后的灰度图像;
图像堆叠单元,用于将四个灰度图像进行堆叠,得到四通道灰度图像,作为动态时间特征。
其中,所述三流卷积网络训练模块具体包括:
卷积神经网络构建单元,用于建立由静态空间流、局部空间流、动态时间流三路卷积网络合并而成的三流卷积神经网络,其中,所述三路卷积网络除输入层数不同外其余结构全部相同,即分别包含五个卷积层、一个最大值池化层、两个平均值池化层和一个全连接层,三路卷积网络最后都连接至一个包含五个神经元的总全连接层,所有卷积层和全连接层均采用参数化线性修正单元PReLU作为激活函数,具体为:
式中i表示不同的通道,yi表示激活函数的输入,参数ai通过训练得到,在更新时采用带动量的方式,如下所示:
式中,Δai表示参数ai的增长量,μ表示动量,ε表示学习率,η表示损失;
采用的损失函数为交叉熵损失函数:
式中,Rj为实际概率分布,zj、θj分别表示第j个输出神经元及其权重;
卷积神经网络训练单元,用于将每路神经网络的对应特征作为输入,对三流卷积神经网络进行训练,训练时采用带有校正因子动量Nesterov Momentum的随机梯度下降算法,计算损失函数从而不断更新权值,Nesterov Momentum通过模拟物理中动量的概念,抑制梯度方向的震荡,加快收敛速度,若历史梯度与当前梯度方向一致,Momentum项增大,否则减少;而Nesterov项在梯度更新时加入校正,迭代过程如下:
θ=θ-vt
本***与上述方法一一对应,未详尽之处请参考上述方法,不再赘述。
以上所揭露的仅为本发明一种较佳实施例而已,不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。
Claims (8)
1.一种基于三流卷积神经网络的微表情识别方法,其特征在于该方法包括:
(1)获取若干微表***,转化为若干微表情图像序列样本;
(2)从所述图像序列样本中提取出单通道人脸灰度图像,作为静态空间特征;
(3)对所述单通道人脸灰度图像进行分块和堆叠,得到多通道灰度图像,作为局部空间特征;
(4)对于所述图像序列样本,计算由水平/垂直光流场堆叠而成的四通道灰度图像,作为动态时间特征;具体包括:
(4-1)获取所述图像序列样本的起始帧、峰值帧与终止帧;
(4-2)分别计算起始帧与峰值帧之间的水平光流场和垂直光流场,以及峰值帧与终止帧之间的水平光流场和垂直光流场;
(4-3)对计算得到的四个流场分别进行人脸检测,裁剪出矩形人脸区域并缩放为与所述单通道人脸灰度图像相同尺寸;
(4-4)将四个缩放后的人脸区域分别采取min-max归一化处理,得到四个灰度图像,所述min-max归一化处理具体为:
式中,Horg表示归一化前的人脸区域,Hnorm表示归一化后的灰度图像;
(4-5)将四个灰度图像进行堆叠,得到四通道灰度图像,作为动态时间特征;
(5)建立由静态空间流、局部空间流、动态时间流三路卷积网络合并而成的三流卷积神经网络,将每路对应特征作为输入,对三流卷积神经网络进行训练;
(6)将待识别的微表***输入训练好的三流卷积神经网络,得到识别出的微表情。
2.根据权利要求1所述的基于三流卷积神经网络的微表情识别方法,其特征在于:步骤(2)具体包括:
(2-1)将所述图像序列样本进行灰度化处理;
(2-2)从灰度化处理后的图像序列样本中提取出微表情峰值帧;
(2-3)对微表情峰值帧进行人脸检测,裁剪出矩形人脸图像并进行缩放,将缩放后的矩形人脸图像作为当前样本的静态空间特征。
3.根据权利要求1所述的基于三流卷积神经网络的微表情识别方法,其特征在于:步骤(3)具体包括:
(3-1)将所述单通道人脸灰度图像放大n倍,n为大于1小于5的正整数;
(3-2)将放大后的人脸灰度图像平均分为n×n个大小相同的矩形区域;
(3-3)将矩形区域堆叠在一起,形成n2通道的灰度图像,作为局部空间特征。
4.根据权利要求1所述的基于三流卷积神经网络的微表情识别方法,其特征在于:步骤(5)具体包括:
(5-1)建立由静态空间流、局部空间流、动态时间流三路卷积网络合并而成的三流卷积神经网络,其中,所述三路卷积网络除输入层数不同外其余结构全部相同,即分别包含五个卷积层、一个最大值池化层、两个平均值池化层和一个全连接层,三路卷积网络最后都连接至一个包含五个神经元的总全连接层,所有卷积层和全连接层均采用参数化线性修正单元PReLU作为激活函数,具体为:
式中i表示不同的通道,yi表示激活函数的输入,参数ai通过训练得到,在更新时采用带动量的方式,如下所示:
式中,Δai表示参数ai的增长量,μ表示动量,ε表示学习率,η表示损失;
采用的损失函数为交叉熵损失函数:
式中,Rj为实际概率分布,zj、θj分别表示第j个输出神经元及其权重;
(5-2)将每路神经网络的对应特征作为输入,对三流卷积神经网络进行训练,训练时采用带有校正因子动量Nesterov Momentum的随机梯度下降算法,计算损失函数从而不断更新权值,Nesterov Momentum通过模拟物理中动量的概念,抑制梯度方向的震荡,加快收敛速度,若历史梯度与当前梯度方向一致,Momentum项增大,否则减少;而Nesterov项在梯度更新时加入校正,迭代过程如下:
θ=θ-vt
5.一种基于三流卷积神经网络的微表情识别***,其特征在于包括:
样本获取模块,用于获取若干微表***,转化为若干微表情图像序列样本;
静态空间特征提取模块,用于从所述图像序列样本中提取出单通道人脸灰度图像,作为静态空间特征;
局部空间特征特征提取模块,用于对所述单通道人脸灰度图像进行分块和堆叠,得到多通道灰度图像,作为局部空间特征;
动态时间特征提取模块,用于对于所述图像序列样本,计算由水平/垂直光流场堆叠而成的四通道灰度图像,作为动态时间特征;具体包括:
帧图像提取单元,用于获取所述图像序列样本的起始帧、峰值帧与终止帧;
光流场计算单元,用于分别计算起始帧与峰值帧之间的水平光流场和垂直光流场,以及峰值帧与终止帧之间的水平光流场和垂直光流场;
人脸检测处理单元,用于对计算得到的四个流场分别进行人脸检测,裁剪出矩形人脸区域并缩放为与所述单通道人脸灰度图像相同尺寸;
归一化单元,用于将四个缩放后的人脸区域分别采取min-max归一化处理,得到四个灰度图像,所述min-max归一化处理具体为:
式中,Horg表示归一化前的人脸区域,Hnorm表示归一化后的灰度图像;
图像堆叠单元,用于将四个灰度图像进行堆叠,得到四通道灰度图像,作为动态时间特征;
三流卷积网络训练模块,用于建立由静态空间流、局部空间流、动态时间流三路卷积网络合并而成的三流卷积神经网络,将每路对应特征作为输入,对三流卷积神经网络进行训练;
微表情识别模块,用于将待识别的微表***输入训练好的三流卷积神经网络,得到识别出的微表情。
6.根据权利要求5所述的基于三流卷积神经网络的微表情识别***,其特征在于:所述静态空间特征提取模块具体包括:
灰度化处理单元,用于将所述图像序列样本进行灰度化处理;
峰值帧提取单元,用于从灰度化处理后的图像序列样本中提取出微表情峰值帧;
人脸检测处理单元,用于对微表情峰值帧进行人脸检测,裁剪出矩形人脸图像并进行缩放,将缩放后的矩形人脸图像作为当前样本的静态空间特征。
7.根据权利要求5所述的基于三流卷积神经网络的微表情识别***,其特征在于:所述局部空间特征特征提取模块具体包括:
图像放大单元,用于将所述单通道人脸灰度图像放大n倍,n为大于1小于5的正整数;
图像划分单元,用于将放大后的人脸灰度图像平均分为n×n个大小相同的矩形区域;
图像堆叠单元,用于将矩形区域堆叠在一起,形成n2通道的灰度图像,作为局部空间特征。
8.根据权利要求5所述的基于三流卷积神经网络的微表情识别***,其特征在于:所述三流卷积网络训练模块具体包括:
卷积神经网络构建单元,用于建立由静态空间流、局部空间流、动态时间流三路卷积网络合并而成的三流卷积神经网络,其中,所述三路卷积网络除输入层数不同外其余结构全部相同,即分别包含五个卷积层、一个最大值池化层、两个平均值池化层和一个全连接层,三路卷积网络最后都连接至一个包含五个神经元的总全连接层,所有卷积层和全连接层均采用参数化线性修正单元PReLU作为激活函数,具体为:
式中i表示不同的通道,yi表示激活函数的输入,参数ai通过训练得到,在更新时采用带动量的方式,如下所示:
式中,Δai表示参数ai的增长量,μ表示动量,ε表示学习率,η表示损失;
采用的损失函数为交叉熵损失函数:
式中,Rj为实际概率分布,zj、θj分别表示第j个输出神经元及其权重;
卷积神经网络训练单元,用于将每路神经网络的对应特征作为输入,对三流卷积神经网络进行训练,训练时采用带有校正因子动量Nesterov Momentum的随机梯度下降算法,计算损失函数从而不断更新权值,Nesterov Momentum通过模拟物理中动量的概念,抑制梯度方向的震荡,加快收敛速度,若历史梯度与当前梯度方向一致,Momentum项增大,否则减少;而Nesterov项在梯度更新时加入校正,迭代过程如下:
θ=θ-vt
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910468036.5A CN110287805B (zh) | 2019-05-31 | 2019-05-31 | 基于三流卷积神经网络的微表情识别方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910468036.5A CN110287805B (zh) | 2019-05-31 | 2019-05-31 | 基于三流卷积神经网络的微表情识别方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110287805A CN110287805A (zh) | 2019-09-27 |
CN110287805B true CN110287805B (zh) | 2021-02-09 |
Family
ID=68003009
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910468036.5A Active CN110287805B (zh) | 2019-05-31 | 2019-05-31 | 基于三流卷积神经网络的微表情识别方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110287805B (zh) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112825118B (zh) * | 2019-11-20 | 2024-05-03 | 北京眼神智能科技有限公司 | 旋转不变性人脸检测方法、装置、可读存储介质及设备 |
CN111012332A (zh) * | 2020-01-20 | 2020-04-17 | 太原理工大学 | 基于神经网络的12导联心电信号多标签分类方法 |
CN111444818A (zh) * | 2020-03-24 | 2020-07-24 | 哈尔滨工程大学 | 一种基于cnn的市场摊区违规摊位检测方法 |
JP7071037B2 (ja) * | 2020-04-28 | 2022-05-18 | ゼネラル・エレクトリック・カンパニイ | 推論装置、医用システム、およびプログラム |
CN111626179B (zh) * | 2020-05-24 | 2023-04-28 | 中国科学院心理研究所 | 一种基于光流叠加的微表情检测方法 |
CN111652159B (zh) * | 2020-06-05 | 2023-04-14 | 山东大学 | 基于多层次特征联合的微表情识别方法及*** |
CN111950373B (zh) * | 2020-07-13 | 2024-04-16 | 南京航空航天大学 | 一种基于光流输入的迁移学习用于微表情识别的方法 |
CN112288685B (zh) * | 2020-07-20 | 2024-07-12 | 深圳市智影医疗科技有限公司 | 抗酸杆菌的检测方法、装置、终端设备及可读存储介质 |
CN112200065B (zh) * | 2020-10-09 | 2022-08-09 | 福州大学 | 基于动作放大和自适应注意力区域选取的微表情分类方法 |
CN112800891B (zh) * | 2021-01-18 | 2022-08-26 | 南京邮电大学 | 一种用于微表情识别的鉴别性特征学习方法与*** |
CN113591761B (zh) * | 2021-08-09 | 2023-06-06 | 成都华栖云科技有限公司 | 一种视频镜头语言识别方法 |
CN113869276B (zh) * | 2021-10-15 | 2023-04-07 | 山东大学 | 基于微表情的谎言识别方法及*** |
CN114882553B (zh) * | 2022-04-21 | 2024-07-12 | 厦门大学 | 一种基于深度学习的微表情识别方法及*** |
CN114724009B (zh) * | 2022-04-26 | 2022-09-27 | 北京拙河科技有限公司 | 一种基于改进的深度学习网络的图像识别方法及装置 |
CN114842399B (zh) * | 2022-05-23 | 2023-07-25 | 马上消费金融股份有限公司 | 视频检测方法、视频检测模型的训练方法及装置 |
CN115761411B (zh) * | 2022-11-24 | 2023-09-01 | 北京的卢铭视科技有限公司 | 模型训练方法、活体检测方法、电子设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106447119A (zh) * | 2016-10-11 | 2017-02-22 | 济南观澜数据技术有限公司 | 一种基于卷积神经网络的短期交通流量预测方法及*** |
CN107341432A (zh) * | 2016-05-03 | 2017-11-10 | 中兴通讯股份有限公司 | 一种微表情识别的方法和装置 |
CN107909020A (zh) * | 2017-11-09 | 2018-04-13 | 东南大学 | 一种基于滤波器设计的光流向量微表情发生阶段检测方法 |
CN108304826A (zh) * | 2018-03-01 | 2018-07-20 | 河海大学 | 基于卷积神经网络的人脸表情识别方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107530016A (zh) * | 2015-04-20 | 2018-01-02 | 深圳市长桑技术有限公司 | 一种生理体征信息获取方法和*** |
US20170132785A1 (en) * | 2015-11-09 | 2017-05-11 | Xerox Corporation | Method and system for evaluating the quality of a surgical procedure from in-vivo video |
CN107368798B (zh) * | 2017-07-07 | 2019-11-29 | 四川大学 | 一种基于深度学习的人群情绪识别方法 |
CN109559278B (zh) * | 2018-11-28 | 2019-08-09 | 山东财经大学 | 基于多特征学习的超分辨图像重建方法及*** |
-
2019
- 2019-05-31 CN CN201910468036.5A patent/CN110287805B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107341432A (zh) * | 2016-05-03 | 2017-11-10 | 中兴通讯股份有限公司 | 一种微表情识别的方法和装置 |
CN106447119A (zh) * | 2016-10-11 | 2017-02-22 | 济南观澜数据技术有限公司 | 一种基于卷积神经网络的短期交通流量预测方法及*** |
CN107909020A (zh) * | 2017-11-09 | 2018-04-13 | 东南大学 | 一种基于滤波器设计的光流向量微表情发生阶段检测方法 |
CN108304826A (zh) * | 2018-03-01 | 2018-07-20 | 河海大学 | 基于卷积神经网络的人脸表情识别方法 |
Non-Patent Citations (3)
Title |
---|
Multi-Stream Convolutional Neural Networks;Darwin Ttito Concha et al.;《2018 17th IEEE International Conference on Machine Learning and Applications》;20190117;第473-480页 * |
基于多流CNN-LSTM网络的群体情绪识别;卿粼波 等;《计算机应用研究》;20181231;第3828-3831页 * |
跨层融合与多模型投票的动作识别;罗会兰,卢飞,严源;《电子与信息学报》;20190331;第649-655页 * |
Also Published As
Publication number | Publication date |
---|---|
CN110287805A (zh) | 2019-09-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110287805B (zh) | 基于三流卷积神经网络的微表情识别方法及*** | |
Yuan et al. | Fingerprint liveness detection using an improved CNN with image scale equalization | |
CN112560810B (zh) | 基于多尺度时空特征神经网络的微表情识别方法 | |
CN110532900B (zh) | 基于U-Net和LS-CNN的人脸表情识别方法 | |
CN108596039B (zh) | 一种基于3d卷积神经网络的双模态情感识别方法及*** | |
CN106919903B (zh) | 一种鲁棒的基于深度学习的连续情绪跟踪方法 | |
Boughrara et al. | Facial expression recognition based on a mlp neural network using constructive training algorithm | |
Youssif et al. | Automatic facial expression recognition system based on geometric and appearance features | |
Yan et al. | Multi-attributes gait identification by convolutional neural networks | |
CN112784763A (zh) | 基于局部与整体特征自适应融合的表情识别方法及*** | |
CN110427881B (zh) | 基于人脸局部区域特征学习的跨库微表情识别方法及装置 | |
CN111353390A (zh) | 一种基于深度学习的微表情识别方法 | |
CN106295501A (zh) | 基于唇部运动的深度学习身份识别方法 | |
CN111178130A (zh) | 一种基于深度学习的人脸识别方法、***和可读存储介质 | |
CN112149616A (zh) | 基于动态信息的人物交互行为识别方法 | |
CN111259759A (zh) | 基于域选择迁移回归的跨数据库微表情识别方法及装置 | |
Li et al. | Dynamic long short-term memory network for skeleton-based gait recognition | |
Fernando et al. | Face recognition system using deep neural network with convolutional neural networks | |
CN113128353B (zh) | 面向自然人机交互的情绪感知方法及其*** | |
Wang et al. | Single trunk multi-scale network for micro-expression recognition | |
Kumar et al. | Discriminating real from fake smile using convolution neural network | |
CN111898533B (zh) | 一种基于时空特征融合的步态分类方法 | |
CN113591797B (zh) | 一种深度视频行为识别方法 | |
CN115909438A (zh) | 基于深度时空域卷积神经网络的疼痛表情识别*** | |
Pal et al. | Face detection using artificial neural network and wavelet neural network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |