CN110287801A - 一种微表情识别算法 - Google Patents
一种微表情识别算法 Download PDFInfo
- Publication number
- CN110287801A CN110287801A CN201910456423.7A CN201910456423A CN110287801A CN 110287801 A CN110287801 A CN 110287801A CN 201910456423 A CN201910456423 A CN 201910456423A CN 110287801 A CN110287801 A CN 110287801A
- Authority
- CN
- China
- Prior art keywords
- matrix
- processing
- sequence
- micro
- feature vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000014509 gene expression Effects 0.000 title claims abstract description 111
- 238000012545 processing Methods 0.000 claims abstract description 116
- 239000013598 vector Substances 0.000 claims abstract description 90
- 230000003287 optical effect Effects 0.000 claims abstract description 61
- 230000007246 mechanism Effects 0.000 claims abstract description 53
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 40
- 238000013528 artificial neural network Methods 0.000 claims abstract description 14
- 230000000306 recurrent effect Effects 0.000 claims abstract description 10
- 239000011159 matrix material Substances 0.000 claims description 135
- 230000009471 action Effects 0.000 claims description 35
- 238000011176 pooling Methods 0.000 claims description 15
- 241000282414 Homo sapiens Species 0.000 claims description 14
- 238000000034 method Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 11
- 210000000056 organ Anatomy 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 3
- 230000000153 supplemental effect Effects 0.000 abstract 1
- 238000004364 calculation method Methods 0.000 description 12
- 230000008451 emotion Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 5
- 230000001815 facial effect Effects 0.000 description 5
- 230000008921 facial expression Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010063659 Aversion Diseases 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011840 criminal investigation Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种微表情识别算法，包括：获取微表情序列，由微表情序列计算得到光流序列，并由光流序列计算得到光应变序列；微表情序列、光流序列和光应变序列分别经卷积神经网络处理得到第一特征向量、第二特征向量和第三特征向量；将第一特征向量、第二特征向量以及第三特征向量连接后输入循环神经网络，并经过全连接层处理后得到微表情的分类权重向量；基于分类权重向量对微表情进行识别。根据本发明的微表情识别算法，将光流序列和光应变序列作为补充信息加入到识别算法中，并分别采用三条卷积神经网络对微表情序列、光流序列和光应变序列进行处理。而且在算法中融合了三种注意力机制，有效提高了微表情识别算法的精确性和可靠性。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种微表情识别算法。
背景技术
微表情是人类自发的、难以控制的一种传递情绪的方式。除了我们日常见到的普通的宏表情，在某些特定的场合中，微表情也传达着人类的各种情绪，并且简短、不易察觉、不易掩饰。人可以通过对于情感的控制来掩盖内心真实想法，但是微表情不可能通过控制来掩盖情感。因此微表情可以被参考用来判断人们内心真实想法。基于这一特点，微表情研究在智能医疗、公共安全、司法刑侦等领域有广泛的应用价值。人的脸部是传输信息的媒介，脸部的表情可以表达人类的情绪，所以面部表情在人们日常生活中扮演着非常重要测角色。
通常在日常生活中，我们所指的面部表情是“宏表情”，其容易被察觉且持续时间一般为0.5～4s之间。在表达人类感情时，“宏表情”通常能够掩饰真实情感的流露。而与“宏表情”相对的“微表情”，不容易被注意且持续时间约为1/25～1/5s。由于微表情有不受控制，持续时间短且活动幅度小的特点，所以它可以泄露性地表达了人们压抑或试图隐藏的真实情绪。
因此，积极研究人类微表情的识别问题，可以有效的提高社会对具有潜在威胁社会安全事件和人的预警能力，也可广泛地应用于司法科学、心理学等方面。
由于微表情的自发性和特定环境下的激发性，人类微表情的数据集十分有限并且很多都不具有良好的属性，这在一定程度上限制了微表情算法的效率。近几年来，随着深度学习被广泛地应用于各个领域并取得了较为显著的成果，我们希望基于深度学习的网络结构来提高微表情识别算法的效率和准确率。但是，由于深度学习的网络需要很多不同的数据集来使得深层的网络具有良好的分类和识别属性，而微表情数据库的缺乏会导致网络存在过拟合问题，从而导致微表情识别算法准确率较低。
发明内容
本发明要解决的技术问题是如何准确、可靠地识别微表情，提供一种微表情识别算法。
根据本发明实施例的微表情识别方法，包括：
获取微表情序列，由所述微表情序列计算得到光流序列，并由所述光流序列计算得到光应变序列；
所述微表情序列经卷积神经网络处理得到第一特征向量；
所述光流序列经卷积神经网络处理得到第二特征向量；
所述光应变序列经卷积神经网络处理得到第三特征向量；
将所述第一特征向量、所述第二特征向量以及所述第三特征向量连接后输入循环神经网络，并经过全连接层处理后得到微表情的分类权重向量；
基于所述分类权重向量对所述微表情进行识别。
根据本发明实施例的微表情识别算法，将基于微表情序列计算得到的光流序列和光应变序列作为补充信息加入到识别算法中，并分别采用三条卷积神经网络对微表情序列、光流序列和光应变序列进行处理。由于微表情的主要特征在于对表情运动变化的分析，在输入中加入微表情序列的光流方向和光应变信息可以有效增加可用信息的维度和深度，使得特征学习的网络结构可以分别学习到带有微表情的人脸的脸部特征和表情动作变化特征。从而有效提高了微表情识别算法的精确度和可靠性。
根据本发明的一些实施例，所述微表情序列经卷积神经网络处理得到第一特征向量，包括：
对所述微表情序列进行卷积神经网络处理过程中得到第一处理矩阵；
对所述光流序列和所述光应变序列进行动作注意力机制处理得到动作处理矩阵；
基于所述动作处理矩阵得到第一注意力矩阵；
将所述第一处理矩阵与所述第一注意力矩阵相乘得到第一特征矩阵；
所述第一特征矩阵进行池化和全连接层处理得到所述第一特征向量。
在本发明的一些实施例中，所述基于所述动作处理矩阵得到第一注意力矩阵，包括：
所述动作处理矩阵经下采样处理得到第一注意力矩阵；或者，
将所述微表情序列进行通用注意力机制处理得到通用处理矩阵，所述通用处理矩阵与所述动作处理矩阵融合后进行下采样处理得到所述第一注意力矩阵。
根据本发明的一些实施例，所述通用注意力机制处理包括：
检测人脸关键点，得到关键点序列；
对所述关键点序列进行高斯滤波处理，以提取人脸五官区域序列，并得到与所述人脸五官区域序列对应的通用处理矩阵。
在本发明的一些实施例中，所述通用处理矩阵与所述动作处理矩阵融合，具体为：
将所述通用处理矩阵与所述动作处理矩阵相加。
根据本发明的一些实施例，所述第一特征矩阵进行池化和全连接层处理得到所述第一特征向量，包括：
将所述第一处理矩阵与所述第一注意力矩阵相乘得到所述第一特征矩阵后，对所述第一特征矩阵进行通道注意力机制处理，得到通道处理矩阵；
将所述第一特征矩阵与所述通道处理矩阵相乘，并经过池化和全连接层处理得到所述第一特征向量。
在本发明的一些实施例中，对所述第一特征矩阵进行通道注意力机制处理，得到通道处理矩阵，具体包括：
将所述第一特征矩阵进行池化，得到第一通道矩阵；
所述第一通道矩阵经过全连接层处理得到第二通道矩阵；
所述第二通道矩阵经过全连接层处理得到所述通道处理矩阵。
根据本发明的一些实施例，所述卷积神经网络采用VGGNET-16网络。
在本发明的一些实施例中，所述循环神经网络采用LSTM网络。
根据本发明的一些实施例，所述微表情识别算法用于对持续时间范围在0.04s至0.2s的微表情进行分类识别。
附图说明
图1为根据本发明实施例的微表情识别算法流程图；
图2为根据本发明实施例的微表情识别算法的网络框架示意图；
图3为根据本发明实施例的通用注意力机制示意图；
图4为根据本发明实施例的通道注意力机制示意图；
图5为根据本发明实施例的动作注意力机制、通道注意力机制以及通用注意力机制的融合流程示意图；
图6为根据本发明实施例的动作注意力机制、通道注意力机制以及通用注意力机制的融合网络框架示意图；
图7为根据本发明实施例的微表情识别算法的局部流程图；
图8为根据本发明实施例的微表情识别算法的通用注意力机制流程图；
图9为根据本发明实施例的通道注意力机制流程图。
具体实施方式
为更进一步阐述本发明为达成预定目的所采取的技术手段及功效，以下结合附图及较佳实施例，对本发明进行详细说明如后。
如图1和图2所示，根据本发明实施例的微表情识别算法，包括：
S101：获取微表情序列，由微表情序列计算得到光流序列，并由光流序列计算得到光应变序列。
例如，可以通过已有的微表情数据库中获得可以用于训练和测试的微表情序列；或者，也可以通过相关技术中的其他技术手段获得微表情序列。获得微表情序列后，可以计算得到相应的光流序列，并通过光流序列计算得到相应的光应变序列。
其中，光流可以理解为画面移动过程中，图像上每个像素的x，y位移量：其中，为光流。光学应变定义为：需要说明的是，光流序列和光应变序列的计算获得过程为本领域常规技术手段，在此不再详细赘述。
S102：微表情序列经卷积神经网络处理得到第一特征向量；
需要说明的是，如图1和图2所示，在卷积神经网络的输入端输入微表情序列，微表情序列经过卷积神经网络计算可以得到第一特征向量。其中，如图2所示，卷积神经网络可以采用VGGNet-16，VGGNet-16为成熟的卷积神经网络，详细处理过程不在此赘述。
S103：光流序列经卷积神经网络处理得到第二特征向量；
类似地，如图1和图2所示，可以在另一条卷积神经网络的输入端输入由微表情序列计算得到的光流序列，光流序列经过卷积神经网络计算可以得到第二特征向量。
S104：光应变序列经卷积神经网络处理得到第三特征向量；
类似地，如图1和图2所示，可以在另一条卷积神经网络的输入端输入由光流序列计算得到的光应变序列，光应变序列经过卷积神经网络计算可以得到第三特征向量。
由此，通过三条卷积神经网络，微表情序列、光流序列和光应变序列可以经过对应卷积神经网络分别计算得到第一特征向量、第二特征向量和第三特征向量。需要说明的是，上述步骤S102、S103和S104不具有先后顺序。例如，可以同时对微表情序列、光流序列和光应变序列进行对应的卷积神经网络处理，也可以对微表情序列、光流序列和光应变序列的任意一个或两个先进行对应的卷积神经网络处理，然后再对剩余的序列进行对应的卷积神经网络处理。具体应用中，可以根据实际情况设置相应的计算顺序。
S105：将第一特征向量、第二特征向量以及第三特征向量连接后输入循环神经网络，并经过全连接层处理后得到微表情序列的分类权重向量；
需要说明的是，结合图1和图2所示，这里所述的“将第一特征向量、第二特征向量和第三特征向量连接”，可以理解为，将第一特征向量、第二特征向量和第三特征向量三个向量排列融合为一个向量。例如，可以在第一特征向量后依次排列第二特征向量和第三特征向量进行融合连接。需要说明的是，在此不对第一特征向量、第二特征向量和第三特征向量的排列连接顺序进行限定。上述排列连接方式仅是对本发明实施例的举例说明，第一特征向量、第二特征向量和第三特征向量还可以采用其他排列连接顺序进行连接。
将第一特征向量、第二特征向量和第三特征向量连接后作为输入循环神经网络的输入端。如图2所示，循环神经网络可以采用LSTM网络，经循环神经网络处理后并经过全连接层处理可以得到微表情的分类权重向量。需要说明的是，这里所述的“微表情的分类权重向量”可以理解为不同类别微表情对应概率的向量。例如，可以将微表情分为五类：高兴、悲伤、恐惧、中性表情、愤怒以及惊讶。计算得到的微表情的分类权重向量可以包括上述五类表情分别对应的概率值的向量。
S106：基于分类权重向量对微表情进行识别。
根据上述计算得到的微表情的分类权重向量，可以通过比较不同表情分类的对应的概率值的大小对微表情进行识别判断。例如，可以取高兴、悲伤、恐惧、中性表情、愤怒以及惊讶五类微表情中概率最大的微表情作为识别结果。
根据本发明实施例的微表情识别算法，将基于微表情序列计算得到的光流序列和光应变序列作为补充信息加入到识别算法中，并分别采用三条卷积神经网络对微表情序列、光流序列和光应变序列进行处理。由于微表情的主要特征在于对表情运动变化的分析，在输入中加入微表情序列的光流方向和光应变信息可以有效增加可用信息的维度和深度，使得特征学习的网络结构可以分别学习到带有微表情的人脸的脸部特征和表情动作变化特征。从而有效提高了微表情识别算法的精确度和可靠性。
根据本发明的一些实施例，如图2、图6和图7所示，微表情序列经卷积神经网络处理得到第一特征向量，包括：
S201：对微表情序列进行卷积神经网络处理过程中得到第一处理矩阵；
需要说明的是，结合图2和图6所示，这里所述的第一特征矩阵可以是微表情序列在进行卷积神经网络处理的过程中得到的。例如，当将224×224×3的微表情序列输入VGGNet-16网络时，可以计算得到14×14×512的conv5-3矩阵，第一特征矩阵可以为conv5-3矩阵。
S202：对光流序列和光应变序列进行动作注意力机制处理得到动作处理矩阵；
如图6所示，对光流序列和光应变序列进行动作注意力机制处理可以得到动作处理矩阵。其中，动作注意力机制可以通过动作注意力掩膜Am计算得到，动作注意力掩膜Am定义为光流强度与光学应变的均值，即：Am＝0.5×(|f|+s)。
S203：基于动作处理矩阵得到第一注意力矩阵；
如图6所示，光流序列和光应变序列经过动作注意力机制处理后得到的动作处理矩阵可以经过下采样处理得到14×14×512第一注意力矩阵。
S204：将第一处理矩阵与第一注意力矩阵相乘得到第一特征矩阵；
第一特征矩阵进行池化和全连接层处理得到第一特征向量。
如图6所示，将第一注意力矩阵与第一处理矩阵相乘可以得到第一特征矩阵，随后可以对第一特征矩阵进行池化和全连接层处理得到第一特征向量。其中，矩阵的乘法、池化以及全连接层处理等均属于本领域常规技术手段，具体计算过程不再展开赘述。
由此，通过上述方法，可以将动作注意力机制融合至微表情识别算法模型中，动作注意力机制可以用于提取微表情序列的运动信息，可以获取人脸面部的微小动作变化和细微形变等细节信息，从而可以嵌入微表情中的动态信息，使微表情中的动作区域得到强化，从而有效提高了微表情识别算法计算的准确性和可靠性。
如图6所示，在本发明的一些实施例中，基于动作处理矩阵得到第一注意力矩阵，包括：
动作处理矩阵经下采样处理得到第一注意力矩阵；或者，
将微表情序列进行通用注意力机制处理得到通用处理矩阵，通用处理矩阵与动作处理矩阵融合后进行下采样处理得到第一注意力矩阵。
也就是说，第一注意力矩阵可以由动作处理矩阵下采用得到；也可以将通用注意力机制融入后计算得到第一注意力机制。
如图6所示，微表情序列可以经过通用注意力机制处理后得到通用处理矩阵，通用处理矩阵与动作处理矩阵融合后再经过下采用处理得到第一注意力矩阵。由此，可以在微表情识别算法中融入通用注意力机制，嵌入微表情面部标志中的静态信息，从而可以进一步提高微表情识别算法的精确度和可靠性。
根据本发明的一些实施例，如图3和图8所示，通用注意力机制处理包括：
S301：检测人脸关键点，得到关键点序列；例如，可以采用OpenCV来检测人脸关键点，以得到关键点序列。
S302：对关键点序列进行高斯滤波处理，以提取人脸五官区域序列，并得到与人脸五官区域序列对应的通用处理矩阵。可以理解的是，人脸表情主要集中在五官，重点关注五管区域可以提高特征的有效性，从而可以有效提高微表情识别算法分类结果的准确性和可靠性。
在本发明的一些实施例中，如图6所示，通用处理矩阵与动作处理矩阵融合，具体为：将通用处理矩阵与动作处理矩阵相加。也就是说，可以将通用处理矩阵与动作处理矩阵相加得进行融合处理。
根据本发明的一些实施例，如图6所示，第一特征矩阵进行池化和全连接层处理得到第一特征向量，包括：
将第一处理矩阵与第一注意力矩阵相乘得到第一特征矩阵后，对第一特征矩阵进行通道注意力机制处理，得到通道处理矩阵；
将第一特征矩阵与通道处理矩阵相乘，并经过池化和全连接层处理得到第一特征向量。
由此，可以在微表情识别算法中融入通道注意力机制，从而引入了三种不同的注意力机制增加信息的深度和提高网络的分类能力，分别为对微表情序列的通用注意力机制、对光流序列和光学应变序列的动作注意力机制和融合后的通道注意力机制。通过通道注意力机制可以进一步提高特征的表征能力，可以在计算过程中融合图像整体和变化的多层次细节，使分类结果更加准确。
如图5和图6所示，在三种注意力机制进行融合时，考虑到通用注意力与运动注意力都属于空域注意力模型，将模型聚焦于空间某一区域；而通道注意力模型试图加强代表某种语义信息的通道响应，因此，将通用注意力和运动注意力放在通道注意力之前。其中，通道注意力和运动注意力首先进行融合，采用逐点相加的方式，然后将其下采样到第一注意力矩阵，与第一处理矩阵进行逐点相乘。之后，再通过通道注意力机制进一步提高特征的表征能力，由此得到的第一特征向量融合了图像整体和变化的多层次细节。
在本发明的一些实施例中，如图4、图6和图9所示，对第一特征矩阵进行通道注意力机制处理，得到通道处理矩阵，具体包括：
S401：将第一特征矩阵进行池化，得到第一通道矩阵；
S402：第一通道矩阵经过全连接层处理得到第二通道矩阵；
S403：第二通道矩阵经过全连接层处理得到通道处理矩阵。
其中，如图4和图6所示，得到第一特征矩阵后，可以使用池化作为挤压操作，紧接着由两个全连接层去建模通道间的相关性。如，可以将特征维度降低到输入的1/4，然后经过ReLu激活后再通过一个全连接层升回到原来的维度。这样使得网络具有更多的非线性，可以更好地拟合通道间复杂的相关性，极大地减少了参数量和计算量。然后可以通过一个Sigmoid的门获得0～1之间归一化的权重。最后将归一化后的权重加权到每个通道的特征上。
根据本发明的一些实施例，卷积神经网络采用VGGNET-16网络。例如，可以采用经过由ImageNet预训练过的VGGNet-16。VGGNet-16具有良好的简洁性和实用性，在图像分类和目标检测任务中具有良好的表现，采用VGGNet-16可以提高外表情分类的计算效率和分类的准确性。
在本发明的一些实施例中，循环神经网络可以采用LSTM网络(Long Short-TermMemory，长短期记忆网络)。LSTM网络是一种时间循环神经网络，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。LSTM已经在科技领域有了多种应用。基于LSTM的***可以学习翻译语言、控制机器人、图像分析、文档摘要、语音识别图像识别、手写识别、控制聊天机器人、预测疾病、点击率和股票、合成音乐等等任务。在微表情识别算法中采用LSTM可以有效提高计算的稳定性和分类的准确性。
根据本发明的一些实施例，微表情识别算法用于对持续时间范围在0.04s至0.2s的微表情进行分类识别。由于微表情的持续时间非常短暂，根据本发明实施例的微表情识别算法，加入了光流和光应变信息，并融入了动作注意力机制、通用注意力机制以及通道注意力机制，结合卷积神经网络和循环神经网络可以使得微表情识别更加准确、可靠。
通过在CASME II数据集上的测试表明，根据本发明实施例的微表情识别算法可以显著超越相关技术中的微表情识别算法，包括：LBP-TOP算法、FDM算法、LBP-SIP算法、Adaptive MM+LBP-TOP算法、ELRCN-TE算法。实验结果如下表所示：
另外，本发明提出的微表情算法可以进行多种组合和变形，例如：基准模型(即无注意力机制、无通道注意力机制、无通用注意力机制的CNN+LSTM模型)、基准模型+动作注意力机制、基准模型+动作注意力+通用注意力、基准模型+动作注意力+通道注意力、基准模型+动作注意力+通道注意力+通用注意力。实验结果如下表所示。可以看到，这三种注意力机制都能提高微表情识别准确率，其中，通道注意力的提升幅度最大。这是因为，引入通道注意力相当于对不同特征的响应进行自适应的权重分配。对于微表情所关注的语义特征(如：嘴角上扬)进行自适应加权能够有效提升特征表征能力，进而提高识别准确率。
综上所述，本发明针对监控场景下微表情识别的需求，提出了一种基于注意力机制的微表情识别算法。通过利用深度学习、计算机视觉等技术，构建具有较高准确率的微表情识别***，具备在资源受限条件下部署快、性能优的能力，能够实现较准确的微表情识别。受视觉注意机制和广泛使用的卷积神经网络(CNN)的启发，充分利用视觉注意力和设计基于注意力的CNN网络，借助神经网络强大的数据生成和分析能力，以获得更准确的微表情识别。
根据本发明实施例的微表情识别算法，使用了三种不同类型的注意力：1)通用注意力嵌入面部标志的静态信息。面部表情通常与区域的布局密切相关(如幸福将不可避免地导致嘴角的抬高)。2)动作注意力嵌入动态信息。由于微表情以微小的面部运动为特征，因此强调面部的动作区域是有益的。3)通道注意可以被视为根据面部表情的要求选择语义属性的过程，因为通道特征本质上是相应滤波器的检测器响应图。例如，我们想要预测厌恶，我们的注意力将根据像皱眉这样的语义为过滤器生成的通道明细特征图分配更多权重。由此，根据本发明的微表情识别算法，有效提高了微表情分类的准确性和可靠性。从而可以更好的通过视频智能分析技术来针对社会风险感知和防控问题进行预测预警，提高了防范各类风险隐患的能力水平。
通过具体实施方式的说明，应当可对本发明为达成预定目的所采取的技术手段及功效得以更加深入且具体的了解，然而所附图示仅是提供参考与说明之用，并非用来对本发明加以限制。
Claims (10)
1.一种微表情识别算法，其特征在于，包括：
获取微表情序列，由所述微表情序列计算得到光流序列，并由所述光流序列计算得到光应变序列；
所述微表情序列经卷积神经网络处理得到第一特征向量；
所述光流序列经卷积神经网络处理得到第二特征向量；
所述光应变序列经卷积神经网络处理得到第三特征向量；
将所述第一特征向量、所述第二特征向量以及所述第三特征向量连接后输入循环神经网络，并经过全连接层处理后得到微表情的分类权重向量；
基于所述分类权重向量对所述微表情进行识别。
2.根据权利要求1所述的微表情识别算法，其特征在于，所述微表情序列经卷积神经网络处理得到第一特征向量，包括：
对所述微表情序列进行卷积神经网络处理过程中得到第一处理矩阵；
对所述光流序列和所述光应变序列进行动作注意力机制处理得到动作处理矩阵；
基于所述动作处理矩阵得到第一注意力矩阵；
将所述第一处理矩阵与所述第一注意力矩阵相乘得到第一特征矩阵；
所述第一特征矩阵进行池化和全连接层处理得到所述第一特征向量。
3.根据权利要求2所述的微表情识别算法，其特征在于，所述基于所述动作处理矩阵得到第一注意力矩阵，包括：
所述动作处理矩阵经下采样处理得到第一注意力矩阵；或者，
将所述微表情序列进行通用注意力机制处理得到通用处理矩阵，所述通用处理矩阵与所述动作处理矩阵融合后进行下采样处理得到所述第一注意力矩阵。
4.根据权利要求3所述的微表情识别算法，其特征在于，所述通用注意力机制处理包括：
检测人脸关键点，得到关键点序列；
对所述关键点序列进行高斯滤波处理，以提取人脸五官区域序列，并得到与所述人脸五官区域序列对应的通用处理矩阵。
5.根据权利要求3所述的微表情识别算法，其特征在于，所述通用处理矩阵与所述动作处理矩阵融合，具体为：
将所述通用处理矩阵与所述动作处理矩阵相加。
6.根据权利要求2-5中任一项所述的微表情识别算法，其特征在于，所述第一特征矩阵进行池化和全连接层处理得到所述第一特征向量，包括：
将所述第一处理矩阵与所述第一注意力矩阵相乘得到所述第一特征矩阵后，对所述第一特征矩阵进行通道注意力机制处理，得到通道处理矩阵；
将所述第一特征矩阵与所述通道处理矩阵相乘，并经过池化和全连接层处理得到所述第一特征向量。
7.根据权利要求6所述的微表情识别算法，其特征在于，对所述第一特征矩阵进行通道注意力机制处理，得到通道处理矩阵，具体包括：
将所述第一特征矩阵进行池化，得到第一通道矩阵；
所述第一通道矩阵经过全连接层处理得到第二通道矩阵；
所述第二通道矩阵经过全连接层处理得到所述通道处理矩阵。
8.根据权利要求1所述的微表情识别算法，其特征在于，所述卷积神经网络采用VGGNET-16网络。
9.根据权利要求1所述的微表情识别算法，其特征在于，所述循环神经网络采用LSTM网络。
10.根据权利要求1所述的微表情识别算法，其特征在于，所述微表情识别算法用于对持续时间范围在0.04s至0.2s的微表情进行分类识别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910456423.7A CN110287801B (zh) | 2019-05-29 | 2019-05-29 | 一种微表情识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910456423.7A CN110287801B (zh) | 2019-05-29 | 2019-05-29 | 一种微表情识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110287801A true CN110287801A (zh) | 2019-09-27 |
| CN110287801B CN110287801B (zh) | 2021-10-15 |
Family
ID=68002868
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910456423.7A Active CN110287801B (zh) | 2019-05-29 | 2019-05-29 | 一种微表情识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110287801B (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110991348A (zh) * | 2019-12-05 | 2020-04-10 | 河北工业大学 | 基于光流梯度幅值特征的人脸微表情检测方法 |
| CN111222464A (zh) * | 2020-01-07 | 2020-06-02 | 中国医学科学院生物医学工程研究所 | 情感分析方法以及*** |
| CN111317468A (zh) * | 2020-02-27 | 2020-06-23 | 腾讯科技（深圳）有限公司 | 脑电信号分类方法、装置、计算机设备和存储介质 |
| CN112001241A (zh) * | 2020-07-16 | 2020-11-27 | 山东大学 | 基于通道注意力机制的微表情识别方法及*** |
| CN112184566A (zh) * | 2020-08-27 | 2021-01-05 | 北京大学 | 一种针对附着水雾水珠去除的图像处理方法和*** |
| CN112307958A (zh) * | 2020-10-30 | 2021-02-02 | 河北工业大学 | 基于时空外观运动注意力网络的微表情识别方法 |
| CN112990016A (zh) * | 2021-03-16 | 2021-06-18 | 中国平安人寿保险股份有限公司 | 表情特征提取方法、装置、计算机设备及存储介质 |
| CN113537008A (zh) * | 2021-07-02 | 2021-10-22 | 江南大学 | 基于自适应运动放大和卷积神经网络的微表情识别方法 |
| CN113723287A (zh) * | 2021-08-30 | 2021-11-30 | 平安科技（深圳）有限公司 | 基于双向循环神经网络的微表情识别方法、装置及介质 |
| CN113920571A (zh) * | 2021-11-06 | 2022-01-11 | 北京九州安华信息安全技术有限公司 | 基于多运动特征融合的微表情识别方法及装置 |
| CN114863515A (zh) * | 2022-04-18 | 2022-08-05 | 厦门大学 | 基于微表情语义的人脸活体检测方法及装置 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104298981A (zh) * | 2014-11-05 | 2015-01-21 | 河北工业大学 | 人脸微表情的识别方法 |
| CN106570474A (zh) * | 2016-10-27 | 2017-04-19 | 南京邮电大学 | 一种基于3d卷积神经网络的微表情识别方法 |
| CN107679526A (zh) * | 2017-11-14 | 2018-02-09 | 北京科技大学 | 一种人脸微表情识别方法 |
| CN108304823A (zh) * | 2018-02-24 | 2018-07-20 | 重庆邮电大学 | 一种基于双卷积cnn和长短时记忆网络的表情识别方法 |
| CN109165608A (zh) * | 2018-08-30 | 2019-01-08 | 深圳壹账通智能科技有限公司 | 多视角微表情识别方法、装置、存储介质和计算机设备 |
| CN109344693A (zh) * | 2018-08-13 | 2019-02-15 | 华南理工大学 | 一种基于深度学习的人脸多区域融合表情识别方法 |
| CN109426765A (zh) * | 2017-08-23 | 2019-03-05 | 厦门雅迅网络股份有限公司 | 驾驶危险情绪提醒方法、终端设备及存储介质 |
| CN109815924A (zh) * | 2019-01-29 | 2019-05-28 | 成都旷视金智科技有限公司 | 表情识别方法、装置及*** |
-
2019
- 2019-05-29 CN CN201910456423.7A patent/CN110287801B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104298981A (zh) * | 2014-11-05 | 2015-01-21 | 河北工业大学 | 人脸微表情的识别方法 |
| CN106570474A (zh) * | 2016-10-27 | 2017-04-19 | 南京邮电大学 | 一种基于3d卷积神经网络的微表情识别方法 |
| CN109426765A (zh) * | 2017-08-23 | 2019-03-05 | 厦门雅迅网络股份有限公司 | 驾驶危险情绪提醒方法、终端设备及存储介质 |
| CN107679526A (zh) * | 2017-11-14 | 2018-02-09 | 北京科技大学 | 一种人脸微表情识别方法 |
| CN108304823A (zh) * | 2018-02-24 | 2018-07-20 | 重庆邮电大学 | 一种基于双卷积cnn和长短时记忆网络的表情识别方法 |
| CN109344693A (zh) * | 2018-08-13 | 2019-02-15 | 华南理工大学 | 一种基于深度学习的人脸多区域融合表情识别方法 |
| CN109165608A (zh) * | 2018-08-30 | 2019-01-08 | 深圳壹账通智能科技有限公司 | 多视角微表情识别方法、装置、存储介质和计算机设备 |
| CN109815924A (zh) * | 2019-01-29 | 2019-05-28 | 成都旷视金智科技有限公司 | 表情识别方法、装置及*** |
Non-Patent Citations (3)
| Title |
|---|
| JING LI ET AL: "Micro‑expression recognition based on 3D flow convolutional neural network", 《PATTERN ANALYSIS AND APPLICATIONS》 * |
| SZE-TENG LIONG ET AL: "Shallow Triple Stream Three-dimensional CNN (STSTNet) for Micro-expression Recognition", 《2019 14TH IEEE INTERNATIONAL CONFERENCE ON AUTOMATIC FACE & GESTURE RECOGNITION》 * |
| 唐爽: "基于深度神经网络的微表情识别", 《电子科技与软件工程》 * |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110991348A (zh) * | 2019-12-05 | 2020-04-10 | 河北工业大学 | 基于光流梯度幅值特征的人脸微表情检测方法 |
| CN110991348B (zh) * | 2019-12-05 | 2021-10-15 | 河北工业大学 | 基于光流梯度幅值特征的人脸微表情检测方法 |
| CN111222464A (zh) * | 2020-01-07 | 2020-06-02 | 中国医学科学院生物医学工程研究所 | 情感分析方法以及*** |
| CN111222464B (zh) * | 2020-01-07 | 2023-11-07 | 中国医学科学院生物医学工程研究所 | 情感分析方法以及*** |
| CN111317468A (zh) * | 2020-02-27 | 2020-06-23 | 腾讯科技（深圳）有限公司 | 脑电信号分类方法、装置、计算机设备和存储介质 |
| CN111317468B (zh) * | 2020-02-27 | 2024-04-19 | 腾讯科技（深圳）有限公司 | 脑电信号分类方法、装置、计算机设备和存储介质 |
| CN112001241B (zh) * | 2020-07-16 | 2023-08-18 | 山东大学 | 基于通道注意力机制的微表情识别方法及*** |
| CN112001241A (zh) * | 2020-07-16 | 2020-11-27 | 山东大学 | 基于通道注意力机制的微表情识别方法及*** |
| CN112184566A (zh) * | 2020-08-27 | 2021-01-05 | 北京大学 | 一种针对附着水雾水珠去除的图像处理方法和*** |
| CN112184566B (zh) * | 2020-08-27 | 2023-09-01 | 北京大学 | 一种针对附着水雾水珠去除的图像处理方法和*** |
| CN112307958A (zh) * | 2020-10-30 | 2021-02-02 | 河北工业大学 | 基于时空外观运动注意力网络的微表情识别方法 |
| CN112307958B (zh) * | 2020-10-30 | 2023-06-23 | 河北工业大学 | 基于时空外观运动注意力网络的微表情识别方法 |
| CN112990016B (zh) * | 2021-03-16 | 2022-09-02 | 中国平安人寿保险股份有限公司 | 表情特征提取方法、装置、计算机设备及存储介质 |
| CN112990016A (zh) * | 2021-03-16 | 2021-06-18 | 中国平安人寿保险股份有限公司 | 表情特征提取方法、装置、计算机设备及存储介质 |
| CN113537008A (zh) * | 2021-07-02 | 2021-10-22 | 江南大学 | 基于自适应运动放大和卷积神经网络的微表情识别方法 |
| CN113537008B (zh) * | 2021-07-02 | 2024-03-29 | 江南大学 | 基于自适应运动放大和卷积神经网络的微表情识别方法 |
| CN113723287A (zh) * | 2021-08-30 | 2021-11-30 | 平安科技（深圳）有限公司 | 基于双向循环神经网络的微表情识别方法、装置及介质 |
| CN113920571A (zh) * | 2021-11-06 | 2022-01-11 | 北京九州安华信息安全技术有限公司 | 基于多运动特征融合的微表情识别方法及装置 |
| CN114863515A (zh) * | 2022-04-18 | 2022-08-05 | 厦门大学 | 基于微表情语义的人脸活体检测方法及装置 |
| CN114863515B (zh) * | 2022-04-18 | 2024-07-23 | 厦门大学 | 基于微表情语义的人脸活体检测方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110287801B (zh) | 2021-10-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110287801B (zh) | 一种微表情识别方法 | |
| US11182597B2 (en) | Systems and methods for evaluating individual, group, and crowd emotion engagement and attention | |
| Hossain et al. | An emotion recognition system for mobile applications | |
| CN108596039B (zh) | 一种基于3d卷积神经网络的双模态情感识别方法及*** | |
| Littlewort et al. | Towards social robots: Automatic evaluation of human-robot interaction by facial expression classification | |
| CN112560810B (zh) | 基于多尺度时空特征神经网络的微表情识别方法 | |
| Zakariah et al. | Sign language recognition for Arabic alphabets using transfer learning technique | |
| KR102132407B1 (ko) | 점진적 딥러닝 학습을 이용한 적응적 영상 인식 기반 감성 추정 방법 및 장치 | |
| Patilkulkarni | Visual speech recognition for small scale dataset using VGG16 convolution neural network | |
| CN112861945B (zh) | 一种多模态融合谎言检测方法 | |
| Perikos et al. | Recognizing emotions from facial expressions using neural network | |
| CN115410254A (zh) | 一种基于深度学习的多特征表情识别方法 | |
| Lin et al. | Continuous Facial Emotion Recognition Method Based on Deep Learning of Academic Emotions. | |
| Lee | Deep structured learning: architectures and applications | |
| Rony et al. | An effective approach to communicate with the deaf and mute people by recognizing characters of one-hand bangla sign language using convolutional neural-network | |
| Le Cornu et al. | Voicing classification of visual speech using convolutional neural networks | |
| Kadakia et al. | Comparative Analysis of Micro Expression Recognition using Deep Learning and Transfer Learning | |
| AbdElminaam et al. | DeepFakeDG: A Deep Learning Approach for Deep Fake Detection and Generation | |
| Perveen et al. | Multi-Stream Deep Convolution Neural Network With Ensemble Learning for Facial Micro-Expression Recognition | |
| Roy et al. | Facial Recognition Techniques and Their Applicability to Student Concentration Assessment: A Survey | |
| Nekkanti et al. | Breaking Down Communication Barriers: Real-Time Sign Language Recognition Using CNN & Flask-Based API | |
| CN112084922A (zh) | 一种基于手势和面部表情的行为异常人群检测方法 | |
| Filntisis et al. | Multi-stream temporal networks for emotion recognition in children and in the wild | |
| Shashidhar et al. | Enhancing visual speech recognition for deaf individuals: a hybrid LSTM and CNN 3D model for improved accuracy | |
| Gowda et al. | Facial expression analysis and estimation based on facial salient points and action unit (aus) |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |