CN112016410B - 一种微表情识别方法、存储介质及*** - Google Patents
一种微表情识别方法、存储介质及*** Download PDFInfo
- Publication number
- CN112016410B CN112016410B CN202010809744.3A CN202010809744A CN112016410B CN 112016410 B CN112016410 B CN 112016410B CN 202010809744 A CN202010809744 A CN 202010809744A CN 112016410 B CN112016410 B CN 112016410B
- Authority
- CN
- China
- Prior art keywords
- micro
- hoof
- expression
- sequence
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000014509 gene expression Effects 0.000 title claims abstract description 35
- 210000000003 hoof Anatomy 0.000 claims abstract description 53
- 238000010195 expression analysis Methods 0.000 claims abstract description 14
- 238000007781 pre-processing Methods 0.000 claims abstract description 5
- 230000003287 optical effect Effects 0.000 claims description 32
- 238000010606 normalization Methods 0.000 claims description 16
- 239000013598 vector Substances 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 12
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 7
- 210000004709 eyebrow Anatomy 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 210000000887 face Anatomy 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 125000004122 cyclic group Chemical group 0.000 claims description 2
- 238000011426 transformation method Methods 0.000 claims description 2
- 238000004378 air conditioning Methods 0.000 claims 4
- 238000012805 post-processing Methods 0.000 claims 2
- 230000009466 transformation Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000000844 transformation Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 240000005546 Piper methysticum Species 0.000 description 1
- 235000016787 Piper methysticum Nutrition 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000002747 voluntary effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种微表情识别方法，其包括步骤采集具有人脸视频的影像，并对所述视频影像进行预处理，以提取人脸区域的图像，进行人脸对齐；提取所述人脸区域图像中设定区域的图像，并计算所述设定区域的HOOF特征序列；计算所述HOOF特征序列的最终卡方距离序列，并判断所述设定区域内是否存在微表情；及将存在微表情的所述HOOF特征序列传入微表情分析模型，得到微表情分类结果。本发明还提供一种存储介质及微表情识别***，本发明提供的微表情识别方法、存储介质及***通过减少提取的冗余信息，增强了微表情识别的鲁棒性。
Description
技术领域
本发明涉及微表情识别领域，尤其涉及一种微表情识别方法、存储介质及***。
背景技术
日常生活中我们熟知的表情称为宏表情，通常持续3/4秒到2秒。在空间上，根据表情的不同，宏表情可以出现在面部的多个或单个区域上。例如，惊讶表达通常会引起眼睛，前额，脸颊和嘴巴周围的运动，而恐惧的表情通常仅在眼睛附近产生运动。而微表情被描述为一种非自愿且无法抑制的表情，这种出现在面部的表情，幅度很小且持续时间非常短(介于1/25到1/3秒之间)，没有经过专业培训的人员很难察觉。
由于微表情的特性对于测谎有极大帮助且对识别能力的训练复杂，因此对微表情的识别最早仅应用于国家安全领域。但随着人工智能的快速发展，科学家们开始着手于微表情的自动别技术研究。在很多场景下，对微表情的识别比普通表情更有意义。例如，金融信贷审核时，可以识别问答过程中用户的微表情来判断回复结果的真实性从而规避企业风险。抑郁病人在接受问话时，可以通过识别病人的微表情来分析其内心的情感。在对客户进行服务满意度调查时，可以通过他们的微表情的来获得更加真实的调查信息。在学生进行上课的时候，可以通过他们的微表情代表的情感来了解他们课堂的状态。
传统的微表情识别方法采用手工提取全局特征的方式，特征提取能力不足，存在大量冗余信息，导致模型的微表情检测率与识别率普遍不高。
发明内容
有鉴于此，本发明提供一种微表情识别方法、存储介质及***解决传统微表情识别方法中特征提取能力不足且存在大量冗余信息，导致微表情检测率与识别率不高的问题。
为了达到上述目的，本发明解决技术问题的技术方案是提供一种微表情识别方法，其包括步骤：采集具有人脸视频的影像，并对所述视频影像进行预处理，以提取人脸区域的图像，进行人脸对齐；提取所述人脸区域图像中设定区域的图像，并计算所述设定区域的HOOF特征序列；计算所述HOOF特征序列的最终卡方距离序列，并判断所述设定区域内是否存在微表情；及将存在微表情的所述HOOF特征序列传入微表情分析模型，得到微表情分类结果。
本发明还提供一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行微表情识别方法。
本发明还提供一种微表情识别***，其包括处理器和存储器,所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现微表情识别方法。
与现有技术相比，本发明所提供的微表情识别方法、存储介质及***具有以下有益效果：
通过选取设定区域的图像，减少了冗余信息，增强了微表情识别的鲁棒性，同时利用正、反卡方距离序列相加之和作为微表情是否存在的判定依据，可以减少人脸视频流中头部偏移造成的影响，且在微表情分析模型中融合了时间域注意力机制，增加关键信息的权重，减少冗余信息的权重，有效提高了微表情识别的准确率。
以上所述本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。
附图说明
图1为本发明第一实施例提供的一种微表情识别方法的步骤流程示意图；
图2为图1中步骤S2中设定区域的位置示意图；
图3为图1中步骤S4的微表情分析模型的原理图；
图4为图1中步骤S1的子步骤流程图；
图5为图1中步骤S2的子步骤流程图；
图6为图1中步骤S3的子步骤流程图；
图7为图1中步骤S4的子步骤流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
请参阅图1-3，本发明提供的一种微表情识别方法，其包括步骤：
S1，采集具有人脸视频的影像，并对视频影像进行预处理，以提取人脸区域的图像，进行人脸对齐；
具体的，采集到具有人脸的视频影像后，获取视频影像每一帧的图像，然后将每一帧图像的像素值归一化处理，再将每一帧图像灰度化，利用线性插值模型对灰度化后的图像进行帧数归一化，最后使用仿射变化对图像中的人脸进行对齐。
可以理解，人脸视频影像可以是已有的视频资料，也可以通过摄像设备采集进行实时采集。
在本实施例中，采集的为CASMEⅡ数据集内视频帧率达到200fps、人脸面部区域大小达到280×340像素的影像，然后将每帧图像的像素值归一化，从0-255到0-1，再将图像从RGB颜色空间转换到灰度空间，对灰度图像序列进行帧数归一化，将图像序列帧数归一化到81帧。
对灰度化后的图像进行帧数归一化采用的方法是线性插值模型，线性插值模型是一种普遍使用的帧数归一化算法，如，将一个尺寸为H×W，帧数为N的图像序列归一化到帧数M的具体过程如下：
首先在时间轴上得到目标帧数M的离散化向量TM，和本身的帧数离散化向量TN表达式：
针对图像上任意像素点I(i,j),其中i,j分别为图像上的高度和宽度坐标。对于目标时间轴上坐标为m/M-1，找源离散向量TN中里该坐标最近的两个坐标n-1/N-1、n/N-1。那么在该时间点上的目标帧像素IM,m/M-1(i,j)为：
最后，采用的是OpenCV中的Haar-like特征正脸检测模型，然后用Dlib库检测出人脸68个关键点，使用仿射变换对人脸进行对齐。
S2，提取人脸区域图像中设定区域的图像，并计算设定区域的HOOF特征序列；
具体的，由于人脸上的一些特征在识别微表情具有一定的干扰性，如，眼睛区域会由于眨眼产生大量的干扰信息，鼻子区域由于不存在太多运动，几乎不含有有用信息，如统一对人脸上的所有区域进行微表情的识别，会产生大量的噪声干扰。因此，需要对人脸图像上设定区域进行提取后，分析设定区域内的图像，以降低噪声感染。
可以理解，HOOF特征为手工特征中的一种，全称为Histogram of OrientedOptical Flow，是一种对光流直方图的改进，无论人是远离镜头还是靠近镜头，都不会受到影响。
在本实施例中，选取四个设定区域(ROI)，分别是左右嘴角和左右眉毛区域。其中，左侧眉毛对应的区域为R0I1,右侧眉毛对应的区域为ROI2,左侧嘴角对应的区域为ROI3,右侧嘴角对应的区域为ROI4,ROI1区域由dlib库人脸68关键点中第17个点和第21个点进行确定，ROI2区域由第22和26个关键点确定，ROI3由第48个关键点确定，ROI4由第54个关键点确定；其中ROI1和ROI2的x方向范围为对应两点在x方向的范围，y方向的上限为对应两点中在y方向较大的坐标值，y的下限为y的上限减去图像高度的15％左右；ROI3和ROI4的区域是以其对应关键点为中心的边长为12％图像高度的正方形区域。
由此，计算这四个ROI区域的光流矢量，分别计算第一帧与其余帧的光流矢量，得到4X80个光流场矩阵。其中本发明实施例采用了TV-L1光流计算方法，该方法在目标函数中采用了L1范数，这样目标函数的误差的增长变缓，对于大偏移量的惩罚也相对较小。将x、y方向上的光流矢量转换成幅度与角度，把0～2π角度范围量化成n个区间，统计每个区间幅值大小求和，最后归一化处理。需要说明的是，本发明实施例中n为8，因此得到对每一段视频序列会得到长度为80维度为4×8的HOOF特征序列。
S3，计算HOOF特征序列的最终卡方距离序列，并判断设定区域内是否存在微表情；
具体的，在同一样本中的HOOF特征中，其峰值帧及第一帧的HOOF特征与其余帧及第一帧的HOOF特征之间存在较大差异，而卡方距离可以衡量HOOF特征间差异，其定义如下：
其中Pi和Qi分别代表两个HOOF特征的第i个维度的数值。本发明分别计算了正向卡方距离与反向卡方距离，正向卡方距离由第一项HOOF特征与其余项计算且按时间顺序排列而来，反向卡方距离由最后一项HOOF特征与其余项计算且按时间顺序排列而来，然后将两个序列相加，得到最终卡方距离序列，记为用阈值判断的方法来检测微表情是否存在，具体方法如下：
其中为/>中的最大值，α为阈值系数。当满足不等式时，则代表检测到了微表情，需要说明的是α的取值是根据训练样本计算得到的，如果检测到含有微表情，则/>的时刻就是峰值帧时刻。
S4，将存在微表情的HOOF特征序列传入微表情分析模型，得到微表情分类结果；
具体的，在步骤S3中得到存在微表情的HOOF特征后，将其放入预先建立好的微表情分析模型中，通过微表情分析模型得到该HOOF特征的微表情分类。
在本实施例中，网络基本架构为BiLSTM，全连接层将时间域注意力层的输出映射成维度为微表情类别个数的向量，最后通过softmax函数激活得到各个类别的概率。需要说明的是，本发明实施例的输入数据时间长度为80，维度为32，BiLSTM网络的节点数为80，层数为2，将两个方向隐藏层状态拼接得到时间长度为80，维度为64的输出序列，时间域注意力层的具体实现方式如下：
M＝wTtanh(ht)
αt＝softmax(M)
γt＝Σαtht
其中ht是t时刻隐藏层状态，w是预先初始化的可训练的权重矩阵，αt是ht的权重系数，γt是t时刻注意力层的输出。
本发明提供的方案在CASMEⅡ中微表情检测的效果与现有方法对比如下：
其中Pinclude表示准确判断出视频是否含有微表情的概率，Plocation表示准确定位峰值帧的概率；需要说明的是，由于本发明实施例中数据集帧率较高，相邻帧间差距较小，因此预测峰值帧不用与真实峰值帧完全一致，只要其在真实峰值帧前后5帧范围内即可。
本发明提供的方案在CASMEⅡ中微表情分类的效果与现有方法对比如下：
请参阅图4，步骤S1还包括子步骤：
S11，获取包括人脸的视频影像；
具体的，获取包括人脸的视频影像可以是通过摄像设备实时采集，也可以是已有的视频资料。
S12，对每一帧图像进行像素值归一化处理；
具体的，图像归一化是指对图像进行了一系列标准的处理变换，使之变换为一固定标准形式的过程，该标准图像称作归一化图像。原始图像在经历一些处理或攻击后可以得到多种副本图像，这些图像在经过相同参数的图像归一化处理后能够得到相同形式的标准图像。图像归一化就是通过一系列变换(即利用图像的不变矩寻找一组参数使其能够消除其他变换函数对图像变换的影响)，将待处理的原始图像转换成相应的唯一标准形式(该标准形式图像对平移、旋转、缩放等仿射变换具有不变特性)。
基于矩的图像归一化技术基本工作原理为：首先利用图像中对仿射变换具有不变性的矩来确定变换函数的参数，然后利用此参数确定的变换函数把原始图像变换为一个标准形式的图像(该图像与仿射变换无关)。一般说来，基于矩的图像归一化过程包括4个步骤，即坐标中心化、x-shearing归一化、缩放归一化和旋转归一化。
图像归一化使得图像可以抵抗几何变换的攻击，它能够找出图像中的那些不变量，从而得知这些图像原本就是一样的或者一个系列的。
S13，将每一帧图像灰度化；
具体的，将视频中每一帧图片中的像素点经过灰度化处理转换成灰度图。
S14，利用线性插值模型对帧数归一化；
具体的，采用插值模型，将图像序列帧数归一化到81帧。
S15，使用仿射变换方法对人脸进行对齐；
具体的，采用OpenCV中的Haar-like特征正脸检测模型，用Dlib库检测出人脸68个关键点，使用仿射变换对人脸进行对齐。
请参阅图5，步骤S2还包括子步骤：
S21，选择人脸特征识别的设定区域；
具体的，根据人脸各部位的噪声大小，选取左右眉毛及左右嘴角处作为设定区域。
S22，计算设定区域内提取到的人脸特征的第一帧与其余的光流场，得到光流矢量；
具体的，光流(Optical flow or optic flow)法是运动图像分析的重要方法，是指时变图像中模式运动速度。因为当物体在运动时，它在图像上对应点的亮度模式也在运动。这种图像亮度模式的表观运动(apparent motion)就是光流。光流表达了图像的变化，由于它包含了目标运动的信息，因此可被观察者用来确定目标的运动情况。由光流的定义可以引申出光流场，它是指图像中所有像素点构成的一种二维瞬时速度场，其中的二维速度矢量是景物中可见点的三维速度矢量在成像表面的投影。
S23，将光流矢量转换成光流幅值与光流角度；
具体的，将步骤S22中得到的光流矢量转换成光流幅值及光流角度。
S24，量化光流幅值与光流角度，得到HOOF特征；
具体的，通过光流幅值及光流角度得到HOOF特征。
S25，将设定区域内的HOOF特征拼接，再按时间顺序排列得到HOOF特征序列；
具体的，将设定区域内的HOOF特征进行拼接，然后按照图像每一帧的时间排序，将多个HOOF特征拼接成HOOF特征序列。
请参阅图6，步骤S3还包括子步骤：
S31，计算HOOF特征序列的卡方距离，得到卡方距离序列；
具体的，卡方距离(Chi-square Distance)为利用列联表分析的方法得到一个卡方统计量来衡量两个体之间的差异性。通过HOOF特征中峰值帧及第一帧的HOOF特征与其余帧及第一帧的HOOF特征的差异，计算正向卡方距离及反向卡方距离，然后正向卡方距离由第一项HOOF特征与其余项计算且按时间顺序排列而来，反向卡方距离由最后一项HOOF特征与其余项计算且按时间顺序排列而来，将两个序列相加，即得到最终卡方距离序列。
S32，计算卡方距离序列最大值与平均值的比值；
具体的，计算出步骤S31中得到的卡饭距离序列的最大值及平均值，以得到最大值与平均值的比值。
S33，对比值进行阈值判断，得到微表情是否存在的结果；
具体的，将比值用阈值判断法来判断微表情是否存在。
请参阅图7，步骤S4还包括子步骤：
S41，利用循环神经网络建立微表情分析模型；
具体的，利用神经网络自学习建立输入为HOOF特征序列，输出为微表情结果分类的微表情分析模型，以便于在得到存在微表情的HOOF特征序列后，直接利用微表情分析模型得到HOOF特征序列对应的微表情分类。
S42，将存在微表情的HOOF特征序列放入微表情分析模型中，得到微表情分类。
本发明还提供一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述方法步骤。存储介质可以包括如软盘、光盘、DVD、硬盘、闪存、U盘、CF卡、SD卡、MMC卡、SM卡、记忆棒(Memory Stick)、XD卡等。
计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可以是个人计算机设备、服务器或其他网络设备等)用以执行本发明方法的全部或部分步骤。
本发明还提供一种微表情识别***，该微表情识别***包括处理器和存储器,存储器上存储有计算机程序，计算机程序被处理器执行时，实现微表情识别方法。
与现有技术相比，本发明所提供的微表情识别方法、存储介质及***具有以下有益效果：
通过选取设定区域的图像，减少了冗余信息，增强了微表情识别的鲁棒性，同时利用正、反卡方距离序列相加之和作为微表情是否存在的判定依据，可以减少人脸视频流中头部偏移造成的影响，且在微表情分析模型中融合了时间域注意力机制，增加关键信息的权重，减少冗余信息的权重，有效提高了微表情识别的准确率。
以上所述本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。
Claims (8)
1.一种微表情识别方法，其特征在于，包括步骤：
采集具有人脸视频的影像，并对所述视频影像进行预处理，以提取人脸区域的图像，进行人脸对齐；
提取所述人脸区域图像中设定区域的图像，并计算所述设定区域的HOOF特征序列；
计算所述HOOF特征序列的最终卡方距离序列，并判断所述设定区域内是否存在微表情；及
将存在微表情的所述HOOF特征序列传入微表情分析模型，得到微表情分类结果；
所述提取所述人脸区域图像中设定区域的图像，并计算所述设定区域的HOOF特征序列包括步骤：
选择人脸特征识别的设定区域；
计算设定区域内提取到的人脸特征的第一帧与其余的光流场，得到光流矢量；
将光流矢量转换成光流幅值与光流角度；
量化光流幅值与光流角度，得到HOOF特征；及
将设定区域内的HOOF特征拼接，再按时间顺序排列得到HOOF特征序列；
所述计算所述HOOF特征序列的最终卡方距离序列，并判断所述设定区域内是否存在微表情包括步骤：
计算HOOF特征序列的卡方距离，得到卡方距离序列；
计算卡方距离序列最大值与平均值的比值；及
对比值进行阈值判断，得到微表情是否存在的结果；
所述卡方距离用于衡量HOOF特征间差异，其定义如下：
其中Pi和Qi分别代表两个HOOF特征的第i个维度的数值。
2.如权利要求1所述的一种微表情识别方法，其特征在于，所述采集具有人脸视频的影像，并对所述视频影像进行预处理，以提取人脸区域的图像，进行人脸对齐包括步骤：
获取包括人脸的视频影像；
对每一帧图像进行像素值归一化处理；
将每一帧图像灰度化；
利用线性插值模型对帧数归一化；及
使用仿射变换方法对人脸进行对齐。
3.如权利要求1所述的一种微表情识别方法，其特征在于，所述将存在微表情的所述HOOF特征序列传入微表情分析模型，得到微表情分类结果包括步骤：
利用循环神经网络建立微表情分析模型；
将存在微表情的HOOF特征序列放入微表情分析模型中，得到微表情分类。
4.如权利要求1所述的一种微表情识别方法，其特征在于：
所述设定区域为包括人脸左右眉毛及嘴角的四个区域。
5.如权利要求1所述的一种微表情识别方法，其特征在于：
所述最终卡方距离序列为正向卡方序列与反向卡方序列相加的结果。
6.如权利要求1所述的一种微表情识别方法，其特征在于：
所述微表情分析模型为融合时间域注意力机制的BiLSTM网络。
7.一种存储介质，其特征在于：
所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1-6中任一项中所述的微表情识别方法。
8.一种遥感图像分类后处理***，其特征在于：
所述遥感图像分类后处理***包括处理器及存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行，实现如权利要求1-6任一项所述的微表情识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010809744.3A CN112016410B (zh) | 2020-08-13 | 2020-08-13 | 一种微表情识别方法、存储介质及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010809744.3A CN112016410B (zh) | 2020-08-13 | 2020-08-13 | 一种微表情识别方法、存储介质及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112016410A CN112016410A (zh) | 2020-12-01 |
| CN112016410B true CN112016410B (zh) | 2023-12-26 |
Family
ID=73504252
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010809744.3A Active CN112016410B (zh) | 2020-08-13 | 2020-08-13 | 一种微表情识别方法、存储介质及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112016410B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107358206A (zh) * | 2017-07-13 | 2017-11-17 | 山东大学 | 一种基于感兴趣区域的光流特征矢量模值和角度结合的微表情检测方法 |
| CN108830223A (zh) * | 2018-06-19 | 2018-11-16 | 山东大学 | 一种基于批量模式主动学习的微表情识别方法 |
| CN108830222A (zh) * | 2018-06-19 | 2018-11-16 | 山东大学 | 一种基于信息性和代表性主动学习的微表情识别方法 |
| CN110991348A (zh) * | 2019-12-05 | 2020-04-10 | 河北工业大学 | 基于光流梯度幅值特征的人脸微表情检测方法 |
-
2020
- 2020-08-13 CN CN202010809744.3A patent/CN112016410B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107358206A (zh) * | 2017-07-13 | 2017-11-17 | 山东大学 | 一种基于感兴趣区域的光流特征矢量模值和角度结合的微表情检测方法 |
| CN108830223A (zh) * | 2018-06-19 | 2018-11-16 | 山东大学 | 一种基于批量模式主动学习的微表情识别方法 |
| CN108830222A (zh) * | 2018-06-19 | 2018-11-16 | 山东大学 | 一种基于信息性和代表性主动学习的微表情识别方法 |
| CN110991348A (zh) * | 2019-12-05 | 2020-04-10 | 河北工业大学 | 基于光流梯度幅值特征的人脸微表情检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 平均光流方向直方图描述的微表情识别;马浩原 等;信号处理;第34卷(第3期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112016410A (zh) | 2020-12-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lin et al. | Face liveness detection by rppg features and contextual patch-based cnn | |
| Davison et al. | Objective micro-facial movement detection using facs-based regions and baseline evaluation | |
| Liu et al. | Learning deep models for face anti-spoofing: Binary or auxiliary supervision | |
| Shao et al. | Joint discriminative learning of deep dynamic textures for 3D mask face anti-spoofing | |
| Happy et al. | Fuzzy histogram of optical flow orientations for micro-expression recognition | |
| Zhang et al. | Fast and robust occluded face detection in ATM surveillance | |
| KR102462818B1 (ko) | 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치 | |
| Lin | Face detection in complicated backgrounds and different illumination conditions by using YCbCr color space and neural network | |
| US20210264144A1 (en) | Human pose analysis system and method | |
| CN111444881A (zh) | 伪造人脸视频检测方法和装置 | |
| CN110838119B (zh) | 人脸图像质量评估方法、计算机装置及计算机可读存储介质 | |
| CN105160318A (zh) | 基于面部表情的测谎方法及*** | |
| CN113869229B (zh) | 基于先验注意力机制引导的深度学习表情识别方法 | |
| CN110059634A (zh) | 一种大场景人脸抓拍方法 | |
| CN109325472B (zh) | 一种基于深度信息的人脸活体检测方法 | |
| KR101243294B1 (ko) | 이동 객체 추출 및 추적 방법 및 장치 | |
| Hebbale et al. | Real time COVID-19 facemask detection using deep learning | |
| Shrivastava et al. | Conceptual model for proficient automated attendance system based on face recognition and gender classification using Haar-Cascade, LBPH algorithm along with LDA model | |
| Nikitin et al. | Face anti-spoofing with joint spoofing medium detection and eye blinking analysis | |
| Liu et al. | A novel video forgery detection algorithm for blue screen compositing based on 3-stage foreground analysis and tracking | |
| Sakthimohan et al. | Detection and Recognition of Face Using Deep Learning | |
| Fathy et al. | Benchmarking of pre-processing methods employed in facial image analysis | |
| CN112016410B (zh) | 一种微表情识别方法、存储介质及*** | |
| CN113486788A (zh) | 视频相似度确定方法、装置、电子设备及存储介质 | |
| Ribeiro et al. | Access control in the wild using face verification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |