CN105913038A - 一种基于视频的动态微表情识别方法 - Google Patents
一种基于视频的动态微表情识别方法 Download PDFInfo
- Publication number
- CN105913038A CN105913038A CN201610265428.8A CN201610265428A CN105913038A CN 105913038 A CN105913038 A CN 105913038A CN 201610265428 A CN201610265428 A CN 201610265428A CN 105913038 A CN105913038 A CN 105913038A
- Authority
- CN
- China
- Prior art keywords
- video
- block
- micro
- expression
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 92
- 238000012549 training Methods 0.000 claims description 30
- 238000012360 testing method Methods 0.000 claims description 20
- 230000003542 behavioural effect Effects 0.000 claims description 9
- 239000013598 vector Substances 0.000 claims description 9
- 230000003287 optical effect Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 6
- 230000001815 facial effect Effects 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 3
- 230000001186 cumulative effect Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000005286 illumination Methods 0.000 abstract description 7
- 230000008921 facial expression Effects 0.000 abstract description 5
- 230000000903 blocking effect Effects 0.000 abstract 1
- 238000000605 extraction Methods 0.000 description 22
- 230000014509 gene expression Effects 0.000 description 15
- 239000000523 sample Substances 0.000 description 12
- 230000000694 effects Effects 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 239000012141 concentrate Substances 0.000 description 3
- 230000002085 persistent effect Effects 0.000 description 3
- 238000007637 random forest analysis Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 210000001061 forehead Anatomy 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 206010008190 Cerebrovascular accident Diseases 0.000 description 1
- 208000006011 Stroke Diseases 0.000 description 1
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000012497 inhomogeneous sample Substances 0.000 description 1
- 238000009401 outcrossing Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/176—Dynamic expression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
- G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于视频的动态微表情识别方法，属于动态识别技术领域。本发明包括以下步骤：视频序列预处理；计算预处理后视频序列的一定数量的帧，用插值法定点插值到指定长度视频并进行精确对齐；将指定长度视频分成视频块，得到视频子集；提取视频子集的动态特征，计算视频子集权重和视频子集特征权重；根据计算结果对视频序列进行分类和识别。本发明的有益效果为：有效的突出带有较多表情信息的人脸区域所提取出的微表情特征，削弱带有较少表情信息的人脸区域所提取出的微表情特征。减少光照不均、噪声、物体遮挡等因素影响，增加***的鲁棒性。
Description
技术领域
本发明涉及一种动态识别技术领域，尤其涉及一种基于视频的动态微表情识别方法。
背景技术
微表情的最大特征是持续的时间很短、强度弱并且是无意识发生的无法控制的复杂表情。目前，其通用的持续时间的上限是1/5秒。这些稍纵即逝的人脸表情，由于持续时间短、强度低，使得其通常容易被肉眼所疏忽。为了更好的对微表情进行实时分析并揭露人们真实的情感，我们迫切需求一个自动微表情识别***。
在心理学领域中，关于微表情的研究报告中指出人类不擅长对微表情进行识别。微表情因为其持续时间短、强度弱几乎不能够被人类所感知。为了解决这个问题，Ekman研制出了微表情训练工具(Micro Expression Training Tool,METT)，但是其识别率也仅为40％。即使METT被提出后，Frank等曾公开发表过人类要想检测到现实中的微表情是一件十分困难的事情。由于微表情识别还不完备，研究者不得不逐一分析视频中的每一帧图像，而这一过程无疑是时间和精力的巨大浪费。
将计算机科学和心理学领域进行交叉研究可以很好的满足微表情识别的需求。几组独立的计算机科学家们已经开始着手进行这一方向的研究。目前存在的微表情识自动识别方法有应变模式和机器学习这两类方法。在应变模式方法中，Shreve等将人脸分割成嘴巴、脸颊、前额和眼睛等子区域，并且将人脸图像的区域分割结合光流法计算每一个子区域的人脸应变情况。对每一个子区域中计算得到的应变模式进行分析，从而对视频中的微表情进行检测。
在机器学习方法中，Pfister等提出了用时间插值模型和多核学习的结构来进行无意识微表情识别框架。其使用时间插值来解决视频过短的问题，用时空局部纹理描述子来处理动态特征，用支持向量机SVM(Support Vector Machine)、多核学习MKL(MultipleKernel learning)和随机森林RF(Random Forests)来解决分类问题。但是，时空局部纹理描述子是提取表情序列XY,XT和YT方向的完全局部二值模式，该算子不能够真正意义上提取视频中帧间的动态信息。同时，由于其将人脸每个部分的贡献率视为相同，忽略了在表达情感时，人脸不同区域所携带的信息量是不相同的，其中，眼睛、眉毛、嘴角等区域携带较多的表情信息，而脸颊、额头等区域携带较少的信息。
Polikovsky等使用了三维梯度直方图描述子来表示运动信息从而进行微表情识别。Ruiz-Hernandez等提出对局部二阶高斯重新参量化后进行LBP(Local Binary Patterns,局部二值模式)编码,产生更加鲁棒和可靠的直方图来对微表情进行描述。
同时，在专利文献CN104933416A——基于光流场的微表情序列特征提取方法也涉及到微表情识别，但是该方法存在如下缺点：
(1)抽取相邻帧之间的稠密光流场进行视频的动态信息描述过程中，算法耗时长；
(2)在将光流场分割成为一系列时空块，在每个时空块中抽取主方向，用其表征该分块后总绝大多数点的运动模式的过程中，会忽略人脸局部点细微的微表情变化；
(3)容易受到光照不均、噪声、物体遮挡等因素的影响，精度不高同时计算量很大；
(4)此方法虽然将人脸进行分块处理，但却将每一块人脸在传递微表情的时携带的信息量视作相同的，使得携带少量甚至是不携带相关信息的面部区域对最终的识别结果造成影响。
发明内容
为解决现有技术中的问题，本发明提供一种基于视频的动态微表情识别方法。
本发明包括以下步骤：
步骤一：视频序列预处理；
步骤二：计算预处理后视频序列的一定数量的帧，用插值法定点插值到指定长度视频并进行精确对齐；
步骤三：将指定长度视频分成视频块，得到视频子集Y1,Y2,…,YM，其中，M为视频块的个数；
步骤四：提取视频子集的动态特征，计算视频子集权重信息；
步骤五：根据计算结果对视频序列进行分类和识别。
本发明通过插值法完成视频序列时间上的归一化，使得视频序列便于分析，识别性能得到一定程度的提高。
本发明作进一步改进，在步骤一中，预处理方法包括彩色图像灰度化、直方图均衡化、使用仿射变换进行配准、尺寸归一化等。
本发明作进一步改进，在步骤二中，计算预处理后视频序列的微表情起始帧、微表情峰值帧、微表情结束帧三帧。通过将微表***序列通过指定微表情起始帧、微表情峰值帧、微表情结束帧三幀微表情幀，通过插值算法将其插值成为一个定长微表***序列，识别效果更好。
本发明作进一步改进，步骤二用3D梯度投影法计算。
本发明作进一步改进，步骤四的具体实现方法包括如下步骤：
(1)提取每个视频子集中所有视频子块的动态运动信息；
(2)分别计算视频子集中视频子块的特征向量每维的权重；
(3)对视频子块进行特征描述：将步骤(1)中提取的所有视频子集中每个视频子块的动态运动信息与步骤(2)中计算的特征向量每维的权重相乘并进行累加得到视频子集中每个视频子块的最终动态信息描述子；
(4)计算视频子块权重向量W，W＝[ω1,ω2,…,ωM]T，其中，M为视频块的个数，ωi表示在使用动态特征描述子对视频子块的特征进行描述时，第i个视频子块对于不同微表情类别的区分能力。
本发明将动态微表***序列提取的运动特征与分块权重法、特征权重法结合起来，生成了加权的动态特征提取方法，加权的动态特征提取方法根据每个特征对识别效果的贡献率不同，赋予不同的权重，可以剔除噪声的影响，削弱光照不均等因素的影响，增加算法的鲁棒性，使得识别的效果有明显的提高。同时，加权的动态特征提取方法对视频序列进行分块，使得特征匹配的位置更加准确。此外，本发明通过提取视频序列的运动信息，在一定程度加深对微表情动态模式的理解。
本发明作进一步改进，步骤(1)的实现方法包括梯度法和光流法。
本发明作进一步改进，在步骤(1)中，采用时空梯度描述子HOG3D对所有视频子集提取HOG3D特征。
本发明作进一步改进，在步骤(4)中，采用了能够强化局部特征贡献的权重方法计算视频子块权重。比如，采用KNN的变型方法计算每个视频子集的权重ωi，能够有效能够强化局部特征的贡献。
本发明作进一步改进，在步骤五中，所述识别和分类方法为：
A1：将预处理后的定长视频序列划分成训练集和测试集，对测试集中划分出的所有测试视频子块和训练集中划分出的所有的训练视频子块进行描述，并计算每个测试视频子块到所有训练视频对应的子块之间的距离；
A2：对于测试集中的每一个测试视频所划分出的视频块，用加权模糊分类法进行模糊分类；
A3：计算出每个视频块对于所有训练视频的对应视频子块的隶属度，得到视频子块的分类结果；
A4：对各个视频块得到的分类结果进行融合，得到每一个视频块的带有权重的分块隶属度和带有权重的总隶属度；
A5：利用最大隶属度原则，对人脸图像的动态微表情进行分类。
与现有技术相比，本发明的有益效果是：(1)有效的在视频总的微表情特征中突出带有较多表情信息的人脸区域所提取出的微表情特征，同时削弱带有较少表情信息的人脸区域所提取出的微表情特征。(2)将微表情序列通过指定微表情起始帧、微表情峰值帧、微表情结束帧三帧微表情帧，通过插值算法将其插值成为一个定长微表***序列。使得微表情序列在时间上进行了归一化，方便之后的对视频序列进行特征描述。由于指定了微表情起始帧、微表情峰值帧、微表情结束帧三帧微表情帧使得插值后的图像更不容易发生插值错误。同时，插值之后进行一次精细对齐，消除帧间插值所引入的误差。(3)将动态微表情序列提取的运动特征与分块权重法、特征权重法结合起来，生成了加权的动态特征提取方法。加权的动态特征提取方法根据每个特征对识别效果的贡献率不同，赋予不同的权重，可以剔除噪声的影响，削弱光照不均等因素的影响，增加算法的鲁棒性，使得识别的效果有明显的提高。(4)加权的动态特征提取方法对视频序列进行分块，使得特征匹配的位置更加准确。(5)采用加权的模糊分类法对视频子集进行模糊分类，计算隶属度，对每个子集的隶属度进行累加，依据隶属度最大原则，得到最终的分类结果，可以有效地降低样本的误识率，增加测试样本的鲁棒性。(6)利用连续的人脸微表***序列可以进行动态的微表情识别，在一定程度加深对微表情动态模式的理解。
附图说明
图1为本发明方法流程图；
图2为本发明一实施例流程图；
图3为本发明对视频序列进行分类和识别一实施例方法流程图。
具体实施方式
下面结合附图和实施例对本发明做进一步详细说明。
总体来说，本发明是一种利用加权的动态特征提取算法提取微表情序列的运动信息并利用加权模糊集理论进行分类的人脸微表情识别方法。
如图1所示，作为本发明的一种实施例，具体包括以下步骤：
步骤一：视频序列预处理；
步骤二：计算预处理后的视频序列的微表情起始帧、微表情峰值帧、微表情结束帧；根据微表情起始帧、微表情峰值帧、微表情结束帧定点插值到指定长度视频并进行精确对齐；当然，此步骤中也可以选取其他的帧，然后采用插值法插值到指定长度视频。
步骤三：将指定长度视频分成视频块，得到视频子集Y1,Y2,…,YM，其中，M为视频块的个数；
步骤四：提取视频子集的动态特征，计算视频子集的权重信息；
步骤五：根据计算结果对视频序列进行分类和识别。
如图2所示，在实际的应用过程中，需要对已有的视频序列进行预处理。作为本发明的一个实施例，本方法直接使用CASMEII数据库中的Cropped.zip文件夹中的视频帧进行处理的。我们将CASMEII数据库中微表情分成四类(happiness,surprise,disgust,repression)，每类中含有9个实验对象不重复出现的微表情视屏序列。使用的开发平台是matlab2015a。
步骤一，对给定的已对齐了的连续人脸微表***序列进行预处理，用matlab2015a自带函数进行彩色图像灰度化、直方图均衡化，在初步预处理的视频帧间使用仿射变换进行配准，最后再进行尺寸归一化。
步骤二，对于预处理后的连续的人脸微表***序列,用3D梯度投影法计算该视频序列的微表情起始帧Onset,微表情峰值帧Apex和微表情结束帧Offset。
步骤三，采用计算出的微表情起始帧Onset,微表情峰值帧Apex和微表情结束帧Offset作为参考帧，计算每两帧之间的光流场得到两帧图像间每个像素对应的运动模式。随后，取前后两帧对应像素进行线性插值，并进行运动补偿，由此得到统一帧数的人脸序列，本例采用插值到5帧人脸序列。当然，根据需要，也可以插值到其他数量的帧数，在得到的5帧人脸序列上，我们采用了信息熵法来进行精细化对齐，消除在视频帧间插值中引入的误差。
步骤四，视频分块：在得到的5帧人脸序列上，按照人脸的比例特征，将人脸等比例分为上、中、下三块分别对应为人脸的眼睛、鼻子、嘴巴三个部分，这样便得到了三个视频块。将带有分类标号的所有的视频子块按照眼睛、鼻子、嘴巴部分重新归类，形成三个新的视频子集Yi(i＝1,2,3)。
步骤四的具体实现方法包括以下步骤：
(1)提取每个视频子集中所有视频子块的动态运动信息。此处本发明采用梯度法，比如Alexander提出的时空梯度描述子HOG3D(3D-Gradients)对所有视频子集进行HOG3D特征提取。在形成的三个视频子集中，分别计算每个子集中每个视频子块两两相邻的帧之间的视频图像在x,y,t方向上的梯度信息，并将其在20面柏拉图体轴上进行投影，并将相差180的轴上的数值进行合并，该信息直接反映了相邻图像的每个像素的运动情况。最后将形成的HOG3D特征拉成一个列向量λi,j＝[di,j,1 di,j,2 … di,j,r]T，将同一个视频子集提取出的N个HOG3D特征列向量排布成特征矩阵ψi＝[λi,1,λi,2,…,λi,N]。当然，本例除了采用HOG3D特征描述外，还可以采用其他视频动态描述子，如光流法或时间空间局部纹理描述子等。
HOG3D的计算步骤如下：计算视频序列中两两相邻的帧之间的视频图像在x,y,t方向上的梯度信息，并将其在20面柏拉图体轴上进行投影，接着将相差180的轴上的数值进行合并，并对投影合并后的10个轴上的值进行量化。该信息直接反映了相邻图像的每个像素的运动情况。
(2)使用reliefF算法，计算提取出的每个视频子集中视频子块的HOG3D特征的权重αi＝[αi,1,αi,2,…,αi,r]，其中，i表示第i个视频子集，i＝1,2,…,M，r为所有HOG3D特征的维数。其中，ReliefF算法在处理多类问题时，每次从训练样本集中随机取出一个样本R，然后从和R同类的样本集中找出R的k个近邻样本(near Hits)，从每个R的不同类的样本集中均找出k个近邻样本(near Misses)，然后更新每个特征的权重。在本例中，我们将视频分成三块，因此i＝1，2，3。
(3)对视频子块进行特征描述，将步骤(1)中提取的所有视频子集中每个视频子块的动态运动信息与步骤(2)中计算的特征权重相乘并进行累加得到视频子集中每个视频子块的最终动态信息描述子Yi,j，Yi,j＝αi,1di,j,1+αi,2di,j,2…+αi,rdi,j,r,其中Yi,j表示第i个视频子集中第j个视频子块的最终动态信息描述子，i＝1,2,…,M,j＝1,2,…,N,di,j,1,di,j,2,…,di,j,r为第i个视频子集中第j个视频子块的第r维特征。将第i个视频子集中N个视频子块所计算得到的加权HOG3D特征Yi,j，按列排列成特征矩阵那么特征矩阵可以写成如下形式：
表示Yi中第i个视频子集中N个视频子块中提取出的HOG3D动态运动信息，从而分别对所有的视频子块进行描述。
(4)计算视频子块权重向量也就是贡献率W，W＝[ω1,ω2,…,ωM]T，本例采用KNN的变型方法计算三个视频块在进行分类识别时的贡献率W＝[ω1,ω2,ω3]T，ωi表示在使用动态特征描述子对视频子块的特征进行描述时，第i个视频子块对于不同微表情类别的区分能力，视频块的权重ωi的值越大，表示对于同一个视频中该视频块在整个视频识别过程中的贡献越大。因此，视频块的贡献率ωi反映了在微表情发生时，该人脸区域所含有效信息的多少。ωi表示了在使用某种动态特征描述子对视频的特征进行描述时第i个视频子块对于各类不同微表情类别的区分能力。假定第i个训练集中不同个类别的样本点相互分开，同类别的样本点相互靠近。如果ωi趋于1，表明这个第i个视频子块对于识别来说是重要的。相反，若第i个视频子块所组成的训练集中，不同类别的样本点之间有重叠，那么计算得到的ωi就相对较小。也就是说，由该训练集对识别所产生的贡献就应该小些。
KNN的变型方法的具体实现步骤如下：
在获得的三个视频子集Yi(i＝1,2,3)，首先，计算第i个视频子集中的每一个视频子块的动态运动信息与该视频子集内其他的所有视频子块之间距离，可以采用欧式距离、切比雪夫距离、曼哈顿距离、余弦距离等表示，随后找到它的K个最近邻。那么第i个视频子集的权重可以通过下面的公式进行计算：
其中，Ki,n表示第i个视频子集中在K个最近邻视频中与所属同一类表情的视频个数。
本发明将动态微表***序列提取的运动特征与分块权重法、特征权重法结合起来，生成了加权的动态特征提取方法，加权的动态特征提取方法根据每个特征对识别效果的贡献率不同，赋予不同的权重，可以剔除噪声的影响，削弱光照不均等因素的影响，增加算法的鲁棒性，使得识别的效果有明显的提高。同时，加权的动态特征提取方法对视频序列进行分块，使得特征匹配的位置更加准确。此外，本发明通过提取视频序列的运动信息，在一定程度加深对微表情动态模式的理解。
步骤五：根据计算结果对视频序列进行分类和识别。
如图3所示，本例的识别和分类方法为：
A1：将预处理后的定长视频序列划分成训练集和测试集，利用步骤一到步骤五对测试集中划分出的所有测试视频子块和训练集中划分出的所有的训练视频子块进行描述，并计算每个训练视频子块到所有训练视频对应的子块之间的距离，本例结合模糊集理论提出了加权模糊分类法；
其中，训练集中的每个视频都是已经标定表情类别的视频，用于建立模型发现其规律，测试集中的每个视频都是未进行标定表情类别的视频，通过计算视频特征完成分类从而得到分类后的标签，将分类后的标签与视频自身所属的表情类别进行比较，计算监测这个模型的规律和训练集的误差等，从而确定这个规律是否正确。
当然，除了加权模糊分类法，本例也可以使用加权距离模糊分类法，或加权模糊支持向量机分类法等。
A2：对于测试集中的每一个测试视频所划分出的视频块，用加权模糊分类法进行模糊分类；
A3：计算出每个视频块对于所有训练视频的对应视频子块的隶属度ui,j，得到视频子块的分类结果，其中，i表示第i个训练视频，j表示第i个训练视频中第j个视频子块；
A4：对各个视频块得到的分类结果进行融合，得到每一个视频块的带有权重的分块隶属度σi,j和带有权重的总隶属度β；
A5：利用最大隶属度原则，对人脸图像的动态微表情进行分类。
其中，在步骤A3中，ui,j的计算公式为：其中，n＝1,2,…,N，N为训练视频的个数，t为模糊因子，disti,j表示第i个训练视频子集中的第j个训练视频子块的特征描述子与当前测试视的对应空间位置视频字块的特征描述子的距离，表示当前测试视频的对应空间位置的视频字块与第i个训练视频集中N个视频子块的平均距离。
在步骤A4中，所述视频块的带有权重的分块隶属度σi，j和带有权重的总隶属度β的计算公式如下：
σi,j＝ωi·ui,j,(i＝1,2,…,M,j＝1,2,…,N)，
其中，M为视频子集的个数，N为视频块的个数。
本发明将动态微表***序列提取的运动特征与分块权重法、特征权重法结合起来，生成了加权的动态特征提取方法，加权的动态特征提取方法根据每个特征对识别效果的贡献率不同，赋予不同的权重，可以剔除噪声的影响，削弱光照不均等因素的影响，增加算法的鲁棒性，使得识别的效果有明显的提高。同时，加权的动态特征提取方法对视频序列进行分块，使得特征匹配的位置更加准确。此外，本发明通过提取视频序列的运动信息，在一定程度加深对微表情动态模式的理解。
本发明具有以下创新点：
(1)本发明将微表情序列通过指定微表情起始帧、微表情峰值帧、微表情结束帧三帧微表情帧，通过插值算法将其插值成为一个定长微表***序列。使得微表情序列在时间上进行了归一化，方便之后的对视频序列进行特征描述。由于指定了微表情起始帧、微表情峰值帧、微表情结束帧三帧微表情帧使得插值后的图像更不容易发生插值错误。同时，插值之后进行一次精细对齐，消除帧间插值所引入的误差。
(2)本发明将动态微表情序列提取的运动特征与分块权重法、特征权重法结合起来，生成了加权的动态特征提取方法。加权的动态特征提取方法根据每个特征对识别效果的贡献率不同，赋予不同的权重，可以剔除噪声的影响，削弱光照不均等因素的影响，增加算法的鲁棒性使得识别的效果有明显的提高。
(3)加权的动态特征提取方法对视频序列进行分块，使得特征匹配的位置更加准确。
(4)加权的模糊分类法对视频子集进行模糊分类，计算隶属度，对每个子集的隶属度进行累加，依据隶属度最大原则，得到最终的分类结果，可以有效地降低样本的误识率，增加样本的鲁棒性。同时，采用了加权的模糊集理论，使得对微表情的分类更加的精确。
(5)利用连续的人脸微表***序列可以进行动态的微表情识别，在一定程度加深对微表情动态模式的理解。
以上所述之具体实施方式为本发明的较佳实施方式，并非以此限定本发明的具体实施范围，本发明的范围包括并不限于本具体实施方式，凡依照本发明所作的等效变化均在本发明的保护范围内。
Claims (9)
1.一种基于视频的动态微表情识别方法，其特征在于包括以下步骤：
步骤一：视频序列预处理；
步骤二：计算预处理后视频序列的一定数量的帧，用插值法定点插值到指定长度视频并进行精确对齐；
步骤三：将指定长度视频分成视频块，得到视频子集Y1,Y2,…,YM，其中，M为视频块的个数；
步骤四：提取视频子集的动态特征，计算视频子集的权重信息；
步骤五：根据计算结果对视频序列进行分类和识别。
2.根据权利要求1所述的动态微表情识别方法，其特征在于：在步骤一中，预处理方法包括彩色图像灰度化、直方图均衡化、使用仿射变换进行配准、尺寸归一化。
3.根据权利要求1所述的动态微表情识别方法，其特征在于：在步骤二中，计算预处理后视频序列的微表情起始帧、微表情峰值帧、微表情结束帧三帧。
4.根据权利要求3所述的动态微表情识别方法，其特征在于：步骤二用3D梯度投影法计算。
5.根据权利要求1-4任一项所述的动态微表情识别方法，其特征在于：步骤四的具体实现方法包括如下步骤：
(1)提取每个视频子集中所有视频子块的动态运动信息；
(2)分别计算视频子集中视频子块特征向量每维的权重；
(3)对视频子块进行特征描述：将步骤(1)中提取的所有视频子集中每个视频子块的动态运动信息与步骤(2)中计算的特征向量每维的权重相乘并进行累加得到视频子集中每个视频子块的最终动态信息描述子；
(4)计算视频子块权重向量W，W＝[ω1,ω2,…,ωM]T，其中，M为视频块的个数，ωi表示在使用动态特征描述子对视频子块的特征进行描述时，第i个视频子块对于不同微表情类别的区分能力。
6.根据权利要求5所述的动态微表情识别方法，其特征在于：步骤(1)的实现方法包括梯度法和光流法。
7.根据权利要求6所述的动态微表情识别方法，其特征在于：在步骤(1)中，采用时空梯度描述子HOG3D对所有视频子集提取HOG3D特征。
8.根据权利要求5所述的动态微表情识别方法，其特征在于：在步骤(4)中，采用了能够强化局部特征贡献的权重方法计算视频子块权重。
9.根据权利要求1-4任一项所述的动态微表情识别方法，其特征在于：在步骤五中，所述识别和分类方法为：
A1：将预处理后的定长视频序列划分成训练集和测试集，对测试集中划分出的所有测试视频子块和训练集中划分出的所有的训练视频子块进行描述，并计算每个测试视频子块到所有训练视频对应的子块之间的距离；
A2：对于测试集中的每一个测试视频所划分出的视频块，用加权模糊分类法进行模糊分类；
A3：计算出测试视频的每个视频块对于所有训练视频的对应视频子块的隶属度，得到视频子块的分类结果；
A4：对各个视频块得到的分类结果进行融合，得到每一个视频块的带有权重的分块隶属度和带有权重的总隶属度；
A5：利用最大隶属度原则，对人脸图像的动态微表情进行分类。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610265428.8A CN105913038B (zh) | 2016-04-26 | 2016-04-26 | 一种基于视频的动态微表情识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610265428.8A CN105913038B (zh) | 2016-04-26 | 2016-04-26 | 一种基于视频的动态微表情识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105913038A true CN105913038A (zh) | 2016-08-31 |
| CN105913038B CN105913038B (zh) | 2019-08-06 |
Family
ID=56752673
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610265428.8A Expired - Fee Related CN105913038B (zh) | 2016-04-26 | 2016-04-26 | 一种基于视频的动态微表情识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105913038B (zh) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106485228A (zh) * | 2016-10-14 | 2017-03-08 | 深圳市唯特视科技有限公司 | 一种基于视频面部表情的幼儿兴趣点分析方法 |
| CN106485227A (zh) * | 2016-10-14 | 2017-03-08 | 深圳市唯特视科技有限公司 | 一种基于视频面部表情的客户满意度分析方法 |
| CN106897671A (zh) * | 2017-01-19 | 2017-06-27 | 山东中磁视讯股份有限公司 | 一种基于光流和FisherVector编码的微表情识别方法 |
| CN106909907A (zh) * | 2017-03-07 | 2017-06-30 | 佛山市融信通企业咨询服务有限公司 | 一种视频通讯情感分析辅助*** |
| CN107358206A (zh) * | 2017-07-13 | 2017-11-17 | 山东大学 | 一种基于感兴趣区域的光流特征矢量模值和角度结合的微表情检测方法 |
| CN109190582A (zh) * | 2018-09-18 | 2019-01-11 | 河南理工大学 | 一种微表情识别的新方法 |
| CN109398310A (zh) * | 2018-09-26 | 2019-03-01 | 深圳万智联合科技有限公司 | 一种无人驾驶汽车 |
| CN109508644A (zh) * | 2018-10-19 | 2019-03-22 | 陕西大智慧医疗科技股份有限公司 | 基于深度视频数据分析的面瘫等级评估*** |
| CN110037693A (zh) * | 2019-04-24 | 2019-07-23 | 中央民族大学 | 一种基于面部表情和eeg的情绪分类方法 |
| CN110197107A (zh) * | 2018-08-17 | 2019-09-03 | 平安科技（深圳）有限公司 | 微表情识别方法、装置、计算机设备及存储介质 |
| CN110532911A (zh) * | 2019-08-19 | 2019-12-03 | 南京邮电大学 | 协方差度量驱动小样本gif短视频情感识别方法及*** |
| CN110598608A (zh) * | 2019-09-02 | 2019-12-20 | 中国航天员科研训练中心 | 非接触式与接触式协同的心理生理状态智能监测*** |
| CN110688874A (zh) * | 2018-07-04 | 2020-01-14 | 杭州海康威视数字技术股份有限公司 | 人脸表情识别方法及其装置、可读存储介质和电子设备 |
| CN111274978A (zh) * | 2020-01-22 | 2020-06-12 | 广东工业大学 | 一种微表情识别方法及装置 |
| WO2020119058A1 (zh) * | 2018-12-13 | 2020-06-18 | 平安科技（深圳）有限公司 | 微表情描述方法、装置、计算机装置及可读存储介质 |
| CN111652159A (zh) * | 2020-06-05 | 2020-09-11 | 山东大学 | 基于多层次特征联合的微表情识别方法及*** |
| CN111832351A (zh) * | 2019-04-18 | 2020-10-27 | 杭州海康威视数字技术股份有限公司 | 一种事件检测方法、装置和计算机设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103258204A (zh) * | 2012-02-21 | 2013-08-21 | 中国科学院心理研究所 | 一种基于Gabor和EOH特征的自动微表情识别方法 |
| US8848068B2 (en) * | 2012-05-08 | 2014-09-30 | Oulun Yliopisto | Automated recognition algorithm for detecting facial expressions |
| CN104298981A (zh) * | 2014-11-05 | 2015-01-21 | 河北工业大学 | 人脸微表情的识别方法 |
| CN104933416A (zh) * | 2015-06-26 | 2015-09-23 | 复旦大学 | 基于光流场的微表情序列特征提取方法 |
-
2016
- 2016-04-26 CN CN201610265428.8A patent/CN105913038B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103258204A (zh) * | 2012-02-21 | 2013-08-21 | 中国科学院心理研究所 | 一种基于Gabor和EOH特征的自动微表情识别方法 |
| US8848068B2 (en) * | 2012-05-08 | 2014-09-30 | Oulun Yliopisto | Automated recognition algorithm for detecting facial expressions |
| CN104298981A (zh) * | 2014-11-05 | 2015-01-21 | 河北工业大学 | 人脸微表情的识别方法 |
| CN104933416A (zh) * | 2015-06-26 | 2015-09-23 | 复旦大学 | 基于光流场的微表情序列特征提取方法 |
Non-Patent Citations (1)
| Title |
|---|
| SZE-TENG LIONG，ET AL.: "Subtle Expression Recognition Using Optical Strain Weighted Features", 《COMPUTER VISION-ACCV 2014 WORKSHOPS》 * |
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106485227A (zh) * | 2016-10-14 | 2017-03-08 | 深圳市唯特视科技有限公司 | 一种基于视频面部表情的客户满意度分析方法 |
| CN106485228A (zh) * | 2016-10-14 | 2017-03-08 | 深圳市唯特视科技有限公司 | 一种基于视频面部表情的幼儿兴趣点分析方法 |
| CN106897671A (zh) * | 2017-01-19 | 2017-06-27 | 山东中磁视讯股份有限公司 | 一种基于光流和FisherVector编码的微表情识别方法 |
| CN106909907A (zh) * | 2017-03-07 | 2017-06-30 | 佛山市融信通企业咨询服务有限公司 | 一种视频通讯情感分析辅助*** |
| CN107358206A (zh) * | 2017-07-13 | 2017-11-17 | 山东大学 | 一种基于感兴趣区域的光流特征矢量模值和角度结合的微表情检测方法 |
| CN107358206B (zh) * | 2017-07-13 | 2020-02-18 | 山东大学 | 一种基于感兴趣区域光流特征的微表情检测方法 |
| CN110688874A (zh) * | 2018-07-04 | 2020-01-14 | 杭州海康威视数字技术股份有限公司 | 人脸表情识别方法及其装置、可读存储介质和电子设备 |
| CN110688874B (zh) * | 2018-07-04 | 2022-09-30 | 杭州海康威视数字技术股份有限公司 | 人脸表情识别方法及其装置、可读存储介质和电子设备 |
| CN110197107B (zh) * | 2018-08-17 | 2024-05-28 | 平安科技（深圳）有限公司 | 微表情识别方法、装置、计算机设备及存储介质 |
| CN110197107A (zh) * | 2018-08-17 | 2019-09-03 | 平安科技（深圳）有限公司 | 微表情识别方法、装置、计算机设备及存储介质 |
| CN109190582A (zh) * | 2018-09-18 | 2019-01-11 | 河南理工大学 | 一种微表情识别的新方法 |
| CN109190582B (zh) * | 2018-09-18 | 2022-02-08 | 河南理工大学 | 一种微表情识别的新方法 |
| CN109398310A (zh) * | 2018-09-26 | 2019-03-01 | 深圳万智联合科技有限公司 | 一种无人驾驶汽车 |
| CN109508644A (zh) * | 2018-10-19 | 2019-03-22 | 陕西大智慧医疗科技股份有限公司 | 基于深度视频数据分析的面瘫等级评估*** |
| WO2020119058A1 (zh) * | 2018-12-13 | 2020-06-18 | 平安科技（深圳）有限公司 | 微表情描述方法、装置、计算机装置及可读存储介质 |
| CN111832351A (zh) * | 2019-04-18 | 2020-10-27 | 杭州海康威视数字技术股份有限公司 | 一种事件检测方法、装置和计算机设备 |
| CN110037693A (zh) * | 2019-04-24 | 2019-07-23 | 中央民族大学 | 一种基于面部表情和eeg的情绪分类方法 |
| CN110532911B (zh) * | 2019-08-19 | 2021-11-26 | 南京邮电大学 | 协方差度量驱动小样本gif短视频情感识别方法及*** |
| CN110532911A (zh) * | 2019-08-19 | 2019-12-03 | 南京邮电大学 | 协方差度量驱动小样本gif短视频情感识别方法及*** |
| CN110598608A (zh) * | 2019-09-02 | 2019-12-20 | 中国航天员科研训练中心 | 非接触式与接触式协同的心理生理状态智能监测*** |
| CN110598608B (zh) * | 2019-09-02 | 2022-01-14 | 中国航天员科研训练中心 | 非接触式与接触式协同的心理生理状态智能监测*** |
| CN111274978A (zh) * | 2020-01-22 | 2020-06-12 | 广东工业大学 | 一种微表情识别方法及装置 |
| CN111274978B (zh) * | 2020-01-22 | 2023-05-09 | 广东工业大学 | 一种微表情识别方法及装置 |
| CN111652159A (zh) * | 2020-06-05 | 2020-09-11 | 山东大学 | 基于多层次特征联合的微表情识别方法及*** |
| CN111652159B (zh) * | 2020-06-05 | 2023-04-14 | 山东大学 | 基于多层次特征联合的微表情识别方法及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105913038B (zh) | 2019-08-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105913038A (zh) | 一种基于视频的动态微表情识别方法 | |
| CN103679158B (zh) | 人脸认证方法和装置 | |
| CN105160317B (zh) | 一种基于区域分块行人性别识别方法 | |
| Quan et al. | Lacunarity analysis on image patterns for texture classification | |
| CN102938065B (zh) | 基于大规模图像数据的人脸特征提取方法及人脸识别方法 | |
| CN107085716A (zh) | 基于多任务生成对抗网络的跨视角步态识别方法 | |
| CN106529477B (zh) | 基于显著轨迹和时空演化信息的视频人体行为识别方法 | |
| CN101908149A (zh) | 一种从人脸图像序列中识别脸部表情的方法 | |
| CN104537356B (zh) | 利用瑞士轮排序进行步态识别的行人再标识方法和装置 | |
| CN112149758B (zh) | 一种基于欧式距离和深度学习的高光谱开放集分类方法 | |
| Xu et al. | Real-time pedestrian detection based on edge factor and Histogram of Oriented Gradient | |
| CN103279768A (zh) | 一种基于增量学习人脸分块视觉表征的视频人脸识别方法 | |
| CN102034267A (zh) | 基于关注度的目标物三维重建方法 | |
| CN102184384A (zh) | 一种基于多尺度局部相位量化特征的人脸识别方法 | |
| CN106295532A (zh) | 一种视频图像中的人体动作识别方法 | |
| CN104794446B (zh) | 基于合成描述子的人体动作识别方法及*** | |
| CN107590427A (zh) | 基于时空兴趣点降噪的监控视频异常事件检测方法 | |
| CN111091057A (zh) | 一种信息处理方法、装置及计算机可读存储介质 | |
| Xu et al. | Action recognition by saliency-based dense sampling | |
| CN110728214B (zh) | 一种基于尺度匹配的弱小人物目标检测方法 | |
| CN107609464A (zh) | 一种实时高精度人脸快速检测方法 | |
| Jan et al. | Automatic 3D facial expression recognition using geometric and textured feature fusion | |
| CN106127813B (zh) | 基于视觉感知能量的监控视频运动片段分割方法 | |
| CN102129557A (zh) | 一种基于lda子空间学习的人脸识别方法 | |
| Tu et al. | Robust real-time attention-based head-shoulder detection for video surveillance |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190806 |