CN111597864A - 基于累积光流加权特征的微表情识别方法 - Google Patents

基于累积光流加权特征的微表情识别方法 Download PDF

Info

Publication number
CN111597864A
CN111597864A CN201910129226.4A CN201910129226A CN111597864A CN 111597864 A CN111597864 A CN 111597864A CN 201910129226 A CN201910129226 A CN 201910129226A CN 111597864 A CN111597864 A CN 111597864A
Authority
CN
China
Prior art keywords
video
image
micro
original face
optical flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910129226.4A
Other languages
English (en)
Inventor
王磊
肖海
刘熙尧
梁毅雄
廖胜辉
邹北骥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN201910129226.4A priority Critical patent/CN111597864A/zh
Publication of CN111597864A publication Critical patent/CN111597864A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于累积光流加权特征的微表情识别方法，包括如下步骤：步骤A：对输入视频中的各图像进行预处理；步骤B：对经过步骤A预处理的视频图像进行光流提取，并将光流进行累加以获得累积光流图；步骤C：由步骤B获得的累积光流图计算出反应面部各个区域运动强度的权重矩阵；步骤D：对原始视频提取LBPTOP特征。使用步骤C计算出的权重矩阵对相应位置的LBPTOP特征进行加权已获得最后的分类特征；步骤E：以分类特征作为输入，训练出一个用于识别微表情的分类器，对于每一个新的视频，通过步骤A、B、C、D提取出特征向量后，送入训练好的分类器进行分类预测，实现微表情自动识别。本发明识别准确率高。

Description

基于累积光流加权特征的微表情识别方法
技术领域
本发明属于计算机视觉领域，具体涉及一种基于累积光流加权特征的微表情自动识别技术。
背景技术
微表情作为一种人类在试图隐藏某种感情时无意识做出的、短暂的面部表情。由于其仅受潜意识控制，无法自主控制的特点，微表情在心理学、情感监测、国家安全等领域都有巨大的潜在价值。随着计算机视觉技术的发展，使用计算机视觉技术自动识别微表情作为一个重要课题受到很多研究者的关注。但是由于微表情的生理学特性，微表情识别中存在很多技术挑战。微表情的运动强度低，持续时间短，发生区域小，只有经过专业训练的人员才能良好地识别出微表情。但是人工识别微表情需要专业人员花费大量的时间成本，同时由于微表情运动十分细微，人工识别时极易出现错误，因此，研究微表情自动识别技术尤为重要。
目前大多微表情自动识别技术使用的是传统的图像分类技术的思路，主要是先对图像各个区域进行时空特征提取，再将时空特征送入分类器进行分类。时空特征能够记录视频图像中微表情的运动信息。这种微表情识别方法一般将视频图像等分成若干区域，然后提取每个区域的特征向量拼接起来作为此图像的整体特征向量。Liong.等人根据微表情发生区域小的特点，提出了一种区域特征加权的方法，根据视频图像中各个区域的运动强度计算出一个权重矩阵，再利用矩阵中的权重对相应区域的特征进行加权，以加强微表情发生区域的特征。
但是微表情的运动强度十分微弱，计算权重时很容易受到图像噪声的影响。因为微表情的运动强度十分微弱，其发生区域的权重本身不会很大，而这时图像噪声也会是图像上部分区域产生微弱的运动，从而使这些区域也存在较小的权重，对原本就不大的微表情发生区域的权重会产生很大影响。所以相较于常规图像识别问题，图像噪声在微表情识别中会造成更大的影响。
这此背景下，研究一种能够良好的抵抗噪音对微弱的微表情运动干扰的微表情识别方法显得尤为重要。
发明内容
本发明要解决的技术问题是提供一种基于累积光流加权特征的微表情识别方法，以降低图像噪音在微表情识别时带来的干扰，从而实现更好的微表情识别效果。
本发明所采用的技术方案如下：
一种基于累积光流加权特征的微表情识别方法，该方法包括以下步骤：
首先，针对样本集中的每一个样本,即已知分类标签的原始面部视频，分别提取其分类特征，将样本的分类特征作为分类器的输入，样本的微表情分类标签作为分类器的输出，训练出一个用于识别微表情的分类器；
然后，针对待识别的原始面部视频，先提取其分类特征，再将其特征送入训练好的分类器中进行分类，得到微表情识别结果；
对任一原始面部视频，提取其分类特征的方法包括以下步骤：
步骤A：对该原始面部视频进行预处理；
步骤B：对预处理后的视频提取光流，并对光流进行累加以获得累积光流图；
步骤C：由步骤B获得的累积光流图计算出反应面部各个区域运动强度的权重矩阵；
步骤D：对该原始面部视频提取LBPTOP特征；使用步骤C计算出的权重矩阵对相应位置的LBPTOP特征进行加权，加权后的LBPTOP特征即为原始面部视频的特征。
进一步地，所述步骤A包括对原始面部视频进行对齐、剪切等预处理操作，以消除不同原始面部视频中的面部尺度差异和头部运动等因素带来的视频间的差异因素。所述对齐处理是使用图像变换方程对各个原始面部视频图像进行变换，使其与同一模板图像对齐，从而使所有面部视频图像对齐；对于任一原始面部视频，其对齐处理包括以下步骤：
A5)使用ASM(Active Shape Models，主动形状模型)方法对模板图像Pmod的68个面部特征点进行检测，检测结果记为ψ(Pmod)；
A6)使用ASM方法对该原始面部视频的第一帧图像P1进行68个面部特征点检测，检测结果记为ψ(P1)；
A7)使用局部加权平均算法(LWM)计算出P1与模板图像Imod之间的变换矩阵TRAN，计算公式如下：
TRAN＝LWM(ψ(Pmod),ψ(P1))；
A8)对该原始面部视频中的每一帧图像分别使用步骤3)中计算出的变换矩阵TRAN进行处理，处理公式如下：
Pj′＝TRAN×Pj,j＝1,2,...,J
其中，Pj表示该原始面部视频中的第j帧图像，Pj′表示Pj经过变换矩阵TRAN处理后得到的图像，J为该原始面部视频中包含的图像的帧数。
进一步地，所述剪切处理为：对Pj′，根据其中眼睛的位置定义一个特定大小的矩形将面部区域截取下来，截取下来的面部区域用到后续步骤中。
进一步地，选取某个样本的第一帧面部图像作为模板图像Pmod。
进一步地，所述步骤B通过将光流表达的运动信息累加，使运动方向随机的图像噪音相互抵消从而减弱，而运动方向一致的面部运动则会得到加强，其具体步骤如下：
B3)对归一化后的视频中的各帧图像，计算其对应的光流F(x,y)，用于表示视频图像中的运动信息；
光流计算中为了保证计算出的是图像中的运动信息，有以下三个假设：亮度不变性、无剧烈运动、临近点速度一致；在这三个条件的约束下建立并求解光流的梯度方程(光流约束方程)：
Ixu+Iyv+It＝0
其中，
Figure BDA0001974687250000031
分别是光流F(x,y)沿x和y方向的分量，F(x,y)＝(u,v)；I(x,y,t)是图像上像素点(x,y)在时刻t的亮度，
Figure BDA0001974687250000032
分别是亮度I对x、y和t的偏导数(梯度)；对于视频中的第j帧图像，其对应的各个参数值可通过它和它后一帧图像的灰度信息计算得到；光流F(x,y)的计算为现有技术；
将视频中第j帧图像对应的光流记为Fj(x,y)，其中j＝2,3,…,J；
B4)将视频中各帧图像对应的光流进行分段累加，获得累积光流图：
Figure BDA0001974687250000041
其中，Ck(x,y)表示第k个分段的累积光流图；k＝1,2,…,S，S为视频的总分段数，由原始面部视频中包含的图像的帧数决定；D代表每个分段的长度；将带有运动信息的光流累积(即向量相加)，噪声造成的随机方向运动有一部分会相互抵消，而表情造成的方向一致的运动则会相互叠加产生更大的值。
进一步地，步骤C根据步骤B中得到的累积光流图Ck(x,y)计算出用于加权LBPTOP特征的权重矩阵。具体步骤如下：
C5)首先将累积光流图Ck(x,y)平均分成N×M个小块，每个小块的大小为H×W，其中H为平均分出的小块的高，其大小为视频图像的高除以N；W为平均分出小块的宽，其大小为视频图像的宽除以M；
C6)计算出每一个小块中所有像素的光流强度之和：
Figure BDA0001974687250000042
其中，
Figure BDA0001974687250000043
和
Figure BDA0001974687250000044
分别为Ck(x,y)的水平运动量和垂直运动量，即
Figure BDA0001974687250000045
Mn,m表示累积光流图上坐标为(n,m)的小块中所有像素的光流强度之和，n＝1,2,…,N，m＝1,2,…,M；
C7)对Mn,m进行归一化处理，得到每个小块的权重：
Figure BDA0001974687250000046
其中，Wn,m图像上坐标为(n,m)的小块的权重，max()是最大值函数；通过归一化处理，将Mn,m的值归一化到[0,1]之内；
C8)将Wn,m作为权重矩阵W的(n,m)元，构建权重矩阵W。
进一步地，步骤D提取LBPTOP特征，再乘以权重以获得最后的加权特征。具体步骤如下：
D1)对原始面部视频进行处理，使其包含的图像的帧数为设定帧数Z；若原始面部视频中包含的图像的帧数小于Z，则采用时间插值算法增加图像帧，若原始面部视频中包含的图像的帧数超过Z，则对其图像帧进行删减，使其包含的图像帧数等于Z；
D2)将步骤D1)得到的视频在空间上分成对应于权重矩阵大小的N×M个视频小块，每个视频小块的大小为H×W×T，其中T为视频小块包含的图像帧数；对于每个视频小块，从中提取LBPTOP特征；LBPTOP特征是LBP从二维空间到三维空间的拓展，LBPTOP的全称为:local binary patterns from three orthogonal planes,这里的three orthogonalplanes指的就是三个正交平面，即xy平面、xt平面和yt平面。其计算方法如下：
Figure BDA0001974687250000051
其中，Hn,m,b,p表示视频中坐标为(l,m)的视频小块的LBPTOP特征，其维度为(nb+1)×3，fp(x,y,t)表示像素点(x,y,t)在第p个平面中的LBP值，b＝0,1,...,nb，nb是LBP值的最大值，LBP值的种类数为nb+1；p＝0,1,2分别对应xy平面、xt平面和yt平面；I{A}为判断函数：
Figure BDA0001974687250000052
D3)将Hn,m,b,p乘以对应的权重Mn,m，获得加权特征Gn,m,b,p；
D4)将Gn,m,b,p作为特征G的(n,m,b,p)元，得到最后的特征G，即为原始面部视频的分类特征，其维度为N×M×(nb+1)×3。
进一步地，所述步骤D2)中，采用等价模式的LBP值，即对各像素点，先采用圆形邻域半径为R，采样点个数为P的LBP算子计算得到其二进制LBP编码；为降低LBP特征的维度，再采用等价模式对LBP编码进行转换，得到其对应的等价模式的LBP值，本方法做出了如下的参数选择：采样点个数P设置为8，xy平面中圆形邻域半径R设置为1，xt平面和yt平面中圆形邻域半径R设置为2，模式种类数＝P(P-1)+2＝58，将58种等价模式分别编码为1-58，除了等价模式类之外的混合模式类编码为0，得到LBP值的种类数为59，每个小块的LBPTOP特征维度为177。
进一步地，由于分类特征维数较高，本方法选择线性SVM作为分类器。
本发明利用面部运动产生的位移的运动方向一致而图像噪音产生的位移方向随机这一原理，设计了一种基于累积光流的权重计算方法，使用该权重对LBPTOP特征加权后降低了噪音在特征表现微表情运动时产生的影响，增强了特征对于微表情的鉴别性，从而提高了微表情自动识别的准确率。
有益效果
本发明公开了一种基于累积光流加权特征的微表情识别方法，包括如下步骤：步骤A：对输入视频中的各图像进行预处理以去除面部大小差异等因素对识别的影响；步骤B：对经过步骤A预处理的视频图像进行光流提取，并将光流进行累加以获得累积光流图；步骤C：由步骤B获得的累积光流图计算出反应面部各个区域运动强度的权重矩阵；步骤D：对原始视频提取LBPTOP时空特征。使用步骤C计算出的权重矩阵对相应位置的LBPTOP特征直方图进行加权已获得最后的加权特征向量；步骤E：以步骤D中得到的加权后的特征向量作为输入，使用线性SVM训练出一个用于识别微表情的分类器；该方法可以有效的进行微表情自动识别，不需要心理学专业人士来进行微表情识别。该方法通过光流的时序累加，使微表情运动产生的一致性运动与图像噪音产生的随机运动区分开来，从而使得在进行基于运动强度的权重计算时减少了噪音的干扰，以获得更精确的描述运动强度的权重，使特征向量中产生微表情的部分得到更好的加强。经过加权后的向量对微表情有更好的鉴别性。
附图说明
图1为本发明流程图；
图2为本发明实施例中获取累积光流权重矩阵的流程图；
图3为实施例1得到的部分光流图；
图4为实施例1的某一累积光流图；
图5为实施例1的累积光流强度图；
图6为实施例1的的权重矩阵图；
具体实施方式
下面结合附图对本发明做进一步说明：
实施例1：
本实施例中的训练样本由246个样本组成，246个样本被分为5类，即快乐、厌恶、惊喜、压抑和其他。训练样本来自中国科学院心理研究所发布的微表情公开数据集CASME2。
如图1所示，本发明公开了一种基于累积光流加权特征的微表情识别方法，该方法包括以下步骤：
首先，针对样本集中的每一个样本,即已知分类标签的原始面部视频，分别提取其分类特征，将样本的分类特征作为分类器的输入，样本的微表情分类标签作为分类器的输出，训练出一个用于识别微表情的分类器；
然后，针对待识别的原始面部视频，先提取其分类特征，再将其特征送入训练好的分类器中进行分类，得到微表情识别结果；
对任一原始面部视频，提取其分类特征的方法包括以下步骤：
步骤A：对该原始面部视频进行预处理；包括对原始面部视频进行对齐、剪切等预处理操作，对齐处理包括以下步骤：
A1)选取某个样本的第一帧面部图像作为模板图像Pmod，使用ASM(Active ShapeModels，主动形状模型)方法对模板图像Pmod的68个面部特征点进行检测，检测结果记为ψ(Pmod)；
A2)使用ASM方法对该原始面部视频的第一帧图像P1进行68个面部特征点检测，检测结果记为ψ(P1)；
A3)使用局部加权平均算法(LWM)计算出P1与模板图像Imod之间的变换矩阵TRAN，计算公式如下：
TRAN＝LWM(ψ(Pmod),ψ(P1))；
A4)对该原始面部视频中的每一帧图像分别使用步骤3)中计算出的变换矩阵TRAN进行处理，处理公式如下：
Pj′＝TRAN×Pj,j＝1,2,...,J
其中，Pj表示该原始面部视频中的第j帧图像，Pj′表示Pj经过变换矩阵TRAN处理后得到的图像，J为该原始面部视频中包含的图像的帧数。
剪切处理为：对Pj′，根据其中眼睛的位置定义一个特定大小的矩形将面部区域截取下来，截取下来的面部区域用到后续步骤中。本实施例的视频中图像帧数为41帧。原图大小为480×640经过预处理后的图像大小为231×282。
步骤B：对预处理后的视频提取光流，并对光流进行累加以获得累积光流图，其具体步骤如下：
B1)对归一化后的视频中的各帧图像，计算其对应的光流F(x,y)，用于表示视频图像中的运动信息；
光流计算中为了保证计算出的是图像中的运动信息，有以下三个假设：亮度不变性、无剧烈运动、临近点速度一致；在这三个条件的约束下建立并求解光流的梯度方程(光流约束方程)：
Ixu+Iyv+It＝0
其中，
Figure BDA0001974687250000091
分别是光流F(x,y)沿x和y方向的分量，F(x,y)＝(u,v)；I(x,y,t)是图像上像素点(x,y)在时刻t的亮度，
Figure BDA0001974687250000092
分别是亮度I对x、y和t的偏导数(梯度)；对于视频中的第j帧图像，其对应的各个参数值可通过它和它后一帧图像的灰度信息计算得到；光流F(x,y)的计算为现有技术；
将视频中第j帧图像对应的光流记为Fj(x,y)，其中j＝1,2,…,J-1；由于此输入视频有41帧，光流计算是在每相邻的两帧之间的，所以最后获得40帧光流图。本实施例得到的部分光流图像如图3所示。
B2)将视频中各帧图像对应的光流进行分段累加，获得累积光流图：
Figure BDA0001974687250000093
其中，Ck(x,y)表示第k个分段的累积光流图；k＝1,2,…,S，S为视频的总分段数，由原始面部视频中包含的图像的帧数决定，
Figure BDA0001974687250000094
若
Figure BDA0001974687250000095
不是整数，则最后一个分段的累积光流图
Figure BDA0001974687250000096
D代表每个分段的长度，本实施例中设置D＝5；原始视频有41帧，可以算出40帧光流，每个分段的长度D为5时，总分段数S就为8。本实施例得到的一个累积光流图像如图4所示。
步骤C：由步骤B获得的累积光流图计算出反应面部各个区域运动强度的权重矩阵；
具体步骤如下：
C1)首先将累积光流图Ck(x,y)平均分成N×M个小块，每个小块的大小为H×W，其中H为平均分出的小块的高，其大小为视频图像的高除以N；W为平均分出小块的宽，其大小为视频图像的宽除以M，除不尽的情况向下取整；本实施例中设置N＝M＝6，由于预处理后图像为231×282，所以H＝38,W＝47。
C2)计算出每一个小块中所有像素的光流强度之和：
Figure BDA0001974687250000101
其中，Mn,m表示累积光流图上坐标为(n,m)的小块中所有像素的光流强度之和，n＝1,2,…,N，m＝1,2,…,M；
Figure BDA0001974687250000102
和
Figure BDA0001974687250000103
分别为Ck(x,y)的水平运动量和垂直运动量，即
Figure BDA0001974687250000104
本实施例得到的累积光流强度如图5所示；
C3)对Mn,m进行归一化处理，得到每个小块的权重：
Figure BDA0001974687250000105
其中，Wn,m图像上坐标为(n,m)的小块的权重，max()是最大值函数；通过归一化处理，将Mn,m的值归一化到[0,1]之内；
C4)将Wn,m作为权重矩阵W的(n,m)元，由此得到一个6×6权重矩阵W，本实施例得到的权重矩阵如图6所示。
步骤D：对该原始面部视频提取LBPTOP特征；使用步骤C计算出的权重矩阵对相应位置的LBPTOP特征进行加权，加权后的LBPTOP特征即为原始面部视频的特征；具体步骤如下：
D1)对原始面部视频进行处理，使其包含的图像的帧数为设定帧数Z，以去除视频时间长短不一对分类效果进行影响；若原始面部视频中包含的图像的帧数小于Z，则采用时间插值算法增加图像帧，若原始面部视频中包含的图像的帧数超过Z，则对其图像帧进行删减，使其包含的图像帧数等于Z；本实施例中设置Z＝10；
D2)将步骤D1)得到的视频在空间上分成对应于权重矩阵大小的N×M个视频小块，每个视频小块的大小为H×W×T，其中T为视频小块包含的图像帧数；对于每个视频小块，从中提取LBPTOP特征；LBPTOP特征是LBP从二维空间到三维空间的拓展，LBPTOP的全称为:local binary patterns from three orthogonal planes,这里的three orthogonalplanes指的就是三个正交平面，即xy平面、xt平面和yt平面。其计算方法如下：
Figure BDA0001974687250000106
其中，Hn,m,b,p Hl,m,b,p表示视频中坐标为(l,m)的视频小块的LBPTOP特征，其维度为(nb+1)×3，fp(x,y,t)表示像素点(x,y,t)在第p个平面中的LBP编码，b＝0,1,...,nb，nb是LBP值的最大值，LBP值的种类数为nb+1；p＝0,1,2分别对应xy平面、xt平面和yt平面；I{A}为判断函数：
Figure BDA0001974687250000111
D3)将Hn,m,b,p乘以对应的权重Mn,m，获得加权特征Gn,m,b,p；
D4)将Gn,m,b,p作为特征G的(n,m,b,p)元，得到最后的特征G，即为原始面部视频的特征，其维度为N×M×(nb+1)×3。
本实施例中采用等价模式的LBP值，即对各像素点，先采用圆形邻域半径为R，采样点个数为P的LBP算子计算得到其二进制LBP编码；为降低LBP特征的维度，再采用等价模式对LBP编码进行转换，得到其对应的等价模式的LBP值，本方法做出了如下的参数选择：采样点个数P设置为8，xy平面中圆形邻域半径R设置为1，xt平面和yt平面中圆形邻域半径R设置为2，模式种类数＝P(P-1)+2＝58，将58种等价模式分别编码为1-58，除了等价模式类之外的混合模式类编码为0，得到LBP值的种类数为59，每个小块的LBPTOP特征维度为177。
将测试视频的特征G作为训练好的分类器的输入进行分类预测，结果表明，预测结果符合测试视频中表情的内容，本发明能够准确进行微表情的识别。
需要说明的是，以上公开的仅为本发明的具体实例，根据本发明提供的思想，本领域的技术人员能思及的变化，都应落入本发明的保护范围内。

Claims (8)

1.一种基于累积光流加权特征的微表情识别方法，其特征在于，包括以下步骤：
首先，针对样本集中的每一个样本,即已知分类标签的原始面部视频，分别提取其分类特征，将样本的分类特征作为分类器的输入，样本的微表情分类标签作为分类器的输出，训练出一个用于识别微表情的分类器；
然后，针对待识别的原始面部视频，先提取其分类特征，再将其特征送入训练好的分类器中进行分类，得到微表情识别结果；
对任一原始面部视频，提取其分类特征的方法包括以下步骤：
步骤A：对该原始面部视频进行预处理；
步骤B：对预处理后的视频提取光流，并对光流进行累加以获得累积光流图；
步骤C：由步骤B获得的累积光流图计算出反应面部各个区域运动强度的权重矩阵；
步骤D：对该原始面部视频提取LBPTOP特征；使用步骤C计算出的权重矩阵对相应位置的LBPTOP特征进行加权，加权后的LBPTOP特征即为原始面部视频的分类特征。
2.根据权利要求1所述的基于累积光流加权特征的微表情识别方法，其特征在于，所述步骤A包括对原始面部视频进行对齐处理和剪切处理；对齐处理包括以下步骤：
A1)使用ASM方法对模板图像Pmod的68个面部特征点进行检测，检测结果记为ψ(Pmod)；
A2)使用ASM方法对该原始面部视频的第一帧图像P1进行68个面部特征点检测，检测结果记为ψ(P1)；
A3)使用局部加权平均算法计算出P1与模板图像Imod之间的变换矩阵TRAN，计算公式如下：
TRAN＝LWM(ψ(Pmod),ψ(P1))；
A4)对该原始面部视频中的每一帧图像分别使用步骤3)中计算出的变换矩阵TRAN进行处理，处理公式如下：
Pj′＝TRAN×Pj,j＝1,2,...,J
其中，Pj表示该原始面部视频中的第j帧图像，Pj′表示Pj经过变换矩阵TRAN处理后得到的图像，J为该原始面部视频中包含的图像的帧数；
所述剪切处理为：对Pj′，根据其中眼睛的位置定义一个特定大小的矩形将面部区域截取下来。
3.根据权利要求1所述的基于累积光流加权特征的微表情识别方法，其特征在于，所述步骤A1)中，选取某个样本的第一帧面部图像作为模板图像Pmod。
4.根据权利要求1所述的基于累积光流加权特征的微表情识别方法，其特征在于，所述步骤B具体步骤如下：
B1)对归一化后的视频中的各帧图像，计算其对应的光流F(x,y)；
根据亮度不变性、无剧烈运动、临近点速度一致建立并求解光流的梯度方程：
Ixu+Iyv+It＝0
其中，
Figure FDA0001974687240000021
分别是光流F(x,y)沿x和y方向的分量；I(x,y,t)是图像上像素点(x,y)在时刻t的亮度，
Figure FDA0001974687240000022
分别是亮度I对x、y和t的偏导数(梯度)；
得到(u,v)的解，即为F(x,y)；
将视频中第j帧图像对应的光流记为Fj(x,y)，其中j＝2,3,…,J；
B2)将视频中各帧图像对应的光流进行分段累加，获得累积光流图：
Figure FDA0001974687240000023
其中，Ck(x,y)表示第k个分段的累积光流图；k＝1,2,…,S，S为视频的总分段数；D代表每个分段的长度。
5.根据权利要求1所述的基于累积光流加权特征的微表情识别方法，其特征在于，步骤C具体步骤如下：
C1)首先将累积光流图Ck(x,y)平均分成N×M个小块，每个小块的大小为H×W，其中H为平均分出的小块的高，W为平均分出小块的宽；
C2)计算出每一个小块中所有像素的光流强度之和：
Figure FDA0001974687240000031
其中，
Figure FDA0001974687240000032
和
Figure FDA0001974687240000033
分别为Ck(x,y)的水平运动量和垂直运动量，即
Figure FDA0001974687240000034
Mn,m表示累积光流图上坐标为(n,m)的小块中所有像素的光流强度之和，n＝1,2,…,N，m＝1,2,…,M；
C3)对Mn,m进行归一化处理，得到每个小块的权重：
Figure FDA0001974687240000035
其中，Wn,m图像上坐标为(n,m)的小块的权重，max()是最大值函数；通过归一化处理，将Mn,m的值归一化到[0,1]之内；
C4)将Wn,m作为权重矩阵W的(n,m)元，得到权重矩阵W。
6.根据权利要求1所述的基于累积光流加权特征的微表情识别方法，其特征在于，步骤D具体步骤如下：
D1)对原始面部视频进行处理，使其包含的图像的帧数为设定帧数Z；
D2)将步骤D1)得到的视频在空间上分成对应于权重矩阵大小的N×M个视频小块，每个视频小块的大小为H×W×T，其中T为视频小块包含的图像帧数；对于每个视频小块，计算其LBPTOP特征，计算方法如下：
Figure FDA0001974687240000036
其中，Hn,m,b,p表示视频中坐标为(l,m)的视频小块的LBPTOP特征，其维度为(nb+1)×3，fp(x,y,t)表示像素点(x,y,t)在第p个平面中的LBP值，b＝0,1,...,nb，nb是LBP值中的最大值；p＝0,1,2分别对应xy平面、xt平面和yt平面；I{A}为判断函数：
Figure FDA0001974687240000041
D3)将Hn,m,b,p乘以对应的权重Mn,m，获得加权特征Gn,m,b,p；
D4)将Gn,m,b,p作为特征G的(n,m,b,p)元，得到最后的特征G，即为原始面部视频的分类特征，其维度为N×M×(nb+1)×3。
7.根据权利要求1所述的基于累积光流加权特征的微表情识别方法，其特征在于，所述步骤D2)中，采用等价模式的LBP值，即对各像素点，先采用圆形邻域半径为R，采样点个数为P的LBP算子计算得到其二进制LBP编码；再采用等价模式对LBP编码进行转换，得到其对应的等价模式的LBP值。
8.根据权利要求1所述的基于累积光流加权特征的微表情识别方法，其特征在于，选择线性SVM作为分类器。
CN201910129226.4A 2019-02-21 2019-02-21 基于累积光流加权特征的微表情识别方法 Pending CN111597864A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910129226.4A CN111597864A (zh) 2019-02-21 2019-02-21 基于累积光流加权特征的微表情识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910129226.4A CN111597864A (zh) 2019-02-21 2019-02-21 基于累积光流加权特征的微表情识别方法

Publications (1)

Publication Number Publication Date
CN111597864A true CN111597864A (zh) 2020-08-28

Family

ID=72190334

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910129226.4A Pending CN111597864A (zh) 2019-02-21 2019-02-21 基于累积光流加权特征的微表情识别方法

Country Status (1)

Country Link
CN (1) CN111597864A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113221694A (zh) * 2021-04-29 2021-08-06 苏州大学 一种动作识别方法
CN117197877A (zh) * 2023-11-07 2023-12-08 山东省工业技术研究院 一种基于区域加权光流特征的微表情识别方法及***

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104156978A (zh) * 2014-07-04 2014-11-19 合肥工业大学 基于球载平台的多目标动态跟踪方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104156978A (zh) * 2014-07-04 2014-11-19 合肥工业大学 基于球载平台的多目标动态跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SZE-TENG LIONG 等: ""Subtle Expression Recognition using Optical Strain Weighted Features"" *
彭敏: "基于双时间尺度卷积神经网络的微表情识别" *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113221694A (zh) * 2021-04-29 2021-08-06 苏州大学 一种动作识别方法
CN113221694B (zh) * 2021-04-29 2023-08-01 苏州大学 一种动作识别方法
CN117197877A (zh) * 2023-11-07 2023-12-08 山东省工业技术研究院 一种基于区域加权光流特征的微表情识别方法及***
CN117197877B (zh) * 2023-11-07 2024-03-19 山东省工业技术研究院 一种基于区域加权光流特征的微表情识别方法及***

Similar Documents

Publication Publication Date Title
Tian et al. Traffic sign detection using a multi-scale recurrent attention network
Fan et al. A dynamic framework based on local Zernike moment and motion history image for facial expression recognition
CN105139039B (zh) 视频序列中人脸微表情的识别方法
Li et al. Dynamic Hand Gesture Recognition Using Multi-direction 3D Convolutional Neural Networks.
KR101893554B1 (ko) 멀티 모달 데이터 기반 표정인식방법 및 장치
Jun et al. Robust real-time face detection using face certainty map
Zhan et al. Facial expression recognition based on Gabor wavelet transformation and elastic templates matching
Raut Facial emotion recognition using machine learning
Zhao et al. Applying contrast-limited adaptive histogram equalization and integral projection for facial feature enhancement and detection
Gudipati et al. Efficient facial expression recognition using adaboost and haar cascade classifiers
Song et al. Visual-context boosting for eye detection
CN111597864A (zh) 基于累积光流加权特征的微表情识别方法
Ye et al. Facial expression features extraction based on gabor wavelet transformation
Vij et al. A survey on various face detecting and tracking techniques in video sequences
Gościewska et al. Silhouette-based action recognition using simple shape descriptors
KR101408344B1 (ko) 얼굴 검출 장치
Nasrollahi et al. Summarization of surveillance video sequences using face quality assessment
Madani et al. Isolated dynamic Persian sign language recognition based on camshift algorithm and radon transform
Al-agha et al. Geometric-based feature extraction and classification for emotion expressions of 3D video film
Kowalczuk et al. Identification of emotions based on human facial expressions using a color-space approach
Lee et al. Classification of facial expression using svm for emotion care service system
Tai et al. Automatic facial expression recognition system using Neural Networks
Kane et al. Sign Language apprehension using convolution neural networks
Suthar et al. A literature survey on facial expression recognition techniques using appearance based features
Lin et al. Pose classification of human faces by weighting mask function approach

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200828