CN109614927B - 基于前后帧差异及特征降维的微表情识别 - Google Patents
基于前后帧差异及特征降维的微表情识别 Download PDFInfo
- Publication number
- CN109614927B CN109614927B CN201811499959.9A CN201811499959A CN109614927B CN 109614927 B CN109614927 B CN 109614927B CN 201811499959 A CN201811499959 A CN 201811499959A CN 109614927 B CN109614927 B CN 109614927B
- Authority
- CN
- China
- Prior art keywords
- frame
- difference
- value
- face
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000014509 gene expression Effects 0.000 title claims abstract description 100
- 230000009467 reduction Effects 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 claims abstract description 53
- 239000013598 vector Substances 0.000 claims description 57
- 238000012216 screening Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000012549 training Methods 0.000 description 19
- 230000008569 process Effects 0.000 description 13
- 238000002790 cross-validation Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 6
- 238000012706 support-vector machine Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000008921 facial expression Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000006698 induction Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000036651 mood Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- OUXCBPLFCPMLQZ-WOPPDYDQSA-N 4-amino-1-[(2r,3s,4s,5r)-4-hydroxy-5-(hydroxymethyl)-3-methyloxolan-2-yl]-5-iodopyrimidin-2-one Chemical compound C[C@H]1[C@H](O)[C@@H](CO)O[C@H]1N1C(=O)N=C(N)C(I)=C1 OUXCBPLFCPMLQZ-WOPPDYDQSA-N 0.000 description 1
- 206010027951 Mood swings Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 210000001097 facial muscle Anatomy 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000010902 straw Substances 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Probability & Statistics with Applications (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种微表情识别方法，对视频中的每一帧进行人脸识别，提取人脸区域；提取视频中每一帧的像素数、背景颜色、人脸亮度；依次选取一非首帧，计算选取的帧与其前一帧的人脸区域面积差、像素数差、背景颜色差、人脸亮度差；计算每一非首帧的差异值；将差异值大于预设阈值的帧，以及，视频的首帧均确定为候选帧；在候选帧中，将标识连续的帧均确定为微表情帧；提取微表情帧的表情特征，通过预先训练的降维模型对表情特征进行降维处理，对降维后的特征进行识别，得到识别结果。本申请根据人脸区域面积差、像素数差、背景颜色差、人脸亮度差选择微表情帧进行识别，可以准确的提取人脸视频中与微表情相关的帧，提升微表情帧的识别效率与准确性。
Description
技术领域
本申请涉及人工智能技术领域，尤其涉及微表情识别方法。
背景技术
微表情是一种非言语行为，能够展现出人的自身情感。
目前关注的大都以普通表情为主，除了人脸普通表情外，还有在心理抑制状态下，面部肌肉不受控制收缩而产生的微表情。
微表情的持续时间短，且动作幅度非常小。因此正确观测并且识别有着相当的难度。用裸眼准确捕捉和识别微表情成功率很低。经过专业训练后，识别率也仅能达到47％。
因此，微表情的识别方法受到了越来越多的研究者的关注。
发明内容
为解决上述问题，本申请实施例提出了一种微表情识别方法。
获取人脸视频；
对所述视频中的每一帧进行人脸识别，提取人脸区域；
提取所述视频中每一帧的像素数、背景颜色、人脸亮度；
依次选取一非首帧，计算选取的帧与其前一帧的人脸区域面积差、像素数差、背景颜色差、人脸亮度差；
计算每一非首帧的差异值，其中，差异值＝(人脸区域面积差*人脸亮度差+背景颜色差)^像素数差；
将差异值大于预设阈值的帧，以及，所述视频的首帧均确定为候选帧；
在候选帧中，将标识连续的帧均确定为微表情帧；
提取微表情帧的表情特征，通过预先训练的降维模型对表情特征进行降维处理，对降维后的特征进行识别，得到识别结果。
可选地，提取所述视频中每一帧的背景颜色，包括：
对于所述视频中任一帧，
将所述任一帧中非人脸区域确定为背景区域；
确定所述任一帧背景区域中各像素点的RGB颜色值，所述RGB颜色值包括红色颜色值、绿色颜色值、蓝色颜色值；
通过如下公式计算所述任一帧背景区域的RGB颜色均值，所述RGB颜色均值包括红色颜色均值、绿色颜色均值，蓝色颜色均值：
其中j为所述任一帧背景区域的像素点标识，
为所述任一帧背景区域的红色颜色均值，
为所述任一帧背景区域的绿色颜色均值，
为所述任一帧背景区域的蓝色颜色均值，c1j为所述任一帧背景区域第j像素点的红色颜色值，c2j为所述任一帧背景区域第j像素点的绿色颜色值，c3j为所述任一帧背景区域第j像素点的蓝色颜色值，n1为所述任一帧背景区域中像素点总数量；
计算所述任一帧背景区域的RGB颜色均方差，所述RGB颜色均方差包括红色颜色均方差、绿色颜色均方差、蓝色颜色均方差：
其中，σ11为红色颜色均方差，σ21为绿色颜色均方差，σ31为蓝色颜色均方差；
确定所述任一帧背景区域的RGB颜色区间，所述RGB颜色区间包括红色颜色区间
绿色颜色区间
蓝色颜色区间
在所述任一帧背景区域的所有像素点中，确定RGB颜色值中红色颜色值位于RGB颜色区间中红色颜色区间内，且绿色颜色值位于绿色颜色区间内，且蓝色颜色值位于蓝色颜色区间内像素点数量n2；
根据n2确定所述任一帧的背景颜色。
可选地，所述背景颜色由RGB颜色值表示；
所述根据n2确定所述任一帧的背景颜色，包括：
计算所述任一帧的像素数比值n3＝n2/n1；
所述任一帧的背景颜色的红色颜色值为
绿色颜色值为
蓝色颜色值为
可选地，提取所述视频中每一帧的人脸亮度，包括：
对于所述视频中任一帧，
通过如下公式确定所述任一帧的人脸区域中各像素点的亮度值：
其中，k为所述任一帧人脸区域的像素点标识，hk为所述任一帧人脸区域的第k像素点的亮度值，Rk为第k像素点的RGB颜色值中的红色颜色值，Gk为第k像素点的RGB颜色值中的绿色颜色值，Bk为第k像素点的RGB颜色值中的蓝色颜色值；
在所述任一帧人脸区域的所有像素点的亮度值中，确定最大亮度值和最小亮度值；
计算所述任一帧人脸区域的亮度均值
其中，n4为所述任一帧的人脸区域中像素点总数量；
根据最大亮度值、最小亮度值和
确定所述视频中任一帧的人脸亮度。
可选地，所述根据最大亮度值、最小亮度值和
确定所述视频中任一帧的人脸亮度，包括：
计算第一差值d1＝最大亮度值-最小亮度值；
计算第二差值
计算第三差值
计算亮度比值d4＝|d1-d2|/|d1-d3|；
计算所述任一帧人脸区域的亮度均方差
所述视频中任一帧的人脸亮度为
可选地，所述计算每一非首帧的差异值之前，还包括：
根据各非首帧的人脸区域面积差、像素数差、背景颜色差、人脸亮度差对非首帧进行初筛；
所述计算每一非首帧的差异值，包括：
计算初筛后各帧的差异值。
可选地，所述根据各非首帧的人脸区域面积差、像素数差、背景颜色差、人脸亮度差对非首帧进行初筛，包括：
对于任一非首帧，
若所述任一非首帧的人脸区域面积差不大于第一值，且，像素数差不大于第二值，且，背景颜色差不大于第三值，且，人脸亮度差不大于第四值，则所述任一非首帧通过初筛；或者，
若所述任一非首帧的人脸区域面积差不大于第一值，但像素数差、背景颜色差、人脸亮度差均为0，则所述任一非首帧通过初筛；或者，
若所述任一非首帧的人脸亮度差不大于第四值，但人脸区域面积差、像素数差、背景颜色差均为0，则所述任一非首帧通过初筛；
其中，第一值为(所有非首帧的人脸区域面积差之和+首帧的人脸区域面积-avg1)/所述人脸视频的总帧数，第二值为(所有非首帧的像素数差之和+首帧的像素数-avg2)/所述人脸视频的总帧数，第三值为(所有非首帧的背景颜色差之和+首帧的背景颜色-avg3)/所述人脸视频的总帧数，第四值为(所有非首帧的人脸亮度差之和+首帧的人脸亮度-avg4)/所述人脸视频的总帧数，avg1＝所有帧的人脸区域面积之和/所述人脸视频的总帧数，avg2＝所有帧的像素数之和/所述人脸视频的总帧数，avg3＝所有帧的背景颜色之和/所述人脸视频的总帧数，avg4＝所有帧的人脸亮度之和/所述人脸视频的总帧数。
可选地，所述通过预先训练的降维模型对表情特征进行降维处理之前，还包括：
获取样本集X，其中，X中样本总数为m，每个样本包括多个表情特征，每个样本属于一个类别；
按类别，将所有样本进行分类；
计算各类的均值向量
其中，i为类标识，μi为第i类的均值向量，bi为第i类的样本数量，j为样本标识，xij为第i类第j个样本的表情特征组成的向量；
根据各类的均值向量，确定总均值向量
其中，μ0为总均值向量，E为X中样本所属不同类别总数；
根据总均值向量，计算类间方差向量和类内方差向量；
根据所述类间方差向量和类内方差向量确定降维后的表情特征，形成降维模型。
可选地，所述根据总均值向量，计算类间方差向量和类内方差向量，包括：
其中，Sw为类间方差向量，Sb为类内方差向量，Xi为第i类样本组成的集合。
可选地，所述根据所述类间方差向量和类内方差向量确定降维后的表情特征，包括：
计算由各表情特征权重组成的权重向量W＝diag(Sb·/Sw)，其中，diag()为函数，所述函数用于取矩阵对角线上的元素，·/为运算符，所述运算符用于将Sw和Sb的对应元素相除；
按各表情特征权重从大到小的顺序，对表情特征进行排序；
将预设数量个排序靠前的表情特征确定为降维后的表情特征。
有益效果如下：
根据人脸区域面积差、像素数差、背景颜色差、人脸亮度差选择微表情帧进行识别，可以准确的提取人脸视频中与微表情相关的帧，提升微表情帧的识别效率与准确性。
附图说明
下面将参照附图描述本申请的具体实施例，其中：
图1示出了本申请一实施例提供的一种分成2类的降维模型原理示意图；
图2示出了本申请一实施例提供的一种微表情识别方法流程示意图；
图3示出了本申请一实施例提供的一种LBP描述子计算示意图；
图4示出了本申请一实施例提供的一种特征提取示意图。
具体实施方式
为了使本申请的技术方案及优点更加清楚明白，以下结合附图对本申请的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本申请的一部分实施例，而不是所有实施例的穷举。并且在不冲突的情况下，本说明中的实施例及实施例中的特征可以互相结合。
由于微表情的持续时间短，且动作幅度非常小。因此正确观测并且识别有着相当的难度。基于此，本申请提供一种微表情识别方法，该方法比较每一帧与其后一帧的差别，以及与其前一帧的差别，得到该帧的差异值，根据各帧的差异值确定微表情帧，该方法可以准确的提取人脸视频中与微表情相关的帧，提升微表情帧的识别效率与准确性。
本申请提供的表情识别方法包括2个大过程，第一个大过程是训练降维模型过程，另一个大过程是基于训练好的降维模型进行实际微表情识别过程。
训练降维模型过程并不是每次执行本申请提供的表情识别方法均要执行的过程，仅当第一次执行本申请提供的表情识别方法，或者，表情识别场景发生变化，或者，基于训练好的降维模型在进行实际微表情识别时，表情特征降维效果不理想，或者其他原因时，才会执行训练降维模型过程，以提升表情特征降维效果，进而提升实际微表情识别结果的准确性。
本申请不对训练降维模型过程的执行触发条件进行限定。
训练降维模型过程的具体实现方法如下：
步骤1，获取样本集X。
其中，X中样本总数为m，每个样本包括多个表情特征，每个样本属于一个类别。
例如，若X中样本共属于E个不同的类别，分别为第1类，第2类，……，第i类，……第E类。第1类中有b1个样本，b1个样本组成的集合为X1，第2类中有b2个样本，b2个样本组成的集合为X2，……。
步骤2，按类别，将所有样本进行分类。
以步骤1中的列子为例，本步骤将所有样本分为E类，属于第1类的样本分为1类，属于第2类的样本分为1类，……。
步骤3，计算各类的均值向量。
具体的，对于任一类(如第i类)，其均值向量通过如下公式计算：
其中，i为类标识，μi为第i类的均值向量，bi为第i类的样本数量，j为样本标识，xij为第i类第j个样本的表情特征组成的向量。
步骤4，根据各类的均值向量，确定总均值向量。
具体的，通过如下公式确定总均值向量：
其中，μ0为总均值向量，E为X中样本所属不同类别总数。
步骤5，根据总均值向量，计算类间方差向量和类内方差向量。
具体计算公式如下：
其中，Sw为类间方差向量，Sb为类内方差向量，Xi为第i类样本组成的集合。
步骤6，根据类间方差向量和类内方差向量确定降维后的表情特征，形成降维模型。
具体计算方法如下：
1)计算由各表情特征权重组成的权重向量W＝diag(Sb·/Sw)。
其中，diag()为函数，该函数用于取矩阵对角线上的元素，·/为运算符，该运算符用于将Sw和Sb的对应元素相除。
2)按各表情特征权重从大到小的顺序，对表情特征进行排序。
3)将预设数量个排序靠前的表情特征确定为降维后的表情特征。
降维后的表情特征可以形成特征子集F。权重越大，该权重所对应的特征分量越适合微表情分类。
输出得到特征子集，形成一个降维模型。
图1示出了分成2类的降维模型原理示意图。
基于训练好的降维模型进行实际微表情识别过程的实现方法如图2所示：
S101，获取人脸视频。
因为微表情的持续时间短，且动作幅度非常小，因此，本步骤的人脸视频图像只要每帧均包括人脸即可，不要必须精确的对应微表情的视频。
S102，对视频中的每一帧进行人脸识别，提取人脸区域。
本实施例不对人脸区域的提取方法进行限定，现有的提取方法均可。
S103，提取视频中每一帧的像素数、背景颜色、人脸亮度。
不同配置的视频获取设备得到的视频文件的像素值不同，而前一帧和后一帧的像素数不同程度，会对微表情识别产生影响，因此，本提案会提取视频中每一帧的像素数。
像素数可以用一个数表示，比如一个“0.3兆像素”数码相机，它有额定30万像素；也可以用一对数字表示，例如“640*480显示器”，它表示横向640像素和纵向480像素(如VGA显示器)。而一对数字也可以转变为一个数，如640*480显示器的像素为640*480＝307200像素。
本步骤中各帧的像素数，为该帧中像素点的总数量，可以通过图像的分辨率算出。如一帧的图像分辨率为1280*960，该帧的像素数＝1280*960＝1228800。
本实施例不对像素数的提取方法进行限定，现有的提取方法均可。
对于提取视频中每一帧的背景颜色的实现方法，包括但不限于：
对于视频中任一帧，
步骤1.1，将任一帧中非人脸区域确定为背景区域。
步骤1.2，确定任一帧背景区域中各像素点的RGB颜色值。
其中，RGB颜色值包括红色颜色值、绿色颜色值、蓝色颜色值。
步骤1.3，通过如下公式计算任一帧背景区域的RGB颜色均值。
其中，RGB颜色均值包括红色颜色均值、绿色颜色均值，蓝色颜色均值：
j为任一帧背景区域的像素点标识，
为任一帧背景区域的红色颜色均值，
为任一帧背景区域的绿色颜色均值，
为任一帧背景区域的蓝色颜色均值，c1j为任一帧背景区域第j像素点的红色颜色值，c2j为任一帧背景区域第j像素点的绿色颜色值，c3j为任一帧背景区域第j像素点的蓝色颜色值，n1为任一帧背景区域中像素点总数量。
步骤1.4，计算所述任一帧背景区域的RGB颜色均方差。
其中，RGB颜色均方差包括红色颜色均方差、绿色颜色均方差、蓝色颜色均方差：
σ11为红色颜色均方差，σ21为绿色颜色均方差，σ31为蓝色颜色均方差。
步骤1.5，确定任一帧背景区域的RGB颜色区间。
其中，RGB颜色区间包括红色颜色区间
绿色颜色区间
蓝色颜色区间
步骤1.6，在任一帧背景区域的所有像素点中，确定RGB颜色值中红色颜色值位于RGB颜色区间中红色颜色区间内，且绿色颜色值位于绿色颜色区间内，且蓝色颜色值位于蓝色颜色区间内像素点数量n2。
步骤1.7，根据n2确定任一帧的背景颜色。
其中，背景颜色由RGB颜色值表示，RGB颜色值包括红色颜色值、绿色颜色值和蓝色颜色值。
具体的，计算任一帧的像素数比值n3＝n2/n1；任一帧的背景颜色的红色颜色值为
绿色颜色值为
蓝色颜色值为
本实施例提供的背景颜色提取方法，并不是简单的将背景中各像素RGB颜色值中各颜色通道的均值作为背景颜色，而是根据各像素RGB颜色值中各颜色通道对应值的分布情况动态的对均值进行调整，将调整后的值作为背景颜色，使得背景颜色的确定更加符合实际情况。
对于提取视频中每一帧的人脸亮度的实现方案，包括但不限于：
对于视频中任一帧，
步骤2.1，通过如下公式确定任一帧的人脸区域中各像素点的亮度值。
其中，k为任一帧人脸区域的像素点标识，hk为任一帧人脸区域的第k像素点的亮度值，Rk为第k像素点的RGB颜色值中的红色颜色值，Gk为第k像素点的RGB颜色值中的绿色颜色值，Bk为第k像素点的RGB颜色值中的蓝色颜色值。
步骤2.2，在任一帧人脸区域的所有像素点的亮度值中，确定最大亮度值和最小亮度值。
步骤2.3，计算任一帧人脸区域的亮度均值
其中，n4为任一帧的人脸区域中像素点总数量。
步骤2.4，根据最大亮度值、最小亮度值和
确定视频中任一帧的人脸亮度。
具体的，
1)计算第一差值d1＝最大亮度值-最小亮度值。
2)计算第二差值
3)计算第三差值
4)计算亮度比值d4＝|d1-d2|/|d1-d3|。
5)计算任一帧人脸区域的亮度均方差
6)视频中任一帧的人脸亮度为
本实施例提供的人脸亮度提取方法，并不是简单的将人脸区域中各像素亮度的均值作为人脸亮度，而是根据各像素亮度与最大亮度和最小亮度之间的差距动态的对均值进行调整，将调整后的值作为人脸亮度，使得人脸亮度的确定更加符合实际情况。
S104，依次选取一非首帧，计算选取的帧与其前一帧的人脸区域面积差、像素数差、背景颜色差、人脸亮度差。
从第二帧开始至最后一帧结束，依次选择一帧，将选择的帧与该帧的前一帧的人脸区域面积的差值确定为人脸区域面积差、像素数的差值确定为像素数差、背景颜色的差值确定为背景颜色差、人脸亮度的差值确定为人脸亮度差。
例如，人脸区域面积差＝选择帧的人脸区域面积-其前一帧的人脸区域面积。像素数差＝选择帧的像素数-其前一帧的像素数。背景颜色差＝选择帧的背景颜色-其前一帧的背景颜色。人脸亮度差＝选择帧的人脸亮度-其前一帧的人脸亮度。
S105，计算每一非首帧的差异值。
其中，差异值＝(人脸区域面积差*人脸亮度差+背景颜色差)^像素数差。
^为乘方运算符。
另外，为了提升本实施例提供的方案执行速度，在计算每一非首帧的差异值之前，还可以对非首帧进行初筛，提出明显不为同一人，明显不属于微表情的帧。
即S105具体执行过程为：根据各非首帧的人脸区域面积差、像素数差、背景颜色差、人脸亮度差对非首帧进行初筛，计算初筛后各帧的差异值。
根据各非首帧的人脸区域面积差、像素数差、背景颜色差、人脸亮度差对非首帧进行初筛的方案，包括但不限于：
对于任一非首帧，若任一非首帧的人脸区域面积差不大于第一值，且，像素数差不大于第二值，且，背景颜色差不大于第三值，且，人脸亮度差不大于第四值，则任一非首帧通过初筛；或者，若任一非首帧的人脸区域面积差不大于第一值，但像素数差、背景颜色差、人脸亮度差均为0，则任一非首帧通过初筛；或者，若任一非首帧的人脸亮度差不大于第四值，但人脸区域面积差、像素数差、背景颜色差均为0，则任一非首帧通过初筛。
其中，第一值为(所有非首帧的人脸区域面积差之和+首帧的人脸区域面积-avg1)/所述人脸视频的总帧数，第二值为(所有非首帧的像素数差之和+首帧的像素数-avg2)/所述人脸视频的总帧数，第三值为(所有非首帧的背景颜色差之和+首帧的背景颜色-avg3)/所述人脸视频的总帧数，第四值为(所有非首帧的人脸亮度差之和+首帧的人脸亮度-avg4)/所述人脸视频的总帧数，avg1＝所有帧的人脸区域面积之和/所述人脸视频的总帧数，avg2＝所有帧的像素数之和/所述人脸视频的总帧数，avg3＝所有帧的背景颜色之和/所述人脸视频的总帧数，avg4＝所有帧的人脸亮度之和/所述人脸视频的总帧数。
S106，将差异值大于预设阈值的帧，以及，视频的首帧均确定为候选帧。
预设阈值保证了差异的大小，不同的微表情差异幅度不同，通过预设阈值根据本方法应用领域不同，进行适应性挑选，进而保证本申请提供的表情识别方法的通用性。
S107，在候选帧中，将标识连续的帧均确定为微表情帧。
例如，候选帧为帧3、帧5、帧6、帧8、帧9，则将标识连续的帧(帧5、帧6，帧8、帧9)均确定为微表情帧。
此时很可能帧5、帧6表示一个微表情，帧8、帧9表示一个微表情。
上述仅为示例，不代表实际情况。
本申请并不对“连续”进行限定，只要是非单独帧即可。例如，有2个标识连续的帧则将该2个标识连续的帧均确定为微表情帧。再例如，有3个标识连续的帧则将该3个标识连续的帧均确定为微表情帧。
S108，提取微表情帧的表情特征，通过预先训练的降维模型对表情特征进行降维处理，对降维后的特征进行识别，得到识别结果。
本步骤可以预先训练微表情识别模型，再提取微表情帧的表情特征，通过预先训练的降维模型对表情特征进行降维处理后，采用该微表情识别模型对降维后的特征进行识别，得到识别结果。
其中，微表情识别模型的训练过程，包括但不限于：
步骤3.1、获取多个样本视频。
样本视频可以从现有的微表情数据集中获得。
由于微表情是人在试图掩饰自己情绪时产生的微小面部动作。在严格意义上说人们主观模拟的微小表情不能称为微表情，因此微表情的诱导方式决定数据的可靠程度。
本步骤可以从如下2种现有的微表情数据集中的一个或2个获取多个样本视频：
微表情数据集SMIC，由芬兰奥卢大学建立，要求被试者观看有大情绪波动的视频，并且试图掩盖自己的情绪不被外露，记录者在不观看视频的情况下，观察被试者的表情。若记录者观察出被试者的面部表情，则被试者就会得到惩罚。在这种诱导机制下组成了16个人的164个视频序列，微表情类别有3种，分别为积极(positive)、惊讶(surprise)、消极(negative)，视频序列数分别为70、51、43。
微表情数据集CASME2，由中国科学院心理研究所建立，采用类似的诱导机制来确保数据的可靠性，只是如果被试者成功抑制住自己的面部表情并且不被记录者发现的话，会得到相应的奖励。该数据集是由26个人的247个视频序列组成的5种微表情类别，分别是高兴(happiness)、厌恶(disgust)、惊讶(surprise)、压抑(repression)、其他(other)，各类别对应的视频序列数分别为32、64、25、27、99。
步骤3.2、对于每个样本视频，采用局部二值模式提取对应的表情特征。
局部二值模式(Local Binary Pattern，LBP)描述子是定义在中心像素及其周围矩形邻域上，如图3所示，以中心像素的灰度值为阈值，二值量化中心像素周围的邻域像素，大于或等于中心像素值的编码为1，小于则编码为0，并形成一个局部二进制模式。
将该二进制模式以左上角为起点按照顺时针方向进行串联得到一串二进制数字，其对应的十进制数字能够唯一地标识中心像素点。按照这种方法，图像中的每一个像素都可以用一个局部二进制模式来计算得到。
如图3所示，左面表格中的中心像素值为178，左上角的值为65，65<178，所以，对应的值为0，188>178，所以对应的值为1。以此类推，得到图3右面的表格，进而得到二进制模式值为01000100。
另外，还可以将LBP静态纹理描述子在时空域的延伸，形成3个正交平面上的2维局部二值模式。如图4所示，分别提取在XY、XT及YT三个正交平面视频序列的LBP特征，将每个正交平面上的特征向量进行串联，组成LBP-TOP特征向量。这种方法既考虑了图像的局部纹理信息，又对视频随时间变化的情况进行了描述。
但是，LBP-TOP的向量维数是3×2L，L为领域点个数。如果直接用步骤3.2提取的表情特征进行建模会因为特征维数大造成模型训练速度较慢，效果不佳。因此，本申请在执行步骤3.2提取表情特征之后，会执行步骤3.3，以降低实际训练模型是所考虑的表情特征的维度，提升模型训练效率。
步骤3.3、对各样本视频进行识别训练，形成微表情识别模型。
本步骤的训练方法可以有多种，本实施例提供采用如下训练方法：
3.3.1，采用任何一种聚类算法(例如k-means算法)基于表情特征对各样本视频进行聚类，形成各样本视频所属的微表情类。
3.3.2，根据各样本视频的第二标准分类结果对聚类算法中的参数进行调整。
由于各样本视频本身带有标识其微表情类别的标签，本步骤中获取该标签，将其作为各样本视频的第二标准分类结果。
3.3.3，重复3.3.1和3.3.2，完成训练，形成微表情识别模型。
本申请中的微表情识别模型即为一个分类器。
例如：采用支持向量机(Support Vector Machine，SVM)方法。SVM的关键在于核函数，采用不同的核函数就会有不同的SVM分类效果。
例如可以采用如下核函数：线性核(Linear Kernel)、卡方核(Chi-squareKernel)、直方图交叉核(Histogram Intersection kernel)。
另外，为了提升最终训练好的分类模型的分类识别率，还可以采用交叉验证(Cross Validation)检验微表情识别模型的性能。具体的，将所有的样本视频分成两个子集，一个子集用于训练分类器称为训练集，另一个子集用于验证分析分类器的有效性称为测试集。利用测试集来测试经训练得到的分类器，以此作为分类器的性能指标。常用的方法有简单交叉验证、K折交叉验证和留一交叉验证。
以运用留一交叉验证方法对不同核函数的SVM分类器进行微表情分类训练为例。每次选择一位受试者的所有视频序列作为测试样本，其余I个受试者的所有视频序列作为训练样本，重复I+1次实验，计算I+1次的平均分类识别率。
基于此，完成一个微表情识别模型的训练。
在训练好微表情识别模型后，通过预先训练的降维模型对表情特征进行降维处理，采用该微表情识别模型对降维后的特征进行识别，得到识别结果。
由于在通过微表情识别模型进行微表情识别之前，对表情特征进行了降维处理，可以提升微表情识别模型的识别速率和识别准确率。
需要说明的是，本实施例及后续实施例中的“第一”，“第二”，“第三”等仅用于区分不同步骤中的预设阈值、分类结果、标准分类结果等，不具有其他任何特殊含义。
有益效果：
根据人脸区域面积差、像素数差、背景颜色差、人脸亮度差选择微表情帧进行识别，可以准确的提取人脸视频中与微表情相关的帧，提升微表情帧的识别效率与准确性。
Claims (10)
1.一种微表情识别方法，其特征在于，所述方法包括：
获取人脸视频；
对所述视频中的每一帧进行人脸识别，提取人脸区域；
提取所述视频中每一帧的像素数、背景颜色、人脸亮度；
依次选取一非首帧，计算选取的帧与其前一帧的人脸区域面积差、像素数差、背景颜色差、人脸亮度差；
计算每一非首帧的差异值，其中，差异值＝(人脸区域面积差*人脸亮度差+背景颜色差)^像素数差；
将差异值大于预设阈值的帧，以及，所述视频的首帧均确定为候选帧；
在候选帧中，将标识连续的帧均确定为微表情帧；
提取微表情帧的表情特征，通过预先训练的降维模型对表情特征进行降维处理，对降维后的特征进行识别，得到识别结果。
2.根据权利要求1所述的方法，其特征在于，提取所述视频中每一帧的背景颜色，包括：
对于所述视频中任一帧，
将所述任一帧中非人脸区域确定为背景区域；
确定所述任一帧背景区域中各像素点的RGB颜色值，所述RGB颜色值包括红色颜色值、绿色颜色值、蓝色颜色值；
通过如下公式计算所述任一帧背景区域的RGB颜色均值，所述RGB颜色均值包括红色颜色均值、绿色颜色均值，蓝色颜色均值：
其中j为所述任一帧背景区域的像素点标识，
为所述任一帧背景区域的红色颜色均值，
为所述任一帧背景区域的绿色颜色均值，
为所述任一帧背景区域的蓝色颜色均值，c1j为所述任一帧背景区域第j像素点的红色颜色值，c2j为所述任一帧背景区域第j像素点的绿色颜色值，c3j为所述任一帧背景区域第j像素点的蓝色颜色值，n1为所述任一帧背景区域中像素点总数量；
计算所述任一帧背景区域的RGB颜色均方差，所述RGB颜色均方差包括红色颜色均方差、绿色颜色均方差、蓝色颜色均方差：
其中，σ11为红色颜色均方差，σ21为绿色颜色均方差，σ31为蓝色颜色均方差；
确定所述任一帧背景区域的RGB颜色区间，所述RGB颜色区间包括红色颜色区间
绿色颜色区间
蓝色颜色区间
在所述任一帧背景区域的所有像素点中，确定RGB颜色值中红色颜色值位于RGB颜色区间中红色颜色区间内，且绿色颜色值位于绿色颜色区间内，且蓝色颜色值位于蓝色颜色区间内像素点数量n2；
根据n2确定所述任一帧的背景颜色。
3.根据权利要求2所述的方法，其特征在于，所述背景颜色由RGB颜色值表示；
所述根据n2确定所述任一帧的背景颜色，包括：
计算所述任一帧的像素数比值n3＝n2/n1；
所述任一帧的背景颜色的红色颜色值为
绿色颜色值为
蓝色颜色值为
4.根据权利要求1所述的方法，其特征在于，提取所述视频中每一帧的人脸亮度，包括：
对于所述视频中任一帧，
通过如下公式确定所述任一帧的人脸区域中各像素点的亮度值：
其中，k为所述任一帧人脸区域的像素点标识，hk为所述任一帧人脸区域的第k像素点的亮度值，Rk为第k像素点的RGB颜色值中的红色颜色值，Gk为第k像素点的RGB颜色值中的绿色颜色值，Bk为第k像素点的RGB颜色值中的蓝色颜色值；
在所述任一帧人脸区域的所有像素点的亮度值中，确定最大亮度值和最小亮度值；
计算所述任一帧人脸区域的亮度均值
其中，n4为所述任一帧的人脸区域中像素点总数量；
根据最大亮度值、最小亮度值和
确定所述视频中任一帧的人脸亮度。
5.根据权利要求4所述的方法，其特征在于，所述根据最大亮度值、最小亮度值和
确定所述视频中任一帧的人脸亮度，包括：
计算第一差值d1＝最大亮度值-最小亮度值；
计算第二差值
计算第三差值
计算亮度比值d4＝|d1-d2|/|d1-d3|；
计算所述任一帧人脸区域的亮度均方差
所述视频中任一帧的人脸亮度为
6.根据权利要求1所述的方法，其特征在于，所述计算每一非首帧的差异值之前，还包括：
根据各非首帧的人脸区域面积差、像素数差、背景颜色差、人脸亮度差对非首帧进行初筛；
所述计算每一非首帧的差异值，包括：
计算初筛后各帧的差异值。
7.根据权利要求6所述的方法，其特征在于，所述根据各非首帧的人脸区域面积差、像素数差、背景颜色差、人脸亮度差对非首帧进行初筛，包括：
对于任一非首帧，
若所述任一非首帧的人脸区域面积差不大于第一值，且，像素数差不大于第二值，且，背景颜色差不大于第三值，且，人脸亮度差不大于第四值，则所述任一非首帧通过初筛；或者，
若所述任一非首帧的人脸区域面积差不大于第一值，但像素数差、背景颜色差、人脸亮度差均为0，则所述任一非首帧通过初筛；或者，
若所述任一非首帧的人脸亮度差不大于第四值，但人脸区域面积差、像素数差、背景颜色差均为0，则所述任一非首帧通过初筛；
其中，第一值为(所有非首帧的人脸区域面积差之和+首帧的人脸区域面积-avg1)/所述人脸视频的总帧数，第二值为(所有非首帧的像素数差之和+首帧的像素数-avg2)/所述人脸视频的总帧数，第三值为(所有非首帧的背景颜色差之和+首帧的背景颜色-avg3)/所述人脸视频的总帧数，第四值为(所有非首帧的人脸亮度差之和+首帧的人脸亮度-avg4)/所述人脸视频的总帧数，avg1＝所有帧的人脸区域面积之和/所述人脸视频的总帧数，avg2＝所有帧的像素数之和/所述人脸视频的总帧数，avg3＝所有帧的背景颜色之和/所述人脸视频的总帧数，avg4＝所有帧的人脸亮度之和/所述人脸视频的总帧数。
8.根据权利要求1至7任一权利要求所述的方法，其特征在于，所述通过预先训练的降维模型对表情特征进行降维处理之前，还包括：
获取样本集X，其中，X中样本总数为m，每个样本包括多个表情特征，每个样本属于一个类别；
按类别，将所有样本进行分类；
计算各类的均值向量
其中，i为类标识，μi为第i类的均值向量，bi为第i类的样本数量，j为样本标识，xij为第i类第j个样本的表情特征组成的向量；
根据各类的均值向量，确定总均值向量
其中，μ0为总均值向量，E为X中样本所属不同类别总数；
根据总均值向量，计算类间方差向量和类内方差向量；
根据所述类间方差向量和类内方差向量确定降维后的表情特征，形成降维模型。
9.根据权利要求8所述的方法，其特征在于，所述根据总均值向量，计算类间方差向量和类内方差向量，包括：
其中，Sw为类间方差向量，Sb为类内方差向量，Xi为第i类样本组成的集合。
10.根据权利要求9所述的方法，其特征在于，所述根据所述类间方差向量和类内方差向量确定降维后的表情特征，包括：
计算由各表情特征权重组成的权重向量W＝diag(Sb·/Sw)，其中，diag()为函数，所述函数用于取矩阵对角线上的元素，·/为运算符，所述运算符用于将Sw和Sb的对应元素相除；
按各表情特征权重从大到小的顺序，对表情特征进行排序；
将预设数量个排序靠前的表情特征确定为降维后的表情特征。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811499959.9A CN109614927B (zh) | 2018-12-10 | 2018-12-10 | 基于前后帧差异及特征降维的微表情识别 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811499959.9A CN109614927B (zh) | 2018-12-10 | 2018-12-10 | 基于前后帧差异及特征降维的微表情识别 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109614927A CN109614927A (zh) | 2019-04-12 |
| CN109614927B true CN109614927B (zh) | 2022-11-08 |
Family
ID=66007965
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811499959.9A Active CN109614927B (zh) | 2018-12-10 | 2018-12-10 | 基于前后帧差异及特征降维的微表情识别 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109614927B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110991458B (zh) * | 2019-11-25 | 2023-05-23 | 创新奇智(北京)科技有限公司 | 基于图像特征的人工智能识别结果抽样***及抽样方法 |
| CN112528945B (zh) * | 2020-12-24 | 2024-04-26 | 上海寒武纪信息科技有限公司 | 对数据流进行处理的方法和设备 |
| CN113076813B (zh) * | 2021-03-12 | 2024-04-12 | 首都医科大学宣武医院 | 面具脸特征识别模型训练方法和装置 |
| CN118053128B (zh) * | 2024-04-16 | 2024-07-23 | 绵阳职业技术学院 | 一种适用于教育园区的智能管理方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104796683B (zh) * | 2014-01-22 | 2018-08-14 | 南京中兴软件有限责任公司 | 一种校准图像色彩的方法和*** |
| CN105139039B (zh) * | 2015-09-29 | 2018-05-29 | 河北工业大学 | 视频序列中人脸微表情的识别方法 |
| CN108268859A (zh) * | 2018-02-08 | 2018-07-10 | 南京邮电大学 | 一种基于深度学习的人脸表情识别方法 |
-
2018
- 2018-12-10 CN CN201811499959.9A patent/CN109614927B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN109614927A (zh) | 2019-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109614927B (zh) | 基于前后帧差异及特征降维的微表情识别 | |
| Kao et al. | Local contrast enhancement and adaptive feature extraction for illumination-invariant face recognition | |
| Chen et al. | Detecting and reading text in natural scenes | |
| Kumar et al. | Real time face recognition using adaboost improved fast PCA algorithm | |
| Zhu et al. | Dynamic cascades with bidirectional bootstrapping for action unit detection in spontaneous facial behavior | |
| Lin et al. | Learning pairwise dissimilarity profiles for appearance recognition in visual surveillance | |
| Smith et al. | Facial expression detection using filtered local binary pattern features with ECOC classifiers and platt scaling | |
| CN109190582B (zh) | 一种微表情识别的新方法 | |
| CN110598574A (zh) | 智能人脸监控识别方法及*** | |
| Ji et al. | Face occlusion detection using skin color ratio and LBP features for intelligent video surveillance systems | |
| Sahu et al. | Study on face recognition techniques | |
| Szankin et al. | Influence of thermal imagery resolution on accuracy of deep learning based face recognition | |
| Chang et al. | Personalized facial expression recognition in indoor environments | |
| KR101107308B1 (ko) | 영상 검색 및 인식 방법 | |
| CN113450369A (zh) | 一种基于人脸识别技术的课堂分析***及方法 | |
| Prinosil et al. | Automatic hair color de-identification | |
| Türkmen et al. | Global feature based female facial beauty decision system | |
| Chen et al. | Adaboost learning for detecting and reading text in city scenes | |
| Chen et al. | An online people counting system for electronic advertising machines | |
| Maken | An elementary study on various techniques involved in face recognition systems: a review | |
| Sharma et al. | Study and implementation of face detection algorithm using Matlab | |
| Alattab et al. | Efficient method of visual feature extraction for facial image detection and retrieval | |
| Shukla et al. | Comparison of Face Recognition algorithms & its subsequent impact on side face | |
| Ekinci et al. | Kernel Fisher discriminant analysis of Gabor features for online palmprint verification | |
| Chin | Face recognition based automated student attendance system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |