CN109190582A - 一种微表情识别的新方法 - Google Patents
一种微表情识别的新方法 Download PDFInfo
- Publication number
- CN109190582A CN109190582A CN201811085510.8A CN201811085510A CN109190582A CN 109190582 A CN109190582 A CN 109190582A CN 201811085510 A CN201811085510 A CN 201811085510A CN 109190582 A CN109190582 A CN 109190582A
- Authority
- CN
- China
- Prior art keywords
- frame
- channel value
- expressive features
- difference
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000012549 training Methods 0.000 claims abstract description 29
- 230000009467 reduction Effects 0.000 claims abstract description 12
- 238000000605 extraction Methods 0.000 claims abstract description 9
- 238000004364 calculation method Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 description 14
- 235000013399 edible fruits Nutrition 0.000 description 5
- 238000002790 cross-validation Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000036651 mood Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- OUXCBPLFCPMLQZ-WOPPDYDQSA-N 4-amino-1-[(2r,3s,4s,5r)-4-hydroxy-5-(hydroxymethyl)-3-methyloxolan-2-yl]-5-iodopyrimidin-2-one Chemical compound C[C@H]1[C@H](O)[C@@H](CO)O[C@H]1N1C(=O)N=C(N)C(I)=C1 OUXCBPLFCPMLQZ-WOPPDYDQSA-N 0.000 description 1
- 241001269238 Data Species 0.000 description 1
- 206010027951 Mood swings Diseases 0.000 description 1
- 208000029152 Small face Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000004118 muscle contraction Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种微表情识别方法，方法包括：提取人脸视频的每一帧；依次比较除首帧和尾帧外的每一帧与其后一帧的差别，以及依次比较除首帧和尾帧外的每一帧与其前一帧的差别；依次将除首帧和尾帧外的每一帧与其后一帧的差别与该帧与其前一帧的差别的差确定为该帧的差异值；在除首帧和尾帧外的各帧中，确定微表情帧；通过预先训练的微表情识别模型提取微表情帧的表情特征，对表情特征进行降维，对降维后的特征进行识别，得到识别结果。本申请比较每一帧与其后一帧的差别，以及与其前一帧的差别，得到该帧的差异值，根据各帧的差异值确定微表情帧，该方法可以准确的提取人脸视频中与微表情相关的帧，提升微表情帧的识别效率与准确性。
Description
技术领域
本申请涉及人工智能技术领域，尤其涉及微表情识别方法。
背景技术
微表情是一种非言语行为，能够展现出人的自身情感。
目前关注的大都以普通表情为主，除了人脸普通表情外，还有在心理抑制状态下，面部肌肉不受控制收缩而产生的微表情。
微表情的持续时间短，且动作幅度非常小。因此正确观测并且识别有着相当的难度。用裸眼准确捕捉和识别微表情成功率很低。经过专业训练后，识别率也仅能达到47％。
因此，微表情的识别方法受到了越来越多的研究者的关注。
发明内容
为解决上述问题，本申请实施例提出了一种微表情识别方法。
所述方法包括：
获取人脸视频；
提取所述人脸视频的每一帧；
依次比较除首帧和尾帧外的每一帧与其后一帧的差别，以及依次比较除首帧和尾帧外的每一帧与其前一帧的差别；
依次将除首帧和尾帧外的每一帧与其后一帧的差别与该帧与其前一帧的差别的差确定为该帧的差异值；
在除首帧和尾帧外的各帧中，选取差异值的绝对值非0，且小于第一预设阈值的帧；
确定选取的各帧的标识；
在选取的各帧中，将标识连续的帧均确定为微表情帧；
通过预先训练的微表情识别模型提取微表情帧的表情特征，对表情特征进行降维，对降维后的特征进行识别，得到识别结果。
可选地，所述依次比较除首帧和尾帧外的每一帧与其后一帧的差别，包括：
对于除首帧和尾帧外的任一帧i，
获取所述任一帧i中每一像素的红色通道值、绿色通道值和蓝色通道值；
获取所述任一帧i的后一帧i+1中每一像素的红色通道值、绿色通道值和蓝色通道值；
根据所述任一帧i中每一像素的红色通道值、绿色通道值和蓝色通道值，以及，所述任一帧i的后一帧i+1中每一像素的红色通道值、绿色通道值和蓝色通道值，确定所述任一帧i与其后一帧i+1的差别；
所述依次比较除首帧和尾帧外的每一帧与其前一帧的差别，包括：
对于除首帧和尾帧外的任一帧i；
获取所述任一帧i中每一像素的红色通道值、绿色通道值和蓝色通道值；
获取所述任一帧i的前一帧i-1中每一像素的红色通道值、绿色通道值和蓝色通道值；
根据所述任一帧i中每一像素的红色通道值、绿色通道值和蓝色通道值，以及，所述任一帧i的前一帧i-1中每一像素的红色通道值、绿色通道值和蓝色通道值，确定所述任一帧i与其前一帧i-1的差别。
可选地，所述根据所述任一帧i中每一像素的红色通道值、绿色通道值和蓝色通道值，以及，所述任一帧i的后一帧i+1中每一像素的红色通道值、绿色通道值和蓝色通道值，确定所述任一帧i与其后一帧i+1的差别，包括：
通过如下公式计算所述任一帧i与其后一帧i+1的差别：
其中，为所述任一帧i与其后一帧i+1的差别，j为像素标识，1≤j≤M， M为所述人脸视频任一帧的像素总数，WR为红色通道权重，WG为绿色通道权重，WB为蓝色通道权重，Ri,j为所述任一帧i中像素j的红色通道值，Gi,j为所述任一帧i中像素j的绿色通道值，Bi,j为所述任一帧i中像素j的蓝色通道值， Ri+1,j为后一帧i+1中像素j的红色通道值，Gi+1,j为后一帧i+1中像素j的绿色通道值，Bi+1,j为后一帧i+1中像素j的蓝色通道值；
所述根据所述任一帧i中每一像素的红色通道值、绿色通道值和蓝色通道值，以及，所述任一帧i的前一帧i-1中每一像素的红色通道值、绿色通道值和蓝色通道值，确定所述任一帧i与其前一帧i-1的差别，包括：
通过如下公式计算所述任一帧i与其前一帧i-1的差别：
其中，为所述任一帧i与其前一帧i-1的差别，Ri-1,j为所述任一帧i的前一帧i-1中像素j的红色通道值，Gi-1,j为所述任一帧i的前一帧i-1中像素j的绿色通道值，Bi-1,j为所述任一帧i的前一帧i-1中像素j的蓝色通道值。
可选地，所述WR的确定方法包括：
在所述人脸视频中，获取包括人脸的任一帧；
识别所述人脸的任一帧中的人脸区域；
根据所述人脸区域确定人脸肤色的红色通道值；
WR＝人脸肤色的红色通道值/255；
所述WG的确定方法包括：
在所述人脸视频中，获取包括人脸的任一帧；
识别所述人脸的任一帧中的人脸区域；
根据所述人脸区域确定人脸肤色的绿色通道值；
WG＝人脸肤色的绿色通道值/255；
所述WB的确定方法包括：
在所述人脸视频中，获取包括人脸的任一帧；
识别所述人脸的任一帧中的人脸区域；
根据所述人脸区域确定人脸肤色的蓝色通道值；
WB＝人脸肤色的蓝色通道值/255。
可选地，所述通过预先训练的微表情识别模型提取微表情帧的表情特征，对表情特征进行降维，对降维后的特征进行识别，得到识别结果之前，还包括：
训练微表情识别模型；
所述训练微表情识别模型，包括：
获取多个样本视频；
对于每个样本视频，采用局部二值模式提取对应的表情特征；
根据所有样本视频的表情特征进行降维处理；
基于降维处理后的特征，对各样本视频进行识别训练，形成微表情识别模型。
可选地，所述根据所有样本视频的表情特征进行降维处理，包括：
根据如下公式确定各表情特征的信息增量：
将信息增量大于第二预设阈值的表情特征确定为降维处理后的特征；
其中，s为表情特征标识，1≤s≤NA，NA为所有样本视频的表情特征总数， Gs为表情特征s的信息增量，E()表示熵，E(s)为表情特征s的熵，v为包含表情特征s的样本视频标识，1≤v≤C，C为所有包含表情特征s的样本视频总数， E(v)为包含表情特征s的样本视频v的熵，Nv为包含表情特征s的样本视频v 对应的表情特征数。
可选地，E()的计算公式为：
E()＝-p+log2p+-p-log2p-；
其中，p+为分类正确的概率，p-为分类错误的概率。
可选地，所述E(s)的计算公式为：
E(s)＝-p+(s)log2p+(s)-p-(s)log2p-(s)；
其中，p+(s)为表情特征s分类正确的概率，p-(s)为表情特征s分类错误的概率；
所述p+(s)和p-(s)的计算方法为：
S1-1，取q为0；
S1-2，在除表情特征s外的表情特征中，依次选择q个表情特征作为第一辅助表情特征；
每当选择第一辅助表情特征后，基于表情特征s和所述第一辅助表情特征对各样本视频进行分类，得到各样本视频的第一分类结果；
获取各样本视频的第一标准分类结果；
将各样本视频的第一分类结果和第一标准分类结果比较，确定第一分类结果和第一标准分类结果一致的样本视频数量N+(s)和第一分类结果和第一标准分类结果不一致的样本视频数量N-(s)；
确定正确概率
确定错误概率
S1-3，当q个表情特征被依次选择完毕后，确定q+1是否为NA，若q+1不为NA则执行S1-4，若q+1为NA则执行S1-5；
S1-4，q＝q+1，重复执行S1-2和S1-3；
S1-5，将所有的均值确定为p+(s)，将所有的均值确定为p-(s)。
可选地，所述E(v)的计算公式为：
E(v)＝-p+(v)log2p+(v)-p-(v)log2p-(v)；
其中，p+(v)为样本视频v分类正确的概率，p-(v)为样本视频v分类错误的概率；
所述p+(v)和p-(v)的计算方法为：
S2-1，取y为1；
S2-2，在样本视频v对应的表情特征中，依次选择y个表情特征作为第二辅助表情特征；
每当选择第二辅助表情特征后，x1＝x1+1，基于所述第二辅助表情特征对样本视频v进行分类，得到样本视频v的第二分类结果；其中，x1为第一计数标识，x1初始值为0；
获取样本视频v的第二标准分类结果；
将第二分类结果和第二标准分类结果比较，若第二分类结果和第二标准分类结果一致，则x2＝x2+1；若第二分类结果和第二标准分类结果不一致，则x3＝x3+1；其中，x2为第二计数标识，x2的初始值为0，x3为第三计数标识，x3的初始值为0；
S2-3，当q个表情特征被依次选择完毕后，确定y+1是否大于Nv，若y+1 不大于Nv则执行S2-4，若y+1大于Nv则执行S2-5；
S2-4，y＝y+1，重复执行S2-2和S2-3；
S2-5，将x2/x1的值确定为p+(s)，将x3/x1的值确定为p-(s)。
有益效果如下：
比较每一帧与其后一帧的差别，以及与其前一帧的差别，得到该帧的差异值，根据各帧的差异值确定微表情帧，该方法可以准确的提取人脸视频中与微表情相关的帧，提升微表情帧的识别效率与准确性。
附图说明
下面将参照附图描述本申请的具体实施例，其中：
图1示出了本申请一实施例提供的一种LBP描述子计算示意图；
图2示出了本申请一实施例提供的一种特征提取示意图；
图3示出了本申请一实施例提供的一种微表情识别方法流程示意图。
具体实施方式
为了使本申请的技术方案及优点更加清楚明白，以下结合附图对本申请的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本申请的一部分实施例，而不是所有实施例的穷举。并且在不冲突的情况下，本说明中的实施例及实施例中的特征可以互相结合。
由于微表情的持续时间短，且动作幅度非常小。因此正确观测并且识别有着相当的难度。基于此，本申请提供一种微表情识别方法，该方法比较每一帧与其后一帧的差别，以及与其前一帧的差别，得到该帧的差异值，根据各帧的差异值确定微表情帧，该方法可以准确的提取人脸视频中与微表情相关的帧，提升微表情帧的识别效率与准确性。
本申请提供的表情识别方法包括2个大过程，第一个大过程是训练微表情识别模型过程，另一个大过程是基于训练好的微表情识别模型进行实际微表情识别过程。
训练微表情识别模型过程并不是每次执行本申请提供的表情识别方法均要执行的过程，仅当第一次执行本申请提供的表情识别方法，或者，表情识别场景发生变化，或者，基于训练好的微表情识别模型进行实际微表情识别过程的识别结果不理想，或者其他原因时，才会执行训练微表情识别模型过程，以提升微表情识别模型的准确性，进而提升基于训练好的微表情识别模型进行实际微表情识别过程的结果的准确性。
本申请不对训练微表情识别模型过程的执行触发条件进行限定。
训练微表情识别模型过程的具体实现方法如下：
步骤1、获取多个样本视频。
样本视频可以从现有的微表情数据集中获得。
由于微表情是人在试图掩饰自己情绪时产生的微小面部动作。在严格意义上说人们主观模拟的微小表情不能称为微表情，因此微表情的诱导方式决定数据的可靠程度。
本步骤可以从如下2种现有的微表情数据集中的一个或2个获取多个样本视频：
微表情数据集SMIC，由芬兰奥卢大学建立，要求被试者观看有大情绪波动的视频，并且试图掩盖自己的情绪不被外露，记录者在不观看视频的情况下，观察被试者的表情。若记录者观察出被试者的面部表情，则被试者就会得到惩罚。在这种诱导机制下组成了16个人的164个视频序列，微表情类别有3种，分别为积极(positive)、惊讶(surprise)、消极(negative)，视频序列数分别为70、 51、43。
微表情数据集CASME2，由中国科学院心理研究所建立，采用类似的诱导机制来确保数据的可靠性，只是如果被试者成功抑制住自己的面部表情并且不被记录者发现的话，会得到相应的奖励。该数据集是由26个人的247个视频序列组成的5种微表情类别，分别是高兴(happiness)、厌恶(disgust)、惊讶(surprise)、压抑(repression)、其他(other)，视频序列数32、64、25、27、99。
步骤2、对于每个样本视频，采用局部二值模式提取对应的表情特征。
局部二值模式(Local Binary Pattern，LBP)描述子是定义在中心像素及其周围矩形邻域上，如图1所示，以中心像素的灰度值为阈值，二值量化中心像素周围的邻域像素，大于或等于中心像素值的编码为1，小于则编码为0，并形成一个局部二进制模式。
将该二进制模式以左上角为起点按照顺时针方向进行串联得到一串二进制数字，其对应的十进制数字能够唯一地标识中心像素点。按照这种方法，图像中的每一个像素都可以用一个局部二进制模式来计算得到。
如图1所示，左面表格中的中心像素值为178，左上角的值为65，65<178，所以，对应的值为0，188>178，所以对应的值为1。以此类推，得到图1右面的表格，进而得到二进制模式值为01000100。
另外，还可以将LBP静态纹理描述子在时空域的延伸，形成3个正交平面上的2维局部二值模式。如图2所示，分别提取在XY、XT及YT三个正交平面视频序列的LBP特征，将每个正交平面上的特征向量进行串联，组成LBP-TOP 特征向量。既考虑了图像的局部纹理信息，又对视频随时间变化的情况进行了描述。
但是，LBP-TOP的向量维数是3×2L，L为领域点个数。如果直接用步骤2 提取的表情特征进行建模会因为特征维数大造成模型训练效率较慢，效果不佳。因此，本申请在执行步骤2提取表情特征之后，会执行步骤3，以降低实际训练模型是所考虑的表情特征的维度，提升模型训练效率。
步骤3、根据所有样本视频的表情特征进行降维处理。
本申请依据各表情特征的信息增量作为维度筛选依据，不再考虑信息增量不大于第二预设阈值的表情特征，将信息增量大于第二预设阈值的表情特征确定为降维处理后的特征。
需要说明的是，由于本申请在后续的基于训练好的微表情识别模型进行实际微表情识别过程中还会涉及一个预设阈值，两个预设阈值之间没有任何关联关系，为了与后续的基于训练好的微表情识别模型进行实际微表情识别过程中的预设阈值进行区分，本申请将训练微表情识别模型过程中的预设阈值称为第二预设阈值，将后续的基于训练好的微表情识别模型进行实际微表情识别过程中的预设阈值称为第一预设阈值，此处的第一、第二仅为区分不同的阶段，不具有任何实际意义。
具体的，根据如下公式确定各表情特征的信息增量：
将信息增量大于第二预设阈值的表情特征确定为降维处理后的特征。
其中，s为表情特征标识，1≤s≤NA，NA为所有样本视频的表情特征总数 (为了提升表情特征的降维效果，此处的所有样本视频的表情特征可以为非重复表情特征)，Gs为表情特征s的信息增量，E()表示熵，E(s)为表情特征s的熵， v为包含表情特征s的样本视频标识，1≤v≤C，C为所有包含表情特征s的样本视频总数，E(v)为包含表情特征s的样本视频v的熵，Nv为包含表情特征s 的样本视频v对应的表情特征数。
其中，E()的计算公式为：E()＝-p+log2p+-p-log2p-。
p+为分类正确的概率，p-为分类错误的概率。
基于该E()计算公式，可以计算表情特征的熵，也可以计算样本视频的熵。
·对于计算表情特征的熵，以表情特征s为例，其计算公式为：
E(s)＝-p+(s)log2p+(s)-p-(s)log2p-(s)；
其中，p+(s)为表情特征s分类正确的概率，p-(s)为表情特征s分类错误的概率；
p+(s)和p-(s)的计算方法为：
S1-1，取q为0；
S1-2，在除表情特征s外的表情特征中，依次选择q个表情特征作为第一辅助表情特征；
每当选择第一辅助表情特征后，基于表情特征s和第一辅助表情特征对各样本视频进行分类，得到各样本视频的第一分类结果；
获取各样本视频的第一标准分类结果；
将各样本视频的第一分类结果和第一标准分类结果比较，确定第一分类结果和第一标准分类结果一致的样本视频数量N+(s)和第一分类结果和第一标准分类结果不一致的样本视频数量N-(s)；
确定正确概率
确定错误概率
其中，C为所有包含表情特征s的样本视频总数。
S1-3，当q个表情特征被依次选择完毕后，确定q+1是否为NA，若q+1不为NA则执行S1-4，若q+1为NA则执行S1-5；
S1-4，q＝q+1，重复执行S1-2和S1-3；
S1-5，将所有的均值确定为p+(s)，将所有的均值确定为p-(s)。
需要说明的是，由于本申请在后续计算E(v)(包含表情特征s的样本视频v 的熵)时还会涉及一个辅助表情特征、分类结果和标准分类结果，两个辅助表情特征之间没有任何关联关系，分类结果之间没有任何关联关系，两个标准分类结果也之间没有任何关联关系。为了与后续E(v)计算过程中的辅助表情特征、分类结果和标准分类结果进行区分，本申请将计算E(s)(表情特征s的熵)时的辅助表情特征、分类结果和标准分类结果分别称为第一辅助表情特征、第一分类结果和第一标准分类结果，将后计算E(v)时的辅助表情特征、分类结果和标准分类结果分别称为第二辅助表情特征、第二分类结果和第二标准分类结果，此处的第一、第二仅为区分作用，不具有任何实际意义。
以3个样本视频，分别为样本视频1、样本视频2，所有样本视频的表情特征总数为3，分别为表情特征1、表情特征2和表情特征3，表情特征s为表情特征3，样本视频1和样本视频2均包含表情特征3为例，对上述实现方案进行说明。
(1)取q为0，在除表情特征s(表情特征3)外的表情特征(表情特征1、表情特征2)中，依次选择0个表情特征作为第一辅助表情特征(即不选择其他的表情特征)。
此时，仅基于表情特征s(表情特征3)对各样本视频(样本视频1、样本视频2)进行分类，得到样本视频1的第一分类结果，样本视频2的第一分类结果。
获取样本视频1的第一标准分类结果，样本视频2的第一标准分类结果。
将样本视频1的第一分类结果与样本视频1的第一标准分类结果进行比较，将样本视频2的第一分类结果与样本视频2的第一标准分类结果进行比较。如样本视频1的第一分类结果与样本视频1的第一标准分类结果不一致，样本视频2 的第一分类结果与样本视频2的第一标准分类结果不一致。则确定第一分类结果和第一标准分类结果一致的样本视频数量N+(s)＝0和第一分类结果和第一标准分类结果不一致的样本视频数量N-(s)＝2。
因为样本视频1和样本视频2均包含表情特征3，因此C＝2。
确定正确概率确定错误概率
当0个表情特征被依次选择完毕后，确定0+1是否为NA(NA为所有样本视频的表情特征总数，本例中为3)，若0+1＝1不为3则q＝0+1＝1，进入(2)。
(2)此时，q＝1，在除表情特征s(表情特征3)外的表情特征(表情特征 1、表情特征2)中，依次选择1个表情特征作为第一辅助表情特征。
①选择表情特征1作为第一辅助表情特征
此时，基于表情特征s(表情特征3)和第一辅助表情特征(表情特征1) 对各样本视频(样本视频1、样本视频2)进行分类，得到样本视频1的第一分类结果，样本视频2的第一分类结果。
获取样本视频1的第一标准分类结果，样本视频2的第一标准分类结果。
将样本视频1的第一分类结果与样本视频1的第一标准分类结果进行比较，将样本视频2的第一分类结果与样本视频2的第一标准分类结果进行比较。如样本视频1的第一分类结果与样本视频1的第一标准分类结果一致，样本视频2 的第一分类结果与样本视频2的第一标准分类结果一致。则确定第一分类结果和第一标准分类结果一致的样本视频数量N+(s)＝2和第一分类结果和第一标准分类结果不一致的样本视频数量N-(s)＝0。
确定正确概率确定错误概率
②选择表情特征2作为第一辅助表情特征
此时，基于表情特征s(表情特征3)和第一辅助表情特征(表情特征2) 对各样本视频(样本视频1、样本视频2)进行分类，得到样本视频1的第一分类结果，样本视频2的第一分类结果。
获取样本视频1的第一标准分类结果，样本视频2的第一标准分类结果。
将样本视频1的第一分类结果与样本视频1的第一标准分类结果进行比较，将样本视频2的第一分类结果与样本视频2的第一标准分类结果进行比较。如样本视频1的第一分类结果与样本视频1的第一标准分类结果一致，样本视频2 的第一分类结果与样本视频2的第一标准分类结果不一致。则确定第一分类结果和第一标准分类结果一致的样本视频数量N+(s)＝1和第一分类结果和第一标准分类结果不一致的样本视频数量N-(s)＝1。
确定正确概率确定错误概率
当1个表情特征被依次选择完毕后，确定1+1＝2不为3则q＝1+1＝2，进入(3)。
(3)此时，q＝2，在除表情特征s(表情特征3)外的表情特征(表情特征 1、表情特征2)中，依次选择2个表情特征(只剩2个表情特征)作为第一辅助表情特征。
此时，基于表情特征s(表情特征3)和第一辅助表情特征(表情特征1、表情特征2)对各样本视频(样本视频1、样本视频2)进行分类，得到样本视频1的第一分类结果，样本视频2的第一分类结果。
获取样本视频1的第一标准分类结果，样本视频2的第一标准分类结果。
将样本视频1的第一分类结果与样本视频1的第一标准分类结果进行比较，将样本视频2的第一分类结果与样本视频2的第一标准分类结果进行比较。如样本视频1的第一分类结果与样本视频1的第一标准分类结果一致，样本视频2 的第一分类结果与样本视频2的第一标准分类结果一致。则确定第一分类结果和第一标准分类结果一致的样本视频数量N+(s)＝2和第一分类结果和第一标准分类结果不一致的样本视频数量N-(s)＝0。
确定正确概率确定错误概率
当2个表情特征被依次选择完毕后，确定2+1＝为3则将所有的积确定为p+(s)，将所有的积确定为p-(s)。
即将(1)中的(2)中的(①情况)和 (②情况)、(3)中的的均值确定为p+(s)。如(0+1+0.5+1) /4＝2.5/4＝0.625。
将(1)中的(2)中的(①情况)和情况)、(3)中的的均值确定为p-(s)。如(1+0+0.5+0)/4＝1.5/4＝0.375。
需要说明的是，上述数字仅为示例，具体实现时以实际数据为准。
·对于计算样本视频的熵，以样本视频v为例，其计算公式为：
E(v)＝-p+(v)log2p+(v)-p-(v)log2p-(v)；
其中，p+(v)为样本视频v分类正确的概率，p-(v)为样本视频v分类错误的概率；
p+(v)和p-(v)的计算方法为：
S2-1，取y为1；
S2-2，在样本视频v对应的表情特征中，依次选择y个表情特征作为第二辅助表情特征；
每当选择第二辅助表情特征后，x1＝x1+1，基于第二辅助表情特征对样本视频v进行分类，得到样本视频v的第二分类结果；其中，x1为第一计数标识， x1初始值为0；
获取样本视频v的第二标准分类结果；
将第二分类结果和第二标准分类结果比较，若第二分类结果和第二标准分类结果一致，则x2＝x2+1；若第二分类结果和第二标准分类结果不一致，则x3＝x3+1；其中，x2为第二计数标识，x2的初始值为0，x3为第三计数标识，x3的初始值为0；
S2-3，当q个表情特征被依次选择完毕后，确定y+1是否大于Nv，若y+1 不大于Nv则执行S2-4，若y+1大于Nv则执行S2-5；
S2-4，y＝y+1，重复执行S2-2和S2-3；
S2-5，将x2/x1的值确定为p+(s)，将x3/x1的值确定为p-(s)。
以样本视频v对应2个表情特征，分别为表情特征1、表情特征2为例，对上述实现方案进行说明。
1)取y为1，在样本视频v对应的表情特征中，依次选择y个(1个)表情特征作为第二辅助表情特征。
①选择表情特征1作为第一辅助表情特征
此时，x1＝x1+1(由于x1为第一计数标识，x1初始值为0，因此，此时 x1＝0+1＝1)，基于第二辅助表情特征(表情特征1)对样本视频v进行分类，得到样本视频v的第二分类结果；
获取样本视频v的第二标准分类结果；
将第二分类结果和第二标准分类结果比较，若第二分类结果和第二标准分类结果不一致，则x3＝x3+1(由于x3为第三计数标识，x3初始值为0，因此，此时x3＝0+1＝1)。
②选择表情特征2作为第一辅助表情特征
此时，x1＝1+1＝2，基于第二辅助表情特征(表情特征2)对样本视频v进行分类，得到样本视频v的第二分类结果；
获取样本视频v的第二标准分类结果；
将第二分类结果和第二标准分类结果比较，若第二分类结果和第二标准分类结果一致，则x2＝x2+1(由于x2为第二计数标识，x2初始值为0，因此，此时 x2＝0+1＝1)。
当1个表情特征被依次选择完毕后，确定y+1(1+1＝2)是否大于Nv(Nv为包含表情特征s的样本视频v对应的表情特征数，本例为2)，2不大于2则 y＝y+1＝1+1＝2，进入2)。
2)此时，y＝2，在样本视频v对应的表情特征中，依次选择2个表情特征(仅有2个表情特征)作为第二辅助表情特征。即选择表情特征1、表情特征2作为第一辅助表情特征。
此时，x1＝2+1＝3，基于第二辅助表情特征(表情特征1、表情特征2)对样本视频v进行分类，得到样本视频v的第二分类结果；
获取样本视频v的第二标准分类结果；
将第二分类结果和第二标准分类结果比较，若第二分类结果和第二标准分类结果一致，则x2＝1+1＝2。
当2个表情特征被依次选择完毕后，确定3+1＝3，3>2，则将x2/x1＝2/3确定为p+(s)，将x3/x1＝2/3确定为p-(s)。
步骤4、基于降维处理后的特征，对各样本视频进行识别训练，形成微表情识别模型。
本步骤的训练方法可以有多种，如采用任何一种聚类算法基于降维处理后的特征对各样本视频进行聚类，形成各样本视频所属的微表情类。再根据各样本视频的第二标准分类结果对聚类算法中的参数进行调整，重复基于降维处理后的特征对各样本视频进行聚类，形成各样本视频所属的微表情类。再根据各样本视频的第二标准分类结果对聚类算法中的参数进行调整的过程，完成训练，形成微表情识别模型。
本申请中的微表情识别模型即为一个分类器。
例如：采用支持向量机(Support Vector Machine，SVM)方法。SVM的关键在于核函数，采用不同的核函数就会有不同的SVM分类结果。
例如可以采用如下核函数：有线性核(Linear Kernel)、卡方核(Chi-square Kernel)、直方图交叉核(Histogram Intersection kernel)。
另外，为了提升最终训练好的分类模型的分类识别率，还可以采用交叉验证 (CrossValidation)验证微表情识别模型性能。具体的，将所有的样本视频分成两个子集，一个子集用于训练分类器称为训练集，另一个子集用于验证分析分类器的有效性称为测试集。其利用测试集来测试训练得到的分类器，以此作为分类器的性能指标。常用的方法有简单交叉验证、K折交叉验证和留一交叉验证。
以运用留一交叉验证方法对不同核函数的SVM分类器进行微表情分类训练为例。每次选择一位受试者的所有视频序列作为测试样本，其余I个受试者的所有视频序列作为训练样本，重复I+1次实验，计算I+1次的平均分类识别率。
基于此，完成一个微表情识别模型的训练，该微表情识别模型由于对表情特征进行了降维处理，提升了微表情识别模型的识别速率和识别准确率。
基于训练好的微表情识别模型进行实际微表情识别过程的实现方法如图3 所示：
101，获取人脸视频。
因为微表情的持续时间短，且动作幅度非常小，因此，本步骤的人脸视频图像只要每帧均包括人脸即可，不要必须精确的对应微表情的视频。
102，提取人脸视频的每一帧。
103，依次比较除首帧和尾帧外的每一帧与其后一帧的差别，以及依次比较除首帧和尾帧外的每一帧与其前一帧的差别。
由于首帧和尾帧一般不包含有效信息，因此本申请中不再考虑首帧和尾帧。
具体的，
(1)依次比较除首帧和尾帧外的每一帧与其后一帧的差别，包括：
对于除首帧和尾帧外的任一帧i，
获取任一帧i中每一像素的红色通道值、绿色通道值和蓝色通道值。
获取任一帧i的后一帧i+1中每一像素的红色通道值、绿色通道值和蓝色通道值。
根据任一帧i中每一像素的红色通道值、绿色通道值和蓝色通道值，以及，任一帧i的后一帧i+1中每一像素的红色通道值、绿色通道值和蓝色通道值，确定任一帧i与其后一帧i+1的差别。
例如，通过如下公式计算任一帧i与其后一帧i+1的差别：
其中，为任一帧i与其后一帧i+1的差别，j为像素标识，1≤j≤M，M 为人脸视频任一帧的像素总数，WR为红色通道权重，WG为绿色通道权重，WB为蓝色通道权重，Ri,j为任一帧i中像素j的红色通道值，Gi,j为任一帧i中像素j 的绿色通道值，Bi,j为任一帧i中像素j的蓝色通道值，Ri+1,j为后一帧i+1中像素j的红色通道值，Gi+1,j为后一帧i+1中像素j的绿色通道值，Bi+1,j为后一帧i+1 中像素j的蓝色通道值。
其中，
①WR的确定方法包括：
在人脸视频中，获取包括人脸的任一帧(只要获取到包括人脸的一帧图像即可)。识别人脸的任一帧中的人脸区域。根据人脸区域确定人脸肤色的红色通道值。WR＝人脸肤色的红色通道值/255。
②WG的确定方法包括：
在人脸视频中，获取包括人脸的任一帧；识别人脸的任一帧中的人脸区域；根据人脸区域确定人脸肤色的绿色通道值；WG＝人脸肤色的绿色通道值/255。
③WB的确定方法包括：
在人脸视频中，获取包括人脸的任一帧；识别人脸的任一帧中的人脸区域；根据人脸区域确定人脸肤色的蓝色通道值；WB＝人脸肤色的蓝色通道值/255。
在具体实施时，可以同时确定WR、WG、WB。例如，在人脸视频中，获取包括人脸的任一帧；识别人脸的任一帧中的人脸区域；根据人脸区域确定人脸肤色的红色通道值、绿色通道值、蓝色通道值；WR＝人脸肤色的红色通道值/255、 WG＝人脸肤色的绿色通道值/255、WB＝人脸肤色的蓝色通道值/255。
(2)依次比较除首帧和尾帧外的每一帧与其前一帧的差别，包括：
对于除首帧和尾帧外的任一帧i。
获取任一帧i中每一像素的红色通道值、绿色通道值和蓝色通道值；
获取任一帧i的前一帧i-1中每一像素的红色通道值、绿色通道值和蓝色通道值。
根据任一帧i中每一像素的红色通道值、绿色通道值和蓝色通道值，以及，任一帧i的前一帧i-1中每一像素的红色通道值、绿色通道值和蓝色通道值，确定任一帧i与其前一帧i-1的差别。
例如，根据任一帧i中每一像素的红色通道值、绿色通道值和蓝色通道值，以及，任一帧i的前一帧i-1中每一像素的红色通道值、绿色通道值和蓝色通道值，确定任一帧i与其前一帧i-1的差别，包括：
通过如下公式计算任一帧i与其前一帧i-1的差别：
其中，为任一帧i与其前一帧i-1的差别，Ri-1,j为任一帧i的前一帧i-1 中像素j的红色通道值，Gi-1,j为任一帧i的前一帧i-1中像素j的绿色通道值，Bi-1,j为任一帧i的前一帧i-1中像素j的蓝色通道值。
本步骤在计算两帧之间差别是，不仅考虑到实际像素的差别，还考虑到人的皮肤颜色，根据人皮肤颜色的不同，对像素差别进行微调，使得本步骤的差别更符合时间情况，更加准确的反应微表情。
104，依次将除首帧和尾帧外的每一帧与其后一帧的差别与该帧与其前一帧的差别的差确定为该帧的差异值。
例如，
105，根据除首帧和尾帧外的各帧的差异值确定微表情帧。
由于本申请未对101中的人脸视频内容进行限定，这就使得101中的人脸视频中很可能包括非微表***片段，如无表情的人脸视频片段，或者，虽然有表情，但非微表情，而是常规表情(如大笑、大哭等)的片段，或者，无表情的人脸视频片段和常规表情的片段。
本步骤可以在101中的人脸视频中准确找到微表情的开始帧和结束帧，进而提取出仅包含微表情的帧，后续仅对仅包含微表情的帧进行识别，可以提升识别效率。
具体的，在除首帧和尾帧外的各帧中，选取差异值的绝对值非0，且小于第一预设阈值的帧；确定选取的各帧的标识；在选取的各帧中，将标识连续的帧均确定为微表情帧。
以步骤101中获得的人脸视频共10帧，按时间顺序分别记为帧1、帧2、帧3、帧4、帧5、帧6、帧7、帧8、帧9、帧10为例，除首帧(帧1)和尾帧(帧 10)外，剩余8帧，分别为帧2、帧3、帧4、帧5、帧6、帧7、帧8、帧9。若步骤104中得到帧2的差异值为0.9，帧3的差异值为0.01，帧4的差异值为0，帧5的差异值为0.02，帧6的差异值为0.01，帧7的差异值为0，帧8的差异值为0.01，帧9的差异值为0.01。当第一预设阈值为0.03时，选取差异值的绝对值非0，且小于0.03的帧(帧3、帧5、帧6、帧8、帧9)将标识连续的帧(帧 5、帧6，帧8、帧9)均确定为微表情帧。
此时很可能帧5、帧6表示一个微表情，帧8、帧9表示一个微表情。
上述仅为示例，不代表实际情况。
第一预设阈值保证了差异的大小，不同的微表情差异幅度不同，通过第一预设阈值根据本方法应用领域不同，进行适应性挑选，进而保证本申请提供的表情识别方法的通用性。
另外，本申请并不对“连续”进行限定，只有非单独帧即可。例如，有2个标识连续的帧则将该2个标识连续的帧均确定为微表情帧。再例如，有3个标识连续的帧则将该3个标识连续的帧均确定为微表情帧。
106，通过预先训练的微表情识别模型提取微表情帧的表情特征，对表情特征进行降维，对降维后的特征进行识别，得到识别结果。
本步骤中的微表情识别模型即101之前所得到的微表情识别模型。本步骤中将105中得到的微表情帧输入微表情识别模型，微表情识别模型即可进行微表情的分类，得到101中获取的人脸视频所对应的微表情结果。
在于训练好的微表情识别模型进行实际微表情识别过程中，智能的提取微表情帧，仅基于微表情帧进行微表情识别，不仅提升了微表情识别效率，还提升了微表情识别质量。
需要说明的是，本实施例及后续实施例中的“第一”，“第二”等仅用于区分不同步骤中的预设阈值、分类结果、标准分类结果等，不具有其他任何特殊含义。
有益效果：
比较每一帧与其后一帧的差别，以及与其前一帧的差别，得到该帧的差异值，根据各帧的差异值确定微表情帧，该方法可以准确的提取人脸视频中与微表情相关的帧，提升微表情帧的识别效率与准确性。
Claims (9)
1.一种微表情识别方法，其特征在于，所述方法包括：
获取人脸视频；
提取所述人脸视频的每一帧；
依次比较除首帧和尾帧外的每一帧与其后一帧的差别，以及依次比较除首帧和尾帧外的每一帧与其前一帧的差别；
依次将除首帧和尾帧外的每一帧与其后一帧的差别与该帧与其前一帧的差别的差确定为该帧的差异值；
在除首帧和尾帧外的各帧中，选取差异值的绝对值非0，且小于第一预设阈值的帧；
确定选取的各帧的标识；
在选取的各帧中，将标识连续的帧均确定为微表情帧；
通过预先训练的微表情识别模型提取微表情帧的表情特征，对表情特征进行降维，对降维后的特征进行识别，得到识别结果。
2.根据权利要求1所述的方法，其特征在于，所述依次比较除首帧和尾帧外的每一帧与其后一帧的差别，包括：
对于除首帧和尾帧外的任一帧i，
获取所述任一帧i中每一像素的红色通道值、绿色通道值和蓝色通道值；
获取所述任一帧i的后一帧i+1中每一像素的红色通道值、绿色通道值和蓝色通道值；
根据所述任一帧i中每一像素的红色通道值、绿色通道值和蓝色通道值，以及，所述任一帧i的后一帧i+1中每一像素的红色通道值、绿色通道值和蓝色通道值，确定所述任一帧i与其后一帧i+1的差别；
所述依次比较除首帧和尾帧外的每一帧与其前一帧的差别，包括：
对于除首帧和尾帧外的任一帧i；
获取所述任一帧i中每一像素的红色通道值、绿色通道值和蓝色通道值；
获取所述任一帧i的前一帧i-1中每一像素的红色通道值、绿色通道值和蓝色通道值；
根据所述任一帧i中每一像素的红色通道值、绿色通道值和蓝色通道值，以及，所述任一帧i的前一帧i-1中每一像素的红色通道值、绿色通道值和蓝色通道值，确定所述任一帧i与其前一帧i-1的差别。
3.根据权利要求2所述的方法，其特征在于，所述根据所述任一帧i中每一像素的红色通道值、绿色通道值和蓝色通道值，以及，所述任一帧i的后一帧i+1中每一像素的红色通道值、绿色通道值和蓝色通道值，确定所述任一帧i与其后一帧i+1的差别，包括：
通过如下公式计算所述任一帧i与其后一帧i+1的差别：
其中，为所述任一帧i与其后一帧i+1的差别，j为像素标识，1≤j≤M，M为所述人脸视频任一帧的像素总数，WR为红色通道权重，WG为绿色通道权重，WB为蓝色通道权重，Ri，j为所述任一帧i中像素j的红色通道值，Gi，j为所述任一帧i中像素j的绿色通道值，Bi，j为所述任一帧i中像素j的蓝色通道值，Ri+1，j为后一帧i+1中像素j的红色通道值，Gi+1，j为后一帧i+1中像素j的绿色通道值，Bi+1，j为后一帧i+1中像素j的蓝色通道值；
所述根据所述任一帧i中每一像素的红色通道值、绿色通道值和蓝色通道值，以及，所述任一帧i的前一帧i-1中每一像素的红色通道值、绿色通道值和蓝色通道值，确定所述任一帧i与其前一帧i-1的差别，包括：
通过如下公式计算所述任一帧i与其前一帧i-1的差别：
其中，为所述任一帧i与其前一帧i-1的差别，Ri-1，j为所述任一帧i的前一帧i-1中像素j的红色通道值，Gi-1，j为所述任一帧i的前一帧i-1中像素j的绿色通道值，Bi-1，j为所述任一帧i的前一帧i-1中像素j的蓝色通道值。
4.根据权利要求3所述的方法，其特征在于，所述WR的确定方法包括：
在所述人脸视频中，获取包括人脸的任一帧；
识别所述人脸的任一帧中的人脸区域；
根据所述人脸区域确定人脸肤色的红色通道值；
WR＝人脸肤色的红色通道值/255；
所述WG的确定方法包括：
在所述人脸视频中，获取包括人脸的任一帧；
识别所述人脸的任一帧中的人脸区域；
根据所述人脸区域确定人脸肤色的绿色通道值；
WG＝人脸肤色的绿色通道值/255；
所述WB的确定方法包括：
在所述人脸视频中，获取包括人脸的任一帧；
识别所述人脸的任一帧中的人脸区域；
根据所述人脸区域确定人脸肤色的蓝色通道值；
WB＝人脸肤色的蓝色通道值/255。
5.根据权利要求1至4任一权利要求所述的方法，其特征在于，所述通过预先训练的微表情识别模型提取微表情帧的表情特征，对表情特征进行降维，对降维后的特征进行识别，得到识别结果之前，还包括：
训练微表情识别模型；
所述训练微表情识别模型，包括：
获取多个样本视频；
对于每个样本视频，采用局部二值模式提取对应的表情特征；
根据所有样本视频的表情特征进行降维处理；
基于降维处理后的特征，对各样本视频进行识别训练，形成微表情识别模型。
6.根据权利要求5所述的方法，其特征在于，所述根据所有样本视频的表情特征进行降维处理，包括：
根据如下公式确定各表情特征的信息增量：
将信息增量大于第二预设阈值的表情特征确定为降维处理后的特征；
其中，s为表情特征标识，1≤s≤NA，NA为所有样本视频的表情特征总数，Gs为表情特征s的信息增量，E()表示熵，E(s)为表情特征s的熵，v为包含表情特征s的样本视频标识，1≤v≤C，C为所有包含表情特征s的样本视频总数，E(v)为包含表情特征s的样本视频v的熵，Nv为包含表情特征s的样本视频v对应的表情特征数。
7.根据权利要求6所述的方法，其特征在于，E()的计算公式为：
E()＝-p+log2p+-p-log2p-；
其中，p+为分类正确的概率，p-为分类错误的概率。
8.根据权利要求7所述的方法，其特征在于，所述E(s)的计算公式为：
E(s)＝-p+(s)log2p+(s)-p-(s)log2p-(s)；
其中，p+(s)为表情特征s分类正确的概率，p-(s)为表情特征s分类错误的概率；
所述p+(s)和p-(s)的计算方法为：
S1-1，取q为0；
S1-2，在除表情特征s外的表情特征中，依次选择q个表情特征作为第一辅助表情特征；
每当选择第一辅助表情特征后，基于表情特征s和所述第一辅助表情特征对各样本视频进行分类，得到各样本视频的第一分类结果；
获取各样本视频的第一标准分类结果；
将各样本视频的第一分类结果和第一标准分类结果比较，确定第一分类结果和第一标准分类结果一致的样本视频数量N+(s)和第一分类结果和第一标准分类结果不一致的样本视频数量N-(s)；
确定正确概率
确定错误概率
S1-3，当q个表情特征被依次选择完毕后，确定q+1是否为NA，若q+1不为NA则执行S1-4，若q+1为NA则执行S1-5；
S1-4，q＝q+1，重复执行S1-2和S1-3；
S1-5，将所有的均值确定为p+(s)，将所有的均值确定为p-(s)。
9.根据权利要求7所述的方法，其特征在于，所述E(v)的计算公式为：
E(v)＝-p+(v)log2p+(v)-p-(v)log2p-(v)；
其中，p+(v)为样本视频v分类正确的概率，p-(v)为样本视频v分类错误的概率；
所述p+(v)和p-(v)的计算方法为：
S2-1，取y为1；
S2-2，在样本视频v对应的表情特征中，依次选择y个表情特征作为第二辅助表情特征；
每当选择第二辅助表情特征后，x1＝x1+1，基于所述第二辅助表情特征对样本视频v进行分类，得到样本视频v的第二分类结果；其中，x1为第一计数标识，x1初始值为0；
获取样本视频v的第二标准分类结果；
将第二分类结果和第二标准分类结果比较，若第二分类结果和第二标准分类结果一致，则x2＝x2+1；若第二分类结果和第二标准分类结果不一致，则x3＝x3+1；其中，x2为第二计数标识，x2的初始值为0，x3为第三计数标识，x3的初始值为0；
S2-3，当q个表情特征被依次选择完毕后，确定y+1是否大于Nv，若y+1不大于Nv则执行S2-4，若y+1大于Nv则执行S2-5；
S2-4，y＝y+1，重复执行S2-2和S2-3；
S2-5，将x2/x1的值确定为p+(s)，将x3/x1的值确定为p-(s)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811085510.8A CN109190582B (zh) | 2018-09-18 | 2018-09-18 | 一种微表情识别的新方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811085510.8A CN109190582B (zh) | 2018-09-18 | 2018-09-18 | 一种微表情识别的新方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109190582A true CN109190582A (zh) | 2019-01-11 |
| CN109190582B CN109190582B (zh) | 2022-02-08 |
Family
ID=64911648
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811085510.8A Expired - Fee Related CN109190582B (zh) | 2018-09-18 | 2018-09-18 | 一种微表情识别的新方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109190582B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109800771A (zh) * | 2019-01-30 | 2019-05-24 | 杭州电子科技大学 | 混合时空平面局部二值模式的自发微表情定位方法 |
| WO2020263277A1 (en) * | 2019-06-28 | 2020-12-30 | 1Hewlett-Packard Development Company, L. P. | Landmark temporal smoothing |
| CN113076813A (zh) * | 2021-03-12 | 2021-07-06 | 首都医科大学宣武医院 | 面具脸特征识别模型训练方法和装置 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6248866A (ja) * | 1985-08-28 | 1987-03-03 | Fuji Photo Film Co Ltd | 放射線画像情報の読取条件決定方法 |
| CN101567043A (zh) * | 2009-05-31 | 2009-10-28 | 中山大学 | 基于分类识别的人脸跟踪方法 |
| WO2011065952A1 (en) * | 2009-11-30 | 2011-06-03 | Hewlett-Packard Development Company, L.P. | Face recognition apparatus and methods |
| CN104123543A (zh) * | 2014-07-23 | 2014-10-29 | 泰亿格电子（上海）有限公司 | 一种基于人脸识别的眼球运动识别方法 |
| CN105913038A (zh) * | 2016-04-26 | 2016-08-31 | 哈尔滨工业大学深圳研究生院 | 一种基于视频的动态微表情识别方法 |
| CN107346417A (zh) * | 2017-06-13 | 2017-11-14 | 浪潮金融信息技术有限公司 | 人脸检测方法及装置 |
| CN107358206A (zh) * | 2017-07-13 | 2017-11-17 | 山东大学 | 一种基于感兴趣区域的光流特征矢量模值和角度结合的微表情检测方法 |
| CN107403142A (zh) * | 2017-07-05 | 2017-11-28 | 山东中磁视讯股份有限公司 | 一种微表情的检测方法 |
| CN107808113A (zh) * | 2017-09-13 | 2018-03-16 | 华中师范大学 | 一种基于差分深度特征的人脸表情识别方法及*** |
| KR20180043937A (ko) * | 2016-10-21 | 2018-05-02 | 삼성전자주식회사 | 표정 인식 방법 및 장치 |
-
2018
- 2018-09-18 CN CN201811085510.8A patent/CN109190582B/zh not_active Expired - Fee Related
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6248866A (ja) * | 1985-08-28 | 1987-03-03 | Fuji Photo Film Co Ltd | 放射線画像情報の読取条件決定方法 |
| CN101567043A (zh) * | 2009-05-31 | 2009-10-28 | 中山大学 | 基于分类识别的人脸跟踪方法 |
| WO2011065952A1 (en) * | 2009-11-30 | 2011-06-03 | Hewlett-Packard Development Company, L.P. | Face recognition apparatus and methods |
| CN104123543A (zh) * | 2014-07-23 | 2014-10-29 | 泰亿格电子（上海）有限公司 | 一种基于人脸识别的眼球运动识别方法 |
| CN105913038A (zh) * | 2016-04-26 | 2016-08-31 | 哈尔滨工业大学深圳研究生院 | 一种基于视频的动态微表情识别方法 |
| KR20180043937A (ko) * | 2016-10-21 | 2018-05-02 | 삼성전자주식회사 | 표정 인식 방법 및 장치 |
| CN107346417A (zh) * | 2017-06-13 | 2017-11-14 | 浪潮金融信息技术有限公司 | 人脸检测方法及装置 |
| CN107403142A (zh) * | 2017-07-05 | 2017-11-28 | 山东中磁视讯股份有限公司 | 一种微表情的检测方法 |
| CN107358206A (zh) * | 2017-07-13 | 2017-11-17 | 山东大学 | 一种基于感兴趣区域的光流特征矢量模值和角度结合的微表情检测方法 |
| CN107808113A (zh) * | 2017-09-13 | 2018-03-16 | 华中师范大学 | 一种基于差分深度特征的人脸表情识别方法及*** |
Non-Patent Citations (2)
| Title |
|---|
| TOMAS PFISTER: "Recognising spontaneous facial micro-expressions", 《2011 INTERNATIONAL CONFERENCE ON COMPUTER VISION》 * |
| 张轩阁: "基于全局光流特征的微表情识别", 《模式识别与人工智能》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109800771A (zh) * | 2019-01-30 | 2019-05-24 | 杭州电子科技大学 | 混合时空平面局部二值模式的自发微表情定位方法 |
| WO2020263277A1 (en) * | 2019-06-28 | 2020-12-30 | 1Hewlett-Packard Development Company, L. P. | Landmark temporal smoothing |
| US11954905B2 (en) | 2019-06-28 | 2024-04-09 | Hewlett-Packard Development Company, L.P. | Landmark temporal smoothing |
| CN113076813A (zh) * | 2021-03-12 | 2021-07-06 | 首都医科大学宣武医院 | 面具脸特征识别模型训练方法和装置 |
| CN113076813B (zh) * | 2021-03-12 | 2024-04-12 | 首都医科大学宣武医院 | 面具脸特征识别模型训练方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109190582B (zh) | 2022-02-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107403142B (zh) | 一种微表情的检测方法 | |
| WO2020151489A1 (zh) | 基于面部识别的活体检测的方法、电子设备和存储介质 | |
| CN108596141B (zh) | 一种深度网络生成人脸图像的检测方法及*** | |
| Shan | Smile detection by boosting pixel differences | |
| CN109214360A (zh) | 一种基于ParaSoftMax损失函数的人脸识别模型的构建方法及应用 | |
| CN105354554A (zh) | 基于颜色和奇异值特征的人脸活体检测方法 | |
| CN102194108B (zh) | 一种聚类线性鉴别分析特征选择的笑脸表情识别方法 | |
| CN109190582A (zh) | 一种微表情识别的新方法 | |
| CN107180234A (zh) | 基于人脸表情识别和人脸特征提取的信用风险预测方法 | |
| CN103854016B (zh) | 基于方向性共同发生特征的人体行为分类识别方法及*** | |
| CN109614927A (zh) | 基于前后帧差异及特征降维的微表情识别 | |
| CN103116763A (zh) | 一种基于hsv 颜色空间统计特征的活体人脸检测方法 | |
| CN105335719A (zh) | 活体检测方法及装置 | |
| CN106548149A (zh) | 监控视频序列中人脸微表情图像序列的识别方法 | |
| CN109753950A (zh) | 动态人脸表情识别方法 | |
| CN101383008A (zh) | 基于视觉注意模型的图像分类方法 | |
| CN112232332B (zh) | 一种基于视频序列的非接触式手掌检测方法 | |
| CN105844221A (zh) | 一种基于Vadaboost筛选特征块的人脸表情识别方法 | |
| CN108363969A (zh) | 一种基于移动终端的新生儿疼痛评估方法 | |
| CN109614869A (zh) | 一种基于多尺度压缩奖惩网络的病理图像分类方法 | |
| CN104778472B (zh) | 人脸表情特征提取方法 | |
| CN107992783A (zh) | 人脸图像处理方法及装置 | |
| CN106529377A (zh) | 一种基于图像的年龄估计方法、装置及*** | |
| CN104679967B (zh) | 一种判断心理测试可靠性的方法 | |
| CN109871751A (zh) | 基于人脸表情识别的服务态度评估方法、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220208 |