CN112329663A - 一种基于人脸图像序列的微表情时刻检测方法及装置 - Google Patents

一种基于人脸图像序列的微表情时刻检测方法及装置 Download PDF

Info

Publication number
CN112329663A
CN112329663A CN202011251214.8A CN202011251214A CN112329663A CN 112329663 A CN112329663 A CN 112329663A CN 202011251214 A CN202011251214 A CN 202011251214A CN 112329663 A CN112329663 A CN 112329663A
Authority
CN
China
Prior art keywords
micro
expression
image sequence
face image
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011251214.8A
Other languages
English (en)
Other versions
CN112329663B (zh
Inventor
陈通
曹然磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest University
Original Assignee
Southwest University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest University filed Critical Southwest University
Priority to CN202011251214.8A priority Critical patent/CN112329663B/zh
Publication of CN112329663A publication Critical patent/CN112329663A/zh
Application granted granted Critical
Publication of CN112329663B publication Critical patent/CN112329663B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供一种基于人脸图像序列的微表情时刻检测方法及装置，涉及微表情检测技术领域，该方法包括：获取人脸图像序列中每帧图像的完整特征向量；计算与完整特征向量相对应的微表情单帧概率；根据预设长度的滑动时间窗对人脸图像序列进行划分，得到多个拍摄子视频；计算与每个拍摄子视频相对应的微表情窗口概率；根据微表情窗口概率进行极值分析，得到人脸图像序列的微表情时刻。可见，实施这种实施方式，能够提高对微表情的检测精度，也能够在一段视频中准确地确定出微表情发生的时刻。

Description

一种基于人脸图像序列的微表情时刻检测方法及装置
技术领域
本申请涉及微表情检测技术领域，具体而言，涉及一种基于人脸图像 序列的微表情时刻检测方法及装置。
背景技术
心理学研究表明，微表情是不可控制的，因此微表情检测在测谎、心 理健康以及情感分析等领域都具有较高的应用价值。目前，微表情的检测 方式通常采用专业人员根据他们的专业经验来进行检测的方式，以使微表 情是否出现以及微表情出现的时刻被确定下来。然而，在实践中发现，专 业人员进行微表情检测的时候，不可避免地会出现人为误差，从而导致了 对微表情的检测精度不高，也不适合在一段视频中准确地确定出微表情发生的时刻。
发明内容
本申请的目的在于提供一种基于人脸图像序列的微表情时刻检测方法 及装置，能够提高对微表情的检测精度，也能够在一段视频中准确地确定 出微表情发生的时刻。
本申请实施例第一方面提供了一种基于人脸图像序列的微表情时刻检 测方法，所述方法包括：
获取所述人脸图像序列中每帧图像的完整特征向量；
计算与所述完整特征向量相对应的微表情单帧概率；
根据预设长度的滑动时间窗对所述人脸图像序列进行划分，得到多个 拍摄子视频；
计算与每个拍摄子视频相对应的微表情窗口概率；
根据所述微表情窗口概率进行极值分析，得到所述人脸图像序列的微 表情时刻。
在上述实现过程中，该种基于人脸图像序列的微表情时刻检测方法可 以优先获取人脸图像序列中每帧图像的完整特征向量；然后计算出每帧图 像中出现微表情的微表情单帧概率，并在获取到微表情单帧概率之后，使 用预设长度的滑动时间窗在微表情单帧概率的基础上添加时间维度，从而 确定出人脸图像序列中出现微表情的时刻。可见，实施这种实施方式，能 够确定单帧图像中微表情出现的概率，同时还能进一步确定出视频中出现 微表情的时间点，从而实现微表情检测的自动化，提高微表情检测的精确 度，进而能够通过微表情单帧概率和微表情时刻进一步实现更准确地微表 情检测。
进一步地，所述获取所述人脸图像序列中每帧图像的完整特征向量的 步骤之前，所述方法还包括：
获取原始视频；
对所述原始视频进行图像预处理操作，得到人脸图像序列。
在上述实现过程中，该方法可以优先获取拍摄得到的原始视频，然后 再对该原始视频进行每帧图像的图像预处理，得到用于判断微表情是否出 现的人脸图像序列。可见，实施这种实施方式，能够优先对原始视频进行 处理，从而使得后续的微表情检测精度更高，效果更好。
进一步地，所述获取所述人脸图像序列中每帧图像的完整特征向量的 步骤包括：
获取所述人脸图像序列中每帧图像的人脸关键点，并获取所述人脸关 键点包括的多个关键点对；
计算与所述多个关键点对一一对应的多个欧拉距离，并确定所述多个 欧拉距离为几何特征向量；
根据预设图像分割方式对所述人脸图像序列中每帧图像进行均分，得 到多个子图像；
提取每个子图像的LBP直方图特征向量，并组合所述LBP直方图特征 向量得到特征矩阵；
对所述特征矩阵进行PCA降维处理，得到纹理特征向量；
根据所述几何特征向量和所述纹理特征向量，确定所述人脸图像序列 中每帧图像的完整特征向量。
在上述实现过程中，该方法可以优先获取人脸图像序列中的单帧图像， 然后在该单帧图像中确定人脸关键点，再在该人脸关键点中确定参与特征 向量确定的12对人脸关键点，并将其每对的欧拉距离确定为几何特征向量， 在此之后，对上述的单帧图像进行图像分割，得到64个子图像，然后再对 该64个子图像进行LBP直方图特征向量提取，并对LBP直方图特征向量 进行组合得到特征矩阵，再对特征矩阵进行PCA降维处理，得到纹理特征向量，以使该方法可以根据几何特征向量和纹理特征向量进行综合，得到 完整特征向量。可见，实施这种实施方式，能够通过两方面的特征向量来 确定更高精度的完整特征向量，从而有利于微表情检测的精度提升。
进一步地，所述计算与所述完整特征向量相对应的微表情单帧概率的 步骤包括：
获取与所述完整特征向量相对应的完整特征矩阵；
确定所述完整特征矩阵中，每行的均值和每行的标准差；
根据每行的均值和每行的标准差进行高斯建模，得到单行高斯混合模 型；
根据所述单行高斯混合模型，确定所述完整特征矩阵中每个子特征的 微表情子概率；
根据所述微表情子概率进行乘法运算，得到与完整特征向量相对应的 微表情单帧概率。
在上述实现过程中，该方法可以根据完整特征向量中的76个特征形成 与该完整特征向量相对应的完整特征矩阵，然后再根据该完整特征矩阵进 行每行的高斯建模，以使纵列元素代入可以得到76个特征所对应的微表情 子概率，并进一步确定出微表情单帧概率。可见，实施这种实施方式，能 够适用高斯混合模型牌确定微表情出现的概率，从而实现客观地对微表情 进行检测，进而能够提高微表情的检测结果，尽可能地避免检测误差的出现。
进一步地，所述计算与每个拍摄子视频相对应的微表情窗口概率的步 骤包括：
获取与每个拍摄子视频相对应的多个微表情单帧概率；
根据所述多个微表情单帧概率进行加法运算，得到与每个拍摄子视频 相对应的微表情窗口概率。
在上述实现过程中，该方法可以在确定出时间窗口之后，获取时间窗 口中的拍摄子视频，并进一步获取该拍摄子视频中所有微表情单帧概率， 从而能够计算出该拍摄自视频对应的微表情窗口概率。可见，实施这种实 施方式，能够获取到时间窗口下的多个微表情窗口概率，从而能够获取到 该时间窗口下出现微表情的微表情窗口概率，进而能够通过该微表情窗口 概率进行微表情时刻的分析与确定，有利于实现在视频中准确地确定出微表情的出现与出现时刻。
本申请实施例第二方面提供了一种基于人脸图像序列的微表情时刻检 测装置，所述微表情时刻检测装置包括：
获取单元，用于获取所述人脸图像序列中每帧图像的完整特征向量；
第一计算单元，用于计算与所述完整特征向量相对应的微表情单帧概 率；
划分单元，用于根据预设长度的滑动时间窗对所述人脸图像序列进行 划分，得到多个拍摄子视频；
第二计算单元，用于计算与每个拍摄子视频相对应的微表情窗口概率；
分析单元，用于根据所述微表情窗口概率进行极值分析，得到所述人 脸图像序列的微表情时刻。
在上述实现过程中，微表情时刻检测装置可以通过获取单元来获取人 脸图像序列中每帧图像的完整特征向量；通过第一计算单元来计算与完整 特征向量相对应的微表情单帧概率；通过划分单元来根据预设长度的滑动 时间窗对人脸图像序列进行划分，得到多个拍摄子视频；通过第二计算单 元来计算与每个拍摄子视频相对应的微表情窗口概率；通过分析单元来根 据微表情窗口概率进行极值分析，得到人脸图像序列的微表情时刻。可见， 实施这种实施方式，能够确定单帧图像中微表情出现的概率，同时还能进 一步确定出视频中出现微表情的时间点，从而实现微表情检测的自动化， 提高微表情检测的精确度，进而能够通过微表情单帧概率和微表情时刻进 一步实现更准确地微表情检测。
进一步地，所述获取单元包括：
第一获取子单元，用于获取原始视频；
第一处理子单元，用于对所述原始视频进行图像预处理操作，得到人 脸图像序列。
在上述实现过程中，获取单元可以通过第一获取子单元来获取原始视 频；通过第一处理子单元对原始视频进行图像预处理操作，得到人脸图像 序列。可见，实施这种实施方式，能够优先对原始视频进行处理，从而使 得后续的微表情检测精度更高，效果更好。
进一步地，所述第一计算单元，包括：
第二获取子单元，用于获取所述人脸图像序列中每帧图像的人脸关键 点，并获取所述人脸关键点包括的多个关键点对；
第二计算子单元，用于计算与所述多个关键点对一一对应的多个欧拉 距离，并确定所述多个欧拉距离为几何特征向量；
第二均分子单元，用于根据预设图像分割方式对所述人脸图像序列中 每帧图像进行均分，得到多个子图像；
第二处理子单元，用于提取每个子图像的LBP直方图特征向量，并组 合所述LBP直方图特征向量得到特征矩阵；
所述第二处理子单元，还用于对所述特征矩阵进行PCA降维处理，得 到纹理特征向量；
第二确定子单元，用于根据所述几何特征向量和所述纹理特征向量， 确定所述人脸图像序列中每帧图像的完整特征向量。
在上述实现过程中，该第一计算单元可以通过第二获取子单元、第二 计算子单元、第二均分子单元、第二处理子单元以及第二确定子单元确定 出每帧图像的完整特征向量。可见，实施这种实施方式，能够通过两方面 的特征向量来确定更高精度的完整特征向量，从而有利于微表情检测的精 度提升。
本申请实施例第三方面提供了一种电子设备，包括存储器以及处理器， 所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所 述电子设备执行本申请实施例第一方面中任一项所述的基于人脸图像序列 的微表情时刻检测方法。
本申请实施例第四方面提供了一种计算机可读存储介质，其存储有计 算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行本申 请实施例第一方面中任一项所述的基于人脸图像序列的微表情时刻检测方 法。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例 中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请 的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人 员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相 关的附图。
图1为本申请实施例提供的一种基于人脸图像序列的微表情时刻检测 方法的流程示意图；
图2为本申请实施例提供的另一种基于人脸图像序列的微表情时刻检 测方法的流程示意图；
图3为本申请实施例提供的一种基于人脸图像序列的微表情时刻检测 装置的结构示意图；
图4为本申请实施例提供的另一种基于人脸图像序列的微表情时刻检 测装置的结构示意图；
图5为本申请实施例提供的一种实验结果的举例示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进 行描述。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一 旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步 定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分 描述，而不能理解为指示或暗示相对重要性。
实施例1
请参看图1，图1为本申请实施例提供了一种基于人脸图像序列的微表 情时刻检测方法的流程示意图。该方法应用于自动检测微表情的场景当中， 具体的，该方法可应用于对一段视频进行微表情自动检测的过程当中。其 中，该基于人脸图像序列的微表情时刻检测方法包括：
S101、获取人脸图像序列中每帧图像的完整特征向量。
本实施例中，人脸图像序列是经过预处理的视频。
在本实施例中，原始视频是最开始通过摄像机拍摄得到的视频，而该 人脸图像序列是该原始视频经过预处理得到的。
本实施例中，完整特征向量用于表示人脸图像序列中每帧图像的多种 特征向量集合。
在本实施例中，多种特征向量集合包括几何特征向量、纹理特征向量 以及其他特征向量。
在本实施例中，对于每种特征向量的特征数量不做限定。
S102、计算与完整特征向量相对应的微表情单帧概率。
本实施例中，微表情单帧概率用于表示单帧图像中出现的微表情的概 率。
在本实施例中，微表情单帧概率、完整特征向量以及单帧图像是一一 对应。
S103、根据预设长度的滑动时间窗对人脸图像序列进行划分，得到多 个拍摄子视频。
本实施例中，滑动时间窗用于表示对人脸图像序列进行划分的划分窗 口。
在本实施例中，滑动时间窗在人脸图像序列中进行滑动的过程中，可 以获取到多个拍摄子视频，而该多个拍摄子视频之间可以存在重复的帧图 像。
举例来说，当人脸图像序列包括100帧的连续图像时，滑动时间窗为 40帧，那么随着滑动时间窗的滑动，该人脸图像序列将会被划分为61个拍 摄子图像。
S104、计算与每个拍摄子视频相对应的微表情窗口概率。
本实施例中，微表情窗口概率用于表示对应的拍摄子视频出现微表情 的概率。
在本实施例中，该方法还可以计算出每个拍摄子视频相对应的其他行 为动作概率，用于进一步判断上述拍摄子视频中出现的动作究竟是否为微 表情概率。
S105、根据微表情窗口概率进行极值分析，得到人脸图像序列的微表 情时刻。
本实施例中，微表情窗口概率与拍摄子视频具有相同的数量。因此， 该方法可以在微表情窗口概率的变化过程中所出现的极值可以视为微表情 出现，然后再根据极值出现的时刻确定人脸图像序列包括的微表情时刻。
本实施例中，该方法的执行主体可以为计算机、服务器等计算装置， 对此本实施例中不作任何限定。
在本实施例中，该方法的执行主体还可以为智能手机和平板等智能设 备，对此本实施例中不作任何限定。
实施这种实施方式，该方法不仅能够提高在长视频中进行微表情检测 的准确率，而且可以将与微表情无关的动作(如眨眼、鼻子抽搐、头部晃 动等)同时检测出来，并且和微表情进行区分。
本实施例中，上述的与微表情无关的动作所对应的微表情窗口概率并 不为极值，因此可以通过极值分析来区分微表情和无关的动作。
可见，实施图1所描述的基于人脸图像序列的微表情时刻检测方法， 能够优先获取人脸图像序列中每帧图像的完整特征向量；然后计算出每帧 图像中出现微表情的微表情单帧概率，并在获取到微表情单帧概率之后， 使用预设长度的滑动时间窗在微表情单帧概率的基础上添加时间维度，从 而确定出人脸图像序列中出现微表情的时刻。可见，实施这种实施方式， 能够确定单帧图像中微表情出现的概率，同时还能进一步确定出视频中出现微表情的时间点，从而实现微表情检测的自动化，提高微表情检测的精 确度，进而能够通过微表情单帧概率和微表情时刻进一步实现更准确地微 表情检测。
实施例2
请参看图2，图2为本申请实施例提供的另一种基于人脸图像序列的微 表情时刻检测方法的流程示意图。图2所描述的基于人脸图像序列的微表 情时刻检测方法的流程示意图是根据图1所描述的基于人脸图像序列的微 表情时刻检测方法的流程示意图进行改进得到的。其中，该基于人脸图像 序列的微表情时刻检测方法包括：
S201、获取原始视频。
本实施例中，该方法可以通过摄像装置获取到原始视频。
S202、对原始视频进行图像预处理操作，得到人脸图像序列。
本实施例中，该方法可以将原始视频转换为图像帧序列，然后再对该 图像帧序列进行每帧图像的预处理，以便于消除背景噪音。
本实施例中，该方法可以使用openCV(一个基于BSD许可发行的跨 平台计算机视觉和机器学习软件库)的VideoCaputer类加载视频流和read 方法逐帧浏览将CASME II数据库中的视频流数据转换为图像序列，并保存 为“.jpg”格式。
在本实施例中，上述“.jpg”格式的图像序列中的每帧图像对应于后续 的每帧图像。
S203、获取人脸图像序列中每帧图像的人脸关键点，并获取人脸关键 点包括的多个关键点对。
本实施例中，该方法结合openCV和Dlib(一个使用现代C++技术编 写的跨平台的通用库)首先对每帧图像进行人脸关键点检测，并选择两个 内眼角和鼻尖三个关键点与模板人脸计算仿射变换矩阵，对图像序列进行 旋转和平移，使得图像中人眼处于同一水平线上。可见，实施这种实施方 式，能够通过对拍摄图像进行处理可以完成对图像的配准，从而能够在一 定程度上消除头部晃动影响。
在本实施例中，该方法还将对图像进行裁剪，以去除图像中包括的背 景噪声，只保留人脸信息，从而提高图像中特征的纯度。
在本实施例中，截取后图像的宽W为通常为两内眼角距离的三倍，高 H通常为鼻尖到两内眼角中点垂直距离的三倍，即W＝3*(x2-x1)，H＝3*(y3- (y1+y2)/2)，其中左右内眼角的坐标为(x1，y1)、(x2，y2)，鼻尖的坐标 为(x3，y3)。
在本实施例中，对图像进行裁剪之后，可以使得裁剪好的图像统一为 224×224的大小。
S204、计算与多个关键点对一一对应的多个欧拉距离，并确定多个欧 拉距离为几何特征向量。
本实施例中，该方法再次进行人脸关键点检测，并得到68个人脸关键 点坐标(对于68个人脸关键点坐标的获取方法，本实施例中不作任何限定)， 选择序号为20，22，23，25，18，40，43，49，51，52，53，55，57，59， 59的关键点作为数据采样点(这么选择的原因是这些关键点位于微表情的 高发区域)，然后根据公式：
Figure BDA0002769640630000111
计算(20，40)、(22，40)、(28，40)、(28，43)、(23，43)、(25， 43)、(40，52)、(43，52)、(51，59)、(52，58)、(53，57)、(49，55) 点对之间的欧拉距离，将计算结果确定为几何特征向量。
S205、根据预设图像分割方式对人脸图像序列中每帧图像进行均分， 得到多个子图像。
本实施例中，当预设图像分割方式为网格化分割方式时，该方法对每 帧图像进行网格化分割，以使将图像的高和宽分别被8等分，从而得到64 个大小相等的正方形区域。
S206、提取每个子图像的LBP直方图特征向量，组合LBP直方图特征 向量得到特征矩阵，并对特征矩阵进行PCA降维处理，得到纹理特征向量。
本实施例中，该方法能够根据每个子图像提取出一个LBP直方图特征 向量，并将多个LBP直方图特征向量组合成特征矩阵，再进行PCA降维处 理得到纹理特征向量。
本实施例中，该方法可以使用LBP算子对上述每个子图像进行运算， 得到LBP直方图特征向量，并将多个LBP直方图特征向量组合成特征矩阵， 再将特征矩阵映射到bin＝10的直方图中，从而使得每帧图像经在处理后都 会得到一个64×10的特征矩阵，然后再应用PCA降维技术可以将该特征 矩阵变换为64×1的纹理特征向量。
S207、根据几何特征向量和纹理特征向量，确定人脸图像序列中每帧 图像的完整特征向量。
本实施例中，该方法可以采用级联拼接的方式将几何特征向量和纹理 特征向量融合在一起，得到最能体现人脸运动信息的完整特征向量。
S208、获取与完整特征向量相对应的完整特征矩阵。
本实施例中，通过实时上述步骤，该方法可以每帧图像进行相应处理， 从而得到76×n的特征矩阵，其中n为人脸图像序列的总帧数。
本实施例中，64个纹理特征加上12对几何特征组成了上述每帧图像的 76个特征。
S209、确定完整特征矩阵中，每行的均值和每行的标准差。
本实施例中，该方法估计出完整特征矩阵中每一行的均值μ和标准差 σ。
S210、根据每行的均值和每行的标准差进行高斯建模，得到单行高斯 混合模型。
本实施例中，该方法在获取到并对每一行的均值μ和标准差σ之后， 进一步地根据如下公式进行高斯建模得到高斯混合模型，公式为：
Figure BDA0002769640630000121
其中，i为完整特征矩阵的行索引。
S211、根据单行高斯混合模型，确定完整特征矩阵中每个子特征的微 表情子概率。
本实施例中，将完整特征矩阵第i列中的每一个元素代入对应的高斯模 型得到一个子概率Ci(即微表情子概率)，以使该子概率可以进行相乘，从 而得到该图像包含微表情的概率(即后续的微表情单帧概率)。
本实施例中，完整特征矩阵每一列代表一帧图像的特征向量。
S212、根据微表情子概率进行乘法运算，得到与完整特征向量相对应 的微表情单帧概率。
本实施例中，在计算得到相应的概率值Ci之后，该方法再将所有概率 相乘得到该图像中包含微表情的概率，即微表情单帧概率Pj，其计算公式 为：
Figure BDA0002769640630000131
可见，实施该方法可以得到一个1×n的概率向量。
S213、根据预设长度的滑动时间窗对人脸图像序列进行划分，得到多 个拍摄子视频。
本实施例中，该方法可以设置一扇长度为2k+1(k＝1,2,3...)的滑动时 间窗，以使该滑动时间窗可以将人脸图像序列划分为多个拍摄子视频。
S214、获取与每个拍摄子视频相对应的多个微表情单帧概率。
S215、根据多个微表情单帧概率进行加法运算，得到与每个拍摄子视 频相对应的微表情窗口概率。
本实施例是，该方法可以再根据公式
Figure BDA0002769640630000132
来处理滑动时间窗内的 概率，得到微表情窗口概率Sm。
在本实施例中，在滑动时间窗滑动完毕之后，可以得到由多个Sm构成 的一个1×(n-2k)的概率向量。
S216、根据微表情窗口概率进行极值分析，得到人脸图像序列的微表 情时刻。
本实施例中，该方法可以对上述的1×(n-2k)的概率向量进行极值分析， 从而判定微表情以及其他面部动作发生的时间界限。
请参阅图5，图5是本实施例中提供的一种实验结果举例示意图，其中， 通过极值分析可以确定出图内框选的区域，并根据该区域对应的时间确定 出微表情时刻。
可见，实施图2所描述的基于人脸图像序列的微表情时刻检测方法， 能够确定单帧图像中微表情出现的概率，同时还能进一步确定出视频中出 现微表情的时间点，从而实现微表情检测的自动化，提高微表情检测的精 确度，进而能够通过微表情单帧概率和微表情时刻进一步实现更准确地微 表情检测。
实施例3
请参看图3，图3为本申请实施例提供的一种基于人脸图像序列的微表 情时刻检测装置的结构示意图。其中，该基于人脸图像序列的微表情时刻 检测装置包括：
获取单元310，用于获取人脸图像序列中每帧图像的完整特征向量；
第一计算单元320，用于计算与完整特征向量相对应的微表情单帧概率；
划分单元330，用于根据预设长度的滑动时间窗对人脸图像序列进行划 分，得到多个拍摄子视频；
第二计算单元340，用于计算与每个拍摄子视频相对应的微表情窗口概 率；
分析单元350，用于根据微表情窗口概率进行极值分析，得到人脸图像 序列的微表情时刻。
本实施例中，对于基于人脸图像序列的微表情时刻检测装置的解释说 明可以参照实施例1或实施例2中的描述，对此本实施例中不再多加赘述。
可见，实施图3所描述的基于人脸图像序列的微表情时刻检测装置， 能够确定单帧图像中微表情出现的概率，同时还能进一步确定出视频中出 现微表情的时间点，从而实现微表情检测的自动化，提高微表情检测的精 确度，进而能够通过微表情单帧概率和微表情时刻进一步实现更准确地微 表情检测。
实施例4
请参看图4，图4为本申请实施例提供的另一种基于人脸图像序列的微 表情时刻检测装置的结构示意图。图4所描述的基于人脸图像序列的微表 情时刻检测装置的结构示意图是根据图3所描述的基于人脸图像序列的微 表情时刻检测装置的结构示意图进行改进得到的。其中，该获取单元310 可以包括：
第一获取子单元311，用于获取原始视频；
第一处理子单元312，用于对原始视频进行图像预处理操作，得到人脸 图像序列。
作为一种可选的实施方式，获取单元310包括：
第二获取子单元313，用于获取人脸图像序列中每帧图像的人脸关键点， 并获取人脸关键点包括的多个关键点对；
第二计算子单元314，用于计算与多个关键点对一一对应的多个欧拉距 离，并确定多个欧拉距离为几何特征向量；
第二均分子单元315，用于根据预设图像分割方式对人脸图像序列中每 帧图像进行均分，得到多个子图像；
第二处理子单元316，用于提取每个子图像的LBP直方图特征向量， 并组合LBP直方图特征向量得到特征矩阵；
第二处理子单元316，还用于对特征矩阵进行PCA降维处理，得到纹 理特征向量；
第二确定子单元317，用于根据几何特征向量和纹理特征向量，确定人 脸图像序列中每帧图像的完整特征向量。
作为一种可选的实施方式，第一计算单元320包括：
第三获取子单元321，用于获取与完整特征向量相对应的完整特征矩阵；
第三确定子单元322，用于确定完整特征矩阵中，每行的均值和每行的 标准差；
第三建模子单元323，用于根据每行的均值和每行的标准差进行高斯建 模，得到单行高斯混合模型；
第三确定子单元322，还用于根据单行高斯混合模型，确定完整特征矩 阵中每个子特征的微表情子概率；
第三计算子单元324，用于根据微表情子概率进行乘法运算，得到与完 整特征向量相对应的微表情单帧概率。
作为一种可选的实施方式，第二计算单元340包括：
第四获取子单元341，用于获取与每个拍摄子视频相对应的多个微表情 单帧概率；
第四计算子单元342，用于根据多个微表情单帧概率进行加法运算，得 到与每个拍摄子视频相对应的微表情窗口概率。
本实施例中，对于基于人脸图像序列的微表情时刻检测装置的解释说 明可以参照实施例1或实施例2中的描述，对此本实施例中不再多加赘述。
可见，实施图4所描述的基于人脸图像序列的微表情时刻检测装置， 能够确定单帧图像中微表情出现的概率，同时还能进一步确定出视频中出 现微表情的时间点，从而实现微表情检测的自动化，提高微表情检测的精 确度，进而能够通过微表情单帧概率和微表情时刻进一步实现更准确地微 表情检测。
本申请实施例提供了一种电子设备，包括存储器以及处理器，存储器 用于存储计算机程序，处理器运行计算机程序以使电子设备执行本申请实 施例1或实施例2中任一项基于人脸图像序列的微表情时刻检测方法。
本申请实施例提供了一种计算机可读存储介质，其存储有计算机程序 指令，计算机程序指令被一处理器读取并运行时，执行本申请实施例1或 实施例2中任一项基于人脸图像序列的微表情时刻检测方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法， 也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的， 例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方 法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流 程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所 述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标 注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方 框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依 所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及 框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的 基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个 独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集 成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使 用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申 请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的 部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储 介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服 务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步 骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光 盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围， 对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请 的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本 申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示 类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需 要对其进行进一步定义和解释。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局 限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可 轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请 的保护范围应所述以权利要求的保护范围为准。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用 来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者 暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语 “包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包 括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包 括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定 的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在 另外的相同要素。

Claims (10)

1.一种基于人脸图像序列的微表情时刻检测方法，其特征在于，所述方法包括：
获取所述人脸图像序列中每帧图像的完整特征向量；
计算与所述完整特征向量相对应的微表情单帧概率；
根据预设长度的滑动时间窗对所述人脸图像序列进行划分，得到多个拍摄子视频；
计算与每个拍摄子视频相对应的微表情窗口概率；
根据所述微表情窗口概率进行极值分析，得到所述人脸图像序列的微表情时刻。
2.根据权利要求1所述的基于人脸图像序列的微表情时刻检测方法，其特征在于，所述获取所述人脸图像序列中每帧图像的完整特征向量的步骤之前，所述方法还包括：
获取原始视频；
对所述原始视频进行图像预处理操作，得到人脸图像序列。
3.根据权利要求1所述的基于人脸图像序列的微表情时刻检测方法，其特征在于，所述获取所述人脸图像序列中每帧图像的完整特征向量的步骤包括：
获取所述人脸图像序列中每帧图像的人脸关键点，并获取所述人脸关键点包括的多个关键点对；
计算与所述多个关键点对一一对应的多个欧拉距离，并确定所述多个欧拉距离为几何特征向量；
根据预设图像分割方式对所述人脸图像序列中每帧图像进行均分，得到多个子图像；
提取每个子图像的LBP直方图特征向量，并组合所述LBP直方图特征向量得到特征矩阵；
对所述特征矩阵进行PCA降维处理，得到纹理特征向量；
根据所述几何特征向量和所述纹理特征向量，确定所述人脸图像序列中每帧图像的完整特征向量。
4.根据权利要求1所述的基于人脸图像序列的微表情时刻检测方法，其特征在于，所述计算与所述完整特征向量相对应的微表情单帧概率的步骤包括：
获取与所述完整特征向量相对应的完整特征矩阵；
确定所述完整特征矩阵中，每行的均值和每行的标准差；
根据每行的均值和每行的标准差进行高斯建模，得到单行高斯混合模型；
根据所述单行高斯混合模型，确定所述完整特征矩阵中每个子特征的微表情子概率；
根据所述微表情子概率进行乘法运算，得到与完整特征向量相对应的微表情单帧概率。
5.根据权利要求1所述的基于人脸图像序列的微表情时刻检测方法，其特征在于，所述计算与每个拍摄子视频相对应的微表情窗口概率的步骤包括：
获取与每个拍摄子视频相对应的多个微表情单帧概率；
根据所述多个微表情单帧概率进行加法运算，得到与每个拍摄子视频相对应的微表情窗口概率。
6.一种基于人脸图像序列的微表情时刻检测装置，其特征在于，所述微表情时刻检测装置包括：
获取单元，用于获取所述人脸图像序列中每帧图像的完整特征向量；
第一计算单元，用于计算与所述完整特征向量相对应的微表情单帧概率；
划分单元，用于根据预设长度的滑动时间窗对所述人脸图像序列进行划分，得到多个拍摄子视频；
第二计算单元，用于计算与每个拍摄子视频相对应的微表情窗口概率；
分析单元，用于根据所述微表情窗口概率进行极值分析，得到所述人脸图像序列的微表情时刻。
7.根据权利要求6所述的基于人脸图像序列的微表情时刻检测装置，其特征在于，所述获取单元包括：
第一获取子单元，用于获取原始视频；
第一处理子单元，用于对所述原始视频进行图像预处理操作，得到人脸图像序列。
8.根据权利要求6所述的基于人脸图像序列的微表情时刻检测装置，其特征在于，所述第一计算单元，包括：
第二获取子单元，用于获取所述人脸图像序列中每帧图像的人脸关键点，并获取所述人脸关键点包括的多个关键点对；
第二计算子单元，用于计算与所述多个关键点对一一对应的多个欧拉距离，并确定所述多个欧拉距离为几何特征向量；
第二均分子单元，用于根据预设图像分割方式对所述人脸图像序列中每帧图像进行均分，得到多个子图像；
第二处理子单元，用于提取每个子图像的LBP直方图特征向量，并组合所述LBP直方图特征向量得到特征矩阵；
所述第二处理子单元，还用于对所述特征矩阵进行PCA降维处理，得到纹理特征向量；
第二确定子单元，用于根据所述几何特征向量和所述纹理特征向量，确定所述人脸图像序列中每帧图像的完整特征向量。
9.一种电子设备，其特征在于，所述电子设备包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行权利要求1至5中任一项所述的基于人脸图像序列的微表情时刻检测方法。
10.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行权利要求1至5任一项所述的基于人脸图像序列的微表情时刻检测方法。
CN202011251214.8A 2020-11-10 2020-11-10 一种基于人脸图像序列的微表情时刻检测方法及装置 Active CN112329663B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011251214.8A CN112329663B (zh) 2020-11-10 2020-11-10 一种基于人脸图像序列的微表情时刻检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011251214.8A CN112329663B (zh) 2020-11-10 2020-11-10 一种基于人脸图像序列的微表情时刻检测方法及装置

Publications (2)

Publication Number Publication Date
CN112329663A true CN112329663A (zh) 2021-02-05
CN112329663B CN112329663B (zh) 2023-04-07

Family

ID=74317775

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011251214.8A Active CN112329663B (zh) 2020-11-10 2020-11-10 一种基于人脸图像序列的微表情时刻检测方法及装置

Country Status (1)

Country Link
CN (1) CN112329663B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113505604A (zh) * 2021-07-16 2021-10-15 牡丹江医学院 一种用于心理学教育的在线辅助实验方法、装置及设备
CN114565814A (zh) * 2022-02-25 2022-05-31 平安国际智慧城市科技股份有限公司 一种特征检测方法、装置及终端设备

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6188776B1 (en) * 1996-05-21 2001-02-13 Interval Research Corporation Principle component analysis of images for the automatic location of control points
US20090226047A1 (en) * 2008-03-04 2009-09-10 Chi-Chang Yu Apparatus and Method of Processing Image and Human Face Detection System using the smae
CN102930294A (zh) * 2012-10-18 2013-02-13 上海交通大学 基于混沌特征量视频运动模态分割和交通状况识别的方法
US20130300900A1 (en) * 2012-05-08 2013-11-14 Tomas Pfister Automated Recognition Algorithm For Detecting Facial Expressions
CN107358206A (zh) * 2017-07-13 2017-11-17 山东大学 一种基于感兴趣区域的光流特征矢量模值和角度结合的微表情检测方法
CN107403142A (zh) * 2017-07-05 2017-11-28 山东中磁视讯股份有限公司 一种微表情的检测方法
US20170364741A1 (en) * 2016-06-15 2017-12-21 Stockholm University Computer-based micro-expression analysis
US20180307815A1 (en) * 2017-04-19 2018-10-25 Qualcomm Incorporated Systems and methods for facial authentication
CN109165608A (zh) * 2018-08-30 2019-01-08 深圳壹账通智能科技有限公司 多视角微表情识别方法、装置、存储介质和计算机设备
CN109271930A (zh) * 2018-09-14 2019-01-25 广州杰赛科技股份有限公司 微表情识别方法、装置与存储介质
CN109784175A (zh) * 2018-12-14 2019-05-21 深圳壹账通智能科技有限公司 基于微表情识别的异常行为人识别方法、设备和存储介质
CN110175596A (zh) * 2019-06-04 2019-08-27 重庆邮电大学 基于双流卷积神经网络的虚拟学习环境微表情识别与交互方法
WO2019184125A1 (zh) * 2018-03-30 2019-10-03 平安科技（深圳）有限公司 基于微表情的风险识别方法、装置、设备及介质
CN110852271A (zh) * 2019-11-12 2020-02-28 哈尔滨工程大学 一种基于峰值帧和深度森林的微表情识别方法
CN110991348A (zh) * 2019-12-05 2020-04-10 河北工业大学 基于光流梯度幅值特征的人脸微表情检测方法
CN111611860A (zh) * 2020-04-22 2020-09-01 西南大学 一种微表情发生检测方法及检测***

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6188776B1 (en) * 1996-05-21 2001-02-13 Interval Research Corporation Principle component analysis of images for the automatic location of control points
US20090226047A1 (en) * 2008-03-04 2009-09-10 Chi-Chang Yu Apparatus and Method of Processing Image and Human Face Detection System using the smae
US20130300900A1 (en) * 2012-05-08 2013-11-14 Tomas Pfister Automated Recognition Algorithm For Detecting Facial Expressions
CN102930294A (zh) * 2012-10-18 2013-02-13 上海交通大学 基于混沌特征量视频运动模态分割和交通状况识别的方法
US20170364741A1 (en) * 2016-06-15 2017-12-21 Stockholm University Computer-based micro-expression analysis
US20180307815A1 (en) * 2017-04-19 2018-10-25 Qualcomm Incorporated Systems and methods for facial authentication
CN107403142A (zh) * 2017-07-05 2017-11-28 山东中磁视讯股份有限公司 一种微表情的检测方法
CN107358206A (zh) * 2017-07-13 2017-11-17 山东大学 一种基于感兴趣区域的光流特征矢量模值和角度结合的微表情检测方法
WO2019184125A1 (zh) * 2018-03-30 2019-10-03 平安科技（深圳）有限公司 基于微表情的风险识别方法、装置、设备及介质
CN109165608A (zh) * 2018-08-30 2019-01-08 深圳壹账通智能科技有限公司 多视角微表情识别方法、装置、存储介质和计算机设备
CN109271930A (zh) * 2018-09-14 2019-01-25 广州杰赛科技股份有限公司 微表情识别方法、装置与存储介质
CN109784175A (zh) * 2018-12-14 2019-05-21 深圳壹账通智能科技有限公司 基于微表情识别的异常行为人识别方法、设备和存储介质
CN110175596A (zh) * 2019-06-04 2019-08-27 重庆邮电大学 基于双流卷积神经网络的虚拟学习环境微表情识别与交互方法
CN110852271A (zh) * 2019-11-12 2020-02-28 哈尔滨工程大学 一种基于峰值帧和深度森林的微表情识别方法
CN110991348A (zh) * 2019-12-05 2020-04-10 河北工业大学 基于光流梯度幅值特征的人脸微表情检测方法
CN111611860A (zh) * 2020-04-22 2020-09-01 西南大学 一种微表情发生检测方法及检测***

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
ANTTI MOILANEN 等: "Spotting Rapid Facial Movements from Videos Using Appearance-Based Feature Difference Analysis", 《2014 22ND INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION》 *
THUONG-KHANH TRAN 等: "Micro-expression spotting: A new benchmark", 《ARXIV:2007.12421V1》 *
ZHAOQIANGXIA 等: "Spontaneous micro-expression spotting via geometric deformation modeling", 《SPONTANEOUS MICRO-EXPRESSION SPOTTING VIA GEOMETRIC DEFORMATION MODELING:》 *
ZHIHAO ZHANG 等: "SMEConvNet: A Convolutional Neural Network for Spotting Spontaneous Facial Micro-Expression From Long Videos", 《IEEE ACCESS》 *
任亿: "微表情检测与主动学习方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
刘毅泽: "一种基于CNN-CBP特征的微表情识别***及其软硬件协同设计", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113505604A (zh) * 2021-07-16 2021-10-15 牡丹江医学院 一种用于心理学教育的在线辅助实验方法、装置及设备
CN113505604B (zh) * 2021-07-16 2023-04-18 牡丹江医学院 一种用于心理学教育的在线辅助实验方法、装置及设备
CN114565814A (zh) * 2022-02-25 2022-05-31 平安国际智慧城市科技股份有限公司 一种特征检测方法、装置及终端设备

Also Published As

Publication number Publication date
CN112329663B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN110532984B (zh) 关键点检测方法、手势识别方法、装置及***
Polikovsky et al. Facial micro-expression detection in hi-speed video based on facial action coding system (FACS)
Murtaza et al. Analysis of face recognition under varying facial expression: a survey.
CN105095853B (zh) 图像处理装置及图像处理方法
CN110633004B (zh) 基于人体姿态估计的交互方法、装置和***
CN111401318B (zh) 动作识别方法及装置
JP2007072620A (ja) 画像認識装置及びその方法
US11176679B2 (en) Person segmentations for background replacements
CN107766864B (zh) 提取特征的方法和装置、物体识别的方法和装置
CN109977824B (zh) 物品取放识别方法、装置及设备
CN112200056B (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN111680550B (zh) 情感信息识别方法、装置、存储介质及计算机设备
CN113255557B (zh) 一种基于深度学习的视频人群情绪分析方法及***
Beg et al. Text writing in the air
CN105844204B (zh) 人体行为识别方法和装置
Dar et al. Efficient-SwishNet based system for facial emotion recognition
CN115205933A (zh) 面部表情识别方法、装置、设备及可读存储介质
CN112329663B (zh) 一种基于人脸图像序列的微表情时刻检测方法及装置
CN111488779A (zh) 视频图像超分辨率重建方法、装置、服务器及存储介质
CN110717452A (zh) 图像识别方法、装置、终端及计算机可读存储介质
CN112750071A (zh) 一种用户自定义的表情制作方法及***
CN106406507B (zh) 图像处理方法以及电子设备
CN116778533A (zh) 一种掌纹全感兴趣区域图像提取方法、装置、设备及介质
Baig et al. Text writing in the air
CN111709269A (zh) 一种深度图像中基于二维关节信息的人手分割方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant