CN105868694A - 基于面部表情和眼球动作的双模态情感识别方法及*** - Google Patents

基于面部表情和眼球动作的双模态情感识别方法及*** Download PDF

Info

Publication number
CN105868694A
CN105868694A CN201610173439.3A CN201610173439A CN105868694A CN 105868694 A CN105868694 A CN 105868694A CN 201610173439 A CN201610173439 A CN 201610173439A CN 105868694 A CN105868694 A CN 105868694A
Authority
CN
China
Prior art keywords
eye
facial expression
vector
image
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610173439.3A
Other languages
English (en)
Other versions
CN105868694B (zh
Inventor
刘振焘
吴敏
曹卫华
陈略峰
丁学文
潘芳芳
张日
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Geosciences
Original Assignee
China University of Geosciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Geosciences filed Critical China University of Geosciences
Priority to CN201610173439.3A priority Critical patent/CN105868694B/zh
Publication of CN105868694A publication Critical patent/CN105868694A/zh
Application granted granted Critical
Publication of CN105868694B publication Critical patent/CN105868694B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及基于面部表情和眼球动作的双模态情感识别方法及***，所述方法包括采集步骤、面部表情特征向量提取步骤、眼动特征向量提取步骤、情感状态定性分析步骤、按时间匹配并存储步骤、融合分类步骤和情感信息比对步骤。本发明能动态、准确地提取分析受测对象的面部表情信息，建立面部表情和情感之间的联系；通过眼动仪跟踪能够准确、高效的获取丰富的眼动信息，从眼动角度分析受测对象的情感状态；利用SVR对面部表情特征向量和眼动特征向量进行处理，能更准确的得出受测对象的情感状态，从而提高情感识别的准确性和可靠性。

Description

基于面部表情和眼球动作的双模态情感识别方法及***
技术领域
本发明属于情感识别领域，更具体地，涉及基于面部表情和眼球动作的双模态情感识别方法。
背景技术
随着信息技术的高速发展和人类对机器人依赖性的不断增强，人机的交互能力受到广泛的重视。现在在情感识别方面的研究，国内外分为两大类，一类是基于单一模态的情感识别，另一类是基于多模态的情感识别。单一模态的情感识别就是通过采集某一个通道的信息从而识别出被测者的情感状态。多模态情感识别就是通过对多通道采集到的信息进行分析，并通过一系列的技术手段最终较为准确的获得被测者的情感状态。但是现在的相关研究方法存在着一些明显的不足。
在面部表情情感识别方面，大多数仍停留在基本表情识别的研究上，基本表情不涵盖人类的所有情感，对例如细微表情、混合表情等非基本表情的研究很少。面部表情识别的准确率会受到拍摄角度、光线变化等外在因素的影响，如何提高表情识别的鲁棒性也是当前需要解决的问题。因此，仅仅依靠面部表情特征很难获得准确的情感信息，需要充分考虑融合其它模态信息，取长补短。
王君基于先验知识的面部表情识别，提出了利用AU辅助表情识别的方法，但是所使用的样本是只有基本表情的面部图像，无法解决细微表情、混合表情等非基本表情的情感识别。韩志艳等的串并结合的多模式情感信息融合与识别方法中，通过对语音信号和面部表情信息进行分析而获得情感识别结果，但是其情感识别率仍有待提高。
在现有的情感识别方法中，大部分所检测的部位不包括眼球，现有眼球检测的情感识别方法中，也仅仅是利用眼睛轮廓或者眼球来帮助对面部表情图像进行定位，并未将眼球作为一个独立模态进行更加深入的研究。王静利用人眼作为特征点来解决自动人脸识别的定位问题，但是其仅仅将人眼作为特征点来辅助人脸图像的定位，并未将其作为一个独立的模态用于情感识别。吕彦鹏利用瞳孔对面部图像进行定位，并根据连续帧中双眼中心的变化作为情感识别的辅助，来判断受测者是点头还是摇头来判断受测者是肯定的情感还是否定的情感，但其并未对眼球的运动轨迹等进行深入研究。
发明内容
本发明所要解决的技术问题是提供充分利用面部表情和眼动信息进行情感识别，提高人类情感识别的准确率的双模态情感识别方法及***。
本发明解决上述技术问题的技术方案如下：
基于面部表情和眼球动作的双模态情感识别方法，其特征在于，包括以下步骤：
S1、在满足人脸表情图像识别的光线范围内，获取不同时间下人脸的正面图像和眼动信息；
S2、从面部表情图像中提取面部表情特征向量，从眼动信息中提取眼动特征向量；
S3、对提取的面部表情特征向量进行定性分析，获取初步情感状态Z1；
S4、将面部表情特征向量和眼动特征向量按时间进行匹配并存储；
S5、提取已匹配的面部表情特征向量和眼动特征向量，并通过SVR对其进行融合、分类等处理；
S6、将分好类别的情感特征向量与预先建立的情感信息数据库中的情感信息相比对，将最相近的情感信息与分好类别的情感特征向量相匹配，从而得到情感状态Z2，并将Z2与初步情感状态Z1按照融合比例进行融合，得出受测者的最终情感状态Z。
本发明的有益效果是：本发明基于面部表情和眼动检测的双模态情感识别方法能动态、准确地提取分析受测对象的面部表情特征，建立面部表情和情感之间的联系；通过眼动仪跟踪能够准确、高效的获取丰富的眼动信息，从眼动角度分析受测对象的情感状态；利用SVR对面部表情特征向量和眼动特征向量进行处理，能够更准确的得出受测对象的情感状态，从而提高情感识别的准确性和可靠性。
在上述技术方案的基础上，本发明还可以做如下改进。
进一步的，所述步骤S2从面部表情图像中提取面部表情特征向量的具体步骤为：
S2a.1、读取面部表情图像，以头顶为基准点估计面部特征的大概位置，在面部的各特征部位轮廓上均匀的设置标记点；
S2a.2、通过眉心、两瞳孔连线的中点和口中央三点拟合出的中轴线将人脸分为左右对称的两部分，在不缩放、不平移、不旋转的条件下，调整图像将，将相对于中轴线对称的标记点调整到同一水平线，并建立面部表情形状模型；
S2a.3、在面部表情形状模型中按照左眼/右眼，左眉毛/右眉毛和嘴划分为不同区域，并且将这些区域定义为特征候选区域；
S2a.4、针对每一个特征候选区域，采用差分图像法提取特征向量，通过将上一步处理后图像中的所有图像序列与数据库中的中性表情的图像进行差分运算，从各特征候选区域内差分值均值最大的图像序列中提取面部表情特征向量。
采用上述进一步方案的有益效果为：通过以头顶为基准点的方法可以有效地对面部特征的大概位置进行判断，从而更加迅速的抓取到有效信息。通过在面部的各特征区域设置标记点并通过将相应的标记点对齐从而实现面部图像归一化的处理方法能够有效地减少拍摄对数据处理所造成的干扰。在面部表情形状模型上划分相应特征后选区，并采用差分图像法，从各特征候选区域内差分值最大的图像序列中提取面部表情情感信息，这种方法能够有效地减少计算量。此步骤能够有效地减小不必要的因素对数据处理的干扰，并对最有效的数据进行深度处理，能够大程度的加快工作速度、提高工作效率。
进一步的，所述步骤S2从眼动信息中提取眼动特征向量的具体步骤为：
S2b.1、将采集的眼动信息按照眼动轨迹、眼动时间、眼动方向、眼动距离、注视时间、注视次数、瞳孔直径的大小和眨眼次数分类，得到八类眼动特征向量；
S2b.2、将眼动信息按照眼动轨迹绘制成眼球轨迹图，并存储眼球轨迹图；
S2b.3、根据整理分类得到的注视时间和注视次数，通过眼动测试软件GazeLab得到眼动热点图，并存储眼动热点图。
采用上述进一步方案的有益效果：眼球轨迹图能够清楚地显示受测者注视点的变化情况，从而判断受测者的喜好和习惯等。眼动热点图能够更加深入的体现受测者的注意力等的变化情况，眼球轨迹图和眼动热点图，能够让本发明的使用者在得到受测者的情感信息的同时获知其注意力和注意点的变化情况，并且还可以为后续更加深入的情感识别研究提供了相应的数据支持。
进一步的，所述步骤S3的具体步骤为：
S3.1、预先收集多组标准的参考面部表情特征，每组标准参考面部表情特征为左眼/左眉毛，右眼/右眉毛和嘴5种；
S3.2、步骤S2中从面部表情图像中提取的面部表情特征向量是按照上一步中的5种类别进行提取的；
S3.3、以步骤S3.1中的5种参考面部表情特征为基准，对步骤S3.2中的面部表情特征进行定性分析，并以投票法来确定初步的情感状态，若出现票数为2:2:1的冲突现象时，则对投票给总票数为1的情感特征重新进行定性分析，选择其他两种情感状态中与其最相近的进行投票，从而得到初步情感状态Z1(并根据初步情感状态对Z1直接赋值)，若初步情感状态为积极则Z1＝1若初步情感状态为中性则Z1＝0，，若初步情感状态为消极则Z1＝-1。
采用上述进一步方案的有益效果：此步骤通过采用预先收集多组标准的参考面部表情特征，将受测者的面部表情特征与之相比较的方法得出初步情感状态Z1。为与获得的情感状态Z2融合提供数据支持。
进一步的，所述步骤S5的具体步骤为：
设面部表情特征向量和眼动特征向量分别为m和n，在一个采样周期内，面部表情特征向量集合X＝[m1,m2,…,mi-1,mi]和眼动特征向量的集合Y＝[n1,n2,…,ni-1,ni]，其中i为时间序列，i≥1。将X和Y作为输入，通过SVR得到输出f(x)。输入量描述为线性关系描述为f(x)＝<v,x>+b,v∈Rk,b∈R,k≥1，其中v和b是超平面的参数，<·,·>是内积。并且有最小误差且受到实际与预期目标间最大偏差<v,xj>+b-yj≤ε,j≥1,ε≥0的约束。为了消除异常样本的影响引入松弛因子ξj,ξj *和一个参数C，从而有最小误差且受yj-<v,xj>-b≤ε+ξj *,<v,xj>+b-yj≤ε+ξj,j≥1,ε,ξj,ξj *≥0的约束并且引入拉格朗日函数。通过计算最终得到f(x)的回归函数其中αj *，αj是拉格朗日乘数，0≤αj *,αj≤C且αj *,αj≥0。
采用上述进一步方案的有益效果：此步骤创新的将眼动特征向量和面部表情特征向量使用SVR分类器进行融合、分类等处理，得到的结果用于下一步的数据处理。眼动信息对情感识别有着重要的作用，将眼动特征向量和面部表情特征向量进行融合能够更加有效地得出一些以前的情感识别方法所检测不出来的受测者的细微情感变化，从而增强了情感识别的能力，并且能够提高情感识别的准确性和可靠性。
进一步的，所述步骤S6中的融合比例为w1:w2(w1,w2均为变量，具体关系为：0≤w1,w2≤1,Z＝w1Z1+w2Z2且w1+w2＝1)。
采用上述进一步方案的有益效果：通过计算，按照此方法融合初步得到的情感状态Z1和进一步获得的情感状态Z2能够有效的提高情感识别的准确率。
基于面部表情和眼球动作的双模态情感识别***，包括以下模块：
采集模块，用于在满足人脸表情图像识别的光线范围内，获取不同时间下人脸的正面图像和眼动信息；
特征向量提取模块，用于从面部表情图像中提取面部表情特征向量，从眼动信息中提取眼动特征向量；
情感定性分析模块，用于对提取的面部表情特征向量进行定性分析，获取初步情感状态Z1；
按时间匹配并存储模块，用于将面部表情特征向量和眼动特征向量按时间进行匹配并存储；
融合、分类模块，用于提取已匹配的面部表情特征向量和眼动特征向量，并利用SVR对其进行融合及分类等处理，得到分类后的情感特征向量；
最终情感状态确认模块，用于将分好类别的情感特征向量与预先建立的情感信息数据库中的情感信息相比对，将最相近的情感信息与分好类别的情感特征向量相匹配，从而得到情感状态Z2，并将Z2与初步情感状态Z1按照融合比例进行融合，得出受测者的最终情感状态Z。进一步的，所述特征向量提取模块包括面部表情特征向量提取模块和眼动特征向量提取模块，所述面部表情特征向量提取模块包括以下单元：
标记点设置单元，用于读取面部表情图像，以头顶为基准点估计面部特征的大概位置，在面部的各特征部位轮廓上均匀的设置标记点；
标记点对齐单元，用于通过眉心、两瞳孔连线的中点和口中央三点拟合出的中轴线将人脸分为左右对称的两部分，在不缩放、不平移、不旋转的条件下，调整图像，将相对于中轴线对称的标记点调整到同一水平线，并建立面部表情形状模型；
特征候选区域划分单元，用于在面部表情形状模型按照左眼/右眼，左眉毛/右眉毛和嘴划分为不同区域，并且将这些区域定义为特征候选区域；
信息提取单元，用于针对每一个特征候选区域，采用差分图像法提取特征向量，通过将上一步处理后图像中的所有图像序列，与数据库中的中性表情的图像进行差分运算，从各特征候选区域内差分值均值最大的图像序列中提取面部表情特征向量。
进一步的，所述眼动特征向量提取模块具体包括以下单元：
眼动信息分类单元，用于将采集的眼动信息按照眼动轨迹、眼动时间、眼动方向、眼动距离、注视时间、注视次数、瞳孔直径的大小和眨眼次数分类，得到八类眼动特征向量；
眼球轨迹图生成单元，用于将眼动信息按照眼动轨迹绘制成眼球轨迹图，并进行存储；
眼动热点图生成单元，用于根据整理分类得到的注视时间和注视次数，通过GazeLab得到眼动热点图，并进行存储。
进一步的，所述融合、分类模块用于通过SVR，设面部表情特征向量和眼动特征向量分别为m和n，在一个采样周期内，面部表情特征向量集合X＝[m1,m2,…,mi-1,mi]和眼动特征向量的集合Y＝[n1,n2,…,ni-1,ni]，其中i为时间序列，i≥1。将X和Y作为输入，通过SVR得到输出f(x)。输入量描述为线性关系描述为f(x)＝<v,x>+b,v∈Rk,b∈R,k≥1，其中v和b是超平面的参数，<·,·>是内积。并且有最小误差且受到实际与预期目标间最大偏差<v,xj>+b-yj≤ε,j≥1,ε≥0的约束。为了消除异常样本的影响引入松弛因子ξj,ξj*和一个参数C从而有最小误差且受yj-<v,xj>-b≤ε+ξj *,<v,xj>+b-yj≤ε+ξj,j≥1,ε,ξj,ξj *≥0的约束并且引入拉格朗日函数。通过计算最终得到f(x)的回归函数其中αj *,αj是拉格朗日乘数，0≤αj *,αj≤C且αj *,αj≥0。
附图说明
图1为本发明方法总体示意图；
图2为本发明方法步骤S2从面部表情图像中提取面部表情特征向量的流程示意图；
图3为本发明方法步骤S2从眼动信息中提取眼动特征向量的流程示意图；
图4为本发明方法步骤S3流程示意图；
图5为本发明方法步骤S5流程示意图；
图6为本发明***总体示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
如图1所示，基于面部表情和眼球动作的双模态情感识别方法，包括以下步骤：
S1、在满足人脸表情图像识别的光线范围内，获取不同时间下人脸的正面图像和眼动信息；
S2、从面部表情图像中提取面部表情特征向量，从眼动信息中提取眼动特征向量；
S3、对提取的面部表情特征向量进行定性分析，获取初步情感状态Z1；
S4、将面部表情特征向量和眼动特征向量按时间进行匹配并存储；
S5、提取已匹配的面部表情特征向量和眼动特征向量，并通过SVR对其进行融合、分类等处理；
S6、将分好类别的情感特征向量与预先建立的情感信息数据库中的情感信息相比对，将最相近的情感信息与分好类别的情感特征向量相匹配，从而得到情感状态Z2，并将Z2与初步情感状态Z1按照融合比例进行融合，得出受测者的最终情感状态Z。
如图2所示，所述步骤S2从面部表情图像中提取面部表情特征向量的具体步骤为：
S2a.1、读取面部表情图像，以头顶为基准点估计面部特征的大概位置，在面部的各特征部位轮廓上均匀的设置标记点；
S2a.2、通过眉心、两瞳孔连线的中点和口中央三点拟合出的中轴线将人脸分为左右对称的两部分，在不缩放、不平移、不旋转的条件下，调整图像将相对于中轴线对称的标记点调整到同一水平线，并建立面部表情形状模型；
S2a.3、在面部表情形状模型按照左眼/右眼，左眉毛/右眉毛和嘴划分为不同区域，并且将这些区域定义为特征候选区域；
S2a.4、针对每一个特征候选区域，采用差分图像法提取特征向量，通过将上一步处理后图像中的所有图像序列与数据库中的中性表情的图像进行差分运算，从各特征候选区域内差分值均值最大的图像序列中提取面部表情特征向量。
如图3所示，所述步骤S2从眼动信息中提取眼动特征向量的具体步骤为：
S2b.1、将采集的眼动信息按照眼动轨迹、眼动时间、眼动方向、眼动距离、注视时间、注视次数、瞳孔直径的大小和眨眼次数分类，得到八类眼动特征向量；
S2b.2、将眼动信息按照眼动轨迹绘制成眼球轨迹图，并存储眼球轨迹图；
S2b.3、根据整理分类得到的注视时间和注视次数，通过眼动测试软件GazeLab得到眼动热点图，并存储眼动热点图。
如图4所示，所述步骤S3的具体步骤为：
S3.1、预先收集多组标准的参考面部表情特征，每组标准的参考面部表情特征包括左眼/右眼、左眉毛/右眉毛和嘴5种；
S3.2、步骤S2中从面部表情图像中提取的面部表情特征向量是按照上一步中的5种类别进行提取的；
S3.3、以步骤S3.1中的5种参考面部表情特征为基准，对步骤S3.2中的面部表情特征进行定性分析，并以投票法来确定初步的情感状态，若出现票数为2:2:1的冲突现象时，则对投票给总票数为1的情感特征重新进行定性分析，选择其他两种情感状态中与其最相近的进行投票，从而得到初步情感状态Z1(并根据初步情感状态对Z1直接赋值)，若初步情感状态为积极则Z1＝1，若初步情感状态为中性则Z1＝0，若初步情感状态为消极则Z1＝-1。
如图5所示，所述步骤S5的具体步骤为：
设面部表情特征向量和眼动特征向量分别为m和n，在一个采样周期内，面部表情特征向量集合X＝[m1,m2,…,mi-1,mi]和眼动特征向量的集合Y＝[n1,n2,…,ni-1,ni]，其中i为时间序列，i≥1。将X和Y作为输入，通过SVR得到输出f(x)。输入量描述为线性关系描述为f(x)＝<v,x>+b,v∈Rk,b∈R,k≥1，其中v和b是超平面的参数，<·,·>是内积。并且有最小误差且受到实际与预期目标间最大偏差<v,xj>+b-yj≤ε,j≥1,ε≥0的约束。为了消除异常样本的影响引入松弛因子ξj,ξj*和一个参数C从而有最小误差且受yj-<v,xj>-b≤ε+ξj *,<v,xj>+b-yj≤ε+ξj,j≥1,ε,ξj,ξj *≥0的约束并且引入拉格朗日函数。通过计算最终得到f(x)的回归函数其中αj *,αj是拉格朗日乘数，0≤αj *,αj≤C且αj *,αj≥0。
所述步骤S6中的融合比例为w1:w2(w1,w2均为变量，具体关系为：0≤w1,w2≤1,Z＝w1Z1+w2Z2且w1+w2＝1)。
如图6所示，基于面部表情和眼球动作的双模态情感识别***，包括以下模块：
采集模块，用于在满足人脸表情图像识别的光线范围内，获取不同时间下人脸的正面图像和眼动信息；
特征向量提取模块，用于从面部表情图像中提取面部表情特征向量，从眼动信息中提取眼动特征向量；
情感定性分析模块，用于对提取的面部表情特征向量进行定性分析，获取初步情感状态Z1；
按时间匹配并存储模块，用于将面部表情特征向量和眼动特征向量按时间进行匹配并存储；
融合、分类模块，用于提取已匹配的面部表情特征向量和眼动特征向量，并利用SVR对其进行融合及分类等处理，得到分类后的情感特征向量；
最终情感状态确认模块，用于将分好类别的情感特征向量与预先建立的情感信息数据库中的情感信息相比对，将最相近的情感信息与分好类别的情感特征向量相匹配，从而得到情感状态Z2，并将Z2与初步情感状态Z1按照融合比例进行融合，得出受测者的最终情感状态Z。
所述特征向量提取模块包括面部表情特征向量提取模块和眼动特征向量提取模块，所述面部表情特征向量提取模块包括以下单元：
标记点设置单元，用于读取面部表情图像，以头顶为基准点估计面部特征的大概位置，在面部的各特征部位轮廓上均匀的设置标记点；
标记点对齐单元，用于通过眉心、两瞳孔连线的中点和口中央三点拟合出的中轴线将人脸分为左右对称的两部分，在不缩放、不平移、不旋转的条件下，调整图像将相对于中轴线对称的标记点调整到同一水平线，并建立面部表情形状模型；
特征候选区域划分单元，用于在面部表情形状模型按照左眼/右眼，左眉毛/右眉毛和嘴划分为不同区域，并且将这些区域定义为特征候选区域；
信息提取单元，用于针对每一个特征候选区域，采用差分图像法提取特征向量，通过将上一步处理后图像中的所有图像序列，与数据库中的中性表情的图像进行差分运算，从各特征候选区域内差分值均值最大的图像序列中提取面部表情特征向量。
所述眼动特征向量提取模块具体包括以下单元：
眼动信息分类单元，用于将采集的眼动信息按照眼动轨迹、眼动时间、眼动方向、眼动距离、注视时间、注视次数、瞳孔直径的大小和眨眼次数分类，得到八类眼动特征向量；
眼球轨迹图生成单元，用于将眼动信息按照眼动轨迹绘制成眼球轨迹图，并进行存储；
眼动热点图生成单元，用于根据整理分类得到的注视时间和注视次数，通过GazeLab得到眼动热点图，并进行存储。
所述融合分类、模块用于通过SVR，设面部表情特征向量和眼动特征向量分别为m和n，在一个采样周期内，面部表情特征向量集合X＝[m1,m2,…,mi-1,mi]和眼动特征向量的集合Y＝[n1,n2,…,ni-1,ni]，其中i为时间序列，i≥1。将X和Y作为输入，通过SVR得到输出f(x)。输入量描述为线性关系描述为f(x)＝<v,x>+b,v∈Rk,b∈R,k≥1，其中v和b是超平面的参数，<·,·>是内积。并且有最小误差且受到实际与预期目标间最大偏差<v,xj〉+b-yj≤ε,j≥1,ε≥0的约束。为了消除异常样本的影响引入松弛因子ξj,ξj *和一个参数C从而有最小误差且受yj-<v,xj〉-b≤ε+ξj *,<v,xj〉+b-yj≤ε+ξj,j≥1,ε,ξj,ξj *≥0的约束并且引入拉格朗日函数。通过计算最终得到f(x)的回归函数其中αj *,αj是拉格朗日乘数，0≤αj *,αj≤C且αj *,αj≥0。
实施例
本发明基于面部表情和眼动检测的双模态情感识别方法包括以下步骤：
步骤1-1，使用高速摄像机和Kinect获取人脸部图像。事先采集多组人脸部图像，包括积极、消极和中性三种情感的基本特征，包括左眼/右眼的形态、左眉毛/右眉毛的高低和嘴的形态。将对分析对象实时采集的面部图像进行情感特征向量的提取，并通过情感特征向量对3种情感进行倾向度赋值；
步骤1-2，获取足够的图像，并用图像刺激受测对象，通过GazeLab输出积极、消极和中性3种情感的热点图和轨迹图。分析热点图热点分布疏密和运动轨迹。将热点图分布疏密分级；
步骤2，使用以头顶为基点进行旋转从而对面部进行定位的方法估计面部特征的大概位置并标记一定数量的特征标记点。通过读取特征标记点坐标并将特征标记点对齐的方法实现图像的标准化，从而便于后续的数据处理。并且本发明中将面部分为了若干个特征候选区域，并将图像区域定性分级，利用差分法确定面部表情最丰富的图像，并从该图像的特征候选区域中提取面部表情特征值。最后通过AAM法提取该图像的各个分区中的面部表情特征向量；
步骤3-1，预先收集多组标准的参考面部表情特征，每组标准参考面部表情特征为左眼/左眉毛，右眼/右眉毛和嘴5种；
步骤3-2，以预先收集的5种参考面部表情特征为基准，对步骤2中所提取的面部表情特征向量进行定性分析，并以投票法来确定初步的情感状态，若出现票数为2:2:1的冲突现象时，则对投票给总票数为1的情感特征重新进行定性分析，选择其他两种情感状态中与其最相近的进行投票，从而得到初步情感状态Z1(并根据初步情感状态对Z1直接赋值)，若初步情感状态为积极则Z1＝1若初步情感状态为中性则Z1＝0，，若初步情感状态为消极则Z1＝-1。
步骤4，将面部表情特征向量和眼动特征向量按时间进行匹配并存储；
步骤5-1，通过眼动仪可以获取眼动轨迹、眼动时间、眼动方向、眼动距离、注视时间、注视次数、瞳孔直径的大小和眨眼次数八类信息，并且将此八类信息进行存储。将眼动轨迹绘制成眼球轨迹图，通过GazeLab将注视时间和注视次数绘制成眼动热点图。通过分析瞳孔直径，眼球轨迹图、热点图可以获知受测者的注意力和情感的变化；
步骤5-2，提取已匹配的面部表情特征向量和眼动特征向量，并通过SVR对其进行融合、分类等处理得到处理后的情感特征向量。
步骤6，通过与数据库中的信息进行比对，最终得出受测者的情感状态。将分好类别的情感特征向量与预先建立的情感信息数据库中的情感信息相比对，利用最小二乘法找到最相符的信息，将最相符的情感信息与分好类别的情感特征向量相匹配，从而得到情感状态Z2。通过大量的数据训练，获得最佳的情感状态容和比例，并将Z2与初步情感状态Z1按照融合比例进行融合，得出受测者的最终情感状态Z。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.基于面部表情和眼球动作的双模态情感识别方法，其特征在于，包括以下步骤：
S1、在满足人脸表情图像识别的光线范围内，获取不同时间下人脸的正面图像和眼动信息；
S2、从面部表情图像中提取面部表情特征向量，从眼动信息中提取眼动特征向量；
S3、对提取的面部表情特征向量进行定性分析，获取初步情感状态Z1，并根据初步情感状态对Z1直接赋值；
S4、将面部表情特征向量和眼动特征向量按时间进行匹配并存储；
S5、提取已匹配的面部表情特征向量和眼动特征向量，并通过SVR对其进行融合、分类等处理；
S6、将分好类别的情感特征向量与预先建立的情感信息数据库中的情感信息相比对，所述情感信息数据库存放有多组积极、中性和消极三种情感状态的标准的左眼/右眼、左眉毛/右眉毛和嘴部参考面部表情特征向量，将最相近的情感信息与分好类别的情感特征向量相匹配，从而得到情感状态Z2，并将Z2与初步情感状态Z1按照融合比例进行融合，得出受测者的最终情感状态Z。
2.根据权利要求1所述的基于面部表情和眼球动作的双模态情感识别方法，其特征在于，所述步骤S2从面部表情图像中提取面部表情特征向量的具体步骤为：
S2a.1、读取面部表情图像，以头顶为基准点估计面部特征的大概位置，在面部的各特征部位轮廓上均匀的设置标记点；
S2a.2、通过眉心、两瞳孔连线的中点和口中央三点拟合出的中轴线将人脸分为左右对称的两部分，在不缩放、不平移、不旋转的条件下，调整图像，将相对于中轴线对称的标记点调整到同一水平线，并建立面部表情形状模型；
S2a.3、在面部表情形状模型中按照左眼/左眉毛，右眼/右眉毛和嘴划分为不同区域，并且将这些区域定义为特征候选区域；
S2a.4、针对每一个特征候选区域，采用差分图像法提取特征向量；通过将上一步处理后图像中的所有图像序列与数据库中的中性表情的图像进行差分运算，从各特征候选区域内差分值均值最大的图像序列中提取面部表情特征向量。
3.根据权利要求1所述的基于面部表情和眼球动作的双模态情感识别方法，其特征在于，所述步骤S2从眼动信息中提取眼动特征向量的具体步骤为：
S2b.1、将采集的眼动信息按照眼动轨迹、眼动时间、眼动方向、眼动距离、注视时间、注视次数、瞳孔直径的大小和眨眼次数分类，得到八类眼动特征向量；
S2b.2、将眼动信息按照眼动轨迹绘制成眼球轨迹图，并存储眼球轨迹图；
S2b.3、根据整理分类得到的注视时间和注视次数，通过GazeLab得到眼动热点图，并存储眼动热点图。
4.根据权利要求1所述的基于面部表情和眼球动作的双模态情感识别方法，其特征在于，所述步骤S3的具体步骤为：
S3.1、预先收集多组标准的参考面部表情特征，每组参考面部表情特征包括左眼/右眼，左眉毛/右眉毛和嘴5种；
S3.2、步骤S2中从面部表情图像中提取的面部表情特征向量是按照上一步中的5种类别进行提取的；
S3.3、以步骤S3.1中的5种参考面部表情特征为基准，对步骤S3.2中的面部表情特征进行定性分析，并以投票法来确定初步的情感状态，若出现票数为2:2:1的冲突现象时，则对投票给总票数为1的情感特征重新进行定性分析，选择其他两种情感状态中与其最相近的进行投票，从而得到初步情感状态Z1，并根据初步情感状态对Z1直接赋值，若初步情感状态为积极则Z1＝1，若初步情感状态为中性则Z1＝0，若初步情感状态为消极则Z1＝-1。
5.根据权利要求1所述的基于面部表情和眼球动作的双模态情感识别方法，其特征在于，所述步骤S5的具体步骤为：
设面部表情特征向量和眼动特征向量分别为m和n，在一个采样周期内，面部表情特征向量集合X＝[m1,m2,…,mi-1,mi]和眼动特征向量的集合Y＝[n1,n2,…,ni-1,ni]，其中i为时间序列，i≥1；将X和Y作为输入，通过SVR得到输出f(x)；输入量描述为线性关系描述为f(x)＝<v,x>+b,v∈Rk,b∈R,k≥1，其中v和b是超平面的参数，并且有最小误差且受到实际与预期目标间最大偏差<v,xj>+b-yj≤ε,j≥1,ε≥0的约束；为了消除异常样本的影响引入松弛因子ξj,ξj *和一个参数C从而有最小误差且受yj-<v,xj>-b≤ε+ξj *,<v,xj>+b-yj≤ε+ξj,j≥1,ε,ξj,ξj *≥0的约束并且引入拉格朗日函数；通过计算最终得到f(x)的回归函数其中αj *，αj是拉格朗日乘数，0≤αj *,αj≤C且αj *,αj≥0。
6.根据权利要求1所述的基于面部表情和眼球动作的双模态情感识别方法，其特征在于，所述步骤S6中的融合比例为w1:w2,w1,w2均为变量，具体关系为：0≤w1,w2≤1,Z＝w1Z1+w2Z2且w1+w2＝1。
7.基于面部表情和眼球动作的双模态情感识别***，其特征在于，包括以下模块：
采集模块，用于在满足人脸表情图像识别的光线范围内，获取不同时间下人脸的正面图像和眼动信息；
特征向量提取模块，用于从面部表情图像中提取面部表情特征向量，从眼动信息中提取眼动特征向量；
情感定性分析模块，用于对提取的面部表情特征向量进行定性分析，获取初步情感状态Z1；
按时间匹配并存储模块，用于将面部表情特征向量和眼动特征向量按时间进行匹配并存储；
融合、分类模块，用于提取已匹配的面部表情特征向量和眼动特征向量，并利用SVR对其进行融合及分类等处理，得到分类后的情感特征向量；
最终情感状态确认模块，用于将分好类别的情感特征向量与预先建立的情感信息数据库中的情感信息相比对，将最相近的情感信息与分好类别的情感特征向量相匹配，从而得到情感状态Z2，并将Z2与初步情感状态Z1按照融合比例进行融合，得出受测者的最终情感状态Z。
8.根据权利要求7所述的基于面部表情和眼球动作的双模态情感识别***，其特征在于，所述特征向量提取模块包括面部表情特征向量提取模块和眼动特征向量提取模块，所述面部表情特征向量提取模块包括以下单元：
标记点设置单元，用于读取面部表情图像，以头顶为基准点估计面部特征的大概位置，在面部的各特征部位轮廓上均匀的设置标记点，
标记点对齐单元，用于通过眉心、两瞳孔连线的中点和口中央三点拟合出的中轴线将人脸分为左右对称的两部分，在不缩放、不平移、不旋转的条件下，调整图像将相对于中轴线对称的标记点调整到同一水平线，并建立面部表情形状模型；
特征候选区域划分单元，用于在面部表情形状模型按照左眼/左眉毛，右眼/右眉毛和嘴划分为不同区域，并且将这些区域定义为特征候选区域；
信息提取单元，用于针对每一个特征候选区域，采用差分图像法提取特征向量，通过将上一步处理后图像中的所有图像序列，与数据库中的中性表情的图像进行差分运算，从各特征候选区域内差分值均值最大的图像序列中提取面部表情特征向量。
9.根据权利要求8所述的基于面部表情和眼球动作的双模态情感识别***，其特征在于，所述眼动特征向量提取模块具体包括以下单元：
眼动信息分类单元，用于将采集的眼动信息按照眼动轨迹、眼动时间、眼动方向、眼动距离、注视时间、注视次数、瞳孔直径的大小和眨眼次数分类，得到八类眼动特征向量；
眼球轨迹图生成单元，用于将眼动信息按照眼动轨迹绘制成眼球轨迹图，并进行存储；
眼动热点图生成单元，用于根据整理分类得到的注视时间和注视次数，通过GazeLab得到眼动热点图，并进行存储。
10.根据权利要求7所述的基于面部表情和眼球动作的双模态情感识别***，其特征在于，所述融合、分类模块用于通过SVR，设面部表情特征向量和眼动特征向量分别为m和n，在一个采样周期内，面部表情特征向量集合X＝[m1,m2,…,mi-1,mi]和眼动特征向量的集合Y＝[n1,n2,…,ni-1,ni]，其中i为时间序列，i≥1；将X和Y作为输入，通过SVR得到输出f(x)；输入量描述为线性关系描述为f(x)＝<v,x>+b,v∈Rk,b∈R,k≥1，其中v和b是超平面的参数，并且有最小误差且受到实际与预期目标间最大偏差<v,xj>+b-yj≤ε,j≥1,ε≥0的约束；为了消除异常样本的影响引入松弛因子ξj,ξj *和一个参数C，从而有最小误差且受yj-<v,xj>-b≤ε+ξj *,<v,xj>+b-yj≤ε+ξj,j≥1,ε,ξj,ξj *≥0的约束，并且引入拉格朗日函数；通过计算最终得到f(x)的回归函数其中αj *,αj是拉格朗日乘数，0≤αj *,αj≤C且αj *,αj≥0。
CN201610173439.3A 2016-03-24 2016-03-24 基于面部表情和眼球动作的双模态情感识别方法及*** Active CN105868694B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610173439.3A CN105868694B (zh) 2016-03-24 2016-03-24 基于面部表情和眼球动作的双模态情感识别方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610173439.3A CN105868694B (zh) 2016-03-24 2016-03-24 基于面部表情和眼球动作的双模态情感识别方法及***

Publications (2)

Publication Number Publication Date
CN105868694A true CN105868694A (zh) 2016-08-17
CN105868694B CN105868694B (zh) 2019-03-08

Family

ID=56625895

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610173439.3A Active CN105868694B (zh) 2016-03-24 2016-03-24 基于面部表情和眼球动作的双模态情感识别方法及***

Country Status (1)

Country Link
CN (1) CN105868694B (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107180236A (zh) * 2017-06-02 2017-09-19 北京工业大学 一种基于类脑模型的多模态情感识别方法
CN107194151A (zh) * 2017-04-20 2017-09-22 华为技术有限公司 确定情感阈值的方法和人工智能设备
CN107239738A (zh) * 2017-05-05 2017-10-10 南京邮电大学 一种融合眼动技术与心率检测技术的情感分析方法
CN107358169A (zh) * 2017-06-21 2017-11-17 厦门中控智慧信息技术有限公司 一种人脸表情识别方法及人脸表情识别装置
CN108416331A (zh) * 2018-03-30 2018-08-17 百度在线网络技术（北京）有限公司 脸部对称识别的方法、装置、存储介质及终端设备
CN108537159A (zh) * 2018-04-03 2018-09-14 重庆房地产职业学院 公共空间中人对艺术作品认同度的数据分析***及方法
CN109108960A (zh) * 2017-06-23 2019-01-01 卡西欧计算机株式会社 机器人、机器人的控制方法以及存储介质
CN109199412A (zh) * 2018-09-28 2019-01-15 南京工程学院 基于眼动数据分析的异常情绪识别方法
CN109215763A (zh) * 2018-10-26 2019-01-15 广州华见智能科技有限公司 一种基于人脸图像的情感健康监控方法及***
CN109711291A (zh) * 2018-12-13 2019-05-03 合肥工业大学 基于眼睛凝视热力图的人格预测方法
WO2019184620A1 (zh) * 2018-03-27 2019-10-03 北京七鑫易维信息技术有限公司 输出信息的方法、装置和***
CN110728194A (zh) * 2019-09-16 2020-01-24 中国平安人寿保险股份有限公司 基于微表情和动作识别的智能培训方法、装置及存储介质
CN111339878A (zh) * 2020-02-19 2020-06-26 华南理工大学 一种基于眼动数据的修正型实时情感识别方法及***
CN113158854A (zh) * 2021-04-08 2021-07-23 东北大学秦皇岛分校 多模态信息融合的自动监测列车安全运行方法
CN113197579A (zh) * 2021-06-07 2021-08-03 山东大学 一种基于多模态信息融合的智能心理评估方法及***
WO2021217973A1 (zh) * 2020-04-28 2021-11-04 平安科技（深圳）有限公司 情感信息识别方法、装置、存储介质及计算机设备
CN113837153A (zh) * 2021-11-25 2021-12-24 之江实验室 一种融合瞳孔数据和面部表情的实时情绪识别方法及***
CN113869229A (zh) * 2021-09-29 2021-12-31 电子科技大学 基于先验注意力机制引导的深度学习表情识别方法
WO2023116145A1 (zh) * 2021-12-21 2023-06-29 北京字跳网络技术有限公司 表情模型确定方法、装置、设备及计算机可读存储介质
CN116682168A (zh) * 2023-08-04 2023-09-01 阳光学院 一种多模态表情识别方法、介质及***

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101561868A (zh) * 2009-05-19 2009-10-21 华中科技大学 基于高斯特征的人体运动情感识别方法
US20110091115A1 (en) * 2009-10-19 2011-04-21 Canon Kabushiki Kaisha Feature point positioning apparatus, image recognition apparatus, processing method thereof and computer-readable storage medium
CN102819744A (zh) * 2012-06-29 2012-12-12 北京理工大学 一种双通道信息融合的情感识别方法
CN102968643A (zh) * 2012-11-16 2013-03-13 华中科技大学 一种基于李群论的多模态情感识别方法
CN103400145A (zh) * 2013-07-19 2013-11-20 北京理工大学 基于线索神经网络的语音-视觉融合情感识别方法
KR101451854B1 (ko) * 2013-10-10 2014-10-16 재단법인대구경북과학기술원 얼굴 표정 인식 장치 및 그 방법
CN104463100A (zh) * 2014-11-07 2015-03-25 重庆邮电大学 基于面部表情识别模式的智能轮椅人机交互***及方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101561868A (zh) * 2009-05-19 2009-10-21 华中科技大学 基于高斯特征的人体运动情感识别方法
US20110091115A1 (en) * 2009-10-19 2011-04-21 Canon Kabushiki Kaisha Feature point positioning apparatus, image recognition apparatus, processing method thereof and computer-readable storage medium
CN102819744A (zh) * 2012-06-29 2012-12-12 北京理工大学 一种双通道信息融合的情感识别方法
CN102968643A (zh) * 2012-11-16 2013-03-13 华中科技大学 一种基于李群论的多模态情感识别方法
CN103400145A (zh) * 2013-07-19 2013-11-20 北京理工大学 基于线索神经网络的语音-视觉融合情感识别方法
KR101451854B1 (ko) * 2013-10-10 2014-10-16 재단법인대구경북과학기술원 얼굴 표정 인식 장치 및 그 방법
CN104463100A (zh) * 2014-11-07 2015-03-25 重庆邮电大学 基于面部表情识别模式的智能轮椅人机交互***及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
曹田熠: "多模态融合的情感识别研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107194151A (zh) * 2017-04-20 2017-09-22 华为技术有限公司 确定情感阈值的方法和人工智能设备
CN107239738A (zh) * 2017-05-05 2017-10-10 南京邮电大学 一种融合眼动技术与心率检测技术的情感分析方法
CN107180236B (zh) * 2017-06-02 2020-02-11 北京工业大学 一种基于类脑模型的多模态情感识别方法
CN107180236A (zh) * 2017-06-02 2017-09-19 北京工业大学 一种基于类脑模型的多模态情感识别方法
CN107358169A (zh) * 2017-06-21 2017-11-17 厦门中控智慧信息技术有限公司 一种人脸表情识别方法及人脸表情识别装置
CN109108960A (zh) * 2017-06-23 2019-01-01 卡西欧计算机株式会社 机器人、机器人的控制方法以及存储介质
WO2019184620A1 (zh) * 2018-03-27 2019-10-03 北京七鑫易维信息技术有限公司 输出信息的方法、装置和***
CN108416331B (zh) * 2018-03-30 2019-08-09 百度在线网络技术（北京）有限公司 脸部对称识别的方法、装置、存储介质及终端设备
CN108416331A (zh) * 2018-03-30 2018-08-17 百度在线网络技术（北京）有限公司 脸部对称识别的方法、装置、存储介质及终端设备
CN108537159A (zh) * 2018-04-03 2018-09-14 重庆房地产职业学院 公共空间中人对艺术作品认同度的数据分析***及方法
CN109199412A (zh) * 2018-09-28 2019-01-15 南京工程学院 基于眼动数据分析的异常情绪识别方法
CN109215763A (zh) * 2018-10-26 2019-01-15 广州华见智能科技有限公司 一种基于人脸图像的情感健康监控方法及***
CN109711291A (zh) * 2018-12-13 2019-05-03 合肥工业大学 基于眼睛凝视热力图的人格预测方法
CN110728194A (zh) * 2019-09-16 2020-01-24 中国平安人寿保险股份有限公司 基于微表情和动作识别的智能培训方法、装置及存储介质
CN111339878A (zh) * 2020-02-19 2020-06-26 华南理工大学 一种基于眼动数据的修正型实时情感识别方法及***
CN111339878B (zh) * 2020-02-19 2023-06-20 华南理工大学 一种基于眼动数据的修正型实时情感识别方法及***
WO2021217973A1 (zh) * 2020-04-28 2021-11-04 平安科技（深圳）有限公司 情感信息识别方法、装置、存储介质及计算机设备
CN113158854A (zh) * 2021-04-08 2021-07-23 东北大学秦皇岛分校 多模态信息融合的自动监测列车安全运行方法
CN113158854B (zh) * 2021-04-08 2022-03-22 东北大学秦皇岛分校 多模态信息融合的自动监测列车安全运行方法
CN113197579A (zh) * 2021-06-07 2021-08-03 山东大学 一种基于多模态信息融合的智能心理评估方法及***
CN113869229A (zh) * 2021-09-29 2021-12-31 电子科技大学 基于先验注意力机制引导的深度学习表情识别方法
CN113869229B (zh) * 2021-09-29 2023-05-09 电子科技大学 基于先验注意力机制引导的深度学习表情识别方法
CN113837153A (zh) * 2021-11-25 2021-12-24 之江实验室 一种融合瞳孔数据和面部表情的实时情绪识别方法及***
WO2023116145A1 (zh) * 2021-12-21 2023-06-29 北京字跳网络技术有限公司 表情模型确定方法、装置、设备及计算机可读存储介质
CN116682168A (zh) * 2023-08-04 2023-09-01 阳光学院 一种多模态表情识别方法、介质及***
CN116682168B (zh) * 2023-08-04 2023-10-17 阳光学院 一种多模态表情识别方法、介质及***

Also Published As

Publication number Publication date
CN105868694B (zh) 2019-03-08

Similar Documents

Publication Publication Date Title
CN105868694A (zh) 基于面部表情和眼球动作的双模态情感识别方法及***
CN101305913B (zh) 一种基于视频的人脸美丽评价方法
CN105955465A (zh) 一种桌面便携式视线跟踪方法及装置
CN106296742B (zh) 一种结合特征点匹配的在线目标跟踪方法
CN106096662B (zh) 基于加速度传感器的人体运动状态识别
CN105740779B (zh) 人脸活体检测的方法和装置
CN104123543B (zh) 一种基于人脸识别的眼球运动识别方法
CN108197587A (zh) 一种通过人脸深度预测进行多模态人脸识别的方法
CN104915656B (zh) 一种基于双目视觉测量技术的快速人脸识别方法
CN101526997A (zh) 嵌入式红外人脸图像识别方法及识别装置
CN106886216A (zh) 基于rgbd人脸检测的机器人自动跟踪方法和***
CN105999670A (zh) 基于kinect的太极拳动作判定和指导***及其指导方法
CN109697430A (zh) 基于图像识别的工作区域安全帽佩戴的检测方法
CN104794451B (zh) 基于分块匹配结构的行人比对方法
CN106203375A (zh) 一种基于人脸图像中人脸和人眼检测的瞳孔定位方法
CN103049758A (zh) 融合步态光流图和头肩均值形状的远距离身份验证方法
Pandey et al. Hand gesture recognition for sign language recognition: A review
KR20170082074A (ko) 관상학적 특징 정보를 이용한 얼굴인식 장치 및 방법
CN109325408A (zh) 一种手势判断方法及存储介质
CN106599785A (zh) 人体3d特征身份信息库的建立方法及设备
CN106611158A (zh) 人体3d特征信息的获取方法及设备
CN106682591A (zh) 人脸识别方法及装置
CN106650628A (zh) 一种基于三维k曲率的指尖检测方法
CN113920568A (zh) 基于视频图像的人脸和人体姿态情绪识别方法
CN106529441A (zh) 基于模糊边界分片的深度动作图人体行为识别方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant