CN104123545B - 一种实时表情特征提取及表情识别方法 - Google Patents
一种实时表情特征提取及表情识别方法 Download PDFInfo
- Publication number
- CN104123545B CN104123545B CN201410357670.9A CN201410357670A CN104123545B CN 104123545 B CN104123545 B CN 104123545B CN 201410357670 A CN201410357670 A CN 201410357670A CN 104123545 B CN104123545 B CN 104123545B
- Authority
- CN
- China
- Prior art keywords
- expression
- aus
- fpps
- real
- identification result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及一种实时表情特征提取及识别方法,包括以下步骤:运用 Kinect从实时视频数据中追踪人脸、提取面部运动单元信息AUs和特征点坐标FPPs;然后,将这两类特征信息并行处理,在它们各自的特征通道中,特征数据经7元1‑vs‑1分类器组进行预识别,将得到的预识别结果存入缓存用于情感置信统计,置信度最高的即为此通道中的表情识别结果,最后,融合AUs和 FPPs这两个特征通道的结果即可得到最终的表情识别结果。本发明解决了常用的表情识别方法速度和精度不理想的问题,基于Kinect提取的面部特征,可实现实时高精度表情识别。
Description
技术领域
本发明涉及一种实时表情特征提取及识别方法,特指一种基于Kinect提取的面部运动单元及特征点坐标信息识别表情的方法。
背景技术
近二十年来,随着人工智能与模式识别技术的迅猛发展,关于面部表情识别技术的研究得到了研究者们的广泛关注。现如今,其应用已广泛覆盖各领域,如:游戏、安全、情感计算和人机交互。
传统的表情识别方法还存在着着很大的局限性。在识别精度方面,大部分研究都是基于普通摄像头的,只能采集平面的2D图像。然而人脸是存在于三维空间中的物体,用2D图像描述3D的人脸必然会造成一些重要信息的丢失,这在很大程度上会影响表情识别的精度;在识别速度方面,由于设备、算法等方面的原因,2D环境下的识别往往很慢,平均每张人脸图像大约需要几秒甚至十几秒,无法达到实时性要求。
在Xiangxin Zhu等名为“Face Detection,Pose Estimation,and LandmarkLocalization in the Wild”的论文中,他们提出了一种基于2D图像定位自然环境中人脸特征点的方法,其精度达到了十分先进的水平,可计算量较大,在本发明的实验机器上定位一张2D图上的人脸特征点平均需13.9秒。
传统的表情识别方法在识别精度和速度有待进一步提高。
本发明为了克服现有技术缺陷,通过引入Kinect这一高速3D摄像设备提取面部特征,并针对这些特征提出了一整套切实可行的表情识别算法,大大提高了识别精度与速度。
发明内容
本发明的目的在于提供一种实时表情特征提取及表情识别方法,以提高表情识别精度和速度。
为了解决以上技术问题,本发明提出一种基于Kinect的实时表情信息提取及识别方法,具体技术方案如下:
一种实时表情特征提取方法,其特征在于包括下列步骤:
步骤一,制定基于Kinect的表情特征数据库规范,包括表情表现规范、录制规范及特征文件命名规范;
步骤二,收集表情特征数据:运用Face Tracking改编的录制软件从Kinect的实时视频流中追踪人脸并提取运动单元信息即AUs和特征点坐标信息即FPPs,每次记录的数据包括RGB图、AUs和FPPs,具体过程如下:
过程一,记录表情表现者的个人信息即编号,并要求表情表现者在距离Kinect合适位置上1-1.5m处以标准的方式做表情,表情表现者以制定的表情及面部姿态表现某一表情,每种表情在每个面部姿态下,重复20遍;
过程二,表情表现者对录制的RGB图进行个人评价,当录制的RGB图符合表情表现者的表达意愿,则将RGB图、AUs和FPPs记录下来,否则重复过程一;
过程三,分别以愤怒、厌恶、害怕、高兴、平静、悲伤以及惊讶7种表情,和5种面部姿态即当前面部与正面人脸的夹角分别为0°,±15°,±30°时的姿态,重复所述过程一和过程二;
过程四,更换表情表现者,重复所述过程一至过程三,去除重复数据,得到10名表情表现者实验所获得的6000组数据;
步骤三,表情有效性评测,即有区别于表情表现者至少10名测评者对过程四中得到的数据组中的RGB图进行主观测评实验,如测评者肯定RGB图表现的有效性,则认为提取的AUs和FPPs是有效的。
根据所述的一种实时表情特征提取方法的表情识别方法,其特征在于包括以下步骤:
步骤一,基于AUs识别表情的步骤,具体包括以下过程:
过程一,训练基于AUs的情感模型,将某x类AUs的标签置为1,其它类别AUs的标签均置为-1,然后运用这些标记过的AUs训练SVM模型用于识别给定的AUs是否属于x类,如果是属于x类,输出1,否则输出-1;
过程二,更换x类的类别,重复过程一,得到愤怒、厌恶、害怕、高兴、平静、悲伤以及惊讶对应7种不同表情的AUs情感模型,用于组建7元1-vs-1SVM分类器组,给定实时AUs,输出7个预识别结果;
过程三,将每一帧表情图像的AUs输入过程二训练好的7元1-vs-1 SVM分类器组中,得到每一帧表情图像的预识别结果,每帧表情图像的预识别结果被存储在缓冲存储器BM-AUs中;
过程四,采用情感置信分布图对BM-AUs中连续30帧表情图像的预识别结果进行融合,情感置信分布图中最高置信度所对应的表情即为所述连续30帧表情图像的基于AUs得到的表情预识别结果;
步骤二,基于FPPs识别表情的步骤,具体包括以下过程:
过程一,训练基于FPPs的情感模型,将某x类FPPs的标签置为1,其它类别FPPs的标签均置为-1,然后运用这些标记过的FPPs训练SVM模型用于识别给定的FPPs是否属于x类,如果是属于x类,输出1,否则输出-1;
过程二,更换x类的类别,重复过程一,得到愤怒、厌恶、害怕、高兴、平静、悲伤以及惊讶对应7种不同表情的FPPs情感模型,用于组建7元1-vs-1SVM分类器组,对于给定实时FPPs可输出7个预识别结果;
过程三,将每一帧表情图像的FPPs输入过程二训练好的7元1-vs-1 SVM分类器组中,得到每一帧表情图像的预识别结果,每帧表情图像的预识别结果被存储在缓冲存储器BM-FPPs中;
过程四,采用情感置信分布图对BM-FPPs中连续30帧表情图像的预识别结果进行融合,情感置信分布图中最高置信度所对应的表情即为该连续30帧表情图像的基于FPPs得到的表情预识别结果;
步骤四,比较基于AUs得到的表情预识别结果的置信度和基于FPPs得到的表情预识别结果的置信度,将拥有较高置信度的表情预识别结果作为当前连续30帧表情图像的最终识别结果。
本发明具有有益效果
1.本发明通过融合基于AUs和FPPs的RGB特征和深度特征,成功解决了基于传统方法难以达到高精度实时表情识别的问题,凭借Kinect实现了高精度实时表情识别。
2.本发明充分考虑情感表达的非瞬时性,通过统计连续30帧即1秒内图像所表现的表情,得到了融合的表情预识别结果。
3.本发明通过融合基于不同类型表情特征得到的识别结果,最终得到了更为可靠的识别结果。
附图说明
图1是本发明基于Kinect的实时表情识别方法流程图;
图2是本发明单独运用一类特征识别表情的方法演示图,以AUs特征为例;
图3是本发明AUs特征在人脸上的展示图;
图4是本发明在自行录制的数据库上的识别准确率结果图。
具体实施方式
下面结合附图和具体实施例,对本发明的技术方案做进一步详细说明。
图1给出了本发明的总体思路,运用Kinect从实时视频数据中追踪人脸、提取面部运动单元信息即AUs和特征点坐标即FPPs,然后,将这两类特征信息并行处理,在它们各自的特征通道中,特征数据经7元1-vs-1 SVM分类器组进行预识别,将得到的连续30帧表情图像的预识别结果存入缓存用于情感置信统计,置信度最高的即为此通道中连续30帧表情图像的表情预识别结果,最后,融合AUs和FPPs这两个特征通道的结果即可得到最终的表情识别结果。
图2以AUs通道为例演示了基于AUs识别表情的方法。从每帧图像提取的AUs首先经由7元1-vs-1 SVM分类器组进行预识别,其中每个子分类器对应一种表情,可判断输入的AUs是否符合此表情,如果是,输出1,否则,输出-1,对应7类表情的7元预识别结果以图中形式存储在缓存队列中,经情感置信统计,置信度最高的即为基于AUs得到的表情识别结果。在本示例中,拥有最大置信度的是愤怒,因此,愤怒是该表情图像基于AUs得到的表情识别结果。
图3中的人脸网格图是由Face tracking定义的121个特征点联接而成,本发明选取了与表情最为相关的及其它一些重要部分的特征点,最终得到45个主要关于眼睛、眉毛和嘴部的3D特征点。AUs包含6个面部运动单元信息,如图3中所示。
运用AUs和FPPs可分别训练得到一个7元1-vs-1 SVM分类器组,其中各子分类器在数据库内的识别率如图4所示。
由于现实中人的表情变化是个动态过程,并且这一过程不可能如同帧的刷新那么迅速,因此,综合判断一段连续帧中的信息显然更为合理。本发明识别***中图像的刷新频率为30帧/秒,可实时对连续30帧即1秒内表现的表情进行识别。
本发明主要分为两部分:基于Kinect的实时表情特征提取方法和实时表情识别方法。
一、基于Kinect的实时表情特征提取方法,该方法步骤如下:
步骤1,制定表情特征数据库规范
在表情特征数据库的整个录制过程中的每一步都应遵从特定的规范,包括表情表现规范、录制规范及特征文件命名规范等。根据表情研究的应用需求,具体涉及到的制作规范和含义如下:
(1)表情表现规范
为了使提取的表情特征有较好的可区分性,要求表情表现者尽量以大的变化幅度做表情,表现内容包括5种面部姿态即当前面部与正面人脸的夹角分别为0°,±15°,±30°时的姿态下的7种表情即愤怒、厌恶、害怕、高兴、平静、悲伤以及惊讶;
(2)录制规范
为了使实验更切合实际环境,录制的场所并不固定,对光照条件也无特殊要求,只要充足即可,录制设备为传感器Kinect For Windows以及配置为Inter dual-core,2.8GHzCPU,4G RAM的电脑一台,录制软件是基于配套开发工具Face Tracking SDK编写的,以便记录指定的特征;
(3)特征文件命名规范
为了方便表情特征数据的组织和检索,对单个表情特征有直观的描述,设计了特征文件命名规范。由于AUs和FPPs是分开处理的,为了简化,在命名时不对特征类型进行区别,而将不同类型的特征放在不同文件夹中。文件名由表情类别、表情表现者编号以及面部姿态3种信息构成,如:1号表情表现者表现愤怒的表情,且其面部姿态为向左15°,特征文件命名应为“anger 1@15”,此文件内集合了所有符合此描述的特征,并且每组特征数据都标有相应的录制时间以进行区分和方便查找。与AUs、FPPs相对应的RGB图名称以上述命名方法附加时间命名,如:“anger 1@0 11.2912时08分41秒538.bmp”。
步骤2:收集表情特征数据
运用编写的录制软件可从Kinect的实时视频流中追踪人脸并提取AUs和FPPs。每次记录的数据包括:RGB图、AUs、FPPs;
每个AU的取值在[-1,1]内,从每帧图像中提取的AUs可表示为6元向量:
原始的Face Tracking SDK追踪121个面部3D特征点,其中具有代表性且有命名的为71个,我们主要选取与表情最为相关的特征点,最终得到45个关于眼睛、眉毛和嘴部的3D特征点,每个特征点其坐标表示为(X,Y,Z),从每帧图像中提取的FPPs可表示为一个135维向量:
录制的具体步骤如下:
1)记录表情表现者的个人信息,并要求表情表现者在距离Kinect合适位置上(1-1.5m)以尽量标准的方式做表情,表情表现者以指定的表情及面部姿态表现某一表情,每种表情在每个面部姿态下重复20遍;
2)表情表现者对录制的RGB图进行个人评价,如符合表情表现者的表达意愿,则将RGB图、AUs和FPPs记录下来,否则重复步骤1);
3)分别以愤怒、厌恶、害怕、高兴、平静、悲伤以及惊讶7种表情和5种面部姿态即当前面部与正面人脸的夹角为0°,±15°,±30°,重复步骤1)和步骤2);
4)更换表情表现者重复步骤1)至步骤3),去除重复数据,得到10名表情表现者,约6000组数据。
步骤3:表情有效性评测,即由区别于表情表现者至少10名测评者对步骤4)得到的数据组中的RGB图像进行主观测评实验,如测评者肯定RGB图像表现内容的有效性,则提取的AUs、FPPs也是有效的。
二、基于Kinect的实时表情识别方法,步骤如下:
步骤1:获取实时特征,运用基于Face Tracking编写的识别程序,从Kinect实时视频流中获取每帧图像中的AUs、FPPs;
步骤2:基于AUs识别表情
1)创建AUs情感数据库,将录制的AUs按照表情类别的不同分为7类;
2)训练AUs情感模型,将某x类AUs的标签置为1,其它类别AUs的标签均置为-1,然后运用这些标签过的AUs训练SVM模型,此SVM模型便可用于识别给定的AUs是否属于x类,如果是,输出1,否则输出-1,此时输出的识别结果可记为LAUs(i|j),其中i(i=1,2…7)代表7种表情的编号,j(j=1,2…)代表帧的序列号;
3)更换x的类别重复步骤2),得到7个对应不同表情的AUs情感模型,将它们用于组建7元1-vs-1分类器组,对于给定实时AUs可输出7元预识别结果(LAUs(1|j),LAUs(2|j),…,LAUs(7|j));
4)对于AUs,每帧的预识别结果将存储在缓冲存储器BM-AUs中,用情感置信分布图融合BM-AUs中连续30帧表情图像的预识别结果即可得到对各表情的置信度CAUs(i)(i=1,2…7),其初始值为0,可表示为:
BM-AUs的功能类似于一个长度为30的队列,它实时存储最新连续30帧的预识别结果,当总的帧数还未超过30时,识别结果LAUs(i|j)(1或-1)将直接累计至CAUs(i);当总的帧数超过30时,累计最新的识别结果LAUs(i|j)(i=1,2…7)之前应先将30帧之前的识别结果LAUs(i|(j-30))出队;
5)情感置信分布图中具有最高置信度MCAUs对应的表情类别即为基于AUs得到的表情识别结果。MCAUs可表示为:
MCAUs=max{CAUs(i):i=1,2,...,7} (4)
步骤3:基于FPPs识别表情
1)创建FPPs情感数据库,将录制的FPPs按照情感类别的不同分为7类;
2)训练FPPs情感模型,将某x类FPPs的标签置为1,其它类别FPPs的标签均置为-1,然后运用这些标签过的FPPs训练SVM模型,此SVM模型便可用于识别给定的FPPs是否属于x类,如果是,输出1,否则输出-1,此处输出的识别结果可记为LFPPs(i|j),其中i(i=1,2…7)代表7种表情的编号,j(j=1,2…)代表帧的序列号;
3)更换x的类别重复步骤2),得到7个对应不同表情的FPPs情感模型,将它们用于组建一个7元1-vs-1 SVM分类器组,对于给定实时FPPs可输出7元预识别结果(LFPPs(1|j),LFPPs(2|j),…,LFPPs(7|j));
4)对于FPPs,每帧的预识别结果将存储在缓冲存储器BM-FPPs中,用情感置信分布图融合BM-FPPs中连续30帧表情图像的预识别结果即可得到对各表情的置信度CFPPs(i)(i=1,2…7),其初始值为0,可表示为:
BM-FPPs的功能类似于一个长度为30的队列,它实时存储最新连续30帧表情图像的预识别结果,当总的帧数还未超过30时,识别结果LFPPs(i|j)(1或-1)将直接累计至CFPPs(i);当总的帧数超过30时,累计最新的识别结果LFPPs(i|j)(i=1,2…7)之前应先将30帧前的识别结果LFPPs(i|(j-30))出队;
5)情感置信分布图中最高置信度MCFPPs对应的表情类别即为基于FPPs得到的表情识别结果。MCFPPs可表示为:
MCFPPs=max{CFPPs(i):i=1,2,...,7} (6)
步骤4:融合基于AUs和FPPs得到的表情预识别结果,比较这两个结果的置信度,拥有最高置信度FE的表情类别即为对当前连续30帧表情图像的最终表情识别结果,FE可表示为:
FE=max{MCAUs,MCFPPS} (7)。
Claims (2)
1.一种实时表情特征提取方法,其特征在于包括下列步骤:
步骤一,制定基于Kinect的表情特征数据库规范,包括表情表现规范、录制规范及特征文件命名规范;
步骤二,收集表情特征数据:运用Face Tracking改编的录制软件从Kinect的实时视频流中追踪人脸并提取运动单元信息即AUs和特征点坐标信息即FPPs,每次记录的数据包括RGB图、AUs和FPPs,具体过程如下:
过程一,记录表情表现者的个人信息即编号,并要求表情表现者在距离Kinect合适位置上1-1.5m处以标准的方式做表情,表情表现者以指定的表情及面部姿态表现某一表情,每种表情在每个面部姿态下,重复20遍;
过程二,表情表现者对录制的RGB图进行个人评价,当录制的RGB图符合表情表现者的表达意愿,则将RGB图、AUs和FPPs记录下来,否则重复过程一;
过程三,分别以愤怒、厌恶、害怕、高兴、平静、悲伤以及惊讶7种表情,和5种面部姿态即当前面部与正面人脸的夹角分别为0°,±15°,±30°时的姿态,重复所述过程一和过程二;
过程四,更换表情表现者,重复所述过程一至过程三,去除重复数据,得到10名表情表现者实验所获得的6000组数据;
步骤三,表情有效性评测,即有区别于表情表现者至少10名测评者对过程四中得到的数据组中的RGB图进行主观测评实验,如测评者肯定RGB图表现的有效性,则认为提取的AUs和FPPs是有效的;
选取与表情最为相关的特征点,得到45个关于眼睛、眉毛和嘴部的3D特征点,每个特征点坐标表示为(X,Y,Z),从每帧图像中提取的FPPs表示为一个135维向量
2.根据权利要求1所述的一种实时表情特征提取方法的表情识别方法,其特征在于包括以下步骤:
步骤一,基于AUs识别表情的步骤,具体包括以下过程:
过程一,训练基于AUs的情感模型,将某x类AUs的标签置为1,其它类别AUs的标签均置为-1,然后运用这些标记过的AUs训练SVM模型用于识别给定的AUs是否属于x类,如果是属于x类,输出1,否则输出-1;
过程二,更换x类的类别,重复过程一,得到愤怒、厌恶、害怕、高兴、平静、悲伤以及惊讶对应7种不同表情的AUs情感模型,用于组建7元1-vs-1SVM分类器组,给定实时AUs,输出7个预识别结果;
过程三,将每一帧表情图像的AUs输入过程二训练好的7元1-vs-1SVM分类器组中,得到每一帧表情图像的预识别结果,每帧表情图像的预识别结果被存储在缓冲存储器BM-AUs中;
过程四,采用情感置信分布图对BM-AUs中连续30帧表情图像的预识别结果进行融合,情感置信分布图中最高置信度所对应的表情即为所述连续30帧表情图像的基于AUs得到的表情预识别结果;
步骤二,基于FPPs识别表情的步骤,具体包括以下过程:
过程一,训练基于FPPs的情感模型,将某x类FPPs的标签置为1,其它类别FPPs的标签均置为-1,然后运用这些标记过的FPPs训练SVM模型用于识别给定的FPPs是否属于x类,如果是属于x类,输出1,否则输出-1;
过程二,更换x类的类别,重复过程一,得到愤怒、厌恶、害怕、高兴、平静、悲伤以及惊讶对应7种不同表情的FPPs情感模型,用于组建7元1-vs-1SVM分类器组,对于给定实时FPPs可输出7个预识别结果;
过程三,将每一帧表情图像的FPPs输入过程二训练好的7元1-vs-1SVM分类器组中,得到每一帧表情图像的预识别结果,每帧表情图像的预识别结果被存储在缓冲存储器BM-FPPs中;
过程四,采用情感置信分布图对BM-FPPs中连续30帧表情图像的预识别结果进行融合,情感置信分布图中最高置信度所对应的表情即为该连续30帧表情图像的基于FPPs得到的表情预识别结果;
步骤四,比较基于AUs得到的表情预识别结果的置信度和基于FPPs得到的表情预识别结果的置信度,将拥有较高置信度的表情预识别结果作为当前连续30帧表情图像的最终识别结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410357670.9A CN104123545B (zh) | 2014-07-24 | 2014-07-24 | 一种实时表情特征提取及表情识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410357670.9A CN104123545B (zh) | 2014-07-24 | 2014-07-24 | 一种实时表情特征提取及表情识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104123545A CN104123545A (zh) | 2014-10-29 |
CN104123545B true CN104123545B (zh) | 2017-06-16 |
Family
ID=51768950
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410357670.9A Active CN104123545B (zh) | 2014-07-24 | 2014-07-24 | 一种实时表情特征提取及表情识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104123545B (zh) |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104589356B (zh) * | 2014-11-27 | 2016-08-24 | 北京工业大学 | 基于Kinect人手运动捕捉的灵巧手遥操作控制方法 |
CN104794444A (zh) * | 2015-04-16 | 2015-07-22 | 美国掌赢信息科技有限公司 | 一种即时视频中的表情识别方法和电子设备 |
CN105447473B (zh) * | 2015-12-14 | 2019-01-08 | 江苏大学 | 一种基于PCANet-CNN的任意姿态人脸表情识别方法 |
CN105868686A (zh) * | 2015-12-31 | 2016-08-17 | 乐视网信息技术(北京)股份有限公司 | 视频分类方法及装置 |
CN105740767A (zh) * | 2016-01-22 | 2016-07-06 | 江苏大学 | 一种基于脸部特征的驾驶员路怒症实时识别和预警方法 |
CN105760852B (zh) * | 2016-03-14 | 2019-03-05 | 江苏大学 | 一种融合脸部表情和语音的驾驶员情感实时识别方法 |
CN106570496B (zh) * | 2016-11-22 | 2019-10-01 | 上海智臻智能网络科技股份有限公司 | 情绪识别方法和装置以及智能交互方法和设备 |
CN106934375A (zh) * | 2017-03-15 | 2017-07-07 | 中南林业科技大学 | 基于特征点运动轨迹描述的人脸表情识别方法 |
CN107066951B (zh) * | 2017-03-15 | 2020-01-14 | 中国地质大学(武汉) | 一种人脸自发表情的识别方法及*** |
CN107633207B (zh) * | 2017-08-17 | 2018-10-12 | 平安科技(深圳)有限公司 | Au特征识别方法、装置及存储介质 |
CN107633203A (zh) * | 2017-08-17 | 2018-01-26 | 平安科技(深圳)有限公司 | 面部情绪识别方法、装置及存储介质 |
CN107705276B (zh) * | 2017-09-11 | 2021-03-02 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子装置和计算机可读存储介质 |
KR102106517B1 (ko) * | 2017-11-13 | 2020-05-06 | 주식회사 하가 | 피검자의 감정을 분석하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체 |
CN108509941B (zh) * | 2018-04-20 | 2020-09-01 | 京东数字科技控股有限公司 | 情绪信息生成方法和装置 |
WO2019205016A1 (en) * | 2018-04-25 | 2019-10-31 | Beijing Didi Infinity Technology And Development Co., Ltd. | Systems and methods for nod action recognition based on facial feature points |
US10957089B2 (en) | 2018-09-13 | 2021-03-23 | International Business Machines Corporation | Animation generation |
CN109344760A (zh) * | 2018-09-26 | 2019-02-15 | 江西师范大学 | 一种自然场景下人脸表情数据集的构建方法 |
CN109522925B (zh) * | 2018-09-30 | 2021-08-06 | 咪咕文化科技有限公司 | 一种图像识别方法、装置和存储介质 |
CN110213667B (zh) * | 2019-04-16 | 2022-04-05 | 佛山市丰智胜教育咨询服务有限公司 | 在线视频交互的网络保障方法、***、设备及存储介质 |
CN110091874A (zh) * | 2019-05-07 | 2019-08-06 | 绍兴天宏激光科技有限公司 | 一种基于表情识别的安全驾驶***及识别方法 |
CN110378256A (zh) * | 2019-07-04 | 2019-10-25 | 西北大学 | 一种即时视频中的表情识别方法及装置 |
CN111882827A (zh) * | 2020-07-27 | 2020-11-03 | 复旦大学 | 一种疲劳驾驶监测方法、***、装置和可读存储介质 |
CN111860451A (zh) * | 2020-08-03 | 2020-10-30 | 宿州小马电子商务有限公司 | 一种基于人脸表情识别的游戏交互方法 |
CN114842523A (zh) * | 2022-03-16 | 2022-08-02 | 西南大学 | 表情识别方法、装置、电子设备及计算机可读取存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1996344A (zh) * | 2006-12-22 | 2007-07-11 | 北京航空航天大学 | 人脸表情信息的提取方法及处理 |
CN102880866A (zh) * | 2012-09-29 | 2013-01-16 | 宁波大学 | 一种人脸特征提取方法 |
-
2014
- 2014-07-24 CN CN201410357670.9A patent/CN104123545B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1996344A (zh) * | 2006-12-22 | 2007-07-11 | 北京航空航天大学 | 人脸表情信息的提取方法及处理 |
CN102880866A (zh) * | 2012-09-29 | 2013-01-16 | 宁波大学 | 一种人脸特征提取方法 |
Non-Patent Citations (1)
Title |
---|
Unsupervised Facial Expressions Recognition and Avatar Reconstruction from Kinect;Bassem Seddik等;《Systems, Signals & Devices (SSD), 2013 10th International Multi-Conference on》;20130321;第1-6页 * |
Also Published As
Publication number | Publication date |
---|---|
CN104123545A (zh) | 2014-10-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104123545B (zh) | 一种实时表情特征提取及表情识别方法 | |
CN109919031B (zh) | 一种基于深度神经网络的人体行为识别方法 | |
CN107784293B (zh) | 一种基于全局特征和稀疏表示分类的人体行为识别方法 | |
CN105160317B (zh) | 一种基于区域分块行人性别识别方法 | |
CN106295568B (zh) | 基于表情和行为双模态结合的人类自然状态情感识别方法 | |
CN109472198B (zh) | 一种姿态鲁棒的视频笑脸识别方法 | |
CN104143079B (zh) | 人脸属性识别的方法和*** | |
CN105160310A (zh) | 基于3d卷积神经网络的人体行为识别方法 | |
CN109919981A (zh) | 一种基于卡尔曼滤波辅助的多特征融合的多目标跟踪方法 | |
CN106778506A (zh) | 一种融合深度图像和多通道特征的表情识别方法 | |
CN108334848A (zh) | 一种基于生成对抗网络的微小人脸识别方法 | |
CN103605986A (zh) | 一种基于局部特征的人体动作识别方法 | |
CN106778496A (zh) | 活体检测方法及装置 | |
CN107103326A (zh) | 基于超像素聚类的协同显著性检测方法 | |
CN106529477A (zh) | 基于显著轨迹和时空演化信息的视频人体行为识别方法 | |
CN105022982A (zh) | 手部运动识别方法和装置 | |
CN103198330B (zh) | 基于深度视频流的实时人脸姿态估计方法 | |
CN110188708A (zh) | 一种基于卷积神经网络的人脸表情识别方法 | |
CN105930770A (zh) | 一种基于高斯过程隐变量模型的人体动作识别方法 | |
CN103336967B (zh) | 一种手部运动轨迹检测方法及装置 | |
CN105956570B (zh) | 基于唇部特征和深度学习的笑脸识别方法 | |
CN106991385A (zh) | 一种基于特征融合的人脸表情识别方法 | |
CN104063721A (zh) | 一种基于语义特征自动学习与筛选的人类行为识别方法 | |
CN105069745A (zh) | 基于普通图像传感器及增强现实技术的带表情变脸***及方法 | |
CN103226713A (zh) | 一种多视角行为识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |