CN110378256A - 一种即时视频中的表情识别方法及装置 - Google Patents

Abstract

本发明涉及视频技术领域，具体为一种即时视频中的表情识别方法及装置，包括实时表情特征的提取和实时表情特征提取方法的表情的识别，所述实时表情特征的提取包括下列步骤：步骤一，制定基于Kinect的表情特征数据库规范，包括表情表现规范、录制规范及特征文件命名规范；步骤二，收集表情特征数据：运用FaceTracking改编的录制软件从Kinect的实时视频流中追踪人脸并提取运动单元信息即AUs和特征点坐标信息即FPPs。在表情表现者使用后，子存储空间内的数据会逐渐丰富，实现自主学习的功能，随着使用时间的积累，可以逐渐提高识别的准确率，减少了从主存储空间提取数据的量，从而提高识别准确率和识别速度。

Description

一种即时视频中的表情识别方法及装置

技术领域

本发明涉及视频技术领域，具体为一种即时视频中的表情识别方法及装置。

背景技术

随着即时视频应用在移动终端上的普及，使得越来越多的用户通过即时视频应用来实现与他人之间的交互，因此需要一种在即时视频中的表情识别方法，来满足用户在通过即时视频应用来实现与他人之间的交互时的个性化需求，提高交互场景下的用户体验。

现有技术提供一种表情识别方法，该方法具体包括：从预先录制的视频中获取所要识别的当前帧画面，对当前帧画面中的人脸表情进行识别，并对其他帧图像继续执行上述步骤，从而对视频中的视频帧画面中人脸表情进行识别。

但是该方法由于无法实时识别即时视频中的人脸表情，且在实现过程中，由于该方法会大量占用设备的处理资源和存储资源，所以该方法对设备的要求较高，使得该方法无法应用于如智能手机和平板电脑等移动终端，从而无法满足用户的多样化需求，降低了用户体验效果。

发明内容

本部分的目的在于概述本发明的实施方式的一些方面以及简要介绍一些较佳实施方式。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

鉴于上述中存在的问题，提出了本发明。

为解决上述技术问题，根据本发明的一个方面，本发明提供了如下技术方案：

一种即时视频中的表情识别方法，包括实时表情特征的提取和基于实时表情特征提取方法的表情的识别，所述实时表情特征的提取包括下列步骤：

步骤一，制定基于Kinect的表情特征数据库规范，包括表情表现规范、录制规范及特征文件命名规范；

步骤二，收集表情特征数据：运用FaceTracking改编的录制软件从Kinect的实时视频流中追踪人脸并提取运动单元信息即AUs和特征点坐标信息即FPPs，每次记录的数据包括RGB图、AUs和FPPs，具体过程如下：

过程一，预先通过表情表现者，分别记录愤怒、厌恶、害怕、高兴、平静、悲伤以及惊讶7种表情,和5种面部姿态即当前面部与正面人脸的夹角分别为0°,±15°,±30°时的姿态，识别面部特征，更换表情表现者，重复上述的操作，去除重复数据，得到多名表情表现者实验所获得的多组实验数据，数据的形式包括RGB图、AUs和FPPs，这些数据储存到主存储空间。

过程二，记录表情表现者的面部特征，重复记录20遍，并为记录到的面部特征匹配出一个特定的身份信息，每个特定的身份信息均匹配有对应的子存储空间,当识别到新的表情表现者时，在为其匹配一个新的特定的身份信息，同时为该身份形象新建一个新的子存储空间；

过程三，表情表现者将子存储空间内储存的RGB图进行个人评价，当录制的RGB图符合表情表现者的表达意愿，则将RGB图、AUs和FPPs记录下来，否则将RGB图删除；

步骤三，表情有效性评测，即有区别于表情表现者至少10名测评者对过程四中得到的数据组中的RGB图进行主观测评实验，如测评者肯定RGB图表现的有效性，则认为提取的AUs和FPPs是有效的；选取与表情最为相关的特征点，得到45个关于眼睛、眉毛和嘴部的3D特征点，每个特征点坐标表示为(X,Y,Z)，从每帧图像中提取的FPPs表示为一个135维向量。

所述实时表情特征识别包括以下步骤：

步骤一，基于AUs识别表情的步骤，具体包括以下过程：

过程一，训练基于AUs的情感模型，将某x类AUs的标签置为1，其它类别AUs的标签均置为-1，然后运用这些标记过的AUs训练SVM模型用于识别给定的AUs是否属于x类，如果是属于x类，输出1，否则输出-1；

过程二，更换x类的类别，重复过程一，得到愤怒、厌恶、害怕、高兴、平静、悲伤以及惊讶对应7种不同表情的AUs情感模型，用于组建7元1-vs-1SVM分类器组，给定实时AUs，输出7个预识别结果；

过程三，将每一帧表情图像的AUs输入过程二训练好的7元1-vs-1SVM分类器组中，得到每一帧表情图像的预识别结果，每帧表情图像的预识别结果被存储在缓冲存储器BM-AUs中；

过程四，采用情感置信分布图对BM-AUs中连续30帧表情图像的预识别结果进行融合，情感置信分布图中最高置信度所对应的表情即为所述连续30帧表情图像的基于AUs得到的表情预识别结果；

步骤二，基于FPPs识别表情的步骤，具体包括以下过程：

过程一，训练基于FPPs的情感模型，将某x类FPPs的标签置为1，其它类别FPPs的标签均置为-1，然后运用这些标记过的FPPs训练SVM模型用于识别给定的FPPs是否属于x类，如果是属于x类，输出1，否则输出-1；

过程二，更换x类的类别，重复过程一，得到愤怒、厌恶、害怕、高兴、平静、悲伤以及惊讶对应7种不同表情的FPPs情感模型，用于组建7元1-vs-1SVM分类器组，对于给定实时FPPs可输出7个预识别结果；

过程三，将每一帧表情图像的FPPs输入过程二训练好的7元1-vs-1SVM分类器组中，得到每一帧表情图像的预识别结果，每帧表情图像的预识别结果被存储在缓冲存储器BMFPPs中；

过程四，采用情感置信分布图对BM-FPPs中连续30帧表情图像的预识别结果进行融合，情感置信分布图中最高置信度所对应的表情即为该连续30帧表情图像的基于FPPs得到的表情预识别结果；

步骤四，比较基于AUs得到的表情预识别结果的置信度和基于FPPs得到的表情预识别结果的置信度，将拥有较高置信度的表情预识别结果作为当前连续30帧表情图像的最终识别结果。

所述实时表情特征识别通过对主存储空间内的数据进行识别后的到的最终识别结果再次存储到主存储空间中，实时表情特征识别通过子存储空间内的数据时，该最终识别结果存储在子存储空间，即对不同的子存储空间内的数据进行识别后的到的数据还存储在相应的子存储空间内。

一种即时视频中的表情识别装置，包括：

训练单元，用于构建并训练基于AUs识别表情和基于FPPs识别表情的情绪识别模型；

情绪识别单元，用于将待识别的人脸图像输入所述情绪识别模型，以输出所述人脸图像的情绪类别，所述情绪类别包括愤怒、厌恶、害怕、高兴、平静、悲伤以及惊讶中的一种；

第一获取单元，用于从子存储空间获取与所述情绪类别对应的表情识别结果；

第二获取单元，用于在第一获取单元为获取到匹配的数据时，从主存储空间获取与所述情绪类别对应的表情识别结果；

表情识别单元，用于输出第一获取单元或第二获取单元所获取的人脸图像的表情类别；

存储单元，存储单元用于数据的存储，包括主存储空间、子存储空间和待分配空间，待分配空间用于新建多个子存储空间。

与现有技术相比：

1、本发明所述的一种即时视频中的表情识别方法及装置，通过融合基于AUs和FPPs的RGB特征和深度特征，成功解决了基于传统方法难以达到高精度实时表情识别的问题，凭借Kinect实现了高精度实时表情识别。

2、本发明所述的一种即时视频中的表情识别方法及装置，通过设置一个主存储空间和多个子存储空间，在表情表现者使用后，子存储空间内的数据会逐渐丰富，实现自主学习的功能，随着使用时间的积累，可以逐渐提高识别的准确率，减少了从主存储空间提取数据的量，从而提高识别准确率和识别速度。

附图说明

为了更清楚地说明本发明实施方式的技术方案，下面将将结合附图和详细实施方式对本发明进行详细说明，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：

图1为本发明的一种即时视频中的表情识别方法流程图；

图2为本发明中一种即时视频中的表情识别装置的原理框图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施方式的限制。

其次，本发明结合图1进行详细描述，在详述本发明实施方式时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。

本发明提供一种即时视频中的表情识别方法，包括实时表情特征的提取和实时表情特征提取方法的表情的识别，所述实时表情特征的提取包括下列步骤：

步骤一，制定基于Kinect的表情特征数据库规范，包括表情表现规范、录制规范及特征文件命名规范；

步骤二，收集表情特征数据：运用FaceTracking改编的录制软件从Kinect的实时视频流中追踪人脸并提取运动单元信息即AUs和特征点坐标信息即FPPs，每次记录的数据包括RGB图、AUs和FPPs，具体过程如下：

过程一，预先通过表情表现者，分别记录愤怒、厌恶、害怕、高兴、平静、悲伤以及惊讶7种表情,和5种面部姿态即当前面部与正面人脸的夹角分别为0°,±15°,±30°时的姿态，识别面部特征，更换表情表现者，重复上述的操作，去除重复数据，得到多名表情表现者实验所获得的多组实验数据，数据的形式包括RGB图、AUs和FPPs，这些数据储存到主存储空间，主储存空间用于多组实验数据的储存和调取使用。

过程二，记录表情表现者的面部特征，重复记录20遍，并为记录到的面部特征匹配出一个特定的身份信息，每个特定的身份信息均匹配有对应的子存储空间,当识别到新的表情表现者时，在为其匹配一个新的特定的身份信息，同时为该身份形象新建一个新的子存储空间，在更换表情表现者时，先识别有没有与该表现者面部特征相匹配的子存储空间，若有，则直接从该子存储空间中调用出数据，直接使用，否则，从主存储空间内调用数据，以便提高识别准确率和识别速度；

过程三，表情表现者将子存储空间内储存的RGB图进行个人评价，当录制的RGB图符合表情表现者的表达意愿，则将RGB图、AUs和FPPs记录下来，否则将RGB图删除，以便剔除掉识别错误的数据，子存储空间内的数据会逐渐丰富，实现自主学习的功能；

步骤三，表情有效性评测，即有区别于表情表现者至少10名测评者对过程四中得到的数据组中的RGB图进行主观测评实验，如测评者肯定RGB图表现的有效性，则认为提取的AUs和FPPs是有效的；选取与表情最为相关的特征点，得到45个关于眼睛、眉毛和嘴部的3D特征点，每个特征点坐标表示为(X,Y,Z)，从每帧图像中提取的FPPs表示为一个135维向量。

所述实时表情特征识别包括以下步骤：

步骤一，基于AUs识别表情的步骤，具体包括以下过程：

过程一，训练基于AUs的情感模型，将某x类AUs的标签置为1，其它类别AUs的标签均置为-1，然后运用这些标记过的AUs训练SVM模型用于识别给定的AUs是否属于x类，如果是属于x类，输出1，否则输出-1；

过程二，更换x类的类别，重复过程一，得到愤怒、厌恶、害怕、高兴、平静、悲伤以及惊讶对应7种不同表情的AUs情感模型，用于组建7元1-vs-1SVM分类器组，给定实时AUs，输出7个预识别结果；

过程三，将每一帧表情图像的AUs输入过程二训练好的7元1-vs-1SVM分类器组中，得到每一帧表情图像的预识别结果，每帧表情图像的预识别结果被存储在缓冲存储器BM-AUs中；

过程四，采用情感置信分布图对BM-AUs中连续30帧表情图像的预识别结果进行融合，情感置信分布图中最高置信度所对应的表情即为所述连续30帧表情图像的基于AUs得到的表情预识别结果；

步骤二，基于FPPs识别表情的步骤，具体包括以下过程：

过程一，训练基于FPPs的情感模型，将某x类FPPs的标签置为1，其它类别FPPs的标签均置为-1，然后运用这些标记过的FPPs训练SVM模型用于识别给定的FPPs是否属于x类，如果是属于x类，输出1，否则输出-1；

过程二，更换x类的类别，重复过程一，得到愤怒、厌恶、害怕、高兴、平静、悲伤以及惊讶对应7种不同表情的FPPs情感模型，用于组建7元1-vs-1SVM分类器组，对于给定实时FPPs可输出7个预识别结果；

过程三，将每一帧表情图像的FPPs输入过程二训练好的7元1-vs-1SVM分类器组中，得到每一帧表情图像的预识别结果，每帧表情图像的预识别结果被存储在缓冲存储器BMFPPs中；

过程四，采用情感置信分布图对BM-FPPs中连续30帧表情图像的预识别结果进行融合，情感置信分布图中最高置信度所对应的表情即为该连续30帧表情图像的基于FPPs得到的表情预识别结果；

步骤四，比较基于AUs得到的表情预识别结果的置信度和基于FPPs得到的表情预识别结果的置信度，将拥有较高置信度的表情预识别结果作为当前连续30帧表情图像的最终识别结果。

所述实时表情特征识别通过对主存储空间内的数据进行识别后的到的最终识别结果再次存储到主存储空间中，实时表情特征识别通过子存储空间内的数据时，该最终识别结果存储在子存储空间，即对不同的子存储空间内的数据进行识别后的到的数据还存储在相应的子存储空间内。

一种即时视频中的表情识别装置，包括：

训练单元，用于构建并训练基于AUs识别表情和基于FPPs识别表情的情绪识别模型；

情绪识别单元，用于将待识别的人脸图像输入所述情绪识别模型，以输出所述人脸图像的情绪类别，所述情绪类别包括愤怒、厌恶、害怕、高兴、平静、悲伤以及惊讶中的一种；

第一获取单元，用于从子存储空间获取与所述情绪类别对应的表情识别结果；

第二获取单元，用于在第一获取单元为获取到匹配的数据时，从主存储空间获取与所述情绪类别对应的表情识别结果；

表情识别单元，用于输出第一获取单元或第二获取单元所获取的人脸图像的表情类别；

存储单元，存储单元用于数据的存储，包括主存储空间、子存储空间和待分配空间，待分配空间用于新建多个子存储空间。

虽然在上文中已经参考实施方式对本发明进行了描述，然而在不脱离本发明的范围的情况下，可以对其进行各种改进并且可以用等效物替换其中的部件。尤其是，只要不存在结构冲突，本发明所披露的实施方式中的各项特征均可通过任意方式相互结合起来使用，在本说明书中未对这些组合的情况进行穷举性的描述仅仅是出于省略篇幅和节约资源的考虑。因此，本发明并不局限于文中公开的特定实施方式，而是包括落入权利要求的范围内的所有技术方案。

Claims (4)

1.一种即时视频中的表情识别方法，包括实时表情特征的提取和实时表情特征提取方法的表情的识别，其特征在于，所述实时表情特征的提取包括下列步骤：

步骤一，制定基于Kinect的表情特征数据库规范，包括表情表现规范、录制规范及特征文件命名规范；

步骤二，收集表情特征数据：运用FaceTracking改编的录制软件从Kinect的实时视频流中追踪人脸并提取运动单元信息即AUs和特征点坐标信息即FPPs，每次记录的数据包括RGB图、AUs和FPPs，具体过程如下：

过程一，预先通过表情表现者，分别记录愤怒、厌恶、害怕、高兴、平静、悲伤以及惊讶7种表情,和5种面部姿态即当前面部与正面人脸的夹角分别为0°,±15°,±30°时的姿态，识别面部特征，更换表情表现者，重复上述的操作，去除重复数据，得到多名表情表现者实验所获得的多组实验数据，数据的形式包括RGB图、AUs和FPPs，这些数据储存到主存储空间。

过程二，记录表情表现者的面部特征，重复记录20遍，并为记录到的面部特征匹配出一个特定的身份信息，每个特定的身份信息均匹配有对应的子存储空间,当识别到新的表情表现者时，在为其匹配一个新的特定的身份信息，同时为该身份形象新建一个新的子存储空间；

过程三，表情表现者将子存储空间内储存的RGB图进行个人评价，当录制的RGB图符合表情表现者的表达意愿，则将RGB图、AUs和FPPs记录下来，否则将RGB图删除；

步骤三，表情有效性评测，即有区别于表情表现者至少10名测评者对过程四中得到的数据组中的RGB图进行主观测评实验，如测评者肯定RGB图表现的有效性，则认为提取的AUs和FPPs是有效的；选取与表情最为相关的特征点，得到45个关于眼睛、眉毛和嘴部的3D特征点，每个特征点坐标表示为(X,Y,Z)，从每帧图像中提取的FPPs表示为一个135维向量。

2.根据权利要求1所述的一种即时视频中的表情识别方法，其特征在于，所述实时表情特征识别包括以下步骤：

步骤一，基于AUs识别表情的步骤，具体包括以下过程：

过程一，训练基于AUs的情感模型，将某x类AUs的标签置为1，其它类别AUs的标签均置为-1，然后运用这些标记过的AUs训练SVM模型用于识别给定的AUs是否属于x类，如果是属于x类，输出1，否则输出-1；

过程二，更换x类的类别，重复过程一，得到愤怒、厌恶、害怕、高兴、平静、悲伤以及惊讶对应7种不同表情的AUs情感模型，用于组建7元1-vs-1SVM分类器组，给定实时AUs，输出7个预识别结果；

过程三，将每一帧表情图像的AUs输入过程二训练好的7元1-vs-1SVM分类器组中，得到每一帧表情图像的预识别结果，每帧表情图像的预识别结果被存储在缓冲存储器BM-AUs中；

过程四，采用情感置信分布图对BM-AUs中连续30帧表情图像的预识别结果进行融合，情感置信分布图中最高置信度所对应的表情即为所述连续30帧表情图像的基于AUs得到的表情预识别结果；

步骤二，基于FPPs识别表情的步骤，具体包括以下过程：

过程一，训练基于FPPs的情感模型，将某x类FPPs的标签置为1，其它类别FPPs的标签均置为-1，然后运用这些标记过的FPPs训练SVM模型用于识别给定的FPPs是否属于x类，如果是属于x类，输出1，否则输出-1；

过程二，更换x类的类别，重复过程一，得到愤怒、厌恶、害怕、高兴、平静、悲伤以及惊讶对应7种不同表情的FPPs情感模型，用于组建7元1-vs-1SVM分类器组，对于给定实时FPPs可输出7个预识别结果；

过程三，将每一帧表情图像的FPPs输入过程二训练好的7元1-vs-1SVM分类器组中，得到每一帧表情图像的预识别结果，每帧表情图像的预识别结果被存储在缓冲存储器BMFPPs中；

过程四，采用情感置信分布图对BM-FPPs中连续30帧表情图像的预识别结果进行融合，情感置信分布图中最高置信度所对应的表情即为该连续30帧表情图像的基于FPPs得到的表情预识别结果；

步骤四，比较基于AUs得到的表情预识别结果的置信度和基于FPPs得到的表情预识别结果的置信度，将拥有较高置信度的表情预识别结果作为当前连续30帧表情图像的最终识别结果。

3.根据权利要求1所述的一种即时视频中的表情识别方法，其特征在于，所述实时表情特征识别通过对主存储空间内的数据进行识别后的到的最终识别结果再次存储到主存储空间中，实时表情特征识别通过子存储空间内的数据时，该最终识别结果存储在子存储空间，即对不同的子存储空间内的数据进行识别后的到的数据还存储在相应的子存储空间内。

4.一种即时视频中的表情识别装置，其特征在于，包括：

训练单元，用于构建并训练基于AUs识别表情和基于FPPs识别表情的情绪识别模型；

情绪识别单元，用于将待识别的人脸图像输入所述情绪识别模型，以输出所述人脸图像的情绪类别，所述情绪类别包括愤怒、厌恶、害怕、高兴、平静、悲伤以及惊讶中的一种；

第一获取单元，用于从子存储空间获取与所述情绪类别对应的表情识别结果；

第二获取单元，用于在第一获取单元为获取到匹配的数据时，从主存储空间获取与所述情绪类别对应的表情识别结果；

表情识别单元，用于输出第一获取单元或第二获取单元所获取的人脸图像的表情类别；

存储单元，存储单元用于数据的存储，包括主存储空间、子存储空间和待分配空间，待分配空间用于新建多个子存储空间。