CN109730701B - 一种情绪数据的获取方法及装置 - Google Patents

Abstract

本发明公开了一种情绪数据的获取方法及装置，方法包括：基于视频刺激材料诱发微表情并同步获取被测试体的生理数据及记录面部表情的面部视频，其中，面部视频包括：面部RGB视频和深度视频，生理数据至少包括：脑电数据、外周生理电数据、眼动数据；通过面部视频和刺激材料视频的回放过程，接收被测试体标注面部视频中微表情序列的峰值帧、起始帧与结束帧，获取起始帧与结束帧之间的面部视频数据；获取面部视频数据对应时间范围内的生理数据，根据生理数据和面部视频数据确定情绪数据。本发明构建了完整的情绪数据，该情绪数据能够用于人类微表情的研究，探索微表情与生理数据间的潜在关联性，并为后续科学研究工作提供了宝贵的数据资源。

Description

一种情绪数据的获取方法及装置

技术领域

本发明涉及数据获取领域，特别是涉及一种情绪数据的获取方法及装置。

背景技术

在智能人机交互的研究中，拥有对情感的识别、分析、理解、表达的能力是必不可少的智能之一。人类情绪的外在表现除了表情、声音外，情绪的产生还将在脑活动中体现，并引起心电、呼吸等生理上的可探测到的变化，因此，在对不同模态的视觉行为进行分析的基础上，将多种模态有效地融合，将能够获得更加丰富的情感信息，为更高级的机器智能的实现创造条件。

目前，深度学习在人工智能领域的应用发展迅速，深度学习的方法往往需要数据的支持。然而，因为情感较为稀少并且持续的时间非常短暂，而且人工标记这些情感样本是一件非常耗时又容易出错的工作。正因为这些困难，现有的大部分对人类情感识别的研究都是基于“人造的”情感样本，即由被试者在摄像机前表演出一系列情感状态。但是，越来越多的证据指出故意“表演”的行为是不同于在自然状态下产生的自发行为。由于微表情的诱发，采集和标定都十分的费时费力，造成微表情的样本量非常小，到目前为止，公开发表的微表情样本很小，是典型的小样本问题。

现有的微表情数据集均没有与之对应的生理数据，无法用于探索微表情与生理数据间的潜在关联性。

发明内容

本发明提供一种情绪数据的获取方法及装置，用以解决现有技术的如下问题：现有的微表情数据集均没有与之对应的生理数据，无法用于探索微表情与生理数据间的潜在关联性。

为解决上述技术问题，一方面，本发明提供一种情绪数据的获取方法，包括：基于视频刺激材料诱发微表情并同步获取被测试体的生理数据及记录面部表情的面部视频，其中，所述面部视频包括：面部RGB视频和深度视频，所述生理数据至少包括：脑电数据、外周生理电数据、眼动数据；通过所述面部视频和所述视频刺激材料的回放过程，接收所述被测试体标注所述面部视频中微表情序列的峰值帧、起始帧与结束帧，并获取起始帧与结束帧之间的面部视频数据；获取所述面部视频数据对应时间范围内的生理数据，根据所述生理数据和所述面部视频数据确定情绪数据。

可选的，根据所述生理数据和所述面部视频数据确定情绪数据之后，还包括：对所述情绪数据进行预定处理，以得到情绪识别算法的基准数据。

可选的，对所述情绪数据进行预定处理，以得到情绪识别算法的基准数据，包括：对所述脑电数据运用独立成分分析方式去除干扰伪迹，以得到基准脑电数据；分别提取所述生理电数据、所述眼动数据的统计学特征，以得到基准生理电数据和基准眼动数据；采用预训练的神经网络模型对所述面部视频数据进行特征提取，并采用预定机器学习分类器所述面部视频数据进行分类，以得到基准面部视频数据；根据所述基准脑电数据、所述基准生理电数据、所述基准眼动数据、所述基准面部视频数据生成所述情绪识别算法的基准数据。

可选的，基于视频刺激材料诱发微表情并同步获取被测试体的生理数据及记录面部表情的面部视频之前，还包括：在未播放视频刺激材料之前，获取被测试体的生理数据及记录面部表情的面部视频。

可选的，获取起始帧与结束帧之间的面部视频数据之前，还包括：对所述面部视频中的人脸进行面部运动单元标注。

另一方面，本发明还提供一种情绪数据的获取装置，包括：获取模块，用于基于视频刺激材料诱发微表情并同步获取被测试体的生理数据及记录面部表情的面部视频，其中，所述面部视频包括：面部RGB视频和深度视频，所述生理数据至少包括：脑电数据、外周生理电数据、眼动数据；标注模块，用于在回放所述面部视频和所述视频刺激材料的过程中，接收所述被测试体标注所述面部视频中微表情序列的峰值帧、起始帧与结束帧，并获取起始帧与结束帧之间的面部视频数据；确定模块，用于获取所述面部视频数据对应时间范围内的生理数据，根据所述生理数据和所述面部视频数据确定情绪数据。

可选的，还包括：处理模块，用于对所述情绪数据进行预定处理，以得到情绪识别算法的基准数据。

可选的，所述处理模块，具体用于：对所述脑电数据运用独立成分分析方式去除干扰伪迹，以得到基准脑电数据；分别提取所述生理电数据、所述眼动数据的统计学特征，以得到基准生理电数据和基准眼动数据；采用预训练的神经网络模型对所述面部视频数据进行特征提取，并采用预定机器学习分类器所述面部视频数据进行分类，以得到基准面部视频数据；根据所述基准脑电数据、所述基准生理电数据、所述基准眼动数据、所述基准面部视频数据生成所述情绪识别算法的基准数据。

可选的，所述获取模块，还用于在未播放视频刺激材料之前，获取被测试体的生理数据及记录面部表情的面部视频。

可选的，所述标注模块，还用于对所述面部视频中的人脸进行面部运动单元标注。

本发明实施例基于视频刺激材料获取被测试体的生理数据及记录面部表情的面部视频，并让被测试体在回放过程中参与情绪变化的数据标注，并在获取到标注后的面部视频数据时，相对应的获取生理数据，进而建立生理数据与面部视频数据之间的关系，构建了完整的情绪数据，该情绪数据能够用于人类微表情的研究，探索微表情与生理数据间的潜在关联性，并为后续科学研究工作提供了宝贵的数据资源。

附图说明

图1是本发明一个实施例中情绪数据的获取方法的流程图；

图2是本发明一个实施例中多模态情绪数据同步采集过程示意图；

图3是本发明一个实施例中情绪诱发采集实验阶段流程图；

图4是本发明一个实施例中数据标注实验阶段流程图；

图5是本发明一个实施例中实验主机与各数据采集设备的连接示意图；

图6是本发明另一个实施例中情绪数据的获取装置的结构示意图。

具体实施方式

为了解决现有技术的如下问题：现有的微表情数据集均没有与之对应的生理数据，无法用于探索微表情与生理数据间的潜在关联性；本发明提供了一种情绪数据的获取方法及装置，以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不限定本发明。

本发明一实施例提供了一种情绪数据的获取方法，该方法的流程如图1所示，包括步骤S101至S103：

S101，基于视频刺激材料诱发微表情并同步获取被测试体的生理数据及记录面部表情的面部视频，其中，面部视频包括：面部RGB视频和深度视频，生理数据至少包括：脑电数据、外周生理电数据、眼动数据。

具体实现时，外周生理电数据可以是心电、皮肤电阻抗、呼吸、皮肤温度等数据，此处不进行限定。

在未播放视频刺激材料之前，还可以获取被测试体的生理数据及记录面部表情的面部视频，该过程获取到的数据和视频可以作为一个用户安静状态下的参考依据。

S102，通过面部视频和视频刺激材料的回放过程，接收被测试体标注面部视频中微表情序列的峰值帧、起始帧与结束帧，并获取起始帧与结束帧之间的面部视频数据。

现有通过刺激方式得到的图像/视频均是RGB或红外图像，并不包含面部视频数据(即深度数据)，面部表情是三维的，深度数据的引入将提高表情识别的准确率。

获取起始帧与结束帧之间的面部视频数据之前，还可以对面部视频中的人脸进行面部运动单元标注。在表情数据集中，标注微表情样本的动作单元(AU)，有助于更客观准确地标注表情。在微表情的情绪标注上，需综合考虑AU、视频材料的特点和被测试体的主观报告。

S103，获取面部视频数据对应时间范围内的生理数据，根据生理数据和面部视频数据确定情绪数据。

当获取到有情绪的面部视频数据后，就可以获取对应时间范围内的生理数据，即可以将生理数据和面部视频数据构建对应的关系，进而确定此种微表情对应的情绪数据。

本发明实施例基于视频刺激材料获取被测试体的生理数据及记录面部表情的面部视频，并让被测试体在回放过程中参与情绪变化的数据标注，并在获取到标注后的面部视频数据时，相对应的获取生理数据，进而建立生理数据与面部视频数据之间的关系，构建了完整的情绪数据，该情绪数据能够用于人类微表情的研究，探索微表情与生理数据间的潜在关联性，并为后续科学研究工作提供了宝贵的数据资源。

在根据生理数据和面部视频数据确定情绪数据之后，还可以对情绪数据进行预定处理，以得到情绪识别算法的基准数据。具体实现时，对脑电数据运用独立成分分析方式去除干扰伪迹，以得到基准脑电数据；分别提取生理电数据、眼动数据的统计学特征，以得到基准生理电数据和基准眼动数据；采用预训练的神经网络模型对面部视频数据进行特征提取，并采用预定机器学习分类器面部视频数据进行分类，以得到基准面部视频数据；根据基准脑电数据、基准生理电数据、基准眼动数据、基准面部视频数据生成情绪识别算法的基准数据。

下面，结合附图和具体实例对上述过程进行说明。

在本发明实施例的情绪数据的获取方法中，其设计了基于微表情诱发的实验范式及多源采集模块的同步过程。微表情数据在采集时要求被试在保持面无表情条件下观看不同强情绪刺激材料。所诱发自然的微表情，在一定程度上克服了前期一些微表情数据库中非自然的问题。并通过多种通讯方式同步采集脑电、生理电、眼动、深度数据等多模态信号。以解决微表情的数据库样本量少、深度数据及生理信号数据缺失的问题，为后续的微表情识别算法提供理论依据，并支撑多模态情绪感知与非接触生理信号测量的研究。

如图2所示，该多模态情绪数据同步采集过程包括如下三个部分：

一：情绪诱发实验程序部分(即图2中的情绪诱发实验程序模块)。

该部分包括两个阶段：情绪诱发实验阶段和数据标注实验阶段。

情绪诱发实验阶段，如图3所示：

(1)实验开始后，告知被试休息，此时无任何刺激材料，所采集数据作为基准数据；(2)显示实验指导语，告知被试保持在无表情情况下观看刺激材料，如有表情需尽快恢复；(3)正式实验开始，向所有采集外设发送同步信号，被试开始观看刺激材料，为了避免说话等原因对面部表情带来影响，通过视频诱发的方式对被试自发情绪进行诱发；(4)观看后对所看刺激材料进行效度(积极——消极)、唤醒度(兴奋——安静)评价；然后此过程重复，重复次数等于刺激视频数量；(5)所有刺激材料显示完毕后，实验结束。

然后实验进入第二阶段，数据标注实验阶段，如图4所示：

在实验指导语结束后，同步播放阶段一中的刺激视频和与之同步所记录的面部视频，被试自主标记先前过程中所产生的表情，分别标注峰值帧、起始帧与结束帧，刺激视频的播放，有助于被试准确回忆并标注表情。此后，再由专业人员进行面部运动单元标注。

二：生理信号与面部视频同步采集部分(即图2中的生理与表情同步采集模块)。

在多模态数据集构建过程中，多模态信号的同步至关重要，否则将无法进行关联分析，多模态信号的同步可大量节约后续数据预处理的工作量。本发明中的同步方法可同步的多模态信号包括：脑电数据、生理电数据、眼动数据和面部视频数据。

图5是实验主机与各数据采集设备的连接示意图。其中实验主机通过显卡接口(DVI、DP、HDMI)分别连接主试与被试两个显示屏；通过USB3.1(Type A、Type C)连接深度相机，并在实验程序中调用深度相机SDK(C++、Matlab、Python)实现与刺激视频播放同步的记录；通过交叉网线连接多导生理仪，并通过并口连接多导生理仪的同步模块，通过控制并口针高低电平，为多导生理仪数据打上标记，实现同步，其中实验主机可以自带并口，如主机没有并口，通过PCI(E)转并口转接器，并查询端口I/O地址，实现并口通讯功能；脑电设备与眼动仪均通过路由实现网络连接，并通过IP端口寻址，实现同步。

三：情绪识别数据集基准化部分(即图2中的情绪识别基准模块)。

为所采集得到的多模态数据集提供基准算法评估。针对所采集得到多模态数据分别进行预处理，对脑电数据运用独立成分分析去除眼动等伪迹，针对心电、皮肤电阻抗、呼吸、皮肤温度等分别提取其统计学特征，对于面部视频检测人脸(可以是开源工具，如Openface)，并利用采用预训练的神经网络模型(AlexNet、GoogleNet等)，进行特征提取，并采用经典机器学习分类器(可以是SVM、随机森林、朴素贝叶斯、多层感知机)进行分类评估，为后续情绪识别算法的评估提供基准。

本发明实施例设计了诱发自然状态下微表情的实验流程，同步采集了RGB图像、深度图像以及脑电、生理电、眼动多模态数据，并对表情、微表情进行了起始帧、峰值帧、结束帧以及面部运动单元的标注，解决了多模态采集及标注的同步问题，将可弥补现有数据集中深度数据及生理信号数据的缺失、扩充微表情样本量。

本发明实施例带来了以下有益效果：

在本发明实施例提供的情绪数据集同步采集流程中，实验诱发程序可较容易扩展，并根据数据集中特定类表情不足进行针对性补充实验，在标注阶段，刺激视频与面部视频同步播放，有助于被试的自我回忆，标注程序的提供将提高标注效率及标注结果可靠性。本发明多模态信息的同步融合了网络、USB、并口通讯等多种通讯方式实现多模态数据的高精度同步，提高了数据集的质量，为情感计算提供了更多模态的客观数据，将极大的促进情感识别的算法设计及验证应用等工作。

本发明另一实施例提供了一种情绪数据的获取装置，该装置的结构示意如图6所示，包括：

获取模块10，用于基于视频刺激材料诱发微表情并同步获取被测试体的生理数据及记录面部表情的面部视频，其中，面部视频包括：面部RGB视频和深度视频，生理数据至少包括：脑电数据、外周生理电数据、眼动数据；标注模块20，与获取模块10耦合，用于在回放面部视频和刺激材料视频的过程中，接收被测试体标注面部视频中微表情序列的峰值帧、起始帧与结束帧，并获取起始帧与结束帧之间的面部视频数据；确定模块30，与标注模块20耦合，用于获取面部视频数据对应时间范围内的生理数据，根据所述生理数据和所述面部视频数据确定情绪数据。

上述装置还可以包括处理模块，与确定模块耦合，用于对所述情绪数据进行预定处理，以得到情绪识别算法的基准数据。该处理模块，具体用于：对所述脑电数据运用独立成分分析方式去除干扰伪迹，以得到基准脑电数据；分别提取所述生理电数据、所述眼动数据的统计学特征，以得到基准生理电数据和基准眼动数据；采用预训练的神经网络模型对所述面部视频数据进行特征提取，并采用预定机器学习分类器所述面部视频数据进行分类，以得到基准面部视频数据；根据所述基准脑电数据、所述基准生理电数据、所述基准眼动数据、所述基准面部视频数据生成所述情绪识别算法的基准数据。

上述获取模块，还用于在未播放视频刺激材料之前，获取被测试体的生理数据及记录面部表情的面部视频。

上述标注模块，还用于对所述面部视频中的人脸进行面部运动单元标注。

本发明实施例基于视频刺激材料获取被测试体的生理数据及记录面部表情的面部视频，并让被测试体在回放过程中参与情绪变化的数据标注，并在获取到标注后的面部视频数据时，相对应的获取生理数据，进而建立生理数据与面部视频数据之间的关系，构建了完整的情绪数据，该情绪数据能够用于人类微表情的研究，探索微表情与生理数据间的潜在关联性，为科研工作提供了宝贵的数据资源。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (6)

1.一种情绪数据的获取方法，其特征在于，包括：

基于视频刺激材料诱发微表情并同步获取被测试体的生理数据及记录面部表情的面部视频，其中，所述面部视频包括：面部RGB视频和深度视频，所述生理数据至少包括：脑电数据、外周生理电数据、眼动数据；

通过所述面部视频和所述视频刺激材料的回放过程，接收所述被测试体标注所述面部视频中微表情序列的峰值帧、起始帧与结束帧，并获取起始帧与结束帧之间的面部视频数据；

获取所述面部视频数据对应时间范围内的生理数据，根据所述生理数据和所述面部视频数据确定情绪数据；

根据所述生理数据和所述面部视频数据确定情绪数据之后，还包括：对所述情绪数据进行预定处理，以得到情绪识别算法的基准数据，包括：对所述脑电数据运用独立成分分析方式去除干扰伪迹，以得到基准脑电数据；

分别提取所述生理电数据、所述眼动数据的统计学特征，以得到基准生理电数据和基准眼动数据；

采用预训练的神经网络模型对所述面部视频数据进行特征提取，并采用预定机器学习分类器所述面部视频数据进行分类，以得到基准面部视频数据；

根据所述基准脑电数据、所述基准生理电数据、所述基准眼动数据、所述基准面部视频数据生成所述情绪识别算法的基准数据。

2.如权利要求1所述的方法，其特征在于，基于视频刺激材料诱发微表情并同步获取被测试体的生理数据及记录面部表情的面部视频之前，还包括：在未播放视频刺激材料之前，获取被测试体的生理数据及记录面部表情的面部视频。

3.如权利要求1至2中任一项所述的方法，其特征在于，获取起始帧与结束帧之间的面部视频数据之前，还包括：对所述面部视频中的人脸进行面部运动单元标注。

4.一种情绪数据的获取装置，其特征在于，包括：

获取模块，用于基于视频刺激材料诱发微表情并同步获取被测试体的生理数据及记录面部表情的面部视频，其中，所述面部视频包括：面部RGB视频和深度视频，所述生理数据至少包括：脑电数据、外周生理电数据、眼动数据；

标注模块，用于在回放所述面部视频和所述视频刺激材料的过程中，接收所述被测试体标注所述面部视频中微表情序列的峰值帧、起始帧与结束帧，并获取起始帧与结束帧之间的面部视频数据；

确定模块，用于获取所述面部视频数据对应时间范围内的生理数据，根据所述生理数据和所述面部视频数据确定情绪数据；

处理模块，用于对所述情绪数据进行预定处理，以得到情绪识别算法的基准数据；

所述处理模块，具体用于：对所述脑电数据运用独立成分分析方式去除干扰伪迹，以得到基准脑电数据；

分别提取所述生理电数据、所述眼动数据的统计学特征，以得到基准生理电数据和基准眼动数据；

采用预训练的神经网络模型对所述面部视频数据进行特征提取，并采用预定机器学习分类器所述面部视频数据进行分类，以得到基准面部视频数据；

根据所述基准脑电数据、所述基准生理电数据、所述基准眼动数据、所述基准面部视频数据生成所述情绪识别算法的基准数据。

5.如权利要求4所述的装置，其特征在于，

所述获取模块，还用于在未播放视频刺激材料之前，获取被测试体的生理数据及记录面部表情的面部视频。

6.如权利要求4至5中任一项所述的装置，其特征在于，所述标注模块，还用于对所述面部视频中的人脸进行面部运动单元标注。

Images