CN108478224A - 基于虚拟现实与脑电的紧张情绪检测***及检测方法 - Google Patents

Abstract

本发明公开了一种基于虚拟现实与脑电的紧张情绪检测***，主要解决现有技术检测过程漫长，检测成本高且检测准确率低，难以有效检测出用户紧张情绪的问题。其包括诱发模块(1)、信号同步模块(2)、信息综合模块(3)和信息处理模块(4)：诱发模块驱动虚拟现实设备放映刺激材料，通过信号同步模块生成时间同步信号并产生用户反馈；信息综合模块采集脑电信号，接收同步信号并收集用户反馈，交付信息处理模块进行处理，给出情绪检测结果。本发明使用虚拟现实技术放映刺激材料，将客观分析与主观评价相结合，增强了***的可用性、可靠性和稳定性，加快了检测速度，降低了检测成本，提高了***的检测准确率，可用于对特定用户的教育和心理疏导。

Description

基于虚拟现实与脑电的紧张情绪检测***及检测方法

技术领域

本发明属于情绪状态识别技术领域，特别是涉及一种对各类人群的紧张情绪检测***及检测方法，可用于对特定用户的教育和心理疏导。

背景技术

1.虚拟现实技术

虚拟现实VR是指综合利用计算机***和各类显示、控制设备生成可交互的立体环境、提供沉浸式体验的技术。这一术语在1985年由Jarn Lanier最先提出。虚拟现实技术可以高度逼真地模拟真实世界，使用户在模拟三维环境中通过感官、肢体或辅助装置与之交互，从而具有“身临其境”的感觉。其基本特征为沉浸感、交互性和构想性。

近几年来，虚拟现实因其在娱乐、游戏、教育、医疗、艺术创作、工程设计等各个领域的巨大潜力而备受重视。多家电子设备厂商推出了消费级的设备套装，基于虚拟现实的应用软件、游戏和全景视频随之大量出现。

2.脑电信号采集和处理技术

脑电信号由大脑神经元群的生物电活动产生，属于自发性电位活动。研究表明，脑电信号中含有能够反映人类情绪的成分。脑电信号处理技术可应用于脑-机接口的研发、脑部疾病的诊断和人类认知活动研究等方面。

非侵入式脑电使用电极通过导电膏与头皮相连以采集脑电信号，这类信号非常微弱，易受噪声干扰，通常需要进行滤波和特征提取来获得有用信息。

通常将脑电信号按频段分为δ、θ、α、β、γ这几种不同的节律，不同节律内含有能够反映人生理心理状态的信息，其中：

δ节律主要位于1～4Hz频段，主要反映人的深度睡眠状态或特殊脑部病患；

θ节律主要位于4～8Hz频段，主要反映人在睡眠初期、冥想或困倦、压抑的状态；

α节律主要位于8～12Hz频段，除反映人处于清醒、安静和闭眼的状态，还包含了与躯体运动相关的μ波；

β节律主要位于12～30Hz频段，既能反映人处于精神紧张、情绪激动或思维活跃、注意力集中时的状态，也含有一部分反映躯体运动相关的信息；

γ节律主要位于30～60Hz频段，其包含较高层次的思维活动，如情绪变化、抽象思考等状态。

3.情绪检测

情绪检测是心理学和神经工程学等交叉领域的研究热点，具有广阔的应用前景。如在生产活动中，工作在航空航天企业、国家***门或矿场、建筑重大生产任务或高危工作环境下的人群，其精神频繁处于高度紧张状态，对其定期进行情绪检测能够及时发现情绪异常的个体，从而提前介入，避免其精神状态继续恶化，降低生产风险、减少安全隐患。在教育领域，情绪检测能够提供有价值的信息，如评定学生、教师的心理状况，对处于不健康状态的个体及时进行干预；检测学生在学习过程中的情绪状态，与教师的教学活动对照，从而优化教学环境、改善教学质量。

目前情绪检测的方法主要分为基于非生理信号和基于生理信号的检测，其中基于非生理信号的检测包括对表情、语音或姿态的检测；基于生理信号的检测包括对心电、脑电、肌电、呼吸信号的检测。由于脑电信号直接与意识相关，难以隐蔽、抑制和掩饰，基于脑电的情绪检测备受关注。

紧张情绪在现实生活普遍存在。心理学和教育学认为，适当的紧张情绪可以集中注意力，提高工作效率，而过度紧张可能引发人体生理心理的不良反应，甚至有可能造成比较严重的后果。因此有效检测紧张情绪的技术非常重要，具有较大的应用潜力。但在情感计算领域，紧张并不属于人的基本情绪，而是在自身特异性的基础上复合了多种情绪状态，因此紧张情绪检测***的设计和针对性检测颇具难度。

目前已有的紧张情绪检测***，往往需要综合心电、肌电、血压、脑电、姿态等多种生理、非生理信号才能进行检测，其准备和实施过程异常繁琐，物质和时间成本较高；另外，目前该类***的刺激手段多为在平面显示器上播放图像或视频，用户代入感差，难以诱发高质量的情绪状态。这两方面因素的存在，导致该类***的检测过程漫长、检测成本高，且检测准确率低，不能有效检测出用户的紧张情绪。

发明内容

本发明的目的在于针对上述现有技术的不足，提供一种基于虚拟现实与脑电的紧张情绪检测***及检测方法，以加快检测速度，降低检测成本，提高检测准确率，有效检测出用户的紧张情绪。

为实现上述目的，本发明采用如下方案：

1.一种基于虚拟现实与脑电的紧张情绪检测***，基于虚拟现实与脑电的紧张情绪检测***，包括诱发模块、信号同步模块、信息综合模块和信息处理模块，其特征在于：

诱发模块，包括虚拟现实放映子模块和放映反馈子模块；

信息综合模块，包括脑电采集子模块和反馈收集子模块；

所述虚拟现实放映子模块，用于放映视听材料同时生成时间标记，该标记通过信号同步模块生成时间同步信号发送到脑电采集子模块对时间同步信号与实时采集的脑电信号进行综合后，传输给信息处理模块进行处理；

所述放映反馈子模块，用于在视听材料放映结束后显示反馈表格，待用户填写后将反馈结果发送到反馈收集子模块对反馈信息进行收集，并将收集的反馈信息传输给信息处理模块进行处理；

所述反馈收集子模块，用于收集放映反馈子模块产生的反馈数据，并将收集到的反馈信息传输给信息处理模块进行处理。

2.基于虚拟现实与脑电的紧张情绪检测方法，其特征在于，包括：

1)离线训练：

1a)使用虚拟现实设备放映视频，诱发用户的紧张或放松情绪；

1b)采集放映过程中用户脑电信号、接收时间同步信号并收集用户反馈，整合为用户综合数据；

1c)对该综合数据进行依次进行预处理、特征提取和特征分类，得到分类器；

2)在线检测：

2a)设置投票比例，用于在2e)校正判定结果；

2b)使用虚拟现实设备放映与1a)不同的视频，再次诱发用户的紧张或放松情绪；

2c)采集该放映过程中用户脑电信号、接收时间同步信号，进行预处理和特征提取，并使用1c)中得到的分类器对特征提取后的数据进行分类；

2d)实时显示该分类结果并做记录；

2e)对2d)中记录的分类结果按2a)中设定的比例进行投票：若分类结果中“紧张”的票数超过这一比例，则将用户情绪判定为“紧张”，否则判定为“放松”。

本发明与现有技术相比具有以下优点：

第一、本发明使用虚拟现实***诱发受试者情绪，利用虚拟现实“身临其境”的特性提高了刺激水平，增强了***的可用性；

第二、本发明将客观分析与主观评价相结合，把受试者的主观感受与脑电信号处理的过程关联，优化了分离有效数据的方法，改善了传统思路下带有情绪信息的脑电信号难以准确截获的缺陷；

第三、本发明在信息处理模块中提供了多套可选方案，可适用于不同的受试者和各类实验环境，增强了***的鲁棒性，有效提升了紧张情绪检测准确率。

附图说明

图1为本发明基于虚拟现实与脑电的紧张情绪检测***框图。

图2为本发明基于虚拟现实与脑电的紧张情绪检测方法流程图。

具体实施方式

参照图1，本发明基于虚拟现实与脑电的紧张情绪检测***，包括诱发模块1、信号同步模块2、信息综合模块3和信息处理模块4，其中：

诱发模块1包括虚拟现实放映子模块11和放映反馈子模块12；

信息综合模块3包括脑电采集子模块31和反馈收集子模块32；

信息处理模块4包括预处理子模块41，特征提取子模块42和特征分类子模块43。

所述虚拟现实放映子模块11驱动虚拟现实设备放映“放松”“紧张”两种类型的视频，以诱发用户产生相应的脑电信号，放映同时生成时间标记发送到信号同步模块2；

所述放映反馈子模块12在放映结束后显示反馈页面，并将反馈结果发送给反馈收集子模块32；

所述信号同步模块2将时间标记转化为同步信号，发送到脑电采集子模块31；

所述脑电采集子模块31采集脑电信号并将其与时间同步信号合并，发送到预处理子模块41；

所述反馈收集子模块32收集反馈结果，并将其发送给预处理子模块41；

所述预处理子模块41接收合并信号和反馈结果，利用合并信号中的时间同步信号和用户反馈，从脑电信号中提取出与情绪相关度较高的信号数据发送给提取子模块42；

所述特征提取子模块42将信号数据转化为更高效的特征数据，并将特征数据发送到特征分类子模块43对特征数据进行分类，并在离线训练阶段计算出能够区分两类情绪特征的分类器，在线检测阶段使用此分类器对实时接收的特征数据进行分类。

该***分为离线训练和在线检测两种工作模式，离线训练建立针对用户个体的分类器，在线检测使用此分类器对用户的脑电信号进行实时检测，并结合用户反馈实现结果校正。其详细描述见以下“基于虚拟现实与脑电的紧张情绪检测方法”。

参照图2，本发明基于虚拟现实与脑电的紧张情绪检测方法，包括离线训练和在线检测，其中：

步骤1，离线训练。

1.1)使用虚拟现实设备放映视频，其中，“紧张”视频选用惊悚、恐怖、灾难或动作片片段，“放松”视频选用自然风景、轻松娱乐等视频片段，以诱发用户的紧张或放松情绪；

1.2)使用非侵入式脑电采集设备采集脑电信号，同时接收时间同步信号，并收集用户反馈信息：

1.2a)显示用户反馈页面，页面内容包括放松-紧张评定量表和对表格含义的解释文字：该放松-紧张评定量表如表1所示，使用1～9这九个数值表示用户的放松或紧张程度，其中“1”表示极端放松，“5”表示放松、紧张的正中间状态，“9”表示极端紧张，数值由1到5依次增加，表示放松情绪依次减弱；数值由5到9依次增加，表示紧张情绪依次增强；

1.2b)用户根据观看视频时的真实感受，在该放松-紧张评定量表中相应分数下勾选；

1.2c)记录该分数作为用户反馈信息；

表1放松-紧张情绪评估量表

1.3)对1.2)得到的脑电信号、时间同步信号和用户反馈信息进行如下预处理、特征提取和特征分类：

1.3a)设定时间窗长度；

1.3b)对脑电信号做高通滤波，去掉信号中的低频无关成分，并根据同步信号和用户反馈提取与情绪相关的脑电信号；

1.3c)将滤波后的信号按设置的时间窗长度进行分割，得到切片信号，完成预处理；

1.3d)设置降维参数；

1.3e)对切片信号应用汉宁窗以增强其频域特性，并作快速傅里叶变换，将信号由时域变换到频域，得到信号的频谱；

1.3f)在变换得到的信号频谱上，计算2～4Hz、4～8Hz、8～16Hz、16～32Hz和32～64Hz五个频段上的能量分布特征，得到能量分布特征向量，这五个频段近似覆盖了脑电信号中δ、θ、α、β、γ这五种主要节律，含有与情绪相关的信息。其中δ节律主要位于1～4Hz，θ节律主要位于4～8Hz，α节律主要位于8～12Hz，β节律主要位于12～30Hz，γ节律主要位于30～60Hz。能量分布特征的具体计算方法是对这五个频段的傅里叶频谱系数求和，即BP_n＝∑a_fft(x)，其中BP_n为能量分布特征，a_fft为傅里叶频谱系数，x为时域信号；

1.3g)为增强分类器的稳定性，需要降低能量分布特征向量的维数，方法包括筛选出一部分与情绪信号相关度较高的电极，令电极位置对称的信号的能量特征相减。根据设置的降维参数，可实现多种降维方法组合，从而得到对称能量特征，完成特征提取；

1.3h)使用支持向量机训练分类模型获得分类器，完成特征分类。

步骤2，在线检测。

2.1)设置投票比例；

2.2)使用虚拟现实设备放映与1.1)不同的视频，再次诱发用户的紧张或放松情绪；

2.3)采集该放映过程中用户脑电信号、接收时间同步信号，依次进行预处理和特征提取，得到特征数据，使用1.3)中得到的分类器对特征数据进行特征分类；

2.4)实时显示该分类结果并做记录；

2.5)对2.4)中记录的分类结果按2.1)中设定的比例进行投票：若分类结果中“紧张”的票数超过这一比例，则将用户情绪判定为“紧张”，否则判定为“放松”。该判定是对用户在观看视频期间整体情绪状态的判定。

以上描述仅是本发明的一个具体事例，并未构成对本发明的任何限制，显然对于本领域的专业人员来说，在了解了本发明的内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修改和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims (7)

1.基于虚拟现实与脑电的紧张情绪检测***，包括诱发模块(1)、信号同步模块(2)、信息综合模块(3)和信息处理模块(4)，其特征在于：

诱发模块(1)，包括虚拟现实放映子模块(11)和放映反馈子模块(12)；

信息综合模块(3)，包括脑电采集子模块(31)和反馈收集子模块(32)；

所述虚拟现实放映子模块(11)，用于放映视听材料同时生成时间标记，该标记通过信号同步模块(2)生成时间同步信号发送到脑电采集子模块(31)对时间同步信号与实时采集的脑电信号进行综合后，传输给信息处理模块(4)进行处理；

所述放映反馈子模块(12)，用于在视听材料放映结束后显示反馈表格，待用户填写后将反馈结果发送到反馈收集子模块(32)对反馈信息进行收集，并将收集的反馈信息传输给信息处理模块(4)进行处理；

所述反馈收集子模块(32)，用于收集放映反馈子模块(12)产生的反馈数据，并将收集到的反馈信息传输给信息处理模块(4)进行处理。

2.根据权利要求1所述的***，其特征在于，所述信息处理模块(4)包括：

预处理子模块(41)，用于对脑电采集子模块(31)和反馈收集子模块(32)发送的信息进行预处理，预处理后的数据传递给特征提取子模块(42)进行特征提取；

特征提取子模块(42)，用于对预处理后的数据进行特征提取，提取特征后的数据传递给特征分类子模块(43)进行特征分类；

特征分类子模块(43)，用于对特征提取后的数据进行分类，计算得到分类模型并显示分类结果。

3.基于虚拟现实与脑电的紧张情绪检测方法，其特征在于，包括：

1)离线训练：

1a)使用虚拟现实设备放映视频，诱发用户的紧张或放松情绪；

1b)采集放映过程中用户脑电信号、接收时间同步信号并收集用户反馈，整合为用户综合数据；

1c)对该综合数据进行依次进行预处理、特征提取和特征分类，得到分类器；

2)在线检测：

2a)设置投票比例，用于在2e)校正判定结果；

2b)使用虚拟现实设备放映与1a)不同的视频，再次诱发用户的紧张或放松情绪；

2c)采集该放映过程中用户脑电信号、接收时间同步信号，进行预处理和特征提取，并使用1c)中得到的分类器对特征提取后的数据进行分类；

2d)实时显示该分类结果并做记录；

2e)对2d)中记录的分类结果按2a)中设定的比例进行投票：若分类结果中“紧张”的票数超过这一比例，则将用户情绪判定为“紧张”，否则判定为“放松”。

4.根据权利要求3所述的方法，其特征在于，步骤1b)中收集用户反馈，按如下步骤进行：

1b1)显示用户反馈页面，页面内容包括放松-紧张评定量表和对表格含义的解释文字：该放松-紧张评定量表使用1～9这九个数值表示用户的放松或紧张程度，其中“1”表示极端放松状态，“5”表示放松、紧张的正中间状态，“9”表示极端紧张状态，数值由1到5逐渐增加，表示放松情绪在逐渐减弱；数值由5到9逐渐增加，表示紧张情绪逐渐增强；

1b2)用户根据观看视频时的真实感受，在该放松-紧张评定量表中勾选对应的分数；

1b3)记录勾选的分数作为用户反馈数据，该用户反馈数据与用户脑电信号、时间同步信号整合为1b)中的用户综合信息。

5.根据权利要求3所述的方法，其特征在于，步骤1c)中预处理，是先设置时间窗长度；再从用户综合数据中，根据同步信号和用户反馈提取脑电信号数据，并对提取到的信号做高通滤波，去掉信号中的低频无关成分；然后将滤波后的信号按设置的时间窗长度进行分割。

6.根据权利要求3所述的方法，其特征在于，步骤1c)中特征提取包括：

首先，设置降维参数；

接着，在分割后的信号上使用汉宁窗，并做快速傅里叶变换；

接着，在变换得到的信号频谱上，根据预设的频带参数分别对2～4Hz、4～8Hz、8～16Hz、16～32Hz和32～64Hz五个频段上的信号的能量求和，得到能量分布特征向量；

然后，根据设置的降维参数，删除部分电极上的能量分布特征，或将电极位置对称的信号的能量特征相减，从而降低特征向量维数，增强分类器稳定性。

7.根据权利要求3所述的方法，其特征在于，步骤1c)中的特征分类，是对降维后的特征使用支持向量机训练分类模型，以获得分类器。