CN114640699B - 基于vr角色扮演游戏交互的情绪诱发监测*** - Google Patents

基于vr角色扮演游戏交互的情绪诱发监测*** Download PDF

Info

Publication number
CN114640699B
CN114640699B CN202210146377.2A CN202210146377A CN114640699B CN 114640699 B CN114640699 B CN 114640699B CN 202210146377 A CN202210146377 A CN 202210146377A CN 114640699 B CN114640699 B CN 114640699B
Authority
CN
China
Prior art keywords
emotion
testee
module
induction
feedback
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210146377.2A
Other languages
English (en)
Other versions
CN114640699A (zh
Inventor
李远清
林璇琨
瞿军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202210146377.2A priority Critical patent/CN114640699B/zh
Publication of CN114640699A publication Critical patent/CN114640699A/zh
Application granted granted Critical
Publication of CN114640699B publication Critical patent/CN114640699B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Educational Technology (AREA)
  • Pathology (AREA)
  • Developmental Disabilities (AREA)
  • Signal Processing (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了一种基于VR角色扮演游戏交互的情绪诱发监测***，通过VR呈现场景，结合角色扮演游戏的剧情任务和奖惩机制，给被试者提供更好的沉浸感，激励被试者更主动地接受场景的情绪诱导刺激，主动地产生相应的情绪；同时通过角色对话交互，将可选对话作为被试者的情绪自评反馈，不仅能实时记录被试者情绪的主观感受，也能把控情绪诱发的时间点，对情绪信号进行时间上的标记，有利于对被试者情绪诱发进行实时监测；还提供了基于VR的视觉反馈，让反馈的效果更明显，激励被试更主动进行情绪调控。

Description

基于VR角色扮演游戏交互的情绪诱发监测***
技术领域
本发明涉及脑机接口技术与情绪诱发、VR角色扮演游戏的技术领域，尤其是指一种基于VR角色扮演游戏交互的情绪诱发监测***。
背景技术
情绪是由对物体或情况的有意识或无意识感知触发的心理生理过程，是人类心理的重要组成部分，会对人类的决策和行为产生重要的影响，准确识别和科学地调控情绪极为重要。对情绪感兴趣的研究人员努力在实验室引发情绪反应，情绪诱发技术作为一项直接探究情绪的心理机制的实验技术，对情绪研究有着重要意义。
生物电现象是生命活动的基本特征之一。人类在进行思维活动时大脑所产生的生物电信号就是脑电波。人们的一切看得见(走路、说话等)和看不见(细胞的生长、代谢等)的活动都离不开大脑的支配，都与大脑每时每刻的状态和功能密切相关。脑电信号与人的情绪变化有着对应关系，因此通过脑电信号可以判定人的情绪状态。相较于通过被试自我报告(情绪自评量表、心理访谈、问卷调查等形式)、语音、面部表情或人体姿态的方法进行情绪的监测，脑电信号不易伪装、反应灵敏，通过脑电信号所识别出来的结果更加客观真实。
从心理学上看，已知现有的情绪诱发方式包括材料诱发和情境诱发。材料诱发能够使用的有语句、图片、视频、音乐等，情境诱发包括想象、会议、虚拟现实和博弈任务(如游戏)等。通过图片诱发的情绪持续时间较短，而通过视频和音乐的诱发由于被试者对情绪诱发方式的易感性不同，其效果难以把握，存在较大的个体差异，不同人对同一刺激源的反应可能会截然相反，且在情绪监测上存在时间偏差。
虚拟现实(VR)技术通过相关设备模拟产生一个3D虚拟世界，为使用者提供视听或触觉等感官上的模拟体验，让使用者身临其境。使用者可以通过头盔、手柄控制器等相关装置来与虚拟现实环境进行交互。当下，VR技术在各领域(教育、游戏、医疗等)都有着非常广泛的应用，发展前景引人瞩目。
已知现有的基于脑机接口的所用的情绪诱发方式都为材料诱发，即使如申请号201811030702.9，名为“基于VR交互的心理放松***及方法”中所谓的VR交互也仅限于使用VR视频和音乐进行情绪诱发，其实质仍为材料诱发，并未真正实现“交互”，被试仍然是被动地接受情绪材料的刺激，其效果和被试者通过想象、回忆或虚拟现实等主动地依据情境变化的诱发效果相比还是有较大差距。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提出了一种让被试者更主动的、更有效的基于VR角色扮演游戏交互的情绪诱发监测***，该***提供更有沉浸感的场景和剧情，不仅能够更好地引导被试者主动产生相应的情绪，有更强的沉浸感和更好的情绪诱发效果，而且一定程度上能把控情绪诱发的时间点，实时记录被试者的自我情绪评价，有利于对被试者情绪诱发进行监测。
为实现上述目的，本发明所提供的技术方案为：基于VR角色扮演游戏交互的情绪诱发监测***，包括情绪诱发模块、信号采集模块、情绪识别模块和情绪反馈模块；
所述情绪诱发模块用于呈现虚拟现实的场景和模拟情境，通过VR角色扮演游戏来诱发被试者的情绪；
所述信号采集模块用于采集并记录用户的情绪信号，采集到的情绪信号被标定为训练数据和在线测试数据，其中，训练数据被保存于计算机中并能被情绪识别模块读取，在线测试数据被实时传输给情绪识别模块；
所述情绪识别模块用于对所述信号采集模块采集的情绪信号进行处理，包括读取保存的训练数据和实时接收在线测试数据，然后分别对训练数据和在线测试数据进行预处理、特征提取得到相应的特征向量，其中，所述训练数据得到的特征向量用来构建基于情绪的分类器模型和反馈准则，所述在线测试数据得到的特征向量则通过所述分类器模型和反馈准则获取处理结果，实现对被试者情绪的监测识别，并用于在线情绪反馈；
所述情绪反馈模块用于呈现所述情绪识别模块处理后的结果，即在线反馈被试者当前情绪状态给实验员和被试者，便于实验员观察被试者的情绪诱发效果，也能协助被试者了解并调节自身情绪状态。
进一步，所述情绪诱发模块包括用于呈现虚拟现实场景的VR设备，通过TCP与搭载情绪识别模块的计算机通信；所述情绪诱发模块还包括用于诱发被试者情绪的VR角色扮演游戏，所述VR角色扮演游戏包含对应不同情绪的游戏剧情，游戏设定有任务***和奖惩机制，用于激励被试者专注于游戏内容，主动接受***的情绪诱发；所述游戏通过旁白、角色对话、CG动画和人物动作交代剧情，结合游戏任务及奖惩，场景动画和音效提示被试者需要诱发的情绪，基于剧情和被试者情况持续时间不定；所述角色对话包括用于交代剧情的固定对话和用于被试者表达主观情绪的可选对话，每个剧情会有若干时间节点触发有关当前情绪的可选对话，以选择题的方式呈现，被试者使用手柄进行选择，所得选项作为被试者的情绪状态自我报告和对当前情绪诱发场景的满意程度的调查，这些时间节点会同步传给情绪识别模块，作为情绪识别的参考；每个模板呈现结束后，给予用户适当的时间休息；所述模板包括通过VR设备呈现的VR角色扮演游戏，包含剧情、场景、旁白、角色对话、动画、人物动作、音效、任务***和奖惩机制的一种或多种元素。
进一步，所述信号采集模块采集用户的脑电情绪信号，并通过USB数据连接线和并口线与安装有数据处理模块的计算机连接；所述信号采集模块采用脑电放大器和32通道的EEG电极帽来记录头皮脑电信号，并将脑电信号传输给情绪识别模块；其中，所有通道的脑电信号均以右耳突为参照，在脑电采集过程中，所有电极的阻抗值皆为5KΩ以下，且脑电信号以250Hz的频率采样，并在0.1至70Hz的范围内进行带通滤波；信号采集时，先让被试者以舒服的坐姿坐着，给被试者佩戴EEG电极帽，用平口针筒将电极膏注入电极帽嵌入式电极，电极膏注入完毕再给被试者佩戴VR设备，每名被试者需要进行两段脑电数据的采集，一段是训练数据采集，另一段是在线测试数据采集。
进一步，所述情绪识别模块在训练数据采集阶段结束后读取计算机中记录好的训练数据，经过滤波预处理、特征提取得到相应的特征向量；然后将特征向量通过基于线性核的支持向量机SVM构建情绪分类的分类器，将训练中的多种情绪状态下对应的情绪特征数据构成一个训练集，并将各种情绪状态下对应的特征向量送入上述分类器进行训练，得到基于情绪的分类器模型；然后再次调用上述训练集中各种情绪状态对应的特征向量分别送入训练好的分类器模型中，模型输出每种情绪状态的基准值base，基于基准值base构建情绪反馈准则，用于在线测试阶段对被试者情绪状态进行打分，便于实验员监测被试者情绪诱发效果，同时也帮助被试者有效地了解并调整自己的情绪，达到情绪诱发的有用效果。
进一步，所述情绪识别模块在在线测试数据采集阶段使用训练好的分类器模型进行情绪分类，并基于基准值base输出代表情绪强弱程度的结果，即分值score，并将这个结果传递给情绪反馈模块。
进一步，所述情绪反馈模块是通过视觉反馈的方式，属于游戏场景的一部分，反馈的内容呈现于VR场景的右侧，分别使用卡通形象和彩色光环显示被试者当前情绪类别和强烈程度，卡通形象有不同的神态动作对应不同的情绪类别，初始默认状态为静态；彩色光环环绕于卡通形象周围，初始大小与卡通形象等大，随情绪诱发程度升高而扩大；进行在线测试任务的过程中，每当有在线测试数据被接收并处理后，所述情绪识别模块会给出对应的情绪分类结果和分值score，并向情绪反馈模块传递相应的反馈准则和基准值base，由情绪反馈模块进行相应的情绪类别和情绪诱发程度的显示；被试者和实验员均能根据卡通形象和彩色光环的变化情况了解被试者当前的情绪状态，从而判断情绪诱发效果。
本发明与现有技术相比，具有如下优点与有益效果：
1、本发明提出了一种让被试者更主动的、更有效的情绪诱发监测***，通过VR呈现场景，结合角色扮演游戏的剧情任务和奖惩机制，给被试者提供更好的沉浸感，激励被试者更主动地接受场景的情绪诱导刺激，主动地产生相应的情绪。
2、本***通过角色对话交互，将可选对话作为被试者的情绪自评反馈，不仅能实时记录被试者情绪的主观感受，也能把控情绪诱发的时间点，对情绪信号进行时间上的标记，有利于对被试者情绪诱发进行实时监测。
3、本***提供了基于VR的视觉反馈，让反馈的效果更明显，激励被试更主动进行情绪调控。
附图说明
图1是情绪诱发监测***的结构图。
图2是情绪诱发监测***的实施流程图。
图3是在线情绪诱发监测单个次试的流程图。
图4是情绪反馈模块的呈现示意图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
参见图1所示，本实施例所提供的基于VR角色扮演游戏交互的情绪诱发监测***，包括情绪诱发模块、信号采集模块、情绪识别模块和情绪反馈模块；
所述情绪诱发模块用于呈现虚拟现实的场景和模拟情境，通过VR角色扮演游戏来诱发被试者的情绪；
所述信号采集模块用于采集并记录用户的情绪信号，采集到的情绪信号被标定为训练数据和在线测试数据，其中，训练数据被保存于计算机中并能被情绪识别模块读取，在线测试数据被实时传输给情绪识别模块；
所述情绪识别模块用于对所述信号采集模块采集的情绪信号进行处理，包括读取保存的训练数据和实时接收在线测试数据，然后分别对训练数据和在线测试数据进行预处理、特征提取得到相应的特征向量，其中，所述训练数据得到的特征向量用来构建基于情绪的分类器模型和反馈准则，所述在线测试数据得到的特征向量则通过所述分类器模型和反馈准则获取处理结果，实现对被试者情绪的监测识别，并用于在线情绪反馈；
所述情绪反馈模块，用于呈现所述情绪识别模块处理后的结果，即在线反馈被试者当前情绪状态给实验员和被试者，便于实验员观察被试者的情绪诱发效果，也可协助被试者了解并调节自身情绪状态。
进一步，所述情绪诱发模块包括用于呈现虚拟现实场景的VR设备，通过TCP与搭载情绪识别模块的计算机通信；所述情绪诱发模块还包括用于诱发被试者情绪的VR角色扮演游戏，所述VR角色扮演游戏包含对应不同情绪的游戏剧情，游戏设定有任务***和奖惩机制，用于激励被试者专注于游戏内容，主动接受***的情绪诱发；所述游戏通过旁白、角色对话、CG动画和人物动作交代剧情，结合游戏任务及奖惩，场景动画和音效提示被试者需要诱发的情绪，基于剧情和被试者情况持续时间不定；所述角色对话包括用于交代剧情的固定对话和用于被试者表达主观情绪的可选对话，每个剧情会有若干时间节点触发有关当前情绪的可选对话，以选择题的方式呈现，被试者使用手柄进行选择，所得选项作为被试者的情绪状态自我报告和对当前情绪诱发场景的满意程度的调查，这些时间节点会同步传给情绪识别模块，作为情绪识别的参考；每个模板呈现结束后，给予用户适当的时间休息；所述模板包括通过VR设备呈现的角色扮演游戏，包含剧情、场景、旁白、角色对话、动画、人物动作、音效、任务***和奖惩机制的一种或多种元素。
进一步，所述信号采集模块采集用户的脑电情绪信号，并通过USB数据连接线和并口线与安装有数据处理模块的计算机连接；所述信号采集模块采用脑电放大器和32通道的EEG电极帽来记录头皮脑电信号，并将脑电信号传输给情绪识别模块；其中，所有通道的脑电信号均以右耳突为参照，在脑电采集过程中，所有电极的阻抗值皆为5KΩ以下，且脑电信号以250Hz的频率采样，并在0.1至70Hz的范围内进行带通滤波；信号采集时，先让被试者以舒服的坐姿坐着，给被试者佩戴EEG电极帽，用平口针筒将电极膏注入电极帽嵌入式电极，电极膏注入完毕再给被试者佩戴VR设备，每名被试者需要进行两段脑电数据的采集，一段是训练数据采集，另一段是在线测试数据采集。
进一步，所述情绪识别模块在训练数据采集阶段结束后读取计算机中记录好的训练数据，经过滤波预处理、特征提取得到相应的特征向量；然后将特征向量通过基于线性核的支持向量机SVM构建情绪分类的分类器，将训练中的多种情绪状态下对应的情绪特征数据构成一个训练集，并将各种情绪状态下对应的特征向量送入上述分类器进行训练，得到基于情绪的分类器模型；然后再次调用上述训练集中各种情绪状态对应的特征向量分别送入训练好的分类器模型中，模型输出可得每种情绪状态的基准值base，基于基准值base构建情绪反馈准则，用于在线测试阶段对被试者情绪状态进行打分，便于实验员监测被试者情绪诱发效果，同时也帮助被试者有效地了解并调整自己的情绪，达到情绪诱发的有用效果。
进一步，所述情绪识别模块在在线测试数据采集阶段使用训练好的分类器模型进行情绪分类，并基于基准值base输出代表情绪强弱程度的结果，即分值score，并将这个结果传递给情绪反馈模块。
进一步，所述情绪反馈模块是通过视觉反馈的方式，属于游戏场景的一部分，反馈的内容呈现于VR场景的右侧，分别使用卡通形象和彩色光环显示被试者当前情绪类别和强烈程度，卡通形象有不同的神态动作对应不同的情绪类别，初始默认状态为静态；彩色光环环绕于卡通形象周围，初始大小与卡通形象等大，随情绪诱发程度升高而扩大；进行在线测试任务的过程中，每当有在线测试数据被接收并处理后，所述情绪识别模块会给出对应的情绪分类结果和分值score，并向情绪反馈模块传递相应的反馈准则和基准值base，由情绪反馈模块进行相应的情绪类别和情绪诱发程度的显示；被试者和实验员均能根据卡通形象和彩色光环的变化情况了解被试者当前的情绪状态，从而判断情绪诱发效果。
如图2所示，基于上述基于VR角色扮演游戏交互的情绪诱发监测***，情绪诱发实验的具体实施流程如下：
1)打开信号采集模块，开始采集脑电信号。具体为：先让被试者以舒服的方式坐在椅子上，给被试者佩戴EEG电极帽，用平口针筒将电极膏注入电极帽嵌入式电极，电极膏注入完毕，给被试者佩戴VR设备。使用国际10-20标准的32通道的脑电极帽和NeuroScan公司的脑电放大器进行脑电信号的采集，所有通道的脑电信号均以右耳突为参照，在脑电采集过程中，所有电极的阻抗值皆为5KΩ以下，且脑电信号以250Hz的频率采样。
2)在信号采集模块、情绪诱发模块、情绪识别模块以及情绪反馈模块之间建立通信关系，具体的连接方式如下：
2.1)打开计算机，运行用于接受数据的netreader.exe，以及发送标记数据的netstim.exe；
2.2)在计算机上运行情绪识别模块，在netreader.exe的界面设置TCP端口号，点击连接按钮后建立信号采集模块与情绪识别模块之间基于TCP协议的连接，情绪识别模块随后可以实时接收到信号采集模块发送来的脑电数据，并在窗口中显示接收到的脑电波形；
2.3)在netstim.exe的界面中设置UDP端口号，点击发送按钮后可以建立情绪反馈模块与信号采集模块之间基于UDP协议的连接；
2.4)打开VR设备中用于情绪诱发的游戏，在其中设置TCP端口号，与情绪识别模块建立基于TCP协议的连接，指导被试者使用VR手柄。
3)进行训练数据的采集：
3.1)设置情绪识别模块模式为“训练模式”，设置训练次试，一般为30，点击保存后再点击开始，情绪诱发模块开始运行；
3.2)每一个次试开始时，情绪诱发模块首先会出现剧情背景简介、主线任务和奖惩机制，并播放相应背景音乐给与情绪提示。被试者通过手柄点击确认按键后即开始剧情任务。被试者根据剧情保持相应的情绪，但被要求不能有面部表情和除操作手柄外的肢体动作，以免产生肌肉运动干扰脑电信号。每个次试剧情关键节点会触发有关当前情绪的角色对话，以选择题的方式呈现，被试者使用手柄进行选择，所得选项作为被试者的情绪状态自我报告和对当前情绪诱发场景的满意程度的调查，这些时间节点会同步在测试数据中做出时间标记，作为情绪识别时间上的参考。每个剧情片段结束后，被试者根据需要平静自己的情绪状态，同时浏览下一段的剧情游戏任务，随后点击确认按键开始下一个次试的训练。完成全部30个次试之后，关闭信号采集模块的记录；
3.3)情绪识别模块在训练数据采集阶段结束后读取计算机中记录好的训练数据，经过滤波预处理、特征提取得到相应的特征向量；然后将特征向量通过基于线性核的支持向量机SVM构建情绪分类的分类器，将训练中的多种情绪状态下对应的情绪特征数据构成一个训练集，并将各种情绪状态下对应的特征向量送入上述分类器进行训练，得到基于情绪的分类器模型；然后再次调用上述训练集中各种情绪状态对应的特征向量分别送入训练好的分类器模型中，模型输出可得每种情绪状态的基准值base，基于base值构建情绪反馈准则，用于在线测试阶段对被试者情绪状态进行打分，便于实验员监测被试者情绪诱发效果，同时也帮助被试者有效地了解并调整自己的情绪。
4)进行在线情绪诱发监测：
4.1)设置情绪识别模块模式为“在线模式”，设置训练次试，一般为30，点击保存后再点击开始，情绪诱发模块开始运行；
4.2)参见图3所示，每一个次试开始时，情绪诱发模块首先会出现剧情背景简介、主线任务和奖惩机制，并播放相应背景音乐给与情绪提示。被试者通过手柄点击确认按键后即开始剧情任务。被试者根据剧情保持相应的情绪，但被要求不能有面部表情和除操作手柄外的肢体动作，以免产生肌肉运动干扰脑电信号。每个次试剧情关键节点会触发有关当前情绪的角色对话，以选择题的方式呈现，被试者使用手柄进行选择，所得选项作为被试者的情绪状态自我报告和对当前情绪诱发场景的满意程度的调查，这些时间节点会同步传给情绪识别模块，作为情绪识别时间上的参考；
VR场景右下角呈现情绪反馈模块，每个次试进行中，情绪反馈模块会依据情绪识别模块的结果呈现相应情绪状态和程度。每个剧情片段结束后，被试者根据需要平静自己的情绪状态，此时情绪反馈模块呈现平静状态，并以深呼吸的频率缩放光圈，被试者可以配合进行深呼吸以此平复情绪，同时可以浏览下一段的剧情游戏任务，随后点击确认按键开始下一个次试的训练。在被试者点击开始之后，情绪识别模块会抓取当前情绪脑电信号，即在线测试数据，进行情绪识别；
4.3)情绪识别模块会根据在线测试数据和训练所得的情绪模型进行计算，并给出对应的情绪分类结果和分值score，然后向情绪反馈模块传递相应的反馈准则和基准值base，由情绪反馈模块进行相应的情绪类别和情绪诱发程度的显示，如图4所示，卡通人物将根据情绪分类结果显示对应情绪状态，如高兴状态是一个高兴的表情，卡通人物的周身光环大小由情绪强烈程度决定，对应情绪越强，光环范围越大，反之情绪越弱，光环范围越小；被试者和实验员均能根据卡通形象和光环的变化情况了解被试者当前的情绪状态，从而判断情绪诱发效果并作适当调整。
综上所述，对比其它情绪诱发方式，本发明***采用VR角色扮演游戏，通过游戏剧情诱发被试者情绪，配合动画、音效以及任务和奖惩机制提高沉浸感和体验感，通过交互引导被试者主动参与到情境中从而产生对应情绪，提升情绪诱发效果，并使用脑电生理信号提供神经反馈，让被试者和实验员实时了解情绪诱发的效果，采用适当的调节策略；同时通过可选的角色对话的方式作为被试者的自我情绪评估报告。另外，本发明***基于电生理信号对情绪状态进行监测，这种方式相比传统的主观量表评估方法更加客观准确，不仅能够精准反映被试者的真实情感状态，而且能估计被试者情绪的强烈程度。总之，本发明***为实验室进行情绪诱发实验，采集情绪相关信息，以及为情感性精神障碍患者的情感治疗提供了有效的情感诱发方式，存在潜在的临床价值和社会价值，值得推广。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (5)

1.基于VR角色扮演游戏交互的情绪诱发监测***，其特征在于，包括情绪诱发模块、信号采集模块、情绪识别模块和情绪反馈模块；
所述情绪诱发模块用于呈现虚拟现实的场景和模拟情境，通过VR角色扮演游戏来诱发被试者的情绪；
所述信号采集模块用于采集并记录用户的情绪信号，采集到的情绪信号被标定为训练数据和在线测试数据，其中，训练数据被保存于计算机中并能被情绪识别模块读取，在线测试数据被实时传输给情绪识别模块；
所述情绪识别模块用于对所述信号采集模块采集的情绪信号进行处理，包括读取保存的训练数据和实时接收在线测试数据，然后分别对训练数据和在线测试数据进行预处理、特征提取得到相应的特征向量，其中，所述训练数据得到的特征向量用来构建基于情绪的分类器模型和反馈准则，所述在线测试数据得到的特征向量则通过所述分类器模型和反馈准则获取处理结果，实现对被试者情绪的监测识别，并用于在线情绪反馈；
所述情绪反馈模块用于呈现所述情绪识别模块处理后的结果，即在线反馈被试者当前情绪状态给实验员和被试者，便于实验员观察被试者的情绪诱发效果，也能协助被试者了解并调节自身情绪状态；
所述情绪诱发模块包括用于呈现虚拟现实场景的VR设备，通过TCP与搭载情绪识别模块的计算机通信；所述情绪诱发模块还包括用于诱发被试者情绪的VR角色扮演游戏，所述VR角色扮演游戏包含对应不同情绪的游戏剧情，游戏设定有任务***和奖惩机制，用于激励被试者专注于游戏内容，主动接受***的情绪诱发；所述游戏通过旁白、角色对话、CG动画和人物动作交代剧情，结合游戏任务及奖惩，场景动画和音效提示被试者需要诱发的情绪，根据剧情和被试者情况确定持续时间；所述角色对话包括用于交代剧情的固定对话和用于被试者表达主观情绪的可选对话，每个剧情会有若干时间节点触发有关当前情绪的可选对话，以选择题的方式呈现，被试者使用手柄进行选择，所得选项作为被试者的情绪状态自我报告和对当前情绪诱发场景的满意程度的调查，所述时间节点会同步传给情绪识别模块，作为情绪识别的参考；每个模板呈现结束后，给予用户时间休息；所述模板包括通过VR设备呈现的VR角色扮演游戏，包含剧情、场景、旁白、角色对话、动画、人物动作、音效、任务***和奖惩机制中的一种或多种。
2.根据权利要求1所述的基于VR角色扮演游戏交互的情绪诱发监测***，其特征在于，所述信号采集模块采集用户的脑电情绪信号，并通过USB数据连接线和并口线与安装有数据处理模块的计算机连接；所述信号采集模块采用脑电放大器和32通道的EEG电极帽来记录头皮脑电信号，并将脑电信号传输给情绪识别模块；其中，所有通道的脑电信号均以右耳突为参照，在脑电采集过程中，所有电极的阻抗值皆为5 KΩ以下，且脑电信号以250 Hz的频率采样，并在0.1至70 Hz的范围内进行带通滤波；信号采集时，先让被试者坐着，给被试者佩戴EEG电极帽，用平口针筒将电极膏注入电极帽嵌入式电极，电极膏注入完毕再给被试者佩戴VR设备，每名被试者需要进行两段脑电数据的采集，一段是训练数据采集，另一段是在线测试数据采集。
3.根据权利要求1所述的基于VR角色扮演游戏交互的情绪诱发监测***，其特征在于，所述情绪识别模块在训练数据采集阶段结束后读取计算机中记录好的训练数据，经过滤波预处理、特征提取得到相应的特征向量；然后将特征向量通过基于线性核的支持向量机SVM构建情绪分类的分类器，将训练中的多种情绪状态下对应的情绪特征数据构成一个训练集，并将各种情绪状态下对应的特征向量送入上述分类器进行训练，得到基于情绪的分类器模型；然后再次调用上述训练集中各种情绪状态对应的特征向量分别送入训练好的分类器模型中，模型输出每种情绪状态的基准值base，基于基准值base构建情绪反馈准则，用于在线测试阶段对被试者情绪状态进行打分。
4.根据权利要求1所述的基于VR角色扮演游戏交互的情绪诱发监测***，其特征在于，所述情绪识别模块在在线测试数据采集阶段使用训练好的分类器模型进行情绪分类，并基于基准值base输出代表情绪强弱程度的结果，即分值score，并将所述结果传递给情绪反馈模块。
5.根据权利要求1所述的基于VR角色扮演游戏交互的情绪诱发监测***，其特征在于，所述情绪反馈模块是通过视觉反馈的方式，反馈的内容呈现于VR场景的右侧，分别使用卡通形象和彩色光环显示被试者当前情绪类别和强烈程度，卡通形象有不同的神态动作对应不同的情绪类别，初始默认状态为静态；彩色光环环绕于卡通形象周围，初始大小与卡通形象等大，随情绪诱发程度升高而扩大；进行在线测试任务的过程中，每当有在线测试数据被接收并处理后，所述情绪识别模块会给出对应的情绪分类结果和分值score，并向情绪反馈模块传递相应的反馈准则和基准值base，由情绪反馈模块进行相应的情绪类别和情绪诱发程度的显示；被试者和实验员均能根据卡通形象和彩色光环的变化情况了解被试者当前的情绪状态，从而判断情绪诱发效果。
CN202210146377.2A 2022-02-17 2022-02-17 基于vr角色扮演游戏交互的情绪诱发监测*** Active CN114640699B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210146377.2A CN114640699B (zh) 2022-02-17 2022-02-17 基于vr角色扮演游戏交互的情绪诱发监测***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210146377.2A CN114640699B (zh) 2022-02-17 2022-02-17 基于vr角色扮演游戏交互的情绪诱发监测***

Publications (2)

Publication Number Publication Date
CN114640699A CN114640699A (zh) 2022-06-17
CN114640699B true CN114640699B (zh) 2023-06-20

Family

ID=81946034

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210146377.2A Active CN114640699B (zh) 2022-02-17 2022-02-17 基于vr角色扮演游戏交互的情绪诱发监测***

Country Status (1)

Country Link
CN (1) CN114640699B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115373519A (zh) * 2022-10-21 2022-11-22 北京脑陆科技有限公司 脑电数据交互显示方法、装置、***和计算机设备
CN116603232A (zh) * 2023-05-30 2023-08-18 深圳市德尔凯科技有限公司 一种基于三维vr和实体反馈互助游戏娱乐***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2846919A1 (en) * 2013-03-21 2014-09-21 Smarteacher Inic. Emotional intelligence engine for systems
CN106061456A (zh) * 2013-12-31 2016-10-26 伊夫徳发明未来科技有限公司 用于感官刺激和操作以及生理数据采集的可穿戴式设备、***、方法和架构
KR101901258B1 (ko) * 2017-12-04 2018-09-21 가천대학교 산학협력단 사용자의 정서안정을 위한 가상현실 시스템, 구현방법, 및 컴퓨터-판독가능매체
CN111247505A (zh) * 2017-10-27 2020-06-05 索尼公司 信息处理装置、信息处理方法、程序以及信息处理***
CN111651060A (zh) * 2020-08-10 2020-09-11 之江实验室 一种vr沉浸效果的实时评估方法和评估***

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2605993A1 (en) * 2005-04-25 2006-11-02 Ellen Eatough Mind-body learning system and methods of use
TWI311067B (en) * 2005-12-27 2009-06-21 Ind Tech Res Inst Method and apparatus of interactive gaming with emotion perception ability
US20090069707A1 (en) * 2007-09-06 2009-03-12 Sandford Joseph A Method to improve neurofeedback training using a reinforcement system of computerized game-like cognitive or entertainment-based training activities
US20140167358A1 (en) * 2012-12-13 2014-06-19 Keith C. Fox Method for Providing Play Therapy Utilizing An Interactive Role Playing Game
CN103690165B (zh) * 2013-12-12 2015-04-29 天津大学 一种跨诱发模式情绪脑电识别建模方法
CN105852831A (zh) * 2016-05-10 2016-08-17 华南理工大学 一种基于虚拟现实交互技术与脑功能实时监测技术的设备
CN108056774A (zh) * 2017-12-29 2018-05-22 中国人民解放军战略支援部队信息工程大学 基于视频刺激材料的实验范式情绪分析实现方法及其装置
CN108478224A (zh) * 2018-03-16 2018-09-04 西安电子科技大学 基于虚拟现实与脑电的紧张情绪检测***及检测方法
CN109298779B (zh) * 2018-08-10 2021-10-12 济南奥维信息科技有限公司济宁分公司 基于虚拟代理交互的虚拟训练***与方法
US10970898B2 (en) * 2018-10-10 2021-04-06 International Business Machines Corporation Virtual-reality based interactive audience simulation
CN109992113B (zh) * 2019-04-09 2020-05-15 燕山大学 一种基于多场景诱发的mi-bci***及其控制方法
CN111026265A (zh) * 2019-11-29 2020-04-17 华南理工大学 一种基于vr场景视频的情绪标签连续标注***及方法
CN112120716A (zh) * 2020-09-02 2020-12-25 中国人民解放军军事科学院国防科技创新研究院 一种可穿戴式多模态情绪状态监测装置
CN112163518B (zh) * 2020-09-28 2023-07-18 华南理工大学 情绪监测的情绪建模方法及情绪监测调节***
CN112597967B (zh) * 2021-01-05 2024-06-11 沈阳工业大学 沉浸式虚拟环境、多模态生理信号的情绪识别方法及装置
CN113053492B (zh) * 2021-04-02 2022-07-15 北方工业大学 基于用户背景和情绪的自适应虚拟现实干预***及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2846919A1 (en) * 2013-03-21 2014-09-21 Smarteacher Inic. Emotional intelligence engine for systems
CN106061456A (zh) * 2013-12-31 2016-10-26 伊夫徳发明未来科技有限公司 用于感官刺激和操作以及生理数据采集的可穿戴式设备、***、方法和架构
CN111247505A (zh) * 2017-10-27 2020-06-05 索尼公司 信息处理装置、信息处理方法、程序以及信息处理***
KR101901258B1 (ko) * 2017-12-04 2018-09-21 가천대학교 산학협력단 사용자의 정서안정을 위한 가상현실 시스템, 구현방법, 및 컴퓨터-판독가능매체
CN111651060A (zh) * 2020-08-10 2020-09-11 之江实验室 一种vr沉浸效果的实时评估方法和评估***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于脑电的情绪加工与识别技术研究;庄宁;《中国博士学位论文全文数据库（电子期刊）》(第第1期期);E070-14 *
情绪诱发方法及其新进展;蒋军，陈雪飞，陈安涛;《西南师范大学学报(自然科学版)》;第第36卷卷(第第1期期);第209-214页 *

Also Published As

Publication number Publication date
CN114640699A (zh) 2022-06-17

Similar Documents

Publication Publication Date Title
CN109298779B (zh) 基于虚拟代理交互的虚拟训练***与方法
Kulke et al. A comparison of the Affectiva iMotions Facial Expression Analysis Software with EMG for identifying facial expressions of emotion
CN104902806B (zh) 神经病理的评估***及方法
WO2020119355A1 (zh) 自闭症谱系障碍患者的多模态情感认知能力的评估方法
CN114640699B (zh) 基于vr角色扮演游戏交互的情绪诱发监测***
Feidakis et al. Emotion measurement in intelligent tutoring systems: what, when and how to measure
CN112163518B (zh) 情绪监测的情绪建模方法及情绪监测调节***
KR20190026651A (ko) 사람의 비전 성능에 접근하기 위해 비전 데이터를 획득, 집계 및 분석하기 위한 방법 및 시스템
Riseberg et al. Frustrating the user on purpose: Using biosignals in a pilot study to detect the user's emotional state
CN108078573A (zh) 一种基于生理反应信息与刺激信息的兴趣取向值测验方法
Farnsworth Eeg (electroencephalography): The complete pocket guide
Nesbitt et al. Using the startle eye-blink to measure affect in players
CN112008725B (zh) 一种人机融合脑控机器人***
CN108478224A (zh) 基于虚拟现实与脑电的紧张情绪检测***及检测方法
CN115376695A (zh) 基于扩展现实的神经心理评估及干预的方法、***和装置
Christensen et al. Emotion matters: Different psychophysiological responses to expressive and non-expressive full-body movements
Kawala-Janik Efficiency evaluation of external environments control using bio-signals
Alarcão Reminiscence therapy improvement using emotional information
Smith Electroencephalograph based brain computer interfaces
Hercegfi et al. Experiences of virtual desktop collaboration experiments
Fortin et al. Laughter and tickles: Toward novel approaches for emotion and behavior elicitation
Dave Enhancing user experience in e-learning: Real-time emotional analysis and assessment
WO2020139108A1 (ru) Способ проведения когнитивных исследований с использованием системы нейровизуализации и механизма обратной связи
Bashir et al. Electroencephalogram (EEG) Signals for Modern Educational Research
Yang et al. Ground truth dataset for EEG-based emotion recognition with visual indication

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant