CN107578807B

CN107578807B - 一种虚拟现实情感刺激***的创建方法

Info

Publication number: CN107578807B
Application number: CN201710581064.9A
Authority: CN
Inventors: 徐向民; 张文卓; 舒琳
Original assignee: Guangzhou Bowei Intelligent Technology Co ltd
Current assignee: Guangzhou Bo Wei Intelligent Technology Co., Ltd.
Priority date: 2017-07-17
Filing date: 2017-07-17
Publication date: 2020-12-29
Anticipated expiration: 2037-07-17
Also published as: CN107578807A

Abstract

本发明提供一种虚拟现实情感刺激***的创建方法，创建的虚拟现实情感刺激***包括一系列能刺激产生不同情感的虚拟现实场景及各场景的情感名称描述、三维情感量化值；在创建过程中，首先将已有场景情感设计素材向虚拟现实情感场景库转换，对场景情感设计素材进行筛选处理，并提取一系列与情感关联的特征元素；根据所提取的与情感关联的特征元素，构建一系列能刺激产生不同情感的虚拟现实场景；对虚拟现实情感刺激场景进行SAM评估及修正。由于虚拟现实具有沉浸性极强的特点，本发明可在情感的诱发过程中更加有效准确触发情感，并且屏蔽外界干扰，获得相对客观的情感数据，以解决现有刺激素材浸入感不强，环境干扰较大等问题。

Description

一种虚拟现实情感刺激***的创建方法

技术领域

本发明属于信息技术与认知心理学的交叉融合领域，具体为一种虚拟现实情感刺激***的创建方法。

背景技术

情感是伴随着认知和意识过程产生的心理和生理状态，在人类交流中扮演着非常重要的角色。由于人类的情感与认知和行为之间有非常紧密的联系，情感触发在研究和应用的诸多领域已有初步探索和应用。基于情感触发及情感评估的游戏设计、健康监测和辅助治疗等也成为未来发展的重要方向。

较为传统的情感触发方式是，向受试者展示带情感色彩的刺激材料，包括具有情感色彩的视觉刺激的文字或图片，以及听觉刺激的声音等。目前国际上广泛使用的视觉图像刺激工具是国际情感图片***(International Affective Picture System,IAPS)，由于民族、文化、教育等方面的不同，对于中国人群，已建立适应中国人群特点的刺激***，即中国情感图片***(Chinese Affective Picture System，CAPS)。然而单纯的图片刺激材料相对生态效率较低，真实感不强。在刺激产生定向情感的过程中易受环境因素的干扰，须严格控制并持续稳定标准化环境空间(包括光线、空间面积等)。

发明内容

针对上述现有技术中存在的问题，本发明提供一种虚拟现实情感刺激***的创建方法，通过虚拟现实场景实现对指定情感的触发，由于虚拟现实具有沉浸性极强的特点，可在情感的诱发过程中更加有效准确触发情感，并且屏蔽外界干扰，获得相对客观的情感数据，以解决现有刺激素材浸入感不强，环境干扰较大等问题。

本发明解决上述问题的技术方案如下：一种虚拟现实情感刺激***的创建方法，所述虚拟现实情感刺激***包括一系列能刺激产生不同情感的虚拟现实场景及各场景的情感名称描述、三维情感量化值，三维情感量化值为愉悦度、唤醒度、支配度的坐标值；所述创建方法包括以下步骤：

S1、将已有场景情感设计素材向虚拟现实情感场景库转换，对场景情感设计素材进行筛选处理，并提取一系列与情感关联的特征元素；

S2、根据所提取的与情感关联的特征元素，构建一系列能刺激产生不同情感的虚拟现实场景；

S3、对虚拟现实情感刺激场景进行SAM评估及修正。

优选地，步骤S1对场景情感设计素材进行筛选处理时，将场景情感设计素材中的图片、音乐、视频，以其愉悦度均值信息为标准进行排序，将其分为四个等级：高愉悦度高唤醒度、高愉悦度低唤醒度、低愉悦度高唤醒度、低愉悦度低唤醒度；计算各个等级素材的唤醒度、支配度均值，筛去唤醒度、支配度均异常的素材。

优选地，所述高愉悦度高唤醒度的Valence＝5～9，Arousal＝5～9；高愉悦度低唤醒度的Valence＝5～9，Arousal＝1～5；低愉悦度高唤醒度的Valence＝1～5，Arousal＝5～9；低愉悦度低唤醒度的Valence＝1～5，Arousal＝1～5；其中Valence表征愉悦度，Arousal表征唤醒度。

优选地，步骤S1提取一系列与情感关联的特征元素的过程为：

(1)提取场景情感设计素材主题意象，并将意象按数量排序，选取前十种主题；

(2)对于场景情感设计素材中的图片，色彩特征提取如下：

A、将RGB颜色空间转换到HSV空间；

B、每张图片生成颜色直方图；

C、提取前八种主要色相中超过阈值的色相，提取HSV值；

D、根据所提取的各色相的所占权重累加，得到主题色块；

E、针对每一等级，将其所有图片生成的所有主题色块根据权重累加，得到每一等级场景的颜色直方图；

(3)对于场景情感设计素材中的音频，将音频分为四级，即低愉悦度低唤醒度、低愉悦度高唤醒度、高愉悦度低唤醒度、高愉悦度高唤醒度，提取音频的旋律、音响、节奏特征，扩充相似情感语义不同时长的音频资源；

(4)对于场景情感设计素材中的动态视频，建立动作的相位及强度、镜头切换率、路径设置的情感语意模型，设计各等级场景的动态特征。

本发明的研究是以标准库(如：国际情感图片***(IAPS))内容为素材，以虚拟现实场景为诱导手段，以PAD情感三维模型为量化标准，设计制作均匀遍历该模型的包含一系列虚拟现实的情感数据库。所创建的***基于VR虚拟现实设备，提供适用于普遍人群的定向情感刺激。场景的设计素材基于且不限于一系列标准情感图片、声音、视频数据库,且经过科学且标准化的SAM情感评估手段。每个场景能刺激得到的目标情感通过SAM评估映射于PAD三维情感模型中，得到对应的愉悦度、唤醒度、支配度坐标值。与现有情感刺激***相比，本发明具有如下的有益效果：

1、针对目前情感研究过程中情感诱发素材的生态效率较低，真实感不强的缺点，在本创建方法中首次提出基于计算机科学和心理认知科学的虚拟现实场景与人体情感的对应关系，构建基于虚拟现实技术的虚拟场景***库。实现基于虚拟现实场景的情感触发素材，具有更好的交互性和泛化性。同时减弱了传统情感触发时环境的干扰。具有更强的沉浸感与用户可操作性，情感唤醒度高、数据可靠。

2、在创建过程中，***以一系列认知心理学公认较为权威的情感数据库为素材，进行特征提取、场景标准化设计。场景制作完成后经评估符合目标情感PAD空间标准，方可纳入数据库，保证了该***对情感的覆盖范围广泛、科学。同时，同一情感多个场景可减弱个体性认知差异等问题。

3、本发明方法依托于VR设备沉浸性强、效果真实的特点能提供准确、直接、广泛的目标情感刺激。

附图说明

图1是本发明虚拟现实情感刺激***的创建流程图；

图2是情感象限分区图；

图3是本发明的一种虚拟现实场景情感评估流程图。

具体实施方式

以下结合具体实施例对本发明进行详细说明。应当理解，描述这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本公开，而并非以任何方式限制本发明的保护范围。

本发明所构建的虚拟现实情感刺激***，用于普遍人群的定向情感刺激，包含一系列能刺激产生不同情感的虚拟现实场景及各场景的情感名称描述、三维情感量化值即愉悦度、唤醒度、支配度的坐标值。

如图1，本发明虚拟现实情感刺激***的创建方法，包括以下步骤：

1)制定虚拟现实情感刺激***的标准。***标准包括：1、场景内容清晰，有较好的分辨率和对比度，场景体验晕眩感低；2、不涉及商业版权或知识产权；3、内容广泛，能有效的激发相应的情感反应。受试者观看场景后产生的情感，经评估尽量广泛分布在PAD情感空间模型中，对于同类情感中不同场景，PAD空间分布尽量集中，使离散度较小。

2)将情感图片、音频、视频、虚拟场景等已有场景情感设计素材向虚拟现实情感场景库转换，对场景情感设计素材进行筛选处理，并提取一系列与情感关联的特征元素，如音频特征、主题特征、颜色特征、动态特征等。

情感图片、音频、视频等场景情感设计素材来源于但不仅限于标准情感刺激数据库(也叫标准库素材)，包括：国际情感图片***(IAPS)、国际情感声音***(IADS)、中国情感图片***(CAPS)、中国情感声音***(CADS)、中国情感视频***(CAVS)等。以标准情感刺激数据库为设计指引但不仅限于此，场景情感设计素材还包括VR视频、影视作品等多元素材，对VR视频、影视作品等直接或编辑之后作为虚拟现实情感刺激场景使用。

对素材进行筛选，基于但不局限于国际情感图片***(IAPS)、国际情感声音***(IADS)、中国情感图片***(CAPS)、中国情感声音***(CADS)、中国情感视频***(CAVS)等数据库，还涉及VR视频、VR网络骨骼物等多元化素材。筛选处理时，将标准素材库IAPS、IADS、CAPS、CADS、CAVS中的图片、音乐、视频，以其愉悦度均值信息为标准进行排序，将其分为四个等级：高愉悦度高唤醒度(Valence＝5～9，Arousal＝5～9)，高愉悦度低唤醒度(Valence＝5～9，Arousal＝1～5)，低愉悦度高唤醒度(Valence＝1～5，Arousal＝5～9)，低愉悦度低唤醒度(Valence＝1～5，Arousal＝1～5)，Valence表征愉悦度，Arousal表征唤醒度；计算各个等级素材的唤醒度、支配度均值，筛去唤醒度、支配度均异常的素材。

在各等级内，对素材进行特征提取，可以是对于图片素材提取颜色特征，例如对单一图片提取色盘进行单个VR素材色彩设计，对批量图片色盘融合进行整个场景色调设计。对素材进行特征提取的过程具体如下：

(1)提取素材主题意象，并将意象按数量排序，选取前十种主题；

(2)对于图片素材，色彩特征提取如下：

A、将RGB颜色空间转换到HSV空间；

B、每张图片生成颜色直方图；

C、提取前八种主要色相中超过阈值的色相，提取HSV值；

D、根据所提取的各色相的所占权重累加，得到主题色块；

(3)对于音频素材，将CADS、IADS中音频按上述方式分为四级，即低愉悦度低唤醒度、低愉悦度高唤醒度、高愉悦度低唤醒度、高愉悦度高唤醒度，提取音频的旋律、音响、节奏等特征，扩充相似情感语义不同时长的音频资源；

(4)对于动态的视频素材，建立动作的相位及强度、镜头切换率、路径设置的情感语意模型，设计各等级场景的动态特征。

3)根据所提取的与情感关联的特征元素，构建一系列能刺激产生不同情感的虚拟现实场景。所述一系列能刺激产生不同情感的虚拟现实场景包含至少4个场景片段，至少包含情感坐标空间的四个象限各一种情感，四个象限即低愉悦度低唤醒度、低愉悦度高唤醒度、高愉悦度低唤醒度、高愉悦度高唤醒度。

基于以上对素材进行特征提取的操作步骤，设计各场景制作指南；根据场景制作指南，基于虚幻引擎、Unity 3D引擎构建一系列虚拟现实场景，同时通过评估选取部分已有VR视频。由此完成虚拟现实情感刺激***的初步建立。其中基于虚幻引擎构建虚拟场景的过程包括：网络骨骼物的设计、材质与贴图的制作、场景的设计构建、路径设计与蓝图控制。其中基于Unity3D引擎构建虚拟场景的过程包括：对象的添加，对象贴图、法线和材质的修饰，对象应用组件的加入，脚本文件(如C#、java等)的编写以及VR设备接口的调用。

4)对虚拟现实情感刺激场景进行SAM评估及修正。在对场景的评估过程中，首先剔除受试者中焦虑或抑郁情感呈阳性者，对每个场景的三维度评分进行内在一致性检验，并与标准库中素材的评估结果进行一致性检验，从而判断场景的标准化及入选后场景的属性。评估手段包括基于9点评分SAM量表进行认知心理学评估，评分需完成内在一致性检验。

在本发明虚拟现实情感刺激***的构建过程中，根据标准库素材及VR素材，针对素材的主题语义、色彩特征、音频特征等进行筛选及特征提取。基于情感特征进行覆盖四个情感象限中基本情感的VR场景制作，同时收录符合标准的VR视频，SAM评估后得到场景的情感标签，各场景及其标签共同构成虚拟现实情感***。如图2所示，情感刺激***的设计原理基于情感素材的三维坐标理论，包括愉悦度(Valence)、唤醒度(Arousal)、优势度(Dorminance)三维参数，***覆盖4个基本情感象限：HPHA(高愉悦度高唤醒度)、HPLA(高愉悦度低唤醒度)、LPHA(低愉悦度高唤醒度)、LPLA(低愉悦度低唤醒度)，各象限中每个基本情感均含多个虚拟现实场景。

所述SAM评估，即对构建虚拟现实场景的PAD标准化评估。评估的主要参数包括：愉悦度、唤醒度、支配度。评估过程基于现阶段权威的心理学SAM自评量表，对***内每个场景进行评估。将测评结果参数与已有标准库及设计要求进行比较，若无显著性差异，则认为场景达到标准化，若无法达到一致性，则根据偏差针对相应等级内素材进行调整，直到测评结果达到标准。该***的虚拟现实情感刺激场景均通过至少10位受试者的标准SAM评估测试，得到每个情感刺激场景的愉悦度、唤醒度、支配度的值。虚拟现实情感刺激***标签总表包括各场景的目标情感名称及其愉悦度、唤醒度、支配度的值。

对地下城这一恐怖场景评估的情感标签如表1所示，对野外这一轻松场景评估的情感标签如表2所示。

表1

场景名称	愉悦度	唤醒度	支配度
				恐怖2_地下城	3.3±2.312	6.9±1.287	5.7±2.541

表2

场景名称	愉悦度	唤醒度	支配度
				轻松1_野外	6.9±1.595	3.6±2.221	8.4±1.075

如图3所示，为本发明提供的虚拟现实场景情感评估流程中的一种，通过进行问卷排查、预实验测试、静息态设定基准线、观看VR场景进行场景体验、填写场景自评问卷的方式进行情感评估。

在一个实例中，共有100位(男性57位，女性43位)被试者参加了图片数据的建立。被试者在评估开始前，每位受试者完成焦虑自评表(SAS)和抑郁症自评表(SDS)。考虑到被试者的焦虑或抑郁情感对场景评估有影响，因此将SDS>40的被试者数据剔除，最终对92位(男性52位，年龄23.45±2.03岁；女性40位，年龄23.11±1.86岁)被试者数据进行统计分析。分析统计被试者对各场景PAD评估分数的均值和标准差。对每张图片的三个维度的评分进行内在一致性检验，若Cronbach’sα系数>0.85，则场景符合标准条件，可加入中国情感虚拟现实***。

本发明设计的一种虚拟现实情感刺激***创建方法，其优势在于：

1、其设计素材来源于但不仅限于标准情感刺激数据库，设计素材数据有效性强，且特征提取纬度高，数据库转化过程中特征保留较为完整。

2、情感刺激材料为虚拟现实场景，浸入感强，可有效、快速刺激受试者产生定向情感。且可有效屏蔽环境干扰，根据需求自定义情感触发过程中环境因素标准化设定，保证其环境因素一致性及稳定性，情感触发更为准确、直接、快速、广泛。

3、评估手段包括通过9点情感自我测评量表(SAM)。评估数据结果具量化性与科学严谨性。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述实施方式，在不脱离本发明精神实质的前提下，本领域技术人员做出的各种变形或修改，均为等效的置换方式，都将落入本发明权利要求限定的保护范围内。

Claims

1.一种虚拟现实情感刺激***的创建方法，其特征在于，所述虚拟现实情感刺激***包括一系列能刺激产生不同情感的虚拟现实场景及各场景的情感名称描述、三维情感量化值，三维情感量化值为愉悦度、唤醒度、支配度的坐标值；所述创建方法包括以下步骤：

步骤S1提取一系列与情感关联的特征元素的过程为：

(2)对于场景情感设计素材中的图片，色彩特征提取如下：

A、将RGB颜色空间转换到HSV空间；

B、每张图片生成颜色直方图；

C、提取前八种色相中超过阈值的色相，提取HSV值；

D、根据所提取的各色相的所占权重累加，得到主题色块；

(4)对于场景情感设计素材中的动态视频，建立动作的相位及强度、镜头切换率、路径设置的情感语意模型，设计各等级场景的动态特征；

S3、对虚拟现实情感刺激场景进行SAM评估及修正。

2.根据权利要求1所述的虚拟现实情感刺激***的创建方法，其特征在于，步骤S1对场景情感设计素材进行筛选处理时，将场景情感设计素材中的图片、音乐、视频，根据愉悦度和唤醒度的组合值为标准进行排序，将其分为四个等级：高愉悦度高唤醒度、高愉悦度低唤醒度、低愉悦度高唤醒度、低愉悦度低唤醒度；计算各个等级素材的唤醒度、支配度均值，筛去唤醒度、支配度均异常的素材。

3.根据权利要求2所述的虚拟现实情感刺激***的创建方法，其特征在于，所述高愉悦度高唤醒度的Valence＝(5,9]，Arousal＝(5,9]；高愉悦度低唤醒度的Valence＝(5,9]，Arousal＝[1,5]；低愉悦度高唤醒度的Valence＝[1,5]，Arousal＝(5,9]；低愉悦度低唤醒度的Valence＝[1,5]，Arousal＝[1,5]；其中Valence表征愉悦度，Arousal表征唤醒度。

4.根据权利要求1所述的虚拟现实情感刺激***的创建方法，其特征在于，步骤S2首先根据所提取的与情感关联的特征元素，设计各虚拟现实场景制作指南；根据制作指南，基于虚幻引擎或Unity 3D引擎构建一系列能刺激产生不同情感的虚拟现实场景。

5.根据权利要求4所述的虚拟现实情感刺激***的创建方法，其特征在于，所述基于虚幻引擎构建一系列能刺激产生不同情感的虚拟现实场景的过程包括网络骨骼物的设计、材质与贴图的制作、场景的设计构建、路径设计与蓝图控制；所述基于Unity3D引擎构建一系列能刺激产生不同情感的虚拟现实场景的过程包括对象的添加，对象贴图、法线和材质的修饰，对象应用组件的加入，脚本文件的编写以及VR设备接口的调用。

6.根据权利要求4所述的虚拟现实情感刺激***的创建方法，其特征在于，步骤S2所述一系列能刺激产生不同情感的虚拟现实场景包含至少4个场景片段，所述场景片段的情感描述分别位于情感坐标空间的四个象限，四个象限即低愉悦度低唤醒度、低愉悦度高唤醒度、高愉悦度低唤醒度、高愉悦度高唤醒度。

7.根据权利要求1所述的虚拟现实情感刺激***的创建方法，其特征在于，步骤S3所述SAM评估为对构建虚拟现实场景的PAD标准化评估，评估的参数包括：愉悦度、唤醒度、支配度，评估过程基于心理学SAM自评量表，对***内每个虚拟现实场景进行评估。

8.根据权利要求1所述的虚拟现实情感刺激***的创建方法，其特征在于，步骤S1所述的已有场景情感设计素材包括：国际情感图片***IAPS、国际情感声音***IADS、中国情感图片***CAPS、中国情感声音***CADS、中国情感视频***CAVS、VR视频及影视作品。