一种基于虚拟现实的交互式训练***及方法
技术领域
本发明涉及人机交互训练技术领域,具体为一种基于虚拟现实的交互式训练***及方法。
背景技术
美国近百所顶尖私立高中成立的能力素养成绩单联盟(MTC)推出一种动态电子档案——“新模式”作为高中生评价新体系。其包括8项能力和61项子能力,通过持续追踪、记录学生的学习动态,全面评估学生能力。英国十分重视培养学生的创新素质和创造思维能力,在高校采用“基于项目的学习”培养模式,通过引导学生在实际项目中探究和解决复杂问题,培养学生的创新能力。
当前我国对学生的创新素质培养也越来越重视,注重学生德、智、体、美、劳全面发展,但是现阶段对学生的创新素质测评方式及训练方式上存在较大的缺陷;当前的测评方式只是通过简单的纸质或者电子版的调查问卷实现对学生创新素质的测评,方式比较单一,且测评结果比较片面,无法根据学生的实际表现(实践)实现对用户的测评,使得测评结果不精准,进而采用的训练方式无法精准锁定学生自身创新素质的薄弱点,使得训练效果不理想。
针对上述情况,我们需要一种基于虚拟现实的交互式训练***及方法。
发明内容
本发明的目的在于提供一种基于虚拟现实的交互式训练***及方法,以解决上述背景技术中提出的问题。
为了解决上述技术问题,本发明提供如下技术方案:一种基于虚拟现实的交互式训练***,包括:
测评案例库模块,所述测评案例库模块用于存储交互式训练过程中需要用到的各个测评案例对应的虚拟场景;
交互式训练模块,所述交互式训练模块提取测评案例库模块中各个测评案例对应的虚拟场景,通过人机交互的方式对用户进行训练,每次训练均生成相应的音频文件;
测评分析模块,所述测评分析模块对用户训练生成的音频文件进行分析,得到用户创新素质的测评结果;
强化推荐模块,所述强化推荐模块根据用户创新素质的测评结果,锁定用户创新素质中的薄弱点,并针对用户创新素质中的薄弱点情况,推荐相应的测评案例对用户进行训练;
训练效果比对模块,所述训练效果对比模块构建用户训练对应的测评结果随时间变化的折线变化图,并将每个测评结果与折线变化图中的相应节点进行绑定。
本发明通过采用虚拟现实技术,将对用户创新素质的训练过程场景化,通过一个场景实现对用户创新素质的全面的训练及测评,并根据测评案例中虚拟场景对应的创新素质中各类别内容的偏重值,突出对用户创新素质薄弱点的强化训练,并采用折线变化图的方式,实现对用户训练效果的对比,并在此基础上,能够进一步的调整推荐的训练方案。
进一步的,所述测评案例库模块存储的每个测评案例对应的虚拟场景是通过3D建模,并在VR设备中呈现的;
在3D建模过程中,会在虚拟场景中会分别标注出东、西、南、北四个方位,并以过虚拟场景中心点且从东至西的方向为x轴正方向,以过虚拟场景中心点且从南至北的方向为y轴正方向,以过虚拟场景中心点且从下至上的方向为z轴正方向,建立虚拟场景中的标准空间直角坐标系;
每个测评案例对应的是一个模拟的故事场景,每个故事场景中会包含一个虚拟人物,需要用户针对故事场景中虚拟人物提出的问题进行解答,测评案例考察用户的创新素质,所述创新素质包含分类比较能力、计算能力、记忆力及注意力,不同测评案例考察用户创新素质中分类比较能力、计算能力、记忆力及注意力分别对应偏重值不同。
本发明测评案例库模块在虚拟场景中会分别标注出东、西、南、北四个方位,是为了便于后续在虚拟场景中建立标准空间之间坐标系;在故事场景中设置一个虚拟人物,是为了通过对话的方式实现人机交互,进而使得模拟的场景更加贴近真实情况,进而通过模拟实践的方式实现对用户创新素质的训练及测评;创新素质是一个比较笼统的概念,是从多方面对用户进行测评的(包含分类比较能力、计算能力、记忆力及注意力);将测评案例中设置不同的偏重值是为了针对用户创新素质的薄弱点进行相应的训练,相应的,用户创新素质中某类能力越薄弱,则测评案例中该类别对应的偏重值越大。
进一步的,所述强化推荐模块获得用户创新素质的测评结果后,分类比较能力、计算能力、记忆力及注意力这四类分别对应的测评结果中的最小值对应的类别为用户创新素质中的薄弱点,
若用户创新素质的测评结果中,分类比较能力、计算能力、记忆力及注意力这四类对应的测评结果分别为k1、k2、k3及k4,则推荐的测评案例中分类比较能力、计算能力、记忆力及注意力分别对应偏重值的比值为
每类对应的偏重值表示测评案例中该类对应提问内容数量占提问内容总数量的比值。
本发明设置分类比较能力、计算能力、记忆力及注意力分别对应偏重值的比值的标准是,每个类别对应的测评结果越小,其相应的类别在推荐的测评案例中所占的偏重值越大,同时各类别偏重值之和确保为1。
进一步的,所述训练效果比对模块分别获取用户每次训练时创新素质中各类别分别对应的测评结果,分别构建不同训练时间同一类别对应的测评结果随时间变化的折线变化图,每个测评结果与相应的折线变化图中的相应是时间节点进行绑定。
进一步的,所述交互式训练模块提取测评案例库模块中各个测评案例对应的虚拟场景时,以虚拟人物的头部在标准空间直角坐标系中的坐标点作为参照点,以用户头部所处位置在虚拟场景中标准空间直角坐标系中对应的坐标点为用户点,
将从用户点至参照点构成的向量记为标准向量,所述标准向量时可变的,标准向量随用户点及参照点的变化而变化。
本发明交互式训练模块获取标准向量,是为了获取用户距离虚拟人物的距离,并为后续获取训练过程中用户面部朝向的方向与标准向量的夹角记为β,进而为后续训练过程中产生的音频文件进行分析、调整,使得训练过程中模拟的场景更加真实且贴合实际情况。
进一步的,所述交互式训练模块通过人机交互的方式对用户进行训练的过程中,通过耳麦获取虚拟人物的提问内容,通过第一拾音器获取用户针对提问内容的解答,
将第一拾音器获取的训练过程中随时间变化的人机交互过程的音频文件,记为第一音频文件,所述第一音频文件只包含用户的声音,
将耳麦传递的训练过程中随时间变化的人机交互过程的音频文件,记为第二音频文件,所述第二音频文件只包含虚拟人物的提问内容;
所述交互式训练模块还获取训练过程中标准向量随时间变化的结果,将训练过程中时间t对应的标准向量的模长记为L(t);
获取训练过程中用户面部朝向的方向与标准向量的夹角记为β,并将训练过程中时间t对应的用户面部朝向的方向与标准向量的夹角记为β(t)。
本发明分别获取第一音频文件、第二音频文件、L(t)及β(t),是为了对第一音频文件中不同时间虚拟人物能够听到的声音强度进行分析、调整,进而模拟、预估出虚拟人物能够听到音频内容,该模拟方式是为了模拟出实际生活中两人互相交谈的场景(声音强度小的情况下,对方可能听不到,进而获取不到相应的信息),通常情况下,L(t)及β(t)均为分段函数。
进一步的,所述测评分析模块对用户训练生成的音频文件进行分析的过程中,会根据第一音频文件、第二音频文件及相应的L(t)、β(t),对人机交互过程中的声音强度随时间的变化情况进行模拟还原,预估出对方能够听到的音频内容,并识别出相应的文本内容,进而根据识别的文本内容得到用户创新素质的测评结果,
用户能够听到的音频内容不需要进行预估,为第二音频文件对应的内容,即第二音频文件为预估处理过的音频文件,
将第二音频文件对应的未经处理的音频文件记为第三音频文件;
测评分析模块预估虚拟人物能够听到的音频内容的方法包括以下步骤:
S1.1、获取第一音频文件中时间t为不同值时对应的声音强度g1(t);
S1.2、计算L(t)对听觉的影响系数f1[L(t)],
所述
其中,a1为常数,L0为常数,表示标准向量的初始模长,b1也为常数且b1>L0;
S1.3、计算β(t)对听觉的影响系数f2[β(t)],
所述f2[β(t)]=a2*[cos(β(t))+b2],其中,a2和b2均为常数,且b2>1,所述a1、a2均大于0;
S1.4、初步预估虚拟人物能够听到的声音强度G(t),
S1.5、根据第二音频文件及相应的L(t)、β(t),获取声音强度偏差值Q;
S1.6、二次预估虚拟人物能够听到的声音强度G1(t),所述
当G1(t)>0时,则G1(t)=G(t)+Q,
当G1(t)=0时,则G1(t)=0,
当G1(t)<0时,则G1(t)=G(t)-Q;
S1.7、分别将t为不同值时,G1(t)与第一阈值进行比较,进而得到最终能够被虚拟人物听到的声音强度G11(t),
当|G1(t)|大于等于第一阈值时,则G11(t)=G1(t),
当|G1(t)|小于第一阈值时,则G11(t)=0;
S1.8、获取第一音频文件中声音强度G11(t)大于或者小于0时对应的时间范围W,截取第一音频文件中时间范围W对应的音频部分内容,记为预估的虚拟人物能够听到的音频内容。
本发明测评分析模块计算L(t)对听觉的影响系数f1[L(t)]时,计算L(t)-L0,是为了获取在时间t时用户与虚拟人物的距离与初始时(t为0时)用户与虚拟人物距离的差值;设置b1>L0,是为了确保L(t)-L0+b1的结果大于0,进而使得f1[L(t)]的结果为正数;因为在标准空间直角坐标系中,任意两个向量的夹角大于等于0且小于等于180度,进而cos(β(t))对应的取值范围为[-1,1],且cos(β(t))的值随β(t)的增大而减小;设置b2>1,是为了确保cos(β(t))+b2大于0,进而使得f2[β(t)]的值为正数;获取G(t)时,计算g1(t)*f1[L(t)]*f2[β(t)],是为了获取在声音传播过程中,L(t)与β(t)对声音强度的影响,进而能够在一定程度上模拟出人物对话过程中受距离与面部朝向方向的影响,对方能够听到的音频内容;获取声音强度偏差值Q,是为了根据第二音频文件及相应的L(t)、β(t),计算预估用户能够听到的内容与实际能够听到的内容之间的差异,进而获取相应的偏差值,其目的是为了对虚拟人物能够听到的声音强度进行二次预估,使得预估结果更加精准;将G1(t)与第一阈值进行比较,是因为正常人物能够听到的声音强度是存在一定范围的,正常人对话的声音为40-60分贝;通过阈值,能够预测出虚拟人物能够听到的音频内容。
进一步的,所述测评分析模块中获取预估的虚拟人物能够听到的音频内容,并识别该音频内容对应的文本内容,对文本内容进行文本分割,得到用户训练过程中针对相应问题的答案,
所述对文本内容进行文本分割是依据文本内容中各部分内容在第一音频文件中对应的时间及第二音频文件中虚拟人物的各个提问内容对应的时间,将第二音频文件中相邻的提问内容分别对应的时间作为一个文本分割片段对应的分割时间范围中的起始端点和终止端点,
获取文本内容中在第一音频文件中对应的时间在分割时间范围内的文本部分内容,将获取的每个文本部分内容分别作为一个文本分割片段;
将每个文本分割片段与对应分割时间范围中起始端点在第二音频文件中虚拟人物相应的提问内容进行绑定,
进一步将各个文本分割片段进行关键词提取,分别将每个文本分割片段对应的关键词逐个录入到一个空白集合中,进而每个文本分割片段得到一个关键词集合,并分别将每个关键词集合与相应文本分割片段对应的提问内容进行绑定,所述关键词集合中相同关键词只录入一次;
在数据库中,分别获取第二音频文件中虚拟人物各个提问内容对应的标准答案,每个标准答案对应一个参考关键词集合;
统计针对同一个提问内容时,该提问内容绑定的关键词集合与该提问内容对应的标准答案中相同的关键词个数,记为c,将该提问内容对应的标准答案中参考关键词集合内的参考关键词的总个数记为c1,则用户针对该提问内容的测评结果为
测评分析模块按分类比较能力、计算能力、记忆力及注意力这四个方面将第二音频文件中虚拟人物的各个提问内容分为四类,分别计算每类对应的各个提问内容相应的测评结果的平均值,将所得平均值记为该类对应的测评结果,进而得到用户创新素质的测评结果。
进一步的,所述S1.5中根据第二音频文件及相应的L(t)、β(t),获取声音强度偏差值Q的方法包括以下步骤:
S1.4.1、获取第二音频文件中时间t为不同值时对应的声音强度g2(t);
S1.4.2、获取第三音频文件中时间t为不同值时对应的声音强度g3(t);
S1.4.3、根据第三音频文件,初步预估用户能够听到的声音强度G3(t),
S1.4.4、获取G3(t)中对应的总时长T及G3(t)的值等于0的时长T1;
本发明根据第三音频文件,初步预估用户能够听到的声音强度G3(t),是为了与g2(t)进行对比,g2(t)对应的是用户能够听到的声音强度,进而将g2(t)-G3(t)在0-T范围内进行积分,能够得到两者之间的总影响值,并将所得总影响值除以T-T1,进而得到声音强度偏差值Q;设置除数为T-T1,而不是T,是因为T1对应的是G3(t)的值等于0的时长,对应的是没有声音的,进而需要将该部分时间排除,即T-T1;通常情况下,g1(t)、g2(t)、及g3(t)均为分段函数。
一种基于虚拟现实的交互式训练方法,所述方法包括以下步骤:
S1、在测评案例库模块中,存储交互式训练过程中需要用到的各个测评案例对应的虚拟场景;
S2、通过交互式训练模块提取测评案例库模块中各个测评案例对应的虚拟场景,通过人机交互的方式对用户进行训练,每次训练均生成相应的音频文件;
S3、通过测评分析模块对用户训练生成的音频文件进行分析,得到用户创新素质的测评结果;
S4、在强化推荐模块中,根据用户创新素质的测评结果,锁定用户创新素质中的薄弱点,并针对用户创新素质中的薄弱点情况,推荐相应的测评案例对用户进行训练;
S5、通过训练效果对比模块构建用户训练对应的测评结果随时间变化的折线变化图,并将每个测评结果与折线变化图中的相应节点进行绑定。
与现有技术相比,本发明所达到的有益效果是:本发明通过交互的方式对用户的创新素质进行训练,采用虚拟现实技术使得训练场景更加贴合实际情况,同时考虑到距离及角度因素对用户及虚拟人物所听内容的影响,进而使得训练过程更加真实,在实践中对用户的训练效果更好;同时在训练的过程中直接过用户的创新素质进行测评,并根据测评结果推荐相应的测评案例,针对用户创新素质的薄弱点进行强化,相较于传统的纸质或者电子版调查问卷对用户创新素质进行测评,本发明的测评效果更加精准。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1是本发明一种基于虚拟现实的交互式训练***的结构示意图;
图2是本发明一种基于虚拟现实的交互式训练***中测评分析模块预估虚拟人物能够听到的音频内容的方法的流程示意图;
图3是本发明一种基于虚拟现实的交互式训练***中获取声音强度偏差值Q的方法的流程示意图;
图4是本发明一种基于虚拟现实的交互式训练方法的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1-图4,本发明提供技术方案:一种基于虚拟现实的交互式训练***,包括:
测评案例库模块,所述测评案例库模块用于存储交互式训练过程中需要用到的各个测评案例对应的虚拟场景;
交互式训练模块,所述交互式训练模块提取测评案例库模块中各个测评案例对应的虚拟场景,通过人机交互的方式对用户进行训练,每次训练均生成相应的音频文件;
测评分析模块,所述测评分析模块对用户训练生成的音频文件进行分析,得到用户创新素质的测评结果;
强化推荐模块,所述强化推荐模块根据用户创新素质的测评结果,锁定用户创新素质中的薄弱点,并针对用户创新素质中的薄弱点情况,推荐相应的测评案例对用户进行训练;
训练效果比对模块,所述训练效果对比模块构建用户训练对应的测评结果随时间变化的折线变化图,并将每个测评结果与折线变化图中的相应节点进行绑定。
本发明通过采用虚拟现实技术,将对用户创新素质的训练过程场景化,通过一个场景实现对用户创新素质的全面的训练及测评,并根据测评案例中虚拟场景对应的创新素质中各类别内容的偏重值,突出对用户创新素质薄弱点的强化训练,并采用折线变化图的方式,实现对用户训练效果的对比,并在此基础上,能够进一步的调整推荐的训练方案;本实施例中的用户指学生。
所述测评案例库模块存储的每个测评案例对应的虚拟场景是通过3D建模,并在VR设备中呈现的;
在3D建模过程中,会在虚拟场景中会分别标注出东、西、南、北四个方位,并以过虚拟场景中心点且从东至西的方向为x轴正方向,以过虚拟场景中心点且从南至北的方向为y轴正方向,以过虚拟场景中心点且从下至上的方向为z轴正方向,建立虚拟场景中的标准空间直角坐标系;
每个测评案例对应的是一个模拟的故事场景,每个故事场景中会包含一个虚拟人物,需要用户针对故事场景中虚拟人物提出的问题进行解答,测评案例考察用户的创新素质,所述创新素质包含分类比较能力、计算能力、记忆力及注意力,不同测评案例考察用户创新素质中分类比较能力、计算能力、记忆力及注意力分别对应偏重值不同。
本发明测评案例库模块在虚拟场景中会分别标注出东、西、南、北四个方位,是为了便于后续在虚拟场景中建立标准空间之间坐标系;在故事场景中设置一个虚拟人物,是为了通过对话的方式实现人机交互,进而使得模拟的场景更加贴近真实情况,进而通过模拟实践的方式实现对用户创新素质的训练及测评;创新素质是一个比较笼统的概念,是从多方面对用户进行测评的(包含分类比较能力、计算能力、记忆力及注意力);将测评案例中设置不同的偏重值是为了针对用户创新素质的薄弱点进行相应的训练,相应的,用户创新素质中某类能力越薄弱,则测评案例中该类别对应的偏重值越大。
所述强化推荐模块获得用户创新素质的测评结果后,分类比较能力、计算能力、记忆力及注意力这四类分别对应的测评结果中的最小值对应的类别为用户创新素质中的薄弱点,
若用户创新素质的测评结果中,分类比较能力、计算能力、记忆力及注意力这四类对应的测评结果分别为k1、k2、k3及k4,则推荐的测评案例中分类比较能力、计算能力、记忆力及注意力分别对应偏重值的比值为
每类对应的偏重值表示测评案例中该类对应提问内容数量占提问内容总数量的比值。
本实施例中若分类比较能力、计算能力、记忆力及注意力这四类对应的测评结果分别为0.5、0.6、0.4及0.8;
则推荐的测评案例中分类比较能力、计算能力、记忆力及注意力分别对应偏重值的比值为
本发明设置分类比较能力、计算能力、记忆力及注意力分别对应偏重值的比值的标准是,每个类别对应的测评结果越小,其相应的类别在推荐的测评案例中所占的偏重值越大,同时各类别偏重值之和确保为1。
所述训练效果比对模块分别获取用户每次训练时创新素质中各类别分别对应的测评结果,分别构建不同训练时间同一类别对应的测评结果随时间变化的折线变化图,每个测评结果与相应的折线变化图中的相应是时间节点进行绑定。
所述交互式训练模块提取测评案例库模块中各个测评案例对应的虚拟场景时,以虚拟人物的头部在标准空间直角坐标系中的坐标点作为参照点,以用户头部所处位置在虚拟场景中标准空间直角坐标系中对应的坐标点为用户点,
将从用户点至参照点构成的向量记为标准向量,所述标准向量时可变的,标准向量随用户点及参照点的变化而变化。
本发明交互式训练模块获取标准向量,是为了获取用户距离虚拟人物的距离,并为后续获取训练过程中用户面部朝向的方向与标准向量的夹角记为β,进而为后续训练过程中产生的音频文件进行分析、调整,使得训练过程中模拟的场景更加真实且贴合实际情况。
所述交互式训练模块通过人机交互的方式对用户进行训练的过程中,通过耳麦获取虚拟人物的提问内容,通过第一拾音器获取用户针对提问内容的解答,
将第一拾音器获取的训练过程中随时间变化的人机交互过程的音频文件,记为第一音频文件,所述第一音频文件只包含用户的声音,
将耳麦传递的训练过程中随时间变化的人机交互过程的音频文件,记为第二音频文件,所述第二音频文件只包含虚拟人物的提问内容;
所述交互式训练模块还获取训练过程中标准向量随时间变化的结果,将训练过程中时间t对应的标准向量的模长记为L(t);
获取训练过程中用户面部朝向的方向与标准向量的夹角记为β,并将训练过程中时间t对应的用户面部朝向的方向与标准向量的夹角记为β(t)。
本发明分别获取第一音频文件、第二音频文件、L(t)及β(t),是为了对第一音频文件中不同时间虚拟人物能够听到的声音强度进行分析、调整,进而模拟、预估出虚拟人物能够听到音频内容,该模拟方式是为了模拟出实际生活中两人互相交谈的场景(声音强度小的情况下,对方可能听不到,进而获取不到相应的信息)。
所述测评分析模块对用户训练生成的音频文件进行分析的过程中,会根据第一音频文件、第二音频文件及相应的L(t)、β(t),对人机交互过程中的声音强度随时间的变化情况进行模拟还原,预估出对方能够听到的音频内容,并识别出相应的文本内容,进而根据识别的文本内容得到用户创新素质的测评结果,
用户能够听到的音频内容不需要进行预估,为第二音频文件对应的内容,即第二音频文件为预估处理过的音频文件,
将第二音频文件对应的未经处理的音频文件记为第三音频文件;
测评分析模块预估虚拟人物能够听到的音频内容的方法包括以下步骤:
S1.1、获取第一音频文件中时间t为不同值时对应的声音强度g1(t);
S1.2、计算L(t)对听觉的影响系数f1[L(t)],
所述
其中,a1为常数,L0为常数,表示标准向量的初始模长,b1也为常数且b1>L0;
本实施例中若L(t)=0.2*t+1,L0=1,b1=3,
S1.3、计算β(t)对听觉的影响系数f2[β(t)],
所述f2[β(t)]=a2*[cos(β(t))+b2],其中,a2和b2均为常数,且b2>1,所述a1、a2均大于0;
本实施例中若
且0≤t≤2,b2=9,a2=0.1,
当t=0时,即β(0)=0,则f2[β(0)]=0.1*10=1,
S1.4、初步预估虚拟人物能够听到的声音强度G(t),
S1.5、根据第二音频文件及相应的L(t)、β(t),获取声音强度偏差值Q;
S1.6、二次预估虚拟人物能够听到的声音强度G1(t),所述
当G1(t)>0时,则G1(t)=G(t)+Q,
当G1(t)=0时,则G1(t)=0,
当G1(t)<0时,则G1(t)=G(t)-Q;
S1.7、分别将t为不同值时,G1(t)与第一阈值进行比较,进而得到最终能够被虚拟人物听到的声音强度G11(t),
当|G1(t)|大于等于第一阈值时,则G11(t)=G1(t),
当|G1(t)|小于第一阈值时,则G11(t)=0;
S1.8、获取第一音频文件中声音强度G11(t)大于或者小于0时对应的时间范围W,截取第一音频文件中时间范围W对应的音频部分内容,记为预估的虚拟人物能够听到的音频内容。
本发明测评分析模块计算L(t)对听觉的影响系数f1[L(t)]时,计算L(t)-L0,是为了获取在时间t时用户与虚拟人物的距离与初始时(t为0时)用户与虚拟人物距离的差值;设置b1>L0,是为了确保L(t)-L0+b1的结果大于0,进而使得f1[L(t)]的结果为正数;因为在标准空间直角坐标系中,任意两个向量的夹角大于等于0且小于等于180度,进而cos(β(t))对应的取值范围为[-1,1],且cos(β(t))的值随β(t)的增大而减小;设置b2>1,是为了确保cos(β(t))+b2大于0,进而使得f2[β(t)]的值为正数;获取G(t)时,计算g1(t)*f1[L(t)]*f2[β(t)],是为了获取在声音传播过程中,L(t)与β(t)对声音强度的影响,进而能够在一定程度上模拟出人物对话过程中受距离与面部朝向方向的影响,对方能够听到的音频内容;获取声音强度偏差值Q,是为了根据第二音频文件及相应的L(t)、β(t),计算预估用户能够听到的内容与实际能够听到的内容之间的差异,进而获取相应的偏差值,其目的是为了对虚拟人物能够听到的声音强度进行二次预估,使得预估结果更加精准;将G1(t)与第一阈值进行比较,是因为正常人物能够听到的声音强度是存在一定范围的,正常人对话的声音为40-60分贝;通过阈值,能够预测出虚拟人物能够听到的音频内容。
所述测评分析模块中获取预估的虚拟人物能够听到的音频内容,并识别该音频内容对应的文本内容,对文本内容进行文本分割,得到用户训练过程中针对相应问题的答案,
所述对文本内容进行文本分割是依据文本内容中各部分内容在第一音频文件中对应的时间及第二音频文件中虚拟人物的各个提问内容对应的时间,将第二音频文件中相邻的提问内容分别对应的时间作为一个文本分割片段对应的分割时间范围中的起始端点和终止端点,
获取文本内容中在第一音频文件中对应的时间在分割时间范围内的文本部分内容,将获取的每个文本部分内容分别作为一个文本分割片段;
将每个文本分割片段与对应分割时间范围中起始端点在第二音频文件中虚拟人物相应的提问内容进行绑定,
进一步将各个文本分割片段进行关键词提取,分别将每个文本分割片段对应的关键词逐个录入到一个空白集合中,进而每个文本分割片段得到一个关键词集合,并分别将每个关键词集合与相应文本分割片段对应的提问内容进行绑定,所述关键词集合中相同关键词只录入一次;
在数据库中,分别获取第二音频文件中虚拟人物各个提问内容对应的标准答案,每个标准答案对应一个参考关键词集合;
统计针对同一个提问内容时,该提问内容绑定的关键词集合与该提问内容对应的标准答案中相同的关键词个数,记为c,将该提问内容对应的标准答案中参考关键词集合内的参考关键词的总个数记为c1,则用户针对该提问内容的测评结果为
测评分析模块按分类比较能力、计算能力、记忆力及注意力这四个方面将第二音频文件中虚拟人物的各个提问内容分为四类,分别计算每类对应的各个提问内容相应的测评结果的平均值,将所得平均值记为该类对应的测评结果,进而得到用户创新素质的测评结果。
所述S1.5中根据第二音频文件及相应的L(t)、β(t),获取声音强度偏差值Q的方法包括以下步骤:
S1.4.1、获取第二音频文件中时间t为不同值时对应的声音强度g2(t);
S1.4.2、获取第三音频文件中时间t为不同值时对应的声音强度g3(t);
S1.4.3、根据第三音频文件,初步预估用户能够听到的声音强度G3(t),
S1.4.4、获取G3(t)中对应的总时长T及G3(t)的值等于0的时长T1;
本实施例中若g2(t)=0.2*t+45,G3(t)=0.22*t+44且T=5且T1=1;
本发明根据第三音频文件,初步预估用户能够听到的声音强度G3(t),是为了与g2(t)进行对比,g2(t)对应的是用户能够听到的声音强度,进而将g2(t)-G3(t)在0-T范围内进行积分,能够得到两者之间的总影响值,并将所得总影响值除以T-T1,进而得到声音强度偏差值Q;设置除数为T-T1,而不是T,是因为T1对应的是G3(t)的值等于0的时长,对应的是没有声音的,进而需要将该部分时间排除,即T-T1。
一种基于虚拟现实的交互式训练方法,所述方法包括以下步骤:
S1、在测评案例库模块中,存储交互式训练过程中需要用到的各个测评案例对应的虚拟场景;
S2、通过交互式训练模块提取测评案例库模块中各个测评案例对应的虚拟场景,通过人机交互的方式对用户进行训练,每次训练均生成相应的音频文件;
S3、通过测评分析模块对用户训练生成的音频文件进行分析,得到用户创新素质的测评结果;
S4、在强化推荐模块中,根据用户创新素质的测评结果,锁定用户创新素质中的薄弱点,并针对用户创新素质中的薄弱点情况,推荐相应的测评案例对用户进行训练;
S5、通过训练效果对比模块构建用户训练对应的测评结果随时间变化的折线变化图,并将每个测评结果与折线变化图中的相应节点进行绑定。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。
最后应说明的是:以上所述仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。