CN110021200A - 教学练考一体化的虚拟现实培训方法、装置及存储介质 - Google Patents

Abstract

本发明涉及虚拟现实技术领域，具体涉及教学练考一体化的虚拟现实培训方法、装置及存储介质。所述教学练考一体化的虚拟现实培训方法，包括以下步骤：在接收到切换培训模式的指令时，在虚拟现实场景中弹出重置菜单，所述重置菜单上包括模式选择菜单；在接收到模式选中指令时，关闭原模式场景，同时加载新模式场景，并将新模式场景对应的模拟画面及声音传送至VR设备。本发明借助虚拟现实技术，使用户可以体验在现实世界中经常发生或者极少发生的各类生产工况，并且该智能培训***结合了多种功能模式，培训者可以通过该***完成多样的培训项目，且该***中的多种功能模式可以随时自由切换，不需要退出程序后再登录，更加方便灵活。

Description

教学练考一体化的虚拟现实培训方法、装置及存储介质

技术领域

本发明涉及虚拟现实技术领域，具体涉及教学练考一体化的虚拟现实培训方法、装置及存储介质。

背景技术

近年来，模拟培训***已应用于电力教学模拟培训、电力***巡检培训、警察巡检的现场培训、矿井的实地模拟培训等领域，是现代化管理、培训的重要手段之一，极大地提高安全教育的效率，还可以减低错误操作而造成的危险。模拟培训***是一种集成了传感器技术、计算机接口技术、三维实时动画技术、人工智能技术、数据通信技术、网络技术、多媒体技术等先进技术于一体的仿真***，它不仅具有节能、安全、经济等优点，而且培训不受时间、气候、场地的限制。以往的模拟***中主要以PC端为主培训***，缺少了真实感和立体感，另外功能比较单一，页面的操作与切换比较麻烦、不灵活。

发明内容

本发明公开了教学练考一体化的虚拟现实培训方法、装置及存储介质，用以解决现有技术中培训***缺少真实感和立体感，且功能单一、功能切换不便的问题。

为了达到上述目的，本发明采用如下技术方案：

教学练考一体化的虚拟现实培训方法，包括以下步骤：在接收到切换培训模式的指令时，在虚拟现实场景中弹出重置菜单，所述重置菜单上包括模式选择菜单；在接收到模式选中指令时，关闭原模式场景，同时加载新模式场景，并将新模式场景对应的模拟画面及声音传送至VR设备。

进一步地，还包括以下步骤：在接收到进入所述教学练考一体化的虚拟现实培训***的指令时，加载开始界面并传输至VR设备；接收到进入下一步的指令时，切换到用户登录界面，所述用户登录界面上设置有包括教师登录选项、学生登录选项和管理员登录选项。

进一步地，还包括以下步骤：接收到用户的登录信息后，与预存的用户信息进行比对，如果登录信息正确，则切换到培训项目选择界面，所述培训项目选择界面上设置包括单人训练项目选项和多人训练项目选项。

进一步地，还包括以下步骤：接收到进入单人训练项目或多人训练项目的指令时，切换到指定的训练项目对应的培训模式选择界面，所述培训模式选择界面上设置有包括教学模式选项、考核模式选项与练习模式选项；接收到进入教学模式、考核模式或练习模式的指令时，开始加载该模式场景，并将该模式场景对应的模拟画面及声音传送至VR设备。

进一步地，接收到进入教学模式的指令时，在虚拟现实场景中弹出视屏播放界面，在所述视屏播放界面上播放教学视屏；或者接收到进入教学模式的指令时，在虚拟现实场景中展示三维教学模型，所述三维教学模型内设置有正在演示操作的教学人员。

进一步地，接收到进入练习模式的指令时，加载练习模式的场景，在虚拟现实场景中，接收到用户发出的需要实时指引或场景提示的指令时，在虚拟现实场景中弹出实时指引信息或微缩场景，所述实时指引信息包括场景提示信息、任务提示信息、主流程提示信息、交互点和交互区提示信息。

进一步地，接收到进入练习模式或考核模式的指令时，加载练习模式或考核模式的场景，开启数据统计，统计的数据包括个人总耗时、项目总耗时、步骤耗时、步骤扣分、扣分总数和扣分原因，并将上述数据记载于表单上按照日期分类保存；练习完毕或考核完毕，在用户界面上展示总分、错误汇总及评语。

进一步地，接收到修改和查看的指令时，在虚拟现实场景中显示修改和查看界面，其中，以管理员的身份登录时，所述修改和查看界面上设置有包括添加培训项目、修改培训项目和删除培训项目的选项；以教练的身份登录时，所述修改和查看界面上设置有包括修改学生数目、修改学生信息和查看学生学习情况的选项；以学生的身份登录时，所述修改和查看界面上设置有包括查看考核信息和练习信息的选项。

存储介质，所述存储介质上存储有计算机程序，其特征在于，所述计算机程序被执行时实现上述的教学练考一体化的虚拟现实培训方法。

教学练考一体化的虚拟现实培训装置，包括VR装置、处理器、存储装置和存储在所述存储装置上并可在所述处理器上执行的基于VR技术的程序，所述基于VR技术的程序基于结合MVC模式和单例模式设计，所述基于VR技术的程序被处理器执行时实现上述的教学练考一体化的虚拟现实培训方法。

与现有技术相比，本发明的有益效果为：本发明的教学练考一体化的虚拟现实培训方法借助虚拟现实技术的3I特性——沉浸、交互和构想，用户可以沉浸在虛拟操作环境当中，根据虚拟环境提供的视觉、听觉和触觉反馈，直接感知操作对象的结枃和工作原理，构想操作动作要领，体验在现实世界中经常发生或者极少发生的各类生产工况，并取得令人满意的培训效果，与传统的仿真***相比，具有高度的实时性和沉浸感、良好的交互性。并且该教学练考一体化的虚拟现实培训***结合了多种功能模式，培训者可以通过该***完成多样的培训项目，且该***中的多种功能模式通过重置菜单可以随时自由切换，不需要退出程序后再登录，更加方便灵活。

附图说明

图1是从开始界面到模式选择的示意图；

图2是实时同步虚拟现实场景变化信息到微缩场景的示意图。

具体实施方式

此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本实施例的教学练考一体化的虚拟现实培训装置，包括但不限于VR装置、显示器、音响、传感器、定位装置和手势识别装置；VR装置包括但不限于VR主机、头显、耳机和手柄，定位装置设置于头显上，用于检测佩戴头显的用户的位置；VR主机与VR装置、传感器、定位装置、手势识别装置通讯连接，音响与VR主机电连接，耳机与音响通讯连接，耳机内可以播放音响发出的声音；传感器包括光传感器、运动传感器等，传感器可以根据环境的变化改变教学练考一体化的虚拟现实培训装置的运行状态，例如，光传感器包括环境光传感器，环境光传感器可根据环境光线的明暗来调节显示屏的亮度，其他传感器采用常规设置，不一一列举；手势识别装置为leap motion传感器，手势识别装置安装在可以识别用户手部的位置，优选地，将手势识别装置安装在显示器上正对用户的位置；上述VR装置、显示器、音响、传感器、定位装置和手势识别装置的具体结构以及具体的连接关系采用现有技术实现，在此不再赘述。

用户可以通过手势或手柄与该教学练考一体化的虚拟现实培训装置进行交互。VR主机内储存有手势库，用户双手位于leap motion传感器可以识别的范围中，用户的双手做出特定的动作被leap motion传感器识别后，将该手势与手势库内的动作相对应，识别手势对应的***操作，并完成相应的操作；手柄上也设置有一些按钮，用户也可以通过按动手柄上的一些按钮做出操作，例如可以通过手柄按钮调出实时指引信息、工具菜单和重置菜单，需要查看实时指引信息时，用户可以主动控制使实时指引信息弹出，查看实时指引信息后，可以确定场景信息和主流程信息，或按照任务提示信息指引作用于指定可交互区和可交互点完成场景任务。使用手柄与该教学练考一体化的虚拟现实培训装置进行交互时，手柄会发出交互射线，当交互射线的末端指向可交互区或可交互点时，控制该可交互区或可交互点变换成带颜色的高亮显示，表示已经选中该可交互点或可交互区；当交互射线的末端从可交互区或可交互点移开时，控制该可交互点或可交互区的颜色变换成不同的颜色或取消高亮显示，表示取消选中状态，可以重新进行选择。

VR主机内包括处理器和存储装置，存储装置内存储有基于VR技术的程序，打开基于VR技术的程序时，处理器在接收到指令后，执行该基于VR技术的程序，生成虚拟现实场景并将该虚拟现实场景发送至头显中显示，用户佩戴头显和耳机，进入虚拟现实场景。

参照附图1，该种教学练考一体化的虚拟现实培训装置的培训方法，具体包括以下步骤：

(1)用户在VR主机上启动基于VR技术的程序，在接收到进入教学练考一体化的虚拟现实培训***的指令时，加载开始界面并传输至VR设备，虚拟现实场景中展示开始界面，用户通过手柄或手势确定进入下一步；开始界面中设置选项；

(2)接收到进入下一步的指令时，切换到用户登录界面，用户登录界面上设置有包括教师登录选项、学生登录选项和管理员登录选项；用户根据需求，选择一个登陆选项确定进入，接收到登陆的请求时，弹出登录信息输入界面，用户在信息输入界面输入登录信息；登录信息输入界面上还设置有注册选项，如果用户是第一次使用该教学练考一体化的虚拟现实培训装置，则需要通过注册选项，预存用户信息；

(3)接收到用户的登录信息后，与预存的用户信息进行比对，如果登录信息正确，则切换到培训项目选择界面，培训项目选择界面上设置包括单人训练项目选项和多人训练项目选项，用户选择其中一种项目确定进入；如果登录信息不正确，则弹出需要重新登录的提示界面；其中，单人训练项目是指单人完成的训练项目，多人训练项目是指需要多人协同合作完成的项目；

(4)接收到进入单人训练项目或多人训练项目的指令时，切换到指定的训练项目对应的培训模式选择界面，培训模式选择界面上设置有包括教学模式选项、考核模式选项与练习模式选项；用户根据需求选择其中一种模式确定进入；

(5)接收到进入教学模式、考核模式或练习模式的指令时，开始加载该模式场景，并将该模式场景对应的模拟画面及声音传送至VR设备。

其中，用户进入教学模式后，可以采用视屏教学或三维教学的模式对用户进行教学。采用视屏教学时，接收到进入教学模式的指令时，在虚拟现实场景中弹出视屏播放界面，在视屏播放界面上播放教学视屏，在整个学习过程中，学生可以单独完成，不需要教学人员的指导；采用三维教学的模式对用户进行教学时，接收到进入教学模式的指令时，在虚拟现实场景中展示三维教学模型，三维教学模型是实际教学场景的缩小版，在三维教学模型内设置有正在演示操作的教学人员，三维教学模型固定，用户可以围绕三维教学模型转动以便清晰的观看三维教学模型内的教学人员的操作。

学生进入练习模式后，学生可以独立完成练习，但是当学生在练习时不知道自己所处在虚拟现实场景中的位置或是忘记接下来要做什么任务、不知道如何完成该项任务时，都需要该智能培训***给出提示。为了克服现有技术中路线指引过于固定化，不能进行实时指引，并且对于起点不一样的用户，***不能根据实时状况作出正确的指引的问题，本发明的教学练考一体化的虚拟现实培训装置中存储的基于VR技术的程序，该程序执行时包括一整套编排有执行顺序的任务，该程序可以为用户提供实时的指引，即根据用户实时位置确定在实时路线中排序为第一的任务，然后以该任务为实时任务起点，再根据程序中整体任务的编排顺序，依次完成该任务后续的任务，具体的包括以下步骤:

(1)根据用户当前的X轴、Y轴和Z轴信息确定用户当前的实时位置；

(2)根据用户的实时位置规划实时任务路线：对比用户当前的位置与附近的未完成的任务的位置距离，将距离用户实时位置最近的未完成的任务作为实时任务路线中执行顺序为第一的任务，再根据整体任务中的排序确定实时任务路线中执行顺序第一的任务的后续任务；

(3)实时监测用户是否发出指令，当获取到用户发出的需要实时指引的指令时，在虚拟现实场景中弹出与实时任务路线相对应的实时指引信息；同时，实时监控网络状态，当监测到断线或服务器关闭后，在虚拟现实场景中弹出网络状态提醒。

其中，整体任务包括数个基于程序排序的任务，每一个任务对应一个指引信息；实时任务路线是由数个任务组成，将实时任务路线中执行顺序为第一的任务对应的指引信息设置为实时任务路线所对应的实时指引信息。实时指引信息包括场景提示信息、任务位置提示信息和主流程提示信息；用户可以从场景提示信息中了解目前所处的场景，可以从主流程提示信息中知道整个虚拟现实场景的整体任务概况，任务位置提示为该实时任务路线中执行顺序为第一的任务所对应的实时指引信息，用户可以从任务位置提示中知道目前需要完成的任务情况，具体包括任务位置提示、移动路线提醒、攀爬移动提醒和可交互点、可交互区提示，可交互点或可交互区包括但不限于各种菜单(工具菜单、重置菜单等)、任务点(如攀爬点、锚固点等)；任务位置提示设置于任务位置附近，或设置于用户头部正前方3米并固定在虚拟现实场景中。

用户进入虚拟现实场景后，由于VR场景规模较大，导致用户无法***的清晰的了解整体的场景和场景细节，可能会迷失，因此需要场景提示。本发明的教学练考一体化的虚拟现实培训装置中存储的基于VR技术的程序，该程序执行时能在用户通过手势或手柄发出需要场景提示的指令时，在虚拟现实场景中展示微缩场景，具体的包括以下步骤：

(1)将虚拟现实场景中所有要素的三维坐标按照比例缩小，根据缩小后的三维坐标构建微缩场景；

(2)获取虚拟现实场景中所有提示信息、交互区、交互点展示的位置的三维坐标，并将三维坐标信息按比例缩小，按照缩小后的三维坐标将提示信息、交互区、交互点置入微缩场景中，以使提示信息、交互区、交互点在微缩场景内展示的位置与提示信息、交互区、交互点在虚拟现实场景中展示的位置一致；

(3)实时获取用户在虚拟现实场景中的位置的三维坐标，将三维坐标按比例缩小后，在微缩场景中按照缩小后的三维坐标实时显示用户的微缩，以使用户的微缩在微缩场景中的位置与用户在虚拟现实场景中的位置一致；

(4)参照附图2，实时监控虚拟现实场景，如果虚拟现实场景状态发生改变，则计算出即时状态数据，并将即时状态同步于微缩场景，如果虚拟现实场景状态未发生改变，则不同步于微缩场景；其中即时状态包括但不限于用户移动和场景物体状态的改变；

(5)接收到用户发出的需要场景提示的指令时，根据用户发出指令时刻的方位确定微缩场景相对于虚拟现实场景的方位，并将微缩场景以该相对于虚拟现实场景的方位固定在虚拟现实场景中；

优选地，在用户头部正前方3米处显示微缩场景，并且将微缩场景固定在虚拟现实场景中，使微缩场景的展示位置不随用户头部的移动而改变，以便于用户360°围绕微缩场景转动以熟悉场景细节，同时控制手柄发出震动脉冲，耳机中播报语音提示；

(6)接收到用户发出的不需要场景提示的指令时，隐藏微缩场景。

用户进入考核模式后，考核模式内的虚拟现实场景与练习模式相同，但是考核模式中不存在实时指引信息以及交互点、交互区的提示，参加考核的用户必须完全凭借自己去完成考核，***不会提供任何帮助。

考核模式和练习模式所对应的虚拟现实场景，在接收到进入练习模式或考核模式的指令时，加载练习模式或考核模式的场景，开启数据统计，统计的数据包括个人总耗时、项目总耗时、步骤耗时、步骤扣分、扣分总数和扣分原因，并将上述数据记载于表单上按照日期分类保存；在考核完毕或练习完毕，用户界面会展示评分、错误汇总以及评语，且智能培训***把不同的培训项目的评分、错误汇总以及评语记录于不同的表单上并按照日期分类保存，以便于查询。

用户从登录选项进入后，可以通过手柄或手势控制弹出修改和查看界面，接收到修改和查看的指令时，在虚拟现实场景中显示修改和查看界面，其中，以管理员的身份登录时，修改和查看界面上设置有包括添加培训项目、修改培训项目和删除培训项目的选项；以教练的身份登录时，修改和查看界面上设置有包括修改学生数目、修改学生信息和查看学生学习情况的选项；以学生的身份登录时，修改和查看界面上设置有包括查看考核信息和练习信息的选项。

进一步作为优选地实施方式，本发明的教学练考一体化的虚拟现实培训装置不需要重启就能切换功能模式，解决了功能切换不便的问题，在接收到切换培训模式的指令时，在虚拟现实场景中弹出重置菜单，重置菜单上包括模式选择菜单，模式选择菜单中包括多种培训模式；用户在多种培训模式中选择其中一种确定切换，在接收到用户已选定新模式并确定切换的指令时，关闭原模式场景，同时加载新模式场景，并将新模式场景对应的模拟画面及声音传送至VR设备。本发明中的软件基于结合MVC模式和单例模式设计，将多用户的选项设计为统一选项，MVC设计模式可以让程序实现各施其职、互不干涉，程序与程序之间没有联系，独立存在，可以随意装载和拆卸，有利于开发中的分工，开发过程中避免重复劳动和内容冲突，交替配合工作从而提高工作效率；也有利于组件的重用，对于已经有的功能可以重复运用，提高开发效率。单例模式可以让程序减少内存开支，避免对资源的多重占用，并且实现***资源的全局访问，优化和共享资源访问。本教学练考一体化的虚拟现实培训装置中多数程序内容为配置表配置，无需修改代码即可修改程序内容，所有反馈给用户的信息资料都会自动记录在表单中，方便用户随时查阅核对。

以上所述仅为本发明的较佳实施方式，本发明并不局限于上述实施方式，在实施过程中可能存在局部微小的结构改动，如果对本发明的各种改动或变型不脱离本发明的精神和范围，且属于本发明的权利要求和等同技术范围之内，则本发明也意图包含这些改动和变型。

Claims (10)

1.教学练考一体化的虚拟现实培训方法，其特征在于，包括以下步骤：在接收到切换培训模式的指令时，在虚拟现实场景中弹出重置菜单，所述重置菜单上包括模式选择菜单；在接收到模式选中指令时，关闭原模式场景，同时加载新模式场景，并将新模式场景对应的模拟画面及声音传送至VR设备。

2.根据权利要求1所述的教学练考一体化的虚拟现实培训方法，其特征在于，还包括以下步骤：在接收到进入所述教学练考一体化的虚拟现实培训***的指令时，加载开始界面并传输至VR设备；接收到进入下一步的指令时，切换到用户登录界面，所述用户登录界面上设置有包括教师登录选项、学生登录选项和管理员登录选项。

3.根据权利要求2所述的教学练考一体化的虚拟现实培训方法，其特征在于，还包括以下步骤：接收到用户的登录信息后，与预存的用户信息进行比对，如果登录信息正确，则切换到培训项目选择界面，所述培训项目选择界面上设置包括单人训练项目选项和多人训练项目选项。

4.根据权利要求3所述的教学练考一体化的虚拟现实培训方法，其特征在于，还包括以下步骤：接收到进入单人训练项目或多人训练项目的指令时，切换到指定的训练项目对应的培训模式选择界面，所述培训模式选择界面上设置有包括教学模式选项、考核模式选项与练习模式选项；接收到进入教学模式、考核模式或练习模式的指令时，开始加载该模式场景，并将该模式场景对应的模拟画面及声音传送至VR设备。

5.根据权利要求4所述的教学练考一体化的虚拟现实培训方法，其特征在于，接收到进入教学模式的指令时，在虚拟现实场景中弹出视屏播放界面，在所述视屏播放界面上播放教学视屏；或者接收到进入教学模式的指令时，在虚拟现实场景中展示三维教学模型，所述三维教学模型内设置有正在演示操作的教学人员。

6.根据权利要求4所述的教学练考一体化的虚拟现实培训方法，其特征在于，接收到进入练习模式的指令时，加载练习模式的场景，在虚拟现实场景中，接收到用户发出的需要实时指引或场景提示的指令时，在虚拟现实场景中弹出实时指引信息或微缩场景，所述实时指引信息包括场景提示信息、任务提示信息、主流程提示信息、交互点和交互区提示信息。

7.根据权利要求4所述的教学练考一体化的虚拟现实培训方法，其特征在于，接收到进入练习模式或考核模式的指令时，加载练习模式或考核模式的场景，开启数据统计，统计的数据包括个人总耗时、项目总耗时、步骤耗时、步骤扣分、扣分总数和扣分原因，并将上述数据记载于表单上按照日期分类保存；练习完毕或考核完毕，在用户界面上展示总分、错误汇总及评语。

8.根据权利要求2所述的教学练考一体化的虚拟现实培训方法，其特征在于，接收到修改和查看的指令时，在虚拟现实场景中显示修改和查看界面，其中，以管理员的身份登录时，所述修改和查看界面上设置有包括添加培训项目、修改培训项目和删除培训项目的选项；以教练的身份登录时，所述修改和查看界面上设置有包括修改学生数目、修改学生信息和查看学生学习情况的选项；以学生的身份登录时，所述修改和查看界面上设置有包括查看考核信息和练习信息的选项。

9.存储介质，所述存储介质上存储有计算机程序，其特征在于，所述计算机程序被执行时实现如权利要求1～8中任一项所述的教学练考一体化的虚拟现实培训方法。

10.教学练考一体化的虚拟现实培训装置，其特征在于，包括VR装置、处理器、存储装置和存储在所述存储装置上并可在所述处理器上执行的基于VR技术的程序，所述基于VR技术的程序基于结合MVC模式和单例模式设计，所述基于VR技术的程序被处理器执行时实现如权利要求1～8中任一项所述的教学练考一体化的虚拟现实培训方法。