CN116229793A - 一种基于虚拟现实技术的培训考核*** - Google Patents

Abstract

本发明涉及一种基于虚拟现实技术的培训考核***，包括引导式学习模式、反馈式训练模式和考核模式；在引导式学习模式中，服务器于学生视觉中显示出正确操作流程的动作，学生根据任务导航列表提示，通过将自身手部与引导手相重合的方式进行操作流程的练习；在反馈式训练模式中，服务器取消任务导航列表并取消引导手模型的显示，基于引导手模型和学生动作的偏差做出反馈提醒，并且给出引导手模型的示范；在考核模式中，服务器根据老师的要求产生与学生考试大纲相吻合的场景和案例情景以进行考核。本发明模拟临床真实场景，通过不同病情下学生对病情变化的判断、决策和实施的处理或护理措施正确与否来考核学生，而非以考试答题形式对学生进行考核。

Description

一种基于虚拟现实技术的培训考核***

技术领域

本发明涉及医疗培训技术领域，尤其涉及一种基于虚拟现实技术的培训考核***。

背景技术

虚拟现实技术作为新一代信息技术的前沿发展方向，正朝着各行业各领域深入渗透，市场需求也正不断地扩大。而在医疗和护理领域，现有的医学/护理教学模式下，学生在临床实***。模拟的临床操作也能简化培训难度和更重点训练思维，使得学生或实***和实践护理能力迅速提高，且不受时间、场地与人力物力资源限制，培训效率增加。

中国专利CN 110867122A公开了一种基于虚拟现实技术的交互式急救培训***，其包括：人物模型生成模块，胸外按压模块，人工呼吸模块，虚拟场景生成模块，动作生成模块，捕捉胸外按压模块以及人工呼吸模块的动作信息，并在场景中生成对应的虚拟动作；用户管理模块；反馈评价模块。利用虚拟现实技术生成不同的场景，根据不同场景的急救方式的区别，来进行多环境以及多方式的急救培训，提高医疗人员对于院前急救的技术；另外可以填补空白，利用虚拟现实技术，可以创建出一个还原度百分之百的灾难场景，甚至可以做出不同类型的伤员，让体验者身临其境感受到灾难带来的心理和身体的双重感官印象，增加紧张感和危机感。

中国专利CN107393390A公开了一种虚拟现实急救训练模型人和培训***，其中虚拟现实急救训练模型人包括半身模型人、追踪***及发送处理模块，还包括与发送处理模块相连的陀螺仪、脉搏位置传感器、胸部按压位置传感器、位移传感器及气压传感器，陀螺仪安装于半身模型人头部；培训***则包括模型人、接收模块、计算机主机、显示屏、数字手套和头盔显示器。该专利通过构建虚拟现实场景，使操作者产生身临其境的感觉，完成心肺复苏CPR知识讲解、训练和考试的目的，具有高安全、低成本和高成功率的优点。

中国专利CN114049808A公开了一种基于虚拟现实的应急知识培训***，***包括：显示器、主机、VR头显、手柄控制器；其中，主机分别与显示器、VR头显以及手柄控制器电连接；其中，主机包括虚拟现实的应急知识培训组件，应急知识培训组件运行后配合显示器、VR头显以及手柄控制器进行应急知识培训；其中应急知识培训组件包括废墟掩埋模块、移动逃生模块以及成功逃生提示模块。由于该专利通过应急知识培训组件中的废墟掩埋模块、移动逃生模块以及成功逃生提示模块将应急知识进行虚拟实现，并配合物理设备让用户置身于仿真模拟的灾害场景中，从而提升应急知识学习的趣味性，同时实现了高效与智能化的应急知识培训。

但是上述专利的缺陷在于：未***构建临床决策场景，未着重于虚拟操作与交互方面，导致实际使用时，对于使用者学习的帮助较低。尤其是对于培训的引导，对于可交互的场景、人物、物块的设计与信息获取的设计未考虑使用者为不存在实践操作，仅有理论知识的学习人员，即使进行过培训也不存在实践经验的累积。使用者只知其这样获取的结果，不知其如何获取，无法明确数据与现实场景的关系。因此，本发明提出通过使用虚拟现实装置进行临床情景与病患信息的给予以进行培训。并且除了培训主体与本发明关注的培训主体(在校本科生)不同之外，以上专利对于学生的虚拟现实培训只关注于某一相对来说较小的具体操作，而非对病人病情疾病发展转归的全局的训练与观察，较难锻炼到学生的临床思维和临床决策能力。

此外，一方面由于对本领域技术人员的理解存在差异；另一方面由于申请人做出本发明时研究了大量文献和专利，但篇幅所限并未详细罗列所有的细节与内容，然而这绝非本发明不具备这些现有技术的特征，相反本发明已经具备现有技术的所有特征，而且申请人保留在背景技术中增加相关现有技术之权利。

发明内容

由于当前培训体系往往建立在书本、图形以及计算机显示的方式进行，对于学生而言，由于书本、图形以及计算机显示的限制，学生只能从二维角度进行相关学习。对于复杂的病例辅助以及护理而言，学校采用情景模拟、标准病人、问题导向式学习(Problem-based learning，PBL)等方法对学生进行培训，但存在模拟性差、可重复性差以及时间地点局限等缺点。尤其是此种教学方法一般需要采用小班分组教学，教学资源的限制、教学同质性等均会受到影响。其需要进行的操作和相关知识是与该二维角度的数据相关联的。即，学生在二维角度需要不停参考病患的若干种信息以进行疾病的诊断和相应操作的抉择。这使得学生在进行培训时，需要通过计算机显示设备通过不断切换患者相关表单的方式查看患者的实际情况，以进行相应判断。

针对现有技术之不足，本发明提供了一种基于虚拟现实技术的培训考核***，尤其是涉及一种基于虚拟现实技术的培训质量反馈***。所述***至少包括引导式学习模式、反馈式训练模式和考核模式；其中，在所述引导式学习模式中，服务器在虚拟场景中构建与场景匹配的引导手模型，用以于学生视觉中显示出符合正确操作流程的手部动作，学生通过将自身手部与引导手相重合的方式进行操作流程的练习；在所述反馈式训练模式中，所述服务器取消引导手模型的显示，基于引导手模型和学生当前手部的偏差做出相应反馈提醒，并且给出相应引导手模型的示范；在所述考核模式中，所述服务器从案例数据库中抽取相应场景和模型或由老师预设相关场景和模型以进行考核。本发明针对现有医疗机构的学生或实习生缺少患者病情处理、所学的理论知识过于抽象、临床实验操作不易实施，缺少有效培训条件和管控培训质量的问题，基于虚拟现实技术进行培训质量反馈管理，相较于传统的通过书本理论知识和实验室情景模拟进行教学的方式，更能够真实构建临床情景，使学生或实习生能够不受时间和空间限制地学习。传统的临床实践和实验室仿真教学无法满足护生按照护理程序对患者实施个性化护理，难以达到训练护生的临床思维能力的目的。模拟的临床操作也能简化培训难度，使得学生或实习生的实践操作能力迅速提高。本发明根据患者病情发展变化，练习学生或实习生对患者病情观察、临床判断、临床决策、护理实施、人文关怀以及健康指导等必需内容，训练护理学生的临床决策能力和临床思维。

根据一种优选的实施方式，所述服务器基于学生的操作过程给予评分报告；其中，所述评分报告至少由学生手部的移动轨迹和触点与模型的相关位置进行分析得出。本发明的评分依据存储于数据库中，无需专家审核打分，完成相应步骤及操作后，服务器在本次操作记录中将该项内容标记为完成，并且会向学生反馈评分。

根据一种优选的实施方式，所述服务器分析学生手部移动轨迹和触点与模型的相关位置与引导手模型的动作偏差值，从而给出所述评分报告。

根据一种优选的实施方式，所述服务器基于学生手部空间位置与引导手模型空间位置的不同进行逐帧对比以输出动作偏差值；其中，所述服务器至少基于余弦相似性原理对学生的手部与引导手模型进行逐帧的动作偏差值的计算。

根据一种优选的实施方式，所述服务器被配置为：获取学生手部的当前空间位置，并作为起始点；分别对学生手部和引导手模型的空间位置进行获取，并计算形成的夹角的余弦值；基于起始点位置，学生手部和引导手模型每过一帧，分别计算学生手部和引导手模型的形成夹角的余弦值。

根据一种优选的实施方式，所述服务器还被配置为：通过加权求和与均值化分别得出整个考核过程中学生手部和引导手模型的数据；计算学生手部和引导手模型的数据值的差的绝对值；若得到的绝对值小于等于动作偏差值阈值，则判断学生手部和引导手模型的轨迹和触点吻合；若得到的绝对值大于匹配度阈值，则判断学生手部和引导手模型的轨迹和触点不吻合；通过线性归一化至匹配度阈值区间得出学生手部动作偏离引导手模型动作的度量值，以度量值作为最终得分。

根据一种优选的实施方式，所述服务器还在虚拟场景中进行引导信息的搭建，所述引导信息以任务列表的形式进行任务提示，所述引导信息至少设置于使用者的视野界面中。学生在引导式学习模式下通过视野界面中的任务列表得到任务提示，并可进行操作学习，可获得关键点解读，具有无时限、可重复的特点。通过上述设置，本发明简化了学生获取数据的方式和判断时间，降低出现数据错误的可能，提高培训过程中的趣味性，并且同步教学学生应当如何从虚拟场景中的物块对应现实世界中的相关设备以获取相关患者数据。

根据一种优选的实施方式，所述***还包括二维病患表单；所述二维病患表单是以二维的数据表的方式显示的；其中，在所述服务器建立至少一个虚拟场景的情况下，从病例数据库中提取的记载有虚拟场景内所有物块的属性信息的病患表单设置于所述服务器；在虚拟场景下，通过对虚拟场景内单个物块施加操作动作的方式将该物块由三维模型转换为所述二维病患表单；所述二维病患表单是显示在该虚拟场景内的至少一个满足视觉需求的显示面上的。通过预设操作动作触发二维病患表单，减少了数据查看时所需展示面积较大的问题，学生能够直接通过物块的二维病患表单了解到患者的相关信息，并且方便查找，也能够了解信息的来源。

根据一种优选的实施方式，所述操作动作至少包括在所述物块被预设动作触发的情况下，所述物块显示出所述二维病患表单；在所述物块被触发的情况下，与所述物块对应的所述二维病患表单以可见方式显示于虚拟场景中。现有培训体系中各病患表单的数据关系是不可见的，并且若干数据要素同时显示在该表单上，导致学生难以快速观察到数据变化。因此，本发明提出通过使用虚拟现实装置进行病患信息的给予以进行培训。

根据一种优选的实施方式，所述二维病患表单至少在虚拟场景中以颜色、伽马值和/或对比度与其余物块或背景能够区分的方式设置；当所述二维病患表单被显示于虚拟场景中时，所述服务器通过虚拟场景中各物块或背景颜色来选择适合所述二维病患表单展示的区域和特征。在虚拟场景中，有多种物块可供学生选择。该选择是复杂且多样的，并且其各个物块的颜色交融也是复杂的，导致若该物块与虚拟场景内其余物块或背景的颜色相仿，学生会难以了解到所需的数据，仅仅通过二维病患表单的方式不能解决其难以观测的问题。因此，本发明针对二维病患表单的显示面进行了设置，以使得服务器自动选择二维病患表单的显示方式。

附图说明

图1是本发明提供的一种优选实施方式的一种基于虚拟现实技术的培训考核***的场景的简化示意图；

图2是本发明提供的一种优选实施方式的老师通过影像观看的其中一个场景的简化示意图。

附图标记列表

1：服务器；2：虚拟现实设备；3：二维病患表单；4：虚拟场景。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其它实施例，均属于本发明保护的范围。

下面结合附图进行详细说明。

服务器：任何类型的计算机或处理***，包括但不限于移动终端、个人计算机(PC)、个人数字助理(PDA)、大型计算机、网络设备、具有能够存储并处理包含患者信息的数据库的***或其他设备或设备组合。其被广泛定义为涵盖具有至少一个执行来自存储介质的指令的处理器的任何设备或设备组合。

实施例1

本发明涉及一种基于虚拟现实技术的培训考核***。该***至少包括服务器1。服务器1能够与虚拟现实VR显示装置建立连接关系。服务器1可采用通用中央处理器CPU(Central Processing Unit)、应用专用集成电路ASIC(Application SpecificIntegrated Circuit)、微处理器或者一个或多个集成电路等构件执行相关指令或程序以实现本发明的技术方案。***还包括储存单元。储存单元可为服务器1的组成部分，或视为独立于服务器1的元件。例如，储存装置可采用只读存储器ROM(Read Only Memory)、随机存取存储器RAM(Random Access Memory)、静态存储设备、动态存储设备等形式实现。储存单元可储存服务器1的输入输出操作***、数据储存管理***、运行操作***等。在通过软件或硬件来实现本发明所述技术方案时，可将相关程序代码保持在储存单元中，并由服务器1来执行。

本发明以虚拟现实技术，搭建包括场景、人物、设备、用物等模块在内的培训交互训练***。场景包括：急诊大厅、抢救室、病房、护士站等。人物包括：护士、医生、患者、家属等。医疗设备包括：心电图机、心电监护仪、输液泵等。用物包括洗手液、采血用物等。本发明采用虚拟现实技术进行虚拟场景4的搭建以及仿真视觉效果的制作，着重于虚拟操作与交互方面，提供一种基于虚拟现实技术的培训质量反馈***。该***针对现有医疗机构的学生或实习生缺少患者病情处理以及常见疾病护理的实际操作的经验，所学的理论知识过于抽象、临床实验操作不易实施，缺少有效培训条件和管控培训质量的问题，基于虚拟现实技术进行培训质量反馈管理，相较于传统的通过书本理论知识和实验室情景模拟进行教学的方式，更能够真实构建临床情景，使学生或实习生能够不受时间和空间限制地学习。传统的临床实践和实验室仿真教学无法满足护生按照护理程序对患者实施个性化护理，难以达到训练护生的临床思维能力的目的。模拟的临床操作也能简化培训难度，使得学生或实习生的实践操作能力迅速提高。本发明根据患者病情发展变化，练习学生或实习生对患者病情观察、临床判断、临床决策、护理实施、人文关怀以及健康指导等内容，训练护理学生的临床决策能力和临床思维。

根据一种优选的实施方式，***还包括虚拟现实设备2。虚拟现实设备2包括外接反馈设备。例如手戴式虚拟现实设备2和头戴式虚拟现实设备2。使用者进行手部立于腹侧、手部丈量病患等需要触感要求的动作时，服务器1能够根据建立的虚拟场景4进行相应反馈，从而起到人机交互作用。优选地，***还包括投影模块，用于将基于虚拟现实技术的虚拟场景4和学生使用的虚拟手模型投放至扩展屏进行影像观看。优选地，可将使用者的第一人称视角和第三人称视角结合的方式投射影像，同时进行学习，一人操作多人学习，保证教学的同质性和高效性。

根据一种优选的实施方式，基于虚拟现实技术的培训***可分为引导式学习模式、反馈式训练模式和考核模式三种模式。在引导式学习模式下，学员可以根据比较详细的任务提示，进行***的护理临床思维及护理决策情景流程学习。适合初次接触本***或者低年资的护理学员。引导式学习模式下，有较为详细的任务导航列表，学员可以根据任务列表作为任务提示完成学习。引导式学习模式下的主要特点还包括：提供详细的任务列表，学生可按其提示要点，具体完成希望学习的内容。在反馈式训练模式下，学员可以根据少量任务提示，运用临床思维分析并决策任务完成顺序及所应包含的护理操作，并执行。反馈式训练模式下，在任务要点之余，根据学生操作，每完成一个小任务即显示其结果是否正确并即时给出评估反馈。在学员操作出现不可逆错误的情况下，会告知学员操作错误，并提示正确的答案。在考核模式下，学员无法获得任何任务提示，需在规定时间内，运用临床思维，判断病情及所需信息，并通过各类检查收集信息，独立思考并分析得出结论，做出决策。学习与训练过程中可查看评估报告，完成病例流程后，可获得最终实践得分和评估报告。优选地，在上述引导式学习模式中，服务器1在虚拟场景4中构建与该场景匹配的引导手模型，用以于学生视觉中显示出符合正确操作流程的手部动作。学生能够通过将自身手部与引导手相重合的方式进行操作流程的练习。优选地，在上述反馈式训练模式中，服务器1取消引导手模型的显示，但是基于引导手模型和学生当前手部的偏差做出相应反馈提醒，并且给出相应引导手模型的示范，从而提示学生该正确动作。优选地，在上述考核模式中，服务器1从众多案例数据库中抽取相应场景和模型或由老师预设相关场景和模型以进行考核。优选地，服务器1基于学生的操作过程给予评分报告或由老师进行第三视角的直观打分。优选地，评分报告至少由学生手部的移动轨迹和触点与模型的相关位置进行分析得出。优选地，服务器1分析学生手部移动轨迹和触点与模型的相关位置与引导手模型的动作偏差值，从而给出上述评分报告。优选地，在模拟患者中，每一病情变化或触发事件服务器1均提供正确、不恰当、错误三类答案，包含可能出现的各种操作。通过服务器1内已有的判断标准，对学员的操作进行正确与否的判断以及给出相应评分报告。本发明的评分依据存储于数据库中，无需专家审核打分，完成相应步骤及操作后，服务器1在本次操作记录中将该项内容标记为完成，并且会向学生反馈评分。优选地，在反馈式训练模式下，学生能够根据自身需求进行重复尝试，以达到正确操作的学习目的。若操作正确，服务器1会根据案例进程进行相应调整。优选地，在考核模式下，服务器1设置对应案例的时长，学生自由操作，完成后服务器1提供反馈评分。

根据一种优选的实施方式，在引导式学习模式中，服务器在虚拟场景中构建与场景匹配的引导手模型，用以于学生视觉中显示出符合正确操作流程的手部动作，学生根据任务导航列表提示，通过将自身手部与引导手相重合的方式进行操作流程的练习；在反馈式训练模式中，服务器取消任务导航列表，取消引导手模型的显示，基于引导手模型和学生当前手部的偏差做出相应反馈提醒，并且给出相应引导手模型的示范；在考核模式中，服务器从案例数据库中抽取相应场景和模型或由老师预设相关场景和模型以进行考核。

优选地，所述服务器基于学生的操作过程给予评分报告；其中，所述评分报告至少由学生手部的移动轨迹和触点与模型的相关位置和学生选择预设场景正确选项对比进行分析得出。所述评分报告至少由学生手部的移动轨迹和触点与模型的相关位置进行分析得出。

根据一种优选的实施方式，服务器1基于学生手部空间位置与引导手模型空间位置的不同进行逐帧对比以输出动作偏差值。上述空间位置包括基于人体手型的指尖、手掌和手腕。优选地，服务器1至少基于余弦相似性原理对学生的手部与引导手模型进行逐帧的动作偏差值的计算。具体地，服务器1获取学生手部的当前空间位置，并作为起始点；分别对学生手部和引导手模型的空间位置进行获取，并计算形成的夹角的余弦值；基于起始点位置，学生手部和引导手模型每过一帧，分别计算学生手部和引导手模型的形成夹角的余弦值；通过加权求和与均值化分别得出整个考核过程中学生手部和引导手模型的数据；计算学生手部和引导手模型的数据值的差的绝对值；若得到的绝对值小于等于动作偏差值阈值，则判断学生手部和引导手模型的轨迹和触点吻合；若得到的绝对值大于匹配度阈值，则判断学生手部和引导手模型的轨迹和触点不吻合；通过线性归一化至匹配度阈值区间得出学生手部动作偏离引导手模型动作的度量值，以度量值作为最终得分。

根据一种优选的实施方式，服务器1基于虚拟场景4及病例模型的不同给出不同的最终得分。由于直接通过学生的手部动作判断无法准确反应出学生的真实得分，因此服务器1基于模拟患者的治疗难度、护理难度以及临床决策进行最终得分的修正。优选地，学生最终得分的修正是根据治疗难度、护理难度以及临床决策进行的。优选地，不同病症的不同处理方式在最终得分计算中具有不同的加成系数。例如在处理助产操作时，存在胎盘、脐带等多种不同情况，尤其是脐带绕颈具有最高加成系数以计算最终得分。公式至少为：修正得分＝最终得分×脐带绕颈加成系数。

由于当前培训体系往往建立在书本、图形以及计算机显示的方式进行，对于学生而言，由于书本、图形以及计算机显示的限制，学生只能从二维角度进行相关学习。对于复杂的病例辅助以及护理而言，其需要进行的操作和相关知识是与该二维角度的数据相关联的。即，学生在二维角度需要不停参考病患的若干种信息以进行疾病的诊断和相应操作的抉择。这使得学生在进行培训时，需要通过计算机显示设备通过不断切换患者相关表单的方式查看患者的实际情况，以进行相应判断。但是在实际的操作过程中，学生能够通过询问、贴身观察、纸质文档以及病床旁监控设备的实时数据去获取患者的当前身体状态信息。现有培训体系受限于计算机设备显示面的局限性，纸面培训学生，导致学生获得的信息杂乱，并且学生只知其获取的结果，不知其如何获取，无法明确数据与现实场景的关系。即使在计算机设备中显示再多的数据，也无法弥补缺少现实场景的观察的缺陷。因此，本发明提出通过使用虚拟现实装置进行病患信息的给予以进行培训，通过更高程度的模拟真实临床场景，允许学生自主独立进行模拟病人的全部护理工作，对已有知识进行验证与补充，进行从评估到评价的完整护理程序，弥补学校常规教学与临床实践之间的差距。

根据一种优选的实施方式，***的数据库中储存有二维病患表单3。二维病患表单3是以二维的数据表的方式显示的。二维病患表单3能够在虚拟场景4中显示为平面图形。优选地，在服务器1建立至少一个虚拟场景4的情况下，服务器1从病例数据库中提取的记载有虚拟场景4内所有物块的属性信息的病患表单集合；服务器1基于二维病患表单中记载的物块属性信息将对应的二维病患表单映射至对应的三维模型，以使得在虚拟场景4下，通过对虚拟场景4内单个物块施加操作动作的方式将该物块由三维模型转换为二维病患表单3；服务器1基于三维模型的更新而同步映射地更新对应的二维病患表单；更新是指在三维模型转化显示图像时，对应的二维病患表单按照显示图像的更新而更新其数据内容，转化显示图像为显示内容改变而非仅视角变更而导致的图像形变。二维病患表单3是显示在该虚拟场景4内的至少一个满足视觉需求的显示面上的。优选地，二维病患表单3是与三维模型关联的。即，在三维模型进行相应数据切换时，二维病患表单3也进行对应数据的切换。例如，在上述三维模型为心电图机时，二维病患表单3基于心电图机显示的切换进行相应数据的切换。心电图机的每一图像(例如上一记录时刻心电图变化)均设有相关二维病患表单3(例如上一记录时刻心电图数据)。上述物块至少包括患者自身的虚拟人物、设置于患者床边的一系列虚拟检测设备以及虚拟场景4中的虚拟病例表。上述物块包括在该虚拟场景4中的构建出的所有虚拟模型。现有培训体系中各病患表单的数据关系是不可见的，并且若干数据要素同时显示在该表单上，导致学生难以快速观察到数据变化。

具体地，学生通过佩戴虚拟现实设备2进行虚拟场景4中，查看到设置于虚拟场景4内的物块。该物块包括患者自身的虚拟人物、设置于患者床边的一系列虚拟检测设备以及虚拟场景4中的虚拟病例表。学生通过点击或其余互动操作查看与该物块关联的二维病患表单3，以获取所需病患信息。本发明通过搭建虚拟场景4，将培训的相关数据通过虚拟现实技术整合至物块中，该物块是与现实真实设备或物件对应的，使得学生能够了解数据的来源方式，并且无需通过对数据表单的不断切换获取信息，以进行相关培训。学生从虚拟场景4中了解数据以对应于现实环境临床时，对患者的询问、贴身观测以及设备查看等操作，避免了计算机培训的局限性。其病患信息至少包括患者属性信息、权限属性信息和病例属性信息，还可以包括其余所需要的属性信息。优选地，服务器1基于病患信息中的一种或多种建立物块；服务器1基于病患信息中的隐藏信息确定物块所要进行显示的二维病患表单3和/或物块可视化特征。上述隐藏信息是指无需培训者了解的具体病情情况，而需培训者基于自身经验间接判断的患者情况。例如患者具体的病情情况以及发展为隐藏信息，而需显示的是患者的外在体征或内在生理参数变化。患者属性信息例如是患者的住院时长、既往病例等，只要与该患者相关的信息均可归入患者属性信息。权限属性信息是后台信息，例如是操作者能够进行修改的权限等级，以区分学生和老师。老师能够具有较高权限属性信息以对虚拟场景4进行修改和确认。病例属性信息例如是该物块所显示的病患信息，包括心电图信息、呼吸频率等，也能够包括能观察到的患者当前的身体状态，例如面部特征或生理特征。通过上述病患信息的区分，让学生基于实践经验进行自行判断，增强学生临场决策能力。

根据一种优选的实施方式，操作动作至少包括在物块被预设动作触发的情况下，物块显示出二维病患表单3。优选地，服务器1在使用者进行预设动作并且该预设动作符合触发物块的条件的情况下将对应的物块中的二维病患表单3进行显示。例如，预设动作能够是点击或手势或其余能够进行互动的动作。在物块被触发的情况下，与该物块对应的二维病患表单3以可见方式显示于虚拟场景4中。预设动作不限于上述示例，还能包括进行交互的动作。通过预设动作触发二维病患表单3，减少了数据查看时所需展示面积较大的问题，学生能够直接通过物块的二维病患表单3了解到患者的相关信息，并且方便查找，也能够了解信息的来源。

根据一种优选的实施方式，二维病患表单3是显示在该虚拟场景4内的至少一个满足视觉需求的显示面上的。在虚拟场景4中，有多种物块可供学生选择。该选择是复杂且多样的，并且其各个物块的颜色交融也是复杂的，导致若该物块与虚拟场景4内其余物块或背景的颜色相仿，学生会难以了解到所需的数据，仅仅通过二维病患表单3的方式不能解决其难以观测的问题。因此，本发明针对二维病患表单3的显示面进行了设置，以使得服务器1自动选择二维病患表单3的显示方式。优选地，二维病患表单3至少在虚拟场景4中以颜色、伽马值和/或对比度与其余物块或背景能够区分的方式设置。当二维病患表单3被显示于虚拟场景4中时，服务器1通过虚拟场景4中各物块或背景颜色来选择适合二维病患表单3展示的区域和特征。例如在单一背景的虚拟场景4中，服务器1通过背景的颜色种类来调节二维病患表单3的颜色、伽马值和/或对比度，使得二维病患表单3与其余物块或背景区分。优选地，二维病患表单3至少是以悬浮于相应物块旁且不与物块重合的方式设置的。当若干个二维病患表单3显示于虚拟场景4中时，由于二维病患表单3能够以悬浮的方式设置，增加了患者数据的展示面积，有利于学生快速获取患者数据并且进行相应操作的判断，节省考核事件并且了解到各个物块所能采集的信息。

根据一种优选的实施方式，二维病患表单3能够以嵌入物块内至少三个维度的方式设置于物块中。例如，在学生用操作动作触发物块后，物块能够延展出至少包括三个维度的立方模块以对二维病患表单3进行三维显示。二维病患表单3中的各项数据以立方模块的槽的方式填充与立方模块中。立方模块例如构成魔方的展示方式。如此设置的目的在于，将二维病患表单3所记载的相关信息进行有规律的配置和管理，以让学生快速掌握病患的情况。本发明的显示面不同于单一级别的二维展示，还可以是通过立方模块的集合以实现学生有规律地进行数据获取与教师的数据管理。优选地，在具有虚拟现实设备2操作的情况下，立方模块的视距、大小和/或清晰度都能够被选择。优选地，在通过拟现实设备操作的情况下，立方模块能够以全方位旋转的方式显示各个维度的数据以及其包含情况。立方模块的被选择面显示在学生视野中。通过上述设置，本发明简化了学生获取数据的方式和判断时间，降低出现数据错误的可能，提高培训过程中的趣味性，并且同步教学学生应当如何从虚拟场景4中的物块对应现实世界中的相关设备以获取相关患者数据。若干个维度的立方模块能够用于展示若干个纬度的病患信息，通过多维度多集合的方式实现若干信息的展示，使得使用者获取信息的能力增加，查找信息的效率增加。对于教师而言，能够通过多维度立方模块对物块中的病患信息进行快速修改和选择，立方模块的方式将二维病患表单3大数量级的显示数据集合为三维展示，教师通过旋转、拖动和/或选择等操作实现对该立方模块中所包含元素的控制，区别于现有技术通过二维显示界面进行若干个窗口的元素控制，本发明的立方模块简化教师操作并且通过三维显示进行元素的操控，无需进行若干个窗口的查找和窗口化的切换，大大提高了虚拟场景搭建的效率。对于学生而言，将病患信息有规律有维度地展示在虚拟场景中的方式能够便于学生进行相关信息的获取，同样无需从二维显示界面中繁复的若干个窗口中找寻自身需要的信息，仅需要进行对应维度和类型的判断就能通过多角度的方式锁定自身需要的信息，让学生快速掌握病患信息，而节省培训过程中浪费在普通信息获取中的时间，加快培训效率。

学员在学***不佳、容易遗忘关键步骤、学不会排障策略等，而由于“拟真”的需求，设备模型难以向学员展示这些“隐藏”信息，因为其映射的真实产品本身也不显示这些信息。而本方案通过二维表单的智能提取，并且基于学员在虚拟空间中指定动作的触发而形成三维映射二维的对等显示切换，使得能够在设备原位的多个展示面上对大量的“隐藏”信息进行展示，从而使得学员能够直观地建立信息与对应位置的关系，并且学习到相关的知识内容，能够大幅提升教学效果。

根据一种优选的实施方式，多名学生能够协调进入虚拟场景中以进行培训。优选地，若干名学生能够同步进入同一虚拟场景中；服务器1通过对若干名学生操作动作的实时判断对应进行反馈。优选地，在服务器1建立至少一个虚拟场景4的情况下，服务器1分配给若干名学生对应的操作身份或操作任务以进行协同培训；服务器1基于若干名学生对虚拟场景4内一个或多个物块施加的若干个操作动作将该物块由三维模型转换为二维病患表单3。多名学生能够看到彼此的虚拟形象以及各自的操作动作。多人培训用于培养学生在面对灾难现场的救援工作，包括培训协调能力，培训默契度以及配合度等方面。多人培训用于更进一步地模拟临床真实医疗护理场景，在单人训练的基础上可以进一步训练学生作为医疗团队一员的沟通协作能力。多名学生协作进行病人护理的培训。多名学生能够看到彼此的虚拟形象以及各自的操作动作，每名学生对虚拟病人做出的操作都将通过病人身体数值的变化显示反馈。多人协作用于培养学生在临床实践工作中的合作能力、与护士、医生以及其他医务人员协调合作的能力。

根据一种优选的实施方式，服务器1还在虚拟场景4中进行引导信息的搭建。引导信息以任务列表的形式进行任务提示。引导信息至少设置于使用者的视野界面中。引导信息包括：“疼痛部位的评估”“向医生提供临床决策”。学生在引导式学习模式下通过视野界面中的任务列表得到任务提示，并可进行操作学习，可获得关键点解读，具有无时限、可重复的特点。除任务进程的引导信息外，对于可交互的场景、人物、物块等，当使用者通过虚拟现实设备2操作该引导信息的视觉界面时，服务器1能够以高亮的方式和/或以箭头引导的方式提示此为可交互的内容，以提供相关提示信息。

本发明对于学生的分析与思考过程不进行输入，本发明模拟的是临床真实场景，重点在于通过不同病情下学生的活动(包括临床思维与决策点，即评估、诊断、计划、实施和评价等)正确与否来考核学生，考察学生的临床思维与临床决策能力，而非以纸质答题或单项操作考核的形式对学生进行考核。学生活动通过服务器1得到虚拟现实设备2的操作动作和运动轨迹的方式进行获取以及交互。通过是否进行相关操作动作以及操作动作的内容是否正确来得出学生的评分报告。

在全文中，“优选地”所引导的特征仅为一种可选方式，不应理解为必须设置，故此申请人保留随时放弃或删除相关优选特征之权利。

需要注意的是，上述具体实施例是示例性的，本领域技术人员可以在本发明公开内容的启发下想出各种解决方案，而这些解决方案也都属于本发明的公开范围并落入本发明的保护范围之内。本领域技术人员应该明白，本发明说明书及其附图均为说明性而并非构成对权利要求的限制。本发明的保护范围由权利要求及其等同物限定。本发明说明书包含多项发明构思，诸如“优选地”、“根据一个优选实施方式”或“可选地”均表示相应段落公开了一个独立的构思，申请人保留根据每项发明构思提出分案申请的权利。

Claims (10)

1.一种基于虚拟现实技术的培训考核***，其特征在于，所述***至少包括引导式学习模式、反馈式训练模式和考核模式；其中，

在所述引导式学习模式中，服务器(1)在虚拟场景(4)中构建与场景匹配的引导手模型，用以于学生视觉中显示出符合正确操作流程的手部动作，学生通过将自身手部与引导手相重合的方式进行操作流程的练习；

在所述反馈式训练模式中，所述服务器(1)取消引导手模型的显示，基于引导手模型和学生当前手部的偏差做出相应反馈提醒，并且给出相应引导手模型的示范；

在所述考核模式中，所述服务器(1)从案例数据库中抽取相应场景和模型或由老师预设相关场景和模型以进行考核。

2.根据权利要求1所述的***，其特征在于，所述服务器(1)基于学生的操作过程给予评分报告；其中，

所述评分报告至少由学生手部的移动轨迹和触点与模型的相关位置进行分析得出。

3.根据权利要求1或2所述的***，其特征在于，所述服务器(1)分析学生手部移动轨迹和触点与模型的相关位置与引导手模型的动作偏差值，从而给出所述评分报告。

4.根据权利要求1～3任一项所述的***，其特征在于，所述服务器(1)基于学生手部空间位置与引导手模型空间位置的不同进行逐帧对比以输出动作偏差值；其中，

所述服务器(1)至少基于余弦相似性原理对学生的手部与引导手模型进行逐帧的动作偏差值的计算。

5.根据权利要求1～4任一项所述的***，其特征在于，所述服务器(1)被配置为：

获取学生手部的当前空间位置，并作为起始点；

分别对学生手部和引导手模型的空间位置进行获取，并计算形成的夹角的余弦值；

基于起始点位置，学生手部和引导手模型每过一帧，分别计算学生手部和引导手模型的形成夹角的余弦值。

6.根据权利要求1～5任一项所述的***，其特征在于，所述服务器(1)还被配置为：

通过加权求和与均值化分别得出整个考核过程中学生手部和引导手模型的数据；

计算学生手部和引导手模型的数据值的差的绝对值；

若得到的绝对值小于等于动作偏差值阈值，则判断学生手部和引导手模型的轨迹和触点吻合；

若得到的绝对值大于匹配度阈值，则判断学生手部和引导手模型的轨迹和触点不吻合；

通过线性归一化至匹配度阈值区间得出学生手部动作偏离引导手模型动作的度量值，以度量值作为最终得分。

7.根据权利要求1～6任一项所述的***，其特征在于，所述服务器(1)还在虚拟场景(4)中进行引导信息的搭建，所述引导信息以任务列表的形式进行任务提示，所述引导信息至少设置于使用者的视野界面中。

8.根据权利要求1～7任一项所述的***，其特征在于，所述***还包括二维病患表单(3)；所述二维病患表单(3)是以二维的数据表的方式显示的；其中，

在所述服务器(1)建立至少一个虚拟场景(4)的情况下，从病例数据库中提取的记载有虚拟场景(4)内所有物块的属性信息的病患表单设置于所述服务器(1)；在虚拟场景(4)下，通过对虚拟场景(4)内单个物块施加操作动作的方式将该物块由三维模型转换为所述二维病患表单(3)；所述二维病患表单(3)是显示在该虚拟场景(4)内的至少一个满足视觉需求的显示面上的。

9.根据权利要求1～8任一项所述的***，其特征在于，所述操作动作至少包括在所述物块被预设动作触发的情况下，所述物块显示出所述二维病患表单(3)；在所述物块被触发的情况下，与所述物块对应的所述二维病患表单(3)以可见方式显示于虚拟场景(4)中。

10.根据权利要求1～9任一项所述的***，其特征在于，所述二维病患表单(3)至少在虚拟场景(4)中以颜色、伽马值和/或对比度与其余物块或背景能够区分的方式设置；当所述二维病患表单(3)被显示于虚拟场景(4)中时，所述服务器(1)通过虚拟场景(4)中各物块或背景颜色来选择适合所述二维病患表单(3)展示的区域和特征。

Images