CN105788390A - 基于增强现实的医学解剖辅助教学*** - Google Patents

Abstract

本发明公开了一种基于增强现实的医学解剖辅助教学***，涉及生物医学工程领域。该***由智能眼镜、解剖器械、教员控制单元、无线路由器和医学影像扫描设备组成，利用医学影像扫描设备获取的解剖信息，通过建模软件构建血管、肌肉、骨骼的三维虚拟模型，基于增强现实技术将三维虚拟模型与操作视野中的真实解剖部位融合叠加，使学生透过皮肤看到皮下的内部结构，同时可获得解剖器械相对于解剖部位精确的空间信息，实现操作视野的增强显示，具有探索学习、交互培训、考核评估三种教学模式。通过该***可以辅助学生进行操作前的理论学习、操作中的交互引导和操作后的智能评估，规范解剖操作动作，提高操作精准度，降低培训成本。

Description

基于增强现实的医学解剖辅助教学***

技术领域

本发明涉及生物医学工程领域，特别涉及基于增强现实的医学解剖辅助教学***。

背景技术

生物医学工程是一门新兴的边缘学科，它综合工程学、生物学和医学的理论和方法，在多层次上研究人体的结构、功能及其相互关系，为疾病的预防、诊断、治疗和康复服务。传统的医学解剖教学方法是采用教学视频的演示播放、器官实物标本讲解、模拟橡皮人解剖教学、人体尸体解剖教学、动物活体解剖教学以及专家手术现场观摩等形式。但视频教学不够直观，器官实物标本讲解形式过于单一，模拟橡皮人教学沉浸感不强，人体尸体和动物活体解剖训练费用高昂，而且大部分医学院校都面临着教学尸体来源少、观摩学生多、实际操作机会较少等问题。传统的教学方式无法实现对学生操作方法和程序的实时监控和考核量化，学生不能与老师的操作方法进行比对，及时发现自己的错误和不足，不利于操作技能的提升。虚拟现实与增强现实技术在医学领域均有广泛的应用。虚拟解剖是虚拟现实技术模拟解剖过程中可能遇到的各种现象，具体包括医学数据的交互与可视化、模拟组织器官变形和各种感官反馈，使学生在虚拟环境下完成操作训练，具有训练成本低、不受场地限制等优点。但虚拟解剖难以达到在解剖室亲身体验尸体解剖、大体标本教学过程中全面、真实、记忆深刻的教学要求。而且虚拟解剖***价格昂贵，***精度较低，无法进行功能性解剖操作训练。现有的医学导航***大都是利用虚拟现实技术构建的，它将虚拟手术器械与真实图像叠加，医生通过观察导航屏幕上的图像进行手术操作，使医生在感观上沉浸在计算机创造的虚拟环境中，在原理上是一种虚实分离的医学导航技术。虚拟现实技术的缺点在于医生不得不在导航屏幕与手术部位之间切换视野，获取手术器械与手术部位之间的相对位置，此过程难免存在主观上的偏差，同时也不符合手术的习惯，干扰手术进程。增强现实技术是近期发展起来的新研究方向，它把模拟的场景、物体或有关提示图像、信息融入到现实场景中，从而实现虚拟信息与真实世界的无缝集成，达到超越显示的感观体验。增强现实技术在医学导航中的应用，主要是利用X射线计算机断层成像(CT)、核磁共振(MRI)等医学影像技术，获取组织器官解剖信息，通过建模软件构建虚拟模型，应用增强现实技术和设备将虚拟模型与人体对应部位融合，使医生透过皮肤看见皮下的术野深部以及器官内部信息，同时可获得器官相对于身体精确的空间信息。但增强现实技术在医学领域主要被应用于外科手术导航，在医学解剖辅助教学方面还没有相关的技术方案。增强现实技术中广泛应用的显示设备为透视式显示设备，主要分为视频式和光学式。视频式透视设备主要是利用摄像机对真实世界进行拍摄，通过计算机将虚拟物体同真实世界采集的信息进行融合，输出到显示设备上。光学式透视设备利用光学仪器将虚拟信息投射到人眼，在人眼中实现虚实融合与增强。使用光学透视式设备，操作者在观察真实环境的同时还可看到计算机生成的增强图像和信息，显示效果明显优于视频透视式设备。目前提出的透视显示方案多为头盔显示器，医生佩戴后非常笨重，影响手术操作，没有得到很好的临床应用。因此，在医学教学方面需要一种佩戴简单方便、显示信息丰富、辅助功能强大、跟踪定位精确的医学解剖辅助教学技术方案。

发明内容

本发明的目的是针对传统医学解剖教学方法存在的不足，缺少智能化辅助教学工具，提供一种佩戴方便、功能丰富、交互性强、信息获取准确直观的基于增强现实的医学解剖辅助教学***。

本发明的技术方案是：一种基于增强现实的医学解剖辅助教学***，由智能眼镜(1)、解剖器械(2)、教员控制单元(3)、无线路由器(4)和医学影像扫描设备(5)组成，所述的智能眼镜(1)包括电池(1-1)、CPU(1-2)、摄像头(1-3)、棱镜(1-4)、镜架(1-5)、电磁敏感单元(1-6)、无线通信单元(1-7)、麦克风(1-8)、扬声器(1-9)，将各类传感器集成在镜架上，佩戴于人体头部，所述的解剖器械(2)包括刀片(2-1)、电磁发射单元(2-2)、手柄(2-3)，所述的教员监控单元(3)包括服务器计算机(3-1)、触控屏显示器(3-2)、麦克风(3-3)、音箱(3-4)，其特征在于：智能眼镜(1)通过无线通信单元(1-7)连接无线局域网进行数据信息实时交互，通过电磁敏感单元(1-6)接收电磁发射单元(2-2)的电磁信号对解剖器械(2)跟踪定位，解剖器械(2)中的刀片(2-1)安装于手柄(2-3)的前端，电磁发射单元(2-2)安装于手柄前端上部，教员控制单元(3)通过双绞线与无线路由器(4)相连接，教员控制单元(3)中的触控屏显示器(3-2)与服务器计算机(3-1)的显卡相连接，麦克风(3-3)、音箱(3-4)与服务器计算机(3-1)的声卡相连接，医学影像扫描设备(5)通过双绞线与无线路由器(4)相连接。

本发明的效果是：本发明利用医学影像扫描设备获取的解剖信息，通过建模软件构建血管、肌肉、骨骼的三维虚拟模型，基于增强现实技术将三维虚拟模型与学生视野中的真实解剖部位融合叠加，使学生透过皮肤看到皮下的内部结构，同时可获得解剖器械相对于解剖部位精确的空间信息，实现操作视野的增强显示。在探索学习模式下，学生既可以通过智能眼镜观看操作演示、标本讲解等信息，根据自身需要检索到感兴趣的知识点，也可以主动探索和认知人体各个部位，对重点学习部位进行虚拟解剖操作，为实际操作奠定基础。在交互培训模式下，学生按照操作提示和规划路径操作解剖器械，进行解剖操作，此种方式能够规范学生操作动作，降低误操作的几率，提高训练效率，缓解解剖对象数量少、培训人数受限等训练难题，降低培训成本。教师通过教员控制单元可以监控智能眼镜实时回传的视频画面，掌握学生操作情况，通过交互软件和语音进行实时互动和远程指导。在考核评估模式下，具备培训效果智能处理和评估功能，能够有效地对解剖操作过程进行管理，对操作的正确性给予判断和评分，并依据评估效果给出改进意见，解决解剖操作过程无法量化评分的问题。本发明的一个突出特点是可扩展性强，仅需升级教学软件，根据临床需要更换操作器械，即可用于临床手术教学、术前规划和各类手术引导，适应不断变化的医学需求。

附图说明

图1是基于增强现实的医学解剖辅助教学***硬件组成示意图；

图2是基于增强现实的医学解剖辅助教学***软件组成框图；

图3是基于增强现实的医学解剖辅助教学***探索学习模式流程图；

图4是基于增强现实的医学解剖辅助教学***交互培训模式流程图；

图5是基于增强现实的医学解剖辅助教学***考核评估模式流程图。

图中：1.智能眼镜，1-1.电池，1-2.CPU，1-3.摄像头，1-4.棱镜，1-5.镜架，1-6.电磁敏感单元，1-7.无线通信单元，1-8.麦克风，1-9.扬声器；2.解剖器械，2-1.刀片，2-2.电磁发射单元，2-3手柄；3.教员控制单元，3-1.服务器计算机，3-2.触控屏显示器，3-3.麦克风，3-4.音箱；4.无线路由器；5.医学影像扫描设备。

具体实施方式

一种基于增强现实的医学解剖辅助教学***，将智能眼镜、解剖器械、教员控制单元医学影像扫描设备等硬件资源同信息交互、视频采集、解剖规划、考核评估等软件资源纳入到局域网中，***硬件组成示意图如图1所示。***硬件主要由智能眼镜(1)、解剖器械(2)、教员控制单元(3)、无线路由器(4)和医学影像扫描设备(5)组成，所述的智能眼镜(1)包括电池(1-1)、CPU(1-2)、摄像头(1-3)、棱镜(1-4)、镜架(1-5)、电磁敏感单元(1-6)、无线通信单元(1-7)、麦克风(1-8)、扬声器(1-9)，将各类传感器集成在镜架上，佩戴于人体头部，是信息交互的中心，接收服务器计算机(3-1)数据库中采集的器官、血管、肌肉、骨骼的三维虚拟模型，通过棱镜投射到人眼，将三维虚拟模型与视野中的解剖部位融合叠加，使佩戴者透过皮肤看到皮下的术野深部以及器官内部信息，同时可获得解剖器械(2)相对于解剖部位精确的空间信息和操作路径，利用摄像头(1-3)将视频、图像信息实时发送至服务器计算机(3-1)，实现信息实时采集，利用语音智能识别技术获取检索信息，利用手势识别技术完成虚拟解剖操作。所述的解剖器械(2)包括刀片(2-1)、电磁发射单元(2-2)、手柄(2-3)，是操作执行单元，学生使用解剖器械(2)进行解剖操作，利用电磁发射单元(2-2)将解剖器械(2)的位置和姿态信息实时传输至智能眼镜(1)的电磁敏感单元(1-6)，通过CPU(1-2)的解算将三维虚拟模型与解剖部位融合，实现增强显示。所述的教员监控单元(3)包括服务器计算机(3-1)、触控屏显示器(3-2)、麦克风(3-3)、音箱(3-4)，是教师的管理控制平台，教师通过软件选择训练课程，扫描解剖部位获取三维虚拟模型，规划操作路径，服务器计算机(3-1)实时记录学生的操作动作和智能眼镜回传的视频画面，教师通过监控视频画面掌握学生操作情况，通过交互软件和语音进行实时互动和远程指导。所述的医学影像扫描设备(5)用于获取解剖部位的解剖信息，通过建模软件对解剖部位进行三维重构，为学生提供直观的增强信息。其特征在于：智能眼镜(1)通过无线通信单元(1-7)连接无线局域网实现数据信息的实时交互，通过电磁敏感单元(1-6)接收电磁发射单元(2-2)的电磁信号实现对解剖器械(2)的跟踪定位，解剖器械(2)中的刀片(2-1)安装于手柄(2-3)的前端，电磁发射单元(2-2)安装于手柄前端上部，教员控制单元(3)通过双绞线与无线路由器(4)相连接，教员控制单元(3)中的触控屏显示器(3-2)与服务器计算机(3-1)的显卡相连，麦克风(3-3)、音箱(3-4)与服务器计算机(3-1)的声卡相连，医学影像扫描设备(5)通过双绞线与无线路由器(4)相连接。智能眼镜(1)和解剖器械(2)可根据解剖教学需要配备多套，扩大教学资源的利用率，增加的智能眼镜(1)只需安装教学软件，连接无线局域网就可进行解剖操作训练，获得虚实融合的增强信息，实现过程简单，具有良好的可扩展性。

基于增强现实的医学解剖辅助教学***软件设计综合运用人工智能技术、建模与仿真技术、数据库技术、网络技术等，采用双层体系结构，底层为进行医学解剖辅助教学需要建立的各驱动引擎，顶层为面向用户的应用平台，为用户提供各种应用功能。***软件组成框图如图2所示，由智能眼镜软件和教员控制单元软件组成。

智能眼镜软件包括跟踪定位模块、信息交互模块、图像识别模块、视频采集模块、手势控制模块、语音识别模块，是信息交互中心。跟踪定位模块接收来自安装在解剖器械中的电磁发射单元的空间位置和六自由度姿态信息，转换为程序可识别的数据格式，通过解算程序进行解算和校准，获得解剖器械相对于解剖部位精确的空间信息和操作路径，并通过以太网将数据发送给交互引导模块和信息交互模块。信息交互模块通过棱镜将器官、血管、肌肉、骨骼的三维虚拟模型、解剖规划路径和解剖器械定位信息投射到人眼，将三维虚拟模型与视野中的解剖部位融合叠加，使佩戴者透过皮肤看到皮下的术野深部以及器官内部信息，实现操作视野的增强显示。图像识别模块接收双目立体视觉摄像头捕获的真实解剖部位和外加图形标记，利用数学运算计算出外加图形标记和摄像头的相对位置，通过相对位置调整三维虚拟模型的位置和方向，将三维虚拟模型与解剖部位融合，由信息交互模块显示。视频采集模块通过摄像头实时记录学生的解剖操作情况，利用无线局域网将视频信息传输至服务器计算机的视频数据库中存储，教师通过视频监控画面掌握操作进度和准确度。手势识别模块通过主控芯片检测手势特征，当检测的手势特征为预设的手势时，主控芯片向其它模块发出控制指令，如控制摄像头录像和拍照、扬声器的开启和关闭、视频的播放和停止、虚拟解剖操作动作等。语音识别模块通过麦克风阵列采集用户语音指令，将语音指令传输至语音识别模块，进行声音信号的特征提取和分类识别，同预设指令进行匹配，匹配成功后输出控制指令至相应的模块完成指令响应，如检索医学知识库、调用解剖教学视频、开启语音提示、进行语音记录等。

教员控制单元软件包括虚拟模型模块、解剖规划模块、交互引导模块、视频监控模块，***管理模块、考核评估模块、是教师的管理控制平台。虚拟模型模块通过医学影像扫描设备对解剖部位进行扫描，利用建模软件进行虚拟模型三维重构，学生可以实时调用三维虚拟模型和二维图片。解剖规划模块利用三维虚拟模型的数据信息进行解剖规划，教师通过触控屏显示器制定操作路径并输入解剖步骤和注意事项，设定相应的语音和文字提示信息。交互引导模块教师通过触控屏显示器可以看到虚实融合的增强画面，在解剖规划的基础上，通过触控屏发出指令信息，或者使用麦克风与学生进行语音交互，对错误的操作动作进行提醒，引导学生规范的完成每一步操作，使学生对操作过程能够深入的理解和掌握，提高训练效率和质量。视频监控画面调用智能眼镜视频采集模块实时采集的视频数据，教师可以通过触控屏显示器实时监控，在完成训练后，可以让学生回看自己的操作过程，指出操作缺陷，便于下次操作过程中重点去改正。***管理模块录入学生的基本信息，管理考核科目、操作信息和评估结果，根据不同学生存在的技术问题制定教学计划，有针对性的开展解剖训练。针对解剖训练需求建立底层驱动引擎，包括仿真软件环境、人体虚拟模型、多媒体环境，对上行数据进行处理，分解为不同类型的信息，传输给不同的软件模块。考核评估模块用于对考核科目进行初始设置，监控和记录解剖考核过程、中间数据和最终结果，依据智能分析与评判算法给出评估结果，为学生操作技能的提升提供参考依据。

本发明集成三种教学模式，即探索学习模式、交互培训模式和考核评估模式。

探索学习模式流程图如图3所示。探索学习模式下，通过观看教学课件、视频讲解学习人体各部分的组成及功能、解剖操作的方法步骤和注意事项，也可以根据自身学习兴趣进行虚拟解剖操作。学生通过语音识别模块登陆到***，选择探索学习模式，按照教师针对不同学生制定的教学计划学习本次培训需要掌握的知识，选择软件框架内的相应选项，进入对应的训练课程进行学习，观看不同身体部位的组成功能讲解、临床应用解剖方法步骤和注意事项。按计划学习完毕后，学生还可以按照自己的学习需求在虚拟环境下主动探索和认知人体的骨骼、肌肉、皮肤、神经、内脏器官和身体微循环，通过信息交互模块和手势识别模块对身体的某个部位进行虚拟解剖操作，锻炼学生的自主学习能力，进一步提升学习趣味性，为下步解剖操作奠定理论基础。

交互培训模式流程图如图4所示。在交互培训模式下，教师通过解剖规划模块为学生制定操作规划，学生按照操作提示和规划路径使用解剖器械完成解剖操作，在操作过程中，教师和学生可以通过语音、文字信息进行实时互动，达到最优的教学效果。学生通过语音识别模块登陆到***，选择交互培训模式，教师通过医学扫描设备扫描解剖部位，通过建模软件生成虚拟模型，利用解剖规划模块在虚拟模型上规划操作路径，添加提示信息和注意事项，在操作视野中显示虚拟模型、规划路径与真实解剖部位融合的增强画面，学生根据虚拟模型了解内部结构，按照规划路径和操作提示进行解剖操作，解剖浅层结构和深层结构，练习各种结构的解剖要领，学习临床诊治中经常遇到并且需要结合人体结构加以说明或处理的有关问题，为以后的临床应用奠定技术基础。在学生的操作过程中，教师通过教员控制单元的监控画面实时监控学生的操作情况，对需要重点掌握的知识点通过语音对学生进行讲授，对学生的错误操作加以提示，加大教学资源的利用率，提高学生的学习效率。

考核评估模式流程图如图5所示。在考核评估模式下，学生可以进行解剖理论考核和解剖操作考核。学生登录***选择解剖理论考核后，解剖理论考核为学生提供由人体骨骼、肌肉、皮肤、神经、内脏器官和身体微循环的组成、功能、结构、解剖方法、临床应用等方面组成的考核题库，教师根据学生的技术水平制定考核任务，生成考核试题，学生在信息交互模块中通过语音识别完成答题操作，完成考核后对考核情况进行评分。选择解剖操作考核后，教师通过考核评估模块为学生设定考核部位、操作内容和方法，关闭操作提示和虚拟模型，摄像头实时记录学生的每步操作并存储到数据库中，考核评估模块将学生的解剖操作行为与数据库中的标准操作方法进行比对，判断解剖操作的正确性，考核结束后显示考核结果信息，如解剖操作所用时间、标准操作、错误操作、量化评估结果。采取智能评估的方式对解剖操作信息进行检索，与以往解剖操作和考核情况进行综合对比分析，即根据学生的解剖操作技术、知识水平结构和技术缺陷，通过智能优化算法为学生提供相关度高的解剖操作内容和理论考核题库，经过反复训练不断提升学生的解剖操作技术和基础理论知识。

本发明具有扩展接口，提供与其他智能眼镜交互的数据接口，可以增加多套智能眼镜和解剖器械，建立的医学解剖辅助教学***体系结构、交互性培训方法具有通用性和可扩展性，将智能眼镜安装解剖教学软件后连接到无线局域网，即可进行解剖操作训练，教师通过教员控制单元可同时监控多名学生的解剖操作，也可根据需要与某名学生进行交流互动，大大提升培训效率。本发明采用开放式设计思想，仅需升级教学软件，根据临床需要更换操作器械，即可用于临床手术教学、术前规划和各类手术引导，适应不断变化的医学需求。

Claims (1)

1.一种基于增强现实的医学解剖辅助教学***，由智能眼镜(1)、解剖器械(2)、教员控制单元(3)、无线路由器(4)和医学影像扫描设备(5)组成，所述的智能眼镜(1)包括电池(1-1)、CPU(1-2)、摄像头(1-3)、棱镜(1-4)、镜架(1-5)、电磁敏感单元(1-6)、无线通信单元(1-7)、麦克风(1-8)、扬声器(1-9)，将各类传感器集成在镜架上，佩戴于人体头部，所述的解剖器械(2)包括刀片(2-1)、电磁发射单元(2-2)、手柄(2-3)，所述的教员监控单元(3)包括服务器计算机(3-1)、触控屏显示器(3-2)、麦克风(3-3)、音箱(3-4)，其特征在于：智能眼镜(1)通过无线通信单元(1-7)连接无线局域网进行数据信息实时交互，通过电磁敏感单元(1-6)接收电磁发射单元(2-2)的电磁信号对解剖器械(2)跟踪定位，解剖器械(2)中的刀片(2-1)安装于手柄(2-3)的前端，电磁发射单元(2-2)安装于手柄前端上部，教员控制单元(3)通过双绞线与无线路由器(4)相连接，教员控制单元(3)中的触控屏显示器(3-2)与服务器计算机(3-1)的显卡相连接，麦克风(3-3)、音箱(3-4)与服务器计算机(3-1)的声卡相连接，医学影像扫描设备(5)通过双绞线与无线路由器(4)相连接。