CN112506343B - 动物解剖学教学方法、***、介质、计算机设备、终端 - Google Patents
动物解剖学教学方法、***、介质、计算机设备、终端 Download PDFInfo
- Publication number
- CN112506343B CN112506343B CN202011419901.6A CN202011419901A CN112506343B CN 112506343 B CN112506343 B CN 112506343B CN 202011419901 A CN202011419901 A CN 202011419901A CN 112506343 B CN112506343 B CN 112506343B
- Authority
- CN
- China
- Prior art keywords
- specimen
- module
- dimensional model
- model
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Entrepreneurship & Innovation (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Human Computer Interaction (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明属于动物解剖学教学技术领域,公开了一种动物解剖学教学方法、***、介质、计算机设备、终端,包括混合现实眼镜(MR眼镜)、动物解剖混合现实教学软件客户端和服务端;动物解剖混合现实教学软件客户端包括:标本扫描模块、渲染显示模块、交互操作模块、数据传输模块;服务器端保存用户信息,存储动物解剖学混合现实教学资源。本发明采用基于点云模型的跟踪注册技术,利用优化的算法对模型点云和实物点云配准,识别准确率高、速度快;通过渲染显示模块将三维模型的结构信息覆盖在实体标本上,并且跟随标本的移动而自动跟踪;通过服务端记录学生的学习信息,通过可视化显示,对教学效果进行评价和为混合现实教学***的改进提供参考。
Description
技术领域
本发明属于动物解剖学教学技术领域,尤其涉及一种动物解剖学教学方法、***、介质、计算机设备、终端。
背景技术
目前,学生在进行动物解剖学的学习时,需要结合教材、图谱等资料观察标本和模型。但是,目前的动物解剖学实验中标本、模型等教具上没有结构名称标注和解释,学生在自学时,先观察标本、模型然后在教材上查找模型的结构信息描述,难免会出现偏差甚至错误,不利于学生自学。因此,亟需一种新的动物解剖学教学***。
通过上述分析,现有技术存在的问题及缺陷为:目前的动物解剖学实验中标本、模型等教具上没有结构名称标注,不利于学生学习。
解决以上问题及缺陷的难度为:动物器官形态不规则,结构复杂,目前教材和图谱只能显示器官的一个或几个角度的图像信息,所标注的解剖结构是片面和不完整的,无法显示动物器官立体结构;在解剖模型上标数字进行注释的方式可以给学生提供结构提示,但包含的信息有限;而且在动物器官上无法做标注,因此目前还没有合适的方法和教学模型能够在标本模型上显示满足学习需要的解剖结构信息。
解决以上问题及缺陷的意义为:动物标本和模型是学习动物解剖学必不可少的教具,如能在标本、模型上对器官的结构进行标注和说明,将能够加深学习者对动物器官结构的理解,极大提高学习的效率。
发明内容
针对现有技术存在的问题,本发明提供了一种动物解剖学教学方法、***、介质、计算机设备、终端。
本发明是这样实现的,一种动物解剖学教学方法,所述动物解剖学教学方法包括:
通过标本扫描模块实时采集动物解剖学标本、模型的图像数据,作为跟踪注册目标与对应的虚拟模型信息作为先验知识进行跟踪注册,将识别结果经过传输模块发送至服务器。
通过MR眼镜的摄像头采集解剖标本的图像;通过标本扫描模块实时计算出摄像头相对于真实场景的位姿状态;
采用基于点云模型的跟踪注册技术分析标本特征,使用三维点云来表示真实环境以及要进行跟踪的对象,利用迭代最近点(ICP)算法对环境点云与模型点云进行配准,计算出相机的实时坐标以完成跟踪注册,将特征信息和标本的实时位置坐标传输至服务器;
通过交互操作模块根据标本扫描模块获取的标本信息特征将相应器官的三维模型从服务器端的混合现实教学资源中调出传输给客户端的渲染模块处理;
通过渲染显示模块利用shader编码,将交互操作模块传输的三维模型赋予材质和贴图,覆盖在实体标本上,并随着实体标本位置移动而实现模型自动跟踪;
通过交互操作模块识别用户手势可实现对三维模型进行模型显示、隐藏、结构标注等操作;
通过交互操作模块从服务器调出的三维模型进行处理,根据被扫描标本的坐标将三维模型叠加到实物标本上,通过手势控制三维模型中解剖结构的解释说明,指导学生操作和学习;
通过交互操作模块实时检测MR眼镜与被扫描标本的相对位置变化,实时调整三维模型坐标,使其与实物标本叠加;
通过渲染显示模块根据交互模型模块反馈的信息而显示相应的虚拟模型结构和注释说明,并通过数据传输模块将用户学习数据上传至服务器。
本发明的另一目的在于提供一种计算机设备,所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如下步骤:
通过标本扫描模块实时采集动物解剖学标本、模型的数据,通过传输模块传输至服务器;
通过MR眼镜的摄像头采集解剖标本的图像,通过标本扫描模块实时计算出摄像头相对于真实场景的位姿状态;
采用基于点云模型的跟踪注册技术分析标本特征,将特征信息和标本的实时位置坐标传输至服务器;
通过交互操作模块根据标本扫描模块获取的标本信息特征将相应器官的三维模型从服务器端的混合现实教学资源中调出并传输给客户端的渲染模块处理;
通过渲染显示模块利用shader编码,将交互操作模块传输的三维模型赋予材质和贴图,覆盖在实体标本上,并随着实体标本位置移动而实现模型自动跟踪;
通过交互操作模块识别用户手势对三维模型进行模型显示、隐藏、结构标注等操作;
通过交互操作模块将服务器调出的三维模型进行处理,根据被扫描标本的坐标将三维模型叠加到实物标本上,通过手势控制三维模型中解剖结构的解释说明,指导学生操作和学习;
通过交互操作模块实时检测MR眼镜与被扫描标本的相对位置变化,实时调整三维模型坐标,使其与实物标本叠加;
通过渲染显示模块根据交互模型模块反馈的信息而显示相应的虚拟模型结构和注释说明,并通过数据传输模块将用户学习数据上传至服务器。
本发明的另一目的在于提供一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如下步骤:
通过标本扫描模块实时采集动物解剖学标本、模型的数据,通过数据传输模块传输给服务器;
通过MR眼镜的摄像头采集解剖标本的图像,通过标本扫描模块实时计算出摄像头相对于真实场景的位姿状态;
采用基于点云模型的跟踪注册技术分析标本特征,将特征信息和标本的实时位置坐标传输至服务器;
通过渲染显示模块利用shader编码将交互操作模块传输的三维模型赋予材质和贴图,覆盖在实体标本上,并随着实体标本位置移动而实现模型自动跟踪;
通过渲染显示模块根据标本扫描模块获取的标本信息特征将相应器官的三维模型传输给客户端的交互操作模块处理;
通过交互操作模块识别用户手势对三维模型进行模型显示、隐藏、结构标注等操作;
通过交互操作模块将服务器调出的三维模型进行处理,根据被扫描标本的坐标将三维模型叠加到实物标本上,通过手势控制三维模型中解剖结构的解释说明,指导学生操作和学习;
通过交互操作模块实时检测MR眼镜与被扫描标本的相对位置变化,实时调整三维模型坐标,使其与实物标本叠加;
通过渲染显示模块根据交互模型模块反馈的信息而显示相应的虚拟模型结构和注释说明,并通过数据传输模块将用户学习数据上传至服务器。
本发明的另一目的在于提供一种信息数据处理终端,所述信息数据处理终端用于实现所述的动物解剖学教学方法。
本发明的另一目的在于提供一种实施所述动物解剖学教学方法的动物解剖学教学***,所述动物解剖学教学***包括:混合现实眼镜、动物解剖混合现实教学软件客户端和服务端。
混合现实眼镜用于运行动物解剖学混合现实教学软件客户端,通过混合现实眼镜的摄像头扫描标本和检测场景变化,MR眼镜还提供三维模型显示界面,和检测手势操作信号。
动物解剖混合现实教学软件对MR眼镜摄像头获取的图像进行识别,调取相应的三维模型,赋予材质和贴图后,覆盖显示在实物标本上,对结构特征进行解释说明,并可以实现结构显示、隐藏等功能。
服务端用于存储用户信息,保存三维模型数据。
进一步,所述动物解剖混合现实教学软件客户端包括:标本扫描模块、渲染显示模块、交互操作模块、数据传输模块;
标本扫描模块,用于实时采集动物解剖学标本、模型的数据,通过传输模块传输至服务器;实时计算出摄像头相对于真实场景的位姿状态,通过MR眼镜的摄像头采集解剖标本的图像,采用基于点云模型的跟踪注册技术分析标本特征,将特征信息和标本的实时位置坐标传输至服务器;
渲染显示模块,用于通过shader编码赋予三维模型材质和贴图,将交互操作模块传输的三维模型赋予材质和贴图,覆盖在实体标本上,并能随着实体标本位置移动而实现模型自动跟踪,并根据交互模型模块反馈的信息而显示相应的虚拟模型结构和注释说明;
交互操作模块,用于识别用户手势对三维模型进行模型显示、隐藏、结构标注等操作;
数据传输模块,用于将用户学习数据上传至服务器。
进一步,所述混合现实教学资源包括犬、马、牛的运动***、消化***、呼吸***、泌尿***、生殖***、心血管***和神经***各器官的三维模型和结构演示三维动画,每个模型都对其结构特征进行了说明注释。分离动物器官后,采用三维扫描仪对动物标本进行扫描,得到高精度模型,然后通过Blender软件进行重新布线,模型的材质贴图采用Blender软件根据动物器官真实色彩和纹理制作。
进一步,所述渲染显示模块根据标本扫描模块获取的标本信息特征将相应器官的三维模型传输给客户端的交互操作模块处理。
进一步,所述交互操作模块将服务器调出的三维模型进行处理,根据被扫描标本的坐标将三维模型叠加到实物标本上,通过手势控制三维模型中解剖结构的解释说明,指导学生操作和学习;该模块还能实时检测MR眼镜与被扫描标本的相对位置变化,实时调整三维模型坐标,使其与实物标本叠加。
进一步,所述客户端采用Unity 3D软件制作,通过C#脚本实现各模块功能;
所述动物解剖混合现实教学软件服务端用于保存用户学习数据。
结合上述的所有技术方案,本发明所具备的优点及积极效果为:本发明提供的动物解剖学教学***法,将具有结构标注的三维模型覆盖在动物标本上,并能随着标本位置移动而自动定位三维模型,学生可以通过虚拟模型的结构讲解进行标本的结构的学习。
本发明通过标本扫描模块采用基于点云模型的跟踪注册技术,点云模型由三维扫描仪扫描标本获得,利用优化的算法对模型点云和实物点云进行配准,具有识别准确率高、速度快的优点。渲染显示模块能够将三维模型的结构信息覆盖在实体标本上,并能够跟随标本的移动而自动跟踪。服务端记录学生的学习信息,对学生的学习行为特性进行分析,可以通过可视化的形式显示,对教学效果进行评价和为混合显示教学***的改进提供参考。
附图说明
图1是本发明实施例提供的动物解剖学教学***结构示意图;
图中:1、标本扫描模块;2、渲染显示模块;3、交互操作模块;4、数据传输模块。
图2是本发明实施例提供的动物解剖学教学***的结构框架和原理示意图。
图3是本发明实施例提供的动物解剖学教学方法流程图。
图4是本发明实施例提供的牛胃模型混合现实教学效果图。
图5是本发明实施例提供的牛心脏塑化标本混合现实教学效果图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
针对现有技术存在的问题,本发明提供了一种动物解剖学教学方法、***、介质、计算机设备、终端,下面结合附图对本发明作详细的描述。
本发明实施例提供的动物解剖学教学***包括:混合现实眼镜、动物解剖混合现实教学软件客户端和服务端。
如图1所示,本发明实施例提供的动物解剖混合现实教学软件客户端包括:标本扫描模块1、渲染显示模块2、交互操作模块3、数据传输模块4、数据传输模块。
标本扫描模块1,用于实时采集动物解剖学标本、模型的数据,通过传输模块传输至服务器;实时计算出摄像头相对于真实场景的位姿状态,通过MR眼镜的摄像头采集解剖标本的图像,采用基于点云模型的跟踪注册技术分析标本特征,将特征信息和标本的实时位置坐标传输至服务器。
渲染显示模块2,用于通过shader编码赋予三维模型材质和贴图,将交互操作模块传输的三维模型赋予材质和贴图,覆盖在实体标本上,并能随着实体标本位置移动而实现模型自动跟踪,并根据交互模型模块反馈的信息而显示相应的虚拟模型结构和注释说明。
交互操作模块3,用于识别用户手势对三维模型进行显示、隐藏显示、结构标注操作。
数据传输模块4,用于将用户学习数据上传至服务器。
本发明实施例提供的混合现实教学资源包括犬、马、牛的运动***、消化***、呼吸***、泌尿***、生殖***、心血管***和神经***各器官的三维模型和结构演示三维动画,每个模型都对其结构特征进行了说明注释。分离动物器官后,采用三维扫描仪对动物标本进行扫描,得到高精度模型,然后通过Blender软件进行重新布线,模型的材质贴图采用Blender软件根据动物器官真实色彩和纹理制作。
本发明实施例提供的渲染显示模块2根据标本扫描模块获取的标本信息特征将相应器官的三维模型传输给客户端的交互操作模块处理。
本发明实施例提供的交互操作模块3将服务器调出的三维模型进行处理,根据被扫描标本的坐标将三维模型叠加到实物标本上,通过手势控制三维模型中解剖结构的解释说明,指导学生操作和学习。该模块还能实时检测MR眼镜与被扫描标本的相对位置变化,实时调整三维模型坐标,使其与实物标本叠加。
本发明实施例提供的客户端采用Unity 3D软件制作,通过C#脚本实现各模块功能。
本发明实施例提供的动物解剖混合现实教学软件服务端用于保存用户学习数据。
如图3所示,本发明实施例提供的动物解剖学教学方法包括以下步骤:
S101,通过标本扫描模块实时采集动物解剖学标本、模型的数据,通过传输模块传输至服务器;
S102,通过标本扫描模块实时计算出摄像头相对于真实场景的位姿状态,通过MR眼镜的摄像头采集解剖标本的图像;
S103,采用基于点云模型的跟踪注册技术分析标本特征,将特征信息和标本的实时位置坐标传输至服务器;
S104,通过交互操作模块根据标本扫描模块获取的标本信息特征将相应器官的三维模型从服务器端的混合现实教学资源中调出并传输给客户端的渲染模块处理;
S105,通过渲染显示模块利用shader编码赋予三维模型材质和贴图,将交互操作模块传输的三维模型赋予材质和贴图,覆盖在实体标本上,并随着实体标本位置移动而实现模型自动跟踪;
S106,通过交互操作模块识别用户手势对三维模型进行显示、隐藏显示、结构标注操作;
S107,通过交互操作模块将服务器调出的三维模型进行处理,根据被扫描标本的坐标将三维模型叠加到实物标本上,通过手势控制三维模型中解剖结构的解释说明,指导学生操作和学习;
S108,通过交互操作模块实时检测MR眼镜与被扫描标本的相对位置变化,实时调整三维模型坐标,使其与实物标本叠加;
S109,通过渲染显示模块根据交互模型模块反馈的信息而显示相应的虚拟模型结构和注释说明,并通过数据传输模块将用户学习数据上传至服务器。
下面结合实施例对本发明的技术方案作进一步的描述。
一、具体方案
本***包括混合现实眼镜、动物解剖混合现实教学软件客户端和服务端。客户端运行在混合现实眼镜中,主要包括标本扫描模块、渲染显示模块、交互操作模块、数据传输模块。标本扫描模块用于实时采集动物解剖学标本、模型的数据,通过数据传输模块传输至服务器;渲染模块将交互模块传输的三维模型覆盖显示在实体标本上,并能随着实体标本位置移动而实现模型自动跟踪;交互操作模块能够对通过手势对三维模型进行显示、隐藏显示、结构标注等操作。数据传输模块将用户学习数据上传至服务器。服务端用于保存用户学习数据。混合现实教学资源包括犬、马、牛等动物各器官的三维模型和结构演示三维动画。
二、结构框架和原理
本发明实施例提供的动物解剖学教学***的结构框架和原理示意图如图2所示。
客户端采用Unity 3D软件制作,通过C#脚本实现各模块功能。
标本扫描模块:实时计算出摄像头相对于真实场景的位姿状态,通过MR眼镜的摄像头采集解剖标本的图像,采用基于点云模型的跟踪注册技术分析标本特征,将特征信息和标本的实时位置坐标传输至服务器。
混合现实教学资源存储有犬、牛、马的运动***、消化***、呼吸***、泌尿***、生殖***、心血管***和神经***各器官的三维模型,每个模型都对其结构特征进行了说明注释。该模块根据扫描模块获取的标本信息特征将相应器官的三维模型传输给客户端的交互模块处理。
交互模块通过识别用户手势而进行模型操作,该模块将服务器调出的三维模型进行处理,根据被扫描标本的坐标将三维模型叠加到实物标本上,通过手势控制三维模型中解剖结构的解释说明,指导学生操作和学习。该模块还能实时检测MR眼镜与被扫描标本的相对位置变化,实时调整三维模型坐标,使其与实物标本叠加。
渲染显示模块通过shader编码赋予三维模型材质和贴图,该模块根据交互模型模块反馈的信息而显示相应的虚拟模型结构和注释说明。
三、解决的问题
目前的动物解剖学实验中标本、模型等教具上没有结构名称标注,学生在学习时需要结合教材、图谱等资料观察标本和模型。该方案将具有结构标注的三维模型覆盖在动物标本上,并能随着标本位置移动而自动定位三维模型,学生可以通过虚拟模型的结构讲解进行标本的学习。
四、优点
该方案标本扫描模块采用基于点云模型的跟踪注册技术,点云模型由三维扫描仪扫描标本获得,利用优化的算法对模型点云和实物点云进行配准,具有识别准确率高、速度快的优点。渲染显示模块能够将三维模型的结构信息覆盖在实体标本上,并能够跟随标本的移动而自动跟踪。服务端记录学生的学习信息,对学生的学习行为特性进行分析,可以通过可视化的形式显示,对教学效果进行评价和为混合显示教学***的改进提供参考。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现,所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,都应涵盖在本发明的保护范围之内。
Claims (9)
1.一种动物解剖学教学方法,其特征在于,所述动物解剖学教学方法包括:
通过标本扫描模块实时采集动物解剖学标本、模型的数据,通过数据传输模块传输至服务器;
通过混合现实眼镜或MR眼镜的摄像头采集解剖标本的图像;通过标本扫描模块实时计算出摄像头相对于现实场景的位姿状态,通过数据传输模块发送至服务器;
采用基于点云模型的跟踪注册技术对现实场景中的物体进行跟踪与定位,将特征信息和标本的实时位置坐标传输至服务器;
通过交互操作模块根据标本扫描模块获取的标本信息特征将相应器官的三维模型从服务器端的混合现实教学资源中调出并传输给客户端的渲染模块处理;
通过渲染显示模块利用shader编码将交互操作模块传输的三维模型赋予材质和贴图,覆盖在实体标本上,并随着实体标本位置移动而实现模型自动跟踪;
通过交互操作模块识别用户手势对三维模型进行模型显示、隐藏、结构标注操作;
通过交互操作模块将服务器调出的三维模型进行处理,根据被扫描标本的坐标将三维模型叠加到实物标本上,通过手势控制三维模型中解剖结构的解释说明,指导学生操作和学习;
通过交互操作模块实时检测MR眼镜与被扫描标本的相对位置变化,实时调整三维模型坐标,使其与实物标本叠加;
通过渲染显示模块根据交互操作模块反馈的信息而显示相应的三维模型结构和注释说明,并通过数据传输模块将用户学习数据上传至服务器;存储器存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如下步骤:
通过标本扫描模块实时采集动物解剖学标本、模型的数据,通过数据传输模块传输至服务器;
通过MR眼镜的摄像头采集解剖标本的图像,通过标本扫描模块实时计算出摄像头相对于现实场景的位姿状态;
采用基于点云模型的跟踪注册技术分析标本特征,将特征信息和标本的实时位置坐标传输至服务器;
通过交互操作模块根据标本扫描模块获取的标本信息特征将相应器官的三维模型从服务器端的混合现实教学资源中调出并传输给客户端的渲染模块处理;
通过渲染显示模块利用shader编码将交互操作模块传输的三维模型赋予材质和贴图,覆盖在实体标本上,并随着实体标本位置移动而实现模型自动跟踪;
通过交互操作模块识别用户手势对三维模型进行模型显示、隐藏、结构标注等操作;
通过交互操作模块将服务器调出的三维模型进行处理,根据被扫描标本的坐标将三维模型叠加到实物标本上,通过手势控制三维模型中解剖结构的解释说明,指导学生操作和学习;
通过交互操作模块实时检测MR眼镜与被扫描标本的相对位置变化,实时调整三维模型坐标,使其与实物标本叠加;
通过渲染显示模块根据交互模型模块反馈的信息而显示相应的三维模型结构和注释说明,并通过数据传输模块将用户学习数据上传至服务器。
2.一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如下步骤:
通过标本扫描模块实时采集动物解剖学标本、模型的数据,通过数据传输模块传输至服务器;
通过MR眼镜的摄像头采集解剖标本的图像,通过标本扫描模块实时计算出摄像头相对于真实场景的位姿状态;
采用基于点云模型的跟踪注册技术分析标本特征,将特征信息和标本的实时位置坐标传输至服务器;
通过交互操作模块根据标本扫描模块获取的标本信息特征将相应器官的三维模型从服务器端的混合现实教学资源中调出并传输给客户端的渲染模块处理;通过渲染显示模块利用shader编码将交互操作模块传输的三维模型赋予材质和贴图,覆盖在实体标本上,并随着实体标本位置移动而实现模型自动跟踪;
通过交互操作模块识别用户手势对三维模型进行模型显示、隐藏、结构标注操作;
通过交互操作模块对从服务器调出的三维模型进行处理,根据被扫描标本的坐标将三维模型叠加到实物标本上,通过手势控制三维模型中解剖结构的解释说明,指导学生操作和学习;
通过交互操作模块实时检测MR眼镜与被扫描标本的相对位置变化,实时调整三维模型坐标,使其与实物标本叠加;
通过渲染显示模块根据交互模型模块反馈的信息而显示相应的虚拟模型结构和注释说明,并通过数据传输模块将用户学习数据上传至服务器。
3.一种信息数据处理终端,其特征在于,所述信息数据处理终端用于实现权利要求1所述的动物解剖学教学方法。
4.一种实施权利要求1所述动物解剖学教学方法的动物解剖学教学***,其特征在于,所述动物解剖学教学***包括:混合现实眼镜、动物解剖混合现实教学软件客户端和服务端。
5.如权利要求4所述的动物解剖学教学***,其特征在于,所述动物解剖混合现实教学软件客户端包括:标本扫描模块、渲染显示模块、交互操作模块、数据传输模块;
标本扫描模块,用于实时采集动物解剖学标本、模型的数据,通过数据传输模块传输至服务器;通过MR眼镜的摄像头采集解剖标本的图像,实时计算出摄像头相对于真实场景的位姿状态;采用基于点云模型的跟踪注册技术分析标本特征,将特征信息和标本的实时位置坐标传输至服务器;
交互操作模块,根据标本扫描模块获取的标本信息特征将相应器官的三维模型从服务器端的混合现实教学资源中调出并传输给客户端的渲染模块处理;
渲染显示模块,通过shader编码赋予三维模型材质和贴图,将交互操作模块传输的三维模型赋予材质和贴图,覆盖在实体标本上,并能随着实体标本位置移动而实现模型自动跟踪,并根据交互模型模块反馈的信息而显示相应的虚拟模型结构和注释说明;
交互操作模块,用于识别用户手势对三维模型进行模型显示、隐藏、结构标注操作;
数据传输模块,用于将用户学习数据上传至服务器。
6.如权利要求5所述的动物解剖学教学***,其特征在于,所述混合现实教学资源包括犬、马、牛的运动***、消化***、呼吸***、泌尿***、生殖***、心血管***和神经***各器官的三维模型和结构演示三维动画,每个模型都对其结构特征进行了说明注释;解剖分离动物器官后,三维扫描仪对动物标本进行扫描,得到高精度模型,然后通过Blender软件进行重新布线,模型的材质贴图采用Blender软件根据动物器官真实色彩和纹理制作。
7.如权利要求5所述的动物解剖学教学***,其特征在于,所述交互操作模块根据标本扫描模块获取的标本信息特征和三维坐标,将信息通过传输模块传输至服务器。
8.如权利要求5所述的动物解剖学教学***,其特征在于,所述交互操作模块将服务器调出的三维模型进行处理,根据被扫描标本的坐标通过渲染模块将三维模型叠加到实物标本上,通过手势控制三维模型中解剖结构的解释说明,指导学生操作和学习;该交互操作模块还能实时检测MR眼镜与被扫描标本的相对位置变化,实时调整三维模型坐标,使其与实物标本叠加。
9.如权利要求4所述的动物解剖学教学***,其特征在于,所述客户端采用Unity 3D软件制作,通过C#脚本实现各模块功能;
所述动物解剖混合现实教学软件服务端用于保存用户学习数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011419901.6A CN112506343B (zh) | 2020-12-07 | 2020-12-07 | 动物解剖学教学方法、***、介质、计算机设备、终端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011419901.6A CN112506343B (zh) | 2020-12-07 | 2020-12-07 | 动物解剖学教学方法、***、介质、计算机设备、终端 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112506343A CN112506343A (zh) | 2021-03-16 |
CN112506343B true CN112506343B (zh) | 2022-07-12 |
Family
ID=74971181
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011419901.6A Active CN112506343B (zh) | 2020-12-07 | 2020-12-07 | 动物解剖学教学方法、***、介质、计算机设备、终端 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112506343B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107689186A (zh) * | 2016-08-03 | 2018-02-13 | 天津慧医谷科技有限公司 | 三维人体虚拟解剖台 |
CN110136522A (zh) * | 2019-05-07 | 2019-08-16 | 艾瑞迈迪科技石家庄有限公司 | 颅底手术模拟教学培训*** |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102015212806A1 (de) * | 2015-07-08 | 2017-01-12 | Sirona Dental Systems Gmbh | System und Verfahren zum Scannen von anatomischen Strukturen und zum Darstellen eines Scanergebnisses |
US10657838B2 (en) * | 2017-03-15 | 2020-05-19 | International Business Machines Corporation | System and method to teach and evaluate image grading performance using prior learned expert knowledge base |
CN110174952A (zh) * | 2019-06-04 | 2019-08-27 | 国网山东省电力公司烟台供电公司 | 一种基于增强现实技术的策划管理*** |
-
2020
- 2020-12-07 CN CN202011419901.6A patent/CN112506343B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107689186A (zh) * | 2016-08-03 | 2018-02-13 | 天津慧医谷科技有限公司 | 三维人体虚拟解剖台 |
CN110136522A (zh) * | 2019-05-07 | 2019-08-16 | 艾瑞迈迪科技石家庄有限公司 | 颅底手术模拟教学培训*** |
Also Published As
Publication number | Publication date |
---|---|
CN112506343A (zh) | 2021-03-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107223246B (zh) | 图像标注方法、装置及电子设备 | |
CN112258504A (zh) | 一种图像检测方法、设备及计算机可读存储介质 | |
CN111242962A (zh) | 远程培训视频的生成方法、装置、设备及存储介质 | |
CN108839016B (zh) | 机器人巡检方法、存储介质、计算机设备及巡检机器人 | |
JP2023106284A (ja) | 組立ロボットの遠隔操作環境のデジタルツインモデリング方法及びシステム | |
CN101861526A (zh) | 用于跟踪超声自动校准的***和方法 | |
Chalhoub et al. | Augmented reality to enable users to identify deviations for model reconciliation | |
JP2020098568A (ja) | 情報管理装置、情報管理システム、情報管理方法および情報管理プログラム | |
JP2023511243A (ja) | 画像処理方法と装置、電子デバイス、及び記録媒体 | |
CN116978010A (zh) | 图像标注方法和装置、存储介质和电子设备 | |
CN111695497A (zh) | 基于运动信息的行人识别方法、介质、终端和装置 | |
Chen et al. | A quick development toolkit for augmented reality visualization (QDARV) of a Factory | |
CN112506343B (zh) | 动物解剖学教学方法、***、介质、计算机设备、终端 | |
CN112732075B (zh) | 一种面向教学实验的虚实融合机器教师教学方法及*** | |
CN117119990A (zh) | 用于捕获、显示和操控医学图像和视频的***和方法 | |
Kiyokawa et al. | Efficient collection and automatic annotation of real-world object images by taking advantage of post-diminished multiple visual markers | |
CN112016362A (zh) | 一种观察微观世界的学习*** | |
Baca et al. | Automated data annotation for 6-dof ai-based navigation algorithm development | |
US11551379B2 (en) | Learning template representation libraries | |
CN115861920A (zh) | 基于方舱医院的病人异常识别方法、装置、服务器及存储介质 | |
CN115097974A (zh) | 一种bim模型智能辅助会审***及方法 | |
CN113269781A (zh) | 数据生成方法、装置及电子设备 | |
Apud Baca et al. | Automated Data Annotation for 6-DoF AI-Based Navigation Algorithm Development | |
US20240077997A1 (en) | System and method for diagnosis and analysis of medical images | |
CN113657424A (zh) | 对图像目标检测模型的输出进行可视化的方法和*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |