CN109410680A - 一种基于混合现实的虚拟手术训练方法及*** - Google Patents
一种基于混合现实的虚拟手术训练方法及*** Download PDFInfo
- Publication number
- CN109410680A CN109410680A CN201811378127.1A CN201811378127A CN109410680A CN 109410680 A CN109410680 A CN 109410680A CN 201811378127 A CN201811378127 A CN 201811378127A CN 109410680 A CN109410680 A CN 109410680A
- Authority
- CN
- China
- Prior art keywords
- digital
- model
- operating platform
- dimemsional
- dimemsional model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
- G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Chemical & Material Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Medicinal Chemistry (AREA)
- Algebra (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Mathematical Physics (AREA)
- Pure & Applied Mathematics (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明涉及一种基于混合现实的虚拟手术训练方法及***，本发明根据真实人体的全身容积数据建立包括骨性结构以及软组织的数字化三维模型，使得模型数据准确且能够清晰反映人体的骨骼、肌肉、血管、神经等信息，结合混合现实头显即可实现动态教学、动态演示、实时沟通及多地会诊等功能。将数字化三维模型的坐标转换到以所述操作平台为基准建立的世界坐标系内，并将其匹配至操作平台平面，达到虚拟物体自然放置于平面上的效果，从而营造逼真的手术氛围。根据手术器械与三维模型中各组织的相对位置关系向手部施加相应的力反馈，能够让操作人员真实感受操作力度，体会手术器械在接触到不同组织器官时的手部触觉反应，提高手术训练真实度。
Description
技术领域
本发明涉及生物医学与信息技术交叉学科技术领域，具体涉及一种基于混合现实的虚拟手术训练方法及***。
背景技术
生物医学工程(Biomedical Engineering，简称BME)是一门由理、工、医相结合的边缘学科，是多种工程学科向生物医学渗透的产物。它是运用现代自然科学和工程技术的原理和方法，从工程学的角度，在多层次上研究人体的结构、功能及其相互关系，揭示其生命现象，为防病、治病提供新的技术手段的一门综合性、高技术的学科。传统的手术教学做法是采用模拟橡皮人进行教学，手术录像的演示播放，器官实物标本讲解，人体尸体解剖教学，动物活体解剖教学以及专家手术观摩等形式，针对外科手术培训、手术预演、临床诊断、远程手术、康复治疗等医学辅助教学环节。教学一般需要在专门的实验室或手术间内进行。这种教学方法存在有许多不足，例如：
1、模型人进行教学，模型人一般采用树脂或乳胶材料制得，易老化，使用过多次后就需要更换，模型人的价格比较高，经常更换教具大大增加了教学成本。
2、人体解剖结构教学，在实验室里通过看录像或尸体解剖教学，不能起到使学生非常直观、轻松学习解剖结构的作用，并产生了大量的训练费用，如教材费，尸体解剖费，实习费等。
3、专家手术观摩形式，使医务工作者不能完全沉浸于实际的场景内，通过视听触觉等多种感官了解和学习各种手术实际操作，对于年轻医生而言，不能亲自操作及与专家操作方法及时进行比对，发现自己的错误和不足，无疑使得培训年轻医务人员浪费大量费用和时间，不能获得良好的受训效果。
4、对于病灶可以让医生在手术之前学习新的手术方法和程序，练习所制定的手术计划，并对治疗结果进行评判。如果让没有经验的医学生或实习生进行手术操作，大大增加手术的风险，无法保障病人的生命安全，增加了医院因手术失败，随之而来的支出成本和社会负面影响。
5、动物活体解剖教学，一方面动物活体十分昂贵，且涉及到动物保护等较敏感的问题，另一方面由于动物与人体的差异性，在进行手术训练时，对提高手术熟练度的作用十分有限。
近年来，随着计算机图形学的迅速发展，VR在医学方面的应用具有十分重要的现实意义。主要用于医学培训、医学研究、医学沟通和临床治疗，在虚拟环境中，可以建立虚拟的人体模型，借助于跟踪球、头戴式可视设备(HMD)、触觉感知手套，学生可以很容易了解人体内部各器官结构，这比现有的采用教科书的方式要有效得多。
外科医生在真正动手术之前，通过虚拟现实技术的帮助，能在显示器上重复地模拟手术，移动人体内的器官，寻找最佳手术方案并提高熟练度。在远距离遥控外科手术，复杂手术的计划安排，手术过程的信息指导等方面，虚拟现实技术都能发挥十分重要的作用。
然而目前虚拟手术训练类的***或方法，其训练用的目标对象大都通过相关软件设计的，真实性不强，而且其训练多是以教程的训练形式进行训练，理论性比较强，与实际的临床手术还有很大差距。
发明内容
本发明针对现有技术中存在的技术问题，提供一种基于混合现实的虚拟手术训练方法及***，真实性强，具有高沉浸度，能够为受训人员建立更为真实的训练场景，同时可以为非操作人员构建较为真实的现场观察场景。
本发明解决上述技术问题的技术方案如下：
一方面，本发明提供一种基于混合现实的虚拟手术训练方法，该方法包括：
收集完整的真实人体全身容积数据，并利用所述容积数据，构建包括骨性结构以及软组织的数字化三维模型；
采集现实场景中的操作平台特征数据，并以所述操作平台为基准建立世界坐标系；将所述数字化三维模型的坐标转换到世界坐标系内，并将所述数字化三维模型匹配至所述操作平台平面；
实时获取主视角位置坐标，并计算主视角相对于世界坐标系原点的旋转矩阵和平移向量，并以此更新所述数字化三维模型在主视角头戴式可视设备投影屏幕上的显示角度；
实时追踪手部动作，获取手术器械位置变化数据，并根据手术器械与数字化三维模型中各组织的相对位置关系通过触觉感知手套向手部施加相应的力反馈。
本发明的有益效果是：根据真实人体全身容积数据建立包括骨性结构以及软组织的数字化三维模型，使得人体三维模型准确且能够清晰反映人体的骨骼、肌肉、血管、神经等信息，结合混合现实头显即可实现动态教学、动态演示、实时沟通及多地会诊等功能。将数字化三维模型的坐标转换到以所述操作平台为基准建立的世界坐标系内，并将其匹配至所述操作平台平面，达到虚拟物体自然放置于平面上的效果。当此平面结构脱离视线时，数字化三维模型也将在视野里消失，当再次识别到平面结构时，将会再次生成数字化三维模型，从而逼真的营造手术氛围。根据手术器械与三维模型中各组织的相对位置关系通过触觉感知手套向手部施加相应的力反馈，能够让操作人员真实感受操作力度，体会手术器械在接触到不同组织器官时的手部触觉反应，提高手术训练真实度。
进一步，所述真实人体全身容积数据采集自核磁共振、CT及超声检查中的一种或多种。
现有大多数建立三维模型的数据源多为单一数据源，但是CT虽然干扰较少，也可以从多个平面观察组织结构，反映骨骼的立体形态，但是其辐射较大，对同一个人从头到脚扫描获取全身数据会对当前人体造成不可逆的伤害。核磁共振可以随意做任何角度的切层，且无辐射。对病变组织的敏感度优于CT，尤其是关节、肌肉、中枢神经***等软组织的检查结构更清晰。但是对肺部、骨骼结构的细节表现、骨折等方面，核磁共振的显示效果不如CT。超声检查(B超)以强度低、频率高、对人体无损伤、无痛苦、显示方法多样而著称，尤其对人体软组织的探测和心血管脏器的血流动力学的观察有其独到之处，如：浅表肿块、血管、穿刺定位等，但是B超的穿透力较弱，对含气性器官，如肺、肠等难以探测，病变较小或声阻抗差不大时，也很难在声像图上显示，如：1cm左右的肿瘤组织也不易检出，有一定的局限性。
因此本发明结合多种数据来源，共同构建人体三维模型，取长补短，模型逼真。
进一步，所述的收集完整的真实人体全身容积数据，并利用所述容积数据，构建包括骨性结构以及软组织的数字化三维模型，包括以下步骤：
在活体上设置标记物，利用核磁共振、CT及超声检查中的一种或多种手段采集包含有所述标记物的多组二维图像序列；
根据所述多组二维图像序列分别进行三维重建；
根据标记物的位置进行数据融合及配准，构建包括骨性结构以及软组织的数字化三维模型。
在活体上设置标记物，所述标记物的材质可以有所不同，但是在分别进行核磁共振、CT及超声检查时，同一标记物设置的位置必须相同，以便在进行数据融合及配准时，能够有明确的参照物，使得数据融合操作可以顺利进行。
进一步，在将所述数字化三维模型匹配至所述操作平台平面后，还包括：
实时获取至少一个从视角位置坐标；
根据所述从视角位置坐标，计算从视角相对于世界坐标系原点的旋转矩阵和平移向量，并以此更新所述数字化三维模型在从视角头戴式可视设备投影屏幕上的显示角度。
本发明可以设置多个参训人员，即通过从视角头戴式可视设备现场观察以主视角进行手术训练的操作人员的操作过程。在从视角头戴式可视设备投影屏幕上显示的数字化三维模型同样是与操作平台平面关联绑定的，从而达到虚拟物体自然放置于平面上的效果。实时获取从视角位置坐标，也就是根据从视角头戴式可视设备的摄像机拍摄内容计算世界坐标系内摄像机位置坐标，然后根据坐标变换获得从视角观察者的视角位置坐标，并根据所述从视角位置坐标相对于世界坐标系原点的旋转矩阵和平移向量，更新所述数字化三维模型在从视角头戴式可视设备投影屏幕上的显示角度。这样可以同时为主视角的操作人员以及从视角的参训人员共同营造一个真实的手术环境。手术训练趋于真实，使得训练效果更好。
进一步，将所述数字化三维模型匹配至所述操作平台平面，包括：
旋转所述数字化三维模型，使得数字化三维模型的人体中轴线与操作平台中轴线平行；
获取旋转后数字化三维模型中y值最小的坐标点，并将其所在平面所述操作平台平面进行配准，以实现将所述数字化三维模型匹配至所述操作平台平面的操作。
另一方面，本发明还提供一种基于混合现实的虚拟手术训练***，包括：
数据采集单元，与所述数据处理单元联接，用于收集完整的活体全身容积数据，并将所述活体全身容积数据上传至数据处理单元；
数据处理单元，用于利用所述容积数据进行三维重建，构建包括骨性结构以及软组织的数字化三维模型；用于采集现实场景中的操作平台特征数据，并以所述操作平台为基准建立世界坐标系；用于将所述数字化三维模型的坐标转换到世界坐标系内，并将所述数字化三维模型匹配至所述操作平台平面；
具有摄像机的主视角头戴式可视设备，与所述数据处理单元联接，用于拍摄摄像机视野内的视频画面，并将所述视频画面发送至所述数据处理单元；用于实时显示所述数据处理单元重建的数字化三维模型；
数据处理单元，用于根据所述主视角头戴式可视设备拍摄的视频画面计算主视角位置，用于计算所述主视角位置相对于世界坐标系原点的旋转矩阵和平移向量，用于根据所述旋转矩阵和平移向量更新所述数字化三维模型在主视角头戴式可视设备投影屏幕上的显示角度；
触觉感知手套，与所述数据处理单元联接，用于采集手部动作，获取手术器械位置变化数据并上传，用于执行数据处理单元的控制指令。
数据处理单元，用于根据采集手部动作、手术器械位置变化数据计算手术器械与三维模型中各组织的相对位置关系，并以此控制所述触觉感知手套向手部施加相应的力反馈。
进一步，所述真实人体全身容积数据采集自核磁共振、CT及超声检查中的一种或多种。
进一步，该***还包括，至少一个具有摄像机的从视角头戴式可视设备，与所述数据处理单元联接，用于拍摄摄像机视野内的视频画面，并将所述视频画面发送至所述数据处理单元；用于实时显示所述数据处理单元重建的数字化三维模型。
进一步，所述数据处理单元，还用于根据所述从视角头戴式可视设备拍摄的视频画面计算从视角位置，用于计算所述从视角位置相对于世界坐标系原点的旋转矩阵和平移向量，用于根据所述旋转矩阵和平移向量更新所述数字化三维模型在从视角头戴式可视设备投影屏幕上的显示角度。
附图说明
图1为本发明方法流程图；
图2为本发明***结构图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
一方面，本发明提供一种基于混合现实的虚拟手术训练方法，如图1所示，该方法包括：
利用核磁共振、CT及超声检查中的一种或多种方法，收集完整的真实人体全身容积数据，并利用所述容积数据，构建包括骨性结构以及软组织的数字化三维模型；
采集现实场景中的操作平台特征数据，并以所述操作平台为基准建立世界坐标系；将所述数字化三维模型的坐标转换到世界坐标系内，旋转所述数字化三维模型，使得数字化三维模型的人体中轴线与操作平台中轴线平行；获取旋转后数字化三维模型中y值最小的坐标点，并将其所在平面所述操作平台平面进行配准，以实现将所述数字化三维模型匹配至所述操作平台平面的操作。
实时获取主视角位置坐标，并计算主视角相对于世界坐标系原点的旋转矩阵和平移向量，并以此更新所述数字化三维模型在主视角HMD投影屏幕上的显示角度；
实时跟踪手部动作，获取手术器械位置变化数据，并根据手术器械与三维模型中各组织的相对位置关系通过触觉感知手套向手部施加相应的力反馈。
根据活体全身容积数据建立包括骨性结构以及软组织的数字化三维模型，使得人体三维模型准确且能够清晰反映人体的骨骼、肌肉、血管、神经等信息，结合混合现实头显即可实现动态教学、动态演示、实时沟通及多地会诊等功能。将数字化三维模型的坐标转换到以所述操作平台为基准建立的世界坐标系内，并将其匹配至所述操作平台平面，达到虚拟物体自然放置于平面上的效果。当此平面结构脱离视线时，数字化三维模型也将在视野里消失，当再次识别到平面结构时，将会再次生成数字化三维模型，从而逼真的营造手术氛围。根据手术器械与三维模型中各组织的相对位置关系向手部施加相应的力反馈，能够让操作人员真实感受操作力度，体会手术器械在接触到不同组织器官时的手部触觉反应，提高手术训练真实度。
现有大多数建立三维模型的数据源多为单一数据源，但是CT虽然干扰较少，也可以从多个平面观察组织结构，反映骨骼的立体形态，但是其辐射较大，对同一个人从头到脚扫描获取全身数据会对当前人体造成不可逆的伤害。核磁共振可以随意做任何角度的切层，且无辐射。对病变组织的敏感度优于CT，尤其是关节、肌肉、中枢神经***等软组织的检查结构更清晰。但是对肺部、骨骼结构的细节表现、骨折等方面，核磁共振的显示效果不如CT。超声检查(B超)以强度低、频率高、对人体无损伤、无痛苦、显示方法多样而著称，尤其对人体软组织的探测和心血管脏器的血流动力学的观察有其独到之处，如：浅表肿块、血管、穿刺定位等，但是B超的穿透力较弱，对含气性器官，如肺、肠等难以探测，病变较小或声阻抗差不大时，也很难在声像图上显示，如：1cm左右的肿瘤组织也不易检出，有一定的局限性。
因此本发明结合多种数据来源，共同构建人体三维模型，取长补短，模型逼真。
作为一优选实施例，进一步的，所述的收集完整的真实人体全身容积数据，并利用所述容积数据，构建包括骨性结构以及软组织的数字化三维模型，包括以下步骤：
在真实人体上设置标记物，利用核磁共振、CT及超声检查中的一种或多种手段采集包含有所述标记物的多组二维图像序列；
根据所述多组二维图像序列分别进行三维重建；
根据标记物的位置进行数据融合及配准，构建包括骨性结构以及软组织的数字化三维模型。
在真实人体上设置标记物，所述标记物的材质可以有所不同，但是在分别进行核磁共振、CT及超声检查时，同一标记物设置的位置必须相同，以便在进行数据融合及配准时，能够有明确的参照物，使得数据融合操作可以顺利进行。
在上述实施例的基础上，进一步的，本发明方法在将所述数字化三维模型匹配至所述操作平台平面后，还包括：
实时获取至少一个从视角位置坐标；
根据所述从视角位置坐标，计算从视角相对于世界坐标系原点的旋转矩阵和平移向量，并以此更新所述数字化三维模型在从视角头戴式可视设备投影屏幕上的显示角度。
本发明可以设置多个参训人员，即通过从视角头戴式可视设备现场观察以主视角进行手术训练的操作人员的操作过程。在从视角头戴式可视设备投影屏幕上显示的数字化三维模型同样是与操作平台平面匹配的，从而达到虚拟物体自然放置于平面上的效果。实时获取从视角位置坐标，也就是根据从视角头戴式可视设备的摄像机拍摄内容计算世界坐标系内摄像机位置坐标，然后根据坐标变换获得从视角观察者的视角位置坐标，并根据所述从视角位置坐标相对于世界坐标系原点的旋转矩阵和平移向量，更新所述数字化三维模型在从视角头戴式可视设备投影屏幕上的显示角度。这样可以同时为主视角的操作人员以及从视角的参训人员共同营造一个真实的手术环境。手术训练趋于真实，使得训练效果更好。
另一方面，本发明还提供一种基于混合现实的虚拟手术训练***，如图2所示，包括：
数据采集单元，用于收集完整的真实人体全身容积数据；
数据处理单元，用于利用所述容积数据进行三维重建，构建包括骨性结构以及软组织的数字化三维模型；用于采集现实场景中的操作平台特征数据，并以所述操作平台为基准建立世界坐标系；用于将所述数字化三维模型的坐标转换到世界坐标系内，并将所述人体三维模型匹配至所述操作平台平面；
具有摄像机的主视角头戴式可视设备，用于拍摄摄像机视野内的视频画面，并将所述视频画面发送至所述数据处理单元；用于实时显示所述数据处理单元重建的数字化三维模型；
数据处理单元，用于根据所述主视角头戴式可视设备拍摄的视频画面计算主视角位置，用于计算所述主视角位置相对于世界坐标系原点的旋转矩阵和平移向量，用于根据所述旋转矩阵和平移向量更新所述数字化三维模型在主视角头戴式可视设备投影屏幕上的显示角度；
触觉感知手套，用于采集手部动作，获取手术器械位置变化数据；
数据处理单元，用于根据采集手部动作、手术器械位置变化数据计算手术器械与三维模型中各组织的相对位置关系，并以此控制所述触觉感知手套向手部施加相应的力反馈。
进一步，该***还包括，至少一个具有摄像机的从视角头戴式可视设备，用于拍摄摄像机视野内的视频画面，并将所述视频画面发送至所述数据处理单元；用于实时显示所述数据处理单元重建的数字化三维模型。
所述数据处理单元，还用于根据所述从视角头戴式可视设备拍摄的视频画面计算从视角位置，用于计算所述从视角位置相对于世界坐标系原点的旋转矩阵和平移向量，用于根据所述旋转矩阵和平移向量更新所述数字化三维模型在从视角头戴式可视设备投影屏幕上的显示角度。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于混合现实的虚拟手术训练方法，其特征在于，包括：
收集完整的真实人体全身容积数据，并利用所述容积数据，构建包括骨性结构以及软组织的数字化三维模型；
采集现实场景中的操作平台特征数据，并以所述操作平台为基准建立世界坐标系；将所述数字化三维模型的坐标转换到世界坐标系内，并将所述数字化三维模型匹配至所述操作平台平面；
实时获取主视角位置坐标，并计算主视角相对于世界坐标系原点的旋转矩阵和平移向量，并以此更新所述数字化三维模型在主视角头戴式可视设备投影屏幕上的显示角度；
实时追踪手部动作，获取手术器械位置变化数据，并根据手术器械与数字化三维模型中各组织的相对位置关系通过触觉感知手套向手部施加相应的力反馈。
2.根据权利要求1所述一种基于混合现实的虚拟手术训练方法，其特征在于，所述真实人体全身容积数据采集自核磁共振、CT及超声检查中的一种或多种。
3.根据权利要求2所述一种基于混合现实的虚拟手术训练方法，其特征在于，所述的收集完整的真实人体全身容积数据，并利用所述容积数据，构建包括骨性结构以及软组织的数字化三维模型，包括以下步骤：
在活体上设置标记物，利用核磁共振、CT及超声检查中的一种或多种手段采集包含有所述标记物的多组二维图像序列；
根据所述多组二维图像序列分别进行三维重建；
根据标记物的位置进行数据融合及配准，构建包括骨性结构以及软组织的数字化三维模型。
4.根据权利要求1所述一种基于混合现实的虚拟手术训练方法，其特征在于，将所述数字化三维模型匹配至所述操作平台平面，包括：
旋转所述数字化三维模型，使得数字化三维模型的人体中轴线与操作平台中轴线平行；
获取旋转后数字化三维模型中y值最小的坐标点，并将其所在平面所述操作平台平面进行配准，以实现将所述数字化三维模型匹配至所述操作平台平面的操作。
5.根据权利要求1所述一种基于混合现实的虚拟手术训练方法，其特征在于，在将所述数字化三维模型与所述操作平台平面关联后，还包括：
实时获取至少一个从视角位置坐标；
根据所述从视角位置坐标，计算从视角相对于世界坐标系原点的旋转矩阵和平移向量，并以此更新所述数字化三维模型在从视角头戴式可视设备投影屏幕上的显示角度。
6.一种基于混合现实的虚拟手术训练***，其特征在于，包括：
数据采集单元，用于收集完整的真实人体全身容积数据；
数据处理单元，用于利用所述容积数据进行三维重建，构建包括骨性结构以及软组织的数字化三维模型；用于提取现实场景中的操作平台特征数据，并以所述操作平台为基准建立世界坐标系；用于将所述数字化三维模型的坐标转换到世界坐标系内，并将所述数字化三维模型与所述操作平台平面关联；
具有摄像机的主视角头戴式可视设备，与所述数据处理单元联接，用于拍摄摄像机视野内的视频画面，并将所述视频画面发送至所述数据处理单元；用于实时显示所述数据处理单元重建的数字化三维模型；
数据处理单元，用于根据所述主视角头戴式可视设备拍摄的视频画面计算主视角位置，用于计算所述主视角位置相对于世界坐标系原点的旋转矩阵和平移向量，用于根据所述旋转矩阵和平移向量更新所述数字化三维模型在主视角头戴式可视设备投影屏幕上的显示角度；
触觉感知手套，用于采集手部动作，获取手术器械位置变化数据；
数据处理单元，用于根据采集手部动作、手术器械位置变化数据计算手术器械与三维模型中各组织的相对位置关系，并以此控制所述触觉感知手套向手部施加相应的力反馈。
7.根据权利要求6所述一种基于混合现实的虚拟手术训练***，其特征在于，所述活体全身容积数据采集自核磁共振、CT及超声检查中的一种或多种。
8.根据权利要求6所述一种基于混合现实的虚拟手术训练***，其特征在于，该***还包括，至少一个具有摄像机的从视角头戴式可视设备，与所述数据处理单元联接，用于拍摄摄像机视野内的视频画面，并将所述视频画面发送至所述数据处理单元；用于实时显示所述数据处理单元重建的数字化三维模型。
9.根据权利要求8所述一种基于混合现实的虚拟手术训练***，其特征在于，所述数据处理单元，还用于根据所述从视角头戴式可视设备拍摄的视频画面计算从视角位置，用于计算所述从视角位置相对于世界坐标系原点的旋转矩阵和平移向量，用于根据所述旋转矩阵和平移向量更新所述数字化三维模型在从视角头戴式可视设备投影屏幕上的显示角度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811378127.1A CN109410680A (zh) | 2018-11-19 | 2018-11-19 | 一种基于混合现实的虚拟手术训练方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811378127.1A CN109410680A (zh) | 2018-11-19 | 2018-11-19 | 一种基于混合现实的虚拟手术训练方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109410680A true CN109410680A (zh) | 2019-03-01 |
Family
ID=65474134
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811378127.1A Pending CN109410680A (zh) | 2018-11-19 | 2018-11-19 | 一种基于混合现实的虚拟手术训练方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109410680A (zh) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109907826A (zh) * | 2019-04-12 | 2019-06-21 | 江西省人民医院 | 基于3d模型和vr技术的冠状动脉疾病模拟诊疗*** |
| CN110070788A (zh) * | 2019-03-18 | 2019-07-30 | 叶哲伟 | 一种基于混合现实的人体3d经络穴位可视化方法 |
| CN110335516A (zh) * | 2019-06-27 | 2019-10-15 | 王寅 | 一种vr心脏手术模拟***及其模拟方法 |
| CN110459083A (zh) * | 2019-08-22 | 2019-11-15 | 北京众绘虚拟现实技术研究院有限公司 | 一种视觉-触觉融合的增强现实口腔手术技能训练模拟器 |
| CN110689792A (zh) * | 2019-11-19 | 2020-01-14 | 南方医科大学深圳医院 | 一种超声检查虚拟诊断培训***及方法 |
| CN110807968A (zh) * | 2019-11-28 | 2020-02-18 | 上海褚信医学科技有限公司 | 穿刺手术教学***、实现方法、教学终端和教学设备 |
| CN111276032A (zh) * | 2020-02-29 | 2020-06-12 | 中山大学中山眼科中心 | 一种虚拟手术训练*** |
| CN111658142A (zh) * | 2019-03-07 | 2020-09-15 | 重庆高新技术产业开发区瑞晟医疗科技有限公司 | 一种基于mr的病灶全息导航方法及*** |
| CN111768495A (zh) * | 2020-06-28 | 2020-10-13 | 上海交通大学医学院附属第九人民医院 | 一种四肢骨折手法复位训练方法 |
| CN111882936A (zh) * | 2020-07-18 | 2020-11-03 | 纽智医疗科技(苏州)有限公司 | 一种基于力反馈与虚拟现实的手术预演及教学*** |
| CN112057139A (zh) * | 2020-07-31 | 2020-12-11 | 常州锦瑟医疗信息科技有限公司 | 基于混合现实技术的手术定位*** |
| CN112309215A (zh) * | 2020-11-11 | 2021-02-02 | 黑龙江中医药大学 | 一种临床医学内科教学用演示***及其控制方法 |
| WO2021047396A1 (zh) * | 2019-09-10 | 2021-03-18 | 腾讯科技（深圳）有限公司 | 图像处理方法及装置、电子设备和计算机可读存储介质 |
| CN113035038A (zh) * | 2021-03-29 | 2021-06-25 | 安徽工业大学 | 一种虚拟骨科手术练习***及模拟训练方法 |
| CN113971896A (zh) * | 2021-11-17 | 2022-01-25 | 苏州大学 | 一种手术训练***及训练方法 |
| CN114913309A (zh) * | 2022-05-28 | 2022-08-16 | 深圳大学 | 基于混合现实的高仿真外科手术教学***及其方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102592484A (zh) * | 2010-11-16 | 2012-07-18 | 韩国电子通信研究院 | 用于基于虚拟现实的训练模拟器的可重配置平台管理设备 |
| CN204542390U (zh) * | 2015-04-17 | 2015-08-12 | 中国科学院重庆绿色智能技术研究院 | 一种基于增强现实的力反馈手术机器人控制*** |
| CN105264459A (zh) * | 2012-09-27 | 2016-01-20 | 沉浸式触感有限公司 | 用于模拟外科手术的触觉增强和虚拟现实*** |
| WO2017106924A1 (en) * | 2015-12-23 | 2017-06-29 | Deakin University | Tactile medical examination simulator |
| CN107613897A (zh) * | 2015-10-14 | 2018-01-19 | 外科手术室公司 | 扩增实境的外科导航 |
| CN108472095A (zh) * | 2015-12-29 | 2018-08-31 | 皇家飞利浦有限公司 | 用于机器人外科手术的使用虚拟现实设备的***、控制器和方法 |
| CN208031283U (zh) * | 2017-03-29 | 2018-11-02 | 上海霖晏医疗科技有限公司 | 一种手术导航*** |
-
2018
- 2018-11-19 CN CN201811378127.1A patent/CN109410680A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102592484A (zh) * | 2010-11-16 | 2012-07-18 | 韩国电子通信研究院 | 用于基于虚拟现实的训练模拟器的可重配置平台管理设备 |
| CN105264459A (zh) * | 2012-09-27 | 2016-01-20 | 沉浸式触感有限公司 | 用于模拟外科手术的触觉增强和虚拟现实*** |
| CN204542390U (zh) * | 2015-04-17 | 2015-08-12 | 中国科学院重庆绿色智能技术研究院 | 一种基于增强现实的力反馈手术机器人控制*** |
| CN107613897A (zh) * | 2015-10-14 | 2018-01-19 | 外科手术室公司 | 扩增实境的外科导航 |
| WO2017106924A1 (en) * | 2015-12-23 | 2017-06-29 | Deakin University | Tactile medical examination simulator |
| CN108472095A (zh) * | 2015-12-29 | 2018-08-31 | 皇家飞利浦有限公司 | 用于机器人外科手术的使用虚拟现实设备的***、控制器和方法 |
| CN208031283U (zh) * | 2017-03-29 | 2018-11-02 | 上海霖晏医疗科技有限公司 | 一种手术导航*** |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111658142A (zh) * | 2019-03-07 | 2020-09-15 | 重庆高新技术产业开发区瑞晟医疗科技有限公司 | 一种基于mr的病灶全息导航方法及*** |
| CN110070788A (zh) * | 2019-03-18 | 2019-07-30 | 叶哲伟 | 一种基于混合现实的人体3d经络穴位可视化方法 |
| CN109907826A (zh) * | 2019-04-12 | 2019-06-21 | 江西省人民医院 | 基于3d模型和vr技术的冠状动脉疾病模拟诊疗*** |
| CN110335516A (zh) * | 2019-06-27 | 2019-10-15 | 王寅 | 一种vr心脏手术模拟***及其模拟方法 |
| CN110459083A (zh) * | 2019-08-22 | 2019-11-15 | 北京众绘虚拟现实技术研究院有限公司 | 一种视觉-触觉融合的增强现实口腔手术技能训练模拟器 |
| CN110459083B (zh) * | 2019-08-22 | 2020-08-04 | 北京众绘虚拟现实技术研究院有限公司 | 一种视觉-触觉融合的增强现实口腔手术技能训练模拟器 |
| US11386799B1 (en) | 2019-08-22 | 2022-07-12 | Beijing Unidraw Vr Technology Researech Institute Co., Ltd | Vision-haptics fused augmented reality simulator for dental surgical skill training |
| US11538229B2 (en) | 2019-09-10 | 2022-12-27 | Tencent Technology (Shenzhen) Company Limited | Image processing method and apparatus, electronic device, and computer-readable storage medium |
| WO2021047396A1 (zh) * | 2019-09-10 | 2021-03-18 | 腾讯科技（深圳）有限公司 | 图像处理方法及装置、电子设备和计算机可读存储介质 |
| CN110689792A (zh) * | 2019-11-19 | 2020-01-14 | 南方医科大学深圳医院 | 一种超声检查虚拟诊断培训***及方法 |
| CN110807968A (zh) * | 2019-11-28 | 2020-02-18 | 上海褚信医学科技有限公司 | 穿刺手术教学***、实现方法、教学终端和教学设备 |
| CN111276032A (zh) * | 2020-02-29 | 2020-06-12 | 中山大学中山眼科中心 | 一种虚拟手术训练*** |
| CN111768495A (zh) * | 2020-06-28 | 2020-10-13 | 上海交通大学医学院附属第九人民医院 | 一种四肢骨折手法复位训练方法 |
| CN111882936A (zh) * | 2020-07-18 | 2020-11-03 | 纽智医疗科技(苏州)有限公司 | 一种基于力反馈与虚拟现实的手术预演及教学*** |
| CN112057139A (zh) * | 2020-07-31 | 2020-12-11 | 常州锦瑟医疗信息科技有限公司 | 基于混合现实技术的手术定位*** |
| CN112309215A (zh) * | 2020-11-11 | 2021-02-02 | 黑龙江中医药大学 | 一种临床医学内科教学用演示***及其控制方法 |
| CN113035038A (zh) * | 2021-03-29 | 2021-06-25 | 安徽工业大学 | 一种虚拟骨科手术练习***及模拟训练方法 |
| CN113971896A (zh) * | 2021-11-17 | 2022-01-25 | 苏州大学 | 一种手术训练***及训练方法 |
| CN113971896B (zh) * | 2021-11-17 | 2023-11-24 | 苏州大学 | 一种手术训练***及训练方法 |
| CN114913309A (zh) * | 2022-05-28 | 2022-08-16 | 深圳大学 | 基于混合现实的高仿真外科手术教学***及其方法 |
| CN114913309B (zh) * | 2022-05-28 | 2024-07-12 | 深圳大学 | 基于混合现实的高仿真外科手术教学***及其方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109410680A (zh) | 一种基于混合现实的虚拟手术训练方法及*** | |
| Spitzer et al. | The visible human dataset: the anatomical platform for human simulation | |
| Ungi et al. | Perk Tutor: an open-source training platform for ultrasound-guided needle insertions | |
| Meller | A typology of simulators for medical education | |
| WO2003023737A1 (en) | Medical procedure training system | |
| JP2007528029A (ja) | 医学的訓練および評価装置および方法 | |
| Gao et al. | Application of mixed reality technology in visualization of medical operations | |
| CN105225562A (zh) | 一种全科医生培训考核***及方法 | |
| CN113035038A (zh) | 一种虚拟骨科手术练习***及模拟训练方法 | |
| CN109509555A (zh) | 一种基于三维影像的外科手术预演评估方法以及*** | |
| Riener et al. | VR for medical training | |
| Seo et al. | Anatomy builder VR: Embodied VR anatomy learning program to promote constructionist learning | |
| Guo et al. | Automatically addressing system for ultrasound-guided renal biopsy training based on augmented reality | |
| RU2687564C1 (ru) | Система обучения и оценки выполнения медицинским персоналом инъекционных и хирургических минимально-инвазивных процедур | |
| Tahmasebi et al. | A framework for the design of a novel haptic-based medical training simulator | |
| CN113893033B (zh) | 一种肺部经皮穿刺导航方法及*** | |
| Wei et al. | Virtual Reality technology in modern medicine | |
| Bu et al. | Novel Three-Dimensionally Printed Ultrasound Probe Simulator and Heart Model for Transthoracic Echocardiography Education | |
| RU143299U1 (ru) | Система моделирования медицинской процедуры (варианты) | |
| CN115662234B (zh) | 一种基于虚拟现实的胸腔镜手术示教*** | |
| CN204971576U (zh) | 鼻内镜手术导航仿真培训*** | |
| Jang et al. | How direct interaction in a virtual reality program aids in developing an internal representation of a complex 3-D structure | |
| Klempous et al. | Application of simulation techniques in a virtual laparoscopic laboratory | |
| Wasif et al. | Training in temporal bone surgery: A review of current practices | |
| Bogdanovych et al. | UGRA in VR: A Virtual Reality Simulation for Training Anaesthetists |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190301 |
|
| RJ01 | Rejection of invention patent application after publication |