CN114520040A - 应用虚拟现实的手术教学辅助***及其方法 - Google Patents
应用虚拟现实的手术教学辅助***及其方法 Download PDFInfo
- Publication number
- CN114520040A CN114520040A CN202011292855.8A CN202011292855A CN114520040A CN 114520040 A CN114520040 A CN 114520040A CN 202011292855 A CN202011292855 A CN 202011292855A CN 114520040 A CN114520040 A CN 114520040A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- surgical
- training
- virtual reality
- time point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000012549 training Methods 0.000 claims description 64
- 230000006399 behavior Effects 0.000 claims description 47
- 230000003111 delayed effect Effects 0.000 claims description 19
- 238000010801 machine learning Methods 0.000 claims description 18
- 238000013135 deep learning Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 2
- 230000002159 abnormal effect Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 238000001356 surgical procedure Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 239000000725 suspension Substances 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 206010000117 Abnormal behaviour Diseases 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 235000017166 Bambusa arundinacea Nutrition 0.000 description 1
- 235000017491 Bambusa tulda Nutrition 0.000 description 1
- 241001330002 Bambuseae Species 0.000 description 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 235000015334 Phyllostachys viridis Nutrition 0.000 description 1
- 239000011425 bamboo Substances 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Urology & Nephrology (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Educational Technology (AREA)
- Surgery (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Processing Or Creating Images (AREA)
Abstract
一种应用虚拟现实的手术教学辅助***及其方法，通过在二维手术影像的基础上以三维重建的方式建立虚拟现实的手术环境，并且预先设定相应的操作步骤、使用器具时点及参考讯息，当在虚拟现实中进行手术训练时，持续侦测手术操作行为，并且在侦测到手术操作行为异常中止或迟滞时，根据手术训练的进度触发相应的辅助支持及引导，用以达到提高虚拟现实的手术学习成效的技术功效。
Description
技术领域
本发明涉及一种手术教学辅助***及其方法，特别是应用虚拟现实的手术教学辅助***及其方法。
背景技术
近年来，随着虚拟现实的普及与蓬勃发展，各种基于虚拟现实的应用便如雨后春笋般涌现，除了常见应用于游戏之外，虚拟现实也常应用于教学中，例如：手术、航空飞行等模拟教学及训练。
一般而言，传统的手术训练或教学方式是以大体或动物来进行，但此方式除了成本高昂之外，还具有无法恢复的问题。因此，便有厂商将虚拟现实应用在手术教学，例如：模拟人体器官或单纯以虚拟现实演示手术过程。不过，对于教学、训练或培训而言，目前模拟的人体器官仍然不够真实。另一方面，虚拟现实提供的手术操作的自由度也同样不足，所以应用在手术教学的成效仍然有其局限性。
有鉴于此，便有厂商提出提升拟真度和自由度的技术，用以增加沉浸式体验。然而，高拟真度和自由度不见得能够提高学习成效，举例来说，当不知道下一步如何操作时，即便提供高拟真度和高自由度的操作环境，同样仍然不知如何进行操作。因此，倘若能够主动侦测是否需要提供帮助，并且适时介入辅助及引导，可以预期将会对提升手术学习成效有正面的帮助。
综上所述，可知现有技术中长期以来一直存在虚拟现实的手术学习成效不彰的问题，因此实有必要提出改进的技术手段，来解决此问题。
发明内容
本发明公开一种应用虚拟现实的手术教学辅助***及其方法。
首先，本发明公开一种应用虚拟现实的手术教学辅助***，其包含：手术影像数据库、建立模块、训练模块及支持模块。其中，手术影像数据库储存二维手术影像，所述二维手术影像各自对应有术式名称、操作步骤、使用器具时点及参考讯息；建立模块连接手术影像数据库，用以在进行手术训练前，接收术式名称以选择加载相应的二维手术影像其中之一，并且根据加载的二维手术影像以三维重建方式建立虚拟现实的手术环境；训练模块连接建立模块，用以在虚拟现实的手术环境建立完成后，允许进行手术训练，并且在进行手术训练时，持续侦测手术操作行为，当手术操作行为异常中止或迟滞时，根据手术训练的进度产生相应的时点讯息；以及支持模块连接训练模块，用以根据产生的时点讯息播放加载的二维手术影像，以及同步显示操作步骤、使用器具时点及参考讯息以进行辅助支持及引导。
另外，本发明还公开一种应用虚拟现实的手术教学辅助方法，其步骤包括：提供多个二维手术影像，所述二维手术影像各自对应术式名称、操作步骤、使用器具时点及参考讯息；在进行手术训练前，接收术式名称以选择加载相应的所述二维手术影像其中之一，并且根据加载的二维手术影像以三维重建方式建立虚拟现实的手术环境；在虚拟现实的手术环境建立完成后，允许进行手术训练，并且在进行手术训练时，持续侦测手术操作行为，当手术操作行为异常中止或迟滞时，根据手术训练的进度产生相应的时点讯息；以及根据产生的时点讯息播放加载的二维手术影像，以及同步显示操作步骤、使用器具时点及参考讯息以进行辅助支持及引导。
本发明所公开的***与方法如上，与现有技术的差异在于本发明是通过在二维手术影像的基础上以三维重建的方式建立虚拟现实的手术环境，并且预先设定相应的操作步骤、使用器具时点及参考讯息，当在虚拟现实中进行手术训练时，持续侦测手术操作行为，并且在侦测到手术操作行为异常中止或迟滞时，根据手术训练的进度触发相应的辅助支持及引导。
通过上述的技术手段，本发明可以达成提高虚拟现实的手术学习成效的技术功效。
附图说明
图1为本发明应用虚拟现实的手术教学辅助***的***方块图。
图2A及图2B为本发明应用虚拟现实的手术教学辅助方法的方法流程图。
图3为应用本发明以虚拟现实进行手术操作的示意图。
图4为应用本发明在侦测到手术操作行为异常或迟滞的示意图。
附图标记如下：
110 手术影像数据库
120 建立模块
130 训练模块
140 支持模块
300 图形用户接口
301 第一显示区块
302 警示图示
303 第二显示区块
304 时点显示区块
310a,310b 控制器
311a,311b 虚拟手术器具
320 手术器具图标
步骤210提供多个二维手术影像，所述二维手术影像各自对应一术式名称、一操作步骤、一使用器具时点及一参考讯息
步骤220在进行手术训练前，接收该术式名称以选择加载相应的所述二维手术影像其中之一，并且根据加载的所述二维手术影像以三维重建方式建立一虚拟现实的手术环境
步骤230在该虚拟现实的手术环境建立完成后，允许进行手术训练，并且在进行手术训练时，持续侦测一手术操作行为，当该手术操作行为异常中止或迟滞时，根据手术训练的进度产生相应的一时点讯息
步骤231在该虚拟现实的手术环境建立完成后，允许进行手术训练，并且在进行手术训练时，持续侦测该手术操作行为
步骤232将侦测到的该手术操作行为输入预先训练完成的一机器学习模型，用以通过该机器学习模型辨识侦测到的该手术操作行为是否异常中止或迟滞，其中，训练完成的该机器学习模型的产生方式是预先将无异常中止或迟滞的手术操作行为持续输入未训练完成的该机器学习模型进行训练所产生
步骤240根据产生的该时点讯息播放加载的所述二维手术影像，以及同步显示该操作步骤、该使用器具时点及该参考讯息以进行辅助支持及引导
具体实施方式
以下将配合图式及实施例来详细说明本发明的实施方式，由此对本发明如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。
首先，在说明本发明所公开的应用虚拟现实的手术教学辅助***及其方法之前，先对本发明所应用的环境作说明，本发明应用在虚拟现实中，所述虚拟现实是指利用计算机模拟产生一个三维空间的虚拟世界，提供用户关于视觉等感官的仿真，让使用者感觉彷佛身历其境，可以实时、没有限制地观察三维空间内的事物。
以下配合图式对本发明应用虚拟现实的手术教学辅助***及其方法做进一步说明，请先参阅“图1”，“图1”为本发明应用虚拟现实的手术教学辅助***的***方块图，此***包含：手术影像数据库110、建立模块120、训练模块130及支持模块140。其中，手术影像数据库110用以储存二维手术影像，所述二维手术影像各自对应有术式名称、操作步骤、使用器具时点及参考讯息。举例来说，假设有一个二维手术影像，其对应的术式名称为“子宫肌瘤切除术”，那么，这个二维手术影像还对应有操作步骤、使用器具时点及参考讯息等等。其中，操作步骤为此术式的执行步骤、使用器具时点为纪录此术式需要使用的各种手术器具及其使用时点(或称为“时间点”)，以及参考讯息可纪录进行此术式需要注意的各项信息。
建立模块120连接手术影像数据库110，用以在进行手术训练前，接收术式名称以选择加载相应的所述二维手术影像其中之一，并且根据加载的二维手术影像以三维重建方式建立虚拟现实的手术环境。在实际实施上，所述三维重建(3D Reconstruction)是指利用二维投影或影像恢复物体三维讯息(形状等)的数学过程和计算器技术，可通过光测度、几何、深度学习等算法来实现，用以将所述二维手术影像转换为虚拟现实的三维讯息。
训练模块130连接建立模块120，用以在虚拟现实的手术环境建立完成后，允许进行手术训练，并且在进行手术训练时，持续侦测手术操作行为，当手术操作行为异常中止或迟滞时，根据手术训练的进度产生相应的时点讯息。在实际实施上，可先将无异常中止或迟滞的手术操作行为输入机器学习模型以进行训练，并且在训练完成后，再将侦测到的手术操作行为输入此机器学习模型，以便辨识手术操作行为是否异常中止或迟滞。另外，所述手术操作行为可通过动作传感器、腕部穿戴式装置、手部动态输入设备至少其中之一进行侦测。
支持模块140连接训练模块130，用以根据产生的时点讯息播放加载的二维手术影像，以及同步显示操作步骤、使用器具时点及参考讯息以进行辅助支持及引导。举例来说，假设产生的时点讯息为“十分钟三十秒”，支持模块140会从十分钟三十秒开始播放加载的二维手术影像，以及同步显示其相应的操作步骤、使用器具时点及参考讯息以进行辅助支持及引导。换句话说，当使用者的手术操作行为异常中止或迟滞时，支持模块140将实时显示这个时间点(或简称为“时点”)及其后的手术操作步骤、使用手术器具的时间点，以及将在这个时间点的正常生理数据、注意事项等等作为参考讯息提供给用户得知。
特别要说明的是，在实际实施上，本发明所述的模块皆可利用各种方式来实现，包含软件、硬件或其任意组合，例如，在某些实施方式中，各模块可利用软件及硬件或其中之一来实现，除此之外，本发明亦可部分地或完全地基于硬件来实现，例如，***中的一个或多个模块可以通过集成电路芯片、***单芯片(System on Chip,SoC)、复杂可程序逻辑装置(Complex Programmable Logic Device,CPLD)、现场可程序逻辑门阵列(FieldProgrammable Gate Array,FPGA)等来实现。本发明可以是***、方法及/或计算机程序。计算机程序可以包括计算机可读储存媒体，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令，计算机可读储存媒体可以是可以保持和储存由指令执行设备使用的指令的有形设备。计算机可读储存媒体可以是但不限于电储存设备、磁储存设备、光储存设备、电磁储存设备、半导体储存设备或上述的任意合适的组合。计算机可读储存媒体的更具体的例子(非穷举的列表)包括：硬盘、随机存取内存、只读存储器、闪存、光盘、软盘以及上述的任意合适的组合。此处所使用的计算机可读储存媒体不被解释为瞬时信号本身，诸如无线电波或者其它自由传播的电磁波、通过波导或其它传输媒介传播的电磁波(例如，通过光纤电缆的光信号)、或者通过电线传输的电信号。另外，此处所描述的计算机可读程序指令可以从计算机可读储存媒体下载到各个计算/处理设备，或者通过网络，例如：因特网、局域网络、广域网及/或无线网络下载到外部计算机设备或外部储存设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换器、集线器及/或网关。每一个计算/处理设备中的网络卡或者网络接口从网络接收计算机可读程序指令，并转发此计算机可读程序指令，以供储存在各个计算/处理设备中的计算机可读储存媒体中。执行本发明操作的计算机程序指令可以是汇编语言指令、指令集架构指令、机器指令、机器相关指令、微指令、韧体指令、或者以一种或多种程序语言的任意组合编写的原始码或目标码(Object Code)，所述程序语言包括面向对象的程序语言，如：Common Lisp、Python、C++、Objective-C、Smalltalk、Delphi、Java、Swift、C#、Perl、Ruby与PHP等，以及常规的程序式(Procedural)程序语言，如：C语言或类似的程序语言。所述计算机程序指令可以完全地在计算机上执行、部分地在计算机上执行、作为一个独立的软件执行、部分在客户端计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。
请参阅“图2A”及“图2B”，“图2A”及“图2B”为本发明应用虚拟现实的手术教学辅助方法的方法流程图，其步骤包括：提供多个二维手术影像，所述二维手术影像各自对应术式名称、操作步骤、使用器具时点及参考讯息(步骤210)；在进行手术训练前，接收术式名称以选择加载相应的所述二维手术影像其中之一，并且根据加载的二维手术影像以三维重建方式建立虚拟现实的手术环境(步骤220)；在虚拟现实的手术环境建立完成后，允许进行手术训练，并且在进行手术训练时，持续侦测手术操作行为，当手术操作行为异常中止或迟滞时，根据手术训练的进度产生相应的时点讯息(步骤230)；以及根据产生的时点讯息播放加载的二维手术影像，以及同步显示操作步骤、使用器具时点及参考讯息以进行辅助支持及引导(步骤240)。通过上述步骤，即可通过在二维手术影像的基础上以三维重建的方式建立虚拟现实的手术环境，并且预先设定相应的操作步骤、使用器具时点及参考讯息，当在虚拟现实中进行手术训练时，持续侦测手术操作行为，并且在侦测到手术操作行为异常中止或迟滞时，根据手术训练的进度触发相应的辅助支持及引导。
另外，如“图2B”所示意，步骤230还可分为两个步骤：在虚拟现实的手术环境建立完成后，允许进行手术训练，并且在进行手术训练时，持续侦测手术操作行为(步骤231)；以及将侦测到的手术操作行为输入预先训练完成的机器学习模型，用以通过此机器学习模型辨识侦测到的手术操作行为是否异常中止或迟滞，其中，训练完成的机器学习模型的产生方式是预先将无异常中止或迟滞的手术操作行为持续输入未训练完成的机器学习模型进行训练所产生(步骤232)。
以下配合“图3”及“图4”以实施例的方式进行如下说明，如“图3”所示意，“图3”为应用本发明以虚拟现实进行手术操作的示意图。当使用者欲进行虚拟现实的手术操作之前，可先通过控制器310b输入术式名称，如：子宫肌瘤切除术，以便从手术影像数据库110加载相应的二维手术影像。接着，建立模块120将加载的二维手术影像以三维重建方式建立虚拟现实的手术环境，当建立完成后，用户可通过图形用户接口300中的第一显示区块301浏览虚拟的手术环境，并且可以通过操作控制器(310a、310b)来控制虚拟手术器具(311a、311b)进行手术训练。此时，训练模块130会持续侦测手术操作行为，并且在手术操作行为异常中止或迟滞时，根据手术训练的进度产生相应的时点讯息，以便支持模块140根据这个时点讯息播放加载的二维手术影像。举例来说，假设手术训练经过十分钟三十秒时，侦测到手术操作行为异常中止或迟滞，则时点讯息便是十分钟三十秒，支持模块140会从十分钟三十秒播放加载的二维手术影像，以及同步显示操作步骤、使用器具时点及参考讯息以进行辅助支持及引导。
请参阅“图4”，“图4”为应用本发明在侦测到手术操作行为异常或迟滞的示意图。在实际实施上，当训练模块130侦测到手术操作行为异常中止或迟滞时，将如“图4”所示意，显示警示图标302，并且同时显示第一显示区块301、第二显示区块303及时点显示区块304。其中，第二显示区块303将用来显示根据时点讯息播放加载的二维手术影像，以及同步显示操作步骤、使用器具时点及参考讯息以进行辅助支持及引导；时点显示区块304则显示时点讯息，如：十五分钟可显示为“15:00”。在实际实施上，还可根据使用器具时点依序显示即将使用的手术器具图标320，方便用户有切换手术器具的心理准备。换句话说，当训练模块130侦测到手术操作行为异常中止或迟滞时，不再单纯显示第一显示区块301及其中的虚拟手术环境，而是搭配各种讯息辅助支持及引导用户，例如：以警示图示302提醒用户当前的手术操作行为异常中止或迟滞，并且以第二显示区块303显示与发生异常中止或迟滞的时间点相对应的二维手术影像，以及在时点显示区块304显示发生异常中止或迟滞的时间点，甚至根据此时间点依序显示即将使用的手术器具图标320。如此一来，当使用者不确定后续步骤或者完全不清楚后续步骤时，便能够实时介入辅助及引导，大幅提升虚拟现实的手术学习成效。
综上所述，可知本发明与现有技术之间的差异在于通过在二维手术影像的基础上以三维重建的方式建立虚拟现实的手术环境，并且预先设定相应的操作步骤、使用器具时点及参考讯息，当在虚拟现实中进行手术训练时，持续侦测手术操作行为，并且在侦测到手术操作行为异常中止或迟滞时，根据手术训练的进度触发相应的辅助支持及引导，通过此一技术手段可以解决现有技术所存在的问题，进而达成提高虚拟现实的手术学习成效的技术功效。
虽然本发明以前述的实施例公开如上，然而其并非用以限定本发明，任何本领域普通技术人员，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，因此本发明的专利保护范围须视本说明书所附的权利要求书所界定的范围为准。
Claims (10)
1.一种应用虚拟现实的手术教学辅助***，其特征在于，所述手术教学辅助***包含：
一手术影像数据库，用以储存多个二维手术影像，所述二维手术影像各自对应一术式名称、一操作步骤、一使用器具时点及一参考讯息；
一建立模块，连接所述手术影像数据库，用以在进行手术训练前，接收所述术式名称以选择加载相应的所述二维手术影像其中之一，并且根据加载的所述二维手术影像以三维重建方式建立一虚拟现实的手术环境；
一训练模块，连接所述建立模块，用以在所述虚拟现实的手术环境建立完成后，允许进行手术训练，并且在进行手术训练时，持续侦测一手术操作行为，当所述手术操作行为异常中止或迟滞时，根据手术训练的进度产生相应的一时点讯息；以及
一支持模块，连接所述训练模块，用以根据产生的所述时点讯息播放加载的所述二维手术影像，以及同步显示所述操作步骤、所述使用器具时点及所述参考讯息以进行辅助支持及引导。
2.如权利要求1所述的应用虚拟现实的手术教学辅助***，其特征在于，所述训练模块将侦测到的所述手术操作行为输入预先训练完成的一机器学习模型，用以通过所述机器学习模型辨识侦测到的所述手术操作行为是否异常中止或迟滞。
3.如权利要求2所述的应用虚拟现实的手术教学辅助***，其特征在于，所述训练完成的所述机器学习模型的产生方式是预先将无异常中止或迟滞的手术操作行为持续输入未训练完成的所述机器学习模型进行训练所产生。
4.如权利要求1所述的应用虚拟现实的手术教学辅助***，其特征在于，所述三维重建通过光测度、几何及深度学习至少其中之一进行演算，用以将所述二维手术影像转换为虚拟现实的三维讯息。
5.如权利要求1所述的应用虚拟现实的手术教学辅助***，其特征在于，所述手术操作行为通过动作传感器、腕部穿戴式装置、手部动态输入设备至少其中之一进行侦测。
6.一种应用虚拟现实的手术教学辅助方法，其特征在于，步骤包括：
提供多个二维手术影像，所述二维手术影像各自对应一术式名称、一操作步骤、一使用器具时点及一参考讯息；
在进行手术训练前，接收所述术式名称以选择加载相应的所述二维手术影像其中之一，并且根据加载的所述二维手术影像以三维重建方式建立一虚拟现实的手术环境；
在所述虚拟现实的手术环境建立完成后，允许进行手术训练，并且在进行手术训练时，持续侦测一手术操作行为，当所述手术操作行为异常中止或迟滞时，根据手术训练的进度产生相应的一时点讯息；以及
根据产生的所述时点讯息播放加载的所述二维手术影像，以及同步显示所述操作步骤、所述使用器具时点及所述参考讯息以进行辅助支持及引导。
7.如权利要求6所述的应用虚拟现实的手术教学辅助方法，其特征在于，所述方法更包含将侦测到的所述手术操作行为输入预先训练完成的一机器学习模型，用以通过所述机器学习模型辨识侦测到的所述手术操作行为是否异常中止或迟滞的步骤。
8.如权利要求7所述的应用虚拟现实的手术教学辅助方法，其特征在于，所述训练完成的所述机器学习模型的产生方式是预先将无异常中止或迟滞的手术操作行为持续输入未训练完成的所述机器学习模型进行训练所产生。
9.如权利要求6所述的应用虚拟现实的手术教学辅助方法，其特征在于，所述三维重建通过光测度、几何及深度学习至少其中之一进行演算，用以将所述二维手术影像转换为虚拟现实的三维讯息。
10.如权利要求6所述的应用虚拟现实的手术教学辅助方法，其特征在于，所述手术操作行为通过动作传感器、腕部穿戴式装置、手部动态输入设备至少其中之一进行侦测。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011292855.8A CN114520040A (zh) | 2020-11-18 | 2020-11-18 | 应用虚拟现实的手术教学辅助***及其方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011292855.8A CN114520040A (zh) | 2020-11-18 | 2020-11-18 | 应用虚拟现实的手术教学辅助***及其方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114520040A true CN114520040A (zh) | 2022-05-20 |
Family
ID=81595343
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011292855.8A Pending CN114520040A (zh) | 2020-11-18 | 2020-11-18 | 应用虚拟现实的手术教学辅助***及其方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114520040A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114300093A (zh) * | 2021-12-27 | 2022-04-08 | 北京众森信和科技有限公司 | 一种互动式手术示教方法及*** |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105788390A (zh) * | 2016-04-29 | 2016-07-20 | 吉林医药学院 | 基于增强现实的医学解剖辅助教学*** |
| CN205569066U (zh) * | 2016-03-07 | 2016-09-14 | 上海盟云移软网络科技股份有限公司 | 一种虚拟现实医疗*** |
| CN106203626A (zh) * | 2016-06-30 | 2016-12-07 | 北京奇虎科技有限公司 | 汽车驾驶行为检测方法及装置、汽车 |
| CN106901834A (zh) * | 2016-12-29 | 2017-06-30 | 陕西联邦义齿有限公司 | 微创心脏外科手术的术前规划及手术虚拟现实模拟方法 |
| CN110400620A (zh) * | 2019-07-25 | 2019-11-01 | 上海交通大学医学院附属上海儿童医学中心 | 一种心脏三维模型构建方法及模拟心脏手术指导*** |
| CN110796739A (zh) * | 2019-09-27 | 2020-02-14 | 哈雷医用(广州)智能技术有限公司 | 一种颅脑手术虚拟现实仿真方法及*** |
-
2020
- 2020-11-18 CN CN202011292855.8A patent/CN114520040A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN205569066U (zh) * | 2016-03-07 | 2016-09-14 | 上海盟云移软网络科技股份有限公司 | 一种虚拟现实医疗*** |
| CN105788390A (zh) * | 2016-04-29 | 2016-07-20 | 吉林医药学院 | 基于增强现实的医学解剖辅助教学*** |
| CN106203626A (zh) * | 2016-06-30 | 2016-12-07 | 北京奇虎科技有限公司 | 汽车驾驶行为检测方法及装置、汽车 |
| CN106901834A (zh) * | 2016-12-29 | 2017-06-30 | 陕西联邦义齿有限公司 | 微创心脏外科手术的术前规划及手术虚拟现实模拟方法 |
| CN110400620A (zh) * | 2019-07-25 | 2019-11-01 | 上海交通大学医学院附属上海儿童医学中心 | 一种心脏三维模型构建方法及模拟心脏手术指导*** |
| CN110796739A (zh) * | 2019-09-27 | 2020-02-14 | 哈雷医用(广州)智能技术有限公司 | 一种颅脑手术虚拟现实仿真方法及*** |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114300093A (zh) * | 2021-12-27 | 2022-04-08 | 北京众森信和科技有限公司 | 一种互动式手术示教方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3992918A1 (en) | Method for generating 3d expression base, voice interactive method, apparatus and medium | |
| CN113946211A (zh) | 基于元宇宙的多个对象的交互方法及相关设备 | |
| US20090311655A1 (en) | Surgical procedure capture, modelling, and editing interactive playback | |
| JP2022088529A (ja) | 視線追跡方法及び装置、モデル訓練方法及び装置、端末デバイス、コンピュータ可読記憶媒体、およびコンピュータプログラム | |
| US11647983B2 (en) | Automating ultrasound examination of a vascular system | |
| Zielke et al. | Developing Virtual Patients with VR/AR for a natural user interface in medical teaching | |
| CN110070076B (zh) | 用于选取训练用样本的方法和装置 | |
| Wright et al. | Design and evaluation of an augmented reality simulator using leap motion | |
| CN113761796A (zh) | 基于虚拟现实的心脏出血与止血模型的仿真***和方法 | |
| CN114520040A (zh) | 应用虚拟现实的手术教学辅助***及其方法 | |
| US20220277524A1 (en) | Expert knowledge transfer using egocentric video | |
| CN115761855B (zh) | 面部关键点信息生成、神经网络训练和三维面部重建方法 | |
| CN112991208A (zh) | 图像处理方法及装置、计算机可读介质和电子设备 | |
| EP4086853A2 (en) | Method and apparatus for generating object model, electronic device and storage medium | |
| CN109816791B (zh) | 用于生成信息的方法和装置 | |
| TWI765370B (zh) | 應用虛擬實境的手術教學輔助系統及其方法 | |
| KR20230056004A (ko) | 가상 현실 기반의 수술 환경을 제공하는 장치 및 방법 | |
| US20230334998A1 (en) | Surgical teaching auxiliary system using virtual reality and method thereof | |
| CN110135583A (zh) | 标注信息的生成方法、标注信息的生成装置和电子设备 | |
| WO2022063030A1 (en) | Audio-visual interaction with implanted devices | |
| US20150082244A1 (en) | Character input device using event-related potential and control method thereof | |
| CN115564897A (zh) | 一种智能磁共振全息成像方法和*** | |
| CN115575931A (zh) | 标定方法、装置、电子设备及存储介质 | |
| CN114694442A (zh) | 基于虚拟现实的超声培训方法、装置、存储介质及超声设备 | |
| CN113867532A (zh) | 一种基于虚拟现实技能训练的评估***及评估方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |