CN110390851A - 增强现实训练*** - Google Patents

增强现实训练*** Download PDF

Info

Publication number
CN110390851A
CN110390851A CN201910323137.3A CN201910323137A CN110390851A CN 110390851 A CN110390851 A CN 110390851A CN 201910323137 A CN201910323137 A CN 201910323137A CN 110390851 A CN110390851 A CN 110390851A
Authority
CN
China
Prior art keywords
augmented reality
virtual
instrument
user
training system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910323137.3A
Other languages
English (en)
Other versions
CN110390851B (zh
Inventor
黄宇轩
张皓宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huang Yu Hsuan
Original Assignee
Huang Yu Hsuan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huang Yu Hsuan filed Critical Huang Yu Hsuan
Publication of CN110390851A publication Critical patent/CN110390851A/zh
Application granted granted Critical
Publication of CN110390851B publication Critical patent/CN110390851B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Algebra (AREA)
  • Pure & Applied Mathematics (AREA)
  • Medical Informatics (AREA)
  • Medicinal Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Instructional Devices (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

本发明揭露了一种增强现实训练***，包括一操作平台、一增强现实立体显微镜组、一器械追踪模块、以及一模拟产生模块。该增强现实立体显微镜组是以摄影机捕捉真实立体影像、以及传递增强现实影像于使用者眼中。该器械追踪模块利用顶部以及底部数位摄影机以追踪于一手术假体操作的一器械上部的一标记、以及追踪该器械的下部。该模拟产生模块可产生及显示合并真实立体影像以及虚拟影像的增强现实影像，以模拟该器械与于该模拟产生模块的一处理器上执行的一训练计画之间的相互动作。据此，该增强现实训练***可使用真实的器械作为使用者的界面，并建立一可靠且通用的显微跟踪框架。

Description

增强现实训练***
技术领域
本发明有关于一种增强现实训练***，更具体而言，是有关于一种是用于显微手术训练的增强现实训练***，该显微手术可例如为眼科手术、神经外科手术、心血管手术、以及整形手术。
背景技术
于西元1955年，Hunter以及其同事发明了第一台光学虚拟现实模拟***，其使用机械手臂来接收细微动作的输入。研究人员采用了如电磁传感器、光学跟踪相机、霍尔效应传感器、惯性传感器、以及复合***来改善器械定位的精确度以及解析度。为了与传感器互动，特别设计、改良、或有线的道具被使用以取代真正的器械，也因此该些道具的重量以及触觉回馈模式与真正的器械不相同。
器械定位的准确度以及解析度以外，与手术器械的熟悉度对于一位白内障外科医师是相当关键的。举例而言，撕囊镊可具有弯曲或直的尖端，以及圆形或扁平的手柄，每一种类型都需要配合不同的操作技巧。手术的技术与器械的种类有高度的相关性，尤其是显微手术，因此，若真正的器械无法在练习时使用，训练***的成效将有所限制。传统的光学跟踪***中，六个自由度的跟踪至少需要将三个反射标记贴附于复制品上。该复制品的重量以及弹性与真正的器械将有所不同。于一电磁传感***中，准确度可能被真实器械中的金属材料而影响。于一机械绞接***中，使用者通常是操作机械手臂以取代手术器械，与真实手感有很大差异。上述的问题是先前的手术训练***遇到的基本困难。
上述的训练***皆是内建于虚拟现实(Virtual reality)中，这些******械，并于一虚拟环境中呈现器械与眼睛的互动，因此，无法观察到真正的器械。此外，虽然于虚拟环境中可被忽略，但于尺寸被放大的眼睛模型上操作的动作与真实手术有很大的不同。
发明内容
本发明的目的在于提供一增强现实(AR)训练***，以实现细微的动作跟踪以及真实器械的练习，并可改善学员的手眼协调能力。
根据前述的目的，本发明提供了一种增强现实训练***(ARTS)，包括：一操作平台，具有一模型放置区，供一手术假体放置、以及一工作空间，供一使用者于该手术假体上进行操作训练；一增强现实立体显微镜组，对应该操作平台设置，且以摄影机捕捉该手术假体以及操作于该手术假体上的一器械的真实立体影像，以及传递增强现实影像于该使用者眼中；一器械追踪模块，包含至少一顶部数位摄影机以及至少一底部数位摄影机，且提供该器械的位置信号以及方向信号，其中，该顶部数位摄影机设置于该工作空间的上方以追踪该器械的一上部的一标记，而该底部摄影机设置于该工作空间的下方以追踪该器械的一下部；以及一模拟产生模块，连接至该增强现实立体显微镜组以及该器械追踪模块上，并产生及显示该增强现实影像以模拟该器械与该训练计画之间的相互动作，其中，该增强现实影像是合并来自该增强现实立体显微镜组的该真实立体影像；以及基与该器械位置信号、该器械方向信号、与一训练计画互动所产生的多个虚拟影像。
据此，该增强现实训练***可应用于显微手术的训练，例如眼科手术、神经外科手术、心血管手术、以及整形手术等，以满足使用者于训练中使用真实手术器械的要求。透过该顶部摄影机以及该底部摄影机，该器械的位置可即时被计算，且可产生对应的虚拟动画。该虚拟影像与该增强现实立体显微镜组所捕捉的该真实立体影像重叠，而使用者可以双目目镜查看增强现实的效果。当该增强现实训练***是根据该立体显微镜以及手术显微镜的结构而设计时，其可提供观察微小物件正确的立体视野的能力，以及提供超高画质的双目镜显示器以实现真实的使用者体验。尤其，该增强现实训练***可展现0.02mm的空间准确度，其足以让外科医师进行白内障手术的训练。使用该增强现实训练***时，使用者可自由地创造所需的手术伤口。此外，器械的移动路径不被限制，且手术操作空间为真实的大小，并未放大。
于本发明中，该增强现实训练***可跟踪多种器械，例如刮刀、剪刀、以及镊子等。藉由特别设计的摄影机设置方式以及计算软体，使用者可于该增强现实训练***中使用预先注册的器械，并有七个自由度的追踪，包括镊子的开合。由于本训练***的使用者界面中可使用无线的真实器械，使用者精进的手术技巧转换至真实的手术时可有最短的过渡期。在使用增强现实训练***之前，该器械上必须贴附一或多个标记，而所述标记可为被动式的标记(例如反射球)、或为主动式的标记(例如无线或有线充电式的LED模块)，且被贴附于该器械的上部。于一较佳实施态样中，该标记为一被动式标记，且该增强现实训练***的工作空间上方更包括一顶光模块。使用红外线(IR)摄影机作为顶部摄影机以及底部摄影机时，该顶光模块提供红外光以及可见光。因此，该器械的该上部可藉由该标记而被追踪。此外，较佳地，该增强现实训练***的工作空间下方更包括一底光模块，以提供红外光以及可见光。更具体而言，该底光模块可包含多个光源，使得使用者可更轻易的判断该器械的下部的深度。相较于需要至少三个反射标记来追踪六个自由度的传统光学追踪***，仅需要一个标记的该增强现实训练***可让使用者忽略安装标记后所造成的差异，且其身临其境的体验不会受到影响。
于本发明中，该模拟产生模块可包括一处理器以及一显示器。该处理器连接至该增强现实立体显微镜组以及该器械追踪模块，而该显示器连接至该处理器上，并显示该增强现实影像。更具体而言，该显示器可包含一右屏幕以及一左屏幕，而该增强现实影像则显示于该右屏幕以及该左屏幕上，并藉由该增强现实立体显微镜组的一光学模块而传递至使用者的眼睛。此外，该模拟产生模块可更包括一指导面板，连接至该处理器并显示一三维视图以可视化该手术假体的一三维模拟模型以及该器械与该训练计划互动的一三维模拟影像。较佳地，该模拟产生模块的该处理器可于该指导面板上提供有关于该使用者于训练计划中操作的一分析报告，供该使用者检视。针对白内障手术的训练，该处理器所产生的虚拟影像包括一虚拟瞳孔区，且该训练计划于该处理器中执行，以提供以下训练课程中的至少一者：(i)放置至少一虚拟物件于该虚拟瞳孔区上以记录该使用者于该训练课程中于一预设期间内操作该器械的位置，以及分析该器械移动的范围来评估该使用者的稳定握持器械技巧；(ii)放置一虚拟起始点以及多个虚拟物件于该虚拟瞳孔区上，并纪录使用者操作该器械触碰该虚拟起始点至触碰于不同高度的所述虚拟物件的次数以及时间，以评估该使用者的深度感测以及器械巡航技巧；(iii)放置一虚拟参考圈于该虚拟瞳孔区上，并比较该使用者绘制的一虚拟跟踪曲线与该虚拟参考圈，以评估该使用者的圆圈循迹技巧；(iv)放置至少一虚拟物件以及一虚拟目标点于该虚拟瞳孔区上，并记录该使用者操作一镊子夹取所述虚拟物件至该虚拟目标点所需的时间，以评估该使用者使用该镊子的技巧；以及(v)放置一虚拟物件、一虚拟引导曲线、以及一虚拟释放点于该虚拟瞳孔区上，并记录使用者操作一镊子抓取该虚拟物件以及将该虚拟物件沿着该虚拟引导曲线带至该虚拟释放点所需的时间，以评估该使用者的环形撕囊(capsulorhexis)技巧。
于本发明中，该增强现实立体显微镜组可提供放大的立体影像，且可包括一摄影机模块、一光学模块、以及一目镜模块。该摄影机模块对应该工作空间设置以捕捉该真实立体影像；而该光学模块对应该目镜模块以及该模拟产生模块而设置，并藉由该目镜模块以传递该增强现实影像至该使用者的眼睛。更具体而言，该光学模块包括多个光学透镜、多个棱镜、多个镜子、多个扩散器、以及多个分束器。藉此，该增强现实影像可透过所述光学透镜、所述棱镜、所述镜子、所述扩散器、以及所述分束器而传递至该使用者的眼睛。
于本发明中，该手术假体可包括一眼睛模型，以作为白内障手术的训练。较佳地，该眼睛模型可具有一人工伤口，该人工伤口允许该器械透过该人工伤口***该眼睛模型。更具体而言，该眼睛模型具有一硬式底部以及于该硬式底部上的一柔软部，该人工伤口形成于该柔软部上。据此，该眼睛模型的该柔软部与该器械之间的摩擦力可提供真实的触觉反馈。此外，该训练计划该处理器中执行，于该人工伤口的边缘设立警告指标，当感应到该器械碰撞该警告指标时将发出警告。
于本发明中，该增强现实训练***可更包括一可操作界面模块，连接至该处理器，并使得该使用者得以操作调整该增强现实立体显微镜组的一对焦平面或一缩放比例、或移动该增强现实立体显微镜组。此外，该可操作界面模块使得该使用者得以操作调整光线以及控制其他客制化的功能。
本发明上述的目的、优点、以及新颖的技术特征将通过下文中结合附图的详细说明而更佳明确。
附图说明
图1为本发明一实施态样的增强现实训练***的示意图。
图2为本发明一实施态样的光学模块的方块图。
图3为本发明一实施态样的底部数位摄影机、底光模块、以及眼睛模型的组合的***图。
图4为本发明一实施态样的眼睛模型的示意图。
图5为本发明一实施态样的光学模块、显示器、以及目镜模块的示意图。
图6为本发明一实施态样的增强现实立体显微镜组、器械追踪模块、可操作界面模块、以及模拟产生模块之间的信号转换的方块图。
图7为本发明一实施态样的稳定握持器械训练模式下的增强现实影像示意图。
图8为本发明一实施态样的前房巡航训练模式下的增强现实影像示意图。
图9为本发明一实施态样的圆圈循迹训练模式下的增强现实影像示意图。
图10为本发明一实施态样的镊子训练模式下的增强现实影像示意图。
图11为本发明一实施态样的环形撕囊训练模式下的增强现实影像示意图。
图12为本发明一前房巡航训练模式的经验以及搜寻时间之间的关系图。
附图标记说明
100 增强现实训练***
10 操作平台
101 模型放置区
103 工作空间
20 手术假体
21 眼睛模型
211 柔软部
212 人工伤口
213 硬式底部
23 拟真人体模型
30 增强现实立体显微镜组
31 摄影机模块
33 光学模块
331 光学透镜
332 棱镜
333 双镜
334 扩散器
335 分束器
35 目镜模块
40 器械
41 上部
43 下部
45 标记
50 器械追踪模块
51 顶部摄影机
53 底部摄影机
70 模拟产生模块
71 处理器
73 显示器
731 右屏幕
733 左屏幕
75 指导面板
81 顶光模块
83 底光模块
具体实施方式
此技艺人士可由本说明书所揭示的内容轻易地了解本发明的其他优点与功效。惟需注意的是，以下图式均为简化的示意图，图式中的元件数目、形状及尺寸可依实际实施状况而随意变更，且元件布局状态可更为复杂。本发明亦可藉由其他不同的具体实施例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不悖离本发明的精神下进行各种修饰与变更。
请参照图1所示的本发明一实施例的一增强现实训练***(ARTS)100。本实施例的该增强现实训练***100主要包括一操作平台10、一增强现实立体显微镜组30、一器械追踪模块50、以及一模拟产生模块70。于该增强现实训练***100中，该模拟产生模块70可接收来自该增强现实立体显微镜组30以及该器械追踪模块50的信号，并产生且显示增强现实影像AR于一显示器73上，因此使用者藉由该增强现实立体显微镜组30查看由该显示器73反射至该使用者的眼睛的增强现实影像AR。
为了示例说明，该增强现实训练***100适用于眼睛手术的训练(例如白内障手术训练)，因此本实施例以一眼睛模型的示意图作为手术假体20的示例。然而，应当理解的是，该增强现实训练***100并非限制于眼睛手术的训练，任何操作训练皆可于该增强现实训练***100上进行。本发明的该增强现实训练***100的详细结构及其主要元件之间的连接关系将于下文中更详细地描述。
该操作平台10具有一模型放置区101供该手术假体20放置、以及一工作空间103供使用者的手可于该手术假体20上进行操作训练(如手术训练)。于本实施例中，该操作平台10被一盒体覆盖以避免不必要的环境光线。此外，该盒体的内部覆盖了黑色非反光材料以避免光的二次反射。
该增强现实立体显微镜组30对应该操作平台10而设置(更具体而言，是设置于该操作平台10的该工作空间103上方)以摄影机捕捉该手术假体20以及操作于该手术假体20上的一器械40(如手术器械)的真实立体影像，以及以光学方式传递增强现实影像AR于该使用者眼中。更具体而言，该增强现实立体显微镜组30可包括一摄影机模块31、一光学模块33、以及一目镜模块35。该摄影机模块31对应该工作空间103设置，以捕捉真实场景的影像。于本实施例中，该摄影机模块31装备有相隔一适当距离的双立体摄影机，以提供真实立体影像。双立体摄影机之间的距离以及角度可符合不同的工作距离而调整。该光学模块33相对该目镜模块35而设置，以传递显示于该显示器73该增强现实影像AR至该目镜模块35上。于本实施态样中，该光学模块33包括双镜333，其中左边及右边的镜子分别对应该目镜模块35的左半及右半部而设置。如图2所绘示的该双镜333以外，该光学模块33通常更包括多个光学透镜331、多个棱镜332、多个扩散器334、以及多个分束器335，因此该增强现实影像AR可藉由所述光学透镜331、所述棱镜332、该双镜333、所述扩散器334、以及所述分束器335自该显示器73反射至该使用者的眼睛。
该器械追踪模块50包括一顶部数位摄影机51以及一底部数位摄影机53，并提供该器械40的位置以及方向信号。该顶部数位摄影机51以及该底部数位摄影机53可为红外线摄影机、RGB摄影机、景深摄影机、热像摄影机、及其他种类的摄影机，并无特别的限制。本实施例使用红外线摄影机作为顶部摄影机51及底部摄影机53，该顶部摄影机51设置于该工作空间103的上方，并追踪该器械40的上部41(例如尾部)，该底部摄影机53设置于该工作空间103的下方，并追踪该器械40的下部43(例如头部)。举例而言，于眼睛手术中，该底部数位摄影机53为可转动地设置，例如图3所示的于一中空眼睛模型21底下，且该顶部及底部数位摄影机51、53可聚焦于该手术假体20的手术区域内(例如该中空眼睛模型21的瞳孔区，其直径为10mm)。更具体而言，该顶部数位摄影机51的配置是为了追踪贴附于该器械40的上部41的一标记45，而该底部摄影机53的设置是为了追踪该器械40的下部43。该标记45是使用可贴附于该器械40的上部41的标记，且可为任何被动式标记或主动式标记。于本实施例使用一被动式标记作为该标记45，并设置一顶光模块81于该工作空间103的上方以提供红外光以及可见光(如白光)。例如，该标记45可为一个小型反射球，该小型反射球为覆盖有3MTMScotchliteTM反射胶带的塑胶球，其不论光源于任何方向皆可产生均一的反射。该标记的直径为6mm，重量大约为0.8克，使用者可忽略安装该标记时所产生的差异，且使用者的操作不会受到影响。在实际的手术中，视网膜会反射来自显微镜的光线以照亮器械40的下部43，为了模拟这个现象，本实施例如图3所绘示，例如包括四个可调式光源(例如红外光以及白光LED)的一底光模块83被贴附于该眼睛模型21的底部来帮助使用者更容易地评估下部43的深度。当使用具有对称结构的镊子作为手术用的器械40时，在操作过程中至少一个近端会与伤口底部接触，此特征可藉由来自底部数位摄影机53的影像的亮度以区别。当接触的部分被确认后，该器械40的位置以及开口的角度可被计算出来。根据该顶部与该底部数位摄影机51、53所预先量测的讯息，可得到其尖端、反射球、以及转折点之间的长度，且可计算该器械40的三维位置以及方向。此外，为了最小化来自各种颜色以及反射光的干扰，建议使用者于操作该器械时穿戴黑色乳胶手套。于本实施例中，该手术假体20更包括一拟真人体模型23与该眼睛模型21结合，如此一来可满足白内障手术中物理反馈的要求。为了提供更加身临其境的环境以及被动的触觉反馈，该拟真人体模型23可由三维(3D)扫描所获得之具有实际尺寸眼眶骨及额骨的一人类模型修改而得。至于该眼睛模型21，请参考图4，一柔软部211形成于一硬式底部213上以提供更加身临其境的环境以及被动式的触觉反馈。于本实施例中，使用以乙烯醋酸乙烯酯(EVA)制成的3D列印线料与0.2mm的3D列印喷嘴以列印该柔软部211于该硬式底部213上来作为脆弱的角膜模型。此外，一人工伤口212形成于该柔软部211上以呈现一角膜伤口。据此，该器械40的下部43可通过该人工伤口212而***该眼睛模型21，而该眼睛模型21的该柔软部211与器械40之间的摩擦力可提供逼真的触觉反馈。于本实施例中，该人工伤口212的宽度为2.4mm，与微切口白内障手术中的标准角膜切口相同。该人工伤口212的高度经由专业白内障手术医师重复地调整以及检查以获得逼真的变形特性，以限制横向倾斜时镊子的开口范围。
于其他实施例中，该增强现实训练***100更包括一无线电力传输模块91(如图1所示)，其邻接该操作平台10并于该工作空间103提供一感应电场。从而，任何设置于该工作空间103中的无线供电电子装置(例如该器械40、该眼睛模型21、该底部数位摄影机53、一主动式LED标记、或可设计为无线充电装置的任何光学/电学元件)皆可无线地供电使用。
该模拟产生模块70连接至该增强现实立体显微镜组30以及该器械追踪模块50，以产生并显示该增强现实影像AR以模拟该器械40与该训练计画之间的相互动作，其中，该增强现实影像AR是合并来自该增强现实立体显微镜组30的该真实立体影像；以及基与该器械位置信号、该器械方向信号、与一训练计画互动所产生的多个虚拟影像。更具体而言，该模拟产生模块70可包括一处理器71，连接至该增强现实立体显微镜组30以及该器械追踪模块50、以及一显示器73，连接至该处理器71并显示该增强现实影像AR。该显示器73相对该光学模块33而设置，故显示于该显示器73上的该增强现实影像AR可由该光学模块33传递，并透过该目镜模块35而进入使用者的眼睛。更具体而言，该显示器73可包括一右屏幕731以及一左屏幕733，该右屏幕731以及该左屏幕733对应地设置，并面朝该光学模块33(例如，分别面朝右镜以及左镜333)。据此，该右屏幕731显示的右增强现实影像AR藉由该光学模块33的右部(如右镜333)而投射于该使用者的右眼中，而左屏幕显示的左增强现实影像AR藉由该光学模块33的左部(如左镜333)而投射于该使用者的左眼中。于本实施例中，影像透视技术(video see-through,VST)被应用于本***中，而该使用者观看提供预先组合的真实以及虚拟的影像的显示器。当真实以及虚拟的影像的延迟时间恒相同，且不会导致影像同步迭合的错位时，可于VST***中舒适地观看其所提供的视觉结果，而低于33ms的延迟时间是可接受的。为了获得模拟显微手术时可接受的解析度，较佳为使用任意尺吋的高解析度的面板作为影像来源，例如双28吋4K液晶面板，以显示该增强现实影像AR。于本实施例中，如图5所示，该右镜333以及右屏幕731之间的水平距离D1及该左镜333与该左屏幕733之间的水平距离D2分别设定为32cm，以提供50度视角的高每度像素(pixels per degree,PPD)的影像(43PPD)，以显示显微手术真实的视觉环境。此外，如图6所示，该模拟产生模块70可更包括一指导面板75，连接至该处理器71并显示一三维的视图以可视化该手术假体20的一三维模拟模型以及该器械40与该训练计划互动的一三维模拟影像。较佳地，该处理器71于该指导面板75上提供有关于该使用者于训练计划中操作的一分析报告，以供使用者观看。此外，在实际的操作下，如图6所示，一可操作界面模块60可进一步地连接示该处理器71上，并供使用者可操作调整，举例而言，该增强现实立体显微镜组30的一对焦平面或一缩放比例、或移动该增强现实立体显微镜组30，以及调整光线或控制其他客制化的功能。具体而言，该可操作界面模块60可为一脚踏板或任何一种使用者可操作的机构，以调整所需的条件。当该处理器71接收到由该使用者操作该可操作界面模块60所发出的指令时，该处理器71会产生对应的控制信号，并发布于该增强现实立体显微镜组30。于本实施例中，该增强现实训练***100是以白内障手术作为示例，因此该处理器71中执行的训练计画设定警告指标并提供下文中的四个基本技术的训练课程(稳定握持器械训练、前房巡航训练、圆圈循迹训练、以及镊子训练)、以及一个手术步骤训练课程(环形撕囊训练)。
[伤口触碰检测]
若外科医师于角膜伤口边缘强行操作手术器械将造成角膜结构不可逆的损伤，而若外科医师利用支轴概念(pivot concept)则可避免这些副作用。然而，当受训者操作时会将注意力高度专注于该器械尖端，这时很难顾及到伤口的状况。于该增强现实训练***100中，如图7至图11所示，当器械40碰触到设定于该人工伤口右侧边缘以及左侧边缘的警告指标W1、W2时，警告指标W1、W2时会变色。于伤口接触检测的模式下，触碰伤口次数、伤口的总触碰时间、以及最大的伤口触碰时间都会被记录并且分析。
[稳定握持器械训练模式]
如图7所示，六个虚拟物件P1(绘示为六个球体)均匀地沿着相同的高度分布于该虚拟瞳孔区A，例如沿着虚体瞳孔区A的边缘分布。当该器械40(绘示为一刮刀)的下部43触碰所述虚拟物件P1时，所述虚拟物件P1会改变颜色，且在连续触碰一预设时间后(如5秒)会消失。该使用者可以任意的顺序触碰所述虚拟物件P1，且当该器械40的下部43触碰到所述虚拟物件P1时，该尖端的位置每秒会记录五次。于X、Y、Z轴上的动作范围以及动作的立方空间将被计算以及分析以评估该使用者的稳定握持器械技巧。
[前房巡航训练模式]
如图8所示，一虚拟起始点P0设定于该虚拟瞳孔区A的中心，而多个虚拟物件P1、P2…、Pn(图式中仅绘示P1及P2)则设定于不同高度，且皆位于该虚拟瞳孔区A中。该使用者须先行触碰该虚拟起始点P0，随后将出现一随选的虚拟物件P1。当该虚拟物件P1被触碰而消失后，该虚拟起始点P0将再度出现，该使用者必须移动至该虚拟起始点P0，接着在移动至下一个随选的虚拟物件P2，直到触碰完一预设数量的虚拟物件P1、P2…、Pn。该使用者所操作该器械40(绘示为刮刀)的下部43由该虚拟起始点P0至下一个虚拟物件P1、P2…、Pn的时间被定义为搜寻时间。总搜寻时间、最大搜寻时间、以及总任务时间皆被记录并分析以评估该使用者的深度感测以及器械巡航技巧。
[圆圈循迹训练模式]
如图9所示，定义一虚拟参考圈C0于该虚拟瞳孔区A的中心以代表该撕囊区，该使用者必须使用器械40(绘示为刮刀)的下部43自该伤口的对应边开始跟踪该虚拟参考圈C0。此任务将依照该使用者的偏好而以顺时针或逆时针跟踪该虚拟参考圈C0。该使用者所画的虚拟循迹曲线C1上的每一个参考点，可决定出于该虚拟参考圈C0上有相同圆心角的的一对应点，并计算每一对参考点与对应点的平均距离。虚拟循迹曲线C1与虚拟参考圈C0之间的弗雷谢距离(Frechet distance)以及长度皆被计算。完成任务的所需时间被纪录并根据圆心角标准化。据此，可评估该使用者的圆圈循迹技巧。
[镊子训练模式]
如图10所示，设定一预设数量(如六个)且位于相同位置的的虚拟物件P1(该虚拟物件P1的操作完成之前，其他虚拟物件不会出现，故图中仅绘示一个虚拟物件P1)以及位于不同位置的一虚拟目标点T于该虚拟瞳孔区A上。该使用者必须先使用器械40(绘示为镊子)夹取一个虚拟物件P1，接着再将其小心地带到该虚拟目标点T使其消失。所述虚拟物件P1是以逆时针的顺序接近。该使用者抓取下一个虚拟物件P1所需的时间被定义为搜寻时间，而将该虚拟物件P1带到该虚拟目标点T的时间被定义为抓取时间，所有移动路径的长度皆被累积为一总路径值。据此，可评估该使用者使用镊子的技巧。
[环形撕囊训练模式]
如图11所示，于该前囊膜创造一初始开口皮瓣后，外科医师应使用一撕囊镊(capsule forceps)夹取近端的皮瓣，并拖动该皮瓣以在前囊膜上形成一圆形撕囊开口。当完成四分之一的裂口时应放开该皮瓣，接着外科医师必须将该镊子尖端移动至一个新的近端，重复以上步骤直到完成一个连续的圆形撕囊开口为止。在此模式中，该虚拟瞳孔区A中设定一虚拟物件P1(绘示为一薄型盒子)、一虚拟引导曲线C2、以及一虚拟释放点R。该虚拟物件P1(绘示为薄型盒子)被放置于理想的撕囊边缘以表示该皮瓣的近端。该使用者必须夹取该虚拟物件P1并将其沿着该虚拟引导曲线C2拖拉至该虚拟释放点R。此任务必须于四个方向重复施行，以练习一标准撕囊步骤的动作。抓取该虚拟物件P1所需的时间被定义为搜寻时间，而将其带至该虚拟释放点R的时间被定义为抓取时间。所有移动的路径长度皆被累积为一总路径值。据此，可评估该使用者的撕囊技巧。
[参加者]
2017年三月至四月，本研究共有28位参加者，其中有1位眼外科医师助理、参加眼科培训课程的1位实习医师及2位一般医学训练住院医师、18位眼科住院医师、以及6位白内障手术医师。根据训练的程度将所述参加者分为三组：(1)初学者，第二年住院医师之前的学员，皆有观看或协助白内障手术的经验，但对于施行在人体上的手术步骤的经验有限；(2)中级学员，于监督下有施行白内障手术步骤的经验，但未独立进行手术(在参加此研究时未有任何独立手术的经验)；(3)经验丰富的白内障手术医师，可独立完成白内障手术。
[介入程序]
首先，以标准化的方式指导所有的参加者该增强现实训练***100的操作方式(5分钟)。在充份调整瞳孔间距之后，接着进行五分钟的热身阶段使得参加者熟悉该增强现实训练***100。接着开始介入前评量，5个训练模式须以稳定握持器械训练模式、前房巡航训练模式、圆圈循迹训练模式、镊子训练模式、以及环形撕囊训练模式的顺序一次完成。纪录参与者的操作结果，且参与者的操作过程皆有一位资深的导师监控。
接着进行练习程序，包含重复稳定握持器械训练以及前房巡航训练模式5次，以及重复其他三种模式10次。上述的练习程序大概耗时1小时，若有需要，参与者可要求短暂的休息时间。练习之后开始介入后评量，所有的模式皆以相同的顺序再进行一次，纪录其操作结果并与介入前评量的结果比较，其比较结果如以下表1所示。
[表1]
[增强现实训练***的验证]
一个有意义的训练***必须具有藉由其评分参数以区分不同技术程度使用者的能力，本研究透过比较初学者组(n＝12)与经验丰富的白内障手术医师(n＝9)的介入前结果，而其比较结果如以下表2所示：
不同于其他参加者，有2位主治医师多年来是从患者头部的上方操作器械进行角膜切口，当他们于本研究中设计由颞侧进行手术的人体模型上操作时，他们的双手在角膜切口的不同方向上的支撑姿势以及操作技术严重受到影响，并影响到其操作表现，因此，他们在建构效度分析中被从经验丰富的白内障手术医师组别中排除。
[表2]
[实验结果]
[统计学分析]
本实施例的统计学分析是使用MedCalc软体，版本为17.5.5(MedCalc softwareBVBA,Ostend,Belgium)。不同组别的表现参数的差异以及训练方法之间主观效能的统计学上的差异是使用双尾Mann-Whitney U测试方法来评估。介入前以及介入后的操作表现则是使用双尾Wilcoxon signed-rank测试来评估，显著性差异的标准为0.05。手术经验与手眼协调能力之间的关系是藉由Spearman's rank相关系数而计算，并藉由前房巡航训练模式中的搜寻时间而量化。其结果如图12所示。
[建构效度分析]
经验丰富的白内障手术医师在所有的训练模式中至少有一个参数是显著优于初学者，如表1及表2所示，稳定握持器械训练模式中的Y轴的动作范围(P＝0.47)；前房巡航训练模式中的总任务时间(P＝.016)以及搜寻时间(P＝.016)；圆圈循迹训练模式中的平均长度差异(P＝.042)以及弗雷谢距离(P＝.010)；镊子训练模式中的搜寻时间(P＝.043)、抓取时间(P＝.019)、总任务时间(P＝.018)、总路径长度(P＝.019)、以及伤口触碰时间(P＝.037)；以及环形撕囊训练模式中的抓取时间(P＝.047)、总任务时间(P＝.023)、总路径长度(P＝.001)、伤口触碰时间(P＝.047)、以及最大伤口触碰时间(P＝.039)。31个参数中有16个参数成功的通过建构效度测试。
[客观功效分析]
如表1及表2所示，参与者于一小时的介入程序后，除了在稳定握持器械训练模式中的X轴的动作范围(P＝.2275)以外，其他所有参数皆有统计上显著的进步(P<.05)。此外，除了稳定握持器械训练模式中的Z轴的动作范围(P＝.024)、圆圈循迹训练模式中的伤口触碰次数(P＝.027)、以及环形撕囊训练模式中的搜寻时间(P＝.032)以外，大部分的参数(27/31)皆有极高度的显著差异(P<0.01)。
本发明所提供的增强现实训练***为第一个增强现实显微手术的模拟器，且为第一个使用真实器械作为操作界面的***。本***不只提供高空间解析度的增强现实立体影像，更具有即时追踪手术器械的超高准确度(20μm)。本增强现实训练***可分辨不同经验值的手术技术表现，并成为一个新的手术熟练度的评估工具。操作时的三维动作皆被记录下来，这些资料对于未来人工智能手术的开发可作为关键的训练数据集。
上述的实施例仅用来例举本发明的实施态样，以及阐释本发明的技术特征，并非用来限制本发明的保护范畴。任何熟悉此技术者可轻易完成的改变或均等性的安排均属于本发明所主张的范围，本发明的权利保护范围应以申请专利范围为准。

Claims (20)

1.一种增强现实训练***，包括：
一操作平台，具有一模型放置区，供一手术假体放置、以及一工作空间，供一使用者于该手术假体上进行操作训练；
一增强现实立体显微镜组，对应该操作平台设置，且以摄影机捕捉该手术假体以及操作于该手术假体上的一器械的真实立体影像，以及传递增强现实影像于该使用者眼中；
一器械追踪模块，包含至少一顶部数位摄影机以及至少一底部数位摄影机，且提供该器械的位置信号以及方向信号，其中，该顶部数位摄影机设置于该工作空间的上方以追踪该器械的一上部的一标记，而该底部摄影机设置于该工作空间的下方以追踪该器械的一下部；以及
一模拟产生模块，连接至该增强现实立体显微镜组以及该器械追踪模块上，并产生及显示该增强现实影像以模拟该器械与该训练计画之间的交互动作，其中，该增强现实影像是合并来自该增强现实立体显微镜组的该真实立体影像；以及基与该器械位置信号、该器械方向信号、与一训练计画互动所产生的多个虚拟影像。
2.如权利要求1所述的增强现实训练***，其特征在于，该模拟产生模块包括一处理器，连接至该增强现实立体显微镜组以及该器械追踪模块；以及一显示器，连接至该处理器上，并显示该增强现实影像。
3.如权利要求1所述的增强现实训练***，其特征在于，该底部数位摄影机为可旋转地设置于该工作空间的下方。
4.如权利要求2所述的增强现实训练***，其特征在于，该模拟产生模块更包括一指导面板，连接至该处理器且显示一三维视图以可视化该手术假体的一三维模拟模型以及该器械与该训练计划互动的一三维模拟影像。
5.如权利要求4所述的增强现实训练***，其特征在于，该处理器于该指导面板上提供有关于该使用者于训练计划中操作的一分析报告。
6.如权利要求2所述的增强现实训练***，其特征在于，更包括一可操作界面模块，连接至该处理器，并使得该使用者得以操作调整该增强现实立体显微镜组的一对焦平面或一缩放比例、或移动该增强现实立体显微镜组。
7.如权利要求6所述的增强现实训练***，其特征在于，该可操作界面模块使得该使用者得以操作调整光线。
8.如权利要求2所述的增强现实训练***，其特征在于，该增强现实立体显微镜组包括一摄影机模块、一光学模块、以及一目镜模块，其中，该摄影机模块是对应该工作空间设置以捕捉该真实立体影像；以及，该光学模块是对应该目镜模块以及该模拟产生模块而设置，并透过该目镜模块以传递该增强现实影像至该使用者的眼睛。
9.如权利要求8所述的增强现实训练***，其特征在于，该光学模块包括多个光学透镜、多个棱镜、多个镜子、多个扩散器、以及多个分束器；以及，该增强现实影像是透过所述光学透镜、所述棱镜、所述镜子、所述扩散器、以及所述分束器而传递至该使用者的眼睛。
10.如权利要求1所述的增强现实训练***，其特征在于，该顶部数位摄影机以及该底部数位摄影机为红外线摄影机。
11.如权利要求10所述的增强现实训练***，其特征在于，更包括一底光模块，设置于该工作空间的下方以提供红外光以及可见光。
12.如权利要求11所述的增强现实训练***，其特征在于，更包括一顶光模块，设置于该工作空间的上方以提供红外光以及可见光。
13.如权利要求12所述的增强现实训练***，其特征在于，该标记为一反光球。
14.如权利要求1所述的增强现实训练***，其特征在于，该标记为一发光二极管模块。
15.如权利要求1所述的增强现实训练***，其特征在于，更包括一无线电力传输模块，邻接该操作平台并于该工作空间提供一感应电场。
16.如权利要求1所述的增强现实训练***，其特征在于，该手术假体包括一眼睛模型，该眼睛模型具有一人工伤口，该人工伤口允许该器械透过该人工伤口***该眼睛模型。
17.如权利要求16所述的增强现实训练***，其特征在于，该眼睛模型具有一硬式底部以及于该硬式底部上的一柔软部，该人工伤口形成于该柔软部上。
18.如权利要求16所述的增强现实训练***，其特征在于，所述虚拟影像包括一虚拟瞳孔区。
19.如权利要求18所述的增强现实训练***，其特征在于，该训练计划于该处理器中执行，于该人工伤口的边缘设立警告指标，当感应到该器械碰撞该警告指标时将发出警告。
20.如权利要求18所述的增强现实训练***，其特征在于，该训练计划于该处理器中执行，以提供以下训练课程中的至少一者：
(i)设定至少一虚拟物件于该虚拟瞳孔区上以记录该使用者于该训练课程中于一预设期间内操作该器械的位置，以及分析该器械移动的范围来评估该使用者的稳定握持器械技巧；
(ii)设定一虚拟起始点以及多个虚拟物件于该虚拟瞳孔区上，并纪录使用者操作该器械触碰该虚拟起始点至触碰于不同高度的所述虚拟物件的次数以及时间，以评估该使用者的深度感测以及器械巡航技巧；
(iii)设定一虚拟参考圈于该虚拟瞳孔区上，并比较该使用者绘制的一虚拟跟踪曲线与该虚拟参考圈，以评估该使用者的圆圈循迹技巧；
(iv)设定至少一虚拟物件以及一虚拟目标点于该虚拟瞳孔区上，并记录该使用者操作一镊子夹取所述虚拟物件至该虚拟目标点所需的时间，以评估该使用者使用该镊子的技巧；以及
(v)设定一虚拟物件、一虚拟引导曲线、以及一虚拟释放点于该虚拟瞳孔区上，并记录使用者操作一镊子抓取该虚拟物件以及将该虚拟物件沿着该虚拟引导曲线带至该虚拟释放点所需的时间，以评估该使用者的环形撕囊技巧。
CN201910323137.3A 2018-04-23 2019-04-22 增强现实训练*** Active CN110390851B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862661511P 2018-04-23 2018-04-23
US62/661,511 2018-04-23

Publications (2)

Publication Number Publication Date
CN110390851A true CN110390851A (zh) 2019-10-29
CN110390851B CN110390851B (zh) 2021-11-30

Family

ID=66239932

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910323137.3A Active CN110390851B (zh) 2018-04-23 2019-04-22 增强现实训练***

Country Status (5)

Country Link
US (1) US11373550B2 (zh)
EP (1) EP3561795B1 (zh)
JP (1) JP6842494B2 (zh)
CN (1) CN110390851B (zh)
TW (1) TWI733102B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111276032A (zh) * 2020-02-29 2020-06-12 中山大学中山眼科中心 一种虚拟手术训练***
CN117653463A (zh) * 2023-12-27 2024-03-08 上海交通大学医学院附属新华医院 用于眼科白内障手术的显微镜增强现实引导***及方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10890751B2 (en) * 2016-02-05 2021-01-12 Yu-Hsuan Huang Systems and applications for generating augmented reality images
EP3719779B1 (en) * 2017-11-30 2022-08-31 Mitsui Chemicals, Inc. Simulated eyeball, ocular surgery training device, and ocular surgery training method
WO2020066892A1 (ja) * 2018-09-28 2020-04-02 三井化学株式会社 模擬強膜、及び模擬眼球
US11328485B2 (en) * 2019-08-23 2022-05-10 Tencent America LLC Method and apparatus for displaying an augmented-reality image corresponding to a microscope view
US11357594B2 (en) 2020-08-07 2022-06-14 Johnson & Johnson Surgical Vision, Inc. Jig assembled on stereoscopic surgical microscope for applying augmented reality techniques to surgical procedures
CN114550525B (zh) * 2020-11-24 2023-09-29 郑州畅想高科股份有限公司 一种基于混合现实技术的机车部件检修实训***
CN113223342B (zh) * 2021-05-11 2023-06-16 浙江大学医学院附属邵逸夫医院 一种基于虚拟现实技术的手术仪器操作训练***及其设备
CN113674574B (zh) * 2021-07-05 2023-10-13 河南泊云电子科技股份有限公司 一种增强现实半实物复杂机电设备培训***
CN113808450B (zh) * 2021-08-20 2023-05-09 北京中电智博科技有限公司 外浮顶油罐模型事故处置训练方法、装置和设备
WO2024003961A1 (en) * 2022-07-01 2024-01-04 Dal Pont Giulia Integrated optical device and related diagnostic imaging method
CN116469289B (zh) * 2023-04-25 2024-02-09 自考人(广东)教育发展集团有限公司 基于虚拟现实的ots培训***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150325151A1 (en) * 2012-01-23 2015-11-12 Virtamed Ag Medical Simulation System and Method with Configurable Anatomy Model Manufacturing
CN105264459A (zh) * 2012-09-27 2016-01-20 沉浸式触感有限公司 用于模拟外科手术的触觉增强和虚拟现实***
CN105788390A (zh) * 2016-04-29 2016-07-20 吉林医药学院 基于增强现实的医学解剖辅助教学***
CN106251752A (zh) * 2016-10-25 2016-12-21 深圳市科创数字显示技术有限公司 Ar和vr相结合的医学培训***
CN106297472A (zh) * 2016-10-25 2017-01-04 深圳市科创数字显示技术有限公司 Ar与vr相结合的眼角膜智能手术培训***

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7826641B2 (en) * 2004-01-30 2010-11-02 Electronic Scripting Products, Inc. Apparatus and method for determining an absolute pose of a manipulated object in a real three-dimensional environment with invariant features
US7403220B2 (en) * 2004-08-23 2008-07-22 Gamecaster, Inc. Apparatus, methods, and systems for viewing and manipulating a virtual environment
US20080297535A1 (en) * 2007-05-30 2008-12-04 Touch Of Life Technologies Terminal device for presenting an improved virtual environment to a user
TW201345491A (zh) * 2012-05-04 2013-11-16 Eped Inc 牙科補綴及贗復體數位建檔與製作之方法及其教學訓練
TWI576787B (zh) * 2016-02-05 2017-04-01 黃宇軒 擴增實境影像產生系統及其應用
US10997943B2 (en) * 2018-03-02 2021-05-04 Facebook Technologies, Llc Portable compute case for storing and wirelessly communicating with an eyewear device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150325151A1 (en) * 2012-01-23 2015-11-12 Virtamed Ag Medical Simulation System and Method with Configurable Anatomy Model Manufacturing
CN105264459A (zh) * 2012-09-27 2016-01-20 沉浸式触感有限公司 用于模拟外科手术的触觉增强和虚拟现实***
CN105788390A (zh) * 2016-04-29 2016-07-20 吉林医药学院 基于增强现实的医学解剖辅助教学***
CN106251752A (zh) * 2016-10-25 2016-12-21 深圳市科创数字显示技术有限公司 Ar和vr相结合的医学培训***
CN106297472A (zh) * 2016-10-25 2017-01-04 深圳市科创数字显示技术有限公司 Ar与vr相结合的眼角膜智能手术培训***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
黄宇轩等: "CatAR:A novel stereoscopic augmented reality cataract surgery training system with dexterous instrument tracking tecnology", 《2018年 CHI 计算机***人为因数会议论文集》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111276032A (zh) * 2020-02-29 2020-06-12 中山大学中山眼科中心 一种虚拟手术训练***
CN117653463A (zh) * 2023-12-27 2024-03-08 上海交通大学医学院附属新华医院 用于眼科白内障手术的显微镜增强现实引导***及方法

Also Published As

Publication number Publication date
JP6842494B2 (ja) 2021-03-17
TWI733102B (zh) 2021-07-11
JP2019207401A (ja) 2019-12-05
EP3561795A1 (en) 2019-10-30
EP3561795B1 (en) 2023-04-05
US20190325785A1 (en) 2019-10-24
TW201944366A (zh) 2019-11-16
CN110390851B (zh) 2021-11-30
US11373550B2 (en) 2022-06-28

Similar Documents

Publication Publication Date Title
CN110390851A (zh) 增强现实训练***
JP5887026B2 (ja) ヘッドマウントシステム及びヘッドマウントシステムを用いてディジタル画像のストリームを計算しレンダリングする方法
JP2023171641A (ja) 視線追跡を使用する医療装置、システム、及び方法
CN106297472A (zh) Ar与vr相结合的眼角膜智能手术培训***
Rolland et al. Quantification of adaptation to virtual-eye location in see-thru head-mounted displays
CN117762256A (zh) 眼睛跟踪校准技术
US20150004581A1 (en) Interactive physical therapy
Süncksen et al. Gamification and virtual reality for teaching mobile x-ray imaging
CN108154778B (zh) 基于运动捕捉和混合现实的眼科手术培训***及方法
US20130286047A1 (en) Mirror system and control method therefor
CN104094162A (zh) 动态控制沉浸或抬头显示操作的宽视场3d立体视觉平台
WO2019152619A1 (en) Blink-based calibration of an optical see-through head-mounted display
CN106659541A (zh) 集成眼球凝视跟踪用于立体观看器的医疗装置、***和方法
CN106297471A (zh) Ar和vr相结合的可移动眼角膜智能手术培训***
US20140315174A1 (en) Universal microsurgical simulator
JP6789310B2 (ja) 移動追尾及びシミュレーション用の装置並びに方法
US20160247418A1 (en) Microsurgical Training System and Related Methods
CN206301504U (zh) Ar与vr相结合的眼角膜智能手术培训***
Huang et al. CatAR: a novel stereoscopic augmented reality cataract surgery training system with dexterous instruments tracking technology
CN206301538U (zh) Ar和vr相结合的医学培训***
Batmaz Speed, precision and grip force analysis of human manual operations with and without direct visual input
Christensen et al. Depth cues in augmented reality for training of robot-assisted minimally invasive surgery
CN106847036A (zh) 一种基于虚拟现实技术的人工髋关节置换术教学展示***
CN204423674U (zh) 关节镜体外模拟训练***
WO2020091385A1 (ko) 미세수술 및 인젝션을 포함한 메디컬 트레이닝 가상현실 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant