TWI745307B - 強化實境之外科導航 - Google Patents

強化實境之外科導航 Download PDF

Info

Publication number
TWI745307B
TWI745307B TW105133264A TW105133264A TWI745307B TW I745307 B TWI745307 B TW I745307B TW 105133264 A TW105133264 A TW 105133264A TW 105133264 A TW105133264 A TW 105133264A TW I745307 B TWI745307 B TW I745307B
Authority
TW
Taiwan
Prior art keywords
patient
view
user
virtual
virtual image
Prior art date
Application number
TW105133264A
Other languages
English (en)
Other versions
TW201717837A (zh
Inventor
亞海夫 多古
阿隆Ｙ 蓋里
摩爾德凱 艾維薩
伊利亞胡 台克曼
Original Assignee
美商外科劇院有限責任公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商外科劇院有限責任公司 filed Critical 美商外科劇院有限責任公司
Publication of TW201717837A publication Critical patent/TW201717837A/zh
Application granted granted Critical
Publication of TWI745307B publication Critical patent/TWI745307B/zh

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/62—Semi-transparency

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • General Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • General Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Urology & Nephrology (AREA)
  • Processing Or Creating Images (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

一種強化實境之外科導航方法包括準備與患者相關聯之多維虛擬模型的步驟。該方法進一步包括接收指示外科醫生檢視患者之當前視圖的追蹤資訊的步驟，該追蹤資訊包括外科醫生相對於患者之位置及外科醫生檢視患者之視角。該方法進一步包括基於所接收追蹤資訊在虛擬模型中識別虛擬視圖的步驟，其中所識別虛擬視圖相應於外科醫生檢視患者之視圖。該方法進一步包括基於所識別虛擬視圖從虛擬模型呈現虛擬影像之步驟。該方法進一步包括將呈現虛擬影像傳送到顯示器的步驟，其中呈現虛擬影像與外科醫生之視圖組合以形成患者之強化實境視圖。

Description

強化實境之外科導航 相關申請案之交互參照
本申請案主張2015年10月14日申請並且以引用方式併入本文之美國臨時申請案序號第62/241,447號之權益。
本發明係有關於強化實境之外科導航。
在高風險手術例如大腦動脈瘤修復手術之過程中，當外科醫生推動並切割組織以接近動脈瘤區域時，腦組織之絕對定向被顯著改變。因此，基於預配準之3D影像的先進外科術準備及輔助系統(例如影像引導及導航系統)之當前利用在協助外科醫生方面係有限的。此外，諸如動脈瘤修復之手術由於包括動脈瘤區域臨時性血管夾持之各種程序而係非常時間敏感的。因此，程序之效率係非常關鍵的，並且基於患者特定局部幾何形狀及動脈瘤之物理性質的詳細計劃係基本的。為達成外科術前準備之新水準，正在越來越多地利用3D CT及MRI影像。然而，對於外科術演練而言，彼等影像僅單獨提供輕微的益處。
已經開發了先前以引用方式併入本文之美國專利案第8,311,791號中描述之手術演練及準備工具，以將靜態醫學影像轉換為動態及交互式多維全球虛擬實境，六(6)個自由度模型(「MD6DM」)，其可由醫生用於即時模擬醫療程序。
MD6DM提供了圖形模擬環境，使醫生能夠在全球虛擬實境環境中體驗、計劃、執行並導航介入。具體而言，MD6DM給予外科醫生使用從傳統2維患者醫療掃描來建立之獨特多維模型來進行導航的能力，該模型給出全體積球形虛擬實境模型中之球形虛擬實境6個自由度(即線性；x、y、z及角度、橫擺、俯仰、滾動)。
MD6DM由患者自己醫學影像資料集構成，包括CT、MRI、DTI等，並且係患者特定的。若外科醫生需要，可以整合代表性大腦模型，例如Atlas資料，以建置部分患者特定模型。該模型給出了從MD6DM上之任何點的360°球形視圖。使用MD6DM，觀察者虛擬地位於解剖結構內部，並且可以查看並觀察解剖結構及病理結構，如同他站在患者體內一般。觀察者可以向上、向下、越過肩膀等來查看，並且將在彼此相關之關係中來觀察原始結構，恰好如同在患者體內所發現者。內部結構之間之空間關係被保存，並且可以使用MD6DM來理解。
MD6DM之演算法獲取醫學影像資訊並將其構建成球形模型，該球形模型係可以在解剖結構內「飛行」時從任何角度檢視之完整、連續即時模型。具體而言，在CT、MRI等獲取真實生物體並將其解構為從數千個點構建之數百個切片之後，MD6DM藉由從內部及外部來表示彼等點中之每個點的360°視圖而將該生物體還原為3D模型。
在一個實例中，醫生可能想要利用MD6DM中可用之資訊並在手術室(OR)內之實際外科術過程期間使用它。然而，外科醫生可能已經在手術期間在手術室中使用顯微鏡或內視鏡。因此，外科醫生將他的眼睛從顯微鏡或內視鏡移開以觀察MD6DM或其他類型之患者掃描或資料可能係低效的、分散注意力並且耗時的。此外，在已經擁擠之手術室中包括用於觀察患者掃描及模型(例如MD6DM)之附加設備及系統可能係不實際或不可能的。
一種強化實境外科導航系統包括一或多個處理器、一或多個電腦可讀有形儲存裝置以及儲存在一或多個儲存裝置中之至少一者上的程式指令，其用於由一或多個處理器中之至少一者執行。程式指令包括用於準備與患者相關聯之多維虛擬模型之第一程式指令。程式指令還包括用於接收患者之實況視訊饋送之第二程式指令。程式指令還包括用於接收指示相對於患者之位置之追蹤資訊的第三程式指令。程式指令還包括用於藉由將虛擬模型與基於追蹤資訊之實況視訊饋送組合來產生患者之強化實境視圖的第四程式指令。程式指令還包括用於將患者之強化實境視圖傳送到顯 示器之第五程式指令。
一種電腦程式產品包括一或多個電腦可讀有形儲存裝置及儲存在一或多個儲存裝置中之至少一者上的程式指令。程式指令包括用於準備與患者相關聯之多維虛擬模型之第一程式指令。程式指令還包括用於接收患者之實況視訊饋送之第二程式指令。程式指令還包括用於接收指示相對於患者之位置之追蹤資訊的第三程式指令。程式指令還包括用於藉由將虛擬模型與基於追蹤資訊之實況視訊饋送組合來產生患者之強化實境視圖的第四程式指令。程式指令還包括用於將患者之強化實境視圖傳送到顯示器之第五程式指令。
提供一種強化實境外科導航方法，其包括準備與患者相關聯之多維虛擬模型的步驟。該方法還包括接收患者之實況視訊饋送的步驟。該方法還包括接收指示相對於患者之位置之追蹤資訊的步驟。該方法還包括藉由將虛擬模型與基於追蹤資訊之實況視訊饋送組合來產生患者之強化實境視圖的步驟。該方法還包括將患者之強化實境視圖傳送到顯示器的步驟。
亦提供強化實境外科導航系統，其包括：一或多個處理器；一或多個電腦可讀有形儲存裝置；至少一個感測器，其用於偵測關於使用者相對於患者之位置的資訊；以及儲存在一或多個儲存裝置中之至少一者上的程式指令，其用於由一或多個處理器中之至少一者執行。此系統之程式指令包括：用於準備與患者相關聯之多維虛擬模型之第一程式指令，用於接收指示使用者之患者當前視圖之追蹤資訊的第二程式指令，該追蹤資訊包括由感測器偵測之使用者相對於患者之位置及使用者檢視患者之視角，用於在虛擬模型中識別基於所接收之追蹤資訊之虛擬視圖的第三程式指令，其中所識別之虛擬視圖相應於使用者之患者視圖，用於基於所識別之虛擬視圖從虛擬模型呈現虛擬影像的第四程式指令，以及用於將呈現之虛擬影像傳送到顯示器的第五程式指令，其中呈現的虛擬影像與使用者視圖組合以形成患者之強化實境視圖。
進一步提供上述系統，其中第二程式指令還經配置以當使用者相對於患者之位置及使用者檢視患者之視角改變時，連續地即時接收更 新的追蹤資訊；並且第三程式指令還經配置以連續地即時地識別相應於謹慎更新之追蹤資訊的虛擬視圖，以使得虛擬視圖與使用者之患者視圖連續地同步。
亦提供上述系統中之任一者，其進一步包括：第六程式指令，其用於接收相應於使用者之患者視圖的實況視訊饋送；以及第七程式指令，其用於藉由連續地即時呈現並且將虛擬影像與實況視訊饋送組合來產生患者之強化實境視圖，其中虛擬影像與基於追蹤資訊之實況視訊饋送同步。
還提供上述系統中之任一者，其中：第二程式指令還經配置以接收指示第二使用者檢視患者之當前視圖的第二追蹤資訊，包括第二使用者相對於患者之位置及第二使用者檢視患者之視角，其中第二使用者之當前視圖不同於使用者之患者當前視圖；第三程式指令還經配置以在虛擬模型中識別基於所接收之第二追蹤資訊之第二虛擬視圖，其中所識別之第二虛擬視圖相應於第二使用者檢視患者之視圖；第四程式指令還經配置以基於所識別之第二虛擬視圖從虛擬模型呈現第二虛擬影像；並且第五程式指令還經配置以將呈現的第二虛擬影像傳送到第二顯示器，其中在將第一呈現虛擬影像傳送到第一顯示器的同時，將呈現的第二虛擬影像與第二使用者之視圖組合以形成患者的第二強化實境視圖。
亦提供強化實境外科導航方法，其包括以下步驟：準備與患者相關聯之多維虛擬模型；接收指示使用者之患者當前視圖的追蹤資訊，包括使用者相對於患者之位置及使用者檢視患者之視角；在虛擬模型中識別基於所接收之追蹤資訊的虛擬視圖，其中所識別之虛擬視圖相應於使用者之患者視圖；基於所識別之虛擬視圖從虛擬模型呈現虛擬影像；並且將所呈現之虛擬影像傳送到顯示器，其中所呈現之虛擬影像與使用者之視圖組合以形成由顯示器顯示的患者之強化實境視圖。
還提供了上述方法，其還包括以下任何步驟：當使用者相對於患者之位置及使用者之患者視角改變時，接收更新的追蹤資訊；藉由接收相應於使用者之患者視圖的實況視訊饋送來識別相應於謹慎更新之追蹤資訊的虛擬視圖，以使得虛擬視圖與患者之使用者視圖連續地同步；藉由 連續地即時呈現並且將虛擬影像與實況視訊饋送組合來產生患者之強化實境視圖，其中虛擬影像與基於追蹤資訊之實況視訊饋送同步；接收指示第二使用者檢視患者之當前視圖的第二追蹤資訊，第二追蹤資訊包括第二使用者相對於患者之位置及第二使用者檢視患者之視角，其中第二使用者之當前視圖不同於使用者檢視患者之當前視圖；在虛擬模型中識別基於所接收之第二追蹤資訊之第二虛擬視圖，其中所識別之第二虛擬視圖相應於第二使用者檢視患者之視圖；基於所識別之第二虛擬視圖從虛擬模型呈現第二虛擬影像；且/或在將第一呈現虛擬影像傳送到第一顯示器的同時，將呈現的第二虛擬影像傳送到第二顯示器，其中呈現的第二虛擬影像與第二使用者之視圖組合以形成患者的第二強化實境視圖。
還提供一種強化實境外科導航系統，其包括：一或多個處理器；一或多個電腦可讀有形儲存裝置；第一感測器，其用於偵測關於使用者相對於患者之位置的資訊；第二感測器，其用於捕獲基於該使用者之當前活動的影像；以及儲存在一或多個儲存裝置中之至少一者上的程式指令，其用於由一或多個處理器中之至少一者執行。程式指令包括：第一程式指令，其用於準備與患者相關聯之多維虛擬模型；第二程式指令，其用於接收指示由第一感測器偵測到的使用者相對於患者之當前位置的追蹤資訊；第三程式指令，其用於接收並處理基於使用者之當前活動的影像，第四程式指令，其用於基於所接收之追蹤資訊在虛擬模型中識別虛擬視圖，其中所識別之虛擬視圖相應於使用者之當前活動；第五程式指令，其用於基於所識別的虛擬視圖從虛擬模型呈現虛擬影像；以及第六程式指令，其用於將呈現的虛擬影像傳送到顯示器，其中呈現的虛擬影像與基於使用者之當前活動之影像組合以形成患者的強化實境視圖。
亦提供附加示例性實施例，其中一些但不是全部實施例在下文中更詳細地描述。
5‧‧‧患者
7‧‧‧患者特定參數
10A‧‧‧伺服器
10n‧‧‧伺服器
12‧‧‧電腦網路
15A‧‧‧資料庫
15n‧‧‧資料庫
18‧‧‧電腦
20‧‧‧外科醫生
22‧‧‧外科醫護人員
30‧‧‧電腦匯流排/網路
32‧‧‧外科探針/攝影機/工具
34‧‧‧外科工具/工具
36‧‧‧設備/工具
40‧‧‧高解析度3D顯示器
50‧‧‧通訊網路
60‧‧‧外部實體
70‧‧‧SNAP系統
71‧‧‧觸控螢幕監測器
72‧‧‧PC
73‧‧‧電力系統
75‧‧‧導航系統
100‧‧‧強化實境外科導航系統/ARS系統/系統/ARS
102‧‧‧外科醫生
104‧‧‧患者
106‧‧‧內視鏡
108‧‧‧顯示監測器/SNAP顯示器/顯示螢幕
110‧‧‧影像產生器
112‧‧‧ARS計算裝置/SNAP計算裝置
114‧‧‧資料庫
115‧‧‧資料庫
116‧‧‧控制器
120‧‧‧使用者工具產生器
130‧‧‧使用者介面
140‧‧‧實際外科工具介面/外科工具介面
150‧‧‧外部系統介面
160‧‧‧顯示器
160’‧‧‧頭戴式顯示器/HMD
202‧‧‧患者DICOM 2D影像/輸入
204‧‧‧實況視訊饋送/輸入
206‧‧‧資料/輸入/導航系統追蹤資料
208‧‧‧裝置
300‧‧‧單個視圖
301‧‧‧3D立體、並排視圖
2302‧‧‧感測器
2304‧‧‧患者之頭部
2306‧‧‧位置/觀察點
2402‧‧‧感測器
2404‧‧‧內置HD光學系統
2502‧‧‧顯示
2600‧‧‧使用方法
2602‧‧‧步驟
2604‧‧‧步驟
2606‧‧‧步驟
2700‧‧‧4視圖顯示器/4螢幕輸出
2702‧‧‧內視鏡攝影機視圖/真實內視鏡攝影機/真實攝影機
2704‧‧‧虛擬實境攝影機/虛擬內視鏡視圖/虛擬攝影機
2706‧‧‧可調整之「God's Eye視圖」
2708‧‧‧實況3面板視圖
2900‧‧‧HDM
3000‧‧‧電腦
3002‧‧‧處理器
3004‧‧‧記憶體
3006‧‧‧儲存裝置
3008‧‧‧通訊埠
3010‧‧‧介面/HMD處理器
3014‧‧‧顯示器
3016‧‧‧印表機
3018‧‧‧掃描器
3020‧‧‧滑鼠/位置偵測器感測器
3030‧‧‧音訊感測器
3040‧‧‧視訊及/或影像感測器
3050‧‧‧運動感測器
3060‧‧‧輸入/輸出裝置
3070‧‧‧介面
專利或申請檔案包含至少一張以黑白色呈現的照片。具有彩色附圖之本專利或專利申請之副本將在請求並支付必要費用之後由專利局提供。在附圖中，示出與下面提供之實施方式一起描述所要求保護之發明 之示例性實施例的結構。相同元件用相同元件符號表示。應當理解，示出為單個部件之元件可以用多個部件替換，並且示出為多個部件之元件可以用單個部件替換。附圖不是按比例的，並且為了說明之目的，某些元件之比例可能被誇大。
圖1例示示例性強化實境外科導航系統。
圖2例示示例性強化實境外科導航系統之方塊圖。
圖3例示在同一螢幕上之光學及掃描視圖之整合視圖的實例。
圖4A及4B例示來自廊道外部的腫瘤病例之示例性視圖。
圖5例示來自廊道內部的腫瘤病例之示例性視圖。
圖6例示來自廊道內部左下方的腫瘤病例之示例性視圖。
圖7例示來自廊道內部左側的腫瘤病例之示例性視圖。
圖8例示來自廊道內部左上方的腫瘤病例之示例性視圖。
圖9例示來自廊道內部上方的腫瘤病例之示例性視圖。
圖10例示來自廊道內部右上方的腫瘤病例之示例性視圖。
圖11例示來自廊道內部右側的腫瘤病例之示例性視圖。
圖12例示來自廊道內部右下方的腫瘤病例之示例性視圖。
圖13例示來自廊道外部的動脈瘤病例之示例性視圖。
圖14例示來自廊道內部的動脈瘤病例之示例性視圖。
圖15例示來自廊道內部下方的動脈瘤病例之示例性視圖。
圖16例示來自廊道內部左下方的動脈瘤病例之示例性視圖。
圖17例示來自廊道內部左側的動脈瘤病例之示例性視圖。
圖18例示來自離開的廊道內部的動脈瘤病例的示例性視圖。
圖19例示來自廊道內部上方的動脈瘤病例之示例性視圖。
圖20例示來自廊道內部右上方的動脈瘤病例之示例性視圖。
圖21例示來自廊道內部右側的動脈瘤病例之示例性視圖。
圖22例示來自廊道內部右下方的動脈瘤病例之示例性視圖。
圖23例示手術室中之示例性俯視圖。
圖24A例示示例性頭戴式顯示器(HMD)之前視圖。
圖24B例示示例性頭戴式顯示器(HMD)之後視圖。
圖25例示另一示例性頭戴式顯示器(HMD)。
圖26例示示例性強化實境外科導航方法。
圖27例示示例性光學4視圖顯示格式。
圖28例示在示例性場景中被表示為化身之多個使用者的示例。
圖29例示示例性輸入控制器。
圖30係用於實現圖1之示例性ARS計算裝置之示例性電腦的示意圖。
圖31A係展示用於利用可以與本文揭示之改進一起使用之示例性SNAP系統的示例性系統結構及介面的方塊圖。
圖31B係展示用於示例性SNAP系統之示例性SNAP工具部件的方塊圖。
圖31C係展示用於示例性SNAP系統之示例性軟體介面的方塊圖。
圖32係展示可以在任何示例性頭戴式顯示器中使用之各種感測器部件的方塊圖。
以下縮略詞及定義將有助於理解詳細描述：AR-強化實境-物理、真實環境之實況視圖，其要素已藉由電腦產生之感官要素(例如聲音、視訊或圖形)來強化。
VR-虛擬實境-電腦產生之三維環境，其可被人不同程度地探索及交互。
HMD-頭戴式顯示器(圖26)係指可以在AR或VR環境中使用之頭戴式裝置。它可為有線或無線的。它亦可包括一或多個附加物， 例如耳機、麥克風、HD攝影機、紅外攝影機、手持追蹤器、位置追蹤器等。
控制器-包括按鈕及方向控制器之裝置。它可為有線或無線的。此裝置之實例包括Xbox遊戲台、PlayStation遊戲台、Oculus觸摸等。
HMD開關-允許使用者使用HMD及/或控制器與軟體進行交互之開關。此開關可以藉由多種方式來啟用/禁用，包括：按下軟體或控制器中之按鈕；說出片語或單詞，例如-「啟動HMD」，「停止HMD」；按下腳踏開關；以及手勢如長時間揮手。
分割-將數位影像分割為多個片段(像素集)之過程。分割之目的係將影像之表示簡化且/或改變為更有意義並且更容易分析之事物。
剪切-垂直於視角來移除模型化解剖結構之層(每次一個預設厚度)的過程，以便逐個切片地揭示內部結構。在內側/近側方向之外側/遠側來移除層。
SNAP病例-SNAP病例係指以DICOM檔案格式藉由使用一或多個患者掃描(CT、MR、fMR、DTI等)來建置之3D紋理或3D對象。它亦包括不同的分割預設，用於過濾3D紋理中的特定範圍並且將其他範圍著色。它亦可包括放置在場景中之3D對象，包括用於標記所關注之特定點或解剖結構的3D形狀、3D標籤、3D量測標記、用於引導之3D箭頭及3D外科工具。外科工具及裝置已經被模型化用於教育及患者特定演練，尤其用於將動脈瘤夾具適當地設定尺寸。
場景-係指3D虛擬空間，包括其中之3D紋理及3D對象。
附加感測器-允許從真實環境接收更多資訊以強化虛擬體驗之裝置。例如-Microsoft Kinect、Leap Motion。
化身-使用者之視點用被稱為「化身」之「頭骨陰影」(圖1-101)來指定。使用者之化身遵循外科醫生之頭部運動，並且例如，若外科醫生之頭部向右移動，化身將在所有方向上向右移動等。若外科醫生需要另一個視點，則可以使用控制器將化身重新定位到MD6DM內部的新點。
MD6DM-多維全球虛擬實境，6自由度模型。它提供了圖形模擬環境，使醫生能夠在全球虛擬實境環境中體驗、計劃、執行及導航介入。
所揭示之系統在諸如示例性外科圖形工具(SNAP)之模型化系統上實現，其與手術室技術整合以提供進階3D能力及強化實境，允許外科醫生提高其外科術效能並提前準備。SNAP工具為神經外科醫生提供了獨特虛擬實境引導，以確定尤其例如移除腦腫瘤及治療血管異常之最安全及最有效途徑。
SNAP工具將開顱手術、頭部位置、對病灶之接近路徑的3D計劃引入例如Keyhole及其他微創技術中。SNAP允許外科醫生預先看到預期的外科醫生眼睛視圖。
使用SNAP工具，外科醫生可以在手術室中利用特定患者之實際CT/MRI(及其他)掃描來執行其外科術計劃，從而允許強化準確性及效率。SNAP亦提供了創新特徵，允許外科醫生以可加以修改以使影像對外科醫生更有用之可旋轉3D格式來看到動脈及其他關鍵結構的後面。例如，SNAP提供旋轉影像或使得其半透明的能力，以幫助外科醫生使操作可視化。SNAP利用先進的成像技術，允許外科醫生進行「患者特定」外科術之真實「飛行」。該工具在手術室外提供準備支援，並且亦可用於將預先計劃之路徑帶入手術室，以便在手術期間由外科醫生(及其醫護人員)使用。
SNAP藉由連接到OR術中追蹤導航系統來獲得外科術工具、導航探針、顯微鏡焦點等之追蹤坐標。SNAP提供3D導航模型，其減慢強化之情境感知。SNAP可以從經配置以收集此資訊之此等外科術工具中之任一者接收影像或追蹤/導航資訊，並且此資訊可以由SNAP系統使用以便響應於接收到資訊來向外科醫生顯示高解析度影像。例如，SNAP影像可以追蹤所顯示影像中之工具的位置，或者例如基於由工具提供之視覺資訊來更新影像。
SNAP接近警告系統以類似於飛機上的地面迫近警告系統(GPWS)及機載防撞系統(ACAS)、地形防撞系統(TCAS)及用於指示並警告機組人員可能導致接近地面及其他障礙物之接近及/動作的其他類似系統的方式來操作。SNAP接近警告系統之操作包括以下主要階段： SNAP接近警告系統可以自動標記外科醫生需要避免的解剖結構。此解剖結構可以包括纖維徑跡、神經、血管、動脈等。-SNAP接 近警告系統允許在3D或2D導航場景中手動放置標記。彼等標記可以標示障礙及解剖結構，以避免或標示外科醫生將導航到達之目標。所放置的每個標記可以被示蹤、具有特定顏色、特定的形狀等。-SNAP接近警告系統之警告指示可為視覺(例如顏色之變化)、聲音(聲音)及其他指示。
SNAP可以允許建置軌跡。藉由標記入口點，然後將此入口點與上述標記/目標相關聯，SNAP建置允許從入口點導航到目標之軌跡。-SNAP路徑計劃器允許外科醫生連接若干標記、目標及入口點，並建置路徑。可以建置多個路徑。路徑可為要遵循的期望路由或要避免的路徑。
SNAP向外科醫生提供視覺圖形引導。只要外科醫生在引導標記內保持其運動，他將準確地從A點到達B點(從入口點到達目標)。該工具為機構(例如，醫院)及其相應外科醫生提供減少外科術錯誤、減少外科術廢物量及相關成本、減少手術室時間以及最小化手術高風險性質的機會。該工具提供了在神經外科術培訓中保持高品質的機會，並且在手術室外進行教育：Halstedian外科術技能培訓取決於大量、各種各樣的病例，以及幾乎連續的醫院駐留時間。最近的發展已經迫使人們對Halstedian系統進行重新思考。最近對於Halstedian系統的一系列壓力包括：工作時間有限、公眾監督增加及手術經驗減少。
使用該工具來演練可以減少後續程序及調整的需要。例如，當用於動脈瘤外科術時，使用該工具可以減少調整或替換動脈瘤夾具的需要。夾具之調整及更換通常可導致暫時閉塞延長及總體更長手術時間。此可能增加總體手術風險。
如熟習此項技術者將理解的，本文揭示之示例性實施例可實現為或可一般地利用方法、系統、電腦程式產品或前述組合。因此，任何實施例可以採用完全硬體實施例、在硬體上執行之完全軟體實施例(包括韌體、常駐軟體、微代碼等)或者可通常在本文中稱為「系統」的將軟體與硬體態樣組合的實施例形式。此外，任何實施例可以採用電腦可用儲存媒體上之電腦程式產品的形式，該電腦可用儲存媒體具有在媒體中體現之電腦可用程式代碼。
例如，本文所揭示特徵可以使用在醫院環境中(例如在手術 室中)提供的網路化電腦系統1來實現，如圖31A所示。該系統可以在外科外科環境中提供，其中外科醫生20在各種外科醫護人員22支援下對患者5進行手術。此系統1整合了存取來自一或多個資料庫15A-15n之資料的一或多個伺服器(例如，PC)10A-10n，該等資料庫使用電腦網路12鏈結在一起。系統將執行為了實現在此描述之功能及其他特徵所提供的專有軟體。一或多個電腦20可以用於與各種外科工具例如外科探針/攝影機32，其他外科工具34及/或作為電腦18與工具之間的介面使用一或多個電腦匯流排或網路30連接到電腦20的其他設備36介接。注意，在一些情況下，所有電腦18、伺服器10及資料庫15可以被容納在單個伺服器平台中。
該系統連接到高解析度3D顯示器40，外科醫生可以在該顯示器上監測各種工具32、34及36之操作及活動。在一些情況下，顯示器可能不具有3D能力。此外，下面描述之示例性頭戴式顯示器(HMD)可以用於向外科醫生及/或他/她的助手提供逼真影像。一或多個此等顯示器可以遠離操作位置提供，例如藉由經由諸如網際網路之通訊網路的連接。
該系統配置有患者特定參數7，患者特定參數7包括患者之成像細節，包括先前獲得之患者之可用CT及MRI影像準備的影像，以及涉及所模擬模型的其他資訊，例如患者年齡、性別等(其中一些或全部可以從外部實體獲得，例如醫學資料庫、實驗室或其他來源)。該系統利用從系統資料庫獲得的描述組織及器官特徵的組織資訊參數。該系統可以經配置以在需要時經由通訊網路50(例如網際網路)與一或多個外部實體60交互。
可以使用任何合適電腦可用(電腦可讀)媒體來儲存用於在一或多個電腦上執行以實現所揭示過程的軟體，並且儲存所揭示資料及資訊。電腦可用或電腦可讀媒體可為，例如但不限於，電子、磁性、光學、電磁、紅外或半導體系統、設備、裝置，或傳播媒體。電腦可讀媒體之更特定實例(非詳盡清單)將包括以下各者：具有一或多個電線的電氣連接；有形媒體諸如可攜式電腦磁片、硬碟、隨機存取記憶體(RAM)、唯讀記憶體(ROM)、可抹除可程式化唯讀記憶體(EPROM或快閃記憶體)、光碟唯讀記憶體(CDROM)、或其他有形光學或磁性儲存裝置；或傳輸媒體諸如支援網 際網路或內部網路之彼等。注意，電腦可用或電腦可讀媒體甚至可以包括另一種媒體，該程式可以經由例如光學或磁性掃描從其中電子捕獲，然後編譯、解譯，或者若必要，以合適方式處理，然後儲存在任何可接受類型之電腦記憶體中。
在本檔案之上下文中，電腦可用或電腦可讀媒體可為可包含、儲存、傳送、傳播或傳輸程序以供指令執行系統、平台、設備或裝置等使用或與其相關來使用的任何媒體，其可包括包含一或多個可程式化或專用處理器/控制器的任何合適電腦(或電腦系統)。電腦可用媒體可以包括在基帶中或作為載波之一部分的具有在其中體現之電腦可用程式代碼的傳播資料信號。電腦可用程式代碼可以使用任何適當媒體傳輸，包括但不限於網際網路、有線、光纖電纜、射頻(RF)或其他手段。
用於執行示例性實施例之操作的電腦程式代碼可以藉由使用任何電腦語言之常規手段來編寫，電腦語言包括但不限於諸如BASIC、Lisp、VBA或VBScript之解譯或事件驅動語言，或GUI實施例諸如visual basic，諸如FORTRAN、COBOL或Pascal的編譯程式設計語言，諸如Java、JavaScript、Perl、Smalltalk、C++、Object Pascal等的面向對象、腳本或非腳本程式設計語言，諸如Prolog之人工智慧型語言，諸如Ada之即時嵌入式語言，或者甚至使用梯形邏輯之更直接或簡化程式設計，匯編語言或使用適當機器語言直接程式設計。
電腦程式指令可以儲存或以其他方式加載到電腦可讀記憶體中，其可以指示計算裝置或系統(諸如由圖31A之示例系統1所描述者)或其他可程式化資料處理設備以特定方式運作以使得儲存在電腦可讀記憶體中之指令產生包括實現本文中所指定功能/動作的指令手段的製品。
軟體包括藉由提供給執行裝置或部件來執行之專用電腦程式指令，該執行裝置或部件可以包括通用電腦之處理器，專用電腦或控制器或其他可程式化資料處理設備或部件，其如本文所描述來定製以使得專用電腦程式之指令在被執行時建置用於實現本文所指定之功能/動作的手段。因此，定製軟體之電腦程式指令用於使得在執行裝置或部件或其他可程式化設備上執行一系列操作，以產生電腦實現之過程，以使得指令在電 腦上或其他可程式化設備上執行用於實現本揭示中指定之功能/動作的步驟。此等步驟或動作可以與操作者或人實施之步驟或動作及由其他部件或設備提供之步驟或動作組合，以便執行本發明之任何數量的示例性實施例。定製軟體亦可以根據需要利用各種市售軟體，例如電腦作業系統、資料庫平台(例如MySQL)或其他COTS軟體。
對於稱為「外科導航進階平台」(SNAP)之示例性系統，實際患者之醫學影像被變換成動態的交互式3D場景。此動態及交互式影像/模型為醫學成像建置了新穎及獨創性的標準，並有許多應用。
SNAP為外科醫生(神經外科醫生等)、醫生及其助手提供獨特的虛擬實境引導，以確定移除腫瘤(大腦等)並治療異常如血管異常的最安全及最有效途徑。「外科導航進階平台」(SNAP)可以用作獨立系統或外科術導航系統之應用，或者對於使用第三方導航系統之程序類型而言，與第三方導航系統一起使用。此等程序包括但不限於腦、脊柱及耳鼻喉(ENT)。
SNAP允許外科醫生在外科術前分析並計劃特定患者之病例，然後將該計劃帶入手術室(OR)，並在外科術期間與導航系統結合使用。然後，SNAP將導航資料呈現到具有多個視點的進階交互高品質3D影像中。
SNAP實際上是影像引導之外科術系統，其包括呈現外科手術之即時及動態多行視線(從不同/多個視角)的醫療成像裝置。影像包括掃描醫學影像(基於諸如CT、MRI、超聲、X射線等之掃描)及外科術器械。它亦可以包括基於視訊形式顯微鏡或其他來源的即時視訊及模型。SNAP為外科醫生提供即時3D交互式引導影像。解剖結構(即頭部、大腦、膝蓋、肩膀等)之定向在實際患者及掃描醫學影像(CT、MRI、超聲、X射線等)中係經標記並且預配準的；因此，掃描醫學影像之定向與接受外科術之患者之真實解剖結構係同步並對準的。
此外，上述預配準之標記提供了用於追蹤外科術器械及OR顯微鏡(及/或外科醫生頭部)的球形基準，並且因此允許相對於掃描醫學影像在空間中呈現外科術器械影像/模型。
患者之2D或3D解剖結構以及外科術器械之位置及定向係 即時同步的，並且與器械及標記相對於解剖結構在空間中之即時位置及定向一起呈現給外科醫生。
SNAP系統能夠準備具有多個掃描資料集的病例。內置的「融合」模式允許使用者選擇一個資料集作為主資料集，並添加與主掃描資料集對準(「融合」)的輔助資料集。
SNAP系統具有獨特的剪切特徵。ANY平面IG立方體剪切係使用者可以從任何期望角度「剪切」3D模型的特徵，基本上切割到模型中並且移除一部分以暴露模型之內部。剪切平面係「剪切」3D模型的平面，該平面由2個變數(平面法線(向量)及平面位置(平面經過的空間點))來定義。
此外，SNAP系統知道將ANY平面IG立方體剪切歸屬於場景中之3D移動元件。由於立方體剪切平面由法線及位置定義，因此我們可以使用場景中之移動元件來為使用者定義。元件係：導航探針、3D控制器(Omni)、廊道、IG視點(眼睛攝影機)等。
另一個特徵係轉移函數。SNAP系統具有顯示「組織特定強度」之特殊能力。將原始資料集切片收集並堆疊以重建像素之立方體，或所謂體素立方體。3D模型係體素之立方體體積。轉移函數用於將每個體素強度值對映到顏色及不透明度。以此方式來控制組織強度，使外科醫生能看到他通常看不到的事物。此創新特徵允許外科醫生看到動脈及其他關鍵結構後面，此舉係迄今為止不可能實現者。
SNAP可以在同一螢幕上之一或多個窗口上或在多個螢幕上顯示模型。SNAP之特徵及應用實例，多個特徵可以在螢幕上並排啟用。
典型SNAP系統配置包括以下主要部件：(1)用於移動性之系統安裝手推車；(2)醫療級隔離變壓器；(3)運行Microsoft Windows 7作業系統之個人電腦(或伺服器)；(4)用於高品質圖形之高端nVIDIA圖形配接器；(5)27”或32”全HD觸控螢幕顯示器；(6)醫療級鍵盤及滑鼠；以及(7)用於實現本文所描述特徵之SNAP軟體應用。此系統由圖31B之方塊圖示出，其中包括觸控螢幕監測器71之示例性行動手推車安裝之SNAP系統70配置有PC 72及電力系統73，所有此等都可以設置在手術室中。示例性系 統70連接到在手術室中提供的導航系統75，諸如示例性影像引導外科術(IGS)系統，SNAP系統70可以從該系統接收資料，以使得SNAP系統70可以顯示基於導航系統之操作的高解析度、逼真3D影像，從而基於接受手術之特定患者的影像，用SNAP高解析度成像能力來有效地強化導航系統之操作及顯示能力。
外科導航進階平台(SNAP)意欲用作用於將成像資訊從CT或MR醫療掃描器轉移到輸出檔案的軟體介面及影像分割系統。提供組織分割窗口以編輯及更新組織分割以準備病例。組織分割之變化反映在3D影像中，並且結果可以保存為病例檔案之一部分。它亦意欲作為用於模擬/評估外科治療選項之術前及術中軟體。外科導航進階平台(SNAP)係用於模擬/評估外科治療選項之術前及術中工具。
該系統通常提供可適用於手術室之EMC抗擾性，並且將利用觸控螢幕操作來進行導航、打字及影像操縱。系統可以使用病例檔案來儲存單獨的患者病例，其可以根據需要加載到系統中。外科醫生可以使用掃描資訊(例如，MR或CT DIACOM影像資料檔案)及特定患者之患者資料從頭開始建置病例。此等病例可以根據需要進行編輯及更新。編輯窗口可用於編輯及操作影像及檔案。
可以提供各種器官及組織之通用模型，其可以基於患者成像或其他診斷工具或實驗室輸入與患者特定模型重疊。因此，對於不特別受關注之器官或其他特徵，系統可以使用通用模型(例如，眼睛或其他器官)，其中患者特定資訊不是預期治療所需要的。
外科術導航進階平台(SNAP)顯示具有即時導航資料的患者特定動態及交互式3D模型。當執行導航會話時，該工具可以用於藉由指向並觸摸患者體表之可見結構(即，鼻尖、耳垂)並驗證SNAP螢幕上之指針指向3D模型中之相同位置來驗證SNAP導航指針位置(在SNAP高解析度顯示器上提供)的準確性。
圖31C示出由軟體模組驅動的主處理常式之實例，其產生由SNAP工具提供之影像。影像產生器110使用儲存在資料庫115上之資訊(諸如通用組織影像、患者特定影像等)產生用於在顯示器160上顯示 之逼真組織影像。影像產生器110分配每個區段之視覺表示(陰影紋理等)，並且機械特性及其他模型化特徵將提供逼真影像。
類似地，使用者工具產生器將產生與由影像產生器產生的組織影像動態地交互地顯示的外科工具之逼真影像。在外科環境中，顯示在顯示器160上之工具影像可以表示實際外科工具介面140，其表示可以例如由影像產生器110或使用者工具產生器120產生以供顯示。外科工具介面可以與由影像產生器110產生之組織影像動態地交互。再次，關於工具影像之規範及細節可以儲存在資料庫115中。注意，因為顯示器160可為觸控螢幕顯示器，所以顯示器160可以與諸如鍵盤、滑鼠或其他輸入裝置的其他裝置一起用作使用者介面130。此外，顯示器160可以包括作為顯示器160之一部分的頭戴式顯示器，以向外科醫生且/或其他參與者提供逼真視覺影像。
SNAP工具亦提供允許系統介接至向外科醫生提供導航或其他功能之其他外部系統的外部系統介面150，以使得SNAP工具可以產生與外部系統之輸出一致的影像，例如，基於外部系統之操作來對映導航或更新成像。SNAP工具然後可以適當地更新其顯示影像，以在與圖形工具交互之高解析度3D影像中向外科醫生提供整合視圖。
一旦外科醫生選擇外科術工具及其他對象，它們被整合到由顯示器160顯示之虛擬外科術場景中，並且變成模擬情境之整合元件，該模擬情境包括逼真視覺特徵及應用於彼等選定項目中之每一者的機械特性以及操作特性特徵，例如，顯示的剪刀具有真實機械特性並且將如真實剪刀那樣切割，並且當將動脈瘤夾具放置在血管處時，阻擋血流。以此方式，所顯示工具以逼真方式與組織模型交互，但是以外科醫生可以操縱以提供在真實世界中不可能提供之視點的方式，諸如藉由使各種特徵透明、旋轉影像、逆轉過程等。
顯示給外科醫生之交互式影像/場景由作為體積呈現元件及表面呈現元件的元件構成。此外，每個元件、體積或表面與一或多個體積元件交互。元件之間之交互包括但不限於物理交互，例如：實施為表示由於運動所導致的元件之間之交互的碰撞模型，根據物理條件來複製元件之 實際物理運動的元件之形變，該等物理條件例如壓力、元件材料(彈性、黏性等)及碰撞條件如碰撞角及元件定向。
呈現過程方程可以考慮到所有照明陰影及陰影現象，並產生併入所有視覺元素的最終輸出流。
使用Tissue Paint或Magic Tissue Wand演算法建置並與掃描影像整合之解剖結構係影像之整合部分。例如，在應用Magic Tissue Paint及Tissue Wand演算法之後，原本部分及完整的解剖結構的血管將變成具有從原始掃描影像及新建置結構組合之結構的完整解剖結構。此外，控件(核取方塊)允許選擇新建置結構並在打開(顯示新建置結構)或關閉(隱藏新建置結構)之間切換。另外，提供了用於選擇以在體積及/或網格/多邊形呈現/重建中呈現新建置結構的選項。
所開發的演算法及軟體工具為使用者提供了以2維或3維繪製任何幾何形狀或自由手繪形狀(例如，線、圓、臨床、球等)的介面。包括/封閉/捕獲在該幾何形狀(2或3維)內的區域被定義為「標記區域」。然後，使用者能夠為此「標記區域」定義並分配任何視覺特性及任何機械性質，包括例如能夠將影像的部分塗色、使它們透明或使其具有陰影。虛擬光源可以具有包括以下特性的特性：空間中的球形位置、光之顏色、光之強度、縱橫比、虛擬源之幾何形狀等。
用Tissue Paint、Magic Tissue Wand演算法建置之結構或標記區域可以分配所需機械效能特性。任何解剖結構之機械效能係數(剛度、彈性等)可以由使用者調整以建置定製的機械行為。
該系統提供即時追蹤及反饋以在外科術期間追蹤真實外科術器械。追蹤系統傳送相對於真實解剖結構(例如，患者頭上的特定點)之定向及位置的手術器械在空間中之位置及坐標。然後將器械之位置及定向發送到外科模擬系統。基於患者特定模擬及器械之位置及定向，向外科醫生提供反饋。此反饋之一實例可為：該系統針對外科醫生正在解剖之組織類型來為他產生反請，並且在外科醫生解剖健康腦組織而不是腫瘤的情況下報警。另外的實例係，在外科醫生將器具施加在真實解剖結構上(例如，將動脈瘤夾具施加於真實患者之動脈瘤上)之後，系統允許外科醫生 將基於追蹤來主要按照真實解剖結構來定向的模擬影像/模型旋轉，並且觀察並評估所放置植入物之位置及功效。
真實器械之此追蹤及反饋可以多種方式實現，諸如藉由使用視訊系統來追蹤器械及患者特徵之位置及運動。替代地(或除了視訊追蹤之外)，可以修改外科器械以例如藉由使用GPS、加速度計、磁偵測或其他位置及運動偵測裝置及方法來實現追蹤。此等修改的器械可以使用WiFi、藍芽、MICS、有線USB、RF通訊或其他通訊方法(例如，經由圖31C中之外科工具介面140)與SNAP工具通訊。
將SNAP系統強化及修改以使用MD6DM特徵來併入下文描述的強化實境系統。MD6DM提供了圖形模擬環境，其使得醫生能夠在全球虛擬實境環境中體驗、計劃、執行及導航外科介入，同時增加了大大擴展上述SNAP系統之功能及有用性的強化實境特徵。
此修改導致本文所描述及圖1所示的強化實境外科導航系統(「ARS」)100，其向外科醫生102或另一使用者(例如助手、護士或其他醫生)提供在同一螢幕上之光學及掃描視圖之整合視圖(如圖3所示)。返回參考圖1之系統100，外科醫生102可以同時在預模型化型中以及在患者104中檢查特定患者104解剖結構。系統100給出了進入MD6DM模型並且物理地移動使用者身體並在特定結構周圍觀察的能力。使用者可以圍繞目標解剖或病灶360°觀察，並探索病灶後面以瞭解它如何改變患者解剖結構。因此，外科醫生102不再需要使他的眼睛離開顯微鏡或內視鏡106以觀察患者掃描，計劃軟體或MD6DM模型，因為虛擬影像及真實光學影像並排投影或融合在一起並顯示在顯示監測器108上或在頭戴式顯示器(HMD)160'上。
諸如Surgical Theater「Endo SNAP」系統的計算裝置112(例如，經修改以併入MD6DM之特徵的如上描述並且在圖31A-31C中所示的SNAP系統1的全部或部分)藉由獲得患者DICOM 2D影像並即時構建虛擬模型或獲得預模型化型來實現ARS系統100。例如，從資料庫114獲得資料。ARS計算裝置112還經配置以基於亦從內視鏡106之追蹤尖端接收之導航資料將預建影像與從內視鏡106接收之實況視訊饋送整合，以 形成具有追蹤能力的患者104之強化實境視圖。應當理解，亦可以在顯示監測器上或經由HMD 160'單獨地或並行地檢視多個視圖(即，實況饋送及檢索影像)。
圖2例示ARS系統100之示例性方塊圖。ARS計算裝置112，諸如Surgical Theater Endo Snap系統，經配置以接收患者DICOM 2D影像202作為第一輸入。ARS計算裝置112還經配置以接收實況視訊饋送204作為第二輸入，諸如來自內視鏡之視訊饋送。ARS計算裝置112還經配置以接收導航系統追蹤資料206作為第三輸入。在一個實例中，追蹤資料206指示外科醫生102相對於患者104之位置及定向。應當理解，基於此導航系統追蹤資料206，ARS計算裝置112不僅能夠確定外科醫生102位於房間中的何處，而且能夠確定外科醫生102正在朝向何處觀看。例如，外科醫生102可以位於患者104身體之右側。然而，例如，外科醫生102可以從該位置觀察患者104頭部之頂部或患者104頭部之側部。
然而，利用適當的導航系統追蹤資料206，除了位置之外，ARS計算裝置112能夠計算並精確定位視角，並且因此為手術室中之外科醫生提供更獨特及不同的體驗。具體而言，ARS計算裝置112處理三個輸入202、204及206，並且將它們整合以形成具有追蹤及導航能力的患者104之強化實境視圖。ARS計算裝置112還經配置以將患者之強化實境視圖輸出到用於觀看之裝置208。裝置208可為例如顯示監測器108或HMD 160'(或兩者)。應當理解，儘管僅例示三(3)個輸入，但是ARS計算裝置112可以經配置以從各種合適輸入源接收任何合適數量之輸入，以便向外科醫生102提供有助於執行特定外科術的更完整資訊。例如，ARS計算裝置112可以經配置以接收附加實況視訊饋送或指示外科醫生在手術室內之位置的附加追蹤及感測器資訊。
在一實例中，HMD 160'可以向外科醫生102提供患者104之直接實際透視視圖，而不依賴於視訊饋送。因此，在一實例中，ARS計算裝置112經配置以產生沒有實況視訊饋送之強化實境視圖。替代地，ARS計算裝置112經配置以經由HDM 160'向外科醫生102呈現虛擬模型，以使得虛擬模型覆蓋外科醫生102之患者104實際視圖，以便為外科醫生提供 患者104之強化實境視圖。ARS計算裝置112依賴於導航系統追蹤資料206來使與所呈現虛擬模型與外科醫生102之患者104實際視圖同步。
應當理解，當外科醫生102之位置、定向或視角改變時，強化實境視圖被即時地連續更新。因此，當外科醫生102圍繞患者移動或將他的關注點調整至患者104身體之不同位置時，虛擬模型被調整，以使得強化實境視圖與此等移動同步並且保持與外科醫生102之視點一致。
此外，系統可以容納任何數量之附加使用者，諸如附加外科醫生、護士、助手或可以在現場出現或位於遠處並且經由諸如網際網路之通訊網路連接到系統的其他使用者。系統可以利用來自任何或所有此等附加使用者之資訊，以使用來自此等附加使用者之資訊(例如支援醫療程序之第二外科醫生之動作)進一步強化視圖。另外，系統可以將由外科醫生看到的強化影像提供至此等附加使用者中之任一者，無論使用HMD顯示器或某種其他類型之顯示器。因此，在一些實施例中，助手之動作(例如輔助該手術之護士)亦可以作為強化視圖之一部分或者作為附加強化視圖來顯示。
使用HMD 160'來操作之過程的實例包括：1)使用者使用由SNAP計算裝置112提供的病例嚮導來構建SNAP病例，或者從資料庫114中選擇預建SNAP病例；2)啟動HMD 160'開關；以及3)取決於HMD 160'之類型及其附加感測器之配置，使用者可以與場景交互並且與虛擬協作場景中之其他人協作。
HMD 160'功能根據硬體之功能而分離，並且具體而言，它是AR抑或VR，或兩者。若兩種硬體配置可用，則兩種模式將在軟體中可用。使用者使用控制器、語音命令、手勢、虛擬按鈕及其他附加感測器來控制所有系統功能。此允許使用者選擇使他與SNAP病例交互或在協作模式下與遠程使用者通訊的最情境適當或直觀的方式。虛擬世界中之所有使用者交互亦在SNAP顯示器108監測器上可視化，以供外部觀察者觀看並瞭解使用者所看到的內容。使用者能夠啟用處於HMD模式中之一者下之SNAP系統112上可用的每個功能。HMD模式中之可用功能包括但不限於以下能力：改變分割預設、選擇融合層、顯示/隱藏標記/路徑/軌跡、從SNAP 病例中取得/取出切片(剪切)、添加虛擬外科術工具等。例如，使用控制器、語音命令、附加感測器或場景中之虛擬按鈕來啟用或停用此等功能。
圖32例示可以與所揭示HMD裝置中之任一者一起提供的各種感測器之方塊圖。此等感測器包括一或多個位置偵測器感測器3020(例如，GPS)、一或多個視訊及/或影像感測器3040、一或多個音訊感測器3030、一或多個運動感測器3050以及一或多個輸入/輸出裝置3060(例如高解析度顯示器、按鈕、滾動裝置等)。此等感測器可以與HMD處理器3010通訊，HMD處理器3010將藉由介面3070與SNAP系統介接。亦可以提供其他類型的感測器及控制。
示例功能及控制包括在控制器上按下按鈕以從SNAP病例中過濾出切片，使用手勢「向左滑動」以將SNAP病例向左旋轉，說出關鍵字片語「顯示方向」以使使用者離開SNAP病例視圖並且給予使用者其位置的整體外觀，或者在場景中按下虛擬按鈕以選擇用於虛擬使用之外科工具等等。圖29例示可以用作輸入裝置來控制系統之此等操作的示例性控制器。
在VR模式下，使用者在純虛擬環境中與SNAP病例交互。使用者可以幾種方式與場景交互，例如： 頭部運動-使用HMD 160'之旋轉感測器，系統追蹤使用者之頭部運動及角度並將它們投射到場景中。此允許使用者基於其運動及角度調整在360度中改變他們在場景中之視圖。
控制器-使用方向控制器，使用者可以根據他正在查看之位置在所需方向上移動。使用其他按鈕，他能夠啟用特定SNAP核心功能或特定模式功能。例如，按住控制器上之特定按鈕可向使用者提供場景之全景視圖。此允許使用者理解他在場景中之位置及定向。
語音-說出由諸如麥克風之感測器接收的關鍵字或片語啟用特定功能。例如，「跳轉到標記1」將把使用者移動到預定義之標記1位置。當協作可用時，「移動到參加者2視圖」將主要使用者移動到第二個「參加者」位置，並將主要使用者之視圖相對於第二個「參加者」之定向來定向。
位置感測器-使用位置追蹤感測器來追蹤主要使用者之移 動，使用者之移動將轉換為場景中之虛擬移動。在場景中追蹤使用者移動允許使用者選擇將啟用特定功能之虛擬按鈕。
手感測器-此允許使用者看到他的手及其位置之虛擬表示，並允許他進一步與場景中之SNAP病例進行交互。例如，使用者可以與外科術工具交互、按下虛擬按鈕，或者使用手勢來旋轉及平移視圖。
外部觀察者能夠在顯示監測器108上觀看外科醫生102之虛擬體驗，其反映外科醫生102正在觀察的內容並且相對於由外科醫生102產生之運動來即時地連續地調整。如圖4A所示，顯示監測器108將在單個視圖300上反映使用者視圖，或者對於支援3D檢視之監測器而言，如圖4B所示，作為3D立體、並排視圖301來反映。
在一實例中，外部觀察者在顯示螢幕108上看到以位於場景中之化身來表示的使用者身體及頭部位置、旋轉及運動。在一實例中，觀察者還能夠使用軟體介面與場景交互，其將反映在使用者在HMD 160'上檢視之場景上。因此，HMD以強化方式將使用者(例如，外科醫生)併入場景中。
除了真實世界之外，在AR模式中，外科醫生102與SNAP病例交互。SNAP病例位於各種特定位置，以建置強化世界。SNAP病例虛擬地定位於真實世界環境中的外科醫生指定地點。潛在位置包括患者床上方、房間中之桌子、患者之3D打印部分、具有特殊標記之工具，以及房間中之任何其他合適位置。
作為該過程之一部分，將使用複數種不同手段中之任一種來確定患者之位置，例如藉由使用患者上或其附近之感測器、視訊或其他機制。患者之部分可以在系統中配準，並且根據需要監測他們的位置，以保持所顯示的影像相對於空間及時間係精確的。
若使用配準過程，它將顯示在所配準的解剖部分上。例如，大腦之3D虛擬影像可以直接疊加在大腦之實況視訊饋送上方。另外，使用追蹤資訊，當外科醫生102移動內視鏡時，調整3D虛擬影像。在一實例中，外科醫生102之位置亦被追蹤，並且因此，基於外科醫生102相對於患者104位置的位置，3D VR影像可以被調整並與實況視訊饋送同步。換言之， 當外科醫生102在真實世界中移動他的頭部或改變他的位置時，SNAP病例虛擬地被重新定位及重新定向以將其模擬為真實世界中之穩定對象。語音命令或控制器可以允許在位置之間切換。
應當理解，系統100允許所追蹤外科術工具在OR中之可視化。此藉由使用由系統從房間中之其他系統接收之資訊來完成的，諸如外科導航系統或可以單獨提供或整合到HMD中之其他附加感測器。在一實例中，HMD 160'可以包括一或多個此等感測器，其可以包括運動感測器、麥克風、視訊感測器、攝影機、加速度計、位置感測器等中之任一者或全部。在一實例中，一或多個感測器可以被定位在外科醫生102上或在由外科醫生102使用之輸入裝置或其他工具上的合適位置處。
外部觀察者能夠在顯示監測器108上觀看主要使用者或醫生102之虛擬體驗，該監測器反映使用者正在看到之內容並且相對於由主要使用者進行的移動來即時地連續地調整。此窗口完全以VR模式在單個視圖上，或在支援3D成像之顯示器上以3D立體、並排視圖來反映使用者視圖。
應當理解，可能需要配準過程以將從資料庫114接收的SNAP病例與患者之解剖學掃描部分或經由內視鏡在即時視訊饋送中檢視之部分對準。對準係基於從患者自己的術前掃描(已經基於其來建立SNAP病例)檢索的資訊以及對準/配準過程資訊。在一實例中，藉由從手術室中的導航系統接收配準資訊並基於接收到的資訊對準病例來實現對準。在另一個實例中，藉由允許使用者手動地將其與解剖結構對準來實現對準。此使用控制器來完成。在另一實例中，藉由使用導航系統實現配準過程並將結果與SNAP病例對準來實現對準。在另一實例中，藉由使用IR感測器來對映患者104頭部並自動將其與SNAP病例對準來實現對準。
系統100之典型臨床使用情況係神經外科介入，例如腫瘤切除術。在腫瘤病例下，可以經由如圖4B所示的預先計劃外科廊道飛行到顱骨之內部並且在CW方向上環視，包括向下、向左下方、向左、向左上方、向上方、向右上方、向右及向右下方，分別如圖5-12所示。使用者亦可以飛行到腫瘤後面並觀察緊靠腫瘤之血管。在此病例實例中，臨床價值在於 觀察到由於腫瘤所導致的後循環血管從其正常解剖位置位移的能力。使用者可以沿著腫瘤之表面周圍飛行至前面，以便極佳地理解前循環血管及它們由於腫瘤所導致的位移。
應當理解，雖然貫穿本說明書提到尤其可以結合用於腦腫瘤之外科手術來使用系統100，但是系統100可以類似地用於患者104之各種解剖部位上之各種外科應用。
例如，系統100亦可以應用於神經血管病例以及腫瘤病例。在示例性動脈瘤病例的情況下，飛行將從廊道外部開始，如圖13所示，然後朝向顱骨開口移動，並且面朝前方恰好在顱骨開口之邊緣停止，如圖14所示。然後可以藉由導航到不同視圖，包括向下、向左下方、向左、向左上方、向上、向右上方、向右及向右下方，分別如圖15-22所示，實現患者特定解剖學研究。此等視圖使外科醫生能夠查找動脈瘤周圍之所有細節。藉由利用諸如Surgical theater之外科計劃器(「SRP」)的外科計劃工具及具有3D模型化動脈瘤夾具庫之SNAP進階VR能力，外科醫生將能夠虛擬地在動脈瘤部位內飛行，同時評估並計劃在患者之實際解剖結構中之3D夾具放置。外科醫生將能夠觀察解剖結構(即頸部、穹頂等)及與夾具相關之病灶，如同他站在患者體內一般。藉由將他的頭部向上、向下及向後移動到他的肩膀後面，外科醫生獲得手術過程的獨特的從未有過的沉浸式評估及計劃，如同他在患者病灶部位內「漫遊」一般。
藉由將SNAP連接到追蹤裝置，可以在外科手術期間完成所描述的「虛擬導航操作」。在一實例中，如圖23所示，感測器2302追蹤患者之頭部2304相對於外科醫生之位置或觀察點2306以及相對於工具(顯微鏡，內視鏡，探針等)的定向。
在一實例中，如圖24所示，HMD 160'包括一或多個感測器2402，以便於追蹤外科醫生之觀察點。HMD 160'顯示2502外科醫生在外科術期間將需要的所有資訊，如圖25A所示。具體而言，外科醫生可以從他的視點(藉由內視鏡、顯微鏡等)來獲取實況視訊，以及查看掃描及MD6DM模型。他能夠獲得強化實境視圖，其將來自他檢視實況外科部位之視點的實況視圖與患者特定MD6DM模型組合，如圖2所示。
再次參考圖24，應當理解，解剖結構(即，頭、腦、膝蓋、肩膀等)之定向在實體患者及掃描醫學影像(CT、MRI、超聲、X射線等)中係經標定並且預配準的。因此，掃描醫學影像之定向及在外科術中被評估之患者之真實解剖結構係同步及對準的。此外，隨著透鏡及光學部件改進，在一實例中，HMD 160'可以具有將與所有掃描影像及MD6DM同步並對準的內置HD光學系統2404(顯微鏡、攝影機等)。此允許消除傳統的外科顯微鏡，以及彼等系統之當前限制。在不改變眼鏡及環的情況下，更大數量的外科醫生可以使用個別HMD及頭部對接台在「顯微鏡」條件下協作治療真實患者。頭部對接台用於在關鍵顯微外科環境中為直接操作者將非常複雜的場景保持穩定，同時允許外部觀察者欣賞完全相同的AR強化的「顯微鏡下」場景。
再次參考圖1，系統100還可以包括類似於PlayStation、Xbox、PC遊戲等控制器的控制器116，但是應當理解，控制器116可為任何合適控制器。其他可能控制器類型包括將在HMD 160'上進行螢幕顯示的AR控制器、手勢識別介面或語音識別控制器等。外科醫生102使用此等不同控制器116在系統選項與螢幕之間移動。
將參考圖26中所示的使用方法2600進一步理解系統100。在步驟2602，準備病例資訊。具體而言，患者特定DICOM(CT、MRI等)資料被上載到SNAP計算裝置112中並被處理以建置MD6DM。已經由SNAP計算裝置112建置的MD6DM亦可以由臨床支援技術人員或外科醫生102自己編輯。技術人員可以調整模型以反映特定外科醫生之偏好或意圖。技術人員可以調整組織分割，修改應用於患者資料之組織特定強度範圍或者改變組織之透明度。外科醫生102亦可以在準備或操作期間的任何時間編輯模型。他可以將作為MD6DM之一部分的多個DICOM資料集融合，諸如CT及DTI或CT、MRI及DTI或已經上載到SNAP計算裝置112中的任何其他資料集，包括術中影像。外科醫生102可以以若干不同方式標記或突出所關注之體積。此外，所關注之體積不限於顱骨並且可以用於身體之其他部分。若DICOM資料集包含足夠資訊(1mm或更小切片厚度)，並且在體積採集中被收集，則可以對所成像解剖結構之任何部分進行模型 化。準備繼續進行，直到病例資訊準備好並且外科醫生102對所準備之視圖感到滿意。
在步驟2604，在定位及配準期間，SNAP計算裝置112在真實生物體(例如神經外科術中之頭部)、系統100的感測器、DICOM掃描與MD6DM之間進行匹配或共同配準。配準或「匹配」過程給出在外科術期間導航的能力。重要的是在外科術開始時進行該對映過程，此時所有裝置被引入並且患者被定位用於外科術。對映可以藉由若干方法來完成。方法取決於導航系統製造商並且包括表面基準配準，掃描患者之面部或藉由基於點之配準，其涉及根據系統引導觸摸患者頭部上之點。不同製造商使用不同類型之感測器進行配準，並且具有MD6DM之SNAP可以使用任何方法及感測器。
一旦配準完成，可在步驟2606進行即時導航。具體而言，外科醫生102戴上HMD 160'。他將從他的視點(內置攝影機)得到實況視訊圖片。藉由利用控制器116，外科醫生能夠執行多種導航功能，包括：放大及縮小；添加傳統掃描視圖，包括在視圖之間移動以及放大及縮小；添加MD6DM模型視圖，包括圍繞模型察看，模擬並確定軌跡，以及在病灶後面查看；以及在強化實境視圖中導航。即時導航功能由ARS計算裝置112啟用，該ARS計算裝置112基於外科醫生之運動及動作來利用追蹤資訊並且將實況視訊饋送與預定義掃描及模型組合以呈現將要傳送給外科醫生之影像。
使用導航，外科醫生102能夠確定避免主要血管之最佳途徑。他可以從同一個方向在HMD 160'下並排觀看真實世界視圖及MD6DM模型。在治療腦膜瘤之示例性應用中，外科醫生102能夠看到腦膜瘤的後面並且發現病灶對患者之解剖結構的影響。在MD6DM上，外科醫生102能夠在切除腦膜瘤時觀測腫瘤之邊界，並且可以看到他與血管或其他重要結構有多遠。
在另一示例性應用中，外科醫生102能夠使用內視鏡方法執行動脈瘤切割。在進行皮膚切開及開顱手術之前，外科醫生102諮詢MD6DM並確定軌跡以避免主要血管及其他重要結構。在標記開顱術(關 鍵孔)後，他將開始切口。外科醫生102現在使用內視鏡106用於外科術。在HMD 160'上，來自內視鏡攝影機之視圖用預模型化型之模擬內視鏡視圖來強化。或者，外科醫生102可以獲得並排內視鏡攝影機視圖及具有內視鏡106之定向的模型。系統中之感測器根據外科醫生102之運動來移動模型視點，以使得模型與即時視圖保持對準。外科醫生102可以在視圖之間移動，以便實現最小侵入性方法，同時避免破壞其他關鍵結構。
在另一個實例中，外科醫生102可以將ARS 100用於神經血管病變，例如動脈瘤或動靜脈畸形(AVM)。在配準步驟2604之前或之後，可以在開顱手術切口之前確定或確認軌跡。外科醫生102可以使用患者特定病例模型來確定何種方法，內視鏡檢查方法或開顱方法係最合適的。在配準之後，外科醫生102使用HMD 160'或其他VR顯示器來進行解剖直至動脈瘤，同時查看與模型並排的內視鏡/攝影機視圖。如上述，ARS系統100經由感測器輸入知道旋轉並調整模型，以使得其保持與外科醫生102之視圖對準。當到達動脈瘤時，外科醫生102能夠評估動脈瘤頸部，以及在AR模型中圍繞動脈瘤獲得360度視圖。為了額外的精確計劃，外科醫生102可以虛擬地將不同夾具應用於動脈瘤，以幫助確保適當的夾具尺寸。
應當理解，本文描述的系統100允許外科醫生102在情境感知增加的情況下執行內視鏡外科術。操作者具有4視圖顯示器2700，如圖27所示，其向外科醫生呈現可在顯示監測器108上或藉由HMD 160'顯示之以下資訊：來自內視鏡攝影機視圖2702之即時視訊饋送；來自SNAP 3D患者特定模型化場景中的內視鏡之虛擬實境攝影機2704的實況虛擬視訊饋送；SNAP之虛擬患者特定3D模型化場景(具有病灶之解剖結構)的可調整之「God's Eye視圖」2706，其中虛擬內視鏡工具相對於患者之解剖結構以正確位置及定向顯示；以及2D DICOM影像(軸向/冠狀/矢狀)之實況3面板視圖2708，其中切片在所有視圖中相對於當前內視鏡末端位置來調整。
虛擬內視鏡視圖2704在位置及定向兩者以及攝影機參數(縮放、視場等)中與真實內視鏡攝影機2702對準。應當理解，外科醫生102具有利用頭部向量調整來控制虛擬內視鏡攝影機2704以執行向右/向左/向上/向下查看的能力。此允許他使虛擬攝影機2704與真實攝影機2702脫 離，並且環顧周圍以獲得更好的情境感知。此外，外科醫生102具有藉由可調整之場景剪切及組織分割來調整God’s Eye視圖(整個場景之定向高階視圖)以定義他的場景較佳視角的能力。
在一實例中，當虛擬攝影機視圖2704未與真實攝影機2702對準時，使用者看到虛擬攝影機視圖2704上之標記，其向他例示與真實攝影機2702之偏移量。
在一實例中，顯示在HMD 160'上之4螢幕輸出2700可由使用者調整。具體而言，外科醫生102能夠每次在所有四(4)個螢幕之間切換，並且四(4)個螢幕中之任一者在顯示器上最大化以獲得全視圖。
應當理解，在手術室中有許多系統在外科術期間追蹤使用者狀態。因此，在一實例中，AR HMD 160'將允許使用者可視化來自此等系統之資訊，並且亦從手術室外部獲得通知，除非靜默。此允許使用者保持關注於外科術，同時仍然能夠在外科術期間處理所需資訊，而不使他的眼睛離開患者。
在一實例中，系統100與手術室中之視訊系統整合，其允許OR中之其他人觀看使用者在他的HMD 160'中看到之內容。
在一實例中，本文所描述系統100及方法2600可以在協作模式中使用。在該模式下，外科醫生102可以選擇允許其他遠程使用者在需要時加入場景。使用者可以如下與遠程使用者通訊：1)耳機/揚聲器用於聽到所有其他遠程使用者；2)麥克風用於與所有遠程使用者通話；以及3)視訊流包括兩種形式之一：在AR模式中，使用者在HMD 160'上看到之強化視圖將為流傳輸到其他遠程使用者之視訊，而在VR模式中，使用者可以使用控制器116來選擇查看其他遠程使用者查看之內容，或將其視圖更改為自己的視圖。
如圖28所示，在協作模式下，場景中之其他使用者將被視為化身2810，其示出其他使用者之位置、頭部及身體移動。
為了在協作模式期間與使用者及場景通訊，若干特徵係可用的，包括：1)耳機/揚聲器用於聽到所有其他遠程使用者；2)麥克風用於與所有遠程使用者通話；3)用於追蹤手部運動並將它們呈現在場景上之手部追 蹤器(每個使用者可以表示為不同顏色)；4)3D標記用於選擇並標記場景中之區域；以及5)化身，其中場景中之其他使用者將被視為化身，其顯示其他使用者位置、頭部及身體移動。
在協作模式之示例性應用中，在OR中基於SNAP病例(在配準之後)來計劃開顱手術之使用者能夠開始從他的AR HMD 160'到遠程外科醫生之視訊傳輸，以諮詢或獲得關於他的計劃方法的反饋。外科醫生協作者能夠在遠程系統上可視化OR中之外科醫生102所看到的內容。遠程外科醫生還能夠與場景交互，並藉由手部運動及虛擬工具虛擬地標記區域。
在一實例中，「探索者」模式係可用的。在此模式下，點被預定義，並在場景中以依序編號來放置。當啟用探索者功能時，使用者將在彼等預先計劃之點之間自動地被虛擬地驅動，如同他們在汽車的後座中一般。當使用者慢慢經過此等點時，他能夠旋轉他的頭部並評估他周圍的結構。
此探索者模式可用於以協作模式培訓以及在內視鏡外科術期間。具體而言，使用者能夠凍結他的位置並且在他經過他的預定義探索者路徑時討論，此為在用於測試理解之教育環境中特別有用之功能。在內視鏡外科術期間，到達預先計劃的解剖結構點之能力消除了在體內及體外往返更換內視鏡及外科導航探針以在解剖期間連續檢查位置及軌跡的需要，從而潛在地縮短外科術。
在一實例中，追蹤系統將追蹤OR中的所有工具及運動並且記錄。此允許在OR之外的使用者看到外科醫生102藉由精細的器械運動及明顯頭部/身體運動來虛擬地執行之操作。它亦允許直接手術組彙報外科醫生102在外科術期間之行為，並且給予外科醫生102在病例期間評估並批評其自身運動的方法。
應當理解，任何合適類型之頭戴式顯示器(HMD)160'可以與系統100一起使用。圖25B例示HDM 2900之替代實例。例如，HDM 2900包括無線天線(未示出)。因此，HDM 2900可以無線地操作，並且因此消除在手術室中對於額外線纜的需要。
HDM 2900還包括處理器及記憶體(未示出)。因此，在一 實例中，HDM 2900可以經配置以接收、儲存並處理MD6DM模型而不依賴於ARS計算裝置112。例如，HDM 2900可以在進入手術室之前預先裝載適當MD6DM模型或與特定患者及手術相關之模型。此在手術室中提供了更多靈活性及移動性，而不需要在已擁擠的房間中增加額外設備。
在一實例中，HDM 2900可能不具有足夠記憶體或處理能力來儲存並處理完全MD6DM模型。因此，在一實例中，ARS計算裝置112可以經配置以產生強化實境模型之輕量級或最低限度版本，並且在外科醫生使HDM 2900進入OR之前將輕量級版本傳輸到HDM 2900。例如，若大腦之某一層細節對於執行某一過程並非必需的，則可以從模型中移除該層資訊，從而建置可以更容易地在HDM 2900上儲存並處理的更輕版本。
應當理解，本文描述之示例系統及方法可以以若干方式縮放。例如，雖然已經參照單個HDM描述了示例性系統及方法，但是應當理解，該系統可以包括在外科術期間在手術室內具有多個HDM的多個外科醫生或使用者，所有此等都基於他們在房間內的位置及方向相對同時地接收他們自己的定製強化實境體驗。另外，在外科術時不存在於OR中之遠程使用者或甚至存在於OR中之使用者可經歷來自OR中之其他使用者之視角的強化實境體驗。
在一實例中，手術室可以包括放置在房間各處的多個攝影機或感測器，以便無論使用者處於任何位置都可追蹤使用者。因此，並非被限制在患者之特定側或部分，使用者可以在外科術期間圍繞患者360度走動，並且在房間中之任何位置從患者之任一側或角度體驗強化實境影像。
在一實例中，附加輸入源可以被整合到強化實境體驗中，其可適合於向外科醫生提供可能有助於在外科術期間參考的適當資訊。例如，外科醫生可以具有安裝在頭戴式裝置上的附加攝影機，其可以提供除了從內視鏡術接收之視訊饋送之外可以強化的另一透視實況視訊饋送。在另一實例中，附加攝影機可為浮動攝影機，其安裝在手術室中之某個固定位置或者在房間各處可移動。
圖30係用於實現圖1之示例性AR計算裝置112之示例性電腦的示意圖。示例電腦3000意欲表示各種形式之數位電腦，包括膝上型 電腦、桌上型電腦、手持式電腦、平板電腦、智慧型電話、伺服器及其他類似類型之計算裝置。電腦3000包括經由匯流排3012藉由介面3010可操作地連接之處理器3002、記憶體3004、儲存裝置3006及通訊埠3008。
處理器3002經由記憶體3004處理用於在電腦3000內執行之指令。在示例性實施例中，可以使用多個處理器以及多個記憶體。
記憶體3004可為依電性記憶體或非依電性記憶體。記憶體3004可為電腦可讀媒體，諸如磁碟或光碟。儲存裝置3006可為電腦可讀媒體，諸如軟磁碟裝置、硬碟裝置、光碟裝置、磁帶裝置、快閃記憶體、相變記憶體或其他類似固態記憶體裝置或者裝置之陣列，包括其他配置之儲存區域網路中的裝置。電腦程式產品可以有形地體現在諸如記憶體3004或儲存裝置3006之電腦可讀媒體中。
電腦3000可以耦合到一或多個輸入及輸出裝置，諸如顯示器3014、印表機3016、掃描器3018及滑鼠3020。
雖然已經藉由描述實例來例示示例性系統、方法等，並且儘管已經相當詳細地描述了實例，但是並不意欲將所附申請專利範圍之範疇限定或以任何方式限制於此細節。當然，不可能為了描述本文所描述系統、方法等之目的而描述部件或方法之每個可想到之組合。其他優點及修改對於熟習此項技術者將是顯而易見的。因此，本發明不限於具體細節，以及示出或描述的說明性實例。因此，本申請案意欲包括落入所附申請專利範圍之範疇內的變化、修改及變更。此外，前面之描述並不意味著限制本發明之範圍。相反，本發明之範圍由所附申請專利範圍及其等效物來確定。
在說明書或申請專利範圍中使用術語「包括」的情況下，其意欲以類似於術語「包括」的方式係包含性的，該術語在申請專利範圍中使用時作為過渡詞來理解。此外，在使用術語「或」(例如，A或B)的情況下，其意欲表示「A或B或兩者」。當申請人意欲指示「僅A或B而不是兩者」時，則將採用術語「僅A或B而不是兩者」。因此，本文中術語「或」之使用係包含性的，而非排他性使用。參見Bryan A.Garner,A Dictionary of Modern Legal Usage 624(1995年第2版)。此外，在說明書或申請專利範圍中使用術語「在...中」或「到...中」的情況下，其意欲另外表示「在...上」 或「到...上」。此外，在說明書或申請專利範圍中使用術語「連接」的情況下，其意欲不僅表示「直接連接到」，而且表示「間接連接到」，例如藉由另一個部件或多個部件連接。
本發明之許多其他示例性實施例可以藉由上述特徵之各種組合來提供。儘管上文使用具體實例及實施例描述了本發明，但是熟習此項技術者應當理解，可以使用各種替代方案，並且均等物可以替代本文描述之元件及/或步驟，而不一定偏離本發明之預期範圍。在不脫離本發明之預期範圍的情況下，為了使本發明適於特定情況或特定需要，修改可為必要的。規定本發明不限於本文描述之特定實行方案及實施例，而是應給予申請專利範圍其最寬泛的合理解釋以涵蓋由其揭示或未揭示的所有新穎及非顯而易見的實施例，無論字面上的或均等的實施例。
100‧‧‧強化實境外科導航系統/ARS系統
112‧‧‧ARS計算裝置/SNAP計算裝置
202‧‧‧患者DICOM 2D影像/輸入
204‧‧‧實況視訊饋送/輸入
206‧‧‧資料/輸入
208‧‧‧裝置

Claims (24)

  1. 一種強化實境外科導航系統，其包括：一或多個處理器；一或多個電腦可讀有形儲存裝置；至少一個感測器，其用於偵測關於一使用者相對於一患者之位置的資訊；以及儲存在該等一或多個儲存裝置中之至少一者上以藉由該等一或多個處理器中之至少一者執行的程式指令，該等程式指令包括：第一程式指令，其用於準備與一患者相關聯之一多維虛擬模型；第二程式指令，其用於接收指示一使用者檢視在該患者體內或周圍一特定位置處之該患者之當前視圖的追蹤資訊，該追蹤資訊包括藉由該感測器偵測到的該使用者相對於該患者之位置及該使用者檢視該患者之視角；第三程式指令，其用於捕捉該患者之解剖特徵之實況視訊資料；第四程式指令，其用於基於所接收追蹤資訊及該患者體內之該特定位置在該虛擬模型中識別一虛擬視圖，其中該所識別虛擬視圖相應於該使用者檢視該患者之視圖；第五程式指令，其用於基於該患者體內之該特定位置處的該所識別虛擬視圖從該虛擬模型中呈現一虛擬影像；第六程式指令，其用於將該呈現的虛擬影像傳送到一第一顯示器，其中該呈現的虛擬影像與該患者之該解剖特徵之該實況視訊資料及該使用者之視圖組合以形成該患者之一強化實境視圖；第七程式指令，其用於接收來自該使用者的一輸入以將該特定位置移動到該患者體內之任意一新位置；第八程式指令，其用於基於所接收追蹤資訊及該患者體內之該新位置在該虛擬模型中識別一更新虛擬視圖，其中該更新虛擬視圖對應於該使用者檢視該患者之當前視圖；第九程式指令，其用於基於該患者體內之該新位置處的該當前虛擬 視圖從該虛擬模型中呈現一更新虛擬影像；以及第十程式指令，其用於將該更新虛擬影像傳送到該第一顯示器，其中該更新虛擬影像與該患者之該解剖特徵之該實況視訊資料及該使用者之當前視圖組合以形成由該第一顯示器顯示的該患者之一強化實境視圖。
  2. 如請求項1之系統，其中：該等第二程式指令進一步經配置以當一使用者相對於該患者之位置及該使用者檢視該患者之視角改變時，連續地即時接收更新的追蹤資訊；並且該等第四程式指令進一步經配置以連續地即時地識別相應於連續地更新之該追蹤資訊的虛擬視圖，以使得該等虛擬視圖與該使用者檢視該患者之視圖連續地同步。
  3. 如請求項1之系統，其中該等程式指令進一步包括：第十一程式指令，其用於接收相應於該使用者檢視該患者之視圖的一實況視訊饋送；以及第十二程式指令，其用於藉由連續地即時呈現虛擬影像並且將虛擬影像與該實況視訊饋送組合來產生該患者之一強化實境視圖，其中該虛擬影像與基於該追蹤資訊之該實況視訊饋送同步。
  4. 如請求項1之系統，其中用於準備該虛擬模型之該等第一程式指令經配置以基於所接收患者特定DICOM資料來構建該模型。
  5. 如請求項1之系統，其中該等程式指令進一步包括用於接收一附加資料輸入之第十三程式指令，並且其中該等第四程式指令經配置以將該附加資料輸入與該呈現的虛擬影像整合。
  6. 如請求項1之系統，其中：該等第二程式指令進一步經配置以接收指示一第二使用者檢視該患者之當前視圖的第二追蹤資訊，包括該第二使用者相對於該患者之位置及該第二使用者檢視該患者之視角，其中該第二使用者之當前視圖不同於該使用者檢視該患者之當前視圖；該等第四程式指令進一步經配置以基於該所接收第二追蹤資訊在該虛 擬模型中識別一第二虛擬視圖，其中該所識別第二虛擬視圖相應於該第二使用者檢視該患者之視圖；該等第五程式指令進一步經配置以基於該所識別第二虛擬視圖從該虛擬模型呈現一第二虛擬影像；並且該等第六程式指令進一步經配置以將該呈現的第二虛擬影像傳送到一第二顯示器，其中在將該呈現的第一虛擬影像傳送到該第一顯示器的同時，將該呈現的第二虛擬影像與該第二使用者之視角及相對於該患者之位置組合以形成該患者之一第二強化實境視圖，該第二強化實境視圖反映該第二使用者的視角與相對於該患者之包括距離與角度兩者的位置。
  7. 如請求項1之系統，其中第四程式指令經配置以從經安置遍及一房間中的複數個感測器中之一者接收追蹤資訊，從而能夠圍繞該患者360度追蹤一位置。
  8. 如請求項1之系統，其中第四程式指令經配置以從安置於由一使用者佩戴之一HDM上之一或多個感測器接收追蹤資訊，從而能夠圍繞該患者360度追蹤一位置。
  9. 一種電腦程式產品，其包括一或多個電腦可讀有形儲存裝置及儲存在該等一或多個儲存裝置中之至少一者上的程式指令，該等程式指令包括：第一程式指令，其用於準備與一患者相關聯之一多維虛擬模型；第二程式指令，其用於接收指示一使用者檢視在該患者體內或周圍一特定位置處之該患者之當前視圖的追蹤資訊，該追蹤資訊包括該使用者相對於該患者之位置及該使用者檢視該患者之視角；第三程式指令，其用於捕捉該患者之解剖特徵之實況視訊資料；第四程式指令，其用於基於所接收追蹤資訊及該患者體內之該特定位置在該虛擬模型中識別一虛擬視圖，其中所識別虛擬視圖相應於該使用者檢視該患者之視圖；第五程式指令，其用於基於該患者體內之該特定位置處的該所識別虛擬視圖從該虛擬模型中呈現一虛擬影像；以及第六程式指令，其用於將該呈現的虛擬影像傳送到一第一顯示器，其 中該呈現的虛擬影像與該患者之該解剖特徵之該實況視訊資料及該使用者之視圖組合以形成該患者之一強化實境視圖；第七程式指令，其用於接收來自該使用者的一輸入以將該特定位置移動到該患者體內之任意一新位置；第八程式指令，其用於基於所接收追蹤資訊及該患者體內之該新位置在該虛擬模型中識別一更新虛擬視圖，其中該更新虛擬視圖對應於該使用者檢視該患者之當前視圖；第九程式指令，其用於基於該患者體內之該新位置處的該當前虛擬視圖從該虛擬模型中呈現一更新虛擬影像；以及第十程式指令，其用於將該更新虛擬影像傳送到該第一顯示器，其中該更新虛擬影像與該患者之該解剖特徵之該實況視訊資料及該使用者之當前視圖組合以形成由該第一顯示器顯示的該患者之一強化實境視圖。
  10. 如請求項9之電腦程式產品，其中：該等第二程式指令進一步經配置以當一使用者相對於該患者之位置及該使用者檢視該患者之視角改變時，連續地即時接收更新的追蹤資訊；並且該等第四程式指令進一步經配置以連續地即時地識別相應於連續地更新之該追蹤資訊的虛擬視圖，以使得該等虛擬視圖與該使用者檢視該患者之視圖連續地同步。
  11. 如請求項9之電腦程式產品，其中該等程式指令進一步包括：第十一程式指令，其用於接收相應於該使用者檢視該患者之視圖的一實況視訊饋送；以及第十二程式指令，其用於藉由連續地即時呈現虛擬影像並且將虛擬影像與該實況視訊饋送組合來產生該患者之一強化實境視圖，其中該虛擬影像與基於該追蹤資訊之該實況視訊饋送同步。
  12. 如請求項9之電腦程式產品，其中用於準備該虛擬模型之該等第一程式指令經配置以基於所接收患者特定DICOM資料來構建該模型。
  13. 如請求項9之電腦程式產品，其中該等程式指令進一步包括 用於接收一附加資料輸入之第十三程式指令，並且其中該等第四程式指令經配置以將該附加資料輸入與該呈現的虛擬影像整合。
  14. 如請求項9之電腦程式產品，其中：該等第二程式指令進一步經配置以接收指示一第二使用者檢視該患者之當前視圖的第二追蹤資訊，包括該第二使用者相對於該患者之位置及該第二使用者檢視該患者之視角，其中該第二使用者之當前視圖不同於該使用者檢視該患者之當前視圖；該等第四程式指令進一步經配置以基於該所接收第二追蹤資訊在該虛擬模型中識別一第二虛擬視圖，其中該所識別第二虛擬視圖相應於該第二使用者檢視該患者之視圖；該等第五程式指令進一步經配置以基於該所識別第二虛擬視圖從該虛擬模型呈現一第二虛擬影像；並且該等第六程式指令進一步經配置以將該呈現的第二虛擬影像傳送到一第二顯示器，其中在將該呈現的第一虛擬影像傳送到該第一顯示器的同時，將該呈現的第二虛擬影像與該第二使用者之視角及相對於該患者之位置組合以形成該患者之第二強化實境視圖，該第二強化實境視圖反映該第二使用者的視角與相對於該患者之包括距離與角度兩者的位置。
  15. 如請求項9之電腦程式產品，其中第四程式指令經配置以從經安置遍及一房間中的複數個感測器中之一者接收追蹤資訊，從而能夠圍繞該患者360度追蹤一位置。
  16. 如請求項9之電腦程式產品，其中第四程式指令經配置以從安置於由一使用者佩戴之一HDM上之一或多個感測器接收追蹤資訊，從而能夠圍繞該患者360度追蹤一位置。
  17. 一種強化實境外科導航方法，其包括以下步驟：準備與一患者相關聯的一多維虛擬模型；從一位置感測器接收追蹤資訊，該位置感測器配置以直接感測該使用者的一位置或動作或是該患者的一實體特徵，其指示一使用者檢視在該患者體內或周圍一特定位置處之該患者之當前視圖，該追蹤資訊包括該使用者相對於該患者之位置及該使用者檢視該患者之視角； 捕捉該患者之解剖特徵之實況視訊資料；基於該所接收追蹤資訊及該患者體內之該特定位置在該虛擬模型中識別一虛擬視圖，其中該所識別虛擬視圖相應於該使用者檢視該患者之視圖；基於該患者體內之該特定位置處的該所識別虛擬視圖從該虛擬模型中呈現一虛擬影像；將該呈現的虛擬影像傳送到一第一顯示器，其中該呈現的虛擬影像與該患者之該解剖特徵之該實況視訊資料及該使用者之視圖組合以形成由該第一顯示器顯示的該患者之一強化實境視圖；接收來自該使用者的一輸入以將該特定位置移動到該患者體內之任意一新位置；基於所接收追蹤資訊及該患者體內之該新位置在該虛擬模型中識別一更新虛擬視圖，其中該更新虛擬視圖對應於該使用者檢視該患者之當前視圖；基於該患者體內之該新位置處的該當前虛擬視圖從該虛擬模型中呈現一更新虛擬影像；以及將該更新虛擬影像傳送到該第一顯示器，其中該更新虛擬影像與該患者之該解剖特徵之該實況視訊資料及該使用者之當前視圖組合以形成由該第一顯示器顯示的該患者之一強化實境視圖。
  18. 如請求項17之方法，其進一步包括以下即時步驟：當一使用者相對於該患者之位置及該使用者檢視該患者之視角改變時，連續地接收更新的追蹤資訊；並且識別相應於連續地更新之該追蹤資訊的虛擬視圖，以使得該等虛擬視圖與該使用者檢視該患者之視圖連續地同步。
  19. 如請求項17之方法，其進一步包括以下步驟：接收相應於該使用者檢視該患者之視圖的一實況視訊饋送；並且藉由連續地即時呈現虛擬影像並且將虛擬影像與該實況視訊饋送組合來產生該患者之一強化實境視圖，其中該虛擬影像與基於該追蹤資訊之該實況視訊饋送同步。
  20. 如請求項17之方法，其進一步包括以下步驟： 接收指示一第二使用者檢視該患者之當前視圖的第二追蹤資訊，包括該第二使用者相對於該患者之位置及該第二使用者檢視該患者之視角，其中該第二使用者之當前視圖不同於該使用者檢視該患者之當前視圖；基於該所接收第二追蹤資訊在該虛擬模型中識別一第二虛擬視圖，其中該所識別第二虛擬視圖相應於該第二使用者檢視該患者之視圖；基於該所識別第二虛擬視圖從該虛擬模型呈現一第二虛擬影像；並且將該呈現的第二虛擬影像傳送到一第二顯示器，其中在將該呈現的第一虛擬影像傳送到該第一顯示器的同時，將該呈現的第二虛擬影像與該第二使用者之視角及相對於該患者之位置組合以形成該患者之一第二強化實境視圖，該第二強化實境視圖反映該第二使用者的視角與相對於該患者之包括距離與角度兩者的位置。
  21. 如請求項17之方法，其進一步包括接收關於該患者或該患者之一部分之一位置的追蹤資訊的步驟，其中使用關於該患者之該位置的資訊來呈現該強化實境視圖。
  22. 一種強化實境外科導航方法，其包括以下步驟：準備與一患者內部之一解剖相關聯的一多維虛擬模型；接收指示一使用者當前頭部位置的位置資料，該位置資料包括視圖方向及視角；從該虛擬模型中呈現一初始虛擬影像，該初始虛擬影像代表從該患者體內之一特定位置處之一初始觀點的一解剖視圖，其中該觀點係由該使用者當前頭部位置及該特定位置指示的資料決定，其中該特定位置處之該初始觀點的該解剖視圖可由將該使用者之頭部移動到不同視圖方向而改變；將呈現的該初始虛擬影像傳送到一顯示器；接收指示該使用者之頭部位置移動到一更新位置的資料輸入；接收來自該使用者之一輸入以將該特定位置移動到該患者體內之任意一新位置；以及從該虛擬模型中呈現一更新虛擬影像，該更新虛擬影像代表從該患者內部之該新位置處之一更新觀點的一解剖視圖，其中該更新觀點係由該使 用者當前頭部位置及關於該新位置之來自該使用者之該輸入指示的資料決定，其中該特定位置處之該初始觀點與該新位置處之該更新觀點兩者的解剖視圖可由將該使用者之頭部移動到不同視圖方向而改變。
  23. 一種強化實境外科導航方法，其包括以下步驟：準備與一患者相關聯的一多維虛擬模型；從一位置感測器接收追蹤資訊，該位置感測器組配以直接感測該使用者的一位置或動作或是該患者的一實體特徵，其指示一使用者檢視在該患者體內或周圍一特定位置處之該患者之當前視圖的追蹤資訊，包括該使用者相對於該患者之位置及該使用者檢視該患者之視角；當一使用者相對於該患者之位置及該使用者檢視該患者之視角改變時，即時接收更新的追蹤資訊；接收關於該患者或該患者之一部分之一位置的追蹤資訊；捕捉該患者之解剖特徵之實況視訊資料；基於該所接收追蹤資訊、該更新追蹤資訊及該患者體內之該特定位置在該虛擬模型中識別一虛擬視圖，其中該所識別虛擬視圖相應於該使用者檢視該患者之視圖及關於該患者之即時追蹤資訊；基於該患者體內之該特定位置處的該所識別虛擬視圖從該虛擬模型中呈現一虛擬影像；將該呈現的虛擬影像傳送到一顯示器，其中該呈現的虛擬影像與該患者之該解剖特徵之該實況視訊資料及該使用者之視圖以形成由該顯示器顯示的該患者之一即時強化實境視圖；接收來自該使用者的一輸入以將該特定位置移動到該患者體內之任意一新位置；基於所接收追蹤資訊、該更新追蹤資訊及該患者體內之該新位置在該虛擬模型中識別一更新虛擬視圖，其中該更新虛擬視圖對應於該使用者檢視該患者之當前視圖；基於該患者體內之該新位置處的該當前虛擬視圖從該虛擬模型中呈現一更新虛擬影像；以及 將該更新虛擬影像傳送到該顯示器，其中該更新虛擬影像與該患者之該解剖特徵之該實況視訊資料及該使用者之當前視圖組合以形成由該顯示器顯示的該患者之一強化實境視圖。
  24. 一種強化實境外科導航系統，其包括：一或多個處理器；一或多個電腦可讀有形儲存裝置；第一感測器，其用於偵測關於一使用者相對於一患者之位置的資訊；第二感測器，其用於捕獲基於該使用者之一當前活動的影像；及儲存在該等一或多個儲存裝置中之至少一者上以藉由該等一或多個處理器中之至少一者執行的程式指令，該等程式指令包括：第一程式指令，其用於準備與一患者相關聯之一多維虛擬模型；第二程式指令，其用於接收指示在該患者體內或周圍一特定位置處之該患者之當前視圖的追蹤資訊，該追蹤資訊包括由該第一感測器偵測到的該使用者相對於該患者之位置；第三程式指令，其用於接收並處理基於該使用者之該當前活動的該等影像；第四程式指令，其用於捕捉該患者之解剖特徵之實況視訊資料；第五程式指令，其用於基於該所接收之追蹤資訊及該患者體內之該特定位置在該虛擬模型中識別一虛擬視圖，其中所識別之虛擬視圖相應於該使用者之當前活動；第六程式指令，其用於基於該患者體內之該特定位置處的該所識別虛擬視圖從該虛擬模型呈現一虛擬影像；以及第七程式指令，其用於將該呈現的虛擬影像傳送到一顯示器，其中該呈現的虛擬影像與該患者之該解剖特徵之該實況視訊資料、基於該使用者之該當前活動及該使用者相對於該患者的位置之該等影像組合以形成該患者之一強化實境視圖；第八程式指令，其用於接收來自該使用者的一輸入以將該特定位置移動到該患者體內之任意一新位置； 第九程式指令，其用於基於所接收追蹤資訊及該患者體內之該新位置在該虛擬模型中識別一更新虛擬視圖，其中該更新虛擬視圖對應於該使用者檢視該患者之當前視圖；第十程式指令，其用於基於該患者體內之該新位置處的該當前虛擬視圖從該虛擬模型中呈現一更新虛擬影像；以及第十一程式指令，其用於將該更新虛擬影像傳送到該顯示器，其中該更新虛擬影像與該患者之該解剖特徵之該實況視訊資料、基於該使用者之該當前活動及該使用者相對於該患者的當前位置之該等影像組合以形成由該顯示器顯示的該患者之一強化實境視圖。
TW105133264A 2015-10-14 2016-10-14 強化實境之外科導航 TWI745307B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201562241447P 2015-10-14 2015-10-14
US62/241,447 2015-10-14
PCT/US2016/056727 WO2017066373A1 (en) 2015-10-14 2016-10-13 Augmented reality surgical navigation
WOPCT/US16/56727 2016-10-13

Publications (2)

Publication Number Publication Date
TW201717837A TW201717837A (zh) 2017-06-01
TWI745307B true TWI745307B (zh) 2021-11-11

Family

ID=58517893

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105133264A TWI745307B (zh) 2015-10-14 2016-10-14 強化實境之外科導航

Country Status (8)

Country Link
US (2) US11197722B2 (zh)
EP (1) EP3361979A4 (zh)
JP (2) JP2018534011A (zh)
CN (1) CN107613897B (zh)
BR (1) BR112018007473A2 (zh)
CA (1) CA2997965C (zh)
TW (1) TWI745307B (zh)
WO (1) WO2017066373A1 (zh)

Families Citing this family (216)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10795457B2 (en) 2006-12-28 2020-10-06 D3D Technologies, Inc. Interactive 3D cursor
US11871901B2 (en) 2012-05-20 2024-01-16 Cilag Gmbh International Method for situational awareness for surgical network or surgical network connected device capable of adjusting function based on a sensed situation or usage
US11504192B2 (en) 2014-10-30 2022-11-22 Cilag Gmbh International Method of hub communication with surgical instrument systems
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
WO2017037705A1 (en) * 2015-08-30 2017-03-09 M.S.T. Medical Surgery Technologies Ltd An intelligent surgical tool control system for laparoscopic surgeries
ITUB20155830A1 (it) * 2015-11-23 2017-05-23 R A W Srl "sistema di navigazione, tracciamento, e guida per il posizionamento di strumenti operatori"
WO2017151683A1 (en) * 2016-02-29 2017-09-08 Mahfouz Mohamed R Connected healthcare environment
WO2018031561A1 (en) 2016-08-12 2018-02-15 Boston Scientific Scimed, Inc. Distributed interactive medical visualization system with user interface features
JP2019534490A (ja) * 2016-08-12 2019-11-28 ボストン サイエンティフィック サイムド，インコーポレイテッドＢｏｓｔｏｎ Ｓｃｉｅｎｔｉｆｉｃ Ｓｃｉｍｅｄ，Ｉｎｃ． 一次／二次インタラクション機能を備えた分散型インタラクティブ医療視覚化システム
EP3506830A4 (en) * 2016-08-30 2020-01-08 Abella, Gustavo APPARATUS AND METHOD FOR OPTICAL ULTRASOUND SIMULATION
WO2018104252A1 (en) * 2016-12-07 2018-06-14 Koninklijke Philips N.V. Image guided motion scaling for robot control
US20180247712A1 (en) 2017-02-24 2018-08-30 Masimo Corporation System for displaying medical monitoring data
WO2018156809A1 (en) * 2017-02-24 2018-08-30 Masimo Corporation Augmented reality system for displaying patient data
CN110494095B (zh) * 2017-04-20 2023-03-21 直观外科手术操作公司 用于约束虚拟现实手术***的***和方法
US10478255B2 (en) * 2017-04-20 2019-11-19 The Cleveland Clinic Foundation System and method for holographic image-guided percutaneous endovascular percutaneous procedures
WO2018201155A1 (en) * 2017-04-28 2018-11-01 The Brigham And Women's Hospital, Inc. Systems, methods, and media for presenting medical imaging data in an interactive virtual reality environment
EP3618748B1 (en) * 2017-05-05 2023-10-25 Stryker European Operations Limited Surgical navigation system
WO2018208616A1 (en) 2017-05-08 2018-11-15 Masimo Corporation System for pairing a medical system to a network controller by use of a dongle
US10470645B2 (en) 2017-05-22 2019-11-12 Gustav Lo Imaging system and method
EP3412242A1 (de) * 2017-06-09 2018-12-12 Siemens Healthcare GmbH Ausgabe von positionsinformationen eines medizintechnischen instruments
US11284955B2 (en) 2017-06-29 2022-03-29 Verb Surgical Inc. Emulation of robotic arms and control thereof in a virtual reality environment
US11011077B2 (en) 2017-06-29 2021-05-18 Verb Surgical Inc. Virtual reality training, simulation, and collaboration in a robotic surgical system
EP3445048A1 (en) 2017-08-15 2019-02-20 Holo Surgical Inc. A graphical user interface for a surgical navigation system for providing an augmented reality image during operation
EP3336848B1 (en) * 2017-08-15 2023-09-27 Siemens Healthcare GmbH Method for operating a medical imaging device and medical imaging device
EP3470006B1 (en) 2017-10-10 2020-06-10 Holo Surgical Inc. Automated segmentation of three dimensional bony structure images
WO2019046825A1 (en) * 2017-08-31 2019-03-07 The Regents Of The University Of California IMPROVED ULTRASONIC SYSTEMS AND METHODS
US10861236B2 (en) * 2017-09-08 2020-12-08 Surgical Theater, Inc. Dual mode augmented reality surgical system and method
US11727629B2 (en) 2017-09-21 2023-08-15 Samsung Electronics Co., Ltd. Un-occluded visualization of focus with depth continuity with context in volume rendering
TWI663546B (zh) * 2017-10-02 2019-06-21 宏碁股份有限公司 可支援虛擬實境應用程式的混合實境系統及其顯示方法
US11351005B2 (en) * 2017-10-23 2022-06-07 Intuitive Surgical Operations, Inc. Systems and methods for presenting augmented reality in a display of a teleoperational system
US11317919B2 (en) 2017-10-30 2022-05-03 Cilag Gmbh International Clip applier comprising a clip crimping system
US11759224B2 (en) 2017-10-30 2023-09-19 Cilag Gmbh International Surgical instrument systems comprising handle arrangements
US11026687B2 (en) 2017-10-30 2021-06-08 Cilag Gmbh International Clip applier comprising clip advancing systems
US11311342B2 (en) 2017-10-30 2022-04-26 Cilag Gmbh International Method for communicating with surgical instrument systems
US11510741B2 (en) 2017-10-30 2022-11-29 Cilag Gmbh International Method for producing a surgical instrument comprising a smart electrical system
US11564756B2 (en) 2017-10-30 2023-01-31 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11801098B2 (en) 2017-10-30 2023-10-31 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11291510B2 (en) 2017-10-30 2022-04-05 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11911045B2 (en) 2017-10-30 2024-02-27 Cllag GmbH International Method for operating a powered articulating multi-clip applier
US11229436B2 (en) 2017-10-30 2022-01-25 Cilag Gmbh International Surgical system comprising a surgical tool and a surgical hub
US11058497B2 (en) 2017-12-26 2021-07-13 Biosense Webster (Israel) Ltd. Use of augmented reality to assist navigation during medical procedures
US11304745B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Surgical evacuation sensing and display
US11291495B2 (en) 2017-12-28 2022-04-05 Cilag Gmbh International Interruption of energy due to inadvertent capacitive coupling
US11464535B2 (en) 2017-12-28 2022-10-11 Cilag Gmbh International Detection of end effector emersion in liquid
US11096693B2 (en) 2017-12-28 2021-08-24 Cilag Gmbh International Adjustment of staple height of at least one row of staples based on the sensed tissue thickness or force in closing
US11786245B2 (en) 2017-12-28 2023-10-17 Cilag Gmbh International Surgical systems with prioritized data transmission capabilities
US11432885B2 (en) 2017-12-28 2022-09-06 Cilag Gmbh International Sensing arrangements for robot-assisted surgical platforms
US11202570B2 (en) 2017-12-28 2021-12-21 Cilag Gmbh International Communication hub and storage device for storing parameters and status of a surgical device to be shared with cloud based analytics systems
US11109866B2 (en) 2017-12-28 2021-09-07 Cilag Gmbh International Method for circular stapler control algorithm adjustment based on situational awareness
US11633237B2 (en) 2017-12-28 2023-04-25 Cilag Gmbh International Usage and technique analysis of surgeon / staff performance against a baseline to optimize device utilization and performance for both current and future procedures
US11100631B2 (en) 2017-12-28 2021-08-24 Cilag Gmbh International Use of laser light and red-green-blue coloration to determine properties of back scattered light
US11160605B2 (en) 2017-12-28 2021-11-02 Cilag Gmbh International Surgical evacuation sensing and motor control
US11424027B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Method for operating surgical instrument systems
US11937769B2 (en) 2017-12-28 2024-03-26 Cilag Gmbh International Method of hub communication, processing, storage and display
US11832899B2 (en) 2017-12-28 2023-12-05 Cilag Gmbh International Surgical systems with autonomously adjustable control programs
US11364075B2 (en) 2017-12-28 2022-06-21 Cilag Gmbh International Radio frequency energy device for delivering combined electrical signals
US11278281B2 (en) 2017-12-28 2022-03-22 Cilag Gmbh International Interactive surgical system
US11998193B2 (en) 2017-12-28 2024-06-04 Cilag Gmbh International Method for usage of the shroud as an aspect of sensing or controlling a powered surgical device, and a control algorithm to adjust its default operation
US11744604B2 (en) 2017-12-28 2023-09-05 Cilag Gmbh International Surgical instrument with a hardware-only control circuit
US11304699B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Method for adaptive control schemes for surgical network control and interaction
US11771487B2 (en) 2017-12-28 2023-10-03 Cilag Gmbh International Mechanisms for controlling different electromechanical systems of an electrosurgical instrument
US11419667B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Ultrasonic energy device which varies pressure applied by clamp arm to provide threshold control pressure at a cut progression location
US20190201146A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Safety systems for smart powered surgical stapling
US11666331B2 (en) 2017-12-28 2023-06-06 Cilag Gmbh International Systems for detecting proximity of surgical end effector to cancerous tissue
US11529187B2 (en) 2017-12-28 2022-12-20 Cilag Gmbh International Surgical evacuation sensor arrangements
US11304720B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Activation of energy devices
US11257589B2 (en) 2017-12-28 2022-02-22 Cilag Gmbh International Real-time analysis of comprehensive cost of all instrumentation used in surgery utilizing data fluidity to track instruments through stocking and in-house processes
US11179208B2 (en) 2017-12-28 2021-11-23 Cilag Gmbh International Cloud-based medical analytics for security and authentication trends and reactive measures
US11589888B2 (en) 2017-12-28 2023-02-28 Cilag Gmbh International Method for controlling smart energy devices
US11376002B2 (en) 2017-12-28 2022-07-05 Cilag Gmbh International Surgical instrument cartridge sensor assemblies
US11266468B2 (en) 2017-12-28 2022-03-08 Cilag Gmbh International Cooperative utilization of data derived from secondary sources by intelligent surgical hubs
US11284936B2 (en) 2017-12-28 2022-03-29 Cilag Gmbh International Surgical instrument having a flexible electrode
US11013563B2 (en) 2017-12-28 2021-05-25 Ethicon Llc Drive arrangements for robot-assisted surgical platforms
US11464559B2 (en) 2017-12-28 2022-10-11 Cilag Gmbh International Estimating state of ultrasonic end effector and control system therefor
US11056244B2 (en) * 2017-12-28 2021-07-06 Cilag Gmbh International Automated data scaling, alignment, and organizing based on predefined parameters within surgical networks
US11304763B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Image capturing of the areas outside the abdomen to improve placement and control of a surgical device in use
US11896443B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Control of a surgical system through a surgical barrier
US11410259B2 (en) 2017-12-28 2022-08-09 Cilag Gmbh International Adaptive control program updates for surgical devices
US11786251B2 (en) 2017-12-28 2023-10-17 Cilag Gmbh International Method for adaptive control schemes for surgical network control and interaction
US11571234B2 (en) 2017-12-28 2023-02-07 Cilag Gmbh International Temperature control of ultrasonic end effector and control system therefor
US11317937B2 (en) 2018-03-08 2022-05-03 Cilag Gmbh International Determining the state of an ultrasonic end effector
US11423007B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Adjustment of device control programs based on stratified contextual data in addition to the data
US11832840B2 (en) 2017-12-28 2023-12-05 Cilag Gmbh International Surgical instrument having a flexible circuit
US11446052B2 (en) 2017-12-28 2022-09-20 Cilag Gmbh International Variation of radio frequency and ultrasonic power level in cooperation with varying clamp arm pressure to achieve predefined heat flux or power applied to tissue
US11659023B2 (en) 2017-12-28 2023-05-23 Cilag Gmbh International Method of hub communication
US11540855B2 (en) 2017-12-28 2023-01-03 Cilag Gmbh International Controlling activation of an ultrasonic surgical instrument according to the presence of tissue
US10758310B2 (en) 2017-12-28 2020-09-01 Ethicon Llc Wireless pairing of a surgical device with another device within a sterile surgical field based on the usage and situational awareness of devices
US11026751B2 (en) 2017-12-28 2021-06-08 Cilag Gmbh International Display of alignment of staple cartridge to prior linear staple line
US20190201118A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Display arrangements for robot-assisted surgical platforms
US11559308B2 (en) 2017-12-28 2023-01-24 Cilag Gmbh International Method for smart energy device infrastructure
US11324557B2 (en) 2017-12-28 2022-05-10 Cilag Gmbh International Surgical instrument with a sensing array
US11818052B2 (en) 2017-12-28 2023-11-14 Cilag Gmbh International Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs
US11612408B2 (en) 2017-12-28 2023-03-28 Cilag Gmbh International Determining tissue composition via an ultrasonic system
US11253315B2 (en) 2017-12-28 2022-02-22 Cilag Gmbh International Increasing radio frequency to create pad-less monopolar loop
US11308075B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Surgical network, instrument, and cloud responses based on validation of received dataset and authentication of its source and integrity
US11576677B2 (en) 2017-12-28 2023-02-14 Cilag Gmbh International Method of hub communication, processing, display, and cloud analytics
US11969142B2 (en) 2017-12-28 2024-04-30 Cilag Gmbh International Method of compressing tissue within a stapling device and simultaneously displaying the location of the tissue within the jaws
US11132462B2 (en) 2017-12-28 2021-09-28 Cilag Gmbh International Data stripping method to interrogate patient records and create anonymized record
US11602393B2 (en) 2017-12-28 2023-03-14 Cilag Gmbh International Surgical evacuation sensing and generator control
US11166772B2 (en) 2017-12-28 2021-11-09 Cilag Gmbh International Surgical hub coordination of control and communication of operating room devices
US10892995B2 (en) 2017-12-28 2021-01-12 Ethicon Llc Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs
US11419630B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Surgical system distributed processing
US11844579B2 (en) 2017-12-28 2023-12-19 Cilag Gmbh International Adjustments based on airborne particle properties
US11234756B2 (en) 2017-12-28 2022-02-01 Cilag Gmbh International Powered surgical tool with predefined adjustable control algorithm for controlling end effector parameter
US11969216B2 (en) 2017-12-28 2024-04-30 Cilag Gmbh International Surgical network recommendations from real time analysis of procedure variables against a baseline highlighting differences from the optimal solution
US11678881B2 (en) 2017-12-28 2023-06-20 Cilag Gmbh International Spatial awareness of surgical hubs in operating rooms
US11273001B2 (en) 2017-12-28 2022-03-15 Cilag Gmbh International Surgical hub and modular device response adjustment based on situational awareness
US11311306B2 (en) 2017-12-28 2022-04-26 Cilag Gmbh International Surgical systems for detecting end effector tissue distribution irregularities
US11147607B2 (en) 2017-12-28 2021-10-19 Cilag Gmbh International Bipolar combination device that automatically adjusts pressure based on energy modality
US11857152B2 (en) * 2017-12-28 2024-01-02 Cilag Gmbh International Surgical hub spatial awareness to determine devices in operating theater
US11864728B2 (en) 2017-12-28 2024-01-09 Cilag Gmbh International Characterization of tissue irregularities through the use of mono-chromatic light refractivity
US11389164B2 (en) 2017-12-28 2022-07-19 Cilag Gmbh International Method of using reinforced flexible circuits with multiple sensors to optimize performance of radio frequency devices
US11559307B2 (en) 2017-12-28 2023-01-24 Cilag Gmbh International Method of robotic hub communication, detection, and control
US11896322B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Sensing the patient position and contact utilizing the mono-polar return pad electrode to provide situational awareness to the hub
US11903601B2 (en) 2017-12-28 2024-02-20 Cilag Gmbh International Surgical instrument comprising a plurality of drive systems
US11113887B2 (en) * 2018-01-08 2021-09-07 Verizon Patent And Licensing Inc Generating three-dimensional content from two-dimensional images
WO2019141704A1 (en) 2018-01-22 2019-07-25 Medivation Ag An augmented reality surgical guidance system
EP3735695A4 (en) * 2018-01-26 2021-10-20 Surgical Theater Inc. PATIENT FIXATION SYSTEM AND METHOD
US10864043B2 (en) * 2018-02-09 2020-12-15 Kathleen M Douglas Interactive placement of a 3D digital representation of a surgical device or anatomic feature into a 3D radiologic image for pre-operative planning
US20190254753A1 (en) * 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
US11701162B2 (en) 2018-03-08 2023-07-18 Cilag Gmbh International Smart blade application for reusable and disposable devices
US11707293B2 (en) 2018-03-08 2023-07-25 Cilag Gmbh International Ultrasonic sealing algorithm with temperature control
US11259830B2 (en) 2018-03-08 2022-03-01 Cilag Gmbh International Methods for controlling temperature in ultrasonic device
US11207067B2 (en) 2018-03-28 2021-12-28 Cilag Gmbh International Surgical stapling device with separate rotary driven closure and firing systems and firing member that engages both jaws while firing
US11259806B2 (en) 2018-03-28 2022-03-01 Cilag Gmbh International Surgical stapling devices with features for blocking advancement of a camming assembly of an incompatible cartridge installed therein
US11406382B2 (en) 2018-03-28 2022-08-09 Cilag Gmbh International Staple cartridge comprising a lockout key configured to lift a firing member
US11090047B2 (en) 2018-03-28 2021-08-17 Cilag Gmbh International Surgical instrument comprising an adaptive control system
US11278280B2 (en) 2018-03-28 2022-03-22 Cilag Gmbh International Surgical instrument comprising a jaw closure lockout
US11471156B2 (en) 2018-03-28 2022-10-18 Cilag Gmbh International Surgical stapling devices with improved rotary driven closure systems
US11219453B2 (en) 2018-03-28 2022-01-11 Cilag Gmbh International Surgical stapling devices with cartridge compatible closure and firing lockout arrangements
EP3773305A4 (en) * 2018-04-09 2021-12-15 7D Surgical ULC SYSTEMS AND PROCEDURES FOR INTRAOPERATIVE LEADERSHIP
US10248981B1 (en) * 2018-04-10 2019-04-02 Prisma Systems Corporation Platform and acquisition system for generating and maintaining digital product visuals
US11980507B2 (en) 2018-05-02 2024-05-14 Augmedics Ltd. Registration of a fiducial marker for an augmented reality system
TWI671762B (zh) * 2018-05-17 2019-09-11 高雄榮民總醫院 隨選第三人視角或操作者視角的虛擬實境醫護處置評分方法、電腦可讀取記錄媒體、電腦程式產品、系統
WO2019238214A1 (en) * 2018-06-11 2019-12-19 Brainlab Ag Visualization of medical data depending on viewing-characteristics
US11340708B2 (en) 2018-06-11 2022-05-24 Brainlab Ag Gesture control of medical displays
WO2019245861A2 (en) 2018-06-19 2019-12-26 Tornier, Inc. Mixed reality-aided depth tracking in orthopedic surgical procedures
TWI741196B (zh) * 2018-06-26 2021-10-01 華宇藥品股份有限公司 整合擴增實境之手術導航方法及系統
KR20210059697A (ko) * 2018-06-27 2021-05-25 센티에이알, 인코포레이티드 증강 현실 환경을 위한 시선 기반 인터페이스
EP3608870A1 (en) 2018-08-10 2020-02-12 Holo Surgical Inc. Computer assisted identification of appropriate anatomical structure for medical device placement during a surgical procedure
US11612438B2 (en) * 2018-09-05 2023-03-28 Point Robotics Medtech Inc. Navigation system and method for medical operation by a robotic system using a tool
JP2021191320A (ja) * 2018-09-11 2021-12-16 ソニーグループ株式会社 手術支援システム、表示制御装置、および表示制御方法
US11429333B2 (en) * 2018-09-22 2022-08-30 BadVR, Inc. Immersive data visualization
JP2022502797A (ja) * 2018-09-24 2022-01-11 サージカル シアター，インコーポレイテッド ３６０ｖｒ容積メディアエディタ
US11062527B2 (en) * 2018-09-28 2021-07-13 General Electric Company Overlay and manipulation of medical images in a virtual environment
WO2020075545A1 (en) * 2018-10-12 2020-04-16 Sony Corporation Surgical support system, data processing apparatus and method
US11204677B2 (en) * 2018-10-22 2021-12-21 Acclarent, Inc. Method for real time update of fly-through camera placement
BR102018072428A2 (pt) * 2018-10-31 2020-05-26 Protótipos Indústria E Comércio De Produtos Protótipos Ltda - Me Sistema guia com realidade aumentada
KR102270170B1 (ko) * 2018-11-14 2021-06-25 임승준 증강 현실을 이용한 수술 보조 장치
CN109410680A (zh) * 2018-11-19 2019-03-01 叶哲伟 一种基于混合现实的虚拟手术训练方法及***
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
CN109545003B (zh) * 2018-12-24 2022-05-03 北京卡路里信息技术有限公司 一种显示方法、装置、终端设备及存储介质
EP3903323A4 (en) * 2019-02-12 2022-10-12 Surgical Theater Inc. SYSTEM AND METHODS FOR MODELING NEUROLOGICAL ACTIVITY
US11751872B2 (en) 2019-02-19 2023-09-12 Cilag Gmbh International Insertable deactivator element for surgical stapler lockouts
US11357503B2 (en) 2019-02-19 2022-06-14 Cilag Gmbh International Staple cartridge retainers with frangible retention features and methods of using same
US11369377B2 (en) 2019-02-19 2022-06-28 Cilag Gmbh International Surgical stapling assembly with cartridge based retainer configured to unlock a firing lockout
US11298129B2 (en) 2019-02-19 2022-04-12 Cilag Gmbh International Method for providing an authentication lockout in a surgical stapler with a replaceable cartridge
US11317915B2 (en) 2019-02-19 2022-05-03 Cilag Gmbh International Universal cartridge based key feature that unlocks multiple lockout arrangements in different surgical staplers
CN109864820A (zh) * 2019-03-19 2019-06-11 安徽紫薇帝星数字科技有限公司 一种基于ct三维模型映射混合定位导航***
TWI696085B (zh) * 2019-06-06 2020-06-11 崑山科技大學 虛擬實境輔助室內設計系統及其互動方法
USD952144S1 (en) 2019-06-25 2022-05-17 Cilag Gmbh International Surgical staple cartridge retainer with firing system authentication key
USD950728S1 (en) 2019-06-25 2022-05-03 Cilag Gmbh International Surgical staple cartridge
USD964564S1 (en) 2019-06-25 2022-09-20 Cilag Gmbh International Surgical staple cartridge retainer with a closure system authentication key
CN114173693A (zh) * 2019-07-15 2022-03-11 外科手术公司 用于远距监督手术程序的增强现实***和方法
US10832486B1 (en) 2019-07-17 2020-11-10 Gustav Lo Systems and methods for displaying augmented anatomical features
US11980506B2 (en) 2019-07-29 2024-05-14 Augmedics Ltd. Fiducial marker
CN114641251A (zh) * 2019-11-05 2022-06-17 替代外科手术公司 外科手术虚拟现实用户接口
US11871904B2 (en) 2019-11-08 2024-01-16 Covidien Ag Steerable endoscope system with augmented view
USD991278S1 (en) * 2019-12-09 2023-07-04 Ankon Technologies Co., Ltd Display screen or portion thereof with transitional graphical user interface for auxiliary reading
USD991279S1 (en) * 2019-12-09 2023-07-04 Ankon Technologies Co., Ltd Display screen or portion thereof with transitional graphical user interface
US11992373B2 (en) 2019-12-10 2024-05-28 Globus Medical, Inc Augmented reality headset with varied opacity for navigated robotic surgery
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
US11464581B2 (en) 2020-01-28 2022-10-11 Globus Medical, Inc. Pose measurement chaining for extended reality surgical navigation in visible and near infrared spectrums
US11983824B2 (en) * 2020-01-31 2024-05-14 Surgical Theater, Inc. System and method for augmenting and synchronizing a virtual model with a physical model
US11382699B2 (en) 2020-02-10 2022-07-12 Globus Medical Inc. Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery
US11207150B2 (en) 2020-02-19 2021-12-28 Globus Medical, Inc. Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment
EP4110218A1 (en) * 2020-02-28 2023-01-04 8Chili, Inc. Surgical navigation system and applications thereof
WO2021202609A1 (en) * 2020-03-30 2021-10-07 Intuitive Surgical Operations, Inc. Method and system for facilitating remote presentation or interaction
EP3893239B1 (en) 2020-04-07 2022-06-22 Stryker European Operations Limited Surgical system control based on voice commands
EP4140125A4 (en) * 2020-04-22 2024-05-15 Brain Navi Biotechnology Co., Ltd. METHOD AND SYSTEM FOR AUGMENTING MEDICAL SCANNING IMAGE INFORMATION ON AN EXTENDED REALITY IMAGE
US20210330394A1 (en) * 2020-04-23 2021-10-28 Johnson & Johnson Surgical Vision, Inc. Augmented-reality visualization of an ophthalmic surgical tool
US11832883B2 (en) * 2020-04-23 2023-12-05 Johnson & Johnson Surgical Vision, Inc. Using real-time images for augmented-reality visualization of an ophthalmology surgical tool
US11607277B2 (en) 2020-04-29 2023-03-21 Globus Medical, Inc. Registration of surgical tool with reference array tracked by cameras of an extended reality headset for assisted navigation during surgery
US11701176B2 (en) 2020-05-06 2023-07-18 Warsaw Orthopedic, Inc. Spinal surgery system and methods of use
US11382700B2 (en) 2020-05-08 2022-07-12 Globus Medical Inc. Extended reality headset tool tracking and control
US11153555B1 (en) 2020-05-08 2021-10-19 Globus Medical Inc. Extended reality headset camera system for computer assisted navigation in surgery
US11510750B2 (en) 2020-05-08 2022-11-29 Globus Medical, Inc. Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications
CN111651043B (zh) * 2020-05-29 2021-10-12 北京航空航天大学 一种支持定制化多通道交互的增强现实***
US11087557B1 (en) 2020-06-03 2021-08-10 Tovy Kamine Methods and systems for remote augmented reality communication for guided surgery
US11389252B2 (en) 2020-06-15 2022-07-19 Augmedics Ltd. Rotating marker for image guided surgery
CN113923437B (zh) 2020-07-09 2024-03-22 财团法人工业技术研究院 信息显示方法及其处理装置与显示***
EP3951749A1 (en) * 2020-08-06 2022-02-09 Virtonomy GmbH Collaborative system for visual analysis of a virtual medical model
US11571225B2 (en) 2020-08-17 2023-02-07 Russell Todd Nevins System and method for location determination using movement between optical labels and a 3D spatial mapping camera
US11737831B2 (en) 2020-09-02 2023-08-29 Globus Medical Inc. Surgical object tracking template generation for computer assisted navigation during surgical procedure
CN112258390B (zh) * 2020-09-10 2021-06-25 华中师范大学 一种高精度微观虚拟学习资源生成方法
US12023106B2 (en) 2020-10-12 2024-07-02 Johnson & Johnson Surgical Vision, Inc. Virtual reality 3D eye-inspection by combining images from position-tracked optical visualization modalities
US11138806B1 (en) * 2020-12-14 2021-10-05 MediVis, Inc. Distributed augmented reality image display and generation of composite images
US11430562B2 (en) * 2021-01-04 2022-08-30 Healthy.Io Ltd. Selective reaction to failure to complete medical action
CN113509265A (zh) * 2021-04-01 2021-10-19 上海复拓知达医疗科技有限公司 一种动态位置识别提示***及其方法
US20220331008A1 (en) 2021-04-02 2022-10-20 Russell Todd Nevins System and method for location determination using movement of an optical label fixed to a bone using a spatial mapping camera
CN113100935A (zh) * 2021-04-13 2021-07-13 上海大学 一种肺部穿刺手术术前穿刺路径规划方法及训练***
WO2022229814A1 (en) * 2021-04-27 2022-11-03 Cilag Gmbh International Surgical stapler reload simulation
US11948226B2 (en) * 2021-05-28 2024-04-02 Covidien Lp Systems and methods for clinical workspace simulation
CN115437490A (zh) * 2021-06-01 2022-12-06 深圳富桂精密工业有限公司 交互方法、装置、服务器及计算机可读存储介质
CN113633387B (zh) * 2021-06-21 2024-01-26 安徽理工大学 术野追踪的扶持腹腔镜微创机器人触力交互方法和***
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter
US11600053B1 (en) 2021-10-04 2023-03-07 Russell Todd Nevins System and method for location determination using a mixed reality device and multiple imaging cameras
WO2023094913A1 (en) * 2021-11-23 2023-06-01 Medtronic, Inc. Extended intelligence ecosystem for soft tissue luminal applications
WO2023114470A1 (en) * 2021-12-16 2023-06-22 University Of Miami Augmented and mixed reality incorporating pathology results in surgical settings
US12004821B2 (en) 2022-02-03 2024-06-11 Medtronic Navigation, Inc. Systems, methods, and devices for generating a hybrid image
US20230240790A1 (en) * 2022-02-03 2023-08-03 Medtronic Navigation, Inc. Systems, methods, and devices for providing an augmented display
CN114972637A (zh) * 2022-05-16 2022-08-30 华中科技大学同济医学院附属协和医院 一种面向骨科教学的可移动混合现实技术实现方法及***
US11855831B1 (en) 2022-06-10 2023-12-26 T-Mobile Usa, Inc. Enabling an operator to resolve an issue associated with a 5G wireless telecommunication network using AR glasses
CN115363751B (zh) * 2022-08-12 2023-05-16 华平祥晟(上海)医疗科技有限公司 术中解剖结构指示方法
WO2024089503A1 (en) * 2022-10-28 2024-05-02 Medtronic, Inc. System and method for illustrating a pose of an object

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140088941A1 (en) * 2012-09-27 2014-03-27 P. Pat Banerjee Haptic augmented and virtual reality system for simulation of surgical procedures
US20140243614A1 (en) * 2013-02-26 2014-08-28 Butterfly Network, Inc. Transmissive imaging and related apparatus and methods
US20150248793A1 (en) * 2013-07-12 2015-09-03 Magic Leap, Inc. Method and system for facilitating surgery using an augmented reality system

Family Cites Families (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BE1008128A3 (nl) 1994-03-10 1996-01-23 Materialise Nv Werkwijze voor het ondersteunen van een voorwerp vervaardigd door stereolithografie of een andere snelle prototypevervaardigingswerkwijze en voor het vervaardigen van de daarbij gebruikte steunkonstruktie.
BE1008372A3 (nl) 1994-04-19 1996-04-02 Materialise Nv Werkwijze voor het vervaardigen van een geperfektioneerd medisch model uitgaande van digitale beeldinformatie van een lichaamsdeel.
US5623582A (en) 1994-07-14 1997-04-22 Immersion Human Interface Corporation Computer interface or control input device for laparoscopic surgical instrument and other elongated mechanical objects
US5765561A (en) 1994-10-07 1998-06-16 Medical Media Systems Video-based surgical targeting system
US5826206A (en) 1996-03-12 1998-10-20 Training Inovations Group, Llc Debriefing systems and methods for retrieving and presenting multiple datastreams with time indication marks in time synchronism
US6847336B1 (en) 1996-10-02 2005-01-25 Jerome H. Lemelson Selectively controllable heads-up display system
IL123073A0 (en) 1998-01-26 1998-09-24 Simbionix Ltd Endoscopic tutorial system
US6113395A (en) 1998-08-18 2000-09-05 Hon; David C. Selectable instruments with homing devices for haptic virtual reality medical simulation
JP3559495B2 (ja) 2000-03-28 2004-09-02 京セラ株式会社 誘電体磁器組成物およびそれを用いた誘電体共振器並びに非放射性誘電体線路
US6939138B2 (en) 2000-04-12 2005-09-06 Simbionix Ltd. Endoscopic tutorial system for urology
AU2001260559A1 (en) 2000-05-19 2001-11-26 Simbionics Ltd. Endoscopic tutorial system for the pancreatic system
US20020059284A1 (en) 2000-10-20 2002-05-16 Ran Bronstein Method for rapid transfer of data with a multi-spline model
IL143255A (en) 2001-05-20 2015-09-24 Simbionix Ltd Endoscopic ultrasonography simulation
ATE371414T1 (de) 2001-06-13 2007-09-15 Volume Interactions Pte Ltd Führungssystem
FR2836372B1 (fr) 2002-02-28 2004-06-04 Obl Procede et dispositif pour la mise en place d'implants dentaires
SE0202863D0 (sv) 2002-09-30 2002-09-30 Goeteborgs University Surgical Improved computer-based minimal-invasive surgery simulation system
SE525157C2 (sv) 2002-12-03 2004-12-14 Mentice Ab Simuleringssystem för invasiv kirurgi
US7850456B2 (en) 2003-07-15 2010-12-14 Simbionix Ltd. Surgical simulation device, system and method
US7101383B1 (en) 2003-11-26 2006-09-05 Van Ess Lester J Laparoscopic instrument and method for its use
US20060036167A1 (en) 2004-07-03 2006-02-16 Shina Systems Ltd. Vascular image processing
US7331929B2 (en) 2004-10-01 2008-02-19 General Electric Company Method and apparatus for surgical operating room information display gaze detection and user prioritization for control
US8702580B2 (en) 2004-10-06 2014-04-22 Brainlab Ag Method and device for assisting in a tissue treatment
US8480404B2 (en) 2004-11-30 2013-07-09 Eric A. Savitsky Multimodal ultrasound training system
JP2006223374A (ja) 2005-02-15 2006-08-31 Olympus Corp 手術支援装置、手術支援システム及び手術支援方法
US8249687B2 (en) * 2005-06-02 2012-08-21 Vital Images, Inc. Systems and methods for virtual identification of polyps
US9289267B2 (en) * 2005-06-14 2016-03-22 Siemens Medical Solutions Usa, Inc. Method and apparatus for minimally invasive surgery using endoscopes
US20070129626A1 (en) 2005-11-23 2007-06-07 Prakash Mahesh Methods and systems for facilitating surgical procedures
US20070134637A1 (en) 2005-12-08 2007-06-14 Simbionix Ltd. Medical simulation device with motion detector
WO2007108776A2 (en) 2005-12-31 2007-09-27 Bracco Imaging S.P.A. Systems and methods for collaborative interactive visualization of 3d data sets over a network ('dextronet')
US20070238981A1 (en) * 2006-03-13 2007-10-11 Bracco Imaging Spa Methods and apparatuses for recording and reviewing surgical navigation processes
US20070236514A1 (en) * 2006-03-29 2007-10-11 Bracco Imaging Spa Methods and Apparatuses for Stereoscopic Image Guided Surgical Navigation
GB0609988D0 (en) 2006-05-19 2006-06-28 Materialise Nv Method for creating a personalized digital planning file for simulation of dental implant placement
US20120150243A9 (en) 2006-08-31 2012-06-14 Catholic Healthcare West (Chw) Computerized Planning Tool For Spine Surgery and Method and Device for Creating a Customized Guide for Implantations
DE102006056884A1 (de) 2006-12-01 2008-06-05 Siemens Ag Verfahren und CT-System zur Durchführung einer Cardio-CT-Untersuchung eines Patienten
WO2008076079A1 (en) * 2006-12-19 2008-06-26 Bracco Imaging S.P.A. Methods and apparatuses for cursor control in image guided surgery
GB2459225B (en) 2007-01-16 2011-07-20 Simbionix Ltd Preoperative surgical simulation
US8543338B2 (en) 2007-01-16 2013-09-24 Simbionix Ltd. System and method for performing computerized simulations for image-guided procedures using a patient specific model
GB0703141D0 (en) 2007-02-19 2007-03-28 Materialise Dental Nv Dual transfer device for guided direct bonding
JP5335201B2 (ja) * 2007-05-08 2013-11-06 キヤノン株式会社 画像診断装置
DE102007053008A1 (de) 2007-11-05 2009-05-14 Repetzki, Sebastian, Dr.-Ing. Zielkörper und Verfahren zur Bestimmung seiner räumlichen Lage
WO2009094621A2 (en) 2008-01-25 2009-07-30 University Of Florida Research Foundation, Inc. Devices and methods for implementing endoscopic surgical procedures and instruments within a virtual environment
US9396669B2 (en) 2008-06-16 2016-07-19 Microsoft Technology Licensing, Llc Surgical procedure capture, modelling, and editing interactive playback
US9679499B2 (en) 2008-09-15 2017-06-13 Immersion Medical, Inc. Systems and methods for sensing hand motion by measuring remote displacement
JP5215828B2 (ja) 2008-12-02 2013-06-19 三菱プレシジョン株式会社 術前シミュレーションのためのモデル生成方法
GB0822590D0 (en) 2008-12-11 2009-01-21 Materialise Nv Orthotic prosthetic cushioned device and method of making the same
EP2387760B1 (en) 2009-01-15 2019-05-01 SimQuest LLC Interactive simulation of biological tissue
US8685093B2 (en) 2009-01-23 2014-04-01 Warsaw Orthopedic, Inc. Methods and systems for diagnosing, treating, or tracking spinal disorders
EP3872794A1 (en) 2009-05-12 2021-09-01 Edda Technology, Inc. System, method, apparatus, and computer program for interactive pre-operative assessment
US9104791B2 (en) 2009-05-28 2015-08-11 Immersion Corporation Systems and methods for editing a model of a physical system for a simulation
US8504136B1 (en) 2009-10-06 2013-08-06 University Of South Florida See-through abdomen display for minimally invasive surgery
US8311791B1 (en) 2009-10-19 2012-11-13 Surgical Theater LLC Method and system for simulating surgical procedures
US10580325B2 (en) 2010-03-24 2020-03-03 Simbionix Ltd. System and method for performing a computerized simulation of a medical procedure
US8315812B2 (en) * 2010-08-12 2012-11-20 Heartflow, Inc. Method and system for patient-specific modeling of blood flow
WO2012033739A2 (en) 2010-09-08 2012-03-15 Disruptive Navigational Technologies, Llc Surgical and medical instrument tracking using a depth-sensing device
EP2691946A4 (en) 2011-03-30 2015-09-23 Mordechai Avisar METHOD AND SYSTEM FOR SIMULATING SURGICAL PROCEDURES
US20140088377A1 (en) 2011-06-10 2014-03-27 Koninklijke Philips N.V. Dynamic constraining with optical shape sensing
CN102354345A (zh) 2011-10-21 2012-02-15 北京理工大学 一种具有体感交互方式的医学影像浏览设备
US20130267838A1 (en) 2012-04-09 2013-10-10 Board Of Regents, The University Of Texas System Augmented Reality System for Use in Medical Procedures
CN104271066B (zh) 2012-05-25 2017-10-24 外科手术室公司 具有不用手的控制的混合图像/场景再现器
US20140176661A1 (en) 2012-12-21 2014-06-26 G. Anthony Reina System and method for surgical telementoring and training with virtualized telestration and haptic holograms, including metadata tagging, encapsulation and saving multi-modal streaming medical imagery together with multi-dimensional [4-d] virtual mesh and multi-sensory annotation in standard file formats used for digital imaging and communications in medicine (dicom)
WO2014140813A1 (en) * 2013-03-11 2014-09-18 Fondation De Cooperation Scientifique Anatomical site relocalisation using dual data synchronisation
KR20140112207A (ko) * 2013-03-13 2014-09-23 삼성전자주식회사 증강현실 영상 표시 시스템 및 이를 포함하는 수술 로봇 시스템
CN103169445B (zh) * 2013-04-16 2016-07-06 苏州朗开医疗技术有限公司 一种内窥镜的导航方法及***
WO2014200016A1 (ja) * 2013-06-11 2014-12-18 Tanji Atsushi 外科手術支援システム、外科手術支援装置、外科手術支援方法、外科手術支援プログラムおよび情報処理装置
US9940750B2 (en) * 2013-06-27 2018-04-10 Help Lighting, Inc. System and method for role negotiation in multi-reality environments
US20150019260A1 (en) * 2013-07-09 2015-01-15 Pristine Methods and systems for presenting medical information
JP2015019679A (ja) * 2013-07-16 2015-02-02 セイコーエプソン株式会社 情報処理装置、情報処理方法、および、情報処理システム
TW201505603A (zh) * 2013-07-16 2015-02-16 Seiko Epson Corp 資訊處理裝置、資訊處理方法及資訊處理系統
US9990771B2 (en) * 2013-08-28 2018-06-05 Aurelian Viorel DRAGNEA Method and system of displaying information during a medical procedure
US11547499B2 (en) 2014-04-04 2023-01-10 Surgical Theater, Inc. Dynamic and interactive navigation in a surgical environment
EP3146715B1 (en) * 2014-05-20 2022-03-23 University Of Washington Through Its Center For Commercialization Systems and methods for mediated-reality surgical visualization
US20160027141A1 (en) * 2014-07-22 2016-01-28 Oculus Vr, Llc In-band latency detection system
WO2016162789A2 (en) * 2015-04-07 2016-10-13 King Abdullah University Of Science And Technology Method, apparatus, and system for utilizing augmented reality to improve surgery
US20180092698A1 (en) 2016-10-04 2018-04-05 WortheeMed, Inc. Enhanced Reality Medical Guidance Systems and Methods of Use

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140088941A1 (en) * 2012-09-27 2014-03-27 P. Pat Banerjee Haptic augmented and virtual reality system for simulation of surgical procedures
US20140243614A1 (en) * 2013-02-26 2014-08-28 Butterfly Network, Inc. Transmissive imaging and related apparatus and methods
US20150248793A1 (en) * 2013-07-12 2015-09-03 Magic Leap, Inc. Method and system for facilitating surgery using an augmented reality system

Also Published As

Publication number Publication date
JP2022017422A (ja) 2022-01-25
CN107613897A (zh) 2018-01-19
CN107613897B (zh) 2021-12-17
TW201717837A (zh) 2017-06-01
US20170367771A1 (en) 2017-12-28
CA2997965A1 (en) 2017-04-20
BR112018007473A2 (pt) 2018-10-23
US20210022812A1 (en) 2021-01-28
JP2018534011A (ja) 2018-11-22
CA2997965C (en) 2021-04-27
US11197722B2 (en) 2021-12-14
EP3361979A4 (en) 2019-06-26
WO2017066373A1 (en) 2017-04-20
EP3361979A1 (en) 2018-08-22

Similar Documents

Publication Publication Date Title
TWI745307B (zh) 強化實境之外科導航
US11532135B2 (en) Dual mode augmented reality surgical system and method
US11547499B2 (en) Dynamic and interactive navigation in a surgical environment
US11483532B2 (en) Augmented reality guidance system for spinal surgery using inertial measurement units
US20210015583A1 (en) Augmented reality system and method for tele-proctoring a surgical procedure
Gsaxner et al. The HoloLens in medicine: A systematic review and taxonomy
Bichlmeier et al. The virtual mirror: a new interaction paradigm for augmented reality environments
Kersten-Oertel et al. 20 Augmented Reality for Image-Guided Surgery

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees