TWI790447B - 手術路徑定位方法、資訊顯示裝置、電腦可讀取的記錄媒體及特殊應用積體電路晶片 - Google Patents

手術路徑定位方法、資訊顯示裝置、電腦可讀取的記錄媒體及特殊應用積體電路晶片 Download PDF

Info

Publication number
TWI790447B
TWI790447B TW109119432A TW109119432A TWI790447B TW I790447 B TWI790447 B TW I790447B TW 109119432 A TW109119432 A TW 109119432A TW 109119432 A TW109119432 A TW 109119432A TW I790447 B TWI790447 B TW I790447B
Authority
TW
Taiwan
Prior art keywords
image
surgical
knife
virtual
entry
Prior art date
Application number
TW109119432A
Other languages
English (en)
Other versions
TW202145970A (zh
Inventor
邱錫彥
陳品元
劉浩澧
魏國珍
Original Assignee
長庚大學
長庚醫療財團法人基隆長庚紀念醫院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 長庚大學, 長庚醫療財團法人基隆長庚紀念醫院 filed Critical 長庚大學
Priority to TW109119432A priority Critical patent/TWI790447B/zh
Priority to CN202110129401.7A priority patent/CN113768619B/zh
Priority to US17/217,419 priority patent/US11806088B2/en
Publication of TW202145970A publication Critical patent/TW202145970A/zh
Application granted granted Critical
Publication of TWI790447B publication Critical patent/TWI790447B/zh

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A61B2034/104—Modelling the effect of the tool, e.g. the effect of an implanted prosthesis or for predicting the effect of ablation or burring
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Robotics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Wire Bonding (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一種手術路徑定位方法，是根據一資訊顯示裝置提供之與一實際手術對象相關的複數影像圖片找出一呈現一病灶的目標影像圖片並在病灶上決定一手術目標點，且建構出呈現該手術目標點的一三維虛擬影像，並將該三維虛擬影像疊合在該實際手術對象影像上以顯示一疊合後影像，且於該疊合後影像上產生一對應於該實際手術對象的表面的一實際入刀點的虛擬入刀點，並使該虛擬入刀點與該手術目標點連成一入刀路徑，並顯示由該手術目標點朝該虛擬入刀點方向沿著該入刀路徑從該入刀點向外直線延伸的一入刀導引路徑。

Description

手術路徑定位方法、資訊顯示裝置、電腦可讀取的記錄媒體及特殊應用積體電路晶片
本發明是有關於一種外科手術定位方法，特別是指一種手術路徑定位方法。
目前要進行腦部手術，都會先拍攝腦部斷層掃描影像，以確認手術目標(病灶)，例如腦部積水處，而要確認手術目標，目前的做法主要有：1、透過電腦斷層掃描（CT）、磁振造影（MRI）、超音波攝影(Ultrasound imaging)等取得的DICOM影像圖片，找到手術目標的大概位置；2、利用光學導航系統即時顯示DICOM影像圖片，以找尋手術目標位置；3、利用擴增實境(AR)或混合實境(MR)技術直接將DICOM影像圖片重疊於手術對象上。但是當找出手術目標後，由於現行系統並無法即時顯示Dicom影像的量化資訊，因此醫師仍需憑藉自身的開刀經驗自行找出入刀點以及由入刀點前進至手術目標的入刀路徑。
因此，本發明之目的，即在提供一種至少能解決上述問題的手術路徑定位方法以及實現該方法的資訊顯示裝置、電腦可讀取的記錄媒體和特殊應用積體電路晶片，其能將手術對象的三維虛擬影像重疊於手術對象上，並自動根據手術對象上的一手術目標點決定一入刀點以及產生一由入刀點前進至手術目標點的入刀路徑以及由入刀點向外延伸的一入刀導引路徑，讓操作者可依循該入刀導引路徑使手術器械從入刀點進入手術對象並保持手術器械往正確的入刀路徑移動至手術目標點，而有助於手術的順利進行。
於是，本發明一種手術路徑定位方法，包括：(A)一資訊顯示裝置提供與一實際手術對象相關的複數影像圖片，以供從該等影像圖片中找出一目標影像圖片並顯示該目標影像圖片，該目標影像圖片呈現出位於該實際手術對象內部的一病灶，且該目標影像圖片可供點選以在該病灶上決定一手術目標點；(B) 該資訊顯示裝置的一三維影像建構模組根據呈現該病灶及該手術目標點的該目標影像圖片與該等影像圖片，建構出呈現該手術目標點且與該實際手術對象對應的一三維虛擬影像；(C) 該資訊顯示裝置的一影像疊合模組在該資訊顯示裝置拍攝該實際手術對象並顯示所拍攝的該實際手術對象影像時，將該三維虛擬影像疊合在該實際手術對象影像上而產生一呈現該手術目標點的疊合後影像，且令該資訊顯示裝置顯示該疊合後影像；及(D) 該資訊顯示裝置的一入刀路徑產生模組根據該疊合後影像上呈現的該手術目標點及該等影像圖片，於該疊合後影像上產生一對應於該實際手術對象的表面的一實際入刀點的虛擬入刀點，並使該虛擬入刀點與該手術目標點連成一直線，並顯示由該手術目標點朝該虛擬入刀點方向沿著該直線從該虛擬入刀點向外直線延伸的一入刀導引路徑。
在本發明的一些實施態樣中，該三維虛擬影像包含與該實際手術對象對應的一第一三維虛擬影像和與該手術目標點對應的一第二三維虛擬影像，該影像疊合模組將該第一三維虛擬影像及該第二三維虛擬影像疊合在該實際手術對象影像上而產生呈現該手術目標點的該疊合後影像，且令該顯示器顯示該疊合後影像以顯示該手術目標點的實際位置。
在本發明的一些實施態樣中，該資訊顯示裝置的一入刀偵測模組偵測一手術器械是否出現在該資訊顯示裝置顯示的該疊合後影像畫面中，且判斷該手術器械的一尖端點與該虛擬入刀點是否相疊合、判斷該手術器械的一尖端點與該手術目標點是否相疊合、判斷該手術器械與該入刀導引路徑是否相疊合及/或判斷該手術器械的空間角度與該入刀導引路徑的空間角度是否相疊合，並根據判斷結果輸出一反饋訊息。
在本發明的一些實施態樣中，該資訊顯示裝置的一入刀偵測模組偵測到一手術器械出現在該資訊顯示裝置顯示的該疊合後影像畫面時，該入刀偵測模組即時產生與該手術器械對應的一虛擬手術器械，並根據該手術器械在該疊合後影像畫面中的位置，對應顯示該虛擬手術器械於該疊合後影像畫面中；且該入刀偵測模組判斷該虛擬手術器械的一尖端點是否與該虛擬入刀點相疊合、判斷該虛擬手術器械的一尖端點與該手術目標點是否相疊合、判斷該虛擬手術器械與該入刀導引路徑是否相疊合及/或判斷該虛擬手術器械的空間角度與該入刀導引路徑的空間角度是否相疊合，並根據判斷結果輸出一反饋訊息。
在本發明的一些實施態樣中，該反饋訊息包含影像反饋、聲音反饋、觸覺反饋至少其中之一，影像反饋包含產生顏色變化及出現新訊息至少其中之一，聲音反饋包含聲音提示，觸覺反饋是該資訊顯示裝置藉由傳送一反饋訊號至一穿戴式電子裝置，使該穿戴式電子裝置產生震動。
再者，本發明實現上述方法的一種資訊顯示裝置，包括：一儲存單元、一顯示器、一影像擷取單元及一處理器；其中該儲存單元儲存與一實際手術對象相關的複數影像圖片；該處理器與該儲存單元、該顯示器及該影像擷取單元電連接，並可供操作以從該儲存單元儲存的該等影像圖片中找出一目標影像圖片並令該顯示器顯示該目標影像圖片，該目標影像圖片呈現出位於該實際手術對象內部的一病灶，且該處理器令該目標影像圖片可供點選以在該病灶上決定一手術目標點；且該處理器包含一三維影像建構模組、一影像疊合模組及一入刀路徑產生模組，其中，該三維影像建構模組根據呈現該手術目標點的該目標影像圖片與該等影像圖片，建構出呈現該手術目標點且與該實際手術對象對應的一三維虛擬影像；該影像疊合模組判斷該顯示器顯示該影像擷取單元所拍攝之該實際手術對象的一實際手術對象影像時，將該三維虛擬影像疊合在該實際手術對象影像上而產生一呈現該手術目標點的疊合後影像，且令該顯示器顯示該疊合後影像；該入刀路徑產生模組根據該疊合後影像上呈現的該手術目標點及該儲存單元儲存的該等影像圖片，於該疊合後影像上產生一對應於該實際手術對象的表面的一實際入刀點的虛擬入刀點，並使該虛擬入刀點與該手術目標點連成一直線，並令該顯示器顯示由該手術目標點朝該虛擬入刀點方向沿著該直線從該虛擬入刀點向外直線延伸的一入刀導引路徑。
在本發明的一些實施態樣中，該處理器還包含一入刀偵測模組，該入刀偵測模組判斷該影像擷取單元拍攝到一手術器械，且判斷該手術器械的一尖端點與該虛擬入刀點是否相疊合、判斷該手術器械的一尖端點與該手術目標點是否相疊合、判斷該手術器械與該入刀導引路徑是否相疊合及/或判斷該手術器械的空間角度與該入刀導引路徑的空間角度是否相疊合，並根據判斷結果輸出一反饋訊息。
在本發明的一些實施態樣中，該處理器還包含一入刀偵測模組，該入刀偵測模組判斷該影像擷取單元拍攝到一手術器械時，該入刀偵測模組即時產生與該手術器械對應的一虛擬手術器械，並根據該手術器械在空間中的位置，對應顯示該虛擬手術器械於該疊合後影像畫面中；且該入刀偵測模組判斷該虛擬手術器械的一尖端點與該虛擬入刀點是否相疊合、判斷該虛擬手術器械的一尖端點與該手術目標點是否相疊合、判斷該虛擬手術器械與該入刀導引路徑是否相疊合及/或判斷該虛擬手術器械的空間角度與該入刀導引路徑的空間角度是否相疊合，並根據判斷結果輸出一反饋訊息。
在本發明的一些實施態樣中，該反饋訊息包含影像反饋、聲音反饋、觸覺反饋至少其中之一，影像反饋包含產生顏色變化及出現新訊息至少其中之一，聲音反饋包含聲音提示，觸覺反饋是該處理器透過有線或無線方式傳送一反饋訊號至一穿戴式電子裝置，使該穿戴式電子裝置產生震動。
此外，本發明實現上述方法的一種電腦可讀取的記錄媒體，其中儲存一包含一三維影像建構模組、一影像疊合模組、一入刀路徑產生模組及一入刀偵測模組的軟體程式，且該軟體程式被一電子裝置載入並執行時，該電子裝置能完成如上所述的手術路徑定位方法。
另外，本發明實現上述方法的一種特殊應用積體電路晶片，其中整合有一三維影像建構模組、一影像疊合模組、一入刀路徑產生模組及一入刀偵測模組，且該特殊應用積體電路晶片被應用於一電子裝置時，能使該電子裝置完成如上所述的手術路徑定位方法。
本發明之功效在於：藉由將實際手術對象的三維虛擬影像重疊於實際手術對象影像上，並自動根據該目標影像圖片呈現的該病灶及該手術目標點決定該入刀點並產生由該入刀點前進至該手術目標點的該直線(入刀路徑)以及由該入刀點向外直線延伸的該入刀導引路徑，讓手術操作者可事先得知最佳的手術入刀路徑，以在手術中能依循該入刀導引路徑使手術器械的尖端點準確定位在該入刀點，再由該入刀點依循該入刀路徑進入實際手術對象內部並導引手術器械的尖端點往正確的入刀路徑移動至該手術目標點，藉此，協助手術操作者規劃手術路徑，而有助於手術的順利進行並提高手術成功率。
在本發明被詳細描述之前，應當注意在以下的說明內容中，類似的元件是以相同的編號來表示。
參閱圖1及圖2，是本發明手術路徑定位方法的一實施例的主要流程步驟，且如圖3所示，本實施例之方法是藉由本發明的一資訊顯示裝置3來實現；該資訊顯示裝置3可以是但不限於桌上型個人電腦、平板電腦、智慧型手機或頭戴式顯示裝置(例如擴增實境(AR)眼鏡、擴增實境(AR)頭戴裝置(AR headset)等)，且其主要包括一顯示器31、一儲存單元32、一與該顯示器31及該儲存單元32電連接的處理器33以及一與該處理器33電連接的影像擷取單元34，例如攝影鏡頭。
該處理器33主要包括一三維影像建構模組331、一影像疊合模組332、一入刀路徑產生模組333及一入刀偵測模組334，且前述的該些模組331~334可以是軟體程式而能被該處理器33載入並執行，以完成圖1及圖2所示的方法流程；或者，上述該些模組331~334也可以被整合在一或多個特殊應用積體電路(Application-specific integrated circuit，縮寫為ASIC）晶片或一可程式邏輯裝置(Programmable Logic Device，縮寫為PLD)中，而使包含該(該等)特殊應用積體電路晶片或該可程式邏輯電路裝置的該處理器33能完成圖1及圖2所示的方法流程。又或者，上述該些模組331~334也可以是被燒錄在該處理器33中的一韌體，該處理器33執行該韌體而能完成圖1及圖2所示的方法流程。
藉此，當醫師要對一病患的一實際手術對象1(參見圖6)，例如病患的頭部進行手術，比如病患的腦部有一病灶，例如腦積水而必須針對腦部之病灶(腦積水)部分進行手術以抽取積水時，如圖1的步驟S1，該資訊顯示裝置3的該處理器33能根據使用者的操作讀取預先載入且儲存於該儲存單元32中之與該實際手術對象(頭部)1相關的複數影像圖片，並令該顯示器31根據使用者的操作顯示該等影像圖片。且該等影像圖片例如是該實際手術對象(頭部)1經由電腦斷層掃描（CT）、磁振造影（MRI）、超音波攝影(Ultrasound imaging)等取得的二維切面DICOM（Digital Imaging and Communications in Medicine（醫療數位影像傳輸協定），簡稱DICOM）影像，所以該等影像圖片可同時或分別包含血管、神經、骨頭等資訊。
因此，醫師可從該資訊顯示裝置3顯示的該等影像圖片中找出如圖4所示的一目標影像圖片，該目標影像圖片呈現出位於該實際手術對象1內部(腦部)的一病灶(積水處)41，且該資訊顯示裝置3的該處理器33令該目標影像圖片可供點選以在該病灶41上決定一手術目標點42，亦即該處理器33會判斷該病灶41上是否被設定一目標點，若是，則判定該目標點為該手術目標點42並將該手術目標點42顯示在該病灶上。此外，該處理器33也可利用事先訓練好的人工智慧模組(圖未示)，例如類神經網路從該等影像圖片中自動找出呈現出位於該實際手術對象1內部(腦部)的一病灶(積水處)41的該目標影像圖片，並自動地設定該手術目標點42，然後，醫師可以決定是否接受人工智慧模組設定的該手術目標點42或者對該手術目標點42進行微調。
接著，如圖1的步驟S2，該處理器33中的該三維影像建構模組331根據圖4所示之呈現該病灶41及該手術目標點42的該目標影像圖片與儲存於該儲存單元32中的該等影像圖片，建構出呈現該手術目標點42且與該實際手術對象1對應的一三維虛擬影像5，如圖5所示。例如該三維影像建構模組331可以應用(但不限於)Unity軟體先根據該等影像圖片建構出與該實際手術對象1對應的一初始三維虛擬影像，且該初始三維虛擬影像中呈現該病灶41位置，然後該三維影像建構模組331再根據該目標影像圖片上呈現的該病灶41及該手術目標點42位置，將該手術目標點42呈現在該初始三維虛擬影像中，而產生呈現該手術目標點42的該三維虛擬影像5。
接著，如圖1的步驟S3，當該處理器33中的該影像疊合模組332發現該資訊顯示裝置3的該影像擷取單元34拍攝到該實際手術對象1並顯示所拍攝的該實際手術對象影像1’時，如圖6所示，該影像疊合模組332將該三維虛擬影像5疊合在該實際手術對象影像1’上，而產生一呈現該手術目標點42的疊合後影像6，且令該資訊顯示裝置3的該顯示器31顯示該疊合後影像6。具體而言，該三維虛擬影像包含與該實際手術對象1對應的一第一三維虛擬影像和與該手術目標點42對應的一第二三維虛擬影像，且該影像疊合模組332將該第一三維虛擬影像及該第二三維虛擬影像疊合在該實際手術對象影像1’上而產生呈現該手術目標點42的該疊合後影像6，且令該顯示器31顯示該疊合後影像6，以讓外科手術醫師從顯示的該疊合後影像6得知該手術目標點42的實際位置。
具體而言，該影像疊合模組332可以(但不限於)應用一光學定位系統來實現影像疊合，且該光學定位系統可採用NDI Polaris Vicra optical tracking systems、NDI Polaris Spectra optical tracking systems, ART tracking systems, ClaroNav MicronTracker等等，但不以此為限。
此外，該影像疊合模組332也可以應用例如Vuforia擴增實境平台所開發的一影像定位系統來替代該光學定位系統，且由於影像疊合方法已是擴增實境(AR)和混合實境(MR)領域的習知技術，故於此不予詳述。
然後，如圖1的步驟S4及圖6所示，該處理器33中的該入刀路徑產生模組333會根據該疊合後影像6上呈現的該手術目標點42及該等影像圖片，於該疊合後影像6之虛擬頭皮上產生一對應於該實際手術對象1的表面(例如頭部的頭皮表面)的一實際入刀點43的虛擬入刀點43’，並使該虛擬入刀點43’與該手術目標點42連成一直線44，並且如圖7所示，產生並顯示由該手術目標點42朝該虛擬入刀點43’方向沿著該直線44從該虛擬入刀點43’向外直線延伸的一入刀導引路徑45。其中該直線44是一入刀路徑，且該入刀導引路徑45可以是一細長直線或一圓柱(圓筒)狀、圓錐狀延伸的粗直線。
其中，該虛擬入刀點43’的產生方式如下。外科手術醫師可在病人頭部表面，直接根據習慣或判斷決定一個實際入刀點43，或者參考該資訊顯示裝置3顯示的該疊合後影像6中的該手術目標點42之後，決定一個實際入刀點43；在上述實際入刀點43決定後，如圖6所示，外科手術醫師使用一手術器械7的尖端71點上述的實際入刀點43時，該入刀路徑產生模組333於該疊合後影像6之虛擬頭皮上產生一對應於上述的實際入刀點43的虛擬入刀點43’。然後，該入刀路徑產生模組333即可根據該手術目標點42與該虛擬入刀點43’產生該入刀導引路徑45；外科手術醫師可以根據該入刀導引路徑45，考慮是否要更改入刀點，若是，則重新決定一入刀點，讓該入刀路徑產生模組333重新根據該手術目標點42與新的該實際入刀點43重新產生一條入刀導引路徑45。值得一提的是，本實施例的該入刀路徑產生模組333亦可引入人工智慧，以預先建構的一人工智慧模型自動產生該虛擬入刀點43’。此外，該資訊顯示裝置3還會記錄上述步驟中產生的該三維虛擬影像5、該疊合後影像6以及在該疊合後影像6上產生的入刀導引路徑45等資訊。
藉此，如圖2的步驟S21所示，當該資訊顯示裝置3的該顯示器31顯示如圖7所示的該疊合後影像6及位於該疊合後影像6上的直線(入刀路徑)44以及由該直線(入刀路徑)44向外延伸的該入刀導引路徑45時，如圖2的步驟S22及圖8所示，該處理器33的該入刀偵測模組334會透過該影像擷取單元34所擷取的影像畫面判斷(偵測)是否有一手術器械7出現在該顯示器31顯示的該疊合後影像6畫面中，若是，則如圖2的步驟S23及圖9所示，該入刀偵測模組334進一步判斷出現在該疊合後影像6畫面中的該手術器械影像7’的一尖端點71’(對應該手術器械7的尖端點71)與該虛擬入刀點43’是否相疊合，以及或者判斷該手術器械影像7’ (對應該手術器械7)與該入刀導引路徑45是否相疊合，以及或者判斷該手術器械影像7’ (對應該手術器械7)的空間角度與該入刀導引路徑45的空間角度是否相疊合，以及或者判斷該手術器械影像7’的該尖端點71’ (對應該手術器械7的尖端點71)是否已沿著該直線44(入刀路徑)接近該手術目標點42並與該手術目標點42相疊合，並執行步驟S24，根據判斷結果輸出一反饋訊息。
具體而言，該入刀偵測模組334可透過上述的該光學定位系統或影像定位系統即時取得外科手術醫師或相關人員操作的該手術器械7的一空間座標資訊，而得知該手術器械7在空間中的位置，進而判斷該手術器械影像7’的該尖端點71’是否與該虛擬入刀點43’或該手術目標點42相疊合，以及判斷該手術器械影像7’的路徑或空間角度是否與該入刀導引路徑45或其空間角度相疊合，並根據判斷結果適時輸出相對應的該反饋訊息。
此外，值得一提的是，該三維影像建構模組331也可配合該入刀偵測模組334，在該入刀偵測模組334偵測到該手術器械7出現在該顯示器31顯示的該疊合後影像6畫面內時，該三維影像建構模組331可立即建構一與該手術器械7相對應的虛擬手術器械(虛擬物件，圖未示)，且該入刀偵測模組334根據該手術器械7相對於該實際手術目標1的一相對座標，將該虛擬手術器械顯示在該疊合後影像6畫面，因此，該虛擬手術器械在影像畫面中的形態及位置相當於上述的該手術器械影像7’，進而使該顯示器31即時顯示該虛擬手術器械的尖端點是否與該虛擬入刀點43’或該手術目標點42相疊合，以及即時顯示該虛擬手術器械的路徑或空間角度是否與該入刀導引路徑45或其空間角度相疊合，而以虛擬視覺化的方式呈現手術器械7與開刀目標及入刀路徑之間的疊合關係。
其中，該反饋訊息包含但不限於影像反饋、聲音反饋、觸覺反饋至少其中之一，且影像反饋包含但不限於產生顏色變化及出現新訊息至少其中之一；以圖9為例，當該手術器械影像7’的尖端點71’與該虛擬入刀點43’相疊合，且該入刀偵測模組334判斷該手術器械影像7’與該入刀導引路徑45是否相疊合時，在該顯示器31顯示畫面的右上方會出現一圓形9且在圓形9的正中央具有一中心點91，當該入刀偵測模組334判斷該手術器械影像7’與該入刀導引路徑45並未相疊合時，該圓形9內會出現一條偏離該中心點91的線段92，該線段92的長度代表該手術器械7偏離該入刀導引路徑45的距離，亦即此長度的大小代表該手術器械7的空間方位與該入刀導引路徑45的空間方位的偏差大小。該線段92的偏斜方向則代表該手術器械7偏離該入刀導引路徑45的偏斜方向。
反之，如圖10所示，當該入刀偵測模組334判斷該手術器械影像7’與該入刀導引路徑45的空間方位相疊合時，該圓形9內即不會出現偏離該中心點91的線段92，而只會顯示該中心點91，代表該手術器械7與該入刀導引路徑45的空間方位相疊合而未偏離該入刀導引路徑45。藉此，手持該手術器械7的醫師即能夠透過同步觀察該圓形9內的線段92的變化調整該手術器械7使處於正確的手術方位上。
而聲音反饋則包含聲音提示，例如將上述以視覺化表示該手術器械7的尖端點71是否與該實際入刀點43或該手術目標點42相疊合，以及該手術器械7是否與該入刀導引路徑45或其空間角度相疊合等，以發出聲音訊息的形式表示，例如該處理器33令該資訊顯示裝置3的揚聲器輸出「手術器械已偏離入刀導引路徑」、「手術器械接近入刀導引路徑」、「手術器械與入刀導引路徑相疊合」等語音，而透過即時輸出語音方式導引手持該手術器械7的醫師能夠隨時調整該手術器械7使處於正確的手術方位或位置上。
觸覺反饋則是例如該處理器33透過該資訊顯示裝置3的一訊號傳輸界面以有線或無線方式傳送一反饋訊號至一供手術醫師穿戴的穿戴式電子裝置，使該穿戴式電子裝置產生震動，而讓穿載該穿戴式電子裝置的醫師能夠更直覺地查覺該手術器械7是否處於正確的手術入刀方位、位置及/或路徑上。其中，該穿戴式電子裝置可以是但不限於放在醫師口袋的智慧手機、戴在手上的智慧手錶、智慧手環或穿戴式Beacon(信標)，醫師另一隻手（左手）拿的遙控棒（類似電玩Wii的遙控棒）、掛在醫師脖子上的智慧項鍊、戴在醫師頭上的智慧眼鏡等。
綜上所述，上述實施例藉由將實際手術對象1的三維虛擬影像5重疊於實際手術對象影像1’上，並根據該目標影像圖片呈現的該手術目標點42及於該實際手術對象1的表面決定的一實際入刀點43產生該虛擬入刀點43’，以及產生一由該虛擬入刀點43前進至手術目標點42的該入刀路徑(直線)44以及由該虛擬入刀點43向外直線延伸的該入刀導引路徑45，讓手術操作者可事先得知最佳的手術入刀路徑，以在手術中能依循該入刀導引路徑45使手術器械7的尖端點71準確定位在該實際入刀點43，再由該實際入刀點43依循該入刀路徑44進入實際手術對象1內部並導引手術器械7的尖端點71往正確的入刀路徑移動至該手術目標點42，藉此，協助手術操作者規劃手術路徑，而有助於手術的順利進行並提高手術成功率，確實達到本發明的功效與目的。
惟以上所述者，僅為本發明之實施例而已，當不能以此限定本發明實施之範圍，凡是依本發明申請專利範圍及專利說明書內容所作之簡單的等效變化與修飾，皆仍屬本發明專利涵蓋之範圍內。
1:實際手術對象 1’:實際手術對象影像 3:資訊顯示裝置 31:顯示器 32:儲存單元 33:處理器 331:三維影像建構模組 332:影像疊合模組 333:入刀路徑產生模組 334:入刀偵測模組 34:影像擷取單元 41:病灶 42:手術目標點 43:實際入刀點 43’:虛擬入刀點 44:直線(入刀路徑) 45:入刀導引路徑 5:三維虛擬影像 6:疊合後影像 7:手術器械 71:尖端點 7’:手術器械影像 71’:尖端點 9:圖形 91:中心點 92:線段 S1~S4:步驟 S21~S24:步驟
本發明之其他的特徵及功效，將於參照圖式的實施方式中清楚地顯示，其中： 圖1是本發明手術路徑定位方法的一實施例的主要流程圖； 圖2是本實施例偵測手術器械之位置及移動路徑是否與規劃的入刀點及入刀路徑相疊合的流程圖； 圖3是本發明資訊顯示裝置的一實施例的主要硬體方塊及模組方塊示意圖； 圖4是本實施例的一目標影像圖片示意圖； 圖5是本實施例產生之對應於該實際手術對象且呈現該手術目標點位置的三維虛擬影像示意圖； 圖6是說明本實施例將圖5顯示之三維虛擬影像疊合在該實際手術對象影像上而產生的一疊合後影像的示意圖； 圖7是說明本實施例還在該疊合後影像上產生一沿該直線從該虛擬入刀點向外直線延伸的一入刀導引路徑的示意圖； 圖8是說明本實施例偵測一手術器械的尖端點是否與該實際入刀點相疊合的示意圖； 圖9是說明本實施例偵測到手術器械偏離入刀導引路徑時會以影像反饋方式顯示一反饋訊息的示意圖；及 圖10是說明本實施例偵測到手術器械與入刀導引路徑相疊合時會以影像反饋方式顯示一反饋訊息的示意圖。
S1~S4:步驟

Claims (14)

  1. 一種手術路徑定位方法，包括： (A)一資訊顯示裝置提供與一實際手術對象相關的複數影像圖片，以供從該等影像圖片中找出一目標影像圖片並顯示該目標影像圖片，該目標影像圖片呈現出位於該實際手術對象內部的一病灶，且該目標影像圖片可供點選以在該病灶上決定一手術目標點； (B) 該資訊顯示裝置的一三維影像建構模組根據呈現該病灶及該手術目標點的該目標影像圖片與該等影像圖片，建構出呈現該手術目標點且與該實際手術對象對應的一三維虛擬影像； (C) 該資訊顯示裝置的一影像疊合模組在該資訊顯示裝置拍攝該實際手術對象並顯示所拍攝的該實際手術對象影像時，將該三維虛擬影像疊合在該實際手術對象影像上而產生一呈現該手術目標點的疊合後影像，且令該資訊顯示裝置顯示該疊合後影像；及 (D) 該資訊顯示裝置的一入刀路徑產生模組根據該疊合後影像上呈現的該手術目標點及該等影像圖片，於該疊合後影像上產生一對應於該實際手術對象的表面的一實際入刀點的虛擬入刀點，並使該虛擬入刀點與該手術目標點連成一直線，並顯示由該手術目標點朝該虛擬入刀點方向沿著該直線從該虛擬入刀點向外直線延伸的一入刀導引路徑。
  2. 如請求項1所述的手術路徑定位方法，其中，該三維虛擬影像包含與該實際手術對象對應的一第一三維虛擬影像和與該手術目標點對應的一第二三維虛擬影像，該影像疊合模組將該第一三維虛擬影像及該第二三維虛擬影像疊合在該實際手術對象影像上而產生呈現該手術目標點的該疊合後影像，且令該顯示器顯示該疊合後影像以顯示該手術目標點的實際位置。
  3. 如請求項1所述的手術路徑定位方法，其中，該資訊顯示裝置的一入刀偵測模組偵測一手術器械是否出現在該資訊顯示裝置顯示的該疊合後影像畫面中，且判斷該手術器械的一尖端點與該虛擬入刀點是否相疊合、判斷該手術器械的一尖端點與該手術目標點是否相疊合、判斷該手術器械與該入刀導引路徑是否相疊合及/或判斷該手術器械的空間角度與該入刀導引路徑的空間角度是否相疊合，並根據判斷結果輸出一反饋訊息。
  4. 如請求項1所述的手術路徑定位方法，其中，該資訊顯示裝置的一入刀偵測模組偵測到一手術器械出現在該資訊顯示裝置顯示的該疊合後影像畫面時，該入刀偵測模組即時產生與該手術器械對應的一虛擬手術器械，並根據該手術器械在該疊合後影像畫面中的位置，對應顯示該虛擬手術器械於該疊合後影像畫面中；且該入刀偵測模組判斷該虛擬手術器械的一尖端點是否與該虛擬入刀點相疊合、判斷該虛擬手術器械的一尖端點與該手術目標點是否相疊合、判斷該虛擬手術器械與該入刀導引路徑是否相疊合及/或判斷該虛擬手術器械的空間角度與該入刀導引路徑的空間角度是否相疊合，並根據判斷結果輸出一反饋訊息。
  5. 如請求項3或4所述的手術路徑定位方法，其中該反饋訊息包含影像反饋、聲音反饋、觸覺反饋至少其中之一，影像反饋包含產生顏色變化及出現新訊息至少其中之一，聲音反饋包含聲音提示，觸覺反饋是該資訊顯示裝置藉由傳送一反饋訊號至一穿戴式電子裝置，使該穿戴式電子裝置產生震動。
  6. 一種資訊顯示裝置，包括： 一儲存單元，其中儲存與一實際手術對象相關的複數影像圖片； 一顯示器； 一影像擷取單元；及 一處理器，其與該儲存單元、該顯示器及該影像擷取單元電連接，並可供操作以從該儲存單元儲存的該等影像圖片中找出一目標影像圖片並令該顯示器顯示該目標影像圖片，該目標影像圖片呈現出位於該實際手術對象內部的一病灶，且該處理器令該目標影像圖片可供點選以在該病灶上決定一手術目標點；且該處理器包含一三維影像建構模組、一影像疊合模組及一入刀路徑產生模組，其中 該三維影像建構模組根據呈現該手術目標點的該目標影像圖片與該等影像圖片，建構出呈現該手術目標點且與該實際手術對象對應的一三維虛擬影像； 該影像疊合模組判斷該顯示器顯示該影像擷取單元所拍攝之該實際手術對象的一實際手術對象影像時，將該三維虛擬影像疊合在該實際手術對象影像上而產生一呈現該手術目標點的疊合後影像，且令該顯示器顯示該疊合後影像； 該入刀路徑產生模組根據該疊合後影像上呈現的該手術目標點及該儲存單元儲存的該等影像圖片，於該疊合後影像上產生一對應於該實際手術對象的表面的一實際入刀點的虛擬入刀點，並使該虛擬入刀點與該手術目標點連成一直線，並令該顯示器顯示由該手術目標點朝該虛擬入刀點方向沿著該直線從該虛擬入刀點向外直線延伸的一入刀導引路徑。
  7. 如請求項6所述的資訊顯示裝置，其中，該三維虛擬影像包含與該實際手術對象對應的一第一三維虛擬影像和與該手術目標點對應的一第二三維虛擬影像，該影像疊合模組將該第一三維虛擬影像及該第二三維虛擬影像疊合在該實際手術對象影像上而產生呈現該手術目標點的該疊合後影像，且令該顯示器顯示該疊合後影像以顯示該手術目標點的實際位置。
  8. 如請求項6所述的資訊顯示裝置，其中，該處理器還包含一入刀偵測模組，該入刀偵測模組判斷該影像擷取單元拍攝到一手術器械，且判斷該手術器械的一尖端點與該虛擬入刀點是否相疊合、判斷該手術器械的一尖端點與該手術目標點是否相疊合、判斷該手術器械與該入刀導引路徑是否相疊合及/或判斷該手術器械的空間角度與該入刀導引路徑的空間角度是否相疊合，並根據判斷結果輸出一反饋訊息。
  9. 如請求項6所述的資訊顯示裝置，其中，該處理器還包含一入刀偵測模組，該入刀偵測模組判斷該影像擷取單元拍攝到一手術器械時，該入刀偵測模組即時產生與該手術器械對應的一虛擬手術器械，並根據該手術器械在空間中的位置，對應顯示該虛擬手術器械於該疊合後影像畫面中；且該入刀偵測模組判斷該虛擬手術器械的一尖端點與該虛擬入刀點是否相疊合、判斷該虛擬手術器械的一尖端點與該手術目標點是否相疊合、判斷該虛擬手術器械與該入刀導引路徑是否相疊合及/或判斷該虛擬手術器械的空間角度與該入刀導引路徑的空間角度是否相疊合，並根據判斷結果輸出一反饋訊息。
  10. 如請求項8或9所述的資訊顯示裝置，其中該反饋訊息包含影像反饋、聲音反饋、觸覺反饋至少其中之一，影像反饋包含產生顏色變化及出現新訊息至少其中之一，聲音反饋包含聲音提示，觸覺反饋是該處理器透過有線或無線方式傳送一反饋訊號至一穿戴式電子裝置，使該穿戴式電子裝置產生震動。
  11. 一種電腦可讀取的記錄媒體，其中儲存一包含一三維影像建構模組、一影像疊合模組及一入刀路徑產生模組的軟體程式，且該軟體程式被一電子裝置載入並執行時，該電子裝置能完成如請求項1和2其中任一項所述的手術路徑定位方法。
  12. 如請求項11所述的電腦可讀取的記錄媒體，其中該軟體程式還包含一入刀偵測模組，使得該軟體程式被該電子裝置載入並執行時，該電子裝置能完成如請求項3至5其中任一項所述的手術路徑定位方法。
  13. 一種特殊應用積體電路晶片，其中整合有一三維影像建構模組、一影像疊合模組及一入刀路徑產生模組，且該特殊應用積體電路晶片被應用於一電子裝置時，能使該電子裝置完成如請求項1和2其中任一項所述的手術路徑定位方法。
  14. 如請求項13所述的特殊應用積體電路晶片，其中還整合一入刀偵測模組，使得該特殊應用積體電路晶片被應用於一電子裝置時，能使該電子裝置完成如請求項3至5其中任一項所述的手術路徑定位方法。
TW109119432A 2020-06-10 2020-06-10 手術路徑定位方法、資訊顯示裝置、電腦可讀取的記錄媒體及特殊應用積體電路晶片 TWI790447B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW109119432A TWI790447B (zh) 2020-06-10 2020-06-10 手術路徑定位方法、資訊顯示裝置、電腦可讀取的記錄媒體及特殊應用積體電路晶片
CN202110129401.7A CN113768619B (zh) 2020-06-10 2021-01-29 路径定位方法、信息显示装置、存储介质及集成电路芯片
US17/217,419 US11806088B2 (en) 2020-06-10 2021-03-30 Method, system, computer program product and application-specific integrated circuit for guiding surgical instrument

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109119432A TWI790447B (zh) 2020-06-10 2020-06-10 手術路徑定位方法、資訊顯示裝置、電腦可讀取的記錄媒體及特殊應用積體電路晶片

Publications (2)

Publication Number Publication Date
TW202145970A TW202145970A (zh) 2021-12-16
TWI790447B true TWI790447B (zh) 2023-01-21

Family

ID=78824077

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109119432A TWI790447B (zh) 2020-06-10 2020-06-10 手術路徑定位方法、資訊顯示裝置、電腦可讀取的記錄媒體及特殊應用積體電路晶片

Country Status (2)

Country Link
US (1) US11806088B2 (zh)
TW (1) TWI790447B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022146996A1 (en) * 2020-12-30 2022-07-07 Intuitive Surgical Operations, Inc. Systems for updating a graphical user interface based upon intraoperative imaging

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102525660A (zh) * 2012-02-17 2012-07-04 南通爱普医疗器械有限公司 具有颅脑部病灶自动识别功能的手术导航仪
US9600138B2 (en) * 2013-03-15 2017-03-21 Synaptive Medical (Barbados) Inc. Planning, navigation and simulation systems and methods for minimally invasive therapy
CN106974730A (zh) * 2017-04-01 2017-07-25 上海术理智能科技有限公司 基于虚拟现实和医学影像的手术模拟方法、装置和设备
TW202000143A (zh) * 2018-06-26 2020-01-01 長庚醫療財團法人林口長庚紀念醫院 整合擴增實境之手術導航方法及系統
CN110650703A (zh) * 2017-05-05 2020-01-03 斯科皮斯有限公司 手术导航***

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2797302C (en) * 2010-04-28 2019-01-15 Ryerson University System and methods for intraoperative guidance feedback
US10643371B2 (en) * 2014-08-11 2020-05-05 Covidien Lp Treatment procedure planning system and method
CN111329554B (zh) * 2016-03-12 2021-01-05 P·K·朗 用于手术的装置与方法
JP7421488B2 (ja) * 2017-12-04 2024-01-24 コヴィディエン リミテッド パートナーシップ Ｃｔ画像からの自動切除アンテナセグメンテーション
WO2019245869A1 (en) * 2018-06-19 2019-12-26 Tornier, Inc. Closed-loop tool control for orthopedic surgical procedures
WO2021214750A1 (en) * 2020-04-19 2021-10-28 Xact Robotics Ltd. Data analysis based methods and systems for optimizing insertion of a medical instrument

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102525660A (zh) * 2012-02-17 2012-07-04 南通爱普医疗器械有限公司 具有颅脑部病灶自动识别功能的手术导航仪
US9600138B2 (en) * 2013-03-15 2017-03-21 Synaptive Medical (Barbados) Inc. Planning, navigation and simulation systems and methods for minimally invasive therapy
CN106974730A (zh) * 2017-04-01 2017-07-25 上海术理智能科技有限公司 基于虚拟现实和医学影像的手术模拟方法、装置和设备
CN110650703A (zh) * 2017-05-05 2020-01-03 斯科皮斯有限公司 手术导航***
TW202000143A (zh) * 2018-06-26 2020-01-01 長庚醫療財團法人林口長庚紀念醫院 整合擴增實境之手術導航方法及系統

Also Published As

Publication number Publication date
US11806088B2 (en) 2023-11-07
CN113768619A (zh) 2021-12-10
US20210386483A1 (en) 2021-12-16
TW202145970A (zh) 2021-12-16

Similar Documents

Publication Publication Date Title
RU2740259C2 (ru) Позиционирование датчика ультразвуковой визуализации
US20210030275A1 (en) System and method for remotely adjusting sound acquisition sensor parameters
JP4296278B2 (ja) 医療用コクピットシステム
TWI678181B (zh) 手術導引系統
US11297285B2 (en) Dental and medical loupe system for lighting control, streaming, and augmented reality assisted procedures
US8953837B2 (en) System and method for performing an automatic and self-guided medical examination
TW202103646A (zh) 用於遠距監督手術程序之擴增實境系統及方法
TWI741196B (zh) 整合擴增實境之手術導航方法及系統
US11822089B2 (en) Head wearable virtual image module for superimposing virtual image on real-time image
CN114667538A (zh) 用于在外科手术环境中使用的观看***
TWI790447B (zh) 手術路徑定位方法、資訊顯示裝置、電腦可讀取的記錄媒體及特殊應用積體電路晶片
JP2004024739A (ja) 眼底の立体表示および座標計測方法と装置
JP2011050583A (ja) 医療用診断装置
CN113768619B (zh) 路径定位方法、信息显示装置、存储介质及集成电路芯片
US20220096004A1 (en) System for visualizing patient stress
US10049480B2 (en) Image alignment device, method, and program
JP2018200733A (ja) 自動の及び遠隔の訓練された人によりガイドされる医学検査を行うためのシステム及び方法
JP7345866B2 (ja) 情報処理システム、情報処理方法及びプログラム
GB2611556A (en) Augmented reality ultrasound-control system for enabling remote direction of a user of ultrasound equipment by experienced practitioner
JP2024513991A (ja) トリガイベントに基づいて術野のディスプレイオーバーレイを変更するためのシステム及び方法
CN117461093A (zh) 基于触发事件来改变外科视野的显示叠加项的***和方法
JP2017102962A (ja) 自動の及び遠隔の訓練された人によりガイドされる医学検査を行うためのシステム及び方法