TWI785645B - 基於擴增實境的手術輔助方法 - Google Patents

基於擴增實境的手術輔助方法 Download PDF

Info

Publication number
TWI785645B
TWI785645B TW110121449A TW110121449A TWI785645B TW I785645 B TWI785645 B TW I785645B TW 110121449 A TW110121449 A TW 110121449A TW 110121449 A TW110121449 A TW 110121449A TW I785645 B TWI785645 B TW I785645B
Authority
TW
Taiwan
Prior art keywords
brain
feature
gyrus
target patient
graphic
Prior art date
Application number
TW110121449A
Other languages
English (en)
Other versions
TW202249031A (zh
Inventor
汪彥佑
謝書睿
黃瀞瑩
Original Assignee
承鋆生醫股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 承鋆生醫股份有限公司 filed Critical 承鋆生醫股份有限公司
Priority to TW110121449A priority Critical patent/TWI785645B/zh
Priority to US17/553,880 priority patent/US20220395328A1/en
Application granted granted Critical
Publication of TWI785645B publication Critical patent/TWI785645B/zh
Publication of TW202249031A publication Critical patent/TW202249031A/zh

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00681—Aspects not otherwise provided for
    • A61B2017/00725—Calibration or performance testing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/374—NMR or MRI

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Robotics (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Gynecology & Obstetrics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Prostheses (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一種基於擴增實境的手術輔助方法，包括以下步驟：將位置感測元件在目標患者開顱前設置於面部定位點，以取得目標患者開顱前的頭顱空間資訊及顱內空間資訊。根據頭顱空間資訊及顱內空間資訊定義出座標空間。取得目標患者開顱前的腦部解剖性影像並根據腦部解剖性影像建構三維圖形，三維圖形包括關聯於目標患者的面部定位點的圖形定位點及關聯於目標患者的腦迴特徵的特徵。定義出三維圖形與座標空間之間的相對位置關係，使面部定位點以及三維圖形的圖形定位點對位。利用探針取得目標患者開顱後的腦迴特徵在座標空間的空間位置，腦迴特徵做為校正基準點。根據三維圖形的特徵相對於校正基準點的座標差異而產生位移及旋轉參數。根據位移及旋轉參數調整三維圖形在顯示器上的位置及/或角度，使得顯示器顯示校正後的三維圖形。

Description

基於擴增實境的手術輔助方法
本發明是有關於一種手術輔助方法，且特別關於一種基於擴增實境的手術輔助方法。
開顱手術常引發開顱後腦偏移，可能的原因包含物理性因素、手術因素以及生物學因素，物理性因素如手術過程中患者姿勢及重力，手術因素如所使用之手術設備(例如：牽引器)及手術過程中體液與腦組織損失，生物學因素如腫瘤類型、位置及手術過程中使用之藥物。
在開顱手術中，一般會使用術前核磁共振影像搭配手術導航系統來引導手術的進行，但當發生腦偏移時，手術導航參考影像變得不再準確，因此增加醫生在執行手術時的困難。
本發明提供一種基於擴增實境的手術輔助方法，可解決開顱手術中因腦偏移而造成腦部及術前影像不匹配的問題。
為達上述目的，本發明提供一種基於擴增實境的手術輔助方法，包括以下步驟：步驟1：將一位置感測元件在一目標患者開顱前設置於一面部定位點，以取得該目標患者開顱前的一頭顱空間資訊及一顱內空間資訊，並根據該頭顱空間資訊及該顱內空間資訊定義出一座標空間。步驟2：取得該目標患者開顱前的一腦部解剖性影像並根據該腦部解剖性影像建構一三維圖形，該三維圖形包括關聯於該目標患者的該面部定位點的一圖形定位點及關聯於該目標患者的一腦迴特徵的一特徵。步驟3：定義出該三維 圖形與該座標空間之間的一相對位置關係，使該面部定位點以及該三維圖形的該圖形定位點對位，並在一擴增實境裝置的一顯示器顯示對位後的該三維圖形。步驟4：利用一探針取得該目標患者開顱後的該腦迴特徵在該座標空間的一空間位置，該腦迴特徵做為一校正基準點。步驟5：根據該三維圖形的該特徵相對於該校正基準點的一座標差異而產生一位移及旋轉參數。以及步驟6：根據該位移及旋轉參數調整該三維圖形在該顯示器上的位置及/或角度，使得該顯示器顯示校正後的該三維圖形。
為達上述目的，本發明還提供一種基於擴增實境的手術輔助方法，包括以下步驟：步驟1：將一位置感測元件在一目標患者開顱前設置於一面部定位點，以取得該目標患者開顱前的一頭顱及顱內空間資訊，並根據該頭顱及顱內空間資訊定義出一座標空間。步驟2：取得該目標患者開顱前的一腦部解剖性影像並根據該腦部解剖性影像建構一三維圖形，該三維圖形包括關聯於該目標患者的該面部定位點的一圖形定位點及關聯於該目標患者的一腦迴特徵的一特徵。步驟3：定義出該三維圖形以及該座標空間之間的一相對位置關係，使該面部定位點以及該三維圖形的該圖形定位點對位，並在一擴增實境裝置的一顯示器顯示對位後的該三維圖形。步驟4：擷取該目標患者開顱後的一腦部影像而產生一腦迴影像，該腦迴影像顯示於該顯示器，該腦迴影像包括一腦迴特徵點，該腦迴特徵點對應該目標患者腦部的該腦迴特徵。步驟5：計算該腦迴影像的該腦迴特徵點與該三維圖形的該特徵之間的一座標差異而產生一位移及旋轉參數。以及步驟6：根據該位移及旋轉參數調整該三維圖形在該顯示器上的位置及/或角度，使得該顯示器顯示的該三維圖形的該特徵重合於該腦迴影像的該腦迴特徵點。
為達上述目的，本發明更提供一種基於擴增實境的手術輔助方法，包括以下步驟：步驟1：將一位置感測元件在一目標患者開顱前設置於一面部定位點，以取得該目標患者開顱前的一頭顱及顱內空間資訊，並根據該頭顱及顱內空間資訊定義出一座標空間。步驟2：取得該目標患者開顱前的一腦部解剖性影像並根據該腦部解剖性影像建構一三維圖形，該三維圖形包括一關聯於該目標患者的該面部定位點的一圖形定位點及關聯於該目標患者的一腦迴特徵的一特徵。步驟3：定義出該三維圖形與該座標空間之間的一相對位置關係，使該面部定位點以及該三維圖形的該圖形定位點對位，並在該顯示器顯示對位後的該三維圖形。步驟4：擷取該目標患者開顱後的一腦部影像產生一腦迴影像及一深度影像資訊，該腦迴影像顯示於一擴增實境裝置的一顯示器，該腦迴影像包括一腦迴特徵點，該腦迴特徵點對應該目標患者腦部的該腦迴特徵。步驟5：根據該三維圖形建構一第一曲面網格，並根據該腦迴影像及該深度影像資訊建構一第二曲面網格，該第一曲面網格包括關聯於該目標患者的該腦迴特徵的該特徵，該第二曲面網格包括一關聯於該目標患者的該腦迴特徵的網格定位點。步驟6：計算該第一曲面網格以及該第二曲面網格的一差異並對該第一曲面網格進行一調整，使得該第一曲面網格的該特徵以及該第二曲面網格的該網格定位點之間具有一最小距離。以及步驟7：該顯示器顯示重合後的腦迴影像。
基於上述，本發明基於擴增實境的手術輔助方法及基於擴增實境的手術輔助方法，可以即時調整三維圖形，使顯示器可以顯示正確的影像。讓基於擴增實境的手術輔助系統可以即時、準確的提供正確的影像，例如可以用於輔助醫療、手術或操作器械等。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
10:系統
11:擴增實境裝置
11a:顯示器
11b:影像擷取裝置
11c:處理裝置
12:位置感測元件
20:目標患者
21:面部定位點
21a:第一面部定位點
21b:第二面部定位點
21c:第三面部定位點
21d:第四面部定位點
22a:第一腦迴特徵
22b:第二腦迴特徵
22c:第三腦迴特徵
22d:第四腦迴特徵
30:座標空間
40:腦部解剖性影像
40a:三圍圖形
41a:第一圖形定位點
41b:第二圖形定位點
41c:第三圖形定位點
41d:第四圖形定位點
42a:第一特徵
42b:第二特徵
42c:第三特徵
42d:第四特徵
50:探針
50a:第一曲面網格
50b:第二曲面網格
Da、Db、Dc、Dd:座標差異
100、200、300:方法
『圖1』，為根據本發明一實施例的方法流程圖。
『圖2』，為根據本發明一實施例的系統示意圖。
『圖3』，為根據本發明一實施例，將位置感測元件設置在目標患者的面部定位點的示意圖。
『圖4』，為根據本發明一實施例的座標空間的示意圖。
『圖5』，為根據本發明一實施例的腦部解剖性影像。
『圖6』，為根據本發明一實施例的三維圖形示意圖。
『圖7』，為根據本發明一實施例，目標患者的面部定位點及腦迴特徵的示意圖。
『圖8』，為根據本發明一實施例，三維圖形放置於座標空間的示意圖。
『圖9』，為根據本發明一實施例，利用探針偵測目標患者腦部實體的示意圖。
『圖10』，為根據本發明一實施例，顯示器顯示目標患者的三維圖形的示意圖。
『圖11』，為根據本發明另一實施例的方法流程圖。
『圖12』，為根據本發明又一實施例的方法流程圖。
『圖13A』及『圖13B』，為根據本發明一實施例，第一曲面網格及第二曲面網格的示意圖。
『圖14』，為根據本發明一實施例，第一曲面網格調整的示意圖。
有關本發明之前述及其他技術內容、特點與功效，在以下配合參考圖式之一較佳實施例的詳細說明中。
參閱『圖1』及『圖2』，『圖1』為根據本發明一實施例的方法流程圖，『圖2』為根據本發明一實施例的系統示意圖。『圖2』描述的系統10包括一擴增實境裝置11、一位置感測元件12，應用於一目標患者20，該擴增實境裝置11包括一顯示器11a、一影像擷取裝置11b以及一處理裝置11c，在本實施例中，該位置感測元件12為一用於手術導航中的定位元件，例如可為電磁感應式追蹤元件或光學追蹤元件。
本實施例以針對該目標患者20進行開顱手術做為舉例說明，該方法100包括下列步驟。
步驟S101，參閱『圖3』，在進行開顱前，將該位置感測元件12設置在該目標患者20的至少一面部定位點21，以取得該目標患者20開顱前的一頭顱空間資訊及一顱內空間資訊。該面部定位點21可以是在開顱手術之前，在該目標患者20頭部預先設定的特定位置，以進行後續資訊取得的作業，本實施例中，該面部定位點21包括一第一面部定位點21a、一第二面部定位點21b、一第三面部定位點21c以及一第四面部定位點21d。
該頭顱空間資訊舉例來說可為該目標患者20的顱骨尺寸、結構或輪廓等資訊，該顱內空間資訊舉例來說可為該目標患者20的顱腔內的尺寸、結構或輪廓等資訊。接著，利用該處理裝置11c根據該頭顱空間資訊及該顱內空間資訊定義出一座標空間30，如『圖4』所示。該座標空間30係對應於該目標患者20的顱內空間，也就是說，該面部定位點21係位於該座標空間30中的特定位置。
步驟S103，取得該目標患者20開顱前的一腦部解剖性影像40，如『圖5』所示。本實施例中，該腦部解剖性影像40為核磁共振成像(Nuclear Magnetic Resonance Imaging，NMRI)，而在其他實施例中，該腦部解剖性影像40也可為X射線影像、電腦斷層掃描(Computed Tomography)影像等。利用該處理裝置11c根據該腦部解剖性影像40建構一三維圖形40a，如『圖6』所示。該三維圖形40a可視為該目標患者20頭顱及顱內的一虛擬三維模型。根據該三維圖形40a中的影像特徵，將該目標患者20的該面部定位點21關聯至該三維圖形40a中的至少一圖形定位點，且將該目標患者20的至少一腦迴特徵關聯至該三維圖形40a中的至少一特徵，如『圖7』所示，本實施例中，該圖形定位點包括一第一圖形定位點41a、一第二圖形定位點41b、一第三圖形定位點41c以及一第四圖形定位點41d，該特徵包括一第一特徵42a、一第二特徵42b、一第三特徵42c以及一第四特徵42d。具體上來說，可將該三維圖形40a上的該圖形定位點標註為該目標患者20的該面部定位點，將該三維圖形40a中的該特徵標註為該目標患者20的該腦迴特徵。
本實施例採用由核磁共振成像產生的多切面核磁共振影像，經一體積渲染(volume rendering)而產生該三維圖形40a。
步驟S105，將該三維圖形40a放置於該座標空間30之中，如『圖8』所示，且以該面部定位點21為定位基準。詳細來說，使該座標空間30之中的該面部定位點21及該三維圖形40a的該圖形定位點對位，即讓該目標患者20的該虛擬三維模型以該座標空間30為參考坐標系。並在該擴增實境裝置11的該顯示器11a顯示對位後的該三維圖形40a。
步驟S107，當執行手術而在開顱狀態下時，利用一探針50偵測該目標患者20腦部實體，如『圖9』所示。取得在手術操作時該目標患者20腦 部的該腦迴特徵的位置。在一例子中，該腦迴特徵包括一第一腦迴特徵22a、一第二腦迴特徵22b、一第三腦迴特徵22c、以及一第四腦迴特徵22d，先取得該腦迴特徵在一預設坐標系中的一空間位置，該預設坐標系可能是基於該探針50而定義，接著將該預設坐標系轉換成該座標空間30，以取得該腦迴特徵在該座標空間30中的位置。其中，該腦迴特徵係定義為一校正基準點。
步驟S109，由於開顱後因腦脊髓液流失、腦壓改變或重力等因素，會造成腦部在開顱後相較於開顱前發生位移及變形，因此該目標患者20腦部的該腦迴特徵和該三維圖形40a的該特徵之間存在一空間中的不匹配(spatial mismatch)。為消除該不匹配，係根據該三維圖形40a的該特徵相對於該校正基準點的在空間中的座標差異產生一位移及旋轉參數。該特徵代表該三維圖形40a中關聯於該目標患者20的該腦迴特徵的定位點，而該校正基準點是透過該探針50取得該目標患者20開顱後的該腦迴特徵的空間位置。透過該座標差異產生的該位移及旋轉參數包括該特徵與該校正基準點的座標差異。藉此，透過計算該特徵與該校正基準點的座標差異可以用於該三維圖形40a後續的定位校正。
步驟S111，根據該位移及旋轉參數調整該三維圖形40a在該顯示器11a上的位置及/或角度，使得該顯示器11a顯示校正後的該三維圖形40a，如『圖10』所示，顯示校正前後之差異示意圖，其中，Da表示該第一腦迴特徵22a以及該第一特徵42a之間的座標差異，Db表示該第二腦迴特徵22b以及該第二特徵42b之間的座標差異，Dc表示該第三腦迴特徵22c以及該第三特徵42c之間的座標差異，Dd表示該第四腦迴特徵22d以及該第四特徵42d之間 的座標差異。藉此，在醫療手術中，該基於擴增實境的手術輔助系統10可以即時校正該三維圖形40a，以使該顯示器11a可以顯示正確的影像。
參照『圖11』，是本發明另一實施例的方法流程圖。本實施例的方法200中，步驟S201至步驟S205與前述的步驟S101至步驟S105相同。本實施例中，步驟S205後進行步驟S207，當執行手術而在開顱狀態下時，利用一成像儀器擷取該目標患者20開顱後的一腦部影像，該腦部影像包括一腦迴影像，該成像儀器舉例來說可為一手術顯微鏡。藉此取得在手術操作時該目標患者20腦部的該腦迴特徵的位置。在一例子中，先取得該腦迴特徵在一預設坐標系中的一空間位置，該預設坐標系可能是基於該成像儀器而定義，接著將該預設坐標系轉換成該座標空間30，以取得該腦迴特徵在該座標空間30中的位置。其中，該腦迴特徵係定義為一校正基準點。
該腦迴影像顯示於該顯示器11a。藉此，使用者可以在該顯示器11a上看到該影像擷取裝置11b擷取的該腦迴影像。在本實施例中，該腦迴影像包括一腦迴特徵點，該腦迴特徵點對應該目標患者20腦部的該腦迴特徵。
在步驟S209中，計算該腦迴影像的該腦迴特徵點與該三維圖形40a的該特徵之間的一座標差異而產生一位移及旋轉參數。該特徵代表該三維圖形中關聯於該目標患者的該腦迴特徵的定位點，而該腦迴特徵點是透過該影像擷取裝置11b擷取該目標患者20開顱後的該腦迴影像的特徵點。透過該座標差異產生的該位移及旋轉參數包括了該特徵與該腦迴特徵點的座標差異。藉此，透過計算該特徵與該腦迴特徵點的座標差異可以用於該三維圖形40a後續的定位校正。
接著，進行步驟S211，根據該位移及旋轉參數調整該三維圖形40a在該顯示器11a上的位置及/或角度，使得該顯示器11a顯示的該三維圖形40a 的該特徵重合於該腦迴影像的該腦迴特徵點。前述各種感測、控制及/或計算可以該處理裝置11c來實現。藉此，在醫療手術中，該基於擴增實境的手術輔助系統10可以即時校正該三維圖形40a，以使該顯示器11a可以顯示正確的影像。
參照『圖12』，是本發明又一實施例的方法流程圖。本實施例的方法300中，步驟S301至步驟S305與前述的步驟S101至步驟S105相同。本實施例中，步驟S305後進行步驟S307，手術中在對患者進行開顱後，擷取該目標患者20開顱後的一腦部影像產生一腦迴影像及一深度影像資訊。
在本實施例中，該腦部影像的擷取例如可以多相機系統的立體重建(multi-camera reconstruction)技術來實現；該腦部影像的擷取例如可以相機與紅外線相機組成的深度攝影機(depth camera)來實現；或該腦部影像的擷取例如也可以利用相機投影機搭配結構光投影重建(camera-projector system with structured light)來實現。藉此，擷取的該腦部影像包括的該深度影像資訊可以具有腦迴的深度資訊。
該腦迴影像顯示於該擴增實境裝置11的該顯示器11a。藉此，使用者可以在該顯示器11a上看到該影像擷取裝置11b擷取的該腦迴影像。在本實施例中，該腦迴影像包括一腦迴特徵點，該腦迴特徵點對應該目標患者20腦部的該腦迴特徵。
接著，請參照『圖13A』及圖『圖13B』，在步驟S309，根據該三維圖形40a建構一第一曲面網格50a，並根據該腦迴影像及該深度影像資訊建構一第二曲面網格50b。該第一曲面網格50a包括關聯於該目標患者20的該腦迴特徵的該特徵，該第二曲面網格50b包括關聯於該目標患者20的該腦迴特徵的一網格定位點。
接著，請參照『圖14』，在步驟S311中，計算該第一曲面網格50a以及該第二曲面網格50b之間的一差異。接著對該第一曲面網格50a進行一調整，使得該第一曲面網格50a的該特徵以及該第二曲面網格50b的該網格定位點之間具有一最小距離。即透過該特徵及該網格定位點進行該三維圖形40a的校正。
詳細來說，該特徵代表該三維圖形40a中關聯於該目標患者20的該腦迴特徵的定位點，而該網格定位點是透過該影像擷取裝置11b擷取該目標患者20開顱後的該腦迴影像的特徵點。藉此，透過計算該特徵與該網格定位點的差異可以用於該三維圖形40a後續的定位校正。
接著，在步驟S313中，該顯示器11a顯示重合後的該腦迴影像。前述各種感測、控制及/或計算可以該處理裝置11c來實現。藉此，在醫療手術中，該基於擴增實境的手術輔助系統10可以即時校正該三維圖形40a及該腦迴影像，以使該顯示器11a可以顯示正確的影像。
此外，該系統10還可以包括一實體的工件，而該三維圖形40a還可以包括一工件圖形。該工件圖形即是該三維圖形40a中對應該工件的一三維立體圖形，透過該工件圖形可以輔助醫療手術的進行。舉例而言，該系統10可以在該顯示器11a預先顯示該工件圖形的位置，以指示接下來可能的醫療過程，提供醫療人員參考。
此外，該工件可以包括位置感測元件，該些位置感測元件可以提供空間中位置、方向及角度的資訊，該處理裝置11c可以根據該位置感測元件產生的位置訊號產生該工件圖形，該些位置感測元件可以任何可能的定位、位移之感測器來實現。在一實施例中，該工件以一手術刀作為舉例說明，但本發明並不以此為限制，亦不限制該工件的數目。在本發明的其他 實施例中，該工件例如可以包括至少一個特徵點，而該系統10是透過該工件的特徵點來產生該工件圖形，該工件的特徵點的操作原理與細節可與前述該目標患者20的腦迴特徵相似，在此並不再贅述。
在本實施例中，該三維圖形40a例如還可以包括至少一指示圖形。舉例來說，該指示圖形可以對應一醫療程序，以輔助醫療的進行，透過該指示圖形的設置，可以輔助醫療手術的進行。舉例而言，該指示圖形可以是指示下一步動刀的位置。
綜上所述，本發明基於擴增實境的手術輔助方法，利用開顱後取得位移及旋轉參數，進而調整顯示在擴增實境裝置的顯示器顯示的三維圖形，讓三維圖形和目標患者腦部的特徵彼此對位，確保顯示器中的三維圖形和目標患者腦部相匹配；或者調整根據三維圖形建構的第一曲面網格以及根據腦迴影像和深度影像資訊建構的第二曲面網格之間的差異，讓醫生能精準定位病兆。因而即時、準確地提供正確的影像，可以用於輔助醫療、手術或操作器械等方面。
S101、S103、S105、S107、S109、S111:步驟

Claims (6)

  1. 一種基於擴增實境的手術輔助方法，包括以下步驟：步驟1：將一位置感測元件在一目標患者開顱前設置於一面部定位點，以取得該目標患者開顱前的一頭顱空間資訊及一顱內空間資訊，並根據該頭顱空間資訊及該顱內空間資訊定義出一座標空間；步驟2：取得該目標患者開顱前的一腦部解剖性影像並根據該腦部解剖性影像建構一三維圖形，該三維圖形包括關聯於該目標患者的該面部定位點的一圖形定位點及關聯於該目標患者的一腦迴特徵的一特徵；步驟3：將該三維圖形放置於該座標空間之中，且使該面部定位點以及該三維圖形的該圖形定位點對位，並在一擴增實境裝置的一顯示器顯示對位後的該三維圖形；步驟4：利用一探針取得該目標患者開顱後的該腦迴特徵在該座標空間的一空間位置，該腦迴特徵做為一校正基準點；步驟5：根據該三維圖形的該特徵相對於該校正基準點的一座標差異而產生一位移及旋轉參數；以及步驟6：根據該位移及旋轉參數調整該三維圖形在該顯示器上的位置及/或角度，使得該顯示器顯示校正後的該三維圖形。
  2. 一種基於擴增實境的手術輔助方法，包括以下步驟：步驟1：將一位置感測元件在一目標患者開顱前設置於一面部定位點，以取得該目標患者開顱前的一頭顱及顱內空間資訊，並根據該頭顱及顱內空間資訊定義出一座標空間； 步驟2：取得該目標患者開顱前的一腦部解剖性影像並根據該腦部解剖性影像建構一三維圖形，該三維圖形包括關聯於該目標患者的該面部定位點的一圖形定位點及關聯於該目標患者的一腦迴特徵的一特徵；步驟3：定義出該三維圖形以及該座標空間之間的一相對位置關係，使該面部定位點以及該三維圖形的該圖形定位點對位，並在一擴增實境裝置的一顯示器顯示對位後的該三維圖形；步驟4：擷取該目標患者開顱後的一腦部影像而產生一腦迴影像，該腦迴影像顯示於該顯示器，該腦迴影像包括一腦迴特徵點，該腦迴特徵點對應該目標患者腦部的該腦迴特徵；步驟5：計算該腦迴影像的該腦迴特徵點與該三維圖形的該特徵之間的一座標差異而產生一位移及旋轉參數；以及步驟6：根據該位移及旋轉參數調整該三維圖形在該顯示器上的位置及/或角度，使得該顯示器顯示的該三維圖形的該特徵重合於該腦迴影像的該腦迴特徵點。
  3. 一種基於擴增實境的手術輔助方法，包括以下步驟：步驟1：將一位置感測元件在一目標患者開顱前設置於一面部定位點，以取得該目標患者開顱前的一頭顱及顱內空間資訊，並根據該頭顱及顱內空間資訊定義出一座標空間；步驟2：取得該目標患者開顱前的一腦部解剖性影像並根據該腦部解剖性影像建構一三維圖形，該三維圖形包括關聯於該目標患者的該面部定位點的一圖形定位點及關聯於該目標患者的一腦迴特徵的一特徵； 步驟3：定義出該三維圖形與該座標空間之間的一相對位置關係，使該面部定位點以及該三維圖形的該圖形定位點對位，並在該顯示器顯示對位後的該三維圖形；步驟4：擷取該目標患者開顱後的一腦部影像而產生一腦迴影像及一深度影像資訊，該腦迴影像顯示於一擴增實境裝置的一顯示器，該腦迴影像包括一腦迴特徵點，該腦迴特徵點對應該目標患者腦部的該腦迴特徵；步驟5：根據該三維圖形建構一第一曲面網格，並根據該腦迴影像及該深度影像資訊建構一第二曲面網格，該第一曲面網格包括關聯於該目標患者的該腦迴特徵的該特徵，該第二曲面網格包括一關聯於該目標患者的該腦迴特徵的網格定位點；步驟6：計算該第一曲面網格以及該第二曲面網格的一差異並對該第一曲面網格進行一調整，使得該第一曲面網格的該特徵以及該第二曲面網格的該網格定位點之間具有一最小距離；以及步驟7：該顯示器顯示重合後的腦迴影像。
  4. 如請求項1至3項中任一項所述的手術輔助方法，其中該三維圖形由多個切面核磁共振影像經一體積渲染(volume rendering)而產生，該些切面核磁共振影像由一核磁共振成像(Nuclear Magnetic Resonance Imaging，NMRI)裝置偵測該目標物而產生。
  5. 如請求項1至3項中任一項所述的手術輔助方法，其中該三維圖形還包括一工件圖形，該工件圖形對應一工件，該工件包括至少一位置感測元件，該處理器根據該至少一位置感測元件產生的至少一位置訊號產生該工件圖形。
  6. 如請求項1至3項中任一項所述的手術輔助方法，其中該三維圖形還包括至少一指示圖形，該指示圖形對應一醫療程序。
TW110121449A 2021-06-11 2021-06-11 基於擴增實境的手術輔助方法 TWI785645B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW110121449A TWI785645B (zh) 2021-06-11 2021-06-11 基於擴增實境的手術輔助方法
US17/553,880 US20220395328A1 (en) 2021-06-11 2021-12-17 Augmented reality-assisted method for performing surgery

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW110121449A TWI785645B (zh) 2021-06-11 2021-06-11 基於擴增實境的手術輔助方法

Publications (2)

Publication Number Publication Date
TWI785645B true TWI785645B (zh) 2022-12-01
TW202249031A TW202249031A (zh) 2022-12-16

Family

ID=84391058

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110121449A TWI785645B (zh) 2021-06-11 2021-06-11 基於擴增實境的手術輔助方法

Country Status (2)

Country Link
US (1) US20220395328A1 (zh)
TW (1) TWI785645B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7483557B2 (en) * 2003-09-30 2009-01-27 Kabushiki Kaisha Toshiba Medical imaging communication system, method and software
TW201622660A (zh) * 2014-08-19 2016-07-01 陳階曉 判定手術部位中探針位置之方法與系統
TW201944954A (zh) * 2018-04-30 2019-12-01 長庚大學 手術導引系統

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6959215B2 (en) * 2002-12-09 2005-10-25 Northstar Neuroscience, Inc. Methods for treating essential tremor
WO2018067794A1 (en) * 2016-10-05 2018-04-12 Nuvasive, Inc. Surgical navigation system and related methods
US11348257B2 (en) * 2018-01-29 2022-05-31 Philipp K. Lang Augmented reality guidance for orthopedic and other surgical procedures

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7483557B2 (en) * 2003-09-30 2009-01-27 Kabushiki Kaisha Toshiba Medical imaging communication system, method and software
TW201622660A (zh) * 2014-08-19 2016-07-01 陳階曉 判定手術部位中探針位置之方法與系統
TW201944954A (zh) * 2018-04-30 2019-12-01 長庚大學 手術導引系統

Also Published As

Publication number Publication date
TW202249031A (zh) 2022-12-16
US20220395328A1 (en) 2022-12-15

Similar Documents

Publication Publication Date Title
US8463360B2 (en) Surgery support device, surgery support method, and computer readable recording medium storing surgery support program
TWI741359B (zh) 與手術導航系統整合之混合實境系統
JP6334821B2 (ja) 医用イメージングのために患者をポジショニングするためのガイドシステム
JP5238693B2 (ja) 電磁又は音響カテーテルの較正及びトラッキングを向上させる装置
JP5476036B2 (ja) 網膜投影型ヘッドマウントディスプレイ装置を用いた手術ナビゲーションシステムおよびシミュレーションイメージの重ね合わせ方法
CN105520716B (zh) 荧光镜图像的实时模拟
WO2018010040A1 (zh) 影像增强真实度的方法与应用该方法在可穿戴式眼镜的手术导引
KR20180019402A (ko) 정위수술용 수술로봇 시스템 및 정위수술용 로봇의 제어방법
JP6475324B2 (ja) オプティカルトラッキングシステム及びオプティカルトラッキングシステムの座標系整合方法
JP2002186603A (ja) 対象物の案内のための座標変換法
KR20190078853A (ko) 레이저 표적 투영장치 및 그 제어방법, 레이저 표적 투영장치를 포함하는 레이저 수술 유도 시스템
JP2015083040A (ja) 画像処理装置、方法、及びプログラム
IL258585A (en) Improving anatomical image registration with a coordinate locating system based on visual proximity to bone tissue
JP2009500069A (ja) 脳病変の位置把握方法
CN106175931B (zh) 荧光镜视场的标记
US11160610B2 (en) Systems and methods for soft tissue navigation
CN110478042B (zh) 一种基于人工智能技术的介入手术导航装置
TWI785645B (zh) 基於擴增實境的手術輔助方法
JP6605212B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2015529529A (ja) ***ｍｒ画像及び放射性マーカーに基づく***外科誘導
CN116019571A (zh) 用于在手术期间定位患者身体并跟踪患者位置的装置和方法
GB2614025A (en) Surgery guidance system
JP6392190B2 (ja) 画像位置合せ装置、画像位置合せ装置の作動方法およびプログラム
JP7495216B2 (ja) 鏡視下手術支援装置、鏡視下手術支援方法、及びプログラム
JP2022548063A (ja) 画像診断中に胎児内臓位を測定するための技術