TWI595437B - 術中追蹤方法 - Google Patents

術中追蹤方法 Download PDF

Info

Publication number
TWI595437B
TWI595437B TW105117536A TW105117536A TWI595437B TW I595437 B TWI595437 B TW I595437B TW 105117536 A TW105117536 A TW 105117536A TW 105117536 A TW105117536 A TW 105117536A TW I595437 B TWI595437 B TW I595437B
Authority
TW
Taiwan
Prior art keywords
patient
dimensional image
dimensional model
coordinate system
dimensional
Prior art date
Application number
TW105117536A
Other languages
English (en)
Other versions
TW201705078A (zh
Inventor
陳階曉
王冠茹
Original Assignee
鈦隼生物科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 鈦隼生物科技股份有限公司 filed Critical 鈦隼生物科技股份有限公司
Publication of TW201705078A publication Critical patent/TW201705078A/zh
Application granted granted Critical
Publication of TWI595437B publication Critical patent/TWI595437B/zh

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Robotics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Prostheses (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Electrotherapy Devices (AREA)

Description

術中追蹤方法 【相關申請案】
本案主張2015年6月5日提申、發明名稱為「腦部導航方法」之第62/171,245號美國臨時申請案的優先權。在此參照併入上述臨時申請案以及任何相關附件。
本發明係與術中追蹤方法有關，特別是關於判定手術路徑之方法。
腦瘤、帕金森氏症、癲癇等常見腦部疾病不只大幅降低病患的生活品質，有時亦會直接危及病患生命。此類病患在經過藥物或物理治療等保守性治療後，若無法改善症狀，通常會以侵入性手術來進行治療。
一般而言，外科醫生會基於特定術前資料規劃到達目標手術部位的手術路徑。然而，由於術前資料蒐集之後幾項變動因素，可能需要修改預先規劃的手術路徑。該等變動因素包含病患在手術台上的位置改變、病患生理狀況改變或手術器具本身的***。偏離術前規劃路徑經常導致併發症或死亡率提高。
本發明之一具體實施例揭露一種基於一預先規劃手術路 徑判定一病患之一實際手術路徑之方法。該方法包含：擷取與一第一時間點蒐集之資訊有關的該病患之一第一二維影像；以一第一修改參數值組修改包含該預先規劃手術路徑的該病患之一三維模型；自該經修改之三維模型擷取一第二二維影像；以及計算該第一二維影像與該第二二維影像之間的一第一相關性。一第一座標系統可說明該病患與手術房中一裝置之間的一空間關係。一第二座標系統可說明該三維模型，該三維模型可由比該第一時間點更早之一第二時間點蒐集之資訊建構而成。當該第一相關性超過一閾值時，該方法進一步包含：基於該第一修改參數值組將該第二座標系統中的該預先規劃手術路徑轉換至該第一座標系統，藉此辨識該實際手術路徑。
本發明之另一具體實施例揭露一種非暫態電腦可讀取儲存媒體。該非暫態電腦可讀取儲存媒體可包含一組可執行指令。當該組可執行指令由一或多個手術系統中一者之一處理器執行時，該處理器係用以：擷取與一第一時間點蒐集之資訊有關的該病患之一第一二維影像；以一第一修改參數值組修改包含該預先規劃手術路徑的該病患之一三維模型；自該經修改之三維模型擷取一第二二維影像；以及計算該第一二維影像與該第二二維影像之間的一第一相關性。一第一座標系統可說明該病患與手術房中一裝置之間的一空間關係。一第二座標系統可說明該三維模型，該三維模型可由比該第一時間點更早之一第二時間點蒐集之資訊建構而成。當該第一相關性超過一閾值時，該處理器係用以基於該第一修改參數值組將該第二座標系統中的該預先規劃手術路徑轉換至該第一座標系統，藉此辨識該實際手術路 徑。
本發明之其他具體實施例揭露一種用以基於一預先規劃手術路徑判定一病患之一實際手術路徑之手術系統。該手術系統可包含一儲存系統、一機械手臂、一影像蒐集裝置以及一處理器。該處理器可用以：自該儲存系統中擷取與該影像蒐集裝置在一第一時間點蒐集之資訊有關的該病患之一第一二維影像；以一第一修改參數值組修改包含該預先規劃手術路徑的該病患之一三維模型；自該儲存系統中該經修改之三維模型擷取一第二二維影像；以及計算該第一二維影像與該第二二維影像之間的一第一相關性。一第一座標系統可說明該病患與該機械手臂之間的一空間關係。一第二座標系統可說明該三維模型，其由比該第一時間點更早之一第二時間點蒐集之資訊建構而成。當該第一相關性超過一閾值時，該處理器係用以：基於該第一修改參數值組將該第二座標系統中的該預先規劃路徑轉換至該第一座標系統，藉此辨識該實際手術路徑；以及基於該實際手術路徑指示該機械手臂進行手術。
上述發明內容僅作為說明之用而非用以限制本發明。除前述各方面、具體實施例與特徵，本發明其他方面、具體實施例與特徵依據以下詳細說明以及參照附隨的圖式將更趨於明瞭。
100‧‧‧手術導引定位系統
102‧‧‧術前資訊蒐集裝置
104‧‧‧術中資訊蒐集裝置
106‧‧‧運算裝置
108‧‧‧手術器具
116‧‧‧機械手臂
120‧‧‧三維影像
130‧‧‧手術路徑
140‧‧‧手術進入點
150‧‧‧目標手術部位
200‧‧‧方法
210-290‧‧‧步驟
301‧‧‧二維影像
302‧‧‧三維模型
302’‧‧‧醫療掃描影像
303‧‧‧投影
304‧‧‧投影
305‧‧‧影像
306‧‧‧影像
311‧‧‧右眼
312‧‧‧臉頰曲線
313‧‧‧鼻子
314‧‧‧嘴巴
315‧‧‧第一感興趣區域
321‧‧‧右眼
322‧‧‧臉頰曲線
323‧‧‧鼻子
324‧‧‧嘴巴
331‧‧‧右眼
332‧‧‧臉頰曲線
333‧‧‧鼻子
334‧‧‧嘴巴
335‧‧‧第二感興趣區域
341‧‧‧右眼
342‧‧‧臉頰曲線
343‧‧‧鼻子
344‧‧‧嘴巴
345‧‧‧第二感興趣區域
360‧‧‧手術路徑
361‧‧‧手術進入點
362‧‧‧目標手術部位
371‧‧‧手術進入點
372‧‧‧目標手術部位
380‧‧‧第二座標系統
380’‧‧‧第一座標系統
400‧‧‧電腦程式產品
402‧‧‧訊號承載媒體
404‧‧‧可執行指令
406‧‧‧通訊媒體
408‧‧‧非暫態電腦可讀取媒體
410‧‧‧可記錄媒體
第一A圖為顯示手術期間可能碰到的幾個點之間的空間關係例示圖。
第一B圖為顯示一種手術導引定位系統的配置之例示方塊圖。
第二圖為說明一種判定一手術路徑之例示方法的流程圖。
第三A圖顯示與一第一時間點蒐集之資訊有關的一例示二維影像。
第三B圖顯示基於一第二時間點蒐集之資料建構的一例示三維模型。
第三C圖顯示以一第一修改參數值組修改的經修改之三維模型之例示投影。
第三D圖顯示以一第二修改參數值組修改的經修改之三維模型之例示投影。
第三E圖顯示經邊緣偵測處理之一例示影像。
第三F圖顯示經邊緣偵測處理之另一例示影像。
第四圖為說明用以實施一種判定一實際手術路徑之方法之電腦程式產品的方塊圖，皆根據本發明一些具體實施例配置。
以下將參照說明書所附圖式予以詳細說明。除非文中另有說明，否則圖式中類似符號通常代表類似元件。以下描述之具體實施例、圖式與申請專利範圍係作為說明之用而非限制本發明。在不脫離本發明之精神和範圍內，當可使用其他具體實施例並為其他更動。應了解，此處概述及圖示說明之本發明各方面可配置、替換、組合與設計成各種不同型態，該等型態仍屬本發明所保護之技術範疇。
本發明是特別針對基於在兩個不同空間與兩個不同時間點蒐集之兩組影像判定術中手術路徑的相關方法、裝置與系統。在本 說明書中，「投影」通常是指把三維的點映射至一二維平面的方法。「手術路徑」可指包含一手術進入點、一目標手術部位以及前述兩者之間一條路線的路徑。在本說明書中，「手術操作」與「手術」可互換使用。
第一A圖為顯示手術期間可能碰到的幾個點之間的空間關係例示圖，根據本發明一些具體實施例配置。在一三維影像120中，一手術路徑130包含一手術進入點140以及一目標手術部位150。
第一B圖為顯示一種手術導引定位系統100的配置之例示方塊圖，根據本發明一些具體實施例配置。手術導引定位系統100主要包含一術前資訊蒐集裝置102、一術中資訊蒐集裝置104、一運算裝置106以及包含一機械手臂116之一手術器具108。該等方塊僅為例示，在不影響所揭露具體實施例要點的前提下，其中一些方塊可視需要而選擇、合併成較少的方塊或擴增為額外的方塊。
術前資訊蒐集裝置102係用以在手術操作開始前蒐集待手術部位(例如，腦部特定部位)的整體資訊。在一些具體實施例中，可透過電腦斷層掃描(Computed Tomography，CT)、核磁共振成像(Magnetic resonance imaging，MRI)、表面掃描、X光(X-ray)掃描、超音波掃描等方式取得該整體資訊。基於這些裝置的尺寸考量以及醫院管理的觀點，術前資訊蒐集裝置通常放在實際進行手術操作的手術房以外的空間。藉由此待手術部位之整體資訊(例如，腦部的顱內解剖結構(Intracranial Anatomy)、目標或病變的位置(Lesion Location)、表面位置的標的或是表面解剖結構(Surface Anatomy))， 外科醫生可在手術操作開始前規劃一手術路徑。
術中資訊蒐集裝置104係用以在緊臨手術房中進行外科切開術前，蒐集病患手術部位周圍的表面解剖資訊。術中資訊蒐集裝置104的示例可包含但不限於相機、紅外線相機、X光模組、超音波掃描器及其他裝置。當病患在手術房的手術台上，術中資訊蒐集裝置104可蒐集病患的表面解剖資訊。
運算裝置106可用以(1)處理術前資訊蒐集裝置102所蒐集的資訊；(2)處理術中資訊蒐集裝置104所蒐集的資訊；及/或(3)基於經處理的資訊判定一手術路徑。更多細節於下列段落提供。
手術器具108可包含用以進行手術之一機械手臂116。手術器具108係用以從運算裝置106接收與經判定之手術路徑有關的資訊。所接收的資訊可包含機械手臂116可辨識的一些座標資料與向量。換句話說，機械手臂116可根據座標資料與向量進行手術。
第二圖為說明本發明一些具體實施例之一種判定一手術路徑之例示方法200的流程圖。方法200可包含可以硬體、軟體及/或韌體執行的一或多個操作、功能或動作，如圖中繪示的步驟210、220、230、240、250、260、270、280及/或290。該等步驟並非用以限制所描述的具體實施例。列出的步驟與操作僅為例示，在不影響所揭露具體實施例要點的前提下，其中一些步驟與操作可視需要而選擇、合併成較少的步驟與操作或擴增為額外的步驟與操作。儘管圖中步驟是依序說明，該等步驟亦可並行執行及/或以不同於圖中順序之次序執行。
方法200的進行可始自步驟210：「擷取與一第一時間點蒐集之資訊有關的第一二維影像」。在一些具體實施例中，所蒐集的資訊可對應該病患的表面解剖資訊，而該第一時間點可對應緊鄰外科切開術進行前的時間。例示第一時間點可包含但不限於手術當日早晨、病患在手術房中手術台上時，以及前述兩者間的任何時間點。此外，第一二維影像可為相機(如紅外線相機)拍攝之照片。例如，腦部手術過程中，相機可用以於緊臨手術房中病患頭部進行外科切開術之前，拍攝一張病患頭部的照片。相機可固定在手術房中一固定裝置(如機械手臂)，使相機與病患在手術房中維持固定不變的關係。在一些具體實施例中，相機可以在機械手臂移動時從不同位置拍攝照片。每一位置可對應一特定照片。在一些具體實施例中，一第一座標系統可用於界定病患的表面解剖部位(如鼻子、眼腈、其他臉部特徵)與手術房中機械手臂之間的空間關係。
在步驟210之後為步驟220：「基於一第二時間點蒐集之資訊建構三維模型」。進行手術操作前，可使用一些醫療影像技術拍攝病患症狀的相片，藉此擬訂手術計畫。假定手術部位是病患腦部。外科醫生可指示對腦部進行醫療影像掃描(如CT或MRI)。此種醫療影像掃描可在手術前三到五天進行。可利用一些已知的方法基於前述醫療掃描資料建構一三維模型。一第二座標系統可用於界定預先規劃手術路徑與病患特定解剖部位之間的空間關係。
在步驟220之後為步驟230：「選擇三維模型之修改參數值(n)」。步驟220中所建構的三維模型可以一些修改參數值修 改。例示修改參數可包含但不限於一縮放比例、一旋轉度數以及一平移向量。這些修改參數可用於修改三維模型，藉此在緊臨手術進行前更適切地反映病人情況。為找到最佳修改參數值組，在一些具體實施例中，可獲得N組修改參數值組。在此，n可為介於1與N之間的整數。不過，熟悉發明所屬領域技藝之人士明白，運用任何其他技術上可行之方法執行疊代並未超出本發明範圍。
在一示例中，所建構的三維模型可以一笛卡兒座標系統表示。縮放比例是指笛卡兒座標系統中每一軸線性尺寸之比例常數。同樣地，旋轉度數可指繞著笛卡兒座標系統中一特定軸之旋轉角度。平移向量可指笛卡兒座標系統中一移動向量。
在步驟230後為步驟240：「n=N？」。若n不等於N，則步驟240之後接以步驟250，其中n以1遞增。另一方面，若n等於N，則步驟240之後接以步驟280：「選擇所得相關性超過閾值之最佳修改參數值組」，因為已經完成所有使用N組修改參數值組的相關性運算。若使用N組修改參數值組所得的相關性運算結果皆未超過閾值，方法200可重設n，並回到步驟230選擇三維模型中先前疊代未曾選過的一組新的修改參數值組(n)。
在步驟260，一第二二維影像可為以所選擇的修改參數值組(n)修改之三維模型之投影。換句話說，第二二維影像可對應一特定修改參數值組。可用任何技術上可行的方法進行投影，例如平行投影、正投影、透視投影等。在步驟260擷取之第二二維影像可與在步驟210擷取之第一二維影像作比較，接著方法進行至步驟270： 「計算並儲存相關性」。
在步驟270，在一些具體實施例中，計算並儲存第一二維影像之一第一感興趣區域與第二二維影像之一第二感興趣區域之間的相關性。可根據第一二維影像與第二二維影像的輪廓特徵分別選擇第一感興趣區域與第二感興趣區域。可基於歷史資料或外科醫師的經驗進行選擇。可藉由一些已知的方法計算相關性。例如，可以下列方程式1計算相關性corr：
其中：N是第一感興趣區域中點的數量；P1為包含第二二維影像資料之索引數組；P2為包含第一二維影像資料之索引數組；k1為包含P1相關性待計算之區域中連續像素之連續i個值的索引數組；而k2為包含P2相關性待計算之區域中連續像素之連續i個值的索引數組。
由於有不同修改參數值組，在步驟270中計算並儲存個別的對應相關性。
在一些具體實施例中，對第一二維影像與第二二維影像進行邊緣偵測。對於第一二維影像與第二二維影像經邊緣偵測後產生的影像，可計算兩者之間的相關性。例示邊緣偵測方法可包含但不限 於Canny邊緣偵測法、一階邊緣偵測法以及二階邊緣偵測法。
在將步驟230、240、250、260及270疊代N次之後，以N組修改參數值組修改三維模型。由於有N個經修改之三維模型，則接著擷取N個第二二維影像並將之用於上述相關性運算。方法200接著可進行步驟280：「選擇所得相關性超過閾值之最佳修改參數值組」。為判定第一二維影像與第二二維影像是否顯著相關，設定一閾值。可基於一些歷史資料(如從動物試驗或其他病患蒐集到的資料)決定閾值。或者，可基於外科醫師的經驗決定閾值。任何所儲存、超過閾值之相關性表示第一感興趣區域與第二感興趣區域的確對應病患的相同解剖部位。在一具體實施例中，在所儲存、超過閾值之相關性中，將所得相關性最大的修改參數值組選為最佳修改參數值組。
在步驟280之後為步驟290：「轉換座標」，基於所選的最佳修改參數值組將第二座標系統的座標轉換至第一座標系統。因此，第二座標系統中的預先規劃手術路徑可轉換至第一座標系統，該第一座標系統是用來表示實際進行手術操作的手術房。基於第一座標系統中經轉換之座標與向量，一機械手臂可用以將病患相關的變動因素納入考量而進行手術操作。
第三A圖顯示與一第一時間點(例如，緊臨對手術房中的病患進行外科切開術之前，通常是在進行外科切開術前24小時內蒐集)蒐集之資訊有關的一例示二維影像301，根據本發明一些具體實施例配置。二維影像301可由紅外線相機拍攝。二維影像可包含病患的一些表面解剖部位，例如右眼311、臉頰曲線312、鼻子313 以及嘴巴314。可選擇二維影像301的一第一感興趣區域315與另一二維影像的一第二感興趣區域作比較，以下將詳加說明。第一感興趣區域315可涵蓋一些表面解剖部位，如右眼311、臉頰曲線312、鼻子313以及嘴巴314。可用一第一座標系統380’說明手術房中裝置(例如機械手臂)與病患之表面解剖部位之間的空間關係。
第三B圖顯示基於一第二時間點(例如，手術操作日期之前，通常是手術操作前3天內蒐集)蒐集之資料建構之一例示三維模型302，根據本發明一些具體實施例配置。三維模型302包含表面解剖部位，例如右眼321、臉頰曲線322、鼻子323以及嘴巴324。可於三維模型302上規劃一手術路徑360。手術路徑360可始於一手術進入點361而終於一目標手術部位362。如先前參照第一A圖所述，手術進入點361可在病患的顱骨上而目標手術部位362可為病患腦部腫瘤。
在一些具體實施例中，可使用一笛卡兒座標系統作為第二座標系統380以說明手術路徑360與右眼321、臉頰曲線322、鼻子323以及嘴巴324之間的空間關係。例如，在第二座標系統380中，手術進入點361的座標可為(1,2,3)，目標手術部位362的座標可為(2,3,4)，而手術進入點361與目標手術部位362之間一向量為(1,1,1)。同樣地，在第二座標系統380中，右眼321的座標可為(4,5,6)，臉頰曲線322的座標可為(2,9,11)，鼻子323的座標可為(7,8,9)，而嘴巴324的座標可為(3,7,5)。
可以一修改參數值組修改三維模型302，藉此產生一經 修改之三維模型302’。例如，一第一例示修改參數值組可包含但不限於縮放比例為100%，α為45度，β為0度，而γ為0度，其中α代表繞著第二座標系統380中z-軸之旋轉角度，β代表繞著第二座標系統380中y-軸之旋轉角度，而γ代表繞著第二座標系統380中x-軸之旋轉角度。可從經修改之三維模型302’擷取一第二二維影像。在一些具體實施例中，第二二維影像為三維模型302’之投影。
第三C圖顯示以第一例示修改參數值組修改的經修改之三維模型302’之例示投影303，根據本發明一些具體實施例配置。第三C圖可包含病患的表面解剖部位，例如右眼331、臉頰曲線332、鼻子333以及嘴巴334。一併參照第三A圖，可選擇一第二感興趣區域335，藉此計算第一感興趣區域315與第二感興趣區域335之間的一第一相關性。
獲得第一相關性之後，可使用一第二例示修改參數值組修改三維模型，藉此產生另一經修改之三維模型302’。第二例示修改參數值組可包含但不限於縮放比例為100%，α為20度，β為0度，而γ為0度。同樣地，可擷取經修改之三維模型302’之例示投影。第三D圖顯示以第二例示修改參數值組修改的經修改之三維模型302’之例示投影304，根據本發明一些具體實施例配置。第三D圖可包含病患的表面解剖部位，例如右眼341、臉頰曲線342、鼻子343以及嘴巴344。一併參照第三A圖，可選擇一第二感興趣區域345，藉此計算第一感興趣區域315與第二感興趣區域345之間的一第二相關性。
在一些具體實施例中，在計算第一與第二相關性之前， 先處理二維影像301、303及304。例如，可應用一邊緣偵測方法處理二維影像301、303及304。第三E圖顯示影像301經邊緣偵測處理後產生之一例示影像305，根據本發明一些具體實施例配置。第三F圖顯示與α為-45度之修改參數值有關、經邊緣偵測處理後產生之另一例示影像，根據本發明一些具體實施例配置。
假定僅獲得兩組修改參數值組(即縮放比例為100%，α為45度，β為0度，而γ為0度；以及縮放比例為100%，α為20度，β為0度，而γ為0度)來修改三維模型302，將第一相關性與第二相關性與一閾值作比較，藉此判定何者為最佳修改參數值組。以最佳修改參數值組將第二座標系統380中的座標轉換至第一座標系統380’。
在一些具體實施例中，假定修改參數係與一縮放比例有關，從第二座標系統380轉換至第一座標系統380’可包含將該縮放比例乘以第二座標系統380的座標。因此，預先規劃手術路徑在第一座標系統380’中的向量與在第二座標系統380相同。不過，與第二座標系統380中預先規劃手術路徑的距離相比，第一座標系統380’中實際手術路徑的距離是依該縮放比例縮尺繪製。
在一些其他具體實施例中，假定修改參數與一旋轉角度有關。因此，預先規劃手術路徑在第一座標系統380’的向量改變，與在第二座標系統380的向量不同。從第二座標系統380轉換至第一座標系統380’可包含一矩陣運算。該矩陣可為第一座標系統380’與第二座標系統380之間的一轉換矩陣。一例示轉換矩陣可為：
其中α代表繞著第二座標系統380中z-軸之旋轉角度；β代表繞著第二座標系統380中y-軸之旋轉角度；γ代表繞著第二座標系統380中x-軸之旋轉角度；x offset 代表沿著第二座標系統380中x-軸之位移；y offget 代表沿著第二座標系統380中y-軸之位移；z offset 代表沿著第二座標系統380中z-軸之位移；可藉由下列運算完成座標轉換：
其中x’、y’、z’為第一座標系統380’中經轉換之座標，而x、y、z為第二座標系統380中的座標。
假定第二修改參數值組(即縮放比例為100%，α為20度，β為0度，而γ為0度)超過閾值而第一修改參數值組(即縮放比例為100%，α為45度，β為0度，而γ為0度)未超過閾值，則可將第二修改參數值組選為最佳修改參數值組而轉換矩陣可為：
根據上述方程式(3)及轉換矩陣，在第一座標系統380’中，手術進入點371的座標可為(1.62373,1.53737,3)，目標手術部位372的座標可為(2.90545,2.13504,4)，而手術進入點371與目標手術部位372之間的向量為(1.28172,0.59767,1)。前述座標與向量可傳送至手術房中的機械手臂，使外科醫師可使用機械手臂進行手術。
第四圖為說明本發明一具體實施例之用以實施一種判定一實際手術路徑之方法之電腦程式產品400的方塊圖。電腦程式產品400可包含一訊號承載媒體402。訊號承載媒體402可包含一或多組儲存其上的可執行指令404，當該等可執行指令由例如第一圖的運算裝置106執行時，可提供上述特徵與操作。
在一些實施方式中，訊號承載媒體402可包含一非暫態電腦可讀取媒體408，例如但不限於硬碟、光碟(CD)、數位光碟(DVD)、數位磁帶、記憶體等。在一些實施方式中，訊號承載媒體402可包含一可記錄媒體410，例如但不限於記憶體、讀/寫(R/W)CDs、R/W DVDs等。在一些實施方式中，訊號承載媒體402可包含一通訊媒體406，例如但不限於數位及/或類比通訊媒體(如光纖電纜、波導、有線通訊線路、無線通訊線路等)。
上文已透過方塊圖、流程圖及/或示例詳細說明裝置及/或程序的各具體實施例。在該等方塊圖、流程圖及/或示例範圍內包含一或多個功能及/或操作，發明所屬領域技藝之人士明白該等方塊圖、流程圖或示例範圍內的每一功能及/或操作可由種類甚多的硬 體、軟體、韌體或其任何組合個別及/或共同地執行。在一些具體實施例中，本發明標的的幾個部份可透過特定功能積體電路(ASICs)、場效可編程邏輯閘陣列(FPGAs)、數位訊號處理器(DSPs)或其他整合格式實施。然而，熟悉發明所屬領域技藝之人士了解，本說明書揭示之具體實施例某些方面的全部或部份同樣可在積體電路執行，如一或多個電腦程式在一或多個電腦上執行(例如一或多個程式在一或多個電腦系統上執行)、如一或多個程式在一或多個處理器上執行(例如一或多個程式在一或多個微處理器上執行)、如韌體或如其任何組合，而依本發明揭露內容來設計電路及/或為軟體及/或韌體寫程式碼屬發明所屬領域技藝。此外，熟悉發明所屬領域技藝之人士明白，本發明標的之機制能作為不同形式的程式產品而散佈，且不論實際執行散佈的特定類型訊號承載媒體為何，本發明標的之例示具體實施例均適用。訊號承載媒體的示例包含但不限於下列項目：磁片、硬碟、光碟(CD)、數位光碟(DVD)、數位磁帶、電腦記憶體等可記錄型媒體；以及傳輸型媒體，例如數位及/或類比通訊媒體(例如光纖電纜、波導、有線通訊線路、無線通訊線路等)。
應明白本發明各具體實施例是作為說明之用，在不脫離本發明範圍與精神下可進行各種改變。因此，本說明書所描述的各具體實施例並非用以限制本發明，本發明之真實範圍與精神揭示於以下申請專利範圍。
200‧‧‧方法
210-290‧‧‧步驟

Claims (20)

  1. 一種基於一預先規劃手術路徑判定一病患之一實際手術路徑之方法，其包含：擷取與一第一時間點蒐集之資訊有關的該病患之一第一二維影像，其中以一第一座標系統說明該病患與手術房中一裝置之一空間關係；以一第一修改參數值組修改包含該預先規劃手術路徑的該病患之一三維模型，其中該三維模型是由比該第一時間點更早之一第二時間點蒐集之資訊建構而成並以一第二座標系統說明；從該經修改之三維模型擷取一第二二維影像；計算該第一二維影像與該第二二維影像之間的一第一相關性；以及當該第一相關性超過一閾值時，基於該第一修改參數值組將該第二座標系統中的該預先規劃手術路徑轉換至該第一座標系統，藉此判定該實際手術路徑。
  2. 如申請專利範圍第1項所述之方法，其中修改該三維模型包含基於該修改參數值組縮放該三維模型、旋轉該三維模型或移動該三維模型。
  3. 如申請專利範圍第1項所述之方法，其中該第二二維影像為該經修改之三維模型之投影。
  4. 如申請專利範圍第1項所述之方法，其中在該第一時間點，該病患是在手術房中一手術台上，而在該第二時間點，該病患是接受 一醫療影像掃描。
  5. 如申請專利範圍第1項所述之方法，當該第一相關性未超過該閾值時，進一步包含：以一第二修改參數值組修改包含該預先規劃手術路徑的該病患之該三維模型；自以該第二修改參數值組修改的該三維模型擷取一第三二維影像；計算該第一二維影像與該第三二維影像之間的一第二相關性；以及當該第二相關性超過一閾值時，基於該第二修改參數值組將該第二座標系統中的該預先規劃手術路徑轉換至該第一座標系統，藉此辨識該實際手術路徑。
  6. 如申請專利範圍第1項所述之方法進一步包含對該第一二維影像與該第二二維影像進行邊緣偵測。
  7. 如申請專利範圍第6項所述之方法，其中該邊緣偵測是在計算該相關性之前進行。
  8. 一種包含一組可執行指令之非暫態電腦可讀取儲存媒體，當該組可執行指令由一或多個手術系統中一者之一處理器執行時，使該處理器基於一預先規劃手術路徑執行一種判定一病患之一實際手術路徑之方法，該方法包含：擷取與一第一時間點蒐集之資訊有關的該病患之一第一二維影像，其中以一第一座標系統說明該病患與手術房中一裝置之間的一空 間關係；以一第一修改參數值組修改包含該預先規劃手術路徑的該病患之一三維模型，其中該三維模型是由比該第一時間點更早之一第二時間點蒐集之資訊建構而成並以一第二座標系統說明；自該經修改之三維模型擷取一第二二維影像；計算該第一二維影像與該第二二維影像之間的一第一相關性；以及當該第一相關性超過一閾值時，基於該第一修改參數值組將該第二座標系統中的該預先規劃手術路徑轉換至該第一座標系統，藉此辨識該實際手術路徑。
  9. 如申請專利範圍第8項所述之非暫態電腦可讀取儲存媒體，其中修改該三維模型包含基於該修改參數值組縮放該三維模型、旋轉該三維模型或移動該三維模型。
  10. 如申請專利範圍第8項所述之非暫態電腦可讀取儲存媒體，其中該第二二維影像為該經修改之三維模型之投影。
  11. 如申請專利範圍第8項所述之非暫態電腦可讀取儲存媒體，其中在該第一時間點，該病患是在手術房中一手術台上，而在該第二時間點，該病患是接受一醫療影像掃描。
  12. 如申請專利範圍第8項所述之非暫態電腦可讀取儲存媒體，當該第一相關性未超過該閾值時，該方法進一步包含：以一第二修改參數值組修改包含該預先規劃手術路徑的該病患之該三維模型； 自以該第二修改參數值組修改的該三維模型擷取一第三二維影像；計算該第一二維影像與該第三二維影像之間的一第二相關性；以及當該第二相關性超過一閾值時，基於該第二修改參數值組將該第二座標系統中的該預先規劃手術路徑轉換至該第一座標系統，藉此辨識該實際手術路徑。
  13. 如申請專利範圍第8項所述之非暫態電腦可讀取儲存媒體，該方法進一步包含對該第一二維影像與該第二二維影像進行邊緣偵測。
  14. 如申請專利範圍第13項所述之非暫態電腦可讀取儲存媒體，其中該邊緣偵測是在計算該相關性之前進行。
  15. 一種用以基於一預先規劃手術路徑判定一病患之一實際手術路徑之手術系統，其包含：一儲存系統；一機械手臂；一影像蒐集裝置；以及一處理器，其中該處理器係用以：自該儲存系統中擷取與該影像蒐集裝置在一第一時間點蒐集之資訊有關的該病患之一第一二維影像，其中以一第一座標系統說明該病患與該機械手臂之間的一空間關係；以一第一修改參數值組修改包含該預先規劃手術路徑的該病患 之一三維模型，其中該三維模型是由比該第一時間點更早之一第二時間點蒐集之資訊建構而成並以一第二座標系統說明；自該儲存系統中該經修改之三維模型擷取一第二二維影像；計算該第一二維影像與該第二二維影像之間的一第一相關性；當該第一相關性超過一閾值時，基於該第一修改參數值組將該第二座標系統中的該預先規劃手術路徑轉換至該第一座標系統，藉此辨識該實際手術路徑；以及基於該實際手術路徑指示該機械手臂進行手術。
  16. 如申請專利範圍第15項所述之系統，其中以一縮放參數、一旋轉度數及/或一平移向量修改該三維模型。
  17. 如申請專利範圍第15項所述之系統，其中該影像蒐集裝置是固定在該機械手臂上。
  18. 如申請專利範圍第15項所述之系統，其中該影像蒐集裝置係用以在該機械手臂移動時拍攝複數個影像。
  19. 如申請專利範圍第15項所述之系統，其中在該第一時間點，該病患是在手術房中一手術台上，而在該第二時間點，該病患是接受一醫療影像掃描。
  20. 如申請專利範圍第15項所述之系統，其中該處理器係進一步用以對該第一二維影像與該第二二維影像進行一邊緣偵測運算。
TW105117536A 2015-06-05 2016-06-03 術中追蹤方法 TWI595437B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US201562171245P 2015-06-05 2015-06-05

Publications (2)

Publication Number Publication Date
TW201705078A TW201705078A (zh) 2017-02-01
TWI595437B true TWI595437B (zh) 2017-08-11

Family

ID=57440176

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105117536A TWI595437B (zh) 2015-06-05 2016-06-03 術中追蹤方法

Country Status (10)

Country Link
US (1) US9827053B2 (zh)
EP (1) EP3145420B8 (zh)
JP (1) JP6334052B2 (zh)
KR (1) KR101933132B1 (zh)
CN (1) CN106794044B (zh)
CA (1) CA2949797C (zh)
DK (1) DK3145420T3 (zh)
HR (1) HRP20201646T1 (zh)
TW (1) TWI595437B (zh)
WO (1) WO2016192671A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI670681B (zh) * 2017-06-04 2019-09-01 鈦隼生物科技股份有限公司 判定手術路徑上一個或多個點之方法和系統
CN111032140B (zh) * 2017-08-16 2022-08-16 直观外科手术操作公司 用于在医疗程序期间监测患者运动的***和方法
WO2019137507A1 (en) * 2018-01-11 2019-07-18 Shenzhen United Imaging Healthcare Co., Ltd. Systems and methods for surgical route planning
WO2020025001A1 (en) * 2018-08-01 2020-02-06 Brain Navi Biotechnology Co., Ltd. Method and system of tracking patient position in operation
US11744655B2 (en) 2018-12-04 2023-09-05 Globus Medical, Inc. Drill guide fixtures, cranial insertion fixtures, and related methods and robotic systems
US11602402B2 (en) 2018-12-04 2023-03-14 Globus Medical, Inc. Drill guide fixtures, cranial insertion fixtures, and related methods and robotic systems
CN109925053B (zh) * 2019-03-04 2021-06-22 杭州三坛医疗科技有限公司 手术路径的确定方法、装置和***、可读存储介质
CN109925054B (zh) * 2019-03-04 2020-12-18 杭州三坛医疗科技有限公司 确定靶点路径的辅助方法、装置和***、可读存储介质
CN109993792B (zh) * 2019-03-04 2021-05-25 杭州三坛医疗科技有限公司 投影方法、装置及***和可读存储介质
CN109925052B (zh) * 2019-03-04 2020-12-08 杭州三坛医疗科技有限公司 靶点路径的确定方法、装置和***、可读存储介质
WO2020177725A1 (zh) * 2019-03-04 2020-09-10 杭州三坛医疗科技有限公司 一种靶点路径的确定方法
AU2020234305A1 (en) * 2019-03-11 2021-10-07 Intellijoint Surgical Inc. Computer assisted surgery system and method to process and communicate planning data
TWI766253B (zh) * 2019-03-19 2022-06-01 鈦隼生物科技股份有限公司 基於影像匹配決定手術路徑之方法與系統
US11382549B2 (en) 2019-03-22 2022-07-12 Globus Medical, Inc. System for neuronavigation registration and robotic trajectory guidance, and related methods and devices
US11045179B2 (en) 2019-05-20 2021-06-29 Global Medical Inc Robot-mounted retractor system
CN113643226B (zh) * 2020-04-27 2024-01-19 成都术通科技有限公司 标注方法、装置、设备及介质
CN112807084B (zh) * 2020-06-01 2023-06-02 上海库欣医疗科技有限公司 用于脑干出血手术导航的颅脑穿刺路径建立方法及导航方法
CN112807083A (zh) * 2020-06-01 2021-05-18 上海库欣医疗科技有限公司 用于神经外科导航的颅脑穿刺路径建立方法和***
CN113797418A (zh) * 2020-06-12 2021-12-17 中强光电股份有限公司 医疗影像设备以及医疗影像显示方法
US11529738B2 (en) * 2020-07-02 2022-12-20 NDR Medical Technology Pte. Ltd. Control system and a method for operating a robot
US11481235B2 (en) * 2021-01-11 2022-10-25 Evicore Healthcare MSI, LLC Database framework model transformation for pathway identification

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1243690A (zh) * 1997-08-27 2000-02-09 北京航空航天大学 机器人脑外科设备***及其实现方法
US6122541A (en) * 1995-05-04 2000-09-19 Radionics, Inc. Head band for frameless stereotactic registration
CN102999902A (zh) * 2012-11-13 2013-03-27 上海交通大学医学院附属瑞金医院 基于ct配准结果的光学导航定位***及其导航方法
CN103142313A (zh) * 2013-03-19 2013-06-12 张巍 一种基于单目视觉的手术工具位姿实时检测方法及***
US20150077528A1 (en) * 2013-09-18 2015-03-19 Nanophthalmos, Llc Surgical navigation system and method

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5389101A (en) * 1992-04-21 1995-02-14 University Of Utah Apparatus and method for photogrammetric surgical localization
US6671538B1 (en) * 1999-11-26 2003-12-30 Koninklijke Philips Electronics, N.V. Interface system for use with imaging devices to facilitate visualization of image-guided interventional procedure planning
JP4674948B2 (ja) * 2000-09-29 2011-04-20 オリンパス株式会社 手術ナビゲーション装置および手術ナビゲーション装置の作動方法
US7570791B2 (en) * 2003-04-25 2009-08-04 Medtronic Navigation, Inc. Method and apparatus for performing 2D to 3D registration
CA2555473A1 (en) 2004-02-17 2005-09-01 Traxtal Technologies Inc. Method and apparatus for registration, verification, and referencing of internal organs
JP2005305048A (ja) * 2004-04-26 2005-11-04 Mitsubishi Electric Corp 患者位置決め装置および患者位置決め方法
US7831073B2 (en) * 2005-06-29 2010-11-09 Accuray Incorporated Precision registration of X-ray images to cone-beam CT scan for image-guided radiation treatment
US8303505B2 (en) * 2005-12-02 2012-11-06 Abbott Cardiovascular Systems Inc. Methods and apparatuses for image guided medical procedures
WO2008013598A2 (en) * 2006-05-25 2008-01-31 William Beaumont Hospital Real-time, on-line and offline treatment dose tracking and feedback process for volumetric image guided adaptive radiotherapy
JP5451621B2 (ja) * 2007-10-01 2014-03-26 コーニンクレッカ フィリップス エヌ ヴェ 介入器具の検出及び追跡
WO2011156526A2 (en) * 2010-06-08 2011-12-15 Accuray, Inc. Imaging methods and target tracking for image-guided radiation treatment
IT1400684B1 (it) * 2010-07-07 2013-06-28 Esaote Spa Metodo e dispositivo di imaging per il monitoraggio di un corpo in esame.
CA2851659A1 (en) * 2011-10-09 2013-04-18 Clear Guide Medical, Llc Interventional in-situ image guidance by fusing ultrasound and video
US9375196B2 (en) * 2012-07-12 2016-06-28 Covidien Lp System and method for detecting critical structures using ultrasound
US10610172B2 (en) * 2012-07-17 2020-04-07 Koninklijke Philips N.V. Imaging system and method for enabling instrument guidance
JP6157864B2 (ja) * 2013-01-31 2017-07-05 東芝メディカルシステムズ株式会社 医用画像診断装置及び穿刺術支援装置
MY177299A (en) * 2013-03-15 2020-09-11 Synaptive Medical Inc Surgical imaging systems
MY179739A (en) * 2013-03-15 2020-11-12 Synaptive Medical Inc Planning, navigation and simulation systems and methods for minimally invasive therapy
WO2016019347A1 (en) * 2014-07-31 2016-02-04 California Institute Of Technology Multi modality brain mapping system (mbms) using artificial intelligence and pattern recognition
TWI605795B (zh) * 2014-08-19 2017-11-21 鈦隼生物科技股份有限公司 判定手術部位中探針位置之方法與系統
CN107072628B (zh) * 2014-10-27 2021-03-26 医科达有限公司 用于放射治疗的图像导引

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6122541A (en) * 1995-05-04 2000-09-19 Radionics, Inc. Head band for frameless stereotactic registration
CN1243690A (zh) * 1997-08-27 2000-02-09 北京航空航天大学 机器人脑外科设备***及其实现方法
CN102999902A (zh) * 2012-11-13 2013-03-27 上海交通大学医学院附属瑞金医院 基于ct配准结果的光学导航定位***及其导航方法
CN103142313A (zh) * 2013-03-19 2013-06-12 张巍 一种基于单目视觉的手术工具位姿实时检测方法及***
US20150077528A1 (en) * 2013-09-18 2015-03-19 Nanophthalmos, Llc Surgical navigation system and method

Also Published As

Publication number Publication date
CA2949797C (en) 2019-04-02
WO2016192671A1 (en) 2016-12-08
CN106794044A (zh) 2017-05-31
US9827053B2 (en) 2017-11-28
EP3145420B1 (en) 2020-08-05
EP3145420A1 (en) 2017-03-29
US20160354157A1 (en) 2016-12-08
HRP20201646T1 (hr) 2020-12-25
KR20170033858A (ko) 2017-03-27
CA2949797A1 (en) 2016-12-05
JP6334052B2 (ja) 2018-05-30
EP3145420A4 (en) 2018-04-04
EP3145420B8 (en) 2020-12-30
KR101933132B1 (ko) 2019-03-15
DK3145420T3 (da) 2020-10-26
CN106794044B (zh) 2019-09-27
TW201705078A (zh) 2017-02-01
JP2017526415A (ja) 2017-09-14

Similar Documents

Publication Publication Date Title
TWI595437B (zh) 術中追蹤方法
US10789739B2 (en) System and method for generating partial surface from volumetric data for registration to surface topology image data
EP3007635B1 (en) Computer-implemented technique for determining a coordinate transformation for surgical navigation
JP4732925B2 (ja) 医用画像の表示方法およびそのプログラム
US10144637B2 (en) Sensor based tracking tool for medical components
TWI670681B (zh) 判定手術路徑上一個或多個點之方法和系統
US10390892B2 (en) System and methods for updating patient registration during surface trace acquisition
CA2976573C (en) Methods for improving patient registration
TWI766253B (zh) 基於影像匹配決定手術路徑之方法與系統
US20230050636A1 (en) Augmented reality system and methods for stereoscopic projection and cross-referencing of live x-ray fluoroscopic and computed tomographic c-arm imaging during surgery
JP2024005113A (ja) 画像処理装置、方法およびプログラム
Ciucci et al. The NEAR project: Active endoscopes in the operating room