TWI733151B - 病患位置之術中追蹤方法、系統與可讀取儲存媒體 - Google Patents

病患位置之術中追蹤方法、系統與可讀取儲存媒體 Download PDF

Info

Publication number
TWI733151B
TWI733151B TW108127112A TW108127112A TWI733151B TW I733151 B TWI733151 B TW I733151B TW 108127112 A TW108127112 A TW 108127112A TW 108127112 A TW108127112 A TW 108127112A TW I733151 B TWI733151 B TW I733151B
Authority
TW
Taiwan
Prior art keywords
point
image
point image
distance
patient
Prior art date
Application number
TW108127112A
Other languages
English (en)
Other versions
TW202023488A (zh
Inventor
陳階曉
王冠茹
Original Assignee
鈦隼生物科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 鈦隼生物科技股份有限公司 filed Critical 鈦隼生物科技股份有限公司
Publication of TW202023488A publication Critical patent/TW202023488A/zh
Application granted granted Critical
Publication of TWI733151B publication Critical patent/TWI733151B/zh

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00681—Aspects not otherwise provided for
    • A61B2017/00694—Aspects not otherwise provided for with means correcting for movement of or for synchronisation with the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3983—Reference marker arrangements for use with image guided surgery

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Robotics (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Manipulator (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本發明之具體實施例闡述一種為回應病患之移動而更新機器人臂組件的手術途徑的方法。該方法包括處理與一標籤(與該病患具有一空間關係)相關聯的一二維影像。該標籤為回應該病患之移動之對應移動係基於該空間關係判定。該標籤包括一第一點及一第二點，並且該二維影像包括一第一點影像及一第二點影像。該方法也包括將第一點影像與該第一點相關聯，並且將該第二點影像與該第二點相關聯；以及基於該第一點和該第二點以及該第一點影像和該第二點影像之一換算矩陣，更新該手術途徑。

Description

病患位置之術中追蹤方法、系統與可讀取儲存媒體 【交互參照相關申請】
本申請案主張2018年8月1日所申請之美國臨時專利申請號No.62/713,522及2019年3月19日所申請之美國臨時專利申請號No.62/820,804之利益，其全部內容皆併入作為參考。
本發明之具體實施例一般係關於病患位置或面向之術中追蹤方法與系統。
除非文中另外指出，否則本節中所說明該等方法對本申請案中諸申請專利範圍而言並非先前技術，並且透過包括在本節中並非承認為先前技術。
為了進行手術，規劃手術途徑至關重要。機器人手術可能對該手術途徑提供精確控制。在該手術之前，病患接受醫學掃描(如電腦斷層掃描(CT)或核磁共振成像(MRI))。到該所需解剖區的手術途徑係基於該醫學掃描規劃。可 能採用人工智慧向該外科醫師建議帶來最少損害的最佳路徑。為了進行該手術，可能將該病患之位置與該醫學掃描之透視圖進行比對，以沿著該經過規劃手術途徑準確進行該手術。
然而，在該手術中，該病患之位置可能被移動。據此，該經過規劃手術途徑就該病患所被移動位置而論可能不適用，並且可能為回應該病患所被移動位置而更新。
100:手術系統
103:病患頭部
110:病患
120:框架
121、200:標籤
130:手術台
140:機器人臂組件
141:外科器具
143:光學設備
147:第一臂
148:第二臂
149:第三臂
201~205:點
209:識別圖案
300:影像
300’:影像
301~305:點影像
301’~305’:點影像
301’:第一向量
Figure 108127112-A0305-02-0014-13
302’:第二向量
Figure 108127112-A0305-02-0014-14
303’:第三向量
Figure 108127112-A0305-02-0014-16
304’:第四向量
Figure 108127112-A0305-02-0014-17
305’:第五向量
Figure 108127112-A0305-02-0014-19
306:條形影像
307:左上角
309:識別影像
310、320:區域
400、500、600:程序
410~430:區塊
510~560:區塊
610~650:區塊
第一圖係顯示配置成對病患進行手術的手術系統的範例圖；第二圖係顯示標籤的範例圖；第三A圖係透過光學設備擷取的標籤之範例影像；第三B圖係透過光學設備擷取的標籤之範例經過處理影像；第四圖係例示處理與標籤相關聯的二維影像的範例程序的流程圖；第五圖係例示將各點影像與標籤之各點相關聯的範例程序的流程圖；第六圖係例示基於複數換算矩陣，為回應病患之移動而更新手術途徑的範例程序的流程圖，其所有皆依據本發明所揭示內容之一些具體實施例設置。
在下列實施方式中，參照形成其一部分的所附圖式。在所附圖式中，除非上下文另外指出，否則類似符號通常識別類似組件。實施方式、所附圖式和諸申請專利範圍中所說明該等例示性具體實施例並非意指限制。可能利用其他具體實施例，並且可能做出其他變更，而不悖離在此所呈現標的之精神或範 疇。將很容易理解，如文中一般所說明以及所附圖式中所例示本發明所揭示內容之該等態樣可以廣泛多種之不同配置進行設置、代換、組合和設計，所有這些皆於文中明確設想。
第一圖係依據本發明所揭示內容之一些具體實施例設置，顯示配置成對病患110進行手術的手術系統100的範例圖。在一些具體實施例中，手術系統100包括框架120、手術台130及機器人臂組件140。
在一些具體實施例中，框架120配置成支撐並附接到病患110之手術目標(如病患頭部103)。此外，框架120也配置成附接到手術台130。在一些具體實施例中，框架120更包括標籤121。標籤121與框架120固定或整體成形。因此，病患頭部103、手術台130、框架120和標籤121一起可能形成預定空間關係。換言之，為回應病患頭部103之第一移動，標籤121基於該預定空間關係也具有對應第二移動。據此，也可能使用標籤121之移動判定該病患頭部是否已被移動。
在一些具體實施例中，框架120可能包括一個以上的標籤。每個標籤皆可能包括一彼此獨特識別圖案。據此，手術系統100可能基於這些標籤處理不同要求。
在一些具體實施例中，機器人臂組件140可能包括外科器具141、光學設備143、第一臂147、第二臂148及第三臂149。在一些具體實施例中，光學設備143係能夠在不同時間點時擷取標籤121之影像的紅外線(IR)相機。這些所擷取到影像經過處理，以識別標籤121之移動是否超過閾值。為回應判定標籤121之移動超過該閾值，與機器人臂組件140相關聯的處理器(未顯示)可能基於以上所闡述該預定空間關係判定病患110已被移動，並且向機器人臂組件140發出命令以停止該手術並移動到不會對病患110造成傷害的安全點。為回應病患110已被 移動的判定，該處理器可能計算新的手術途徑並向機器人臂組件140發出命令，以從該安全點沿著該新的手術途徑移動。
第二圖係依據本發明所揭示內容之一些具體實施例設置，顯示標籤200之範例圖。標籤200可能對應於第一圖之標籤121。在一些具體實施例中，標籤200包括點201、點202、點203、點204、點205及識別圖案209。點201、202、203、204、205和識別圖案209可能發出具有可透過光學設備(如光學設備143)擷取的特定波長的光。反之，標籤200之其他部分發出很少這樣的光，因此可能幾乎沒有透過該光學設備擷取到。在一些其他具體實施例中，點201、202、203、204、205和識別圖案209可能反射具有可透過光學設備(如光學設備143)擷取的特定波長的光源所產生的光。標籤200之其他部分可能吸收這樣的光，因此可能幾乎沒有透過該光學設備擷取到。
第三A圖係依據本發明所揭示內容之一些具體實施例設置，透過光學設備擷取的標籤之範例影像300。影像300可能包括點影像301、302、303、304和305、點影像304和305之間的條形影像306，以及識別影像309。所面臨的挑戰在於將點影像301、302、303、304和305與點201、202、203、204和205有效且正確相關聯。
在一些具體實施例中，點影像301可能對應於點201之影像。同樣地，點影像302可能對應於點202之影像、點影像303可能對應於點203之影像、點影像304可能對應於點204之影像，並且點影像305可能對應於點205之影像。條形影像306可能對應於點204和205之間的標籤200之各部分。識別影像309可能對應於識別圖案209。
第三B圖係透過光學設備擷取的標籤之範例經過處理影像300’，並且第四圖係例示處理與標籤相關聯的二維影像的範例程序400的流程圖，其所有皆依據本發明所揭示內容之一些具體實施例設置。程序400可能包括如可能透過硬體、軟體及/或韌體進行的區塊410、420及/或430所例示的一個或多個操作、功能或動作。該等各種區塊不欲限制在該等所說明具體實施例。該等所概述步驟和操作僅提供為範例，並且一些該等步驟和操作可能視需要、組合成較少步驟和操作或擴展成附加步驟和操作，而未減損該等所揭示具體實施例之本質。儘管該等區塊以序列次序例示，但是這些區塊也可能並行及/或以與文中所說明者不同的次序進行。搭配第三B圖，以下將進一步詳細說明第四圖。
程序400可能開始於區塊410「指定坐標」。參照第三A圖，在一些具體實施例中，影像300係與標籤200相關聯的二維影像。在第三B圖中，影像300’可能係經過處理影像300。在一些具體實施例中，將二維坐標系統指定給影像300’。在一些具體實施例中，將左上角307指定為該二維坐標系統之原點(0,0)。該二維坐標系統可能係基於影像300之像素。因此，影像300上的點影像301、302、303、304和305可能透過該二維坐標系統說明。
區塊410接著可能係區塊420「識別與點影像相關聯的坐標」。在一些具體實施例中，為了從影像300’有效識別點影像301、302、303、304和305，可能應用設定閾值技術。舉例來說，首先採用包括許多像素的區塊處理影像300’。在一些具體實施例中，將未包括強度大於閾值的任何像素的區塊(如區域310或條形影像306)從進一步處理摒棄，以節省該等運算資源。然後，基於像素進一步處理包括強度大於該閾值的像素的區塊(如區域320)。
在一些具體實施例中，可能採用放大因子將區域320放大。因此，也可能採用該放大因子將點影像301、302、303、304和305放大。在一些具體實施例中，可能將附加設定閾值技術應用於該等經過放大點影像之像素，以識別強度較大的一個或多個像素。可能基於收縮因子(如該放大因子之倒數)，將與該等經過識別像素相關聯的影像收縮回到該二維系統。因此，可能在影像300上識別強度較高的新的點影像301’、302’、303’、304’和305’，並且可能將該二維坐標系統之坐標指定給點影像301’、302’、303’、304’和305’。在一些具體實施例中，在該二維坐標系統上指定點影像301’的坐標(X301’,Y301’)。同樣地，分別指定點影像302’的坐標(X302’,Y302’)、指定點影像303’的坐標(X303’,Y303’)、指定點影像304’的坐標(X304’,Y304’)，並且指定點影像305’的坐標(X305’,Y305’)。
區塊420接著可能係區塊430「將點影像與標籤點相關聯」。在一些具體實施例中，點影像301’、302’、303’、304’和305’與點201、202、203、204、及205相關聯。在一些具體實施例中，基於透視圖n點方法，可能確立點影像301’、302’、303’、304’和305’在該二維坐標系統上之坐標，以及標籤121之點201、202、203、204和205在三維坐標系統(其說明光學設備143、機器人臂組件140和外科器具141之間的空間關係)上之坐標、說明影像300’中的點影像和其在標籤200處的相關聯點之間的關係的換算矩陣。
第五圖係依據本發明所揭示內容之一些具體實施例設置，例示將各點影像與標籤之各點相關聯的範例程序500的流程圖。程序500可能包括如可能透過硬體、軟體及/或韌體進行的區塊510、520、530、540、550及/或560所例示的一個或多個操作、功能或動作。該等各種區塊不欲限制在該等所說明具體實施例。該等所概述步驟和操作僅提供為範例，並且一些該等步驟和操作可能視需 要、組合成較少步驟和操作或擴展成附加步驟和操作，而未減損該等所揭示具體實施例之本質。儘管該等區塊以序列次序例示，但是這些區塊也可能並行及/或以與文中所說明者不同的次序進行。
程序500可能開始於區塊510「得到各點影像之幾何中心」。在一些具體實施例中，如以上所闡述，在該二維坐標系統中，點影像301’、302’、303’、304’和305’分別具有坐標(X301’,Y301’)、(X302’,Y302’)、(X303’,Y303’)、(X304’,Y304’)和(X305’,Y305’)。點影像301’、302’、303’、304’和305’之幾何中心可能具有坐標((X301’+X302’+X303’+X304’+X305’)/5,(Y301’+Y302’+Y303’+Y304’+Y351’)/5)。
區塊510接著可能係區塊520「得到點影像與幾何中心之距離」。在一些具體實施例中，得到點影像301’和該幾何中心之間的第一距離為
Figure 108127112-A0305-02-0009-1
 同樣地，可能得到點影像302’和該幾何中心之間的第二距離、點影像303’和該幾何中心之間的第三距離、點影像304’和該幾何中心之間的第四距離，以及點影像305’和該幾何中心之間的第五距離。
區塊520接著可能係區塊530「得到從幾何中心到點影像的向量」。在一些具體實施例中，得到從該幾何中心到點影像301’的第一向量
Figure 108127112-A0305-02-0009-2
為(X301’-(X301’+X302’+X303’+X304’+X305’)/5,Y301’-(Y301’+Y302’+Y303’+Y304’+Y305’)/5)。同樣地，也可能得到從該幾何中心到點影像302’的第二向量
Figure 108127112-A0305-02-0009-3
、從該幾何中心到點影像303’的第三向量
Figure 108127112-A0305-02-0009-4
、從該幾何中心到點影像304’的第四向量
Figure 108127112-A0305-02-0009-5
，以及從該幾何中心到點影像305’的第五向量
Figure 108127112-A0305-02-0009-6
。
區塊530接著可能係區塊540「選擇基點影像」。在一些具體實施例中，將區塊520中所得到該第一距離、該第二距離、該第三距離、該第四距離和該第五距離進行比較，以選擇哪個點影像係該基點影像。在一些具體實施例中，可能選擇該二維坐標系統中與該幾何中心距離最遠的點影像作為該基點。或者，可能選擇該二維坐標系統中與該幾何中心距離最近的點影像作為該基點。在一些其他具體實施例中，該基點可能係基於該二維坐標系統中識別影像309和點影像301’、302’、303’、304’和305’之間的關係選擇。僅舉例來說，在一些具體實施例中，選擇點影像301’作為該基點影像。
區塊540接著可能係區塊550「基於向量為點影像編索引」。在一些具體實施例中，可能使用該第一向量(如
Figure 108127112-A0305-02-0010-8
)和該第二向量(如
Figure 108127112-A0305-02-0010-9
)之交叉乘積判定點影像302’是否沿著來自點影像301’的順時針方向。在一些具體實施例中，為回應該第一向量和該第二向量之交叉乘積係關於該二維坐標系統指向該正z方向的向量，判定點影像302’沿著來自點影像301’的順時針方向。在一些其他具體實施例中，可能使用該第一向量(如
Figure 108127112-A0305-02-0010-11
)和該第二向量(如
Figure 108127112-A0305-02-0010-12
)之點乘積判定該第一向量和該第二向量之間的角度。因此，基於該交叉乘積和該點乘積，可能沿著來自點影像301’的順時針方向在第一角度處判定點影像302’。同樣地，可能沿著來自點影像301’的順時針方向分別在第二角度、第三角度和第四角度處判定點影像303’、304’和305’。在一些具體實施例中，基於該第一角度、該第二角度、該第三角度和該第四角度之間的比較，可能判定點影像301’、302’、303’、304’和305’沿著該順時針方向之序列。舉例來說，為回應該第一角度小於該第二角度，判定點影像302’沿著該順時針方 向比點影像303’更接近點影像301’。在判定該序列之後，可能依據該序列為點影像301’、302’、303’、304’和305’編索引。
區塊550接著可能係區塊560「得到點影像和對應標籤點之換算矩陣」。在一些具體實施例中，基於區塊550中所得到該索引和透視圖n點方法，可能確立說明三維坐標系統中標籤200之各點(如201、202、203、204和205)和其對應點影像(如301’、302’、303’、304’和305’)之坐標之間的數學關係的換算矩陣。返回參照第一圖，在一些具體實施例中，該三維坐標系統可能說明光學設備143、機器人臂組件140和外科器具141之間的空間關係。
第六圖係依據本發明所揭示內容之一些具體實施例設置，例示基於複數換算矩陣，為回應病患之移動而更新手術途徑的範例程序600的流程圖。程序600可能包括如可能透過硬體、軟體及/或韌體進行的區塊610、620、630、640及/或650所例示的一個或多個操作、功能或動作。該等各種區塊不欲限制在該等所說明具體實施例。該等所概述步驟和操作僅提供為範例，並且一些該等步驟和操作可能視需要、組合成較少步驟和操作或擴展成附加步驟和操作，而未減損該等所揭示具體實施例之本質。儘管該等區塊以序列次序例示，但是這些區塊也可能並行及/或以與文中所說明者不同的次序進行。
程序600可能開始於區塊610「基於換算矩陣得到投射點」。在一些具體實施例中，在得到該換算矩陣之後，可能得到點201依據該換算矩陣之第一投射點。在一些具體實施例中，該投射點在該二維坐標系統中具有坐標(X301”,Y301”)。同樣地，也可能得到點202之第二投射點、點203之第三投射點、點204之第四投射點和點205之第五投射點，並且在該二維坐標系統中分別具有坐標(X302”,Y302”)、(X303”,Y303”)、(X304”,Y304”)和(X305”,Y305”)。
區塊610接著可能係區塊620「得到投射點和對應點影像之間的距離」。在一些具體實施例中，計算具有坐標(X301”,Y301”)的第一投射點和具有坐標(X301’,Y301’)的點影像301’之間的第一距離。同樣地，也可能分別得到具有坐標(X302”,Y302”)的第二投射點和具有坐標(X302’,Y302’)的點影像302’之間的第二距離、具有坐標(X303”,Y303”)的第三投射點和具有坐標(X303’,Y303’)的點影像303’之間的第三距離、具有坐標(X304”,Y304”)的第四投射點和具有坐標(X304’,Y304’)的點影像304’之間的第四距離，以及具有坐標(X305”,Y305”)的第五投射點和具有坐標(X305’,Y305’)的點影像305’之間的第五距離。
區塊620接著可能係區塊630「距離大於閾值？」在一些具體實施例中，為回應該第一距離、該第二距離、該第三距離、該第四距離和該第五距離之總和大於閾值，區塊630接著可能係區塊640「判定病患被移動」。
在一些其他具體實施例中，為回應該第一距離、該第二距離、該第三距離、該第四距離和該第五距離之總和未大於閾值，區塊630接著可能係區塊610「基於換算矩陣得到投射點」。在得到與在第二時間點時所擷取到影像300/300’相關聯的另一換算矩陣之後，可能依據另一換算矩陣得到在點201、202、203、204和205之二維坐標系統中具有坐標的另一組投射點。
區塊640接著可能係區塊650「更新手術途徑」。在一些具體實施例中，返回參照第一圖，機器人臂組件140可能移動到不會對病患110造成傷害的安全點。新的手術途徑可能為回應病患110之移動而更新，然後機器人臂組件140配置成從該安全點沿著該經過更新手術途徑移動。
在一些其他具體實施例中，可能驗證該經過更新手術途徑使得該經過更新手術途徑不會在外科器具141和機器人臂組件140之間造成碰撞。或者， 返回參照第一圖，可能驗證該經過更新手術途徑使得該經過更新手術途徑不會在機器人臂組件140之第一臂147、第二臂148和第三臂149之間造成碰撞。
為回應驗證該經過更新手術途徑會造成機器人臂組件140之碰撞，將作廢該經過更新手術途徑並將計算新的經過更新手術途徑。
前述實施方式已透過使用區塊圖、流程圖及/或範例闡述該等裝置及/或程序之各種具體實施例。在這樣的區塊圖、流程圖及/或範例含有一個或多個功能及/或操作的範圍內，此領域技術者將能理解這樣的區塊圖、流程圖或範例內的每個功能及/或操作，皆可透過廣泛硬體、軟體、韌體或幾乎其任何組合個別及/或集體實行。在一些具體實施例中，文中所說明標的之幾個部分可能係透過特定應用積體電路(Application Specific Integrated Circuit，ASIC)、場可程式閘陣列(Field Programmable Gate Array，FPGA)、數位信號處理器(Digital signal processor，DSP)或其他積體格式實行。然而，熟習此領域技術者將能認可，文中所揭示該等具體實施例之一些態樣可全部或部分在積體電路中等效實行為在一個或多個電腦上運行的一個或多個電腦程式(如在一個或多個電腦系統上運行的一個或多個程式)、在一個或多個處理器上運行的一個或多個程式(如在一個或多個微處理器上運行的一個或多個程式)、韌體或幾乎其任何組合，並且設計該電路及/或編寫該軟體及/或韌體的代碼將根據此所揭示內容完全在熟習此領域技術者之技能範圍內。此外，熟習此領域技術者將能瞭解，文中所說明標的之該等機制能夠以多種形式經銷為程式產品，並且文中所說明標的之例示性具體實施例不論用於實際執行該經銷的信號承載媒體之特定類型為何皆適用。信號承載媒體之範例包括，但不限於，下列：一可記錄類型媒體，例如軟式磁碟、硬碟機、光碟(Compact Disc，CD)、數位影音光碟(Digital Versatile Disk，DVD)、數位磁 帶、電腦記憶體等；以及一傳輸類型媒體，例如數位及/或類比通訊媒體(如光纖電纜、波導、有線通訊連結、無線通信連結等)。
從前述將能瞭解，文中為了例示之目的已說明本發明所揭示內容之各種具體實施例，並且可能做出各種修飾例而不悖離本發明所揭示內容之範疇與精神。據此，文中所揭示該等各種具體實施例皆不欲為限制性。
100:手術系統
103:病患頭部
110:病患
120:框架
121:標籤
130:手術台
140:機器人臂組件
141:外科器具
143:光學設備
147:第一臂
148:第二臂
149:第三臂

Claims (13)

  1. 一種用以更新一機器人臂組件之一手術途徑以對一病患進行手術的方法，該病患具有與一框架之一預定空間關係，該框架係包含回應該病患之一移動之一標籤，該方法包含：處理與該標籤相關聯的一二維影像，其中該標籤具有與該病患之該空間關係，其中該標籤為回應該病患之移動之一對應移動係基於該空間關係而判定，並且其中該標籤包括一第一點及一第二點，並且該二維影像包括一第一點影像及一第二點影像；將該第一點影像與該第一點相關聯，並且將該第二點影像與該第二點相關聯；以及基於該第一點和該第二點以及該第一點影像和該第二點影像之一換算矩陣，更新該手術途徑；其中該將該第二點影像與該第二點相關聯更包含：得到一二維坐標系統中從一幾何中心到該第一點影像的一第一向量；得到該二維坐標系統中從該幾何中心到該第二點影像的一第二向量；以及基於該第一向量和該第二向量之一交叉乘積以及該第一向量和該第二向量之一點乘積，將該第二點影像與第二點相關聯；其中該更新該手術途徑更包括：基於該換算矩陣，得到該二維坐標系統中與該第一點相關聯的一第一投射點以及與該第二點相關聯的一第二投射點； 得到該二維坐標系統中該第一投射點和該第一點影像之間的一第三距離；以及得到該二維坐標系統中該第二投射點和該第二點影像之間的一第四距離；其中該方法更包含：為回應該第三距離和該第四距離之一總和大於一第二閾值，識別該病患之移動並且更新該手術途徑；為回應識別該病患之移動，將該機器人臂組件移動到一安全點；以及基於該經過更新手術途徑，將該機器人臂組件從該安全點移動到該病患之一手術目標。
  2. 如請求項1所述之方法，其中該處理該二維影像更包括基於一放大因子和一收縮因子，識別強度大於一第一閾值的第一點影像和第二點影像。
  3. 如請求項1所述之方法，其中該處理二維影像更包括將一二維坐標系統指定給該二維影像，以及識別該二維坐標系統中與該第一點影像和該第二點影像相關聯的坐標。
  4. 如請求項1所述之方法，其中該將該第一點影像與該第一點相關聯更包含：得到該二維坐標系統中與該第一點影像和該第二點影像相關聯的一幾何中心； 得到該第一點影像和該幾何中心之間的一第一距離，以及該第二點影像和該幾何中心之間的一第二距離；以及基於該第一距離小於該第二距離，選擇該第一點影像作為一基點影像。
  5. 如請求項1所述之方法，其中該將該第一點影像與該第一點相關聯更包含：得到該二維坐標系統中與該第一點影像和該第二點影像相關聯的一幾何中心；得到該第一點影像和該幾何中心之間的一第一距離，以及該第二點影像和該幾何中心之間的一第二距離；以及基於該第一距離大於該第二距離，選擇該第一點影像作為一基點影像。
  6. 如請求項1所述之方法，該方法更包含驗證該經過更新手術途徑，以識別與該機器人臂組件相關聯的一碰撞。
  7. 一種用以更新一機器人臂組件之一手術途徑以對一病患進行手術的系統，該病患具有與一框架之一預定空間關係，該框架係包含回應該病患之一移動之一標籤，該系統包含：一光學設備；以及一處理器，其配置成：處理與該標籤相關聯的一二維影像，其中該標籤具有與該病患之該空間關係，其中該標籤為回應該病患之移動之一對應移動係基於 該空間關係判定，並且其中該標籤包括一第一點及一第二點，並且該二維影像包括一第一點影像及一第二點影像；將該第一點影像與該第一點相關聯，並且將該第二點影像與該第二點相關聯；以及基於該第一點和該第二點以及該第一點影像和該第二點影像之一換算矩陣，更新該手術途徑；其中該處理器更配置成：得到一二維坐標系統中從一幾何中心到該第一點影像的一第一向量；得到該二維坐標系統中從該幾何中心到該第二點影像的一第二向量；以及基於該第一向量和該第二向量之一交叉乘積以及該第一向量和該第二向量之一點乘積，將該第二點影像與第二點相關聯；其中該處理器更配置成：基於該換算矩陣，得到該二維坐標系統中與該第一點相關聯的一第一投射點以及與該第二點相關聯的一第二投射點；得到該二維坐標系統中該第一投射點和該第一點影像之間的一第三距離；以及得到該二維坐標系統中該第二投射點和該第二點影像之間的一第四距離；為回應該第三距離和該第四距離之一總和大於一第二閾值，識別該病患之移動並且更新該手術途徑； 為回應識別該病患之移動，發出一第一命令以將該機器人臂組件移動到一安全點，並且基於該經過更新手術途徑，發出一第二命令以將該機器人臂組件從該安全點移動到該病患之一手術目標。
  8. 如請求項7所述之系統，其中該處理器更配置成基於一放大因子和一收縮因子，識別強度大於一第一閾值的第一點影像和第二點影像。
  9. 如請求項7所述之系統，其中該處理器更配置成將一二維坐標系統指定給該二維影像，並且識別該二維坐標系統中與該第一點影像和該第二點影像相關聯的坐標。
  10. 如請求項7所述之系統，其中該處理器更配置成：得到該二維坐標系統中與該第一點影像和該第二點影像相關聯的一幾何中心；得到該第一點影像和該幾何中心之間的一第一距離，以及該第二點影像和該幾何中心之間的一第二距離；以及基於該第一距離小於該第二距離，選擇該第一點影像作為一基點影像。
  11. 如請求項7所述之系統，其中該處理器更配置成：得到該二維坐標系統中與該第一點影像和該第二點影像相關聯的一幾何中心；得到該第一點影像和該幾何中心之間的一第一距離，以及該第二點影像和該幾何中心之間的一第二距離；以及基於該第一距離大於該第二距離，選擇該第一點影像作為一基點影像。
  12. 如請求項7所述之系統，其中該處理器更配置成驗證該經過更新手術途徑，以識別與該機器人臂組件相關聯的一碰撞。
  13. 一種可讀取儲存媒體，其含有一組可執行指令，該組可執行指令係回應透過一處理器的執行而使得該處理器進行一種用以更新一機器人臂組件之一手術途徑以對一病患進行手術的方法，該病患具有與一框架之一預定空間關係，該框架係包括回應該病患之一移動之一標籤，該方法包含：處理與該標籤相關聯的一二維影像，其中該標籤具有與該病患之該空間關係，其中該標籤為回應該病患之移動之一對應移動係基於該空間關係判定，並且其中該標籤包括一第一點及一第二點，並且該二維影像包括一第一點影像及一第二點影像；將該第一點影像與該第一點相關聯，並且將該第二點影像與該第二點相關聯；以及基於該第一點和該第二點以及該第一點影像和該第二點影像之一換算矩陣，更新該手術途徑；其中該將該第二點影像與該第二點相關聯更包含：得到一二維坐標系統中從一幾何中心到該第一點影像的一第一向量；得到該二維坐標系統中從該幾何中心到該第二點影像的一第二向量；以及基於該第一向量和該第二向量之一交叉乘積以及該第一向量和該第二向量之一點乘積，將該第二點影像與第二點相關聯；其中該更新該手術途徑更包括： 基於該換算矩陣，得到該二維坐標系統中與該第一點相關聯的一第一投射點以及與該第二點相關聯的一第二投射點；得到該二維坐標系統中該第一投射點和該第一點影像之間的一第三距離；以及得到該二維坐標系統中該第二投射點和該第二點影像之間的一第四距離；其中該方法更包含：為回應該第三距離和該第四距離之一總和大於一第二閾值，識別該病患之移動並且更新該手術途徑；為回應識別該病患之移動，將該機器人臂組件移動到一安全點；以及基於該經過更新手術途徑，將該機器人臂組件從該安全點移動到該病患之一手術目標。
TW108127112A 2018-08-01 2019-07-31 病患位置之術中追蹤方法、系統與可讀取儲存媒體 TWI733151B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862713522P 2018-08-01 2018-08-01
US62/713,522 2018-08-01
US201962820804P 2019-03-19 2019-03-19
US62/820,804 2019-03-19

Publications (2)

Publication Number Publication Date
TW202023488A TW202023488A (zh) 2020-07-01
TWI733151B true TWI733151B (zh) 2021-07-11

Family

ID=69231442

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108127112A TWI733151B (zh) 2018-08-01 2019-07-31 病患位置之術中追蹤方法、系統與可讀取儲存媒體

Country Status (8)

Country Link
US (1) US11998279B2 (zh)
EP (1) EP3829476A4 (zh)
JP (1) JP7457692B2 (zh)
KR (1) KR102488901B1 (zh)
CN (1) CN112770686A (zh)
CA (1) CA3107892C (zh)
TW (1) TWI733151B (zh)
WO (1) WO2020025001A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117243699B (zh) * 2023-11-14 2024-03-15 杭州三坛医疗科技有限公司 一种移位检测方法及装置

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101467887A (zh) * 2007-12-29 2009-07-01 复旦大学 一种手术导航***中x射线透视图像标定方法
CN101697869A (zh) * 2009-10-19 2010-04-28 沈国芳 手术导航用固定支架
CN102341054A (zh) * 2008-12-31 2012-02-01 直观外科手术操作公司 用于器械跟踪的构造标记设计和检测
CN102551892A (zh) * 2012-01-17 2012-07-11 *** 一种用于颅颌面外科手术的定位方法
CN104083217A (zh) * 2014-07-03 2014-10-08 北京天智航医疗科技股份有限公司 一种手术定位装置和方法以及机器人手术***
CN105050527A (zh) * 2013-03-15 2015-11-11 圣纳普医疗(巴巴多斯)公司 智能定位***和用于其的方法
WO2016058076A1 (en) * 2014-10-14 2016-04-21 Synaptive Medical (Barbados) Inc. Patient reference tool
WO2016154756A1 (en) * 2015-03-31 2016-10-06 7D Surgical Inc. Systems, methods and devices for tracking and calibration of flexible implements
WO2017114834A1 (en) * 2015-12-29 2017-07-06 Koninklijke Philips N.V. System, controller and method using virtual reality device for robotic surgery
CN107397591A (zh) * 2012-06-01 2017-11-28 直观外科手术操作公司 用于使用零空间避免操纵器臂之间碰撞的***和方法
CN107468351A (zh) * 2016-06-08 2017-12-15 北京天智航医疗科技股份有限公司 一种手术定位装置、定位***及定位方法
US20180092699A1 (en) * 2016-10-05 2018-04-05 Nuvasive, Inc. Surgical Navigation Systems and Methods

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6973202B2 (en) 1998-10-23 2005-12-06 Varian Medical Systems Technologies, Inc. Single-camera tracking of an object
US20130072784A1 (en) 2010-11-10 2013-03-21 Gnanasekar Velusamy Systems and methods for planning image-guided interventional procedures
FR2983059B1 (fr) * 2011-11-30 2014-11-28 Medtech Procede assiste par robotique de positionnement d'instrument chirurgical par rapport au corps d'un patient et dispositif de mise en oeuvre.
WO2013192598A1 (en) * 2012-06-21 2013-12-27 Excelsius Surgical, L.L.C. Surgical robot platform
US20190000569A1 (en) * 2012-06-21 2019-01-03 Globus Medical, Inc. Controlling a surgical robot to avoid robotic arm collision
US11116576B2 (en) 2012-06-21 2021-09-14 Globus Medical Inc. Dynamic reference arrays and methods of use
KR101993384B1 (ko) * 2012-10-24 2019-06-26 삼성전자주식회사 환자의 자세 변화에 따른 의료 영상을 보정하는 방법, 장치 및 시스템
KR101446173B1 (ko) * 2013-02-21 2014-10-01 주식회사 고영테크놀러지 트랙킹 시스템 및 이를 이용한 트랙킹 방법
US11278353B2 (en) * 2016-03-16 2022-03-22 Synaptive Medical Inc. Trajectory alignment system and methods
EP3102144B1 (en) * 2014-02-05 2019-09-18 Intuitive Surgical Operations, Inc. System and method for dynamic virtual collision objects
US9950194B2 (en) * 2014-09-09 2018-04-24 Mevion Medical Systems, Inc. Patient positioning system
US10413377B2 (en) * 2015-03-19 2019-09-17 Medtronic Navigation, Inc. Flexible skin based patient tracker for optical navigation
KR102371053B1 (ko) 2015-06-04 2022-03-10 큐렉소 주식회사 수술로봇 시스템
DK3145420T3 (da) * 2015-06-05 2020-10-26 Brain Navi Biotechnology Co Ltd Intraoperativ fremgangsmåde til tracking
CN107468350B (zh) * 2016-06-08 2020-12-08 北京天智航医疗科技股份有限公司 一种三维图像专用标定器、手术定位***及定位方法
KR101861176B1 (ko) * 2016-08-16 2018-05-28 주식회사 고영테크놀러지 정위수술용 수술로봇 및 정위수술용 수술로봇의 제어방법
CN106236258B (zh) * 2016-08-17 2019-03-12 北京柏惠维康科技有限公司 腹腔微创手术穿刺路径的规划方法及装置
FR3057757B1 (fr) * 2016-10-21 2021-04-16 Medtech Dispositif et procede de recalage automatique pour des images intra operatoires 3d
EP3531954A4 (en) 2016-10-25 2020-09-16 Mobius Imaging LLC PROCEDURE AND SYSTEM FOR ROBOT-ASSISTED SURGERY
CN106890025B (zh) 2017-03-03 2020-02-28 浙江大学 一种微创手术导航***和导航方法
GB2577718B (en) * 2018-10-03 2022-08-24 Cmr Surgical Ltd Feature identification

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101467887A (zh) * 2007-12-29 2009-07-01 复旦大学 一种手术导航***中x射线透视图像标定方法
CN102341054A (zh) * 2008-12-31 2012-02-01 直观外科手术操作公司 用于器械跟踪的构造标记设计和检测
CN101697869A (zh) * 2009-10-19 2010-04-28 沈国芳 手术导航用固定支架
CN102551892A (zh) * 2012-01-17 2012-07-11 *** 一种用于颅颌面外科手术的定位方法
CN107397591A (zh) * 2012-06-01 2017-11-28 直观外科手术操作公司 用于使用零空间避免操纵器臂之间碰撞的***和方法
CN105050527A (zh) * 2013-03-15 2015-11-11 圣纳普医疗(巴巴多斯)公司 智能定位***和用于其的方法
CN104083217A (zh) * 2014-07-03 2014-10-08 北京天智航医疗科技股份有限公司 一种手术定位装置和方法以及机器人手术***
WO2016058076A1 (en) * 2014-10-14 2016-04-21 Synaptive Medical (Barbados) Inc. Patient reference tool
WO2016154756A1 (en) * 2015-03-31 2016-10-06 7D Surgical Inc. Systems, methods and devices for tracking and calibration of flexible implements
WO2017114834A1 (en) * 2015-12-29 2017-07-06 Koninklijke Philips N.V. System, controller and method using virtual reality device for robotic surgery
CN107468351A (zh) * 2016-06-08 2017-12-15 北京天智航医疗科技股份有限公司 一种手术定位装置、定位***及定位方法
US20180092699A1 (en) * 2016-10-05 2018-04-05 Nuvasive, Inc. Surgical Navigation Systems and Methods

Also Published As

Publication number Publication date
JP2021532882A (ja) 2021-12-02
EP3829476A1 (en) 2021-06-09
CA3107892A1 (en) 2020-02-06
JP7457692B2 (ja) 2024-03-28
KR102488901B1 (ko) 2023-01-17
US20210307832A1 (en) 2021-10-07
TW202023488A (zh) 2020-07-01
EP3829476A4 (en) 2022-04-20
KR20210057724A (ko) 2021-05-21
WO2020025001A1 (en) 2020-02-06
CA3107892C (en) 2023-09-05
CN112770686A (zh) 2021-05-07
US11998279B2 (en) 2024-06-04

Similar Documents

Publication Publication Date Title
US10789739B2 (en) System and method for generating partial surface from volumetric data for registration to surface topology image data
US10265854B2 (en) Operating room safety zone
Wen et al. Hand gesture guided robot-assisted surgery based on a direct augmented reality interface
US7561733B2 (en) Patient registration with video image assistance
US9622824B2 (en) Method for automatically identifying instruments during medical navigation
CN110494096B (zh) 确定手术路径上一个或多个点的方法和***
EP2950735B1 (en) Registration correction based on shift detection in image data
JP2017526415A (ja) 術中追跡方法
Wen et al. In situ spatial AR surgical planning using projector-Kinect system
Ferguson et al. Toward image-guided partial nephrectomy with the da Vinci robot: exploring surface acquisition methods for intraoperative re-registration
Liu et al. On-demand calibration and evaluation for electromagnetically tracked laparoscope in augmented reality visualization
Hu et al. Occlusion-robust visual markerless bone tracking for computer-assisted orthopedic surgery
TWI733151B (zh) 病患位置之術中追蹤方法、系統與可讀取儲存媒體
Nema et al. Surgical instrument detection and tracking technologies: Automating dataset labeling for surgical skill assessment
Cai et al. Tracking multiple surgical instruments in a near-infrared optical system
Dowrick et al. Evaluation of a calibration rig for stereo laparoscopes
Ding et al. Volumetric accuracy analysis of virtual safety barriers for cooperative-control robotic mastoidectomy
US10102681B2 (en) Method, system and apparatus for adjusting image data to compensate for modality-induced distortion
CN113597288B (zh) 基于影像匹配确定手术路径的方法与***
WO2024112857A1 (en) Extended reality registration method using virtual fiducial markers
KR20240041681A (ko) 수술 로봇의 절삭 경로 플래닝 장치 및 그 방법
Hong et al. Phantom experiment of an ear surgery robot for automatic mastoidectomy