TWI735390B - 影像定位系統之即時定位補償方法及可即時定位補償之影像定位系統 - Google Patents
影像定位系統之即時定位補償方法及可即時定位補償之影像定位系統 Download PDFInfo
- Publication number
- TWI735390B TWI735390B TW109142264A TW109142264A TWI735390B TW I735390 B TWI735390 B TW I735390B TW 109142264 A TW109142264 A TW 109142264A TW 109142264 A TW109142264 A TW 109142264A TW I735390 B TWI735390 B TW I735390B
- Authority
- TW
- Taiwan
- Prior art keywords
- dimensional
- image
- real
- compensation
- positioning system
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/40—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management of medical equipment or devices, e.g. scheduling maintenance or upgrades
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2055—Optical tracking systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2055—Optical tracking systems
- A61B2034/2057—Details of tracking cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
- A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
- A61B2090/3904—Markers, e.g. radio-opaque or breast lesions markers specially adapted for marking specified tissue
- A61B2090/3916—Bone tissue
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
- A61B2090/3937—Visible markers
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
- A61B2090/3991—Markers, e.g. radio-opaque or breast lesions markers having specific anchoring means to fixate the marker to the tissue, e.g. hooks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
- G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
- G06K2019/06215—Aspects not covered by other subgroups
- G06K2019/06253—Aspects not covered by other subgroups for a specific application
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Business, Economics & Management (AREA)
- Radiology & Medical Imaging (AREA)
- General Business, Economics & Management (AREA)
- Robotics (AREA)
- Computer Graphics (AREA)
- Architecture (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Urology & Nephrology (AREA)
- Gynecology & Obstetrics (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
一種可即時定位補償之影像定位系統,包括:一立體標記裝置、一攝影裝置、一三維掃描裝置、一分光鏡以及一處理單元。立體標記裝置具有一多面立方體。分光鏡可使攝影裝置與三維掃描裝置分別經由同一視野取像和三維掃描立體標記裝置。處理單元用以運算攝影裝置與三維掃描裝置分別產生的影像資料和三維掃描資料,以取得一定位補償量,並進行定位補償。
Description
本發明是有關於一種影像定位技術,特別是有關於一種影像定位系統之即時定位補償方法及可即時定位補償之影像定位系統。
中華民國專利公告號I708591公開了一種骨科手術之三維即時定位方法,該方法透過將立體標記裝置固定在手術部位上,架設兩台攝影裝置,並設定為一主攝影裝置及一副攝影裝置,其分別位於該手術部位之兩側。當欲進行手術定位時,由主攝影裝置對立體標記裝置取像,一計算模組判斷立體標記裝置的多面立方體是否被遮蔽,當多面立方體沒有被遮蔽時,判斷主標記是否被遮蔽,當主標記沒有被遮蔽時,則主標記提供空間座標資訊,當主標記有被遮蔽時,則利用三個副標記推算出主標記之空間座標資訊。當多面立方體有被遮蔽時,則切換以副攝影裝置進行拍攝多面立方體,並判斷主標記是否被遮蔽,當主標記沒有被遮蔽時,則主標記提供空間座標資訊,當主標記有被遮蔽時,則利用三個副標記推算出主標記之空間座標資訊。
前述方法之立體標記裝置導入主副標記概念,當主標記被遮擋時,可透過周圍副標記即時推算出主標記的空間座標資訊,以確保手術定位不受醫護人員或物件遮蔽影響,進而增加醫療人員或手術房內物品的位置自由度,亦可降低醫療人員於手術房內移動的限制。惟手術過程中難免有人為疏失,例如碰撞,而使攝影裝置的定位原點發生改變,造成之後定位失準,影響手術品質。為確保發生定位誤差之後剩餘的手術能順利進行,提供一種影像定位系統之即時定位補償方法和可即時定位補償之影像定位系統,已成為影像定位技術亟欲解決的問題之一。
本發明之一目的是提供一種影像定位系統之即時定位補償方法及可即時定位補償之影像定位系統,其能藉由運算立體標記裝置的影像資料與三維掃描資料求得定位補償量,再對影像定位系統進行定位補償,提升習知影像定位系統的定位精度。
本發明之另一目的是提供一種影像定位系統之即時定位補償方法及可即時定位補償之影像定位系統,其能線上即時運算立體標記裝置的影像資料與三維掃描資料,快速進行影像定位系統的定位補償,降低定位失準對施作程序的影響。
依據上述之目的,本發明提供一種影像定位系統之即時定位補償方法,係提供一可即時定位補償之影像定位系統,用以定位一具有一多面立方體之立體標記裝置,其特徵在於,該影像定位系統之即時定位補償方法包括:以該可即時定位補償之影像定位系統自同一視野(FoV)分別產生該立體標記裝置之一影像資料和一三維掃描資料;利用座標轉換矩陣運算該影像資料及該三維掃描資料,以取得一定位補償量;以及以該定位補償量補
償該可即時定位補償之影像定位系統。
依據上述之目的,本發明另提供一種可即時定位補償之影像定位系統,包括:一立體標記裝置,其具有一多面立方體;一攝影裝置、一三維掃描裝置以及一分光鏡,該分光鏡可使該攝影裝置與該三維掃描裝置分別自同一視野取像和三維掃描該立體標記裝置;以及一處理單元,用以運算該攝影裝置與該三維掃描裝置分別產生的一影像資料和一三維掃描資料,以取得一定位補償量,並進行定位補償。
本發明以攝影裝置和三維掃描裝置分別透過分光鏡取得立體標記裝置的影像資料與掃描資料,並對立體標記裝置的影像資料與掃描資料進行運算以求出定位補償量,再對影像定位系統進行定位補償,實有提升習知影像定位系統的定位精度之功效。此外,本發明的定位補償方法可即時線上執行,可使影像定位系統定位失準對施作程序(例如外科手術)的影響降至最低。
1:影像定位系統
11:立體標記裝置
110:多面立方體
111:主標記
1111:主圖形編碼
112:副標記
1121,1122,1123:副圖形編碼
119:釘狀體
12:攝影裝置
13:處理單元
2:三維掃描裝置
3:分光鏡
4:施作部位
S10:硬體提供步驟
S20:硬體組設步驟
S30:校正步驟
S40:立體標記裝置取像與掃描步驟
S50:補償量運算步驟
S60:定位補償步驟
圖1 為本發明之影像定位系統之即時定位補償方法一實施例之步驟流程圖。
圖2 為本發明一實施例之立體標記裝置之立體示意圖。
圖3 為本發明一實施例之可即時定位補償之影像定位系統示意圖。
圖4 為本發明之影像定位系統之即時定位補償方法另一實施方式之步驟流程圖。
為讓本發明之上述或其他目的、特徵以及特點能更明顯易懂,茲配合圖式將本發明相關實施例詳細說明如下:
圖1為本發明之影像定位系統之即時定位補償方法一實施例之步驟流程圖,圖2為本發明一實施例之立體標記裝置之立體示意圖,圖3為本發明一實施例之可即時定位補償之影像定位系統示意圖。請參閱圖1,本發明影像定位系統之即時定位補償方法的一實施例包括以下步驟:硬體提供步驟(S10);硬體組設步驟(S20);校正步驟(S30);立體標記裝置取像與掃描步驟(S40);補償量運算步驟(S50);以及定位補償步驟(S60)。
請一併參閱圖1、圖2以及圖3,硬體提供步驟(S10)係提供一影像定位系統(1)、一三維掃描裝置(2)以及一分光鏡(3)。影像定位系統(1)包括至少一立體標記裝置(11)、一攝影裝置(12)以及一處理單元(13)。
至少一立體標記裝置(11)用來標記一欲定位的施作部位(4),每一立體標記裝置(11)包括:一多面立方體(110)及一釘狀體(119)。多面立方體(110)包括至少四面,該至少四面分別作為一個主標記(111)及複數個副標記(112)。例如,如圖2所示之多面立方體(110)包括十二面,亦即多面立方體(110)為十二面立方體,複數個副標記(112)為十個。主標記(111)包括一主圖形編碼(1111),其中三個副標記(112)分別包括第一副圖形編碼(1121)、第二副圖形編碼(1122)及第三副圖形編碼(1123),主圖形編碼(1111)用以提供一空間座標資訊,其作為計算六自由度姿態數據之用。例如,物體在空間具有六個自由度,即沿X、Y、Z三個直角坐標軸方向的移動自由度和繞這三個坐標軸的轉動自由度。主圖形編碼(1111)及第一至第三副圖形編碼(1121、1122、1123)為不同的快速響應矩陣圖形編碼(Quick Response Code,QR Code)。釘狀體(119)用以固定在欲定
位的施作部位(4)上。當施作部位(4)為脊椎時,則釘狀體(119)為一脊突釘。於本實施例中,所採用的立體標記裝置(11)的數目為3。
攝影裝置(12)具有一影像擷取單元(未繪示),用以拍攝立體標記裝置(11)的光學影像並將其轉換為數位訊號。處理單元(13)為具有運算功能的處理器,用以處理立體標記裝置(11)之影像資料和三維掃描資料,並進行定位補償。
三維掃描裝置(2)至少具有一影像擷取單元(未繪示)和一投射光源(如紅外線,未繪示),該投射光源投射一光束於立體標記裝置(11),該影像擷取單元擷取自立體標記裝置(11)反射的光束,用以取得立體標記裝置(11)幾何表面的圖像資料。
請一併參閱圖1和圖3,硬體組設步驟(S20)包括:將立體標記裝置(11)固定在施作部位(4);和架設攝影裝置(12)、三維掃描裝置(2)以及分光鏡(3)。於本實施例,施作部位(4)為脊椎,3個立體標記裝置(11)藉由釘狀體(119)(即脊突釘)固定在脊椎上。在攝影裝置(12)、三維掃描裝置(2)以及分光鏡(3)的架設上,係將攝影裝置(12)之光路與三維掃描裝置(2)之光路垂直相交,分光鏡(3)則設置於該二光路的相交處,使攝影裝置(12)與三維掃描裝置(2)可具有同一視野(視域,FoV)。以圖3所示之攝影裝置(12)和三維掃描裝置(2)的架設方式而言,攝影裝置(12)是組裝於分光鏡(3)的光束穿透端,三維掃描裝置(2)則是組裝於分光鏡(3)的光束反射端。惟本發明之攝影裝置(12)和三維掃描裝置(2)的架設方式並不以此為限,亦可將攝影裝置(12)和三維掃描裝置(2)的架設位置對調,即三維掃描裝置(2)組裝於分光鏡(3)的光束穿透端,而攝影裝置(12)組裝於分光鏡(3)的光束反射端。
請參閱圖1,校正步驟(S30)係對攝影裝置(12)和三維掃描裝置(2)進行校正,以提升擷取立體標記裝置(11)光學影像和幾何表面圖像資料的精度。已公開的攝影裝置(12)和三維掃描裝置(2)的校正方法眾多,熟悉此技藝之人士可依實際需求選擇適合的校正方法。
請一併參閱圖1和圖3,立體標記裝置取像與掃描步驟(S40)係以攝影裝置(12)和三維掃描裝置(2)分別取得立體標記裝置(11)的影像資料與三維掃描資料,此步驟包括:調整攝影裝置(12)、三維掃描裝置(2)及分光鏡(3),使立體標記裝置(11)能進入該視野;以攝影裝置(12)取像立體標記裝置(11)以取得其數位的影像資料,並傳遞該影像資料至處理單元(13);以及以三維掃描裝置(2)的投射光源投射一光束於立體標記裝置(11),三維掃描裝置(2)的影像擷取單元擷取自立體標記裝置(11)反射的光束,用以取得立體標記裝置(11)的三維掃描資料(即其幾何表面的圖像資料),並傳遞該三維掃描資料至處理單元(13)。
請參閱圖1,補償量運算步驟(S50)係由處理單元(13)運算立體標記裝置(11)的影像資料與三維掃描資料以取得影像定位系統(1)的定位補償量。處理單元(13)取得來自攝影裝置(12)的影像資料後,可依據立體標記裝置(11)的主標記(111)的主圖形編碼(1111)所提供的一空間座標資訊計算出立體標記裝置(11)的姿態數據。而當主標記(111)被遮蔽時,處理單元(13)則可利用三個副標記(112)的第一副圖形編碼(1121)、第二副圖形編碼(1122)及第三副圖形編碼(1123)推算出主標記(111)之空間座標資訊,算出立體標記裝置(11)的姿態數據。接下來,處理單元(13)藉由立體標記裝置(11)的姿態數據和三維掃描資料計算影像定位系統(1)之定位補償
量。
立體標記裝置(11)的影像資料是經由攝影裝置(12)擷取而來,而三維掃描資料是藉由三維掃描裝置(2)取得,因此,在對立體標記裝置(11)的姿態數據和三維掃描資料進行運算的過程中,便會涉及了不同座標系的轉換,相關轉換的算式如下所列:
Tc,m=Tc,cb x Tcb,m
Tcb,m=Tc,cb -1 x Tc,m
其中:
Tc,m表示立體標記裝置(11)於攝影裝置(12)(即影像定位系統(1))的轉換矩陣。
Tc,cb表示攝影裝置(12)(即影像定位系統(1))之座標系與三維掃描裝置(2)之座標系的轉換矩陣。
Tcb,m表示立體標記裝置(11)於三維掃描裝置(2)之座標系的轉換矩陣。
Tc,cb -1表示攝影裝置(12)(即影像定位系統(1))之座標系與三維掃描裝置(2)之座標系的轉換矩陣的逆矩陣。
立體標記裝置(11)於攝影裝置(12)(即影像定位系統(1))的補償轉換矩陣:
Tc,m'=Tc,m x Tcb,m'
其中:
Tc,m'表示立體標記裝置(11)於攝影裝置(12)(即影像定位系統(1))的補償轉換矩陣。
Tc,m表示立體標記裝置(11)於攝影裝置(12)(即影像定位系統(1))的轉換矩陣。
Tcb,m'表示立體標記裝置(11)於三維掃描裝置(2)的對位轉換矩陣。
也就是當計算取得Tcb,m後,會進行三維掃描裝置(2)的對位,即將立體標記裝置(11)與三維掃描裝置(2)做對位,此時會計算出一個轉換矩陣Tcb,m'。再由上面的算式即可求得立體標記裝置(11)於攝影裝置(12)(即影像定位系統(1))的補償轉換矩陣Tc,m'。
請參閱圖1,定位補償步驟(S60)係依照補償量運算步驟(S50)所運算求得的定位補償量對影像定位系統(1)進行定位補償。
以上所述之影像定位系統之即時定位補償方法適合於一施作程序(例如外科手術)進行之初執行,以確保施作程序過程中器械定位的精度,提升施作程序的作業品質。而在施作程序的中途,影像定位系統中的攝影裝置可能因為人為疏失(例如碰撞)而被移動,這時只要重新執行立體標記裝置取像與掃描步驟(S40)、補償量運算步驟(S50)以及定位補償步驟(S60)(請參閱圖4),即可再快速地回到施作程序,可使人為疏失對施作程序的影響降至最低。若是立體標記裝置因人為碰撞而移位,甚或脫落,這時可執行硬體組設步驟(S20),將移位或脫落之立體體標記裝置重新固定在施作部位,再執行校正步驟(S30)、立體標記裝置取像與掃描步驟(S40)、補償量運算步驟(S50)以及定位補償步驟(S60),即可即時完成影像定位系統之定位補償。
另外,請參閱圖3,本發明提供一種可即時定位補償之影像定位系統,包括:立體標記裝置(11),供固定於欲定位的一施作部位(4),立體標記裝置(11)具有一多面立方體(110);一攝影裝置(12),用以取像立體標記裝置(11),以取得其影像資料;一三維掃描裝置(2),用以掃描立體標記裝置(11),以取
得其三維掃描資料;一分光鏡(3),攝影裝置(12)之光路與三維掃描裝置(2)之光路垂直相交,分光鏡(3)設置於該二光路的相交處,使攝影裝置(12)與三維掃描裝置(2)具有同一視野(FoV);以及一處理單元(13),用以運算立體標記裝置(11)之影像資料和三維掃描資料,並進行定位補償。
本發明以攝影裝置和三維掃描裝置分別透過分光鏡取得立體標記裝置的影像資料與三維掃描資料,並對立體標記裝置的影像資料與三維掃描資料進行運算以求出定位補償量,再對影像定位系統進行定位補償,實有提升習知影像定位系統的定位精度之功效。此外,本發明的定位補償方法可即時線上執行,使影像定位系統定位失準對施作程序(例如外科手術)的影響可降至最低。
綜上所述,乃僅記載本發明為呈現解決問題所採用的技術手段之較佳實施方式或實施例而已,並非用以限定本發明專利實施之範圍。即凡與本發明專利申請範圍文義相符,或依本發明專利範圍所做的均等變化與修飾,皆為本發明專利範圍所涵蓋。
1:影像定位系統
11:立體標記裝置
12:攝影裝置
13:處理單元
2:三維掃描裝置
3:分光鏡
4:施作部位
Claims (10)
- 一種影像定位系統之即時定位補償方法,係提供一可即時定位補償之影像定位系統,用以定位一具有一多面立方體之立體標記裝置,其特徵在於,該影像定位系統之即時定位補償方法包括:以該可即時定位補償之影像定位系統自同一視野(FoV)分別產生該立體標記裝置之一影像資料和一三維掃描資料;利用座標轉換矩陣運算該影像資料及該三維掃描資料,以取得一定位補償量;以及以該定位補償量補償該可即時定位補償之影像定位系統。
- 如請求項第1項所述之影像定位系統之即時定位補償方法,其中,該可即時定位補償之影像定位系統是藉由一分光鏡使該影像資料和該三維掃描資料取自同一視野。
- 如請求項第2項所述之影像定位系統之即時定位補償方法,其中,該可即時定位補償之影像定位系統更包含一攝影裝置和一三維掃描裝置,該攝影裝置之光路與該三維掃描裝置之光路垂直相交,該分光鏡是設置於該二光路的相交處。
- 如請求項第3項所述之影像定位系統之即時定位補償方法,其中,於該可即時定位補償之影像定位系統產生該影像資料及該三維掃描資料步驟之前,校正該攝影裝置及該三維掃描裝置。
- 如請求項第4項所述之影像定位系統之即時定位補償方法,其中,於利用座標轉換矩陣運算該影像資料及該三維掃描資料的步驟中,係利用以下算式取得該定位補償量:Tc,m=Tc,cb x Tcb,m;Tcb,m=Tc,cb -1 x Tc,m;Tc,m'=Tc,m x Tcb,m';其中:Tc,m表示該立體標記裝置於該攝影裝置的轉換矩陣;Tc,cb表示該攝影裝置之座標系與該三維掃描裝置之座標系的轉換矩陣;Tcb,m表示該立體標記裝置於該三維掃描裝置之座標系的轉換矩陣;Tc,cb -1表示該攝影裝置之座標系與該三維掃描裝置之座標系的轉換矩陣的逆矩陣;Tc,m'表示該立體標記裝置於該攝影裝置的補償轉換矩陣;Tc,m表示該立體標記裝置於該攝影裝置的轉換矩陣;以及Tcb,m'表示該立體標記裝置於該三維掃描裝置的對位轉換矩陣。
- 如請求項第1項所述之影像定位系統之即時定位補償方法,其中,於以該定位補償量補償該可即時定位補償之影像定位系統步驟之後,更再次執行請求項第1項所述之全部步驟。
- 一種可即時定位補償之影像定位系統,包括:一立體標記裝置,其具有一多面立方體;一攝影裝置、一三維掃描裝置以及一分光鏡,該分光鏡可使該攝影裝置與該三維掃描裝置分別自同一視野取像和三維掃描該立體標記裝置;以及一處理單元,用以運算該攝影裝置與該三維掃描裝置分別產生的一影像資料和一三維掃描資料,以取得一定位補償量,並進行定位補償。
- 如請求項第7項所述之可即時定位補償之影像定位系統,其中,該攝影裝置之光路與該三維掃描裝置之光路垂直相交, 該分光鏡設置於該二光路的相交處,使該攝影裝置與該三維掃描裝置具有該同一視野。
- 如請求項第8項所述之可即時定位補償之影像定位系統,其中,該攝影裝置是設置於該分光鏡的光束穿透端,該三維掃描裝置是設置於該分光鏡的光束反射端。
- 如請求項第7項所述之可即時定位補償之影像定位系統,其中,該多面立方體包括至少四面,該至少四面分別作為一個主標記及複數個副標記,該主標記用以提供一空間座標資訊,當該主標記被遮蔽時,該處理單元利用該複數個副標記推算出該主標記之該空間座標資訊。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW109142264A TWI735390B (zh) | 2020-12-01 | 2020-12-01 | 影像定位系統之即時定位補償方法及可即時定位補償之影像定位系統 |
US17/387,287 US20220172445A1 (en) | 2020-12-01 | 2021-07-28 | Method for real-time positioning compensation of image positioning system and image positioning system capable of real-time positioning compensation |
CN202111419437.5A CN114569257A (zh) | 2020-12-01 | 2021-11-26 | 实时定位补偿方法及可实时定位补偿的影像定位*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW109142264A TWI735390B (zh) | 2020-12-01 | 2020-12-01 | 影像定位系統之即時定位補償方法及可即時定位補償之影像定位系統 |
Publications (2)
Publication Number | Publication Date |
---|---|
TWI735390B true TWI735390B (zh) | 2021-08-01 |
TW202222271A TW202222271A (zh) | 2022-06-16 |
Family
ID=78283056
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW109142264A TWI735390B (zh) | 2020-12-01 | 2020-12-01 | 影像定位系統之即時定位補償方法及可即時定位補償之影像定位系統 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220172445A1 (zh) |
CN (1) | CN114569257A (zh) |
TW (1) | TWI735390B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114948211A (zh) * | 2022-06-28 | 2022-08-30 | 南京普爱医疗设备股份有限公司 | 一种骨科手术机器人示踪装置及自补偿跟踪方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW200742600A (en) * | 2006-05-05 | 2007-11-16 | Pixart Imaging Inc | Pointer positioning device and method |
CN107367716A (zh) * | 2017-07-04 | 2017-11-21 | 武汉大学 | 一种高精度星载sar几何定标方法 |
CN109029368A (zh) * | 2018-05-29 | 2018-12-18 | 淮阴师范学院 | 像方补偿的遥感影像/sar影像高精度几何定位后处理方法 |
US10715245B2 (en) * | 2016-12-06 | 2020-07-14 | Skeyeon, Inc. | Radio frequency data downlink for a high revisit rate, near earth orbit satellite system |
US10746873B2 (en) * | 2010-07-29 | 2020-08-18 | B-K Medical Aps | Motion-compensated ultrasound images |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1842294A (zh) * | 2003-07-01 | 2006-10-04 | 色诺根公司 | 多模式内部成像 |
TWI500963B (zh) * | 2010-06-29 | 2015-09-21 | Chroma Ate Inc | An image capturing device and method |
WO2016014718A1 (en) * | 2014-07-23 | 2016-01-28 | Kineticor, Inc. | Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan |
JP2019097851A (ja) * | 2017-12-01 | 2019-06-24 | 国立大学法人 鹿児島大学 | 歯科手術支援システム及びプログラム |
FI20185073A1 (fi) * | 2018-01-26 | 2019-07-27 | Palodex Group Oy | Kannettava puruosa potilaan kuvausalueen määrittämistä varten panoraama-, tietokonetomografia- tai kefalometrisessa röntgenkuvauksessa |
TWI708591B (zh) * | 2019-12-06 | 2020-11-01 | 財團法人金屬工業研究發展中心 | 骨科手術之三維即時定位方法 |
CN111568547A (zh) * | 2020-06-17 | 2020-08-25 | 刘庆伟 | 一种外科手术精确定位指导*** |
-
2020
- 2020-12-01 TW TW109142264A patent/TWI735390B/zh active
-
2021
- 2021-07-28 US US17/387,287 patent/US20220172445A1/en active Pending
- 2021-11-26 CN CN202111419437.5A patent/CN114569257A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW200742600A (en) * | 2006-05-05 | 2007-11-16 | Pixart Imaging Inc | Pointer positioning device and method |
US10746873B2 (en) * | 2010-07-29 | 2020-08-18 | B-K Medical Aps | Motion-compensated ultrasound images |
US10715245B2 (en) * | 2016-12-06 | 2020-07-14 | Skeyeon, Inc. | Radio frequency data downlink for a high revisit rate, near earth orbit satellite system |
CN107367716A (zh) * | 2017-07-04 | 2017-11-21 | 武汉大学 | 一种高精度星载sar几何定标方法 |
CN109029368A (zh) * | 2018-05-29 | 2018-12-18 | 淮阴师范学院 | 像方补偿的遥感影像/sar影像高精度几何定位后处理方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114569257A (zh) | 2022-06-03 |
US20220172445A1 (en) | 2022-06-02 |
TW202222271A (zh) | 2022-06-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Grubert et al. | A survey of calibration methods for optical see-through head-mounted displays | |
Harders et al. | Calibration, registration, and synchronization for high precision augmented reality haptics | |
Duan et al. | 3D tracking and positioning of surgical instruments in virtual surgery simulation. | |
US7242818B2 (en) | Position and orientation sensing with a projector | |
Khadem et al. | Comparative tracking error analysis of five different optical tracking systems | |
CN100416336C (zh) | 校准真实和虚拟视图 | |
JP5476036B2 (ja) | 網膜投影型ヘッドマウントディスプレイ装置を用いた手術ナビゲーションシステムおよびシミュレーションイメージの重ね合わせ方法 | |
CN113940755A (zh) | 一种术像一体的外科手术规划与导航方法 | |
Fan et al. | Spatial position measurement system for surgical navigation using 3-D image marker-based tracking tools with compact volume | |
WO2020104041A1 (en) | Multiple camera calibration | |
US20210174950A1 (en) | Stereoscopic marker device and three-dimensional real-time positioning method of orthopedic surgery | |
CN109498156A (zh) | 一种基于三维扫描的头部手术导航方法 | |
Martin-Gomez et al. | STTAR: surgical tool tracking using off-the-shelf augmented reality head-mounted displays | |
CN112190328A (zh) | 一种全息透视定位***及定位方法 | |
TWI735390B (zh) | 影像定位系統之即時定位補償方法及可即時定位補償之影像定位系統 | |
CN114224489B (zh) | 用于手术机器人的轨迹跟踪***及利用该***的跟踪方法 | |
CN113520603A (zh) | 一种基于内窥镜的微创手术机器人*** | |
Herregodts et al. | An improved method for assessing the technical accuracy of optical tracking systems for orthopaedic surgical navigation | |
CN112998856B (zh) | 三维实时定位方法 | |
JP5087571B2 (ja) | 三次元像表示装置の座標校正方法 | |
TW201519856A (zh) | 手術定位方法 | |
CN114782546B (zh) | 一种级联立体视觉***从眼设备的标眼关系标定方法 | |
TWM605788U (zh) | 定位系統 | |
TWI758857B (zh) | 定位系統以及定位方法 | |
Lorsakul et al. | Point-cloud-to-point-cloud technique on tool calibration for dental implant surgical path tracking |