TW201924612A - 骨手術導航系統與用於骨手術的影像導航方法 - Google Patents

骨手術導航系統與用於骨手術的影像導航方法 Download PDF

Info

Publication number
TW201924612A
TW201924612A TW106142744A TW106142744A TW201924612A TW 201924612 A TW201924612 A TW 201924612A TW 106142744 A TW106142744 A TW 106142744A TW 106142744 A TW106142744 A TW 106142744A TW 201924612 A TW201924612 A TW 201924612A
Authority
TW
Taiwan
Prior art keywords
bone
image
distance
tissue
surgery
Prior art date
Application number
TW106142744A
Other languages
English (en)
Other versions
TWI642404B (zh
Inventor
劉璟鋒
Original Assignee
奇美醫療財團法人奇美醫院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 奇美醫療財團法人奇美醫院 filed Critical 奇美醫療財團法人奇美醫院
Priority to TW106142744A priority Critical patent/TWI642404B/zh
Priority to CN201811353472.XA priority patent/CN109875685B/zh
Application granted granted Critical
Publication of TWI642404B publication Critical patent/TWI642404B/zh
Priority to US16/210,463 priority patent/US10912531B2/en
Priority to JP2018228067A priority patent/JP6737865B2/ja
Publication of TW201924612A publication Critical patent/TW201924612A/zh

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5235Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/032Transmission computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46Arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • A61B6/466Displaying means of special interest adapted to display 3D data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/505Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of bone
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations
    • A61B2034/105Modelling of the patient, e.g. for ligaments or bones
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/501Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of the head, e.g. neuroimaging or craniography

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Robotics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Physiology (AREA)
  • Pulmonology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一種骨手術導航系統與用於骨手術的影像導航方法,適用於搭配由CT影像建立之三維骨頭模型來進行骨手術導航,藉由分析三維骨頭模型以定位出骨性標誌之空間座標,並3D掃描取得該骨頭的骨頭輪廓影像,且分析定位出對應該等骨性標誌之對位特徵標誌的空間座標後,再將該等對位特徵標誌與該等骨性標誌進行空間對位,而將該骨頭輪廓影像等比例重疊於該三維骨頭模型,以建立三維骨手術導航影像。藉此影像導航方法設計,能在骨手術過程中,準確提供手術凹陷區相對於該骨頭內之特定組織的空間方位與距離資訊,有助於降低手術風險而提高手術成功率。

Description

骨手術導航系統與用於骨手術的影像導航方法
本發明是有關於一種導航系統與導航方法,特別是指一種用於進行骨手術的導航系統與影像導航方法。
顳骨為頭骨的一部分,耳的許多重要結構與組織都深藏於顳骨內,包括外耳、中耳、內耳前庭迷路、面神經與血管等,因為上述結構與組織非常細小且隱藏於緻密之骨頭內,所以必須使用高速電鑽進行磨削才能使上述結構與組織外露。由於顳骨中具有上述重要組織,且緊鄰顱腔,若在手術過程中不甚切斷面神經,將會造成患者周圍性面癱,若傷及血管或腦膜,則可發生致命的嚴重并發癥,例如頸內動脈破損大出血,引發腦脊液外漏與腦膜炎等。故顳骨手術一直是耳科手術中難度最高的一門,耳科醫師若非經過長久的專業訓練熟練技巧後,通常很難勝任。
目前進行顳骨手術的方式,是由醫師根據電腦斷層掃描所建立之三維頭骨影像模型來確認顳骨中之病徵位置與相關組織的位置,然後再透過手術切削研磨器械開始對顳骨進行削磨,醫師會根據其經驗判斷當前削磨部位所顯示之顏色或外露之骨結構,來判斷顱膜、面神經與血管等重要組織的相對位置,並決定後續削磨方向、深度,以及是否更換削磨器械等。也就是說,醫師僅能根據手術前的電腦斷層影像以及其手術經驗,來尋找確認病徵並避開重要組織,所以手術風險高,醫師亦需承受很大的壓力。
因此,本發明的目的,即在提供一種能改善先前技術之至少一個缺點的骨手術導航系統。
於是,本發明骨手術導航系統,適用於配合一個由X射線斷層影像所建立的三維骨頭模型進行對應之骨頭的骨手術導航,所述三維骨頭模型具有多個骨性標誌,該骨手術導航系統包含一個用以掃描該骨頭外形而對應輸出一個骨頭輪廓影像的3D掃描儀,及一個用以接收處理該三維骨頭模型且訊號連接於該3D掃描儀的影像導航裝置,該影像導航裝置包括一個用以顯示出該骨頭輪廓影像的顯示單元、一個對位特徵定位單元,及一個影像對位單元,該對位特徵定位單元能分析定位出該三維骨頭模型之該等骨性標誌的空間座標,且能分析該骨頭輪廓影像以識別出多個分別與該等骨性標誌對應之對位特徵標誌,並定位出每一對位特徵標誌之空間座標。該影像對位單元能將該等對位特徵標誌之該等空間座標分別與該等骨性標誌之該等空間座標進行空間對位,而將該骨頭輪廓影像與該三維骨頭模型等比例重疊,以建立一個顯示於該顯示單元的三維骨手術導航影像。
一種用於骨手術的影像導航方法,適用於搭配一個由X射線斷層影像所建立的三維骨頭模型來進行對應之骨頭的骨手術導航,該三維骨頭模型具有多個骨性標誌。該骨手術導航方法包含以下步驟:(A)讀取分析該三維骨頭模型以定位出該等骨性標誌之空間座標;(B)3D掃描取得該骨頭的骨頭輪廓影像,並分析該骨頭輪廓影像以識別出多個分別對應該等骨性標誌之對位特徵標誌,並定位出每一對位特徵標誌的空間座標;及(C)以該等對位特徵標誌之該等空間座標與該等骨性標誌之該等空間座標進行空間對位,而將該骨頭輪廓影像等比例重疊於該三維骨頭模型,以建立一個三維骨手術導航影像。
本發明之功效在於:透過將要進行手術之骨頭的該骨頭輪廓影像,與針對該骨頭所建立之該三維骨頭模型進行等比例重疊,而建立該三維骨手術導航影像的設計,能在骨手術過程中,準確提供手術凹陷區相對於該骨頭內之特定組織的空間方位與距離資訊,有助於降低手術風險而提高手術成功率。
本發明將就下面的實施例來做進一步說明,但應瞭解的是,該等實施例僅是供例示說明用,而不應被解釋為本發明的實施上的限制,且類似的元件是以相同的編號來表示。
參閱圖1、3、4,本發明骨手術導航系統的第一實施例,適用於設置在一個手術台600上,並能配合一個由X射線斷層影像所建立的三維骨頭模型800來進行一個骨頭701之骨手術導航。在本實施例中,所述三維骨頭模型800是針對頭骨所建立,而待進行骨手術之該骨頭701是以頭骨中的顳骨為例進行說明,該三維骨頭模型800對應該骨頭701的部位表面外露有多個可供識別的骨性標誌801,且會透視顯示其位於該骨頭701內部之特定組織的組織影像802,所述組織影像802例如但不限於面神經、腦膜與血管等。待進行骨手術之該骨頭701的表面設置有多個分別與該等骨性標誌801對應的定位件703,所述定位件703例如但不限於定位貼紙、定位塊。所述骨手術會將覆蓋在該骨頭701外之皮膚與肌肉組織翻開而使該骨頭701局部外露,且會對該骨頭701外露表面進行削磨處理,會使該骨頭701表面形成一個手術凹陷區702(如圖5所示)。但實施時,所適用之該骨頭701不以顳骨為限
該骨手術導航系統包含多個能用以設置在該骨頭701的標記件5、一個3D掃描儀3,及一個訊號連接於該3D掃描儀3之影像導航裝置4。該3D掃描儀3與該影像導航裝置4能在骨手術過程中,協助定位該骨頭701被削磨產生之該手術凹陷區702與位於該骨頭701內部之組織影像802間的相對位置關係。
該等標記件5為能被該3D掃描儀3掃描以形成影像的物件,例如但不限於貼紙或塊體。在該骨手術過程中,醫護人員可針對該手術凹陷區702中其需要特別瞭解注意之部位表面各別設置一個標記件5,以便後續供該3D掃描儀3掃描。
該3D掃描儀3能供醫護人員持用操作,以對已被設置該等定位件703與該等標記件5之該骨頭701之外表進行3D掃描,而對應輸出一個顯示有該等定位件703與該等標記件5的骨頭輪廓影像30。由於以該3D掃描儀3掃描物體以建立該物體之3D影像的技術眾多,且非為本發明之改良重點,因此不再詳述。
參閱圖2、3、4,該影像導航裝置4包括一個能顯示該三維骨頭模型800與該骨頭輪廓影像30的顯示單元41、一個對位特徵定位單元42、一個影像對位單元43、一個輪廓分析單元44、一個方位分析單元45,及一個組織距離分析單元46。
該對位特徵定位單元42能分析該三維骨頭模型800以識別出對應該骨頭701的該等骨性標誌801,並定位出該等骨性標誌801的空間座標。該對位特徵定位單元42還會分析該骨頭輪廓影像30以識別出該等定位件703而得到多個對位特徵標誌421,且會分析該骨頭輪廓影像30以識別出該等標記件5,並會進一步定位出該等對位特徵標誌421與該等標記件5的空間座標。
該影像對位單元43會將該骨頭輪廓影像30之該等對位特徵標誌421與該三維骨頭模型800之該等骨性標誌801進行空間對位處理,而將該骨頭輪廓影像30等比例重疊於該三維骨頭模型800之對應位置,會以該骨頭輪廓影像30取代該三維骨頭模型800中相對應之部位,而建立一個顯示於該顯示單元41的三維骨手術導航影像430,且該三維骨手術導航影像430能供操作旋轉,而能供醫師從不同角度觀看。該三維骨手術導航影像430會顯示出要進行骨手術之該骨頭701的當前表面輪廓外觀,且還會將原先在該三維骨頭模型800中被透視顯示出的該組織影像802,以透視方式重疊顯示於該骨頭輪廓影像30內。
配合參閱圖5,當該骨頭701有被設置該等標記件5時,該影像對位單元43還會同步於該三維骨手術導航影像430中對應標示出該等標記件5。
參閱圖2、4、5,該輪廓分析單元44會接收分析該骨手術過程中前後產生的多個骨頭輪廓影像30,以識別出該骨頭701被削磨凹陷所產生之該手術凹陷區702的一個凹陷輪廓面440,並於利用當前之該骨頭輪廓影像30所建立之該三維骨手術導航影像430中對應標示出該凹陷輪廓面440,且會將該凹陷輪廓面440劃分成多個監測區(圖未示)。
該方位分析單元45會分析該三維骨手術導航影像430中之該凹陷輪廓面440與該組織影像802之相對位置關係,而輸出一個組織分佈方位資料,也就是定位出該組織影像802是延伸分佈於該凹陷輪廓面440的哪一個方位。
該組織距離分析單元46包括一個最短距離分析模組461、一個縱向距離分析模組462、一個水平距離分析模組463,及一個距離警示模組464。
該最短距離分析模組461會根據該組織分佈方位資料,分析該凹陷輪廓面440中面向該組織影像802之一側的每一個監測區相對於該組織影像802的最短距離。當該骨頭701之該手術凹陷區702有被設置該等標記件5時,該最短距離分析模組461還會分析取得位於該凹陷輪廓面440中之每一標記件5與該組織影像802的最短距離。
該縱向距離分析模組462會根據該組織分佈方位資料,分析該凹陷輪廓面440中位於該組織影像802上方之每一個監測區相對於該組織影像802的縱向距離。當該骨頭701之該手術凹陷區702有被設置該等標記件5時,該縱向距離分析模組462還會分析取得位於該凹陷輪廓面440中之每一標記件5相對於該組織影像802的縱向距離。
該水平距離分析模組463會根據該組織分佈方位資料,分析該凹陷輪廓面440中位於該組織影像802水平側的每一個監測區相對於該組織影像802的水平距離。當該骨頭701之該手術凹陷區702有被設置該等標記件5時,該水平距離分析模組463還會分析取得位於該凹陷輪廓面440中之每一標記件5相對於該組織影像802的水平距離。
該組織距離分析單元46會彙整該等監測區之該等最短距離、該等縱向距離與該等水平距離以建立一個組織距離資料。
實施時,在本發明之另一實施態樣中,可使該組織距離分析單元46直接於該凹陷輪廓面440顯示之每一標記件5周圍標記顯示出對應之該最短距離、該縱向距離與該水平距離,讓醫師清楚瞭解其所要注意之部位與該組織影像80間的相對位置關係。
該距離警示模組464內建有能供操作啟動的一個最短距離警示模式、一個縱向距離警示模式與一個水平距離警示模式,且能供操作以設定一個警示距離。該距離警示模組464會於***作啟動該最短距離警示模式時,分析該組織距離資料中之該等最短距離,並比對出該最短距離小於該警示距離的每一個監測區,且於該三維骨手術導航影像430的該凹陷輪廓面440警示標記其比對出之每一個監測區。
同樣的,針對該縱向距離警示模式與該水平距離警示模式,該距離警示模組464會根據被設定之該警示距離分析該組織距離資料中之該等縱向距離與該等水平距離,藉以比對出該縱向距離小於該警示距離之每一監測區,以及比對出該水平距離小於該警示距離之每一監測區,並於該三維骨手術導航影像430中警示標記比對出之每一監測區。
在本實施例中,該距離警示模組464是以顏色的明暗亮度來進行不同距離的警示標記,能讓進行手術之醫師直觀瞭解被警示標記之每一監測區相對於該組織影像802的該最短距離、該縱向距離與該水平距離之差異。實施時,針對該最短距離、該縱向距離與該水平距離之警示標記,可分別採用不同顏色以進行區別,但實施時不以上述警示標記方式為限。
參閱圖3、4、6,本發明骨手術導航系統用以進行該骨頭701之骨手術的影像導航方法包含以下步驟:
步驟901:讀取分析該三維骨頭模型800。以該骨手術導航系統讀取分析該三維骨頭模型800,藉以識別出該三維骨頭模型800中位於該骨頭701的多個骨性標誌801,並定位出該等骨性標誌801的空間座標。所述骨性標誌801為能供識別該骨頭701的特殊外觀結構,就顳骨而言,所述骨性標誌801例如但不限於外耳道口周緣、顳骨乳突與顳骨鞘突等。
步驟902:3D掃描分析待進行骨手術之該骨頭701。在該骨手術過程中,醫護人員是於該骨頭701對應該三維骨頭模型800的該等骨性標誌801的位置分別設置該等定位件703,然後以該骨手術導航系統3D掃描該骨頭701之表面輪廓以建立該骨頭輪廓影像30,並分析識別該骨頭輪廓影像30中之該等定位件703以得到該等對位特徵標誌421,且定位出該等對位特徵標誌421的空間座標。
步驟903:建立三維骨手術導航影像430。使該骨手術導航系統將該骨頭輪廓影像30之該等對位特徵標誌421與該三維骨頭模型800之該等骨性標誌801進行空間對位,使該骨頭輪廓影像30等比例重疊於具透視效果的該三維骨頭模型800,而建立該三維骨手術導航影像430,使原本透視顯示於該三維骨頭模型800中的組織影像802透視顯示於該骨頭輪廓影像30中。
實施時,可使該三維骨手術導航影像430亦以透視方式於該骨頭輪廓影像30透視顯示該組織影像802,或者是以虛線方式於該骨頭輪廓影像30中標示出該組織影像802之外形輪廓。
步驟904:分析凹陷輪廓面440與定位組織方位。配合參閱圖5,使該骨手術導航系統分析該骨手術過程中之多張骨頭輪廓影像30,例如分析進行骨手術前的一個骨頭輪廓影像30與骨手術中之當前的一個骨頭輪廓影像30的差異,而取得該手術凹陷區702的凹陷輪廓面440,並於針對當前該骨頭輪廓影像30所建立之該三維骨手術導航影像430中顯示出該凹陷輪廓面440,並進一步分析該凹陷輪廓面440相對於該組織影像802的空間方位,而得到該組織方位資訊。但實施時,取得該凹陷輪廓面440的方式不以此為限。
步驟905:組織距離分析與警示。使該骨手術導航系統根據該組織方位資訊分析該凹陷輪廓面440之每一監測區相對於該組織影像802的該最短距離、該縱向距離與該水平距離,且根據被設定之該警示距離,分析該等監測區之該最短距離、該縱向距離與該水平距離,並於該三維骨手術導航影像430中標記顯示出該最短距離、該縱向距離或該水平距離小於該警示距離的每一個監測區,讓進行手術之醫師可清楚瞭解當前之該手術凹陷區702中的各個監測面相對於組織影像802的距離,能供醫師作為該骨手術之後續步驟的參考。
在該骨頭701之骨手術進行期間,每當醫師對該骨頭701削磨掉一些骨結構物後,就使該骨手術導航系統重新對該骨頭701進行3D掃描,並透過該步驟902~該步驟905針對當前的該骨頭輪廓影像30建立一個新的三維骨手術導航影像430,並重新分析取得當前的該凹陷輪廓面440,以及分析該凹陷輪廓面440之各個監測區對於該組織影像802的距離,而能夠在骨手術過程中,提供醫師關於該骨頭701之該手術凹陷區702相對於特定組織的方位與距離資訊,而能對該骨頭701之該骨手術進行導航。
當醫師需要知道該凹陷輪廓面440之特定部位與該組織影像802的相對距離時,可將一個標記件5設置在欲瞭解之部位,然後重新進行3D掃描並建立該三維骨手術導航影像430,使該骨手術導航系統特別顯示該標記件5設置部位與該組織影像802的距離。
必須說明的是,在本實施例中,該3D掃描儀3是針對已被設置該等定位件703之該骨頭701進行3D掃描,以得到具有該等定位件703的該骨頭輪廓影像30,然後再進一步分析識別出該骨頭輪廓影像30中之該等定位件703,以得到所需之該等對位特徵標誌421。但實施時,在本發明之另一實施態樣中,要被進行骨手術之該骨頭701不以設置該等定位件703為必要,可使該3D掃描儀3直接掃描該骨頭701以得到該骨頭輪廓影像30後,再由該影像導航裝置4進一步分析該骨頭輪廓影像30中直接對應該三維骨頭模型800之該等骨性標誌801的部位以取得該等對位特徵標誌421,同樣能用以進行該骨頭輪廓影像30與該三維骨頭模型800之等比例對位重疊。
參閱圖4、7,本發明骨手術導航系統之第二實施例與該第一實施例差異處在於:該影像導航裝置4之設計。為方便說明,以下將僅針對本第二實施例與該第一實施例差異處進行描述。
在本第二實施例中,該影像導航裝置4還包括一個特徵標示單元47,該特徵標示單元47能供醫護人員操作,以手動方式於該顯示單元41顯示之該骨頭輪廓影像30中標示出用以和該等骨性標誌801進行空間對位的該等對位特徵標誌421。
在本實施例中,該特徵標示單元47是與該顯示單元41整合在一起,能供透過觸控該顯示單元41的方式,直接於該顯示單元41顯示之該骨頭輪廓影像30標示出該等對位特徵標誌421。但實施時,在本發明之其它實施態樣中,該特徵標示單元47也能透過鍵盤與滑鼠等輸入設備介面,而於該顯示單元41顯示之該骨頭輪廓影像30中標示出該等對位特徵標誌421。
參閱圖4、8,本發明骨手術導航系統之第三實施例與該第一實施例差異處在於:該影像導航裝置4之設計。
在本第三實施例中,該3D掃描儀3是能被調整影像擷取角度地設置在該手術台(圖未示),例如透過機械手臂(圖未示)設置於該手術台。由於將3D掃描儀3架設於該手術台的方式眾多,因此不再詳述。
該影像導航裝置4還包括一個定時控制單元48,該定時控制單元48被啟動時,能供操作以設定一個定時掃描時間,例如5分鐘、10分鐘或30分鐘。
在該骨手術導航過程中,當該定時控制單元48被啟動且被設定該定時掃描時間時,該定時控制單元48會開始不斷地重複計時該定時掃描時間。每當目前之該定時掃描時間即將計時結束時,例如僅剩10秒、30秒或1分鐘時,會開始發出用以提醒醫護人員之提醒聲響,醫護人員於聽到該提醒聲響時,可暫停該骨手術之削磨作業,並將該手術凹陷區702清理乾淨。
該定時控制單元48會於該定時掃描時間計時結束時,觸發該3D掃描儀3掃描輸出該骨頭輪廓影像,並觸發該對位特徵定位單元42、該影像對位單元43、該輪廓分析單元44、該方位分析單元45與該組織距離分析單元46,而自動針對該骨頭701建立該三維骨手術導航影像430,以及分析提供該手術凹陷區702相對於該骨頭701內之特定組織的空間方位與距離資訊。
該定時控制單元48於目前之該定時掃描時間計時結束後,會立即重新計時該定時掃描時間。藉此設計,使得該骨手術導航系統2能每間隔該定時掃描時間就自動進行掃描建立該三維骨手術導航影像430,並提供該手術凹陷區702相對於該骨頭701內之特定組織的空間方位與距離資訊,醫護人員不必再另外手持操作該3D掃描儀。
綜上所述,透過該骨手術導航系統能將要進行手術之骨頭701的該骨頭輪廓影像30,與針對該骨頭701所建立之該三維骨頭模型800進行等比例重疊,而建立該三維骨手術導航影像430的設計,能在骨手術過程中,準確提供削磨產生之該手術凹陷區702相對於該骨頭701內之特定組織的空間方位與距離資訊,並進行該警示距離之警示標記,能對該骨頭701內之特定組織的方位進行導航,所以進行手術之醫護人員可參考該骨手術導航系統顯示之該三維骨手術導航影像430所提供之資訊,決定後續骨手術進行方式,有助於降低不甚破壞骨頭701內之重要組織的風險,能大幅提高手術成功率,是一種非常創新的骨手術導航系統與導航方法設計。因此,確實可達到本發明之目的。
惟以上所述者,僅為本發明的實施例而已,當不能以此限定本發明實施的範圍,凡是依本發明申請專利範圍及專利說明書內容所作的簡單的等效變化與修飾,皆仍屬本發明專利涵蓋的範圍內。
2‧‧‧骨手術導航系統
3‧‧‧3D掃描儀
30‧‧‧骨頭輪廓影像
4‧‧‧影像導航裝置
41‧‧‧顯示單元
42‧‧‧對位特徵定位單元
421‧‧‧對位特徵標誌
43‧‧‧影像對位單元
430‧‧‧三維骨手術導航影像
44‧‧‧輪廓分析單元
440‧‧‧凹陷輪廓面
45‧‧‧方位分析單元
46‧‧‧組織距離分析單元
461‧‧‧最短距離分析模組
462‧‧‧縱向距離分析模組
463‧‧‧水平距離分析模組
464‧‧‧距離警示模組
47‧‧‧特徵標示單元
48‧‧‧定時控制單元
5‧‧‧標記件
600‧‧‧手術台
700‧‧‧患者
701‧‧‧骨頭
702‧‧‧手術凹陷區
703‧‧‧定位件
800‧‧‧三維骨頭模型
801‧‧‧骨性標誌
802‧‧‧組織影像
901~905步驟
本發明的其他的特徵及功效,將於參照圖式的實施方式中清楚地呈現,其中: 圖1是本發明骨手術導航系統的一個第一實施例架設在一個手術台旁的架構示意圖; 圖2是該第一實施例的功能方塊圖; 圖3是該第一實施例對一個三維骨頭模型與一個尚未產生手術凹陷區的骨頭輪廓影像進行空間對位重疊,以建構一個三維骨手術導航影像的示意圖; 圖4是類似圖3之視圖,示意說明以一個已產生手術凹陷區的該骨頭輪廓影像建立該三維骨手術導航影像的情況; 圖5是圖4顯示之該三維骨手術導航影像之不完整的側剖示意圖; 圖6是以該第一實施例實施影像導航方法的步驟流程圖; 圖7是本發明骨手術導航系統之一個第二實施例的功能方塊圖;及 圖8是本發明骨手術導航系統之一個第三實施例的功能方塊圖。

Claims (21)

  1. 一種骨手術導航系統,適用於配合一個由X 射線斷層影像所建立的三維骨頭模型進行對應之骨頭的骨手術導航,所述三維骨頭模型具有多個骨性標誌,該骨手術導航系統包含: 一個3D掃描儀,用以掃描該骨頭外形而對應輸出一個骨頭輪廓影像;及 一個影像導航裝置,用以接收處理該三維骨頭模型,且訊號連接於該3D掃描儀,並包括, 一個顯示單元,用以顯示出該骨頭輪廓影像, 一個對位特徵定位單元,能分析定位出該三維骨頭模型之該等骨性標誌的空間座標,且能分析該骨頭輪廓影像以識別出多個分別與該等骨性標誌對應之對位特徵標誌,並定位出每一對位特徵標誌之空間座標,及 一個影像對位單元,能將該等對位特徵標誌之該等空間座標分別與該等骨性標誌之該等空間座標進行空間對位,而將該骨頭輪廓影像與該三維骨頭模型等比例重疊,以建立一個顯示於該顯示單元的三維骨手術導航影像。
  2. 如請求項1所述之骨手術導航系統,其中,該影像導航裝置還包括一個特徵標示單元,該特徵標示單元能供操作,而於該顯示單元顯示之該骨頭輪廓影像中標示出用以供該對位特徵定位單元識別之該等對位特徵標誌。
  3. 如請求項1所述之骨手術導航系統,所述骨頭表面設置有多個分別與該等骨性標誌對應的定位件,其中,該3D掃描儀是用以掃描已設置該等定位件之該骨頭的影像以對應輸出該骨頭輪廓影像,該對位特徵定位單元是分析該骨頭輪廓影像中的該等定位件位置以定位出該等對位特徵標誌。
  4. 如請求項1所述之骨手術導航系統,其中,該對位特徵定位單元是根據該等骨性標誌之外形分析該骨頭輪廓影像以識別出該等對位特徵標誌。
  5. 2、3或4所述之骨手術導航系統,該三維骨頭模型透視顯示有一個組織影像,所述骨手術會於該骨頭表面產生一個手術凹陷區,其中,該影像導航裝置還包括一個輪廓分析單元、一個方位分析單元,及一個組織距離分析單元,該輪廓分析單元會分析該3D掃描儀於該骨手術進行期間所產生之該骨頭輪廓影像,而於該三維骨手術導航影像中標示出一個代表當前之該手術凹陷區的凹陷輪廓面,該方位分析單元會分析該組織影像相對於該凹陷輪廓面之方位而輸出一個組織分佈方位資料,該組織距離分析單元會根據該組織分佈方位資料分析該凹陷輪廓面相對於該組織影像的距離,而輸出一個組織距離資料。
  6. 如請求項5所述之骨手術導航系統,其中,該輪廓分析單元是將該凹陷輪廓面劃分成多個監測區,該組織距離分析單元包括一個最短距離分析模組,該最短距離分析模組是根據該組織分佈方位資料分析面向該組織影像之每一監測區與該組織影像間的最短距離,該組織距離分析單元是彙整該等監測區之該等最短距離以得到該組織距離資料。
  7. 如請求項6所述之骨手術導航系統,其中,該組織距離分析單元還包括一個能供操作以設定一個警示距離的距離警示模組,且該距離警示模組會分析該組織距離資料以比對出該最短距離小於該警示距離的每一個監測區,並於該三維骨手術導航影像之該凹陷輪廓面中警示標記比對出之每一個監測區。
  8. 如請求項7所述之骨手術導航系統,其中,該距離警示模組是以不同色彩及/或不同色彩亮度來警示標記其比對出之每一監測區的該最短距離大小。
  9. 如請求項5所述之骨手術導航系統,其中,該輪廓分析單元是將該凹陷輪廓面劃分成多個監測區,該組織距離分析單元包括一個縱向距離分析模組與一個水平距離分析模組,該縱向距離分析模組會根據該組織分佈方位資料分析位於該組織影像上方或下方之每一監測區與該組織影像間的縱向距離,該水平距離分析模組會根據該組織分佈方位資料分析位於該組織影像之水平側的每一監測區與該組織影像間的水平距離,該組織距離分析單元是彙整該等監測區的該等縱向距離與該等水平距離以得到該組織距離資料。
  10. 如請求項9所述之骨手術導航系統,其中,該組織距離分析單元還包括一個能供操作以設定一個警示距離的距離警示模組,且該距離警示模組會分析該組織距離資料以比對出該縱向距離及/或該水平距離小於該警示距離的每一個監測區,並於該三維骨手術導航影像之該凹陷輪廓面中警示標記比對出之每一個監測區。
  11. 如請求項10所述之骨手術導航系統,其中,該距離警示模組是以不同色彩及/或不同色彩亮度來警示標記其比對出之每一監測區的該縱向距離大小與該水平距離大小。
  12. 如請求項5所述之骨手術導航系統,還包含至少一個被設置在該手術凹陷區且可被3D掃描儀掃描形成影像的標記件,該對位特徵定位單元能分析該骨頭輪廓影像以識別出該至少一標記件,並於該三維骨手術導航影像中對應標示出該至少一標記件,該組織距離分析單元會分析並標示出該至少一標記件與該組織影像的距離。
  13. 如請求項5所述之骨手術導航系統,其中,該影像導航裝置還包括一個能供設定一個定時掃描時間的定時控制單元,該定時控制單元會重複計時該定時掃描時間,且會於每一次計時之該定時掃描時間計時結束時,驅使該3D掃描儀掃描輸出該骨頭輪廓影像,並觸發啟動該對位特徵定位單元、該影像對位單元、該輪廓分析單元、該方位分析單元,及該組織距離分析單元。
  14. 一種用於骨手術的影像導航方法,適用於搭配一個由X 射線斷層影像所建立的三維骨頭模型來進行對應之骨頭的骨手術導航,該三維骨頭模型具有多個骨性標誌,該骨手術導航方法包含以下步驟: (A)讀取分析該三維骨頭模型以定位出該等骨性標誌之空間座標; (B)3D掃描取得該骨頭的骨頭輪廓影像,並分析該骨頭輪廓影像以識別出多個分別對應該等骨性標誌之對位特徵標誌,並定位出每一對位特徵標誌的空間座標;及 (C)以該等對位特徵標誌之該等空間座標與該等骨性標誌之該等空間座標進行空間對位,而將該骨頭輪廓影像等比例重疊於該三維骨頭模型,以建立一個三維骨手術導航影像。
  15. 如請求14所述之用於骨手術的影像導航方法,其中,該步驟(B)是於掃描取得該骨頭輪廓影像後,顯示出該骨頭輪廓影像以供標示該等對位特徵標誌,然後分析該骨頭輪廓影像以識別並定位出被標示之該等對位特徵標誌。
  16. 如請求14所述之用於骨手術的影像導航方法,其中,該步驟(B)是根據該等骨性標誌之外形分析該骨頭輪廓影像以識別出該等對位特徵標誌。
  17. 如請求14所述之用於骨手術的影像導航方法,其中,該步驟(B)是對表面已被設置多個分別對應該等骨性標誌之定位件的該骨頭進行3D掃描以獲得該骨頭輪廓影像,並分析識別該骨頭輪廓影像中之該等定位件以得到分別對應該等骨性標誌之該等對位特徵標誌。
  18. 如請求項14至17任一項所述之用於骨手術的影像導航方法,該三維骨頭模型透視顯示有一個組織影像,所述骨手術會於該骨頭表面產生一個手術凹陷區,該骨手術導航方法還包含步驟(D)分析於所述骨手術進行期間所產生之該骨頭輪廓影像,而於該三維骨手術導航影像中標示出一個代表當前之該手術凹陷區的凹陷輪廓面,並定位出該組織影像相對於該凹陷輪廓面之方位而輸出一個組織分佈方位資料。
  19. 如請求項18所述之用於骨手術的影像導航方法,其中,該步驟(D)會將該凹陷輪廓面劃分成多個監測區,該骨手術導航方法還包含步驟(E)根據該組織分佈方位資料分析該凹陷輪廓面朝向該組織影像之一側的每一個監測區相對於該組織影像之距離。
  20. 如請求項19所述之用於骨手術的影像導航方法,其中,該步驟(E)是分析該凹陷輪廓面朝向該組織影像之一側的每一個監測區相對於該組織影像的最短距離、縱向距離或水平距離,且比對出該最短距離、該縱向距離或該水平距離小於一個警示距離的每一個監測區,並於該三維骨手術導航影像之該凹陷輪廓面警示標示出比對出的每一個監測區。
  21. 如請求項20所述之用於骨手術的影像導航方法,其中,該步驟(E)是以不同色彩及/或不同色彩亮度來警示標記其比對出之每一監測區的該最短距離大小、該縱向距離大小或該水平距離大小。
TW106142744A 2017-12-06 2017-12-06 Bone surgery navigation system and image navigation method for bone surgery TWI642404B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
TW106142744A TWI642404B (zh) 2017-12-06 2017-12-06 Bone surgery navigation system and image navigation method for bone surgery
CN201811353472.XA CN109875685B (zh) 2017-12-06 2018-11-14 骨手术导航***
US16/210,463 US10912531B2 (en) 2017-12-06 2018-12-05 System and method for creating a three-dimensional bone image of a bone
JP2018228067A JP6737865B2 (ja) 2017-12-06 2018-12-05 骨の3次元骨格画像を作成するためのシステム及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW106142744A TWI642404B (zh) 2017-12-06 2017-12-06 Bone surgery navigation system and image navigation method for bone surgery

Publications (2)

Publication Number Publication Date
TWI642404B TWI642404B (zh) 2018-12-01
TW201924612A true TW201924612A (zh) 2019-07-01

Family

ID=65431775

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106142744A TWI642404B (zh) 2017-12-06 2017-12-06 Bone surgery navigation system and image navigation method for bone surgery

Country Status (4)

Country Link
US (1) US10912531B2 (zh)
JP (1) JP6737865B2 (zh)
CN (1) CN109875685B (zh)
TW (1) TWI642404B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI744037B (zh) * 2019-11-12 2021-10-21 國立臺灣大學 機器人導航系統以及機器人導航方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112402065A (zh) * 2019-08-23 2021-02-26 北京智塑健康科技有限公司 一种融合器的制造方法、***、装置及其存储介质
CN112402063A (zh) * 2019-08-23 2021-02-26 北京智塑健康科技有限公司 一种骨结构假体的模型构建方法、***、装置及其可读存储介质
KR102302483B1 (ko) 2020-02-17 2021-09-14 숭실대학교산학협력단 3차원 수술 항법 시스템을 위한 정밀 얼굴 정합 방법, 이를 수행하기 위한 기록 매체 및 장치
CN112700461B (zh) * 2021-03-19 2021-07-27 浙江卡易智慧医疗科技有限公司 一种肺结节检测和表征类别识别的***
CN114038009A (zh) * 2021-10-26 2022-02-11 深圳市华安泰智能科技有限公司 一种基于人体骨骼关键点的图像数据采集分析***
CN118154857A (zh) * 2024-05-11 2024-06-07 苏州派尼迩医疗科技有限公司 手术体表定位件的位置信息识别方法、装置及电子设备

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1357850A1 (en) * 2001-02-07 2003-11-05 SYNTHES AG Chur Method for establishing a three-dimensional representation of bone x-ray images
ATE371414T1 (de) * 2001-06-13 2007-09-15 Volume Interactions Pte Ltd Führungssystem
US9492241B2 (en) * 2005-01-13 2016-11-15 Mazor Robotics Ltd. Image guided robotic system for keyhole neurosurgery
EP1930832B1 (de) * 2006-12-07 2016-11-23 Brainlab AG Automatische Landmarkenbestimmung anatomischer Strukturen
US9785858B2 (en) * 2008-09-26 2017-10-10 Siemens Healthcare Gmbh Method and system for hierarchical parsing and semantic navigation of full body computed tomography data
JP5569711B2 (ja) * 2009-03-01 2014-08-13 国立大学法人浜松医科大学 手術支援システム
US10217238B2 (en) * 2009-05-20 2019-02-26 Algotec Systems Ltd. Soft tissue segmentation using a bone atlas
JP5727474B2 (ja) * 2009-07-15 2015-06-03 コーニンクレッカ フィリップス エヌ ヴェ 手術軌道の可視化
JP2014501143A (ja) * 2010-12-23 2014-01-20 バード・アクセス・システムズ,インコーポレーテッド 医療器具を案内するシステムおよび方法
WO2013012070A1 (ja) * 2011-07-20 2013-01-24 株式会社東芝 画像処理システム、装置、方法及び医用画像診断装置
US20140228632A1 (en) * 2011-08-21 2014-08-14 M.S.T. Medical Surgery Technologies Ltd. Device and method for assisting laparoscopic surgery - rule based approach
CN102784003B (zh) * 2012-07-20 2014-10-15 李书纲 一种基于结构光扫描的椎弓根内固定手术导航***
CN103083089B (zh) * 2012-12-27 2014-11-12 广东圣洋信息科技实业有限公司 数字立体显微***的虚拟标尺方法和***
KR101536115B1 (ko) * 2013-08-26 2015-07-14 재단법인대구경북과학기술원 수술 내비게이션 시스템 운용 방법 및 수술 내비게이션 시스템
BR112016007320A2 (pt) * 2013-10-02 2017-08-01 Mininavident Ag sistema de navegação e método para cirurgia dental e crânio-maxilo-facial, ferramenta de posicionamento e método de posicionamento de um membro marcador
CN103735312B (zh) * 2013-12-11 2016-01-27 中国科学院深圳先进技术研究院 多模影像超声引导手术导航***
KR20160086629A (ko) * 2015-01-12 2016-07-20 한국전자통신연구원 영상유도 수술에서 수술부위와 수술도구 위치정합 방법 및 장치
US10092361B2 (en) * 2015-09-11 2018-10-09 AOD Holdings, LLC Intraoperative systems and methods for determining and providing for display a virtual image overlaid onto a visual image of a bone
US10210613B2 (en) * 2016-05-12 2019-02-19 Siemens Healthcare Gmbh Multiple landmark detection in medical images based on hierarchical feature learning and end-to-end training

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI744037B (zh) * 2019-11-12 2021-10-21 國立臺灣大學 機器人導航系統以及機器人導航方法
US11896340B2 (en) 2019-11-12 2024-02-13 National Taiwan University Robot navigation system and robot navigation method

Also Published As

Publication number Publication date
TWI642404B (zh) 2018-12-01
JP2019130290A (ja) 2019-08-08
CN109875685A (zh) 2019-06-14
JP6737865B2 (ja) 2020-08-12
US10912531B2 (en) 2021-02-09
US20190167222A1 (en) 2019-06-06
CN109875685B (zh) 2020-09-15

Similar Documents

Publication Publication Date Title
TW201924612A (zh) 骨手術導航系統與用於骨手術的影像導航方法
US11381659B2 (en) Reality-augmented morphological procedure
BR102018077046A2 (pt) Uso de realidade aumentada para ajudar na navegação durante procedimentos médicos
JP6987893B2 (ja) 診断試験をリアルタイムの治療に統合する汎用デバイスおよび方法
CN107854177A (zh) 一种基于光学定位配准的超声与ct/mr图像融合手术导航***及其方法
KR102105974B1 (ko) 의료 영상 시스템
JP2014221175A (ja) 超音波診断システム、画像処理装置およびその制御方法と制御プログラム
EP3554383B1 (en) System for providing images for guiding surgery
Hummelink et al. Preliminary results using a newly developed projection method to visualize vascular anatomy prior to DIEP flap breast reconstruction
JP2010274044A (ja) 手術支援装置、手術支援方法及び手術支援プログラム
CN110720985A (zh) 一种多模式引导的手术导航方法和***
JP6875774B1 (ja) 医療画像用のマーキングシステム及びマーキング支援装置
JP7152240B2 (ja) ロボット手術支援装置、ロボット手術支援方法、及びプログラム
US20220096004A1 (en) System for visualizing patient stress
KR100957713B1 (ko) 수술용 항법 장치의 작동 방법
WO2021166093A1 (ja) 医療画像用のマーキングシステム及びマーキング判定装置
WO2018109227A1 (en) System providing images guiding surgery
CN110711028B (zh) 手术器具定位***及其定位方法
WO2023162657A1 (ja) 医療支援装置、医療支援装置の作動方法及び作動プログラム
JP7182127B2 (ja) ロボット手術支援装置、情報出力方法、及びプログラム
Xu Reliability and comparison of 3-dimensional surface imaging of the face using a hand-held and whole body surface scanner
Evans VISLAN: computer-aided surgery
CN116993816A (zh) 利用混合现实技术快速精确定位脑内血肿的方法及应用
KR20190038042A (ko) 영상 처리 방법

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees