TWI634870B - 影像定位及擴增實境系統及其擴增實境方法 - Google Patents

影像定位及擴增實境系統及其擴增實境方法 Download PDF

Info

Publication number
TWI634870B
TWI634870B TW106109154A TW106109154A TWI634870B TW I634870 B TWI634870 B TW I634870B TW 106109154 A TW106109154 A TW 106109154A TW 106109154 A TW106109154 A TW 106109154A TW I634870 B TWI634870 B TW I634870B
Authority
TW
Taiwan
Prior art keywords
dimensional
image
model
human body
images
Prior art date
Application number
TW106109154A
Other languages
English (en)
Other versions
TW201834618A (zh
Inventor
汪彥佑
劉楷哲
‧庫馬 阿兔
陳立珣
Original Assignee
承鋆生醫股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 承鋆生醫股份有限公司 filed Critical 承鋆生醫股份有限公司
Priority to TW106109154A priority Critical patent/TWI634870B/zh
Priority to US15/896,023 priority patent/US10743938B2/en
Application granted granted Critical
Publication of TWI634870B publication Critical patent/TWI634870B/zh
Publication of TW201834618A publication Critical patent/TW201834618A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A61B2034/104—Modelling the effect of the tool, e.g. the effect of an implanted prosthesis or for predicting the effect of ablation or burring
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/366—Correlation of different images or relation of image positions in respect to the body using projection of images directly onto the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/374—NMR or MRI
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2008—Assembling, disassembling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Radiology & Medical Imaging (AREA)
  • Architecture (AREA)
  • Quality & Reliability (AREA)
  • Robotics (AREA)
  • Geometry (AREA)
  • Gynecology & Obstetrics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本發明是一種影像定位及擴增實境系統及其擴增實境方法，適用於顳顎關節鏡手術中解決顳顎關節空間定位困難的問題。系統包含三維掃描模型建構裝置、立體影像攝影裝置、投射裝置及運算單元。透過患者於術前或術中拍攝解剖影像進行三維掃描模型之建置，並與立體影像攝影裝置所建構之表面三維模型進行空間對位，移除三維影像的表面(皮膚層)而顯示顳顎關節影像。透過立體影像攝影裝置與投射裝置之校正，將準確的三維顳顎關節影像位置資訊投射在患者身上達到擴增實境的目的。

Description

影像定位及擴增實境系統及其擴增實境方法
本發明是有關於一種影像定位和擴增實境的應用，特別是針對顳顎關節鏡手術，以達成空間定位的影像系統。
顳顎關節灌洗及裂解(lysis and lavage)與顳顎關節鏡是口腔外科常見的醫療技術，傳統的量測方法為將耳屏與眼尾連線，以耳屏往眼尾延著連線量測一公分再往下兩公厘為進入點，然而此種方法並會因為人種或頭型差異而有所改變；另一種方式為利用觸診的方式，直接以手觸摸耳屏前方，透過下顎運動確認顳顎關節間的上關節空間。此些方法有時需透過空針注射食鹽水或其他初步確認的方式一再地確認進入點，因此每次進行手術時可能無法精確地將手術器械進入顳顎關節處，需要靠嘗試或是經驗進行，造成手術時的諸多不確定性。
因此，需要一種影像輔助定位技術，以協助醫療人員正確的判斷出顳顎關節之位置，減少人為判斷的不確定因素。
有鑑於上述習知之問題，本發明之目的係提出一種影像定位及擴增實境系統，其包含三維掃描模型建構裝置、立體影像攝影裝置、運算單元、投射裝置以及控制裝置。三維掃描模型建構裝置係對人體之顱部進行掃描以產生複數個解剖影像，再根據複數個解剖影像建置成三維掃描模型。立體影像攝影裝置係擷取人體之顱部及耳朵之複數個皮膚表面影像，並根據複數個皮膚表面影像建置成表面三維模型。運算單元係將三維掃描模型及表面三維模型依據人體之顳部及耳朵表面之複數個結構參考點進行校正對位，並將對位後的三維掃描模型及表面三維模型結合以產生三維影像。投射裝置係依據立體影像攝影裝置之位置進行校正，以投射三維影像至相應之人體之皮膚表面。控制裝置係電性連接三維掃描模型建構裝置以及投射裝置。更進一步，投射三維影像人體之皮膚表面後，控制裝置係控制運算單元移除三維影像之表面三維模型，並透過投射裝置至少顯示三維影像之人體之內部組織影像。
較佳地，投射裝置係進行空間幾何校正，以與立體影像攝影裝置具有相同之座標系。
較佳地，人體之內部組織影像包含顱骨影像及下顎骨影像，醫療人員依據內部組織影像判斷手術器械進入點。
較佳地，三維掃描模型建構裝置包含電腦斷層或核磁共振解剖影像掃描裝置。
基於上述目的，本發明再提供一種影像定位及擴增實境系統，其包含三維掃描模型建構裝置、立體影像攝影裝置、運算單元、投射裝置以及控制裝置。三維掃描模型建構裝置係對人體之部分進行掃描以產生複數個解剖影像，再根據複數個解剖影像建置成三維掃描模型。立體影像攝影裝置係擷取人體之部分之複數個皮膚表面影像，並根據複數個皮膚表面影像建置成表面三維模型。運算單元係將三維掃描模型及表面三維模型依據人體之部分之表面及具有立體結構之器官之複數個結構參考點校正對位，並將對位後的三維掃描模型及表面三維模型結合以產生三維影像。投射裝置係依據立體影像攝影裝置之位置進行校正以投射該三維影像至相應之人體之皮膚表面。控制裝置係電性連接三維掃描模型建構裝置以及投射裝置。更進一步，投射三維影像至人體之皮膚表面後，控制裝置控制運算單元移除三維影像之表面三維模型，並透過投射裝置至少顯示三維影像之人體之內部組織影像。
較佳地，三維影像包含人體之各組織層影像。
較佳地，投射裝置包含頭戴式顯示器，可顯示三維掃描模型、表面三維模型、三維影像及人體。
較佳地，人體之部分之表面包含人體之顳部。
較佳地，人體之部分之具有立體結構之器官包含人體之耳朵。
基於上述目的，本發明再提供一種影像定位及擴增實境方法，其包含下列步驟：
A.使用三維掃描模型建構裝置掃描人體之顱部，以產生複數個解剖影像，再根據複數個解剖影像建置成三維掃描模型。
B.使用立體影像攝影裝置擷取人體之顱部及耳朵之複數個皮膚表面影像，並根據複數個皮膚表面影像建置成表面三維模型。
C.藉由運算單元將三維掃描模型及表面三維模型依據人體之顳部及耳朵表面之複數個結構參考點校正對位，並將對位後的三維掃描模型及表面三維模型結合以產生三維影像。
D.投射三維影像至相應之人體之皮膚表面。
E.移除三維影像之表面三維模型，以至少顯示三維影像之人體之內部組織影像。
為利 貴審查員瞭解本發明之技術特徵、內容與優點及其所能達成之功效，茲將本發明配合附圖，並以實施例之表達形式詳細說明如下，而其中所使用之圖式，其主旨僅為示意及輔助說明之用，未必為本發明實施後之真實比例與精準配置，故不應就所附之圖式的比例與配置關係解讀、侷限本發明於實際實施上的權利範圍，合先敘明。
以下將參照相關圖式，說明依本發明之影像定位及擴增實境系統及其擴增實境方法之實施例，為使便於理解，下述實施例中之相同元件係以相同之符號標示來說明。
請一併參閱第1圖及第2圖，其分別係為根據本發明之實施例之系統示意圖、根據本發明之實施例之參考點示意圖。
本發明之影像定位及擴增實境系統，如圖所示，係包含三維掃描模型建構裝置100、立體影像攝影裝置200、運算單元300、投射裝置400以及控制裝置500。
本發明之三維掃描模型建構裝置100，可對人體700之顱部進行掃描以產生複數個解剖影像，再根據複數個解剖影像建置成三維掃描模型101。更進一步，三維掃描模型建構裝置100可包含電腦斷層(CT)或核磁共振(MRI)解剖影像掃描裝置，因此一般而言可於術前先以電腦斷層或核磁共振解剖影像掃描裝置對進行掃描，產生複數個解剖影像，並根據複數個解剖影像建置成三維掃描模型101。三維掃描模型101可以立體渲染方式(volume rendering)或其他三維建構方式建置三維掃描模型101。
立體影像攝影裝置200可擷取人體700的一部分進行掃描以產生複數個解剖影像，並根據複數個皮膚表面影像建置成表面三維模型201。
運算單元300可將三維掃描模型101及表面三維模型201依據人體700之一部份的表面及具有立體結構之器官的複數個結構參考點進行校正對位，並將對位後的三維掃描模型101及表面三維模型201結合以產生三維影像301。
更進一步，人體700之部分之表面包含人體700之顳部602，具有立體結構之器官包含人體700之耳朵601。
因此，如第2圖所示，本發明之立體影像攝影裝置200可擷取人體700之顱部及耳朵601之複數個皮膚表面影像，而由於運算單元300可將三維掃描模型101及表面三維模型201依據人體700之一部份的表面及具有立體結構之器官的複數個結構參考點進行校正對位。因此運算單元300可將三維掃描模型101及表面三維模型201依據人體700之顳部602及耳朵601依據複數個結構參考點進行校正對位。
續言之，立體影像攝影裝置200可為進行立體重建之多相機系統 (multi-camera reconstructure)、相機與紅外線相機組成的深度攝影機(depth camera)以及利用相機投影機搭配結構光投影重建三維表面(camera-projector system with structure light)等可以重建立體表面影像的裝置，以進行表面三維模型201的建構。
投射裝置400可依據立體影像攝影裝置200之位置進行校正，以投射三維影像301至相應之人體700之皮膚表面。控制裝置500可電性連接三維掃描模型建構裝置100以及投射裝置400，控制裝置500可為主控電腦，對整體系統進行控制以及管理資料的傳輸。
因此，投射顯示三維影像301在人體700之皮膚表面上之後，可利用控制裝置500控制運算單元300移除三維影像301之表面三維模型201，並透過投射裝置400至少顯示三維影像301之人體700之一內部組織影像。而三維影像301包含人體700之各組織層影像，因此人體700之內部組織影像包含了顱骨影像及下顎骨影像以及其他組織層影像，因此醫療人員可依據內部組織影像精確地判斷手術器械進入點。
進一步說明，為了使得投射裝置400可以投射三維影像301於正確位置，因此須將投射裝置400進行空間幾何校正，使其與立體影像攝影裝置200具有相同之座標系。空間幾何校正是將投射的影像加上相機與投影機之間的外部參數(external matrix)進行轉換，以確保投射位置與立體影像攝影裝置200一致。因此，運算單元300係將投射裝置400及立體影像攝影裝置200之間以幾何轉換方式(external matrix transform)，使三維影像301正確投影。由於空間幾何校正為此技術領域者所熟知的技術，故在此不再贅述。
除此之外，本發明之影像定位及擴增實境系統可更包含顯示裝置，可將投射裝置400投射之影像顯示以供觀看，以確認每個過程及元件是否均符合需求。
在其他實施例中，本發明之影像定位及擴增實境系統之投射裝置400亦可不包含顯示裝置，而是以頭戴式顯示器取代顯示裝置，可直接顯示三維掃描模型101、表面三維模型201、三維影像301及人體700，因此醫療人員如外科醫生將可直接透過頭戴式顯示器觀察到影像，進而能直接精確地下刀。
請參閱第3圖，其係為根據本發明之實施例之擴增實境方法之流程圖。如圖所示，本發明之影像定位及擴增實境方法，包含下列步驟。步驟S101：使用三維掃描模型建構裝置100掃描人體700之顱部，以產生複數個解剖影像。
步驟S102：根據複數個解剖影像建置成三維掃描模型101。步驟S103：使用立體影像攝影裝置200擷取人體700之顱部及耳朵601之複數個皮膚表面影像，並根據複數個皮膚表面影像建置成表面三維模型201。
步驟S104：藉由運算單元300將三維掃描模型101及表面三維模型201依據人體700之顳部602及耳朵601表面之複數個結構參考點校正對位，並將對位後的三維掃描模型101及表面三維模型201結合以產生三維影像301。
步驟S105：校正立體影像攝影裝置200及投射裝置400。步驟S106：投射三維影像301至相應之人體700之皮膚表面。步驟S107：移除三維影像301之表面三維模型201，以至少顯示三維影像301之人體700之內部組織影像。
S108：醫療人員可根據內部組織影像進行醫療行為。
需要特別注意的是，除了有說明其因果關係之外，可以依照任何順序執行上述步驟。例如，步驟S105中校正立體影像攝影裝置200及投射裝置400，並不限於在步驟S104後進行，亦可於步驟S104之前先行完成校正步驟。
綜上所述，藉由本發明之影像定位及擴增實境系統及其擴增實境方法，可以提供操作者在進行顳顎關節鏡手術或其他顱部手術進行影像定位及擴增實境。因此本發明可以節省進行顳顎關節手術時內視鏡進入點或手術器械進入點評估時所需要的時間，同時給予精準的定位資訊及相關位置的影像資訊，達成術前定位的目的。
以上所述僅為舉例性，而非為限制性者。任何未脫離本發明之精神與範疇，而對其進行之等效修改或變更，均應包含於後附之申請專利範圍中。
100‧‧‧三維掃描模型建構裝置
101‧‧‧三維掃描模型
200‧‧‧立體影像攝影裝置
201‧‧‧表面三維模型
300‧‧‧運算單元
301‧‧‧三維影像
400‧‧‧投射裝置
500‧‧‧控制裝置
601‧‧‧耳朵
602‧‧‧顳部
700‧‧‧人體
S101-S108‧‧‧步驟
第1圖係為根據本發明之實施例之系統示意圖。
第2圖係為根據本發明之實施例之參考點示意圖。
第3圖係為根據本發明之實施例之擴增實境實施流程圖。

Claims (10)

  1. 一種影像定位及擴增實境系統，係包含： 一三維掃描模型建構裝置，係對一人體之顱部進行掃描以產生複數個解剖影像，再根據該複數個解剖影像建置成一三維掃描模型； 一立體影像攝影裝置，係擷取該人體之顱部及耳朵之複數個皮膚表面影像，並根據該複數個皮膚表面影像建置成一表面三維模型； 一運算單元，係將該三維掃描模型及該表面三維模型依據該人體之顳部及耳朵表面之複數個結構參考點進行校正對位，並將對位後的該三維掃描模型及該表面三維模型結合以產生一三維影像； 一投射裝置，係依據該立體影像攝影裝置之位置進行校正，以投射該三維影像至相應之該人體之皮膚表面； 一控制裝置，係電性連接該三維掃描模型建構裝置以及該投射裝置； 其中，投射該三維影像該人體之皮膚表面後，該控制裝置係控制該運算單元移除該三維影像之該表面三維模型，並透過該投射裝置至少顯示該三維影像之該人體之一內部組織影像。
  2. 如申請專利範圍第1項所述之影像定位及擴增實境系統，其中該投射裝置係進行空間幾何校正，以與該立體影像攝影裝置具有相同之座標系。
  3. 如申請專利範圍第1項所述之影像定位及擴增實境系統，其中該人體之該內部組織影像係包含一顱骨影像及一下顎骨影像，醫療人員係依據該內部組織影像判斷手術器械進入點。
  4. 如申請專利範圍第1項所述之影像定位及擴增實境系統，其中該三維掃描模型建構裝置係包含電腦斷層或核磁共振解剖影像掃描裝置。
  5. 一種影像定位及擴增實境系統，係包含： 一三維掃描模型建構裝置，係對一人體之一部分進行掃描以產生複數個解剖影像，再根據該複數個解剖影像建置成一三維掃描模型； 一立體影像攝影裝置，係擷取該人體之該部分之複數個皮膚表面影像，並根據該複數個皮膚表面影像建置成一表面三維模型； 一運算單元，係將該三維掃描模型及該表面三維模型依據該人體之該部分之表面及具有立體結構之一器官之複數個結構參考點校正對位，並將對位後的該三維掃描模型及該表面三維模型結合以產生一三維影像； 一投射裝置，係依據該立體影像攝影裝置之位置進行校正以投射該三維影像至相應之該人體之皮膚表面； 一控制裝置，係電性連接該三維掃描模型建構裝置以及該投射裝置； 其中，投射該三維影像該人體之皮膚表面後，該控制裝置係控制該運算單元移除該三維影像之該表面三維模型，並透過該投射裝置至少顯示該三維影像之該人體之一內部組織影像。
  6. 如申請專利範圍第5所述之影像定位及擴增實境系統，其中該三維影像係包含該人體之各組織層影像。
  7. 如申請專利範圍第5項所述之影像定位及擴增實境系統，其中該投射裝置係包含頭戴式顯示器，係顯示該三維掃描模型、該表面三維模型、該三維影像及該人體。
  8. 如申請專利範圍第5項所述之影像定位及擴增實境系統，其中該人體之該部分之表面係包含該人體之顳部。
  9. 如申請專利範圍第5項所述之影像定位及擴增實境系統，其中該人體之該部分之具有立體結構之該器官係包含該人體之耳朵。
  10. 一種影像定位及擴增實境方法，係包含： A. 使用一三維掃描模型建構裝置掃描一人體之顱部，以產生複數個解剖影像，再根據該複數個解剖影像建置成一三維掃描模型； B. 使用一立體影像攝影裝置擷取該人體之顱部及耳朵之複數個皮膚表面影像，並根據該複數個皮膚表面影像建置成一表面三維模型； C. 藉由一運算單元將該三維掃描模型及該表面三維模型依據該人體之顳部及耳朵表面之複數個結構參考點校正對位，並將對位後的該三維掃描模型及該表面三維模型結合以產生一三維影像； D. 投射該三維影像至相應之該人體之皮膚表面；以及 E. 移除該三維影像之該表面三維模型，以至少顯示該三維影像之該人體之一內部組織影像。
TW106109154A 2017-03-20 2017-03-20 影像定位及擴增實境系統及其擴增實境方法 TWI634870B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW106109154A TWI634870B (zh) 2017-03-20 2017-03-20 影像定位及擴增實境系統及其擴增實境方法
US15/896,023 US10743938B2 (en) 2017-03-20 2018-02-13 Image registration and augmented reality system and method augmented reality thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW106109154A TWI634870B (zh) 2017-03-20 2017-03-20 影像定位及擴增實境系統及其擴增實境方法

Publications (2)

Publication Number Publication Date
TWI634870B true TWI634870B (zh) 2018-09-11
TW201834618A TW201834618A (zh) 2018-10-01

Family

ID=63520791

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106109154A TWI634870B (zh) 2017-03-20 2017-03-20 影像定位及擴增實境系統及其擴增實境方法

Country Status (2)

Country Link
US (1) US10743938B2 (zh)
TW (1) TWI634870B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI697317B (zh) * 2019-08-30 2020-07-01 國立中央大學 應用於與手術導航整合之混合實境系統之數位影像實境對位套件與方法
CN113876356A (zh) * 2021-10-15 2022-01-04 无锡触典科技有限公司 一种用于医疗成像的投影方法、超声设备***及存储介质

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
US20190254753A1 (en) 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
US11992373B2 (en) 2019-12-10 2024-05-28 Globus Medical, Inc Augmented reality headset with varied opacity for navigated robotic surgery
CN111249622B (zh) * 2020-01-17 2024-04-09 上海市精神卫生中心（上海市心理咨询培训中心） 基于增强现实的精准经颅磁刺激在线导航方法
US11464581B2 (en) 2020-01-28 2022-10-11 Globus Medical, Inc. Pose measurement chaining for extended reality surgical navigation in visible and near infrared spectrums
US11382699B2 (en) 2020-02-10 2022-07-12 Globus Medical Inc. Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery
US11207150B2 (en) 2020-02-19 2021-12-28 Globus Medical, Inc. Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment
US11607277B2 (en) 2020-04-29 2023-03-21 Globus Medical, Inc. Registration of surgical tool with reference array tracked by cameras of an extended reality headset for assisted navigation during surgery
US11382700B2 (en) 2020-05-08 2022-07-12 Globus Medical Inc. Extended reality headset tool tracking and control
US11510750B2 (en) 2020-05-08 2022-11-29 Globus Medical, Inc. Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications
US11153555B1 (en) 2020-05-08 2021-10-19 Globus Medical Inc. Extended reality headset camera system for computer assisted navigation in surgery
US11737831B2 (en) 2020-09-02 2023-08-29 Globus Medical Inc. Surgical object tracking template generation for computer assisted navigation during surgical procedure
CN114403915B (zh) * 2022-01-28 2023-03-24 首都医科大学附属北京友谊医院 带有定位装置的扫描***、装置、方法、设备和介质
CN114581635B (zh) * 2022-03-03 2023-03-24 上海涞秋医疗科技有限责任公司 一种基于HoloLens眼镜的定位方法及***
CN114359488B (zh) * 2022-03-21 2022-06-10 深圳市一图智能科技有限公司 一种基于序列ct图像的皮肤三维模型重建方法及***
US11850005B1 (en) * 2022-10-27 2023-12-26 Mammen Thomas Use of immersive real-time metaverse and avatar and 3-D hologram for medical and veterinary applications using spatially coordinated multi-imager based 3-D imaging

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140264037A1 (en) * 2011-10-31 2014-09-18 Airway Limited Rotational sensor and methods therefor
CN106170705A (zh) * 2013-12-09 2016-11-30 ***·R·马赫福兹 骨骼重建和骨外科植入物
WO2016203295A1 (en) * 2015-06-19 2016-12-22 Synaptive Medical (Barbados) Inc. A medical imaging system for determining a scan orientation
US20170007329A1 (en) * 2015-07-06 2017-01-12 Orthosoft Inc. Leg length and offset calculation in computer-assisted surgery using rangefinder
WO2017019455A2 (en) * 2015-07-24 2017-02-02 Skylit Corporation Systems and methods for phototherapy control

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2473963A1 (en) * 2003-07-14 2005-01-14 Sunnybrook And Women's College Health Sciences Centre Optical image-based position tracking for magnetic resonance imaging
US20120016239A1 (en) * 2004-10-06 2012-01-19 Guided Therapy Systems, Llc Systems for cosmetic treatment
US7447556B2 (en) * 2006-02-03 2008-11-04 Siemens Audiologische Technik Gmbh System comprising an automated tool and appertaining method for hearing aid design
US20070188603A1 (en) * 2005-10-21 2007-08-16 Riederer Thomas P Stereoscopic display cart and system
FR2917598B1 (fr) * 2007-06-19 2010-04-02 Medtech Plateforme robotisee multi-applicative pour la neurochirurgie et procede de recalage
US20130172731A1 (en) * 2011-12-30 2013-07-04 Philip D. Gole Image-overlay medical evaluation devices and techniques
US10531828B2 (en) * 2014-01-31 2020-01-14 The Johns Hopkins University Method and system for transcranial photoacoustic imaging for guiding skull base surgeries

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140264037A1 (en) * 2011-10-31 2014-09-18 Airway Limited Rotational sensor and methods therefor
CN106170705A (zh) * 2013-12-09 2016-11-30 ***·R·马赫福兹 骨骼重建和骨外科植入物
WO2016203295A1 (en) * 2015-06-19 2016-12-22 Synaptive Medical (Barbados) Inc. A medical imaging system for determining a scan orientation
US20170007329A1 (en) * 2015-07-06 2017-01-12 Orthosoft Inc. Leg length and offset calculation in computer-assisted surgery using rangefinder
WO2017019455A2 (en) * 2015-07-24 2017-02-02 Skylit Corporation Systems and methods for phototherapy control

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI697317B (zh) * 2019-08-30 2020-07-01 國立中央大學 應用於與手術導航整合之混合實境系統之數位影像實境對位套件與方法
CN113876356A (zh) * 2021-10-15 2022-01-04 无锡触典科技有限公司 一种用于医疗成像的投影方法、超声设备***及存储介质

Also Published As

Publication number Publication date
TW201834618A (zh) 2018-10-01
US10743938B2 (en) 2020-08-18
US20180263698A1 (en) 2018-09-20

Similar Documents

Publication Publication Date Title
TWI634870B (zh) 影像定位及擴增實境系統及其擴增實境方法
Suenaga et al. Vision-based markerless registration using stereo vision and an augmented reality surgical navigation system: a pilot study
CN106687046B (zh) 用于定位进行医学成像的患者的引导***
KR101572487B1 (ko) 환자와 3차원 의료영상의 비침습 정합 시스템 및 방법
AU2018253616A1 (en) Imaging system and method for use in surgical and interventional medical procedures
Chu et al. Registration and fusion quantification of augmented reality based nasal endoscopic surgery
US20140080086A1 (en) Image Navigation Integrated Dental Implant System
TWI396523B (zh) 用以加速牙科診斷及手術規劃之系統及其方法
Ferrari et al. A 3-D mixed-reality system for stereoscopic visualization of medical dataset
US20140221819A1 (en) Apparatus, system and method for surgical navigation
CN105266897A (zh) 一种基于增强现实的显微外科手术导航***及导航方法
KR102105974B1 (ko) 의료 영상 시스템
Zeng et al. A surgical robot with augmented reality visualization for stereoelectroencephalography electrode implantation
CN103948432A (zh) 术中立体内窥视频与超声图像增强现实算法
CN111297501B (zh) 一种口腔种植手术增强现实导航方法和***
JP6345468B2 (ja) 医用画像診断装置
KR102476832B1 (ko) 증강현실 의료영상을 제공하기 위한 사용자 단말기 및 증강현실 의료영상 제공 방법
CN107049489A (zh) 一种手术导航方法及***
TWI741196B (zh) 整合擴增實境之手術導航方法及系統
CN112489135A (zh) 一种虚拟三维人脸面部重建***的标定方法
JP6392192B2 (ja) 画像位置合せ装置、画像位置合せ装置の作動方法およびプログラム
US20210128243A1 (en) Augmented reality method for endoscope
TWM484404U (zh) 成像投影系統設備應用
US10049480B2 (en) Image alignment device, method, and program
KR102247545B1 (ko) 수술위치 정보제공방법 및 수술위치 정보제공장치