CN107961023A - Ent图像配准 - Google Patents
Ent图像配准 Download PDFInfo
- Publication number
- CN107961023A CN107961023A CN201710811117.1A CN201710811117A CN107961023A CN 107961023 A CN107961023 A CN 107961023A CN 201710811117 A CN201710811117 A CN 201710811117A CN 107961023 A CN107961023 A CN 107961023A
- Authority
- CN
- China
- Prior art keywords
- line segment
- head
- under inspection
- person under
- magnetic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000002591 computed tomography Methods 0.000 claims abstract description 70
- 210000003128 head Anatomy 0.000 claims abstract description 55
- 238000007689 inspection Methods 0.000 claims abstract description 41
- 238000000034 method Methods 0.000 claims abstract description 34
- 239000000523 sample Substances 0.000 claims abstract description 33
- 210000001508 eye Anatomy 0.000 claims abstract description 32
- 210000000988 bone and bone Anatomy 0.000 claims abstract description 22
- 230000004044 response Effects 0.000 claims abstract description 12
- 238000005259 measurement Methods 0.000 claims abstract description 11
- 230000004913 activation Effects 0.000 claims abstract description 9
- 238000005520 cutting process Methods 0.000 claims description 5
- 210000001331 nose Anatomy 0.000 description 16
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000005855 radiation Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 210000000624 ear auricle Anatomy 0.000 description 3
- 238000002594 fluoroscopy Methods 0.000 description 3
- 210000001061 forehead Anatomy 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 238000002675 image-guided surgery Methods 0.000 description 3
- 210000003695 paranasal sinus Anatomy 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 2
- 238000013170 computed tomography imaging Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 210000000867 larynx Anatomy 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 244000025254 Cannabis sativa Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
- A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2051—Electromagnetic tracking systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Robotics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- High Energy & Nuclear Physics (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Surgical Instruments (AREA)
Abstract
本发明题为“ENT图像配准”。本发明公开了一种方法,该方法包括接收受检者的头部的体素的计算机断层摄影(CT)图像,并且分析所述图像以识别所述图像中所述受检者的眼睛的相应位置,从而限定连接所述相应位置的第一线段。所述方法包括识别覆盖所述头部的骨部分、位于平行于所述第一线段的第二线段上以及位于正交于所述第一线段的第三线段上的体素子集。激活被配置为测量所述受检者的所述头部上的位置的磁跟踪***,并且将在所述***中操作的探头定位成靠近所述骨部分,以测量覆盖所述骨部分的所述头部的表面的位置。形成所述位置与所述体素子集之间的对应,以及响应于所述对应,生成所述CT图像与所述磁跟踪***之间的配准。
Description
相关专利申请的交叉引用
本专利申请要求2016年9月8日提交的美国临时专利申请62/384,823的权益,该临时专利申请以引用方式并入本文。
技术领域
本发明整体涉及图像的配准,具体地讲涉及以可用于图像引导手术的不同模态生成的图像。
背景技术
在图像引导手术(IGS)中,医疗人员使用实时跟踪的仪器,使得在外科规程中可将仪器的位置和/或取向呈现在患者解剖结构的图像上。在某些情况下,患者解剖结构的跟踪和成像可以通过一种模态来实现,诸如荧光镜透视检查。然而,由于荧光镜透视检查使用的是电离辐射,应尽量减少其使用。因此,在许多情况下,以一种模态(诸如磁共振成像(MRI)或计算机断层摄影(CT)荧光透视检查)准备患者的图像,并且仪器跟踪使用不同的模态,诸如电磁跟踪。
为了有效地进行跟踪,两种模态的参照系必须相互配准。就耳鼻喉科(ENT)手术(特别是鼻窦区域)而言,准确的配准是至关重要的,因为鼻窦与大脑和其他器官诸如视神经接近。
发明内容
本发明的实施方案提供了一种方法,该方法包括:
接收包括受检者的头部的体素的计算机断层摄影(CT)图像;
分析图像以识别图像中受检者的左眼和右眼的相应位置,以便限定连接相应位置的第一线段;
识别包括覆盖头部骨部分、位于平行于所述第一线段的第二线段上以及位于正交于第一线段的第三线段上的体素的体素子集;
激活被配置为测量受检者的头部上的位置的磁跟踪***;
将在磁跟踪***中操作的探头定位成靠近骨部分,以测量覆盖骨部分的头部的表面的磁***位置;
形成磁***位置与体素子集之间的对应;以及
响应于对应,生成CT图像与磁跟踪***之间的配准。
通常,第二线段在第一线段上方的预设距离处。在本发明所公开的实施方案中,预设距离为5cm。
在本发明所公开的实施方案中,头部的骨部分被识别为具有大于或等于+200的Hounsfield单位值的体素。
在本发明进一步公开的实施方案中,第三线段覆盖受检者的鼻尖。
在本发明另外公开的实施方案中,第二线段和第三线段形成大写字体T,并且该方法还包括显示CT图像,以及在定位探头之前将大写字体T定位在所显示的CT图像上以测量表面的磁***位置。
根据本发明的实施方案,还提供了一种方法,该方法包括:
接收包括受检者的头部的体素的计算机断层摄影(CT)图像;
分析图像以识别图像中受检者的左眼和右眼的相应位置,以便限定连接相应位置的第一线段和正交切割第一线段的第二线段,这条线段将图像分割成区域;
激活被配置为测量受检者的头部上的位置的磁跟踪***;
将在磁跟踪***中操作的探头定位成靠近对应于所述区域的头部的表面,以便测量表面的磁***位置;
当给定区域的磁***位置的计数超过给定区域的预设阈值时,提供其指示并形成磁***位置与图像的体素之间的对应;以及
响应于对应,生成CT图像与磁跟踪***之间的配准。
在一个另选实施方案中,提供包括改变头部草图的视觉特性的指示。
在另一个另选实施方案中,所述区域包括具有相应预设阈值的四个象限。
在又一个另选实施方案中,该方法包括在确定计数之前,使用与CT图像中的界标点对应的表面磁***位置执行CT图像与磁跟踪***之间的初步配准。界标点通常可包括受检者的鼻尖下方的第一点、受检者的眼睛之间的第二点、第一线段左侧上的第三点和第一线段右侧上的第四点中的至少两者。
根据本发明的实施方案,还提供了设备,该设备包括:
磁传感器;
磁跟踪***,该磁跟踪***被配置为测量磁传感器的位置;
包括磁传感器的探头,该磁传感器被配置为测量***中探头的磁***位置;以及
处理器,该处理器被配置为:
接收具有受检者的头部的体素的计算机断层摄影(CT)图像;
分析图像以识别图像中受检者的左眼和右眼的相应位置,以便限定连接相应位置的第一线段;
识别覆盖所述头部的骨部分、位于平行于所述第一线段的第二线段上以及位于正交于所述第一线段的第三线段上的体素的体素子集;
激活磁跟踪***;
从覆盖骨部分的头部的表面的探头接收磁***位置;
形成探头的磁***位置与体素子集之间的对应;以及
响应于对应,生成CT图像与磁跟踪***之间的配准。
根据本发明的实施方案,还提供了设备,该设备包括:
磁传感器;
磁跟踪***,该磁跟踪***被配置为测量磁传感器的位置;
包括磁传感器的探头,该磁传感器被配置为测量***中探头的磁***位置;以及
处理器,该处理器被配置为:
接收包括受检者的头部的体素的计算机断层摄影(CT)图像;
分析图像以识别图像中受检者的左眼和右眼的相应位置,以便限定连接相应位置的第一线段和正交切割第一线段的第二线段,两条线段将图像分割成区域;
激活磁跟踪***;
从头部的表面的探头接收磁***位置;
当给定区域的磁***位置的计数超过给定区域的预设阈值时,提供其指示并形成磁***位置与图像的体素之间的对应;以及
响应于对应,生成CT图像与磁跟踪***之间的配准。
结合附图阅读本公开的实施方案的下述详细说明将更全面理解本公开,其中:
附图说明
图1是示出根据本发明的实施方案的ENT(耳、鼻和喉)配准***的示意图;
图2是根据本发明的实施方案的图1的***的处理步骤的流程图;
图3至图5是示出根据本发明的实施方案的图2的流程图的步骤的示意图;
图6是示出根据本发明的实施方案的另选ENT配准***的示意图;
图7是根据本发明的实施方案的图6的***的另选处理的步骤的流程图;
图8是示出根据本发明的实施方案的图7的流程图的步骤的示意图;以及
图9是示出根据本发明的实施方案的用于在患者的CT图像中查找患者的眼睛的中心的步骤的流程图。
具体实施方式
概述
在CT图像与磁跟踪***之间的典型配准规程中,在两个***中采集这两个***均可访问的多个不同点的位置。作为一个示例,可以在CT图像中识别鼻尖,并且还可以在磁跟踪***中采集鼻尖的位置。一旦采集这样的一对点,诸如迭代最近点(ICP)定理或ICP定理的变型的定理将使用成本函数来估计使两个点集合最佳对准(即,配准)的旋转和/或平移的转换。通常,将过程迭代,例如通过增加点对数,来提高转换的准确性。
由于CT图像的特性,经历ENT规程的患者的外部特征的位置,即不同皮肤区域(诸如鼻尖或耳垂)的位置,被充分限定。然而,在其中磁传感器定位在区域上的磁跟踪***中,位置可能不能明确限定。例如,当磁传感器位于耳垂上时,耳垂可以移动。为了在两个***之间进行准确的配准,使用磁***可访问的并且当在***中采集位置时具有较低移动概率的区域是重要的。本发明的实施方案提供了帮助操作者识别和使用这种区域的方法。
在一个实施方案中,对受检者的CT图像进行分析,以识别图像中受检者的左眼和右眼的相应位置,以便限定连接相应位置的第一线段。识别图像的体素子集,该子集包括覆盖受检者的头部的骨部分、和位于平行于第一线段的第二线段上以及位于正交于第一线段的第三线段上的体素。
激活被配置为测量受检者的头部上的位置的磁跟踪***。在磁跟踪***中操作的探头靠近骨部分定位,以便测量覆盖骨部分的头部的表面的磁***位置。
处理器形成磁***位置与体素子集之间的对应,并响应于该对应生成CT图像与磁跟踪***之间的配准。
在一个另选实施方案中,对受检者的CT图像进行分析,以识别图像中受检者的左眼和右眼的相应位置,以便限定连接相应位置的第一线段和正交切割第一线段的第二线段,这两个线段将图像划分成区域。
激活被配置为测量受检者的头部上的位置的磁跟踪***。将在磁跟踪***中操作的探头定位成靠近对应于所述区域的头部的表面,以便测量表面的磁***位置。
处理器对所测得的磁***位置的数量进行计数,并且当给定区域的磁***位置的计数超过给定区域的预设阈值时,提供其指示,并形成磁***位置与图像的体素之间的对应。处理器响应于对应,生成CT图像与磁跟踪***之间的配准。
详细说明
现在参见图1,其为根据本发明实施方案的ENT(耳、鼻和喉)图像配准***20的示意图。在下面的描述中,假定在对患者22执行鼻窦手术之前使用配准***20。***20将患者22的CT(计算机断层摄影)图像(在本文中以举例的方式假设为包括荧光透视CT图像)和用于跟踪患者附近的磁传感器的磁跟踪***23的参照系配准。
在***20中,并且在随后的鼻窦手术期间,包括在磁跟踪***中的磁辐射体组件24定位在患者的头部下方。组件24包括磁场辐射体26,该磁场辐射体被固定在适当位置并将正弦交变磁场传输到患者22的头部所在的区域30中。举例来讲,组件24的辐射体26被布置成围绕患者22头部的大致马蹄形状。然而,组件24的辐射体的另选构型对于本领域的普通技术人员将是显而易见的,并且所有这样的构型都被认为包括在本发明的范围内。
在该规程之前,对于由***20执行的配准,在远侧端部处具有磁传感器32的探头28的远侧端部34在患者22的皮肤的不同区域处接触。一旦组件24被校准,传感器中响应于其与磁场的交互而感应的信号使远侧端部34的位置能够被跟踪。由操作***20的医生54手持的探头控制器52连接到探头28的近侧端部,该控制器允许医生控制对来自传感器32的信号的采集。由Biosense Webster(Diamond Bar,CA)生产的***使用类似于本文所述的***在受磁场辐照的区域中查找线圈的位置和取向。
包括辐射体26的***20的元件由***处理器40控制,该***处理器包括与一个或多个存储器通信的处理单元。处理器40可以安装在控制台50中,该控制台包括操作控制件58,该操作控制件通常包括小键盘和/或指向装置,诸如鼠标或轨迹球。控制台50经由缆线和/或以无线方式连接到辐射体,并且还连接到***20的其他元件,诸如探头28的控制器52。医生54使用控制器52和操作控制件58在执行***20的配准时与处理器交互。在配准过程中,在屏幕56上呈现供医生观看的表面图像70和人脸草图72。下面将详细描述表面图像70和人脸草图72的功能。(在配准过程之后,医生54在执行规程时使用操作控制件与处理器进行交互,并且处理器可以在屏幕56上呈现该规程的结果。)
处理器40使用存储在存储器42中的软件来操作***20。例如,软件可以电子形式通过网络下载到处理器40,或者另选地或除此之外,该软件可被提供和/或存储在非临时性有形介质(诸如磁存储器、光学存储器或电子存储器)上。
处理器40尤其使用软件来操作组件24的磁辐射体26。如上所述,辐射体将不同频率的正弦交变磁场传输到区域30中,包括患者22的头部,并且来自辐射体的场感应传感器32中的信号。处理器分析信号以得到传感器的相对于由组件限定的参考系所测得的位置和取向值,从而得到探头28的远侧端部的相应值。
在执行规程之前,采集患者22的CT图像以供***20使用。CT图像的数据被存储在存储器42中,以供处理器40后续检索。如下所述,处理器使用存储的数据在屏幕56上呈现表面图像70。
图2是在***20中实现的过程的步骤的流程图,并且图3是示出了根据本发明实施方案的流程图的第一步骤的示意图。流程图分为两部分:包括步骤100-108的第一准备部分,以及包括步骤109-114的后续实施部分。流程图的实施部分可以在准备部分完成之后的数天甚至数周内执行。
在初始步骤100中,生成患者22头部的CT图像,并将采集的图像数据存储在存储器42中。
在第一图像分析步骤102中,处理器40访问存储的CT数据并生成患者的头部的表面图像70。然后,处理器查找位于患者的冠状平面上方的表面图像最高点152。通常最高点对应于患者的鼻尖。
在第二图像分析步骤104中,处理器40查找患者的眼睛的中心154,156。在1993年出版的人工智能与专家***的工业与工程应用第六届国际会议的会议记录第507-517页的“Locating the eyes in CT brain scan data”描述了一种用于查找眼睛中心的方法,该文献以引用方式并入本文。用于查找中心的其他方法对于本领域的普通技术人员将是显而易见的,并且所有此类方法被认为包括在本发明的范围内。在患者图像中用于查找患者的眼睛中心的方法的描述在下面的附录中提供。
在构建步骤106中,处理器构建在步骤104中查找的连接两个眼睛中心的线160。此外,处理器构建线164,该线与线160正交、平行于冠状平面且通过在步骤102中查找的最高点的投影。如图3所示,这两条线将对应的表面图像划分成四个四分之一区域170,174,178,182,在本文中也称为象限。
在阈值定义步骤108中,处理器40存储要在象限170,174,178,182的每一个中采集的最小数量的点。在一个实施方案中,所述最小数量分别为20、12、12和20。然而,最小数量可以小于或大于这些值,并且对于所有部分可以是相同的或不同的。本发明人已经发现上述数量的点的值能得到令人满意的结果,本领域的普通技术人员将无需进行过多的实验,就能够确定能得到令人满意的结果的其他值集合。
步骤108完成流程图的准备部分。
在作为流程图的实施部分的起始的初始磁***点采集步骤109中,医生54激活探头28,使得来自磁传感器32(在探头的远侧端部处)的信号可由处理器40采集。通常,当医生将探头的远侧端部34定位在患者皮肤的期望部分上时,并且同时激活***20(例如,使用探头的控制器52中的控制件激活),以采集信号,从而将所采集的信号保存到存储器42中。
在步骤109中,医生将远侧端部定位在患者皮肤上的预定数量的“界标”点处。界标点对应于CT图像中处理器40能够识别的预定CT位置。在一个实施方案中,使用包括患者的鼻部尖端下方的点、患者脸部的眼睛之外的左侧和右侧、以及眼睛之间的点在内的四个界标点,并且在这些点处采集来自磁性传感器32的信号。
一旦采集了磁传感器信号,处理器就会计算磁组件参照系中的相应磁位置,从而生成四个有序对的位置,每个有序对具有一个对应并具有一定形式(磁位置、CT位置)。
处理器40使用一组有序对生成初步配准,即,包括将CT***与磁组件对准的平移和/或旋转的转换。
尽管上述实施方案使用了四个界标点,但本发明人认为,少于四个点,可能仅两个点,就可足以生成初步配准。
图4示出了屏幕56上的表面图像70和人脸草图72的初始显示,并且图5示出了根据本发明的实施方案的表面图像和草图的随后显示。如下文所述,草图用作***20的用户的视觉指示器,以指示何时收集到足够的数据来将CT图像的参照系与磁跟踪***的参照系精确配准(与步骤109中的初步配准相比)。
返回到流程图,在连续采集步骤110中,处理器在屏幕56上显示表面图像和人脸草图,如图4所示。医生54继续从磁传感器32采集信号,并且处理器40将所采集的信号保存到存储器42。在一些实施方案中,通知显示于屏幕56上,提示当远侧端部34定位成靠近患者的骨骼特征(诸如鼻梁和眉毛或前额)时,医生采集信号。
每次采集信号时,在如通过步骤109的初步配准确定的与远侧端部34的位置近似对应的区域中,在表面图像150上放置相应的标记。图4以举例的方式示出了三个标记192、194和196。
每次采集信号时,处理器使用由信号确定的位置来更新ICP定理,使用新位置作为对源点云的一个补充。(表面图像70对应于ICP定理所使用的参照点云。)
此外,每次采集信号时,处理器还增加一个用于采集信号所在的四分之一区域的计数器。
在继续步骤112中,处理器检查每个四分之一区域的计数器,并且当达到该区域的采集位置的阈值时,处理器向医生提供已经达到该区域阈值的指示。
在本发明的一个实施方案中,提供的指示是视觉指示,其中草图70的最初为灰色的一部分(诸如通过着色或加阴影)被视觉地改变。图4和图5示出了分别对应于用作指示区域的四分之一区域170,174,178,182的四个灰色区域198、200、202和204。图5示出了区域204已被加阴影,表明已经达到了四分之一区域182的阈值。
在条件步骤114中,医生通过查看草图来检查是否已经达到所有四分之一区域的阈值。如果检查返回为正,那么医生可停止用探头28采集位置。如果检查返回为负,即如果没有提供达到阈值的一个或多个视觉指示,则流程图返回到步骤110,并且医生继续用探头28采集点。
发明人已发现,如上所述,***20的具体实施提供了磁***参照系与CT成像参照系的快速、有效和精确的配准。
现在参见图6,其为根据本发明实施方案的替代ENT图像配准***220的示意图。除了下文所述的不同之外,***220的操作与***20(图1至图5)的操作大体上相似,并且在***20和220中由相同附图标记表示的元件在结构上和操作上大体上相似。
与***20相反,在***220中,在屏幕56上不呈现视觉指示器诸如草图72,使得屏幕上的显示可仅为表面图像70。同样与***20用于配准两个参照系所用的图2的流程图的步骤相比,***220使用不同流程图的步骤,如下文所述。
图7是在***220中实施的过程的步骤的流程图,并且图8示出了根据本发明的实施方案的步骤之一。与图2的流程图一样,图7的流程图具有初始准备部分和之后的实施部分。在图7的流程图中,步骤230、232和234分别与图2的流程图的步骤100、102和104基本上相同。
在图像分析步骤236中,处理器使用在步骤232和234中采集的值来分析在步骤232中生成的表面图像70,以描绘所采集的大写字体“T”形的图像中的体素。T形包括作为T的垂直线250的患者的鼻梁(图8)。为了确定垂直线的体素,处理器从在步骤232中确定的鼻尖开始,并且通过查找表面图像70中位于鼻尖附近和垂直上方的局部极大值来查找鼻梁的其他体素,即鼻子的骨部分。处理器迭代地继续该过程以查找对应于T形的完整垂直线250的体素。
为了查找与T形的水平线252对应的体素,处理器选择为连接患者的眼睛中心的线上方的预设垂直距离的体素,如步骤234所示。在一个实施方案中,预设距离为眼睛中心线上方5厘米,但在其他实施方案中,该距离可大于或小于5厘米。选择预设距离,使得水平线的体素覆盖患者前额的骨部分。
如果需要,如上所述发现的体素的垂直线250延长,使得它与体素的水平线252相交。
应当理解,在分析步骤236中,处理器生成包括表面图像70的该集合体素的子集。该子集呈大写字体T的大体形状,并且子集34的体素覆盖患者的头部的骨部分。在一个实施方案中,该骨部分对应于具有大于或等于大约+200的Hounsfield单位值的全CT图像的体素。通常,体素的垂直线和水平线都不止一个体素宽。
步骤236结束流程图的准备部分。
在流程图的实施部分中,在实施步骤238中,医生54沿着患者22的鼻梁并沿着患者的前额移动探头28的远侧端部34。换句话讲,医生以“T”图案移动探头的远侧端部。在一些实施方案中,诸如图8的图显示在屏幕56上,以便引导医生以T图案移动探头。在移动期间,医生使用控制器52从探头中的传感器32采集信号。
在相关联和配准步骤240中,处理器使用ICP定理将在步骤238中采集的点与在步骤236中生成的体素子集相关联。在执行相关联操作的同时,处理器还配准了两个参照系,即磁***和CT成像***的参照系。定理使用体素的子集作为参照点集,并且使用在步骤238中采集的点作为源点集。
在条件步骤242中,处理器检查在步骤240中执行的配准是否足够准确,即与由ICP定理生成的成本函数相关联的误差是否足够小,通常低于预设阈值。如果条件返回为正,则通常在屏幕56上提供通知,通知医生她/他可停止采集点。该通知还可以建议医生诸如通过触摸预定义的位置并使处理器将这些位置标记在CT图像上和/或通过测量这些位置之间的距离来执行配准的验证。如果条件返回为负,或者如果验证失败,则流程图返回到步骤238,其中医生继续使用探头28采集点。
发明人已经发现,由于参照点集和源点集具有相同的“T”形,并且由于两个集合是它们相应集合的小子集,所以使用ICP定理提供磁***参照系与CT成像参照系的非常快速和精确的配准。
附录
图9是示出根据本发明的实施方案的用于在患者的CT图像中查找患者的眼睛中心的步骤的流程图。流程图的步骤基于上述参考文献:“Locating the eyes in CT brainscan data”,并且在下面的描述中,假设流程图的步骤通过对患者22的头部的CT图像进行操作的处理器40来实现。
初始步骤300基本上如上文所述的步骤100。
在定位感兴趣区域的步骤302中,处理器40例如通过图像的光栅扫描切片描绘CT图像中患者的头部的边界框,以在每个切片中查找头部的表面。
在边缘检测步骤304中,处理器通常通过使用Canny算法来标定边界框内的实体的边缘。
在圆定位步骤306中,处理器通常通过使用霍夫变换查找由边缘限定的圆。如本领域已知的,霍夫变换使用表决程序(voting procedure)来查找给定形状(在这种情况下为圆)的对象的实例。通常,可以使用线表决(line voting),该线相对于圆限定。霍夫变换的结果可以使用收敛平方算法来增强。
在图案识别步骤308中,检查在步骤306中查找的圆,看它们是否形成图案,即CT图像的相邻切片的集群中是否存在对应的圆。ISODATA非监督聚类算法可用于制定圆的集群。
在过滤步骤310中,过滤步骤308的集群以除去错误结果。在一个实施方案中,可使用眼球半径的已知可能尺寸,第二次使用霍夫变换。
在最终步骤312中,将步骤310之后的剩余集群的中心作为CT图像中的眼睛的中心。
应当理解,上述实施方案以举例的方式引用,并且本发明不限于上文具体示出和描述的内容。相反,本发明的范围包括上文描述的各种特征的组合和子组合,以及本领域技术人员在阅读前述说明时将会想到的且未在现有技术中公开的变型和修改。
Claims (22)
1.一种方法,包括:
接收包括受检者的头部的体素的计算机断层摄影(CT)图像;
分析所述图像以识别所述图像中所述受检者的左眼和右眼的相应位置,以便限定连接所述相应位置的第一线段;
识别包括覆盖所述头部的骨部分、位于平行于所述第一线段的第二线段上以及位于正交于所述第一线段的第三线段上的体素的体素子集;
激活被配置为测量所述受检者的所述头部上的位置的磁跟踪***;
将在所述磁跟踪***中操作的探头定位成靠近所述骨部分,以测量覆盖所述骨部分的所述头部表面的磁***位置;
形成所述磁***位置与所述体素子集之间的对应;以及
响应于所述对应,生成所述CT图像与所述磁跟踪***之间的配准。
2.根据权利要求1所述的方法,其中所述第二线段在所述第一线段上方的预设距离。
3.根据权利要求2所述的方法,其中所述预设距离为5cm。
4.根据权利要求1所述的方法,并且包括将所述头部的所述骨部分识别为具有大于或等于+200的Hounsfield单位值的体素。
5.根据权利要求1所述的方法,其中所述第三线段覆盖所述受检者的鼻尖。
6.根据权利要求1所述的方法,其中所述第二线段和所述第三线段形成大写字体T,所述方法还包括在将所述探头定位成测量所述表面的所述磁***位置之前,显示所述CT图像并将所述大写字体T定位在所显示的CT图像上。
7.一种方法,包括:
接收包括受检者的头部的体素的计算机断层摄影(CT)图像;
分析所述图像以识别所述图像中所述受检者的左眼和右眼的相应位置,以便限定连接所述相应位置的第一线段和正交切割所述第一线段的第二线段,两条线段将所述图像分割成区域;
激活被配置为测量所述受检者的所述头部上的位置的磁跟踪***;
将在所述磁跟踪***中操作的探头定位成靠近与所述区域对应的所述头部的表面,以便测量所述表面的磁***位置;
当给定区域的所述磁***位置的计数超过所述给定区域的预设阈值时,提供其指示并且形成所述磁***位置与所述图像的所述体素之间的对应;以及
响应于所述对应,生成所述CT图像与所述磁跟踪***之间的配准。
8.根据权利要求7所述的方法,其中提供所述指示包括改变所述头部的草图的视觉特征。
9.根据权利要求7所述的方法,其中所述区域包括具有相应预设阈值的四个象限。
10.根据权利要求7所述的方法,并且包括,在确定所述计数之前,使用与所述CT图像中的界标点对应的所述表面的磁***位置,执行所述CT图像与所述磁跟踪***之间的初步配准。
11.根据权利要求10所述的方法,其中所述界标点包括所述受检者的鼻尖下方的第一点、所述受检者的所述眼睛之间的第二点、所述第一线段左侧上的第三点和所述第一线段右侧上的第四点中的至少两者。
12.一种设备,包括:
磁传感器;
磁跟踪***,其被配置为测量所述磁传感器的位置;
包括所述磁传感器的探头,所述磁传感器被配置为测量所述***中所述探头的磁***位置;以及
处理器,其被配置为:
接收包括受检者的头部的体素的计算机断层摄影(CT)图像;
分析所述图像以识别所述图像中所述受检者的左眼和右眼的相应位置,以便限定连接所述相应位置的第一线段;
识别包括覆盖所述头部的骨部分、位于平行于所述第一线段的第二线段上以及位于正交于所述第一线段的第三线段上的体素的体素子集;
激活所述磁跟踪***;
从覆盖所述骨部分的所述头部的表面的所述探头接收磁***位置;
形成来自所述探头的所述磁***位置与所述体素子集之间的对应;以及
响应于所述对应,生成所述CT图像与所述磁跟踪***之间的配准。
13.根据权利要求12所述的设备,其中所述第二线段在所述第一线段上方的预设距离。
14.根据权利要求13所述的设备,其中所述预设距离为5cm。
15.根据权利要求12所述的设备,其中所述处理器被配置为将所述头部的所述骨部分识别为具有大于或等于+200的Hounsfield单位值的体素。
16.根据权利要求12所述的设备,其中所述第三线段覆盖所述受检者的鼻尖。
17.根据权利要求12所述的设备,其中所述第二线段和所述第三线段形成大写字体T,所述方法还包括在接收来自所述探头的所述表面的所述磁***位置之前,显示所述CT图像并将所述大写字体T定位在所显示的CT图像上。
18.一种设备,包括:
磁传感器;
磁跟踪***,其被配置为测量所述磁传感器的位置;
包括所述磁传感器的探头,所述磁传感器被配置为测量所述***中所述探头的磁***位置;以及
处理器,其被配置为:
接收包括受检者的头部的体素的计算机断层摄影(CT)图像;
分析所述图像以识别所述图像中所述受检者的左眼和右眼的相应位置,以便限定连接所述相应位置的第一线段和正交切割所述第一线段的第二线段,两条线段将所述图像分割成区域;
激活所述磁跟踪***;
从所述头部的表面的所述探头接收磁***位置;
当给定区域的所述磁***位置的计数超过所述给定区域的预设阈值时,提供其指示并且形成所述磁***位置与所述图像的所述体素之间的对应;以及
响应于所述对应,生成所述CT图像与所述磁跟踪***之间的配准。
19.根据权利要求18所述的设备,其中提供所述指示包括改变所述头部的草图的视觉特征。
20.根据权利要求18所述的设备,其中所述区域包括具有相应预设阈值的四个象限。
21.根据权利要求18所述的设备,其中所述处理器被配置为,在确定所述计数之前,使用与所述CT图像中的界标点对应的所述表面的磁***位置,执行所述CT图像与所述磁跟踪***之间的初步配准。
22.根据权利要求21所述的设备,其中所述界标点包括所述受检者鼻尖下方的第一点、所述受检者的所述眼睛之间的第二点、所述第一线段左侧上的第三点和所述第一线段右侧上的第四点中的至少两者。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662384823P | 2016-09-08 | 2016-09-08 | |
US62/384823 | 2016-09-08 | ||
US15/674,380 US11986252B2 (en) | 2017-08-10 | 2017-08-10 | ENT image registration |
US15/674380 | 2017-08-10 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107961023A true CN107961023A (zh) | 2018-04-27 |
CN107961023B CN107961023B (zh) | 2023-04-07 |
Family
ID=59846426
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710811117.1A Active CN107961023B (zh) | 2016-09-08 | 2017-09-08 | Ent图像配准 |
Country Status (6)
Country | Link |
---|---|
EP (1) | EP3292835B1 (zh) |
JP (1) | JP7258459B2 (zh) |
CN (1) | CN107961023B (zh) |
AU (1) | AU2017221893A1 (zh) |
CA (1) | CA2978790A1 (zh) |
IL (1) | IL254348B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111281539A (zh) * | 2018-12-06 | 2020-06-16 | 韦伯斯特生物官能(以色列)有限公司 | 用于执行面部配准的方法和设备 |
CN112804940A (zh) * | 2018-10-04 | 2021-05-14 | 伯恩森斯韦伯斯特(以色列)有限责任公司 | 使用相机的ent工具 |
CN113347937A (zh) * | 2019-01-25 | 2021-09-03 | 伯恩森斯韦伯斯特(以色列)有限责任公司 | 参照系的配准 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6096050A (en) * | 1997-09-19 | 2000-08-01 | Surgical Navigation Specialist Inc. | Method and apparatus for correlating a body with an image of the body |
WO2000056215A1 (en) * | 1999-03-23 | 2000-09-28 | Medtronic Surgical Navigation Technologies | Navigational guidance via computer-assisted fluoroscopic imaging |
CN103402453A (zh) * | 2011-03-03 | 2013-11-20 | 皇家飞利浦有限公司 | 用于导航***的自动初始化和配准的***和方法 |
US20160000518A1 (en) * | 2013-02-11 | 2016-01-07 | Neomedz Sàrl | Tracking apparatus for tracking an object with respect to a body |
WO2016007595A1 (en) * | 2014-07-09 | 2016-01-14 | Acclarent, Inc. | Guidewire navigation for sinuplasty |
CN105520716A (zh) * | 2014-10-14 | 2016-04-27 | 韦伯斯特生物官能(以色列)有限公司 | 荧光镜图像的实时模拟 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5951571A (en) * | 1996-09-19 | 1999-09-14 | Surgical Navigation Specialist Inc. | Method and apparatus for correlating a body with an image of the body |
JP4638330B2 (ja) * | 2005-11-10 | 2011-02-23 | イマグノーシス株式会社 | 医用三次元画像の表示方向修正装置、修正方法および修正用プログラム |
FR2963693B1 (fr) * | 2010-08-04 | 2013-05-03 | Medtech | Procede d'acquisition automatise et assiste de surfaces anatomiques |
CN103251457A (zh) * | 2013-03-20 | 2013-08-21 | 东南大学 | 一种用于神经外科立体定向手术的头面部标记点半自动标定方法 |
-
2017
- 2017-09-04 AU AU2017221893A patent/AU2017221893A1/en not_active Abandoned
- 2017-09-06 IL IL254348A patent/IL254348B/en unknown
- 2017-09-07 CA CA2978790A patent/CA2978790A1/en not_active Abandoned
- 2017-09-07 JP JP2017171815A patent/JP7258459B2/ja active Active
- 2017-09-08 CN CN201710811117.1A patent/CN107961023B/zh active Active
- 2017-09-08 EP EP17190097.0A patent/EP3292835B1/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6096050A (en) * | 1997-09-19 | 2000-08-01 | Surgical Navigation Specialist Inc. | Method and apparatus for correlating a body with an image of the body |
WO2000056215A1 (en) * | 1999-03-23 | 2000-09-28 | Medtronic Surgical Navigation Technologies | Navigational guidance via computer-assisted fluoroscopic imaging |
CN103402453A (zh) * | 2011-03-03 | 2013-11-20 | 皇家飞利浦有限公司 | 用于导航***的自动初始化和配准的***和方法 |
US20160000518A1 (en) * | 2013-02-11 | 2016-01-07 | Neomedz Sàrl | Tracking apparatus for tracking an object with respect to a body |
WO2016007595A1 (en) * | 2014-07-09 | 2016-01-14 | Acclarent, Inc. | Guidewire navigation for sinuplasty |
CN105520716A (zh) * | 2014-10-14 | 2016-04-27 | 韦伯斯特生物官能(以色列)有限公司 | 荧光镜图像的实时模拟 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112804940A (zh) * | 2018-10-04 | 2021-05-14 | 伯恩森斯韦伯斯特(以色列)有限责任公司 | 使用相机的ent工具 |
CN112804940B (zh) * | 2018-10-04 | 2024-04-12 | 伯恩森斯韦伯斯特(以色列)有限责任公司 | 使用相机的ent工具 |
CN111281539A (zh) * | 2018-12-06 | 2020-06-16 | 韦伯斯特生物官能(以色列)有限公司 | 用于执行面部配准的方法和设备 |
CN113347937A (zh) * | 2019-01-25 | 2021-09-03 | 伯恩森斯韦伯斯特(以色列)有限责任公司 | 参照系的配准 |
Also Published As
Publication number | Publication date |
---|---|
JP7258459B2 (ja) | 2023-04-17 |
IL254348B (en) | 2021-08-31 |
JP2018043000A (ja) | 2018-03-22 |
IL254348A0 (en) | 2017-11-30 |
EP3292835A1 (en) | 2018-03-14 |
CN107961023B (zh) | 2023-04-07 |
CA2978790A1 (en) | 2018-03-08 |
AU2017221893A1 (en) | 2018-03-22 |
EP3292835B1 (en) | 2021-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6671432B2 (ja) | 患者装着式の針ガイドの位置合わせおよび動き補償 | |
US11986252B2 (en) | ENT image registration | |
US20090093702A1 (en) | Determining and identifying changes in the position of parts of a body structure | |
CN108720862B (zh) | 基于与骨组织的接近度配准解剖图像与位置跟踪坐标系 | |
EP3025304B1 (en) | Registration system for registering an imaging device with a tracking device | |
CN106999130B (zh) | 用于确定在投影图像中介入仪器的位置的装置 | |
EP4343707A2 (en) | Indication-dependent display of a medical image | |
EP3673854B1 (en) | Correcting medical scans | |
CN106539623A (zh) | 向刚性工具添加跟踪传感器 | |
CA2947873A1 (en) | Locally applied transparency for a ct image | |
EP3501398B1 (en) | Ent bone distance color coded face maps | |
CA3002090A1 (en) | Improving registration of an anatomical image with a position-tracking coordinate system based on visual proximity to bone tissue | |
CN107961023A (zh) | Ent图像配准 | |
CN114746901A (zh) | 图像与跟踪***的配准 | |
CN114404039B (zh) | 三维模型的组织漂移校正方法、装置、电子设备及存储介质 | |
Wang et al. | Automatic localization of the center of fiducial markers in 3D CT/MRI images for image-guided neurosurgery | |
US20230263500A1 (en) | Determining a configuration of a medical x-ray imaging system for detecting a marker device | |
CN109481016B (zh) | 以患者面部作为触摸板用户界面 | |
Naik et al. | Feature-based registration framework for pedicle screw trajectory registration between multimodal images | |
EP4345747A1 (en) | Medical image data processing technique | |
US20230237711A1 (en) | Augmenting a medical image with an intelligent ruler | |
Bafna et al. | Automatic Head Position Detection in Computer Tomography for Prevention of Wrong-Side Treatment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |