CN102428496A - 用于em跟踪内窥镜***的无标记物跟踪的配准和校准 - Google Patents

Abstract

一种用于图像之间基于图像的配准的***和方法，其定位(304)术前图像中的特征，并且将用被跟踪的观察仪器拍摄的实时图像与具有所述特征的所述术前图像相比较(307)，以找出与所述术前图像密切匹配的实时图像。将最密切匹配的实时图像配准(308)到所述术前图像以确定所述术前图像的位置和由***提供的所述实时图像的位置之间的变换矩阵，从而所述变换矩阵允许使用所述***在术前图像空间中跟踪实时图像坐标。

Description

用于EM跟踪内窥镜***的无标记物跟踪的配准和校准

这一公开涉及成像工具，并且更具体地涉及用于在内窥镜检查程序期间配准和校准内窥镜的***和方法。

内窥镜是一种微创实时成像模式，其中照相机被***身体以用于可视化检查诸如肺部气道或者肠胃***的内部结构。内窥镜典型地是长柔性的光纤***，在患者身体外部的近端处连接至光源，并且在患者身体内部的远端处连接有透镜。此外，一些内窥镜包括工作通道，经过该工作通道操作者能够执行抽吸或者使诸如刷、活组织检查针或者钳夹的器械穿过。视频反馈给医师或者技术人员提示以将观察仪器操纵至目标区域。

与传统的内窥镜相比，图像引导内窥镜具有的优点是在执行介入程序的同时，与肺部的三维(3D)路线图实时关联。因而其被公认为是用于很多肺部应用的有价值工具。这一形式的内窥镜需要在全局坐标系中跟踪该内窥镜的顶端，以便将该内窥镜的位置与术前计算机断层摄影(CT)图像相关联，并且显示融合图像。

在对支气管镜定位的研究中，有三种方式来跟踪内窥镜的顶端。类型(a)基于安装在内窥镜顶端上的位置传感器来跟踪；类型(b)基于实况图像配准来跟踪，以及类型(c)是类型(a)和(b)的组合。电磁(EM)引导内窥镜(类型(a)***)已经被公认为是用于很多肺部应用的有价值工具，但是它需要采用附加的引导设备。由于类型(b)不采用附加的引导设备，因此它比类型(a)更令人满意，但是持续地一帧接一帧地配准可能是很费时间的，并且容易出错，例如当气道内部的流体模糊了视频图像时。

将电磁(EM)位置传感器引入内窥镜(例如，在类型(a)***中)可克服这一障碍。为了给内窥镜检查程序提供光学图像(由内窥镜照相机捕获)和CT图像之间的精确数据融合，需要校准和配准该内窥镜***。校准涉及确定照相机的坐标系和附接在观察仪器顶端的EM***之间的坐标偏移的过程(假设已经获得该照相机的固有参数)。配准涉及确定EM***和CT图像空间之间的坐标变换矩阵。

校准：为了整合EM空间和照相机空间之间的数据，采用校准来确定安装在内窥镜上的EM***相对于照相机坐标(光轴和投影中心位于该处)的位置和方向。这一校准的结果具有六个偏移常量的形式：三个针对旋转，三个针对平移。在介入内窥镜检查程序中校准的目的在于人们能够基于附接的内窥镜***的EM读数来动态地确定照相机的位姿。

一般而言，校准是一种离线程序：可以通过使用EM跟踪内窥镜对其几何属性已知的EM跟踪体模(具有例如西洋棋盘的校准式样)成像来获得校准参数。这包含麻烦的工程学程序。虽然就此而论期望的变换在照相机坐标和内窥镜***之间，但是在校准体模的每个单元中需要一系列校准程序。例如，指示***的校准、测试格子和该格子上的参考***之间的校准、照相机坐标和测试格子之间的校准(照相机校准)都是需要的，以实现照相机坐标和EM***坐标之间的目的校准。

配准：EM引导内窥镜介入的另一程度是将EM空间与术前CT空间对齐。历史上，可执行三种类型的配准方法：(1)基于外部基准，(2)基于内部基准以及(3)无基准方法。现有配准方法的优点和缺点可以在下表(表1)中查明。

表1不同配准方法之间的比较

在以上引用的无标记物配准方法中，通过使来自内窥镜***的EM读数和从CT图像中提取出的中央线路径之间的空间距离最小化可以建立变换矩阵。这意味着操作者，为了执行配准任务，必须沿着一条线稳定地移动以使得数据可用于配准。同样，不可避免的是当操作者尝试着将观察仪器向着子分支扭转，或者将照相机转向旁边以检查壁部时，内窥镜的轨迹变得“脱离轨迹”(不再在中央线上)。这些数据对于配准不再可用，并且必须被丢弃直到观察仪器返回轨迹(也即，回到中心线上)。这一数据限制(可用帧的选择性)使得实时配准是困难的。

根据本发明原理，提出一种简化的校准方法，其只通过计算出照相机坐标和内窥镜***之间的偏移变换矩阵(假设已经获得了该照相机的固有参数)而避开了麻烦的离线校准。在一个实施例中，从3D CT图像，或者虚拟图像(例如，虚拟支气管镜(VB)图像)来绘制出腔道(例如，气道)的漫游(fly-through)腔内视图。软件程序被配置为具有优化方案，该优化方案能够从一系列的候选实际位姿中识别出与术前图像最相似的实际图像(例如，实际支气管镜(RB)图像)。确定与该实际图像相关联的EM位置传感器(放置在该内窥镜的顶端上)的位置。将该位置与术前图像相关以确定出变换矩阵，该变换矩阵指示如何将实时图像与虚拟或者术前图像相关联。

提出一种能够实现在线校准和无标记物配准的***。注意到使用同一原理来独立地执行该两个程序：例如，能够采用由虚拟照相机捕获的二维图像和由实际照相机捕获的视频图像，并且将该二维图像和视频图像相配准以获得期望的变换矩阵。为了成功地执行在线校准程序，必须要预先获得配准变换矩阵；同样地，对于在上下文中提出的这一无标记物的配准程序，人们必须假设校准矩阵已经准备好用于使用。该***设计为在术中获得EM和观察仪器照相机之间，以及EM空间和CT空间之间的期望变换矩阵。这一方法改进了EM跟踪内窥镜应用的数据整合程序。

本实施例可采用来自内窥镜照相机的二维(2D)视频图像和从CT图像导出的虚拟漫游腔内视图之间的基于图像的配准，以及简单的在线校准方法和无标记物配准方法。

提供一种无标记物配准方法以用于将EM空间和CT空间对齐一致，而操作者不接触任何表面基准标记物或者内部解剖学标志。本发明原理是独立于操作者的，并且不要求观察仪器接触任何外部标记物或者解剖学标志来执行配准。此外，观察仪器不需要沿着气道的中央线或者轨迹来行进。

提出了一种用于利用二维实际-虚拟图像对齐以获得EM-CT配准矩阵和CT-照相机校准矩阵的***和方法。这包括定位术前图像中的特征，并且将实时图像与具有该特征的该术前图像相比较以找出与该术前图像密切匹配的实时图像。将最密切匹配的实时图像配准到该术前图像以确定该术前图像的虚拟照相机位姿和该实时图像的实际照相机位姿之间的变换矩阵。这一变换矩阵(在已知校准矩阵时)成为EM空间和CT空间之间的该配准矩阵，(在已知配准矩阵时)成为该校准矩阵。所提出的***允许无标记物配准和在线校准，并且从而改进了针对图像引导内窥镜应用的数据整合程序。

一种用于图像之间基于图像的配准的***和方法，包括定位术前图像中的特征，并且将用观察仪器拍摄的实时图像与具有该特征的该术前图像相比较以找出与该术前图像密切匹配的实时图像。将最密切匹配的实时图像配准到该术前图像相以确定该术前图像的位置和该实时图像的位置之间的变换矩阵，从而该变换矩阵允许在术前图像空间中跟踪实时图像坐标。

通过本公开的以下说明性实施例的详细描述并结合附图进行阅读，本公开的这些和其他目的、特征和优点将变得显而易见。

这一公开以下将参考下列各图详细呈现优选实施例的描述，其中：

图1的流程图示出了根据一个实施例的用于图像配准的说明性方法；

图2是根据一个实施例的在肺部气道内部的术前虚拟图像的说明性例子；

图3的说明性示意图描绘了以与图2的虚拟图像相关的特殊位姿拍摄图像的内窥镜；

图4的说明性示意图示出了根据本发明原理的针对照相机、***和虚拟图像空间的坐标系；

图5的说明性示意图示出了根据本发明原理的术前图像和视频实时图像之间的匹配；

图6的流程图示出了根据一个实施例的用于视频和术前图像之间基于图像的配准的方法；

图7的方框图示出了根据本发明原理的用于视频和术前图像之间基于图像的配准的***；

图8的说明性示意图示出了根据本发明原理使用体模参考的用于基于基准的配准的在线校准的***；以及

图9的流程图示出了根据另一实施例的用于引导内窥镜的在线校准的方法。

本公开描述了用于观察仪器的校准和配准的***和方法。用于校准电磁(EM)引导内窥镜***的简单方法计算针对照相机坐标和内窥镜***之间的偏移的变换矩阵。在照相机帧和内窥镜***帧之间的偏移距离反映为在实际的视频图像和虚拟的漫游图像之间的2D投影图像中的不同。人类眼睛或者计算机用于区分这一空间差别并且重建空间对应性。空间的偏移成为校准的结果。

内窥镜***和方法使用无标记物、基于图像的配准，将来自内窥镜上的照相机的单一2D视频图像与CT图像或者其他虚拟图像相匹配，以找出CT空间和EM(电磁跟踪)空间之间的变换矩阵。本实施例(例如，以支气管镜的形式)可包括：(1)放置在支气管镜顶端上的EM位置传感器，(2)来自CT扫描(或者其他技术，例如，MRI、超声波扫描图，等等)的重建虚拟支气管镜(VB)图像，以及(3)具有在一系列的候选RB位姿中识别出最类似于VB的实际支气管镜(RB)图像的优化方案的软件。支气管镜的行进不需要只沿着气道的中央线。不需要在患者之上或者之内的标记物。该***和方法是独立于操作者的，并且不需要观察仪器接触任何外部标记物或者解剖学标志，来执行配准。

在特别有用的实施例中，观察仪器可包括用于肺部、消化***、或者其他微创外科手术观察的支气管镜或者任意的观察仪器。在其他实施例中，也采用用于其他医疗程序的内窥镜等。这些程序可包括微创内窥镜垂体手术、内窥镜颅底肿瘤手术、心室内神经外科手术、关节镜手术、腹腔镜手术、等等。也预期其他的观察仪器应用。

应理解的是将依据支气管镜来描述本发明；然而，本发明的教导是更为广泛的，并且可应用于可以在分支的、弯曲的、卷绕的或者其他形状的***(例如，消化***、循环***、管道***、腔道、矿场、洞穴、等等)的内部观察中采用的任何光学观察仪器。在本文中描述的实施例优选被显示在显示监视器上来观察。这种监视器可包括任何适当的显示器设备，包括但不限于手持显示器(例如，在个人数字助理、电话设备上，等等)、计算机显示器、电视、指定的监视器，等等。取决于观察仪器，所提供的显示器可是***的一部分或者可是分离的单元或者设备。进一步地，可使用CT扫描技术来生成虚拟图像，但是也可采用其他成像技术，例如、超声波扫描图、磁共振图像、计算机生成图像，等等。

也应该理解的是光学观察仪器可包括与该观察仪器连接或者结合的多种不同的设备。这种设备可包括光源、切割设备、刷、真空管路、照相机，等等。这些部件可与观察仪器的远端部分的头部一体形成。该光学观察仪器可包括设置在观察仪器顶端的照相机，或者可将照相机设置在光缆的与该顶端相对的末端处。实施例可包括硬件元件、软件元件或者硬件和软件元件两者。在优选实施例中，本发明用软件实现，这包括但不限于固件、常驻软件、微码，等等。

此外，本发明原理能够采取计算机程序产品的形式，该计算机程序产品可从计算机可用或者计算机可读介质访问，该介质提供由计算机或任意指令执行***使用或者相结合的程序代码。计算机可用或者计算机可读介质可以是可包括、存储、通信、传播、或者传送程序以由指令执行***、设备或者装置使用或者相结合的任何设备。该介质可以是电子的、磁的、光学的、电磁的、红外的、或者半导体***(或者设备或者装置)。计算机可读介质的例子包括半导体或者固态存储器、磁带、可移动式计算机磁盘、随机访问存储器(RAM)、只读存储器(ROM)、刚性磁盘和光盘。光盘的当前例子包括高密度光盘-只读存储器(CD-ROM)、高密度光盘-读/写(CD-R/W)和DVD。

适合于存储和/或执行程序代码的数据处理***可包括经由***总线与存储器元件直接或者间接耦合的至少一个处理器。该处理器或者处理***可与观察仪器***一起提供或者独立于该观察仪器***提供。存储器元件可以包括在程序代码的实际执行期间采用的本地存储器、海量存储器、和高速缓冲存储器，该高速缓冲存储器给至少一些程序代码提供暂时存储以减少在执行期间从海量存储器取回代码的次数。输入/输出或者I/O设备(包括但不限于键盘、显示器、指示设备，等等)可直接地或者经由介入I/O控制器与该***耦合。

网络适配器也可与该***耦合，以使得数据处理***能够经由介入私人或者公共网络与其他数据处理***或者远程打印机或者存储器设备耦合。调制解调器、缆线调制解调器以及以太网卡正是一些当前可获得的网络适配器类型。

根据本发明原理，需要将三个局部坐标系互连以允许它们之间事件的映射。这些包括照相机坐标系(投影中心和光轴位于该处)、EM传感器坐标系、和CT坐标系。

$p_{\mathrm{CT}}=T_{\mathrm{Cam}}^{\mathrm{CT}}{p}_{\mathrm{Cam}}=T_{\mathrm{EM}}^{\mathrm{CT}}{T}_{\mathrm{Cam}}^{\mathrm{EM}}{p}_{\mathrm{Cam}}---\left(1\right)$

其中p_ct是CT空间中的位置(位姿)，并且P_cam是照相机空间中的位置(位姿)。最后，人们需要识别出关系

(CT空间和照相机空间之间的变换)以使用术前CT路线图来引导内窥镜检查程序。矩阵

是内窥镜顶端上的EM传感器和照相机坐标系之间的校准矩阵，矩阵

是EM和CT空间之间的配准矩阵。采用和

来获得期望的矩阵

现在参照图，其中相似的附图标记代表相同或者相似的元件，首先是图1，示出了一种找出变换

的方法。这通过在方框12中采集一幅术前图像(例如，CT图像)来执行。术前位置的位姿将被记录为P_v。在方框14中使用内窥镜上的照相机来拍摄一组实际图像。该实际图像接近一些标志性位置，例如第一分支位置(例如，肺部中的隆突)。操作者移动内窥镜足够靠近以与术前图像匹配。当对观察仪器的位姿感到满意时，操作者可以开始从位姿P_i-N到P_i+N采集一系列图像(针对初始位姿位置P_i)。

在方框16中通过找出使得实际图像与术前图像最相似的照相机位姿来估计出变换矩阵。在方框18中，能够采用基于互信息的配准方法来找到最相似的图像，其位姿表示为P_R。在P_v和P_R之间的变换矩阵成为期望的配准结果，并且能够用于使实际图像空间跟踪术前图像空间。

参照图2和3，虚拟图像20示出为处于肺部的隆突位置。虚拟位置(VB)处的照相机位姿被记录为P_v。操作者移动具有照相机的内窥镜22以收集足够密切地与图像VB匹配的图像。VB照相机位姿已知并被存储于存储器中。当操作者对观察仪器的位姿感到满意时，操作者可以开始从位姿P_i到P_i+N(或者从P_i-N)采集一系列图像。将采用基于互信息的配准方法来找出最相似的图像，其位姿表示为P_R。照相机位姿P_R对应于VB和所选择的RB之间的最佳匹配。构建P_v和P_R之间的变换矩阵，并且该变换矩阵成为期望的配准结果。可使用计算机执行软件工具来确定图像相似性，或者取决于情况可通过人类操作者来执行。

参照图4，说明性描绘了在EM***坐标系40、照相机坐标系42和CT坐标系44之间的关系。需要互连这三个局部坐标系40、42和44以允许照相机坐标系42(投影中心和光轴位于该处)、EM传感器坐标系40和CT坐标系44之间的变换。这可以等式(1)中所提出的来表示。人们需要识别出关系

(CT空间和照相机空间之间的变换)，以使用术前CT路线图来引导内窥镜检查程序。在一个实施例中，采用配准来将EM与CT空间对齐以获得

是内窥镜顶端上的EM传感器和照相机坐标系之间的校准矩阵。这能够经由校准程序来确定。根据本发明原理的一个方面，提供一种方法来获得

(见等式(2))，否则只可以通过基于基准的方法来获得

$T_{\mathrm{EM}}^{\mathrm{CT}}=T_{\mathrm{Cam}}^{\mathrm{CT}}{T}_{\mathrm{EM}}^{\mathrm{Cam}}---\left(2\right)$

通过找到给出的所捕获VB的位姿，以及找出使实际图像与虚拟图像最相似的照相机位姿来估计变换，

人类操作者只需要通过检查和比较VB和RB图像之间的相似性来将观察仪器足够接近VB位姿。然后，将在以初始化点P_i为中心的邻近区域中收集多个RB帧(例如，在图3中从位姿P_i-N到P_i+N)。通过将由CCD照相机45或者诸如此类拍摄的视频(RB图像)和虚拟图像(在CT空间47中)之间的归一化互信息(NMI)最大化来完成RB和VB之间的配准。能够使用迭代优化技术来识别出这一局部最大化(见图5)。

参照图5，收集多个实际(RB)图像56，并且将它们与虚拟或者预收集(VB)图像58相比较直到已经找出最大相似性。然后，通过相对于彼此移动图像(54)而将图像配准。这一移动被存储在矩阵中并且提供了用于使各个坐标系相关的一次变换。本实施例可以应用于使用例如术前CT空间和EM跟踪空间(实际视频图像)之间的配准的任何EM跟踪内窥镜***。

参照图6，根据一个说明性实施例说明性地示出了用于图像之间基于图像的配准的方法。在方框302中，收集或者提供计算机断层摄影(CT)(或者其他术前)图像。有利地，在CT图像中不需要标记物。在方框304中，在视频图像(例如，用内窥镜的照相机拍摄的实时图像)中定位解剖学参考或者特征，该视频图像相应于特定的术前图像。这可包括用电磁跟踪来跟踪内窥镜。

在方框306中，在该特征周围收集一系列的视频图像以尝试着复制虚拟或者术前图像的位姿。然后，在方框307中，将视频图像与CT图像相比较以找出视频图像和CT图像之间最密切的匹配。这可包括优化匹配程序以找出图像之间的最大相似性，从而确定与CT图像最密切匹配的实际图像。在方框308中，使用与和CT图像匹配的实际图像相关联的位姿位置将视频图像与CT匹配图像配准，以基于将***位姿与术前图像位姿对齐所需的旋转和平移而创建变换矩阵。确定CT空间和图像跟踪空间之间的变换矩阵，并且该变换矩阵单独地基于图像配准。该方法独立于操作者，并且不需要任何外部标记物或者需要由***接触以用于配准的解剖学标记。在内窥镜检查程序期间采用该变换矩阵来将CT图像的坐标与电磁跟踪坐标相配准。内窥镜的行进不再沿着被观察腔道的中央线。

参照图7，说明性地示出了用于图像之间基于图像的配准的***400。***400包括计算机断层摄影(CT)扫描器402(或者其他术前成像器或者扫描器)，但是可不需要扫描器402，因为可将CT图像存储于存储器404并且使用存储介质或者网络连接来将CT图像转移至***400。采用存储器404和/或扫描器来存储/收集对象，例如手术患者，的CT图像。内窥镜406包括用于在程序期间收集实时图像的照相机408。内窥镜406包括******410，例如用于定位内窥镜顶端的电磁(EM)***。******410需要将其坐标系映射或者变换至CT坐标系。******410采用NDI场发生器411来跟踪内窥镜406的行进。

计算机执行程序412存储在计算机设备414的存储器404中。程序412包括模块416，该模块416被配置为将由照相机408拍摄的实时视频图像452与CT图像450相比较以找出实时图像和CT图像之间的最密切匹配。程序412包括优化模块422，该优化模块422被配置为找出最大相似性以确定最密切匹配的CT图像。程序412被配置为将最密切匹配的实时图像与CT空间中的术前图像相配准，以找出CT空间和图像跟踪空间之间的变换矩阵420，从而变换矩阵420单独地基于图像配准，是独立于操作者的，并且不需要任何外部标记物或者解剖学标志来执行配准。在内窥镜检查程序期间采用变换矩阵420来将CT图像的坐标与电磁跟踪坐标相配准。在该程序期间可采用显示器456来查看实时和/或虚拟/术前图像。显示器456被配置为示出在术前图像空间中的内窥镜行进。无标记物的配准过程假设预先采用校准过程来确定照相机坐标系和跟踪(EM)坐标系之间的关系。

根据另一实施例，提供一种使用配准来提供校准的方法。在这一实施例中的配准包括任何类型的包括基准标记物配准的配准。校准包括校准矩阵并且也可包括照相机或者其他参数校准(例如，焦距，等等)。照相机帧和内窥镜***帧之间的偏移距离反映为在实际的视频图像和虚拟的漫游图像(来自CT扫描)之间的2D投影图像中的不同。人类眼睛和计算机具有能力来区分这些空间差别并且重建空间对应性。

本发明原理包括利用(1)EM跟踪***，(2)表面上具有EM可跟踪基准的体模，(3)保持和稳定内窥镜的机械臂(任选的)，(4)计算机，其具有收集之前和之后的内窥镜***位姿的软件，(5)来自人类操作者立体感的输入，以将实际内窥镜(例如，支气管镜)图像(RB)与虚拟内窥镜(支气管镜)图像(VB)相匹配，以及(6)运行优化方案以找出VB和RB图像之间的最大相似性的软件。

数据整合程序是改进的，因为针对校准和配准任务两者，使用了设计用于基于基准的配准的同一体模。实现了独立于照相机校准(对该照相机内部和外部参数的估计)的校准程序。

使用基于图像的方法，假设已经获得了EM-CT配准矩阵，提出了一种在线校准的方法。在这一情况下，首先采用基于基准的配准方法来配准CT空间和EM跟踪内窥镜之间的图像。该配准使得CT坐标和***坐标一致。

再次参照图5，实施EM跟踪内窥镜的精细调整以将实际支气管镜图像(RB)56与虚拟支气管镜图像(VB)58相匹配。这通过计算之前和之后的内窥镜***位姿而得到期望的校准矩阵。在这一情况下，它们之间的空间偏移成为校准结果(与较早前描述的配准结果相反)。

在图5中，RB 56是实际支气管镜视频图像并且VB 58是从CT数据重建的虚拟支气管镜图像。注意到可先前已经经由基于基准的方法(或者其他方法)将RB 56和VB 58相配准。RB 56和VB 58呈现出很小的空间移位。操作者将调整(54)观察仪器直到RB 56与VB 58更加密切地匹配。使用优化方案来将多个RB帧与VB 58相比较，直到已经发现最大的相似性。这产生经校准的RB 54。从这一例子，内窥镜将可能需要逆时针旋转并且向后撤回。将在该调整之前和之后记录内窥镜的跟踪数据。

在EM传感器坐标系和照相机坐标系之间的关系提供了校准，同时配准将CT坐标系与EM传感器坐标系以及照相机坐标系相耦合。三个局部坐标系使用互配准来跟踪它们之间的位置。人们需要识别出关系(等式(2))以将术前CT路线图与术中内窥镜视频相关联。基于基准的配准是一种可用于将EM空间与CT空间对齐并且获得变换矩阵

的过程。

通常在基于基准的配准之后，CT和EM帧在很大程度上对齐了。然而，由于未知的

这些帧可能呈现出很小的空间移位。(例如，内窥镜顶端上的EM传感器未与照相机坐标系校准)。

参照图8，根据本发明原理，在线校准***100包括具有软件112的计算机110，该软件112收集之前和之后的内窥镜***104的位姿。提供人类操作者的立体感或者计算机程序112来确定图像之间的差异。软件程序112运行优化方案以找出虚拟和实际图像之间的最大相似性。这可使用已知的图像分析软件通过逐帧的比较来完成。

计算机断层摄影(CT)扫描器(未示出)可被配置为收集具有基准标记122的对象的术前CT图像(或者用于生成、收集和存储虚拟地图或者图像的其他技术)。可将术前图像存储于存储器111中，并使用存储介质或者网络连接来将术前图像转移至***100。采用存储器111和/或扫描器来存储/收集对象，例如手术患者，的CT图像。内窥镜108包括用于在程序期间收集实时图像的照相机130。内窥镜108包括用于定位内窥镜108顶端的电磁***104。

采用体模参考120来帮助将术前扫描图像与EM跟踪位置相配准。通过使用***设备104接触标记物122中的每个，而将CT图像与通过***104获得的EM跟踪位置相配准。使用经校准的指示***(EM***104)来接触表面基准122中的每个，从而基于点的配准将CT空间与EM位置

相对齐，从而当内窥镜上的***在气道中前进时，术前或者CT(VB)图像将与实时(RB)图像一起更新。采用肺部体模120来执行双重角色以帮助校准和配准。

对于校准，将内窥镜108***支气管123，并且使用具有一些表面基准122的肺部体模120，确定一位置以执行校准。在该位置处，提供实际图像(RB)和最密切的相应CT图像(VB)(将确定或者捕获在位姿1的VB图像)。归因于VB和RB图像之间的轻微移位，操作者将调整观察仪器108直到RB与VB更加密切地匹配。这产生了经校准的RB(在位姿2处)。位姿1涉及在基于基准的配准之后的RB位姿，并且位姿2涉及经与VB图像校准的RB位姿。来自位姿2的RB视频图像与VB图像最密切地匹配。从位姿2到位姿1的旋转和平移矩阵成为目标校准结果。从图5中的例子，内窥镜108可能需要逆时针的旋转以及稍微的向后撤回。将在该调整之前和之后记录内窥镜108的跟踪数据。

计算机设备110和其存储器111将旋转和平移信息存储在矩阵113中，以通过调整内窥镜108直到通过与***104相关联的照相机130获得的图像如所描述的与经配准的CT图像相匹配，从而将***104校准到照相机图像。采用旋转和平移矩阵113来将照相机130的坐标校准到***104。在该程序期间可采用显示器115来观察实时和/或虚拟图像。

参照图9，根据一个示例性实施例说明性地示出了用于在线校准内窥镜的方法。在方框350中，收集或者提供具有标记物的对象的计算机断层摄影(CT)图像(或者从不同技术中生成的虚拟图像)。在方框352中，***设备与标记物中的每个接触(例如，碰触)以将该CT图像与通过***获得的图像相配准，以获得，例如基于基准的配准。

在方框354中，在第一位置处用内窥镜捕获实际图像。在方框356中，调整内窥镜直到在第二位置处通过照相机获得的图像与相同区域的CT图像相匹配。调整观察仪器可包括通过操作者的调整。

在方框358中，确定旋转和平移矩阵以基于在调整阶段期间(方框356)做出的运动而校准***。采用旋转和平移矩阵来将照相机坐标校准到***，从而CT图像将与实时图像一起更新。

在解释所附权利要求时，应该理解的是：

a)措辞“包括”不排除除了在所给出权利要求中列出的那些之外的其他元件或者动作的存在；

b)在元件之前的措辞“一”或者“一个”不排除多个这种元件的存在；

c)在权利要求中的任何附图标记不限制它们的范围；

d)几个“装置”可由同一物件或者硬件或者软件执行结构或者功能来表示；以及

e)除非明确指出，否则不旨在要求动作的特定顺序。

已经描述了针对***和方法的优选实施例(其旨在为说明性的而不是限制性的)，注意到本领域技术人员根据以上教导可以做出修改和变型。因此将理解的是在所公开的公开内容的特定实施例中可做出改变，该改变处于由所附权利要求概括的、本文中公开的实施例的范围之内。因而已经描述了专利法所要求的细节和特性，所主张的和期望由专利证书保护的在所附权利要求中阐明。

Claims (21)

1.一种用于图像之间基于图像的配准的方法，包括：

定位(304)术前图像中的特征；

将用被跟踪的观察仪器拍摄的实时图像与具有所述特征的所述术前图像相比较(307)，以找出与所述术前图像密切匹配的实时图像；以及

将最密切匹配的实时图像配准(308)到所述术前图像以确定所述术前图像的位置和由***提供的所述实时图像的位置之间的变换矩阵，从而所述变换矩阵允许使用所述***在术前图像空间中跟踪实时图像坐标。

2.如权利要求1所述的方法，其中，使用具有电磁跟踪的内窥镜照相机(45)来收集所述实时图像。

3.如权利要求2所述的方法，还包括使所述内窥镜照相机(45)不沿着被观察腔道的中央线行进。

4.如权利要求1所述的方法，其中，比较包括优化(18)所述实际图像和所述术前图像之间的最大相似性。

5.如权利要求1所述的方法，其中，确定所述变换矩阵以在内窥镜检查程序期间将所述术前图像空间与电磁跟踪空间对齐。

6.如权利要求1所述的方法，还包括初始时将内窥镜照相机校准到跟踪设备。

7.如权利要求1所述的方法，还包括确定所述术前图像的虚拟照相机位姿，以及将所述术前位姿与所述最密切匹配的实际图像的实际照相机位姿相关，以确定所述变换矩阵。

8.一种用于图像之间基于图像的配准的***，包括：

内窥镜(406)，其包括用于在程序期间收集实时图像的照相机(408)，所述内窥镜包括用于定位所述内窥镜的顶端的***(410)；以及

存储在存储器介质中的计算机执行程序(412)，其被配置为将由所述照相机拍摄的一组实时图像与针对同一对象的术前图像相比较，以找出所述实时图像和所述术前图像之间的最密切匹配，所述程序被配置为确定变换矩阵(420)以使得能够使用术前图像空间而免于使用接触标记物进行内窥镜跟踪。

9.如权利要求8所述的***，其中，不是沿着被观察腔道的中央线来跟踪内窥镜的行进。

10.如权利要求8所述的***，其中，所述程序(412)还包括优化特征(422)，所述优化特征被配置为找出最大相似性以确定图像之间的所述最密切匹配。

11.如权利要求8所述的***，其中，在内窥镜检查程序期间采用所述变换矩阵(420)来将术前图像的坐标配准到电磁跟踪坐标。

12.如权利要求8所述的***，还包括显示器(456)，所述显示器被配置为示出术前图像空间中的内窥镜的行进。

13.一种用于针对引导内窥镜的照相机位置校准的方法，包括：

收集(350)具有标记物的对象的术前图像；

使用***接触(352)所述标记物中的每个以将所述术前图像与和所述***相关联的照相机图像相配准；

在由所述***确定的第一位置处确定(354)与内窥镜位置相关联的术前图像；

在由所述***确定的第二位置处调整(356)所述内窥镜直到由所述照相机获得的图像与所述术前图像相匹配；以及

确定(358)所述第一和第二位置之间的旋转和平移矩阵以将所述***校准到所述照相机。

14.如权利要求13所述的方法，其中，所述标记物包括基准标记物(122)，并且使用所述***接触所述标记物中的每个包括基于基准的配准。

15.如权利要求13所述的方法，其中，通过所述操作者的调整来执行所述观察仪器的调整(356)。

16.如权利要求13所述的方法，其中，采用确定(358)旋转和平移矩阵来将所述照相机的坐标校准到所述***的图像，从而与术前图像的所述校准和配准允许所述术前图像与由所述照相机拍摄的实时图像一起更新。

17.如权利要求13所述的方法，其中，在程序期间在线执行所述照相机的校准。

18.一种用于针对引导内窥镜的照相机位置校准的***，包括：

内窥镜(108)，其包括用于在程序期间收集实时图像的照相机(130)，所述内窥镜包括用于定位所述内窥镜的顶端的***(104)；

使用标记物(122)收集的术前图像，所述术前图像具有通过使用所述***接触所述标记物中的每个而与所述***的坐标相配准的坐标；以及

存储在存储器中的旋转和平移矩阵(113)，所述旋转和平移矩阵通过将所述内窥镜从第一位置调整到第二位置的运动而导出，其中，所述第一位置包括第一照相机位姿，并且所述第二位置包括第二照相机位姿，所述第二照相机位姿更好地匹配参考术前图像，从而所述矩阵提供了所述***和所述照相机之间的校准。

19.如权利要求18所述的***，其中，所述标记物(122)包括基准标记物，并且使用***接触所述标记物中的每个包括基于基准的配准。

20.如权利要求18所述的***，其中，通过操作者的调整来调整所述内窥镜(108)。

21.如权利要求18所述的***，其中，使用所述矩阵(113)来将照相机的坐标系变换至所述***的坐标系。

Images