CN112386336A - 用于进行初始配准的荧光-ct成像的***和方法 - Google Patents

Abstract

本公开涉及用于进行初始配准的荧光‑CT成像的***和方法。用于使用手术中荧光镜成像技术使手术前图像数据集(例如CT数据)或从该手术前图像数据集得出的3D模型与患者的腔结构(例如，肺中的气道)配准的***和方法。

Description

用于进行初始配准的荧光-CT成像的***和方法

相关申请的交叉引用

本申请要求2019年8月19日提交的美国临时专利申请序列号62/888,905的利益和优先权，上述专利申请的全部内容通过引用合并于本文。

技术领域

本公开内容涉及外科手术成像***，并且更特别地涉及用于通过使手术前图像与手术内图像配准以使工具导航穿过腔网络来辅助临床医生实施外科手术的***和方法。

背景技术

存在若干通常应用的医学方法诸如内窥镜手术或微创手术用于治疗各种影响器官的疾病，上述器官包括肝、脑、心脏、肺、胆囊、肾和骨骼。通常，临床医生采用一种或多种成像形式诸如磁共振成像(MRI)、超声成像、计算机断层扫描(CT)、荧光镜检查以及其他成像形式，来识别并导航到患者内部的感兴趣区域并且最终到目标以进行治疗。

例如，已经证明内窥镜方式在导航到患者内部的感兴趣区域方面是有用的，并且特别地对于身体的腔网络内的区域诸如肺也是如此。为了使内窥镜方式成为可能，并且更特别地为了使支气管镜方式在肺中成为可能，已经开发了支气管内导航***，其使用手术前的或者预先获取的MRI数据或CT图像数据来生成特定身体部分的三维(3D)渲染或模型。然后利用从MRI扫描或CT扫描生成的作为结果的3D模型或渲染来创建导航计划，以促进导航导管(或其他适合的医疗设备)穿过支气管镜和腔网络例如患者的肺的气道前进到被识别的目标或感兴趣区域。

但是，要有用地导航到患者的肺内的目标或感兴趣区域，必须使从手术前的图像中得出的肺的3D模型或渲染配准到患者的肺。这是为了确保被***到患者中的支气管镜和其他工具遵循手术前计划，支气管镜和其他工具在患者内部的位置必须与手术前计划对准。

尽管当前的配准技术是有效的，但是改进总是期望的，特别是可以减少实施配准所需要的临床硬件的改进。

发明内容

本公开内容是使荧光镜图像和组织以及在其中发现的医疗设备与手术前的CT图像数据配准的***和方法。此外，本公开内容涉及使传感器定位和位置数据配准到荧光镜图像的***和方法。此外，本公开内容涉及使用荧光镜成像来使传感器定位和位置数据与操作前的CT图像数据配准。

本公开内容的一个方面是使两个图像数据集配准的方法，该方法包括对患者的期望部分实施荧光镜扫视并且根据从荧光镜扫视接收到的数据生成3D重建。该方法还包括：接收3D重建中的在手术前CT图像数据中出现的点的指示；使3D重建配准到手术前CT图像数据；显示3D重建；以及将与手术前CT图像数据相关联的导航计划的部分显示在3D重建上。该方面的其他实施方式包括均被配置成实施所述方法的动作的对应的计算机***、装置以及记录在一个或多个计算机存储设备上的计算机手术。

实施方案可以包括下述特征中的一个或多个特征。接收到的点的指示可以是3D重建中的主隆突的位置。该方法还可以包括下述步骤：接收3D重建中的两个附加点的指示。所指示的三个点的指示可以与手术前CT图像数据中的点匹配。该方法还可以包括对3D重建的定向的两个附加角度进行求解，使得3D重建与手术前CT图像数据匹配。方法，其中3D重建与从手术前CT图像数据得出的3D模型匹配。该方法还可以包括对3D重建和手术前CT图像数据进行搜索，以识别具有相关性的点。该方法还可以包括：接收3D重建中的在手术前CT图像数据中出现的点的指示的步骤是对从搜索中选择的点进行确认。该方法还可以包括求解三个定向角度，使得3D重建的定向与手术前CT图像数据匹配。对导航计划的部分进行显示描绘了在手术前CT图像数据中识别的目标在3D重建上的位置。对导航计划的部分进行显示描绘了穿过腔网络到目标的路径。所描述的技术的实施方案可以包括硬件、方法或过程或者在计算机可访问介质上的计算机软件。

一个总的方面包括用于使荧光镜图像数据与操作前CT图像数据配准的***，该***包括具有处理器和存储器的计算设备，该存储器在其中存储应用，该应用在由处理器执行时使处理器执行下述步骤：根据从荧光镜扫视接收的数据生成3D重建；接收3D重建中的在手术前CT图像数据中出现的点的指示；使3D重建配准到手术前CT图像数据；以及显示3D重建。该***还包括显示器，该显示器用于基于配准将与手术前CT图像数据相关联的导航计划的一部分显示在3D重建上。

另外的方面涉及用于使图像配准到患者的方法，该方法包括接收与导管相关联的传感器的定位数据、实施荧光镜扫视。该方法还包括根据从荧光镜扫视接收的数据生成3D重建以及从3D重建生成2D切片图像。该方法还包括接收2D切片图像中的导管的定位的指示以及使3D重建配准到传感器的定位数据。

该方法还可以包括接收第二2D切片图像中导管的定位的第二指示。此外，该方法可以包括实施图像处理以确定导管在附加的2D切片图像中的定位。导管在2D切片图像中的定位的指示可以通过图像处理技术生成。该方法还可以包括：接收3D重建中的在手术前CT图像数据中出现的点的指示；使3D重建配准到手术前CT图像数据；显示3D重建；以及将与手术前CT图像数据相关联的导航计划的部分显示在3D重建上。该方法还可以包括基于接收到的定位数据对3D重建中与导管相关联的传感器的位置进行显示。该方法还包括当导管被导航穿过腔网络并且新的定位数据被接收到时，对与导管相关联的传感器的位置进行更新。

附图说明

下文中参考附图描述了本公开内容的各个方面和特征，其中：

图1描绘了根据本公开内容的成像和导航***；

图2A是根据本公开内容的成像和导航手术的部分流程图；

图2B是根据本公开内容的成像和导航手术的部分流程图；

图3A是根据本公开内容的成像和导航手术的部分流程图；

图3B是根据本公开内容的成像和导航手术的部分流程图；

图4描绘了根据本公开内容的用于在荧光镜图像中标记结构的用户界面；

图4A描绘了根据本公开内容的用于在荧光镜图像中标记导管的用户界面；

图5描绘了根据本公开内容的用于在荧光镜图像中标记目标的用户界面；

图6描绘了根据本公开内容的用于导航到目标的用户界面；

图7描绘了根据本公开内容的待被放置在患者下方的、带有标记物的垫子；

图8描绘了根据本公开内容的计算设备的特征和部件。

具体实施方式

本公开内容涉及能够使用手术中荧光镜成像技术使手术前图像数据集(例如CT数据)或从该手术前图像数据集得出的3D模型与患者的腔结构(例如，肺中的气道)配准的***和方法。

可以使用各种技术来实施配准。例如，可以部署机器人***以将内窥镜导航到肺内的点。通过使这些点与内窥镜接触并使它们在患者肺内的位置与3D模型内的位置相关联，可以使3D模型与患者的肺并且与机器人的坐标系配准。以该方式，然后，机器人可以确定感兴趣区域位于患者肺内的何处，并遵循导航计划到感兴趣区域，或者开发穿过肺到感兴趣区域的路径。

类似地，可以采用柔性传感器来实现配准。当机器人或临床医生在患者内部导航内窥镜时，柔性传感器在其前进并弯曲通过气道时的(在内窥镜或其他工具上或中形成的)形状可以使其感测的形状与3D模型或渲染中的气道相匹配。该形状匹配得到患者中的内窥镜的位置与具有相同形状的3D模型内的腔网络中的位置的配准。

另一配准方法采用电磁(EM)传感器和EM导航。内窥镜或另一工具可以包括EM传感器。EM场生成器生成EM场，并且当EM传感器被放置在EM场中时，产生电流。该电流被馈送到计算机，该计算机可以确定磁场内EM传感器的X、Y、Z、俯仰、偏航和滚转坐标(六个自由度)。在实践中，可以以至少两种不同的方式实施配准。在类似于以上描述的机器人***的一种中，EM传感器可以被放置在患者内部的预定义的定位中，该预定义的定位可以利用支气管镜观察到。通常这在4至10个点之间。这些点与3D模型或渲染中的相同点的匹配得到3D模型与患者的配准。在第二方法中，当EM传感器被导航穿过腔网络时，EM传感器的坐标被收集。当收集了数百或数千个这些坐标时，就创建了坐标的点云。假定是从腔网络内获取的点云具有一3D尺寸形状，该3D尺寸形状然后可以与腔网络内部的3D形状匹配。一旦匹配，3D模型中的腔网络和患者的腔网络就配准。一旦配准，检测到的EM传感器的位置就可以用于遵循3D模型中的导航计划到患者的腔网络内的感兴趣区域。

图1是用于医疗设备例如活检或治疗工具经由肺的气道导航到目标的示例性***的立体图。***100的一个方面是用于查看已经从***100单独地获取的计算机断层扫描(CT)图像数据的软件应用。查看CT图像数据允许用户识别一个或多个目标并计划到被识别的目标的路径。这通常称为计划阶段。软件应用的另一方面是导航阶段，导航阶段允许用户使用用户界面将导管或其他工具导航到目标(导航阶段)，并确认导管或工具相对于目标的放置。目标通常是在计划阶段通过查看CT图像数据被识别的用于进行活检或治疗的感兴趣组织。在导航之后，可以将医疗设备诸如活检工具或治疗工具***到导管中，以从位于目标处的组织或接近于目标的组织获得组织采样或者以治疗这样的组织。可以选择治疗工具以实现微波消融、射频消融、低温消融、化学消融或者由临床医生优选的对目标的其他治疗机制。

图1的一个方面是远端处的包括传感器104的导管***102。导管***102包括导管106。在实践中，导管106被***到支气管镜108中以进入患者P的腔网络。具体地，导管引导组件106的导管106可以被***到支气管镜108的工作通道中以用于导航穿过患者的腔网络。如果配置用于EMN(如下面所描述的)，则可以包括传感器104诸如EM传感器的可定位引导件(LG)110可以被***到导管106中并被锁定到适当位置，使得传感器104延伸超出导管106的远侧尖端一期望距离。然而，应当注意，在不脱离本公开内容的范围的情况下，传感器104可以被结合到支气管镜108、导管106、或者活检或治疗工具中的一者或多者中。

如果导管106被***到支气管镜108中，则EWC 102的远端和LG 110两者都延伸超出支气管镜108的远端。可以基于定位数据得出传感器104并且因此LG 110的远侧部分在电磁场内的位置或定位以及定向，该定位数据为通过磁场中存在的EM传感器或通过本文描述的其他装置产生的电流的形式。尽管作为本公开内容的一部分不需要使用EM传感器和EMN，但是它们的使用可以进一步增强本公开内容在腔内导航(例如肺的导航)中的实用性。由于支气管镜108、导管106、LG 110或其他工具可以在本文中可互换地使用或组合使用，因此术语导管在此处将用于指代这些元件中的一种或多种。此外，作为使用EM传感器的替代方案，可以结合本公开内容使用柔性传感器诸如光纤Bragg传感器、超声传感器、加速度计以及其他传感器，以向跟踪***114提供输出来确定导管的位置，在不脱离本公开内容的范围的情况下，上述导管包括但不限于支气管镜108、导管106、LG 110、或者活检或治疗工具。

***100通常包括：操作台112，其被配置成支撑患者P；支气管镜108，其被配置用于通过患者P的嘴部***到患者P的气道中；耦接到支气管镜108的监测装备114(例如，视频显示器，用于显示从支气管镜108的视频成像***接收的视频图像)。如果被配置用于EMN，则***100可以包括定位或跟踪***114以及定位模块116、多个参考EM传感器118和包括多个结合的标记物的发射器垫120(图7)。尽管在图7中被示出为重复模式的标记物，但是在不脱离本公开内容范围的情况下可以采用其他模式——包括三维标记物在发射器垫120中是不同的相对深度——或者非重复模式。还包括有计算设备122，其包括软件和/或硬件，该软件和/或硬件用于促进对目标的识别、到目标的路径计划、医疗设备到目标的导航、以及/或者对导管106或穿过其的合适的设备相对于目标的放置的确认和/或确定。计算设备122可以类似于图8的工作站1001并且可以被配置成执行包括图2和图3的方法在内的本公开内容的方法，

计算设备122可以是包括处理器和存储介质的任何合适的计算设备，其中，处理器能够执行被存储在作为一个或多个应用的存储介质上的指令。计算设备122还可以包括数据库，该数据库被配置成存储患者数据、包括CT图像的CT数据集、包括荧光镜图像和视频的荧光镜数据集、荧光镜3D重建、导航计划、以及任何其他这种数据。尽管未明确地例示，但是计算设备122可以包括输入，或者可以以其他方式被配置成接收CT数据集、荧光镜图像/视频和本文描述的其他数据。另外，计算设备122包括被配置成显示图形用户界面的显示器。计算设备122可以连接到一个或多个网络，通过该一个或多个网络可以访问一个或多个数据库。在下面结合图8描述计算设备的其他细节。

关于计划阶段，计算设备122利用预先获取的CT图像数据来生成并查看患者P的气道的三维模型或渲染，使得能够识别三维模型上的目标(自动地、半自动地或手动地)，并允许对穿过患者P的气道到位于目标处的组织及目标周围的组织的路径进行确定。更具体地，从CT扫描获取的CT图像和CT图像数据集被处理并组装成三维CT体积，然后将其用于生成患者P的气道的三维模型。三维模型可以被显示在与计算设备122相关联的显示器上，或以任何其他合适的方式被显示。这样的用户界面的示例可以在图6中看到。使用计算设备122，对三维模型的各种视图或从三维模型生成的增强的二维图像进行呈现。增强的二维图像可以具有某些三维功能，因为它们是从三维数据生成的。可以操纵三维模型以促进对三维模型或二维图像上的目标的识别，并且可以对穿过患者P的气道进入位于目标处的组织的合适的路径进行选择。一旦选择，路径计划、三维模型以及从其得出的图像就可以被保存并且被导出到导航***以在导航阶段期间使用。

如上所示，***100中还包括能够获取患者P的荧光镜或X射线图像或视频(荧光镜图像数据集)的荧光镜成像设备124。由荧光镜成像设备124捕获的图像、图像序列或视频可以被存储在荧光镜成像设备124内，或被传输到计算设备122以进行存储、处理和显示。另外，荧光镜成像设备124可以相对于患者P移动，使得可以相对于患者P从不同角度或视角获取图像以创建荧光镜图像序列诸如荧光镜视频。可以使用标记物121以及各种姿态估计和图像处理技术来估计荧光镜成像设备124相对于患者P并且在捕获图像时的姿态。标记物121可以被结合到发射器垫120中、结合到操作台112中、或者以其他方式结合到被放置在操作台112上或操作台附近的另一器具中，使得它们可以在荧光镜图像中被看到。标记物121通常地被定位在患者P下方并且在患者P与荧光镜成像设备124的辐射源或感测单元之间。荧光镜成像设备124可以包括单个成像设备或不止一个成像设备。

关于图2A和图2B描述了在***100中采用荧光镜成像设备124的一种方法200。作为临床医生希望查看从手术前CT图像生成的导航计划的初始步骤202，导航计划可以被加载和/或被显示在显示器诸如与计算机122相关联的显示器上。在查看导航计划之后，临床医生可以将支气管镜108、导管106、LG110中的一者或多者***到患者的腔网络(例如，气道)中。

当支气管镜108前进到腔网络中时支气管镜108捕获可以由临床医生观看的图像时，临床医生不能确信他们正在遵循根据操作前CT图像数据得出的导航计划。为了确保支气管镜108正在遵循导航计划，可以在步骤204处对患者进行荧光镜扫视。即，当荧光镜成像设备124围绕患者旋转时，可以获取一系列荧光镜图像。该扫视可以围绕患者在大约20至180度之间，在一些实施方式中在25至150度之间、30至120度之间、40至100度之间、50至80度之间、60至70度之间、以及是这些角度范围之间的任何完整数整数。在特定实施方式中，扫视是30度、40度或50度，但是在不脱离本公开内容的范围的情况下可以采取其他角度的扫视。

一旦获取了足够数量的图像，在步骤206处就可以在步骤206处生成3D重建。荧光镜图像的3D重建得到在荧光镜扫视期间所成像的区域的3D体积。可以使用多种技术来处理该3D体积，以向临床医生提供实时信息。在第一技术中，可以在步骤208处处理3D重建以产生一系列2D切片图像。这些2D切片图像是虚拟荧光镜图像，因为它们是从3D重建生成的，但不一定是为渲染3D重建而获取的荧光镜图像之一。3D重建可以被切片以沿临床医生可能期望的任何轴线来产生2D切片图像，但是出于定向目的，可以以标准轴向视图、冠状视图或矢状视图中的一种或多种来显示2D图像。这些切片图像可以以用户可以滚动浏览切片图像的方式被呈现在用户界面中。图4描绘了用户界面400，在该用户界面中，用户可以使用标签404和条406来滚动浏览一系列2D切片图像402，上述条表示从3D重建生成的全体2D切片图像。

通过滚动浏览2D切片图像，临床医生可以识别主隆突(carina)或另一已知解剖特征的定位的指示，并且在步骤210处，应用可以接收主隆突或另一已知解剖特征的定位的指示。主隆突是坚硬的软骨组织，其是肺中气道的第一分支点并且标记气管的端部。另外，在荧光镜图像和来自荧光镜3D重建的2D切片图像中易于观察到主隆突。然而，在荧光镜图像和来自荧光镜3D重建的2D切片图像中易于观察到其他解剖特征。

取决于正在由计算设备122中的处理器执行的应用，该方法可以转至步骤212，其中，***100接收3D重建中的两个更多的点的指示。这些点可以是3D重建的2D切片中的隆突、血管、肋骨、裂隙或其他特征。唯一的限制是点需要在3D重建和手术前CT图像数据中都是可观察到的。作为一个示例，三个点可以是主隆突以及左和右肺叶的第二分叉的隆突。这些点中的所有三个点都应当在3D重建中并且具体地在3D重建的2D切片图像中是容易看见的。类似地，这些点应当在手术前CT图像数据和根据该手术前CT图像数据生成的3D模型中是容易看见的。当构建3D模型和导航计划时，这些配准点可能已经在CT图像数据中被识别。或者，这些点可以在生成3D重建并且识别其中的三个点之后被识别。无论哪种情况，在步骤214处必须使在3D重建和来自CT图像数据的3D模型两者中识别的三个点彼此匹配。

3D模型和3D重建中的每一者中的三个点的该匹配允许步骤216处3D模型与3D重建的配准。配准确保3D模型中的所有特征(不仅仅是被识别的三个点)与3D重建对准。

作为在步骤212处接收3D重建中两个附加点的指示的替代方案，应用可以替代地用数学方法求解两个附加的自由度。即，主隆突或另一已知解剖特征的识别提供了用于进行匹配的单个点并且确保了相对于3D重建和来自CT图像数据的3D模型的对照和配准的自由度。具体而言，通过识别3D重建中的主隆突或另一已知解剖特征，应用使仅单个点配准到3D模型。但是，在确保了该单个点的情况下，3D模型仅仅需要使3D重建围绕三个轴线(例如X、Y和Z)旋转，以沿着这些轴线寻求使3D模型的定向与3D重建匹配。因此，在步骤218处，应用求解至少两个定向角度，使得3D重建与3D模型中的其他点匹配。同样，该匹配的结果是在步骤216处手术前3D模型与3D重建的配准。根据本公开内容的一个方面，应用通过使3D重建旋转直到该3D重建与3D模型匹配来求解两个定向角度，所述匹配是根据在3D模型和3D重建两者中出现的某些特征的灰度级或亮度或者其他共同信息的比较确定的。

可以进行用于使3D重建配准到3D模型的第三选项，而无需接收3D重建中用于与3D模型中的点匹配的任何点的指示(例如，甚至无需手动地识别主隆突)。根据该方法，在步骤220处对3D重建和CT图像数据(或3D模型)进行搜索。该搜索通过分析两个图像数据集的灰度级和共同信息来找出3D重建与CT图像数据之间具有相关性的点。在步骤222处，通过应用识别出具有灰度级匹配或共同信息的这些点。一旦识别出足够数量的点，则应用可以选择具有相关性或共同信息的这些点中的一个或多个点。这些点之一很可能是主隆突，并且可以根据其大小或大致定位或其他参数来优化应用以求解主隆突。

在步骤224处，应用可以选择具有相关性或共同信息的这些点中的至少一个点。一旦选择，就有两个选项，一个方面，在步骤226处，应用可以在用户界面上呈现对具有相关性或共同信息的点是正确的确认的请求并接收该确认。一旦接收到，该方法转至步骤218，并求解至少两个定向角度，使得3D重建和3D模型中的其他点匹配，如上所述。

替代性地，不是在步骤224处选择仅单个点以及在步骤226处接收确认，而是可以在步骤224处通过应用选择多个点，并且应用可以转至步骤228，在该步骤处，在具有相关性和共同信息的多个点被识别的情况下，应用可以求解所有三个定向角度。一旦求解了这三个角度，在步骤316处3D重建就可以配准到3D模型。

应用在步骤224处选择点以及在步骤228处求解确认和共同信息的过程可以由计算设备122来实施，该计算设备在其中的存储器中存储了学习算法。对于每个手术，无论是手动地实施的还是由应用自动实施的，都可以通过学习算法来分析结果以根据这些方法完善待被选择的点的属性和参数。对于每个手术，属性和参数(例如，CT图像中的亮度、与其他点的接近度等)被识别并被添加到学习算法的经验方面以进一步完善算法以用于将来的手术。

关于以上描述的任何过程，计算设备122可以利用荧光镜图像中的标记物121的位置。该技术依赖于标记物121以非重复模式被定位的情况。然而，该非重复模式是已知的，并且任何单个标记物121相对于发射器垫120的天线的相对位置也是已知的。本质上，与发射器垫120的天线相比，标记物121的位置在发射器垫120的制造期间彼此配准。标记物121相对于发射器垫120的天线的该已知相对位置可以被计算设备122和荧光镜成像设备用来识别标记物121中在荧光镜图像中出现的具体的标记物。一旦在荧光镜图像中识别出标记物121，计算设备就能够使用标记物121相对于发射器垫121的天线的已知相对位置使荧光镜图像的坐标配准到发射器垫121的天线的坐标。这样，可以将3D重建中的导管位置与EM检测到的导管位置进行比较，从而允许3D重建配准到3D模型

一旦在步骤216处使3D重建和来自导航计划的3D模型彼此配准，则在步骤230处，应用可以使3D重建被显示在与计算设备122相关联的显示器上。通过显示3D重建，既然手术前3D模型与3D重建配准，那么可以将来自导航计划的特征导入到3D重建中并显示在其上。这在步骤232处可以作为在3D重建上的覆盖。替代性地，来自3D模型的被导入的特征可以与3D重建融合在一起。在不脱离本公开内容的范围的情况下，也可以使用用于将来自3D模型和导航计划的特征与3D重建结合的其他技术。这些特征可以选择性地被应用于3D重建。例如，可以在3D重建中示出路径计划和/或目标定位的指示。

一旦将这些特征被导入到显示的3D重建中，就可以遵循导航计划直到导管(例如，支气管镜108、导管106)到达目标为止。可选地，在步骤234处，应用可以确定遵循导航计划支气管镜或工具何时在距目标的阈值距离之内并在用户界面上提供指示。这可以通过将由支气管镜生成的支气管镜图像与由3D重建生成的虚拟支气管镜图像进行比较来完成。在支气管镜已经变得楔住并且不再能够导航穿过气道的情况下，导管106或其他工具的接近度确定可能需要新的荧光镜扫视(即，返回到步骤204)或其他传统的荧光镜成像技术。

无论如何，一旦支气管镜或工具接近目标，就在步骤236处进行第二荧光镜扫视。该第二荧光镜扫视是要以提高的准确度来确定目标的定位，并且重要地确定支气管镜或工具相对于目标的相对位置。在如以上描述的扫视被实施之后，用户界面可以向用户呈现荧光镜图像并且在步骤238处请求用户识别荧光镜图像中的目标。可以呈现给用户的用户界面500的示例在图5中示出，其中，可滚动荧光镜图像502被呈现给用户。一旦在一个荧光镜图像502中识别，用户界面允许用户使用滚动条504滚动以识别在其中识别目标的第二荧光图像。替代性地，应用可以搜索荧光镜图像并自动地识别目标。类似地，用户界面可以呈现其中用户识别导管(例如，支气管镜108或导管106)的端部的用户界面。应用在步骤240处接收到该指示。

一旦在荧光镜图像中识别出目标和导管，第二3D重建就可以在步骤242处被生成并在步骤244处被显示。3D重建的该显示包括在步骤240处在荧光镜扫视的荧光镜图像中被标记的目标的清晰限定。这提供了目标的定位和导管(例如，支气管镜108或导管106)的相对定位的准确指示，并且可以对导管是否与目标对准以及从导管端部到目标的距离进行确定。相对位置数据可以被显示在用户界面上，或者临床医生可以简单地基于对3D重建的观察来确定对准。如果在步骤246处目标与支气管镜或工具对准，则该方法可以转至步骤248，在该步骤处，进行活检采样或治疗。

如果确定工具和目标未对准，则该方法转至步骤250，在该步骤处，对导管(例如，支气管镜108或导管106)或工具进行重新定位。在重新定位之后，该方法返回到步骤236以实施另一荧光镜扫视。可以根据需要重复该手术直到在步骤246处实现对准，并且可以在步骤248处进行活检或治疗。

作为替代方案，荧光镜扫视236可以使过程返回到荧光镜扫视204，其中，在步骤206处生成新的3D重建。然后，过程可以如步骤206-216中描述的继续，并且以上描述的所有配准排列(例如，步骤210-228)以及导航计划数据可以被应用于新的3D重建并连同其一起被显示。

这种对感兴趣区域的3D重建的快速生成可以提供对目标的实时3D成像。对目标和被定位于该目标的区域中的医疗设备的实时成像可以有益于许多介入手术，诸如在不同器官中的活检和消融手术、血管介入和整形外科手术。例如，当考虑导航性支气管镜检查时，目的可以是接收有关导管相对于目标的位置的准确信息，以确保准确治疗或活检。

作为另一实施例，包括机器人辅助外科手术在内的微创手术诸如腹腔镜检查手术，可以采用术中荧光镜检查来增加可视化例如以进行引导和病变定位并且以防止不必要的损伤和并发症。采用以上提到的用于对目标区域的荧光镜3D成像进行实时重建并且用于基于重建进行导航的***和方法也可以有益于这种手术。

如上所述，***100可以被配置用于电磁导航(EMN)。当进行EMN时，***100采用六自由度电磁定位或跟踪***114或其他合适的***来确定传感器104诸如EM传感器的定位数据。跟踪***114被配置用于与可定位引导件110以及特别地传感器104一起使用。如以上描述的，可定位引导件110和传感器104被配置用于穿过导管106***到患者P的气道中(利用或不利用支气管镜108)，并且能够经由锁定机构是相对于彼此选择性地锁定。

发射器垫120被定位在患者P下方。发射器垫120在患者P的至少一部分周围生成电磁场，在该电磁场内，多个参考传感器118和传感器104的位置可以使用跟踪模块116来确定。第二电磁传感器104也可以结合到导管106的端部中。另外或替代性地，第二电磁传感器104可以被结合到活检工具或治疗工具中以用于在手术中使用。

第二电磁传感器104可以是五自由度传感器或六自由度传感器。参考传感器118中的一个或多个参考传感器被附接到患者P的胸部。参考传感器118的六自由度坐标被发送到计算设备122(其包括适当的软件)，在该计算设备中，它们用于计算患者参考坐标系。

当***100被配置用于EMN时，需要进行配准以将传感器104的检测到的EM坐标变换成CT图像数据坐标，使得可以在CT图像数据中(例如，在3D模型或导航计划中)显示传感器104的检测到的定位或位置并且在传感器104被导航穿过腔网络时更新检测到的该传感器的位置。如上所述，对于启用了EMN的***100，可以(在其他方法当中)通过将传感器104***到气道中并生成检测到的传感器104的位置的点云来进行该配准。点云与3D模型的气道的匹配使患者的实际气道与3D模型配准。此外，该过程定义了从EMN坐标(EM场中检测到的传感器的位置)到CT图像数据坐标的转换。以该方式，可以遵循导航计划并且可以在3D模型中将检测到的传感器104的定位呈现为传感器104，并且于是，导管(例如，支气管镜108或导管106)被横贯穿过腔网络。

但是，当使用以上描述的荧光镜成像技术对患者的腔网络实施导航计划的初始配准时，没有从EM坐标到CT图像数据坐标的桥，并且因此当导管被导航穿过腔网络时无法对导航计划中的进展进行更新。尽管重复的荧光镜成像可以对导航计划中导管(例如，支气管镜108或导管106)的位置进行更新，但这会导致对患者和临床人员的附加辐射。相反，可以通过使用荧光镜成像技术来实现EM坐标和CT坐标之间的桥。具体地，来自荧光镜扫视的荧光镜图像数据与检测到的传感器104的位置的配准与荧光镜图像数据与操作前CT图像数据和导航计划的配准的结合得到经验变换，该经验变换允许EM坐标系与操作前CT图像数据坐标系的配准。

图3A和图3B描绘了实施荧光图像数据配准到传感器104的检测到的EMN坐标的方法。方法300以计算设备122上的应用在步骤302处加载根据手术前CT图像数据开发的导航计划开始。一旦加载，可以将包括传感器104的导管(例如，支气管镜108或导管106)***由发射器垫120生成的EM场中。如在图1中示出的，将发射器垫120直接放置在患者P下方并且EM场将生成在患者周围。在期望肺导航的场景中，将传感器104放置在EM场中将包括将具有传感器104的导管(例如，支气管镜108或导管106)放置到患者的气道中，例如放置到主隆突附近的点。导管和传感器104的放置的确切定位并不关键，只要在可以通过荧光镜成像设备124进行成像的定位处即可。一旦在EM场内，传感器104将生成电流，该电流可以由跟踪***114中的定位模块116分析以在步骤304处确定传感器104在EM场中的位置。也就是说，步骤304识别传感器104的EM坐标(定位数据)。

此时，荧光镜成像设备124可以在步骤306处进行荧光镜扫视。在步骤308处可以根据通过荧光镜成像设备124拍摄的图像形成3D重建，并且在步骤310处生成3D重建的2D切片图像。步骤306-310可以是与图2A的204-208相同的步骤，并且不需要被重复。

一旦生成了2D切片图像，则应用可以在步骤312处在用户界面上向用户呈现切片中的一个切片，并且请求用户在如在图4或图4A中描绘的图像中识别导管尖端的定位。导管(例如，支气管镜108、导管106、LG 110、或者活检或治疗工具)的远侧尖端的定位充当对传感器104在2D切片图像中的定位的识别。传感器104相对于导管的尖端的定位对于应用可以是已知的，例如被保存在计算设备122的存储器中。在步骤314处，用户界面呈现来自3D重建的第二2D切片图像并请求对第二2D切片图像中的导管尖端的识别。如在图4A中示出的，可以同时呈现这两个图像。如果两个图像来自荧光镜扫视的广泛(wide-spread)部分(即彼此成宽角度)，则应用可以准确地确定导管尖端的位置，并且于是，确定传感器104在3D重建中的定位。

因为传感器104在EM场中的定位根据定位模块116是已知的并且已经在3D重建中确定，所以在步骤318处可以使EMN坐标系和荧光镜成像设备124的坐标系彼此配准。

代替在两个2D切片图像中接收导管尖端定位的指示，应用可以在步骤316处实施识别导管的图像处理步骤。这可以可选地通过沿导管的长度间隔地形成的基准标记物的存在来进行辅助。即使没有基准标记物，导管(例如，支气管镜108、导管106、LG 110、或者活检或治疗工具)的形状在荧光镜3D重建的2D切片中也应当是可以容易地识别的。通过在2D切片图像中的每个切片图像中识别导管，应用可以确定尖端的定位，并且于是，确定传感器104在3D重建中的定位。

除了接收导管尖端的定位的手动识别或自动图像处理过程以外，本申请还考虑了两者的组合。在这种场景中，应用接收两个图像中导管尖端的定位的指示，并对其余2D切片图像的全部或相当大的部分进行图像处理。在该组合的过程之后，得出荧光镜成像设备124的坐标和从其得出的图像数据到EMN坐标的转换，并且3D重建被配准到在EM场中检测到的传感器104、128的位置。

如以上描述的，在步骤320处，可以进行3D重建到手术前CT图像数据的配准。可以采用任何使3D重建与手术前CT图像数据配准的方法。一旦已经进行两个配准过程，所有三个坐标系都彼此配准。荧光镜坐标系到手术前CT成像坐标系，以及荧光镜坐标系到EMN坐标系。结果，建立了用于使EMN坐标配准到手术前CT成像坐标系的变换。

经过多次配准，应用可以要么通过简单地使用传感器104与手术前CT图像数据的配准来继续进行，以更新根据手术前CT图像数据开发的导航计划中的检测到的EM传感器的位置并在步骤322处显示导航计划。使用导航计划、检测到的传感器104的位置并且遵循导航计划中限定的路径，可以将传感器104导航到导航计划中的目标。

可选地，在步骤324处，应用可以遵循导航计划确定导管(例如，支气管镜108或WC1060何时在距目标的阈值距离之内并在用户界面上提供指示。无论如何，一旦导管接近目标，就在步骤326处进行第二荧光镜扫视。该第二荧光镜扫视是要以被提高的准确度来确定目标的定位，并且重要地确定支气管镜108或另一工具相对于目标的相对位置。在如上所述实施扫视之后，用户界面可以向用户呈现荧光镜图像并且请求用户识别荧光镜图像中的目标，应用在步骤328处接收对目标的识别。一旦识别，用户界面可以向用户呈现要在其中识别的目标的第二荧光镜图像，如在图5中示出的。替代性地，应用可以搜索荧光镜图像并自动地识别目标。

一旦目标在荧光镜图像中被识别，用户界面就可以向用户呈现荧光镜图像，其中，在荧光镜图像中识别导管尖端，应用在步骤330处接收对导管尖端的识别，如图4和图4A中示出的。可以在步骤332处生成第二3D重建，并且可以在根据手术前CT图像数据得出的导航计划中更新导管尖端与目标的相对位置。如在图6中看到的，在步骤334处可以在用户界面602上显示导航计划中的该经更新的相对位置。这提供了导管尖端相对于目标的定位的准确指示，并且可以确定传感器104是否与目标对准、以及从传感器104并且于是从支气管镜108或其他工具的端部到目标的距离。该数据可以被显示在用户界面上，或者临床医生可以简单地基于对3D重建的观察来确定对准。如果在步骤336处目标与支气管镜或工具对准，则该方法可以转至步骤338，在该步骤处，进行活检采样或治疗。

如果确定传感器104和目标未对准，则该方法转至步骤340，在该步骤处，对支气管镜108或另一工具进行重新定位。在重新定位之后，该方法返回到步骤326以实施另一荧光镜扫视。可以根据需要重复该手术直到在步骤338处实现对准，并且可以在步骤338处进行活检或治疗。

现在参照图8，其是被配置用于与包括图2和图3的方法在内的本公开内容的方法一起使用的***1000的示意图。***1000可以包括工作站1001以及可选地荧光镜成像设备或荧光镜1015。在一些实施方式中，工作站1001可以例如通过无线通信直接地或间接地与荧光镜1015耦接。工作站1001可以包括存储器1002、处理器1004、显示器1006和输入设备1010。处理器或硬件处理器1004可以包括一个或多个硬件处理器。工作站1001可以可选地包括输出模块1012和网络接口1008。存储器1002可以存储应用1018和图像数据1014。应用1018可以包括可以由处理器1004执行以执行包括图2和图3的方法在内的本公内容的方法的指令。

应用1018还可以包括用户界面1016。图像数据1014可以包括CT扫描、生成的目标区域的荧光镜3D重建和/或任何其他荧光镜图像数据和/或生成的一个或多个虚拟荧光镜检查图像。处理器1004可以与存储器1002、显示器1006、输入设备1010、输出模块1012、网络接口1008和荧光镜1015耦接。工作站1001可以是固定的计算设备诸如个人计算机或者便携式计算设备诸如平板计算机。工作站1001可以嵌入多个计算机设备。

存储器1002可以包括用于存储数据和/或软件的任何非暂时性计算机可读存储介质，所述数据和/或软件包括指令，上述指令可以由处理器1004执行并且其控制工作站1001的操作并且在一些实施方式中还可以控制荧光镜1015的操作。根据本公开内容，荧光镜1015可以用于捕获荧光镜图像的序列以及用于捕获实时2D荧光镜视图，荧光镜3D重建基于上述荧光镜图像的序列被生成。在实施方式中，存储器1002可以包括一个或多个存储设备，诸如固态存储设备例如闪速存储器芯片。替代性地，或除了一个或多个固态存储设备之外，存储器1002可以包括通过大容量存储控制器(未示出)和通信总线(未示出)连接到处理器1004的一个或多个大容量存储设备。

尽管本文中包括的计算机可读介质的描述指的是固态存储，但是本领域技术人员应当理解的是，计算机可读存储介质可以是可以被处理器1004访问的任何可用的介质。即，计算机可读存储介质可以包括在用于存储信息诸如计算机可读指令、数据结构、手术模块或其他数据的任何方法或技术中实施的非暂时性、易失性和非易失性、可移动和不可移动的介质。例如，计算机可读存储介质可以包括：RAM、ROM、EPROM、EEPROM、闪速存储器或其他固态存储器技术；CD-ROM、DVD、蓝光光碟或其他光学存储；磁带盒、磁带、磁盘存储或其他磁存储设备；或可以用来存储期望的信息并且可以被工作站1001访问的任何其他介质。

应用1018在由处理器1004执行时，可以使显示器1006呈现用户界面1016。用户界面1016可以被配置成向用户呈现单个屏幕，该单个屏幕包括：来自医疗设备的尖端视角的目标的3D模型的三维(3D)视图；示出医疗设备的实时二维(2D)荧光镜视图；以及覆盖在实时2D荧光镜视图上的与目标的3D模型对应的目标标记。用户界面1016还可以被配置成取决于医疗设备尖端是否在三维上与目标对准而以不同的颜色显示目标标记。

网络接口1008可以被配置成连接到网络诸如由有线网络和/或无线网络构成的局域网(LAN)、广域网(WAN)、无线移动网络、蓝牙网络和/或因特网。网络接口1008可以用于在工作站1001和荧光镜1015之间进行连接。网络接口1008还可以用于接收图像数据1014。输入设备1010可以是用户可以通过其与工作站1001相互作用的任何设备诸如例如鼠标、键盘、脚踏板、触摸屏和/或语音接口。输出模块1012可以包括任何连接性端口或总线诸如例如并行端口、串行端口、通用串行总线(USB)或本领域技术人员已知的任何其他类似的连接性端口。

虽然已经在图中示出了本公开内容的若干方面，但并非意图将本公开内容限于其，而是意图本公开内容为如所属领域将允许的广泛的范围并且说明书也被类似地理解。因此，以上描述不应当被解释为限制性的，而仅仅是特定方面的范例。

Claims (20)

1.一种使两个图像数据集配准的方法，所述方法包括：

对患者的期望部分实施荧光镜扫视以生成荧光镜图像数据集；

根据从所述荧光镜扫视接收的数据生成3D重建；

接收所述3D重建中的在手术前CT图像数据中出现的点的指示；

使所述3D重建配准到所述手术前CT图像数据；

显示所述3D重建；以及

基于所述配准将与所述手术前CT图像数据相关联的导航计划的部分显示在所述3D重建上。

2.根据权利要求1所述的方法，其中，接收到的点的指示是所述3D重建中的主隆突的位置。

3.根据权利要求1所述的方法，还包括下述步骤：接收所述3D重建中的两个附加点的指示。

4.根据权利要求3所述的方法，其中，所指示的三个点的指示与所述手术前CT图像数据中的点匹配。

5.根据权利要求1所述的方法，还包括对所述3D重建的定向的两个附加角度进行求解，使得所述3D重建与所述手术前CT图像数据匹配。

6.根据权利要求5所述的方法，其中，所述3D重建与从所述手术前CT图像数据得出的3D模型匹配。

7.根据权利要求1所述的方法，还包括对所述3D重建和所述手术前CT图像数据进行搜索，以识别具有相关性的点。

8.根据权利要求7所述的方法，其中，接收所述3D重建中的在所述手术前CT图像数据中出现的点的指示的步骤是对从所述搜索中选择的点进行确认。

9.根据权利要求7所述的方法，还包括求解三个定向角度，使得所述3D重建的定向与所述手术前CT图像数据匹配。

10.根据权利要求1所述的方法，其中，对导航计划的部分进行显示描绘了在所述手术前CT图像数据中识别的目标在所述3D重建上的位置。

11.根据权利要求10所述的方法，其中，对导航计划的部分进行显示描绘了穿过腔网络到所述目标的路径。

12.一种用于使荧光镜图像数据与操作前CT图像数据配准的***，包括：

计算设备，所述计算设备包括处理器和存储器，所述存储器在其中存储应用，所述应用在由所述处理器执行时使所述处理器执行下述步骤：

根据从荧光镜扫视接收的数据生成3D重建；

接收所述3D重建中的在手术前CT图像数据中出现的点的指示；

使所述3D重建配准到所述手术前CT图像数据；

显示所述3D重建；

以及

显示器，所述显示器用于基于所述配准将与所述手术前CT图像数据相关联的导航计划的部分显示在所述3D重建上。

13.一种用于使图像配准到患者的方法，所述方法包括：

接收与导管相关联的传感器的定位数据；

实施荧光镜扫视；

根据从所述荧光镜扫视接收的数据生成3D重建；

从所述3D重建生成2D切片图像；

接收所述2D切片图像中的所述导管的定位的指示；以及

使所述3D重建配准到所述传感器的定位数据。

14.根据权利要求13所述的方法，还包括接收第二2D切片图像中所述导管的定位的第二指示。

15.根据权利要求14所述的方法还包括实施图像处理以确定所述导管在附加的2D切片图像中的定位。

16.根据权利要求13所述的方法，其中，所述导管在所述2D切片图像中的定位的指示通过图像处理技术生成。

17.根据权利要求13所述的方法，还包括：

接收所述3D重建中的在手术前CT图像数据中出现的点的指示；

使所述3D重建配准到所述手术前CT图像数据；

显示所述3D重建；以及

将与所述手术前CT图像数据相关联的导航计划的部分显示在所述3D重建上。

18.根据权利要求17所述的方法，还包括：基于接收到的定位数据对所述3D重建中的与所述导管相关联的所述传感器的位置进行显示。

19.根据权利要求18所述的方法，还包括：当所述导管被导航穿过腔网络并且新的定位数据被接收到时，对与所述导管相关联的所述传感器的位置进行更新。

20.根据权利要求17所述的方法，其中，所述手术前CT图像数据、所述3D重建和定位传感器的坐标系彼此配准。

Images