CN107851303B - 组织病理学图像的配准方法和装置 - Google Patents

Abstract

一种图像处理部件（IPC），以及用于图像对象的至少两个集合的图像配准的相关方法。图像对象可以先前从生物材料的影像的分割导出。基于图像对象的特征，计算初始全局变换。使用这种初始全局变换及其逆变换，建立跨两个集合中图像对象的、在图像对象集合之间的一个或多个交叉链接。然后针对来自两个集合的交叉链接的对象计算多个局域适应变换。然后组合器（Σ）将局域适应变换t _i组合成新的配准变换T^NEW。

Description

组织病理学图像的配准方法和装置

技术领域

本发明涉及图像处理部件、图像处理***、图像处理方法、计算机程序元件、以及计算机可读介质。

背景技术

图像配准是关于包含一个或多个表现出相似外观的相应对象的图像对的校准。例如，在数字病理学中，通常具有相对高分辨率的这种图像对可以由显微组织切片的两个扫描构成。组织扫描的配准可以简化对来自相同组织块的多个组织切片的扫描中所捕获的信息的解释。数字病理学的示例应用是：为了同时导航的目的而对两个或更多个扫描的配准、或者为了3D重构的目的对扫描的集合的配准、或者对属于相同的组织切片的再染色（即，使用不同的染料染色）的扫描的集合的配准。

用于高分辨率影像的先前配准方案响应性不足，或者准确性表现为受到相对巨大的下采样影响。

发明内容

因此可能存在针对用于图像配准的可替换的***或方法的需要。

本发明的目的通过独立权利要求的主题来解决，其中进一步的实施例被包含在从属权利要求中。应该注意的是，本发明的以下描述的方面同样适用于图像处理方法、图像处理***、计算机程序元件和计算机可读介质。

根据本发明的第一方面，提供了一种图像处理部件，包括：

输入接口，用于接收图像对象的至少两个集合，其中至少一个集合包括单个图像对象或多个图像对象，所述图像对象集合从生物材料的影像导出；

图像特征导出器，其被配置为导出图像对象的图像特征或与图像对象相关的图像特征；

全局变换构建器，其被配置为基于所述特征计算用于图像对象的至少两个集合的初始全局配准变换；

交叉链接器，其被配置为基于所述初始全局配准变换及其逆变换来在来自图像对象的至少两个集合的图像对象之间建立至少一个交叉链接。

根据一个实施例，图像处理部件进一步包括：

局部变换构建器，其被配置为针对所述交叉链接计算至少一个局部适应变换，该局部适应变换被限于在所述交叉链接中被交叉链接的那些图像对象；

组合器，其被配置为执行组合操作以便：i）组合至少所述局部适应变换和所述初始全局配准变换的至少一部分，或者ii）将多个局部适应变换组合成用于对象的至少两个集合的组合配准变换；以及

输出接口，用于输出所述新的全局变换。

根据一个实施例，权利要求1的图像处理部件，其中用于计算至少一个局部适应变换的全局变换构建器的操作基于图像特征导出器先前导出的一个或多个特征。

根据一个实施例，图像处理部件包括精化器，其被配置为：

将来自至少两个集合的相应图像对象细分成子对象以获得子对象集合；

针对所述子对象计算至少一个子局部适应变换；其中组合器可操作以将所述至少一个子局部适应变换包括在所述组合操作中。

根据一个实施例，图像处理部件包括图形显示生成器，其可操作以实现按照所述初始全局变换显示配准结果和/或按照中间配准或按照组合配准变换更新新配准结果的显示。

根据一个实施例，图像处理部件进一步包括采样器，其被配置为在没有初始全局变换可以通过变换构建器引擎计算的情况下对图像对象的至少两个集合中的至少一个进行上采样或下采样。

根据一个实施例，前述权利要求中任一项的图像处理部件，其中组合器的操作基于b样条化。

根据一个实施例，前述权利要求中的任一项的图像处理部件，其中所述图像对象中的至少一个已经通过应用于所述影像的图像分割操作而导出。

根据另一方面，提供了一种图像处理方法，包括：

接收图像对象的至少两个集合，其中至少一个集合包括单个图像对象或多个图像对象，所述图像对象集合从生物材料的影像导出；

导出至少两个集合中的图像对象的图像特征或与该图像对象相关的图像特征；

基于所述特征，计算用于图像对象的至少两个集合的初始全局配准变换；

基于所述初始全局配准变换及其逆变换，在来自图像对象的至少两个集合的图像对象之间建立至少一个交叉链接。

根据一个实施例，图像处理方法包括以下步骤：

针对所述至少一个交叉链接，计算至少一个局部适应变换，该局部适应变换被限于在所述交叉链接中被交叉链接的那些图像对象；

i）组合至少所述局部适应变换和所述初始全局配准变换的至少一部分，或者ii）将多个局部适应变换组合成用于图像对象的至少两个集合的组合配准变换；以及

输出所述组合变换。

根据一个实施例，计算至少一个局部适应变换的步骤基于先前在导出步骤导出的一个或多个特征。

根据一个实施例，生物材料的影像包括至少一个数字病理学图像。

所提出的方法允许避免附加的计算成本，比如在先前的分层精化解决方案中，其中到更高分辨率的每一步导致用于新的分辨率水平处的特征的附加计算成本。所提出的方法允许计算特征一次，并且然后在算法的整个执行过程中重用从相同分辨率水平处的相同特征池的选择。更具体地说，局部适应变换是在与初始全局变换相同的图像分辨率（水平）下计算的。一般而言，分辨率水平不变是必然要求的。特征重用和在相同的（图像）分辨率水平处的操作二者导致更高效的图像对象配准算法。

所提出的方法和图像处理部件是高响应性的，因为它们允许在数秒钟内而不是数分钟内产生配准结果，甚至对于非常大的图像，例如在数字病理学中常用的十亿像素范围内的图像。这实现了需要低吞吐时间的应用和其中处理能力与除了仅图像配准之外的其他任务共享的应用。

与仅依赖于单个全局配准变换的先前方案不同，所提出的方法基于交叉链接操作将一般地来自多个局部适应变换的新的配准变换合并。这允许防止由初始全局变换引起的模型误差。这是因为通过交叉链接和一个或多个局部适应配准变换，所提出的方法和图像处理部件允许考虑诸如形状或形式之类的对象特征的非全局变化。例如，在组织学领域中，一个或多个数字病理学载玻片图像中对应组织区域的外观差异可能由组织样本的染色引起。在图像之一中可容易检测到的某个组织可能在另一个图像中是几乎不可见的。这种显著的外观变化可能会在计算初始全局配准变换的步骤中引入混淆。即，所提出的算法“意识到”可能发生初始全局变换中的不连续性，比如在其中成像样本由多于一个组织区域构成的组织学情境中。

所提出的组件和方法允许经由交叉链接操作来解决这个问题。初始全局变换和初始全局变换的逆变换二者都在明确的中间步骤中使用（因此，“交叉”链接），以识别和修正图像对象之间的对应的潜在不一致性。否则，这些不一致的对应可能会保持，如果其独自依靠初始全局变量的话。初始全局变换可能导致这些不一致的对应，例如在其中对象通过过分或欠分割而生成的图像分割的情境中。

一般地，将会存在多个这样的交叉链接，每个交叉链接限定如此交叉链接的图像对象的相应集群。局部适应变换的计算仅限于在给定的交叉链接中链接在一起的那些对象。就像初始全局变换的计算那样，局部适应变换的计算是基于特征的。但是对于局部适应变换的计算，只有属于给定的交叉链接中的对象的那些特征被使用。针对每个交叉链接执行相应的局部适应变换的对应计算，其一般产生多个不同的局部适应变换，针对每个交叉链接产生一个局部适应变换。然后初始变换可以被这多个局部适应变换的组合（可能完全）取代。

为了总结本文所取得的优点，通过在一个实施例中将局部适应变换与初始全局变换进行组合，可以实现更准确的配准。鲁棒性特别地通过所提出的交叉链接步骤来实现，而计算效率以及因而响应能力是通过（特别是在精化步骤期间）相同分辨率处的特征的重用来改进。

“图像对象”是图像的图像点（像素、体素等）的区域或集合。该区域可能不一定拓扑连接在一个整体中，而是可以包括多个不连接的或分散的子区域。图像对象可以从分割操作中导出，但是这可能不一定如此，因为图像对象可以改为通过人工指定或者从特征群集技术等导出。

术语“图像对象的至少两个集合”可以涉及两个不同图像中的或来自两个不同图像的相应图像对象，或者可以涉及同一图像的不同图像部分中的相应图像对象。

本文使用的术语“交叉链接”涉及可以通过初始全局变换或者通过其逆变换链接或关联的对象的集群，其中初始全局变换及其逆变换被认为是关于对象而不是关于图像点的变换。

附图说明

现在将参考以下附图描述本发明的示例性实施例，其中：

图1示出了成像***的框图；

图2示出了成像处理方法的流程图；

图3和图4图示了图2的方法中使用的交叉链接操作；以及

图5图示了按照图2的图像处理方法中的另外的处理步骤。

具体实施方式

参考图1，示出了如本文所设想的图像处理***的框图，特别地（但不一定仅仅）用于数字病理学成像的目的。

成像***包括例如提供组织学切片的数字图像的成像模式IM。

成像***进一步包括用于处理所提供的图像的图像处理部件IPC。为了便于参考，这些图像或帧在本文中将被称为图像IM_A和图像IM_B，其中要理解的是下文并不意味着仅限于两个图像。图像处理部件IPC允许对（至少）两个图像IM_A、IM_B相对于彼此在空间上配准。已经发现所提出的图像配准针对如记录在两个图像中的对应结构的形态或其他性质变化是特别鲁棒的。

我们现在首先转向简要地概述数字病理学成像的一些细节以更好地激发所提出的***，其中要理解所提出的***将不仅限于数字病理学。在初始的工序中，组织的样本标本用***处理，并且然后嵌入在石蜡中。这个工序（也被称为FFPE）允许保留分子结构并固化组织标本。使用诸如超薄切片机或类似物之类的组织学切割器，于是取得如此处理的组织的两个或更多个切割部。然后利用合适的染料（“着色剂”）处理（“染色”）组织切片以增强诸如细胞核及其周围的细胞质之类的感兴趣的结构的对比度。一种常见的染色工序是针对切割部中的一个使用苏木精和伊红（H＆E），针对另一个使用免疫组织化学（IHC）染色剂。其他染色工序（重新染色）也在本文中被设想。示例是仅苏木精染色、用荧光标记物染色的组织以及未染色的组织。组织可以取自相同的块或取自不同的（例如相邻的）块。然后经染色或着色的组织典型地（但不一定）安装在标准玻璃载玻片和盖片（玻璃片，比支撑的玻璃载玻片更薄）之间以形成一个或两个显微镜载玻片。两个组织可以（比如说并排地）安装在同一载玻片或安装在不同的载玻片上。

使用诸如数字显微镜MC、数字载玻片扫描仪PSC或者甚至以（例如）0.3x放大率（扫描或非扫描）捕获图像数据的成像装置之类的合适的成像模式，于是获得作为单个文件或两个单独文件的两个数字图像IM_A、IM_B，这取决于两个切片是否安装在同一个载玻片上。

数字病理学中的一个常见任务是在两个图像IM_A、IM_B中“重新找到”对应的结构。这本质上是图像配准方面的练习。然而，如将从上述工序领会的是，这可能不是直截了当的，因为同一个结构在两个图像IM_A、IM_B中在视觉外观方面可能是明显不同的。首先，两个切片尽管取自相同的组织标本，仍将包括该组织的不同部分。其次，当将切割部放置在它们各自的玻璃载玻片上时，从组织块分离两个切割部的切片或切割操作可能引起对组织的部分的不同量的拉伸、压缩或甚至“折叠”。第三，这两个切割部可能已被不同地染色。组织样本中染色/染色吸收的那些差异是组织的外观差异的主要原因之一。可以在图像之一中容易地检测到的组织可能在另一个图像中几乎不可见。简言之，图像对中对应的组织片的形状和外观的变化对配准造成其他挑战。形状可以由于若干原因而不同。组织可以被拉伸或压缩，并且可能由于折叠或撕扯而变形。此外，在多个组织片的情况下，片可能相对彼此移动了一些，导致位置和取向的局部变化。

继续参考图1，在虚线矩形内示出了所提出的图像处理部件IPC的架构。

配准部件IPC包括用于接收图像对象的输入端口IN，例如按照两个图像IM_A、IM_B。概括地说，图像处理部件IPC的架构由用于定义图像对象的预处理级组成，该预处理级在优选实施例（但必要地所有实施例）中包括分割单元SEG和特征识别IFD单元。然后在此级处理的影像被转发到实际的图像配准级，其包括全局变换构建器GTB和局部变换构建器LTB。还存在组合器Σ，以及可选地存在精化器电路RF和/或采样器DUS。在优选实施例中，采样器DUS用于下采样，但是具有上采样的实施例在本文中不被排除。配准结果（特别是图像变换T ^NEW的算法描述）在输出端口OUT处输出。

区别于与现有的配准方案，所提出的图像配准部件IPC特别地包括交叉链接部件XL。在进入关于所提出的IPC的运行的更多细节（下面在图2处）之前，为了更好的概览，简要概述图像配准部件IPC的操作。在一个实施例中，设想图像处理IPC作为软件例程在诸如与成像模式IM相关联的通用计算平台之类的工作站WS上运行。图像处理IPC部件当然也可以在独立的计算平台上运行。

操作

在输入端口IN处接收要配准的图像对象的两个集合。图像对象的集合可以在两个图像A、B中。在下文中假定情况就是这样，尽管这仅是说明性实施例，因为两个对象集合可以被限定在单个图像中。

图像对象可以预先通过已经分割了两个图像的分割器SEG导出，尽管不排除用于定义图像对象的其他技术。在下文中，通过分割进行的定义仅被作为说明性实施例使用。

然后，通过特征识别部件IFD检查两个图像中的对象。特征包括例如区域大小，、形状或光谱特征，因为组织学图像经常被记录为彩色图像以例如借助于颜色更好地显示组织分化。这些特征可以描述对象自身或者它们可能涉及它们附近的特征。

一旦已经定义和计算了特征（即，两个图像中的一些或全部对象的一个或多个特征），然后工艺流程传递到全局变换构建器GTB。全局变换构建器GTB基于由特征识别部件IFD产生的特征池针对两个图像的整体计算单个全局变换。这种变换，在文中被称为初始变换，可以被应用于图像之一（例如图像IM_A）中的任何图像对象，并且然后被映射到被“初步”认为是第二图像IM_B中的对应的图像对象的事物。一般地，全局变换构建器GTB的以算法为基础的操作基于特征对应。换言之，借助于测量或量化给定对的对应“量”的适当度量，跨两个图像比较先前计算的特征。然后，其特征吸引最高或足够高的对应性（后者可以通过定义适当调整的对应性阈值来建立）的对象对被认为跨两个图像相互对应。以这种方式，图像IM_A中的每个组块或对象被匹配或映射到图像IM_B中的对应的一个图像对象。在此级处，初始变换是对需要如何使图像IM_A“变形”以达到图像IM_B的全局的、因此相对粗略的描述，因为初始变换仅仅“全局地”满足对应性要求，因为它在整个图像上操作并且在此级处不必具体考虑在两个图像中的局部变形要求。按照每对对象的对应性的相应的量被馈送到全局目标函数中，然后该全局目标函数被评估以在全局水平上计算全局初始变换。如下面将会看到的，然后此初始全局变换T和/或其逆变换T^-1（优选两者）被局部变换构造器LTB用来计算多个局部适应变换，该多个局部适应变换然后被组合器Σ组合成改进的、即更精确的组合变换T ^NEW，其描述然后在输出端口OUT处提供。局部和全局变换构建器可以组合成单个功能实体。

由于交叉链接器XL的操作，至少部分地获得了所提出的图像配准的前述鲁棒性。交叉链接器XL使用初始变换及其逆变换（其数学逆变换）在跨两个图像的对象或对象组之间建立交叉链接。更具体地，交叉链接器XL将第一图像IM_A中的给定图像位置处的一个或多个对象与第二图像IM_B中的一个或多个图像对象链接起来。作为图像点（例如像素或体素）之间的函数，初始配准变换可以被假定为一对一的，因此其逆变换总是作为图像点函数存在。然而，为了建立交叉链接的目的，初始全局变换的图像点定义可以用来将初始全局变换及其逆变换定义为对象之间的相应变换。给定的交叉链接一般将包括来自第一图像和第二图像的对象集合。换言之，当T是在对象而不是图像点上定义时，通过前进（经由T）和后退（T^-1），交叉链接器XL将跨两个图像可以通过T或T^-1的映射行为达到的所有那些对象混在一起。例如，在交叉链接之后，可以以诸如{A1，A2}<->{B1，B2，B3}之类的关联结构结束，其中来自两个图像（IM_A或IM_B）的对象Ai或Bi的子集是相互关联的。这些集合也可以是单元素集合（即由单个对象形成），例如{A1}<->{B2}，或者来自一个图像的单元素集合可以与来自另一个图像的多于一个对象相关联。稍后，交叉链接器的操作将在下面在图2、图3和图4处更详细地说明。

在交叉链接之后，局部变换构建器LTB接管。在功能上，局部变换构建器LTB与全局变换构建器GTB类似，但是与GTB相反，LTB并非全局地跨图像对象的整体同时操作，而是针对任何给定的交叉链接单独操作并且被限于在所述给定的交叉链接中由链接器XL链接起来的对象。实际上，在一个实施例中，局部变换构建器LTB和全局变换构建器GTB被集成到单个功能实体中。局部变换构建器LTB的操作允许具体地考虑局部变形特性。在计算初始全局变换时，这些局部特性没有被具体考虑在内。在计算初始全局变换时，局部变换需求被平均或者相对于全局需求保持平衡以满足全局目标函数。相反，局部变换构建器LTB反而在一些或每个交叉链接上孤立地操作以产生多个对应的局部适应变换t_i，即对于每个交叉链接，至少一个局部变换t_i。然后，例如在B样条操作或其他函数融合方案中，将如此适应的局部变换t_i的集合组合以形成新变换T^NEW，其然后在输出端口OUT处输出。然后，按照新变换T^NEW的配准结果可以通过将其应用于图像之一（例如图像IM_A）来研究，并且该配准随后可以被图形化地呈现以便在诸如监视器之类的显示单元DU上通过图形显示生成器GDG显示。也可以显示按照初始变换的配准结果和或中间结果。更具体地说，在一个实施例中，中间配准结果被更新，并且这在新的变换正在从其部件、即、从本地适应变换被构建时被显示。在构建期间的一些步骤或每个步骤处，中间变换由显示单元DU上的图形显示生成器GDG图示。

本文中设想的向用户呈现配准结果的一种方式是实现在同时导航模式下在彼此相邻的两个图像的显示单元上的显示。在这种模式下，相应的视野大小和图像显示的放大率保持不变。图像IM_A、M_B中的一个的视野的中心经由配准信息被链接到另一个图像的视野的中心。如果用户在图像IM_A、M_B中的一个中浏览，则另一个图像中的视野的中心将自动随着移动以确保视野的各个中心彼此对应。

在另一个实施例中，通过在一个视图端口/窗口中显示图像IM_A、M_B中的一个，并且在配准之后在第二视图端口/图像窗口中显示另一个图像来呈现配准结果。然后用户可以在两个图像之间切换以研究配准后的染色图案。

有时可能发生局部变换构建器LTB的操作未能计算用于交叉链接的局部适应变换，因为跨所述交叉链接中的对象的所需程度的对应性不能被建立。为了考虑到这种可能性，IPC在一个实施例中包括下采样部件DUS，其在输入图像IM_A、IM_B上操作以对图像进行下采样或上采样。上述算法然后基于重采样的图像重新运行，以便随后有希望地实现更好的对应性。然而，一旦初始输入图像IM_A、IM_B被适当地下采样，所提出的图像处理部件IPC就能够仅在单个分辨率水平上工作，因此不需要进一步的上采样或下采样。

偶尔，当就每个对象每个交叉链接和/或区域大小的成员数量而言，针对适当定义的限制进行衡量时，由分割器SEG产生的对象或者交叉链接中的数字对象可能被认为是太大的。因此在一个实施例中提出了将大的对象分成子对象的可选的精化器RF。然后，精化器RF在新形成的子对象中的特征上操作以计算子对象之间的子局部适应变换。

参考图2，现在更详细地解释成像处理部件IPC的操作。然而，将会领会的是，图2中的流程图和跟随的描述不一定束缚于图1中所展示的架构，并且按照图2中的流程图的算法可以作为独立指令来读取。该方法将针对其中图像对象的集合被定义在两个图像IM_A、IM_B中的情况进行说明，其中图像对象集合中的相应一个对应于相应图像IM_A、IM_B中的图像对象。然而这不是限制性的，因为图像对象的集合也可以对应于单个图像的不同部分。

在初始步骤S210处，产生两个（或更多）图像IM_A、IM_B。这可以通过组织学成像或通过数字病理学以外的成像工序来实现。为了说明的目的，在数字病理学情境内，获得组织块的两个切片的剩余的两个组织病理学（数字）图像IM_A、IM_B。数字图像可以从相同组织块的连续切片或非连续切片获取。也可以使用单个切片，并且在组织重新染色之后获取两个图像。至少在数字病理学中，图像IM_A、IM_B可能是相对大的，例如在具有亚微米分辨率的十亿像素范围内。

在附加的可选步骤中，图像可以被下采样。下采样的目的是获得图像，所述图像是足够小的以允许可接受的计算时间但仍包含足够的细节和分辨率以实现可接受的准确结果。然而，已经发现，所提出的方法通常不需要下采样。

根据一个实施例，在步骤S215处，导出图像对象。这可以经由图像的分割来完成。这导致图像对象的（至少）两个集合，即每个图像IM_A、IM_B一个或多个对象集合。任何分割算法都可以用于这一步骤。分割尤其包括背景相对组织分割。根据一个实施例，导出背景强度的特性（背景均值和背景方差）。接下来，如果它们的强度高于背景阈值，像素被分类为“最有可能属于该背景”，背景阈值在一个实施例中被定义为：背景阈值=背景均值－2*背景方差）。

在一个实施例中，可以应用图像平滑化（作为预处理步骤）或形态学操作以使图像分割结果噪声更少。可选地，被分类为“最有可能组织”的非常小的对象被认为是噪声并且被从进一步的分析中移除。这可能使计算时间安全。

将被理解的是，尽管本文中被主要设想，但是分割仅仅是导出图像对象的所述两个（或更多）集合的许多其他实施例中的一个实施例。例如，对象可以直接作为扫描仪的输出导出。在现代病理学扫描仪中，一种技术被用来识别组织片的位置。此信息用于将扫描限制于仅与给定任务相关的样本的那些部分。这减少了扫描时间并限制了图像大小。扫描仪为此目的提供的其他信息是关于焦点的信息。可替换地，对象可以从手动或半手动组织选择工序输出。又可替换地，对象可以通过特征群集技术来提供，例如，对关键点特征位置的位置及其各自的吸收值进行k均值群集。在下文中，将主要在分割的情境中说明该方法，然而这并不是限制所提出的方法的应用和范围。

在步骤S220处，然后接收来自两个图像IM_A、IM_B的图像对象。

在步骤S240处，导出两个图像中的图像对象的图像特征或与两个图像中的图像对象相关的图像特征。计算用于图像配准的特征的一种方式在例如D Lowe的“DistinctiveImage Features from Scale-Invariant Keypoints”，International Journal ofComputer Vision，60,2，pp.91-110,2004中被描述。该方案基于尺度不变特征变换SIFT。在SIFT方案中，所谓的关键点是从尺度空间导出的并且由特征向量来描述。针对特征取向和特征尺度的变化，特征的描述是不变的，并且在一定程度上针对透视的变化甚至是鲁棒的。然而，本文中也设想了其他非SIFT方案，即由于所提出的方法所预见的应用中不需要针对透视差异的鲁棒性和尺度不变性。因此，为了目前的目的并且根据一个实施例，注意到特征存在于多个细节水平。在一个实施例中，处于多个细节水平的特征的提取基于输入图像IM_A、IM_B（例如，使用具有高斯-拉普拉斯算子或高斯差分的图像滤波）的尺度空间表示的导出。通过在空间和尺度上的极值检测，可以从尺度空间自动提取鲁棒的和“有趣的”或突出的图像点。这些极值提供关于有趣图像点的位置（x，y）以及在所述点的描述（或表征）中应当考虑的相应图像点周围的局部区域的范围的信息。T Lindenberg在“Feature Detectionwith Automatic Scale Selection”, International Journal of Computer Vision,30, 2 1998中更详细地描述了关于基于图像特征的处理的一些一般观点。各种特征描述符的示例可以在K Mikolajczyk和C Schmid，“A evaluation evaluation of localdescriptors”，IEEE Transactions on Pattern Analysis and Machine Intelligence，27,10，pp.1615-1630,2005中找到。

在一个实施例中，不在被分类为“最有可能组织”的对象上或附近的特征被从进一步的分析中移除。“接近度”是针对预定义的邻域来衡量的。在一个实施例中，图像特征的导出通常利用预定义的参数设置的单个集合来完成，所述预定义的参数设置定义了计算尺度空间的方式或者参数设置如何被用来从尺度空间提取特征。在一种可替换的方案中，图像特征导出从图像中子区域的选择开始。然后，这个子区域中的特征被计算用于参数设置的有限集合。接下来，选择提供用于此子区域的最佳拟合特征的那些参数设置。所选择的参数设置然后被用于图像的配准。

在步骤S250处，用于两个图像中的图像对象的初始全局配准变换被作为点函数计算。这个计算基本上考虑了所有的图像特征。以这种方式，产生针对图像中的整个图像对象的单个变换。初始变换可以基于例如在上述Lowe论文中描述的特征对应性来计算。在这个算法和类似算法中，度量被用来量化对应性的程度并且典型地基于特征对应性的匹配质量以及与模板中的以特征位置为基础的几何结构一致的特征对应性的总数。可能在合适的归一化之后，在两个图像中的对象的特征向量之间的诸如欧几里得距离或其他之类的距离测量定义“分数”。如果这个分数小于某个数字阈值，则相应的两个特征不匹配。如果所述分数等于或甚至超过所述阈值，则认为特征匹配。如本文中使用的用于匹配目的的另一种模板形式是定义用于将两个图像并且因此将对象变换成彼此的适当的参数化变换族。这些参数然后被拟合到所考虑的两个图像，并且然后通过成本函数对其进行评估以定义分数。例如，成本越低，得分越高等。然而，诸如SIFT之类的现有算法通常假定图像之间的相对高水平的对应性。例如，几何变形通常被假设为仅限于取向和尺度的变化，并且可能只允许如在SIFT中那样的透视变形中的小变化。那些约束的潜在的基本原理是SIFT和类似的算法基于类似的“视觉外观”，并且因此在外观变化受限的情况下工作最好。然而，这种假设通常在数字病理学影像中失败，这就是为什么在本文所提出的方法中如此计算的全局变换仅仅是中间结果，其现在在下文中被用来解决跨两个图像的结构外观的异质性。

在步骤S260处，实施交叉链接操作。为实现该操作，通过使用初始全局变换将一个图像中的一个或多个（通常为全部）图像对象映射到第二图像中。除了使用全局变换之外，其逆变换也被计算并应用于第二图像以便现在将图像对象（向回）映射到第一图像。由于图像分割的差异，两个图像中的对象之间的关系可能不是一对一的，并且因此本文提出使用全局变换以及其逆变换二者来交叉链接对象。

交叉链接允许应付图像IM_A、IM_B中对应对象的外观差异。这些差异可能是由被分类为组织的对象的过度和欠分割引起的。而且，在组织分类的对象靠近在一起的情况下，要确定它们是否属于同一个组织将不总是容易的。这种混淆可能导致组织对象在它们在图像A和B中被分割时的不一致。换言之，交叉链接有助于找出图像IM_A中的哪个对象对应于图像IM_B中的哪个对象。

在一个实施例中，交叉链接通过定义某些作用点来实现。例如，可以通过使用初始全局变换T将图像IM_A中的对象的某些指定或作用点（例如，中心位置或其他几何轨迹）映射（或“变形”）到图像IM_B上来建立对象之间的链接的第一集合。如果变形的作用点在图像IM_B中的组织对象上（即内部）结束，则两个对象被认为在T的作用下被链接。接下来，用户“向后”进行，通过变形到图像IM_A上，使用全局变换的逆变换T ^-1，对图像IM_B中的对象执行相同的操作。经由T和T ^-1的两个映射操作，获得了通过T或T ^-1链接在一起的对象集群。考虑对象群集的以下示例：假设按照在T下从图像IM_A到图像IM_B的变形，图像IM_A中的对象A1被链接到IM_B中的对象B1并且图像IM_A中的对象A2被链接到图像IM_B中的对象B3。接下来，图像IM_B中的B1、B2和B3中的每一个都按照在T ^-1下从图像IM_B到图像IM_A的变形被链接到图像IM_A中的对象A1。将所有这些链接混在一起将导致图像IM_A中的对象{A1，A2}与图像IM_B中的对象{B1，B2，B3}之间的交叉链接。交叉链接（即，从图像IM_A到图像IM_B的变形以及从IM_B到图像IM_A的逆）允许在步骤S215中在过度/欠分割的情况下实现鲁棒性。图3（向前）和图4（向后）中图示了这种交叉链接示例。作用点和这些作用点被映射到的点分别被图示为阴影点和黑点。于是，更一般地，为了目前的目的，可以基于将T和T^-1考虑为对象之间的变换来定义交叉链接操作如下：对于任何对象o，T^-1（o）是 o的指定的点（作用点）在T^-1下映射到的对象o'。换言之，如果对象o的作用点碰巧映射到对象o'的一个点中，则对象o、o'经由T ^-1链接。可以看出，作为对象变换的T和T ^-1的定义基于T、T ^-1的图像点定义，因为作用点的位置确定链接是否被建立。当考虑T作为对象之间的函数来建立另一个方向上的链接时，适用同样的考虑。即，T（o）是o中的点（即作用点）在T下被映射到的对象。然后经由T或T^-1链接的对象的集合或集群被称为形成交叉链接。通常会有多个不同的交叉链接。值得注意的是，T和T^-1作为对象变换的定义引入了不对称性：可以发现，如果T的应用在o和o'之间创建链接，那么当通过应用T^-1交叉链接时，也可能存在从o'到o的链接。然而，这未必如此，因为链接是通过使用对象的作用点（例如中心点）建立的。因此，可能的是，尽管存在在o和o'之间找到的链接，但是当应用T^-1时当从o'到o的交叉链接时没有链接被找到。这种不对称性在图3、图4被图示：如图4所示，仅当经由T^-1交叉链接时才发现从B2-> A1的链接。如图3所示，如果仅依赖在一个方向上链接（即仅经由T），这个链接不会被找到。

在步骤S270处，对于任何一个交叉链接，相应的局部适应变换然后被计算。换言之，可以使用与上面步骤S250中相同的算法，然而，这次各个局部适应变换不是全局地计算的，而是每一个局部适应变换仅在“集群水平”处进行计算，即，在局部适应变换计算中考虑的特征仅限于在给定交叉链接中链接在一起的那些对象的特征。更具体地，对于任何一个交叉链接，先前在步骤S240处创建的特征池被重新访问以收集属于考虑中的交叉链接中的对象的特征子集。换言之，在步骤S270中，对于每个交叉链接或集群，通过仅使用属于所考虑的交换链接中的对象的先前计算的特征中的那些特征来获得在集群水平处的专用局部适应变换T _cl 。以这种方式，产生多个局部变换T _cl，对于任何给定的交叉链接cl，产生一个这样的变换T _cl。变换中的每一个仅适应于相应交叉链接中的对象（及其特征）。

如图3、图4中的示例所示，过度分割可以通过按照所提出的交叉链接将对象混在一起来识别。在示例中，图像IM_A被过度割成两片A1和A2，并且图像IM_B中的对应组织对象在对象B1、B2和B3中以不同的方式被过度分割。通过交叉链接实现的向前和向后映射允许识别这种情况，并且在计算用于给定交叉链接的变换T_cl时可以一起考虑如此链接的对象的特征。由于T_cl计算被限于相应交叉链接中的对象，因此这些计算可以说是“在对象水平处”的计算。交叉链接允许降低特征饥饿（starvation）的风险。即，由于交叉链接，更多的对象可以组合在一起，这增加了可用于计算局部适应变换的特征池。因此计算更鲁棒并且可能更准确。

可选地，存在步骤S275，其在分割返回相对较大的组织对象的情况下或者在交叉链接产生由过多的对象组成的交叉链接的情况下构成精化操作。在这些情况中的任何一种下，如图5所示，该对象被细分成子对象R_A。在示出的示例中，对象o是单个区域，并且这种情况下的子对象是所述单个区域的子区域。对于这些局部子对象R_A中的每一个，仅属于所考虑的子对象的特征的子子集是从先前针对对象o计算的特征的子集中收集的。图5是针对相对大的对象（通过使用合适的直径阈值来定义）连同连续的局部精化的变换直到子对象水平的步骤S275的精化操作的图示。图像IM_A中的阴影正方形R_A（图5的左手边）是组织对象o处的局部子对象。通过适当的网格（以虚线示出）的定义来实现精化，该网格定义了图像IM_A中的组织对象o的局部子对象。图像IM_B中的阴影正方形R_B（图5的右手边）示出了使用针对对象水平处的对象o的估计的局部变换从图像IM_A变形到图像IM_B之后的局部子对象R_A。图像IM_B中的虚线示出使用先前估计的对象水平处的变换的变形的规则网格。对于局部匹配（即，为了在子对象水平处构造针对相应子对象集合的子局部适应变换t _i），子对象R_A的在图像IM_A中观察到的特征与相应子对象的、利用在对象水平处的当前对象o的先前估计的变换变形之后获得的对象中的在图像IM_B中观察到的特征相匹配。如上所述，在图5的示例中，对象o由单个区域（显示为由曲线定界）形成。如果对象是分离的子区域的集合，其中精化对应于将所述集合分解成子子集并且接着将精化变换t_i定义为对象的子集之间的变换，则类似的考虑适用。总之，这里我们区分至少两个（在一个实施例中为三个）水平：初始全局变换T，用于交叉链接中的对象的一个或多个局部适应对象变换T _cl（对象水平），以及可选地在第三水平上，局部精化定义的用于子对象的子局部变换t _i（子对象水平）。当然，如果必要的话，上述可以利用子…子…精化扩展到n> 3的任意数量的水平。

在步骤S280处，组合器操作以将全局变换与在对象水平和/或甚至子对象水平处获得的一个或多个局部变换进行组合。组合的局部和/或子局部变换导致组合的配准变换，其更好地考虑到局部细节。在一些实施例中，使用B样条方案，但是也设想其他样条化方法（例如，薄板等）将局部变换组合成单一函数描述。

向回参考B样条实施例，b样条变换借助于图像IM_A中的所谓的结（knot）方位的规则网格来提供新变换的紧凑定义，并且此外还提供定义了变形成图像IM_B时结的位移的每个结位置的局部位移矢量。从这个紧凑的定义，结之间的位置处的变换使用b样条插值获得。更具体地说，对于规则网格中的一些或全部网格点，最初指定如从初始全局变换继承的位移。接下来，如果已经在对象水平处的相应网格点的邻域内计算了局部变换或者甚至在子对象水平处计算了子局部变换，则针对所有网格点运行检查。如果是的话，对于那些网格点，使用最局部的变换T _cl或t _i，而不使用初始全局变换。如随后将理解的那样，在一些情况下，初始全局变换可以保留在一些没有计算局部变换的网格点处，但是在其他网格点处可以由T _cl或t _i取代。在申请人的测试中，在x和y方向（放大率为0.3x）上使用具有16个像素间距的规则网格结，但这仅仅是示例性的，并且其他间距和/或放大率也在本文中被设想。

如将被回想起的，对于步骤S215，上面描述了一个选项，其中被认为太小的对象将被从考虑中移除。就使用此选项的实施例而言，然后在这里在一个实施例中提出，这些对象将仍然借助于初始全局变换在最终变换T ^NEW中被配准。换言之，这些对象于是也将继承由初始全局变换定义的特定位移。

本领域技术人员将认识到，可以使用部分重叠的子对象来完成象o到子对象的划分。可选地，可以使用不同大小的子对象，或者可以使用具有不同数量的元素的子对象。例如，图像IM_A中的子对象i的特征可以与在图像IM_B中对应的中心位置周围定义的稍小的对象相匹配。如果获得了可靠的子局部变换t _i（即，实现预设的对应量的子局部变换），则接受该子局部变换。如果不能获得可靠的局部变换，则可以使用增加尺寸的图像IM_B中的对应中心位置周围定义的对象进行一次或多次尝试。

如之前在步骤270，基于相应子对象的特征的子子集计算子局部变换。在精化操作S275中定义的子对象水平处的子局部变换然后可以在步骤S280处与在较高水平处获得的变换、即与在步骤S250和步骤S270获得的变换组合。值得注意的是，局部适应或子局部适应变换的计算基于与用于计算初始全局变换的分辨率相同的分辨率水平。换言之，在这些组合中不涉及上采样或下采样，因为图像对象或子对象以相同的图像分辨率水平表示。

然后在步骤S290处，输出如此组合的变换。然后可以将新计算的变换应用于输入图像之一中的对象之一，以实现从图像之一（例如，IM_A或IM_B）中的对象与另一个图像（IM_B、IM_A）中的对象的配准。在一个实施例中，组合配准变换的算法描述（例如，b样条公式）在步骤S295处被存储在合适的存储器中。在这个实施例中，不需要存储实际的配准的/变形的图像。仅仅变换的描述被存储。这节省了存储器空间并且允许在稍后阶段实现或重新实现配准。

可选地，存在步骤S255，其在步骤S250中（在给定的放大率处，例如0.3x）的全局配准失败情况下调用下采样或上采样。图像以一定的因子（例如因子2）缩减，并且然后在这个较低水平的放大率下重新尝试配准作为备份。如果配准仍然失败，则可能会改为使用扩增，或者可以求助于手动配准，作为全面回落（catch-all fall back）。

在一个实施例中，输出步骤S250的结果（即，初始全局变换），因为这可能已经被用作中间配准结果。用户可以从此中间配准结果开始，并且一旦剩余步骤S260-S280的计算部分被完成，将被提供更准确的配准结果。当一个接一个地处理组织对象等时，也可以逐步提供更新。以这种方式，可以提供对配准结果的渐进更新。例如，可以在步骤S297处显示更新的配准结果，从按照初始变换的配准结果开始，然后在显示步骤S297中依次显示后续的中间配准结果，直到最终输出，即，组合变换被显示。换言之，随着时间的推移，配准逐渐精化，并且每次取得进展（例如，交叉链接已被处理）时精化被用来更新当前显示的配准结果。可替换地，由相应的局部适应变换交付的配准结果可能已经被独立地显示，仅针对相应的对象。中间结果的显示允许用户检查配准结果的质量，并在必要时中止计算。而且，它允许用户以例如更快地同时导览开始。

如早前所观察到的，所提出的方法涉及对来自特征的变换的估计，特别地特征对应性被建立。在一个实施例中，在步骤S240中获得的特征对应性在步骤S250和/或S270中被重新使用。可替换地，关于图像A和B之间的全局取向差异的知识被用来加速通过取向分级（binning）建立特征对应性的过程。取代仅基于它们的描述符寻找特征之间的对应性的是，基于它们的取向特征最初将特征分成组。接下来，考虑全局取向差异，在具有相似取向的组之间获得特征对应性。

如果出于某种原因，（例如，由于不能实现期望的对应性水平）例如无法获得针对给定交叉链接的在对象水平处的变换T _o，则将初始变换T用作备份。这在进一步精化到子对象（例如子对象）的情况下同样适用。即，在获得用于子对象的子局部变换失败的情况下，在对象水平处的变换T _o被用作备份。

本领域技术人员将会领会，上述***和方法也可以应用于来自相同组织块的两个或更多个组织切片的想象配准，两个图像IM_A、IM_B是单个图像的子图像。

虽然在数字病理学中的应用是本文中所设想的主要应用，但是其他应用并不被排除并且特别地在本文中被设想。

在本发明的另一个示例性实施例中，提供了一种计算机程序或计算机程序元件，其特征在于适于在适当的***上执行根据前述实施例中的一个的方法的方法步骤。

因此，计算机程序元件可以存储在计算机单元上，计算机单元也可以是本发明的实施例的一部分。该计算单元可以适于执行或诱导上述方法的步骤的执行。此外，它可以适于操作上述装置的部件。计算单元可以适于自动操作和/或执行用户的命令。计算机程序可以被加载到数据处理器的工作存储器中。因此，数据处理器可以被装配以实施本发明的方法。

本发明的此示例性实施例覆盖了从一开始就使用本发明的计算机程序以及借助于更新将现有程序转变为使用本发明的程序的计算机程序二者。

更进一步地，计算机程序元件可能能够提供所有必要的步骤以实现如上所述的方法的示例性实施例的过程。

根据本发明的另外一个示例性实施例，提出了计算机可读介质，尤其是非暂时存储介质，比如CD-ROM，其中计算机可读介质具有存储在其上的计算机程序元件，该计算机程序元件由前一部分描述。

计算机程序可以储存和/或分布在合适的介质（尤其是但不一定是非暂时存储介质）上，比如与其他硬件一起供应的或作为其他硬件的一部分供应的光学存储介质或固态介质，但是计算机程序也可以用其他形式分发，诸如经由互联网或其他有线或无线电信***分发。

然而，计算机程序也可以在像万维网那样的网络上给出，并可以从这样的网络下载到数据处理器的工作存储器中。根据本发明的另外示例性实施例，提供了一种用于制作可用于下载的计算机程序元件的介质，该计算机程序元件被布置为执行根据本发明的先前描述的实施例中的一个的方法。

必须注意的是，参考不同的主题描述了本发明的实施例。特别地，一些实施例参考方法类型权利要求进行描述，而其他实施例参***类型权利要求进行描述。然而，本领域技术人员将从上述和以下描述中得出：除非另外通知，否则除属于一种类型的主题的特征的任意组合之外，涉及不同主题的特征之间的任意组合也被认为通过本申请公开了。然而，所有特征都可以组合起来提供协同效应，其不仅仅是特征的简单总和。

虽然已经在附图和前述描述中详细说明和描述了本发明，但是这样的说明和描述将被认为是说明性或示例性而非限制性的。本发明不限于所公开的实施例。通过研究附图、公开内容和从属权利要求，本领域技术人员在实践要求保护的发明时可以理解和实现所公开的实施例的其他变型。

在权利要求中，词语“包括”不排除其他元件或者步骤，并且不定冠词“一”或“一个”不排除多个。单个处理器或者其他单元可以实现权利要求中记载的若干项的功能。在互不相同的从属权利要求中记载特定措施的仅有事实并不表明不能使用这些措施的组合来获益。权利要求中的任何附图标记不应解释为对范围进行限制。

Claims (16)

1.一种图像处理***的成像处理装置，该成像处理装置包括：

输入接口，其用于接收图像对象的至少两个集合，其中至少一个集合包括单个图像对象或多个图像对象，所述图像对象集合从生物材料的影像导出；

图像特征导出器，其被配置为导出图像对象的图像特征或与该图像对象相关的图像特征；

全局变换构建器，其被配置为基于所述特征来计算用于图像对象的所述至少两个集合的初始全局配准变换；

交叉链接器，其被配置为基于所述初始全局配准变换及其逆变换在来自图像对象的所述至少两个集合的图像对象之间建立至少一个交叉链接；

其中所述图像对象是图像的图像点的区域或集合；并且

其中交叉链接将跨两个图像的可以通过初始全局变换或其逆变换的映射作用达到的所有那些对象混在一起。

2.如权利要求1所述的成像处理装置，进一步包括：

局部变换构建器，其被配置为针对所述交叉链接计算至少一个局部适应变换，所述局部适应变换被限于在所述交叉链接中被交叉链接的那些图像对象；

组合器，其被配置为执行组合操作以便：i）组合至少所述局部适应变换和所述初始全局配准变换的至少一部分，或者ii）将多个局部适应变换组合成用于对象的所述至少两个集合的组合配准变换；以及

输出接口，其用于输出所述新的全局变换。

3.如权利要求2所述的成像处理装置，其中用于计算所述至少一个局部适应变换的局部变换构建器的操作基于由图像特征导出器先前导出的一个或多个特征。

4.如权利要求2或3所述的成像处理装置，包括精化器，其被配置为：

将来自所述至少两个集合的相应图像对象细分成子对象以获得子对象集合；

针对所述子对象计算至少一个子局部适应变换；其中组合器适用于将所述至少一个子局部适应变换包括在所述组合操作中。

5.如权利要求1-3中任一项所述的成像处理装置，包括图形显示生成器，其可操作以实现按照所述初始全局变换显示配准结果和/或按照中间配准或按照组合配准变换更新新配准结果的显示。

6.如权利要求1-3中任一项所述的成像处理装置，进一步包括采样器，其被配置为在没有初始全局变换能够通过全局变换构建器计算的情况下对图像对象的所述至少两个集合中的至少一个进行上采样或下采样。

7.如权利要求2或3所述的成像处理装置，其中组合器的操作基于B样条化。

8.如权利要求1-3中任一项所述的成像处理装置，其中所述图像对象中的至少一个已经通过应用于所述影像的图像分割操作而导出。

9.一种图像处理***，包括：

前述权利要求1-8中任一项的成像处理装置；以及

图像捕获设备，其提供从中导出了图像对象的所述至少两个集合的所述影像。

10.一种图像处理方法，包括：

接收（S220）图像对象的至少两个集合，其中至少一个集合包括单个图像对象或多个图像对象，所述图像对象集合从生物材料的影像导出；

导出（S240）所述至少两个集合中的图像对象的图像特征或与该图像对象相关的图像特征；

基于所述特征，计算（S250）用于图像对象的所述至少两个集合的初始全局配准变换；

基于所述初始全局配准变换及其逆变换，在来自图像对象的所述至少两个集合的图像对象之间建立（S260）至少一个交叉链接。

11.如权利要求10所述的图像处理方法，包括：

针对所述至少一个交叉链接，计算（S270）至少一个局部适应变换，所述局部适应变换被限于在所述交叉链接中被交叉链接的那些图像对象；

i）组合（S280）至少所述局部适应变换和所述初始全局配准变换的至少一部分，或者ii）将多个局部适应变换组合（S280）成用于图像对象的所述至少两个集合的组合配准变换；以及

输出（S290）所述组合变换。

12.如权利要求11所述的图像处理方法，其中计算（S270）所述至少一个局部适应变换的步骤基于先前在导出（S240）步骤导出的一个或多个特征。

13.如权利要求10-12中任一项所述的图像处理方法或如权利要求1-3中任一项所述的成像处理装置或如权利要求9所述的***，其中生物材料的所述影像包括至少一个数字病理学图像。

14.如权利要求10-12中任一项所述的图像处理方法或如权利要求1-3中任一项所述的成像处理装置或如权利要求9所述的***，其中所述至少一个局部适应函数的计算在与初始全局配准变换的计算相同的分辨率水平处执行。

15.一种用于控制根据权利要求1-8中任一项的成像处理装置的计算机程序元件，其在被处理单元执行时适于执行权利要求10-14中任一项的方法步骤。

16.一种计算机可读介质，其上存储了权利要求15的程序元件。

Images