CN110494891A - 用于拼接的基于分块的局部配准以及全局放置 - Google Patents

用于拼接的基于分块的局部配准以及全局放置 Download PDF

Info

Publication number
CN110494891A
CN110494891A CN201880024039.3A CN201880024039A CN110494891A CN 110494891 A CN110494891 A CN 110494891A CN 201880024039 A CN201880024039 A CN 201880024039A CN 110494891 A CN110494891 A CN 110494891A
Authority
CN
China
Prior art keywords
piecemeal
image
pair
spatial relationship
overlapping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880024039.3A
Other languages
English (en)
Other versions
CN110494891B (zh
Inventor
J·马丁
A·萨卡尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ventana Medical Systems Inc
Original Assignee
Ventana Medical Systems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ventana Medical Systems Inc filed Critical Ventana Medical Systems Inc
Publication of CN110494891A publication Critical patent/CN110494891A/zh
Application granted granted Critical
Publication of CN110494891B publication Critical patent/CN110494891B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本公开文本提供了一种拼接分块图像的方法，其包括：执行局部配准以确定相邻分块图像对之间的空间关系，所述空间关系是使用在多分辨率框架内计算的归一化互相关(NCC)得分确定的；以及执行全局放置以相对于彼此定位所有扫描的分块图像，其中，所述全局放置是利用所有相邻灰度分块图像之间的确定的空间关系并且利用所述NCC得分作为权重通过加权最小二乘确定的。

Description

用于拼接的基于分块的局部配准以及全局放置
背景技术
近年来，一直很关注合并静态场景的图像在如全景成像和映射等领域中的应用。图像的合并在医学成像领域也是有用的，包括对呈现在显微镜载玻片上的样本的成像。传统上，通过经由涉及配准、翘曲、重新采样和混合的过程将两个或更多个重叠图像拼接在一起形成单个较大的合成图像来创建图像镶嵌。图像配准步骤用于找到重叠图像之间的相对几何变换。
基于从图像提取的特征的图像配准是一种用于合并多个图像的方法。基于特征的图像配准确定每个图像中的一组特征点并且然后对相应的特征描述符进行比较。特征点的数量通常远远小于相应图像的像素数。基于特征的图像配准可能在某些情形下无法很好地适于某些图像对并且可能导致配准误差。
发明内容
在本公开文本的一方面是一种拼接分块图像(例如，包括从承载样品的载玻片导出的那些)的计算机实施方法，其包括：(a)导出每个扫描的分块图像的灰度分块图像；(b)执行局部配准以确定相邻灰度分块图像对之间的空间关系，所述空间关系是使用在多分辨率框架内计算的归一化互相关(NCC)得分确定的；以及(c)执行全局放置以相对于彼此定位所有扫描的分块图像，其中，所述全局放置是利用所有相邻灰度图像分块之间的确定的空间关系并且利用所述NCC得分作为权重通过加权最小二乘确定的。在一些实施方案中，所述方法还包括基于计算的图像分块放置将所有图像拼接在一起并且混合。在一些实施方案中，所述方法还包括执行感兴趣区域识别。
在一些实施方案中，通过以下操作来确定每对相邻灰度分块图像的所述空间关系：(i)计算第一低分辨率子采样图像和第二低分辨率子采样图像中的预期匹配区域之间的候选空间关系，所述第一低分辨率子采样图像和所述第二低分辨率子采样图像是从相邻灰度图像分块对的重叠区域导出的；(ii)在顺序更精细分辨率子采样图像中改善所述候选空间关系；以及(iii)选择在原始分辨率下在所述相邻灰度图像分块对的所述重叠区域中具有最高NCC得分的经过改善的候选空间关系作为所述确定的空间关系。
在一些实施方案中，通过确定所述第一低分辨率子采样图像和所述第二低分辨率子采样图像中的NCC域中的峰值的位置来导出所述第一低分辨率子采样图像与所述第二低分辨率子采样图像之间的所述候选空间关系。在一些实施方案中，保留候选空间关系，所述候选空间关系的峰值位置满足预定义NCC阈值。在一些实施方案中，所述预定义NCC阈值是最高NCC得分的预定义百分比(例如，在所述最高NCC得分的90％内)。在一些实施方案中，每个子采样图像是从相邻灰度图像分块对中的所述对的一个灰度图像导出的剪裁图像。在一些实施方案中，所述方法还包括计算所述相邻灰度分块图像对中的匹配区域之间的标准偏差的步骤。
在一些实施方案中，通过确定所述NCC域中的每个峰值的更新位置来改善所述候选空间关系，其中，每个峰值的所述位置的更新是在顺序更精细分辨率子采样图像对中执行的，每对顺序更精细分辨率子采样图像对应于所述相邻灰度图像分块对的所述重叠区域。在一些实施方案中，与紧接较低分辨率子采样图像相比，每对顺序更精细分辨率子采样图像包括下采样因子的预定减小，直到达到下采样因子1。在一些实施方案中，所述下采样因子的变化范围为2到4。在一些实施方案中，所述第一子采样图像和所述第二子采样图像具有用于提供第一分辨率的第一下采样因子，并且其中，第一对顺序更精细分辨率子采样图像的分辨率是所述第一分辨率的分辨率的两倍。
在一些实施方案中，使用所有子采样图像分辨率的积分图像计算所述NCC得分。在一些实施方案中，使用至少一个子采样图像分辨率的积分图像计算所述NCC得分。
在一些实施方案中，相邻灰度图像分块之间的所述空间关系是分块重叠和分块移位。在一些实施方案中，计算所有水平图像分块对和所有竖直图像分块对的分块移位值和分块重叠值。在一些实施方案中，所述方法还包括确定相邻灰度图像分块对之间的所述分块重叠值和所述分块移位值是否可靠(例如，所述重叠区域是否(i)不具有足够的匹配像素或(ii)不包括足够的高对比度区)。在一些实施方案中，所述确定所述分块重叠值和所述分块移位值是否可靠包括将从所述相邻灰度分块图像对中的匹配区域导出的标准偏差与标准偏差阈值进行比较，其中，如果所述标准偏差低于所述标准差阈值，则所述分块重叠值和所述分块移位值不可靠。在一些实施方案中并且在从承载样品的载玻片导出的匹配分块的上下文中，当图像之间存在一定重叠区域并且重叠区域并不完全是白色空间并具有某个非玻璃区域时，匹配是可靠的。使用标准偏差的某个阈值使识别出匹配区域在哪里是基于纯白色空间的并且匹配区域在哪里具有一些非白色空间区域成为可能。
在一些实施方案中，如果确定所述分块重叠值和所述分块移位值不可靠，则(i)分别将平均重叠值和平均移位值分配为分块重叠值和分块移位值，或者(ii)将较低置信度得分分配给那些不可靠的相邻灰度图像分块。在一些实施方案中，平均重叠值和平均移位值分别被分配为左右图像分块的分块重叠值和分块移位值。在一些实施方案中，所述较低置信度得分被分配给不可靠的顶部底部图像分块。在一些实施方案中，至少在预期重叠区域内，不可靠图像分块对包括基本上是白色的空间。
在一些实施方案中，所述空间关系包括分块重叠和分块移位，其中，对于左右图像分块对，针对所述左右图像分块对的左分块与所述左右图像对的右分块之间沿着x轴的重叠导出分块重叠；并且其中，针对所述左右图像分块对之间沿着y轴的移位导出分块移位。在一些实施方案中，如果所述分块移位具有正值，则所述右分块应当向下移动，使得所述右分块与所述右分块对准。
在一些实施方案中，所述空间关系包括分块重叠和分块移位，其中，对于顶部底部图像分块对，针对所述顶部底部图像分块对的顶部图像与所述顶部底部图像分块对的底部图像之间沿着y轴的重叠导出分块重叠；并且其中，针对所述顶部底部图像分块对之间沿着x轴的移位导出分块移位。在一些实施方案中，如果所述分块移位具有正值，则顶部分块应当向右移位，使得所述顶部分与所述底部分块对准。
在本公开文本的另一方面是一种拼接图像分块的计算机实施方法，其包括：(a)运行局部配准模块以识别相邻分块图像的重叠区域中的匹配像素，其中，所述局部配准表达为在所述相邻分块图像的重叠区域中产生最佳归一化互相关得分的空间关系，所述归一化互相关(NCC)得分是在多分辨率框架内计算的；以及(b)运行全局放置模块以相对于彼此定位所有图像分块。
本公开文本的另一方面是一种确定至少两个相邻图像之间的空间关系的计算机实施方法，其包括：(i)计算第一低分辨率子采样图像和第二低分辨率子采样图像中的预期匹配区域之间的候选空间关系，所述第一低分辨率子采样图像和所述第二低分辨率子采样图像是从NCC域中的相邻图像分块对的重叠区域导出的；(ii)在顺序更精细分辨率子采样图像(也在所述NCC域中)中改善所述候选空间关系；以及(iii)选择在原始分辨率下在所述相邻灰度图像分块对的所述重叠区域中具有最高NCC得分的经过改善的候选空间关系作为确定的空间关系。在一些实施方案中，所述方法还包括执行全局放置步骤以将所有图像放置在同一个网格上，所述全局放置步骤在加权最小二乘求解器中利用了所述确定的空间关系和导出的NCC得分。
在本公开文本的另一方面是一种将图像分块相对于彼此放置在网格上使得在拼接后产生基本上无伪影的镶嵌的计算机实施方法，所述方法包括：导出所有图像分块之间的空间关系；以及基于导出的空间关系和导出的NCC得分使用加权最小二乘解来放置图像，所述NCC得分是所述加权最小二乘解的权重。在一些实施方案中，所述导出的空间关系是使用本文所描述的局部配准模块计算的。在其他实施方案中，连同相应的NCC得分，已经预先计算并且供应所述导出的空间关系为分块重叠数据和分块移位数据。
在本公开文本的另一方面是一种计算装置，其被配置成拼接分块图像，所述计算装置包括一个或多个处理器和至少一个存储器，所述至少一个存储器存储非暂态计算机可读指令以由所述一个或多个处理器执行从而使所述一个或多个处理器执行用于以下的指令：(a)导出每个扫描的分块图像的灰度分块图像；(b)执行局部配准以确定相邻图像分块图像对之间的空间关系，所述空间关系是使用在多分辨率框架内计算的归一化互相关得分确定的；以及(c)执行全局放置以相对于彼此定位所有扫描的分块图像，其中，所述全局放置是利用所有相邻灰度图像分块之间的确定的空间关系并且利用所述NCC得分作为权重通过加权最小二乘确定的。
在一些实施方案中，通过以下操作来确定每对相邻灰度分块图像的所述空间关系：(i)计算第一低分辨率子采样图像和第二低分辨率子采样图像中的预期匹配区域之间的候选空间关系，所述第一低分辨率子采样图像和所述第二低分辨率子采样图像是从相邻灰度图像分块对的重叠区域导出的；(ii)在顺序更精细分辨率子采样图像中改善所述候选空间关系；以及(iii)选择在原始分辨率下在所述相邻灰度图像分块对的所述重叠区域中具有最高NCC得分的经过改善的候选空间关系作为所述确定的空间关系。在一些实施方案中，通过确定所述第一低分辨率子采样图像和所述第二低分辨率子采样图像中的NCC域中的峰值的位置来导出所述第一低分辨率子采样图像与所述第二低分辨率子采样图像之间的所述候选空间关系。
在一些实施方案中，通过确定所述NCC域中的每个峰值的更新位置来改善所述候选空间关系，其中，每个峰值的所述位置的更新是在顺序更精细分辨率子采样图像对中执行的，每对顺序更精细分辨率子采样图像对应于所述相邻灰度图像分块对的所述重叠区域。在一些实施方案中，与紧接较低分辨率子采样图像相比，每对顺序更精细分辨率子采样图像包括下采样因子的预定减小，直到达到下采样因子1。
在一些实施方案中，使用所有子采样图像分辨率的积分图像计算所述NCC得分。在一些实施方案中，使用至少一个子采样图像分辨率的积分图像计算所述NCC得分。
在一些实施方案中，相邻灰度图像分块之间的所述空间关系是分块重叠和分块移位。在一些实施方案中，计算所有水平图像分块对和所有竖直图像分块对的分块移位值和分块重叠值。在一些实施方案中，所述装置还包括提供用于确定相邻灰度图像分块对之间的所述分块重叠值和所述分块移位值是否可靠的指令。在一些实施方案中，确定所述分块重叠值和所述分块移位值是否可靠包括将从所述相邻灰度分块图像对中的匹配区域导出的标准偏差与标准偏差阈值进行比较，其中，如果所述标准偏差低于所述标准偏差阈值，则所述分块重叠值和所述分块移位值不可靠。在一些实施方案中，如果确定所述分块重叠值和所述分块移位值不可靠，则(i)分别将平均重叠值和平均移位值分配为分块重叠值和分块移位值，或者(ii)将较低置信度得分分配给那些不可靠的相邻灰度图像分块。
在本公开文本的另一方面是一种体现计算机程序代码的计算机可用介质，所述计算机程序代码包括被配置成以下的计算机可执行指令：(a)导出每个扫描的分块图像的灰度分块图像；(b)执行局部配准以确定相邻灰度分块图像对之间的空间关系，所述空间关系是使用在多分辨率框架内计算的归一化互相关得分确定的；以及(c)执行全局放置以相对于彼此定位所有扫描的分块图像，其中，所述全局放置是利用所有相邻灰度图像分块之间的确定的空间关系并且利用所述NCC得分作为权重通过加权最小二乘确定的。在一些实施方案中，通过以下操作来确定每对相邻灰度分块图像的所述空间关系：(i)计算第一低分辨率子采样图像和第二低分辨率子采样图像中的预期匹配区域之间的候选空间关系，所述第一低分辨率子采样图像和所述第二低分辨率子采样图像是从相邻灰度图像分块对的重叠区域导出的；(ii)在顺序更精细分辨率子采样图像中改善所述候选空间关系；以及(iii)选择在原始分辨率下在所述相邻灰度图像分块对的所述重叠区域中具有最高NCC得分的经过改善的候选空间关系作为所述确定的空间关系。
在本公开文本的另一方面是一种非暂态计算机可读存储介质，其包括用于以下的可执行指令：(a)导出每个扫描的分块图像的灰度分块图像；(b)执行局部配准以确定相邻灰度分块图像对之间的空间关系，所述空间关系是使用在多分辨率框架内计算的归一化互相关得分确定的；以及(c)执行全局放置以相对于彼此定位所有扫描的分块图像，其中，所述全局放置是利用所有相邻灰度图像分块之间的确定的空间关系并且利用所述NCC得分作为权重通过加权最小二乘确定的。在一些实施方案中，通过以下操作来确定每对相邻灰度分块图像的所述空间关系：(i)计算第一低分辨率子采样图像和第二低分辨率子采样图像中的预期匹配区域之间的候选空间关系，所述第一低分辨率子采样图像和所述第二低分辨率子采样图像是从相邻灰度图像分块对的重叠区域导出的；(ii)在顺序更精细分辨率子采样图像中改善所述候选空间关系；以及(iii)选择在原始分辨率下在所述相邻灰度图像分块对的所述重叠区域中具有最高NCC得分的经过改善的候选空间关系作为所述确定的空间关系。
在本公开文本的另一方面是一种图像配准和放置方法，其利用相邻图像的预期重叠区域中的所有像素。申请人相信，本文所公开的“全搜索”方法允许检测相邻图像的类似区域之间的细微差异，使用“基于特征的”方法可能以其他方式错过所述细微差异。因此，申请人认为，目前公开的方法提供了一种配准和放置图像的优良方法，同时所有人都在低计算成本下这样做。
附图说明
参考以下附图描述了非限制性和非穷举性实施方案。除非另有说明，否则相同的附图标记贯穿各个视图指代相同的部分或动作。
图1展示了根据一些实施方案的用于对组织样本的数字图像进行处理以供分析的计算机***。
图2提供了根据一些实施方案的概述在对数字图像进行处理以供分析时使用的模块的流程图。
图3阐述了根据一些实施方案的概述将一系列图像分块拼接在一起的方法的流程图。
图4阐述了根据一些实施方案的概述将一系列图像分块拼接在一起的方法的流程图。
图5A展示了根据一些实施方案的图像分块的网格之间的重叠。
图5B展示了根据一些实施方案的M x N系列图像分块之间的重叠并且还展示了根据本文的一个实施方案的扫描方向。
图6展示了根据一些实施方案的示出顶部NCC峰值的绘图。
图7A和图7B展现了根据一些实施方案的积分图像的概念。
图8阐述了根据一些实施方案的概述在多分辨率框架内计算NCC得分的方法的流程图。
图9A和图9B展示了根据一些实施方案的左右和顶部底部图像分块对之间的分块重叠和分块移位。
具体实施方式
为了大致理解本公开文本的特征，参考了附图。在附图中，始终使用相同的附图标记来标识相同的元件。虽然下文中将结合具体装置及其方法来描述本公开文本，但是应理解，并非旨在将本公开文本限于这种具体你装置和方法。相反，旨在覆盖如可以包括在如由所附权利要求定义的本公开文本的精神和范围内的所有替代性方案、修改和等同物。
如本文所使用的，除非上下文另外清楚地指示，否则单数术语“一个/种(a/an)”和“所述(the)”包括复数指示物。类似地，除非上下文另外清楚地指示，否则词语“或(or)”旨在包括“和(and)”，。术语“包括(includes)”是包含性地定义的，使得“包括A或B”意指包括A、B或A和B。
术语“包括(comprising)”、“包括(including)”、“具有(having)”等可互换地使用并且具有相同的含义。类似地，术语“包括(comprises)”、“包括(includies)”、“具有(has)”等可互换地使用并且具有相同的含义。具体地，每个术语的定义与美国专利法对“包括(comprising)”的共同定义一致，并且因此被解释为开放术语，意指“至少以下”，并且也解释为不排除另外的特征、限制、方面等。因此，例如，“具有部件a、b和c的装置”意味着装置至少包括部件a、b和c。类似地，短语：“涉及步骤a、b和c的方法”意味着方法至少包括步骤a、b和c。此外，虽然本文中可以按特定顺序概述步骤和过程，但是技术人员将认识到，排序步骤和过程可以变化。
如本文所使用的，在多个图像的上下文中使用的术语“组合”或“拼接”是指将具有某个有限重叠区域的两个图像基本上无缝地连接。词语“融合(fuse)”或“融合(fusing)”同义地用于指代拼接过程。在一些实施方案中，一次连接两个图像，但是可以通过重复过程来连接更多个图像。
如本文所使用的，术语“图像配准”通常是指将一个或多个图像变换成参考图像的坐标系的过程。
如本文所使用的，术语“像素”是指可以将图像分成的最小区段。输入图像的接收像素可以与根据强度、明度、亮度或其某种数学变换定义的值相关联。
如本文所使用的，术语“模板”是指在图像内定义的区(区域)。在图像拼接的上下文中，模板通常包括在要拼接的两个图像的重叠区内的区域的一部分或全部。作为图像拼接方法的一部分，从第一窗口中选择的模板“模板窗口”通过在第二窗口“目标窗口”中搜索与模板最类似的图像而与目标窗口相匹配。模板窗口和目标窗口通常包括共用区或“重叠区域”，其中，第一图像和第二图像彼此重叠。
如本文所使用的，术语“分块”是指对应于整个图像的一部分或整个载玻片的单个图像。在一些实施方案中，“分块”是指整个载玻片扫描的区域或具有(x,y)像素尺寸(例如，300个像素乘300个像素)的感兴趣区。例如，考虑将整个图像分成M列分块和N行分块，其中，M x N个镶嵌内的每个分块包括整个图像的一部分，即位置M1,N1处的分块包括第一部分，而位置M3,N4处的分块包括图像的第二部分，第一部分和第二部分是不同的。在一些实施方案中，分块可以各自具有相同的尺寸(像素大小乘像素大小)。
如本文所使用的，术语“白色空间”是指扫描的显微镜载玻片的区域，在所述区域中，没有组织只有玻璃。在这些位置，扫描图像将在与玻璃相对应的区域呈现“白色”。实际上，玻璃区域的强度值将对应于扫描的白点设置。例如，如果将白点设定为250，则玻璃区域的像素强度值将为250。
概览
本公开文本涉及一种基于相邻图像分块对之间的导出的空间关系将图像拼接在一起的方法，所述导出的空间关系例如分块在x方向和y方向两者上的重叠和移位(参见图9A和图9B)。在实现局部配准解时，本公开文本对相邻图像分块对的预期重叠区域中的所有像素进行比较。为了确保可以在不损害运行时间的情况下计算空间关系，本文所公开的方法采用了多分辨率框架，其中，在相邻图像分块对之间使用的成本函数是所述对的两个图像之间的预期共用区域的灰度表示之间的归一化互相关得分。另外，本文所公开的方法还利用了积分图像，使得可以预先计算适合的矩，从而使得可以在减少的时间内找到归一化互相关峰值。实际上，申请人相信，可以通过使用这两个图像的第一矩和第二矩的预先计算值来“快速”计算相邻分块图像之间的所有预期共用区域的归一化互相关得分。最后，一旦导出空间关系，空间关系和归一化互相关得分(即置信度值)就可以一起用于全局加权最小二乘求解器中，使得可以确定所有分块的最佳位置并将其放置在同一个网格上，从而实现减少拼接伪影误差，尤其是在不包括太多数据的区域中。
虽然本文所公开的一些示例性实施方案参考了将从显微镜载玻片扫描仪获取的图像拼接在一起，但是本领域技术人员将了解，本文所描述的程序可以更一般地适配并且因此可以应用于将来自任何来源(例如，任何图像捕获装置，包括数字相机)的图像拼接在一起。因此，虽然具体实施方案可以公开计算在从承载样品的显微镜载玻片捕获的图像分块的上下文中的某些值(例如，图像分块重叠值和移位值、标准偏差值、归一化互相关得分)，但是本文所描述的程序可以用于从任何系列的图像分块计算这些值，而不管来源是什么。此外，虽然一些具体例子可以指根据具体过程(例如，获取第一列往下向右移位的图像分块、获取第二列往上向右移动的图像分块等)扫描载玻片的特定显微镜载玻片扫描仪，但是这些具体例子仅用于说明目的并且不旨在限制本公开文本(例如，可以采用以相反的方向或以完全不同的扫描方向或模式扫描的扫描仪，并且技术人员将能够将本文所公开的技术应用于这些特定类型的扫描仪或其操作模式)。
数字病理学***
图1中展示了用于分析样品的基于计算机的样品分析器10。基于计算机的样品分析器10可以包括成像设备12(例如，具有用于扫描承载样品的显微镜载玻片的装置的设备)和计算机14，由此成像设备12和计算机可以通信地耦合在一起(例如，直接地或经由网络20间接地)。技术人员将了解，可以利用其它计算机装置或***，并且本文所描述的计算机***可以通信地耦合到另外的部件，例如样品分析器、显微镜或成像***、自动化载玻片制备装置等。本文还描述了这些另外的部件中的一些部件和可以利用的各种计算机。
成像设备12(或包括存储器中存储的预先扫描的图像的其他图像来源)通常可以包括但不限于一个或多个图像捕获装置。图像捕获装置可以包括但不限于相机(例如，模拟相机、数字相机等)、光学器件(例如，一个或多个透镜、传感器聚焦透镜组、显微镜物镜等)、成像传感器(例如，电荷耦合装置(CCD)、互补金属氧化物半导体(CMOS)图像传感器等)、胶片等。在数字实施方案中，图像捕获装置可以包括协作以证明即时聚焦的多个透镜。图像传感器(例如，CCD传感器)可以捕获样品的数字图像。在一些实施方案中，成像设备12是明场成像***、多光谱成像(MSI)***或荧光显微镜***。数字化组织数据可以例如由亚利桑那州图森的VENTANA MEDICAL SYSTEMS公司的iSCAN COREOTM或者其他适合的成像装置生成。本文还描述了另外的成像装置和***。
参考图1和图2，计算机***14可以包括台式计算机、膝上型计算机、平板计算机等、数字电子电路***、固件、硬件、存储器210、计算机存储介质210、计算机程序(例如，其中，程序存储在存储器或存储介质内)、处理器220(包括编程处理器)等。图1中展示的计算***14可以包括具有显示装置16和外壳18的计算机。计算机***可以以二进制形式存储数字图像(本地地存储在服务器或其他网络连接装置上)。还可以将数字图像分成像素矩阵。像素可以包括由位深定义的具有一个或多个位的数字值。
同样，参考图1，在一些实施方案中，网络20将成像设备12和计算机***14互连。网络20可以包括但不限于一个或多个网关、路由器、电桥、其组合等。网络20可以包括用户可访问的并且可以用于发送和接收计算机***14可以利用的信息的一个或多个服务器和一个或多个网站。服务器可以包括但不限于用于存储信息(例如，数字图像、算法、染色协议、用于比较评估的截断值等)的一个或多个关联数据库。网络20可以包括但不限于使用传输控制协议(TCP)、用户数据报协议(UDP)、互联网协议(IP)和其他数据协议的数据网络。在一些实施方案中，计算机装置或***还包括显示输出或向用户、运营商或下游仪器或过程提供数据/输出的其他装置。
图2提供了对目前公开的工作流内利用的各个模块的概览。在一些实施方案中，计算机装置14或计算机实施方法包括一个或多个处理器220和至少一个存储器210，所述至少一个存储器210存储非暂态计算机可读指令以由所述一个或多个处理器执行从而使所述一个或多个处理器执行一个或多个模块(例如，模块211至214)中的指令。可替代地，可以将指令存储在非暂态计算机可读介质(210)或计算机可用介质中。在一些实施方案中，非暂态计算机可读介质可以包括所有计算机可读介质，暂态传播信号除外。
参考图3，本公开文本提供了包括以下步骤的计算机实施方法：(a)运行图像获取和/或图像处理模块(步骤250)；运行局部配准模块以确定所获取图像之间的空间关系(步骤251)；以及运行全局放置模块以使用所确定空间关系相对于彼此放置所获取图像(步骤252)。在一些实施方案中，计算机实施方法还包括运行图像拼接和/或图像混合模块以使用放置数据无缝地组合各个图像的步骤(步骤253)。当然，技术人员将认识到，可以基于所获取的图像的类型、所使用的图像扫描仪的类型、所使用的操作模式和/或正在研究的样品的类型来适配或改变所描述的在每个模块内使用任何指令、算法和筛选器。技术人员还将了解到，可以向工作流中并入另外的模块。例如，可以使用感兴趣区检测模块来确定显微镜载玻片上存在的相关组织区域。
图4阐述了提供对目前公开的工作流的方法的总体概览的流程图。所述方法通常包括：接收多个扫描图像，例如与扫描显微镜载玻片有关的图像分块(步骤300)；可选地将所述多个扫描图像分块转换为灰度以提供多个灰度图像分块(步骤310)；确定所有相邻灰度图像分块对之间的空间关系(步骤320)；基于任何两个相邻灰度图像分块对之间的匹配可靠度来调整确定的空间关系(步骤330)；使用加权最小二乘法相对于彼此放置扫描的分块图像，由此利用(本文所描述的)相关得分作为权重(步骤340)。
图像获取和/或处理模块
作为初始步骤并且参考图3，计算机***运行(步骤250)图像捕获模块201(例如，用于捕获图像)和/或图像处理模块211(例如，用于对图像进行预处理)。一旦已获取和/或处理，就将所述多个图像提供到局部配准模块212，使得可以导出相邻图像分块对之间的空间关系(步骤320)。
如本文所指出的，在一些实施方案中，从显微镜或能够捕获承载样品的显微镜载玻片的图像数据的其他仪器获取图像。在一些实施方案中，使用2D扫描仪(如能够扫描图像分块的扫描仪)获取图像。在一些实施方案中，采用通常允许以特定焦距或放大率捕获连续的“快照”的扫描仪。
显微镜载玻片图像分块
在一些实施方案中，多个接收的图像是一系列图像分块，所述系列图像分块对应于承载样品的显微镜载玻片上的至少感兴趣区域的不同部分。在一些实施方案中，每个图像分块对之间(例如水平图像分块对之间或竖直图像分块对之间)存在重叠。期望在图像之间提供至少一定重叠，使得可以更好地促进图像拼接并且使得不错过承载样品的显微镜载玻片的区域(参见图5A)。成功拼接所需的或推荐的重叠量因应用而异。如本文将描述的，对于本文公开的方法，在任何重叠区域中应该存在可用的足够的匹配像素，以便(如在相邻图像分块对之间的重叠区域内选择的模板中)比较匹配区域和/或像素的各种数学属性。
通常，为了扫描具有“分块图像”架构的整个显微镜载玻片(参见图5A)，载玻片在X和Y中平移(聚焦轴在Z中)，从而在获取图像的同时在每个帧位置处暂停。
在不限于作为本文所描述的工作流的输入而提供的图像分块特定操作模式或类型的情况下，在一些实施方案中，逐个分块地进行对承载样品的显微镜载玻片的扫描并且逐列地进行扫描，每列反转存取分块的方向。以此方式，参考图5B的4x 4(M x N)分块，对于第一列，在向下方向上获取分块。图5B展示了在第一列中的分块中，顶部底部帧对之间存在竖直重叠和水平移位。本领域技术人员将了解到，竖直重叠确保在扫描期间不会错过任何区域。本领域技术人员还将了解到，并非第一列中的所有分块都是完美对准的，并且第一列中的分块之间沿x轴相对于自身存在移位(例如，在顶部底部分块对之间的x-y移位(例如，这个移位可以是约20至约30微米，但是这个量可以变化))。在不希望受任何特定理论束缚的情况下，据信这可能是由各种因素引起的，包括机械仪器的运动的一般性质和/或马达的振动。
一旦捕获了第一列(4个分块)，马达则向上移动载玻片，使得可以获取第二列内的分块。图5B再次展示了顶部底部分块对之间存在重叠。同一水平行但相邻列中的那些分块之间也可能存在左右重叠。在不希望受任何特定理论束缚的情况下，据信由于控制一些扫描仪的马达的恒定速度的变化，分块之间沿着y轴的移位可以存在于同一行中并且在相邻列之间。为了确保不错过任何区域，在属于相邻列中的同一行的分块之间有意地获取至少一定重叠(水平地)。在一些实施方案中，属于同一行但在相邻列中的分块之间的y移位为约500微米至约700微米。在一些实施方案中，当在扫描单列期间考虑顶部底部分块对时，这个y移位比x移位更显著。
在一些实施方案中，首先通过在计算机***上运行感兴趣区(AOI)模块来找到整个载玻片扫描的组织样样品的AOI，如本领域技术人员已知的。在一些实施方案中，AOI检测模块返回概率图，其中，每个像素表示其与玻璃相比属于组织的可能性。确定AOI的另外的方法描述于共同未决的申请WO/2016/120463中，所述共同未决的申请的公开内容在此通过引用以其全文并入本文中。
到灰度的转换
在一些实施方案中，将所述多个接收的图像转换为灰度以提供多个灰度图像分块(步骤310)。在一些实施方案中，方法为从RGB彩色图像中提取灰度图像，并且这样做的技术对于本领域普通技术人员而言是已知的。在一些实施方案中，利用照度(亮度)通道(而非色度(颜色)通道，因为当比较两个相邻图像区域时，将会预期，照度通道之间的对应性将会大于颜色通道之间的对应性)。
在替代性实施方案中，代替灰度图像，可以利用类似的通道，如LAB颜色空间中的照度通道或YCbCr空间中的Y通道。
局部配准模块
局部配准模块212通常用于估计相邻图像分块对之间(即所有水平和竖直图像分块对之间)的空间关系、位移或几何形成(步骤320)。在一些实施方案中，局部配准模块212用于找到两个相邻图像分块之间的最佳匹配区域，其中，第一方向上存在重叠并且垂直于第一方向的第二方向上存在移位。在一些实施方案中，局部配准模块212输出相邻图像分块对之间的空间关系(例如，分块重叠值和分块移位值)、相邻图像分块对之间的最佳可能匹配的归一化互相关得分、以及针对相邻图像分块对之间的匹配区域计算的标准偏差得分。
在一些实施方案中，局部配准模块212利用相邻图像分块对的第一图像的预期重叠区域中的所有像素并且将其与同一相邻图像分块对的第二图像的对应预期重叠区域中的所有像素相匹配。申请人认为“全搜索”可以帮助检测非常类似的区域之间(即相邻图像分块对的预期重叠区域之间)的细微差异。
在朴素的实施方式中，可以考虑相邻图像中的第一图像与第二图像之间的所有可能的重叠区域。简单的匹配方法可以为考虑第一图像和第二图像两者的灰度图像表示并且计算相同尺寸的两个灰度图像之间每个像素的平均绝对强度差。然而，这种方法常常具有高计算成本。因此，申请人已经惊讶地发现，通过使用多分辨率框架中的归一化互相关(NCC)计算空间关系，可以在仍考虑第一相邻图像分块与第二相邻图像分块之间的重叠区域中的所有可能匹配像素的同时降低计算成本，如本文还描述的。另外，申请人已经发现，通过利用积分图像，还可以降低计算成本，其实施方式也描述于本文中。
在一些实施方案中，局部配准模块实现了确定水平分块对之间的重叠和移位，如在图9A所示，其中，重叠＝dx(沿x轴)并且移位＝dy(沿y轴)。在一些实施方案中，局部配准模块实现了确定竖直分块对之间的重叠和移位，其中，重叠＝dy(沿y轴)并且移位＝dx(沿x轴)。因此，局部配准模块的任务是计算所有M(N-1)个水平图像分块对的(dx,dy)和所有N(M-1)个竖直图像分块对的(dx,dy)。本文所描述的NCC可以用于计算所有(dx,dy)关系。本文的实施例1和实施例2展示了确定左右图像分块对之间和顶部底部图像分块对之间的空间关系的另外的方法。
用于计算归一化互相关的多分辨率框架
在一些实施方案中，归一化互相关(NCC)用于比较相邻图像分块的重叠区域。归一化互相关是在需要匹配图像的各部分并且因此在两个对象(这里为与相邻灰度图像分块对的重叠区域相对应的图像中的匹配像素)之间建立相似性的许多应用中广泛使用的技术。
更具体地，归一化互相关是用于查找图像内的图案或对象的关联的过程。这通常在每个步骤中通过减去均值并除以标准偏差来完成，使得结果具有零均值和单位方差。为了在NCC中找到峰值，使一个图像中的块在指定范围内移位，并且针对每个移位确定NCC。也就是说，模板t(x,y)与子图像f(x,y)的互相关为
其中，n是t(x,y)和f(x,y)中的像素数，是f的平均值并且σf是f的标准偏差。在功能分析术语中，这可以被认为是两个归一化向量的点积。也就是说，如果
F(x,y)＝f(x,y)-f并且T(x,y)＝t(x,y)-t，
则上述和等于
其中，<·,·>是内积并且||·||是L2范数。因此，如果f和t是实矩阵，则其归一化互相关等于单位向量F与T之间的角度的余弦，从而当且仅当F等于T乘以正标量时为1。
图6展示了由归一化互相关产生的曲面绘图的透视图。技术人员将了解到，互相关矩阵的峰值600出现在子图像最佳相关的地方。
可以应用多分辨率方法来提高局部配准的鲁棒性和效率(步骤210)。实际上并且参考图8，局部配准程序可以使用低分辨率特征作为“路线估计”以用于定位相邻图像分块的预期重叠区域的匹配区域(基于NCC得分)(步骤440和441)，并且然后使用更高分辨率特征来“精细调谐”或“改善”路线估计(步骤442和443)。例如，假设我们以因子8对第一相邻分块图像和第二相邻分块图像进行下采样(步骤440)。然后，我们考虑具有预期最佳匹配图像区域的模板图像(基于在下采样因子8下获得的(x,y)移位)(步骤441)，并且然后在下采样因子4下考虑这两个区域(步骤442)。接下来，我们考虑具有预期最佳匹配图像区域的模板图像(基于在下采样因子4下获得的(x,y)移位)，并且随后在下采样因子2下考虑这两个区域(步骤443)。重复这个过程，直到我们最终得到以全分辨率获得的(x,y)移位，即第一图像和第二图像的原始分辨率(步骤444)。适合的多分辨率方法还由M.Unser,A.Aldroubi和M.Eden,“The L2-polynomial spline pyramid”,IEEE Trans.PatternAnal.Mach.Intell.15,364-379 1993进行描述，所述文献的公开内容在此通过引入以其全文并入。
在一些实施方案中，可以首先使用低分辨率子采样图像来执行局部配准，使得可以确定低分辨率子采样图像内的所有峰值的NCC得分(步骤440)。在一些实施方案中，在NCC域内考虑第一低分辨率子采样图像和第二低分辨率子采样图像内的所有峰值的位置(步骤441)。技术人员将了解到，在低分辨率子采样图像内，无法计算精确的峰值位置，并且因此，当在多分辨率框架内进行NCC得分的计算时，保留并改善多个位置(步骤441、442和443)。这里，通过预定的下采样因子从原始分辨率对与相邻灰度图像分块对的重叠区域相对应的第一低分辨率子采样图像和第二低分辨率子采样图像进行下采样。
技术人员将了解到，可以以任何下采样因子从原始分辨率对低分辨率子采样图像进行下采样。在一些实施方案中，以至少为8的因子对低分辨率子采样图像进行下采样。在其他实施方案中，以至少为16的因子对低分辨率子采样图像进行下采样。在又其他的实施方案中，以至少为32的因子对低分辨率子采样图像进行下采样。在另外的实施方案中，以范围在6与48之间的因子对低分辨率子采样图像进行下采样。
在一些实施方案中，仅保留满足某些预定阈值的峰值的位置以进行进一步评估，即保留以进行位置改善。在一些实施方案中，预定阈值可以是预定NCC得分阈值。在其他实施方案中，考虑到所有返回的图像得分，预定阈值可以是顶部NCC得分的预定百分比。例如，可以仅保留峰值的位置，其中，那些峰值的NCC得分在最高NCC得分的10％内。
然后，在下一个更高的分辨率下考虑峰值的位置(如满足预定阈值的那些位置)，使得可以以所述分辨率改善峰值的位置，例如，可以通过x,y空间中的+/-1像素来改善峰值的位置。例如，如果以因子8对第一低分辨率子采样图像和第二低分辨率子采样图像进行下采样，则与原始图像相比，可以以因子4对下一个更高分辨率的子采样图像进行下采样(步骤442)。然后，以下一个更高的分辨率顺序地传播这个过程，例如，以因子2进行下采样，直到在下采样因子1下考虑，即在原始分辨率下考虑NCC得分(步骤443和444)。
由在下采样因子1下产生最大NCC得分的峰值给出最终峰值位置(步骤444)。在这个阶段，记录重叠区域之间的标准偏差。假设我们有从左到右的分块对，其中，左图像中最右边50列和右图像中最左边50列是重叠的。然后我们计算左图中最右边50列和右图中最左边50列的标准偏差。这两个量中的最小值可以被视为这2个窗口的标准偏差。
经由第一例子，我们假设给定分辨率下的匹配(例如，以因子8进行下采样)产生多个峰值，并且我们认为所有峰值具有是顶峰值的至少90％的得分(考虑到归一化互相关得分)。假设使用八分之一缩放来定位10个峰值。然后使用四分之一缩放来考虑所有10个峰值的NCC得分(我们考虑每个峰值周围的3x 3窗口)。然后使用一半缩放(再次考虑每个峰值周围的3x 3窗口)并且再次使用比例因子1来考虑所有10个峰值的NCC得分。对于每个匹配区域，记录相关得分，并且还记录这两个匹配区域之间的最小标准偏差。由最高相关峰值给出最终配准解，同时考虑原始分辨率下的NCC得分。标准偏差得分在显示匹配何时不可靠时是有用的，如本文中将更详细地描述的。
经由另一个例子，获得与相邻灰度图像分块对的重叠区域相对应的第一低分辨率子采样图像和第二低分辨率子采样图像，并且以下采样因子8对第一低分辨率子采样图像和第二低分辨率子采样图像进行下采样。假设在这个分辨率下在(21,30)＝(dx,dy)时找到匹配峰值的位置。出于这个例子的目的，虽然我们考虑了每组子采样图像中的仅单个峰值，但是技术人员将了解到，可以在每组子采样图像内找到多个峰值，如在上面的例子中指出的。
然后可以使用一系列顺序更高分辨率子采样图像改善在(21,30)处找到的峰值的位置。例如，考虑到在与原始分辨率图像相比下一个更高分辨率处(即下采样因子4)在(21,30)处的峰值，在考虑了(21*2,30*2)点周围的3x 3窗口中的NCC得分之后，峰值可以位于((21*2)+/-1),(30*2)+/-1))处。出于这个例子的目的，我们假设在考虑了NCC得分之后，峰值位于(41,61)处。
然后在下一个更高分辨率子采样图像中考虑(41,61)处的峰值，即与原始分辨率图像相比，以下采样因子2下采样的子采样图像。在考虑了(41*2,61*2)周围的3x 3窗口中的NCC得分之后，这个峰值则可以位于((41*2)+/-1),(61*2)+/-1))处。出于这个例子的目的，我们假设在考虑了NCC得分之后，峰值位于(83,121)处。
然后在下一个更高分辨率子采样图像中考虑(83,121)处的峰值，即与原始分辨率图像相比，以下采样因子1下采样的子采样图像。在考虑了(83*2,121*2)周围的3x 3窗口中的NCC得分之后，这个峰值则可以位于((83*2)+/-1),(121*2)+/-1))处。出于这个例子的目的，我们假设在考虑了NCC得分之后，峰值位于(167,243)处。(167,243)处的这个位置可以保留空间位置(再次假设这个位置本会返回所考虑的所有位置的最高NCC得分)。
积分图像
在一些实施方案中，使用积分图像计算NCC得分。在一些实施方案中，为了降低计算复杂度，可以使用积分图像计算两个相邻图像的重叠区域之间的NCC得分，使得至少部分地降低任何计算成本或复杂度。
积分图像，也称为“求和面积表”，是用于快速且有效地生成网格的矩形子集中的值之和的数据结构和算法。通常，积分图像用于计算由用作原点的左上点以及右下点形成的矩形的面积。更具体地，是图像的中间表示并且包含图像的灰度像素值之和。因此，求和面积表中的任何点(x,y)处的值是(x,y)上方和左侧(包括(x,y))的所有像素之和。参考图7A中，(x,y)的像素值指示与虚线块区相对应的像素的总和。因此，Iint g(0,0)指示坐标(0,0)处的像素值，并且Iint g(宽度-1,长度-1)指示给定图像的所有像素的总和。
通过这种积分图像，可以通过使用与区域的四个顶点相对应的像素值的求和和相减来获得所需区域内的像素的总和。例如，可以经由下面定义的公式通过使用四个顶点(x1,y1)、(x2,y2)、(x3,y3)和(x4,y4)的像素值来获得与图7B中的虚线块区相对应的像素的总和。
Iint g(x4,y4)+Iint g(x1,y1)-Iint g(x2,y2)-Iint g(x3,y3)
假设我们有两个图像窗口X和Y并且我们希望计算其之间的归一化互相关NCC(X,Y)。
我们可以证明NCC(X,Y)＝{Dot(X,Y)–sum(X).sum(Y)/N}/{sqrt(sum(X2)/N–(sum(X)/N)2).sqrt(sum(Y2)/N–(sum(Y)/N)2)}，
其中，Dot(X,Y)是这两个图像矩阵X与Y之间的内积，并且X2和Y2是对X和Y中的每个像素求平方后获得的图像。
因此，如果第1时刻和第2时刻可用于所有可能的重叠图像位置，则我们可以计算积分图像(使用图像和平方图像)，使得可以高效地计算任何子窗口中的均值和标准偏差。
假设我们有100x 100的图像(X)。假设我们需要计算从(11,11)到(90,90)的图像子窗口X'内的图像和平方图像之和。现在，代替对X”中的所有像素求和，我们计算积分图像I1，其中：
I1(x,y)＝sum{1<＝i<＝x,1<＝j<＝y}X(i,j)
一旦计算出基于第一时刻的积分图像，我们使用以下公式来计算子窗口X内的和：
X(i,j){x1<＝i<＝x2,y1<＝j<＝y2}的和＝I1(x2,y2)-I1(x1-1,y1-1)。
类似地，为了计算图像子窗口内的图像像素的平方之和，我们计算积分窗口I2，其中：
I2(x,y)＝sum{1<＝i<＝x,1<＝j<＝y}X2(i,j)(其中，X2(i,j)＝X(i,j)*X(i,j))。
一旦计算出基于第2矩的积分图像，我们使用以下公式来计算的子窗口内的和X2：
X2(i,j){x1<＝i<＝x2,y1<＝j<＝y2}的和＝I2(x2,y2)-I2(x1-1,y1-1)。
因此，一旦计算出积分图像I1和I2(针对在考虑的这两个图像)，计算以获得NCC(X,Y)所需的唯一量为：
Dot(X,Y)＝sum{1<＝i<＝M1,1<＝j<＝N1}X(i,j)*Y(i,j)，其中，X和Y均为M1 x N1个图像。
全局放置模块
在利用局部配准模块212确定所有相邻灰度图像分块对之间的空间关系(步骤320)之后，使用全局放置模块213来相对于彼此放置扫描的分块图像(步骤340)。在一些实施方案中，全局放置充当正则化项并且补偿局部配准失败或者数据不足以成功的那些情况(例如，在存在白色空间与白色空间匹配的那些区域中)。
空间关系的调整
在一些实施方案中并且在放置图像分块之前，调整确定的空间关系(步骤330)。在一些实施方案中，基于任何两个相邻灰度图像分块对之间的匹配可靠度来调整空间关系。这里，术语“可靠度”是指这样的事实：在任何给定区域内可以存在少量像素匹配、或者区域可能不具有足够高的对比度(即低对比度)。在一些实施方案中，确定任何两个相邻灰度图像分块对之间的空间关系是否被视为可靠包括比较在这两个相邻灰度图像分块对之间导出的标准偏差值以及将所述标准偏差与标准偏差阈值进行比较。
在承载样品的显微镜载玻片的扫描的上下文中，在包括白色空间的区域之间可能发生不可靠的匹配，即在没有组织只有玻璃的区域中，扫描的图像将在与底物相对应的区域呈现白色。如本文所指出的，在这些情况下，底物区域的强度值将对应于扫描的白点设置，例如，如果将白点设定为250，则底物区域的像素强度值将为250。技术人员将了解到，白色空间区域的标准偏差较低，因为白色空间区域具有大致相同的强度值。另一方面，将会期望，当预期匹配区域具有内容物(如组织载玻片的组织)时，标准偏差将会比较高。
如本文所指出的，相邻灰度图像分块对之间的空间关系可以包括分块重叠和分块移位。在一些实施方案中，针对被认为不可靠的那些灰度图像分块对，代替确定的分块重叠值和分块移位值，调整可以分别分配平均重叠值或平均重叠移位值。在其他实施方案中，调整可以是将较低置信度得分分配给被认为不可靠的灰度图像分块对。
在扫描显微镜载玻片的上下文中，根据本文所描述的程序并且如图5B所示，底部顶部分块对之间的重叠常常是显著的，因为扫描仪的自然移动是向上或向下逐列的。另一方面，当考虑左右分块对时，根据两个连续列的玻璃载玻片的相对运动，同一行中的分块之间的x重叠可能不显著。鉴于此，在一些实施方案中，使用标准偏差和基于NCC的得分两者来检测左右匹配何时有效，例如对于预期匹配区域主要是非白色空间时的有效匹配情况，则标准偏差和NCC得分均将较高。同样，对于底部顶部分块对，我们使用标准偏差来指示匹配区域何时主要由白色空间组成。
技术人员将了解到，NCC得分位于范围[-1,1]内。例如，我们可以凭经验决定一些阈值：δ1＝0.01(当NCC＜＝δ1时，我们在基于NCC的匹配中有低置信度)和δ2＝0.02(当NCC＞δ1但＜＝δ2时，我们在基于NCC的匹配中有中等置信度)。此外，当我们计算dx、dy、置信度和标准偏差值时，我们可以考虑RGB图像的灰度表示。当从分块对中的每个分块中的匹配区域计算的标准偏差值的最大值超过某个阈值(例如，σ1＝10)时，则所述分块对的匹配区域更可能主要由白色空间组成(并且因此不可靠)。作为我们不希望使用计算的dx值、dy值的分块对的例子，我们只考虑匹配更可靠并且共用区域的标准偏差足够高(例如＞10)的那些分块。
对于底部顶部分块对，通过基于NCC的匹配计算的(dx,dy)值可以保持不变。当基于NCC的匹配被认为不可靠时，匹配的置信度得分降低到低值。例如，可以是，当匹配区域主要由白色空间组成时，基于NCC的匹配得分较高并且标准偏差较低。结果是，在匹配主要是一个分块中的白色空间到相邻分块中的白色空间时，(dx,dy)解可能不准确。因此，如果为这个(dx,dy)解分配更高的置信度，则可能对整体的全局放置产生不利影响。因此，补救措施是通过为这个解分配较低置信度得分来为这个(dx,dy)解分配更少的重要性。用于分配较低置信度的样本解展示在本文的实施例3中。
接下来，考虑匹配左右分块对的情况。对于匹配区域主要由白色空间组成的相邻左右分块，我们使用从左右图像对获得的平均(dx,dy)值来估算分块之间的(dx-重叠和dy-移位)值。
关于匹配左右分块对，如果相应的NCC得分较高并且如果相应的标准偏差得分足够高，则认为对匹配是可靠的。在一些实施方案中，当我们说“NCC得分较高”时，我们暗示NCC得分高于在[-1,1]之间的中间值，如0.25。举例来说，当值高于20时，标准偏差值可以“足够高”。在这个例子中，这将会意味着重叠区域可能是非白色空间区域。当匹配不可靠时，已经根据经验发现，全局放置的准确解需要所有这些左右分块对的良好起始(dx,dy)值。在一些实施方案中，当局部匹配失败时，我们将dx,dy替换为整个行/列的平均dx,dy，如本文进一步描述的。这些平均值是良好初始化的例子。我们根据分块对是属于正dy列还是负dy列来使用平均(dx,dy)值。对于给定列，所有左右分块对具有相同的dy方向性；此外，这个方向***替用于替代性列；即，如果我们考虑10列，则这10列的dy值的符号可以是+、-、+、-、+、-、+、-、+、-或-、+、-、+、-、+、-、+、-、+。因此并且在这个特定的上下文中，期望dy(y-移位)值对于列1、3、5…(奇数列)具有相同的方向；此外，期望偶数列具有相反的方向。用于分配平均(dx,dy)值的样本解展示在本文的实施例4中。
用于全局放置的基于加权最小二乘的解
在可选地调整图像分块对之间的空间关系(步骤330)之后，基于导出的空间关系使用加权最小二乘求解器来确定分块放置(步骤340)。在一些实施方案中，加权最小二乘求解器利用导出的NCC得分作为权重。
当响应值在预测值的组合内具有不同的可变度时，加权最小二乘可用于估计模型参数的值。与线性和非线性最小二乘回归不同，加权最小二乘回归与用于描述过程变量之间的关系的特定类型的函数无关。相反，加权最小二乘反映了模型中的随机误差的行为；并且加权最小二乘可以与参数中的线性或非线性函数一起使用。加权最小二乘通过将与每个数据点相关联的额外非负常数或权重并入拟合准则中来起作用。权重的大小指示关联观察中包含的信息的精确度。优化加权拟合准则以找到参数估计允许权重确定每个观察对最终参数估计的贡献。在一些实施方案中，使用利用局部配准模块导出的NCC得分作为加权最小二乘分析中的权重。
在加权最小二乘参数估计中(如在正则最小二乘中)，通过找到将观察到的响应与模型的功能部分之间的平方偏差之和最小化的参数估计的数值来估计回归函数中的参数β0、β1…的未知值。然而，与最小二乘不同，加权最小二乘准则中的每个项包括确定数据集中的每个观察对最终参数估计的影响程度的另外的权重wi。最小化以获得参数估计的加权最小二乘准则为Q＝n∑i＝1wi[yi-f(→xi；^→β)]2
关于放置解，在一些实施方案中，可以进行以下假设：
假设两个帧L(左)和R(右)，其中，帧之间的共用x交点是dx并且R是L上方的dy个单位；
则如果(Lx,Ly)是L的左上角，那么R的左上角(Rx,Ry)
如下：
Rx＝Lx+(宽度-dx)(x从左到右增大)
Ry＝Ly+(-dy)(y从顶部到底部增大)
对于分块中的M行和N列，我们得到M(N-1)个这样的对。
考虑顶部图像(T)和底部图像(B)，其中，共用y交点是dy并且T位于B右侧的dx个单位；
如果(Tx,Ty)是T的左上角，则给出B的左上角(Bx,By)如下：
Bx＝Tx-dx；By＝Ty+(高度-dy)
对于M行和N列的分块，存在N(M-1)个这样的顶部底部图像对。因此，考虑到左右对和底部顶部对，我们有M(N-1)+M(N-1)个线性方程；未知数的数量为M*N个分块位置(可以使用左上分块位置作为参考)；因此，存在冗余方程，并且如果可能的话，我们可以承担得起丢弃具有非常低的标准偏差的方程。在一些实施方案中，使用加权最小二乘，其中，利用NCC得分作为权重。在Matlab中，函数为“lscov”(使用已知协方差的最小二乘)。
实施例5展示了使用上述权重最小二乘法确定分块放置的方法。
用于实践本公开文本的实施方案的其他部件
本公开文本的计算机***可以绑定到可以对组织样品执行一个或多个制备过程的样品加工设备。制备过程可以包括但不限于对样品进行脱蜡、对样品进行调节(例如，细胞调节)、对样品进行染色、执行抗原修复、执行免疫组织化学染色(包括标记)或其他反应和/或执行原位杂交(例如，SISH、FISH等)染色(包括标记)或其他反应、以及用于制备用于显微术、微量分析、质谱法或其他分析方法的样品的其他过程。
样品可以包括组织样本。组织样本可以是靶可以存在的任何液体、半固体或固体物质(或材料)。具体地，组织样本可以是生物样本或从生物组织获得的组织样本。组织可以是在生物体内执行类似功能的互连细胞的集合。在一些例子中，从动物受试者(如人类受试者)获得生物样本。生物样本可以是从任何活生物体获得、***或分泌的任何固体或流体样本，所述活生物体包括但不限于单细胞生物(如细菌、酵母、原生动物和变形虫等)、多细胞生物(如植物或动物，包括来自健康或表面健康的人类受试者或者受待诊断或调查的病状或疾病(如癌症)影响的人类患者的样本)。例如，生物样本可以是从例如血液、血浆、血清、尿液、胆汁、腹水、唾液、脑脊液、水样或玻璃体液获得的生物流体、或任何身体分泌物、渗出液、渗出物(例如从脓肿或任何其他感染或炎症部位获得的流体)或从关节(例如，正常关节或受疾病影响的关节)获得的流体。生物样本还可以是从任何器官或组织获得的样本(包括活检或尸检样品，如肿瘤活检)，或者可以包括细胞(无论是原代细胞还是培养细胞)或由任何细胞、组织或器官调节的培养基。在一些例子中，生物样本是核提取物。在某些例子中，样本是质量控制样本，如公开的细胞沉淀切片样本之一。在其他例子中，样本是测试样本。例如，测试样本是由从受试者获得的生物样本制备的细胞、组织或细胞沉淀切片。在例子中，受试者是处于风险中或已经获取特定病状或疾病的受试者。在一些实施方案中，样品是乳腺组织。
加工设备可以将固定剂施加到样品。固定剂可以包括交联剂(如醛类(例如甲醛、多聚甲醛和戊二醛)以及非醛类交联剂)、氧化剂(例如，金属离子和复合物，如四氧化锇和铬酸)、蛋白质变性剂(例如，乙酸、甲醇和乙醇)、未知机制的固定剂(例如，氯化汞、丙酮和苦味酸)、组合试剂(例如，卡诺氏固定剂(Carnoy's fixative)、methacarn、波恩氏流体(Bouin's fluid)、B5固定剂、罗斯曼氏流体(Rossman's fluid)、詹德莱氏流体(Gendre'sfluid))、微波和混杂固定剂(例如，排出体积固定和蒸气固定)。
如果样品是嵌入石蜡中的样本，则可以使用一种或多种适当的脱蜡流体对样本进行脱蜡。在废物移除器移除所述一种或多种脱蜡流体后，可以将任何数量的物质接连施加到样品。物质可以用于预处理(例如，蛋白质交联、暴露核酸等)、变性、杂交、洗涤(例如，严格洗涤)、检测(例如，将视觉或标志分子与探针链接)、扩增(例如，扩增蛋白质、基因等)、复染、盖玻等。
样品加工设备可以将广泛范围的物质施加到样品。物质包括但不限于染色剂、探针、试剂、冲洗剂和/或调节剂。物质可以是流体(例如，气体、液体或气体/液体混合物)等。流体可以是溶剂(例如，极性溶剂、非极性溶剂等)、溶液(例如，水溶液或其他类型的溶液)等。试剂可以包括但不限于染色剂、润湿剂、抗体(例如，单克隆抗体、多克隆抗体等)、抗原回收流体(例如，基于水性或非水性的抗原修复溶液、抗原回收缓冲液等)等。探针可以是与可检测的标记或报告分子附接的分离的核酸或分离的合成寡核苷酸。标记可以包括放射性同位素、酶底物、辅因子、配体、化学发光或荧光剂、半抗原和酶。
样品加工设备可以是自动化设备，如由Ventana Medical Systems,Inc.出售的BENCHMARK XT仪器和SYMPHONY仪器。Ventana Medical Systems,Inc.是公开了用于执行自动化分析的***和方法的许多美国专利的受让人，包括美国专利号5,650,327、5,654,200、6,296,809、6,352,861、6,827,901和6,943,029以及美国公开专利申请号20030211630和20040052685，其各自通过引用以其全文并入本文中。可替代地，可以手动加工样品。
在对样品进行加工之后，用户可以将承载样品的载玻片运送到成像设备。这里使用的成像设备是明场成像器载玻片扫描仪。一种明场成像器是由Ventana MedicalSystems,Inc.出售的iScan CoreoTM明场扫描仪。在自动化实施方案中，成像设备是数字病理学装置，如题为IMAGING SYSTEM AND TECHNIQUES(成像***和技术)的国际专利申请号PCT/US2010/002772(专利公开号为WO/2011/049608)所公开的或于2011年9月9日提交的题为IMAGING SYSTEMS,CASSETTES,AND METHODS OF USING THE SAME(成像***、暗盒和其使用方法)的美国专利申请号61/533,114所公开的。国际专利申请号PCT/US2010/002772和美国专利申请号61/533,114通过引用以其全文并入本文中。在其他实施方案中，成像设备包括耦合到显微镜的数字相机。
成像***或设备可以是多光谱成像(MSI)***或荧光显微镜***。这里使用的成像***是MSI。MSI通常通过提供对像素级图像的光谱分布的访问用基于计算机化显微镜的成像***来配备病理样品的分析。虽然存在各种多光谱成像***，但是所有这些***共有的操作方面是形成多光谱图像的能力。多光谱图像是捕获特定波长或跨电磁波谱的特定光谱带宽的图像数据的图像。可以通过光学滤波器或通过使用能够选择预定光谱分量的其他仪器来挑选这些波长，所述预定光谱分量包括在可见光范围之外的波长处的电磁辐射，如例如红外(IR)。
MSI可以包括光学成像***，所述光学成像***的一部分包含可调谐以定义预定数量N的离散光学带的光谱选择***。光学***可以适于对组织样本进行成像、用宽带光源在透射中照射到光学检测器上。在一个实施方案中可以包括放大***(如例如显微镜)的光学成像***具有通常在空间上与光学***的单个光学输出对准的单个光轴。当调整或调谐光谱选择***(例如用计算机处理器)时，***形成组织的一系列图像，如以确保在不同的离散光谱带中获取图像。设备可以另外包含显示器，所述显示器中出现来自所获取的图像的序列中的至少一个视觉上可感知的组织图像。光谱选择***可以包括光学色散元件(如衍射光栅)、光学滤波器(如薄膜干涉滤光器)的集合、或适于响应于用户输入或预编程处理器的命令从光源通过样本朝向检测器透射的光谱中选择特定通带的任何其他***。
在替代性实施方式中，光谱选择***定义了对应于N个离散光谱带的若干个光学输出。这种类型的***从光学***摄入透射光输出，并且沿着N个空间上不同的光路在空间上重定向这个光输出的至少一部分，其方式为将识别的光谱带中的样本沿着对应于这个识别的光谱带的光路成像到检测器***上。
本说明书中描述的主题和操作的实施方案可以在数字电子电路中或在计算机软件、固件或硬件(包括本说明书中公开的结构及其结构等同物)或其中的一个或多个的组合中实施。可以将本说明书中描述的主题的实施方案实施为一个或多个计算机程序，即在计算机存储介质上编码以用于由数据处理设备来执行或者用于控制数据处理设备的操作的计算机程序指令的一个或多个模块。本文所描述的任何模块可以包括由一个或多个处理器执行的逻辑。如本文所使用的“逻辑”是指具有可以应用于影响处理器的操作的指令信号和/或数据的形式的任何信息。软件是逻辑的例子。
计算机存储介质可以是机器可读存储装置、机器可读储存基板、随机或串行存取存储器阵列或装置、或其中的一个或多个的组合。此外，虽然计算机存储介质不是传播信号，但是计算机存储介质可以是以人工生成的传播信号编码的计算机程序指令的来源或目的地。计算机存储介质还可以是或者可以包括在一个或多个单独的物理部件或介质(例如，多个CD、磁盘或其他存储装置)中。可以将本说明书中描述的操作实施为由数据处理设备对存储在一个或多个计算机可读存储装置上或从其他来源接收的数据执行的操作。
术语“编程处理器”包括用于处理数据的所有种类的设备、装置和机器，包括例如可编程微处理器、计算机、芯片上***或多个芯片上***、或前述项的组合。设备可以包括专用逻辑电路***，例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。除了硬件之外，设备还可以包括为所讨论的计算机程序创造执行环境的代码，例如，构成处理器固件、协议栈、数据库管理***、操作***、跨平台运行时环境、虚拟机、或其中的一个或多个的组合的代码。设备和执行环境可以实现各种不同的计算模型基础结构，如web服务、分布式计算和网格计算基础结构。
计算机程序(也称为程序、软件、软件应用、脚本或代码)可以以任何形式的编程语言书写，包括编译或解释语言、说明性或者过程性语言，并且计算机程序可以以任何形式部署，包括作为独立程序或者作为模块、部件、子例程、对象或适用于计算环境的其他单元。计算机程序可以但不需要对应于文件***中的文件。可以将程序存储在保持其他程序或数据的文件的一部分(例如，存储在标记语言文档中的一个或多个脚本)中、专用于所讨论的程序的单个文件中、或者多个协调文件(例如，存储一个或多个模块、子程序、或代码的各部分的文件)中。计算机程序可以被部署成在一个计算机上或者在位于一个站点或跨多个站点分布并且通过通信网络互连的多个计算机上执行。
本说明书中描述的过程或逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程处理器来执行以便通过操作输入数据并生成输出来执行动作。过程和逻辑流程还可以由设备执行，并且设备还可以被实施为专用逻辑电路***，例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。
举例来讲，适于执行计算机程序的处理器包括通用微处理器和专用微处理器以及任何种类的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的必不可少的元件是用于根据指令执行动作的处理器和用于存储指令和数据的一个或多个存储器装置。通常，计算机还将包括用于存储数据的一个或多个大容量存储装置(例如，磁盘、磁光盘或光盘)，或者***作性地耦合以从大容量存储装置接收数据或向大容量存储装置传递数据或两者。然而，计算机不需要有这种装置。此外，计算机可以嵌入另一个装置中，仅举几例，例如移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏控制台、全球定位***(GPS)接收器或便携式存储装置(例如，通用串行总线(USB)闪存驱动器)。适于存储计算机程序指令和数据的装置包括所有形式的非易失性存储器、介质和存储器装置，举例来讲，包括半导体存储器装置(例如，EPROM、EEPROM和闪存装置)、磁盘(例如，内置硬盘或可移除盘)、磁光盘、以及CD-ROM盘和DVD-ROM盘。处理器和存储器可以由专用逻辑电路***补充或并入其中。
为了提供与用户的交互，本说明书中描述的主题的实施方案可以实施在具有用于向用户显示信息的显示装置(例如，LCD(液晶显示器)、LED(发光二极管)显示器或OLED(有机发光二极管)显示器)以及通过其用户可以向计算机提供输入的键盘和定点装置(例如鼠标或轨迹球)的计算机上。在一些实施方案中，触摸屏可以用于显示信息并接收来自用户的输入。还可以使用其他种类的装置来提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感官反馈，例如，视觉反馈、听觉反馈或触觉反馈；并且可以以任何形式接收来自用户的输入，包括声音、语音或触觉输入。另外，计算机可以通过向用户使用的装置发送文档和从用户使用的装置接收文档(例如，通过响应于从用户的客户端装置上的web浏览器接收的请求将网页发送到web浏览器)来与用户交互。
本说明书中描述的主题的实施方案可以实施在包括以下的计算***中：后端部件(例如，作为数据服务器)、或中间件部件(例如，应用服务器)、或前端部件(例如，具有图形用户界面或Web浏览器的客户端计算机，用户可以通过所述图形用户界面或所述Web浏览器与本说明书中描述的主题的实施方式交互)、或者一个或多个这种后端、中间件或前端部件的任何组合。***的部件可以通过数字数据通信的任何形式或介质(例如，通信网络)进行互连。通信网络的例子包括局域网(“LAN”)和广域网(“WAN”)、互联网络(例如，互联网)以及对等网络(例如，自组织对等网络)。例如，图1的网络20可以包括一个或多个局域网。
计算***可以包括任何数量的客户端和服务器。客户端和服务器通常远离彼此并且通常通过通信网络进行交互。客户端与服务器的关系借助于在相应计算机上运行并且彼此具有客户端-服务器关系的计算机程序产生。在一些实施方案中，服务器将数据(例如，HTML页面)传输到客户端装置(例如，目的是向与客户端装置交互的用户显示数据和从与客户端装置交互的用户接收用户输入)。可以从服务器处的客户端装置接收在客户端装置处生成的数据(例如，用户交互的结果)。
实施例
以下所有实施方案假设整个载玻片扫描具有M x N个分块(M行和N列)。
实施例1—确定左右图像分块对的空间位置、NCC得分和标准偏差值
输入：M x N个分块；左右分块对之间沿x轴的重叠为x1＜＝dx＜＝x2；当应用于右分块时将使右分块与左分块对准的y移位可以在-y最大＜＝dy＜＝y最大之间变化
输出：对于M x(N-1)个左右图像对，我们计算每对(i,j)的：
dxLR(i,j)：左分块(第i行,第j列)与右分块(第i行,第(j+1)列)之间沿x轴的重叠
dyLR(i,j)：上述分块对之间沿y轴的移位：如果dyLR(i,j)为正，则意味着右分块必须向下移动以使右分块与左分块对准
confLR(i,j)：当我们考虑上述左右分块对的匹配区域之间的NCC时的NCC得分
stdLR(i,j)：当我们考虑针对左右分块两者的匹配区域计算的标准偏差最大值时的标准偏差得分
方法：
FOR i＝1:M//行索引
FOR j＝1:N-1//列索引
假设x1＜＝dx＜＝x2并且y最小＜＝dy＜＝y最大(这是为了考虑右分块假设向下位移时的左右匹配)，计算左分块(第i行,第j列)和右分块(第i行,第(j+1)列)中的所有可能匹配区域之间的NCC
假设x1＜＝x＜＝x2并且-y最大＜＝dy＜＝-y最小(这是为了考虑右分块假设向上位移时的左右匹配)，计算左分块(第i行,第j列)和右分块(第i行,第(j+1)列)中的所有可能匹配区域之间的NCC。
我们使用小的dy值(例如y最小＝40个像素)，使得我们就不必考虑右分块无竖直位移的情况。当我们计算NCC得分时考虑左分块与右分块之间的重叠非常少会导致数值不稳定(因为得分是在非常少量的像素上计算的)。避免区域-y最小＜＝dy＜＝y最小，当我们计算NCC得分时，返回更有意义的NCC得分。
END FOR//列＝1:N-1
END FOR//行＝1:M
条件1：第1列具有正dy，而第2列具有负dy：
对于条件1，S1＝(考虑了所有M x(N-1)个分块对组的NCC得分)的平均值
条件2：第1列具有负dy，而第2列具有正dy：
对于条件2，S2＝(考虑了所有M x(N-1)个分块对组的NCC得分)的平均值
如果S1＞＝S2，则条件1有效
否则，条件2有效。
输出：返回dxLR(i,j)、dyLR(i,j)、confLR(i,j)、stdLR(i,j)；关于1＜＝i＜＝M、1＜＝j＜N，这取决于条件1还是条件2有效
实施例2—确定顶部底部图像分块对的空间位置、NCC得分和标准偏差值
输入：M x N个分块；底部顶部分块对之间沿y轴的重叠为y1＜＝dx＜＝y2；当应用于顶部分块时将使顶部分块与底部分块对准的x移位可以在-x最大＜＝dx＜＝x最大之间变化
输出：对于(M-1)x N个底部顶部图像对，我们计算每对(i,j)的：
dyBT(i,j)：顶部分块(第i行,第j列)与底部分块(第(i+1)行,第j列)之间沿y轴的重叠
dxBT(i,j)：上述分块对之间沿x轴的移位：如果dx(i,j)为正，则意味着顶部分块必须向右移位以使顶部分块与底部分块对准
confBT(i,j)：当我们考虑上述底部顶部分块对的匹配区域之间的NCC时的NCC得分
stdBT(i,j)：当我们考虑针对顶部分块和底部分块两者的匹配区域计算的标准偏差最大值时的标准偏差得分
方法：
FOR j＝1:N//列索引
FOR i＝1:M-1//行索引
假设y1＜＝dy＜＝y2并且x最小＜＝dx＜＝x最大，计算顶部分块(第i行,第j列)与底部分块(第(i+1)行，第j列)中的所有可能匹配区域之间的NCC。
END FOR//行＝1:M-1
END FOR//列＝1:N
输出：返回dxBT(i,j)、dyBT(i,j)、confBT(i,j)、stdBT(i,j)；1＜＝i＜M，1＜＝j＜＝N
实施例3—用于将较低置信度分配给顶部底部图像分块对的方法
For j＝1:N//列索引
For i＝1:M-1//行索引
If stdBT(i,j)<σ1
confBT(i,j)＝δ1
End if//结束If语句：
end for//行索引
end for//列索引
实施例4—用于将平均重叠值和平均移位值分配给左右图像分块对的方法
这里，当两个分块都在第i行并且左分块位于奇数列时，Avgdx奇数(i)是左右分块对的平均x重叠。类似地，当两个分块都在第i行并且左分块位于奇数列时，Avgdy奇(i)是左右分块对的平均y移位。
/*------------------------------------------------------------------------*/
For i＝1:M
Avgdx奇(i)＝{dxLR(i,j),1＜＝j＜＝N}的平均值
Avgdy奇(i)＝{dyLR(i,j),1＜＝j＜＝N}的平均值
Avgdx偶(i)＝{dxLR(i,j),2＜＝j＜＝N}的平均值
Avgdx偶(i)＝{dyLR(i,j),2＜＝j＜＝N}的平均值
End for
/*------------------------------------------------------------------------*/
以下模块描述了我们如何更新(dx,dy)值以及左右分块对的基于NCC的置信度值。
/*------------------------------------------------------------------------*/
For j＝1:2:N//这里我们考虑左分块处于奇数列的情况
For i＝1:M//这里我们迭代所有行
If stdLR(i,j)>σ1且confLR(i,j)>δ2
//无需修改
Else
dxLR(i,j)＝Avgdx奇(i,j)
dyLR(i,j)＝Avgdy奇(i,j)
confLR(i,j)＝δ1
End if
End for//行的迭代结束
End for//奇数列的迭代结束
/*------------------------------------------------------------------------*/
For j＝2:2:N//这里我们考虑左分块处于偶数列的情况
For i＝1:M//这里我们迭代所有行
If stdLR(i,j)>σ1且confLR(i,j)>δ2
//无需修改
Else
dxLR(i,j)＝Avgdx偶(i,j)
dyLR(i,j)＝Avgdy偶(i,j)
confLR(i,j)＝δ1
End if
End for//行的迭代结束
End for//偶数列的迭代结束
/*------------------------------------------------------------------------*/
实施例5—加权最小二乘解
对于M x N组分块，我们需要计算所有分块的(x,y)左上角位置。作为参考点，我们假设(0,0)是第(1,1)个分块的左上角。设(Fx(i,j),Fy(i,j))是第(i,j)个分块的左上位置的(x,y)坐标。设Ht表示每个分块图像的行数(高度)并且Wd表示每个分块图像的列数(宽度)。
/*-----------------------------------------------------------------------*/
以下展示了如何使用左右分块匹配的(dx,dy)值来确定分块(x,y)位置：
For i＝1:M//行索引
For j＝1:N-1//列索引
Fx(i,j+1)＝Fx(i,j)+(Wd–dxLR(i,j))
Fy(i,j+1)＝Fy(i,j)–(dyLR(i,j))
End for//列索引
End for//行索引
/*------------------------------------------------------------------------*/
/*------------------------------------------------------------------------*/
以下展示了如何使用底部顶部分块匹配的(dx,dy)值来确定分块(x,y)位置：
For j＝1:N//列索引
For i＝1:M-1//行索引
Fx(i+1,j)＝Fx(i,j)+(–dxBT(i,j))
Fy(i+1,j)＝Fy(i,j)+(Ht-dyBT(i,j))
End for//行索引
End for//列索引
/*------------------------------------------------------------------------*/
考虑到Fx项与dx项之间的映射，我们获得以下方程：
AX＝D(这里，W是已知的、D是观察向量并且X是待确定的)
其中，X是(M x N)x 1向量(未知变量：包含所有分块左上角的x坐标)；
D是(M x(N-1)+N x(M-1))x 1向量(左右对的dx重叠和顶部底部对的dx移位)；并且
A是(M x(N-1)+N x(M-1))x(M x N)矩阵。
X＝[Fx(1,1)Fx(1,2)Fx(1,3)…Fx(1,N)Fx(2,1)Fx(2,2)…Fx(2,N)…Fx(M,N)]T(因此X表示每个图像分块的左上角的x坐标，分块被视为逐行的)
因此，Xi＝Fx(ceil(i/N),mod(i,N))//当i是N的倍数时，我们将mod(i,N)替换为N
关于符号的使用的注释：如果m是n的倍数，则mod(m,n)＝n(并且不为零)
D＝[(dxLR(1,1)-Wd)(dxLR(1,2)-Wd)(dxLR(1,3)-Wd)…(dxLR(M,N-1)-Wd)dxBT(1,1)dxBT(2,1)dxBT(3,1)…dxBT(M-1,1)dxBT(1,2)dxBT(2,2)dxBT(3,2)…dxBT(M-1,N)]T
因此，在D中，首先逐行地考虑基于左右匹配的dx项，并且接下来逐列地考虑基于底部顶部匹配的dx项。
Di＝dxLR(ceil(i/(N-1)),mod(i,N-1))–Wd
//当i是N-1的倍数时，我们将mod(i,N-1)替换为N-1；1＜＝i＜＝{M x(N-1)}
Di＝dxBT(mod((i–(M x(N-1))),M-1),ceil((i–(M x(N-1)))/(M-1)))；
for{M x(N-1)+1}<＝i<＝{M x(N-1)+N x(M-1)}
矩阵A是稀疏矩阵，其中，唯一的非零项如下：
W中的前M x(N-1)行由M{(N-1)x(N-1)}个块矩阵组成，其中，每个块矩阵在主对角线上具有1，而对于恰好在对角线右侧的所有元素则为-1。
/*------------------------------------------------------------------------*/
For 1<＝i<＝{M x(N-1)}
A(i,i)＝1
A(i,i+1)＝-1
End for
/*------------------------------------------------------------------------*/
/*------------------------------------------------------------------------*/
For{M x(N-1)+1}<＝i<＝{M x(N-1)+N x(M-1)}
column_being_considered＝ceil((i-{M x(N-1)})/(M–1))
row_being_considered＝mod((i-{M x(N-1)}),(M-1))
A(i,N x{row_being_considered-1}+column_being_considered)＝1
A(i,N x{row_being_considered-1}+column_being_considered+N)＝-1
End for
/*------------------------------------------------------------------------*/
现在，我们以线性最小二乘的形式设置问题。这里，未知数的数量为(M x N)并且方程的数量为(M x(N-1)+N x(M-1))。所以，相比于未知数，我们有更多的方程，并且我们使用QR分解来获得A矩阵的三角形形式从而求解X。
现在，在加权最小二乘中，我们将权重与每个方程相关联。这里的每个方程都考虑dx项(dxLR或dxBT)：所以，我们将每个dx项与相应的基于NCC的置信度得分相关联。
因此，最终目标是最小化J＝(D-AX)T W(D-AX)；
因此，Xopt＝arg min X{(D-AX)T W(D-AX)}
其中，W是(M x(N-1)+N x(M-1))x(M x(N-1)+N x(M-1))方阵，只有非零对角线项；
其中，
W(i,i)＝confLR(ceil(i/(N-1)),mod(i,N-1))；1＜＝i＜＝{M x(N–1)}
并且当{M x(N-1)+1|}＜＝i＜＝{M x(N-1)+N x(M-1)}时，
W(i,i)＝confBT(mod((i–(M x(N-1))),M-1),ceil((i–(M x(N-1)))/(M-1)))。
一旦我们求解Fx，我们就可以使用类似的基于加权最小二乘的公式来求解Fy。如前所述，左上角分块的左上角被视为原点。
因此，关于左上角分块的左上角考虑所有其他x-y坐标。
/*------------------------------------------------------------------------*/
originX＝Fx(1,1)
originY＝Fy(1,1)
For i＝1:M//行索引
For j＝1:N//列索引
Fx(i,j)＝Fx(i,j)–originX
Fy(i,j)＝Fy(i,j)–originY
End for//j＝1:N
End for//i＝1:M
/*-----------------------------------------------------------------------*/
本说明书中提及的和/或申请数据表中列出的所有美国专利、美国专利申请出版物、美国专利申请、外国专利、外国专利申请和非专利出版物均通过引用以其全文并入本文中。如果有必要，则可以修改实施方案的各方面以采用各种专利、申请和出版物的概念来提供又另外的实施方案。
这结束了对示例实施方案的描述。尽管已经参考多个说明性实施方案描述了本公开文本，但是应当理解，本领域技术人员可以设计出落入本公开文本的原理的精神和范围内的许多其他修改和实施方案。更具体地，在不脱离本公开文本的精神的情况下，可以在前述公开内容、附图和所附权利要求的范围内对主题组合布置的组成部分和/或布置进行合理的变化和修改。除了组成部分和/或布置的变化和修改之外，替代性用途对于本领域技术人员而言也将是显而易见的。

Claims (31)

1.一种拼接承载样品的载玻片的分块图像的方法，所述方法包括：
(a)导出所述承载样品的载玻片的每个分块图像的灰度分块图像；
(b)执行局部配准以确定相邻灰度分块图像对之间的空间关系，所述空间关系是使用在多分辨率框架内计算的归一化互相关(NCC)得分确定的；以及
(c)执行全局放置以相对于彼此定位所有扫描的分块图像，其中，所述全局放置是利用所有相邻灰度分块图像之间的确定的空间关系并且利用所述NCC得分作为权重通过加权最小二乘确定的。
2.根据权利要求1的方法，其中，通过以下操作来确定每对相邻灰度分块图像的所述空间关系：(i)计算第一低分辨率子采样图像和第二低分辨率子采样图像中的预期匹配区域之间的候选空间关系，所述第一低分辨率子采样图像和所述第二低分辨率子采样图像是从相邻灰度分块图像的重叠区域导出的；(ii)在顺序更精细分辨率子采样图像中改善所述候选空间关系；以及(iii)选择在原始分辨率下在所述相邻灰度分块图像对的所述重叠区域中具有最高NCC得分的经过改善的候选空间关系作为所述确定的空间关系。
3.根据权利要求2的方法，其中，通过确定所述第一低分辨率子采样图像和所述第二低分辨率子采样图像中的NCC域中的峰值的位置来导出所述第一低分辨率子采样图像与所述第二低分辨率子采样图像之间的所述候选空间关系。
4.根据权利要求3的方法，其中，保留所述候选空间关系，所述候选空间关系的峰值位置满足预定义NCC阈值。
5.根据权利要求4的方法，其中，所述预定义NCC阈值是最高NCC得分的预定义百分比。
6.根据权利要求3的方法，其中，通过确定所述NCC域中的每个峰值的更新位置来改善所述候选空间关系，其中，每个峰值的所述位置的更新是在顺序更精细分辨率子采样图像对中执行的，每对顺序更精细分辨率子采样图像对应于所述相邻灰度分块图像对的所述重叠区域。
7.根据权利要求6的方法，其中，与紧接较低分辨率子采样图像相比，每对顺序更精细分辨率子采样图像包括下采样因子的预定减小，直到达到下采样因子1。
8.根据权利要求7的方法，其中，所述下采样因子的变化范围为2到4。
9.根据权利要求6的方法，其中，所述第一子采样图像和所述第二子采样图像具有用于提供第一分辨率的第一下采样因子；并且在本文中，第一对顺序更精细分辨率子采样图像的分辨率是所述第一分辨率的分辨率的两倍。
10.根据权利要求6的方法，其中，使用所有子采样图像分辨率的积分图像计算所述NCC得分。
11.根据权利要求6的方法，其中，使用至少一个子采样图像分辨率的积分图像计算所述NCC得分。
12.根据权利要求1的方法，其中，使用预先计算的积分图像计算所述NCC得分。
13.根据权利要求2的方法，其还包括计算所述相邻灰度分块图像对中的匹配区域之间的标准偏差的步骤。
14.根据权利要求1的方法，其中，相邻灰度分块图像之间的所述空间关系是分块重叠和分块移位。
15.根据权利要求14的方法，其中，计算所有水平分块图像对和所有竖直分块图像对的分块移位值和分块重叠值。
16.根据权利要求14的方法，其还包括确定相邻灰度分块图像对之间的所述分块重叠值和所述分块移位值是否可靠。
17.根据权利要求16的方法，其中，所述确定所述分块重叠值和所述分块移位值是否可靠包括将从所述相邻灰度分块图像对中的匹配区域导出的标准偏差与标准偏差阈值进行比较，其中，如果所述标准偏差低于所述标准差阈值，则所述分块重叠值和所述分块移位值不可靠。
18.根据权利要求17的方法，其中，如果确定所述分块重叠值和所述分块移位值不可靠，则(i)分别将平均重叠值和平均移位值分配为分块重叠值和分块移位值，或者(ii)将较低置信度得分分配给那些不可靠的相邻灰度分块图像。
19.根据权利要求14的方法，其中，平均重叠值和平均移位值分别被分配为左右分块图像的分块重叠值和分块移位值。
20.根据权利要求14的方法，其中，所述较低置信度得分被分配给不可靠的顶部底部分块图像。
21.根据权利要求2的方法，其中，每个子采样图像是从相邻灰度分块图像对中的所述对的一个灰度图像导出的剪裁图像。
22.根据权利要求1的方法，其还包括基于计算的分块图像放置将所有图像拼接在一起的步骤。
23.根据权利要求1的方法，其中，所述空间关系包括分块重叠和分块移位，并且其中，对于左右分块图像对，针对所述左右分块图像对的左分块与所述左右图像对的右分块之间沿着x轴的重叠导出分块重叠；并且其中，针对所述左右分块图像对之间沿着y轴的移位导出分块移位。
24.根据权利要求23的方法，其中，如果所述分块移位具有正值，则所述右分块应当向下移动，使得所述右分块与所述右分块对准。
25.根据权利要求1的方法，其中，所述空间关系包括分块重叠和分块移位，并且其中，对于顶部底部分块图像对，针对所述顶部底部分块图像对的顶部图像与所述顶部底部分块图像对的底部图像之间沿着y轴的重叠导出分块重叠；并且其中，针对所述顶部底部分块图像对之间沿着x轴的移位导出分块移位。
26.根据权利要求25的方法，其中，如果所述分块移位具有正值，则顶部分块应当向右移位，使得所述顶部分块与所述底部分块对准。
27.根据权利要求1的方法，其还包括执行感兴趣区域识别。
28.一种拼接承载样品的载玻片的分块图像的方法，其包括：(a)运行局部配准模块以识别相邻分块图像的重叠区域中的匹配像素，其中，所述局部配准表达为在所述相邻分块图像的所述重叠区域中产生最佳归一化互相关得分的空间关系，所述归一化互相关(NCC)得分是在多分辨率框架内计算的；以及(b)运行全局放置模块以相对于彼此定位所有分块图像。
29.根据权利要求28的方法，其中，通过以下操作来确定每对相邻灰度分块图像的所述空间关系：(i)计算第一低分辨率子采样图像和第二低分辨率子采样图像中的预期匹配区域之间的候选空间关系，所述第一低分辨率子采样图像和所述第二低分辨率子采样图像是从相邻分块图像对的重叠区域导出的；(ii)在顺序更精细分辨率子采样图像中改善所述候选空间关系；以及(iii)选择在原始分辨率下在所述相邻分块图像对的所述重叠区域中具有最高NCC得分的经过改善的候选空间关系作为确定的空间关系。
30.一种计算装置，其包括一个或多个处理器和至少一个存储器，所述至少一个存储器存储非暂态计算机可读指令以用于由所述一个或多个处理器执行从而使所述计算装置执行根据权利要求1至29中任一项的方法。
31.一种非暂态计算机可读介质，其存储计算机可执行指令，所述计算机可执行指令在由计算装置的一个或多个处理器执行时使所述计算装置执行根据权利要求1至29中任一项的方法。
CN201880024039.3A 2017-04-14 2018-04-06 用于拼接的基于分块的局部配准以及全局放置 Active CN110494891B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762485818P 2017-04-14 2017-04-14
US62/485,818 2017-04-14
PCT/EP2018/058807 WO2018189039A1 (en) 2017-04-14 2018-04-06 Local tile-based registration and global placement for stitching

Publications (2)

Publication Number Publication Date
CN110494891A true CN110494891A (zh) 2019-11-22
CN110494891B CN110494891B (zh) 2023-11-28

Family

ID=62002115

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880024039.3A Active CN110494891B (zh) 2017-04-14 2018-04-06 用于拼接的基于分块的局部配准以及全局放置

Country Status (5)

Country Link
US (1) US11769223B2 (zh)
EP (1) EP3610451B1 (zh)
JP (1) JP7128203B2 (zh)
CN (1) CN110494891B (zh)
WO (1) WO2018189039A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111626933A (zh) * 2020-05-14 2020-09-04 湖南国科智瞳科技有限公司 一种精准、快速的显微图像拼接方法及***
CN111935417A (zh) * 2020-07-02 2020-11-13 清华大学 基于多尺度相机阵列的分级视频拼接方法及装置
CN114071010A (zh) * 2020-07-30 2022-02-18 华为技术有限公司 一种拍摄方法及设备
CN116579927A (zh) * 2023-07-14 2023-08-11 北京心联光电科技有限公司 一种图像拼接方法、装置、设备及存储介质

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3610451B1 (en) 2017-04-14 2021-09-29 Ventana Medical Systems, Inc. Local tile-based registration and global placement for stitching
WO2020104538A1 (en) 2018-11-20 2020-05-28 Ventana Medical Systems, Inc. Methods and systems for preparing and analyzing cellular samples for morphological characteristics and biomarker expression
CN110475123B (zh) * 2019-08-30 2021-08-03 杭州图谱光电科技有限公司 一种用于显微镜视频流的手动实时拼接方法
CN110753217B (zh) * 2019-10-28 2022-03-01 黑芝麻智能科技(上海)有限公司 色彩平衡方法和装置、车载设备以及存储介质
JP7424076B2 (ja) * 2020-01-29 2024-01-30 株式会社リコー 画像処理装置、画像処理システム、撮像装置、画像処理方法およびプログラム
CN112102307B (zh) * 2020-09-25 2023-10-20 杭州海康威视数字技术股份有限公司 全局区域的热度数据确定方法、装置及存储介质
US11941878B2 (en) 2021-06-25 2024-03-26 Raytheon Company Automated computer system and method of road network extraction from remote sensing images using vehicle motion detection to seed spectral classification
US11915435B2 (en) * 2021-07-16 2024-02-27 Raytheon Company Resampled image cross-correlation
CN113724307B (zh) * 2021-09-02 2023-04-28 深圳大学 基于特征自校准网络的图像配准方法、装置及相关组件
CN113706433B (zh) * 2021-10-28 2022-02-08 千乘镜像(北京)科技有限公司 一种图片合成方法、装置、电子设备及存储介质
JP2023159649A (ja) * 2022-04-20 2023-11-01 株式会社Ｓｃｒｅｅｎホールディングス 画像取得装置および画像取得方法
WO2023248141A1 (en) * 2022-06-22 2023-12-28 Wyss Center For Bio And Neuro Engineering Image compression and analysis
WO2024054980A1 (en) * 2022-09-09 2024-03-14 Genentech, Inc. Identification of duplication of sample images of tissue slices

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2323463A1 (en) * 1994-11-14 1996-05-23 Sarnoff Corporation Mosaic based image processing system and method for processing images
US20080240613A1 (en) * 2007-03-23 2008-10-02 Bioimagene, Inc. Digital Microscope Slide Scanning System and Methods
US20130278779A1 (en) * 2012-04-19 2013-10-24 Wei Hong Automatic calibration

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5595707A (en) 1990-03-02 1997-01-21 Ventana Medical Systems, Inc. Automated biological reaction apparatus
WO1999044030A1 (en) 1998-02-27 1999-09-02 Ventana Medical Systems, Inc. Automated molecular pathology apparatus having independent slide heaters
US6582962B1 (en) 1998-02-27 2003-06-24 Ventana Medical Systems, Inc. Automated molecular pathology apparatus having independent slide heaters
US20030211630A1 (en) 1998-02-27 2003-11-13 Ventana Medical Systems, Inc. Automated molecular pathology apparatus having independent slide heaters
JP3867883B2 (ja) 1999-06-01 2007-01-17 株式会社リコー 画像合成処理方法、画像合成処理装置及び記録媒体
US6711283B1 (en) 2000-05-03 2004-03-23 Aperio Technologies, Inc. Fully automatic rapid microscope slide scanner
US7095905B1 (en) * 2000-09-08 2006-08-22 Adobe Systems Incorporated Merging images to form a panoramic image
US7006707B2 (en) * 2001-05-03 2006-02-28 Adobe Systems Incorporated Projecting images onto a surface
US7861169B2 (en) * 2001-11-19 2010-12-28 Ricoh Co. Ltd. Multimedia print driver dialog interfaces
JP2004184240A (ja) 2002-12-03 2004-07-02 Topcon Corp 画像測定装置、画像測定方法、画像処理装置
US20060247863A1 (en) * 2005-04-28 2006-11-02 Bui Huy A Optimizing maldi mass spectrometer operation by sample plate image analysis
CA2507174C (en) * 2005-05-13 2013-07-16 Semiconductor Insights Inc. Method of registering and aligning multiple images
US8600193B2 (en) * 2008-07-16 2013-12-03 Varian Medical Systems, Inc. Image stitching and related method therefor
SG187478A1 (en) 2009-10-19 2013-02-28 Ventana Med Syst Inc Imaging system and techniques
US20110115896A1 (en) * 2009-11-19 2011-05-19 Drexel University High-speed and large-scale microscope imaging
US8983230B2 (en) * 2010-07-26 2015-03-17 Siemens Corporation Global error minimization in image mosaicking using graph laplacians and its applications in microscopy
JP5743710B2 (ja) * 2011-05-19 2015-07-01 キヤノン株式会社 撮像装置およびその制御方法
AU2011205087B2 (en) * 2011-07-29 2014-09-25 Canon Kabushiki Kaisha Multi-hypothesis projection-based shift estimation
JP2013058124A (ja) * 2011-09-09 2013-03-28 Sony Corp 情報処理装置、情報処理方法、及びプログラム
KR101811718B1 (ko) 2013-05-31 2018-01-25 삼성전자주식회사 영상 처리 방법 및 장치
DE102013214318A1 (de) 2013-07-22 2015-01-22 Olympus Soft Imaging Solutions Gmbh Verfahren zum Erstellen eines Mikroskopbildes
CN103679636B (zh) * 2013-12-23 2016-08-31 江苏物联网研究发展中心 基于点、线双重特征的快速图像拼接方法
WO2016120463A1 (en) 2015-01-31 2016-08-04 Ventana Medical Systems, Inc. Systems and methods for area-of-interest detection using slide thumbnail images
EP3610451B1 (en) 2017-04-14 2021-09-29 Ventana Medical Systems, Inc. Local tile-based registration and global placement for stitching

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2323463A1 (en) * 1994-11-14 1996-05-23 Sarnoff Corporation Mosaic based image processing system and method for processing images
US20080240613A1 (en) * 2007-03-23 2008-10-02 Bioimagene, Inc. Digital Microscope Slide Scanning System and Methods
US20130278779A1 (en) * 2012-04-19 2013-10-24 Wei Hong Automatic calibration

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KEVIN LOEWKE等: "《deformable image mosaicing for optical biopsy》", 《ICCV 2007.IEEE 11TH INTERNATIONAL CONFERENCE ON COMPUTER VISION》, pages 2 - 5 *
LISA GOTTESFELD BROWN: "《a survey of image registration techniques》", 《ACM COMPUTING SURBEYS》, pages 325 - 376 *
张宏波等: "一种新型的显微镜载玻片自动装载***设计", 《应用基础与工程科学学报》, no. 02 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111626933A (zh) * 2020-05-14 2020-09-04 湖南国科智瞳科技有限公司 一种精准、快速的显微图像拼接方法及***
CN111626933B (zh) * 2020-05-14 2023-10-31 湖南国科智瞳科技有限公司 一种精准、快速的显微图像拼接方法及***
CN111935417A (zh) * 2020-07-02 2020-11-13 清华大学 基于多尺度相机阵列的分级视频拼接方法及装置
CN111935417B (zh) * 2020-07-02 2021-12-14 清华大学 基于多尺度相机阵列的分级视频拼接方法及装置
CN114071010A (zh) * 2020-07-30 2022-02-18 华为技术有限公司 一种拍摄方法及设备
CN114071010B (zh) * 2020-07-30 2024-05-24 华为技术有限公司 一种拍摄方法及设备
CN116579927A (zh) * 2023-07-14 2023-08-11 北京心联光电科技有限公司 一种图像拼接方法、装置、设备及存储介质
CN116579927B (zh) * 2023-07-14 2023-09-19 北京心联光电科技有限公司 一种图像拼接方法、装置、设备及存储介质

Also Published As

Publication number Publication date
EP3610451B1 (en) 2021-09-29
JP7128203B2 (ja) 2022-08-30
US20200043134A1 (en) 2020-02-06
JP2020517017A (ja) 2020-06-11
US11769223B2 (en) 2023-09-26
WO2018189039A1 (en) 2018-10-18
CN110494891B (zh) 2023-11-28
EP3610451A1 (en) 2020-02-19

Similar Documents

Publication Publication Date Title
CN110494891A (zh) 用于拼接的基于分块的局部配准以及全局放置
EP3241180B1 (en) Systems and methods for co-expression analysis in immunoscore computation
US11113809B2 (en) Group sparsity model for image unmixing
US10977766B2 (en) Line-based image registration and cross-image annotation devices, systems and methods
JP6915349B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
Whitmore et al. Version 1 of the Hubble source catalog
EP3146463B1 (en) Systems and methods for detection of biological structures and/or patterns in images
de Bel et al. Automatic segmentation of histopathological slides of renal tissue using deep learning
JP2021073566A (ja) 生体試料の複数の画像を表示するための画像処理システムおよび方法
CN110088804A (zh) 基于原色和免疫组织化学图像的计算机评分
US11144774B2 (en) Automated methods and systems for detecting cells in stained specimen images
CN107209111A (zh) 自动化整体载片分析的质量控制
WO2016015108A1 (en) System for interpretation of image patterns in terms of anatomical or curated patterns
Osco et al. The potential of visual ChatGPT for remote sensing
Amura et al. Analysis of diagnostic images of artworks and feature extraction: design of a methodology
Ma et al. Multi-focus image fusion based on multi-scale generative adversarial network
Gou et al. Artificial intelligence multiprocessing scheme for pathology images based on transformer for nuclei segmentation
Kinakh et al. Hubble Meets Webb: Image-to-Image Translation in Astronomy
Gil et al. Comparing the segmentation of quantitative phase images of neurons using convolutional neural networks trained on simulated and augmented imagery
Li et al. Hardware-software co-design of an open-source automatic multimodal whole slide histopathology imaging system
Paulik et al. Regression Based Iterative Illumination Compensation Method for Multi-Focal Whole Slide Imaging System
WO2022075040A1 (ja) 画像生成システム、顕微鏡システム、および画像生成方法
Dai et al. Context adaptive panchromatic band simulation and detail injection for image pansharpening
Fakhrzadeh et al. Deep learning-based method for segmenting epithelial layer of tubules in histopathological images of testicular tissue
Zhang et al. Deducing 15 cm detail from 30 cm satellite images with deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant