CN112823376A - 图像增强以实现改善的核检测和分割 - Google Patents

Abstract

本公开的各个方面涉及用于增强明场图像或暗场图像以更好地实现核检测的***和方法。在一些实施例中，本文所述的***和方法用于鉴别生物学样品的染色图像中的膜染色生物标志物以及核/细胞质染色生物标志物。在一些实施例中，本文所公开的***和方法能够实现生物学样品的染色图像中快速准确的核检测，尤其是对于其中所述核显得模糊的生物学样品的原始染色图像。

Description

图像增强以实现改善的核检测和分割

相关专利申请的交叉引用

本专利申请要求于2018年10月15日提交的美国专利申请第62/745,730号的优先权和权益，该美国专利申请的公开内容通过引用整体并入本文。

背景技术

数位病理学是将整个组织病理或细胞病理载玻片扫描成可在计算机屏幕上解读的数字图像。随后，这些图像由成像算法处理或由病理学家解释。为了检查组织切片(几乎透明)，组织切片由选择性地与细胞组分结合的彩色组织化学染色剂制备。临床医生或计算机辅助诊断(CAD)算法利用彩色增强或染色的细胞结构来识别疾病的形态标记物，并通过相应的疗法进行处理。通过观察测定可实现各种过程，包括诊断疾病、评定对治疗的应答以及开发新的抗病药物。

免疫组化(IHC)载片染色可以用来识别组织切片细胞中的蛋白质，因此被广泛用于研究不同类型的细胞，如生物组织中的癌细胞和免疫细胞。因此，IHC染色可用于研究了解免疫细胞(如T细胞或B细胞)差异表达的生物标记物在癌组织中的分布和定位，用于免疫应答研究。例如，肿瘤中通常含有免疫细胞的浸润物，这可能会阻止肿瘤的发展或促进肿瘤生长。

原位杂交(ISH)可用于确定是否存在遗传畸形或例如致癌基因在显微镜下观察时形态上呈恶性的细胞中特异性扩增等情况。原位杂交(ISH)采用标记的与靶基因序列或转录物反义的DNA或RNA探针分子来检测或定位细胞或组织样品内的被靶向的核酸靶基因。通过将固定在载玻片上的细胞或组织样品暴露在标记的核酸探针上完成ISH，所述探针能够与所述细胞或组织样品中给定的靶基因进行特异性杂交。可通过将细胞或组织样品暴露在多个核酸探针上来同时分析多个靶基因，所述核酸探针已经由多个不同的核酸标签标记。利用具有不同发射波长的标记，可在单一步骤中，对单个靶细胞或组织样品执行同时的多色分析。例如，来自Ventana Medical Systems,Inc.的INFORM HER2 Dual ISH DNA探针混合物测定旨在通过计算所述HER2基因与17号染色体的比率来确定HER2基因的状态。使用***固定的石蜡包埋的人乳腺癌组织标本中的双色发色ISH检测HER2和17号染色体探针。

发明内容

细胞检测是利用IHC测定来定量评估组织病理学图像中的生物标志物表达的重要工作。针对明场图像(例如IHC和H&E)和暗场图像(例如免疫荧光)，文献中报道了许多核检测和分割方法。大多数方法集中于开发用于原始RGB图像或代表核染色的单个通道图像(例如，对于明场IHC，通过颜色解混算法获得的苏木精通道图像；或直接通过免疫荧光多重成像获得的DAPI通道图像)中的核检测/分割的特征提取或机器学习技术。在一些实例中，图像中的核染色剂质量可能不佳或甚至不存在(参见例如图6A和图8A)，从而使核检测具有挑战性。

本公开的各个方面涉及设计为增强明场图像或暗场图像以更好地实现生物学样品的染色图像内的核检测的***和方法。在一些实施例中，本文所公开的图像处理***和方法使现有的细胞检测算法能够应用于更广泛的细胞染色模式，包括那些核染色剂质量不佳的模式。在一些实施例中，应用图像预处理算法来增强细胞边界所界定的结构(例如，由核染色剂划定的自然边界，或由单独的膜/细胞质染色剂界定的边界)，使得所有细胞(无论其原始形态如何)在增强图像(即，应用图像预处理算法后生成的图像)中显示为相似的模式(例如“斑点”)。在一些实施例中，“边界结构”包括由核染色剂划定的自然边界，或由单独的膜染色剂界定的边界。在一些实施例中，利用Frangi滤波器增强细胞核周围的边界结构或连续边缘。在一些实施例中，在检测核之前，通过应用Frangi滤波器所增强的图像可经过进一步处理。例如，可将增强图像与至少第二图像诸如原始输入图像之一组合，以生成细化图像，可以将自动化核检测算法应用于该细化图像。然后，可以针对增强图像运行自动化细胞检测算法，以提供计算速度更快并且更准确的检测结果。本文公开了同时应用于暗场图像和明场图像的方法的实例。

在本公开的一个方面，提供了一种增强对染色生物学样品的图像内的细胞核的检测的方法，该方法包括：获得一个或多个输入图像通道图像(例如在解混多路复用的明场图像后获得的图像通道图像)，其中每个获得的输入图像通道图像包含对应于膜染色剂(例如淋巴细胞生物标志物膜染色剂)或核染色剂(苏木精)中的一者的信号；通过将适于增强边界结构的滤波器(例如Frangi滤波器)应用于一个或多个获得的输入通道图像中的第一个，增强该一个或多个获得的输入通道图像中的第一个中对应于膜染色剂或核染色剂的信号，以提供第一增强图像；以及检测来源于至少第一增强图像的细化图像内的核(例如，使用自动化核检测算法进行检测)。在一些实施例中，膜染色剂为3,3'-二氨基联苯胺(DAB)，并且核染色剂为苏木精。在一些实施例中，获得的输入通道图像为解混的明场图像。在一些实施例中，获得的输入通道图像为暗场图像。

在一些实施例中，通过对第一增强图像进行阈值化来生成细化图像。

在一些实施例中，细化图像通过以下步骤生成：(i)将第一增强图像与至少第二图像进行组合，以提供组合图像；以及(ii)对组合图像进行阈值化。

在一些实施例中，第二图像为第二增强图像(即，已向其应用Frangi滤波器的第二获得的输入通道图像)。在一些实施例中，第二增强图像来源于一个或多个输入通道图像中的第二个。在一些实施例中，第二增强图像来源于一个或多个输入通道图像中的第一个，并且其中第一增强图像和第二增强图像通过以不同的缩放因子应用Frangi滤波器来生成(例如，将缩放因子2应用于一个图像，并且将缩放因子5应用于另一个图像)。

在一些实施例中，一个或多个输入通道图像中的第一个和第二个包含膜染色剂。在一些实施例中，膜染色剂选自由肿瘤膜染色剂和淋巴细胞膜染色剂组成的组。在一些实施例中，一个或多个输入通道图像的第一个和第二个中的一者包含核染色剂。

在一些实施例中，组合图像来源于至少第一增强图像、第二图像和第三图像。在一些实施例中，第二图像或第三图像中的至少一者通过应用Frangi滤波器得以增强。在一些实施例中，第二图像包含膜染色剂，并且其中第三图像包含核染色剂。在一些实施例中，组合图像进一步来源于第四图像。

在一些实施例中，细化图像为通过组合第一增强图像的逆像与至少第二图像而得到的组合图像。在一些实施例中，第一增强图像或第二图像中的一者包含核染色剂。在一些实施例中，所述至少第二图像为一个或多个输入通道图像中的第二个。在一些实施例中，一个或多个输入通道图像中的第二个包含核染色剂，并且其中该一个或多个输入通道图像中的第一个包含膜染色剂。

在本公开的另一方面，提供了一种增强对染色生物学样品的图像内的细胞核的检测的方法，该方法包括：(a)获得一个或多个输入图像通道图像，其中每个获得的输入图像通道图像包含对应于膜染色剂或核染色剂中的一者的信号；(b)通过将Frangi滤波器应用于一个或多个获得的输入通道图像中的第一个，增强该一个或多个获得的输入通道图像中的第一个中对应于膜染色剂或核染色剂的信号，以提供第一增强图像；(c)至少基于第一增强图像，生成细化图像；以及(d)自动检测所生成的细化图像内的核，其中通过应用自动化核检测算法来检测核。在一些实施例中，然后将所检测的核叠置于原始整个切片图像或其任意部分上(即，使其可见)。在一些实施例中，膜染色剂为DAB，并且核染色剂为苏木精。在一些实施例中，核染色剂为DAPI。在一些实施例中，获得的输入通道图像为解混的明场图像。在一些实施例中，获得的输入通道图像为暗场图像。

在一些实施例中，细化图像为分割掩模图像。在一些实施例中，分割掩模图像来源于组合图像，该组合图像由至少第一增强图像和第二图像生成，从而以加性方式或加权方式组合该至少第一增强图像和第二图像。在一些实施例中，组合图像来源于至少第一增强图像和第二增强图像，诸如膜增强图像与核染色剂增强图像的组合。

在一些实施例中，细化图像为组合图像，其来源于至少第一增强图像和第二图像(例如第二增强图像，另一个获得的输入图像或其经过进一步处理的变体)。在一些实施例中，第一图像和第二图像以加性方式组合，即对它们求和。在一些实施例中，对第一增强图像进行进一步处理，然后生成组合图像。在一些实施例中，第一增强图像的进一步处理包括生成第一增强图像的逆像。

在本公开的另一方面，提供了用于增强对染色的生物学样品的图像内的细胞核的检测的方法，该方法包括：获得一个或多个输入图像通道图像，其中每个获得的输入图像通道图像包含对应于膜染色剂或核染色剂中的一者的信号；通过将Frangi滤波器应用于一个或多个获得的输入通道图像中的第一个，增强该一个或多个获得的输入通道图像中的第一个中对应于膜染色剂或核染色剂的信号，以提供第一增强图像；至少基于第一增强图像，生成细化图像；以及检测细化图像内的核。在一些实施例中，通过对第一增强图像进行阈值化来生成细化图像。在一些实施例中，细化图像通过以下步骤生成：将第一增强图像与至少第二图像进行组合，以提供组合图像。在一些实施例中，细化图像通过以下步骤生成：(i)将第一增强图像与至少第二图像进行组合，以提供组合图像；以及(ii)对组合图像进行阈值化。在一些实施例中，第二图像为一个或多个输入通道图像中的第二个。在一些实施例中，第二图像为第二增强图像。在一些实施例中，任何组合图像可来源于三个或更多图像，包括原始输入图像通道图像或增强图像的任意组合。

在本公开的另一方面，提供了一种增强对染色的生物学样品的图像内的细胞核的检测的方法，该方法包括：(a)获得至少一个输入通道图像，其包含对应于核染色剂的信号；(b)通过将Frangi滤波器应用于至少一个获得的输入通道图像(包含对应于细胞核染色剂的信号)，增强该至少一个获得的输入通道图像(包含对应于核染色剂的信号)中对应于核染色剂的信号，以提供第一增强图像；(c)由至少第一增强图像生成细化图像；以及(d)自动检测所生成的细化图像内的核，其中通过应用自动化核检测算法来检测核。在一些实施例中，该方法进一步包括：获得至少一个输入通道图像，其包含对应于膜染色剂的信号；通过将Frangi滤波器应用于至少一个获得的输入通道图像(包含对应于膜染色剂的信号)，增强该至少一个获得的输入通道图像(包含对应于膜染色剂的信号)中的膜染色剂，以提供第二增强图像。在一些实施例中，将至少第一增强图像和第二增强图像进行组合，诸如以加性方式或加权方式进行组合，以提供细化图像。在一些实施例中，可使用组合图像检测核；或替代性地，可将阈值应用于组合图像，并且可使用所得分割掩模图像检测核。

在本公开的另一方面，提供了一种增强对染色的生物学样品的图像内的细胞核的检测的方法，该方法包括：(a)获得至少一个输入通道图像，其包含对应于膜染色剂的信号；(b)通过将Frangi滤波器应用于至少一个获得的输入通道图像(包含对应于膜染色剂的信号)，增强该至少一个获得的输入通道图像(包含对应于膜染色剂的信号)中对应于膜染色剂的信号，以提供第一增强图像；(c)由至少第一增强图像生成细化图像；以及(d)自动检测所生成的细化图像内的核，其中通过应用自动化核检测算法来检测核。在一些实施例中，细化图像为组合图像，其包含：(i)第一增强图像的经过进一步处理的变体，以及(ii)第二获得的输入通道图像，该第二获得的图像通道图像包含对应于核染色剂的信号。在一些实施例中，第一增强图像的经过进一步处理的变体为第一增强图像的逆像。在一些实施例中，其他获得的输入通道图像包含对应于苏木精的信号。

在本公开的另一方面，提供了一种增强对生物学样品的图像内的细胞核的检测的方法，该生物学样品经苏木精和伊红染色和/或针对多种生物标志物的存在染色，该方法包括：获得一个或多个输入图像通道图像，其中每个获得的输入图像通道图像包含对应于苏木精、DAPI或指示是否存在生物标志物的染色剂的信号；通过将Frangi滤波器应用于一个或多个图像通道图像中的至少第一个，增强该一个或多个图像通道图像中的至少第一个内的边界结构，以提供至少第一Frangi增强图像通道图像；以及检测来源于至少一个Frangi增强图像通道的细化图像内的核。

在一些实施例中，细化图像为分割掩模图像。在一些实施例中，通过对至少第一Frangi增强图像通道图像进行阈值化来生成分割掩模图像。在一些实施例中，通过对来源于至少第一Frangi增强图像通道图像的组合图像进行阈值化来生成分割掩模图像。在一些实施例中，通过对以下项进行组合而得到组合图像：(i)至少第一Frangi增强图像通道图像；与(ii)(a)一个或多个输入图像通道图像中的第二个和/或(b)第二Frangi增强图像通道图像中的至少一者。在一些实施例中，组合图像包含至少第一Frangi增强图像通道图像与第二Frangi增强图像通道图像的组合。在一些实施例中，第一Frangi增强图像通道图像和第二Frangi增强图像通道图像来源于不同的输入图像通道图像。在一些实施例中，第一Frangi增强图像通道图像和第二Frangi增强图像通道图像来源于相同的输入图像通道图像。在一些实施例中，通过以不同的缩放因子应用Frangi滤波器来得到第一和第二Frangi增强图像通道图像。在一些实施例中，第一Frangi增强图像通道图像或第二Frangi增强图像通道图像中的一个包含增强的膜边界；并且第一Frangi增强图像通道图像或第二Frangi增强图像通道图像中的另一个包含增强的核边界。在一些实施例中，组合图像包含至少第一Frangi增强图像通道图像、第二Frangi增强图像通道图像与第三Frangi增强图像通道图像的组合，其中第一、第二或第三Frangi增强图像通道图像中的至少一者来源于不同的输入通道图像。

在一些实施例中，细化图像为通过对以下项进行组合而得到的组合图像：(i)第一Frangi增强图像通道图像的逆像；与(ii)一个或多个输入通道图像中的第二个。在一些实施例中，通过对以下项进行组合而得到组合图像：(i)至少第一Frangi增强图像通道图像；与(ii)(a)一个或多个输入图像通道图像中的第二个和/或(b)第二Frangi增强图像通道图像中的至少一者。

在本公开的另一方面，提供了一种用于增强对染色生物学样品的图像内的细胞核的检测的***，该***包括：(i)一个或多个处理器，以及(ii)与该一个或多个处理器联接的一个或多个存储器，该一个或多个存储器用以存储计算机可执行指令，当由该一个或多个处理器执行时，计算机可执行指令使得***执行包括以下项的操作：获得一个或多个输入图像通道图像，其中每个获得的输入图像通道图像包含对应于膜染色剂或核染色剂的信号；通过将Frangi滤波器应用于一个或多个获得的输入通道图像中的第一个，增强该一个或多个获得的输入通道图像中的第一个中对应于膜染色剂或核染色剂的信号，以提供第一增强图像；至少基于第一增强图像，生成细化图像；以及检测所生成的细化图像内的核。

在一些实施例中，一个或多个获得的输入通道图像中的第一个包含膜染色剂。在一些实施例中，细化图像通过以下方式生成：将(i)第一增强图像或其经过进一步处理的变体与(ii)一个或多个获得的输入通道图像中的第二个进行组合，其中该一个或多个获得的输入通道图像中的第二个包含核染色剂。在一些实施例中，***进一步包括用于下列操作的指令：由一个或多个获得的输入通道图像中的第二个生成第二增强图像。在一些实施例中，通过对第一增强图像进行阈值化来生成细化图像。

在一些实施例中，细化图像通过以下步骤生成：(a)计算组合图像，该组合图像至少来源于第一增强图像和第二增强图像，以及(b)将阈值应用于计算出的组合图像。在一些实施例中，一个或多个获得的输入通道图像中的第二个包含膜染色。在一些实施例中，一个或多个获得的输入通道图像中的第二个包含核染色。在一些实施例中，组合图像来源于第一增强图像和第二增强图像以及至少第三增强图像，该第三增强图像包含对应于核染色剂的信号。

在本公开的另一方面，提供了一种非暂时性计算机可读介质，其存储用于增强对染色生物学样品的图像内的细胞核的检测的指令，包括：获得一个或多个输入图像通道图像，其中每个获得的输入图像通道图像包含对应于膜染色剂或核染色剂中的一者的信号；通过将适于增强边界结构的滤波器应用于一个或多个获得的输入通道图像中的第一个，增强该一个或多个获得的输入通道图像中的第一个中对应于膜染色剂或核染色剂的信号，以提供第一增强图像；至少基于第一增强图像，生成组合图像；以及检测所生成的组合图像或来源于所生成的组合图像的分割掩模图像内的核。在一些实施例中，适于增强边界结构的滤波器为图像处理算法。在一些实施例中，适于增强边界结构的滤波器为Frangi滤波器。在一些实施例中，组合图像通过以下方式生成：计算第一增强图像或其经过进一步处理的变体与至少第二图像的总和。在一些实施例中，第二图像为一个或多个获得的输入通道图像中的第二个。在一些实施例中，一个或多个获得的输入通道图像中的第一个包含膜染色剂，并且其中该一个或多个获得的输入通道图像中的第二个包含核染色剂。在一些实施例中，组合图像来源于第一增强图像的逆像。

附图说明

参考附图来总体理解本公开的特征。在附图中，相同的附图标记始终用于识别相同的元件。

图1示出根据一些实施例的包括图像扫描仪和计算机***在内的代表性数字病理***。

图2阐述了根据一些实施例，可以在数字病理***中或数字病理工作流程中使用的各种模块。

图3A和图3B阐述了流程图，示出根据一些实施例检测所获得的输入图像中的核的步骤。

图4A和图4B阐述了流程图，示出根据一些实施例检测所获得的输入图像中的核的步骤。

图5A阐述了流程图，示出根据一些实施例增强所获得的输入图像中经膜染色的细胞的步骤。

图5B阐述了流程图，示出根据一些实施例增强所获得的输入图像中的模糊的核的步骤。

图5C和图5D阐述了流程图，示出根据一些实施例增强所获得的输入图像中的模糊的核以及增强经膜染色的细胞的步骤。

图6A至图6E提供了针对B细胞淋巴瘤中的CD20染色的IHC明场图像的视野。

图6A示出其中DAB染色剂信号非常强的原始图像。

图6B示出通过颜色解混算法生成的苏木精通道图像，其中各个单独的核的形态难以识别。

图6C示出解混DAB图像。

图6D示出以缩放因子2应用Frangi滤波器后的输出图像。

图6E示出苏木精通道图像(图6B)与图6C的Frangi滤波器增强图像的逆像组合。

图7A示出解混苏木精图像通道图像。

图7B示出组合图像，即苏木精图像通道图像与使用Frangi滤波器增强的DAB图像通道图像的逆像的组合。

图7C示出对图7A的苏木精通道图像应用自动化核检测算法所得到的结果。

图7D示出对图7B的图像应用自动化核检测算法所得到的结果，从而图7C与图7D的比较示出使用Frangi增强的组合图像进行核检测的优势。

图8A示出输入图像。

图8B示出通过解混图8A的图像而得到的苏木精图像通道图像。

图8C示出以缩放因子5将Frangi滤波器应用于图8B的苏木精图像通道图像。

图8D示出通过对图8C的Frangi滤波器增强图像应用阈值所获得的核掩模图像。

图8E示出在对图8D的核掩模图像运行自动化核检测算法后获得的核中心。

图9A示出多路图像，其包含对应于Ki67、KRT、PDCD1、DAPI、CD8A、CD3E的信号。

图9B示出DAPI通道。

图9C示出将Frangi滤波器应用(以缩放因子5)于图9B的图像后所得到的增强图像。

图9D示出将Frangi滤波器应用(以缩放因子2)于图9B的图像后所得到的增强图像。

图9E示出细胞角蛋白(KRT)图像通道图像。

图9F示出将Frangi滤波器应用于图9E的图像后所得到的增强图像。

图9G示出所有T细胞染色的组合图像。

图9H示出将Frangi滤波器应用于图9G的图像后所得到的增强图像。

图9I示出图9D和图9H的加权组合图像。

图9J示出图9C和图9H的加权组合图像。

图9K示出通过将固定阈值应用于图9I的图像所生成的核掩模图像。

图9L示出原始DAPI图像通道图像的种子检测结果。

图10A示出范围(-s,s)内高斯内核探针内侧/外侧对比度的二阶导数。

图10B总结了二维Hessian特征向量如何指示局部结构的存在，其中H＝高，L＝低，N＝噪音但通常较小，+/-表示特征值的符号。

具体实施方式

还应该理解的是，除非有明显的相反指示，否则在本文主张的包括多个步骤或动作的任何方法中，所述步骤或动作的顺序不必限于所述方法叙述的步骤或动作的顺序。

如本文所使用的，除非另有说明，否则单数术语“一(a/an)”及“该/所述”包括复数个参考物。类似地，除非上下文另外明确指出，否则单词“或”旨在包括“和”。术语“包括”定义为包括性的，以使“包括A或B”表示包括A、B、或A和B。

如本文所用，术语“或”应理解为与上文定义的“和/或”具有相同的含义。例如，当将列表中的项目分开时，“或”或“和/或”应解释为包括性的，即包括多个元素或元素的列表以及可选的其它未列出项目中的至少一个，但也包括多于一个。仅明确指出相反的术语，例如“仅一个”或“恰好一个”，或当在权利要求书中使用时，“由……组成”将指的是仅包括一个或多个元素中的一个元素。通常，当前置有排他性术语诸如“任一”、“一个”、“仅一个”、“正好一个”时，本文中使用的术语“或”仅应解释为表明排他性选择(例如“一个或另一个，但并非两者”)。当在权利要求书中使用时，“基本上由……组成”应具有在专利法领域中所使用的普通含义。

如本文所用，术语“包括”、“包含”、“具有”等术语可互换使用，且含义相同。类似地，“包括”、“包含”、“具有”等可互换使用并且具有相同的含义。具体而言，每个术语的定义都与普通美国专利法对“包括”的定义一致，因此每个术语都可理解为一个开放性术语，其含义为“至少以下”，并且也可理释为不排除额外的特征、限制、方面等。因此，例如“具有组件a、b和c的装置”是指所述装置至少包括组件a、b和c。同样，短语：“涉及步骤a、b和c的方法”是指所述方法至少包括步骤a、b和c。此外，尽管本文可以特定的顺序概述步骤和过程，但是本领域技术人员将认识到，所述顺序步骤和过程可能会有所不同。

如本文所用，就一个或多个元素的列表而言，短语“至少一个”应理解为选自元素列表中任何一个或多个元素的至少一个元素，但不一定包括元素列表中具体列出的每个元素中的至少一个，也不排除元素列表中的任何元素组合。该定义还允许除了短语“至少一个”所指代的元素列表中具体识别的元素之外，可以可选地存在别的元素，无论与那些具体识别的元素有关还是无关。因此，作为非限制性示例，在一个实施例中，“A和B中的至少一个”(或等价地“A或B中的至少一个”、或等价地“A和/或B中的至少一个”)可以指至少一个(可选地包括多于一个)A，不存在B(并且可选地包括除B以外的元素)；在另一个实施例中，其可以指至少一个(可选地包括多于一个)B，不存在A(并且可选地包括除A以外的元素)；在又一个实施例中，其可以指至少一个(可选地包括多于一个)A和至少一个(可选地包括多于一个)B(以及可选地包括其它元素)等等。

如本文所用，术语“生物学样品”、“生物样品”、“标本”或类似的术语是指从包括病毒在内的任何生物体中获得的包括生物分子(例如蛋白质、肽、核酸、脂质、碳水化合物或其组合)在内的任何样品。其他生物体的实例包括哺乳动物(例如人类；兽类动物，如猫、狗、马、牛和猪；以及实验室动物，如小鼠、大鼠和灵长类动物)、昆虫、环节动物、蛛形纲动物、有袋类动物、爬行类动物、两栖类动物、细菌和真菌。生物学样品包括生物样品(例如组织切片和组织的穿刺活检)、细胞样品(例如细胞学涂片，如子宫颈涂片或血液涂片或通过显微解剖获得)，或细胞级分、碎片或细胞器(例如通过裂解细胞并通过离心或其他方式分离其组分获得)。生物学样品的其他实例包括血液、血清、尿液、***、粪便、脑脊液、间质液、粘液、眼泪、汗液、脓液、活检组织(例如，通过手术活检或穿刺活检获得)、***抽吸物、耵聍、乳汁、***分泌物、唾液、拭子(例如口腔拭子)、或任何含有生物分子且从第一生物学样品导出的材料。在某些实施例中，本文使用的术语“生物学样品”是指从受试者获得的肿瘤或其一部分制备的样品(例如经均质或液化处理的样品)。

如本文所用，“斑点”是指数字图像中某些属性恒定或近似恒定的区域。在一些实施例中，在某种意义上，一个斑点中的所有像素可认为彼此相似。

如本文所用，术语“图像数据”涵盖从生物学样品采集的原始图像数据，例如通过光学传感器或传感器阵列，或预处理的图像数据。特别地，所述图像数据可以包括像素矩阵。

如本文所用，术语“图像”、“图像扫描”或“扫描的图像”涵盖从生物学样品采集的原始图像数据，例如通过光学传感器或传感器阵列，或预处理的图像数据。特别地，所述图像数据可以包括像素矩阵。

如本文所用，术语“多通道图像”或“多路图像”涵盖从生物学样品中获得的数字图像，在所述样品中，使用特定的荧光染料、量子点、染色体等同时对例如核和组织结构等不同的生物结构进行染色，其中每一者都发出荧光或可以其他方式在不同的光谱带中检测到，从而构成多通道图像中的通道之一。

如本文所用，术语“载片”是指任何合适尺寸的、可将生物学标本置于上面进行分析的任何基质(例如，全部或部分由玻璃、石英、塑料、硅等制成的基质)，更特别地是指标准3x 1英寸显微镜载片或标准75mm x25mm显微镜载片等“显微镜载片”。可以置于载片上的生物学标本的实例包括但不限于细胞学涂片、薄的组织切片(例如来自活检)和生物标本阵列，例如组织阵列、细胞阵列、DNA阵列、RNA阵列、蛋白质阵列或其任何组合。因此，在一个实施例中，将组织切片、DNA样品、RNA样品和/或蛋白质置于载片的特定位置上。在一些实施例中，术语“载片”可指SELDI和MALDI芯片，以及硅片。

如本文所用，术语“特异性结合实体”是指特异性结合对的成员。特异性结合对是特征在于彼此结合以实质性地排除与其他分子结合的分子对(例如，特异性结合对的结合常数可以比生物学样品中其他分子的结合对的两个成员中的任一者的结合常数大至少10^3M-1、10^4M-1或10^5M-1)。特异性结合部分的特定实例包括特异性结合蛋白(例如，抗体、凝集素、链霉亲和素和蛋白A等抗生物素蛋白)。特异性结合部分也可以包括由这种特异性结合蛋白特异性结合的分子(或其部分)。

如本文所用，术语“染色剂”、“染色”或类似的术语通常是指对生物学标本的任何处理，所述处理检测和/或区分生物学标本中特定分子(例如脂质、蛋白质或核酸)或特定结构(例如正常或恶性细胞、细胞质、核、高尔基氏体或细胞骨架)的存在、位置和/或量(例如浓度)。例如，染色可以将生物学标本的特定分子或特定细胞结构与周围部分进行比对，并且染色的强度可以测定所述标本中特定分子的量。染色不仅可以和明场显微镜一起使用，而且还可以和相衬显微镜、电子显微镜和荧光显微镜等其他观察工具一起使用，以用于辅助观察分子、细胞结构和生物体。一些由***进行的染色可以让细胞的轮廓清晰可视。由所述***进行的其他染色可依赖于染色的且不对其他细胞组分染色或对其他细胞组分相对极少染色的特定细胞组分(例如分子或结构)。由所述***进行的各类染色方法的实例包括但不限于，组织化学方法、免疫组化方法和基于核酸分子间的杂交反应等分子间反应(包括非共价结合相互作用)的其他方法。特定的染色方法包括但不限于，初级染色方法(如H&E染色、子宫颈染色等)、酶联免疫组化方法，以及原位RNA和DNA杂交方法，例如荧光原位杂交(FISH)。

本文公开了设计为增强明场图像和/或暗场图像以更好地实现图像内的核检测的***和方法。在一些实施例中，应用适于增强细胞核周围的边界结构或连续边缘的滤波器。在一些实施例中，应用的滤波器为Frangi滤波器。在生成增强图像后，可计算细化图像，其中细化图像至少部分地基于增强图像。在一些实施例中，然后可使用该细化图像作为自动化核检测算法的输入图像。申请人认为，本文所公开的***和方法能够实现改善的核检测，尤其是在膜或核染色剂微弱或无法检测的情况下。在一些实施例中，***和方法相对更高效，并且需要较少的计算资源以实现细胞核的检测。在一些实施例中，***比现有技术的***能够更快速地检测核。

本公开的至少一些实施例涉及用于分析从生物学样品(包括生物样品)捕获的图像数据的数字病理***和方法，这些样品用一种或多种初染剂(如苏木精和伊红(H&E))和一种或多种检测探针(如含有特异性结合实体的探针，所述实体有助于标记所述样品内的靶标)染色。在一些实施例中，对生物学样品进行染色以检测细胞核和/或细胞膜(例如，对生物学样品染色以检测是否存在膜生物标志物或核生物标志物)。

图1示出了一个根据一些实施例的用于成像和分析标本的数字病理***200。在一些实施例中，数字病理***包括例如数字数据处理设备(如计算机，包括用于从载片扫描仪、照相机、网络和/或存储介质接收图像数据的接口)。在其他实施例中，数字病理***200可以包括成像设备12(如具有扫描承载标本的显微镜载片装置的设备)和计算机14，据此，所述成像设备12和计算机可以通信的形式联接在一起(如直接地，或通过网络20间接地联接)。所述计算机***14可以包括台式计算机、笔记本电脑、平板电脑或类似物、数字电子电路、固件、硬件、存储器、计算机存储介质、计算机程序或指令集(如所述程序存储在所述存储器或存储介质内)、一个或多个处理器(包括编程处理器)，以及任何其他硬件、软件或固件模块或其组合。例如，所述图1中示出的计算***14可以包括一台具有显示装置16和外壳18的计算机。所述计算机可以二值形式存储数字图像(存储在本地，如存储器中、服务器上，或另一个网络连接设备上)。所述数字图像也可以分为像素矩阵。所述像素可以包括由比特深度定义的一个或多个比特的数字值。本领域技术人员将认识到，可以利用其他计算机设备或***，并且本文所述的计算机***可以通信的形式与附加组件(如标本分析仪、显微镜、其他成像***、自动化载片制备设备等)联接。本文将进一步对这些附加组件中的一些附加组件以及各种可利用的计算机、网络等进行说明。

一般来说，所述成像设备12(或包括存储于存储器或一个或多个存储器中的预扫描的图像的其他图像源)可以包括但不限于一个或多个图像捕捉装置。图像捕捉装置可以包括但不限于照相机(如模拟相机、数字相机等)、光学器件(如一个或多个透镜、传感器聚焦透镜组、显微镜物镜等)、成像传感器(如电荷耦合器件(CCD)、互补金属氧化物半导体(CMOS)图像传感器等)、感光胶片等。在数字实施例中，所述图像捕捉装置可以包括多个镜头，这些镜头可协作证明具备即时对焦功能。图像传感器，例如，CCD传感器可以捕获所述标本的数字图像。在一些实施例中，所述成像设备12是明场成像***、多光谱成像(MSI)***或荧光显微镜***。数字化组织数据可以例如由图像扫描***生成，例如VENTANA MEDICALSYSTEMS，Inc.(Tucson,Arizona)的VENTANA DP200扫描仪或其他合适的成像设备。本文将进一步描述其他成像设备和***。本领域技术人员将认识到，由所述成像设备12采集的数字彩色图像通常可以由基本彩色像素组成。每个彩色像素均可以在三个数字分量上进行编码，每个分量均包含相同数量的比特数，且每个分量均对应于一种原色，一般是红、绿或蓝，也用术语“RGB”分量表示。

图2概述了在本公开的数字病理***200内利用的各种模块。在一些实施例中，所述数字病理***200采用具有一个或多个处理器220和至少一个存储器201的计算机设备或计算机实现的方法，所述至少一个存储器201存储了用于由一个或多个处理器执行的非暂时性计算机可读指令，以使一个或多个处理器(220)执行一个或多个模块(如模块202至210)中的指令(或存储数据)。

进一步参照图2，在一些实施例中，***包括：(a)成像模块202，其适于生成染色生物学样品的图像数据，例如针对一种或多种蛋白质生物标志物的存在染色的第一图像以及针对一种或多种核酸生物标志物的存在染色的第二图像；(b)解混模块203，其用于将采集的具有一个以上染色的图像(例如明场图像)解混为单个通道图像；(c)Frangi滤波器模块204，其适于应用Frangi滤波器以增强获得的输入图像内的某些边界结构；(d)图像细化模块205，其用于进一步处理图像，诸如Frangi滤波器增强图像；(e)核检测模块206，其用于检测核种子中心；以及(f)可视化模块207，其用于生成某些图像叠合。本领域技术人员将认识到，图2中未描述的附加模块或数据库可纳入到所述工作流程中。例如，可以运行图像预处理模块，以将某些滤波器应用于采集的图像或识别所述组织样品内的某些组织学和/或形态学结构。此外，可以利用目标区域选择模块来选择图像的特定部分实施分析。

转向图3A，本公开提供了一种由计算机实现的增强第一输入图像内的边界结构(步骤300)的***和方法。可通过应用Frangi滤波器诸如借助Frangi滤波器模块204来增强边界结构。在一些实施例中，通过应用Frangi滤波器来增强边界结构，这些结构包括膜结构、细胞质中的结构和核结构。在生成通过应用Frangi滤波器增强的图像之后，检测至少在所生成的图像内的核种子中心(步骤310)。当然，可以将步骤300中生成的边界结构增强的图像与其他图像(例如获得的其他输入图像或其他增强图像)组合(例如加性或加权组合)，并且可使用该组合图形或其变体检测核种子中心。

在一些实施例中，并且参照图3B，提供了一种由计算机实现的方法，该方法包括：(a)获得一个或多个输入图像，例如解混图像通道图像、暗场图像等(步骤310)；(b)将Frangi滤波器应用于所获得的输入图像中的至少第一个以提供至少第一增强图像(步骤311)；(c)至少基于第一增强图像，生成细化图像(步骤312)；以及(d)检测细化图像中的核(步骤313)。本文将进一步详述这些步骤中的每一者。

图像采集模块

在一些实施例中，作为初始步骤并且参照图2，数字病理***200运行成像模块202以捕获具有一种或多种染色剂的生物学样品的图像或图像数据(例如来自扫描设备12)(步骤310)。在一些实施例中，接收或采集的图像是RGB图像或多光谱图像(例如多路明场和/或暗场图像)。在一些实施例中，所述捕获的图像存储在存储器201中。在一些实施例中，利用采集的图像作为所述一个或多个获得的输入图像(参见图3B的步骤310)。

图像或图像数据(本文可互换使用)可使用所述扫描设备12采集，例如实时采集。在一些实施例中，如本文所述，所述图像是从显微镜或其他能够捕获承载标本的显微镜切片的图像数据的仪器中采集。在一些实施例中，使用能够扫描图像贴片的扫描仪等二维扫描仪，或者VENTANA DP 200扫描仪等能够逐行扫描图像的线型扫描仪来采集图像。替代地，所述图像可以是先前已经采集(如扫描)并存储于一个或多个存储器201中的图像(或者通过网络20从服务器中检索的图像)。

在一些实施例中，所述接收到的作为输入的图像是整个切片图像。在其他实施例中，所述接收到的作为输入的图像是整个切片图像的一部分。在一些实施例中，整个切片图像被分解成几个部分，如贴片，并且每个部分或贴片可以单独分析(如使用图2中列出的模块和至少图3B中示出的方法)。在单独分析所述部分或贴片后，每个部分或贴片的数据可以单独存储和/或在整个载片水平下报告。

所述生物学样品可以通过应用一种或多种染色剂进行染色，并且由此产生的图像或图像数据包括对应于一种或多种染色剂中每一者的信号。显色染色剂包括苏木精、伊红、固红或3,3'-二氨基联苯胺(DAB)。在一些实施例中，生物学样品用初染剂(例如苏木精)染色。在一些实施例中，生物学样品用二次染色剂(例如伊红)染色。在一些实施例中，生物学样品在IHC测定中针对特定生物标志物而染色。当然，本领域技术人员将认识到，任何生物学样品也可以用一种或多种荧光团染色。

在一些实施例中，所述输入图像是仅具有单一染色剂的单纯形图像(如，用3,3'-二氨基联苯胺(DAB)染色)。在一些实施例中，所获得的输入通道图像为一系列单纯形图像。在一些实施例中，所述生物学样品可以在两种或多种染色剂的多路分析中染色(从而提供多路图像)。在一些实施例中，针对至少两种生物标志物对所述生物学样品进行染色。在其他实施例中，针对至少两种生物标记物的存在对所述生物学样品进行染色，并且还用初染剂(如苏木精)对所述生物学样品进行染色。

在一些实施例中，针对至少一种淋巴细胞标志物的存在对样品染色。淋巴细胞标志物包括CD3、CD4和CD8。一般而言，CD3为T细胞的“通用标志物”。在一些实施例中，执行进一步分析(染色)以鉴别T细胞的具体类型，例如调节性、辅助性或细胞毒性T细胞。例如，CD3+ T细胞可进一步区分为CD8生物标志物(CD8为细胞毒性T淋巴细胞的特异性标志物)呈阳性的细胞毒性T淋巴细胞。CD3+ T细胞也可区分为Perforin(Perforin是在细胞毒性T细胞和自然杀伤细胞的细胞质颗粒中表达的膜分解蛋白)呈阳性的细胞毒性T淋巴细胞。细胞毒性T细胞为实际上“杀死”肿瘤细胞的效应细胞。据信这些细胞的作用机理是通过直接接触以将消化酶颗粒酶B引入肿瘤细胞细胞质中，从而杀死肿瘤细胞。类似地，CD3+ T细胞可进一步区分为FOXP3生物标志物呈阳性的调节性T细胞。FOXP3为核转录因子，是调节性T细胞的最具特异性的标志物。同样，CD3+ T细胞可进一步区分为CD4生物标志物呈阳性的辅助性T细胞。

在一些实施例中，针对一种或多种免疫细胞标志物对样品进行染色，至少包括通过苏木精和伊红染色进行检测的CD3或总淋巴细胞。在一些实施例中，还可以包括至少一种附加T细胞特异性标志物，诸如CD8(细胞毒性T淋巴细胞的标志物)、CD4(辅助性T淋巴细胞的标志物)、FOXP3(调节性T淋巴细胞的标志物)、CD45RA(天然T淋巴细胞的标志物)和CD45RO(记忆T淋巴细胞的标志物)。在一个具体实施例中，使用至少两种标志物，包括人CD3(或通过H&E染色进行检测的总淋巴细胞)和人CD8，其中可以用两种标志物同时标记肿瘤组织的单个切片，或者可以使用连续切片。在其他情况下，免疫细胞生物标志物中的至少一者是在苏木精和伊红染色切片中鉴别出的淋巴细胞。

在一些实施例中，针对淋巴细胞生物标志物和肿瘤生物标志物的存在对样品染色。例如，在上皮肿瘤(癌)中，细胞角蛋白染色用于鉴别肿瘤细胞以及正常上皮。这些信息以及肿瘤细胞相比于正常上皮细胞异常过表达细胞角蛋白的事实，使人们能够鉴别肿瘤与正常组织。对于来源于神经外胚层的黑素瘤组织，S100生物标志物具有类似的用途。

可通过各种生物标志物(包括PD-1、TIM-3、LAG-3、CD28和CD57)进一步区分T细胞(例如CD8阳性细胞毒性T细胞)。因此，在一些实施例中，T细胞经各种淋巴细胞生物标志物(例如CD3、CD4、CD8、FOXP3)中的至少一种染色以实现其鉴别，并且经附加物生物标志物(LAG-3、TIM-3、PD-L1等)染色以实现进一步区分。在一些实施例中，针对淋巴细胞生物标志物和PD-L1对生物学样品进行染色。例如，肿瘤细胞可区分为生物标志物PD-L1呈阳性的细胞，据信该生物标志物影响肿瘤细胞与免疫细胞的相互作用。

典型的生物学样品在对所述样品进行染色的自动化染色/测定平台中进行处理。市场上有多种适合用作染色/测定平台的商用产品，Ventana Medical Systems,Inc.(Tucson,AZ)的Discovery^TM产品就是其中一个实例。照相机平台还可以包括明场显微镜，例如Ventana Medical Systems,Inc.的VENTANA iScan HT或VENTANA DP 200扫描仪，或任何具有一个或多个物镜和数字成像器的显微镜。可以使用其他技术捕获不同波长的图像。进一步地，适用于染色生物学标本成像的照相机平台是本领域中已知的，并且可从Zeiss、Canon、Applied Spectral Imaging等公司商购获得，并且这种平台可容易地适于在本主题公开的***、方法和设备中使用。

在一些实施例中，对所述输入图像进行掩蔽，使得所述图像中只存在组织区域。在一些实施例中，生成组织区域掩模以从组织区域中掩蔽非组织区域。在一些实施例中，可以通过识别所述组织区域并自动或半自动地(即以最小的用户输入)排除背景区域(如对应于无样品玻璃的整个切片图像区域，例如仅存在来自成像源白光的区域)来创建组织区域掩模。本领域技术人员将认识到，除了从组织区域掩蔽非组织区域外，所述组织掩蔽模块还可以根据需要掩蔽其他目标区域，例如识别为属于某种组织类型或属于疑似肿瘤区域的组织的一部分。在一些实施例中，使用分割技术通过从所述输入图像中的非组织区域对组织区域进行掩蔽来生成组织区域掩蔽图像。同样，合适的分割技术在现有技术中也是已知的，(参见Digital Image Processing，第三版，Rafael C.Gonzalez、Richard E.Woods，第10章，第689页和Handbook of Medical Imaging，Processing and Analysis，IsaacN.Bankman Academic Press，2000，第2章)。

在一些实施例中，利用图像分割技术对图像中的数字化组织数据和载片进行区分，该组织数据对应于前景并且载片对应于背景。在一些实施例中，计算整个切片图像中的目标区域(AOI)，以检测AOI中的所有组织区域，同时限制所分析的背景非组织区域的量。多种不同的图像分割技术(如基于HSV颜色的图像分割、实验室图像分割、均值偏移彩色图像分割、区域生长、水平集方法、快速推进法等)可用于确定例如组织数据和非组织或背景数据的边界。基于至少部分分割技术，该方法还可以生成可用于识别数字化载片数据中那些对应于组织数据的部分的组织前景掩模。替代性地，该方法可生成用于识别那些数字化载片数据中与组织数据不对应的部分的背景掩模。

该识别可以通过图像分析操作(例如边缘检测等)实现。组织区域掩模可用于去除图像(例如非组织区域)中的非组织背景噪声。在一些实施例中，所述组织区域掩模的生成包括以下一个或多个操作(但不限于以下操作)：计算低分辨率分析输入图像的亮度、生成亮度图像、将标准偏差滤波器应用到所述亮度图像、生成滤波后的亮度图像，并将阈值应用到滤波后的亮度图像，从而将亮度高于给定阈值的像素设定为1，并将低于阈值的像素设定为0，以及生成所述组织区域掩模。与组织区域掩模的生成有关的其他信息和实例在题为“An Image Processing Method and System for Analyzing a Multi-Channel ImageObtained from a Biological sample Being Stained by Multiple Stains”的美国公开第2017/0154420号中公开，其公开内容通过引用整体合并于本文。

解混模块

在一些实施例中，接收的输入图像可能是多路图像，即所接收的图像是经一种以上的染色剂染色的生物学样品的图像。在这些实施例中，在进一步处理前，首先将多路图像解混成其组成通道，例如用解混模块203，其中每个解混通道对应于特定的染色剂或信号。在一些实施例中，多路复用明场图像首先经过解混以获得至少两个图像通道图像，例如DAB图像通道图像或苏木精图像通道图像。在一些实施例中，解混图像通道图像可用作获得的一个或多个输入图像，可以将Frangi滤波器应用于这些图像(参见图3B的步骤310)。

在一些实施例中，在包含一种或多种染色剂的样品中，可以为每条含一种或多种染色剂的通道产生单个图像。本领域技术人员将认识到，从这些通道中提取的特征可用于描述存在于组织的任何图像中的不同生物结构(如核、膜、细胞质、核酸等)。

在一些实施例中，由所述成像模块202提供的多光谱图像是与单个生物标记物和噪声分量相关联的基础光谱信号的加权混合物。在任何特定像素处，混合权重与所述组织中特定位置的基础同定位生物标记物的标记物表达和该位置的背景噪声成正比。因此，不同像素之间的混合权重不同。本文公开的光谱解混方法将多通道像素值矢量在每个像素处分解成组成生物标记物端员或组分的集合，并估计所述每个生物标记物的单个组成染色剂的比例。

解混是指将一个混合像素的测量光谱分解为表示所述像素中每个端员比例的一组组成光谱或端员，以及一组相应的级分或丰度的程序。具体而言，所述解混过程可以提取染色剂特异性通道，从而可使用对于标准类型的组织和染色剂组合来说公知的参照光谱来确定单个染色剂的局部浓度。所述解混可以使用从控制图像中检索或从观察中的图像估计的参照光谱。解混每个输入像素的分量信号可以检索和分析染色特异性通道，例如H&E图像中的苏木精通道和曙红通道，或IHC图像中的二氨基联苯胺(DAB)通道和复染(如苏木精)通道。术语“解混”和“颜色反卷积”(或“解卷积”)或类似的术语(如“去卷积”、“解混”)在现有技术中可互换使用。

在一些实施例中，所述多路图像与解混模块205以线性解混方式进行解混。例如，在“Zimmermann‘Spectral Imaging and Linear Unmixing in Light Microscopy’(光学显微镜中的光谱成像和线性解混)Adv Biochem Engin/Biotechnology(2005)95:245-265'和在C.L.Lawson和R.J.Hanson，‘Solving least squares Problems’(求解最小二乘方问题)，PrenticeHall，1974，第23章，第161页”中描述了线性解混，两者的公开内容通过引用整体并入本文。在线性染色解混中，任何像素处的测量光谱(S(λ))被认为是染色剂光谱分量的线性混合物，并且等于所述像素处表示的每个单个染色剂的彩色基准(R(λ))的比例或权重(A)之和。

S(λ)＝A₁·R₁(λ)+A₂·R₂(λ)+A₃·R₃(λ).......A_iry(λ)

更普遍地，可以矩阵形式表示为

S(λ)＝ΣA_iry(λ)或S＝R·A

如果具有M个采集到的通道图像和N个单个染色剂，则所述M x N矩阵R的列是本文导出的最佳表色系，所述N x 1向量A为单个染色剂比例的未知数，并且M x 1向量S为像素处测量的多通道光谱向量。在这些方程中，在采集多路图像期间测量每个像素(S)中的信号，并导出本文所述的参照光谱，即最佳表色系。通过计算各种染色剂(A_i)对测量光谱中每个点的贡献来确定它们的贡献。在一些实施例中，使用反最小二乘方拟合法求解，该方法通过求解以下方程组来最大程度地减小测量和计算光谱间的平方差。

在该方程中，j代表检测通道的数量，i等于染色剂的数量。所述线性方程的解通常允许受约束的解混，迫使权重(A)相加到一起。

在其他实施例中，使用2014年5月28日提交的题为“Image AdaptivePhysiologically Plausible Color Separation”的WO2014/195193中所述的方法来完成解混，其公开内容通过引用整体并入本文。通常，WO2014/195193描述了一种通过使用迭代优化的参照向量来分离所述输入图像的分量信号的解混方法。在一些实施例中，将测定中的图像数据与特定于所述测定的特征的预期或理想结果相关联以确定质量度量。在图像质量较低或与理想结果相比相关性不佳的情况下，调整矩阵R中的一个或多个参照列向量，利用调整后的参照向量迭代重复解混，直到所述相关性显示出满足生理和解剖要求的高质量图像。所述解剖学、生理学和测定信息可用于定义应用于测量的图像数据以确定质量度量的规则。该信息包括如何对组织进行染色，组织内的哪些结构打算或不打算进行染色，以及结构、染色剂与特定于待处理测定的标记物之间的关系。迭代过程会产生可以生成图像的染色特异性向量，所述图像可准确识别目标结构和生物相关信息，并且没有任何噪声或不需要的光谱，因此所述过程适合分析。所述参照向量调整到搜索空间内。所述搜索空间定义了参照向量可以代表染色剂的取值范围。所述搜索空间的确定可以通过扫描包括已知或通常发生的问题在内的各种代表性的训练测定，并确定训练测定的高质量参照向量集来实现。

FRANGI滤波器模块

在一些实施例中，***200可利用Frangi滤波器模块204将Frangi滤波器应用于获得的一个或多个输入图像(单独或组合)，包括获得的解混图像通道图像，以提供一个或多个增强图像(参见图3B的步骤311)。在一些实施例中，可应用Frangi滤波器以增强一个或多个输入图像中经膜染色的细胞和/或增强模糊的核。在一些实施例中，可利用Frangi滤波器模块204生成至少两个增强图像，诸如膜边界结构得到增强的第一增强图像和核边界结构得到增强的第二增强图像(或者，就此而言，是指核边界结构得到增强的两个图像或替代性地膜边界结构得到增强的两个图像)。在其他实施例中，可利用Frangi滤波器模块204以生成多个增强图像，例如三个或更多个增强图像(包括膜增强图像和/或核增强图像的任意组合)。在一些实施例中，然后可使用由模块204生成的增强图像作为图像细化模块205的输入。

Frangi滤波器由Alejandro F.Frangi、Wiro J.Niessen、Koen L.Vincken、MaxA.Viergever描述于“Multiscale vessel enhancement filtering”(MICCAI 1998)中，其公开内容通过引用整体合并于本文。Frangi滤波器利用线结构的Hessian矩阵的特征向量方向和特征值来增强线结构。在一些实施例中，利用Frangi滤波器增强输入图像内的边界结构，例如膜边界结构或核边界结构。在一些实施例中，应用Frangi滤波器生成其中细长结构(诸如膜)和斑点状结构(诸如细胞核)得到增强的图像。在一些实施例中，Frangi滤波器可配置为检测具有不同水平的局部线性的结构。在一些实施例中，膜和核边缘在每个局部点处呈现一定的线性。为解决这一问题，在一些实施例中，β可以修改Frangi滤波器(如下所示)的变量(例如，设置β＝0.5)，如本文进一步所述。

根据Hessian矩阵的所有特征值获得“血管性”指标。在血管检测的背景下分析二阶信息(Hessian)具有直观的依据。高斯内核在标度s上的二阶导数生成探针内核，该探针内核在导数方向上测量范围(-s,s)内和范围外区域之间的对比度(参见此处显示的公式和图4A)。

“n”维连续函数“f”的Hessian矩阵包括二阶导数。二维图像的Hessian矩阵为

在每个像素位置x₀和标度s上计算Hessian矩阵H_o,s。Frangi滤波器使用s作为高斯近似二阶导数的标准偏差(σ)。根据Hessian矩阵H_0,s的特征值λ1<λ2，使用“相异性指标”R_B和“二阶结构性”S的公式(参见下文)计算像素位置x₀处的“血管性”特征V₀(s)。对于2D图像，令λ_k为具有第k个最小量值的Hessian特征值(即，|λ₁|≤|λ₂|)。特别地，属于血管区域的像素将通过λ₁以小的量值(理想情况下为零)和λ₂大的量值的信号指示(符号表示亮度/暗度)。用于检测标度s的明亮线性结构的Frangi滤波器的定义如下：

其中

其中β和c是控制滤波器灵敏度的常数。D是图像的尺寸。R_B是2D中的斑点度指标，并且说明二阶椭圆的偏心率。R_B说明与斑点状结构的偏差，但无法区分背景噪音与实际血管。由于背景像素的导数量值小，因此小的特征值S有助于区分噪音与背景。参数β和c由用户定义，并且可通过调整以控制滤波器的灵敏度。在一些实施例中，较小的β参数使Frangi滤波器对较细长的结构敏感。在一些实施例中，较小的c参数使滤波器对微弱信号更敏感。参数s表示滤波器的空间尺度，其对应于用于计算导数的高斯内核探针的宽度。应用较大的s参数，将使Frangi滤波器对较宽的结构更敏感。

图10A示出范围(-s,s)内高斯内核探针内侧/外侧对比度的二阶导数。在图10A中阐述的特定实例中，s＝1。图10B示出2D Hessian特征向量如何指示局部结构的存在。例如，H＝高，L＝低，N＝噪音但通常较小，+/-表示特征值的符号。在一些实施例中，如果两个特征值的绝对值均较小(N,N)，则不存在明显的线性结构。在其他实施例中，如果一个特征值低，而另一个特征值高，则表明存在线性结构，其可以是亮结构(L,H-)(像“脊”)，也可以是暗结构(L,H+)(像“谷”)。在其他实施例中，如果两个特征值均较高，则表明存在斑点状结构，其可以是亮结构(H-,H-)或暗结构(H+,H+)。

Frangi滤波器在检测不同尺度的明暗线性结构方面的通用性可用于检测细胞的各种边界界定的结构(例如膜结构、核结构、细胞质结构)。针对该具体任务，由于细胞边界界定的结构(例如，细胞核的边缘或细胞膜)的形态线性直观地介于完美的直线与斑点之间，因此首先将参数β设置为等于0.5，以使滤波器对任意局部形态上接近椭圆的结构更敏感。

根据原始染色模式不同，即待检测的生物标志物是核标志物还是膜/细胞质标志物，可以使用Frangi+或Frangi-滤波器。在一些实施例中，应将出现在核或细胞质染色图像中的细胞“边缘”检测为暗结构(即，使用Frangi-滤波器)，因为细胞“边缘”的暗侧通常在IHC图像中具有更好的信号均匀性。另一方面，在膜染色图像中，膜在染色强度图中显示为“脊”，并且应检测为亮结构(即，使用Frangi+滤波器)。

关于Frangi滤波器的尺度，在细胞检测中，据信细胞边缘或膜的宽度不存在较大变化。实验表明，固定值通常很好地适用于不同组织标志中的各种细胞类型。在一些实施例中，将值s设置为大约1微米，其大致对应于以约20倍的放大倍数扫描的显微图像中的大约2个像素。

最后，参数“c”是唯一需要根据图像的信号电平凭经验设置的参数。在一些实施例中，由于滤波器响应受到斑点度测量项的严格控制，因此该参数不使滤波器产生强的信号电平依赖性。通过设置参数“c”，我们实际上更接近设置信号电平的最低要求，这是实际应用中所希望的。

在一些实施例中，在将Frangi滤波器应用于获得的输入图像的过程中所用的缩放因子为约2个像素至5个像素，相当于以20倍放大倍数扫描的图像中的约1微米至3微米，即每个像素约0.5微米。在其他实施例中，选择缩放因子以促进细胞边界的增强，例如将缩放因子选择为约2(参见图9C)。在其他实施例中，选择缩放因子以促进细胞主体的增强，例如将缩放因子选择为约5(参见图9D)。在一些实施例中，当图像中存在细胞的核时，期望增强细胞主体，这对于完成细胞分割工作(即，划分每个个体细胞所覆盖的区域)是有益的。

在一些实施例中，可以将Frangi滤波器多次应用于获得的同一输入图像，但其中Frangi滤波器使用不同的缩放因子独立地应用于每个图像。例如，可以首先将Frangi滤波器以第一缩放因子(例如2)应用于经DAPI染色获得的输入图像，然后分别以第二缩放因子(例如5)应用于同一原始图像，以提供第一增强图像和第二增强图像，每个增强图像具有不同的增强模式(比较图9C和图9D)。在一些实施例中，通过使用相对较大的缩放因子(例如，缩放因子为5)，将增强尺度范围内的宽度的整个细胞。在一些实施例中，对于更宽(更大)的细胞，轮廓将得到增强，使得所有细胞(无论原始信号电平如何)均得到增强，使其具有与背景相似的对比度，从而使得在经过Frangi滤波器增强的图像上进行细胞检测/分割，比起在原始图像(即，未应用Frangi滤波器增强的图像)上执行相同的操作更容易。在其他实施例中，使用较小的缩放因子(例如缩放因子为2)来增强细胞边缘(由于背景中信号的均匀性，因此需要暗侧)，其在增强其他细胞边界界定的结构(例如膜)以外可能是任选的。

图像细化模块

在通过将Frangi滤波器应用于获得的图像通道图像以生成一个或多个增强图像后，使用图像细化模块205，至少基于所生成的增强图像中的一个，生成细化图像(图3B的步骤312)。

在一些实施例中，通过组合至少两个图像而生成由图像细化模块生成的细化图像，其中，该组合可以是例如加性组合或加权组合。在一些实施例中，组合输入图像(例如获得的输入通道图像、增强图像或它们的任意组合)，诸如通过平均或求和(基于逐像素)进行组合，以产生输出组合图像。在其他实施例中，组合图像为两个或更多图像的加权组合。在一些实施例中，当一个输入图像的动态范围与Frangi滤波器输出图像的动态范围不同时，需要使用加权组合图像。在一些实施例中，当膜信号出现在核顶部时，使用图像加权以防止或减轻不希望的逆像增强(例如，在核染色图像中膜所在的区域形成谷)。据信这种情况可能发生于细长细胞，或者发生于当来自其他细胞的一些膜碎片出现在核顶部时。例如，当DAPI信号低时，增强的膜图像的权重可能较高；替代性地，当DAPI信号高时，增强的膜图像的权重可能相对较低。

转向图4A，在一些实施例中，可通过应用Frangi滤波器(步骤411)来增强所获得的一个或多个输入图像(步骤410)。然后可以将那些增强图像与图像细化模块205组合，以生成至少来源于增强图像之一的组合图像(步骤412)。在一些实施例中，组合图像来源于增强图像和第二图像。在一些实施例中，第二图像为获得的输入通道图像。在其他实施例中，第二图像为另一个增强图像。在其他实施例中，组合图像来源于至少三个图像，所述至少三个图像来源于增强图像或获得的输入图像的任意组合。以举例的方式，假设获得的4个输入通道图像为A、B、C和D。另外，假设两个增强图像通过应用Frangi滤波器来生成，以提供B'和C'增强图像。根据该实例，组合图像可包括A+B'。替代性地，组合图像可包括A+A'。另一种可能的组合图像包括A+C'+D。

在一些实施例中，可使用图像细化模块205进一步处理输入图像或增强图像，然后将处理后的图像与另一个图像进行组合。在一些实施例中，细化模块205生成作为输入接收的图像的逆像。例如，细化模块可包括其中生成增强图像的逆像(或互补图像)的指令(比较例如图6D和图6E)。为进一步阐述上述实例，可生成增强图像B'的逆像以提供B”。所得组合图像可包括例如B”+A的加性组合；或者可例如包括B”+A+D的加性或加权组合。

在一些实施例中，细化模块205由增强图像或组合图像生成分割掩模图像。“分割掩模”是例如由分割算法创建的图像掩模，该算法允许将一个或多个像素斑点(用作“前景像素”)与其他像素(构成“背景”)分开。例如，分割掩模可通过核分割算法生成，并且将分割掩模应用于示出组织切片的图像上，可鉴别图像中的核斑点。

转向图4B，在一些实施例中，可通过应用Frangi滤波器(步骤421)来增强所获得的一个或多个输入图像(步骤420)。然后可将所得增强图像提供给图像细化模块205，使得可以生成分割掩模图像(步骤422)，从而可使用分割掩模图像检测核(步骤423)。

在一些实施例中，分割掩模图像由单个增强图像生成。例如，可生成单个增强图像，并且对其进行阈值化，以提供分割掩模图像。在其他实施例中，由组合图像生成分割掩模图像，该组合图像来源于至少第一增强图像和另一个图像(例如，第二增强图像、另一个输入通道图像或它们的任意组合)。可使用上文所述以及上述实例所示的程序中的任一者生成组合图像。

可应用本领域的普通技术人员已知的任何滤波器来提供满足本公开的标准的分割掩模。在一些实施例中，通过应用一系列滤波器来实现前景分割，其中包括全局阈值化、局部适应性阈值化、形态运算和分水岭变换。滤波器可依次运行，或者按本领域的普通技术人员认为必要的任何顺序运行。当然，可以迭代地应用任何滤波器，直至获得期望的结果为止。在一些实施例中，通过对至少来源于计算出的增强图像的第一增强图像或组合图像进行阈值化，生成分割掩模图像。一般而言，阈值化为用于将强度图像(I)转换为二进制图像(I')的方法，该方法为所有强度大于或小于某个阈值(此处为全局阈值)的像素分配值1或0。换言之，根据强度值将阈值化应用于分区像素。其他阈值化方法描述于美国专利公开第2017/0337695号和第2018/0240239号中，这些美国专利公开的公开内容通过引用整体并入本文。在一些实施例中，将生成的分割掩模图像提供给核检测模块206。

在一些实施例中，应用形态学算子以去除伪影和/或填充孔。实际上，可应用本领域中已知的任何形态学运算子，条件是这些形态学运算子的应用使得根据需要去除伪影和/或填充孔。

形态学为集合论方法，将图像视为一组元素，并且将图像处理为几何形状。其基本思想是探查具有简单的预定义形状的图像，其中该算法得出关于该形状如何拟合或错配图像内的形状的结论。这一简单的探针称为结构元素。在一些实施例中，使用盘状结构元素执行形态学运算。在一些实施例中，盘状元素的半径在约2至约3的范围内。在其他实施例中，盘状元素的半径为2。

在一些实施例中，执行“闭合”形态学运算，使得可保留前景对象的圆形性质。据信“闭合”融合了狭窄缝隙，并且填充图像中的孔和间隙。在一些实施例中，当执行“填充孔”的形态学运算时，利用连通域确定尺寸小于或等于约150个像素的任何“孔”。据信在填充任何内部孔后，“填充孔”的运算有助于返回有意义的斑点，并且最终返回更准确的分割掩模。

替代性地，可通过形态学运算(即有条件的扩张运算)填充孔。例如，令A成为包含一个或多个连通域的集合。形成数组X0(其尺寸与包含A的数组相同)，其元素为零(背景值)，但已知对应于A中的每个连通域中的每个位置(设置为1，前景值)除外。目的是从X0开始，并且通过以下迭代过程查找所有连通域：

其中B为合适的结构元素。当Xk＝Xk-1并且Xk包含A的所有连通域时，该程序终止。然后，将点检测模块的结果提供给分类模块。

在一些实施例中，然后将连通域标记应用于前景分割掩模(即，通过应用上述分割滤波器所生成的二进制图像，其中连通域标记提供对分割掩模中单个核的访问)。在一些实施例中，连通域标记过程用于使用标准算法返回二进制图像中的连续区域，该标准算法如以下文献中所述，该文献的公开内容通过引用整体并入本文：Hanan Samet和MarkkuTamminen，“An improved approach to connected component labeling of images”，inProceedings of the IEEE Conference on Computer Vision and PatternRecognition，Miami，Florida，1986，pp.312-318。如本文所应用的，连通域标记扫描图像，并且基于像素的连通性将其像素分组，即连通域中的所有像素在二进制前景分割掩模中的相应位置均具有非零值，并且以某种方式彼此连通。

自动化核检测模块

在生成细化图像之后，将细化图像提供给核检测模块206，以自动检测细化图像内的核。在一些实施例中，对接收到的作为输入的细化图像进行处理，以检测核中心(种子)和/或分割核。在一些实施例中，可通过应用基于径向对称的方法来执行自动化候选核检测(参见：Parvin和Bahram等人，“Iterative voting for inference of structuralsaliency and characterization of subcellular events”)。Image Processing,IEEETransactions on 16.3(2007):615-623，其公开内容通过引用整体并入本文)。在一些实施例中，使用径向对称性检测细胞核以检测细胞核的中心，然后基于细胞中心周围的染色强度对核进行分类。在一些实施例中，如共同受让和共同在审的专利申请WO/2014/140085A1所述进行基于径向对称性的核检测操作，该申请通过引用整体并入本文。例如，可以在图像内计算图像大小，并通过将选定区域内的大小之和相加累积每个像素处的一个或多个表决。均值漂移聚类可用于寻找所述区域的局部中心，所述局部中心代表实际的核位置。

在一些实施例中，基于径向对称性表决的细胞核检测可在彩色图像强度数据上执行，并且明确使用了核是大小不一、偏心性不同的椭圆状斑点的先验域知识。为了完成上述操作，除了所述输入图像中的颜色强度，图像梯度信息还被用于径向对称性表决，并与适应性分割过程相结合，以精确检测和定位细胞核。例如，本文使用的“梯度”是指在考虑所述特定像素周围一组像素的强度值梯度情况下计算出的特定像素的强度梯度。每个梯度相对于坐标系可以有一个特定的“方向”，该坐标系的x轴和y轴由所述数字图像的两个正交边缘定义。例如，核种子的检测包括将种子定义为被假定为位于细胞核内的点，并且作为定位细胞核的起点。第一步是使用一种基于径向对称性的非常稳定的方法检测与每个细胞核相关的种子点，进而检测类似于细胞核的椭圆状斑点结构。在径向对称性方法中，可使用基于内核的表决程序对所述梯度图像进行处理。处理每个通过表决内核来累积表决数的像素，由此创建一个表决响应矩阵。所述内核基于在该特定像素处计算出的梯度方向、最小和最大核尺寸的预期范围，以及表决内核角度(通常在[π/4,π/8]范围内)。在由此产生的表决空间中，将具有表决值高于预定阈值的局部极大值位置保存为种子点。在随后的分割或分类过程中，将无关联的种子丢弃。美国专利公开第2017/0140246号讨论了其他方法，其公开内容通过引用整体并入本文。

在一些实施例中，核可以使用本领域普通技术人员已知的其他技术识别。例如，可以从细化图像通道计算出图像大小，并且可以为每个指定大小周围的像素分配多个以所述像素周围区域内的大小之和为准的表决的数量。替代地，还可以进行均值漂移聚类操作，以定位代表核实际位置的表决图像内的局部中心。在其他实施例中，核分割可用于基于目前已知的核中心，通过形态操作和局部阈值来分割整个核。在其他实施例中，可利用基于模型的分割来检测核(即，从训练数据集学习核的形状模型，并将其作为先验知识来分割所述测试图像中的核)。

在一些实施例中，随后使用为每个核单独计算的阈值，对所述核进行分割。例如，由于据信所述核区域中的像素强度可变化，因此Otsu的方法可用于在已识别的核周围的区域中进行分割操作。正如本领域普通技术人员将认识到的，Otsu的方法用于通过最小化类内方差来确定最佳阈值，并且所述方法对本领域技术人员而言是已知的。更具体地，Otsu的方法用于自动执行基于聚类的图像阈值化，或者将灰度级图像还原为二值图像。所述算法假设图像包含两类遵循双模态直方图的像素(前景像素和背景像素)。然后，计算出分隔所述两类像素的最佳阈值，这样可实现最小或相等的组合式扩散(类内方差)(因为成对平方距离之和是常数)，进而使它们的类间方差最大。

在一些实施例中，所述***和方法还包括自动分析图像中识别的核的光谱和/或形状特征，从而识别非肿瘤细胞的核。例如，可在第一步骤的第一数字图像中识别斑点。本文所用的“斑点”可以是例如数字图像的区域，其中一些属性(如强度或灰度值)保持恒定或在规定的数值范围内变化。在某种意义上，一个斑点中的所有像素可认为彼此相似。例如，可以使用基于数字图像上位置函数的导数的微分方法和基于局部极值的方法来识别斑点。核斑点是一个像素和/或轮廓形状表明其可能由一个以第一染色剂进行染色的核产生的斑点。例如，可以评估一个斑点的径向对称性，以确定是否应该将所述斑点识别为核斑点或任何其他结构，如染色假象。例如，在斑点为长条形状并且不具有径向对称性的情况下，所述斑点可能不会被识别为核斑点，而是会被识别为染色假象。根据实施例，识别为“核斑点”的斑点可以代表一组被识别为候选核并且可以进一步分析以确定所述核斑点是否代表核的像素。在一些实施例中，任何种类的核斑点均被直接用作“识别的核”。在一些实施例中，对已识别的核或核斑点进行过滤操作，以识别不属于生物标记物阳性的肿瘤细胞的细胞核，并从已识别的核的列表中去除所述已识别的非肿瘤细胞核，或者从开始就不将所述核添加到所述已识别的核列表中。

例如，可以分析所述识别的核斑点的附加光谱和/或形状特征，以确定所述核或核斑点是否为肿瘤细胞的核。例如，淋巴细胞的核比其他组织细胞(如肺细胞)的核大。在所述肿瘤细胞是从肺组织导出的情况下，通过识别所有最小尺寸或直径显著大于正常肺细胞的核平均尺寸或直径的核斑点来识别淋巴细胞的核。与淋巴细胞核有关的已识别的核斑点可以从已识别的核的集合中去除(即“过滤”)。通过过滤非肿瘤细胞的核，可以提高所述方法的准确性。由于根据所述生物标记物，非肿瘤细胞在一定程度上也可以表达所述生物标记物，因此可以在所述第一数字图像中产生非源于肿瘤细胞的强度信号。通过从已识别的核总数中识别和过滤不属于肿瘤细胞的核，可以提高识别生物标记物阳性肿瘤细胞的准确性。美国专利公开2017/0103521描述了这些方法和其他方法，这些方法的公开内容通过引用整体并入本文。在一些实施例中，一旦检测到种子，可以使用局部适应性阈值化方法，并在检测的中心周围来创建斑点。在一些实施例中，还可以引入其他方法，例如也可以使用基于标记物的分水岭算法来识别所述检测的核中心周围的细胞核斑点。PCT公开第WO2016/120442号描述了这些方法和其他方法，这些方法的公开内容通过引用整体并入本文。

可视化模块

可利用可视化模块207，使得可以示出检测到的核或种子点，以促进快速稳定的分析。在一些实施例中，可将生成的重叠图像叠加在整个切片图像或其任何部分上(例如以便于将结果传达给审阅者查看)。在一些实施例中，使用可视化模块207计算随后可以叠置在输入图像上的叠加图。图7D和图8E提供了合适的叠加图实例，其中每个细胞的各个检测到的斑点(红点)叠置在整个切片图像的一部分上。在一些实施例中，检测到的核和/或种子点可示出为具有特定颜色的成形对象(例如，点、空心圆、正方形等)。

在一些实施例中，每个检测到的核均通过种子点(诸如每个细胞内居中的一个种子点)可视化。通过计算每个鉴别出的淋巴细胞的形心或质心(诸如基于淋巴细胞的衍生区域)，得出种子点。确定不规则对象的质心的方法是本领域的普通技术人员所知的。计算出核的质心后，将其标记出来。在一些实施例中，形心或质心的位置可叠置在输入图像上，其同样可以构成整个切片图像或该切片图像的任意部分。

实例—具有形态不佳的核的经膜染色的细胞的检测

在一些实施例中，本文所公开的***和方法可用于通过增强经膜染色的细胞来检测图像中具有形态不佳的核。在一些实施例中，对于明场图像，首先应用颜色解混(诸如通过解混模块203实现)，以分离核染色剂和目标生物标志物染色剂。在一些实施例中并且参照图5A，在第一步510，通过应用Frangi滤波器，增强经膜染色的细胞，以提供第一增强图像。在一些实施例中，应用缩放因子2。随后，可生成细化图像(步骤511)。在一些实施例中，细化图像为组合图像。在一些实施例中，组合图像为至少第一增强图像与第二图像的组合。在一些实施例中，第二图像为另一个输入图像，即尚未应用Frangi滤波器的图像。在一些实施例中，第二图像为具有对应于核染色剂(例如苏木精或DAPI)的信号的图像。在生成细化图像后，检测细化图像中的核(步骤512)。在一些实施例中，所检测的核叠置于整个切片图像或其一部分上。

图6A示出DAB染色的CD20淋巴瘤图像是一个实例(其中使用DAB和苏木精检测B细胞淋巴瘤组织样品中的CD20生物标志物)。由于CD20是膜标志物，因此如图6A所示，CD20+细胞的特征在于“棕色环”。同时，CD20-细胞中通常显示为“蓝色斑点”的核可能存在于CD20+细胞中，也可能不存在于其中。因此，用于发现“环形”或“斑点”图案的细胞检测方法可能无法检测到不符合典型的染色模式的细胞。图6B提供了解混苏木精图像通道图像(I_HTX)。如I_HTX图像中所示，各个核的形态难以辨别(再次表明CD20+细胞的核通常不具有明确的“斑点”状外观)。

如图5A所示，将Frangi滤波器应用于解混DAB图像I_DAB(图6C)，并且输出如图6D所示(Frangi_DAB)。然后使用以下公式将解混苏木精图像(图6B)与Frangi滤波器输出图像(图6D)组合。在该特定实施例中，组合图像是核染色图像与增强的膜染色图像的逆像的组合。换句话说，生成Frangi_DAB增强图像的逆像，并且将其与解混的苏木精图像通道图像进行组合。利用图6E所示的所得图像进行核检测。

I_组合1.＝I_HTX+最大(I_{Frangi+_DAB})-I_{Frangi+_DAB}

在一些实施例中，解混图像来源于8位RGB输入图像。尽管据信强度值(代表光密度)无理论上限，但是光密度值通常在0至约5的范围内，该范围被视为使加法运算在数值上合理。另外，与原始膜染色图像(即I_DAB)相比，增强的膜图像(I_{Frangi+_DAB})在空间上的噪音小得多，并且强度变化较小(由于输出动态范围限制为0至1)。在所得组合图像(图6E)中，CD20-细胞和CD20+细胞均在黑色或灰色背景上显示为清晰的“斑点”。因此，可在组合图像上应用常规“斑点”检测方法进行细胞检测，例如可针对图6E中显示的输出图像运行自动化图像分析算法。

图7A-7D比较性示出根据本公开的某些实施例(例如图7B)将自动化核检测算法应用于细化图像以降低无法检测到核的可能性(比较图7D和图7C)。图7C示出了通过在解混HTX图像(其中认为CD20+细胞检测不到)上应用基于径向对称的细胞检测方法(如本文所述)所得到的细胞检测结果的实例。相比之下，通过使用组合图像(诸如图5A所示)，检测到“蓝色斑点”和“棕色环”(图7D)。该实例表明，在提出的图像预处理步骤之后，可采用单个常规的细胞检测方法来检测具有不同染色模式的高度聚集的细胞。

实例—模糊的核的检测

在一些实施例中，本文所公开的***和方法可用于检测所获得的图像中的模糊的核。转向图5B，在第一步5230，通过应用Frangi滤波器，增强经核染色的细胞，以提供第一增强图像。在一些实施例中，应用的缩放因子为5。随后，可生成细化图像(步骤521)。在一些实施例中，细化图像为分割掩模图像。在生成细化图像后，检测细化图像中的核(步骤522)。在一些实施例中，所检测的核叠置于整个切片图像或其一部分上。

图8A示出使用Ventana DP200扫描仪扫描得到的乳腺癌HER2染色图像。如图所示，苏木精染色剂看起来非常模糊(参见图8B)。使用具有较大的比例参数(例如缩放因子为5)的Frangi滤波器来增强苏木精解混图像通道图像中的核，以提供如图8C所示的增强图像。然后，将固定阈值应用于Frangi滤波器输出，以生成核掩模图像(图8D)。据信这是一种增强弱染色的核的有效方法，并且由于Frangi滤波器输出在值(0至1)范围内，因此可以相对简单地得出阈值以生成分割掩模。

图像_组合2＝Frangi_HTX_Scale5

图8E提供了经过核检测后的输出，其中将核叠置在图8A的整个切片图像上。

实例—检测多路复用的经膜染色的细胞

在一些实施例中，与多路暗场图像的情况一样，使用各个通道图像实现一种生物标志物的可视化。在一些实施例中，可通过应用Frangi滤波器来同时增强核和膜染色剂，并且可以将自动化核检测/分割方法应用于所生成的细化图像。因此，本文所公开的***和方法可用于检测所获得的图像中的模糊的核，并且还用于增强所获得的图像中的膜边界，诸如图5C和图5D所示。在一些实施例中，通过应用Frangi滤波器来增强经核染色的细胞，以提供第一增强图像(步骤530或540)。在一些实施例中，针对同一输入图像第二次运行Frangi滤波器，但采用不同的缩放因子，以提供第二增强图像(步骤541)。随后或同时，通过应用Frangi滤波器来增强经膜染色的细胞，以提供第三增强图像(步骤531)。在一些实施例中，将Frangi滤波器应用于各自经过膜染色的不同输入图像，诸如以提供第三增强图像和第四增强图像(步骤542或543)。在生成增强图像之后，生成细化图像(步骤532或544)。在一些实施例中，细化图像为组合图像，诸如由第一增强图像、第二增强图像、第三增强图像或第四增强图像中的至少两个组成的图像，其中组合可以是加性组合或加权组合。在一些实施例中，第一增强图像、第二增强图像、第三增强图像或第四增强图像中的任一个均可以在组合为组合图像之前经过进一步处理(例如，可生成并且使用增强图像之一的逆像以得出组合图像)。在一些实施例中，然后将阈值应用于组合图像，以生成分割掩模图像。在一些实施例中，然后检测所生成的分割掩模图像中的核(步骤533或545)。在一些实施例中，将核检测结果可视化，例如叠置于整个切片图像或其任意部分上。

举例来说，图9A示出5Plex图像，其中Ki67、KRT、PDCD1、DAPI、CD8A、CD3E用伪色表示。特别地，使用6通道免疫荧光(IF)板来检测5种不同的生物标志物，包括CD3、CD8和PD1膜标志物，以鉴别不同类型的T细胞(此处细胞角蛋白为细胞质标志物，用于鉴别肿瘤细胞；Ki67为核标志物，用于鉴别增殖细胞；并且最后，DAPI用于对所有细胞核染色)。该实例能够通过以下策略鉴别具有三种不同染色模式的细胞：应用Frangi滤波器以分别增强膜、细胞质和核染色剂；然后将所有生成的增强边界界定的结构与DAPI通道图像进行组合，以形成细化图像，该细化图像可提供给核检测模块206。

在一些实施例中，将Frangi滤波器应用于细胞角蛋白(KRT)染色的图像(图9E)(I_{Frangi-_Cyto})，以提供增强的图9F。还将Frangi滤波器应用于PD1、CD8和CD3染色图像的组合I_Tcell(图9G)，其中所用标度＝1微米(见图9H)。按照如下方式提供图像的最终组合：

I_T细胞＝最大(I_CD8,I_CD3,I_PD1)，

I_Frangi＝最大(I_{Frangi+_T细胞},I_{Frangi-_Cyto},I_{Frangi-_Ki67})

I_组合2＝I_DAPI·(1.0-I_Frangi)，

其中I_T细胞是所有三种T细胞标志物图像的最大值；I_{Frangi+_T细胞}、I_{Frangi-_Cyto}和I_{Frangi-_Ki67}分别是I_T细胞、细胞角蛋白图像I_Cyto和Ki67图像I_Ki67的Frangi滤波器输出。

在另一个实施例中，通过膜染色剂增强DAPI通道(核)，并且通过DAPI线结构信号(使用Frangi滤波器以1微米的标度获得，用I_{Frangi+_DAPI(s＝1)}表示)加权，以免在T细胞对核信号的影响较强时抑制核的DAPI信号。

I_组合3＝I_DAPI·(1-I_{Frangi+_DAPI(s＝1)})·(1.0-I_Frangi)

作为一种替代方法，DAPI图像I_DAPI可通过应用较大的标度(例如3微米的标度)的Frangi滤波器(Frangi+)得到增强。与应用标度较小的Frangi滤波器(Frangi+)相比，应用较大标度的Frangi滤波器(Frangi+)至少在该特定实施例中使核主体的增强得到改善。然后，可将增强的核图像与增强的细胞边界界定结构图像进行组合，如以下公式所示：

I_组合4＝I_{Frangi+_DAPI(s＝3)}·(1.0-I_Frangi)或

I_组合5＝I_{Frangi+_DAPI(s＝3)}·(1-I_{Frangi+_DAPI(s＝1)})·(1.0-I_Frangi)

在该特定实施例中，所有细胞均显示为明确的“斑点”，与背景的对比度相似。据信该过程简化了细胞检测/分割工作。图9K表明，简单的阈值化和连通域分析可得到良好的分割结果。

践行本公开实施例的其他组件

本公开的***200可绑定至能对所述组织标本执行一个或多个制备过程的标本处理设备。所述制备过程可以包括但不限于标本去石腊化、调理标本(如细胞调理)、标本染色、执行抗原检索、执行免疫组化染色(包括标记)或其他反应，和/或执行原位杂交(如SISH、FISH等)染色(包括标记)或其他反应，以及其他制备用于显微镜检查、显微分析、质谱方法或其他分析方法的标本的过程。

所述处理设备可以将固定剂涂在所述标本上。固定剂可以包括交联剂(例如醛类，如甲醛、聚甲醛和戊二醛，以及非醛类交联剂)、氧化剂(如金属离子和络合物，例如四氧化二锇和铬酸)、蛋白质变性剂(如乙酸、甲醇和乙醇)、机理不明的固定剂(如氯化汞、丙酮和苦味酸)、组合试剂(如Carnoy固定剂、Methacarn、Bouin液、B5固定剂、Rossman液和Gendre液)、微波以及其他固定剂(如排除体积固定和蒸汽固定)。

如果所述标本是嵌入石蜡中的样品，可使用相应的去石蜡液对所述样品进行去石蜡。去除石蜡后，可在所述标本上连续涂抹任意数量的化学物质。这些化学物质可以用于预处理(如逆转蛋白质交联、暴露核酸等)、变性、杂交、洗涤(如严格洗涤)、检测(如将显示或标记物分子与探针连接)、扩增(如扩增蛋白质、基因等)、复染色、盖玻片等。

所述标本处理设备可以将各种不同的化学物质应用到所述标本。这些化学物质包括但不限于染色剂、探针、试剂、漂洗剂和/或调节剂。这些化学物质可以是流体(如气体、液体或气体/液体混合物)或类似物质。所述流体可以是溶剂(如极性溶剂、非极性溶剂等)、溶液(如水溶液或其他类型的溶液)或类似物质。试剂可以包括但不限于染色剂、润湿剂、抗体(如单克隆抗体、多克隆抗体等)、抗原回收液(如水基或非水基抗原修复液、抗原回收缓冲液等)或类似物质。探针可以是分离的核酸或分离的合成寡核苷酸，附接到可检测标记或报道分子上。标记可以包括放射性同位素、酶底物、辅助因子、配体、化学发光或荧光剂、半抗原和酶。

所述标本处理设备可以是自动化设备，例如Ventana Medical Systems,Inc.销售的BENCHMARK XT仪器和SYMPHONY仪器。Ventana Medical Systems,Inc.是多项美国专利的代理人，这些专利公开了执行自动分析的***和方法，包括美国专利第5,650,327号、第5,654,200号、第6,296,809号、第6,352,861号、第6,827,901号和第6,943,029号，以及美国已公布的专利申请第20030211630号和第20040052685号，其中每项专利公开的内容均通过引用整体合并于本文。替代地，还可以人工处理标本。

标本处理完毕后，用户可以将标本载片运送到成像设备上。在一些实施例中，所述成像设备是明场成像器载片扫描仪。一种明场成像器是由Ventana Medical Systems,Inc.销售的iScan Coreo明场扫描仪。在自动化实施例中，成像设备是题为“IMAGING SYSTEMAND TECHNIQUES”的国际专利申请第PCT/US2010/002772号(专利公开号：WO/2011/049608)或于2011年9月9日提交的题为“IMAGING SYSTEMS,CASSETTES,AND METHODS OF USING THESAME”的美国专利公开第61/533,114号中公开的数字病理装置。国际专利申请第PCT/US2010/002772号和美国专利申请第61/533,114号的公开内容通过引用整体并入本文。

所述成像***或设备可以是多光谱成像(MSI)***或荧光显微镜***。本文所用的成像***是MSI。一般来说，MSI通过访问像素层上图像的光谱分布，为病理标本的分析配备了基于计算机化显微镜的成像***。尽管存在各种多光谱成像***，但是这些***在操作上有一个共同点，即能够形成多光谱图像。多光谱图像是指在电磁波谱的特定波长或特定光谱带宽上捕获图像数据的图像。这些波长可以通过光学滤波器或使用其他能够选择预设光谱分量的仪器选出，包括波长超出可见光范围的电磁辐射，例如，红外线(IR)。

MSI***可包括光学成像***，其一部分包含可调整为定义预先确定数量的N个离散光学波段的光谱选择***。该光学***可适于对生物学样品进行成像，所述生物学样品通过宽带光源传输照射到光学检测器上。在一个实施例中，所述光学成像***可以包括一个放大***，例如显微镜，其具有一般在空间上与所述光学***的单一光输出对齐的单一光轴。当调整或调谐光谱选择***(例如用计算机处理器)时，所述***形成所述组织的图像序列，从而例如确保在不同的离散光谱带中采集图像。所述设备可额外包含一个可从所采集的图像序列中显示所述组织的至少一个在视觉上可感知图像的显示器。所述光谱选择***可以包括光学分散元件，例如衍射光栅、一组光学滤波器，例如薄膜干扰滤波器或任何其他适应于为响应用户输入或预编程处理器命令而从光源通过样品向检测器透射的光的光谱中选择一个特定的通带。

替代的实施方式，光谱选择***定义了多个对应于N个离散光谱带的光输出。这种类型的***从光学***引入透射光的输出，并在空间上将该光输出的至少一部分沿着N条空间不同的光路重新定向，这样便可以沿着对应于该已识别的光谱带的光路将一个已识别的光谱带中的所述样品成像到一个检测器***上。

本说明书中描述的主题和操作的实施例可以在数字电子电路中或在计算机软件、固件或硬件(包括本说明书中公开的结构及其等同结构)中实施，或以他们的一种或多种的组合来实施。本说明书中描述的主题的实施例可以实现为一个或多个计算机程序，即计算机程序指令的一个或多个模块，其编码在计算机存储介质上以由数据处理设备执行或控制数据处理装置的操作。本文所述的任何模块可包括由处理器执行的逻辑。如本文中所使用的，“逻辑”是指具有指令信号和/或数据的形式的任何信息，其可以应用来影响处理器的操作。软件是逻辑的示例。

计算机存储介质可以是计算机可读存储设备、计算机可读存储基板、随机或串行访问存储器阵列或设备、或它们中的一个或多个的组合，或可以包含在其中。此外，虽然计算机存储介质不是传播信号，但是计算机存储介质可以是以人工生成的传播信号编码的计算机程序指令的来源或目的地。计算机存储介质还可以是一个或多个分开的物理部件或介质(例如多个CD、磁盘或其它存储设备)，或可以包含在其中。本说明书中描述的操作可以实现为由数据处理设备对存储在一个或多个计算机可读存储设备上或从其它来源接收到的数据执行的操作。

术语“可编程处理器”涵盖用于处理数据的所有种类的装置、设备和机器，包括作为示例的可编程微处理器、计算机、片上***、或前述的多个或组合。装置可以包括专用逻辑电路，例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。除了硬件之外，装置还可以包括为所讨论的计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理***、操作***、跨平台运行时环境、虚拟机或其中一个或多个的组合的代码。装置和执行环境可以实现各种不同的计算模型基础架构，诸如Web服务、分布式计算和网格计算基础架构。

计算机程序(也称为程序、软件、软件应用、脚本或代码)可以用任何形式的编程语言(包括编译或解释语言、声明性或过程语言)编写，并且可以以任何形式进行部署，包括作为独立程序或作为模块、部件、子例程、对象或其它适合在计算环境中使用的单元。计算机程序可以但不必对应于文件***中的文件。程序可以存储在保存其它程序或数据的文件的一部分中(例如存储在标记语言文档中的一个或多个脚本)，专用于所讨论程序的单个文件中或多个协调文件中(例如存储一个或多个模块、子程序或部分代码的文件)。可以部署计算机程序，以在位于一个站点或分布于多个站点、并通过通信网络互连的一个计算机或多个计算机上执行。

本说明书中描述的过程和逻辑流程可以由一个或多个可编程处理器执行，所述可编程处理器执行一个或多个计算机程序以通过对输入数据进行操作并生成输出来执行动作。过程和逻辑流程也可以由专用逻辑电路执行，并且装置也可以实现为专用逻辑电路，例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。

作为示例，适合于执行计算机程序的处理器包括通用微处理器和专用微处理器，以及任何种类的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于根据指令执行动作的处理器和用于存储指令和数据的一个或多个存储设备。通常，计算机还将包括或可操作地联接以从一个或多个用于存储数据的大容量存储设备(例如磁盘、磁光盘或光盘)接收数据、或向其传输数据、或从其接收数据和向其传输数据。但是，计算机不必具有此类设备。此外，计算机可以嵌入到另一设备中，仅举几例，例如移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏机、全球定位***(GPS)接收器或便携式存储设备(例如通用串行总线USB闪存驱动器)。适用于存储计算机程序指令和数据的设备包括所有形式的非易失性存储器、介质和存储设备，作为示例，包括半导体存储设备(例如EPROM、EEPROM和闪存设备)、磁盘(例如内部硬盘或可移动磁盘)、磁光盘、以及CD-ROM和DVD-ROM磁盘。处理器和存储器可以由专用逻辑电路补充或并入专用逻辑电路中。

为了提供与用户的交互，可以在具有显示设备和键盘和点选设备(例如鼠标或轨迹球)的计算机上实现本说明书中描述的主题的实施例，所述显示设备例如为LCD(液晶显示器)、LED(发光二极管)显示器或OLED(有机发光二极管)显示器，用于向用户显示信息，用户可以通过键盘和点选设备向计算机提供输入。在一些实施方式中，触摸屏可以用于显示信息并从用户接收输入。其它种类的设备也可以用于提供与用户的交互。例如，提供给用户的反馈可以是任何形式的感觉反馈(诸如视觉反馈、听觉反馈或触觉反馈)，并且可以以任何形式接收来自用户的输入(包括声音、语音或触觉输入)。另外，计算机可以通过向用户使用的设备发送文档和从用户使用的设备接收文档来与用户进行交互；例如，通过将Web页面发送到用户客户端设备上的Web浏览器而响应于从Web浏览器收到的请求。

本说明书中描述的主题的实施例可以在包括后端部件(例如数据服务器)、或者包括中间件部件(例如应用服务器)、或者包括前端部件(例如具有图形用户界面或Web浏览器的客户端计算机，用户可以通过图形用户界面或网络浏览器与本说明书中描述的主题的实施方式进行交互)、或者一个或多个此类后端、中间件或前端部件的任何组合的计算***中实现。***的部件可以通过数字数据通信的任何形式或介质(例如通信网络)互连。通信网络的示例包括局域网("LAN")和广域网("WAN")、网际网络(例如互联网)和对等网络(例如ad hoc对等网络)。例如，图1的网络20可以包括一个或多个局域网。

计算***可以包括任意数量的客户端和服务器。客户端和服务器通常彼此远离，并且通常通过通信网络进行交互。客户端和服务器之间的关系是通过在各自计算机上运行并彼此具有客户端-服务器关系的计算机程序产生的。在一些实施例中，服务器将数据(例如HTML页面)发送到客户端设备(例如，出于向与客户端设备交互的用户显示数据并从中接收用户输入的目的)。可以从服务器处的客户设备接收在客户端设备处生成的数据(例如用户交互的结果)。

附加实施例

在本公开的另一方面，提供了一种增强对生物学样品的多通道图像(例如多通道明场图像)内的核检测的方法，该生物学样品经苏木精和伊红染色和/或针对一种或多种生物标志物的存在染色，该方法包括：将多通道图像解混为多个解混的图像通道图像，其中每个解混的图像通道图像包含对应于苏木精、伊红或单一生物标志物中的一者的信号；将Frangi滤波器应用于多个解混图像通道图像中的至少第一个解混的图像通道图像，以提供至少第一Frangi增强图像通道图像；生成第一组合图像，其中第一组合图像包含至少(i)第一Frangi增强图像通道图像或第一Frangi增强图像通道图像的衍生物；以及(ii)(a)第二解混图像通道图像和/或(b)第二Frangi增强图像通道图像中的至少一者；基于至少第一组合图像，生成细化图像；使用自动化图像分析算法检测第一细化图像中的核。在一些实施例中，细化图像为第一组合图像的逆像。在一些实施例中，细化图像为分割掩模图像。在一些实施例中，至少第一Frangi增强图像通道图像为Frangi增强的膜图像通道图像。在一些实施例中，Frangi增强的膜图像通道图像来源于解混膜图像通道图像中的一个或多个。在一些实施例中，至少第一Frangi增强图像通道图像为Frangi增强的核图像通道图像。

在一些实施例中，将至少第一Frangi增强图像通道图像与第二Frangi增强图像通道图像进行组合，其中所述至少第一Frangi增强图像通道图像和第二Frangi增强图像通道图像来源于不同的解混通道图像。在一些实施例中，将至少第一Frangi增强图像通道图像与第二Frangi增强图像通道图像和第三Frangi增强图像通道图像进行组合，其中该至少第一Frangi增强图像通道图像以及第二Frangi增强图像通道图像或第三Frangi增强图像通道图像中的一者来源于不同的解混通道图像。在一些实施例中，至少第一Frangi增强图像通道图像和第二Frangi增强图像通道图像来源于相同的解混图像通道图像，但是其中以不同的缩放因子将Frangi滤波器应用到相同的解混图像通道图像上。在一些实施例中，以第一缩放因子将Frangi滤波器应用于解混图像通道图像的第一副本，以生成针对细长结构增强的图像通道图像；并且其中以第二缩放因子将Frangi滤波器应用于解混图像通道图像的第二副本，以生成针对斑点状结构增强的图像通道图像。在一些实施例中，将Frangi增强的膜图像通道图像与至少一个解混核图像通道图像组进行合。在一些实施例中，将解混核通道和增强的膜图像通道图像与至少第二增强图像通道图像进一步组合。

在本公开的另一方面，提供了一种用于增强对染色生物学样品的图像内的细胞核的检测的***，其中该***包括：(i)一个或多个处理器，以及(ii)与该一个或多个处理器联接的一个或多个存储器，该一个或多个存储器用以存储计算机可执行指令，当由该一个或多个处理器执行时，计算机可执行指令使得***执行包括以下项的操作：获得一个或多个输入图像通道图像，其中每个获得的输入图像通道图像包含对应于膜染色剂或核染色剂中的一者的信号；通过将适于增强边界结构的滤波器应用于一个或多个获得的输入通道图像中的第一个，增强该一个或多个获得的输入通道图像中的第一个中的膜染色剂或核染色剂，以提供第一增强图像；至少基于第一增强图像，生成组合图像；以及检测所生成的组合图像或来源于所生成的组合图像的分割掩模图像内的核。

在一些实施例中，组合图像通过以下方式生成：计算第一增强图像或其经过进一步处理的变体与至少第二图像的总和。在一些实施例中，第二图像为一个或多个获得的输入通道图像中的第二个。在一些实施例中，一个或多个获得的输入通道图像中的第一个包含膜染色剂，并且其中该一个或多个获得的输入通道图像中的第二个包含核染色剂。在一些实施例中，组合图像来源于第一增强图像的逆像。

在本公开的另一方面，提供了一种增强对染色生物学样品的图像内的细胞核的检测的方法，该方法包括：获得一个或多个输入图像通道图像，其中每个获得的输入图像通道图像包含对应于膜染色剂或核染色剂中的一者的信号；通过将适于增强边界结构的滤波器应用于一个或多个获得的输入通道图像中的第一个，增强该一个或多个获得的输入通道图像中的第一个中的膜染色剂或核染色剂，以提供第一增强图像；至少基于第一增强图像，生成组合图像；以及检测所生成的组合图像或来源于所生成的组合图像的分割掩模图像内的核。

在一些实施例中，组合图像通过以下方式生成：计算第一增强图像或其经过进一步处理的变体与至少第二图像的总和。在一些实施例中，第二图像为一个或多个获得的输入通道图像中的第二个。在一些实施例中，一个或多个获得的输入通道图像中的第一个包含膜染色剂，并且其中该一个或多个获得的输入通道图像中的第二个包含核染色剂。在一些实施例中，组合图像来源于第一增强图像的逆像。

在本公开的另一方面，提供了一种增强对染色生物学样品的图像内的细胞核的检测的方法，该方法包括：(a)获得一个或多个输入图像通道图像，其中每个获得的输入图像通道图像包含对应于膜染色剂或核染色剂中的一者的信号；(b)通过将Frangi滤波器应用于一个或多个获得的输入通道图像中的第一个，增强该一个或多个获得的输入通道图像中的第一个中的膜染色剂或核染色剂，以提供第一增强图像；(c)至少基于第一增强图像，生成细化图像；以及(d)自动检测所生成的细化图像内的核，其中通过应用自动化核检测算法来检测核。在一些实施例中，然后将所检测的核叠置于原始整个切片图像或其任意部分上(即，使其可见)。在一些实施例中，膜染色剂为DAB，并且核染色剂为苏木精。在一些实施例中，核染色剂为DAPI。在一些实施例中，获得的输入通道图像为解混的明场图像。在一些实施例中，获得的输入通道图像为暗场图像。

在一些实施例中，细化图像为分割掩模图像。在一些实施例中，分割掩模图像来源于组合图像，该组合图像由至少第一增强图像和第二图像生成，从而以加性方式或加权方式组合该至少第一增强图像和第二图像。在一些实施例中，组合图像来源于至少第一增强图像和第二增强图像，诸如膜增强图像与核染色剂增强图像的组合。

在一些实施例中，细化图像为组合图像，其来源于至少第一增强图像和第二图像(例如第二增强图像，另一个获得的输入图像或其经过进一步处理的变体)。在一些实施例中，第一图像和第二图像以加性方式组合，即对它们求和。在一些实施例中，对第一增强图像进行进一步处理，然后生成组合图像。在一些实施例中，第一增强图像的进一步处理包括生成第一增强图像的逆像。

在本公开的另一方面，提供了一种增强对染色生物学样品的图像内的细胞核的检测的方法，其中该***包括：(i)一个或多个处理器，以及(ii)与该一个或多个处理器联接的一个或多个存储器，该一个或多个存储器用以存储计算机可执行指令，当由该一个或多个处理器执行时，计算机可执行指令使得***执行包括以下项的操作：获得一个或多个输入图像通道图像，其中每个获得的输入图像通道图像包含对应于膜染色剂或核染色剂中的一者的信号；通过将Frangi滤波器应用于一个或多个获得的输入通道图像中的第一个，增强该一个或多个获得的输入通道图像中的第一个中的膜染色剂或核染色剂，以提供第一增强图像；至少基于第一增强图像，生成细化图像；以及检测细化图像内的核。在一些实施例中，通过对第一增强图像进行阈值化来生成细化图像。在一些实施例中，细化图像通过以下步骤生成：将第一增强图像与至少第二图像进行组合，以提供组合图像。在一些实施例中，细化图像通过以下步骤生成：(i)将第一增强图像与至少第二图像进行组合，以提供组合图像；以及(ii)对组合图像进行阈值化。在一些实施例中，第二图像为一个或多个输入通道图像中的第二个。在一些实施例中，第二图像为第二增强图像。在一些实施例中，任何组合图像可来源于三个或更多图像，包括原始输入图像通道图像或增强图像的任意组合。

在本公开的另一方面，提供了一种用于增强对染色生物学样品的图像内的细胞核的检测的***，其中该***包括：(i)一个或多个处理器，以及(ii)一个或多个存储器，所述一个或多个存储器与所述一个或多个处理器联接，该一个或多个存储器存储计算机可执行指令，当由所述一个或多个处理器执行时，计算机可执行指令使得***执行包括以下项的操作：(a)获得至少一个输入通道图像，其包含对应于核染色剂的信号；(b)通过将Frangi滤波器应用于至少一个获得的输入通道图像(包含对应于核染色剂的信号)，增强该至少一个获得的输入通道图像(包含对应于核染色剂的信号)中的核染色剂，以提供第一增强图像；(c)由至少第一增强图像生成细化图像；以及(d)自动检测所生成的细化图像内的核，其中通过应用自动化核检测算法来检测核。在一些实施例中，该方法进一步包括：获得至少一个输入通道图像，其包含对应于膜染色剂的信号；通过将Frangi滤波器应用于至少一个获得的输入通道图像(包含对应于膜染色剂的信号)，增强该至少一个获得的输入通道图像(包含对应于膜染色剂的信号)中的膜染色剂，以提供第二增强图像。在一些实施例中，将至少第一增强图像和第二增强图像进行组合，诸如以加性方式或加权方式进行组合，以提供细化图像。在一些实施例中，可使用组合图像检测核；或替代性地，可将阈值应用于组合图像，并且可使用所得分割掩模图像检测核。

在本公开的另一方面，提供了一种用于增强对染色生物学样品的图像内的细胞核的检测的***，其中该***包括：(i)一个或多个处理器，以及(ii)一个或多个存储器，所述一个或多个存储器与所述一个或多个处理器联接，该一个或多个存储器存储计算机可执行指令，当由所述一个或多个处理器执行时，计算机可执行指令使得***执行包括以下项的操作：(a)获得至少一个输入通道图像，其包含对应于膜染色剂的信号；(b)通过将Frangi滤波器应用于至少一个获得的输入通道图像(包含对应于膜染色剂的信号)，增强该至少一个获得的输入通道图像(包含对应于膜染色剂的信号)中的膜染色剂，以提供第一增强图像；(c)由至少第一增强图像生成细化图像；以及(d)自动检测所生成的细化图像内的核，其中通过应用自动化核检测算法来检测核。在一些实施例中，细化图像为组合图像，其包含：(i)第一增强图像的经过进一步处理的变体，以及(ii)第二获得的输入通道图像，该第二获得的图像通道图像包含对应于核染色剂的信号。在一些实施例中，第一增强图像的经过进一步处理的变体为第一增强图像的逆像。在一些实施例中，其他获得的输入通道图像包含对应于苏木精的信号。

在本公开的另一方面，提供了一种增强生物学样品的图像内的细胞核检测的***，该生物学样品经苏木精和伊红染色和/或针对多种生物标志物的存在染色，其中该***包括：(i)一个或多个处理器，以及(ii)一个或多个存储器，所述一个或多个存储器与所述一个或多个处理器联接，该一个或多个存储器存储计算机可执行指令，当由所述一个或多个处理器执行时，计算机可执行指令使得***执行包括以下项的操作：包括：获得一个或多个输入图像通道图像，其中每个获得的输入图像通道图像包含对应于苏木精、DAPI或指示是否存在生物标志物的染色剂中的一者的信号；通过将Frangi滤波器应用于一个或多个图像通道图像中的至少第一个，增强该一个或多个图像通道图像中的至少第一个内的边界结构，以提供至少第一Frangi增强图像通道图像；以及检测来源于该至少一个Frangi增强图像通道的细化图像内的核。

在一些实施例中，细化图像为分割掩模图像。在一些实施例中，通过对至少第一Frangi增强图像通道图像进行阈值化来生成分割掩模图像。在一些实施例中，通过对来源于至少第一Frangi增强图像通道图像的组合图像进行阈值化来生成分割掩模图像。在一些实施例中，通过对以下项进行组合而得到组合图像：(i)至少第一Frangi增强图像通道图像；与(ii)(a)一个或多个输入图像通道图像中的第二个和/或(b)第二Frangi增强图像通道图像中的至少一者。在一些实施例中，组合图像包含至少第一Frangi增强图像通道图像与第二Frangi增强图像通道图像的组合。在一些实施例中，第一Frangi增强图像通道图像和第二Frangi增强图像通道图像来源于不同的输入图像通道图像。在一些实施例中，第一Frangi增强图像通道图像和第二Frangi增强图像通道图像来源于相同的输入图像通道图像。在一些实施例中，通过以不同的缩放因子应用Frangi滤波器来得到第一和第二Frangi增强图像通道图像。在一些实施例中，第一Frangi增强图像通道图像或第二Frangi增强图像通道图像中的一个包含增强的膜边界；并且第一Frangi增强图像通道图像或第二Frangi增强图像通道图像中的另一个包含增强的核边界。在一些实施例中，组合图像包含至少第一Frangi增强图像通道图像、第二Frangi增强图像通道图像与第三Frangi增强图像通道图像的组合，其中第一、第二或第三Frangi增强图像通道图像中的至少一者来源于不同的输入通道图像。

在一些实施例中，细化图像为通过对以下项进行组合而得到的组合图像：(i)第一Frangi增强图像通道图像的逆像；与(ii)一个或多个输入通道图像中的第二个。在一些实施例中，通过对以下项进行组合而得到组合图像：(i)至少第一Frangi增强图像通道图像；与(ii)(a)一个或多个输入图像通道图像中的第二个和/或(b)第二Frangi增强图像通道图像中的至少一者。

本说明书中提及的和/或在申请数据表中列出的所有美国专利、美国专利申请出版物、美国专利申请、外国专利、外国专利申请和非专利出版物通过引用整体并入本文。如有必要，可对实施例的各个方面进行修改，从而采用各类专利、应用和公开的概念来提供其他进一步的实施例。

尽管已经参考多个说明性实施例描述了本公开，但是应当理解，本领域技术人员可以设计出许多其它修改和实施例，它们将落入本公开原理的精神和范围内。更特别地，在前述公开、附图和所附权利要求的范围内，主题组合布置的组成部分和/或布置中的合理变化和修改是可能的，而不背离本公开的精神。除了组成部分和/或布置的变化和修改之外，替代使用对本领域技术人员也是显而易见的。

Claims (35)

1.一种增强对染色的生物学样品的图像内的细胞核的检测的方法，所述方法包括：

(a)获得一个或多个输入图像通道图像，其中每个获得的输入图像通道图像包含对应于膜染色剂或核染色剂中的一者的信号；

(b)通过将Frangi滤波器应用于一个或多个获得的输入通道图像中的第一个，增强所述一个或多个获得的输入通道图像中的所述第一个中对应于所述膜染色剂或所述核染色剂的所述信号，以提供第一增强图像；

(c)至少基于所述第一增强图像，生成细化图像；以及

(d)检测所述生成的细化图像内的核。

2.根据权利要求1所述的方法，其中通过对所述第一增强图像进行阈值化来生成所述细化图像。

3.根据前述权利要求中任一项所述的方法，其中所述细化图像通过以下步骤生成：(i)将所述第一增强图像与至少第二图像进行组合，以提供组合图像；以及(ii)对所述组合图像进行阈值化。

4.根据权利要求3所述的方法，其中所述第二图像为所述一个或多个输入通道图像中的第二个。

5.根据权利要求4所述的方法，其中所述一个或多个输入通道图像中的所述第二个不同于所述一个或多个输入通道图像中的所述第一个。

6.根据权利要求3所述的方法，其中所述第二图像为第二增强图像。

7.根据权利要求6所述的方法，其中所述第二增强图像来源于所述一个或多个输入通道图像中的第二个。

8.根据权利要求6所述的方法，其中所述第二增强图像来源于所述一个或多个输入通道图像中的所述第一个，并且其中所述第一增强图像和所述第二增强图像通过以不同的缩放因子应用所述Frangi滤波器来生成。

9.根据权利要求7所述的方法，其中所述一个或多个输入通道图像中的所述第一个和所述第二个包含膜染色剂。

10.根据权利要求9所述的方法，其中所述膜染色剂选自由肿瘤膜染色剂和淋巴细胞膜染色剂组成的组。

11.根据权利要求7所述的方法，其中所述一个或多个输入通道图像中的所述第一个和所述第二个中的一者包含核染色剂。

12.根据权利要求3所述的方法，其中所述组合图像来源于至少所述第一增强图像、所述第二图像和第三图像。

13.根据权利要求12所述的方法，其中所述第二图像或所述第三图像中的至少一者通过应用所述Frangi滤波器得以增强。

14.根据权利要求12所述的方法，其中所述第二图像包含膜染色剂，并且其中所述第三图像包含核染色剂。

15.根据权利要求14所述的方法，其中所述组合图像进一步来源于第四图像。

16.根据前述权利要求中任一项所述的方法，其中所述细化图像为通过组合所述第一增强图像的逆像与至少第二图像而得到的组合图像。

17.根据权利要求16所述的方法，其中所述第一增强图像或所述第二图像中的一者包含核染色剂。

18.根据权利要求16所述的方法，其中所述至少第二图像为所述一个或多个输入通道图像中的第二个。

19.根据权利要求17所述的方法，其中所述一个或多个输入通道图像中的所述第二个包含核染色剂，并且其中所述一个或多个输入通道图像中的所述第一个包含膜染色剂。

20.根据权利要求19所述的方法，其中所述膜染色剂为DAB，并且其中所述核染色剂为苏木精。

21.根据前述权利要求中任一项所述的方法，其中所述获得的输入通道图像为解混的明场图像或暗场图像。

22.一种用于增强对染色的生物学样品的图像内的细胞核的检测的***，所述***包括：(i)一个或多个处理器，以及(ii)一个或多个存储器，所述一个或多个存储器与所述一个或多个处理器联接，所述一个或多个存储器用以存储计算机可执行指令，当由所述一个或多个处理器执行时，所述计算机可执行指令使得所述***执行包括以下项的操作：

(a)获得一个或多个输入图像通道图像，其中每个获得的输入图像通道图像包含对应于膜染色剂或核染色剂的信号；

(b)通过将Frangi滤波器应用于一个或多个获得的输入通道图像中的第一个，增强所述一个或多个获得的输入通道图像中的所述第一个中对应于所述膜染色剂或所述核染色剂的所述信号，以提供第一增强图像；

(c)至少基于所述第一增强图像，生成细化图像；以及

(d)检测所述生成的细化图像内的核。

23.根据权利要求22所述的***，其中所述一个或多个获得的输入通道图像中的所述第一个包含膜染色剂。

24.根据权利要求23所述的***，其中所述细化图像通过以下方式生成：将(i)所述第一增强图像或其经过进一步处理的变体与(ii)所述一个或多个获得的输入通道图像中的第二个进行组合，其中所述一个或多个获得的输入通道图像中的第二个包含核染色剂。

25.根据权利要求23所述的***，进一步包括用于由所述一个或多个获得的输入通道图像中的第二个生成第二增强图像的指令。

26.根据权利要求25所述的***，其中所述细化图像通过以下步骤生成：(a)计算组合图像，所述组合图像至少来源于所述第一增强图像和所述第二增强图像，以及(b)将阈值应用于所述计算出的组合图像。

27.根据权利要求25所述的***，其中所述一个或多个获得的输入通道图像中的所述第二个包含膜染色。

28.根据权利要求25所述的***，其中所述一个或多个获得的输入通道图像中的所述第二个包含核染色。

29.根据权利要求27所述的***，其中所述组合来源于所述第一增强图像和所述第二增强图像以及至少第三增强图像，所述第三增强图像包含对应于核染色剂的信号。

30.根据权利要求22-29中任一项所述的***，其中通过对所述第一增强图像进行阈值化来生成所述细化图像。

31.一种非暂时性计算机可读介质，其存储用于增强对染色的生物学样品的图像内的细胞核的检测的指令，所述指令包括：

(a)获得一个或多个输入图像通道图像，其中每个获得的输入图像通道图像包含对应于膜染色剂或核染色剂中的一者的信号；

(b)通过将适于增强边界结构的滤波器应用于一个或多个获得的输入通道图像中的第一个，增强所述一个或多个获得的输入通道图像中的所述第一个中对应于所述膜染色剂或所述核染色剂的所述信号，以提供第一增强图像；

(c)至少基于所述第一增强图像，生成组合图像；以及

(d)检测所述生成的组合图像或来源于所述生成的组合图像的分割掩模图像内的核。

32.根据权利要求31所述的非暂时性计算机可读介质，其中所述组合图像通过以下方式生成：计算(i)所述第一增强图像或其经过进一步处理的变体与(ii)至少第二图像的总和。

33.根据权利要求32所述的非暂时性计算机可读介质，其中所述第二图像为所述一个或多个获得的输入通道图像中的第二个。

34.根据权利要求33所述的非暂时性计算机可读介质，其中所述一个或多个获得的输入通道图像中的所述第一个包含膜染色剂，并且其中所述一个或多个获得的输入通道图像中的所述第二个包含核染色剂。

35.根据权利要求34所述的非暂时性计算机可读介质，其中所述组合图像来源于所述第一增强图像的逆像。

Images