CN112106061A - 使用深度学习对未标记荧光图像进行数字染色的方法和*** - Google Patents

Abstract

公开了基于深度学习的数字染色方法和***，其使得能够基于使用荧光显微镜获得的自发荧光图像从未标记或未染色样本中创建数字/虚拟染色的显微图像。该***和方法特别适用于创建由病理学家进行分析的未标记/未染色的组织样本的数字/虚拟染色的完整幻灯片图像(WSI)。该方法绕过了标准的组织化学染色过程，节省了时间和成本。该方法基于深度学习，并且在一个实施例中，利用使用生成对抗网络模型训练的卷积神经网络将未标记样本的荧光图像转换为与同一样本的化学染色版本的明场图像等效的图像。这种未标记的数字染色方法省去了繁琐且昂贵的组织化学染色程序，并显著简化了病理学和组织学领域的组织制备。

Description

使用深度学习对未标记荧光图像进行数字染色的方法和***

相关申请的交叉引用

本申请要求于2018年3月30日提交的美国临时专利申请号62/651,005的优先权，其通过引用合并于此。根据35 U.S.C.§119和任何其他适用法规要求优先权。

技术领域

本技术领域通常涉及用于对未染色(即，未标记)的组织成像的方法和***。特别地，本技术领域涉及利用深度神经网络学习对未染色或未标记组织的图像进行数字或虚拟染色的显微镜方法和***。神经网络中的深度学习(一类机器学习算法)用于将未标记的组织切片的图像数字化染色为等效于被染色或标记的同一样本的显微镜图像的图像。

背景技术

组织样本的显微成像是用于诊断各种疾病的基本工具，并且形成了病理学和生物学的主要工具。临床上确定的组织切片金标准图像是一个艰苦的过程的结果，该过程包括将组织标本用***固定的石蜡包埋(FFPE)，切成薄片(通常约2-10μm)，标记/染色并安装在载玻片上，然后使用例如明场显微镜对其进行显微成像。所有这些步骤使用多种试剂，并在组织上产生不可逆的作用。最近有努力使用不同的成像方式来改变该工作流程。已经尝试使用基于例如双光子荧光、二次谐波产生、三次谐波产生以及拉曼散射的非线性显微镜方法对新鲜的、未经石蜡包埋的组织样本进行成像。其他尝试使用可控的超连续谱源来获取多模式图像，以对新鲜组织样本进行化学分析。这些方法需要使用超快激光或超连续光源，在大多数情况下可能不易使用，并且由于光信号较弱而需要较长的扫描时间。除此之外，通过对染色样本进行紫外激发或利用生物组织在短波长下的荧光发射，还出现了其他显微方法，用于对未切片的组织样本进行成像。

实际上，荧光信号通过利用从内源性荧光发出的荧光为成像组织样本创造了一些独特的机会。已经证明，这种内源性荧光标记携带有用的信息，这些信息可被映射到生物样本的功能和结构特性，并因此已被广泛用于诊断和研究目的。这些努力的主要重点领域之一是在不同条件下对不同生物分子及其结构特性之间关系的光谱研究。这些充分表征的生物成分中的一些包括维生素(例如，维生素A、核黄素、硫胺素)、胶原蛋白、辅酶、脂肪酸等。

尽管上面讨论的一些技术具有使用各种对比机制来区分例如组织样本中的细胞类型和亚细胞组成的独特能力，但是，病理学家和肿瘤分类软件一般都接受过检查“金标准”染色组织样本以作出诊断决定的训练。出于这一点的部分动机，上面提到的一些技术已经得到增强，可以创建伪苏木和曙红(H&E)图像，它们基于线性近似，该线性近似将图像的荧光强度与每组织体积的染料浓度相关联，使用经验确定的常数来表示嵌入组织中的各种染料的平均光谱响应。这些方法还使用外源性染色来增强荧光信号的对比度，以创建组织样本的虚拟H&E图像。

发明内容

在一个实施例中，提供了一种利用经训练的深度神经网络的***和方法，该网络用于使用从化学未染色组织(或其他样本)获得的荧光图像，进行无标记的薄组织切片或其他样本的数字或虚拟染色。化学未染色的组织是指缺乏用于组织化学染色的标准染色剂或标记物。化学未染色的组织的荧光可以包括来自自然发生或内源性的荧光或其他内源性光发射器的组织的自发荧光，该光的频率不同于照明频率(即频移光)。化学未染色的组织的荧光可以进一步包括来自外源添加的荧光标记或其他外源光发射器的组织的荧光。用荧光显微镜如宽视野荧光显微镜(或标准荧光显微镜)对样本成像。显微镜可以利用标准的近紫外激发/发射滤光片组或本领域技术人员已知的其他激发/发射光源/滤光片组。在一些实施例中，在优选实施方案中，通过使用经训练的深度神经网络，对样本获得的单个荧光图像进行数字或虚拟染色。

在一个实施例中，经训练的深度神经网络是卷积神经网络(CNN)，其使用生成对抗网络(GAN)模型进行训练，以在组织样本上用某种组织染色剂标记后，匹配相应的组织样本的明场显微图像。在该实施例中，未染色的样本(例如，组织)的荧光图像被输入到经训练的深度神经网络中以产生数字染色图像。因此，在该实施例中，组织化学染色和明场成像步骤完全被生成数字染色图像的经训练的深度神经网络的使用所代替。如本文中所解释的，在一些实施例中，使用标准台式计算机，使用例如40倍物镜的约0.33mm×0.33mm的成像视野，由经训练的神经网络执行的网络推断速度不到一秒。使用20倍物镜扫描组织，网络推断时间达到1.9秒/mm²。

通过对包括唾液腺、甲状腺、肾脏、肝、肺和皮肤的未标记的人类组织样本进行成像，已证明了使用自发荧光的基于深度学***均需要约45分钟(H&E)和2-3小时(马松三色的三色和琼斯染色)，H&E的估计成本(包括人工)为2-5美元，而马松三色的三色和琼斯染色则为16-35美元以上。此外，这些组织化学染色过程中的一些需要时间敏感的步骤，要求专家在显微镜下监视该过程，这不仅使整个过程冗长且相对昂贵，而且费力。本文公开的***和方法绕过了所有这些染色步骤，并且还允许保存未标记的组织切片以供以后分析，例如未染色组织标本上感兴趣的亚区域的微标记，可用于更高级的免疫化学和分子分析，以促进例如定制治疗。此外，一组病理学家盲评了该方法对与其中一些样本相对应的全玻片图像(WSI)的染色效果，他们能够使用数字/虚拟染色技术识别组织病理学特征，与同一样本的组织学染色图像高度吻合。

此外，这种基于深度学习的数字/虚拟组织学染色框架可以广泛地应用于其他激发波长或荧光滤光片组，以及应用于利用其他内源性对比机制的其他显微术形式(例如非线性显微术)。在实验中，将切片和固定的组织样本用于与标准组织化学染色过程的结果进行有意义的比较。但是，提出的方法也适用于未固定、未切片的组织样本，可使其适用于手术室或活检部位，以进行快速诊断或远距病理学应用。除了其临床应用，该方法还可以广泛地有益于组织学领域及其在生命科学研究和教育中的应用。

在一个实施例中，一种生成未标记样本的数字染色显微图像的方法，包括：利用使用计算设备的一个或多个处理器由图像处理软件运行的经训练的深度神经网络，其中，经训练的深度神经网络用同一样本的多个匹配的化学染色图像或图像斑块和它们的相应荧光图像或图像斑块来训练。未标记样本可以包括组织、细胞、病原体、生物体液涂片或其他感兴趣的微对象。在一些实施例中，可以使用一种或多种组织类型/化学染色类型的组合来训练深度神经网络。例如，这可以包括具有染色剂#1、染色剂#2、染色剂#3等的组织类型A。在一些实施例中，可以使用已经被多种染色剂染色的组织来训练深度神经网络。

样本的荧光图像被输入到经训练的深度神经网络。然后，经训练的深度神经网络会基于输入的样本荧光图像输出样本的数字染色显微图像。在一个实施例中，经训练的深度神经网络是卷积神经网络(CNN)。这可以包括使用生成对抗网络(GAN)模型的CNN。使用荧光显微镜和激发光源(例如，紫外线或近紫外线发射光源)获得样本的荧光输入图像。在一些替代实施例中，多个荧光图像被输入到经训练的深度神经网络中。例如，可以以第一滤波的波长或波长范围获得一个荧光图像，而可以在第二滤波的波长或波长范围获得另一荧光图像。然后将这两个荧光图像输入到经训练的深度神经网络中，以输出单个数字/虚拟染色的图像。在另一实施例中，可以对获得的荧光图像进行选自对比度增强、对比度反转、图像滤波的一种或多种线性或非线性预处理操作，这些预处理操作可以单独或与所获得的荧光图像一起输入到经训练的深度神经网络中。

例如，在另一实施例中，一种生成未标记样本的数字染色显微图像的方法，包括：提供使用计算设备的一个或多个处理器由图像处理软件执行的经训练的深度神经网络，其中，经训练的深度神经网络用同一样本的多个匹配的化学染色图像或图像斑块和它们的相应荧光图像或图像斑块来训练。使用荧光显微镜获得样本的第一荧光图像，并且其中，样本内移频光的内源性荧光或其他内源性发射器发射第一发射波长或波长范围的荧光。使用荧光显微镜获得样本的第二荧光图像，并且其中，样本内移频光的内源性荧光或其他内源性发射器发射第二发射波长或波长范围的荧光。可以通过使用不同的激发/发射波长组合来获得第一荧光图像和第二荧光图像。然后将样本的第一荧光图像和第二荧光图像输入到经训练的深度神经网络，该经训练的深度神经网络输出样本的数字染色显微图像，该数字染色显微图像基本上等同于已经被化学染色的同一样本的相应明场图像。

在另一实施例中，一种用于生成化学未染色样本的数字染色显微图像的***，包括具有在其上执行或由其执行图像处理软件的计算设备，图像处理软件包括使用计算设备的一个或多个处理器执行的经训练的深度神经网络。经训练的深度神经网络用同一样本的多个匹配的化学染色图像或图像斑块和它们的相应荧光图像或图像斑块来训练。图像处理软件被配置为接收样本的一个或多个荧光图像并输出样本的数字染色显微图像，该数字染色显微图像基本上等同于已经被化学染色的同一样本的相应明场图像。

附图说明

图1示意性地示出根据一个实施例的***，该***用于从样本的未染色的显微镜图像生成样本的数字/虚拟染色的输出图像。

图2示出使用未染色组织的荧光图像的基于深度学习的数字/虚拟组织学染色操作的示意图。

图3A至图3H示出了与化学染色的H&E样本匹配的数字/虚拟染色结果。前两(2)列(图3A和图3E)示出未染色的唾液腺组织切片的自发荧光图像(用作深度神经网络的输入)，且第三列(图3C和图3G)示出数字/虚拟染色结果。最后一列(图3D和图3H)示出组织化学染色过程后相同组织切片的明场图像。对图3C和图3D的评估示出皮下纤维脂肪组织内的浸润性肿瘤细胞的小岛。注意，在两个面板上都能清楚地看到细胞核的细节，包括核仁(图3C和图3D箭头)和染色质结构的区别。类似地，在图3G和图3H中，H&E染色示出浸润性鳞状细胞癌。在两种染色剂/面板中，在相邻基质中具有水肿性胶质样变化的去增生反应(图3G和图3H中的星号)是明显可识别的。

图4A至图4H示出数字/虚拟染色结果以匹配化学染色的琼斯样本。前两(2)列(图4A，图4E)示出未染色的肾脏组织切片的自发荧光图像(用作深度神经网络的输入)，且第三列(图4C和图4G)示出数字/虚拟染色结果。最后一列(图4D，图4H)示出组织化学染色过程后相同组织切片的明场图像。

图5A至图5P示出了针对肝脏和肺组织切片的数字/虚拟染色结果，以匹配马松三色的三色染色。前两(2)列示出未染色肝组织切片(第1行和第2行-图5A、图5B、图5E、图5F)和未染色肺组织切片(第3行和第4行-图5I、图5J、图5M、图5N)的自发荧光图像，用作深度神经网络的输入。第三列(图5C，图5G，图5K，图5O)示出这些组织样本的数字/虚拟染色结果。最后一列(图5D，图5H，图5L，图5P)示出组织化学染色过程后相同组织切片的明场图像。

图6A示出用于随机初始化和转移学习初始化的组合损失函数对迭代次数的图。图6A示出使用转移学习如何实现优异的收敛。使用从唾液腺组织切片中学到的权重和偏差初始化新的深度神经网络，以实现H&E对甲状腺组织的虚拟染色。与随机初始化相比，转移学习可以更快地收敛，并且还可以实现更低的局部最小值。

图6B示出在学习过程的不同阶段的网络输出图像，用于随机初始化和转移学习，以更好地说明转移学习对将提出的方法转化为新的组织/染色组合的影响。

图6C示出相应的H&E化学染色的明场图像。

图7A示出仅使用DAPI通道的皮肤组织的虚拟染色(H&E染色)。

图7B示出使用DAPI和Cy5通道的皮肤组织的虚拟染色(H&E染色)。Cy5是指用于标记生物分子的远红色荧光标记花青染料。

图7C示出相应的组织学染色(即，用H&E化学染色)的组织。

图8示出在化学染色过程之后，相对于同一样本的明场图像，未染色组织样本的自发荧光图像的视野匹配和配准过程。

图9示意性地示出使用GAN的虚拟染色网络的训练过程。

图10示出根据一个实施例的用于生成器和鉴别器的生成对抗网络(GAN)架构。

具体实施方式

图1示意性地示出用于从样本22的输入显微镜图像20输出数字染色图像40的***2的一个实施例。如本文所述，输入图像20是样本22(在一个实施例中诸如组织)的荧光图像20，其没有被荧光染色剂或标记染色或标记。即，输入图像20是样本22的自发荧光图像20，其中，样本22发出的荧光是其中包含的一种或多种内源性荧光或移频光的其他内源性发射器的结果。频移光是以与入射频率(或波长)不同的频率(或波长)发射的光。频移光的内源性荧光或内源性发射器可包括分子、化合物、复合物、分子种类、生物分子、色素、组织等。在一些实施例中，输入图像20(例如，原始荧光图像)经受选自对比度增强、对比度反转、图像滤波的一个或多个线性或非线性预处理操作。该***包括其中包含一个或多个处理器102的计算设备100以及并入经训练的深度神经网络10(例如，在一个或多个实施例中如本文中所解释的卷积神经网络)的图像处理软件104。如本文中所解释的，尽管可以使用其他计算设备(例如，包含一个或多个图形处理单元(GPU)的设备)或其他专用集成电路(ASIC)，计算设备100可以包括个人计算机、膝上型计算机、移动计算设备、远程服务器等。GPU或ASIC可用于加速训练以及最终图像输出。计算设备100可以与用于显示数字染色图像40的监视器或显示器106相关联或连接至该监视器或显示器106。显示器106可以用于显示图形用户界面(GUI)，用户可以使用该图形用户界面来显示和查看数字染色图像40。在一个实施例中，用户可能够使用例如GUI在特定样本22的多个不同数字/虚拟染色之间手动触发或切换。可选地，不同染色之间的触发或切换可以由计算设备100自动完成。在一个优选实施例中，经训练的深度神经网络10是卷积神经网络(CNN)。

例如，在如本文所述的一个优选实施例中，使用GAN模型来训练经训练的深度神经网络10。在GAN训练的深度神经网络10中，两个模型用于训练。生成模型用于捕获数据分布，而第二模型估计样本来自训练数据而不是来自生成模型的概率。关于GAN的详细信息可以在Goodfellow等人的《Generative Adversarial Nets，神经信息处理***的进展(Advances in Neural Information Processing Systems)》，第27卷，第2672至2680页(2014年)中找到，在此引用作为参考。可以在相同或不同的计算设备100上执行深度神经网络10(例如，GAN)的网络训练。例如，在一个实施例中，可以使用个人计算机来训练GAN，尽管这种训练可能花费大量时间。为了加快这一训练过程，可以使用一个或多个专用GPU进行训练。如本文所解释的，这种训练和测试是在从可商购的图形卡获得的GPU上执行的。一旦对深度神经网络10进行了训练，就可以在不同的计算设备110上使用或执行该深度神经网络10，该计算设备110可以包括用于训练过程的计算资源较少的计算设备(尽管也可以将GPU集成到经训练的深度神经网络10的执行中)。

尽管可以使用其他软件包和平台，但是可以使用Python和TensorFlow来实现图像处理软件104。经训练的深度神经网络10不限于特定的软件平台或编程语言，并且经训练的深度神经网络10可以使用任何数量的市售软件语言或平台来执行。结合或与经训练的深度神经网络10协同运行的图像处理软件104可以在本地环境或去除云类型的环境中运行。在一些实施例中，图像处理软件104的某些功能可以以一种特定的语言或平台运行(例如，图像标准化)，而经训练的深度神经网络10可以以另一种特定的语言或平台运行。尽管如此，两种操作均由图像处理软件104执行。

如图1所示，在一个实施例中，经训练的深度神经网络10接收未标记样本22的单个荧光图像20。在其他实施例中，例如，使用多个激发通道(请参见本文的黑色素讨论)，可能存在未标记样本22的多个荧光图像20(它们被输入到经训练的深度神经网络10中(例如，每个通道一个图像))。荧光图像20可以包括未标记的组织样本22的宽视野荧光图像20。宽视野表示通过扫描较小的FOV获得宽视野(FOV)，宽视野在10-2,000mm²的范围内。例如，较小的FOV可以通过使用图像处理软件104将较小的FOV数字缝合在一起以创建较宽的FOV的扫描荧光显微镜110来获得。例如，宽的FOV可用于获得样本22的全玻片图像(WSI)。使用成像装置110获得荧光图像。对于本文所述的荧光实施例，其可以包括荧光显微镜110。荧光显微镜110包括照亮样本22的激发光源，以及一个或多个用于捕获由荧光体或样本22中包含的频移光的其他内源性发射器发射的荧光的图像传感器(例如，CMOS图像传感器)。在一些实施例中，荧光显微镜110可以包括用多种不同波长或波长范围/波段的激发光照射样本22的能力。这可以使用多个不同的光源和/或不同的滤光片组(例如标准紫外或近紫外激发/发射滤光片组)来实现。另外，在一些实施例中，荧光显微镜110可以包括可以过滤不同发射波段的多个滤光片组。例如，在一些实施例中，可以捕获多个荧光图像20，使用不同的滤光片组在不同的发射频段处捕获每个荧光图像20。

在一些实施例中，样本22可以包括设置在基板23上或之中的组织的一部分。在一些实施例中，基板23可以包括光学透明的基板(例如，玻璃或塑料载玻片等)。样本22可包括组织切片，其使用切片机装置等切成薄的切片。组织22的薄的切片可以被认为是弱散射相位的物体，在明场照明下具有有限的振幅对比度调制。样本22可以在有或没有盖玻片/盖玻片的情况下成像。样本可能涉及冷冻切片或石蜡(蜡)切片。组织样本22可以是固定的(例如，使用***)或未固定的。组织样本22可以包括哺乳动物(例如人或动物)组织或植物组织。样本22还可以包括其他生物样本，环境样本等。实例包括颗粒、细胞、细胞器、病原体或其他感兴趣的微尺度对象(尺寸为微米或更小的对象)。样本22可包括生物体液或组织的涂片。这些包括例如血液涂片、巴氏涂片。如本文所述，对于基于荧光的实施例，样本22包括一种或多种天然存在的或内源性的荧光，其发荧光并被荧光显微镜装置110捕获。当用紫外线或近紫外线激发时，大多数动植物组织都会显示出自发荧光。举例来说，内源性荧光可包括蛋白质，例如胶原蛋白、弹性蛋白、脂肪酸、维生素、黄素、卟啉、脂褐素、辅酶(例如，NAD(P)H)。在一些可选的实施例中，也可以添加外源添加的荧光标记或其他外源光发射器。如本文所解释的，样本22还可以包含频移光的其他内源性发射器。

经训练的深度神经网络10响应于输入图像20输出或生成数字染色或标记的输出图像40。数字染色的输出图像40具有“染色”，该“染色”已使用经训练的深度神经网络10数字集成到染色的输出图像40中。在一些实施例中，例如那些所涉及的组织切片，经训练的深度神经网络10对于熟练的观察者(例如，经训练的组织病理学家)似乎基本上等同于已经被化学染色的相同组织切片样本22的相应明场图像。确实，如本文所述，使用经训练的深度神经网络10所获得的实验结果表明，经训练的病理学家能够使用两种染色技术(化学染色与数字/虚拟染色)以及两种技术之间的高度一致性来识别组织病理学特征，而没有明确的优选染色技术(虚拟与组织学)。组织切片样本22的这种数字或虚拟染色看起来就像组织切片样本22已经进行了组织化学染色(即使没有进行这种染色操作)一样。

图2示意性地示出了典型的基于荧光的实施例中所涉及的操作。如图2所示，获得样本22，例如未染色的组织切片。这可以例如通过活检B等从活组织中获得。然后使用荧光显微镜110对未染色的组织切片样本22进行荧光成像，并产生荧光图像20。然后将该荧光图像20输入经训练的深度神经网络10，该深度神经网络10然后立即输出组织切片样本22的数字染色图像40。该数字染色图像40非常类似于相同组织切片样本22的明场图像的外观，而实际组织切片样本22受到组织化学染色。图2示出(使用虚线箭头)常规过程，其中组织切片样本22经过组织化学染色44，随后进行常规明场视野显微成像46，以产生染色的组织切片样本22的常规明场图像48。如图2所示，数字染色图像40与实际化学染色图像48非常相似。使用本文所述的数字染色平台可获得相似的分辨率和颜色轮廓。如图1所示，该数字染色图像40可以被示出或显示在计算机监视器106上，但是应当理解，数字染色图像40可以被显示在任何合适的显示器上(例如，计算机监视器、平板计算机、移动计算设备、手机等)。GUI可以被显示在计算机监视器106上，使得用户可以查看并且可选地与数字染色图像40交互(例如，缩放、剪切、突出显示、标记、调整曝光等)。

实验–使用自发荧光技术对未标记组织进行数字染色

组织样本的虚拟染色

使用组织切片样本22和染色剂的不同组合测试并证明了本文所述的***2和方法。在训练了基于CNN的深度神经网络10之后，通过向其馈入未标记组织切片22的自发荧光图像20来盲目测试其推断，该无荧光组织切片22与训练或验证集中使用的图像不重叠。图4A至图4H示出了唾液腺组织切片的结果，其被数字/虚拟染色以匹配同一样本22的H&E染色的明场图像48(即，地面真实图像)。这些结果证明了***2可以将无标记组织切片22的荧光图像20转换为明场等效图像40的能力，等效图像40显示了H&E染色组织所期望的正确配色方案，其中包含各种成分，例如上皮样细胞、细胞核、核仁、基质和胶原蛋白。对图3C和图3D的评估表明，H&E染色证明了皮下纤维脂肪组织内浸润的肿瘤细胞的小岛。请注意，在两个面板中都清楚地了解了核细节，包括核仁(箭头)和染色质质地的区别。类似地，在图3G和图3H中，H&E染色证明浸润性鳞状细胞癌。在这两种染色剂中都可以清楚地识别出邻近基质中有水肿性胶质样变化(星号)的增塑反应。

接下来，对深度网络10进行训练，以用两种不同的染色剂(即琼斯二甲胺甲基银染色剂(肾脏)和马森三色染色剂(肝脏和肺部))对其他组织类型进行数字/虚拟染色。图4A至图4H和图5A至图5P总结了这些组织切片22的基于深度学习的数字/虚拟染色的结果，其与在组织化学染色过程之后捕获的同一样本22的明场图像48非常匹配。这些结果说明，经训练的深度神经网络10能够从未标记标本的单个荧光图像20(即没有任何组织化学染色)推断出用于不同组织类型的不同类型的组织学染色的染色模式。具有与图3A至图3H相同的总体结论，病理学家还确认，图4C和图5G中的神经网络输出的图像正确显示了与肝细胞、正弦空间、胶原蛋白和脂肪滴相对应的组织学特征(图5G)，与它们在化学染色后捕获的相同组织样本22的明场图像48中出现的方式一致(图5D和图5H)。类似地，同一位专家还确认，在图5K和图5O(肺)中报告的深度神经网络输出图像40揭示了与血管、胶原蛋白和肺泡空间相对应的一致染色的组织学特征，因为它们出现在化学染色后成像的同一组织样本22的明场图像48中(图6L和图6P)。

将来自经训练的深度神经网络10的数字/虚拟染色输出图像40与标准组织化学染色图像48进行比较，以诊断多种类型组织上的多种类型的状况，这些状态可以是***固定石蜡包埋的(FFPE)或冻结切片。结果总结在下表1中。由四位委员会认证的病理学家(他们不了解虚拟染色技术)对十五(15)个组织切片进行分析，结果显示100％的非主要不一致，即专业观察者之间的诊断无明显差异。观察者之间的“诊断时间”差异很大，从观察者2的平均每幅图像10秒到观察者3的每幅图像276秒。然而，观察者内部的变异性很小，并且对于观察者2以外的所有观察者，趋于使用虚拟染色的幻灯片图像40来缩短诊断时间，这等于，即，对于虚拟幻灯片图像40和组织学染色的幻灯片图像48而言，每幅图像约10秒。这些表明两种图像模式之间的诊断效用非常相似。

表1

对全玻片图像(WSI)的染色功效的盲评估

在评估组织切片和染色的差异之后，在专门的染色组织学工作流程中测试了虚拟染色***2的能力。特别是，用20倍/0.75NA物镜对15个未标记的肝脏组织切片样本和13个未标记的肾脏组织切片的自发荧光分布进行成像。所有肝脏和肾脏组织切片均取自不同患者，且包括小活检和较大切除两者。所有组织切片均从FFPE获得，但未覆盖盖玻片。自发荧光扫描后，组织切片在组织学上用马松三色的三色(4μm肝脏组织切片)和琼斯染色剂(2μm肾脏组织切片)染色。然后将WSI分为训练集和测试集。对于肝片队列，使用7个WSI训练虚拟染色算法，使用8个WSI进行盲检；对于肾脏切片队列，使用6个WSI训练算法，并使用7个WSI进行测试。研究病理学家对每个WSI的染色技术不了解，要求对不同染色剂的质量应用1-4个数字等级：4＝完美，3＝非常好，2＝可接受，1＝不可接受。其次，研究病理学家对特定特征采用了相同的评分量表(1-4)：仅针对肝脏，细胞核细节(ND)，细胞质细节(CD)和细胞外纤维化(EF)。这些结果总结在下面的表2(肝脏)和表3(肾脏)中(获胜者为粗体)。数据表明，病理学家能够使用两种染色技术以及两种技术之间的高度一致性来识别组织病理学特征，而无需明确的优选染色技术(虚拟与组织学)。

表2

表3

网络输出图像质量的量化

接下来，除了在图3A至图3H，图4A至图4H，图5A至图5P中提供的视觉比较之外，通过首先计算化学染色的样本22的明场图像48与使用深度神经网络10合成的数字/虚拟染色的图像40(不使用任何标记/染色)之间的像素级差异来量化经训练的深度神经网络的结果10。下表4总结了使用YCbCr颜色空间对组织类型和染色的不同组合进行的比较，其中色度分量Cb和Cr完全定义颜色，而Y定义图像的亮度分量。比较结果表明，对于色度(Cb，Cr)和亮度(Y)通道，这两组图像之间的平均差异分别为<约5％和<约16％。接下来，使用第二个指标进一步量化比较，即结构相似性指数(SSIM)，与参考图像相比，结构相似性指数通常用于预测人类观察者对图像给出的分数(等式8)。SSIM的范围是0到1，其中1定义相同图像的分数。该SSIM定量的结果也总结在表4中，其很好地说明了化学染色样本的网络输出图像40和明场图像48之间的强结构相似性。

表4

应该注意的是，化学染色的组织样本22的明场图像48实际上并未为网络输出图像40的这一特定SSIM和YCbCr分析提供真正的金标准，因为组织在组织化学染色过程以及相关的脱水和清除步骤中会经历不受控制的变化和结构变化。对于某些图像注意到的另一种变化是，自动显微镜扫描软件为两种成像方式选择了不同的自动聚焦平面。所有这些变化为两组图像的绝对定量比较提出了一些挑战(即，未标记组织的网络输出40与组织学染色过程后相同组织的明场图像48)。

染色标准化

数字/虚拟染色***2的一个有趣的副产品可以是染色标准化。换句话说，经训练的深度神经网络10收敛于“普通染色”着色方案，由此组织学染色的组织图像48中的变化高于虚拟染色的组织图像40中的变化。虚拟染色的着色仅是其训练的结果(即，在训练阶段使用的金标准组织学染色)，并且可以根据病理学家的喜好通过对网络进行新的染色着色再训练来进一步调整。这种“改进的”训练可以从头开始创建，也可以通过迁移学习来加快。使用深度学习进行潜在的染色标准化可以纠正样本制备不同阶段人与人之间变化的负面影响，在不同临床实验室之间建立共同点，增强临床医生的诊断工作流程，并协助开发新算法，例如自动组织转移检测或不同类型癌症的分级等。

将学习转移到其他组织-染色组合

使用转移学习的概念，用于新组织和/或染色类型的训练过程可以收敛得更快，同时还达到改善的性能，即，训练成本/损失函数的更好的局部最小值。这意味着，可以使用来自不同组织-染色组合的预学习CNN模型深度神经网络10来初始化深度神经网络10，以统计地学习新组合的虚拟染色。图6A至图6C示出了这种方法的有利属性：训练新的深度神经网络10以虚拟地染色未染色的甲状腺组织切片的自发荧光图像20，且使用另一个深度神经网络10(先前已针对唾液腺的H&E虚拟染色进行了训练)的权重和偏差对其进行初始化。如图6A所示，损失度量作为训练阶段中使用的迭代次数的函数的演变清楚地表明，与使用随机初始化从头开始训练的相同网络体系结构相比，新的甲状腺深度网络10迅速收敛至更低的最小值。图6B比较了该甲状腺网络10在其学习过程的不同阶段的输出图像40，这进一步示出了转移学习的影响，以快速使所提出的方法适应新的组织/染色组合。在训练阶段(例如，≥6,000次迭代)后，网络输出图像40揭示出细胞核显示出不规则的轮廓，核沟和染色质苍白，提示甲状腺***状癌；细胞还显示轻度至中度的嗜酸性粒状细胞质，网络输出图像处的纤维血管核心显示炎症细胞增多，包括淋巴细胞和浆细胞。图6C示出了相应的H&E化学染色的明场图像48。

使用多个不同分辨率的荧光通道

使用经训练的深度神经网络10的方法可以与其他激发波长和/或成像模态结合，以便增强其对于不同组织成分的推断性能。例如，尝试使用虚拟H&E染色在皮肤组织切片样本上检测黑色素。然而，由于在本文所述实验***中测得的DAPI激发/发射波长处，黑色素呈微弱的自发荧光信号，因此在网络的输出中并未明确识别出黑色素。一种增加黑色素自发荧光的潜在方法是在样本处于氧化溶液中时对其成像。然而，在使用额外的自发荧光通道(例如来自Cy5滤光片(激发628nm/发射692nm))的情况下，使用了更实用的替代方法，从而可以增强黑色素信号并在经训练的深度神经网络10中准确推断出黑色素信号。如图7A至图7C所示，通过使用DAPI和Cy5自发荧光通道两者来训练网络10，经训练的深度神经网络10能够成功确定样本中黑色素出现的位置。相反，当仅使用DAPI通道时(图7A)，网络10无法确定包含黑色素的区域(这些区域显示为白色)。换句话说，网络10使用来自Cy5通道的额外的自发荧光息信来将黑色素与背景组织区分开。对于图7A至图7C所示的结果，使用低分辨率的物镜(10倍/0.45NA)为Cy5通道获取图像20，以补充高分辨率DAPI扫描(20倍/0.75NA)，假设在高分辨率DAPI扫描中找到了最必要的信息，而其他信息(例如黑色素的存在)可以用较低分辨率的扫描进行编码。以这种方式，使用了两个不同的通道，其中一个通道以较低的分辨率用来识别黑色素。这可能需要用荧光显微镜110多次扫描样本22。在又一个多通道实施例中，可以将多个图像20馈送到经训练的深度神经网络10。例如，这可包括原始荧光图像与经过线性或非线性图像预处理(例如对比度增强，对比度反转和图像过滤)的一个或多个图像的组合。

本文所述的***2和方法显示了使用监督深度学习技术对未标记组织切片22进行数字/虚拟染色的能力，该技术使用标准荧光显微镜110和滤光片组捕获的样本的单个荧光图像20作为输入(在其他实施例中，当使用多个荧光通道时，输入多个荧光图像20)。这种基于统计学习的方法具有重组组织病理学临床工作流程的潜力，并且可以受益于各种成像方式，例如荧光显微镜、非线性显微镜、全息显微镜、受激拉曼散射显微镜和光学相干断层扫描等技术以为组织样本22的组织化学染色的标准做法提供数字替代方案。这里，使用固定的未染色组织样本22证明了该方法，以提供与化学染色的组织样本的有意义的比较，这对于训练深度神经网络10以及针对临床认可的方法盲目测试网络输出的性能至关重要。然而，所提出的基于深度学习的方法广泛地适用于样本22的不同类型和状态，包括未切片的新鲜组织样本(例如，根据活检步骤)，而无需使用任何标记或染色剂。经过训练后，深度神经网络10可用于对使用例如紫外或深紫外激发或甚至非线性显微镜模式获得的未标记新鲜组织样本22的图像进行数字/虚拟染色。例如，拉曼显微镜可以提供非常丰富的未标记生化特征，这可以进一步增强神经网络学习的虚拟染色的有效性。

训练过程的重要部分涉及在组织化学染色过程(即，化学染色的图像)之后使未标记组织样本22的荧光图像20和它们相应的明场图像48匹配。应该注意的是，在染色过程和相关步骤中，某些组织成分可能会丢失或变形，从而在训练阶段会误导损失/成本功能。然而，这仅是与训练和验证有关的挑战，并且对用于对未标记组织样本22进行虚拟染色的训练好后的深度神经网络10的实践没有任何限制。为了确保训练和验证阶段的质量，并将此挑战对网络性能的影响降到最低，为两组图像之间(即，在组织化学染色过程之前和之后)的可接受的相关值建立阈值，并且从训练/验证集中消除了不匹配的图像对，以确保深度神经网络10能够学习真实信号，而不是由于化学染色过程而对组织形态造成的干扰。实际上，清理训练/验证图像数据的过程可以迭代地完成：可以从粗略消除明显改变的样本开始，并因此收敛于被训练的神经网络10。在此初始训练阶段之后，可用图像集中的每个样本的输出图像40相对于它们对应的明场图像48进行筛选，以设置更精确的阈值来拒绝一些其他图像，并进一步清理训练/验证图像集。通过该过程的几次迭代，不仅可以进一步优化图像集，而且可以提高最终训练的深度神经网络10的性能。

由于组织学染色过程之后一些组织特征的随机损失，上述方法将减轻一些训练挑战。实际上，这突显了跳过组织化学染色所涉及的费力且昂贵的步骤的另一种动机，因为采用无标记方法可以更轻松地保存局部组织的组织学，而无需专家来处理染色过程中的某些微妙程序，有时还需要在显微镜下观察组织。

使用PC台式机，深度神经网络10的训练阶段需要花费大量时间(例如，唾液腺网络需要约13个小时)。但是，通过使用基于GPU的专用计算机硬件，可以大大加快整个过程。此外，如在图6A至图6C中已经强调的那样，转移学习为新的组织/染色组合的训练阶段提供了“热启动”，从而使整个过程明显更快。一旦训练了深度神经网络10，就以单个非迭代的方式执行样本图像40的数字/虚拟染色，这不需要反复试验或任何参数调整即可获得最佳结果。基于其前馈和非迭代架构，深度神经网络10在不到一秒钟的时间内(例如0.59秒，对应于约0.33mm×0.33mm的样本视野)快速输出虚拟染色的图像。通过基于GPU的进一步加速，在输出数字/虚拟染色图像40时，它有可能实现实时或接近实时的性能，这在手术室或体内成像应用中尤其有用。

所实施的数字/虚拟染色过程是基于针对每个组织/染色组合训练单独的CNN深度神经网络10的。如果将具有不同组织/染色组合的自发荧光图像20馈入基于CNN的深度神经网络10，它将无法按预期运行。但是，这不是一个限制，因为对于组织学应用而言，要针对每个感兴趣的样本22预先确定组织类型和染色类型，因此，用于从未标记样本22的自发荧光图像20创建数字/虚拟染色图像40的特定CNN选择不需要额外的信息或资源。当然，可以通过例如增加模型中训练参数的数量来为多种组织/染色组合学习更通用的CNN模型，但要付出可能增加训练和推断时间的代价。另一个途径是***2的潜力和对同一未标记组织类型执行多个虚拟染色的方法。

***2的显著优点是它非常灵活。如果通过临床比较检测到诊断失败，则可以容纳反馈以从统计学上改善其性能，方法是相应地对发现的失败进行惩罚。基于网络输出性能的临床评估，该迭代训练和转移学***上进行微指导分子分析，方法是基于虚拟染色在局部识别感兴趣的区域，并使用该信息指导组织的后续分析，例如进行微免疫组织化学分析或排序。在未标记的组织样本上进行的这种虚拟微引导可以促进高通量的疾病亚型识别，也有助于为患者开发定制的疗法。

样本制备

使用二甲苯对***固定的石蜡包埋的2μm厚组织切片进行解石蜡，并使用Cytoseal^TM(沃尔瑟姆赛默飞世尔科技公司，MA USA)将其固定在标准载玻片上，然后放置盖玻片(Fisherfinest^TM，24x50-1，费希尔科学公司，美国宾夕法尼亚州匹兹堡)。在对未标记的组织样本进行初始的自发荧光成像过程(使用DAPI激发和发射滤光片组)后，将玻片放入二甲苯中约48小时，或者直到可以去除盖玻片而不损坏组织。一旦除去盖玻片后，将玻片浸入(约30次浸入)无水酒精，95％酒精中，然后在D.I.水中洗涤约1分钟。此步骤之后是用于H&E，马松三色的三色或琼斯染色的相应染色程序。该组织处理路径仅用于训练和验证方法，且在训练网络后不再需要。为了测试该***和方法，使用了不同的组织和染色剂组合：唾液腺和甲状腺组织切片用H&E染色，肾脏组织切片用琼斯染色剂染色，而肝和肺组织切片则用马松三色的三色染色。

在WSI研究中，2-4μm厚的FFPE组织切片在自发荧光成像阶段没有被盖玻片覆盖。自发荧光成像后，按上述方法对组织样本进行组织学染色(马松三色的三色用于肝脏，琼斯用于肾脏组织切片)。通过将组织切片包埋在O.C.T.中制备未染色的冷冻样本(组织技术，美国樱花Finetek公司)，然后将其浸入2-甲基丁烷中并加干冰。然后将冷冻切片切成4μm切片，并放入冷冻机中直到成像。成像过程后，组织切片用70％酒精洗涤，H&E染色并覆盖玻片。样本从转化病理学核心实验室(TPCL)获得，并由UCLA的组织学实验室制备。根据IRB18-001029(UCLA)获得了糖尿病和非糖尿病患者的肾脏组织切片。在取消识别患者相关信息后获得所有样本，并从现有样本中制备。因此，这项工作不会干扰护理或样本收集程序的标准操作。

数据采集

使用配备有电动载物台的常规荧光显微镜110(IX83，奥林巴斯公司，东京，日本)捕获未标记的组织自发荧光图像20，其中图像采集过程由显微镜自动化软件控制(分子设备有限责任公司)。未染色的组织样本用近紫外光激发，并使用带有40倍/0.95NA物镜(奥林巴斯UPLSAPO 40X2/0.95NA，WD0.18)或20倍/0.75NA物镜(奥林巴斯UPLSAPO 20X/0.75NA，WD0.65)的DAPI滤光镜(OSFI3-DAPI-5060C，激发波长377nm/50nm带宽，发射波长447nm/60nm带宽)成像。对于黑色素推论，还使用带有10倍/0.4NA物镜(Olympus UPLSAPO10X2)的Cy5滤光片(CY5-4040C-OFX，激发波长628nm/40nm带宽，发射波长692nm/40nm带宽)额外获取了样本的自发荧光图像。用科学的CMOS传感器(ORCA-flash4.0 v2，日本静冈县浜松光电公司K.K.)捕获每个自发荧光图像，曝光时间约为500毫秒。使用装有2倍放大适配器的20倍/0.75NA物镜(Plan Apo)，使用载玻片扫描仪显微镜(莱卡生物***公司)获取明场图像48(用于训练和验证)。

图像预处理和对准

由于深度神经网络10旨在学习化学未染色的组织样本22的自发荧光图像20和组织化学染色后相同组织样本22的明场图像48之间的统计转换，因此重要的是准确匹配输入图像和目标图像(即未染色的自发荧光图像20和染色的明场图像48)的FOV。图8中描述了描述全局和局部图像配准过程的总体方案，该方案已在MATLAB(美国马萨诸塞州内蒂克的MathWorks Inc.)中实现。此过程的第一步是找到候选特征，以匹配未染色的自发荧光图像和化学染色的明场图像。为此，对每个自发荧光图像20(2048×2048像素)进行下采样以匹配明场显微镜图像的有效像素大小。这导致了1351×1351像素的未染色自发荧光组织图像，通过使所有像素值的底部1％和顶部1％饱和来增强对比度，并反转对比度(图8中的图像20a)以更好地表示经过灰度转换的整个幻灯片图像的颜色图。然后，执行相关斑块处理60，其中通过将1351×1351像素斑块中的每一个与从整个幻灯片灰度图像48a提取的相同大小的对应斑块相关来计算归一化相关分数矩阵。该矩阵中得分最高的条目表示两种成像模态之间最可能匹配的FOV。使用此信息(定义一对坐标)，将原始整个幻灯片明场图像48的匹配FOV裁剪48c以创建目标图像48d。遵循该FOV匹配程序60，自发荧光20和明场显微镜图像48被粗略地匹配。但是，由于在两个不同的显微成像实验(自发荧光，随后是明场)的样本放置中存在轻微的不匹配，它们仍未在单个像素级别上精确配准，这会随机导致同一样本的输入图像和目标图像之间有微小的旋转角度(例如约1-2度)。

输入目标匹配过程的第二部分涉及全局配准步骤64，该步骤对自发荧光和明场图像之间的该微小旋转角进行校正。这是通过从图像对中提取特征向量(描述符)及其对应位置，并使用提取的描述符匹配特征来完成的。然后，使用作为随机样本共识(RANSAC)算法的变体的M估计样本共识(MSAC)算法找到与匹配对相对应的转换矩阵。最后，通过将该变换矩阵应用于原始明场显微镜图像斑块48d来获得角度校正图像48e。在施加该旋转之后，由于旋转角度校正，图像20b，48e进一步被裁剪100个像素(每侧50个像素)以适应图像边界处的未定义像素值。

最后，对于局部特征配准操作68，弹性图像配准，其通过从大到小分层匹配相应的块来匹配两组图像的局部特征(自发荧光20b与明场48e)。神经网络71用于学习大致匹配的图像之间的变换。该网络71使用与图10中的网络10相同的结构。使用少量的迭代，使得网络71仅学习准确的颜色映射，而不学习输入图像和标记图像之间的任何空间变换。最后，将从该步骤计算出的变换图应用于每个明场图像斑块48e。在这些配准步骤60、64、68结束时，自发荧光图像斑块20b和它们相应的明场组织图像斑块48f彼此精确匹配，并且可以用作用于训练深度神经网络10的输入和标记对，从而允许网络仅关注并学习虚拟组织学染色的问题。

对于20倍物镜图像(用于生成表2和表3数据)，使用了类似的过程。代替对自发荧光图像20进行下采样，将明视野显微镜图像48下采样至其原始大小的75.85％，使得它们与较低放大率图像匹配。此外，为了使用这些20倍图像创建整个幻灯片图像，还应用了其他阴影校正和归一化技术。在被馈送到网络71之前，通过减去整个幻灯片的平均值并将其除以像素值之间的标准偏差来对每个视野进行归一化。这样可以规范每张幻灯片内以及幻灯片之间的网络输入。最后，将阴影校正应用于每个图像，以解决在每个视野边缘测得的较低相对强度。

深度神经网络架构与训练

在这项工作中，使用GAN架构来学***均了所有合理结果的加权概率；因此，通常需要其他正则项来指导网络在网络输出端保留所需的清晰样本特征。GAN通过学习旨在准确分类深度网络输出图像是真实还是伪造(即，其虚拟染色正确或错误)的准则来避免此问题。这使得与期望的标记不一致的输出图像不被容忍，这使得损失函数适应于数据和手头的期望任务。为了实现该目标，GAN训练过程涉及训练两个不同的网络，如图9和图10所示：(i)生成器网络70，在这种情况下，其目的是在组织学染色过程之后学习同一样本12的未染色的自发荧光输入图像20和相应明场图像48之间的统计转换；以及(ii)鉴别器网络74，其学习如何在被染色的组织切片的真实明场图像与生成器网络的输出图像之间进行鉴别。最终，该训练过程的期望结果是经训练的深度神经网络10，其将未染色的自发荧光输入图像20转换为数字染色图像40，该数字染色图像40将难以与同一样本22的染色明场图像48区分。为了完成此任务，生成器70和鉴别器74的损失函数69定义如下：

l_generator＝MSE{z_label,z_output}+λ×TV{z_output}+α×(1-D(z_output))²

l_discrimnator＝D(z_output)²+(1-D(z_label))² (1)

其中，D是指鉴别器网络的输出，z_label是化学染色组织的明场图像，z_output是生成器网络的输出。生成器损耗函数利用经验上设置为不同值(它们分别适应约2％和约20％的像素级MSE损耗和约20％的综合生成器损耗(l_generator))的正则化参数(λ，α)来平衡生成器网络输出图像相对于其标记、输出图像的总变差(TV)运算符以及输出图像的鉴别器网络预测的像素级均方误差(MSE)。图像z的TV操作符定义为：

其中，p，q是像素索引。基于等式(1)，鉴别器试图使输出损失最小化，同时使对真实标记物(即化学染色组织的明场图像)进行正确分类的可能性最大化。理想情况下，鉴别器网络的目标是实现D(z_label)＝1和D(z_output)＝0，但是如果GAN成功训练了生成器，则理想情况下D(z_output)将收敛到0.5。

在图10中详细描述了生成器深度神经网络架构70。网络70使用下采样和上采样路径以多尺度方式处理输入图像20，从而帮助网络学习各种不同尺度的虚拟染色任务。下采样路径包含四个单独的步骤(四个块#1、#2、#3、#4)，每个步骤包含一个残差块，每个残差块都将特征图x_k映射到特征图x_k+1：

x_k+1＝x_k+LReLU[CONV_k3{LReLU[CONV_k2{LReLU[CONV_k1{x_k}]}]}] (3)

其中，CONV{.}是卷积算子(其包括偏置项)，k1，k2和k3表示卷积层的序列号，而LReLU[.]是整个网络中使用的非线性激活函数(即泄漏校正线性单元)，定义为：

下采样路径中每个级别的输入通道数设置为：1、64、128、256，而下采样路径中的输出通道数设置为：64、128，256、512。为避免每个块的尺寸不匹配，对特征图x_k进行了零填充以匹配x_k+1中的通道数。每个下采样级别之间的连接是一个2×2的平均池化层，跨度为2个像素，可以将特征图下采样4倍(每个方向上为2倍)。在第四个下采样块的输出之后，另一个卷积层(CL)将特征图的数量保持为512，然后再将其连接到上采样路径。上采样路径由四个对称的上采样步骤(#1、#2、#3、#4)组成，每个步骤包含一个卷积块。将特征图y_k映射到特征图y_k+1的卷积块操作由下式给出：

y_k+1＝LReLU[CONV_k6{LReLU[CONV_k5{LReLU[CONV_k4{CONCAT(x_k+1,US{y_k})}]}]}](5)

其中，CONCAT(.)是合并通道数量的两个特征图之间的串联，US{.}是上采样运算符，而k4，k5和k6表示卷积层的序列号。上采样路径中每个级别的输入通道数分别设置为1024、512、256、128，上采样路径中每个级别的输出通道数分别设置为256、128、64，32。最后一层是将YCbCr颜色图表示的32个通道映射为3个通道的卷积层(CL)。生成器网络和鉴别器网络都经过了256×256像素斑块尺寸的训练。

在图10中总结，鉴别器网络接收三(3)个输入通道，它们对应于输入图像40YCbCr，48YCbCr的YCbCr颜色空间。然后使用卷积层将该输入转换为64通道表示形式，然后是5个以下运算符块：

z_k+1＝LReLU[CONV_k2{LReLU[CONV_k1{z_k}]}] (6)

其中，k1，k2，表示卷积层的序列号。每层的通道数为3、64、64、128、128、256、256、512、512、1024、1024、2048。下一层是平均池化层，其滤光片大小等于斑块大小(256×256)，这将产生具有2048个条目的向量。然后，将此平均池化层的输出馈送到具有以下结构的两个完全连接的层(FC)：

z_k+1＝FC[LReLU[FC{z_k}]] (7)

其中，FC表示完全连接的层，具有可学习的权重和偏差。第一个完全连接的层输出具有2048个条目的向量，而第二个输出标量值。该标量值用作S型激活函数D(z)＝1/(1+exp(-z))的输入，该函数计算鉴别器网络输入为真实/真或假的概率(0到1之间)，即理想的如图10中的输出67所示D(z_label)＝1。

整个GAN的卷积核被设置为3×3。通过使用标准差为0.05，平均值为0的截断正态分布来随机初始化这些内核；所有网络偏差都被初始化为0。通过使用自适应矩估计(Adam)优化器(对于生成器网络70学习率为1×10^-4，对于鉴别器网络74学习率为1×10^-5)反向传播(如图10的虚线箭头所示)，在深度神经网络10的训练阶段更新可学习参数。而且，对于鉴别器74的每次迭代，生成器网络70存在4次迭代，以避免在鉴别器网络可能潜在地过度适合标记之后训练停滞。训练中使用的批量大小为10。

一旦所有视野都已经通过网络10，就使用Fiji Grid/Collection缝合插件将整个幻灯片图像缝合在一起(例如，参见Schindelin，J.等人，Fiji：一种用于生物图像分析的源平台，《自然方法》，第9卷，第676-682页，2012年，在此引用作为参考)。该插件计算每个图块之间的精确重叠，然后将它们线性混合成一个大图像。总体而言，推论和缝合每平方厘米分别花费了大约5分钟和30秒，并且可以使用硬件和软件的改进来大大改善。在显示给病理学家之前，将自发荧光或明场图像中未聚焦或有较大像差(例如由于灰尘颗粒)的部分裁剪掉。最后，图像被导出为Zoomify格式(旨在使用标准的Web浏览器查看大图像；http：//zoomify.com/)并上传到GIGAmacro网站(https://viewer.gigamacro.com/)，以方便病理学家访问和查看。

实施细节

在下面的表5中示出其他实现细节，包括经训练的斑块数量，历元数量和训练时间。使用Python版本3.5.0实现了数字/虚拟染色的深度神经网络10。GAN是使用TensorFlow框架版本1.4.0实现的。使用的其他python库包括os、time、tqdm、Python Imaging Library(PIL)、SciPy、glob、ops、sys和numpy。该软件是在台式机上实现的，该台式机具有Core i7-7700K [email protected](因特尔)和64GB RAM，并运行Windows 10操作***(Microsoft)。使用双重

GTX 1080Ti GPU(英伟达)进行了网络训练和测试。

表5

尽管已经示出和描述了本发明的实施例，但是在不脱离本发明的范围的情况下可以进行各种修改。因此，除了以下权利要求及其等同物之外，本发明不应受到限制。

Claims (41)

1.一种生成未标记样本的数字染色显微图像的方法，包括：

提供使用计算设备的一个或多个处理器由图像处理软件执行的经训练的深度神经网络，其中，所述经训练的深度神经网络用同一样本的多个匹配的化学染色图像或图像斑块和它们的相应荧光图像或图像斑块来训练；

使用荧光显微镜和激发光源获得所述样本的荧光图像，其中，从所述样本内频移光的内源性荧光或其他内源性发射器发射荧光；

将所述样本的所述荧光图像输入所述经训练的深度神经网络；以及

所述经训练的深度神经网络输出所述样本的所述数字染色显微图像，所述数字染色显微图像基本上等同于已经被化学染色的所述同一样本的相应明场图像。

2.根据权利要求1所述的方法，其中，所述经训练的深度神经网络包括卷积神经网络。

3.根据权利要求1所述的方法，其中，使用生成对抗网络(GAN)模型来训练所述深度神经网络。

4.根据权利要求1所述的方法，其中，所述样本用一种或多种外源荧光标记或其他外源光发射器标记。

5.根据权利要求1所述的方法，其中，使用生成器网络和鉴别器网络训练所述深度神经网络，所述生成器网络被配置为学习同一样本的所匹配的化学染色图像或图像斑块和荧光图像或图像斑块之间的统计转换，所述鉴别器网络被配置为在所述样本的地面真实化学染色图像和所述样本的所输出的数字染色显微图像之间进行鉴别。

6.根据权利要求1所述的方法，其中，所述样本包括哺乳动物组织、植物组织、细胞、病原体、生物体液涂片或其他感兴趣的对象。

7.根据权利要求1所述的方法，其中，用与所获得的荧光图像的样本类型相同类型的样本来训练所述深度神经网络。

8.根据权利要求1所述的方法，其中，所述经训练的深度神经网络在输入所述荧光图像的不到一秒钟内输出数字染色显微图像。

9.根据权利要求1所述的方法，其中，所述样本包括非固定的组织样本。

10.根据权利要求1所述的方法，其中，所述样本包括固定的组织样本。

11.根据权利要求10所述的方法，其中，所述固定的组织样本被包埋在石蜡中。

12.根据权利要求1所述的方法，其中，所述样本包括新鲜的组织样本。

13.根据权利要求1所述的方法，其中，所述样本包括体内成像的组织。

14.根据权利要求1所述的方法，其中，所述激发光源发射紫外光或近紫外光。

15.根据权利要求1所述的方法，其中，使用滤光片组在滤光后的发射波段或发射波长范围内获得所述荧光图像。

16.根据权利要求15所述的方法，其中，使用多个滤光片来捕获输入到所述经训练的深度神经网络的多个荧光图像。

17.根据权利要求16所述的方法，其中，通过多个激发光源以不同波长或波段发射光来获得所述多个荧光图像。

18.根据权利要求1所述的方法，其中，在输入到所述经训练的深度神经网络之前，所述荧光图像经受选自对比度增强、对比度反转、图像滤波的一种或多种线性或非线性图像预处理操作。

19.根据权利要求17所述的方法，其中，所述荧光图像和一个或多个预处理图像一起被输入到所述经训练的深度神经网络中。

20.根据权利要求1所述的方法，其中，所述同一样本的多个匹配的化学染色图像或图像斑块和荧光图像或图像斑块在训练期间经受配准包括：校正旋转的全局配准过程和与所匹配的化学染色图像和荧光图像中发现的局部特征相匹配的后续局部配准过程。

21.根据权利要求1所述的方法，其中，使用一个或多个GPU或ASIC来训练所述经训练的深度神经网络。

22.根据权利要求1所述的方法，其中，使用一个或多个GPU或ASIC来执行所述经训练的深度神经网络。

23.根据权利要求1所述的方法，其中，在获得所述样本的荧光图像或一组荧光图像之后，实时或接近实时地输出所述样本的数字染色显微图像。

24.根据权利要求23所述的方法，其中，使用来自第一组织/染色组合的初始神经网络权值和偏差来针对第二组织/染色组合对所述经训练的深度神经网络进行训练，并使用转移学习对所述第二组织/染色组合进行进一步优化。

25.根据权利要求23所述的方法，其中，针对多个组织/染色组合来训练所述经训练的深度神经网络。

26.根据权利要求23所述的方法，其中，针对给定的组织类型，针对一种以上化学染色类型来训练所述经训练的深度神经网络。

27.一种生成未标记样本的数字染色显微图像的方法，包括：

提供使用计算设备的一个或多个处理器由图像处理软件执行的经训练的深度神经网络，其中，所述经训练的深度神经网络用同一样本的多个匹配的化学染色图像或图像斑块和它们的相应荧光图像或图像斑块来训练；

使用荧光显微镜获得所述样本的第一荧光图像，并且其中，从所述样本内移频光的内源性荧光或其他内源性发射器发射第一波长或波长范围的荧光；

使用荧光显微镜获得所述样本的第二荧光图像，并且其中，从所述样本内移频光的内源性荧光或其他内源性发射器发射第二波长或波长范围的荧光；

将所述样本的所述第一荧光图像和所述第二荧光图像输入到所述经训练的深度神经网络；以及

所述经训练的深度神经网络输出所述样本的所述数字染色显微图像，所述数字染色显微图像基本上等同于已经被化学染色的所述同一样本的相应明场图像。

28.根据权利要求27所述的方法，其中，使用不同的分辨率获得所述第一荧光图像和所述第二荧光图像。

29.根据权利要求27所述的方法，其中，所述样本包括组织、细胞、病原体、生物体液涂片或其他感兴趣的对象。

30.一种用于生成化学未染色样本的数字染色显微图像的***，包括：

具有在其上执行或由其执行图像处理软件的计算设备，所述图像处理软件包括使用所述计算设备的一个或多个处理器执行的经训练的深度神经网络，其中，所述经训练的深度神经网络用同一样本的多个匹配的化学染色图像或图像斑块和它们的相应荧光图像或图像斑块来训练，所述图像处理软件被配置为接收所述样本的一个或多个荧光图像并输出所述样本的所述数字染色显微图像，所述数字染色显微图像基本上等同于已经被化学染色的所述同一样本的相应明场图像。

31.根据权利要求30所述的***，其中，所述经训练的深度神经网络包括卷积神经网络。

32.根据权利要求31所述的***，其中，使用生成对抗网络(GAN)模型来训练所述经训练的深度神经网络。

33.根据权利要求30所述的***，还包括荧光显微镜，所述荧光显微镜被配置为获得所述样本的一个或多个荧光图像。

34.根据权利要求33所述的***，还包括多个滤光片，其中，使用不同的滤光片获得多个荧光图像。

35.根据权利要求33所述的***，其中，所述荧光显微镜包括发射不同波长或波段的光的多个激发光源。

36.根据权利要求32所述的***，其中，使用生成器网络和鉴别器网络训练所述GAN模型，所述生成器网络被配置为学习同一样本的所匹配的化学染色图像或图像斑块和荧光图像或图像斑块之间的统计转换，所述鉴别器网络被配置为在所述同一样本的地面真实化学染色图像和所述样本的所输出的数字染色显微图像之间进行鉴别。

37.根据权利要求32所述的***，其中，用与所获得的荧光图像的样本相同的样本类型的样本来训练所述GAN模型。

38.根据权利要求30所述的***，其中，所述经训练的深度神经网络在输入所述荧光图像的不到一秒钟内输出数字染色显微图像。

39.根据权利要求30所述的***，其中，所述荧光显微镜的激发光源发射紫外光或近紫外光。

40.根据权利要求33所述的***，其中，其中，使用滤光片组在滤光后的发射波段或发射波长范围内获得所述荧光图像。

41.根据权利要求40所述的***，其中，所述滤光片组包括被配置为与所述荧光显微镜一起使用的多个滤光片之一。

Images