CN108805918A - 基于dcae结构的病理图像染色不变性低维表示方法 - Google Patents

Abstract

本发明公开了一种基于DCAE结构的病理图像染色不变性低维表示方法，步骤包括：1)组织样本病理图像粗对准；2)训练样本的选取；3)双通道自动编码器的训练；4)更新特征聚类中心。该基于DCAE结构的病理图像染色不变性低维表示方法，可找到目标集和源数据集之间的归一化特征表示，不依赖任何复杂或耗时的预处理，只需将原始图像用作输入，也不依赖于标记的输入图像，就能够将组织图像分割成其组成成分的低维表示，具有准确、快速、自动化等特点，具有很好的实用性。

Description

基于DCAE结构的病理图像染色不变性低维表示方法

技术领域

本发明涉及图像信息处理技术领域，特别是一种基于DCAE(Dual Channels AutoEncoder)结构的病理图像染色不变性低维表示方法。

背景技术

组织病理学和细胞病理学已成为诊断不同癌症类型的黄金准则。数字病理学是一种用于区分和诊断组织成分(如肿瘤，细胞核和细胞)的先进技术。通常在进行人工智能诊断之前，将自然或人造的染色剂应用于组织活检。最常见的是苏木精和伊红。苏木精会与遗传物质结合，将细胞核染成深蓝色或紫色，而细胞质、胶原蛋白和肌纤维会被伊红染成粉红色。

由于染色过程的化学性质，许多因素可以改变给定组织切片的视觉外观。扫描仪之间的差异是由所使用的幻灯片数字转换器的类型引起的，这种差异会导致数字化图像的亮度，对比度和分辨率差异很大以及引入某些人为因素。

目前染色标准化方法大致可分为三类：1)颜色匹配；2)颜色分离；3)基于学习的技术。Reinhard等人提出的基于颜色匹配的方法需要手动选择目标图像，在应用于较大数据集时效果不佳。另外目标图像的选择也较困难，因为它必须包含大部分染色变异和组织类型才能表现良好。Khan等人提出的方法在许多场合中取得了很好的结果，但基于颜色分离的方法需要从模板图像中学习转移矩阵，然而这个矩阵可能不适用于数据集的其余部分，这意味着需要根据数据集中染色多变性来计算每个图像的矩阵。Bentaieb等人提出使用整个图像集而不是单个参考图像，但是这种方法需要大量注释的训练图像，而获取大量带注释的训练图像是相当困难且工作量极大的。

发明内容

发明目的：针对现有技术中存在的不足，本发明的目的是提供一种基于DCAE结构的病理图像染色不变性低维表示方法，找到目标集和源数据集之间的归一化特征表示，不依赖任何复杂或耗时的预处理，只是将原始图像用作输入，也不依赖于标记的输入图像，就能够将组织图像分割成其组成成分的低维表示，具有准确、快速、自动化等特点。

技术方案：为了实现上述发明目的，本发明采用的技术方案为：

一种基于DCAE结构的病理图像染色不变性低维表示方法，步骤如下：

1)组织样本病理图像粗对准；

2)训练样本的选取；

3)双通道自动编码器的训练；

4)更新特征聚类中心。

步骤1)中，首先将同一组织样本分别用不同病理扫描仪进行扫描得到成对的病理数字化图像，将标准U-Net模型应用于病理图像以分割背景和组织类，形成二进制mask，然后应用像素差分来计算2个mask欧式最小距离，得到初步配准图像对。

步骤1)中，块图像为大小为8×8×3，能够充分覆盖在10倍分辨率下拍摄的全尺寸图像中完整细胞核的最优尺寸。

步骤2)中，利用ORB特征匹配检测参考图像和目标图像中的匹配点，提取以这些点为中心的块图像，分别形成参考图像数据集和目标图像数据集。

步骤2)中，步骤2中，将系列图像块a_i∈A定义为一个数据集A，a_i的大小为960×960像素；这些图像块是从对齐的参考图像和目标图像中成对提取，利用ORB特征匹配对每个图像对x_i，计算参考图像x_i，s和目标图像x_i，t的ORB特征；然后，使用K最近邻特征匹配方法以及比率测试来找出一系列x_i，s和x_i，t之间的对齐点p_i；对于每个对齐点p_i，提取一个大小为a×a×3，以p_i为中心的块，其中a是一个实验定义的参数；将每个a×a×3的图像块分成一系列尺寸大小为b×b×3的对齐块图像并附加到数据集A中，以便保留源块图像和目标块图像之间的空间对齐。

步骤3)中，双通道编码器每个通道由一个自动编码器和两个完全连接层组成，使用SELU激活函数。

步骤3)中，分别从参考图像数据集和目标图像数据集中各提取成对块图像，作为自动编码器AE-S和AE-T的输入，一旦编码器重构其各自输入，就计算综合损失迫使每个网络在整个学习过程中得到相似的特征表示；使用BP算法计算损失函数相对于每个网络参数的梯度，并使用ADAM算法优化权重。

步骤3)中，为了加强输入的各个特征向量{x_i，s，x_i，t}之间的相似性，所用的综合损失包括重构损失(reconstruction loss，L_r)、特征损失(feature loss，L_f)和聚类损失(cluster loss，L_c)；在训练初期，首先引入重构损失作用于模型通道，获得有效特征；当重构损失下降到阈值时，特征损失和聚类损失开始作用于训练过程，同时计算特征损失和聚类损失值，取二者大的值和重构损失一起作为综合损失；各损失函数定义如下：

***目标函数定义如下：

其中w表示两个自动编码器({W_E，s，W_D，s，W_E，t，W_D，t})的权重，c_i表示聚类中心，L_r是重构损失，L_f是特征损失，L_c是聚类损失，α是阈值参数，λ为特征损失和聚类损失的权重。

步骤3)中，λ＝0.25。α＝0.1。步骤4)中，在每个训练周期结束前，对输入训练样本X对应的编码表示Z，使用标准的k-means方法，将其分成k个独立的相似数据点聚类，为其定义标签C_i，并将K个聚类中心用于下一次训练中聚类损失的距离度量。

本发明的方法使用双通道架构，其中每个通道专门用于处理来自特定源(扫描仪)的数据，该方法不需要先进的预处理技术，其双通道自动编码器(Dual Channels AutoEnoder，DCAE)模型由三个主要部分组成：一个源自动编码器(AE-S)，一个目标自动编码器(AE-T)和一个聚类机制，通过该双通道自动编码器，训练两个完全连接的自动编码器，重建各自的数据链接，增加一个保留特征的约束，迫使每个网络在整个学习过程中得到相似的特征表示，实现以无监督的方式学习组织病理学图像的低维特征表示。

有益效果：现有技术相比，本发明具有以下技术效果：

1.)本发明提出了一种基于自动编码器的新型双通道模型，用于学习来自不同类型扫描仪样本的归一化特征表示，其不需要标记数据或昂贵的预处理技术。

2)本发明提出了一种新的多重损失函数，它能够增强DCAE网络学习来自不同类型扫描仪图像的归一化特征表示。

3)该低维表示方法，可找到目标集和源数据集之间的归一化特征表示，不依赖任何复杂或耗时的预处理，只需将原始图像用作输入，也不依赖于标记的输入图像，就能够将组织图像分割成其组成成分的低维表示，具有准确、快速、自动化等特点，具有很好的实用性。

附图说明

图1是原始图像初步对准图；

图2是图像块的匹配以及建立数据集对图；

图3是DCAE模型学习过程概述图；

图4是各损失函数作用示意图；

图5是综合损失函数对***的引导过程图；

图6是损失函数对训练结果的影响图；

图7是匹配块图像及其对应每种方法的学习表示图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

实施例1

一种基于DCAE结构的病理图像染色不变性低维表示方法，步骤如下：

步骤1、组织样本病理图像粗对准

首先将组织样本分别用Aperio和Philips扫描仪进行扫描得到成对原始病理图像，将标准U-Net模型应用于病理图像以分割背景和组织类，如图1所示，形成二进制mask，然后应用像素差分来计算2个mask欧式最小距离，得到初步粗对准图像对。

步骤2、训练样本的选取

将一系列图像块a_i∈A定义为一个数据集A，a_i的大小为960×960像素。这些图像块是从对齐的参考图像和目标图像中成对提取，利用ORB特征匹配对每个图像对x_i，计算参考图像x_i，s和目标图像x_i，t的ORB特征。然后，使用K最近邻特征匹配方法以及比率测试来找出一系列x_i，s和x_i，t之间的对齐点p_i。对于每个对齐点p_i，提取一个大小为a×a×3，以p_i为中心的块，其中a是一个实验定义的参数(本方法中，a＝64)。将每个a×a×3的图像块分成一系列尺寸大小为b×b×3的对齐块图像并附加到数据集A中，以便保留源块图像和目标块图像之间的空间对齐(本方法中b＝8)。使用8×8×3尺寸的块图像，因为它能够充分覆盖在10倍分辨率下拍摄的全尺寸图像中的整个细胞核。图2显示了在不完全对齐的图像上提取块图像对以及构建用于训练的配对数据集。

步骤3、双通道自动编码器的训练

定义一个图3所示双通道训练过程，该过程由K均值聚类机制来指导。每个通道由一个具有相同架构的自动编码器组成。每个自动编码器由两个模块组成(一个编码器和一个解码器)。编码器具有两个完全连接层，其从输入图像x_i，s或x_i，t映射到一个10维特征向量。解码器从10维特征向量映射到输入图像的重构。

在对齐数据集A上训练双通道自动编码器架构。分别从参考图像数据集x_i，s和目标图像数据集x_i，t中各采样一个块图像，作为自动编码器AE-S和AE-T的输入，一旦编码器重构其各自输入，就计算综合误差。使用BP算法计算误差相对于每个网络参数的梯度，并使用ADAM算法优化权重。

传统自动编码器的目标函数定义为：

其中，g(x_i，W_E)是编码函数，W_E是编码器权重，f(g(x_i，W_E)，W_D)是解码函数，W_D是解码权重，L表示损失函数。优化这个函数需要找到最佳权重系数W_E和W_D使得损失函数L最小。

本步骤中，为了加强输入的各个特征向量{x_i，s，x_i，t}之间的相似性，所用的综合损失包括重构损失(reconstruction loss，L_r)、特征损失(feature loss，L_f)和聚类损失(cluster loss，L_c)。在训练初期，首先引入重构损失作用于模型通道，获得有效特征。当重构损失下降到0.1左右时，特征损失和聚类损失开始作用于训练过程，同时计算特征损失和聚类损失值，取二者大的值和重构损失一起作为综合损失。从图4中可见，特征损失能够优化两个不同特征向量的距离，使模型学习到尽可能相似的特征，而聚类损失可以实现模型内部聚类。各损失函数定义如下：

***目标函数定义如下：

其中w表示两个自动编码器({W_E，s，W_D，s，W_E，t，W_D，t})的权重，c_i表示聚类中心，L_r是重构损失，L_f是特征损失，L_c是聚类损失，α是阈值参数。

在本方法中，取λ＝0.25。这表示***目标函数由75％的重构损失和25％的其他损失组成。与λ参数类似，使用max(·，·)函数平衡特征损失和聚类损失。图5中S和T分别表示参考图像和目标图像，C表示最接近T的聚类中心，其中三角形描述了损失函数对***的引导过程。损失函数对训练结果的影响如图6所示，其中(a)表示仅使用特征损失，(b)表示特征损失和聚类损失同时作用的结果，每种颜色表示由k均值算法定义的标签，源数据点和目标数据点分别由正方形和三角形表示。(c)表示带图像块的TSNE可视化。从图6(a)、(b)中可以看出，当特征损失和聚类损失同时作用于训练过程时，可以得到所学特征独立的聚类。

步骤4、更新特征聚类中心

在每个训练周期，得到训练样本x_i对应的的编码表示z_i。使用标准的k-means方法，将其分成k个独立的相似数据点聚类，自动定义其标签为c_i，并将K个聚类中心用于下一次训练中聚类损失的距离度量。。聚类中心可以约束下一次训练时特征会更靠近聚类中心。经过多次往复训练，不同扫描仪病理图像的一致化特征表示就具有类内紧凑、类间强区分的特点。

实施例2

基于DCAE结构的病理图像染色不变性低维表示方法，同实施例1，其中：

原始数据集由30对不同肺组织标本图像组成，其中每对图像是使用两种不同扫描仪(Aperio和Philips)拍摄的同一染色组织样本。将标准U-Net模型应用于病理图像以分割背景和组织类，形成二进制mask，然后应用像素差分来计算2个mask欧式最小距离，得到初步粗对准图像对。

每个编码器都有两层网络，分别包含100个神经元和10个神经元，解码器镜像包含10个神经元和100个神经元。使用SELU激活函数，学习率为2e-04。目标函数中α＝0.1和λ＝0.25。

利用ORB特征匹配来检测参考图像和目标图像中的匹配点，提取以这些点为中心的块图像(Patches)，分别形成参考图像数据集和目标图像数据集。

从参考图像数据集和目标图像数据集，选择1053个图像对进行训练，其中每个周期包含300、500个块图像对，并选择263个图像对进行测试。使用大小为8×8×3的块图像训练DCAE模型，其中包括计算250个训练周期的综合损失——重构损失，特征损失和聚类损失。在训练完模型之后，将测试集中的每个图像对映射到特征空间，并对每个特征向量应用k均值聚类更新特征聚类中心。

将DCAE和StaNoSA方法应用于自定义和公共测试数据集。图7表示了一对匹配的块图像及其对应每种方法的学习表示。F-仅具有特征损失的DCAE，FC-表示具有特征聚类组合的DCAE。名称后的数字表示块图像大小。可见本方法与现有的方法相比生成的特征表示具有更大的相似性，并且同时使用特征损失和聚类损失使得病理图像中不同颜色区域代表了各自的病理组织意义，当选用8×8×3尺寸的块图像时，获得了最佳效果。

关于每个模型的实验的定量测试。表1显示了利用每种模型处理的图像计算均方根误差(MSE)，结构相似性(SSIM)和基于直方图的相似性测量SSD的结果。我们发现，与StaNoSA相比，DCAE-FC模型能够实现自定义数据集中SSIM评分增加0.097，MSE评分提高16％，SSD评分降低23％。我们的DCAE-F模型进一步改善了这些结果，SSIM评分增加了0.29，MSE改善了51％，SSD改善了84％。

表1不同模型的组织掩模相似性结果

	F-8	FC-8	FC-16	FC-32	K-means	STANOSA-8
							MSE	0.030979	0.052535	0.047547	0.028316	0.086439	0.062901
SSIM	0.611349	0.438763	0.421607	0.611243	0.178944	0.324174
							SSD	34.783660	186.665439	89.711968	51.215471	672.409629	242.197192

上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (10)

1.一种基于DCAE结构的病理图像染色不变性低维表示方法，其特征在于，步骤如下：

1)组织样本病理图像粗对准；

2)训练样本的选取；

3)双通道自动编码器的训练；

4)更新特征聚类中心。

2.根据权利要求1所述的基于DCAE结构的病理图像染色不变性低维表示方法，其特征在于，步骤1)中，首先将同一组织样本分别用不同病理扫描仪进行扫描得到成对的病理数字化图像，将标准U-Net模型应用于病理图像以分割背景和组织类，形成二进制mask，然后应用像素差分来计算2个mask欧式最小距离，得到初步配准图像对。

3.根据权利要求2所述的基于DCAE结构的病理图像染色不变性低维表示方法，其特征在于，步骤1)中，块图像为大小为8×8×3，能够充分覆盖在10倍分辨率下拍摄的全尺寸图像中完整细胞核的最优尺寸。

4.根据权利要求1所述的基于DCAE结构的病理图像染色不变性低维表示方法，其特征在于，步骤2)中，利用ORB特征匹配检测参考图像和目标图像中的匹配点，提取以这些点为中心的块图像，分别形成参考图像数据集和目标图像数据集。

5.根据权利要求4所述的基于DCAE结构的病理图像染色不变性低维表示方法，其特征在于，步骤2)中，步骤2中，将系列图像块a_i∈A定义为一个数据集A，a_i的大小为960×960像素；这些图像块是从对齐的参考图像和目标图像中成对提取，利用ORB特征匹配对每个图像对x_i，计算参考图像x_i，s和目标图像x_i，t的ORB特征；然后，使用K最近邻特征匹配方法以及比率测试来找出一系列x_i，s和x_i，t之间的对齐点p_i；对于每个对齐点p_i，提取一个大小为a×a×3，以p_i为中心的块，其中a是一个实验定义的参数；将每个a×a×3的图像块分成一系列尺寸大小为b×b×3的对齐块图像并附加到数据集A中，以便保留源块图像和目标块图像之间的空间对齐。

6.根据权利要求1所述的基于DCAE结构的病理图像染色不变性低维表示方法，其特征在于，步骤3)中，双通道编码器每个通道由一个自动编码器和两个完全连接层组成，使用SELU激活函数。

7.根据权利要求6所述的基于DCAE结构的病理图像染色不变性低维表示方法，其特征在于，步骤3)中，分别从参考图像数据集和目标图像数据集中各提取成对块图像，作为自动编码器AE-S和AE-T的输入，一旦编码器重构其各自输入，就计算综合损失迫使每个网络在整个学习过程中得到相似的特征表示；使用BP算法计算损失函数相对于每个网络参数的梯度，并使用ADAM算法优化权重。

8.根据权利要求7所述的基于DCAE结构的病理图像染色不变性低维表示方法，其特征在于，步骤3)中，为了加强输入的各个特征向量{x_i，s，x_i，t}之间的相似性，所用的综合损失包括重构损失L_r、特征损失L_f和聚类损失L_c；在训练初期，首先引入重构损失作用于模型通道，获得有效特征；当重构损失下降到阈值时，特征损失和聚类损失开始作用于训练过程，同时计算特征损失和聚类损失值，取二者大的值和重构损失一起作为综合损失；各损失函数定义如下：

***目标函数定义如下：

其中w表示两个自动编码器({W_E，s，W_D，s，W_E，t，W_D，t})的权重，c_i表示聚类中心，L_r是重构损失，L_f是特征损失，L_c是聚类损失，α是阈值参数，λ为特征损失和聚类损失的权重。

9.根据权利要求8所述的基于DCAE结构的病理图像染色不变性低维表示方法，其特征在于，步骤3)中，λ＝0.25，α＝0.1。

10.根据权利要求1所述的基于DCAE结构的病理图像染色不变性低维表示方法，其特征在于，步骤4)中，在每个训练周期结束前，对输入训练样本X对应的编码表示Z，使用标准的k-means方法，将其分成k个独立的相似数据点聚类，为其定义标签C_i，并将K个聚类中心用于下一次训练中聚类损失的距离度量。