CN109493346A - 一种基于多损失的胃癌病理切片图像分割方法和装置 - Google Patents

Abstract

本发明公开了一种基于多损失的胃癌病理切片图像分割方法和装置，属于医疗图像处理技术领域，首先由若干张全切片样本获得2048*2048大小的patch病理图和标记图，每张切片大概可以获得200个有效patch，集合成训练和测试样本，传入CLGCN网络进行训练，待模型收敛后，输入测试病理图，预测出对应的概率密度图，若某个像素点的概率值高于一定的水平，则预测为病变点，最后得到分割的patch图并进行全切片的拼接，由此得到一张完整的病理切片分割预测图。由于分割模型训练的过程中，增加了5个分类模块，以及最末端的多个损失的集合，训练的时候需要先对左侧4个分类模块做预训练，得到所有分类模块的初始参数，后在初始参数的基础之上，多个损失进行加权联合训练。

Description

一种基于多损失的胃癌病理切片图像分割方法和装置

技术领域

本发明涉及医疗图像处理技术领域，具体地说，涉及一种基于多损失的胃癌病理切片图像分割方法和装置。

背景技术

目前医院所采用的病理切片查看方式以病理切片为基础，并利用显微镜观察切片的病变情况，在此过程中需要不断移动切换视野，才能观察整个切片的样本情况，本质上来说是一个特别费时费力的事情。

随着病理切片数字化的发展，数字切片慢慢走近医院，而在此过程中，如何利用计算机辅助医生查找出数字切片中的感兴趣部位的需求也愈发强烈。图像分割作为一种数字切片处理方式，能够勾勒出感兴趣、目标区域，如果能够很好地应用到胃癌病理切片的观察上，将大大减轻医生这方面的工作量。

从理论上来说，图像分割是深度神经网络的一个大方向，从20世纪40年代的感知器，到90年代末期首次提出的卷积神经网络(LeNet)，到2012年深度学习在目标识别应用上的喷发，都对图像分割这一应用带来深远影响。就图像分割这一图像处理目标来说，目标都是对于一幅图像中的每个像素点得到一个类别，传统的方式是基于该像素点周围形成的一个块进行神经网络的分类，遍历整幅图像而得到整个图像的分割图，运算量非常大。全卷积神经网络的提出(FCN)则有效的改变了这种情况，形成了端到端的编码解码的特定分割网络，目前的改进工作(U-Net，GCN等)都是基于这样的一个基本框架，相较之下，速度很快。随着技术的进步，应用场景也逐渐增广，但还是要针对应用场景克服不同的困难。

由于整张数字病理切片很大，因此无法一次性输入模型，需要先切成2048*2048或其它尺寸的patch进行分割，并将结果拼凑起来，实践中在一张全切片的分割预测全景图中可以发现，利用GCN的图像分割的方式，对于大多数病变区域都能够得到很好的轮廓分割，但同时存在很多细小的假阳性像素块，较广泛地分布在切片的正常部位，而这样的假阳性像素块非常影响视觉感受。因此，在训练模型的时候，如何能够更好地利用标签存在形式的多样性，并且改变损失函数的方式来刺激更好的分割预测是本发明需要解决的问题。

发明内容

本发明的目的为提供一种基于多损失的胃癌病理切片图像分割方法和装置，解决实际应用中胃癌病理切片分割预测产生过多假阳性且预测不精确的问题。

为了实现上述目的，本发明提供的基于多损失的胃癌病理切片图像分割方法包括以下步骤：

1)对胃癌病理切片进行扫描得到原始数字病理切片图像，对原始数字病理切片图像进行切割成为原始切割图像，并分为训练集和测试集；

2)针对训练集中的原始切割图像，划分出病变区域，将图像中病变区域的像素值标注为1，非病变区域的像素值标注为0；对原始切割图像是否有病变部位进行二次标注，将含有病变区域的图像标注为1，否则为0；同时，将图像由一维转换成二维，即将图像中标注为0的像素值转换成(1，0)，标注为1的像素值转换成(0，1)，形成三次标注；

3)对标注后的切割图像进行数据集扩增处理，并输入GCN网络，GCN网络包含四条通路，针对四条通路，依次选择第二、三、四、五个卷积操作模块以及最后一条通路的第一个BR模块，分别连一个CB模块，并将从Score Map模块输出的结果输入至LB模块内；

4)利用从GCN网络四条通路中的第二、三、四、五个卷积操作模块输出的特征图，对各自的CB模块进行预训练确定四个CB模块及四个卷积操作模块的初始参数，GCN网络最后一条通路的第一个BR模块连接的CB模块，即最后一个CB模块的初始参数由前面四个CB模块确定；

5)利用LB模块计算总损失，根据总损失更新GCN网络的参数；

6)重复步骤5)，每迭代一次训练样本，利用测试集中的原始切割图像对胃癌病理切片图像分割模型进行测试，直至收敛，生成胃癌病理切片图像分割模型；

7)将待检测的数字病理图像输入胃癌病理切片图像分割模型中得到分割预测图，并将所有分割预测图进行拼接形成全切片的分割预测图。

上述技术方案中，首先由扫描产生的数字病理图和医生标注好的若干张全切片样本，获得2048*2048大小(实际使用会转化为512*512大小进行分割处理)的patch病理图和标记图，每张切片大概可以获得200个有效patch，集合成训练和测试样本，传入CLGCN网络进行训练，待模型收敛后，输入测试病理图，预测出对应的概率密度图，若某个像素点的概率值高于一定的水平，则预测为病变点，最后得到分割的patch图并进行全切片的拼接，由此得到一张完整的病理切片分割预测图。由于分割模型训练的过程中，增加了5个分类CB模块，以及最末端的多个损失的集合，训练的时候需要先对左侧4个分类CB模块做预训练，得到预训练模块和最后一个分类CB模块的初始参数，LB中所包含的图4模块的初始参数由随机数生成，后在初始参数的基础之上，多个损失进行加权联合训练。

作为优选，CB模块包括依次连接的两个卷积层、一个全局池化层和两个全连接层。CB模块的损失占比为0.3，所述的LB模块的损失占比为0.7；迭代次数上限为200次。

步骤6)中，若连续5次测试集的测试效果均处于持续下降的状态，则退出当前训练。测试效果连续5次均处于持续下降状态说明模型的参数已经训练到了最好或模型为参数不正确，应该退出确认。

步骤5)中总损失的计算公式为：

其中，L₁为基础分割损失，L_AAF为某一像素点的多尺度区域损失，L_C为最后一个CB模块的分类损失与Score Map输出到LB模块计算的分类损失之和，χ，β，α分别表示三类损失的权重比例，L表示总损失值，W表示多尺度区域损失中不同尺度的权重。

步骤7)中，将待检测的数字病理图像输入胃癌病理切片图像分割模型中得到预测的概率图，概率超过0.5的像素点设为病变点，以此得到分割效果图，并组合形成全切片的分割预测图。

本发明还提供了一种基于多损失的胃癌病理切片图像分割装置，包括：存储器，存储计算机可执行指令以及在执行计算机可执行指令时使用或生产的数据；处理器，与存储器通信连接，并配置为执行存储器存储的计算机可执行指令，计算机可执行指令在被执行时，实现上述基于多损失的胃癌病理切片图像分割方法。

与现有技术相比，本发明具有以下有益效果：

1)将分割标签施行了多种方式的利用，增加了分割标签的利用率，减少切片假阳性的预测；

2)利用了自适应相似场来使得GCN捕获更为精确的邻域像素关系，形成区域损失，获得更精细的分割。

3)减轻病理医生的工作量。

附图说明

图1为本发明实施中的基于多损失的胃癌病理切片图像分割模型的框架流程图；

图2为本发明实施中的CB模块的结构图；

图3为本发明实施中的自适应相似场(AAF)示意图，其中(1)为实际标签图，(2)为迭代之后的概率预测图，(3)表示***具有不同尺度范围的区域损失；

图4为本发明实施中LB模块中从Score Map输出之后所连接的分类模块，输出的是一个二维概率值，类似于(x，y)，若前者大则分类为0类，反之为1类。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，以下结合实施例及其附图对本发明作进一步说明。

实施例

参见图1至图3，本实施例的基于多损失的胃癌病理切片图像分割方法包括以下步骤：

S101生成数据集

将病理切片扫描，得到原始数字病理切片图像，然后在原始数字病理切片图像上进行病变部位的标注，即用曲线框出病变部位，在此基础上，进行病理数据集的提取和划分，得到病理图像对应的分割标注，多标签指的是：

基于分割标注，若整个patch无病变点则分类标注为0，否则为1；

形成分割的One-hot标注时，对于某一个像素点的标注，若分割标注为0，则One-hot标注为(1，0)，反之为(0，1)。

针对已经标记的全切片样本，放大至20倍(视野清晰且样本量可以接受)，切割出部分重叠的病理图像以及对应的标记图像，剔除玻璃部分，阳性和阴性的图像比例大致为1:2，在此基础上进行数据集的划分，训练集和测试集的划分比例为8:2。针对训练数据，进行旋转，投影，加噪声，随机切割，归一化等数据扩充方式，测试集只进行常规的归一化操作。

S102维持正负样本均衡

当训练样本集的数据不均衡情况严重影响到了模型的训练效果，需要手动提取均衡的训练数据集，使得正负样本达到1:1的状态。

S103模型训练

从S101中所得到的训练样本集进行CLGCN(即胃癌病理切片图像分割模型)的训练，CB模块损失占比0.3，末端损失占比0.7，迭代次数设置上限为200次，每迭代一次训练样本，进行测试集(实质为验证集)的效果预测，若连续5次测试集的测试效果均处于持续下降状态，则退出当前训练。

胃癌病理切片图像分割模型的结构如图1所示，在GCN网络的基础上增加了五个CB模块和一个LB模块，CB模块包括依次连接的两个卷积层、一个全局池化层和两个全连接层。LB模块包括三种损失模块，其一为L₁：基础分割损失模块，其二为L_AAF：某一像素点的多尺度区域损失，其三为：类似于最后一个CB模块但结构不同的分类损失，具体形式见图4(2个fc层组成)，图1中Score Map输出为512*512*1的概率图，将矩阵拉成向量，再输入到图4的结构，使得图4输出是一个2维向量，再在此处计算分类损失。GCN网络以resnet101和resnet50为基础架构。

第一步是训练得到前4个CB模块的权重：由基础架构(4个res模块)得到特征图后，分别经过4个CB模块得到类别判断，并进行类别标签上的训练，训练完毕后得到res和CB模块的初始权重。然后再由前4个CB模块的权重得到最后一个CB模块的初始权重，再进行除前4个CB模块之外的整个网络的训练，res-2，res-3，res-4，res-5后面分别接着GCN模块和BR模块，再由下至上经过上采样与上层特征进行结合，依次结合得到最上层特征图ScoreMap，再根据分割标签，分类标签，AAF得到损失函数，并前向传播更新参数，依次训练直至完毕。

由于分割模型训练的过程中，增加了5个CB分类模块，以及最末端的多个损失的集合(即LB模块)，参见图1，训练的时候需要先对左侧4个CB模块做预训练，得到所有CB模块的初始参数，后在初始参数的基础之上，对所有训练数据进行LB模块和最后一个CB模块的多个损失进行加权联合训练。

此处多个损失函数指的就是：最后一个CB分类损失与Score Map输出到图4所形成的分类损失组成的分类损失(L_C)，分割基础损失(L₁)、自适应相似场所对应多尺度区域损失(L_AAF)的和组成的末端多损失集合：

上述多尺度区域损失L_AAF针对某一个像素点进行，总损失为所有像素点损失值之和，而L₁就是常规的基础分割损失；L_C损失的增加是为了在当前网络的不同特征情况下，希望网络能够正确地判断patch的阴阳性，减少假阳性patch的产生；多尺度区域损失是指对于某一个***像素点，要计算图3(multiple ranges for***)所示多个区域内其他像素点与该像素点之间的分布相似程度，并且鼓励相同标签的一对像素点预测尽可能相似，也就是获得较小损失，不同标签预测尽可能偏离，而图3中prediction Map指的是中间像素点与左下角黑色连线像素点存在较高分布相似性，也就是存在使得AAF有一个拉近黑线关系的作用力，灰线则由于标签存在差异，使得中间像素点与右上角像素之间存在一个排斥的力，由此使得增加的AAF损失能够学习到分割标签像素点之间的分布关系，让分割的图像更加精细，边界更加清晰。如图3所示，假设一个3*3的图像，该图示中的0和1表示像素点对应的标签，参见图(1)，对应于(1)图，经过一次迭代之后，得到对应像素点的预测概率值图(2)，以中心像素点为参考，相对于图(1)中的标签，若标签相同，则图(2)中用黑色箭头相指，反之非黑色，也就将中心点邻域像素点分成结构相同与不同的两类；参见图(3)，对于4*4的图像，以左下角的“***”点为参考，箭头链接了不同距离的两个像素点，表示不同区域，也就是多尺度这样一个衡量指标。对于其他像素点会涉及到图3所示的边界问题，也就是对于处于相同标签块内外的像素点，需要给予不同的权重：

其中k指的是不同的尺度范围，c指的是不同类别信道(即针对One-hot标签的不同信道)，b和分别针对同标签的外部和内部像素点，L_b指某个像素点在某信道和某尺寸范围内的区域损失，而区域损失由某点与该区域中所有像素对之间的损失之和构成，此处像素对的损失由KL散度表示。

实际在生成全切片的预测分割图时，会采用多种不同的patch尺寸，以满足病理切片复杂性的需要，对于同一个像素点的不同预测概率值，以取均值的方式得到最后的取值。在训练集的数据扩增方式中，还会在此基础上，进行随机尺寸的裁剪得到更多训练样本，而测试样本则只进行基础的数据归一化处理。针对不同patch重合边缘的问题，则在预测的时候取重合的patch进行多次预测，使得边缘更加平滑。

4)切片分割预测

对于一张完整的全切片数字图像，依次从左往右再从上往下切割出patch，并实时分割出预测patch并填补到全切片的对应位置，对于某一张patch，预测其概率密度图之后，取概率大于0.5的像素点的标签为1，其余为0，最后拼成整张切片分割结果。

Claims (7)

1.一种基于多损失的胃癌病理切片图像分割方法，其特征在于，包括以下步骤：

1)对胃癌病理切片进行扫描得到原始数字病理切片图像，对原始数字病理切片图像进行切割成为原始切割图像，并分为训练集和测试集；

2)针对训练集中的原始切割图像，划分出病变区域，将图像中病变区域的像素值标注为1，非病变区域的像素值标注为0；对原始切割图像是否有病变部位进行二次标注，将含有病变区域的图像标注为1，否则为0；同时，将图像由一维转换成二维，即将图像中标注为0的像素值转换成(1，0)，标注为1的像素值转换成(0，1)，形成三次标注；

3)对标注后的切割图像进行数据集扩增处理，并输入GCN网络，GCN网络包含四条通路，针对四条通路，依次选择第二、三、四、五个卷积操作模块以及最后一条通路的第一个BR模块，分别连一个CB模块，并将从Score Map模块输出的结果输入至LB模块内；

4)利用从GCN网络四条通路中的第二、三、四、五个卷积操作模块输出的特征图，对各自的CB模块进行预训练确定四个CB模块及四个卷积操作模块的初始参数，GCN网络最后一条通路的第一个BR模块连接的CB模块，即最后一个CB模块的初始参数由前面四个CB模块确定；

5)利用LB模块计算总损失，根据总损失更新GCN网络的参数；

6)重复步骤5)，每迭代一次训练样本，利用测试集中的原始切割图像对胃癌病理切片图像分割模型进行测试，直至收敛，生成胃癌病理切片图像分割模型；

7)将待检测的数字病理图像输入胃癌病理切片图像分割模型中得到分割预测图，并将所有分割预测图进行拼接形成全切片的分割预测图。

2.根据权利要求1所述的胃癌病理切片图像分割方法，其特征在于，所述的CB模块包括依次连接的两个卷积层、一个全局池化层和两个全连接层。

3.根据权利要求1所述的胃癌病理切片图像分割方法，其特征在于，步骤5总损失由LB模块和最后一个CB模块的损失构成，且所述的CB模块的损失占比为0.3，所述的LB模块的损失占比为0.7；迭代次数上限为200次。

4.根据权利要求1所述的胃癌病理切片图像分割方法，其特征在于，步骤6)中，若连续5次测试集的测试效果均处于持续下降的状态，则退出当前训练。

5.根据权利要求1所述的胃癌病理切片图像分割方法，其特征在于，步骤5)中总损失的计算公式为：

其中，L₁为基础分割损失，L_AAF为某一像素点的多尺度区域损失，L_C为最后一个CB模块的分类损失与Score Map输出到LB模块中计算的分类损失之和，χ，β，α分别表示三类损失的权重比例，L表示总损失值，W表示多尺度区域损失中不同尺度的权重。

6.根据权利要求1所述的胃癌病理切片图像分割方法，其特征在于，步骤7)中，将待检测的数字病理图像输入胃癌病理切片图像分割模型中得到预测的概率图，概率超过0.5的像素点设为病变点，以此得到分割效果图，并组合形成全切片的分割预测图。

7.一种基于多损失的胃癌病理切片图像分割装置，包括：存储器，存储计算机可执行指令以及在执行所述计算机可执行指令时使用或生产的数据；处理器，与所述存储器通信连接，并配置为执行存储器存储的计算机可执行指令，其特征在于，所述计算机可执行指令在被执行时，实现如权利要求1～7所述的基于多损失的胃癌病理切片图像分割方法。