CN116168052A - 结合自适应注意力与特征金字塔的胃癌病理图像分割方法 - Google Patents

Abstract

本发明公开了结合自适应注意力与特征金字塔的胃癌病理图像分割方法，实现对胃癌病理图像的自动分割，可用于胃癌临床辅助诊断。该方法首先获取胃癌病理图像和医生标注结果，通过图像增强方法扩充数据；然后将病理图像输入结合自适应注意力与特征金字塔的语义分割网络，对癌变区域进行精准定位，并对病灶边缘精细分割；采用相似度损失和交叉熵损失，缓解数据集样本不均衡的问题；采用重复训练的策略，使模型自适应地收敛到最优。本发明可以有效减少对癌变区域的误判，并能准确捕捉癌变区域的边缘信息，实现病灶边缘平滑精准分割，为患者后续治疗提供可靠支持。

Description

结合自适应注意力与特征金字塔的胃癌病理图像分割方法

技术领域

本发明涉及医学图像处理及计算机视觉领域，特别是结合自适应注意力与特征金字塔的胃癌病理图像分割方法。

背景技术

胃癌是我国死亡率最高的恶性肿瘤之一，胃癌的诊断需要与假性淋巴瘤、胃黏膜脱垂等胃部癌变相鉴别，胃癌的早期诊断对提高患者预后效果至关重要。

胃癌的诊断需要采集胃部组织的病理切片，依赖医生经验判断是否发生癌变。癌变区域病理表现多样，医生对癌变的判断具有主观性，同时，人工进行病灶分割的方法费时费力。临床上胃癌的治疗方法通常是手术切除，对癌变区域范围的精准判断，可以显著减轻患者痛苦。

目前，用于胃癌病理图像分割的语义分割网络是重要的研究方向。语义分割网络通过数据驱动的训练方式，得到特定的网络参数以拟合医生读片决策的过程，使得网络具有和人一样的分析和学习能力。在语义分割网络中，对基于金字塔结构的PSPNet和基于空洞卷积的DeepLab网络在自然预想分割和街道场景分割中表现出较好的效果，但在医学图像分割中远不如UNet的应用广泛。首先医学图像数据更难获得，难以支撑复杂网络的训练，其次医学图像语义信息更为简单，并不需要过多的下采样结构来构建高维语义，更需要网络注重低维纹理信息的理解。UNet结构简单，根据任务特异性可操作空间大，同时可以避免多层下采样和空洞卷积造成的低维信息的损失。本发明提出结合自适应注意力与特征金字塔的胃癌病理图像分割方法，可以实现对癌变区域精确定位，并对癌变区域边缘精准分割，具有一定的临床价值。

发明内容

有鉴于此，本发明的目的是提出结合自适应注意力与特征金字塔的胃癌病理图像分割方法，。该方法首先构建胃癌数据集，并通过图像增强方法扩充数据，训练阶段首先将病理图像输入结合自适应注意力与特征金字塔的语义分割网络，对癌变区域进行分割；训练过程中将相似度损失和交叉熵损失相结合，缓解数据集样本不均衡的问题；采用重复训练的策略，一次训练结束后将模型参数重新加载，再次训练，使模型自适应地收敛到最优。本发明可以有效减少对癌变区域的误判，并能准确捕捉癌变区域的边缘信息，实现病灶边缘平滑精准分割，为患者后续治疗提供可靠支持，具有临床实用价值。

本发明采用以下方案实现：

一种结合自适应注意力与特征金字塔的胃癌病理图像分割方法，包括以下步骤：

步骤S1：获取胃癌病理图像和癌变区域医学标注结果，构建胃癌数据集；

步骤S2：使用图像增强方法扩充所述的胃癌数据集；

步骤S3：使用扩充后的胃癌数据集训练结合自适应注意力与特征金字塔的分割模型，由分割模型对胃癌数据集中的癌变区域进行分割，得到初步训练的模型参数和每一张胃癌病理图像对应的癌变区域分割结果；

步骤S4：重复步骤S3，使用重复训练的策略，得到分割模型的最终参数；

步骤S5，使用训练好的分割模型对待分割的胃癌病理图像进行处理，得到癌变区域分割结果。

进一步地，步骤S1具体包括以下步骤：

步骤S11：获取胃癌病理图像；

步骤S12：专家根据经验判断勾画出病理图像中发生癌变的区域；

步骤S13：根据专家勾画结果生成癌变区域标注图像，掩膜图像中只有白、黑两种颜色，白色区域表示癌变区域，黑色区域表示正常组织区域；

步骤S14：每一张胃癌病理图像和对应的癌变区域标注图像构成图像-标签对，全部的图像-标签对构成胃癌数据集。

进一步地，步骤S2具体包括以下步骤：

步骤S21：对数据集中部分图像-标签对实施水平翻转；

步骤S22：对数据集中部分图像-标签对实施垂直翻转；

步骤S23：将数据集中所有图像随机添加高斯噪声，随机色调变换；

步骤S24：将数据集中所有图像-标签对随机剪裁。

进一步地，步骤S3所述的结合自适应注意力与特征金字塔的分割模型包括：

模型编码器，其用于对病理图像中癌变区域特性进行表征，得到病理图像特征图；

模型解码器，其用于根据模型编码器获得的病理图像特征图重建癌变区域预测掩膜图像；

连接模块，其用于连接模型编码器和模型解码器的对应层，实现模型编码器和模型解码器之间信息交互。

进一步地，所述的特征编码器模块包括由自适应注意力网络和残差网络构成的多层编码层、以及特征金字塔网络，第一层编码层的输入为胃癌病理图像，后一层编码层的输入为前一层编码层的输出；最后一层编码层的输出经过特征金字塔网络后作为模型解码器的输入。

进一步地，其特征在于，每一层编码层中的自适应注意力网络的输入为当前编码层的输入，每一层编码层中的残差网络的输入为当前编码层中的自适应注意力网络的输出，每一层编码层中的残差网络的输出即当前编码层的输出。

进一步地，所述的模型解码器包括由上采样网络和特征融合网络构成的多层解码层，且第一层解码层不含特征融合网络；所述的解码层与编码层的层数相同；第一层解码层的输入为特征编码器模块中的特征金字塔网络的输出，后一层解码层的输入为前一层解码层的输出和相对应的编码层的输出，最后一层解码层的输出即模型解码器的输出。

进一步地，每一层解码层中特征融合网络的输入为前一层解码层的输出和相对应的编码层的输出，第二层及其之后的每一层解码层中上采样网络的输入为当前解码层中的特征融合网络的输出，每一层解码层中的上采样网络的输出即当前解码层的输出。

进一步地，所述的步骤S4具体包括以下步骤：

步骤S41：将模型训练后获得的模型参数重新载入并训练；

步骤S42：重复训练直到模型精度不再提升，获得最终模型参数。

进一步地，对所述的结合自适应注意力与特征金字塔的分割模型进行训练时，采用相似度损失和交叉熵损失。

与现有技术相比，本发明有以下有益效果：

本发明公开了结合自适应注意力与特征金字塔的胃癌病理图像分割方法，该方法可以对胃癌病理图像进行自动分割，解决了人工分割方法费时费力的问题。该方法通过构建胃癌数据集，然后将病理图像输入结合自适应注意力与特征金字塔的语义分割网络，让网络自适应地学习对癌变区域精准定位，可以捕捉医学图像中肉眼无法观察的特点，消除医生对癌变的判断的主观性。该方法采用相似度损失和交叉熵损失和重复训练的策略，使模型自适应地收敛到最优，实现了对癌变区域的精准分割，可以准确指导手术操作，有效减轻患者痛苦，可用于胃癌临床辅助诊断，为患者后续治疗提供可靠支持。

附图说明

图1为本发明实施例的胃癌病理图像分割方法流程示意图。

图2为本发明实施例的图像增强流程示意图。

图3为本发明实施例的胃癌病理图像分割的结合自适应注意力与特征金字塔的分割模型结构示意图。

图4为本发明实施例的胃癌病理图像分割的重复训练策略示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本技术领域普通技术人员在没有作出创造性劳动的前提下所获得的所以其他实施例，都属于本发明保护的范围。

参见图1，是本发明提供的结合自适应注意力与特征金字塔的胃癌病理图像分割方法的一个实施例的流程示意图，具体包括以下步骤：

步骤S101：构建胃癌数据集。

临床上医生首先获得患者胃部组织切分，经过染色处理后，使用数字幻灯片扫描仪生成胃部病理图像。分割网络的目的是模仿医生读片找出癌变区域，所以需要专家医生根据经验在胃部病理图像上勾画出发生癌变的区域，并根据勾画生成其围成的癌变区域标注图像。标注图像由白、黑两种颜色构成，其中用白色表示癌变区域，用黑色表示正常组织区域。每一张病理图像和其对应的标注图像构成一组图像-标签对，所有的图像-标签对构成胃癌数据集。

步骤S102：使用图像增强方法，扩充数据集。

图像增强方法可以在未实质增加数据的情况下，使有限的图像产生更多图像。同一目标在不同角度拍摄、拍摄光线强弱、局部遮挡、位置移动、不同拍摄距离等情况下，网络都应实现准确判别，图像增强模仿了这一过程。图像增强方法如对图像局部进行遮挡、调整图像亮度、为图像增加噪声或局部模糊等，可以降低模型对图像的敏感度，迫使模型去学习图像中更复杂的语义信息，提高模型的不变性，从而实现可以有效避免图像中与目标无关的信息对模型判断产生干扰。图像增强也可以一定程度上避免样本不均衡，对样本数量较少的样本通过图像增强的方式进行数据扩充，降低不均衡的比例，对网络的训练有正面作用。

本实施例采用的图像增强流程如图2所示，首先以0.5概率对输入图像分别进行水平翻转，再以0.5概率对图像实施垂直翻转，然后对图像分别添加高斯噪声、随机色调变化以及随机裁剪，其中翻转操作和剪裁操作需要对图像和标签同时进行操作，添加噪声和色调变换只需要在图像上进行操作。通过以上图像增强手段可以将数据集扩大20倍，有效缓解模型过拟合，提高模型泛化性和模型鲁棒性。

步骤S103：使用结合自适应注意力与特征金字塔的分割模型进行训练。

在一个实施例中，结合自适应注意力与特征金字塔的分割模型结构图如图3所示，包括：

模型编码器，其用于对病理图像中癌变区域特性进行表征，在空间维度和通道维度衡量特征的重要程度，根据重要程度调整特征的权重。癌变区域特征往往重要程度更高，特征权重更大，模型对这部分特征关注度更高；非癌变区域特征往往虫咬程度较低，特征权重更低，模型对这部分特征选择性忽视。编码器自适应的调整图像特征的表征方式，提高癌变区域的特征相似性，将癌变区域与非癌变区域的特征尽可能拉远，避免非癌变区域的特征干扰模型判断，得到编码后的病理图像特征图。

模型解码器，其用于根据编码器获得的病理图像特征图，自适应地建立特征图与目标输出结果之间的关系，使网络预测结果尽可能接近标签结果。解码器的输入是编码器的输出，解码器由多层上采样构成，每一层上采样都对上一层的输出图像进行采样重建，扩大图像尺寸，最后一层上采样输出是与原始病理图像尺寸相同的预测掩膜图像。预测掩膜图像由黑色和白色两种颜色组成，图像上的每一个像素点与原始病理图像相同位置的像素点相对应，像素点颜色为白色时代表该像素点属于癌变区域，反之若为黑色时代表该像素点属于正常组织区域。

编码-解码器之间的连接模块，其用于编码器和解码器之间信息交互。编码器和解码器是层级结构，且层数相同，编码器最后一层的输出经过特征金字塔模块后作为解码器的输入。编码器最后一层特征图是对图像整体语义的高度建模，但损失了图像的纹理细节，在解码过程中为了补偿损失的信息，这会影响解码器对纹理细节的判断，难以精准辨别癌变区域边缘。为解决这个问题，使用连接模块将对应层级的编码层和解码层相连接，纹理信息被直接引入对应的解码层，有效提高了模型的精确性。

本步骤中，胃癌病理图像首先输入结合自适应注意力与特征金字塔的模型编码器中，依次经过五层自适应注意力模块和残差模块得到第一层至第五层特征图；具体的，第一层自适应注意力模块的输入为病理图像，第一层残差模块的输入为第一层自适应注意力模块的输出，第一层残差模块的输出为第一层特征图；后一层自适应注意力模块的输入为前一层残差模块的输出，每一层残差模块的输入为该层自适应注意力模块的输出，每一层残差模块均输出一张特征图。

由结合自适应注意力与特征金字塔的编码器输出的第五层特征图输入到特征金字塔模块中，特征金字塔模块的输出结果输入到结合自适应注意力与特征金字塔的解码器中，一次经过五层上采样模块得到第一至第五层中间结果；具体的，第一层上采样模块的输入为特征金字塔模块的输出，第一层上采样模块的输出为第五层中间结果；第二层上采样模块的输入是第五层中间结果和第四层特征图的融合结果，由特征融合模块实现，输出为第四层中间结果；以此类推，最后第一层特征图和第二层中间结果的融合结果经过第五层上采样模块后得到胃癌病理图像的预测掩膜图像。

在本发明的一个具体实施中，结合自适应注意力与特征金字塔的分割模型的特征编码器结构图如图3所示，包括：

自适应注意力模块，其用于在通道维度和空间维度加强网络对重要特征的关注。自适应注意力模块首先通过下采样减小模型尺寸，通过卷积层提取特征，然后依次通过通道注意力模块和空间注意力机制模块，分别对不同通道特征，不同空间位置特征自适应地分配权重，实现通道和空间注意力。本实施例中，通道注意力模块可以采用现有的Squeezeand Excitation模块(SENet)，空间注意力机制模块可以采用现有的空间变换神经网络(STN)。

残差模块，其用于将浅层信息直接映射到深层网络，可以有效打破网络的对称性，增加高维特征向量所表征的信息量，提升网络的表征能力，增加网络的非线性，缓解网络层数加深导致的信息衰减。本实施例中，残差模块可以采用现有的残差连接方式(ResNet)。

特征金字塔模块，其用于获得获得多尺度图像特征，并将浅层和深层特征进行融合，能够有效整合不同感受野的特征，整合上下文信息，提升模型表达能力，加强深层语义信息对分割的引导作用。本实施例中，特征金字塔模块可采用现有的特征金字塔网络(FPN)。

步骤S104：得到模型参数和癌变区域分割结果。

本实施例中，得到的模型参数和癌变区域分割结果是第一次训练模型产生的模型参数和预测掩膜图像。采用重复训练的策略，将模型参数重新载入并再次训练，根据标签和预测掩膜图像计算相似度损失和交叉熵损失，缓解数据集样本不均衡的问题，直到训练后模型的精度不再提升为止。训练好的分割模型可以对待分割的胃癌病理图像进行处理，得到癌变区域分割结果。

如图4所示，是本实施例得到的分割结果图，其中(a)为某一张胃癌病理图像的示意图，灰色闭合曲线为医生勾画的癌变区域边界，曲线包含区域为癌变区域；(b)为结合自适应注意力与特征金字塔的胃癌病理图像分割方法的最终分割掩膜结果示意图，白色为癌变区域，黑色为正常组织区域；(c)为最终分割掩膜结果的局部细节放大示意图。

以上列举的仅是本发明的具体实施例。显然，本发明不限于以上实施例，还可以有许多变形。本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形，均应认为是本发明的保护范围。

Claims (10)

1.一种结合自适应注意力与特征金字塔的胃癌病理图像分割方法，其特征在于，包括以下步骤：

步骤S1：获取胃癌病理图像和癌变区域医学标注结果，构建胃癌数据集；

步骤S2：使用图像增强方法扩充所述的胃癌数据集；

步骤S3：使用扩充后的胃癌数据集训练结合自适应注意力与特征金字塔的分割模型，由分割模型对胃癌数据集中的癌变区域进行分割，得到初步训练的模型参数和每一张胃癌病理图像对应的癌变区域分割结果；

步骤S4：重复步骤S3，使用重复训练的策略，得到分割模型的最终参数；

步骤S5，使用训练好的分割模型对待分割的胃癌病理图像进行处理，得到癌变区域分割结果。

2.根据权利要求1所述的结合自适应注意力与特征金字塔的胃癌病理图像分割方法，其特征在于，步骤S1具体包括以下步骤：

步骤S11：获取胃癌病理图像；

步骤S12：专家根据经验判断勾画出病理图像中发生癌变的区域；

步骤S13：根据专家勾画结果生成癌变区域标注图像，掩膜图像中只有白、黑两种颜色，白色区域表示癌变区域，黑色区域表示正常组织区域；

步骤S14：每一张胃癌病理图像和对应的癌变区域标注图像构成图像-标签对，全部的图像-标签对构成胃癌数据集。

3.根据权利要求2所述的结合自适应注意力与特征金字塔的胃癌病理图像分割方法，其特征在于，步骤S2具体包括以下步骤：

步骤S21：对数据集中部分图像-标签对实施水平翻转；

步骤S22：对数据集中部分图像-标签对实施垂直翻转；

步骤S23：将数据集中所有图像随机添加高斯噪声，随机色调变换；

步骤S24：将数据集中所有图像-标签对随机剪裁。

4.根据权利要求1所述的结合自适应注意力与特征金字塔的胃癌病理图像分割方法，其特征在于，步骤S3所述的结合自适应注意力与特征金字塔的分割模型包括：

模型编码器，其用于对病理图像中癌变区域特性进行表征，得到病理图像特征图；

模型解码器，其用于根据模型编码器获得的病理图像特征图重建癌变区域预测掩膜图像；

连接模块，其用于连接模型编码器和模型解码器的对应层，实现模型编码器和模型解码器之间信息交互。

5.根据权利要求4所述的结合自适应注意力与特征金字塔的胃癌病理图像分割方法，其特征在于，所述的特征编码器模块包括由自适应注意力网络和残差网络构成的多层编码层、以及特征金字塔网络，第一层编码层的输入为胃癌病理图像，后一层编码层的输入为前一层编码层的输出；最后一层编码层的输出经过特征金字塔网络后作为模型解码器的输入。

6.根据权利要求5所述的结合自适应注意力与特征金字塔的胃癌病理图像分割方法，其特征在于，每一层编码层中的自适应注意力网络的输入为当前编码层的输入，每一层编码层中的残差网络的输入为当前编码层中的自适应注意力网络的输出，每一层编码层中的残差网络的输出即当前编码层的输出。

7.根据权利要求5所述的结合自适应注意力与特征金字塔的胃癌病理图像分割方法，其特征在于，所述的模型解码器包括由上采样网络和特征融合网络构成的多层解码层，且第一层解码层不含特征融合网络；所述的解码层与编码层的层数相同；第一层解码层的输入为特征编码器模块中的特征金字塔网络的输出，后一层解码层的输入为前一层解码层的输出和相对应的编码层的输出，最后一层解码层的输出即模型解码器的输出。

8.根据权利要求7所述的结合自适应注意力与特征金字塔的胃癌病理图像分割方法，其特征在于，每一层解码层中特征融合网络的输入为前一层解码层的输出和相对应的编码层的输出，第二层及其之后的每一层解码层中上采样网络的输入为当前解码层中的特征融合网络的输出，每一层解码层中的上采样网络的输出即当前解码层的输出。

9.根据权利要求1所述的结合自适应注意力与特征金字塔的胃癌病理图像分割方法，其特征在于，所述的步骤S4具体包括以下步骤：

步骤S41：将模型训练后获得的模型参数重新载入并训练；

步骤S42：重复训练直到模型精度不再提升，获得最终模型参数。

10.根据权利要求1所述的结合自适应注意力与特征金字塔的胃癌病理图像分割方法，其特征在于，对所述的结合自适应注意力与特征金字塔的分割模型进行训练时，采用相似度损失和交叉熵损失。

Images