CN112651981B - 一种显著边缘特征提取模块引导网络的肠道疾病分割方法 - Google Patents

Abstract

一种显著边缘特征提取模块引导网络的肠道疾病分割方法，首先输入数据集，骨干网络Res2net提取特征，然后采用不同核大小的GCN模块进行多尺度上下文信息的提取，再利用边界细化模块提高物体边界的划分性能，对特征进行进一步的提取；利用第二层侧边输出特征生成边缘信息，再利用三个融合的高层语义信息抑制边缘信息中的噪声，将mask图生成边缘图对生成的显著边缘特征进行显著边缘监督，形成最终的显著边缘特征提取模块；最后将显著边缘特征提取模块中生成的边缘信息与各层侧边输出信息共同输入RAS模块中，训练模型得到训练参数，利用训练参数进行测试得到最终的结果。本发明改善了胃肠道中息肉分割定位不准确和边界模糊的问题。

Description

一种显著边缘特征提取模块引导网络的肠道疾病分割方法

技术领域

本发明涉及人工智能的图像处理技术领域，具体涉及一种显著边缘特征提取模块引导网络的肠道疾病分割方法。

背景技术

结直肠癌是全球癌症相关死亡病例的第三大常见原因，通常源于结肠内息肉的异常生长。结肠镜检查是筛查和预防息肉癌变的主要方法，然而，结肠镜检查依赖于高技能的内窥镜医生和高度的眼手协调，研究表明接受结肠镜检查患者的息肉漏检率达到了22％-28％。从正常粘膜中分割出息肉可以帮助内窥镜医生改善错误分割和主观性。为了准确的分割息肉，已经提出了很多不同的方法。现有的息肉分割研究工作大致归结为三种主要方法，第一种是基于传统的图像处理方法，如基于阈值的分割方法、基于区域的分割方法等；第二种是基于传统分类器，如支持向量机的方法，先提取特征，然后使用分类器进行分割；第三种是使用卷积神经网络(CNN)进行分割的方法。目前，随着深度学习的快速发展，卷积神经网络成功的突破了传统手工特征的限制。这些基于CNN的方法极大的刷新了几乎所有广泛使用的基准，而且因为高效和高性能逐渐取代了传统的图像分割方法，但是现有大多数基于FCN的方法仍然存在对象边界粗糙及定位目标不准确的问题。如Fan等人在MICCAI会议上提出了一种息肉分割的网络结构(PraNet)，该网络采用一个级联部分解码器(CPD)和基于反向注意力的残差网络(RAS)两个显著目标检测模块对息肉进行了分割。该方法丢弃了低层信息，通过融合三层语义特征生成一个粗略的显著性图，RAS模块采用迭代的方式，从粗到细来补全粗略显著图得到最终的分割效果图。但是仅仅依靠高层语义特征对显著性目标进行分割不够精确，低层结构中包含了丰富的边缘信息，能够更加精确的定位目标位置，同时很多网络忽略了低层信息与高层语义信息之间的互补关系。在本发明中，为了解决目标定位不够准确导致的错误分割，设计了一个显著边缘特征提取模块来引导网络分割的方法。

发明内容

为了克服分割中存在的边界粗糙以及目标定位的准确性的不足，本发明提出了利用显著边缘特征提取模块引导网络进行肠道疾病分割的方法，来研究边缘信息与显著目标之间的互补性关系。同时借助全局卷积网络(Global Convolutional Network，GCN)和边界细化模块(Boundary Refinement block，BR)来提高图像分割前景物体边界的定位精度。改进了PraNet网络由于目标定位不准确以及边界模糊导致对含有光斑的图像进行错误分割的问题，同时提高了分割精度。

为了解决上述技术问题，本发明采用如下的技术方案：

一种显著边缘特征提取模块引导网络的肠道疾病分割方法，包括以下步骤：

步骤1：输入数据集X＝{x₁,x₂,...,x_n}，其中，X表示数据集中输入的样本，x_n∈R^{352 ×352}，n表示样本数量，骨干网络Res2net提取特征，得到Conv1、Conv2、Conv3、Conv4、Conv5五个输出特征；

步骤2：由于结直肠息肉数据集中息肉的尺度大小，形状变化差异大，采用了不同核大小的GCN模块进行多尺度上下文信息的提取，再利用边界细化模块(BR模块)进一步提高物体边界的划分性能，利用该模块对骨干网络提取到的特征进行信息提取，得到五个侧边输出特征，简单表示为：

C＝{C⁽¹⁾,C⁽²⁾,C⁽³⁾,C⁽⁴⁾,C⁽⁵⁾} (1)

步骤3：显著边缘特征提取模块的生成，过程如下：

3.1低层信息中包含丰富的边缘信息，可以为目标分割提供精确的定位，由于C⁽¹⁾离输入图像太近且接受域较小不适用于生成边缘特征，而C⁽³⁾,C⁽⁴⁾,C⁽⁵⁾等高层信息包含丰富的语义信息，最后选择了C⁽²⁾来生成边缘信息，为了获得更加稳健的显著目标特征，将C⁽²⁾经过三个卷积层来增强特征，且在每个卷积层后面增加了一个RELU层来确保非线性；

3.2低层信息中包含了丰富的边缘信息同时也包含了很多噪声，为了抑制低层信息中的噪声，利用级联部分解码器CPD模块将C⁽³⁾,C⁽⁴⁾,C⁽⁵⁾三个高层信息进行融合得到融合后的特征信息C⁽⁶⁾，C⁽⁶⁾中包含了三层丰富的语义信息，将融合后的信息C⁽⁶⁾通过自上而下的方法传播到侧边特征C⁽²⁾中，利用融合后的顶层语义信息来抑制不明显的边缘特征和边缘信息中的噪声，融合特征F(2)表示为：

式(2)中表示经过三个卷积层增强后的C(6)，C(2)表示C⁽²⁾得到的特征信息，Trans(*；θ)表示参数为θ的卷积层，用于改变通道数，φ()表示RELU激活函数，Up(*；C(2))表示使用双线性插值的上采样方法，将尺寸上采样至与C(2)同样大小，F(2)表示边缘引导特征；

步骤4：将F(2)经过三个卷积层来增强边缘引导特征，得到最终的边缘信息F_E，使用mask图得到的边缘图对生成的显著边缘特征进行显著边缘监督，获得显著边缘特征提取模块；

步骤5：将得到的显著边缘信息与每层的特征信息共同作为PraNet网络中RAS模块的输入，利用mask对RAS模块每一层的输出进行深度监督，得到最终的模型，使用肠道中的息肉图像作为输入对设计的模型进行训练得到参数，再用训练的参数，输入测试集图像用来预测最终的分割结果。

本发明的有益效果表现在：

(1)本发明的方法利用低层网络特征生成边缘信息，研究了边缘信息和高层语义信息之间的互补性关系，利用融合的高层语义信息抑制边缘信息中的噪声获得更加准确清晰的边缘信息，生成一个显著边缘特征提取模块。

(2)利用显著边缘特征提取模块生成的显著边缘特征来帮助显著对象特征更准确的定位目标。

(3)由于结直肠息肉数据集中息肉的尺度大小，形状变化差异大，本发明采用了不同核大小的GCN模块进行多尺度上下文信息的提取，再利用边界细化模块(BR模块)进一步提高物体边界的划分性能。

附图说明

图1是本发明的流程框图。

图2是GCN模块。

图3是本发明中采用的GCN模块。

图4是BR模块。

图5是实验的边缘结果。

图6是本发明的最终分割结果。

具体实施方式

为了阐述本发明的目的、技术方案和优点，以下结合具体实施例及附图，对本发明做进一步详细说明。

参照图1～图6，一种显著边缘特征提取模块引导网络的肠道疾病分割方法，包括以下步骤：

步骤1：输入数据集X＝{x₁,x₂,...,x_n}，其中，X表示数据集中输入的样本，

x_n∈R^352×352，n表示样本数量，骨干网络Res2net提取特征，得到Conv1、Conv2、Conv3、Conv4、Conv5五个输出特征；

步骤2：由于结直肠息肉数据集中息肉的尺度大小，形状变化差异大，采用了不同核大小的GCN模块进行多尺度上下文信息的提取，再利用边界细化模块(BR模块)进一步提高物体边界的划分性能，利用该模块对骨干网络提取到的特征进行信息提取，得到五个侧边输出特征，简单表示为：

C＝{C⁽¹⁾,C⁽²⁾,C⁽³⁾,C⁽⁴⁾,C⁽⁵⁾} (1)

步骤3：显著边缘特征提取模块的生成，过程如下：

3.1低层信息中包含丰富的边缘信息，可以为目标分割提供精确的定位，由于C⁽¹⁾离输入图像太近且接受域较小不适用于生成边缘特征，而C⁽³⁾,C⁽⁴⁾,C⁽⁵⁾等高层信息包含丰富的语义信息，最后选择了C⁽²⁾来生成边缘信息，为了获得更加稳健的显著目标特征，将C⁽²⁾经过三个卷积层，且在每个卷积层后面增加了一个RELU层来确保非线性；

3.2低层信息中包含了丰富的边缘信息同时也包含了很多噪声，为了抑制低层信息中的噪声，利用CPD模块将C⁽³⁾,C⁽⁴⁾,C⁽⁵⁾三个高层信息进行融合得到融合后的特征信息C⁽⁶⁾，C⁽⁶⁾中包含了三层丰富的语义信息，将融合后的信息C⁽⁶⁾通过自上而下的方法传播到侧边特征C⁽²⁾中，利用融合后的顶层语义信息来抑制不明显的边缘特征和边缘信息中的噪声，融合特征F(2)表示为：

式(2)中表示经过三个卷积层后的C(6)，C(2)表示C⁽²⁾得到的特征信息，Trans(*；θ)表示参数为θ的卷积层，用于改变通道数，φ()表示RELU激活函数，Up(*；C(2))表示使用双线性插值的上采样方法，将尺寸上采样至与C(2)同样大小，F(2)表示边缘引导特征；

步骤4：将F(2)经过三个卷积层来增强边缘引导特征，得到最终的边缘信息F_E，使用mask图得到的边缘图对生成的显著边缘特征进行显著边缘监督，获得显著边缘特征提取模块；

步骤5：将得到的显著边缘信息与每层得到的特征信息共同作为PraNet网络中RAS模块的输入，利用mask对RAS模块每一层的输出进行深度监督，得到最终的模型，使用肠道中的息肉图像作为输入对设计的模型进行训练得到参数，再用训练的参数，输入测试集图像用来预测最终的分割结果。

下面是对上诉的内容进行进一步的补充说明，

结合图2，GCN模块是Global Convolutional Network的简称，即全局卷积网络，该模块应用于多层特征图来获取多尺度上下文信息。为了避免稀疏连接，并在特征映射的k×k区域内实现密集连接，GCN使用k×1+1×k和1×k+k×1卷积的组合以比普通的k×k卷积更少的参数有效的实现k×k卷积。结合图3，在本发明中，使用了k＝7、11、15三个核大小的GCN，可以在多个抽象层次上学习多尺度上下文信息。

结合图4，BR模块(Boundary Refinement block)应用于GCN模块之后，该模块能够提升定位边界处的能力，是一个残差结构，主要作用是进行边缘的细化，能够提升边界分割的精度。

显著边缘特征提取模块主要利用第二层的局部边缘信息与全局位置信息的融合生成一个显著边缘特征，构建一个显式的边缘信息模块引导整个网络更准确的定位显著目标。利用显著边缘中丰富的边缘信息和位置信息更准确的定位显著目标，尤其是其边缘。在图5中可以看出本发明的边缘图精确的输出了显著目标即息肉的边缘，而PraNet边缘图除了显著目标的边缘，将其他非显著目标边缘也检测出来。Map_2是在第二层RAS模块的输出，从图5中可以看出本发明边缘图的加入提高了息肉分割的边缘。结合图6可以看出本发明的方法在息肉分割上效果得到大大的提升。

1)仿真条件

实验采用一台配置CPU Intel(R)Xeon(R)Gold [email protected] 2.2GHz(2个处理器)，64GB内存，windows操作***和2块Nvidia GTX 3080Ti显卡的工作站。模型基于PyTorch深度学习框架实现，PyTorch版本为1.8.0，Python版本为3.7。输入图片大小统一调整为352×352，并采用了多尺度训练策略。使用ADAM算法来优化总体参数，学习率设置为1e-4。息肉数据集采用的是CVC-ClinicDB，本发明将本文提出的方法分别与UNet、BASNet、U-2Net以及PraNet四种医学图像分割方法进行了比较。

2)仿真结果

本发明方法与UNet、BASNet、U-2Net以及PraNet三种医学图像分割方法在CVC-ClinicDB息肉数据集上进行了对比实验。采用医学分割中常用的加权Dice指标MAE、S_a四个指标来进行评估。其中/>是用来修正Dice中“重要性相等”的缺点；MAE用于评估像素级精度；/>用来评估像素级和全局级的相似性；S_a用来评估预测和真值之间的结构相似性，MAE和/>都是基于像素方式的评估，忽略了结构相似性。

表1

从表1中可以看出，本发明方法相对于UNet、BASNet、U-2Net以及PraNet三种方法上具有更优的结果，大大提升了分割的性能，能够更好的应用在息肉分割上，具有更好的实际工程应用价值。

本说明书的实施例所述的内容仅仅是对发明构思的实现形式的列举，仅作说明用途。本发明的保护范围不应当被视为仅限于本实施例所陈述的具体形式，本发明的保护范围也及于本领域的普通技术人员根据本发明构思所能想到的等同技术手段。

Claims (1)

1.一种显著边缘特征提取模块引导网络的肠道疾病分割方法，其特征在于，包括以下步骤：

步骤1：输入数据集X＝{x₁,x₂,...,x_n}，其中，X表示数据集中输入的样本，x_n∈R^352×352，n表示样本数量，骨干网络Res2net提取特征，得到Conv1、Conv2、Conv3、Conv4、Conv5五个输出特征；

步骤2：由于结直肠息肉数据集中息肉的尺度大小，形状变化差异大，采用了不同核大小的GCN模块进行多尺度上下文信息的提取，再利用边界细化模块进一步提高物体边界的划分性能；利用该模块对骨干网络提取到的特征进行信息提取，得到五个侧边输出特征，简单表示为：

C＝{C⁽¹⁾,C⁽²⁾,C⁽³⁾,C⁽⁴⁾,C⁽⁵⁾} (1)

步骤3：显著边缘特征提取模块的生成，过程如下：

3.1低层信息中包含丰富的边缘信息，可以为目标分割提供精确的定位，由于C⁽¹⁾离输入图像太近且接受域较小不适用于生成边缘特征，而C⁽³⁾,C⁽⁴⁾,C⁽⁵⁾等高层信息包含丰富的语义信息，最后选择了C⁽²⁾来生成边缘信息，为了获得更加稳健的显著目标特征，将C⁽²⁾经过三个卷积层，且在每个卷积层后面增加了一个RELU层来确保非线性；

3.2低层信息中包含了丰富的边缘信息同时也包含了很多噪声，为了抑制低层信息中的噪声，利用级联部分解码器CPD模块将C⁽³⁾,C⁽⁴⁾,C⁽⁵⁾三个高层信息进行融合得到融合后的特征信息C⁽⁶⁾，C⁽⁶⁾中包含了三层丰富的语义信息，将融合后的信息C⁽⁶⁾通过自上而下的方法传播到侧边特征C⁽²⁾中，利用融合后的顶层语义信息来抑制不明显的边缘特征和边缘信息中的噪声，融合特征F(2)表示为：

式(2)中表示经过三个卷积层后的C(6)，C(2)表示C⁽²⁾得到的特征信息，Trans(*；θ)表示参数为θ的卷积层，用于改变通道数，φ()表示RELU激活函数，Up(*；C(2))表示使用双线性插值的上采样方法，将尺寸上采样至与C(2)同样大小；

步骤4：将F(2)经过三个卷积层来增强边缘引导特征，得到最终的边缘信息F_E，使用mask图得到的边缘图对生成的显著边缘特征进行显著边缘监督，获得显著边缘特征提取模块；

步骤5：将得到的显著边缘信息与每层的特征信息共同作为PraNet网络中RAS模块的输入，利用mask对RAS模块每一层的输出进行深度监督，得到最终的模型，使用肠道中的息肉图像作为输入对设计的模型进行训练得到参数，再用训练的参数，输入测试集图像用来预测最终的分割结果。