CN114140472A - 一种跨级信息融合医学图像分割方法 - Google Patents

Abstract

本发明提供一种跨级信息融合医学图像分割方法，通过搭建跨级信息融合模型，将预处理的数据送入编码器中提取特征，将每次编码后的特征重新进行一次特征提取，然后再与上一级编码后的信息进行融合后送入解码器进行解码，将预处理后的训练集、验证集图像数据输入到跨级信息融合模型中进行训练，将测试集图像数据中每个图像传入已经训练完成的跨级信息融合模型中进行预测，得到分割结果。本发明提供的一种跨级信息融合医学图像分割方法，可以融合不同层次的特征，可以有效提取上下文信息，显著提高了分割效果。

Description

一种跨级信息融合医学图像分割方法

技术领域

本发明涉及医学图像技术领域，具体涉及一种跨级信息融合医学图像分割方法。

背景技术

分割是是医学图像分析的关键步骤，可以用于协助皮肤镜图像中的皮肤癌分析，分析视网膜图像、血管和计算机断层扫描中的肺图像(CT)等等。传统的医学图像分割方法往往需要预处理、后处理和先验知识。

深度卷积神经网络(DCNN)由于能够在不需要手工制作特征的情况下有效地学习特征，因此在医学图像分割任务中引起了广泛的关注。然而，各阶段的特征提取和多尺度信息融合的能力仍不足。因此，提高模型提取特征能力、融合多尺度特征是一个十分必要的研究方向。

发明内容

本发明所要解决的技术问题是提供一种跨级信息融合医学图像分割方法，实现有效提取特征，达到较好的医学图像分割效果。

为实现上述目的，本发明的技术方案为：

一种跨级信息融合医学图像分割方法，包括如下步骤：

S1：获取原始医学影像的数据集，所述数据集中包括图像及其标签，将所述数据集进行预处理，对预处理后的数据集进行划分，分为训练集、验证集和测试集；

S2：搭建跨级信息融合模型，将预处理后的数据集送入所述跨级信息融合模型，所述跨级信息融合模型包括编码器及解码器，所述编码器包括依次设置的5个编码单元，5个所述编码单元依次进行5个阶段的编码操作，所述解码器包括依次设置的5个解码单元，5个所述解码单元依次进行5个阶段的解码操作；

S3：将第五编码单元编码后的信息传入混合注意力空洞卷积模块进行第一次特征提取，然后将第一次特征提取到的信息分为两个分支，其中一个分支传入第五解码单元进行解码；另一个分支与第四编码单元编码后的信息进行融合，将融合后的信息传入第一多尺度特征融合记忆模块进行第二次特征提取；

将第二次特征提取到的信息分为两个分支，其中一个分支与第四解码单元解码后的信息进行融合，然后将融合后的信息传入第三解码单元进行解码；另一个分支与第三编码单元编码后的信息进行融合，并将融合后的信息传入第二多尺度特征融合记忆模块进行第三次特征提取；

将第三次特征提取到的信息分为两个分支，其中一个分支与第三解码单元解码后的信息进行融合，然后将融合后的信息传入第二解码单元进行解码；另一个分支与第二编码单元编码后的信息进行融合，并将融合后的信息传入第三多尺度特征融合记忆模块进行第四次特征提取；

将第四次特征提取到的信息与第二解码单元解码后的信息进行融合，然后将融合后的信息传入第一解码单元进行解码；

将第一解码单元解码后的信息与第一编码单元编码后的信息进行融合，将融合后的信息卷积后执行分割任务；

S4：多次训练，将测试集传入已经训练完成的跨级信息融合模型中进行预测，得到分割结果。

优选的，每个所述编码单元均包括依次设置的第一卷积层、第一多感受野融合模块和池化层；每个所述解码单元均包括依次设置的第二卷积层、第二多感受野融合模块和上采样层，所述第一多感受野融合模块和所述第二多感受野融合模块的架构相同。

优选的，所述第一多感受野融合模块和所述第二多感受野融合模块均包括四个分支：第一个分支包括依次设置的1×1卷积层、3×3 卷积层及3×3卷积层；第二个分支包括依次设置的1×1卷积层及3×3 卷积层；第三个分支包括1×1卷积层；第四个分支包括依次设置的3×3全局平均池化层及1×1卷积层，所述第一多感受野融合模块/第二多感受野融合模块的计算公式如下：

式中，

表示所述所述第一多感受野融合模块/第二多感受野融合模块的输入数据，

分别表示四个分支的输出，

表示所述第一多感受野融合模块/第二多感受野融合模块的输出数据，BN表示进行批归一化，

表示RELU激活函数，W ₁、W ₂、W ₃、W ₄、W ₅、W ₆、W ₇表示卷积层的参数，

表示全局平均池化。

优选的，所述混合注意力空洞卷积模块首先对输入的信息使用1×1的卷积核进行卷积，再将特征传入五个不同的分支中，第一个分支直接将输入的信息传入空间注意力机制模块中，将得到的特征使用1×1的卷积核进行卷积，并与未进行卷积的特征进行融合，融合后将数据传入通道注意力机制中；第二、三、四个分支将输入的信息传入空洞卷积率依次为4、2、1的深度可分离卷积层中进行卷积，然后传入空间注意力机制模块中，将得到的特征使用1×1的卷积核进行卷积，并与未进行卷积的特征进行融合，融合后将数据传入通道注意力机制中；第五分支为图像特征分支，先将输入的信息进行全局池化，然后将特征传入空间注意力机制模块中，将得到的特征使用1×1的卷积核进行卷积，并与未进行卷积的特征进行融合，融合后将数据传入通道注意力机制中；最后将五个分支的数据进行融合，再传入卷积核为1×1的卷积层中进行卷积，所述混合注意力空洞卷积模块的计算公式如下：

式中，X表示所述混合注意力空洞卷积模块的输入数据，

分别表示混合注意力空洞卷积模块中五个分支的输出数据，

表示混合注意力空洞卷积模块的输出数据，Sep表示对数据进行深度可分离卷积，

表示RELU激活函数，W ₈、W ₉、W ₁₀、W ₁₁、W ₁₂、W ₁₃、W ₁₄、W ₁₅表示卷积层的参数，

表示全局平均池化。

优选的，所述多尺度特征融合记忆模块包括两个分支，第一个分支将输入的数据依次传入1×1卷积层、3×3 卷积层、1×1 卷积层及批归一化层，并将所传入的数据和批归一化后的数据进行融合；第二个分支将输入的数据依次传入全局池化层、全连接层、Dropout层、全连接层及批归一化层，并将所传入的数据和批归一化后的数据进行融合；最后将两个分支的信息进行融合，所述多尺度特征融合记忆模块的计算公式如下：

其中，

表示所述第一多尺度特征融合记忆模块/第二多尺度特征融合记忆模块/第三多尺度特征融合记忆模块的输入数据，

分别表示第一多尺度特征融合记忆模块/第二多尺度特征融合记忆模块/第三多尺度特征融合记忆模块的两个分支的输出数据，

表示第一多尺度特征融合记忆模块/第二多尺度特征融合记忆模块/第三多尺度特征融合记忆模块的输出数据，Sep表示对数据进行深度可分离卷积，BN表示进行批归一化，

表示Sigmoid激活函数，

表示RELU激活函数，W₁₆、W₁₇、W₁₈表示卷积层的参数，

表示全局平均池化，Dropout表示对特征进行Dropout操作，FCL表示将特征输入全连接层。

与相关技术相比，本发明提供了一种跨级信息融合医学图像分割方法，能够进行医学影像自动分割，在本发明中，我们提出的跨级信息融合模型由编码器和解码器组成。采用多感受野融合模块、混合注意力空洞卷积模块和多尺度特征融合记忆模块，融合不同层次的特征，可以有效提取上下文信息，显著提高了分割效果。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图，其中：

图1为本发明提供的跨级信息融合网络框架图；

图2为本发明提供的多感受野融合模块结构图；

图3为本发明提供的混合注意力空洞卷积模块结构图；

图4为本发明提供的多尺度特征融合记忆模块结构图。

具体实施方式

为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明的上述目的、特征和优点能够更加明显易懂，下面将结合附图对本发明的具体实施方式作进一步的说明。

请结合参阅图1-4，本发明提供一种跨级信息融合医学图像分割方法，包括如下步骤：

S1：获取原始医学影像的数据集，所述数据集中包括图像及其标签，将所述数据集进行预处理，对预处理后的数据集进行划分，分为训练集、验证集和测试集。

原始医学图像经过处理后都是通过矩阵的形式出现，矩阵中的维度就是像素值，像素越多则矩阵的维度越高。在数据集被送到模型进行训练之前，需要对数据集进行预处理，以规范确定图像的大小和通道。优选的，预处理的过程为归一化处理。

S2：搭建跨级信息融合模型，将预处理后的数据集送入所述跨级信息融合模型，所述跨级信息融合模型包括编码器及解码器，所述编码器包括依次设置的5个编码单元，5个所述编码单元依次进行5个阶段的编码操作，所述解码器包括依次设置的5个解码单元，5个所述解码单元依次进行5个阶段的解码操作。

具体的，所述跨级信息融合模型包括编码器10和解码器20，所述编码器10包括依次设置的第一编码单元11、第二编码单元12、第三编码单元13、第四编码单元14及第五编码单元15；所述解码器20包括依次设置的第五解码单元25、第四解码单元24、第三解码单元23、第二解码单元22及第一解码单元21。每个所述编码单元均包括依次设置的第一卷积层、第一多感受野融合模块和池化层；每个所述解码单元均包括依次设置的第二卷积层、第二多感受野融合模块和上采样层。其中，所述第一卷积层和所述第二卷积层用于执行卷积操作，所述第一多感受野融合模块和所述第二多感受野融合模块用于执行特征提取操作；所述池化层用于筛选所述第一卷积层中有用的信息，给下一层进行分析，减轻神经网络的计算负担；所述上采样层用于对缩小后的特征执行上采样操作。

所述第一多感受野融合模块和所述第二多感受野融合模块的架构相同，均包括四个分支：第一个分支包括依次设置的1×1卷积层、3×3 卷积层及3×3卷积层；第二个分支包括依次设置的1×1卷积层及3×3 卷积层；第三个分支包括1×1卷积层；第四个分支包括依次设置的3×3全局平均池化层及1×1卷积层，所述第一多感受野融合模块/第二多感受野融合模块的计算公式如下：

式中，

表示所述所述第一多感受野融合模块/第二多感受野融合模块的输入数据，

分别表示四个分支的输出，

表示所述第一多感受野融合模块/第二多感受野融合模块的输出数据，BN表示进行批归一化，

表示RELU激活函数，W ₁、W ₂、W ₃、W ₄、W ₅、W ₆、W ₇表示卷积层的参数，

表示全局平均池化。

S3：将第五编码单元15编码后的信息传入混合注意力空洞卷积模块30进行第一次特征提取，然后将第一次特征提取到的信息分为两个分支，其中一个分支传入第五解码单元25进行解码；另一个分支与第四编码单元14编码后的信息进行融合，将融合后的信息传入第一多尺度特征融合记忆模块41进行第二次特征提取；

将第二次特征提取到的信息分为两个分支，其中一个分支与第四解码单元24解码后的信息进行融合，然后将融合后的信息传入第三解码单元23进行解码；另一个分支与第三编码单元13编码后的信息进行融合，并将融合后的信息传入第二多尺度特征融合记忆模块42进行第三次特征提取；

将第三次特征提取到的信息分为两个分支，其中一个分支与第三解码单元23解码后的信息进行融合，然后将融合后的信息传入第二解码单元22进行解码；另一个分支与第二编码单元12编码后的信息进行融合，并将融合后的信息传入第三多尺度特征融合记忆模块43进行第四次特征提取；

将第四次特征提取到的信息与第二解码单元22解码后的信息进行融合，然后将融合后的信息传入第一解码单元21进行解码；

将第一解码单元21解码后的信息与第一编码单元11编码后的信息进行融合，将融合后的信息卷积后执行分割任务。

所述混合注意力空洞卷积模块30首先对输入的信息使用1×1的卷积核进行卷积，再将特征传入五个不同的分支中，第一个分支直接将输入的信息传入空间注意力机制模块中，将得到的特征使用1×1的卷积核进行卷积，并与未进行卷积的特征进行融合，融合后将数据传入通道注意力机制中；第二、三、四个分支将输入的信息传入空洞卷积率依次为4、2、1的深度可分离卷积层中进行卷积，然后传入空间注意力机制模块中，将得到的特征使用1×1的卷积核进行卷积，并与未进行卷积的特征进行融合，融合后将数据传入通道注意力机制中；第五分支为图像特征分支，先将输入的信息进行全局池化，然后将特征传入空间注意力机制模块中，将得到的特征使用1×1的卷积核进行卷积，并与未进行卷积的特征进行融合，融合后将数据传入通道注意力机制中；最后将五个分支的数据进行融合，再传入卷积核为1×1的卷积层中进行卷积，所述混合注意力空洞卷积模块的计算公式如下：

式中，X表示所述混合注意力空洞卷积模块的输入数据，

分别表示混合注意力空洞卷积模块中五个分支的输出数据，

表示混合注意力空洞卷积模块的输出数据，Sep表示对数据进行深度可分离卷积，

表示RELU激活函数，W ₈、W ₉、W ₁₀、W ₁₁、W ₁₂、W ₁₃、W ₁₄、W ₁₅表示卷积层的参数，

表示全局平均池化。

所述第一多尺度特征融合记忆模块41、所述第二多尺度特征融合记忆模块42及第三多尺度特征融合记忆模块43架构相同，均包括两个分支：第一个分支将输入的数据依次传入1×1卷积层、3×3 卷积层、1×1 卷积层及批归一化层，并将所传入的数据和批归一化后的数据进行融合；第二个分支将输入的数据依次传入全局池化层、全连接层、Dropout层、全连接层及批归一化层，并将所传入的数据和批归一化后的数据进行融合；最后将两个分支的信息进行融合。所述第一多尺度特征融合记忆模块41、所述第二多尺度特征融合记忆模块42及第三多尺度特征融合记忆模块43用于关注融合后信息中的有用部分，舍弃无用信息。所述第一多尺度特征融合记忆模块/第二多尺度特征融合记忆模块/第三多尺度特征融合记忆模块的计算公式如下：

其中，

表示所述第一多尺度特征融合记忆模块/第二多尺度特征融合记忆模块/第三多尺度特征融合记忆模块的输入数据，

分别表示第一多尺度特征融合记忆模块/第二多尺度特征融合记忆模块/第三多尺度特征融合记忆模块的两个分支的输出数据，

表示第一多尺度特征融合记忆模块/第二多尺度特征融合记忆模块/第三多尺度特征融合记忆模块的输出数据，Sep表示对数据进行深度可分离卷积，BN表示进行批归一化，

表示Sigmoid激活函数，

表示RELU激活函数，W₁₆、W₁₇、W₁₈表示卷积层的参数，

表示全局平均池化，Dropout表示对特征进行Dropout操作，FCL表示将特征输入全连接层。

在模型中，将每次编码后的特征重新进行一次特征提取，然后再与上一级编码后的信息进行融合后送入解码器进行解码，可以关注更加有用的信息，避免将不必要的信息传输到下一级。

S4：将预处理后的训练集、验证集图像数据输入到跨级信息融合模型中进行训练，得到分割模型，将测试集图像数据中每个图像传入已经训练完成的跨级信息融合模型中进行预测，得到分割结果。

在模型的训练过程中，使用的优化器为Adam优化器，训练时，若模型在验证集上的准确率在十个epoch 内未提升，则停止训练，设置Batchsize为10，设置初始学习率为0.0001，保存测试集上最佳性能的模型最为最终模型，训练完毕。

将训练好的模型进行测试，测试使用的评价指标有：准确性(ACC)、灵敏度(SE)、特异性(SP)、雅克比相似性(JS)、准确度(PC)和F ₁ -score。这些指标的数学定义如下：

其中，TP、TN、FP、FN和GT分别表示真阳性、真阴性、假阳性、假阴性和真实掩膜。

所述第一多尺度特征融合记忆模块41、所述第二多尺度特征融合记忆模块42及第三多尺度特征融合记忆模块43架构相同，统称为多尺度特征融合记忆模块。为了验证本发明所提供的多感受野融合模块（MRFF）、混合注意力空洞卷积模块（HARA）和多尺度特征融合记忆模块（MSFM）的有效性。我们使用ISIC2018数据集进行实验。实验结果汇总见表1。

表1

由表1可以看出，同时采用本发明提供的多感受野融合模块（MRFF）、混合注意力空洞卷积模块（HARA）和多尺度特征融合记忆模块（MSFM）时，各项评价指标均保持在较高的水平，可以显著提高分割效果。

与相关技术相比，本发明提供了一种跨级信息融合医学图像分割方法，能够进行医学影像自动分割，在本发明中，我们提出的跨级信息融合模型由编码器和解码器组成，采用多感受野融合模块、混合注意力空洞卷积模块和多尺度特征融合记忆模块，融合不同层次的特征，可以有效提取上下文信息，显著提高了分割效果。

以上对本发明的实施方式作出详细说明，但本发明不局限于所描述的实施方式。对本领域的技术人员而言，在不脱离本发明的原理和精神的情况下对这些实施例进行的多种变化、修改、替换和变型均仍落入在本发明的保护范围之内。

Claims (5)

1.一种跨级信息融合医学图像分割方法，其特征在于，包括如下步骤：

S1：获取原始医学影像的数据集，所述数据集中包括图像及其标签，将所述数据集进行预处理，对预处理后的数据集进行划分，分为训练集、验证集和测试集；

S2：搭建跨级信息融合模型，将预处理后的数据集送入所述跨级信息融合模型，所述跨级信息融合模型包括编码器及解码器，所述编码器包括依次设置的5个编码单元，5个所述编码单元依次进行5个阶段的编码操作，所述解码器包括依次设置的5个解码单元，5个所述解码单元依次进行5个阶段的解码操作；

S3：将第五编码单元编码后的信息传入混合注意力空洞卷积模块进行第一次特征提取，然后将第一次特征提取到的信息分为两个分支，其中一个分支传入第五解码单元进行解码；另一个分支与第四编码单元编码后的信息进行融合，将融合后的信息传入第一多尺度特征融合记忆模块进行第二次特征提取；

将第二次特征提取到的信息分为两个分支，其中一个分支与第四解码单元解码后的信息进行融合，然后将融合后的信息传入第三解码单元进行解码；另一个分支与第三编码单元编码后的信息进行融合，并将融合后的信息传入第二多尺度特征融合记忆模块进行第三次特征提取；

将第三次特征提取到的信息分为两个分支，其中一个分支与第三解码单元解码后的信息进行融合，然后将融合后的信息传入第二解码单元进行解码；另一个分支与第二编码单元编码后的信息进行融合，并将融合后的信息传入第三多尺度特征融合记忆模块进行第四次特征提取；

将第四次特征提取到的信息与第二解码单元解码后的信息进行融合，然后将融合后的信息传入第一解码单元进行解码；

将第一解码单元解码后的信息与第一编码单元编码后的信息进行融合，将融合后的信息卷积后执行分割任务；

S4：将预处理后的训练集、验证集图像数据输入到跨级信息融合模型中进行训练，将测试集图像数据中每个图像传入已经训练完成的跨级信息融合模型中进行预测，得到分割结果。

2.根据权利要求1所述的一种跨级信息融合医学图像分割方法，其特征在于，每个所述编码单元均包括依次设置的第一卷积层、第一多感受野融合模块和池化层；每个所述解码单元均包括依次设置的第二卷积层、第二多感受野融合模块和上采样层，所述第一多感受野融合模块和所述第二多感受野融合模块的架构相同。

3.根据权利要求2所述的一种跨级信息融合医学图像分割方法，其特征在于，所述第一多感受野融合模块和所述第二多感受野融合模块均包括四个分支：第一个分支包括依次设置的1×1卷积层、3×3 卷积层及3×3卷积层；第二个分支包括依次设置的1×1卷积层及3×3 卷积层；第三个分支包括1×1卷积层；第四个分支包括依次设置的3×3全局平均池化层及1×1卷积层，所述第一多感受野融合模块/第二多感受野融合模块的计算公式如下：

式中，

表示所述所述第一多感受野融合模块/第二多感受野融合模块的输入数据，

分别表示四个分支的输出，

表示所述第一多感受野融合模块/第二多感受野融合模块的输出数据，BN表示进行批归一化，

表示RELU激活函数，W ₁、W ₂、W ₃、W ₄、W ₅、W ₆、W ₇表示卷积层的参数，

表示全局平均池化。

4.根据权利要求1所述的一种跨级信息融合医学图像分割方法，其特征在于，所述混合注意力空洞卷积模块首先对输入的信息使用1×1的卷积核进行卷积，再将特征传入五个不同的分支中，第一个分支直接将输入的信息传入空间注意力机制模块中，将得到的特征使用1×1的卷积核进行卷积，并与未进行卷积的特征进行融合，融合后将数据传入通道注意力机制中；第二、三、四个分支将输入的信息传入空洞卷积率依次为4、2、1的深度可分离卷积层中进行卷积，然后传入空间注意力机制模块中，将得到的特征使用1×1的卷积核进行卷积，并与未进行卷积的特征进行融合，融合后将数据传入通道注意力机制中；第五分支为图像特征分支，先将输入的信息进行全局池化，然后将特征传入空间注意力机制模块中，将得到的特征使用1×1的卷积核进行卷积，并与未进行卷积的特征进行融合，融合后将数据传入通道注意力机制中；最后将五个分支的数据进行融合，再传入卷积核为1×1的卷积层中进行卷积，所述混合注意力空洞卷积模块的计算公式如下：

式中，X表示所述混合注意力空洞卷积模块的输入数据，

分别表示混合注意力空洞卷积模块中五个分支的输出数据，

表示混合注意力空洞卷积模块的输出数据，Sep表示对数据进行深度可分离卷积，

表示RELU激活函数，W ₈、W ₉、W ₁₀、W ₁₁、W ₁₂、W ₁₃、W ₁₄、W ₁₅表示卷积层的参数，

表示全局平均池化。

5.根据权利要求1所述的一种跨级信息融合医学图像分割方法，其特征在于，所述第一多尺度特征融合记忆模块、所述第二多尺度特征融合记忆模块及第三多尺度特征融合记忆模块架构相同，均包括两个分支：第一个分支将输入的数据依次传入1×1卷积层、3×3 卷积层、1×1 卷积层及批归一化层，并将所传入的数据和批归一化后的数据进行融合；第二个分支将输入的数据依次传入全局池化层、全连接层、Dropout层、全连接层及批归一化层，并将所传入的数据和批归一化后的数据进行融合；最后将两个分支的信息进行融合，所述第一多尺度特征融合记忆模块/第二多尺度特征融合记忆模块/第三多尺度特征融合记忆模块的计算公式如下：

其中，

表示所述第一多尺度特征融合记忆模块/第二多尺度特征融合记忆模块/第三多尺度特征融合记忆模块的输入数据，

分别表示第一多尺度特征融合记忆模块/第二多尺度特征融合记忆模块/第三多尺度特征融合记忆模块的两个分支的输出数据，

表示第一多尺度特征融合记忆模块/第二多尺度特征融合记忆模块/第三多尺度特征融合记忆模块的输出数据，Sep表示对数据进行深度可分离卷积，BN表示进行批归一化，

表示Sigmoid激活函数，

表示RELU激活函数，W₁₆、W₁₇、W₁₈表示卷积层的参数，

表示全局平均池化，Dropout表示对特征进行Dropout操作，FCL表示将特征输入全连接层。

Images