CN111325750A - 一种基于多尺度融合u型链神经网络的医学图像分割方法 - Google Patents

Abstract

本发明公开了一种基于多尺度融合U型链神经网络的医学图像分割方法，将多尺度特征融合模块与U型网络很好的融合在一起。通过将不同尺度学习到的特征进行融合产生新的特征，并添加经过1×1卷积的残差连接，将特征与新的特征相加，提高网络的分割效果，实现更加精确的目标定位；同时利用U型链神经网络架构的跳层连接来实现特征组合，将不同抽象层级的特征进行堆叠，大大提高了网络训练的收敛速度，使得其在更短的时间内得到更好的训练模型。本发明能够满足医学图像分割任务中对处理速度和分割精度较高的要求，在医学图像分割中达到非常优秀的性能。

Description

一种基于多尺度融合U型链神经网络的医学图像分割方法

技术领域

本发明涉及图像处理等技术领域，涉及一种图像分割技术，尤其涉及一种基于多尺度融合U型链神经网络的医学图像分割方法。

背景技术

医学图像分割是医学图像处理和医学图像分析的首要步骤，其目的是将医学图像上感兴趣的区域(比如肿瘤区域，器官)分割出来，提取相关特征，对其进行像素级别的分类，将同类像素聚集在一起。这可以极大改善临床流程，对于疾病诊断，疾病进展检测和治疗方案的规划至关重要。然而，由于各种器官和肿瘤区域的形状以及大小之间存在较大差异，和跨机构以及不同生物医学成像设备采集到的医学图像之间的差异，导致图像分辨率，图像噪声也存在较大差异，因此获得准确的医学图像分割仍具有很大的挑战性。

由于深度学习的快速发展，深度卷积神经网络(DCNN)也被广泛应用于各种计算机视觉任务，比如：人脸识别，图像识别，目标定位，物体追踪等，并达到了最先进的性能。虽然DCNN在图像分割中取得了巨大突破，但是在训练过程中需要大量带有标签的数据。然而获得医学图像是十分昂贵且复杂的，而且在进行图像分割时，手动分割标签也会耗费大量的精力和时间，还容易出现错误或观察者内部差异。此外对于不同的医学领域的图像进行分割时还需要该领域的专家，因此这一局限性在医学领域尤为重要。随着全卷积网络的出现，这一问题也得到解决。

然而，在最流行的医学图像分割模型(如FCN，U-Net)中，采用编码器和解码器结构，将经典CNN在卷积层之后的完全连接层替换为卷积层，对最后一个卷积层得到的特征图进行上采样或者转置卷积操作，并在相同深度层之间添加跳跃连接(skip connection)，将网络浅层学习到的局部信息与深层学习到的更加复杂的信息进行结合得到新的更加层次的复杂特征。但是由于模型层次越来越深，在卷积过程中逐渐丢失了图像的底层信息，导致不能很好的描绘出感兴趣区域的边界，无法做到精确分割。

发明内容

针对传统医学图像分割方法中分割结果不准确的问题，本发明提供一种基于多尺度融合U型链神经网络的医学图像分割方法，以解决传统医学图像分割方法无法精确分割的问题。

本发明是通过以下技术方案来实现：

一种基于多尺度融合U型链神经网络的医学图像分割方法，包括以下步骤：

S1、对待分割的图像数据进行预处理，得到训练数据集；

S2、构建多尺度融合U型链神经网络，其包括两个U型模块，每个U 型模块由多个多尺度融合模块构成，两个U型模块一一对应且相互之间的特征进行add操作；

S3、采用训练数据集对多尺度融合U型链神经网络进行训练，将训练数据集随机分为两部分，一部分为训练集，另一部分为验证集：

S4、将训练集输入多尺度融合U型链神经网络，使用交叉熵损失函数，计算训练过程中预测分割结果与真实标签之间的损失值；

S5、将验证集输入多尺度融合U型链神经网络，使用交叉熵损失，计算验证过程中预测分割结果与真实标签之间的损失值；

S6、判断验证过程中的损失值是否小于训练过程中的最小损失值，若小于则保存当前训练的模型更新网络参数，然后执行步骤S7；

当验证过程中的损失值大于训练过程中的最小损失值，则执行步骤S7；

S7、判断当前迭代次数是否达到预设的epoch值，若未达到则返回步骤 S3进行下一次迭代，若达到预设的epoch值，完成多尺度融合U型链神经网络的训练。

优选的，步骤S1中图像数据预处理的过程具体如下：

对图像数据进行格式转换，然后对得到的图像数据进行缩放并设置像素，对缩放的图像数据依次进行归一化和二值化处理，得到训练数据集。

优选的，步骤S1还包括以下步骤，对二值化处理后得到的训练数据集进行增强，通过对训练数据集进行翻转变换、平移变换和噪声扰动的方法增加训练数据集的数据量。

优选的，步骤S2所述每个U型模块包括编码器、解码器和底部模块，编码器和解码器分别包括多个多尺度融合模块，底部模块包括一个多尺度融合模块，编码器的多尺度融合模块和解码器的多尺度融合模块一一对应且相互之间特征进行add操作，底部模块的多尺度融合模块分别与编码器和解码器的最后一个多尺度融合模块进行卷积操作。

优选的，所述编码器和解码器结构相同，均包括4个多尺度融合模块，每相邻两个多尺度融合模块之间进行一个步长为2的3×3卷积操作；

所述底部模块的多尺度融合模块，与编码器的最后一个多尺度融合模块进行一个步长为2的3×3卷积操作，与解码器的最后一个多尺度融合模块进行一个步长为2的3×3转置卷积操作。

优选的，所述多尺度融合模块包括3个3×3卷积操作，并分别在前两个卷积操作之后添加残差连接，与第三个卷积操作后得到的特征进行 Concatenation操作；

三个连续的卷积层的filter数量分别设置为(0.2，0.3，0.5)×Input_channel，其中Input_channel为输入的通道数，在原始输入之后添加1个1×1卷积操作，与前面得到复杂特征相加，之后再通过relu激活函数、BN处理后，成为下一个卷积或转置卷积的输入。

优选的，步骤4或步骤5的损失值的计算公式如下：

其中，H(p,q)为预测分割结果与真实标签之间的损失值，P(X)表示样本的真实分布，Q(X)表示模型所预测的分布。

8.根据权利要求1所述的一种基于多尺度融合U型链神经网络的医学图像分割方法，其特征在于，步骤S7后还包括以下步骤：

S8、将图像输入至训练后的多尺度融合U型链神经网络，其输出图像分割结果和评测指标。

与现有技术相比，本发明具有以下有益的技术效果：

本发明提供了一种基于多尺度融合U型链卷积的医学图像分割方法，将多尺度特征融合模块与U型链网络很好的融合在一起，通过将不同尺度学习到的特征进行融合产生新的特征，并添加经过1×1卷积的残差连接，将特征与新的特征相加，提高网络的分割效果，实现更加精确的目标定位；同时利用U型链神经网络架构的跳层连接来实现特征组合，将不同抽象层级的特征进行堆叠，大大提高了网络训练的收敛速度，使得在更短的时间内得到更好的训练模型。本发明能够满足医学图像分割任务中，对处理速度和分割的准确度较高的要求，在医学图像分割应用中达到非常优秀的性能。

附图说明

图1为本发明实施例提供的一种基于多尺度融合U型链神经网络的医学图像分割方法流程图；

图2为本发明实施例提供的步骤S1分步骤流程图；

图3为本发明实施例提供的多尺度融合模块结构示意图；

图4为本发明实施例提供的多尺度融合U型链神经网络模型示意图；

图5为本发明实施例提供的步骤S3分步骤流程图；

图6为本发明所提供的神经网络模型与现有的其他网络模型的效果对比图。

具体实施方式

下面结合附图对本发明做进一步的详细说明，所述是对本发明的解释而不是限定。

参阅图1，基于多尺度融合U型链神经网络的医学图像分割方法，包括以下步骤：

步骤1、对待分割的***镜检查图像数据进行预处理，得到训练数据集和测试数据集。

参阅图2，该步骤具体方法如下：

S11、将待分割的***镜检查图像数据进行格式转换。

S12、对格式转换后的图像缩放，将其像素值设置为256×256。

S13、对缩放后的图像进行归一化处理，将其归一化到[0,1]区间。

S14、对归一化后的图像进行二值化处理，设置阈值为0.5，大于阈值的像素值处理为1，小于阈值的像素值处理为0。

S15、将二值化后的图像按比例分为训练数据集和测试数据集。

S16、对训练数据集进行数据增强。

深度学习通常需要大量数据来进行训练，而在医学方面数据的获取是十分昂贵且困难的。带有标签的数据更是需要这方面的专家来进行标记，更是困难重重。避免训练过程中出现过拟合，提高分割精度，需要进行训练数据集的数据增强，在本发明实施例中，使用以下方法来进行数据增强：

翻转变换(flip):沿着水平或者垂直方向翻转图像。

平移变换(shift):在图像平面上对图像以一定方式进行平移。

噪声扰动(noise):对图像的每个像素RGB进行随机扰动。

步骤2、构建多尺度融合U型链神经网络。

该步骤2具体方法如下：

S21、构建多尺度融合模块。

如图3所示，所述的多尺度融合模块包括3个3×3卷积操作，并分别在前两个卷积操作之后添加残差连接，与第三个卷积操作后得到的特征进行 Concatenation操作，以获得从不同尺度得到的复杂特征。为了输入和输出的通道数保持相同，我们将三个连续的卷积层的filter数量分别设置为 (0.2，0.3，0.5)×Input_channel，其中Input_channel为输入的通道数。在原始输入之后添加1 个1×1卷积操作，与前面得到复杂特征相加，之后再通过relu激活函数、 BN处理后，成为下一个卷积或转置卷积的输入。

S22、根据多尺度融合模块构建多尺度融合U型链神经网络。

如图4所示，所述的多尺度融合U型链神经网络包括两个U型模块。其中，每个U型模块包括编码器、解码器和底部模块；

所述编码器包括4个多尺度融合模块，每相邻两个多尺度融合模块之间进行一个步长为2的3×3卷积操作；

所述解码器包括4个多尺度融合模块，每相邻两个多尺度融合模块之间进行一个步长为2的3×3转置卷积操作；

所述底部模块包括1个多尺度融合模块，与编码器的最后一个多尺度融合模块进行一个步长为2的3×3卷积操作，与解码器的最后一个多尺度融合模块进行一个步长为2的3×3转置卷积操作；

所述编码器中的多尺度融合模块和解码器中的多尺度融合模块一一对应且相互之间特征进行add操作；

所述的两个U型模块一一对应且相互之间特征进行add操作。

步骤3、将训练数据集输入多尺度融合U型链神经网络进行训练，得到学习后的卷积神经网络模型。

如图5所示，步骤3包括以下分步骤S31-S40：

S31、将训练数据集随机选择10％的数据作为验证数据集，其余90％的数据作为训练数据集；

S32、初始化卷积核权重和损失函数为0；

S33、将S31中的训练数据集输入多尺度融合U型链神经网络；

S34、将S31中的训练数据集与多尺度融合U型链神经网络中各个节点参数进行计算，实现网络训练的前向传播；

S35、在神经网络中，需要计算按照神经网络正向传播输出的特征图与真实标签之间的差距，计算损失函数loss才能应用反向传播。在本发明实施中，使用交叉熵损失函数，计算训练过程中预测分割结果与真实标签之间的损失值，计算公式为：

其中H(p,q)表示预测分割结果与真实标签之间的损失值，P(X)表示样本的真实分布，Q(X)表示模型所预测的分布；

S36、将S32中的验证数据集输入多尺度融合U型链神经网络；

S37、使用交叉熵损失，计算验证过程中预测分割结果与真实标签之间的损失值；

S38、判断验证过程中的损失值是否小于之前验证过程中的最小的损失值，若小于则保存当前训练的模型更新网络参数，进入步骤S39，否则直接进入步骤S39；

S39、判断当前迭代次数是否达到预先设定的epoch值，若未达到则返回步骤S31进行下一次迭代，否则进入步骤S40；

S40、输出学习到的卷积神经网络模型，进入步骤S4。

步骤4、将测试数据集输入学习后的卷积神经网络模型，输出图像分割结果和评测指标。

本发明实施例中，分别采用准确性(AC)，灵敏度(SE)，特异性(SP)， Jaccard相似度(JS)和area under curve(AUC)这五个指标与现有的U-Net、LadderNet以及本发明中所提出的未经过1×1卷积的残差模型 (ResModelW/OConv)进行比较。在相同的***数据集上训练100个 epoch，对最终分割结果进行评价，如表1所示。

表1

Methods	AC	SE	SP	JS	AUC
						U-Net	0.9496	0.9203	0.9630	0.9496	0.9407
LadderNet	0.9532	0.9222	0.9725	0.9532	0.9434
						ResModelW/OConv	0.9551	0.9267	0.9729	0.9551	0.9498
我们的方法	0.9572	0.9295	0.9746	0.9572	0.9521

由表1可知，本发明中提出的方法在五项指标中均达到最高。

将测试数据集数据输入到学习后的神经网络模型中，U-Net、LadderNet、ResModelW/OConv和本发明的分割结果如图6所示。本发明对于边界敏感的区域能够实现更加精确的分割结果。

本发明公开了一种基于多尺度融合U型链神经网络的医学图像分割方法，将多尺度特征融合模块与U型网络很好的融合在一起。通过将不同尺度学习到的特征进行融合产生新的特征，并添加经过1×1卷积的残差连接，将特征与新的特征相加，提高网络的分割效果，实现更加精确的目标定位；同时利用U型链神经网络架构的跳层连接来实现特征组合，将不同抽象层级的特征进行堆叠，大大提高了网络训练的收敛速度，使得其在更短的时间内得到更好的训练模型。本发明能够满足医学图像分割任务中对处理速度和分割精度较高的要求，在医学图像分割中达到非常优秀的性能。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (8)

1.一种基于多尺度融合U型链神经网络的医学图像分割方法，其特征在于，包括以下步骤：

S1、对待分割的图像数据进行预处理，得到训练数据集；

S2、构建多尺度融合U型链神经网络，其包括两个U型模块，每个U型模块由多个多尺度融合模块构成，两个U型模块一一对应且相互之间的特征进行add操作；

S3、采用训练数据集对多尺度融合U型链神经网络进行训练，将训练数据集随机分为两部分，一部分为训练集，另一部分为验证集：

S4、将训练集输入多尺度融合U型链神经网络，使用交叉熵损失函数，计算训练过程中预测分割结果与真实标签之间的损失值；

S5、将验证集输入多尺度融合U型链神经网络，使用交叉熵损失，计算验证过程中预测分割结果与真实标签之间的损失值；

S6、判断验证过程中的损失值是否小于训练过程中的最小损失值，若小于则保存当前训练的模型更新网络参数，然后执行步骤S7；

当验证过程中的损失值大于训练过程中的最小损失值，则执行步骤S7；

S7、判断当前迭代次数是否达到预设的epoch值，若未达到则返回步骤S3进行下一次迭代，若达到预设的epoch值，完成多尺度融合U型链神经网络的训练。

2.根据权利要求1所述的一种基于多尺度融合U型链神经网络的医学图像分割方法，其特征在于，步骤S1中图像数据预处理的过程具体如下：

对图像数据进行格式转换，然后对得到的图像数据进行缩放并设置像素，对缩放的图像数据依次进行归一化和二值化处理，得到训练数据集。

3.根据权利要求2所述的一种基于多尺度融合U型链神经网络的医学图像分割方法，其特征在于，步骤S1还包括以下步骤，对二值化处理后得到的训练数据集进行增强，通过对训练数据集进行翻转变换、平移变换和噪声扰动的方法增加训练数据集的数据量。

4.根据权利要求1所述的一种基于多尺度融合U型链神经网络的医学图像分割方法，其特征在于，步骤S2所述每个U型模块包括编码器、解码器和底部模块，编码器和解码器分别包括多个多尺度融合模块，底部模块包括一个多尺度融合模块，编码器的多尺度融合模块和解码器的多尺度融合模块一一对应且相互之间特征进行add操作，底部模块的多尺度融合模块分别与编码器和解码器的最后一个多尺度融合模块进行卷积操作。

5.根据权利要求4所述的一种基于多尺度融合U型链神经网络的医学图像分割方法，其特征在于，所述编码器和解码器结构相同，均包括4个多尺度融合模块，每相邻两个多尺度融合模块之间进行一个步长为2的3×3卷积操作；

所述底部模块的多尺度融合模块，与编码器的最后一个多尺度融合模块进行一个步长为2的3×3卷积操作，与解码器的最后一个多尺度融合模块进行一个步长为2的3×3转置卷积操作。

6.根据权利要求4所述的一种基于多尺度融合U型链神经网络的医学图像分割方法，其特征在于，所述多尺度融合模块包括3个3×3卷积操作，并分别在前两个卷积操作之后添加残差连接，与第三个卷积操作后得到的特征进行Concatenation操作；

三个连续的卷积层的filter数量分别设置为(0.2，0.3，0.5)×Input_channel，其中Input_channel为输入的通道数，在原始输入之后添加1个1×1卷积操作，与前面得到复杂特征相加，之后再通过relu激活函数、BN处理后，成为下一个卷积或转置卷积的输入。

7.根据权利要求1所述的一种基于多尺度融合U型链神经网络的医学图像分割方法，其特征在于，步骤4或步骤5的损失值的计算公式如下：

其中，H(p,q)为预测分割结果与真实标签之间的损失值，P(X)表示样本的真实分布，Q(X)表示模型所预测的分布。

8.根据权利要求1所述的一种基于多尺度融合U型链神经网络的医学图像分割方法，其特征在于，步骤S7后还包括以下步骤：

S8、将图像输入至训练后的多尺度融合U型链神经网络，其输出图像分割结果和评测指标。

Images