CN110689543A - 基于注意机制的改进卷积神经网络脑肿瘤图像分割方法 - Google Patents

Abstract

本发明涉及一种基于注意机制的改进卷积神经网络脑肿瘤图像分割方法，包括下列步骤：数据预处理：首先对三维脑肿瘤MRI图像数据进行N4ITK算法的去偏置场效应处理，其次对原始MRI图像中的Flair、T1、T1C和T2四种模态图像分别进行灰度归一化预处理；搭建并训练基于注意机制的改进卷积神经网络模型，在训练过程中，将患者的四种模态数据当作神经网络的四个通道输入到网络模型中进行训练，以便融合不同模态的不同特征，进行更精确的分割；将预处理后的图像分为训练集和测试集，利用训练集对基于注意机制的改进卷积神经网络模型进行训练。

Description

基于注意机制的改进卷积神经网络脑肿瘤图像分割方法

技术领域

本发明应用于医学图像处理领域中的一个重要领域，将医学图像处理和深度学习算法结合起来，完成三维脑肿瘤核磁共振图像精确分割。

背景技术

脑肿瘤是一种严重威胁人类健康的疾病，由于其大小，形状和位置的明显不同，使得对脑肿瘤组织类型的准确表征和定位在脑肿瘤诊断和治疗中起关键作用。核磁共振成像因为具有良好的软组织对比和非入侵的特点，致使基于MRI的脑肿瘤分割研究成为热点。目前，由于MRI设备在脑部检查中的广泛应用，临床中会产生大量脑部MRI图像数据，医生不可能及时手动注释和分割全部图像，并且人工手动分割脑肿瘤组织会依赖于医生的个人经验。因此，如何高效、精准且全自动的分割脑肿瘤成为研究重点。

脑肿瘤图像分割的方法主要有基于区域，基于模糊聚类，基于图论，基于能量和基于机器学习等方法。

近年来，深度学习方法，特别是卷积神经网络(ConvolutionalNeuralNetwork,CNN)通过表现出准确性非常高的脑肿瘤分割结果而受到研究者的广泛关注。目前常用的神经网络基础模型有CNN模型、全卷积神经网络(Fully ConvolutionalNeuralNetwork,FCNN)模型和U-Net模型。基于上述模型，国内外研究者提出众多改进模型用于脑肿瘤图像的分割。

基于CNN模型，Pereira等采用了层数较深的CNN结构，且模型中使用多个3×3小尺寸的卷积核来代替7×7和5×5的大卷积核以提高卷积网络的运算速度，加强脑肿瘤特征的提取，使得分割精度可达87％左右。Havaei等通过结合具有不同滤波器尺寸通路的特征来使用多尺度结构，并且通过级联他们的模型进一步改进分割结果，但由于网络结构较复杂、模型参数较多导致网络训练困难，分割精度不理想。Kamnitsas等第一次采用3D卷积的方法，提出了一个完全连接的多尺度CNN，包括一个高分辨率路径和一个低分辨率路径，两个路径被重新组合以形成最终的分割输出。

基于FCNN模型，Chen等在FCNN的基础上引入多尺度感受野来进行准确的体素分类，该模型建立在密集连接块上，并利用分层体系结构来考虑不同类型的脑肿瘤，训练过程中使用块级的训练模式以缓解脑肿瘤图像类别不平衡问题。Chen等为了充分利用深层残差学习的强大能力，提出一个深度体素级残差网络，称为VoxResNet，该网络将二维深层残差扩展为三维，并融合了具有深度监督的多层次上下文信息，以进一步提高3D脑肿瘤图像的分割性能。Zhao等通过将FCNN和CRF集成，分别在横断面、冠状面和矢状面视图方向上使用具有FCNN参数的图像切片训练CRF，共得到3个分割模型，并且使用基于投票的策略将3个模型融合完成脑肿瘤分割。

基于U-Net模型，

等在U-Net的基础上，通过用3D对应物取代所有2D操作，提出了基于体素分割的三维全卷积神经网络3D U-Net。Sherman等提出了用V-Net分割MRI脑肿瘤图像，该网络将U-Net扩展到三维，并在同层卷积之间加入残差结构，同时使用卷积代替池化进行下采样，能够显著降低内存占用。Stawiaski等基于原本U-Net网络结构，分析路径中，在每层输入该层分辨率大小的图像数据，有效避免了模型训练过程中脑肿瘤特征的丢失；合成路径中，采用多尺度深度监督方式提供更精确的分割结果。

发明内容

为克服现有技术的不足，针对脑肿瘤图像数据集小、类别失衡严重以及现有算法分割精度低等问题，本发明旨在提出一种基于注意机制的改进卷积神经网络，实现三维脑肿瘤MRI图像的准确分割。本发明采用的技术方案是：

一种基于注意机制的改进卷积神经网络脑肿瘤图像分割方法，包括下列步骤：

1)数据预处理：首先对三维脑肿瘤MRI图像数据进行N4ITK算法的去偏置场效应处理，其次对原始MRI图像中的Flair、T1、T1C和T2四种模态图像分别进行灰度归一化预处理；

2)搭建并训练基于注意机制的改进卷积神经网络模型，在训练过程中，将患者的四种模态数据当作神经网络的四个通道输入到网络模型中进行训练，以便融合不同模态的不同特征，进行更精确的分割：以用于生物医学图像分割的卷积网络3D U-Net作为基础，网络包括一个用于分析整个图像，获取上下文信息的分析路径和一个连续扩展的合成路径实现精确定位以产生全分辨率分割输出；

每个路径都有四个分辨率步骤层，两条路径中每层均包含两个内核大小为3×3×3的卷积层，每个卷积层后跟一个ReLu激活函数；相邻两层之间分别是最大池化层和上采样层，步长均为2内核大小均为2×2×2；为了避免瓶颈，分析路径中在最大池化层之前已将通道数量加倍，合成路径中同理；在最后一层，内核大小为1×1×1的卷积层将输出通道的数量减少到标签数量；

在为合成路径提供基本的高分辨率特征的来自分析路径中同层的快捷连接中加入注意门(Attention Gate，AG)模型，将从下一分辨率层提取的粗尺度信息作为门控信号，用来删减跳过连接中的不相关的特征，突出显示通过跳过连接传递的显著特征，将该网络称为AG_UNet；

对所有卷积层的非线性部分采用leaky ReLu激活函数，标准化方式采用实例标准化，在训练过程中使用随机翻转，随机缩放，随机弹性形变和镜像等数据增强技术进行数据增强，并选用多类Dice损失函数作为损失函数；

将预处理后的图像分为训练集和测试集，利用训练集对基于注意机制的改进卷积神经网络模型进行训练；

3)测试分割结果：当基于注意机制的改进卷积神经网络模型训练好后，在测试集上测试模型。

针对脑肿瘤图像数据集小、类别失衡严重以及现有算法分割精度低等问题，本发明提出一种基于注意机制的改进卷积神经网络脑肿瘤图像分割方法。与一些经典的方法相比较，其优势主要体现在：

1)易用性：本发明提出的基于注意机制的改进卷积神经网络是一个可以端到端进行训练的神经网络，并且可以直接应用于整个三维图像数据进行处理，更加方便易用；

2)创新性：本发明将注意机制首次应用到脑肿瘤分割领域中，提出了基于注意机制的改进卷积神经网络。以用于生物医学图像分割的卷积网络3D U-Net作为基础，将AG加入到了标准的3D U-Net网络，用来突出显示通过跳过连接传递的显著特征。

3)准确性：本发明算法在全肿瘤、肿瘤核心和增强肿瘤的平均Dice评价分别可达0.8623、0.7846和0.6517，相较于原3D U-Net网络，本发明提出的基于注意机制的改进卷积神经网络具有更高的精确性。

附图说明

图1本发明分割算法流程图

图2AG示意图

图3基于注意机制的改进卷积神经网络结构图

图4不同卷积网络模型的分割结果比较图

具体实施方式

本发明将医学图像处理和深度学习算法结合起来，完成三维脑肿瘤核磁共振图像精确分割。针对脑肿瘤图像数据集小、类别失衡严重以及现有算法分割精度低等问题，本发明提出一种基于注意机制的改进卷积神经网络脑肿瘤图像分割方法。图1是本发明提出的算法框图，首先对原始MRI图像中的四种模态分别进行预处理；其次将预处理后的图像分为训练集和测试集，搭建并在训练集上训练基于注意机制的改进卷积神经网络模型；最后将训练好的模型应用在测试集上测试模型，并使用相应的评价指标对分割结果进行评估。

1)数据预处理

由于MRI强度值是非标准化的，因此对MRI数据进行标准化处理非常重要。但数据来自不同的研究所，并且使用的扫描仪和采集协议也有所不同，因此采用同一种算法进行处理至关重要。在处理过程中，需要确保数据值的范围不仅在患者之间而且在同一名患者的各种模态之间都要匹配，以避免网络的初始偏差。

本发明首先对三维脑肿瘤MRI图像数据进行N4ITK算法的去偏置场效应处理。其次对原始MRI图像中的Flair、T1、T1C和T2四种模态图像分别进行灰度归一化预处理，首先通过减去平均值并除以大脑区域的标准差，来独立地标准化每个患者的每种模态；然后，将结果图像裁剪到[-5,5]以去除异常值，之后重新归一化为[0,1]，并将非脑区域设置为0。在训练过程中，将患者的四种模态数据当作四个通道输入到网络模型中进行训练，以便网络学习到不同模态的不同特征，进行更精确的分割。

2)搭建并训练基于注意机制的改进卷积神经网络模型

本发明以用于生物医学图像分割的卷积网络3DU-Net作为基础，网络包括一个用于分析整个图像，获取上下文信息的分析路径和一个连续扩展的合成路径实现精确定位以产生全分辨率分割输出。

每个路径都有四个分辨率步骤层，两条路径中每层均包含两个内核大小为3×3×3的卷积层，每个卷积层后跟一个ReLu激活函数。相邻两层之间分别是最大池化层和上采样层，步长均为2内核大小均为2×2×2。为了避免瓶颈，分析路径中在最大池化层之前已将通道数量加倍，合成路径中同理。在最后一层，内核大小为1×1×1的卷积层将输出通道的数量减少到标签数量。

注意机制最先在自然语言处理领域得到普及，如机器翻译。在计算机视觉中，注意机制被应用于各种问题，包括图像分类，分割，动作识别，图像描述和视觉问题解答等。在医学图像分析领域，注意机制已被应用于医学报告生成以及联合图像和文本分类。然而，对于医学图像分割问题，尽管局部信息也同样非常重要，但只有少数研究工作使用了注意机制。

Oktay等提出了一种用于医学成像的基于图像网格的新型注意门(AttentionGate，AG)模型，可自动学习将注意力集中在各种形状和大小的目标结构上。使用AG进行训练的模型隐式学习抑制输入图像中不相关的区域，同时突出显示与特定任务相关的显著特征。AG示意图如图2所示。

注意系数α_i∈[0,1]，用于识别显著图像区域并删减特征映射，只保留与特定任务相关的特征。AG的输出是输入特征映射和注意系数的元素乘法：

在默认设置中，针对每个像素矢量计算单个标量注意值，其中Fl对应层l中的特征映射的数量。在多目标结构的情况下，建议选择多维注意系数进行学习，其中每个AG集中学习目标结构的一个子集。门控矢量

针对每个像素i确定注意区域。门控矢量中包含上下文信息，以此来删减较低层次的特征映射。使用叠加注意来计算注意系数，叠加注意定义如下：

其中

为S形激活函数。参数Θ_att包含：线性变换

和偏差项

线性变换通过1×1×1卷积进行计算，并且可以使用标准的反向传播更新来训练AG参数，这也是AG模型的一个重大优势。

本发明在为合成路径提供基本的高分辨率特征的来自分析路径中同层的快捷连接中加入注意门AG模型，突出显示通过跳过连接传递的显著特征，具体网络结构如图3所示，将该网络称为AG_UNet。

从下一分辨率层提取的粗尺度信息作为门控信号，用来删减跳过连接中的不相关的特征。该操作恰好在拼接操作之前执行，这样可以确保仅仅合并与目标任务相关的特征。在训练过程中，AG在前向传播和后向传播期间都会过滤特征，这样来自背景区域的信息在传递过程中被削减，使得模型的参数大部分基于与给定目标任务相关的区域进行更新。层l-1中的卷积参数的更新规则可以表述如下：

其中，右侧的第一个梯度项用

进行缩放。在每个AG中，提取并融合补充信息来定义跳过连接的输出。

本发明对所有卷积层的非线性部分采用leaky ReLu激活函数，标准化方式采用实例标准化，在训练过程中使用随机翻转，随机缩放，随机弹性形变和镜像等数据增强技术进行数据增强，并选用多类Dice损失函数作为损失函数。

将预处理后的图像分为训练集和测试集，利用训练集对基于注意机制的改进卷积神经网络模型进行训练。

3)测试分割结果

当基于注意机制的改进卷积神经网络模型训练好后，在测试集上测试模型，并使用相应的评价指标对分割结果进行评估。

为验证本发明对3D U-Net网络改进的有效性，将本发明提出的基于注意机制的改进卷积神经网络与原3D U-Net网络取相同深度和相同滤波器基数，在相同的训练集，验证集和测试集上进行模型训练、验证及测试。

首先，从模型测试过程中的分割结果图进行定性分析。图4为测试集中一例数据分别采用基于注意机制的改进卷积神经网络模型和原始3D U-Net模型进行分割后，在横断面、冠状面和矢状面三个方向的分割结果比较图。从图4可以看出，采用3D U-Net网络模型进行分割后的结果与专家手动分割的标签相比，虽然边缘部分的细节信息还不够精细，但是已经能够大致分割出全肿瘤和肿瘤核心这些较大的目标对象。然而，对于增强性肿瘤这种微小组织结构，3D U-Net网络模型不能够将其分割出来。采用AG_UNet网络模型进行分割后的结果相较于前者有更好的效果。可以看出分割目标的大小和边缘均更接近于标签，并且类似于增强性肿瘤的细微结构也分割的比较好。

其次，从模型测试过程中的分割结果的Dice相似系数评价指标进行定量分析。表1为测试集数据分别采用不同卷积网络模型进行分割后，全肿瘤、肿瘤核心和增强性肿瘤三种分割目标的Dice均值结果。从表1可以看出，本发明提出的基于注意机制的改进卷积神经网络比原3D U-Net网络有一定提高，这也与上面的定性分析结果相一致。实验结果表明，将注意机制引入U-Net网络结构用于脑肿瘤图像的分割，可以提高分割模型的准确性。

表1

Claims (1)

1.一种基于注意机制的改进卷积神经网络脑肿瘤图像分割方法，包括下列步骤：

1)数据预处理：首先对三维脑肿瘤MRI图像数据进行N4ITK算法的去偏置场效应处理，其次对原始MRI图像中的Flair、T1、T1C和T2四种模态图像分别进行灰度归一化预处理。

2)搭建并训练基于注意机制的改进卷积神经网络模型，在训练过程中，将患者的四种模态数据当作神经网络的四个通道输入到网络模型中进行训练，以便融合不同模态的不同特征，进行更精确的分割：以用于生物医学图像分割的卷积网络3D U-Net作为基础，网络包括一个用于分析整个图像，获取上下文信息的分析路径和一个连续扩展的合成路径实现精确定位以产生全分辨率分割输出；

每个路径都有四个分辨率步骤层，两条路径中每层均包含两个内核大小为3×3×3的卷积层，每个卷积层后跟一个ReLu激活函数；相邻两层之间分别是最大池化层和上采样层，步长均为2内核大小均为2×2×2；为避免瓶颈，分析路径中在最大池化层之前已将通道数量加倍，合成路径中同理；在最后一层，内核大小为1×1×1的卷积层将输出通道的数量减少到标签数量；

在为合成路径提供基本的高分辨率特征的来自分析路径中同层的快捷连接中加入注意门(Attention Gate，AG)模型，将从下一分辨率层提取的粗尺度信息作为门控信号，用来删减跳过连接中的不相关的特征，突出显示通过跳过连接传递的显著特征，搭建基于注意机制的改进卷积神经网络模型，称为AG_UNet；

对所有卷积层的非线性部分采用leaky ReLu激活函数，标准化方式采用实例标准化，在训练过程中使用随机翻转，随机缩放，随机弹性形变和镜像等数据增强技术进行数据增强，并选用多类Dice损失函数作为损失函数；

将预处理后的图像分为训练集和测试集，利用训练集对基于注意机制的改进卷积神经网络模型进行训练；

3)测试分割结果：当基于注意机制的改进卷积神经网络模型训练好后，在测试集上测试模型。

Images