CN111161273B - 一种基于深度学习的医学超声图像分割方法 - Google Patents

Abstract

本发明属于深度学习计算机视觉和医学信息处理技术领域，具体涉及一种基于深度学习的医学超声图像分割方法。本发明的方法在通用图像分割神经网络模型基础上，融合多输入多输出技术、注意力机制、孔洞卷积技术、小样本医学数据增强等多种新型技术，重点解决小样本学习，超声图像对比度低，结节边缘模糊等难点痛点问题，得到本发明最优分割策略。

Description

一种基于深度学习的医学超声图像分割方法

技术领域

本发明属于深度学习计算机视觉和医学信息处理技术领域，具体涉及一种基于深度学习的医学超声图像分割方法。

背景技术

随着科学技术的进步，医学影像技术取得了长足的发展，超声成像技术由于操作简便、无辐射损伤、成本低等优点，在预防诊断及治疗中具有重要价值。目前，在医学图像中对感兴趣区域进行分割，是进行影像分析和病灶识别的基础。临床上广泛采用人工分割的方法对超声图像进行分割，经验丰富的临床医生根据自己的专业知识，手工勾画感兴趣的领域。然而，手工分割不仅耗时，极其依赖医生的专业技能和丰富的经验，而且由于超声图像具有边缘模糊，对比度较低等特点，使得人眼视觉分辨十分困难。因此，如何自动且高效的分割超声图像已成为人们迫切需要解决的问题。

近年来，深度神经网络模型—卷积神经网络(CNN)，为生物医学图像分割表现的提升提供了巨大技术支持。卷积神经网络可以自动学习图像中低层次视觉特征和高层次语义特征，避免了传统算法中手工设计并提取图像特征的复杂过程。然而，传统CNN无法合理地将底层特征传播至高层。在语义分割模型(U-NET)中，可以通过跳跃连接等方法，实现低维特征和高维特征的通道融合，完成良好的分割效果。

发明内容

本发明的目的是在超声医学图像处理中，提出一种基于深度学习Feature-Pyramid-Attention-Unet(FPA-Unet)网络的超声图像分割设计方案，以获得更好的分割性能。

本发明采用的技术方案是：

一种基于深度学习的医学超声图像分割方法，包括以下步骤：

步骤1、对待分割超声图像数据进行预处理，得到训练集、验证集数据；

步骤2、对训练集、验证集数据做数据增强，包括：

1)采用离线增强增加训练数据的数据量：采用旋转变换与水平翻转变换，做10倍增强；

2)利用在线增强增强网络模型的泛化性：采用旋转变换、尺度变换、缩放变换、平移变换、颜色对比度变换，用在线迭代器方式在增强数据多样性的同时减少内存压力；

步骤3、构建多输入多输出空洞卷积U型网络，包括：

1)多输入下采样模块：下采样模块一共4层，多输入采用图像多尺度方法，对输入数据做大小放缩，变为8:4:2:1的四副数据，分别与进网络的一二三四下采样层融合；下采样模块利用卷积层与最大池化层完成底层特征获取，依次获得特征图；每一层的卷积核大小为3×3，采用空洞卷积r＝2，即在常规卷积核中加入间隔从而增加图像感受野，第一层到第四层的卷积核数量大小分别为32、64、128、256；

2)上采样模块：上采样模块一共4层，采用反卷积作为上采样方式，每一层将注意力特征图与上采样特征图做通道连接，进行多维特征融合；上采样模块依次扩大特征图像尺寸，减少通道数量，最终得到与输入数据相同大小的预测图；每一层的卷积核大小为3×3，从第一层到第四层的卷积核数量大小分别为256、128、64、32；上采样模块还包括通道注意力机制模块用于提高网络的准确性和有效性，通道注意力机制模块包括：

1)计算门信号图：把高维特征通过1*1卷积，得到U型网络门信号；

2)计算注意力系数：把低维特征2倍上采样，与门信号相加，经过全局平均池化，送入1*1卷积，再进行上采样即可得到注意力系数；

3)计算注意力表征：将注意力系数与低维特征相乘，获得注意力模块的特征结果；

3)深度监督多输出模块：对标签做4次大小变换，形成8:4:2:1的四副数据，依次作为4层上采样的输出层的训练标签；

步骤4、设计特征金字塔注意力模块作为U型网络底层中心模块，公式为：

其中，输入X通过1×1卷积在保证大小不变的同时降低特征图通道维度，得到X₁；采用5×5，3×3，2×2不同大小的卷积核，通过下采样、上采样的U型网络，构造多种感受野的金字塔结构H(X)，并与X₁相乘，以便更好地融合相邻区域的特征；把输入X通过全局平均池化与上采样，作为一路分支X₂与上述结果通道相加，得到最终金字塔特征注意力输出结果F；

步骤5、将训练集数据输入构建的U型网络进行训练，得到学习后的卷积神经网络模型，并在验证集上进行调参，直到得到最优的模型及其对应参数，获得训练好的U型网络；

步骤6、将预处理后的待分割超声图像数据输入训练好的U型网络，得到分割结果。

本发明的有益效果在于：

本发明提供一种针对超声医学图像的分割方法，在通用图像分割神经网络模型基础上，融合多输入多输出技术、注意力机制、孔洞卷积技术、小样本医学数据增强等多种新型技术，重点解决小样本学习，超声图像对比度低，结节边缘模糊等难点痛点问题，得到本发明最优分割策略。

除此之外，通过将注意力机制与上采样模块相结合，可以更好的针对不同的数据进行特征的提取，从而能够从庞大的数据中更快更好地提取所需要的特征，并利用这些特征更好的对网络参数进行训练，从而提高了网络的准确性和有效性。

附图说明

图1所示为本发明实施例提供的一种医学图像分割方法设计图。

图2所示为本发明实施例提供的步骤3的FPA-Unet的整体结构示意图。

图3所示为本发明实施例提供的步骤4的特征金字塔注意力模块示意图

图4所示为本发明实施例提供的步骤5通道注意力上采样模块示意图

图5所示为本发明实施例提供的训练集与验证集的正确率与损失示意图，其中图(a)是利用FPA-Unet网络进行训练所得到的训练集以及验证集损失函数示意图，图(b)是训练集与验证集的正确率示意图。

图6所示为本发明实施例提供的原始标签和分割图像示意图，其中图6左边为标签图像，图6的右边则是分割结果。

具体实施方式

下面结合附图和仿真对本发明进行详细的描述：

本发明提供一种基于甲状腺结节超声图像的网络分割方法，包括6个步骤，主要包括数据集获取、图像预处理、网络模型构建、网络训练、网络测试与评估5个模块,如图1所示。

本实施例中，具体步骤如下：

1.对待分割超声图像数据进行预处理,得到训练集数据和测试集数据。

1)去除隐私信息与医学影像仪器标记，并筛选出未被影像科医生手动标记的原始超声图像；

2)在超声影像医师指导下手工标记标签；

3)在保证保留图像细节纹理特征的前提下对图像质量进行增强

3-1)使用自适应均值滤波，减少和噪点和不均匀的斑块

3-2)使用两种形态学运算—开、关运算提高过滤效果

3-3)直方图均衡化

3-4)Sobel operator边缘增强

4)对数据以6:2:2的比例划分训练集、验证集和测试集

5)对图像进行去色处理得到灰度图像，并进行尺度归一化将分辨率统一为256*256

6)对数据标签进行二值化处理，并归一化为[0,1]区间

2.对训练集小样本数据做数据增强

由于深度学习的结果与数据的质量和数量密切相关，但医学样本难采集，数据量较少，为了增加数据量，避免出现过拟合，提高分割精度，我们采用两种增强的组合方式，解决小样本数据的缺陷。

1)采用离线增强增加训练数据的数据量，主要采用旋转变换与水平翻转变换，做10倍增强。

2)利用在线增强增强网络模型的泛化性。主要采用旋转变换、尺度变换、缩放变换、平移变换、颜色对比度变换等等，用在线迭代器方式在增强数据多样性的同时减少内存压力。

3.构建多输入多输出空洞卷积U型网络

网络整体结构如图2所示。

1)多输入下采样模块

多输入下采样模块如图2U型网络左半部分所示。

1-1)多输入采用图像多尺度思想，对输入数据做大小放缩，变为8:4:2:1的四副数据，分别与进网络的一二三四下采样层融合。

1-2)下采样模块一共4层，主要利用卷积层与最大池化层完成底层特征获取，依次获得通道更多，尺寸更小的特征图。每一层的卷积核大小为3×3，采用空洞卷积r＝2，即在常规卷积核中加入间隔从而增加图像感受野。第一层到第四层的卷积核数量大小分别为32、64、128、256。

2)上采样模块

上采样模块结构如图2U型网络右半部分所示。

2-1)上采样结构设计

上采样模块一共4层，采用反卷积作为上采样方式。每一层将注意力特征图与上采样特征图做通道连接，进行多维特征融合。

上采样模块依次扩大特征图像尺寸，减少通道数量，最终得到与输入数据相同大小的预测图。每一层的卷积核大小为3×3，从第一层到第四层的卷积核数量大小分别为256、128、64、32。

2-2)上采样通道注意力模块设计，该模块如图4所示

首先我们把高维特征通过1*1卷积，计算并得到Unet门信号，然后我们利用该信号计算注意力系数。在这里我们将低维特征2倍上采样，与门信号相加。经过全局平均池化，送入1*1卷积，再进行上采样即可得到注意力系数，并利用该系数计算注意力表征。最后我们将注意力系数与低维特征相乘，可获最终的注意力模块的特征结果，从而完成上采样通道注意力模块的设计。

3)深度监督多输出模块

对标签做4次大小变换，形成8:4:2:1的四副数据，依次作为4层上采样的输出层的训练标签。

4.构建特征金字塔注意力模块作为网络底层Center中心模块

Center中心模块如图3所示。

此模块的设计的公式如下所示：

1)输入X通过1×1卷积在保证大小不变的同时降低特征图通道维度，得到X₁。

2)采用5×5，3×3，2×2等不同大小的卷积核，通过下采样、上采样的U型网络，构造多种感受野的金字塔结构H(X)，并与X₁相乘，以便更好地融合相邻区域的特征。

2)把输入X通过全局平均池化与上采样，作为一路分支X₂与上述结果通道相加，得到最终金字塔特征注意力输出结果F。

5.将训练集数据输入我们设计好的网络进行训练，得到学习后的卷积神经网络模型

1)记录下每次训练的loss与分割准确率。

2)根据验证集上的loss与准确率，修改参数并重新训练网络。直到选出最好的模型及其对应参数。

6.将预处理后的待分割超声图像数据输入学习后的卷积神经网络模型，得到每个像素的分割结果。

在这里展示本发明实施的最终效果，结果如图5和图6所示。其中图5所示为本发明实施例提供的训练集与验证集的正确率与损失示意图，图(a)是利用FPA-Unet网络进行训练所得到的训练集以及验证集损失函数示意图，图(b)是训练集与验证集的正确率示意图。而图6则是本发明实施例提供的原始标签和分割图像示意图，其中图6左边为标签图像，图6的右边则是分割结果。

Claims (2)

1.一种基于深度学习的医学超声图像分割方法，其特征在于，包括以下步骤：

步骤1、对待分割超声图像数据进行预处理，得到训练集、验证集数据；

步骤2、对训练集、验证集数据做数据增强，包括：

1)采用离线增强增加训练数据的数据量：采用旋转变换与水平翻转变换，做10倍增强；

2)利用在线增强增强网络模型的泛化性：采用旋转变换、尺度变换、缩放变换、平移变换、颜色对比度变换，用在线迭代器方式在增强数据多样性的同时减少内存压力；

步骤3、构建多输入多输出空洞卷积U型网络，包括：

1)多输入下采样模块：下采样模块一共4层，多输入采用图像多尺度方法，对输入数据做大小放缩，变为8:4:2:1的四副数据，分别与进网络的一二三四下采样层融合；下采样模块利用卷积层与最大池化层完成底层特征获取，依次获得特征图；每一层的卷积核大小为3×3，采用空洞卷积r＝2，即在常规卷积核中加入间隔从而增加图像感受野，第一层到第四层的卷积核数量大小分别为32、64、128、256；

2)上采样模块：上采样模块一共4层，采用反卷积作为上采样方式，每一层将注意力特征图与上采样特征图做通道连接，进行多维特征融合；上采样模块依次扩大特征图像尺寸，减少通道数量，最终得到与输入数据相同大小的预测图；每一层的卷积核大小为3×3，从第一层到第四层的卷积核数量大小分别为256、128、64、32；

3)深度监督多输出模块：对标签做4次大小变换，形成8:4:2:1的四副数据，依次作为4层上采样的输出层的训练标签；

步骤4、设计特征金字塔注意力模块作为U型网络底层中心模块，公式为：

其中，输入X通过1×1卷积在保证大小不变的同时降低特征图通道维度，得到X₁；采用5×5，3×3，2×2不同大小的卷积核，通过下采样、上采样的U型网络，构造多种感受野的金字塔结构H(X)，并与X₁相乘，以便更好地融合相邻区域的特征；把输入X通过全局平均池化与上采样，作为一路分支X₂与H(X)和X₁相乘的结果通道相加，得到最终金字塔特征注意力输出结果F；

步骤5、将训练集数据输入构建的U型网络进行训练，得到学习后的卷积神经网络模型，并在验证集上进行调参，直到得到最优的模型及其对应参数，获得训练好的U型网络；

步骤6、将预处理后的待分割超声图像数据输入训练好的U型网络，得到分割结果。

2.根据权利要求1所述的一种基于深度学习的医学超声图像分割方法，其特征在于，所述上采样模块还包括通道注意力机制模块，通道注意力机制模块包括：

1)计算门信号图：把高维特征通过1*1卷积，得到U型网络门信号；

2)计算注意力系数：把低维特征2倍上采样，与门信号相加，经过全局平均池化，送入1*1卷积，再进行上采样即可得到注意力系数；

3)计算注意力表征：将注意力系数与低维特征相乘，获得注意力模块的特征结果。

Images