CN111145170A - 一种基于深度学习的医学影像分割方法 - Google Patents

Abstract

本发明属于医学图像处理和计算机视觉技术领域，具体涉及一种基于深度学习的医学影像分割方法。本发明的方法在在U‑Net Baseline基础上，融合多尺度框架、密集卷积网络、注意力机制、金字塔模型、小样本增强等多种技术，有助于实现特征重用、恢复丢失的上下文信息、抑制无关区域的响应、提高小ROI的性能，解决了超声图像样本少、像素低、边界模糊、差异性大等痛点问题，获得了最优分割效果。

Description

一种基于深度学习的医学影像分割方法

技术领域

本发明属于医学图像处理和计算机视觉技术领域，具体涉及一种基于深度学习的医学影像分割方法。

背景技术

随着技术的发展，医生开始大量采用医学图像数据作为医疗诊断与治疗的依据，从而推动了各式新技术的发展与进步。但是随着技术的发展，如何正确的对医学图像进行分割成了制约各项技术发展的重要瓶颈，甚至可以说图像的准确分割成为医学图像领域中最为基础也是最为重要的问题并亟待解决。

近年来，随着计算能力的不断提高和数据量的不断增加，深度学习在医学图像领域取得了显著的进展。卷积神经网络(CNN)能够捕捉输入输出之间的非线性映射，并通过多层网络结构自动学习局部特征和高层抽象特征，优于人工提取和预测特征集。然而，传统CNN无法合理地将低层特征传播至高层，于是进一步提出了U-Net算法，其通过跳跃连接将低维和高维特征融合，具备良好的分割效果。

现在的医学图像分割算法大多以U-Net为基础(U-Net Baseline)，但是由于医学图像存在数据不平衡、训练样本间差异性大、感性区域(ROI)小等问题，造成在精确率和召回率之间难以平衡、特征提取不充分、计算资源和模型参数冗余、分割效果不明显等，所以对超声图像进行更加准确分割是仍然是亟需解决的难题。

发明内容

本发明的目的是：基于深度学习的思想，提出一种能够精确分割医学组织或病灶的超声图像分割方法。

本发明采用的技术方案是：

一种基于深度学习的医学影像分割方法，包括以下步骤：

步骤1、对原始超声图像进行预处理，得到训练集和验证集数据；

步骤2、对训练集、验证集数据做数据增强，包括：

1)采用离线增强增加训练集、验证集数据的数据量：采用旋转变换与水平翻转变换，做10倍增强；

2)利用在线增强增强网络模型的泛化性：采用旋转变换、尺度变换、缩放变换、平移变换、颜色对比度变换，用在线迭代器方式在增强数据多样性的同时减少内存压力；

步骤3、构建尺度密集卷积的金字塔注意力U型网络，包括：

1)多输入密集卷积编码器模块：输入层采用N×N×1的样本格式输入，N为正整数，经过多输入模块将输入数据大小按8:4:2:1缩放为四组输入数据，其中，第一组数据经过3*3卷积形成输入1，接着通过第1个4层的密集卷积模块，然后进行第1次下采样；第二组数据经过3*3卷积形成输入2，输入2与第1次下采样后的数据进行融合，接着经过第2个4层的密集卷积模块，然后进行第2次下采样；同理第三层、第四层也采取相同的网络构建；所述密集卷积模块的结构为包含4个密集连接的卷积层，每层的输入为该密集块的所有先前层输出的特征图融合；编码器模块利用密集卷积层和池化层完成特征提取，共分为4层，特征图随着层数递增，通道数增加，尺寸变小，第1层到第4层的卷积核通道数分别为32、64、128、256,每层卷积核大小为3*3，空洞卷积r＝2；

2)特征金字塔注意力中心模块：第4次下采样后经过特征金字塔注意力中心模块，特征金字塔注意力中心模块包括主分支、直接分支和全局化分支，其中，主分支的结构为,输入通过第一次下采样，接着进行一次7*7卷积构建第一层网络；然后分别进行第二次、第三次下采样，卷积分别采用5*5，3*3的卷积核，构建第二层、第三层网络；经过第三次下采样和卷积后再次经过同层级大小的卷积，经过上采样，然后与第二层经过同层级大小的卷积后的数据融合，同理第二层、第一层也进行数据融合，得到输出P(X)；直接分支结构为，输入经1*1卷积处理得到X₁，与主分支输出P(X)相乘得到

全局化分支结构为，输入经全局平均池化得到X₂，与

相加，得到特征金字塔注意力中心模块输出：

3)多输出注意力机制解码器模块：利用反卷积作为上采样的方式，将每一层的注意力特征图与上采样特征图做通道特征融合；注意力机制为：把高维特征通过1*1卷积，得到门控信号g_i；然后把低维特征x^l经2倍上采样，与门控信号g_i相加，经过全局平均池化、1*1卷积、非线性变换、上采样等操作，得到线性注意系数

最后将线性注意系数

按元素与低维特征x^l相乘，并保留相关激活，得到注意力系数

其中x^l表示像素矢量，g_i表示门控矢量，

表示线性注意系数，

表示注意力系数，δ₁表示ReLU激活函数，δ₂表示Sigmod激活函数，Θ_att包含：线性变换

和偏置项

构建的U型网络采用Tversky Loss和Focal Loss作为多输出损失函数；

步骤4、将训练集数据输入构建的U型网络进行训练，得到学习后的卷积神经网络模型，并在验证集上进行调参，直到得到最优的模型及其对应参数，获得训练好的U型网络；

步骤5、将预处理后的待原始超声图像输入训练好的U型网络，得到分割结果。

本发明的有益效果为：在U-Net Baseline基础上，融合多尺度框架、密集卷积网络、注意力机制、金字塔模型、小样本增强等多种技术，有助于实现特征重用、恢复丢失的上下文信息、抑制无关区域的响应、提高小ROI的性能，解决了超声图像样本少、像素低、边界模糊、差异性大等痛点问题，获得了最优分割效果。

附图说明

图1为本发明的医学图像分割流程示意图；

图2为本发明的DPA-UNet网络整体结构示意图；

图3为本发明的密集卷积网络模块示意图；

图4为本发明的特征金字塔注意力模块示意图；

图5为本发明的注意力机制模块示意图；

图6为训练集和验证集的Loss和DSC示意图；(a)是训练集和验证集损失函数图，(b)是训练集和验证集的正确率图；

图7为本发明的测试集原始标签和分割结果示意图：(a)为测试标签图像，(b)为分割结果图像。

具体实施方式

下面结合附图和仿真对本发明进行详细的描述：

本发明提供了一种基于深度学习的甲状腺超声图像分割方法，主要包括数据采集、数据预处理、网络模型构建、数据训练与调参、数据测试与评估等5大模块，如图1所示。具体实施步骤如下：

1、对原始超声图像预处理，划分训练集、验证集；

1)去除超声图像上的病人隐私信息和影像仪器标注；

2)由专业的超声影像医师团队制作数据标签(label)；

3)将原始数据按6:2:2比例划分训练集、验证集和测试集，标签同理；

4)对图像分辨率统一为256*256；并对标签进行二值化处理，并归一化为[0,1]区间。

2、对小样本的训练集、验证集做数据增强

1)离线增强：将数据集数量扩充为原始数量的10倍。

2)在线增强：采用DataGenerator在线迭代器方式，做尺度变换、缩放变换、平移变换、颜色对比度变换等，在增强数据多样性的同时减少内存压力，增强了网络模型的泛化性。

3、设计多尺度密集卷积的金字塔注意力U-Net网络(DPA-UNet)(如图2所示)

DPA-UNet网络的输入层采用N×N×1的样本格式输入(N为正整数)，经过多输入模块分成四组输入数据；第一组数据经过3*3卷积形成输入1，接着经第1个4层的密集卷积模块，然后进行第1次下采样；第二组数据经过3*3卷积形成输入2，输入2与第1次下采样后的数据进行融合(concat)，接着经过第2个4层的密集卷积模块，然后进行第2次下采样；同理第三层、第四层也采取相同的网络构建；第4次下采样后经过特征金字塔注意力中心模块；中心模块与第四层密集卷积之后的数据形成门控注意力，并且与中心模块上采样后的数据进行融合(concat)；然后连续经过两次卷积(3*3卷积、BN操作、ReLU激活函数)；同理第三层、第二层、第一层也是类似；最后再通过一次卷积(1*1卷积、sigmoid激活函数)得到像素级别的分类，即该图像的分割。

1)多输入密集卷积编码器模块(如图2左半部分所示)

1.1多输入模块：将输入数据大小按8:4:2:1缩放为四副数据，分别与编码器网络的一二三四下采样层做融合。

1.2密集卷积模块(如图3所示)：每个密集块包含4个密集连接的卷积层，每层的输入为该密集块的所有先前层输出的特征图融合。编码器每一层池化后的特征图都将经过一个密集块(BN操作、ReLU激活函数和3*3卷积)。

1.3编码器模块主要利用密集卷积层和池化层完成特征提取，共分为4层，特征图随着层数递增，通道数增加，尺寸变小。第1层到第4层的卷积核通道数分别为32、64、128、256,每层卷积核大小为3*3，空洞卷积r＝2。

2)特征金字塔注意力中心模块(如图4所示)

2.1主分支：输入通过第一次下采样，接着进行一次卷积(7*7卷积、BN操作、ReLU激活函数)构建第一层网络；然后分别进行第二次、第三次下采样，卷积分别采用5*5，3*3的卷积核，构建第二层、第三层网络；经过第三次下采样和卷积后再次经过同层级大小的卷积，经过上采样，然后与第二层经过同层级大小的卷积后数据融合(concat)；同理第二层、第一层也类似，构造多维感受野的金字塔结构P(X)。

2.2直接分支：输入经1*1卷积处理得到X₁，在保证大小不变的同时降低特征图通道维度。并与金字塔结构P(X)相乘，更准确的结合相邻尺度的长下文特征。

2.3全局池化分支：输入经全局平均池化分支X₂与上述结果相加得特征金字塔注意力输出。公式如下：

3)多输出注意力机制解码器模块(如图2右半部分所示)

3.1解码器模块共分为4层，利用反卷积作为上采样的方式，将每一层的注意力特征图与上采样特征图做通道特征融合。特征图随着层数递增，通道数减少，尺寸变大。第6层到第9层的卷积核通道数分别为256、128、64、32,每层卷积核大小为3*3。

3.2注意力机制模块(如图5所示)：把高维特征通过1*1卷积，得到门控信号g_i；然后把低维特征x_l经2倍上采样，与门控信号g_i相加，经过全局平均池化、1*1卷积、非线性变换、上采样等操作，得到线性注意系数

最后将线性注意系数

按元素与低维特征x_l相乘，并保留相关激活，得到注意力系数

公式如下：

4、将训练集和验证集数据输入DPA-UNet网络训练，得到最佳参数模型

记录每次训练的loss和dsc。根据验证集上的loss和dsc，调参并并重新训练，保存最佳模型及参数。

5、将待分割数据输入最佳参数模型，得到分割结果(如图6和图7所示)

图6为本发明实施例提供的训练集和验证集的Loss和DSC示意图：(a)是训练集和验证集损失函数图，(b)是训练集和验证集的正确率图。

图7为本发明实施例提供的测试集原始标签和分割结果示意图：(a)为原始标签图像，(b)为分割结果图像。

Claims (1)

1.一种基于深度学习的医学影像分割方法，其特征在于，包括以下步骤：

步骤1、对原始超声图像进行预处理，得到训练集和验证集数据；

步骤2、对训练集、验证集数据做数据增强，包括：

1)采用离线增强增加训练集、验证集数据的数据量：采用旋转变换与水平翻转变换，做10倍增强；

2)利用在线增强增强网络模型的泛化性：采用旋转变换、尺度变换、缩放变换、平移变换、颜色对比度变换，用在线迭代器方式在增强数据多样性的同时减少内存压力；

步骤3、构建多尺度密集卷积的金字塔注意力U型网络，包括：

1)多输入密集卷积编码器模块：输入层采用N×N×1的样本格式输入，N为正整数，经过多输入模块将输入数据大小按8:4:2:1缩放为四组输入数据，其中，第一组数据经过3*3卷积形成输入1，接着通过第1个4层的密集卷积模块，然后进行第1次下采样；第二组数据经过3*3卷积形成输入2，输入2与第1次下采样后的数据进行融合，接着经过第2个4层的密集卷积模块，然后进行第2次下采样；同理第三层、第四层也采取相同的网络构建；所述密集卷积模块的结构为包含4个密集连接的卷积层，每层的输入为该密集块的所有先前层输出的特征图融合；编码器模块利用密集卷积层和池化层完成特征提取，共分为4层，特征图随着层数递增，通道数增加，尺寸变小，第1层到第4层的卷积核通道数分别为32、64、128、256,每层卷积核大小为3*3，空洞卷积r＝2；

2)特征金字塔注意力中心模块：第4次下采样后经过特征金字塔注意力中心模块，特征金字塔注意力中心模块包括主分支、直接分支和全局化分支，其中，主分支的结构为,输入通过第一次下采样，接着进行一次7*7卷积构建第一层网络；然后分别进行第二次、第三次下采样，卷积分别采用5*5，3*3的卷积核，构建第二层、第三层网络；经过第三次下采样和卷积后再次经过同层级大小的卷积，经过上采样，然后与第二层经过同层级大小的卷积后的数据融合，同理第二层、第一层也进行数据融合，得到输出P(X)；直接分支结构为，输入经1*1卷积处理得到X₁，与主分支输出P(X)相乘得到

全局化分支结构为，输入经全局平均池化得到X₂，与

相加，得到特征金字塔注意力中心模块输出：

3)多输出注意力机制解码器模块：利用反卷积作为上采样的方式，将每一层的注意力特征图与上采样特征图做通道特征融合；注意力机制为：把高维特征通过1*1卷积，得到门控信号g_i；然后把低维特征x_l经2倍上采样，与门控信号g_i相加，经过全局平均池化、1*1卷积、非线性变换、上采样等操作，得到线性注意系数

最后将线性注意系数

按元素与低维特征x_l相乘，并保留相关激活，得到注意力系数

其中x^l表示像素矢量，g_i表示门控矢量，

表示线性注意系数，

表示注意力系数，δ₁表示ReLU激活函数，δ₂表示Sigmod激活函数，Θ_att包含：线性变换

和偏置项b_ψ∈R,

步骤4、将训练集数据输入构建的U型网络进行训练，得到学习后的卷积神经网络模型，并在验证集上进行调参，直到得到最优的模型及其对应参数，获得训练好的U型网络；

步骤5、将预处理后的待原始超声图像输入训练好的U型网络，得到分割结果。

Images