CN110060235A - 一种基于深度学习的甲状腺结节超声图像分割方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的甲状腺结节超声图像分割方法，所述方法包括以下步骤：输入原始甲状腺超声图像，通过感兴趣区域语义分割模型获取感兴趣区域预测图，并将预测图对应到原始甲状腺超声图像中提取感兴趣区域；在人工标记识别模型中输入提取到的甲状腺超声图像感兴趣区域，对感兴趣区域中的结节进行粗定位；将粗定位图像输入甲状腺超声图像结节边缘分割模型，得到结节预测图，画出结节边缘。本发明有效克服了甲状腺结节超声图像分辨率低、干扰信息多带来的分割困难、准确率低等问题，最终大幅提高结节分割的准确性。

Description

一种基于深度学习的甲状腺结节超声图像分割方法

技术领域

本发明涉及超声图像分割领域，尤其涉及一种基于深度学习的甲状腺结节超声图像分割方法。

背景技术

图像语义分割是将图像按照不同的语义划分为不同的区域，并通过不同的颜色来可视化标注出这些区域所代表的物体的类别。医学图像分割是图像语义分割领域的热点应用之一。医学图像分割的目的是根据图像本身的语义特点将图像分割为不同的部分，为临床诊断和病理学研究提供可靠依据，其分割的精度不仅仅影响接下来的其他处理步骤，还可能会影响图像的分析结果，进而对临床诊断以及科研工作产生影响。

图像分割的传统方法主要分为基于区域、基于边缘和基于分类三种分割算法。

基于区域的算法有分水岭分割法、自适应区域生长方法等。分水岭分割法是基于测地线分水岭构成原理而提出的图像分割算法，在分割任务中能够取得较好的效果，但存在对噪声敏感、易过分割、轮廓易丢失等问题。自适应区域生长方法则是利用不同区域的特征自动学习对应不同区域的生长方式，在腹腔CT图像和脑部MRI图像上均取得了较好的效果。

基于边缘的分割方法是通过检测包含不同区域的边缘来解决分割问题，该方法的难点在于边缘检测时抗噪性与检测精度之间的矛盾。若要提高抗噪性，会产生轮廓漏检和位置偏差，若要提高检测精度，噪声产生的伪边缘会导致不合理的轮廓。

基于分类器的算法有随机数森林方法，随机森林由多个决策树组成，将一幅图像经过多个决策树分类后，每个决策树有一个分类结果，通过投票方式产生对该图像的最终分类结果。该方法是图像语义分割的常用机器学习方法，但没有被应用于医学图像分割。

此外还有一些其他的算法可用于图像分割。如基于统计的分割方法，该方法利用统计学理论对数字图像进行建模从而对图像目标进行分割，可以有效抑制噪声对分割结果的影像，但是受初始参数的影响较大。基于遗传学算法的分割方法利用遗传算法的全局寻优能力及其对初始位置不敏感的特性，可以改进图像分割的性能，该方法的难点在于适应度函数的选择及交叉概率和变异概率的确定。

发明内容

本发明提供了一种基于深度学习的甲状腺结节超声图像分割方法，本发明有效克服了甲状腺结节超声图像分辨率低、干扰信息多带来的分割困难、准确率低等问题，最终大幅提高结节分割的准确性，详见下文描述：

一种基于深度学习的甲状腺结节超声图像分割方法，所述方法包括以下步骤：

输入原始甲状腺超声图像，通过感兴趣区域语义分割模型获取感兴趣区域预测图，并将预测图对应到原始甲状腺超声图像中提取感兴趣区域；

在人工标记识别模型中输入提取到的甲状腺超声图像感兴趣区域，对感兴趣区域中的结节进行粗定位；

将粗定位图像输入甲状腺超声图像结节边缘分割模型，得到结节预测图，画出结节边缘。

其中，所述感兴趣区域语义分割模型具体为：下采样与上采样完全对应的全卷积神经网络结构，

网络使用了10次卷积和5次池化来保证最后的像素分类结果的感受野包含整张图像；

每两次卷积使用一次池化对特征图进行下采样，网络使用连续5次与池化层一一对应的反卷积层来对特征图进行上采样；

每次上采样的结果与对应的池化层进行加和，作为下一次上采样的输入来逐步恢复图像的分辨率与细节。

进一步地，所述甲状腺超声图像结节边缘分割模型具体为：采用全卷积神经网络，

在对下采样特征图进行上采样时，使用两次2倍上采样并依次将上采样结果与池化层pool₄和pool₃进行加和，以恢复图像细节和分辨率并将结果作为下一次上采样的输入；

最后一次上采样步长为8，直接恢复到原图分辨率，得到分割结节与正常组织的预测图，并将预测图对应到甲状腺结节粗定位图像中，画出结节边缘。

本发明提供的技术方案的有益效果是：

1、本发明对甲状腺超声图像结节分割有较好的分割交并比，分割结果可以为医生诊断结节良恶性提供必要的信息，能够提高临床诊断结果的准确性、客观性和可靠性，提高医生的工作效率；

2、针对超声图像分辨率低、干扰信息多带来的分割困难、准确率低等问题，本发明通过三级串联层逐步减少超声图像中的干扰信息，最终大幅度提高结节分割准确性。

附图说明

图1为一种基于深度学习的甲状腺结节超声图像分割方法的流程图；

图2为三种结节分割方式的交并比随训练变化的曲线图；

图3为本发明提出的甲状腺超声图像结节边缘分割模型分割结果与人工分割结果的对比图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

近年来，随着深度学习的飞速发展，利用深度学习机制更好地解决医学图像处理问题成为学者和研究人员们重要的研究与探索方向。基于神经网络的分割方法能较好地解决图像中的噪声和不均匀的问题，卷积神经网络在自然图像分割领域的精度和效率上远超传统方法。

实施例1

为了解决背景技术中存在的问题，本发明实施例提出了一种基于深度学习的甲状腺结节超声图像分割方法，参见图1，该方法包括以下步骤：

101：从原始甲状腺超声图像中提取感兴趣区域(Region ofInterest,ROI)；

其中，超声图像可以分为ROI和背景区域，其中ROI为包含甲状腺内部形态和结构的回声信息的区域，背景区域为除ROI外的其他部分，包括：超声扫描仪型号、各种扫描参数以及扫描位置等与甲状腺本身无关的信息。

102：输入提取到的甲状腺超声图像ROI，对ROI中的结节进行粗定位；

103：将粗定位图像输入甲状腺超声图像结节边缘分割模型，得到结节预测图，画出结节边缘。

在一个实施例中，步骤101从原始甲状腺超声图像中提取ROI，具体步骤如下：

输入原始甲状腺超声图像，经过ROI语义分割模型得到ROI预测图，并将预测图对应到原始甲状腺超声图像中提取ROI。

其中，ROI语义分割模型使用下采样与上采样完全对应的全卷积神经网络结构，经过训练对甲状腺超声图像进行分割预测。为了尽可能学习到图像的全局信息，网络使用了10次卷积和5次池化来确保最后的像素分类结果的感受野尽可能包含整张图像。其中，每两次卷积使用一次池化对特征图进行下采样。为了使神经网络能够学到更加细节的ROI边缘信息，网络使用了连续5次与池化层一一对应的反卷积层来对特征图进行上采样，每次上采样的结果与对应的池化层进行加和，作为下一次上采样的输入来逐步恢复图像的分辨率与细节。

在一个实施例中，步骤102在步骤101的基础上对ROI中的结节进行粗定位，具体步骤如下：

输入步骤101提取到的甲状腺超声图像ROI，利用人工标记识别模型对ROI中结节进行粗定位。该人工标记识别模型是利用已有的卷积神经网络，卷积层输入19×19×3的图像，经过两次下采样之后与全连接层连接，每次下采样均由两个3×3的卷积与一个最大值池化组成，特征图深度为16，全连接层与由one-hot编码的输出层连接，输出向量为[1,0]表示输入图像不是人工标记，输出向量为[0,1]表示输入图像属于人工标记。卷积层与全连接层均使用ReLU作为激活函数。人工标记识别完成后，根据标记的位置在ROI中画出对应的矩形框来对甲状腺结节进行粗分割。

其中，人工标记识别模型为本领域技术人员所公知，本发明实施例对此不做赘述。

在一个实施例中，步骤103在步骤101和步骤102的基础上分割结节，画出结节的边缘，具体步骤如下：

将224×224大小的甲状腺结节粗定位图像作为甲状腺超声图像结节边缘分割模型输入的原始图像，在天津医科大学肿瘤医院放射科医生指导下，对原始图像进行边缘标记后再经过二值化的图像作为输入的标签图像。甲状腺超声图像结节边缘分割模型采用全卷积神经网络模型，但与ROI分割模型不同，下采样层借鉴了FCN(Fully ConvolutionalNetworks)算法，使用了深度更深的VGG19(Visual Geometry Group 19)模型。基于VGG19分类模型的下采样过程共有5次下采样，前两次下采样使用两个3×3的卷积核对输入图像进行滑窗卷积，将生成的特征图使用最大值池化后作为下一次下采样的输入，两次下采样分别为64维和128维，后三次下采样均使用了四个3×3的卷积核对输入图像进行滑窗卷积在进行最大值池化，维度分别为256、512、512，保存下采样结果分别为pool₃、pool₄、pool₅。在VGG19分类网络中，接下来使用三层全连接层将特征图映射为特征向量再经过softmax将特征向量映射到样本标记空间，得到分类结果。在全卷积神经网络中，使用与pool₅特征图大小相同、维度增加的卷积核将pool₅特征图中所有特征均映射到下一层特征图的每个像素向量中，然后使用两个1×1的卷积核对特征图进行映射，得到包含像素分类信息的下采样特征图。在对下采样特征图进行上采样时，首先使用两次2倍上采样并依次将上采样结果与pool₄和pool₃进行加和以恢复图像细节和分辨率并将结果作为下一次上采样的输入，最后一次上采样步长为8，直接恢复到原图分辨率，得到分割结节与正常组织的预测图，并将预测图对应到甲状腺结节粗定位图像中，画出结节边缘。

综上所述，本发明实施例通过上述步骤有效克服了甲状腺结节超声图像分辨率低、干扰信息多带来的分割困难、准确率低等问题，最终大幅提高结节分割的准确性。

实施例2

下面结合图1、具体的计算公式对实施例1中的方案进行进一步地介绍，详见下文描述：

201：对甲状腺结节超声图像进行分割的过程中，首先要从原始甲状腺结节超声图像中提取ROI；

本发明实施例提出了一种全卷积神经网络模型来对甲状腺超声图像进行ROI语义分割。为了尽可能学习到图像的全局信息，全卷积神经网络结构使用了10次卷积和5次池化来确保最后的像素分类结果的感受野尽可能包含整张图像。

202：ROI分割模型选择交叉熵作为损失函数，如公式(1)所示。

其中，y_i是类别i的真实标签，p_i是softmax计算出的类别i的概率值，k是类别数，N是样本总数。

203：ROI分割模型选择Adam优化器，定义如公式(2)所示。

其中，θ_t+1表示t+1时刻即第t+1迭代模型的参数，θ_t表示t时刻即第t迭代模型的参数，η为学习率，为一阶动量项的修正值，为二阶动量项的修正值，ε为一个取值很小的数(一般为1e-8)以避免分母为0。

204：用图像微分法对甲状腺超声图像ROI进行预处理；

205：利用卷积神经网络模型对超声科医生在超声图像结节部分添加的人工标记进行识别，因为对人工标记进行识别的本质是图像的二分类问题，每个节点只有负类0和正类1两种可能性，所以选取二元交叉熵作为训练的目标损失函数，对上述公式(1)进行简化，简化结果如公式(3)所示；

其中，yi表示类别i的真实标签，为当前样本标签为1的概率。

206：人工标记识别完成后，根据标记的位置在ROI中画出对应的矩形框来对甲状腺结节进行粗分割；

207：使用甲状腺结节粗定位图像作为甲状腺超声图像结节边缘分割模型输入的原始图像，对原始图像进行边缘标记后再经过二值化的图像作为输入的标签图像；

208：在粗分割图像中分割结节，选取交叉熵为训练的目标损失函数；选取Adam优化器作为甲状腺超声图像结节边缘分割模型的优化器；

209：训练完成后，使用甲状腺超声图像结节边缘分割模型对甲状腺粗定位图像进行边缘分割。

综上所述，本发明实施例通过上述步骤201-步骤209避免了超声图像背景区域的噪音干扰，并减少了ROI中甲状腺区域的相似组织的信息干扰，不仅提高了算法特征提取的质量，而且提高了算法模型的收敛性质。

实施例3

下面结合具体的计算公式、实例对实施例1和2中的方案进行可行性验证，详见下文描述：

为了对比不同分割层次对分割结果的影响，将天津医科大学肿瘤医院提供的1000张原始超声图像数据集作为输入的原图，使用甲状腺超声图像原始图像下放射科医生指导下的结节边缘标注作为标签图像，80％作为训练集，20％作为测试集，使用甲状腺超声图像结节边缘分割模型进行分割。同时，将甲状腺原始超声图像进行ROI分割，并在放射科医生指导下标注结节边缘后的标签图像进行同步分割，得到ROI图像下的结节分割数据集，80％作为训练集，20％作为测试集，同样使用甲状腺超声图像结节边缘分割模型进行分割。

与直接在甲状腺超声图像的原始图像上进行结节分割相比，相同的分割模型在甲状腺超声图像的结节粗定位图像上对甲状腺结节进行分割的测试集交并比提升了12％；与在甲状腺超声ROI图像上进行结节分割相比，测试集交并比提升了7.8％。且粗定位图像分割结节在训练开始时就能达到21.6％的交并比，远远高于另外两种分割方式，且收敛更加迅速。

实验结果表明，逐层对甲状腺超声图像进行结节分割可以有效提高梯度下降收敛的速度，并提高最终结节分割的精度，如图2所示。

对比甲状腺结节粗定位超声图像、在天津医科大学肿瘤医院放射科医生指导下绘制出的甲状腺结节边缘超声图像与甲状腺超声图像结节边缘分割模型的分割结果，如图3所示，可以看出，甲状腺超声图像结节边缘分割的结果与在天津医科大学肿瘤医院放射科医生指导下人工画出的结果在精细程度和细节上仍有一定差距，但已经可以给诊断提供必要的信息。

在图2中，原始图像分割结节的初始交并比只有3.7％，ROI图像分割结节的初始交并比为8.2％，粗定位图像分割结节的初始交并比达到21.6％，有助于梯度下降的收敛性质。随着训练的进行，原始图像分割结节交并比开始收敛时的迭代次数为20次，最终交并比稳定在75％左右。ROI分割结节交并比开始收敛时的迭代次数为15次，最终交并比稳定在80％左右。粗定位图像分割结节交并比开始收敛时的迭代次数为5次，最终交并比稳定在87％左右。由图2可知，甲状腺超声图像结节边缘分割模型对甲状腺超声图像的结节分割在精度和收敛速度上提升效果显著。

在图3中，第一列为甲状腺结节粗定位超声图像，第二列为在天津医科大学肿瘤医院放射科医生指导下绘制出的甲状腺结节边缘超声图像，第三列为甲状腺超声图像结节边缘分割模型的分割结果。

由图3可知，在专业放射科医生指导下手工绘制的边缘对结节边缘的变化更加敏感，图3第一行第二列右上角部分边缘与第一行第三列的模型分割结果有较大差异，模型分割结果更加平滑。类似的，第二行中甲状腺的模型分割结果在边缘细节上与人工绘制的边缘有少量差别。但是，甲状腺超声图像结节边缘分割模型的分割结果已经可以准确描述结节的形状以及纵横比等形态特征，这些特征是医生诊断甲状腺结节良恶性的重要依据，因此分割结果可以为医生的诊断提供帮助。

通过对比甲状腺结节粗定位超声图像、在天津医科大学肿瘤医院放射科医生指导下绘制出的甲状腺结节边缘超声图像与甲状腺结节精确分割模型的分割结果，如图3所示，可以看出，模型分割结果可以准确描述结节的形状以及纵横比等形态特征，能够为医生的诊断提供有效的帮助。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于深度学习的甲状腺结节超声图像分割方法，其特征在于，所述方法包括以下步骤：

输入原始甲状腺超声图像，通过感兴趣区域语义分割模型获取感兴趣区域预测图，并将预测图对应到原始甲状腺超声图像中提取感兴趣区域；

在人工标记识别模型中输入提取到的甲状腺超声图像感兴趣区域，对感兴趣区域中的结节进行粗定位；

将粗定位图像输入甲状腺超声图像结节边缘分割模型，得到结节预测图，画出结节边缘。

2.根据权利要求1所述的一种基于深度学习的甲状腺结节超声图像分割方法，其特征在于，所述感兴趣区域语义分割模型具体为：下采样与上采样完全对应的全卷积神经网络结构，

网络使用了10次卷积和5次池化来保证最后的像素分类结果的感受野包含整张图像；

每两次卷积使用一次池化对特征图进行下采样，网络使用连续5次与池化层一一对应的反卷积层来对特征图进行上采样；

每次上采样的结果与对应的池化层进行加和，作为下一次上采样的输入来逐步恢复图像的分辨率与细节。

3.根据权利要求1所述的一种基于深度学习的甲状腺结节超声图像分割方法，其特征在于，所述甲状腺超声图像结节边缘分割模型具体为：采用全卷积神经网络，

在对下采样特征图进行上采样时，使用两次2倍上采样并依次将上采样结果与池化层pool₄和pool₃进行加和，以恢复图像细节和分辨率并将结果作为下一次上采样的输入；

最后一次上采样步长为8，直接恢复到原图分辨率，得到分割结节与正常组织的预测图，并将预测图对应到甲状腺结节粗定位图像中，画出结节边缘。