CN108596884B

CN108596884B - 一种胸部ct图像中的食管癌分割方法

Info

Publication number: CN108596884B
Application number: CN201810335223.1A
Authority: CN
Inventors: 陈树超; 陈洪波; 刘立志; 黎浩江; 徐绍凯; 傅嘉文; 朱志华
Original assignee: Guilin University of Electronic Technology; Sun Yat Sen University
Current assignee: Guilin University of Electronic Technology; Sun Yat Sen University
Priority date: 2018-04-15
Filing date: 2018-04-15
Publication date: 2021-05-18
Anticipated expiration: 2038-04-15
Also published as: CN108596884A

Abstract

本发明公开了一种胸部CT图像中的食管癌分割方法，首先选取多组含有食管癌的CT图像，将含有食管癌的CT图像作为训练样本；对选取的CT图像进行预处理，获取食管癌特征，并进行特征描述后，得到的图像作为训练数据；建立基于全卷积神经网络的食管癌语义分割模型，将描述后的食管癌特征作为全卷积神经网络的特征输入作为学习样本进行训练，得到食管癌分割网络模型；食管癌的三维重建，对得到的食管癌分割网络模型所得到的食管癌分割结果进行三维重建和分析，得到三维空间下的食管癌影像组学参数；将得到的食管癌影像组学参数进行可视化显示。该方法模型规模小，速度快，准确度高。

Description

一种胸部CT图像中的食管癌分割方法

技术领域

本发明涉及医学图像处理技术领域，具体是一种胸部CT图像中的食管癌分割方法。

背景技术

随着计算机技术的不断发展，医学影像学也在快速发展着，使得越来越多的医疗数据可以使用计算机处理判断，提高了疾病诊断和治疗成功的概率。食管癌诊断与检测中，除了内窥镜检查之外，用的比较普遍的是计算机断层扫描技术（CT），CT图像能够提供人体某一部位的连续切片灰度图，能详细的展现人体内部的生理状况，因此基于CT图像处理的影像组学方法常用于食管癌的诊断以及预后研究。在计算机辅助诊断***中，精确的食管癌CT扫描图像的分割是后续肿瘤病例分析、三维重建的关键性技术。有效的稳定的食管癌分割不仅可以增加疾病诊断的准确性，还为其预后提供影像组学信息。由于CT切片图上食管只占身体很小一部分，并且与其他相关器官是紧密依靠着的，所以相对于其它组织和器官的区域占位比例小，与其它器官的对比度也比较低，常规的图像分割方法很难获取食管癌区域，给食管癌的影像组学分析和预后预测造成了困难。

发明内容

本发明的目的克服现有技术的不足，而提供一种胸部CT图像中的食管癌分割方法，该方法模型规模小，速度快，准确度高。

实现本发明目的的技术方案是：

一种胸部CT图像中的食管癌分割方法，具体包括如下步骤：

1）选取多组含有食管癌的CT图像，将含有食管癌的CT图像作为训练样本，并作为步骤3）的数据范围；

2）对步骤1）选取的CT图像进行预处理，获取食管癌特征，并进行特征描述后，得到的图像作为步骤3）的训练数据；

3）建立基于全卷积神经网络的食管癌语义分割模型，将步骤2）描述后的食管癌特征作为全卷积神经网络的特征输入作为学习样本进行训练，得到食管癌分割网络模型；

4）食管癌的三维重建，对步骤3）得到的食管癌分割网络模型所得到的食管癌分割结果进行三维重建和分析，得到三维空间下的食管癌影像组学参数，参数为步骤5）做准备；

5）将步骤4）得到的食管癌影像组学参数进行可视化显示。

所述的步骤2），具体是指从各层的胸部CT的DICOM图像中，依据其窗宽窗位的情况，将其转换成位图，并且对CT图像进行裁剪，将其裁剪成80×80像素的图像，在裁剪的图像中包括食管部分，并以此裁剪图像作为全卷积神经的网络的特征输入。

所述的步骤3），具体是在步骤2）得到特征数据后，在构建好全卷积神经网络模型后，将步骤2）的数据放入模型中训练，得到语义分割图像。训练过程中，将由模型得到的语义图像与实际标签图像做比较，使用交叉熵计算他们之间损失值的损失函数，损失值作为反向传播的误差梯度依据。

所述的步骤4），具体是对步骤3）得到的连续语义分割图像，做顺序排列（无先后序之分），将顺序排列好的二维图像数据做连结操作，连结成三维数据，在此数据的条件下用基于三角面片的方法寻找三维曲面做三维重建。

所述的步骤5），具体是利用QT编程实现食管癌影像组学参数的显示，实现一定的人机交互功能。

有益效果：本发明提供的一种胸部CT图像中的食管癌分割方法，该方法模型规模小，分割速度快，准确度高，为食管癌的影像组学分析和预后预测提供技术支撑。

附图说明

图1为一种胸部CT图像中的食管癌分割方法的技术线路图；

图2为食管癌语义分割的全卷积神经网络的示意图。

具体实施方式

下面结合附图和实施例对本发明做进一步阐述，但不是对本发明的限定。

实施例：

如图1所示，一种胸部CT图像中的食管癌分割方法，具体包括如下步骤：

1）选取多组含有食管癌的CT图像，将含有食管癌的CT图像作为训练样本。

2）对步骤1）选取的CT图像进行预处理，获取食管癌特征，并进行特征描述；具体是指从各层的胸部CT的DICOM图像中，依据其窗宽窗位的情况，将其转换成位图，并且对CT图像进行裁剪，将其裁剪成80×80像素的图像，在裁剪的图像中包括食管部分，并以此裁剪图像作为全卷积神经网络的特征输入。

3）建立基于全卷积神经网络的食管癌语义分割模型，将步骤2）描述后的食管癌特征作为全卷积神经网络的特征输入，作为学习样本进行训练，得到食管癌分割网络模型；

建立基于全卷积神经网络的食管癌语义分割模型，结构conv部分具体参考AlexNet的金字塔结构、ResNet的残差传递结构，结构deconv部分具体参考了SegNet的上采样传递方式，U-Net的跳跃连接结构，将准备好的数据放入网络当中训练，得到满足分割要求的网络模型后固化模型。

进一步，卷积网络模型的具体结构如下，如图2所示：

第1层为1*1的卷积核，卷积个数为3，作为网络的预处理层，同时拓展特征网络的深度；

第2层为5*5的卷积核，5*5感受域尽量获取图像详细的特征关系，提取图像特征；

第3层为5*5的卷积核，5*5感受域尽量获取图像详细的特征关系，连续卷积是为了提取特征图特征，是增强图像特征图的表达；

第4层为2*2的池化层，作为网络的下采样层，突出局部特征，减少过拟合，减少数据量，增加后续相同大小卷积核下的感受域；

第5层为3*3的卷积核，池化后3*3卷积核感受域比5*5的大，提取特征图特征，增强特征表达；

第6层为3*3的卷积核，提取特征图特征，增强特征表达；

第7层为2*2的池化层，作为网络的下采样层，突出局部特征，减少过拟合，减少数据量，增加相同大小卷积下的感受域，此层处理后的数据往第10层传送特征图，形成一个残差连接；

第8层为3*3的卷积核，感受域增大，提取特征图特征，增强特征表达；

第9层为3*3的卷积核，提取特征图特征，增强特征表达；

第10层为3*3的卷积核，提取特征图特征，增强特征表达，第7层的特征图网与这一层的特征图相结合，形成一个残差连接；

第11层为2*2的池化层，作为网络的下采样层，突出局部特征，减少过拟合，减少数据量，增加相同大小卷积下的感受域，此层往13层传送特征图，形成一个残差连接；

第12层为3*3的卷积核，感受域增大；提取特征图特征，增强特征表达；

第13层为3*3的卷积核，提取特征图特征，增强特征表达，第11层的特征图网与这一层的特征图相结合，形成一个残差连接；

第14层为3*3的卷积核，提取特征图特征，增强特征表达；

第15层为2*2的池化层，作为网络的下采样层，突出局部特征，减少过拟合，减少数据量，增加相同大小卷积下的感受域；

第16层为3*3的卷积核，感受域增大，提取特征图特征，增强特征表达；

第17层为1*1的卷积核，卷积个数为128个，1*1卷积作为预处理层，增加了特征个数，为下一层卷积做准备；

第18层为3*3的卷积核，卷积个数为128个，增加特征个数，加强高级特征的提取，增强特征表达；

第19层为1*1的卷积核，卷积个数为64个，1*1卷积作为预处理层，压缩特征个数，产生更有效特征图，减少冗余参数，第15层的特征图网与这一层的特征图相结合，形成一个残差连接；

第20层为3*3的卷积核，提取特征图特征，增强特征表达；

第21层为3*3的反卷积核，将特征图还原到相应的大小，表达出高级特征，还原后与第14层特征图相连，形成一个跳跃连接；

第22层为3*3的卷积核，提取相应原始特征图和高级特征图特征，解释出新的高级特征图，增强特征表达；

第23层为3*3的卷积核，提取高级特征图特征，解释高级特征，增强特征表达；

第24层为3*3的卷积核，提取高级特征图特征，解释高级特征，增强特征表达；

第25层为3*3的反卷积核，将特征图还原到相应的大小，表达出高级特征，还原后与第10层特征图相连，形成一个跳跃连接；

第26层为3*3的卷积核，提取高级特征图特征，解释高级特征，增强特征表达；

第27层为3*3的卷积核，提取高级特征图特征，解释高级特征，增强特征表达；

第28层为3*3的卷积核，提取高级特征图特征，解释高级特征，增强特征表达；

第29层为3*3的反卷积核，将特征图还原到相应的大小，表达出高级特征，还原后与第6层特征图相连，形成一个跳跃连接；

第30层为3*3的卷积核，提取高级特征图特征，解释高级特征，增强特征表达；

第31层为3*3的卷积核，提取高级特征图特征，解释高级特征，增强特征表达；

第32层为3*3的反卷积核，将特征图还原到相应的大小，表达出高级特征；

第33层为3*3的卷积核，与第3层特征图相连，形成一个跳跃连接，提取高级特征图特征，解释高级特征，增强特征表达；

第34层为3*3的卷积核，提取高级特征图特征，解释高级特征，增强特征表达；

第35层为1*1的反卷积核，卷积个数为2，步长为1，解释目标特征，并作为得分图；

在以上描述中，如果没有说明，则该层的情况由以下定义：卷积过程步长均为1，有填充，卷积个数64个，采用relu激活函数；反卷积过程步长为2，有填充，卷积个数64个，采用relu激活函数；池化过程采用最大池化的方法，步长为2，均有填充；

模型可以自我学习，采用交叉熵作为损失函数，用Adam作为反向传播优化器；为了防止训练过程中的过拟合现象，我们使用早停的方式；我们将训练集分为很多组，每次都计算所有组的拟合程度，如果某组的拟合程度满足要求，则停止这一组训练；

4）输出网络模型的语义分割结果；将35层的得分图用softmax分类器计算所有像素点的最终得分，选取得分最高的那一类作为某一像素的最优类别，不同像素表现出不同类别后，即得到食管癌语义分割图；

4）食管癌的三维重建，对步骤3）得到的食管癌分割网络模型进行三维重建，并进行三维分析，得到三维空间下的食管癌影像组学参数；

5）将步骤4）得到的食管癌影像组学参数进行可视化显示；

上述的全卷积神经网络模型通过训练胸部食管癌CT图像得到，可以区分出肿瘤和非肿瘤区域；

本发明的创新之处在于，只采用了深层残差连接，并不使用全残差，在上采样层也采用了残差连接，也只是用了深层残差连接；残差跨过两个卷积层，认为残差是起到标记作用，辅助特征的提取，并且残差连接之后不能马上接池化，避免成为辅助池化的过程；除了第1层、第17、第18层，每层的卷积的个数都是64个，不同于其他网络随着池化层的出现而增加一倍卷积个数；在第1层，中间层17层，19层，35层用的都是1*1大小的卷积核，1*1核提取网络特征的能力不够强，但是1*1核通常被视为预处理层，在三个关键部位加入1*1核将有效的提高网络之间传输的效率；事实证明这样的网络结构也是有效的，在食管癌的分割上也有很好的表现；并且不随深度而增加卷积个数的结构很好的减少了网络模型的体积；

以上所述过程大部分为模型训练过程，实际操作中只需要输入原始图像，然后即可得到语义分割图像；

以上所述是本发明详细的技术原理，其中详细的介绍了全卷积神经网络的层级结构和各层之间的关系。

Claims

1.一种胸部CT图像中的食管癌分割方法，其特征在于，具体包括如下步骤：

5）将步骤4）得到的食管癌影像组学参数进行可视化显示。

2.根据权利要求1所述的一种胸部CT图像中的食管癌分割方法，其特征在于，所述的步骤2），具体是指从各层的胸部CT的DICOM图像中，依据其窗宽窗位的情况，将其转换成位图，并且对CT图像进行裁剪，将其裁剪成80×80像素的图像，在裁剪的图像中包括食管部分，并以此裁剪图像作为全卷积神经网络的特征输入。

3.根据权利要求1所述的一种胸部CT图像中的食管癌分割方法，其特征在于，所述的步骤3），具体是在步骤2）得到特征数据后，在构建好全卷积神经网络模型后，将步骤2）的数据放入模型中训练，得到语义分割图像，训练过程中，将由模型得到的语义图像与实际标签图像做比较，使用交叉熵计算他们之间损失值的损失函数，损失值作为反向传播的误差梯度依据。

4.根据权利要求1所述的一种胸部CT图像中的食管癌分割方法，其特征在于，所述的步骤4），具体是对步骤3）得到的连续语义分割图像，做顺序排列，将顺序排列好的二维图像数据做连结操作，连结成三维数据，在此数据的条件下用基于三角面片的方法寻找三维曲面做三维重建。

5.根据权利要求1所述的一种胸部CT图像中的食管癌分割方法，其特征在于，所述的步骤5），具体是利用QT编程实现食管癌影像组学参数的显示，实现一定的人机交互功能。