CN110136119A - 一种基于深度学习的肺裂分割及完整性评估的方法和*** - Google Patents

Abstract

本发明公开了一种基于深度学***裂；估计完整肺裂；评估肺裂完整程度。由于采用了全卷积神经网络，实现了端到端的肺裂模型训练和预测，无需人工干预，预测速度快，并且采用了从粗到细的分割框架，解决了利用全卷积神经网络进行分割任务时类别标签数量极度不平衡问题，并通过引入肺叶分割去除了肺裂分割产生的假阳，使肺裂完整性评估更加精准。

Description

一种基于深度学习的肺裂分割及完整性评估的方法和***

技术领域

本发明涉及医学影像处理领域，特别涉及一种基于深度学习的肺裂分割及完整性评估的方法和***。

背景技术

肺裂在肺部疾病的检测、分类和评估中具有非常重要的作用，因此准确定位肺裂区域并分割肺裂在肺部疾病诊断方面具有十分重要的意义。CT影像中，肺裂在二维切面结构中变现为曲率变化很小的曲线，在三维结构中则表现为缎带结构或平面结构。在临床诊断中，了解肺裂结构特征有助于肺部病灶的定位和肺部疾病的定量评估。而CT影像中要完成自动肺裂分割是十分困难的，肺裂往往存在不完整、形变、断裂和附裂等现象。目前肺裂分割算法面临着最大的挑战：肺裂分割。

大量的检测分割方法（如气道、血管和肺的分割）均与肺的CT影像有关并且发展成熟，但肺裂的检测分割方法却仍在研究中，目前肺裂分割一般集中在计算几何学方法自动检测分割肺裂的方法上，但此方案存在局限性，此方法需要在“有利的”条件下才能够达到良好的效果，即它的检测是需要前提条件的；此方案的执行效率低。而本发明中是基于全卷积神经网络算法对CT影像进行分析、处理，实现自动肺裂分割，全卷积神经网络算法具备自我学习、不断完善的特点，具有较小的局限性，并且利用神经网络算法替医生完成肺裂分割将提高执行率，降低误差。

发明内容

本方法提供一种基于深度学习的肺裂分割及完整性评估的方法和***，其特征在于，包括以下步骤：S1）构建肺裂分割数据集：采集胸部CT影像，对肺裂区域进行类别标注，并进行数据预处理；S2）训练肺裂分割模型：基于步骤S1）的标注数据，搭建全卷积神经网络进行训练，得到肺裂分割模型；S3）预测肺裂区域：将数据经过步骤S1）的数据预处理，然后输入到步骤S2）得到的肺裂分割模型，得到肺裂分割结果，并且利用已有的肺叶分割去除假阳；S4）估计完整肺裂：通过肺叶分割或拟合三维曲面的其中一种方式得到完整的肺裂；

S5）肺裂完整性计算：对不同的肺裂区域计算肺裂完整性，计算公式为：肺裂完整性=预测的肺裂区域面积/估计的完整肺裂面积。

可选的，步骤S1）中，医生根据临床解剖结构，将肺裂分为三个区域进行标注，分别为：左肺斜裂，右肺斜裂，右肺水平裂。

可选的，步骤S1）中，数据预处理进一步包括：对数据进行归一化处理，对数据进行插值，使得数据在x,y,z三个方向上的物理像素间隔为d1,d2,d3，并且d1,d2,d3均为大于0的数；对数据进行滑动切块使数据块满足神经网络输入的尺寸要求；进行数据增广，包括放缩，旋转，换轴，高斯滤波，明暗处理等变换方式。

可选的，步骤S2）中，用以训练肺裂分割的全卷积神经网络结构进一步包括：该全卷积神经网络为从粗到细的分割模型；该全卷积神经网络由2个串联的子网络组成，该子网络为输入尺寸与输出尺寸相同的全卷积神经网络；并且，第一个子网络的输入为原图，输出为预测的肺裂的ROI区域，第二个子网络的输入为原图与第一个网络ROI预测相乘的结果，输出为预测的肺裂精准区域；第一个子网络的输出通过Softmax函数激活，输出为2个类别，分别为背景和ROI区域；第二个子网络的输出通过Softmax函数激活，输出为4个类别，分别为左肺斜裂、右肺斜裂、右肺水平裂和背景。

可选的，步骤S3）中，对于要预测肺裂的数据，经过步骤S1）的数据归一化处理与滑动切块，并输入到步骤S2）训练得到的肺裂分割模型进行预测，并将预测结果进行回填，得到预测的肺裂分割结果，如果是有重叠切块，则对概率进行平均。

可选的，步骤S3）中，去除假阳的方式为，对要预测肺裂的数据进行肺叶分割，如果得到肺裂分割结果的连通域仅落在一个肺叶中，则这个分割得到的肺裂连通域为假阳，将这块连通域删除。

可选的，步骤S4）中，利用肺叶分割估计完整肺裂进一步还包括：肺叶分割获得的右肺上叶与右肺中叶相邻的面经过曲面平滑得到完整的右肺水平裂，其面积为右肺水平裂的完整面积；肺叶分割获得的右肺下叶与右肺中叶、右肺下叶相邻的面经过曲面平滑得到完整的右肺斜裂，其面积为右肺斜裂的完整面积；肺叶分割获得的左肺上叶与左肺下叶相邻的面经过曲面平滑得到完整的左肺斜裂，其面积为左肺斜裂的完整面积。

可选的，步骤S5）中，预测的肺裂区域面积为步骤S3）预测得到的肺裂的表面积，完整各肺裂面积为步骤S4）得到的完整肺裂面积，按所述公式分别评价左肺斜裂、右肺斜裂、右肺水平裂的肺裂完整程度。

可选的，在预处理切块时，可以在肺的包围框内对数据沿着CT影像的矢状面或冠状面或水平面方向进行切块，得到3D数据块，切块大小根据网络输入大小和显存大小决定。

可选的，全卷积网络的子网络为3维U型全卷积神经网络，包含3个下采样层（最大池化层）和3个上采样层（反卷积层），并且中间通过堆叠连接（Concatenate），每个下采样层和上采样层后跟若干个卷积块，每个卷积块包含3维卷积（3DConv），批归一化（Batchnormalization），非线性激活(ReLU)，全卷积神经网络的最后一层为Softmax激活函数，输出的通道数根据类别数决定。

本发明与现有技术相比，具有如下优点：1）本发明的肺裂分割方法具有更好的鲁棒性、准确性，并且可以增加更多的标注训练数据来使模型更加精准；2）本发明的肺裂完整性评估方法是基于全卷积神经网络的，所以实现了全自动的肺裂完整性评估，无需人工干预；3）本发明加入了肺叶分割来去除假阳，使肺裂完整性评估更加准确；4）本发明提供了从粗到细的全卷积神经网络模型，提供了根据精确的肺裂分割。

附图说明

图1所述为一种基于深度学习的肺裂分割及完整性评估的方法和***的结构示意图。

图2所述为本发明预测的肺裂分割结果（二维视图）。

图3所述为本发明步骤S3）所述的预测的肺裂分割结果（三维视图）。

图4所述为本发明步骤S4）所述的完整肺裂（三维视图）。

图5所述为本发明用于肺裂分割的网络结构。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。

图1为一种基于深度学***裂；估计完整肺裂；评估肺裂完整程度。为方便理解发明中的各项细节，以构建肺裂分割数据集到评估肺裂完整性，进行详细说明。

（1）构建肺裂分割数据集，包括肺裂标记和预处理。

肺裂标注的方式为：经验丰富的医生对可见的左肺斜裂、右肺斜裂、右肺水平裂这三种类别区域进行像素级标记，并且将标注好的结果交给另外一个医生进行核对，医生核对确认标注无误后，采纳数据作为训练数据，否则抛弃此标注数据或重新标注。共标注220例数据，并且有病弥漫性肺病和无弥漫性肺病的数据的比例为1:1。

标注完成后，将数据的x,y,z（即横轴，纵轴，垂直轴）物理像素间隔插值到1.2毫米，Hu值截取窗口范围为[-1000,-200]并归一化为0到1值域范围，再缩放到-1到1之间。

并取肺包围框内的数据，取肺部3D包围框内的数据，丢弃掉3D包围框外的数据，规定训练神经网络时的数据块大小为48*196*256（顺序为x,y,z，单位：像素）。切块时沿着x轴（横轴）方向切块，切块大小为48*196*256，如果块大小不满足48*196*256大小，则以中心点做填充或截取处理。并进行数据增广，包括放缩，旋转，换轴，高斯滤波，明暗处理等处理。

（2）训练基于全卷积神经网络的肺裂分割模型。

训练肺裂分割的全卷积神经网络为两个U型卷积神经网络串联组成，构成一个W型网络，如图5所示，第一个子网络作用是预测肺裂的ROI区域，第二个子网络的作用是预测ROI区域内的精准肺裂区域。第一个子网络的输入为原图，输出为预测的肺裂的ROI区域，第二个子网络的输入为原图乘以第一个网络ROI区域通道的输出，输出为预测的肺裂精准区域。第一个子网络的输出通过Softmax激活，输出为2个类别，分别为背景，ROI区域，第二个子网络的输出通过Softmax函数激活，输出为4个类别（通道），分别为背景，左肺斜裂，右肺斜裂，右肺水平裂。

两个子网络的超参数唯一的区别就是输出的通道数不同，其他超参数都是相同的，包括：子网络为3维U型神经网络，包含3个下采样层（最大池化层）和3个上采样层（反卷积层），并且中间通过堆叠连接（Concatenate），每个下采样层和上采样层后跟2个卷积块，每个卷积块包含3维卷积（3DConv），批归一化（Batch normalization），非线性激活(ReLU)，全卷积神经网络的最后一层为Softmax激活函数。训练网络的优化器为Adam，初始学习率为0.001。训练时将步骤（1）处理后的数据输入到上述的3维W型神经网络中训练，当验证集上的损失连续3个epoch不再下降时则停止训练。

（3）预测肺裂区域并识别获得左肺斜裂、右肺斜裂、右肺水平裂。

获得一个新的CT影像数据，将数据经过步骤（1）的预处理，将数据输出到步骤（2）训练好的模型中进行预测，如果预测数据切块时是有重叠的，则得到的分割结果重叠区域的概率通过相加进行融合，最后图像上每个像素点的类别通过argmax（即4个通道概率最大的类别为当前像素的类别）得到，网络将图像分割为四个类别的区域，分别为左肺斜裂、右肺斜裂、右肺水平裂和背景，最终通过回填的方式获得整个肺部的肺裂分割结果。

进一步的，通过对数据进行肺叶分割来去除肺裂的假阳，去除假阳的方式为对数据进行肺叶分割，得到肺裂分割结果的连通区域仅落在一个肺叶中，则这个分割得到肺裂连通区域为假阳，将这块区域删除。

（4）估计完整肺裂。

计算肺裂完整性需要获得肺裂假设是完整的面积，即通过补全肺裂缺失部分来估计完整面积。通过肺叶分割估计肺裂的完整面积，包括：肺叶分割获得的右肺上叶与右肺中叶相邻的面经过曲面平滑得到完整的右肺水平裂，其面积为右肺水平裂的完整面积；肺叶分割获得的右肺下叶与右肺中叶、右肺下叶相邻的面经过曲面平滑得到完整的右肺斜裂，其面积为右肺斜裂的完整面积；肺叶分割获得的左肺上叶与左肺下叶相邻的面经过曲面平滑得到完整的左肺斜裂，其面积为左肺斜裂的完整面积。

（5）评估肺裂完整程度。

通过步骤（3）得到预测的肺裂区域表面积，通过步骤（4）得到估计的完整肺裂面积，如果肺裂是不完整的（在CT影像上肺裂存在一部分不可见），则步骤（3）的到的是不完整的肺裂。而步骤（4）得到的是完整的肺裂表面积。肺裂完整性就可以通过不完整的面积比上完整面积的比值得到，即：肺裂完整性=预测的肺裂区域面积/估计的完整肺裂面积。

Claims (11)

1.一种基于深度学习的肺裂分割及完整性评估的方法和***，其特征在于，包括以下步骤：

S1）构建肺裂分割数据集：采集胸部CT影像，对肺裂区域进行类别标注，并进行数据预处理；

S2）训练肺裂分割模型：基于步骤S1）的标注数据，搭建全卷积神经网络进行训练，得到肺裂分割模型；

S3）预测肺裂区域：将数据经过步骤S1）的数据预处理，然后输入到步骤S2）得到的肺裂分割模型，得到肺裂分割结果，并且利用已有的肺叶分割去除假阳；

S4）估计完整肺裂：通过肺叶分割或拟合三维曲面的其中一种方式得到完整的肺裂；

S5）肺裂完整性计算：对不同的肺裂区域计算肺裂完整性，计算公式为：肺裂完整性=预测的肺裂区域面积/估计的完整肺裂面积。

2.如权利要求1所述的方法，其特征在于，所述步骤S1）中，医生根据临床解剖结构，将肺裂分为三个区域进行标注，分别为：左肺斜裂，右肺斜裂，右肺水平裂。

3.如权利要求1所述的方法，其特征在于，所述步骤S1）中，数据预处理进一步包括：对数据进行归一化处理，对数据进行插值，使得数据在x,y,z三个方向上的物理像素间隔为d1,d2,d3，并且d1,d2,d3均为大于0的数；对数据进行滑动切块使数据块满足神经网络输入的尺寸要求；进行数据增广，包括放缩，旋转，换轴，高斯滤波，明暗处理等变换方式。

4.如权利要求1所述的方法，其特征在于，所述步骤S2）中，用以训练肺裂分割的全卷积神经网络结构进一步包括：该全卷积神经网络为从粗到细的分割模型；该全卷积神经网络由2个串联的子网络组成，该子网络为输入尺寸与输出尺寸相同的全卷积神经网络；并且，第一个子网络的输入为原图，输出为预测的肺裂的ROI区域，第二个子网络的输入为原图与第一个网络ROI预测相乘的结果，输出为预测的肺裂精准区域；第一个子网络的输出通过Softmax函数激活，输出为2个类别，分别为背景和ROI区域；第二个子网络的输出通过Softmax函数激活，输出为4个类别，分别为左肺斜裂、右肺斜裂、右肺水平裂和背景。

5.如权利要求1所述的方法，其特征在于，所述步骤S3）中，对于要预测肺裂的数据，经过步骤S1）的数据归一化处理与滑动切块，并输入到步骤S2）训练得到的肺裂分割模型进行预测，并将预测结果进行回填，得到预测的肺裂分割结果。

6.如权利要求1所述的方法，其特征在于，所述步骤S3）中，去除假阳的方式为，对要预测肺裂的数据进行肺叶分割，如果权利要求5得到肺裂分割结果的连通域仅落在一个肺叶中，则这个分割得到肺裂连通域为假阳，将这块连通域删除。

7.如权利要求1所述的方法，其特征在于，所述步骤S4）中，利用肺叶分割估计完整肺裂进一步还包括：肺叶分割获得的右肺上叶与右肺中叶相邻的面经过曲面平滑得到完整的右肺水平裂，其面积为右肺水平裂的完整面积；肺叶分割获得的右肺下叶与右肺中叶、右肺下叶相邻的面经过曲面平滑得到完整的右肺斜裂，其面积为右肺斜裂的完整面积；肺叶分割获得的左肺上叶与左肺下叶相邻的面经过曲面平滑得到完整的左肺斜裂，其面积为左肺斜裂的完整面积。

8.如权利要求1所述的方法，其特征在于，所述步骤S5）中，预测的肺裂区域面积为步骤S3）预测得到的肺裂的表面积，完整各肺裂面积为步骤S4）得到的完整肺裂面积，按所述公式分别评价左肺斜裂、右肺斜裂、右肺水平裂的肺裂完整程度。

9.如权利要求3所述的方法，其特征在于，在肺的包围框内对数据沿着CT影像的矢状面或冠状面或水平面方向进行切块，得到3D数据块。

10.如权利要求4所述的方法，其特征在于，所述子网络为3维U型全卷积神经网络，包含3个下采样层（最大池化层）和3个上采样层（反卷积层），并且中间通过堆叠连接（Concatenate），每个下采样层和上采样层后跟若干个卷积块，每个卷积块包含3维卷积（3DConv），批归一化（Batch normalization），非线性激活（ReLU），全卷积神经网络的最后一层为Softmax激活函数。

11.一种基于深度学习的肺裂分割及完整性评估的方法和***，其特征在于，包括：采集胸部CT影像数据，经过权利要求3所述的数据归一化和插值预处理；在肺包围框内对数据进行切块，将切块输入到步骤S2）得到的肺裂分割模型中进行预测，并将预测结果进行回填，得到预测的肺裂分割结果；根据权利要求6的方式去除肺裂假阳；根据权利要求7的方式估计完整肺裂；根据公式：肺裂完整性=预测的肺裂区域面积/估计的完整肺裂面积，计算不同的肺裂区域计算肺裂完整性。