CN109636808B - 一种基于全卷积神经网络的肺叶分割方法 - Google Patents

Abstract

本发明提供了一种基于全卷积神经网络的肺叶分割方法。其技术方案包括：构建肺叶分割数据集；获取肺部器官的3D包围框；对肺部3D包围框内的数据进行预处理；将数据块输入到全卷积神经网络中进行训练；将数据块输入到训练好的网络中进行预测。由于采用全卷积神经网络，实现了端到端的训练和预测，无需人工干预，预测速度快；并且采用在肺包围框内进行分割，剔除了肺部3D包围框外信息对肺叶分割的干扰，肺叶分割的完整性和细节明显优于传统方法；对于有明显病症的肺部CT数据也能较好地实现肺叶区域分割，从而为进一步定量定性评估肺部病变提供技术支撑。相比传统算法，本次发明方法明显提高了肺叶分割的精度，实现了全自动肺叶分割。

Description

一种基于全卷积神经网络的肺叶分割方法

技术领域

本发明设计医学影像处理领域，特别涉及一种基于全卷积神经网络的肺叶分割方法。

背景技术

近年来，由于医学影像学以及计算机技术的快速发展，将计算机技术更好地融入医学影像学中进行发展已然是大势所趋。高清晰度、高对比度的CT图像，通常被应用于肺部疾病的诊断。借助胸部CT观察肺部结构及功能特征是当今临床针对肺部各种疾病的重要辅助手段，为了向医生提供可靠的诊断数据，利于及早发现及治疗患者病情，通常需要对胸部CT图像进行后续处理，提取即分割肺组织图像。

目前，很多分割方法被应用至肺区分割，技术有：（1）阈值法是最常见的肺部分割方法，虽然简单、快速，但不能有效去除背景和气管分支，且确定阈值较难，往往根据经验确定。（2）区域增长法是大多数工作中采用的方法，该方法能够有效的弥补边缘追踪的遗漏缺陷，但常常需要手动选择种子点，是一种需要人工参与的半自动分割方法；（3）基于模式分类的方法。该方法能提取有些数据的图像特征，但是需要大量的训练样本，分割结果对样本与特征的依赖性强，处理时间较长。（4）基于图像配准和形状模型的方法，该方法一般效果较好，但其受训练集数据影响会导致结果变异性大，建立模型较为困难，并且计算量大，从而导致速度慢，难以满足临床应用的实时性需求。

综上所述，众多传统的分割方法由于受到各分离步骤等多方因素的影响，难以分割出理想的效果，鲁棒性不强，需要加以改善，提升分割速度和精度，满足医学诊断对肺部图像的要求。

发明内容

本发明的目的在于，提供一种基于全卷积神经网络的肺叶分割方法，旨在提高肺叶分割效率，以及调高肺叶分割的精确度，并且相比于基础传统图像算法的肺叶分割方法，本方法的具有更高的鲁棒性。

为实现上述目的，本发明所提供的技术方案为：一种基于全卷积神经网络的肺叶分割方法，其主要步骤包括：（a）构建训练数据集：采集CT影像，对肺叶区域进行不同类别的标注，并且对数据进行预处理。（b）获得肺部包围框：在训练阶段，根据步骤（a）中的标注方法或肺分割，获得CT影像中肺部区域的3D包围框；在预测阶段，利用已有的肺分割算法分割肺部区域，获得CT影像中肺部区域的3D包围框。（c）数据切块：在步骤（b）的肺部候选3D包围框内进行数据切块，将所述肺部包围框切分成若干个数据块，对数据块进行填充或剪切或不处理以满足数据尺寸要求。（d）训练模型：将所述步骤（c）中的数据块提供给全卷积神经网络进行训练，获得肺叶分割模型。（e）肺叶分割：将数据经过步骤（a）中的图像预处理，然后经过步骤（b）与步骤（c）过程，获得肺部3D包围框内的多个数据块，数据块通过步骤（d）肺叶分割模型得到数据块的肺叶分割结果，通过数据回填方式最终得到整个CT影像的肺叶分割结果。

进一步地，步骤（a）中，医生根据临床解剖结构，对肺进行五个区域的标注，分别为：左肺上叶、左肺下叶、右肺上叶、右肺中叶和右肺下叶。

进一步地，步骤（a）中，所述数据预处理的方式为，对数据进行归一化处理，方式为，对Hu值进行窗口截断，并归一化为0到1值域范围，再缩放到-1到1之间；对数据进行插值，使得数据在x，y，z三个方向上的物理像素间隔为d1，d2，d3，并且d1，d2，d3均为大于0的数，通常三个方向上的物理像素间隔取值相同，在0.5到1.4毫米之间。

进一步地，步骤（b）中，在训练阶段通过获得所述肺叶标注区域在x轴（横轴）、y轴（纵轴）、z轴（垂直轴）的最大、最小值的范围作为所述肺部标准3D包围框，并通过随机偏移变换获得一个候选3D包围框。在预测阶段，通过现有的基于2D/3D全卷积神经网络的肺分割模型（也可以通过传统的图像分割算法得到），分割出肺部区域，并根据分割得到的所述肺部区域在x轴、y轴、z轴的最大、最小值的范围作为所述肺部候选3D包围框。

进一步地，步骤（c）中，沿着CT影像的矢状面或冠状面或水平面方向进行切块，得到3D数据块，但是，如果训练和预测的设备的显存足够，也可以选择不进行切块。训练阶段，对所述数据块进行常值填充或裁剪多余数据等处理以满足数据尺寸要求（固定长宽高大小），固定长宽高大小通过分析插值后的数据的肺包围框大小得到。预测阶段，数据块尺寸无严格要求，但预测数据块的非滑窗方向需要包含所有肺部区域，以保证预测时肺部的完整性，步骤（c）中，切块数据尺寸可以明显大于训练阶段尺寸以加快预测速度，如果数据块尺寸小于训练时的固定大小，则将其进行常值填充至所述固定大小，否则不处理。

进一步地，步骤（d）中，所采用的所述卷积神经网络为全卷积3D-U型神经网络,通过concatenate（堆叠）方式融合深层语意特征和浅层局部特征。网络输入为步骤（c）中的3D数据块，输出为网络预测的与输入数据块同尺寸的肺叶分割结果。

本发明与现有技术相比，具有如下优点：（1）本发明的肺叶分割方法具有更好的鲁棒性、准确性，并且只要提供更多的训练数据进行训练，可以使模型的分割结果越来越好；（2）本发明通过使用神经网络实现全自动的肺叶分割无需人工干预；（3）在肺包围框内进行分割，去除了肺包围框外数据的干扰，调高了准确率并降低了假阳；（4）本发明对于有明显病症的肺部CT数据也能较好地分割肺叶区域，从而为进一步定量定性评估肺部病变提供基础支撑。

附图说明

图1所述为一种基于全卷积神经网络的肺叶分割方法的流程图。

图2所述为本发明预测的肺叶分割结果（二维视图）。

图3所述为本发明预测的肺叶分割结果（三维视图）。

图4所述为本发明用于肺叶分割的全卷积神经网络（U型网络）。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

图1为本发明实施例提供的肺叶分割方法的流程图。其主要步骤包括：构建肺叶分割数据集；获取肺部器官的3D包围框；对肺部3D包围框内的数据进行预处理；将数据块输入到全卷积神经网络中进行训练；将数据块输入到训练好的网络中进行预测。为方便理解发明中的各项细节，以训练模型到预测分割结果肺叶为例，进行详细说明。

（1）构建肺叶分割数据集，包括五个肺叶区域的标签标注，和数据预处理。本发明需要对五个肺叶区域（左肺上叶、左肺下叶、右肺上叶、右肺中叶和右肺下叶）进行像素级的标注，标注方式为：经验丰富的医师通过3D slicer软件对数据进行标注，并且将标注好的结果交给另外一个医生进行核对，医生核对确认标注无误后，采纳数据作为训练数据，否则抛弃此标注数据或重新标注。共标注220例数据，并且有病弥漫性肺病和无弥漫性肺病的数据的比例为1:1。

数据预处理的方式为，将数据的x，y，z（即横轴，纵轴，垂直轴）物理像素间隔插值到1.4毫米，Hu值截取窗口范围为[-1000,-200]并归一化为0到1值域范围，再缩放到-1到1之间。

（2）获取肺部器官的3D包围框，包括训练阶段的肺部3D包围框获取，和预测阶段的肺部3D包围框获取。在训练阶段，通过肺叶标注可以获得肺部包围框；在预测阶段，通过现有的基于3D全卷积神经网络的肺分割模型，分割出肺部区域，最后获得肺包围框。

（3）对肺部3D包围框内的数据进行预处理，分为训练阶段和测试阶段。在训练阶段，取肺部3D包围框内的数据，丢弃掉3D包围框外的数据，规定训练神经网络时的数据块大小为48*196*256(顺序为x，y，z，单位：像素)。切块时沿着x轴（横轴）方向切块，切块厚度为48像素，切块步长为8像素，如果切块超过包围框边界则回退切块起点使其不切出边界，得到厚度为48像素的数据块；然后对数据块的y轴和z轴进行如下处理，对于数据块y轴，如果数据块y轴长度小于196则沿着y轴对数据两边填充常数0，如果包围框y轴长度大于196则对沿着y轴对数据进行随机剪切，如果包围框y轴长度等于196则不处理，最终使得数据块的y轴长度为196；对于数据块z轴，也同理与数据块y轴的处理方式，最终数据使得数据块的z轴长度为256，最终得到48*196*256大小的数据块。

在预测阶段，取肺部包围框内的数据，丢弃掉包围框外的数据，由于3维全卷积神经网络，所以输入网络的数据可以是任意维度。沿着x轴方向对包围框内数据进行切块，切块厚度为48像素，切块步长为16像素，如果切块超过包围框边界则回退起点使其不切出边界，得到数据块；然后对数据块的y轴和z轴方向的数据进行处理，对于y轴，如果数据块y轴长度小于196像素则沿着y轴对数据块两边填充常数0，如果包围框y轴长度大于等于196像素则不进行操作，最终得到数据块y轴长度大于等于196像素；对于数据z轴，也进行同理与数据块y轴的数据处理方式，最终使得数据块z轴长度大于等于256像素。

（4）将数据块输入到全卷积神经网络中进行训练。训练肺叶分割模型的全卷积神经网络为3维U型神经网络，包含3个下采样层（最大池化层）和3个上采样层（反卷积层），并且中间通过堆叠连接（concat），每个下采样层和上采样层后跟2个卷积块，每个卷积块包含3维卷积（3DConv），批归一化（Batch normalization），非线性激活(ReLU)，全卷积神经网络的最后一层为Softmax激活函数，网络输出的通道数为6通道，分别代表：背景、左肺上叶、左肺下叶、右肺上叶、右肺中叶和右肺下叶等6个区域，训练网络的优化器为Adam，初始学习率为0.001。网络的输出大小等于输入大小。

训练时将（1）到（3）步骤处理后的数据输入到上述的3维U型神经网络中训练，当验证集上的损失不再下降的时候停止训练。

（5）将数据块输入到训练好的网络中进行预测。对测试数据进行肺叶分割时，将数据通过上述步骤（1）中的预处理、步骤（2）和步骤（3）的处理，获得数据块，最后将数据块输入到步骤（4）训练的全卷积神经网络中进行预测，得到每个数据块的分割结果。因为预测数据的切块是有重叠的，所以得到的分割结果重叠区域的概率通过相加进行融合，最后图像上每个像素点的类别通过argmax（即6个通道概率最大的类别为当前像素的类别）得到。最终通过回填的方式获得肺叶分割结果。

以上所述实施例子细节只是本发明较佳案例之一，并非以此限制本发明实施范围，因此，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。前文所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

Claims (6)

1.一种基于全卷积神经网络的肺叶分割方法，其步骤包括：

(a)构建训练数据集：采集CT影像，对肺叶区域进行不同类别的标注，对数据进行预处理；

(b)获得肺部包围框：在训练阶段，根据所述步骤(a)中的所述标注方法，获得CT影像中肺部区域的3D包围框；在预测阶段，利用已有的肺分割算法分割所述肺部区域，获得CT影像中肺部区域的3D包围框；

(c)数据切块：在所述步骤(b)的肺部候选3D包围框内进行数据切块，将所述肺部候选3D包围框切分成若干个数据块，对所述数据块进行填充或剪切或不处理以满足数据尺寸要求；

(d)训练模型：将所述步骤(c)中的所述数据块提供给全卷积3D-U型神经网络进行训练，获得肺叶分割模型；

(e)肺叶分割：将数据经过所述步骤(a)中的图像预处理，然后经过所述步骤(b)与所述步骤(c)过程，获得肺部3D包围框内的多个数据块，数据块通过所述步骤(d)所述肺叶分割模型得到数据块的肺叶分割结果，通过数据回填方式最终得到整个CT影像的肺叶分割结果。

2.根据权利要求1所述的一种基于全卷积神经网络的肺叶分割方法，其特征在于：所述步骤(a)中，医生根据临床解剖结构，对肺进行五个区域的标注，分别为：左肺上叶、左肺下叶、右肺上叶、右肺中叶和右肺下叶。

3.根据权利要求1所述的一种基于全卷积神经网络的肺叶分割方法，其特征在于：所述步骤(a)中，数据预处理的方式为，对数据进行归一化处理；对数据进行插值，使得数据在x，y，z三个方向上的物理像素间隔为d1，d2，d3，并且d1，d2，d3均为大于0的数。

4.根据权利要求1所述的一种基于全卷积神经网络的肺叶分割方法，其特征在于：所述步骤(b)中，在训练阶段通过获得肺叶标注区域在x轴、y轴、z轴的最大、最小值的范围作为肺部标准3D包围框，并通过随机偏移变换获得一个候选3D包围框，在预测阶段，通过现有的基于2D/3D全卷积神经网络的肺分割模型，分割出所述肺部区域，并根据分割得到的所述肺部区域在x轴、y轴、z轴的最大、最小值的范围作为所述肺部候选3D包围框。

5.根据权利要求1所述的一种基于全卷积神经网络的肺叶分割方法，其特征在于：所述步骤(c)中，沿着CT影像的矢状面或冠状面或水平面方向进行切块，得到3D数据块，训练阶段，对所述数据块进行常值填充或裁剪多余数据处理以满足数据尺寸要求。

6.根据权利要求1所述的一种基于全卷积神经网络的肺叶分割方法，其特征在于：所述步骤(d)中，全卷积3D-U型神经网络通过concatenate方式融合深层语意特征和浅层局部特征，网络输入为3D数据块，输出为网络预测的与输入数据块同尺寸的肺叶分割结果。

Images