CN109389584A - 基于cnn的多尺度鼻咽肿瘤分割方法 - Google Patents

Abstract

本发明涉及一种基于CNN的多尺度鼻咽肿瘤分割方法。包括以下步骤：收集若干例患鼻咽肿瘤的病例，采集其鼻咽部位MRI图像数据；对上一步骤收集的MRI图像数据的病变区域逐层进行人工边缘标注，作为标签数据；对上一步骤得到的标签数据进行标准化预处理并转成二维数据集；构建基于CNN的多层二维卷积神经网络，使用上一步骤中的二维数据集进行训练；对于待分割的鼻咽部位MRI图像数据，采集同部位同样模态的医学图像，对采集的图像进行标准化处理；通过训练得到的网络模型，对待分割的鼻咽部位MRI图像数据进行自动分割。本发明可以实现对于鼻咽肿瘤的自动分割，且与主流网络对比能取得较高的精度。

Description

基于CNN的多尺度鼻咽肿瘤分割方法

技术领域

本发明涉及图像分割领域中的鼻咽部肿瘤图像分割技术领域，具体的说是一种基于CNN的多尺度鼻咽肿瘤分割方法。

背景技术

鼻咽癌是指发生于鼻咽腔顶部和侧壁的恶性肿瘤。是我国高发恶性肿瘤之一，发病率为耳鼻咽喉恶性肿瘤之首。与其他类型的肿瘤相比，鼻咽肿瘤具有更复杂的解剖结构。鼻咽肿瘤在空间上与处理类似图像强度的几种组织(空气，骨骼，肌肉和粘膜)很相似，且鼻咽癌的形状和大小、以及非均匀肿瘤强度方面差异较大，因此，需要设计特定的分割方法。而且传统鼻咽癌的诊断具有局限性，临床医生需要借助医学专业知识手动查阅或标注鼻咽癌的边界。为了提高处理效率和肿瘤定位的准确性，临床医生通常借助计算机辅助工具来处理任务，因此采用计算机自动分割算法来辅助医生精准定位鼻咽肿瘤成为一种必要需求。

最近，基于深度学习的自然图像分割技术被广泛研究与应用，这也促进了医学图像分割的发展。然而，由于自然图像和医学图像差异性较大，特别是在组织结构和形状大小方面与自然图像差异巨大，因此，直接把深度学习技术用于医学图像分割仍然是一个难题。近年来，大量文献提出了各种基于深度学习的自动分割图像算法用于有效解决不同分割问题。卷积神经网(Convolutional Neural Network，CNN)被广泛应用于图像处理中，特别是在图像分割方面，卷积神经网络已经取得了较好的效果。卷积神经网络在本质上是一种输入到输出的映射，它能够学习大量的输入与输出之间的映射关系，而不需要任何输入和输出之间的精确的数学表达式，只要用已知的模式对卷积网络加以训练，网络就具有输入输出对之间的映射能力。卷积神经网络CNN主要用来识别位移、缩放及其他形式扭曲不变性的二维图形。由于CNN的特征检测层通过训练数据进行学习，所以在使用CNN时，避免了显式的特征抽取，而隐式地从训练数据中进行学习。再者由于同一特征映射面上的神经元权值相同，所以网络可以并行学习，这也是卷积网络相对于神经元彼此相连网络的一大优势。卷积神经网络以其局部权值共享的特殊结构在语音识别和图像处理方面有着独特的优越性，其布局更接近于实际的生物神经网络，权值共享降低了网络的复杂性，特别是多维输入向量的图像可以直接输入网络这一特点避免了特征提取和分类过程中数据重建的复杂度。这种优势降低了为不同任务开发不同算法的成本，但训练CNN需要大量手动标注的训练数据。从全卷积神经网络(Fully Convolutional Neural Network，FCN)的结构开始，大量研究人员试图整合CNN来分析医学图像。例如，胸部CT筛查检测结节，智能手机相机诊断皮肤癌。

目前国内外大量的研究者利用卷积神经网络做医学图像分割，主要是在细胞图像、心血管图像、大脑图像等方面，而做鼻咽部肿瘤图像分割的相对较少。Korez等人提出了FCN网络结构，并将3D FCN网络分割出的脊椎结构用形变模型算法进行优化，进一步提高了脊柱MR图像的分割准确率。Zhou X等人将FCN算法和多数投票算法相结合，在人体躯干CT图像中分割出了19个目标。在网络训练过程中，将经过每一个像素点的矢状面、轴状面、冠状面的CT图像分别输入至2D FCN网络进行训练，并用3D Majority Voting算法对三幅图像的分割结果进行表决，得到最后的分割结果。但是，该种处理方式会产生两个问题：大量的冗余计算导致时间效率低下、以及网络无法学习全局特征。U-net网络提出后，在医学图像分割领域表现优秀，许多研究者均采用U-net网络结构做医学图像分割，并在U-net网络结构基础上提出改进。U-Net结构中一个重要的结构块是跳跃连接，这类网络结构在下采样阶段对图像进行卷积来提取多尺度的图像信息，然后在上采样阶段进行反卷积将特征映射恢复到原始图像的分辨率大小，最后将卷积层的特征映射连接到反卷积层的特征映射。该类网络横向连接特征映射，加强了图像低层特征的传递和特征重。等人提出3D U-net网络结构，该结构通过输入3D图像连续的2D切片序列实现3D图像分割。Milletari等人提出了U-net网络结构的一种3D变形结构V-net，V-net结构使用Dice系数损失函数代替传统的交叉熵损失函数，且使用3D卷积核对图像进行卷积，通过1x1x1的卷积核减少通道维数。Drozdzal等人提出在U-net网络结构中不仅可以使用长跳跃连接结构，也可以使用短跳跃连接结构。

在病灶分割任务中，深度学习算法需要完成目标识别、器官分割和组织分割等多项任务，因此分割过程中应需结合图像的全局信息和局部信息来实现病灶的准确分割，brosch等人使用U-net网络对脑部MRI中的脑白质病灶进行分割，并在U-net网络的第一层卷积和最后一层反卷积之间加入跳跃连接结构，使得该网络结构在训练数据较少的情况下仍得到了很好的分割结果。但是该方法对全局的特征信息提取不足，特别是数据量较少的情况下，无法充分学习全局特征。综上，上述方法存在两个问题，一方面，缺乏对原始特征信息的重用，另一方面，对全局特征信息的学习不足。

发明内容

针对现有技术中存在的上述不足之处，本发明要解决的技术问题是提供一种基于CNN的多尺度鼻咽肿瘤分割方法。

本发明为实现上述目的所采用的技术方案是：一种基于CNN的多尺度鼻咽肿瘤分割方法，包括以下步骤：

步骤1：收集若干例患鼻咽肿瘤的病例，采集其鼻咽部位MRI图像数据；

步骤2：对上述步骤1收集的MRI图像数据的病变区域逐层进行人工边缘标注，作为标签数据；

步骤3：对上述步骤2得到的标签数据进行标准化预处理并转成二维数据集；

步骤4：构建基于CNN的多层二维卷积神经网络，使用步骤3中的二维数据集进行训练；

步骤5：对于待分割的鼻咽部位MRI图像数据，采集同部位同样模态的医学图像，使用步骤3的方法对采集的图像进行标准化处理；

步骤6：通过步骤4训练得到的网络模型，对待分割的鼻咽部位MRI图像数据进行自动分割。

所述步骤3包括以下步骤：

步骤3.1：在所述标签数据中选择包含鼻咽肿瘤的颈部以上的头部图像；

步骤3.2：对步骤3.1中选择的头部图像进行重新采样至预定分辨率；

步骤3.3：对步骤3.2得到的头部图像进行归一化处理，将图像的像素值归一化到0～255之间；

步骤3.4：对步骤3.3得到的头部图像以肿瘤区域为中心，在三个维度上扩展预定范围得到用于训练的头部图像；

步骤3.5：将步骤3.4得到的头部图像裁剪成预设的固定尺寸并转成二维数据集，该固定尺寸为二维卷积神经网络接收尺寸。

所述步骤4包括以下步骤：

步骤4.1：输入训练样本，所述训练样本为步骤3得到的二维数据集；

步骤4.2：根据步骤4.1训练样本的数量，采用五折交叉验证，确定每次使用二维数据集的m％作为训练样本，1-m％作为测试样本，初始化卷积层和反卷积层中卷积核权重；

步骤4.3：每次输入一例病人的二维数据集到卷积神经网络；

步骤4.4：通过前向传播对卷积神经网络进行训练，最后通过归一化指数函数分类器，输出鼻咽肿瘤的概率分布；

步骤4.5：利用杰卡德相似度，计算步骤4.4输出的鼻咽癌的概率图与步骤2的标签数据的误差；

步骤4.6：基于步骤4.5计算的误差，优化网络的权重；

步骤4.7：重复步骤4.3-步骤4.6，直到训练损失和测试损失不再降低。

所述步骤4.5中的杰卡德指数为：

其中，PT是预测结果P和真实标签T的元素乘积，||X||₂是X的L2-范数。

所述步骤4.6中的优化网络权重采用SGD优化函数。

本发明具有以下优点及有益效果：

1、针对传统手工或半自动方法工作量大、标注质量不高或差异较大等问题，本发明可以实现对于鼻咽肿瘤的自动分割，且与主流网络对比能取得较高的精度。

2、本发明基于元素迭加，在下采样阶段，将每次采样输出的结果和上一层输出的结果融合并作为下一层的输入，以充分利用原始特征，同时在每一层中增加全连接结构，构建了不同尺度的卷积组成的网络来提取不同尺度的特征信息，以维持网络能够学习不同角度的特征信息。在上采样阶段，每个上采样层都融合了下采样层的信息并进行下一层上采样，使得原始特征中隐藏的特征信息被充分学习。

3、本发明能够很好的将鼻咽部肿瘤局域分割出来，并且本发明对于不同形状的鼻咽肿瘤具有良好的泛化能力。

附图说明

图1为本发明的网络结构图；

图2为本发明的方法流程图；

图3为两位医学专家的标注示例图；

图4为使用加权交叉熵的一些特定样本的预测结果图；

图5为使用本发明网络的预测结果图。

具体实施方式

下面结合附图及实施例对本发明做进一步的详细说明。

图1为本发明的网络结构，在下采样阶段，将原始特征不断地传递给每个残差块，以增加原始特征的重用，并横向传递给上采样阶段。在下采样阶段，本发明连接了两个卷积层以及一个全连接层生成的特征映射，形成一个含有两个平行卷积和一个全连接的网络单元。该结构对单一尺度提取的卷积特征进行重新采样，融合多尺度特征，并将全局上下文信息结合到模型中。在卷积后，使用全连接层来避免卷积过程中遗漏的特征信息。由于每个下采样阶段的图像尺寸不同，所以对应的卷积层使用的扩张率也不同，不同的扩张率使得网络能感知不同的感受野。本网络带有多尺度和层次化的语义信息，对分割不同大小的肿瘤和感知分层的上下文信息非常有效。

如图2所示，训练样本集均是由经验丰富的肿瘤医生标注的，并对数据进行一定的预处理，然后输入到网络中进行训练，保存分割效果最好的模型。对于新的病例数据，使用该模型进行分割预测，获得病变区域。相对于传统的人工判断，本发明可自动预测病变区域，降低了对医生的经验要求。本发明的一个实施例包括以下步骤：

步骤1：收集90例患鼻咽癌的病例，采集其鼻咽部位MRI的医学图像。

步骤2：由有经验的放射科肿瘤医师，对于病变区域逐层进行边缘标注，作为标签数据。

步骤3：对90例标签数据进行标准化预处理并转成二维数据集。

步骤3.1：在标签数据中选择包含鼻咽肿瘤的颈部以上的头部图像；

步骤3.2：对选择的头部图像进行重新采样至1.0×1.0×1.0mm³的分辨率(预定分辨率)；

步骤3.3：重新选取肿瘤区域，并把原始数据转换成二维数据集。具体的，本步骤包括：对重采样后的头部图像进行归一化处理，将图像的像素值归一化到0-255之间；对归一化后的头部图像以肿瘤区域为中心，在三个维度上扩展预定的范围，得到用于训练的头部图像，该扩展方法为现有技术，即从肿瘤区域中心往外扩展像素；将用于训练的头部图像裁剪成预设的固定尺寸并转成二维数据集，该固定尺寸为二维卷积神经网络接收尺寸。裁剪后的头部图像转成二维数据集的方法是：原始数据是三维的(如128*128*n)，分别抽取每一层的数据(128*128)组成的二维数据集，这样从128*128*n里面可以抽取出n个128*128的二维图像。

步骤4：构建带多尺度的二维卷积神经网络，对上述病例进行训练。该网络由三个下采样阶段和三个上采样阶段构成，每个下采样阶段由一个跳跃连接的残差块和一个全连接块组成。该残差块由一个卷积块和一个分步卷积块组成，每个卷积块包含一个卷积层，一个批量归一化层和一个激活函数层(Relu)。全连接块由两个全连接层，一个池化层和两个激活层组成。在上采样阶段，每进行一次上采样，把下采样输出的特征信息融合到该层输出中，并作为下一层的输入，最后连接Softmax。整个卷积神经网络的结构见图1。

步骤4.1：输入层用于接收训练样本；所述训练样本为步骤3得到的二维数据集。

步骤4.2：采用五折交叉验证，每次交叉验证使用72个病人(即90例的80％，本实施例中m＝80)的数据做训练样本，18个病人(即90例的20％，本实施例中m＝80)的数据做测试样本。初始化卷积层和反卷积层中卷积核权重；

步骤4.3：每次输入一例病人的二维数据集到步骤4中卷积神经网络中的输入层；

步骤4.4：通过前向传播对网络进行训练，最后通过Softmax，输出鼻咽癌的概率图；

步骤4.5：利用Jaccrad指数，计算步骤4.4输出的鼻咽癌的概率图与步骤2的标签数据集的误差：

其中，其中PT是预测结果(P)和真实标签(T)的元素乘积，||X||₂是X的L2-范数。

步骤4.6：基于步骤4.5计算的误差，本实验采用SGD优化函数，优化网络的权重。SGD是众多优秀优化函数中的一种，本实验采用的SGD优化函数，也可以采用其它优化函数。

步骤4.7：重复步骤4.3-步骤4.6，直到达到一定的迭代次数。

步骤5：对于待诊断的病例，采集同部位同样模态的医学图像，使用相同的预处理进行处理。

步骤6：针对该例病人，输入整个病人MRI数据，通过上面训练得到的模型，得到该病人的患鼻咽癌的病变区域。

如图3所示，为两位医学专家的标注示例，红色和绿色边框分别表示两位专家的标注，蓝色边框表示标注相同的部分。从图3中可以看出，不同的两位经验丰富的医生标注的肿瘤区域基本上是一致的，但在一些细节区域有一定的差异性。

如图4所示，可以看出，加权交叉熵通过扩大预测范围，来使正样本逃避惩罚，使得网络预测肿瘤的范围变大，所以网络结构并不能很好地准确判断肿瘤位置，导致DSC值都不高。其中一个样本的平均DSC评分为0.67，ASSD为2.256mm。

如图5所示，可以看出，使用本发明网络预测的肿瘤区域与手工标注的肿瘤区域基本一致，本发明网络充分的利用了训练样本的特征信息，所以网络结构能很好地准确预测肿瘤区域。

表1.使用Jaccard损失函数定量评估主流网络和我们网络的鼻咽癌分割结果

从表1可以看出，相比基准网络CNN-based和其他先进的网络，采用相同的杰卡德(Jaccard)相似度作为损失函数，本发明的网络在三个指标上都达到了较好的结果，本发明网络的平均DSC值达到了0.717，超过基准网络CNN-based的效果，说明采用长跳跃连接、全连接层对最终的分割结果是有帮助的。

Claims (5)

1.一种基于CNN的多尺度鼻咽肿瘤分割方法，其特征在于，包括以下步骤：

步骤1：收集若干例患鼻咽肿瘤的病例，采集其鼻咽部位MRI图像数据；

步骤2：对上述步骤1收集的MRI图像数据的病变区域逐层进行人工边缘标注，作为标签数据；

步骤3：对上述步骤2得到的标签数据进行标准化预处理并转成二维数据集；

步骤4：构建基于CNN的多层二维卷积神经网络，使用步骤3中的二维数据集进行训练；

步骤5：对于待分割的鼻咽部位MRI图像数据，采集同部位同样模态的医学图像，使用步骤3的方法对采集的图像进行标准化处理；

步骤6：通过步骤4训练得到的网络模型，对待分割的鼻咽部位MRI图像数据进行自动分割。

2.根据权利要求1所述的基于CNN的多尺度鼻咽肿瘤分割方法，其特征在于，所述步骤3包括以下步骤：

步骤3.1：在所述标签数据中选择包含鼻咽肿瘤的颈部以上的头部图像；

步骤3.2：对步骤3.1中选择的头部图像进行重新采样至预定分辨率；

步骤3.3：对步骤3.2得到的头部图像进行归一化处理，将图像的像素值归一化到0～255之间；

步骤3.4：对步骤3.3得到的头部图像以肿瘤区域为中心，在三个维度上扩展预定范围得到用于训练的头部图像；

步骤3.5：将步骤3.4得到的头部图像裁剪成预设的固定尺寸并转成二维数据集，该固定尺寸为二维卷积神经网络接收尺寸。

3.根据权利要求1所述的基于CNN的多尺度鼻咽肿瘤分割方法，其特征在于，所述步骤4包括以下步骤：

步骤4.1：输入训练样本，所述训练样本为步骤3得到的二维数据集；

步骤4.2：根据步骤4.1训练样本的数量，采用五折交叉验证，确定每次使用二维数据集的m％作为训练样本，1-m％作为测试样本，初始化卷积层和反卷积层中卷积核权重；

步骤4.3：每次输入一例病人的二维数据集到卷积神经网络；

步骤4.4：通过前向传播对卷积神经网络进行训练，最后通过归一化指数函数分类器，输出鼻咽肿瘤的概率分布；

步骤4.5：利用杰卡德相似度，计算步骤4.4输出的鼻咽癌的概率图与步骤2的标签数据的误差；

步骤4.6：基于步骤4.5计算的误差，优化网络的权重；

步骤4.7：重复步骤4.3-步骤4.6，直到训练损失和测试损失不再降低。

4.根据权利要求3所述的基于CNN的多尺度鼻咽肿瘤分割方法，其特征在于，所述步骤4.5中的杰卡德指数为：

其中，PT是预测结果P和真实标签T的元素乘积，||X||₂是X的L2-范数。

5.根据权利要求3所述的基于CNN的多尺度鼻咽肿瘤分割方法，其特征在于，所述步骤4.6中的优化网络权重采用SGD优化函数。