CN110309860B - 基于卷积神经网络对肺结节的恶性程度进行分类的方法 - Google Patents

Abstract

本发明涉及基于卷积神经网络对肺结节的恶性程度进行分类的方法，属于计算机图像处理技术领域。本发明针对不同肺结节预处理出不同尺寸的ROI图像块，在不引入过多的噪音干扰的前提下，对肺结节的多个层面进行基于残差网络的特征提取，通过两个阶段的特征融合获得更精确的特征信息，以此策略来提取出更高质量的特征表达。通过卷积神经网络提取肺结节的细粒度特征表达，综合考虑提取到的多个层面的特征信息，实现对肺结节特征信息的准确提取，最终对肺结节恶性程度进行分类。

Description

基于卷积神经网络对肺结节的恶性程度进行分类的方法

技术领域

本发明涉及一种基于卷积神经网络对肺结节的恶性程度进行分类的方法，属于计算机图像处理技术领域。

背景技术

通常对肺部结节的计算机辅助检测(computer aided detection,CAD)技术流程包括：图像预处理，肺实质分割，候选肺结节提取，假阳性结节去除，结节检测性能分析。由于大多数假阳性结节是由血管区域引起的，经典的3D线性滤波器移除肺部区域血管的方法不能很好的滤除噪音的干扰，因此Liu等采用基于几何和统计特征结合的方法初始候选结节，大大降低了假阳性结节率。早期对肺结节恶性程度的诊断主要通过设置阈值，并观察结节不同时间结节体积的变化，最后通过一种标准公式来评估出结节增长率的方式进行诊断，然而这些方法对患者历史诊断数据依赖性强，因此难以实际应用。除了针对肺结节形状、体积等特征之外，也有研究者针对结节的细粒度特征进行研究，如Way等通过对结节的光滑度、分叶征和毛刺征等特点进行良恶性诊断。Orozco等利用有监督的二分类SVM算法，通过对CT图像进行两次小波计算并选择特征作为SVM的输入，实现对肺结节进行检测，而Firmino等使用分水岭和定向梯度直方图(HOG)技术来分离结节与其周围结构来提取肺结节的特征信息，最终得到了较好的分类结果。

肺结节的形状特性是对其诊断的重要依据之一，以肺结节的形状差异来判断其良恶性的方法已被验证了其有效性，然而由于肺结节特征各异，仅针对形状差异会丢失许多细粒度信息。因此目前已有研究人员利用深度学习强大的特征学习和特征表达能力，对肺部CT图像进行研究，如Ciompi等采用OverFeat的预训练CNN的输出来描述2D视图的肺结节，最终AUC达到了0.868。Setio等设计并构建一个多视图架构，融合两次的特征信息来抑制假阳性结节，从而达到了不错的效果。Dou等通过建立一个3D全卷积神经网络过滤假阳性结节，并用设计使用混合损失残差网络来识别肺结节的位置和大小信息，该方法在LUNA16数据集上取得了不错的结果。正是由于有监督的深度学习方法可以直接通过不断训练模型的特征学习能力，来自动识别与过滤掉图像中的噪声干扰部分，从而提高了肺结节检测的准确度，同时减少了传统方法中对数据预处理的繁琐工作。

发明内容

本发明解决的技术问题为：针对传统的肺结节特征提取方法提取的特征具有局限性，不能灵活的泛化，以及现有深度学习方法仅依靠单层切片，考虑信息还不够全面的问题，本发明提供了一种基于卷积神经网络的多层面二阶特征融合模型，提出采用深度神经网络对多层面的肺结节进行特征提取，不仅能够提取出传统方中常用的结节几何形状和灰度特征，还能够对结节的空间位置和基于统计学的纹理特征等几个方面进行特征提取。

本发明的技术方案是：一种基于卷积神经网络对肺结节的恶性程度进行分类的方法，所述方法的具体步骤如下：

Step 1、对图像预处理，根据切片上肺结节的长径不同，切割出尺寸为R＝{16*16,32*32,64*64,128*128}的感兴趣区域Region Of Interest,ROI图像块；

进一步地，所述步骤Step 1的具体步骤如下：

Step1.1、根据切片上肺结节的长径不同，切割出尺寸为R＝{16*16,32*32,64*64,128*128}的感兴趣区域Region Of Interest,ROI图像块；

Step1.2、根据切片间的间隔和切片厚度，以及肺结节长径r，r(3mm,30mm)，因连续3张切片即可覆盖大多数肺结节，故抽取连续3张长径最大的肺结节所对应的ROI图像块s1,s2,s3作为模型的训练样本。

Step 2、在子模块M1中采用残差网络ResNet50的网络模型，通过该模块对多层面的肺结节进行初步特征提取，可同时得到同一个肺结节不同切片的特征表达；

进一步地，所述步骤Step2的具体步骤如下：

Step2.1、接收一个三元组的ROI图像块输入和肺结节恶性程度标签，每一层图像卷积得到的输出分别标记为s*_f1,s*_f2,s*_f3,s*_f4,s*_f5，其中*表示所抽取的切片编号{1,2,3}；

Step2.2、通过对三张图像块的特征提取，在特征融合计算中舍弃对s*_f1的直接使用，分别得到4层(s*_f2,s*_f3,s*_f4,s*_f5)对应的特征表达，由于每一层都处于网络的不同深度，因此每一层的输出都包含了不同的语义信息；

Step 3、利用M1子模块中提取的4层特征信息分别与不同尺度的特征进行融合，然后将最终得到的三个图片特征信息进行二次融合，得到一个特征向量F；

进一步地，所述步骤Step3的具体步骤如下：

Step3.1、在特征融合时，首先将conv5x层的输出s*_f5用的卷积核进行卷积，得到输出向量s*_f6；然后将将s*_f4用的卷积核进行卷积，并s*_f6进行上采样Upsample，目的是使得到的向量的维度与s*_f4维度相同，然后将两者进行融合，融合方式通过加法合并，得到s*_f7，对于s*_f3和s*_f2层执行同样的操作，分别得到s*_f8和s*_f9，其中conv Lm₂(Lm₂＝{6，7，8，9})均为卷积核

的卷积操作；于是由浅及深的得到融合后的特征信息s*_f9，该层包含了图像中所关注目标的轮廓、灰度等特征信息，以及更抽象的高层语义信息，提取得到的肺结节的特征表达更加完善与准确；

Step3.2、将第一步融合后的特征向量s*_f9分别经过的卷积核进行卷积，得到特征向量s*_f10；此时的向量s*_f10具有相同的维度，即高(h)、宽(w)和通道数(c)三个维度均相同：h₁＝h₂＝h₃，w₁＝w₂＝w₃，c₁＝c₂＝c₃；因此将三个向量在通道方向进行合并，得到一个维度为h₁×w₁×3c₁的特征向量F。

Step 4、将向量F经过全局平均池化层和全连接层的展开，最终通过Softmax函数得到肺结节恶性程度的分类结果。

残差网络的第子层特征可以表示为该层之前的所有残差函数输出

以及第一层的特征表达的总和，因此定义残差网络中第L子层的特征表达为：

其中，W_j表示第j个子层的权重参数，l∈(0，50)，此处为了表达方便省去了偏置项b_j。则第i个样本在残差网络中每个层L的特征表达如下：

其中，*表示输入样本的三个ROI图像块s1，s2，s3，Lm₁表示模块M1的层，并且Lm₁∈{1，2，3，4，5}。另用Lm₂表示模块M2的层，Lm₂∈{6，7，8，9，10}。于是模块中涉及到的1x1的卷积操作conv Lm₂表示如下：

因此由模块M1的顶层输出可表示为

可得到

对高层特征与低层进行特征融合：

其中，k∈{6，7，8}，upsample2D(·)表示执行2D上采样操作。将Lm₂＝10带入式*，得到第10层的特征表达

对得到的三个特征表达进行融合：

于是得到特征向量F的维度在深度方向增加了2倍。

将得到的向量F采用全局平均池化操作以及经过全连接层后得到，于是通过交叉熵函数构造出CMSFF模型的损失函数为：

其中，s_θ(·)表示Softmax函数，θ为模型的参数，将模型输出

代入其中：

于是得到最终的目标函数为：

其中，式中的最后一项为L2正则化项，λ为正则化参数，w为模型中的所有权值。通过最小化该目标函数，对网络参数进行迭代更新来训练出一个肺结节恶性程度分类的CMSFF模型。

进一步地，通过卷积神经网络对胸部CT图像的肺结节进行特征提取时，为了减少特征信息的丢失与损耗，本模型在子模块M1中采用残差网络ResNet50的网络模型；该网络模型通过残差映射函数更高效的学习前一层输入输出的差异部分，在网络收敛到一定程度时，输入信息能跳过部分层次的网络，以此来保护信息的完整性，同时还能简化特征提取的复杂度；

基于卷积神经网络的多层面特征提取子模块M1是整个肺结节特征提取模型的基础，通过该模块对多层面的肺结节进行初步特征提取，能同时得到同一个肺结节不同切片的特征表达；其中子模块M1是由三个并行的神经网络构成，网络部分均采用ResNet50的前49层；前49层激活函数全部使用ReLU。

尽管通过M1模块已经得到了肺结节图像块的顶层特征s*_f5，并且得到的顶层特征包含的语义比较丰富，但是顶层特征包含的ROI轮廓、灰度等信息通常却较为粗略。而在包含语义信息相对较少的低层特征s*_f2，s*_f3中所包含的ROI轮廓、灰度等信息较为精确。针对肺结节的特征提取，抽象的高层语义信息固然重要，但是并不能忽略肺结节在的轮廓、灰度等特征的变化。因此加入低层的特征信息进行多尺度特征融合，使提取到的语义信息更具鲁棒性。于是本模型在对胸部CT进行特征提取的时候，采用二阶特征融合方式，结合卷积神经网络不同层输出的多尺度的特征信息，分别将低层特征和高层特征进行融合的方式提取出CT图像更为精确和完整的特征信息。

本发明的有益效果是：

本发明采用基于卷积神经网络的多层面二阶特种融合方式对肺结节的恶性程度进行分类，目的是提取出准确的肺结节特征信息。考虑到肺结节周围存在复杂的噪音环境，因此针对不同肺结节预处理出不同尺寸的ROI图像块，在不引入过多的噪音干扰的前提下，对肺结节的多个层面进行基于残差网络的特征提取，通过两个阶段的特征融合获得更精确的特征信息，以此策略来提取出更高质量的特征表达，同时弱化结节周围噪音的干扰。实验过程中，通过对输入到模型中的图像进行调整，最终验证了采用三个层面的ROI图像块进行特征提取的有效性；通过训练模型对肺结节恶性程度的5个等级进行分类，并且与现有方法肺结节恶性程度分类的方法进行了实验对比，最终验证了所训练模型的可行性。

附图说明

图1为基于CMSFF肺结节特征提取总体框架；

图2为本发明中特征的提取与融合步骤图；

图3为本发明中不同肺结节的切割样例图；

图4为本发明中恶性程度分类实验流程图；

图5为本发明实施例中训练样本的损失值曲线图；

图6为本发明实施例中测试样本的损失值曲线图；

图7为本发明实施例中模型准确率曲线图。

具体实施方式

实施例1：如图1-7所示，一种基于卷积神经网络对肺结节的恶性程度进行分类的方法；

本例研究内容所用的数据集是肺结节研究领域的公开数据集The Lung ImageDatabase Consortium and Image Database Resource Initiative(LIDC-IDRI)。该数据集包含1010例患者的肺部CT扫描成像结果，数据集中包含四位领域专家对患者的成像结果进行诊断与标注，分别标注了每一位患者长径<3mm的结节、长径>＝3mm的结节以及长径>3mm的非结节的位置信息，并给出了结节的病理描述及评价级别。体积在水平面以512*512*512的分辨率，元素空间为0.74*0.74mm²。尽管从LIDC-IDRI数据集中筛选过的LUNA16数据集是目前研究肺结节常用的数据库，但LUNA16数据集中没有保留肺结节的位置信息以及对应的病理描述级别，因此本例采用LIDC-IDRI数据集，并根据实验需要进行相应的预处理。

本例实验通过对胸部CT图像进行特征提取，训练出CMSFF模型，实现肺结节的恶性程度分类，实验流程如图4所示。

所述方法的具体步骤如下：

Step 1、对图像预处理，根据切片上肺结节的长径不同，切割出尺寸为R＝{16*16,32*32,64*64,128*128}的感兴趣区域(Region Of Interest,ROI)图像块；

具体的，肺结节在一张切片上被定义为长径在3-30mm内的类圆形病灶区域，因此一个3维结构的肺结节可通过连续多张切片表示出来。通常情况下，从胸部CT的DICOM文件中提取出来的CT图像是512*512，残差网络的标准输入图像大小是224*224，因此需要对提取到的胸部CT图像进行处理。为了避免直接从512*512的图像压缩到224*224造成像素的损失，本例采用对原始CT图像进行切割的方法。

由于肺结节尺寸大小不固定，通常出现在肺内某一局部位置，原始CT图像中噪音区域与目标区域比值过大(噪音如肺结节周围的组织器官、肺内组织液等)，为了减少输入到网络模型中的噪音干扰，本文在对实验数据预处理时，根据数据集中对肺结节的位置及尺寸标注，切割出不同尺寸的ROI图像块。具体方法是根据DICOM文件生成JPG图像的DPI值(DPI＝96)，计算得到肺结节在JPG图像上的像素区间为(11px,114px)，本文根据该尺寸在数据预处理时切割出能完全覆盖肺结节区域的最小矩形，且取矩形的边长为R∈{16×16,32×32,64×64,128×128}，并扩充成224*224像素大小的JPG格式的ROI图像块。得到的ROI图像块如图3所示，左为从原始CT图像中切割出来的ROI图像块，右图为针对不同的尺寸块均扩充成224*224的ROI图像块。

Step 2、在子模块M1中采用残差网络ResNet50的网络模型，通过该模块对多层面的肺结节进行初步特征提取，可同时得到同一个肺结节不同切片的特征表达；

进一步地，所述步骤Step2的具体步骤如下：

Step2.1、接收一个三元组的ROI图像块输入和肺结节恶性程度标签，每一层图像卷积得到的输出分别标记为s*_f1,s*_f2,s*_f3,s*_f4,s*_f5，其中*表示所抽取的切片编号{1，2，3}；

Step2.2、通过对三张图像块的特征提取，在特征融合计算中舍弃对s*_f1的直接使用，分别得到4层(s*_f2，s*_f3，s*_f4，s*_f5)对应的特征表达，由于每一层都处于网络的不同深度，因此每一层的输出都包含了不同的语义信息；

Step 3、利用M1子模块中提取的4层特征信息分别与不同尺度的特征进行融合，然后将最终得到的三个图片特征信息进行二次融合，得到一个特征向量F；

进一步地，所述步骤Step3的具体步骤如下：

Step3.1、在特征融合时，首先将conv5x层的输出s*_f5用的卷积核进行卷积，得到输出向量s*_f6；然后将将s*_f4用的卷积核进行卷积，并s*_f6进行上采样Upsample，目的是使得到的向量的维度与s*_f4维度相同，然后将两者进行融合，融合方式通过加法合并，得到s*_f7，如图3(b，c)所示，对于s*_f3和s*_f2层执行同样的操作，分别得到s*_f8和s*_f9，其中conv Lm₂(Lm₂＝{6，7，8，9})均为卷积核

的卷积操作。于是由浅及深的得到融合后的特征信息s*_f9，该层包含了图像中所关注目标的轮廓、灰度等特征信息，以及更抽象的高层语义信息，提取得到的肺结节的特征表达更加完善与准确；

Step3.2、将第一步融合后的特征向量s*_f9分别经过的卷积核进行卷积，得到特征向量s*_f10；此时的向量s*_f10具有相同的维度，即高(h)、宽(w)和通道数(c)三个维度均相同：h₁＝h₂＝h₃，w₁＝w₂＝w₃，c₁＝c₂＝c₃；因此将三个向量在通道方向进行合并，得到一个维度为h₁×w₁×3c₁的特征向量F。

Step 4、将向量F经过全局平均池化层和全连接层的展开，最终通过Softmax函数得到肺结节恶性程度的分类结果。

模型训练算法如下：

算法：肺结节恶性程度分类

(1)输入：

图片集：

n个样本；

标签集：L＝{l₁，l₂，l₃，…，l_n}，每个样本对应一个标签信息

(2)输出：

恶性程度分类结果P

(3)MalignancyClassification(R，L)：

1)初始化参数：epoch，batchSize，leamRate

2)数据增强ImageDataGenerator(R)

3)执行迭代操作：

4)FOR从一个批次的样本中取[s1，s2，s3]：

5)通过ResNet50提取图像每一层特征{s^(*)f₁，s^(*)f₂，s^(*)f₃，s^(*)f₄，s^(*)f₅}

6)s^(*)f₅进行1×1卷积s^(*)f₆

7)END FOR

8)FOR特征融合k∈{6，7，8}：

9)

10)END FOR

11)

12)全局平均池化：

13)特征信息输入全连接层：

14)Softmax函数输出分类结果：

15)通过损失函数计算出误差

进行反向传播更新网络参数W，b

16)epoch次迭代结束

本例主要针对肺结节特征提取的方法模型进行研究，在实验中为了便于直观的评价所提出模型对肺结节特征提取的质量好坏，因此本节在模型的输出后面，添加两层全连接层，将输入的肺结节进行恶性程度分类，以肺结节的恶性程度等级作为模型的输出，并作为实验的最终评价结果。在实验的结果中计算出混淆矩阵，采用真阳性率TPR(敏感度)、假阳性率FPR进行评价，用ROC曲线与横轴和纵轴所围成图像的面积AUC作为肺结节恶性程度分类的评价指标。纵轴的真阳性率TPR(敏感度)和横轴的假阳性率FPR以及AUC的计算公式定义如下：

其中，TP表示真阳性数量，FP表示假阴性数量，FN表示假阳性数量，TN表示真阴性数量，x与y分别是ROC曲线的坐标点FPR和TPR，m是坐标点的数量。

本文通过上述实验流程进行肺结节的分类训练，得到训练过程中损失值的曲线如图5所示。通过对CMSFF模型的训练，得到训练过程中的损失值的曲线。在模型训练400次之后模型趋于收敛，并且随着迭代次数的增加，损失函数的值稳定在一个小的区间内。在测试样本中，CMSFF模型的损失值如图6所示，测试数据在模型中的损失值稳定在0.1到0.2之间。

在训练CMSFF模型的过程中，准确率曲线如图7所示，模型准确率曲线在500次迭代之后逐渐趋于稳定，并在迭代800次之后收敛。测试样本在模型中的准确率最终达到0.92。

为了对比模型最终的肺结节恶性程度分类效果，本文通过肺结节恶性程度分类的ROC曲线计算AUC的值，与传统方法以及现有的基于神经网络方法在肺结节恶性程度分类上进行对比，结果如下表所示。在恶性程度的5个级别上，得到的AUC值优于Firmino的结果，此外本文实验结果在总体上也略优于其他几个恶性与良性的分类结果。

方法模型	AUC	结节数量	类别
				Lee et al.	0.89		恶性肺结节，初始肺结节
Way et al.	0.857	256	恶性肺结节，初始肺结节
				Francesco et al.	0.86		恶性肺结节，初始肺结节
Firmino et al.	0.91	1109	肺结节恶性程度
				CMSFF	0.92	527	肺结节恶性程度

上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (2)

1.基于卷积神经网络对肺结节的恶性程度进行分类的方法，其特征在于：所述方法的具体步骤如下：

Step 1、对图像预处理，根据切片上肺结节的长径不同，切割出尺寸为R＝{16*16,32*32,64*64,128*128}的感兴趣区域Region OfInterest,ROI图像块；

Step 2、在子模块M1中采用残差网络ResNet50的网络模型，通过该模块对多层面的肺结节进行初步特征提取，可同时得到同一个肺结节不同切片的特征表达；

Step 3、利用M1子模块中提取的4层特征信息分别与不同尺度的特征进行融合，然后将最终得到的三个图片特征信息进行二次融合，得到一个特征向量F；

Step 4、将向量F经过全局平均池化层和全连接层的展开，最终通过Softmax函数得到肺结节恶性程度的分类结果；

所述步骤Step 1的具体步骤如下：

Step1.1、根据切片上肺结节的长径不同，切割出尺寸为R＝{16*16,32*32,64*64,128*128}的感兴趣区域Region OfInterest,ROI图像块；

Step1.2、根据切片间的间隔和切片厚度，以及肺结节长径r，r(3mm,30mm)，因连续3张切片即可覆盖大多数肺结节，故抽取连续3张长径最大的肺结节所对应的ROI图像块s1,s2,s3作为模型的训练样本；

所述步骤Step2的具体步骤如下：

Step2.1、接收一个三元组的ROI图像块输入和肺结节恶性程度标签，每一层图像卷积得到的输出分别标记为s*_f1,s*_f2,s*_f3,s*_f4,s*_f5，其中*表示所抽取的切片编号{1,2,3}；

Step2.2、通过对三张图像块的特征提取，在特征融合计算中舍弃对s*_f1的直接使用，分别得到4层(s*_f2,s*_f3,s*_f4,s*_f5)对应的特征表达，由于每一层都处于网络的不同深度，因此每一层的输出都包含了不同的语义信息；

所述步骤Step3的具体步骤如下：

Step3.1、在特征融合时，首先将conv5x层的输出s*_f5用的卷积核进行卷积，得到输出向量s*_f6；然后将s*_f4用的卷积核进行卷积，并s*_f6进行上采样Upsample，目的是使得到的向量的维度与s*_f4维度相同，然后将两者进行融合，融合方式通过加法合并，得到s*_f7，对于s*_f3和s*_f2层执行同样的操作，分别得到s*_f8和s*_f9，其中convLm₂(Lm₂＝{6,7,8,9})均为卷积核

的卷积操作；于是由浅及深的得到融合后的特征信息s*_f9，该层包含了图像中所关注目标的轮廓、灰度特征信息，以及更抽象的高层语义信息，提取得到的肺结节的特征表达更加完善与准确；

Step3.2、将第一步融合后的特征向量s*_f9分别经过的卷积核进行卷积，得到特征向量s*_f10；此时的向量s*_f10具有相同的维度，即高(h)、宽(w)和通道数(c)三个维度均相同：h₁＝h₂＝h₃,w₁＝w₂＝w₃,c₁＝c₂＝c₃；因此将三个向量在通道方向进行合并，得到一个维度为h₁×w₁×3c₁的特征向量F。

2.根据权利要求1所述的基于卷积神经网络对肺结节的恶性程度进行分类的方法，其特征在于：通过卷积神经网络对胸部CT图像的肺结节进行特征提取时，为了减少特征信息的丢失与损耗，在子模块M1中采用残差网络ResNet50的网络模型；该网络模型通过残差映射函数更高效的学习前一层输入输出的差异部分，在网络收敛到一定程度时，输入信息能跳过部分层次的网络，以此来保护信息的完整性，同时还能简化特征提取的复杂度；

基于卷积神经网络的多层面特征提取子模块M1是整个肺结节特征提取模型的基础，通过该模块对多层面的肺结节进行初步特征提取，能同时得到同一个肺结节不同切片的特征表达；其中子模块M1是由三个并行的神经网络构成，网络部分均采用ResNet50的前49层；前49层激活函数全部使用ReLU。

Images