CN107301640A - 一种基于卷积神经网络的目标检测实现肺部微小结节检测的方法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络的目标检测实现肺部微小结节检测的方法，包括以下步骤：步骤A，采用边缘检测算法和二维高斯随机采样获取肺部CT图像中的待检测的疑似区域；步骤B，采用基于无监督训练单层与有监督整体微调的混合卷积神经网络(HCNN)提取表达肺部微小结节的特征；步骤C，使用基于核函数的支持向量机(SVM)分类器作为微小结节的分类方法；步骤D，根据分类结果对原始CT图像进行标注。本发明的方法基于无监督和有监督联合的卷积神经网络实现肺部微小结节检测，并使用多种方法增强特征表示的鲁棒性，是肺部微小结节检测的有效方案，对于医师判断肺部微小结节具有辅助意义，减少了医师对诊断经验的过度依赖。

Description

一种基于卷积神经网络的目标检测实现肺部微小结节检测的 方法

技术领域

本发明涉及CT图像中肺部微小结节检测，具体涉及一种基于卷积神经网络的目标检测实现肺部微小结节检测的方法。

背景技术

肺结节检测对肺癌的早期检测具有重要意义。目前，肺结节的检出率不断提高，部分原因是计算机断层扫描的广泛应用和医学成像技术的不断发展。受过训练的临床医生目视检查不同类型的医学图像，并确定类似于恶性肿瘤的迹象的可能位置。诊断的准确性高度依赖于临床医生的经验。计算机辅助检测技术可以自动检测医学图像中的疑似病变区域，并协助医师进行诊断，能够有效的减少医师的工作量，提高诊断的客观性。

临床医学中，将直径小于10mm的肺结节称为微小结节，在CT图像中像素范围为小于20²pixel。针对孤立性肺结节直径小于30mm的研究中，使用灰度阈值法、形态学特征、生理特征、主动外观建模等方法进行结节分类，但是，对小于10mm的肺部微小结节区域以上方法中结节特征无法取得，或者特征表达不合适。在计算机辅助筛查中，对于微小结节的早期检查仍然是一个困难的任务。

发明内容

本发明针对现有检测技术在肺部微小结节检测能力的不足的问题，提供一种基于卷积神经网络的目标检测实现肺部微小结节检测的方法，能够对大量已存在的病灶数据进行深度学习，提取肺部微小结节的潜在特征，并对疑似区域进行分类标注，为医师对查询病灶的诊断提供决策支持，从客观方面起到辅助诊断的作用。

本发明采用的技术方案为：

一种基于卷积神经网络的目标检测实现肺部微小结节检测的方法，包括以下步骤：

步骤A，采用边缘检测算法和二维高斯随机采样获取肺部CT图像中的待检测的疑似区域；为提高疑似区域特征的鲁棒性，对疑似区域进行预处理，即以原始ROI区域左上端顶点、右上端顶点、左下端顶点、右下端顶点分别为中心进行采样，同时，获取三个尺度的图像块作为原始数据的扩展，为之后提取表达肺部微小结节的特征以及分类器提供的疑似区域ROI图像；

步骤B，采用基于无监督训练单层与有监督整体微调的混合卷积神经网络(HCNN)提取表达肺部微小结节的特征；首先对于框架中的卷积层，使用无监督的方式进行参数调整，使得前向提取的特征在反向重构之后与输入尽可能相似，其次网络的整体调整方案由分类代价函数获取，并对整体网络参数进行微调；在无监督方式与有监督方式混合训练后获得表达微小结节的鲁棒性特征；

步骤C，使用基于核函数的支持向量机(SVM)分类器作为微小结节的分类方法；将多个并行的ROI区域特征联合，并使用PCA方法对联合特征进行降维，获取ROI区域的特征，并输入至支持向量机分类器对ROI区域进行二分类判别；

步骤D，根据分类结果对原始CT图像进行标注；使用判别结果及疑似区域位置对原始CT图像进行微小结节区域标注。

所述的方法，所述步骤A中疑似区域ROI获取过程如下：

A1、使用边缘检测方法获取ROI区域；

使用canny算子进行边缘检测算法对CT图像中高亮的边缘区域进行检测，并标注为疑似区域，以边缘上的多个像素点为中心获取固定大小区域的图像块作为下一步骤B深度学习模型提取特征的输入；Canny边缘检测通过计算图像每个像素值在x,y方向上的梯度幅值并获得梯度方向，使用非极大阈值方法减少假边缘，以此边缘点作为疑似区域的候选点中的一部分；

A2、使用二维高斯函数进行疑似区域获取；

为全面覆盖待检测的肺实质区域，根据肺实质区域的形态特征构建二维高斯概率函数进行随机区域选取，同时使得随机区域尽可能全部落在肺实质区域，减少随机选取的盲目性；二维高斯概率函数的数学表达式为：

其中，(x,y)为CT图像中的坐标值，μ₁和μ₂为期望值，σ₁和σ₂为方差，实验中μ₁＝170,μ₂＝270,σ₁＝40,σ₂＝80，参数选择是根据先验知识获取得到的；

A3、疑似区域图像变换与联合特征提取；

为提高模型的鲁棒性，对输入图像数据进行处理；以原始ROI区域左上端顶点、右上端顶点、左下端顶点、右下端顶点分别为中心进行采样，获得4个结节区域，同时，获取三个尺度的图像块作为原始数据的扩展，分别为14×14,10×10,8×8；将8个图像并行输入，联合提取的全连接层的特征向量；

所述的方法，所述步骤B具体过程如下：

B1、单层无监督重构卷积神经网络；

①在单个卷积层中，使用卷积神经网络前向提取输入特征，多个不同的卷积核使得网络能够提取输入数据的多种特征，并使用激活函数实现特征的输出；卷积操作的整体公式为：

其中，符号⊕表示卷积操作，函数f(·)表示激活函数，参数w_(n,j)和b_(n,j)分别表示第n个卷积层的第j个输出对应的权重和偏置；假设输入X_n-1的规模为N_r×N_c，w_(n,j)的规模为M_r×M_c，则输出Z_n的大小为(N_r-M_r+1)×(N_c-M_c+1)，表示第n层提取到图像空间特征；

②使用提取的特征进行输入的反向重建，其公式为：符号为逆卷积操作，f’(·)为激活函数的反函数；反向重建的过程中将偏置项b弃用，主要原因是偏置项为常数项，在卷积操作和反卷积操作中作用不大，因此，对重构的过程作用不大；

③构建重建损失函数进行单层卷积神经网络微调，调整的主要参数是每一层的权重项和偏置项；构建的损失函数公式如下：

损失函数由两项构成，第一项为重建误差，第二项为正则项，也称为惩罚项，λ为平衡两项的一个常量，损失函数对权重项和偏置项求偏导数，则获得权重项及偏置项的调整项；

B2、有监督卷积神经网络整体微调；

①多个卷积层堆叠形成的卷积神经网络经全连接层以及一个输出层完成分类任务，使用分类结果与实际类别进行比较，构建输出层的损失函数：

其中，y为结节图像对应的实际类别，为卷积神经网络预测的分类结果；

②计算网络整体分类误差；

③根据分类误差，使用反向传播算法计算每一层的残差，并微调每一层的权重项与偏置。

所述的方法，所述B1中③使用损失函数的值进行单层卷积神经网络中权重项与偏置项的微调，详细步骤如下：

第1步，使用单层卷积神经网络重构损失函数计算损失函数的值；

第2步，损失函数对权重项w求偏导的公式为：

第3步，损失函数对偏置项b求偏导的公式为：

第4步，更新权重项及偏置项：

其中，α为学习率；至此，根据损失函数对单层卷积神经调整结束。

所述的方法，所述步骤C中使用(PCA)算法混合卷积神经网络特征进行降维处理，其具体步骤如下：

第1步，特征中心化；

第2步，计算协方差矩阵C：

第3步，根据SVD求取协方差矩阵C的特征值λ_i以及相应的特征向量e_i；

第4步，降序排序特征值λ_i，在贡献率的基础上选取其k个特征值对应的特征向量，构成线性子空间T＝[e₁,e₂,…,e_k]；

第5步，将特征投射到线性子空间：V＝TX'。

所述的方法，所述步骤C中使用基于核函数的SVM分类器进行有监督的二分类学习，其具体步骤如下：

第1步，将经过PCA降维的特征作为SVM的输入；

第2步，设置SVM的目标函数及约束条件如下：

Constrain:y_i[(wx_i)+b]≥1-ξ_i ξ_i≥0

其中，ξ_i表示松弛变量，C表示惩罚因子，L表示样本的数量；使用核函数将低维非线性不可分特征转化高维线性可分特征，基于径向基核函数：

第3步，迭代训练SVM。

所述的方法，所述步骤D具体步骤如下：

第1步，根据步骤A获得待检测区域，并记录左上角坐标位置；

第2步，使用训练完成的HCNN及SVM进行结节和肺结节分类；

第3步，对分类结果中结节进行标注。

与现有技术相比，本发明的有益效果为：

1、本发明的方法基于深度学习卷积神经网络对CT图像中肺部微小结节病灶进行潜在特征提取，一方面解决传统特征提取方法在尺寸较小图像上的提取困难问题，另一方面，对大规模数据量的学习，提取到的特征具有普遍性和客观性；

2、通过使用本发明的技术，对CT图像中疑似区域进行准确标注，便于医师在海量数据中快速查找到肺部微小结节，减少了医师对诊断经验的过度依赖，同时减少漏诊的情况；

3、本发明中使用的深度学习方法，在训练数据量逐渐增加的情况下，其精度能够进一步提高，在数据量海量增长的情况下，并且线下训练与线上检测互不干扰。这种能力是传统检测方法所不具备的。

附图说明

图1是本发明对肺部CT图像中微小结节检测方法的框架图。

图2是本发明提取表达肺部微小结节特征的混合卷积神经网络(HCNN)。

图3是利用边缘检测算法与二维高斯函数进行待测区域提取的示意图。

图4是对输入数据进行尺度变换及中心点变换获得的8种图像示意图。

图5是卷积层输入与反向重构结果示意图。

具体实施方式

以下结合具体实施例，对本发明进行详细说明。

参照图1、2、3、4，本发明方法的实现流程如下：

一种基于卷积神经网络的目标检测实现肺部微小结节检测的方法，其特征在于，包括以下步骤：

步骤A，采用边缘检测算法和二维高斯随机采样获取肺部CT图像中的待检测的疑似区域；为提高疑似区域特征的鲁棒性，对疑似区域进行预处理，即以原始ROI区域左上端顶点、右上端顶点、左下端顶点、右下端顶点分别为中心进行采样，同时，获取三个尺度的图像块作为原始数据的扩展，为之后提取表达肺部微小结节的特征以及分类器提供的疑似区域ROI图像；

步骤B，采用基于无监督训练单层与有监督整体微调的混合卷积神经网络框架(HCNN)提取表达肺部微小结节的特征；首先对于框架中的卷积层，使用无监督的方式进行参数调整，使得前向提取的特征在反向重构之后与输入尽可能相似，其次网络的整体调整方案由分类代价函数获取，并对整体网络参数进行微调。在无监督方式与有监督方式混合训练后获得表达微小结节的鲁棒性特征；

步骤C，使用基于核函数的支持向量机(SVM)分类器作为微小结节的分类方法；将多个并行的ROI区域特征联合，并使用PCA方法对联合特征进行降维，获取ROI区域的特征，并输入至支持向量机分类器对ROI区域进行二分类判别。

步骤D，根据分类结果对原始CT图像进行标注；使用判别结果及疑似区域位置对原始CT图像进行微小结节区域标注。

所述步骤A中疑似区域ROI获取过程如下：

A1、使用边缘检测方法获取ROI区域；

肺结节的位置在CT中是有一定规律的，如胸膜牵拉型肺结节在肺实质边缘，同时肺结节的密度高，显示为高亮区域。因此，使用canny算子进行边缘检测算法对CT图像中高亮的边缘区域进行检测，并标注为疑似区域，获取固定区域大小作为下一步骤B深度学习模型提取特征的输入。Canny边缘检测通过计算图像每个像素值在x,y方向上的梯度幅值并获得梯度方向，使用非极大阈值方法减少假边缘，以此边缘点作为疑似区域的候选点中的一部分。

A2、使用二维高斯函数进行疑似区域获取；

为全面覆盖待检测的肺实质区域，根据肺实质区域的形态特征构建二维高斯概率函数进行随机区域选取，同时使得随机区域尽可能全部落在肺实质区域，减少随机选取的盲目性。二维高斯函数的数学表达式为：

其中，(x,y)为CT图像中的坐标值，μ₁和μ₂为期望值，σ₁和σ₂为方差，实验中μ₁＝170,μ₂＝270,σ₁＝40,σ₂＝80，参数选择是根据先验知识获取得到的。

A3、疑似区域图像变换与联合特征提取；

为提高模型的鲁棒性，对输入数据上进行处理。以原始ROI区域左上端顶点、右上端顶点、左下端顶点、右下端顶点分别为中心进行采样，获得4个结节区域，同时，获取三个尺度的图像块作为原始数据的扩展，分别为14×14,10×10,8×8。将8个图像并行输入，联合提取的全连接层的特征向量。

所述步骤B具体过程如下：

B1、单层无监督重构卷积神经网络；

①在单个卷积层中，使用卷积神经网络前向提取输入特征，多个不同的卷积核使得网络能够提取输入数据的多种特征，并使用激活函数实现特征的输出。卷积操作的整体公式为：

其中，符号⊕表示卷积操作，函数f(·)表示激活函数，参数w_(n,j)和b_(n,j)分别表示第n个卷积层的第j个输出对映的权重和偏置。假设输入X_n-1的规模为N_r×N_c，w_(n,j)的规模为M_r×M_c，则输出Z_n的大小为(N_r-M_r+1)×(N_c-M_c+1)，表示第n层提取到图像空间特征。

②使用提取的特征进行输入的反向重建，其公式为：符号为逆卷积操作，f’(·)为激活函数的反函数。反向重建的过程中将偏置项b弃用，主要原因是偏置项为常数项，在卷积操作和反卷积操作中作用不大，因此，对重构的过程作用不大。

③构建重建损失函数进行单层卷积神经网络微调，调整的主要参数是每一层的权重项和偏置项。构建的损失函数公式如下：

损失函数由两项构成，第一项为重建误差，第二项为正则项，也称为惩罚项，λ为平衡两项的一个常量，损失函数对权重项和偏置项求偏导数，则获得权重项及偏置项的调整项。

B2、有监督卷积神经网络整体微调；

①多个卷积层堆叠形成的卷积神经网络经全连接层以及一个输出层完成分类任务，使用分类结果与实际类别进行比较，构建输出层的损失函数：

其中，y为结节图像对应的实际类别，为卷积神经网络预测的分类结果。

②计算网络整体分类误差；

③根据分类误差，使用反向传播算法计算每一层的残差，并微调每一层的权重项与偏置。

优选的，所述方法中，使用损失函数的值进行单层卷积神经网络中权重项与偏置项的微调，详细步骤如下：

第1步，使用单层卷积神经网络重构损失函数计算损失函数的值；

第2步，损失函数对权重项w求偏导的公式为：

第3步，损失函数对偏置项b求偏导的公式为：

第4步，更新权重项及偏置项：

其中，α为学习率。至此，根据损失函数对单层卷积神经调整结束。

优选的，所述的方法，使用(PCA)算法混合卷积神经网络特征进行降维处理，其具体步骤如下：

第1步，特征中心化；

第2步，计算协方差矩阵C：

第3步，根据SVD求取协方差矩阵C的特征值λ_i以及相应的特征向量e_i；

第4步，降序排序特征值λ_i，在贡献率的基础上选取其k个特征值对应的特征向量，构成线性子空间T＝[e₁,e₂,…,e_k]；

第5步，将特征投射到线性子空间：V＝TX'。

优选的，所述的方法，使用基于核函数的SVM分类器进行有监督的二分类学习，其具体步骤如下：

第1步，将经过PCA降维的特征作为SVM的输入；

第2步，设置SVM的目标函数及约束条件如下：

Constrain:y_i[(wx_i)+b]≥1-ξ_i ξ_i≥0

其中，ξ_i表示松弛变量，C表示惩罚因子，L表示样本的数量。使用核函数将低维非线性不可分特征转化高维线性可分特征，基于径向基核函数：

第3步，迭代训练SVM。

所述步骤D具体步骤如下：

第1步，根据步骤A获得待检测区域，并记录左上角坐标位置；

第2步，使用训练完成的HCNN及SVM进行结节和肺结节分类；

第3步，对分类结果中结节进行标注。

图3是对CT图进行边缘检测及二维高斯函数随机采样的示意图，从图中可以看出在随机采样基本覆盖肺实质区域，同时对边缘点增加采样点，重点检测具有胸膜牵拉及血管牵拉的肺部微小结节。

图4是对输入数据进行扩充，在卷积神经网络中数据的质量对实验效果的影响很重要，因此增加原始数据在水平、竖直及尺度方向上的变换，共计8种类型，联合提取特征具有在多个方向上的不变性，提高特征的鲁棒性。

图5对比了在多层之间的输入数据与重构结果。第一行分别为第二层、第三层、第四层卷积层的输入，第二行分别为第二层、第三层、第四层卷积层的重构结果。从图中可以直观的看出在低层的重构结果与实际结果具有相似性，因此通过迭代重构能够对输入数据的特征进行尽可能的提取。而在高层的特征更接近与语义层，直观上难以判断。

表1是本发明在肺部图像数据联盟LIDC-IDRI数据集中的部分实验结果。可以发现在本发明在肺部微小结节检测达到81.3±2.3％的覆盖率和78.9±4.3％的准确率。提高检出正确率的方法在于提高参与训练的数据集质量。

表1 LIDC数据集中部分实验结果

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (7)

1.一种基于卷积神经网络的目标检测实现肺部微小结节检测的方法，其特征在于，包括以下步骤：

步骤A，采用边缘检测算法和二维高斯随机采样获取肺部CT图像中的待检测的疑似区域；为提高疑似区域特征的鲁棒性，对疑似区域进行预处理，即以原始ROI区域左上端顶点、右上端顶点、左下端顶点、右下端顶点分别为中心进行采样，同时，获取三个尺度的图像块作为原始数据的扩展，为之后提取表达肺部微小结节的特征以及分类器提供的疑似区域ROI图像；

步骤B，采用基于无监督训练单层与有监督整体微调的混合卷积神经网络(HCNN)提取表达肺部微小结节的特征；首先对于框架中的卷积层，使用无监督的方式进行参数调整，使得前向提取的特征在反向重构之后与输入尽可能相似，其次网络的整体调整方案由分类代价函数获取，并对整体网络参数进行微调；在无监督方式与有监督方式混合训练后获得表达微小结节的鲁棒性特征；

步骤C，使用基于核函数的支持向量机(SVM)分类器作为微小结节的分类方法；将多个并行的ROI区域特征联合，并使用PCA方法对联合特征进行降维，获取ROI区域的特征，并输入至支持向量机分类器对ROI区域进行二分类判别；

步骤D，根据分类结果对原始CT图像进行标注；使用判别结果及疑似区域位置对原始CT图像进行微小结节区域标注。

2.根据权利要求1所述的方法，其特征在于，所述步骤A中疑似区域ROI获取过程如下：

A1、使用边缘检测方法获取ROI区域；

使用canny算子进行边缘检测算法对CT图像中高亮的边缘区域进行检测，并标注为疑似区域，以边缘上的多个像素点为中心获取固定大小区域的图像块作为下一步骤B深度学习模型提取特征的输入；Canny边缘检测通过计算图像每个像素值在x,y方向上的梯度幅值并获得梯度方向，使用非极大阈值方法减少假边缘，以此边缘点作为疑似区域的候选点中的一部分；

A2、使用二维高斯函数进行疑似区域获取；

为全面覆盖待检测的肺实质区域，根据肺实质区域的形态特征构建二维高斯概率函数进行随机区域选取，同时使得随机区域尽可能全部落在肺实质区域，减少随机选取的盲目性；二维高斯概率函数的数学表达式为：

其中，(x,y)为CT图像中的坐标值，μ₁和μ₂为期望值，σ₁和σ₂为方差，实验中μ₁＝170,μ₂＝270,σ₁＝40,σ₂＝80，参数选择是根据先验知识获取得到的；

A3、疑似区域图像变换与联合特征提取；

为提高模型的鲁棒性，对输入图像数据进行处理；以原始ROI区域左上端顶点、右上端顶点、左下端顶点、右下端顶点分别为中心进行采样，获得4个结节区域，同时，获取三个尺度的图像块作为原始数据的扩展，分别为14×14,10×10,8×8；将8个图像并行输入，联合提取的全连接层的特征向量。

3.根据权利要求1所述的方法，其特征在于，所述步骤B具体过程如下：

B1、单层无监督重构卷积神经网络；

①在单个卷积层中，使用卷积神经网络前向提取输入特征，多个不同的卷积核使得网络能够提取输入数据的多种特征，并使用激活函数实现特征的输出；卷积操作的整体公式为：

其中，符号⊕表示卷积操作，函数f(·)表示激活函数，参数w_(n,j)和b_(n,j)分别表示第n个卷积层的第j个输出对应的权重和偏置；假设输入X_n-1的规模为N_r×N_c，w_(n,j)的规模为M_r×M_c，则输出Z_n的大小为(N_r-M_r+1)×(N_c-M_c+1)，表示第n层提取到图像空间特征；

②使用提取的特征进行输入的反向重建，其公式为：符号为逆卷积操作，f’(·)为激活函数的反函数；反向重建的过程中将偏置项b弃用，主要原因是偏置项为常数项，在卷积操作和反卷积操作中作用不大，因此，对重构的过程作用不大；

③构建重建损失函数进行单层卷积神经网络微调，调整的主要参数是每一层的权重项和偏置项；构建的损失函数公式如下：

损失函数由两项构成，第一项为重建误差，第二项为正则项，也称为惩罚项，λ为平衡两项的一个常量，损失函数对权重项和偏置项求偏导数，则获得权重项及偏置项的调整项；

B2、有监督卷积神经网络整体微调；

①多个卷积层堆叠形成的卷积神经网络经全连接层以及一个输出层完成分类任务，使用分类结果与实际类别进行比较，构建输出层的损失函数：

其中，y为结节图像对应的实际类别，为卷积神经网络预测的分类结果；

②计算网络整体分类误差；

③根据分类误差，使用反向传播算法计算每一层的残差，并微调每一层的权重项与偏置。

4.根据权利要求3所述的方法，其特征在于，所述B1中③使用损失函数的值进行单层卷积神经网络中权重项与偏置项的微调，详细步骤如下：

第1步，使用单层卷积神经网络重构损失函数计算损失函数的值；

第2步，损失函数对权重项w求偏导的公式为：

第3步，损失函数对偏置项b求偏导的公式为：

第4步，更新权重项及偏置项：

其中，α为学习率；至此，根据损失函数对单层卷积神经调整结束。

5.根据权利要求1所述的方法，其特征在于，所述步骤C中使用(PCA)算法混合卷积神经网络特征进行降维处理，其具体步骤如下：

第1步，特征中心化；

第2步，计算协方差矩阵C：

第3步，根据SVD求取协方差矩阵C的特征值λ_i以及相应的特征向量e_i；

第4步，降序排序特征值λ_i，在贡献率的基础上选取其k个特征值对应的特征向量，构成线性子空间T＝[e₁,e₂,…,e_k]；

第5步，将特征投射到线性子空间：V＝TX'。

6.根据权利要求1所述的方法，其特征在于，所述步骤C中使用基于核函数的SVM分类器进行有监督的二分类学习，其具体步骤如下：

第1步，将经过PCA降维的特征作为SVM的输入；

第2步，设置SVM的目标函数及约束条件如下：

Object:

Constrain:y_i[(wx_i)+b]≥1-ξ_i ξ_i≥0

其中，ξ_i表示松弛变量，C表示惩罚因子，L表示样本的数量；使用核函数将低维非线性不可分特征转化高维线性可分特征，基于径向基核函数：

第3步，迭代训练SVM。

7.根据权利要求1所述方法，其特征在于，所述步骤D具体步骤如下：

第1步，根据步骤A获得待检测区域，并记录左上角坐标位置；

第2步，使用训练完成的HCNN及SVM进行结节和肺结节分类；

第3步，对分类结果中结节进行标注。