CN109919230B

CN109919230B - 基于循环特征金字塔的医学图像肺结节检测方法

Info

Publication number: CN109919230B
Application number: CN201910177870.9A
Authority: CN
Inventors: 姬红兵; 朱文文; 张文博; 刘思成; 段育松
Original assignee: Xidian University
Current assignee: Xidian University
Priority date: 2019-03-10
Filing date: 2019-03-10
Publication date: 2022-12-06
Anticipated expiration: 2039-03-10
Also published as: CN109919230A

Abstract

本发明公开了一种基于循环特征金字塔的医学图像肺结节检测方法，主要解决现有技术对肺部微小结节和磨玻璃结节提取难度大而导致检测精度低的问题。其实现步骤为：1)获取医学图像；2)对医学图像进行预处理，扩充样本数据集；3)结合特征图构建循环特征金字塔检测模型；4)利用扩充数据集样本对检测模型进行训练，得到目标检测模型；5)将数据集中的测试集输入到训练好的检测模型中进行肺部结节检测。本发明构建了新的特征提取网络，加快了网络训练速度，增强了对不同尺寸结节的敏感度，提高了医学图像肺部结节的检测精度，可用于计算机辅助医疗诊断***。

Description

基于循环特征金字塔的医学图像肺结节检测方法

技术领域

本发明属于计算机视觉领域，特别涉及一种医学图像肺结节检测方法，可用于对医学图像的识别。

背景技术

据国家癌症中心报道，肺癌的发生率在癌症中位居第二，其早期症状多为肺结节形态出现，因此肺结节的检测和诊断对挽救肺癌患者具有重大意义。近年来，随着人们生活环境的恶化和生活习惯的改变，肺癌人群呈现增长趋势，同时肺癌的高死亡率使得社会对此的关注度日益提升。我国各大医院的CT装载机数量显著增多，结合它们提供的肺部高分辨率CT图像，利用基于特征金字塔的检测方法对CT图像进行处理和分析，为医生提供更加详细的诊断信息，辅助医生对肺部疾病患者做出准确的诊断，减轻了医生的工作负担。

目前肺癌计算机辅助诊断技术主要步骤有：肺部区域分割、肺结节特征提取和肺结节分类识别。在肺部区域分割环节，传统的方法包括灰度阈值分割、区域增长、连通标记。传统的分割方法容易造成大量结节丢失。在特征提取方面，对结节的形态学特征、局部区域特征等方面的病理特征进行人工特征提取。人工特征提取耗时且对提取特征人员的专业技术要求高。常见的分类器有基于规则的分类器、线性分类器、最近邻分类器、贝叶斯分类器、支持向量机、人工神经网络等。这些方法共同的缺陷是：需要依靠使用者的先验知识和大量尝试来确定规则和选择参数，增加了分类器的复杂性，容易造成训练的过拟合，导致检测过程中容易漏检小结节，检测精度低。

发明内容

本发明的目的在于针对上述现有方法的不足，提出一种基于循环特征金字塔的医学图像肺结节检测方法，以减少肺结节的漏检情况，提高肺结节检测精度。

本发明的技术实现方案如下：

一.技术原理

卷积神经网络可用于图像检测有两个关键因素：局部连接和权值共享。局部连接是每个神经元仅与输入神经元的一块区域连接，这块局部区域被称为感受野。全权值共享是每个神经元用同一个卷积核去卷积图像。这两个关键因素极大程度上减少了参数的计算量，避免了传统方法中繁琐的特征提取和组合，使得普通的计算机能够负担。卷积神经网络通过不同层的特征图来对原始图片进行表示学习。训练的神经网络模型不需要人为的设计特征作为输入，其自身通过有监督学习自动探索其事物内在的特征。

本发明就是利用卷积神经网络提取医学图像的浅层纹理特征和深层语义特征，将其两者特征进行循环融合，提高网络的表示能力，以实现肺结节检测功能，减少漏检，提高检测精度，并通过引入DCGAN网络来生成训练样本，扩充样本数据集，以减小现有技术由于带标签医学图像数据集不丰富所导致的过拟合。

二.根据上述原理，本发明具体技术方案包括如下：

(1)从公开数据集LIDC-IDRI从中选取1000份胸部扫描图像，通过读取原始提供数据库的XML格式注释文件，提取出肺部结节坐标位置信息，并用脱敏的胸部扫描图和肺部节点坐标信息组成样本数据集，将样本数据集中的700份胸部扫描图像作为训练数据集T，300份胸部扫描图像作为数据测试集；

(2)将700份训练数据集T输入DCGAN网络生成新的肺部扫描图片数据集Z，同时对生成的扫描图片数据集Z和原始的训练数据集图片T进行缩放和随机裁剪，得到扩充后的数据集作为新的训练数据集S；

(3)构建循环特征金字塔：

(3a)由Resnet-50网络中前3个stage共19层卷积层组成金字塔的第一部分网络，将训练数据集S输入到第一部分网络中，输出342个第一特征图；

(3b)由五层新卷积层组成金字塔的第二部分网络，各层结构如下：

第一层新卷积层的卷积核个数为513个，卷积核大小为3*3，输出513个第二特征图；

第二层新卷积层的卷积核个数为255个，卷积核大小为3*3，输出255个第三特征图；

第三层新卷积层的卷积核个数为255个，卷积核大小为3*3，输出255个第四特征图；

第四层新卷积层的卷积核个数为129个，卷积核大小为3*3，输出129个第五特征图；

第五层新卷积层的卷积核个数为128个，卷积核大小为3*3，输出128个第六特征图；

(3c)将第一部分网络得到的第一特征图与第二部分网络得到的第二至第五特征图做循环融合，组成循环特征金字塔；

(4)将循环特征金字塔中第二到第六特征图与原始图片中目标位置和类别进行编码比对，利用特征图与原始图片的位置误差p和类别误差q计算分类损失函数L和区域位置回归损失函数M，构建目标检测损失函数：N＝L+αM，其中α为0到1之间的常数；

(5)应用批量梯度下降法对总损失N进行迭代训练，得到目标检测模型；

(6)将得到的目标检测模型对测试集中每张医学图像进行测试，得到每张医学图像中的结节检测结果。

本发明具有如下优点：

第一，本发明由于采用DCGAN网络来扩充训练样本集，解决了数据量不足导致的模型过拟合问题，提高了模型的泛化能力。

第二，本发明通过循环融合浅层的纹理特征信息和深层的语义特征信息构建的网络结构，能够更好地检测出肺部的小结节，对于肺癌的早期治疗提供了非常有价值的信息。

第三，本发明构建的网络结构由于是一个端到端的医学图像网络结构，使得医学图像的检测的流程更加简洁，降低了训练过程中误差的累积，提高了检测精度。

附图说明

图1是本发明的实现总流程图；

图2是本发明中进行数据扩充的子流程图；

图3是本发明中Resnet50网络提取第一特征图的子流程图；

图4是本发明中构建的循环特征金字塔网络结构图；

图5是用本发明对测试集中结节的检测结果图。

具体实施方式

下面结合附图对本发明的实施例和效果做进一步详细说明。

参照图1，本发明的具体步骤如下：

步骤1，获取医学图像。

从公开数据集LIDC-IDRI从中选取1000份胸部扫描图像，通过读取原始提供数据库的XML格式注释文件，提取出肺部结节坐标位置信息，并用脱敏的胸部扫描图和肺部节点坐标信息组成样本数据集，将样本数据集中的700份胸部扫描图像作为训练数据集，300份胸部扫描图像作为数据测试集。

步骤2，扩充样本数据集。

参照图2，本步骤具体实现如下：

(2a)引入均匀噪声J作为DCGAN网络中生成网络G的输入，生成图片数据集F；

(2b)将生成的图片数据集F和原始训练图片数据集T作为DCGAN网络中判别网络D的输入，得到判别概率P；

(2d)设定阈值Q＝0.90，迭代训练DCGAN网络，直至判别概率P>Q，生成新的肺部扫描图片数据集Z；

(2e)对生成的扫描图片数据集Z和原始的训练数据集图片T进行缩放和随机裁剪，得到扩充后的数据集作为新的训练数据集S。

步骤3，构建循环特征金字塔网络。

(3a)由Resnet-50网络中前3个stage共19层卷积层组成第一部分网络；

(3b)将训练数据集S中的图片输入到第一部分网络中，输出342个第一特征图；

参照图3，本步骤的具体实现如下：

(3b1)将数据集S中的图片进行零填充，得到零填充图片S₁；

(3b2)将零填充图片S₁输入到Resnet50网络中的stage1部分，依次进行卷积、批归一化、去线性和池化操作，得到342张stage1特征图；

(3b3)将stage1特征图输入Resnet50网络中的stage2部分进行卷积，得到342张stage2特征图；

(3b4)将stage2特征图输入Resnet50网络中的stage3部分进行卷积，得到342张第一特征图；

(3c)构建第二部分网络，各层结构如下：

(3c)将第一部分网络得到的第一特征图与第二部分网络得到的第二至第五特征图做循环融合，构成循环特征金字塔；

参照图4，该步骤具体实现如下：

(3c1)将训练数据集图片S输入到第二部份网络的第一层新卷积层中，得到513个第二特征图；

(3c2)将第一特征图与第二特征图进行融合，得到整二特征图：

(3c2_1)在第一部分得到的342个第一特征图中取114个子特征图进行下采样，得到下采样第一特征图；

(3c2_2)在第二部分网络得到的513个第二特征图中取342个子特征图进行上采样，得到上采样第二特征图；

(3c2_3)将下采样第一特征图与上采样第二特征图做拼接，形成个数为456的整二特征图。

(3c3)将整二特征图输入第二部分网络的第二层新卷积层中，得到255个第三特征图；

(3c4)将第二特征图与第三特征图进行融合，得到整三特征图：

(3c4_1)在第二部分网络得到的513个第二特征图中取171个子特征图进行下采样，得到下采样第二特征图；

(3c4_2)在第二部分网络得到的255个第三特征图中取170个子特征图进行上采样，得到上采样第三特征图；

(3c4_3)将下采样第二特征图与上采样第三特征图进行拼接，形成个数为341的整三特征图；

(3c5)将整三特征图输入第二部分网络的第三层新卷积层中，得到255个第四特征图；

(3c6)将第三特征图和第四特征图进行融合，得到整四特征图：

(3c6_1)在第二部分网络得到的255第三特征图取85个子特征图做下采样，得到下采样第三特征图；

(3c6_2)在第二部分网络得到的255个第四特征图中取170个子特征图做上采样，得到上采样第四特征图；

(3c6_3)将下采样第三特征图与上采样第四特征图进行拼接，形成个数为255的整四特征图；

(3c7)将整四特征图输入到第二部分网络的第四层卷积层中，得到129个第五特征图；

(3c8)将第四特征图与第五特征图融合，得到整五特征图：

(3c8_1)在第二部分网络得到的255个第四特征图中取85个子特征图做下采样，得到下采样第四特征图；

(3c8_2)在第二部分网络得到的129个第五特征图中取86个子特征图做上采样，得到上采样第五特征图；

(3c8_3)将下采样第四特征图与上采样第五特征图拼接，形成个数为171整五特征图。

(3c9)将整五特征图输入到第二部分网络的第五层卷积层中，得到128个第六特征图，

(3c10)将第五特征图与第六特征图进行融合，得到整六特征图：

(3c10_1)在第二部分网络得到的129个第五特征图中取43个子特征图做下采样，得到下采样第五特征图；

(3c10_2)在第二部分网络得到的128个第六特征图中取85个子特征图做上采样，得到上采样第六特征图；

(3c10_3)将下采样第五特征图与上采样第六特征图拼接，形成个数为128的整六特征图。

步骤4，构建目标检测损失函数N(x，c，l，g)。

(4a)将循环特征金字塔输出的第二至第六特征图分别划分成4*4的小网格；

(4b)在每个小网格的中心画五个默认矩形框，每个默认矩形框的长与宽比设为1，2，3，1/2，1/3；

(4c)设定匹配搜索总框m的初始值为0；

(4d)通过交并比公式来计算默认矩形框与目标真实框的重叠比例U，当U≥0.5时，得到的匹配搜索总框m值加1；

(4e)通过L₁平滑损失函数公式，计算定位误差

其中x为输入的训练数据集图片，l为默认矩形框，g为真实框，

表示第x张图片中第i个匹配搜索框，g_j表示第x张图片中第j个真实框；

(4f)通过对数函数公式，计算分类误差

其中x为输入的训练数据集图片，c表示概率，

表示在第x张图片中第i个搜索匹配框中的物体被判定为结节的概率，

表示第x张图片中第i个搜索匹配框外的物体被判定为非结节的概率；

(4g)根据定位误差p(x,l,g)计算区域位置回归损失：

(4h)根据分类误差q(x,c)计算分类损失：

(4i)得到目标损失函数N(x，c，l，g)＝L(x，c)+αM(x，l，g)，其中，x表示输入的训练数据集图片，c表示置信度，l表示默认矩形框，g表示真实框，L表示类别损失，M表示定位损失，α为0到1之间的常数。

步骤5，对总损失N进行迭代训练，得到训练好目标检测模型。

本步骤具体实现如下：

(5a)在每次迭代训练中，从训练集S中取出32张肺部扫描图片输入循环特征金字塔网络；

(5b)应用批量梯度下降法对特征循环金字塔网络迭代训练30000次，得到训练好的目标检测模型，其中，前20000次训练的学习率设为0.01，后10000次训练的学习率设为0.001。

步骤6，将测试集中每张胸部扫描图像输入训练好的目标检测模型对肺结节进行检测，得到每张胸部扫面图像的检测结果。

本发明的效果可以通过以下仿真结果进一步说明。

1.仿真条件：

本发明仿真实验采用的数据样本是从公开数据集LIDC-IDRI随机选取300份胸部扫描图像。仿真实验的目的是检测出扫描图中肺结节目标，得到测试数据集中的检测召回率和平均精度。

本发明的仿真实验的计算机环境：操作***为Linux ubuntu 16.04版本；软件平台为：Python、tensorflow。

2.仿真内容与结果分析：

仿真1，用本发明对测试数据集中每张胸部扫描图进行测试，得到单张医学图像中的肺结节检测结果，如图5。

如图5可见，本发明能够正确检测出医学图像中右肺部块上的小结节。

仿真2，用本发明与现有的特征提取网络VGGNet-16、ResNet-34、ResNet-50分别利用训练好的检测模型对测试集中的每张扫描图进行测试，统计其测召回率和平均精度，结果如表1

表1不同方法测试的召回率和平均精度对比

从表1可见，使用本发明方法对医学图像进行肺结节检测能够获得较理想的结果。

Claims

1.基于循环特征金字塔的医学图像肺部结节检测方法，包括：

(3)构建循环特征金字塔：

2.根据权利要求1所述方法，其特征在于：步骤(2)对训练数据集T输入DCGAN网络生成新的肺部扫描图片数据集Z，其实现如下：

(2d)设定阈值Q＝0.90，迭代训练DCGAN网络，直至判别概率P大于Q，生成新的肺部扫描图片数据集Z。

3.根据权利要求1所述的方法，其特征在于，步骤(3c)组成循环特征金字塔，按如下步骤进行：

(3c1)将训练数据集图片S输入到第二部份的第一层新卷积层中，得到513个第二特征图；

(3c2)将第一特征图与第二特征图进行融合，得到整二特征图；

(3c5)将整三特征图输入第二部分网络的第三层卷积层中，得到255个第四特征图；

(3c7)将整四特征图输入第二部分网络的第四层卷积层中，得到129个第五特征图，

(3c8)将第四特征图与第五特征图融合，得到整五特征图：

(3c9)将整五特征图输入第二部分网络的第五层卷积层中，得到128个第六特征图，

(3c10)将第五特征图与第六特征图进行融合，得到整六特征图。

4.根据权利要求1所述的方法，其特征在于，(4)中利用特征图与原始图片的位置误差p和类别误差q计算分类损失函数L和区域位置回归损失函数M，其具体实现如下：

(4c1)将循环特征金字塔输出的第二至第六特征图分别划分成4*4的小网格；

(4c2)在每个小网格的中心画五个默认矩形框，每个默认矩形框的长与宽比设为1，2，3，1/2，1/3；

(4c3)设定匹配搜索总框m的初始值为0；

(4c4)通过交并比公式计算默认矩形框与目标真实框的重叠比例U，当U≥0.5时，得到的匹配搜索总框m值加1；

(4c5)通过L₁平滑损失函数公式，计算定位误差p；

(4c6)通过对数损失函数公式，计算分类损失q；

(4c7)根据定位误差p计算区域位置回归损失

(4c8)根据类别误差q计算分类损失

5.根据权利要求1所述的方法，其特征在于，(5)中应用批量梯度下降法对总损失N进行迭代训练，得到训练好目标检测模型，其具体实现如下：

(5c1)在每次迭代训练中，从训练集S中取出32张肺部扫描图片输入循环特征金字塔网络；

(5c2)对特征循环金字塔网络迭代训练30000次，得到训练好的目标检测模型，其中，前20000次训练的学习率设为0.01，后10000次训练的学习率设为0.001。

6.根据权利要求3所述的方法，其特征在于，(3c2)将第一特征图与第二特征图进行融合，得到整二特征图，其具体实现如下：

7.根据权利要求3所述的方法，其特征在于，(3c4)将第二特征图与第三特征图进行融合，得到整三特征图，其具体实现如下：

(3c4_3)将下采样第二特征图与上采样第三特征图进行拼接，形成个数为341的整三特征图。

8.根据权利要求3所述的方法，其特征在于，(3c6)中将第三特征图与第四特征图进行融合，得到整四特征图，其具体实现如下：

(3c6_1)在第二部分网络得到的255第三特征图取85个子特征图做下采样得到下采样第三特征图；

(3c6_2)在第二部分网络得到的255个第四特征图中取170个子特征图做上采样得到上采样第四特征图；

(3c6_3)将下采样第三特征图与上采样第四特征图进行拼接，形成个数为255的整四特征图。

9.根据权利要求3所述的方法，其特征在于，步骤(3c8)中将第四特征图与第五特征图进行融合，得到整五特征图，其具体实现如下：

(3c8_1)在第二部分网络得到的255个第四特征图中取85个子特征图做下采样得到下采样第四特征图；

(3c8_2)在第二部分网络得到的129个第五特征图中取86个子特征图做上采样得到上采样第五特征图；

10.根据权利要求3所述的方法，其特征在于，步骤(3c10)中将第五特征图与第六特征图进行融合，得到整六特征图，其具体实现如下：

首先，在第二部分网络得到的129个第五特征图中取43个子特征图做下采样得到下采样第五特征图；

其次，在第二部分网络得到的128个第六特征图中取85个子特征图做上采样得到上采样第六特征图；

最后，将下采样第五特征图与上采样第六特征图拼接，形成个数为128的整六特征图。