CN107274402A - 一种基于胸部ct影像的肺结节自动检测方法及*** - Google Patents

Abstract

本发明公开了一种基于胸部CT影像的自动检测方法及***，其中方法包括如下步骤：接收胸部CT影像图片，利用预设的3D卷积神经网络对胸部CT影像图片进行肺结节病灶检测，输出检测结果；接收CT影像图片及检测结果，将检测结果与对应的胸部CT影像图片加载至一起作为合并文件；获取合并文件并进行可视化处理，在可视化处理的合并文件上向用户提供浏览辅助操作，并提供计算测量功能。本发明通过肺区域分隔、候选肺结节提取以及假阳性消除的处理，提高了病灶检测的效率，且假阳性效率达到97.7％，同时利用可视化的三维形态直观的辅助医生对结节的形态的判断。

Description

一种基于胸部CT影像的肺结节自动检测方法及***

技术领域

本发明涉及医学影像计算机辅助诊断技术领域，具体涉及一种基于胸部CT影像的肺结节自动检测方法及***。

背景技术

胸部CT影像的肺结节自动检出技术，旨在自动发现影像中的结节病灶，同时尽量减少假阳性。现有的肺结节检出技术一般分为四个步骤：图像预处理、肺区域分割、候选结节提取和假阳性消除。

不同来源的胸部CT影像通常层间距、像素尺度都不尽相同，因此需要将其通过预处理，统一尺度。肺区域分割可以缩小检出范围，不仅可以减少时间消耗，也可以有效降低假阳性。常用的肺区域分割算法包括灰度阈值分割、连通区域生成、种子生长、基于图割等多种，并会利用开闭运算等形态学操作以及边缘平滑约束进行编辑修复。候选结节提取和假阳性消除是肺结节检出的核心部分，即以较低的代价提取大量的候选结节，然后利用复杂的算法消除假阳性。这部分技术主要分为两大类：一类基于人工设计的规则和结节特征、一类基于深度学习。

前者主要出现在早期的CAD(Computer Aided Diagnosis，计算机辅助诊断)***中。肺结节在CT影像中一般呈现为高密度的类球体。通过灰度阈值联通区域分割、拉普拉斯-高斯滤波和类球体约束等方法可以找出大部分结节，但也会带来大量的假阳性。随后利用区域轮廓、形态、密度等混合特征，综合支持向量机、随机森林等分类器，提取出真正的结节。这一类算法主要存在三大问题：1)磨玻璃结节敏感性较低，磨玻璃结节对比于实性结节密度较低，且边缘较难提取，不仅难以通过有效的分割算法检出候选，而且缺乏有效的用于分类的特征描述。据统计，多数CAD***对于磨玻璃结节的敏感性在20％～50％之间；2)容易遗漏形态不规则的结节，尤其是大结节。人工设计的特征很难全面有效的描述结节的特性，尤其是对于一些形态不规则的结节，如形态较为复杂的大结节(毛刺、分叶、牵拉胸膜等等)；3)假阳性较高。人工设计的特征通常难以区分一些结节与其他结构之间的细节差别，如血管、胸膜粘连、胸膜牵拉等等。

近几年来，深度学***。一些研究人员也将深度学***行于血管走行的方向做投影，否则其形态都是高密度的点状结构，难以与结节区分开来。

针对以上问题，我们设计了基于3D深度卷积神经网络的肺结节检出技术。3D深度卷积神经网络,直接以原始的3D图像块直接作为输入，可以充分利用影像的上下文信息，从而挖掘出更为有效的影像特征和分类算法。

发明内容

本发明的目的是通过3D深度卷积神经网络的使用，直接以原始的3D图像块直接作为输入，充分利用影像的上下文信息，从而挖掘出更为有效的影像特征和分类算法，以便提高结节检测的敏感性，降低漏检率，并最大限度减少假阳性。

为了实现上述目的，本发明提供了一种基于胸部CT影像的自动检测方法，包括如下步骤：

接收胸部CT影像图片，利用预设的3D卷积神经网络对胸部CT影像图片进行肺结节病灶检测；

将检测结果与对应的胸部CT影像图片进行合并，生成合并文件；

获取合并文件并进行可视化处理，在可视化处理的合并文件上向用户提供浏览辅助操作，并提供计算测量功能。

进一步，所述利用预设的3D卷积神经网络对胸部CT影像图片进行肺结节病灶检测具体包括如下步骤：

按照预设尺度阈值调整所有CT影像图片，得到统一尺度的CT影像图片；

对统一尺度的CT影像文件进行分割，提取肺区域；

利用肺区域分割算法对肺区域进行处理，得到候选肺结节；

对候选肺节点进行假阳性消除，将肺节点进行轮廓精细化处理。

进一步，所述利用肺区域分割算法对肺区域进行处理，得到候选肺结节包括

构建第一卷积神经网络，并利用预采集的肺区域图像进行训练，得到肺区域分割模型。

进一步，所述对候选肺结节进行假阳性消除，将肺结节进行轮廓精细化处理包括

构建第二卷积神经网络，并进行训练得到假阳性消除模型。

进一步，所述获取合并文件并进行可视化处理之后，在可视化处理的合并文件上向用户提供浏览辅助操作之前还包括

判断否需要对合并文件对应的CT影像图片进行随访；

如果需要随访，调用与CT影像图片对应患者的历史影像记录；

选择并获取历史影像记录；

通过多窗口将选择的历史影像记录进行可视化显示。

进一步，所述获取合并文件并进行可视化处理，在可视化处理的合并文件上向用户提供浏览辅助操作后还包括

监控并获取对检测结果的测量操作或影像重定位操作；

根据测量辅助操作或影像重定位操作将检测结果进行可视化输出。

本发明还提供了一种基于胸部CT影像的自动检测***，包括

病灶检测单元，用于接收胸部CT影像图片，利用预设的3D卷积神经网络对胸部CT影像图片进行肺结节病灶检测；

文件合并单元，用于根据检测结果获取对应的胸部CT影像图片，将检测结果与对应的胸部CT影像图片加载至一起作为合并文件；

诊断输出单元，用于获取合并文件并进行可视化处理，在可视化处理的合并文件上向用户提供浏览辅助操作，并提供计算测量功能。

进一步，所述肺结节检测平台包括

图像预处理模块，用于按照预设尺度阈值调整所有CT影像图片，得到统一尺度的CT影像图片；

肺区域分割模块，用于对统一尺度的CT影像文件进行分割，提取肺区域；

肺结节提取模块，用于利用肺区域分割算法对肺区域进行处理，得到候选肺结节；

假阳性消除模块，用于对候选肺节点进行假阳性消除，将肺节点进行轮廓精细化处理。

进一步，诊断输出单元包括

可视化模块，用于利用可视化技术将合并文件进行显示；

浏览辅助模块，用于在合并文件的CT影像图片或检测结果上进行测量辅助操作；

输出模块，用于根据用户的辅助操作进行可视化显示。

进一步，诊断输出单元还包括

随访判断模块，用于判断是否需要对合并文件对应的CT影像图片进行随访；

随访处理模块，用于如果需要随访，调用与CT影像图片对应患者的历史影像记录；

选择获取模块，用于选择并获取历史影像记录；

随访显示模块，用于通过多窗口将选择的历史影像记录进行可视化显示。

在上述技术方案中，本发明通过肺区域分隔、候选肺结节提取以及假阳性消除的处理，提高了病灶检测的效率，且假阳性效率达到97.7％，同时利用可视化的三维形态直观的辅助医生对结节的形态的判断。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为本发明所述的基于胸部CT影像的自动检测***的框图结构示意图；

图2为本发明所述基于胸部CT影像的自动检测***中病灶检测单元的框图结构示意图；

图3为本发明所述基于胸部CT影像的自动检测***中诊断输出单元的框图结构示意图；

图4为本发明所述基于胸部CT影像的自动检测方法的流程示意图；

图5为本发明所述基于胸部CT影像的自动检测方法中病灶检测的流程示意图；

图6为本发明所述基于胸部CT影像的自动检测方法中可视化操作处理的流程示意图；

图7为应用本发明所述基于胸部CT影像的自动检测方法一个实施例的框架结构示意图。

具体实施方式

为了使本领域的技术人员更好地理解本发明的技术方案，下面将结合附图对本发明作进一步的详细介绍。

如图1所示，本发明还提供了一种基于胸部CT影像的自动检测***，包括病灶检测单元10、文件合并单元20和诊断输出单元30。其中，

病灶检测单元10，用于接收胸部CT影像图片，利用预设的3D卷积神经网络对胸部CT影像图片进行肺结节病灶检测，输出检测结果；

本发明中病灶检测单元能够根据CT影像图片进行预处理、肺区域分隔、候选肺结节提取和假阳性消除，进行病灶检测。在就诊大夫诊断前先对CT影像图片进行判断。就诊大夫通过查看检测结果，再次进行确认，以便提高诊断的精确性。

文件合并单元20，用于接收CT影像图片及检测结果，将检测结果与对应的胸部CT影像图片加载至一起作为合并文件；

诊断输出单元30，用于获取合并文件并进行可视化处理，在可视化处理的合并文件上向用户提供浏览辅助操作，并提供计算测量功能。

如图2所示，病灶检测单元10包括图像预处理模块101、肺区域分隔模块102、肺节点提取模块103和假阳性消除模块104。其中，图像预处理模块101，用于按照预设尺度阈值调整所有CT影像图片，得到统一尺度的CT影像图片；肺区域分割模块102，用于对统一尺度的CT影像文件进行分割，提取肺区域；肺结节提取模块103，用于利用肺区域分割算法对肺区域进行处理，得到候选肺结节；假阳性消除模块104，用于对候选肺节点进行假阳性消除，将肺节点进行轮廓精细化处理。

如图3所示，诊断输出单元包括可视化模块301、浏览辅助模块302和输出模块303。其中，可视化模块301利用可视化技术将合并文件进行显示；浏览辅助模块302在合并文件的CT影像图片或检测结果上进行测量辅助操作；输出模块303，用于根据用户的辅助操作进行可视化显示。进一步，诊断输出单元30还包括随访判断模块304、随访处理模块305、选择获取模块306和随访显示模块307。其中，随访判断模块304用于判断是否需要对合并文件对应的CT影像图片进行随访；随访处理模块305用于如果需要随访，调用与CT影像图片对应患者的历史影像记录；选择获取模块306用于选择并获取历史影像记录；随访显示模块307用于通过多窗口将选择的历史影像记录进行可视化显示。

图4为本发明所述的基于胸部CT影像的自动检测方法的具体实施方式的流程示意图。

在S101中，病灶检测单元10接收胸部CT影像图片，以便对CT影像图片进行病灶检测，得出检测结果。

在S102中，文件合并单元20接收CT影像图片及检测结果，将检测结果与其对应的CT影像图片加载至一个文件，生成合并文件。

在S103中，诊断输出单元30获取合并文件并进行可视化处理，在可视化处理的合并文件上向用户提供浏览辅助操作，并提供计算测量功能，以便诊断大夫在诊断结果上进行放大、缩小、移动等浏览辅助操作，详细分析检测结果，并通过计算测量功能(如长度测量、角度测量、面积测量等测量辅助操作功能)，可以控制胸部CT影像的定向位置，包括：冠状位、矢状位、横轴位，对检测结果进行详细分析，分析判断是否对检测结果进行修改。

图5为病灶检测时的具体流程示意图的一个例子。

在S101中具体包括S1011-S1014。

在S1011中，图像预处理模块101对CT影像图片进行预处理，具体按照预设尺度阈值调整所有CT影像图片，得到统一尺度的CT影像图片。

不同的CT影像参数不尽相同，如像素间距、层间距等。预处理的目的是统一影像的“比例尺”，使得一个像素、相邻层间距对应的物理大小是一致的，有助于后续模型的训练。经过预处理，CT影像可能会变大，影像内容无损失。

具体实施时，本实施例采用的预处理算法是基于3D空间的插值算法。首先计算结果3D图像中每个像素点坐标Pⁱ在原始3D图像中的对应位置Oⁱ，然后取原始图像中Oⁱ的8邻域像素(Oⁱ所处单元立方体的8个顶点)，对于其中每个像素点，以Oⁱ同其对角点构成的立方体体积作为权值，最后加权平均得到Pⁱ的像素值。

在S1012中，肺区域分隔模块102对统一尺度的CT影像文件进行分割，提取肺区域。肺区域分隔的目的在于提取候选肺结节，因此肺区域分隔算法的应用十分重要。当今主流的肺区域分割算法，都是基于灰度的，容易将边缘的大结节、斑片等高密度区域也划分为肺外区域，因此本发明利用的基于深度卷积神经网络的分割算法，参考了影像中的语义信息，更有助于异常肺区域的划分。

在S1013中，肺结节提取模块103利用肺区域分割算法对肺区域进行处理，得到候选肺结节。考虑到传统的技术方案很难做到准确的结节自动分割，往往需要人工的干预、辅助。本发明利用3D深度卷积神经网络实现结节自动分割，能够充分利用上下文的语义信息，对与血管、胸膜粘连的结节、形态复杂的大结节和磨玻璃结节等较难案例均有着较准确的分割效果。更进一步，所述利用肺区域分割算法对肺区域进行处理，得到候选肺结节包括构建第一卷积神经网络(即基于深度卷积神经网络)，并利用预采集的肺区域图像进行训练，得到肺区域分割模型。具体使用中，将候选肺结节所处的3D图像块作为输入，通过构建好的3D卷积和反卷积网络，得到分割响应图。在训练阶段，以人工标注肺结节区域和分割响应图之间的交叉熵作为损失函数，通过一定次数的迭代计算更新网络参数。在测试阶段，首先利用训练好的网络计算出分割响应图，然后将其二值化，最后选出其中最大的连通区域作为肺结节区域。因此，由于本发明将候选结节周围的整个3D图像块作为输入，该3D图像块包含了结节的3D空间上下文信息，而3D深度卷积网络由3D卷积核组成，其在3D空间滑窗捕捉特征，然后通过多层级联，组合成3D语义信息。

在S1014中，假阳性消除模块104对候选肺节点进行假阳性消除，将肺节点进行轮廓精细化处理。具体而言，对候选肺结节进行假阳性消除得到的肺结节轮廓比较粗糙，本发明在假阳性消除后对肺结节轮廓进行精细化处理以便就诊大夫更清晰的查看。更进一步，所述对候选肺结节进行假阳性消除，将肺结节进行轮廓精细化处理包括构建第二卷积神经网络(即基于3D深度卷积神经网络)，并进行训练得到假阳性消除模型。在训练阶段，提取训练集CT中的候选区域，选择其中与标注结节交叉50％以上的作为正样本，与标注结节完全无交叉的作为负样本，训练3D深度卷积神经网络。在测试阶段，使用训练好的模型对候选区域进行分类，消除预测为负样本的区域。

精细化处理即结节分割，具体可采用可参照肺区域分割模型，通过构建基于深度卷积神经网络，并进行训练得到能够实现对结节精细化处理的模型。现存的其他算法，多数还是基于灰度的连续性的，因为结节的灰度一般高于正常的肺组织，通过自适应的阈值选取，可以划分开结节和正常的肺组织。但是实际应用中，一方面很多结节都是紧靠血管、胸膜的，其灰度与结节灰度几乎一样，另一方面一些密度较低的磨玻璃结节，灰度值与肺组织非常结节，导致基于灰度的肺结节分割算法准确率有限。

本发明利用基于3D深度卷积神经网络的结节检测，一方面可以利用深度学习的优势，从大量的带标签数据中，直接学习到结节的特征，更适应于复杂情况下的结节分类；另一方面，本发明直接以3D图像块作为输入，能够充分地利用CT影像图片的3D上下文信息，从而更好地区分结节与血管、纤维、其他病变等。本技术在临床测试中，假阳性为0.15/CT，5mm以上结节敏感性为97.7％(其中磨玻璃结节90％)。

图6为合并文件可视化一个实施例的具体流程示意图。

在S1031中，可视化模块301将获取的合并文件进行可视化处理；

在S1032中，浏览辅助模块302对可视化处理的合并文件进行浏览操作之前利用随访判断模块304判断是否进行随访，是则利用随访处理模块302、选择获取模块303和随访显示模块304分别执行S1033、S1034和S1035。其中，随访处理模块302调取合并文件对应患者的历史CT影像数据库，获取历史CT影像列表；用户通过选择获取模块选择并下载历史CT影像图片，随访显示模块304利用多窗口展示技术将下载的历史CT影像图片进行呈现。

在S1037-S1038中，输出模块303对根据用户的浏览辅助操作进行可视化显示前可选的利用浏览辅助模块302进行测量或影像重定位，以便诊断大夫进行进一步诊断观察。

如图7所示为应用本发明所述的基于胸部CT影像的自动检测***的一个实施例的***结构框架示意图。如图5所示，其中，病灶检测单元100为能够与CT设备400(或者DICOM设备)进行数据通信的检测服务器，文件合并单元200为应用在医院影像科室的PACS***，诊断输出单元300为客户端，客户端具体包括手机、PC机、pad、笔记本等智能设备，本实施例中将诊断输出单元设为手机。

本实施例使用检测服务器作为CT影像图片的分析装置，利用单独、专门的服务器计算能力加快对CT影像图片的计算速度，提高病灶检测的分析速度，提高检测结果的计算效率。PACS***作为医院常规的医学影像存储装置，主要的任务就是把日常产生的各种医学影像(包括核磁，CT，超声，各种X光机，各种红外仪、显微仪等设备产生的图像)通过各种接口(模拟，DICOM，网络)以数字化的方式海量保存起来(包括CT设备拍摄的医学影像以及检测服务器得出的检测结果)，当需要的时候在一定的授权下能够很快的调回使用，同时增加一些辅助诊断管理功能，具体地，本实施例中，手机作为诊断输出单元，能够向PACS***发送下载请求，以便获取PACS***存储的病患的合并文件，合并文件包括CT影像图片以及其检测结果。用户利用手机将下载得到CT影像图片和检测结果(即合并文件)进行可视化处理后，用户还可选的查看该患者的历史CT影像图片，并进行选择后向PACS***下载，将用户下载得到的历史CT影像图片利用多窗口进行呈现，以便诊断用户比较观察。与此同时，用户可对可视化的所有文件进行浏览辅助操作(如放大、缩小、移动等操作)，以便诊断用户详细查看，进而确诊。

以上只通过说明的方式描述了本发明的某些示范性实施例，毋庸置疑，对于本领域的普通技术人员，在不偏离本发明的精神和范围的情况下，可以用各种不同的方式对所描述的实施例进行修正。因此，上述附图和描述在本质上是说明性的，不应理解为对本发明权利要求保护范围的限制。

Claims (10)

1.一种基于胸部CT影像的自动检测方法，其特征在于，包括如下步骤：

接收胸部CT影像图片，利用预设的3D卷积神经网络对胸部CT影像图片进行肺结节病灶检测，输出检测结果；

接收CT影像图片及检测结果，将检测结果与对应的胸部CT影像图片加载至一起作为合并文件；

获取合并文件并进行可视化处理，在可视化处理的合并文件上向用户提供浏览辅助操作，并提供计算测量功能。

2.根据权利要求1所述的基于胸部影像的自动检测方法，其特征在于，所述利用预设的3D卷积神经网络对胸部CT影像图片进行肺结节病灶检测具体包括如下步骤：

按照预设尺度阈值调整所有CT影像图片，得到统一尺度的CT影像图片；

对统一尺度的CT影像文件进行分割，提取肺区域；

利用肺区域分割算法对肺区域进行处理，得到候选肺结节；

对候选肺结节进行假阳性消除，将肺结节进行轮廓精细化处理。

3.根据权利要求1所述的基于胸部影像的自动检测方法，其特征在于，所述获取合并文件并进行可视化处理之后，在可视化处理的合并文件上向用户提供浏览辅助操作之前还包括

判断否需要对合并文件对应的CT影像图片进行随访；

如果需要随访，调用与CT影像图片对应患者的历史影像记录；

选择并获取历史影像记录；

通过多窗口将选择的历史影像记录进行可视化显示。

4.根据权利要求1所述的基于胸部影像的自动检测方法，其特征在于，所述获取合并文件并进行可视化处理，在可视化处理的合并文件上向用户提供浏览辅助操作后还包括

监控并获取对检测结果的测量操作或影像重定位操作；

根据测量辅助操作或影像重定位操作将检测结果进行可视化输出。

5.根据权利要求4所述的基于胸部影像的自动检测方法，其特征在于，所述利用肺区域分割算法对肺区域进行处理，得到候选肺结节包括

构建第一卷积神经网络，并利用预采集的肺区域图像进行训练，得到肺区域分割模型。

6.根据权利要求2所述的基于胸部CT影像的自动检测方法，其特征在于，所述对候选肺结节进行假阳性消除，将肺结节进行轮廓精细化处理包括

构建第二卷积神经网络，并进行训练得到假阳性消除模型。

7.一种基于胸部CT影像的自动检测***，其特征在于，包括

病灶检测单元，用于胸部CT影像图片，利用预设的3D卷积神经网络对胸部CT影像图片进行肺结节病灶检测；

文件合并单元，用于根据检测结果获取对应的胸部CT影像图片，将检测结果与对应的胸部CT影像图片加载至一起作为合并文件；

诊断输出单元，用于获取合并文件并进行可视化处理，在可视化处理的合并文件上向用户提供浏览辅助操作，并提供计算测量功能。

8.根据权利要求1所述的基于胸部CT影像的自动检测***，其特征在于，病灶检测单元包括

图像预处理模块，用于按照预设尺度阈值调整所有CT影像图片，得到统一尺度的CT影像图片；

肺区域分割模块，用于对统一尺度的CT影像文件进行分割，提取肺区域；

肺结节提取模块，用于利用肺区域分割算法对肺区域进行处理，得到候选肺结节；

假阳性消除模块，用于对候选肺节点进行假阳性消除，将肺节点进行轮廓精细化处理。

9.根据权利要求7所述的基于胸部CT影像的自动检测***，其特征在于，诊断输出单元包括

可视化模块，用于利用可视化技术将合并文件进行显示；

浏览辅助模块，用于在合并文件的CT影像图片或检测结果上进行测量辅助操作；

输出模块，用于根据用户的辅助操作进行可视化显示。

10.根据权利要求9所述的基于胸部CT影像的自动检测***，其特征在于，诊断输出单元还包括

随访判断模块，用于判断是否需要对合并文件对应的CT影像图片进行随访；

随访处理模块，用于如果需要随访，调用与CT影像图片对应患者的历史影像记录；

选择获取模块，用于选择并获取历史影像记录；

随访显示模块，用于通过多窗口将选择的历史影像记录进行可视化显示。