CN111369530B - 一种基于深度学习的ct图像肺结节快速筛查方法 - Google Patents
一种基于深度学习的ct图像肺结节快速筛查方法 Download PDFInfo
- Publication number
- CN111369530B CN111369530B CN202010141993.XA CN202010141993A CN111369530B CN 111369530 B CN111369530 B CN 111369530B CN 202010141993 A CN202010141993 A CN 202010141993A CN 111369530 B CN111369530 B CN 111369530B
- Authority
- CN
- China
- Prior art keywords
- image
- nodule
- lung
- network
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
- G06T2207/30064—Lung nodule
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明提供了一种基于深度学习的CT图像肺结节快速筛查方法,涉及CT图像处理技术领域,包括CT图像的预处理、分类模型的构建、分类网络的训练数据准备、分类网络的测试数据准备并预测、分割模型的数据准备和分割模型的构建;其中构建至少一个二分类网络,分类网络输入是三维图像,输出是包含肺结节的概率。分类网络的训练数据是将图像切割成小尺寸图像;分类网络预测时,需要将切割后的图像输入至分类网络中进行预测,根据该阈值筛选图像,去除包含结节的概率小于该阈值的切割后的图像;测试数据是最后一个网络中包含肺结节概率较大的图像。而分割模型输出是肺结节的mask。本发明可以提高肺结节的检出率,同时减少检出肺结节所花费的时间。
Description
技术领域
本发明涉及一种基于深度学习的CT图像肺结节快速筛查方法,属于CT图像处理技术领域。
背景技术
肺癌是常见的恶性肿瘤,因此早期发现和治疗至关重要,判断肺部是否存在肺结节是早期预防肺癌的有效方法。
如果所有的CT图像都是由医生进行筛查是否存在肺结节,那医生的工作量就会很大,而且很容易导致漏诊或误诊。计算机辅助诊断***可以利用机器学习的方法对肺部CT图像进行处理,最终对肺部CT图像中的肺结节进行筛查。这样不仅可以大大地减轻医生的阅片压力,也可以为医生提供判别肺结节的意见,对肺癌的诊断有着重要的意义。
目前的CT图像中肺结节的自动识别和检测技术中,主要是利用卷积神经网络来提取图像的特征,从而检测出图像中的肺结节。但是肺部区域包含很多类似结节的生理结构,比如肺部血管,而且肺结节的大小、形状和类型又有很多种,所以肺结节检测结果中假阳性较高。现在一般的肺结节筛查方法充分利用了分割效果较好的Unet网络和特征提取效果较好的ResNet,分割网络Unet在肺结节筛查中主要是计算出疑似结节的掩膜(mask),进而判断结节的具***置,而分类网络ResNet是提取图像中某个区域的特征,进行判断是否包含肺结节。
现在常用方法的具体过程为:首先将三维CT图像切割为小尺寸的图像,然后用分割网络计算疑似结节的mask,从而确定了结节的具***置,然后再以疑似结节为中心切割为小尺寸图像,利用分类网络(一个二分类网络),判断该小尺寸图像中是否存在结节,即去除假阳性结节。但上述方法主要存在以下问题:
(1)分割网络需要对整个图像进行随机切割,如果切割后的图像尺寸比较大,就会导致网络参数比较多,训练比较慢;如果切割后的图像尺寸比较小,就需要对更多的小尺寸图像进行预测,大大加长检出时间,导致时间浪费。
(2)如果切割后的图像比较大,而结节的比较小,利用分割网络就无法准确给出结节的mask,而且会导致分割模型训练起来比较慢。
换而言之,现有技术先利用分割网络找出所有疑似肺结节,再利用一个二分类网络去除假阳性结节。导致分割网络需要处理较大尺寸的图像,而且肺结节占比较小,标记的肺结节mask不太准确。而且利用分割网络找出所有疑似肺结节,会存在大量的假阳性结节。
基于此,做出本申请。
发明内容
为了解决现有技术中存在的上述缺陷,本发明提供了一种基于深度学习的CT图像肺结节快速筛查方法,可以提高肺结节的检出率,同时减少检出肺结节所花费的时间。
为了实现上述目的,充分利用分类网络的特性,找出包含结节概率比较大的区域,本发明采取的技术方案具体如下:
(1)CT图像的预处理:原始的肺部CT图像都是三维图像,首先,根据肺部窗宽和窗位对所有的三维CT图像进行归一化。
(2)分类模型的构建:分类网络主要是判别给定区域包含肺结节的概率,所以要构建一个二分类网络,输入是三维的图像,输出是包含肺结节的概率,分类模型可以采用效果比较好的ResNet、Vgg和Inception等网络。为了逐步筛选出包含肺结节的区域,本发明可以利用多个分类网络。
(3)分类网络的训练数据准备:训练数据有结节的具体信息,可以根据结节的位置,切割出正样本数据和负样本数据。包含肺结节的小尺寸三维图像作为正样本,不包含肺结节的小尺寸三维图像作为负样本。每个分类网络的训练图像尺寸都不一样,具体切割图像的尺寸,要根据分类网络的个数去设置。
(4)分类网络的测试数据准备并预测:第一个分类网络的测试数据是将整个三维CT图像切割为小尺寸图像,直接可以利用分类网络进行预测,计算出小尺寸图像有肺结节的概率。后面的分类网络输入图像,是对上一个网络测试结果中包含肺结节概率大于阈值的图像进一步切割得到的,保证每个分类网络的测试数据尺寸要与训练时候保持一致。
分类网络针对不同尺寸的图像进行训练和预测,最终确定了整个图像中包含肺结节概率较大的区域。虽然分类网络能找出包含肺结节概率较大的区域,但是无法给出肺结节在该区域中的具***置信息,所以需要分割模型,计算出区域内肺结节的mask,进而得到肺结节的位置信息。分割模型的具体过程如下:
(6)分割模型的数据准备:训练数据是包含肺结节的图像,尺寸与最后一个分类网络输入图像的尺寸一致,图像包含由专家标记的肺结节的mask作为标签。测试数据是最后一个网络中包含肺结节概率较大的图像。
(7)分割模型的构建:分割模型主要是用来标记区域内肺结节的mask,从而给出肺结节的位置信息,所以要构建一个输入数据是三维图像的分割模型,输出是肺结节的mask,可以采用Unet、nnUnet和ResUnet等网络。
本发明的原理:本发明基于深度学习方法,充分利用分割网络和分类网络的特性,首先,利用多个分类网络筛选出整个CT图像中含有肺结节概率大于某一阈值的小区域,然后,再利用分割网络标记出小区域内肺结节的mask,从而得到整个图像的肺结节位置。分类网络中用来筛选区域的阈值要根据具体的预测结果设定,为了不遗漏肺结节,阈值要逐渐增大。
本发明的有益技术效果:
(1)由于利用多个分类网络筛选有肺结节的区域,提高了肺结节的检出率,同时也降低了假阳性率。
(2)由于整个CT图像中肺结节区域占整个图像的比率较小,通过分类网络可以快速过滤掉包含肺结节概率较小的区域,主要分析包含肺结节概率较大的区域,从而提高了肺结节的筛查效率。
(3)由于分割网络处理的图像尺寸比较小(肺结节区域占整个图像的比率较小),可以更加精确标记肺结节。
附图说明
图1为本实施例一种基于深度学习的CT图像肺结节快速筛查方法的流程图;
图2为本发明分类网络ResNet的结构图;
图3为本发明的分割网络Unet的结构图;
图4为本发明的肺结节筛查方法预测示意图。
具体实施方式
为了使本发明的技术手段及其所能达到的技术效果,能够更清楚更完善的披露,兹提供了以下实施例,并结合附图作如下详细说明:
本发明在此提出了一种基于深度学习的CT图像肺结节快速筛查方法,***主要有两部分构成:利用多个分类网络找出包含肺结节概率较高的区域,利用分割网络计算出肺结节的mask,进而确定肺结节的具***置。为了能清晰地描述本发明,下述所描述的实施例中,只采用了两个分类模型,但是本发明不限于只使用两个分类模型。
图1是本发明提出的一种基于深度学习的CT图像肺结节快速筛查方法中,只采用了两个分类模型的整体工作流程示意图,下面结合流程示意图对本发明的具体实施过程进行详细说明。
步骤S101:图像数据预处理
预处理主要是对图像数据进行相应的变换,原始地肺部CT图像都是100-600层的512×512大小的图像,根据窗宽和窗位对图像进行归一化,把图像的体素值都转到[0,1],为了提高模型的泛化能力,在训练数据中进行数据增强。
步骤S102:准备分类模型一的数据
因为原始CT图像的尺寸比较大,不能全部输入到模型中进行训练,而且对于体积比较小的肺结节在大尺寸图像中很难被识别,所以要对原始图像进行切割。对于训练数据的准备,包含肺结节的尺寸为N×N×N的图像作为正样本,不包含肺结节的尺寸为N×N×N的图像作为负样本。因为在预测时无法保证结节在小尺寸图像中的位置,所以正样本中肺结节在图像中的位置是随机的,不能指定把结节放在图像的某个位置。对于预测数据的准备,将整个图像完全切分为尺寸为N×N×N的图像,切割时需要保留每个小尺寸图像在原始CT图像中的位置。
步骤S103:构建分类模型一,并进行训练和预测
模型一是一个二分类模型,采用效果比较好的ResNet网络,具体的结构如图2所示,输入图像的尺寸为N×N×N,输出是二值的。在训练时,把正样本标签记为1,负样本标签记为0.在测试时,把CT图像切割成的尺寸为N×N×N的图像输入到网络中进行预测,输出值是每个小尺寸图像包含肺结节的概率。
步骤S104:根据阈值筛选图像
由上个步骤,可以得到每个CT图像中各个N×N×N区域中包含肺结节的概率,概率小的区域,很有可能是不包含肺结节的,再下一步计算中,可以不用考虑这个区域。也就是,可以确定一个阈值Ω1,概率大于该阈值的区域进行下一步处理,概率小于该阈值的下一步不予考虑。
步骤S105:准备分类模型二的数据,并进行训练和预测
基于上述几步,已经筛选出包含肺结节概率较高的区域,下面只需要对尺寸为N×N×N的区域进行处理,也就是需要把该区域切割成更小的区域进行分析。对于训练数据的准备,类似于步骤S102,把包含肺结节的尺寸为M×M×M的图像作为正样本,不包含肺结节的尺寸为M×M×M的图像作为负样本,为了数据处理的方便可以使得N是M的整数倍。对于预测数据的准备,把步骤S104筛选出包含肺结节概率大于阈值Ω1的区域完全切割为尺寸为M×M×M的图像。
模型二仍选择图2所示的ResNet网络,输入图像的尺寸为M×M×M,输出是二值的。在训练时,把正样本标签记为1,负样本标签记为0.在测试时,对尺寸为M×M×M的图像进行预测,输出值是每个小尺寸图像包含肺结节的概率。
步骤S106:根据阈值进一步筛选图像
由上个步骤,可以得到每个CT图像中各个M×M×M区域中包含肺结节的概率,根据测试结果确定一个阈值Ω2,概率大于该阈值的区域进行下一步处理。
由此可知,S106-S106步骤通过构建两个二分类ResNet模型,筛选出了整个CT图像中很有可能包含肺结节的小块区域,下面只需要分析步骤S106筛选出的尺寸为M×M×M的区域。
步骤S107:分割模型数据准备,并进行训练和预测
本步骤选择了Unet作为分割模型,具体如图3所示的结构,分割模型的目的是标记出区域内肺结节的mask,进而确定肺结节的具***置。对于训练数据的准备,将包含肺结节的尺寸为M×M×M的图像作为训练数据,标签是该区域内肺结节的mask。对于测试数据,直接对步骤S106筛选出来的尺寸为M×M×M的图像进行预测,得到该区域内肺结节的mask,从而确定肺结节的位置。
可见,本发明主要包含两部分内容,第一部分是利用两个二分类模型筛选出整个CT图像中包含肺结节概率较大的区域,第二部分是利用Unet网络标记出区域内肺结节的具***置。基于这两部分,就可以从CT图像中检测出肺结节了,图4展示了本发明所提出的一种基于深度学习的CT图像肺结节快速筛查方法的预测过程和结果,可以发现根据分类模型的预测结果可以快速过滤掉包含肺结节概率较小的区域,从而提高了肺结节的检出效率。
综上,本发明主要提出了以下几个关键点:
(1)先利用多个二分类模型筛选出图像中包含肺结节概率较大的区域,再利用分割网络标记肺结节。
(2)分割网络处理的图像尺寸比较小,可以精确标记肺结节,便于准确估计肺结节的大小和形状。
(3)通过分类网络可以快速过滤掉包含肺结节概率较小的区域,主要分析包含肺结节概率较大的区域,从而提高了肺结节的筛查效率,减少了假阳性结节。
以上内容是结合本发明的优选实施方式对所提供技术方案所作的进一步详细说明,不能认定本发明具体实施只局限于上述这些说明,对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的保护范围。
Claims (3)
1.一种基于深度学习的CT图像肺结节快速筛查方法,包括如下步骤:
(1)CT图像的预处理:根据窗宽和窗位对原始三维图像进行归一化;
(2)分类模型的构建:构建多个二分类网络,输入是三维图像,输出是包含肺结节的概率;
(3)分类网络的训练数据准备:训练数据包含结节的具体信息,将图像切割成小尺寸图像;
(4)分类网络的测试数据准备并预测:将切割后的图像输入至分类网络中进行预测,给定阈值,根据该阈值筛选图像,去除包含结节的概率小于该阈值的切割后的图像;
(5)分割模型的数据准备:训练数据包含肺结节的图像,尺寸与最后一个分类网络输入图像的尺寸一致,图像包含肺结节的mask作为标签;测试数据是最后一个网络中包含肺结节概率较大的图像;
(6)分割模型的构建:构建一个输入是三维图像,输出是肺结节的mask的分割模型;
所述步骤(3)中,根据结节的位置,切割出正样本数据和负样本数据;包含肺结节的小尺寸三维图像作为正样本,不包含肺结节的小尺寸三维图像作为负样本;每个分类网络的训练图像尺寸均不相同;
所述步骤(4)中,第一个分类网络的测试数据是将整个三维CT图像切割为小尺寸图像,直接利用分类网络进行预测,计算出小尺寸图像有肺结节的概率是否大于阈值Ω1;后面的分类网络输入的图像,是对上一个网络测试结果中包含肺结节概率大于阈值Ω1的图像进一步切割得到的更小尺寸图像,计算出更小尺寸图像有肺结节的概率是否大于阈值Ω2。
2.如权利要求1所述的一种基于深度学习的CT图像肺结节快速筛查方法,其特征在于:所述分类模型采用ResNet、Vgg或Inception网络。
3.如权利要求1所述的一种基于深度学习的CT图像肺结节快速筛查方法,其特征在于:所述分割模型采用Unet、nnUnet或ResUnet网络。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010141993.XA CN111369530B (zh) | 2020-03-04 | 2020-03-04 | 一种基于深度学习的ct图像肺结节快速筛查方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010141993.XA CN111369530B (zh) | 2020-03-04 | 2020-03-04 | 一种基于深度学习的ct图像肺结节快速筛查方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111369530A CN111369530A (zh) | 2020-07-03 |
CN111369530B true CN111369530B (zh) | 2021-04-02 |
Family
ID=71208515
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010141993.XA Active CN111369530B (zh) | 2020-03-04 | 2020-03-04 | 一种基于深度学习的ct图像肺结节快速筛查方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111369530B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111932559B (zh) * | 2020-08-26 | 2022-11-29 | 上海市公共卫生临床中心 | 基于深度学习的新冠肺炎肺部病灶区域分割*** |
CN112836744A (zh) * | 2021-02-02 | 2021-05-25 | 北京小白世纪网络科技有限公司 | 一种基于ct切片的多模型假阳衰减的疾病分类方法及装置 |
CN113160153A (zh) * | 2021-04-06 | 2021-07-23 | 宁波大学医学院附属医院 | 一种基于深度学习技术的肺结节筛查方法及筛查*** |
CN113344938A (zh) * | 2021-05-07 | 2021-09-03 | 西安智诊智能科技有限公司 | 一种肝脏肿瘤图像分割模型训练方法 |
CN114187252B (zh) * | 2021-12-03 | 2022-09-20 | 推想医疗科技股份有限公司 | 图像处理方法及装置、调整检测框的方法及装置 |
CN114581395A (zh) * | 2022-02-28 | 2022-06-03 | 四川大学 | 一种基于深度学习的脊椎医学图像的关键点检测方法 |
CN115511818B (zh) * | 2022-09-21 | 2023-06-13 | 北京医准智能科技有限公司 | 一种肺结节检出模型的优化方法、装置、设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105740875A (zh) * | 2016-03-17 | 2016-07-06 | 电子科技大学 | 一种基于多尺度三维块特征提取的肺结节多轮分类方法 |
CN109544534A (zh) * | 2018-11-26 | 2019-03-29 | 上海联影智能医疗科技有限公司 | 一种病灶图像检测装置、方法和计算机可读存储介质 |
CN110059697A (zh) * | 2019-04-29 | 2019-07-26 | 上海理工大学 | 一种基于深度学习的肺结节自动分割方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9230320B2 (en) * | 2012-03-30 | 2016-01-05 | University Of Louisville Research Foundation, Inc. | Computer aided diagnostic system incorporating shape analysis for diagnosing malignant lung nodules |
CN109493343A (zh) * | 2018-12-29 | 2019-03-19 | 上海鹰瞳医疗科技有限公司 | 医疗图像异常区域分割方法及设备 |
-
2020
- 2020-03-04 CN CN202010141993.XA patent/CN111369530B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105740875A (zh) * | 2016-03-17 | 2016-07-06 | 电子科技大学 | 一种基于多尺度三维块特征提取的肺结节多轮分类方法 |
CN109544534A (zh) * | 2018-11-26 | 2019-03-29 | 上海联影智能医疗科技有限公司 | 一种病灶图像检测装置、方法和计算机可读存储介质 |
CN110059697A (zh) * | 2019-04-29 | 2019-07-26 | 上海理工大学 | 一种基于深度学习的肺结节自动分割方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111369530A (zh) | 2020-07-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111369530B (zh) | 一种基于深度学习的ct图像肺结节快速筛查方法 | |
CN107016665B (zh) | 一种基于深度卷积神经网络的ct肺结节检测方法 | |
CN111476774B (zh) | 基于新型冠状病毒肺炎ct检测的智能征象识别装置 | |
WO2022063199A1 (zh) | 一种肺结节自动检测方法、装置及计算机*** | |
CN110807764A (zh) | 一种基于神经网络的肺癌筛查方法 | |
CN111340130B (zh) | 一种基于深度学习和影像组学的泌尿结石检测分类方法 | |
CN111882560B (zh) | 一种基于加权全卷积神经网络的肺实质ct图像分割方法 | |
CN108133476B (zh) | 一种肺结节自动检测方法及*** | |
CN111028224A (zh) | 数据标注、模型训练和图像处理方法、装置及存储介质 | |
CN111696094A (zh) | 免疫组化pd-l1膜染色病理切片图像处理方法、装置和设备 | |
CN112365973B (zh) | 基于对抗网络和Faster R-CNN的肺结节辅助诊断*** | |
CN111754453A (zh) | 基于胸透图像的肺结核检测方法、***和存储介质 | |
CN111369573A (zh) | 一种肺腺癌亚型的辅助鉴别***及方法 | |
CN109117703A (zh) | 一种基于细粒度识别的混杂细胞种类鉴定方法 | |
CN112990214A (zh) | 一种医学图像特征识别预测模型 | |
CN111815592A (zh) | 一种肺结节检测模型的训练方法 | |
CN113393454A (zh) | 活检组织中病理目标实例分割方法和装置 | |
CN113240623A (zh) | 一种路面病害检测方法及装置 | |
CN111382801B (zh) | 一种医学影像分类方法、装置、设备及存储介质 | |
CN114170212A (zh) | 一种基于ct影像中肺小结节假阳检测方法及*** | |
CN115294377A (zh) | 一种道路裂缝的识别***及方法 | |
CN110060246B (zh) | 一种图像处理方法、设备及存储介质 | |
CN104835155A (zh) | 基于分形的早期乳腺癌钙化点计算机辅助检测方法 | |
CN111612749B (zh) | 基于肺部影像的病灶检测方法和装置 | |
CN112703531A (zh) | 生成组织图像的注释数据 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB03 | Change of inventor or designer information |
Inventor after: Ye Hongwei Inventor after: Li Hui Inventor before: Li Hui Inventor before: Ye Hongwei |
|
CB03 | Change of inventor or designer information | ||
GR01 | Patent grant | ||
GR01 | Patent grant |