CN109785963A - 基于深度学习技术的肺结节筛查算法 - Google Patents
基于深度学习技术的肺结节筛查算法 Download PDFInfo
- Publication number
- CN109785963A CN109785963A CN201910038443.2A CN201910038443A CN109785963A CN 109785963 A CN109785963 A CN 109785963A CN 201910038443 A CN201910038443 A CN 201910038443A CN 109785963 A CN109785963 A CN 109785963A
- Authority
- CN
- China
- Prior art keywords
- tubercle
- lung neoplasm
- sign
- block
- screening
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012216 screening Methods 0.000 title claims abstract description 36
- 208000020816 lung neoplasm Diseases 0.000 title claims abstract description 31
- 238000005516 engineering process Methods 0.000 title claims abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 19
- 230000009467 reduction Effects 0.000 claims abstract description 10
- 230000000505 pernicious effect Effects 0.000 claims abstract description 6
- 238000003745 diagnosis Methods 0.000 claims abstract description 3
- 238000013135 deep learning Methods 0.000 claims description 17
- 230000000694 effects Effects 0.000 claims description 10
- 230000008901 benefit Effects 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 230000000452 restraining effect Effects 0.000 claims description 5
- 206010028980 Neoplasm Diseases 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 3
- 210000004204 blood vessel Anatomy 0.000 claims description 3
- 210000000621 bronchi Anatomy 0.000 claims description 3
- 201000011510 cancer Diseases 0.000 claims description 3
- 230000008878 coupling Effects 0.000 claims description 3
- 238000010168 coupling process Methods 0.000 claims description 3
- 238000005859 coupling reaction Methods 0.000 claims description 3
- 208000002173 dizziness Diseases 0.000 claims description 3
- 239000004615 ingredient Substances 0.000 claims description 3
- 231100000241 scar Toxicity 0.000 claims description 3
- 210000003934 vacuole Anatomy 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims description 2
- 238000007689 inspection Methods 0.000 claims description 2
- 210000004072 lung Anatomy 0.000 description 8
- 238000010586 diagram Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 210000001519 tissue Anatomy 0.000 description 3
- 238000013526 transfer learning Methods 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 210000004224 pleura Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学***不平衡、误诊率高耗时长等问题。
Description
技术领域
本发明涉及一种肺结节筛查算法，具体来讲是一种基于深度学习技术的肺结节筛查算法。
背景技术
肺结节筛查任务本质上是计算机视觉领域的目标检测问题，流行的解决方案有两种：传统机器学习模型的目标检测算法、基于深度学习方法的目标检测算法。
传统的目标检测一般使用滑动窗口结合分类器的方法，主要包括三个步骤：
利用不同尺寸的滑动窗口框住图中的某一部分作为候选区域；提取候选区域相关的视觉特征，比如 Harr 特征、HOG 特征等；利用分类器进行识别，比如常用的SVM 模型。该类方法准确率不高，主要原因是传统特征需要大量的专家领域知识方能形成有效的 FeatureSet，且难以提取数据内部复杂的结构特征，模型算法的transfer learning 性质也不好。随着深度学习技术的发展，越来越多的机构和组织将其应用到医学影像的目标检测任务中。针对胸部 CT 的肺结节筛查任务主要有两种思路，第一种是分别对 CT 中每一层扫描图片进行 2D 图像结节筛查，最终将所有扫描层的筛查结果进行合并，给出最终筛查结果，由于这种方法未利用结节的三维结构特性，在筛查准确度上存在明显劣势。第二种方法使用了更全面的影像信息，首先将肺部组织从 CT 影像中分割出来，然后使用 FPN 网络针对提取出的肺部组织进行三维影像的结节筛查，效果往往较好，但现有算法的筛查效率及筛查效果仍然有较大的提升空间，这是由于肺部组织分割过程较为耗时，且肺部边缘分割不准确造成重要信息的丢失，特别是肺壁上存在较大体积的病灶时，影响更为显著，另外，微小结节小至 3mm，大至 80mm，在考虑显存及计算效率的情况下，FPN 网络对尺度变化如此之大的目标检测效果不好。
发明内容
因此，为了解决上述不足，本发明在此提供一种基于深度学***不平衡、误诊率高耗时长等问题。
本发明是这样实现的，构造一种基于深度学习技术的肺结节筛查算法，其特征在于：为三个阶段，首先是候选结节生成任务，用于提取大量疑似结节，在一定假阳率的情况下，保证 99.5% 以上的结节检出率；其次是 False Positive Reduction 任务，用于降低假阳率，筛选出真正的结节；结节定性，用于诊断肺结节的良恶性、观察征象，为医生提供诊断依据。
根据本发明所述基于深度学习技术的肺结节筛查算法，其特征在于：候选结节生成：针对候选结节提取任务，模型结合 Unet、RetinaNet 的优势，训练时采用 FocalLoss，实现了基于 3D 图像的结节筛查模型。过程可分为四个阶段：对图像的预处理、使用骨干网络进行特征提取、多尺度候选结节预生成、候选结节的非极大抑制；具体为；
（1）图像的预处理：由于输入 CT 大多是 100-700 层的 512×512 大小的图像，层数不同导致模型无法直接训练，而 3D 图像过大限制了模型的复杂度，甚至无法构建基于主流显卡显存的 3D 结节筛查网络，由此，对 CT 进行预处理的工作必不可少，从而得到模型可用于训练和预测的数据形式；
（2）骨干网络：结节筛查骨干网络使用基于三维 ResNet 的 Unet，主要包含两部分：Contract-ing Path 和 Expansive Path。其中 Contracting Path 是一个三维化的ResNet，共 4 个Block，每个 Block 之前是 max-pooling 层，最后一个 Block 之后是一层 CNN，且每个 Block 是由多层 CNN 组成。Expansive Path 的结构与 Expansive Path相反，只是每一个 Block 的输入为前一个 Block 输入和 Expansive Path 对称 Block输出的和，Block 之间不使用 max-pooling，而是使用 deconvolution 进行 upsampling；
（3）多尺度候选结节预生成：骨干网络 Expansive Path 中的 4 个 Block 分别输出4 个三维特征图，针对每个特征图，分别经过类似 Retina-Head 的 CNN 网络，进行分类和定位预测；
（4）非极大抑制：得到将整个 CT 不同 patch 预生成的候选结节后，可以采用 Non-Maximum-Suppression 将重叠度高于 threshold 的 boxes 进行合并，抑制冗余 box，最终得到候选结节。
根据本发明所述基于深度学习技术的肺结节筛查算法，其特征在于：FalsePositive Reduction 任务，分为两个阶段：候选结节预处理、结节分类。预处理过程裁剪肺结节附近的图像 patch，区域物理大小固定，再放缩到结节分类模型所需的大小。结节分类模型使用 CNN 网络，并与候选结节生成任务的预测结果 ensamble，得到更好的肺结节检测效果。
根据本发明所述基于深度学习技术的肺结节筛查算法，其特征在于：结节定性；通过对结节周围体素的分析，在结节分类、结节边缘、实性成分边缘、分叶征、毛刺征、血管成像征、晕征、颗粒状、蜂窝征、空泡征、瘢痕样、叶间裂相关、生长长轴与支气管一致、与胸膜关系密切等十余种观察征象进行诊断，并给出结节良恶性和具体癌症分型信息。
本发明具有如下优点：本发明在此提供一种基于深度学***不平衡、误诊率高耗时长等问题。本专利具有如下优点及有益效果：
1）去掉肺部区域分割、特征提取等环节，提高运算效率。
2）三维图像目标识别，结合更多维度信息，提高效果。
3）End-to-End 深度学习模型在根据数据自动调节的方面，拥有更大的空间，
增加模型整体契合度，且具有良好的 transfer learning 性质。
4）False Positive Reduction 与候选结节生成两任务的集成，判断更为准确。
5）多种图像增强手段，使模型针对不同大小、方向的结节具有良好的适用性。
6）Multi-Task 模型共享表示，提高泛化能力。
附图说明
图1是骨干网络示意图；
图2是残差网络示意图；
图3是拼接网络示意图。
具体实施方式
下面将结合附图1-图3对本发明进行详细说明，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明通过改进在此提供一种基于深度学习技术的肺结节筛查算法；如图所示；本专利将肺结节筛查问题分解为三个阶段，首先是候选结节生成任务，用于提取大量疑似结节，在一定假阳率的情况下，保证 99.5% 以上的结节检出率；其次是 False PositiveReduction 任务，用于降低假阳率，筛选出真正的结节；结节定性，用于诊断肺结节的良恶性、观察征象，为医生提供诊断依据。
一、候选结节生成：针对候选结节提取任务，模型结合 Unet、RetinaNet 的优势，训练时采用 FocalLoss，实现了基于 3D 图像的结节筛查模型。过程可分为四个阶段：对图像的预处理、使用骨干网络进行特征提取、多尺度候选结节预生成、候选结节的非极大抑制。
（1）图像的预处理：由于输入 CT 大多是 100-700 层的 512×512 大小的图像，层数不同导致模型无法直接训练，而 3D 图像过大限制了模型的复杂度，甚至无法构建基于主流显卡显存的 3D 结节筛查网络，由此，对 CT 进行预处理的工作必不可少，从而得到模型可用于训练和预测的数据形式。
（2）骨干网络：结节筛查骨干网络使用基于三维 ResNet 的 Unet，主要包含两部分：Contract-ing Path 和 Expansive Path。其中 Contracting Path 是一个三维化的ResNet，共 4 个Block，每个 Block 之前是 max-pooling 层，最后一个 Block 之后是一层 CNN，且每个 Block 是由多层 CNN 组成。Expansive Path 的结构与 Expansive Path相反，只是每一个 Block 的输入为前一个 Block 输入和 Expansive Path 对称 Block输出的和，Block 之间不使用 max-pooling，而是使用 deconvolution 进行 upsampling。
（3）多尺度候选结节预生成：骨干网络 Expansive Path 中的 4 个 Block 分别输出 4 个三维特征图，针对每个特征图，分别经过类似 Retina-Head 的 CNN 网络，进行分类和定位预测。
（4）非极大抑制：得到将整个 CT 不同 patch 预生成的候选结节后，可以采用Non-Maximum-Suppression 将重叠度高于 threshold 的 boxes 进行合并，抑制冗余box，最终得到候选结节。
（二）False Positive Reduction：
False Positive Reduction 任务，分为两个阶段：候选结节预处理、结节分类。预处理过程裁剪肺结节附近的图像 patch，区域物理大小固定，再放缩到结节分类模型所需的大小。结节分类模型使用 CNN 网络，并与候选结节生成任务的预测结果 ensamble，得到更好的肺结节检测效果。
（三）结节定性：通过对结节周围体素的分析，在结节分类、结节边缘、实性成分边缘、分叶征、毛刺征、血管成像征、晕征、颗粒状、蜂窝征、空泡征、瘢痕样、叶间裂相关、生长长轴与支气管一致、与胸膜关系密切等十余种观察征象进行诊断，并给出结节良恶性和具体癌症分型信息。
大多数观察征象的样本分布不均衡，甚至出现 80:1的情况，罕见样本也较难收集，分别构建机器学习模型对不同的观察征象进行分类无法到达预期效果。本专利使用Multi-Task 模型，同时对观察征象进行分类，共享骨干网络特征提取，只独立计算预测及损失，大大提高了模型的泛化能力与效果。
本专利具有如下优点及有益效果：
1）去掉肺部区域分割、特征提取等环节，提高运算效率。
2）三维图像目标识别，结合更多维度信息，提高效果。
3）End-to-End 深度学习模型在根据数据自动调节的方面，拥有更大的空间，
增加模型整体契合度，且具有良好的 transfer learning 性质。
4）False Positive Reduction 与候选结节生成两任务的集成，判断更为准确。
5）多种图像增强手段，使模型针对不同大小、方向的结节具有良好的适用性。
6）Multi-Task 模型共享表示，提高泛化能力。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (4)
1.一种基于深度学习技术的肺结节筛查算法，其特征在于：为三个阶段，首先是候选结节生成任务，用于提取大量疑似结节，在一定假阳率的情况下，保证 99.5% 以上的结节检出率；其次是 False Positive Reduction 任务，用于降低假阳率，筛选出真正的结节；结节定性，用于诊断肺结节的良恶性、观察征象，为医生提供诊断依据。
2.根据权利要求1所述基于深度学习技术的肺结节筛查算法，其特征在于：候选结节生成：针对候选结节提取任务，模型结合 Unet、RetinaNet 的优势，训练时采用 FocalLoss，实现了基于 3D 图像的结节筛查模型；过程可分为四个阶段：对图像的预处理、使用骨干网络进行特征提取、多尺度候选结节预生成、候选结节的非极大抑制；具体为；
（1）图像的预处理：由于输入 CT 大多是 100-700 层的 512×512 大小的图像，层数不同导致模型无法直接训练，而 3D 图像过大限制了模型的复杂度，甚至无法构建基于主流显卡显存的 3D 结节筛查网络，由此，对 CT 进行预处理的工作必不可少，从而得到模型可用于训练和预测的数据形式；
（2）骨干网络：结节筛查骨干网络使用基于三维 ResNet 的 Unet，主要包含两部分：Contract-ing Path 和 Expansive Path；其中 Contracting Path 是一个三维化的ResNet，共 4 个Block，每个 Block 之前是 max-pooling 层，最后一个 Block 之后是一层 CNN，且每个 Block 是由多层 CNN 组成；Expansive Path 的结构与 Expansive Path相反，只是每一个 Block 的输入为前一个 Block 输入和 Expansive Path 对称 Block输出的和，Block 之间不使用 max-pooling，而是使用 deconvolution 进行 upsampling；
（3）多尺度候选结节预生成：骨干网络 Expansive Path 中的 4 个 Block 分别输出4 个三维特征图，针对每个特征图，分别经过类似 Retina-Head 的 CNN 网络，进行分类和定位预测；
（4）非极大抑制：得到将整个 CT 不同 patch 预生成的候选结节后，可以采用 Non-Maximum-Suppression 将重叠度高于 threshold 的 boxes 进行合并，抑制冗余 box，最终得到候选结节。
3.根据权利要求1所述基于深度学习技术的肺结节筛查算法，其特征在于：FalsePositive Reduction 任务，分为两个阶段：候选结节预处理、结节分类；预
处理过程裁剪肺结节附近的图像 patch，区域物理大小固定，再放缩到结节分类模型所需的大小；结节分类模型使用 CNN 网络，并与候选结节生成任务的预测结果 ensamble，得到更好的肺结节检测效果。
4.根据权利要求1所述基于深度学习技术的肺结节筛查算法，其特征在于：结节定性；通过对结节周围体素的分析，在结节分类、结节边缘、实性成分边缘、分叶征、毛刺征、血管成像征、晕征、颗粒状、蜂窝征、空泡征、瘢痕样、叶间裂相关、生长长轴与支气管一致、与胸膜关系密切等十余种观察征象进行诊断，并给出结节良恶性和具体癌症分型信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910038443.2A CN109785963A (zh) | 2019-01-16 | 2019-01-16 | 基于深度学习技术的肺结节筛查算法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910038443.2A CN109785963A (zh) | 2019-01-16 | 2019-01-16 | 基于深度学习技术的肺结节筛查算法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109785963A true CN109785963A (zh) | 2019-05-21 |
Family
ID=66499407
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910038443.2A Pending CN109785963A (zh) | 2019-01-16 | 2019-01-16 | 基于深度学习技术的肺结节筛查算法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109785963A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110570425A (zh) * | 2019-10-18 | 2019-12-13 | 北京理工大学 | 一种基于深度强化学习算法的肺结节分析方法及装置 |
| CN111445946A (zh) * | 2020-03-26 | 2020-07-24 | 北京易康医疗科技有限公司 | 一种利用pet/ct图像推算肺癌基因分型的演算方法 |
| CN112116558A (zh) * | 2020-08-17 | 2020-12-22 | 您好人工智能技术研发昆山有限公司 | 一种基于深度学习的ct影像肺结节检测*** |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107977966A (zh) * | 2017-12-20 | 2018-05-01 | 点内（上海）生物科技有限公司 | 基于人工智能对肺结节良恶性及浸润程度的辅助诊断方法 |
| CN108198179A (zh) * | 2018-01-03 | 2018-06-22 | 华南理工大学 | 一种生成对抗网络改进的ct医学图像肺结节检测方法 |
| CN108648172A (zh) * | 2018-03-30 | 2018-10-12 | 四川元匠科技有限公司 | 一种基于3D-Unet的CT图肺结节检测*** |
| CN108670285A (zh) * | 2018-06-05 | 2018-10-19 | 胡晓云 | 一种ct肺结核检测人工智能诊疗*** |
-
2019
- 2019-01-16 CN CN201910038443.2A patent/CN109785963A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107977966A (zh) * | 2017-12-20 | 2018-05-01 | 点内（上海）生物科技有限公司 | 基于人工智能对肺结节良恶性及浸润程度的辅助诊断方法 |
| CN108198179A (zh) * | 2018-01-03 | 2018-06-22 | 华南理工大学 | 一种生成对抗网络改进的ct医学图像肺结节检测方法 |
| CN108648172A (zh) * | 2018-03-30 | 2018-10-12 | 四川元匠科技有限公司 | 一种基于3D-Unet的CT图肺结节检测*** |
| CN108670285A (zh) * | 2018-06-05 | 2018-10-19 | 胡晓云 | 一种ct肺结核检测人工智能诊疗*** |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110570425A (zh) * | 2019-10-18 | 2019-12-13 | 北京理工大学 | 一种基于深度强化学习算法的肺结节分析方法及装置 |
| CN110570425B (zh) * | 2019-10-18 | 2023-09-08 | 北京理工大学 | 一种基于深度强化学习算法的肺结节分析方法及装置 |
| CN111445946A (zh) * | 2020-03-26 | 2020-07-24 | 北京易康医疗科技有限公司 | 一种利用pet/ct图像推算肺癌基因分型的演算方法 |
| CN112116558A (zh) * | 2020-08-17 | 2020-12-22 | 您好人工智能技术研发昆山有限公司 | 一种基于深度学习的ct影像肺结节检测*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109102502B (zh) | 基于三维卷积神经网络的肺结节检测方法 | |
| EP2027566B1 (en) | Automatic recognition of preneoplastic anomalies in anatomic structures based on an improved region-growing segmentation, and computer program therefor | |
| EP2916738B1 (en) | Lung, lobe, and fissure imaging systems and methods | |
| CN109063710A (zh) | 基于多尺度特征金字塔的3d cnn鼻咽癌分割方法 | |
| CN110458249A (zh) | 一种基于深度学习与概率影像组学的病灶分类*** | |
| CN108257135A (zh) | 基于深度学习方法解读医学图像特征的辅助诊断*** | |
| Alilou et al. | A comprehensive framework for automatic detection of pulmonary nodules in lung CT images | |
| CN108288271A (zh) | 基于三维残差网络的图像检测***及方法 | |
| CN109785963A (zh) | 基于深度学习技术的肺结节筛查算法 | |
| CN110517253B (zh) | 基于3d多目标特征学习的肺结节良恶性分类的方法 | |
| CN111144474B (zh) | 基于多视图、多尺度、多任务肺结节分类方法 | |
| CN109363698A (zh) | 一种乳腺影像征象识别的方法及装置 | |
| CN109685768A (zh) | 基于肺部ct序列的肺结节自动检测方法及*** | |
| Romero et al. | End-to-end discriminative deep network for liver lesion classification | |
| US11222425B2 (en) | Organs at risk auto-contouring system and methods | |
| CN111383215A (zh) | 一种基于生成对抗网络的病灶检测模型的训练方法 | |
| CN110349167A (zh) | 一种图像实例分割方法及装置 | |
| CN112365973A (zh) | 基于对抗网络和Faster R-CNN的肺结节辅助诊断*** | |
| Feng et al. | Deep learning for chest radiology: a review | |
| Duggan et al. | A technique for lung nodule candidate detection in CT using global minimization methods | |
| CN113421240A (zh) | 一种基于超声自动乳腺全容积成像的乳腺分类方法及装置 | |
| CN109671055A (zh) | 肺结节检测方法及装置 | |
| CN115953393A (zh) | 基于多任务学习的颅内动脉瘤检测***、设备及存储介质 | |
| Inoue et al. | Robust airway extraction based on machine learning and minimum spanning tree | |
| CN110288577A (zh) | 一种3d实现多器官病灶整合的控制方法及控制装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190521 |