CN115222651A - 一种基于改进Mask R-CNN的肺结节检测*** - Google Patents
一种基于改进Mask R-CNN的肺结节检测*** Download PDFInfo
- Publication number
- CN115222651A CN115222651A CN202210462990.5A CN202210462990A CN115222651A CN 115222651 A CN115222651 A CN 115222651A CN 202210462990 A CN202210462990 A CN 202210462990A CN 115222651 A CN115222651 A CN 115222651A
- Authority
- CN
- China
- Prior art keywords
- lung
- image
- detection
- region
- nodule
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 38
- 230000002685 pulmonary effect Effects 0.000 title claims abstract description 15
- 210000004072 lung Anatomy 0.000 claims abstract description 39
- 230000011218 segmentation Effects 0.000 claims abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 15
- 230000009467 reduction Effects 0.000 claims abstract description 5
- 206010056342 Pulmonary mass Diseases 0.000 claims description 18
- 238000013527 convolutional neural network Methods 0.000 claims description 14
- 238000011176 pooling Methods 0.000 claims description 12
- 230000007246 mechanism Effects 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 230000007797 corrosion Effects 0.000 claims description 6
- 238000005260 corrosion Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 3
- 230000003631 expected effect Effects 0.000 claims description 3
- 230000006872 improvement Effects 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 5
- 230000035945 sensitivity Effects 0.000 abstract description 4
- 238000011160 research Methods 0.000 description 5
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 201000005202 lung cancer Diseases 0.000 description 3
- 208000020816 lung neoplasm Diseases 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- 210000001519 tissue Anatomy 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000000621 bronchi Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
- G06T2207/30064—Lung nodule
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明公开了一种基于改进Mask R‑CNN的肺结节检测***，涉及肺结节检测技术领域；包括如下步骤：步骤一：肺实质分割；步骤二：候选结节分割与检测算法；步骤三：针对小目标改进网络；步骤四：假阳性减少算法；步骤五：统一框架；本发明提高了检测的敏感度，检测效果好，同时能够实现采集的分割与检测；提高了检测结果的准确性，能够让医生直观的看出结果。
Description
技术领域
本发明属于肺结节检测技术领域，具体涉及一种基于改进Mask R-CNN的肺结节检测***。
背景技术
肺癌的主要表现形式为生长速度迅速增加的异常细胞，在肺内形成一个称为肺结节的肿块。肺结节作为肺癌的早期表现形式，与癌症有着较为复杂的联系。肺结节的存在不一定意味着患癌，但仍需要精确仔细地分析每一个可疑结节，才能更好地为早期诊断肺癌提供有效方法。
在传统的肺部诊断流程中，放射科医生借助专业仪器拍摄的CT 或MRI等医学图像，观察病人肺部是否存在结节、结节大小、形状等，并基于所获信息为病人病情的诊断提供依据。然而随着医学成像技术的发展，肺部CT图像的扫描速度和成像数量的提升使得人工检测耗时严重，这其中很多图像都是类似的，一直重复着这种单调的工作，极易使医生产生疲劳。同时CT图像中的肺结节可能存在表现不明显或变化多样等特点，使得检测具有一定难度，需要医生具备较为丰富的经验知识，仅凭医生肉眼观察易产生漏诊和误诊影响检测结果和后期治疗，因此需要一种肺结节检测***来实现。
发明内容
为解决背景技术中的问题；本发明的目的在于提供一种基于改进 Mask R-CNN的肺结节检测***。
本发明的一种基于改进Mask R-CNN的肺结节检测***，包括如下步骤：
步骤一：肺实质分割：
首先对原始CT图像进行二值化，标记图像像素，将整个图像转化为灰度图像，利用图像像素的亮度分布分离图像，得到肺部轮廓区域；然后采用图像形态学操作对灰度图像进一步处理消除肺部小空洞区域，具体采用腐蚀和膨胀操作，腐蚀操作减小高亮区域，膨胀操作增加高亮区域；之后标记肺部连通区域，获得肺部掩模区域，最终与原始CT图像进行与操作分割肺实质部分；
步骤二：候选结节分割与检测算法：
空间注意力机制采用全局平均池化和最大池化两种方法提取图像空间特征，将所提取特征拼接，通过卷积核为1×1的卷积层以及 sigmoid激活函数操作，得到空间注意力权重系数；将所获得的权重与输入的特征图相乘，最终生成空间注意力特征；其中空间注意力的权重计算公式如(1)所示：
式中，MS(F)表示空间注意力模块的权重，
表示对空间S上的特征进行全局平均池化操作，
表示对空间S上的特征进行最大池化操作，f表示将两个特征拼接后的卷积操作，函数σ表示sigmoid 激活函数；
步骤三：针对小目标改进网络：
在FPN的基础上增加一个计算损失函数的模块，用于监督骨干网络参数调整；同时参照UNet，在计算损失函数的同时输出一个关于检测目标的语义分割结果，该结果将用于调整FPN输出的特征图；
步骤四：假阳性减少算法：
在Mask R-CNN网络中加入三维卷积神经网络，用于精确地提取肺结节特征，达到降低假阳性肺结节的目的；
步骤五：统一框架：
将上述改进整合到一个统一的模型中，然后在肺结节数据集上进行实验验证，详细探究各个模块对实验结果的影响，调整参数，达到预期效果。
与现有技术相比，本发明的有益效果为：
一、提高了检测的敏感度，检测效果好，同时能够实现采集的分割与检测。
二、提高了检测结果的准确性，能够让医生直观的看出结果。
附图说明
为了易于说明，本发明由下述的具体实施及附图作以详细描述。
图1为本发明的流程图；
图2为本发明中空间注意力机制的流程图；
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面通过附图中示出的具体实施例来描述本发明。但是应该理解，这些描述只是示例性的，而并非要限制本发明的范围。本说明书附图所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容能涵盖的范围内。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
在此，还需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的结构和/或处理步骤，而省略了与本发明关系不大的其他细节。
本具体实施方式采用以下技术方案：包括在图像中所占像素值小于32×32像素的小肺结节。肺结节检测的主要流程如图1所示。针对该流程，本设计主要的研究内容有：
(1)、数据集预处理与肺实质分割：首先对原始肺部图像进行二值化，通过像素亮度的分布分离图像区域，其次采用图像形态学操作方法消除肺部小空洞区域，之后标记连通区域得到肺部掩模图像，再同原始图像进行与操作，最后进行归一化处理得到分割的肺实质图像。
(2)、候选结节分割与检测算法研究：将医学图像的先验知识考虑在内，寻找一种改进Mask R-CNN的方法，使Mask R-CNN能够更好地检测肺结节。大部分医学图像的检测任务都存在一个共同点：同种类型的病灶都出现在特定的器官或位置上，即它们在图像上大多聚集在一小块区域。基于这个先验知识，在提取候选框时，可以在出现肺结节概率高的位置提取更多、更密集的候选框，而在出现目标概率低的位置提取少量，甚至不提取候选框。将Mask R-CNN中的RPN模块进行改进，使其在高概率区域密集产生候选框，从而提升模型的分割效果。
(3)、小目标检测算法研究：虽然大多数小肺结节都属良性，但仍不能忽视。由于小目标检测信息量不足、面积太小等问题，导致检测效果不佳，本设计考虑通过改进Mask R-CNN中的FPN模块，使得该网络对小目标的检测效率得到提升。
(4)、假阳性减少算法研究：
本网络具有较高灵敏度，会在一定程度上检测出假阳性肺结节。考虑基于肺部CT图像的断层属性(即肺部CT图像具有三维属性)，寻找一种可输入三维特征的网络，用以减少假阳性肺结节。
实施例：本实施例的方案如下：
(1)肺实质分割：
本数据集中读取到的CT图像为整个肺部图像，主要包括肺部及其周围组织器官，其中诸如血管、支气管和骨骼等组织可能对后续肺结节检测造成一定的影响，因此需要分割肺实质，去除肺部以外的其他组织器官。首先对原始CT图像进行二值化，标记图像像素，将整个图像转化为灰度图像，利用图像像素的亮度分布分离图像，得到肺部轮廓区域。然后采用图像形态学操作对灰度图像进一步处理消除肺部小空洞区域，具体采用腐蚀和膨胀操作，腐蚀操作减小高亮区域，膨胀操作增加高亮区域。之后标记肺部连通区域，获得肺部掩模区域，最终与原始CT图像进行与操作分割肺实质部分。
(2)候选结节分割与检测算法研究：
在肺部CT中，肺结节出现位置有高低概率之分，将注意力集中在肺结节区域，并抑制其他不相干区域的干扰，可提高网络在特征提取方面的准确性。考虑加入空间注意力机制，空间注意力机制主要针对图像中的空间信息建立模型，压缩通道获得空间注意力特征。重点突出空间上的目标区域特征信息，增强对局部特征的表示能力。空间注意力机制如图2所示。
空间注意力机制采用全局平均池化和最大池化两种方法提取图像空间特征，将所提取特征拼接，通过卷积核为1×1的卷积层以及sigmoid激活函数操作，得到空间注意力权重系数。将所获得的权重与输入的特征图相乘，最终生成空间注意力特征。其中空间注意力的权重计算公式如(1)所示：
式中，MS(F)表示空间注意力模块的权重，
表示对空间S上的特征进行全局平均池化操作，
表示对空间S上的特征进行最大池化操作，f表示将两个特征拼接后的卷积操作，函数σ表示sigmoid 激活函数。
(3)针对小目标改进网络：
借鉴UNet的思想，将FPN看做一种编解码结构。FPN的自底向上部分可以当成编解码结构中的编码部分，而自顶向下部分则可以当成解码部分。本设计仿照UNet，在FPN的基础上增加一个计算损失函数的模块，用于监督骨干网络参数调整；同时参照UNet，在计算损失函数的同时输出一个关于检测目标的语义分割结果，该结果将用于调整FPN输出的特征图。
(4)假阳性减少算法研究：
在候选结节分割与检测阶段，需要通过较高的敏感度尽可能多地检测出所有候选结节，这往往会出现较高的假阳性。为了从中检测出真实结节，需要进一步去除假阳性结节。本设计考虑在Mask R-CNN 网络中加入三维卷积神经网络，用于精确地提取肺结节特征，达到降低假阳性肺结节的目的。
(5)统一框架：
将上述改进整合到一个统一的模型中，然后在肺结节数据集上进行实验验证，详细探究各个模块对实验结果的影响，调整参数，达到预期效果。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
Claims (1)
1.一种基于改进Mask R-CNN的肺结节检测***，其特征在于：包括如下步骤：
步骤一：肺实质分割：
首先对原始CT图像进行二值化，标记图像像素，将整个图像转化为灰度图像，利用图像像素的亮度分布分离图像，得到肺部轮廓区域；然后采用图像形态学操作对灰度图像进一步处理消除肺部小空洞区域，具体采用腐蚀和膨胀操作，腐蚀操作减小高亮区域，膨胀操作增加高亮区域；之后标记肺部连通区域，获得肺部掩模区域，最终与原始CT图像进行与操作分割肺实质部分；
步骤二：候选结节分割与检测算法：
空间注意力机制采用全局平均池化和最大池化两种方法提取图像空间特征，将所提取特征拼接，通过卷积核为1×1的卷积层以及sigmoid激活函数操作，得到空间注意力权重系数；将所获得的权重与输入的特征图相乘，最终生成空间注意力特征；其中空间注意力的权重计算公式如(1)所示：
式中，MS(F)表示空间注意力模块的权重，
表示对空间S上的特征进行全局平均池化操作，
表示对空间S上的特征进行最大池化操作，f表示将两个特征拼接后的卷积操作，函数σ表示sigmoid激活函数；
步骤三：针对小目标改进网络：
在FPN的基础上增加一个计算损失函数的模块，用于监督骨干网络参数调整；同时参照UNet，在计算损失函数的同时输出一个关于检测目标的语义分割结果，该结果将用于调整FPN输出的特征图；
步骤四：假阳性减少算法：
在Mask R-CNN网络中加入三维卷积神经网络，用于精确地提取肺结节特征，达到降低假阳性肺结节的目的；
步骤五：统一框架：
将上述改进整合到一个统一的模型中，然后在肺结节数据集上进行实验验证，详细探究各个模块对实验结果的影响，调整参数，达到预期效果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210462990.5A CN115222651A (zh) | 2022-04-28 | 2022-04-28 | 一种基于改进Mask R-CNN的肺结节检测*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210462990.5A CN115222651A (zh) | 2022-04-28 | 2022-04-28 | 一种基于改进Mask R-CNN的肺结节检测*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115222651A true CN115222651A (zh) | 2022-10-21 |
Family
ID=83608560
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210462990.5A Pending CN115222651A (zh) | 2022-04-28 | 2022-04-28 | 一种基于改进Mask R-CNN的肺结节检测*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115222651A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116310483A (zh) * | 2022-12-06 | 2023-06-23 | 河北玖嘉医药科技有限公司 | 基于MobileNetV2网络的肺癌病理识别分类方法 |
-
2022
- 2022-04-28 CN CN202210462990.5A patent/CN115222651A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116310483A (zh) * | 2022-12-06 | 2023-06-23 | 河北玖嘉医药科技有限公司 | 基于MobileNetV2网络的肺癌病理识别分类方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109461495B (zh) | 一种医学图像的识别方法、模型训练的方法及服务器 | |
| CN109493308B (zh) | 基于条件多判别生成对抗网络的医疗图像合成与分类方法 | |
| CN110930416B (zh) | 一种基于u型网络的mri图像***分割方法 | |
| US20220092789A1 (en) | Automatic pancreas ct segmentation method based on a saliency-aware densely connected dilated convolutional neural network | |
| CN111784721B (zh) | 基于深度学习的超声内窥图像智能分割与量化方法及*** | |
| CN112258514B (zh) | 一种ct影像肺血管的分割方法 | |
| CN110889853A (zh) | 基于残差-注意力深度神经网络的肿瘤分割方法 | |
| CN115359052B (zh) | 基于聚类算法的医疗影像增强方法 | |
| Tan et al. | Analysis of segmentation of lung parenchyma based on deep learning methods | |
| CN112001895B (zh) | 一种甲状腺钙化检测装置 | |
| Lan et al. | Run: Residual u-net for computer-aided detection of pulmonary nodules without candidate selection | |
| CN117474823B (zh) | 一种儿科感染性炎症检测辅助用ct数据处理*** | |
| CN112071418B (zh) | 基于增强ct影像组学的胃癌腹膜转移的预测***及方法 | |
| CN112614093A (zh) | 基于多尺度空间注意力网络的乳腺病理图像分类方法 | |
| CN112862783A (zh) | 一种基于神经网络的甲状腺ct图像结节自动诊断*** | |
| CN114529505A (zh) | 一种基于深度学习的乳腺病变风险评估*** | |
| Honghan et al. | Rms-se-unet: A segmentation method for tumors in breast ultrasound images | |
| CN115222651A (zh) | 一种基于改进Mask R-CNN的肺结节检测*** | |
| CN113538363A (zh) | 一种基于改进U-Net的肺部医学影像分割方法及装置 | |
| CN112967254A (zh) | 基于胸部ct影像肺部疾病识别和检测方法 | |
| CN112634308A (zh) | 基于不同感受野的鼻咽癌靶区和危及器官的勾画方法 | |
| CN116542924A (zh) | 一种***病灶区域检测方法、装置及存储介质 | |
| CN110648333A (zh) | 基于中智学理论的乳腺超声视频图像实时分割*** | |
| CN109948706B (zh) | 结合深度学习与特征多尺度融合的微钙化簇检测方法 | |
| CN111507918B (zh) | 一种基于深度学习技术的医学图像增强方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |