CN110634132A - 基于深度学习的3d ct影像自动生成肺结核量化诊断报告的方法 - Google Patents
基于深度学习的3d ct影像自动生成肺结核量化诊断报告的方法 Download PDFInfo
- Publication number
- CN110634132A CN110634132A CN201910818778.6A CN201910818778A CN110634132A CN 110634132 A CN110634132 A CN 110634132A CN 201910818778 A CN201910818778 A CN 201910818778A CN 110634132 A CN110634132 A CN 110634132A
- Authority
- CN
- China
- Prior art keywords
- image
- mask
- area
- diagnosis report
- tuberculosis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/29—Graphical models, e.g. Bayesian networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/155—Segmentation; Edge detection involving morphological operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的3D CT影像自动生成肺结核量化诊断报告的方法,包括:对CT图像进行预处理;采用固定阈值对图像进行二值化,去掉Hu值较大的一些骨头或者软组织;在3D连通域内,保留连通域内容积在0.45~7.5L之间的区域,保留得到肺部有效区域;对于提取到的掩模先进行腐蚀操作,再膨胀到原来的尺寸,去除掩模中的小黑洞;对于一些病变区域在掩模区域外的,对其进行凸包操作,将其包进掩模之内;使用3D u‑net对输入的肺部有效区域进行训练,端到端输出病变区域位置和类别;输出量化诊断报告。本发明在现有的网络输出层加上分类的概率,直接端到端输出病变区域位置和分类类别,并量化输出诊断报告,可以帮助医生进行肺结核的精准诊断和治疗。
Description
技术领域
本发明属于医疗技术领域,具体涉及一种基于深度学习的3D CT影像自动生成肺结核量化诊断报告的方法。
背景技术
肺结核作为我国重点控制的主要疾病之一,是一种严重的慢性呼吸道传染病,主要由结核分枝杆菌引起。结核病被世界卫生组织(WHO)称为全球首屈一指的传染病杀手。因此对肺结核的正确检测和诊断显得至关重要。
近年来随着大数据和人工智能的快速发展,深度学习逐渐应用于计算机辅助诊断computer aided diagnosis(CAD)。例如申请号为2018105698569的专利文献中提出了一种CT肺结核检测人工智能诊疗***,其首先对CT图像进行预处理,然后利用二维卷积神经网络进行病变区域分割,其次利用残差网络进行真假阳性的预测。实现了对CT图像中的肺结核进行自动化诊断,为医师提供诊疗建议。该方案识别准确率高,大大降低了漏检率,降低了人工筛查的成本,但是在对肺结核病变区域进行分割时,仅仅使用了图像的二维特性,并未考虑到CT图像的三维特性对最终分割效果的影响。同时其分割与分类分两步进行,在对CT图像进行分割后,再送入分类网络进行真假阳性的判别,并未能实现端到端的检测与分类。
发明内容
为了解决上述问题,本发明提供了一种基于深度学习的3D CT影像自动生成肺结核量化诊断报告的方法,对肺结核病变区域进行检测,输出病变区域位置,对检测到的病变区域进行分类,输出量化诊断报告。
本发明的技术方案为:基于深度学习的3D CT影像自动生成肺结核量化诊断报告的方法,包括以下步骤:
(1)对CT图像进行预处理,生成肺部有效区域的掩膜,剔除与肺部无关的区域,将原始CT数据转换为Hu值表示的图像;
(2)采用固定阈值对步骤(1)中获得图像进行二值化,去掉Hu值较大的一些骨头或者软组织;
(3)去除离心率大于0.99的线状伪影,在2D平面上,计算二值化后每个连通域离图像中心的最小距离MinDist,同时计算每个连通域面积记为Area,去除MinDist大于62mm的连通域,保留Area大于面积阈值的连通域,在3D连通域内,保留连通域内容积在0.45~7.5L之间的区域,保留得到肺部有效区域;
(4)对于提取到的掩模先进行腐蚀操作,再膨胀到原来的尺寸,去除掩模中的小黑洞;
(5)对于一些病变区域在掩模区域外的,对其进行凸包操作,将其包进掩模之内;
(6)将步骤(1)中获得图像中小于-1200和大于600的归置为-1200和600,然后将数据归一化至0~255,公式如式(Ⅰ)所示:
Inew(xi,yi)=(Iold(xi,yi)-Imin)/(Imax-Imin) (Ⅰ)
I(xi,yi)表示在(xi,yi)位置的像素值,这里Imin为-1200,Imax为600。
(7)将步骤(5)得到的掩膜和步骤(1)中获得图像进行相乘得到肺部最终有效区域;
(8)使用3D u-net对输入的肺部有效区域进行训练,端到端输出病变区域位置和类别;
(9)输出量化诊断报告。
本发明主要研究活动性肺结核,其病灶类型分为5类,粟粒型、浸润型、干酪型、结核球和空洞型,本发明使用3D深度卷积神经网络对肺部CT影像自动检测并分割并标注出肺结核病变区域,并对病变区域进行分类,区分出粟粒型、浸润型、干酪型、结核球、空洞五种类型;然后根据检测和分类结果利用贝叶斯网络noisy-or模型得出整体感染概率;最终输出量化肺结核诊断报告。
作为优选,所述步骤(1)中的固定阈值为-600。
作为优选,所述步骤(3)中的面积阈值为200mm2。
作为优选,所述量化诊断报告包括感染位置对应标注、左右肺总体感染概率、有无钙化点、病变类型分类以及左右肺的有效容积。本发明利用3D卷积神经网络对CT图像集的肺结核病变区域的检测和分类。并且根据检测和分类结果数字化输出病变区域位置坐标、位置的图像标注、左右肺感染概率、有无钙化点、病变类型分类以及左右肺的有效容积的量化诊断报告,大幅提升结核病的检出率和分类准确率,有助于肺结核的精确诊断和治疗。
与现有技术相比,本发明的有益效果体现在:
(1)本发明采用端到端的训练方法,使用3D版本的u-net对CT图像进行训练,直接输出病变区域的位置分类,并输出量化诊断报告,包括感染位置对应标注、左右肺总体感染概率、有无钙化点、病变类型分类以及左右肺的有效容积。
(2)本发明在原有的网络输出层加上分类的概率,直接端到端输出病变区域位置和分类类别,并量化出处诊断报告,可以帮助医生进行肺结核的精准诊断和治疗。
附图说明
图1为本发明的流程示意图。
图2为本发明中预处理的案例图。
具体实施方式
实施例1
基于深度学习的3D CT影像自动生成肺结核量化诊断报告的方法,包括以下步骤:
(1)对CT图像进行预处理,生成肺部有效区域的掩模,剔除与肺部无关的区域,首先将原始CT数据转换为Hu值表示的图像,见图2中(a)所示
(2)采用固定阈值(-600)对步骤(1)中转换为Hu值后的图像进行二值化,去掉Hu值较大的一些骨头或者软组织等,见图2中(b)所示;
(3)去除离心率大于0.99的线状伪影,在2D平面上,计算二值化后每个连通域离图像中心的最小距离(MinDist),同时计算每个连通域面积记为Area,去除MinDist大于62mm的连通域,保留Area大于面积阈值的连通域,本实施例中病变区域大,分布广泛,减小了肺部的有效区域,因此本实施例中选择200mm2作为面积阈值。在3D连通域内,保留连通域内容积在0.45~7.5L之间的区域,经此处理,一般能保留肺部有效区域,见图2中(c)所示;
(4)对于提取到的掩模先进行腐蚀操作,再膨胀到原来的尺寸,去除掩模中的小黑洞等,见图2中(d)所示;
(5)对于一些病变区域在掩模区域外的,需要对其进行凸包操作,将其包进掩模之内,见图2中(e)所示;
(6)将步骤(1)的图像(a)中小于-1200和大于600的归置为-1200和600,然后将数据归一化至0~255,公式如式(Ⅰ)所示:
Inew(xi,yi)=(Iold(xi,yi)-Imin)/(Imax-Imin) (Ⅰ)
其中,I(xi,yi)表示在(xi,yi)位置的像素值,Imin为-1200,Imax为600。
(7)将步骤(5)得到的掩模和步骤(1)得到的原始图像(a)进行相乘得到最终肺部有效区域,见图2中(f)所示;
(8)使用改进版本的3D u-net对输入的肺部有效区域进行训练,端到端输出病变区域位置和类别;
(9)输出量化诊断报告,报告包括感染位置对应标注、左右肺总体感染概率、有无钙化点、病变类型分类以及左右肺的有效容积。
最终实验结果表明,肺结核单处病变区域的查全率,查准率分别为86.7%,89.9%,分类准确率为90.2%。从有无患病角度而言,总体查全率,查准率分别为100%,93.8%。
Claims (4)
1.基于深度学习的3D CT影像自动生成肺结核量化诊断报告的方法,其特征在于,包括以下步骤:
(1)对CT图像进行预处理,生成肺部有效区域的掩膜,剔除与肺部无关的区域,将原始CT数据转换为Hu值表示的图像;
(2)采用固定阈值对步骤(1)中获得图像进行二值化,去掉Hu值较大的一些骨头或者软组织;
(3)去除离心率大于0.99的线状伪影,在2D平面上,计算二值化后每个连通域离图像中心的最小距离MinDist,同时计算每个连通域面积记为Area,去除MinDist大于62mm的连通域,保留Area大于面积阈值的连通域,在3D连通域内,保留连通域内容积在0.45~7.5L之间的区域,保留得到肺部有效区域;
(4)对于提取到的掩模先进行腐蚀操作,再膨胀到原来的尺寸,去除掩模中的小黑洞;
(5)对于一些病变区域在掩模区域外的,对其进行凸包操作,将其包进掩模之内;
(6)将步骤(1)中获得图像中小于-1200和大于600的归置为-1200和600,然后将数据归一化至0~255,公式如式(Ⅰ)所示:
Inew(xi,yi)=(Iold(xi,yi)-Imin)/(Imax-Imin) (Ⅰ)
I(xi,yi)表示在(xi,yi)位置的像素值,这里Imin为-1200,Imax为600。
(7)将步骤(5)得到的掩膜和步骤(1)中获得图像进行相乘得到肺部最终有效区域;
(8)使用3D u-net对输入的肺部有效区域进行训练,端到端输出病变区域位置和类别;
(9)输出量化诊断报告。
2.如权利要求1所述的基于深度学习的3D CT影像自动生成肺结核量化诊断报告的方法,其特征在于,所述步骤(1)中的固定阈值为-600。
3.如权利要求1所述的基于深度学习的3D CT影像自动生成肺结核量化诊断报告的方法,其特征在于,所述步骤(3)中的面积阈值为200mm2。
4.如权利要求1所述的基于深度学习的3D CT影像自动生成肺结核量化诊断报告的方法,其特征在于,所述量化诊断报告包括感染位置对应标注、左右肺总体感染概率、有无钙化点、病变类型分类以及左右肺的有效容积。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910818778.6A CN110634132A (zh) | 2019-08-30 | 2019-08-30 | 基于深度学习的3d ct影像自动生成肺结核量化诊断报告的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910818778.6A CN110634132A (zh) | 2019-08-30 | 2019-08-30 | 基于深度学习的3d ct影像自动生成肺结核量化诊断报告的方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110634132A true CN110634132A (zh) | 2019-12-31 |
Family
ID=68969763
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910818778.6A Pending CN110634132A (zh) | 2019-08-30 | 2019-08-30 | 基于深度学习的3d ct影像自动生成肺结核量化诊断报告的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110634132A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111653356A (zh) * | 2020-04-20 | 2020-09-11 | 浙江大学 | 一种基于深度学习的新冠肺炎筛查方法及新冠肺炎筛查*** |
CN111724356A (zh) * | 2020-06-04 | 2020-09-29 | 杭州健培科技有限公司 | 一种用于ct影像肺炎识别的图像处理方法和*** |
CN111738997A (zh) * | 2020-06-11 | 2020-10-02 | 浙江大学 | 一种基于深度学习的计算新冠肺炎病变区域占比的方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108648172A (zh) * | 2018-03-30 | 2018-10-12 | 四川元匠科技有限公司 | 一种基于3D-Unet的CT图肺结节检测*** |
CN109003672A (zh) * | 2018-07-16 | 2018-12-14 | 北京睿客邦科技有限公司 | 一种基于深度学习的早期肺癌检测分类一体化设备及*** |
CN109978838A (zh) * | 2019-03-08 | 2019-07-05 | 腾讯科技(深圳)有限公司 | 图像区域定位方法、装置和医学图像处理设备 |
CN110059697A (zh) * | 2019-04-29 | 2019-07-26 | 上海理工大学 | 一种基于深度学习的肺结节自动分割方法 |
-
2019
- 2019-08-30 CN CN201910818778.6A patent/CN110634132A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108648172A (zh) * | 2018-03-30 | 2018-10-12 | 四川元匠科技有限公司 | 一种基于3D-Unet的CT图肺结节检测*** |
CN109003672A (zh) * | 2018-07-16 | 2018-12-14 | 北京睿客邦科技有限公司 | 一种基于深度学习的早期肺癌检测分类一体化设备及*** |
CN109978838A (zh) * | 2019-03-08 | 2019-07-05 | 腾讯科技(深圳)有限公司 | 图像区域定位方法、装置和医学图像处理设备 |
CN110458813A (zh) * | 2019-03-08 | 2019-11-15 | 腾讯科技(深圳)有限公司 | 图像区域定位方法、装置和医学图像处理设备 |
CN110059697A (zh) * | 2019-04-29 | 2019-07-26 | 上海理工大学 | 一种基于深度学习的肺结节自动分割方法 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111653356A (zh) * | 2020-04-20 | 2020-09-11 | 浙江大学 | 一种基于深度学习的新冠肺炎筛查方法及新冠肺炎筛查*** |
CN111724356A (zh) * | 2020-06-04 | 2020-09-29 | 杭州健培科技有限公司 | 一种用于ct影像肺炎识别的图像处理方法和*** |
CN111724356B (zh) * | 2020-06-04 | 2023-08-18 | 杭州健培科技有限公司 | 一种用于ct影像肺炎识别的图像处理方法和*** |
CN111738997A (zh) * | 2020-06-11 | 2020-10-02 | 浙江大学 | 一种基于深度学习的计算新冠肺炎病变区域占比的方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Makaju et al. | Lung cancer detection using CT scan images | |
Shen et al. | An automated lung segmentation approach using bidirectional chain codes to improve nodule detection accuracy | |
Zotin et al. | Lung boundary detection for chest X-ray images classification based on GLCM and probabilistic neural networks | |
Jin et al. | Pulmonary nodule detection based on CT images using convolution neural network | |
CN109087703B (zh) | 基于深度卷积神经网络的腹腔ct图像腹膜转移标记方法 | |
CN112365464B (zh) | 一种基于gan的医学图像病变区域弱监督定位方法 | |
Shao et al. | A detection approach for solitary pulmonary nodules based on CT images | |
CN110634132A (zh) | 基于深度学习的3d ct影像自动生成肺结核量化诊断报告的方法 | |
CN112150442A (zh) | 基于深度卷积神经网络及多实例学习的新冠诊断*** | |
CN111653356A (zh) | 一种基于深度学习的新冠肺炎筛查方法及新冠肺炎筛查*** | |
Basha et al. | Computer aided fracture detection system | |
CN113782181A (zh) | 一种基于ct图像的肺结节良恶性诊断方法及装置 | |
Ramkumar et al. | Multi res U-Net based image segmentation of pulmonary tuberculosis using CT images | |
CN110782441A (zh) | 一种基于深度学习的dr影像肺结核智能分割与检测方法 | |
Farhangi et al. | Automatic lung nodule detection in thoracic CT scans using dilated slice‐wise convolutions | |
CN111401102B (zh) | 深度学习模型训练方法及装置、电子设备及存储介质 | |
Ratheesh et al. | Advanced algorithm for polyp detection using depth segmentation in colon endoscopy | |
CN116777893B (zh) | 一种基于乳腺超声横纵切面特征结节的分割与识别方法 | |
Karthikeyan et al. | Segmentation algorithm for CT images using morphological operation and artificial neural network | |
CN115210755A (zh) | 解决训练数据中遗漏注释的类别不同损失函数 | |
Malathi et al. | Active contour based segmentation and classification for pleura diseases based on Otsu’s thresholding and support vector machine (SVM) | |
CN115409812A (zh) | 一种基于融合时间注意机制的ct图像自动分类方法 | |
CN111768845B (zh) | 一种基于最优多尺度感知的肺结节辅助检测方法 | |
JP2024507290A (ja) | 弱教師あり深層学習人工知能を利用した***超音波診断の方法及びシステム{Method and system for breast ultrasonic image diagnosis using weakly-supervised deep learning artificial intelligence} | |
Karthikeyan et al. | Segmentation algorithm for CT images using morphological operation and artificial neural network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |