CN111062947B - 一种基于深度学习的x光胸片病灶定位方法及*** - Google Patents
一种基于深度学习的x光胸片病灶定位方法及*** Download PDFInfo
- Publication number
- CN111062947B CN111062947B CN201911124998.5A CN201911124998A CN111062947B CN 111062947 B CN111062947 B CN 111062947B CN 201911124998 A CN201911124998 A CN 201911124998A CN 111062947 B CN111062947 B CN 111062947B
- Authority
- CN
- China
- Prior art keywords
- image
- focus
- ray chest
- semantic segmentation
- chest radiography
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000002601 radiography Methods 0.000 title claims abstract description 128
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000013135 deep learning Methods 0.000 title claims abstract description 26
- 230000011218 segmentation Effects 0.000 claims abstract description 111
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 54
- 210000004072 lung Anatomy 0.000 claims abstract description 35
- 238000009877 rendering Methods 0.000 claims abstract description 22
- 238000007781 pre-processing Methods 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims description 50
- 238000013528 artificial neural network Methods 0.000 claims description 22
- 239000011159 matrix material Substances 0.000 claims description 18
- 230000000877 morphologic effect Effects 0.000 claims description 18
- 238000001914 filtration Methods 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 14
- 230000003902 lesion Effects 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 10
- 238000010586 diagram Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 230000001105 regulatory effect Effects 0.000 claims 2
- 238000013519 translation Methods 0.000 claims 2
- 230000004807 localization Effects 0.000 claims 1
- 238000003745 diagnosis Methods 0.000 abstract description 10
- 239000002699 waste material Substances 0.000 abstract description 2
- 238000004422 calculation algorithm Methods 0.000 description 11
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 201000010099 disease Diseases 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 230000002708 enhancing effect Effects 0.000 description 4
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 2
- 206010054107 Nodule Diseases 0.000 description 2
- 206010035664 Pneumonia Diseases 0.000 description 2
- 201000005202 lung cancer Diseases 0.000 description 2
- 208000020816 lung neoplasm Diseases 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 208000008128 pulmonary tuberculosis Diseases 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000013526 transfer learning Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/155—Segmentation; Edge detection involving morphological operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种基于深度学习的X光胸片病灶定位方法及***,方法包括:获取X光胸片图像,对X光胸片图像进行预处理后,生成X光胸片图像对应的数据标签;将预处理后的X光胸片图像输入训练好的卷积神经网络,根据输出结果生成X光胸片图像的初始病灶语义分割图像;对所述初始病灶语义分割图像进行二次处理后,过滤掉卷积神经网络在肺部区域外部的假阳性,生成目标病灶语义分割图像;将目标病灶语义分割图像叠加渲染到原图,生成一个显示病灶高亮的热图,完成对X光胸片病灶定位。本发明实施例在保证与医生相近的准确率的同时,大大缩短了医生阅片时间,解决了胸片诊断费时的问题,提升医生的工作效率,减少漏诊。
Description
技术领域
本发明涉及医学图像处理技术领域,尤其涉及一种基于深度学习的X光胸片病灶定位方法及***。
背景技术
胸部X光检查是当今医学影像检查中最常规的检查。通过X光检查,医生可以清楚地了解我们身体的健康状况。不同的病种在胸片上会呈现不同的病灶特征,放射科医生会依照这些特征作为判断疾病的种类和严重程度的标准。医生的准确判断能够帮助病人及时并治疗疾病。但是对于放射科医生来说,诊断X胸光片非常费时,属于大量的重复性工作,而且是一些特征不太明显的疾病往往要求放射科医生有丰富的经验,在一些医疗条件较为落后的地区,计算机辅助病灶自动定位算法有助于解决放射科医生工作量大,主观性强,效率低等问题。
随着计算机技术的不断发展,人工智能技术已经在越来越多的领域开始帮助人类完成一些重复性的工作,医学领域也不例外。目前,许多研究者在X光胸光自动诊断方面做了大量的研究,大多数是基于图像分类算法的基础上实现的,其优点是算法本身是半监督学习,数据标注的工作量小,容易获取训练数据,但是缺点是算法鲁棒性低,病灶定位不准确。另外,还有一部分算法是基于目标检测领域开展的,这是计算机领域在图像上寻找指定目标的常用方法,但是缺点是所需的数据量巨大,在医学图像领域是不现实的。
因此现有技术还有待于进一步发展。
发明内容
针对上述技术问题,本发明实施例提供了一种基于深度学习的X光胸片病灶定位方法及***,能够解决现有技术中病灶定位算法存在定位不准确,定位需要的数据量巨大的技术问题。
本发明实施例的第一方面提供一种基于深度学习的X光胸片病灶定位方法,包括:
获取X光胸片图像,对X光胸片图像进行预处理后,生成X光胸片图像对应的数据标签;
将预处理后的X光胸片图像输入训练好的卷积神经网络,根据输出结果生成X光胸片图像的初始病灶语义分割图像;
对所述初始病灶语义分割图像进行二次处理后,过滤掉卷积神经网络在肺部区域外部的假阳性,生成目标病灶语义分割图像;
将目标病灶语义分割图像叠加渲染到原图,生成一个显示病灶高亮的热图,完成对X光胸片病灶定位。
可选地,所述获取X光胸片图像,对X光胸片图像进行预处理后,生成X光胸片图像对应的数据标签,包括:
获取医学DICOM文件格式的X光胸片图像;
将医学DICOM文件转为PNG图像,并进行图像增强;
将进行图像增强后的PNG图像进行归一化处理;
将归一化的PNG图像进行数据增强;
对增强后的数据进行标记,标记出病灶区域,生成X光图像对应的数据标签。
可选地,将预处理后的X光胸片图像输入训练好的卷积神经网络,根据输出结果生成X光胸片图像的初始病灶语义分割图像,包括:
获取预处理后的X光胸片图像,利用卷积神经网络进行特征提取,用梯度下降来训练网络;
获取卷积神经网络的输出结果,将特征向量还原为矩阵,并对像素值范围进行还原后,生成X光胸片图像的初始病灶语义分割图像。
可选地,所述对所述初始病灶语义分割图像进行二次处理后,过滤掉卷积神经网络在肺部区域外部的假阳性,生成目标病灶语义分割图像,包括:
对所述初始病灶语义分割图像进行形态学处理,消除初始病灶语义分割图像的毛刺和噪声;
根据预先设置的阈值对形态学处理后初始病灶语义分割图像进行二值化处理,生成二值化图像;
计算二值化图像中单个病灶区域的置信分数;
根据初始病灶语义分割图像和置信分数,过滤掉卷积神经网络在肺部区域外部的假阳性,生成目标病灶语义分割图像。
可选地,所述将目标病灶语义分割图像叠加渲染到原图,生成一个显示病灶高亮的热图,完成对X光胸片病灶定位,包括:
获取将目标病灶语义分割图像对应的灰度图,将灰度图的每一个灰度像素值映射到一个色度图上,实现将目标病灶语义分割图像叠加渲染到原图,生成一个显示病灶高亮的热图,完成对X光胸片病灶定位。
本发明实施例第二方面提供了一种基于深度学习的X光胸片病灶定位***,所述***包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现以下步骤:
获取X光胸片图像,对X光胸片图像进行预处理后,生成X光胸片图像对应的数据标签;
将预处理后的X光胸片图像输入训练好的卷积神经网络,根据输出结果生成X光胸片图像的初始病灶语义分割图像;
对所述初始病灶语义分割图像进行二次处理后,过滤掉卷积神经网络在肺部区域外部的假阳性,生成目标病灶语义分割图像;
将目标病灶语义分割图像叠加渲染到原图,生成一个显示病灶高亮的热图,完成对X光胸片病灶定位。
可选地,所述计算机程序被所述处理器执行时还实现以下步骤:
获取X光胸片图像,对X光胸片图像进行预处理后,生成X光胸片图像对应的数据标签,包括:
获取医学DICOM文件格式的X光胸片图像;
将医学DICOM文件转为PNG图像,并进行图像增强;
将进行图像增强后的PNG图像进行归一化处理;
将归一化的PNG图像进行数据增强;
对增强后的数据进行标记,标记出病灶区域,生成X光图像对应的数据标签。
可选地,所述计算机程序被所述处理器执行时还实现以下步骤:
将预处理后的X光胸片图像输入训练好的卷积神经网络,根据输出结果生成X光胸片图像的初始病灶语义分割图像,包括:
获取预处理后的X光胸片图像,利用卷积神经网络进行特征提取,用梯度下降来训练网络;
获取卷积神经网络的输出结果,将特征向量还原为矩阵,并对像素值范围进行还原后,生成X光胸片图像的初始病灶语义分割图像。
可选地,所述计算机程序被所述处理器执行时还实现以下步骤:
对所述初始病灶语义分割图像进行二次处理后,过滤掉卷积神经网络在肺部区域外部的假阳性,生成目标病灶语义分割图像,包括:
对所述初始病灶语义分割图像进行形态学处理,消除初始病灶语义分割图像的毛刺和噪声;
根据预先设置的阈值对形态学处理后初始病灶语义分割图像进行二值化处理,生成二值化图像;
计算二值化图像中单个病灶区域的置信分数;
根据初始病灶语义分割图像和置信分数,过滤掉卷积神经网络在肺部区域外部的假阳性,生成目标病灶语义分割图像。
本发明实施例第三方面提供了一种非易失性计算机可读存储介质,其特征在于,所述非易失性计算机可读存储介质存储有计算机可执行指令,该计算机可执行指令被一个或多个处理器执行时,可使得所述一个或多个处理器执行上述的基于深度学习的X光胸片病灶定位方法。
本发明实施例提供的技术方案中,获取X光胸片图像,对X光胸片图像进行预处理后,生成X光胸片图像对应的数据标签;将预处理后的X光胸片图像输入训练好的卷积神经网络,根据输出结果生成X光胸片图像的初始病灶语义分割图像;对所述初始病灶语义分割图像进行二次处理后,过滤掉卷积神经网络在肺部区域外部的假阳性,生成目标病灶语义分割图像;将目标病灶语义分割图像叠加渲染到原图,生成一个显示病灶高亮的热图,完成对X光胸片病灶定位。因此相对于现有技术,本发明实施例在保证与医生相近的准确率的同时,大大缩短了医生阅片时间,解决了胸片诊断费时的问题,提升医生的工作效率,减少漏诊,另外,也减少了由于医生经验不同而带来的诊断误差。
附图说明
图1为本发明实施例中一种基于深度学习的X光胸片病灶定位方法的一实施例的流程示意图;
图2为本发明实施例中一种基于深度学习的X光胸片病灶定位***的另一实施例的硬件结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1,图1为本发明实施例中一种基于深度学习的X光胸片病灶定位方法的一个实施例的流程示意图。如图1所示,包括:
步骤S100、获取X光胸片图像,对X光胸片图像进行预处理后,生成X光胸片图像对应的数据标签;
步骤S200、将预处理后的X光胸片图像输入训练好的卷积神经网络,根据输出结果生成X光胸片图像的初始病灶语义分割图像;
步骤S300、对所述初始病灶语义分割图像进行二次处理后,过滤掉卷积神经网络在肺部区域外部的假阳性,生成目标病灶语义分割图像;
步骤S400、将目标病灶语义分割图像叠加渲染到原图,生成一个显示病灶高亮的热图,完成对X光胸片病灶定位。
具体地,本发明实施例提供一种基于深度学习的X光胸片病灶定位算法,此方法可以应用于胸片中的大小各种病灶例如结节,肺癌、肺结核、肺炎等。
首先,进行图像数据预处理,DICOM格式转PNG格式,图像增强,数据增强,训练数据标签准备;其次,训练卷积神经网络,预测胸片得到分割图;再然后,图像后处理,分别是形态学处理,二值化,面积、置信分数和肺区过滤,最后,病灶热图渲染,从而实现对病灶的定位。
本发明实施例的特点在于采用特定适用于医学图像的卷积神经做特征自动提取,相比于传统的手动提取病灶特征,大大缩短了算法开发的时间和难度,而且鲁棒性更高。另外,图像的前后处理使得来源不同的胸片之间的差异变小,消除了由于拍摄机器、拍摄环境等因素带来的差异,使得算法更加稳定;
在保证与医生相近的准确率的同时,大大缩短了医生阅片时间,解决了胸片诊断费时的问题,提升医生的工作效率,减少漏诊,另外,也减少了由于医生经验不同而带来的诊断误差。
进一步地,步骤S100具体为:
获取医学DICOM文件格式的X光胸片图像;
将医学DICOM文件转为PNG图像,并进行图像增强;
将进行图像增强后的PNG图像进行归一化处理;
将归一化的PNG图像进行数据增强;
对增强后的数据进行标记,标记出病灶区域,生成X光图像对应的数据标签。
具体地,X光胸片图像为医学DICOM文件,将图像格式为DICOM的X光胸片转换成PNG格式,转换过程中将肺部区域通过直方图均衡化调整到最清晰的显示状态,以RGB的形式保存图像。具体来说,就是将胸片中像素大于226(一些字母)的置255,小于30(背景黑色)的置零,30至226为胸片肺部区域的大致像素值范围,然后做直方图均衡化;
将图像进行归一化处理。图像分成R,G,B三个颜色通道,每个通道的各个像素点的像素值分别减去这个通道对应的平均值,再除以标准差。然后再把所有的像素值从0到255归一化至0到1。最后把图像缩小至512*512的大小。因为我们的神经网络采用迁移学***均值就是ImageNet所有图像R,G,B三个通道的所有像素分别相加,然后除以总的像素数,分别得到RGB三个通道的平均值,然后标准差就是所有图像RGB三个通道所有像素的每个像素分别求标准差,然后把所有图像RGB三个通道所有像素的标准差分别相加,然后除以总像素数,得到RGB三个通道的标准差;
数据增强。对于训练深度神经网络,我们需要对数据做数据增强,来提升网络的鲁棒性。具体就是对数据进行随机平移,裁剪,旋转,亮度、对比度的调整。具体剪裁范围为原图随机等比例缩放0.8至1;旋转为原图随机旋转正负15度,亮度为原图随机调整0.9至1.1;对比度为原图随机调整0.9至1.1。
数据标签准备。对数据进行标记,圈出病灶区域,生成数据标签,每张X光胸片图像对应一张标签,标签记录着需要神经网络进行特征提取的病灶区域。
进一步地,步骤S200包括:
获取预处理后的X光胸片图像,利用卷积神经网络进行特征提取,用梯度下降来训练网络;
获取卷积神经网络的输出结果,将特征向量还原为矩阵,并对像素值范围进行还原后,生成X光胸片图像的初始病灶语义分割图像。
具体实施时,将上述经过处理的X光胸片图像,利用卷积神经网络进行特征提取,用梯度下降来训练网络。将需要进行预测的图像,分成R,G,B三通道的矩阵,输入训练好的卷积神经网络中,得到输出为264144维的特征向量;
将此向量还原成512*512的矩阵,像素值范围还原成0到255,此时得到的就是X光胸片的病灶语义分割结果。具体就是,此向量是神经网络直接输出得到的,向量值的范围为0到1,为了能够更好地显示病灶,方便人类视觉***观看,就将像素值还原成0-255,具体就是向量的每个像素值乘以255然后四舍五入取整数,例如向量的某个值为0.9,那就是0.9*255=230。
进一步地,步骤S300包括:
对所述初始病灶语义分割图像进行形态学处理,消除初始病灶语义分割图像的毛刺和噪声;
根据预先设置的阈值对形态学处理后初始病灶语义分割图像进行二值化处理,生成二值化图像;
计算二值化图像中单个病灶区域的置信分数;
根据初始病灶语义分割图像和置信分数,过滤掉卷积神经网络在肺部区域外部的假阳性,生成目标病灶语义分割图像。
具体实施时,上述得到的神经网络原始分割图需要进行进一步的图像处理。首先进行形态学处理,进行开运算处理,使轮廓变光滑,狭小连接区域断开,消除毛刺和噪声;
设置一个阈值,对图像进行二值化处理。大于阈值的像素值设为255,小于阈值的置0。得到二值化图像。阈值的设定为127,也就是最大像素值的一半;
计算图像中单个病灶区域的置信分数(0到1),表示神经网络认为这个区域是病灶的确定程度;
通过结合肺区分割的结果和置信分数,过滤掉神经网络的预测在肺区外部的假阳性。
进一步地,步骤S400包括:
获取将目标病灶语义分割图像对应的灰度图,将灰度图的每一个灰度像素值映射到一个色度图上,实现将目标病灶语义分割图像叠加渲染到原图,生成一个显示病灶高亮的热图,完成对X光胸片病灶定位。
具体实施时,把得到的处理后的语义分割结果叠加渲染到原图上,产生一个显示病灶高亮的热图。颜色越红表示病灶的置信分数越高。关于渲染,具体就是将语义分割得到的灰度图的每一个灰度像素值映射到一个色度图上。首先先选择色度图,色度图的生成有很多种,具体我们是用OPENCV中的COLORMAP_JET方法,作为一个色度图,从左到右(从蓝到红)每种颜色分别对应0-255的一个像素值;然后我们把语义分割的灰度图转换成RGB,然后RGB每个通道的每一个像素值分别对应一个颜色,从而得到渲染图。
上面对本发明实施例中的基于深度学习的X光胸片病灶定位方法进行了描述,下面对本发明实施例中的基于深度学习的X光胸片病灶定位***进行描述,请参阅图2,图2是本发明实施例中一种基于深度学习的X光胸片病灶定位***的另一实施例的硬件结构示意图,如图2所示,***10包括:存储器101、处理器102及存储在存储器上并可在处理器上运行的计算机程序,计算机程序被处理器101执行时实现以下步骤:
获取X光胸片图像,对X光胸片图像进行预处理后,生成X光胸片图像对应的数据标签;
将预处理后的X光胸片图像输入训练好的卷积神经网络,根据输出结果生成X光胸片图像的初始病灶语义分割图像;
对所述初始病灶语义分割图像进行二次处理后,过滤掉卷积神经网络在肺部区域外部的假阳性,生成目标病灶语义分割图像;
将目标病灶语义分割图像叠加渲染到原图,生成一个显示病灶高亮的热图,完成对X光胸片病灶定位。
具体地,本发明实施例提供一种基于深度学习的X光胸片病灶定位算法,此方法可以应用于胸片中的大小各种病灶例如结节,肺癌、肺结核、肺炎等。
首先,进行图像数据预处理,DICOM格式转PNG格式,图像增强,数据增强,训练数据标签准备;其次,训练卷积神经网络,预测胸片得到分割图;再然后,图像后处理,分别是形态学处理,二值化,面积、置信分数和肺区过滤,最后,病灶热图渲染,从而实现对病灶的定位。
本发明实施例的特点在于采用特定适用于医学图像的卷积神经做特征自动提取,相比于传统的手动提取病灶特征,大大缩短了算法开发的时间和难度,而且鲁棒性更高。另外,图像的前后处理使得来源不同的胸片之间的差异变小,消除了由于拍摄机器、拍摄环境等因素带来的差异,使得算法更加稳定;
在保证与医生相近的准确率的同时,大大缩短了医生阅片时间,解决了胸片诊断费时的问题,提升医生的工作效率,减少漏诊,另外,也减少了由于医生经验不同而带来的诊断误差。
可选地,计算机程序被处理器101执行时还实现以下步骤:
获取X光胸片图像,对X光胸片图像进行预处理后,生成X光胸片图像对应的数据标签,包括:
获取医学DICOM文件格式的X光胸片图像;
将医学DICOM文件转为PNG图像,并进行图像增强;
将进行图像增强后的PNG图像进行归一化处理;
将归一化的PNG图像进行数据增强;
对增强后的数据进行标记,标记出病灶区域,生成X光图像对应的数据标签。
具体地,X光胸片图像为医学DICOM文件,将图像格式为DICOM的X光胸片转换成PNG格式,转换过程中将肺部区域通过直方图均衡化调整到最清晰的显示状态,以RGB的形式保存图像。具体来说,就是将胸片中像素大于226(一些字母)的置255,小于30(背景黑色)的置零,30至226为胸片肺部区域的大致像素值范围,然后做直方图均衡化;
将图像进行归一化处理。图像分成R,G,B三个颜色通道,每个通道的各个像素点的像素值分别减去这个通道对应的平均值,再除以标准差。然后再把所有的像素值从0到255归一化至0到1。最后把图像缩小至512*512的大小。因为我们的神经网络采用迁移学***均值就是ImageNet所有图像R,G,B三个通道的所有像素分别相加,然后除以总的像素数,分别得到RGB三个通道的平均值,然后标准差就是所有图像RGB三个通道所有像素的每个像素分别求标准差,然后把所有图像RGB三个通道所有像素的标准差分别相加,然后除以总像素数,得到RGB三个通道的标准差;
数据增强。对于训练深度神经网络,我们需要对数据做数据增强,来提升网络的鲁棒性。具体就是对数据进行随机平移,裁剪,旋转,亮度、对比度的调整。具体剪裁范围为原图随机等比例缩放0.8至1;旋转为原图随机旋转正负15度,亮度为原图随机调整0.9至1.1;对比度为原图随机调整0.9至1.1。
数据标签准备。对数据进行标记,圈出病灶区域,生成数据标签,每张X光胸片图像对应一张标签,标签记录着需要神经网络进行特征提取的病灶区域。
可选地,计算机程序被处理器101执行时还实现以下步骤:
将预处理后的X光胸片图像输入训练好的卷积神经网络,根据输出结果生成X光胸片图像的初始病灶语义分割图像,包括:
获取预处理后的X光胸片图像,利用卷积神经网络进行特征提取,用梯度下降来训练网络;
获取卷积神经网络的输出结果,将特征向量还原为矩阵,并对像素值范围进行还原后,生成X光胸片图像的初始病灶语义分割图像。
具体实施时,将上述经过处理的X光胸片图像,利用卷积神经网络进行特征提取,用梯度下降来训练网络。将需要进行预测的图像,分成R,G,B三通道的矩阵,输入训练好的卷积神经网络中,得到输出为264144维的特征向量;
将此向量还原成512*512的矩阵,像素值范围还原成0到255,此时得到的就是X光胸片的病灶语义分割结果。具体就是,此向量是神经网络直接输出得到的,向量值的范围为0到1,为了能够更好地显示病灶,方便人类视觉***观看,就将像素值还原成0-255,具体就是向量的每个像素值乘以255然后四舍五入取整数,例如向量的某个值为0.9,那就是0.9*255=230。
可选地,计算机程序被处理器101执行时还实现以下步骤:
对所述初始病灶语义分割图像进行二次处理后,过滤掉卷积神经网络在肺部区域外部的假阳性,生成目标病灶语义分割图像,包括:
对所述初始病灶语义分割图像进行形态学处理,消除初始病灶语义分割图像的毛刺和噪声;
根据预先设置的阈值对形态学处理后初始病灶语义分割图像进行二值化处理,生成二值化图像;
计算二值化图像中单个病灶区域的置信分数;
根据初始病灶语义分割图像和置信分数,过滤掉卷积神经网络在肺部区域外部的假阳性,生成目标病灶语义分割图像。
具体实施时,上述得到的神经网络原始分割图需要进行进一步的图像处理。首先进行形态学处理,进行开运算处理,使轮廓变光滑,狭小连接区域断开,消除毛刺和噪声;
设置一个阈值,对图像进行二值化处理。大于阈值的像素值设为255,小于阈值的置0。得到二值化图像。阈值的设定为127,也就是最大像素值的一半;
计算图像中单个病灶区域的置信分数(0到1),表示神经网络认为这个区域是病灶的确定程度;
通过结合肺区分割的结果和置信分数,过滤掉神经网络的预测在肺区外部的假阳性。
本发明实施例提供了一种非易失性计算机可读存储介质,计算机可读存储介质存储有计算机可执行指令,该计算机可执行指令被一个或多个处理器执行,例如,执行以上描述的图1中的方法步骤S100至步骤S400。
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于深度学习的X光胸片病灶定位方法,其特征在于,包括:
获取X光胸片图像,对X光胸片图像进行预处理后,生成X光胸片图像对应的数据标签;
将预处理后的X光胸片图像输入训练好的卷积神经网络,根据输出结果生成X光胸片图像的初始病灶语义分割图像;
对所述初始病灶语义分割图像进行二次处理后,过滤掉卷积神经网络在肺部区域外部的假阳性,生成目标病灶语义分割图像;
将目标病灶语义分割图像叠加渲染到原图,生成一个显示病灶高亮的热图,完成对X光胸片病灶定位;
X光胸片图像为医学DICOM文件,将图像格式为DICOM的X光胸片转换成PNG格式,转换过程中将肺部区域通过直方图均衡化调整到最清晰的显示状态,以RGB的形式保存图像;
将图像进行归一化处理,图像分成R,G,B三个颜色通道,每个通道的各个像素点的像素值分别减去这个通道对应的平均值,再除以标准差,然后再把所有的像素值从0到255归一化至0到1,最后把图像缩小至512*512的大小;
对数据进行随机平移,裁剪,旋转,亮度、对比度的调整,具体剪裁范围为原图随机等比例缩放0.8至1;旋转为原图随机旋转正负15度,亮度为原图随机调整0.9至1.1;对比度为原图随机调整0.9至1.1;
对数据进行标记,圈出病灶区域,生成数据标签,每张X光胸片图像对应一张标签,标签记录着需要神经网络进行特征提取的病灶区域;
将经过处理的X光胸片图像,利用卷积神经网络进行特征提取,用梯度下降来训练网络;将需要进行预测的图像,分成R,G,B三通道的矩阵,输入训练好的卷积神经网络中,得到输出为264144维的特征向量;
将此向量还原成512*512的矩阵,像素值范围还原成0到255,得到X光胸片的病灶语义分割结果;
得到的神经网络原始分割图需要进行进一步的图像处理,首先进行形态学处理,进行开运算处理,使轮廓变光滑,狭小连接区域断开,消除毛刺和噪声;
设置一个阈值,对图像进行二值化处理,大于阈值的像素值设为255,小于阈值的置0,得到二值化图像;
计算图像中单个病灶区域的置信分数0到1,表示神经网络认为这个区域是病灶的确定程度;
通过结合肺区分割的结果和置信分数,过滤掉神经网络的预测在肺区外部的假阳性;
把得到的处理后的语义分割结果叠加渲染到原图上,产生一个显示病灶高亮的热图;颜色越红表示病灶的置信分数越高;关于渲染,具体就是将语义分割得到的灰度图的每一个灰度像素值映射到一个色度图上;首先先选择色度图,具体是用OPENCV中的COLORMAP_JET方法,作为一个色度图,从左到右每种颜色分别对应0-255的一个像素值;然后把语义分割的灰度图转换成RGB,然后RGB每个通道的每一个像素值分别对应一个颜色,从而得到渲染图。
2.根据权利要求1所述的基于深度学习的X光胸片病灶定位方法,其特征在于,所述获取X光胸片图像,对X光胸片图像进行预处理后,生成X光胸片图像对应的数据标签,包括:
获取医学DICOM文件格式的X光胸片图像;
将医学DICOM文件转为PNG图像,并进行图像增强;
将进行图像增强后的PNG图像进行归一化处理;
将归一化的PNG图像进行数据增强;
对增强后的数据进行标记,标记出病灶区域,生成X光图像对应的数据标签。
3.根据权利要求1所述的基于深度学习的X光胸片病灶定位方法,其特征在于,所述将预处理后的X光胸片图像输入训练好的卷积神经网络,根据输出结果生成X光胸片图像的初始病灶语义分割图像,包括:
获取预处理后的X光胸片图像,利用卷积神经网络进行特征提取,用梯度下降来训练网络;
获取卷积神经网络的输出结果,将特征向量还原为矩阵,并对像素值范围进行还原后,生成X光胸片图像的初始病灶语义分割图像。
4.根据权利要求3所述的基于深度学习的X光胸片病灶定位方法,其特征在于,所述对所述初始病灶语义分割图像进行二次处理后,过滤掉卷积神经网络在肺部区域外部的假阳性,生成目标病灶语义分割图像,包括:
对所述初始病灶语义分割图像进行形态学处理,消除初始病灶语义分割图像的毛刺和噪声;
根据预先设置的阈值对形态学处理后初始病灶语义分割图像进行二值化处理,生成二值化图像;
计算二值化图像中单个病灶区域的置信分数;
根据初始病灶语义分割图像和置信分数,过滤掉卷积神经网络在肺部区域外部的假阳性,生成目标病灶语义分割图像。
5.根据权利要求4所述的基于深度学习的X光胸片病灶定位方法,其特征在于,所述将目标病灶语义分割图像叠加渲染到原图,生成一个显示病灶高亮的热图,完成对X光胸片病灶定位,包括:
获取将目标病灶语义分割图像对应的灰度图,将灰度图的每一个灰度像素值映射到一个色度图上,实现将目标病灶语义分割图像叠加渲染到原图,生成一个显示病灶高亮的热图,完成对X光胸片病灶定位。
6.一种基于深度学习的X光胸片病灶定位***,其特征在于,所述***包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现以下步骤:
获取X光胸片图像,对X光胸片图像进行预处理后,生成X光胸片图像对应的数据标签;
将预处理后的X光胸片图像输入训练好的卷积神经网络,根据输出结果生成X光胸片图像的初始病灶语义分割图像;
对所述初始病灶语义分割图像进行二次处理后,过滤掉卷积神经网络在肺部区域外部的假阳性,生成目标病灶语义分割图像;
将目标病灶语义分割图像叠加渲染到原图,生成一个显示病灶高亮的热图,完成对X光胸片病灶定位;
X光胸片图像为医学DICOM文件,将图像格式为DICOM的X光胸片转换成PNG格式,转换过程中将肺部区域通过直方图均衡化调整到最清晰的显示状态,以RGB的形式保存图像;
将图像进行归一化处理,图像分成R,G,B三个颜色通道,每个通道的各个像素点的像素值分别减去这个通道对应的平均值,再除以标准差,然后再把所有的像素值从0到255归一化至0到1,最后把图像缩小至512*512的大小;
对数据进行随机平移,裁剪,旋转,亮度、对比度的调整,具体剪裁范围为原图随机等比例缩放0.8至1;旋转为原图随机旋转正负15度,亮度为原图随机调整0.9至1.1;对比度为原图随机调整0.9至1.1;
对数据进行标记,圈出病灶区域,生成数据标签,每张X光胸片图像对应一张标签,标签记录着需要神经网络进行特征提取的病灶区域;
将经过处理的X光胸片图像,利用卷积神经网络进行特征提取,用梯度下降来训练网络;将需要进行预测的图像,分成R,G,B三通道的矩阵,输入训练好的卷积神经网络中,得到输出为264144维的特征向量;
将此向量还原成512*512的矩阵,像素值范围还原成0到255,得到X光胸片的病灶语义分割结果;
得到的神经网络原始分割图需要进行进一步的图像处理,首先进行形态学处理,进行开运算处理,使轮廓变光滑,狭小连接区域断开,消除毛刺和噪声;
设置一个阈值,对图像进行二值化处理,大于阈值的像素值设为255,小于阈值的置0,得到二值化图像;
计算图像中单个病灶区域的置信分数0到1,表示神经网络认为这个区域是病灶的确定程度;
通过结合肺区分割的结果和置信分数,过滤掉神经网络的预测在肺区外部的假阳性;
把得到的处理后的语义分割结果叠加渲染到原图上,产生一个显示病灶高亮的热图;颜色越红表示病灶的置信分数越高;关于渲染,具体就是将语义分割得到的灰度图的每一个灰度像素值映射到一个色度图上;首先先选择色度图,具体是用OPENCV中的COLORMAP_JET方法,作为一个色度图,从左到右每种颜色分别对应0-255的一个像素值;然后把语义分割的灰度图转换成RGB,然后RGB每个通道的每一个像素值分别对应一个颜色,从而得到渲染图。
7.根据权利要求6所述的基于深度学习的X光胸片病灶定位***,其特征在于,所述计算机程序被所述处理器执行时还实现以下步骤:
获取X光胸片图像,对X光胸片图像进行预处理后,生成X光胸片图像对应的数据标签,包括:
获取医学DICOM文件格式的X光胸片图像;
将医学DICOM文件转为PNG图像,并进行图像增强;
将进行图像增强后的PNG图像进行归一化处理;
将归一化的PNG图像进行数据增强;
对增强后的数据进行标记,标记出病灶区域,生成X光图像对应的数据标签。
8.根据权利要求6所述的基于深度学习的X光胸片病灶定位***,其特征在于,所述计算机程序被所述处理器执行时还实现以下步骤:
将预处理后的X光胸片图像输入训练好的卷积神经网络,根据输出结果生成X光胸片图像的初始病灶语义分割图像,包括:
获取预处理后的X光胸片图像,利用卷积神经网络进行特征提取,用梯度下降来训练网络;
获取卷积神经网络的输出结果,将特征向量还原为矩阵,并对像素值范围进行还原后,生成X光胸片图像的初始病灶语义分割图像。
9.根据权利要求8所述的基于深度学习的X光胸片病灶定位***,其特征在于,所述计算机程序被所述处理器执行时还实现以下步骤:
对所述初始病灶语义分割图像进行二次处理后,过滤掉卷积神经网络在肺部区域外部的假阳性,生成目标病灶语义分割图像,包括:
对所述初始病灶语义分割图像进行形态学处理,消除初始病灶语义分割图像的毛刺和噪声;
根据预先设置的阈值对形态学处理后初始病灶语义分割图像进行二值化处理,生成二值化图像;
计算二值化图像中单个病灶区域的置信分数;
根据初始病灶语义分割图像和置信分数,过滤掉卷积神经网络在肺部区域外部的假阳性,生成目标病灶语义分割图像。
10.一种非易失性计算机可读存储介质,其特征在于,所述非易失性计算机可读存储介质存储有计算机可执行指令,该计算机可执行指令被一个或多个处理器执行时,可使得所述一个或多个处理器执行权利要求1-5任一项所述的基于深度学习的X光胸片病灶定位方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201921314940 | 2019-08-14 | ||
CN2019213149402 | 2019-08-14 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111062947A CN111062947A (zh) | 2020-04-24 |
CN111062947B true CN111062947B (zh) | 2023-04-25 |
Family
ID=70298267
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911124998.5A Active CN111062947B (zh) | 2019-08-14 | 2019-11-18 | 一种基于深度学习的x光胸片病灶定位方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111062947B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111933274A (zh) * | 2020-07-15 | 2020-11-13 | 平安科技(深圳)有限公司 | 疾病分类诊断方法、装置、电子设备及存储介质 |
CN112617789A (zh) * | 2020-07-28 | 2021-04-09 | 上海大学 | 激光散斑血流成像方法及*** |
CN112116571A (zh) * | 2020-09-14 | 2020-12-22 | 中国科学院大学宁波华美医院 | 一种基于弱监督学习的x光肺部疾病自动定位方法 |
CN112365971B (zh) * | 2020-11-09 | 2021-06-11 | 罗鑫龙 | 一种基于5g的远程互联网大数据智慧医疗*** |
CN112581436A (zh) * | 2020-12-11 | 2021-03-30 | 佛山市普世医学科技有限责任公司 | 基于深度学习的肺结节识别与分割方法及*** |
CN114332132A (zh) * | 2021-12-31 | 2022-04-12 | 联影智能医疗科技(成都)有限公司 | 图像分割方法、装置和计算机设备 |
CN115713526A (zh) * | 2022-11-28 | 2023-02-24 | 南方医科大学珠江医院 | 一种基于人工智能的影像质量控制*** |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106780460A (zh) * | 2016-12-13 | 2017-05-31 | 杭州健培科技有限公司 | 一种用于胸部ct影像的肺结节自动检测*** |
CN107274402A (zh) * | 2017-06-27 | 2017-10-20 | 北京深睿博联科技有限责任公司 | 一种基于胸部ct影像的肺结节自动检测方法及*** |
CN108446730A (zh) * | 2018-03-16 | 2018-08-24 | 北京推想科技有限公司 | 一种基于深度学习的ct肺结节检测方法 |
CN108648178A (zh) * | 2018-04-17 | 2018-10-12 | 杭州依图医疗技术有限公司 | 一种影像结节检测的方法及装置 |
CN108898595A (zh) * | 2018-06-27 | 2018-11-27 | 慧影医疗科技(北京)有限公司 | 一种胸部疾病检测模型的构建方法及应用 |
CN109711413A (zh) * | 2018-12-30 | 2019-05-03 | 陕西师范大学 | 基于深度学习的图像语义分割方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7499578B2 (en) * | 2002-10-18 | 2009-03-03 | Cornell Research Foundation, Inc. | System, method and apparatus for small pulmonary nodule computer aided diagnosis from computed tomography scans |
US7593561B2 (en) * | 2005-01-04 | 2009-09-22 | Carestream Health, Inc. | Computer-aided detection of microcalcification clusters |
US8224057B2 (en) * | 2007-10-18 | 2012-07-17 | Siemens Aktiengesellschaft | Method and system for nodule feature extraction using background contextual information in chest x-ray images |
US10580137B2 (en) * | 2018-01-30 | 2020-03-03 | International Business Machines Corporation | Systems and methods for detecting an indication of malignancy in a sequence of anatomical images |
-
2019
- 2019-11-18 CN CN201911124998.5A patent/CN111062947B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106780460A (zh) * | 2016-12-13 | 2017-05-31 | 杭州健培科技有限公司 | 一种用于胸部ct影像的肺结节自动检测*** |
CN107274402A (zh) * | 2017-06-27 | 2017-10-20 | 北京深睿博联科技有限责任公司 | 一种基于胸部ct影像的肺结节自动检测方法及*** |
CN108446730A (zh) * | 2018-03-16 | 2018-08-24 | 北京推想科技有限公司 | 一种基于深度学习的ct肺结节检测方法 |
CN108648178A (zh) * | 2018-04-17 | 2018-10-12 | 杭州依图医疗技术有限公司 | 一种影像结节检测的方法及装置 |
CN108898595A (zh) * | 2018-06-27 | 2018-11-27 | 慧影医疗科技(北京)有限公司 | 一种胸部疾病检测模型的构建方法及应用 |
CN109711413A (zh) * | 2018-12-30 | 2019-05-03 | 陕西师范大学 | 基于深度学习的图像语义分割方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111062947A (zh) | 2020-04-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111062947B (zh) | 一种基于深度学习的x光胸片病灶定位方法及*** | |
US11568533B2 (en) | Automated classification and taxonomy of 3D teeth data using deep learning methods | |
CN110232383B (zh) | 一种基于深度学习模型的病灶图像识别方法及病灶图像识别*** | |
CN106682435B (zh) | 一种多模型融合自动检测医学图像中病变的***及方法 | |
US10489907B2 (en) | Artifact identification and/or correction for medical imaging | |
CN111325739B (zh) | 肺部病灶检测的方法及装置,和图像检测模型的训练方法 | |
CN110033456B (zh) | 一种医疗影像的处理方法、装置、设备和*** | |
Saad et al. | Image segmentation for lung region in chest X-ray images using edge detection and morphology | |
US20180214105A1 (en) | System and method breast cancer detection with x-ray imaging | |
Murakami et al. | Automatic identification of bone erosions in rheumatoid arthritis from hand radiographs based on deep convolutional neural network | |
CN111166362B (zh) | 医学图像的显示方法及装置、存储介质及电子设备 | |
CN108510489B (zh) | 一种基于深度学习的尘肺检测方法与*** | |
CN113450305B (zh) | 医疗图像的处理方法、***、设备及可读存储介质 | |
CN113781488A (zh) | 舌象图像的分割方法、装置及介质 | |
Goutham et al. | Automatic localization of landmarks in cephalometric images via modified U-Net | |
Chen et al. | Detection of various dental conditions on dental panoramic radiography using Faster R-CNN | |
Fonseca et al. | Automatic orientation identification of pediatric chest x-rays | |
Cheng et al. | Dental hard tissue morphological segmentation with sparse representation-based classifier | |
WO2020106393A2 (en) | Skeletal maturity determination using radiographs of portions of a hand | |
Wen et al. | A novel lesion segmentation algorithm based on U-Net network for Tuberculosis CT image | |
CN112862786B (zh) | Cta影像数据处理方法、装置及存储介质 | |
CN112862785B (zh) | Cta影像数据识别方法、装置及存储介质 | |
CN111462067B (zh) | 图像分割方法及装置 | |
CN114359308A (zh) | 一种基于边缘响应与非线性损失的主动脉夹层分割方法 | |
Sridhar et al. | Lung Segment Anything Model (LuSAM): A Prompt-integrated Framework for Automated Lung Segmentation on ICU Chest X-Ray Images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |