CN112241961A - 基于深度卷积神经网络的胸部x光片辅助诊断方法及*** - Google Patents
基于深度卷积神经网络的胸部x光片辅助诊断方法及*** Download PDFInfo
- Publication number
- CN112241961A CN112241961A CN202011000526.1A CN202011000526A CN112241961A CN 112241961 A CN112241961 A CN 112241961A CN 202011000526 A CN202011000526 A CN 202011000526A CN 112241961 A CN112241961 A CN 112241961A
- Authority
- CN
- China
- Prior art keywords
- chest
- image
- neural network
- convolutional neural
- deep convolutional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 76
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000003745 diagnosis Methods 0.000 title claims abstract description 38
- 201000010099 disease Diseases 0.000 claims abstract description 60
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 60
- 238000012216 screening Methods 0.000 claims abstract description 43
- 238000011976 chest X-ray Methods 0.000 claims abstract description 38
- 238000001514 detection method Methods 0.000 claims abstract description 35
- 238000013145 classification model Methods 0.000 claims abstract description 18
- 238000007781 pre-processing Methods 0.000 claims abstract description 14
- 238000002372 labelling Methods 0.000 claims abstract description 9
- 210000000038 chest Anatomy 0.000 claims description 101
- 230000002746 orthostatic effect Effects 0.000 claims description 40
- 230000003902 lesion Effects 0.000 claims description 23
- 238000000605 extraction Methods 0.000 claims description 22
- 238000013528 artificial neural network Methods 0.000 claims description 14
- 210000000481 breast Anatomy 0.000 claims description 11
- 230000004927 fusion Effects 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 8
- 230000000630 rising effect Effects 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 210000000115 thoracic cavity Anatomy 0.000 claims description 3
- 230000004309 orthophoria Effects 0.000 claims description 2
- 208000024891 symptom Diseases 0.000 abstract description 8
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000004913 activation Effects 0.000 description 5
- 238000012805 post-processing Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 230000004807 localization Effects 0.000 description 3
- 238000012552 review Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 208000002151 Pleural effusion Diseases 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 208000037411 Aortic calcification Diseases 0.000 description 1
- 206010003598 Atelectasis Diseases 0.000 description 1
- 206010012713 Diaphragmatic hernia Diseases 0.000 description 1
- 206010014561 Emphysema Diseases 0.000 description 1
- 206010025080 Lung consolidation Diseases 0.000 description 1
- 206010054107 Nodule Diseases 0.000 description 1
- 206010035600 Pleural fibrosis Diseases 0.000 description 1
- 206010035664 Pneumonia Diseases 0.000 description 1
- 208000007123 Pulmonary Atelectasis Diseases 0.000 description 1
- 206010037423 Pulmonary oedema Diseases 0.000 description 1
- 208000027790 Rib fracture Diseases 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 201000005890 congenital diaphragmatic hernia Diseases 0.000 description 1
- 230000002354 daily effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000008595 infiltration Effects 0.000 description 1
- 238000001764 infiltration Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 201000003144 pneumothorax Diseases 0.000 description 1
- 208000005333 pulmonary edema Diseases 0.000 description 1
- 208000005069 pulmonary fibrosis Diseases 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 238000004451 qualitative analysis Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 201000008827 tuberculosis Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及医疗技术领域,尤其是涉及一种基于深度卷积神经网络的胸部X光片辅助诊断方法及***,该方法包括:对胸部的X光片进行预处理,得到符合格式要求的X光片初始图像;对X光片初始图像进行筛查,检测是否为胸部正位图像;将胸部正位图像输入至深度卷积神经网络的二分类模型中进行阴阳性分类;将阳性结果的图像输入至深度卷积神经网络的检测模型中检测疾病类型并对图像中的病灶区域进行轮廓标注;显示图像对应的疾病类型和病灶区域。本发明实施例提供的基于深度卷积神经网络的胸部X光片辅助诊断方法既能筛查X光胸片的阴阳性,也能定位出病灶区域,同时能标出病灶区域的疾病种类或者征象,给医生提供更具有可解释性的参考意见。
Description
技术领域
本发明涉及医疗技术领域,尤其是涉及一种基于深度卷积神经网络的胸部X光片辅助诊断方法及***。
背景技术
胸部X光片是常见的检查或诊断胸部疾病的工具。在三甲医院中,日均产生的X光片数量非常大,一方面,阅片医生在长时间的阅片过程中会逐渐累积疲劳度,进而可能会出现诊断错误的情况;另一方面,在城镇小医院中,日均拍片量虽然不多,但阅片医生的经验不足,也可能出现诊断错误的情况。这就亟需一种可以帮医生减少误诊或提供诊断信息的辅助诊断工具。
随着深度学习的发展,越来越多的深度卷积神经网络算法技术被应用到了医学图像中,AI智能辅助诊断***应运而生。
现有的大多数AI智能辅助诊断方法,大多数是利用国际公开的数据集(如ChestXray14),或者从医院收集的带报告数据,经过自然语言处理从报告中获取片级的疾病标签,然后训练一个多标签分类网络模型或多个单疾病分类模型,然后对胸部X光片进行预测,采用类激活映射(或加权梯度类激活映射)的方法,将深度卷积神经网络模型学到的疾病特征信息转化成热力图的形式,在热力图上可以看到疾病大致的病灶区域在哪里,以此来更进一步地辅助医生诊断。
首先,国际公开数据集的片子质量参差不齐,存在过度曝光、位置不正、成像不好等质量差的片子;此外,国际公开数据集或医院收集的数据,这些数据集的标签绝大部分是从诊断报告中提取的,提取的方法不能保证标签百分百正确;用这种数据训练出来的深度卷积神经网络会严重偏离实际医生诊断的结果。
其次,上述方式的预测结果或者是一个2分结果,或者只能标出可疑病灶区域,却没有该可疑病灶区域对应的疾病种类或者征象,或者只能提示可疑病种,却无法给出相应的病灶区域,即现有技术基本上都是基于整片的疾病分类,并没有具体定位到疾病所在的位置,即使采用类激活映射技术实现弱监督语义分割能力,但得到的病灶区域信息往往不够准确,假阳很高。
临床医生由于需要准确地将疾病的具***置写在诊断报告中,所以现有的技术方法与临床诊断的情况不相符,很难在协助医生诊断方面上提供有效的帮助。
发明内容
针对上述技术问题,本发明实施例提供了一种基于深度卷积神经网络的胸部X光片辅助诊断方法及***,以解决传统算法给出的AI智能辅助诊断方法无法给出病灶区域对应的疾病种类,可解释性不强的技术问题。
本发明实施例在第一方面提供一种基于深度卷积神经网络的胸部X光片辅助诊断方法,其特征在于,包括:对胸部的X光片进行预处理,得到符合格式要求的X光片初始图像;对所述X光片初始图像进行筛查,检测所述X光片初始图像是否为胸部正位图像;将所述胸部正位图像输入至深度卷积神经网络的二分类模型中进行阴阳性分类;将阳性结果的所述胸部正位图像输入至深度卷积神经网络的检测模型中检测所述胸部正位图像的疾病类型并对所述胸部正位图像中的病灶区域进行轮廓标注;显示所述胸部正位图像对应的所述疾病类型和所述病灶区域。
可选地,所述对胸部X光片进行预处理,得到符合格式要求的X光片初始图像包括:将所述胸部X光片所有的像素值映射到正态分布上,得到窗宽和窗位;将所述窗宽区间外的噪音像素点去除,并将去除后的所述像素映射到0-255的区间范围,得到X光片初始图像。
可选地,所述对所述X光片初始图像进行筛查,具体为:将所述X光片初始图像输入至胸部正位筛查模型中进行筛查,所述胸部正位筛查模型包括:Resnet-34特征提取网络和2个全连接神经网络,所述Resnet-34特征提取网络用于对所述X光片初始图像进行胸部特征提取;第一全连接神经网络用于判断所述胸部特征是否为胸部正位;第二全连接神经网络用于确认所述胸部特征的光度学解释。
可选地,在将所述胸部正位图像输入至深度卷积神经网络的二分类模型中之前,所述方法还包括:如果所述胸部特征的光度学解释为灰度范围从亮到暗地上升像素值,则将所述X光片初始图像的像素进行处理以得到光度学解释为灰度范围从暗到亮地上升像素值。
可选地,所述深度卷积神经网络的二分类模型用于对所述X光片初始图像进行胸部特征提取,并对提取的所述胸部特征进行阴阳性分类。
可选地,所述深度卷积神经网络的检测模型包括:特征提取网络、特征融合网络、区域生成网络、定性器、***和分割器,所述特征提取网络的输出为所述特征融合网络的输入;所述特征融合网络的输出为所述区域生成网络的输入;所述区域生成网络的输出为所述定性器的输入,所述定性器用于检测所述所述胸部正位图像的疾病类型;所述区域生成网络输出为所述***的输入,所述***用于对所述病灶区域定位;所述***输入为所述分割器的输出,所述分割器用于对所述病灶区域的轮廓进行标注。
可选地,所述方法还包括:在所述深度卷积神经网络的二分类模型中的分类结果为阳性,但是所述深度卷积神经网络的检测模型输出的疾病置信度都小于设定阈值时,所述深度卷积神经网络的检测模型强制输出最大置信度对应的所述病灶区的轮廓以及疾病类型。
可选地,所述方法还包括:在胸部疾病报告中可视化的显示所述病灶区域以及所述病灶区域对应的所述疾病类型。
可选地,所述深度卷积神经网络的二分类模型和所述深度卷积神经网络的检测模型的训练集均来自于影像归档和通信***。
本发明实施例在第二方面提供一种基于深度卷积神经网络的胸部X光片辅助诊断***,包括:预处理模块,用于对胸部X光片进行预处理,得到符合格式要求的X光片初始图像;胸部疾病检测模块,所述胸部疾病检测模块包括:胸部正位筛查单元、阴阳性分类单元和病灶区域定位定性单元;所述胸部正位筛查单元用于对所述X光片初始图像进行筛查,检测所述X光片初始图像是否为胸部正位图像;所述阴阳性分类单元用于将胸部正位图像输入至深度卷积神经网络的二分类模型中进行阴阳性分类;所述病灶区域定位定性单元用于将阳性结果的所述胸部正位图像输入至深度卷积神经网络的检测模型中检测所述胸部正位图像的疾病类型并对所述胸部正位图像中的病灶区域进行轮廓标注;显示模块,用于显示所述胸部正位图像对应的所述疾病类型和可视化的所述病灶区域。
本发明实施例提供的基于深度卷积神经网络的胸部X光片辅助诊断方法和***既能筛查X光胸片的阴阳性,也能定位出病灶区域,同时能标出病灶区域的疾病种类或者征象,从而给医生提供更具有可解释性的参考意见,以提升医生出报告的效率和减少工作量。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明,这些示例性说明并不构成对实施例的限定,附图中具有相同参考数字标号的元件表示为类似的元件,除非有特别申明,附图中的图不构成比例限制。
图1为本发明实施例的一种基于深度卷积神经网络的胸部X光片辅助诊断方法的流程示意图;
图2是本发明实施例提供的胸部正位筛查模型的结构框架图;
图3是本发明实施例提供的基于深度卷积神经网络的胸部正位筛查过程示意图;
图4是本发明实施例提供的深度卷积神经网络的二分类模型的结构框架图;
图5是本发明实施例提供的深度卷积神经网络的检测模型的结构框图;
图6是本发明实施例提供的基于深度卷积神经网络的胸部X光片辅助诊断***结构框图。
具体实施方式
为了便于理解本发明,下面结合附图和具体实施例,对本发明进行更详细的说明。需要说明的是,当元件被表述“固定于”另一个元件,它可以直接在另一个元件上、或者其间可以存在一个或多个居中的元件。当一个元件被表述“连接”另一个元件,它可以是直接连接到另一个元件、或者其间可以存在一个或多个居中的元件。本说明书所使用的术语“上”、“下”、“内”、“外”、“底部”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”“第三”等仅用于描述目的,而不能理解为指示或暗示相对重要性。
除非另有定义,本说明书所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本说明书中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是用于限制本发明。本说明书所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
本发明提出了一个既能快速筛查胸部X光片阴阳性又能对胸部病灶区域进行精准定位的智能辅助诊断方法及***,该方法和***最主要的功能是首先通过一个深度卷积神经网络的二分类模型,迅速筛查出阳性片,达到快速排阴的效果,然后再通过另一个深度卷积神经网络的检测模型,准确的定位阳性片中的病灶区域并预测其属于哪种疾病,从而更有效的给医生提供可解释性的参考意见,这样就能更大的提高医生的工作效率并减少医生的工作量。
以下首先详述该方法的具体实现过程以及深度卷积神经网络的二分类模型和深度卷积神经网络的检测模型的训练过程。
请参阅图1,图1是本发明实施例提供的一种基于深度卷积神经网络的胸部X光片辅助诊断方法,如图1所示,该方法包括如下步骤:
101、对胸部X光片进行预处理,得到符合格式要求的X光片初始图像。
此步骤是将胸部X光片转换成后面几个模型所要求的格式。
具体地,本发明首先通过将X光片上的所有像素值映射到正态分布上,将得到像素区间(μ-3σ,μ+3σ)的宽度作为窗宽(σ是标准差,μ是均值),区间中心作为窗位;然后,将窗宽区间外的约0.3%噪音像素点去掉,再将去除噪音后的像素映射到0至255的范围;最后根据不同模型的输入需求对X光片进行缩放到相应的尺寸。
在本发明中,下述用于胸部正位片筛查的胸部正位筛查模型的输入尺寸要求为:256×256;下述用于胸部阴阳性筛查的深度卷积神经网络的二分类模型的输入尺寸要求为:256×256。
102、对所述X光片初始图像进行筛查,检测所述X光片初始图像是否为胸部正位图像。
对所述X光片初始图像进行筛查,具体为:将X光片初始图像输入至胸部正位筛查模型中进行筛查。在本发明实施例中,胸部正位筛查模型的主要功能是判断输入的X光片初始图像是否是胸部正位片,以及其光度学解释是灰度范围从亮到暗地上升像素值(MONOCHROME1)还是从暗到亮地上升像素值(MONOCHROME2)该模型的结构框架如图2所示。
由于本发明的方法只适用于胸部正位片,所以需要对胸部是否正位进行筛查。在实际操作过程中,由于医生或拍片工作人员的操作失误,可能会将光度学解释的信息录入错误,导致出现成像完全相反的情况。由于实际操作中,医生可以在阅片时手动将其MONOCHROME1调整成MONOCHROME2,来挽救这种操作失误,而本发明的方法不会读取数据头部信息的光度学解释属性信息,因此胸部正位筛查模型添加了光度学解释,以自动判断光度学解释的信息录入是否有误。
具体地,胸部正位筛查模型包括:Resnet-34特征提取网络和2个全连接神经网络,Resnet-34特征提取网络用于对所述X光片初始图像进行胸部特征提取;第一全连接神经网络用于判断所述胸部特征是否为胸部正位;第二全连接神经网络用于确认所述胸部特征的光度学解释。
在步骤101中得到了用于胸部正位片筛查的尺寸要求为:256×256的图片数据,将256×256的图片数据输入至胸部正位筛查模型的处理过程如下:
首先对256×256的图片数据复制两次,然后重叠成3×256×256的结构再转换成1×3×256×256的结构。
然后将1×3×256×256结构图片数据输入至Resnet-34特征提取网络进行网络提取得到1×1024×8×8的特征图,
对1×1024×8×8的特征图经过平均池化层(average pooling layer)处理后得到1×1024×1×1的向量再转换成1×1024的结构,接着将其分别输入到两个输出通道数为1的第一全连接神经网络和第二全连接神经网络,最后将分别得到的2个值用sigmoid激活函数层对其进行处理。
最终得到两个阈值范围在0到1之间的概率值,其中,第一全连接神经网络对应的概率值表示该输入的图片数据是胸部正位片的概率。在默认情况下,若该概率值大于或等于0.5,则表示该图片数据为胸部正位片,否则是非胸部正位片,筛查结果如图3所示。
第二全连接神经网络对应的概率值表示该输入的图片数据的光度学解释是MONOCHROME2的概率。在默认情况下,若该数值大于或等于0.5,则表示该图片数据的光度学解释是MONOCHROME2,否则是MONOCHROME1。
在光度学解释是MONOCHROME1时,需要将该输入的图片数据转变为:每个值的相反数加上255,以将MONOCHROME1调整成MONOCHROME2。
需要说明的是,所述胸部正位筛查模型、下述用于胸部阴阳性筛查的深度卷积神经网络的二分类模型以及下述用于胸部病灶区域定位定性的深度卷积神经网络的检测模型均由与临床真实环境相符的训练数据训练得到。
制作该训练数据具体包括如下步骤:
1、从医院收集胸部X光影像及相应的诊断报告;
2、对收集的胸部X光影像进行脱敏与质控;
3、基于诊断报告提前分析影像;
4、医生对胸部X光影像的审核与标注;
5、算法人员再审核。
本发明中从医院收集胸部X光影像及相应的诊断报告,是通过DICOM协议从医院的PACS***(Picture Archiving and Communication Systems,影像归档和通信***)或者DR、CR设备上获取胸部X光影像数据再根据严格的搜索条件(如表1),收集片子及其诊断报告。
表1
对收集的胸部X光影像进行脱敏和质控,需要消除一些敏感的信息,比如病人姓名、检测机构名字、医生姓名等;然后从收集的胸部X光影像初步筛选出胸部正位片,从而去掉大量侧位片及非胸部X光片;并通过人工质控审核的方式,进一步去掉遗漏的非胸部正位片,以及其他质量不好的片子,如过度曝光,成像差,床旁片,小儿片等不满足训练要求的图片数据。
基于诊断报告提前分析X光影像时,由于从医院收集的数据体量大,且大多数为阴性片(即使在操作时已经挑选了“阳性”),不可能把所有数据都拿去给医生标注,因此本发明在训练数据时提出了从诊断报告中提取关键字的方法,当疾病关键字与已治疗的关键字同时存在时,则认为该病人没有该种疾病,从而快速地挑选出阳性数据,并根据具体需求,不同疾病类别分别挑选出一定的数量去标注,这样就能大大减少标注的成本。
医生标注与审核时,可先由低年资医生对X光影像片子进行标注,用多边形的形式将病灶区域勾勒出来。再通过高年资的医生对其标注进行审核,主要审核低年资生是否存在标错或漏标的情况,若有漏标的情况就补上,若有错标的情况就修改正确。
算法人员再审核是因为算法人员具有专业的训练深度卷积神经网络的经验,只有严谨且准确的标注数据才能训练出精确的网络模型。所以算法人员会对医生标好的数据进行审核,主要审核的内容为标注的多边形的严谨程度,比如有一些关于胸腔积液的多边形太大,囊括到了肺外的背景区域,就需要对其进行纠正。
利用上述方法制作得到的训练数据贴近临床真实环境,数据质量高。
103、将胸部正位图像输入至深度卷积神经网络的二分类模型中进行阴阳性分类。
在本发明实施例中,深度卷积神经网络的二分类模型的主要功能是快速分析胸部X光片的阴阳性,该模型的结构框架如图4所示。
在步骤101中得到了用于胸部正位片筛查的尺寸要求为:256×256的图片数据,将256×256的图片数据输入至深度卷积神经网络的二分类模型进行处理的过程如下:
首先对256×256的图片数据复制两次,然后重叠成3×256×256的结构再转换成1×3×256×256的结构。
然后将1×3×256×256结构图片数据输入至Densenet-121的特征提取网络进行网络提取得到1×1024×8×8的特征图,
对1×1024×8×8的特征图经过平均池化层处理后得到1×1024×1×1的向量再转换成1×1024的结构,接着将其输入到通道数为1的全连接神经网络中,最后用sigmoid激活函数对得到的值进行处理。
最终得到阈值范围在0到1之间的概率值,该概率值表示该输入的图片数据是阳性片的概率。在默认情况下,若该概率值大于或等于0.5,则表示该图片数据为为阳性片,否则是阴性片。
104、将阳性结果的所述胸部正位图像输入至深度卷积神经网络的检测模型中检测所述胸部正位图像的疾病类型并对所述胸部正位图像中的病灶区域进行轮廓标注。
在本发明实施例中,深度卷积神经网络的检测模型的主要功能是将阳性片中具体的病灶区域定位出来,并对每个定位出来的区域进行具体的疾病类型定性分析,胸部病灶区域的疾病类型包括以下17种:肺不张、心影增大、胸腔积液、浸润、肿块、结节、肺炎、气胸、肺实变、肺水肿、肺气肿、肺纤维化、胸膜增厚、膈疝、肺结核、肋骨骨折以及主动脉钙化。
该深度卷积神经网络的检测模型的结构框架如图5所示。主要包括:特征提取网络、特征融合网络、区域生成网络、定性器、***和分割器。
其中,特征提取网络采用efficientNet-b2的结构,特征融合网络采用双向特征金字塔融合结构这样可以更有效的提取出更具代表性的特征,以及更好地融合浅层-高层语义特征的信息,为后续定位定型提供基础。
区域生成网络由一个卷积层和两个独立卷积层构成,第一个卷积层的作用是初步解析输入的图片数据的特征信息,并在训练时缓冲反向传播的梯度对主干线的直接影响;两个独立的卷积层,一个用于预测病灶区域的候选框,另一个用于预测该候选框是病灶区域的概率值。
定性器是对区域生产网络输出的候选框进行定性分析,分析其是否有病,若有病则再预测其属于上述17种疾病或征象的哪一种;***是对区域生成网络输出的候选框进一步优化,从而输出更准确的定位框;分割器的作用则是对***优化过的病灶区域进行分割,从而找出病灶区域的精确轮廓。
在步骤101中得到了用于胸部正位片筛查的尺寸要求为:640×640的图片数据,将640×640的图片数据输入至深度卷积神经网络的检测模型进行处理的过程如下:
将1×3×768×768结构的图片作为输入数据经过特征提取网络和特征融合网络后,由区域生成网络生成1000个病灶区域候选框;然后结合这1000个病灶区域候选框及其对应的特征图,用双线性差值法缩放成1000×256×7×7结构的特征图再输入到定性器、***,每个候选框会被分析并输出18个类别的置信度(17类疾病或征象+1类无病)及对应类的精修框(共18个精修框),然后挑选置信度最大的类别及该类别对应的精修框作为输出,最终再经由分割器分割出病灶区域的轮廓(轮廓的坐标信息会最终经过缩放操作回到原图768×768的尺寸)。
在上述不走均检测完毕后,还需要对胸部正位片筛查模型、深度卷积神经网络的二分类模型和深度卷积神经网络的检测模型的输出信息进行整理和输出。在一些实施例中,如果深度卷积神经网络的二分类模型中的分类结果为阳性,但是深度卷积神经网络的检测模型输出的疾病置信度都小于设定阈值时,则在后处理阶段,深度卷积神经网络的检测模型强制输出最大置信度对应的疾病类型及标注的病灶区的轮廓。
105、显示所述胸部正位图像对应的所述疾病类型和可视化的所述病灶区域。
此步骤即在在胸部正位图像中勾勒出病灶区域的轮廓,并标明该轮廓对应的疾病名称或者征象,同时,根据病灶区域的可疑概率,可以做出热力图,供医生诊断参考。
在一些实施例中,还可以在胸部疾病报告中可视化的显示病灶区域以及病灶区域对应的疾病类型。
本发明实施例提供的基于深度卷积神经网络的胸部X光片辅助诊断方法既能筛查X光胸片的阴阳性,也能定位出病灶区域,同时能标出病灶区域的疾病种类或者征象,从而给医生提供更具有可解释性的参考意见,以提升医生出报告的效率和减少工作量。
本发明实施例还提供一种基于深度卷积神经网络的胸部X光片辅助诊断***60,如图所示6包括:预处理模块61、胸部疾病检测模块62和显示模块63。
预处理模块61用于对胸部X光片进行预处理,得到符合格式要求的X光片初始图像;
胸部疾病检测模块62包括:胸部正位筛查单元621、阴阳性分类单元622和病灶区域定位定性单元623。
胸部正位筛查单元621用于对所述X光片初始图像进行筛查,检测所述X光片初始图像是否为胸部正位图像;所述阴阳性分类单元622用于将胸部正位图像输入至深度卷积神经网络的二分类模型中进行阴阳性分类;所述病灶区域定位定性单元623用于将阳性结果的所述胸部正位图像输入至深度卷积神经网络的检测模型中检测所述胸部正位图像的疾病类型并对所述胸部正位图像中的病灶区域进行轮廓标注。
显示模块63用于显示所述胸部正位图像对应的所述疾病类型和可视化的所述病灶区域。
在一些实施例中,基于深度卷积神经网络的胸部X光片辅助诊断***60还包括:后处理模块64,后处理模块64用于如果深度卷积神经网络的二分类模型中的分类结果为阳性,但是深度卷积神经网络的检测模型输出的疾病置信度都小于设定阈值时,则深度卷积神经网络的检测模型强制输出最大置信度对应的疾病类型及标注的病灶区的轮廓。
预处理模块61、胸部正位筛查单元621、阴阳性分类单元622、病灶区域定位定性单元623以及后处理模块64的具体应用同上述实施例中的一种基于深度卷积神经网络的胸部X光片辅助诊断方法,在此不在赘述。
本发明实施例提供的基于深度卷积神经网络的胸部X光片辅助诊断***既能筛查X光胸片的阴阳性,也能定位出病灶区域,同时能标出病灶区域的疾病种类或者征象,从而给医生提供更具有可解释性的参考意见,以提升医生出报告的效率和减少工作量。
本领域技术人员应该还可以进一步意识到,结合本文中所公开的实施例描述的示例性的双光图像整合方法的各个步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。
本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。所述的计算机软件可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;在本发明的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,步骤可以以任意顺序实现,并存在如上所述的本发明的不同方面的许多其它变化,为了简明,它们没有在细节中提供;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种基于深度卷积神经网络的胸部X光片辅助诊断方法,其特征在于,包括:
对胸部的X光片进行预处理,得到符合格式要求的X光片初始图像;
对所述X光片初始图像进行筛查,检测所述X光片初始图像是否为胸部正位图像;
将所述胸部正位图像输入至深度卷积神经网络的二分类模型中进行阴阳性分类;
将阳性结果的所述胸部正位图像输入至深度卷积神经网络的检测模型中检测所述胸部正位图像的疾病类型并对所述胸部正位图像中的病灶区域进行轮廓标注;
显示所述胸部正位图像对应的所述疾病类型和所述病灶区域。
2.根据权利要求1所述的方法,其特征在于,所述对胸部X光片进行预处理,得到符合格式要求的X光片初始图像包括:
将所述胸部X光片所有的像素值映射到正态分布上,得到窗宽和窗位;
将所述窗宽区间外的噪音像素点去除,并将去除后的所述像素映射到0-255的区间范围,得到X光片初始图像。
3.根据权利要求2所述的方法,其特征在于,所述对所述X光片初始图像进行筛查,具体为:将所述X光片初始图像输入至胸部正位筛查模型中进行筛查,所述胸部正位筛查模型包括:Resnet-34特征提取网络和2个全连接神经网络,
所述Resnet-34特征提取网络用于对所述X光片初始图像进行胸部特征提取;
第一全连接神经网络用于判断所述胸部特征是否为胸部正位;
第二全连接神经网络用于确认所述胸部特征的光度学解释。
4.根据权利要求3所述的方法,其特征在于,在将所述胸部正位图像输入至深度卷积神经网络的二分类模型中之前,所述方法还包括:
如果所述胸部特征的光度学解释为灰度范围从亮到暗地上升像素值,则将所述X光片初始图像的像素进行处理以得到光度学解释为灰度范围从暗到亮地上升像素值。
5.根据权利要求4所述的方法,其特征在于,所述深度卷积神经网络的二分类模型用于对所述X光片初始图像进行胸部特征提取,并对提取的所述胸部特征进行阴阳性分类。
6.根据权利要求5所述的方法,其特征在于,所述深度卷积神经网络的检测模型包括:特征提取网络、特征融合网络、区域生成网络、定性器、***和分割器,
所述特征提取网络的输出为所述特征融合网络的输入;
所述特征融合网络的输出为所述区域生成网络的输入;
所述区域生成网络的输出为所述定性器的输入,所述定性器用于检测所述所述胸部正位图像的疾病类型;
所述区域生成网络输出为所述***的输入,所述***用于对所述病灶区域定位;
所述***输入为所述分割器的输出,所述分割器用于对所述病灶区域的轮廓进行标注。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
在所述深度卷积神经网络的二分类模型中的分类结果为阳性,但是所述深度卷积神经网络的检测模型输出的疾病置信度都小于设定阈值时,
所述深度卷积神经网络的检测模型强制输出最大置信度对应的所述病灶区的轮廓以及疾病类型。
8.根据权利要求7所述的方法,其特征在于,所述方法还包括:
在胸部疾病报告中可视化的显示所述病灶区域以及所述病灶区域对应的所述疾病类型。
9.根据权利要求1所述的方法,其特征在于,所述深度卷积神经网络的二分类模型和所述深度卷积神经网络的检测模型的训练集均来自于影像归档和通信***。
10.一种基于深度卷积神经网络的胸部X光片辅助诊断***,其特征在于,包括:
预处理模块,用于对胸部X光片进行预处理,得到符合格式要求的X光片初始图像;
胸部疾病检测模块,所述胸部疾病检测模块包括:胸部正位筛查单元、阴阳性分类单元和病灶区域定位定性单元;
所述胸部正位筛查单元用于对所述X光片初始图像进行筛查,检测所述X光片初始图像是否为胸部正位图像;
所述阴阳性分类单元用于将胸部正位图像输入至深度卷积神经网络的二分类模型中进行阴阳性分类;
所述病灶区域定位定性单元用于将阳性结果的所述胸部正位图像输入至深度卷积神经网络的检测模型中检测所述胸部正位图像的疾病类型并对所述胸部正位图像中的病灶区域进行轮廓标注;
显示模块,用于显示所述胸部正位图像对应的所述疾病类型和可视化的所述病灶区域。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011000526.1A CN112241961A (zh) | 2020-09-22 | 2020-09-22 | 基于深度卷积神经网络的胸部x光片辅助诊断方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011000526.1A CN112241961A (zh) | 2020-09-22 | 2020-09-22 | 基于深度卷积神经网络的胸部x光片辅助诊断方法及*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112241961A true CN112241961A (zh) | 2021-01-19 |
Family
ID=74171632
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011000526.1A Pending CN112241961A (zh) | 2020-09-22 | 2020-09-22 | 基于深度卷积神经网络的胸部x光片辅助诊断方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112241961A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113053520A (zh) * | 2021-04-02 | 2021-06-29 | 北京掌引医疗科技有限公司 | 肺结核检测模型的训练方法、训练装置及辅助诊断设备 |
CN113053519A (zh) * | 2021-04-02 | 2021-06-29 | 北京掌引医疗科技有限公司 | 基于遗传算法的肺结核检测模型的训练方法、装置及设备 |
CN113076993A (zh) * | 2021-03-31 | 2021-07-06 | 零氪智慧医疗科技(天津)有限公司 | 用于胸部x光片识别的信息处理方法、模型训练方法 |
CN116452579A (zh) * | 2023-06-01 | 2023-07-18 | 中国医学科学院阜外医院 | 一种基于胸片图像的肺动脉高压智能评估方法和*** |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110555825A (zh) * | 2019-07-23 | 2019-12-10 | 北京赛迈特锐医疗科技有限公司 | 胸部x线影像智能诊断***及其诊断方法 |
CN110766701A (zh) * | 2019-10-31 | 2020-02-07 | 北京推想科技有限公司 | 网络模型训练方法及装置、区域划分方法及装置 |
CN111192678A (zh) * | 2019-10-31 | 2020-05-22 | 上海杏脉信息科技有限公司 | 病理显微图像诊断、模型训练方法、装置、设备及介质 |
-
2020
- 2020-09-22 CN CN202011000526.1A patent/CN112241961A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110555825A (zh) * | 2019-07-23 | 2019-12-10 | 北京赛迈特锐医疗科技有限公司 | 胸部x线影像智能诊断***及其诊断方法 |
CN110766701A (zh) * | 2019-10-31 | 2020-02-07 | 北京推想科技有限公司 | 网络模型训练方法及装置、区域划分方法及装置 |
CN111192678A (zh) * | 2019-10-31 | 2020-05-22 | 上海杏脉信息科技有限公司 | 病理显微图像诊断、模型训练方法、装置、设备及介质 |
Non-Patent Citations (1)
Title |
---|
王连智 等: ""X线诊断老年肺结核的临床价值分析"", 《青海医药杂志》, vol. 46, no. 1, 31 December 2016 (2016-12-31), pages 51 - 52 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113076993A (zh) * | 2021-03-31 | 2021-07-06 | 零氪智慧医疗科技(天津)有限公司 | 用于胸部x光片识别的信息处理方法、模型训练方法 |
CN113053520A (zh) * | 2021-04-02 | 2021-06-29 | 北京掌引医疗科技有限公司 | 肺结核检测模型的训练方法、训练装置及辅助诊断设备 |
CN113053519A (zh) * | 2021-04-02 | 2021-06-29 | 北京掌引医疗科技有限公司 | 基于遗传算法的肺结核检测模型的训练方法、装置及设备 |
CN116452579A (zh) * | 2023-06-01 | 2023-07-18 | 中国医学科学院阜外医院 | 一种基于胸片图像的肺动脉高压智能评估方法和*** |
CN116452579B (zh) * | 2023-06-01 | 2023-12-08 | 中国医学科学院阜外医院 | 一种基于胸片图像的肺动脉高压智能评估方法和*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112699868A (zh) | 一种基于深度卷积神经网络的图像识别方法、设备 | |
US11850021B2 (en) | Dynamic self-learning medical image method and system | |
CN112241961A (zh) | 基于深度卷积神经网络的胸部x光片辅助诊断方法及*** | |
US10691980B1 (en) | Multi-task learning for chest X-ray abnormality classification | |
CN113052795B (zh) | 一种x射线胸片图像质量确定方法及装置 | |
US7529394B2 (en) | CAD (computer-aided decision) support for medical imaging using machine learning to adapt CAD process with knowledge collected during routine use of CAD system | |
CN112101451B (zh) | 一种基于生成对抗网络筛选图像块的乳腺癌组织病理类型分类方法 | |
CN112292691A (zh) | 用于使用深度学习提高癌症检测的方法与*** | |
US20230230241A1 (en) | System and method for detecting lung abnormalities | |
US20230005138A1 (en) | Lumbar spine annatomical annotation based on magnetic resonance images using artificial intelligence | |
CN112508884A (zh) | 一种癌变区域综合检测装置及方法 | |
CN112381762A (zh) | 一种基于深度学习算法的ct肋骨骨折辅助诊断*** | |
CN115526834A (zh) | 免疫荧光图像检测方法及装置、设备、存储介质 | |
CN115187566A (zh) | 基于mra影像的颅内动脉瘤检测方法及装置 | |
CN117237351B (zh) | 一种超声图像分析方法以及相关装置 | |
Elhanashi et al. | Classification and localization of multi-type abnormalities on chest X-Rays images | |
CN116228660A (zh) | 胸部正片异常部位检测方法及装置 | |
Fonseca et al. | Automatic orientation identification of pediatric chest x-rays | |
CN115564750A (zh) | 术中冰冻切片图像识别方法及装置、设备、存储介质 | |
CN115409812A (zh) | 一种基于融合时间注意机制的ct图像自动分类方法 | |
CN111436212A (zh) | 用于医学成像评估的深度学习的应用 | |
CN115440371A (zh) | 一种胸部疾病诊断模型及其创建方法和装置 | |
CN112967246A (zh) | 用于临床决策支持***的x射线影像辅助装置及方法 | |
CN107256544A (zh) | 一种基于vcg16的***癌图像诊断方法及*** | |
Liu et al. | A locating model for pulmonary tuberculosis diagnosis in radiographs |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |