CN110969623B - 一种肺部ct多征象自动检测方法、***、终端及存储介质 - Google Patents
一种肺部ct多征象自动检测方法、***、终端及存储介质 Download PDFInfo
- Publication number
- CN110969623B CN110969623B CN202010128396.3A CN202010128396A CN110969623B CN 110969623 B CN110969623 B CN 110969623B CN 202010128396 A CN202010128396 A CN 202010128396A CN 110969623 B CN110969623 B CN 110969623B
- Authority
- CN
- China
- Prior art keywords
- detection
- frame
- layer
- candidate
- frames
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本申请提供一种肺部CT多征象自动检测方法、***、终端及存储介质,包括:采集肺部CT图像;确定肺部CT图像的典型层,并利用稀疏标注的方式对典型层的每个异常征象进行标注;将标注的典型层图像数据输入至预设深度学习网络模型进行训练,得到训练好的2D框检测模型;将肺部CT图像中待检测层图像数据输入训练好的2D框检测模型,预测存在异常征象的2D检测框;根据2D检测框的类别分别设定2D检测框对应阈值,将分数超过对应阈值2D检测框输出,得到2D候选框;按照2D候选框连续层上的位置连续性合并成3D候选框;根据所述3D候选框的类别设定3D候选框对应阈值,将分数超过第二阈值3D候选框输出,得到模型检测结果;实现肺部CT中多种征象同时检测和分析。
Description
技术领域
本申请涉及医学影像处理技术领域,尤其是涉及一种肺部CT多征象自动检测方法、***、终端及存储介质。
背景技术
深度学习技术在临床与科研中得到越来越广泛的重视,以深度学习技术为核心的计算机辅助诊断技术也越来越广泛的应用在临床实践中。目前,多数计算机辅助诊断***都依托于某种单一的征象或者疾病,比如针对肺癌筛查的肺结节辅助诊断***,X光片中的骨折检测***等。随着医疗技术和计算机技术的发展,更多医生依赖于计算机辅助技术来完成影像中病灶的检出甚至结构化报告的书写。
基于深度学习的检测技术通常解决的问题是2D图像中的目标定位问题。随着深度学习技术的发展,现在已经有一系列的方法可以进行精准的目标检测,比如以Faster-RCNN为代表的两阶段检测框架,以Yolo和SSD等为代表的单阶段检测框架,以及近期发展的以corner-net,FCOS等为代表的anchor-free的检测框架。而针对医学图像,特别是CT、MRI等描述3D结构的图像的检测方法研究相对较少,而且其中以结节检测任务居多,涉及到多种类别同时检出的任务很少。由于结节检测的标注通常使用3D标注,即标注目标的中心点和直径(或者x,y,z方向的边长),因此,一般其检测方法以预测3D中心点和3D检测框偏移量为目标,最终输出3D检测框。此外,还有一些方法基于2D检测方法的3D目标检测***。不过这些方法都被应用在解决结节检测问题中,针对肺部多征象问题还未提出相关解决方案。受制于目前针对肺部CT的辅助诊断***通常只能针对结节单一征象进行自动分析和处理的困境,CAD***在临床诊断中无法发挥出其更大的作用。
因此,亟需开发一种可以同时针对肺部CT中多种病灶或者征象同时检测和分析的方法和***,从而可以在临床实践中全方位的辅助医生,提高诊断率和医生诊断效率。
发明内容
针对现有技术的上述不足,本申请提供一种肺部CT多征象自动检测方法、***、终端及存储介质,可以实现肺部CT中多种病灶或者征象同时检测和分析。
第一方面,为解决上述技术问题,本申请提供一种肺部CT多征象自动检测方法,包括:
采集肺部CT图像;
确定所述肺部CT图像的典型层,并利用稀疏标注的方式对典型层的每个异常征象进行标注;
将标注的典型层图像数据输入至预设的深度学习网络模型进行训练,得到训练好的2D框检测模型;
将肺部CT图像中的待检测层图像数据输入训练好的2D框检测模型,预测待检测层存在异常征象的2D检测框;
根据2D检测框的类别分别设定2D检测框对应的第一阈值,将检测分数超过第一阈值的2D检测框输出,得到2D候选框;
按照2D候选框连续层上的位置连续性合并成3D候选框;
根据所述3D候选框的类别设定3D候选框对应的第二阈值,将检测分数超过第二阈值的3D候选框输出,得到模型检测结果。
可选的,所述肺部CT多征象包括:
实变影、磨玻璃密度影、条索影、网格影、蜂窝征、肺气肿、肺大疱、肿块影、胸膜增厚、胸膜凹陷、气胸、胸腔积液、其他囊状低密度影、支气管扩张、马赛克灌注、铺路石征及空气新月征。
可选的,所述采集肺部CT图像,包括:
采集胸部平扫或者增强CT图像。
可选的,所述确定所述肺部CT图像的典型层,并利用稀疏标注的方式对典型层的每个异常征象进行标注,包括:
确定肺部CT图像的异常征象及对应的典型层;
使用拉框或画轮廓的方式在典型层上标注出每个异常征象,得到异常征象典型层的2D标注框。
可选的,所述将标注的典型层图像数据输入至预设的深度学习网络模型进行训练,得到训练好的2D框检测模型,包括:
将标注的轴位层图像数据作为训练数据;
将所述标注的轴位层图像数据输入至基于FPN的Faster-RCNN网络模型进行训练,得到训练好的2D框检测模型。
可选的,所述将肺部CT图像中的待检测层图像数据输入训练好的2D框检测模型,预测待检测层存在异常征象的2D检测框,包括:
将肺部CT图像中的待检测层图像数据输入训练好的2D框检测模型;
预测待检测层存在异常征象的2D检测框,得到2D检测框类别、位置和检测分数信息。
可选的,所述按照2D候选框连续层上的位置连续性合并成3D候选框,包括:
根据连续两个层面的2D检测框重合区域大小以及类别是否相同判断2D检测框是否可以被合并到一个3D框中;
若检测框重合区域大于第一阈值并且满足为同一类别则合并到同一个3D检测框中;
对所有的2D检测框按照上述规则逐个进行判断,得到整个CT最终的3D候选框的类别、位置和检测分数信息;
其中,所述3D候选框的检测分数可设为用于合并的2D候选框的分数的均值、最大值或中位数。
第二方面,本发明还提供一种肺部CT多征象自动检测***,包括:
数据采集单元,配置用于采集肺部CT图像;
征象标注单元,配置用于确定所述肺部CT图像的典型层,并利用稀疏标注的方式对典型层的每个异常征象进行标注;
模型训练单元,配置用于将标注的典型层图像数据输入至预设的深度学习网络模型进行训练,得到训练好的2D框检测模型;
模型预测单元,配置用于将肺部CT图像中的待检测层图像数据输入训练好的2D框检测模型,预测待检测层存在异常征象的2D检测框;
第一阈值化单元,配置用于根据2D检测框的类别分别设定2D检测框对应的第一阈值,将检测分数超过第一阈值的2D检测框输出,得到2D候选框;
检测框合并单元,配置用于按照2D候选框在连续层上的位置连续性合并成3D候选框;
第二阈值化单元,配置用于根据所述3D候选框的类别设定3D候选框对应的第二阈值,将检测分数超过第二阈值的3D候选框输出,得到模型检测结果。
可选的,所述数据采集单元具体用于:
采集胸部平扫或者增强CT图像。
可选的,所述征象标注单元具体用于:
确定肺部CT图像的异常征象及对应的典型层;
使用拉框或画轮廓的方式在典型层上标注出每个异常征象,得到异常征象典型层的2D标注框。
可选的,所述模型训练单元具体包括:
将标注的轴位层图像数据作为训练数据;
将所述标注的轴位层图像数据输入至基于FPN的Faster-RCNN网络模型进行训练,得到训练好的2D框检测模型。
可选的,所述模型预测单元具体包括:
将肺部CT图像中的待检测层图像(通常为所有层面)数据输入训练好的2D框检测模型;
预测待检测层存在异常征象的2D检测框,得到2D检测框类别、位置和检测分数信息。
可选的,所述检测框合并单元具体包括:
根据连续两个层面的2D检测框重合区域大小以及类别是否相同判断2D检测框是否可以被合并到一个3D框中;
若检测框重合区域大于第一阈值并且满足为同一类别则合并到同一个3D检测框中;
对所有的2D检测框按照上述规则逐个进行判断,得到整个CT最终的3D候选框的类别、位置和检测分数信息;
其中,所述3D候选框的检测分数可设为用于合并的2D候选框的分数的均值、最大值或中位数。
第三方面,提供一种终端,包括:
处理器、存储器,其中,
该存储器用于存储计算机程序,
该处理器用于从存储器中调用并运行该计算机程序,使得终端执行上述的终端的方法。
第四方面,提供了一种计算机存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述各方面所述的方法。
与现有技术相比,本申请具有如下有益效果:
本发明提供的肺部CT多征象自动检测方法、***、终端及存储介质,通过选择了特定的CT层面进行高效的稀疏标注,并配套提出了训练可以同时预测多种病灶或异常征象的2D检测框的目标检测模型,然后通过使用双阈值机制的3D检测框合并方法得到多病灶或异常征象的最终检测结果;本申请通过设计新的数据标注、模型训练和模型预测方案,可以同时检出超过10种以上的肺部典型异常征象或者疾病,弥补了目前市场上在肺部多征象检出算法上的空白,一方面可以辅助医生在病灶发现方面获得更高的敏感性,另一方面还可以为临床医生在诊断时提供更全面的支持。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1是本申请实施例所提供的一种肺部CT多征象自动检测方法的示意性流程图。
图2是本申请实施例所提供的一种肺部CT多征象自动检测***的示意性框图。
图3为本申请实施例所提供的一种肺部CT多征象自动检测终端的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
请参考图1,图1为本申请实施例所提供的一种肺部CT多征象自动检测方法的流程图,该方法包括:
S101:数据准备阶段:采集肺部CT图像;
S102:数据标注阶段:确定所述肺部CT图像的典型层,并利用稀疏标注的方式对典型层的每个异常征象进行标注;
S103:模型训练阶段:将标注的典型层图像数据输入至预设的深度学习网络模型进行训练,得到训练好的2D框检测模型;
S104:模型预测阶段:将肺部CT图像中的待检测层图像数据输入训练好的2D框检测模型,预测待检测层存在异常征象的2D检测框;
S105:模型预测阶段:根据2D检测框的类别分别设定2D检测框对应的第一阈值,将检测分数超过第一阈值的2D检测框输出,得到2D候选框;
S106:模型预测阶段:按照2D候选框连续层上的位置连续性合并成3D候选框;
S107:模型预测阶段:根据所述3D候选框的类别设定3D候选框对应的第二阈值,将检测分数超过第二阈值的3D候选框输出,得到模型检测结果。
基于上述实施例,作为优选的实施例,所述肺部CT多征象包括:
实变影、磨玻璃密度影、条索影、网格影、蜂窝征、肺气肿、肺大疱、肿块影、胸膜增厚、胸膜凹陷、气胸、胸腔积液、其他囊状低密度影、支气管扩张、马赛克灌注、铺路石征及空气新月征。
需要说明的是,肺部CT的征象包括但不仅限于以上种类。
基于上述实施例,作为优选的实施例,所述S101采集肺部CT图像,包括:
采集胸部平扫或者增强CT图像。
需要说明的是,胸部平扫或者增强CT图像采集时,需注意平衡各种参数的分布,比如数据来自门诊或者体检场景的比例、数据来自不同厂商、数据重建的卷积核分布、层厚分布等。
基于上述实施例,作为优选的实施例,所述S102确定所述肺部CT图像的典型层,并利用稀疏标注的方式对典型层的每个异常征象进行标注,包括:
确定肺部CT图像的异常征象及对应的典型层;
使用拉框或画轮廓的方式在典型层上标注出每个异常征象,得到异常征象典型层的2D标注框。
具体的,针对肺部CT多征象检测问题的标注,采用稀疏标注的方式,即针对每个待标注CT,只完整标注其中C层典型的层面(C<CT总层面)。对于每个典型的层面,需要对该层上的所有病灶都使用拉框或者画轮廓的方式标注出每个异常征象。比如一份CT含有M个异常征象,则可以针对每个征象选取T个具有典型表观特征的层面,则一份CT共选取T*M个层面,考虑到征象之间位置可能重合,最终层面数目应当小于等于T*M。由于标注时并没有针对每个征象都完整的标注出其每一层的矩形框或轮廓,因此该标注方法是一种稀疏标注的方式。
需要说明的是,现有的单一征象测试中,由于结节相对较小,所以对结节的标注是完整的3D标注即标注出每一层结节的轮廓;而本申请涉及到的多征象测试中,CT中异常征象在尺度上变化较大,互相之间邻接关系复杂。为了在获得足够多的有用标注信息的基础上提升标注效率,本申请提出使用稀疏标注的方式,即只标注典型的2D层面上的病灶框。
基于上述实施例,作为优选的实施例,所述S103将标注的典型层图像数据输入至预设的深度学习网络模型进行训练,得到训练好的2D框检测模型,包括:
将标注的轴位层图像数据作为训练数据;
将所述标注的轴位层图像数据输入至基于FPN的Faster-RCNN网络模型进行训练,得到训练好的2D框检测模型。
需要说明的是,此处典型层的选择可为任何非异常的层面即正常层面,典型层可以选择轴面层,输入端允许使用以典型层为中心的上下N层作为输入。
具体的,假设选定轴位层为典型层,从若干份CT中共标注了N个轴位层,其中每个层面中至少含有V(V>=0)个待检测征象的2D标注框。使用N个轴位层面作为训练数据,可以训练得到一个2D框检测模型,该模型可以输出待检测层面中含有的异常征象的2D检测框,检测框可以用(cx,cy,w,h)来表示,其中cx,cy代表检测框的中心点坐标,w,h代表检测框的宽和长。为了在进行2D检测框预测的时候可以考虑多个层面的信息,2D检测模型的输入可以使用除被预测层之外的其他层面数据,输入层面数量大于等于1。优选的,可以使用以被预测层为中心的连续S(S>=3)层图像作为网络输入。
为了使得模型可以考虑更多的空间上下文信息,2D检测框预测模型的输入是整个轴位层面,而不是从中裁剪出来的一些patch。同时,为了更好的建模多种征象尺度变化大的问题,在检测模型选择上使用含有特征金字塔结构的FPN作为检测模型的主干网络,而非普通的Faster-rcnn中的主干网络,并且在训练时采用图像金字塔作为输入,即对输入数据做多尺度的数据增广。其中,检测模型的选择不仅限于使用基于FPN的Faster-RCNN,可以使用Retina-net或者其他以FPN为主干网络的Anchor-free的检测器。同时,为了增强检测器利用多个层面输入信息的能力,检测器不限制主干网络的结构,不仅限于普通2D卷积,可以使用3D卷积、基于RNN的结构等。比如,可以使用连续9层轴位图像作为输入,构建使用2D卷积的基于FPN的Faster-RCNN检测器,用来预测其中间层图像中所包含的异常征象的2D框。
基于上述实施例,作为优选的实施例,所述S104将肺部CT图像中的待检测层图像数据输入训练好的2D框检测模型,预测待检测层存在异常征象的2D检测框,包括:
将肺部CT图像中的待检测层图像数据输入训练好的2D框检测模型;
预测待检测层存在异常征象的2D检测框,得到2D检测框类别、位置和检测分数信息。
具体的,利用上述训练好的2D框检测模型,对于一份待检测CT,可以利用该检测模型对CT中的每个层面都预测出当前层面中存在异常征象的2D检测框,通常将肺部CT图像中的所有层面图像数据输入至训练出来的2D框检测模型,进行2D检测框结果预测。预测结果包含每个2D检测框的类别、分数和位置信息。针对每个类别的2D检测框,可以选定一个第一阈值,将分数大于该第一阈值的检测框作为候选框进行下一步的合并。
基于上述实施例,作为优选的实施例,所述S106按照2D候选框连续层上的位置连续性合并成3D候选框,包括:
根据连续两个层面的2D检测框重合区域大小以及类别是否相同判断2D检测框是否可以被合并到一个3D框中;
若检测框重合区域大于第一阈值并且满足为同一类别则合并到同一个3D检测框中;
对所有的2D检测框按照上述规则逐个进行判断,得到整个CT最终的3D候选框的类别、位置和检测分数信息;
其中,所述3D候选框的检测分数可设为用于合并的2D候选框的分数的均值、最大值或中位数等。
具体的,通过上一步的2D检测框阈值化,获得整个CT中每一个类别的所有2D检测框{(b1,s1),(b2,s2)…}1,{(b1,s1),(b2,s2)…}2, …, {(b1,s1),(b2,s2)…}C.其中,c代表共C类,(b1,s1)代表一个2D检测框的坐标信息和检测分数。针对每个类别的检测框,需要把2D候选框按照连续层上的位置连续性合并成3D候选框,并给合并后的3D候选框一个检测分数。具体的,可以根据连续两个层面的同一个类别的2D检测框是否存在足够多的重合区域判断2D检测框是否可以被合并到一个3D框。对于3D框分数,可以根据具体情况,设为用于合并的2D检测框的分数的均值,或者最大值,中位数等。
经过上述过程之后,得到每个类别的合并3D框位置和对应的分数。针对每个类别的3D检测框,可以选定一个第二阈值,将分数大于该阈值的3D检测框作为最终检测结果。阈值化后的3D框即为模型的检出结果。
请参考图2,图2为本申请实施例所提供的一种肺部CT多征象自动检测***的结构示意图,该***200,包括:
数据采集单元201,配置用于采集肺部CT图像;
征象标注单元202,配置用于确定所述肺部CT图像的典型层,并利用稀疏标注的方式对典型层的每个异常征象进行标注;
模型训练单元203,配置用于将标注的典型层图像数据输入至预设的深度学习网络模型进行训练,得到训练好的2D框检测模型;
模型预测单元204,配置用于将肺部CT图像中的待检测层图像数据输入训练好的2D框检测模型,预测待检测层存在异常征象的2D检测框;
第一阈值化单元205,配置用于根据2D检测框的类别分别设定2D检测框对应的第一阈值,将检测分数超过第一阈值的2D检测框输出,得到2D候选框;
检测框合并单元206,配置用于按照2D候选框在连续层上的位置连续性合并成3D候选框;
第二阈值化单元207,配置用于根据所述3D候选框的类别设定3D候选框对应的第二阈值,将检测分数超过第二阈值的3D候选框输出,得到模型检测结果。
基于上述实施例,作为优选的实施例,所述数据采集单元201具体用于:
采集胸部平扫或者增强CT图像。
基于上述实施例,作为优选的实施例,所述征象标注单元202具体用于:
确定肺部CT图像的异常征象及对应的典型层;
使用拉框或画轮廓的方式在典型层上标注出每个异常征象,得到异常征象典型层的2D标注框。
基于上述实施例,作为优选的实施例,所述模型训练单元203具体包括:
将标注的轴位层图像数据作为训练数据;
将所述标注的轴位层图像数据输入至基于FPN的Faster-RCNN网络模型进行训练,得到训练好的2D框检测模型。
基于上述实施例,作为优选的实施例,所述模型预测单元204具体包括:
将肺部CT图像中的典型层外的待检测层图像数据输入训练好的2D框检测模型;
预测待检测层存在异常征象的2D检测框,得到2D检测框类别、位置和检测分数信息。
基于上述实施例,作为优选的实施例,所述检测框合并单元206具体包括:
根据连续两个层面的2D检测框重合区域大小以及类别是否相同判断2D检测框是否可以被合并到一个3D框中;
若检测框重合区域大于第一阈值并且满足为同一类别则合并到同一个3D检测框中;
对所有的2D检测框按照上述规则逐个进行判断,得到整个CT最终的3D候选框的类别、位置和检测分数信息;
其中,所述3D候选框的检测分数可设为用于合并的2D候选框的分数的均值、最大值或中位数等。
图3为本发明实施例提供的一种受控终端300的结构示意图,该受控终端300可以用于执行本发明实施例提供的肺部CT多征象自动检测方法。
其中,该受控终端300可以包括:处理器310、存储器320及通信单元330。这些组件通过一条或多条总线进行通信,本领域技术人员可以理解,图中示出的服务器的结构并不构成对本发明的限定,它既可以是总线形结构,也可以是星型结构,还可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
其中,该存储器320可以用于存储处理器310的执行指令,存储器320可以由任何类型的易失性或非易失性存储终端或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。当存储器320中的执行指令由处理器310执行时,使得受控终端300能够执行以下上述方法实施例中的部分或全部步骤。
处理器310为存储终端的控制中心,利用各种接口和线路连接整个电子终端的各个部分,通过运行或执行存储在存储器320内的软件程序和/或模块,以及调用存储在存储器内的数据,以执行电子终端的各种功能和/或处理数据。所述处理器可以由集成电路(Integrated Circuit,简称IC) 组成,例如可以由单颗封装的IC 所组成,也可以由连接多颗相同功能或不同功能的封装IC而组成。举例来说,处理器310可以仅包括中央处理器(Central Processing Unit,简称CPU)。在本发明实施方式中,CPU可以是单运算核心,也可以包括多运算核心。
通信单元330,用于建立通信信道,从而使所述存储终端可以与其它终端进行通信。接收其他终端发送的用户数据或者向其他终端发送用户数据。
本发明还提供一种计算机存储介质,其中,该计算机存储介质可存储有程序,该程序执行时可包括本发明提供的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文:read-only memory,简称:ROM)或随机存储记忆体(英文:random access memory,简称:RAM)等。
因此,本发明通过选择了特定的CT层面进行稀疏标注,得到多种病灶或异常征象的2D检测框,通过2D检测框合并3D检测框得到多病灶或异常征象的检测结果。本申请可以同时检出超过10种以上的肺部典型异常征象或者疾病,一方面可以辅助医生在病灶发现方面获得更高的敏感性,另一方面还可以为临床医生在诊断时提供更全面的支持,本实施例所能达到的技术效果可以参见上文中的描述,此处不再赘述。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中如U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质,包括若干指令用以使得一台计算机终端(可以是个人计算机,服务器,或者第二终端、网络终端等)执行本发明各个实施例所述方法的全部或部分步骤。
本说明书中各个实施例之间相同相似的部分互相参见即可。尤其,对于终端实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例中的说明即可。
在本发明所提供的几个实施例中,应该理解到,所揭露的***和方法,可以通过其它的方式实现。例如,以上所描述的***实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,***或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述,但本发明并不限于此。在不脱离本发明的精神和实质的前提下,本领域普通技术人员可以对本发明的实施例进行各种等效的修改或替换,而这些修改或替换都应在本发明的涵盖范围内/任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种肺部CT多征象自动检测方法,其特征在于,包括:
采集肺部CT图像;
确定所述肺部CT图像的典型层,并利用稀疏标注的方式对典型层的每个异常征象进行标注;
将标注的典型层图像数据输入至预设的深度学习网络模型进行训练,得到训练好的2D框检测模型;
将肺部CT图像中的待检测层图像数据输入训练好的2D框检测模型,预测待检测层存在异常征象的2D检测框,得到2D检测框类别、位置和检测分数信息;
根据2D检测框的类别分别设定2D检测框对应的第一阈值,将2D检测框检测分数超过第一阈值的2D检测框输出,得到2D候选框;
按照2D候选框连续层上的位置连续性合并成3D候选框,并确定合并后的3D候选框检测分数;
根据所述3D候选框的类别设定3D候选框对应的第二阈值,将3D候选框检测分数超过第二阈值的3D候选框输出,得到模型检测结果。
2.根据权利要求1所述的肺部CT多征象自动检测方法,其特征在于,所述肺部CT多征象包括:
实变影、磨玻璃密度影、条索影、网格影、蜂窝征、肺气肿、肺大疱、肿块影、胸膜增厚、胸膜凹陷、气胸、胸腔积液、其他囊状低密度影、支气管扩张、马赛克灌注、铺路石征及空气新月征。
3.根据权利要求1所述的肺部CT多征象自动检测方法,其特征在于,所述采集肺部CT图像,包括:
采集胸部平扫或者增强CT图像。
4.根据权利要求1所述的肺部CT多征象自动检测方法,其特征在于,所述确定所述肺部CT图像的典型层,并利用稀疏标注的方式对典型层的每个异常征象进行标注,包括:
确定肺部CT图像的异常征象及对应的典型层;
使用拉框或画轮廓的方式在典型层上标注出每个异常征象,得到异常征象典型层的2D标注框。
5.根据权利要求1所述的肺部CT多征象自动检测方法,其特征在于,所述将标注的典型层图像数据输入至预设的深度学习网络模型进行训练,得到训练好的2D框检测模型,包括:
将标注的轴位层图像数据作为训练数据;
将所述标注的轴位层图像数据输入至基于FPN的Faster-RCNN网络模型进行训练,得到训练好的2D框检测模型。
6.根据权利要求1所述的肺部CT多征象自动检测方法,其特征在于,所述将肺部CT图像中的待检测层图像数据输入训练好的2D框检测模型,预测待检测层存在异常征象的2D检测框,包括:
将肺部CT图像中的待检测层图像数据输入训练好的2D框检测模型;
预测待检测层存在异常征象的2D检测框,得到2D检测框类别、位置和检测分数信息。
7.根据权利要求1所述的肺部CT多征象自动检测方法,其特征在于,所述按照2D候选框连续层上的位置连续性合并成3D候选框,包括:
根据连续两个层面的2D检测框重合区域大小以及类别是否相同判断2D检测框是否可以被合并到一个3D框中;
若检测框重合区域大于一定阈值并且满足为同一类别则合并到同一个3D检测框中;
对所有的2D检测框按照上述规则逐个进行判断,得到整个CT最终的3D候选框的类别、位置和检测分数信息;
其中,所述3D候选框的检测分数可设为用于合并的2D候选框的分数的均值、最大值或中位数。
8.一种肺部CT多征象自动检测***,其特征在于,包括:
数据采集单元,配置用于采集肺部CT图像;
征象标注单元,配置用于确定所述肺部CT图像的典型层,并利用稀疏标注的方式对典型层的每个异常征象进行标注;
模型训练单元,配置用于将标注的典型层图像数据输入至预设的深度学习网络模型进行训练,得到训练好的2D框检测模型;
模型预测单元,配置用于将肺部CT图像中的待检测层图像数据输入训练好的2D框检测模型,预测待检测层存在异常征象的2D检测框,得到2D检测框类别、位置和检测分数信息;
第一阈值化单元,配置用于根据2D检测框的类别分别设定2D检测框对应的第一阈值,将2D检测框检测分数超过第一阈值的2D检测框输出,得到2D候选框;
检测框合并单元,配置用于按照2D候选框在连续层上的位置连续性合并成3D候选框,并确定合并后的3D候选框检测分数;
第二阈值化单元,配置用于根据所述3D候选框的类别设定3D候选框对应的第二阈值,将3D候选框检测分数超过第二阈值的3D候选框输出,得到模型检测结果。
9.一种终端,其特征在于,包括:
处理器;
用于存储处理器的执行指令的存储器;
其中,所述处理器被配置为执行权利要求1-7任一项所述的方法。
10.一种存储有计算机程序的计算机可读存储介质,其特征在于,该程序被处理器执行时实现如权利要求1-7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010128396.3A CN110969623B (zh) | 2020-02-28 | 2020-02-28 | 一种肺部ct多征象自动检测方法、***、终端及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010128396.3A CN110969623B (zh) | 2020-02-28 | 2020-02-28 | 一种肺部ct多征象自动检测方法、***、终端及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110969623A CN110969623A (zh) | 2020-04-07 |
CN110969623B true CN110969623B (zh) | 2020-06-26 |
Family
ID=70038257
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010128396.3A Active CN110969623B (zh) | 2020-02-28 | 2020-02-28 | 一种肺部ct多征象自动检测方法、***、终端及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110969623B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111862001B (zh) * | 2020-06-28 | 2023-11-28 | 微医云(杭州)控股有限公司 | Ct影像的半自动标注方法及装置、电子设备、存储介质 |
CN112184684A (zh) * | 2020-10-09 | 2021-01-05 | 桂林电子科技大学 | 一种改进的YOLO-v3算法及其在肺结节检测中的应用 |
CN113160233A (zh) * | 2021-04-02 | 2021-07-23 | 易普森智慧健康科技(深圳)有限公司 | 利用稀疏标注数据集训练实例分割神经网络模型的方法 |
CN115994898B (zh) * | 2023-01-12 | 2023-11-14 | 浙江医准智能科技有限公司 | 一种纵膈占位病变图像检测方法、装置、设备及存储介质 |
CN116452579B (zh) * | 2023-06-01 | 2023-12-08 | 中国医学科学院阜外医院 | 一种基于胸片图像的肺动脉高压智能评估方法和*** |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6898303B2 (en) * | 2000-01-18 | 2005-05-24 | Arch Development Corporation | Method, system and computer readable medium for the two-dimensional and three-dimensional detection of lesions in computed tomography scans |
CN107016665B (zh) * | 2017-02-16 | 2021-05-04 | 浙江大学 | 一种基于深度卷积神经网络的ct肺结节检测方法 |
US10692211B2 (en) * | 2017-06-20 | 2020-06-23 | Case Western Reserve University | Intra-perinodular textural transition (IPRIS): a three dimenisonal (3D) descriptor for nodule diagnosis on lung computed tomography (CT) images |
CN108090903A (zh) * | 2017-12-29 | 2018-05-29 | 苏州体素信息科技有限公司 | 肺结节检测模型训练方法和装置、肺结节检测方法和装置 |
CN108446730B (zh) * | 2018-03-16 | 2021-05-28 | 推想医疗科技股份有限公司 | 一种基于深度学习的ct肺结节检测装置 |
CN110059697B (zh) * | 2019-04-29 | 2023-04-28 | 上海理工大学 | 一种基于深度学习的肺结节自动分割方法 |
-
2020
- 2020-02-28 CN CN202010128396.3A patent/CN110969623B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN110969623A (zh) | 2020-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110969623B (zh) | 一种肺部ct多征象自动检测方法、***、终端及存储介质 | |
Wang et al. | Automatically discriminating and localizing COVID-19 from community-acquired pneumonia on chest X-rays | |
CN108615237B (zh) | 一种肺部图像处理方法及图像处理设备 | |
CN111047591A (zh) | 基于深度学习的病灶体积测量方法、***、终端及存储介质 | |
CN111160367B (zh) | 图像分类方法、装置、计算机设备和可读存储介质 | |
US10853449B1 (en) | Report formatting for automated or assisted analysis of medical imaging data and medical diagnosis | |
US10734107B2 (en) | Image search device, image search method, and image search program | |
CN111402260A (zh) | 一种基于深度学习的医学影像分割方法、***、终端及存储介质 | |
US8811699B2 (en) | Detection of landmarks and key-frames in cardiac perfusion MRI using a joint spatial-temporal context model | |
CN101027692B (zh) | 用于基于滑降的簇的对象表征的***和方法 | |
CN111080584A (zh) | 医学图像的质控方法、计算机设备和可读存储介质 | |
CN110838114B (zh) | 肺结节检测方法、装置及计算机存储介质 | |
US10390726B2 (en) | System and method for next-generation MRI spine evaluation | |
CN111340756A (zh) | 一种医学图像病变检出合并方法、***、终端及存储介质 | |
CN111047610A (zh) | 病灶区域呈现方法和装置 | |
WO2022110525A1 (zh) | 一种癌变区域综合检测装置及方法 | |
US20220148727A1 (en) | Cad device and method for analysing medical images | |
CN113935943A (zh) | 颅内动脉瘤识别检测的方法、装置、计算机设备和存储介质 | |
CN112308853A (zh) | 电子设备、医学图像指标生成方法、装置及存储介质 | |
CN111128348B (zh) | 医学图像处理方法、装置、存储介质及计算机设备 | |
CN110570425B (zh) | 一种基于深度强化学习算法的肺结节分析方法及装置 | |
Zhang et al. | An Algorithm for Automatic Rib Fracture Recognition Combined with nnU‐Net and DenseNet | |
Wang et al. | Automatic creation of annotations for chest radiographs based on the positional information extracted from radiographic image reports | |
Pham et al. | Chest x-rays abnormalities localization and classification using an ensemble framework of deep convolutional neural networks | |
US11416994B2 (en) | Method and system for detecting chest x-ray thoracic diseases utilizing multi-view multi-scale learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |