CN112288752B - 一种基于胸部平扫ct的冠脉钙化灶全自动分割方法 - Google Patents
一种基于胸部平扫ct的冠脉钙化灶全自动分割方法 Download PDFInfo
- Publication number
- CN112288752B CN112288752B CN202011181703.0A CN202011181703A CN112288752B CN 112288752 B CN112288752 B CN 112288752B CN 202011181703 A CN202011181703 A CN 202011181703A CN 112288752 B CN112288752 B CN 112288752B
- Authority
- CN
- China
- Prior art keywords
- image
- scan
- coronary
- segmentation
- heart
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30048—Heart; Cardiac
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明公开了一种基于胸部平扫CT的冠脉钙化灶全自动分割方法,包括以下步骤:对原始胸部平扫CT图像进行预处理,得到预处理数据;将预处理数据输入到心脏分割模型中,对原始胸部平扫CT图像中的心脏区域进行分割,得到与原始胸部平扫CT图像对应的包含心脏区域的心脏分割图像;在心脏区域筛选疑似冠脉钙化灶;从筛选出的疑似冠脉钙化灶中提取多个候选样本块;以及基于多个候选样本块及其在原始胸部平扫CT图像对应的坐标系中的对应坐标,利用钙化灶分割模型获得候选样本块的冠脉钙化灶分割结果。本发明的方法采取coarse‑to‑fine的策略,使用两阶段深度神经网络实现了基于胸部平扫CT的冠脉钙化灶全自动分割,对于噪声较大的数据也能取得很好的分割结果。
Description
技术领域
本发明涉及医学图像分割技术领域,更具体地,特别是指一种基于胸部平扫CT的冠脉钙化灶全自动分割方法。
背景技术
目前,心血管病患病率及死亡率仍处于持续上升态势,其死亡率仍居首位,而患有心血管病的老年人,其免疫功能下降,更容易感染其它疾病并转变为危重症患者,因此实现冠心病的早期诊断尤为必要。已有足够的循证医学证据支持,冠脉钙化是无症状患者发生不良心脏事件的独立危险因素。
对心脏冠状动脉钙化(CAC,Coronary Artery Calcium)的量化分析可以评估心血管疾病发生的可能性。现在临床上多采用经心电门控的心脏CT来评估冠脉钙化的情况。具体后处理过程需要医生手动在图像中选择冠脉钙化区域,然后由分析软件基于选中的区域给出钙化情况的评估,即冠脉钙化积分(CACS,Coronary Artery Calcium Scoring),这是一个半自动的过程。传统的心脏钙化积分扫描通常合并在冠脉CTA检查中,而一次完整的冠脉CTA检查会比胸部CT贵出数倍,患者受到的辐射剂量也高出很多。此外,冠脉CTA具有一定的风险、需要心电门控装置以及患者严格配合呼吸,并不是每一级医院都可以进行冠脉CTA检查。基于心脏平扫CT或CTA图像自动计算CACS的相关现有技术还存在以下缺陷:a)现有方案在疑似钙化区域的特征提取过程中采用的是较为传统的人工设计的图像特征:方向梯度直方图(Histogram of Oriented Gradient,HOG)特征、局部二值模式(Local BinaryPattern,LBP)特征、Haar特征以及纹理特征。b)现有方案通过面积阈值筛选疑似的钙化区域,然后对疑似的钙化区域采用简单的分类器判断是否属于钙化。这个面积阈值的设定要基于一定的先验知识,但是先验知识往往是从大部分数据中总结出来的规律,一些特殊情况不一定符合这个规律。假设目前有一个钙化灶刚好在设定的面积阈值之外,那么在现有方案中根本就没有被分类的机会,因此就会出现漏检的情况。
胸部平扫CT费用相对较低且覆盖率更广,普通的体检机构也设置有相应的检查项。如果冠脉钙化积分能够基于胸部平扫CT计算并且是自动计算,那么将极大提高临床诊断的效率(少做一次心脏CT,提供额外的临床信息完成心肺一站式筛查,并且不需要医生手动选择钙化区域),同时节省病人的开支并减少病人受到的辐射剂量。然而,与上述现有技术相比,基于胸部平扫CT进行钙化积分的计算更加复杂,尤其是使用肺窗重建出来的胸部CT数据,噪声会非常大。在这种情况下,上述现有技术对疑似钙化区域的处理所采用的分类方法(相对比较传统的随机森林等方法)在噪声较大的胸部CT上会受到很大的挑战。
针对上述现有技术的缺陷,本领域亟待需要一种基于胸部平扫CT的冠脉钙化灶全自动分割方案。
发明内容
有鉴于此,本发明实施例的目的在于提出一种基于胸部平扫CT的冠脉钙化灶全自动分割方法,能够解决上述现有技术无法实现基于胸部平扫CT的冠脉钙化灶全自动分割等问题。
基于上述目的,本发明实施例的一方面提供了一种基于胸部平扫CT的冠脉钙化灶全自动分割方法,包括以下步骤:
步骤1、对原始胸部平扫CT图像进行预处理,得到预处理数据;
步骤2、将所述预处理数据输入到预先训练好的心脏分割模型中,对所述原始胸部平扫CT图像中的心脏区域进行分割,得到与所述原始胸部平扫CT图像对应的包含所述心脏区域的心脏分割图像;
步骤3、在所述心脏区域筛选疑似冠脉钙化灶;
步骤4、从筛选出的疑似冠脉钙化灶中提取多个候选样本块;以及
步骤5、基于所述多个候选样本块及其在所述原始胸部平扫CT图像对应的坐标系中的对应坐标,利用预先训练好的钙化灶分割模型获得每一个候选样本块的冠脉钙化灶分割结果。
在一些实施方式中,所述步骤1进一步包括:
步骤11、将所述原始胸部平扫CT图像缩放到设定尺寸;和
步骤12、对缩放后的所述原始胸部平扫CT图像执行归一化操作。
在一些实施方式中,所述步骤3进一步包括:
步骤31、将所述心脏分割图像恢复到所述原始胸部平扫CT图像的尺寸;
步骤32、在所述原始胸部平扫CT图像中,根据恢复尺寸后的所述心脏分割图像确定所述心脏区域的边界;以及
步骤33、在所述心脏区域的边界内筛选疑似冠脉钙化灶。
在一些实施方式中,所述步骤33进一步包括:
步骤331、在所述心脏区域的边界内根据CT值标记出所有疑似冠脉钙化灶;和
步骤332、对标记出的所有疑似冠脉钙化灶进行聚类并根据聚类结果和相应先验知识筛选所述疑似冠脉钙化灶。
在一些实施方式中,在所述步骤5之前所述方法还包括:
将所述多个候选样本块组装成多个批次后逐批输入到所述钙化灶分割模型中。
在一些实施方式中,在所述步骤5之后所述方法还包括:
基于每一个候选样本块的冠脉钙化灶分割结果,采用投票机制得出最终的分割结果。
在一些实施方式中,所述心脏分割模型的训练包括以下步骤:
收集训练用胸部平扫CT图像并对其进行心脏标注以得到与其对应的心脏Mask图像;和
利用所述训练用胸部平扫CT图像和所述心脏Mask图像训练第一深度神经网络直到满足预设的第一收敛条件为止,得到所述心脏分割模型。
在一些实施方式中,所述钙化灶分割模型的训练包括以下步骤:
对所述训练用胸部平扫CT图像进行冠脉钙化灶标注以得到与其对应的冠脉钙化灶Mask图像;
从所述冠脉钙化灶Mask图像中提取具有预设尺寸的多个Mask图像样本块,从所述训练用胸部平扫CT图像中提取与所述多个Mask图像样本块对应的具有所述预设尺寸的多个原始图像样本块,每一个Mask图像样本块和与其对应的一个原始图像样本块构成一个样本对;以及
利用所述样本对训练第二深度神经网络直到满足预设的第二收敛条件为止,得到所述钙化灶分割模型。
在一些实施方式中,从所述冠脉钙化灶Mask图像中提取具有预设尺寸的多个Mask图像样本块包括以下步骤:
对所述冠脉钙化灶Mask图像进行聚类;和
以每个聚类中心为中心,分别提取所述Mask图像样本块。
在一些实施方式中,从所述训练用胸部平扫CT图像中提取与所述多个Mask图像样本块对应的具有所述预设尺寸的多个原始图像样本块包括以下步骤:
依据每一个Mask图像样本块的提取坐标,从所述训练用胸部平扫CT图像中提取对应的原始图像样本块。
本发明具有以下有益技术效果:
本发明实施例提供的一种两阶段的基于胸部平扫CT的冠脉钙化灶全自动分割方法:在第一阶段,首先利用一个在心脏标注数据下训练的深度神经网络将心脏区域分割出来;接下来,在第二阶段,利用另一个在冠脉钙化灶标注数据下训练的深度神经网络对第一阶段得到的心脏区域中的冠脉钙化灶进行分割。整个过程不需要人工的参与,将极大提高临床诊断效率,也为推广心肺一体筛查提供了更多可能。本发明提出的方案适用于冠心病的风险评估,有助于改善冠心病筛查的准确性,改善对患者个体不良心血管事件的预测效能,辅助临床制定个体化综合治疗方案,降低了患者发生不良心血管事件的风险。
本发明采用当下非常成功的深度神经网络自动提取图像特征代替了传统的手工特征,这也是目前图像处理任务中一个明显的趋势,本发明采用的神经网络架构设计合理,使用神经网络自动特征提取过程代替了繁琐的手工特征设计和计算过程。
本发明在第一阶段获得心脏区域之后,会对疑似钙化区域先进行聚类再结合面积阈值进行初步的筛选,初筛之后我们以聚类中心为中心提取样本块(由于样本块的空间尺寸相对比较大,这些样本块之间很大可能是有重叠的),然后这些样本块会由一个训练好的深度分割网络进行预测,先前因为面积阈值被排除在外的钙化灶依然有可能在神经网络推理的过程中被“找回”,并且这些具有一定空间重叠的样本块的预测结果最后会通过投票机制来决定空间中的每一个点是否为真正的钙化点。这样就可以比简单的分类器取得更加鲁棒的结果。总而言之,1)本发明第二阶段的深度分割网络可以为面积阈值的设定进一步兜底;2)投票机制使得分割结果更加鲁棒。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的实施例。
图1为根据本发明一个实施例的基于胸部平扫CT的冠脉钙化灶全自动分割方法的示意性流程图;
图2为原始胸部平扫CT图像的预处理过程的示意性流程图;
图3为在心脏区域筛选疑似冠脉钙化灶的过程的示意性流程图;
图4为在心脏区域的边界内筛选疑似冠脉钙化灶的示意性流程图;
图5为心脏分割模型的训练过程的示意性流程图;
图6为心脏分割模型标注数据的示意图;
图7为钙化灶分割模型的训练过程的示意性流程图;
图8为钙化灶分割模型标注数据的示意图;以及
图9为采用本发明的方法执行实际分割任务时所达到的效果对比图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明实施例进一步详细说明。
需要说明的是,本发明实施例中所有使用“第一”、“第二”等的表述均是为了区分多个相同名称非相同的实体或者非相同的参量,可见“第一”、“第二”等仅为了表述的方便,不应理解为对本发明实施例的限定,后续实施例对此不再一一说明。
基于上述目的,本发明提出了一种基于胸部平扫CT的冠脉钙化灶全自动分割方法的一个实施例。图1示出的是该方法的示意性流程图。该方法主要是基于深度学***扫CT中属于非常微小的目标,在一个512×512×100大小的三维CT影像中,钙化灶所占的像素比例大概万分之一都不到。因此,为了完成这样一件分割任务,本发明采取coarse-to-fine的策略。在第一阶段,该方法通过一个心脏分割模型分割得到心脏区域,然后基于得到的心脏区域,在第二阶段通过钙化灶分割模型实施更为精细的分割操作,最后得到最终的冠脉钙化灶分割结果。
具体而言,如图1中所示,该基于胸部平扫CT的冠脉钙化灶全自动分割方法包括以下步骤:
步骤S1、对原始胸部平扫CT图像进行预处理,得到预处理数据。
当需要执行冠脉钙化灶分割操作时,对前期胸部平扫CT信息进行处理得到的是DICOM(Digital Imaging and Communications in Medicine,医学数字影像和通信)格式数据,每一张DICOM图像数据包含胸部某层切片的图像数据,为了方便存储管理可将病人的多层DICOM图像数据合并为nii数字格式文件来保存所述原始胸部平扫CT图像。然后对nii文件中的所述原始胸部平扫CT图像进行预处理。
步骤S2、将所述预处理数据输入到预先训练好的心脏分割模型中,对所述原始胸部平扫CT图像中的心脏区域进行分割,得到与所述原始胸部平扫CT图像对应的包含所述心脏区域的心脏分割图像。
此步骤是第一阶段的分割,即心脏分割,也可以理解为粗分割。要实现心脏区域的分割,首先需要选择适合的深度神经网络(例如,UNet)来构建一个心脏分割模型,下文中将详细说明该心脏分割模型的训练过程。
步骤S3、在所述心脏区域筛选疑似冠脉钙化灶。
本发明在执行第二阶段的分割操作之前,需对心脏区域内的所有疑似冠脉钙化灶进行初步筛选,以过滤掉一部分疑似钙化灶,从而减轻了第二阶段分割模型的负担。
步骤S4、从筛选出的疑似冠脉钙化灶中提取多个候选样本块。
对筛选出的疑似冠脉钙化灶,以每个聚类中心为中心分别提取对应的候选样本块。候选样本块的大小为(16,64,64)(即,第二阶段分割模型的输入尺寸),然而该尺寸不一定是(16,64,64),本领域技术人员可以根据GPU配置和分割结果对其进行相匹配的设定。
步骤S5、基于所述多个候选样本块及其在所述原始胸部平扫CT图像对应的坐标系中的对应坐标,利用预先训练好的钙化灶分割模型获得每一个候选样本块的冠脉钙化灶分割结果。
此步骤是第二阶段的分割,即冠脉钙化灶分割,也可以理解为细分割。要实现冠脉钙化灶的分割,首先需要选择适合的深度神经网络(例如,UNet)来构建一个钙化灶分割模型,下文中将详细说明该钙化灶分割模型的训练过程。
图2示出的是原始胸部平扫CT图像的预处理过程的示意性流程图。如图2所示,上述步骤1的图像预处理过程进一步包括:
步骤S11、将所述原始胸部平扫CT图像缩放到设定尺寸。由于不同CT数据采集设备的参数不一致导致所获取的CT图像存在异质性,因此需要通过插值操作将nii数据变换为一个统一的尺寸(可以通过Reshape函数实现),例如该尺寸可以为(64,256,256)(即,第一阶段分割模型的输入尺寸),然而该尺寸不一定是(64,256,256),本领域技术人员可以根据GPU配置和分割结果对其进行相匹配的设定。
步骤S12、对缩放后的所述原始胸部平扫CT图像执行归一化操作,即将数据变换到[0,1]空间,然后就可以输入到已经训练好的心脏分割模型中。
图3示出的是在心脏区域筛选疑似冠脉钙化灶的过程的示意性流程图。如图3所示,上述步骤S3进一步包括:
步骤S31、将所述心脏分割图像恢复到所述原始胸部平扫CT图像的尺寸。在此步骤中,需要再次通过插值操作将心脏分割模型推理得到的心脏分割图像恢复到原始尺寸(可以再次通过Reshape函数实现)。
步骤S32、在所述原始胸部平扫CT图像中,根据恢复尺寸后的所述心脏分割图像确定所述心脏区域的边界,可以用一个长方体BoundingBox来表示,然后记录该BoundingBox的一个角点相对于整个CT的坐标。
步骤S33、在所述心脏区域的边界内筛选疑似冠脉钙化灶。具体地,如图4所示,此步骤进一步包括:步骤S331、在所述心脏区域的边界内根据CT值标记出所有疑似冠脉钙化灶,具体操作为,设定一阈值(例如可以为130HU(Hounsfield Unit)),然后对于心脏区域内的每一个像素点,如果CT值大于130HU,则标记为疑似钙化点,否则标记为背景;步骤S332、对标记出的所有疑似冠脉钙化灶进行聚类并根据聚类结果和相应先验知识筛选所述疑似冠脉钙化灶,聚类结果中每一个类都有其聚类中心和相应的面积,而根据相应先验知识(比如经验告诉我们冠脉钙化灶应该是在一个怎样的范围内)便可以初步过滤一些疑似钙化灶。
接下来,在执行步骤S4时,对初筛后留下的疑似冠脉钙化灶,可以以上述聚类中心为中心提取多个候选样本块并将其在心脏BoundingBox中的坐标转换到原始CT坐标系并记录。
当提取的候选样本块有很多个的时候,如果按照单个样本块(Patch)串行输入钙化灶分割模型进行推理,则效率会比较低。因此,为了加速钙化灶分割模型的推理过程,可以先将候选样本块组装成多个批次(每一批(Batch)可以包含128个样本甚至更多,视GPU配置而定),然后逐批输入到钙化灶分割模型中进行并行推理,从而达到加快推理速度的目的。通过钙化灶分割模型推理得到每一个候选样本块的分割结果后,再逐一拼装回原始CT坐标系下就可以得到基于胸部平扫CT图像的冠脉钙化灶分割结果。
由于不同的候选样本块之间可能有重叠,因此为了使结果更加鲁棒,可以根据投票机制决定最终的钙化分割结果,这里可以采用多数投票算法(Majority Voting)。
图5示出的是心脏分割模型的训练过程的示意性流程图。如图5所示,心脏分割模型的训练包括以下步骤:步骤S51、收集训练用胸部平扫CT图像并对其进行心脏标注以得到与其对应的心脏Mask图像;和步骤S52、利用所述训练用胸部平扫CT图像和所述心脏Mask图像训练第一深度神经网络直到满足预设的第一收敛条件为止,得到所述心脏分割模型。
下面举例说明训练心脏分割模型的一个示例。首先,从医院搜集数百例胸部平扫CT数据,每一例数据包含不同程度的冠脉钙化情况。然后,利用这些数据,标注数百例心脏Mask用于训练一个深度神经网络心脏分割模型,即在每一例胸部平扫CT中,心脏区域的像素标为1,主动脉标为2,背景标为0,如图6所示。每一例胸部平扫CT数据都有标注完成的对应心脏Mask图像。接下来就可以进行指定模型的训练。训练过程是指,给定一个深度神经网络,首先对网络参数进行初始化,然后网络针对给定输入数据进行前向运算,得到输出结果,通过计算输出结果与标注数据之间的差异,然后反向传播回网络进行参数的更新就可以达到网络训练的目的。网络参数收敛之后,对于给定输入,预期的输出结果能够与标注数据具有形同的表现形式。训练过程中差异的计算一般是通过损失函数来计算,本发明使用的损失函数为TverskyLoss,这是一种泛化的DiceLoss,可以直接针对网络输出结果和标注Mask之间计算重合程度,其形式如下:
该公式表达的是一个二类分割的形式,具体实现时可以扩展为多类的形式,比如本发明的心脏分割模型就是针对三类分割的情况。
需要说明的是,对于尺寸异质性较大的胸部CT数据,在输入网络进行训练之前,需要将所有数据都reshape到一个统一尺寸,例如(64,256,256)。当然,数据预处理阶段也包含常见的随机裁剪、随机镜像以及归一化操作。然后使用Adam优化器训练200轮,Adam优化器的初始学习率设置为2e-4,动量参数β1设置为0.5,β2设置为0.99。BatchSize(批量大小)设置为4。
图7示出的是钙化灶分割模型的训练过程的示意性流程图。如图7所示,钙化灶分割模型的训练包括以下步骤:步骤S71、对所述训练用胸部平扫CT图像进行冠脉钙化灶标注以得到与其对应的冠脉钙化灶Mask图像;步骤S72、从所述冠脉钙化灶Mask图像中提取具有预设尺寸的多个Mask图像样本块,从所述训练用胸部平扫CT图像中提取与所述多个Mask图像样本块对应的具有所述预设尺寸的多个原始图像样本块,每一个Mask图像样本块和与其对应的一个原始图像样本块构成一个样本对;以及步骤S73、利用所述样本对训练第二深度神经网络直到满足预设的第二收敛条件为止,得到所述钙化灶分割模型。其中,从所述冠脉钙化灶Mask图像中提取具有预设尺寸的多个Mask图像样本块具体包括:对所述冠脉钙化灶Mask图像进行聚类;和以每个聚类中心为中心,分别提取所述Mask图像样本块。从所述训练用胸部平扫CT图像中提取与所述多个Mask图像样本块对应的具有所述预设尺寸的多个原始图像样本块具体包括:依据每一个Mask图像样本块的提取坐标,从所述训练用胸部平扫CT图像中提取对应的原始图像样本块。
这里,对于钙化灶分割模型的训练数据的搜集采取如下策略。首先,标注数百例冠脉钙化灶Mask用于训练另一个深度神经网络模型,如图8所示。然后对冠脉钙化灶Mask进行聚类,以各个聚类中心为中心,提取具有预设尺寸(16,64,64)的样本块,同时这个提取的参考坐标同步实施到原始影像中,这样就构成了N个具有预设尺寸的样本对(一个原始影像样本块和与其相对应的Mask样本块构成一个样本对)。最后以这些样本对为基础来训练钙化灶分割模型。具体的训练过程与上面举例说明的心脏分割模型训练过程类似,这里不再予以赘述。
优选地,神经网络推理完成之后,本发明还设置了一些后处理操作,主要目的是为了消除假阳。假阳可以分为两类,一类是肋骨区域的假阳(骨头区域的HU值一般较高),另一类是主动脉上的假阳(这也是上述实施例在标注心脏Mask时单独标注了主动脉的原因)。为达上述目的,在实施本发明时可以对分割得到的心脏Mask采取非1置为0的操作,然后和钙化分割结果做位乘就可以去除这两部分假阳。
本发明使用两阶段的深度分割网络可以实现基于胸部平扫CT的冠脉钙化灶全自动分割,对于噪声较大的数据也能有很好的分割结果。第一阶段的心脏分割模型考虑了将主动脉单独分割为一个类别,为第二阶段钙化分割结果去除主动脉上的假阳提供了基础。另外,对于钙化这种小目标分割采取先聚类再提取训练样本的方式在钙化分割这个任务上也是一种创新。图9示出了采用本发明的方法执行实际分割任务时所达到的效果。从图9给出的冠脉钙化灶原始图像、Ground Truth以及分割结果的对比中可以看到本发明达到了预期的分割效果。
需要说明的是,本领域普通技术人员可以理解实现上述实施例操作中的全部或部分流程,可以通过计算机程序来指令相关硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述操作的实施例的流程。所述计算机程序可以达到与之对应的前述操作实施例相同或者相类似的效果。
此外,应该明白的是,实现本发明的操作所采用的计算机可读存储介质(例如,存储器)可以是易失性存储器或非易失性存储器,或者可以包括易失性存储器和非易失性存储器两者。作为例子而非限制性的,非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦写可编程ROM(EEPROM)或快闪存储器。易失性存储器可以包括随机存取存储器(RAM),该RAM可以充当外部高速缓存存储器。作为例子而非限制性的,RAM可以以多种形式获得,比如同步RAM(DRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据速率SDRAM(DDR SDRAM)、增强SDRAM(ESDRAM)、同步链路DRAM(SLDRAM)以及直接RambusRAM(DRRAM)。所公开的方面的存储设备意在包括但不限于这些和其它合适类型的存储器。
本领域技术人员还将明白的是,结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以利用被设计成用于执行这里所述功能的下列部件来实现或执行:通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或晶体管逻辑、分立的硬件组件或者这些部件的任何组合。通用处理器可以是微处理器,但是可替换地,处理器可以是任何传统处理器、控制器、微控制器或状态机。处理器也可以被实现为计算设备的组合,例如,DSP和微处理器的组合、多个微处理器、一个或多个微处理器结合DSP和/或任何其它这种配置。
在一个或多个示例性设计中,所述功能可以在硬件、软件、固件或其任意组合中实现。如果在软件中实现,则可以将所述功能作为一个或多个指令或代码存储在计算机可读介质上或通过计算机可读介质来传送。计算机可读介质包括计算机存储介质和通信介质,该通信介质包括有助于将计算机程序从一个位置传送到另一个位置的任何介质。存储介质可以是能够被通用或专用计算机访问的任何可用介质。作为例子而非限制性的,该计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储设备、磁盘存储设备或其它磁性存储设备,或者是可以用于携带或存储形式为指令或数据结构的所需程序代码并且能够被通用或专用计算机或者通用或专用处理器访问的任何其它介质。此外,任何连接都可以适当地称为计算机可读介质。例如,如果使用同轴线缆、光纤线缆、双绞线、数字用户线路(DSL)或诸如红外线、无线电和微波的无线技术来从网站、服务器或其它远程源发送软件,则上述同轴线缆、光纤线缆、双绞线、DSL或诸如红外线、无线电和微波的无线技术均包括在介质的定义。如这里所使用的,磁盘和光盘包括压缩盘(CD)、激光盘、光盘、数字多功能盘(DVD)、软盘、蓝光盘,其中磁盘通常磁性地再现数据,而光盘利用激光光学地再现数据。上述内容的组合也应当包括在计算机可读介质的范围内。
以上是本发明公开的示例性实施例,上述本发明实施例公开的顺序仅仅为了描述,不代表实施例的优劣。但是应当注意,以上任何实施例的讨论仅为示例性的,并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子,在不背离权利要求限定的范围的前提下,可以进行多种改变和修改。根据这里描述的公开实施例的权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外,尽管本发明实施例公开的元素可以以个体形式描述或要求,但除非明确限制为单数,也可以理解为多个。
Claims (8)
1.一种基于胸部平扫CT的冠脉钙化灶全自动分割方法,其特征在于,包括以下步骤:
步骤1、对原始胸部平扫CT图像进行预处理,得到预处理数据;
步骤2、将所述预处理数据输入到预先训练好的心脏分割模型中,对所述原始胸部平扫CT图像中的心脏区域进行分割,得到与所述原始胸部平扫CT图像对应的包含所述心脏区域的心脏分割图像;
步骤3、在所述心脏区域筛选疑似冠脉钙化灶;
步骤4、从筛选出的疑似冠脉钙化灶中提取多个候选样本块;以及
步骤5、基于所述多个候选样本块及其在所述原始胸部平扫CT图像对应的坐标系中的对应坐标,利用预先训练好的钙化灶分割模型获得每一个候选样本块的冠脉钙化灶分割结果,
其中,所述心脏分割模型的训练包括以下步骤:
收集训练用胸部平扫CT图像并对其进行心脏标注以得到与其对应的心脏Mask图像;和
利用所述训练用胸部平扫CT图像和所述心脏Mask图像训练第一深度神经网络直到满足预设的第一收敛条件为止,得到所述心脏分割模型,
所述钙化灶分割模型的训练包括以下步骤:
对所述训练用胸部平扫CT图像进行冠脉钙化灶标注以得到与其对应的冠脉钙化灶Mask图像;
从所述冠脉钙化灶Mask图像中提取具有预设尺寸的多个Mask图像样本块,从所述训练用胸部平扫CT图像中提取与所述多个Mask图像样本块对应的具有所述预设尺寸的多个原始图像样本块,每一个Mask图像样本块和与其对应的一个原始图像样本块构成一个样本对;以及
利用所述样本对训练第二深度神经网络直到满足预设的第二收敛条件为止,得到所述钙化灶分割模型。
2.根据权利要求1所述的基于胸部平扫CT的冠脉钙化灶全自动分割方法,其特征在于,所述步骤1进一步包括:
步骤11、将所述原始胸部平扫CT图像缩放到设定尺寸;和
步骤12、对缩放后的所述原始胸部平扫CT图像执行归一化操作。
3.根据权利要求2所述的基于胸部平扫CT的冠脉钙化灶全自动分割方法,其特征在于,所述步骤3进一步包括:
步骤31、将所述心脏分割图像恢复到所述原始胸部平扫CT图像的尺寸;
步骤32、在所述原始胸部平扫CT图像中,根据恢复尺寸后的所述心脏分割图像确定所述心脏区域的边界;以及
步骤33、在所述心脏区域的边界内筛选疑似冠脉钙化灶。
4.根据权利要求3所述的基于胸部平扫CT的冠脉钙化灶全自动分割方法,其特征在于,所述步骤33进一步包括:
步骤331、在所述心脏区域的边界内根据CT值标记出所有疑似冠脉钙化灶;和
步骤332、对标记出的所有疑似冠脉钙化灶进行聚类并根据聚类结果和相应先验知识筛选所述疑似冠脉钙化灶。
5.根据权利要求4所述的基于胸部平扫CT的冠脉钙化灶全自动分割方法,其特征在于,在所述步骤5之前所述方法还包括:
将所述多个候选样本块组装成多个批次后逐批输入到所述钙化灶分割模型中。
6.根据权利要求1所述的基于胸部平扫CT的冠脉钙化灶全自动分割方法,其特征在于,在所述步骤5之后所述方法还包括:
基于每一个候选样本块的冠脉钙化灶分割结果,采用投票机制得出最终的分割结果。
7.根据权利要求1所述的基于胸部平扫CT的冠脉钙化灶全自动分割方法,其特征在于,从所述冠脉钙化灶Mask图像中提取具有预设尺寸的多个Mask图像样本块包括以下步骤:
对所述冠脉钙化灶Mask图像进行聚类;和
以每个聚类中心为中心,分别提取所述Mask图像样本块。
8.根据权利要求1所述的基于胸部平扫CT的冠脉钙化灶全自动分割方法,其特征在于,从所述训练用胸部平扫CT图像中提取与所述多个Mask图像样本块对应的具有所述预设尺寸的多个原始图像样本块包括以下步骤:
依据每一个Mask图像样本块的提取坐标,从所述训练用胸部平扫CT图像中提取对应的原始图像样本块。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011181703.0A CN112288752B (zh) | 2020-10-29 | 2020-10-29 | 一种基于胸部平扫ct的冠脉钙化灶全自动分割方法 |
LU500798A LU500798B1 (en) | 2020-10-29 | 2021-10-28 | Full-Automatic Segmentation Method for Coronary Artery Calcium Lesions Based on Non-Contrast Chest CT |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011181703.0A CN112288752B (zh) | 2020-10-29 | 2020-10-29 | 一种基于胸部平扫ct的冠脉钙化灶全自动分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112288752A CN112288752A (zh) | 2021-01-29 |
CN112288752B true CN112288752B (zh) | 2021-08-27 |
Family
ID=74353526
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011181703.0A Active CN112288752B (zh) | 2020-10-29 | 2020-10-29 | 一种基于胸部平扫ct的冠脉钙化灶全自动分割方法 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN112288752B (zh) |
LU (1) | LU500798B1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112785591B (zh) * | 2021-03-05 | 2023-06-13 | 杭州健培科技有限公司 | 一种ct影像中肋骨骨折的检测与分割方法及装置 |
CN113658172B (zh) * | 2021-08-30 | 2022-07-08 | 推想医疗科技股份有限公司 | 图像处理方法及装置、计算机可读存储介质及电子设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102934126A (zh) * | 2010-04-30 | 2013-02-13 | 沃康普公司 | 放射摄影图像中的微钙化检测和分级 |
CN107871318A (zh) * | 2017-11-16 | 2018-04-03 | 吉林大学 | 一种基于模型迁移的冠状动脉钙化斑块检测方法 |
CN110136157A (zh) * | 2019-04-09 | 2019-08-16 | 华中科技大学 | 一种基于深度学习的三维颈动脉超声图像血管壁分割方法 |
CN111291887A (zh) * | 2020-03-06 | 2020-06-16 | 北京迈格威科技有限公司 | 神经网络的训练方法、图像识别方法、装置及电子设备 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2003046833A2 (en) * | 2001-11-24 | 2003-06-05 | Image Analysis, Inc. | Automatic detection and quantification of coronary and aortic calcium |
CN104091346B (zh) * | 2014-07-24 | 2017-02-15 | 东南大学 | 一种全自动ct图像冠状动脉钙化分数计算方法 |
CN106447645B (zh) * | 2016-04-05 | 2019-10-15 | 天津大学 | 增强ct图像中冠脉钙化检测及量化装置和方法 |
CN108171698B (zh) * | 2018-02-12 | 2020-06-09 | 数坤(北京)网络科技有限公司 | 一种自动检测人体心脏冠脉钙化斑块的方法 |
CN108960322B (zh) * | 2018-07-02 | 2022-01-28 | 河南科技大学 | 一种基于心脏ct图像的冠状动脉钙化斑块自动检测方法 |
CN109288536B (zh) * | 2018-09-30 | 2021-01-29 | 数坤(北京)网络科技有限公司 | 获取冠脉钙化区域分类的方法、装置及*** |
CN110969633B (zh) * | 2019-11-28 | 2024-02-27 | 南京安科医疗科技有限公司 | 一种心脏ct成像自动最优相位识别方法 |
CN111612756B (zh) * | 2020-05-18 | 2023-03-21 | 中山大学 | 冠状动脉特异性钙化检测方法及装置 |
-
2020
- 2020-10-29 CN CN202011181703.0A patent/CN112288752B/zh active Active
-
2021
- 2021-10-28 LU LU500798A patent/LU500798B1/en active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102934126A (zh) * | 2010-04-30 | 2013-02-13 | 沃康普公司 | 放射摄影图像中的微钙化检测和分级 |
CN107871318A (zh) * | 2017-11-16 | 2018-04-03 | 吉林大学 | 一种基于模型迁移的冠状动脉钙化斑块检测方法 |
CN110136157A (zh) * | 2019-04-09 | 2019-08-16 | 华中科技大学 | 一种基于深度学习的三维颈动脉超声图像血管壁分割方法 |
CN111291887A (zh) * | 2020-03-06 | 2020-06-16 | 北京迈格威科技有限公司 | 神经网络的训练方法、图像识别方法、装置及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN112288752A (zh) | 2021-01-29 |
LU500798A1 (en) | 2022-04-28 |
LU500798B1 (en) | 2022-06-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Yu et al. | Crossbar-net: A novel convolutional neural network for kidney tumor segmentation in ct images | |
WO2020088469A1 (zh) | 一种医学图像的识别方法、模型训练的方法及计算机设备 | |
Guo et al. | Semi-supervised WCE image classification with adaptive aggregated attention | |
Selver et al. | Patient oriented and robust automatic liver segmentation for pre-evaluation of liver transplantation | |
Hadavi et al. | Lung cancer diagnosis using CT-scan images based on cellular learning automata | |
CN113239755B (zh) | 一种基于空谱融合深度学习的医学高光谱图像分类方法 | |
CN113420826B (zh) | 一种肝脏病灶图像处理***及图像处理方法 | |
CN112288752B (zh) | 一种基于胸部平扫ct的冠脉钙化灶全自动分割方法 | |
Fan et al. | Lung nodule detection based on 3D convolutional neural networks | |
Zhang et al. | Two-step registration on multi-modal retinal images via deep neural networks | |
CN111882538A (zh) | 一种区分肺结核与肿瘤信息的处理***及信息处理方法 | |
CN114092450A (zh) | 一种基于胃镜检查视频的实时图像分割方法、***、装置 | |
CN113160120A (zh) | 基于多模态融合与深度学习的肝脏血管分割方法及*** | |
Pradhan et al. | Lung cancer detection using 3D convolutional neural networks | |
Kriti et al. | A review of segmentation algorithms applied to B-mode breast ultrasound images: A characterization approach | |
Wu et al. | Automatic lung segmentation in CT images using dilated convolution based weighted fully convolutional network | |
Jiang et al. | A hybrid enhanced attention transformer network for medical ultrasound image segmentation | |
CN113408603A (zh) | 一种基于多分类器融合的冠状动脉狭窄病变程度识别方法 | |
CN116309647B (zh) | 颅脑病灶图像分割模型构建方法、图像分割方法及设备 | |
CN115471512A (zh) | 一种基于自监督对比学习的医学影像分割方法 | |
Indu et al. | Diagnosis of lung cancer nodules in ct scan images using fuzzy neural network | |
Saumiya et al. | Unified automated deep learning framework for segmentation and classification of liver tumors | |
Bogomasov et al. | Feature-Based Approach for Severity Scoring of Lung Tuberculosis from CT Images. | |
Al-Saeed et al. | Liver segmentation using fast-generalized fuzzy C-means (FG-FCM) from CT scans | |
Sayamov | Weakly supervised learning for retinal lesion detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |