CN111754534A - 基于深度神经网络的ct左心室短轴图像分割方法、装置、计算机设备和存储介质 - Google Patents
基于深度神经网络的ct左心室短轴图像分割方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN111754534A CN111754534A CN202010623496.3A CN202010623496A CN111754534A CN 111754534 A CN111754534 A CN 111754534A CN 202010623496 A CN202010623496 A CN 202010623496A CN 111754534 A CN111754534 A CN 111754534A
- Authority
- CN
- China
- Prior art keywords
- left ventricle
- short axis
- image
- neural network
- axis image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000005240 left ventricle Anatomy 0.000 title claims abstract description 134
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000003709 image segmentation Methods 0.000 title claims abstract description 25
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 23
- 238000003062 neural network model Methods 0.000 claims abstract description 33
- 230000011218 segmentation Effects 0.000 claims abstract description 22
- 238000012549 training Methods 0.000 claims abstract description 20
- 230000000747 cardiac effect Effects 0.000 claims description 20
- 230000007246 mechanism Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 13
- 230000002861 ventricular Effects 0.000 claims description 12
- 230000008602 contraction Effects 0.000 claims description 10
- 210000004115 mitral valve Anatomy 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 7
- 238000010008 shearing Methods 0.000 claims description 6
- 238000002591 computed tomography Methods 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 4
- 230000010339 dilation Effects 0.000 claims description 2
- 239000010410 layer Substances 0.000 description 42
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 7
- 244000309464 bull Species 0.000 description 6
- 230000002107 myocardial effect Effects 0.000 description 6
- 238000005192 partition Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 4
- 208000024172 Cardiovascular disease Diseases 0.000 description 3
- 210000004165 myocardium Anatomy 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000008719 thickening Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000010968 computed tomography angiography Methods 0.000 description 2
- 230000004217 heart function Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 210000005241 right ventricle Anatomy 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30048—Heart; Cardiac
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本申请涉及一种基于深度神经网络的CT左心室短轴图像分割方法、装置、计算机设备和存储介质,方法包括:获取CT影像中的左心室短轴图像;将所述左心室短轴图像输入深度神经网络模型,得到所述左心室短轴图像的边界分割结果。该方案相对于现有技术,深度神经网络模型基于8层编码‑解码结构训练得到,能够提炼出更深层次的抽象信息,可实现快速并自动分割出短轴位图像中的左心室边界(内、外边界),能够提高左心室短轴图像分割结果的准确性。
Description
技术领域
本申请涉及计算机技术领域,特别是涉及一种基于深度神经网络的CT左心室短轴图像分割方法、装置、计算机设备和存储介质。
背景技术
心血管疾病是严重威胁人类生命、健康的常见病,心脏CT血管造影术(CTangiography,CTA)由于无创、操作简便,已经成为临床上一种重要的诊断心血管疾病的方法,该影像下左心室的边界准确分割是量化心室容积、射血分数、左心室质量、壁增厚以及壁运动异常等临床指标以定量分析心脏整体和局部的功能,进而诊断和治疗心血管疾病的关键步骤。
手动分割左心室繁琐耗时,且易受主观因素的影响与制约,在临床实践中是不可行的,现有的全自动分割方法存在分割精度不够高等问题。
发明内容
本申请提供的一种基于深度神经网络的CT左心室短轴图像分割方法、装置、计算机设备和存储介质,用于解决现有技术中分割精度不够高的问题。
一种基于深度神经网络的CT左心室短轴图像分割方法,包括:
获取CT影像中的左心室短轴图像;
将所述左心室短轴图像输入深度神经网络模型,得到所述左心室短轴图像的边界分割结果。
可选地,所述深度神经网络模型的训练路径包括收缩路径和扩张路径:
所述收缩路径包括9个编码块,每个编码块包含两个3×3卷积层,每个卷积层后添加有一个批量归一化层和一个ReLU激活层,前8个编码块后利用一个2×2最大池化层进行下采样;
所述扩张路径包括8个解码块,每个解码块包含两个3×3卷积层,每个卷积层后添加有一个批量归一化层和一个ReLU激活层,每个解码块前利用一个2×2反卷积层进行上采样;
所述收缩路径和扩张路径中对应块的特征图按照通道维度进行跳跃连接。
可选地,所述深度神经网络模型的每个块中,并入残差结构;所述扩张路径中,前7次上采样操作添加深监督分支,并赋予注意力机制。
可选地,所述注意力机制包括通道域注意力机制和空间域注意力机制。
可选地,所述神经网络模型的训练图像集获取方式为:
采集得到多幅左心室短轴图像,组成初始图像集;
训练过程中每次迭代时,将初始图像集中的每幅左心室短轴图像通过随机旋转、随机缩放和随机剪切得到增强图像。
可选地,所述随机旋转的角度范围为-5°~5°,所述随机缩放的比例范围为0.90到1.10,所述随机剪切的角度范围为-5°~5°。
可选地,所述基于深度神经网络的CT左心室短轴图像分割方法还包括:
获取原始CT影像中左心室心腔最大帧X,并在左心室心腔最大帧X中标记心尖点A与二尖瓣中心点B;
平行于心尖点A与二尖瓣中心点B的连线,且垂直于CT扫描平面对CT影像进行切割,得到长轴切面序列;
获取所述长轴切面序列中左心室心腔最大帧Y,并在左心室心腔最大帧Y中标记得到心尖点A'与二尖瓣中心点B';
垂直于心尖点A'与二尖瓣中心点B'连线,对所述长轴切面序列进行切割,得到短轴切面序列,其中短轴切面序列包括多幅左心室短轴图像。
可选地,所述得到心尖点A'与二尖瓣中心点B'包括:
心尖点A'与二尖瓣中心点B'的连线为左心室长轴方向。
可选地,所述得到短轴切面序列包括:
获取所述短轴切面序列中左心室心腔最大帧Z,并在左心室心腔最大帧Z中标记间隔壁起点与终止点,计算起点与终止点分别到左心室中心位置的矢径平均值,得到左心室短轴。
本申请还提供如下技术方案:
一种基于深度神经网络的CT左心室短轴图像分割装置,包括:
第一模块,用于获取CT影像中的左心室短轴图像;
第一模块,用于将所述左心室短轴图像输入深度神经网络模型,得到所述左心室短轴图像的边界分割结果。
本申请还提供如下技术方案:
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取CT影像中的左心室短轴图像;
将所述左心室短轴图像输入深度神经网络模型,得到所述左心室短轴图像的边界分割结果。
本申请还提供如下技术方案:
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取CT影像中的左心室短轴图像;
将所述左心室短轴图像输入深度神经网络模型,得到所述左心室短轴图像的边界分割结果。
上述基于深度神经网络的CT左心室短轴图像分割方法、装置、计算机设备和存储介质,深度神经网络模型基于8层编码-解码结构训练得到,能够提炼出更深层次的抽象信息,可实现快速并自动分割出短轴位图像中的左心室边界(内、外边界),能够提高左心室短轴图像分割结果的准确性。
附图说明
图1为一个实施例中基于深度神经网络的CT左心室短轴图像分割方法的流程示意图;
图2为深度神经网络模型的结构示意图;
图3为深度神经网络模型的方法流程示意图;
图4为采用本申请提供的方法及原型U-Net方法分割得到的左心室示意图;其中:
(a-e)为验证集中5幅图的分割结果示意图;
图5为左心室心腔最大帧X的示意图;
图6为左心室心腔最大帧Y的示意图;
图7为短轴切面图像的示意图;
图8为一个实施例中左心室室壁的三维模型示意图;
图9为一个实施例中左心室心腔三维模型示意图;
图10为左心室三维模型任意切面示意图;
图11为左心室的壁增厚牛眼图;
图12为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
其中一个实施例中,如图1所示,基于深度神经网络的CT左心室短轴图像分割方法,包括以下步骤:
步骤S100,获取CT影像中的左心室短轴图像;
步骤S200,将所述左心室短轴图像输入深度神经网络模型,得到所述左心室短轴图像的边界分割结果。
深度神经网络模型基于8层编码-解码结构训练得到,能够提炼出更深层次的抽象信息,可实现快速并自动分割出短轴位图像中的左心室边界(内、外边界),能够提高左心室短轴图像分割结果的准确性。
应该理解的是,虽然图1的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图1中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在另一实施例中,如图2所示所述深度神经网络模型的训练路径包括收缩路径和扩张路径:
所述收缩路径包括9个编码块,每个编码块包含两个3×3卷积层(步长为1,零填充数为1),每个卷积层后添加有一个批量归一化层(即BN层,加速网络收敛)和一个ReLU激活层,前8个编码块后利用一个2×2最大池化层(步长为2,无零填充)进行下采样,将特征图大小减半,到下一个编码块的第一个3×3卷积层,将特征通道数加倍;
所述扩张路径包括8个解码块,每个解码块包含两个3×3卷积层,每个卷积层后添加有一个批量归一化层和一个ReLU激活层,每个解码块前利用一个2×2反卷积层(步长为2,无零填充)进行上采样,将特征图大小加倍,到下一个解码块的第一个3×3卷积层,将特征通道数减半;
所述收缩路径和扩张路径中对应块的特征图按照通道维度进行跳跃连接。
在最后一个解码块中,利用一个1×1卷积层(步长为1,无零填充)将特征向量映射到一维空间。
所述收缩路径用于编码处理输入的图像,获取上下文信息,所述扩张路径用于解码修复图像细节和空间维度,产生像素级的标签输出,实现精确的定位。在定位操作中,采取叠操作形式的跳跃连接,将收缩路径中每层的浅层特征与扩张路径中对应层的通过上采样操作获得的深层特征进行连接,随后连续的卷积层基于该信息学习,缓解随网络层数增加而导致的梯度弥散问题。
在另一实施例中,所述深度神经网络模型的每个块中,并入残差结构;将第一个3×3卷积层的输入与第二个3×3卷积层的输出相加,以更好地优化加深的网络。
9个编码块的特征通道数依次为8、16、32、64、128、256、512、1024、2048。整个编码器部分共包含27个卷积层。
所述扩张路径中,前7次上采样操作添加深监督分支(图2中:aux1~aux7为用作深监督分支的7条辅助路径),并赋予注意力机制。
通过辅助路径作深监督,使得深层特征图也能得到监督,以更好地还原细节,提高分割精度。将当前特征图经过多次上采样操作及1×1卷积层恢复到与原始图像一样大小,并将特征向量映射到一维空间,从深到浅分别以0.02、0.04、0.06、0.08、0.1、0.2、0.5、1对经这7条辅助路径输出的损失值及最后一个解码块输出的损失值进行加权求和。
在另一实施例中,所述注意力机制包括通道域注意力机制和空间域注意力机制。
具体地,特征图的基本信息,设当前特征为f,对f进行全局平均池化,依次使用1×1卷积层及Sigmoid激活层(工具)得到通道域的权重cw,输出通道域特征为fc=cw×f;对fc依次使用1×1卷积层及Sigmoid激活层得到空间域的权重sw,输出空间域特征为fs=sw×fc。不同通道的特征乘上不同的权重,以增强关键通道域的注意力;不同空间的特征乘上不同的权重,以增强关键空间域的注意力。通道域注意力机制对通道内的特征直接全局平均池化,忽略了通道内的空间信息,而空间域注意力机制可赋予通道内不同区域特征不同的权重,两者互补,自动学习权重,以更好地注意关键特征,从而进一步提高模型性能。
8个解码块的特征通道数依次为1024、512、256、128、64、32、16、8。整个解码器部分共包含84个卷积层。
在另一实施例中,所述神经网络模型的训练图像集获取方式为:
采集得到多幅左心室短轴图像,组成初始图像集;
训练过程中每次迭代时,将初始图像集中的每幅左心室短轴图像通过随机旋转、随机缩放和随机剪切得到增强图像,提高神经网络模型的泛化能力和鲁棒性。
初始图像集和扩增图像共同组成训练图像集。
在另一实施例中,所述随机旋转的角度范围为-5°~5°,所述随机缩放的比例范围为0.90到1.10(小于1的进行放大,大于1的进行缩小),所述随机剪切的角度范围为-5°~5°。
在另一实施例中,如图3所示,所述神经网络模型的训练过程包括:
步骤1,在进行深度神经网络模型训练时,使用He初始化进行神经网络的权重初始化,读取800幅训练集和200幅测试集,对其进行零均值,单位方差的归一化操作。设置学习率learning rate=2e-4,分块大小batch size=8,迭代批次epochs=200。记当前迭代批次epoch=0,进入步骤2;
步骤2,对800幅训练集图像进行数据在线增强,提高网络的泛化性及鲁棒性;
步骤3,将800幅训练集图像随机划分为100个分块(batch),每个batch包含8幅图像。记当前分块batch=0,进入步骤4;
步骤4,将当前batch输入本申请中神经网络模型;
步骤5,采用二值交叉熵(BCE)损失函数估量网络模型的预测值与真实值的不一致程度,通过Adam优化函数使用反向传播(BP)算法逐层更新网络参数。更新batch=batch+1,若batch<100,则进入步骤4,反之则进入步骤6;
步骤6,生成备选深度神经网络模型,输入200幅验证集进行验证评估,若评估结果更好,则保存当前备选深度神经网络模型。更新epoch=epoch+1,若epoch<100,则进入步骤2,反之进入步骤7;
步骤7,训练结束,保存最佳备选深度神经网络模型,作为用于分割CT左心室短轴图像的深度神经网络模型。
DSC(式(Ⅰ))度量了分割得到的目标区域与标准的目标区域的空间重合度,精确度(Precision)(式(Ⅱ))度量了分割得到的目标区域中实际为正类像素的比例,灵敏度(Sensitivity)(式(Ⅲ))度量了标准的目标区域中被正确分割的比例。三项指标评估值都在0到1之间,值越大代表ΩSeg与ΩGT之间的一致性越高,分割结果越好。
DSC=2·(ΩSeg∩ΩGT)/(ΩSeg+ΩGT)=2·TP/(2·TP+FP+FN) 式(Ⅰ)
Precision=(ΩSeg∩ΩGT)/ΩSeg=TP/(TP+FP) 式(Ⅱ)
Sensitivity=(ΩSeg∩ΩGT)/ΩGT=TP/(TP+FN) 式(Ⅲ)
表1
表1为测试集的评估结果。
由图4和表1可知,对于CT左心室短轴图像分割,本申请方法相比于原型U-Net具有更高的分割精度及鲁棒性。
在另一实施例中,心脏CT断层扫描为单一层面扫描,只能得到心脏同一方位的CT影像,而心脏解剖结构决定了扫描方向往往与左心室长轴成一定夹角,因此为得到左心室标准方位视图,需要对原始CT影像进行再切割处理。
为了提取CT影像的左心室长短轴切面,基于深度神经网络的CT左心室短轴图像分割方法还包括:
获取CT影像中左心室心腔最大帧X,并在左心室心腔最大帧X中标记心尖点A与二尖瓣中心点B;
平行于心尖点A与二尖瓣中心点B的连线,且垂直于CT扫描平面对CT影像进行切割,得到长轴切面序列;
获取所述长轴切面序列中左心室心腔最大帧Y,并在左心室心腔最大帧Y中标记得到心尖点A'与二尖瓣中心点B';
垂直于心尖点A'与二尖瓣中心点B'连线,对所述长轴切面序列进行切割,得到短轴切面序列。
本申请基于单一层面的心脏CT影像,可获得其它标准方位心脏切面图像,可以更加精确、全面地对心脏功能尤其是左心室功能进行评估,满足了处理心脏CT影像的心内科医生的临床需求。相比于CMR扫描,无需在扫描过程中调整扫描方位,以图像切割方法代替多次扫描,极大的缩小了在评估心脏功能方面CT扫描与CMR扫描的差距。
若对提取的切割长轴切面序列与短轴切面序列不满意时,可以重新对CT影像进行切割,对切割点、切割角度进行修正,可以更好地满足临床需求,提高心脏CT影像的使用价值。
其中,左心室心腔最大帧X以及左心室心腔最大帧Y,可以通过手动进行挑选,图5为挑选出左心室心腔最大帧X,图6为挑选出左心室心腔最大帧Y;
在图5以及图6中,也可以通过手动分别在左心室心腔最大帧X以及左心室心腔最大帧Y标记心尖点A、二尖瓣中心点B、心尖点A'以及二尖瓣中心点B'。
长轴切面序列包括多幅左心室长轴图像,短轴切面序列包括多幅左心室短轴图像。
在另一实施例中,如图6所示,所述得到心尖点A'与二尖瓣中心点B'包括:
心尖点A'与二尖瓣中心点B'的连线为左心室长轴方向。
在另一实施例中,如图7所示,所述得到短轴切面序列包括:
获取所述短轴切面序列中左心室心腔最大帧Z,并在左心室心腔最大帧Z中标记间隔壁起点与终止点,计算起点与终止点分别到左心室中心位置的矢径平均值,得到左心室短轴。
在图7中,左心室的中心位置为n,起点为q,终止点为p。间隔壁位于左心室与右心室之间。
在另一实施例中,对得到的所述短轴切面序列进行切割处理,得到两腔心2CH或四腔心4CH。
垂直与短轴切面序列并平行于长轴进行切割,可以得到两腔心2CH或四腔心4CH。
在另一实施例中,如图8及图9所示,左心室三维重建模块将左心室短轴图像的边界分割结果按三维坐标叠加起来,获得左心室三维模型,同时自动计算左心室质量与容积,再根据收缩末期与舒张末期的左心室容积,自动计算左心室功能学参数如心输出量、心脏指数以及射血分数等。
其中,心输出量是指左心室每分钟搏出的血流量,心脏指数是指单位体表面积的心输出量,射血分数是指每搏输出量占左心室舒张末期容积的百分比。
左心室三维模型使用Simpson方法自动计算左心室心肌、心腔体积。具体地,假设整个左心室由n个与长轴垂直的短轴切面P1,P2…Pn组成,层高为h,对任一短轴切面Pi,利用微积分方法自动计算得到心肌面积S1i,心腔面积S2i;
由以上公式计算得到左心室心肌体积与心腔体积后,心肌体积与心肌密度的乘积即为左心室质量。再结合左心室功能学参数定义,利用收缩末期与舒张末期的左心室心腔体积之差,即可自动计算心输出量、心脏指数以及射血分数等。
在另一实施例中,牛眼图分析模块主要对左心室壁厚以及心肌运动进行分析。该模块有两个功能,第一个功能是左心室三维模型的任意切面浏览,如图10所示;第二个功能是显示壁厚信息与内膜运动的牛眼图生成,如图11所示。
基于左心室三维模型,牛眼图分析模块提供切面浏览功能,可手动调整切割点以及切割方向,自动输出左心室在该切割面的剖视图,有助于临床医生选择性的对左心室三维模型特定位置进行观察检测。
按照牛眼图分析模块的定义,左心室三维模型分为基底部、中部、心尖部以及心尖4个部分,其中基底部与中部各分为6个区块,心尖部分为4个区块,心尖为一独立区块。将左心室按牛眼图定义划分为17个对应区块后,在短轴切面上分别计算除心尖外每个区块的壁厚以及内径值。当心脏收缩时,若左心室心肌收缩正常,则壁厚增加,牛眼图分析模块可显示左心室由舒张末期到收缩末期的壁增厚信息。当心脏舒张时,若左心室心肌运动正常,则内径增大,牛眼图分析模块还可显示左心室由收缩末期到舒张末期的内径变化信息。
在一个实施例中,提供了一种基于深度神经网络的CT左心室短轴图像分割装置,包括:
第一模块,用于获取CT影像中的左心室短轴图像;
第一模块,用于将所述左心室短轴图像输入深度神经网络模型,得到所述左心室短轴图像的边界分割结果。
关于基于深度神经网络的CT左心室短轴图像分割装置的具体限定可以参见上文中对于基于深度神经网络的CT左心室短轴图像分割方法的限定,在此不再赘述。上述基于深度神经网络的CT左心室短轴图像分割装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图12所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于深度神经网络的CT左心室短轴图像分割方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图12中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
获取CT影像中的左心室短轴图像;
将所述左心室短轴图像输入深度神经网络模型,得到所述左心室短轴图像的边界分割结果。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取CT影像中的左心室短轴图像;
将所述左心室短轴图像输入深度神经网络模型,得到所述左心室短轴图像的边界分割结果。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。不同实施例中的技术特征体现在同一附图中时,可视为该附图也同时披露了所涉及的各个实施例的组合例。
以上实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.基于深度神经网络的CT左心室短轴图像分割方法,其特征在于,包括:
获取CT影像中的左心室短轴图像;
将所述左心室短轴图像输入深度神经网络模型,得到所述左心室短轴图像的边界分割结果。
2.根据权利要求1所述的基于深度神经网络的CT左心室短轴图像分割方法,其特征在于,所述深度神经网络模型的训练路径包括收缩路径和扩张路径:
所述收缩路径包括9个编码块,每个编码块包含两个3×3卷积层,每个卷积层后添加有一个批量归一化层和一个ReLU激活层,前8个编码块后利用一个2×2最大池化层进行下采样;
所述扩张路径包括8个解码块,每个解码块包含两个3×3卷积层,每个卷积层后添加有一个批量归一化层和一个ReLU激活层,每个解码块前利用一个2×2反卷积层进行上采样;
所述收缩路径和扩张路径中对应块的特征图按照通道维度进行跳跃连接。
3.根据权利要求2所述的基于深度神经网络的CT左心室短轴图像分割方法,其特征在于,所述深度神经网络模型的每个块中,并入残差结构;所述扩张路径中,前7次上采样操作添加有用作深监督的辅助路径,并加入给不同通道赋予不同的权重的注意力机制。
4.根据权利要求3所述的基于深度神经网络的CT左心室短轴图像分割方法,其特征在于,所述注意力机制包括通道域注意力机制和空间域注意力机制。
5.根据权利要求1所述的基于深度神经网络的CT左心室短轴图像分割方法,其特征在于,所述神经网络模型的训练图像集获取方式为:
采集得到多幅左心室短轴图像,组成初始图像集;
训练过程中每次迭代时,将初始图像集中的每幅左心室短轴图像通过随机旋转、随机缩放和随机剪切得到增强图像。
6.根据权利要求5所述的基于深度神经网络的CT左心室短轴图像分割方法,其特征在于,所述随机旋转的角度范围为-5°~5°,所述随机缩放的比例范围为0.90到1.10,所述随机剪切的角度范围为-5°~5°。
7.根据权利要求5所述的基于深度神经网络的CT左心室短轴图像分割方法,其特征在于,所述基于深度神经网络的CT左心室短轴图像分割方法还包括:
获取CT影像中左心室心腔最大帧X,并在左心室心腔最大帧X中标记心尖点A与二尖瓣中心点B;
平行于心尖点A与二尖瓣中心点B的连线,且垂直于CT扫描平面对CT影像进行切割,得到长轴切面序列;
获取所述长轴切面序列中左心室心腔最大帧Y,并在左心室心腔最大帧Y中标记得到心尖点A'与二尖瓣中心点B';
垂直于心尖点A'与二尖瓣中心点B'连线,对所述长轴切面序列进行切割,得到短轴切面序列,其中短轴切面序列包括多幅左心室短轴图像。
8.基于深度神经网络的CT左心室短轴图像分割装置,其特征在于,包括:
第一模块,用于获取CT影像中的左心室短轴图像;
第一模块,用于将所述左心室短轴图像输入深度神经网络模型,得到所述左心室短轴图像的边界分割结果。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010623496.3A CN111754534B (zh) | 2020-07-01 | 2020-07-01 | 基于深度神经网络的ct左心室短轴图像分割方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010623496.3A CN111754534B (zh) | 2020-07-01 | 2020-07-01 | 基于深度神经网络的ct左心室短轴图像分割方法、装置、计算机设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111754534A true CN111754534A (zh) | 2020-10-09 |
CN111754534B CN111754534B (zh) | 2024-05-31 |
Family
ID=72680328
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010623496.3A Active CN111754534B (zh) | 2020-07-01 | 2020-07-01 | 基于深度神经网络的ct左心室短轴图像分割方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111754534B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112308863A (zh) * | 2020-10-27 | 2021-02-02 | 苏州大学 | 一种基于改进u型网络的视网膜oct图像中近视性黄斑病变区域分割方法 |
CN112766377A (zh) * | 2021-01-20 | 2021-05-07 | 中国人民解放军总医院 | 左心室磁共振影像智能分类方法、装置、设备和介质 |
CN113570569A (zh) * | 2021-07-26 | 2021-10-29 | 东北大学 | 一种基于超声图像的室间隔抖动自动检测*** |
CN114092477A (zh) * | 2022-01-21 | 2022-02-25 | 浪潮云信息技术股份公司 | 一种图像篡改检测方法、装置及设备 |
WO2024040965A1 (zh) * | 2022-08-23 | 2024-02-29 | 上海杏脉信息科技有限公司 | 基于超声影像的射血分数计算装置、方法、介质及设备 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030153823A1 (en) * | 1998-08-25 | 2003-08-14 | Geiser Edward A. | Method for automated analysis of apical four-chamber images of the heart |
US20160063697A1 (en) * | 2013-05-30 | 2016-03-03 | Kabushiki Kaisha Toshiba | Medical image processing apparatus and a medical image processing method |
US20170116728A1 (en) * | 2015-10-22 | 2017-04-27 | International Business Machines Corporation | Viewpoint recognition in computer tomography images |
US20180218502A1 (en) * | 2017-01-27 | 2018-08-02 | Arterys Inc. | Automated segmentation utilizing fully convolutional networks |
CN108805913A (zh) * | 2018-05-14 | 2018-11-13 | 首都医科大学附属北京安贞医院 | 一种冠状动脉ct影像与心脏超声应变成像的融合方法 |
CN109584254A (zh) * | 2019-01-07 | 2019-04-05 | 浙江大学 | 一种基于深层全卷积神经网络的心脏左心室分割方法 |
US20190244357A1 (en) * | 2018-02-07 | 2019-08-08 | International Business Machines Corporation | System for Segmentation of Anatomical Structures in Cardiac CTA Using Fully Convolutional Neural Networks |
CN110335236A (zh) * | 2019-04-29 | 2019-10-15 | 上海依智医疗技术有限公司 | 心脏医学图像的处理方法、处理装置、处理***和介质 |
JP2020011135A (ja) * | 2019-10-28 | 2020-01-23 | キヤノンメディカルシステムズ株式会社 | 磁気共鳴イメージング装置 |
CN110766691A (zh) * | 2019-12-06 | 2020-02-07 | 北京安德医智科技有限公司 | 一种心脏磁共振影像分析及心肌病预测的方法、装置 |
CN110889853A (zh) * | 2018-09-07 | 2020-03-17 | 天津大学 | 基于残差-注意力深度神经网络的肿瘤分割方法 |
CN111161216A (zh) * | 2019-12-09 | 2020-05-15 | 杭州脉流科技有限公司 | 基于深度学习的血管内超声图像处理方法、装置、设备和存储介质 |
WO2020119679A1 (zh) * | 2018-12-14 | 2020-06-18 | 深圳先进技术研究院 | 三维左心房分割方法、装置、终端设备及存储介质 |
-
2020
- 2020-07-01 CN CN202010623496.3A patent/CN111754534B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030153823A1 (en) * | 1998-08-25 | 2003-08-14 | Geiser Edward A. | Method for automated analysis of apical four-chamber images of the heart |
US20160063697A1 (en) * | 2013-05-30 | 2016-03-03 | Kabushiki Kaisha Toshiba | Medical image processing apparatus and a medical image processing method |
US20170116728A1 (en) * | 2015-10-22 | 2017-04-27 | International Business Machines Corporation | Viewpoint recognition in computer tomography images |
US20180218502A1 (en) * | 2017-01-27 | 2018-08-02 | Arterys Inc. | Automated segmentation utilizing fully convolutional networks |
US20190244357A1 (en) * | 2018-02-07 | 2019-08-08 | International Business Machines Corporation | System for Segmentation of Anatomical Structures in Cardiac CTA Using Fully Convolutional Neural Networks |
CN108805913A (zh) * | 2018-05-14 | 2018-11-13 | 首都医科大学附属北京安贞医院 | 一种冠状动脉ct影像与心脏超声应变成像的融合方法 |
CN110889853A (zh) * | 2018-09-07 | 2020-03-17 | 天津大学 | 基于残差-注意力深度神经网络的肿瘤分割方法 |
WO2020119679A1 (zh) * | 2018-12-14 | 2020-06-18 | 深圳先进技术研究院 | 三维左心房分割方法、装置、终端设备及存储介质 |
CN109584254A (zh) * | 2019-01-07 | 2019-04-05 | 浙江大学 | 一种基于深层全卷积神经网络的心脏左心室分割方法 |
CN110335236A (zh) * | 2019-04-29 | 2019-10-15 | 上海依智医疗技术有限公司 | 心脏医学图像的处理方法、处理装置、处理***和介质 |
JP2020011135A (ja) * | 2019-10-28 | 2020-01-23 | キヤノンメディカルシステムズ株式会社 | 磁気共鳴イメージング装置 |
CN110766691A (zh) * | 2019-12-06 | 2020-02-07 | 北京安德医智科技有限公司 | 一种心脏磁共振影像分析及心肌病预测的方法、装置 |
CN111161216A (zh) * | 2019-12-09 | 2020-05-15 | 杭州脉流科技有限公司 | 基于深度学习的血管内超声图像处理方法、装置、设备和存储介质 |
Non-Patent Citations (1)
Title |
---|
赵涛: "磁共振成像在肥厚性心肌病中的临床应用研究", 《中国优秀博士学位论文全文数据库信息辑》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112308863A (zh) * | 2020-10-27 | 2021-02-02 | 苏州大学 | 一种基于改进u型网络的视网膜oct图像中近视性黄斑病变区域分割方法 |
CN112308863B (zh) * | 2020-10-27 | 2023-06-06 | 苏州大学 | 基于改进u型网络的oct图像近视性黄斑病变分割方法 |
CN112766377A (zh) * | 2021-01-20 | 2021-05-07 | 中国人民解放军总医院 | 左心室磁共振影像智能分类方法、装置、设备和介质 |
CN112766377B (zh) * | 2021-01-20 | 2021-10-08 | 中国人民解放军总医院 | 左心室磁共振影像智能分类方法、装置、设备和介质 |
CN113570569A (zh) * | 2021-07-26 | 2021-10-29 | 东北大学 | 一种基于超声图像的室间隔抖动自动检测*** |
CN113570569B (zh) * | 2021-07-26 | 2024-04-16 | 东北大学 | 一种基于深度学习的心脏室间隔抖动自动检测*** |
CN114092477A (zh) * | 2022-01-21 | 2022-02-25 | 浪潮云信息技术股份公司 | 一种图像篡改检测方法、装置及设备 |
WO2024040965A1 (zh) * | 2022-08-23 | 2024-02-29 | 上海杏脉信息科技有限公司 | 基于超声影像的射血分数计算装置、方法、介质及设备 |
Also Published As
Publication number | Publication date |
---|---|
CN111754534B (zh) | 2024-05-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111754534A (zh) | 基于深度神经网络的ct左心室短轴图像分割方法、装置、计算机设备和存储介质 | |
CN110599528B (zh) | 一种基于神经网络的无监督三维医学图像配准方法及*** | |
CN111815597B (zh) | 基于ct影像的左心室长短轴切面提取方法、装置、计算机设备和存储介质 | |
US11551355B2 (en) | Semi-automated heart valve morphometry and computational stress analysis from 3D images | |
Pouch et al. | Semi-automated mitral valve morphometry and computational stress analysis using 3D ultrasound | |
WO2015148616A1 (en) | Systems and methods for data and model-driven image reconstruction and enhancement | |
CN111161216A (zh) | 基于深度学习的血管内超声图像处理方法、装置、设备和存储介质 | |
CN110619635B (zh) | 基于深度学习的肝细胞癌磁共振图像分割***和方法 | |
CN110111305B (zh) | 处理方案的生成方法、装置、设备和存储介质 | |
CN110751187B (zh) | 异常区域图像生成网络的训练方法和相关产品 | |
CN113850753B (zh) | 医学图像信息计算方法、装置、边缘计算设备和存储介质 | |
CN112435212A (zh) | 基于深度学习的脑部病灶区域体积得到方法、装置、计算机设备和存储介质 | |
CN112634265B (zh) | 基于dnn的胰腺全自动分割模型的构建、分割方法及*** | |
Rousseau et al. | Post training uncertainty calibration of deep networks for medical image segmentation | |
CN114693671A (zh) | 基于深度学习的肺结节半自动分割方法、装置、设备及介质 | |
CN113129418B (zh) | 基于三维影像的目标表面重建方法、装置、设备和介质 | |
CN117036530B (zh) | 基于跨模态数据的冠状动脉血流储备分数预测方法及装置 | |
CN111091504B (zh) | 图像偏差场矫正方法、计算机设备和存储介质 | |
US20140032180A1 (en) | Method and apparatus for computing deformation of an object | |
CN112365504A (zh) | Ct左心室分割方法、装置、设备和存储介质 | |
Romero-Pacheco et al. | Estimating echocardiographic myocardial strain of left ventricle with deep learning | |
CN110473208A (zh) | 结构形态判别方法、计算机设备和存储介质 | |
US12040076B2 (en) | Automatic myocardial aneurysm assessment | |
US20230187052A1 (en) | Automatic myocardial aneurysm assessment | |
CN111816282A (zh) | 基于ct影像的左心室功能学分析方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |