CN112734770B - 一种基于多层级联的心脏核磁影像多序列融合分割方法 - Google Patents
一种基于多层级联的心脏核磁影像多序列融合分割方法 Download PDFInfo
- Publication number
- CN112734770B CN112734770B CN202110013091.2A CN202110013091A CN112734770B CN 112734770 B CN112734770 B CN 112734770B CN 202110013091 A CN202110013091 A CN 202110013091A CN 112734770 B CN112734770 B CN 112734770B
- Authority
- CN
- China
- Prior art keywords
- segmentation
- sequence
- cmr
- magnetic resonance
- resonance imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 84
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000000747 cardiac effect Effects 0.000 title claims abstract description 17
- 230000004927 fusion Effects 0.000 title claims abstract description 15
- 230000002107 myocardial effect Effects 0.000 claims abstract description 30
- 206010030113 Oedema Diseases 0.000 claims abstract description 27
- 210000005240 left ventricle Anatomy 0.000 claims abstract description 20
- 206010061216 Infarction Diseases 0.000 claims abstract description 18
- 230000007574 infarction Effects 0.000 claims abstract description 18
- 210000005241 right ventricle Anatomy 0.000 claims abstract description 17
- 210000004165 myocardium Anatomy 0.000 claims abstract description 15
- 238000013528 artificial neural network Methods 0.000 claims abstract description 11
- 208000010125 myocardial infarction Diseases 0.000 claims abstract description 6
- 238000013184 cardiac magnetic resonance imaging Methods 0.000 claims description 42
- 230000003111 delayed effect Effects 0.000 claims description 15
- 230000002861 ventricular Effects 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 238000002075 inversion recovery Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 239000008280 blood Substances 0.000 claims description 3
- 210000004369 blood Anatomy 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 claims description 2
- 238000009499 grossing Methods 0.000 claims description 2
- 238000000079 presaturation Methods 0.000 claims description 2
- 238000001228 spectrum Methods 0.000 claims description 2
- 238000003786 synthesis reaction Methods 0.000 claims description 2
- 238000003759 clinical diagnosis Methods 0.000 abstract description 3
- 238000013461 design Methods 0.000 abstract description 3
- 238000003745 diagnosis Methods 0.000 abstract description 3
- 230000003176 fibrotic effect Effects 0.000 abstract description 2
- 238000010191 image analysis Methods 0.000 abstract description 2
- 238000003709 image segmentation Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000003708 edge detection Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000001746 atrial effect Effects 0.000 description 2
- 210000005242 cardiac chamber Anatomy 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000002497 edematous effect Effects 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30048—Heart; Cardiac
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明涉及一种基于多层级联的心脏核磁影像多序列融合分割方法，属于医学图像分析技术领域。该方法包括以下步骤：S1、对bSSFP、T2、LGE构建深度神经网络逐帧分割的方法对心脏的左心室，右心室以及左心肌进行分割；S2、对心肌壁内水肿区和梗死区进行分割；S3、对多类分割进行融合。本发明拟结合来自同一患者的T2、bSSFP以及LGE三个序列来完成正常心肌、梗死区域和水肿区域的分割分类，并且设计自动分割方法，对提高临床诊断时效性，快速准确地分析病人心肌梗死和纤维化组织病况，降低主观因素导致的误诊率，实现心肌梗死患者的诊断和治疗管理有重大意义。
Description
技术领域
本发明属于医学图像分析技术领域，涉及一种基于多层级联的心脏核磁影像多序列融合分割方法。
背景技术
医学图像分割是医学图像处理与分析领域的复杂而关键的步骤，其目的是将医学图像中具有某些特殊含义的部分分割出来，并提取相关特征，为临床诊疗和病理学研究提供可靠的依据，辅助医生作出更为准确的诊断。由于医学图像自身的复杂性，在分割过程中需要解决不均匀及个体差异等一系列问题，所以一般的图像分割方法难以直接应用于医学图像分割。当前，医学图像分割仍在从手动分割或半自动分割向全自动分割发展。早期进行心房磁共振分割时，临床医生主要依赖主观经验利用手动分割软件(例如：3D slicer，ITK-SNAP等)完成。目前医学图像分割的分割方法主要分为传统分割和深度学习的方法。
传统方法包括阈值分割，边缘分割，基于区域的分割。
阈值分割方法基于对灰度图像的一种假设：目标或背景内的相邻像素间的灰度值是相似的，但不同目标或背景的像素在灰度上有差异，反映在图像直方图上就是不同目标和背景对应不同的峰。选取的阈值应位于两个峰之间的谷，从而将各个峰分开。阈值分割不适用于多通道图像和特征值相差不大的图像，对于图像中不存在明显的灰度差异或各物体的灰度值范围有较大重叠的图像分割问题难以得到准确的结果。另外，阈值分割对噪声和灰度不均匀很敏感。
边缘分割，边缘检测分为三类：点检测、线检测和边缘检测。边缘检测依据两个具有不同灰度值的相邻区域之间总存在边缘，边缘检测算子很多，如梯度算子，方向算子，拉普拉斯算子，马尔算子，综合正交算子，坎尼算子等。但不适用于分割各目标的灰度值分布不均匀和具有噪声的图像。
区域生长的基本思想是将具有相似性质的像素集合起来构成区域，该方法需要先选取一个种子点，然后依次将种子像素周围的相似像素合并到种子像素所在的区域中。区域生长的缺点是它需要人工交互以获得种子点，这样使用者必须在每个需要抽取出的区域中植入一个种子点。同时，区域增长方式也对噪声敏感，导致抽取出的区域有空洞或者在局部体效应的情况下将分开的区域连接起来。
综上，传统的一些分割方法，不适用于目前对复杂心脏核磁图像的分割，而深度学习的方法大量应用于医学图像分割。mMortazi等人尝试利用2D深度神经网络分别从冠状位、矢状位、轴位对影像进行学习，完成了核磁亮血序列的心房分割。但是该方法针对同一任务需要训练三个网络分支，训练过程的计算开销大。
发明内容
有鉴于此，本发明的目的在于提供一种基于多层级联的心脏核磁影像多序列融合分割方法。
为达到上述目的，本发明提供如下技术方案：
一种基于多层级联的心脏核磁影像多序列融合分割方法，该方法拟结合来自同一患者的T2心脏磁共振成像CMR、平衡稳态自由进动电影序列心脏磁共振成像bSSFP CMR以及延迟强化序列心脏磁共振成像LGE CMR三个序列来完成正常心肌、心肌梗死区域和水肿区域的分割分类；
延迟强化序列心脏磁共振成像LGE CMR是一个t1加权，反转-恢复，梯度-回声序列，包括10到18个切片，且覆盖心室主体；所述T2心脏磁共振成像CMR是一个T2加权，黑血光谱预饱和度衰减反转恢复序列；所述平衡稳态自由进动电影序列心脏磁共振成像bSSFPCMR为平衡稳态、自由进动电影序列；该方法包括以下步骤：
S1、对平衡稳态自由进动电影序列心脏磁共振成像bSSFP CMR、T2心脏磁共振成像CMR以及延迟强化序列心脏磁共振成像LGE CMR构建深度神经网络逐帧分割的方法对心脏的左心室，右心室以及左心肌进行分割，具体如下：
先对三种图像进行前景分割，得到前景分割图，设计光滑插值法，并结合前景分割图，根据邻近像素点对像素值进行修正，之后仅使用延迟强化序列心脏磁共振成像LGE CMR对左右心室进行分割，再结合延迟强化序列心脏磁共振成像LGE CMR和平衡稳态自由进动电影序列心脏磁共振成像bSSFP CMR的高亮部分以及T2心脏磁共振成像CMR的阴影部分对左心室单独进行较高精度的分割，此时得到左心室、右心室和左心肌的大致范围；
S2、设计自适应阈值法对心肌壁内水肿区和梗死区进行分割；
S3、对多类分割进行融合。
可选地，步骤S1具体为：构建深度神经网络逐帧分割的方法对心脏的左心腔，右心腔以及左心肌进行分割；
S11、构建深度神经网络的编码和解码两部分；
编码部分包括卷积结构和池化层，其中卷积结构包括三层卷积层和激活函数；通过卷积层和池化层进行四次下采样，每次下采样后的图像样本量size减少一半，batchsize值增加一倍；
解码部分包括卷积结构和池化层，其中卷积结构包括三层卷积层和激活函数；之后通过解卷积进行四次上采样，每次下采样后的图像样本量size增加一倍，batch size值减少一半；
S12、构建网络损失函数
构建的网络损失函数利用Dice系数和交叉熵CrossEntropyLoss联合计算训练过程中的loss：
Dice系数和交叉熵的公式以及合成后的总loss如下：
Dice系数
Cross-entropy
结合Dice系数和交叉熵，定义Loss
α为平衡系数，Dcross代表所有类别的交叉熵总和，Dicei代表第i类型目标的分割Dice系数，X,Y,为目标和背景分布矩阵，xi为一个像素点,p(xi)表示xi像素点属于目标像素集的概率,q(xi)表示xi像素点属于背景像素集的概率；
S13、为每一个像素点进行分类：将输出与输入的样本经过激活层进行分类。
可选地，在步骤S1中，光滑插值法具体为
采用相邻像素值对点(x,y)的点的像素值进行估计，记为像素估计均值
采用估计均值
对已知像素值S(x,y)进行修正；矩阵A为设计的平滑算子,M(x，y)由与(x,y)点相邻像素值组成的矩阵。
可选地，步骤S2具体为：将分割后的左心室心肌区域分别投影到T2和延迟强化序列LGE序列中，用于进一步分割梗死与水肿区域；
设计自适应阈值法将T2和延迟强化序列LGE高亮的区域分割出来，
自适应阈值法的公式(4)、公式(5)和公式(6)为：
其中，
代表分割预测值，Low_Treshold代表低阈值，High_Treshold代表高阈值，根据输入图像和目标像素集确定阈值，Simg为心脏磁共振成像CMR心肌壁的像素值；延迟强化序列LGE分割后的结果为梗死区域Ainfarcted，T2里面分割的高亮区AT2＝Ainfarcted+Aedema，其中Aedema为分割出来的水肿区域，p代表目标图像的像素集的大小，Sgoal代表目标图像的像素值集合。
可选地，步骤S3具体为：对多类分割进行融合，相同结构具有相似像素值与区域生长法，采用距离进行融合，设计公式(7)，公式(8)和公式(9)：
Dwall＝Mean(Swall)-Suncertain (7)
Dcav＝Mean(Scav)-Suncertain (8)
pw_c＝Min(Dwall,Dcav) (9)
Dwall代表距离心肌壁的距离，Dcav代表距离心室距离，Swall，Scav分别表示以确定的心肌壁，心室的像素值，pw_c选取最近距离表示像素点所属类型，Suncertain代表不确定区域的像素值集合。
本发明的有益效果在于：针对心脏磁共振图像的多序列融合心腔，心室和病灶区智能分割问题，本项目提出了多层级联，多序列融合的心脏分割***，该技术的突破可提高分割的准确率，并实现心肌，病灶自动分割。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
图1为方法流程图；
图2为神经网络结构图；
图3为多类型分割流程图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
请参阅图1～图3，为一种一种基于多层级联的心脏核磁影像多序列融合分割方法，拟结合来自同一患者的T2、bSSFP以及LGE三个序列来完成正常心肌、梗死区域和水肿区域的分割分类。但是由于人工描画通常是费时，并且受观察者之间和观察者内的变化影响，因此设计自动分割算法，对提高临床诊断时效性，快速准确地分析病人心肌梗死和纤维化组织病况，降低主观因素导致的误诊率，实现心肌梗死患者的诊断和治疗管理有重大意义。
在本发明的一种具体实施方式中，上述技术方案包括以下步骤：
第一步：构建预处理数据集，对于CMR心脏核磁图像，具有不同帧数，首先统一帧数，根据本项目数据采用三帧进行处理，对于大于三帧的图像进行裁剪，比如对于五帧裁剪为0-2和2-4两个三帧图像；对图像每一帧进行尺度切分为512*512.采用预处理的图像进行前景分割，前景包括且仅包括本项目的分割目标：左心室，右心室，心肌壁，水肿区和梗死区。
第二步：针对心脏图像进行心脏分割前，因为不同层面的心肌与心腔轮廓边缘应该呈现连续，利用这一特点，本专利设计了光滑插值法，公式(2)，(3)，结合前景分割图，依据邻近像素点对像素值进行修正，来降低噪声干扰，拟合真实值。针对心脏图像进行心脏分割时，结合左心室和右心室的结构先验知识，左心室形态和位置较为稳定，而右心室虽然位置不稳定，但与左心室的相对位置较稳定，基于此首先基于第一步前景分割，使用三种CMR图像(LGE，T2，bSSFP)，进行分割。在前景的限制下，使用LGE图像对左右心室进行分割，同时学习左右心室(注：此时对左右心室分割，不区分左右心室)；之后，结合LGE和bSSFP的高亮部分和T2的阴影部分对左心室单独进行较高精度的分割；结合之前分割，可以确定左心室和右心室，以及心肌壁区域的大致范围。接下来进行高精度的心肌壁和病灶区(水肿和梗死)分割，利用前景分割，修改输入图像size为256*256的框图(原图输入为512*512，选取初始锚点(0，0)，(512，512)，向内缩减以确保心肌壁区域位于框图中，来减少负样本；选取锚点后，采用跳连接方式，将锚点传输到神经网络最后的全连接层的，以确定256*256的分割图与原图(512*512)在位置上相对应。再采用LGE和T2图像对心肌壁区域分割；为了简化模型并提高分割效率，引入阈值法分割，采用公式(5)，(6)，对心肌壁区域选取高低阈值，再用公式(2)，对心肌壁区进行阈值分割；之后将两类分割结果进行融合：
Pseg_wall＝Max(Ptresh,Pwall)Ptresh∈{0,1} (10)
Pseg_wall表示分割为心肌壁的概率，Ptresh表示阈值法分割的心肌壁的概率，为0或1.Pwall表示神经网络的分割概率。
第三步：对心肌壁内水肿区和梗死区进行分割，同样采用256*256尺度，利用神经网络模型进行分割。基于心肌壁的分割，可以有效的对水肿区和梗死区进行约束，因为梗死区和水肿区紧密分布在心肌壁区域内，且结合紧密。首先对LGE图像分割的心肌区高亮区采用双阈值分割，对梗死区Ainfarcted进行分割，在采用T2图像对心肌区进行分割，分割结果为水肿区和梗死区之和，AT2＝Ainfarcted+Aedema，其中Aedema为分割出来的水肿区。
第四步：将分割结果融合，水肿区和梗死区位于心肌壁区域内，采用直接覆盖的方式，将梗死区和水肿区加入心肌壁区域。对心肌壁区与左右心室区融合，采用概率模型，公式如(7),(8),(9)，进行分割。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (4)
1.一种基于多层级联的心脏核磁影像多序列融合分割方法，其特征在于：所述方法拟结合来自同一患者的T2心脏磁共振成像CMR、平衡稳态自由进动电影序列心脏磁共振成像bSSFP CMR以及延迟强化序列心脏磁共振成像LGE CMR三个序列来完成正常心肌、心肌梗死区域和水肿区域的分割分类；
所述延迟强化序列心脏磁共振成像LGE CMR是一个t1加权，反转-恢复，梯度-回声序列，包括10到18个切片，且覆盖心室主体；所述T2心脏磁共振成像CMR是一个T2加权，黑血光谱预饱和度衰减反转恢复序列；所述平衡稳态自由进动电影序列心脏磁共振成像bSSFPCMR为平衡稳态、自由进动电影序列；该方法包括以下步骤：
S1、对平衡稳态自由进动电影序列心脏磁共振成像bSSFP CMR、T2心脏磁共振成像CMR以及延迟强化序列心脏磁共振成像LGE CMR构建深度神经网络逐帧分割的方法对心脏的左心室，右心室以及左心肌进行分割，具体如下：
先对三种图像进行前景分割，得到前景分割图，设计光滑插值法，并结合前景分割图，根据邻近像素点对像素值进行修正，之后仅使用延迟强化序列心脏磁共振成像LGE CMR对左右心室进行分割，再结合延迟强化序列心脏磁共振成像LGE CMR和平衡稳态自由进动电影序列心脏磁共振成像bSSFP CMR的高亮部分以及T2心脏磁共振成像CMR的阴影部分对左心室单独进行较高精度的分割，此时得到左心室、右心室和左心肌的大致范围；
S2、设计自适应阈值法对步骤S1中分割出的左心肌图像进行分割，得到心肌壁内水肿区和梗死区；
S3、将分割结果心肌壁内水肿区、梗死区，左心肌以及左右心室进行融合，其中水肿区和梗死区位于心肌壁区域内，采用直接覆盖的方式进行融合；左心肌及左右心室的融合采用如下方式：
采用距离进行融合，设计以下公式：
Dwall＝Mean(Swall)-Suncertain
Dcav＝Mean(Scav)-Suncertain
pw_c＝Min(Dwall,Dcav)
Dwall代表距离心肌壁的距离，Dcav代表距离心室距离，Swall，Scav分别表示以确定的心肌壁，心室的像素值，pw_c选取最近距离表示像素点所属类型，Suncertain代表不确定区域的像素值集合。
2.根据权利要求1所述的一种基于多层级联的心脏核磁影像多序列融合分割方法，其特征在于：所述步骤S1具体为：构建深度神经网络逐帧分割的方法对心脏的左心腔，右心腔以及左心肌进行分割；
S11、构建深度神经网络的编码和解码两部分；
所述编码部分包括卷积结构和池化层，其中卷积结构包括三层卷积层和激活函数；通过卷积层和池化层进行四次下采样，每次下采样后的图像样本量size减少一半，batchsize值增加一倍；
所述解码部分包括卷积结构和池化层，其中卷积结构包括三层卷积层和激活函数；通过解卷积进行四次上采样，每次上采样后的图像样本量size增加一倍，batch size值减少一半；
S12、构建网络损失函数
所述构建的网络损失函数利用Dice系数和交叉熵CrossEntropyLoss联合计算训练过程中的loss：
Dice系数和交叉熵的公式以及合成后的总loss如下：
Dice系数
Cross-entropy
结合Dice系数和交叉熵，定义Loss
其中，α为平衡系数，Dcross代表所有类别的交叉熵总和，Dicei代表第i类型目标的分割Dice系数，X,Y,为目标和背景分布矩阵，xi为一个像素点,p(xi)表示xi像素点属于目标像素集的概率,q(xi)表示xi像素点属于背景像素集的概率；
S13、对每一个像素点进行分类：将输出与输入的样本经过激活层进行分类。
3.根据权利要求1所述的一种基于多层级联的心脏核磁影像多序列融合分割方法，其特征在于：在步骤S1中，所述光滑插值法具体为：
采用相邻像素值对点(x,y)的点的像素值进行估计，记为像素估计均值
采用估计均值
对已知像素值S(x,y)进行修正；矩阵A为设计的平滑算子,M(x，y)由与(x,y)点相邻像素值组成的矩阵。
4.根据权利要求1所述的一种基于多层级联的心脏核磁影像多序列融合分割方法，其特征在于：所述步骤S2具体为：将分割后的左心室心肌区域分别投影到T2和延迟强化序列LGE序列中，设计自适应阈值法进行进一步分割梗死与水肿区域；
设计自适应阈值法将T2和延迟强化序列LGE高亮的区域分割出来，
所述自适应阈值法如下式所示：
其中，
代表分割预测值，Low_Treshold代表低阈值，High_Treshold代表高阈值，Simg为心脏磁共振成像CMR心肌壁的像素值；延迟强化序列LGE分割后的结果为梗死区域Ainfarcted，T2里面分割的高亮区AT2＝Ainfarcted+Aedema，其中Aedema为分割出来的水肿区域，p代表目标图像的像素集的大小，Sgoal代表目标图像的像素值集合。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110013091.2A CN112734770B (zh) | 2021-01-06 | 2021-01-06 | 一种基于多层级联的心脏核磁影像多序列融合分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110013091.2A CN112734770B (zh) | 2021-01-06 | 2021-01-06 | 一种基于多层级联的心脏核磁影像多序列融合分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112734770A CN112734770A (zh) | 2021-04-30 |
| CN112734770B true CN112734770B (zh) | 2022-11-25 |
Family
ID=75591406
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110013091.2A Active CN112734770B (zh) | 2021-01-06 | 2021-01-06 | 一种基于多层级联的心脏核磁影像多序列融合分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112734770B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113554728B (zh) * | 2021-06-21 | 2022-04-12 | 复旦大学 | 基于半监督的从多序列3t到7t磁共振图像的生成方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102938013A (zh) * | 2011-08-15 | 2013-02-20 | 株式会社东芝 | 医用图像处理装置及医用图像处理方法 |
| CN108765513A (zh) * | 2018-06-05 | 2018-11-06 | 上海交通大学 | 一种心脏血池抑制弛豫参数成像方法 |
| CN109727270A (zh) * | 2018-12-10 | 2019-05-07 | 杭州帝视科技有限公司 | 心脏核磁共振图像的运动机理和纹理特征分析方法和*** |
| CN109785340A (zh) * | 2019-01-09 | 2019-05-21 | 上海理工大学 | 基于多图谱的心脏磁共振图像右心室分割计算设备及方法 |
| CN110163876A (zh) * | 2019-05-24 | 2019-08-23 | 山东师范大学 | 基于多特征融合的左心室分割方法、***、设备及介质 |
| CN110163877A (zh) * | 2019-05-27 | 2019-08-23 | 济南大学 | 一种mri心室结构分割的方法与*** |
| CN110363772A (zh) * | 2019-08-22 | 2019-10-22 | 西南大学 | 基于对抗网络的心脏mri分割方法及*** |
| CN110475505A (zh) * | 2017-01-27 | 2019-11-19 | 阿特瑞斯公司 | 利用全卷积网络的自动分割 |
| CN111192316A (zh) * | 2018-11-15 | 2020-05-22 | 通用电气公司 | 用于动脉分析和评估的深度学习 |
| CN111513709A (zh) * | 2020-05-20 | 2020-08-11 | 浙江大学 | 基于迭代收缩阈值算法的非局部神经网络心肌跨膜电位重建方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8494236B2 (en) * | 2009-10-07 | 2013-07-23 | Siemens Aktiengesellschaft | System and method for cardiac segmentation in MR-cine data using inverse consistent non-rigid registration |
| DE102011006577B4 (de) * | 2011-03-31 | 2013-01-31 | Siemens Aktiengesellschaft | Erzeugung von ortsaufgelösten quasi T2-gewichteten Magnetresonanzsignalen unter Verwendung von bSSFP-Sequenzen |
| CN110363755A (zh) * | 2019-07-16 | 2019-10-22 | 中山大学 | 免造影剂的心肌梗死面积的检测方法、装置、设备及介质 |
| CN111584093B (zh) * | 2020-05-12 | 2021-04-30 | 鲁东大学 | 可注射水凝胶疗效评估的左心室几何模型构造方法和装置 |
-
2021
- 2021-01-06 CN CN202110013091.2A patent/CN112734770B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102938013A (zh) * | 2011-08-15 | 2013-02-20 | 株式会社东芝 | 医用图像处理装置及医用图像处理方法 |
| CN110475505A (zh) * | 2017-01-27 | 2019-11-19 | 阿特瑞斯公司 | 利用全卷积网络的自动分割 |
| CN108765513A (zh) * | 2018-06-05 | 2018-11-06 | 上海交通大学 | 一种心脏血池抑制弛豫参数成像方法 |
| CN111192316A (zh) * | 2018-11-15 | 2020-05-22 | 通用电气公司 | 用于动脉分析和评估的深度学习 |
| CN109727270A (zh) * | 2018-12-10 | 2019-05-07 | 杭州帝视科技有限公司 | 心脏核磁共振图像的运动机理和纹理特征分析方法和*** |
| CN109785340A (zh) * | 2019-01-09 | 2019-05-21 | 上海理工大学 | 基于多图谱的心脏磁共振图像右心室分割计算设备及方法 |
| CN110163876A (zh) * | 2019-05-24 | 2019-08-23 | 山东师范大学 | 基于多特征融合的左心室分割方法、***、设备及介质 |
| CN110163877A (zh) * | 2019-05-27 | 2019-08-23 | 济南大学 | 一种mri心室结构分割的方法与*** |
| CN110363772A (zh) * | 2019-08-22 | 2019-10-22 | 西南大学 | 基于对抗网络的心脏mri分割方法及*** |
| CN111513709A (zh) * | 2020-05-20 | 2020-08-11 | 浙江大学 | 基于迭代收缩阈值算法的非局部神经网络心肌跨膜电位重建方法 |
Non-Patent Citations (5)
| Title |
|---|
| Segmentation of cardiac cine MR images for extraction of right and left ventricular chambers;A.Goshtasby 等;《IEEE transactions on Medical Imaging》;19950331;第14卷(第1期);56-64 * |
| 乜大伟.基于用户导向的心脏核磁共振图像中左心室的分割算法研究.《 山东医学高等专科学校学报》.2011,第34卷78-80. * |
| 基于双支神经网络多任务学习的心脏磁共振心肌病识别算法;肖晶晶 等;《测试技术学报》;20200812;第34卷(第05期);390-395 * |
| 基于深度学习的心脏磁共振图像分割;张博;《绿色科技》;20200515(第06期);230-232 * |
| 模糊水平集心脏CT图像序列分割方法;李振华 等;《计算机工程与设计》;20151116;第36卷(第11期);3030-3034，3045 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112734770A (zh) | 2021-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11024025B2 (en) | Automatic quantification of cardiac MRI for hypertrophic cardiomyopathy | |
| Ye et al. | Multi-depth fusion network for whole-heart CT image segmentation | |
| CN111798462B (zh) | 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法 | |
| CN109584254A (zh) | 一种基于深层全卷积神经网络的心脏左心室分割方法 | |
| CN111815574A (zh) | 一种用于眼底视网膜血管图像分割的粗糙集神经网络方法 | |
| CN1194132A (zh) | 心脏图的快速分段 | |
| KR20230059799A (ko) | 병변 검출을 위해 공동 훈련을 이용하는 연결형 머신 러닝 모델 | |
| CN110363772B (zh) | 基于对抗网络的心脏mri分割方法及*** | |
| CN109191468B (zh) | 一种血管提取的方法、装置及存储介质 | |
| CN111798458A (zh) | 一种基于不确定性引导的交互式医学图像分割方法 | |
| Liu et al. | Automatic segmentation algorithm of ultrasound heart image based on convolutional neural network and image saliency | |
| Yang et al. | Multiview sequential learning and dilated residual learning for a fully automatic delineation of the left atrium and pulmonary veins from late gadolinium-enhanced cardiac MRI images | |
| CN112734770B (zh) | 一种基于多层级联的心脏核磁影像多序列融合分割方法 | |
| CN110458842A (zh) | 基于双通道三维密集连接网络的脑肿瘤分割方法 | |
| CN113888520A (zh) | 用于生成牛眼图的***和方法 | |
| Giannakidis et al. | Fast fully automatic segmentation of the severely abnormal human right ventricle from cardiovascular magnetic resonance images using a multi-scale 3D convolutional neural network | |
| CN114463320B (zh) | 一种磁共振成像脑胶质瘤idh基因预测方法及*** | |
| CN113298754B (zh) | 一种***组织轮廓线控制点的检测方法 | |
| EP1826722B1 (en) | Computer system and method for processing a digital image | |
| CN108921860B (zh) | 一种***磁共振图像全自动分割方法 | |
| Cai et al. | Dynamic updating atlas for heart segmentation with a nonlinear field‐based model | |
| Wang et al. | Reinforcement learning for context aware segmentation | |
| Kang et al. | Interactive Liver Segmentation Algorithm Based on Geodesic Distance and V-Net | |
| Jin et al. | Lesion Classification of Coronary Artery CTA Images Based on CBAM and Transfer Learning | |
| Ciofolo et al. | Segmentation of pathologic hearts in long-axis late-enhancement MRI |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |