CN110599499B - 基于多路卷积神经网络的mri图像心脏结构分割方法 - Google Patents

基于多路卷积神经网络的mri图像心脏结构分割方法 Download PDF

Info

Publication number
CN110599499B
CN110599499B CN201910780248.7A CN201910780248A CN110599499B CN 110599499 B CN110599499 B CN 110599499B CN 201910780248 A CN201910780248 A CN 201910780248A CN 110599499 B CN110599499 B CN 110599499B
Authority
CN
China
Prior art keywords
heart
cardiac
segmentation
mri
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910780248.7A
Other languages
English (en)
Other versions
CN110599499A (zh
Inventor
马宗庆
吴锡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN201910780248.7A priority Critical patent/CN110599499B/zh
Publication of CN110599499A publication Critical patent/CN110599499A/zh
Application granted granted Critical
Publication of CN110599499B publication Critical patent/CN110599499B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明涉及一种基于多路卷积神经网络的MRI图像心脏结构分割方法，包括采集正常人和心脏病人的心脏电影MRI训练数据，由经验丰富的医生对训练数据中的心脏结构进行手动标注作为心脏分割标注结果，基于训练数据对心脏区域提取模型进行训练，使心脏区域提取模型能够准确提取出心脏区域，根据从训练数据中提取出的心脏区域对心脏分割网络进行训练，以分割出心脏各个结构，以标准分割标注结果作为标准，衡量构建的心脏分割网络的分割性能。本发明采用基于生成对抗网络的心脏区域提取模型来提取心脏，提高了心脏区域提取的准确性；同时，通过多路卷积神经网络来利用相邻层间的上下文信息，提高了分割精度和准确度。

Description

基于多路卷积神经网络的MRI图像心脏结构分割方法
技术领域
本发明涉及医学图像处理领域，尤其涉及基于多路卷积神经网络的MRI图像心脏结构分割方法。
背景技术
根据世界卫生组织统计，心血管疾病是全球致死率最高的疾病，2016年约有1970万人死于心血管疾病。在临床中，心脏功能分析对于心脏疾病诊断、风险评估、患者管理、治疗决策具有重要作用。这通常是借助心脏数字图像通过评估一系列临床指标例如心室体积、射血分数、每搏量、心肌质量等，来定量分析全局或局部心脏功能。由于对软组织的良好判别性，通过电影MRI图像进行左、右心室射血分数、每搏量、左心室质量、心肌厚度的评估成为心脏功能分析的金标准.而这些定量指标的评估，需要对舒张及收缩末期这两个阶段的左心室内膜和心外膜，以及右室内膜进行准确的分割。在临床实践中，医生手动分割不仅费时费力，依赖医生经验，不同医生甚至同一医生的两次分割结果还都具有很大的可变性。因此，迫切需要准确的自动分割方法。
心脏电影MRI图像中心脏结构的分割目前有人工手动分割方式，传统自动分割方法以及基于深度学***及经验差异较大，人工分割结果存在较大差异，质量无法保证。
传统自动分割方法，基于图像或可变形模型的方法可通过与用户交互的方式完成分割过程，需要人工进行分割结果的确认及标注结果调整。基于模型的分割方法如活动形状模型、图谱模型，可采用以大量数据构建大体模型的方式来减少用户交互，来完成自动分割过程。然而，基于图像和可变形模型的心脏分割方法通常需要用户交互，鲁棒性差，且分割准确度低。基于模型的方法如活动形状模型、图谱模型的方法虽然可减少用户交互，但是不同人(包括正常人以及有心脏疾病的病人)心脏形状以及动态多种多样，建立包含心室所有可能的形状的通用模型是很困难的，存在模型通用性、泛化性能差的问题。
随着近年深度学习的发展，基于深度学习的分割方法被引入到心脏MRI图像分割中来。基于深度学习的分割方法自动从原始心脏图像中提取特征完成自动分割过程，通常无需用户交互。基于深度学习的方法可以得到较为准确的全自动分割结果，但是现有基于深度学习的心脏分割方法，多采用2D的分割方法并未考虑层间上下文信息，层间上下文信息对于准确分割、提升分割性能是很有价值的。忽略层间上下文信息不符合临床医生的实际工作流程。同时，由于心脏电影MRI图像自身扫描层厚、间距大的特点，直接通过3D分割方法利用层间上下文信息不仅计算开销大而且可能无法带来性能提升。
因此，如何提高心脏电影MRI图像自动分割的准确性、提升分割性能成为急需解决的问题。
发明内容
针对现有技术之不足，本发明提出一种基于多路卷积神经网络的MRI图像心脏结构分割方法，所述方法包括：
步骤1：收集心脏电影MRI训练数据，包括正常人的正常心脏电影MRI图像和心脏病人的异常心脏电影MRI图像，所述心脏电影MRI训练数据包括心脏舒张及收缩阶段的电影MRI图像；
步骤2：由经验丰富的医生手动对心脏电影MRI训练数据中的心脏结构进行逐层标注，并将标注结果作为心脏分割标准结果；
步骤3：心脏区域提取生成对抗网络训练，设计并建立基于生成对抗网络的心脏区域提取模型，从收集到的所述心脏电影MRI训练数据中提取出心脏区域图像，提取出的心脏区域图像由多个心脏MRI切片图像叠加构成；
步骤4：基于多路卷积神经网络的心脏分割网络训练，设计并建立结合层间上下文信息的深度卷积分割网络，步骤包括：
步骤41：对步骤3提取出的心脏区域进行心脏结构的分割，以迭代的方式将相邻层的MRI切片图像信息以及相邻上层的已有分割结果信息作为层间上下文信息；
步骤42：将所述层间上下文信息分别输入到各自对应的特征提取分支中，，每个所述特征提取分支采用独立的并行结构，即每个层间上下文特征提取分支采用相同的网络结构但是独立处理其对应的一种层间上下文信息；
步骤43：各分支通过叠加多个卷积及池化操作提取图像的高层抽象特征，并经特征融合模块进行融合；
步骤44：特征融合模块先将每个所述特征提取分支提取到的高层抽象特征进行串连，然后通过ASPP模块进一步融合这些高层特征，融合后的特征经由解码模块的上采样、局部细节信息补偿以及卷积操作将图像恢复到输入进分割网络时的尺寸，得到端到端的密集多结构同时分割概率图，并由概率图确定各个像素所属类别从而得到最终的分割结果；
步骤5：将步骤4心脏结构分割网络得到的分割结果与步骤2得到的心脏标准分割结果进行比较，通过性能评价指标进行分割结果量化评估；
步骤6：收集待分割心脏电影MRI数据，利用步骤3训练好的心脏区域提取模型提取心脏区域，并记录提取位置信息，然后将提取的心脏区域的MRI切片图像输入到步骤4训练好的心脏分割网络中，自心底到心顶依次迭代完成心脏区域体数据的分割，剔除分割结果中各个心脏结构可能存在的不连续的零散区域，得到心脏结构初始分割结果；
步骤7：根据所述提取位置信息，将所述心脏结构初始分割结果恢复到原图尺寸，得到最终的分割结果。
根据一种优选的实施方式，步骤3中的所述心脏区域提取模型包括生成器和判别器，
所述生成器以心脏MRI切片图像作为输入，采用编码解码结构，即先通过卷积、池化操作、下采样提取特征，再通过上采样、局部细节补偿以及卷积操作生成与输入的心脏MRI切片图像尺寸一致的伪心脏轮廓图像；
所述判别器以心脏MRI切片图像和相应的真实心脏区域轮廓图像对或心脏MRI切片图像和生成器生成的伪心脏轮廓图像对作为输入，通过卷积和池化操作提取特征，判别输入的心脏轮廓图像是真实的还是由生成器生成的；
生成对抗网络训练好后，通过生成器生成准确的各个心脏MRI切片图像对应的心脏轮廓图像，定位出心脏在图像上的位置，从而提取出三维心脏区域图像。
本发明的有益效果在于：
1、本发明采用基于生成对抗网络的心脏区域提取模型，能够自动的、更加准确的提取心脏区域，并记录提取位置，无需人工进行交互，通用性、泛化能力较好。
2、本发明技术方案在训练分割心脏结构的神经网络中，利用层间上下文信息，即利用相邻层之间的空间关联信息，来提高心脏结构分割的精度和准确度，训练好的神经网络可完成心脏结构的自动分割。
3、由于直接通过3D分割方法利用层间上下文信息具有计算开销大，且有限数据集下性能受限的缺点，本发明在2D分割方法框架下，采用独立的并行结构来处理对应的层间上下文信息，有效提高了分割性能。
附图说明
图1是本发明心脏结构自动分割方法的流程图；
图2是本发明基于生成对抗网络提取心脏的工作原理图；和
图3是本发明基于多路卷积神经网络进行心脏分割网络的工作原理图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
本发明中的心脏电影MRI图像是指：由心脏磁共振电影成像技术获取到的图像，是心脏MRI图像的一种。
本发明中的ASPP模块是指：带扩张卷积的金字塔池化模块。
心脏磁共振电影成像技术是一种常用的心脏磁共振成像技术，通常是指在心动周期内的各个特定阶段快速获取多幅图像，以电影的形式呈现显示。心脏磁共振电影成像技术不仅可用于评估心室功能、室壁异常，还可以用于评价心脏的瓣膜形态与功能。
本发明的原图是指核磁共振原始扫描得到的图像，即收集到的心脏电影MRI图像。
针对目前现有技术存在的不足，本发明提出一种基于多路卷积神经网络的MRI图像心脏结构分割方法，如图1所示，本发明的方法包括：
步骤1：收集心脏电影MRI训练数据，包括正常人的正常心脏电影MRI图像和心脏病人的异常心脏电影MRI图像。心脏电影MRI图像采集了心动周期中心脏舒张及收缩阶段的图像。扫描得到的心脏电影MRI数据是体数据，即由多个切片MRI数据构成。
同时采用正常人和心脏病人心脏数据是为了保证本发明技术方案的泛化能力，即本发明的自动分割方法既适用于正常心脏结构的的分割，同时也适用于异常心脏结构的分割。
在训练阶段采用了心脏舒张及收缩阶段的数据，一方面这部分数据是有标注的，更重要的是这两个阶段的心脏结构分割是通常在临床上比较关注的。
步骤2：由经验丰富的医生手动对心脏电影MRI训练数据中的心脏结构进行逐层标注，并将标注结果作为心脏分割标准结果，待分割心脏结构包括正常心脏结构和异常心脏结构。标注的心脏结构主要包括左心室、右心室、心肌，在实际应用中，还可以对左心室内膜和外膜等进行标注。具体的，逐层是指自心底到心顶的MRI切片层，并且对所有的训练数据都进行标注。
考虑到实际操作中收集到的心脏电影MRI图像数据都具有较大的扫描范围，覆盖了心脏周围很大的范围，因此心脏区域在图像上所占的显示比例相对较小，考虑到计算有效性并为了在一定程度上规避类别不平衡问题，在进行心脏结构分割之前，需要将心脏区域提取出来，使得提取出来的心脏区域在图像上占据较大的显示比例，这样也减低了后续分割处理的计算量。
因此，本发明技术方案在分割之前设计并建立基于生成对抗网络的心脏区域提取模型，并针对心脏电影MRI训练数据训练该模型以提取心脏区域，具体如步骤3所示。
步骤3：心脏区域提取生成对抗网络训练，设计并建立基于生成对抗网络的心脏区域提取模型，从收集到的心脏电影MRI训练数据中提取出心脏图像，提取出的心脏区域是三维图像，由多个MRI切片图像叠加形成。
生成对抗网络是一种深度学习模型，包括生成器和判别器两部分。生成对抗网络的工作原理如图2所示。心脏区域提取可以手工提取也可以基于一些方法进行自动提取。由于近年来生成对抗网络在图像处理领域取得了较好的性能，因此本发明选择将生成对抗网络应用到心脏区域提取模型中，以实现自动提取同时获得优良的提取性能。
生成器以训练数据中的心脏MRI切片图像作为输入，采用编码解码结构，即先通过卷积、池化操作下采样提取特征，再通过上采样、局部细节补偿以及卷积操作生成与输入的心脏MRI切片图像尺寸一致的伪心脏轮廓图像。在心脏区域提取模型训练阶段，生成器生成伪心脏轮廓图像，医生标记的图像为真实心脏区域轮廓图像。生成对抗网络训练的目标是生成器可以生成真实的心脏轮廓图像，即在训练完成后，理想的效果是生成器可以生成与医生标记图像一致的心脏轮廓图像。
现有技术中还没有采用基于生成对抗网络来提取心脏区域的方法，本发明技术方案主要利用生成对抗网络来实现无需人工交互以及无需人工设计特征的心脏区域自动提取。
判别器以心脏MRI切片图像和相应的真实心脏区域轮廓图像对或心脏MRI切片图像和生成器生成的伪心脏轮廓图像对作为输入。通过卷积、池化操作提取特征，判别输入到判别器中的心脏区域轮廓图像是真实的还是由生成器生成的。具体的，判别器判别输入的真实心脏区域轮廓图像或伪心脏轮廓图像是真实的还是生成器生成的。
以使得生成器可生成逼近真实心脏轮廓图像的分割结果，同时以判别器可准确的区分出真实心脏轮廓图像以及生成器生成的伪心脏轮廓图像为优化目标，对心脏区域提取生成对抗网络进行训练，使得生成器最终可生成准确度高的心脏轮廓图像。网络训练好后，应用生成器生成准确的各个心脏MRI切片图像对应的心脏轮廓图像，定位出心脏在图像上的位置，从而将三维心脏区域提取出来。本发明将心脏区域提取问题看作了一个图像像素级二分类问题，即图像分割问题，参考生成对抗网络做图像分割的方法，本发明采用图像对作为判别器的输入。
一种优选的实施方式，可通过指定训练迭代次数并结合训练损失曲线来判断生成对抗网络是否已经训练完成。
采用生成对抗网络是为了提取出心脏区域；为了这个目的，分两步，一、需要知道心脏在图像的什么位置上，二、将对应区域提取出来。对于第一步，心脏位置的确定是通过生成对抗网络来实现的，训练好生成对抗网络后，生成器可以生成准确的心脏轮廓图像，也就是知道了图像上哪个位置是心脏，即知道了心脏的位置。第二步，将确定的心脏区域提取出来。
生成对抗网络训练好后，再基于定位的心脏位置，提取出心脏区域，提取的方法包括：对于一个待提取心脏区域的心脏电影MRI图像数据，首先，利用已经训练好的生成器生成各个MRI切片图像对应的心脏轮廓图像，然后，根据轮廓生成包围心脏的矩形区域，取各切片中矩形区域最大的一个并在其基础上长宽各拓展0.3倍以保证可提取到完整的心脏区域，并将此拓展后的矩形区域作为待提取的区域。最后，对所有切片提取该区域，并叠加在一起，从而提取出三维心脏区域图像，以用于后续心脏分割网络的训练。
步骤4：基于多路卷积神经网络的心脏分割网络训练，设计并建立结合层间上下文信息的深度卷积分割网络。基于多路卷积神经网络进行心脏结构分割的工作原理图如图3所示。
步骤41：对步骤3提取出的心脏区域进行心脏结构的分割，以迭代的方式将相邻层的MRI切片图像信息以及相邻上层的已有分割结果信息作为层间上下文信息。
一种优选的实施方案，采用相邻两层，即相邻的上一层和相邻的下一层的MRI切片图像信息以及相邻一个上层的已有分割结果信息作为层间上下文信息。
步骤42：将这些层间上下文信息分别输入到各自的特征提取分支中，各个层间上下文特征提取分支采用独立的并行结构，即每个层间上下文特征提取分支采用相同的网络结构但是独立处理其对应的一种层间上下文信息。上下文特征提取分支通过卷积和池化操作来进行特征提取。
具体的，层间上下文特征提取分支的个数根据要处理的层间上下文信息数目来确定。一种优选的实施方式，取相邻上下两层MRI切片图像和1个相邻上层的分割结果信息作为层间上下文信息，则层间上下文特征提取分支为3个。此外，再加上当前待分割的MRI切片自身的特征提取分支，共4个特征提取分支。图3即为本实施方式的4个特征提取分支的心脏结构分割工作原理图，如图3所示，input M[i+1]表示相邻上层MRI切片图像的分割结果，input S[i-1]和input S[i+1]表示相邻上下两层MRI切片图像，input S[i]表示当前待分割的MRI切片图像。
步骤43：各分支通过叠加多个卷积及池化操作提取图像的高层抽象特征，并经特征融合模块进行融合。
步骤44：特征融合模块先将各个分支提取到的高层抽象特征进行串连，然后通过设计的ASPP模块进一步融合这些高层特征，融合后的特征经由解码模块的上采样、局部细节信息补偿以及卷积操作将图像恢复到输入进心脏结构分割网络时的尺寸，得到端到端的密集多结构联合分割概率图，分割概率图是指MRI切片图像上每一像素点代表待分割图像对应像素点属于对应分类的概率，并由概率图确定各个像素所属类别从而得到最终的分割结果。
步骤5：将心脏结构分割网络得到的分割结果与步骤2得到的心脏标准分割结果进行比较，通过性能评价指标进行分割结果量化评估。本发明采用Dice系数和/或ASSD指标对分割结果进行量化评估。同时，通过性能评价指标来评估分割结果的好坏。
步骤6：收集待分割心脏电影MRI数据，通过步骤3训练好的心脏区域自动提取网络提取心脏区域，并记录提取位置信息。提取出来的心脏区域为三维体数据，是由多个MRI切片图像叠加构成的。然后将提取的心脏区域的MRI切片图像输入到步骤4训练好的深度卷积分割网络中，自心底到心顶依次迭代完成心脏区域体数据的分割，剔除分割结果中各结构可能存在的不连续的零散区域，得到心脏结构初始分割结果。
步骤6是为了应用本发明提出的方法进行心脏结构的分割。
步骤7：根据提取位置信息，将心脏结构初始分割结果恢复到原图尺寸，得到最终的分割结果。在实际应用中，不恢复到原图的情况下，也可以看到分割结果，只是尺寸与原图不一致，但并不影响看分割结果。
例如,原图是400*400大小，其中提取出来的心脏是20*20的大小且位于原图的中心位置，这里默认了20*20外的区域都是背景，即默认分割为非心脏结构；心脏结构初始分割得到的是对这20*20的图像的分割结果，而最终要的应该是400*400图像对应的分割结果。因此，在分割时，需要记录心脏提取位置，从而才知道将心脏分割结果对应回原图尺寸的哪个位置。比如中间、左下角、右下角。
需要注意的是，上述具体实施是示例性的，本领域技术人员可以在本发明公开内容的启发下想出各种解决方案，而这些解决方案也都属于本发明的公开范围并落入本发明的保护范围之内。本领域技术人员应该明白，本发明说明书及其附图均为说明性而并非构成对权利要求的限制。本发明的保护范围由权利要求及其等同物限定。

Claims (2)

1.一种基于多路卷积神经网络的MRI图像心脏结构分割方法，其特征在于，所述方法包括：
步骤1：收集心脏电影MRI训练数据，包括正常人的正常心脏电影MRI图像和心脏病人的异常心脏电影MRI图像，所述心脏电影MRI训练数据包括心脏舒张及收缩阶段的电影MRI图像；
步骤2：由经验丰富的医生手动对心脏电影MRI训练数据中的心脏结构进行逐层标注，并将标注结果作为心脏分割标准结果；
步骤3：心脏区域提取生成对抗网络训练，设计并建立基于生成对抗网络的心脏区域提取模型，从收集到的所述心脏电影MRI训练数据中提取出心脏区域图像，提取出的心脏区域图像由多个心脏MRI切片图像叠加构成；
所述心脏区域提取模型包括生成器和判别器：
所述生成器以心脏MRI切片图像作为输入，采用编码解码结构，即先通过卷积、池化操作、下采样提取特征，再通过上采样、局部细节补偿以及卷积操作生成与输入的心脏MRI切片图像尺寸一致的伪心脏轮廓图像；
所述判别器以心脏MRI切片图像和相应的真实心脏区域轮廓图像对或心脏MRI切片图像和生成器生成的伪心脏轮廓图像对作为输入，通过卷积和池化操作提取特征，判别输入的心脏轮廓图像是真实的还是由生成器生成的；
步骤4：基于多路卷积神经网络的心脏分割网络训练，设计并建立结合层间上下文信息的深度卷积分割网络，步骤包括：
步骤41：对步骤3提取出的心脏区域进行心脏结构的分割，以迭代的方式将相邻层的MRI切片图像信息以及相邻上层的已有分割结果信息作为层间上下文信息；
步骤42：将所述层间上下文信息分别输入到各自对应的特征提取分支中，每个所述特征提取分支采用独立的并行结构，即每个层间上下文特征提取分支采用相同的网络结构但是独立处理其对应的一种层间上下文信息；
步骤43：各分支通过叠加多个卷积及池化操作提取图像的高层抽象特征，并经特征融合模块进行融合；
步骤44：特征融合模块先将每个所述特征提取分支提取到的高层抽象特征进行串连，然后通过ASPP模块进一步融合这些高层特征，融合后的特征经由解码模块的上采样、局部细节信息补偿以及卷积操作将图像恢复到输入进分割网络时的尺寸，得到端到端的密集多结构同时分割概率图，并由概率图确定各个像素所属类别从而得到最终的分割结果；
步骤5：将步骤4心脏结构分割网络得到的分割结果与步骤2得到的心脏标准分割结果进行比较，通过性能评价指标进行分割结果量化评估；
步骤6：收集待分割心脏电影MRI数据，利用步骤3训练好的心脏区域提取模型提取心脏区域，并记录提取位置信息，然后将提取的心脏区域的MRI切片图像输入到步骤4训练好的心脏分割网络中，自心底到心顶依次迭代完成心脏区域体数据的分割，剔除分割结果中各个心脏结构可能存在的不连续的零散区域，得到心脏结构初始分割结果；
步骤7：根据所述提取位置信息，将所述心脏结构初始分割结果恢复到原图尺寸，得到最终的分割结果。
2.如权利要求1所述的MRI图像心脏结构分割方法，其特征在于，生成对抗网络训练好后，通过生成器生成准确的各个心脏MRI切片图像对应的心脏轮廓图像，定位出心脏在图像上的位置，从而提取出三维心脏区域图像。
CN201910780248.7A 2019-08-22 2019-08-22 基于多路卷积神经网络的mri图像心脏结构分割方法 Active CN110599499B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910780248.7A CN110599499B (zh) 2019-08-22 2019-08-22 基于多路卷积神经网络的mri图像心脏结构分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910780248.7A CN110599499B (zh) 2019-08-22 2019-08-22 基于多路卷积神经网络的mri图像心脏结构分割方法

Publications (2)

Publication Number Publication Date
CN110599499A CN110599499A (zh) 2019-12-20
CN110599499B true CN110599499B (zh) 2022-04-19

Family

ID=68855269

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910780248.7A Active CN110599499B (zh) 2019-08-22 2019-08-22 基于多路卷积神经网络的mri图像心脏结构分割方法

Country Status (1)

Country Link
CN (1) CN110599499B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111598838B (zh) * 2020-04-22 2023-04-07 中南民族大学 心脏mr图像自动分割方法、装置、电子设备和存储介质
CN112561921A (zh) * 2020-11-10 2021-03-26 联想(北京)有限公司 一种图像分割方法及设备
CN112949470A (zh) * 2021-02-26 2021-06-11 上海商汤智能科技有限公司 车辆变道转向灯识别方法、装置、设备及存储介质
CN113222996A (zh) * 2021-03-03 2021-08-06 中南民族大学 心脏分割质量评估方法、装置、设备及存储介质
CN113362345B (zh) * 2021-06-30 2023-05-30 武汉中科医疗科技工业技术研究院有限公司 图像分割方法、装置、计算机设备和存储介质
CN116228802B (zh) * 2023-05-05 2023-07-04 济南科汛智能科技有限公司 一种心脏mri辅助成像控制方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106600621A (zh) * 2016-12-08 2017-04-26 温州医科大学 基于婴幼儿脑瘤多模态mri图的时空协同分割方法
CN106683104A (zh) * 2017-01-06 2017-05-17 西北工业大学 基于集成深度卷积神经网络的***磁共振图像分割方法
CN109377520A (zh) * 2018-08-27 2019-02-22 西安电子科技大学 基于半监督循环gan的心脏图像配准***及方法
CN109584254A (zh) * 2019-01-07 2019-04-05 浙江大学 一种基于深层全卷积神经网络的心脏左心室分割方法
CN110120051A (zh) * 2019-05-10 2019-08-13 上海理工大学 一种基于深度学习的右心室自动分割方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106096632A (zh) * 2016-06-02 2016-11-09 哈尔滨工业大学 基于深度学习和mri图像的心室功能指标预测方法
EP3573520A4 (en) * 2017-01-27 2020-11-04 Arterys Inc. AUTOMATED SEGMENTATION USING FULLY CONVOLUTIVE NETWORKS
US10595727B2 (en) * 2018-01-25 2020-03-24 Siemens Healthcare Gmbh Machine learning-based segmentation for cardiac medical imaging

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106600621A (zh) * 2016-12-08 2017-04-26 温州医科大学 基于婴幼儿脑瘤多模态mri图的时空协同分割方法
CN106683104A (zh) * 2017-01-06 2017-05-17 西北工业大学 基于集成深度卷积神经网络的***磁共振图像分割方法
CN109377520A (zh) * 2018-08-27 2019-02-22 西安电子科技大学 基于半监督循环gan的心脏图像配准***及方法
CN109584254A (zh) * 2019-01-07 2019-04-05 浙江大学 一种基于深层全卷积神经网络的心脏左心室分割方法
CN110120051A (zh) * 2019-05-10 2019-08-13 上海理工大学 一种基于深度学习的右心室自动分割方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A deep learning network for right ventricle segmentation in short-axis MRI;Gongning Luo et al.;《2016 Computing in Cardiology Conference》;20170302;1-5 *
基于深度学习的心脏图像分割方法的研究;陈军;《中国优秀硕士学位论文全文数据库 (信息科技辑)》;20190715(第7期);I138-1137 *
基于自组织神经网络的超声心脏图象分割;汪天富 等;《中国生物医学工程学报》;20000929;第19卷(第3期);356-360 *

Also Published As

Publication number Publication date
CN110599499A (zh) 2019-12-20

Similar Documents

Publication Publication Date Title
CN110599499B (zh) 基于多路卷积神经网络的mri图像心脏结构分割方法
CN110934606B (zh) 脑卒中早期平扫ct图像评估***及评估方法、可读存储介质
US8107703B2 (en) Quantitative real-time 4D stress test analysis
CN102551718B (zh) 磁共振成像装置
CN109192305B (zh) 一种基于深度循环神经网络的心功能自动分析方法
CN101084528B (zh) 用于集成可移动人体的医疗诊断信息和几何模型的方法、***
CN113781439B (zh) 超声视频病灶分割方法及装置
CN103294883B (zh) 用于针对经导管主动脉瓣植入进行介入规划的方法和***
CN101309645B (zh) 超声波诊断装置
Leclerc et al. LU-Net: a multistage attention network to improve the robustness of segmentation of left ventricular structures in 2-D echocardiography
KR20150045885A (ko) 초음파 및 ct 영상의 정합에 관한 시스템 및 작동 방법
US20200410685A1 (en) Method and system for acquiring status of strain and stress of a vessel wall
US11830193B2 (en) Recognition method of intracranial vascular lesions based on transfer learning
CN110163877A (zh) 一种mri心室结构分割的方法与***
de Albuquerque et al. Fast fully automatic heart fat segmentation in computed tomography datasets
CN109003280B (zh) 一种双通道血管内超声影像的血管中内膜分割方法
CN101160602A (zh) 用于分割多维数据集中的解剖结构的方法、设备和计算机程序
CN113935976A (zh) 一种增强ct图像的脏器内血管自动分割方法及***
CN114419181A (zh) Cta图像的重建方法及重建装置、显示方法及显示装置
CN117197594B (zh) 一种基于深度神经网络的心脏分流分类***
CN109741439A (zh) 一种二维mri胎儿图像的三维重建方法
CN110689080B (zh) 一种血管结构影像的平面图谱构建方法
CN112258476A (zh) 超声心动图心肌异常运动模式分析方法、***及存储介质
Zhao et al. Automated coronary tree segmentation for x-ray angiography sequences using fully-convolutional neural networks
CN116580819A (zh) 用于自动化地确定图像序列中的检查结果的方法和***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant