CN111242928A - 基于多视角学习的心房全自动分割跟踪定位方法 - Google Patents
基于多视角学习的心房全自动分割跟踪定位方法 Download PDFInfo
- Publication number
- CN111242928A CN111242928A CN202010038896.8A CN202010038896A CN111242928A CN 111242928 A CN111242928 A CN 111242928A CN 202010038896 A CN202010038896 A CN 202010038896A CN 111242928 A CN111242928 A CN 111242928A
- Authority
- CN
- China
- Prior art keywords
- segmentation
- data
- atrial
- pixel
- size
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30048—Heart; Cardiac
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明涉及一种基于多视角学习的心房全自动分割跟踪定位方法,属于图像分析技术领域。所述方法为将冠状位、矢状位、横断位的断层数据输入到网络的三个分支上;其中,输入的图像将被裁剪成固定尺寸的体层数据,每个分支都将对断层数据进行逐层分割;裁剪后的体层数据将经历四个下采样阶段,再经历四个上采样阶段,每个阶段都用三维卷积核对特征进行提取,最后输出分割后的图像尺寸与输入尺寸一致;本发明可提高心房核磁后处理的效率,降低主观因素导致的误差,并实现端到端的心房自动分割。
Description
技术领域
本发明属于图像分析技术领域,涉及基于多视角学习的心房全自动分割跟踪定位方法。
背景技术
在众多医学影像学手段中,心脏磁共振(Cardiac Magnetic Resonance,CMR)的软组织对比度最高,其通过多参数、多平面、多序列成像可同时对心脏的解剖结构、运动功能和组织特征改变等进行“一站式”观察,从而成为心功能和心肌局限性纤维化评价的金标准。在房颤消融术前精确分析评估患者的心房结构及纤维化程度,可以判断患者预后,指导治疗方案的选择,对提高房颤病人治疗效果,降低医疗成本有重大意义。虽然心脏核磁检查在心脏疾病诊断、危险分层及预后判断上具有独特价值,但是将该技术广泛应用于临床依然面临三大亟待解决的难题:
1)心脏核磁影像伪影重,心房壁薄,分割重建难度高;
2)CMR数据处理需要专业医师人工勾画,非常耗时;
3)临床高水平的影像诊断医师缺口大。
因此,研究心房壁核磁影像的精确自动分割算法,对提高医生诊断的时效性具有重要意义。目前,心房分割主要在单视角层面进行(例如水平位),但是不同层面的心房呈现连接相关,因此结合心房三维结构在其他视角上的投影约束,可以进一步提高分割精度。因此,本项目将利用多视角学习机制,通过三维卷积神经网络实现心房的全自动分割跟踪定位。
发明内容
有鉴于此,本发明的目的在于提供一种基于多视角学习的心房全自动分割跟踪定位方法。首先要将心房壁分割出来,为了提高临床诊断的时效性,本项目将针对心房核磁影像构建多视角学习网络,从而实现端到端的左心房分割,该技术的突破可缩短临床心脏核磁影像的后处理时间。
为达到上述目的,本发明提供如下技术方案:
基于多视角学习的心房全自动分割跟踪定位方法,所述方法为:
将冠状位、矢状位、横断位的断层数据输入到网络的三个分支上;其中,输入的图像将被裁剪成固定尺寸的体层数据,每个分支都将对断层数据进行逐层分割;
裁剪后的体层数据将经历四个下采样阶段,再经历四个上采样阶段,每个阶段都用三维卷积核对特征进行提取,最后输出分割后的图像尺寸与输入尺寸一致;
为评估分割的结果并通过反向传播机制对分支模型的参数进行进一步的优化,算法利用评估分割效果的Dice系数和交叉熵联合计算训练过程中的loss,其中,Dice系数的计算方法为:
其中,N代表裁剪后的体层数据里像素总个数,pi为预测的分割结果里i位置上像素的预测值,gi代表分割结果的金标准里i位置上像素的对应值;交叉熵的计算方法为:
融合Dice系数及交叉熵,网络训练的总Loss计算方式为:
Loss=λ(1-D)+(1-λ)C
其中,λ为调和系数,用以调和Dice系数与交叉熵在计算梯度时的影响程度。
可选的,所述方法还包括测试阶段,算法将对输入的核磁影像数据进行裁剪,从而获得出M例尺寸一致的三维数据,设计的分割网络会对裁剪出的每一例数据进行预测;每个像素可能被包含在Z∈[1,M]个裁剪后的数据中,在单个视角上的分割预测值为多次预测后的平均值,用以提高预测结果的鲁棒性:
可选的,所述算法将融合冠状位、矢状位、横断位不同分支上面的分割结果,获得最终的分割结果预测:
本发明的有益效果在于:可提高心房核磁后处理的效率,降低主观因素导致的误差,并实现端到端的心房自动分割。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述,并且在某种程度上,基于对下文的考察研究对本领域技术人员而言将是显而易见的,或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作优选的详细描述,其中:
图1为心房分割的多视角神经网络结构图;
图2为核磁影像多点区域裁剪示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
其中,附图仅用于示例性说明,表示的仅是示意图,而非实物图,不能理解为对本发明的限制;为了更好地说明本发明的实施例,附图某些部件会有省略、放大或缩小,并不代表实际产品的尺寸;对本领域技术人员来说,附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件;在本发明的描述中,需要理解的是,若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此附图中描述位置关系的用语仅用于示例性说明,不能理解为对本发明的限制,对于本领域的普通技术人员而言,可以根据具体情况理解上述术语的具体含义。
针对心脏核磁左心房的三维智能分割问题,本项目提出了基于多视角学***滑性。为实现上述发明目的,本技术发明提供以下技术方案:
算法设计了多视角分割跟踪定位网络,分别将冠状位、矢状位、横断位的断层数据输入到网络的三个分支上。其中,输入的图像将被裁剪成固定尺寸的体层数据,每个分支都将对断层数据进行逐层分割。
进一步的,裁剪后的体层数据将经历四个下采样阶段,再经历四个上采样阶段,每个阶段都用三维卷积核对特征进行提取,最后输出分割后的图像尺寸与输入尺寸一致。
为评估分割的结果并通过反向传播机制对分支模型的参数进行进一步的优化,算法利用评估分割效果的Dice系数和交叉熵联合计算训练过程中的loss,其中,Dice系数的计算方法为:
其中,N代表裁剪后的体层数据里像素总个数,pi为预测的分割结果里i位置上像素的预测值,gi代表分割结果的金标准里i位置上像素的对应值。交叉熵的计算方法为:
融合Dice系数及交叉熵,网络训练的总Loss计算方式为:
Loss=λ(1-D)+(1-λ)C
其中,λ为调和系数,用以调和Dice系数与交叉熵在计算梯度时的影响程度。
进一步的,在测试阶段,算法将对输入的核磁影像数据进行裁剪,从而获得出M例尺寸一致的三维数据,设计的分割网络会对裁剪出的每一例数据进行预测。由于每个像素可能被包含在z∈[1,M]个裁剪后的数据中,因此其在单个视角上的分割预测值为多次预测后的平均值,用以提高预测结果的鲁棒性:
进一步的,算法将融合不同分支上面(冠状位、矢状位、横断位)的分割结果,获得最终的分割结果预测:
在本发明的一种具体实施方式中,上述技术方案包括以下步骤:
第一个步骤:算法设计了多视角分割算法,分别将冠状位、矢状位、横断位的断层数据输入到网络的三个分支上(如图1所示)。
其中,输入的图像将被裁剪成固定尺寸的体层数据(如图2所示),每个分支都将对断层体数据进行逐层分割。
进一步的,裁剪后的体层数据将经历四个下采样阶段,再经历四个上采样阶段,每个阶段都是用三维卷积核对特征进行提取,最后输出分割后的图像尺寸与输入尺寸一致。
为评估分割的结果并通过反向传播机制对分支模型的参数进行进一步的优化,算法利用评估分割效果的Dice系数和交叉熵联合计算训练过程中的loss,其中,Dice系数的计算方法为:
其中,N代表裁剪后的体层数据里像素总个数,pi为预测的分割结果里i位置上像素的预测值,gi代表分割结果的金标准里i位置上像素的对应值。交叉熵的计算方法为:
融合Dice系数及交叉熵,网络训练的总Loss计算方式为:
Loss=λ(1-D)+(1-λ)C
其中,λ为调和系数,用以调和Dice系数与交叉熵在计算梯度时的影响程度。
进一步的,在测试阶段,算法将对输入的核磁影像数据进行裁剪,从而获得出M例尺寸一致的三维数据,设计的分割网络会对裁剪出的每一例数据进行预测。由于每个像素可能被包含在z∈[1,M]个裁剪后的数据中,因此其在单个视角上的分割预测值为:
进一步的,算法将融合不同分支上面(冠状位、矢状位、横断位)的分割结果,获得最终的分割结果预测:
最后说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本技术方案的宗旨和范围,其均应涵盖在本发明的权利要求范围当中。
Claims (3)
1.基于多视角学习的心房全自动分割跟踪定位方法,其特征在于:所述方法为:
将冠状位、矢状位、横断位的断层数据输入到网络的三个分支上;其中,输入的图像将被裁剪成固定尺寸的体层数据,每个分支都将对断层数据进行逐层分割;
裁剪后的体层数据将经历四个下采样阶段,再经历四个上采样阶段,每个阶段都用三维卷积核对特征进行提取,最后输出分割后的图像尺寸与输入尺寸一致;
为评估分割的结果并通过反向传播机制对分支模型的参数进行进一步的优化,算法利用评估分割效果的Dice系数和交叉熵联合计算训练过程中的loss,其中,Dice系数的计算方法为:
其中,N代表裁剪后的体层数据里像素总个数,pi为预测的分割结果里i位置上像素的预测值,gi代表分割结果的金标准里i位置上像素的对应值;交叉熵的计算方法为:
融合Dice系数及交叉熵,网络训练的总Loss计算方式为:
Loss=λ(1-D)+(1-λ)C
其中,λ为调和系数,用以调和Dice系数与交叉熵在计算梯度时的影响程度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010038896.8A CN111242928A (zh) | 2020-01-14 | 2020-01-14 | 基于多视角学习的心房全自动分割跟踪定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010038896.8A CN111242928A (zh) | 2020-01-14 | 2020-01-14 | 基于多视角学习的心房全自动分割跟踪定位方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111242928A true CN111242928A (zh) | 2020-06-05 |
Family
ID=70871108
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010038896.8A Pending CN111242928A (zh) | 2020-01-14 | 2020-01-14 | 基于多视角学习的心房全自动分割跟踪定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111242928A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113113143A (zh) * | 2021-04-12 | 2021-07-13 | 重庆大学 | 一种考虑延迟强化核磁影像的心肌梗死危险程度评估*** |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109584254A (zh) * | 2019-01-07 | 2019-04-05 | 浙江大学 | 一种基于深层全卷积神经网络的心脏左心室分割方法 |
CN109727270A (zh) * | 2018-12-10 | 2019-05-07 | 杭州帝视科技有限公司 | 心脏核磁共振图像的运动机理和纹理特征分析方法和*** |
CN110517235A (zh) * | 2019-08-19 | 2019-11-29 | 苏州大学 | 一种基于GCS-Net进行OCT图像脉络膜自动分割方法 |
CN110543911A (zh) * | 2019-08-31 | 2019-12-06 | 华南理工大学 | 一种结合分类任务的弱监督目标分割方法 |
-
2020
- 2020-01-14 CN CN202010038896.8A patent/CN111242928A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109727270A (zh) * | 2018-12-10 | 2019-05-07 | 杭州帝视科技有限公司 | 心脏核磁共振图像的运动机理和纹理特征分析方法和*** |
CN109584254A (zh) * | 2019-01-07 | 2019-04-05 | 浙江大学 | 一种基于深层全卷积神经网络的心脏左心室分割方法 |
CN110517235A (zh) * | 2019-08-19 | 2019-11-29 | 苏州大学 | 一种基于GCS-Net进行OCT图像脉络膜自动分割方法 |
CN110543911A (zh) * | 2019-08-31 | 2019-12-06 | 华南理工大学 | 一种结合分类任务的弱监督目标分割方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113113143A (zh) * | 2021-04-12 | 2021-07-13 | 重庆大学 | 一种考虑延迟强化核磁影像的心肌梗死危险程度评估*** |
CN113113143B (zh) * | 2021-04-12 | 2024-03-01 | 重庆大学 | 一种考虑延迟强化核磁影像的心肌梗死危险程度评估*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Yang et al. | Simultaneous left atrium anatomy and scar segmentations via deep learning in multiview information with attention | |
CN110934606B (zh) | 脑卒中早期平扫ct图像评估***及评估方法、可读存储介质 | |
Militello et al. | A semi-automatic approach for epicardial adipose tissue segmentation and quantification on cardiac CT scans | |
Salton et al. | Gender differences and normal left ventricular anatomy in an adult population free of hypertension: a cardiovascular magnetic resonance study of the Framingham Heart Study Offspring cohort | |
US8630467B2 (en) | Diagnosis assisting system using three dimensional image data, computer readable recording medium having a related diagnosis assisting program recorded thereon, and related diagnosis assisting method | |
US7567696B2 (en) | System and method for detecting the aortic valve using a model-based segmentation technique | |
US6563941B1 (en) | Model-based registration of cardiac CTA and MR acquisitions | |
CN102855618B (zh) | 用于图像产生和图像分析的方法 | |
CN112150524B (zh) | 一种基于深度学习的二维和三维医学图像配准方法和*** | |
Banerjee et al. | A completely automated pipeline for 3D reconstruction of human heart from 2D cine magnetic resonance slices | |
CN110599499B (zh) | 基于多路卷积神经网络的mri图像心脏结构分割方法 | |
CN107072531A (zh) | 用于心肌壁动力学的分析的方法和*** | |
CN110619635B (zh) | 基于深度学习的肝细胞癌磁共振图像分割***和方法 | |
EP2391986B1 (en) | Gradient based image analysis for transmural perfusion | |
Termeer et al. | CoViCAD: Comprehensive visualization of coronary artery disease | |
CN109498046A (zh) | 基于核素图像与ct冠脉造影融合的心肌梗死定量评估方法 | |
CN113066091A (zh) | 基于黑血管壁曲面重建的脑血管分割方法、装置及存储介质 | |
CN116630463B (zh) | 一种基于多任务学习的增强ct图像生成方法和*** | |
Yang et al. | Multiview sequential learning and dilated residual learning for a fully automatic delineation of the left atrium and pulmonary veins from late gadolinium-enhanced cardiac MRI images | |
CN115908449A (zh) | 一种基于改进UNet模型的2.5D医学CT影像分割方法及装置 | |
CN113889261B (zh) | 基于病理特征辅助的pet/ct自动肺癌诊断分类模型训练方法 | |
CN115830016A (zh) | 医学图像配准模型训练方法及设备 | |
Zhao et al. | Medical images super resolution reconstruction based on residual network | |
Dang et al. | LVSegNet: a novel deep learning-based framework for left ventricle automatic segmentation using magnetic resonance imaging | |
CN109741439A (zh) | 一种二维mri胎儿图像的三维重建方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200605 |