CN113496496A - 基于多种损失和多尺度特征的mri影像海马体区域分割方法 - Google Patents
基于多种损失和多尺度特征的mri影像海马体区域分割方法 Download PDFInfo
- Publication number
- CN113496496A CN113496496A CN202110767563.3A CN202110767563A CN113496496A CN 113496496 A CN113496496 A CN 113496496A CN 202110767563 A CN202110767563 A CN 202110767563A CN 113496496 A CN113496496 A CN 113496496A
- Authority
- CN
- China
- Prior art keywords
- hippocampus
- network
- segmentation
- encoder
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/259—Fusion by voting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明提供了一种基于多种损失和多尺度特征的MRI影像海马体区域分割方法,包括:步骤1,获取多个T1模态的脑部MRI影像和海马体标签;步骤2,以左右海马体的左右标签为基准,对每个T1模态的脑部MRI影像进行图像的裁剪,得到多个裁剪后的左右海马体立方体;步骤3,对每个裁剪后的左右海马体立方体进行3D切块,得到所有裁剪后的左右海马体立方体的3D切块,在所有裁剪后的左右海马体立方体的3D切块中筛选出含有海马体体素大于设定阈值的3D块,对筛选出的3D块进行预处理。本发明可以精确地分割出海马体和背景的标签,通过多尺度信息和多种损失的结合提高分割准确率,使脑部影像中海马体分割准确率得到显著提升。
Description
技术领域
本发明涉及医学影像处理技术领域,特别涉及一种基于多种损失和多尺度特征的MRI影像海马体区域分割方法。
背景技术
近几年来,神经影像技术对于很多神经性疾病的诊断都有着非常重要的作用,研究表明阿尔茨海默氏症(AD)与海马体的形状体积密切相关,通过在脑部核磁共振成像(MRI)中海马体的正确的分割,可以一定程度上帮助医生们更好的诊断AD这一类神经性疾病。随着各种半自动和自动分割海马体的技术的快速发展,已有大量研究使用结构磁共振成像对海马体进行分割,尤其是深度学习模型在过去几年中取得了巨大成功,深度学习模型通过对有标签的数据集进行训练得到训练好的模型,可以精确的以及快速的对MRI影像进行海马体标签注释,为AD等疾病的后续诊断提供有效的帮助。
而目前基于脑部MRI影像的深度学习海马体分割方法通常需要大量的训练集数据,并且也没有考虑下采样中多个层次的多尺度信息,也会丧失边缘细节的一些信息。因此,有必要考虑到加入模型中多尺度的特征信息,也更多专注于边缘细节以及结构细节的特征,通过这些方面的提高,来改善精进模型的分割性能。
发明内容
本发明提供了一种基于多种损失和多尺度特征的MRI影像海马体区域分割方法,其目的是为了传统的基于脑部MRI影像的深度学习海马体分割方法的分割性能差和分割准确率低的问题。
为了达到上述目的,本发明的实施例提供了一种基于多种损失和多尺度特征的MRI影像海马体区域分割方法,包括:
步骤1,获取多个T1模态的脑部MRI影像和海马体标签;
步骤2,以左右海马体的左右标签为基准,对每个T1模态的脑部MRI影像进行图像的裁剪,得到多个裁剪后的左右海马体立方体;
步骤3,对每个裁剪后的左右海马体立方体进行3D切块,得到所有裁剪后的左右海马体立方体的3D切块,在所有裁剪后的左右海马体立方体的3D切块中筛选出含有海马体体素大于设定阈值的3D块,对筛选出的3D块进行预处理;
步骤4,构建深度学习分割网络,深度学习分割网络由主网络和辅网络组成,在深度学习分割网络中引入多尺度特征学习模块、区域损失、边缘损失和结构相似性损失进行优化,将预处理后的3D块输入深度学习分割网络进行训练,得到训练好的深度学习分割网络;
步骤5,将所有裁剪后的左右海马体立方体的3D切块输入训练好的深度学习分割网络,得到每个3D块的分割结果,根据每个3D块的分割结果通过投票集成策略进行块与块之间重叠部分的体素标签的融合,得到每个脑部MRI影像的最终分割标签。
其中,所述步骤2具体包括:
将每个脑部MRI影像分别以左右海马体标签的中心位置为轴心裁剪成两个64*80*64的立方体,每个64*80*64的立方体均包括左海马体区域和右海马体区域。
其中,所述步骤3具体包括:
步骤31,将每个64*80*64的立方体从x轴、y轴和z轴各自以8的步长进行3D切块处理,裁剪的块大小为32*32*32,每个64*80*64的立方体得到[(64-32)+1]*[(80-32)+1]*[(64-32)+1]=5*7*5=175个3D切块;
步骤32,设定海马体体素阈值,筛选出含有海马体体素大于海马体体素阈值的3D切块,将筛选出的每个3D切块中的体素进行N4偏置场校正,对筛选出的每个3D切块的像素值进行[-1,1]的归一化处理。
其中,所述步骤4具体包括:
深度学习分割网络由一个编码器和两个解码器构成,其中,编码器由两个解码器共享,两个解码器互不干扰,两个解码器分别根据各自负责的损失来共同优化编码器学习到的特征;深度学习分割网络的网络结构为:采用3D网络,3D网络采用主网络和辅网络的方式,主网络和辅助网络均引入多尺度特征学习模块,主网络由共享的4层编码器和4层解码器构成,通过下采样得到高级语义信息,再通过上采样和卷积恢复到脑部MRI影像最初的尺寸,主网络主要专注于分割网络的区域损失和边缘损失;辅助网络由共享的4层编码器和4层解码器构成,辅助网络主要专注于分割结果与真实标签的结构相似性差异。
其中,所述步骤4还包括:
主网络和辅助网络均引入多尺度特征学习模块为将解码器的每一层、解码器当前层的相对应层的编码器特征和高于解码器当前层的所有层的编码器特征分别输入多尺度特征学习模块进行融合,多尺度特征学习模块将每一层解码器的相对应层的编码器特征和高于解码器当前层的所有层的编码器特征进行重采样到同一尺寸,经过卷积、批量标准化和线性整流函数后与对应的解码器当前层进行像素点相加,完成像素点相加后再与对应的解码器当前层的同一层的编码器特征进行通道融合,通过编码器特征指导融合的多尺度语义特征。
其中,所述步骤4还包括:
区域损失的目标函数,如下所示:
其中,pi表示总的N个体素中的第i个像素中的预测值,qi表示总的N个体素中的第i个像素中的真实值,ε表示1e-5。
其中,所述步骤4还包括:
边缘损失的目标函数,如下所示:
其中,D(x)表示根据真实标签计算出来的距离地图,sθ(x)表示像素预测值的softmax概率输出。
其中,所述步骤4还包括:
结构相似性损失的目标函数,如下所示:
其中,p表示所有P集合中的切块,g表示所有G集合中的切块,P集合和G集合有N个,μp表示p的平均值,μg表示g的平均值,σp表示p的偏差,σg表示p的偏差,σpg代表p和g的协方差。
其中,所述步骤5具体包括:
分割标签的投票集成策略,如下所示:
其中,y表示像素的标签结果,M表示重叠像素的数量,i表示第i个重叠像素;
本发明的上述方案有如下的有益效果,
本发明的上述实施例所述的基于多种损失和多尺度特征的MRI影像海马体区域分割方法,获取T1模态的脑部MRI影像进行裁剪后再进行3D切块处理,并进行预处理操作,将预处理后的3D切块输入训练好的深度学习分割网络中进行训练、验证和测试,训练好的深度学习分割网络包括采用主辅助并行网络来专注于不同的重心共同改善编码器学习特征的性能,引入多尺度特征学习模块来融合多样化的特征指导细节的分割,引入区域损失、边缘损失和结构相似性损失来改进分割的性能,通过分割标签的投票集成策略模块预测每个像素的分割标签,可以精确地分割出海马体和背景的标签,通过多尺度信息和多种损失的结合提高分割准确率,使脑部影像中海马体分割准确率得到显著提升。
附图说明
图1为本发明的流程图;
图2为本发明的深度学习分割网络结构示意图;
图3为本发明的多尺度特征学习模块结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚,下面将结合附图及具体实施例进行详细描述。
本发明针对现有的基于脑部MRI影像的深度学习海马体分割方法的分割性能差和分割准确率低的问题,提供了一种基于多种损失和多尺度特征的MRI影像海马体区域分割方法。
如图1至图3所示,本发明的实施例提供了一种基于多种损失和多尺度特征的MRI影像海马体区域分割方法,包括:步骤1,获取多个T1模态的脑部MRI影像和海马体标签;步骤2,以左右海马体的左右标签为基准,对每个T1模态的脑部MRI影像进行图像的裁剪,得到多个裁剪后的左右海马体立方体;步骤3,对每个裁剪后的左右海马体立方体进行3D切块,得到所有裁剪后的左右海马体立方体的3D切块,在所有裁剪后的左右海马体立方体的3D切块中筛选出含有海马体体素大于设定阈值的3D块,对筛选出的3D块进行预处理;步骤4,构建深度学习分割网络,深度学习分割网络由主网络和辅网络组成,在深度学习分割网络中引入多尺度特征学习模块、区域损失、边缘损失和结构相似性损失进行优化,将预处理后的3D块输入深度学习分割网络进行训练,得到训练好的深度学习分割网络;步骤5,将所有裁剪后的左右海马体立方体的3D切块输入训练好的深度学习分割网络,得到每个3D块的分割结果,根据每个3D块的分割结果通过投票集成策略进行块与块之间重叠部分的体素标签的融合,得到每个脑部MRI影像的最终分割标签。
本发明的上述实施例所述的基于多种损失和多尺度特征的MRI影像海马体区域分割方法,获取EADC–ADNI数据库提供的T1模态的脑部MRI影像和人工标注好的海马体标签,EuropeanAlzheimer's Disease Consortiumand Alzheimer's Disease NeuroimagingInitiative(EADC–ADNI)数据库,EADC–ADNI数据库为人工分割海马体提供了一个统一标准协议(HarP)。
本发明的上述实施例所述的基于多种损失和多尺度特征的MRI影像海马体区域分割方法,T1模态的MRI影像是主要对比度决定于组织间或组织状态间T1差别的磁共振图像。采用短TR(<500ms)和短TE(<25ms)的扫描序列来取得。取短TR进行扫描时,脂肪等短T1组织尚可充分弛豫,而脑脊液等长T1组织在给定TR时间内的弛豫量相对较少。因此,它们在下个RF脉冲出现时对能量的吸收程度也就不同:短T1组织因吸收能量多而显示强信号,长T1组织则因饱和而不能吸收太多的能量,进而表现出低信号。组织间信号强度的这种变化必然使图像的T1对比度得到增强。T1模态的脑部MRI影像较之CT更为清晰,区域之间的区别更加明显,因此更加适合医学诊断中海马体精确的分割,能有效的帮助神经性类疾病的诊断预测,海马体区域的分割结果是通过深度学***衡,需要对图像进行裁剪,裁剪的影像要确保能包含海马体目标,在裁剪完之后海马体的体积也只占64*80*64裁剪块的1%;进一步地,为了更好的缓解背景与海马体体积的极度不平衡问题并且消除噪音,同时增加样本的训练量和特征量,需要对裁剪的块进行3D切块处理以及设置阈值筛选符合训练标准的切块,最后再进行预处理得到合适的训练集。在深度学习分割网络的设置中,合理的设置主辅助网络并行的结构能最大化的有效增强编码器的特征学习能力,然后可以通过多尺度特征学习模块对全局信息最好的利用,再加上区域损失、边缘损失和结构相似性损失对深度学习分割网络的合理优化,提高网络的分割性能,通过合适的数据处理方式进行有效的训练,利用并行网络的特性,加入多尺度特征学习模块和多种损失,弥补了深度学习分割网络没考虑到的缺陷,进一步提升深度学习分割网络的分割性能。
其中,所述步骤2具体包括:将每个脑部MRI影像分别以左右海马体标签的中心位置为轴心裁剪成两个64*80*64的立方体,每个64*80*64的立方体均包括左海马体区域和右海马体区域。
本发明的上述实施例所述的基于多种损失和多尺度特征的MRI影像海马体区域分割方法,通过对每个脑部MRI影像进行裁剪以此来减小海马体标签与背景样本极度不平衡的问题,并且减小深度学习分割网络的计算量。
其中,所述步骤3具体包括:步骤31,将每个64*80*64的立方体从x轴、y轴和z轴各自以8的步长进行3D切块处理,裁剪的块大小为32*32*32,每个64*80*64的立方体得到[(64-32)+1]*[(80-32)+1]*[(64-32)+1]=5*7*5=175个3D切块;步骤32,设定海马体体素阈值,筛选出含有海马体体素大于海马体体素阈值的3D切块,将筛选出的每个3D切块中的体素进行N4偏置场校正,对筛选出的每个3D切块的像素值进行[-1,1]的归一化处理。
本发明的上述实施例所述的基于多种损失和多尺度特征的MRI影像海马体区域分割方法,阈值设定为500,筛选出含有海马体体素大于500的3D块,既可以保证训练的3D块不会是无效的,也可以起到数据增强的作用,选出的3D块中,海马体的位置有可能发生了偏移,也有可能发生了海马体目标的截断。因此,一个MRI影像的特征在一个训练周期中可能被迭代训练了很多轮,的特征,这些迭代中可能发生了重复的特征训练,并且重复的训练轮次中,目标和位置也是有区别的,因此这样的训练也是有意义的,训练目标的变化和位置的偏移是对网络的分割性能提高有帮助的,对筛选出的3D块进行预处理可以增强深度学习分割网络的学习能力,提升深度学习分割网络的收敛能力。
其中,所述步骤4具体包括:深度学习分割网络由一个编码器和两个解码器构成,其中,编码器由两个解码器共享,两个解码器互不干扰,两个解码器分别根据各自负责的损失来共同优化编码器学习到的特征;深度学习分割网络的网络结构为:采用3D网络,3D网络采用主网络和辅网络的方式,主网络和辅助网络均引入多尺度特征学习模块,主网络由共享的4层编码器和4层解码器构成,通过下采样得到高级语义信息,再通过上采样和卷积恢复到脑部MRI影像最初的尺寸,主网络主要专注于分割网络的区域损失和边缘损失;辅助网络由共享的4层编码器和4层解码器构成,辅助网络主要专注于分割结果与真实标签的结构相似性差异。
本发明的上述实施例所述的基于多种损失和多尺度特征的MRI影像海马体区域分割方法,主网络和辅助网络都引入了多尺度特征学习模块,主网络由共享的4层编码器和4层解码器构成,通过下采样得到高级语义信息,再通过上采样和卷积恢复到影像最初的尺寸,在这个过程中,除了加入原本的同层通道连接,还加入了多尺度语义信息来帮助分割,主要专注于分割网络的区域损失和边缘损失,辅助网络也是同样的网络结构,但是在输出的部分使用不同的损失,主要专注于分割结果与真实标签的结构相似性差异。整个网络由一个编码器和两个解码器构成,其中编码器由两个解码器共享,两个解码器互不干扰,分别根据各自负责的损失来共同优化编码器所能学习到特征。
其中,所述步骤4还包括:主网络和辅助网络均引入多尺度特征学习模块为将解码器的每一层、解码器当前层的相对应层的编码器特征和高于解码器当前层的所有层的编码器特征分别输入多尺度特征学习模块进行融合,多尺度特征学习模块将每一层解码器的相对应层的编码器特征和高于解码器当前层的所有层的编码器特征进行重采样到同一尺寸,经过卷积、批量标准化和线性整流函数后与对应的解码器当前层进行像素点相加,完成像素点相加后再与对应的解码器当前层的同一层的编码器特征进行通道融合,通过编码器特征指导融合的多尺度语义特征。
本发明的上述实施例所述的基于多种损失和多尺度特征的MRI影像海马体区域分割方法,多尺度特征学习模块的结构定义为:解码器的每一层都融合了它这一层的编码器特征和高于这一层的所有层的编码器特征,模块的多尺度特征学习方式通过将解码器每一层的对应层的编码器特征和高于解码器当前层的所有层的编码器特征进行重采样到同一尺寸,然后经过卷积、批量标准化Batch Normalization(BN)、线性整流函数RectifiedLinear Unit(ReLU)后,再与解码器当前层进行像素点相加,再与同一层的编码器特征做一个通道融合,用编码器特征来指导融合了的多尺度语义特征,卷积、批量标准化、线性整流函数这些激活的单元可以组合在一起,并且可以补偿由于三线性插值和前级合并在解码器每一层中造成的信息丢失,从而增强了前景和背景之间的差异,并利用了多尺度的低级细节,指导详细的细分,例如边缘和位置,通过加入多尺度特征学习模块让深度学习分割网络能融合更多层次的特征,专注于训练过程中的区域,边缘以及结构损失,得到训练好的深度学习分割网络。
本发明的上述实施例所述的基于多种损失和多尺度特征的MRI影像海马体区域分割方法,通过加入多尺度特征学习模块让深度学习分割网络能融合更多层次的特征,专注于训练过程中的区域损失、边缘损失和结构损失,得到训练好的深度学习分割网络,在深度学习分割网络中引入多尺度特征学习模块,增强了前景和背景之间的差异,并利用了多尺度的低级细节,指导详细的细分,例如边缘和位置;在主网络中引入区域损失和边缘损失通过细节边缘的改善来提高分割精度,在辅助网络引入结构相似性损失,通过减少预测海马体和真实海马体之间的差异来改进分割精度。
其中,所述步骤4还包括:区域损失的目标函数,如下所示:
其中,pi表示总的N个体素中的第i个像素中的预测值,qi表示总的N个体素中的第i个像素中的真实值,ε表示1e-5。
本发明的上述实施例所述的基于多种损失和多尺度特征的MRI影像海马体区域分割方法,区域损失(dice-loss)主要是用于目标和背景数量严重不平衡的情况,采用区域损失为基础损失函数来优化海马体区域的分割。
其中,所述步骤4还包括:边缘损失的目标函数,如下所示:
其中,D(x)表示根据真实标签计算出来的距离地图,sθ(x)表示像素预测值的softmax概率输出。
本发明的上述实施例所述的基于多种损失和多尺度特征的MRI影像海马体区域分割方法,边缘损失函数是基于距离地图提出来的一个损失,距离地图是一种近似差分边界变化的积分方法,添加距离图损失作为边界损失,以监督分别根据分段和地面真实性计算的距离图之间的差异。
其中,所述步骤4还包括:结构相似性损失的目标函数,如下所示:
其中,p表示所有P集合中的切块,g表示所有G集合中的切块,P集合和G集合有N个,μp表示p的平均值,μg表示g的平均值,σp表示p的偏差,σg表示p的偏差,σpg代表p和g的协方差。
本发明的上述实施例所述的基于多种损失和多尺度特征的MRI影像海马体区域分割方法,结构相似性是衡量两幅图像相似度的指标,引入结构相似性函数通过将预测图和真实标签的结构相似性进行比较来计算两者之间结构相似性损失,从而让它们预测结构更加的相近。
其中,所述步骤5具体包括:分割标签的投票集成策略,如下所示:
其中,y表示像素的标签结果,M表示重叠像素的数量,i表示第i个重叠像素;
本发明的上述实施例所述的基于多种损失和多尺度特征的MRI影像海马体区域分割方法,在像素点pi处有M个3D块重合时,求所有重合点的预测值的均值,再设置阈值为0.5来判断最终的生成标签,当所有重合点的预测值的均值大于0.5时,y置为1,1对应左右海马体,当所有重合点的预测值的均值小于0.5时,y置为0,0作为背景,通过分割标签的投票集成策略可以有效地减少生成标签的随机误差,得到精确地最终分割结果。
本发明的上述实施例所述的基于多种损失和多尺度特征的MRI影像海马体区域分割方法,获取T1模态的脑部MRI影像进行裁剪后、进行3D切块处理和预处理操作,将预处理后的3D切块输入训练好的深度学习分割网络中进行训练、验证和测试,训练好的深度学习分割网络包括采用主辅助并行网络来专注于不同的重心共同改善编码器学习特征的性能,引入多尺度特征学习模块来融合多样化的特征指导细节的分割,引入区域损失、边缘损失和结构相似性损失来改进分割的性能,通过分割标签的投票集成策略模块预测每个3D切块的每个像素的分割标签,可以精确地分割出海马体和背景的标签,通过多尺度信息和多种损失的结合提高分割准确率,使脑部MRI影像中海马体分割准确率得到显著提升,所述基于多种损失和多尺度特征的MRI影像海马体区域分割方法适用于所有包括大脑MRI影像数据的海马体分割,能对具有较高空间分辨率的影像数据进行海马体区域的分割,比如T1模态MRI影像数据,能从影像数据中将左右海马体的体素标签都标注出来。
本发明的上述实施例所述的基于多种损失和多尺度特征的MRI影像海马体区域分割方法,将脑部MRI影像进行裁剪以及3D切块,起到数据加强以及减小训练计算量的作用,再在此基础上,采用主辅助网络并行的深度学习分割网络,通过加入多尺度特征学习模块最大限度利用不同层次特征信息互补优势,提高分割的性能,并加入区域、边缘和结构相似性等损失来改善多种性能来共同提高最终的分割性能。深度学习分割网络可以精确地分割出海马体以及背景的标签,通过多尺度信息和多种损失的结合提高分割准确率,可以使脑部影像中海马体分割准确率得到显著提升。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明所述原理的前提下,还可以作出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (9)
1.一种基于多种损失和多尺度特征的MRI影像海马体区域分割方法,其特征在于,包括:
步骤1,获取多个T1模态的脑部MRI影像和海马体标签;
步骤2,以左右海马体的左右标签为基准,对每个T1模态的脑部MRI影像进行图像的裁剪,得到多个裁剪后的左右海马体立方体;
步骤3,对每个裁剪后的左右海马体立方体进行3D切块,得到所有裁剪后的左右海马体立方体的3D切块,在所有裁剪后的左右海马体立方体的3D切块中筛选出含有海马体体素大于设定阈值的3D块,对筛选出的3D块进行预处理;
步骤4,构建深度学习分割网络,深度学习分割网络由主网络和辅网络组成,在深度学习分割网络中引入多尺度特征学习模块、区域损失、边缘损失和结构相似性损失进行优化,将预处理后的3D块输入深度学习分割网络进行训练,得到训练好的深度学习分割网络;
步骤5,将所有裁剪后的左右海马体立方体的3D切块输入训练好的深度学习分割网络,得到每个3D块的分割结果,根据每个3D块的分割结果通过投票集成策略进行块与块之间重叠部分的体素标签的融合,得到每个脑部MRI影像的最终分割标签。
2.根据权利要求1所述的基于多种损失和多尺度特征的MRI影像海马体区域分割方法,其特征在于,所述步骤2具体包括:
将每个脑部MRI影像分别以左右海马体标签的中心位置为轴心裁剪成两个64*80*64的立方体,每个64*80*64的立方体均包括左海马体区域和右海马体区域。
3.根据权利要求2所述的基于多种损失和多尺度特征的MRI影像海马体区域分割方法,其特征在于,所述步骤3具体包括:
步骤31,将每个64*80*64的立方体从x轴、y轴和z轴各自以8的步长进行3D切块处理,裁剪的块大小为32*32*32,每个64*80*64的立方体得到[(64-32)+1]*[(80-32)+1]*[(64-32)+1]=5*7*5=175个3D切块;
步骤32,设定海马体体素阈值,筛选出含有海马体体素大于海马体体素阈值的3D切块,将筛选出的每个3D切块中的体素进行N4偏置场校正,对筛选出的每个3D切块的像素值进行[-1,1]的归一化处理。
4.根据权利要求3所述的基于多种损失和多尺度特征的MRI影像海马体区域分割方法,其特征在于,所述步骤4具体包括:
深度学习分割网络由一个编码器和两个解码器构成,其中,编码器由两个解码器共享,两个解码器互不干扰,两个解码器分别根据各自负责的损失来共同优化编码器学习到的特征;深度学习分割网络的网络结构为:采用3D网络,3D网络采用主网络和辅网络的方式,主网络和辅助网络均引入多尺度特征学习模块,主网络由共享的4层编码器和4层解码器构成,通过下采样得到高级语义信息,再通过上采样和卷积恢复到脑部MRI影像最初的尺寸,主网络主要专注于分割网络的区域损失和边缘损失;辅助网络由共享的4层编码器和4层解码器构成,辅助网络主要专注于分割结果与真实标签的结构相似性差异。
5.根据权利要求4所述的基于多种损失和多尺度特征的MRI影像海马体区域分割方法,其特征在于,所述步骤4还包括:
主网络和辅助网络均引入多尺度特征学习模块为将解码器的每一层、解码器当前层的相对应层的编码器特征和高于解码器当前层的所有层的编码器特征分别输入多尺度特征学习模块进行融合,多尺度特征学习模块将每一层解码器的相对应层的编码器特征和高于解码器当前层的所有层的编码器特征进行重采样到同一尺寸,经过卷积、批量标准化和线性整流函数后与对应的解码器当前层进行像素点相加,完成像素点相加后再与对应的解码器当前层的同一层的编码器特征进行通道融合,通过编码器特征指导融合的多尺度语义特征。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110767563.3A CN113496496B (zh) | 2021-07-07 | 2021-07-07 | 基于多种损失和多尺度特征的mri影像海马体区域分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110767563.3A CN113496496B (zh) | 2021-07-07 | 2021-07-07 | 基于多种损失和多尺度特征的mri影像海马体区域分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113496496A true CN113496496A (zh) | 2021-10-12 |
CN113496496B CN113496496B (zh) | 2023-04-07 |
Family
ID=77995843
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110767563.3A Active CN113496496B (zh) | 2021-07-07 | 2021-07-07 | 基于多种损失和多尺度特征的mri影像海马体区域分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113496496B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115937129A (zh) * | 2022-12-01 | 2023-04-07 | 北京邮电大学 | 基于多模态磁共振影像的左右半脑关系的处理方法及装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110060262A (zh) * | 2019-04-18 | 2019-07-26 | 北京市商汤科技开发有限公司 | 一种图像分割方法及装置、电子设备和存储介质 |
CN110097131A (zh) * | 2019-05-08 | 2019-08-06 | 南京大学 | 一种基于对抗协同训练的半监督医疗图像分割方法 |
CN110969626A (zh) * | 2019-11-27 | 2020-04-07 | 西南交通大学 | 基于3d神经网络的人脑核磁共振影像的海马体提取方法 |
CN112017191A (zh) * | 2020-08-12 | 2020-12-01 | 西北大学 | 基于注意力机制的肝脏病理图像分割模型建立及分割方法 |
US20210133966A1 (en) * | 2019-10-02 | 2021-05-06 | Memorial Sloan Kettering Cancer Center | Deep multi-magnification networks for multi-class image segmentation |
CN113052856A (zh) * | 2021-03-12 | 2021-06-29 | 北京工业大学 | 一种基于多尺度特征多路注意力融合机制的海马体三维语义网络分割方法 |
-
2021
- 2021-07-07 CN CN202110767563.3A patent/CN113496496B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110060262A (zh) * | 2019-04-18 | 2019-07-26 | 北京市商汤科技开发有限公司 | 一种图像分割方法及装置、电子设备和存储介质 |
CN110097131A (zh) * | 2019-05-08 | 2019-08-06 | 南京大学 | 一种基于对抗协同训练的半监督医疗图像分割方法 |
US20210133966A1 (en) * | 2019-10-02 | 2021-05-06 | Memorial Sloan Kettering Cancer Center | Deep multi-magnification networks for multi-class image segmentation |
CN110969626A (zh) * | 2019-11-27 | 2020-04-07 | 西南交通大学 | 基于3d神经网络的人脑核磁共振影像的海马体提取方法 |
CN112017191A (zh) * | 2020-08-12 | 2020-12-01 | 西北大学 | 基于注意力机制的肝脏病理图像分割模型建立及分割方法 |
CN113052856A (zh) * | 2021-03-12 | 2021-06-29 | 北京工业大学 | 一种基于多尺度特征多路注意力融合机制的海马体三维语义网络分割方法 |
Non-Patent Citations (4)
Title |
---|
KANGLI QIN ET AL.: "《Asymmetric Encode-Decode Network with Two Decoding Paths For Skin Lesion Segmentation》", 《2020 5TH INTERNATIONAL CONFERENCE ON BIOMEDICAL IMAGING , SIGNAL PROCESSING》 * |
LE GENG ET AL.: "《M2E-Net: Multiscale Morphological Enhancement Network for Retinal Vessel Segmentation》", 《PATTERN RECOGNITION AND COMPUTER VISION》 * |
唐维: "《基于深度学习的肝脏CT图像分割方法研究》", 《中国优秀博硕士学位论文全文数据库(硕士)医药卫生科技辑》 * |
张雪媛: "《基于卷积神经网络的宫颈细胞核分割与识别方法》", 《中国优秀博硕士学位论文全文数据库(硕士)医药卫生科技辑》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115937129A (zh) * | 2022-12-01 | 2023-04-07 | 北京邮电大学 | 基于多模态磁共振影像的左右半脑关系的处理方法及装置 |
CN115937129B (zh) * | 2022-12-01 | 2024-04-02 | 北京邮电大学 | 基于多模态磁共振影像的左右半脑关系的处理方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN113496496B (zh) | 2023-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112927240B (zh) | 一种基于改进的AU-Net网络的CT图像分割方法 | |
CN111798462A (zh) | 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法 | |
CN113012172A (zh) | 一种基于AS-UNet的医学图像分割方法及*** | |
CN112215844A (zh) | 基于ACU-Net的MRI多模态图像分割方法和*** | |
CN114494296A (zh) | 一种基于Unet和Transformer相融合的脑部胶质瘤分割方法与*** | |
CN114066866A (zh) | 一种基于深度学习的医学图像自动分割方法 | |
CN112884788B (zh) | 基于丰富上下文网络的视杯视盘分割方法及成像方法 | |
CN112465754B (zh) | 基于分层感知融合的3d医疗图像分割方法、装置及存储介质 | |
CN112288749A (zh) | 一种基于深度迭代融合深度学习模型的颅骨图像分割方法 | |
CN113496496B (zh) | 基于多种损失和多尺度特征的mri影像海马体区域分割方法 | |
CN115471512A (zh) | 一种基于自监督对比学习的医学影像分割方法 | |
CN104463885A (zh) | 一种多发性硬化损伤区域分割方法 | |
CN115294029A (zh) | 一种面向多模态图像的脑部病灶区域定位***和方法 | |
CN114581474A (zh) | 一种基于***ct影像的临床靶区自动勾画方法 | |
CN117611601B (zh) | 基于文字辅助的半监督3d医学图像分割方法 | |
CN110992309A (zh) | 基于深层信息传递网络的眼底图像分割方法 | |
CN114549394A (zh) | 一种基于深度学习的肿瘤病灶区域语义分割方法及*** | |
CN113269764A (zh) | 颅内动脉瘤自动分割方法、***、样本处理及模型训练方法 | |
CN110728660B (zh) | 基于缺血性脑卒中mri检测标记进行病灶分割的方法及装置 | |
CN116229074A (zh) | 一种递进式边界区域优化的医学图像小样本分割方法 | |
CN116228690A (zh) | 基于pet-ct的胰腺癌与自身性免疫性胰腺炎自动辅助诊断方法 | |
CN113379770A (zh) | 鼻咽癌mr图像分割网络的构建方法、图像分割方法及装置 | |
CN113269816A (zh) | 一种分区域递进式脑图像弹性配准方法及*** | |
CN111210436A (zh) | 晶状体分割方法、装置及存储介质 | |
CN113516671B (zh) | 一种基于U-net和注意力机制的婴幼儿脑组织图像分割方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |