CN110458842B - 基于双通道三维密集连接网络的脑肿瘤分割方法 - Google Patents
基于双通道三维密集连接网络的脑肿瘤分割方法 Download PDFInfo
- Publication number
- CN110458842B CN110458842B CN201910559230.4A CN201910559230A CN110458842B CN 110458842 B CN110458842 B CN 110458842B CN 201910559230 A CN201910559230 A CN 201910559230A CN 110458842 B CN110458842 B CN 110458842B
- Authority
- CN
- China
- Prior art keywords
- channel
- dense connection
- dimensional dense
- connection network
- loss
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Processing (AREA)
Abstract
本发明提出了一种基于双通道三维密集连接网络的脑肿瘤分割方法。针对脑肿瘤形状、位置及大小等信息的不统一性,提出了一种双通道三维密集连接网络来实现MRI中脑肿瘤的自动分割,采用三维卷积核提取空间特征,双通道特征学习网络采用不同大小卷积核以提取不同尺度的特征,构建三维密集连接块加强了各级特征复用,使得用于最后分类的特征包含了更多的上下文内容,丰富了特征图细节,提升了分割的精度。
Description
技术领域
本发明涉及一种基于双通道三维密集连接网络的脑肿瘤分割方法,属于生物医学工程的领域。
背景技术
脑胶质瘤是神经胶质细胞不受控制地非自然生长和***的脑部肿瘤,其早期诊断对治疗起着至关重要的作用,而准确的肿瘤区域分割与定位是治疗的基础。核磁共振图像(Magnetic Resonance Imaging,MRI)具有良好的软组织对比度,提供了丰富的脑组织内部结构信息,且是一种非侵入性的体内检查技术,不会造成放射性损伤,因此临床上大多采用MRI作为诊断依据。不同模态的MRI成像存在差异,强调的信息不同,因此多模态的MRI信息对比对分割结果有利。临床上通常是相关专家手动分割,但手动分割是一个非常耗时费力的过程,且存在主观性认识,不同专家分割结果往往存在差异,因此人们一直在寻找自动准确分割胶质瘤的方法。传统的自动分割算法可以分为阈值法、分水岭算法、区域生长技术、基于梯度信息边缘检测算法等。这些方法通常是针对特定肿瘤形态,或某个模态的MR图像,泛化性不强,往往需要针对不同的患者图像手动调参。
脑肿瘤可以出现在脑部的任何地方,并且大小形状也是***,不同患者也存在差异。MRI图像由于受到噪声、局部容积效应和偏移场效应等退化条件影响,导致其图像灰度不均匀,肿瘤与正常组织、肿瘤内部子区域之间,可能有相似的灰度值。这些特点和不确定性给脑肿瘤图像分割算法的可靠性和分割结果的准确性带来了极大困难。
有鉴于此,确有必要提出一种基于双通道三维密集连接网络的脑肿瘤分割方法,以解决上述问题。
发明内容
本发明的目的在于提供一种基于双通道三维密集连接网络的脑肿瘤分割方法,主要解决脑肿瘤图像分割问题中的特征尺度、类不均衡等问题。
为实现上述目的,本发明提供了一种基于双通道三维密集连接网络的脑肿瘤分割方法,主要包括以下步骤:
步骤1,建立一个双通道三维密集连接网络,该双通道三维密集连接网络的上通道和下通道各具有两个三维密集连接块,每个三维密集连接块均包含四个卷积层;
步骤2,获取训练图像数据,并对训练图像数据进行预处理;
步骤3,将预处理后的训练图像数据输入双通道三维密集连接网络进行训练;
步骤4,基于训练后的双通道三维密集连接网络,输入测试图像进行后处理,以得到最终的分割结果图。
可选的,步骤2中预处理包括偏置场校正、提取体素切块和归一化操作。
可选的,偏置场校正采用N4ITK算法进行。
可选的,归一化操作采用0均值,方差为1的归一化,计算公式为
式中xi代表待归一化的值,yi代表归一化后的值,X表示输入序列,mean表示均值,std表示标准差。
可选的,步骤3具体包括:
步骤31,将体素切块输入到每个通道进行特征学习与传递,并将不同感受野下的特征进行融合,获得多尺度的特征表征方式;
步骤32,在上通道和下通道内构造三维密集连接块,进行特征学习与传递;
步骤33,利用Adam优化算法对双通道三维密集连接网络中的参数进行训练,并将两个通道获得的特征进行结联、输入到分类层。
可选的,步骤33中采用损失函数对双通道三维密集连接网络中的参数进行优化,所述损失函数包含两部分:第一部分是真实标签与预测结果的交叉熵损失,第二部分是多类Dice损失。
可选的,步骤33中输入到分类层的特征包括待预测类别体素点周围的细节特征以及较大范围的上下文特征。
可选的,所述步骤1中上通道和下通道的卷积核尺寸不同。
可选的,所述步骤1中每个卷积层的输出为
xl=Hl([x0,x1,…xl-1])
Hl(x)=W*R[B(x)],
其中,x0为输入,[x0,x1,…xl-1]代表前面l个层特征结联,B(x)代表批标准化,R表示Relu非线性激活,W表示学习到的权值矩阵,“*”代表卷积运算。
可选的,所述步骤4具体包括:
步骤41,针对边缘的体素采用零填充的方式补齐邻域,然后以滑动窗口的形式,依次获取与训练输入大小一致的体素切块输入到训练好的双通道三维密集连接网络中,以得到对应区域的概率图;
步骤42,通过概率求平均得到每个体素对应的类别概率,以获得完整的肿瘤分割结果图。
本发明的有益效果是:
(1)利用三维密集连接网络加强特征传播,重复利用各级特征,减少低级特征向高级特征传递过程中的损失。
(2)采用双通道特征提取网络,选取不同尺度的卷积核,在不同尺度感受野下获取特征结构,解决脑肿瘤区域大小不一致的问题。
(3)采用多类损失函数,降低因类不均衡问题造成的分类错误。
实验证明,本发明能够有效地分割出胶质瘤区域,比现行的方法具有更好的性能。
附图说明
图1是本发明基于双通道三维密集连接网络的脑肿瘤分割方法流程图。
图2是本发明提出的双通道三维密集连接网络结构图。
图3是图2中三维密集连接块的内部结构图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面结合附图和具体实施例对本发明进行详细描述。
本发明提供了一种基于双通道三维密集连接网络的脑肿瘤分割方法,主要解决脑肿瘤图像分割问题中的特征尺度、类不均衡等问题。
如图1所示,所述基于双通道三维密集连接网络的脑肿瘤分割方法,主要包括以下步骤:
步骤1,建立一个双通道三维密集连接网络,该双通道三维密集连接网络的上通道和下通道各具有两个三维密集连接块,每个三维密集连接块均包含四个卷积层。
如图2所示,MRI为三维数据,为了更好地获取体素间的空间信息,本发明提出了一种双通道三维密集连接网络,利用不同尺度的三维卷积核提取MRI中的体素特征,以提高特征的利用率,实现对每层特征的重复利用,同时可以解决肿瘤大小不一致的问题。
由于每个通道的特征学习结构类似,因此我们仅分析一个通道的结构,另一个通道的结构不再描述。
首先将输入体素切块通过一个初始化卷积层,进行特征升维操作,之后通过两个三维密集连接块进行特征学习与传递,最后将两个通道的特征结联、输入到分类层。
步骤2,获取训练图像数据,并对训练图像数据进行预处理。较佳地,预处理包括偏置场校正、提取体素切块(patch)和归一化操作。
由于MRI数据是非标准化的,归一化处理对于来自于不同设备、不同环境下通过不同协议采集到的数据进行后续的处理至关重要。
预处理的目的是确保在不同患者的图像及不同的模态之间有确定的匹配值范围以避免网络的初始偏差。由于磁场的不均匀性会导致图像灰度的偏移,在归一化操作之前会进行偏置场校正,采用的是一种N4ITK算法,它是一种改进的非参数非均匀强度归一化算法。
由于是采用基于体素切块的训练方式,提取体素切块也是预处理的一环。MRI数据中各类别所占比例差异较大,即类别不均衡问题,因此训练阶段体素切块的提取关系到网络最终的分割精度。例如:训练阶段我们对每个患者的样本数据提取400个体素切块,随机选取200个标签为0和不为0的体素点作为中心提取周边64×64×64大小的邻域。
归一化操作采用0均值,方差为1的归一化。计算公式如下:
式中xi代表待归一化的值,yi代表归一化后的值,X表示输入序列,mean表示均值,std表示标准差。
步骤3,将预处理后的训练图像数据输入双通道三维密集连接网络进行训练,具体包括:
步骤31,将体素切块输入到每个通道进行特征学习与传递,并将不同感受野下的特征进行融合,获得多尺度的特征表征方式;
步骤32,在上通道和下通道内构造三维密集连接块,进行特征学习与传递;
步骤33,利用Adam优化算法对双通道三维密集连接网络中的参数进行训练,并将两个通道获得的特征进行结联输入到分类层。
本发明中双通道三维密集连接网络的上通道和下通道采用的卷积核尺寸分别为3×3×3和5×5×5,步骤33中输入到分类层的特征包括待预测类别体素点周围的细节特征以及较大范围的上下文特征。
传统的卷积网络是通过特征的逐层传递从而获取局部信息,由感受野定义可以看出感受野的大小由卷积核的尺寸与步长决定,若单纯的采用较小的3×3×3的卷积核时对应的感受野区域较小且相对单一,只能获得局部固定区域大小的上下文信息。由于肿瘤区域大小不规则性,不同大小的感受野对于最后分类层的贡献不同,增加卷积核更大的特征学习通道可以利用更大范围的上下文信息,增大感受野。
如图3所示,为三维密集连接块,在每个通道构造三维密集连接块,每个三维密集连接块包含4个卷积层,其中x0为输入,每个卷积层的输出为:
xl=Hl([x0,x1,…xl-1])
Hl(x)=W*R[B(x)],
式中[x0,x1,…xl-1]代表前面l个层特征的结联,B(x)代表批标准化(BatchNormalization),R表示Relu非线性激活,W表示学习到的权值矩阵,“*”代表卷积运算。三维密集连接块的输出是前面所有卷积层的并集。三维密集连接的优点在于缓解梯度消失问题,加强特征传播,鼓励特征复用,极大的减少了参数量。
数据集与预处理通过步骤1已准备完成,以体素切块的形式输入进网络。在训练之前需进行网络权重的初始化,通过随机数进行初始化,其概率分布服从均值为0,方差为0.01的正态分布。
损失函数用来衡量网络预测输出和真实标签之间的差距,可作为步骤33中优化双通道三维密集连接网络中的参数的约束条件。由于脑肿瘤图像相比于自然图像存在严重的类不均衡问题,仅仅采用简单的交叉熵损失函数不能得到最优的分割结果,因此本文通过增加损失函数种类来解决肿瘤分割任务中存在的类不均衡问题。
本方法采用的损失函数包含两部分:第一部分是真实标签与预测结果的交叉熵损失,第二部分是多类Dice损失。
算法中采用的损失函数是两者的相加:
Loss(g,p)=Closs(g,p)+Dloss(g,p),
其中Closs(g,p)为交叉熵损失,Dloss(g,p)为多类Dice损失。
交叉熵损失Closs(g,p)的计算公式如下所示:
式中gi是真实值,pi是softmax输出的预测概率值,v代表待预测中心体素块的个数。
多类Dice损失Dloss(g,p)的计算公式如下所示:
例如:批处理大小为2,对于每个训练集样本训练4个epoch,采用Adam优化算法,初始学习率设置为5·10-4。
步骤4,基于训练后的双通道三维密集连接网络,输入测试图像进行后处理,以得到最终的分割结果图。
获取数据的后处理属于该网络的测试阶段,通过训练好的网络得到中心待预测区域的概率图,具体步骤包括:
步骤41,针对边缘的体素采用零填充的方式补齐邻域,然后以滑动窗口的形式,采取一定的步长从补齐后的数组中提取与训练输入大小一致的体素切块数据输入到训练好的双通道三维密集连接网络中进行预测,以得到对应区域的概率图。这样能够保证原图中每个体素都会被计算相同的次数。
步骤42,通过概率求平均得到每个体素对应的类别概率图,即对最后所有的体素进行分类,以得到完整的肿瘤分割结果图。
综上,本发明提出了一种基于双通道三维密集连接网络的脑肿瘤分割方法,双通道三维密集连接网络采用三维卷积核,相比于二维网络更好的利用MRI图像中各体素周围的灰度关系。通过设置不同卷积核大小以获取多尺度特征,构建三维密集连接网络进行特征学习与传递,加强特征复用,与传统卷积网络逐层连接相比,三维密集连接网络大大提高了各级特征对分类层的贡献,分割精度方面也有了显著提升。
以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的精神和范围。
Claims (8)
1.一种基于双通道三维密集连接网络的脑肿瘤分割方法,其特征在于,主要包括以下步骤:
步骤1,建立一个双通道三维密集连接网络,该双通道三维密集连接网络的上通道和下通道各具有两个三维密集连接块,每个三维密集连接块均包含四个卷积层;
步骤2,获取训练图像数据,并对训练图像数据进行预处理;
步骤3,将预处理后的训练图像数据输入双通道三维密集连接网络进行训练;所述步骤3具体包括:
步骤31,将体素切块输入到每个通道进行特征学习与传递,并将不同感受野下的特征进行融合,获得多尺度的特征表征方式;
步骤32,在上通道和下通道内构造三维密集连接块,进行特征学习与传递;
步骤33,利用Adam优化算法对双通道三维密集连接网络中的参数进行训练,并将两个通道获得的特征进行结联、输入到分类层;
步骤33中采用损失函数对双通道三维密集连接网络中的参数进行优化,所述损失函数包含两部分:第一部分是真实标签与预测结果的交叉熵损失,第二部分是多类Dice损失,所述损失函数为
Loss(g,p)=Closs(g,p)+Closs(g,p),
其中Closs(g,p)为交叉熵损失,Closs(g,p)为多类Dice损失;
交叉熵损失Closs(g,p)的计算公式如下所示:
式中gi是真实值,pi是softmax输出的预测概率值,v代表待预测中心体素块的个数;
多类Dice损失Dloss(g,p)的计算公式如下所示:
步骤4,基于训练后的双通道三维密集连接网络,输入测试图像进行后处理,以得到最终的分割结果图。
2.根据权利要求1所述的基于双通道三维密集连接网络的脑肿瘤分割方法,其特征在于:所述步骤2中预处理包括偏置场校正、提取体素切块和归一化操作。
3.根据权利要求2所述的基于双通道三维密集连接网络的脑肿瘤分割方法,其特征在于:所述偏置场校正采用N4ITK算法进行。
5.根据权利要求1所述的基于双通道三维密集连接网络的脑肿瘤分割方法,其特征在于:步骤33中输入到分类层的特征包括待预测类别体素点周围的细节特征以及上下文特征。
6.根据权利要求1所述的基于双通道三维密集连接网络的脑肿瘤分割方法,其特征在于:所述步骤1中上通道和下通道的卷积核尺寸不同。
7.根据权利要求1所述的基于双通道三维密集连接网络的脑肿瘤分割方法,其特征在于:所述步骤1中每个卷积层的输出为
xl=Hl([x0,x1,…xl-1])
Hl(x)=W*R[B(x)],
其中,x0为输入,[x0,x1,…xl-1]代表前面l个层特征结联,B(x)代表批标准化,R表示Relu非线性激活,W表示学习到的权值矩阵,“*”代表卷积运算。
8.根据权利要求1所述的基于双通道三维密集连接网络的脑肿瘤分割方法,其特征在于:所述步骤4具体包括:
步骤41,针对边缘的体素采用零填充的方式补齐邻域,然后以滑动窗口的形式,依次获取与训练输入大小一致的体素切块输入到训练好的双通道三维密集连接网络中,以得到对应区域的概率图;
步骤42,通过概率求平均得到每个体素对应的类别概率,以获得完整的肿瘤分割结果图。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910559230.4A CN110458842B (zh) | 2019-06-26 | 2019-06-26 | 基于双通道三维密集连接网络的脑肿瘤分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910559230.4A CN110458842B (zh) | 2019-06-26 | 2019-06-26 | 基于双通道三维密集连接网络的脑肿瘤分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110458842A CN110458842A (zh) | 2019-11-15 |
CN110458842B true CN110458842B (zh) | 2022-09-20 |
Family
ID=68481094
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910559230.4A Active CN110458842B (zh) | 2019-06-26 | 2019-06-26 | 基于双通道三维密集连接网络的脑肿瘤分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110458842B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111767964A (zh) * | 2020-07-08 | 2020-10-13 | 福州大学 | 基于改进的DenseNet的多通道特征重标记图像分类方法 |
CN113011499B (zh) * | 2021-03-22 | 2022-02-01 | 安徽大学 | 一种基于双注意力机制的高光谱遥感图像分类方法 |
CN114140639A (zh) * | 2021-11-04 | 2022-03-04 | 杭州医派智能科技有限公司 | 一种基于深度学习的图像中肾脏血管极尿极分类方法、计算机设备及计算机可读存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107220980A (zh) * | 2017-05-25 | 2017-09-29 | 重庆理工大学 | 一种基于全卷积网络的mri图像脑肿瘤自动分割方法 |
US20190005684A1 (en) * | 2017-06-28 | 2019-01-03 | Deepmind Technologies Limited | Generalizable medical image analysis using segmentation and classification neural networks |
CN109934832A (zh) * | 2019-03-25 | 2019-06-25 | 北京理工大学 | 基于深度学习的肝脏肿瘤分割方法及装置 |
-
2019
- 2019-06-26 CN CN201910559230.4A patent/CN110458842B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107220980A (zh) * | 2017-05-25 | 2017-09-29 | 重庆理工大学 | 一种基于全卷积网络的mri图像脑肿瘤自动分割方法 |
US20190005684A1 (en) * | 2017-06-28 | 2019-01-03 | Deepmind Technologies Limited | Generalizable medical image analysis using segmentation and classification neural networks |
CN109934832A (zh) * | 2019-03-25 | 2019-06-25 | 北京理工大学 | 基于深度学习的肝脏肿瘤分割方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN110458842A (zh) | 2019-11-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109584254B (zh) | 一种基于深层全卷积神经网络的心脏左心室分割方法 | |
CN108776969B (zh) | 基于全卷积网络的乳腺超声图像肿瘤分割方法 | |
CN112465830B (zh) | 一种磨玻璃样肺结节自动分割方法及计算机设备 | |
CN111985543B (zh) | 一种高光谱图像分类模型的构建方法、分类方法及*** | |
CN107644420B (zh) | 基于中心线提取的血管图像分割方法、核磁共振成像*** | |
CN106204587B (zh) | 基于深度卷积神经网络和区域竞争模型的多器官分割方法 | |
CN110458842B (zh) | 基于双通道三维密集连接网络的脑肿瘤分割方法 | |
WO2021203795A1 (zh) | 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法 | |
CN112258530A (zh) | 基于神经网络的计算机辅助肺结节自动分割方法 | |
CN109658422A (zh) | 一种基于多尺度深监督网络的视网膜图像血管分割方法 | |
CN106600571A (zh) | 融合全卷积神经网络和条件随机场的脑肿瘤自动分割方法 | |
CN108629785B (zh) | 基于自步学习的三维磁共振胰腺图像分割方法 | |
CN110555836A (zh) | 一种超声图像中胎儿标准切面的自动识别方法和*** | |
CN110415234A (zh) | 基于多参数磁共振成像的脑部肿瘤分割方法 | |
CN110619635B (zh) | 基于深度学习的肝细胞癌磁共振图像分割***和方法 | |
CN107680110B (zh) | 基于统计形状模型的内耳三维水平集分割方法 | |
CN111192248B (zh) | 一种用于核磁共振成像中的椎体定位、识别和分割的多任务关系学习方法 | |
CN110717518A (zh) | 基于3d卷积神经网络的持续性肺结节识别方法及装置 | |
CN108122221A (zh) | 弥散加权成像图像中脑缺血区域的分割方法及装置 | |
CN114782350A (zh) | 一种基于注意力机制的多模态特征融合的mri脑瘤图像分割方法 | |
WO2020057074A1 (zh) | 用于斑块分割的模型训练方法、装置、设备及存储介质 | |
CN107909588A (zh) | 基于三维全卷积神经网络的mri皮质下分区*** | |
CN114972362A (zh) | 一种基于RMAU-Net网络的医学图像自动分割方法与*** | |
CN112329844A (zh) | 图像目标分类方法及相关装置、设备、存储介质 | |
CN111986216B (zh) | 一种基于神经网络改进的rsg肝脏ct图像交互式分割算法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |