CN111046921A - 基于U-Net网络和多视角融合的脑肿瘤分割方法 - Google Patents
基于U-Net网络和多视角融合的脑肿瘤分割方法 Download PDFInfo
- Publication number
- CN111046921A CN111046921A CN201911168205.XA CN201911168205A CN111046921A CN 111046921 A CN111046921 A CN 111046921A CN 201911168205 A CN201911168205 A CN 201911168205A CN 111046921 A CN111046921 A CN 111046921A
- Authority
- CN
- China
- Prior art keywords
- net
- layer
- convolution
- intra
- blocks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Image Processing (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明涉及一种基于U‑Net网络和多视角融合的脑肿瘤分割方法,包括下列步骤:第一步,将对脑肿瘤核磁共振图像进行预处理,沿轴向、矢向和冠向三个方向裁剪成适合级联各向异性空洞卷积U‑Net网络的切块,划分训练集与测试集;第二步,用Tensorflow框架构建级联各向异性空洞卷积U‑Net网络,级联各向异性空洞卷积U‑Net网络的主体结构为三级级联:用于分割脑肿瘤整体的网络W‑Net、用于分割肿瘤核的T‑Net以及用于分割增强肿瘤的网络E‑Net,三级网络通过级联连接;第四步,测试模型。
Description
技术领域
本发明属于3D医学图像分割领域,涉及一种级联各向异性空洞卷积U-Net网络和多视角融合的3D脑肿瘤核磁共振图像分割方法。
背景技术
脑肿瘤分割是将脑肿瘤患者的脑部医学影像中的肿瘤区域与健康的组织区域分割开。在脑肿瘤当中,神经胶质是最常见的肿瘤,根据肿瘤细胞的攻击性和组织学异质性,可以分为高胶质肿瘤(HGG)与低胶质肿瘤(LGG)两种。肿瘤区域可以细分为肿瘤核部分、水肿部分、增强肿瘤部分、非增强肿瘤部分以及坏死部分,现代的核磁共振图像可以有效地区分上述区域:T1、T1c、T2以及FLAIR四种模态分别对肿瘤核区域、增强肿瘤和坏死区域、水肿以及整个肿瘤区域有所侧重。由于脑肿瘤的致死率较高,医生的手动标注需要花费时间,而时间对于患者制定治疗计划、手术以及后续观察都至关重要。所以需要用机器自动标注的方法分割脑肿瘤来辅助医生诊断,在短时间内分割出肿瘤的情况,为患者争取治疗时间。
现有的深度学习脑肿瘤分割方法比较常见的有FCN、U-Net和V-Net的结构,GuotaiWang在FCN的基础上加入了空洞卷积,在保证分辨率的同时增大卷积核感受野,但是FCN不能很好地恢复图像分辨率;所以U-Net网络在解码路径上加入了反卷积层,能够有效地回复特征图的分辨率,而且U-Net中的跳层结构可以融合不同深度的特征图,有利于兼顾总体和细节信息;V-Net用3维卷积核进行卷积,并且加入了残差结构,有效解决网络退化问题;但是U-Net与V-Net只关注解码路径的最后一层输出,对于解码路径上其他层的特征图造成一定浪费,而且U-Net忽略了切片之间的关联信息,V-Net运算量过大,实现比较困难。
发明内容
本发明针对3D医学图像分割问题,提供一种基于级联各向异性空洞卷积网络和多视角融合的3D脑肿瘤核磁共振图像分割的方法。可以有效解决FCN结构不能较好恢复图像分辨率的问题,同时解决了U-Net 结构切片之间关联信息,V-Net运算量难度大的问题;分割结果具有较高的精度,技术方案如下:
一种基于U-Net网络和多视角融合的脑肿瘤分割方法,包括下列步骤:
第一步,将对脑肿瘤核磁共振图像进行预处理,沿轴向、矢向和冠向三个方向裁剪成适合级联各向异性空洞卷积U-Net网络的切块,划分训练集与测试集。
第二步,用Tensorflow框架构建级联各向异性空洞卷积U-Net网络,级联各向异性空洞卷积U-Net网络的主体结构为三级级联:用于分割脑肿瘤整体的网络W-Net、用于分割肿瘤核的T-Net以及用于分割增强肿瘤的网络E-Net,三级网络通过级联连接:
(1)W-Net与T-Net网络结构一致,包括编码路径、解码路径与跳层连接三部分:
a)编码路径有三层:第一层含有4个帧内卷积块和1个帧间卷积块;第二层含有1个降采样层、2个帧内卷积块、4个空洞帧内卷积快和1个帧间卷积块;第三层含有1个降采样层、4个帧内卷积块和一个升采样层;其中每两个帧内卷积快用残差结构连接;
b)解码路径有两层:第一层含有4个空洞帧内卷积块、2个帧内卷积块、1个帧内卷积快和1个升采样层,第二层含有4个帧内卷积块和1个帧间卷积块,其中,每两个帧内卷积快用残差结构连接;
c)跳层结构有四条:第一条跳层结构将编码路径第一层输出与解码路径第一层输出的特征图进行通道数上的拼接,作为解码路径第二层的输入;第二条跳层结构将编码路径第二层输出与编码路径第三层输出的特征图进行通道数上的拼接,作为解码路径第一层的输入;第三、第四条跳层结构将编码路径第三层输出、解码路径第一层输出的特征图与解码路径第二层输出的特征图进行通道数上的拼接,再通过一个通道数为2的卷积层得到输出结果;
(2)E-Net与W-Net和T-Net结构类似,不同之处在于:在编码路径第三层上减少降采样层与升采样层;
第三步,训练参数模型,将第一步得到的训练集作为级联各向异性空洞卷积U-Net网络的输入训练参数模型:
(1)训练级联各向异性空洞卷积U-Net网络的轴向参数:
a)将轴向的训练集切块作为W-Net的输入,经过W-Net的编码路径、解码路径和跳层结构后得到W-Net 的输出,将结果与Ground Truth比较,根据损失函数进行反向传播,更新权重并保存参数模型;
b)将W-Net的输出结果作为T-Net的感兴趣区域进行裁剪,将裁剪后的切块作为T-Net的输入,经过 T-Net的编码路径、解码路径和跳层结构后得到T-Net的输出,将结果与Ground Truth比较,根据损失函数进行反向传播,更新权重并保存参数模型;
c)将T-Net的输出结果作为E-Net的感兴趣区域进行裁剪,将裁剪后的切块作为E-Net的输入,经过 E-Net的编码路径、解码路径和跳层结构后得到E-Net的输出,将结果与Ground Truth比较,根据损失函数进行反向传播,更新权重并保存参数模型;
(2)训练级联各向异性空洞卷积U-Net网络的矢向参数,得到三组参数模型;
(3)训练级联各向异性空洞卷积U-Net网络的冠向参数,得到三组参数模型;
第四步,测试模型:
(1)将测试数据按轴向、矢向和冠向进行裁剪,将裁剪后的切块作为输入;
(2)加载第三步得到的9组参数模型,在轴向、矢向和冠向分别对切块进行W-Net、T-Net与E-Net 的分割,得到轴向、矢向和冠向三个方向的分割结果,再将三个方向的分割结果进行融合,得到最终的3D 脑肿瘤核磁共振图像分割结果。
本发明为级联各向异性空洞卷积U-Net网络和多视角融合的3D脑肿瘤分割方法,利用三级级联结构将多类分割问题简化为三个二类分割问题,降低分割难度;利用各向异性卷积在保证提取帧内与帧间特征信息的前提下减少运算难度和GPU内存占用;利用空洞卷积在保证脑肿瘤核磁共振图像分辨率的情况下增大卷积核感受野,得到更为全局的特征信息;多视角融合能够兼顾轴向、矢向和冠向的分割结果减少假阳点;可以得到较高的分割精度。
附图说明
图1级联各向异性空洞卷积U-Net网络中W-Net与T-Net结构图
图2级联各向异性空洞卷积U-Net网络中E-Net结构图
图3级联各向异性空洞卷积U-Net网络参数的训练过程
图4级联各向异性空洞卷积U-Net网络和多视角融合的3D脑肿瘤分割结果图 (a)(b)(c)分别为轴向、矢向、冠向Ground Truth分割标签,(d)(e)(f)分别为轴向、矢向、冠向级联各向异性空洞卷积U-Net网络和多视角融合的分割结果。
具体实施方式
为使本发明的技术方案更加清楚,下面结合附图对本发明做进一步阐述.。本发明按以下步骤具体实现:
第一步,构建数据集并进行数据预处理:
本发明使用了公开的BraTS 2017(Brain Tumor Segmentation 2017)数据集,数据集由210个高胶质肿瘤(HGG)病例以及75个低胶质肿瘤(LGG)病例共285个病例组成,将数据集按照训练集和测试集 4:1的比例进行划分,从HGG与LGG的病例中各抽取20%作为测试集;每个病例含有T1、T1c、T2以及FLAIR 四种模态的核磁共振图像组成,每张核磁共振图像的尺寸大小为240*240*155,由于GPU内存的限制以及增加对感兴趣区域的训练量、减少假阳点,将训练集病例的图片沿着轴向、矢向和冠向三个方向进行裁剪,裁剪成大小为144*144*19的切块。
第二步,利用深度学习框架Tensorflow构建级联各向异性空洞卷积U-Net网络。级联各向异性空洞卷积U-Net网络分为三部分:用于分割脑肿瘤整体的网络(W-Net)、用于分割肿瘤核的网络(T-Net)以及用于分割增强肿瘤的网络(E-Net)三部分,通过级联连接,前一级网络的输出作为下一级网络的输入;下面对这三部分做详细介绍:
(1)W-Net用于分割脑肿瘤整体,将脑肿瘤的核磁共振图像分割为健康组织区域以及脑肿瘤整体区域 (WT),W-Net的网络结构如附图1所示,分为三部分:编码路径、解码路径以及跳层连接;下面对这三部分结构做详细介绍:
a)编码路径分为三层:第一层由4个帧内卷积块和1个帧间卷积块组成,4个帧内卷积块结构一致,每个帧内卷积块含有1个卷积核大小为3*3*1、扩张率为1*1*1、通道数为32的卷积层,1个Batch Norm 层以及1个PRelu层,每两个帧内卷积块组成一个残差块,共有两个残差块,帧间卷积块含有1个卷积核大小为1*1*3、扩张率为1*1*1、通道数为32的卷积层,1个Batch Norm层以及1个PRelu层;第二层由 1个降采样层、2个帧内卷积块、4个空洞帧内卷积块和1个帧间卷积块组成,其中降采样层为卷积核大小为3*3*1、步长为2*2*1的卷积层,2个帧内卷积块结构一致,分别含有1个卷积核大小为3*3*1、扩张率为1*1*1、通道数为32的卷积层,1个Batch Norm层以及1个PRelu层,两个帧内卷积块组成一个残差块,前两个空洞帧内卷积块结构一致,分别含有1个卷积核大小为3*3*1、扩张率为2*2*1、通道数为32的卷积层,1个Batch Norm层以及1个PRelu层,这两个帧内卷积块组成一个残差块,后两个空洞帧内卷积块结构一致,分别含有1个卷积核大小为3*3*1、扩张率为3*3*1、通道数为32的卷积层,1个Batch Norm 层以及1个PRelu层,这两个帧内卷积块组成一个残差块,第二层共有3个残差块,帧间卷积块含有1个卷积核大小为1*1*3、扩张率为1*1*1、通道数为32的卷积层,1个Batch Norm层以及1个PRelu层;第三层由1个降采样层、4个帧内卷积块和一个升采样层组成,降采样层为卷积核大小为3*3*1、步长为2*2*1 的卷积层,4个帧内卷积块结构一致,每个帧内卷积块含有1个卷积核大小为3*3*1、扩张率为1*1*1、通道数为32的卷积层,1个Batch Norm层以及1个PRelu层,每两个帧内卷积块组成一个残差块,共有两个残差块,升采样层为卷积核大小为3*3*1、步长为2*2*1的反卷积层。
b)解码路径分为两层:第一层由4个空洞帧内卷积块、2个帧内卷积块、1个帧间卷积块以及一个升采样层组成,前两个空洞帧内卷积块结构一致,分别含有1个卷积核大小为3*3*1、扩张率为3*3*1、通道数为32的卷积层,1个Batch Norm层以及1个PRelu层,这两个帧内卷积块组成一个残差块,后两个空洞帧内卷积块结构一致,分别含有1个卷积核大小为3*3*1、扩张率为2*2*1、通道数为32的卷积层, 1个Batch Norm层以及1个PRelu层,这两个帧内卷积块组成一个残差块,2个帧内卷积块结构一致,分别含有1个卷积核大小为3*3*1、扩张率为1*1*1、通道数为32的卷积层,1个Batch Norm层以及1个 PRelu层,两个帧内卷积块组成一个残差块,第一层共有3个残差块,帧间卷积块含有1个卷积核大小为 1*1*3、扩张率为1*1*1、通道数为32的卷积层,1个Batch Norm层以及1个PRelu层,升采样层为卷积核大小为3*3*1、步长为2*2*1的反卷积层;第二层由由4个帧内卷积块和1个帧间卷积块组成,4个帧内卷积块结构一致,每个帧内卷积块含有1个卷积核大小为3*3*1、扩张率为1*1*1、通道数为32的卷积层,1个Batch Norm层以及1个PRelu层,每两个帧内卷积块组成一个残差块,第二层共有两个残差块,帧间卷积块含有1个卷积核大小为1*1*3、扩张率为1*1*1、通道数为32的卷积层,1个Batch Norm层以及1个PRelu层。
c)跳层连接共有4条:第一条跳层连接将编码路径第一层的输出经过2个帧间卷积块后与解码路径第一层的输出在通道数C的维度上进行concatenation拼接,作为解码路径第二层的输入;第二条跳层连接将编码路径第二层的输出与编码路径第三层的输出在通道数C的维度上进行concatenation拼接,作为编码路径第一层的输入;第三条跳层连接将编码卷积第三层的输出经过1个升采样层和2个帧间卷积块后与解码路径第二层的输出以及第四条跳层连接的输出在在通道数C的维度上进行concatenation拼接;第四条跳层连接将解码路径第一层的输出经过1个帧间卷积块后与与解码路径第二层的输出以及第三条跳层连接的输出在在通道数C的维度上进行concatenation拼接,再通过1个通道数为2、卷积核大小为3*3*1的卷积层得到输出。其中所有的帧间卷积块结构一致,分别含有1个卷积核大小为1*1*3、扩张率为1*1*1、通道数为32的卷积层,1个Batch Norm层以及1个PRelu层,升采样层结构一致,为为卷积核大小为3*3*1、步长为2*2*1的反卷积层。
(2)T-Net用于分割肿瘤核,将脑肿瘤整体区域(WT)分割为肿瘤核(TC)和水肿区域(ED),用上一级W-Net的分割结果WT作为感兴趣区域进行裁剪,作为本级网络的输入,T-Net的网络结构与W-Net完全一致,如附图1。
(3)E-Net用于分割增强肿瘤,将肿瘤核区域(TC)分割为增强肿瘤区域(ET)以及非增强肿瘤区域,用上一级T-Net的分割结果TC作为感兴趣区域进行裁剪,作为本级网络的输入,E-Net的网络结构在解码路径第三层比W-Net和T-Net减少降采样层和升采样层,如附图2。
第三步,训练参数模型,将数据集中的80%数据量作为级联各向异性空洞卷积U-Net网络的训练集输入训练参数模型,训练过程如附图3所示:
(1)训练级联各向异性空洞卷积U-Net网络的轴向参数:
a)将第一步得到的大小为144*144*19的轴向训练切块作为训练W-Net的输入,batch size设为1,经过解码路径的三层之后得到三级不同深度层次的特征图,特征图尺寸分别为[1,144,144,17,32]、 [1,72,72,15,32]和[1,72,72,15,32],特征图的深度一次加深,其中第一个维度为N,是训练所使用的batch size,第二、第三个维度为垂直于轴向平面的特征图的尺寸W*H,第四个维度为特征图轴向尺寸Z,第五个维度为特征图通道数C;之后将第二层的输出与第三层输出的两种特征图用concatenation进行第五个维度上的拼接,作为解码路径第一级的输入,经过解码路径的第一层之后得到深度层次进一步加深的特征图,尺寸为[1,144,144,13,32],与第一条跳层连接的输出进行第五个维度上的concatenation拼接,得到更深的特征图,尺寸为[1,144,144,11,32],再与第三、第四条跳层结构的输出进行第五个维度上的 concatenation拼接,再通过1个通道数为2、卷积核大小为3*3*1的卷积层得到轴向上的W-Net输出。训练过程中学习率设为10-4,损失函数为DiceLoss,采用ADAM优化和L2正则化,迭代次数为10000,将输出结果与训练集的Ground Truth比较,根据损失函数,进行不断地反向传播,更新权重并保存参数模型。
b)将W-Net的输出结果作为T-Net的感兴趣区域进行裁剪,得到大小为96*96*19的切块作为T-Net 的训练输入,batch size设为2,经过解码路径的三层之后得到三级不同深度层次的特征图,特征图尺寸分别为[2,96,96,17,32]、[2,48,48,15,32]和[2,48,48,15,32],特征图的深度一次加深,其中第一个维度为N,是训练所使用的batch size,第二、第三个维度为垂直于轴向平面的特征图的尺寸W*H,第四个维度为特征图轴向尺寸Z,第五个维度为特征图通道数C;之后将第二层的输出与第三层输出的两种特征图用concatenation进行第五个维度上的拼接,作为解码路径第一级的输入,经过解码路径的第一层之后得到深度层次进一步加深的特征图,尺寸为[2,96,96,13,32],与第一条跳层连接的输出进行第五个维度上的concatenation拼接,得到更深的特征图,尺寸为[2,96,96,11,32],再与第三、第四条跳层结构的输出进行第五个维度上的concatenation拼接,再通过1个通道数为2、卷积核大小为3*3*1的卷积层得到轴向上的T-Net输出。训练过程中学习率设为10-4,损失函数为Dice Loss,采用ADAM优化和L2正则化,迭代次数为10000,将输出结果与训练集的GroundTruth比较,根据损失函数,进行不断地反向传播,更新权重并保存参数模型。
c)将T-Net的输出结果作为E-Net的感兴趣区域进行裁剪,得到大小为64*64*19的切块作为T-Net 的训练输入,batch size设为4,经过解码路径的三层之后得到三级不同深度层次的特征图,特征图尺寸分别为[4,64,64,17,32]、[4,32,32,15,32]和[4,32,32,15,32],特征图的深度一次加深,其中第一个维度为N,是训练所使用的batch size,第二、第三个维度为垂直于轴向平面的特征图的尺寸W*H,第四个维度为特征图轴向尺寸Z,第五个维度为特征图通道数C;之后将第二层的输出与第三层输出的两种特征图用concatenation进行第五个维度上的拼接,作为解码路径第一级的输入,经过解码路径的第一层之后得到深度层次进一步加深的特征图,尺寸为[4,64,64,13,32],与第一条跳层连接的输出进行第五个维度上的concatenation拼接,得到更深的特征图,尺寸为[4,64,64,11,32],再与第三、第四条跳层结构的输出进行第五个维度上的concatenation拼接,再通过1个通道数为2、卷积核大小为3*3*1的卷积层得到轴向上的E-Net输出。训练过程中学习率设为10-4,损失函数为Dice Loss,采用ADAM优化和L2正则化,迭代次数为10000,将输出结果与训练集的GroundTruth比较,根据损失函数,进行不断地反向传播,更新权重并保存参数模型。
(2)训练级联各向异性空洞卷积U-Net网络的矢向参数,将第一步得到的大小为144*144*19的矢向切块作为级联各向异性空洞卷积U-Net网络的输入,步骤与(1)相同。得到三组参数模型。
(3)训练级联各向异性空洞卷积U-Net网络的矢向参数,将第一步得到的大小为144*144*19的冠向切块作为级联各向异性空洞卷积U-Net网络的输入,步骤与(1)相同。得到三组参数模型。
第四步,测试模型,将BraTS 2017数据集当中的剩余20%图像裁剪成切块,作为测试集,测试步骤如下:
(1)将测试数据集按轴向裁剪为180*160*19的切块,将第二步得到的3组轴向分割的参数模型载入级联各向异性空洞卷积U-Net网络,每一级各向异性空洞卷积U-Net网络根据训练过程得到的参数模型对测试集进行分割,得到轴向的分割结果热力图。
(2)将测试数据集按矢向裁剪为160*180*19的切块,将第二步得到的3组矢向分割的参数模型载入级联各向异性空洞卷积U-Net网络,每一级各向异性空洞卷积U-Net网络根据训练过程得到的参数模型对测试集进行分割,得到轴向的分割结果热力图。
(3)将测试数据集按冠向裁剪为160*180*19的切块,将第二步得到的3组冠向分割的参数模型载入级联各向异性空洞卷积U-Net网络,每一级各向异性空洞卷积U-Net网络根据训练过程得到的参数模型对测试集进行分割,得到轴向的分割结果热力图。
(4)将(1)、(2)和(3)得到的轴向、矢向和冠向的分割结果热力图用softmax求平均,得到最终的3D脑肿瘤核磁共振图像分割图,将分割结果与数据集的Ground Truth进行比较,得到分割精度Dice 分数:WT的Dice分数为0.8880,TC的Dice分数为0.8107,ET的Dice分数为0.7544,比FCN结构在WT 上的Dice提高了0.005,在ET的Dice分数上提高了0.024。
Claims (1)
1.一种基于U-Net网络和多视角融合的脑肿瘤分割方法,包括下列步骤:
第一步,将对脑肿瘤核磁共振图像进行预处理,沿轴向、矢向和冠向三个方向裁剪成适合级联各向异性空洞卷积U-Net网络的切块,划分训练集与测试集。
第二步,用Tensorflow框架构建级联各向异性空洞卷积U-Net网络,级联各向异性空洞卷积U-Net网络的主体结构为三级级联:用于分割脑肿瘤整体的网络W-Net、用于分割肿瘤核的T-Net以及用于分割增强肿瘤的网络E-Net,三级网络通过级联连接:
(1)W-Net与T-Net网络结构一致,包括编码路径、解码路径与跳层连接三部分:
a)编码路径有三层:第一层含有4个帧内卷积块和1个帧间卷积块;第二层含有1个降采样层、2个帧内卷积块、4个空洞帧内卷积快和1个帧间卷积块;第三层含有1个降采样层、4个帧内卷积块和一个升采样层;其中每两个帧内卷积快用残差结构连接;
b)解码路径有两层:第一层含有4个空洞帧内卷积块、2个帧内卷积块、1个帧内卷积快和1个升采样层,第二层含有4个帧内卷积块和1个帧间卷积块,其中,每两个帧内卷积快用残差结构连接;
c)跳层结构有四条:第一条跳层结构将编码路径第一层输出与解码路径第一层输出的特征图进行通道数上的拼接,作为解码路径第二层的输入;第二条跳层结构将编码路径第二层输出与编码路径第三层输出的特征图进行通道数上的拼接,作为解码路径第一层的输入;第三、第四条跳层结构将编码路径第三层输出、解码路径第一层输出的特征图与解码路径第二层输出的特征图进行通道数上的拼接,再通过一个通道数为2的卷积层得到输出结果;
(2)E-Net与W-Net和T-Net结构类似,不同之处在于:在编码路径第三层上减少降采样层与升采样层;
第三步,训练参数模型,将第一步得到的训练集作为级联各向异性空洞卷积U-Net网络的输入训练参数模型:
(1)训练级联各向异性空洞卷积U-Net网络的轴向参数:
a)将轴向的训练集切块作为W-Net的输入,经过W-Net的编码路径、解码路径和跳层结构后得到W-Net的输出,将结果与GroundTruth比较,根据损失函数进行反向传播,更新权重并保存参数模型;
b)将W-Net的输出结果作为T-Net的感兴趣区域进行裁剪,将裁剪后的切块作为T-Net的输入,经过T-Net的编码路径、解码路径和跳层结构后得到T-Net的输出,将结果与GroundTruth比较,根据损失函数进行反向传播,更新权重并保存参数模型;
c)将T-Net的输出结果作为E-Net的感兴趣区域进行裁剪,将裁剪后的切块作为E-Net的输入,经过E-Net的编码路径、解码路径和跳层结构后得到E-Net的输出,将结果与GroundTruth比较,根据损失函数进行反向传播,更新权重并保存参数模型;
(2)训练级联各向异性空洞卷积U-Net网络的矢向参数,得到三组参数模型;
(3)训练级联各向异性空洞卷积U-Net网络的冠向参数,得到三组参数模型;
第四步,测试模型:
(1)将测试数据按轴向、矢向和冠向进行裁剪,将裁剪后的切块作为输入;
(2)加载第三步得到的9组参数模型,在轴向、矢向和冠向分别对切块进行W-Net、T-Net与E-Net的分割,得到轴向、矢向和冠向三个方向的分割结果,再将三个方向的分割结果进行融合,得到最终的3D脑肿瘤核磁共振图像分割结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911168205.XA CN111046921B (zh) | 2019-11-25 | 2019-11-25 | 基于U-Net网络和多视角融合的脑肿瘤分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911168205.XA CN111046921B (zh) | 2019-11-25 | 2019-11-25 | 基于U-Net网络和多视角融合的脑肿瘤分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111046921A true CN111046921A (zh) | 2020-04-21 |
CN111046921B CN111046921B (zh) | 2022-02-15 |
Family
ID=70233339
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911168205.XA Active CN111046921B (zh) | 2019-11-25 | 2019-11-25 | 基于U-Net网络和多视角融合的脑肿瘤分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111046921B (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111738954A (zh) * | 2020-06-24 | 2020-10-02 | 北京航空航天大学 | 一种基于双层空洞U-Net模型的单帧湍流退化图像去畸变方法 |
CN112215850A (zh) * | 2020-08-21 | 2021-01-12 | 天津大学 | 一种带注意力机制的级联空洞卷积网络脑肿瘤分割方法 |
CN112446891A (zh) * | 2020-10-23 | 2021-03-05 | 浙江工业大学 | 基于U-Net网络脑胶质瘤的医学图像分割方法 |
CN112634192A (zh) * | 2020-09-22 | 2021-04-09 | 广东工业大学 | 一种结合小波变换的级联U-N Net脑肿瘤分割方法 |
CN112767417A (zh) * | 2021-01-20 | 2021-05-07 | 合肥工业大学 | 一种基于级联U-Net网络的多模态图像分割方法 |
CN112785602A (zh) * | 2021-01-08 | 2021-05-11 | 重庆兆琨智医科技有限公司 | 一种多模态脑肿瘤图像分割***及方法 |
CN113591608A (zh) * | 2021-07-12 | 2021-11-02 | 浙江大学 | 一种基于深度学习的高分辨率遥感影像不透水面提取方法 |
CN113627073A (zh) * | 2021-07-01 | 2021-11-09 | 武汉大学 | 一种基于改进的Unet++网络的水下航行器流场结果预测方法 |
CN114638814A (zh) * | 2022-03-29 | 2022-06-17 | 华南农业大学 | 基于ct图像的结直肠癌自动分期方法、***、介质及设备 |
CN115937234A (zh) * | 2023-03-03 | 2023-04-07 | 北京智源人工智能研究院 | 基于预处理加速的肿瘤图像分割方法、装置和电子设备 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109087318A (zh) * | 2018-07-26 | 2018-12-25 | 东北大学 | 一种基于优化U-net网络模型的MRI脑肿瘤图像分割方法 |
CN109191471A (zh) * | 2018-08-28 | 2019-01-11 | 杭州电子科技大学 | 基于改进U-Net网络的胰腺细胞图像分割方法 |
CN110047080A (zh) * | 2019-03-12 | 2019-07-23 | 天津大学 | 一种基于V-Net的多模态脑肿瘤图像精细分割的方法 |
CN110084823A (zh) * | 2019-04-18 | 2019-08-02 | 天津大学 | 基于级联各向异性fcnn的三维脑肿瘤图像分割方法 |
CN110120048A (zh) * | 2019-04-12 | 2019-08-13 | 天津大学 | 结合改进U-Net和CMF的三维脑肿瘤图像分割方法 |
CN110120033A (zh) * | 2019-04-12 | 2019-08-13 | 天津大学 | 基于改进的U-Net神经网络三维脑肿瘤图像分割方法 |
KR20190119261A (ko) * | 2018-04-12 | 2019-10-22 | 가천대학교 산학협력단 | 멀티 스케일 이미지와 멀티 스케일 확장된 컨볼루션 기반의 완전 컨볼루션 뉴럴 네트워크를 이용한 시맨틱 이미지 세그먼테이션 장치 및 그 방법 |
CN110363210A (zh) * | 2018-04-10 | 2019-10-22 | 腾讯科技(深圳)有限公司 | 一种图像语义分割模型的训练方法和服务器 |
-
2019
- 2019-11-25 CN CN201911168205.XA patent/CN111046921B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110363210A (zh) * | 2018-04-10 | 2019-10-22 | 腾讯科技(深圳)有限公司 | 一种图像语义分割模型的训练方法和服务器 |
KR20190119261A (ko) * | 2018-04-12 | 2019-10-22 | 가천대학교 산학협력단 | 멀티 스케일 이미지와 멀티 스케일 확장된 컨볼루션 기반의 완전 컨볼루션 뉴럴 네트워크를 이용한 시맨틱 이미지 세그먼테이션 장치 및 그 방법 |
CN109087318A (zh) * | 2018-07-26 | 2018-12-25 | 东北大学 | 一种基于优化U-net网络模型的MRI脑肿瘤图像分割方法 |
CN109191471A (zh) * | 2018-08-28 | 2019-01-11 | 杭州电子科技大学 | 基于改进U-Net网络的胰腺细胞图像分割方法 |
CN110047080A (zh) * | 2019-03-12 | 2019-07-23 | 天津大学 | 一种基于V-Net的多模态脑肿瘤图像精细分割的方法 |
CN110120048A (zh) * | 2019-04-12 | 2019-08-13 | 天津大学 | 结合改进U-Net和CMF的三维脑肿瘤图像分割方法 |
CN110120033A (zh) * | 2019-04-12 | 2019-08-13 | 天津大学 | 基于改进的U-Net神经网络三维脑肿瘤图像分割方法 |
CN110084823A (zh) * | 2019-04-18 | 2019-08-02 | 天津大学 | 基于级联各向异性fcnn的三维脑肿瘤图像分割方法 |
Non-Patent Citations (9)
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111738954B (zh) * | 2020-06-24 | 2022-11-25 | 北京航空航天大学 | 一种基于双层空洞U-Net模型的单帧湍流退化图像去畸变方法 |
CN111738954A (zh) * | 2020-06-24 | 2020-10-02 | 北京航空航天大学 | 一种基于双层空洞U-Net模型的单帧湍流退化图像去畸变方法 |
CN112215850A (zh) * | 2020-08-21 | 2021-01-12 | 天津大学 | 一种带注意力机制的级联空洞卷积网络脑肿瘤分割方法 |
CN112634192A (zh) * | 2020-09-22 | 2021-04-09 | 广东工业大学 | 一种结合小波变换的级联U-N Net脑肿瘤分割方法 |
CN112634192B (zh) * | 2020-09-22 | 2023-10-13 | 广东工业大学 | 一种结合小波变换的级联U-N Net脑肿瘤分割方法 |
CN112446891A (zh) * | 2020-10-23 | 2021-03-05 | 浙江工业大学 | 基于U-Net网络脑胶质瘤的医学图像分割方法 |
CN112446891B (zh) * | 2020-10-23 | 2024-04-02 | 浙江工业大学 | 基于U-Net网络脑胶质瘤的医学图像分割方法 |
CN112785602A (zh) * | 2021-01-08 | 2021-05-11 | 重庆兆琨智医科技有限公司 | 一种多模态脑肿瘤图像分割***及方法 |
CN112767417A (zh) * | 2021-01-20 | 2021-05-07 | 合肥工业大学 | 一种基于级联U-Net网络的多模态图像分割方法 |
CN112767417B (zh) * | 2021-01-20 | 2022-09-13 | 合肥工业大学 | 一种基于级联U-Net网络的多模态图像分割方法 |
CN113627073B (zh) * | 2021-07-01 | 2023-09-19 | 武汉大学 | 一种基于改进的Unet++网络的水下航行器流场结果预测方法 |
CN113627073A (zh) * | 2021-07-01 | 2021-11-09 | 武汉大学 | 一种基于改进的Unet++网络的水下航行器流场结果预测方法 |
CN113591608A (zh) * | 2021-07-12 | 2021-11-02 | 浙江大学 | 一种基于深度学习的高分辨率遥感影像不透水面提取方法 |
CN114638814A (zh) * | 2022-03-29 | 2022-06-17 | 华南农业大学 | 基于ct图像的结直肠癌自动分期方法、***、介质及设备 |
CN114638814B (zh) * | 2022-03-29 | 2024-04-16 | 华南农业大学 | 基于ct图像的结直肠癌自动分期方法、***、介质及设备 |
CN115937234A (zh) * | 2023-03-03 | 2023-04-07 | 北京智源人工智能研究院 | 基于预处理加速的肿瘤图像分割方法、装置和电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN111046921B (zh) | 2022-02-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111046921B (zh) | 基于U-Net网络和多视角融合的脑肿瘤分割方法 | |
CN109063710B (zh) | 基于多尺度特征金字塔的3d cnn鼻咽癌分割方法 | |
CN108776969B (zh) | 基于全卷积网络的乳腺超声图像肿瘤分割方法 | |
CN110097550B (zh) | 一种基于深度学习的医学图像分割方法及*** | |
CN109598728A (zh) | 图像分割方法、装置、诊断***及存储介质 | |
WO2023231329A1 (zh) | 一种医学图像的语义分割方法及装置 | |
CN110060263A (zh) | 医学图像的分割方法、分割装置、分割***及计算机可读介质 | |
CN112084923B (zh) | 一种遥感图像语义分割方法、存储介质及计算设备 | |
CN110047080A (zh) | 一种基于V-Net的多模态脑肿瘤图像精细分割的方法 | |
CN114782350A (zh) | 一种基于注意力机制的多模态特征融合的mri脑瘤图像分割方法 | |
CN111179269B (zh) | 一种基于多视图和三维卷积融合策略的pet图像分割方法 | |
CN110706214A (zh) | 融合条件随机与残差的三维U-Net大脑肿瘤分割方法 | |
CN112598656A (zh) | 一种基于UNet++优化和权值预算的脑肿瘤分割算法 | |
CN113628220B (zh) | 基于改进的U-Net网络对MRI脑肿瘤图像的分割方法及*** | |
CN112802046B (zh) | 基于深度学习从多序列mr中生成伪ct的影像生成*** | |
CN112215850A (zh) | 一种带注意力机制的级联空洞卷积网络脑肿瘤分割方法 | |
CN111210444A (zh) | 多模态磁共振影像的分割方法、装置及介质 | |
CN112465754B (zh) | 基于分层感知融合的3d医疗图像分割方法、装置及存储介质 | |
CN114612408B (zh) | 一种基于联邦深度学习的心脏图像处理方法 | |
CN113160229A (zh) | 基于层级监督级联金字塔网络的胰腺分割方法及装置 | |
CN114627035A (zh) | 一种多聚焦图像融合方法、***、装置及存储介质 | |
CN111369567A (zh) | 三维图像中目标对象的分割方法、装置及电子设备 | |
CN112150449A (zh) | 一种脑卒中病灶分割方法和*** | |
CN117611601B (zh) | 基于文字辅助的半监督3d医学图像分割方法 | |
CN111667488B (zh) | 一种基于多角度U-Net的医学图像分割方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |