CN107220980B - 一种基于全卷积网络的mri图像脑肿瘤自动分割方法 - Google Patents

一种基于全卷积网络的mri图像脑肿瘤自动分割方法 Download PDF

Info

Publication number
CN107220980B
CN107220980B CN201710379095.6A CN201710379095A CN107220980B CN 107220980 B CN107220980 B CN 107220980B CN 201710379095 A CN201710379095 A CN 201710379095A CN 107220980 B CN107220980 B CN 107220980B
Authority
CN
China
Prior art keywords
layer
brain tumor
segmentation
mri image
convolutional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710379095.6A
Other languages
English (en)
Other versions
CN107220980A (zh
Inventor
崔少国
毛雷
熊舒羽
刘畅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Normal University
Original Assignee
Chongqing Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Normal University filed Critical Chongqing Normal University
Priority to CN201710379095.6A priority Critical patent/CN107220980B/zh
Publication of CN107220980A publication Critical patent/CN107220980A/zh
Application granted granted Critical
Publication of CN107220980B publication Critical patent/CN107220980B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/174Segmentation; Edge detection involving the use of two or more images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30016Brain
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明提供一种基于全卷积网络的MRI图像脑肿瘤自动分割方法,包括脑肿瘤多模态MRI图像预处理、全卷积网络模型构造、网络训练与参数调优和脑肿瘤图像自动分割,具体将MRI图像脑肿瘤的分割转换为像素级语义标注问题,对MRI不同模态强调的差异信息,将FLAIR、T1、T1c和T2四个模态的二维整幅切片合成四通道输入图像,利用已经训练好的卷积神经网络的卷积层和池化层作为基础特征层,在后添加三个与全连接层等同的卷积层构成中间层,使得中间层输出与语义分割类别数量相对应的粗糙分割图,在中间层的后面添加反卷积网络,用于对粗糙分割图进行插值得到与原图像大小一样的精细分割图。本发明不需要人工干预,有效提高了分割精度和效率,缩短了训练时间。

Description

一种基于全卷积网络的MRI图像脑肿瘤自动分割方法
技术领域
本发明涉及医学图像分析技术领域,具体涉及一种基于全卷积网络的MRI图像脑肿瘤自动分割方法。
背景技术
脑胶质瘤是一种严重危及患者生命的常见脑肿瘤,而脑肿瘤最常用的治疗方案就是手术切除。核磁共振成像(Magnetic resonance imaging,MRI)以图像方式显示大脑内部信息,是医学工作者分析颅内肿瘤的有力工具。MRI图像脑肿瘤分割对于早期诊断、治疗计划和治疗评估起着至关重要的作用。但是,早期手工分割标记方式工作繁琐且主观性强,脑胶质瘤与正常组织的边界不清晰,并且MRI图像本身受到噪声、偏移场效应和部分容积效应等的影响。因此设计自动分割算法是解决手工标记不足的最佳方式,这是分割技术的发展方向之一。
基于MRI图像的脑肿瘤传统分割方法大致可以分为三类,即基于边界、基于区域以及两者相结合的方法。其中,基于边界的方法就是在图像中标识目标的边界,基于区域的方法就是在图像中标识目标所占有的区域,两者相结合的方法就是将基于边界和基于区域的方法结合起来,取两者的优势而避免其劣势的方法。但是,本发明的发明人经过研究发现,在这些传统方法中,通过人的主观意识去理解图像,从而提取特定的特征信息,如灰度信息、纹理信息及对称信息等实现脑肿瘤的分割,结果只能针对特定的图像有比较好的分割结果,因而分割结果过于粗糙且分割效率较低。
随着人工智能尤其深度学习的出现,为脑肿瘤的自动分割提供了新的方向,传统的脑肿瘤分割方法逐步被基于机器学习的方式取代。其中,卷积神经网络作为有监督学习的代表,能够直接从数据中学习特征表示,通过逐层特征提取,将图像从简单的边缘、角点等底层特征,逐层组合形成更加抽象的高层次特征,在图像识别领域取得了显著效果,已被广泛地应用于医学图像处理。当前基于机器学习的分割方法是采用图像块分类,但是这种方法需要以滑动窗口的方式对每一个像素进行预测分类,导致分割效率低而不能应用于实际临床医学中。因此本发明的发明人提供了一种更高效、准确的基于全卷积网络的MRI图像脑肿瘤自动分割方法。
发明内容
针对现有传统分割方法要通过人的主观意识去理解图像,从而提取特定的特征信息,如灰度信息、纹理信息及对称信息等实现脑肿瘤的分割,结果只能针对特定图像有比较好的分割结果,因而分割结果过于粗糙且分割效率较低的技术问题,本发明提供一种基于全卷积网络的MRI图像脑肿瘤自动分割方法,该分割方法能够广泛应用于医学图像分割领域,特别是脑肿瘤分割方面。
为了解决上述技术问题,本发明采用了如下的技术方案:
一种基于全卷积网络的MRI图像脑肿瘤自动分割方法,包括以下步骤:
S1、脑肿瘤多模态MRI图像预处理,其包括:
S11、对T1和T1c两个模态MRI图像进行场偏移校正操作;
S12、提取FLAIR、T1、T1c和T2四个模态的MRI图像切片,在每一个MRI图像切片中,将大于1%最高灰度设置为0.99倍的最高灰度值,将小于1%最低灰度设置为0.99倍的最低灰度值;
S13、对每一个MRI图像切片的灰度值进行数据标准化和线性归一化操作;
S14、获得归一化后的MRI图像同一层的肿瘤切片,按照FLAIR、T1、T1c和T2的顺序组合成四通道图像,其中作为训练集、验证集和测试集的比例为10:1:1;
S2、全卷积网络模型构造,其包括:
S21、采用迁移学习方法,获取已经训练好的卷积神经网络模型的中间特征层作为全卷积网络模型的基础特征层,所述基础特征层包括四个卷积层组和池化层;
S22、在所述基础特征层之后,添加三个与全连接层等同的卷积层构成中间层,使得中间层输出与语义分割类别数量相对应的粗糙分割图;
S23、在中间层之后再添加反卷积层进行插值得到分割结果1,分割结果1再与基础特征层中倒数第二个池化层的输出特征图进行融合,融合后进行反卷积层插值得到分割结果2,依次类推,再分别与基础特征层中倒数第三个和第四个池化层进行融合和反卷积层插值,最终得到分割结果3和分割结果4,所述分割结果4是与语义分割类别数量相对应,且与原图像大小一样的预测分数矩阵,分割结果4上的每个像素所分的类是其在预测分数矩阵中最大值所对应的索引,形成了最终的分割结果图;
S3、网络训练与参数调优:将MRI图像脑肿瘤的分割转换为像素级语义标注问题,通过高斯随机变量初始化步骤S22中添加的三个卷积层的权值,利用预处理后的四通道图像作为训练样本并将其输入到构造的全卷积网络模型中,再采用随机梯度下降法作为优化方法有监督地最小化损失函数,从而对全卷积网络模型包括的所有卷积层的权值进行调优训练;
S4、脑肿瘤图像自动分割:将归一化后的待分割脑肿瘤四通道图像输入到具有已优化网络权值的全卷积网络模型中,得到与语义分割类别数量相对应的预测分数矩阵,根据这些矩阵值,分割出脑肿瘤及内部结构图像。
进一步,所述步骤S11中,采用N4ITK方法进行偏移场校正操作。
进一步,所述步骤S13中,对每一个MRI图像切片的灰度值采用下式进行数据标准化操作:
其中,x(i,j)对应切片X的第i行j列的灰度值,和Xs分别是切片X的均值和方差,x′(i,j)是x(i,j)标准化的灰度;
线性转化每个切片的灰度值在[0,1]的范围内,并采用下式进行线性归一化操作:
其中,x′(i,j)是标准化后的灰度,X'max和X'min分别是切片X标准化后的最大值和最小值,是线性归一化后的灰度。
进一步,所述步骤S21中,构造全卷积网络模型的基础特征层,是获取已经训练好的16层VGG模型的前四个卷积层组和池化层,所述采用迁移学习方法是将已经训练好的权值作为全卷积网络模型的基础特征层的初始权值。
进一步,所述步骤S21中,在四个卷积组构建的基础特征层中,每组卷积层的个数分别为2、2、3、3,每组卷积层的卷积核个数分别为64、128、256、512,每个卷积层采用3×3的小卷积滤波器进行卷积,且每个卷积层组后跟随采样窗口为2×2,步长为2的池化层。
进一步,其中一个所述卷积核所对应的输出特征图Ok采用下式进行计算:
其中,bk是第k个卷积核所对应的偏置项,C是输入数据的通道数,Wki是第k个卷积核的第i通道权值矩阵,是卷积操作,X是输入数据。
进一步,所述基础特征层还包括整流线性单元,所述整流线性单元用于将卷积核所对应的输出特征图Ok中的每个值进行非线性转化,所述整流线性单元定义如下:
f(x)=max(0,x)
其中,f(x)表示整流线性单元函数,x是一个输入值。
进一步,所述步骤S22中,添加的三个卷积层卷积核个数分别为4096、4096、5,卷积核大小都为1×1,步长也都为1。
进一步,所述步骤S23中,反卷积层插值采用双线性插值方法。
进一步,所述步骤S3中,优化方法采用交叉熵分类损失函数,定义如下:
其中,N为一个批量的大小,l'是真实数据,l是softmax函数输出的预测向量。
与现有传统分割方法相比,本发明提供的基于全卷积网络的MRI图像脑肿瘤自动分割方法,包括脑肿瘤多模态MRI图像预处理、全卷积网络模型构造、网络训练与参数调优和脑肿瘤图像自动分割步骤,具体为将MRI图像脑肿瘤的分割转换为像素级语义标注问题,对MRI不同模态强调的差异信息,将FLAIR、T1、T1c和T2四个模态的二维整幅切片合成四通道输入图像,利用已经训练好的卷积神经网络的卷积层组和池化层作为全卷积网络的基础特征层,使得中间层输出与语义分割类别数量相对应的粗糙分割图,并在中间层的后面添加反卷积网络,用于对粗糙分割图进行插值得到与原图像大小一样的分割图。因而,本发明具有如下优点:1、与基于图像块分类的分割方法相比,本发明不仅不需要人工的干预,而且还不需要考虑图像块大小的设置,是一个自动的、简单的脑肿瘤分割方法,不仅提高了分割精度,还大大提高了分割的效率;2、本发明以整个切片作为输入图像,更能考虑分类像素的外观和空间一致性,得到更高的分割精确度;3、本发明利用了迁移学习方法,获取已经训练好的卷积神经网络的中间特征层权值作为全卷积网络基础特征层的初始权值,缩短了训练时间,节约了数据标注成本,在小样本情况下仍有较好的学习性能。
附图说明
图1是本发明提供的基于全卷积网络的MRI图像脑肿瘤自动分割方法基本流程示意图。
图2是本发明提供的全卷积网络训练及测试方法流程示意图。
图3是本发明提供的全卷积网络模型示意图。
图4是本发明提供的双线性插值方法示意图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解,下面结合具体图示,进一步阐述本发明。
请参考图1所示,本发明提供一种基于全卷积网络的MRI图像脑肿瘤自动分割方法,包括以下步骤:
S1、脑肿瘤多模态MRI图像预处理,其包括:
S11、对T1和T1c两个模态MRI图像进行场偏移校正操作,具体可以采用N4ITK方法进行偏移场校正操作;
S12、提取FLAIR、T1、T1c和T2四个模态的MRI图像切片,在每一个MRI图像切片中,将大于1%最高灰度设置为0.99倍的最高灰度值,将小于1%最低灰度设置为0.99倍的最低灰度值(说明:1%最高灰度的值为0.99倍的最高灰度值,见百度百科:灰度色彩模式);
S13、对每一个MRI图像切片的灰度值进行数据标准化和线性归一化操作,其中:对每一个MRI图像切片的灰度值采用下式进行数据标准化操作:
其中,x(i,j)对应切片X的第i行j列的灰度值,和Xs分别是切片X的均值和方差,x′(i,j)是x(i,j)标准化的灰度;
线性转化每个切片的灰度值在[0,1]的范围内,并采用下式进行线性归一化操作:
其中,x′(i,j)是标准化后的灰度,X'max和X'min分别是切片X标准化后的最大值和最小值,是线性归一化后的灰度。
S14、获得归一化后的MRI图像同一层的肿瘤切片,按照FLAIR、T1、T1c和T2的顺序组合成四通道图像,由此完成脑肿瘤多模态MRI图像预处理;其中作为训练集、验证集和测试集的比例为10:1:1,具体本申请的发明人获取了12000个病人的四通道图像,其中训练集、验证集、测试集的具体数量分别是10000、1000、1000。
S2、全卷积网络模型构造,其包括:
S21、采用迁移学习方法,获取已经训练好的卷积神经网络模型的中间特征层作为全卷积网络模型的基础特征层。
作为具体实施例,所述步骤S21中,构造全卷积网络模型的基础特征层,是获取已经训练好的16层VGG模型的前四个卷积层组和池化层,所述采用迁移学习方法是将已训练好的权值作为全卷积网络模型的基础特征层的初始权值。
作为具体实施方式,请参考图3所示,本发明提供的是具有4个卷积组的网络模型,所述步骤S21中,基础特征层包括第1~4个卷积层组,即基础特征层包括有卷积层组1、卷积层组2、卷积层组3和卷积层组4,每个卷积层组后都有一个池化层,每组卷积层的个数分别为2、2、3、3,卷积核的个数分别为64、128、256、512,每个卷积层采用3×3的小卷积滤波器进行卷积,且所有池化层的采样窗口为2×2,步长为2。其中,第一个卷积层正向传播的信号为原始图像的简单边缘和角点等底层信息,后面的卷积层和池化层正向传播的信号为一些较抽象的组合信息,如图像的局部纹理信息等。由于所有卷积层的卷积核都采用3×3的小核,由此可以构造更深的网络,而连接权值不会骤增。其中,一个所述卷积核所对应的输出特征图Ok采用下式进行计算:
其中,bk是第k个卷积核所对应的偏置项,C是输入数据的通道数,Wki是第k个卷积核的第i通道权值矩阵,是卷积操作,X是输入数据。
作为具体实施例,为了提高网络的非线性表示能力,所述基础特征层还包括整流线性单元(Rectifier linear units,ReLU),所述整流线性单元ReLU作为全卷积网络的激活函数,用于将卷积核所对应的输出特征图Ok中的每个值进行非线性转化,所述整流线性单元ReLU定义如下:
f(x)=max(0,x)
其中,f(x)表示整流线性单元函数,x是一个输入值;由此可知,当输入值比0大时,则函数值就是输入值本身,反之则为0。
同时,由于卷积层卷积之后的输出特征图可能包含大量的冗余信息,因此,在卷积输出层之后可以采用最大值池化(最大池化层,MaxPool)操作消除可能的冗余特征,从而使得输出特征图尺寸变小而且对图像的很小平移和变形具有不变性。
S22、在获取的所述基础特征层之后,添加三个与全连接层等同的卷积层构成中间层,三个卷积层即是图3中所示的卷积层5、卷积层6和卷积层7,最后一个卷积层是保证中间层输出与语义分割类别数量相对应的粗糙分割图,由中间层输出的特征图的大小已经比原始图像小了很多,所述卷积层5、卷积层6和卷积层7的卷积核个数分别为4096、4096、5,卷积核大小都为1×1,步长都为1。
S23、请参考图3所示,在添加的两个卷积层之后再添加反卷积层进行插值得到分割结果1,分割结果1中基本可以标注出目标物体大概准确的位置;分割结果1再与基础特征层中倒数第二个池化层(池化层3)的局部信息进行融合,融合后进行反卷积层插值得到分割结果2;分割结果2再与基础特征层中倒数第三个池化层(池化层2)的局部信息进行融合,融合后进行反卷积层插值得到分割结果3;分割结果3再与基础特征层中倒数第四个池化层(池化层1)的局部信息进行融合,融合后进行反卷积层插值得到分割结果4;此时的分割结果4,相对前面的分割结果3、分割结果2和分割结果1,其分割结果更精细、更准确,且与原图像的大小相同。
其中,所述分割结果4融合了中间层最后输出的全局信息与基础特征层的倒数第二个、第三个和第四个池化层的局部信息,所述的局部信息是池化层的输出特征图(输出矩阵),在与局部信息融合前,需要通过类似最后卷积层7作用获得与语义分割类别数量相对应的局部信息,所述的融合是将输出特征图矩阵对应相加,全卷积网络最后的输出结果即分割结果4是与语义分割类别数量相对应,且与原图像大小一样的预测分数矩阵(scorematrixs),其中每个像素所分的类是其在预测矩阵中最大值所对应的索引,从而最终获得了更精细和更准确的分割结果图。
作为具体实施例,所述步骤S23中,反卷积层插值采用双线性插值方法,请参考图4所示,该方法包括以下步骤:
第一步:在X方向的线性插值,在Q12、Q22中***点R2,在Q11、Q21中***点R1,其计算公式为:
第二步:在Y方向的线性插值,通过第一步计算出的R1和R2在Y方向上插值计算出P点,其计算公式为:
S3、网络训练与参数调优:请参考图2所示,将MRI图像脑肿瘤的分割转换为像素级语义标注问题,通过高斯随机变量初始化步骤S22中添加的三个卷积层(卷积层5、卷积层6和卷积层7)的权值,利用预处理后的四通道图像作为训练样本并将其输送到构造的全卷积网络模型中,再采用随机梯度下降法作为优化方法有监督地最小化损失函数,从而对全卷积网络模型包括的所有卷积层的权值进行调优训练。作为一种实施例,所述优化方法采用交叉熵分类损失函数,定义如下:
其中,N为一个批量的大小,l'是真实数据,l是softmax函数输出的预测向量。
S4、脑肿瘤图像自动分割:请参考图2所示,选择出分割性能指标较好的模型,将预处理后的待分割脑肿瘤四通道图像输入到具有已优化网络权值的全卷积网络模型中,得到与语义分割类别数量相对应的预测分数矩阵,根据这些矩阵值,分割出脑肿瘤图像及内部结构图像。
为了更好地理解本发明提供的基于全卷积网络的MRI图像脑肿瘤自动分割方法,以下将结合具体实施例对本发明的技术方案进行说明。
请参考图2和图3所示,以FLAIR、T1、T1c和T2四个模态的MRI脑肿瘤图像为例,具体包括如下步骤:
1、在全卷积网络的输入层,以预处理后的多模态MRI图像完整切片作为240×240×4输入图像(其中4为输入的多模态图像种类:FLAIR、T1、T1c和T2,根据实际需要4可以进行相应调整);
2、把四通道图像输入到全卷积网络的第1~4个卷积层组,每组卷积层个数分别为2、2、3、3,卷积核个数分别为64、128、256、512,每个卷积层采用3×3的小卷积滤波器进行卷积,并且除了第一个卷积层组的第一个卷积层的pad参数设置为100外,所有卷积层pad参数和步长都设置为1,保持图像大小不变。每个卷积层组后紧跟着,采样窗口为2×2,步长为2的池化层对每个卷积层组的特征输出块进行最大值池化,分别得到438×438×64,219×219×128,110×110×256,55×55×512的特征图;
3、将第4个池化层的输出特征图像块输入到卷积层5、卷积层6和卷积层7后,输出与语义分割类别数量相对应的粗糙分割图,该粗糙分割图相对于原图像小了很多;
4、将粗糙分割图输入到反卷积层进行插值,并与第三个池化层3输出特征图进行融合,得到的分割图再进行反卷积层插值;然后再将插值后的分割图与第二个池化层2输出特征图进行融合,得到的分割图再进行反卷积层插值;最后再将插值后的分割图与第一个池化层1输出特征图进行融合,得到的分割图在反卷积层进行插值,得到最终的240×240×5分割图;对于每个像素点,取所在输出特征图最大值所对应的类作为最终的分类结果,即每个像素所分的类是其在5个预测分数矩阵中具有最大值所对应的索引(从0开始),这样形成了最终的分割结果图,该分割结果大多数值为0,表示背景或者正常组织,非零则被认为是肿瘤区域;
5、利用SoftmaxWithLoss层结合真值标签图像,对卷积层输出的240×240的预测分数矩阵进行损失值计算,通过反向传播和随机梯度下降法有监督地更新网络权值,最小化损失函数;
6、在测试模型阶段,执行前述步骤1~4的过程,得到肿瘤分割结果,将分割结果与真值标签图像进行比对,从而计算出分割性能指标;最终分割结果包含水肿结构、增强肿瘤结构、非增强肿瘤结构和坏死的肿瘤结构共4个类别的结果;所述图像分割性能指标包括Dice相似系数(Dice Similarity Coefficient,DSC)、阳性预测值(Positive PredictiveValue,PPV)、灵敏度(Sensitivity)等指标;
7、在脑肿瘤图像自动分割阶段,将预处理后的待分割脑肿瘤四通道图像输入到具有已优化网络权值的全卷积网络模型中,得到脑肿瘤分割结果,为了区分脑肿瘤内部结构,用红色表示坏死结构,用绿色表示水肿结构,用黄色表示非增强肿瘤结构,蓝色表示增强肿瘤结构。
与现有传统分割方法相比,本发明提供的基于全卷积网络的MRI图像脑肿瘤自动分割方法,包括脑肿瘤多模态MRI图像预处理、全卷积网络模型构造、网络训练与参数调优和脑肿瘤图像自动分割步骤,具体为将MRI图像脑肿瘤的分割转换为像素级语义标注问题,对MRI不同模态强调的差异信息,将FLAIR、T1、T1c和T2四个模态的二维整幅切片合成四通道输入图像,利用已经训练好的卷积神经网络的卷积层组和池化层作为全卷积网络的基础特征层,使得中间层输出与语义分割类别数量相对应的粗糙分割图,并在中间层的后面添加反卷积网络,用于对粗糙分割图进行插值得到与原图像大小一样的分割图。因而,本发明具有如下优点:1、与基于图像块分类的分割方法相比,本发明不仅不需要人工的干预,而且还不需要考虑图像块大小的设置,是一个自动的、简单的脑肿瘤分割方法,不仅提高了分割精度,还大大提高了分割的效率;2、本发明以整个切片作为输入图像,更能考虑分类像素的外观和空间一致性,得到更高的分割精确度;3、本发明利用了迁移学习方法,获取已经训练好的卷积神经网络的中间特征层权值作为全卷积网络基础特征层的初始权值,缩短了训练时间,节约了数据标注成本,在小样本情况下仍有较好的学习性能。
最后说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的宗旨和范围,其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种基于全卷积网络的MRI图像脑肿瘤自动分割方法,其特征在于,包括以下步骤:
S1、脑肿瘤多模态MRI图像预处理,其包括:
S11、对T1和T1c两个模态MRI图像进行场偏移校正操作;
S12、提取FLAIR、T1、T1c和T2四个模态的MRI图像切片,在每一个MRI图像切片中,将大于1%最高灰度设置为0.99倍的最高灰度值,将小于1%最低灰度设置为0.99倍的最低灰度值;
S13、对每一个MRI图像切片的灰度值进行数据标准化和线性归一化操作;
S14、获得归一化后的MRI图像同一层的肿瘤切片,按照FLAIR、T1、T1c和T2的顺序组合成四通道图像,其中作为训练集、验证集和测试集的比例为10:1:1;
S2、全卷积网络模型构造,其包括:
S21、采用迁移学习方法,获取已经训练好的卷积神经网络模型的中间特征层作为全卷积网络模型的基础特征层,所述基础特征层包括四个卷积层组和池化层;
S22、在所述基础特征层之后,添加三个与全连接层等同的卷积层构成中间层,使得中间层输出与语义分割类别数量相对应的粗糙分割图;
S23、在中间层之后再添加反卷积层进行插值得到分割结果1,分割结果1再与基础特征层中倒数第二个池化层的输出特征图进行融合,融合后进行反卷积层插值得到分割结果2,依次类推,再分别与基础特征层中倒数第三个和第四个池化层进行融合和反卷积层插值,最终得到分割结果3和分割结果4,所述分割结果4是与语义分割类别数量相对应,且与原图像大小一样的预测分数矩阵,分割结果4上的每个像素所分的类是每个像素在预测分数矩阵中最大值所对应的索引,形成了最终的分割结果图;
S3、网络训练与参数调优:将MRI图像脑肿瘤的分割转换为像素级语义标注问题,通过高斯随机变量初始化步骤S22中添加的三个卷积层的权值,利用预处理后的四通道图像作为训练样本并将其输入到构造的全卷积网络模型中,再采用随机梯度下降法作为优化方法有监督地最小化损失函数,从而对全卷积网络模型包括的所有卷积层的权值进行调优训练;
S4、脑肿瘤图像自动分割:将归一化后的待分割脑肿瘤四通道图像输入到具有已优化网络权值的全卷积网络模型中,得到与语义分割类别数量相对应的预测分数矩阵,根据这些矩阵值,分割出脑肿瘤及内部结构图像。
2.根据权利要求1所述的基于全卷积网络的MRI图像脑肿瘤自动分割方法,其特征在于,所述步骤S11中,采用N4ITK方法进行偏移场校正操作。
3.根据权利要求1所述的基于全卷积网络的MRI图像脑肿瘤自动分割方法,其特征在于,所述步骤S13中,对每一个MRI图像切片的灰度值采用下式进行数据标准化操作:
其中,x(i,j)对应切片X的第i行j列的灰度值,和Xs分别是切片X的均值和方差,x′(i,j)是x(i,j)标准化的灰度;
线性转化每个切片的灰度值在[0,1]的范围内,并采用下式进行线性归一化操作:
其中,x′(i,j)是标准化后的灰度,X'max和X'min分别是切片X标准化后的最大值和最小值,是线性归一化后的灰度。
4.根据权利要求1所述的基于全卷积网络的MRI图像脑肿瘤自动分割方法,其特征在于,所述步骤S21中,构造全卷积网络模型的基础特征层,是获取已经训练好的16层VGG模型的前四个卷积层组和池化层,所述采用迁移学习方法是将已经训练好的权值作为全卷积网络模型的基础特征层的初始权值。
5.根据权利要求1所述的基于全卷积网络的MRI图像脑肿瘤自动分割方法,其特征在于,所述步骤S21中,在四个卷积组构建的基础特征层中,每组卷积层的个数分别为2、2、3、3,每组卷积层的卷积核个数分别为64、128、256、512,每个卷积层采用3×3的小卷积滤波器进行卷积,且每个卷积层组后跟随采样窗口为2×2,步长为2的池化层。
6.根据权利要求5所述的基于全卷积网络的MRI图像脑肿瘤自动分割方法,其特征在于,其中一个所述卷积核所对应的输出特征图Ok采用下式进行计算:
其中,bk是第k个卷积核所对应的偏置项,C是输入数据的通道数,Wki是第k个卷积核的第i通道权值矩阵,是卷积操作,X是输入数据。
7.根据权利要求6所述的基于全卷积网络的MRI图像脑肿瘤自动分割方法,其特征在于,所述基础特征层还包括整流线性单元,所述整流线性单元用于将卷积核所对应的输出特征图Ok中的每个值进行非线性转化,所述整流线性单元定义如下:
f(x)=max(0,x)
其中,f(x)表示整流线性单元函数,x是一个输入值。
8.根据权利要求1所述的基于全卷积网络的MRI图像脑肿瘤自动分割方法,其特征在于,所述步骤S22中,添加的三个卷积层卷积核个数分别为4096、4096、5,卷积核大小都为1×1,步长也都为1。
9.根据权利要求1所述的基于全卷积网络的MRI图像脑肿瘤自动分割方法,其特征在于,所述步骤S23中,反卷积层插值采用双线性插值方法。
10.根据权利要求1所述的基于全卷积网络的MRI图像脑肿瘤自动分割方法,其特征在于,所述步骤S3中,优化方法采用交叉熵分类损失函数,定义如下:
其中,N为一个批量的大小,l'是真实数据,l是softmax函数输出的预测向量。
CN201710379095.6A 2017-05-25 2017-05-25 一种基于全卷积网络的mri图像脑肿瘤自动分割方法 Active CN107220980B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710379095.6A CN107220980B (zh) 2017-05-25 2017-05-25 一种基于全卷积网络的mri图像脑肿瘤自动分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710379095.6A CN107220980B (zh) 2017-05-25 2017-05-25 一种基于全卷积网络的mri图像脑肿瘤自动分割方法

Publications (2)

Publication Number Publication Date
CN107220980A CN107220980A (zh) 2017-09-29
CN107220980B true CN107220980B (zh) 2019-12-03

Family

ID=59944489

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710379095.6A Active CN107220980B (zh) 2017-05-25 2017-05-25 一种基于全卷积网络的mri图像脑肿瘤自动分割方法

Country Status (1)

Country Link
CN (1) CN107220980B (zh)

Families Citing this family (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107909577A (zh) * 2017-10-18 2018-04-13 天津大学 模糊c均值连续型最大流最小割脑肿瘤图像分割方法
CN107767378B (zh) * 2017-11-13 2020-08-04 浙江中医药大学 基于深度神经网络的gbm多模态磁共振图像分割方法
CN108171232B (zh) * 2017-11-15 2021-12-28 中山大学 基于深度学习算法的细菌性与病毒性儿童肺炎的分类方法
CN108038860A (zh) * 2017-11-30 2018-05-15 杭州电子科技大学 基于3d全卷积神经网络的脊柱分割方法
CN109886992A (zh) * 2017-12-06 2019-06-14 深圳博脑医疗科技有限公司 用于分割mri图像中异常信号区的全卷积网络模型训练方法
CN108492297B (zh) * 2017-12-25 2021-11-19 重庆师范大学 基于深度级联卷积网络的mri脑肿瘤定位与瘤内分割方法
CN108053401A (zh) * 2017-12-27 2018-05-18 广州市申迪计算机***有限公司 一种b超图像处理方法及装置
CN108062753B (zh) * 2017-12-29 2020-04-17 重庆理工大学 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法
CN108109152A (zh) * 2018-01-03 2018-06-01 深圳北航新兴产业技术研究院 医学图像分类和分割方法和装置
US11288576B2 (en) * 2018-01-05 2022-03-29 Illumina, Inc. Predicting quality of sequencing results using deep neural networks
CN108268870B (zh) * 2018-01-29 2020-10-09 重庆师范大学 基于对抗学习的多尺度特征融合超声图像语义分割方法
CN108427951B (zh) * 2018-02-08 2023-08-04 腾讯科技(深圳)有限公司 图像处理方法、装置、存储介质和计算机设备
WO2019159324A1 (ja) * 2018-02-16 2019-08-22 パナソニックIpマネジメント株式会社 処理方法およびそれを利用した処理装置
CN108447049A (zh) * 2018-02-27 2018-08-24 中国海洋大学 一种基于生成式对抗网络的数字化生理生物体分割方法
CN108492286B (zh) * 2018-03-13 2020-05-05 成都大学 一种基于双通路u型卷积神经网络的医学图像分割方法
JPWO2019176806A1 (ja) * 2018-03-16 2021-04-08 富士フイルム株式会社 機械学習装置および方法
CN110297483B (zh) * 2018-03-21 2020-12-18 广州极飞科技有限公司 待作业区域边界获取方法、装置,作业航线规划方法
CN108564582B (zh) * 2018-04-23 2020-08-11 重庆大学 一种基于深度神经网络的mri脑肿瘤图像自动优化方法
CN108648182B (zh) * 2018-04-27 2022-02-11 南京信息工程大学 一种基于分子亚型的乳腺癌核磁共振图像肿瘤区域分割方法
CN108776805A (zh) * 2018-05-03 2018-11-09 北斗导航位置服务(北京)有限公司 一种建立图像分类模型、图像特征分类的方法及装置
CN108665461B (zh) * 2018-05-09 2019-03-12 电子科技大学 一种基于fcn和迭代声影校正的乳腺超声图像分割方法
CN108898608A (zh) * 2018-05-28 2018-11-27 广东技术师范学院 一种***超声图像分割方法及设备
WO2019237342A1 (zh) * 2018-06-15 2019-12-19 富士通株式会社 用于语义分割的分类神经网络的训练方法及装置、电子设备
CN109035356B (zh) * 2018-07-05 2020-07-10 四川大学 一种基于pet图形成像的***及方法
CN108961274B (zh) * 2018-07-05 2021-03-02 四川大学 一种mri图像中自动头颈肿瘤分割方法
CN108986115B (zh) * 2018-07-12 2020-12-18 佛山生物图腾科技有限公司 医学图像分割方法、装置及智能终端
CN108986891A (zh) * 2018-07-24 2018-12-11 北京市商汤科技开发有限公司 医疗影像处理方法及装置、电子设备及存储介质
CN108932720A (zh) * 2018-07-24 2018-12-04 深圳先进技术研究院 一种磁共振图像的颅内斑块和颈动脉斑块智能分割方法
CN109087318A (zh) * 2018-07-26 2018-12-25 东北大学 一种基于优化U-net网络模型的MRI脑肿瘤图像分割方法
CN109118504B (zh) * 2018-07-26 2021-03-30 深圳辰视智能科技有限公司 一种基于神经网络的图像边缘检测方法、装置及其设备
CN109063710B (zh) * 2018-08-09 2022-08-16 成都信息工程大学 基于多尺度特征金字塔的3d cnn鼻咽癌分割方法
CN109190682B (zh) * 2018-08-13 2020-12-18 北京安德医智科技有限公司 一种基于3d核磁共振影像的脑部异常的分类方法及设备
CN109215041B (zh) * 2018-08-17 2022-06-17 上海交通大学医学院附属第九人民医院 一种全自动骨盆肿瘤分割方法及***、存储介质及终端
CN109242860B (zh) * 2018-08-21 2021-10-08 电子科技大学 基于深度学习及权重空间集成的脑肿瘤图像分割方法
CN109345538B (zh) * 2018-08-30 2021-08-10 华南理工大学 一种基于卷积神经网络的视网膜血管分割方法
CN109360633B (zh) * 2018-09-04 2022-08-30 北京市商汤科技开发有限公司 医疗影像处理方法及装置、处理设备及存储介质
CN109389584A (zh) * 2018-09-17 2019-02-26 成都信息工程大学 基于cnn的多尺度鼻咽肿瘤分割方法
CN109377500B (zh) * 2018-09-18 2023-07-25 平安科技(深圳)有限公司 基于神经网络的图像分割方法及终端设备
CN109325954B (zh) * 2018-09-18 2021-08-10 北京旷视科技有限公司 图像分割方法、装置及电子设备
CN109377480A (zh) * 2018-09-27 2019-02-22 中国电子科技集团公司第五十四研究所 基于深度学习的耕地变化检测方法
CN109492668B (zh) * 2018-10-10 2021-08-03 华中科技大学 基于多通道卷积神经网络的mri不同期多模图像表征方法
CN109685819B (zh) * 2018-12-11 2021-02-26 厦门大学 一种基于特征增强的三维医学图像分割方法
CN109886922B (zh) * 2019-01-17 2023-08-18 丽水市中心医院 基于SE-DenseNet深度学习框架和增强MR图像的肝细胞癌自动分级方法
CN111598891B (zh) * 2019-02-20 2023-08-08 深圳先进技术研究院 斑块稳定性的识别方法、装置、设备及存储介质
CN109948607A (zh) * 2019-02-21 2019-06-28 电子科技大学 基于深度学习反卷积网络的候选边框生成和目标检测方法
CN109949275A (zh) * 2019-02-26 2019-06-28 中山大学肿瘤防治中心 一种上消化道内镜图像的诊断方法及装置
CN109949318B (zh) * 2019-03-07 2023-11-14 西安电子科技大学 基于多模态影像的全卷积神经网络癫痫病灶分割方法
CA3133754A1 (en) * 2019-03-15 2020-09-24 The Trustees Of Columiba University In The City Of New York System, method and computer-accessible medium for image reconstruction of non-cartesian magnetic resonance imaging information using deep learning
CN109977955B (zh) * 2019-04-03 2021-11-30 南昌航空大学 一种基于深度学习的***前病变识别的方法
CN110220902B (zh) * 2019-05-09 2022-10-04 杭州迪英加科技有限公司 数字病理切片分析方法和装置
CN110458842B (zh) * 2019-06-26 2022-09-20 南京邮电大学 基于双通道三维密集连接网络的脑肿瘤分割方法
CN110444277B (zh) * 2019-07-19 2023-03-28 重庆邮电大学 一种基于多生成多对抗的多模态脑部mri图像双向转换方法
CN110211127B (zh) * 2019-08-01 2019-11-26 成都考拉悠然科技有限公司 基于双相关性网络的图像分割方法
US10937158B1 (en) * 2019-08-13 2021-03-02 Hong Kong Applied Science and Technology Research Institute Company Limited Medical image segmentation based on mixed context CNN model
CN110782427B (zh) * 2019-08-19 2023-06-20 大连大学 基于可分离空洞卷积的磁共振脑肿瘤自动分割方法
CN110533676B (zh) * 2019-09-06 2022-08-16 青岛海信医疗设备股份有限公司 肿瘤图像分割方法、装置及终端设备
CN110751651B (zh) * 2019-09-27 2022-03-04 西安电子科技大学 基于多尺度迁移学习的mri胰腺图像分割方法
CN110853048A (zh) * 2019-10-14 2020-02-28 北京缙铖医疗科技有限公司 基于粗、精训练的mri图像分割方法、装置和存储介质
CN110827291A (zh) * 2019-10-18 2020-02-21 北京量健智能科技有限公司 一种用于自动化脑mri定量分析的方法和装置
CN110910351B (zh) * 2019-10-31 2022-07-29 上海交通大学 基于生成对抗网络的超声图像模态迁移、分类方法及终端
CN110992320B (zh) * 2019-11-22 2023-03-21 电子科技大学 一种基于双重交错的医学图像分割网络
CN111145147B (zh) * 2019-12-14 2023-08-22 中国科学院深圳先进技术研究院 多模态医学图像的分割方法及终端设备
CN111080658A (zh) * 2019-12-16 2020-04-28 中南民族大学 基于可形变配准和dcnn的宫颈mri图像分割方法
CN113408325A (zh) * 2020-03-17 2021-09-17 北京百度网讯科技有限公司 车辆周围环境的识别方法、装置及相关设备
KR102534762B1 (ko) * 2020-03-30 2023-05-19 주식회사 뷰웍스 신쎄틱 2차원 영상 합성 방법 및 장치
CN111754520B (zh) * 2020-06-09 2023-09-15 江苏师范大学 一种基于深度学习的脑血肿分割方法及***
CN112001301B (zh) * 2020-08-21 2021-07-20 江苏三意楼宇科技股份有限公司 基于全局交叉熵加权的楼宇监控方法、装置和电子设备
CN112215795B (zh) * 2020-09-02 2024-04-09 苏州超集信息科技有限公司 一种基于深度学习的服务器部件智能检测方法
CN112200811A (zh) * 2020-10-27 2021-01-08 西北工业大学深圳研究院 一种采用跨序列核磁共振图像生成改进胶质瘤分割方法
CN112561868B (zh) * 2020-12-09 2021-12-07 深圳大学 一种基于多视角级联深度学习网络的脑血管分割方法
CN113139581B (zh) * 2021-03-23 2023-09-01 广东省科学院智能制造研究所 一种基于多图融合的图像分类方法和***
CN113012168B (zh) * 2021-03-24 2022-11-04 哈尔滨理工大学 一种基于卷积神经网络的脑胶质瘤mri图像分割方法
CN113450256B (zh) * 2021-06-30 2023-03-03 重庆理工大学 基于水平集的ct图像主动脉自动分割方法与***
CN115601550B (zh) * 2022-12-13 2023-04-07 深圳思谋信息科技有限公司 模型确定方法、装置、计算机设备及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104834943A (zh) * 2015-05-25 2015-08-12 电子科技大学 一种基于深度学习的脑肿瘤分类方法
CN104851101A (zh) * 2015-05-25 2015-08-19 电子科技大学 一种基于深度学习的脑肿瘤自动分割方法
CN106296699A (zh) * 2016-08-16 2017-01-04 电子科技大学 基于深度神经网络和多模态mri图像的脑肿瘤分割方法
CN106600571A (zh) * 2016-11-07 2017-04-26 中国科学院自动化研究所 融合全卷积神经网络和条件随机场的脑肿瘤自动分割方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8908948B2 (en) * 2011-12-21 2014-12-09 Institute Of Automation, Chinese Academy Of Sciences Method for brain tumor segmentation in multi-parametric image based on statistical information and multi-scale structure information

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104834943A (zh) * 2015-05-25 2015-08-12 电子科技大学 一种基于深度学习的脑肿瘤分类方法
CN104851101A (zh) * 2015-05-25 2015-08-19 电子科技大学 一种基于深度学习的脑肿瘤自动分割方法
CN106296699A (zh) * 2016-08-16 2017-01-04 电子科技大学 基于深度神经网络和多模态mri图像的脑肿瘤分割方法
CN106600571A (zh) * 2016-11-07 2017-04-26 中国科学院自动化研究所 融合全卷积神经网络和条件随机场的脑肿瘤自动分割方法

Also Published As

Publication number Publication date
CN107220980A (zh) 2017-09-29

Similar Documents

Publication Publication Date Title
CN107220980B (zh) 一种基于全卷积网络的mri图像脑肿瘤自动分割方法
CN112070772B (zh) 基于UNet++和ResNet的血液白细胞图像分割方法
CN110889852B (zh) 基于残差-注意力深度神经网络的肝脏分割方法
CN108765408A (zh) 构建癌症病理图像虚拟病例库的方法以及基于卷积神经网络的多尺度癌症检测***
CN109886986A (zh) 一种基于多分支卷积神经网络的皮肤镜图像分割方法
CN108596248A (zh) 一种基于改进深度卷积神经网络的遥感影像分类模型
CN110675411B (zh) 基于深度学习的***内病变识别算法
CN113256641B (zh) 一种基于深度学习的皮肤病灶图像分割方法
CN106296699A (zh) 基于深度神经网络和多模态mri图像的脑肿瘤分割方法
CN105469100A (zh) 基于深度学习的皮肤活检图像病理特性识别方法
CN110889853A (zh) 基于残差-注意力深度神经网络的肿瘤分割方法
CN106296695A (zh) 基于显著性的自适应阈值自然目标图像分割抽取算法
CN111400536B (zh) 一种基于轻量化深度神经网络的低成本番茄叶片病害识别方法
CN108416353A (zh) 基于深度全卷积神经网络的大田稻穗快速分割方法
DE112015000964T5 (de) Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren und Bildverarbeitungsprogramm
CN102496023A (zh) 像素层面的感兴趣区域提取方法
CN106611423B (zh) 基于脊波滤波器和反卷积结构模型的sar图像分割方法
CN108053398A (zh) 一种半监督特征学习的黑色素瘤自动检测方法
CN106845551A (zh) 一种组织病理图像识别方法
CN104361574B (zh) 一种基于稀疏表示的无参考彩色图像质量评价方法
CN114283158A (zh) 一种视网膜血管图像分割方法、装置及计算机设备
CN109766805A (zh) 一种基于深度学习的双层车牌字符识别方法
CN111161287A (zh) 基于对称双向级联网络深度学习的视网膜血管分割方法
CN110751636A (zh) 一种基于改进型编解码网络的眼底图像视网膜动脉硬化检测方法
Liu et al. Deep learning based research on quality classification of shiitake mushrooms

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20191024

Address after: 400000 No. 12 Chen Cheng Road, Shapingba District, Chongqing

Applicant after: Chongqing Normal University

Address before: No. 69 lijiatuo Chongqing District of Banan City Road 400054 red

Applicant before: chongqing university of technology

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant