CN107749061A

CN107749061A - 基于改进的全卷积神经网络脑肿瘤图像分割方法及装置

Info

Publication number: CN107749061A
Application number: CN201710812236.9A
Authority: CN
Inventors: 邢波涛; 李锵; 关欣
Original assignee: Tianjin University
Current assignee: Tianjin University
Priority date: 2017-09-11
Filing date: 2017-09-11
Publication date: 2018-03-02

Abstract

本发明涉及医疗器械，为提出一种改进的全卷积神经网络，实现脑肿瘤核磁共振图像的机器分割，避免人工分割存在的低效率及不稳定的缺陷，提供快速、可靠的脑肿瘤分割结果，从而为脑肿瘤的诊断、治疗和手术引导提供准确的依据。为此，本发明采用的技术方案是，基于改进的全卷积神经网络脑肿瘤图像分割方法，步骤如下：1)选取图像；2)构建全卷积神经网络FCN模型；3)测试分割结果，当FCN模型训练好后，利用训练的模型对任意一张脑肿瘤图像进行肿瘤位置及边界大小的预测，并使用相应的评价指标对分割结果进行评价，以便更好地改进FCN模型。本发明主要应用于核磁图像处理场合。

Description

基于改进的全卷积神经网络脑肿瘤图像分割方法及装置

技术领域

本发明涉及医疗器械，具体讲,涉及基于改进的全卷积神经网络脑肿瘤图片分割方法及装置。

背景技术

大脑是人身体中最重要的部分，但近年来脑肿瘤发病率呈上升趋势，据调查显示，仅2015年在美国被诊断的脑肿瘤人数就新增了23,000人。世界卫生组织依据病变程度把脑肿瘤分为五个等级，脑肿瘤主要分为良性肿瘤和恶性肿瘤两类，脑膜瘤等良性肿瘤在通过手术治疗后一般能够恢复健康，而胶质瘤和成胶质瘤等恶性肿瘤因其顽固性难以治愈，又被称为脑癌。核磁共振成像(Magnetic Resonance Imaging,MRI)具有非侵入性，能在病人不接受高电离辐射的情况下提供形状、大小及位置等信息，且具有良好的软组织对比度，在脑肿瘤的诊断、治疗和手术引导中越来越受到人们的关注。但是由于脑肿瘤形状复杂，大小和位置具有随机性，类型差异大等因素，导致目前还没有一种分割算法能够满足临床的需要，实时性也无法达到要求，不同专家手动分割脑肿瘤图像的结果也有很大差异，而且人工成本较高。因此，研究一套全自动、精确度高及鲁棒性强的脑肿瘤分割***是十分有必要的。

目前已有多种算法成功应用于脑肿瘤图像分割上，主要包括基于区域的分割方法、基于模糊聚类的分割方法和卷积神经网络方法等。基于区域生长的分割方法首先在目标区域选中一个种子点，再将周围具有相同性质的像素点合并至种子区域，直到没有相似性质的像素点聚集为止，对于区域生长法而言，普遍存在对图像阴影区域分割不理想的问题；模糊聚类的分割方法是对图像像素按其相似度进行分类，使得同类个体间的距离较小而不同类个体间的距离较大，对于聚类算法而言，通常仅考虑每个像素点的独立信息而忽略像素点之间的空间信息，最后导致算法受噪声影响较大且无法得到连续区域的分割结果；基于卷积神经网络(Convolutional Neural Network，CNN)的图像分割方法在对一个像素分类时，使用该像素周围的一个像素块作为CNN的输入用于训练和预测，然后不断地滑动窗口，每次滑动的窗口送给CNN进行判别分类，从而实现整个图像的分割。但基于CNN的脑肿瘤分割方法伴随着滑动窗口的增加会使计算机存储开销变大，而且相邻像素块基本上是重复的，针对每个像素块逐个计算卷积，在计算上有很大的重复性，最重要的是CNN的卷积滤波器伴随着非常大的感受野和最大池化层，会使得脑肿瘤的分割边界不清晰。

2015年，Jonathan Long等人将全卷积神经网络(Fully Convolution Network,FCN)成功应用于图像语义分割领域，并且取得了显著的效果。该网络能够对图像中对应位置的每个像素进行分类，从而实现图像分割的任务。FCN将传统CNN中的全连接层转换化成一个个的卷积层。在下图1中，传统的CNN结构前5层是卷积层，第6层和第7层分别是一个长度为4096的一维向量，第8层是长度为1000的一维向量，分别对应1000个类别的概率；而FCN将这3层都表示为卷积层，卷积核的大小(通道数，宽，高)分别为(4096,1,1)、(4096,1,1)和(1000,1,1),通过此类的卷积层，最后便生成了一个“特征向量图”。FCN中所有的层都是卷积层，没有全连接层，故而称为全卷积神经网络。

FCN深层次的网络获取到的特征图抽象而粗糙，这些特征图经过了大量的最大池化层，特征图中已经大大损失了目标物体的边缘、位置等信息；而浅层网络只经过了少数的最大池化层Pooling产生的特征图具体而精细，学习到的是一些局部区域的特征，这些特征图便可以反映目标物体的位置和边缘信息。所以为了对分割结果进行进一步的优化，可以将网络浅层的特征图与深层的特征图结合起来，这便是FCN网络的跳跃结构，以便提高整个图像的分割精度。

发明内容

为克服现有技术的不足，本发明旨在提出一种改进的全卷积神经网络，实现脑肿瘤核磁共振图像的机器分割，避免人工分割存在的低效率及不稳定的缺陷，提供快速、可靠的脑肿瘤分割结果，从而为脑肿瘤的诊断、治疗和手术引导提供准确的依据。为此，本发明采用的技术方案是，基于改进的全卷积神经网络脑肿瘤图像分割方法，步骤如下：

1)选取图像：首先对磁共振MRI脑肿瘤液体衰减反转恢复FLAIR、自旋-自旋弛豫T2及

T1增强T1C图像采用中值滤波去噪，然后对三种模态进行线性比例融合，以便更好

地对脑肿瘤进行分割；

2)构建全卷积神经网络FCN模型：将融合好后的脑肿瘤图像作为训练样本，专家分割结果图的像素点作为训练样本的真值标签，然后进行FCN模型的训练；

3)测试分割结果，当FCN模型训练好后，利用训练的模型对任意一张脑肿瘤图像进行肿瘤位置及边界大小的预测，并使用相应的评价指标对分割结果进行评价，以便更好地改进FCN模型。

测试分割结果步骤中，输入数据在经过Pooling1、Pooling2、Pooling 3、Pooling4和Pooling 5的最大池化层后，会分别得到原图1/2尺寸、1/4尺寸、1/8尺寸、1/16尺寸以及1/32尺寸的特征向量图。把第4个卷积核的特征对上一次Upsamping1之后的图进行反卷积Upsamping2补充细节，相当于一个插值过程，再把第3个卷积核的特征对刚才Upsamping2之后的图像进行再次反卷积Upsamping3补充细节，最后再把第2个卷积核的特征对刚才Upsamping3之后的图像进行再次反卷积Upsamping4补充细节，如此一来，深层网络的特征图与浅层网络的特征图便可相互补充，最后相加得到一个精度相对较高的分割图。

FCN采用反卷积层对最后一个卷积层的特征向量图进行上采样Upsamping，插值点P的4个邻点坐标分别为Q₁₁＝(x₁,y₁)，Q₂₁＝(x₂,y₁)，Q₁₂＝(x₁,y₂)，Q₂₂＝(x₂,y₂)，首先在X方向上进行第一次线性插值计算，得到：

然后在Y方向上进行线性插值，得到：

将公式(1)和公式(2)代入到公式可得插值点P的坐标值f(x,y)：

经过如此的操作，最后经过池化的特征向量图便会恢复到输入图像相同的尺寸，从而对每个像素都产生一个预测，同时保留了原始输入图像中的空间信息，最后在上采样的特征图中进行逐像素分类，从而实现图像分割。

基于改进的全卷积神经网络脑肿瘤图像分割装置，由磁共振MRI设备、中值滤波去噪装置、图像线性比例融合模块、采集卡、计算机；

图像线性比例融合模块用于将选取FLAIR、T2和T1C三种模态的图像进行线性比例的融合；

磁共振MRI设备产生的图像依次经中值滤波去噪装置、图像线性比例融合模块、采集卡进入计算机；

计算机设置有构建FCN模型模块、测试分割结果模块；

构建FCN模型模块用于，将融合好后的脑肿瘤图像作为训练样本，专家分割结果图的像素点作为训练样本的真值标签，进行FCN模型的训练，构建出FCN模型；

测试分割结果模块用于，当FCN模型训练好后，利用训练的模型对任意一张脑肿瘤图像进行肿瘤位置及边界大小的预测，并使用相应的评价指标对分割结果进行评价，以便更好地改进FCN模型。

本发明的特点及有益效果是：

本发明结合最新的全卷积神经网络图像分割方法，并对网络结构加以改进，提出FCN-4s网络结构，并将多种模式的脑肿瘤图像进行融合，从而实现脑肿瘤图像的精确分割。与卷积神经网络等传统经典的方法相比较，其优势主要体现在：

1)实用性强：CNN每次输入的是一个像素块，输出的只是每个像素点的概率，而FCN是一种端对端end-to-end的神经网络，它可以输入任意大小的图片，且会输出相应大小的分割图片，更加实用；

2)实时性好：FCN不用像CNN滑窗去判断每个像素的类别，它是一种像素级的分割网络，避免了由于使用像素块而带来的重复存储和计算卷积的问题，计算机内存开销小，从而可以使图像实时的分割；

3)精确度高：CNN等传统方法在对图像分割时，每次只是对一个像素进行判断分类，而FCN最后输出的特征向量图保留了原始输入图像中的空间信息，在对像素分类时考虑了像素间的关系，所以它可以更好地得到脑肿瘤图像的边界，提高了分割的准确度。

附图说明：

图1四种类型的脑肿瘤患者；

图2专家的分割结果图；

图3改进的全卷积神经网络分割MRI脑肿瘤算法流程图；

图4FCN与CNN的区别比较图；

图5FCN中上采样的双线性插值；

图6MRI图像全卷积神经网络结构图；

图7脑肿瘤分割结果及评价图。

具体实施方式

本发明将医学图像和深度学习算法结合起来，完成脑肿瘤核磁共振图像的分割。这种全自动的脑肿瘤图像分割将在医学影像领域内产生重要的影响。

针对传统的卷积神经网络在图像分割中的缺陷，本发明提出了一种改进的全卷积神经网络，并成功应用在了脑肿瘤核磁共振图像的分割中，避免了人工分割存在的低效率及不稳定的缺陷。利用全新的深度学习算法提供快速、可靠的脑肿瘤分割结果，从而为脑肿瘤的诊断、治疗和手术引导提供准确的依据。

为了实现上述目的，本发明采用如下的技术方案：

1)选取图像。MRI脑肿瘤图像本身质量不高，存在一定的噪声，三种模态的图像也为脑肿瘤的分割提供了部分不相关且互补的信息，所以首先对FLAIR、T2及T1C图像采用中值滤波去噪，然后对三种模态进行线性比例融合，以便更好地对脑肿瘤进行分割。

2)构建FCN模型。将融合好后的脑肿瘤图像作为训练样本，专家分割结果图的像素点作为训练样本的真值标签，然后进行FCN模型的训练。

3)测试分割结果。当FCN模型训练好后，利用训练的模型对任意一张脑肿瘤图像进行肿瘤位置及边界大小的预测，并使用相应的评价指标对分割结果进行评价，以便更好地改进FCN模型。

本发明有力地支持了脑肿瘤核磁共振图像的分割，是深度学习在医学图像分割方面的一个重要应用，对专家手动测量的方式是很好的补充。

下面结合附图与实例对本发明作进一步说明。

1)选取图像

脑肿瘤患者的MRI成像是三维多波段成像，通常包括Flair(液体衰减反转恢复)、T1(自旋-晶格弛豫)、T2(自旋-自旋弛豫)和T1C(T1增强)等四种模态图像，图1(a)是T1成像，操作简单，常常用于脑肿瘤的结构分析，但成像质量差，无法提供更为详尽的图像信息。图1(b)是T1C成像，是T1的增强成像，它能比较清晰地显示大脑组织结构，而且由于增生性脑肿瘤区域屏障破坏导致的造影剂积聚，使得T1增强成像中的脑肿瘤边界变得更明亮，很容易区分出肿瘤和囊变区域。图1(c)是T2成像，水肿区域相比别的成像方式更加明亮，但脑脊液和肿瘤区域的特征难以区分，不利于肿瘤分割。图1(d)是FLAIR成像，此模态中脑白质对比度低，但肿瘤区域与正常组织对比度明显增强，水肿区域边界明显，消除了脑脊液的影响，对脑室旁及凸面或脑沟的肿瘤显示更为清楚，有利于肿瘤区域的显示，是目前分割脑肿瘤图像最有效的模态。由此根据不同模态成像的特点，本发明为了最大程度的获取脑肿瘤区域的位置及大小边界信息，将选取FLAIR、T2和T1C三种模态的图像进行线性比例的融合。

2)构建FCN模型

本发明FCN的卷积结构可见下图6所示。输入数据在经过5次的最大池化(Pooling)后，会分别得到原图1/2尺寸、1/4尺寸、1/8尺寸、1/16尺寸以及1/32尺寸的特征向量图。如果直接对1/32尺寸的特征向量图进行上采样(Upsamping)的操作，因为这样的操作还原的图片仅仅是第5个卷积核中的特征，限于精度问题就不能够很好地还原图像当中的特征，因此在这里向前迭代。把第4个卷积核的特征对上一次Upsamping之后的图像再次进行卷积补充细节(相当于一个插值过程)，即得到FCN-16s的网络架构。如果再把第3个卷积核的特征对第二次上采样之后的图像再次进行反卷积补充细节，即会得到FCN-8s的网络架构。最后再把第2个卷积核的特征对第三次上采样之后的图像进行再次反卷积补充细节，即得到FCN-4s的网络架构。如此一来，深层网络的特征图与浅层网络的特征图便可相互补充，最后相加便可得到一个精度相对较高的分割图像。

具体地，FCN采用反卷积层对最后一个卷积层的特征向量图进行上采样(Upsamping)，从而可以让分辨率低的粗略图像恢复到原图的分辨率。Upsamping主要是对图像数据进行双线性插值操作，用插值点周围4个邻点的灰度值加权内插作为该点的灰度值，它可以分解为二次一维线性插值。可见下图4所示，插值点P的4个邻点坐标分别为Q₁₁＝(x₁,y₁)，Q₂₁＝(x₂,y₁)，Q₁₂＝(x₁,y₂)，Q₂₂＝(x₂,y₂)。首先在X方向上进行第一次线性插值计算，得到：

然后在Y方向上进行线性插值，得到：

将公式(1)和公式(2)代入到公式可得插值点P的坐标值f(x,y)：

经过如此的操作，最后经过池化的特征向量图便会恢复到输入图像相同的尺寸，从而可以对每个像素都产生一个预测，同时保留了原始输入图像中的空间信息，最后在上采样的特征图中进行逐像素分类，从而实现图像分割。

3)测试分割结果

本发明将FCN-16s、FCN-8s与我们提出的FCN-4s网络架构进行了对比测试，具体分割结果与测试指标可见下图7所示。

Claims

1.一种基于改进的全卷积神经网络脑肿瘤图像分割方法，其特征是，步骤如下：

1)选取图像：首先对磁共振MRI脑肿瘤液体衰减反转恢复FLAIR、自旋-自旋弛豫T2及T1增强T1C图像采用中值滤波去噪，然后对三种模态进行线性比例融合，以便更好地对脑肿瘤进行分割；

2.如权利要求1所述的基于改进的全卷积神经网络脑肿瘤图像分割方法，其特征是，测试分割结果步骤中，输入数据在经过Pooling1、Pooling2、Pooling3、Pooling4和Pooling5的最大池化层后，会分别得到原图1/2尺寸、1/4尺寸、1/8尺寸、1/16尺寸以及1/32尺寸的特征向量图。把第4个卷积核的特征对上一次Upsamping1之后的图进行反卷积Upsamping2补充细节，相当于一个插值过程，再把第3个卷积核的特征对刚才Upsamping2之后的图像进行再次反卷积Upsamping3补充细节，最后再把第2个卷积核的特征对刚才Upsamping3之后的图像进行再次反卷积Upsamping4补充细节，如此一来，深层网络的特征图与浅层网络的特征图便可相互补充，最后相加得到一个精度相对较高的分割图。

3.如权利要求1所述的基于改进的全卷积神经网络脑肿瘤图像分割方法，其特征是，FCN采用反卷积层对最后一个卷积层的特征向量图进行上采样Upsamping，插值点P的4个邻点坐标分别为Q₁₁＝(x₁,y₁)，Q₂₁＝(x₂,y₁)，Q₁₂＝(x₁,y₂)，Q₂₂＝(x₂,y₂)，首先在X方向上进行第一次线性插值计算，得到：

然后在Y方向上进行线性插值，得到：

将公式(1)和公式(2)代入到公式可得插值点P的坐标值f(x,y)：

4.一种基于改进的全卷积神经网络脑肿瘤图像分割装置，其特征是，由磁共振MRI设备、中值滤波去噪装置、图像线性比例融合模块、采集卡、计算机；

计算机设置有构建FCN模型模块、测试分割结果模块；