CN108898140A - 基于改进的全卷积神经网络的脑肿瘤图像分割算法 - Google Patents

Abstract

本发明涉及一种基于改进的全卷积神经网络算法的MR脑肿瘤图像分割方法，步骤如下：第一步：图像预处理；第二步：改进的FCNN粗分割算法：基于FCNN网络，在每个卷积层后添加批量正则化层以加快网络的训练速度，提高模型的精度，并对池化后的脑肿瘤特征进行三次特征融合，以得到更精细的脑肿瘤特征，建立改进的FCNN网络，即FCNN‑4s网络；第三步：FCNN‑4s和CRF的细分割融合算法：根据第二步中FCNN‑4s的粗分割结果，初始化CRF模型中能量函数得到像素点原始归属标签概率值，随后采用以下步骤计算CRF模型，不断迭代修正FCNN‑4s预测的两类概率图谱，获得CRF的细分割融合结果。

Description

基于改进的全卷积神经网络的脑肿瘤图像分割算法

技术领域

本发明是医学影像领域中的一个重要领域，将医学图像和深度学习算法结合起来，完成脑肿瘤核磁共振图像的精确分割。

背景技术

恶性脑肿瘤是世界上最可怕的癌症类型之一，通常会使患者的认知功能下降、生活质量变差。成人中最常见的脑肿瘤是原发性中枢神经***淋巴瘤和胶质瘤，其中胶质瘤占到恶性肿瘤的80％以上，因此胶质瘤是肿瘤分割的重点对象。但由于胶质瘤可出现在大脑的任何位置且大小不定、形状不规则，使得其分割仍然是一个具有挑战性的任务，因此如何采用现代信息技术高效且全自动化地分割脑肿瘤成为一个重要的研究方向。核磁共振成像 (Magnetic Resonance Imaging,MRI)技术具有非侵入性，对脑肿瘤图像分割具有重要的辅助作用^[3-4]。脑肿瘤MRI序列包括T1加权(T1-weighted)、T1C(Contrast enhanced T1-weighted images)、T2加权(T2-weighted images)及FLAIR(Fluid Attenuated InversionRecovery)等成像序列，临床上通常结合四种图像共同诊断肿瘤的位置和大小。

基于训练样本和标签的监督学***和任务自适应的复杂特征。CNN通过堆叠多个卷积层、池化层以及全连接层，将图像与核特征参数进行卷积形成强鲁棒性和自适应性的特征学习模型。Havaei等^[1]提出了一种具有两通路CNN的深度学习模型，包括一个卷积通路和一个全连接通路；Pereira等^[2]采用了层数更深的CNN结构，且模型中用多个3×3小尺寸的卷积核来减少网络参数，提高运算速度，强化肿瘤边界信息的提取；师冬丽等结合模糊推理***，建立学习规则对CNN预测肿瘤点的概率进行再判断以提高分割精度。尽管基于深度学习的分割算法取得重大进展，但基于CNN的脑肿瘤图像分割存在以下问题：(1)相邻像素块的标签具有独立性，没有考虑到标签之间的相关性和一致性；(2)像素块的大小限制了感受野的大小，网络只能提取到局部特征，导致CNN无法分割出精细的肿瘤边界；(3) CNN针对每个相邻像素块逐个卷积，导致计算上具有较高的冗余性。

针对CNN分割脑肿瘤的缺陷，本发明提出一种基于改进的全卷积神经网络(FullyConvolutional Neural Network,FCNN)和条件随机场(Conditional Random Fields,CRF)的全自动脑肿瘤MR图像分割算法。首先对多模态MR脑肿瘤图像做灰度归一化及灰度图像融合的预处理，而后对预处理图像建立FCNN模型进行粗分割，随后基于分割图像标签之间的相关性，将概率图谱模型CRF融合到FCNN中，进行精细的边界分割，提高脑肿瘤的分割精度。

[1]Havaei M,DavyA,Wardefarley D,et al.Brain tumor segmentation withDeep Neural Networks[J].Medical ImageAnalysis,2017,35:18-31.

[2]Pereira S,PintoA,Alves V,et al.Brain Tumor Segmentation UsingConvolutional Neural Networks in MRI Images[J].IEEE Transactions on MedicalImaging,2016,35(5):1240-1251.

发明内容

针对现有机器学习和CNN算法对脑肿瘤图像分割精度不高的问题，本发明提供一种基于改进的全卷积神经网络和条件随机场的MR脑肿瘤图像分割方法，通过改进的全卷积神经网络算法FCNN-4s得到粗分割结果，随后采用统计学习概率CRF算法修正粗分割结果中的脑肿瘤边界。技术方案如下：

一种基于改进的全卷积神经网络算法的MR脑肿瘤图像分割方法，步骤如下：

第一步：图像预处理

对脑肿瘤图像FLAIR、T2和T1C三种模态进行灰度归一化，然后分别作为R、G、B 通道进行简单的灰度图像融合以便卷积核能学习到不同模态的不同特征，将经过灰度融合后的预处理图像作为算法训练以及测试的数据。

第二步：改进的FCNN粗分割算法

基于FCNN网络，在每个卷积层后添加批量正则化层以加快网络的训练速度，提高模型的精度，并对池化后的脑肿瘤特征进行三次特征融合，以得到更精细的脑肿瘤特征，建立改进的FCNN网络，即FCNN-4s网络，改进的FCNN粗分割算法步骤如下：

1)对经过灰度融合后的预处理图像经过5次池化后，分别得到原图1/2尺寸、1/4尺寸、 1/8尺寸、1/16尺寸以及1/32尺寸的特征矩阵；

2)首先对1/32尺寸的高维特征向量矩阵进行2倍上采样，与Pool4层的特征向量矩阵进行第一次融合；而后对第一次得到的特征融合矩阵进行2倍上采样，与Pool3层的特征向量矩阵进行第二次融合；其次再将此融合特征矩阵进行2倍上采样，与Pool2层的特征向量矩阵进行第三次融合；随后将第三次融合的特征矩阵进行4倍上采样，得到与原始脑肿瘤图像相同大小的特征矩阵，最后Prob层输出每一个像素点分别被判断为肿瘤点和非肿瘤点的两张概率图谱，得到改进的FCNN，即FCNN-4s，的粗分割结果；

第三步：FCNN-4s和CRF的细分割融合算法

根据第二步中FCNN-4s的粗分割结果，初始化CRF模型中能量函数得到像素点原始归属标签概率值，随后采用以下步骤计算CRF模型，不断迭代修正FCNN-4s预测的两类概率图谱，获得CRF的细分割融合结果。

优选地，第三步的方法如下：

1)：用高斯滤波器分别对属于肿瘤的概率图谱和不属于肿瘤的概率图谱进行滤波，得到两类滤波结果；

2)：将步骤1)中的滤波结果分配权重进行乘加求和，而后对每一个类别的概率图谱根据标签兼容性矩阵进行转换更新得到点对能量势函数；

3)：对FCNN-4s的输出求取一元能量势函数，然后整合步骤)2中的点对能量势函数求取整个能量函数；

4)：将3)中的整个能量函数值归一化求取像素归属标签的概率值，并按最大概率取该像素所对应的标签，直到每一个像素点归属于各自标签的概率值迭代达到90％以上退出算法循环，否则将当前计算的像素损失反向传播回FCNN-4s算法中继续网络参数的学习与修正，当准确判断好后每个像素点是否为肿瘤像素点，算法便可完成脑肿瘤图像的分割。

MRI是脑疾病临床诊断的重要辅助手段，本发明提出一种基于深度学***均Dice值可达0.9129。与同算法相比，本算法的Dice、Precision和Recall均有很大的提升，且算法稳定性较强，在预测时分割一幅脑肿瘤图像花费的时间也较少，平均1s内便可完成一幅脑肿瘤图像的分割。本发明有力地支持了脑肿瘤核磁共振图像的分割，为MRI计算机辅助测量技术的进一步优化发展提供了参考，对专家手动测量的方式是很好的补充。

附图说明

图1本发明分割算法框图；

图2改进的FCNN-4s粗分割网络结构图；

图3不同网络结构所提取的脑肿瘤特征(a)FCNN-8s(b)FCNN-4s(c)标签；

图4本发明算法所提取的脑肿瘤特征与标签图(a)脑肿瘤特征图(b)标签图；

图5算法在单模态与融合模态图像上的分割结果比较图，(a)FLAIR(b)T1C(c) T2(d)灰度融合图像(e)单模态分割图(f)融合模态分割图(g)标签；

图6五种算法的分割结果比较图，(a)FLAIR(b)T1C(c)T2(d)灰度融合图像

(e)Havaei算法(f)Pereira算法(g)FCNN-8s(h)FCNN-4s

(I)本发明算法(k)标签。

具体实施方式

本发明改进的全卷积神经网络的脑肿瘤图像分割算法流程如图1所示。首先对归一化的多模态MR脑肿瘤图像数据进行灰度图像融合；随后将融合的部分数据作为训练集，部分数据作为测试集，利用训练集训练FCNN和CRF的融合算法；最后在测试集上进行模型的测试和分割结果的指标评价。

1)图像预处理

原始的MR脑肿瘤图像每一个像素点都为16bit，但在数字图像处理技术中都是对8bit 图像进行处理，故本发明先对MR图像进行灰度归一化，将每一像素点的灰度值均匀压缩至范围0-255之间。考虑到神经网络只通过单一模态图像数据提取到的特征不足以精确地分割脑肿瘤边界，所以根据MR四种模态图像的成像特点，对FLAIR、T2和T1C三种模态分别作为R、G、B通道进行简单的灰度图像融合以便卷积核能学习到不同模态的不同特征。

2)改进的FCNN-4s粗分割算法

为了获得良好的肿瘤特征，便于概率图谱CRF模型进行精细的边界分割。本发明对原始的FCNN算法进行改进，提出精细的特征融合模型，同时为了加快网络的收敛速度，提高模型的精度，将批量正则化(Batch Normalization,BN)层加入到网络中，形成图2所示的FCNN-4s算法。其中Data为数据层，Conv为卷积层，Pool为池化层，Up为上采样层， Prob为输出的概率图谱层。Fuse为特征融合操作，融合在高维特征矩阵和低维特征矩阵的维数和大小相同前提下，将两目标矩阵对应维度的数据进行简单的相加运算。Crop表示如果融合前两目标矩阵的维数和大小不一致时(如表1中Pool4层输出大小为28×28×512，而 Up_Score1层输出大小为18×18×2)，算法为使两目标矩阵维数和大小一致而进行的矩阵裁剪操作。当维数不一致时，算法将低维特征矩阵同1×1×Nhigh(Nhigh为高维特征矩阵数量)的卷积核进行卷积，使得两矩阵维数相同的同时又不会改变低维特征矩阵值的大小；当大小不一致时，因为图像的特征信息主要集中于中间部分，算法从低维特征矩阵的中间提取与高维特征矩阵相同的大小。

表1为网络的具体参数，其中Layer为每一层的名字；Kernel表示卷积核或池化核的维度和大小；Stride表示卷积运算过程中滑动窗口的步长；Pad表示计算前对输入矩阵进行一定的边缘扩充；Output-Size表示输出特征矩阵的维度和大小。算法将不同维度上的特征矩阵进行三次融合，使获取的脑肿瘤特征更加精细，同时BN层可使每次迭代训练的参数权重分布不发生很大的变化以加快收敛速度。

表1

为了验证改进网络的优越性，对比了融合两次特征的FCNN-8s网络和融合三次特征的FCNN-4s网络所提取的脑肿瘤特征效果。图3表示了各网络所提取的最终脑肿瘤特征信息，黄色程度越深，代表是脑肿瘤的概率越大，蓝色程度越深则为背景的概率越大。由此可以看出，融合更多特征信息的FCNN-4s比FCNN-8s的肿瘤总体轮廓更加明显，更有利于后续CRF模型的边界分割。

3)FCNN-4s和CRF的细分割融合算法

FCNN-4s获得的脑肿瘤边界并不是很好，以此用CRF来修正分割后的脑肿瘤边界。判断MR脑肿瘤图像中每一个像素点是否为肿瘤点，标签l中用0表示非肿瘤像素点，1表示肿瘤像素点，属于二分类问题。当获取到FCNN-4s的两张初始概率图谱后，首先初始化能量函数得到像素点原始归属标签概率值，随后采用以下步骤计算CRF模型，不断迭代修正 FCNN-4s预测的两类概率图谱，融合算法如下所示。

步骤1用高斯滤波器分别对l＝0和l＝1的两个类别概率图谱进行滤波，得到两类滤波结果；

步骤2将步骤1中的滤波结果分配权重进行乘加求和，而后对每一个类别的概率图谱根据标签兼容性矩阵进行转换更新得到点对能量势函数；

步骤3对FCNN-4s网络的输出求取一元能量势函数，然后整合步骤2中的点对能量势函数结果求取整个能量函数；

步骤4将步骤3中得到的整个能量函数值归一化求取像素归属标签的概率值，并按最大概率取该像素所对应的标签，直到每一个像素点归属于各自标签的概率值迭代达到90％以上退出算法循环，否则将当前计算的像素损失反向传播回FCNN-4s算法中继续网络参数的学习与修正。

将改进的FCNN-4s网络与CRF算法融合后，本发明再一次提取了脑肿瘤的特征图像，从图4中可以看出，本发明提出的算法脑肿瘤边界更加精细，改善了FCNN-4s算法的粗分割结果，分割的精度更高。

4)实验结果的比较与分析

为了比较本发明提出的算法在单模态图像与融合图像分割效果上的差异，选取脑肿瘤边界较明显的FLAIR单模态图像，与采用灰度图像融合的预处理图像进行分割结果上的比较。从实验结果图5中可看出，当用本发明算法分割FLAIR单模态图像时，可正确分割出脑肿瘤的总体轮廓，但非肿瘤区域存在大量的散点，即出现过分割现象；当分割灰度融合模态图像时，由于三种模态的肿瘤信息可以相互补充，加强了边界等特征的提取，使得脑肿瘤的轮廓不仅被正确分割出来，在一定程度上也减少了过分割的现象，分割的肿瘤边界也更加精细。

随后采用三种指标定量分析分割结果的好坏，从表2可看出，多模态融合图像相对单模态图像在相似性指数、灵敏度以及阳性预测率等分割精度上都有了较大提升，尤其是Dice 提高了6.33％。

表2

为了验证所提改进算法的优越性，本发明与只进行两次特征融合的简单分割算法FCNN-8s以及没有融合CRF的FCNN-4s算法进行比较，同时实验还与著名学者Havaei和Pereira等提出的传统CNN算法进行对比，从图6中可看出，Havaei提出的算法存在明显的过分割，分割的脑肿瘤边界不明显且存在较多的孤立散点；Pereira提出的算法分割性能整体较Havaei略有提升，并在一定程度上减少了脑肿瘤的过分割；FCNN-8s虽然获得了平滑的脑肿瘤分割轮廓，但由于特征融合较少导致脑肿瘤边界不够精细且分割精度不高； FCNN-4s相对FCNN-8s来说在获取脑肿瘤边界信息上有一定增强，但分割出的脑肿瘤边界还是不够细腻。尤其在分割第3例复杂脑肿瘤图像时，由于肿瘤边界太复杂导致各种算法的分割结果都差强人意，但采用本发明算法却能够分割出比较满意的结果。总的来说，采用特征融合更加精细的FCNN-4s模型，且融合CRF形成的端对端的算法结构能够使得相似的像素点获得相同的标签，从而细化脑肿瘤的边界，有效解决脑肿瘤的过分割与欠分割问题。

另外从表3中也可以看出本发明算法相对其他算法具有较高的分割精度，Dice较两位学者提出的算法分别提高了5.47％和3.60％，较无融合CRF的FCNN算法更是平均提高了 8.52％。再从分割一幅脑肿瘤图像的平均时间来看，本发明算法在预测时具有较高的实时性，平均1秒内便可以完成一幅脑肿瘤图像的分割。

表3。

Claims (2)

1.一种基于改进的全卷积神经网络算法的MR脑肿瘤图像分割方法，步骤如下：

第一步：图像预处理

对脑肿瘤图像FLAIR、T2和T1C三种模态进行灰度归一化，然后分别作为R、G、B通道进行简单的灰度图像融合以便卷积核能学习到不同模态的不同特征，将经过灰度融合后的预处理图像作为算法训练以及测试的数据。

第二步：改进的FCNN粗分割算法

基于FCNN网络，在每个卷积层后添加批量正则化层以加快网络的训练速度，提高模型的精度，并对池化后的脑肿瘤特征进行三次特征融合，以得到更精细的脑肿瘤特征，建立改进的FCNN网络，即FCNN-4s网络，改进的FCNN粗分割算法步骤如下：

1)对经过灰度融合后的预处理图像经过5次池化后，分别得到原图1/2尺寸、1/4尺寸、1/8尺寸、1/16尺寸以及1/32尺寸的特征矩阵；

2)首先对1/32尺寸的高维特征向量矩阵进行2倍上采样，与Pool4层的特征向量矩阵进行第一次融合；而后对第一次得到的特征融合矩阵进行2倍上采样，与Pool3层的特征向量矩阵进行第二次融合；其次再将此融合特征矩阵进行2倍上采样，与Pool2层的特征向量矩阵进行第三次融合；随后将第三次融合的特征矩阵进行4倍上采样，得到与原始脑肿瘤图像相同大小的特征矩阵，最后Prob层输出每一个像素点分别被判断为肿瘤点和非肿瘤点的两张概率图谱，得到改进的FCNN，即FCNN-4s，的粗分割结果；

第三步：FCNN-4s和CRF的细分割融合算法

根据第二步中FCNN-4s的粗分割结果，初始化CRF模型中能量函数得到像素点原始归属标签概率值，随后采用以下步骤计算CRF模型，不断迭代修正FCNN-4s预测的两类概率图谱，获得CRF的细分割融合结果。

2.根据权利要求1所述的分割算法，其特征在于，第三步的方法如下：

1)：用高斯滤波器分别对属于肿瘤的概率图谱和不属于肿瘤的概率图谱进行滤波，得到两类滤波结果；

2)：将步骤1)中的滤波结果分配权重进行乘加求和，而后对每一个类别的概率图谱根据标签兼容性矩阵进行转换更新得到点对能量势函数；

3)：对FCNN-4s的输出求取一元能量势函数，然后整合步骤)2中的点对能量势函数求取整个能量函数；

4)：将3)中的整个能量函数值归一化求取像素归属标签的概率值，并按最大概率取该像素所对应的标签，直到每一个像素点归属于各自标签的概率值迭代达到90％以上退出算法循环，否则将当前计算的像素损失反向传播回FCNN-4s算法中继续网络参数的学习与修正，当准确判断好后每个像素点是否为肿瘤像素点，算法便可完成脑肿瘤图像的分割。