CN110782427A - 基于可分离空洞卷积的磁共振脑肿瘤自动分割方法 - Google Patents

Abstract

本发明属于计算机辅助医疗领域，具体涉及基于可分离空洞卷积的磁共振脑肿瘤图像自动分割方法。本发明的方法具体步骤包括：首先，将磁共振脑肿瘤图像数据集划分为训练集和测试集，并对训练集中的磁共振脑肿瘤图像进行预处理操作；其次，构建基于可分离空洞卷积的磁共振脑肿瘤图像深度分割网络架构；第三，采用预处理后的训练集磁共振脑肿瘤图像，对所构建的可分离空洞卷积脑肿瘤分割网络实施端对端训练，获得优化的脑肿瘤分割网络模型；最后，采用训练后的脑肿瘤分割网络模型来对测试集磁共振脑肿瘤图像进行分割处理。本发明的方法通过加强对磁共振脑肿瘤图像的判别深度特征提取和空间多尺度信息整合，可获得更优的磁共振脑肿瘤分割结果。

Description

基于可分离空洞卷积的磁共振脑肿瘤自动分割方法

技术领域

本发明涉及医学图像分割方法，具体涉及一种基于可分离空洞卷积的磁共振脑肿瘤自动分割方法。

背景技术

脑胶质瘤是最常见和侵袭性的原发性脑肿瘤之一，严重危害人类健康。脑肿瘤的治疗以手术为主，辅以放射治疗、化学治疗等综合治疗措施。磁共振图像技术通过非接入性、无伤害性、多方位，多参数成像、清晰的软组织显示能力等特点，已经成为脑肿瘤临床诊断和治疗的主要参考依据，脑肿瘤图像的精确分割对医学影像分析和临床应用研究具有十分重要的意义，它是提取影像中特殊组织的定量信息所不可缺少的手段，是实现脑组织三维可视化重建的先决条件。基于脑肿瘤的精确分割结果，医生可获得肿瘤的形态、大小及位置等多种信息，对其进行定量的分析和跟踪比较，掌握肿瘤病变发展和生长状态。目前已有的脑肿瘤分割方法大体分为两类，一类是传统机器学习的分割方法，一类是基于深度学习的分割方法。

传统的磁共振脑肿瘤分割方法主要基于图像处理、计算机图形学和传统人工智能等领域模型和方法构建，主要包括基于阈值的方法、基于区域的方法、基于模型的方法和基于分类器的方法等。

基于深度学习的磁共振脑肿瘤自动分割已成为当今热点，近年来，深度神经卷积网络模型已经成功地应用于许多计算机视觉任务中，其可实现深层次高判别表达能力特征的自动抽取，并快速被发展到医疗图像处理与分析领域。在基于深度学习的磁共振脑影像分割研究上，近年来也发展了一系列重要研究成果，较传统脑影像分割方法获得大幅度的性能提升。然而，目前的深度学习方法，很难在特征提取以及多种空间尺度的信息予以整合能力上进行提升，为解决这一问题，提出一种基于可分离空洞卷积的脑肿瘤自动分割方法。

例如申请号201580001261.8的中国专利公开了一种基于深度卷积神经网络的快速磁共振成像方法及装置，所述方法包括：步骤S1，构建深度卷积神经网络；步骤S2，获取离线磁共振图像数据，训练所述深度卷积神经网络，学习欠采样磁共振图像与全采图像之间的映射关系；步骤S3，利用所述步骤S2中学习到的深度卷积神经网络重建磁共振图像。该方法利用线下大量的磁共振图像，开发其先验信息，使其离线网络可从前期采集的磁共振数据里恢复更多的精细结构和图像特征，并使磁共振采样倍数和成像精度有所提高。但是该技术方案实际没有设计脑肿瘤自动切割的过程，而且信息处理能力也十分有限。

发明内容

为了解决现有技术中的上述问题，即解决目前深度学习技术在进行脑肿瘤分割时无法提取精确特征以及整合尺度信息能力问题，本发明提供了一种基于可分离空洞卷积的磁共振脑肿瘤自动分割方法。

本发明提出的一种基于可分离空洞卷积的磁共振脑肿瘤自动分割方法，包括下列步骤：

步骤1：将磁共振图像数据划分为训练集、测试集；训练集采用数据预处理方法，生成处理后磁共振图像，测试集用于模型的测试，磁共振脑肿瘤图像的分割过程，具体包括：

步骤11：将构造包含磁共振图像数据及标签的图像数据集，并划分为训练集、测试集两部分，训练集用于本发明的模型训练，测试集用于本发明模型测试阶段；

获取图像数据和标签，X＝[x₁,x₂,...,x_N]代表所有图片构成的样本集，每一病例图像记作x_i,{i＝1,2,...,N}，N为图像样本个数，每个病例图像有不同磁序列四种表示，分别为Flair、T1、T2和T1c模态；Y＝[y₁,y₂,...,y_M]代表图像数据集X 对应的标签。然后进行样本集进行划分，选取一部分作为训练样本集X_tr，一部分作为测试样本集X_te；

步骤12：首先去除训练数据集图像的1％最高和1％最低强度区域，得到尺度大小为152×192×146 3D图像，然后将每个3D图像切割成一系列2D切片图像f1，尺度为152×192；然后根据图像肿瘤特征，将这些f1图像实现块处理，得到尺度为128×128图像f2，以解决数据不平衡；

步骤13：利用z-score归一化处理，将图像f2不同量级的数据像素强度转化为统一强度，以保证数据之间的规整化。步骤13的具体包括：

步骤131：求解f2图像像素总体数据的均值μ；求解f2图像像素总体数据的标准差σ；

步骤132：获取f2图像像素x；利用公式：获取，生成处理后的磁共振脑肿瘤图像。

步骤2，面向处理后磁共振脑肿瘤图像分割的基于可分离空洞卷积网络构建，具体包括以下步骤：

步骤21：使用取自处理后磁共振图像轴向切片大小对全卷积神经网络进行训练；依次获取次磁共振图像四个模式图像的各个轴向切片；具体为以特定像素为中心的Flair、T1、T2和T1c四种模态磁共振图像上正方形的块，同理标签也使用这种处理方式；所述的轴向切片大小为128×128×4，4表示Flair、T1、T2 和T1c模态；

步骤22：将步骤21中所获得的轴向切片输入可分离空洞卷积的神经卷积网络中进行脑肿瘤的分割；

步骤22中，可分离空洞卷积网络构建主要包括以下步骤：

步骤S221：编码器网络通过构建可分离空洞卷积网络进行特征的提取，可分离空洞卷积块由3×3可分离卷积和空洞率为2的3×3卷积、正则化和非线性激活函数组成，然后通过捷径连接进行求和操作，实现对脑肿瘤特征的提取；

编码器网络中包含3个可分离空洞卷积块，3个卷积块提取特征的通道数分别是64，128，256，编码器网路不断进行下采样，提取脑肿瘤更加高阶信息，获取全局语义信息；

步骤S:222：在可分离空洞卷积网络底层，分别加入2个由3×3和1×1 卷积以及求和操作构成残差块，这两个残差块的通道数分别是512、512，这种结构便于感知全局信息并描述更详细的局部特征信息；

步骤S:223：在解码器网络中，可分离空洞卷积网络通过上采样和卷积操作进行特征的还原，并通过合并与之映射的编码器网络特征补全丢失边界信息，提升网络的特征信息捕获能力。

解码器网络中，采用3个残差块，进行特征的复原，通道数分别是256， 128，64。解码器网络与编码器网络共同协作，补全丢失的边界信息，通过 softmax层进行像素级别分类。

步骤3，可分离空洞卷积网络模型的端对端训练，采用构建的基于可分离卷空洞卷积的网络，将处理后磁共振图像送入到网络中进行优化网络过程，提升分割精度；

可分离卷积网络通过步骤3进行网络优化，在训练过程中，损失函数由Dice loss和Cross Entropy Loss函数组成，用于计算网络的误差，然后采用随机梯度下降法对网络不断的进行优化，直到达到最优。

步骤4：将训练后的可分离空洞卷积网络模型用于磁共振脑影像进行分割，将测试集逐切片送入到网络，切片大小是240×240，同时四种模态数据一并送入到训练后的模型中，通过模型处理后，生成输出测试分割结果。

在上述方法中，所述基于可分离空洞卷积的磁共振脑肿瘤自动分割方法是深度神经卷积网络；特征提取网络由可分离空洞残差网络构成。所述的可分离空洞卷积的磁共振脑肿瘤自动分割神经网络为串联的卷积神经网络，由编码器网络和解码器网络组成，所述的编码器网络由卷积、池化等操作实现对图像特征的提取，将提取特征送入解码器网络中，解码器网络与解码器网路通过相应操作连接，共同将特征复原，得到最终分割后的磁共振图像。

上述方法在步骤3中输出脑肿瘤分割结果之后，需要进行区域肿瘤的指标评定，得出不同区域肿瘤的分割效果。

进一步所述的指标评定为：Flair、T1、T2和T1c四种模态磁共振图像对应的脑肿瘤分割结果中的三种病态，分别是完全肿瘤、核心肿瘤和增强肿瘤，它们之间是包含关系。磁共振脑肿瘤图像有四种标签，分别为0，1,2,4，依次表示体素(x,y,z)被标注为健康组织、坏死和非增强、水肿、增强。通过评定指标Dice参数进行表示分割的结果。

本发明的可分离空洞卷积的磁共振脑肿瘤自动分割方法的有益效果在于：使用可分离空洞卷积网络进行特征提取，并构建编解码网络结构，实现肿瘤特征提取与特征融合，解决了深度学习脑肿瘤分割模型难在特征提取以及多种空间尺度的信息予以整合能力的问题。另外，本发明在BraTS 2018挑战赛数据集上的验证结果也获得了不错效果。本方法可以逐片的进行处理分割实现端对端分割效果，进而降低了分割的时间和分割设备性能，使脑肿瘤的分割失误率更低，并降低了脑肿瘤自动方法分割的成本。

附图说明

以下结合附图和具体实施方式对本发明作进一步详细说明

图1是本发明的可分离空洞卷积的磁共振脑肿瘤自动分割方法的分割模型示意图；

图2是本发明的可分离空洞卷积的磁共振脑肿瘤自动分割方法的流程图；

图3是可分离空洞卷积的磁共振脑肿瘤自动分割方法和其他方法结果在 BraTS2017数据集中的比较；

图4是可分离空洞卷积的磁共振脑肿瘤自动分割方法和其他方法结果在 BraTS2018数据集中的比较。

具体实施方式

下面参照附图来描述本发明的优选具体实施方式。本领域技术人员应当理解的是，这些实施例仅仅是用于解释本发明的技术方案，并非旨在限制本发明的保护范围。例如，尽管本申请中按照特定顺序描述了本发明的方法的各个步骤，但是这些顺序并不是限制性的，在不偏离本发明的基本原理的前提下，本领域技术人员可以按照不同顺序来执行所述步骤，这些变换都落入本申请的保护范围内。

实施例1：首先请参照图1，本发明所使用神经网络实现的可分离空洞卷积网路融合的方法来解决目前深度学习的脑肿瘤分割方法中难在特征提取以及多种空间尺度的信息予以整合能力的问题，该方法具有较快的分割速度和较高的分割精度。在实施方式中的脑肿瘤分割网络模型中，如图1所示，可分离空洞卷积构成一个U型的卷积神经网络。

请参阅图2，其具体步骤如下所示：

步骤1：磁共振图像数据集划分和训练数据集的预处理操作：采用2D切片处理以及z-score方法进行数据不平衡处理以及数据像素强度归一化处理操作，生成处理后的磁共振图像。

步骤2：脑肿瘤分割：实现基于可分离空洞卷积的磁共振脑肿瘤自动分割网络构建。

步骤3：可分离空洞卷积网络参数优化，对处理后的磁共振图像进行分割。

步骤4：将训练后的可分离空洞卷积网络模型用于磁共振脑测试集的分割。

具体详述如下：

1.磁共振图像的处理

该步骤中对包含数据集的划分以及磁共振脑肿瘤训练集图像的预处理步骤包括：

步骤11：磁共振图像数据集划分，划分成训练集和测试集。

步骤12：对划分后的磁共振脑影像的训练集首先去除图像的1％最高和1％最低强度区域，得到152×192×146的3D数据，然后将每个3D图像切割成一系列2D切片图像f1，f1图像尺度是152×192；然后将这些f1图像通过滑动窗口实现块处理,得到图像尺度为128×128的f2。

步骤13：对磁共振图像f2进行z-score强度规整化处理。

z-score标准化是数据处理的一种常用方法。通过它能够将不同量级的数据转化为统一量度的z-score分值进行比较。

本实施例的步骤13中，像素强度规整化处理是通过将两组或多组数据转化为无单位的z-score分值，使得数据标准统一化，提高了数据可比性，削弱了数据解释性。

2.脑肿瘤分割网络的构建

请参阅图1，在步骤2中，基于可分离空洞卷积的磁共振脑肿瘤自动分割深度神经网络是一个编解码结构的卷积神经网络，由编码网络和解码网络串联构成。编码网络通过可分离空洞卷积、池化等操作进行图像特征的提取，解码网络通过上采样和卷积操作获取图像的特征，实现脑肿瘤分割。

在步骤2中，可分离卷积和空洞卷积借鉴Chollet和Yu等人的网络，卷积层通道间的相关性和空间相关性是可以退耦合的，将它们分开映射，能达到更好的效果。可分离卷积和空洞卷积融合获得了更好的局部特征和全局特征描述能力。同时，这种网络充分利用磁共振脑图像的通道和区域信息，可更好的捕获更多像素级细节和空间信息，这有利于磁共振脑分割图像特征信息提取，加强特征捕获能力，实现更加准确分割。

在步骤2中，具体地，基于可分离空洞卷积的磁共振脑肿瘤自动分割方法构建流程按照如下步骤：

步骤S21,使用取自处理后的磁共振图像轴向切片的正方形小块对网络进行训练；所述取出处理后的磁共振图像轴向切片的正方形小块构成训练阶段的训练样本，具体为以特定像素为中心的Flair、T1、T1c、T2四种模态磁共振图像上正方形的块，尺度大小是128×128×4,4个通道分别是Flair、T1、T1c、T2 四种模态下轴向切片。标签也以这种方式进行处理，对应训练数据的标签值。

步骤S22,如图1所示，本发明的可分离空洞卷积的磁共振脑肿瘤自动分割方法的脑肿瘤分割模型示意图。其中可分离空洞卷积的磁共振脑肿瘤自动分割网络训练阶段以尺度128×128×4进行训练，通过下采样进行特征信息复原，最后通过softmax层分类。

3.模型优化

训练预测值将用于修正Dice loss损失函数的计算，在训练阶段，输入一个尺度大小的图像，输出相同大小的图像，并进行像素分类预测，即健康组织、坏死和非增强、水肿以及增强的概率值。然后使用误差反向传播算法对整个可分离空洞卷积网络中参数进行训练。

需要特别说明的是，训练样本通过训练数据上随机采样方式获取，并通过去除、块方式进行数据平衡处理。该阶段所使用的轴向切片的小块方式对网络进行训练，这样一方面可以增加训练样本的数量，另一方面控制不同类别样本数目，有利于实现样本均衡。该网络是全卷积神经网络，实现端对端方式，并采用2D切片方式进行测试，加快了网络测试效率。

步骤3,使用处理后磁共振图像轴向切片，对融合可分离空洞卷积的磁共振脑肿瘤自动分割方法进行参数优化。在误差反向传播阶段同时对基于可分离空洞卷积的磁共振脑肿瘤自动分割网络参数调优。

步骤4,使用将训练后的可分离空洞卷积网络模型用于测试集磁共振脑影像进行分割。

综上所述，本发明的基于可分离空洞卷积的磁共振脑肿瘤自动分割网络，实现可分离空洞卷积融合提取图像特征，解决了深度学习脑肿瘤分割模型难在特征提取以及多种空间尺度的信息予以整合能力的问题，另外在BraTS 2017 数据集和BraTS 2018数据集上均可获得了不错的结果。

Claims (6)

1.一种基于可分离空洞卷积的磁共振脑肿瘤图像自动分割方法，其特征在于：包括以下步骤：

步骤1：将磁共振脑肿瘤图像数据集划分为训练集和测试集两部分，其中训练集用于本发明方法的模型训练、测试数据用于发明方法的模型测试，并对训练集中的磁共振脑肿瘤图像进行预处理操作，生成预处理后的磁共振脑肿瘤图像训练集；

步骤2：构建基于可分离空洞卷积的磁共振脑肿瘤图像深度分割网络架构；

步骤3：采用预处理后的训练集磁共振脑肿瘤图像，对所构建的可分离空洞卷积脑肿瘤分割网络实施端对端训练，获得优化的脑肿瘤分割网络模型。

步骤4：采用训练后的脑肿瘤分割网络模型来对测试集磁共振脑肿瘤图像进行分割。

2.根据权利要求1所述的磁共振脑肿瘤图像自动分割方法，其特征在于：所述的步骤1中的训练集磁共振脑肿瘤图像预处理操作包括：

先将磁共振脑肿瘤图像三维数据去除图像无效的最高和最低强度所在区域，即去除无效背景像素，然后将处理后的三维图像沿Z轴切割成一系列二维图像f1；然后将这些二维f1图像通过滑动窗口方式进行切片处理，切片数据大小由肿瘤区域决定，同时一张二维f1图像切片获得3张切片图像f2，标签以同样的方式进行处理实现块处理，以解决数据不平衡；最后利用z-score方法归一化处理，将图像f2不同量级的数据像素强度转化为统一强度，以保证数据之间的可比性，生成处理后的磁共振图像。

3.根据权利要求2所述的磁共振脑肿瘤图像自动分割方法，其特征在于：在步骤1中，所述预处理后磁共振图像包含Flair、T1、T2和T1c四种模态的磁共振图像。

4.根据权利要求1所述的磁共振脑肿瘤图像自动分割方法，其特征在于：所述的步骤2中的基于可分离空洞卷积的磁共振脑肿瘤图像深度分割网络架构构建，由可分离卷积块和双残差块以及残差块构成的深度学习网络架构串联构成。其中，可分离卷积块和双残差块具体结构如下：

S31.可分离卷积块

(1)可分离卷积块包括两个卷积层，第一个卷积层，由正则化,激活函数和分离卷积组成，第二个卷积由正则化,激活函数以及空洞卷积组成，两个卷积层的通道数是一致；

(2)然后使用残差思想捷径连接方式，将输入的特征与经过可分离卷积块处理后的特征进行求和操作；

(3)最后将这两个部分进行组合，得到最终的可分离卷积块；

S32.双残差块模块

(1)双残差块模块在可分离空洞卷积网络底层，包括两个残差块,这两个双残差块处理方式不同，第一个残差块由两个卷积构建，实现特征的提取，主要利用残差网的捷径原理；

(2)第二个残差块由两个卷积构建，每个卷积层都进行正则化进和激活函数处理，然后通过卷积进行处理，最后将处理的特征与残差块处理的特征进行求和操作。

5.根据权利要求1所述的磁共振脑肿瘤图像自动分割方法，其特征在于：所述的步骤3中对包含实现可分离空洞卷积网络模型的端对端训练，优化网络过程：基于可分离空洞卷积网络反向传播利用修正Diceloss损失函数作为目标函数，经激活函数softmax操作映射为各标签的预测概率；基于此，在反向传播中采用随机梯度下降法，利用链式法则对各参数逐层求偏导，确定反向传播误差，不断更新网络模型的参数，优化可分离空洞卷积网络。

6.根据权利要求1所述的方法，其特征在于：步骤4中对包含采用训练后的脑肿瘤分割网络模型来对测试集磁共振脑肿瘤图像进行分割，测试网络过程为：

首先将测试集数据通过Z轴切片将3D转化为2D数据，然后将切片数据送入训练模型中，进行测试数据分割。

Images