CN108171711A - 一种基于完全卷积网络的婴幼儿脑部磁共振图像分割方法 - Google Patents

Abstract

本发明中提出的一种基于完全卷积网络的婴幼儿脑部磁共振图像分割方法，其主要内容包括：跳跃连接的多流三维完全卷积网络(FCN)、部分转移学习、训练、测试和评估，其过程为，先从多模态磁共振图像中学习每个脑组织的概率图，然后从概率图中获得不同脑组织的初始分割，用于计算每个脑组织的距离图，接着根据距离图模拟空间上下文信息，最后通过使用空间关联信息和多模式磁共振图像来实现最终的分割，其中训练过程主要包括增加训练数据、准备训练补丁和迭代训练，进行测试后用各种检测值进行评估。本发明的分割方法成功分割了白质、灰质和脑脊液的区域，缓解多级深度监督潜在的梯度消失问题，提高了训练效率，也大大增强了分割的性能。

Description

一种基于完全卷积网络的婴幼儿脑部磁共振图像分割方法

技术领域

本发明涉及图像分割领域，尤其是涉及了一种基于完全卷积网络的婴幼儿脑部磁共振图像分割方法。

背景技术

医学图像的感兴趣区域分割研究，是医学图像分析中最重要的基础，准确、鲁棒和快速的图像分割，是定量分析、三维可视化等后续环节之前的最重要步骤，也为图像引导手术、放疗计划和治疗评估等重要临床应用奠定了最根本的基础。利用自动精确定量的计算机辅助图像分析，能够帮助临床医生和研究者高效准确地处理海量图像信息。磁共振(MR)图像中的脑部分割是这种定量分析工具的核心部分，因为它提供了不同大脑结构的定量测量，并提供了用于进一步量化的背景信息。虽然多年的研究已经使成人脑部MR图像分割技术取得了重大进展，然而婴幼儿脑部MR图像的分割仍然是一个巨大的挑战。婴幼儿脑部MR图像的分割可以用于婴幼儿脑部疾病的辅助诊断，临床医生根据自动分割的脑部图像，能够更快速、更准确地判断脑部的异常情况，从而有效诊断和治疗婴幼儿的各种脑部疾病，如脑炎、脑膜炎、脑瘫、脑积水等。但是现有的分割技术种由于灰质和白质具有几乎相同的强度水平，所以T1和T2模态具有最低的反差，给分割带来了巨大的困难。

本发明提出了一种基于完全卷积网络的婴幼儿脑部磁共振图像分割方法，先从多模态磁共振图像中学习每个脑组织的概率图，然后从概率图中获得不同脑组织的初始分割，用于计算每个脑组织的距离图，接着根据距离图模拟空间上下文信息，最后通过使用空间关联信息和多模式磁共振图像来实现最终的分割，其中训练过程主要包括增加训练数据、准备训练补丁和迭代训练，进行测试后用各种检测值进行评估。本发明的分割方法成功分割了白质、灰质和脑脊液的区域，缓解多级深度监督潜在的梯度消失问题，提高了训练效率，也大大增强了分割的性能。

发明内容

针对灰质和白质具有几乎相同的强度水平的问题，本发明的目的在于提供一种基于完全卷积网络的婴幼儿脑部磁共振图像分割方法，先从多模态磁共振图像中学习每个脑组织的概率图，然后从概率图中获得不同脑组织的初始分割，用于计算每个脑组织的距离图，接着根据距离图模拟空间上下文信息，最后通过使用空间关联信息和多模式磁共振图像来实现最终的分割，其中训练过程主要包括增加训练数据、准备训练补丁和迭代训练，进行测试后用各种检测值进行评估。

为解决上述问题，本发明提供一种基于完全卷积网络的婴幼儿脑部磁共振图像分割方法，其主要内容包括：

(一)跳跃连接的多流三维完全卷积网络(FCN)；

(二)部分转移学习；

(三)训练；

(四)测试和评估。

其中，所述的婴幼儿脑部磁共振图像分割方法，它是一种基于多尺度深度监督的多流三维完全卷积网络(FCN)的婴幼儿脑部多模式磁共振(MR)图像的自动分割方法，包括两个阶段；首先开发用于第一阶段的FCN-1，以从多模态MR图像中学习每个脑组织的概率图；然后从概率图中获得不同脑组织的初始分割，进一步可用于计算每个脑组织的距离图；计算出的距离图可以用来模拟空间上下文信息；接着开发第二阶段使用的FCN-2，通过使用空间关联信息和多模式MR图像来实现最终的分割。

其中，所述的跳跃连接的多流三维完全卷积网络(FCN)，在两个阶段中采用具有长跳跃连接和短跳跃连接的多流三维FCN来集成来自多个源的信息，即T1和T2加权图像(以及FCN-2的上下文信息)；更具体地说，FCN-1和FCN-2都由编码器部分(收缩路径)和解码器部分(膨胀路径)两部分组成；编码器部分侧重于从输入数据的分析和特征表示中学习，而解码器部分根据来自编码器部分的学习特征生成分割结果；

在多尺度深度监督网络中，所有卷积层的内核大小为3×3×3，步长为1，所有的最大汇聚层的内核大小都为2×2×2，步长为2；在卷积和解卷积块中，运用批量归一化(BN)和修正线性单元(ReLU)来加速训练，并提高梯度反向传播。

进一步地，所述的多尺度深度监督网络，设W为主网的权重，w＝{w⁰，w¹，...，W^M-1}是不同尺度下分类器的权重，其中，M是分类器分支的数量；对于训练样本S＝(X，Y)，其中，X表示训练子体积补丁，Y表示当Y∈{0，1，2，3}时的类别标签；

其中，S＝{S⁰，S¹，...，S^M-1}，S⁰是从训练图像直接采样的子体积补丁，而S^mm包含m＞0的范例(x_i，y_i)，其沿着每个维度，由2^m的一个因子下采样S⁰获得；W^m是m的分类器的权重；α_m是l^m的权重，即训练样本x_i，y_i在m的尺度上计算的损失；

l^m(x_i，y_i|W，w^m)＝-log p(y_i＝t(x_i)|x_i；(W，w^m)) (2)

其中，p(y_i＝t(x_i)|x_i；(W，w^m))是与样本x_i∈S^m对应的预测类标签t(x_i)的概率；

因此，多尺度深度监督模型的总损失为：

其中，ψ(·)是超参数λ的正则化项。

其中，所述的部分转移学习，深层神经网络中浅层的权重是通用的，而深层的权重则更多地与特定任务相关；为了更好地利用转移学习的优势，需要从一个相关任务的训练模型转移；使用一个预先训练的模型，该模型是为了从三维T1加权MR图像分割股骨近端而设计的；更具体地说，T1模式(包括编码器、解码器和所有分类器)的完整路径的权重是从原有模型的基础上初始化的，而T2模态的编码器路径的权重部分是从C3D模型转移的，这是在计算机视觉领域的一个非常大的数据集上训练过的为数不多的三维模型之一。

其中，所述的训练，训练数据由10个受试者的T1(自旋-点阵或纵向驰豫时间)和T2(自旋-自旋或横向弛豫时间)加权MR图像组成；还包括另外13名患者的T1和T2加权图像的测试数据；因此，首先对训练数据进行训练，然后对测试数据进行评估；

对所有图像进行预处理，包括T2图像在相应T2图像上的线性对齐、去除颅骨、校正强度不均匀性以及去除小脑和脑干部分；所有的图像被上采样成分辨率为1×1×1mm³的各向同性网格；

训练过程主要包括增加训练数据、准备训练补丁和迭代训练。

进一步地，所述的增加训练数据，数据增加通过围绕图像的z轴，分别以90°、180°和270°旋转每个图像度水平翻转(y轴)来增加训练样本。

进一步地，所述的准备训练补丁，神经网络的所有子体积修补程序的大小是64×64×64；从训练样本中随机剪取子体积的补丁；每个采样的图像块在馈入网络之前被归一化为零均值和单位方差。

进一步地，所述的迭代训练，在部分转移学习之后，对网络进行10000次迭代训练；所有权重通过随机梯度下降算法更新(动量为0.9，权重衰减为0.005)；学习率初始为1×10^-3，每3000次则减半；实验中使用了三个分支分类器，三个分类器的损失权重分别为1.0、0.67和0.33；超参数λ为0.005。

其中，所述的测试和评估，训练模型可以估计任意大小的体积图像的标签；给定测试对象的图像，提取大小为64×64×64的重叠子体积补丁，并将其馈送到训练网络以获得预测概率图；对于重叠的体素，最终的概率图为重叠补丁的概率图的平均值，然后将其用于导出最终的分割结果；

对于每个测试对象，通过使用包括戴斯重叠系数(DOC)、平均表面距离(ASD)和改进的豪斯道夫距离(MHD)等各种检测值，针对相关的手动分割来评估自动分割。

附图说明

图1是本发明一种基于完全卷积网络的婴幼儿脑部磁共振图像分割方法的***框架图。

图2是本发明一种基于完全卷积网络的婴幼儿脑部磁共振图像分割方法的两个阶段。

图3是本发明一种基于完全卷积网络的婴幼儿脑部磁共振图像分割方法的训练数据。

图4是本发明一种基于完全卷积网络的婴幼儿脑部磁共振图像分割方法的两种自动分割方法的比较。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。

图1是本发明一种基于完全卷积网络的婴幼儿脑部磁共振图像分割方法的***框架图。主要包括跳跃连接的多流三维完全卷积网络(FCN)，部分转移学习，训练，测试和评估。

部分转移学习，深层神经网络中浅层的权重是通用的，而深层的权重则更多地与特定任务相关；为了更好地利用转移学习的优势，需要从一个相关任务的训练模型转移；使用一个预先训练的模型，该模型是为了从三维T1加权MR图像分割股骨近端而设计的；更具体地说，T1模式(包括编码器、解码器和所有分类器)的完整路径的权重是从原有模型的基础上初始化的，而T2模态的编码器路径的权重部分是从C3D模型转移的，这是在计算机视觉领域的一个非常大的数据集上训练过的为数不多的三维模型之一。

测试和评估，训练模型可以估计任意大小的体积图像的标签；给定测试对象的图像，提取大小为64×64×64的重叠子体积补丁，并将其馈送到训练网络以获得预测概率图；对于重叠的体素，最终的概率图为重叠补丁的概率图的平均值，然后将其用于导出最终的分割结果；

对于每个测试对象，通过使用包括戴斯重叠系数(DOC)、平均表面距离(ASD)和改进的豪斯道夫距离(MHD)等各种检测值，针对相关的手动分割来评估自动分割。

图2是本发明一种基于完全卷积网络的婴幼儿脑部磁共振图像分割方法的两个阶段。婴幼儿脑部磁共振图像分割方法，是一种基于多尺度深度监督的多流三维完全卷积网络(FCN)的婴幼儿脑部多模式磁共振(MR)图像的自动分割方法，包括两个阶段；首先开发用于第一阶段的FCN-1，以从多模态MR图像中学习每个脑组织的概率图；然后从概率图中获得不同脑组织的初始分割，进一步可用于计算每个脑组织的距离图；计算出的距离图可以用来模拟空间上下文信息；接着开发第二阶段使用的FCN-2，通过使用空间关联信息和多模式MR图像来实现最终的分割。

在两个阶段中采用具有长跳跃连接和短跳跃连接的多流三维FCN来集成来自多个源的信息，即T1和T2加权图像(以及FCN-2的上下文信息)；更具体地说，FCN-1和FCN-2都由编码器部分(收缩路径)和解码器部分(膨胀路径)两部分组成；编码器部分侧重于从输入数据的分析和特征表示中学习，而解码器部分根据来自编码器部分的学习特征生成分割结果；

在多尺度深度监督网络中，所有卷积层的内核大小为3×3×3，步长为1，所有的最大汇聚层的内核大小都为2×2×2，步长为2；在卷积和解卷积块中，运用批量归一化(BN)和修正线性单元(ReLU)来加速训练，并提高梯度反向传播。

设W为主网的权重，w＝{w⁰，w¹，...，w^M-1}是不同尺度下分类器的权重，其中，M是分类器分支的数量；对于训练样本S＝(X，Y)，其中，X表示训练子体积补丁，Y表示当Y∈{0，1，2，3}时的类别标签；

其中，S＝{S⁰，S¹，...，S^M-1}，S⁰是从训练图像直接采样的子体积补丁，而S^m包含m＞0的范例(x_i，y_i)，其沿着每个维度，由2^m的一个因子下采样S⁰获得；W^m是m的分类器的权重；α_m是l^m的权重，即训练样本x_i，y_i在m的尺度上计算的损失；

l^m(x_i，y_i|W，w^m)＝-log p(y_i＝t(x_i)|x_i；(W，w^m)) (2)

其中，p(y_i＝t(x_i)|x_i；(W，w^m))是与样本x_i∈S^m对应的预测类标签t(x_i)的概率；

因此，多尺度深度监督模型的总损失为：

其中，ψ(·)是超参数λ的正则化项。

图3是本发明一种基于完全卷积网络的婴幼儿脑部磁共振图像分割方法的训练数据。训练数据由10个受试者的T1(自旋-点阵或纵向驰豫时间)和T2(自旋-自旋或横向弛豫时间)加权MR图像组成；还包括另外13名患者的T1和T2加权图像的测试数据；因此，首先对训练数据进行训练，然后对测试数据进行评估；

对所有图像进行预处理，包括T2图像在相应T2图像上的线性对齐、去除颅骨、校正强度不均匀性以及去除小脑和脑干部分；所有的图像被上采样成分辨率为1×1×1mm³的各向同性网格；

训练过程主要包括增加训练数据、准备训练补丁和迭代训练。

(1)增加训练数据，数据增加通过围绕图像的z轴，分别以90°、180°和270°旋转每个图像度水平翻转(y轴)来增加训练样本。

(2)准备训练补丁，神经网络的所有子体积修补程序的大小是64×64×64；从训练样本中随机剪取子体积的补丁；每个采样的图像块在馈入网络之前被归一化为零均值和单位方差。

(3)迭代训练，在部分转移学习之后，对网络进行10000次迭代训练；所有权重通过随机梯度下降算法更新(动量为0.9，权重衰减为0.005)；学习率初始为1×10^-3，每3000次则减半；实验中使用了三个分支分类器，三个分类器的损失权重分别为1.0、0.67和0.33；超参数λ为0.005。

如图显示了T1和T2加权的MR图像和相关的训练数据的标定好真实分割。最右侧的图片中，白色区域表示脑脊液，灰色区域表示灰质，黑色区域表示白质。

图4是本发明一种基于完全卷积网络的婴幼儿脑部磁共振图像分割方法的两种自动分割方法的比较。以标定好的真实分割(第二行)作为参考，比较使用上下文信息自动分割(第三行)和不使用上下文信息的自动分割(第四行)的差异。

对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

Claims (10)

1.一种基于完全卷积网络的婴幼儿脑部磁共振图像分割方法，其特征在于，主要包括跳跃连接的多流三维完全卷积网络(FCN)(一)；部分转移学习(二)；训练(三)；测试和评估(四)。

2.基于权利要求书1所述的婴幼儿脑部磁共振图像分割方法，其特征在于，它是一种基于多尺度深度监督的多流三维完全卷积网络(FCN)的婴幼儿脑部多模式磁共振(MR)图像的自动分割方法，包括两个阶段；首先开发用于第一阶段的FCN-1，以从多模态MR图像中学习每个脑组织的概率图；然后从概率图中获得不同脑组织的初始分割，进一步可用于计算每个脑组织的距离图；计算出的距离图可以用来模拟空间上下文信息；接着开发第二阶段使用的FCN-2，通过使用空间关联信息和多模式MR图像来实现最终的分割。

3.基于权利要求书1所述的跳跃连接的多流三维完全卷积网络(FCN)(一)，其特征在于，在两个阶段中采用具有长跳跃连接和短跳跃连接的多流三维FCN来集成来自多个源的信息，即T1和T2加权图像(以及FCN-2的上下文信息)；更具体地说，FCN-1和FCN-2都由编码器部分(收缩路径)和解码器部分(膨胀路径)两部分组成；编码器部分侧重于从输入数据的分析和特征表示中学习，而解码器部分根据来自编码器部分的学习特征生成分割结果；

在多尺度深度监督网络中，所有卷积层的内核大小为3×3×3，步长为1，所有的最大汇聚层的内核大小都为2×2×2，步长为2；在卷积和解卷积块中，运用批量归一化(BN)和修正线性单元(ReLU)来加速训练，并提高梯度反向传播。

4.基于权利要求书3所述的多尺度深度监督网络，其特征在于，设W为主网的权重，w＝{w⁰,w¹,…,w^M-1}是不同尺度下分类器的权重，其中，M是分类器分支的数量；对于训练样本S＝(X,Y)，其中，X表示训练子体积补丁，Y表示当Y∈{0,1,2,3}时的类别标签；

其中，S＝{S⁰,S¹,…,S^M-1}，S⁰是从训练图像直接采样的子体积补丁，而S^m包含m>0的范例(x_i,y_i)，其沿着每个维度，由2^m的一个因子下采样S⁰获得；w^m是m的分类器的权重；α_m是l^m的权重，即训练样本x_i,y_i在m的尺度上计算的损失；

l^m(x_i,y_i|W,w^m)＝-logp(y_i＝t(x_i)|x_i；(W,w^m)) (2)

其中，p(y_i＝t(x_i)|x_i；(W,w^m))是与样本x_i∈S^m对应的预测类标签t(x_i)的概率；

因此，多尺度深度监督模型的总损失为：

其中，ψ(·)是超参数λ的正则化项。

5.基于权利要求书1所述的部分转移学习(二)，其特征在于，深层神经网络中浅层的权重是通用的，而深层的权重则更多地与特定任务相关；为了更好地利用转移学习的优势，需要从一个相关任务的训练模型转移；使用一个预先训练的模型，该模型是为了从三维T1加权MR图像分割股骨近端而设计的；更具体地说，T1模式(包括编码器、解码器和所有分类器)的完整路径的权重是从原有模型的基础上初始化的，而T2模态的编码器路径的权重部分是从C3D模型转移的，这是在计算机视觉领域的一个非常大的数据集上训练过的为数不多的三维模型之一。

6.基于权利要求书1所述的训练(三)，其特征在于，训练数据由10个受试者的T1(自旋-点阵或纵向驰豫时间)和T2(自旋-自旋或横向弛豫时间)加权MR图像组成；还包括另外13名患者的T1和T2加权图像的测试数据；因此，首先对训练数据进行训练，然后对测试数据进行评估；

对所有图像进行预处理，包括T2图像在相应T2图像上的线性对齐、去除颅骨、校正强度不均匀性以及去除小脑和脑干部分；所有的图像被上采样成分辨率为1×1×1mm³的各向同性网格；

训练过程主要包括增加训练数据、准备训练补丁和迭代训练。

7.基于权利要求书6所述的增加训练数据，其特征在于，数据增加通过围绕图像的z轴，分别以90°、180°和270°旋转每个图像度水平翻转(y轴)来增加训练样本。

8.基于权利要求书6所述的准备训练补丁，其特征在于，神经网络的所有子体积修补程序的大小是64×64×64；从训练样本中随机剪取子体积的补丁；每个采样的图像块在馈入网络之前被归一化为零均值和单位方差。

9.基于权利要求书6所述的迭代训练，其特征在于，在部分转移学习之后，对网络进行10000次迭代训练；所有权重通过随机梯度下降算法更新(动量为0.9，权重衰减为0.005)；学习率初始为1×10^-3，每3000次则减半；实验中使用了三个分支分类器，三个分类器的损失权重分别为1.0、0.67和0.33；超参数λ为0.005。

10.基于权利要求书1所述的测试和评估(四)，其特征在于，训练模型可以估计任意大小的体积图像的标签；给定测试对象的图像，提取大小为64×64×64的重叠子体积补丁，并将其馈送到训练网络以获得预测概率图；对于重叠的体素，最终的概率图为重叠补丁的概率图的平均值，然后将其用于导出最终的分割结果；

对于每个测试对象，通过使用包括戴斯重叠系数(DOC)、平均表面距离(ASD)和改进的豪斯道夫距离(MHD)等各种检测值，针对相关的手动分割来评估自动分割。