CN109829918B - 一种基于密集特征金字塔网络的肝脏图像分割方法 - Google Patents

Abstract

本发明公开了一种基于密集特征金字塔网络的肝脏图像分割方法，涉及图像处理技术领域，该方法采用密集特征金字塔网络来处理多期肝脏CT图像的分割问题，该网络基于全卷积分割网络，引入特征金字塔，并使用密集连接增强特征流，在多期CT上实现像素级的肝脏分割；这种方法在公共的3DIRCADb数据库中Dice值为95.0％，提高了分割性能；并通过公共数据集和临床数据集证实了，用层厚较大CT图像训练的DPFN可以无缝地推广到层厚较小CT图像。

Description

一种基于密集特征金字塔网络的肝脏图像分割方法

技术领域

本发明涉及图像处理技术领域，特别是指一种基于密集特征金字塔网络的肝脏图像分割方法。

背景技术

多期CT图像中的肝脏自动分割是肝脏诊断和治疗规划的重要步骤。精确的肝脏分割在很多临床应用中是必不可少的，例如肝脏疾病的诊断，功能测试和手术规划。人工分割是一项繁重、易出错和耗时的工作，尤其是在大量CT数据上。因此，肝脏的自动分割是非常必要的。然而这是一项具有挑战性的工作，因为在CT图像中肝脏解剖结构复杂、边界模糊、形态多样。

目前学者已经提出了几种基于CT图像的分割方法。主要可以分为非机器学***集和基于图割的方法。例如Wang等人(Wang et al.A new segmentation framework based on sparse shape compositionin liver surgery planning system.Medical Physics.2013,40(5):051913.)将稀疏形状组成模型与快速迭代水平集方法相结合，实现了肝脏、肝静脉和肿瘤的同步精确分割。AlShaikhli等人(AlShaikhli,Yang，Rosenhahn.Automatic 3D liver segmentationusing sparse representation of global and local image information via levelset formulation.Computer Science.2015)开发了一种利用全局和局部图像信息的稀疏表示来自动分割3D肝脏的水平集方法。Li等人(Li et al.Automatic liver segmentationbased on shape con-straints and deformable graph cut in CT images.IEEE Trans-actions on Image Processing.2015,24(12):5315.)提出了一种将形状约束融入图割的区域成本和边界成本的形变图割。机器学习的方法利用手动设计的特征来训练分类器以实现良好的分割。

近年来，深度学习在分类、分割、检测等各种具有挑战性的任务中表现优异。已有学者提出了几种基于卷积神经网络的肝脏自动分割方法。Lu等(Lu et al.Automatic 3dliver location and segmentation via convolutional neural network and graphcut.International Journal of Computer Assisted Radiology Surgery.2017，12(2):171.)提出了一个3D FCN并用图割的方法进行后处理。但发明人在研究关于肝脏CT图形的分割过程中发现，目前的分割方法仍然存在分割性能低，不同层厚的CT图像训练的分割模型之间不能兼容推广的问题。

发明内容

有鉴于此，本发明的目的在于提出一种基于密集特征金字塔网络的肝脏图像分割方法，以克服现有技术中的全部或者部分不足。

基于上述目的本发明提供的一种基于密集特征金字塔网络的肝脏图像分割方法，所述的分割方法是在图像处理中构建由基于全卷积分割网络、特征金字塔，密集连接组成的密集特征金字塔模型网络，然后采用所述的模型网络在肝脏多期CT上实现像素级的肝脏分割的方法。

在一些可选实施例中，所述基于全卷积分割网络为端到端全卷积分割网络。

在一些可选实施例中，所述端到端全卷积分割网络由一个编码器和一个解码器组成，且在同一个尺度上，所述编码器的特征和所述解码器的特征直接相连。

在一些可选实施例中，所述编码器由多个卷积块组成，用于提取语义特征并压缩特征映射，所述卷积块由两个级联卷积层和一个最大池化层组成。

在一些可选实施例中，所述解码器由多个反卷积块组成，所述反卷积块由一个反卷积层和两个级联卷积层组成。

在一些可选实施例中，所述特征金字塔为输入模块，实现不同倍数的下采样来获得多尺度特征图，并整合到之后网络的每一层中，将不同尺度的特征与图匹配，串联操作将多尺度特征对齐到一起进行卷积，且满足如下关系：

C_i＝Concat(D(I),D(O_i-1))

其中，I：原始输入特征映射，O_i：每个卷积块的输出，C_i:各卷积块的输入，Concat：沿通道那一维的连接操作，D是下采样操作。

在一些可选实施例中，所述密集连接包括不同级别层的紧密连接，且每层紧密连接的输出满足如下关系：

x_l＝H_l([D(x₀),…D(x_l-2),x_l-1])

其中，x_l：第层的输出，H_l：是卷积、池化和激活等操作的组合，D：是一种匹配前一层输出的尺度到x_l-1的下采样操作。

在一些可选实施例中，所述密集特征金字塔模型网络用Tensorflow 1.4实现的，网络参数使用高斯分布随机初始化，且加权交叉熵损失满足如下关系：

其中，

像素x属于相应的类的概率，ωi：权重因子，C_i：类，n：像素总数，N：类的数量。

从上面所述可以看出，本发明提供的一种基于密集特征金字塔网络的肝脏图像分割方法，采用密集特征金字塔网络(DPFN)来处理多期肝脏CT图像的分割问题，该网络基于全卷积分割网络(FCN)，引入特征金字塔，并使用密集连接增强特征流，在多期CT上实现像素级的肝脏分割。这种方法在公共的3DIRCADb数据库中Dice值为95.0％，提高了分割性能。并通过公共数据集和临床数据集证实了，用层厚较大的CT图像训练的DPFN可以无缝地推广到层厚较小的CT图像。

附图说明

图1为本发明现有技术中CT图像中肝脏解剖结构复杂、边界模糊、形态多样图；

a-横截面，b-冠状面，c-矢状面；

图2为本发明实施例中DPFN各部分结构示意图；

方框-特征图，细箭头-下采样操作用，粗箭头-卷积和最大池化；

图3为本发明实施例中DPFN的架构图；

图4为本发明实施例中层厚较大CT图像训练的DPFN推广到层厚较小CT图像的分割结果图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

为了解决现有技术中肝脏多期CT图片在图像分割方法存在分割性能低，不同层厚的CT图像训练的分割模型之间不能兼容推广的问题，本发明实施例提供了一种基于密集特征金字塔网络的肝脏图像分割方法，所述的分割方法是在图像处理中构建由基于全卷积分割网络、特征金字塔，密集连接组成的密集特征金字塔模型网络，然后采用所述的模型网络在肝脏多期CT上实现像素级的肝脏分割的方法。

为了实现本发明实施例中提供的一种基于密集特征金字塔网络的肝脏图像分割方法，具体步骤如下：图3所示的DPFN，它由三个部分组成：端到端FCN、金字塔特征输入模块和密集连接。

1)端到端FCN：FCN通过从标注好的CT图像中自动学***衡，将加权交叉熵损失定义为

其中，

像素x属于相应的类的概率，ωi：权重因子，C_i：类，n：像素总数，N：类的数量。

2)特征金字塔输入模块

通过对多尺度特征的集成，图像金字塔输入能有效提高分割性能。有的模型分别将多尺度图像应用到多分支网络，然后在最后一层合成最后特征图，与此不同的是，DPFN使用不同倍数的下采样来获得多尺度特征图，并整合到之后网络的每一层中。顺利整合FCN编码器的多尺度特性，用扩展步骤2计算一个包含多尺度特征映射的层次结构。使用最大池化层实现下采样，并在编码器上构造多尺度输入，如图2(b)示出对特征进行下采样，构建多尺度输入。

具体来说，将原始输入特征映射表示为I，每个卷积块的输出表示为O_i。则各卷积块的输入C_i定义为:

C_i＝Concat(D(I),D(O_i-1))

其中Concat是沿通道那一维的连接操作，D是下采样操作(在本实施例中的方法中是最大池化)。下采样操作将不同尺度的特征将图匹配，串联操作将多尺度特征对齐到一起进行卷积。因此，只需要很少额外的参数就可以将多尺度特征集成到网络中。

3)密集连接

在多期CNN中，将x_l表示为第l层的输出，x_l可以定义为：

x_l＝H_l(x_l-1)

其中H_l是卷积、池化和激活等操作的组合。为了加速收敛，避免梯度消失，引入了残差学习，该连接将H_l的响应与上一层特征的标识映射集成在一起，以增强信息传递，即残差块。可定义为：

x_l＝H_l(x_l-1)+x_l-1

然而，两个分支的输出直接相加，会使网络中的信息流动降低。为了进一步改善网络内的信息流动，使用密集连接，即把前一层的输出与后续所有层的输出连接在一起。密集连接将残差学习的概念扩展到极致。具体来说，x_l可以定义为：

x_l＝H_l([x₀，x₁，…，x_l-1])

其中[x₀，x₁，…，x_l-1]是指产生特征映射的连接层0，...，l-1。密集连通性仅存在于同一尺度下的连续卷积层(称为密集块)之间。为了进一步改善不同尺度特征之间的信息流，在FCN的收缩路径上构建了不同级别的紧密连接如图2(c)示出在不同尺度特征图上建立密集连通性。那么x_l定义为:

x_l＝H_l([D(x₀),…D(x_l-2),x_l-1])

D是一种匹配前一层输出的尺度到x_l-1的下采样操作。

DPFN对分割结果进行预测，然后进行连通域分析(CCA)，以便剔除假阳性。分割出来的最大连通域被保留，其余的被舍弃。

如图3所示，本发明实施例中DPFN包括与4层编码器和解码器路径相连接组成1个基本的5层FCN和4个残差学习。在编码器路径中，每一层都有2个卷积层，然后是1个最大池化层。在解码器路径上，每一层有2个卷积层，然后是1个反卷积层。密集连接特征金字塔被应用在编码器路径上。卷积和反卷积的步长均为1，最大池化的步长为2。卷积核大小为3，反卷积核和最大池化核大小为2。为了利用前后帧间关系，在输入网络之前，连续的CT图像沿通道那一维堆叠。

DPFN是用Tensorflow 1.4实现的。网络参数使用高斯分布随机初始化(μ＝0,σ＝0.01)。初始学习率为0.0001的Adam优化器用于参数更新。考虑背景和肝脏的大小，将交叉熵损失的权重分别设置为1和16。

在上述DPFN下进行数据集和评价指标的试验，在公开库访问3DIRCADb数据库上评估了本发明实施例中提出的DPFN。由10名女性和10名男性的3D CT图像组成，75％的患者患有肝脏肿瘤。为了探索分割方法的泛化能力，使用MICCAI 2017LiTS挑战赛中的数据集。LiTS数据集包含131和70个静脉期增强三维腹部CT扫描。该数据集来自欧洲不同的医疗中心，其平面内分辨率从0.55mm到1.0mm变化很大，层厚从0.45mm到6.0mm。在实验中，目标是实验使用层厚较大的CT图像训练的模型是否可以推广到层厚较小的模型，挑选了51个CT图像，其切片厚度小于1mm。

为了进行数据预处理，根据临床医生的建议，将所有CT图像的HU值剪辑到[-75,175]，以消除无关组织。分割性能通过常用Dice来衡量，该方法计算了手动标注与模型预测结果的交点与并集之比。将手动标注中的前景称为A，预测前景为B，然后定义Dice相似度指数：

这里||表示在二元分割中属于前景的像素数量，|A∩B|表示A和B共同属于前景的像素数量。为了综合评判，也使用体积重叠误差(VOE)，相对体积差异(RVD)，平均对称表面距离(ASD)，均方根对称表面距离(RMSD)来衡量分割结果的准确性。对于这四个评价指标，值越小，分割结果越好，为了验证本发明实施例中提供的分割方法的有效性和鲁棒性，3DIRCADb数据集上进行了实验，该数据集如表1和表2所示。

表1 3Dircadb肝脏分割定量结果

表1显示了肝脏分割性能与3DIRCADb数据集上最先进方法(Li et al.2018)(Christ et al.2017)(Han 2017)(Chlebus et al.2017)的比较。可见，发明实施例中提供的分割方法在肝脏分割方面取得了更好的效果。通过实验比较，验证了发明实施例中提供的分割方法与其他方法相比的优越性。在今后的工作中，将应用密集金字塔特征输入模块在三维网络上。

研究过程中还发现DPFN具有很好的泛化能力，可以将肝脏分割从层厚较大CT图像扩展到层厚较小CT图像。为了证明这一点，在3DIRCADb上训练DPFN。从LiTS数据集中选取厚度小于1mm的51卷作为测试集，结果如表2所示。虽然本实验的训练集为60卷，静脉期只有20卷，但DPFN仍获得了90.97％的较好结果。图4为切片厚度分别为0.8mm和0.7mm的两个样本的分割结果图。图中的第一行为原始CT图像，第二行为手工标注，第三行为DPFN产生的结果。图中前三列分别为切片厚度为0.8mm的横断面、矢状面和冠状面。后三列分别为切片厚度为0.7mm的横断面、矢状面和冠状面。相对于图1，图4的边界更加清晰。

表2用层厚较大CT图像训练的层厚较小CT图像的定量结果

Method	Dice Similarity Index Per Case(％)
		Baseline	85.01±14.50
DPFN	90.97±4.43

在本发明实施例中，一种基于密集特征金字塔网络的肝脏图像分割方法，分割方法是在图像处理器中构建由基于全卷积分割网络、特征金字塔，密集连接组成的密集特征金字塔模型网络即DPFN，用于在增强对比度的CT数据上进行肝脏的自动分割，在FCN中引入了金字塔特征和密集连接。该方法在公共数据集上取得了良好的效果，具有较强的泛化能力。用层厚较大CT图像训练的DPFN可以无缝地推广到层厚较小CT图像。它还可以很容易地扩展到3D网络，并应用于其它医学图像分割中。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。

本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于密集特征金字塔网络的肝脏图像分割方法，其特征在于，所述的分割方法是在图像处理中构建由基于全卷积分割网络、特征金字塔，密集连接组成的密集特征金字塔模型网络，然后采用所述的模型网络在肝脏多期CT上实现像素级的肝脏分割的方法；

所述基于全卷积分割网络为端到端全卷积分割网络；

所述端到端全卷积分割网络由一个编码器和一个解码器组成，且在同一个尺度上，所述编码器的特征和所述解码器的特征直接相连；

所述编码器由多个卷积块组成，用于提取语义特征并压缩特征映射，所述卷积块由两个级联卷积层和一个最大池化层组成；

所述解码器由多个反卷积块组成，所述反卷积块由一个反卷积层和两个级联卷积层组成；

所述特征金字塔为输入模块，实现不同倍数的下采样来获得多尺度特征图，并整合到之后网络的每一层中，将不同尺度的特征与图匹配，串联操作将多尺度特征对齐到一起进行卷积，且满足如下关系：

C_i＝Concat(D(I),D(O_i-1))

其中，I：原始输入特征映射，O_i：每个卷积块的输出，C_i:各卷积块的输入，Concat：沿通道那一维的连接操作，D是下采样操作；

所述密集连接包括不同级别层的紧密连接，且每层紧密连接的输出满足如下关系：

x_l＝H_l([D(x₀),…D(x_l-2),x_l-1])

其中，x_l：第层的输出，H_l：是卷积、池化和激活等操作的组合，D：是一种匹配前一层输出的尺度到x_l-1的下采样操作。

2.根据权利要求1所述的基于密集特征金字塔网络的肝脏图像分割方法，其特征在于，所述密集特征金字塔模型网络用Tensorflow1.4实现的，网络参数使用高斯分布随机初始化，且加权交叉熵损失满足如下关系：

其中，

像素x属于相应的类的概率，ωi：权重因子，C_i：类，n：像素总数，N：类的数量。

Images