CN114708255A - 一种基于TransUNet模型的多中心儿童X线胸片图像肺部分割方法 - Google Patents

Abstract

本发明公开了一种基于TransUNet模型的多中心儿童X线胸片图像肺部分割方法，包括：(1)收集多中心的儿童X线胸片图像并进行预处理；(2)将数据划分为训练集、验证集和测试集；(3)构建分割模型，分割模型在UNet的基础上加入了Transformer层，包括三次下采样、线性层、Transformer层、上采样四个部分；(4)将训练集送入到构建的分割模型中进行训练，利用验证集对分割模型的性能进行评估，根据评估的效果对模型的超参数进行调整，通过反复训练、验证，最终得到性能达标的分割模型；(5)将待分割的多中心儿童X线胸片影像输入训练好的分割模型中，从而智能分割出肺部区域。本发明的方法，结合了Transformers与UNet两种网络的优点，具有较高的分割精度和效率。

Description

一种基于TransUNet模型的多中心儿童X线胸片图像肺部分割 方法

技术领域

本发明属于医学人工智能领域，尤其是涉及一种基于TransUNet模型的多中心儿童X线胸片图像肺部分割方法。

背景技术

儿童肺炎是儿童类感染率前三的疾病，目前很多研究者都通过智能算法对儿童肺炎进行诊断，而基于影像的诊断前置步骤就是对肺部的分割。基于影像的肺部分类还有助于提供肺结节检测、支气管炎检测等精度。常规的儿童肺部检测影像主要有CT和X线胸片，前者切片多，分割精度一般较高，后者只有一张，且在不同机器上获取的图像质量不一，对其进行肺部分割的难度较大。

针对这一难题，很多研究者采用深度学习网络对X线胸片进行肺部分割，采用了诸如UNet、Res UNet、Att UNet等网络。

如公开号为CN111986206A的中国专利文献公开了一种基于UNet网络的肺叶分割方法，从影像输入设备获取肺部CT影像数据；对输入的肺部CT影像数据进行归一化处理；对处理后的影像数据利用2D UNet网络筛选出肺内区域和肺外区域，并将肺内区域作为肺区候选区域；对肺区候选区域利用3D UNet网络分割出五个肺叶掩膜区域，得到左上叶、左下叶、右上叶、右中叶以及右下叶的区域；对五个肺叶掩膜区域分别进行形态学处理，得到最终的肺叶分割结果。

公开号为CN113470042A的中国专利文献公开了一种肺部CT图像的支气管分割方法，包括：(a)获取肺部CT图像并进行支气管的标注；(b)对肺部CT图像进行预处理，包括肺实质提取和数据归一化，并计算图像对应的肺边界距离图；(c)将预处理后的图像、体素坐标及其到肺边界距离图输入到3D Unet网络模型进行端到端训练，得到3D Unet训练模型，其中在训练过程中，采用拉普拉斯过滤器来增强图像的边界区域，并计算边界增强损失和Dice损失；(d)基于所得到的3D Unet训练模型进行支气管分割。

然而，现有的这些网络由于卷积固有的局部性特征，基于卷积的方法不能有效建模长程关系，分割的精度和效率有待进一步提高。

发明内容

本发明提供了一种基于TransUNet模型的多中心儿童X线胸片图像肺部分割方法，结合了Transformers与UNet两种网络的优点，具有较高的分割精度和效率。

一种基于TransUNet模型的多中心儿童X线胸片图像肺部分割方法，包括以下步骤：

(1)收集多中心的儿童X线胸片图像，对影像数据进行预处理；

(2)将预处理后的影像数据划分为训练集、验证集和测试集；

(3)构建分割模型，所述分割模型采用TransUNet网络模型，TransUNet网络模型在UNet的基础上加入了Transformer层；具体包括三次下采样、线性层、Transformer层、上采样四个部分；

其中，UNet最后一层下采样得到特征矩阵Fu后输入到线性层，将三维特征矩阵变成二维特征向量，并送入到Transformer层进行分析，将分析得到的特征Ft与Fu拼接，然后再进行UNet的上采样，最终实现与原图大小一致的分割结果；

(4)将预处理后的训练集送入到构建的分割模型中进行训练，利用预处理后的验证集对分割模型的性能进行评估，根据评估的效果对模型的超参数进行调整，通过反复训练、验证，最终得到性能达标的分割模型；

(5)将待分割的多中心儿童X线胸片影像输入训练好的分割模型中，从而智能分割出肺部区域。

步骤(1)中，所述的预处理包括对影像进行灰度截断，然后进行缩放和尺度的归一化，并采用高斯滤波器滤除噪声。

灰度截断的步骤如下：首先获取图像大小(x,y)，然后截取中心区域[x/4:x*3/4,y/4:y*3/4]，即获取图像最中心的1/4的区域；求得此区域的最大值V_max和最小值V_min，然后对图像进行灰度截断：

从而获取灰度截断后的图像。

步骤(2)中，将预处理后的影像数据按7:1:2划分为训练集、验证集和测试集。

步骤(3)中，分割模型的工作流程如下：

首先分割模型对大小为(x,y)的输入图像I，通过三次下采样，分别获得对应的特征矩阵F₁,F₂,F₃，其大小分别为(x/2,y/2,c),(x/4,y/4,c),(x/8,y/8,c)，其中c为通道数；

然后，分割模型将特征矩阵F₃输入到线性层，通过此层，将对特征矩阵F₃进行切片，将(x/8,y/8,c)的三维特征矩阵变为(x*y/8*8,c)的c通道的二维特征向量，每个特征向量表示如下：

z₀＝[x¹E；x¹E,…,x¹E]+E_pos，E∈R^64*c*D,E_pos∈R^N*D

其中，N＝x*y/64，E_pos表示位置信息；

接着，分割模型将Z₀送入到Transformer层，通过12次Transformer操作后，再通过reshape操作还原为(x/8,y/8,c)的三维特征矩阵F_t；

最后，分割模型将F_t与F₃拼接，完成三次上采样后进行一次全连接卷积，得到F₄,F₅,F₆,F₇，最终的F₇大小为(x,y)，与原图大小一致。

所述的线性层包括卷积、拉平、嵌入位置信息、dropout层四个步骤。

每次Transformer操作都一样，以第一次为例，首先对输入z₀进行正则化，然后通过多重序列比对信息提取特征，然后将其与输入进行相加得到中间结果Z’，接着再次正则化，然后再送入多层感知器，将得到的结果与Z’相加得到一次Z1，完成一次Transformer操作。

步骤(4)中，采用监督训练方法对分割模型进行训练。

与现有技术相比，本发明具有以下有益效果：

本发明创新性地提出了用TransUNet对多中心儿童X线胸片进行肺部分割；此方法结合了Transformers与UNet两种网络的优点，且取得了相对UNet网络方法更好的分割性能，且在多中心数据集上有着较好的表现，分割精度和效率均有较大提升，说明了模型具有较好的泛化性。为后续基于影像的肺炎检测、肺结节检测、支气管炎的检测提供了良好的基础。

附图说明

图1为本发明一种基于TransUNet模型的多中心儿童X线胸片图像肺部分割方法流程图；

图2为本发明中分割模型的整体结构图；

图3为本发明分割模型中下采样模块的示意图；

图4为本发明分割模型中线性层的示意图；

图5为本发明分割模型中Transformer层的示意图；

图6为本发明分割模型中上采样模块的示意图。

具体实施方式

下面结合附图和实施例对本发明做进一步详细描述，需要指出的是，以下所述实施例旨在便于对本发明的理解，而对其不起任何限定作用。

如图1所示，一种基于TransUNet模型的多中心儿童X线胸片图像肺部分割方法，包括以下步骤：

1、图像预处理

收集来源于多中心的儿童X线胸片影像数据。由于影像来自于多中心，因此成像标准不一致，所以需要对图像进行灰度截断。此外，X线胸片存在倾斜的情况，且由于医生裁剪大小的不同，导致胸部不完全位于图像中心位置。因此，灰度截断的步骤如下：首先获取图像大小(x,y)，然后截取中心区域[x/4:x*3/4,y/4:y*3/4]，即获取图像最中心的1/4的区域。求得此区域的最大值Vmax和最小值Vmin，然后对图像进行灰度截断：

从而获取灰度截断后的图像，然后将此图像缩放到512*512大小，最后对影像进行尺度的归一化到[0,1]之间，再采用高斯滤波器滤除噪声。

2、数据分组

将70％的数据集作为训练集，10％的数据集作为验证集，20％的数据集作为测试集。

3、模型构建

如图2所示，构建分割模型，分割模型采用TransUNet网络模型。此网络是在UNet的基础上加入了Transformer模块。其基础是传统的UNet结构，通过多次下采样来提取不同尺寸的特征矩阵，然后再通过多次上采样，对高维度的特征进行还原，并通过跳跃连接，将同等大小的下采样的特征矩阵与上采样的特征矩阵进行拼接，最终获得与原图大小一致的分割结果。Transformer是一种基于编码-解码的网络结构，其中编码部分是多头注意力的编码和一个前馈神经网络组成，解码部分是由多头注意力的编码、一个前馈神经网络和一个注意力层组成。它的加入使得网络可以更好地利用全局信息。TransUNet是将两者进行结合，在UNet最后一层下采样得到特征矩阵Fu后，加入Transformer模块进行分析，将分析得到的特征Ft与Fu拼接，然后再进行UNet的上采样，最终实现与原图大小一致的分割结果。具体流程如下：

(1)对于大小为(x,y)输入图像I，通过三次下采样，分别获得对应的特征矩阵F₁,F₂,F₃，它们的大小分别为(x/2,y/2,c),(x/4,y/4,c),(x/8,y/8,c)，其中c为通道数。如图3所示，每次下采样过程包括一次卷积、正则化、ReLU激活、最大池化层。

(2)将F₃输入到线性层，如图4所示，此层包括卷积、拉平、嵌入位置信息、dropout层四个步骤。通过此层，将对特征矩阵进行切片，将(x/8,y/8,c)的三维特征矩阵变为(x*y/8*8,c)的c通道的二维特征向量，每个特征向量表示如下：

z₀＝[x¹E；x¹E,…,x¹E]+E_pos，E∈R^64*c*D,E_pos∈R^N*D

其中，N＝x*y/64，Epos表示位置信息。

(3)将Z₀送入到Transformer层，通过12次Transformer操作，最后再将其还原至与(x/8,y/8,c)大小。如图5所示，每次Transformer操作都一样，以第一次为例，首先对输入Z₀进行正则化，然后通过多重序列比对信息(MSA)提取特征，然后将其与输入进行相加得到中间结果Z’，接着再次正则化，然后再送入多层感知器(MLP),将得到的结果与Z’相加得到一次Z₁，完成一次Transformer操作。通过12次Transformer操作后，再将Z₁₂通过reshape操作还原为(x/8,y/8,c)的三维特征矩阵F_t.

(4)将F_t与F₃拼接，完成三次上采样后进行一次全连接卷积，得到F₄,F₅,F₆,F₇，最终的F₇大小为(x,y)，与原图大小一致。如图6所示，每次下采样过程包括一次卷积、正则、ReLU激活。

4、模型训练和分割测试

分割模型训练时，将训练集送入到改进的TransUNet分割网络中；验证集对模型的超参数进行调整，使用优化器更新参数，对网络进行优化，对学习率进行自动调参，得到训练完成的分割网络；测试集用来估计学习过程完成之后的模型的泛化能力。

5、评估阶段

在测试集上，对模型的分割效果进行评估：对分割任务的评估，需要计算四个指标：准确率(ACC)、重合面积比IOU、ROC曲线下面积AUC。对于分割任务，可以看作是对第一个像素点的二分类，准确率(ACC)用分类到正确类的点的总数除以所有点的个数。重合面积比IOU表示真实肺部区域与分割的结果之间的重合度，计算公式如下：

其中，L_t,L_p分别表示真实的肺部区域和模型分割的肺部区域。ROC曲线下面积AUC是以假正率(FP_rate)和假负率(TP_rate)为轴的ROC(Receiver OperatingCharacteristic)曲线下面的面积，其中，每一类的正确分类到本类的点的个数(TruePositive,TP)除以本类的点的个数(TP+TN)，当属于本类的点被模型分到其它类时，计数为假阴性(TrueNegative，TN)。

以上所述的实施例对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的具体实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于TransUNet模型的多中心儿童X线胸片图像肺部分割方法，其特征在于，包括以下步骤：

(1)收集多中心的儿童X线胸片图像，对影像数据进行预处理；

(2)将预处理后的影像数据划分为训练集、验证集和测试集；

(3)构建分割模型，所述分割模型采用TransUNet网络模型，TransUNet网络模型在UNet的基础上加入了Transformer层；具体包括三次下采样、线性层、Transformer层、上采样四个部分；

其中，UNet最后一层下采样得到特征矩阵Fu后输入到线性层，将三维特征矩阵变成二维特征向量，并送入到Transformer层进行分析，将分析得到的特征Ft与Fu拼接，然后再进行UNet的上采样，最终实现与原图大小一致的分割结果；

(4)将预处理后的训练集送入到构建的分割模型中进行训练，利用预处理后的验证集对分割模型的性能进行评估，根据评估的效果对模型的超参数进行调整，通过反复训练、验证，最终得到性能达标的分割模型；

(5)将待分割的多中心儿童X线胸片影像输入训练好的分割模型中，从而智能分割出肺部区域。

2.根据权利要求1所述的基于TransUNet模型的多中心儿童X线胸片图像肺部分割方法，其特征在于，步骤(1)中，所述的预处理包括对影像进行灰度截断，然后进行缩放和尺度的归一化，并采用高斯滤波器滤除噪声。

3.根据权利要求2所述的基于TransUNet模型的多中心儿童X线胸片图像肺部分割方法，其特征在于，灰度截断的步骤如下：首先获取图像大小(x,y)，然后截取中心区域[x/4:x*3/4,y/4:y*3/4]，即获取图像最中心的1/4的区域；求得此区域的最大值V_max和最小值V_min，然后对图像进行灰度截断：

从而获取灰度截断后的图像。

4.根据权利要求1所述的基于TransUNet模型的多中心儿童X线胸片图像肺部分割方法，其特征在于，步骤(2)中，将预处理后的影像数据按7:1:2划分为训练集、验证集和测试集。

5.根据权利要求1所述的基于TransUNet模型的多中心儿童X线胸片图像肺部分割方法，其特征在于，步骤(3)中，分割模型的工作流程如下：

首先分割模型对大小为(x,y)的输入图像I，通过三次下采样，分别获得对应的特征矩阵F₁,F₂,F₃，其大小分别为(x/2,y/2,c),(x/4,y/4,c),(x/8,y/8,c)，其中c为通道数；

然后，分割模型将特征矩阵F₃输入到线性层，通过此层，将对特征矩阵F₃进行切片，将(x/8,y/8,c)的三维特征矩阵变为(x*y/8*8,c)的c通道的二维特征向量，每个特征向量表示如下：

z₀＝[x¹E；x¹E,…,x¹E]+E_pos，E∈R^64*c*D,E_pos∈R^N*D

其中，N＝x*y/64，E_pos表示位置信息；

接着，分割模型将Z₀送入到Transformer层，通过12次Transformer操作后，再通过reshape操作还原为(x/8,y/8,c)的三维特征矩阵F_t；

最后，分割模型将F_t与F₃拼接，完成三次上采样后进行一次全连接卷积，得到F₄,F₅,F₆,F₇，最终的F₇大小为(x,y)，与原图大小一致。

6.根据权利要求5所述的基于TransUNet模型的多中心儿童X线胸片图像肺部分割方法，其特征在于，所述的线性层包括卷积、拉平、嵌入位置信息、dropout层四个步骤。

7.根据权利要求5所述的基于TransUNet模型的多中心儿童X线胸片图像肺部分割方法，其特征在于，每次Transformer操作都一样，以第一次为例，首先对输入z₀进行正则化，然后通过多重序列比对信息提取特征，然后将其与输入进行相加得到中间结果Z’，接着再次正则化，然后再送入多层感知器，将得到的结果与Z’相加得到一次Z1，完成一次Transformer操作。

8.根据权利要求1所述的基于TransUNet模型的多中心儿童X线胸片图像肺部分割方法，其特征在于，步骤(4)中，采用监督训练方法对分割模型进行训练。

Images