CN114897914A - 基于对抗训练的半监督ct图像分割方法 - Google Patents

Abstract

本发明涉及图像处理技术领域，具体涉及一种基于对抗训练的半监督CT图像分割方法，包括以下步骤：首先获取肺部的三维CT图像，建立体素级标注的患病数据集、未标注的患病数据集及健康数据集；接着将三种数据集中的CT图像依次输入给生成器和分割器，分别得到合成的健康图像和分割掩码。然后将合成的健康图像的掩码区域和输入图像的反掩码区域拼接得到恢复的健康图像；合成的健康图像的掩码区域的值设为0得到反掩码图像。最后以对抗训练的方式让两个判别器分别监督恢复的健康图像和反掩码图像，来提高分割器的分割和生成器的效果。本发明实现了使用少量体素级标记样本来得到性能准确的分割模型，特别设计的分割器有效地提高了特征表示能力。

Description

基于对抗训练的半监督CT图像分割方法

技术领域

本发明涉及计算机技术领域，特别涉及一种基于对抗训练的半监督CT图像分割方法。

背景技术

背景技术涉及：肺部CT图像分割和注意力机制。

1)肺部CT图像分割

肺部CT在诊断肺部疾病方面具有更高的准确性，已有不少工作使用深度学习技术用于肺部医学图像。但是之前的不少工作针对的是肺部图像的分类任务，他们不能像分割任务一样体现出病变区域的位置和大小。应用CT图像对感染区域进行分割可以帮助放射科医生更好地对病变区域进行定量分析。对病灶区域的分割掩码进行定量分析可以得到肺部相关的一系列有意义的诊断结果。

目前，深度学习已被初步应用于肺部的CT分割任务，但是该方法需要大量的训练数据。在临床上，肺部的三维CT图像数据标注十分困难，放射科医生注释一个肺部CT体积品均需要花费3个小时以上。所以，带体素级标签的肺部CT图像的稀缺是一个重要的问题。图像合成和数据增强能够缓解体素级别标签缺失的问题。主动学习和自学习可以为未标注的数据提供伪标签来优化分割模型。生成对抗网络(GAN)和类激活图(CAM)通过使用弱标签，如带有CT的切片级标签或体积级标签的数据来训练分割模型，以此来应对像素级或体素级标签的缺失。但是，使用伪标签来训练模型可能会引入噪声，影响模型的性能，并且模型仅仅在带有弱标签数据上被训练，往往失败得到一个令人满意的分割掩码。

2)注意力机制

计算机视觉中注意力机制的基本思想是让***学会注意并能够忽略不相关的信息而专注于关键信息。近年来，注意力模型被广泛应用于图像处理、语音识别、自然语言处理等各个领域。随着深度学习发展到今天，构建一个具有注意力机制的神经网络开始变得越来越重要。一方面，这个神经网络可以自主学习注意力机制，另一方面，注意力机制又可以帮助理解神经网络所看到的世界。近年来，关于深度学习和视觉注意力机制结合的研究工作大多集中在使用掩码形成注意力机制。掩码的原理是通过另一层新的权重来识别图像数据中的关键特征。通过学习和训练，深度神经网络可以学习到每张新图像中需要注意的区域。

发明内容

本发明的目的是解决体素级别CT图像数据标签短缺的问题，提出了一种基于对抗训练的半监督CT图像分割方法。

实现本发明目的的具体技术方案是：

一种基于对抗训练的半监督CT图像分割方法，该方法包括如下步骤：

步骤1)获取肺部三维CT图像，建立体素级标注的患病数据集V、未标注的患病数据集D及健康数据集H，设标注的患病图像为I_v∈V，未标注的患病图像为I_d∈D，健康图像I_h∈H；

步骤2)对于数据集中的任意一张输入图像，对其进行包括图像裁剪、重采样和标准化的图像预处理操作后得到图像I_i，将其输入给生成器得到生成器的重构结果I_g，生成器的目标是将I_i重构成健康图像I_g；将I_i输入给分割器得到分割掩码

对于体素级标注的患病数据集V，使用数据集V中的真实标签Y来监督分割掩码

步骤3)对分割掩码

取反得到反掩码

步骤4)取生成器结果I_g的掩码预测区域即

为1的部分，

和输入图像I_i的反掩码预测区域即

为1的部分，

将两个图像按元素相加，得到合成图像I_p；

步骤5)取生成器结果I_g的反掩码预测区域，即

和输入图像I_i的反掩码预测区域，即

分别得到图像I_gh和图像I_ih；

步骤6)构建半监督CT图像分割模型，模型包括生成器G、分割器S、判别器D₁和判别器D₂；模型的输入被同时输入到生成器G和分割器S，分割器S得到CT图像的分割掩码，值为1的体素代表病变区域，值为0的体素代表健康区域；生成器G的作用是输入一个CT图像，生成其恢复健康后的CT图像，然后将生成的图像结合分割掩码和模型输入的图像来生成恢复的健康图像和反掩码图像，以近似真实图像来欺骗判别器D₁和判别器D₂；判别器D₁和D₂的作用是判断输入的图像是否来自真实图像；通过互相竞争，生成器G和判别器D₁和D₂以迭代的方式优化权重，提高性能；

所述半监督CT图像分割模型包括四种损失，即监督损失，重构损失，判别损失1和判别损失2；监督损失在输入CT图像属于体素级标注的患病数据集时生效；重构损失是模型输入和生成器G结果之间的均方误差MSE损失，以监督生成器G产生更真实的健康CT图像；判别损失1是对抗损失，判断输入图像是真实图像还是合成的图像，以监督恢复的健康图像的质量；判别损失2是对抗损失，判断输入的图像来自真实的模型输入图像还是生成器G生成的图像，以监督反掩码图像的质量；使用基于对抗训练的模型优化方法不断优化所述损失，直到损失收敛；

步骤7)当模型训练完成后，给定待分割的三维CT图像，输入给分割器S，即可得到图像的体素级的三维分割掩码。

所述步骤1)具体包括：

步骤a1：对通过专业设备采集三维CT图像样本得到原始数据集；

步骤a2：将原始数据集分为患病数据集和健康数据集，随机采样患病数据中五分之一的数据，由人工专家进行标注，作为体素级标注的患病数据集V；其余图像数据作为未标注的患病数据集D，所有的健康图像数据构成健康数据集H；

步骤a3：依次将体素级标注的患病数据集V、未标注的患病数据集D和健康数据集H中的图像输入给分割器和生成器，模型的输入CT图像记为I_i。

所述步骤2)中的图像预处理操作具体包括：

(1)图像裁剪

图像裁剪将三维的医学图像裁剪到它的非零区域，即在图像中寻找一个最小的三维边界框，该边界框区域以外的值为0，使用这个边界框对图像进行裁剪；

(2)重采样

重采样可以解决在三维CT数据集中，不同的体素图像所代表的实际空间大小不一致的问题。为了统一所有CT图像的分辨率大小，使用重采样对不同CT图像分辨率进放缩，以将分辨率统一为0.5mm×0.5mm×0.5mm；

(3)标准化

为了使每张图像具有相同的分布的灰度值，将CT图像灰度值的最小值和最大值设置为300和3000；灰度值小于300的值被提高为300，而灰度值大于3000的值被减小为3000；接着对CT图像的体素值进行归一化，得到[0,1]之间的值，然后将这些值放缩到[0,255]区间。

步骤6)所述的生成器G和判别器D₁和D₂的设计遵循CycleGAN的结构，此外在最后一层使用全连接层作为分类网络，来得到最终的判别结果，即1或0，其中1代表判别器认为输入图像是真实的图像，0代表判别器认为输入的图像为生成或合成的图像。

步骤6)所述的分割器S基于3DU-Net，在分割器S中设计了特征增强模块，用于增强编码器的特征表示，特征增强模块中包含通道注意力和空间注意力。；为了在内存使用和分割精度之间取得平衡，在分割器S中使用了四次2倍的下采样；分割器S采用了密集空洞空间金字塔池化的结构，能够使用不同大小的膨胀率来组合不同尺度的特征，很好地实现了特征的重用；分割器S中膨胀卷积(dilated convolution)使用了3，6，12的膨胀率；为了提高学习到的特征的质量，相同尺度的特征通过快捷连接的方式进行融合；此外，相同尺度的特征通过快捷连接的方式进行融合，这提高学习到的特征的质量。考虑到的3D分割模型的内存使用情况，通道数设置为16个。

步骤6)所述基于对抗训练的模型优化方法，采用基于Adam优化器的梯度下降算法来迭代优化分割器S、生成器G、判别器D₁和判别器D₂的参数，具体包括如下步骤：

(1)初始化判别器D₁和D₂的权重参数；将迭代数iter设为1，并设置最大迭代数iter_max；

(2)优化分割器S和生成器G：冻结判别器D₁和D₂的参数，解冻分割器S和生成器G的参数，计算损失并优化模型，iter加一；

(3)优化判别器D₁：冻结分割器S，生成器G和判别器D₂的参数，解冻判别器D₁的参数，计算损失并优化模型，iter加一；

(4)优化判别器D₂：冻结分割器S，生成器G和判别器D₁的参数，解冻判别器D₂的参数，计算损失并优化模型，iter加一；

重复(1)-(4)，iter大于iter_max或直到损失收敛。

本发明的生成器和判别器的设计遵循CycleGAN的结构，此外在最后一层使用全连接层来连接分类器得到最终的判别结果。将频谱归一化操作添加到判别器。关于3D图像的内存使用情况，基本通道数从64个减少到16个。

相对于现有技术，本发明的有益效果为：

1、本发明提出了一种基于对抗训练的半监督CT图像分割方法，用于在肺部三维CT图像中的病灶区域分割。相比二维分割器，三维分割器可以结合图像层间信息，所以能够保证隔层图像掩码之间的一个变化连续性。本发明可以仅仅使用少量体素级注释的数据和其余的未标注数据来进行训练。

2、本发明以对抗训练的方式优化模型中的生成器、分割器和判别器，并使分割器从体素级别的注释的数据中学习健康肺部和病灶的特征信息，来逐渐提高模型的分割性能，这极大地减少了训练模型所需的体素级别标签的数量。

3、为了更好地处理肺部感染区域与正常组织之间的对比度低的问题，本发明设计了一个特征增强模块来处理模糊不清的边界。具体来说，通道注意力用于隐式地增强特征之间的对比度，从而突出病灶区域的边界信息，空间注意力生成空间注意力图用来突出显示重要的区域。特征增强模块通过融合这些特征有效地增强了病灶区域的特征表示。

附图说明

图1为本发明流程图；

图2为本发明对抗半监督模型示意图；

图3为本发明分割器示意图；

图4为本发明结合了通道和空间注意力的特征增强模块示意图。

具体实施方式

以下结合具体实施例和附图，对本发明作进一步的详细说明。实施本发明的过程、条件、实验方法等，除以下专门提及的内容之外，均为本领域的普遍知识和公知常识，本发明没有特别限制内容。

本发明的整个过程包括步骤1)-7)，请参照图1和图2。图1是本发明的基于对抗训练的半监督CT图像分割方法流程图，图2是对抗半监督模型示意图。

本发明的过程：

步骤1)获取肺部的三维CT图像，建立体素级标注的患病数据集V、未标注的患病数据集D，健康数据集S，设标注的患病图像为I_v∈V，未标注的患病图像为I_d∈D，健康图像I_h∈S。

步骤2)对于所有的输入数据，输入给生成器得到健康的重构版本I_g，输入给分割器得到分割掩码

对于体素级标注的患病数据集I_v，使用数据集V中的真实标签Y来监督分割掩码

步骤3)对分割掩码

取反得到

步骤4)取生成器结果I_g的掩码预测区域(即

为1的部分，

)和输入图像I_i的反掩码预测区域(即

为1的部分，

)，将两个图像按元素相加，得到合成图像I_p。

具体的，设一张未标注的患病数据为I_d∈D，一张体素级标注的患病数据为I_v∈V，一张健康图像数据为I_h∈H。分割器预测的病变区域被替换成生成器重构的对应区域，同时未感染区域被保留，称之为伪健康图像I_p。伪健康图像由以下公式计算：

1)

其中，φ是生成伪健康图像的函数；

是分割器S预测的概率分割掩码；生成器生成的图像I_g＝G(I_d；θ_G)；θ_S和θ_G分别是分割器S和生成器G的可学习参数。

步骤5)取生成器结果I_g的反掩码预测区域

和输入图像I_i的反掩码预测区域

分别得到I_gh和I_ih。

因为没有监督信号去约束I_g的病灶掩码Y以外的图像部分，这会导致生成图像的质量是不可控制的问题。虽然它们不用于形成合成图像，但是这影响了生成器的性能，这成为提高分割器最终性能的瓶颈。本发明利用生成器的重构结果，将分割器预测的健康区域去得到I_g生成的健康区域I_gh和I_i中的健康区域I_ih：

2)

接着I_gh和I_ih被输入给判别器D₂，I_gh被称为合成健康区域图像和I_ih被称为真实的健康区域图像。

步骤6)构建三维对抗半监督模型，并迭代优化生成器、分割器、判别器D₁和判别器D₂，直到总的损失收敛。对抗训练可以让模型以半监督学习的方式来进行训练，即本网络可以从未标注数据中学习到有利于分割准确性的信息。

为了完全欺骗判别器D₁和D₂，分割器需要分割所有感染区域，生成器需要在分割的预测病变区域和健康区域都生成伪健康图像。相比之下，判别器D₁用于区分和真实健康图像I_d，判别器D₂来区分合成健康区域图像I_gh和真实的健康区域图像I_ih。通过以下最大最小以对抗方式训练模型，对抗损失如下：

其中θ_G和θ_S分别为生成器G和分割器S的可学习参数；

和

分别为判别器D₁和判别器D₁的可学习参数；

阳

是损失函数。

将合成图像标记为0，真实健康图像目标函数

由

5)

6)其中，

是D₁的预测结果；I_p由式(1)计算得出；

表示判别器D₁的可学习参数；

和

表示数学期望。

将合成健康区域标记为0，真实健康区域标记为1，其中目标函数

计算如下：

7)

其中，

是判别器D₂的预测结果；图像I_gh和I_sh分别由式2和3计算得出；

表示D₂的可学习参数。

本发明的分割器参照图3。图3为分割器示意图。

本发明提出了特征增强模块，使用通道注意力和空间注意力来自适应优化特征以优化分割器，参照图4，图4为结合了通道和空间注意力的特征增强模块示意图。具体地说，通道注意力模块学习全局参数以突出显示有用的边界信息。空间注意力模块计算出肺部区域的注意力权重图。通道注意力、空间注意力可以改善感兴趣区域的特征的表示能力，从而实现突出重要特征并抑制不必要的特征。给定中间特征映射

作为输入，其中C是通道数，D是特征维度，H是图像高度，W是图像宽度。特征增强模块依次推断1D通道注意力

和2D空间注意映射

整个注意过程可概括为：

通道注意力：为了增强特征的对比度，首先使用平均池和最大池化操作聚合特征图上的空间信息，生成两个不同的空间上下文描述符平均池化特征和最大池化特征。这两个描述符被转发到一个共享参数的多层感知机网络，最后将结果经过sigmoid函数以产生通道注意图M_c(F)。共享网络由具有一个隐层的多层感知机(MLP)构成。通道注意力主要包括平均池化操作、最大池化操作、一个共享参数的多层感知机和sigmoid函数组成。通道注意力生成的中间优化特征为

计算过程如下：

8)

其中，F为通道注意力的输入特征；σ表示sigmoid激活函数；AvgPool为平均池化函数；MaxPool为最大池化函数。

空间注意力：空间注意力的目的是丢弃不重要的特征并突出显示感兴趣的特征，这些特征有利于分割COVID19感染。空间注意力利用特征间的空间关系生成空间注意图M_s(F′)，它是通道注意的补充。为了计算空间注意，首先沿通道轴采用平均池化和最大池化操作，并将它们连接起来生成一个有效的特征描述符。沿通道轴应用池化操作可以有效地突出感兴趣的特征区域。在串联的特征描述符上，使用卷积层来产生空间注意图，它对需要强调或需要抑制的地方信息进行了编码。空间注意力生成的最终优化特征为F″，

其中，σ表示sigmoid激活函数；Conv是大小为7x7x7的卷积运算；

表示按元素乘法。F″是通过F′和注意力图之间的逐元素相乘获得的。

由于合成的图像I_p与预测掩码和生成器生成的图像I_g有关，因此

的梯度可以反馈给分割器S和生成器G，从而优化这两个模块的参数。此外，还添加了一个基本的分割损失

用于测量少量体素级别标签样本的S的输出Y和真实掩码GT之间的差异：

其中，CEL是交叉熵损失；

是体素级标签数据I_v的预测掩码；Y_v是体素级标签数据I_v的真实标签。预测掩码

其中，S(·)是分割器，θ_S表示分割器的可学习参数。

为了提高步骤6)中对抗训练的稳定性，本发明进一步设置了辅助约束。首先，健康图像I_h输入到分割器和生成器中。健康图像数据I_h的预测掩码S(I_h；θ_S)和健康图像数据I_h的真实标签Y_h之间的交叉熵损失被加入到

其次，为了进一步地提高生成器的性能，本方法使用重构损失

来约束生成器的输出：

其中MSE(·)是均方误差函数；G(I_h；θ_G)表示I_h输入给生成器G之后得到的重构结果；θ_G是生成器G的可学习参数。进一步，还向

引入附加损失函数

其中，G(I_d；θ_G)表示I_d输入给生成器G之后得到的重构结果；

是判别器D₁的可学习参数。

以便通过将I_d的生成图像I_g输入D₁来进一步改进生成效果。当分割器S的输入是健康图像时，不需要进行合成和判别的前向传播过程，也不计算

此外，本将原始疾病图像I_d输入给判别器D₁中，以在训练过程中保持判别器D₁对病变信号的敏感性和可区分性，设置dropout率固定为0.5。将约束损失函数

添加到

判别器D₁的目标是可以区分患者和健康人的图像：

综上所述，通过添加四个新的损失作为辅助约束来扩展损失函数

和

最终目标函数定义如下：

其中，λ_S是用于平衡

和

的超参数。

步骤7)基于所述训练好的分割器，实现CT图像分割。

本发明的保护内容不局限于以上实施例。在不背离发明构思的精神和范围下，本领域技术人员能够想到的变化和优点都被包括在本发明中，并且以所附的权利要求书为保护范围。

Claims (6)

1.一种基于对抗训练的半监督CT图像分割方法，其特征在于，该方法包括如下步骤：

步骤1)获取肺部三维CT图像，建立体素级标注的患病数据集V、未标注的患病数据集D及健康数据集H，设标注的患病图像为I_v∈y，未标注的患病图像为I_d∈D，健康图像I_h∈H；

步骤2)对于数据集中的任意一张输入图像，对其进行包括图像裁剪、重采样和标准化的图像预处理操作后得到图像I_i，将其输入给生成器得到生成器的重构结果I_g，生成器的目标是将I_i重构成健康图像I_g；将I_i输入给分割器得到分割掩码

对于体素级标注的患病数据集V，使用数据集V中的真实标签Y来监督分割掩码

步骤3)对分割掩码

取反得到反掩码

步骤4)取生成器结果I_g的掩码预测区域即

为1的部分，

和输入图像I_i的反掩码预测区域即

为1的部分，

将两个图像按元素相加，得到合成图像I_p；

步骤5)取生成器结果I_g的反掩码预测区域，即

和输入图像I_i的反掩码预测区域，即

分别得到图像I_gh和图像I_ih；

步骤6)构建半监督CT图像分割模型，模型包括生成器G、分割器S、判别器D₁和判别器D₂；模型的输入被同时输入到生成器G和分割器S，分割器S得到CT图像的分割掩码，值为1的体素代表病变区域，值为0的体素代表健康区域；生成器G的作用是输入一个CT图像，生成其恢复健康后的CT图像，然后将生成的图像结合分割掩码和模型输入的图像来生成恢复的健康图像和反掩码图像，以近似真实图像来欺骗判别器D₁和判别器D₂；判别器D₁和D₂的作用是判断输入的图像是否来自真实图像；通过互相竞争，生成器G和判别器D₁和D₂以迭代的方式优化权重，提高性能；

所述半监督CT图像分割模型包括四种损失，即监督损失，重构损失，判别损失1和判别损失2；监督损失在输入CT图像属于体素级标注的患病数据集时生效；重构损失是模型输入和生成器G结果之间的均方误差MSE损失，以监督生成器G产生更真实的健康CT图像；判别损失1是对抗损失，判断输入图像是真实图像还是合成的图像，以监督恢复的健康图像的质量；判别损失2是对抗损失，判断输入的图像来自真实的模型输入图像还是生成器G生成的图像，以监督反掩码图像的质量；使用基于对抗训练的模型优化方法不断优化所述损失，直到损失收敛；

步骤7)当模型训练完成后，给定待分割的三维CT图像，输入给分割器S，即可得到图像的体素级的三维分割掩码。

2.如权利要求1所述的基于对抗训练的半监督CT图像分割方法，其特征在于，所述步骤1)具体包括：

步骤a1：对通过专业设备采集三维CT图像样本得到原始数据集；

步骤a2：将原始数据集分为患病数据集和健康数据集，随机采样患病数据中五分之一的数据，由人工专家进行标注，作为体素级标注的患病数据集V；其余图像数据作为未标注的患病数据集D，所有的健康图像数据构成健康数据集H。

3.如权利要求1所述的基于对抗训练的半监督CT图像分割方法，其特征在于，所述步骤2)中的图像预处理操作具体包括：

(1)图像裁剪

图像裁剪将三维的医学图像裁剪到它的非零区域，即在图像中寻找一个最小的三维边界框，该边界框区域以外的值为0，使用这个边界框对图像进行裁剪；

(2)重采样

使用重采样对不同CT图像分辨率进放缩，以将分辨率统一为0.5mm×0.5mm×0.5mm；

(3)标准化

将CT图像灰度值的最小值和最大值设置为300和3000；灰度值小于300的值被提高为300，而灰度值大于3000的值被减小为3000；接着对CT图像的体素值进行归一化，得到[0,1]之间的值，然后将这些值放缩到[0,255]区间。

4.如权利要求1所述的基于对抗训练的半监督CT图像分割方法，其特征在于，步骤6)所述的生成器G和判别器D₁和D₂的设计遵循CycleGAN的结构，此外在最后一层使用全连接层作为分类网络，来得到最终的判别结果，即1或0，其中1代表判别器认为输入图像是真实的图像，0代表判别器认为输入的图像为生成或合成的图像。

5.如权利要求1所述的基于对抗训练的半监督CT图像分割方法，其特征在于，步骤6)所述的分割器S基于3DU-Net，在分割器S中设计了特征增强模块，用于增强编码器的特征表示，特征增强模块中包含通道注意力和空间注意力。；为了在内存使用和分割精度之间取得平衡，在分割器S中使用了四次2倍的下采样；分割器S采用了密集空洞空间金字塔池化的结构，能够使用不同大小的膨胀率来组合不同尺度的特征，很好地实现了特征的重用；分割器S中膨胀卷积(dilated convolution)使用了3，6，12的膨胀率；相同尺度的特征通过快捷连接的方式进行融合；通道数设置为16个。

6.如权利要求1所述的基于对抗训练的半监督CT图像分割方法，其特征在于，步骤6)所述基于对抗训练的模型优化方法，采用基于Adam优化器的梯度下降算法来迭代优化分割器S、生成器G、判别器D₁和判别器D₂的参数，具体包括如下步骤：

(1)初始化判别器D₁和D₂的权重参数；将迭代数iter设为1，并设置最大迭代数iter_max；

(2)优化分割器S和生成器G：冻结判别器D₁和D₂的参数，解冻分割器S和生成器G的参数，计算损失并优化模型，iter加一；

(3)优化判别器D₁：冻结分割器S，生成器G和判别器D₂的参数，解冻判别器D₁的参数，计算损失并优化模型，iter加一；

(4)优化判别器D₂：冻结分割器S，生成器G和判别器D₁的参数，解冻判别器D₂的参数，计算损失并优化模型，iter加一；

重复(1)-(4)，iter大于iter_max或直到损失收敛。

Images