CN113538458A - 基于FTL损失函数和注意力的U-Net图像分割方法 - Google Patents

Abstract

本发明公开了一种基于FTL损失函数和注意力的U‑Net图像分割方法。本发明对U‑Net模型进行重新设计，在U‑Net模型基础上结合FocalTverskyLoss和Attention注意力机制。本发明具体步骤：步骤1、图像预处理；步骤2、构建损失函数：用FTL损失函数来评价分割结果；步骤3、构建注意力机制：在模型的上采样过程中加入Attention注意力模块，使得模型在输出高水平特征图时不会丢失空间细节信息；步骤4、训练网络模型：将划分好的数据集输入到搭建好的网络模型中，通过训练集和验证集完成训练后，将测试集输入到网络模型中，得到分割结果。本发明改进了准确率和召回率的不平衡问题，并且对于多尺度输入的图像有更好的输出特征表示。

Description

基于FTL损失函数和注意力的U-Net图像分割方法

技术领域

本发明提供一种基于FTL损失函数和注意力的U-Net图像分割 方法。

背景技术

在医学图像分析领域，通过对全局图像的小部分病灶区域进行 检测和分割是一项普遍的任务。由于图像病灶区域的不平衡性，使 得建立生成和辨别框架具有不稳定性。近年来，卷积神经网络( CNNs)已经成功地应用到2D和3D医学图像的自动分割中。大多数现有的深度学习方法都源于全卷积神经网络结构(FCN)，使用全卷 积层替代之前的全连接层。U-Net作为FCN的变形，因其独特的跳 跃连接和编码-解码结构，成为医学图像分割的主要网络框架。

解决类别不平衡问题是医学图像分割领域一个主要的研究方向 。Focal Loss损失函数结合调节指数，重构了交叉熵损失函数，从 而对良好分类的样本进行了降权运算。Focal Loss通过阻止大量的 容易分割的负样本主导梯度从而改善了类别不平衡问题。然而，在 实际问题中，由于医学图像的病灶区域不明显这一普遍现象，这种 方法在平衡准确率和召回率上具有很大的困难。调查研究显示例如 注意力机制的方法可以使辨别模型更专注于小的感兴趣的分割区域 。

发明内容

在医学图像处理领域，为了解决数据不平衡以及模型性能的问 题，本发明对U-Net模型进行了重新设计，在其基础上结合Focal Tversky Loss和Attention注意力机制，提出了一种基于FTL损失 函数和注意力的U-Net图像分割方法，改进了准确率和召回率的不 平衡问题，并且对于多尺度输入的图像有更好的输出特征表示。

为实现上述目的，本发明提供了如下方案：

基于FTL损失函数和注意力的U-Net图像分割方法，所述方法 包括以下步骤：

步骤1、图像预处理：

1-1、采用公共数据集ISIC 2018皮肤病灶数据集。对图像集进 行数据增强操作处理，方法包括对图像进行旋转、平移、重构尺寸 、正则化、随机亮度对比以及高斯模糊等。通过这一手段，增大了 数据量，防止了过拟合，使模型达到更好的训练效果。

1-2、将数据集划分为训练集、验证集和测试集，所占比例分别 为80％，10％和10％；

步骤2、构建损失函数：Focal Tversky Loss(FTL)损失函数 用来评价分割结果，是在Dice系数的基础上进行构建的：

如公式(1)所述，其中g_ic∈{0,1}和p_ic∈[0,1]分别表示真实 标签和预测标签，c表示预测类别，N表示一张图像中像素的总量，∈ 是数值常量来防止分母除零。DSC系数在医学图像分割领域中是被 广泛使用的交叉指数评估指标；

如公式(2)所述，Dice loss表示预测值与真实值重叠的最 小值。

Dice loss的缺点是它对假正例(FP)和假负例(FN)赋予同 样的权重，其中FP表示预测为真，实际为假的样本，FN表示预测 为假，实际为真的样本。这在实际情况中将导致分割特征结果输出 高准确率但是低召回率的结果。

准确率：

召回率：

如公式(3)、(4)所述，TP表示预测为真正例，即正确预 测为病灶的区域，FN表示假负例，即错误预测为非病灶区域，FP表 示假正例，即错误预测为病灶区域；

对于例如皮肤病灶此类数据集高度不平衡且病灶区域不明显的 图像，FN需要比FP赋予更高的权重，来达到提高召回率的目的；

如公式(5)所述，Tversky相似指数(TI)是Dice系数的泛 化，提供了平衡FP和FN的灵活性。其中p_ic表示像素i预测为病灶类 别c的概率，

表示像素i预测为非病灶类别

的概率。依此类推，g_ic和

表示真实标签。超参数α和β可以在大量类别不平衡的情况下， 通过微调改变权重来改进召回率。当α和β都等于0.5时，Tvesky指 数便简化为Dice指数；

如公式6所述，表示Tvesky损失(TL)；

在深度学习中，常见的问题是不明显的病灶区域对损失函数没 有贡献。

如公式(7)所述，为本发明提出的Focal Tversky Loss(FTL )。其中γ在[1,3]范围内取值。在实际应用中，如果一个高Tversky 指数的像素被错误分类，那么FTL将不受影响。相反，如果 Tversky指数低并且像素被错分，那么FTL损失函数将明显下降。 当γ>1时，损失函数更专注于被错误分类的不正确预测。针对不 同的数据集和模型，γ需要根据试验进行调整，否则将出现损失函数 的过度抑制。

步骤3、构建注意力机制：在模型的上采样过程中加入 Attention注意力模块，使得模型在输出高水平特征图时不会丢失 空间细节信息。

如公式(8)所述，

表示线性注意力系数，通过逐元素相 加和1×1线性变换运算，并由W_x，W_g和b_g参数化。

表示在第l 层的像素i，它是从较粗躁的尺度而不是输入序列信号上获取的。g 表示注意力门信号，用来决定每个像素i需要关注的区域。σ₁为ReLU 激活函数；

如公式(9)所述，

表示注意力系数，σ₂表示sigmoid激活 函数，通过改变低级序列信号

的大小，最终只获取激活的特征图 。这些经过裁剪的特征和解码阶段的每一尺度的上采样输出图像进 行连结。接下来，在每一个解码模块进行1×1×1的卷积和 sigmoid激活操作。

步骤4、训练网络模型：将划分好的数据集输入到搭建好的网 络模型中，通过训练集和验证集完成训练后，将测试集输入到网络 模型中，得到分割结果。

本发明提出的基于FTL损失函数和注意力的U-Net图像分割方 法的主要创新在：

a.引入focal Tversky loss(FTL)损失函数：对于数据不平 衡且病灶区域不明显的图像，会导致输出准确率和召回率的不平衡 。本发明提出的FTL损失函数通过在Diceloss的基础上加入了超 参数α和β，并加入指数参数γ，通过控制容易区分的背景和不容易区分的病灶分割区域，权衡了准确率和召回率之间的关系，是模型 在病灶不明显的数据集上有更好的输出结果；

b.引入Attention注意力机制：在编码阶段的深层阶段，网络 模型拥有最丰富的特征表达。然而，由于串联的网络和非线性结构 ，是的在高级输出特征时往往会丢失空间细节信息。将Attention 注意力机制引入到解码阶段，减小了对不明显目标的错误检测概率 ，使得模型更专注于前景信息，拥有更好的鉴别低级特征图空间信 息的能力；

附图说明

图1为本发明方案的流程示意图；

图2为本发明方案的网络结构示意图；

图3为本发明方案的Attention注意力机制结构示意图。

具体实施方式

如图1所示，一种基于FTL损失函数和注意力的U-Net的图像 分割方法，具体实现如下：

步骤1、图像预处理：

1-1、采用公共数据集ISIC 2018皮肤病灶数据集。对图像集进 行数据增强操作处理，方法包括对图像进行旋转、平移、重构尺寸 、正则化、随机亮度对比以及高斯模糊等。通过这一手段，增大了 数据量，防止了果泥和，使模型达到更好的训练效果。

1-2、将数据集划分为训练集、验证集和测试集，所占比例分别 为80％，10％和10％；

步骤2、构建损失函数：

用focal Tversky loss(FTL)损失函数用来评价分割结果， 该损失函数在Dice系数的基础上进行构建的，具体实现如下：

如公式(1)所述，其中g_ic∈{0,1}和p_ic∈[0,1]分别表示真实标 签和预测标签，c表示预测类别，N表示一张图像中像素的总量，∈是 数值常量来防止分母除零。DSC在医学图像分割领域中是被广泛使 用的交叉指数评估指标；

如公式(2)所述，Dice loss表示预测值与真实值重叠的最小 值。

Dice loss的缺点是它对假正例(FP)和假负例(FN)赋予同 样的权重，其中FP表示预测为真，实际为假的样本，FN表示预测 为假，实际为真的样本。这在实际情况中将导致分割特征结果输出 高准确率但是低召回率。

准确率：

召回率：

如公式(3)、(4)所述，TP表示预测为真正例，即正确预测 为病灶的区域，FN表示假负例，即错误预测为非病灶区域，FP表示 假正例，即错误预测为病灶区域；

对于例如皮肤病灶此类数据集高度不平衡且病灶区域不明显的 图像，FN需要比FP赋予更高的权重，来达到提高召回率的目的；

如公式(5)所述，Tversky相似指数(TI)是Dice系数的泛 化，提供了平衡FP和FN的灵活性。其中p_ic表示像素i预测为病灶类 别c的概率，

表示像素i预测为非病灶类别

的概率。依此类推，g_ic和

表示真实标签。超参数α和β可以在大量类别不平衡的情况下， 通过微调改变权重来改进召回率。当α和β都等于0.5时，Tvesky指 数便简化为Dice指数；

如公式6所述，表示Tvesky损失(TL)；

在深度学习中，常见的问题是不明显的病灶区域对损失函数没 有贡献。

如公式(7)所述，为本发明提出的focal Tvesky loss(FTL )。其中γ在[1,3]范围内取值。在实际应用中，如果一个高Tversky 指数的像素被错误分类，那么FTL将不受影响。相反，如果 Tversky指数低并且像素被错分，那么FTL损失函数将明显下降。 当γ>1时，损失函数更专注于被错误分类的不正确预测。针对不 同的数据集和模型，γ需要根据试验进行调整，否则将出现损失函数 的过度抑制。

步骤3、构建注意力机制：

在模型的上采样过程中加入Attention注意力模块，使得模型 在输出高水平特征图时不会丢失空间细节信息。

如公式(8)所述，

表示线性注意力系数，通过逐元素相加 和1×1线性变换运算，并由W_x、W_g和b_g参数化。

表示在第l层 的像素i，它是从较粗躁的尺度而不是输入序列信号上获取的。g表 示注意力门信号，用来决定每个像素i需要关注的区域。σ₁为ReLU 激活函数；

如公式(9)所述，

表示注意力系数，σ₂表示sigmoid激活函 数，通过改变

的大小，最终只获取激活的特征图。这些经过裁剪 的特征和解码阶段的每一尺度的上采样输出图像进行连结。接下来 ，在每一个解码模块进行1×1×1的卷积和sigmoid激活操作。

步骤4、训练网络模型：将划分好的数据集输入到搭建好的网 络模型中，通过训练集和验证集完成训练后，将测试集输入到网络 模型中，得到分割结果。

如图2所示，本发明所提供方案的网络模型结构示意图：

其中，输入多尺度的图像有利于增加网络的泛化能力，也进一 步证明了模型的可行性；

模型基于U-Net结构，在上采样(解码)阶段加入Attention 注意力机制，并在每一个上采样模块加入FTL损失函数监督，除了 最后一个模块，来防止过度抑制；

多尺度的跳跃连接，将上采样阶段的空间语义信息映射到对应 的下采样阶段，是模型输出更高分辨率的特征图，并提升模型的输 出效果。

如图3所示，本发明方案所提供的Attention注意力模块示意 图：

其中，g表示注意力信号，x_i表示输入特征序列信号，2UP表示 两次上采样操作，意思是在每个注意力操作后再进行两次上采样操 作。g和经过两次上采样的x_i进行相加操作之后，再经过1×1×1 卷积、ReLu激活、1×1×1卷积、Sigmoid激活和两次上采样操作 。最终和输入序列作相乘操作得到最终的输出特征图。

Claims (4)

1.基于FTL损失函数和注意力的U-Net图像分割方法，其特征在于对U-Net模型进行重新设计，在U-Net模型基础上结合Focal Tversky Loss和Attention注意力机制，改进了准确率和召回率的不平衡问题，并且对于多尺度输入的图像有更好的输出特征表示，具体包括如下步骤：

步骤1、图像预处理；

步骤2、构建损失函数：用FTL损失函数来评价分割结果；

步骤3、构建注意力机制：在模型的上采样过程中加入Attention注意力模块，使得模型在输出高水平特征图时不会丢失空间细节信息；

步骤4、训练网络模型：将划分好的数据集输入到搭建好的网络模型中，通过训练集和验证集完成训练后，将测试集输入到网络模型中，得到分割结果。

2.根据权利要求1所述的基于FTL损失函数和注意力的U-Net图像分割方法，其特征在于步骤1具体实现如下：

1-1、采用公共数据集ISIC 2018皮肤病灶数据集；对图像集进行数据增强操作处理，方法包括对图像进行旋转、平移、重构尺寸、正则化、随机亮度对比以及高斯模糊；

1-2、将数据集划分为训练集、验证集和测试集，所占比例分别为80％，10％和10％。

3.根据权利要求1所述的基于FTL损失函数和注意力的U-Net图像分割方法，其特征在于步骤2具体实现如下：

FTL损失函数在Dice loss的基础上进行构建，具体如下：

如公式(1)所述，其中g_ic∈{0,1}和p_ic∈[0,1]分别表示真实标签和预测标签，c表示预测类别，N表示一张图像中像素的总量，∈是数值常量来防止分母除零；DSC系数在医学图像分割领域中是被广泛使用的交叉指数评估指标；

如公式(2)所述，Dice loss表示预测值与真实值重叠的最小值；

Dice loss的缺点是它对假正例(FP)和假负例(FN)赋予同样的权重，其中FP表示预测为真，实际为假的样本，FN表示预测为假，实际为真的样本；这在实际情况中将导致分割特征结果输出高准确率但是低召回率的结果；

准确率：

召回率：

如公式(3)、(4)所述，TP表示预测为真正例，即正确预测为病灶的区域，FN表示假负例，即错误预测为非病灶区域，FP表示假正例，即错误预测为病灶区域；

对于例如皮肤病灶此类数据集高度不平衡且病灶区域不明显的图像，FN需要比FP赋予更高的权重，来达到提高召回率的目的；

如公式(5)所述，Tversky相似指数TI是Dice系数的泛化，提供了平衡FP和FN的灵活性；其中p_ic表示像素i预测为病灶类别c的概率，

表示像素i预测为非病灶类别

的概率；依此类推，g_ic和

表示真实标签；超参数α和β能够在大量类别不平衡的情况下，通过微调改变权重来改进召回率；当α和β都等于0.5时，Tvesky指数便简化为Dice指数；

如公式6所述，TL_c表示Tvesky损失；

如公式(7)所述，FTL损失构建如下：

其中γ在[1,3]范围内取值。

4.根据权利要求3所述的基于FTL损失函数和注意力的U-Net图像分割方法，其特征在于步骤3的线性注意力系数求解如下：

如公式(8)所述，

表示线性注意力系数，通过逐元素相加和1×1线性变换运算，并由W_x、W_g和b_g参数化；

表示在第l层的像素i，g表示注意力门信号，用来决定每个像素i需要关注的区域，σ₁为ReLU激活函数；

如公式(9)所述，

表示注意力系数，σ₂表示sigmoid激活函数，通过改变

的大小，最终只获取激活的特征图；这些经过裁剪的特征和解码阶段的每一尺度的上采样输出图像进行连结；接下来，在每一个解码模块进行1×1×1的卷积和sigmoid激活操作。

Images