CN114140437A - 一种基于深度学习的眼底硬渗出物分割方法 - Google Patents

Abstract

本发明公开了一种基于深度学***衡问题，提出一种基于Dice Loss改进的损失函数，该损失函数能够提高目标分割的召回率和错误分割的权重。将此损失函数应用在上面改进的Unet模型有利于提升分割效果。

Description

一种基于深度学习的眼底硬渗出物分割方法

技术领域

本发明涉及深度学习图像分割领域，尤其是涉及一种基于多尺度卷积神经网络的眼底硬渗出物分割方法。

背景技术

糖尿病是一种常见的以高血糖为主要特征的疾病，而视网膜病变是得了糖尿病后很容易发生的一种并发性病变，其也是导致失明的主要病变之一。糖尿病视网膜病变的临床表现有微血管瘤、渗出物和出血区域。为防止眼底病变继续发展，提前进行视网膜病变的检测具有重大意义。硬渗出物作为眼底出血症状的一种病变，对其进行检测是视网膜病变检测的重要步骤。由于需要检测的人数众多，让医生通过人工检测耗时耗力，而且由于主观因素，容易导致误诊和漏诊的出现。因此开发一套能够自动识别病变的辅助***尤为重要，可以大大提高检测的效率并且减少误诊的数量。

目前在眼底病变检测中用到的方法主要有：监督学习法，首先标注出所有可能存在病变的区域，在通过分类器去筛选去除掉不是病变的区域，逐步提高算法的准确率。随着深度学习在图像处理方面的发展，Long等人在2015年提出了全卷积神经网络FCN(FullyConvolution Network)，通过把CNN末尾的全连接层改为卷积层，使得其可以运用在图像的分类和分割等任务上。之后Olaf Ronneberger等人在此基础上提出了Unet，Unet如今常被用于医疗图像分割领域，它是一种对称的编码和解码结构，同时其加入的跳跃连接模块在一定程度上提高了分割的准确率。

发明内容

本发明提出了一种基于改进Unet模型的眼底硬渗出物病变检测分割方法，为了提高硬渗出物的检测精度，在传统的Unet模型上加入了双重注意力模块，提升对病变区域的关注度；同时融合了更多尺度的特征，有利于对细节信息的表达。将彩色眼底病变图像输入卷积神经网络，网络可以自动标记对应的病变区域并将之输出，节省标记的人力物力，并提高病变标记的准确率。

本发明所示的基于改进U-NET的眼底硬渗出物病变检测方法，可以通过以下技术方案来实现:

步骤1、将含有眼底病变的数据集图像作为原始的数据样本，对其进行数据预处理；

步骤2、对眼底图像中的硬渗出物病变部分进行手动标记，从而获得训练网络模型所需要的带有标注信息的数据集，将获得的数据集分为训练集和测试集；

步骤3、将得到的训练集输入到改进的Unet模型，通过改进的Dice Loss损失函数监督网络训练，得到硬渗出物病变检测模型；Dice Loss函数的一个限制是没有区分假阳性(FP)和假阴性(FN)，当训练模型的时候需要给假阴性(FN)更高的权重来提高召回率。同时Dice Loss损失函数的另一个问题是很难分割面积小的目标，因为它们对损失贡献不大。

所述的改进的Unet模型为在跳跃连接层添加了双重注意力模块，包括通道注意力和空间注意力模块，可以更大程度地关注硬渗出物病变区域的信息，提高检测效果；将编码层多尺度的每个输入特征经过注意力模块得到的特征图，一方面作为上一注意力特征的输入，另一方面作为解码特征的输入，这样可以将多尺度的信息融合进最后的输出特征，提高分割效果；下采样过程的最后一步使用多级空洞卷积模块，将卷积得到的特征图结果进行融合，并作为解码过程的输入，模型对多尺度变化的病变检测效果将得到有效增强；

所述的改进的Dice Loss损失函数具体为：

其中DC_c表示损失结果，α、β是可调节的变量，其中p_kc为1，表示输出结果中像素k属于类别c，

为0，表示输出结果中像素k不属于类别c，g_kc为1，表示原标注图片属于类别c的像素k，

为0，表示原标注图片不属于类别c的像素k；ε为常量，N表示样本像素的数量；

DM_c表示处理后的损失结果，σ为调节参数；

步骤4、将步骤2得到的测试集输入步骤3得到的硬渗出物检测模型中进行图像分割，根据分割的结果进行进一步地微调模型。

作为优选，步骤1中数据预处理，具体为：

将图像进行填充，缩放为长宽相等固定大小的图像，然后对其进行水平和上下翻转以扩大数据集的数量，之后调节图像的亮度和对图像进行Mosaic数据增强,Mosaic增强是把四张图像拼成一张图像，能够提高目标物体的数量，特别是小目标的数量，从而提高模型的训练效果。

作为优选，所述的位置注意力机制模块；具体为：输入A分别卷积得到特征B、C、D，特征B、C、D分辨率大小都与A相同，之后把特征B、C、D都reshape到C×N，其中N＝H×W；然后把特征C进行转置，结果和B相乘得到一个N×N的矩阵S，对S的每个点通过公式(3)进行softmax归一化；

其中s_ij表示第i个位置对第j个位置的影响，B_i表示特征B中第i个值，C_j表示特征C中第j个值。

将得到的结果和D相乘再reshape到C×H×W大小的特征图，将其和A进行相加得到最终结果，如公式(4)所示：

E_j表示特征E中的值，α初始化为0之后逐渐学习的参数，D_i表示特征D中第i个值，A_j表示特征A中第j个值。

所述的通道注意力模块；具体为：对输入A做reshape(C×N)，其中N＝H×W，C为输入A卷积得到特征；对输入特征A做reshape与transpose(N×C)的两个特征图结果相乘，再通过如下softmax归一化公式得到C×C大小的特征图X：

其中x_ji表示第i个通道对第j个通道的影响，A_i，A_j都是特征A中第i和第j个值。

然后将X转置得到C×C大小的转置特征，将转置特征与reshape后的A(C×N)做特征图相乘，得到的结果乘上尺度系数β，再reshape为原分辨率大小的特征图，最后跟A做矩阵相加得到输出结果特征图E；

E_j表示特征E中的值，β初始化为0之后逐渐学习的参数。

还包括使用一种金字塔式的图像融合方式。由于低层特征图包括更多的语义信息，而高层的特征图包括更多的细节信息，将前面网络生成的不同分辨率大小的特征输出按照从高层到低层的方式进行聚合，有利于加强输入对细节信息的表达，提高对硬渗出物病变的检测分割能力。

本发明的有益结果：

1、该技术在传统的Unet模型基础上加上了双重注意力模块，有利于关注重要的病变区域；并且加入了更多的多尺度融合，提取更多的特征和语义信息；使用了多级空洞卷积结构，提高模型对不同尺度大小病变的分割能力；最后使用了金字塔式的融合方式，使得改进后的模型可以有效提高对硬渗出物的检测能力。

2、针对眼底硬渗出物的类不平衡问题，提出一种基于Dice Loss改进的损失函数，该损失函数能够提高目标分割的召回率和错误分割的权重。将此损失函数应用在上面改进的Unet模型有利于提升分割效果。

附图说明

图1是本发明方法的总体流程图；

图2是改进的Unet网络模型的结构图；

图3是空间注意力模块的流程图；

图4是通道注意力模块的流程图；

图5多级空洞卷积示意图。

具体实施方式

下面根据附图和数据集对本发明坐更加详细的说明。本发明的整体流程图见附图图1，具体包括以下步骤：

本发明所示的基于改进U-NET的眼底病变检测方法，可以通过以下技术方案来实现:

步骤1、将含有眼底病变的数据集图像作为原始的数据样本，对其进行数据预处理；

步骤2、然后由专业人员对眼底图像中的硬渗出物病变部分进行手动标记，从而获得训练网络模型所需要的带有标注信息的数据集，将获得的数据集分为训练集和测试集；

步骤3、将上面得到的训练集输入到改进的Unet模型，训练模型的网络参数，得到硬渗出物病变检测模型

步骤4、将步骤2得到的测试集输入步骤3得到的硬渗出物检测模型中进行图像分割，根据分割的结果进行进一步地微调模型

进一步地，步骤1中的图像预处理器对采集的图像进行预处理的方案为：首先将图像进行填充，缩放为长宽相等固定大小的图像，然后对其进行水平和上下翻转以扩大数据集的数量，之后调节图像的亮度和对图像进行Mosaic数据增强,Mosaic增强是把四张图像拼成一张图像，能够提高目标物体的数量，特别是小目标的数量，从而提高模型的训练效果。同时***可以一次性读取四张图像，提高模型的运行效率。

进一步地，上述的改进网络是在Unet模型基础上针对眼底硬渗出物病变领域的问题作出的对应的改进。具体来说，首先在多尺度上增加了注意力机制模块。注意力机制是一种让网络学习出一组权重系数，并对各个目标区域动态加权以更多地聚焦感兴趣的区域信息，即病变区域的信息。在跳跃连接层添加了双重注意力模块，包括通道注意力和空间注意力模块，可以更大程度地关注硬渗出物病变区域的信息，提高检测效果。然后将编码层多尺度的每个输入特征经过注意力模块得到的特征图，一方面作为上一注意力特征的输入，一方面作为解码特征的输入，这样可以将多尺度的信息融合进最后的输出特征，提高分割效果。

进一步地，CNN网络使用局部感受野的方式对图像进行特征的抽取，这有可能导致相同的位置元素在最终的输出特征图的表达不一致，致使类内不一致性的出现，从而导致分割的错误；如图2所示，Unet网络通过前后尺度融合的方式去提高空间特征，然而没有考虑到各位置的重要性和联系性。为了增加对眼底硬渗出物病变的检测精度，本文在Unet的模型基础上在提出一种高效金字塔注意力模块。通过在多尺度上使用空间注意力模块和通道注意力模块去自适应地学习局部特征和全局依赖。其中注意力模块引入一种对偶注意力网络(DANet)，它会对两个结果进行聚合：

(1)空间注意力模块(Postion Attention Module)：

空间注意力机制模块如图2所示，特征B、C、D是由输入A分别卷积得到，大小与A相同，之后把B、C、D都reshape到C×N(N＝H×W)；然后把C进行转置，结果和B相乘得到一个N×N的矩阵S，对S的每个点都进行softmax，以下有softmax的计算公式。上面得到的结果和D相乘再reshape到C×H×W大小的特征图，将其和A进行相加得到最终结果。以上操作如下式所示：

从上面的流程可以知道最终结果的每个位置像素都与其他像素有位置权重关系。

(2)通道注意力模块(Channel Attention Module)：

通道注意力模块如图3所示，首先对A做reshape(C×N)，和对A做reshape与transpose(N×C)的两个特征图结果相乘，再通过softmax得到C×C大小的特征图X,然后对进行X的转置得到C×C大小的转置图，将转置图与reshape的A(C×N)做特征图相乘，得到的结果乘上尺度系数α，再reshape为原图大小的特征图，最后跟A做矩阵相加得到输出结果特征图。其中α初始化值为0，并通过网络学习从而得到更大的权重，softmax和矩阵相加的公式如下所示：

进一步地，硬渗出物由于发展周期不同，尺寸也大小不一。在Unet中对不同尺寸大小的硬渗出物采用单一的特征提取网络，不能更好地捕获不同大小的病变信息。为了解决这种问题，如图5所示，本发明采用多级空洞卷积结构，可以在不增大计算量的情况下增加感受野，有利于获取大小不一尺寸的硬渗出物信息。通过在Unet网络下采样过程的最后一步使用多级空洞卷积模块，将卷积得到的特征图结果进行融合，并作为解码过程的输入，模型对多尺度变化的病变检测效果将得到有效增强。

进一步地，最后的输出模块使用了一种金字塔特征融合结构。在该结构中，由前面网络抽取出的不同分辨率的特征图，上面高分辨率图包含更多的细节特征，而下面的低分辨率图具有更多的语义信息。所以输出方式是将其按照从高层到低层的方式进行融合，这样有利于加强对细节特征的表大，提高网络对微血管瘤分割的精确度；通过这种金字塔式的特征提取结果，获取更多的细节信息，能够较大地提高模型对于硬渗出物的分割精度。

进一步地，本模型在物体的分割精度上依然有提升的空间，本发明中有些眼底病变图片中硬渗出物在整个眼底病变图像中的像素面积很小导致难以识别和分割，同时图像里硬渗出物病变的样本数量也不多，容易使得模型将所有像素分类为背景或其他类别，产生了严重的类不平衡问题。本发明针对硬渗出物病变的类不平衡问题提出了一种基于DiceLoss改进的损失函数，可以有效地提高对于硬渗出物病变的检测。

Dice Loss损失函数的定义如下：

其中p_kc表示像素k属于类别c的概率，

表示像素k不属于类别c的概率。

在眼底病变检测中，需要将尽可能多的病变检测正确地分割出来，即提高召回率。然而Dice Loss函数的一个限制是没有区分假阳性(FP)和假阴性(FN)。当训练模型的时候需要给假阴性(FN)更高的权重来提高召回率：

其中α、β是可调节的变量。

Dice Loss函数的另一个问题是对于过小的目标分割错误不会对损失造成太大的影响，在眼底病变图像中，有些硬渗出物本身面积小，加上容易受到图像的亮度、噪声等图像质量的影响，导致有一些病变难以检测到，将这类样本称为分割困难样本。为了解决这个问题，在上面的基础上继续提出了下列损失函数：

其中σ是一个可调节的变量。

用此改进的损失函数去监督训练模型以获得更好的分割效果。

Claims (4)

1.一种基于深度学习的眼底硬渗出物分割方法，其特征在于，该方法具体包括以下步骤：

步骤1、将含有眼底病变的数据集图像作为原始的数据样本，对其进行数据预处理；

步骤2、对眼底图像中的硬渗出物病变部分进行手动标记，从而获得训练网络模型所需要的带有标注信息的数据集，将获得的数据集分为训练集和测试集；

步骤3、将得到的训练集输入到改进的Unet模型，通过改进的Dice Loss损失函数监督网络训练，得到硬渗出物病变检测模型；

所述的改进的Unet模型为在跳跃连接层添加了双重注意力模块，包括通道注意力和空间注意力模块；将编码层多尺度的每个输入特征经过注意力模块得到的特征图，一方面作为上一注意力特征的输入，另一方面作为解码特征的输入；下采样过程的最后一步使用多级空洞卷积模块，将卷积得到的特征图结果进行融合，并作为解码过程的输入；所述的改进的Dice Loss损失函数具体为：

其中DC_c表示损失结果，α、β是可调节的变量，其中p_kc为1，表示输出结果中像素k属于类别c，

为0，表示输出结果中像素k不属于类别c，g_kc为1，表示原标注图片属于类别c的像素k，

为0，表示原标注图片不属于类别c的像素k；ε为常量，N表示样本像素的数量；

其中DM_c表示处理后的损失结果，σ为调节参数；

步骤4、将步骤2得到的测试集输入步骤3得到的硬渗出物检测模型中进行图像分割，根据分割的结果进行进一步地微调模型。

2.根据权利要求1所述的一种基于深度学习的眼底硬渗出物分割方法，其特征在于：步骤1中数据预处理，具体为：

将图像进行填充，缩放为长宽相等固定大小的图像，然后对其进行水平和上下翻转以扩大数据集的数量，之后调节图像的亮度和对图像进行Mosaic数据增强,Mosaic增强是把四张图像拼成一张图像，能够提高目标物体的数量，特别是小目标的数量，从而提高模型的训练效果。

3.根据权利要求1所述的一种基于深度学习的眼底硬渗出物分割方法，其特征在于：所述的位置注意力模块；具体为：输入A分别卷积得到特征B、C、D，特征B、C、D分辨率大小都与A相同，之后把特征B、C、D都reshape到C×N，其中N＝H×W；然后把特征C进行转置，结果和B相乘得到一个N×N的矩阵S，对S的每个点通过公式(3)进行softmax归一化；

其中s_ij表示第i个位置对第j个位置的影响，B_i表示特征B中第i个值，C_j表示特征C中第j个值；

将得到的结果和D相乘再reshape到C×H×W大小的特征图，将其和A进行相加得到最终结果，如公式(4)所示：

E_j表示特征E中的值，α初始化为0之后逐渐学习的参数，D_i表示特征D中第i个值，A_j表示特征A中第j个值。

4.根据权利要求1所述的一种基于深度学习的眼底硬渗出物分割方法，其特征在于：所述的通道注意力模块；具体为：对输入A做reshape(C×N)，其中N＝H×W，C为输入A卷积得到特征；对输入特征A做reshape与transpose(N×C)的两个特征图结果相乘，再通过如下softmax归一化公式得到C×C大小的特征图X：

其中x_ji表示第i个通道对第j个通道的影响，A_i，A_j都是特征A中第i和第j个值；

然后将X转置得到C×C大小的转置特征，将转置特征与reshape后的A(C×N)做特征图相乘，得到的结果乘上尺度系数β，再reshape为原分辨率大小的特征图，最后跟A做矩阵相加得到输出结果特征图E；

其中E_j表示特征E中的值，β初始化为0之后逐渐学习的参数。

Images