CN110889859A - 一种用于眼底图像血管分割的u型网络 - Google Patents

Abstract

本发明实施例涉及一种用于眼底图像血管分割的U型网络。其中，该U型网络包括：特征编码器以及特征解码器，特征编码器与特征解码器连接，特征编码器包括M个串联的下采样模块，用于提取眼底图像的图像特征；特征解码器包括N个串联的上采样模块，N个上采样模块分别与N个下采样模块连接，用于输出眼底图像的血管分割结果。本发明解决了由于相关技术中眼底图像血管分割精度低，不能完全刻画眼底图像血管特征的技术问题。

Description

一种用于眼底图像血管分割的U型网络

技术领域

本发明涉及眼底图像分割领域，具体涉及一种用于眼底图像血管分割的U型网络。

背景技术

视网膜眼底图像分析对于眼科医生处理眼底疾病如糖尿病视网膜病变、青光眼等，与眼底表现相关的其他疾病，如高血压、冠心病等的诊断十分重要。如果不及时诊断治疗，会有失明或更严重的危险。眼底血管是视网膜眼底图像中最基本的组织结构之一，因为眼睛是唯一一个可以不用侵入人体可以直接观察血管的器官。并且视网膜和视神经直接与大脑神经相连，眼睛的微血管和大脑血管心血管也直接相连。所以通过观察眼底图像血管形态的变化在一定程度上可反应冠心病、高血压等相关慢性疾病。对于疾病筛查具有重要意义。

近几十年来视网膜眼底图片血管的自动分割已引起了重大关注。现有的分割算法可以分为两类：传统分割方法和神经网络分割方法。

1.传统分割方法：使用传统方法从眼底照中分割血管主要用到的信息是眼底色差信息。在早期阶段，通常依靠血管边缘之间的颜色强度差异，利用阈值来确定边界，并且图像形态学等方法对边界进行前后处理。

2.神经网络分割方法：由于传统方法在不使用任何标签信息的情况下进行血管分割任务，与传统无监督方法相比，利用神经网络分割方法显示出一些优势。可以被看作是像素级别的三分类问题。每个像素属于背景或血管。像素级分割是计算机视觉中十分重要的领域，可以被看作是一个语义分割问题。语义分割任务最初流行的深度学习方法是图像块分类，即利用像素周围的图像块对每一个像素进行独立的分类。使用图像块分类的主要原因是分类网络通常是全连接层，且要求固定尺寸的图像。常见的方法时利用全卷积网络进行眼底图像血管分割。

在上述的传统无监督方法中，模型通常涉及较多需要满足的附加条件，且对图像本身质量要求较高，分割出来的血管精度也较低。而对于神经网络分割方法中提到的全卷积神经网络，通过逐层提取特征的方式丢失了许多有用信息，导致眼底图像血管分割模型最终学得的参数不能完全刻画眼底图像血管特征。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种用于眼底图像血管分割的U型网络，以至少解决由于相关技术中眼底图像血管分割精度低，不能完全刻画眼底图像血管特征的技术问题。

根据本发明实施例的一个方面，提供了一种用于眼底图像血管分割的U型网络，该U型网络包括：特征编码器以及特征解码器，其中：所述特征编码器与所述特征解码器连接，所述特征编码器包括M个串联的下采样模块，用于提取眼底图像的图像特征；所述特征解码器包括N个串联的上采样模块，所述N个上采样模块分别与N个所述下采样模块连接，用于输出所述眼底图像的分割结果；其中，M，N均为大于1的正整数，M大于等于N。

进一步地，所述下采样模块输出的特征图尺寸与所述下采样模块连接的上采样模块的输入的特征图尺寸相同。

进一步地，所述上采样模块包括卷积单元、批量标准化激活单元以及拼接单元，其中：所述拼接单元与所述卷积单元连接；所述卷积单元，分别与所述拼接单元以及所述批量标准化激活单元连接，用于对所述拼接单元的输出结果进行卷积，以及将卷积单元的卷积结果输入至所述批量标准化激活单元。

进一步地，所述U型网络还包括卷积模块，其中：所述卷积模块，分别与所述特征编码器以及所述特征解码器连接。

进一步地，还包括：所述特征解码器中第1个上采样模块包括第一拼接单元，所述第一拼接单元，用于对所述卷积模块输出的特征图，以及所述第1个上采样模块对应的下采样模块输出的特征图进行拼接；所述特征解码器中第2至N个上采样模块包括第二拼接单元，所述第二拼接单元，用于对自身所在的上采样模块对应的下采样模块输出的特征图，以及相邻上采样模块输出的特征图进行拼接。

进一步地，N取值为5。

进一步地，所述特征解码器还包括输出模块，所述输出模块用于对第N个上采样模块的输出值进行卷积操作和激活sigmod操作。

进一步地，在训练所述U型网络之前，对训练数据集进行预设处理，所述预设处理包括旋转、水平翻转和垂直翻转。

进一步地，在训练所述U型网络的过程中，计算所述U型网络输出的概率图与所述训练数据集的真实标签之间的交叉熵损失，通过反向传播算法进行优化。

在本发明实施例中，采用特征编码器与特征解码器结合的方式，通过特征编码器与特征解码器连接，特征编码器中M个串联的下采样模块用于提取眼底图像的图像特征；特征解码器中的N个上采样模块分别与特征编码器中的N个下采样模块连接，用于输出眼底图像的分割结果，达到了提高眼底图像血管分割精度的目的，在眼底图像特征的提取过程中保留了眼底图像的特征，避免了图像特征的丢失，进而解决了由于相关技术中眼底图像血管分割精度低，不能完全刻画眼底图像血管特征的技术问题。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的一种可选的用于眼底图像血管分割的U型网络示意图；

图2是根据本发明实施例的一种可选的上采样模块的示意图；

图3是根据本发明实施例的又一种可选的用于眼底图像血管分割的U型网络示意图；

图4是根据本发明实施例的又一种可选的用于眼底图像血管分割的U型网络示意图；

图5是根据本发明实施例的又一种可选的用于眼底图像血管分割的U型网络示意图；

图6是根据本发明实施例的又一种可选的用于眼底图像血管分割的U型网络示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

根据本发明实施例，提供了一种用于眼底图像血管分割的U型网络，如图1所示，该U型网络包括：特征编码器10以及特征解码器20，其中：

1)特征编码器10与特征解码器连接，特征编码器10包括M个串联的下采样模块102，用于提取眼底图像的图像特征；

2)特征解码器20包括N个串联的上采样模块202，N个上采样模块202分别与N个下采样模块102连接，用于输出眼底图像的分割结果；其中，M，N均为大于1的正整数，M大于等于N。

在本实施例中，特征编码器通过M个下采样模块逐层提取图像特征，在提取图像特征的过程中，会逐渐提取到图像的高级特征，在特征解码器过程中单独依赖上一级解码器的输出特征，对上一级解码器的输出特征进行上采样可能导致图像特征不完全，由此通过特征编码器中的上采样模块来保留眼底图像的部分图像特征，以避免图像特征丢失，而导致眼底图像血管分割结果不精确。

在本实施例中，优选地，特征编码器可以采用EfficientNet系列网络，例如EfficientNet-B5编码器与包含5个上采样模块的特征解码器组成的U型网络，来进行眼底图像血管分割。其中，上采样模块在对特征编码器输出的图像特征进行处理过程中，同时对特征编码器中的下采样模块的图像特征进行处理，来保留下采样模块中的部分图像特征，实现了避免图像特征丢失发生的效果。

需要说明的是，通过本实施例，采用特征编码器与特征解码器结合的方式，通过特征编码器与特征解码器连接，特征编码器中M个串联的下采样模块用于提取眼底图像的图像特征；特征解码器中的N个上采样模块分别与特征编码器中的N个下采样模块连接，用于输出眼底图像的分割结果，达到了提高眼底图像血管分割精度的目的，在眼底图像特征的提取过程中保留了眼底图像的特征，避免了图像特征的丢失。

可选地，在本实施例中，下采样模块输出的特征图尺寸与下采样模块连接的上采样模块的输入的特征图尺寸相同。

在具体的应用场景中，为了使上采样模块的输入特征可以与对应连接的下采样模块的输出特征进行拼接，设定下采样模块输出的特征图尺寸与上采样模块的输入的特征图尺寸相同，并且使图像特征不被丢失。

可选地，在本实施例中，上采样模块包括卷积单元、批量标准化激活单元以及拼接单元，其中：拼接单元与卷积单元连接；卷积单元，分别与拼接单元以及批量标准化激活单元连接，用于对拼接单元的输出结果进行卷积，以及将卷积单元的卷积结果输入至批量标准化激活单元。

在本实施例中，特征解码器中的上采样模块依次对图像特征进行上采样处理，具体的，例如图2所示，上采样模块中包括卷积单元22、批量标准化激活单元24以及拼接单元26，拼接单元26与卷积单元22连接，卷积单元22与批量标准化激活单元24连接，拼接单元26用于对特征编码器输出的特征图A以及上采样模块对应的下采样模块输出的特征图B进行拼接，将拼接结果输入至卷积单元22。

可选地，在本实施例中，U型网络还包括卷积模块，其中：卷积模块，分别与特征编码器以及特征解码器连接。

在具体的应用场景中，，如图3所示，U型网络包括特征编码器30、特征编码器32以及卷积模块34，其中，卷积模块34分别与特征编码器30以及特征解码器32连接。优选地，卷积模块为一个1*1的卷积核。

可选地，在本实施例中，特征解码器中第1个上采样模块包括第一拼接单元，第一拼接单元，用于对卷积模块输出的特征图，以及第1个上采样模块对应的下采样模块输出的特征图进行拼接；特征解码器中第2至N个上采样模块包括第二拼接单元，第二拼接单元，用于对自身所在的上采样模块对应的下采样模块输出的特征图，以及相邻上采样模块输出的特征图进行拼接。

而在具体的应用场景中，如图4所示的U型网络中包括特征编码器40、特征解码器42以及卷积模块44，在该图中特征编码器40中具备5个下采样模块400，按照连接顺序分别命名为400-1、400-2、400-3、400-4、400-5；特征解码器32中存在有5个上采样模块420，按照连接顺序分别命名为420-1、420-2、420-3、420-4、420-5，其中，上采样模块420-1中的拼接单元为第一拼接单元，下采样模块输出的特征图与其对应的上采样模块输入的特征图尺寸相同。其中，上采样模块420-1中的拼接单元用于对下采样模块400-5输出的特征图以及卷积模块44输出的特征图进行拼接，然后将拼接结果输出至上采样模块中的卷积单元以及批量标准化激活单元。上采样模块420-2中的拼接单元为第二拼接单元,用于对下采样模块400-4以及上采样模块420-1输出的特征图进行拼接；上采样模块420-3中的拼接单元，用于对下采样模块400-3以及上采样模块420-2输出的特征图进行拼接；上采样模块420-4中的拼接单元，用于对下采样模块400-2以及上采样模块420-3输出的特征图进行拼接；上采样模块420-5中的拼接单元，用于对下采样模块400-1以及上采样模块420-4输出的特征图进行拼接。

可选地，在本实施例中，N取值为5。

在优选地实施例中，特征编码器为EfficientNet-B5编码器，特征解码器中优选地设置上采样模块为5个。

可选地，在本实施例中，特征解码器还包括输出模块，输出模块用于对第N个上采样模块的输出值进行卷积操作和激活sigmod操作。

在具体的应用场景中，如图5所示，U型网络包括特征编码器50、特征解码器54以及卷积模块52，在特征解码器54中包括上采样模块540以及输出模块542，输出模块542用于对上采样模块540的输出进行卷积操作以及激活sigmod操作。需要说明的是，图5中特征编码器50中包括至少一个下采样模块，特征解码器54包括了至少一个上采样模块，图上未对其他下采样模块以及上采样模块示出，此外，上采样模块的输入端是对应的特征解码器中的下采样模块以及卷积模块。

可选地，在本实施例中，在训练U型网络之前，对训练数据集进行预设处理，预设处理包括旋转、水平翻转和垂直翻转。

具体的，在对眼底图像血管分割U型网络训练之前，先准备训练数据集，例如，使用从临床获取的视网膜图像血管分割数据作为训练数据集来训练神经网络模型，使用公开的400张REFUGE数据作为测试集来测试评估模型性能。训练数据集共包括1349张原彩色眼底照片和与其一一对应的血管分割标签图。

另一方面，对训练数据集中的眼底照片进行预处理而得到训练范例照，用于输入模型。该步骤中，本实施例中使用各种转换对每一张图片处理来扩充训练集，包括45°、90°、135°、180°、225°、和270°的旋转，水平翻转和垂直翻转，以及对图像进行系数为0.5和1.3的亮度调整。

可选地，在本实施例中，在训练U型网络的过程中，计算U型网络输出的概率图与训练数据集的真实标签之间的交叉熵损失，通过反向传播算法进行优化。

具体的，对于本实施例中的U型网络模型，输入数据是未加工的视网膜图像，并且输出是对应的血管分割概率图。学习率初始设置为10-4，衰减策略采用poly，动量为0.9，学习率呈指数型衰减。

在测试阶段时：在评估眼底图像中血管分割的结果时，本实施例采用Dice系数来评价分割结果与真实标签之间的整体相似度：

其中X是真实的标签，Y是眼底血管分割预测图，在本实施例的实验中眼底图像血管的Dice系数计算方式如上述公式。

为了进一步地说明本实施例的技术方案，以下通过具体实施例说明本实施例的技术方案：

具体的，用于眼底图像血管分割的U型网络如图6所示，该U型网络中包括特征编码器60(EfficientNet-B5)，特征解码器包括卷积模块62；上采样模块64分别编号为64-1、64-2、64-3、64-4、64-5；输出模块66，具体的，构建基于深度学习框架Pytorch的模型结构。通过在Pytorch中使用连接层直接实现上述网络模型，该网络模型的具体运行步骤包括：

步骤1：特征编码过程：将原图输入U型网络，数据首先流过编码器EfficientNet-B5(图1中虚线框为EfficientNet-B5)，通过卷积+BatchNorm(BN)+Relu的组合操作，经过五次stride＝2的卷积操作后最终的特征图下降为原图的32倍，记为F1。

步骤2：步骤1输出的F1经过卷积模块62中1×1的卷积操作减少特征图个数，然后依次流过5个上采样模块64(DEConv)，上采样模块的输入与EfficientNet-B5对应同样尺寸的特征图进行拼接。将最后一个上采样模块的输出特征图记为F2。

步骤3：将F2输入输出模块66，进行1×1卷积操作和Sigmoid操作，得到预测概率图。

步骤4：计算预测概率图与真实标签之间的交叉熵损失，并通过反向传播算法进行优化。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种用于眼底图像血管分割的U型网络，其特征在于，包括：

特征编码器以及特征解码器，其中：

所述特征编码器与所述特征解码器连接，所述特征编码器包括M个串联的下采样模块，用于提取眼底图像的图像特征；

所述特征解码器包括N个串联的上采样模块，所述N个上采样模块分别与N个所述下采样模块连接，用于输出所述眼底图像的分割结果；

其中，M，N均为大于1的正整数，M大于等于N。

2.根据权利要求1所述的U型网络，其特征在于，所述下采样模块输出的特征图尺寸与所述下采样模块连接的上采样模块的输入的特征图尺寸相同。

3.根据权利要求1或2所述的U型网络，其特征在于，所述上采样模块包括卷积单元、批量标准化激活单元以及拼接单元，其中：

所述拼接单元与所述卷积单元连接；

所述卷积单元，分别与所述拼接单元以及所述批量标准化激活单元连接，用于对所述拼接单元的输出结果进行卷积，以及将卷积单元的卷积结果输入至所述批量标准化激活单元。

4.根据权利要求3所述的U型网络，其特征在于，所述U型网络还包括卷积模块，其中：

所述卷积模块，分别与所述特征编码器以及所述特征解码器连接。

5.根据权利要求4所述的U型网络，其特征在于，还包括：

所述特征解码器中第1个上采样模块包括第一拼接单元，所述第一拼接单元，用于对所述卷积模块输出的特征图，以及所述第1个上采样模块对应的下采样模块输出的特征图进行拼接；

所述特征解码器中第2至N个上采样模块包括第二拼接单元，所述第二拼接单元，用于对自身所在的上采样模块对应的下采样模块输出的特征图，以及相邻上采样模块输出的特征图进行拼接。

6.根据权利要求1所述的U型网络，其特征在于，N取值为5。

7.根据权利要求1所述的U型网络，其特征在于，所述特征解码器还包括输出模块，所述输出模块用于对第N个上采样模块的输出值进行卷积操作和激活sigmod操作。

8.根据权利要求1所述的U型网络，其特征在于，在训练所述U型网络之前，对训练数据集进行预设处理，所述预设处理包括旋转、水平翻转和垂直翻转。

9.根据权利要求8所述的U型网络，其特征在于，在训练所述U型网络的过程中，计算所述U型网络输出的概率图与所述训练数据集的真实标签之间的交叉熵损失，通过反向传播算法进行优化。

Images