CN109727259A

CN109727259A - 一种基于残差u-net网络的视网膜图像分割算法

Info

Publication number: CN109727259A
Application number: CN201910012253.3A
Authority: CN
Inventors: 高俊山; 魏传雪; 邓立为
Original assignee: Harbin University of Science and Technology
Current assignee: Harbin University of Science and Technology
Priority date: 2019-01-07
Filing date: 2019-01-07
Publication date: 2019-05-07

Abstract

本发明公开了一种基于残差U‑NET网络的视网膜图像分割算法，包括以下步骤：A、下载彩色眼底视网膜图像，并对下载的图像进行样本扩充；B、对原始图像进行预处理；C、通过在U‑NET网络上添加残差结构得到改进的残差U‑NET网络；D、将处理后的视网膜图像作为输入，对训练样本进行预训练，得到残差U‑NET网络模型的初始参数；E、采用训练好的残差U‑NET神经网络模型对测试样本进行分割，得到最终的视网膜血管图像分割图；本发明采用残差U‑NET网络模型对糖尿病视网膜图像进行分割，处理效果较好，可以广泛的应用在糖尿病视网膜诊断领域，为糖尿病视网膜图像的病理诊断提供了强大的理论和技术支持。

Description

一种基于残差U-NET网络的视网膜图像分割算法

技术领域

本发明涉及视网膜图像处理技术领域，具体为一种基于残差U-NET网络的糖尿病视网膜图像分割算法。

背景技术

在临床上，通过检眼镜拍摄的彩色眼底图像往往被作为相关疾病筛查、诊断和分析的依据，因此对眼底图像进行血管分割成了疾病定量分析的一个先决条件。对于眼底图像血管分割，人工手动分割的方法十分依赖操作者的经验与技术，而且往往还存在主观性强、重复性低、劳动强度大、效率低下等缺点，因此眼底血管的自动分割技术在临床应用中有着极其重要的意义。尤其随着眼科疾病计算机辅助诊断***的发展，眼底血管的自动分割技术已是大家公认的一个十分关键且极具挑战的步骤。在不同的区域，眼底血管的大小、形状和对比度变化巨大。像眼底血管的宽度可以为1个像素到20个像素不等，主要是由于其解剖宽度的不同和图像分辨率的不同。此外由于血管交叉、分支和中心线反射的存在，用人工设计的特征准确地分割血管也是困难重重。病理图片中的组织损伤、渗出液等也使血管的自动分割变得复杂。因此，有必要设计一种基于残差U-NET网络的糖尿病视网膜图像分割算法。

发明内容

本发明的目的在于提供一种基于残差U-NET网络的糖尿病视网膜图像分割算法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种基于残差U-NET网络的视网膜图像分割方法，包括以下步骤：

A、下载彩色眼底视网膜图像，并对下载的图像进行样本扩充；

B、对原始的糖尿病视网膜图像进行预处理；

C、通过在U-NET网络上添加残差结构得到改进的残差U-NET网络；

D、将处理后的视网膜图像作为输入，对训练样本进行预训练，得到残差U-NET网络模型的初始参数；

E、采用训练好的残差U-NET神经网络模型对测试样本进行分割，得到最终的视网膜血管图像分割图。

优选的，所述步骤A中对图像进行样本扩充具体为：通过图像变换的方法对样本进行扩充，包括对视网膜图像进行平移、翻转、旋转。

优选的，所述步骤B中预处理方法主要有图像灰度化、图像增强、图像去噪、图像二值化四个方面：

a、图像灰度化是将彩色图像转换为灰度图像的过程，采用灰度化的操作，可以有效的减少计算的复杂度，有助于对图像后续的处理；

b、图像增强可以通过一些图像变换的手段，改善图像的视觉效果，剔除图像中的一些无用信息，将图像中一些不清楚的地方变的更加清晰；

c、图像领域比较常用的去噪方法是图像平滑去噪方法；

d、图像二值化通常可以分为全局阈值法和局部阈值法。全局阈值法适用于目标物体和背景都相对清晰的图像，计算相对简单。局部阈值法针对噪声较为严重，图像质量较差的图像，但其计算相对复杂，速度相对缓慢。

优选的，所述步骤C中所改进的网络分为收缩网络以及扩张网络两部分：

a、收缩网络的每一层主要由两个3*3的卷积层，一个1*1的卷积层以及一个步数为2的2*2的池化层组成，在进行完每一个卷积操作之后，通过Relu函数进行激活，最后进行池化操作。每一次下采样采集的特征数量为上一次的一倍；

b、扩张网络的每一层与收缩网络层次相对应，每一层扩张网络由两个3*3的卷积层，一个1*1的卷积层以及一个步数为2的2*2的池化层组成，在进行每一层进行卷积之前，需要将获得的输入矩阵与其所对应的收缩层的输出矩阵进行合并，进行卷积操作，通过Relu函数进行激活，在每一个扩张层的最后，增加一个2*2的上采样操作来对图像进行放大，每一次上采样采集的特征为上一次的一半。

优选的，所述步骤D中采用残差U-NET网络对2000组糖尿病视网膜图像样本进行训练。

优选的，所述步骤E中将1500组测试样本放入训练好的残差U-NET网络中进行测试准确率达到80%以上。

与现有技术相比，本发明的有益效果是：

传统分割模型U-NET网络结构较为简单，本发明提出了一种新的视网膜图像分割算法，叫做基于残差U-NET网络的视网膜图像分割算法。与传统的分割网络相比，残差U-NET网络通过引入残差结构对原有的网络结构进行加深，可以有效的提高视网膜图像分割的准确性。

附图说明

图1为本发明流程图。

图2为本发明残差U-NET网络模型搭建图。

图3为本发明训练迭代次数与损失函数关系图。

图4为本发明残差U-NET网络的Dice系数比较图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明提供一种技术方案：一种基于残差U-NET网络的视网膜图像分割方法,包括以下步骤：

B、对原始的糖尿病视网膜图像进行预处理；

E、采用训练好的残差U-NET神经网络模型对测试样本进行分割，得到最终视网膜血管分割后的图像。

本发明中，步骤A中对图像进行样本扩充具体为：通过图像变换的方法对样本进行扩充，包括对视网膜图像进行平移、翻转、旋转。

本发明采用的实验图像数据来自DRIVE、STARE中提供的数据，每一张图像都是由数个权威医师共同手工标注的，数据集可信度高，所分割图像清晰，可以用于后续的实验。

本发明中，步骤B中预处理方法主要有图像灰度化、图像增强、图像去噪、图像二值化四个方面：

a、图像灰度化是指将彩色图像转换为灰度图像的过程，由于彩色图中每一个像素点的色彩均是由R、G、B三个分量组成，而每一个分量的取值可以为0~255，因此，每一个像素点占用了大量的空间，而灰度图像中每一个像素点的色彩是由一个颜色组成，即R、G、B三个分量相同的一种特殊的彩色图。将彩色图像转换为灰度图像，不仅会使得图像的计算量大大减少，而且对于图像特征的描述与彩色图像并没有什么区别，仍然可以表现图像的具体信息。采用灰度化的操作，可以有效的减少计算的复杂度，有助于对图像后续的处理；

b、图像增强是通过对图像中有用信息进行增强的预处理方法，在获取图像的过程中，由于各种各样的客观条件，很容易对图像的效果产生一定的影响。图像增强可以通过一些图像变换的手段，改善图像的视觉效果，剔除图像中的一些无用信息，将图像中一些不清楚的地方变的更加清晰。目前，通过医疗器械来获取医疗图像的过程中，很容易收到外界条件的干扰，使得图像的清晰度不高，这样的图像很可能会影响医生对于患者的诊断，采用图像增强的方式对所获得的图像进行预处理，有助于帮助医生更好的对患者病情的判断，提高工作效率；

c、图像噪声的产生是不可预测的，噪声的产生来自于两个方面，一是图像获取的过程产生噪声干扰，二是图像信号传输过程中产生噪声干扰。噪声的种类也分为很多，如电子噪声，机械噪声等。噪声的存在对于图像质量有着巨大的影响，因此，对于图像来说，去噪必不可少，图像的去噪操作可以减少削弱图像中的噪声影响，对于图像质量进行改善，目前，针对于不同图像的特点，产生了各种各样的去噪方法，目前比较常用的是图像平滑去噪方法。该方法是目前图像领域比较常用的去噪方法，可以有效的减少图像获取过程中所产生的噪声影响；

d、图像二值化是为了突出图像中目标物体的方法。图像一般由三部分组成目标物体，背景以及噪声，二值化的方法通常将图像分为黑和白两种颜色，将目标物体分离出来，当图像中只含有目标物体和背景两部分时，将目标物体像素设置为255，背景像素设置为0，可以实现图像二值化的操作。图像二值化通常设定一个阈值，对于高于所设定的阈值时，设置为1，否则设置为0。实现图像二值化通常可以分为全局阈值法和局部阈值法。全局阈值法适用于目标物体和背景都相对清晰的图像，计算相对简单。局部阈值法针对噪声较为严重，图像质量较差的图像，但其计算相对复杂，速度相对缓慢。

本发明中，步骤C中所改进的网络分为收缩网络以及扩张网络两部分：

b、扩张网络的每一层与收缩网络层次相对应，每一层扩张网络由两个3*3的卷积层，一个1*1的卷积层以及一个步数为2的2*2的池化层组成，在进行每一层进行卷积之前，需要将获得的输入矩阵与其所对应的收缩层的输出矩阵进行合并，进行卷积操作，通过Relu函数进行激活，在每一个扩张层的最后，增加一个2*2的上采样操作来对图像进行放大，每一次上采样采集的特征为上一次的一半；

c、加入1*1的卷积网络确定该特征图所对应的结果，通过sigmod分类器进行分类，模型搭建如图2所示。

本发明中，步骤D中采用残差U-NET网络对2000组糖尿病视网膜图像样本进行训练。训练迭代次数与损失函数关系如图3所示。

本发明中，步骤E中将1500组测试样本放入训练好的残差U-NET网络中进行测试准确率达到80%以上。残差U-NET网络的Dice系数比较如图4所示。

综上所述，本发明采用的基于残差U-NET网络的视网膜图像分割算法，残差U-NET网络在U-NET网络的基础上引入了残差结构，在原有网络的基础上进行加深，残差结构的引入不仅加深网络深度，而且可以增加对于图像局部特征的分析，可以更好的完成视网膜图像分割任务。残差U-NET网络通过编码器和残差结构的组合对于视网膜图像进行血管的分割，采用编码器的方式可以很好的保留池化过程中丢失的边缘信息，而残差结构则可整个网络的稳定性。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims

1.一种基于残差U-NET网络的视网膜图像分割算法，其特征在于：包括以下步骤：

B、对原始的糖尿病视网膜图像进行预处理；

E、采用训练好的残差U-NET神经网络模型对测试样本进行分割，得到视网膜血管分割后的图像。

2.根据权利要求1所述的一种基于残差U-NET网络的视网膜图像分割算法，其特征在于：所述步骤A中对图像进行样本扩充具体为：通过图像变换的方法对样本进行扩充，包括对视网膜图像进行平移、翻转、旋转。

3.根据权利要求1所述的对原始的糖尿病视网膜图像进行预处理，其特征在于：所述步骤B中预处理方法主要有图像灰度化、图像增强、图像去噪、图像二值化四个方面：

c、图像领域比较常用的去噪方法是图像平滑去噪方法；

d、图像二值化通常可以分为全局阈值法和局部阈值法，

全局阈值法适用于目标物体和背景都相对清晰的图像，计算相对简单，局部阈值法针对噪声较为严重，图像质量较差的图像，但其计算相对复杂，速度相对缓慢。

4.根据权利要求1所述的一种基于残差U-NET网络的视网膜图像分割算法，其特征在于：所述步骤C中所改进的网络分为收缩网络以及扩张网络两部分，

收缩网络的每一层主要由两个3*3的卷积层，一个1*1的卷积层以及一个步数为2的2*2的池化层组成，在进行完每一个卷积操作之后，通过Relu函数进行激活，最后进行池化操作，

每一次下采样采集的特征数量为上一次的一倍，扩张网络的每一层与收缩网络层次相对应，每一层扩张网络由两个3*3的卷积层，一个1*1的卷积层以及一个步数为2的2*2的池化层组成，在进行每一层进行卷积之前，需要将获得的输入矩阵与其所对应的收缩层的输出矩阵进行合并，进行卷积操作，通过Relu函数进行激活，在每一个扩张层的最后，增加一个2*2的上采样操作来对图像进行放大，每一次上采样采集的特征为上一次的一半，最后，加入1*1的卷积网络确定该特征图所对应的结果，通过sigmod分类器进行分类。

5.根据权利要求1所述的将处理后的视网膜图像作为输入，对训练样本进行预训练，得到残差U-NET网络模型的初始参数，其特征在于：所述步骤D中采用残差U-NET网络对2000组糖尿病视网膜图像样本进行训练。

6.根据权利要求1所述的采用训练好的残差U-NET神经网络模型对测试样本进行分割，得到最终的视网膜血管图像分割图，其特征在于：所述步骤E中将1500组测试样本放入训练好的残差U-NET网络中进行测试准确率达到80%以上。