CN108986124A - 结合多尺度特征卷积神经网络视网膜血管图像分割方法 - Google Patents

Abstract

本发明属于图像处理技术领域，为实现视网膜血管的自动提取与分割，提高对血管阴影与组织形变等因素的抗干扰能力，使血管分割结果的平均准确率更高。本发明，结合多尺度特征卷积神经网络视网膜血管图像分割方法。首先，对视网膜图像进行适当地预处理，包括进行限制性对比度自适应直方图均衡处理和伽马亮度调整；同时，针对视网膜图像数据较少的问题进行数据扩增，对实验图像进行裁剪分块，其次，通过构建结合多尺度特征的视网膜血管分割网络，将空间金字塔空洞池化引入编码—解码器结构卷积神经网络，通过多次迭代，自主进行模型参数的优化，实现像素级视网膜血管自动分割过程，得到视网膜血管分割图。本发明主要应用于医疗器械的设计制造场合。

Description

结合多尺度特征卷积神经网络视网膜血管图像分割方法

技术领域

本发明属于人工智能领域与医学图像处理领域相结合，涉及一种基于结合多尺度特征的卷积神经网络的视网膜血管分割方法，能够实现自动地提取和分割血管树图像。

背景技术

在众多眼底疾病中，白内障、青光眼、老年黄斑变性及糖尿病视网膜病变是四大致盲诱因，发病率高且危害严重。由于眼底是人体唯一能够直接观察到血管的部位，因此对眼底图像的分析和处理成为预防和诊断眼底疾病的主要方式。其中，眼底图像血管分割是重要的疾病定量分析手段，许多研究针对眼底图像的血管分割展开。然而目前视网膜血管的分割主要依靠专家进行手工标记，诊断过程耗费大量时间，因此研究一种自动化提取血管的方法尤为重要。

目前，眼底图像的血管分割方法主要分为无监督与监督的方法。无监督的方法利用图像特征之间的关系设计某种规则来提取目标血管，主要包括匹配滤波法、形态学分析、血管追踪、均值聚类算法等。有监督的方法通过提取特征，引入监督信息构造像素分类器，能够获得更好的分割效果。特征提取通常包括Gabor滤波、高斯匹配滤波等方法。像素分类方法一般包括朴素贝叶斯、SVM、随机森林等分类器。然而，传统的监督方法需要手工设计相关特征，在参数优化上需要耗费大量精力和时间，同时此方式受设计者主观经验影响较大。

近年来，深度学习尤其是卷积神经网络理论的快速发展，在工业界和学术界掀起了一股研究热潮，图像分割可以看作是一种像素分类问题，基于深度学习的像素级图像分割方法的主要思想是利用卷积神经网络自动提取图像特征，并从反馈网络学习到监督信息，再利用反卷积操作扩大图像分辨率，恢复原始图像尺寸，得到分割后的结果。

发明内容

为克服现有技术的不足，本发明旨在实现视网膜血管的自动提取与分割，提高对血管阴影与组织形变等因素的抗干扰能力，使血管分割结果的平均准确率更高。为此，本发明采用的技术方案是，结合多尺度特征卷积神经网络视网膜血管图像分割方法。首先，对视网膜图像进行适当地预处理，包括进行限制性对比度自适应直方图均衡处理和伽马亮度调整；同时，针对视网膜图像数据较少的问题进行数据扩增，对实验图像进行裁剪分块，其次，通过构建结合多尺度特征的视网膜血管分割网络，将空间金字塔空洞池化引入编码—解码器结构卷积神经网络，通过多次迭代，自主进行模型参数的优化，实现像素级视网膜血管自动分割过程，得到视网膜血管分割图。

具体细化步骤如下：

步骤1：对视网膜血管图像进行预处理

1)将彩色眼底图像转化为灰度图像；

2)图像归一化处理；

3)进行对比度受限的自适应直方图均衡化处理；

4)进行伽马调整，调整图像亮度范围；

5)将图像像素值进行归一化，由[0,255]的范围转化为[0,1]；

步骤2：图像分块和构建训练样本，原始图像的尺寸为W×H，图像块的尺寸为p×p，在原始图像中选取一个区域提取图像块，其中横坐标范围为纵坐标范围为在上述区域内随机选取n个点作为图像块的中心，再裁剪出n个尺寸为p×p的图像块作为训练样本，其中，选定的图像块中心需确保在血管图像有效区域内，同时，对视网膜血管分割的标准图也进行同样的预处理，与训练数据一一对应，选取训练图像分块的1/10作为验证集，其余的样本作为训练集；

步骤3：结合多尺度特征的卷积神经网络构建与训练过程；

首先，构造一个编码—解码器结构的U型网络，用于血管图像的特征提取和分辨率恢复，该网络包括五个部分：输入层，卷积层，池化层，上采样层和输出层，构建的网络为：

编码部分：输入层、两个卷积层、第一池化层、两个卷积层、第二池化层、解码部分：第一上采样层、两个卷积层、第二上采样层、两个卷积层、输出层，编码和解码部分构成了一个U型的分割网络；

步骤4：构建测试样本；

步骤5：测试过程，将测试图像块进行同样的预处理，再输入到已经训练好的网络进行测试，得到视网膜血管分割概率图；将分割后的图像块进行拼接，合成原图尺寸，经过二值化后输出得到视网膜血管分割图。

空间金子塔型空洞池化结构：U型网络的第二池化层后面结合一个空间金字塔型的池化结构，该结构由四个不同尺寸的卷积层进行级联：一个1×1的卷积层和三个空洞卷积层，三个空洞卷积的空洞比率rate分别是1、2、4，卷积核都采用3×3的尺寸，随着空洞率增大，卷积操作能够进一步扩大感受野，通过将不同尺寸的空洞卷积层融合，能够将局部细节信息与高级语义信息结合，从而使网络模型学习多层丰富的信息表达；接着将四个并行卷积层的输出特征层进行合并，后面添加一个1×1的卷积层进行批量归一化操作和一个3×3的卷积层，再连接上述U型网络的解码部分；通过梯度下降法对反向传播过程中的参数进行优化，当误差逐渐下降趋于稳定时，网络可以认为已经收敛，输出血管图像对应的标签概率图，得到网络的最优权重和偏移量，保存为该数据库的训练模型。

输入图像为I(x,y)，归一化处理过程如下所示：

式中I(x,y)表示(x,y)中的像素值，μ(x,y)表示图像区域像素的均值，σ(x,y)表示图像区域的标准差，Ω表示计算均值和方差的图像区域，i,j区域内坐标点移动的步长，表示归一化后的像素值，m×n代表图像区域像素总数；经过归一化处理，原始图像转化为均值为0，方差为1的图像，表示将归一化图像进行灰度拉伸后的像素值。

构建测试样本时，为了能够完全将图像分成若干相同尺寸的图像块，在图像周围进行零填充，测试图像的尺寸为W×H，图像块尺寸为p×p，其中图像分块的移动步长s×s，具体填充规则如下：

mod＝(H-p)％s，mod＝(W-p)％s (6)

式中和分别表示填充后的高度和宽度，上述分块得到的图像块的数量m表示为：

本发明的特点及有益效果是：

本发明通过构建基于深度学习的U型网络，能够将底层的局部细节信息与顶层全局特征相结合，学习视网膜图像中各个像素与周围像素的关系，利用血管与非血管的内部特征，实现像素级的血管分割。

本发明结合了空间金字塔型池化结构，扩大了感受野，将多尺度图像特征进行融合，同时空洞卷积大大减少训练参数，极大程度地提高了血管分割的鲁棒性和准确性。

相比基于边缘的分割法、支持向量机、极限学***。

附图说明：

图1为本发明的整体流程图；

图2是训练图像分块的样本效果图：(a)是原始图像的分块图；(b)是对应的专家分割标准图；

图3是结合多尺度特征的卷积神经网络的网络结构；

图4为视网膜血管分割结果：(a)原始图像；(b)预处理后的图像；(c)视网膜血管分割图；(d)第一专家的手动分割图；

图5为分割效果的评估：(a)本发明方法与第二专家分割标准图对比评估指标；(b)ROC曲线示意图。

具体实施方式

本发明提出了一种基于结合多尺度特征的卷积神经网络的视网膜血管分割方法。首先，对视网膜图像进行适当地预处理，包括进行限制性对比度自适应直方图均衡处理和伽马亮度调整。同时，我们针对视网膜图像数据较少的问题进行了数据扩增，对实验图像进行裁剪分块，扩大了本发明的广泛适用性。其次，本发明通过构建结合多尺度特征的视网膜血管分割网络，将空间金字塔空洞池化引入编码—解码器结构卷积神经网络，通过多次迭代自主进行模型参数的优化，实现像素级视网膜血管自动分割过程，得到视网膜血管分割图。一方面编码与解码过程将底层的局部细节信息与顶层全局特征相结合；另一方面引入的空间金字塔空洞卷积池化模块能够扩大感受野，将多尺度图像特征进行融合，同时空洞卷积大大减少训练参数，极大程度地提高了血管分割的鲁棒性和准确性。

具体细化步骤如下：

步骤1：对视网膜血管图像进行预处理。

1)将彩色眼底图像转化为灰度图像。

2)图像归一化处理。为了产生相似数量级像素值的图像，需要对原始图像进行归一化处理。

3)进行对比度受限的自适应直方图均衡化处理。处理后能够提高视网膜眼底图像质量，均衡眼底图像的亮度，使其更适合后续血管提取。

4)进行伽马调整，将图像亮度调整到合适的范围。

5)将图像像素值进行归一化，由[0,255]的范围转化为[0,1]。

步骤2：图像分块和构建训练样本。由于训练样本数量较少，我们需要对图像数据进行数据扩增。假设原始图像的尺寸为W×H，图像块的尺寸为p×p，在原始图像中选取一个区域提取图像块，其中横坐标范围为纵坐标范围为在上述区域内随机选取n个点作为图像块的中心，再裁剪出n个尺寸为p×p的图像块作为训练样本。其中，选定的图像块中心需确保在血管图像有效区域内。同时，我们对视网膜血管分割的标准图也进行了同样的预处理，与训练数据一一对应。我们选取训练图像分块的1/10作为验证集，其余的样本作为训练集。

步骤3：结合多尺度特征的卷积神经网络构建与训练过程。

首先，构造一个编码—解码器结构的U型网络，用于血管图像的特征提取和分辨率恢复。该网络主要包括五个部分：输入层，卷积层，池化层，上采样层(反卷积层)和输出层。本发明中构建的网络为：

编码部分：输入层，两个卷积层(conv1，conv2),第一池化层(pool1),两个卷积层(conv3,conv4),第二池化层(pool2)。解码部分：第一上采样层(up1),两个卷积层(conv7,conv8)，第二上采样层(up2)，两个卷积层(conv9,conv10),输出层。编码和解码部分构成了一个U型的分割网络。

空间金子塔型空洞池化结构：因为血管图像包含不同尺寸的粗细血管树，为了更好地结合多尺度图像特征，本发明在U型网络的第二池化层(pool2)后面结合了一个空间金字塔型的池化结构。该结构主要由四个不同尺寸的卷积层进行级联：一个1×1的卷积层(conv-s1)和三个空洞卷积层(conv-s2,conv-s3,conv-s4)，三个空洞卷积的空洞比率分别是(rate＝1,2,4)，卷积核都采用3×3的尺寸。随着空洞率增大，卷积操作能够进一步扩大感受野。通过将不同尺寸的空洞卷积层融合，能够将局部细节信息与高级语义信息结合，从而使网络模型学习多层丰富的信息表达。同时，相比普通的卷积操作，空洞卷积又不额外增加参数，大大缩短了训练时间。接着我们将四个并行卷积层的输出特征层进行合并，后面添加一个1×1的卷积层(conv5)进行批量归一化操作和一个3×3的卷积层(conv6)，再连接上述U型网络的解码部分。本模型通过梯度下降法对反向传播过程中参数进行优化，当误差逐渐下降趋于稳定时，网络可以认为已经收敛，输出血管图像对应的标签概率图，得到网络的最优权重和偏移量，保存为该数据库的训练模型。

步骤4：构建测试样本。为了能够完全将图像分成若干相同尺寸的图像块，我们在图像周围进行零填充。

步骤5：测试过程。将测试图像块进行同样的预处理，再输入到已经训练好得网络进行测试，得到视网膜血管分割概率图。将分割后的图像块进行拼接，合成原图尺寸，经过二值化后输出得到视网膜血管分割图，呈现出与专家分割一致的二值图。通过对分割结果进行参数评估，本发明达到95％以上的准确率。

下面结合附图进行具体说明：

本发明的技术框图如图1所示。具体细化步骤如下：

步骤1：对视网膜血管图像进行预处理。

1)将彩色眼底图像转化为灰度图像。

2)图像归一化处理。为了产生相似数量级像素值的图像，需要对原始图像进行归一化处理。假设输入图像为I(x,y)，处理过程如下所示：

式中I(x,y)表示(x,y)中的像素值，μ(x,y)表示图像区域像素的均值，σ(x,y)表示图像区域的标准差，Ω表示计算均值和方差的图像区域，i,j区域内坐标点移动的步长，表示归一化后的像素值，m×n代表图像区域像素总数。经过归一化处理，原始图像转化为均值为0，方差为1的图像。表示将归一化图像进行灰度拉伸后的像素值。

3)进行对比度受限的自适应直方图均衡化处理。处理后能够提高视网膜眼底图像质量，均衡眼底图像的亮度，使其更适合后续血管提取。

4)进行伽马调整，将图像亮度调整到合适的范围。

5)将图像像素值进行归一化，由[0,255]的范围转化为[0,1]。

步骤2：图像分块和构建训练样本。由于训练样本数量较少，我们需要对图像数据进行数据扩增。假设原始图像的尺寸为W×H，图像块的尺寸为p×p，在原始图像中选取一个区域提取图像块，其中横坐标范围为纵坐标范围为在上述区域内随机选取n个点作为图像块的中心，再裁剪出n个尺寸为p×p的图像块作为训练样本。其中，选定的图像块中心需确保在血管图像有效区域内。本发明中采用的图像块尺寸为32×32。同时，我们对视网膜血管分割的标准图也进行了同样的预处理，与训练数据一一对应。我们选取训练图像分块的1/10作为验证集，其余的样本作为训练集。本发明中图像分块的训练样本和对应的分割标准图样本如图2所示。

步骤3：结合多尺度特征的卷积神经网络构建与训练测试过程。

首先，构造一个编码—解码器结构的U型网络，用于血管图像的特征提取和分辨率恢复。该网络主要包括五个部分：输入层，卷积层，池化层，上采样层(反卷积层)和输出层。本发明中构建的网络为：

编码部分：输入层，两个卷积层(conv1，conv2),第一池化层(pool1),两个卷积层(conv3,conv4),第二池化层(pool2)。解码部分：第一上采样层(up1),两个卷积层(conv7,conv8)，第二上采样层(up2)，两个卷积层(conv9,conv10),输出层。编码和解码部分构成了一个U型的分割网络。

其中编码部分卷积实现的过程如下：

f(X；W,b)＝W*X+b (5)

式子中f(X；W,b)代表为输出的特征图，X是前一层输入的特征图，W和b代表卷积核和偏移量，其中*代表卷积操作。由于编码过程的卷积和池化操作会使特征图变小，为了恢复原图的尺寸，需要使用上采样或反卷积操作扩大分辨率。

本发明中编码部分卷积层采用补零方式得到大小不变的特征图，卷积核都采用3×3的尺寸，步长为1，卷积层后面接一个ReLU的激活函数。池化层采用的池化核尺寸为2×2，步长为2的最大池化层(max-pooling)，池化操作一方面有减少参数、降维度的作用，另一方面减少卷积过程参数误差，更多的保留纹理信息，具有旋转不变性。每次池化操作会将特征层的数目翻倍，上采样过程会将特征层数目减半。上采样层进行转置卷积，卷积核采用3×3的尺寸，步长为2，同样采用补零的方式。在最后一层采用1×1的卷积核32个特征图输出为目标映射进行训练。模型采用softmax分类层，损失函数为交叉熵函数，能够通过不间断地对权重参数进行更新和优化。为了防止过拟合，本发明通过数据增强和在每个卷积层后添加随机失活层(dropout)的方式进行优化。

空间金子塔型空洞池化结构：因为血管图像包含不同尺寸的粗细血管树，为了更好地结合多尺度图像特征，本发明在U型网络的第二池化层(pool2)后面结合了一个空间金字塔型的池化结构。该结构主要由四个不同尺寸的卷积层进行级联：一个1×1的卷积层(conv-s1)和三个空洞卷积层(conv-s2,conv-s3,conv-s4)，三个空洞卷积的空洞比率分别是(rate＝1,2,4)，卷积核都采用3×3的尺寸。随着空洞率增大，卷积操作能够进一步扩大感受野。通过将不同尺寸的空洞卷积层融合，能够将局部细节信息与高级语义信息结合，从而使网络模型学习多层丰富的信息表达。同时，相比普通的卷积操作，空洞卷积又不额外增加参数，大大缩短了训练时间。接着我们将四个并行卷积层的输出特征层进行合并，后面添加一个1×1的卷积层(conv5)进行批量归一化操作和一个3×3的卷积层(conv6)，再连接上述U型网络的解码部分。其中，四个并行卷积层的特征层数目都为128，合并后特征层数目减少为256。本模型通过梯度下降法对反向传播过程中参数进行优化，当误差逐渐下降趋于稳定时，网络可以认为已经收敛，输出血管图像对应的标签概率图，得到网络的最优权重和偏移量，保存为该数据库的训练模型。本专利提出的结合多尺寸特征的卷积神经网络模型结构如图3所示。

步骤4：对测试图像和对应标准图进行分块。假设测试图像的尺寸为W×H，图像块尺寸为p×p，其中图像分块的移动步长s×s，为了能够完全将图像分成若干相同尺寸的图像块，我们在图像周围进行零填充，填充的规则如下：

mod＝(H-p)％s，mod＝(W-p)％s (6)

式中和分别表示填充后的高度和宽度。上述分块得到的图像块的数量m可以表示为：

步骤5：将测试图像块进行同样的预处理，再输入到已经训练好得网络进行测试，得到视网膜血管分割概率图。将分割后的图像块进行拼接，合成原图尺寸，经过二值化后输出得到视网膜血管分割图，呈现出与专家分割一致的二值图。通过对分割结果进行参数评估，本专利得到95％以上的准确率，具体分割结果如图4所示。本专利提出的结合多尺度特征的卷积神经网络的网络具有良好的分割效果，在灵敏度、特异性、准确性等指标上优于现有的先进算法。具体的指标评估如图5所示。

尽管上面结合图示对本发明进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨的情况下，还可以作出很多变形，这些均属于本发明的保护之内。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种结合多尺度特征卷积神经网络视网膜血管图像分割方法，其特征是，首先，对视网膜图像进行适当地预处理，包括进行限制性对比度自适应直方图均衡处理和伽马亮度调整；同时，针对视网膜图像数据较少的问题进行数据扩增，对实验图像进行裁剪分块，其次，通过构建结合多尺度特征的视网膜血管分割网络，将空间金字塔空洞池化引入编码—解码器结构卷积神经网络，通过多次迭代，自主进行模型参数的优化，实现像素级视网膜血管自动分割过程，得到视网膜血管分割图。

2.如权利要求1所述的结合多尺度特征卷积神经网络视网膜血管图像分割方法，其特征是，具体细化步骤如下：

步骤1：对视网膜血管图像进行预处理

1)将彩色眼底图像转化为灰度图像；

2)图像归一化处理；

3)进行对比度受限的自适应直方图均衡化处理；

4)进行伽马调整，调整图像亮度范围；

5)将图像像素值进行归一化，由[0,255]的范围转化为[0,1]；

步骤2：图像分块和构建训练样本，原始图像的尺寸为W×H，图像块的尺寸为p×p，在原始图像中选取一个区域提取图像块，其中横坐标范围为纵坐标范围为在上述区域内随机选取n个点作为图像块的中心，再裁剪出n个尺寸为p×p的图像块作为训练样本，其中，选定的图像块中心需确保在血管图像有效区域内，同时，对视网膜血管分割的标准图也进行同样的预处理，与训练数据一一对应，选取训练图像分块的1/10作为验证集，其余的样本作为训练集；

步骤3：结合多尺度特征的卷积神经网络构建与训练过程；

首先，构造一个编码—解码器结构的U型网络，用于血管图像的特征提取和分辨率恢复，该网络包括五个部分：输入层，卷积层，池化层，上采样层和输出层，构建的网络为：

编码部分：输入层、两个卷积层、第一池化层、两个卷积层、第二池化层、解码部分：第一上采样层、两个卷积层、第二上采样层、两个卷积层、输出层，编码和解码部分构成了一个U型的分割网络；

步骤4：构建测试样本；

步骤5：测试过程，将测试图像块进行同样的预处理，再输入到已经训练好的网络进行测试，得到视网膜血管分割概率图；将分割后的图像块进行拼接，合成原图尺寸，经过二值化后输出得到视网膜血管分割图。

3.如权利要求2所述的结合多尺度特征卷积神经网络视网膜血管图像分割方法，其特征是，空间金子塔型空洞池化结构：U型网络的第二池化层后面结合一个空间金字塔型的池化结构，该结构由四个不同尺寸的卷积层进行级联：一个1×1的卷积层和三个空洞卷积层，三个空洞卷积的空洞比率rate分别是1、2、4，卷积核都采用3×3的尺寸，随着空洞率增大，卷积操作能够进一步扩大感受野，通过将不同尺寸的空洞卷积层融合，能够将局部细节信息与高级语义信息结合，从而使网络模型学习多层丰富的信息表达；接着将四个并行卷积层的输出特征层进行合并，后面添加一个1×1的卷积层进行批量归一化操作和一个3×3的卷积层，再连接上述U型网络的解码部分；通过梯度下降法对反向传播过程中的参数进行优化，当误差逐渐下降趋于稳定时，网络可以认为已经收敛，输出血管图像对应的标签概率图，得到网络的最优权重和偏移量，保存为该数据库的训练模型。

4.如权利要求2所述的结合多尺度特征卷积神经网络视网膜血管图像分割方法，其特征是，输入图像为I(x,y)，归一化处理过程如下所示：

式中I(x,y)表示(x,y)中的像素值，μ(x,y)表示图像区域像素的均值，σ(x,y)表示图像区域的标准差，Ω表示计算均值和方差的图像区域，i,j区域内坐标点移动的步长，表示归一化后的像素值，m×n代表图像区域像素总数；经过归一化处理，原始图像转化为均值为0，方差为1的图像，表示将归一化图像进行灰度拉伸后的像素值。

5.如权利要求2所述的结合多尺度特征卷积神经网络视网膜血管图像分割方法，其特征是，构建测试样本时，为了能够完全将图像分成若干相同尺寸的图像块，在图像周围进行零填充，测试图像的尺寸为W×H，图像块尺寸为p×p，其中图像分块的移动步长s×s，具体填充规则如下：

mod＝(H-p)％s，mod＝(W-p)％s (6)

式中和分别表示填充后的高度和宽度，上述分块得到的图像块的数量m表示为：