CN107657612A

CN107657612A - 适用于智能便携设备的全自动视网膜血管分析方法及***

Info

Publication number: CN107657612A
Application number: CN201710970423.XA
Authority: CN
Inventors: 许夏瑜; 徐峰; 丁文祥
Original assignee: Xian Jiaotong University
Current assignee: Xian Jiaotong University
Priority date: 2017-10-16
Filing date: 2017-10-16
Publication date: 2018-02-02

Abstract

本发明提供一种适用于智能便携设备的全自动视网膜血管分析方法及***，本发明通过增加预处理步骤改进显著性特征方法，所述预处理包括对眼底图像进行均一化处理和去除血管中心光反射处理，实现了视网膜血管的快速分割，方法具有稳定性好、运算简单、速度快的优点。本发明实现了多种视网膜血管的精确分析，并通过优化算法复杂度和运算速度，实现了与智能便携设备的结合，使计算机辅助诊断在视网膜影像分析中可以提供适用性强、计算稳定、精确度高的***血管分析。

Description

适用于智能便携设备的全自动视网膜血管分析方法及***

技术领域

本发明属于计算机辅助诊断领域，具体涉及适用于智能便携设备的全自动视网膜血管分析方法及***。

背景技术

全球有超过4亿的糖尿病患者，对糖尿病患者、甚至糖尿病高危人群进行有组织、定期、大规模的眼底图像筛查是目前欧美国家普遍采用的方法。《中国2型糖尿病防治指南》也指出，糖尿病患者一旦确诊，就应进行每年至少1次的眼底检查；糖尿病患者一旦出现严重视网膜病变的症状，则应每2～4个月进行1次眼底复查。目前临床中依靠医生对彩色图像逐张筛查，这一过程工作量较大，效率低下，且主观性较大，因此亟需一种自动的糖尿病视网膜病变筛查方法。

视网膜血管的改变是糖尿病视网膜病变的一个重要方面。随着计算机技术的不断完善发展，出现了许多视网膜血管定量分析的方法。然而，由于受到拍摄条件，个人差异以及病变的影响，眼底图像存在曝光不均匀、易受噪声干扰、图像之间差别较大等问题，方法的精度较低。此外，视网膜血管分析包含血管分割、测量、区分动脉和静脉等多项工作，然而现有技术仅能实现单一内容，无法实现***的分析，在应用中非常受到限制。另一方面，为了便于在偏远地区、基层医院、家庭等的使用，需要一个易于获得的平台，而已有方法大多以大型计算机或工作站为平台，对计算硬件要求高，且缺少友好的、针对用户的界面。

传统的基于图论模型的血管分割方法使用三维图论模型，对运算要求高，难以将其移植到便携设备，大大限制了其方法的使用范围。

发明内容

本发明的目的在于提供一种适用于智能便携设备的全自动视网膜血管分析方法及***，本发明实现了视网膜血管的多种精确分析，并通过优化算法复杂度和运算速度，实现了与智能便携设备的结合，使计算机辅助诊断在视网膜影像分析中可以提供适用性强、计算稳定、精确度高的***血管分析。

为达到上述目的，本发明采取的技术方案为：

一种适用于智能便携设备的全自动视网膜血管分析方法，包括以下步骤：

步骤一：基于显著性特征的视网膜血管分割，包括预处理、多尺度频域残差特征提取、形态学特征提取、方向特征提取、自信息特征提取、特征融合和阈值分割；本发明对原有基于显著性特征的血管分割方法进行了改进，通过对图像的均一化提高了血管分割的准确率。

1.1)预处理：包括图像均一化和去除血管中心光反射。图像均一化又分为图像内均一化和图像间均一化。图像内均一化中，用高通滤波器对背景进行均匀化处理，具体为使用大尺寸高斯滤波器(sigma＝3～5)去除高频信息，然后与原始图像作差。在图像内部背景均匀化之后，图像间的均一化被用来消除不同个体(例如不同种族、性别、年龄)的图像之间的差异。具体方法为，首先得到背景均匀化的原始图像的R、G、B三个通道的灰度直方图并分别计算出中值。在每个通道中利用亮度曲线变换将中值移动到可取灰度值范围的中点(优选128)上。

图像均一化处理后的图像为彩色图像C_I，彩色图像C_I经形态学灰度开操作去除中心光反射，得到彩色图像C_II；

1.2)多尺度频域残差特征提取：首先提取预处理之后的彩色图像C_II的绿色通道(G)，生成多尺度高斯金字塔，将高斯金字塔各个尺度上的图像分别作为输入进行傅里叶变换，获取相位和振幅；根据振幅在频域中得到谱残差，通过反傅里叶变换将相位和谱残差结合得到强度特征图像，获得多尺度强度特征后，将不同尺度上的强度特征进行融合得到最终的频域残差特征图像；

1.3)形态学特征提取：对彩色图像C_II的绿色通道(G)进行底帽变换提取血管，具体作法为先通过闭操作删除血管，再通过与原彩色图像C_II的绿色通道(G)做差，得到形态学特征图像；

1.4)方向特征提取：对彩色图像C_II的绿色通道(G)进行二维Gabor滤波，每间隔一定角度计算一个Gabor算子图像，分别与彩色图像C_II的绿色通道(G)做卷积得到不同方向的血管增强图，再将不同方向的血管增强图进行图像融合，得到最终的方向特征图像；

1.5)自信息特征提取：首先求出彩色图像C_II的红色通道(R)、绿色通道(G)和蓝色通道(B)的平均灰度图像，然后在R通道图像、G通道图像、B通道图像、平均灰度图像上分别做灰度直方图并计算自信息特征，R、G、B通道图像及平均灰度图像对应的自信息特征经过融合得到最终的自信息特征图像；

1.6)特征融合和阈值分割：得到四张特征增强的图像(即频域残差特征图像、形态学特征图像、方向特征图像、自信息特征图像)之后加权融合，然后采用了triangle全局自适应阈值分割方法进行血管提取。

步骤二：视网膜血管管径的精确测量，包括二维图论模型的建立、模型优化，及血管直径测量。

2.1)以血管分割结果为基础，通过二值化得到血管骨架，根据血管骨架提取血管中心线，去除中心线上的分支点和交叉点；然后以血管中心线为基础，沿血管延伸方向建立血管的二维图论数学模型；成本函数采用导向滤波器来提取血管的灰度梯度；

2.2)通过对二维图论数学模型的最大流问题的求解，在二维图论模型中得到最优分割线，便得到了血管的精确边界，沿着血管延伸方向的垂直方向计算边界间的距离，就可以得到血管直径。

步骤三：以血管分割为基础，采用卷积神经网络方法，进行血管动脉和静脉的分类，包括采集训练图像、训练模型、测试三部分。

3.1)采集训练图像：在训练阶段，手动标记了20～40张眼底图像的动脉(标记为A类)和静脉(标记为B类)。然后在眼底图像上动脉及静脉对应的血管区域(本发明以血管区域为ROI)用滑动窗口(窗口大小为7～20×7～20)遍历生成训练图像；

3.2)卷积神经网络模型训练：本发明采用AlexNet网络结构，网络深度为8～10层(优选8层)，能够显著降低计算消耗，而由于图像特征相对单一，单次训练集大小为300～500，学习步长为0.0001～0.0002，训练不小于40个训练周期；

3.3)测试：首先利用改进的显著性特征方法得到血管分割(即步骤一)。然后在ROI内以每个像素点为中心构建与训练图像相同大小的测试图像，将所有测试图像输入训练好的模型得到测试图像的标签(为A类的概率及为B类的概率)，以此标签作为依据，确定测试图像中血管的灰度信息，重建血管的动脉和静脉分类图。

一种适用于智能便携设备的全自动视网膜血管分析***，包括智能便携设备以及建立于该设备中的全自动视网膜血管分析App(Application，移动应用程序)，在App中植入血管分割和直径测量方法(步骤一和步骤二)；设置远程传输功能，在远程计算端可实现血管分割、分类(步骤三)和直径测量；为了便于用户操作，此App包含账户管理、图像载入、图像分析、结果显示、存储、传输等功能模块。

本发明相比于现有技术，具有以下有益效果：

本发明实现了可移植到智能便携设备的视网膜血管的***分析方法，对传统方法在很大程度上进行了简化，提高运算速度的同时保证运算的稳定性和精确度。本发明通过采用改进的显著性特征的方法(即增加预处理)，实现了视网膜血管的快速分割，方法具有稳定性好、运算简单、速度快的优点。

进一步的，本发明改进了图论模型的设计，将三维模型分解为两个二维模型，在保留精确度的同时大大降低了运算复杂度，并成功地将本方法移植到便携设备上。

进一步的，采用卷积神经网络方法对视网膜动脉和静脉进行分类，显著提高了分类的精确度。本发明通过对网络结构的改进，在保证精确度的同时大大降低了模型的运算复杂度，成功实现方法从工作站到可移动便携设备的转移。

附图说明

图1为本发明***的工作流程图。

图2为基于显著性分析的血管分割流程图。

图3为基于图论的血管直径测量流程图。

图4为眼底图像血管动静脉分类流程图。

图5为手机app界面示意图。

具体实施方式

下面结合附图及实施例对本发明做进一步详细说明。

如图1所示，适用于智能便携设备的全自动视网膜血管分析方法，包括以下步骤：

步骤一：对原始图像进行预处理，提取图像的多种显著性特征，进行视网膜血管分割；

步骤二：从血管分割结果中提取血管骨架，并结合原始图像信息，建立视网膜血管的图论模型，测量血管的直径；

步骤三：建立视网膜动脉和静脉的深度学习分类方法，在对原始图像进行血管分割的基础上，利用深度学习分类方法实现动脉和静脉的分类。

在第一步中，本发明提出了用于眼底图像血管分割的改进的显著性特征的方法。眼底图像的图像间由于年龄、疾病、种族等原因存在背景差异，此外由于其成像原理也会造成图像内的光照不均一。现有的血管分割方法都无法很好地解决这个问题。显著性特征的方法具有运算复杂度低、运算速度快的优点，然而受到上述图像质量的影响，现有的显著性特征方法精确度并不高。本发明在提取显著性特征前，对图像进行了均一化处理，从而显著提高了血管分割的效率。本发明血管分割方法具体包括以下步骤：预处理、特征提取、信息融合和阈值分割四个步骤。

1.1：预处理包括图像均一化和去除血管中心光反射两个部分

首先用一个高通滤波器对原始图像(图2中标记为输入图像的眼底图像)进行了背景的均匀化处理。具体为用大尺寸的高斯滤波器(sigma＝5)与原始图像做卷积，去除了高频信息，只保留低频信息，然后与原始图像作差。公式如下：

式中，(x,y)为像素点坐标，是高斯滤波器，I(x,y)是原始图像，R(x,y)是背景均匀化后的图像。在图像内部均一化处理之后，再进行图像间的归一化，目的是消除新输入的原始图像与已经分析过的原始图像之间的差异，例如，不同个体(不同人种、年龄、性别等)图像之间的差异。具体方法为，在背景均匀化的图像上得到红色、绿色、蓝色三个通道的灰度直方图，并且分别计算出中值。然后在每个通道中分别利用亮度曲线变换将对应通道下的中值移动到统一的中点(灰度值为128)上。在此变换中，灰度值小于0的点设置为0，灰度值大于255的点设置为255。

在眼底图像上，血管中央常存在一个明亮的条纹，称作中心光反射，它对血管分割有着一定的影响，应加以去除。对于经过图像内部背景均匀化及图像间的均一化处理后的眼底图像，血管与背景相比较暗，因此腐蚀的结果使得血管***，中心光反射得以消除；再通过膨胀使血管恢复到原来的宽度，使得血管恢复到原有的宽度。膨胀和腐蚀算子的半径均为3～5个(优选3个)像素。

1.2：显著性特征提取包括频域残差特征、方向特征、形态学特征和自信息特征提取四个部分(图2)

频域残差特征提取：将预处理之后的原始图像的绿色通道(G)生成多尺度高斯金字塔I_δ(x,y)，δ＝0，1，2…n，表示尺度，其中l表示图像的短边长，n表示多尺度的尺度个数，具体生成高斯金字塔的方法如下：

式中为高斯滤波器。

在高斯金字塔的各个尺度得到谱残差，具体操作如下：

R_δ(u,v)＝ln(A_δ(u,v))-ln(A_δ(u,v))*h

式中，i为虚数符号，(u,v)为频域下的像素点坐标，F_δ(u,v)为傅里叶变换结果的振幅，A_δ(u,v)为相位，h为均值滤波器，R_δ(u,v)为在δ尺度上的谱残差。

通过反傅里叶变换将相位和谱残差结合得到强度特征图像：

最终得到了一系列(对应δ)强度特征图像f_δ(x,y)。获得f_δ(x,y)后，将不同尺度的图像进行上采样到原始尺度，然后将上采样后的不同尺度的图像进行灰度平均，从而得到最终的频域残差特征图像(特征增强图像E₁)。

形态学特征提取：将预处理之后的原始图像的绿色通道(G)利用底帽变换来提取出血管(特征增强图像E₂)。具体公式如下：

式中，f为预处理之后的原始图像的绿色通道(G)，b为结构元件，和“Θ”分别指的是膨胀和腐蚀操作。

方向特征提取：由预处理之后的原始图像的绿色通道(G)生成一组方向不同的Gabor算子图像，Gabor滤波的表达式如下：

其中，(x,y)为像素点坐标，i为虚数符号，为正弦信号的频率，σ_x和σ_y分别为Gabor滤波器在x和y方向上的标准差。

从0°到160°每旋转20°生成一张Gabor算子图像，共九张，图像的大小为最大血管直径的1.3～1.5倍，本实施例取值为16×16像素。用生成的Gabor算子图像与预处理之后的原始图像的绿色通道(G)卷积，得到不同方向的血管增强图：

式中，为方向特征图像(即血管增强图)，G(x,y)为彩色图像C_II的绿色通道(G)，γ为Gabor算子图像。在得到不同方向的血管增强图之后，对图像进行融合，得到完整的视网膜血管。具体作法为，对于预处理之后的原始图像中的每个像素点(坐标为(x,y))，选择九张不同方向特征图像上该点最大的灰度值作为融合图像(特征增强图像E₃)的灰度值。

自信息特征：首先得到预处理后的原始图像的红色通道(R)、绿色通道(G)、蓝色通道(B)和平均灰度图像AVE＝(R+G+B)/3，一共四个通道的灰度直方图，并分别计算每个灰度水平出现的频率：

式中，n_k表示灰度级k出现的频数，r_k表示第k个灰度级，M和N是以像素表示的图像的长和宽。

得到灰度频率后，计算每一个灰度水平的自信息，计算方法如下：

L(r_k)＝-ln(p(r_k))

这样，出现概率较小的灰度水平会被赋予较高的灰度值；同样的，出现概率较大的灰度水平被赋予较低的灰度值。最后，将原图像中每个像素的灰度值用该灰度值所具有的自信息L(r_k)代替。由于在眼底图像中，一些小血管所在的灰度水平所包含的像素的个数较少，经过上述处理之后，一些小血管会得到一定程度的增强。用同样的方式得到红色通道(R)、绿色通道(G)、蓝色通道(B)和平均灰度图像AVE的自信息图像，分别为S_R,S_G,S_B,S_AVE，并进行加权融合，得到最终的特征增强图像E₄。

E₄＝w₁S_R+w₂S_G+w₃S_B+w₄S_AVE

式中，h₁,h₂,h₃,和h₄分别为图像S_R,S_G,S_B,S_AVE的总灰度值。

1.3：将四张特征增强的图像进行加权融合

融合方法如下(图2)：首先分别计算每张图像上所有像素点的灰度值之和，即总灰度值；然后计算每个图像的总灰度值在四张图像中所占的比例；将上一步算得的比例的负对数值作为该图的权重w，利用公式得到显著性图像。

1.4：阈值分割

当生成显著性图像之后，眼底图像上的血管得到了有效的增强，且噪声信息得到了抑制，再通过阈值分割的方法便可以将视网膜血管分割出来。本发明中采用了triangle全局自适应阈值分割方法，进行阈值分割之后，得到血管分割图(输出图像)。

第二步中，血管直径测量方法参见图3。在进行阈值分割之后，结果可能会存在两个问题：一个是血管区域的边界有一圈非血管被检测成了血管；另一个是图像上存在一些噪声没有完全去除。针对这两个问题本发明首先用掩模图像与血管图像做“与”运算除去边界(二值化)，然后对二值图像进行去噪，具体方法为去除二值图像上面积小于10像素的分割区域。得到最终的血管分割之后，采用了图论方法中的图割进行数学建模。具体做法为，首先对血管分割图提取血管中心线。在血管中心线图像上，去除了分支点和交叉点。去除这些点之后，整个血管树变成了一些血管片段，这些片段的断点只有一个相邻的像素。从一个端点出发，追踪血管到另一个端点，并对每个血管片段进行标记。

然后以血管中心线为基础建立血管的二维图论数学模型。对于每一个标记的血管片段，利用中心线像素的每侧m个相邻的像素用主成分分析法计算每个中心线像素的延伸方向。参数m的取值决定于图像的大小，大约是图像边长的0.005～0.007倍。沿延伸方向的法线方向及法线方向的反方向分别创建两个二维图论模型。具体方法为以每个中心线像素为起点，沿法线方向或法线方向的反方向建立模型节点(节点间隔为0.1～0.2个像素，节点个数为150～200个)。相邻中心线像素建立的模型节点间通过单向的边连接。

在成本函数的选择上，本发明采用导向滤波器在原始图像上提取血管的灰度梯度信息。亚像素节点的成本函数通过线性差值实现。通过对模型参数的调整，可以进一步改善血管壁的光滑程度。为了找到在不同地方不同方向的特定血管的梯度，用一个一维的高斯函数做卷积运算。高斯函数如下：

其中，σ为高斯函数的标准差，通过对图论模型的最大流问题的求解，根据求解结果可以得到血管的精确边界以及血管的延伸方向。通过沿血管延伸方向的垂直方向寻找血管边界，可以获得血管的精确直径。

第三步中，动静脉分类的流程参见图4，首先，通过手动分割的方法在20张眼底图像上建立动脉(标记为A类)和静脉(标记为B类)的分类真值。在训练阶段，利用自适应阈值分割的方法找到图像ROI区域。在区域内利用9×9的滑动窗口遍历所有点，并以每个点为中心创建9×9的训练图像，训练图像的真值从对应的手动分类图像上获取，共取得3960494例A类训练图像，577649例B类训练图像。本发明采用了谷歌的Tensorflow1.0版本以及TensorFlow透明的模块化深度学习库TFLearn。计算机核心设备为Intel酷睿i7 6700k CPU以及NVIDIA GeForce GTX 1080 GPU(8GB)。

针对解决数据量较少(仅有20张眼底图像)的问题，本发明采用了迁移学习的方法，通过迁移学习自然图像数据集ImageNet，微调学习最后分类层参数，提高分类的正确率(其他分类层都是采用自然图像数据集进行学习，最后分类层采用训练图像进行学习)。在网络选择上，选择了AlexNet网络，该网络只有8层，能够显著降低计算消耗，而由于图像特征相对单一，该网络能够保证正确率。优选的单次训练集为400，学习步长为0.0001，训练40个训练周期，训练的正确率在91％。

在测试阶段，利用自适应阈值方法找到血管分割后图像的ROI区域，以ROI区域内的点为中心，建立9×9的测试图像，输入建立好的深度学习模型，得到标签，并重建最终的测试结果，具体做法为，以此标签中A类与B类各自概率的大小关系判断血管类型，然后以灰度值重建血管的动脉和静脉分类图，例如，图中静脉的灰度值为1，动脉的灰度值为2。

全自动视网膜血管分析App在便携终端，例如安卓智能手机上的图形用户界面参见图5。此app包含以下几个模块。1)账户管理模块：***允许多个用户在同一个手机上使用，每个用户都可以通过注册(Register)获得账号和密码，分析前首先进行用户登录(Login)。2)载入眼底图像模块：可以从手机图库中载入图像(Download an image)或者通过拍照获取眼底图像。3)自动图像分析模块：此***能够完成自动的图像分析，包括血管分割和血管直径测量。4)图像传输和远程分析模块：对于动静脉的分类，或者对于手机配置较低无法实现离线血管分割和直径测量的情况，可以选择将原始图像传输至远程工作站，在工作站上实现图像分析，包括血管分割(VesselSegmention)、直径测量(WidthMeasure)、动静脉分类，并可将结果回传至便携终端。5)结果的显示和存储模块：图像处理的结果可以在手机上显示和存储，并可以通过电子邮件的方式发送。6)使用说明模块：此模块中提供了详细的操作说明和对处理结果的解释。

Claims

1.一种适用于智能便携设备的全自动视网膜血管分析方法，其特征在于：该分析方法包括以下步骤：

1)对眼底图像进行预处理后进行显著性特征提取，然后依次通过特征融合及阈值分割，得到血管分割图像；所述预处理包括对眼底图像进行均一化处理和去除血管中心光反射处理；

2)根据血管分割图像，利用二维图论模型对视网膜血管管径进行测量。

2.根据权利要求1所述一种适用于智能便携设备的全自动视网膜血管分析方法，其特征在于：所述步骤1)中，均一化处理包括以下步骤：首先，对眼底图像进行图像内均一化，使眼底图像背景均匀化，然后对背景均匀化的眼底图像进行图像间均一化，使该眼底图像归一化。

3.根据权利要求2所述一种适用于智能便携设备的全自动视网膜血管分析方法，其特征在于：所述图像内均一化具体包括以下步骤：使用sigma为3～5的大尺寸高斯滤波器去除原始图像的高频信息，然后与原始图像作差，所述原始图像为未经过预处理的眼底图像；所述图像间均一化具体包括以下步骤：首先得到背景均匀化的原始图像的R、G、B三个通道的灰度直方图并分别计算出中值，然后在每个通道中利用亮度曲线变换将中值移动到可取灰度值范围的中点上。

4.根据权利要求1所述一种适用于智能便携设备的全自动视网膜血管分析方法，其特征在于：所述步骤1)中，去除血管中心光反射处理包括以下步骤：将经过均一化处理的眼底图像进行形态学灰度开操作。

5.根据权利要求1所述一种适用于智能便携设备的全自动视网膜血管分析方法，其特征在于：所述步骤1)中，显著性特征提取包括频域残差特征、方向特征、形态学特征和自信息特征提取四个部分。

6.根据权利要求1所述一种适用于智能便携设备的全自动视网膜血管分析方法，其特征在于：所述分析方法还包括以下步骤：建立视网膜动脉和静脉的深度学习分类方法，在对眼底图像进行血管分割的基础上，利用深度学习分类方法实现动脉和静脉的分类。

7.根据权利要求6所述一种适用于智能便携设备的全自动视网膜血管分析方法，其特征在于：所述深度学习分类方法包括以下步骤：通过对卷积神经网络的训练建立深度学习模型，采用的训练图像是通过对20～40张手动标记了动脉和静脉的眼底图像利用滑动窗口进行遍历而生成的；将待分析的眼底图像按照步骤1)进行血管分割后，以血管区域每个像素点为中心构建与训练图像相同大小的测试图像，将测试图像输入深度学习模型，得到对应测试图像的标签，所述标签为该图像中血管为动脉的概率及为静脉的概率，以此标签作为依据，确定测试图像中血管的灰度信息，根据灰度信息重建视网膜血管的动脉和静脉分类图。

8.根据权利要求7所述一种适用于智能便携设备的全自动视网膜血管分析方法，其特征在于：所述卷积神经网络在训练中使用以下参数：网络结构为8～10层，单次训练集大小为300～500，学习步长为0.0001～0.0002，训练不小于40个训练周期。

9.一种适用于智能便携设备的全自动视网膜血管分析***，其特征在于：包括全自动视网膜血管分析模块，所述分析模块包括载入眼底图像子模块，自动图像分析子模块及结果的显示和存储子模块；载入眼底图像子模块用于从智能便携设备图库中载入图像或者通过智能便携设备拍照功能获取眼底图像；自动图像分析子模块用于在智能便携设备或与该设备进行远程通信的工作站上，针对眼底图像进行视网膜血管分割、直径测量和动静脉分类；结果的显示和存储子模块用于将血管分割、直径测量和动静脉分类的结果显示和存储在智能便携设备上。

10.根据权利要求9所述一种适用于智能便携设备的全自动视网膜血管分析***，其特征在于：所述血管分割包括以下步骤：对眼底图像进行预处理后进行显著性特征提取，然后依次通过特征融合及阈值分割，得到血管分割图像；

所述预处理包括对眼底图像进行均一化处理和去除血管中心光反射处理；所述直径测量包括以下步骤：根据血管分割图像，利用二维图论模型对视网膜血管管径进行测量；

所述动静脉分类包括以下步骤：在对眼底图像进行血管分割的基础上，利用深度学习分类方法实现动脉和静脉的分类。