CN106408564A - 一种基于深度学习的眼底图像处理方法、装置及*** - Google Patents

Abstract

本申请公开了一种基于深度学习的眼底图像处理方法，装置及***。所述方法包括以下步骤：首先眼底图像预处理，对眼底图像进行区域的分割提取；然后对分割提取得到的区域图像进行重采样；对重采样的区域图像进行数据扩充；采用深度学习方法识别区域图像特征。本申请中的基于深度学习的眼底图像处理方法、装置及***，可以实现自动对眼底图像进行分析，分析结果客观准确，节约人力成本。

Description

一种基于深度学习的眼底图像处理方法、装置及***

技术领域

本发明涉及眼底图像处理领域，具体而言涉及一种基于深度学习的眼底图像处理方法及***。

背景技术

眼底图像的分析在现有技术中主要为人工进行，由于人工的分析带有较强的主观性，因此人人工分析的准确性和一致性难以得到很好的保证。同时人力成本也越来越高，因此自动分析技术作为更加客观以及人力成本的节约方面有很大的优势。

深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。深度学习的概念由Hinton等人于2006年提出。基于深度置信网络(DBN)提出非监督贪心逐层训练算法，为解决深层结构相关的优化难题带来希望，随后提出多层自动编码器深层结构。此外Lecun等人提出的卷积神经网络是第一个真正多层结构学习算法，它利用空间相对关系减少参数数目以提高训练性能。深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。

深度学习技术在很多领域有着应用，在医学图像领域也引起了一定的重视，代替人工经验分析医学图像特征，深度学习技术能够自动地学习图像数据各个层次的抽象特征，从而更好地反应数据的本质特征，减少人为设计特征造成的不完备性。

深度学习虽然能够自动的学习模式特征，并可以达到很好的识别精度，但是一种数据驱动型模型，需要“相当大”量级的数据，模拟人脑视觉机理自动地学习到数据各个层次的抽象特征，从而更好地反映数据的本质。一般先在像素层抽象图像特征，对每个像素标记其所属种类，最终的输出结果就是特征的识别，以2048×2048的一张眼底图像为例，含有超过400万个像素，在像素级别上寻找图像特征的计算量是极其巨大的，这个算法的时间复杂度急剧提升，为了保证算法实时性，有些深度学习算法在预处理过程中对图像进行了缩小，以提高计算速度。图像的缩小必然会导致像素与周围像素的融合，进而影响了以像素为级别选择图像特征的准确性。如不缩小图像，同时保证计算的准确性，则需要更高的并行编程技巧以及更好更多的硬件支持，否则计算速度非常慢。由于这种时间上的不可接受性，限制了深度学习在实际应用的推广。

发明内容

本申请解决的主要问题是提供一种基于深度学习的眼底图像处理方法、装置及***，现有技术中人工进行眼底图像的分析，分析结果主观性较强同时人力成本也越来越高的技术问题。

为了解决上述技术问题，本发明公开了一种基于深度学习的眼底图像处理方法其特征在于，包括以下步骤：首先眼底图像预处理，对眼底图像进行区域的分割提取；然后对分割提取得到的区域图像进行重采样；对重采样的区域图像进行数据扩充；采用深度学习方法识别区域图像特征。

优选的，所述眼底图像预处理还包括计算整个眼底图像区域颜色平均值，眼底图像任意像素减去该平均值颜色。

优选的，所述区域包括视盘区域、视杯区域、视***周围萎缩区域和血管区域。

优选的，所述重采样包括将区域图像生成小面片和剪裁区域图像。

优选的，所述数据扩充包括区域图像缩放、区域图像旋转、区域图像倾斜和/或区域图像对比度的调节。

优选的，所述采用深度学习方法识别区域图像特征包括区域图像特征训练和区域图像特征的识别。

优选的，所述深度学习方法为卷积神经网络方法。

本发明还公开了一种基于深度学习的眼底图像处理装置，其特征在于，包括：

眼底图像预处理模块，所述用于对眼底图像进行预处理，对眼底图像进行区域的分割提取；

重采样模块，所述重采样模块用于对分割提取得到的区域图像进行重采样；

数据扩充模块，所述数据扩充模块对重采样的区域图像进行数据扩充；以及

区域图像特征识别模块，所述区域图像特征识别模块用于采用深度学习方法识别区域图像特征。

本发明还公开了一种基于深度学习的眼底图像处理***，其特征在于，包括眼底图像输入装置，所述眼底图像输入装置与眼底图像处理装置连接，所述眼底图像处理装置与结果输出装置连接。

与现有技术相比，本申请所述的一种基于深度学习的眼底图像处理方法、装置及***，达到了如下效果：

(1)本申请中的基于深度学习的眼底图像处理方法、装置及***，可以实现自动对眼底图像进行分析，分析结果客观准确。

(2)本申请中的基于深度学习的眼底图像处理方法、装置及***，采用深度学习的方法，自动地学习图像数据各个层次的抽象特征，从而更好地反应数据的本质特征，减少人为设计特征造成的不完备性。

(3)本申请中的基于深度学习的眼底图像处理方法、装置及***，在图像预处理过程加入视盘、视杯、视***周围萎缩区域、血管区域的分割提取，作为随后深度学习的数据。这样既不需要缩小图像，也会在可接受的时间里完成数据的训练，解决深度学习在时间上不可接受性的问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明实施例一所述的基于深度学习的眼底图像处理方法的流程图；

图2是本发明实施例三所述的基于深度学习的眼底图像处理方法的采用卷积神经网络训练过程流程图；

图3是本发明实施例四所述的基于深度学习的眼底图像处理装置的结构框图；

图4是本发明实施例五所述的基于深度学习的眼底图像处理***的结构框图；

图5是本发明实施例五所述的眼底图像预处理方法的流程图；

图6是本发明实施例五所述的眼底图像预处理方法的眼底血管的抛物线形态图和眼底血管的方向图谱；

图7是本发明实施例五所述的眼底图像预处理方法的眼底血管走向进行表示方法的过程图；

图8是本发明实施例五所述的眼底图像预处理方法中不同亮度下的视盘；

图9是本发明实施例五所述的眼底图像预处理方法的中确定视盘区和黄斑区图与对应的血管距离场图。

具体实施方式

如在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可理解，硬件制造商可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”为一开放式用语，故应解释成“包含但不限定于”。“大致”是指在可接收的误差范围内，本领域技术人员能够在一定误差范围内解决所述技术问题，基本达到所述技术效果。说明书后续描述为实施本申请的较佳实施方式，然所述描述乃以说明本申请的一般原则为目的，并非用以限定本申请的范围。本申请的保护范围当视所附权利要求所界定者为准。

以下结合附图对本申请作进一步详细说明，但不作为对本申请的限定。实施例一

如图1所示，为本实施例中的基于深度学习的眼底图像处理方法，其特征在于，包括步骤S100至步骤S400：

S100：首先眼底图像预处理，对眼底图像进行区域的分割提取；

S200：然后对分割提取得到的区域图像进行重采样；

S300：对重采样的区域图像进行数据扩充；

S400：采用深度学习方法识别区域图像特征。

实施例二

在实施例一的基础上，其中步骤S100包括以下步骤：首先，为了消除由于光照条件、相机分辨率的不同引起的图像之间的差异，计算整个眼底图像区域颜色平均值，眼底图像任意像素减去该平均值颜色。其次，使用多层次抛物线对眼底血管形态进行描述，识别眼底血管的中心线。然后，利用血管走向获得视盘区域位置(血管聚集的地方)，用椭圆拟合方式获得视盘区域。以视盘中心为原点，从原点到视盘最远边界在向外扩充50个像素的距离为半径，提取视杯区域及视***周围萎缩区域(PPA)。

优选的，步骤S200包括以下步骤：在提取的图像中重新生成多个大小为128像素×128像素(也可为其他尺寸)的正方形面片，相邻两个正方形中心距离为32个像素。另外，为了去掉边界效应，剪裁重采样的图像至原尺寸的90％。

优选的，步骤S300包括以下步骤：随机缩放图像±10％，随机在0至360度范围内旋转图像，随机倾斜±0.2rad(rad为角度单位：弧度)；还可以包括对于区域图像对比度的调节来增加训练的数量；通过变化图像的参数值，得到大量的图像数据，使得区域图像的数量增加，从而达到扩充数据的目的。

实施例三

如图2所示，为采用卷积神经网络训练过程流程图，首先对于眼底图像进行预处理，然后根据实施例二中的方法进行重采样和数据扩充，训练后的卷积神经网络对眼底图像进行识别和分析。

如图2所示，卷积神经网络架构包括了5个具有权重的卷积层和2个全连接层，输入层为图像预处理步骤中重新采样生成的图像。与输入层相连的是5个卷积层(Convolutional Layers)。第1个和第2卷积层卷积完后使用了ReLUS(rectified linearunits)函数进行处理，以加快神经网络的训练速度；然后又进行了局部正则化(LocalResponse Normalization)(公式1)，以防止过拟合，最后还进行了最大池化(MaxPooling)。

给定表示应用卷积核i的点(x,y)的神经元活动，该神经元活动在应用ReLUS后，进步正则化活动的表达公式为：

其中，n为同一空间位置相邻的卷积核数，N为该卷积层所有卷积核的数量，k，n，α，β为超参数。

最大池化的输出作为输入连接第3个卷积层。第3、4、5卷积层相互连接，并没有正则化层及最大池化层与其相连。卷积层与两个全连接层(FullyConnection Layers)相连，第1个全连接层以第5个卷积层的输出作为输入，第2个全连接层的输出作为softmax层的输入，softmax层的输出为自动提取的图像特征的标记分类。为了减少在全连接层中的过拟合，我们采用了“dropout”的方法，在每次训练批次中，让一定比例的全连接层节点值为0来减少过拟合现象。

本实施例中深度学习的方法我们采用的是卷积神经网络，也可采用其他的神经网络方法，或其他方法，如基于自动编码器组合或限制波尔兹曼机的深度学习方法。

实施例四

如图3所示，为基于深度学习的眼底图像处理装置的结构框图，其中眼底图像处理装置2包括眼底图像预处理模块10、重采样模块20、数据扩充模块30和区域图像特征识别模块40；其中眼底图像预处理模块10、重采样模块20、数据扩充模块30和区域图像特征识别模块40顺序连接；

眼底图像预处理模块10用于对眼底图像进行预处理，对眼底图像进行区域的分割提取；

重采样模块20重采样模块用于对分割提取得到的区域图像进行重采样；

数据扩充模块30数据扩充模块对重采样的区域图像进行数据扩充；

区域图像特征识别模块40区域图像特征识别模块用于采用深度学习方法识别区域图像特征。

实施例五

本实施例是在实施例四的上得到的，本实施例为一种基于深度学习的眼底图像处理***，如图4所示，包括眼底图像输入装置1，眼底图像输入装置1与眼底图像处理装置2连接，眼底图像处理装置2与结果输出装置3连接；

本实施例中的眼底图像输入装置1用于获取眼底图像，具体的眼底图像输入装置1可以为眼底照相机、PACS(Picture Archiving and Communication Systems的缩写，为影像归档和通信***)或影像存储***等；眼底图像输入装置1获取图像后，将图像传输给眼底图像处理装置2，其中眼底图像输入装置1通过DICOM或TCP/IP接口与眼底图像处理装置2连接，图像可以采用自动或手动上传的方式进行上传，用户也可通过互联网浏览器以HTTP方式上传眼底图像；

眼底图像处理装置2根据本申请中实施例一至实施例三中的眼底图像分析方法，对眼底图像输入装置1传输来的眼底图像进行分析，并将分析结果传输给结果输出装置3，结果输出装置3将分析结果进行输出，具体的分析结果以图像和/或统计图表等形式，通过DICOM浏览器和/或网页的形式输出。

实施例六

本实施例提供的是本申请中眼底图像预处理的一种方法，即对眼底图像进行区域的分割提取的一种方法，但本申请中眼底图像与处理的方法还可以采用现有技术中的其他方法。

如图5所示，为本实施例的眼底图像预处理方法的流程图，该实施例的眼底图像预处理方法包括以下步骤S 10至步骤S 60：

S 10：识别在眼底图像上的眼底血管；

S 20：对眼底血管的全局形态结构进行表示；对眼底血管走向进行表示，得到血管方向图谱；

S 30：根据步骤S 20中的眼底血管的全局形态结构，粗略定位视盘区；

S 40：在步骤S 30中的粗略定位的视盘区内，确定局部高对比度或高亮度区域为视盘的像素集群；

S 50：用椭圆拟合方法在步骤S 40中的得到的视盘的像素集群上确定视盘边界，即得到视盘区；

S 60：结合步骤S 20中的血管方向图谱确定黄斑区的基本范围，计算血管的距离场，在黄斑区的基本范围内寻找血管距离场的最大值位置，即黄斑区的中央凹位置。

优选的，在步骤S10中的识别在眼底图像上的眼底血管的方法可以采用专利申请号为201410220540.0中所记录的方法进行眼底图像血管的识别。包括以下步骤：从RGB格式的视网膜眼底图像中提取绿色通路中的视网膜灰度图；设置多个对比尺度，在每个对比尺度下均从多个方向对所述视网膜灰度图上的像素点进行对比度量化，得到视网膜二值化对比度图，其中所述视网膜二值化对比度图中的像素分为视网膜血管上的像素及非视网膜血管上的像素；对获取的多个所述视网膜二值化对比度图进行差分融合，并去除融合后获得的图像中的噪音及伪影，得到视网膜融合图；从所述视网膜融合图中确定中央反光区域，并对所述中央反光区域进行填充，得到视网膜血管分布图。其他的血管识别的方法在本申请中也可适用，在此不再赘述。

优选的，在步骤S20中的眼底血管的全局形态结构进行表示方法为：使用多层次的抛物线对眼底血管类似伞状的形态进行描述，如图6-A所示，为本实施例中的眼底图像的眼底血管的抛物线形态图。S 30：根据步骤S 20中的眼底血管的全局形态结构，粗略定位视盘区，如图6-A所示，其中抛物线顶点位置基本对应视盘区的位置；在步骤S20中的对眼底血管走向进行表示方法为：把血管离散化为一系列直线段，利用直线段来表示血管的方向，通过统计这些方向确定血管的走向，即得到血管方向图谱；如图6-B所示，为本实施例中的眼底图像的眼底血管的方向图谱，图谱中的高亮区域分2视盘区和高亮区域分1为黄斑区；

优选的，在步骤S20中的对眼底血管走向进行表示方法为更为具体的一种操作方式：如图7所示，

首先给定图7-A所示的眼底图像，利用线条拟合方法(在实践中也可采用其他方法识别血管)自动识别视网膜血管如图7-B所示；

然后如图7-B所示用规则网格对血管进行分段(可采用其他方法对血管分段)，每个网格内血管段中轴线方向定义为两个最远点的连线方向；。

给定图像上一点P(x,y)，用如下公式

计算血管段的方位，其中Si为给定点P周围给定区域的血管段(Vi)的方位，Ti为点P周围血管段的中心及点P之间的连线。用该方法计算所有网格内血管段方位，得到如图7-C所示的方向图谱；

为了得到相对稳定的视盘区，以像素方位值为单位的原方向图谱(图7-C)被转换成以像素点周围最大方位值为单位的新方向图谱。平滑后的新方向图谱如图7-D所示；

从方向图谱中可看出黄斑区及视盘区具有相对较高的方位值，通过计算黄斑区和视盘区的血管数量来区分这两个区域，血管数量多的区域31视为视盘区，32为黄斑区。

优选的，就步骤S 40中对于视盘的像素集群的确定的具体操作如下：首先，从RGB格式的彩色视网膜眼底图像中提取绿色通道。其次，给定眼底图像像素P(x,y)，使用滑动窗口滤波器((也可采用其他方法计算相对像素亮度))计算每个像素的相对像素亮度(像素亮度值与窗口平均亮度值之差)。对眼底图像应用该滤波器得到一灰度对比度图像。尽管从这个对比度图像中可直观辨别视盘边界，但由于视盘边界的不连续行导致仍然很难知道识别视盘边界，因此我们逐步改变灰度对比度图像的对比度阈值来获得精确的代表视盘的像素集群。

优选的，就步骤S 50中对于视盘区边界的确定的具体操作如下：针对S40中得到的视盘的像素集群，采用霍夫变换(也可采用其他方法)获得圆形视盘，在圆形区域的基础上，确定该圆形区域周边邻近的像素集群，然后使用椭圆拟合的方法确定视盘边界，最后将邻近椭圆边界的像素也归类为视盘区域，最终获取的边界为视盘区域。考虑到不同图像中视盘的亮度以及对比度差异较大，我们采用多尺度的策略，如图8所示为不同亮度下的视盘，其中Threshold为亮度的阈值；逐步调整视盘的亮度，然后重复整个圆形检测和椭圆拟合，对每个椭圆进行评分，评分的标准是综合考虑椭圆的长短轴之比以及椭圆的平均亮度，评分最高的即为视盘区。利用同样的方法，在所确定的视盘区可以定位视杯。

优选的，就步骤S 60中对于黄斑区的确定的具体操作如下：在视盘区域确定之后，根据血管的方向图谱大致定位黄斑区域，具体方法是寻找方向图谱中除视盘区的最大图谱值。之后，计算血管的距离场，在黄斑大致区域中寻找最大的距离场值所在位置，这个位置即为黄斑区的中央凹所在位置；

更具体的：对于眼底血管的特征，血管末梢一般都指向黄斑区所在位置，但是与视盘相比，黄斑区的血管比较细，而且黄斑区的图像亮度比较低。为了准确定位黄斑的中心区域，即中央凹，我们利用血管距离场，如图9所示，其中图9-A为划分出的视盘区52和黄斑区51，图9-B为与图9-A对应的眼底图像的眼底血管的距离场，圆圈标注的54为眼底血管距离场的最大值，即为黄斑区中的中央凹所在位置。

上述的视盘区的自动识别方法同样适用于视杯的自动识别，如图9-A中，在视盘区52包含视杯53(视盘包含视杯：视盘也叫视***，视杯也叫视***凹陷)。

本实施中的眼底图像分析方法，眼底血管的形态体系(如：血管总体形态以及血管的走势)、视盘/黄斑区的图像和解剖学等特点(如：两者都位于血管汇集的区域)有机结合起来，利用椭圆拟合的方法首先确定视盘区以及视杯区域，在确定视盘区域的基础上，结合视盘与黄斑在图像上的亮度差异和距离场分析方法，最终确定黄斑区。该方法充分利用了眼底多种组织的形态以及图像特征，并将这些特点结合起来，利用了这些形态之间的互补关系，从而确保该方法不依赖于某种形态或者特征，最终可以适应各种图像质量以及光照环境等因素，确保准确、稳定地获取黄斑和视盘区域。

本申请中的图像预处理方法不限于本实施例中的方法，现有技术中的其他方法也可作为眼底图像的预处理，从而对眼底图像进行区域的分割提取，在预处理的基础上采用深度学习的方法进行进一步的处理。再次不再赘述。

与现有技术相比，本发明所述的一种基于深度学习的眼底图像处理方法、装置及***，达到了如下效果：

(1)本申请中的基于深度学习的眼底图像处理方法、装置及***，可以实现自动对眼底图像进行分析，分析结果客观准确。

(2)本申请中的基于深度学习的眼底图像处理方法、装置及***，采用深度学习的方法，自动地学习图像数据各个层次的抽象特征，从而更好地反应数据的本质特征，减少人为设计特征造成的不完备性。

(3)本申请中的基于深度学习的眼底图像处理方法、装置及***，在图像预处理过程加入视盘、视杯、视***周围萎缩区域、血管区域的分割提取，作为随后深度学习的数据。这样既不需要缩小图像，也会在可接受的时间里完成数据的训练，解决深度学习在时间上不可接受性的问题。

由于方法部分已经对本申请实施例进行了详细描述，这里对实施例中涉及的***与方法对应部分的展开描述省略，不再赘述。对于***中具体内容的描述可参考方法实施例的内容，这里不再具体限定。

上述说明示出并描述了本申请的若干优选实施例，但如前所述，应当理解本申请并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述申请构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本申请的精神和范围，则都应在本申请所附权利要求的保护范围内。

Claims (9)

1.一种基于深度学习的眼底图像处理方法，其特征在于，包括以下步骤：

首先眼底图像预处理，对眼底图像进行区域的分割提取；

然后对分割提取得到的区域图像进行重采样；

对重采样的区域图像进行数据扩充；

采用深度学习方法识别区域图像特征。

2.根据权利要求1所述的基于深度学***均值，眼底图像任意像素减去该平均值颜色。

3.根据权利要求2所述的基于深度学习的眼底图像处理方法，其特征在于，所述区域包括视盘区域、视杯区域、视***周围萎缩区域和血管区域。

4.根据权利要求1所述的基于深度学习的眼底图像处理方法，其特征在于，所述重采样包括将区域图像生成小面片和剪裁区域图像。

5.根据权利要求1所述的基于深度学习的眼底图像处理方法，其特征在于，所述数据扩充包括区域图像缩放、区域图像旋转、区域图像倾斜和/或区域图像对比度的调节。

6.根据权利要求1所述的基于深度学习的眼底图像处理方法，其特征在于，所述采用深度学习方法识别区域图像特征包括区域图像特征训练和区域图像特征的识别。

7.根据权利要求6所述的基于深度学习的眼底图像处理方法，其特征在于，所述深度学习方法为卷积神经网络方法。

8.一种基于深度学习的眼底图像处理装置，其特征在于，包括：

眼底图像预处理模块，所述用于对眼底图像进行预处理，对眼底图像进行区域的分割提取；

重采样模块，所述重采样模块用于对分割提取得到的区域图像进行重采样；

数据扩充模块，所述数据扩充模块对重采样的区域图像进行数据扩充；以及

区域图像特征识别模块，所述区域图像特征识别模块用于采用深度学习方法识别区域图像特征。

9.一种基于深度学习的眼底图像处理***，其特征在于，包括眼底图像输入装置，所述眼底图像输入装置与权利要求8所述眼底图像处理装置连接，所述眼底图像处理装置与结果输出装置连接。