CN108629769B - 基于最佳兄弟相似度的眼底图像视盘定位方法及*** - Google Patents

Abstract

本发明公开了基于最佳兄弟相似度的眼底图像视盘定位方法及***，包括以下步骤：步骤(1)：选取健康的眼底图像，根据健康眼底图像的包含视盘区域的最小外接矩形，提取最小外接矩形内的图像作为模板图像；步骤(2)：对模板图像和待匹配图像均进行预处理；步骤(3)：计算模板图像和待匹配图像之间的最佳兄弟相似度；步骤(4)：在待匹配图像中进行搜索，最佳兄弟相似度最大值所对应的区域为最终的定位结果。对于眼底图像视盘定位工作提出了新的观念并取得较好的效果。

Description

基于最佳兄弟相似度的眼底图像视盘定位方法及***

技术领域

本发明涉及基于最佳兄弟相似度(Best-BuddiesSimilarity)的眼底图像视盘定位方法及***。

背景技术

近年来，基于眼底图像的生理结构的定位和识别被广泛研究和应用，这对于及时预防和诊断白内障、青光眼等一类的致盲性眼科疾病具有重要的意义和作用。但是由于患眼科疾病的病人越来越多，而眼科专家的数量无法满足大量病人的需求，因此越来越多计算机视觉及医学领域的专家关注和研究基于医学图像的计算机自动识别及诊断***。在眼底图像中，视盘是最主要的生理结构之一，因此对视盘进行高效准确的定位是自动分析处理眼底图像研究工作中非常重要的步骤。

国内外研究人员根据眼底视盘的特性提出了多种视盘定位检测的方法，这些方法可以被大致分为3类：(1)基于血管特性的视盘定位方法；(2)基于视盘外观特征的视盘定位方法；(3)综合利用眼底图像血管信息和视盘特征的视盘定位方法。

基于血管特性的算法利用眼底视盘区域中血管的特殊结构和走向信息，当图像中存在病变或噪声等干扰因素导致视盘的外观特征不够明显时，依然可以有效准确的定位视盘，但是这一类方法大多要以严格的几何模板为基础，这导致了此类算法具有较高的算法复杂度。而构造几何模板需要以精准的分割血管结构为基础，而无论图像中是否存在病变区域，完整且精准的血管分割本身就是一项比较困难且复杂度较高的工作，这导致了基于血管特性的视盘定位方法通常不仅需要较长的处理时间，无法实时的定位检测眼底视盘，而且这使自动定位视盘的工作更加复杂。

基于视盘外观特征的算法重点关注了视盘自身的亮度、颜色、形状、大小和纹理特征。但是当眼底图像中出现的病变区域与视盘的亮度近似的情况下，只是通过视盘的亮度、形状等特征很有可能误将病变区域检测出来从而导致定位视盘失败，而由于病变区域对视盘外观的影响导致视盘的亮度和完整性遭到干扰和破坏，这也严重影响了视盘定位的准确程度。

因此降低眼底图像中病变区域对视盘定位工作的干扰，同时避免对眼底图像中血管结构的精准分割，降低算法复杂程度，减少工作量，是本领域技术人员亟需解决的问题。

发明内容

基于传统的眼底图像视盘定位方法中存在的问题，本发明提出了基于最佳兄弟相似度的眼底图像视盘定位方法及***。最佳兄弟相似性不仅仅考虑眼底视盘的外观，而是通过一种新的模板匹配的思想，结合眼底图像的视盘的梯度变化特征对算法中的最佳兄弟相似性度量方法进行优化和改进，首次将该算法应用于眼底图像视盘定位的领域，计算模板图像与待匹配图像的RGB外观差异，空间位置差异，并引入基于一阶导数的梯度度量进行优化，确保了定位的准确性，使得眼底图像视盘的定位工作具有更好的鲁棒性，同时避免了对眼底图像血管结构的分割，具有更高的定位成功率和较低的算法复杂度。

本发明基于模板匹配的思想，选取健康的视盘图像作为模板图像，将待定位的眼底图像作为待匹配图像，计算模板图像和待匹配图像之间的最佳兄弟相似度，搜索相似度的值最大的区域即为视盘区域。该发明为眼底图像视盘定位工作提供了一种新的思路。

为了实现上述目的，本发明采用如下技术方案：

作为本发明的第一方面，提供了基于最佳兄弟相似度的眼底图像视盘定位方法；

基于最佳兄弟相似度的眼底图像视盘定位方法，包括以下步骤：

步骤(1)：选取健康的眼底图像，根据健康眼底图像的包含视盘区域的最小外接矩形，提取最小外接矩形内的图像作为模板图像；

步骤(2)：对模板图像和待匹配图像均进行预处理；

步骤(3)：计算模板图像和待匹配图像之间的最佳兄弟相似度；

步骤(4)：在待匹配图像中进行搜索，最佳兄弟相似度最大值所对应的区域为最终的定位结果。

所述步骤(1)中，待匹配图像即为待定位视盘所在的眼底图像。

所述步骤(2)中，对模板图像和待匹配图像均进行预处理，根据图像子块的尺寸大小，即图像的长度和宽度以像素为单位，调整模板图像和待匹配图像的尺寸大小，使模板图像和待匹配图像的大小均是图像子块大小的整数倍；然后将模板图像和模板图像分别分割成若干个尺寸大小相同的不重叠的图像子块，然后将每个图像子块分别视为一个点，从而形成由图像子块组成的点集，分别为模板图像对应的点集和待匹配图像对应的点集；

所述步骤(3)中，基于步骤(2)中形成的模板图像对应的点集和待匹配图像对应的点集，计算模板图像对应的点集中的点与待匹配图像对应的点集中的点之间的距离值，找出两个点集的最佳兄弟点对(Best-BuddiesPairs)，根据最佳兄弟点对的个数计算最佳兄弟相似度；

最佳兄弟点对的定义如下：首先定义两个点集，

和

其中

表示模板图像的特征点集，

表示待匹配图像中候选区域的特征点集，U,V分别代表点集中特征点的个数，其中r_i，s_j∈R^d。存在这样一个点对{r_i∈R，s_j∈S}，当r_i到集合S的最近邻点为s_j并且s_j到集合R的最近邻点也为r_i时，那么称这样的点对为最佳兄弟点对(Best-BuddiesPairs,BBP)。

判断最佳兄弟点对Seg(r_i，s_j，R，S)的数学表达式为：

其中，NN(r_i，S)＝argmin d(r_i，s)，s∈S表示r_i到点集S的最近邻点判别方法，d(r_i，s)表示任意的一种距离度量，∧表示与运算，NN(r_i，S)＝s_j表示在点集S中r_i的最近邻点为s_j，如果NN(r_i，S)＝s_j∧NN(s_j，R)＝r_i表示r_i和s_j互为最近邻点，也就是最佳兄弟点对，则Seg(r_i，s_j，R，S)＝1，如果不是最佳兄弟点对，则Seg(r_i，s_j，R，S)＝0。

通过统计点集R和S之间的最佳兄弟点对的总数，然后归一化处理所得到的点对的总数，结果即为最佳兄弟相似性的结果值，而最佳兄弟相似性度量值BBS(R，S)表达式如下公式(2)：

将模板图像和待匹配图像中的每一个候选区域表示为xyRGB空间中的点，计算两个点集之间的最佳兄弟相似性度量的值，首先需要得到每个点对之间的距离值，将两个点之间的距离度量分为三个部分，一是两个点之间的颜色灰度值的差异，二是两个点之间的空间位置差异，三是图像梯度差异。

模板图像对应的点集中的点与待匹配图像对应的点集中的点之间的距离值d(r_i，s_j)，如下公式(3)：

其中，

表示模板图像对应的点集中的点的颜色像素值；

表示待匹配图像对应的点集中的点的颜色像素值；

表示模板图像对应的点集中的点的空间位置；

表示待匹配图像对应的点集中的点的空间位置；

表示模板图像对应的点集中的点的梯度值；

表示待匹配图像对应的点集中的点的梯度值；β表示为权重系数。

所述步骤(4)中，基于步骤(3)，在待匹配图像中逐列搜索相似度的值最高的区域，即为最终的定位结果。

所述步骤(4)中，构造相似性图像：通过颜色渐变形式展示最佳兄弟相似度的高低，相似度高的部分颜色深，相似度低的部分颜色浅，通过肉眼观察从待匹配图像中找到颜色最深的区域，即为与模板图像匹配程度最高的区域。

作为本发明的第二方面，提供了基于最佳兄弟相似度的眼底图像视盘定位***；

基于最佳兄弟相似度的眼底图像视盘定位***，包括：存储器、处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成上述任一方法所述的步骤。

作为本发明的第三方面，提供了一种计算机可读存储介质；

一种计算机可读存储介质，其上运行有计算机指令，所述计算机指令被处理器运行时，完成上述任一方法所述的步骤。

本发明的有益效果是：

(1)本发明利用了基于最佳兄弟相似性的模板匹配方法，最佳兄弟相似度是一种鲁棒性强，且运行效率较高的相似性度量算法，能够有效的克服背景杂乱和遮挡，这样的特性应用于眼底图像视盘定位工作中，结合视盘区域的特征，引入基于一阶导数的图像梯度对该算法进行优化，不仅可以克服眼底图像中病变区域和光照变化等对视盘定位工作的干扰，也可以避免对眼底图像中血管结构的精准分割导致的计算复杂度较高，无法实现实时视盘定位的缺陷。所述步骤(2)利用图像子块组成点集，取代传统算法中以像素点组成的点集。

(2)本发明在对最佳兄弟相似性度量方法进行优化之后，将其应用于眼底图像视盘定位的工作中。本发明提出的基于最佳兄弟相似度的眼底图像视盘定位方法已经取得了较好的结果。本发明将在实验结果同其他的定位视盘的方法进行了比较，本发明的定位成功率，定位误差都表现出了非常突出的性能，其定位成功率在DRIVE和DIARETDB1这两个公共数据集上分别为100％和97.7％，定位平均误差分别为10.4和12.9，单位为像素。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1是本发明视盘定位方法的流程图。

图2(a)和图2(b)是模板图像的提取。

图3(a)-图3(h)是本发明定位视盘的步骤。

图4(a)-图4(l)是本发明在DRIVE数据集中进行视盘定位的一些实例。

图5(a)-图5(t)是本发明在DIARETDB1数据集中进行视盘定位的一些实例。

具体实施方式

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

如图1所示，在一种基于最佳兄弟相似度(Best-Buddies Similarity)的眼底图像视盘定位方法中：

(1)模板图像的构造：在健康的眼底图像中，根据医生对视盘区域的标记，取包含视盘区域的最小外接矩形为模板图像，如图2(a)和图2(b)中，矩形即为模板图像。

(2)图像预处理：在经过步骤(2)后，为了确保点集中的点足够进行匹配且不影响实验结果的准确性，同时保证计算量较小，所分割的子块的大小应当依据所选择模板的大小进行适当的调整，当模板图像较大时，可以使子块的大小为3甚至更大；而当模板图像较小时，可直接将单个像素作为一个点，这个值的大小可以根据具体的应用场景进行调整。之后根据子块的大小，重新调整原来模板图像和待匹配图像的大小，使原图像的大小是子块大小的整数倍。

假设图像子块大小为3*3，根据这个大小，要将模板图像和待匹配图像的长度和宽度都调整为图像子块长度和宽度的整数倍。例如：模板图像为523*478，调整为522*477。

(3)计算点对之间的最佳兄弟相似度：最佳兄弟相似度取决于两个点集之间最佳兄弟点对的个数，而最佳兄弟点对的定义如下：首先定义两个点集，

和

其中

表示模板图像的特征点集，

表示待匹配图像中候选区域的特征点集，U,V分别代表点集中特征点的个数，其中r_i，s_j∈R^d。存在这样一个点对{r_i∈R，s_j∈S}，当r_i到集合S的最近邻点为s_j并且s_j到集合R的最近邻点也为r_i时，那么称这样的点对为最佳兄弟点对(Best-BuddiesPairs,BBP)。判断最佳兄弟点对的数学表达式为：

其中，NN(r_i，S)＝argmin d(r_i，s)，s∈S表示r_i到点集S的最近邻点判别方法，其中的d(r_i，s)表示任意的一种距离度量，∧表示与运算，NN(r_i，S)＝s_j表示在点集S中r_i的最近邻点为s_j，NN(r_i，S)＝s_j∧NN(s_j，R)＝r_i表示r_i和s_j互为最近邻点，也就是最佳兄弟点对，反之亦然，则Seg(i，j)＝1，如果不是最佳兄弟点对，则Seg(i，j)＝0。通过统计点集R和S之间的最佳兄弟点对的总数，然后归一化处理所得到的点对的总数，结果即为最佳兄弟相似性的结果值，而最佳兄弟相似性度量值表达式如下公式(2)：

我们将模板和待匹配图像中的每一个候选区域表示为xyRGB空间中的点，计算两个点集之间的最佳兄弟相似性度量的值，首先需要得到每个点对之间的距离值，结合眼底图像视盘特征，引入了基于一阶导数的图像梯度，将两个点之间的距离度量分为三个部分，一是它们之间的颜色灰度值的差异，二是它们之间的空间位置差异，三是图像梯度差异。点对之间具体的距离测度如下公式(3)：

其中上标A表示了特征点之间的颜色像素值差异，上标L表示特征点之间的空间位置距离差异，归一化到[0,1]之间，β表示为权重系数，上标G代表子块的r_i和s_j的梯度值。

(4)根据最佳兄弟相似度的值，构造相似性图像，搜索相似度的值最大的区域即为最终的定位结果。所定位区域的中心与视盘中心之间的距离小于60个像素即为定位成功。

图3(a),图3(e)为待匹配图像，图3(b),图3(f)中的矩形区域为模板图像，

图3(c),图3(g)为相似性图像，图3(d),图3(h)中的叉号为最终的定位结果。

图4(a),图4(c),图4(e),图4(g),图4(i),图4(k)中叉号为视盘的正确位置，

图4(b),图4(d),图4(f),图4(h),图4(j),图4(l)中的叉号为本发明实验结果。

图5(a),图5(c),图5(e),图5(g),图5(i),图5(k),图5(m),图5(o),图5(q),图5(s)中叉号为视盘的正确位置，

图5(b),图5(d),图5(f),图5(h),图5(j),图5(l),图5(n),图5(p),图5(r),图5(t)中叉号为本发明实验结果。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (7)

1.基于最佳兄弟相似度的眼底图像视盘定位方法，其特征是，包括以下步骤：

步骤(1)：选取健康的眼底图像，根据健康眼底图像的包含视盘区域的最小外接矩形，提取最小外接矩形内的图像作为模板图像；

步骤(2)：对模板图像和待匹配图像均进行预处理；

步骤(3)：计算模板图像和待匹配图像之间的最佳兄弟相似度；

最佳兄弟相似度取决于两个点集之间最佳兄弟点对的个数，而最佳兄弟点对的定义如下：首先定义两个点集，

和

其中

表示模板图像的特征点集，

表示待匹配图像中候选区域的特征点集，U，V分别代表点集中特征点的个数，存在这样一个点对{r_i∈R，s_j∈S}，当r_i到集合S的最近邻点为s_j并且s_j到集合R的最近邻点也为r_i时，那么称这样的点对为最佳兄弟点对(Best-Buddies Pairs，BBP)；判断最佳兄弟点对的数学表达式为：

其中，NN(r_i，S)＝argmin d(r_i，s)，s∈S表示r_i到点集S的最近邻点判别方法，其中的d(r_i，s)表示任意的一种距离度量，∧表示与运算，NN(r_i，S)＝s_j表示在点集S中r_i的最近邻点为s_j，如果NN(r_i，S)＝s_j∧NN(s_j，R)＝r_i表示r_i和s_j互为最近邻点，也就是最佳兄弟点对，则Seg(r_i，s_j，R，S)＝1，如果不是最佳兄弟点对，则Seg(r_i，s_j，R，S)＝0；通过统计点集R和S之间的最佳兄弟点对的总数，然后归一化处理所得到的点对的总数，结果即为最佳兄弟相似性的结果值，而最佳兄弟相似性度量值表达式如下公式(2)：

将模板和待匹配图像中的每一个候选区域表示为xyRGB空间中的点，计算两个点集之间的最佳兄弟相似性度量的值，首先需要得到每个点对之间的距离值，结合眼底图像视盘特征，引入了基于一阶导数的图像梯度，将两个点之间的距离度量分为三个部分，一是它们之间的颜色灰度值的差异，二是它们之间的空间位置差异，三是图像梯度差异；点对之间具体的距离测度如下公式(3)：

其中，

表示模板图像对应的点集中的点的颜色像素值；

表示待匹配图像对应的点集中的点的颜色像素值；

表示模板图像对应的点集中的点的空间位置；

表示待匹配图像对应的点集中的点的空间位置；

表示模板图像对应的点集中的点的梯度值；

表示待匹配图像对应的点集中的点的梯度值；β表示为权重系数；

步骤(4)：在待匹配图像中进行搜索，最佳兄弟相似度最大值所对应的区域为最终的定位结果。

2.如权利要求1所述的基于最佳兄弟相似度的眼底图像视盘定位方法，其特征是，所述步骤(1)中，待匹配图像即为待定位视盘所在的眼底图像。

3.如权利要求1所述的基于最佳兄弟相似度的眼底图像视盘定位方法，其特征是，所述步骤(2)中，对模板图像和待匹配图像均进行预处理，根据图像子块的尺寸大小，即图像的长度和宽度以像素为单位，调整模板图像和待匹配图像的尺寸大小，使模板图像和待匹配图像的大小均是图像子块大小的整数倍；然后将模板图像和模板图像分别分割成若干个尺寸大小相同的不重叠的图像子块，然后将每个图像子块分别视为一个点，从而形成由图像子块组成的点集，分别为模板图像对应的点集和待匹配图像对应的点集。

4.如权利要求1所述的基于最佳兄弟相似度的眼底图像视盘定位方法，其特征是，所述步骤(4)中，基于步骤(3)，在待匹配图像中逐列搜索相似度的值最高的区域，即为最终的定位结果。

5.如权利要求1所述的基于最佳兄弟相似度的眼底图像视盘定位方法，其特征是，所述步骤(4)中，构造相似性图像：通过颜色渐变形式展示最佳兄弟相似度的高低，相似度高的部分颜色深，相似度低的部分颜色浅，通过肉眼观察从待匹配图像中找到颜色最深的区域，即为与模板图像匹配程度最高的区域。

6.基于最佳兄弟相似度的眼底图像视盘定位***，其特征是，包括：存储器、处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成上述权利要求1-5任一方法所述的步骤。

7.一种计算机可读存储介质，其特征是，其上存储有计算机指令，所述计算机指令被处理器运行时，完成上述权利要求1-5任一方法所述的步骤。

Images