CN110633743A - 一种基于邻域支撑的图像匹配方法 - Google Patents

Abstract

本发明公开了一种基于邻域支撑的图像匹配方法，包括以下步骤：S1，获取一幅图像对，分析邻域窗口，并在邻域窗口内计算图像对的特征；S2，分析邻域窗口，并划分特征空间；S3，在邻域窗口，基于图像对的特征点计算匹配正确的概率、对应特征空间点不同的概率与相同的概率；S4，计算邻域匹配支撑统计量；S5，计算支撑统计量的统计特征。根据本发明提供的基于邻域支撑的图像匹配方法，摒去单独依照距离判定特征点相似度的思想，在采用最邻近算法的前提下，再将周围特征点匹配的统计量作为自身匹配对错的判断条件，起到在短时间内增加匹配点对数的作用，从而为图像匹配缩短所需时间并且提高匹配精度。

Description

一种基于邻域支撑的图像匹配方法

技术领域

本发明涉及图像处理技术领域，特别是涉及一种基于邻域支撑的图像匹配方法。

背景技术

在图像处理过程中，常需要对两幅图像进行匹配，由于两幅图像间的公共特征点不仅仅是简单的平移关系，因此，图像匹配是一个棘手的问题。但是由于图像之间的变换为刚性变换，即旋转变换加平移变换，这又给图像匹配带来了一个可行性求解方案。即找到一个旋转矩阵和平移矩阵，用其代表两幅图像之间的刚性变换关系，从而能将两幅图像很好地匹配。

传统的图像匹配方法是在不同的图像之间匹配描述符向量，通常是基于向量之间的距离，例如马氏距离或欧氏距离。但是仅采用距离作为图像匹配正确与否的判断条件，不仅图像匹配长，且匹配精度较差。

发明内容

本发明的目的在于解决现有技术图像匹配长、匹配精度差的问题，提出一种基于邻域支撑的图像匹配方法。

一种基于邻域支撑的图像匹配方法，其特征在于，包括以下步骤：

S1，获取一幅图像对，分析邻域窗口，并在邻域窗口内计算图像对的特征；

S2，分析邻域窗口，并划分特征空间；

S3，在邻域窗口，基于图像对的特征点计算匹配正确的概率、对应特征空间点不同的概率与相同的概率；

S4，计算邻域匹配支撑统计量；

S5，计算支撑统计量的统计特征。

上述基于邻域支撑的图像匹配方法，其中，正确的特征点匹配需满足以下三个约束：

(1)运动平滑度使小阈值的邻域实现真匹配，即具有相同的三维空间点，而假匹配周围的邻域将会看到不同的三维空间位置，即具有不同的三维空间点，邻域被定义为围绕着某个特征点像素周围的3*3或者5*5窗口，假设存在一个真匹配的邻域，即具有相同的三维空间区域，因此在两个图像中有很多的相似特征，即为邻域匹配支撑；

(2)如果某个邻域内既有匹配正确的点匹配对，又有匹配错误的匹配对，则分别统计匹配正确与匹配错误的数量，最终由统计量判断该邻域的匹配正误；即当匹配正确的统计量多时，则保留匹配正确的匹配对；如果匹配错误的匹配量多时，则认为该邻域内全部是误匹配；

(3)一个邻域内的所有特征点都具有相同的运动属性，根据该属性可以推导，如果一个邻域内只有一个匹配点，不管其匹配正确与否，都认为该像素邻域内的匹配是假匹配。

上述基于邻域支撑的图像匹配方法，其中，步骤S1具体包括：

设定一幅图像对{I_a,I_b}分别具有{N,M}个特征点，X＝{x₁,x₂,…,x_i,…,x_N}是图像I_a中所有特征点的集合，X最大值取|X|＝N，将X划分为真匹配X_i和假匹配的集合，

X_i表示匹配数，S_i表示邻域匹配支撑统计量，邻域匹配支撑统计量与匹配数之间相差1，通过下式分析每个匹配的邻域支撑量：

S_i＝|X_i|-1。

上述基于邻域支撑的图像匹配方法，其中，步骤S2具体包括：

选取的邻域窗口为3×3或者5×5，同时考虑部分相似或者非常相似的匹配情况，假设f_a是图像I_a区域里N个特征匹配之一，对应的正确匹配的概率t，在图像对{I_a,I_b}做像素匹配时，计算特征点邻域的匹配概率。

上述基于邻域支撑的图像匹配方法，其中，步骤S3具体包括：

当像素a与像素b具有相同的邻域特征，两种匹配正确的概率为下式：

式中，m为图像I_b中的真匹配特征，M为I_b所有特征，β为参数调节因子；

为求解两个具有相同邻域特征点所对应的三维空间点相同的概率，此时，令

则存在下式：

同样，为最终求解两个具有相同邻域特征点所对应的三维空间点不同的概率，令

则存在下式：

利用上式得到邻域匹配支撑统计量S_i的分布，即像素x_i附近邻域内的匹配统计量，从而得到一对新的二项分布：

其中，S_i的总体可能是双模态的，所以，将S_i需要分成真、假匹配两种指标。

上述基于邻域支撑的图像匹配方法，其中，步骤S4具体包括：

如果在一个大区域中，一个真匹配邻域允许存在多个假匹配的小区域，反之，一个假匹配邻域中也允许存在多个真匹配的小区域，因此便能得到更一般的统计模式，如式下：

式中，k是与预测的相匹配但不相交区域的数量，{a^k,b^k}是预测的区域对，

是落在区域对{a^k,b^k}上的匹配子集，

上述基于邻域支撑的图像匹配方法，其中，步骤S5具体包括：

假设每个小区域对都具有{n,m}个特征点，则将S_i表示为新的二项分布，满足下式：

S_i分布的均值和标准差分别为:

在处理统计事件时，认为离均值

差远的事件发生的可能性非常小，因此可进行量化：

其中，P与

成正比，当m_t＞＞m_f时，基本都为真匹配；当m_t＜＜m_f时，基本都为假匹配。

根据本发明提供的基于邻域支撑的图像匹配方法，摒去单独依照距离判定特征点相似度的思想，在采用最邻近算法的前提下，再将周围特征点匹配的统计量作为自身匹配对错的判断条件，起到在短时间内增加匹配点对数的作用，从而为图像匹配缩短所需时间并且提高匹配精度。

附图说明

本发明实施例的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例提供的基于邻域支撑的图像匹配方法的流程图；

图2为采用本实施例的方法对一幅图像对进行匹配的示意图；

图3为f_a的事件空间示意图；

图4为假匹配与真匹配对应的分布示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明实施例提供的基于邻域支撑的图像匹配方法，其包括步骤S101～S105：

S1，获取一幅图像对，分析邻域窗口，并在邻域窗口内计算图像对的特征；

S2，分析邻域窗口，并划分特征空间；

S3，在邻域窗口，基于图像对的特征点计算匹配正确的概率、对应特征空间点不同的概率与相同的概率；

S4，计算邻域匹配支撑统计量；

S5，计算支撑统计量的统计特征。

为了理解本发明，先对以下名词进行解释：

1.图像邻域：邻域就是相邻的区域；

2.邻域支撑量：邻域周围匹配对错的数据统计量-1；

3.最邻近匹配：一种图像匹配算法，匹配数目少；

4.贝叶斯规则：一种概率分布；

5.匹配约束：作为检验是否正确匹配的评定标准。

给定从同一个三维场景中，不同视角拍摄的多幅图像，特征点匹配正确意味着，同一场景点在一幅图像中的一个像素会被识别为另一个图像中对应的像素。在此，由于摄像机之间存在一种特定的运动特性，并且该运动特性具有平滑性，所以，相邻的两幅图像中的公共像素和特征点会一起移动。因此，正确的特征点匹配需要满足以下三个约束。

(1)运动平滑度使小阈值的邻域实现真匹配，即具有相同的三维空间点。而假匹配周围的邻域将会看到不同的三维空间位置，即具有不同的三维空间点。在本发明中，邻域通常被定义为围绕着某个特征点像素周围的3*3或者5*5窗口。假设存在一个真匹配的邻域，即具有相同的三维空间区域，因此在两个图像中有很多的相似特征，这即为邻域匹配支撑。最终，只需统计邻域内的相关匹配支撑数，从而大大缩短匹配时间。

(2)如果某个邻域内既有匹配正确的点匹配对，又有匹配错误的匹配对，则分别统计匹配正确与匹配错误的数量，最终由统计量判断该邻域的匹配正误。即当匹配正确的统计量多时，则保留匹配正确的匹配对；如果匹配错误的匹配量多时，则认为该邻域内全部是误匹配。

(3)一个邻域内的所有特征点都具有相同的运动属性。根据该属性可以推导，如果一个邻域内只有一个匹配点，不管其匹配正确与否，都认为该像素邻域内的匹配是假匹配。

如图2所示，从像素邻域中能够看出，在像素位置18处，该像素邻域有多条匹配线条，依据约束(1)，可以判断该像素存在邻域匹配支撑现象。但在像素位置9中，该像素邻域没有其他匹配的线条。依据约束(3)，可以判断该像素的匹配是错误的，也即不存在匹配支撑现象。同时，对于图像匹配来说，是一个非对即错的过程，不可能说这个像素点既是正确匹配，又是错误匹配，所以，所有的像素匹配最终会满足二次分布。

其中，S1，获取一幅图像对，分析邻域窗口，并在邻域窗口内计算图像对的特征，具体方法如下：

假设一幅图像对{I_a,I_b}分别具有{N,M}个特征点。X＝{x₁,x₂,…,x_i,…,x_N}是图像I_a中所有特征点的集合。X最大值取|X|＝N，将X划分为真匹配X_i和假匹配的集合。

X_i表示匹配数，S_i表示邻域匹配支撑统计量。很容易知道，邻域匹配支撑统计量与匹配数之间相差1。因此，可以通过式(1)分析每个匹配的邻域支撑量。

S_i＝|X_i|-1 (1)

S2，分析邻域窗口，并划分特征空间，具体方法如下：

其中，所选取的邻域窗口为3×3或者5×5。但由于区域很小，经常容易陷入只考虑理想化的真匹配或者假匹配对的陷进里，从而忽略了部分相似或者非常相似的像素匹配对。因此，本算法同时考虑部分相似或者非常相似的匹配情况。假设f_a是图像I_a区域里N个特征匹配之一，对应的正确匹配的概率t。因此，算法的目的在于在图像对{I_a,I_b}做像素匹配时，计算特征点邻域的匹配概率。表1总结了匹配事件及其所对应的符号，图3则展示了f_a的事件空间。

表1匹配事件及其所对应的符号

其中，S3，在邻域窗口，基于图像对的特征点计算匹配正确的概率、对应特征空间点不同的概率与相同的概率，具体方法如下：

当像素a与像素b具有相同的邻域特征，根据事件发生概率及约束(2)，他们匹配正确的概率为式(2)。

式中，m为图像I_b中的真匹配特征，M为I_b所有特征，β为参数调节因子。

为了求解两个具有相同邻域特征点所对应的三维空间点相同的概率，此时，令则存在式(3)。

同样，为了最终求解两个具有相同邻域特征点所对应的三维空间点不同的概率，令

则存在式(4)。

式(4)与式(3)非常相似，计算方法也类似，概率可以通过贝叶斯规则扩展为与

无关的子概率。将表3-2和式(2)中的值代入到式(3)和式(4)中，便可以得到最终概率结果。并且，由于每个像素特征点之间的匹配是相互独立的，因此，利用约束(1)、式(3)和(4)，我们可以近似地得到邻域匹配支撑统计量S_i的分布，即像素x_i附近邻域内的匹配统计量，从而得到一对新的二项分布：

尽管方程(5)看起来很复杂，但可以看出，真匹配与假匹配有邻域支撑统计量S_i，它们遵循非常不同的分布。这意味着S_i的总体可能是双模态的，所以，将S_i需要分成真、假匹配两种指标，如图4。

其中，S4，计算邻域匹配支撑统计量，具体方法如下：

像素运动在大面积上是平滑的，并且，邻域支撑现象只能在小窗口范围内满足约束(1)。在过大的窗口中，真匹配可能会包含一些假匹配，反之亦然。这样会降低真、假匹配分布的可分离性。因此，在约束(1)的基础上再做改进，即如果在一个大区域中，一个真匹配邻域允许存在多个假匹配的小区域，反之，一个假匹配邻域中也允许存在多个真匹配的小区域，因此便能得到更一般的统计模式，如式(6)。

式中，k是与预测的相匹配但不相交区域的数量。{a^k,b^k}是预测的区域对，是落在区域对{a^k,b^k}上的匹配子集，

其中，S5，计算支撑统计量的统计特征，统计特征包括分布、方差等，具体方法如下：

假设每个小区域对都具有{n,m}个特征点，类似于式(5)，则将S_i表示为新的二项分布，满足式(7)。

S_i分布的均值和标准差分别为:

在处理统计事件时，认为离均值x差远的事件发生的可能性非常小。因此可以进行量化：

从式(9)可以看出，P与

成正比。当m_t＞＞m_f时，基本都为真匹配；当m_t＜＜m_f时，基本都为假匹配。理论推导与实际符合。

需要指出的是，匹配是一个非对即错的过程。不可能说这个像素点既是正确匹配，又是错误匹配。所以，总共有m*n个像素与m*n个像素进行匹配，最终可以总结成二项式分布。将像素邻域内其他匹配对的统计量作为该像素匹配正误的评判指标。根据统计量与阈值做大小比较，归纳总结每个极小邻域内的匹配情况。

与传统技术方案相比，本实施例提供的方法具有以下优点：

1.该方法主要依据运动平滑度使小阈值的邻域实现真匹配，即具有相同的三维空间点，而假匹配周围的邻域将会看到不同的三维空间位置，即具有不同的三维空间点；从而可以转化为一种高效的基于邻域支撑匹配算法统计器；

2.如果某个邻域内既有匹配正确的点匹配对，又有匹配错误的匹配对，则分别统计匹配正确与匹配错误的数量，最终由统计量判断该邻域的匹配正误；从而将运动平滑约束条件转换为计算真、假匹配的统计度量。展示了这种约束可以在以前难以处理的场景中进行匹配；

3.该方法展示了一个邻域内的所有特征点都具有相同的运动属性；

4.应用本发明得到的实验结果，在匹配对的数量上，特征点匹配数目达到了几十万个，实现了指数级的增加，匹配精度也能达97％，为图像匹配的高精度要求奠下了基础。在匹配所需的时间上，只需要50ms左右，为图像匹配的实时性提供了保证。

综上，根据本发明提供的基于邻域支撑的图像匹配方法，摒去单独依照距离判定特征点相似度的思想，在采用最邻近算法的前提下，再将周围特征点匹配的统计量作为自身匹配对错的判断条件，起到在短时间内增加匹配点对数的作用，从而为图像匹配缩短所需时间并且提高匹配精度。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (7)

1.一种基于邻域支撑的图像匹配方法，其特征在于，包括以下步骤：

S1，获取一幅图像对，分析邻域窗口，并在邻域窗口内计算图像对的特征；

S2，分析邻域窗口，并划分特征空间；

S3，在邻域窗口，基于图像对的特征点计算匹配正确的概率、对应特征空间点不同的概率与相同的概率；

S4，计算邻域匹配支撑统计量；

S5，计算支撑统计量的统计特征。

2.根据权利要求1所述的基于邻域支撑的图像匹配方法，其特征在于，正确的特征点匹配需满足以下三个约束：

(1)运动平滑度使小阈值的邻域实现真匹配，即具有相同的三维空间点，而假匹配周围的邻域将会看到不同的三维空间位置，即具有不同的三维空间点，邻域被定义为围绕着某个特征点像素周围的3*3或者5*5窗口，假设存在一个真匹配的邻域，即具有相同的三维空间区域，因此在两个图像中有很多的相似特征，即为邻域匹配支撑；

(2)如果某个邻域内既有匹配正确的点匹配对，又有匹配错误的匹配对，则分别统计匹配正确与匹配错误的数量，最终由统计量判断该邻域的匹配正误；即当匹配正确的统计量多时，则保留匹配正确的匹配对；如果匹配错误的匹配量多时，则认为该邻域内全部是误匹配；

(3)一个邻域内的所有特征点都具有相同的运动属性，根据该属性可以推导，如果一个邻域内只有一个匹配点，不管其匹配正确与否，都认为该像素邻域内的匹配是假匹配。

3.根据权利要求2所述的基于邻域支撑的图像匹配方法，其特征在于，步骤S1具体包括：

设定一幅图像对{I_a,I_b}分别具有{N,M}个特征点，X＝{x₁,x₂,···,x_i,···,x_N}是图像I_a中所有特征点的集合，X最大值取|X|＝N，将X划分为真匹配X_i和假匹配的集合，

X_i表示匹配数，S_i表示邻域匹配支撑统计量，邻域匹配支撑统计量与匹配数之间相差1，通过下式分析每个匹配的邻域支撑量：

S_i＝|X_i|-1。

4.根据权利要求3所述的基于邻域支撑的图像匹配方法，其特征在于，步骤S2具体包括：

选取的邻域窗口为3×3或者5×5，同时考虑部分相似或者非常相似的匹配情况，假设f_a是图像I_a区域里N个特征匹配之一，对应的正确匹配的概率t，在图像对{I_a,I_b}做像素匹配时，计算特征点邻域的匹配概率。

5.根据权利要求4所述的基于邻域支撑的图像匹配方法，其特征在于，步骤S3具体包括：

当像素a与像素b具有相同的邻域特征，两种匹配正确的概率为下式：

式中，m为图像I_b中的真匹配特征，M为I_b所有特征，β为参数调节因子；

为求解两个具有相同邻域特征点所对应的三维空间点相同的概率，此时，令

则存在下式：

同样，为最终求解两个具有相同邻域特征点所对应的三维空间点不同的概率，令

则存在下式：

利用上式得到邻域匹配支撑统计量S_i的分布，即像素x_i附近邻域内的匹配统计量，从而得到一对新的二项分布：

其中，S_i的总体可能是双模态的，所以，将S_i需要分成真、假匹配两种指标。

6.根据权利要求5所述的基于邻域支撑的图像匹配方法，其特征在于，步骤S4具体包括：

如果在一个大区域中，一个真匹配邻域允许存在多个假匹配的小区域，反之，一个假匹配邻域中也允许存在多个真匹配的小区域，因此便能得到更一般的统计模式，如式下：

式中，k是与预测的相匹配但不相交区域的数量，{a^k,b^k}是预测的区域对，

是落在区域对{a^k,b^k}上的匹配子集，

7.根据权利要求6所述的基于邻域支撑的图像匹配方法，其特征在于，步骤S5具体包括：

假设每个小区域对都具有{n,m}个特征点，则将S_i表示为新的二项分布，满足下式：

S_i分布的均值和标准差分别为:

在处理统计事件时，认为离均值差远的事件发生的可能性非常小，因此可进行量化：

其中，P与

成正比，当m_t＞＞m_f时，基本都为真匹配；当m_t＜＜m_f时，基本都为假匹配。

Images