CN114332510A - 一种层次化的图像匹配方法 - Google Patents

Abstract

本发明公开一种层次化的图像匹配方法，获得查询图像和参考图像特征点特征描述子，从参考图像包含的局部特征点中，为查询图像中的每个局部特征点寻找两个最相似的候选匹配特征点；并依次筛选出最佳特征匹配结果。本发明能够快速地计算出两幅图像之间的特征匹配点，然后应用于一系列的基于图像匹配的高层次计算机视觉任务中：基于图像的三维重建、同时定位与地图构建、图像检索、地图导航、数字孪生、图像拼接、混合现实、虚拟现实和增强现实等。

Description

一种层次化的图像匹配方法

技术领域

本发明属于计算机图像处理处理技术，具体涉及一种层次化的图像匹配方法。

背景技术

图像匹配是计算机视觉领域的热点研究问题，受到了国内外研究者们的广泛关注。一个完整的图像匹配流程包括以下步骤：检测图像中的特征点、计算对应的特征描述子，特征匹配，消除错误的特征匹配点。在实践中，受特征描述子的歧义性、图像的纹理、光照和尺度变化等因素的影响，导致自然场景下的图像匹配精度较低，严重影响了基于图像匹配的高层次计算机视觉技术的研究进程与应用。

以基于图像的三维重建为例，如果错误的特征匹配点作为三维重建***的输入数据，可能会破坏三维模型的完成性和几何一致性，获得错误的摄像机姿态信息和低精度的三维模型，甚至导致三维重建过程失败。因此，人们迫切希望能够提出一种高精度的图像匹配方法，既能够产生大量的特征匹配点，又能够消除其中的错误的特征匹配点，以便提高基于图像匹配的高层次计算机视觉应用***的性能。目前现有相关研究存在以下问题：

(1)在处理两幅图像之间的特征匹配时需要若干秒的时间，难以满足一些实时处理应用的需求；

(2)要么是特征匹配的结果依赖于所选用的空间聚类方法，要么仅适用于宽基线图像的特征匹配，即都不具有通用性；

(3)不能同时消除由于描述的歧义性、图像尺度、纹理和光照变化等多种因素所导致的所有的错误特征匹配点。

发明内容

发明目的：本发明的目的在于解决现有技术中存在的不足，提供一种层次化的图像匹配方法，从参考图像的局部特征点集合中为查询图像中的每个局部特征点寻找一个精确的匹配点，然后通过计算出来的精确的特征匹配点，使得一系列基于图像匹配的高层次的计算机视觉应用变成可能。

技术方案：本发明的一种层次化的图像匹配方法，涉及图像的特征点检测、特征匹配和错误匹配消除，具体包括以下步骤：

步骤S1：针对输入的两幅图像，即查询图像I_l和参考图像I_r，分别对其使用局部特征点检测方法和局部特征描述子计算方法，来计算出查询图像I_l和参考图像I_r中各自包含的局部特征点和对应的特征描述子；

其中，从查询图像I_l的检测出来的局部特征点为K_l＝k(x_i,y_i)，对应的特征描述子为D_l＝d(k(x_i,y_i))；i∈[1,M]，M表示从查询图像I_l中检测出来的局部特征点数量；

从参考图像I_r中的检测出来的局部特征点为K_r＝k(x′_j,y′_j)，对应的特征描述子为D_r＝d(k(x′_j,y′_j))；j∈[1,N]，N表示从参考图像I_r中检测出来的局部特征点数量；

步骤S2：从参考图像包含的局部特征点中，为查询图像中的每个局部特征点k(x_i,y_i)寻找两个最相似的候选匹配特征点，即为k(x′_j,y′_j)和k(x′_j+1,y′_j+1)；

步骤S3：计算两个候选匹配特征点k(x′_j,y′_j)和k(x′_j+1,y′_j+1)与特征点k(x_i,y_i)之间的距离差异比值ρ，进而根据距离差异比值ρ确定初始特征匹配结果Matches₁；

步骤S4：对于初始特征匹配结果Matches₁，使用交叉验证法消除由于特征描述子歧义性产生的错误特征匹配，进而获得特征匹配结果为Matches₂；

步骤S5：对于特征匹配结果Matches₂，消除其中所有因为不满足几何一致性导致的错误特征匹配点，获得精确的特征匹配结果Matches₃；

步骤S6：对于特征匹配结果Matches₃，使用基于聚类的方法消除受噪声数据的影响所导致的错误特征匹配点，从而获得最终的特征匹配结果，即为Matches_Final。

进一步地，所述步骤S1中计算局部特征点和对应的特征描述子的具体方法为：

1)特征点的预训练，通过制作一些三维物体并对这些物体进行一个视角的图片截取得到二维图像；所得二维图像中所有的特征点的真值是已知的，因此将其用于网络训练；

2)特征点自标注，采用ImageNet作为该部分的训练数据集和测试数据集；使用合成场景进行训练得到基础特征点检测网络模型，同时利用基础特征点检测网络模型在ImageNet数据集上进行特征点的提取，即为特征点自标注；

3)联合训练，针对上一步骤中使用的图片进行几何变换，得到若干图片对，将同一对图片对的两张图片输入网络，提取特征点和描述子，进行联合训练获得基于深度学习的局部特征，从而进行局部特征点的检测和计算特征描述子。

进一步地，所述步骤S2中使用层次化的局部感知哈希法来计算获得k(x′_j,y′_j)和k(x′_j+1,y′_j+1)，具体过程如下：

1)构造哈希索引

记G＝{g:S→U}表示函数族，其中，S为输入，S为输出，g(v)＝(h₁(v),…,h_k(v)),h_i∈H，表示随机独立地从函数族G中选择L个哈希函数g₁,…,g_L；对于数据集中任意一点v，将其存储到桶g_i(v)中，其中，i＝1,…,L；

2)哈希搜索

对于一个查询点q＝k(x_i,y_i)以及给定的距离阈值r，从搜索桶g₁(q),…,g_L(q)，取出其中的所有点v₁,…,v_n作为候选近似最近邻点；对于任意的v_j，如果D(q,v_j)≤r，则返回v_j，其中D(·)为相似性度量函数。通过上述过程，可以找到两个最佳的候选匹配点，q为查询点。

进一步地，所述步骤S3中特征点k(x_i,y_i)与两个候选匹配的局部特征点k(x′_j,y′_j)和k(x′_j+1,y′_j+1)之间的差异比值ρ的计算方法为：

若

则该k(x′_j,y′_j)为局部特征点k(x_i,y_i)的正确匹配点，进而得到初始的特征匹配结果Matches₁：

Matches₁＝{<k(x_i,y_i),k(x′_j,y′_j)>|i∈[1,M-,j∈[1,N-}；

其中，d(k(x_i,y_i))表示局部特征点k(x_i,y_i)的特征描述子；d(k(x′_j,y′_j))表示候选匹配特征点局部特征点k(x′_j,y′_j)的特征描述子；d(k(x′_j+1,y′_j+1))表示局部特征点k(x′_j+1,y′_j+1)的特征描述子。

进一步地，所述步骤S4中采用交叉验证法来消除错误特征匹配点，具体方法为：

首先将查询图像的特征点k(x_i,y_i)与参考图像的特征点k(x′_j,y′_j)进行匹配，进而将参考特征点k(x′_j,y′_j)与查询特征点k(x_i,y_i)进行匹配，如果两次匹配的结果不一致，则将<k(x_i,y_i),k(x′_j,y′_j)>从Matches₁删除，从而获得更加精确的特征匹配结果Matches₂：

Matches₂＝{<k(x′_jj,y′_jj),k(x_ii,y_ii)>|ii∈[1,M-,jj∈[1,N]}。

进一步地，所述步骤S5中采用几何约束法Matches₂中不满足几何一致性的错误特征匹配点，具体方法为：

首选计算查询特征点k(x_i,y_i)与参考特征点k(x′_j,y′_j)之间的单应矩阵H，进而计算查询特征点k(x_i,y_i)与Hk(x′_j,y′_j)之间的距离τ，如果τ<0.5，则认为<k(x_i,y_i),k(x′_j,y′_j)>是一对正确的特定匹配点；否则是错误的特定匹配点，应该从Matches₂消除，从而获得精确的特征匹配结果Matches₃。

进一步地，所述步骤S6的详细方法为：

S6.1、采用层次化聚类方法对Matches₃参考特征点进行聚类，找出中心点C₁；

S6.2、以C₁为中心计算参考特征点的外接矩形Rect₁；

S6.3、根据单应性变换，检出Rect₁在查询图像I_r中的对应区域Rect′₁；

S6.4、从Matches₃删除在区域Rect′₁之外的匹配点，即可获得最终的特征匹配结果Matches_Final。

有益效果：本发明所提出的层次化图像匹配方法同时考虑了影响局部特征匹配精度的多种因素(如特征描述子的歧义性、图像的光照、纹理和尺度变化等)，采用层次的特征匹配错误消除方法，逐步地消除错误的特征匹配点，此方法快速、精确，匹配结果可以应用于如三维重建、图像检索、同时定位与地图构建、数字孪生等高层次的计算机视觉应用***中。

附图说明

图1为本发明的整体处理流程示意图；

图2为本发明一实施例中的图像处理流程示意图；

图3为本发明一实施例中的输入原始图；

图4为本发明一实施例中的最终输出结果；

其中，图3(a)为查询图像，图3(b)为参考图像。

具体实施方式

下面对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。

如图1所示，本发明的一种层次化的图像匹配方法，包括以下步骤：

步骤S1、对给出的输入图像，即查询图像I_l和参考图像I_r，分别对其使用局部特征检测方法，计算出查询图像和参考图像各自包含的局部特征点和对应的特征描述子；

其中查询图像I_l的局部特征点为K_l＝k(x_i,y_i)，对应的特征描述子为D_l＝d(k(x_i,y_i))；i∈[1,M]；

参考图像I_r中的局部特征点为K_r＝k(x′_j,y′_j)，对应的特征描述子为D_r＝d(k(x′_j,y′_j))；j∈[1,N]；

M和N分别表示查询图像和参考图像中的局部特征点数量；

步骤S2：从参考图像包含的局部特征点中，为查询图像中的每个局部特征点k(x_i,y_i)寻找两个最相似的候选匹配特征点k(x′_j,y′_j)和k(x′_j+1,y′_j+1)；

步骤S3：计算最相似的两个候选匹配特征点之间的距离差异比值ρ，进而根据比值确定初始特征匹配结果Matches₁；

步骤S4：对于初始特征匹配结果Matches₁，消除其中所有由于特征描述子歧义性产生的错误特征匹配，获得精确的特征匹配结果Matches₂；

步骤S5：对于特征匹配结果Matches₂，消除其中所有因为不满足几何一致性导致的错误特征匹配点，获得精确的特征匹配结果Matches₃；

步骤S6：对于特征匹配结果Matches₃，消除其中所有由于特征匹配方法受噪声数据的影响所导致的错误特征匹配点，从而获得最终的特征匹配结果Matches_Final。

实施例1：

如图2所示，步骤(a)使用比例测试方法消除由于描述子的歧义性所导致的错误匹配点；步骤(b)使用交叉验证方法消除非对称的特征匹配点；步骤(c)使用几何约束方法消除不满足特定几何模型的特征匹配点(如单应矩阵约束、基本矩阵约束和极线约束等)；步骤(d)使用统计优化和特征聚类方法消除受噪声数据影响所导致的错误匹配点。

本实施例的具体步骤为：

Step1：用户输入两幅图像，即查询图像I_l和参考图像I_r。输入图像中可以包含有一定的遮挡、模糊、特定的形状和物体、以及色彩差异；且不需要用户对输入图像进行任何的预处理操作。

Step2：分别检测查询图像I_l和参考图像I_r中的特征点，以及计算对应的特征描述子。

记查询图像I_l中的查询特征点为K_l＝{k(x_i,y_i)|i∈[1,M]}，对应的特征描述子为D_l＝{d(k(x_i,y_i))|i∈[1,M]}。

参考图像I_r中的参考特征点为K_r＝{k(x′_j,y′_j)|j∈[1,N]}，对应的特征描述子为D_r＝{d(k(x′_j,y′_j))|j∈[1,N]}。

其中，M和N分别表示查询图像和参考图像中的特征点数量；d(k(x_i,y_i))表示特征点k(x_i,y_i)的特征描述子；d(k(x′_j,y′_j))表示特征点k(x′_j,y′_j)的特征描述子。

Step3：使用层次化的局部感知哈希方法为查询特征点k(x_i,y_i)寻找两个候选的匹配点k(x′_j,y′_j)和k(x′_j+1,y′_j+1)，进而可以计算出两个候选匹配点之间的差异比值：

其中，d(k(x_i,y_i))表示局部特征点k(x_i,y_i)的特征描述子；d(k(x′_j,y′_j))表示局部特征点k(x′_j,y′_j)的特征描述子；d(k(x′_j+1,y′_j+1))表示局部特征点k(x′_j+1,y′_j+1)的特征描述子。如果

则认为特征点k(x′_j,y′_j)是特征点k(x_i,y_i)的正确匹配点；至此，可以获得初始的特征匹配结果Matches₁：

Matches₁＝{<k(x_i,y_i),k(x′_j,y′_j)>|i∈[1,M],j∈[1,N]} (2)

Step4：以参考图像I_r中的特征点k(x′_jj,y′_jj)作为查询特征点，从查询图像I_l中为特征点k(x′_jj,y′_jj)寻找两个候选匹配点k(x_ii,y_ii)和k(x_ii+1,y_ii+1)；根据式(1)可以计算出如下所示的特征匹配结果：

Matches₂＝{<k(x′_jj,y′_jj),k(x_ii,y_ii)>|ii∈[1,M],jj∈[1,N]} (3)

合并Matches₁和Matches₂中的匹配结果，当i＝ii且j＝jj时，<k(x_i,y_i),k(x′_j,y′_j)>被看作为一对正确的匹配点，否则错误的匹配点、应该被删除，从而可以获得如下所示的特征匹配结果：

Matches₃＝{<k(x_p,y_p),k(x′_q,y′_q)>|p∈[1,M],q∈[1,N]}； (4)

通过上述过程的交叉验证，使得验证结果满足一致性。

Step5：根据Matches₃计算出查询图像I_l和参考图像I_r之间的单应矩阵H_lr，如下所示：

记k(x′_q,y′_q,1)为k(x′_q,y′_q)的齐次坐标，进而可以计算出特征点k(x′_q,y′_q)在查询图像I_l中的对应点：

如果特征点k(x′_p,y′_p)与特征点k(x_p,y_p)之间的距离小于0.5，则认为<k(x_p,y_p),k(x′_q,y′_q)>是一对正确的特征匹配点，否则应该将其从Matches₃中删除，进而可以获得如下所示的特征匹配结果。

Matches₄＝{<k(x_g,y_g)，k(x′_s,y′_s)>|g∈[1,M],s∈[1,N]} (7)

其中，<k(x_g,y_g)、k(x′_s,y′_s)>是一对特征匹配结果，k(x_g,y_g)表示查询特征点，k(x′_s,y′_s)表示参考特征点。

Step6：在实践中，由于求解单应矩阵H_lr时受噪声数据的影响，导致特征匹配结果Matches₄中仍然存在错误的特征匹配点，对于这些错误的匹配点、既可以采用基于统计的错误消除方法又可以采用基于聚类的错误消除方法将其从Matches₄中删除，从而获得完全正确的特征匹配结果，如下所示：

Matches_Final＝{<k(x_v,y_v),k(x′_c,y′_c)>|v∈[1,M],c∈[1,N]} (8)

其中，M和N分别为查询图像I_l和参考图像I_r中的特征点数量。

图2中个，从步骤b到步骤c依次进行以下操作：

首先进行特征点的初始匹配，然后分别采用：比例测试、交叉验证、几何约束、统计与聚类方法，分别逐层消除错误的特征匹配，从而获得正确的特征匹配结果。

上述实施例中，输入图像如图3所示，图3(a)为查询图像，图3(b)为参考图像；在图像匹配的计算过程中，不需要对输入图像进行任何预处理操作。

如图4所示，本实施例的最初输出匹配结果图4所示，其中绿色的直线表示正确的特征匹配点；连线的两端表示特征点在图像中的位置。

通过上述实施例可以看出，本发明通过分析造成特征匹配错误的多种因素，提供高层次化的特征匹配方法，逐层地消除错误的特征匹配点，为提高基于图像匹配的高层次计算机视觉应用***的性能奠定基础。能够快速及高效地计算出对应的特征匹配点，进而应用于一系列基于图像匹配的高层次计算机视觉应用***。

Claims (7)

1.一种层次化的图像匹配方法，其特征在于：包括以下步骤：

步骤S1：针对输入的两幅图像，即查询图像I_l和参考图像I_r，分别对其使用局部特征点检测方法和局部特征描述子计算方法，来计算出查询图像I_l和参考图像I_r中各自包含的局部特征点和对应的特征描述子；

其中，从查询图像I_l的检测出来的局部特征点为K_l＝k(x_i，y_i)，对应的特征描述子为D_l＝d(k(x_i，y_i))；i∈[1，M]，M表示从查询图像I_l中检测出来的局部特征点数量；

从参考图像I_r中的检测出来的局部特征点为K_r＝k(x′_j，y′_j)，对应的特征描述子为D_r＝d(k(x′_j，y′_j))；j∈[1，N]，N表示从参考图像I_r中检测出来的局部特征点数量；

步骤S2：从参考图像包含的局部特征点中，为查询图像中的每个局部特征点k(x_i，y_i)寻找两个最相似的候选匹配特征点，即为k(x′_j，y′_j)和k(x′_j+1，y′_j+1)；

步骤S3：计算两个候选匹配特征点k(x′_j，y′_j)和k(x′_j+1，y′_j+1)与特征点k(x_i，y_i)之间的距离差异比值ρ，进而根据距离差异比值ρ确定初始特征匹配结果Matches₁；

步骤S4：对于初始特征匹配结果Matches₁，使用交叉验证法消除由于特征描述子歧义性产生的错误特征匹配，进而获得特征匹配结果为Matches₂；

步骤S5：对于特征匹配结果Matches₂，消除其中所有因为不满足几何一致性导致的错误特征匹配点，获得特征匹配结果Matches₃；

步骤S6：对于特征匹配结果Matches₃，使用基于聚类的方法消除受噪声数据的影响所导致的错误特征匹配点，从而获得最终的特征匹配结果，即为Matches_Final。

2.根据权利要求1所述的层次化的图像匹配方法，其特征在于：所述步骤S1采用基于深度学习的局部特征检测法来计算局部特征点和对应的特征描述子的具体方法为：

步骤S1.1、局部特征点的预训练：通过制作相应三维物体并对这些物体进行一个视角的图片截取得到二维图像，将这些二维图像中所有已知的局部特征点用于网络训练；

步骤S1.2、特征点自标注：采用ImageNet作为训数据集和测试数据集；使用合成场景进行训练得到基础特征点检测网络模型，同时利用基础特征点检测网络模型在ImageNet数据集上进行特征点的提取，即为特征点自标注；

步骤S1.3、联合训练：针对上一步骤中使用的图片进行几何变换，若干图片对，将相应图片对输入基础特征点检测网络，提取特征点和描述子，进行联合训练获得基于深度学习的局部特征，从而进行局部特征点的检测和计算特征描述子。

3.根据权利要求1所述的层次化的图像匹配方法，其特征在于：所述步骤S2中使用层次化的局部感知哈希法来计算获得k(x′_j，y′_j)和k(x′_j+1，y′_j+1)，具体过程如下：

S2.1、构造哈希索引

记G＝{g：S→U}表示函数族，其中，S表示输入，U表示输出；g(v)＝(h₁(v)，…，h_k(v))，h_i∈H，表示随机独立地从函数族G中选择L个哈希函数g₁，…，g_L；对于数据集中任意一点v，将其存储到桶g_i(v)中，其中，i＝1，…，L；

S2.2、哈希搜索过程

对于一个查询点q＝k(x_i，y_i)以及给定的距离阈值r，从搜索桶g₁(q)，…，g_L(q)，取出其中的所有点v₁，…，v_n作为候选近似最近邻点；对于任意的v_j，如果D(q，v_j)≤r，则返回v_j，其中D(·)为相似性度量函数，q表示查询点；

通过上述过程找到两个最佳的候选匹配点。

4.根据权利要求1所述的层次化的图像匹配方法，其特征在于：所述步骤S3中特征点k(x_i，y_i)与两个候选匹配的局部特征点k(x′_j，y′_j)和k(x′_j+1，y′_j+1)之间的差异比值ρ的计算方法为：

若

则k(x′_j，y′_j)为局部特征点k(x_i，y_i)的正确匹配点，进而得到初始的特征匹配结果Matches₁：

Matches₁＝{＜k(x_i，y_i)，k(x′_j，y′_j)＞|i∈[1，M]，j∈[1，N]}；

其中，d(k(x_i，y_i))表示局部特征点k(x_i，y_i)的特征描述子；d(k(x′_j，y′_j))表示局部特征点k(x′_j，y′_j)的特征描述子；d(k(x′_j+1，y′_j+1))表示局部特征点k(x′_j+1，y′_j+1)的特征描述子。

5.根据权利要求1所述的层次化的图像匹配方法，其特征在于：所述步骤S4中采用交叉验证法来消除错误特征匹配点，具体方法为：

首先将查询图像的特征点k(x_i，y_i)与参考图像中的特征点k(x′_j，y′_j)进行匹配，进而将参考特征点k(x′_j，y′_j)与查询特征点k(x_i，y_i)进行匹配，如果两次匹配的结果不一致，则将<k(x_i，y_i)，k(x′_j，y′_j)>从Matches₁删除，从而获得更加精确的特征匹配结果Matches₂。

6.根据权利要求1所述的层次化的图像匹配方法，其特征在于：所述步骤S5中采用几何约束法Matches₂中不满足几何一致性的错误特征匹配点，具体方法为：

首选计算查询特征点k(x_i，y_i)与参考特征点k(x′_j，y′_j)之间的单应矩阵H，进而计算查询特征点k(x_i，y_i)与Hk(x′_j，y′_j)之间的距离τ，如果τ＜0.5，则认为<k(x_i，y_i)，k(x′_j，y′_j)>是一对正确的特定匹配点；否则是错误的特定匹配点，应该从Matches₂消除，从而获得精确的特征匹配结果Matches₃；

其中，Hk(x′_j，y′_j)是指特征点k(x′_j，y′_j)在查询图像中的位置。

7.根据权利要求1所述的层次化的图像匹配方法，其特征在于：所述步骤S6采用基于聚类的特征匹配错误消除法来逐层消除错误特征匹配点，具体内容为：

S6.1、采用层次化聚类方法对Matches₃参考特征点进行聚类，找出中心点C₁；

S6.2、以C₁为中心计算参考特征点的外接矩形Rect₁；

S6.3、根据单应性变换，检出Rect₁在查询图像I_r中的对应区域Rect′₁；

S6.4、从Matches₃删除在区域Rect′₁之外的匹配点，即可获得最终的特征匹配结果Matches_Final。

Images