CN104182974A - 一种基于特征点进行图像匹配的加速方法 - Google Patents

Abstract

本发明公开了一种基于特征点进行图像匹配的加速方法，属于计算机视觉领域。其特征在于，在目标图像和参考图像特征点提取和特征描述子构建之间加入fishing策略，将目标图像的所有特征点按照位置均匀划分为N×N个子区域，从各子区域里随机选取一定比例的特征点，并仅为这些特征点构建特征描述子并匹配。如果从某子区域中取出的特征点在参考图像中有较多匹配点，那么就增加下一次从该区域中选取特征点的数量，反之减少，直到匹配点总数达到阈值要求，或参与匹配的特征点达到一定比例。当参考图像已知时，与原有基于特征点进行图像匹配的方法相比，本发明可将图像匹配速度提高5倍左右，且不降低匹配精度、节省内存，并在一定程度上解决了匹配点的聚集问题。

Description

一种基于特征点进行图像匹配的加速方法

技术领域

本发明涉及计算机视觉领域，特别是涉及一种图像匹配的加速方法。

背景技术

图像匹配一直是计算机视觉领域的研究热点，并已在视觉导航、目标定位、目标识别与跟踪、遥感图像处理、图像检索、立体视觉测距和三维重建等方面得到了广泛应用。

基于特征点进行图像匹配是一类常用的图像匹配方法。其过程主要有三，首先，分别提取目标图像和参考图像的特征点，如斑点或角点；然后，为各特征点构建特征描述子；最后，测定目标图像和参考图像各个特征描述子之间的距离，当两个特征点的距离小于一定阈值时，判定两个特征点能够匹配，当匹配点数量大于一定阈值时，认定两幅图像之间存在匹配关系。以目标识别任务为例，匹配的结果可表明，从参考图像中识别出目标图像。

下面以著名的SIFT(scale invariant feature transform)算法为例，简要说明图像匹配的三个主要环节。(1)目标图像与参考图像特征点提取。在该环节，SIFT算法首先构建高斯金字塔，然后根据高斯金字塔构建高斯差分金字塔，最后将此尺度空间的极值点位置确定为特征点位置。(2)特征描述子构建。为使特征描述子具有旋转、仿射、光照等不变性，SIFT采用如下方法构建特征描述子：首先，通过特征点的邻域梯度方向直方图选择出各特征点的主方向α。其次，以主方向α作为参考坐标轴方向，把对应特征点的邻域化分为16个子区域，并在每个子区域内构建8个方向的梯度直方图。最后，按一定顺序连接16个子区域内8个方向的梯度直方图，生成长度为128维的特征描述子向量，并为参考图像构建k维搜索树。需要说明的是，在目标识别等应用中，参考图像是已知的。这时，为了节省匹配时间，可提前进行参考图像特征点提取、特征描述子构建，以及k维搜索树构建与保存等工作，在接下来的特征匹配环节，直接调用该k维搜索树即可。(3)特征匹配。基于参考图像的k维搜索树，计算目标图像和参考图像特征描述子向量间的欧氏距离，当最近邻欧氏距离与次近邻欧氏距离的比值小于设定阈值时，则认为是一个匹配点对。

SIFT具有公认的良好性能，但也存在以下三方面问题。一是运行速度慢、实时性差。虽然许多学者给出了多种改进方案，但大多以牺牲SIFT的匹配精度为代价。例如，为人熟知的SURF(speeded up robust features)算法，其速度是SIFT的3倍，但实际匹配性能较之SIFT有所下降。实际上，在SIFT图像匹配的三个环节中，第二环节的特征描述子构建需要的计算量最大。经实验测试，第一环节特征点提取花费约10％～20％左右的时间，第三环节特征匹配花费约20％～30％的时间，而第二环节特征描述子构建则消耗约50％～70％左右的时间。因此，若能减少第二环节中特征描述子的构建时间，则能显著提升SIFT算法的匹配速度。

第二方面的问题是，当SIFT算法提取的特征点很多时，构建128维的特征描述子向量需要占用较大的内存，这对嵌入式应用如智能手机极为不利。如果每次只选取一小部分特征点进行特征描述子构建，则能显著降低对内存的要求。

第三方面的问题是，SIFT提取的特征点常常存在聚集(仅相差几个像素)现象，进而导致匹配点的聚集。原因之一在于，为了保证尺度不变性，SIFT算法构建了高斯金字塔。在高斯金字塔的不同组中，同一特征点可能会重复出现。由于处理误差的存在，对应到原图像中时，重复出现的特征点位置不完全重合，但位置极近。然而，在图像矫正等应用中，人们更为关注的是匹配点的分散程度，及其对后续处理所提供信息的有效性。举一个例子，如果有10个匹配点，其中5个匹配点出现了聚集现象(即5个匹配点相互之间仅相差几个像素)，那么在图像矫正应用中，这5个匹配点提供的信息相当于一个匹配点提供的信息。换句话说，在这10个匹配点中，实际有效的匹配点只有6个，另外的4个特征点对图像矫正几乎没有贡献，却增加了匹配的计算量和对内存的要求。若将特征点分成多个空间分散的子区域，并从每个子区域随机选取部分特征点进行匹配，则能提高特征点的分散度，从而在一定程度上解决匹配点的聚集问题。

发明内容

本发明针对基于特征点进行图像匹配的一类方法，如SIFT、SURF等斑点算法，或Harris和FAST等角点算法，提供一种加速方案，在不降低图像匹配精度的情况下，显著提高图像匹配的速度。同时，降低对内存的要求，并在一定程度上解决匹配点的聚集问题。

本发明在第一环节的目标图像与参考图像特征点提取和第二环节的特征描述子构建之间加入fishing策略，通过将目标图像的特征点分区、循环随机选取各子区域一小部分特征点，并仅将这小部分特征点送入特征描述子构建环节，实现节约时间、节省内存、优先匹配具有较好分散度的特征点的效果。取名fishing的原因在于，若将目标图像中的特征点比作鱼饵，将参考图像中的特征点比作鱼，则目标图像与参考图像之间的特征点匹配过程与捕鱼过程非常相似。具体的技术方案如下：

第一步，应用斑点或角点提取算法从目标图像和参考图像中提取特征点，建立参考图像的k维搜索树。如果参考图像已知，提前进行参考图像的特征点提取、特征描述子构建、k维搜索树构建与保存工作；此步骤只需调用参考图像的k维搜索树，而无须进行参考图像特征点提取及k维搜索树建立。

第二步，将目标图像的所有特征点按照位置均匀划分为N×N个子区域，为各子区域设置特征点选取比例ai＝a0，i＝1,…,N²，a0为初始选取比例。

第三步，在有剩余特征点的子区域i中随机选取比例为ai的特征点，i＝1,…,N²。

第四步，为已选特征点构建特征描述子。

第五步，基于参考图像的k维搜索树，对上述构建的目标图像特征描述子与参考图像特征描述子进行特征匹配。

第六步，应用RANSAC(random sample consensus)剔除误匹配点。

第七步，计算总匹配点数。若总匹配点数≥阈值TH，结束匹配过程；否则执行第八步。

第八步，若目标图像中参与匹配的特征点比例大于设定值P，结束匹配过程；否则，根据各子区域的匹配情况动态调整其特征点选取比例ai，i＝1,…,N²：如果从区域i中取出的特征点在参考图像中有较多的匹配点，就增大ai，即增加下一次从该区域中选取特征点的数量；反之，如果在参考图像中只有较少的匹配点或没有匹配点，就减小ai，即减少下一次从该区域中选取特征点的数量。从各子区域的特征点子集中剔除已经参与匹配的特征点，转到第三步。

在fishing策略中，对目标图像的所有特征点按照位置进行N×N均匀分区时，N可取3、4，或5。结束匹配过程所需的总匹配点数阈值TH可设置为10，结束匹配过程所需的目标图像中参与匹配的特征点比例P可设置为50％，或根据实际需要对TH和P进行调整。各子区域的特征点选取比例ai(i＝1,…,N²)设置如下：初始选取比例a0＝10％，或当内存有限制时，根据每次匹配所能处理的特征点数目对a0进行设定；采用上一次的匹配率mi/ni衡量各子区域的匹配情况，其中ni是子区域i中参与上一次匹配的总特征点数，mi是其中的匹配点数，根据各子区域的匹配率mi/ni动态调整ai的方法如下：若(mi/ni)<10％，则减小选取比例，令ai＝0.5a0；若(mi/ni)≥10％，则增大选取比例，令ai＝2a0。

本发明所达到的效果和益处是，首先，在预存参考图像k维搜索树的情况下，与原有基于特征点进行图像匹配的方法(同样预存参考图像的k维搜索树，只是未使用fishing策略)相比，本发明可将图像匹配速度提高5倍左右。在目标图像特征点较多的情况下，图像匹配速度可提高5倍以上。即使未预存参考图像的k维搜索树，本发明也有2倍左右的速度提升。其次，由于采用了分批循环的方式构建特征描述子，且每次只为目标图像的一小部分特征点构建特征描述子，本发明可节省大量内存。再次，受益于特征点分区和随机选取特征点的策略，本发明使优先参与匹配的特征点具有很好的分散度，在一定程度上解决了匹配点的聚集问题。最后，由于本发明没有对SIFT算法进行任何的近似，而只是挑选了小部分匹配潜力大、分散度好的特征点进行特征描述子构建和匹配，所以图像匹配精度并未降低。

附图说明

附图是本发明基于SIFT算法进行图像匹配的流程图。

具体实施方式

现有一幅目标图像，以及一幅已知的参考图像。目标图像与参考图像的景像有共同部分，但二者的来源、大小、光照、景像覆盖范围等方面均有所不同。因参考图像已知，提前进行了参考图像的特征点提取、特征描述子构建，以及k维搜索树的构建与保存工作。在进行目标图像的特征点分区时，令N＝4，即将所有特征点按照位置均匀划分为4×4个子区域。此外，设置特征点的初始选取比例a0＝10％，结束匹配所需的总匹配点数阈值TH＝10，结束匹配所需的目标图像特征点参与比例P＝50％。基于SIFT算法实现上述目标图像与参考图像匹配的流程图如附图所示。

第一步，应用SIFT算法提取目标图像的特征点(斑点)，调用参考图像的k维搜索树。

第二步，将目标图像的所有特征点按照位置均匀划分为4×4个子区域。令各子区域的特征点选取比例ai＝10％，i＝1,…,16。

第三步，在有剩余特征点的子区域i中随机选取比例为ai的特征点，记录选取的特征点总数为ni，i＝1,…,16。

第四步，为已选特征点构建特征描述子。

第五步，基于参考图像的k维搜索树，对上述构建的目标图像特征描述子与参考图像特征描述子进行特征匹配。

第六步，应用RANSAC剔除误匹配点，记录子区域i的匹配点数为mi。

第七步，计算总匹配点数。若总匹配点数≥10，结束匹配过程；否则执行第八步。

第八步，若目标图像中参与匹配的特征点比例大于50％，结束匹配过程；否则，根据各子区域的匹配率动态调整ai，i＝1,…,16：若(mi/ni)<10％，令ai＝5％；若(mi/ni)≥10％，令ai＝20％。从各子区域的特征点子集中剔除已经参与匹配的特征点，转到第三步。

Claims (10)

1.一种基于特征点进行图像匹配的加速方法，其特征在于如下步骤：

第一步，应用斑点或角点提取算法从目标图像和参考图像中提取特征点，建立参考图像的k维搜索树；如果参考图像已知，提前进行参考图像的特征点提取、特征描述子构建、k维搜索树构建与保存工作；

第二步，将目标图像的所有特征点按照位置均匀划分为N×N个子区域，为各子区域设置特征点选取比例ai＝a0，i＝1,…,N²，a0为初始选取比例；

第三步，在有剩余特征点的子区域i中随机选取比例为ai的特征点，i＝1,…,N²；

第四步，为已选特征点构建特征描述子；

第五步，基于参考图像的k维搜索树，对上述构建的目标图像特征描述子与参考图像特征描述子进行特征匹配；

第六步，应用RANSAC剔除误匹配点；

第七步，计算总匹配点数；若总匹配点数≥阈值TH，结束匹配过程；否则执行第八步；

第八步，若目标图像中参与匹配的特征点比例大于设定值P，结束匹配过程；否则，根据各子区域的匹配情况动态调整其特征点选取比例ai，i＝1,…,N²：如果从区域i中取出的特征点在参考图像中有较多的匹配点，就增大ai，增加下一次从该区域中选取特征点的数量；反之，如果在参考图像中只有较少的匹配点或没有匹配点，就减小ai，减少下一次从该区域中选取特征点的数量；从各子区域的特征点子集中剔除已经参与匹配的特征点，转到第三步。

2.根据权利要求1所述的一种基于特征点进行图像匹配的加速方法，其特征是，对目标图像的所有特征点按照位置进行N×N均匀分区时，N取3、4或5。

3.根据权利要求2所述的一种基于特征点进行图像匹配的加速方法，其特征是，结束匹配过程所需的总匹配点数阈值TH设置为10。

4.根据权利要求1、2或3所述的一种基于特征点进行图像匹配的加速方法，其特征是，结束匹配过程所需的目标图像中参与匹配的特征点比例P设置为50％。

5.根据权利要求1、2或3所述的一种基于特征点进行图像匹配的加速方法，其特征是，各子区域的特征点初始选取比例a0＝10％，或当内存有限制时，根据每次匹配所能处理的特征点数目对a0进行设定。

6.根据权利要求1、2或3所述的一种基于特征点进行图像匹配的加速方法，其特征是，采用上一次的匹配率mi/ni衡量各子区域的匹配情况，其中ni是子区域i中参与上一次匹配的总特征点数，mi是其中的匹配点数。

7.根据权利要求4所述的一种基于特征点进行图像匹配的加速方法，其特征是，各子区域的特征点初始选取比例a0＝10％，或当内存有限制时，根据每次匹配所能处理的特征点数目对a0进行设定。

8.根据权利要求7所述的一种基于特征点进行图像匹配的加速方法，其特征是，采用上一次的匹配率mi/ni衡量各子区域的匹配情况，其中ni是子区域i中参与上一次匹配的总特征点数，mi是其中的匹配点数。

9.根据权利要求1、2、3、7或8所述的一种基于特征点进行图像匹配的加速方法，其特征是，根据各子区域的匹配率mi/ni动态调整ai的方法如下：若(mi/ni)<10％，则减小选取比例，令ai＝0.5a0；若(mi/ni)≥10％，则增大选取比例，令ai＝2a0。

10.根据权利要求6所述的一种基于特征点进行图像匹配的加速方法，其特征是，根据各子区域的匹配率mi/ni动态调整ai的方法如下：若(mi/ni)<10％，则减小选取比例，令ai＝0.5a0；若(mi/ni)≥10％，则增大选取比例，令ai＝2a0。