CN105551012A - 计算机图像配准中降低错误匹配对的方法及其*** - Google Patents

Abstract

本发明涉及计算机图像配准技术，公开了一种计算机图像配准中降低错误匹配对的方法及其***。在本发明的计算机图像配准中，利用局部特征点的主方向信息对已得到的局部特征点的匹配对进行提纯，可以高效地实现错误匹配对的检测和去除，可用于实时性要求较高的***，大大提高了实用价值。此外，利用局部特征点的尺度信息或利用局部特征点的坐标信息对已得到的局部特征点的匹配对进行提纯，可以进一步减少错误匹配对，提高***准确度。

Description

计算机图像配准中降低错误匹配对的方法及其***

技术领域

本发明涉及计算机图像配准技术，特别涉及计算机图像配准中降低错误匹配对的方法及其***。

背景技术

图像配准为检测不同渠道获取的两幅或多幅图像是否匹配。如图1所示，一般常用的大致的流程是：从每幅图中检测出局部特征；然后从这两个局部特征集间进行元素匹配。一般说来，并不是每个局部特征对应的匹配都是正确的，所以需要对这些匹配对进行一次提纯滤波，最后就得到了两个图像间所需要的配准关系(是否匹配、旋转角度、缩放比例、位移等)。

常用的图像比对以及图像搜索***中，常用的方法一般都包括局部特征提取以及特征向量之间的匹配两个步骤。在特征匹配完成后，往往会添加匹配对提纯这样一个过程来降低错误匹配率。

局部特征匹配本质上可以归结为通过距离函数在高维向量之间进行相似性检索的问题。大致有两类解决方法，第一种是通过穷举法(线性扫描法)，即将数据集中的点与查询点逐一进行距离比较；第二种是建立索引进行快速匹配，比如常用的kd树以及改进的kd树查询方式(BBF，Best-Bin-First)等。而由于实验和分析表明，基于局部特征点匹配方式得到的最近邻并不能保证匹配正确，还需要进一步过滤，这就是匹配对的提纯问题。一般常采用的算法是比值提纯法和一致性提纯法。

比值提纯法的逻辑可归纳如下：对于目标集中的每一个特征点，在基准集中查询得到它的最近邻特征点和次近邻特征点，若满足：最近邻距离≥次近邻距离*Ratio，则保留该特征点与其最近邻构成的匹配，否则剔除这个匹配对。一般Ratio取0.7。

一致性提纯法为在忽略成像畸变时，同一个场景下不同视角下图像间具有一一对应关系，可通过透视变换矩阵来计算求得。一般来说该矩阵具有8个独立变量，因此最少可通过4个匹配的特征点(共8个坐标值)来得到。通常使用随机抽样一致性算法(RandomSampleConsensusAlgorithm，简称“RANSAC算法”)来求得。一般来说，比值提纯法得到的匹配点还是存在相当比例的错误匹配(如图12和图13所示)，因此在准确度要求较高的场景下往往在比值提纯法之后再添加一步一致性提纯法，进一步滤除误匹配点。

然而，本发明的发明人发现，一致性提纯法(RANSAC等)虽然具有非常高的准确度，可以用于精度要求较高的场景，但是非常耗时(对常规的单张图像耗时在100毫秒以上)，无法在实时***及大批量数据比对中使用。

发明内容

本发明的目的在于提供一种计算机图像配准中降低错误匹配对的方法及其***，高效地实现错误匹配对的检测和去除，大大提高了实用价值。

为解决上述技术问题，本发明的实施方式公开了一种计算机图像配准中降低错误匹配对的方法，该方法包括以下步骤：

获取目标图像的局部特征点和参考图像的局部特征点的匹配对集合；

获取该匹配对集合中每个匹配对中两个局部特征点的主方向，并计算每个匹配对中两个局部特征点间的主方向差；

将匹配对中两个局部特征点间的主方向差量化至多个区间，每个区间的区间长度是预先设定的值；

统计每个区间所包含的匹配对数量，并选取匹配对数量最大的区间作为第一主区间；

判断第一主区间所包含的匹配对数量是否大于第一阈值，若第一主区间所包含的匹配对数量大于第一阈值，则输出第一主区间所包含的匹配对作为第一集合，放弃该第一集合之外的其它匹配对。

本发明的实施方式还公开了一种计算机图像配准中降低错误匹配对的***，***包括：

获取模块，用于获取目标图像的局部特征点和参考图像的局部特征点的匹配对集合；

第一计算模块，用于获取获取模块获取的匹配对集合中每个匹配对中两个局部特征点的主方向，并计算每个匹配对中两个局部特征点间的主方向差；

第一量化模块，用于将第一计算模块计算的匹配对中两个局部特征点间的主方向差量化至多个区间，每个区间的区间长度是预先设定的值；

第一选取模块，用于统计第一量化模块量化的每个区间所包含的匹配对数量，并选取匹配对数量最大的区间作为第一主区间；

第一判断模块，用于判断第一选取模块选取的第一主区间所包含的匹配对数量是否大于第一阈值；以及

第一输出模块，用于若第一判断模块确认第一主区间所包含的匹配对数量大于第一阈值，输出第一主区间所包含的匹配对作为第一集合，放弃该第一集合之外的其它匹配对。

本发明实施方式与现有技术相比，主要区别及其效果在于：

在本发明的计算机图像配准中，利用局部特征点的主方向信息对已得到的局部特征点的匹配对进行提纯，可以高效地实现错误匹配对的检测和去除，可用于实时性要求较高的***，大大提高了实用价值。

进一步地，利用局部特征点的尺度信息对已得到的局部特征点的匹配对进行提纯，可以进一步减少错误匹配对，提高***准确度。

进一步地，根据配准角度差和配准缩放比率并利用局部特征点的坐标信息对已得到的局部特征点的匹配对进行提纯，可以进一步减少错误匹配对，提高***准确度。

附图说明

图1是现有的一种图像配准的流程示意图。

图2是本发明第一实施方式中一种计算机图像配准中降低错误匹配对的方法的流程示意图；

图3是本发明第二实施方式中一种计算机图像配准中降低错误匹配对的方法的流程示意图；

图4是本发明第三实施方式中一种计算机图像配准中降低错误匹配对的方法的流程示意图；

图5是本发明第三实施方式中一种计算机图像配准中降低错误匹配对的方法的流程示意图；

图6是本发明第三实施方式中匹配对的主方向旋转角度差的量化直方图；

图7是本发明第三实施方式中匹配对的尺度缩放比率的量化直方图；

图8是本发明第四实施方式中一种计算机图像配准中降低错误匹配对的***的结构示意图；

图9是本发明第五实施方式中一种计算机图像配准中降低错误匹配对的***的结构示意图；

图10是本发明第六实施方式中一种计算机图像配准中降低错误匹配对的***的结构示意图；

图11是本发明第六实施方式中一种计算机图像配准中降低错误匹配对的***的结构示意图。

图12是现有的采用特征点匹配和比值提纯法的匹配结果。

图13是现有的采用特征点匹配和比值提纯法的匹配结果。

具体实施方式

在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请各权利要求所要求保护的技术方案。

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。

本发明第一实施方式涉及一种计算机图像配准中降低错误匹配对的方法。图2是该计算机图像配准中降低错误匹配对的方法的流程示意图。如图2所示，该方法包括以下步骤：

在步骤201中，获取目标图像的局部特征点和参考图像的局部特征点的匹配对集合。优选地，该匹配对集合是经过比值提纯法过滤后得到的匹配对集合。可以理解，在本发明其他实施方式中，该匹配对集合也可以是经局部特征匹配后的初始匹配对集合或是经过其他提纯法过滤后得到的匹配对集合。

此外，可以理解，全局特征是用来描述整张图像的宏观特征，比如颜色直方图，其缺点在于不适合用于图像混叠和有遮挡的情况。而局部特征一般包含图像中的部分空间范围，一个好的局部特征需要具备以下性质：1)可重复性；2)独特性；3)局部性；4)数量性；5)准确性；6)高效性，上述性质中又以可重复性为最重要。优选地，上述局部特征点可以是最常用的SIFT(Scale-invariantfeaturetransform)以及SURF(SpeededUpRobustFeatures)特征。以SIFT特征为例，包括1维的X坐标，1维的Y坐标，1维的尺度信息，1维的主方向信息以及128维的特征描述子信息。当然，在本发明的其他实施方式中，上述局部特征点也可以是其他类型的局部特征，只要包含主方向参数即可。

此后进入步骤202，获取该匹配对集合中每个匹配对中两个局部特征点的主方向，并计算每个匹配对中两个局部特征点间的主方向差。可以理解，每个匹配对中两个局部特征点间的主方向差为目标图像的局部特征点的主方向减去参考图像的局部特征点的主方向，或参考图像的局部特征点的主方向减去目标图像的局部特征点的主方向。

此后进入步骤203，将匹配对中两个局部特征点间的主方向差量化至多个区间，每个区间的区间长度是预先设定的值。

此后进入步骤204，统计每个区间所包含的匹配对数量，并选取匹配对数量最大的区间作为第一主区间。

此后进入步骤205，判断第一主区间所包含的匹配对数量是否大于第一阈值，若第一主区间所包含的匹配对数量大于第一阈值，则进入步骤206,否则结束本流程。

在步骤206中，输出第一主区间所包含的匹配对作为第一集合，放弃该第一集合之外的其它匹配对。

此后结束本流程。

此外，可以理解，区间长度可以根据经验进行设定。区间长度设置得较大，则第一主区间所包含的匹配对数量较大，区间长度设置得较小，则第一主区间所包含的匹配对数量较小。因此，在本发明的各个实施方式中，在筛选匹配对时，还可以配合区间长度的设定，以第一主区间为中心进行扩展来得到配准正确的匹配对。具体地说：

在步骤205后还包括以下步骤：

若第一主区间所包含的匹配对数量小于第一阈值，则选取第一主区间与相邻两个区间作为第七主区间，例如图6所示的0.628、0.942和1.256三个区间；

判断第七主区间所包含的匹配对数量是否大于第一阈值，若第七主区间所包含的匹配对数量大于第一阈值，则输出第七主区间所包含的匹配对作为第七集合，放弃该第七集合之外的其它匹配对。

在本实施方式的计算机图像配准中，利用局部特征点的主方向信息对已得到的局部特征点的匹配对进行提纯，可以高效地实现错误匹配对的检测和去除，可用于实时性要求较高的***，大大提高了实用价值。

本发明第二实施方式涉及一种计算机图像配准中降低错误匹配对的方法。图3是该计算机图像配准中降低错误匹配对的方法的流程示意图。

第二实施方式在第一实施方式的基础上进行了改进，主要改进之处在于：利用局部特征点的尺度信息对已得到的局部特征点的匹配对进行提纯，可以进一步减少错误匹配对，提高***准确度。具体地说：

如图3所示，在步骤206后还包括以下步骤：

在步骤301中，获取匹配对集合中每个匹配对中两个局部特征点的尺度，并计算每个匹配对中两个局部特征点间的尺度缩放比率。可以理解，局部特征点可以是最常用的SIFT、SURF特征等，也可以是其他类型的局部特征，只要包含尺度参数即可。

此外，可以理解，当用一个机器视觉***分析未知场景时，计算机没有办法预先知道图像中的物体尺度，因此往往需要同时考虑图像在多尺度下的描述，获知感兴趣物体的最佳尺度。类似SIFT这样的局部特征点往往会带有尺度信息(scale)，代表了特征点在该尺度下响应最强烈。对于两幅图像中的一对匹配正确的特征点，两者尺度的比值代表了图像间的缩放比率。也就是说，每个匹配对中两个局部特征点间的尺度缩放比率为目标图像的局部特征点的尺度除以参考图像的局部特征点的尺度，或参考图像的局部特征点的尺度除以目标图像的局部特征点的尺度。

此后进入步骤302，按照1/2^N将匹配对中两个局部特征点间的尺度缩放比率量化至多个区间，其中N为预定义的整数。优选地，在本实施方式中，根据局部特征点的尺度描述，选择按照1/2^N对尺度缩放比率进行量化。在本发明的其他实施方式中，也可以根据局部特征点的特定尺度描述，相应地进行调整而设置成按照诸如1/3^N、(2/3)^N等等进行量化。

此后进入步骤303，统计每个区间所包含的匹配对数量，并选取匹配对数量最大的区间作为第二主区间。

此后进入步骤304，判断第二主区间所包含的匹配对数量是否大于第二阈值，若第二主区间所包含的匹配对数量大于第二阈值，则进入步骤305，否则结束本流程。

在步骤305中，输出第二主区间所包含的匹配对作为第二集合，并且输出第一集合与第二集合的交集作为第三集合，放弃该第三集合之外的其它匹配对。

此后结束本流程。

同样地，在第二主区间所包含的匹配对数量小于第二阈值时，可以考虑以第二主区间为中心进行扩展，即选取第二主区间的相邻区间，以得到配准正确的匹配对。鉴于具体的操作方式与第一实施方式中类似，在此不再赘述。

此外，可以理解，在本发明的其他实施方式中，也可以先利用局部特征点的尺度信息对已得到的局部特征点的匹配对进行提纯，再利用局部特征点的主方向信息对已得到的局部特征点的匹配对进行提纯，或是同时对已得到的局部特征点的匹配对进行提纯，再输出第一集合与第二集合的交集作为第三集合，放弃该第三集合之外的其它匹配对。不限于上述的顺序。

本发明第三实施方式涉及一种计算机图像配准中降低错误匹配对的方法。图4是该计算机图像配准中降低错误匹配对的方法的流程示意图。

第三实施方式在第二实施方式的基础上进行了改进，主要改进之处在于：根据配准角度差和配准缩放比率并利用局部特征点的坐标信息对已得到的局部特征点的匹配对进行提纯，可以进一步减少错误匹配对，提高***准确度。具体地说：

如图4所示，在步骤305后还包括以下步骤：

在步骤401中，计算第一集合中的所有匹配对中两个局部特征点间的主方向差的平均值作为目标图像和参考图像的配准角度差θ，并计算第二集合中的所有匹配对中两个局部特征点间的尺度缩放比率的平均值作为目标图像和参考图像的配准缩放比率S。

此后进入步骤402，获取第三集合中每个匹配对中两个局部特征点的X坐标和Y坐标<pi.x，pi.y，qj.x，qj.y>，并根据配准角度差θ和配准缩放比率S来计算匹配对在X和Y方向上的位移 $\left[\begin{array}{c}{q}_j.T_x\\ q_j.T_y\end{array}\right]=\left[\begin{array}{c}{q}_j.x\\ q_j.y\end{array}\right]-S\&times;\left[\begin{array}{cc}\cos \left(\mathrm{\&theta;}\right)& \sin \left(\mathrm{\&theta;}\right)\\ \sin \left(\mathrm{\&theta;}\right)& \cos \left(\mathrm{\&theta;}\right)\end{array}\right]\&times;\left[\begin{array}{c}{p}_i.x\\ p_i.y\end{array}\right].$ 可以理解，局部特征点可以是最常用的SIFT、SURF特征等，也可以是其他类型的局部特征，只要包含位移参数即可。此外，在本发明的其他实施方式中，也可以根据配准角度差和配准缩放比率并利用局部特征点的坐标信息对步骤201中得到的匹配对集合进行提纯。

此外，可以理解，每个匹配对在X和Y方向上的位移为目标图像的局部特征点的坐标减去参考图像的局部特征点的坐标，或参考图像的局部特征点的坐标减去目标图像的局部特征点的坐标，并根据配准角度差θ和配准缩放比率S对坐标进行相应转换后再计算。

此后进入步骤403，将匹配对在X和Y方向上的位移分别量化至多个区间，X和Y方向上每个区间的区间长度是预先设定的值。

此后进入步骤404，统计X和Y方向上每个区间所包含的匹配对数量，并选取X和Y方向上匹配对数量最大的区间分别作为第四主区间和第五主区间。

此后进入步骤405，判断第四主区间所包含的匹配对数量是否大于第四阈值并且第五主区间所包含的匹配对数量是否大于第五阈值，若第四主区间所包含的匹配对数量大于第四阈值并且第五主区间所包含的匹配对数量大于第五阈值，则进入步骤406，否则结束本流程。

在步骤406中，输出第四主区间和第五主区间所包含的匹配对分别作为第四集合和第五集合，并输出该第四集合与该第五集合的交集作为第六集合，放弃该第六集合之外的其它匹配对。

此后结束本流程。

优选地，在步骤406后还包括以下步骤：

分别计算第四集合和第五集合中的所有匹配对在X和Y方向上的位移的平均值作为目标图像和参考图像的配准位移T_x和T_y。

可以理解，在本发明的其他实施方式中，也可以不计算配准位移Tx和Ty。

同样地，在第四主区间所包含的匹配对数量小于第四阈值或第五主区间所包含的匹配对数量小于第五阈值时，可以考虑以第四主区间或第五主区间为中心进行扩展，即选取第四主区间或第五主区间的相邻区间，以得到配准正确的匹配对。鉴于具体的操作方式与第一实施方式中类似，在此不再赘述。

在本发明的一个优选例中，采用了SIFT特征的描述，如下表所示：

表1符号

名称	表示
		待配准的输入图像A和B	图A、图B
输入图像A的n个特征点	{pi}i＝1，2，……，n
		输入图像B的m个特征点	{qj}j＝1，2，……，m
特征点pi的X坐标	pi.x
		特征点pi的Y坐标	pi.y
特征点pi的尺度	pi.scale
		特征点pi的主方向	pi.orientation
特征点pi的描述子	pi.descj j＝1、2、……、128

如图5所示：

1.输入图A和图B经过比值提纯法过滤后得到的匹配对：<p_i，q_j>，j＝1、2、……、m。当然，在本发明的其他实施例中，匹配对也可以是经局部特征匹配后的初始匹配对或是经过其他提纯法过滤后得到的匹配对。

2.获取步骤1中匹配对的主方向：<p_i.orientation，q_j.orientation>，j＝1、2、……、m。

3.计算步骤2中匹配对的主方向旋转角度差：q_j.rotation＝p_i.orientation-q_j.orientation，j＝1、2、……、m。

4.对步骤3输出的一系列值进行量化并统计直方图(如图6所示)，具体方法为：

1)设定量化的区间长度为L₁。

2)对步骤3输出的每一组匹配对的主方向旋转角度差，计算其量化后落在的区间K_j＝q_j.rotation/L₁，j＝1、2、……、m。

3)统计各区间包含的匹配对数目，选取包含最多匹配对的区间作为主区间；区间内包含的匹配对作为候选集合，记为U₁；将U₁内匹配对的数目记为C₁；计算U₁内各匹配对的主方向旋转角度差的平均值，作为图A和图B的配准角度差，记为θ。

5.获取步骤1中匹配对的尺度：<p_i.scale，q_j.scale>，j＝1、2、……、m。

6.计算步骤5中匹配对的尺度缩放比率：q_j.ratio＝q_j.scale/p_i.scale。

7.对步骤6输出的一系列值进行量化并统计直方图(如图7所示)，具体方法为：

1)按照1/2^N生成一系列量化空间：比如1/8、1/4、1/2、1、2、4、8、……等。当然，在本发明的其他实施例中，也可以按照诸如1/3^N、(2/3)^N等等进行量化。

2)对步骤6输出的每一组匹配对的尺度缩放比率，计算其量化后落在上一步骤的指定区间。

3)统计各区间包含的匹配对数目，选取包含最多匹配对的区间作为主区间；区间内包含的匹配对作为候选集合，记为U₂；将U₂内匹配对的数目记为C₂；计算U₂内各匹配对的尺度缩放比率的平均值，作为图A和图B的配准缩放比率，记为S。

8.将步骤4和步骤7中得到的C₁和C₂与预设的阈值T₁和T₂进行比较，如果满足：C₁＞T₁&C₂＞T₂，则输出U₁和U₂的交集作为候选特征集合，记为U₃；U₃包含的匹配对数目，记为k；θ和S分别为配准角度差和配准缩放比率，并进入步骤9；否则，输出配准不成立，退出流程。

9.获取U₃中(或步骤1中)匹配对的X坐标和Y坐标：<p_i.x，p_i.y，q_j.x，q_j.y>，j＝1、2、……、k。

10.根据投影变换矩阵 $\left[\begin{array}{c}{q}_j.x\\ q_j.y\end{array}\right]=S\&times;\left[\begin{array}{cc}\cos \left(\mathrm{\&theta;}\right)& \sin \left(\mathrm{\&theta;}\right)\\ \sin \left(\mathrm{\&theta;}\right)& \cos \left(\mathrm{\&theta;}\right)\end{array}\right]\&times;\left[\begin{array}{c}{p}_i.x\\ p_i.y\end{array}\right]+\left[\begin{array}{c}{q}_j.T_x\\ q_j.T_y\end{array}\right],$ j＝1、2、……、k，可以计算得到各匹配对的位移： $\left[\begin{array}{c}{q}_j.T_x\\ q_j.T_y\end{array}\right]=\left[\begin{array}{c}{q}_j.x\\ q_j.y\end{array}\right]-S\&times;\left[\begin{array}{cc}\cos \left(\mathrm{\&theta;}\right)& \sin \left(\mathrm{\&theta;}\right)\\ \sin \left(\mathrm{\&theta;}\right)& \cos \left(\mathrm{\&theta;}\right)\end{array}\right]\&times;\left[\begin{array}{c}{p}_i.x\\ p_i.y\end{array}\right],$ j＝1、2、……、k。

11.使用类似步骤4的方法，将前一步骤得到的位移量化并统计直方图，具体方法为：

1)设定q_j.T_x和q_j.T_y量化的区间长度分别为L_x和L_y

2)对步骤10输出的集合中的每一个匹配对，计算q_j.T_x和q_j.T_y的量化值，按照如下公式：

K_x,j＝q_j.T_x/L_x

j＝1，2，……，k

K_y,j＝q_j.T_y/L_y

3)统计各区间包含的匹配对数目，选取包含最多匹配对的区间作为主区间；将区间内包含的匹配对作为候选集合，记为U₄和U₅(对应X和Y两个方向上的位移)；分别将U₄和U₅匹配对的数目记为C₄和C₅；分别计算U₄和U₅内各匹配对的X方向和Y方向的位移的平均值，作为图A和图B的配准位移，记为T_x和T_y。

12.将步骤11输出的C₄和C₅与预设的阈值T₄和T₅进行比较，如果满足：C₄＞T₄&C₅＞T₅，则输出U₄和U₅的交集U₆作为配准正确的匹配对；U₆内包含匹配对的数目C₆作为相似度；θ、S、T_x和T_y分别为配准角度差、配准缩放比率、配准X方向上位移以及配准Y方向上位移。

由上可以看到，上述方法的优选例所基于的主要原理是：如果两张输入图片(图A和图B)的一系列特征点对({p_i}i＝1，2，……，n和{q_j}j＝1，2，……，m)是正确匹配的，那么这一系列点对的特征之间应该具有以下特点：1、具有相同或者相近的尺度缩放比例；2、具有相同或者相近的主方向旋转角度；3、具有相同或者相近的坐标位移。因而提出了一种全新的、利用匹配对之间的尺度、旋转角度、几何分布等信息的提纯方法，可以在保证与RANSAC相当的精度的前提下，高效(耗时大约在1毫秒左右，比前者缩小2个数量级)地实现错误匹配点对的检测和去除，大大提高了***的准确率和实用价值。

图像配准被广泛地应用于遥感数据分析、计算机视觉、图像处理等领域，例如景物匹配、飞行器定位***中的地图匹配、商标识别等等。图12和图13分别示出了采用特征点匹配和比值提纯法对服装和手表的商标进行相似度识别的例子。可以看到，虽然图12中的大部分匹配结果是正确的，但不排除部分的错误匹配，而图13中是一个典型的错误匹配结果，则在所识别出的相似商标中混入了一些完全不相关的商标。利用本实施例中提到的匹配对之间的尺度、旋转角度和坐标信息对图12和图13中的匹配结果进一步进行提纯，将高效地实现错误匹配点对的检测和去除，即检测和去除图12中与头发匹配的错误匹配点，以及检测和去除图13中的错误匹配，从而提高商标识别的准确率。

可以理解，以上仅为本发明的优选例。在本发明的其他实施例中，也可以采用其他类型的局部特征，只要包含主方向、尺度和位移参数即可。并且，可以仅利用主方向信息、或仅利用尺度信息来对局部特征点的匹配对进行提纯，都可以达到降低错误匹配对的效果。不限于上述的参数设置和顺序。

本发明的各方法实施方式均可以以软件、硬件、固件等方式实现。不管本发明是以软件、硬件、还是固件方式实现，指令代码都可以存储在任何类型的计算机可访问的存储器中(例如永久的或者可修改的，易失性的或者非易失性的，固态的或者非固态的，固定的或者可更换的介质等等)。同样，存储器可以例如是可编程阵列逻辑(ProgrammableArrayLogic，简称“PAL”)、随机存取存储器(RandomAccessMemory，简称“RAM”)、可编程只读存储器(ProgrammableReadOnlyMemory，简称“PROM”)、只读存储器(Read-OnlyMemory，简称“ROM”)、电可擦除可编程只读存储器(ElectricallyErasableProgrammableROM，简称“EEPROM”)、磁盘、光盘、数字通用光盘(DigitalVersatileDisc，简称“DVD”)等等。

本发明第四实施方式涉及一种计算机图像配准中降低错误匹配对的***。图8是该计算机图像配准中降低错误匹配对的***的结构示意图。如图8所示，该***包括：

获取模块，用于获取目标图像的局部特征点和参考图像的局部特征点的匹配对集合。

第一计算模块，用于获取获取模块获取的匹配对集合中每个匹配对中两个局部特征点的主方向，并计算每个匹配对中两个局部特征点间的主方向差。

第一量化模块，用于将第一计算模块计算的匹配对中两个局部特征点间的主方向差量化至多个区间，每个区间的区间长度是预先设定的值。

第一选取模块，用于统计第一量化模块量化的每个区间所包含的匹配对数量，并选取匹配对数量最大的区间作为第一主区间。

第一判断模块，用于判断第一选取模块选取的第一主区间所包含的匹配对数量是否大于第一阈值。以及

第一输出模块，用于若第一判断模块确认第一主区间所包含的匹配对数量大于第一阈值，输出第一主区间所包含的匹配对作为第一集合，放弃该第一集合之外的其它匹配对。

此外，可以理解，区间长度可以根据经验进行设定。区间长度设置得较大，则第一主区间所包含的匹配对数量较大，区间长度设置得较小，则第一主区间所包含的匹配对数量较小。因此，在本发明的各个实施方式中，在筛选匹配对时，还可以配合区间长度的设定，以第一主区间为中心进行扩展来得到配准正确的匹配对。具体地说：

上述***还包括：

第四选取模块，用于若第一判断模块确认第一主区间所包含的匹配对数量小于第一阈值，选取第一主区间与相邻两个区间作为第七主区间。

第四判断模块，用于判断第四选取模块选取的第七主区间所包含的匹配对数量是否大于第一阈值。以及

第四输出模块，用于若第四判断模块确认第七主区间所包含的匹配对数量大于第一阈值，输出第七主区间所包含的匹配对作为第七集合，放弃该第七集合之外的其它匹配对。

在本实施方式的***中，各模块利用局部特征点的主方向信息对已得到的局部特征点的匹配对进行提纯，可以高效地实现错误匹配对的检测和去除，可用于实时性要求较高的***，大大提高了实用价值。

第一实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。

本发明第五实施方式涉及一种计算机图像配准中降低错误匹配对的***。图9是该计算机图像配准中降低错误匹配对的***的结构示意图。

第五实施方式在第四实施方式的基础上进行了改进，主要改进之处在于：利用局部特征点的尺度信息对已得到的局部特征点的匹配对进行提纯，可以进一步减少错误匹配对，提高***准确度。具体地说：

如图9所示，该***还包括：

第二计算模块，用于获取获取模块获取的匹配对集合中每个匹配对中两个局部特征点的尺度，并计算每个匹配对中两个局部特征点间的尺度缩放比率。

第二量化模块，用于按照1/2^N将第二计算模块计算的匹配对中两个局部特征点间的尺度缩放比率量化至多个区间，其中N为预定义的整数。优选地，在本实施方式中，根据局部特征点的尺度描述，选择按照1/2^N对尺度缩放比率进行量化。在本发明的其他实施方式中，也可以根据局部特征点的特定尺度描述，相应地进行调整而设置成按照诸如1/3^N、(2/3)^N等等进行量化。

第二选取模块，用于统计第二量化模块量化的每个区间所包含的匹配对数量，并选取匹配对数量最大的区间作为第二主区间。

第二判断模块，用于判断第二选取模块选取的第二主区间所包含的匹配对数量是否大于第二阈值。以及

第二输出模块，输出第二主区间所包含的匹配对作为第二集合，并且输出上述第一输出模块输出的第一集合与第二集合的交集作为第三集合，放弃该第三集合之外的其它匹配对。

同样地，在第二主区间所包含的匹配对数量小于第二阈值时，可以考虑添加模块以第二主区间为中心进行扩展，即选取第二主区间的相邻区间，以得到配准正确的匹配对。鉴于具体的结构与第四实施方式中类似，在此不再赘述。

第二实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第二实施方式互相配合实施。第二实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第二实施方式中。

本发明第六实施方式涉及一种计算机图像配准中降低错误匹配对的***。图10是该计算机图像配准中降低错误匹配对的***的结构示意图。

第六实施方式在第五实施方式的基础上进行了改进，主要改进之处在于：基于配准角度差和配准缩放比率并利用局部特征点的坐标信息对已得到的局部特征点的匹配对进行提纯，可以进一步减少错误匹配对，提高***准确度。具体地说：

如图10所示，上述***还包括：

第四计算模块，用于计算上述第一输出模块输出的第一集合中的所有匹配对中两个局部特征点间的主方向差的平均值作为目标图像和参考图像的配准角度差θ，并计算上述第二输出模块输出的第二集合中的所有匹配对中两个局部特征点间的尺度缩放比率的平均值作为目标图像和参考图像的配准缩放比率S。

第三计算模块，用于获取第二输出模块输出的第三集合中每个匹配对中两个局部特征点的X坐标和Y坐标<pi.x，pi.y，qj.x，qj.y>，并根据第四计算模块计算的配准角度差θ和配准缩放比率S来计算匹配对在X和Y方向上的位移 $\left[\begin{array}{c}{q}_j.T_x\\ q_j.T_y\end{array}\right]=\left[\begin{array}{c}{q}_j.x\\ q_j.y\end{array}\right]-S\&times;\left[\begin{array}{cc}\cos \left(\mathrm{\&theta;}\right)& \sin \left(\mathrm{\&theta;}\right)\\ \sin \left(\mathrm{\&theta;}\right)& \cos \left(\mathrm{\&theta;}\right)\end{array}\right]\&times;\left[\begin{array}{c}{p}_i.x\\ p_i.y\end{array}\right].$ 可以理解，在本发明的其他实施方式中，也可以根据配准角度差和配准缩放比率并利用局部特征点的坐标信息对上述获取模块得到的匹配对集合进行提纯。

第三量化模块，用于将第三计算模块计算的匹配对在X和Y方向上的位移分别量化至多个区间，X和Y方向上每个区间的区间长度是预先设定的值。

第三选取模块，用于统计第三量化模块量化的X和Y方向上每个区间所包含的匹配对数量，并选取X和Y方向上匹配对数量最大的区间分别作为第四主区间和第五主区间。

第三判断模块，用于判断第三选取模块选取的第四主区间所包含的匹配对数量是否大于第四阈值并且第三选取模块选取的第五主区间所包含的匹配对数量是否大于第五阈值。以及

第三输出模块，用于若第三判断模块确认第四主区间所包含的匹配对数量大于第四阈值并且第五主区间所包含的匹配对数量大于第五阈值，输出第四主区间和第五主区间所包含的匹配对分别作为第四集合和第五集合，并输出该第四集合与该第五集合的交集作为第六集合，放弃该第六集合之外的其它匹配对。

优选地，上述***还包括：

第五计算模块，用于分别计算上述第三输出模块输出的第四集合和第五集合中的所有匹配对在X和Y方向上的位移的平均值作为目标图像和参考图像的配准位移Tx和Ty。

可以理解，在本发明的其他实施方式中，也可以不计算配准位移T_x和T_y。

同样地，在第四主区间所包含的匹配对数量小于第四阈值或第五主区间所包含的匹配对数量小于第五阈值时，可以考虑添加模块以第四主区间或第五主区间为中心进行扩展，即选取第四主区间或第五主区间的相邻区间，以得到配准正确的匹配对。鉴于具体的结构与第四实施方式中类似，在此不再赘述。

在本发明的一个优选例中，如图11所示，上述***包括主方向单元、尺度单元和坐标单元，分别包括图8－10中所示的各模块，从而可以选择性地利用各信息对匹配对集合进行提纯。

第三实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第三实施方式互相配合实施。第三实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第三实施方式中。

需要说明的是，本发明各设备实施方式中提到的各模块或单元都是逻辑模块或逻辑单元，在物理上，一个逻辑模块或逻辑单元可以是一个物理模块或物理单元，也可以是一个物理模块或物理单元的一部分，还可以以多个物理模块或物理单元的组合实现，这些逻辑模块或逻辑单元本身的物理实现方式并不是最重要的，这些逻辑模块或逻辑单元所实现的功能的组合才是解决本发明所提出的技术问题的关键。此外，为了突出本发明的创新部分，本发明上述各设备实施方式并没有将与解决本发明所提出的技术问题关系不太密切的模块或单元引入，这并不表明上述设备实施方式并不存在其它的模块或单元。

需要说明的是，在本专利的权利要求和说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

虽然通过参照本发明的某些优选实施方式，已经对本发明进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (10)

1.一种计算机图像配准中降低错误匹配对的方法，其特征在于，该方法包括以下步骤：

获取目标图像的局部特征点和参考图像的局部特征点的匹配对集合；

获取该匹配对集合中每个匹配对中两个局部特征点的主方向，并计算每个匹配对中两个局部特征点间的主方向差；

将所述匹配对中两个局部特征点间的主方向差量化至多个区间，每个区间的区间长度是预先设定的值；

统计每个区间所包含的匹配对数量，并选取匹配对数量最大的区间作为第一主区间；

判断所述第一主区间所包含的匹配对数量是否大于第一阈值，若所述第一主区间所包含的匹配对数量大于第一阈值，则输出所述第一主区间所包含的匹配对作为第一集合，放弃该第一集合之外的其它匹配对。

2.根据权利要求1所述的计算机图像配准中降低错误匹配对的方法，其特征在于，在输出所述第一主区间所包含的匹配对作为第一集合，放弃该第一集合之外的其它匹配对的步骤后还包括以下步骤：

获取所述匹配对集合中每个匹配对中两个局部特征点的尺度，并计算每个匹配对中两个局部特征点间的尺度缩放比率；

按照1/2^N将所述匹配对中两个局部特征点间的尺度缩放比率量化至多个区间，其中N为预定义的整数；

统计每个区间所包含的匹配对数量，并选取匹配对数量最大的区间作为第二主区间；

判断所述第二主区间所包含的匹配对数量是否大于第二阈值，若所述第二主区间所包含的匹配对数量大于第二阈值，则输出所述第二主区间所包含的匹配对作为第二集合，并且输出所述第一集合与所述第二集合的交集作为第三集合，放弃该第三集合之外的其它匹配对。

3.根据权利要求2所述的计算机图像配准中降低错误匹配对的方法，其特征在于，在输出所述第一集合与所述第二集合的交集作为第三集合，放弃该第三集合之外的其它匹配对的步骤后还包括以下步骤：

计算所述第一集合中的所有匹配对中两个局部特征点间的主方向差的平均值作为所述目标图像和所述参考图像的配准角度差θ，并计算所述第二集合中的所有匹配对中两个局部特征点间的尺度缩放比率的平均值作为所述目标图像和所述参考图像的配准缩放比率S；

获取所述第三集合中每个匹配对中两个局部特征点的X坐标和Y坐标<pi.x，pi.y，qj.x，qj.y>，并根据所述配准角度差θ和所述配准缩放比率S来计算所述匹配对在X和Y方向上的位移 $\left[\begin{array}{c}{q}_j\&CenterDot;T_x\\ q_j\&CenterDot;T_y\end{array}\right]=\left[\begin{array}{c}{q}_j\&CenterDot;x\\ q_j\&CenterDot;y\end{array}\right]-S\&times;\left[\begin{array}{cc}\cos \left(\mathrm{\&theta;}\right)& \sin \left(\mathrm{\&theta;}\right)\\ \sin \left(\mathrm{\&theta;}\right)& \cos \left(\mathrm{\&theta;}\right)\end{array}\right]\&times;\left[\begin{array}{c}{p}_i\&CenterDot;x\\ p_i\&CenterDot;y\end{array}\right];$

将所述匹配对在X和Y方向上的位移分别量化至多个区间，X和Y方向上每个区间的区间长度是预先设定的值；

统计X和Y方向上每个区间所包含的匹配对数量，并选取X和Y方向上匹配对数量最大的区间分别作为第四主区间和第五主区间；

判断所述第四主区间所包含的匹配对数量是否大于第四阈值并且所述第五主区间所包含的匹配对数量是否大于第五阈值，若所述第四主区间所包含的匹配对数量大于第四阈值并且所述第五主区间所包含的匹配对数量大于第五阈值，则输出所述第四主区间和所述第五主区间所包含的匹配对分别作为第四集合和第五集合，并输出该第四集合与该第五集合的交集作为第六集合，放弃该第六集合之外的其它匹配对。

4.根据权利要求1所述的计算机图像配准中降低错误匹配对的方法，其特征在于，在判断所述第一主区间所包含的匹配对数量是否大于第一阈值的步骤后还包括以下步骤：

若所述第一主区间所包含的匹配对数量小于第一阈值，则选取所述第一主区间与相邻两个区间作为第七主区间；

判断所述第七主区间所包含的匹配对数量是否大于第一阈值，若所述第七主区间所包含的匹配对数量大于第一阈值，则输出所述第七主区间所包含的匹配对作为第七集合，放弃该第七集合之外的其它匹配对。

5.根据权利要求3所述的计算机图像配准中降低错误匹配对的方法，其特征在于，在输出该第四集合与该第五集合的交集作为第六集合，放弃该第六集合之外的其它匹配对的步骤后还包括以下步骤：

分别计算所述第四集合和所述第五集合中的所有匹配对在X和Y方向上的位移的平均值作为所述目标图像和所述参考图像的配准位移T_x和T_y。

6.一种计算机图像配准中降低错误匹配对的***，其特征在于，所述***包括：

获取模块，用于获取目标图像的局部特征点和参考图像的局部特征点的匹配对集合；

第一计算模块，用于获取所述获取模块获取的匹配对集合中每个匹配对中两个局部特征点的主方向，并计算每个匹配对中两个局部特征点间的主方向差；

第一量化模块，用于将所述第一计算模块计算的所述匹配对中两个局部特征点间的主方向差量化至多个区间，每个区间的区间长度是预先设定的值；

第一选取模块，用于统计所述第一量化模块量化的每个区间所包含的匹配对数量，并选取匹配对数量最大的区间作为第一主区间；

第一判断模块，用于判断所述第一选取模块选取的第一主区间所包含的匹配对数量是否大于第一阈值；以及

第一输出模块，用于若所述第一判断模块确认所述第一主区间所包含的匹配对数量大于第一阈值，输出所述第一主区间所包含的匹配对作为第一集合，放弃该第一集合之外的其它匹配对。

7.根据权利要求6所述的计算机图像配准中降低错误匹配对的***，其特征在于，所述***还包括：

第二计算模块，用于获取所述获取模块获取的匹配对集合中每个匹配对中两个局部特征点的尺度，并计算每个匹配对中两个局部特征点间的尺度缩放比率；

第二量化模块，用于按照1/2^N将所述第二计算模块计算的所述匹配对中两个局部特征点间的尺度缩放比率量化至多个区间，其中N为预定义的整数；

第二选取模块，用于统计所述第二量化模块量化的每个区间所包含的匹配对数量，并选取匹配对数量最大的区间作为第二主区间；

第二判断模块，用于判断所述第二选取模块选取的第二主区间所包含的匹配对数量是否大于第二阈值；以及

第二输出模块，用于若所述第二判断模块确认所述第二主区间所包含的匹配对数量大于第二阈值，输出所述第二主区间所包含的匹配对作为第二集合，并且输出所述第一输出模块输出的第一集合与所述第二集合的交集作为第三集合，放弃该第三集合之外的其它匹配对。

8.根据权利要求7所述的计算机图像配准中降低错误匹配对的***，其特征在于，所述***还包括：

第四计算模块，计算所述第一输出模块输出的第一集合中的所有匹配对中两个局部特征点间的主方向差的平均值作为所述目标图像和所述参考图像的配准角度差θ，并计算所述第二输出模块输出的第二集合中的所有匹配对中两个局部特征点间的尺度缩放比率的平均值作为所述目标图像和所述参考图像的配准缩放比率S；

第三计算模块，用于获取所述第二输出模块输出的第三集合中每个匹配对中两个局部特征点的X坐标和Y坐标<pi.x，pi.y，qj.x，qj.y>，并根据所述第四计算模块计算的配准角度差θ和配准缩放比率S来计算所述匹配对在X和Y方向上的位移 $\left[\begin{array}{c}{q}_j\&CenterDot;T_x\\ q_j\&CenterDot;T_y\end{array}\right]=\left[\begin{array}{c}{q}_j\&CenterDot;x\\ q_j\&CenterDot;y\end{array}\right]-S\&times;\left[\begin{array}{cc}\cos \left(\mathrm{\&theta;}\right)& \sin \left(\mathrm{\&theta;}\right)\\ \sin \left(\mathrm{\&theta;}\right)& \cos \left(\mathrm{\&theta;}\right)\end{array}\right]\&times;\left[\begin{array}{c}{p}_i\&CenterDot;x\\ p_i\&CenterDot;y\end{array}\right];$

第三量化模块，用于将所述第三计算模块计算的所述匹配对在X和Y方向上的位移分别量化至多个区间，X和Y方向上每个区间的区间长度是预先设定的值；

第三选取模块，用于统计所述第三量化模块量化的X和Y方向上每个区间所包含的匹配对数量，并选取X和Y方向上匹配对数量最大的区间分别作为第四主区间和第五主区间；

第三判断模块，用于判断所述第三选取模块选取的第四主区间所包含的匹配对数量是否大于第四阈值并且所述第三选取模块选取的第五主区间所包含的匹配对数量是否大于第五阈值；以及

第三输出模块，用于若所述第三判断模块确认所述第四主区间所包含的匹配对数量大于第四阈值并且所述第五主区间所包含的匹配对数量大于第五阈值，输出所述第四主区间和所述第五主区间所包含的匹配对分别作为第四集合和第五集合，并输出该第四集合与该第五集合的交集作为第六集合，放弃该第六集合之外的其它匹配对。

9.根据权利要求6所述的计算机图像配准中降低错误匹配对的***，其特征在于，所述***还包括：

第四选取模块，用于若所述第一判断模块确认所述第一主区间所包含的匹配对数量小于第一阈值，选取所述第一主区间与相邻两个区间作为第七主区间；

第四判断模块，用于判断所述第四选取模块选取的第七主区间所包含的匹配对数量是否大于所述第一阈值；以及

第四输出模块，用于若所述第四判断模块确认所述第七主区间所包含的匹配对数量大于第一阈值，输出所述第七主区间所包含的匹配对作为第七集合，放弃该第七集合之外的其它匹配对。

10.根据权利要求8所述的计算机图像配准中降低错误匹配对的***，其特征在于，所述***还包括：

第五计算模块，用于分别计算所述第三输出模块输出的第四集合和第五集合中的所有匹配对在X和Y方向上的位移的平均值作为所述目标图像和所述参考图像的配准位移T_x和T_y。