CN107369168B - 一种大污染背景下配准点的提纯方法 - Google Patents

Abstract

本发明公开了一种大污染背景下配准点的提纯方法，属于数据提纯领域，涉及图像真实配准点对被严重污染情况下的配准点提纯方法。包括：在若干配准点对中任意抽取2个配准点对；分别连接两幅图像中的二个抽样点，求二个端点到中点所连线段上像素灰阶之和的比；通过步骤二中两幅图像上灰阶和之比的差值构建核集；合并核集中重复冗余点对；采用RANSAC方法，在核集中进行抽样，在全集中进行内点探测，提取真实配准点对，并求出两幅图像的配准模型。本发明通过构造核集，在核集中进行抽样，以提高抽样效率，解决了不同场景、不同视角、目标本身形状、外观发生变化条件下目标的配准识别，进而解决了极度污染配准点对的提纯问题。

Description

一种大污染背景下配准点的提纯方法

技术领域

本发明属于数据提纯技术领域，涉及图像配准方向，具体涉及一种大污染背景下配准点的提纯方法，是图像真实配准点对被严重污染情况下的配准点提纯方法。

背景技术

经典图像配准通过描述子实现，通常局部特征描述子所指向的配准点对存在污染，也即：描述子的配准既有正确的配准，也存在错误的配准。为此，在图像配准领域，经描述子配准的配准点对需要进行提纯。通常RANSAC(Matthew Brown,David G.Lowe,Automatic panoramic image stitching using invariant features,Internationaljournal of computer vision,2007,74(1):59-73.)被用于描述子的提纯，但是当描述子被严重污染的情况下，直接采用RANSAC进行提纯存在速度慢，而形成实际上的无解。

关于描述子污染，一方面是描述子算法本身决定的。描述子一般建立在图像局部区域，而图像配准需要在全局图像上进行，局部关联的配准点对并不能确保全局意义下仍然关联。另一方面由于配准任务的复杂性，决定了污染有时候表现严重。如同一个物体在不同场景中的配准。即使是同一个物体，在不同时空中所呈现的景象也会不同。从而污染始终伴随着配准，并且有时候污染还很严重。严重污染的描述子对的提纯是一个不可回避的问题。

关于RANSAC提纯效率的问题，已有一些成果(

Chum,

Matas,Optimalrandomized RANSAC,IEEE Transactions on Pattern Analysis and MachineIntelligence,2008,30(8):1472-1482；Tom Botterill,Steven Mills,Richard Green,Fast RANSAC hypothesis generation for essential matrix estimation,DigitalImage Computing Techniques and Applications(DICTA),2011InternationalConference on.IEEE,2011:561-566；Anders Hast,Johan

Andrea Marchetti,Optimal ransac-towards a repeatable algorithm for finding the optimal set,2013,21:21-30；Hongxia Gao,Jianhe Xie,Yueming Hu,Ze Yang,Hough-RANSAC:A Fastand Robust Method for Rejecting Mismatches,Chinese Conference on PatternRecognition.Springer Berlin Heidelberg,2014:363-370.)。其中，Tom Botterill等将RANSAC提纯所需时间降低了25％；

Chum等提出的优化RANSAC方法比经典RANSAC快2-10倍；Hongxia Gao等提出的在仅有20％的数据为真实数据时，Hough-RANSAC方法能够见效；当污染数据达到95％时，Anders Hast等提出的方法仍然有效。这些方法都提高了重污染数据下的RANSAC效率，但是当真实配准点对极度稀疏时，特别是污染达到99％时，这些方法探测内点的能力仍然显得不足。

发明内容

本发明针对图像配准，提出了一种大污染背景下配准点的提纯方法，提取极度污染的配准模型，对污染外点进行过滤，提取真实内点，是图像配准领域的一项技术。

为了解决上述技术问题，本发明采用的技术方案为：一种大污染背景下配准点的提纯方法，其特征在于，所述方法包括步骤：步骤一、对于两幅待配准图像I₁与I₂的若干配准点对P，从中任意抽取2个配准点对；步骤二、连接图像I₁中的二个抽样点，求出二个抽样点的中点坐标，求二个端点到中点所连线段上像素灰阶和之比r₁；利用同样的方法连接图像I₂中的二个抽样点，求中点两边线段上的灰阶和之比r₂；计算比值r₁与r₂之间的差e₁₂；步骤三、通过步骤二中两幅图像上灰阶和之比的差值构建核集；步骤四、合并核集中重复冗余点对；步骤五、采用RANSAC方法，在核集中进行遍历抽样，在全集中进行内点探测，提取真实配准点对，并求出两幅图像的配准模型。

上述方法中，所述步骤二中，灰阶和之比的计算方法为：连接一幅图像中的二个抽样点，首先求出二个抽样点的中点坐标，再分别求二个端点到中点所连线段上像素灰阶之和，进而求中点两边线段上的灰阶和之比。所述步骤三中，构建核集的具体方法为：A.遍历二配准点对的抽样，重复步骤一、步骤二，求出所有抽样点对的灰阶和之比的差e_ij；B.通过给定阈值，选择灰阶和之比的差e_ij小的抽样点对组建核集。方法中构造核集采用的属性为：两个真实配准点对在各自图像上的连线由于经历相同的内容，他们之间关于中点的灰阶比值较为接近；反之，虚假配准点对连线所经历的内容不同，他们之间关于中点的灰阶比值差距较大。所述步骤五中的遍历抽样次数为

其中n为需探测的配准点对P的集合中元素的个数。

本发明有益效果是:本发明给出了一种大污染背景下配准点的提纯方法，本发明针对图像配准方法产生的配准点存在严重污染的情况，探索真实配准点对的提纯方法。主要对配准点对进行提纯，对图像中的目标进行识别，解决图像中目标的配准识别问题，包括：解决不同场景下目标的配准识别，解决不同视角下目标的配准识别，解决目标本身形状、外观发生变化条件下目标的配准识别。

附图说明

下面对本说明书附图所表达的内容及图中的标记作简要说明：

图1是本发明的具体实施方式的方法流程示意图。

图2是本发明的具体实施方式的抽样图。

图3是本发明的具体实施方式的核集与全集示意图。

具体实施方式

下面对照附图，通过对实施例的描述，本发明的具体实施方式如所涉及的各构件的形状、构造、各部分之间的相互位置及连接关系、各部分的作用及工作原理、制造工艺及操作使用方法等，作进一步详细的说明，以帮助本领域技术人员对本发明的发明构思、技术方案有更完整、准确和深入的理解。

本发明提供的一种大污染背景下配准点的提纯方法，利用图像像素的空域属性构造核集，在核集中进行抽样，以提高抽样效率，进而解决极度污染配准点对的提纯。该方法解决了稀疏配准模型的提取，设2幅待配准图像分别为I₁与I₂，其配准点对由现有配准方法(如SIFT，SURF等)得到，设为P＝{(p_1i,p_2i)|p_1i∈I₁,p_2i∈I₂,i＝1,2,…,n}，其中m(p_1i,p_2i)＝1表示点对(p_1i,p_2i)是真实配准点对，m(p_1i,p_2i)＝0表示点对(p_1i,p_2i)是虚假配准点对。本发明所要解决的问题是求P的所有真实配准点对集P_T，使得P_T＝{(p_1i,p_2i)|m(p_1i,p_2i)＝1,(p_1i,p_2i)∈P}，并求两幅图像之间的配准模型，也即单应性变换矩阵H，使得

一种大污染背景下配准点的提纯方法，针对图像配准方法产生的配准点存在严重污染的情况，是探索真实配准点对的提纯方法，方法步骤具体包括：

步骤一、对于2幅待配准图像I₁与I₂中的n个配准点对P＝{(p_1i,p_2i)|i＝1,2,…,n}，从中任意抽取第i₁和i₂个配准点对

与

其中p_1i∈I₁，p_2i∈I₂(如图2中的p₁₁、p₁₂是I₁上的2个配准点)。

步骤二、连接第一幅图像I₁中的二个抽样点，求出二个抽样点的中点坐标，求二个端点到中点所连线段上像素灰阶和之比r₁；利用同样的方法连接第二幅图像I₂中的二个抽样点，求中点两边线段上的灰阶和之比r₂；求比值r₁与r₂之间的差e₁₂。中点处的灰阶和之比计算方法为：①连接第一幅图像I₁中的二个抽样点

与

(如图2中的p₁₁、p₁₂)，首先求出二个抽样点的中点坐标q₁<i₁,i₂>(如图2中的q₁)，再分别求二个端点到中点所连线段上像素灰阶之和，进而求中点两边线段上的灰阶和之比r₁。②与步骤①类似，连接第二幅图像I₂中的二个抽样点

与

(如图2中的p₂₁、p₂₂)，首先求出其中点坐标q₂<i₁,i₂>(如图2中的q₂)，再分别求二个端点到中点所连线段上像素灰阶之和，进而求中点两边线段上的灰阶和之比r₂。在集合P中遍历抽样后，求出所有抽样点对的灰阶和之比的差

将抽样其按字典排列，为：

R＝{e₁₂,e₁₃,…,e_1n,e₂₃,e₂₄,…,e_2n,…,e_n-1,n}.

如：求图像I₁中落在线段

与

上像素灰阶和之比r₁<i₁,i₂>。不妨设像素p处的灰阶为g(p)，则图像I₁中线段

上的像素灰阶和为：

图像I₁中线段

上的像素灰阶和为：

线段

与

上像素灰阶和之比为：

类似地，求图像I₂中落在线段

与

上像素灰阶和之比

求出r₁<i₁,i₂>与r₂<i₁,i₂>的差

记为：

步骤三、通过步骤二中两幅图像上灰阶和之比的差值构建核集。通过构造核集，在核集中进行抽样，进而提高抽样效率。构建核集的方法为：A.遍历二配准点对抽样，遍历抽样次数为

其中n为需探测的配准点对P的集合中元素的个数。重复步骤一、步骤二，求出所有抽样点对在步骤①与步骤②中的灰阶和之比的差e_ij。B.通过给定阈值，选择e_ij小的抽样点对组建核集。构造核集所采用属性为：两个真实配准点对在各自图像上的连线由于经历相同的内容，他们之间关于中点的灰阶比值较为接近；反之，虚假配准点对连线所经历的内容不同，从而他们之间关于中点的灰阶比值差距较大。如对于阈值T₁与T₂，设T₁＜T₂，构造集合P的核集P_c，

(如图3中的黑色配准点对所示)。

步骤四、合并核集P_c中重复冗余点对，合并核集中重复冗余点对是求两两抽样点对集的并集。如第一次抽中的两个点对为{(A₁,A₂),(B₁,B₂)}，第二次抽中的两个点对为{(A₁,A₂),(C₁,C₂)}，且两次抽样所得关于图像中点的差值均在阈值允许范围之内，则将在核集中重复出现两次的点对(A₁,A₂)合并为一个点对：

{(A₁,A₂),(B₁,B₂)}∪{(A₁,A₂),(C₁,C₂)}＝{(A₁,A₂),(B₁,B₂),(C₁,C₂)}。

步骤五、采用RANSAC方法，在核集中P_c进行抽样，在全集P中进行内点探测(图3中的灰色虚线与黑色实线配准点对组成了探测全集P)，提取真实配准点对，求出两幅图像I₁与I₂的真实配准点对P_T＝{(p_1i,p_2i)|m(p_1i,p_2i)＝1,(p_1i,p_2i)∈P}。求两幅图像之间的配准模型，也即单应性变换矩阵H。采用最小二乘法求H，使得：

核集抽样方法为：每次在核集P_c中随机抽四个配准对，求这四个配准对确定的单应性模型矩阵H。在全集中内点探测的方法为：将全集P中所有的配准点对逐一代入上述随机抽样确定的模型，对于给定的差值ε₀，如果P中的配准点对|H(p_1i)-p_2i|＜ε₀，则该配准点对为内点对。内点探测即为探测尽量多的内点数。

上面结合附图对本发明进行了示例性描述，显然本发明具体实现并不受上述方式的限制，只要采用了本发明的方法构思和技术方案进行的各种非实质性的改进，或未经改进将本发明的构思和技术方案直接应用于其它场合的，均在本发明的保护范围之内。本发明的保护范围应该以权利要求书所限定的保护范围为准。

Claims (3)

1.一种大污染背景下配准点的提纯方法，其特征在于，所述方法包括步骤：

步骤一、对于两幅待配准图像I₁与I₂的若干配准点对P，从中任意抽取2个配准点对；

步骤二、连接图像I₁中的二个抽样点，求出二个抽样点的中点坐标，求二个端点到中点所连线段上像素灰阶和之比r₁；利用同样的方法连接图像I₂中的二个抽样点，求中点两边线段上的灰阶和之比r₂；计算比值r₁与r₂之间的差e₁₂；

步骤三、通过步骤二中两幅图像上灰阶和之比的差值构建核集；

构建核集的方法为：A.遍历二配准点对抽样，遍历抽样次数为

其中n为需探测的配准点对P的集合中元素的个数；重复步骤一、步骤二，求出所有抽样点对在步骤①与步骤②中的灰阶和之比的差e_ij；B.通过给定阈值，选择e_ij较小的抽样点对组建核集；

其中，步骤①为：连接第一幅图像I₁中的二个抽样点

与

首先求出二个抽样点的中点坐标q₁<i₁,i₂>，再分别求二个端点到中点所连线段上像素灰阶之和，进而求中点两边线段上的灰阶和之比r₁；步骤②与步骤①类似，步骤②为：连接第二幅图像I₂中的二个抽样点

与

首先求出其中点坐标，再分别求二个端点到中点所连线段上像素灰阶之和，进而求中点两边线段上的灰阶和之比r₂；

步骤四、合并核集中重复冗余点对；

步骤五、采用RANSAC方法，在核集中进行遍历抽样，在全集中进行内点探测，提取真实配准点对，并求出两幅图像的配准模型。

2.根据权利要求1所述的大污染背景下配准点的提纯方法，其特征在于，方法中构造核集采用的属性为：两个真实配准点对在各自图像上的连线由于经历相同的内容，他们之间关于中点的灰阶比值较为接近；反之，虚假配准点对连线所经历的内容不同，他们之间关于中点的灰阶比值差距较大。

3.根据权利要求1所述的大污染背景下配准点的提纯方法，其特征在于，所述步骤五中的遍历抽样次数为

其中n为需探测的配准点对P的集合中元素的个数。

Images