CN101226636B - 一种刚体变换关系的图像的匹配方法 - Google Patents

Abstract

一种应用于符合刚体变换关系模型的图像匹配方法。包括步骤：在当前图像中有规律的选取多个小模板块(或特征点)，并判断质量，剔除不合适的(或按质量赋权值)；分别在前一图像中找到最匹配的对应位置；根据已知的几何约束，给每个匹配结果的坐标点对赋一个权值；然后拟合出当前图像相对前一图像的刚体变换关系。采用本发明的方法，在只增加少量计算的条件下，能有效提高匹配结果的鲁棒性。本方法应用于超声实时宽视野成像中的图像匹配，获得高质量的成像结果。

Description

一种刚体变换关系的图像的匹配方法

技术领域 本发明涉及图像处理技术，具体地说，涉及对符合刚体变换关系的图像间的匹配技术。

背景技术 在一些图像匹配的应用中，相邻的图像间的变换关系符合刚体变换关系。如超声扫描诊断中，探头在目标位置以相对均匀的速度移动，相邻两帧间的位移不大，且变形较小。若要由扫描过程中生成的图像序列生成宽视野图像，考虑到匹配拼接过程中的误差累积效应，一般在匹配中使用刚体变换模型，即认为相邻两帧间只有旋转和平移关系。在这类应用中，若对相邻的两图像使用仿射变换模型或多项式模型等，则相邻两图像间能获得更好的对应。但是多帧向后不断匹配的过程中，变形和误差的累积会使后面的图像失真越来越严重，需用使用全局优化的方法。而在实时匹配拼接成像的场合，全局优化的方法无法顺利使用。解决方法之一是相邻两图像的匹配中使用刚体变换模型。

这里所说的图像的刚体变换模型，即只有旋转和平移关系的模型，即当前图像相对前一图像的变换关系表达为：

$\left(\begin{array}{c}X\\ Y\end{array}\right)=\left(\begin{array}{cc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right)\left(\begin{array}{c}{X}^{\′}\\ Y^{\′}\end{array}\right)+\left(\begin{array}{c}{X^{\′}}_0\\ {Y^{\′}}_0\end{array}\right)$

其中(X′，Y′)表示当前图像上的坐标，(X，Y)表示在前一图像对应位置的坐标，θ表示旋转角度，(X′₀，Y′₀)表示平移量。这种变换模型有一个重要的特点，在当前图像上点间的相对位置关系，经变换后不会发生改变，如两点间距离保持不变等。

图像匹配方法主要包括基于模板的匹配和基于特征的匹配，两种思路各有优势。这两种思路的目的都是在相邻的两图像间获得多个“点”坐标对应关系。然后按照特定的模型，利用这些“点”坐标对应关系，计算两图像整体的变换关系。由多个样本点的对应关系计算整体对应关系时，常使用最小二乘方法拟合。最小二乘方法的一个缺点是当有个别样本点偏离整体较大时，会“拉偏”整个拟合结果，而图像匹配过程中，常会出现少数模板(或特征点)误配的情况。图1表示了用最小二乘方法拟合一条直线，其中1为期望结果，2为拟合结果，由于一个点偏离整体较远，而使结果产生较大的偏差。解决这个问题常用的方法是叠代计算，如M估计和随机采样一致性方法等。一方面，这些方法运算量比较大，限制了其在一些需要实时计算的领域的应用。另一方面，它们是通用方法，可以在各种模型下使用，不考虑利用刚体变换模型的特点来提高鲁棒性。

发明内容 本发明充分考虑刚体变换模型下相邻两图像间对应关系的特点，利用图像上点坐标的相对位置关系在刚体变换下保持不变的性质，在不显著增加计算量的条件下，提高匹配结果的鲁棒性。本发明有较低的实现成本和较低的计算复杂度，使本发明的方法可以用于需要较少运算量、较高鲁棒性的领域，如超声设备的实时宽视野成像。

本发明的基本思路为：在当前图像中有规律的选取符合要求的模板(或特征点)，分别在前一图像中找到对应的匹配，获得位置对应关系；然后利用选取的模板(或特征点)间的几何约束，判断匹配结果中对应位置处的偏离情况；再按照偏离的程度为各对应的“点”对分配不同权值，由这些位置对应关系加权拟合出当前图像到前一图像的变换关系。

实现本发明思路的技术方案是，利用刚体变换的特点，提供一种鲁棒的图像匹配方法，只相对增加少量计算。具体步骤如下：

A.在当前图像中固定位置有规律的选取多个小模板块(或特征点)，并剔除其中质量较差的(或按质量赋权值)；

B.每个有效的模板块(或特征点)在前一图像中找到最匹配的对应位置；

C.根据已知的几何约束，给每个有效模板块(或特征点)的匹配结果赋一个权值；

D.由各个对应位置关系和权值，拟合当前图像相对前一图像的变换关系；

其特征在于：步骤A中的模板块(或特征点)是在固定位置，有规律的选取的。步骤C中几何约束特指：匹配结果中，图像中同一行或同一列上其它模板匹配位置和当前模板匹配位置的距离，与应有距离的偏差。即以步骤A中给定的位置关系作为几何约束，使匹配结果偏离实际位置关系较远的匹配“点”对，在拟合时占较小比重，用于保证图像刚体变换关系计算的鲁棒性。采用上述方案，可以在只相对增加少量计算的条件下，有效提高匹配结果的鲁棒性。

附图说明 图1是最小二乘方法拟合直线时的偏差示意图

图2是使用模板匹配时的一种模板选取方式示意图

图3是一个具体实施例的流程示意图

具体实施方式 现在结合附图，描述本发明的一个实施例。

这里使用模板匹配方式作为一个具体例子，详细阐述本发明的实施方式。

当对两图像进行匹配，使用模板匹配的过程就是：首先在当前图像上选取多个小模板块，分别在前一图像上搜索匹配，找到最佳匹配位置，然后用这些小模板块的坐标及其对应匹配位置的坐标计算出两图像间的变换关系。本发明的一个实施例的流程如图3所示，具体步骤如下：

A.在当前图像中待匹配区域有规律的选取多个小模板块，并对各个模板块进行质量判断，剔除质量较差的模板块(或按质量赋权值)；

B.每个有效的模板块在前一图像中搜索匹配，找到最匹配的对应位置；

C.根据已知的几何约束，给每个有效模板的匹配结果赋一个权值；

D.由各个有效模板块的对应位置关系和权值，拟合当前图像相对前一图像的变换关系；

本实施例的步骤A中对匹配模板块的选取如图2所示，其中3表示当前图像，4表示当前图像上选取的多个小图像块，选取的位置和数量按实际情况决定，可以(不限于)取为在待匹配区域中的等距的几行几列，以便于计算并获得更好的稳定性。这些小的图像块一般取为矩形，也可以取其它形状。本实施例中，每个模板块的宽高可以取为(像素数)16×16、32×32、48×48、64×64等。

选取的模板块要进行质量判断，剔除质量较差的块(如过于均匀、所有像素接近黑色或白色等)，以预先减少错误匹配，增强匹配鲁棒性。若质量差的赋较小权值，质量好的赋较大权值，则整体拟合时使用的权值，是质量权值和步骤C中的匹配结果权值的乘积。

取定的各个有效模板块，分别在前一图像中对应位置附近搜索匹配。在本实施例中，使用计算当前模板和前一图像对应位置处的像素值的绝对差和的方法，绝对差和表示为

其中f_i表示当前模板的第i个像素的灰度值，g_i表示前一图像中对应位置处的像素灰度值。在整个搜索范围内，SAD值最小的位置，认为是当前模板在前一图像中最匹配的位置。除本实施例中的方法，还有(不限于)使用相关系数匹配的方法，可以得到基本相同的结果。

每个有效模板块在前一图像中计算，找到一个认为最匹配的位置。每个有效模板在当前图像中的坐标和前一图像中对应的最匹配位置的坐标构成了对应点对。由这些点对的关系拟合出当前图像到前一图像的变换关系。两图像间关系符合刚体变换模型，因此每个点对间的坐标变换和图像整体变换关系类似，表示为：

$\left(\begin{array}{c}{X}_i\\ Y_i\end{array}\right)=\left(\begin{array}{cc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right)\left(\begin{array}{c}{X^{\′}}_i\\ {Y^{\′}}_i\end{array}\right)+\left(\begin{array}{c}{X^{\′}}_0\\ {Y^{\′}}_0\end{array}\right)$

其中(X′_i，Y′_i)表示当前图像中有效模板的坐标，(X_i，Y_i)表示在前一图像中对应最匹配位置的坐标，θ表示旋转角度，(X′₀，Y′₀)表示平移量。最终目标就是根据已知的多个点对坐标，求出旋转角度和平移量。

各个有效模板的匹配结果中，有时会有少量错误匹配结果，这些错误的匹配会降低拟合结果的鲁棒性。本发明通过选取有效模板时已知的几何关系，给每个有效模板的匹配结果赋一个权值，匹配点对分别按权重大小参加拟合。本实施例中，各个有效模板间的距离已知。假设当前图像中有两个有效模板的位置分别为a、b，它们在前一图像中对应的正确匹配位置为A、B。因为两图像间使用刚体变换模型，所以A、B间的距离应等于a、b间的距离。若A、B间的距离与应有的距离偏离越远，则匹配错误的可能性越大，在拟合中的权重就越小。本实施例中，(不限于)定义每个点对的权重为高斯函数的叠加：

$W_I=\underset{J}{\mathrm{\Σ}}{e}^{-{(\mathrm{diff}\_\mathrm{dist}(I,J))}^2/{\mathrm{\σ}}^2}$

其中求和内的点J表示与I在同一行或在同一列的点，diff_dist(I，J)表示I和J间的距离与它们的对应有效模板i和j间的距离之差，σ决定了高斯函数的开口宽度，用于调节权重的差异程度。权重计算结果不需要高精度，只要能够区分各个小模板块搜索匹配结果的重要性即可，因此可以通过离散化和预先计算查找表的方法提高运算速度。

使用上面给出的“点对”间的变换关系和每个匹配点对的权重，使用加权最小二乘拟合出当前图像和前一图像的刚体变换关系。

本发明的实施例在PC平台上实现，经过实验验证，在只增加少量计算的条件下，能有效提高匹配结果的鲁棒性。同时，本方法应用于超声实时宽视野成像中的图像匹配，获得高质量的成像结果。

Claims (2)

1.一种应用于刚体变换关系模型的图像匹配方法，包括步骤：

A.在当前图像中待匹配区域选取等距的几行几列的模板块；模板块选定后，进行质量判断，剔除过于均匀、所有像素接近黑色或所有像素接近白色的模板块；

B.每个有效的模板块在前一图像中找到最匹配的对应位置；

C.根据已知的几何约束，给每个有效模板块的匹配结果赋一个权值；

D.由各个对应位置关系和权值，拟合当前图像相对前一图像的变换关系；其特征在于：

步骤B、C中的有效模板块指在步骤A中质量判断后保留的模板块；

步骤C中以步骤A中给定的位置关系为几何约束，使匹配结果偏离实际位置关系较远的“点”对，在拟合时占较小比重，用于保证图像刚体变换关系计算的鲁棒性；其中，几何约束特指：对于当前帧图像中同一行或同一列上的两个模板块，在前一帧中计算出这两个模板块对应的正确匹配位置，该正确匹配位置间的距离与上述当前帧中的该两个模板块间的距离的偏差为几何约束。

2.根据权利要求1中所述的图像匹配方法，其特征在于：

步骤A中模板块取定后，进行质量判断，按质量给各个模板块赋一个权值；在步骤D中使用的权值为质量权值和步骤C中匹配结果权值的乘积。

Images