CN101882308A - 提高图像拼接精度和稳定性的方法 - Google Patents

Abstract

一种视频图像处理技术领域的提高图像拼接精度和稳定性的方法，包括以下步骤：对待拼接图像进行SIFT特征点提取和匹配，得到初始匹配点对集；进行剔除误匹配处理，得到满足同一单应矩阵的一致最大内点集；进行归一化直接线性变化处理，得到单应矩阵的初始估计，并对单应矩阵的初始估计进行LM迭代优化处理，得到单应矩阵的最优估计；进行图像的拼接，确定两幅待拼接图像的公共区域，并得到公共区域的最小外接矩形所含的两幅图像的子图像；进行无缝融合，将融合后的图像贴到公共区域即可得到图像拼接的最终结果。本发明能够在初始匹配点对中存在大量误匹配的情况下进行图像拼接，且拼接精度高，耗时短，稳定性好。

Description

提高图像拼接精度和稳定性的方法

技术领域

本发明涉及的是一种视频图像处理技术领域的方法，具体是一种提高图像拼接精度和稳定性的方法。

背景技术

图像拼接技术可以用来建立大视角的高分辨率图像，在虚拟现实领域、医学图像处理领域、遥感技术领域等均有广泛的应用。图像拼接的过程由图像配准和图像合成两个步骤组成，其中图像配准是整个图像拼接的基础。图像拼接的质量主要依赖图像的配准程度，因此图像的配准是拼接方法的核心和关键。根据图像配准方法的不同，一般可以将图像拼接方法分为基于区域相关的拼接方法和基于特征相关的拼接方法两个类型。一般来说，基于区域相关的拼接方法图像配准的精度不高，容易受旋转、变形以及照明不同的影响；而基于特征相关的拼接方法由于利用了图像的特征信息，对旋转、变形以及照明具有较强的抗干扰能力，其配准精度通常较高。基于特征相关的拼接方法的一般步骤分为提取图像中的特征、不同图像间特征的匹配、估计图像间的单应矩阵和利用单应矩阵转移图像像素。由于实际中特征的提取存在定位误差以及特征的匹配存在误匹配，用于图像拼接的单应矩阵的估计精度将会受此影响。近年来，随着图像拼接技术的进一步发展，出现了大量减小特征定位误差以及消除误匹配的方法。

经过对现有技术文献的检索发现，David Lowe于2004年在《International Journal ofComputer Vision(国际计算机视觉期刊)》上发表的“Distinctive image features fromscale-invariant keypoints(基于尺度不变关键点的显著图像特征)”中提出了图像尺度不变特征点即SIFT特征点的提取方法。通过引入尺度空间将二维图像拓展成三维的金字塔结构并取在三个方向上都有较大灰度变化的点为特征点，极大地改善了特征定位误差。然而该技术在对SIFT特征点进行匹配的后仍然存在大量误匹配的问题。

又经检索发现，Matthew Brown和David Lowe于2007年在《International Journal ofComputer Vision(国际计算机视觉期刊)》上发表的“Automatic panoramic image stitching usinginvariant features(使用不变特征的自动全景图像拼接)”中提出了利用SIFT特征点进行全景图自动拼接的方法。该方法利用随机抽样一致性方法(即RANSAC方法)消除误匹配，提高单应矩阵的估计精度。RANSAC方法将在一定精度内满足某一单应矩阵的匹配点对称为该单应矩阵的内点，否则称为外点。RANSAC方法能够处理存在点对误匹配的情况，然而当误匹配在总匹配点对中的比例较大时，RANSAC方法的耗时会相当大，且单应矩阵的精度也会受到抽样次数的不足的影响。

发明内容

本发明的目的在于克服现有技术中的上述不足，提出一种提高图像拼接精度和稳定性的方法。该方法利用遗传方法内含的并行性和全局最优性来提高单应矩阵估计的效率、估计精度及鲁棒性，从而提高图像拼接的精度和稳定性，可广泛应用于摄影测量、遥感图像处理、医学图像分析和虚拟现实等领域。

本发明是通过以下技术方案实现的，本发明包括以下步骤：

第一步，分别对待拼接的两幅图像进行SIFT特征点提取，并对得到的两组SIFT特征点进行匹配，得到初始匹配点对集。

第二步，基于单应矩阵的遗传一致性估计，对初始匹配点对集进行剔除误匹配处理，得到满足同一单应矩阵的一致最大内点集。

所述的剔除误匹配处理，包括以下步骤：

1)在初始匹配点对集中选择P个个体组成初始种群，得到每个个体包含的内点数，且至少有一个个体中包含的内点数大于或者等于相关阈值T_in；

所述的个体包含从初始匹配点对集中随机选择的s组非奇异匹配点对。

所述的s取值范围是：区间[4，10]上的整数。

所述的相关阈值T_in的取值范围是：[2s，4s]，其中s为个体所包含的匹配点对数。

所述的P的取值范围为：[s+2，20(s+2)]，其中s为个体所包含的匹配点对数。

所述的内点是对称转移误差小于内点阈值Thr的匹配点对。

所述的内点阈值Thr的取值范围是：[0.5，2]。

所述的对称转移误差，是：

D_ij＝||x_Li-H_jx_Ri||²+||x_Ri-H_j ^-1x_Li||²，

其中：D_ij是初始匹配点对集中第i组匹配点对(x_Li，x_Ri)对于第j个个体I_j的对称转移误差，1≤i≤N，N是初始匹配点对集中匹配点对的总数目，x_Li＝(x_Li，y_Li，1)^T为第i组匹配点对中第一幅图匹配点的齐次坐标，(x_Li，y_Li)^T是以第一幅图左上角像素点为原点建立的坐标系中的像素坐标；x_Ri＝(x_Ri，y_Ri，1)^T为第i组匹配点对中第二幅图匹配点的齐次坐标，(x_Ri，y_Ri)^T是以第二幅图左上角像素点为原点建立的坐标系中的像素坐标，H_j是利用第j个个体I_j所包含的s对匹配点对进行归一化直接线性变化处理所得到的单应矩阵估计实例，1≤j≤P。

所述的归一化直接线性变化处理，包括以下步骤：

a)计算第一幅图的归一化矩阵T_L：

$T_L=\left[\begin{array}{ccc}1/f_L& 0& -u_L/f_L\\ 0& 1/f_L& -v_L/f_L\\ 0& 0& 1\end{array}\right],$

其中：

f_L＝W_L+F_L/2，W_L为第一幅图以像素为单位的宽度，F_L为第一幅图的以像素为单位的长度，f_L为第一幅图的尺度归一化因子；

b)计算第二幅图的归一化矩阵T_R：

$T_R=\left[\begin{array}{ccc}1/f_R& 0& -u_R/f_R\\ 0& 1/f_R& -v_R/f_R\\ 0& 0& 1\end{array}\right],$

其中：

f_R＝W_R+F_R/2，W_R为第二幅图以像素为单位的宽度，F_R为第二幅图的以像素为单位的长度，f_R为第二幅图的尺度归一化因子；

c)归一化匹配点对：

x_NLi＝T_Lx′_Li，x_NRi＝T_Rx′_Ri，

其中：x_NLi为第一幅图匹配点的归一化齐次坐标，x_NRi为第二幅图匹配点的归一化齐次坐标，x′_Li＝(x′_Li，y′_Li，1)^T，x′_Ri＝(x′_Ri，y′_Ri，1)^T，(x′_Li，x′_Ri)是提供的匹配点对；

d)对

进行奇异值分解：

A＝UDV^T，

其中： $A_i=\left[\begin{array}{ccc}{0}^T& -x_{\mathrm{NRi}}^T& y_{\mathrm{NLi}}{x}_{\mathrm{NRi}}^T\\ x_{\mathrm{NRi}}^T& 0^T& -x_{\mathrm{NLi}}{x}_{\mathrm{NRi}}^T\end{array}\right],$

x_NLi＝(x_NLi，y_NLi，1)^T，x_NRi＝(x_NRi，y_NRi，1)^T，

对角矩阵D的对角元素沿着对角线按降序排列，V的最后一列为h；

e)解除归一化，得到单应矩阵：

$H=T_L^{-1}\tilde{H}{T}_R,$

其中： $\tilde{H}=\left(\begin{array}{ccc}{h}_1& h_2& h_3\\ h_4& h_5& h_6\\ h_7& h_8& h_9\end{array}\right),$

h_i为h的第i个元素，H就是由提供的匹配点对得到的单应矩阵估计实例。

2)将初始种群随机划分为个体数目都为s+2的子群，并在每个子群中选择内点数最大和次大的两个个体作为母体；

3)将每个子群中的两个母体随机交换q组匹配点对生成2个子体，子体与母体共形成4个中间个体。

所述的q为区间[1，s-1]上的随机整数。

4)保留每个子群4个中间个体中内点数最大的个体作为候选个体。

5)对每个子群中的候选个体进行变异处理，使每个候选个体变异为s+1个变异个体，并将变异个体进行调整处理，得到调整后的变异个体与候选个体组成的新的种群。

所述的变异处理，分别在每个候选个体划分的内外点中选择由m组内点和4-m组外点组成的变异个体，0≤m≤s。每个候选个体都生成s+1个变异个体。

所述的外点是对称转移误差大于或等于内点阈值Thr的匹配点对。

所述的调整处理，是：对每个候选个体生成的变异个体，逐个与判别个体进行比较，当且仅当判别个体的内点数大于变异个体的内点数，则将变异个体置换为判别个体。

所述的判别个体是从候选个体的内点中随机选择的s组非奇异匹配点对。

6)对新的种群重复执行2)-5)共G次后，此时种群中内点数最大的个体的内点就是满足同一单应矩阵的一致最大内点集。

所述的G，是：

$G=\frac{\log (1-C)}{P\·\log (1-{\left(\frac{\mathrm{\μ}}{N}\right)}^s)},$

其中：P是种群中个体的数目，μ是第G次执行完5)后得到的内点数最大的个体的内点数，N是初始匹配点对集中匹配点对的总点对数，C是第G次执行完5)后由s个正确匹配点对组成的个体至少出现过一次的概率。

所述的C的取值范围是：[0.9，0.99]。

第三步，利用一致最大内点集的所有匹配点对进行归一化直接线性变化处理，得到单应矩阵的初始估计H_init，并对单应矩阵的初始估计进行LM迭代优化处理，得到单应矩阵的最优估计H_opt。

所述的LM迭代优化处理，是在下面的公式中当总对称转移误差E不变时，H_opt即为单应矩阵的最优估计：

$E=\underset{j=1}{\overset{M}{\mathrm{\Σ}}}{\left|\right|x_{\mathrm{INLj}}-H_{\mathrm{opt}}{x}_{\mathrm{INRj}}\left|\right|}^2+{\left|\right|x_{\mathrm{INRj}}-H_{\mathrm{opt}}^{-1}{x}_{\mathrm{INLj}}\left|\right|}^2$ s.t. ${\left|\right|H_{\mathrm{opt}}\left|\right|}_F^2=1,$

其中：(x_INLj，x_INRj)是一致最大内点集中的第j个匹配点对，1≤j≤M，M为一致最大内点集中匹配点对的个数，||·||_F表示矩阵的Frobenius范数，H_opt的初始值取为H_init/||H_init||_F，H_init是单应矩阵的初始估计。

第四步，利用单应矩阵的最优估计H_opt进行图像的拼接，确定两幅待拼接图像的公共区域，并得到公共区域的最小外接矩形所含的第一幅图像的子图像

和第二幅图像的子图像

所述的图像的拼接，包括以下步骤：

1)、将第二幅图像拼接到第一幅图像上，根据Reg2＝Quad{R_k/R_k(3)得到第二幅图像所占的区域Reg2，

其中：R_k＝H_opt·V_k，

R_k是第二幅图像拼接到第一幅图像上后的第k个顶点的齐次坐标，1≤k≤4，V_k是第二幅图像本身的第k个顶点的齐次坐标，V₁＝(1，1，1)^T，V₂＝(1，F_L，1)^T，V₃＝(W_L，F_L，1)^T，V₄＝(W_L，1，1)^T，W_L为第一幅图以像素为单位的宽度，F_L为第一幅图的以像素为单位的长度，Quad{.}表示由四点依次连接构成的四边形所包含的区域，R_k(3)是表示矢量R_k的第三个分量；

2)、根据1)方法，得到第一幅图像所占的区域Reg1，区域Reg2和区域Reg1的交集就是两幅待拼接图像的公共区域，并将第二幅图像与公共区域不同的内容拼接到第一幅图像上。

第五步，对第一幅图像的子图像和第二幅图像的子图像进行无缝融合，将融合后的图像贴到公共区域即可得到图像拼接的最终结果。

与现有技术相比，本发明的有益效果是：能够在初始匹配点对中存在大量误匹配的情况下精确快速稳定地估计出用于图像拼接的单应矩阵，通过控制初始种群的形成并进一步采用子群的方式同时在解空间内的多个区域进行搜索，与现有技术中RANSAC每次只在单个区域搜索形成鲜明对比，能够在误匹配点对大量存在的情况下快速实现单应矩阵的估计；利用变异个体根据内点的可能分布进行有目的的搜索，能够在全局意义上更准确地找出一致最大内点集，与现有技术中RANSAC每次随机选择搜索区域的盲目性形成鲜明对比，显著提高了单应矩阵估计的估计精度和鲁棒性，从而保证图像拼接的精度；所采用的归一化直接线性变化中，两幅图像的尺度归一化因子都只与图像自身的长宽有关，这使得处理的结果与点的具体分布无关，提高了稳定性。

附图说明

图1是实施例待拼接和拼接后的图像示意图；

其中：(a)是第一幅待拼接图像；(b)是第二幅待拼接图像；(c)是拼接后的图像。

图2是实施例中尺度空间中的高斯金字塔和DOG金字塔结构示意图。

图3是实施例中尺度空间极值检测示意图。

图4是实施例中特征描述子示意图；

其中：(a)是将坐标轴转为关键点的方向示意图；(b)是特征点的32个维度示意图。

图5是实施例中分别采用实施例方法和现有技术中的RANSAC方法得到的内点检测能量对比示意图。

图6是实施例中分别采用实施例方法和现有技术中的RANSAC方法得到的估计误差对比示意图。

图7是实施例中分别采用实施例方法和现有技术中的RANSAC方法得到的耗时对比示意图。

具体实施方式

以下结合附图对本发明的方法进一步描述：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例

本实施例用于将图1(a)所示图像拼接到图1(b)所示的图像上，拼接得到的图像如图1(c)所示，具体包括以下步骤：

第一步，分别对待拼接的两幅图像进行SIFT特征点提取，并对得到的两组SIFT特征点进行匹配，得到初始匹配点对集{(x_Li，x_Ri)|1≤i≤N}，N是初始匹配点对集中匹配点对的总数目。x_Li＝(x_Li，y_Li，1)^T为第i组匹配点对中第一幅图匹配点的齐次坐标，(x_Li，y_Li)^T是以第一幅图左上角像素点为原点建立的坐标系中的像素坐标；x_Ri＝(x_Ri，y_Ri，1)^T为第i组匹配点对中第二幅图匹配点的齐次坐标，(x_Ri，y_Ri)^T是以第二幅图左上角像素点为原点建立的坐标系中的像素坐标。

所述的SIFT特征点的提取与匹配过程如下：

1)建立高斯金字塔

高斯金字塔有o阶，每一阶有l层尺度图像。本实施例建立(o，l)＝(4，5)的高斯金字塔。第1阶的第1层是放大2倍的原始图像，在同一阶中相邻两层的尺度因子比例系数是k，则第1阶第2层的尺度因子是kσ，然后其它层以此类推则可；第2阶的第1层由第一阶的中间层尺度图像进行子抽样获得，其尺度因子是k²σ，然后第2阶的第2层的尺度因子是第1层的k倍即k³σ。第3阶的第1层由第2阶的中间层尺度图像进行子抽样获得。其它阶的构成以此类推。得到的高斯金字塔的结构如图2左半边所示。对于二维图像I(x，y)在不同尺度下的尺度空间表示L(x，y，σ)可由图像I(x，y)与高斯核G(x，y，σ)的卷积得到：

L(x，y，σ)＝G(x，y，σ)*I(x，y)，

其中：

本实施例取σ＝1.6。

2)建立DOG金字塔

DOG金字塔通过高斯金字塔中相邻尺度空间函数相减即可。DOG金字塔的第1层的尺度因子与高斯金字塔的第1层是一致的，其它阶也一样。本实施例得到的DOG金字塔如图2右半边所示。

3)DOG空间的极值检测

为了检测到DOG空间的最大值和最小值，需要比较DOG尺度空间图像中的每个像素与它邻近26个像素的值，在图3中，标记为叉号的像素若比相邻26个像素的DOG值都大或都小，则该点将作为一个SIFT特征点，记下它的位置、对应阶数和层数。

4)确定特征点的主方向

根据特征点的阶数和层数在高斯金字塔中找到对应的图像层，并以特征点的位置为中心，在9×9的正方形邻域内统计所有点的梯度的大小和方向，并用梯度直方图统计邻域像素的梯度方向。梯度直方图的范围是0°～360°，其中每10度为一个方向，总共36个方向。统计得到的直方图峰值所在的方向就代表了该特征点的主方向。其中正方形邻域内点的梯度的大小m(x，y，σ)和方向计算如下：

$m=(x,y,\mathrm{\σ})=\sqrt{{(L(x+1,y,\mathrm{\σ})-L(x-1,y,\mathrm{\σ}))}^2+{(L(x,y+1,\mathrm{\σ})-L(x,y-1,\mathrm{\σ}))}^2},$

θ(x，y，σ)＝arctan((L(x，y+1，σ)-L(x，y-1，σ))/(L(x+1，y，σ)-L(x-1，y，σ)))。

5)确定特征点的特征描述子

为了确保旋转不变性，首先将坐标轴旋转为关键点的方向。以关键点为中心，取8×8的窗口，将这个窗口切成2×2的子窗口，如图4所示。

图4(a)的中心代表当前关键点的位置，每一个小格代表了与关键点同尺度，并且是在关键点邻域内的一个像素，小格中箭头的方向代表该像素的梯度方向，箭头的长度代表梯度的模的大小，圆圈代表了高斯加权的范围。图4(b)中2×2的窗口的每个子窗口由其上4×4的小块组成。在每个4×4的小块上计算8个方向的梯度方向直方图，统计每个方向的累加值，即形成一个种子点。一个特征点由2×2共4个种子点组成，每个种子点包含8个方向的信息，这样每个特征点的特征描述子就有4×8＝32个维度。

所述的匹配，具体是：首先将第一幅图和第二幅图中所有特征点的特征描述子进行长度归一化，接着对第一幅图中的每个特征点在第二幅图中寻找相似性度量最大的两个特征点。当次大的相似性度量除以最大的相似性度量少于比例阈值0.8，则第一幅图中的特征点与第二幅图中最相似的特征点为一对匹配点。两特征点间的相似性度量Sd如下：

Sd(Desc1，Desc2)＝Desc1^T·Desc2，

其中：Desc1和Desc2代表以32维列向量表示的特征描述子。Sd值越大表明两特征点越相似。

第二步，在初始点对集A上利用基于单应矩阵的遗传一致性估计，对初始匹配点对集进行剔除误匹配处理，得到满足同一单应矩阵的一致最大内点集。

所述的剔除误匹配处理，包括以下步骤：

1)在初始匹配点对集中选择P(P＝12)个个体组成初始种群，得到每个个体包含的内点数，且至少有一个个体中包含的内点数大于或者等于相关阈值T_in(T_in＝12)；

所述的个体包含从初始匹配点对集中随机选择的s(s＝4)组非奇异匹配点对。

所述的内点是对称转移误差小于内点阈值Thr(Thr＝1)的匹配点对。

所述的对称转移误差，是：

D_ij＝||x_Li-H_jx_Ri||²+||x_Ri-H_j ^-1x_Li||²，

其中：D_ij是初始匹配点对集中第i组匹配点对(x_Li，x_Ri)对于第j个个体I_j的对称转移误差，1≤i≤N，N是初始匹配点对集中匹配点对的总数目，x_Li＝(x_Li，y_Li，1)^T为第i组匹配点对中第一幅图匹配点的齐次坐标，(x_Li，y_Li)^T是以第一幅图左上角像素点为原点建立的坐标系中的像素坐标；x_Ri＝(x_Ri，y_Ri，1)^T为第i组匹配点对中第二幅图匹配点的齐次坐标，(x_Ri，y_Ri)^T是以第二幅图左上角像素点为原点建立的坐标系中的像素坐标，H_j是利用第j个个体I_j所包含的s对匹配点对进行归一化直接线性变化处理所得到的单应矩阵估计实例，1≤j≤P。

所述的归一化直接线性变化处理，包括以下步骤：

a)计算第一幅图的归一化矩阵T_L：

$T_L=\left[\begin{array}{ccc}1/f_L& 0& -u_L/f_L\\ 0& 1/f_L& -v_L/f_L\\ 0& 0& 1\end{array}\right],$

其中：

f_L＝W_L+F_L/2，W_L为第一幅图以像素为单位的宽度，F_L为第一幅图的以像素为单位的长度，f_L为第一幅图的尺度归一化因子；

b)计算第二幅图的归一化矩阵T_R：

$T_R=\left[\begin{array}{ccc}1/f_R& 0& -u_R/f_R\\ 0& 1/f_R& -v_R/f_R\\ 0& 0& 1\end{array}\right],$

其中：

f_R＝W_R+F_R/2，W_R为第二幅图以像素为单位的宽度，F_R为第二幅图的以像素为单位的长度，f_R为第二幅图的尺度归一化因子；

c)归一化匹配点对：

x_NLi＝T_Lx′_Li，x_NRi＝T_Rx′_Ri，

其中：x_NLi为第一幅图匹配点的归一化齐次坐标，x_NRi为第二幅图匹配点的归一化齐次坐标，x′_Li＝(x′_Li，y′_Li，1)^T，x′_Ri＝(x′_Ri，y′_Ri，1)^T，(x′_Li，x′_Ri)是提供的匹配点对；

d)对

进行奇异值分解：

A＝UDV^T，

其中： $A_i=\left[\begin{array}{ccc}{0}^T& -x_{\mathrm{NRi}}^T& y_{\mathrm{NLi}}{x}_{\mathrm{NRi}}^T\\ x_{\mathrm{NRi}}^T& 0^T& -x_{\mathrm{NLi}}{x}_{\mathrm{NRi}}^T\end{array}\right],$

x_NLi＝(x_NLi，y_NLi，1)^T，x_NRi＝(x_NRi，y_NRi，1)^T，

对角矩阵D的对角元素沿着对角线按降序排列，V的最后一列为h；

e)解除归一化，得到单应矩阵：

$H=T_L^{-1}\tilde{H}{T}_R,$

其中： $\tilde{H}=\left(\begin{array}{ccc}{h}_1& h_2& h_3\\ h_4& h_5& h_6\\ h_7& h_8& h_9\end{array}\right),$

h_i为h的第i个元素，H就是由提供的匹配点对得到的单应矩阵估计实例。

2)将初始种群随机划分为个体数目都为6的子群，并在每个子群中选择内点数最大和次大的两个个体作为母体；

3)将每个子群中的两个母体随机交换q(q＝2)组匹配点对生成2个子体，子体与母体共形成4个中间个体。

4)保留每个子群4个中间个体中内点数最大的个体作为候选个体。

5)对每个子群中的候选个体进行变异处理，使每个候选个体变异为5个变异个体，并将变异个体进行调整处理，得到调整后的变异个体与候选个体组成的新的种群。

所述的变异处理，分别在每个候选个体划分的内外点中选择由m组内点和4-m组外点组成的变异个体，0≤m≤4。每个候选个体都生成5个变异个体。

所述的外点是对称转移误差大于或等于内点阈值Thr(Thr＝1)的匹配点对。

所述的调整处理，是：对每个候选个体生成的变异个体，逐个与判别个体进行比较，当且仅当判别个体的内点数大于变异个体的内点数，则将变异个体置换为判别个体。

所述的判别个体是从候选个体的内点中随机选择的4组非奇异匹配点对。

6)对新的种群重复执行2)-5)共G次后，此时种群中内点数最大的个体的内点就是满足同一单应矩阵的一致最大内点集。

所述的G，是：

$G=\frac{\log (1-C)}{P\·\log (1-{\left(\frac{\mathrm{\μ}}{N}\right)}^s)},$

其中：P是种群中个体的数目，μ是第G次执行完5)后得到的内点数最大的个体的内点数，N是初始匹配点对集中匹配点对的总点对数，C是第G次执行完5)后由4个正确匹配点对组成的个体至少出现过一次的概率，C＝0.99。

第三步，利用一致最大内点集的所有匹配点对进行归一化直接线性变化处理，得到单应矩阵的初始估计H_init，并对单应矩阵的初始估计进行LM迭代优化处理，得到单应矩阵的最优估计H_opt。

所述的归一化直接线性变化处理参照第二步的归一化直接线性变化处理。

所述的LM迭代优化处理，是根据下面的公式，当总对称转移误差E不变时，H_opt即为单应矩阵的最优估计：

$E=\underset{j=1}{\overset{M}{\mathrm{\Σ}}}{\left|\right|x_{\mathrm{INLj}}-H_{\mathrm{opt}}{x}_{\mathrm{INRj}}\left|\right|}^2+{\left|\right|x_{\mathrm{INRj}}-H_{\mathrm{opt}}^{-1}{x}_{\mathrm{INLj}}\left|\right|}^2$ s.t. ${\left|\right|H_{\mathrm{opt}}\left|\right|}_F^2=1,$

其中：(x_INLj，x_INRj)是一致最大内点集中的第j个匹配点对，1≤j≤4，4M为一致最大内点集中匹配点对的个数，||·||_F表示矩阵的Frobenius范数，H_opt的初始值取为H_init/||H_init||F，H_init是单应矩阵的初始估计。

第四步，利用单应矩阵的最优估计H_opt进行图像的拼接，确定两幅待拼接图像的公共区域，并得到公共区域的最小外接矩形所含的图1(b)的子图像

和第二幅图像的子图像

所述的图像的拼接，包括以下步骤：

1)、将图1(a)拼接到图1(b)上，根据Reg2＝Quad{R_k/R_k(3)得到图1(a)所占的区域Reg2，

其中：R_k＝H_opt·V_k，

R_k是图1(a)拼接到图1(b)上后的第k个顶点的齐次坐标，1≤k≤4，V_k是图1(a)本身的第k个顶点的齐次坐标，V₁＝(1，1，1)^T，V₂＝(1，F_L，1)^T，V₃＝(W_L，F_L，1)^T，V₄＝(W_L，1，1)^T，W_L为第一幅图以像素为单位的宽度，F_L为第一幅图的以像素为单位的长度，Quad{.}表示由四点依次连接构成的四边形所包含的区域，R_k(3)是表示矢量R_k的第三个分量；

对于区域Reg2中任意整数像素点的齐次坐标x，其灰度值可由第二幅图中的对应点

的灰度值确定。令x_R＝x_R/x_R(3)，则(x_R(1)，x_R(2))^T即为此点的像素坐标。由于(x_R(1)，x_R(2))^T通常为小数，需利用双线性插值确定此点的像素值并赋给区域Reg2中的点x。

所述的双线性插值，具体公式如下：

I_R(x_R(1)，x_R(2))＝(1-a)(1-b)I_R(c，d)+a(1-b)I_R(c，d+1)+abI_R(c+1，d+1)+(1-a)bI_R(c+1，d)，

其中：I_R(x_R(1)，x_R(2))表示第二幅图在点(x_R(1)，x_R(2))处的灰度值。

为小于等于x_R(1)的最大整数；为小于等于x_R(2)的最大整数；a＝x_R(2)-d；b＝x_R(1)-c。

2)、根据1)的方法，得到图1(b)所占的区域Reg1，区域Reg2和区域Reg1的交集就是两幅待拼接图像的公共区域，并将图1(a)与公共区域不同的内容拼接到图1(b)上。第五步，采用Multi-band Blending方法对图1(b)的子图像

和图1(a)的子图像

进行无缝融合，将融合后的图像贴到公共区域即可得到图像拼接的最终结果。

所述的无缝融合，具体包括以下步骤：

1)分别建立两幅子图的高斯金字塔

以建立子图

的高斯金字塔为例，把作为高斯金字塔的第一层(底层)，那么高斯金字塔的第k层图像可以这样构造：

$I_{\mathrm{Lk}}^{\mathrm{RPReg}}(i,j)=\underset{m=-2}{\overset{2}{\mathrm{\Σ}}}\underset{n=-2}{\overset{2}{\mathrm{\Σ}}}w(m,n)I_{L(k-1)}^{\mathrm{RPReg}}(2i+m,2j+n),$

其中：w(m，n)＝w(m)·w(n)，w(0)＝3/8，w(±1)＝1/4，w(±2)＝1/16，1≤k≤N，N为高斯金字塔的层数。

子图

的高斯金字塔结构以同样方式建立。

2)分别建立两幅子图的拉普拉斯金字塔

以建立子图

的拉普拉斯金字塔为例，设高斯金字塔中第k层的内插放大图为

$I_{\mathrm{Lk}}^{\mathrm{RPReg}*}(i,j)=4\underset{m=-2}{\overset{2}{\mathrm{\Σ}}}\underset{n=-2}{\overset{2}{\mathrm{\Σ}}}w(m,n)I_{\mathrm{Lk}}^{\mathrm{RPRe}{g}^{\′}}(\frac{i+m}{2},\frac{j+n}{2}),$

其中：

引入放大算子Expand，内插放大变换可以简记为

到此，子图

的拉普拉斯金字塔

构造如下：

子图

的拉普拉斯金字塔结构

以同样方式建立。

3)建立融合系数的高斯金字塔

以创建子图的融合系数高斯金字塔为例，首先建立一个与区域RPReg等大的系数图像IC_L，将图像IC_L接近图1(b)的那一半图像的灰度值设为1，而接近第二幅图的一半设为0。并建立图像IC_L的高斯金字塔IC_Lk，此即为图

的融合系数高斯金字塔，同时子图

的融合系数高斯金字塔为IC_Rk＝1-IC_Lk。

4)建立融合后图像的拉普拉斯金字塔

设融合后图像为I^RPReg，其拉普拉斯金字塔

构造如下：

${\mathrm{LPI}}_k^{\mathrm{RPReg}}(i,j)={\mathrm{IC}}_{\mathrm{Lk}}(i,j){\mathrm{LPI}}_{\mathrm{Lk}}^{\mathrm{RPReg}}(i,j)+{\mathrm{IC}}_{\mathrm{Rk}}(i,j){\mathrm{LPI}}_{\mathrm{Rk}}^{\mathrm{RPReg}}(i,j).$

5)重建融合后的图像

通过融合后图像的拉普拉斯金字塔重建融合后图像的高斯金字塔

如下：

取高斯金字塔的第一层

即为子图

和子图融合后的图像。

利用Visual Geometry Group研究组提供的Graffiti数据库做实验，通过SIFT方法在两幅图像中引入100对正确匹配数据点，然后随机引入不同个数的错误匹配点对以形成不同的正确匹配点对比例，进而得到的本实施例方法(HM-GCE)和现有的RANGSAC方法在不同的正确数据点比例下性能的差异如图5、图6和图7所示。从图5可以看出：本实施例方法在不同正确匹配数据点比例下检测到的内点数均大于RANSAC方法，且内点数稳定在85附近，这显示了本实施例方法能够更鲁棒更稳定地检测出内点，从而为估计结果的精度和稳定性提供了条件。图6显示出本实施例方法在不同正确匹配数据点比例下对目标单应矩阵的估计误差均小于RANSAC方法，估计误差采用Frobenius范数

其中

为单应矩阵估计实例，

为真实单应矩阵。图7显示出尽管本实施例方法在正确匹配点对比例较大时时间消耗略大于RANSAC方法，但是在错误匹配点对大量存在时本实施例方法的耗时要远小于RANSAC方法。

Claims (9)

1.一种提高图像拼接精度和稳定性的方法，其特征在于，包括以下步骤：

第一步，分别对待拼接的两幅图像进行SIFT特征点提取，并对得到的两组SIFT特征点进行匹配，得到初始匹配点对集；

第二步，基于单应矩阵的遗传一致性估计，对初始匹配点对集进行剔除误匹配处理，得到满足同一单应矩阵的一致最大内点集；

第三步，利用一致最大内点集的所有匹配点对进行归一化直接线性变化处理，得到单应矩阵的初始估计H_init，并对单应矩阵的初始估计进行LM迭代优化处理，得到单应矩阵的最优估计H_opt；

第四步，利用单应矩阵的最优估计H_opt进行图像的拼接，确定两幅待拼接图像的公共区域，并得到公共区域的最小外接矩形所含的第一幅图像的子图像

和第二幅图像的子图像

第五步，对第一幅图像的子图像

和第二幅图像的子图像

进行无缝融合，将融合后的图像贴到公共区域，得到图像拼接的最终结果。

2.根据权利要求1所述的提高图像拼接精度和稳定性的方法，其特征是，第二步中所述的剔除误匹配处理，包括以下步骤：

1)在初始匹配点对集中选择P个个体组成初始种群，得到每个个体包含的内点数，且至少有一个个体中包含的内点数大于或者等于相关阈值T_in；

所述的个体包含从初始匹配点对集中随机选择的s组非奇异匹配点对；

所述的内点是对称转移误差小于内点阈值Thr的匹配点对；

2)将初始种群随机划分为个体数目都为s+2的子群，并在每个子群中选择内点数最大和次大的两个个体作为母体；

3)将每个子群中的两个母体随机交换q组匹配点对生成2个子体，子体与母体共形成4个中间个体；

4)保留每个子群4个中间个体中内点数最大的个体作为候选个体；

5)对每个子群中的候选个体进行变异处理，使每个候选个体变异为s+1个变异个体，并将变异个体进行调整处理，得到调整后的变异个体与候选个体组成的新的种群；

6)对新的种群重复执行2)-5)共G次后，此时种群中内点数最大的个体的内点就是满足同一单应矩阵的一致最大内点集；

所述的G，是：

$G=\frac{\log (1-C)}{P\·\log (1-{\left(\frac{\mathrm{\μ}}{N}\right)}^s)},$

其中：P是种群中个体的数目，μ是第G次执行完5)后得到的内点数最大的个体的内点数，N是初始匹配点对集中匹配点对的总点对数，C是第G次执行完5)后由s个正确匹配点对组成的个体至少出现过一次的概率；

所述的C的取值范围是：[0.9，0.99]。

3.根据权利要求2所述的提高图像拼接精度和稳定性的方法，其特征是，所述的对称转移误差，是：

D_ij＝||x_Li-H_jx_Ri||²+||x_Ri-H_j ^-1x_Li||²，

其中：D_ij是初始匹配点对集中第i组匹配点对(x_Li，x_Ri)对于第j个个体I_j的对称转移误差，1≤i≤N，N是初始匹配点对集中匹配点对的总数目，x_Li＝(x_Li，y_Li，1)^T为第i组匹配点对中第一幅图匹配点的齐次坐标，(x_Li，y_Li)^T是以第一幅图左上角像素点为原点建立的坐标系中的像素坐标；x_Ri＝(x_Ri，y_Ri，1)^T为第i组匹配点对中第二幅图匹配点的齐次坐标，(x_Ri，y_Ri)^T是以第二幅图左上角像素点为原点建立的坐标系中的像素坐标，H_j是利用第j个个体I_j所包含的s对匹配点对进行归一化直接线性变化处理所得到的单应矩阵估计实例，1≤j≤P。

4.根据权利要求1或3所述的提高图像拼接精度和稳定性的方法，其特征是，所述的归一化直接线性变化处理，包括以下步骤：

a)得到第一幅图的归一化矩阵T_L：

$T_L=\left[\begin{array}{ccc}1/f_L& 0& -u_L/f_L\\ 0& 1/f_L& -v_L/f_L\\ 0& 0& 1\end{array}\right],$

其中：

f_L＝W_L+F_L/2，W_L为第一幅图以像素为单位的宽度，F_L为第一幅图的以像素为单位的长度，f_L为第一幅图的尺度归一化因子；

b)得到第二幅图的归一化矩阵T_R：

$T_R=\left[\begin{array}{ccc}1/f_R& 0& -u_R/f_R\\ 0& 1/f_R& -v_R/f_R\\ 0& 0& 1\end{array}\right],$

其中：

f_R＝W_R+F_R/2，W_R为第二幅图以像素为单位的宽度，F_R为第二幅图的以像素为单位的长度，f_R为第二幅图的尺度归一化因子；

c)归一化匹配点对：

x_NLi＝T_Lx′_Li，x_NRi＝T_Rx′_Ri，

其中：x_NLi为第一幅图匹配点的归一化齐次坐标，x_NRi为第二幅图匹配点的归一化齐次坐标，x′_Li＝(x′_Li，y′_Li，1)^T，x′_Ri＝(x′_Ri，y′_Ri，1)^T，(x′_Li，x′_Ri)是提供的匹配点对；

d)对

进行奇异值分解：

A＝UDV^T，

其中： $A_i=\left[\begin{array}{ccc}{0}^T& -x_{\mathrm{NRi}}^T& y_{\mathrm{NLi}}{x}_{\mathrm{NRi}}^T\\ x_{\mathrm{NRi}}^T& 0^T& -x_{\mathrm{NLi}}{x}_{\mathrm{NRi}}^T\end{array}\right],$

x_NLi＝(x_NLi，y_NLi，1)^T，x_NRi＝(x_NRi，y_NRi，1)^T，

对角矩阵D的对角元素沿着对角线按降序排列，V的最后一列为h；

e)解除归一化，得到单应矩阵：

$H=T_L^{-1}\tilde{H}{T}_R,$

其中： $\tilde{H}=\left(\begin{array}{ccc}{h}_1& h_2& h_3\\ h_4& h_5& h_6\\ h_7& h_8& h_9\end{array}\right),$

h_i为h的第i个元素，H就是由提供的匹配点对得到的单应矩阵估计实例。

5.根据权利要求2所述的提高图像拼接精度和稳定性的方法，其特征是，所述的变异处理，分别在每个候选个体划分的内外点中选择由m组内点和4-m组外点组成的变异个体，0≤m≤s，每个候选个体都生成s+1个变异个体；

所述的外点是对称转移误差大于或等于内点阈值Thr的匹配点对。

6.根据权利要求2所述的提高图像拼接精度和稳定性的方法，其特征是，所述的调整处理，是：对每个候选个体生成的变异个体，逐个与判别个体进行比较，当且仅当判别个体的内点数大于变异个体的内点数，则将变异个体置换为判别个体；

所述的判别个体是从候选个体的内点中随机选择的s组非奇异匹配点对。

7.根据权利要求1所述的提高图像拼接精度和稳定性的方法，其特征是，第三步中所述的LM迭代优化处理，是在下面的公式中当总对称转移误差E不变时，H_opt即为单应矩阵的最优估计：

$E=\underset{j=1}{\overset{M}{\mathrm{\Σ}}}{\left|\right|x_{\mathrm{INLj}}-H_{\mathrm{opt}}{x}_{\mathrm{INRj}}\left|\right|}^2+{\left|\right|x_{\mathrm{INRj}}-H_{\mathrm{opt}}^{-1}{x}_{\mathrm{INLj}}\left|\right|}^2$ s.t. ${\left|\right|H_{\mathrm{opt}}\left|\right|}_F^2=1,$

其中：(x_INLj，x_INRj)是一致最大内点集中的第j个匹配点对，1≤j≤M，M为一致最大内点集中匹配点对的个数，||·||_F表示矩阵的Frobenius范数，H_opt的初始值取为H_init/||H_init||_F，H_init是单应矩阵的初始估计。

8.根据权利要求1所述的基于单应矩阵遗传一致性估计的图像拼接方法，其特征是，第四步中所述的图像的拼接，包括以下步骤：

1)、将第二幅图像拼接到第一幅图像上，根据Reg2＝Quad{R_k/R_k(3)得到第二幅图像所占的区域Reg2，

其中：R_k＝H_opt·V_k，

R_k是第二幅图像拼接到第一幅图像上后的第k个顶点的齐次坐标，1≤k≤4，V_k是第二幅图像本身的第k个顶点的齐次坐标，V₁＝(1，1，1)^T，V₂＝(1，F_L，1)^T，V₃＝(W_L，F_L，1)^T，V₄＝(W_L，1，1)^T，W_L为第一幅图以像素为单位的宽度，F_L为第一幅图的以像素为单位的长度，Quad{.}表示由四点依次连接构成的四边形所包含的区域，R_k(3)是表示矢量R_k的第三个分量；

2)、根据1)方法，得到第一幅图像所占的区域Reg1，区域Reg2和区域Reg1的交集就是两幅待拼接图像的公共区域，并将第二幅图像与公共区域不同的内容拼接到第一幅图像上。

9.根据权利要求1所述的提高图像拼接精度和稳定性的方法，其特征是，第五步中所述的无缝融合，包括以下步骤：

1)分别建立两幅子图的高斯金字塔

把作为高斯金字塔的第一层，高斯金字塔的第k层图像

是：

$I_{\mathrm{Lk}}^{\mathrm{RPReg}}(i,j)=\underset{m=-2}{\overset{2}{\mathrm{\Σ}}}\underset{n=-2}{\overset{2}{\mathrm{\Σ}}}w(m,n)I_{L(k-1)}^{\mathrm{RPReg}}(2i+m,2j+n),$

其中：w(m，n)＝w(m)·w(n)，w(0)＝3/8，w(±1)＝1/4，w(±2)＝1/16，1≤k≤N，N为高斯金字塔的层数，子图

的高斯金字塔结构

以同样方式建立；

2)分别建立两幅子图的拉普拉斯金字塔

子图

的拉普拉斯金字塔

构造如下：

子图

的拉普拉斯金字塔结构

以同样方式建立；

3)建立融合系数的高斯金字塔

首先建立一个与区域RPReg等大的系数图像IC_L，将图像IC_L接近第二幅图像的那一半图像的灰度值设为1，而接近第二幅图的一半设为0，并建立图像IC_L的高斯金字塔IC_Lk，此即为图

的融合系数高斯金字塔，同时子图

的融合系数高斯金字塔为IC_Rk＝1-IC_Lk；

4)建立融合后图像的拉普拉斯金字塔

融合后图像为I^RPReg，其拉普拉斯金字塔

构造如下：

${\mathrm{LPI}}_k^{\mathrm{RPReg}}(i,j)={\mathrm{IC}}_{\mathrm{Lk}}(i,j){\mathrm{LPI}}_{\mathrm{Lk}}^{\mathrm{RPReg}}(i,j)+{\mathrm{IC}}_{\mathrm{Rk}}(i,j)\mathrm{LP}{I}_{\mathrm{Rk}}^{\mathrm{RPReg}}(i,j);$

5)重建融合后的图像

通过融合后图像的拉普拉斯金字塔

重建融合后图像的高斯金字塔

如下：

取高斯金字塔的第一层

即为子图

和子图

融合后的图像。

Images