CN110717936A - 一种基于相机姿态估计的图像拼接方法 - Google Patents

Abstract

一种基于相机姿态估计的图像拼接方法，它属于计算机视觉与图像处理技术领域。本发明解决了现有图像拼接方法存在的拼接结果畸变严重以及拼接效率低的问题。本发明通过以下步骤实现：1.对图像提取并匹配特征点；2.对特征点对进行分类和筛选；3.估计相机的焦距、平移矩阵、旋转矩阵参数；4.对相机的姿态进行折中更新；5.计算每类点对所在平面的法向量；6.进行图像变换与拼接。本发明可以应用于不同视角下、相同场景图像的拼接。

Description

一种基于相机姿态估计的图像拼接方法

技术领域

本发明属于计算机视觉与图像处理技术领域，具体涉及一种基于相机姿态估计的图像拼接方法。

背景技术

基于特征的图像拼接方法是通过建立图像特征点间的对应关系求解图像间的变换关系。该方法相比于基于灰度值的图像拼接方法计算量较小，而且结果较稳定，是常用的主流方法。然而目前大部分图像拼接软件中用到的方法是估计图像间全局变换关系，仅仅在相机姿态只有旋转情况或场景在一个平面时才能获得好的拼接效果，而对于现实中更为一般的情况，却出现重影等错误拼接结果。近年学术界提出局部变换模型和网格优化等方法来解决这个问题，但是也会出现拼接结果畸变严重以及拼接效率低等问题。所以，研究一种高效且能够获得更准确更自然全景图的图像拼接方法很重要。

发明内容

本发明的目的是为解决现有图像拼接方法存在的拼接结果畸变严重以及拼接效率低的问题，而提出了一种基于相机姿态估计的图像拼接方法。

本发明为解决上述技术问题采取的技术方案是：一种基于相机姿态估计的图像拼接方法，该方法包括以下步骤：

步骤一、分别在不同视角下，利用相机拍摄两张相同场景的图像I_p和I_q，并分别对图像I_p和I_q进行特征点的提取；

再对从图像I_p和I_q中提取出的特征点进行匹配，得到初始特征点对集合S为：

其中：p_i为图像I_p的特征点，q_i为图像I_q的特征点，N为集合S中特征点对的个数；

步骤二、对集合S中包含的特征点对进行筛选，并获得筛选出的特征点对的类别；筛选出来的特征点对的集合S₁为：

N₁为筛选出的特征点对的个数，其中：第i′个特征点对的类别号为c_i′，c_i′＝1,...,n，n为类别的个数；

并分别获得集合S₁中每类内的特征点对间的单应性变换矩阵，其中：第k类内的特征点对间的单应性变换矩阵为H_k，k＝1,...,n；

步骤三、根据步骤二获得的单应性变换矩阵H_k，分别估计出与每类内特征点对相对应的相机焦距值f_k，再根据相机焦距值f_k选取出初始相机焦距值f₀；

步骤四、根据步骤二得到的集合S₁和步骤三得到的初始相机焦距值f₀，来估计相机的焦距f和本质矩阵E；

对获得的本质矩阵E进行分解，得到两个不同视角下，相机间的旋转矩阵R和平移矩阵t；

步骤五、设拍摄图像I_p的视角下，相机相对于世界坐标系的旋转矩阵R_p为单位阵、平移矩阵t_p为0向量，则拍摄图像I_q的视角下，相机相对于世界坐标系的旋转矩阵R_q＝RR_p＝R、平移矩阵t_q＝Rt_p+t＝t；

分别将旋转矩阵R_p和R_q转化为旋转向量r_p和r_q，并计算旋转向量r_p和r_q的平均值

再将平均值

转化为旋转矩阵

旋转矩阵

即为折中旋转矩阵；

折中平移矩阵

为：

将旋转矩阵R_p和R_q更新为

和

将平移矩阵t_p和t_q更新为

和

得到更新后的相机姿态；

步骤六、根据步骤二得到的单应性变换矩阵H_k、步骤四得到的相机间旋转矩阵R、平移矩阵t以及步骤五得到的更新后的旋转矩阵

计算每类内的特征点对所在平面的法向量；

将法向量变换到步骤五获得的更新后的相机姿态下，得到每类内的特征点对所在平面的更新后法向量；

步骤七、根据步骤五获得的更新后的相机姿态，以及步骤六计算出的更新后法向量，对图像I_p和I_q进行变换，得到变换后图像I′_p和I′_q；

再对变换后的图像I′_p和I′_q进行图像拼接融合，对于图像I′_p和I′_q重叠的区域，计算重叠区域中每个像素点的像素均值，将计算出的像素均值作为对应像素点的像素值；对于图像I′_p和I′_q不重叠的区域，则维持原像素值，得到拼接后的图像I_pq。

本发明的有益效果是：本发明提出了一种基于相机姿态估计的图像拼接方法，本发明首先对不同视角下，相同场景的两张图像进行特征点提取并匹配后，对获得的特征点对进行分类和筛选；再对筛选出的特征点对进行处理，估计相机的焦距、平移矩阵和旋转矩阵，并对相机的姿态进行折中更新；最后根据筛选出的每类特征点对所在平面的法向量，进行图像变换与拼接。相比于现有的图像拼接方法，本发明方法的图像重叠区域对准效果更准确，即重影现象较少，拼接后的全景图畸变较小，尤其是场景中的平面区域能够保持不弯曲；而且本发明方法的计算量较小，能够显著提高图像拼接的效率。

附图说明

图1是本发明方法的流程图；

图2是本发明的待拼接图像1；

图3是本发明的待拼接图像2；

图4是本发明对图像1和图像2的拼接结果图。

具体实施方式

具体实施方式一：结合图1说明本实施方式。本实施方式所述的一种基于相机姿态估计的图像拼接方法，该方法包括以下步骤：

步骤一、分别在不同视角下，利用相机拍摄两张相同场景的图像I_p和I_q，并采用SIFT(Scale Invariant Feature Transform，尺度不变特征变换)特征点提取方法分别对图像I_p和I_q进行特征点的提取；

再基于FLANN(Fast Libraryfor Approximate Nearest Neighbors，快速最近邻逼近搜索函数库)对从图像I_p和I_q中提取出的特征点进行匹配，得到初始特征点对集合S为：

其中：p_i为图像I_p的特征点，q_i为图像I_q的特征点，N为集合S中特征点对的个数；

所述图像I_p和I_q是在不同视角下的，相同场景的两张图像；

步骤二、采用RANSAC方法(random sample consensus，随机抽样一致性方法)对集合S中包含的特征点对进行筛选，并获得筛选出的特征点对的类别；筛选出来的特征点对的集合S₁为：N₁为筛选出的特征点对的个数，其中：第i′个特征点对的类别号为c_i′，c_i′＝1,...,n，n为类别的个数；

并分别获得集合S₁中每类内的特征点对间的单应性变换矩阵，其中：第k类内的特征点对间的单应性变换矩阵为H_k，k＝1,...,n；

步骤三、根据步骤二获得的单应性变换矩阵H_k，分别估计出与每类内特征点对相对应的相机焦距值f_k，再根据相机焦距值f_k选取出初始相机焦距值f₀；

步骤四、根据步骤二得到的集合S₁和步骤三得到的初始相机焦距值f₀，来估计相机的焦距f和本质矩阵E；

采用SVD分解方法(Singular Value Decomposition，奇异值分解)对获得的本质矩阵E进行分解，得到两个不同视角下，相机间的旋转矩阵R和平移矩阵t；

步骤五、设拍摄图像I_p的视角下，相机相对于世界坐标系的旋转矩阵R_p为单位阵、平移矩阵t_p为0向量，则拍摄图像I_q的视角下，相机相对于世界坐标系的旋转矩阵R_q＝RR_p＝R、平移矩阵t_q＝Rt_p+t＝t；

采用Rodrigues(罗德里格旋转)公式，分别将旋转矩阵R_p和R_q转化为旋转向量r_p和r_q，并计算旋转向量r_p和r_q的平均值

再用Rodrigues公式，将平均值

转化为旋转矩阵旋转矩阵

即为折中旋转矩阵；

折中平移矩阵为：

将旋转矩阵R_p和R_q更新为

和

将平移矩阵t_p和t_q更新为

和

得到更新后的相机姿态；

步骤六、根据步骤二得到的单应性变换矩阵H_k、步骤四得到的相机间旋转矩阵R、平移矩阵t以及步骤五得到的更新后的旋转矩阵

计算每类内的特征点对所在平面的法向量；

将法向量变换到步骤五获得的更新后的相机姿态下，得到每类内的特征点对所在平面的更新后法向量；

步骤七、根据步骤五获得的更新后的相机姿态，以及步骤六计算出的更新后法向量，对图像I_p和I_q进行变换，得到变换后图像I′_p和I′_q；

再对变换后的图像I′_p和I′_q进行图像拼接融合，对于图像I′_p和I′_q重叠的区域，计算重叠区域中每个像素点的像素均值，将计算出的像素均值作为对应像素点的像素值；对于图像I′_p和I′_q不重叠的区域，则维持原像素值，得到拼接后的图像I_pq。

在特征点提取与匹配过程中，基于SIFT特征点提取算法和FLANN快速最近邻搜索库的方法能快速建立特征点对应关系。

本实施方式可以应用于，现实中一般拍摄场景的相机姿态变换同时存在旋转和平移的情况。

具体实施方式二：本实施方式与具体实施方式一不同的是：所述步骤二中，对集合S中包含的特征点对进行筛选，并获得筛选出的特征点对的类别，其具体过程为：

步骤二一、设经过筛选后剩余的特征点对的集合为S′，将集合S′初始化为步骤一中的初始特征点对集合S；并将筛选出的特征点对的集合S₁初始化为空集，将集合S₁中包含的特征点对的类别个数n初始化为0；

步骤二二、采用RANSAC方法对集合S′进行提取内点，提取出来的内点特征点对的集合为s_n+1，内点特征点对间的单应性变换矩阵为H_n+1；

从集合S′中剔除掉提取出来的内点特征点对后，获得剩余的特征点对的集合，即获得更新后的集合S′；

其中RANSAC算法选取的模型是单应性矩阵变换模型，内点距离阈值为3，迭代次数为500；

步骤二三、如果集合s_n+1中特征点对的个数大于等于15，则将s_n+1中包含的特征点对的类别序号设为n+1后，将集合s_n+1中包含的特征点对加入到集合S₁中，获得更新后的集合S₁，将集合s_n+1清空，并将集合S₁中包含的特征点对的类别数n加1；

步骤二四、重复步骤二二到步骤二三的过程，继续对更新后的集合S′进行处理，直至集合s_n+1中包含的特征点对的个数小于15，得到集合S₁中包含的特征点对，以及集合S₁中包含的特征点对的类别号。

具体实施方式三：本实施方式与具体实施方式二不同的是：所述步骤三的具体过程为：

设

则与第k类内特征点对相对应的相机焦距值f_k为：

其中：

和

均为H_k中的元素，将各类对应的相机焦距值f₁,f₂,...,f_k,...,f_n的中位数作为初始相机焦距值f₀。

具体实施方式四：本实施方式与具体实施方式三不同的是：所述步骤四中，根据步骤二得到的集合S₁和步骤三得到的初始相机焦距值f₀，来估计相机的焦距f和本质矩阵E，其具体过程为：

步骤四一、在初始相机焦距值f₀附近的[0.5f₀,2f₀]范围内，每隔0.01f₀进行一次采样，得到相机焦距值集合F＝{f^m＝0.5f₀+m×0.01f₀,m＝0,1,...,150}，其中：f^m代表第m次采样对应的相机焦距值；

步骤四二、根据集合F中的每个相机焦距值f^m，基于五点算法和RANSAC算法分别对集合S₁估计一个本质矩阵E_m，并获得f^m对应的内点个数n_m；

则对极几何描述方程为：

其中：E_m为f^m对应的本质矩阵，中间变量矩阵

c_x和c_y分别为图像I_p宽度和高度的一半，图像I_p与图像I_q的宽度和高度均相同；上角标T代表矩阵的转置，上角标-1代表矩阵的逆；以图像I_p的左下角顶点为坐标原点O，以图像I_p的宽为x轴，以图像I_p的高为y轴，建立直角坐标系xOy，

为特征点p_i′在直角坐标系xOy下的坐标，以图像I_q的左下角顶点为坐标原点O′，以图像I_q的宽为x′轴，以图像I_q的高为y′轴，建立直角坐标系x′O′y′，

为特征点q_i′在直角坐标系x′O′y′下的坐标；

步骤四三、选取对应的内点个数最多的相机焦距值f^m作为相机的焦距f，并将内点个数最多的相机焦距值f^m对应的E_m作为相机的本质矩阵E。

具体实施方式五：本实施方式与具体实施方式四不同的是：所述步骤四二中，获得f^m对应的内点个数n_m的具体过程为：

遍历集合S₁中的全部特征点对，若集合S₁包含的特征点对(p_i′,q_i′)中的点q_i′到极线的直线距离小于3像素值，则特征点对(p_i′,q_i′)为f^m的内点，否则，特征点对(p_i′,q_i′)不为f^m的内点；

极线方程为：

其中：x和y为极线方程的变量。

具体实施方式六：本实施方式与具体实施方式五不同的是：所述所述

和

的具体计算公式如下：

其中：

代表R_p对应的更新后的旋转矩阵，

代表R_q对应的更新后的旋转矩阵，

代表t_p对应的更新后的平移矩阵，

代表t_q对应的更新后的旋转矩阵。

具体实施方式七：本实施方式与具体实施方式六不同的是：所述步骤六的具体过程为：

第k类中的特征点对所在平面的法向量为n_k，k＝1,...,n；

H_k＝K(R+tn_k)K^-1

其中：中间变量矩阵

将法向量n_k变换到步骤五获得的更新后的相机姿态下，得到第k类中的特征点对所在平面的更新后法向量

同理，得到其他类中的特征点对所在平面的更新后的法向量。

具体实施方式八：本实施方式与具体实施方式七不同的是：所述步骤七中，根据步骤五获得的更新后的相机姿态，以及步骤六计算出的更新后法向量，对图像I_p和I_q进行变换，得到变换后图像I′_p和I′_q，其具体过程为：

步骤七一、在图像I_p中选取网格点，相邻网格点的间隔为40像素，获得网格点集合V为V＝{p′_i″,i″＝1,...,N₂}，N₂为网格点集合V中网格点的个数，p′_i″为集合V中的第i″个网格点；

步骤七二、对于网格点集合V中的任一网格点p′_i″，分别计算p′_i″与图像I_p在集合S₁中的特征点集合P₁＝{p_i′,i′＝1,...,N₁}中每个特征点的欧式距离，从集合P₁中选取出与p′_i″距离最近的5个点，再计算选取出的5个点所在平面的法向量的均值，将得到的均值作为网格点p′_i″的法向量

步骤七三、根据网格点p′_i″的法向量

计算网格点p′_i″处的变换矩阵

步骤七四、图像I_p中的像素点p在变换后图像I′_p中为像素点p′，则像素点p到像素点p′的变换矩阵为：在图像I_p中，与像素点p最邻近的网格点处的变换矩阵；

根据求得的变换矩阵，将图像I_p中的各个像素点变换到图像I′_p中，获得变换后图像I′_p；

步骤七五、同理，将图像I_q中的各个像素点变换到图像I′_q中，获得变换后图像I′_q。

如图4所示，是采用本发明方法对图2和图3的拼接结果图。

本发明的上述算例仅为详细地说明本发明的计算模型和计算流程，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (8)

1.一种基于相机姿态估计的图像拼接方法，其特征在于，该方法包括以下步骤：

步骤一、分别在不同视角下，利用相机拍摄两张相同场景的图像I_p和I_q，并分别对图像I_p和I_q进行特征点的提取；

再对从图像I_p和I_q中提取出的特征点进行匹配，得到初始特征点对集合S为：其中：p_i为图像I_p的特征点，q_i为图像I_q的特征点，N为集合S中特征点对的个数；

步骤二、对集合S中包含的特征点对进行筛选，并获得筛选出的特征点对的类别；筛选出来的特征点对的集合S₁为：

N₁为筛选出的特征点对的个数，其中：第i′个特征点对的类别号为c_i′，c_i′＝1,...,n，n为类别的个数；

并分别获得集合S₁中每类内的特征点对间的单应性变换矩阵，其中：第k类内的特征点对间的单应性变换矩阵为H_k，k＝1,...,n；

步骤三、根据步骤二获得的单应性变换矩阵H_k，分别估计出与每类内特征点对相对应的相机焦距值f_k，再根据相机焦距值f_k选取出初始相机焦距值f₀；

步骤四、根据步骤二得到的集合S₁和步骤三得到的初始相机焦距值f₀，来估计相机的焦距f和本质矩阵E；

对获得的本质矩阵E进行分解，得到两个不同视角下，相机间的旋转矩阵R和平移矩阵t；

步骤五、设拍摄图像I_p的视角下，相机相对于世界坐标系的旋转矩阵R_p为单位阵、平移矩阵t_p为0向量，则拍摄图像I_q的视角下，相机相对于世界坐标系的旋转矩阵R_q＝RR_p＝R、平移矩阵t_q＝Rt_p+t＝t；

分别将旋转矩阵R_p和R_q转化为旋转向量r_p和r_q，并计算旋转向量r_p和r_q的平均值

再将平均值

转化为旋转矩阵

旋转矩阵

即为折中旋转矩阵；

折中平移矩阵为：

将旋转矩阵R_p和R_q更新为

和将平移矩阵t_p和t_q更新为

和得到更新后的相机姿态；

步骤六、根据步骤二得到的单应性变换矩阵H_k、步骤四得到的相机间旋转矩阵R、平移矩阵t以及步骤五得到的更新后的旋转矩阵

计算每类内的特征点对所在平面的法向量；

将法向量变换到步骤五获得的更新后的相机姿态下，得到每类内的特征点对所在平面的更新后法向量；

步骤七、根据步骤五获得的更新后的相机姿态，以及步骤六计算出的更新后法向量，对图像I_p和I_q进行变换，得到变换后图像I′_p和I′_q；

再对变换后的图像I′_p和I′_q进行图像拼接融合，对于图像I′_p和I′_q重叠的区域，计算重叠区域中每个像素点的像素均值，将计算出的像素均值作为对应像素点的像素值；对于图像I′_p和I′_q不重叠的区域，则维持原像素值，得到拼接后的图像I_pq。

2.根据权利要求1所述的一种基于相机姿态估计的图像拼接方法，其特征在于，所述步骤二中，对集合S中包含的特征点对进行筛选，并获得筛选出的特征点对的类别，其具体过程为：

步骤二一、设经过筛选后剩余的特征点对的集合为S′，将集合S′初始化为步骤一中的初始特征点对集合S；并将筛选出的特征点对的集合S₁初始化为空集，将集合S₁中包含的特征点对的类别个数n初始化为0；

步骤二二、采用RANSAC方法对集合S′进行提取内点，提取出来的内点特征点对的集合为s_n+1，内点特征点对间的单应性变换矩阵为H_n+1；

从集合S′中剔除掉提取出来的内点特征点对后，获得剩余的特征点对的集合，即获得更新后的集合S′；

步骤二三、如果集合s_n+1中特征点对的个数大于等于15，则将s_n+1中包含的特征点对的类别序号设为n+1后，将集合s_n+1中包含的特征点对加入到集合S₁中，获得更新后的集合S₁，将集合s_n+1清空，并将集合S₁中包含的特征点对的类别数n加1；

步骤二四、重复步骤二二到步骤二三的过程，继续对更新后的集合S′进行处理，直至集合s_n+1中包含的特征点对的个数小于15，得到集合S₁中包含的特征点对，以及集合S₁中包含的特征点对的类别号。

3.根据权利要求2所述的一种基于相机姿态估计的图像拼接方法，其特征在于，所述步骤三的具体过程为：

设则与第k类内特征点对相对应的相机焦距值f_k为：

其中：和均为H_k中的元素，将各类对应的相机焦距值f₁,f₂,...,f_k,...,f_n的中位数作为初始相机焦距值f₀。

4.根据权利要求3所述的一种基于相机姿态估计的图像拼接方法，其特征在于，所述步骤四中，根据步骤二得到的集合S₁和步骤三得到的初始相机焦距值f₀，来估计相机的焦距f和本质矩阵E，其具体过程为：

步骤四一、在初始相机焦距值f₀附近的[0.5f₀,2f₀]范围内，每隔0.01f₀进行一次采样，得到相机焦距值集合F＝{f^m＝0.5f₀+m×0.01f₀,m＝0,1,...,150}，其中：f^m代表第m次采样对应的相机焦距值；

步骤四二、根据集合F中的每个相机焦距值f^m，分别对集合S₁估计一个本质矩阵E_m，并获得f^m对应的内点个数n_m；

对极几何描述方程为：

其中：E_m为f^m对应的本质矩阵，中间变量矩阵

c_x和c_y分别为图像I_p宽度和高度的一半，图像I_p与图像I_q的宽度和高度均相同；上角标T代表矩阵的转置，上角标-1代表矩阵的逆；以图像I_p的左下角顶点为坐标原点O，以图像I_p的宽为x轴，以图像I_p的高为y轴，建立直角坐标系xOy，

为特征点p_i′在直角坐标系xOy下的坐标，以图像I_q的左下角顶点为坐标原点O′，以图像I_q的宽为x′轴，以图像I_q的高为y′轴，建立直角坐标系x′O′y′，

为特征点q_i′在直角坐标系x′O′y′下的坐标；

步骤四三、选取对应的内点个数最多的相机焦距值f^m作为相机的焦距f，并将内点个数最多的相机焦距值f^m对应的E_m作为相机的本质矩阵E。

5.根据权利要求4所述的一种基于相机姿态估计的图像拼接方法，其特征在于，所述步骤四二中，获得f^m对应的内点个数n_m的具体过程为：

遍历集合S₁中的全部特征点对，若集合S₁包含的特征点对(p_i′,q_i′)中的点q_i′到极线的直线距离小于3像素值，则特征点对(p_i′,q_i′)为f^m的内点，否则，特征点对(p_i′,q_i′)不为f^m的内点；

极线方程为：

其中：x和y为极线方程的变量。

6.根据权利要求5所述的一种基于相机姿态估计的图像拼接方法，其特征在于，所述和

的具体计算公式如下：

其中：

代表R_p对应的更新后的旋转矩阵，

代表R_q对应的更新后的旋转矩阵，

代表t_p对应的更新后的平移矩阵，

代表t_q对应的更新后的旋转矩阵。

7.根据权利要求6所述的一种基于相机姿态估计的图像拼接方法，其特征在于，所述步骤六的具体过程为：

第k类中的特征点对所在平面的法向量为n_k，k＝1,...,n；

H_k＝K(R+tn_k)K^-1

其中：中间变量矩阵

将法向量n_k变换到步骤五获得的更新后的相机姿态下，得到第k类中的特征点对所在平面的更新后法向量

同理，得到其他类中的特征点对所在平面的更新后的法向量。

8.根据权利要求7所述的一种基于相机姿态估计的图像拼接方法，其特征在于，所述步骤七中，根据步骤五获得的更新后的相机姿态，以及步骤六计算出的更新后法向量，对图像I_p和I_q进行变换，得到变换后图像I′_p和I′_q，其具体过程为：

步骤七一、在图像I_p中选取网格点，相邻网格点的间隔为40像素，获得网格点集合V为V＝{p′_i″,i″＝1,...,N₂}，N₂为网格点集合V中网格点的个数，p′_i″为集合V中的第i″个网格点；

步骤七二、对于网格点集合V中的任一网格点p′_i″，分别计算p′_i″与图像I_p在集合S₁中的特征点集合P₁＝{p_i′,i′＝1,...,N₁}中每个特征点的欧式距离，从集合P₁中选取出与p′_i″距离最近的5个点，再计算选取出的5个点所在平面的法向量的均值，将得到的均值作为网格点p′_i″的法向量

步骤七三、根据网格点p′_i″的法向量

计算网格点p′_i″处的变换矩阵

步骤七四、图像I_p中的像素点p在变换后图像I′_p中为像素点p′，则像素点p到像素点p′的变换矩阵为：在图像I_p中，与像素点p最邻近的网格点处的变换矩阵；

根据求得的变换矩阵，将图像I_p中的各个像素点变换到图像I′_p中，获得变换后图像I′_p；

步骤七五、同理，将图像I_q中的各个像素点变换到图像I′_q中，获得变换后图像I′_q。

Images