CN111798373A

CN111798373A - 一种基于局部平面假设及六自由度位姿优化的快速无人机图像拼接方法

Info

Publication number: CN111798373A
Application number: CN202010528074.8A
Authority: CN
Inventors: 赵勇
Original assignee: Xi'an Vision Intelligent Technology Co ltd
Current assignee: Xi'an Vision Intelligent Technology Co ltd
Priority date: 2020-06-11
Filing date: 2020-06-11
Publication date: 2020-10-20

Abstract

本发明公开了一种基于平面假设及六自由度位姿优化的快速无人机图像拼接方法，包括离线无序图像处理和实时在线图像处理，本发明涉及计算机图像处理，计算机视觉与遥感测绘技术领域。该一种基于平面假设及六自由度位姿优化的快速无人机图像拼接方法，达到快速从无人机航拍图像重建出带地理信息的正射影像图，与市面主流SfM相比，更快更容易收敛，可适应更小FoV图片，从而适应高空航拍重建，与二维图像拼接处理方式相比，全局收敛，误差更小，可处理超大场景，与八自由度射影变换及仿射变换方法相比，能适应图像非正下拍摄场景，能更好地融合地理信息，精度更高。

Description

一种基于局部平面假设及六自由度位姿优化的快速无人机图像拼接方法

技术领域

本发明涉及计算机图像处理，计算机视觉与遥感测绘技术领域，具体为一种基于局部平面假设及六自由度位姿优化的快速无人机图像拼接方法。

背景技术

SfM(structure from motion),该方法能使用无序图片生成三维点云,利用三维点云进行拼接,但是现有的技术通常较慢(比如专利CN108765298A)：该图像拼接方法直接使用图像间的匹配进行拼接，虽然其速度快,但是精度很差,不适用于大规模场景的图像拼接,且无法获得无人机的世界坐标系位姿(比如CN109949220A,CN109712071A)：带有平面假设的无人机图像拼接,有些仅计算无人机的一个角度,这种方法精度较差,且应用范围小,不适用于无人机有旋转的场景，还有一些优化8自由度的Homography矩阵进行拼接,但是这样就无法得出图片的世界坐标系位置,无法放入世界地图中(比如专利CN106204507A(该专利使用了Homography矩阵的方法进行拼接))。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种基于局部平面假设及六自由度位姿优化的快速无人机图像拼接方法，解决了上述的问题，达到快速从无人机航拍图像重建出带地理信息的正射影像图。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：一种基于局部平面假设及六自由度位姿优化的快速无人机图像拼接方法，包括离线无序图像处理和实时在线图像处理，所述离线无序图像处理包括以下步骤：

步骤1：顺序读取图像、图像中特征点提取并存储、相邻帧搜索、图像对匹配。

步骤2:对所有的图像进行初始位姿估计。

步骤3:使用局部平面约束的全局位姿图优化算法优化所有图像世界坐标系下的位姿和拼接面高度。

步骤4:根据获取的位姿和拼接面信息，进行增量式的图像拼接和融合。

所述实时在线图像处理包括以下步骤：

步骤1：对相机获取的图像序列选取两帧进行初始化。

步骤2：根据步骤1.4得到的特征匹配关系结合地理信息对前两帧位姿进行局部平面约束下的非线性优化。

步骤3：对相机实时获得的第i帧图像进行如下处理，i＝3,4,5……。

步骤4：采用自适应滑动窗口法对第i帧的位姿进行非线性优化，i＝3,4,5……。

步骤5：对第i帧进行图像拼接，当第i帧被步骤4.3弹出时表示其位姿已经优化完毕，对其进行拼接操作。i＝3,4,5……。

步骤6：当没有图像继续传入时，将滑动窗口中的所有帧都弹出，并执行步骤5的图像拼接操作。

优选的，所述离线无序图像处理步骤1中采用GPS信息来获取邻近候选帧，使用SIFT来检测特征点，采用多单应约束匹配方法来获取匹配图像对。

优选的，所述离线无序图像处理步骤3中我们假设拍摄的场景局部可拟合为一个平面,场景可以由多个高度为h_i组成的平面描述,使用让其中一帧i的特征点p_i投影到这个平面上的三维点P_i，使用另一帧j的位姿让P_i反投影到第j帧的归一化坐标系上p_ji，优化第j帧的匹配点和p_ji的坐标差值，

在这个公式中,T_i表示这个每一帧的相机位姿,h_i为帧i拍摄平面的高度,N为多少对匹配帧,P为每一对匹配帧的匹配点,p_i和p_j为每一个特征点的归一化坐标,

为用

和h_i投影p_i到另一帧的归一化坐标上。

优选的，所述无序图像处理步骤4中的拼接融合算法使用拼接面信息和帧位姿信息直接进行拼接融合，可不依赖三维重建的点云信息。

优选的，所述实时在线图像处理步骤2中根据假设，采用自适应滑动窗口法，对于序列化的图像将计算复杂度约束在局部的位姿图优化上。

(三)有益效果

本发明提供了一种基于局部平面假设及六自由度位姿优化的快速无人机图像拼接方法。具备了以下有益效果：

该基于局部平面假设及六自由度位姿优化的快速无人机图像拼接方法，对于三维信息重建，提出使用地面局部可按照拟合平面处理的假设；对于位姿信息重建，提出使用六自由度平面约束位姿图进行优化；在图优化中使用三维空间位姿约束信息融合GPS信息从而得到带地理信息的重建，与市面主流SfM相比，更快更容易收敛，可适应更小FoV图片，从而适应高空航拍重建；与二维图像拼接处理方式相比，全局收敛，误差更小，可处理超大场景；与八自由度射影变换及仿射变换方法相比，能适应图像非正下拍摄场景，能更好地融合地理信息，精度更高。

附图说明

图1为本方法流程框图；

图2为本方法流程图；

图3为使用本方法得到的正射影像示例图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-3，本发明提供一种技术方案：一种基于局部平面假设及六自由度位姿优化的快速无人机图像拼接方法，包括离线无序图像处理和实时在线图像处理。

实例1无人机无序图像快速拼接方法包括以下步骤：

步骤1:顺序读取图像,一帧帧的处理:

步骤1.1:用事先获取的标定数据对图像进行去畸变处理,得到去畸变后的图像,用于后续处理。

步骤1.2:提取并存储所有图像中的特征点，对于特征点检测的方法有:①SIFT、②SURF、③fast-corner(快速角点检测：通过高斯过滤，再角点检测)等，由于本发明旨在应用于快速估计位姿和点云,但同时也要保证鲁棒性，就精度而言第一种最好,所需时间很长,但是如果使用GPU加速则能保证速度,因此本步骤以及后续步骤都采用SIFT来检测特征点。

步骤1.3:使用无人机的GPS信息找到按照距离寻找这一帧相邻的帧(也就是该帧之前的帧),找到最近的16个帧,准备接下来的匹配。

步骤1.4:对步骤1.3得到的图像对进行匹配,过滤那些匹配质量不高的图像对。

匹配方法较多,比如①暴力匹配,②FLANN(快速最近邻搜索),③bag of words(词袋模型,即通过对描述子分类获取相似的匹配)等，和选择匹配方法同理,就精度而言第一种最好,所需时间很长,但是如果使用GPU加速则能保证速度,因此本步骤采用暴力匹配方法来获取匹配。

步骤1.5:将图像中的特征点投影到高度为0的平面上获得三维点,通过匹配的三维点计算两两帧之间的位姿变换，这里只使用了算出的旋转矩阵的yaw值作为一个旋转矩阵R_ji。

步骤2:对所有的图像进行初始化算出位姿

步骤2.1:以第一帧的坐标建立局部坐标系,计算第一帧和到东北天坐标系(也就是世界坐标系)的位姿变换关系,当然这里获得的只是位置从局部坐标系到世界坐标系的变换矩阵

步骤2.2:从第一帧开始,通过步骤2.3获得的两两帧之间的位姿变换通过特征点匹配最多的帧依次计算出所有帧的位姿。

R_j＝R_jiR_i

步骤2.3:通过GPS信息和图像信息将所有帧的局部坐标系下的方向旋转到世界坐标系中。

步骤2.4:使用GPS信息作为图像的世界坐标系的位置。

步骤3:使用全局优化算法优化所有图像世界坐标系下的位姿和点云。

步骤3.1:对步骤2.2得到的图像匹配对计算重投影误差，我们假设拍摄的场景为一个平面,高度为h_i,使用让其中一帧i的特征点p_i投影到这个平面上的三维点P_i.使用另一帧j的位姿让P_i反投影到第j帧的归一化坐标系上p_ji，优化第j帧的匹配点和p_ji的坐标差值。

在这个公式中,T_i表示这个每一帧的相机位姿,h_i为高度为拍摄平面的高度,N为多少对匹配帧,P为每一对匹配帧的匹配点,p_i和p_j为每一个特征点的归一化坐标,

为用

和h_i投影p_i到另一帧的归一化坐标上。

步骤3.2:在优化中,我们认为优化后的相机位置应该和拍摄照片的GPS坐标是一致的,所以我们会优化相机的位置和GPS坐标之间的差值。

在这个公式中,

为第i帧的世界坐标系的位置,

为第i帧的GPS坐标。

步骤3.3:使用步骤4.1的重投影误差和步骤4.2的位置误差优化出所有相机的位姿和。

步骤3.4:因为假设所有的点云都在同一平面上,且平面高度已经优化出来了,所以可以使用优化后的相机位姿计算出每一帧图像特征点的点云坐标。

在上面的公式中,

就是最后的点云坐标,

为每一帧局部坐标系的坐标,

为每一帧局部坐标系的z坐标,n_z为n的z坐标。

步骤4:对获取的位姿和点云进行图像拼接

步骤4.1:利用无人机的位姿信息和平面高度信息将第i帧图像扭曲到拼接平面中。

步骤4.2:利用变换后的图像建立多波段的拉普拉斯金字塔,并将其与全球平铺地图融合。

步骤4.3:最后使用来自拉普拉斯金字塔的相邻瓦片来绘制当前瓦片。

实例2基于局部平面的无人机实时地图拼接方法包括以下步骤：

步骤1：对相机获取的前两帧图像进行初始化，具体步骤如下：

步骤1.1：对当前获得的前两帧图像进行去畸变处理，得到两帧去畸变后的图像，用于后续处理。

步骤1.2：通过读取EXIF信息获取图片的GPS信息和IMU信息。

步骤1.3：对去畸变后的图像进行特征检测，提取特征点和特征描述子。提取特征点的方法有：SIFT、SURF、ORB、SIFTGPU等,前两种精度高、可以提取更多特征，但是需要花费很长时间，不适合本发明的实时拼接的情况，第三种特征检测方法虽然快，但是效果较差，而第四种是在第一种的基础上通过GPU进行加速，速度快，效果好，符合本发明的情形，因此本步骤及后续步骤都采用SIFTGPU的方式来检测特征点。

步骤1.4：对前两帧图像进行特征匹配，并计算两帧之间的sim3变换，并将第一帧添加为第二帧的parent帧，第二帧添加为第一帧的children帧。

步骤1.5：将上一步计算出的sim3分解为表示姿态的旋转矩阵R和平移向量t，并计算两帧图像的单应性变换矩阵H。

步骤1.6：根据步骤1.2获取的GPS和IMU信息估计这两帧位姿的初值，如果没有IMU信息则根据两帧之间的单应性变换对旋转矩阵R进行估计。在航拍图像拼接领域，我们可以假设相机镜头是竖直向下的。

并将这两帧的信息添加到一个位姿图中。

步骤1.7：根据步骤1.5所计算的两帧的单应性变换矩阵判断两帧位置的距离是否大于相机基线。若大于相机基线，则继续，否则选取第一帧和第三帧重新进行初始化。

步骤2：根据步骤1.4得到的特征匹配关系对前两帧位姿初值进行非线性优化。具体步骤如下：

步骤2.1：我们首先认为GPS的信息是比较准确的，可以将GPS的信息作为非线性优化的约束，将两帧的位置和GPS位置信息的误差加入优化函数中,公式如下：

E₁＝pose_g-t_i

pose_g为GPS得到的相机位置，t_i为第i帧的平移向量；

步骤2.2：将前两帧加入到一个自适应大小的滑动窗口中，对两帧之间每一个匹配点，根据基于局部平面的重投影误差公式，将误差加入到优化函数中。根据假设，先将第一帧图像中的匹配点反投影到第一帧的相机坐标系中，然后根据第一帧相机的GPS信息和假设的平面高度，将匹配点投影到平面上，再根据两个相机的R,t将平面上的点投影到第二帧的相机平面，在利用相机内参求出该点在第二帧像素平面的坐标，与第二帧的匹配点的像素坐标做差，得到两帧的重投影误差。

公式如下：

n₁＝R_ip_i,

P＝sn₁+t_i-t_j,

式中，p_i,p_j为特征点在第1帧和第2帧的像素坐标，f为相机焦距，R_it_iR_jt_j为两帧相机的旋转矩阵和平移向量。H为平面高度，E₂为重投影误差。

步骤2.3：对上面两个误差进行联合优化，使其和最小；

步骤3：对相机实时获得的第i帧图像进行如下处理，i＝3,4,5……：

步骤3.1：对第i帧图像进行去畸变处理，得到去畸变后的第i帧图像；

步骤3.2：通过读取EXIF信息获取第i帧的GPS信息和IMU信息；

步骤3.3：对去畸变后的图像进行特征检测，提取特征点和特征描述子；

步骤3.4：根据第i帧的GPS位置和相机的FoV，依据公式2在位姿图中搜索与第i帧相邻的候选帧，假设相机竖直向下时，Pitch角为-90，并认为Pitch角的合理范围为-60到-120，当两帧GPS的差值小于D_max即为候选帧；

公式2：

D_max＝2D₁-0.1(D₁+D₂)

步骤3.5：对第i帧和步骤3.4搜索出的候选帧逐一进行特征匹配，并计算两帧之间的sim3变换，并将能成功匹配的候选帧添加为第i帧的parent帧，将第i帧添加为该候选帧的children帧；

步骤3.6：将上一步计算出的sim3分解为表示姿态的旋转矩阵R和平移向量t，并计算两帧图像的单应性变换矩阵H；

步骤3.7：根据步骤3.2获取的GPS和IMU信息估计第i帧位姿的初值，如果没有IMU信息则根据第i帧和其parent帧的单应性变换对旋转矩阵R进行估计，并将该帧的信息添加到步骤1.6的位姿图中；

步骤4：采用自适应滑动窗口法对第i帧的位姿进行非线性优化，i＝3,4,5……，具体步骤如下：

步骤4.1：将第i帧的平移向量t和GPS信息的误差加入优化函数中；

步骤4.2：将第i帧加入到步骤2.2的滑动窗口中，

步骤4.3：判断滑动窗口中的第一帧是否为第i帧的parent帧，若不是，则将滑动窗口中的第一帧弹出，并对其进行步骤5的操作，并继续执行步骤4.3，直到滑动窗口中的第一帧为第i帧的parent帧。

步骤4.4：对第i帧和其所有的parent帧进行遍历，对两帧之间每一个匹配点，根据基于局部平面的重投影误差公式，将误差加入到优化函数中；

步骤4.5：对滑动窗口内的第i帧的每一个parent帧进行遍历，称为第j帧，将第j帧与第j帧的所有parent帧进行遍历，对两帧之间每一个匹配点，根据基于局部平面的重投影误差公式，将误差加入到优化函数中，若第k帧为第j帧的parent帧且不是第i帧的parent帧，则设置第k帧的位姿是固定的，不被优化；

步骤4.6：对上面两步的所有误差进行联合优化，使其和最小；

步骤5：对第i帧进行图像拼接，当第i帧被步骤4.3弹出时，表示其位姿已经优化完毕，对其进行拼接操作。i＝3,4,5……：

步骤5.1：首先，利用位姿和平面的高度信息计算第i帧对全局拼接平面的单应性矩阵，利用单应性变换将第i帧扭曲到拼接平面中；

步骤5.2：利用变换后的图像建立多波段的拉普拉斯金字塔，并将其与全球平铺地图融合；

步骤5.3：最后，使用来自拉普拉斯金字塔的相邻瓦片来绘制当前瓦片。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下。由语句“包括一个......限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素”。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims

1.一种基于局部平面假设及六自由度位姿优化的快速无人机图像拼接方法，包括离线无序图像处理和实时在线图像处理，其特征在于：所述离线无序图像处理包括以下步骤：

步骤2:对所有的图像进行初始位姿估计。

所述实时在线图像处理包括以下步骤：

步骤1：对相机获取的图像序列选取两帧进行初始化。

2.根据权利要求1所述的一种基于局部平面假设及六自由度位姿优化的快速无人机图像拼接方法，其特征在于：所述离线无序图像处理步骤1中采用GPS信息来获取邻近候选帧，使用SIFT来检测特征点，采用多单应约束匹配方法来获取匹配图像对。

3.根据权利要求1所述的一种基于局部平面假设及六自由度位姿优化的快速无人机图像拼接方法，其特征在于：所述离线无序图像处理步骤3中我们假设拍摄的场景局部可拟合为一个平面，场景可以由多个高度为h_i组成的平面描述，使用让其中一帧i的特征点p_i投影到这个平面上的三维点P_i，使用另一帧j的位姿让P_i反投影到第j帧的归一化坐标系上p_ji，优化第j帧的匹配点和p_ji的坐标差值，

在这个公式中，T_i表示这个每一帧的相机位姿，h_i为帧i拍摄平面的高度，N为多少对匹配帧，P为每一对匹配帧的匹配点，p_i和p_j为每一个特征点的归一化坐标，

为用

和h_i投影p_i到另一帧的归一化坐标上。

4.根据权利要求1所述的一种基于平面假设及六自由度位姿优化的快速无人机图像拼接方法，其特征在于：所述无序图像处理步骤4中的拼接融合算法使用拼接面信息和帧位姿信息直接进行拼接融合，可不依赖三维重建的点云信息。

5.根据权利要求1所述的一种基于平面假设及六自由度位姿优化的快速无人机图像拼接方法，其特征在于：所述实时在线图像处理步骤2中根据假设，采用自适应滑动窗口法，对于序列化的图像将计算复杂度约束在局部的位姿图优化上。