CN111161154A - 一种无人机视频实时快速正射拼接***及其拼接方法 - Google Patents

Abstract

本发明公开了一种无人机视频实时快速正射拼接***及其拼接方法，所述***包括关键帧选取模块、特征点提取模块、特征点匹配模块、图优化校正模块。所述关键帧选取模块用于从实时视频数据中选取拼接处理的关键帧图像；所述特征点提取模块用于从关键帧图像中提取与相邻关键帧图像有对应关系的特征点；所述特征点匹配模块通过特征点匹配计算相邻关键帧的相机相对位置和姿态数据；所述图优化校正模块利用特征点匹配结果调整每个关键帧的相机位置和姿态数据对应图优化中的节点，优化校正每个关键帧的相机位置和姿态数据。本发明利用无人机视频的POS信息、图像特征信息等多种数据的优势和图优化技术，实现高精度、高速度的无人机视频实时快速正射拼接。

Description

一种无人机视频实时快速正射拼接***及其拼接方法

技术领域

本发明涉及数据处理领域，具体是一种无人机视频实时快速正射拼接***及其拼接方法。

背景技术

目前测绘行业已广泛使用无人机搭载相机，获取中小区域地表的高分辨率图像信息，进而处理生成地表正射影像和三维模型。数据处理采用传统的离线处理模式，利用摄影测量的方法恢复地表的三维点云和每张照片对应的相机位置与姿态信息，通过密集匹配获取数字表面模型(DSM)和拼接后的正射影像(DOM)。该模式需要无人机飞行作业后下载影像数据并使用专业***处理生成正射影像和三维模型成果，耗时数个小时至数天，一般针对高清相机的静态图像制作高精度成果，主要用于地图制作等测绘任务。

但是在应急救援、安全保卫、侦察执法等现场监控指挥领域，需要基于实时传输的无人机视频数据进行实时快速拼接生成动态正射影像，以实现对监控区域的实时态势感知和深度应用。

现有的通用拼接方法中，直接利用无人机POS数据进行拼接，可能因无人机飞行过程中POS精度不稳定导致拼接成果频繁出现明显的接缝；直接利用图像特征点匹配进行拼接，可能因局部区域特征点数量较少或者匹配失败导致拼接中断无法持续完成整体拼接成果。

发明内容

基于目前常用视频正射拼接方法的缺陷，本发明提出一种综合利用多种信息的无人机视频实时快速正射拼接方法，该方法以POS数据作为相机位置和姿态的初始值，利用关键帧图像特征点提取和匹配结果来构建图优化的约束，然后基于图优化对相机位置和姿态进行优化更新，最后利用优化后的相机位置和姿态来进行视频图像的实时快速正射拼接。

为实现上述目的，本发明提供如下技术方案：

一种无人机视频实时快速正射拼接***，包括关键帧选取模块、特征点提取模块、特征点匹配模块、图优化校正模块；

所述关键帧选取模块用于从实时视频数据中选取拼接处理的关键帧图像；

所述特征点提取模块用于从关键帧图像中提取与相邻关键帧图像有对应关系的特征点；

所述特征点匹配模块通过特征点匹配计算相邻关键帧的相机相对位置和姿态数据；

所述图优化校正模块利用特征点匹配结果调整每个关键帧的相机位置和姿态数据对应图优化中的节点，优化校正每个关键帧的相机位置和姿态数据。

作为本发明再进一步的优选方案,所述关键帧选取模块确定关键帧的方法为：利用POS数据、飞行高度数据以及相机标定参数来确定每张视频图像在地面上的覆盖范围，然后根据覆盖范围来计算出图像重叠度，最后根据航带内以及航带之间的图像重叠度来判断当前帧是否是一个关键帧。

作为本发明再进一步的优选方案，航带内相邻的所述关键帧图像重叠度要求达到80％以上，不同航带之间的相邻的所述关键帧图像重叠度要求达到30％以上。

作为本发明再进一步的优选方案，计算所述关键帧图像重叠度时，假设飞行高度不变，并且假设地平面没有起伏，那么相邻关键帧图像对应的地表区域在XY平面上可以用矩形R₁和R₂来表示，重叠率iou的计算公式如下：

作为本发明再进一步的优选方案，所述特征点提取模块利用特征点提取算法从关键帧图像中得到特征点。

作为本发明再进一步的优选方案，利用特征点匹配来建立相邻关键帧图像之间的特征点对应关系后，将所述特征点转换为地面坐标。

作为本发明再进一步的优选方案，所述特征点转换为地面坐标的具体方法是：根据相机的标定参数以及飞行的高度数据将特征点投影到地面，假设地表是平坦的，即所有的地面点的高程值是相同的，在计算相机相对位置和姿态时，只需要考虑平面上的平移和旋转，将三维位置与姿态计算问题简化为二维平移与旋转。

作为本发明再进一步的优选方案，所述标定参数包括焦距、主点、畸变系数。

优选的，本发明还提供一种无人机视频实时快速正射拼接方法，包括如下步骤：

(1)采用关键帧选取模块从实时视频数据中选取拼接处理的关键帧图像；

(2)采用特征点提取模块从关键帧图像中提取与相邻关键帧图像有对应关系的特征点；

(3)采用特征点匹配模块通过特征点匹配计算相邻关键帧的相机相对位置和姿态数据；

(4)采用图优化校正模块利用特征点匹配结果调整每个关键帧的相机位置和姿态数据对应图优化中的节点，优化校正每个关键帧相机的位置和姿态数据。

与现有技术相比，本发明的有益效果是：综合利用无人机视频的POS信息、图像特征信息等多种数据的优势和图优化技术，实现高精度、高速度的无人机视频实时快速正射拼接。

附图说明

图1为本发明方法流程图。

图2为本发明方法中特征点提取和匹配流程图。

图3为本发明方法中图优化流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明内容的技术流程图，按照功能来划分，可以分为三个功能模块：关键帧选取模块、特征点提取和匹配模块和图优化校正模块。关键帧选取模块的作用是从实时视频数据中确定用于拼接的若干帧图像，由于视频的帧率较高，关键帧的确定可以降低计算的数据量、提高拼接的速度。特征点提取与匹配模块的作用是利用匹配后的二维点对应信息来计算出相邻关键帧图像相机的相对位置和姿态数据，用来作为图优化的边。图优化校正模块对关键帧相机的位置和姿态数据进行优化，每个关键帧相机的位置和姿态数据对应图优化中的节点，图像匹配的结果用来对节点进行调整。

下面对本发明的功能模块做详细的说明。

关键帧提取模块：

为了能够达到较好的特征点匹配效果，关键帧的选取要保证相邻的关键帧图像直接的重叠度达到一定的数值，本发明中的航带内的重叠度要求达到80％以上，不同航带之间的重叠度要求达到30％以上。由于实时视频拍摄的同时可以获取对应的POS信息，因此本发明利用POS数据、飞行高度数据以及相机的标定参数来确定每张视频图像在地面上的覆盖范围，然后根据覆盖范围来计算出图像重叠度，最后根据航带内以及航带之间的图像重叠度来判断当前帧是否是一个关键帧。计算重叠度时，假设飞行高度不变，并且假设地平面没有起伏，那么相邻图像对应的地表区域在XY平面上可以用矩形R₁和R₂来表示，重叠率iou的计算公式如下：

特征点提取模块与匹配模块：

本发明利用特征点提取算法来从图像中得到稀疏的特征点，然后利用特征点匹配来建立相邻图片之间的特征点对应关系。为了能够和POS数据的尺度一致，本发明将特征点转换为地面坐标。具体方法是根据相机的标定参数(焦距，主点，畸变系数)，以及飞行高度，将特征点投影到地面。为了简化运算以及后续的拼接，本发明假设地表是平坦的，即所有的地面点的高程值是相同的，因此在计算相机相对位置和姿态时，只需要考虑平面上的平移和旋转，这样就将复杂的三维位置与姿态计算问题简化为二维平移与旋转，具体请参阅图2。

图优化校正模块：

图优化校正模块的流程如图3所示，在基于图像的三维重建中，往往需要将地面点的三维坐标，以及相机的位置和姿态一同进行优化。当图像的数量较多时，点云的数量也较大，导致优化的速度较慢。图优化技术只对关键帧相机位置和姿态进行优化，需要进行优化的参数较少，运算量大幅降低，通常在几次迭代后就可以收敛，因此广泛的应用于实时定位和建图(SLAM)领域。本发明将图优化技术应用于无人机视频的实时快速正射拼接，在得到关键帧数据后，以关键帧对应的相机位置和姿态作为未知数。每个关键帧图像对应图优化中的一个节点(Node)，相邻图像之间的相机相对位置和姿态作为图优化中的边(Edge)。节点的相机位置和姿态的初始值来源于无人机飞行时的POS数据。当相邻关键帧图像的纹理较为丰富时，特征点数量较多而且匹配成功率较高，可以用来计算相机相对位置和姿态，用于构造图优化中的边。当匹配不成功时，直接利用POS数据来计算相机相对位置和姿态。因此本发明能够最大程度的利用图像纹理信息来对POS数据进行校正，当纹理不够丰富匹配不成功时，还能够利用POS信息来进行定位，不会出现拼接中断的情况。

综上所述，本发明综合利用无人机视频的POS信息、图像特征信息等多种数据的优势和图优化技术，实现高精度、高速度的无人机视频实时快速正射拼接。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (9)

1.一种无人机视频实时快速正射拼接***，其特征在于，包括关键帧选取模块、特征点提取模块、特征点匹配模块、图优化校正模块；

所述关键帧选取模块用于从实时视频数据中选取拼接处理的关键帧图像；

所述特征点提取模块用于从关键帧图像中提取与相邻关键帧图像有对应关系的特征点；

所述特征点匹配模块通过特征点匹配计算相邻关键帧的相机相对位置和姿态数据；

所述图优化校正模块利用特征点匹配结果调整每个关键帧的相机位置和姿态数据对应图优化中的节点，优化校正每个关键帧的相机位置和姿态数据。

2.根据权利要求1所述的无人机视频实时快速正射拼接***，其特征在于，所述关键帧选取模块确定关键帧的方法为：利用POS数据、飞行高度数据以及相机标定参数确定每张视频图像在地面上的覆盖范围，然后根据覆盖范围来计算出图像重叠度，最后根据航带内以及航带之间的图像重叠度来判断当前帧是否是一个关键帧。

3.根据权利要求2所述的无人机视频实时快速正射拼接***，其特征在于，航带内相邻的所述关键帧图像重叠度要求达到80％以上，不同航带之间的相邻的所述关键帧图像重叠度要求达到30％以上。

4.根据权利要求3所述的无人机视频实时快速正射拼接***，其特征在于，计算所述关键帧图像重叠度时，假设飞行高度不变，并且假设地平面没有起伏，那么相邻图像对应的地表区域在XY平面上用矩形R₁和R₂来表示，重叠率iou的计算公式如下：

5.根据权利要求1所述的无人机视频实时快速正射拼接***，其特征在于，所述特征点提取模块利用特征点提取算法从关键帧图像中得到特征点。

6.根据权利要求1所述的无人机视频实时快速正射拼接***，其特征在于，利用特征点匹配来建立相邻关键帧图像之间的特征点对应关系后，将所述特征点转换为地面坐标。

7.根据权利要求6所述的无人机视频实时快速正射拼接***，其特征在于，所述特征点转换为地面坐标的具体方法是：根据相机的标定参数以及飞行的高度数据将特征点投影到地面，假设地表是平坦的，即所有的地面点的高程值是相同的，在计算相机相对位置和姿态时，只需要考虑平面上的平移和旋转，将三维位置与姿态计算问题简化为二维平移与旋转。

8.根据权利要求7所述的无人机视频实时快速正射拼接***，其特征在于，所述相机标定参数包括焦距、主点、畸变系数。

9.一种无人机视频实时快速正射拼接方法，其特征在于，包括如下步骤：

(1)采用关键帧选取模块从实时视频数据中选取拼接处理的关键帧图像；

(2)采用特征点提取模块从关键帧图像中提取与相邻关键帧图像有对应关系的特征点；

(3)采用特征点匹配模块通过特征点匹配计算相邻关键帧的相机相对位置和姿态数据；

(4)采用图优化校正模块利用特征点匹配结果调整每个关键帧的相机位置和姿态数据对应图优化中的节点，优化校正每个关键帧相机的位置和姿态数据。

Images