CN110319772B - 基于无人机的视觉大跨度测距方法 - Google Patents

Abstract

本发明涉及一种基于无人机的视觉大跨度测距方法，可用于大场景测距。通过飞行器携带视觉传感器，对需要测量的对象场景进行影像数据的获取并通过飞控获取IMU信息；通过图传将数据传给地面站；通过光流法跟踪FAST特征点并筛选提取关键帧；通过非线性优化进行传感器数据融合；利用多立体视觉技术对场景进行三维建模；在三维模型中选取测量点进行测距。本发明方法通过关键帧与图像模糊度筛选减少冗余图片数量，减轻重构时间，提高重构效率；与纯图片的三维重构相比，可以重构出真实尺度的三维模型且模型精度更高；与GPS与图像融合相比，可以在无GPS信号环境下(如山区、室内)进行三维重构，提高了***的鲁棒性。

Description

基于无人机的视觉大跨度测距方法

技术领域

本发明涉及一种测绘技术，特别涉及一种基于无人机的视觉大跨度测距方法。

背景技术

目标场景的三维重构技术在测绘领域得到了广泛的应用。三维重构可以将多视角拍摄的二维图像重建成空间物体的三维模型，进行物体尺寸的测量。以花坛举例，人们想要测量花坛的直径周长，由于花坛尺寸较大无法直接测量。通过无人机对花坛航拍，可以重构出花坛的三维模型，在模型上选点即可获得花坛的真实尺寸。目前有两种三维建模的方式。1)完全通过图像进行三维建模，但所得的三维模型缺乏尺度因子，需要在模型中换算比例尺。2)通过GPS与图像融合的方式，计算出实际尺寸的三维模型。但该方法，对GPS定位精度高。在无GPS信号环境下无法进行重构，如山区，室内等。

发明内容

本发明是针对空间物体测距存在的问题，提出了一种基于无人机的视觉大跨度测距方法，基于IMU(惯性测量单元)与图像融合的三维重构测距方法，可以得到真实尺度的三维模型，同时增加了重构的鲁棒性，在无GPS信号环境下也能进行三维重构。

本发明的技术方案为：一种基于无人机的视觉大跨度测距方法，具体包括如下步骤：

1)采用无人机采集视频数据与IMU数据，对视频数据进行预处理后，将预处理后带有特征点和关键帧的视频数据和IMU数据传输给地面服务器；

2)利用平均视差、跟踪质量与图像模糊度挑选视频中关键帧；

3)利用传感器融合技术，通过IMU预积分和选取的关键帧得到相机的粗略位姿，再通过视频帧中的特征点进行非线性优化，得到相机的精确位姿，即飞行轨迹；

4)最后进行稠密重建获取实际尺度的三维重构模型，在建立的三维模型上直接进行选点测距。

所述步骤1)具体实现方法如下：

1.1)首先采用kalibr工具包对无人机的摄像头与IMU的内参与外参进行标定，通过标定的参数对相机所拍摄的视频进行畸变矫正；

1.2)通过无人机航拍，获取矫正后的视频数据和IMU数据，视频数据和IMU数据包括相机的三轴加速度和角速度，图像信息；

1.3)获得视频数据和IMU数据后，提取第一张视频帧FAST特征点并通过光流法跟踪，得到后续帧匹配的特征点，根据图像中特征点多少进行关键帧筛选，然后将带有特征点和关键帧的视频数据和IMU数据通过无线传输到地面服务器。

所述步骤2)具体实现方法如下：

2.1)通过对匹配的特征点采用多点透视成像算法计算当前帧与上一个关键帧的旋转矩阵，平移矩阵；如果在当前帧和上一个关键帧之间跟踪的旋转矩阵，平移矩阵超出设定阈值，则将当前帧视为新的关键帧；

2.2)通过将跟踪特征数量低于设定数量的关键帧也视为新的关键帧，以此避免跟踪特征完全丢失，提高跟踪质量；

2.3)在无参考图像情况下，通过对得到的所有关键帧进行拉普拉斯变换后，再计算相邻像素间的平均梯度差，用平均梯度差来衡量模糊度，数值越低帧越模糊，当平均梯度差小于设定梯度阈值时，则剔除该关键帧。

所述步骤3)具体实现方法如下：

3.1)通过IMU预积分计算关键帧在世界坐标系下的位姿关系，计算出相机的粗略位姿；相机的粗略位姿获取过程中通过对齐IMU数据与关键帧数据，使用关键帧图像之间的匹配来约束IMU的预计分误差；

3.2)通过非线性算法，优化特征点和相机的位姿，得到相机的精确位姿。

所述步骤4)具体实现方法如下：

4.1)采用了极线搜索和块匹配技术在关键帧图片，对每个像素点的极线上选取3*3的像素块与其他关键帧图片相互逐个比较相似度，得到像素在各个图片中的位置；

4.2)通过对不同关键帧中同一个像素点在空间中的三维映射点采用深度滤波技术多次进行三角测量使深度估计收敛到一个稳定值；

4.3)通过相机位姿将各个关键帧图片视角下的点云进行旋转、平移到世界坐标系下，拼接得到实际尺度的三维模型，在建立的三维模型上可以直接进行选点测距。

本发明的有益效果在于：本发明基于无人机的视觉大跨度测距方法，通过关键帧与图像模糊度筛选减少冗余图片数量，减轻重构时间，提高重构效率；与纯图片的三维重构相比，可以重构出真实尺度的三维模型且模型精度更高；与GPS与图像融合相比，可以在无GPS信号环境下(如山区、室内)进行三维重构，提高了***的鲁棒性。

附图说明

图1为本发明的方法流程图；

图2为本发明的方法流程框图；

图3为本发明实施例IMU预积分原理图；

图4为本发明实施例传感器优化后的相机位姿图；

图5为本发明实施例极线约束原理图。

具体实施方式

如图1、2所示基于无人机的视觉大跨度测距方法流程图，对给定对象的三维模型进行测距，包括目标对象的尺寸，多个对象之间的距离，测距所需硬件为：无人机、地面站服务器、单目摄像头、无线路由器等。具体实现方法如下：

1、采用无人机采集视频数据与IMU数据，对视频数据进行图像预处理后，将预处理后图像数据和IMU数据传输给地面服务器；

步骤1具体实现步骤为：

1.1首先采用kalibr工具包对无人机的摄像头与IMU的内参与外参进行标定，通过标定的参数对相机所拍摄的视频进行畸变矫正；

1.2通过无人机航拍，获取矫正后的视频数据和IMU数据，视频数据和IMU数据包括相机的三轴加速度和角速度，图像信息；

1.3获得视频数据和IMU数据后，提取第一张视频帧FAST特征点并通过光流法跟踪，得到后续帧匹配的特征点，根据图像中特征点多少进行关键帧筛选，然后将带有特征点和关键帧的视频数据和IMU数据通过无线传输到地面服务器。

2、利用平均视差、跟踪质量与图像模糊度挑选视频中关键帧；

具体实现步骤为：

2.1通过对匹配的特征点采用PNP(多点透视成像)算法计算当前帧与上一个关键帧的旋转矩阵，平移矩阵。如果在当前帧和上一个关键帧之间跟踪的旋转矩阵，平移矩阵超出设定阈值，则将当前帧视为新的关键帧；

2.2为了防止在轨迹跟踪时特征点过少导致跟踪失败。通过将跟踪特征数量低于设定数量的关键帧也视为新的关键帧，以此避免跟踪特征完全丢失，提高跟踪质量。

2.3在无参考图像情况下，先对得到的所有关键帧进行拉普拉斯变换后，再计算相邻像素间的平均梯度差，用平均梯度差来衡量模糊度，数值越低帧越模糊，当平均梯度差小于设定梯度阈值时，则剔除该关键帧。

3、利用传感器融合技术，通过IMU预积分和选取的关键帧得到相机的粗略位姿，再通过视频帧中的特征点进行非线性优化，得到相机的精确位姿，即飞行轨迹。

具体实现步骤为：

3.1通过IMU预积分计算关键帧在世界坐标系下的位姿关系，计算出相机的粗略位姿。即在世界坐标系下，IMU在k时刻的位置，速度，旋转分别对应

如图3所示，i与j时刻的关键帧之间的位姿关系可由IMU预积分得到，它们满足迭代式。

式中：上标w代表世界坐标系；下标b_k代表IMU坐标系的k时刻；下标t代表t时刻；下标b_k+1代表IMU坐标系的k+1时刻；

为t时刻，IMU在世界坐标系下的旋转，

为t时刻IMU的加速度；

为t时刻IMU加速度的偏置；g^w为在世界坐标系下的重力；

为t时刻IMU的角速度；

为t时刻IMU角速度的偏置；

即当前时刻的状态可以通过上一时刻状态来迭代求得。将相邻两关键帧之间的一段时间的IMU预积分起来，得到两帧之间的IMU相对运动。

相机的粗略位姿获取过程中通过对齐IMU数据与关键帧数据，使用关键帧图像之间的匹配来约束IMU的预计分误差。

3.2通过非线性算法，优化特征点和相机的位姿，得到相机的精确位姿。首先，将位姿，速度，相机外参等状态量整合到一个状态向量中进行非线性优化。状态向量如下：

由(5)(6)推导出(4)

式中：X为状态向量；X_k为IMU的状态变量；b_g为IMU的重力偏置；b_a为IMU的加速度偏置；

为相机与IMU相对的状态变量；

为相机与IMU之间的位移；

为相机与IMU之间的旋转；λ_i为特征点坐标，i＝1,2,...,m；

非线性优化目标函数如下：

式中：

为基于IMU的位移观测量；

为基于图像的位移观测量；r_β为IMU的关系函数；r_c为图像的关系函数；k是时刻，β代表IMU，l代表第几个特征点，j代表第几帧，C代表相机。

相机位姿优化结果如图4所示。

4、最后进行稠密重建获取实际尺度的三维重构模型，在建立的三维模型上直接进行选点测距。

具体实现步骤为：

4.1采用了极线搜索和块匹配技术在关键帧图片，对每个像素点的极线上选取3*3的像素块与其他关键帧图片相互逐个比较相似度，得到像素在各个图片中的位置。如图5所示，d表示三维点的深度，o₁、o₂表示第一张图片和第二张图片的相机中心，R、T表示2两帧图片之间的旋转矩阵和平移矩阵，p₁、p₂表示第一张图片和第二张图片上的像素点，l₂表示p₁在第二张图片中的极线。

4.2通过对不同关键帧中同一个像素点在空间中的三维映射点采用深度滤波技术多次进行三角测量使深度估计收敛到一个稳定值。

4.3通过相机位姿将各个关键帧图片视角下的点云进行旋转、平移到世界坐标系下，拼接得到实际尺度的三维模型，在建立的三维模型上可以直接进行选点测距。

实验结果，通过基于无人机的视觉大跨度测距方法得到了三维模型，并可以再三维模型上进行真实尺度的测距。基于本发明的测距***，测绘工作者可以非常方便的进行测绘工作。

Claims (3)

1.一种基于无人机的视觉大跨度测距方法，其特征在于，具体包括如下步骤：

1)采用无人机采集视频数据与IMU数据，对视频数据进行预处理后，将预处理后带有特征点和关键帧的视频数据和IMU数据传输给地面服务器；具体实现方法如下：

1.1)首先采用kalibr工具包对无人机的摄像头与IMU的内参与外参进行标定，通过标定的参数对相机所拍摄的视频进行畸变矫正；

1.2)通过无人机航拍，获取矫正后的视频数据和IMU数据，视频数据和IMU数据包括相机的三轴加速度和角速度，图像信息；

1.3)获得视频数据和IMU数据后，提取第一张视频帧FAST特征点并通过光流法跟踪，得到后续帧匹配的特征点，根据图像中特征点多少进行关键帧筛选，然后将带有特征点和关键帧的视频数据和IMU数据通过无线传输到地面服务器；

2)利用平均视差、跟踪质量与图像模糊度挑选视频中关键帧；具体实现方法如下：

2.1)通过对匹配的特征点采用多点透视成像算法计算当前帧与上一个关键帧的旋转矩阵，平移矩阵；如果在当前帧和上一个关键帧之间跟踪的旋转矩阵，平移矩阵超出设定阈值，则将当前帧视为新的关键帧；

2.2)通过将跟踪特征数量低于设定数量的关键帧也视为新的关键帧，以此避免跟踪特征完全丢失，提高跟踪质量；

2.3)在无参考图像情况下，通过对得到的所有关键帧进行拉普拉斯变换后，再计算相邻像素间的平均梯度差，用平均梯度差来衡量模糊度，数值越低帧越模糊，当平均梯度差小于设定梯度阈值时，则剔除该关键帧；

3)利用传感器融合技术，通过IMU预积分和选取的关键帧得到相机的粗略位姿，再通过视频帧中的特征点进行非线性优化，得到相机的精确位姿，即飞行轨迹；

4)最后进行稠密重建获取实际尺度的三维重构模型，在建立的三维模型上直接进行选点测距。

2.根据权利要求1所述基于无人机的视觉大跨度测距方法，其特征在于，所述步骤3)具体实现方法如下：

3.1)通过IMU预积分计算关键帧在世界坐标系下的位姿关系，计算出相机的粗略位姿；相机的粗略位姿获取过程中通过对齐IMU数据与关键帧数据，使用关键帧图像之间的匹配来约束IMU的预计分误差；

3.2)通过非线性算法，优化特征点和相机的位姿，得到相机的精确位姿。

3.根据权利要求1或2所述基于无人机的视觉大跨度测距方法，其特征在于，所述步骤4)具体实现方法如下：

4.1)采用了极线搜索和块匹配技术在关键帧图片，对每个像素点的极线上选取3*3的像素块与其他关键帧图片相互逐个比较相似度，得到像素在各个图片中的位置；

4.2)通过对不同关键帧中同一个像素点在空间中的三维映射点采用深度滤波技术多次进行三角测量使深度估计收敛到一个稳定值；

4.3)通过相机位姿将各个关键帧图片视角下的点云进行旋转、平移到世界坐标系下，拼接得到实际尺度的三维模型，在建立的三维模型上可以直接进行选点测距。

Images