CN109871024A - 一种基于轻量级视觉里程计的无人机位姿估计方法 - Google Patents

Abstract

本发明公开了一种基于轻量级视觉里程计的无人机位姿估计方法。通过安装在无人机上的深度相机对无人机前方视场环境进信息采集，获取无人机前方视场环境中的空间点的二维图像信息和三维坐标信息；利用改进SIFT特征匹配算法，处理获得初步匹配的匹配点对：利用随机一致性算法剔除候选特征点中的误匹配点，得到精确匹配的匹配点对；利用精确匹配的匹配点对求解无人机运动参数，进而求得无人机位置的变化量和姿态角。本发明方法减少了无人机所携带的设备而且价格相对较低。同时，视觉信号稳定，稳定性强，不存在累积误差，能够提高无人机自主位姿估计的准确性和鲁棒性。

Description

一种基于轻量级视觉里程计的无人机位姿估计方法

技术领域

本发明涉及了一种无人机位姿估计方法，特别涉及了一种基于轻量级视觉里程计的无人机位姿估计方法。

背景技术

近年来，无人机因其操作方便、结构稳定、无人驾驶以及机动灵活等优点，进而在目标跟踪与定位、航拍勘测、消防营救等领域得到了广泛的应用。显然，利用无人机进行目标跟踪与定位、无人机自主降落、无人机位姿控制等问题中，无人机位姿态的确定是必不可少的重要环节，也一直是一个无法回避的技术难题。

目前，在传统无人机导航中，无人机依靠GPS和IMU进行自身位姿信息的获取。然而在很多环境中GPS信号容易出现缺失的情况，例如在室内，无人机便无法确定自己的位置信息。与此同时，IMU根据陀螺仪和加速度计的姿态变化，通过积分的方式获取位姿信息的。但是在实际应用中往往会产生累计误差，进而降低位姿估计的精度。

发明内容

为了解决现有技术的缺点与不足，本发明提供一种基于轻量级视觉里程计的无人机位姿估计方法。

如图1所示，本发明的目的通过以下步骤的技术方案实现：

1)通过安装在无人机上的深度相机对无人机前方视场环境进信息采集，获取无人机前方视场环境中的空间点的二维图像信息和三维坐标信息；

2)对步骤1)获取的二维图像信息，利用改进SIFT特征匹配算法，处理获得初步匹配的匹配点对；

3)对步骤2)获取的初步匹配的特征点对，利用随机一致性算法(RANSAC)剔除候选特征点中的误匹配点，得到精确匹配的匹配点对；

4)利用精确匹配的匹配点对求解无人机运动参数，进而求得无人机位置的变化量和姿态角。

所述步骤2)具体为：首先进行特征点检测；其次对获取的特征点进行二值化的特征点描述；以二值化的特征点描述对相邻两幅图像间的特征点进行粗匹配，获取初步匹配的匹配点对。

所述步骤2)改进SIFT特征匹配算法具体包括以下步骤：

2.1)进行特征点检测：由二维图像建立二维图像空间，接着由二维图像进行降采样处理后再和高斯核函数进行卷积处理获得不同图像尺寸的采样图像并构成高斯尺度空间，然后由高斯尺度空间中的每相邻两层采样图像作差得到不同的DoG尺度图像并构成了DoG尺度空间，在DoG尺度空间中检测极值点(Blob)作为特征点；且在针对DoG尺度空间中的每个像素点进行检测极值点时，每个像素点与同尺度的DoG尺度图像中的8个相邻像素点和上、下相邻尺度的DoG尺度图像中的各9像素点的共计26个像素点进行比较，这样能确保在尺度空间和二维图像空间中均能检测到极值点；

2.2)对获取的特征点进行特征点描述得到特征点的梯度特征向量，将特征点的梯度特征向量进行二值化，获得二值化梯度特征向量，具体公式为：

其中，a为二值化阈值，f表示特征点的梯度特征向量，f＝[f₁,f₂,,f₁₂₈]，f_i表示梯度特征向量中的第i个梯度信息，b_i表示二值化后的第i个梯度信息；

2.3)通过上述步骤2.1)～2.2)获得每一幅图像的特征点并二值化描述处理，对相邻两帧图像间的特征点进行粗匹配，获取候选特征点：

对相邻两帧图像，采用特征点的二值化梯度特征向量间的欧式距离作为两帧图像中特征点相似性的判定度量，取两帧图像中特征点的二值化梯度特征向量间的欧式距离最近的一对特征点和欧式距离次近的一对特征点，在这两对特征点中，如果最近的欧式距离除以次近的欧式距离少于预设比例阈值，则判断欧式距离最近的一对特征点相似，作为匹配点对，舍去欧式距离次近的一对特征点；

2.4)重复上述步骤2.2)过程，直到得到两帧图像中满足条件的所有匹配点对。

通过上述改进SIFT特征匹配算法这样处理后能大大减少数据表征计算量，既能保证匹配点获得的准确性，又能缩短匹配计算中的时间。

所述步骤4)中，求解无人机运动参数的计算方式如下：

4.1)首先建立如下无人机运动参数公式：

然后构建残差平方和函数min{R,T}，用最小二乘法求解获得目标函数最小时的旋转矩阵R和平移向量T；：

min{R,T}＝||P_qj-(RP_pj+T)||²

式中，P_pj和P_qj分别为相邻两帧序列图像中匹配点对的两个特征点对应的三维坐标，由步骤3)得到的精确匹配的特征点和步骤1)获取的三维坐标信息结合得到；上角标p代表前一帧图像，上角标q代表后一帧图像，j为精确匹配的匹配点对的序数，x，y，z代表三维坐标；||||表示向量绝对值；

4.2)采用以下公式求解无人机位置的变化量和姿态角：

其中，θ、ψ对应横滚角、俯仰角、偏航角，r₁₁-r₃₃表示为旋转矩阵R中的各个元素，t为无人机空间位置的变化量。

所述的深度相机采用real senseD435深度相机。

本发明仅使用real senseD435深度相机进行信息采集，减少无人机位姿估计时所携带设备，同时深度相机能够直接获取空间点的三维坐标信息。

不同于传统的视觉里程计，现有的SIFT算法在特征点描述阶段消耗了大量的时间，存在实时性差的问题，本发明利用改进的SIFI特征匹配算法进行特征点匹配，将SIFT特征向量进行二值化，从而显著提高无人机位姿估计的效率和准确性。

本发明与现有技术相比，具有如下有点和有益效果:

1、本发明提出的方法，减少了无人机所携带的设备而且价格相对较低。

2、本发明采用real senseD435深度相机获取空间点的二维图像信息和三维坐标信息，避免了单目里程计需要多次变换坐标系并经过大量计算才能求解出空间点的三维坐标，提高了计算的速度与精度。

3、本发明提出将SIFT特征向量进行二值化，在实现提高保证检测精度的同时，解决了传统视觉里程计使用SIFT算法在特征点描述阶段消耗大量时间，进而导致实时性差的问题。

附图说明

图1是本发明方法的逻辑流程图。

具体实施方式

下面结合附图说明及具体实施方式对本发明作进一步说明。

如图1所示，本发明的具体实施例如下：

1)通过安装在无人机上的real senseD435深度相机对无人机前方视场环境进信息采集，获取无人机前方视场环境中的空间点的二维图像信息和三维坐标信息；

2)对步骤1)获取的二维图像信息，利用改进SIFT特征匹配算法，处理获得初步匹配的匹配点对：

2.1)进行特征点检测：由二维图像建立二维图像空间，接着由二维图像进行降采样处理后再和高斯核函数进行卷积处理获得不同图像尺寸的采样图像并构成高斯尺度空间，然后由高斯尺度空间中的每相邻两层采样图像作差得到不同的DoG尺度图像并构成了DoG尺度空间，在DoG尺度空间中检测极值点(Blob)作为特征点；且在针对DoG尺度空间中的每个像素点进行检测极值点时，每个像素点与同尺度的DoG尺度图像中的8个相邻像素点和上、下相邻尺度的DoG尺度图像中的各9像素点的共计26个像素点进行比较，这样能确保在尺度空间和二维图像空间中均能检测到极值点；

2.2)对获取的特征点进行特征点描述得到特征点的梯度特征向量，将特征点的梯度特征向量进行二值化，获得二值化梯度特征向量，具体公式为：

其中，a为二值化阈值，取f的中值，f表示特征点的梯度特征向量，f＝[f₁,f₂,,f₁₂₈]，f_i表示梯度特征向量中的第i个梯度信息，b_i表示二值化后的第i个梯度信息；

2.3)通过上述步骤2.1)～2.2)获得每一幅图像的特征点并二值化描述处理，对相邻两帧图像间的特征点进行粗匹配，获取候选特征点：

对相邻两帧图像，采用特征点的二值化梯度特征向量间的欧式距离作为两帧图像中特征点相似性的判定度量，取两帧图像中特征点的二值化梯度特征向量间的欧式距离最近的一对特征点和欧式距离次近的一对特征点，在这两对特征点中，如果最近的欧式距离除以次近的欧式距离少于预设比例阈值，则判断欧式距离最近的一对特征点相似，作为匹配点对，舍去欧式距离次近的一对特征点；

2.4)重复上述步骤2.2)过程，直到得到两帧图像中满足条件的所有匹配点对。

3)对步骤2)获取的初步匹配的特征点对，利用随机一致性算法(RANSAC)剔除候选特征点中的误匹配点，得到精确匹配的匹配点对；

4)利用精确匹配的匹配点对求解无人机运动参数，进而求得无人机位置的变化量和姿态角：

4.1)首先建立如下方程组：

然后构建残差平方和函数min{R,T}，求解获得目标函数最小时的旋转矩阵R和平移向量T；

min{R,T}＝||P_qj-(RP_pj+T)||²

式中，P_pj和P_qj分别为相邻两帧序列图像中匹配点对的两个特征点对应的三维坐标，由步骤3)得到的精确匹配的特征点和步骤1)获取的三维坐标信息结合得到；上角标p代表前一帧图像，上角标q代表后一帧图像，j为精确匹配的匹配点对的序数，x，y，z代表三维坐标；

4.2)采用以下公式求解无人机位置的变化量和姿态角：

其中，θ、ψ对应横滚角、俯仰角、偏航角，r₁₁-r₃₃表示为旋转矩阵R中的各个元素，例如r₁₁表示旋转矩阵R中的第1行第1列元素，t为无人机空间位置的变化量。

本实施例首先利用无人机采集的相邻的两帧序列图像，共进行三组特征提取与特征匹配的对比实验，得到原SIFI特征匹配算法所需的时间与改进后的算法匹配时间对比如表1所示。

表1

由表1所得，改进的SIFI算法在实现提高保证检测精度的同时，大大缩短了匹配所消耗的时间。解决了传统视觉里程计使用SIFT匹配算法消耗大量时间，进而导致实时性差的问题。

本实施例其次利用标准数据集The EuRoc Dataset，通过与复杂的视觉slam***，即LIBVISO2方法，对无人机位姿估计做定性对比的实验分析，结果如表2所示。

表2

表2中，利用本发明的估计方法和复杂的LIBVIOSO2估计方法分别在标准数据集The EuRoc Dataset下的MH_01_easy、MH_02_easy、MH_03_medium、MH_01_difficult四种数据进行无人机位姿估计。根据估计结果，计算出绝对估计误差—ATE(m)和相对位姿误差—RPE(m/s)。

由表2可见，本发明提出的方法在绝对估计误差和相对位姿误差同复杂的LIBVISO2方法接近，同时对比标准数据集提供的无人机实际位姿信息，显示本发明的估计方法估计的无人机位姿与实际位姿差别不大。

实验进一步表明，本实施例方法在提高无人机位姿估计准确性的同时，不同于复杂的LIBVISO2估计方法，始终保持低开销，实现轻量化。

由上述实施可见，本发明方法减少了无人机所携带的设备而且价格相对较低。同时，视觉信号稳定，稳定性强，不存在累积误差，能够提高无人机自主位姿估计的准确性和鲁棒性。

以上，仅为本发明较佳的具体实施方式；但本发明的保护范围并不局限于此。任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其改进构思加以等同替换或改变，都应涵盖在本发明的保护范围。

Claims (5)

1.一种基于轻量级视觉里程计的无人机位姿估计方法，其特征在于：包括以下步骤：

1)通过安装在无人机上的深度相机对无人机前方视场环境进信息采集，获取无人机前方视场环境中的空间点的二维图像信息和三维坐标信息；

2)对步骤1)获取的二维图像信息，利用改进SIFT特征匹配算法，处理获得初步匹配的匹配点对；

3)对步骤2)获取的初步匹配的特征点对，利用随机一致性算法(RANSAC)剔除候选特征点中的误匹配点，得到精确匹配的匹配点对；

4)利用精确匹配的匹配点对求解无人机运动参数，进而求得无人机位置的变化量和姿态角。

2.根据权利要求1所述的一种基于轻量级视觉里程计的无人机位姿估计方法，其特征在于：所述步骤2)具体为：首先进行特征点检测；其次对获取的特征点进行二值化的特征点描述；以二值化的特征点描述对相邻两幅图像间的特征点进行粗匹配，获取初步匹配的匹配点对。

3.根据权利要求1或2所述的一种基于轻量级视觉里程计的无人机位姿估计方法，其特征在于：所述步骤2)改进SIFT特征匹配算法具体包括以下步骤：

2.1)进行特征点检测：由二维图像建立二维图像空间，接着由二维图像进行降采样处理后再和高斯核函数进行卷积处理获得不同图像尺寸的采样图像并构成高斯尺度空间，然后由高斯尺度空间中的每相邻两层采样图像作差得到不同的DoG尺度图像并构成了DoG尺度空间，在DoG尺度空间中检测极值点(Blob)作为特征点；且在针对DoG尺度空间中的每个像素点进行检测极值点时，每个像素点与同尺度的DoG尺度图像中的8个相邻像素点和上、下相邻尺度的DoG尺度图像中的各9像素点的共计26个像素点进行比较；

2.2)对获取的特征点进行特征点描述得到特征点的梯度特征向量，将特征点的梯度特征向量进行二值化，获得二值化梯度特征向量，具体公式为：

其中，a为二值化阈值，f表示特征点的梯度特征向量，f＝[f₁,f₂,,f₁₂₈]，f_i表示梯度特征向量中的第i个梯度信息，b_i表示二值化后的第i个梯度信息；

2.3)通过上述步骤2.1)～2.2)获得每一幅图像的特征点并二值化描述处理，对相邻两帧图像间的特征点进行粗匹配，获取候选特征点：对相邻两帧图像，采用特征点的二值化梯度特征向量间的欧式距离作为两帧图像中特征点相似性的判定度量，取两帧图像中特征点的二值化梯度特征向量间的欧式距离最近的一对特征点和欧式距离次近的一对特征点，在这两对特征点中，如果最近的欧式距离除以次近的欧式距离少于预设比例阈值，则判断欧式距离最近的一对特征点相似，作为匹配点对，舍去欧式距离次近的一对特征点；

2.4)重复上述步骤2.2)过程，直到得到两帧图像中满足条件的所有匹配点对。

4.根据权利要求1所述的一种基于轻量级视觉里程计的无人机位姿估计方法，其特征在于：所述步骤4)中，求解无人机运动参数的计算方式如下：

4.1)首先建立如下无人机运动参数公式：

然后构建残差平方和函数min{R,T}，用最小二乘法求解获得目标函数最小时的旋转矩阵R和平移向量T；：

min{R,T}＝||P_qj-(RP_pj+T)||²

式中，P_pj和P_qj分别为相邻两帧序列图像中匹配点对的两个特征点对应的三维坐标，由步骤3)得到的精确匹配的特征点和步骤1)获取的三维坐标信息结合得到；上角标p代表前一帧图像，上角标q代表后一帧图像，j为精确匹配的匹配点对的序数，x，y，z代表三维坐标；||||表示向量绝对值；

4.2)采用以下公式求解无人机位置的变化量和姿态角：

其中，θ、ψ对应横滚角、俯仰角、偏航角，r₁₁-r₃₃表示为旋转矩阵R中的各个元素，t为无人机空间位置的变化量。

5.根据权利要求1所述的一种基于轻量级视觉里程计的无人机位姿估计方法，其特征在于：所述的深度相机采用real senseD435深度相机。