CN109407699A - 一种无人机室内自主飞行定位方法 - Google Patents

Abstract

本发明公开了一种无人机室内自主飞行定位方法，包括以下步骤：1)读取单目摄像头拍到的周围场景的图片集合，并对每张图片进行感兴趣区域提取；2)对提取到的感兴趣区域采用SURF算法进行特征点提取与匹配；3)采用RANSAC算法剔除误匹配点对；4)根据步骤3)获得的正确的匹配特征点对，采用对极几何的方法求解出摄像机的本质矩阵E，得到两帧图片之间同一物体的位置和姿态的变化，进而反推出无人机在三维空间中的运动，并估算出无人机在室内位置。本发明解决了现有无人机采用单目视觉里程计在特征点提取过程中存在误匹配点过多，匹配精度低，运算量大，处理时间长的技术问题；并且能使无人机在无GPS/北斗信号环境下行自主飞行和自主避障。

Description

一种无人机室内自主飞行定位方法

技术领域

本发明涉及无人机控制技术领域，特别涉及一种无人机室内自主飞行定位方法。

背景技术

随着经济与人口的快速发展，我国用电量持续增加，关系到电网安全运行的电缆隧道维护越来越受到重视，使得电缆隧道的维护成为一项最重要工作。目前电缆隧道的维护靠人力进行巡检，但人力巡检存在费时费力，效率低下的问题。因此采用体积小，机动性能好的无人机代替人力巡检成为一个研究热点。采用无人机巡检电缆隧道，如何实现无人机在隧道中自主飞行的定位是关键，目前在隧道里无人机定位方面存在以下几个问题：

1)市场上现有单目视觉里程计在特征点提取过程中存在误匹配点过多，匹配精度低，运算量大，处理时间长的问题。

2)市场上现有多旋翼无人机在无GPS/北斗信号的情况下无法实现自主定位。

发明内容

有鉴于此，本发明的目的是针对现有无人机在隧道中自主飞行中定位方面存在的问题，提供一种无人机室内自主飞行定位方法，以解决现有无人机采用单目视觉里程计在特征点提取过程中存在误匹配点过多，匹配精度低，运算量大，处理时间长的技术问题；以及解决现有无人机在无GPS/北斗信号的情况下无法实现自主定位的技术问题。

本发明无人机室内自主飞行定位方法，包括以下步骤：

1)读取单目摄像头拍到的周围场景的图片集合，并对每张图片进行感兴趣区域提取；

2)对提取到的感兴趣区域采用SURF算法进行特征点提取与匹配；

3)采用RANSAC算法对步骤2)得到的匹配特征点对进行处理，剔除由于外部环境影响造成的误匹配点对；

4)根据步骤3)获得的正确的匹配特征点对，采用对极几何的方法求解出摄像机的包含旋转矩阵与平移向量的本质矩阵E，得到两帧图片之间同一物体的位置和姿态的变化，进而反推出无人机在三维空间中的运动，并估算出无人机在室内位置。

进一步，在步骤2)中，对提取到的感兴趣区域采用SURF算法进行特征点提取与匹配，其包括如下步骤：

a)构建任一幅感兴趣区域图像f(x,y)中各像素点(x,y)的Hessian矩阵：

b)初步确定一幅图像的特征点：

用滤波器检测图像自身、以及其上下相邻两个尺度层图像的像素点，所述滤波器的大小与被处理图像的解析度大小相应；将被处理图像中经过hessian矩阵处理过的每一个像素点与其它被滤波器检测出的像素点进行大小比較，若该像素点是被检测出的所有像素点中的最大值，则该像素点保留下来，并将其当做初步的特征点；

c)精确定位极值点：

对一幅图像中初步确定出的特征点采用3维线性插值法得到亚像素级的特征点，通过添加极值的方式筛选特征点，使被检测到的特征点数量降低，最终将特征最强的几个点筛选出来；

d)选取特征点的主方向：

在surf中统计步骤c)筛选出的特征点的领域内的harr小波特征，以特征点为圆心，在特征点的领域内，统计60度扇形内全部点的水平haar小波特征和垂直haar小波特征的总和，这样一个扇形得到了一个值；然后60度扇形以一定间隔进行旋转，最后将最大值那个扇形的方向作为该特征点的主方向；

e)对前后连续的两帧图像的特征点进行匹配：

在surf中，在特征点周围取一个正方形框，正方形框的边长为20s，s是该特征点所在的尺度，正方形框的方向为该特征点的主方向，然后把该正方形框分为16个子区域；每一个子区域统计25个像素的水平方向和垂直方向的haar小波特征，这里的水平方向是与该特征点主方向平行的方向，垂直方向是与该特征点主方向垂直的方向的；该haar小波特征分别为水平方向值之和、水平方向绝对值之和、垂直方向之和、以及垂直方向绝对值之和，由这4个haar小波特征值组成该特征点的描述子；

在得到前后两帧图像的特征点的描述子后，以欧氏距离作为基准，欧氏距离是指特征点描述子之间的距离，SURF算法再从已经设定好的参考图像中依次选取每个特征点，计算其与待匹配图像中特征点的欧氏距离，根据所得到的计算结果不断的更新最小的欧式距离，更新的依据是最小的欧式距离与次小距离的比值在某一指定的阈值范围之内，当参考图像里所有特征点都遍历之后即得到正确的匹配特征点对。

本发明的有益效果：

本发明无人机室内自主飞行定位方法，其采用surf算法进行特征点匹配和RANSAC算法剔除误匹配点，解决了现有无人机采用单目视觉里程计在特征点提取过程中存在误匹配点过多，匹配精度低，运算量大，处理时间长的技术问题；并且其能使无人机在无GPS/北斗信号环境下，如在电缆隧道、公路隧道、城市主下水道等环境中，进行自主飞行和自主避障，进而使无人机能够有效替代巡检工人对电缆隧道、公路隧道、城市主下水道进行巡检工作。

附图说明

图1是带机载计算机的多旋翼无人机的结构示意图，图中1-旋翼机主体，2-摄像机。

具体实施方式

下面结合附图和实施例对本发明作进一步描述。

本实施例无人机室内自主飞行定位方法，包括以下步骤：

1)读取单目摄像头拍到的周围场景的图片集合，并对每张图片进行感兴趣区域提取；

2)对提取到的感兴趣区域采用SURF算法进行特征点提取与匹配；

3)采用RANSAC算法对步骤2)得到的匹配特征点对进行处理，剔除由于外部环境影响造成的误匹配点对；

4)根据步骤3)获得的正确的匹配特征点对，采用对极几何的方法求解出摄像机的包含旋转矩阵与平移向量的本质矩阵E，得到两帧图片之间同一物体的位置和姿态的变化，进而反推出无人机在三维空间中的运动，并估算出无人机在室内位置。

本实施例在步骤2)中，对提取到的感兴趣区域采用SURF算法进行特征点提取与匹配，其包括如下步骤：

a)构建任一幅感兴趣区域图像f(x,y)中各像素点(x,y)的Hessian矩阵：

b)初步确定一幅图像的特征点：

用滤波器检测图像自身、以及其上下相邻两个尺度层图像的像素点，所述滤波器的大小与被处理图像的解析度大小相应；将被处理图像中经过hessian矩阵处理过的每一个像素点与其它被滤波器检测出的像素点进行大小比較，若该像素点是被检测出的所有像素点中的最大值，则该像素点保留下来，并将其当做初步的特征点。本实施例中以3×3的滤波器为例，该尺度层图像中9个像素点之中的一个检测特征点与自身尺度层中其余8个点和在其之上及之下的两个尺度层9个点进行比較，即一个点与其余26个点进行比较，如果某一个像素点的特征值若大于周围像素则可确定该点为该区域的特征点。

c)精确定位极值点：

对一幅图像中初步确定出的特征点采用3维线性插值法得到亚像素级的特征点，通过添加极值的方式筛选特征点，使被检测到的特征点数量降低，最终将特征最强的几个点筛选出来。通过检测到的特征最强极值点提供高精度的极值点定位，降低误差，同时提高计算效率。

d)选取特征点的主方向：

在surf中统计步骤c)筛选出的特征点的领域内的harr小波特征，以特征点为圆心，在特征点的领域内，统计60度扇形内全部点的水平haar小波特征和垂直haar小波特征的总和，这样一个扇形得到了一个值；然后60度扇形以一定间隔进行旋转，最后将最大值那个扇形的方向作为该特征点的主方向。

e)对前后连续的两帧图像的特征点进行匹配：

在surf中，在特征点周围取一个正方形框，正方形框的边长为20s，s是该特征点所在的尺度，正方形框的方向为该特征点的主方向，然后把该正方形框分为16个子区域；每一个子区域统计25个像素的水平方向和垂直方向的haar小波特征，这里的水平方向是与该特征点主方向平行的方向，垂直方向是与该特征点主方向垂直的方向的；该haar小波特征分别为水平方向值之和、水平方向绝对值之和、垂直方向之和、以及垂直方向绝对值之和，由这4个haar小波特征值组成该特征点的描述子。

当无人机在三维空间中运动时，周围环境中同一物体在不同图像中的位置会发生变化，通过特诊点匹配的方法可以在不同图像中对同一物体的特征点进行匹配。在得到前后两帧图像的特征点的描述子后，以欧氏距离作为基准，欧氏距离是指特征点描述子之间的距离，SURF算法再从已经设定好的参考图像中依次选取每个特征点，计算其与待匹配图像中特征点的欧氏距离，根据所得到的计算结果不断的更新最小的欧式距离，更新的依据是最小的欧式距离与次小距离的比值在某一指定的阈值范围之内，当参考图像里所有特征点都遍历之后即得到正确的匹配特征点对。

本实施例无人机室内自主飞行定位方法，其采用surf算法进行特征点匹配和RANSAC算法剔除误匹配点，解决了现有无人机采用单目视觉里程计在特征点提取过程中存在误匹配点过多，匹配精度低，运算量大，处理时间长的技术问题；并且其能使无人机在无GPS/北斗信号环境下，如在电缆隧道、公路隧道、城市主下水道等环境中，进行自主飞行和自主避障，进而使无人机能够有效替代巡检工人对电缆隧道、公路隧道、城市主下水道进行巡检工作。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (2)

1.一种无人机室内自主飞行定位方法，其特征在于：包括以下步骤：

1)读取单目摄像头拍到的周围场景的图片集合，并对每张图片进行感兴趣区域提取；

2)对提取到的感兴趣区域采用SURF算法进行特征点提取与匹配；

3)采用RANSAC算法对步骤2)得到的匹配特征点对进行处理，剔除由于外部环境影响造成的误匹配点对；

4)根据步骤3)获得的正确的匹配特征点对，采用对极几何的方法求解出摄像机的包含旋转矩阵与平移向量的本质矩阵E，得到两帧图片之间同一物体的位置和姿态的变化，进而反推出无人机在三维空间中的运动，并估算出无人机在室内位置。

2.根据权利要求1所述的无人机室内自主飞行定位方法，其特征在于：

在步骤2)中，对提取到的感兴趣区域采用SURF算法进行特征点提取与匹配，其包括如下步骤：

a)构建任一幅感兴趣区域图像f(x,y)中各像素点(x,y)的Hessian矩阵：

b)初步确定一幅图像的特征点：

用滤波器检测图像自身、以及其上下相邻两个尺度层图像的像素点，所述滤波器的大小与被处理图像的解析度大小相应；将被处理图像中经过hessian矩阵处理过的每一个像素点与其它被滤波器检测出的像素点进行大小比較，若该像素点是被检测出的所有像素点中的最大值，则该像素点保留下来，并将其当做初步的特征点；

c)精确定位极值点：

对一幅图像中初步确定出的特征点采用3维线性插值法得到亚像素级的特征点，通过添加极值的方式筛选特征点，使被检测到的特征点数量降低，最终将特征最强的几个点筛选出来；

d)选取特征点的主方向：

在surf中统计步骤c)筛选出的特征点的领域内的harr小波特征，以特征点为圆心，在特征点的领域内，统计60度扇形内全部点的水平haar小波特征和垂直haar小波特征的总和，这样一个扇形得到了一个值；然后60度扇形以一定间隔进行旋转，最后将最大值那个扇形的方向作为该特征点的主方向；

e)对前后连续的两帧图像的特征点进行匹配：

在surf中，在特征点周围取一个正方形框，正方形框的边长为20s，s是该特征点所在的尺度，正方形框的方向为该特征点的主方向，然后把该正方形框分为16个子区域；每一个子区域统计25个像素的水平方向和垂直方向的haar小波特征，这里的水平方向是与该特征点主方向平行的方向，垂直方向是与该特征点主方向垂直的方向的；该haar小波特征分别为水平方向值之和、水平方向绝对值之和、垂直方向之和、以及垂直方向绝对值之和，由这4个haar小波特征值组成该特征点的描述子；

在得到前后两帧图像的特征点的描述子后，以欧氏距离作为基准，欧氏距离是指特征点描述子之间的距离，SURF算法再从已经设定好的参考图像中依次选取每个特征点，计算其与待匹配图像中特征点的欧氏距离，根据所得到的计算结果不断的更新最小的欧式距离，更新的依据是最小的欧式距离与次小距离的比值在某一指定的阈值范围之内，当参考图像里所有特征点都遍历之后即得到正确的匹配特征点对。