CN110689578A - 一种基于单目视觉的无人机障碍物识别方法 - Google Patents

Abstract

本发明公开了一种基于单目视觉的无人机障碍物识别方法，包括以下过程：获取单目相机采集到的无人机正前方图像，并将此图像转换成灰度图像；并从灰度图像中提取各特征点；获取单目相机采集到的另一幅无人机正前方图像，将此图像转换为灰度图像，并从灰度图像中提取各特征点；将两幅图像中的各特征点进行匹配，将相匹配的两特征点构成匹配点对；遍历每对匹配点对，判断无人机与特征点对应障碍物是否超出安全距离。本发明方法由于计算量低，计算速度也大大加快，实时性强，可以在无人机飞行速度较快时仍然有效，可以减少在遇到突发障碍物时所需的反应时间。

Description

一种基于单目视觉的无人机障碍物识别方法

技术领域

本发明属于无人机图像处理技术领域，具体涉及一种基于单目视觉的无人机障碍物识别方法。

背景技术

近年来随着无人机的发展，无人机自动巡航技术的应用范围越来越广泛。自动巡航的过程中要求无人机能够自动识别并躲避障碍物，传统的避障方法大多基于各类传感器，无人机必须搭载专用的模块，增加了成本和功耗，减少了巡航时间。近年来随着图像处理技术的发展，基于机器视觉的避障方法开始兴起；另一方面，现在的无人机大多会搭载摄像头，此类方法无需额外增加设备。目前常用的视觉避障方法分为单目视觉和双目视觉，双目视觉硬件成本高，同一时间处理数据量大，效率低；单目视觉的各类方法也各有各的缺陷，仍需进一步的改进和完善。

目前，常用的单目视觉障碍物识别方法多为提取前后两幅连续图像特征点并匹配，通过对比匹配点对的位置变化，以及前后两幅图像提取时间间隔内无人机的移动距离，根据三角形相似定理计算距离。常用的图像特征算法包括SIFT(尺度不变特征变换)算法、SURF(加速稳健特征)算法等，但以上两种算法计算用时较长，而无人机避障对实时性要求较高，因此并不适合。2011年，Ethan Rublee等人提出了ORB(Oriented FAST and RotationBRIEF)算法，较之SIFT算法和SURF算法，速度分别提高了100倍和10倍之多。但是ORB算法亦有缺点：不具备尺度不变性，而无人机在接近障碍物的过程中必然伴随着图像尺寸的变化，因此ORB算法若想应用于无人机避障，必须加以改进。

发明内容

本发明的目的在于克服现有技术中的不足，提出了一种基于单目视觉的无人机障碍物识别方法，解决了原ORB算法不具备尺度不变性的缺点，使其可以应用于无人机避障。

为解决上述技术问题，本发明提供了一种基于单目视觉的无人机障碍物识别方法，其特征是，包括以下过程：

获取单目相机采集到的无人机正前方图像，并将此图像转换成灰度图像；并从灰度图像中提取各特征点；

获取单目相机采集到的另一幅无人机正前方图像，将此图像转换为灰度图像，并从灰度图像中提取各特征点；

将两幅图像中的各特征点进行匹配，将相匹配的两特征点构成匹配点对；

遍历每对匹配点对，判断无人机与特征点对应障碍物是否超出安全距离。

进一步的，图像转换成灰度图像后，先对灰度图像进行高斯滤波。

进一步的，所述对灰度图像进行高斯滤波包括：

采用盒子滤波器对灰度图像进行高斯滤波。

进一步的，所述从灰度图像中提取各特征点包括以下过程：

获取灰度图像在不同尺度下的响应图用以构建尺度空间金字塔，

通过尺度空间金字塔中各响应图中点的响应值的对比，提取特征点。

进一步的，获取灰度图像在不同尺度下的响应图用以构建尺度空间金字塔包括：

用若干不同尺寸的盒子滤波器对灰度图像进行滤波，滤波后产生的响应图构成一组，若干组响应图构成尺度空间金字塔。

进一步的，通过尺度空间金字塔中各响应图中点的响应值的对比提取特征点包括：

尺度空间金字塔采用3组，每组4层；在每一组中选取相邻的三层响应图像，即第一组的第一二三层和第二三四层、第二组的第一二三层和第二三四层、第三组的第一二三层和第二三四层，对于中间一层的每一个点，在空间中选取该点周围的26个点与之比较响应值大小，若该点响应值大于其他26个点，则该点为特征点。

进一步的，将两幅图像中的各特征点进行匹配，将相匹配的两特征点构成匹配点对包括：

获取各特征点的BRIEF描述子；

计算各特征点BRIEF描述子的Hamming相似性；

取Hamming相似性最高的特征点作为匹配点，这两个特征点构成匹配点对。

进一步的，获取各特征点的BRIEF描述子包括：

在某特征点邻域范围内随机选取N对点对{(X_i,Y_i)，1<i≤N}，定义一个2×n的矩阵

用该特征点方向θ，生成旋转矩阵

矩阵S顺时针旋转θ角度后的S_θ＝R_θS，

对S_θ进行τ测试，生成n位二进制编码作为特征点的BRIEF描述子。

进一步的，匹配完成后，统计匹配点对欧式距离的最大值和最小值，根据最大值和最小值设置阈值，剔除欧氏距离大于阈值的匹配点对；再由RANSAC(随机抽样一致)算法对匹配对进行优化，剔除误匹配。

进一步的，判断无人机与特征点对应障碍物是否超出安全距离包括：

遍历每对匹配点对KP(i，inedx(j))，KP(i+1，index(j))，分别表示P_i和P_i+1两幅图像的第j对匹配点对，inedx(j)表示在图像中特征点的序号；Pi中以KP(i，inedx(j))为中心的k×k邻域范围的局部图像作为模板tmp1，然后以scale为比例扩大tmp1的尺度；P_i+1中以KP(i+1，inedx(j))为中心的k×k邻域范围的局部图像作为模板tmp2，用模板匹配算法对tmp1、tmp2进行匹配获得相似度TMscale，TMscale值越小则tmp1、tmp2越相似；逐渐增大scale，重复上述匹配步骤，获得TMscale最小时的scale值，记为scalemin，该值可视为前后两图像中该匹配点对代表障碍物的尺寸比(即multiple)；若scalemin大于阈值，则表示该特征点对应的物体距离单目相机小于d。

与现有技术相比，本发明所达到的有益效果是：本发明在计算量上低于SIFT算法和SURF算法，可以集成于飞控芯片性能较高的飞控***中，而无需将图像传到地面站处理之后再将控制信息发回飞控，或者额外安装计算设备；同时由于计算量低，计算速度也大大加快，实时性强，可以在无人机飞行速度较快时仍然有效，可以减少在遇到突发障碍物时所需的反应时间。

附图说明

图1为本发明一种基于单目视觉的无人机障碍物识别方法的流程图；

图2为本发明用于实现近似高斯滤波的盒子滤波器模板(9×9)；

图3为本发明用于实现近似高斯滤波的盒子滤波器模板(15×15)；

图4为本发明相机移动过程中障碍物的针孔成像示意图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

本发明一种基于单目视觉的无人机障碍物识别方法，参见图1所示，包括以下过程：

步骤1)：无人机通过固定于机体正前方的单目相机(单目相机光线入路与无人机前进方向一致)采集无人机正前方图像，选取采集到的第i幅图像，并对此图像进行灰度化处理，转换成灰度图P_i，P_i表示第i幅灰度图。

步骤2)：对步骤1)获取的灰度图像P_i进行高斯滤波，目的是减少噪声，并将结果通过步骤3)的处理使获取的特征点具备尺度不变性。

高斯滤波的具体方法为：计算步骤1)获取的灰度图像P_i中每一个像素点的Hessian矩阵行列式值。为简化计算提高计算速度，本发明中采用SURF算法使用的盒子滤波器来近似实现高斯滤波，滤波计算后结果作为该像素点的响应值用于下一步计算。

Hessian矩阵行列式值的近似计算公式为det(H)＝D_xxD_yy-(0.9D_xy)²。其中0.9为根据实验所得的经验值。图2三个网格图依次表示D_xx、D_yy和D_xy对应的盒子滤波器(具体为9×9矩阵)，各网格的颜色表示盒子滤波器表示的矩阵中该位置处的权值，D_xx和D_yy对应的盒子滤波器表示的矩阵中，白色部分为1，黑色部分为-2，灰色为0；D_xy对应的盒子滤波器表示的矩阵中，白色部分为1，黑色部分为-1，灰色为0。近似公式中的D_xx、D_yy和D_xy表示相对应的盒子滤波器与灰度图像P_i该像素点进行卷积后的结果。灰度图像P_i全部计算完成后产生的图像即为响应图。

步骤3)：构建尺度空间并提取特征点。

无人机在接近障碍物的过程中，障碍物在单目相机中的成像尺寸会发生改变，也就是尺度会改变。而想要在不同尺度仍能提取到同一障碍物的特征点并匹配，必须建立图像的尺度空间金字塔。本发明采用不断增大盒子滤波器尺寸的间接方法，求取图像在不同尺度下的响应图，用以构建尺度空间金字塔，通过不同尺度下响应图像的对比，提取特征点。

构建尺度空间金字塔的具体方法为：用若干不同尺寸的盒子滤波器对Pi进行滤波后产生的响应图构成一组，若干组响应图构成尺度空间金字塔。

本发明的尺度空间金字塔采用3组，每组4层。第一组四层图像的盒子滤波器尺寸分别为：9×9，15×15，21×21，27×27。15×15的盒子滤波器黑色、白色区域的长度增加2个像素，以保证一个中心像素的存在，15×15的盒子滤波器可参考图3，其他尺寸的盒子滤波器可参考图2、3的变化规律获得。采用类似的方法来处理其他几组的盒子滤波器尺寸，其方法是将滤波器尺寸增加量翻倍(6，12，24，36)。第二组的滤波器尺寸为15×15，27×27，39×39，51×51。第三组的滤波器尺寸为27×27，51×51，75×75，99×99。(注：各像素点响应值的计算可通过积分图像转化为时间复杂度O(1)的有限次加减运算，盒子滤波器尺寸的增加不会导致计算量增加。有关积分图像请自行查阅本发明不做赘述)。

在每一组中选取相邻的三层响应图像，即第一组的第一二三层和第二三四层、第二组的第一二三层和第二三四层、第三组的第一二三层和第二三四层，对于中间一层(第二和三层，第一和四层仅有一层与之相邻可与之比较因此弃之不用)的每一个点，在空间中选取该点周围的26个点(即同一层中周围8个点，邻近两层中与之位置相同的点和相邻8个点，总计26个)与之比较响应值大小，若该点响应值大于其他26个点，则该点为特征点，即Pi中具有鲜明特性的点，该点往往为单目相机中物体成像的轮廓边缘、角点等特征明显的点。

步骤4)：计算特征点的方向。

首先计算步骤3)选出的各个特征点的矩：m_pq＝∑_x,y∈Bx^py^qI(x,y)，p,q＝{0,1}，其中B为以特征点为中心半径r范围内的图像区域，半径r具体取值需根据图像大小、计算速度的要求来设定，x,y为区域B范围内特征点的纵横坐标，I(x,y)为该点处图像灰度。然后通过矩找到图像质心：特征点到质心的向量方向即为该特征点的方向θ＝arctan(m₀₁/m₁₀)。

步骤5)：采用BRIEF方法计算各个特征点的BRIEF描述子。

BRIEF(Binary Robust Independent Elementary Features)方法通过从特征点邻域内随机选择2×n个像素点，两两比较灰度值，根据比较结果生成一个长度为n的二进制字符串，即为该特征点的BRIEF描述子。

定义在以特征点为中心的s×s邻域(s×s的图像范围内，邻域的范围大小根据图像大小与BRIEF描述子长度设置)P内的τ测试(即比较灰度值产生结果的方法)，并将点对依次两两进行τ测试生成BRIEF描述子：

式中，I(X)为邻域P内点X处的像素灰度值，I(Y)为点Y处灰度值。在以特征点为中心的s×s邻域P随机选取n个点对进行τ测试，生成长度为n的二进制字符串，即为该特征点的BRIEF描述子。

为了具有旋转不变性，需对BRIEF方法进行一些改进：在某特征点邻域范围内随机选取N对点对{(X_i,Y_i)，1<i≤N}，定义一个2×n的矩阵 用步骤4计算所得该特征点方向θ，生成旋转矩阵

矩阵S顺时针旋转θ角度后的S_θ＝R_θS，这样无论原图像进行了怎样的旋转，在根据特征点方向进行旋转处理后都能保持不变(例如：原图像中某特征点方向为45°，则S_θ1为S顺时针旋转45°；原图像逆时针旋转30°，则特征点方向应为75°(45+30)，则S_θ2为S顺时针旋转75°，两个矩阵旋转后方向相同)对S_θ进行τ测试，生成具备旋转不变性的n位二进制编码作为特征点的BRIEF描述子，n一般设置为64、128、256。

步骤6)：再次获取单目相机采集到的第i+1幅图像，并转换成灰度图P_i+1，对P_i+1重复上述步骤2)至步骤5)，获得灰度图P_i+1中各特征点以及各特征点BRIEF描述子，进入步骤7)。

步骤7)：特征点匹配，即找出同一物体在两幅图像中的特征点。

将步骤3)所获得的P_i中所有特征点作为待匹配特征点队列1，步骤6)所获得的P_i+1中所有特征点作为待匹配特征点队列2。从待匹配特征点队列1取一特征点，将待匹配特征点队列2中各个特征点分别与该特征点对比，对比方法为：

将该特征点BRIEF描述子与待匹配特征点队列2中所有特征点的BRIEF描述子分别按位比较，计算该特征点BRIEF描述子与待匹配特征点队列2中各个特征点BRIEF描述子的Hamming相似性(按位遍历两个特征点的BRIEF描述子，若相同位上两个特征点BRIEF描述子字符相等则计数，遍历完后统计相同位数占总位数的百分比即Hamming相似性)，取待匹配特征点队列2中与该特征点Hamming相似性最高的特征点作为该特征点的匹配点，这两个特征点构成匹配点对，若该匹配点对的Hamming相似性高于阈值(根据图像大小、特征点数目等条件自行设置，目的是减少误匹配，减少下一步骤的计算量)，则匹配成功，否则匹配失败，该特征点无与之匹配的特征点，无论失败还是成功都将两个特征点分别从匹配特征点队列1和2中剔除，然后待匹配特征点队列1再取一特征点，重复上述步骤，直至待匹配特征点队列1和2有一个为空停止。

匹配完成后，统计匹配点对欧式距离的最大值和最小值，根据最大值和最小值设置阈值，剔除欧氏距离大于阈值的匹配点对(欧式距离大于阈值，即两者相距过远，可认为是误匹配)；再由RANSAC(随机抽样一致)算法(可直接调用openCV的相关方法实现)对匹配对进行优化，剔除误匹配。

步骤8)：判断单目相机与特征点对应障碍物是否超出安全距离。

在摄像机针孔成像模型下，P_i和P_i+1两帧图像中成像关系如图3所示，其中f表示相机焦距，l₁，l₂分别表示第一幅和第二幅图像中障碍物成像尺寸，d₁，d₂分别表示P_i，P_i+1中单目相机与障碍物的距离，L表示障碍物实际尺寸。

由三角形相似定理，可得推得

令前后两幅图像中障碍物成像的尺寸比为multiple，则

设两幅图像摄取时间间隔为t，期间无人机飞行速度v，则d₁-d₂＝v×t，带入上式可推得

假设需要检测出距离无人机d(单位m)以内的障碍物，即筛选出距离无人机d(单位m)以内的特征点(特征点往往为物体的轮廓边缘、角点等，因此筛选出符合条件的匹配点对，即可大致获取障碍物的轮廓)，则前后两幅图像障碍物在成像中的尺寸比multiple需满足：

根据不等式，假设无人机速度v最小为1m/s，t最小为1s，最小避障距离d为5m，则multiple≥1.2，即：前后两帧图像某匹配点对尺寸比大于等于1.2时，表示该障碍物与无人机距离小于等于5m。

具体判断过程如下：遍历每对匹配点对KP(i，inedx(j))，KP(i+1，index(j))，分别表示P_i和P_i+1两幅图像的第j对匹配点对，inedx(j)表示在图像中特征点的序号；以KP(i，inedx(j))为中心创建模板tmp1，即P_i中以KP(i，inedx(j))为中心的k×k邻域范围的局部图像，k的大小请根据图像大小与特征点的数目设定，建议设置为10的整倍数(非奇数也可以，大致处于中心即可)，然后以scale(初始为1.1)为比例扩大tmp1的尺度(可直接用openCV中相关方法实现)；以KP(i+1，inedx(j))为中心创建模板tmp2(方法同上)，用模板匹配算法对tmp1、tmp2进行匹配获得相似度TMscale(可直接调用openCV的相关方法实现)，TMscale值越小则tmp1、tmp2越相似；逐渐增大scale(每次增加0.1，到1.5为止)，重复上述匹配步骤，获得TMscale最小时的scale值，记为scalemin，该值可视为前后两图像中该匹配点对代表障碍物的尺寸比(即multiple)。若scalemin大于阈值(本例为1.2)，则表示该特征点对应的物体距离单目相机小于d(单位m，本例为5m)。

若无人机飞行速度较慢，用于计算的芯片性能较高导致两帧图像的摄取间隔较短，或者设置的安全距离较长，multiple数值过低，则可采取以下改进：获取一副图像P_k并提取特征点，然后连续获取P_k+1，...，P_k+m图像的特征点；将P_k和P_k+m的特征点进行匹配。要检测出距离无人机dm以内的障碍物，需满足其中m根据v、t、d的大小设置，例如速度v为1m/s，前后两幅摄取间隔t为0.5s，安全距离d为10m，则m可设置为4，最终将P_k和P_k+4作为输入，通过步骤7、步骤8，当scalemin大于1.2时，特征点对应障碍物距离在10m范围内；然后获取P_k+m+1图像特征点，与P_k+1的特征点进行匹配，再通过步骤7、8，当scalemin大于1.2时，特征点对应障碍物距离在10m范围内，之后以此类推。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。

Claims (10)

1.一种基于单目视觉的无人机障碍物识别方法，其特征是，包括以下过程：

获取单目相机采集到的无人机正前方图像，并将此图像转换成灰度图像；并从灰度图像中提取各特征点；

获取单目相机采集到的另一幅无人机正前方图像，将此图像转换为灰度图像，并从灰度图像中提取各特征点；

将两幅图像中的各特征点进行匹配，将相匹配的两特征点构成匹配点对；

遍历每对匹配点对，判断无人机与特征点对应障碍物是否超出安全距离。

2.根据权利要求1所述的一种基于单目视觉的无人机障碍物识别方法，其特征是，图像转换成灰度图像后，先对灰度图像进行高斯滤波。

3.根据权利要求2所述的一种基于单目视觉的无人机障碍物识别方法，其特征是，所述对灰度图像进行高斯滤波包括：

采用盒子滤波器对灰度图像进行高斯滤波。

4.根据权利要求1所述的一种基于单目视觉的无人机障碍物识别方法，其特征是，所述从灰度图像中提取各特征点包括以下过程：

获取灰度图像在不同尺度下的响应图用以构建尺度空间金字塔，

通过尺度空间金字塔中各响应图中点的响应值的对比，提取特征点。

5.根据权利要求4所述的一种基于单目视觉的无人机障碍物识别方法，其特征是，获取灰度图像在不同尺度下的响应图用以构建尺度空间金字塔包括：

用若干不同尺寸的盒子滤波器对灰度图像进行滤波，滤波后产生的响应图构成一组，若干组响应图构成尺度空间金字塔。

6.根据权利要求4所述的一种基于单目视觉的无人机障碍物识别方法，其特征是，通过尺度空间金字塔中各响应图中点的响应值的对比提取特征点包括：

尺度空间金字塔采用3组，每组4层；在每一组中选取相邻的三层响应图像，即第一组的第一二三层和第二三四层、第二组的第一二三层和第二三四层、第三组的第一二三层和第二三四层，对于中间一层的每一个点，在空间中选取该点周围的26个点与之比较响应值大小，若该点响应值大于其他26个点，则该点为特征点。

7.根据权利要求1所述的一种基于单目视觉的无人机障碍物识别方法，其特征是，将两幅图像中的各特征点进行匹配，将相匹配的两特征点构成匹配点对包括：

获取各特征点的BRIEF描述子；

计算各特征点BRIEF描述子的Hamming相似性；

取Hamming相似性最高的特征点作为匹配点，这两个特征点构成匹配点对。

8.根据权利要求7所述的一种基于单目视觉的无人机障碍物识别方法，其特征是，获取各特征点的BRIEF描述子包括：

在某特征点邻域范围内随机选取N对点对{(X_i,Y_i)，1<i≤N}，定义一个2×n的矩阵

用该特征点方向θ，生成旋转矩阵

矩阵S顺时针旋转θ角度后的S_θ＝R_θS，

对S_θ进行τ测试，生成n位二进制编码作为特征点的BRIEF描述子。

9.根据权利要求7所述的一种基于单目视觉的无人机障碍物识别方法，其特征是，匹配完成后，统计匹配点对欧式距离的最大值和最小值，根据最大值和最小值设置阈值，剔除欧氏距离大于阈值的匹配点对；再由RANSAC(随机抽样一致)算法对匹配对进行优化，剔除误匹配。

10.根据权利要求1所述的一种基于单目视觉的无人机障碍物识别方法，其特征是，判断无人机与特征点对应障碍物是否超出安全距离包括：

遍历每对匹配点对KP(i,inedx(j))，KP(i+1,index(j))，分别表示P_i和P_i+1两幅图像的第j对匹配点对，inedx(j)表示在图像中特征点的序号；P_i中以KP(i,inedx(j))为中心的k×k邻域范围的局部图像作为模板tmp1，然后以scale为比例扩大tmp1的尺度；P_i+1中以KP(i+1,inedx(j))为中心的k×k邻域范围的局部图像作为模板tmp2，用模板匹配算法对tmp1、tmp2进行匹配获得相似度TMscale，TMscale值越小则tmp1、tmp2越相似；逐渐增大scale，重复上述匹配步骤，获得TMscale最小时的scale值，记为scalemin，该值可视为前后两图像中该匹配点对代表障碍物的尺寸比；若scalemin大于阈值，则表示该特征点对应的物体距离单目相机小于d。

Images