CN106204443A - 一种基于多目复用的全景无人机*** - Google Patents

Abstract

本发明公开了一种基于多目复用的全景无人机***，全景无人机***通过视觉单元可使无人机在飞行时无死角的获取全景拼接图像，以让遥控操作用户的直观的掌控飞行状况；通过测距单元可测量目标物体距离无人机的距离；利用重建单元可对地表物体或地形进行重建；采用悬停单元可控制无人机悬停于空中以便拍摄全景图像测距等操作；采用避障单元可对在无人机飞行过程避开障碍，利用控制单元修正飞行路线以保证无人机飞行的安全性。

Description

一种基于多目复用的全景无人机***

技术领域

本发明涉及无人机领域，尤其涉及一种基于多目复用的全景无人机***。

背景技术

随着科学技术的提高以及越来越大的市场需求，无人机越来越受到用户的偏爱，其应用的领域主要有：国家生态环境保护、矿产资源勘探、海洋环境检测、土地利用调查、水资源开发、农作物长势检测与估产、农业作业、自然灾害检测与评估、城市规划与市政管理、森林病虫害防护与检测、公共安全、国防事业、数字地球以及广告摄影等。然而，现有的无人机具有的功能较少，由于其体积及重力及现有技术的限制无法兼具多种功能，如视觉受限无法在小范围的空间自动飞行，需要用户手动遥控，以防无人机撞壁破损。

发明内容

针对现有的无人机存在的上述问题，现提供一种旨在实现集测距、重建、悬停及避障为一体的基于多目复用的全景无人机***。

具体技术方案如下：

一种基于多目复用的全景无人机***，应用于无人机中，包括：

一视觉单元，包括复数个相机，复数个所述相机设置于所述无人机上，用于摄取以所述无人机为视觉中心360度视角的全景拼接图像，位置相邻的两个所述相机的部分视角重叠；

一测距单元，连接所述视觉单元，采用双目立体视觉测量法获取所述无人机距离目标物体的距离；

一重建单元，连接所述视觉单元，用以对所述全景拼接图像进行预处理，获取三维点云数据以根据所述三维点云数据进行地形重建；

一悬停单元，提供一三维空间坐标，所述悬停单元用以控制所述无人机悬停于与所述三维空间坐标匹配的空间位置；

一避障单元，提供一飞行路线及安全阈值，用以定时检测在所述飞行路线上距离所述无人机的障碍物是否达到所述安全阈值，当达到所述安全阈值时生成障碍信息，并输出；

一控制单元，分别连接所述视觉单元、所述测距单元、所述重建单元、所述悬停单元和所述避障单元，根据所述避障信息修正所述飞行路线，并生成所述三维空间坐标，控制所述悬停单元根据所述三维空间坐标执行悬停操作。

优选的，所述视觉单元包括：

一标定模块，用以分别对复数个所述相机进行标定，以获取每个所述相机的内部参数和外部参数，以获取每个所述相机获取的图像在世界坐标系中的坐标与图像坐标系中的坐标的映射关系；

一处理模块，连接所述标定模块，分别对每幅所述图像进行去噪处理，并将所有的所述图像投影到统一的坐标系下，采用图像插值对所述图像进行处理，对进处理后的图像进行匹配拼接以获取所述全景拼接图像。

优选的，所述测距单元包括：

一获取模块，用以获取所述目标物体的位置坐标；

一定位模块，用以获取所述无人机当前的位置坐标；

一计算模块，分别连接所述获取模块和所述定位模块，用以根据所述目标物体的位置坐标和所述无人机当前的位置坐标计算以获取所述无人机距离所述目标物体的距离。

优选的，所述获取模块通过控制所述视觉单元中的任一两个位置相邻的所述相机以进行双目立体视觉测量，以获取所述目标物体的位置坐标。

优选的，所述重建单元在所述全景拼接图像进行预处理后，提取连续的两幅所述全景拼接图像中的特征点对图形进行两两匹配，以获取对应点对，根据所述对应点采用三角化方法获取所述三维点云数据，以根据所述三维点云数据进行地形重建。

优选的，所述预处理包括对所述全景拼接图像进行去噪和/或辐射校正。

优选的，所述悬停单元包括：

一检测模块，用于以预定时间间隔根据所述全景拼接图像进行特征点检测，以获取有效特征点，根据所述特征点在所述全景拼接图像中位置及世界坐标系中的位置，获取所述无人机的三维坐标；

一判断模块，连接所述检测模块，用以判断连续获取的两个所述无人机的三维坐标之差是否大于预设阈值，若超出预设阈值，输出修正指令；

一修正模块，连接所述判断模块，用以根据所述修正指令修正所述无人机的当前空间位置。

优选的，还包括：

一跟踪单元，连接所述控制单元，用以对运动目标进行检测，根据检测结果生成跟踪路径，根据所述跟踪路径对所述运动目标进行跟踪。

上述技术方案的有益效果：

本技术方案通过视觉单元可使无人机在飞行时无死角的获取全景拼接图像，以让遥控操作用户的直观的掌控飞行状况；通过测距单元可测量目标物体距离无人机的距离；利用重建单元可对地表物体或地形进行重建；采用悬停单元可控制无人机悬停于空中以便拍摄全景图像测距等操作；采用避障单元可对在无人机飞行过程避开障碍，利用控制单元修正飞行路线以保证无人机飞行的安全性。

附图说明

图1为本发明所述的基于多目复用的全景无人机***的一种实施例的模块图；

图2为双目立体视觉测量的原理图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。

如图1所示，一种基于多目复用的全景无人机***，应用于无人机中，包括：

一视觉单元，包括复数个相机，复数个相机设置于无人机上，用于摄取以无人机为视觉中心360度视角的全景拼接图像，位置相邻的两个相机的部分视角重叠；

一测距单元，连接视觉单元，采用双目立体视觉测量法获取无人机距离目标物体的距离；

一重建单元，连接视觉单元，用以对全景拼接图像进行预处理，获取三维点云数据以根据三维点云数据进行地形重建；

一悬停单元，提供一三维空间坐标，悬停单元用以控制无人机悬停于与三维空间坐标匹配的空间位置；

一避障单元，提供一飞行路线及安全阈值，用以定时检测在飞行路线上距离无人机的障碍物是否达到安全阈值，当达到安全阈值时生成障碍信息，并输出；

一控制单元，分别连接视觉单元、测距单元、重建单元、悬停单元和避障单元，根据避障信息修正飞行路线，并生成三维空间坐标，控制悬停单元根据三维空间坐标执行悬停操作。

本实施例集测距、重建、悬停及避障为一体具有多种功能，为无人机的飞行提供了多种功能。通过视觉单元可使无人机在飞行时无死角的获取全景拼接图像，以让遥控操作用户的直观的掌控飞行状况；通过测距单元可测量目标物体距离无人机的距离；利用重建单元可对地表物体或地形进行重建；采用悬停单元可控制无人机悬停于空中以便拍摄全景图像测距等操作；采用避障单元可对在无人机飞行过程避开障碍，利用控制单元修正飞行路线以保证无人机飞行的安全性。

在优选的实施例中，视觉单元包括：

一标定模块，用以分别对复数个相机进行标定，以获取每个相机的内部参数和外部参数，以获取每个相机获取的图像在世界坐标系中的坐标与图像坐标系中的坐标的映射关系；

一处理模块，连接标定模块，分别对每幅图像进行去噪处理，并将所有的图像投影到统一的坐标系下，采用图像插值对图像进行处理，对进处理后的图像进行匹配拼接以获取全景拼接图像。

在本实施例中，复数个相机分别设置于无机人的顶部、侧部及底部，以获取具有一定重叠度的图像，将经过预处理后的多幅图像拼接成全景拼接图像，以实现在图像比例尺不变、清晰度不变的条件下获取更大拍摄面积，减少无人机飞行次数。通过标定模块对相机进行标定，求出相机的内部参数和外部参数，从而得到世界坐标系中坐标与图像坐标系中坐标的一一映射关系。利用处理模块对图像进行去噪等预处理，然后将图像投影到统一的坐标系下，在图像插值操作后进行图像匹配等操作，最后得到无缝的全景拼接图像。

在优选的实施例中，测距单元包括：

一获取模块，用以获取目标物体的位置坐标；

一定位模块，用以获取无人机当前的位置坐标；

一计算模块，分别连接获取模块和定位模块，用以根据目标物体的位置坐标和无人机当前的位置坐标计算以获取无人机距离目标物体的距离。

进一步地，获取模块通过控制视觉单元中的任一两个位置相邻的相机以进行双目立体视觉测量，以获取目标物体的位置坐标。

在本实施例中，获取模块控制任一两个相邻的相机，从而建立双目立体视觉测量，获取目标物体的位置坐标。

双目立体视觉测量的原理如下：

以图2为中的图像A和图像B为例：点P是空间中观测目标上的一点，在左相机坐标系中的三维坐标为(X _C , Y _C , Z _C )，在两幅图像上的成像位置分别为P _a(x ₁, y ₁)、P _b(x ₂, y ₂)，通过相似三角形的几何关系可得：

其中，x ₁、y ₁、x ₂、y ₂是平面图像中的物理坐标，B _C 是相机的外部参数（基线距），f相机的内部参数（焦距），||为视差，即点P在两副图像中的位置偏移。由于相机在垂直方向上处于同一平面，故y=y ₁=y ₂，则视差为|x ₁- x ₂|。

根据相机的内部参数以及镜头的畸变参数，获取双目立体视觉测量中涉及到的相机在当前角度下的姿态参数（即外部参数），测量目标物体的位置坐标()，并且根据定位模块获取无人机当前的位置坐标，然后求得目标物体距离无人机的距离。

在优选的实施例中，重建单元在全景拼接图像进行预处理后，提取连续的两幅全景拼接图像中的特征点对图形进行两两匹配，以获取对应点对，根据对应点采用三角化方法获取三维点云数据，以根据三维点云数据进行地形重建。

进一步地，预处理包括对全景拼接图像进行去噪和/或辐射校正。

在本实施例中，重建单元对全景拼接图像进行去噪、辐射矫正等处理，提取图像特征点，并基于特征点对图像进行两两匹配，删除错误匹配对，得到较精确的对应点。有了标定的图像和对应的图像特征点，对于配准结果便可通过三角化方法获取三维点云坐标，对图像进行三角化，得到三维点云数据，对三维点云数据进行网格化处理并进行纹理映射，从而完成地形重建。

在优选的实施例中，悬停单元包括：

一检测模块，用于以预定时间间隔根据全景拼接图像进行特征点检测，以获取有效特征点，根据特征点在全景拼接图像中位置及世界坐标系中的位置，获取无人机的三维坐标；

一判断模块，连接检测模块，用以判断连续获取的两个无人机的三维坐标之差是否大于预设阈值，若超出预设阈值，输出修正指令；

一修正模块，连接判断模块，用以根据修正指令修正无人机的当前空间位置。

在本实施例中，悬停单元是为了将无人机固定在预设的高度位置与水平位置上，即将无人机固定在一组三维坐标上。在悬停操作时，需利用多个相机对周围场景进行拍照，然后对图像进行特征点检测，找到有效的特征点。并对每幅图像中的特征点进行匹配，找到对应的特征点对。根据双目视觉原理，通过特征点对在图像和世界坐标系中的位置，反算出摄像机的三维坐标。隔一定时间再拍摄一组图像，若所得到的三维坐标与上一次得到的三维坐标的差异大于预设阈值，则通过修正模块对无人机的当前空间位置进行修正。重复上述操作，直至结束悬停操作为止。

在优选的实施例中，还包括：

一跟踪单元，连接控制单元，用以对运动目标进行检测，根据检测结果生成跟踪路径，根据跟踪路径对运动目标进行跟踪。

在本实施例中，对运动目标进行跟踪的具体过程为：

1）运动估计（全局运动补偿）：考虑到背景的位移估计即全局运动补偿，需移除背景的影响，消除误差，为后续的运动目标检测与跟踪奠定基础；采用旋转平移的三参数模型来估计由相机运动产生的影像背景位移；

2）目标检测：利用背景差分法检测运动目标。运动目标的提取可通过对当前图像和背景图像的差值来获得。当相机静止时，当前图像为I _k+1(r,t)，背景图像为u _k+1(r,t)，图像中各像素值的变化信息为D _k+1(r,t)；

D _k+1(r,t)=| I _k+1(r,t)- u _k+1(r,t)|

其中，I _k+1(r,t)和u _k+1(r,t)可以是图像的某一像素值，如亮度，也可以是图像的某些特征，如颜色。当D _k+1(r,t)达到一预设阈值时，则可以认为是运动目标。

3）目标跟踪：在完成目标检测后，从图像中得到运动目标的位置、大小和形状等信息，将运动目标作为一个模板，从图像中获取一块区域，计算这块区域与模板之间对应像素的相关系数，从而实现对目标的跟踪。

于上述技术方案基础上，进一步的，无人机在空中飞行时，一般都是按照预先规划好的路线进行飞行的。当无人机在飞行过程中遇到障碍物时（比如大楼、大树等），可通过避障单元绕过障碍物并重新回到初始规划路线上继续飞行。当无人机在低空飞行时，利用视觉单元控制打开多个飞行方向相机。利用所重建的地形图，对无人机的飞行路线做一个规划。根据无人机的性能设定安全阈值（即安全距离）。利用测距单元对前方目标进行测距，判断目标与无人机之间的距离是否小于安全距离；若小于，则利用通过控制单元控制悬停单元执行悬停操作将让无人机悬停，并绕过障碍物，最后重新回到规划好的飞行路线上继续飞行。

本发明可利用无人机，获取多个角度的大比例尺清晰的全景拼接图像；通过无人机的测距、悬停、避障、重建等功能，使无人机在飞行时有更大的灵活性和更高的安全性。还可实现无人机对运动目标的跟踪，使得无人机的用途更加丰富。本发明集成了拼接、测距、悬停、避障、地形重建、跟踪等多种功能，充分利用了无人机上配置的多个相机。

以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims (8)

1.一种基于多目复用的全景无人机***，应用于无人机中，其特征在于，包括：

一视觉单元，包括复数个相机，复数个所述相机设置于所述无人机上，用于摄取以所述无人机为视觉中心360度视角的全景拼接图像，位置相邻的两个所述相机的部分视角重叠；

一测距单元，连接所述视觉单元，采用双目立体视觉测量法获取所述无人机距离目标物体的距离；

一重建单元，连接所述视觉单元，用以对所述全景拼接图像进行预处理，获取三维点云数据以根据所述三维点云数据进行地形重建；

一悬停单元，提供一三维空间坐标，所述悬停单元用以控制所述无人机悬停于与所述三维空间坐标匹配的空间位置；

一避障单元，提供一飞行路线及安全阈值，用以定时检测在所述飞行路线上距离所述无人机的障碍物是否达到所述安全阈值，当达到所述安全阈值时生成障碍信息，并输出；

一控制单元，分别连接所述视觉单元、所述测距单元、所述重建单元、所述悬停单元和所述避障单元，根据所述避障信息修正所述飞行路线，并生成所述三维空间坐标，控制所述悬停单元根据所述三维空间坐标执行悬停操作。

2.如权利要求1所述的基于多目复用的全景无人机***，其特征在于，所述视觉单元包括：

一标定模块，用以分别对复数个所述相机进行标定，以获取每个所述相机的内部参数和外部参数，以获取每个所述相机获取的图像在世界坐标系中的坐标与图像坐标系中的坐标的映射关系；

一处理模块，连接所述标定模块，分别对每幅所述图像进行去噪处理，并将所有的所述图像投影到统一的坐标系下，采用图像插值对所述图像进行处理，对进处理后的图像进行匹配拼接以获取所述全景拼接图像。

3.如权利要求1所述的基于多目复用的全景无人机***，其特征在于，所述测距单元包括：

一获取模块，用以获取所述目标物体的位置坐标；

一定位模块，用以获取所述无人机当前的位置坐标；

一计算模块，分别连接所述获取模块和所述定位模块，用以根据所述目标物体的位置坐标和所述无人机当前的位置坐标计算以获取所述无人机距离所述目标物体的距离。

4.如权利要求3所述的基于多目复用的全景无人机***，其特征在于，所述获取模块通过控制所述视觉单元中的任一两个位置相邻的所述相机以进行双目立体视觉测量，以获取所述目标物体的位置坐标。

5.如权利要求1所述的基于多目复用的全景无人机***，其特征在于，所述重建单元在所述全景拼接图像进行预处理后，提取连续的两幅所述全景拼接图像中的特征点对图形进行两两匹配，以获取对应点对，根据所述对应点采用三角化方法获取所述三维点云数据，以根据所述三维点云数据进行地形重建。

6.如权利要求1或5所述的基于多目复用的全景无人机***，其特征在于，所述预处理包括对所述全景拼接图像进行去噪和/或辐射校正。

7.如权利要求1所述的基于多目复用的全景无人机***，其特征在于，所述悬停单元包括：

一检测模块，用于以预定时间间隔根据所述全景拼接图像进行特征点检测，以获取有效特征点，根据所述特征点在所述全景拼接图像中位置及世界坐标系中的位置，获取所述无人机的三维坐标；

一判断模块，连接所述检测模块，用以判断连续获取的两个所述无人机的三维坐标之差是否大于预设阈值，若超出预设阈值，输出修正指令；

一修正模块，连接所述判断模块，用以根据所述修正指令修正所述无人机的当前空间位置。

8.如权利要求1所述的基于多目复用的全景无人机***，其特征在于，还包括：

一跟踪单元，连接所述控制单元，用以对运动目标进行检测，根据检测结果生成跟踪路径，根据所述跟踪路径对所述运动目标进行跟踪。