WO2019076304A1 - 基于双目相机的无人机视觉slam方法、无人机及存储介质 - Google Patents

基于双目相机的无人机视觉slam方法、无人机及存储介质 Download PDF

Info

Publication number
WO2019076304A1
WO2019076304A1 PCT/CN2018/110495 CN2018110495W WO2019076304A1 WO 2019076304 A1 WO2019076304 A1 WO 2019076304A1 CN 2018110495 W CN2018110495 W CN 2018110495W WO 2019076304 A1 WO2019076304 A1 WO 2019076304A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
binocular camera
binocular
pose information
visual slam
Prior art date
Application number
PCT/CN2018/110495
Other languages
English (en)
French (fr)
Inventor
胡华智
刘剑
孙海洋
Original Assignee
亿航智能设备（广州）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 亿航智能设备（广州）有限公司 filed Critical 亿航智能设备（广州）有限公司
Publication of WO2019076304A1 publication Critical patent/WO2019076304A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing

Definitions

  • the invention relates to the technical field of drones, in particular to a UAV visual SLAM method based on a binocular camera, a drone and a computer readable storage medium.
  • a drone is an unmanned aerial vehicle that can be operated by wireless remote control or by a program.
  • the application of drones in military and civilian applications has attracted widespread attention. For example, it can be used for military investigation, monitoring, and small-scale attacks. In civilian use, it can be used for aerial photography, surveying, remote sensing, pesticide spraying, high-voltage transmission lines, and earthquake rescue.
  • the four-rotor UAV has the advantages of strong maneuverability, simple structural design and high safety, and it can be close to the target at a close distance, and is more suitable for flight operations in complex environments such as indoors.
  • the method based on visual SLAM uses only the onboard camera as an external sensor, and has the advantages of small size, light weight, low price, high precision and wide application range.
  • the prior art is usually implemented by an RGB-D camera.
  • the RGB-D camera uses a method of transmitting light waves and receiving and returning to measure depth. When used in an outdoor scene, it is easily interfered by daylight, and multiple cameras can also be used at the same time. Interfere with each other.
  • the main object of the invention is to propose a UAV visual SLAM method based on a binocular camera, a drone and a computer readable storage medium, aiming at solving the problems existing in the prior art.
  • a first aspect of an embodiment of the present invention provides a UAV visual SLAM method based on a binocular camera, the method comprising the steps of:
  • a binocular dense map is obtained to obtain a global map.
  • the obtaining, according to the depth image of the different location, the camera pose information by using a visual odometer includes the following steps:
  • the camera pose information is calculated by using a perspective three-point P3P algorithm.
  • the image feature matching uses a scale-invariant feature transform SIFT algorithm or an ORB algorithm.
  • the nonlinear optimization is implemented by using a beam adjustment method BA algorithm and a graph optimization algorithm.
  • the appearance-based loopback detection is implemented by a constructed word bag model or a trained neural network.
  • the loopback verification includes time consistency detection and spatial consistency detection.
  • the performing the binocular dense mapping according to the optimized camera pose information to obtain the global map includes the following steps:
  • the binocular stereo vision method is used to obtain the depth information of the pixel points, and the depth information of the obtained pixel points is filtered;
  • a global map is constructed based on the depth information of the filtered pixel points.
  • the global map is constructed using the octree map octomap method.
  • a second aspect of the embodiments of the present invention provides a drone, where the drone includes: a memory, a processor, and a memory stored on the memory and operable on the processor A UAV visual SLAM program for a binocular camera, wherein the binocular camera-based drone vision SLAM program is executed by the processor to implement the binocular camera-based drone vision SLAM method of the first aspect step.
  • a third aspect of the embodiments of the present invention provides a computer readable storage medium having a binocular camera-based UAV visual SLAM program stored on the computer readable storage medium.
  • the steps of the binocular camera-based drone vision SLAM method of the first aspect are implemented when the UAV visual SLAM program of the camera is executed by the processor.
  • the binocular camera-based UAV visual SLAM method, the drone and the computer readable storage medium provided by the embodiments of the present invention acquire the depth images of different positions through the binocular camera, after the visual odometer, nonlinear optimization, loopback After the detection and loopback verification, the binocular dense mapping is used to obtain the global map; on the one hand, the interference problem existing in the RGB-D camera can be solved, on the other hand, the more accurate positioning and the more accurate map can be obtained.
  • FIG. 1 is a schematic flow chart of a UAV visual SLAM method based on a binocular camera according to an embodiment of the present invention
  • FIG. 2 is a schematic diagram of a camera pose calculation process in a UAV visual SLAM method based on a binocular camera according to an embodiment of the present invention
  • FIG. 3 is a schematic diagram of a global map construction process in a UAV visual SLAM method based on a binocular camera according to an embodiment of the present invention
  • FIG. 4 is a schematic structural view of a drone according to an embodiment of the present invention.
  • a first embodiment of the present invention provides a UAV visual SLAM method based on a binocular camera, the method comprising the steps of:
  • the left and right eye images are respectively obtained by the binocular camera, and the depth image is obtained by calculating the distance of the pixels by the left and right visual parallax using the stereoscopic vision technology, and the depth image includes three-dimensional world coordinate information of all the pixel points.
  • the obtaining the camera pose information by using the visual odometer according to the depth image of the different positions includes:
  • the image feature matching adopts SIFT (Scale) Invariant Feature Transform algorithm or ORB (Oriented FAST and Rotated BRIEF) algorithm.
  • SIFT Scale
  • ORB Oriented FAST and Rotated BRIEF
  • Sift is a good image matching algorithm that can handle brightness, translation, rotation, scale changes at the same time, use feature points to extract feature descriptors, and finally find matching between feature descriptors.
  • the algorithm can perform matching by constructing a scale space, detecting extreme points, and obtaining scale invariance; filtering and accurately locating feature points, eliminating unstable feature points; extracting at feature points
  • the feature descriptor assigns a direction value to the feature point; generates a feature descriptor, uses the feature descriptor to find a matching point; and calculates a transformation parameter.
  • ORB is an algorithm for fast feature point extraction and description.
  • the ORB algorithm is divided into two parts, namely feature point extraction and feature point description.
  • Feature extraction is developed by the FAST (Features from Accelerated Segment Test) algorithm.
  • the feature point description is based on the BRIEF (Binary). Robust Independent Elementary Features) Improved characterization algorithm.
  • the ORB feature combines the detection method of FAST feature points with the BRIEF descriptors and improves and optimizes them based on their originals.
  • the P3P problem is a classic problem in the field of computer vision and photogrammetry, and has important applications in target location, visual measurement, virtual reality, and target pose calculation.
  • the P3P algorithm can refer to the prior art, and details are not described herein.
  • the nonlinear optimization adopts BA (Bundle) Adjustment, beam adjustment method) algorithm and or graph optimization algorithm implementation.
  • the Bundle Adjustment algorithm can be used to perform accurate camera pose nonlinear optimization.
  • a graph optimization algorithm can be used to perform accurate camera pose nonlinear optimization.
  • the BA algorithm can be divided into a global BA algorithm and a local BA algorithm.
  • BA is an optimization problem algorithm that obtains the camera-related parameters (camera parameter matrix, calibration parameters, etc.) and the optimal solution of the spatial structure by minimizing the position projection error between the corresponding points of the observed image and the predicted image. Its name comes from the process of projecting three-dimensional points into the imaging plane. All the three-dimensional points and the two-dimensional points of the imaging surface are focused on one point, that is, the optical center.
  • the BA algorithm has several elements: the objective function, the numerical optimization method (such as Newton's method), the iterative and updated method, and the quality test.
  • the objective function is usually a series of square sums, which are then optimized using least squares.
  • the graph optimization algorithm can refer to the prior art and will not be described herein.
  • the appearance-based loopback detection is implemented by a constructed word bag model or a trained neural network.
  • the present embodiment adopts appearance-based loop detection to directly calculate the similarity between two images by constructing a word bag model, and this method can skip the large calculation amount of feature matching, and at the same time, with the number of frames Increase, the probability of detecting loopback will not decrease.
  • Another method is implemented by a trained neural network.
  • the loopback verification includes time consistency detection and spatial consistency detection.
  • Time consistency detection that is, the loop that has been detected for a period of time, is considered to be the correct loopback;
  • spatial consistency detection that is, feature matching of the two frames detected by the loopback, estimating the motion of the camera, checking with the previous Estimate whether there is a big difference.
  • the performing a binocular dense mapping according to the optimized camera pose information to obtain a global map includes the following steps:
  • the global map is constructed using the octree map octomap method.
  • the octomap method can refer to the prior art and will not be described here.
  • the binocular camera-based UAV visual SLAM method acquires depth images of different positions through a binocular camera, and performs binocular density after visual odometer, nonlinear optimization, loopback detection, and loopback verification.
  • the mapping is a global map; on the one hand, it can solve the interference problem with the RGB-D camera, on the other hand, it can obtain more accurate positioning and establish a more accurate map.
  • FIG. 4 is a schematic diagram of a drone according to a second embodiment of the present invention.
  • the drone 20 includes a memory 21, a processor 22, and a memory 21 and can be stored in the processor.
  • the binocular camera-based drone visual SLAM program when executed by the processor 22, is also used to implement the steps of the binocular camera-based drone vision SLAM method described below:
  • the binocular camera-based drone visual SLAM program when executed by the processor 22, is also used to implement the steps of the binocular camera-based drone vision SLAM method described below:
  • the image feature matching uses a scale-invariant feature transform SIFT algorithm or an ORB algorithm.
  • the binocular camera-based drone visual SLAM program when executed by the processor 22, is also used to implement the steps of the binocular camera-based drone vision SLAM method described below:
  • the nonlinear optimization is implemented by using a Bundle Adjustment algorithm and a graph optimization algorithm.
  • the binocular camera-based drone visual SLAM program when executed by the processor 22, is also used to implement the steps of the binocular camera-based drone vision SLAM method described below:
  • the appearance-based loopback detection is implemented by a constructed word bag model or a trained neural network.
  • the binocular camera-based drone visual SLAM program when executed by the processor 22, is also used to implement the steps of the binocular camera-based drone vision SLAM method described below:
  • the loopback verification includes time consistency detection and spatial consistency detection.
  • the binocular camera-based drone visual SLAM program when executed by the processor 22, is also used to implement the steps of the binocular camera-based drone vision SLAM method described below:
  • the binocular camera-based drone visual SLAM program when executed by the processor 22, is also used to implement the steps of the binocular camera-based drone vision SLAM method described below:
  • the global map is constructed using the octree map octomap method.
  • the unmanned aerial vehicle acquires the depth image of different positions through the binocular camera, and after the visual odometer, the nonlinear optimization, the loop detection and the loopback verification, the binocular dense mapping is obtained to obtain the global map; It can solve the interference problem with RGB-D camera, on the other hand, it can get more accurate positioning and establish a more accurate map.
  • a third embodiment of the present invention provides a computer readable storage medium storing a UAV vision SLAM program based on a binocular camera, the UAV vision SLAM program based on a binocular camera
  • the steps of the binocular camera-based drone vision SLAM method described in the first embodiment are implemented when executed by the processor.
  • the computer readable storage medium acquires the depth image of different positions through the binocular camera, and after the visual odometer, the nonlinear optimization, the loop detection and the loopback verification, the binocular dense mapping is obtained to obtain the global map; On the one hand, it can solve the interference problem with RGB-D camera, on the other hand, it can obtain more accurate positioning and establish a more accurate map.
  • the binocular camera-based UAV visual SLAM method, the drone and the computer readable storage medium provided by the embodiments of the present invention acquire the depth images of different positions through the binocular camera, after the visual odometer, nonlinear optimization, loopback After the detection and loopback verification, the binocular dense mapping is used to obtain the global map; on the one hand, the interference problem existing in the RGB-D camera can be solved, on the other hand, the more accurate positioning and the more accurate map can be obtained, so the industry is industrialized. Practicality.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于双目相机的无人机视觉SLAM方法、无人机及计算机可读存储介质，所述方法包括步骤：通过双目摄像头获取至少两个不同位置的深度图像；根据获取的至少两个不同位置的深度图像，通过视觉里程计得到相机位姿信息；对所述相机位姿信息进行非线性优化、基于外观的回环检测以及回环验证，得到优化后的相机位姿信息；根据优化后的相机位姿信息进行双目稠密建图得到全局地图。本发明通过双目摄像头获取不同位置的深度图像，在经过视觉里程计、非线性优化、回环检测以及回环验证之后，进行双目稠密建图得到全局地图；一方面可解决采用RGB-D相机存在的干扰问题，另一方面可以获得更精准的定位和建立了更精确的地图。

Description

基于双目相机的无人机视觉SLAM方法、无人机及存储介质 技术领域
本发明涉及无人机技术领域，尤其涉及一种基于双目相机的无人机视觉SLAM方法、无人机及计算机可读存储介质。
 背景技术
无人机是一种能够通过无线遥控或程序来操纵的无人驾驶飞行器。近年来，无人机在军事及民用等诸多领域的应用引起了人们的广泛关注。比如，在军事上能够进行侦查、监测及小范围内的攻击等；在民用上，可用于航拍、测绘、遥感、农药喷洒、高压输电线路的巡线及地震抢险等。四旋翼无人机作为小型无人机的一种，具有机动性强、结构设计简单、安全性高等突出优点，且其能够近距离靠近目标，更加适合室内等复杂环境中的飞行作业。
基于视觉SLAM(Simultaneous Localization and Mapping，同步定位与建图)的方法仅使用机载摄像头作为外部传感器，具有体积小、重量轻、价格低、精度高、应用范围广等优势。现有技术通常采用RGB-D相机实现，RGB-D相机由于使用的是发射光波、接收返回的方式测量深度，在室外场景使用的时候很容易受到日光的干扰，而且多个相机同时使用也会互相干扰。
 技术问题
发明的主要目的在于提出一种基于双目相机的无人机视觉SLAM方法、无人机及计算机可读存储介质，旨在解决现有技术存在的问题。
 技术解决方案
为实现上述目的，本发明实施例第一方面提供一种基于双目相机的无人机视觉SLAM方法，所述方法包括步骤：
通过双目摄像头获取至少两个不同位置的深度图像；
根据获取的至少两个不同位置的深度图像，通过视觉里程计得到相机位姿信息；
对所述相机位姿信息进行非线性优化、基于外观的回环检测以及回环验证，得到优化后的相机位姿信息；
根据优化后的相机位姿信息进行双目稠密建图得到全局地图。
可选的，所述根据所述不同位置的深度图像，通过视觉里程计得到相机位姿信息包括步骤：
对所述不同位置的深度图像进行图像特征匹配，得到相匹配的特征点；
根据相匹配的特征点，采用透视三点P3P算法计算得到所述相机位姿信息。
可选的，所述图像特征匹配采用尺度不变特征转换SIFT算法或者ORB算法。
可选的，所述非线性优化采用光束平差法BA算法和或图优化算法实现。
可选的，所述基于外观的回环检测通过构建的词袋模型或者训练的神经网络实现。
可选的，所述回环验证包括时间一致性检测和空间一致性检测。
可选的，所述根据优化后的相机位姿信息进行双目稠密建图得到全局地图包括步骤：
对优化后的相机位姿信息进行极线搜索和块匹配，得到像素点的位置信息；
根据得到的像素点的位置信息，采用双目立体视觉方法得到像素点的深度信息，并对得到的像素点的深度信息进行滤波；
根据滤波后的像素点的深度信息构建全局地图。
可选的，采用八叉树地图octomap方法构建全局地图。
此外，为实现上述目的，本发明实施例第二方面提供一种无人机，所述无人机包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于双目相机的无人机视觉SLAM程序，所述基于双目相机的无人机视觉SLAM程序被所述处理器执行时实现第一方面所述的基于双目相机的无人机视觉SLAM方法的步骤。
再者，为实现上述目的，本发明实施例第三方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有基于双目相机的无人机视觉SLAM程序，所述基于双目相机的无人机视觉SLAM程序被处理器执行时实现第一方面所述的基于双目相机的无人机视觉SLAM方法的步骤。
 有益效果
本发明实施例提供的基于双目相机的无人机视觉SLAM方法、无人机及计算机可读存储介质，通过双目摄像头获取不同位置的深度图像，在经过视觉里程计、非线性优化、回环检测以及回环验证之后，进行双目稠密建图得到全局地图；一方面可解决采用RGB-D相机存在的干扰问题，另一方面可以获得更精准的定位和建立了更精确的地图。
 附图说明
图1为本发明实施例的基于双目相机的无人机视觉SLAM方法流程示意图；
图2为本发明实施例的基于双目相机的无人机视觉SLAM方法中相机位姿计算流程示意图；
图3为本发明实施例的基于双目相机的无人机视觉SLAM方法中全局地图构建流程示意图；
图4为本发明实施例的无人机结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
 本发明的实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
现在将参考附图描述实现本发明各个实施例的。在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
第一实施例
如图1所示，本发明第一实施例提供一种基于双目相机的无人机视觉SLAM方法，所述方法包括步骤：
S11、通过双目摄像头获取至少两个不同位置的深度图像。
在本实施例中，通过双目摄像头可分别得到左右目图像，使用立体视觉技术，通过左右目视差计算像素的距离得到深度图像，该深度图像包含所有像素点的三维世界坐标信息。
S12、根据获取的至少两个不同位置的深度图像，通过视觉里程计得到相机位姿信息。
请参考图2所示，在本实施例中，所述根据所述不同位置的深度图像，通过视觉里程计得到相机位姿信息包括步骤：
S121、对所述不同位置的深度图像进行图像特征匹配，得到相匹配的特征点；
在本实施例中，所述图像特征匹配采用SIFT（Scale Invariant Feature Transform，尺度不变特征转换）算法或者ORB（Oriented FAST and Rotated BRIEF）算法。
Sift是一个很好的图像匹配算法，可同时能处理亮度、平移、旋转、尺度的变化，利用特征点来提取特征描述符，最后在特征描述符之间寻找匹配。
在一种实施方式中，该算法可通过以下步骤进行匹配：构建尺度空间，检测极值点，获得尺度不变性；特征点过滤并进行精确定位，剔除不稳定的特征点；在特征点处提取特征描述符，为特征点分配方向值；生成特征描述子，利用特征描述符寻找匹配点；计算变换参数。
ORB是一种快速特征点提取和描述的算法。ORB算法分为两部分，分别是特征点提取和特征点描述。特征提取是由FAST（Features from  Accelerated Segment Test）算法发展来的，特征点描述是根据BRIEF（Binary Robust Independent Elementary Features）特征描述算法改进的。ORB特征是将FAST特征点的检测方法与BRIEF特征描述子结合起来，并在它们原来的基础上做了改进与优化。
S122、根据相匹配的特征点，采用P3P（Perspective Three Point，透视三点）算法计算得到所述相机位姿信息。
在本实施例中，P3P问题是计算机视觉与摄影测量学领域的经典问题，在目标定位、视觉测量、虚拟现实及目标姿态计算等方面有重要的应用。P3P算法可参考现有技术，在此不作赘述。
S13、对所述相机位姿信息进行非线性优化、基于外观的回环检测以及回环验证，得到优化后的相机位姿信息。
在本实施例中，所述非线性优化采用BA（Bundle Adjustment，光束平差法）算法和或图优化算法实现。
作为示例地，对于特征点数量不多的小型场景例如房间、室内，可采用Bundle Adjustment算法进行精确的相机位姿非线性优化。而对于特征点数量较多的大型场景，例如室外、复杂的环境，为了提高计算的效率、保证实时性，可采用图优化算法来进行精确的相机位姿非线性优化。
BA算法可分为全局BA算法和局部BA算法。BA是一种优化问题算法，通过最小化观测图像和预测图像的对应点之间的位置投影误差而同时得到摄像机相关参数（摄像机参数矩阵、标定参数等）和空间结构的最优解。它的名字来源于将空间三维点投影到成像平面过程中，所有三维点与成像面二维点的连线都聚焦于一点，即光心。
BA算法有几个要素：目标函数，数值优化方法（如牛顿法），迭代与更新的方法，质量检验。总的来说，目标函数通常是一系列平方和，然后采用最小二乘法进行优化。
图优化算法可参考现有技术，在此不作赘述。
在本实施例中，所述基于外观的回环检测通过构建的词袋模型或者训练的神经网络实现。
现有技术中，存在以下两种不同的回环检测方法，一种是在获取的关键帧中随机选取n个关键帧与当前新的关键帧进行特征匹配比较；另一种是在获取的关键帧中选取前n个帧与当前帧做特征匹配比较。这两种方法其实效率会比较低，第一种方法虽然运算量是恒定的，但由于基于盲目试探的方法，随着帧数增加，检测到正确的回环的概率会越来越低；第二种方法则基于“任意两幅图都可能有回环”的假定，运算量随着n增加会平方倍增加。
基于上述问题，本实施例采用基于外观的回环检测，通过构建词袋模型，直接计算两幅图像之间的相似性，用这种方法能够略过特征匹配的大运算量，同时随着帧数增加，检测到回环的概率不会下降。另一种方法是通过训练的神经网络实现。
在本实施例中，所述回环验证包括时间一致性检测和空间一致性检测。时间一致性检测，即在一段时间中一直检测到的回环，才认为是正确的回环；空间一致性检测，即对回环检测到的两个帧进行特征匹配，估计摄像头的运动，检查与之前的估计是否有很大差别。
S14、根据优化后的相机位姿信息进行双目稠密建图得到全局地图。
请参考图3所示，在本实施例中，所述根据优化后的相机位姿信息进行双目稠密建图得到全局地图包括步骤：
S141、对优化后的相机位姿信息进行极线搜索和块匹配，得到像素点的位置信息；
S142、根据得到的像素点的位置信息，采用双目立体视觉方法得到像素点的深度信息，并对得到的像素点的深度信息进行滤波；
S143、根据滤波后的像素点的深度信息构建全局地图。
在本实施例中，采用八叉树地图octomap方法构建全局地图。octomap方法可参考现有技术，在此不作赘述。
本发明实施例提供的基于双目相机的无人机视觉SLAM方法，通过双目摄像头获取不同位置的深度图像，在经过视觉里程计、非线性优化、回环检测以及回环验证之后，进行双目稠密建图得到全局地图；一方面可解决采用RGB-D相机存在的干扰问题，另一方面可以获得更精准的定位和建立了更精确的地图。
第二实施例
参照图4，图4为本发明第二实施例提供的一种无人机，所述无人机20包括：存储器21、处理器22及存储在所述存储器21上并可在所述处理器22上运行的基于双目相机的无人机视觉SLAM程序，所述基于双目相机的无人机视觉SLAM程序被所述处理器22执行时，用于实现以下所述的基于双目相机的无人机视觉SLAM方法的步骤：
S11、通过双目摄像头获取至少两个不同位置的深度图像；
S12、根据获取的至少两个不同位置的深度图像，通过视觉里程计得到相机位姿信息；
S13、对所述相机位姿信息进行非线性优化、基于外观的回环检测以及回环验证，得到优化后的相机位姿信息；
S14、根据优化后的相机位姿信息进行双目稠密建图得到全局地图。
所述基于双目相机的无人机视觉SLAM程序被所述处理器22执行时，还用于实现以下所述的基于双目相机的无人机视觉SLAM方法的步骤：
S121、对所述不同位置的深度图像进行图像特征匹配，得到相匹配的特征点；
S122、根据相匹配的特征点，采用透视三点P3P算法计算得到所述相机位姿信息。
所述基于双目相机的无人机视觉SLAM程序被所述处理器22执行时，还用于实现以下所述的基于双目相机的无人机视觉SLAM方法的步骤：
所述图像特征匹配采用尺度不变特征转换SIFT算法或者ORB算法。
所述基于双目相机的无人机视觉SLAM程序被所述处理器22执行时，还用于实现以下所述的基于双目相机的无人机视觉SLAM方法的步骤：
所述非线性优化采用Bundle Adjustment算法和或图优化算法实现。
所述基于双目相机的无人机视觉SLAM程序被所述处理器22执行时，还用于实现以下所述的基于双目相机的无人机视觉SLAM方法的步骤：
所述基于外观的回环检测通过构建的词袋模型或者训练的神经网络实现。
所述基于双目相机的无人机视觉SLAM程序被所述处理器22执行时，还用于实现以下所述的基于双目相机的无人机视觉SLAM方法的步骤：
所述回环验证包括时间一致性检测和空间一致性检测。
所述基于双目相机的无人机视觉SLAM程序被所述处理器22执行时，还用于实现以下所述的基于双目相机的无人机视觉SLAM方法的步骤：
S141、对优化后的相机位姿信息进行极线搜索和块匹配，得到像素点的位置信息；
S142、根据得到的像素点的位置信息，采用双目立体视觉方法得到像素点的深度信息，并对得到的像素点的深度信息进行滤波；
S143、根据滤波后的像素点的深度信息构建全局地图。
所述基于双目相机的无人机视觉SLAM程序被所述处理器22执行时，还用于实现以下所述的基于双目相机的无人机视觉SLAM方法的步骤：
采用八叉树地图octomap方法构建全局地图。
本发明实施例提供的无人机，通过双目摄像头获取不同位置的深度图像，在经过视觉里程计、非线性优化、回环检测以及回环验证之后，进行双目稠密建图得到全局地图；一方面可解决采用RGB-D相机存在的干扰问题，另一方面可以获得更精准的定位和建立了更精确的地图。
第三实施例
本发明第三实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有基于双目相机的无人机视觉SLAM程序，所述基于双目相机的无人机视觉SLAM程序被处理器执行时实现第一实施例所述的基于双目相机的无人机视觉SLAM方法的步骤。
本发明实施例提供的计算机可读存储介质，通过双目摄像头获取不同位置的深度图像，在经过视觉里程计、非线性优化、回环检测以及回环验证之后，进行双目稠密建图得到全局地图；一方面可解决采用RGB-D相机存在的干扰问题，另一方面可以获得更精准的定位和建立了更精确的地图。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
 工业实用性
本发明实施例提供的基于双目相机的无人机视觉SLAM方法、无人机及计算机可读存储介质，通过双目摄像头获取不同位置的深度图像，在经过视觉里程计、非线性优化、回环检测以及回环验证之后，进行双目稠密建图得到全局地图；一方面可解决采用RGB-D相机存在的干扰问题，另一方面可以获得更精准的定位和建立了更精确的地图，因此具有工业实用性。

Claims (10)

  1. 一种基于双目相机的无人机视觉SLAM方法，其特征在于，所述方法包括步骤：
    通过双目摄像头获取至少两个不同位置的深度图像；
    根据获取的至少两个不同位置的深度图像，通过视觉里程计得到相机位姿信息；
    对所述相机位姿信息进行非线性优化、基于外观的回环检测以及回环验证，得到优化后的相机位姿信息；
    根据优化后的相机位姿信息进行双目稠密建图得到全局地图。
  2. 根据权利要求1所述的一种基于双目相机的无人机视觉SLAM方法，其特征在于，所述根据所述不同位置的深度图像，通过视觉里程计得到相机位姿信息包括步骤：
    对所述不同位置的深度图像进行图像特征匹配，得到相匹配的特征点；
    根据相匹配的特征点，采用透视三点P3P算法计算得到所述相机位姿信息。
  3. 根据权利要求2所述的一种基于双目相机的无人机视觉SLAM方法，其特征在于，所述图像特征匹配采用尺度不变特征转换SIFT算法或者ORB算法。
  4. 根据权利要求1所述的一种基于双目相机的无人机视觉SLAM方法，其特征在于，所述非线性优化采用光束平差法BA算法和或图优化算法实现。
  5. 根据权利要求1所述的一种基于双目相机的无人机视觉SLAM方法，其特征在于，所述基于外观的回环检测通过构建的词袋模型或者训练的神经网络实现。
  6. 根据权利要求1所述的一种基于双目相机的无人机视觉SLAM方法，其特征在于，所述回环验证包括时间一致性检测和空间一致性检测。
  7. 根据权利要求1所述的一种基于双目相机的无人机视觉SLAM方法，其特征在于，所述根据优化后的相机位姿信息进行双目稠密建图得到全局地图包括步骤：
    对优化后的相机位姿信息进行极线搜索和块匹配，得到像素点的位置信息；
    根据得到的像素点的位置信息，采用双目立体视觉方法得到像素点的深度信息，并对得到的像素点的深度信息进行滤波；
    根据滤波后的像素点的深度信息构建全局地图。
  8. 根据权利要求7所述的一种基于双目相机的无人机视觉SLAM方法，其特征在于，采用八叉树地图octomap方法构建全局地图。
  9. 一种无人机，其特征在于，所述无人机包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于双目相机的无人机视觉SLAM程序，所述基于双目相机的无人机视觉SLAM程序被所述处理器执行时实现如权利要求1至8中任一项所述的基于双目相机的无人机视觉SLAM方法的步骤。
  10. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有基于双目相机的无人机视觉SLAM程序，所述基于双目相机的无人机视觉SLAM程序被处理器执行时实现如权利要求1至8中任一项所述的基于双目相机的无人机视觉SLAM方法的步骤。
PCT/CN2018/110495 2017-10-16 2018-10-16 基于双目相机的无人机视觉slam方法、无人机及存储介质 WO2019076304A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201710960121.4 2017-10-16
CN201710960121.4A CN107808407B (zh) 2017-10-16 2017-10-16 基于双目相机的无人机视觉slam方法、无人机及存储介质

Publications (1)

Publication Number Publication Date
WO2019076304A1 true WO2019076304A1 (zh) 2019-04-25

Family

ID=61584218

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/110495 WO2019076304A1 (zh) 2017-10-16 2018-10-16 基于双目相机的无人机视觉slam方法、无人机及存储介质

Country Status (2)

Country Link
CN (1) CN107808407B (zh)
WO (1) WO2019076304A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3786891A1 (en) * 2019-08-29 2021-03-03 China-Germany(Zhuhai)Artificial Intelligence Institute Co., Ltd Method and system for visual localization based on dual dome cameras

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107808407B (zh) * 2017-10-16 2020-12-18 亿航智能设备（广州）有限公司 基于双目相机的无人机视觉slam方法、无人机及存储介质
CN108520559B (zh) * 2018-04-04 2022-04-05 西安因诺航空科技有限公司 一种基于双目视觉的无人机定位导航的方法
CN108616679A (zh) * 2018-04-09 2018-10-02 沈阳上博智像科技有限公司 双目摄像机和控制双目摄像机的方法
CN108827306B (zh) * 2018-05-31 2022-01-07 北京林业大学 一种基于多传感器融合的无人机slam导航方法及***
US10948297B2 (en) * 2018-07-09 2021-03-16 Samsung Electronics Co., Ltd. Simultaneous location and mapping (SLAM) using dual event cameras
CN111089579B (zh) * 2018-10-22 2022-02-01 北京地平线机器人技术研发有限公司 异构双目slam方法、装置及电子设备
CN111098850A (zh) * 2018-10-25 2020-05-05 北京初速度科技有限公司 一种自动停车辅助***及自动泊车方法
CN111637897B (zh) * 2019-03-01 2022-04-19 纳恩博（常州）科技有限公司 地图的更新方法、更新装置、存储介质以及处理器
CN110047108B (zh) * 2019-03-07 2021-05-25 中国科学院深圳先进技术研究院 无人机位姿确定方法、装置、计算机设备及存储介质
CN111754558B (zh) * 2019-03-26 2023-09-26 舜宇光学（浙江）研究院有限公司 用于rgb-d摄像***与双目显像***的匹配方法及其相关***
CN110058602A (zh) * 2019-03-27 2019-07-26 天津大学 基于深度视觉的多旋翼无人机自主定位方法
CN110310304B (zh) * 2019-06-14 2021-07-23 达闼机器人有限公司 单目视觉建图和定位方法、装置、存储介质及移动设备
CN110322511B (zh) * 2019-06-28 2021-03-26 华中科技大学 一种基于物体和平面特征的语义slam方法和***
CN110390685B (zh) * 2019-07-24 2021-03-09 中国人民解放军国防科技大学 一种基于事件相机的特征点跟踪方法
CN110428461B (zh) * 2019-07-30 2022-07-05 清华大学 结合深度学习的单目slam方法及装置
CN110599545B (zh) * 2019-09-06 2022-12-02 电子科技大学中山学院 一种基于特征的构建稠密地图的***
CN110631588B (zh) * 2019-09-23 2022-11-18 电子科技大学 一种基于rbf网络的无人机视觉导航定位方法
CN111105462B (zh) * 2019-12-30 2024-05-28 联想(北京)有限公司 位姿确定方法及装置、增强现实设备和可读存储介质
CN111288989B (zh) * 2020-02-25 2021-11-05 浙江大学 一种小型无人机视觉定位方法
CN111998862B (zh) * 2020-07-02 2023-05-16 中山大学 一种基于bnn的稠密双目slam方法
CN112233160B (zh) * 2020-10-15 2022-04-19 杭州知路科技有限公司 一种基于双目摄像头的实时深度及置信度的预测方法
CN113066152B (zh) * 2021-03-18 2022-05-27 内蒙古工业大学 一种agv地图构建方法和***
CN112967347B (zh) * 2021-03-30 2023-12-15 深圳市优必选科技股份有限公司 位姿标定方法、装置、机器人及计算机可读存储介质
CN113390408A (zh) * 2021-06-30 2021-09-14 深圳市优必选科技股份有限公司 一种机器人定位方法、装置、机器人及存储介质
CN114459467B (zh) * 2021-12-30 2024-05-03 北京理工大学 一种未知救援环境中基于vi-slam的目标定位方法
CN114613002B (zh) * 2022-02-22 2023-06-27 北京理工大学 基于光线投影原理的运动视角下动态物体检测方法及***
CN114742887B (zh) * 2022-03-02 2023-04-18 广东工业大学 一种基于点线面特征融合的无人机位姿估计方法
CN114708384B (zh) * 2022-03-22 2024-06-11 重庆大学 一种基于直线引导特征提取的视觉slam建图方法
CN114619453B (zh) * 2022-05-16 2022-09-20 深圳市普渡科技有限公司 机器人、地图构建方法及计算机可读存储介质
CN115790571A (zh) * 2022-11-25 2023-03-14 中国科学院深圳先进技术研究院 基于异构无人***相互观测的同时定位与地图构建方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7831094B2 (en) * 2004-04-27 2010-11-09 Honda Motor Co., Ltd. Simultaneous localization and mapping using multiple view feature descriptors
CN106595659A (zh) * 2016-11-03 2017-04-26 南京航空航天大学 城市复杂环境下多无人机视觉slam的地图融合方法
CN106960454A (zh) * 2017-03-02 2017-07-18 武汉星巡智能科技有限公司 景深避障方法、设备及无人飞行器
CN107808407A (zh) * 2017-10-16 2018-03-16 亿航智能设备（广州）有限公司 基于双目相机的无人机视觉slam方法、无人机及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7831094B2 (en) * 2004-04-27 2010-11-09 Honda Motor Co., Ltd. Simultaneous localization and mapping using multiple view feature descriptors
CN106595659A (zh) * 2016-11-03 2017-04-26 南京航空航天大学 城市复杂环境下多无人机视觉slam的地图融合方法
CN106960454A (zh) * 2017-03-02 2017-07-18 武汉星巡智能科技有限公司 景深避障方法、设备及无人飞行器
CN107808407A (zh) * 2017-10-16 2018-03-16 亿航智能设备（广州）有限公司 基于双目相机的无人机视觉slam方法、无人机及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3786891A1 (en) * 2019-08-29 2021-03-03 China-Germany(Zhuhai)Artificial Intelligence Institute Co., Ltd Method and system for visual localization based on dual dome cameras

Also Published As

Publication number Publication date
CN107808407B (zh) 2020-12-18
CN107808407A (zh) 2018-03-16

Similar Documents

Publication Publication Date Title
WO2019076304A1 (zh) 基于双目相机的无人机视觉slam方法、无人机及存储介质
CN110568447B (zh) 视觉定位的方法、装置及计算机可读介质
CN107329490B (zh) 无人机避障方法及无人机
US11120560B2 (en) System and method for real-time location tracking of a drone
CN113592989B (zh) 一种三维场景的重建***、方法、设备及存储介质
CN102313536B (zh) 基于机载双目视觉的障碍物感知方法
CN106873619B (zh) 一种无人机飞行路径的处理方法
CN106960454B (zh) 景深避障方法、设备及无人飞行器
CN106529538A (zh) 一种飞行器的定位方法和装置
EP3274964B1 (en) Automatic connection of images using visual features
CN113568435B (zh) 一种基于无人机自主飞行态势感知趋势的分析方法与***
CN107560592A (zh) 一种用于光电跟踪仪联动目标的精确测距方法
CN112150518B (zh) 一种基于注意力机制的图像立体匹配方法及双目设备
JP2023056466A (ja) グローバル測位装置及び方法
CN117152249A (zh) 基于语义一致性的多无人机协同建图与感知方法及***
Pollok et al. A visual SLAM-based approach for calibration of distributed camera networks
CN108335329B (zh) 应用于飞行器中的位置检测方法和装置、飞行器
WO2023030062A1 (zh) 一种无人机的飞行控制方法、装置、设备、介质及程序
CN113959398B (zh) 基于视觉的测距方法、装置、可行驶设备及存储介质
Butt et al. Multi-task Learning for Camera Calibration
Ma et al. Mutual positioning method in unknown indoor environment based on visual image semantics
WO2022141123A1 (zh) 可移动平台及其控制方法、装置、终端设备和存储介质
WO2024083010A1 (zh) 一种视觉定位方法及相关装置
Sasiadek et al. Accurate feature matching for autonomous vehicle navigation in urban environments
Yang et al. Dense depth estimation from multiple 360-degree images using virtual depth

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18868014

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18868014

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 18868014

Country of ref document: EP

Kind code of ref document: A1