CN108665540A - 基于双目视觉特征和imu信息的机器人定位与地图构建*** - Google Patents

基于双目视觉特征和imu信息的机器人定位与地图构建*** Download PDF

Info

Publication number
CN108665540A
CN108665540A CN201810218153.1A CN201810218153A CN108665540A CN 108665540 A CN108665540 A CN 108665540A CN 201810218153 A CN201810218153 A CN 201810218153A CN 108665540 A CN108665540 A CN 108665540A
Authority
CN
China
Prior art keywords
imu
submodule
module
acceleration
key frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810218153.1A
Other languages
English (en)
Inventor
邢科新
万薇
林叶贵
郭超
冯传涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201810218153.1A priority Critical patent/CN108665540A/zh
Publication of CN108665540A publication Critical patent/CN108665540A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种基于双目视觉特征和IMU信息的机器人定位与地图构建***，双目信息采集、特征提取与匹配模块包括双目ORB特征提取子模块、双目特征匹配子模块和IMU信息采集子模块；改进的IMU初始化及其运动模块包括IMU角速率偏差估计子模块、重力加速度预估子模块、IMU加速度偏差估计子模块和IMU预积分子模块；视觉SLAM算法初始化和跟踪模块包括跟踪帧间运动子模块和关键帧产生子模块；局部建图模块包括新关键帧***子模块、局部BA优化子模块和剔除冗余关键帧模块；回环检测及优化模块包括回环检测子模块和全局优化子模块。本发明提供一种鲁棒性好、准确性高、适应性强的基于双目视觉特征和IMU信息的机器人定位与地图构建***。

Description

基于双目视觉特征和IMU信息的机器人定位与地图构建***
技术领域
本发明属于机器人技术领域，具体涉及一种机器人定位与地图构建***。
背景技术
同时定位与地图构建(SLAM)的技术是机器人导航领域一个重要的问题，SLAM问题可以描述为：机器人能够对探索过的环境建立一个全局的地图，同时能够在任何时候，利用这个地图去推测出自身的位置。机器人通过带有传感器设备在环境中自由的移动，通过采集到的信息对自身位置进行定位，同时在定位的基础上进行地图构建，实现机器人的同时定位和建图。有两个主要的因素影响着SLAM问题的求解，分别是传感器的数据特征和观测数据相关性，如果能提高数据关联的鲁棒性和准确性并且能够提高传感器数据的利用率，将会提高机器人的定位和地图构建的精度。
目前移动设备上最常见的传感器有相机和IMU传感器等，如何设计算法去利用这些常见的传感器设备实现高精度的同时定位和制图是目前的一个研究的热点问题。
本发明创新性的利用IMU信息融合双目视觉信息，弥补双目视觉SLAM中存在的问题，并提高了SLAM算法的鲁棒性。在此基础之上，构建出具备真实尺度信息的地图。
同时定位与地图创建(SLAM)的技术是机器人领域比较经典的问题，SLAM问题可以描述为:机器人从某一未知位置开始在未知环境中运动,在移动过程中估计自身位姿和建立环境地图，实现机器人的自主定位和建图。影响SLAM***的两个因素有观测数据的相关性和环境噪声，周围环境观测的正确性依赖于好的的数据相关性，进而影响到环境地图的构建。
发明内容
为了克服已有机器人定位与地图构建***的鲁棒性较差、准确性较低、适应性较差的不足，本发明提供一种鲁棒性好、准确性高、适应性强的基于双目视觉特征和IMU信息的机器人定位与地图构建***。
本发明解决其技术问题所采用的技术方案是：
一种基于双目视觉特征和IMU信息的机器人定位与地图构建***，所述***包括双目信息采集、特征提取与匹配模块，改进的IMU初始化及其运动模块，视觉SLAM算法初始化和跟踪模块，局部建图模块，回环检测和优化模块；所述双目信息采集、特征提取与匹配模块包括双目ORB特征提取子模块、双目特征匹配子模块和IMU信息采集子模块；所述改进的IMU初始化及其运动模块包括IMU角速率偏差估计子模块、重力加速度预估子模块、IMU加速度偏差估计子模块和IMU预积分子模块；所述视觉SLAM算法初始化和跟踪模块包括跟踪帧间运动子模块和关键帧产生子模块；所述局部建图模块包括新关键帧***子模块、局部BA优化子模块和剔除冗余关键帧模块；所述回环检测及优化模块包括回环检测子模块和全局优化子模块。
进一步，所述双目信息采集、特征提取和匹配模块中，双目ORB特征提取子模块通过接受机器人移动过程中双目相机拍摄的图片，使用ORB特征提取算法提取左右图像中的ORB特征，将提取的结果存储；双目特征匹配模块对左右图片提取的特征点进行匹配，得到特征点的深度信息；IMU信息采集模块对机器人内部IMU信息进行收集。
再进一步，所述改进的IMU初始化及其运动模块中，IMU角速率偏差估计子模块利用视觉SLAM结果，采用优化方法对IMU角速率偏差估计；重力加速度及IMU加速度偏差预估子模块，利用IMU角速率偏差估计子模块的结果，对连续N个关键帧，利用其之间关系获得线性方程，求解得到重力加速度；对加速度偏差估计是将重力加速度对IMU加速度的影响排除，在重新对连续当前帧状态的优化个关键帧两两结合，求解方程得到重力加速度的重估计，同时得到IMU加速度偏差；IMU加速度偏差估计子模块，利用重力加速度及IMU加速度偏差预估子模块的结果，将重力加速度对IMU加速度的影响排除，重新对连续N个关键帧求解方程得到重力加速度的重估计，同时得到IMU加速度偏差；IMU预积分子模块将连续两个图像帧之间的所有IMU数据通过IMU预积分模型集合成一个单独的观测值，得到机器人的运动模型与机器人当前的位姿估计。
更进一步，所述视觉SLAM算法初始化及跟踪模块中，跟踪帧间运动子模块计算连续两个图像之间的ORB特征匹配，计算出本征矩阵，再利用集束优化对估算记过进行进一步估计；在成功返回后，***开始以纯视觉的方式追踪，关键帧产生子模块监控追踪中间结果，当当前帧满足关键帧的条件则将当前帧加入关键帧集合当中，并把当前的关键帧作为追踪参考帧。
所述局部建图模块中，新关键帧***子模块)根据上一子模块生成的关键帧，***关键帧队列中；局部BA优化子模块)，在关键帧***后，对当前局部视图的关键帧与地图点云作集束优化；剔除冗余的关键帧子模块，根据***的关键帧，利用筛选策略删除窗口中多余的关键帧，保证地图的大小。
所述回环检测与优化模块中，回环检测子模块将当前帧在数据库中关键帧集合进行查询，检测回环；在成功返回后，对回环上所有关键帧的位姿进行估计，全局优化子模块对回环中的所有关键帧进行全局的图优化，误差因子包括视觉投影因子和IMU因子。
本发明的技术构思为：本发明提出的机器人SLAM***，是基于双目视觉和惯导信息融合SLAM***的一种解决方案。本发明首先利用纯视觉位姿信息对IMU偏差模型以及重力加速度方向等进行估计；在视觉位姿中，使用高效率的特征提取算法，对图像提取丰富的描述子，然后利用提取的特征点进行匹配，获取其深度信息；利用基于预积分的IMU运动学模型建立相机的运动模型，采用运动模型对相机位置进行实时初步估计；在初步估计的基础上对前后两个图像帧之间位姿进行估计，在利用视觉几何知识，对机器人当前位置进行更加精确的估计；利用关键帧选择策略，实现局部地图点的稀疏构建；在融合IMU信息的视觉信息匹配的基础之上，采用基于图优化的后端优化算法，将空间地图点投影因子与IMU因子作为因子图中的因子，实时的对地图位置进行精确和实时的估计。本发明实现了基于双目视觉和惯导信息的机器人同步定位于地图创建算法，能够对机器人运动和周围环境信息进行精确的估计。
本发明的有益效果主要表现在：采用了视觉信息和IMU信息融合的方法，能够很好的解决视觉SLAM中的问题，并提高SLAM***的鲁棒性；准确性高，适应性强。
附图说明
图1是本发明***结构图示。
图2是本发明***流程图示。
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1和图2，一种基于双目视觉特征和IMU信息的机器人定位与地图构建***，包括：双目信息采集、特征提取与匹配模块(1)、改进的IMU初始化及其运动模块(2)、视觉SLAM算法初始化和跟踪模块(3)、局部建图模块(4)、回环检测和优化模块(5)；所述双目信息采集、特征提取与匹配模块(1)包括：双目ORB特征提取子模块(1.1)、双目特征匹配子模块(1.2)、IMU信息采集子模块(1.3)；所述改进的IMU初始化及其运动模块(2)包括：IMU角速率偏差估计子模块(2.1)、重力加速度预估子模块(2.2)、IMU加速度偏差估计子模块(2.3)、IMU预积分子模块(2.4)；所述视觉SLAM算法初始化及跟踪模块(3)包括：跟踪帧间运动子模块(3.1)、关键帧产生子模块(3.2)；所述局部建图模块(4)包括：新关键帧***子模块(4.1)、局部BA优化子模块(4.2)、剔除冗余关键帧模块(4.3)；所述回环检测及优化模块(5)包括：回环检测子模块(5.1)、全局优化子模块(5.2)。
所述双目信息采集、特征提取和匹配模块(1)中，双目ORB特征提取子模块(1.1)通过接受机器人移动过程中双目相机拍摄的图片，使用ORB特征提取算法提取左右图像中的ORB特征，将提取的结果存储；双目特征匹配模块(1.2)对左右图片提取的特征点进行匹配，得到特征点的深度信息；IMU信息采集模块(1.3)对机器人内部IMU信息进行收集；
所述改进的IMU初始化及其运动模块(2)中，IMU角速率偏差估计子模块(2.1)利用视觉SLAM结果，采用优化方法对IMU角速率偏差估计；重力加速度及IMU加速度偏差预估子模块(2.2)，利用子模块(2.1)结果，对连续N个关键帧，利用其之间关系获得线性方程，求解得到重力加速度；对加速度偏差估计是将重力加速度对IMU加速度的影响排除，在重新对连续当前帧状态的优化个关键帧两两结合，求解方程得到重力加速度的重估计，同时得到IMU加速度偏差；IMU加速度偏差估计子模块(2.3)，利用子模块(2.2)的结果，将重力加速度对IMU加速度的影响排除，重新对连续N个关键帧求解方程得到重力加速度的重估计，同时得到IMU加速度偏差；IMU预积分子模块(2.4)将连续两个图像帧之间的所有IMU数据通过IMU预积分模型集合成一个单独的观测值，得到机器人的运动模型与机器人当前的位姿估计；
所述视觉SLAM算法初始化及跟踪模块(3)中，视觉SLAM算法初始化及跟踪模块(3.1)计算连续两个图像之间的ORB特征匹配，计算出本征矩阵，再利用集束优化对估算记过进行进一步估计；在子模块(3.1)成功返回后，***开始以纯视觉的方式追踪，关键帧产生子模块(3.2)监控追踪中间结果，当当前帧满足关键帧的条件则将当前帧加入关键帧集合当中，并把当前的关键帧作为追踪参考帧，；
所述局部建图模块(4)中，新关键帧***子模块(4.1)根据上一子模块生成的关键帧，***关键帧队列中；局部BA优化子模块(4.2)，在关键帧***后，对当前局部视图的关键帧与地图点云作集束优化；剔除冗余的关键帧子模块(4.3)，根据***的关键帧，利用筛选策略删除窗口中多余的关键帧，保证地图的大小。
所述回环检测与优化模块(5)中，回环检测子模块(5.1)将当前帧在数据库中关键帧集合进行查询，检测回环；在子模块(5.2)成功返回后，对回环上所有关键帧的位姿进行估计，全局优化子模块(5.3)对回环中的所有关键帧进行全局的图优化，误差因子包括视觉投影因子和IMU因子。
下面进一步具体介绍对模块的执行情况。
所述双目信息采集、特征提取和匹配模块(1)中：
双目ORB特征提取子模块(1.1)，在每次机器人采集到左右图像后，用于对图像进行ORB特征的提取，选取ORB特征作为图像特征的原因在于ORB特征具有较好的视角光照不变性，并且ORB特征作为一种二进制的视觉特征，具有提取速度快和匹配速度快的特点，很适合要求实时性的SLAM***。提取后ORB特征后，将提取的结果存储。
双目特征匹配子模块(1.2)，由于左右图像经过极线校正，搜索匹配点时只需在同一行进行匹配，在每次机器人采集到图像提取特征点后，利用特征点的描述子匹配，利用双目视觉的三角法可计算特征点的绝对尺度，计算公式如下：
在上述公式中，f为相机的焦距，B为两摄像机光心之间的距离；D为视差，即左右图片同一特征点的距离差值，z为特征点的深度；
IMU信息采集子模块(1.3)，用于对机器人内部的IMU数据进行实时采集，并送至IMU预积分子模块(4.1)中进行处理，这是因为IMU信息采集模块所采集到的IMU数据频率远高于视觉图像采集频率，利用IMU预积分可以减少基于因子图的回环检测与优化模块(5)的计算压力。
所述改进的IMU初始化及其运动模块(2)中，IMU角速率偏差估计子模块(2.1)，利用双目视觉SLAM的结果，将IMU角速率偏差变量加入到机器人状态向量之中，对IMU角速率偏差估计。优化公式为：
其中，N是当前关键帧数量,是由纯视觉SLAM算法计算得到的摄像机中心C坐标与摄像机与IMU中心(记作B)之间的标定矩阵RCB相乘得到，ΔRi,i+1是根据IMU预积分子模块(2.4)得到的i和i+1关键帧之间的旋转矩阵；是根据IMU预积分子模块(2.4)得到的ΔRi,i+1随角速率偏差变化方程的一阶近似；通过对优化方程进行求解，得到IMU角速率偏差bg。
重力加速度预估子模块(3.2)，利用IMU角速率偏差估计子模块(2.1)的结果，对于两个相连接的关键帧之间的关系，利用预积分测量值Δv，得到方程：
在上述公式中，RWC代表摄像机中心C相对于世界坐标W的旋转矩阵，RWB代表IMU中心B相对于世界坐标的旋转矩阵，pCB代表IMU中心B在摄像机坐标下的位置，Δt为帧间的时间差，代表帧间的相机速度，s是特征点的绝对尺度，通过计算可得，重力加速度gw。
IMU加速度偏差估计子模块(2.3)，利用重力加速度预估子模块(2.2)的结果，利用连续三个关键帧之间的线性关系：
用1,2,3代表i,i+1,i+2三个连续的关键帧，对上式中的各项计算方程如下：
在上式中，[ ](；1:2)指使用矩阵的前两列，RWC代表摄像机中心C相对于世界坐标W的旋转矩阵，RWB代表IMU中心B相对于世界坐标的旋转矩阵，RWI代表当前坐标相对于世界坐标的旋转矩，pB代表IMU中心B在世界坐标下的位置，I为单位矩阵Δt为帧间的时间差，Δv代表帧间的相机速度，δθxy是需要估计的重力加速度方向角，ba是加速度偏差。将所有的三连续关键帧等式堆积成一个线性方程，记作：
A3(N-2)×5X5×1＝B3(N-2)×1
通过上面的线程方程进行奇异值分解，得到重力加速度方向δθxy以及IMU加速度偏差ba。
IMU预积分子模块，将连续两个图像帧之间的所有IMU数据通过B预积分模型集合成一个单独的观测值，得到机器人的运动模型与机器人当前位估计。将IMU标记为B，IMU输出的加速度与角速率表示为αB与ωB，则在两个IMU输出i与i+1之间机器人的运动方程为：
在k与k+1两个关键帧直接的IMU预积分结果记作ΔR、Δv、Δp，则得到两个关键帧之间的运动模型:
在上式中RWB代表IMU中心B相对于世界坐标的旋转，vB代表IMU的速度，pB代表IMU中心B在世界坐标下的位置，bg、ba分别代表角速率与加速度的偏差。雅可比矩阵和代表的是IMU预积分观测值随偏差变化方程的一阶近似。
所述视觉SLAM算法初始化及跟踪模块(3)中，跟踪帧间运动子模块(3.1)，利用ORB特征提取子模块(1.1)提取特征后，对连续两个初始化图像Fc,Fr上的特征进行特征匹配，利用PnP算法求解出两者之间的位姿关系。此后可以利用SLAM***追踪不断的对机器人位置进行估计。利用集束优化对估算进一步估计的原因在于集束优化可以修正位姿矩阵，使之更符合ORB特征匹配结果。
关键帧产生子模块(3.2)，根据规则，决定是否将当前帧选择为关键帧。其规则如下：
1)至少离上一次重定位距离20帧；
2)局部建图空闲或离上一次关键帧***相差已有20帧；
3)当前帧中至少含有50个特征点。
所述局部建图模块(4)中，新关键帧***子模块(4.1)，利用子模块(3.2)生成的关键帧***到队列中，更新内容有关视图和与关键帧具有相同地图点云产生的边缘，同时更新节点与其他关键帧的链接。然后，剔除局部视图不合格的云点，重新生成新的云点。
局部BA优化子模块(4.2)，局部BA优化当前的关键帧,在交互视图集中所有连接到它的关键帧，和所有被这些关键帧观测到的地图云点。所有其他能够观测到这些云点的关键帧,但没有连接到当前关键帧的关键帧会被优化；其中投影误差为：
Eproj(i)＝ρ((x-π(XC))T∑I(x-π(XC)))
其中π(XC)为投影公式，x代表空间点在当前帧上的投影坐标，从世界坐标系坐标值XW到相机坐标系坐标值XC的转换为：
在上式中RCB代表IMU中心B相对于当前相机中心C坐标的旋转矩阵，RBW代表世界坐标W对于IMU中心B的旋转矩阵。pCB代表IMU中心B相对于当前当前相机中心C坐标的平移向量，pWB代表IMU中心B相对于当前世界坐标W的平移向量；
IMU因子可以表示为:
其中各个误差项分布表示为：
上式中代表两帧间旋转变换ΔR相对于重力加速度的一阶近似，代表两帧间速度化Δv相对于重力加速度的一阶近似，代表两帧间速度变化Δv相对于加速度的一阶近似。RBW代表世界坐标W对于IMU中心B的旋转矩阵，RWB代表IMU坐标B到世界坐标W的旋转矩阵。bg,ba分别代表角速率和加速度的偏差，eR,ep,ev,eb分别表示的是旋转、平移、速度和IMU偏差带来的误差项。我们将其都视为高斯分布，∑I是预积分的信息矩阵，∑R是偏差的随机游走信息矩阵代表的是huber robust损失方程。
剔除冗余关键帧模块(4.3),由于IMU短时的特性，如果局部BA的本地窗口中的两个连续关键帧的差异不超过0.5秒，允许跟踪线程丢弃多余的关键帧。但是为了能够执行全局优化，在循环关闭之后或者在任何时候细化地图，我们不允许任何两个连续的关键帧差异超过3秒。如果我们使用IMU约束关闭完整的BA，我们只需要限制本地窗口中关键帧之间的时间偏移。
所述回环检测与优化模块(5)中，回环检测子模块(5.1)，计算当前关键帧的词袋向量，与其视图相关的邻近图像计算相似度，保留最低分值。然后，我们检索图像识别数据库，丢掉那些分值低于最低分值的关键帧，将当前帧在数据库中关键帧集合进行查询。
全局优化子模块(5.2)，对回环上的所有关键帧进行估计，此时仅考虑视觉投影因子，投影因子公式如当前帧状态的优化子模块(4.2)中所示。
以在配备双目相机和IMU的机器人的设备为例，详细介绍本实施例在此设备上的执行过程。
首先在双目与IMU信息采集和深度信息获取模块(1)中，对双目视觉信息进行特征提取及特征匹配，并对IMU信息进行采集，这两部分将获取的传感器信息传入后续模块，因为机器人在空间中运动，这两个部分将不断的对传感器新得到的数据进行采集和提取。利用双目相机采集图像，将图像送至特征提取算法，将提取到的图像特征的位置与描述子保存，同时利用提取到左右图片的特征点，进行匹配计算特征点的深度并保存。同时对IMU传感器的信号进行采集并送至IMU预积分算法进行处理。
当双目视觉SLAM执行一段时间后，改进的IMU初始化及其运动模块(2)开始运行。首先是IMU角速率偏差估计，将得到IMU的角速率偏差估计结果。其次重力加速度预估计对重力加速度进行初步的估计，利用加速度偏差估计结果与尺度可得到重力加速度，可以对IMU加速度偏差进行更为精确的估计。IMU加速度偏差估计和重力加速度重估计是对IMU加速度偏差进行估计，同时对重力加速度再次估计。利用双目与IMU信息采集和深度信息获取模块(1)得到的IMU信息数据，建立基于IMU预计分的运动模型。
利用提取到的特征点信息，视觉SLAM算法初始化及跟踪模块(3)对视觉SLAM部分进行初始化操作。依次对追踪模块，关键帧产生模块和地图点进行初始化。初始化后的***保存了初始化得到的地图点，以及最初的位置信息。视觉初始化完毕后，***将执行跟踪算法部分，对帧间位姿进行估计。同时利用关键帧选择策略，生成关键帧。利用IMU的运动学模型与双目视觉位姿信息，对每一个关键帧的速度进行估计，完成融合IMU信息的算法的初始化工作。此部分能够使得双目视觉SLAM的结果更加鲁棒，减少跟踪失败的情况。
跟踪算法解决了关联的数据问题，之后将进行局部地图的构建。根据上一模块生成的关键帧，在局部视图里，对当前关键帧及其相关视图所看到的地图点云，进行局部BA优化，优化包括对IMU及视觉位姿的同时优化。优化后，可以删除队列中一定时间间隔的关键帧，以避免在区域内增加地图的大小。
利用基于图优化算法的回环检测与优化模块(5)对构建的地图进行全局优化，获得有关机器人位置和地图点更精确的估计。这一模块分为两个部分分别进行。首先检测回环子模块(5.1)计算当前关键帧的词袋向量，与其视图相关的邻近图像计算相似度，保留最低分值。然后，我们检索图像识别数据库，丢掉那些分值低于最低分值的关键帧，将当前帧在数据库中关键帧集合进行查询，当检测到回环，则对回环上所有关键帧的位姿进行估计。全局位姿优化子模块(5.2)在每个关键帧***的时候进行，为了对关键帧和地图点的位置进一步估计，并且对当前所有关键帧的位姿在当前情况下进行进一步的优化，这一步利用了回环检测的结果，能够消除累计的误差照成的影响。

Claims (6)

1.一种基于双目视觉特征和IMU信息的机器人定位与地图构建***，其特征在于，所述***包括双目信息采集、特征提取与匹配模块，改进的IMU初始化及其运动模块，视觉SLAM算法初始化和跟踪模块，局部建图模块，回环检测和优化模块；所述双目信息采集、特征提取与匹配模块包括双目ORB特征提取子模块、双目特征匹配子模块和IMU信息采集子模块；所述改进的IMU初始化及其运动模块包括IMU角速率偏差估计子模块、重力加速度预估子模块、IMU加速度偏差估计子模块和IMU预积分子模块；所述视觉SLAM算法初始化和跟踪模块包括跟踪帧间运动子模块和关键帧产生子模块；所述局部建图模块包括新关键帧***子模块、局部BA优化子模块和剔除冗余关键帧模块；所述回环检测及优化模块包括回环检测子模块和全局优化子模块。
2.如权利要求1所述的基于双目视觉特征和IMU信息的机器人定位与地图构建***，其特征在于，所述双目信息采集、特征提取和匹配模块中，双目ORB特征提取子模块通过接受机器人移动过程中双目相机拍摄的图片，使用ORB特征提取算法提取左右图像中的ORB特征，将提取的结果存储；双目特征匹配模块对左右图片提取的特征点进行匹配，得到特征点的深度信息；IMU信息采集模块对机器人内部IMU信息进行收集。
3.如权利要求1或2所述的基于双目视觉特征和IMU信息的机器人定位与地图构建***，其特征在于，所述改进的IMU初始化及其运动模块中，IMU角速率偏差估计子模块利用视觉SLAM结果，采用优化方法对IMU角速率偏差估计；重力加速度及IMU加速度偏差预估子模块，利用IMU角速率偏差估计子模块的结果，对连续N个关键帧，利用其之间关系获得线性方程，求解得到重力加速度；对加速度偏差估计是将重力加速度对IMU加速度的影响排除，在重新对连续当前帧状态的优化个关键帧两两结合，求解方程得到重力加速度的重估计，同时得到IMU加速度偏差；IMU加速度偏差估计子模块，利用重力加速度及IMU加速度偏差预估子模块的结果，将重力加速度对IMU加速度的影响排除，重新对连续N个关键帧求解方程得到重力加速度的重估计，同时得到IMU加速度偏差；IMU预积分子模块将连续两个图像帧之间的所有IMU数据通过IMU预积分模型集合成一个单独的观测值，得到机器人的运动模型与机器人当前的位姿估计。
4.如权利要求1或2所述的基于双目视觉特征和IMU信息的机器人定位与地图构建***，其特征在于，所述视觉SLAM算法初始化及跟踪模块中，跟踪帧间运动子模块计算连续两个图像之间的ORB特征匹配，计算出本征矩阵，再利用集束优化对估算记过进行进一步估计；在成功返回后，***开始以纯视觉的方式追踪，关键帧产生子模块监控追踪中间结果，当当前帧满足关键帧的条件则将当前帧加入关键帧集合当中，并把当前的关键帧作为追踪参考帧。
5.如权利要求1或2所述的基于双目视觉特征和IMU信息的机器人定位与地图构建***，其特征在于，所述局部建图模块中，新关键帧***子模块)根据上一子模块生成的关键帧，***关键帧队列中；局部BA优化子模块)，在关键帧***后，对当前局部视图的关键帧与地图点云作集束优化；剔除冗余的关键帧子模块，根据***的关键帧，利用筛选策略删除窗口中多余的关键帧，保证地图的大小。
6.如权利要求1或2所述的基于双目视觉特征和IMU信息的机器人定位与地图构建***，其特征在于，所述回环检测与优化模块中，回环检测子模块将当前帧在数据库中关键帧集合进行查询，检测回环；在成功返回后，对回环上所有关键帧的位姿进行估计，全局优化子模块对回环中的所有关键帧进行全局的图优化，误差因子包括视觉投影因子和IMU因子。
CN201810218153.1A 2018-03-16 2018-03-16 基于双目视觉特征和imu信息的机器人定位与地图构建*** Pending CN108665540A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810218153.1A CN108665540A (zh) 2018-03-16 2018-03-16 基于双目视觉特征和imu信息的机器人定位与地图构建***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810218153.1A CN108665540A (zh) 2018-03-16 2018-03-16 基于双目视觉特征和imu信息的机器人定位与地图构建***

Publications (1)

Publication Number Publication Date
CN108665540A true CN108665540A (zh) 2018-10-16

Family

ID=63785213

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810218153.1A Pending CN108665540A (zh) 2018-03-16 2018-03-16 基于双目视觉特征和imu信息的机器人定位与地图构建***

Country Status (1)

Country Link
CN (1) CN108665540A (zh)

Cited By (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109461208A (zh) * 2018-11-15 2019-03-12 网易（杭州）网络有限公司 三维地图处理方法、装置、介质和计算设备
CN109579840A (zh) * 2018-10-25 2019-04-05 中国科学院上海微***与信息技术研究所 一种点线特征融合的紧耦合双目视觉惯性slam方法
CN109658507A (zh) * 2018-11-27 2019-04-19 联想(北京)有限公司 信息处理方法及装置、电子设备
CN109712170A (zh) * 2018-12-27 2019-05-03 广东省智能制造研究所 环境对象追踪方法、装置、计算机设备和存储介质
CN109767470A (zh) * 2019-01-07 2019-05-17 浙江商汤科技开发有限公司 一种跟踪***初始化方法及终端设备
CN109781092A (zh) * 2019-01-19 2019-05-21 北京化工大学 一种危险化工事故中移动机器人定位与建图方法
CN109871803A (zh) * 2019-02-18 2019-06-11 清华大学 机器人回环检测方法和装置
CN109993113A (zh) * 2019-03-29 2019-07-09 东北大学 一种基于rgb-d和imu信息融合的位姿估计方法
CN110084853A (zh) * 2019-04-22 2019-08-02 北京易达图灵科技有限公司 一种视觉定位方法及***
CN110111389A (zh) * 2019-05-14 2019-08-09 南京信息工程大学 一种基于slam的移动增强现实跟踪注册方法和***
CN110118554A (zh) * 2019-05-16 2019-08-13 深圳前海达闼云端智能科技有限公司 基于视觉惯性的slam方法、装置、存储介质和设备
CN110125928A (zh) * 2019-03-27 2019-08-16 浙江工业大学 一种基于前后帧进行特征匹配的双目惯导slam***
CN110458863A (zh) * 2019-06-25 2019-11-15 广东工业大学 一种基于rgbd与编码器融合的动态slam***
CN110471422A (zh) * 2019-08-29 2019-11-19 南京理工大学 智能轮椅的障碍物检测与自主避障方法
CN110487274A (zh) * 2019-07-30 2019-11-22 中国科学院空间应用工程与技术中心 用于弱纹理场景的slam方法、***、导航车及存储介质
CN110514199A (zh) * 2019-08-28 2019-11-29 爱笔（北京）智能科技有限公司 一种slam***的回环检测方法及装置
CN110648370A (zh) * 2019-09-29 2020-01-03 百度在线网络技术（北京）有限公司 标定数据筛选方法、装置及电子设备
CN110986968A (zh) * 2019-10-12 2020-04-10 清华大学 三维重建中实时全局优化和错误回环判断的方法及装置
CN111089579A (zh) * 2018-10-22 2020-05-01 北京地平线机器人技术研发有限公司 异构双目slam方法、装置及电子设备
CN111145251A (zh) * 2018-11-02 2020-05-12 深圳市优必选科技有限公司 一种机器人及其同步定位与建图方法和计算机存储设备
CN111220155A (zh) * 2020-03-04 2020-06-02 广东博智林机器人有限公司 基于双目视觉惯性里程计估计位姿的方法、装置与处理器
WO2020108285A1 (zh) * 2018-11-30 2020-06-04 华为技术有限公司 地图构建方法、装置及***、存储介质
CN111258313A (zh) * 2020-01-20 2020-06-09 深圳市普渡科技有限公司 多传感器融合slam***及机器人
CN111311684A (zh) * 2020-04-01 2020-06-19 亮风台（上海）信息科技有限公司 一种进行slam初始化的方法与设备
CN111307146A (zh) * 2020-03-02 2020-06-19 北京航空航天大学青岛研究院 一种基于双目相机和imu的虚拟现实头戴显示设备定位***
CN111323009A (zh) * 2020-03-09 2020-06-23 西南交通大学 一种磁悬浮列车定位方法及***
CN111561923A (zh) * 2020-05-19 2020-08-21 北京数字绿土科技有限公司 基于多传感器融合的slam制图方法、***
CN111737278A (zh) * 2020-08-05 2020-10-02 鹏城实验室 同时定位与建图方法、***、设备及存储介质
CN111784835A (zh) * 2020-06-28 2020-10-16 北京百度网讯科技有限公司 制图方法、装置、电子设备及可读存储介质
CN111899276A (zh) * 2020-07-07 2020-11-06 武汉大学 一种基于双目事件相机的slam方法及***
CN112082545A (zh) * 2020-07-29 2020-12-15 武汉威图传视科技有限公司 一种基于imu和激光雷达的地图生成方法、装置及***
CN112197770A (zh) * 2020-12-02 2021-01-08 北京欣奕华数字科技有限公司 一种机器人的定位方法及其定位装置
CN112233177A (zh) * 2020-10-10 2021-01-15 中国安全生产科学研究院 一种无人机位姿估计方法及***
WO2021035703A1 (zh) * 2019-08-30 2021-03-04 深圳市大疆创新科技有限公司 跟踪方法和可移动平台
CN112509006A (zh) * 2020-12-11 2021-03-16 北京华捷艾米科技有限公司 一种子地图恢复融合方法及装置
CN112581514A (zh) * 2019-09-30 2021-03-30 浙江商汤科技开发有限公司 一种地图构建方法及装置、存储介质
CN112684430A (zh) * 2020-12-23 2021-04-20 哈尔滨工业大学（威海） 一种室内老人行走健康检测方法、***、存储介质、终端
CN112747749A (zh) * 2020-12-23 2021-05-04 浙江同筑科技有限公司 一种基于双目视觉和激光融合定位导航***
CN112767546A (zh) * 2021-01-22 2021-05-07 湖南大学 移动机器人基于双目图像的视觉地图生成方法
CN113076988A (zh) * 2021-03-25 2021-07-06 重庆邮电大学 基于神经网络的移动机器人视觉slam关键帧自适应筛选方法
CN113516714A (zh) * 2021-07-15 2021-10-19 北京理工大学 基于imu预积分信息加速特征匹配的视觉slam方法
CN113674340A (zh) * 2021-07-05 2021-11-19 北京物资学院 一种基于路标点的双目视觉导航方法与装置
CN113720323A (zh) * 2021-07-30 2021-11-30 安徽大学 基于点线特征融合的单目视觉贯导slam方法及装置
CN113781582A (zh) * 2021-09-18 2021-12-10 四川大学 基于激光雷达和惯导联合标定的同步定位与地图创建方法
CN114485620A (zh) * 2022-01-29 2022-05-13 中国科学院国家空间科学中心 融合轨道动力学的小行星探测器自主视觉定位***及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106446815A (zh) * 2016-09-14 2017-02-22 浙江大学 一种同时定位与地图构建方法
CN107193279A (zh) * 2017-05-09 2017-09-22 复旦大学 基于单目视觉和imu信息的机器人定位与地图构建***

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106446815A (zh) * 2016-09-14 2017-02-22 浙江大学 一种同时定位与地图构建方法
CN107193279A (zh) * 2017-05-09 2017-09-22 复旦大学 基于单目视觉和imu信息的机器人定位与地图构建***

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
RA’UL MUR-ARTAL 等: "Visual-Inertial Monocular SLAM with Map Reuse", 《IEEE ROBOTICS AND AUTOMATION LETTERS》 *
XUE-BO ZHANG 等: "An Extended Kalman Filter-Based Robot Pose Estimation Approach with Vision and Odometry", 《WEARABLE SENSORS AND ROBOTS》 *
熊敏君 等: "基于单目视觉与惯导融合的无人机位姿估计", 《计算机应用》 *

Cited By (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111089579A (zh) * 2018-10-22 2020-05-01 北京地平线机器人技术研发有限公司 异构双目slam方法、装置及电子设备
CN109579840A (zh) * 2018-10-25 2019-04-05 中国科学院上海微***与信息技术研究所 一种点线特征融合的紧耦合双目视觉惯性slam方法
CN111145251B (zh) * 2018-11-02 2024-01-02 深圳市优必选科技有限公司 一种机器人及其同步定位与建图方法和计算机存储设备
CN111145251A (zh) * 2018-11-02 2020-05-12 深圳市优必选科技有限公司 一种机器人及其同步定位与建图方法和计算机存储设备
CN109461208A (zh) * 2018-11-15 2019-03-12 网易（杭州）网络有限公司 三维地图处理方法、装置、介质和计算设备
CN109658507A (zh) * 2018-11-27 2019-04-19 联想(北京)有限公司 信息处理方法及装置、电子设备
WO2020108285A1 (zh) * 2018-11-30 2020-06-04 华为技术有限公司 地图构建方法、装置及***、存储介质
CN109712170A (zh) * 2018-12-27 2019-05-03 广东省智能制造研究所 环境对象追踪方法、装置、计算机设备和存储介质
CN109767470A (zh) * 2019-01-07 2019-05-17 浙江商汤科技开发有限公司 一种跟踪***初始化方法及终端设备
CN109767470B (zh) * 2019-01-07 2021-03-02 浙江商汤科技开发有限公司 一种跟踪***初始化方法及终端设备
CN109781092A (zh) * 2019-01-19 2019-05-21 北京化工大学 一种危险化工事故中移动机器人定位与建图方法
CN109781092B (zh) * 2019-01-19 2021-01-19 北京化工大学 一种危险化工事故中移动机器人定位与建图方法
CN109871803A (zh) * 2019-02-18 2019-06-11 清华大学 机器人回环检测方法和装置
CN109871803B (zh) * 2019-02-18 2020-12-08 清华大学 机器人回环检测方法和装置
CN110125928B (zh) * 2019-03-27 2021-04-06 浙江工业大学 一种基于前后帧进行特征匹配的双目惯导slam***
CN110125928A (zh) * 2019-03-27 2019-08-16 浙江工业大学 一种基于前后帧进行特征匹配的双目惯导slam***
CN109993113B (zh) * 2019-03-29 2023-05-02 东北大学 一种基于rgb-d和imu信息融合的位姿估计方法
CN109993113A (zh) * 2019-03-29 2019-07-09 东北大学 一种基于rgb-d和imu信息融合的位姿估计方法
CN110084853A (zh) * 2019-04-22 2019-08-02 北京易达图灵科技有限公司 一种视觉定位方法及***
CN110111389B (zh) * 2019-05-14 2023-06-02 南京信息工程大学 一种基于slam的移动增强现实跟踪注册方法和***
CN110111389A (zh) * 2019-05-14 2019-08-09 南京信息工程大学 一种基于slam的移动增强现实跟踪注册方法和***
CN110118554A (zh) * 2019-05-16 2019-08-13 深圳前海达闼云端智能科技有限公司 基于视觉惯性的slam方法、装置、存储介质和设备
CN110458863B (zh) * 2019-06-25 2023-12-01 广东工业大学 一种基于rgbd与编码器融合的动态slam***
CN110458863A (zh) * 2019-06-25 2019-11-15 广东工业大学 一种基于rgbd与编码器融合的动态slam***
CN110487274B (zh) * 2019-07-30 2021-01-29 中国科学院空间应用工程与技术中心 用于弱纹理场景的slam方法、***、导航车及存储介质
CN110487274A (zh) * 2019-07-30 2019-11-22 中国科学院空间应用工程与技术中心 用于弱纹理场景的slam方法、***、导航车及存储介质
CN110514199B (zh) * 2019-08-28 2021-10-22 爱笔（北京）智能科技有限公司 一种slam***的回环检测方法及装置
CN110514199A (zh) * 2019-08-28 2019-11-29 爱笔（北京）智能科技有限公司 一种slam***的回环检测方法及装置
CN110471422A (zh) * 2019-08-29 2019-11-19 南京理工大学 智能轮椅的障碍物检测与自主避障方法
WO2021035703A1 (zh) * 2019-08-30 2021-03-04 深圳市大疆创新科技有限公司 跟踪方法和可移动平台
CN110648370B (zh) * 2019-09-29 2022-06-03 阿波罗智联(北京)科技有限公司 标定数据筛选方法、装置及电子设备
CN110648370A (zh) * 2019-09-29 2020-01-03 百度在线网络技术（北京）有限公司 标定数据筛选方法、装置及电子设备
CN112581514A (zh) * 2019-09-30 2021-03-30 浙江商汤科技开发有限公司 一种地图构建方法及装置、存储介质
CN110986968B (zh) * 2019-10-12 2022-05-24 清华大学 三维重建中实时全局优化和错误回环判断的方法及装置
CN110986968A (zh) * 2019-10-12 2020-04-10 清华大学 三维重建中实时全局优化和错误回环判断的方法及装置
CN111258313A (zh) * 2020-01-20 2020-06-09 深圳市普渡科技有限公司 多传感器融合slam***及机器人
CN111307146A (zh) * 2020-03-02 2020-06-19 北京航空航天大学青岛研究院 一种基于双目相机和imu的虚拟现实头戴显示设备定位***
CN111220155A (zh) * 2020-03-04 2020-06-02 广东博智林机器人有限公司 基于双目视觉惯性里程计估计位姿的方法、装置与处理器
CN111323009A (zh) * 2020-03-09 2020-06-23 西南交通大学 一种磁悬浮列车定位方法及***
CN111311684A (zh) * 2020-04-01 2020-06-19 亮风台（上海）信息科技有限公司 一种进行slam初始化的方法与设备
CN111311684B (zh) * 2020-04-01 2021-02-05 亮风台（上海）信息科技有限公司 一种进行slam初始化的方法与设备
CN111561923B (zh) * 2020-05-19 2022-04-15 北京数字绿土科技股份有限公司 基于多传感器融合的slam制图方法、***
CN111561923A (zh) * 2020-05-19 2020-08-21 北京数字绿土科技有限公司 基于多传感器融合的slam制图方法、***
CN111784835B (zh) * 2020-06-28 2024-04-12 北京百度网讯科技有限公司 制图方法、装置、电子设备及可读存储介质
CN111784835A (zh) * 2020-06-28 2020-10-16 北京百度网讯科技有限公司 制图方法、装置、电子设备及可读存储介质
CN111899276A (zh) * 2020-07-07 2020-11-06 武汉大学 一种基于双目事件相机的slam方法及***
CN112082545A (zh) * 2020-07-29 2020-12-15 武汉威图传视科技有限公司 一种基于imu和激光雷达的地图生成方法、装置及***
CN112082545B (zh) * 2020-07-29 2022-06-21 武汉威图传视科技有限公司 一种基于imu和激光雷达的地图生成方法、装置及***
CN111737278B (zh) * 2020-08-05 2020-12-04 鹏城实验室 同时定位与建图方法、***、设备及存储介质
CN111737278A (zh) * 2020-08-05 2020-10-02 鹏城实验室 同时定位与建图方法、***、设备及存储介质
CN112233177A (zh) * 2020-10-10 2021-01-15 中国安全生产科学研究院 一种无人机位姿估计方法及***
CN112197770A (zh) * 2020-12-02 2021-01-08 北京欣奕华数字科技有限公司 一种机器人的定位方法及其定位装置
CN112509006A (zh) * 2020-12-11 2021-03-16 北京华捷艾米科技有限公司 一种子地图恢复融合方法及装置
CN112747749A (zh) * 2020-12-23 2021-05-04 浙江同筑科技有限公司 一种基于双目视觉和激光融合定位导航***
CN112684430A (zh) * 2020-12-23 2021-04-20 哈尔滨工业大学（威海） 一种室内老人行走健康检测方法、***、存储介质、终端
CN112747749B (zh) * 2020-12-23 2022-12-06 浙江同筑科技有限公司 一种基于双目视觉和激光融合定位导航***
CN112767546B (zh) * 2021-01-22 2022-08-02 湖南大学 移动机器人基于双目图像的视觉地图生成方法
CN112767546A (zh) * 2021-01-22 2021-05-07 湖南大学 移动机器人基于双目图像的视觉地图生成方法
CN113076988B (zh) * 2021-03-25 2022-06-03 重庆邮电大学 基于神经网络的移动机器人视觉slam关键帧自适应筛选方法
CN113076988A (zh) * 2021-03-25 2021-07-06 重庆邮电大学 基于神经网络的移动机器人视觉slam关键帧自适应筛选方法
CN113674340A (zh) * 2021-07-05 2021-11-19 北京物资学院 一种基于路标点的双目视觉导航方法与装置
CN113516714A (zh) * 2021-07-15 2021-10-19 北京理工大学 基于imu预积分信息加速特征匹配的视觉slam方法
CN113720323B (zh) * 2021-07-30 2024-01-23 安徽大学 基于点线特征融合的单目视觉惯导slam方法及装置
CN113720323A (zh) * 2021-07-30 2021-11-30 安徽大学 基于点线特征融合的单目视觉贯导slam方法及装置
CN113781582B (zh) * 2021-09-18 2023-09-19 四川大学 基于激光雷达和惯导联合标定的同步定位与地图创建方法
CN113781582A (zh) * 2021-09-18 2021-12-10 四川大学 基于激光雷达和惯导联合标定的同步定位与地图创建方法
CN114485620B (zh) * 2022-01-29 2023-07-28 中国科学院国家空间科学中心 融合轨道动力学的小行星探测器自主视觉定位***及方法
CN114485620A (zh) * 2022-01-29 2022-05-13 中国科学院国家空间科学中心 融合轨道动力学的小行星探测器自主视觉定位***及方法

Similar Documents

Publication Publication Date Title
CN108665540A (zh) 基于双目视觉特征和imu信息的机器人定位与地图构建***
CN107193279A (zh) 基于单目视觉和imu信息的机器人定位与地图构建***
CN109166149B (zh) 一种融合双目相机与imu的定位与三维线框结构重建方法与***
Sarlin et al. Back to the feature: Learning robust camera localization from pixels to pose
Zhou et al. To learn or not to learn: Visual localization from essential matrices
Gálvez-López et al. Real-time monocular object slam
CN112634451B (zh) 一种融合多传感器的室外大场景三维建图方法
CN110345944A (zh) 融合视觉特征和imu信息的机器人定位方法
Huang Review on LiDAR-based SLAM techniques
CN110125928A (zh) 一种基于前后帧进行特征匹配的双目惯导slam***
Saeedi et al. Vision-based 3-D trajectory tracking for unknown environments
CN108051002A (zh) 基于惯性测量辅助视觉的运输车空间定位方法及***
CN108682027A (zh) 基于点、线特征融合的vSLAM实现方法及***
CN110717927A (zh) 基于深度学习和视惯融合的室内机器人运动估计方法
Kragic et al. Robust visual servoing
CA2945860C (en) A method for localizing a robot in a localization plane
CN103177269A (zh) 用于估计对象姿态的设备和方法
Pieropan et al. Robust 3D tracking of unknown objects
CN114088081A (zh) 一种基于多段联合优化的用于精确定位的地图构建方法
Azis et al. Substitutive skeleton fusion for human action recognition
Panahandeh et al. Vision-aided inertial navigation using planar terrain features
US10977810B2 (en) Camera motion estimation
CN116380079A (zh) 一种融合前视声呐与orb-slam3的水下slam方法
Kim et al. Vision-based navigation with efficient scene recognition
Peng et al. View-invariant full-body gesture recognition via multilinear analysis of voxel data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination