CN109029433A - 一种移动平台上基于视觉和惯导融合slam的标定外参和时序的方法 - Google Patents

一种移动平台上基于视觉和惯导融合slam的标定外参和时序的方法 Download PDF

Info

Publication number
CN109029433A
CN109029433A CN201810686888.7A CN201810686888A CN109029433A CN 109029433 A CN109029433 A CN 109029433A CN 201810686888 A CN201810686888 A CN 201810686888A CN 109029433 A CN109029433 A CN 109029433A
Authority
CN
China
Prior art keywords
imu
frame
indicate
coordinate system
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810686888.7A
Other languages
English (en)
Other versions
CN109029433B (zh
Inventor
姚莉
王秉凤
吴含前
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN201810686888.7A priority Critical patent/CN109029433B/zh
Publication of CN109029433A publication Critical patent/CN109029433A/zh
Application granted granted Critical
Publication of CN109029433B publication Critical patent/CN109029433B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G01C25/005—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass initial alignment, calibration or starting-up of inertial devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Manufacturing & Machinery (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种移动平台上基于视觉和惯导融合SLAM的标定外参和时序的方法，包括初始化阶段：使用松耦合的方法对齐通过相机和IMU估计的两帧之间的相对旋转参数，估计得到相机和IMU的相对旋转参数；前端阶段：前端完成视觉里程计功能，即根据前几帧估计的相机在世界坐标系中的位姿大致估计当前帧相机在世界坐标系中的位姿，估计的值作为后端优化的初始值；后端阶段：在所有帧中挑选一些关键帧，设置待优化变量，建立一个统一的目标函数，根据对应的约束条件进行优化，从而得到精确的外参。本发明方法所估计的外参误差较低，时序标定轨迹精度高。

Description

一种移动平台上基于视觉和惯导融合SLAM的标定外参和时序 的方法
技术领域
本发明涉及融合相机和IMU(Inertial Measurement Unit，IMU)信息进行定位和地图构建的方法，特别是涉及一种移动平台上基于视觉和惯导融合SLAM的标定外参和时序的方法。
背景技术
随着人们需求的日益丰富和机器人技术的迅速发展，相关领域如无人机、无人驾驶、增强现实等也随之快速进步。这些领域所涉技术众多，包括机械控制、并行计算、传感器技术、信号处理等。在感知上，高度智能的设备离不开自身的定位和对环境的感知，SLAM(Simultaneous Location and Mapping,SLAM)技术正是解决这一问题的关键技术，可以实现在未知环境中进行定位和地图构建，被认为是实现智能设备真正自主的关键。
SLAM(Simultaneous Location and Mapping,SLAM)是指在未知环境中进行定位和地图构建，视觉和惯导融合SLAM是指融合相机和IMU(Inertial Measurement Unit，IMU)信息进行定位和地图构建。移动设备上的视觉惯导融合的SLAM主要应用在无人机、增强现实、室内扫地机器人等方面。
按照核心功能模块来区分，SLAM又分为激光雷达SLAM(激光SLAM)和视觉SLAM(Visual SLAM,VSLAM)。激光雷达能够测得比较准确的距离信息，误差模型简单，理论研究比较成熟，落地产品更加丰富。但是由于激光雷达价格昂贵，在很多激光雷达应用受限的场景(如小型无人机、增强现实等)，VSLAM成为首选解决方案。另外相对于激光雷达，视觉能够提供丰富的纹理信息，具有很强的场景识别能力。近年来，随着相机技术、非线性优化理论的发展和机器性能的提高，VSLAM已经取得了先进的理论成果并具有较为完整的工程体系。视觉SLAM又有单目视觉SLAM和双目视觉SLAM之分，双目SLAM需要两个相机，在***工作之前，需要进行严格的标定工作以获得相机的外参信息。双目SLAM可以获得真实的尺度，但是由于较长的基线(两相机相对位置)才能保证精确的尺度信息，所以双目SLAM的装置一般比较庞大，不适合应用在一些轻巧的设备上，如手机、小型无人机等。而单目SLAM技术只需要一个相机，但是却无法获取场景的精确尺度，常常需要融合其他传感器信息。
随着移动设备的普及以及其计算能力和电池储能的提高，更多技术应用到移动设备上来。移动设备上的SLAM技术具有广泛的应用场景，如移动设备上的增强现实、三维重建、室内场景的定位等等。现有手持移动设备大都装配一个普通相机和多个运动传感器。其中，惯性测量单元(Inertial Measurement Unit，IMU)被广泛使用，它是一种能够提供设备加速度和角速度信息的六轴传感器。融合相机和IMU信息的单目SLAM技术能够解决纯单目视觉SLAM方法无法估计尺度和对视觉特征的过度依赖等问题。目前，该技术主要面临如下难点：
1、由于移动设备上的IMU自身误差很大，如何对IMU的运动进行建模，如何将IMU信息融合到视觉中来是解决本问题的关键；
2、外参估计。如何在初始化阶段估计相机与IMU的外参也是需要解决的问题之一。
3、另外由于硬件的限制，相机和IMU具有不同的时钟，如何在异步的条件下融合相机和IMU也是解决本问题的难点之一。
发明内容
发明目的：针对现有技术的不足，提供一种移动平台上基于视觉和惯导融合SLAM的标定外参和时序的方法。
技术方案：本发明提供了一种移动平台上基于视觉和惯导融合SLAM的标定外参和时序的方法，包括以下步骤：
(1)初始化阶段：使用松耦合的方法对齐通过相机和IMU估计的两帧之间的相对旋转参数，估计得到相机和IMU的相对旋转参数；
(2)前端阶段：前端完成视觉里程计功能，即根据前几帧估计的相机在世界坐标系中的位姿大致估计当前帧相机在世界坐标系中的位姿，估计的值作为后端优化的初始值；
(3)后端阶段：在所有帧中挑选一些关键帧，设置待优化变量，建立一个统一的目标函数，根据对应的约束条件进行优化，从而得到精确的外参。
进一步的，所述步骤(1)包括以下步骤：
(11)在序列帧上建立大小为n的滑动窗口；
(12)通过纯视觉的方法计算窗口内第k(1≤k≤n)帧和第k+1帧之间相机的相对旋转矩阵
(13)利用IMU信息中的角速度积分得到窗口内第k帧和第k+1帧之间IMU的相对旋转矩阵
(14)假设相机与IMU之间的相对位姿为根据之间的关系建立方程：
将用四元数表示为：则上述公式变为：
其中，表示四元数之间的相乘；
将公式四元数相乘展开得到一个约束方程：
其中，是一个4×4的矩阵，w表示四元数的实部，v表示四元数的虚部。(·)^表示向量的外积，E3×3表示3×3的单位矩阵；
(15)重复步骤(12)-(14)，得到多个约束方程，进一步将多个约束方程组成一个超定方程组为：
其中，QN是一个4(n-1)×4的矩阵，通过最小二乘法求解方程组得到的估计；
(16)判断估计是否成功
对QN进行奇异值分解，判断第三大的奇异值是否大于预设阈值，如果大于阈值则估计成功，结束估计；否则，滑动窗口，即移除窗口内的第一帧数据，并把窗口外下一帧数据加入到窗口末端；然后从步骤(12)开始重新进行估计。
进一步的，所述步骤(2)包括以下步骤：
(21)提取特征点，使用ORB特征提取图像上的特征点；
ORB特征的提取包含两部分：改进的FAST关键点的提取和BRIEF描述子的生成；
(a)改进的FAST关键点
①对图像上的一个像素点p，该像素的亮度为Ip；
②设定阈值T；
③以像素点p为中心，选取以p为中心，半径为3的圆上16个像素点；
④如果圆上有连续N个点的像素亮度大于Ip+T或者小于Ip-T，那么像素p被认为是FAST关键点，N通常取12；
⑤对图像上的每一个像素点执行以上四步；
⑥使用非极大值抑制，即在一定区域内仅仅保留Harris响应值最大的关键点；
⑦固定图像上关键点的数量N，对一幅图像上的所有关键点按照Harris响应值排序，选取前N个关键点；
⑧计算特征点的方向，灰度质心法，质心是指图像块中以灰度值作为衡量权重的重心，连接图像块的几何中心和质心得到的方向向量作为特征点的方向；
(b)计算BRIEF描述子
BRIEF是一种二进制描述子，描述向量由0和1组成，0和1是对关键点附近的两个像素p1和p2之间的亮度的比较进行编码的结果，如果则编码为1，否则编码为0；在关键点附近选取128对这样的像素进行比较，并把比较结果写成一个128维的向量作为该关键点的特征描述子；
(22)在相邻帧之间通过匹配特征点的描述子进行特征匹配；
(23)计算特征点在图像上的移动速度：
假设某一特征点Pk在前一帧坐标系上的坐标为Q1，归一化之后的坐标为q1，在当前帧j坐标系上的坐标为Q2，归一化之后的坐标为q2，两帧之间的时间差为t，那么特征点Pk在当前帧上的速度为：
进一步的，所述步骤(3)包括以下步骤：
(31)设置待优化项
外参标定待优化项为：
时序标定待优化项为：
其中，表示第j关键帧上IMU的旋转矩阵、平移向量、速度、陀螺仪的偏差、加速度计的偏差，n表示窗口的大小；表示空间点Pk在当前帧坐标系中的逆深度，即Z轴上的值的倒数，其中k＝1,2,…,m。表示待估计外参，为从IMU坐标系转换到相机坐标系的旋转矩阵，为从IMU坐标系转换到相机坐标系的平移向量，△t表示每一帧中相机和IMU的时间偏差；
(32)建立统一的目标函数：
其中，Pk表示第k个空间点，j表示当前帧，j-1表示上一帧，Eproj(Pk,1,j)表示第k个空间点在当前帧的重投影误差，EIMU(j-1,j)表示IMU误差项；m表示该帧相机能够观测到的空间点的个数，n表示窗口的大小，Eproj和EIMU分别表示相机的重投影误差和IMU的一致性误差；
外参标定中Eproj的定义为：
时序标定中Eproj的定义为：
其中，表示当前帧相机坐标系和第j关键帧相机坐标系之间的相对旋转矩阵，表示从世界坐标系转换到第1帧IMU坐标系的旋转矩阵，表示从第j帧IMU坐标系到世界坐标系的旋转矩阵，表示包括从相机坐标系转换到IMU坐标系的旋转矩阵；表示当前帧相机坐标系和第j关键帧相机坐标系之间的平移向量，Norm(Pk)表示Pk(X,Y,Z)的归一化坐标pkj表示Pk在第j关键帧的观测点坐标；
外参标定和时序标定中EIMU(i,j)的定义为：
其中，eR表示IMU的旋转矩阵的前后帧一致性误差，ev表示IMU的速度的前后帧一致性误差，eP表示IMU的位置的前后帧一致性误差，eb表示IMU的偏差的前后一致性误差，ΣI和ΣR表示误差的协方差矩阵，△Rij表示第i帧坐标系和第j帧坐标系之间在世界坐标系下的旋转矩阵，表示△Rij关于的雅可比矩阵，表示从世界坐标系转换到第i帧IMU坐标系的旋转矩阵，表示第j帧IMU在世界坐标系中的速度，表示第i帧IMU在世界坐标系中的速度，gW表示在世界坐标系下的重力加速度，△tij表示第i帧和第j帧之间的时间差，△vij表示第i帧IMU和第j帧IMU的速度差异，表示△vij关于的雅可比矩阵，表示△vij关于的雅可比矩阵，表示第j帧IMU在世界坐标系下的位置，表示第i帧IMU在世界坐标系下的位置，表示第i帧IMU在世界坐标系中的速度，△Pij表示第i帧IMU和第j帧IMU在世界坐标系下的位置差异，表示△Pij关于的雅可比矩阵，表示△Pij关于的雅可比矩阵；
(33)设置优化初始值
的初始值来自前端里程计的估计，的初始值来自步骤(1)得到的估计值对应的旋转矩阵的转置矩阵，和△t的初始值均设为0；
(34)使用g2o图优化方法进行优化
进一步的，所述步骤(34)中使用g2o实现的列文伯格-马夸尔特算法进行优化，在每次迭代时，需要计算目标函数关于待优化变量的雅可比矩阵：计算方式如下：
外参标定中，目标函数关于的雅可比矩阵为：
时序标定中，目标函数关于Δt的雅可比矩阵为：
有益效果：与现有技术相比，本发明具有以下优点：
(1)针对外参标定，本发明方法所估计的外参与数据集中的外参进行了比较，结果表明相对旋转参数和平移参数的误差基本能降低到0.02到0.025之间。并且分别比较了使用本发明估计的外参与数据集外参的轨迹误差。能够看出使用本发明提出的标定方法得到的外参估计的轨迹误差与使用数据集中外参估计的轨迹误差相差并不大，甚至在某些序列上估计得到的轨迹精度已经超过了使用数据集中的外参估计得到的轨迹精度。
(2)针对时序标定，本发明提出的方法与几种先进的方法进行了比较，对于相机的IMU存在时钟异步的数据，本发明提出的方法的轨迹精度要优于其他两种方法。
附图说明
图1是本发明方法流程图；
图2是外参标定的流程图；
图3是时序标定的流程图；
图4是相机和IMU的频率示意图；
图5是本发明方法估计的外参与数据集中的外参的误差曲线图。
具体实施方式
下面结合附图和具体实施例对本发明的技术方案进行详细说明。
本发明针对目前单目视觉SLAM***无法估计尺度的问题，采用了融合IMU的视觉惯导SLAM***，并且针对在移动设备上的应用，提出了一种相机与IMU外参自动标定的方法，能够解决在线外参标定的问题。针对移动设备上传感器时钟异步的问题，提出了一种在异步条件下，进行传感器融合的方法。实验结果表明，本发明提出的方法能够有效解决上述问题。
本发明的一种移动平台上基于视觉和惯导融合SLAM的标定外参和时序的方法，包括外参标定和时序标定两部分，其中：
外参标定：估计相机和IMU之间的相对位姿。在初始化阶段，使用松耦合方法对齐通过相机和IMU估计的相对位姿，估计得到外参中的旋转参数；在后端优化阶段，将外参作为待优化项，根据视觉和惯导的约束条件，优化得到相机和IMU的相对位姿。
时序标定：估计相机和IMU之间的时钟偏差。在前端里程计阶段，计算特征点在图像上的移动速度；在后端优化阶段，将相机和IMU之间的时钟偏差作为待优化项，根据视觉和惯导的约束条件，优化得到每一帧上相机和IMU之间的时钟偏差。
原理说明：
前端视觉里程计负责跟踪，即根据前面几帧的位姿，计算得到当前帧的位姿；视觉里程计得到的位姿并不是非常精确的，只是为后端优化提供了一个初始值。
IMU包含了三个单轴的加速度计和三个单轴的陀螺仪，加速度计检测物体在载体坐标***中独立三轴的加速度信号，而陀螺仪检测载体相对于导航坐标系的角速度信号。IMU测量物体在三维空间中的角速度和加速度，通过积分能够得到IMU的位姿。
IMU的状态变量可以表示为：
其中，W表示世界坐标系，b表示IMU坐标系，表示从IMU到世界坐标系的平移，表示从IMU相对世界坐标系的速度，是旋转矩阵表示的从IMU到世界坐标系的旋转，ba表示加速度计的偏差，bω表示陀螺仪的偏差。
后端优化是指利用前端视觉里程计计算得到初始化位姿，考虑窗口内的所有位姿约束，优化得到更加精确的关键帧位姿和空间点。
如图1所示，一种移动平台上基于视觉和惯导融合SLAM的标定外参和时序的方法，具体包括以下步骤：
(1)初始化阶段：使用松耦合的方法对齐通过相机和IMU估计的两帧之间的相对旋转参数，估计得到相机和IMU的相对旋转参数。
相机与IMU的相对参数包括相对旋转矩阵R和平移向量t，其中t相对来说对结果影响较小，特别是在移动设备上，因为相机和IMU在移动设备上的位置比较接近。初始化阶段标定相对旋转矩阵R，并设置平移向量t为0；在后端优化阶段，进一步优化相对旋转矩阵R和平移向量t。
初始化阶段具体包括以下步骤：
(11)在图像序列帧上建立大小为n的滑动窗口。
(12)通过纯视觉的方法计算窗口内第k(1≤k≤n)帧数据和第k+1帧数据之间相机的相对旋转矩阵纯视觉常用的方法是参考帧模型的光束平差法。
参考帧一般为上一关键帧，参考帧模型是指对参考帧中的空间点与当前帧中的特征点进行暴力匹配，得到匹配点对。然后设置当前帧位姿初始值为上一帧位姿，使用匹配点对的约束优化当前帧位姿。目标函数如下所示：
其中，e是误差项，δ表示优化项当前帧的位姿(R,t)，N表示匹配点对的数量。pj是第j空间点在当前帧图像上的位置，是观测值。K表示相机的内参矩阵。其中R表示当前帧与参考帧之间的相对旋转矩阵。设上一帧与参考帧之间的相对旋转矩阵为R'，则当前帧与上一帧的相对旋转矩阵
(13)利用IMU信息中的角速度积分得到窗口内第k帧数据和第k+1帧数据之间IMU的相对旋转矩阵。如图4所示，在相邻两帧图像之间包含多组IMU数据。对相邻两帧图像之间的IMU进行积分：
相邻两帧图像之间的IMU数据的积分为：
本发明假设第k帧和第k+1帧图像之间的ωτ不会发生变化，则
(14)假设相机与IMU之间的相对旋转矩阵根据之间的关系建立方程：
将用四元数表示为：则：
其中，表示四元数之间的相乘，例如：qa＝[wa,va]，qb＝[wb,vb]，wa和wb表示四元数的实部，va和vb表示四元数的虚部；
将公式(7)四元数相乘展开得到一个约束方程：
其中，是一个4×4的矩阵，w表示四元数的实部，v表示四元数的虚部，(·)^表示向量的外积，E3×3表示3×3的单位矩阵。
(15)重复步骤(12)-(14)，得到多个约束方程，进一步将多个约束方程组成一个超定方程组为：
其中，QN是一个4(n-1)×4的矩阵。通过最小二乘法求解方程组得到的估计。
(16)判断估计是否成功。
图像的每帧数据对于都会有一个估计值，受噪声的影响，每次估计得到的值并不一定准确，如果IMU三轴充分旋转，那么QN零空间的秩为1，对QN进行奇异值分解，判断第三大的奇异值是否大于预设阈值(本实施例中取0.25)，如果大于阈值则估计成功，结束估计；否则，滑动窗口，即移除窗口内的第一帧数据，并把窗口外下一帧数据加入到窗口末端；然后从步骤(12)开始重新进行估计。最后将估计得到的转换为旋转矩阵
(2)前端阶段：前端完成视觉里程计功能，即根据前几帧估计的相机在世界坐标系中的位姿大致估计当前帧相机在世界坐标系中的位姿，估计的值作为后端优化的初始值。本发明在前端阶段加入了计算特征点在图像上的移动速度的步骤。具体如下：
(21)提取特征点：使用ORB特征提取图像上的特征点，特征点指的是图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点。
ORB特征的提取包含两部分：改进的FAST关键点的提取和BRIEF描述子的生成。
1)改进的FAST关键点
①对图像上的一个像素点p，该像素的亮度为Ip；
②设定阈值T；
③以像素点p为中心，选取以p为中心半径为3的圆上16个像素点；
④如果圆上有连续N个点的像素亮度大于Ip+T或者小于Ip-T。那么像素p被认为是FAST关键点。N通常取12；
⑤对图像上的每一个像素点执行以上四步；
⑥使用非极大值抑制，即在一定区域内仅仅保留Harris响应值最大的关键点；
⑦固定图像上关键点的数量N，对一幅图像上的所有关键点按照Harris响应值排序，选取前N个关键点；
⑧计算特征点的方向。灰度质心法，质心是指图像块中以灰度值作为衡量权重的重心，连接图像块的几何中心和质心得到的方向向量作为特征点的方向；
2)计算BRIEF描述子
BRIEF是一种二进制描述子，描述向量由0和1组成，0和1是对关键点附近的两个像素p1和p2之间的亮度的比较进行编码的结果。如果则编码为1，否则编码为0。在关键点附近选取128对这样的像素进行比较，并把比较结果写成一个128维的向量作为该关键点的特征描述子。
(22)在相邻帧之间通过匹配特征点的描述子进行特征匹配在进行特征匹配时，可以通过计算特征点描述子之间的距离来进行匹配，距离越小说明特征点越相似，相似度最高的两个特征点事匹配点对。
(23)计算特征点在图像上的移动速度：
假设某一特征点Pk在前一帧坐标系上的坐标为Q1，归一化之后的坐标为q1，在当前帧j坐标系上的坐标为Q2，归一化之后的坐标为q2，两帧之间的时间差为t，那么特征点Pk在当前帧上的速度为：
(3)后端阶段：在所有帧中挑选一些关键帧。选取关键帧的判断条件主要包括两类，第一类条件是与上一关键帧的间距是否达到阈值，这里的间距是指时间或者帧数。第二类条件是当前帧的特征点数是否达到要求。下面具体介绍***中***关键帧的方法。
条件1：与上一关键帧的的时间戳相差一定阈值；
条件2：与上一关键帧之间的帧数是否达到一定阈值；
条件3：当前帧上非异常匹配点对数达到一定阈值；
条件4：当前帧上所有的特征点中已被匹配的是否小于一定阈值且未被匹配的大于一定阈值；
条件5：当前帧上非异常匹配点对数是否小于上一关键帧上非异常匹配点对数*阈值(0～1.0)；
条件4和条件5是判断当前帧是否具有继续与空间点匹配的潜力。
假设使用&&表示且，即两条件均满足才为真，使用||表示或，即两条件中任意一条件满足即为真，则是否***关键帧的条件为：((条件1)||(条件2))&&((条件4)||(条件5))&&(条件3)。
然后建立一个统一的目标函数，继续精确优化前端估计的位姿。在本发明中将相机和IMU之间的相对旋转参数、平移参数和时钟偏差作为待优化变量，根据对应的约束条件进行优化，从而得到更加精确的外参。
具体步骤包括：
(31)设置待优化项：
外参标定待优化项为：
其中，表示第j关键帧上IMU的旋转矩阵、平移向量、速度、陀螺仪的偏差、加速度计的偏差。n表示窗口的大小。表示空间点Pk在当前帧坐标系中的逆深度，即Z轴上的值的倒数，其中k＝1,2,…,m。表示待估计外参，为从IMU坐标系转换到相机坐标系的旋转矩阵，为从IMU坐标系转换到相机坐标系的平移向量。
时序标定待优化项为：
其中，表示第j关键帧上IMU的旋转矩阵、平移向量、速度、陀螺仪的偏差、加速度计的偏差。n表示窗口的大小。表示空间点Pk在当前帧坐标系中的逆深度，即Z轴上的值的倒数，其中k＝1,2,…,m。表示待估计外参，为从IMU坐标系转换到相机坐标系的旋转矩阵，为从IMU坐标系转换到相机坐标系的平移向量；△t表示每一帧中相机和IMU的时间偏差。
(32)建立统一的目标函数：
其中，Pk表示第k个空间点，j表示当前帧，j-1表示上一帧，Eproj(Pk,1,j)表示第k个空间点在当前帧的重投影误差，EIMU(j-1,j)表示IMU误差项；m表示该帧相机能够观测到的空间点的个数，n表示窗口的大小。
目标函数包括两部分：Eproj和EIMU分别表示相机的重投影误差和IMU的一致性误差。其中，外参标定中Eproj的定义为：
时序标定中Eproj的定义为：
其中，表示当前帧相机坐标系和第j关键帧相机坐标系之间的相对旋转矩阵，表示从世界坐标系转换到第1帧IMU坐标系的旋转矩阵。表示从第j帧IMU坐标系到世界坐标系的旋转矩阵。表示从相机坐标系转换到IMU坐标系的旋转矩阵。表示当前帧相机坐标系和第j关键帧相机坐标系之间的平移向量，表示第1帧IMU坐标系和世界坐标系之间的平移向量，表示第j帧IMU坐标系和世界坐标系之间的平移向量；Norm(Pk)表示Pk(X,Y,Z)的归一化坐标pkj表示Pk在第j关键帧的观测点坐标。
外参标定和时序标定中EIMU(i,j)的定义为：
其中，
其中，eR表示IMU的旋转矩阵的前后帧一致性误差，ev表示IMU的速度的前后帧一致性误差，eP表示IMU的位置的前后帧一致性误差，eb表示IMU的偏差的前后一致性误差。ΣI和ΣR表示误差的协方差矩阵，一般为单位矩阵。△Rij表示第i帧坐标系和第j帧坐标系之间在世界坐标系下的旋转矩阵。表示△Rij关于的雅可比矩阵，表示从世界坐标系转换到第i帧IMU坐标系的旋转矩阵。表示第j帧IMU在世界坐标系中的速度，表示第i帧IMU在世界坐标系中的速度。gW表示在世界坐标系下的重力加速度。△tij表示第i帧和第j帧之间的时间差。△vij表示第i帧IMU和第j帧IMU的速度差异。表示△vij关于的雅可比矩阵。表示△vij关于的雅可比矩阵。表示第j帧IMU在世界坐标系下的位置，表示第i帧IMU在世界坐标系下的位置，表示第i帧IMU在世界坐标系中的速度，△Pij表示第i帧IMU和第j帧IMU在世界坐标系下的位置差异，表示△Pij关于的雅可比矩阵，表示△Pij关于的雅可比矩阵；和分别表示第j关键帧上陀螺仪的偏差和加速度计的偏差。
(33)设置优化初始值：
θ1,θ2,θ3…θn,P1,P2,P3…Pm的初始值来自前端里程计的估计，的初始值来自步骤(1)得到的估计值对应的旋转矩阵的转置矩阵，和△t的初始值均设为0。
(34)使用g2o图优化方法进行优化
图优化是指将优化问题看作成图，待优化变量是顶点，约束条件是边。
使用g2o实现的列文伯格-马夸尔特算法进行优化，在每次迭代时，需要计算目标函数关于待优化变量的雅可比矩阵：计算方式如下：
外参标定中，目标函数关于的雅可比矩阵为：
其中，
时序标定中，目标函数关于Δt的雅可比矩阵为：
其中，
针对外参标定，将本发明方法所估计的外参与数据集中的外参进行了比较，如图5所示，本发明方法相对旋转和平移的误差基本能降低到0.02到0.025之间。其中MH_01、MH_02、MH_03、MH_04、MH_05、V1_01、V1_02、V1_03、V2_01、V2_02、V2_03分别表示EuRoC数据集中的11个序列。并且我们分别比较了使用本发明估计的外参与数据集外参的轨迹误差。如表1所示，表示了使用本发明的标定方法标定的外参与数据集中的外参之间的差异，能够看出使用本发明提出的标定方法得到的外参估计的轨迹误差与使用数据集中外参估计的轨迹误差相差并不大，甚至在某些序列上估计得到的轨迹精度已经超过了使用数据集中的外参估计得到的轨迹精度。
表1
针对时序标定，我们比较了三种方法：VINS、VIORB和本发明提出的方法。以轨迹的误差作为衡量标准。误差比较如表2所示，表2表示使用VIORB、VINS和本发明提出的方法得到的轨迹精度比较。从表2能够看出，在11个序列中，8个序列的轨迹均方根误差和平均误差小于其他两种方法，6个序列的尺度误差小于其他两种方法。从轨迹精度上看，针对相机和IMU异步的问题，本文提出的方法的精度要优于其他两种方法。
表2
本发明的一种移动平台上基于视觉和惯导融合SLAM的标定相机和IMU的外参和时序的解决方法。在***初始化阶段，首先进行相机的初始化，然后使用松耦合方法对齐通过视觉和IMU估计的相对位姿，估计得到外参中的旋转参数。在前端视觉里程计阶段，计算特征点在图像上的移动速度。在后端优化阶段，将外参中的旋转参数和平移参数作为待优化变量，根据对应的约束条件进行优化，从而得到更加精确的外参。并且将相机与IMU的时间偏差作为待优化变量，最后根据约束条件优化得到每一帧的时间偏差。

Claims (5)

1.一种移动平台上基于视觉和惯导融合SLAM的标定外参和时序的方法，其特征在于，包括以下步骤：
(1)初始化阶段：使用松耦合的方法对齐通过相机和IMU估计的两帧之间的相对旋转参数，估计得到相机和IMU的相对旋转参数；
(2)前端阶段：前端完成视觉里程计功能，即根据前几帧估计的相机在世界坐标系中的位姿大致估计当前帧相机在世界坐标系中的位姿，估计的值作为后端优化的初始值；
(3)后端阶段：在所有帧中挑选一些关键帧，设置待优化变量，建立一个统一的目标函数，根据对应的约束条件进行优化，从而得到精确的外参。
2.根据权利要求1所述的一种移动平台上基于视觉和惯导融合SLAM的标定外参和时序的方法，其特征在于，所述步骤(1)包括以下步骤：
(11)在序列帧上建立大小为n的滑动窗口；
(12)通过纯视觉的方法计算窗口内第k(1≤k≤n)帧和第k+1帧之间相机的相对旋转矩阵
(13)利用IMU信息中的角速度积分得到窗口内第k帧和第k+1帧之间IMU的相对旋转矩阵
(14)假设相机与IMU之间的相对位姿为根据之间的关系建立方程：
将用四元数表示为：则上述公式变为：
其中，表示四元数之间的相乘；
将公式四元数相乘展开得到一个约束方程：
其中，是一个4×4的矩阵，w表示四元数的实部，v表示四元数的虚部。(·)^表示向量的外积，E3×3表示3×3的单位矩阵；
(15)重复步骤(12)-(14)，得到多个约束方程，进一步将多个约束方程组成一个超定方程组为：
其中，QN是一个4(n-1)×4的矩阵，通过最小二乘法求解方程组得到的估计；
(16)判断估计是否成功
对QN进行奇异值分解，判断第三大的奇异值是否大于预设阈值，如果大于阈值则估计成功，结束估计；否则，滑动窗口，即移除窗口内的第一帧数据，并把窗口外下一帧数据加入到窗口末端；然后从步骤(12)开始重新进行估计。
3.根据权利要求1所述的一种移动平台上基于视觉和惯导融合SLAM的标定外参和时序的方法，其特征在于，所述步骤(2)包括以下步骤：
(21)提取特征点，使用ORB特征提取图像上的特征点；
ORB特征的提取包含两部分：改进的FAST关键点的提取和BRIEF描述子的生成；
(a)改进的FAST关键点
①对图像上的一个像素点p，该像素的亮度为Ip；
②设定阈值T；
③以像素点p为中心，选取以p为中心，半径为3的圆上16个像素点；
④如果圆上有连续N个点的像素亮度大于Ip+T或者小于Ip-T，那么像素p被认为是FAST关键点，N通常取12；
⑤对图像上的每一个像素点执行以上四步；
⑥使用非极大值抑制，即在一定区域内仅仅保留Harris响应值最大的关键点；
⑦固定图像上关键点的数量N，对一幅图像上的所有关键点按照Harris响应值排序，选取前N个关键点；
⑧计算特征点的方向，灰度质心法，质心是指图像块中以灰度值作为衡量权重的重心，连接图像块的几何中心和质心得到的方向向量作为特征点的方向；
(b)计算BRIEF描述子
BRIEF是一种二进制描述子，描述向量由0和1组成，0和1是对关键点附近的两个像素p1和p2之间的亮度的比较进行编码的结果，如果则编码为1，否则编码为0；在关键点附近选取128对这样的像素进行比较，并把比较结果写成一个128维的向量作为该关键点的特征描述子；
(22)在相邻帧之间通过匹配特征点的描述子进行特征匹配；
(23)计算特征点在图像上的移动速度：
假设某一特征点Pk在前一帧坐标系上的坐标为Q1，归一化之后的坐标为q1，在当前帧j坐标系上的坐标为Q2，归一化之后的坐标为q2，两帧之间的时间差为t，那么特征点Pk在当前帧上的速度为：
4.根据权利要求1所述的一种移动平台上基于视觉和惯导融合SLAM的标定外参和时序的方法，其特征在于，所述步骤(3)包括以下步骤：
(31)设置待优化项
外参标定待优化项为：
时序标定待优化项为：
其中，表示第j关键帧上IMU的旋转矩阵、平移向量、速度、陀螺仪的偏差、加速度计的偏差，n表示窗口的大小；表示空间点Pk在当前帧坐标系中的逆深度，即Z轴上的值的倒数，其中k＝1,2,…,m。表示待估计外参，为从IMU坐标系转换到相机坐标系的旋转矩阵，为从IMU坐标系转换到相机坐标系的平移向量，△t表示每一帧中相机和IMU的时间偏差；
(32)建立统一的目标函数：
其中，Pk表示第k个空间点，j表示当前帧，j-1表示上一帧，Eproj(Pk,1,j)表示第k个空间点在当前帧的重投影误差，EIMU(j-1,j)表示IMU误差项；m表示该帧相机能够观测到的空间点的个数，n表示窗口的大小，Eproj和EIMU分别表示相机的重投影误差和IMU的一致性误差；
外参标定中Eproj的定义为：
时序标定中Eproj的定义为：
其中，表示当前帧相机坐标系和第j关键帧相机坐标系之间的相对旋转矩阵，表示从世界坐标系转换到第1帧IMU坐标系的旋转矩阵，表示从第j帧IMU坐标系到世界坐标系的旋转矩阵，表示包括从相机坐标系转换到IMU坐标系的旋转矩阵；表示当前帧相机坐标系和第j关键帧相机坐标系之间的平移向量，Norm(Pk)表示Pk(X,Y,Z)的归一化坐标pkj表示Pk在第j关键帧的观测点坐标；
外参标定和时序标定中EIMU(i,j)的定义为：
其中，eR表示IMU的旋转矩阵的前后帧一致性误差，ev表示IMU的速度的前后帧一致性误差，eP表示IMU的位置的前后帧一致性误差，eb表示IMU的偏差的前后一致性误差，ΣI和ΣR表示误差的协方差矩阵，△Rij表示第i帧坐标系和第j帧坐标系之间在世界坐标系下的旋转矩阵，表示△Rij关于的雅可比矩阵，表示从世界坐标系转换到第i帧IMU坐标系的旋转矩阵，表示第j帧IMU在世界坐标系中的速度，表示第i帧IMU在世界坐标系中的速度，gW表示在世界坐标系下的重力加速度，△tij表示第i帧和第j帧之间的时间差，△vij表示第i帧IMU和第j帧IMU的速度差异，表示△vij关于的雅可比矩阵，表示△vij关于的雅可比矩阵，表示第j帧IMU在世界坐标系下的位置，表示第i帧IMU在世界坐标系下的位置，表示第i帧IMU在世界坐标系中的速度，△Pij表示第i帧IMU和第j帧IMU在世界坐标系下的位置差异，表示△Pij关于的雅可比矩阵，表示△Pij关于的雅可比矩阵；
(33)设置优化初始值
的初始值来自前端里程计的估计，的初始值来自步骤(1)得到的估计值对应的旋转矩阵的转置矩阵，和△t的初始值均设为0；
(34)使用g2o图优化方法进行优化。
5.根据权利要求4所述的一种移动平台上基于视觉和惯导融合SLAM的标定外参和时序的方法，其特征在于，所述步骤(34)中使用g2o实现的列文伯格-马夸尔特算法进行优化，在每次迭代时，需要计算目标函数关于待优化变量的雅可比矩阵：计算方式如下：
外参标定中，目标函数关于的雅可比矩阵为：
时序标定中，目标函数关于Δt的雅可比矩阵为：
CN201810686888.7A 2018-06-28 2018-06-28 一种移动平台上基于视觉和惯导融合slam的标定外参和时序的方法 Active CN109029433B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810686888.7A CN109029433B (zh) 2018-06-28 2018-06-28 一种移动平台上基于视觉和惯导融合slam的标定外参和时序的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810686888.7A CN109029433B (zh) 2018-06-28 2018-06-28 一种移动平台上基于视觉和惯导融合slam的标定外参和时序的方法

Publications (2)

Publication Number Publication Date
CN109029433A true CN109029433A (zh) 2018-12-18
CN109029433B CN109029433B (zh) 2020-12-11

Family

ID=65520643

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810686888.7A Active CN109029433B (zh) 2018-06-28 2018-06-28 一种移动平台上基于视觉和惯导融合slam的标定外参和时序的方法

Country Status (1)

Country Link
CN (1) CN109029433B (zh)

Cited By (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109781092A (zh) * 2019-01-19 2019-05-21 北京化工大学 一种危险化工事故中移动机器人定位与建图方法
CN109948624A (zh) * 2019-02-18 2019-06-28 北京旷视科技有限公司 特征提取的方法、装置、电子设备和计算机存储介质
CN109976344A (zh) * 2019-03-30 2019-07-05 南京理工大学 巡检机器人姿态矫正方法
CN109993113A (zh) * 2019-03-29 2019-07-09 东北大学 一种基于rgb-d和imu信息融合的位姿估计方法
CN110189382A (zh) * 2019-05-31 2019-08-30 东北大学 一种基于无共视区域的多双目相机运动标定方法
CN110243358A (zh) * 2019-04-29 2019-09-17 武汉理工大学 多源融合的无人车室内外定位方法及***
CN110375738A (zh) * 2019-06-21 2019-10-25 西安电子科技大学 一种融合惯性测量单元的单目同步定位与建图位姿解算方法
CN110411476A (zh) * 2019-07-29 2019-11-05 视辰信息科技(上海)有限公司 视觉惯性里程计标定适配及评价方法和***
CN110717927A (zh) * 2019-10-10 2020-01-21 桂林电子科技大学 基于深度学习和视惯融合的室内机器人运动估计方法
CN110874569A (zh) * 2019-10-12 2020-03-10 西安交通大学 一种基于视觉惯性融合的无人机状态参数初始化方法
CN111060138A (zh) * 2019-12-31 2020-04-24 上海商汤智能科技有限公司 标定方法及装置、处理器、电子设备、存储介质
CN111156984A (zh) * 2019-12-18 2020-05-15 东南大学 一种面向动态场景的单目视觉惯性slam方法
CN111260733A (zh) * 2020-01-13 2020-06-09 魔视智能科技(上海)有限公司 车载环视多相机***的外参数估计方法及其***
CN111257853A (zh) * 2020-01-10 2020-06-09 清华大学 一种基于imu预积分的自动驾驶***激光雷达在线标定方法
CN111539982A (zh) * 2020-04-17 2020-08-14 北京维盛泰科科技有限公司 一种移动平台中基于非线性优化的视觉惯导初始化方法
CN111650598A (zh) * 2019-02-19 2020-09-11 北京京东尚科信息技术有限公司 一种车载激光扫描***外参标定方法和装置
CN111649737A (zh) * 2020-05-08 2020-09-11 中国航空工业集团公司西安航空计算技术研究所 一种面向飞机精密进近着陆的视觉-惯性组合导航方法
CN111678534A (zh) * 2019-03-11 2020-09-18 武汉小狮科技有限公司 一种结合rgbd双目深度相机、imu和多线激光雷达的联合标定平台和方法
CN111739071A (zh) * 2020-06-15 2020-10-02 武汉尺子科技有限公司 基于初始值的快速迭代配准方法、介质、终端和装置
CN111754579A (zh) * 2019-03-28 2020-10-09 杭州海康威视数字技术股份有限公司 多目相机外参确定方法及装置
CN111750850A (zh) * 2019-03-27 2020-10-09 杭州海康威视数字技术股份有限公司 角度信息获取方法、装置和***
CN111854793A (zh) * 2019-04-29 2020-10-30 北京初速度科技有限公司 惯性测量单元和全球导航***之间杆臂的标定方法和装置
CN111932637A (zh) * 2020-08-19 2020-11-13 武汉中海庭数据技术有限公司 一种车身相机外参自适应标定方法和装置
CN111998870A (zh) * 2019-05-26 2020-11-27 北京初速度科技有限公司 一种相机惯导***的标定方法和装置
CN112053405A (zh) * 2020-08-21 2020-12-08 合肥工业大学 一种随动视觉***光轴与转轴偏差标定及外参校正方法
CN112113582A (zh) * 2019-06-21 2020-12-22 上海商汤临港智能科技有限公司 时间同步处理方法、电子设备及存储介质
WO2020259185A1 (zh) * 2019-06-25 2020-12-30 京东方科技集团股份有限公司 视觉里程计的实现方法和实现装置
CN112230240A (zh) * 2020-09-30 2021-01-15 深兰人工智能(深圳)有限公司 激光雷达与相机数据的时空同步***、装置及可读介质
CN112229424A (zh) * 2020-11-16 2021-01-15 浙江商汤科技开发有限公司 视觉惯性***的参数标定方法及装置、电子设备和介质
CN112304321A (zh) * 2019-07-26 2021-02-02 北京初速度科技有限公司 一种基于视觉和imu的车辆融合定位方法及车载终端
CN112414431A (zh) * 2020-11-18 2021-02-26 的卢技术有限公司 一种鲁棒的车载多传感器外参标定方法
CN112653889A (zh) * 2020-12-23 2021-04-13 北汽福田汽车股份有限公司 摄像头自标定的方法、装置、摄像设备及车辆
CN112729344A (zh) * 2020-12-30 2021-04-30 珠海市岭南大数据研究院 无需参照物的传感器外参标定方法
CN112801977A (zh) * 2021-01-28 2021-05-14 青岛理工大学 一种基于深度学习的装配体零件相对位姿估计监测方法
CN112907654A (zh) * 2021-02-08 2021-06-04 上海汽车集团股份有限公司 多目相机外参数优化方法、装置、电子设备及存储介质
CN112907629A (zh) * 2021-02-08 2021-06-04 浙江商汤科技开发有限公司 图像特征的跟踪方法、装置、计算机设备及存储介质
CN113076988A (zh) * 2021-03-25 2021-07-06 重庆邮电大学 基于神经网络的移动机器人视觉slam关键帧自适应筛选方法
CN113074751A (zh) * 2019-12-17 2021-07-06 杭州海康威视数字技术股份有限公司 一种视觉定位误差检测方法及装置
CN113237484A (zh) * 2021-04-21 2021-08-10 四川轻化工大学 基于slam的相机和imu的外部旋转参数求解方法
WO2021179876A1 (en) * 2020-03-09 2021-09-16 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method and system for implementing adaptive feature detection for vslam systems
CN113436267A (zh) * 2021-05-25 2021-09-24 影石创新科技股份有限公司 视觉惯导标定方法、装置、计算机设备和存储介质
CN113570659A (zh) * 2021-06-24 2021-10-29 影石创新科技股份有限公司 拍摄装置位姿估计方法、装置、计算机设备和存储介质
CN113592950A (zh) * 2019-12-27 2021-11-02 深圳市瑞立视多媒体科技有限公司 基于光学动捕的大空间环境下多相机标定方法及相关设备
CN113763479A (zh) * 2021-07-19 2021-12-07 长春理工大学 一种折反射全景相机与imu传感器的标定方法
CN113781583A (zh) * 2021-09-28 2021-12-10 中国人民解放军国防科技大学 相机自标定方法、装置、设备和介质
CN114286924A (zh) * 2019-09-03 2022-04-05 宝马汽车股份有限公司 用于确定车辆轨迹的方法和装置
CN114322996A (zh) * 2020-09-30 2022-04-12 阿里巴巴集团控股有限公司 一种多传感器融合定位***的位姿优化方法和装置
CN114440928A (zh) * 2022-01-27 2022-05-06 杭州申昊科技股份有限公司 激光雷达与里程计的联合标定方法、机器人、设备和介质
CN114459467A (zh) * 2021-12-30 2022-05-10 北京理工大学 一种未知救援环境中基于vi-slam的目标定位方法
CN114851197A (zh) * 2022-05-16 2022-08-05 华北电力大学（保定） 一种排管电缆机器人及其控制方法
CN116311010A (zh) * 2023-03-06 2023-06-23 中国科学院空天信息创新研究院 一种林地资源调查与碳汇计量的方法与***
US11859979B2 (en) 2020-02-20 2024-01-02 Honeywell International Inc. Delta position and delta attitude aiding of inertial navigation system

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160005164A1 (en) * 2013-02-21 2016-01-07 Regents Of The University Of Minnesota Extrinsic parameter calibration of a vision-aided inertial navigation system
CN106251305A (zh) * 2016-07-29 2016-12-21 长春理工大学 一种基于惯性测量单元imu的实时电子稳像方法
CN106780699A (zh) * 2017-01-09 2017-05-31 东南大学 一种基于sins/gps和里程计辅助的视觉slam方法
CN107193279A (zh) * 2017-05-09 2017-09-22 复旦大学 基于单目视觉和imu信息的机器人定位与地图构建***
CN107300917A (zh) * 2017-05-23 2017-10-27 北京理工大学 一种基于分层架构的视觉slam后端优化方法
CN107869989A (zh) * 2017-11-06 2018-04-03 东北大学 一种基于视觉惯导信息融合的定位方法及***

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160005164A1 (en) * 2013-02-21 2016-01-07 Regents Of The University Of Minnesota Extrinsic parameter calibration of a vision-aided inertial navigation system
CN106251305A (zh) * 2016-07-29 2016-12-21 长春理工大学 一种基于惯性测量单元imu的实时电子稳像方法
CN106780699A (zh) * 2017-01-09 2017-05-31 东南大学 一种基于sins/gps和里程计辅助的视觉slam方法
CN107193279A (zh) * 2017-05-09 2017-09-22 复旦大学 基于单目视觉和imu信息的机器人定位与地图构建***
CN107300917A (zh) * 2017-05-23 2017-10-27 北京理工大学 一种基于分层架构的视觉slam后端优化方法
CN107869989A (zh) * 2017-11-06 2018-04-03 东北大学 一种基于视觉惯导信息融合的定位方法及***

Cited By (82)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109781092B (zh) * 2019-01-19 2021-01-19 北京化工大学 一种危险化工事故中移动机器人定位与建图方法
CN109781092A (zh) * 2019-01-19 2019-05-21 北京化工大学 一种危险化工事故中移动机器人定位与建图方法
CN109948624A (zh) * 2019-02-18 2019-06-28 北京旷视科技有限公司 特征提取的方法、装置、电子设备和计算机存储介质
CN111650598A (zh) * 2019-02-19 2020-09-11 北京京东尚科信息技术有限公司 一种车载激光扫描***外参标定方法和装置
CN111678534A (zh) * 2019-03-11 2020-09-18 武汉小狮科技有限公司 一种结合rgbd双目深度相机、imu和多线激光雷达的联合标定平台和方法
CN111750850A (zh) * 2019-03-27 2020-10-09 杭州海康威视数字技术股份有限公司 角度信息获取方法、装置和***
CN111750850B (zh) * 2019-03-27 2021-12-14 杭州海康威视数字技术股份有限公司 角度信息获取方法、装置和***
CN111754579A (zh) * 2019-03-28 2020-10-09 杭州海康威视数字技术股份有限公司 多目相机外参确定方法及装置
CN111754579B (zh) * 2019-03-28 2023-08-04 杭州海康威视数字技术股份有限公司 多目相机外参确定方法及装置
CN109993113A (zh) * 2019-03-29 2019-07-09 东北大学 一种基于rgb-d和imu信息融合的位姿估计方法
CN109993113B (zh) * 2019-03-29 2023-05-02 东北大学 一种基于rgb-d和imu信息融合的位姿估计方法
CN109976344B (zh) * 2019-03-30 2022-05-27 南京理工大学 巡检机器人姿态矫正方法
CN109976344A (zh) * 2019-03-30 2019-07-05 南京理工大学 巡检机器人姿态矫正方法
CN110243358A (zh) * 2019-04-29 2019-09-17 武汉理工大学 多源融合的无人车室内外定位方法及***
CN111854793B (zh) * 2019-04-29 2022-05-17 北京魔门塔科技有限公司 惯性测量单元和全球导航***之间杆臂的标定方法和装置
CN110243358B (zh) * 2019-04-29 2023-01-03 武汉理工大学 多源融合的无人车室内外定位方法及***
CN111854793A (zh) * 2019-04-29 2020-10-30 北京初速度科技有限公司 惯性测量单元和全球导航***之间杆臂的标定方法和装置
CN111998870A (zh) * 2019-05-26 2020-11-27 北京初速度科技有限公司 一种相机惯导***的标定方法和装置
CN110189382A (zh) * 2019-05-31 2019-08-30 东北大学 一种基于无共视区域的多双目相机运动标定方法
CN110375738B (zh) * 2019-06-21 2023-03-14 西安电子科技大学 一种融合惯性测量单元的单目同步定位与建图位姿解算方法
CN110375738A (zh) * 2019-06-21 2019-10-25 西安电子科技大学 一种融合惯性测量单元的单目同步定位与建图位姿解算方法
CN112113582A (zh) * 2019-06-21 2020-12-22 上海商汤临港智能科技有限公司 时间同步处理方法、电子设备及存储介质
WO2020259185A1 (zh) * 2019-06-25 2020-12-30 京东方科技集团股份有限公司 视觉里程计的实现方法和实现装置
CN112304321A (zh) * 2019-07-26 2021-02-02 北京初速度科技有限公司 一种基于视觉和imu的车辆融合定位方法及车载终端
CN110411476A (zh) * 2019-07-29 2019-11-05 视辰信息科技(上海)有限公司 视觉惯性里程计标定适配及评价方法和***
CN114286924A (zh) * 2019-09-03 2022-04-05 宝马汽车股份有限公司 用于确定车辆轨迹的方法和装置
CN114286924B (zh) * 2019-09-03 2024-04-23 宝马汽车股份有限公司 用于确定车辆轨迹的方法和装置
CN110717927A (zh) * 2019-10-10 2020-01-21 桂林电子科技大学 基于深度学习和视惯融合的室内机器人运动估计方法
CN110874569A (zh) * 2019-10-12 2020-03-10 西安交通大学 一种基于视觉惯性融合的无人机状态参数初始化方法
CN110874569B (zh) * 2019-10-12 2022-04-22 西安交通大学 一种基于视觉惯性融合的无人机状态参数初始化方法
CN113074751A (zh) * 2019-12-17 2021-07-06 杭州海康威视数字技术股份有限公司 一种视觉定位误差检测方法及装置
CN113074751B (zh) * 2019-12-17 2023-02-07 杭州海康威视数字技术股份有限公司 一种视觉定位误差检测方法及装置
CN111156984A (zh) * 2019-12-18 2020-05-15 东南大学 一种面向动态场景的单目视觉惯性slam方法
CN113592950A (zh) * 2019-12-27 2021-11-02 深圳市瑞立视多媒体科技有限公司 基于光学动捕的大空间环境下多相机标定方法及相关设备
CN113592950B (zh) * 2019-12-27 2023-06-16 深圳市瑞立视多媒体科技有限公司 基于光学动捕的大空间环境下多相机标定方法及相关设备
TWI766282B (zh) * 2019-12-31 2022-06-01 中國商上海商湯智能科技有限公司 標定方法、電子設備及儲存介質
CN111060138A (zh) * 2019-12-31 2020-04-24 上海商汤智能科技有限公司 标定方法及装置、处理器、电子设备、存储介质
CN111060138B (zh) * 2019-12-31 2022-01-28 上海商汤智能科技有限公司 标定方法及装置、处理器、电子设备、存储介质
CN111257853A (zh) * 2020-01-10 2020-06-09 清华大学 一种基于imu预积分的自动驾驶***激光雷达在线标定方法
CN111260733B (zh) * 2020-01-13 2023-03-24 魔视智能科技(上海)有限公司 车载环视多相机***的外参数估计方法及其***
CN111260733A (zh) * 2020-01-13 2020-06-09 魔视智能科技(上海)有限公司 车载环视多相机***的外参数估计方法及其***
US11859979B2 (en) 2020-02-20 2024-01-02 Honeywell International Inc. Delta position and delta attitude aiding of inertial navigation system
WO2021179876A1 (en) * 2020-03-09 2021-09-16 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method and system for implementing adaptive feature detection for vslam systems
CN111539982B (zh) * 2020-04-17 2023-09-15 北京维盛泰科科技有限公司 一种移动平台中基于非线性优化的视觉惯导初始化方法
CN111539982A (zh) * 2020-04-17 2020-08-14 北京维盛泰科科技有限公司 一种移动平台中基于非线性优化的视觉惯导初始化方法
CN111649737B (zh) * 2020-05-08 2022-05-24 中国航空工业集团公司西安航空计算技术研究所 一种面向飞机精密进近着陆的视觉-惯性组合导航方法
CN111649737A (zh) * 2020-05-08 2020-09-11 中国航空工业集团公司西安航空计算技术研究所 一种面向飞机精密进近着陆的视觉-惯性组合导航方法
CN111739071B (zh) * 2020-06-15 2023-09-05 武汉尺子科技有限公司 基于初始值的快速迭代配准方法、介质、终端和装置
CN111739071A (zh) * 2020-06-15 2020-10-02 武汉尺子科技有限公司 基于初始值的快速迭代配准方法、介质、终端和装置
CN111932637A (zh) * 2020-08-19 2020-11-13 武汉中海庭数据技术有限公司 一种车身相机外参自适应标定方法和装置
CN112053405B (zh) * 2020-08-21 2022-09-13 合肥工业大学 一种随动视觉***光轴与转轴偏差标定及外参校正方法
CN112053405A (zh) * 2020-08-21 2020-12-08 合肥工业大学 一种随动视觉***光轴与转轴偏差标定及外参校正方法
CN112230240A (zh) * 2020-09-30 2021-01-15 深兰人工智能(深圳)有限公司 激光雷达与相机数据的时空同步***、装置及可读介质
CN114322996A (zh) * 2020-09-30 2022-04-12 阿里巴巴集团控股有限公司 一种多传感器融合定位***的位姿优化方法和装置
CN114322996B (zh) * 2020-09-30 2024-03-19 阿里巴巴集团控股有限公司 一种多传感器融合定位***的位姿优化方法和装置
CN112229424B (zh) * 2020-11-16 2022-04-22 浙江商汤科技开发有限公司 视觉惯性***的参数标定方法及装置、电子设备和介质
CN112229424A (zh) * 2020-11-16 2021-01-15 浙江商汤科技开发有限公司 视觉惯性***的参数标定方法及装置、电子设备和介质
CN112414431B (zh) * 2020-11-18 2023-05-12 的卢技术有限公司 一种鲁棒的车载多传感器外参标定方法
CN112414431A (zh) * 2020-11-18 2021-02-26 的卢技术有限公司 一种鲁棒的车载多传感器外参标定方法
CN112653889A (zh) * 2020-12-23 2021-04-13 北汽福田汽车股份有限公司 摄像头自标定的方法、装置、摄像设备及车辆
CN112729344A (zh) * 2020-12-30 2021-04-30 珠海市岭南大数据研究院 无需参照物的传感器外参标定方法
CN112801977B (zh) * 2021-01-28 2022-11-22 青岛理工大学 一种基于深度学习的装配体零件相对位姿估计监测方法
CN112801977A (zh) * 2021-01-28 2021-05-14 青岛理工大学 一种基于深度学习的装配体零件相对位姿估计监测方法
CN112907654B (zh) * 2021-02-08 2024-03-26 上海汽车集团股份有限公司 多目相机外参数优化方法、装置、电子设备及存储介质
CN112907654A (zh) * 2021-02-08 2021-06-04 上海汽车集团股份有限公司 多目相机外参数优化方法、装置、电子设备及存储介质
CN112907629A (zh) * 2021-02-08 2021-06-04 浙江商汤科技开发有限公司 图像特征的跟踪方法、装置、计算机设备及存储介质
CN113076988A (zh) * 2021-03-25 2021-07-06 重庆邮电大学 基于神经网络的移动机器人视觉slam关键帧自适应筛选方法
CN113076988B (zh) * 2021-03-25 2022-06-03 重庆邮电大学 基于神经网络的移动机器人视觉slam关键帧自适应筛选方法
CN113237484A (zh) * 2021-04-21 2021-08-10 四川轻化工大学 基于slam的相机和imu的外部旋转参数求解方法
CN113436267A (zh) * 2021-05-25 2021-09-24 影石创新科技股份有限公司 视觉惯导标定方法、装置、计算机设备和存储介质
CN113570659B (zh) * 2021-06-24 2024-03-29 影石创新科技股份有限公司 拍摄装置位姿估计方法、装置、计算机设备和存储介质
CN113570659A (zh) * 2021-06-24 2021-10-29 影石创新科技股份有限公司 拍摄装置位姿估计方法、装置、计算机设备和存储介质
CN113763479B (zh) * 2021-07-19 2024-04-12 长春理工大学 一种折反射全景相机与imu传感器的标定方法
CN113763479A (zh) * 2021-07-19 2021-12-07 长春理工大学 一种折反射全景相机与imu传感器的标定方法
CN113781583B (zh) * 2021-09-28 2023-05-09 中国人民解放军国防科技大学 相机自标定方法、装置、设备和介质
CN113781583A (zh) * 2021-09-28 2021-12-10 中国人民解放军国防科技大学 相机自标定方法、装置、设备和介质
CN114459467A (zh) * 2021-12-30 2022-05-10 北京理工大学 一种未知救援环境中基于vi-slam的目标定位方法
CN114459467B (zh) * 2021-12-30 2024-05-03 北京理工大学 一种未知救援环境中基于vi-slam的目标定位方法
CN114440928A (zh) * 2022-01-27 2022-05-06 杭州申昊科技股份有限公司 激光雷达与里程计的联合标定方法、机器人、设备和介质
CN114851197B (zh) * 2022-05-16 2023-08-04 华北电力大学（保定） 一种排管电缆机器人及其控制方法
CN114851197A (zh) * 2022-05-16 2022-08-05 华北电力大学（保定） 一种排管电缆机器人及其控制方法
CN116311010A (zh) * 2023-03-06 2023-06-23 中国科学院空天信息创新研究院 一种林地资源调查与碳汇计量的方法与***

Also Published As

Publication number Publication date
CN109029433B (zh) 2020-12-11

Similar Documents

Publication Publication Date Title
CN109029433A (zh) 一种移动平台上基于视觉和惯导融合slam的标定外参和时序的方法
CN109307508B (zh) 一种基于多关键帧的全景惯导slam方法
CN110070615B (zh) 一种基于多相机协同的全景视觉slam方法
CN109166149B (zh) 一种融合双目相机与imu的定位与三维线框结构重建方法与***
CN112634451B (zh) 一种融合多传感器的室外大场景三维建图方法
CN111156984B (zh) 一种面向动态场景的单目视觉惯性slam方法
CN103954283B (zh) 基于景象匹配/视觉里程的惯性组合导航方法
CN102435188B (zh) 一种用于室内环境的单目视觉/惯性全自主导航方法
CN108711166A (zh) 一种基于四旋翼无人机的单目相机尺度估计方法
CN110246147A (zh) 视觉惯性里程计方法、视觉惯性里程计装置及移动设备
CN109579825B (zh) 基于双目视觉和卷积神经网络的机器人定位***及方法
US5422828A (en) Method and system for image-sequence-based target tracking and range estimation
CN112649016A (zh) 一种基于点线初始化的视觉惯性里程计方法
CN110675453B (zh) 一种已知场景中运动目标的自定位方法
Li et al. Vision-aided inertial navigation for resource-constrained systems
CN111288989A (zh) 一种小型无人机视觉定位方法
CN111609868A (zh) 一种基于改进光流法的视觉惯性里程计方法
CN108759826A (zh) 一种基于手机和无人机多传感参数融合的无人机运动跟踪方法
CN114485640A (zh) 基于点线特征的单目视觉惯性同步定位与建图方法及***
Rahman et al. Contour based reconstruction of underwater structures using sonar, visual, inertial, and depth sensor
CN117367427A (zh) 一种适用于室内环境中的视觉辅助激光融合IMU的多模态slam方法
Xian et al. Fusing stereo camera and low-cost inertial measurement unit for autonomous navigation in a tightly-coupled approach
Qin et al. Real-time positioning and tracking for vision-based unmanned underwater vehicles
CN112945233B (zh) 一种全局无漂移的自主机器人同时定位与地图构建方法
Kuang et al. A real-time and robust monocular visual inertial slam system based on point and line features for mobile robots of smart cities toward 6g

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant