CN114485640A - 基于点线特征的单目视觉惯性同步定位与建图方法及*** - Google Patents

基于点线特征的单目视觉惯性同步定位与建图方法及*** Download PDF

Info

Publication number
CN114485640A
CN114485640A CN202210067645.1A CN202210067645A CN114485640A CN 114485640 A CN114485640 A CN 114485640A CN 202210067645 A CN202210067645 A CN 202210067645A CN 114485640 A CN114485640 A CN 114485640A
Authority
CN
China
Prior art keywords
imu
visual
monocular
inertial
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210067645.1A
Other languages
English (en)
Inventor
刘建军
李建朝
胡雪花
李香服
郝敏钗
王丽佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei College of Industry and Technology
Original Assignee
Hebei College of Industry and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei College of Industry and Technology filed Critical Hebei College of Industry and Technology
Priority to CN202210067645.1A priority Critical patent/CN114485640A/zh
Publication of CN114485640A publication Critical patent/CN114485640A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C22/00—Measuring distance traversed on the ground by vehicles, persons, animals or other moving solid bodies, e.g. using odometers, using pedometers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于点线特征的单目视觉惯性同步定位与建图方法及***，本发明的单目视觉惯性同步定位与建图方法包括提取单目相机图像的ORB特征和LSD线特征，利用视觉惯性里程计进行视觉惯导初始化，求解单目相机的参数信息和IMU的参数信息，采用基于滑动窗口的非线性优化方式对相机运动、路标点坐标和IMU状态信息进行估计，进行回环检测，以及通过全局位姿图优化得到全局一致的位姿图。本发明的单目视觉惯性同步定位与建图方法，能够在弱纹理场景下保证定位精度，可提升SLAM方法的使用效果。

Description

基于点线特征的单目视觉惯性同步定位与建图方法及***
技术领域
本发明涉及计算机视觉处理技术领域，特别涉及一种基于点线特征的单目视觉惯性同步定位与建图方法。本发明还涉及一种基于点线特征的单目视觉惯性同步定位与建图***。
背景技术
同步定位与建图(Simultaneous Localization and Mapping，SLAM)技术可以实现机器人或无人机等在移动过程中根据位置和地图进行自身定位，同时在自身定位基础上建造增量式地图，从而实现自主定位和导航。
SLAM技术现已成为自主导航的核心技术，视觉SLAM技术采用视觉传感器完成机器人的定位和环境建图，具有更大的成本优势，因而受到了广泛的关注。但是，目前的SLAM方法中多是采用单一的视觉传感器，而其在使用中存在一些缺陷，如无人机自主导航时要求较高的导航参数输出频率，不过视觉传感器的视频采集帧率较低，不能满足无人机自主导航的要求。
为了获得较高精度和较高输出频率的导航参数，将视觉传感器与惯性测量单元(Inertial Measurement Unit，IMU)进行融合是一种有效的途径。视觉和IMU融合一般具有两种方式：松耦合方式和紧耦合方式。松耦合方式将视觉和IMU视为两个独立的模块，将两个模块的信息采用滤波的方式耦合得到融合后的估计信息。紧耦合方式将视觉和IMU信息联合利用非线性优化理论进行优化，得到定位信息。
相比来说，紧耦合方式具有更高的估计精度，因而近年来，视觉惯性紧耦合方法已经有了比较成熟的框架，也即前端实时位姿估计，后端非线性优化相机位姿和环境建图。其中，对于前端实时位姿估计，通常分为两种实现方式：直接法和特征点法。直接法是基于图像灰度变化估计相机运动，特征点法则是基于提取的图像特征估计相机运动。相比来说，直接法受光照变化影响较大，特征点法具有更强的抗光照变化能力和更好的稳定性，因此，特征点法得到了广泛的应用。
但是，基于特征点的SLAM方法在弱纹理场景下，如光滑墙面、走廊等环境下，由于不能提取足够多的图像特征点，会使得定位精度大幅度降低，进而可能导致运动估计失败。
发明内容
有鉴于此，本发明旨在提出一种基于点线特征的单目视觉惯性同步定位与建图方法，以能够在弱纹理场景下保证定位精度。
为达到上述目的，本发明的技术方案是这样实现的：
一种基于点线特征的单目视觉惯性同步定位与建图方法，该方法包括：
提取单目相机图像的ORB特征和LSD线特征；
利用视觉惯性里程计进行视觉惯导初始化，求解单目相机的参数信息和IMU的参数信息；
采用基于滑动窗口的非线性优化方式对相机运动、路标点坐标和IMU状态信息进行估计；
进行回环检测；
通过全局位姿图优化得到全局一致的位姿图。
进一步的，所述单目相机的参数信息至少包括单目相机的尺度、速度，所述IMU的参数信息至少包括IMU的零偏、重力。
进一步的，所述利用视觉惯性里程计进行视觉惯导初始化，求解单目相机的参数信息和IMU的参数信息包括：
进行单目视觉图像的ORB点特征检测与匹配，以及LSD线特征检测与匹配；
IMU进行测量信息的预积分，并利用视觉测量信息估计相机运动及路标点的坐标；
根据视觉运动信息与IMU预积分测量信息之间的误差进行优化完成视觉惯导初始化，求解出单目相机的参数信息和IMU的参数信息。
进一步的，对于所述ORB点特征，通过本质矩阵和单应性矩阵估计相机运动，对于所述LSD线特征，通过优化投影线特征的重叠长度估计相机运动。
进一步的，所述基于滑动窗口的非线性优化方式的目标函数为：
Figure BDA0003480813230000031
其中，eprior为移除旧的关键帧产生的先验残差，eIMU为IMU测量残差，ed为视觉点特征重投影误差，el为视觉线特征重投影误差，eloop为回环检测残差。
进一步的，所述进行回环检测包括利用DBoW词袋模型进行回环检测。
进一步的，在所述回环检测中，当存在回环时，将当前窗口与过去时刻位姿图对齐，并对所有IMU测量信息、滑动窗口内的视觉测量信息、回环特征信息进行非线性优化。
相对于现有技术，本发明的基于点线特征的单目视觉惯性同步定位与建图方法具有以下优势：
本发明所述的基于点线特征的单目视觉惯性同步定位与建图方法，通过提取相机图像的ORB特征和LSD线特征，利用ORB特征和LSD线特征融合，可提高弱纹理场景下的视觉信息量，在此基础上，再利用视觉惯导初始化，基于滑动窗口的非线性优化，以及回环检测和全局位姿图优化，便能够在弱纹理场景下保证定位精度，从而可提升SLAM方法的使用效果。
本发明同时也提出一种基于点线特征的单目视觉惯性同步定位与建图***，所述***包括存储器和处理器，所述存储器中存储有计算机可读程序，所述处理器执行所述计算机可读程序时，执行上述的基于点线特征的单目视觉惯性同步定位与建图方法。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例所述的单目视觉惯性同步定位与建图方法的流程图；
图2为本发明实施例所述的MH_02_easy图像序列上的性能对比结果；
图3为本发明实施例所述的MH_03_medium图像序列上的性能对比结果；
图4为本发明实施例所述的MH_05_difficult图像序列上的性能对比结果；
图5为本发明实施例所述的单目视觉惯性同步定位与建图***的构成示意图；
附图标记说明：
10、***；110、存储器；120、处理器。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
在本发明的描述中，需要说明的是，若出现“上”、“下”、“内”、“外”等指示方位或位置关系的术语，其为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，若出现“第一”、“第二”等术语，其也仅用于描述目的，而不能理解为指示或暗示相对重要性。
此外，在本发明的描述中，除非另有明确的限定，术语“安装”、“相连”、“连接”“连接件”应做广义理解。例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以结合具体情况理解上述术语在本发明中的具体含义。
下面将参考附图并结合实施例来详细说明本发明。
本实施例涉及一种基于点线特征的单目视觉惯性同步定位与建图方法，如图1所示，该方法整体上包括如下的步骤：
步骤s10.提取单目相机图像的ORB特征和LSD线特征。
ORB是Oriented FAST and Rotated BRIEF的简称，用来对图像中的关键点快速创建特征向量，这些特征向量可以用来识别图像中的对象。LSD(Line Segment Detection)线特征，是通过直线检测分割算法获得的特征，利用直线检测分割算法能在线性的时间内得出亚像素级精度的检测结果。
对于单目视觉里程计来说，其通常存在一个未知的尺度，并且通过视觉惯导联合初始化，可以估计出单目视觉里程计尺度，相机初始的位置、姿态、速度以及惯导***陀螺仪和加速度计的零偏、重力等参数。
而目前应用的SLAM***初始化普遍是利用图像的点特征，也即ORB特征点，ORB特征点结合了FAST检测子和BRIEF描述子，相对其它特征点具有特征检测与匹配效率较高的优势。不过，在光滑墙面或走廊等弱纹理场景中，只利用点特征进行初始化，往往会由于特征数量太少导致初始化失败。
为提高SLAM***初始化的鲁棒性，本实施例的方法在点特征的基础上引入图像的线特征，从而可利用点、线特征的融合完成视觉惯性SLAM的初始化。
具体实施时，本实施例对单目相机图像的ORB特征和LSD线特征的提取均采取现有计算机图像处理中的常规方式便可。与此同时，本实施例中对于ORB点特征，可通过本质矩阵和单应性矩阵估计相机运动，对于LSD线特征，则可通过优化投影线特征的重叠长度估计相机运动。然后，再利用对估计出的地图点和相机运动进行联合优化，以得到较精确的初始运动估计。
步骤s20.利用视觉惯性里程计进行视觉惯导初始化，求解单目相机的参数信息和IMU的参数信息。
其中，视觉惯性里程计(Visual-Inertial Odometry，简称VIO)是融合相机和IMU数据实现SLAM的算法，具体的，视觉惯性里程计是仅利用相机加上惯性测量单元(即IMU，也称惯导单元)的输入来估计物体状态(位置和速度)的过程。根据融合框架的不同，视觉惯性里程计一般分为松耦合和紧耦合，本实施例中采用紧耦合。
IMU是测量物体三轴姿态角及加速度的装置，其一般由3个加速度计和3个陀螺仪组成。
在本实施例中，需要指出的是，上述单目相机的参数信息具体包括单目相机的尺度和速度，上述IMU的参数信息具体包括IMU的零偏和重力。
而且在该步骤s20中，以上利用视觉惯性里程计进行视觉惯导初始化，求解、也即估计单目相机的参数信息和IMU的参数信息也具体包括如下的过程。
首先，在视觉惯性里程计中进行单目视觉图像的ORB点特征检测与匹配，以及LSD线特征检测与匹配。然后，IMU进行测量信息的预积分，接着，在此基础上利用视觉测量信息估计相机运动及路标点的坐标。然后，再根据视觉运动信息与IMU预积分测量信息之间的误差进行优化完成视觉惯导初始化，并由此求解出单目相机的参数信息和IMU的参数信息。
详细来说，设相机相邻两帧之间的姿态变化为qij，则qij＝(qwc(i)qcb)T(qwc(j)qcb)，其中qwc为视觉里程计估计的相机姿态，qcb为相机与惯导之间的相对位姿。进一步的，qij与IMU预积分测量值之间的残差为eqij＝qij(bg)(qw T b(i)qwb(j))T，此时，通过上式的残差便可计算得到IMU中陀螺仪的零偏。
此外，设置IMU预积分过程中相邻帧之间的位置变化量为pij，利用三个相邻帧之间的位置变化量，可构建包含单目视觉里程计尺度和IMU重力参数的线性方程组，通过求解该方程组便能够得到相机尺度和IMU重力参数。而当相机尺度和IMU重力参数估计出来后，则可利用IMU预积分项估计出IMU中加速度计零偏，以及相机运动的速度等。
上述包含单目视觉里程计尺度和IMU重力参数的线性方程组，以及利用IMU预积分项对IMU中加速度计零偏和相机运动速度的估计，也均采用现有SLAM算法中的常规计算方式即可。
步骤s30.采用基于滑动窗口的非线性优化方式对相机运动、路标点坐标和IMU状态信息进行估计。
本实施例在步骤s30中，采用基于滑动窗口的非线性优化方式，能够保证算法的运行效率，并且采用基于滑动窗口的非线性优化方式，也能够更加精确地估计上述相机运动、路标点坐标及IMU状态信息。
需要说明的是，在优化过程中，本实施例可通过添加满足要求的关键帧到滑动窗口和移除旧的关键帧，以使得***优化的变量控制在一定的范围。
并且，对于本实施例的基于滑动窗口的非线性优化，具体的，定义滑动窗口中包括IMU、特征点、特征线的全状态向量χ为如下公式：
Figure BDA0003480813230000071
上式中，xi表示第i帧中IMU在世界坐标系下的测量信息，且包括位置
Figure BDA0003480813230000072
姿态
Figure BDA0003480813230000073
速度
Figure BDA0003480813230000074
和加速度计零偏
Figure BDA0003480813230000075
陀螺仪零偏
Figure BDA0003480813230000076
Figure BDA0003480813230000077
表示观测到的三维路标点的逆深度，
Figure BDA0003480813230000078
表示三维特征线的四参数正交表示。
本实施例的方法中，基于滑动窗口的非线性优化方式的目标函数具体包括五类残差项，其分别为移除旧的关键帧产生的先验残差eprior，IMU测量残差eIMU，视觉点特征重投影误差ed，视觉线特征重投影误差el，以及回环检测残差eloop。
以上各残差项分别为：
eprior＝ρ(||rp-Hpχ||2)；
Figure BDA0003480813230000079
Figure BDA00034808132300000710
Figure BDA00034808132300000711
Figure BDA00034808132300000712
在上述各式中，B为滑动窗口中IMU预积分测量值集合，D为视觉点特征集合，L为视觉线特征集合，
Figure BDA00034808132300000713
为IMU预积分噪声项协方差矩阵，
Figure BDA00034808132300000714
为视觉点特征噪声项协方差矩阵，
Figure BDA00034808132300000715
为视觉线特征噪声项协方差矩阵，ρ为抑制异常值的鲁棒核函数。
由此，本实施例的基于滑动窗口的非线性优化方式的目标函数为：
Figure BDA0003480813230000081
其中，eprior为移除旧的关键帧产生的先验残差，eIMU为IMU测量残差，ed为视觉点特征重投影误差，el为视觉线特征重投影误差，eloop为回环检测残差。
而且需要注意的是，上述目标函数中，针对于回环检测残差eloop，只有当出现回环时才应将该残差项加入到目标优化函数中。
步骤s40.进行回环检测。
当相机在运动过程中存在回环时，可以通过回环检测优化相机的位姿。本实施例在s40的回环检测步骤中，优选的，为利用DBoW词袋模型进行回环检测。
在该回环检测中，当存在回环时，将当前窗口与过去时刻位姿图对齐，并对所有IMU测量信息、滑动窗口内的视觉测量信息、回环特征信息进行非线性优化，如此能够得到更加精确的***信息。
同时，本实施例的采用DBoW词袋模型进行回环检测，其过程一般为对当前图像帧和关键帧中特征点的BRIEF描述子进行聚类，并构建节点树，再利用TF-IDF方法得到每一幅图像的词袋模型(BoW)。接着，利用词袋模型进行相似度计算，根据相似度值确定候选回环帧，再进一步根据当前帧与候选回环帧BRIEF描述子的匹配结果确定回环关系。
当确定回环关系后，进行紧耦合重定位，完成回环检测。
步骤s50.通过全局位姿图优化得到全局一致的位姿图。
在步骤s40中紧耦合重定位完成后，本实施例对所有历史变量进行全局图优化，实现全局一致性定位，便能够得到全局一致的位姿图。
本实施例的方法，通过提取相机图像的ORB特征和LSD线特征，将ORB特征与LSD线特征融合，可提高弱纹理场景下获取的视觉信息量。在此基础上，再通过视觉惯性联合初始化，得到SLAM***初始的运动估计，并在后端优化环节中，利用非线性优化方法得到优化的运动估计，且进行回环检测和重定位，以及通过全局运动优化，便可实现运动轨迹和地图的全局一致，得到全局一致的位姿图。该方法能够在弱纹理场景下保证定位精度，可提升SLAM方法的使用效果，而有着很好的实用性。
另外，对于本实施例的方法，可利用EuRoc公开数据集对该方法的性能进行验证和分析。
EuRoc公开数据集是采集的微小型无人机飞行过程中的传感器数据，一般包括双目视觉和惯性测量数据，以及无人机飞行的轨迹数据。验证时，双目视觉图像可由AptinaMT9V034相机采集，惯性测量数据可由ADIS16448惯导***采集，无人机运动轨迹真值可由Vicon动作捕捉器和Leica激光追踪器采集。
在验证时，采用Legion Y7000笔记本电脑作为硬件运行环境，处理器为Intel i7-10750H [email protected] 2.59ZGHz，16GB RAM，操作***为Ubuntu16.04LTS。
验证时，具体选取EuRoc公开数据集中的MH_02_easy、MH_03_medium、MH_05_difficult图像序列的左相机图像来分析本实施例的单目惯性SLAM算法的性能。分析指标包括导航定位精度的均方根误差、误差均值、误差极小值、最差极大值，并将本实施例的SLAM算法的性能与著名的单目SLAM算法VINS-Mono进行对比。
其中，图2为MH_02_easy图像序列上的性能对比柱状图，图3为MH_03_medium图像序列上的性能对比柱状图，图4为MH_05_difficult图像序列上的性能对比柱状图。
由图2至图4可以看出，在三种图像序列中本实施例的SLAM算法定位精度的均方根误差、误差均值、误差极小值都比VINS-Mono算法要小。并且，由于本实施例的SLAM算法引入了线性特征，其虽然降低了定位误差的累积，不过在MH_02_easy、MH_03_medium两个图像序列中的误差极大值有所增大。
而在图像环境最复杂的MH_05_difficult序列中，本实施例的SLAM算法在均方根误差、误差均值、误差极小值、误差极大值四个指标中性能都优于VINS-Mono算法。由此可知，本实施例的方法能够提高导航定位精度，同时其也增强***在复杂环境下的鲁棒性。
最后，本实施例也涉及一种基于点线特征的单目视觉惯性同步定位与建图***(简称***10)，如图5所示的，该***10包括存储器110和处理器120。
其中，在存储器110中存储有计算机可读程序，并且当处理器120执行该计算机可读程序时，执行上述的基于点线特征的单目视觉惯性同步定位与建图方法。
具体实施时，上***10一般为安装有与上述方法对应的计算机程序的计算机即可，且对应的，存储器110可为该计算机内的存储模块，处理器120即为该计算机内的处理器。
本实施例的***10，能够在弱纹理场景下保证定位精度，可提升SLAM方法的使用效果，有着很好的实用性。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于点线特征的单目视觉惯性同步定位与建图方法，其特征在于，该方法包括：
提取单目相机图像的ORB特征和LSD线特征；
利用视觉惯性里程计进行视觉惯导初始化，求解单目相机的参数信息和IMU的参数信息；
采用基于滑动窗口的非线性优化方式对相机运动、路标点坐标和IMU状态信息进行估计；
进行回环检测；
通过全局位姿图优化得到全局一致的位姿图。
2.根据权利要求1所述的基于点线特征的单目视觉惯性同步定位与建图方法，其特征在于：
所述单目相机的参数信息至少包括单目相机的尺度、速度，所述IMU的参数信息至少包括IMU的零偏、重力。
3.根据权利要求2所述的基于点线特征的单目视觉惯性同步定位与建图方法，其特征在于：
所述利用视觉惯性里程计进行视觉惯导初始化，求解单目相机的参数信息和IMU的参数信息包括：
进行单目视觉图像的ORB点特征检测与匹配，以及LSD线特征检测与匹配；
IMU进行测量信息的预积分，并利用视觉测量信息估计相机运动及路标点的坐标；
根据视觉运动信息与IMU预积分测量信息之间的误差进行优化完成视觉惯导初始化，求解出单目相机的参数信息和IMU的参数信息。
4.根据权利要求3所述的基于点线特征的单目视觉惯性同步定位与建图方法，其特征在于：
对于所述ORB点特征，通过本质矩阵和单应性矩阵估计相机运动，对于所述LSD线特征，通过优化投影线特征的重叠长度估计相机运动。
5.根据权利要求1所述的基于点线特征的单目视觉惯性同步定位与建图方法，其特征在于：
所述基于滑动窗口的非线性优化方式的目标函数为：
Figure FDA0003480813220000021
其中，eprior为移除旧的关键帧产生的先验残差，eIMU为IMU测量残差，ed为视觉点特征重投影误差，el为视觉线特征重投影误差，eloop为回环检测残差。
6.根据权利要求1所述的基于点线特征的单目视觉惯性同步定位与建图方法，其特征在于：
所述进行回环检测包括利用DBoW词袋模型进行回环检测。
7.根据权利要求6所述的基于点线特征的单目视觉惯性同步定位与建图方法，其特征在于：
在所述回环检测中，当存在回环时，将当前窗口与过去时刻位姿图对齐，并对所有IMU测量信息、滑动窗口内的视觉测量信息、回环特征信息进行非线性优化。
8.一种基于点线特征的单目视觉惯性同步定位与建图***，其特征在于：
所述***包括存储器(110)和处理器(120)，所述存储器(110)中存储有计算机可读程序，所述处理器(120)执行所述计算机可读程序时，执行权利要求1至7中任一项所述的基于点线特征的单目视觉惯性同步定位与建图方法。
CN202210067645.1A 2022-01-20 2022-01-20 基于点线特征的单目视觉惯性同步定位与建图方法及*** Pending CN114485640A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210067645.1A CN114485640A (zh) 2022-01-20 2022-01-20 基于点线特征的单目视觉惯性同步定位与建图方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210067645.1A CN114485640A (zh) 2022-01-20 2022-01-20 基于点线特征的单目视觉惯性同步定位与建图方法及***

Publications (1)

Publication Number Publication Date
CN114485640A true CN114485640A (zh) 2022-05-13

Family

ID=81472631

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210067645.1A Pending CN114485640A (zh) 2022-01-20 2022-01-20 基于点线特征的单目视觉惯性同步定位与建图方法及***

Country Status (1)

Country Link
CN (1) CN114485640A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115690205A (zh) * 2022-10-09 2023-02-03 北京自动化控制设备研究所 基于点线综合特征的视觉相对位姿测量误差估计方法
CN115752489A (zh) * 2022-09-20 2023-03-07 湖南云箭集团有限公司 可移动设备的定位方法、装置和电子设备
CN116109621A (zh) * 2023-03-10 2023-05-12 无锡锤头鲨智能科技有限公司 一种基于深度模板的缺陷检测方法和***
CN116542972A (zh) * 2023-07-04 2023-08-04 山东阁林板建材科技有限公司 基于人工智能的墙板表面缺陷快速检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109579840A (zh) * 2018-10-25 2019-04-05 中国科学院上海微***与信息技术研究所 一种点线特征融合的紧耦合双目视觉惯性slam方法
CN110726406A (zh) * 2019-06-03 2020-01-24 北京建筑大学 一种改进的非线性优化单目惯导slam的方法
CN112683305A (zh) * 2020-12-02 2021-04-20 中国人民解放军国防科技大学 一种基于点线特征的视觉-惯性里程计状态估计方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109579840A (zh) * 2018-10-25 2019-04-05 中国科学院上海微***与信息技术研究所 一种点线特征融合的紧耦合双目视觉惯性slam方法
CN110726406A (zh) * 2019-06-03 2020-01-24 北京建筑大学 一种改进的非线性优化单目惯导slam的方法
CN112683305A (zh) * 2020-12-02 2021-04-20 中国人民解放军国防科技大学 一种基于点线特征的视觉-惯性里程计状态估计方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
RA´UL MUR-ARTAL ET AL: "Visual-Inertial Monocular SLAM with Map Reuse", 《IEEE ROBOTICS AND AUTOMATION LETTERS. PREPRINT VERSION》 *
胡雪花等: "基于点线特征的视觉SLAM方法综述", 《科技风》 *
钱琦等: "基于点线特征的单目同步定位与建图初始化方法", 《光学学报》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115752489A (zh) * 2022-09-20 2023-03-07 湖南云箭集团有限公司 可移动设备的定位方法、装置和电子设备
CN115690205A (zh) * 2022-10-09 2023-02-03 北京自动化控制设备研究所 基于点线综合特征的视觉相对位姿测量误差估计方法
CN115690205B (zh) * 2022-10-09 2023-12-05 北京自动化控制设备研究所 基于点线综合特征的视觉相对位姿测量误差估计方法
CN116109621A (zh) * 2023-03-10 2023-05-12 无锡锤头鲨智能科技有限公司 一种基于深度模板的缺陷检测方法和***
CN116109621B (zh) * 2023-03-10 2023-09-22 无锡锤头鲨智能科技有限公司 一种基于深度模板的缺陷检测方法和***
CN116542972A (zh) * 2023-07-04 2023-08-04 山东阁林板建材科技有限公司 基于人工智能的墙板表面缺陷快速检测方法
CN116542972B (zh) * 2023-07-04 2023-10-03 山东阁林板建材科技有限公司 基于人工智能的墙板表面缺陷快速检测方法

Similar Documents

Publication Publication Date Title
CN109307508B (zh) 一种基于多关键帧的全景惯导slam方法
Qin et al. Vins-mono: A robust and versatile monocular visual-inertial state estimator
CN109993113B (zh) 一种基于rgb-d和imu信息融合的位姿估计方法
Fu et al. PL-VINS: Real-time monocular visual-inertial SLAM with point and line features
CN109166149B (zh) 一种融合双目相机与imu的定位与三维线框结构重建方法与***
Li et al. Monocular visual-inertial state estimation for mobile augmented reality
Zihao Zhu et al. Event-based visual inertial odometry
US9071829B2 (en) Method and system for fusing data arising from image sensors and from motion or position sensors
Forster et al. SVO: Fast semi-direct monocular visual odometry
Zheng et al. Trifo-VIO: Robust and efficient stereo visual inertial odometry using points and lines
CN111258313A (zh) 多传感器融合slam***及机器人
CN114485640A (zh) 基于点线特征的单目视觉惯性同步定位与建图方法及***
CN110726406A (zh) 一种改进的非线性优化单目惯导slam的方法
CN116205947B (zh) 基于相机运动状态的双目-惯性融合的位姿估计方法、电子设备及存储介质
CN112734852A (zh) 一种机器人建图方法、装置及计算设备
CN114623817B (zh) 基于关键帧滑窗滤波的含自标定的视觉惯性里程计方法
CN111932674A (zh) 一种线激光视觉惯性***的优化方法
CN111609868A (zh) 一种基于改进光流法的视觉惯性里程计方法
CN112556719A (zh) 一种基于cnn-ekf的视觉惯性里程计实现方法
Aufderheide et al. Towards real-time camera egomotion estimation and three-dimensional scene acquisition from monocular image streams
Sandy et al. Object-based visual-inertial tracking for additive fabrication
Rückert et al. Snake-SLAM: Efficient global visual inertial SLAM using decoupled nonlinear optimization
CN112731503B (zh) 一种基于前端紧耦合的位姿估计方法及***
CN112945233B (zh) 一种全局无漂移的自主机器人同时定位与地图构建方法
Nakashima et al. Uncertainty-based adaptive sensor fusion for visual-inertial odometry under various motion characteristics

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination