CN114993293A - 室内弱纹理环境下移动无人***同步定位与建图方法 - Google Patents

室内弱纹理环境下移动无人***同步定位与建图方法 Download PDF

Info

Publication number
CN114993293A
CN114993293A CN202210898580.5A CN202210898580A CN114993293A CN 114993293 A CN114993293 A CN 114993293A CN 202210898580 A CN202210898580 A CN 202210898580A CN 114993293 A CN114993293 A CN 114993293A
Authority
CN
China
Prior art keywords
line
point
blanking
information
blanking point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210898580.5A
Other languages
English (en)
Other versions
CN114993293B (zh
Inventor
董洋洋
徐即墨
张子建
王寅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202210898580.5A priority Critical patent/CN114993293B/zh
Publication of CN114993293A publication Critical patent/CN114993293A/zh
Application granted granted Critical
Publication of CN114993293B publication Critical patent/CN114993293B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明公开了一种室内弱纹理环境下移动无人***同步定位与建图方法，包括提取、跟踪图像的点特征与LSD线特征，并基于所提取的线特征进一步提取消隐点以对所提取的线特征进行分组，使用紧耦合的方式融合视觉与惯性信息，构建基于滑动窗口的非线性优化后端，将点特征、线特征的重投影误差、消隐点残差和IMU测量误差共同纳入滑动窗口中；本发明引入了线特征并基于消隐点对线特征分组，得到具有方向信息的结构线条，还将线特征观测残差与消隐点残差纳入后端非线性优化框架中，解决了基于点特征的视觉惯性slam***易跟踪丢失、稳定性差的问题，具有在室内弱纹理环境中定位精度高、鲁棒性强的优势。

Description

室内弱纹理环境下移动无人***同步定位与建图方法
技术领域
本发明提供了一种室内弱纹理环境下移动无人***同步定位与建图方法，属于移动无人***自主定位导航技术应用领域。
背景技术
在实现无人***自动化的过程中，其中一大关键要素便是无人***能够安全地在环境中移动并达到给定目标点。为了实现这个目标，就需要解决无人***领域中的定位、地图构建和导航问题。实时估计无人***自身在环境中的位姿即定位问题，根据位姿对周围环境进行建模即地图构建问题。在已知其中一个的前提下，求解另一个问题往往比较容易。然而在未知环境中，无人***既没有先验地图来完成定位，也没有精确的位姿来完成建图，就需要采用同步定位与地图构建（Simultaneous Localization and Mapping）SLAM技术，它是指搭载特定传感器的主体，在没有环境先验信息的情况下，于运动过程中建立环境的模型，同时估计自己的运动。
在SLAM问题中，无人***位姿估计和环境构建均依赖传感器的测量信息，并根据不同的运行环境采用不同的传感器。各种传感器在定位和导航领域均有着广泛的应用，视觉传感器可以提供较精确的环境观测信息，但存在尺度模糊，快速运动或光强变化大环境测量不稳定的缺陷。IMU可以提供自身三轴线加速度和角速度信息，但通过连续积分估计自身姿态，随着时间增长，累积误差会快速增长。图像信息可以有效校正惯性导航中的漂移问题，惯性导航信息可以弥补图像测量尺度模糊及弱纹理环境误差较大的问题。
为了获得更高的定位精度，将视觉传感器与IMU融合是一种有效的途径。根据对图像的处理方式不同，可以分为直接法和特征点法。特征点法又被称为间接法，最早源于经典SLAM中的特征跟踪算法，其主要提取图像中具有不变性质的一些特征，通过特征匹配、特征跟踪等过程，计算特征逆投影误差，在相应的几何约束下实现位姿的估计。直接法从光流法演变而来，其基本假设是相同场景的光强具有一致性。它采用图像所有的像素信息，通过最小化光度误差来估计相机的位姿变化。
目前主流的视觉 SLAM 包括视觉惯性融合的 SLAM ***都是采用提取图像中的特征点作为视觉观测，而当环境纹理信息不丰富时则无法提取足够多准确可靠的特征点，SLAM ***的定位效果就会大大降低，甚至直接造成***定位失败。
发明内容
多数视觉惯性融合***仅将点特征作为视觉信息，在快速运动、弱纹理、弱照明及光照变化明显等场景中鲁棒性差，而线特征则在以上场景具有良好表现，且基于线特征构建的三维空间地图具有较好的结构性，可为之后导航提供语义信息。有鉴于此，本发明旨在提出一种面向室内弱纹理环境的基于点线特征的视觉惯性同步定位与建图方法，以能够在弱纹理场景下依然鲁棒且保证高定位精度。
为了实现上述目的，本发明提供的技术方案是：
一种室内弱纹理环境下移动无人***同步定位与建图方法，包括以下步骤：
S1：获取来自相机的图像信息与来自IMU的环境信息作为输入信息；
S2：对来自相机的图像进行点线特征的检测与跟踪，引入线段间的距离信息，筛选出割裂线段并进行合并；
S3：针对所筛选出的线特征，更进一步提取消隐点，并根据消隐点对线特征分组；
S4：用紧耦合的方法融合图像与IMU信息，根据光束平差法构建基于滑动窗口的非线性优化后端，绘制并优化位姿与地图中的点线。
作为优选的一种技术方案，所述步骤S1具体为：
将相机获取的图像和IMU获取的环境信息作为输入信息，其中，相机和IMU是并行运行的，分别提取出图像信息和环境测量信息将两者用紧耦合的方式综合在一起作为输入信息。
作为优选的一种技术方案，所述步骤S2具体为：
S21：根据输入的图像信息进行点线特征的提取与跟踪，通过Shi-Tomasi角点提取点特征，使用KLT跟踪，利用RANSAC进行内嵌修正；
S22：选用LSD算法提取线特征，并根据线段的方向和距离合并被分割的小线段，最小化将一条线分割成不同的多个线段的影响；
S23：接着用LBD描述子描述提取的线特征，进行匹配跟踪。
作为优选的一种技术方案，所述步骤S3具体为：
S31：构建极坐标网格，以图像的像主点为中点构建一个极坐标网格，然后计算出线段对每个子网格的响应度，并将其存储在每个网格中；
S32：生成消隐点假设，利用基于2条线段的最小解集生成第一个消隐点v1，然后在第一个消隐点v1对应的等效球面的圆弧上利用均匀采样的方法来得到第二个消隐点v2，最后利用第一个消隐点v1和第二个消隐点v2正交得到第三个消隐点v3；
S33：消隐点假设验证，所有在步骤S32中得到的消隐点假设，将其投影到图像平面上并找到其对应的极坐标网格，然后选取其中响应度之和最大的消隐点假设作为最后的结果；
S34：得到消隐点后通过计算每条线段与三个消隐点方向的夹角，取夹角最小的消隐点作为该线段的结构方向，实现结构线条的提取。
作为优选的一种技术方案，所述步骤S4具体为：
应用光束平差法建立基于滑动窗口的视觉-惯性非线性优化框架，在此使用线的 正交化表达方式，构建世界坐标系内的全局状态向量
Figure 213024DEST_PATH_IMAGE001
为：
Figure 989219DEST_PATH_IMAGE002
Figure 831273DEST_PATH_IMAGE003
其中，
Figure 790264DEST_PATH_IMAGE004
表示第i帧IMU预积分后在世界坐标系下提供的信息，包括：位置
Figure 401374DEST_PATH_IMAGE005
，旋 转四元数
Figure 286154DEST_PATH_IMAGE006
，速度
Figure 615504DEST_PATH_IMAGE007
，加速度计零偏
Figure 189572DEST_PATH_IMAGE008
，陀螺仪零偏
Figure 920767DEST_PATH_IMAGE009
；
Figure 976448DEST_PATH_IMAGE010
表示空间内视觉点特征的逆 深度，
Figure 527515DEST_PATH_IMAGE011
表示视觉线特征的正交化坐标；I表示滑动窗口的数量，J表示点特征点的数量，K 表示线特征的数量；
所述基于滑动窗口的非线性优化方式的目标函数为：
Figure 828309DEST_PATH_IMAGE013
其中，
Figure 210749DEST_PATH_IMAGE001
为全局状态向量，
Figure 702910DEST_PATH_IMAGE014
表示来自边缘化的先验信息，
Figure 505387DEST_PATH_IMAGE015
，
Figure 577249DEST_PATH_IMAGE016
，
Figure 79774DEST_PATH_IMAGE017
，
Figure 477257DEST_PATH_IMAGE018
分别代表IMU残差，点特征残差，线特征残差以及消隐 点残差；
Figure 769961DEST_PATH_IMAGE019
，
Figure 645513DEST_PATH_IMAGE020
，
Figure 205807DEST_PATH_IMAGE021
，
Figure 39771DEST_PATH_IMAGE022
分别代表IMU、点特征、线特征、消隐点测量的协方差矩 阵；
Figure 353859DEST_PATH_IMAGE023
，
Figure 298681DEST_PATH_IMAGE024
，
Figure 447902DEST_PATH_IMAGE025
，分别代表点特征、线特征、消隐点特征测量值的鲁棒核函数；P，L，V分别 代表被观测帧中点特征、线特征及消隐点测量值的集合， B为滑动窗口中所有预积分的IMU 测量值的集合；
其中，消隐点残差
Figure 954232DEST_PATH_IMAGE026
定义为：
Figure 454484DEST_PATH_IMAGE027
其中，
Figure 937418DEST_PATH_IMAGE028
表示消隐点的观测值；
Figure 472304DEST_PATH_IMAGE029
消隐点的估计值，为
Figure 943344DEST_PATH_IMAGE030
与图像平面的交点，而
Figure 930891DEST_PATH_IMAGE031
为与被估计线特征平行且过相机中心的 线。
本发明相对于现有技术的有益效果为：
1）多数视觉惯性融合***仅将点特征作为视觉信息，在快速运动、弱纹理、弱照明及光照变化明显等场景易跟踪丢失、稳定性差，本发明引入了线段特征，在以上场景表现良好，鲁棒性强，不会发生特征跟踪丢失的情况，且基于线特征构建的三维空间地图具有较好的结构性，可为之后导航提供语义信息；
2）本发明在使用LSD检测线后，引入线之间的距离信息合并被割裂的小线段，提高了线段检测的精度，并在提取线条的基础上进一步提取消隐点对线条分类以提取结构线条，结构线条带有很强的全局方向的约束，利用这个先验信息纠正相机位姿的估计，整体上提高定位精度；
3）本发明在非线性优化后端定义并加入了消隐点残差，进一步提高总体的定位精度和鲁棒性。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
图1是本发明所提出的一种室内弱纹理环境下移动无人***同步定位与建图方法框架图；
图2是本发明线段合并示意图；
图3是本发明消隐点提取示意图；
图4是本发明后端优化的因子图模型；
图5是本发明消隐点残差定义说明图。
具体实施方式
以下是本发明的具体实施例并结合附图，对本发明的技术方案作进一步的描述，但本发明并不限于这些实施例。
图1是本发明实施例提供的一种室内弱纹理环境下移动无人***同步定位与建图方法框架图，如图所示，本发明实施例提供的一种室内弱纹理环境下移动无人***同步定位与建图方法包括：
S1：将来自相机的图像信息与来自IMU的环境信息作为输入信息；
具体的，在本实施例中，将单目相机获取的图像和IMU获取的环境信息作为输入信息，相机和IMU是并行运行的，分别提取出图像信息和环境测量信息将两者用紧耦合的方式综合在一起作为输入信息。
S2：对来自相机的图像进行点线特征的检测与跟踪，引入线段间的距离信息，筛选出割裂线段并进行合并；
具体的，在本实施例中，根据输入的图像信息进行点线特征的提取与跟踪，通过Shi-Tomasi角点提取点特征，使用KLT跟踪，利用RANSAC进行内嵌修正。选用精度较高且实时性强的LSD算法提取线特征，并根据线段的方向和距离合并本应属于一条线却被分割的小线段，最小化将一条线分割成不同的多个线段的影响。接着用LBD描述子描述提取的线特征，进行匹配跟踪。如图2所示，l表示两线段端点之间的最小距离，d表示一条线段的中点到另一条线段的距离。如果d和l小于给定的阈值，则将这两条线段合并。接着用LBD描述子描述提取的线特征，并用KNN匹配。
S3：针对所提取的线特征，更进一步提取消隐点，并根据消隐点对线特征分组；
具体的，根据所提取的线特征进一步提取消隐点，图3为本发明消隐点提取示意图，提取流程如下：
1）构建极坐标网格，以图像的像主点为中点构建一个极坐标网格，然后计算出线段对每个子网格的响应度，并将其存储在每个网格中。
2）生成消隐点假设，利用基于2条线段的最小解集生成第一个消隐点v1，然后在v1对应的等效球面的圆弧上利用均匀采样的方法来得到第二个消隐点v2，最后利用v1和v2正交得到第三个消隐点v3。
3）消隐点假设验证，所有在第二步中得到的消隐点假设，将其投影到图像平面上并找到其对应的极坐标网格，然后选取其中响应度之和最大的消隐点假设作为最后的结果。
得到消隐点后通过计算每条线段与三个消隐点方向的夹角，取夹角最小的消隐点作为该线段的结构方向，实现结构线条的提取。
S4：用紧耦合的方法融合图像与IMU信息，根据光束平差法（BA）构建基于滑动窗口 的非线性优化后端，提出一种消隐点残差的定义方式并加入后端优化框架之中，优化位姿 与地图中的点线。如图4所示，为本发明后端优化的因子图模型，在图4中，
Figure 217516DEST_PATH_IMAGE032
为非结构线， 则只添加线特征因子，
Figure 75751DEST_PATH_IMAGE033
与
Figure 923883DEST_PATH_IMAGE034
为结构线，则同时添加线特征因子与消隐点因子。
应用光束平差法（BA）建立基于滑动窗口的视觉-惯性非线性优化框架，在此使用线的正交化表达方式，构建世界坐标系内的全局状态向量为:
Figure 398727DEST_PATH_IMAGE002
Figure 489043DEST_PATH_IMAGE003
其中，
Figure 732942DEST_PATH_IMAGE004
表示第i帧IMU预积分后在世界坐标系下提供的信息，包括：位置
Figure 274345DEST_PATH_IMAGE005
，旋 转四元数
Figure 970906DEST_PATH_IMAGE006
，速度
Figure 396071DEST_PATH_IMAGE007
，加速度计零偏
Figure 261521DEST_PATH_IMAGE008
，陀螺仪零偏
Figure 418833DEST_PATH_IMAGE009
；
Figure 868269DEST_PATH_IMAGE010
表示空间内视觉点特征的逆 深度，
Figure 300387DEST_PATH_IMAGE011
表示视觉线特征的正交化坐标；I表示滑动窗口的数量，J表示点特征点的数量，K 表示线特征的数量；
所述基于滑动窗口的非线性优化方式的目标函数为：
Figure 751835DEST_PATH_IMAGE036
其中，
Figure 407944DEST_PATH_IMAGE001
为全局状态向量，
Figure 79097DEST_PATH_IMAGE014
表示来自边缘化的先验信息，
Figure 816371DEST_PATH_IMAGE015
，
Figure 889369DEST_PATH_IMAGE016
，
Figure 654063DEST_PATH_IMAGE017
，
Figure 812512DEST_PATH_IMAGE018
分别代表IMU残差，点特征残差，线特 征残差以及消隐点残差；
Figure 90827DEST_PATH_IMAGE019
，
Figure 815070DEST_PATH_IMAGE020
，
Figure 16244DEST_PATH_IMAGE021
，
Figure 396410DEST_PATH_IMAGE022
分别代表IMU、点特征、线特征、消隐点测量 的协方差矩阵；
Figure 209907DEST_PATH_IMAGE023
，
Figure 257497DEST_PATH_IMAGE024
，
Figure 629573DEST_PATH_IMAGE025
，分别代表点特征、线特征、消隐点特征测量值的鲁棒核函数； P，L，V分别代表被观测帧中点特征、线特征及消隐点测量值的集合， B为滑动窗口中所有预 积分的IMU测量值的集合。
如图5所示为本发明消隐点残差定义的示意图，其中·—线代表被观测到的线特 征及与其平行且过相机中心的线，——线代表估计的线特征及与其平行且过相机中心的 线，
Figure 762614DEST_PATH_IMAGE028
为与被观测到的线特征平行且过相机中心的线与图像平面的交点，代表消隐点的观 测值。消隐点残差
Figure 173610DEST_PATH_IMAGE026
定义为：
Figure 75707DEST_PATH_IMAGE027
其中，
Figure 353105DEST_PATH_IMAGE028
表示消隐点的观测值；
Figure 6065DEST_PATH_IMAGE029
消隐点的估计值，为
Figure 456638DEST_PATH_IMAGE030
与图像平面的交点，而
Figure 947663DEST_PATH_IMAGE031
为与被估计线特征平行且过相机中心的 线。
上述方法通过加入了线特征作为视觉观测，在弱纹理室内场景中保持高定位精度和强鲁棒性，且基于线特征构建的三维空间地图具有较好的结构性，可为之后导航提供语义信息。
另外，本发明在使用LSD检测线后，引入线之间的距离信息合并被割裂的小线段，提高了线段检测的精度，并在提取线条的基础上进一步提取消隐点对线条分类以提取结构线条，结构线条带有很强的全局方向的约束，利用这个先验信息纠正相机位姿的估计，整体上提高定位精度。
最后，在非线性优化后端定义并加入了消隐点残差，进一步提高总体的定位精度和鲁棒性。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (5)

1.一种室内弱纹理环境下移动无人***同步定位与建图方法，其特征在于，包括以下步骤：
S1：获取来自相机的图像信息与来自IMU的环境信息作为输入信息；
S2：对来自相机的图像进行点线特征的检测与跟踪，引入线段间的距离信息，筛选出割裂线段并进行合并；
S3：针对所筛选出的线特征，更进一步提取消隐点，并根据消隐点对线特征分组；
S4：用紧耦合的方法融合图像与IMU信息，根据光束平差法构建基于滑动窗口的非线性优化后端，绘制并优化位姿与地图中的点线。
2.根据权利要求1所述的一种室内弱纹理环境下移动无人***同步定位与建图方法，其特征在于：所述步骤S1具体为：
将相机获取的图像和IMU获取的环境信息作为输入信息，其中，相机和IMU是并行运行的，分别提取出图像信息和环境测量信息将两者用紧耦合的方式综合在一起作为输入信息。
3.根据权利要求1所述的一种室内弱纹理环境下移动无人***同步定位与建图方法，其特征在于：所述步骤S2具体为：
S21：根据输入的图像信息进行点线特征的提取与跟踪，通过Shi-Tomasi角点提取点特征，使用KLT跟踪，利用RANSAC进行内嵌修正；
S22：选用LSD算法提取线特征，并根据线段的方向和距离合并被分割的小线段，最小化将一条线分割成不同的多个线段的影响；
S23：接着用LBD描述子描述提取的线特征，进行匹配跟踪。
4.根据权利要求1所述的一种室内弱纹理环境下移动无人***同步定位与建图方法，其特征在于：所述步骤S3具体为：
S31：构建极坐标网格，以图像的像主点为中点构建一个极坐标网格，然后计算出线段对每个子网格的响应度，并将其存储在每个网格中；
S32：生成消隐点假设，利用基于2条线段的最小解集生成第一个消隐点v1，然后在第一个消隐点v1对应的等效球面的圆弧上利用均匀采样的方法来得到第二个消隐点v2，最后利用第一个消隐点v1和第二个消隐点v2正交得到第三个消隐点v3；
S33：消隐点假设验证，所有在步骤S32中得到的消隐点假设，将其投影到图像平面上并找到其对应的极坐标网格，然后选取其中响应度之和最大的消隐点假设作为最后的结果；
S34：得到消隐点后通过计算每条线段与三个消隐点方向的夹角，取夹角最小的消隐点作为该线段的结构方向，实现结构线条的提取。
5.根据权利要求1所述的一种室内弱纹理环境下移动无人***同步定位与建图方法，其特征在于：所述步骤S4具体为：
应用光束平差法建立基于滑动窗口的视觉-惯性非线性优化框架，在此使用线的正交 化表达方式，构建世界坐标系内的全局状态向量
Figure 927462DEST_PATH_IMAGE001
为：
Figure 300543DEST_PATH_IMAGE002
Figure 647211DEST_PATH_IMAGE003
其中，
Figure 872787DEST_PATH_IMAGE004
表示第i帧IMU预积分后在世界坐标系下提供的信息，包括：位置
Figure 963103DEST_PATH_IMAGE005
，旋转四 元数
Figure 255937DEST_PATH_IMAGE006
，速度
Figure 258659DEST_PATH_IMAGE007
，加速度计零偏
Figure 955220DEST_PATH_IMAGE008
，陀螺仪零偏
Figure 832915DEST_PATH_IMAGE009
；
Figure 728059DEST_PATH_IMAGE010
表示空间内视觉点特征的逆深度，
Figure 901682DEST_PATH_IMAGE011
表示视觉线特征的正交化坐标；I表示滑动窗口的数量，J表示点特征点的数量，K表示线 特征的数量；
所述基于滑动窗口的非线性优化方式的目标函数为：
Figure 351118DEST_PATH_IMAGE012
其中，
Figure 843890DEST_PATH_IMAGE001
为全局状态向量，
Figure 547535DEST_PATH_IMAGE013
表示来自边缘化的先验信息，
Figure 406906DEST_PATH_IMAGE014
，
Figure 327327DEST_PATH_IMAGE015
，
Figure 563136DEST_PATH_IMAGE016
，
Figure 121288DEST_PATH_IMAGE017
分别代表IMU残差，点特征残差，线特征残差以及消隐点残 差；
Figure 151560DEST_PATH_IMAGE018
，
Figure 562207DEST_PATH_IMAGE019
，
Figure 336128DEST_PATH_IMAGE020
，
Figure 14365DEST_PATH_IMAGE021
分别代表IMU、点特征、线特征、消隐点测量的协方差矩阵；
Figure 215539DEST_PATH_IMAGE022
，
Figure 110551DEST_PATH_IMAGE023
，
Figure 422584DEST_PATH_IMAGE024
，分别代表点特征、线特征、消隐点特征测量值的鲁棒核函数；P，L，V分别代表被观测帧 中点特征、线特征及消隐点测量值的集合， B为滑动窗口中所有预积分的IMU测量值的集 合；
其中，消隐点残差
Figure 17645DEST_PATH_IMAGE025
定义为：
Figure 389720DEST_PATH_IMAGE026
其中，
Figure 774958DEST_PATH_IMAGE027
表示消隐点的观测值；
Figure 625103DEST_PATH_IMAGE028
消隐点的估计值，为
Figure 277932DEST_PATH_IMAGE029
与图 像平面的交点，而
Figure 820909DEST_PATH_IMAGE030
为与被估计线特征平行且过相机中心的线。
CN202210898580.5A 2022-07-28 2022-07-28 室内弱纹理环境下移动无人***同步定位与建图方法 Active CN114993293B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210898580.5A CN114993293B (zh) 2022-07-28 2022-07-28 室内弱纹理环境下移动无人***同步定位与建图方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210898580.5A CN114993293B (zh) 2022-07-28 2022-07-28 室内弱纹理环境下移动无人***同步定位与建图方法

Publications (2)

Publication Number Publication Date
CN114993293A true CN114993293A (zh) 2022-09-02
CN114993293B CN114993293B (zh) 2022-12-06

Family

ID=83021635

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210898580.5A Active CN114993293B (zh) 2022-07-28 2022-07-28 室内弱纹理环境下移动无人***同步定位与建图方法

Country Status (1)

Country Link
CN (1) CN114993293B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104021370A (zh) * 2014-05-16 2014-09-03 浙江传媒学院 一种基于视觉信息融合的驾驶员状态监测方法及***
CN105203084A (zh) * 2015-07-02 2015-12-30 汤一平 一种无人机3d全景视觉装置
CN108090958A (zh) * 2017-12-06 2018-05-29 上海阅面网络科技有限公司 一种机器人同步定位和地图构建方法和***
CN109493385A (zh) * 2018-10-08 2019-03-19 上海大学 一种结合场景点线特征的移动机器人室内自主定位方法
CN109583495A (zh) * 2018-11-28 2019-04-05 深圳爱莫科技有限公司 陈列图像处理方法和装置
CN109631894A (zh) * 2018-12-11 2019-04-16 智灵飞（北京）科技有限公司 一种基于滑动窗口的单目视觉惯性紧耦合方法
EP3680809A1 (en) * 2017-09-22 2020-07-15 Huawei Technologies Co., Ltd. Visual slam method and apparatus based on point and line characteristic
WO2022036284A1 (en) * 2020-08-13 2022-02-17 Invensense, Inc. Method and system for positioning using optical sensor and motion sensors

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104021370A (zh) * 2014-05-16 2014-09-03 浙江传媒学院 一种基于视觉信息融合的驾驶员状态监测方法及***
CN105203084A (zh) * 2015-07-02 2015-12-30 汤一平 一种无人机3d全景视觉装置
EP3680809A1 (en) * 2017-09-22 2020-07-15 Huawei Technologies Co., Ltd. Visual slam method and apparatus based on point and line characteristic
CN108090958A (zh) * 2017-12-06 2018-05-29 上海阅面网络科技有限公司 一种机器人同步定位和地图构建方法和***
CN109493385A (zh) * 2018-10-08 2019-03-19 上海大学 一种结合场景点线特征的移动机器人室内自主定位方法
CN109583495A (zh) * 2018-11-28 2019-04-05 深圳爱莫科技有限公司 陈列图像处理方法和装置
CN109631894A (zh) * 2018-12-11 2019-04-16 智灵飞（北京）科技有限公司 一种基于滑动窗口的单目视觉惯性紧耦合方法
WO2022036284A1 (en) * 2020-08-13 2022-02-17 Invensense, Inc. Method and system for positioning using optical sensor and motion sensors

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
刘大鹏: "视觉惯性融合定位的室内SLAM研究", 《南方论坛》 *
姚二亮等: "基于Vision-IMU的机器人同时定位与地图创建算法", 《仪器仪表学报》 *
张月圆: "惯性信息辅助的单目视觉SLAM技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
王丹等: "基于点线特征的单目视觉同时定位与地图构建算法", 《机器人》 *

Also Published As

Publication number Publication date
CN114993293B (zh) 2022-12-06

Similar Documents

Publication Publication Date Title
CN109993113B (zh) 一种基于rgb-d和imu信息融合的位姿估计方法
CN110726406A (zh) 一种改进的非线性优化单目惯导slam的方法
CN111288989B (zh) 一种小型无人机视觉定位方法
Chien et al. Visual odometry driven online calibration for monocular lidar-camera systems
Liu et al. Direct visual odometry for a fisheye-stereo camera
CN112556719B (zh) 一种基于cnn-ekf的视觉惯性里程计实现方法
CN111932674A (zh) 一种线激光视觉惯性***的优化方法
Chen et al. Stereo visual inertial pose estimation based on feedforward-feedback loops
CN114485640A (zh) 基于点线特征的单目视觉惯性同步定位与建图方法及***
CN116619358A (zh) 一种矿山自主探测机器人自适应定位优化与建图方法
Alliez et al. Real-time multi-SLAM system for agent localization and 3D mapping in dynamic scenarios
Lin et al. A sparse visual odometry technique based on pose adjustment with keyframe matching
Liu et al. A real-time stereo visual-inertial SLAM system based on point-and-line features
CN117367427A (zh) 一种适用于室内环境中的视觉辅助激光融合IMU的多模态slam方法
CN115574816A (zh) 仿生视觉多源信息智能感知无人平台
CN112945233B (zh) 一种全局无漂移的自主机器人同时定位与地图构建方法
CN112731503A (zh) 一种基于前端紧耦合的位姿估计方法及***
CN117470259A (zh) 一种子母式空地协同多传感器融合三维建图***
Zhang et al. An open-source, fiducial-based, underwater stereo visual-inertial localization method with refraction correction
Ling et al. RGB-D inertial odometry for indoor robot via keyframe-based nonlinear optimization
CN116380079A (zh) 一种融合前视声呐与orb-slam3的水下slam方法
WO2023030062A1 (zh) 一种无人机的飞行控制方法、装置、设备、介质及程序
CN114993293B (zh) 室内弱纹理环境下移动无人***同步定位与建图方法
Deng et al. Robust 3D-SLAM with tight RGB-D-inertial fusion
Li et al. A Research of Visual-Inertial Simultaneous Localization and Mapping

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant