CN112596064B - 激光与视觉融合的一体化室内机器人全局定位方法 - Google Patents
激光与视觉融合的一体化室内机器人全局定位方法 Download PDFInfo
- Publication number
- CN112596064B CN112596064B CN202011373978.4A CN202011373978A CN112596064B CN 112596064 B CN112596064 B CN 112596064B CN 202011373978 A CN202011373978 A CN 202011373978A CN 112596064 B CN112596064 B CN 112596064B
- Authority
- CN
- China
- Prior art keywords
- laser
- global positioning
- visual
- positioning module
- pose
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 230000000007 visual effect Effects 0.000 claims abstract description 95
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 19
- 239000013598 vector Substances 0.000 claims description 39
- 230000008569 process Effects 0.000 claims description 27
- 238000001514 detection method Methods 0.000 claims description 16
- 238000005457 optimization Methods 0.000 claims description 12
- 238000013441 quality evaluation Methods 0.000 claims description 7
- 238000011156 evaluation Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 230000005764 inhibitory process Effects 0.000 claims description 4
- 238000009826 distribution Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 2
- 238000004519 manufacturing process Methods 0.000 abstract description 3
- 238000013507 mapping Methods 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 238000012795 verification Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000004807 localization Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 208000009115 Anorectal Malformations Diseases 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000005295 random walk Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Image Analysis (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种激光与视觉融合的一体化室内机器人全局定位方法，包括：接收激光定位模块提供的机器人位姿信息，采用视觉全局定位模块和激光全局定位模块同时采集视觉图像和激光图像，建立全局定位环境库；利用机器人当前位置的视觉图像和激光信息，在全局定位环境库中进行检索与匹配，确定机器人的位姿。本发明能够支持在复杂的环境中实现定位，如人群密集处，结构相似、无结构、无纹理等环境，同时有效结合激光雷达与视觉的信息，大幅提高机器人全局环境定位的鲁棒性，全局定位时间短，运算量小，解决了常见视觉SLAM算法对硬件要求高的问题，摆脱了造价昂贵的工控机，节约了硬件成本的同时降低了电池消耗。
Description
技术领域
本发明涉及机器人全局定位技术领域，具体而言涉及一种激光与视觉融合的一体化室内机器人全局定位方法。
背景技术
全局环境定位是智能机器人的关键技术之一，一方面可使机器人在随时随地开机后就能够确定自己的位置，有效提高机器人的适用性和实用性；另一方面可以在机器人定位丢失时提供重定位信息，保证机器人环境定位的长期稳定性和可靠性。
室内机器人的全局环境定位面临诸多挑战。一方面，室内环境中存在很多结构相似(如不同楼层的电梯口)、无结构(如走廊)、无纹理(如白墙)的场景，导致基于单一类型传感器(如纯视觉或纯激光雷达)的全局环境定位方法无法适应所有情况。如纯视觉的全局环境定位方法依赖于场景纹理的丰富程度，无法处理无纹理区域，而纯激光雷达的全局环境定位方法依赖于场景结构，无法处理无结构区域或无法区分结构相似的区域。另一方面，室内环境存在人群密集以及场景多变的情况，导致当前不管是视觉还是激光雷达的全局环境定位方法鲁棒性较差。
为此，需要一种能够应对室内环境诸多挑战的融合视觉和激光的机器人全局环境定位方法，同时该方法***资源消耗低，可以在低功耗ARM开发板上顺畅运行，可以用于各种室内机器人。目前，有研究人员提出融合视觉和激光的机器人进行全局环境定位，例如专利号为CN106092104A的发明专利中提出一种室内机器人的重定位方法及装置，专利号为CN108256574A的发明专利中提出一种机器人定位方法及装置，专利号为CN110533722A的发明专利中提出一种基于视觉词典的机器人快速重定位方法及***等。
然而，目前的全局环境定位方法存在如下缺陷和不足：1)目前方法分别建立视觉定位地图和激光定位地图，然后通过对两种地图的对齐，实现两种全局定位方法结果的统一。但是这种分离建立的地图很难保证地图间的一致性，如单目视觉定位精度较差并且存在错误定位情况，单目视觉建立的定位地图很难与激光定位地图保持一致。这种不一致性一方面会影响两种地图的对齐质量，另一方面会影响融合定位结果的精度和鲁棒性。此外，分离建立地图的过程需要的计算量很大，很难在低功耗ARM开发板上顺畅运行。2)目前方法要么仅依靠视觉进行关键帧检索和全局定位，在视觉定位的结果上，利用激光数据进行定位结果评估；要么在视觉定位的基础上，结合简单的激光全局定位方法，如利用一帧激光数据的整体统计信息进行全局定位。仅依靠视觉进行全局定位处理依赖于场景纹理的丰富程度，无法处理无纹理区域。而简单激光全局定位方法很难应对场景多变的情况。3)目前方法对多种定位结果的处理上比较简单粗暴，直接选择定位结果评估最佳的作为定位输出。这种简单选择策略导致定位输出太依赖评估过程，而在场景多变的情况下，评估很难做到万无一失，从而直接导致选择不可靠的定位结果作为输出。
发明内容
本发明针对现有技术中的不足，提供一种激光与视觉融合的一体化室内机器人全局定位方法，支持在复杂的环境中实现定位，如人群密集处，结构相似、无结构、无纹理等环境，同时有效结合激光雷达与视觉的信息，大幅提高机器人全局环境定位的鲁棒性，全局定位时间短，运算量小，解决了常见视觉SLAM算法对硬件要求高的问题，摆脱了造价昂贵的工控机，节约了硬件成本的同时降低了电池消耗。
为实现上述目的，本发明采用以下技术方案：
一种激光与视觉融合的一体化室内机器人全局定位方法，包括：
S1，在机器人到达新的环境时或环境发生改变时，接收激光定位模块提供的机器人位姿信息，采用视觉全局定位模块和激光全局定位模块同时采集视觉图像和激光图像，建立全局定位环境库，所述全局定位环境库包括视觉全局定位库和激光全局定位库；其中，视觉全局定位模块同时接收激光定位模块发送的所有视觉帧的位姿和激光全局定位模块发送的关键帧信息，基于激光建图结果，构建激光地图坐标系下的视觉定位地图；
S2，在机器人初始定位、重定位或闭环检测过程中，利用机器人当前位置的视觉图像和激光信息，在全局定位环境库中进行检索与匹配，确定机器人的位姿。
为优化上述技术方案，采取的具体措施还包括：
进一步地，所述关键帧至少满足以下条件中的任意一个：
(1)机器人转动角度大于预设角度阈值，(2)机器人移动距离大于预设距离阈值，(3)采用当前帧图像与前一个关键帧图像的特征点的匹配信息评估两者之间的内容重叠度时，当前帧图像与前一个关键帧图像的内容重叠度小于第一预设重叠度阈值，(4)采用ICP算法计算当前帧激光与前一个关键帧激光两者之间激光数据配准程度，评估得到的当前帧激光与前一个关键帧激光的内容重叠度小于第二预设重叠度阈值。
进一步地，所述建立全局定位环境库的过程包括以下步骤：
S11，对激光定位模块、视觉全局定位模块和激光全局定位模块进行***时钟对准；
S12，接收用户界面模块发送的开始建图命令，依次进行以下操作：
S121，利用视觉全局定位模块采集当前场景的视觉图像，对采集的视觉图像进行在线预处理，从视觉图像中提取并保存图像特征信息；
S122，驱使激光定位模块构建当前场景下的激光地图；
S123，利用激光全局定位模块采集当前场景下的激光数据，对采集的激光数据进行在线预处理，从激光数据中检测得到关键帧，提取并保存关键帧中的激光特征信息；
S13，接收用户界面模块发送的结束建图命令；
S14，视觉全局定位模块调用激光定位模块的接口获取所有图像帧的位姿，同时接收激光全局定位模块发送的关键帧信息，对保存的图像特征进行特征点帧间匹配与跟踪，提取额外的关键帧，对特征点3D坐标优化，建立关键帧的视觉词袋库，保存得到视觉全局定位库；
S15，激光全局定位模块调用激光定位模块的接口获取所有关键帧的位姿和子地图信息，建立关键帧和子地图间的关系，构建关键帧的激光词袋库，保存得到激光全局定位库。
进一步地，所述对保存的图像特征进行特征点帧间匹配与跟踪的过程包括以下步骤：
在帧间匹配时，利用帧间运动预测，对前一帧的每个特征点，获得当前帧的特征点预测位置，然后与预测位置周围的特征点进行匹配，选取特征向量最相近的作为匹配结果。
进一步地，所述对特征点3D坐标优化的过程包括以下步骤：
S141，得到激光定位模块提供的位姿信息，估算位姿之间的差异值；
S142，对每个特征点，任意选择两个位姿差异值大于预设差异阈值的关键帧直接计算得到特征点的3D坐标；
S143，利用特征点在多个关键帧中的像素坐标，优化特征点在全局地图坐标系下的3D坐标；其中，优化目标是求解最优的特征点3D坐标，使得特征点按照每个关键帧位姿投影到关键帧图像上的投影坐标与特征点的像素坐标间的误差尽量小。
进一步地，所述利用机器人当前位置的视觉图像和激光信息，在全局定位环境库中进行检索与匹配，确定机器人的位姿的过程包括以下步骤：
S21，对激光定位模块、视觉全局定位模块和激光全局定位模块进行***时钟对准；
S22，视觉全局定位模块加载视觉全局定位库，激光全局定位模块加载激光全局定位库，订阅odom tf；
S23，视觉全局定位模块对当前帧图像提取图像特征，计算词袋向量，在视觉全局定位库中检索关键帧；
S24，激光全局定位模块对当前帧对应的激光数据提取激光特征，计算词袋向量，在激光全局定位库中检索关键帧；
S25，综合视觉全局定位模块和激光全局定位模块的关键帧检索结果，构建候选关键帧集合；
S26，对候选关键帧集合中的每个关键帧，与当前帧进行图像特征匹配以及激光特征匹配，剔除无效关键帧，构建优选关键帧集合；
S27，对优选关键帧集合中的每个关键帧，得到其与当前帧图像特征匹配结果，基于匹配结果估计得到视觉位姿，评估视觉位姿的估计质量；
S28，将优选关键帧集合对应的激光子地图集合中的每个子地图，与当前帧的激光数据依次进行匹配，估计得到激光位姿，评估激光位姿的估计质量；
S29，综合视觉全局定位模块和激光全局定位模块的位姿估计和质量评估结果，确定并发布最终的全局定位结果。
进一步地，所述对优选关键帧集合中的每个关键帧，得到其与当前帧图像特征匹配结果的过程包括以下步骤：
在帧与关键帧间的匹配时，利用特征点向量聚类结果，对当前帧的每一个特征点，与关键帧中选取属于同一个聚类类别的特征点进行匹配，选取特征向量最相近的作为匹配结果。
进一步地，所述将优选关键帧集合对应的激光子地图集合中的每个子地图，与当前帧的激光数据依次进行匹配，估计得到激光位姿的过程包括以下步骤：
S281，通过原始激光数据与平滑后的数据间的差异来评估得到每个激光数据点处的曲率大小；
S282，检测激光数据中的曲率点特征，通过非极大抑制，保留局部稳定和稀疏的特征点；
S283，利用每个特征点周围的激光数据点的分块分布信息作为特征点描述向量，利用特征点描述向量进行特征点匹配，并利用RANSAC算法从特征点匹配结果中计算两帧激光数据间的位姿关系。
进一步地，所述计算词袋向量包括以下步骤：
对多帧图像或激光数据的特征点描述向量进行聚类，获得特征点描述词典；
对于某一帧图像或激光数据，计算其中所有特征点描述向量在词典下的类型编号；
计算图像或激光数据中所有词出现的频率，用词频作为图像或激光数据的词袋向量。
进一步地，所述综合视觉全局定位模块和激光全局定位模块的位姿估计和质量评估结果，确定并发布最终的全局定位结果包括以下步骤：
S291，将重投影误差作为视觉位姿估计的质量评估指标；
S292，将当前帧激光与关键帧激光间的配准程度和子地图匹配程度作为激光位姿估计的质量评估指标；
S293，通过综合的质量评估加权下的位姿图优化，自动剔除不可靠的位姿估计结果，并融合多种视觉位姿估计与激光位姿估计结果，输出最终的全局定位结果。
本发明的有益效果是：
(1)提出了一种一体化的激光与视觉的建图方法，通过激光建图结果，指导在激光地图坐标系下的视觉定位地图的建立。视觉定位地图在建立过程中就和激光地图的坐标系保持一致，这样一方面自动建立了一体化的混合定位地图，不需要再进行定位地图间的对齐，另一方面激光建图结果的指导可以提高单目视觉的建图精度和稳定性。而且在激光建图结果的指导下，视觉建图过程省去了耗时的位姿和地图点坐标的联合优化过程，仅需要考虑地图点坐标的优化即可，而且不同地图点的坐标优化过程互相独立，没有耦合，使得建图过程变得非常高效，并且可以并行化。
(2)提出了一种全新的激光全局定位方法，在激光数据中提取特征点，通过激光特征点的词频特征进行关键帧检索和匹配定位。通过激光特征点定位的方式，允许输入激光数据与关键帧数据间存在部分不一致，从而能够应对场景多变的情况。
(3)在最终全局定位输出时，与目前简单选择评估效果最佳的定位结果不同，本发明提出了一种激光与视觉的多假设定位结果的一体化融合方法，利用视觉与激光的多假设定位结果间的互相印证，自动识别不可靠的定位假设，提升全局定位的鲁棒性和可靠性；通过融合视觉与激光的多个定位结果，提升全局定位的稳定性和精度。
附图说明
图1是本发明的激光与视觉融合的一体化室内机器人全局定位方法流程图。
图2是本发明的软件模块配置示意图。
图3是全局定位建库阶段的总体思路示意图。
具体实施方式
现在结合附图对本发明作进一步详细的说明。
结合图1，本发明提及一种激光与视觉融合的一体化室内机器人全局定位方法，包括：
S1，在机器人到达新的环境时或环境发生改变时，接收激光定位模块提供的机器人位姿信息，采用视觉全局定位模块和激光全局定位模块同时采集视觉图像和激光图像，建立全局定位环境库，所述全局定位环境库包括视觉全局定位库和激光全局定位库；其中，视觉全局定位模块同时接收激光定位模块发送的所有视觉帧的位姿和激光全局定位模块发送的关键帧信息，基于激光建图结果，构建激光地图坐标系下的视觉定位地图。
S2，在机器人初始定位、重定位或闭环检测过程中，利用机器人当前位置的视觉图像和激光信息，在全局定位环境库中进行检索与匹配，确定机器人的位姿。
本发明采用顶视相机+环视激光雷达的配置方式，这样既可以利用机器人周围的几何结构信息，也可以利用室内屋顶和机器人前方的视觉纹理信息，提高机器人全局环境定位的鲁棒性。
图2是本发明的软件模块配置示意图。整个机器人环境定位***包括三个模块：激光定位模块、视觉全局定位模块和激光全局定位模块。激光定位模块整体负责机器人的环境定位，从视觉全局定位模块和激光全局定位模块接收机器人全局定位信息，对全局定位信息进行整体评估，在机器人随时随地开机时利用全局定位信息进行定位***的初始化，以及在机器人定位丢失时利用全局定位信息进行重定位等，保证机器人环境定位的实用性、长期稳定性和可靠性。在建库时，视觉全局定位模块和激光全局定位模块将接收激光定位模块提供的机器人位姿信息，并同时采集视觉图像和激光数据，建立全局定位库。在全局定位运行时，视觉全局定位模块利用视觉图像信息，激光全局定位模块利用激光信息,在全局定位库中进行检索与匹配，计算和输出机器人的位姿，为激光定位模块提供初始化位姿、闭环检测和重定位等信息。
在本发明中，为了实现高效的全局定位过程，采用基于关键帧的地图内容组织形式。关键帧可以看成为整个地图的一块局部子地图。通过建立关键帧检索库，可以用给定帧的图像与激光数据快速检索出相似的关键帧候选集，然后再进行速度相对较慢的精细内容匹配与结构验证，并确定最终全局定位结果。通过快速检索出关键帧候选集缩小搜索范围，可以有效减少速度相对较慢的精细匹配与验证的执行次数，从而实现高效的全局定位过程。
全局定位方法分为两个阶段：建库阶段和定位阶段。如图3所示，建库阶段的目标是在机器人到达新的环境时或环境发生改变时，建立用于全局定位所需要的图像和激光的特征点、关键帧等地图信息库和快速检索库。定位阶段的目标是利用机器人当前位置的图像和激光信息，在全局定位环境库中进行检索与匹配，确定机器人的位姿，用于机器人在随时随地开机后激光定位模块的初始化、在定位丢失时为激光定位模块提供重定位信息、以及为激光定位模块提供闭环检测信息等。
如图1所示，在全局定位模块的定位阶段，对给定帧的图像和激光数据，在提取特征点后，计算当前帧的词袋描述向量，从关键帧库中检索出相似关键帧的候选集合，然后与每个候选关键帧进行图像和激光的特征匹配和结构验证，选择最可靠的关键帧输出给定帧与定位地图间的关联信息，以及估计给定帧在定位地图中的位姿。
在进行当前帧与候选关键帧间的特征匹配时，对当前帧的每个特征，利用特征词袋描述获得其在关键帧中的待匹配的特征集合，然后与待匹配特征逐个比较，获得最佳匹配特征。基于当前帧与候选关键帧间的特征匹配结果，利用关键帧中特征点在全局坐标系下的坐标，估计当前帧的位姿并进行结构验证，保证当前帧与候选关键帧间有足够匹配的特征满足刚体约束。最后在关键帧的候选集合中，选择在满足刚体约束条件下的匹配程度最高的关键帧，输出给定帧在定位地图中的位姿。
一、下面对全局环境定位方法的工作流程做具体阐述。
1、建库阶段的工作流程如下：
(1.1)多模块间***时钟对准。
(1.2)用户界面模块发送开始建图命令。
(1.3)视觉全局定位模块收到命令后开始在线预处理：接收图像，提取特征，保存图像特征。
(1.4)激光定位模块开始建图。
(1.5)激光全局定位模块收到命令后开始在线处理：接收激光数据，检测关键帧，提取特征，保存激光特征。
(1.6)用户界面模块发送结束建图命令。
(1.7)视觉全局定位模块调用激光定位模块的接口获取所有帧的位姿，并同时接收激光全局定位模块的关键帧信息，对保存的图像特征进行特征点帧间匹配与跟踪，提取额外的关键帧，对特征点3D坐标优化，建立关键帧的视觉词袋库，最后保存视觉全局定位库。
(1.8)激光全局定位模块调用激光定位模块的接口获取所有关键帧的位姿和子地图信息，建立关键帧和子地图间的关系，并建立关键帧词袋库，保存激光全局定位库。
2、定位阶段的工作流程如下：
(2.1)多模块间***时钟对准。
(2.2)视觉和激光全局定位模块加载全局定位库，同时订阅odom tf。
(2.3)视觉全局定位模块对当前帧图像提取特征，计算词袋向量，在视觉定位库中检索关键帧。
(2.4)激光全局定位模块对当前帧激光数据提取特征，计算词袋向量，在激光定位库中检索关键帧。
(2.5)综合两个模块的关键帧检索结果，构建候选关键帧集合。
(2.6)对候选关键帧集合中的每个关键帧，与当前帧进行图像特征匹配以及激光特征匹配，剔除无效关键帧，构建优选后的关键帧集合。
(2.7)对优选关键帧集合中的每个关键帧，基于与当前帧图像特征匹配结果估计位姿，并且评估视觉位姿估计质量。
(2.8)对优选关键帧集合对应的激光子地图集合中的每个子地图，与当前帧的激光数据进行匹配，估计位姿，并且评估激光位姿估计质量。
(2.9)综合两个模块的位姿估计和质量评估结果，确定最终的全局定位结果，并且发布全局定位结果(为map2odom的变换)。
二、全局定位结果的使用流程
全局定位模块的定位结果可以为激光定位模块提供三种用途：开机后的初始化、在定位丢失时提供重定位信息、以及提供闭环检测信息等。在激光定位模块中全局定位结果的具体使用流程如下。
1、初始化时的工作流程：
激光定位模块发送初始化请求，并开始随机游走。
全局定位模块接收初始化命令，进行全局定位，在定位成功后发送map2odom变换。
激光定位模块收到初始化结果，利用map2odom变换和当前odom信息，计算机器人当前位姿，初始化定位***。
2、定位丢失时的工作流程：
激光定位模块检测定位丢失，在发现定位丢失后，发送重定位请求，并开始随机游走。
全局定位模块接收重定位命令，进行全局定位，在定位成功后发送map2odom变换。
激光定位模块收到重定位结果，利用map2odom变换和当前odom信息，计算机器人当前位姿，重置定位***。
3、闭环时的工作流程：
激光定位模块在发现可能会发生闭环时，发送闭环检测请求。
全局定位模块接收闭环检测命令，持续进行全局定位，在定位成功后发送map2odom变换。
激光定位模块收到全局定位结果，利用map2odom变换和当前odom信息，计算机器人当前位姿，判断是否闭环结果，如果结束，发送闭环检测终止命令。
全局定位模块接收闭环终止命令，停止全局定位。
三、关于全局环境定位方法中的诸多细节技术
1、图像特征点检测与匹配
检测图像中的角点特征，利用图像特征点处灰度变化规律，建立角点特征的快速检测算法。先利用特征点周围少数像素信息，快速过滤非特征点区域。然后对剩下的区域，利用周围完整像素信息，进行特征检测，并通过非极大抑制，保留局部稳定和稀疏的特征点。计算图像灰度梯度，统计特征点周围像素的梯度方向和强度信息，构建特征点描述向量。利用特征点描述向量进行特征点匹配。考虑两种情况的特征点匹配问题，分别为建库阶段的帧间匹配和全局定位阶段的帧与关键帧间的匹配。在帧间匹配时，利用帧间运动预测，对前一帧的每个特征点，获得当前帧的特征点预测位置，然后与预测位置周围的特征点进行匹配，选取特征向量最相近的作为匹配结果。在帧与关键帧间的匹配时，利用特征点向量聚类结果，对当前帧的每一个特征点，与关键帧中选取属于同一个聚类类别的特征点进行匹配，选取特征向量最相近的作为匹配结果。
2、激光特征点检测与匹配
通过评估每个激光数据点处的曲率大小(通过原始激光数据与平滑后的数据间的差异来评估)，检测激光数据中的曲率点特征。并通过非极大抑制，保留局部稳定和稀疏的特征点。利用每个特征点周围的激光数据点的分块分布信息作为特征点描述向量。利用特征点描述向量进行特征点匹配，并利用RANSAC算法从特征点匹配结果中计算两帧激光数据间的位姿关系。
3、关键帧检测
关键帧检测采用多个准则，只要满足任意一个，则把当前帧作为关键帧。具体的准则包括如下几个：1)机器人转动角度足够大，2)机器人移动距离足够大，3)当前帧图像与前一个关键帧图像的内容重叠度小于一定值，通过它们特征点的匹配信息评估内容重叠度，4)当前帧激光与前一个关键帧激光的内容重叠度小于一定值，通过它们激光数据配准程度(利用ICP算法)评估内容重叠度。
4、图像特征点的3D坐标优化
利用激光定位模块提供的位姿信息，对每个特征点，首先通过两个位姿差异比较大的关键帧直接计算特征点的3D坐标。然后利用特征点在多个关键帧中的像素坐标，优化特征点在全局地图坐标系下的3D坐标。优化的目标是求解最优的特征点3D坐标，使得特征点按照每个关键帧位姿投影到关键帧图像上的投影坐标与特征点的像素坐标间的误差(即重投影误差)尽量小。利用LM算法实现特征点3D坐标的优化。
5、词袋向量计算
为了计算某一帧图像或激光数据的词袋向量，首先对多帧图像或激光数据的特征点描述向量进行聚类，获得特征点描述词典。然后对于某一帧图像或激光数据，计算其中所有特征点描述向量在词典下的类型编号，进而计算图像或激光数据中所有词出现的频率，用词频作为图像或激光数据的词袋向量，用于关键帧建库和检索。
6、关键帧建库与检索
将分别建立图像关键帧和激光关键帧的高效检索库。把关键帧比作文件，关键帧的词袋向量比作文件中不同词出现的频率，利用信息检索的相关算法和技术进行关键帧建库与检索。利用信息检索中的TF-IDF算法对所有关键帧的词袋向量进行分析，计算不同词的逆向文件频率，建立关键帧的TF-IDF检索库。然后利用TF-IDF模型对应的检索算法进行关键帧检索。
7、视觉位姿估计与质量评估
在获得当前帧图像与关键帧图像间的特征匹配结果后，利用建库阶段优化得到的关键帧中特征点的3D坐标，估计当前帧的位姿。姿态估计的目标是求解最优的当前帧位姿，使得利用当前帧位姿把特征点3D坐标投影到当前帧图像中的坐标与特征点在当前帧图像中的像素坐标间的误差(即重投影误差)尽量小。利用LM算法完成视觉位姿估计。可以将重投影误差作为视觉位姿估计的质量评估指标。
8、激光位姿估计与质量评估
在获得当前帧激光与关键帧激光间的特征匹配结果后，利用RANSAC算法从特征点匹配结果中计算两帧激光数据间的初步位姿关系。以初步位姿关系作为初值，利用ICP算法进行当前帧激光与关键帧激光间的精细配准，获得当前帧激光的配准位姿。然后进一步将当前帧激光与子地图进行匹配，获得当前帧的激光位姿估计结果。可以将当前帧激光与关键帧激光间的配准程度和子地图匹配程度作为激光位姿估计的质量评估指标。
9、全局定位结果综合评估
综合考虑视觉位姿估计与激光位姿估计的不同定位结果，通过综合的质量评估加权下的位姿图优化，自动剔除不可靠的位姿估计结果，并融合多种视觉位姿估计与激光位姿估计结果，输出最终的全局定位结果。通过位姿图优化，利用多种视觉位姿估计与激光位姿估计结果间的互相印证，自动识别不可靠的位姿估计结果，提升全局定位的鲁棒性和可靠性。通过位姿图优化，通过融合多种视觉位姿估计与激光位姿估计结果，提升全局定位的稳定性和精度。
在前述技术方案的基础上，本发明达到了以下技术效果：
(1)***资源占用低、安全性和可靠性更高。支持openEuler国产服务器级操作***，***资源占用低，适用于银行、海关、公共场所等安全、可靠性要求高的场景。(2)功能强，支持在复杂的环境中实现定位，如人群密集处，结构相似、无结构、无纹理等环境。(3)性能好。全局定位时间短，重定位时间在1秒以内，比已有算法快2-10倍。(4)成本低。优化的算法支持定制最简的RK3399开发板，解决了常见视觉SLAM算法对硬件要求高的问题，摆脱了造价昂贵的工控机，节约了硬件成本的同时降低了电池消耗。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。
Claims (7)
1.一种激光与视觉融合的一体化室内机器人全局定位方法，其特征在于，包括：
S1，在机器人到达新的环境时或环境发生改变时，接收激光定位模块提供的机器人位姿信息，采用视觉全局定位模块和激光全局定位模块同时采集视觉图像和激光图像，建立全局定位环境库，所述全局定位环境库包括视觉全局定位库和激光全局定位库；其中，视觉全局定位模块同时接收激光定位模块发送的所有视觉帧的位姿和激光全局定位模块发送的关键帧信息，基于激光建图结果，构建激光地图坐标系下的视觉定位地图；
S2，在机器人初始定位、重定位或闭环检测过程中，利用机器人当前位置的视觉图像和激光信息，在全局定位环境库中进行检索与匹配，确定机器人的位姿；
其中，所述关键帧至少满足以下条件中的任意一个：
(1)机器人转动角度大于预设角度阈值；(2)机器人移动距离大于预设距离阈值；(3)采用当前帧图像与前一个关键帧图像的特征点的匹配信息评估两者之间的内容重叠度时，当前帧图像与前一个关键帧图像的内容重叠度小于第一预设重叠度阈值；(4)采用ICP算法计算当前帧激光与前一个关键帧激光两者之间激光数据配准程度，评估得到的当前帧激光与前一个关键帧激光的内容重叠度小于第二预设重叠度阈值；
所述建立全局定位环境库的过程包括以下步骤：
S11，对激光定位模块、视觉全局定位模块和激光全局定位模块进行***时钟对准；
S12，接收用户界面模块发送的开始建图命令，依次进行以下操作：
S121，利用视觉全局定位模块采集当前场景的视觉图像，对采集的视觉图像进行在线预处理，从视觉图像中提取并保存图像特征信息；
S122，驱使激光定位模块构建当前场景下的激光地图；
S123，利用激光全局定位模块采集当前场景下的激光数据，对采集的激光数据进行在线预处理，从激光数据中检测得到关键帧，提取并保存关键帧中的激光特征信息；
S13，接收用户界面模块发送的结束建图命令；
S14，视觉全局定位模块调用激光定位模块的接口获取所有图像帧的位姿，同时接收激光全局定位模块发送的关键帧信息，对保存的图像特征进行特征点帧间匹配与跟踪，提取额外的关键帧，对特征点3D坐标优化，建立关键帧的视觉词袋库，保存得到视觉全局定位库；
S15，激光全局定位模块调用激光定位模块的接口获取所有关键帧的位姿和子地图信息，建立关键帧和子地图间的关系，构建关键帧的激光词袋库，保存得到激光全局定位库；
所述利用机器人当前位置的视觉图像和激光信息，在全局定位环境库中进行检索与匹配，确定机器人的位姿的过程包括以下步骤：
S21，对激光定位模块、视觉全局定位模块和激光全局定位模块进行***时钟对准；
S22，视觉全局定位模块加载视觉全局定位库，激光全局定位模块加载激光全局定位库，订阅odom tf；
S23，视觉全局定位模块对当前帧图像提取图像特征，计算词袋向量，在视觉全局定位库中检索关键帧；
S24，激光全局定位模块对当前帧对应的激光数据提取激光特征，计算词袋向量，在激光全局定位库中检索关键帧；
S25，综合视觉全局定位模块和激光全局定位模块的关键帧检索结果，构建候选关键帧集合；
S26，对候选关键帧集合中的每个关键帧，与当前帧进行图像特征匹配以及激光特征匹配，剔除无效关键帧，构建优选关键帧集合；
S27，对优选关键帧集合中的每个关键帧，得到其与当前帧图像特征匹配结果，基于匹配结果估计得到视觉位姿，评估视觉位姿的估计质量；
S28，将优选关键帧集合对应的激光子地图集合中的每个子地图，与当前帧的激光数据依次进行匹配，估计得到激光位姿，评估激光位姿的估计质量；
S29，综合视觉全局定位模块和激光全局定位模块的位姿估计和质量评估结果，确定并发布最终的全局定位结果。
2.根据权利要求1所述的激光与视觉融合的一体化室内机器人全局定位方法，其特征在于，所述对保存的图像特征进行特征点帧间匹配与跟踪的过程包括以下步骤：
在帧间匹配时，利用帧间运动预测，对前一帧的每个特征点，获得当前帧的特征点预测位置，然后与预测位置周围的特征点进行匹配，选取特征向量最相近的作为匹配结果。
3.根据权利要求1所述的激光与视觉融合的一体化室内机器人全局定位方法，其特征在于，所述对特征点3D坐标优化的过程包括以下步骤：
S141，得到激光定位模块提供的位姿信息，估算位姿之间的差异值；
S142，对每个特征点，任意选择两个位姿差异值大于预设差异阈值的关键帧直接计算得到特征点的3D坐标；
S143，利用特征点在多个关键帧中的像素坐标，优化特征点在全局地图坐标系下的3D坐标；其中，优化目标是求解最优的特征点3D坐标，使得特征点按照每个关键帧位姿投影到关键帧图像上的投影坐标与特征点的像素坐标间的误差尽量小。
4.根据权利要求1所述的激光与视觉融合的一体化室内机器人全局定位方法，其特征在于，所述对优选关键帧集合中的每个关键帧，得到其与当前帧图像特征匹配结果的过程包括以下步骤：
在帧与关键帧间的匹配时，利用特征点向量聚类结果，对当前帧的每一个特征点，与关键帧中选取属于同一个聚类类别的特征点进行匹配，选取特征向量最相近的作为匹配结果。
5.根据权利要求1所述的激光与视觉融合的一体化室内机器人全局定位方法，其特征在于，所述将优选关键帧集合对应的激光子地图集合中的每个子地图，与当前帧的激光数据依次进行匹配，估计得到激光位姿的过程包括以下步骤：
S281，通过原始激光数据与平滑后的数据间的差异来评估得到每个激光数据点处的曲率大小；
S282，检测激光数据中的曲率点特征，通过非极大抑制，保留局部稳定和稀疏的特征点；
S283，利用每个特征点周围的激光数据点的分块分布信息作为特征点描述向量，利用特征点描述向量进行特征点匹配，并利用RANSAC算法从特征点匹配结果中计算两帧激光数据间的位姿关系。
6.根据权利要求1所述的激光与视觉融合的一体化室内机器人全局定位方法，其特征在于，所述计算词袋向量包括以下步骤：
对多帧图像或激光数据的特征点描述向量进行聚类，获得特征点描述词典；
对于某一帧图像或激光数据，计算其中所有特征点描述向量在词典下的类型编号；
计算图像或激光数据中所有词出现的频率，用词频作为图像或激光数据的词袋向量。
7.根据权利要求1所述的激光与视觉融合的一体化室内机器人全局定位方法，其特征在于，所述综合视觉全局定位模块和激光全局定位模块的位姿估计和质量评估结果，确定并发布最终的全局定位结果包括以下步骤：
S291，将重投影误差作为视觉位姿估计的质量评估指标；
S292，将当前帧激光与关键帧激光间的配准程度和子地图匹配程度作为激光位姿估计的质量评估指标；
S293，通过综合的质量评估加权下的位姿图优化，自动剔除不可靠的位姿估计结果，并融合多种视觉位姿估计与激光位姿估计结果，输出最终的全局定位结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011373978.4A CN112596064B (zh) | 2020-11-30 | 2020-11-30 | 激光与视觉融合的一体化室内机器人全局定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011373978.4A CN112596064B (zh) | 2020-11-30 | 2020-11-30 | 激光与视觉融合的一体化室内机器人全局定位方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112596064A CN112596064A (zh) | 2021-04-02 |
| CN112596064B true CN112596064B (zh) | 2024-03-08 |
Family
ID=75187646
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011373978.4A Active CN112596064B (zh) | 2020-11-30 | 2020-11-30 | 激光与视觉融合的一体化室内机器人全局定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112596064B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113140004B (zh) * | 2021-04-23 | 2024-04-23 | 南京航空航天大学 | 一种基于激光雷达的无人***快速重定位方法和装置 |
| WO2023280274A1 (en) * | 2021-07-07 | 2023-01-12 | The Hong Kong University Of Science And Technology | Geometric structure aided visual localization method and system |
| CN113674409A (zh) * | 2021-07-20 | 2021-11-19 | 中国科学技术大学先进技术研究院 | 基于视觉多机器人即时定位与同步建图方法、***及介质 |
| CN113624239B (zh) * | 2021-08-11 | 2024-05-31 | 火种源码(中山)科技有限公司 | 基于层级可开关稀疏位姿图优化的激光建图方法及装置 |
| CN115267796B (zh) * | 2022-08-17 | 2024-04-09 | 深圳市普渡科技有限公司 | 定位方法、装置、机器人和存储介质 |
| CN117804423A (zh) * | 2022-09-26 | 2024-04-02 | 华为云计算技术有限公司 | 一种重定位方法以及装置 |
| CN115657062B (zh) * | 2022-12-27 | 2023-03-17 | 理工雷科智途(北京)科技有限公司 | 一种设备快速重定位方法、装置及存储介质 |
Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016085633A (ja) * | 2014-10-27 | 2016-05-19 | 株式会社デンソー | 対象物識別装置、運転支援システム、車両および対象物識別方法 |
| CN106092104A (zh) * | 2016-08-26 | 2016-11-09 | 深圳微服机器人科技有限公司 | 一种室内机器人的重定位方法及装置 |
| CN107356252A (zh) * | 2017-06-02 | 2017-11-17 | 青岛克路德机器人有限公司 | 一种融合视觉里程计与物理里程计的室内机器人定位方法 |
| US9870624B1 (en) * | 2017-01-13 | 2018-01-16 | Otsaw Digital Pte. Ltd. | Three-dimensional mapping of an environment |
| CN108152823A (zh) * | 2017-12-14 | 2018-06-12 | 北京信息科技大学 | 一种基于视觉的无人驾驶叉车导航***及其定位导航方法 |
| CN108256574A (zh) * | 2018-01-16 | 2018-07-06 | 广东省智能制造研究所 | 机器人定位方法及装置 |
| CN108717710A (zh) * | 2018-05-18 | 2018-10-30 | 京东方科技集团股份有限公司 | 室内环境下的定位方法、装置及*** |
| CN108759844A (zh) * | 2018-06-07 | 2018-11-06 | 科沃斯商用机器人有限公司 | 机器人重定位与环境地图构建方法、机器人及存储介质 |
| WO2019040800A1 (en) * | 2017-08-23 | 2019-02-28 | TuSimple | SYSTEM AND METHOD FOR 3D SUB-CARD RECONSTRUCTION FOR CENTIMETRIC PRECISION LOCATION USING A CAMERA-BASED SUB-CARD AND A GLOBAL LIDAR-BASED CARD |
| CN109425348A (zh) * | 2017-08-23 | 2019-03-05 | 北京图森未来科技有限公司 | 一种同时定位与建图的方法和装置 |
| CN110533722A (zh) * | 2019-08-30 | 2019-12-03 | 的卢技术有限公司 | 一种基于视觉词典的机器人快速重定位方法及*** |
| CN110796683A (zh) * | 2019-10-15 | 2020-02-14 | 浙江工业大学 | 一种基于视觉特征联合激光slam的重定位方法 |
| CN111045017A (zh) * | 2019-12-20 | 2020-04-21 | 成都理工大学 | 一种激光和视觉融合的巡检机器人变电站地图构建方法 |
| CN111065980A (zh) * | 2017-08-23 | 2020-04-24 | 图森有限公司 | 使用基于相机的子地图和基于lidar的全局地图进行厘米精度定位的***和方法 |
| CN111258313A (zh) * | 2020-01-20 | 2020-06-09 | 深圳市普渡科技有限公司 | 多传感器融合slam***及机器人 |
| CN111337947A (zh) * | 2020-05-18 | 2020-06-26 | 深圳市智绘科技有限公司 | 即时建图与定位方法、装置、***及存储介质 |
| CN111652179A (zh) * | 2020-06-15 | 2020-09-11 | 东风汽车股份有限公司 | 基于点线特征融合激光的语义高精地图构建与定位方法 |
| CN111795687A (zh) * | 2020-06-29 | 2020-10-20 | 深圳市优必选科技股份有限公司 | 一种机器人地图更新方法、装置、可读存储介质及机器人 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10565457B2 (en) * | 2017-08-23 | 2020-02-18 | Tusimple, Inc. | Feature matching and correspondence refinement and 3D submap position refinement system and method for centimeter precision localization using camera-based submap and LiDAR-based global map |
-
2020
- 2020-11-30 CN CN202011373978.4A patent/CN112596064B/zh active Active
Patent Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016085633A (ja) * | 2014-10-27 | 2016-05-19 | 株式会社デンソー | 対象物識別装置、運転支援システム、車両および対象物識別方法 |
| CN106092104A (zh) * | 2016-08-26 | 2016-11-09 | 深圳微服机器人科技有限公司 | 一种室内机器人的重定位方法及装置 |
| US9870624B1 (en) * | 2017-01-13 | 2018-01-16 | Otsaw Digital Pte. Ltd. | Three-dimensional mapping of an environment |
| CN107356252A (zh) * | 2017-06-02 | 2017-11-17 | 青岛克路德机器人有限公司 | 一种融合视觉里程计与物理里程计的室内机器人定位方法 |
| WO2019040800A1 (en) * | 2017-08-23 | 2019-02-28 | TuSimple | SYSTEM AND METHOD FOR 3D SUB-CARD RECONSTRUCTION FOR CENTIMETRIC PRECISION LOCATION USING A CAMERA-BASED SUB-CARD AND A GLOBAL LIDAR-BASED CARD |
| CN111373337A (zh) * | 2017-08-23 | 2020-07-03 | 图森有限公司 | 使用基于相机的子地图和基于lidar的全局地图进行厘米精度定位的3d子地图重构***和方法 |
| CN111065980A (zh) * | 2017-08-23 | 2020-04-24 | 图森有限公司 | 使用基于相机的子地图和基于lidar的全局地图进行厘米精度定位的***和方法 |
| CN109425348A (zh) * | 2017-08-23 | 2019-03-05 | 北京图森未来科技有限公司 | 一种同时定位与建图的方法和装置 |
| CN108152823A (zh) * | 2017-12-14 | 2018-06-12 | 北京信息科技大学 | 一种基于视觉的无人驾驶叉车导航***及其定位导航方法 |
| CN108256574A (zh) * | 2018-01-16 | 2018-07-06 | 广东省智能制造研究所 | 机器人定位方法及装置 |
| CN108717710A (zh) * | 2018-05-18 | 2018-10-30 | 京东方科技集团股份有限公司 | 室内环境下的定位方法、装置及*** |
| CN108759844A (zh) * | 2018-06-07 | 2018-11-06 | 科沃斯商用机器人有限公司 | 机器人重定位与环境地图构建方法、机器人及存储介质 |
| CN110533722A (zh) * | 2019-08-30 | 2019-12-03 | 的卢技术有限公司 | 一种基于视觉词典的机器人快速重定位方法及*** |
| CN110796683A (zh) * | 2019-10-15 | 2020-02-14 | 浙江工业大学 | 一种基于视觉特征联合激光slam的重定位方法 |
| CN111045017A (zh) * | 2019-12-20 | 2020-04-21 | 成都理工大学 | 一种激光和视觉融合的巡检机器人变电站地图构建方法 |
| CN111258313A (zh) * | 2020-01-20 | 2020-06-09 | 深圳市普渡科技有限公司 | 多传感器融合slam***及机器人 |
| CN111337947A (zh) * | 2020-05-18 | 2020-06-26 | 深圳市智绘科技有限公司 | 即时建图与定位方法、装置、***及存储介质 |
| CN111652179A (zh) * | 2020-06-15 | 2020-09-11 | 东风汽车股份有限公司 | 基于点线特征融合激光的语义高精地图构建与定位方法 |
| CN111795687A (zh) * | 2020-06-29 | 2020-10-20 | 深圳市优必选科技股份有限公司 | 一种机器人地图更新方法、装置、可读存储介质及机器人 |
Non-Patent Citations (4)
| Title |
|---|
| "CPFG-SLAM:a Robust Simultaneous Localization and Mapping based on LIDAR in Off-Road Environment";Kaijin Ji 等;《2018 IEEE Intelligent Vehicles Symposium (IV)》;650-655 * |
| "Vision-and-Lidar Based Real-time Outdoor Localization for Unmanned Ground Vehicles without GPS";Fangyi Wu 等;《2018 IEEE International Conference on Information and Automation (ICIA)》;232-237 * |
| "基于激光雷达和深度相机的AGV自主定位方法研究";黄婷;《中国优秀硕士论文全文数据库》;全文 * |
| "多摄像机人体姿态跟踪";孙洛 等;《清华大学学报(自然科学版)》;966-971 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112596064A (zh) | 2021-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112596064B (zh) | 激光与视觉融合的一体化室内机器人全局定位方法 | |
| CN112486171B (zh) | 一种基于视觉的机器人避障方法 | |
| Zhou et al. | To learn or not to learn: Visual localization from essential matrices | |
| Li et al. | Structure-slam: Low-drift monocular slam in indoor environments | |
| McDonald et al. | Real-time 6-DOF multi-session visual SLAM over large-scale environments | |
| JP2021509215A (ja) | 地面テクスチャ画像に基づくナビゲーション方法、装置、デバイス、および記憶媒体 | |
| Grant et al. | Efficient Velodyne SLAM with point and plane features | |
| CN113537208A (zh) | 一种基于语义orb-slam技术的视觉定位方法及*** | |
| McDonald et al. | 6-DOF multi-session visual SLAM using anchor nodes | |
| EP2812727A2 (en) | Method of locating a sensor and related apparatus | |
| Ahn et al. | A practical approach for EKF-SLAM in an indoor environment: fusing ultrasonic sensors and stereo camera | |
| CN110969648B (zh) | 一种基于点云序列数据的3d目标跟踪方法及*** | |
| CN114937083B (zh) | 一种应用于动态环境的激光slam***及方法 | |
| CN113674416A (zh) | 三维地图的构建方法、装置、电子设备及存储介质 | |
| Feng et al. | Visual Map Construction Using RGB‐D Sensors for Image‐Based Localization in Indoor Environments | |
| CN111161334B (zh) | 一种基于深度学习的语义地图构建方法 | |
| Qin et al. | Loop closure detection in SLAM by combining visual CNN features and submaps | |
| CN110827320A (zh) | 基于时序预测的目标跟踪方法和装置 | |
| Xu et al. | A critical analysis of image-based camera pose estimation techniques | |
| Li et al. | Improving synthetic 3D model-aided indoor image localization via domain adaptation | |
| Li et al. | Localization for intelligent vehicles in underground car parks based on semantic information | |
| Strobl et al. | Image-based pose estimation for 3-D modeling in rapid, hand-held motion | |
| CN117213470B (zh) | 一种多机碎片地图聚合更新方法及*** | |
| An et al. | Ceiling vision-based active SLAM framework for dynamic and wide-open environments | |
| CN114119999B (zh) | 基于深度学习的迭代6d位姿估计方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |