CN111275763B - 闭环检测***、多传感器融合slam***及机器人 - Google Patents

闭环检测***、多传感器融合slam***及机器人 Download PDF

Info

Publication number
CN111275763B
CN111275763B CN202010062310.1A CN202010062310A CN111275763B CN 111275763 B CN111275763 B CN 111275763B CN 202010062310 A CN202010062310 A CN 202010062310A CN 111275763 B CN111275763 B CN 111275763B
Authority
CN
China
Prior art keywords
key frame
pose
closed loop
unit
laser
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010062310.1A
Other languages
English (en)
Other versions
CN111275763A (zh
Inventor
何科君
陈美文
郭璁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Pudu Technology Co Ltd
Original Assignee
Shenzhen Pudu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Pudu Technology Co Ltd filed Critical Shenzhen Pudu Technology Co Ltd
Priority to CN202010062310.1A priority Critical patent/CN111275763B/zh
Publication of CN111275763A publication Critical patent/CN111275763A/zh
Priority to PCT/CN2020/135029 priority patent/WO2021147549A1/zh
Priority to US17/793,954 priority patent/US20230045796A1/en
Priority to EP20915483.0A priority patent/EP4083919A4/en
Application granted granted Critical
Publication of CN111275763B publication Critical patent/CN111275763B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Optics & Photonics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供了一种闭环检测***、多传感器融合SLAM***及机器人，所述***运行于移动机器人，包括：相似性检测单元、视觉位姿求解单元、以及激光位姿求解单元。根据本发明提供的闭环检测***、多传感器融合SLAM***及机器人，可以显著提升对机器人视角变化、环境亮度变化和弱纹理等情况下的闭环检测的速度和准确性。

Description

闭环检测***、多传感器融合SLAM***及机器人
技术领域
本发明涉及机器人技术领域，特别涉及一种闭环检测***、多传感器融合SLAM***及机器人。
背景技术
SLAM技术在过去的几十年里得到了广泛的研究，尽管SLAM技术解决了机器人在未知环境同步定位与地图构建，但在处理多样化的环境和长时间连续运行方面，任然存在挑战。SLAM可以运行在各种各样的传感器上。在过去的几年里，基于激光雷达的SLAM***因其对环境变化的鲁棒性而比基于视觉的***更受欢迎。然而，纯激光雷达***有其不足之处，它们在隧道或走廊等重复结构的环境中会失效。
发明内容
长时间运行的***在访问同一个地点时，除了受到移动物体的影响外，还是会受到视角、亮度变化等情况的影响，使得使用图像进行场景识别变得及其困难。
鉴于此，本发明的目的在于提供一种闭环检测***、多传感器融合SLAM***及机器人，提升对机器人视角变化、环境亮度变化和弱纹理等情况下的闭环检测的速度和准确性
为了实现上述目的，本发明实施方式提供如下技术方案：
本发明提供一种所述闭环检测***，包括：
相似性检测单元，用于提取当前关键帧图像描述符，并与关键帧数据集中的关键帧图像描述符做对比，选出最相似的相似关键帧，将所述相似关键帧***所述关键帧数据集；
视觉位姿求解单元，通过快速特征点提取和描述算法匹配所述当前关键帧和所述相似关键帧的特征点，使用随机抽样一致算法和基本矩阵模型剔除错误匹配的所述特征点，当正确匹配的所述特征点达到第三阈值，使用随机抽样一致算法和n点透视法求解所述当前关键帧到所述相似关键帧的相对位姿变换；
激光位姿求解单元，选择所述当前关键帧以及所述相似关键帧相关联的两个体素子图，将所述相对位姿变换作为初值，采用迭代最近点算法匹配所述两个体素子图，得到最终相对位姿变换。
在这种情况下，可以显著提升对机器人视角变化、环境亮度变化和弱纹理等情况下的闭环检测的速度和准确性。
其中，所述闭环检测***使用深度神经网络提取所述关键帧图像描述符，将所述图像描述符与之前的关键帧的所述图像描述符进行比较，判断是否存在闭环，如果存在闭环，则采用n点透视法确定两个所述关键帧的位姿变换，根据所述位姿变换和所述体素子图求解闭环位姿约束。
本发明还提供一种多传感器融合SLAM***，所述SLAM***包括如上所述的闭环检测***，所述SLAM***还包括：
扫描匹配模块，使用所述位姿信息作为初值，将激光扫描的点云与体素地图匹配求解出高级位姿， 根据所述高级位姿将所述点云融入所述体素地图，并衍生新的体素子图，所述激光扫描匹配模块产生激光匹配约束；
视觉激光图优化模块，在发生所述闭环后，根据所述位姿信息、所述激光匹配约束以及所述相对位姿变换，修正***累计误差。
其中，将所述闭环位姿约束发送至所述激光扫描匹配模块。
在这种情况下，使用体素子图可减少激光匹配约束优化的计算量，使得位姿的计算更加准确，***长时间运行累计的误差可以通过各模块及闭环检测***充分融合而及时得到修复，并且整体提升了***的鲁棒性及定位和建图的准确性。
其中，采用迭代最近点算法将激光扫描的点云与体素地图匹配求解出所述高级位姿。
其中，所述视觉惯性模块包括视觉前端单元、IMU预积分单元和滑动窗口优化单元， 所述视觉前端单元用于选定所述关键帧，所述IMU预积分单元生成IMU观测值，所述滑动窗口优化单元用于联合优化视觉重投影误差、惯性测量误差和里程测量误差。
由此，IMU预积分单元可将重力加速度对位姿和速度的影响去除，使得新定义的IMU观测值与初值积分的位姿和速度无关，在优化过程中无需反复重新积分，加快优化速度，进而可提高滑动窗口优化单元计算相邻帧的预积分增量、预积分误差的雅各比矩阵和协方差矩阵的效率；滑动窗口优化单元采用窗口优化而不是全局优化，可显著降低计算量，保证计算速度，视觉惯性模块可以为激光扫描匹配模块输出实时准确地位姿信息。
其中，所述视觉前端单元采用单目相机或者双目相机作为输入，所述单目相机或者双目相机采集初始图像，所述视觉前端单元通过KLT稀疏光流算法跟踪各个帧的特征点，所述视觉前端单元包括检测器，所述检测器检测角点特征，保持每个所述初始图像中的所述特征点为最小数量，所述检测器用于设置相邻两个所述特征点之间的最小像素间隔，所述视觉前端单元去除所述特征点的畸变，并使用随机抽样一致算法和基本矩阵模型剔除错误匹配的所述特征点，将正确匹配的所述特征点投影到单位球面上。
由此，可以是特征点便于进一步优化。
其中，所述选定关键帧，具体包括：判断当前帧和最新的所述关键帧之间的被跟踪的所述特征点的平均视差是否超过阈值，如果超过第一阈值，则将所述当前帧视为新的关键帧，如果所述帧的跟踪的特征点的数量低于第二阈值，则将所述帧视为所述新的关键帧。
在这种情况下，避免了完全丢失特征跟踪。
其中，所述激光扫描匹配模块包括激光雷达，所述激光雷达获取扫描点，根据所述位姿信息和IMU观测值对所述扫描点执行变换，将其转换为当前时刻的所述机器人所在坐标系下的三维点云。
由此，可避免由于激光雷达的旋转速度相对机器人移动速度较慢时，产生的非常严重的运动畸变，显著提升了位姿估计的精度。
本发明还提供一种机器人，所述机器人包括如上所述的闭环检测***。
根据本发明所提供的闭环检测***、多传感器融合SLAM***及机器人，可以显著提升对机器人视角变化、环境亮度变化和弱纹理等情况下的闭环检测的速度和准确性。
附图说明
图1示出了本发明的实施方式所涉及的闭环检测***的示意图；
图2示出了本发明的实施方式所涉及的多传感器融合SLAM***的示意图；
图3示出了本发明的实施方式所涉及的多传感器融合SLAM***的视觉惯性模块的示意图。
具体实施方式
以下，参考附图，详细地说明本发明的优选实施方式。在下面的说明中，对于相同的部件赋予相同的符号，省略重复的说明。另外，附图只是示意性的图，部件相互之间的尺寸的比例或者部件的形状等可以与实际的不同。
本发明实施方式涉及闭环检测***、多传感器融合SLAM***及机器人。
如图1所示，闭环检测***30，包括：相似性检测单元31、视觉位姿求解单元32和激光位姿求解单元33。相似性检测单元31提取当前关键帧图像描述符，并与关键帧数据集中的关键帧图像描述符做对比，选出最相似的相似关键帧，将所述相似关键帧***所述关键帧数据集。视觉位姿求解单元32通过快速特征点提取和描述算法匹配所述当前关键帧和所述相似关键帧的特征点，使用随机抽样一致算法（RANSAC）和基本矩阵模型剔除错误匹配的所述特征点，当正确匹配的所述特征点达到第三阈值，使用随机抽样一致算法（RANSAC）和n点透视法（PnP）求解所述当前关键帧到所述相似关键帧的相对位姿变换。激光位姿求解单元33选择所述当前关键帧以及所述相似关键帧相关联的两个所述体素子图，将所述相对位姿变换作为初值，采用迭代最近点算法（ICP）匹配所述两个体素子图，得到最终相对位姿变换。在这种情况下，可以显著提升对机器人视角变化、环境亮度变化和弱纹理等情况下的闭环检测的速度和准确性。
在一些示例中，当求解内点数量大于设定阈值才认为当前回环检查有效。
在本实施方式中，闭环检测***30使用深度神经网络提取所述关键帧图像描述符，将所述图像描述符与之前的关键帧的所述图像描述符进行比较，判断是否存在闭环，如果存在闭环，则采用n点透视法确定两个所述关键帧的位姿变换，根据所述位姿变换和所述体素子图求解闭环位姿约束。由此，可显著提升闭环检测的效率。
本发明实施方式涉及的多传感器融合SLAM***100。该***运行于移动机器人。SLAM***100包括如上所述的闭环检测***30。关于闭环检测***30，在此不做赘述。
如图2所示，多传感器融合SLAM***100还包括：视觉惯性模块10、激光扫描匹配模块20、视觉激光图优化模块40。视觉惯性模块10，用于输出位姿信息。激光扫描匹配模块20使用所述位姿信息作为初值，将激光扫描的点云与体素地图匹配求解出高级位姿，根据所述高级位姿将所述点云融入所述体素地图，并衍生新的体素子图，所述激光扫描匹配模块产生激光匹配约束。视觉激光图优化模块40在发生所述闭环后，根据所述位姿信息、所述激光匹配约束以及所述闭环位姿约束，修正***累计误差。其中，闭环检测***30将所述闭环位姿约束发送至所述激光扫描匹配模块。在这种情况下，使用体素子图可减少激光匹配约束优化的计算量，使得位姿的计算更加准确，***长时间运行累计的误差可以通过各模块充分融合而及时得到修复，并且整体提升了***的鲁棒性及定位和建图的准确性。
在本实施方式中，采用迭代最近点算法（ICP）将激光扫描的点云与体素地图匹配求解出所述高级位姿。
如图3所示，在本实施方式中，视觉惯性模块10包括视觉前端单元11、IMU预积分单元12和滑动窗口优化单元13。视觉前端单元11用于选定所述关键帧。IMU预积分单元12生成IMU观测值。滑动窗口优化单元13用于联合优化视觉重投影误差、惯性测量误差和里程测量误差。由此，IMU预积分单元可将重力加速度对位姿和速度的影响去除，使得新定义的IMU观测值与初值积分的位姿和速度无关，在优化过程中无需反复重新积分，加快优化速度，进而可提高滑动窗口优化单元计算相邻帧的预积分增量、预积分误差的雅各比矩阵和协方差矩阵的效率；滑动窗口优化单元采用窗口优化而不是全局优化，可显著降低计算量，保证计算速度，视觉惯性模块可以为激光扫描匹配模块输出实时准确地位姿信息。
在本实施方式中，视觉前端单元11采用单目相机或者双目相机作为输入。所述单目相机或者双目相机采集初始图像。视觉前端单元11通过KLT稀疏光流算法跟踪各个帧的特征点。视觉前端单元11包括检测器。所述检测器检测角点特征，保持每个所述初始图像中的所述特征点为最小数量。所述检测器用于设置相邻两个所述特征点之间的最小像素间隔。视觉前端单元11去除所述特征点的畸变，并使用随机抽样一致算法（RANSAC）和基本矩阵模型剔除错误匹配的所述特征点，将正确匹配的所述特征点投影到单位球面上。由此，可以使特征点便于进一步优化。
在本实施方式中，优选地，每个图像中特征点的最小数量为100 – 300。
在本实施方式中，所述选定关键帧，具体包括：
判断当前帧和最新的所述关键帧之间的被跟踪的所述特征点的平均视差是否超过阈值，如果超过第一阈值，则将所述当前帧视为新的关键帧，如果所述帧的跟踪的特征点的数量低于第二阈值，则将所述帧视为所述新的关键帧。在这种情况下，避免了完全丢失特征跟踪。
在本实施方式中，滑动窗口优化单元13的滑动窗口中的状态变量为:
其中,xk对应第k帧图像的IMU状态，包括IMU在世界坐标系下的位置、速度、姿态，以及IMU坐标系下的加速度计偏置和陀螺仪偏置。n和m分别滑动窗口中关键帧数量和特征点数量。λl表示第l个特征点在其第一次观测帧上的逆深度。表示相机到IMU的外参，包括位置、姿态和时延。
为计算滑动窗口中的状态变量，使用非线性优化方式求解公式。其中，
分别表示IMU、视觉和里程测量误差。表示窗口内所有IMU测量，C表示窗口内至少观测到两次的特征点，O表示窗口内所有的里程测量。是由边缘化得到的先验信息。
在一些示例中，为保证窗口长度固定，需要丢弃多余的关键帧。但为了保留被丢弃关键帧对窗口内其他帧的约束，需要将被丢弃的信息转化为先验信息，转化过程称为边缘化，具体由舒尔补计算实现。
在本实施方式中，激光扫描匹配模块20包括激光雷达。所述激光雷达获取扫描点，根据所述位姿信息和IMU观测值对所述扫描点执行变换，将其转换为当前时刻的所述机器人所在坐标系下的三维点云。由此，可避免由于激光雷达的旋转速度相对机器人移动速度较慢时，产生的非常严重的运动畸变，显著提升了位姿估计的精度。
在一些示例中，激光雷达可选择二维或三维激光。为减小三维激光匹配的计算量需要对其提取几何特征，包括边缘点和平面点。
在本实施方式中，第一阈值、第二阈值、第三阈值可以是预设设定的任意值。
本发明实施方式涉及的一种机器人。所述机器人包括如上所述的闭环检测***30。关于闭环检测***30，在此不做赘述。在这种情况下，可显著提升对机器人视角变化、环境亮度变化和弱纹理等情况下的闭环检测的速度和准确性
以上所述的实施方式，并不构成对该技术方案保护范围的限定。任何在上述实施方式的精神和原则之内所作的修改、等同更换和改进等，均应包含在该技术方案的保护范围之内。

Claims (5)

1.一种多传感器融合SLAM***，其特征在于，所述SLAM***包括闭环检测***，所述闭环检测***运行于移动机器人，所述闭环检测***包括：
相似性检测单元，用于提取当前关键帧图像描述符，并与关键帧数据集中的关键帧图像描述符做对比，选出最相似的相似关键帧，将所述相似关键帧***所述关键帧数据集，所述闭环检测***使用深度神经网络提取所述关键帧图像描述符，将所述关键帧图像描述符与之前的关键帧的所述图像描述符进行比较，判断是否存在闭环，如果存在闭环，则采用n点透视法确定两个所述关键帧的位姿变换，根据所述位姿变换和体素子图求解闭环位姿约束；
视觉位姿求解单元，通过快速特征点提取和描述算法匹配所述当前关键帧和所述相似关键帧的特征点，使用随机抽样一致算法和基本矩阵模型剔除错误匹配的所述特征点，当正确匹配的所述特征点达到第三阈值，使用随机抽样一致算法和n点透视法求解所述当前关键帧到所述相似关键帧的相对位姿变换；
激光位姿求解单元，选择所述当前关键帧以及所述相似关键帧相关联的两个体素子图，将所述相对位姿变换作为初值，采用迭代最近点算法匹配所述两个体素子图，得到最终相对位姿变换；
所述SLAM***还包括：
视觉惯性模块，用于输出位姿信息，所述视觉惯性模块包括视觉前端单元、IMU预积分单元和滑动窗口优化单元，所述视觉前端单元用于选定所述关键帧，所述IMU预积分单元生成IMU观测值，所述滑动窗口优化单元用于联合优化视觉重投影误差、惯性测量误差和里程测量误差；
激光扫描匹配模块，使用所述位姿信息作为初值，采用迭代最近点算法将激光扫描的点云与体素地图匹配求解出高级位姿，根据所述高级位姿将所述点云融入所述体素地图，并衍生新的体素子图，所述激光扫描匹配模块产生激光匹配约束；
视觉激光图优化模块，在发生所述闭环后，根据所述位姿信息、所述激光匹配约束以及所述闭环位姿约束，修正***累计误差，
其中，将所述闭环位姿约束发送至所述激光扫描匹配模块。
2.如权利要求1所述的多传感器融合SLAM***，其特征在于，所述视觉前端单元采用单目相机或者双目相机作为输入，所述单目相机或者双目相机采集初始图像，所述视觉前端单元通过KLT稀疏光流算法跟踪各个帧的特征点，所述视觉前端单元包括检测器，所述检测器检测角点特征，保持每个所述初始图像中的所述特征点为最小数量，所述检测器用于设置相邻两个所述特征点之间的最小像素间隔，所述视觉前端单元去除所述特征点的畸变，并使用随机抽样一致算法和基本矩阵模型剔除错误匹配的所述特征点，将正确匹配的所述特征点投影到单位球面上。
3.如权利要求2所述的多传感器融合SLAM***，其特征在于，选定关键帧，具体包括：判断当前帧和最新的所述关键帧之间的被跟踪的所述特征点的平均视差是否超过阈值，如果超过第一阈值，则将所述当前帧视为新的关键帧，如果所述帧的跟踪的特征点的数量低于第二阈值，则将所述帧视为所述新的关键帧。
4.如权利要求1所述的多传感器融合SLAM***，其特征在于，所述激光扫描匹配模块包括激光雷达，所述激光雷达获取扫描点，根据所述位姿信息和所述IMU观测值对所述扫描点执行变换，将其转换为当前时刻的所述机器人所在坐标系下的三维点云。
5.一种机器人，其特征在于，所述机器人包括如权利要求1所述的多传感器融合SLAM***。
CN202010062310.1A 2020-01-20 2020-01-20 闭环检测***、多传感器融合slam***及机器人 Active CN111275763B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202010062310.1A CN111275763B (zh) 2020-01-20 2020-01-20 闭环检测***、多传感器融合slam***及机器人
PCT/CN2020/135029 WO2021147549A1 (zh) 2020-01-20 2020-12-09 闭环检测方法及***、多传感器融合slam***及机器人、介质
US17/793,954 US20230045796A1 (en) 2020-01-20 2020-12-09 Loop closure detection method and system, multi-sensor fusion slam system, robot, and medium
EP20915483.0A EP4083919A4 (en) 2020-01-20 2020-12-09 CLOSED-LOOP DETECTION METHOD AND SYSTEM, MULTI-SENSOR FUSION SERVO SYSTEM, ROBOT AND SUPPORT

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010062310.1A CN111275763B (zh) 2020-01-20 2020-01-20 闭环检测***、多传感器融合slam***及机器人

Publications (2)

Publication Number Publication Date
CN111275763A CN111275763A (zh) 2020-06-12
CN111275763B true CN111275763B (zh) 2023-10-13

Family

ID=71001789

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010062310.1A Active CN111275763B (zh) 2020-01-20 2020-01-20 闭环检测***、多传感器融合slam***及机器人

Country Status (4)

Country Link
US (1) US20230045796A1 (zh)
EP (1) EP4083919A4 (zh)
CN (1) CN111275763B (zh)
WO (1) WO2021147549A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111275763B (zh) * 2020-01-20 2023-10-13 深圳市普渡科技有限公司 闭环检测***、多传感器融合slam***及机器人
CN111258313B (zh) * 2020-01-20 2022-06-07 深圳市普渡科技有限公司 多传感器融合slam***及机器人
CN111879306B (zh) * 2020-06-17 2022-09-27 杭州易现先进科技有限公司 视觉惯性定位的方法、装置、***和计算机设备
CN111765882B (zh) * 2020-06-18 2024-07-12 浙江华睿科技股份有限公司 激光雷达定位方法及其相关装置
CN112102400B (zh) * 2020-09-15 2022-08-02 上海云绅智能科技有限公司 基于距离的闭环检测方法、装置、电子设备和存储介质
CN112631271A (zh) * 2020-10-09 2021-04-09 南京凌华微电子科技有限公司 一种基于机器人感知融合的地图生成方法
CN112233177B (zh) * 2020-10-10 2021-07-30 中国安全生产科学研究院 一种无人机位姿估计方法及***
CN112305554B (zh) 2020-11-23 2021-05-28 中国科学院自动化研究所 基于有向几何点和稀疏帧的激光里程计方法、***、装置
CN112509045A (zh) * 2020-12-04 2021-03-16 江苏科技大学 一种机器人视觉同时定位与建图的闭环检测方法及***
CN113246136B (zh) * 2021-06-07 2021-11-16 深圳市普渡科技有限公司 机器人、地图构建方法、装置和存储介质
US20220406005A1 (en) * 2021-06-17 2022-12-22 Faro Technologies, Inc. Targetless tracking of measurement device during capture of surrounding data
CN113776528B (zh) * 2021-09-13 2024-06-11 河北环铁技术开发有限公司 一种物流机器人及其定位方法
CN114358133B (zh) * 2021-12-09 2023-04-18 虎联智能(武汉)科技有限公司 一种基于语义辅助双目视觉slam检测回环帧的方法
CN116423515B (zh) * 2023-04-28 2023-10-03 燕山大学 一种多机器人的数字孪生控制***及其定位与建图的方法
CN117761717B (zh) * 2024-02-21 2024-05-07 天津大学四川创新研究院 一种自动回环三维重建***及运行方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105856230A (zh) * 2016-05-06 2016-08-17 简燕梅 一种可提高机器人位姿一致性的orb关键帧闭环检测slam方法
CN107680133A (zh) * 2017-09-15 2018-02-09 重庆邮电大学 一种基于改进闭环检测算法的移动机器人视觉slam方法
WO2019140745A1 (zh) * 2018-01-16 2019-07-25 广东省智能制造研究所 机器人定位方法及装置
US10390003B1 (en) * 2016-08-29 2019-08-20 Perceptln Shenzhen Limited Visual-inertial positional awareness for autonomous and non-autonomous device
WO2019169540A1 (zh) * 2018-03-06 2019-09-12 斯坦德机器人（深圳）有限公司 紧耦合视觉slam的方法、终端及计算机可读存储介质
CN110645998A (zh) * 2019-09-10 2020-01-03 上海交通大学 一种基于激光点云的无动态物体地图分段建立方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010099035A1 (en) * 2009-02-25 2010-09-02 Honda Motor Co., Ltd. Body feature detection and human pose estimation using inner distance shape contexts
CN106324616B (zh) * 2016-09-28 2019-02-26 深圳市普渡科技有限公司 一种基于惯性导航单元与激光雷达的地图构建方法
US10274325B2 (en) * 2016-11-01 2019-04-30 Brain Corporation Systems and methods for robotic mapping
US10309777B2 (en) * 2016-12-30 2019-06-04 DeepMap Inc. Visual odometry and pairwise alignment for high definition map creation
CN109556596A (zh) * 2018-10-19 2019-04-02 北京极智嘉科技有限公司 基于地面纹理图像的导航方法、装置、设备及存储介质
CN110428467B (zh) * 2019-07-30 2020-05-19 四川大学 一种相机、imu和激光雷达联合的机器人定位方法
CN111275763B (zh) * 2020-01-20 2023-10-13 深圳市普渡科技有限公司 闭环检测***、多传感器融合slam***及机器人

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105856230A (zh) * 2016-05-06 2016-08-17 简燕梅 一种可提高机器人位姿一致性的orb关键帧闭环检测slam方法
US10390003B1 (en) * 2016-08-29 2019-08-20 Perceptln Shenzhen Limited Visual-inertial positional awareness for autonomous and non-autonomous device
CN107680133A (zh) * 2017-09-15 2018-02-09 重庆邮电大学 一种基于改进闭环检测算法的移动机器人视觉slam方法
WO2019140745A1 (zh) * 2018-01-16 2019-07-25 广东省智能制造研究所 机器人定位方法及装置
WO2019169540A1 (zh) * 2018-03-06 2019-09-12 斯坦德机器人（深圳）有限公司 紧耦合视觉slam的方法、终端及计算机可读存储介质
CN110645998A (zh) * 2019-09-10 2020-01-03 上海交通大学 一种基于激光点云的无动态物体地图分段建立方法

Also Published As

Publication number Publication date
WO2021147549A1 (zh) 2021-07-29
EP4083919A1 (en) 2022-11-02
EP4083919A4 (en) 2024-01-31
CN111275763A (zh) 2020-06-12
US20230045796A1 (en) 2023-02-16

Similar Documents

Publication Publication Date Title
CN111275763B (zh) 闭环检测***、多传感器融合slam***及机器人
CN111258313B (zh) 多传感器融合slam***及机器人
CN112634451B (zh) 一种融合多传感器的室外大场景三维建图方法
US11668571B2 (en) Simultaneous localization and mapping (SLAM) using dual event cameras
CN109307508B (zh) 一种基于多关键帧的全景惯导slam方法
CN109993113B (zh) 一种基于rgb-d和imu信息融合的位姿估计方法
CN110044354B (zh) 一种双目视觉室内定位与建图方法及装置
US10546387B2 (en) Pose determination with semantic segmentation
CN112749665B (zh) 一种基于图像边缘特征的视觉惯性slam方法
CN112219087A (zh) 位姿预测方法、地图构建方法、可移动平台及存储介质
CN112649016A (zh) 一种基于点线初始化的视觉惯性里程计方法
CN111366153B (zh) 一种激光雷达与imu紧耦合的定位方法
CN111932674A (zh) 一种线激光视觉惯性***的优化方法
CN111623773B (zh) 一种基于鱼眼视觉和惯性测量的目标定位方法及装置
CN112419497A (zh) 基于单目视觉的特征法与直接法相融合的slam方法
CN111609868A (zh) 一种基于改进光流法的视觉惯性里程计方法
CN111998862A (zh) 一种基于bnn的稠密双目slam方法
CN116007609A (zh) 一种多光谱图像和惯导融合的定位方法和计算***
CN116468786A (zh) 一种面向动态环境的基于点线联合的语义slam方法
CN112432653B (zh) 基于点线特征的单目视觉惯性里程计方法
CN112945233A (zh) 一种全局无漂移的自主机器人同时定位与地图构建方法
Hu et al. Efficient Visual-Inertial navigation with point-plane map
Ren An improved binocular LSD_SLAM method for object localization
CN116045965A (zh) 一种融合多传感器的环境地图构建方法
CN116678401A (zh) 一种基于YOLOv6算法改进的动态环境SLAM方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant