CN110796683A - 一种基于视觉特征联合激光slam的重定位方法 - Google Patents

一种基于视觉特征联合激光slam的重定位方法 Download PDF

Info

Publication number
CN110796683A
CN110796683A CN201910976911.0A CN201910976911A CN110796683A CN 110796683 A CN110796683 A CN 110796683A CN 201910976911 A CN201910976911 A CN 201910976911A CN 110796683 A CN110796683 A CN 110796683A
Authority
CN
China
Prior art keywords
robot
monocular camera
images
pose
dictionary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910976911.0A
Other languages
English (en)
Inventor
赵燕伟
黄程侃
张健
徐晨
任设东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201910976911.0A priority Critical patent/CN110796683A/zh
Publication of CN110796683A publication Critical patent/CN110796683A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Automation & Control Theory (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种基于视觉特征联合激光SLAM的重定位方法，包括：通过单目相机采集周围环境中的大量图像信息，提取特征点，构建K叉树结构的字典；校准单目相机，运行机器人，用激光雷达构建环境地图，并计算机器人运动轨迹；同时单目相机采集图像信息，将新采集的图像用DBOW算法加入更新字典，每张图像携带有其当前的位姿信息；机器人重启后首先利用单目相机采集图像信息，将图像与之前采集的图像对比计算相似度，根据相似度回环后，用Sim3变换获得当前位姿信息，作为激光SLAM的初始位姿。本发明将视觉特征与激光雷达结合，改善了单独激光雷达无法在已知地图中重定位的弊端。

Description

一种基于视觉特征联合激光SLAM的重定位方法
技术领域
本发明涉及一种基于视觉特征联合激光SLAM的重定位方法。
背景技术
随着SLAM技术以及工业技术的快速发展，伴随着扫地机器人，服务机器人等以激光SLAM技术为基础的产品的面世，激光SLAM技术开始走向我们的生活。与之而来的是商用激光SLAM技术的一些缺陷的暴露，在构建地图后，激光SLAM再次加载已知地图，并重新定位当前位姿的能力弱。先市面上大多商家利用固定桩点的方法，使机器人每次关机之前回到同一位置，保证下次开机时机器人处于桩点位置，避开激光SLAM的重定位能力弱的情况。因此需要提出一种基于视觉特征联合激光SLAM的重定位方法，从而实现机器人已知地图的任何位置启动都能快速确定自身的位姿。
现在有激光SLAM难以在已知地图中实现初始定位使得机器人每次必须在同一桩点开机以保证获得正确的初始位姿。
发明内容
本发明为了克服现有技术的上述缺点，提供一种基于视觉特征联合激光SLAM的重定位方法。
本发明解决其技术问题所采用的技术方案是：
一种基于视觉特征联合激光SLAM的重定位方法，包括如下步骤：
S1：使用单目相机对周围环境进行拍摄，获得大数量不同的图像，组成数据集。提取数据集中的图像的ORB特征点：
提取帧图上的FAST角点，针对原始FAST角点，分别计算Harris响应值，然后选取前N个具有最大响应值的角点。构建图像金字塔，在每层检测角点，消除其尺度不变性，计算每个角点的灰度质心，使其具有方向性。
在上述提取的FAST角点中，结合灰度质心，对每个点进行计算其BRIEF描述子，作为ORB的描述子。
用K-meams++聚类算法将ORB特征点分类组建成K叉树结构的字典。
S2：将激光雷达和单目相机装在同一移动机器人上，联合标定，获取相机内参，获取相机-LiDAR外参，获得激光雷达与单目相机的位姿的变换矩阵[R，t]。
S3：初始化构建地图，使得机器人运动，激光雷达用传统SLAM方法构建环境地图并计算出机器人运动轨迹∑Xa，推算单目相机的运动轨迹为∑Xb＝[R，t]∑Xa
S4：单目相机在机器人运动过程中采集图像，并筛选其中的关键帧，然后用DBOW算法对关键帧进行ORB特征点提取，将其加入并更新字典，同时融入位姿信息。
筛选规则如下：
(1)当前处于定位模式下，不增加关键帧；
(2)距离上一次关键帧不得设定的最小帧数；
(3)特征点超过设定的最小阈值；
(4)与上一帧关键帧共视点小于相应比例；
S5：机器人开机后相机开始采集图像，将采集到的图像提取特征点，利用已构建的字典与S4中采集的关键帧进行相似度计算，若一时无法找到回环，机器人自动旋转一个角度重新开始S5，根据相似度确定回环后，两帧进行Sim3变换，从历史帧的位姿中推算当前位姿，将计算所得位姿作为初始位姿提供给激光SLAM作为其轨迹的初值。
与现有技术相比，本发明的有益效果表现为：
本发明一种基于视觉特征联合激光SLAM的重定位方法，可以有效提供装载有激光SLAM***的机器人在已知地图中的初始位姿，解决了现有技术必须返回起初设定好的桩点才能正确找到位姿的缺点。当机器人遭遇定位绑架时，也可以用此方法快速进行重定位，找到机器人在已知地图中的位姿。
附图说明
图1是本发明方法的流程图；
图2是本发明自主构建的室内与相邻走廊的地图。
具体实施方式
为了使本项发明的目的、技术方案以及优点更加明确，以下结合附图，对本次发明进一步详细说明。应当理解，此次所描述实施例子仅用以解释本发明，并不用于限定本发明。
一种基于视觉特征联合激光SLAM的重定位方法，包括如下步骤：
S1：本次实施例使用之前拍摄的一个数据集，大约有2,900张图像，提取数据集中的图像的ORB特征点：
提取帧图上的FAST角点，针对原始FAST角点，分别计算Harris响应值，然后选取前N个具有最大响应值的角点。构建图像金字塔，在每层检测角点，消除其尺度不变性，计算每个角点的灰度质心，使其具有方向性。
在上述提取的FAST角点中，结合灰度质心，对每个点进行计算其BRIEF描述子，作为ORB的描述子。
用K-meams++聚类算法将ORB特征点分类组建成K叉树结构的字典，字典长度为10，深度为5。
S2：将激光雷达和单目相机装在同一移动机器人上，联合标定，获取相机内参，获取相机-LiDAR外参，获得激光雷达与单目相机的位姿的变换矩阵[R，t]。
S3：初始化构建地图，使得机器人运动，激光雷达用传统SLAM方法构建环境地图并计算出机器人运动轨迹∑Xa，推算单目相机的运动轨迹为∑Xb＝[R，t]∑Xa，构建的地图如图2所示。
S4：单目相机在机器人运动过程中采集图像，并筛选其中的关键帧，然后用DBOW算法对关键帧进行ORB特征点提取，将其加入并更新字典，同时融入位姿信息。
筛选规则如下：
(1)当前处于定位模式下，不增加关键帧；
(2)距离上一次关键帧不得设定的最小帧数；
(3)特征点超过设定的最小阈值；
(4)与上一帧关键帧共视点小于相应比例；
S5：机器人开机后相机开始采集图像，将采集到的图像提取特征点，利用已构建的字典与S4中采集的关键帧进行相似度计算，若一时无法找到回环，机器人自动旋转一个角度重新开始S5，确定回环后，两帧进行Sim3变换，从历史帧的位姿中推算当前位姿，将计算所得位姿作为初始位姿提供给激光SLAM作为其轨迹的初值。
我们尝试将机器人方式在之前构建的地图中不同的位置(9.780,2.360)、(9.580，-14.160)、(1.540，-2.280)关机后开机，查看机器人是否能成功找到自身的位姿，结果均表明机器人能成功找到当前位姿，然后开始在已知地图上开始正常工作。
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (1)

1.一种基于视觉特征联合激光SLAM的重定位方法，包括以下步骤：
S1：使用单目相机对周围环境进行拍摄，获得大数量不同的图像，组成数据集；提取数据集中的图像的ORB特征点：
提取帧图上的FAST角点，针对原始FAST角点，分别计算Harris响应值，然后选取前N个具有最大响应值的角点；构建图像金字塔，在每层检测角点，消除其尺度不变性，计算每个角点的灰度质心，使其具有方向性；
在上述提取的FAST角点中，结合灰度质心，对每个点进行计算其BRIEF描述子，作为ORB的描述子；
用K-meams++聚类算法将ORB特征点分类组建成K叉树结构的字典；
S2：将激光雷达和单目相机装在同一移动机器人上，联合标定，获取相机内参，获取相机-LiDAR外参，获得激光雷达与单目相机的位姿的变换矩阵[R，t]；
S3：初始化构建地图，使得机器人运动，激光雷达用传统SLAM方法构建环境地图并计算出机器人运动轨迹∑Xa，推算单目相机的运动轨迹为∑Xb＝[R，t]∑Xa；
S4：单目相机在机器人运动过程中采集图像，并筛选其中的关键帧，然后用DBOW算法对关键帧进行ORB特征点提取，将其加入并更新字典，同时融入位姿信息；
筛选规则如下：
(1)当前处于定位模式下，不增加关键帧；
(2)距离上一次关键帧不得设定的最小帧数；
(3)特征点超过设定的最小阈值；
(4)与上一帧关键帧共视点小于相应比例；
S5：机器人开机后相机开始采集图像，将采集到的图像提取特征点，利用已构建的字典与S4中采集的关键帧进行相似度计算，若一时无法找到回环，机器人自动旋转一个角度重新开始S5，根据相似度确定回环后，两帧进行Sim3变换，从历史帧的位姿中推算当前位姿，将计算所得位姿作为初始位姿提供给激光SLAM作为其轨迹的初值。
CN201910976911.0A 2019-10-15 2019-10-15 一种基于视觉特征联合激光slam的重定位方法 Pending CN110796683A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910976911.0A CN110796683A (zh) 2019-10-15 2019-10-15 一种基于视觉特征联合激光slam的重定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910976911.0A CN110796683A (zh) 2019-10-15 2019-10-15 一种基于视觉特征联合激光slam的重定位方法

Publications (1)

Publication Number Publication Date
CN110796683A true CN110796683A (zh) 2020-02-14

Family

ID=69439174

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910976911.0A Pending CN110796683A (zh) 2019-10-15 2019-10-15 一种基于视觉特征联合激光slam的重定位方法

Country Status (1)

Country Link
CN (1) CN110796683A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111784775A (zh) * 2020-07-13 2020-10-16 中国人民解放军军事科学院国防科技创新研究院 一种标识辅助的视觉惯性增强现实注册方法
CN112184768A (zh) * 2020-09-24 2021-01-05 杭州易现先进科技有限公司 基于激光雷达的sfm重建方法、装置和计算机设备
CN112487234A (zh) * 2020-11-25 2021-03-12 北京集光通达科技股份有限公司 基于***型层次聚类的轨迹分析方法、设备及存储介质
CN112596064A (zh) * 2020-11-30 2021-04-02 中科院软件研究所南京软件技术研究院 激光与视觉融合的一体化室内机器人全局定位方法
CN112665575A (zh) * 2020-11-27 2021-04-16 重庆大学 一种基于移动机器人的slam回环检测方法
CN112989999A (zh) * 2021-03-11 2021-06-18 深圳市无限动力发展有限公司 基于视觉回环的扫地机定位方法、装置、设备及介质
CN112986912A (zh) * 2021-03-19 2021-06-18 北京小狗吸尘器集团股份有限公司 基于结构光传感器的扫地机重定位方法、装置和电子设备
CN114088099A (zh) * 2021-11-18 2022-02-25 北京易航远智科技有限公司 基于已知地图的语义重定位方法、装置、电子设备及介质
WO2022156447A1 (zh) * 2021-01-20 2022-07-28 京东科技信息技术有限公司 定位方法和装置、计算机装置和计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106153048A (zh) * 2016-08-11 2016-11-23 广东技术师范学院 一种基于多传感器的机器人室内定位及制图***
CN109614459A (zh) * 2019-03-06 2019-04-12 上海思岚科技有限公司 应用于二维激光的地图构建回环检测方法及设备
CN109949372A (zh) * 2019-03-18 2019-06-28 北京智行者科技有限公司 一种激光雷达与视觉联合标定方法
CN110322519A (zh) * 2019-07-18 2019-10-11 天津大学 一种用于激光雷达与相机联合标定的标定装置及标定方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106153048A (zh) * 2016-08-11 2016-11-23 广东技术师范学院 一种基于多传感器的机器人室内定位及制图***
CN109614459A (zh) * 2019-03-06 2019-04-12 上海思岚科技有限公司 应用于二维激光的地图构建回环检测方法及设备
CN109949372A (zh) * 2019-03-18 2019-06-28 北京智行者科技有限公司 一种激光雷达与视觉联合标定方法
CN110322519A (zh) * 2019-07-18 2019-10-11 天津大学 一种用于激光雷达与相机联合标定的标定装置及标定方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ETHAN RUBLEE 等: "ORB: an efficient alternative to SIFT or SURF", 《2011 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》 *
张国良 等: "《移动机器人的SLAM与VSLAM方法》", 30 September 2018, 西安交通大学出版社 *
黄婷: ""基于激光雷达和深度相机的AGV自主定位方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111784775B (zh) * 2020-07-13 2021-05-04 中国人民解放军军事科学院国防科技创新研究院 一种标识辅助的视觉惯性增强现实注册方法
CN111784775A (zh) * 2020-07-13 2020-10-16 中国人民解放军军事科学院国防科技创新研究院 一种标识辅助的视觉惯性增强现实注册方法
CN112184768B (zh) * 2020-09-24 2023-10-31 杭州易现先进科技有限公司 基于激光雷达的sfm重建方法、装置和计算机设备
CN112184768A (zh) * 2020-09-24 2021-01-05 杭州易现先进科技有限公司 基于激光雷达的sfm重建方法、装置和计算机设备
CN112487234A (zh) * 2020-11-25 2021-03-12 北京集光通达科技股份有限公司 基于***型层次聚类的轨迹分析方法、设备及存储介质
CN112487234B (zh) * 2020-11-25 2024-03-29 北京集光通达科技股份有限公司 基于***型层次聚类的轨迹分析方法、设备及存储介质
CN112665575A (zh) * 2020-11-27 2021-04-16 重庆大学 一种基于移动机器人的slam回环检测方法
CN112665575B (zh) * 2020-11-27 2023-12-29 重庆大学 一种基于移动机器人的slam回环检测方法
CN112596064A (zh) * 2020-11-30 2021-04-02 中科院软件研究所南京软件技术研究院 激光与视觉融合的一体化室内机器人全局定位方法
CN112596064B (zh) * 2020-11-30 2024-03-08 中科院软件研究所南京软件技术研究院 激光与视觉融合的一体化室内机器人全局定位方法
WO2022156447A1 (zh) * 2021-01-20 2022-07-28 京东科技信息技术有限公司 定位方法和装置、计算机装置和计算机可读存储介质
CN112989999A (zh) * 2021-03-11 2021-06-18 深圳市无限动力发展有限公司 基于视觉回环的扫地机定位方法、装置、设备及介质
CN112986912B (zh) * 2021-03-19 2023-06-16 北京小狗吸尘器集团股份有限公司 基于结构光传感器的扫地机重定位方法、装置和电子设备
CN112986912A (zh) * 2021-03-19 2021-06-18 北京小狗吸尘器集团股份有限公司 基于结构光传感器的扫地机重定位方法、装置和电子设备
CN114088099A (zh) * 2021-11-18 2022-02-25 北京易航远智科技有限公司 基于已知地图的语义重定位方法、装置、电子设备及介质

Similar Documents

Publication Publication Date Title
CN110796683A (zh) 一种基于视觉特征联合激光slam的重定位方法
US11145069B2 (en) Target tracking method and apparatus, electronic device, and storage medium
JP6702453B2 (ja) 測位方法、測位装置及び読取り可能な記憶媒体
US10789717B2 (en) Apparatus and method of learning pose of moving object
US9984280B2 (en) Object recognition system using left and right images and method
US8718324B2 (en) Method, apparatus and computer program product for providing object tracking using template switching and feature adaptation
JP5487298B2 (ja) ３次元画像生成
JP5263694B2 (ja) 物***置推定用情報作成装置、物***置推定用情報作成方法およびプログラム
CN111462207A (zh) 一种融合直接法与特征法的rgb-d同时定位与地图创建方法
CN110097584B (zh) 结合目标检测和语义分割的图像配准方法
US9922423B2 (en) Image angle variation detection device, image angle variation detection method and image angle variation detection program
US20080187173A1 (en) Method and apparatus for tracking video image
EP2965262A1 (en) Method for detecting and tracking objects in sequence of images of scene acquired by stationary camera
JP2020149642A (ja) 物体追跡装置および物体追跡方法
KR20200080402A (ko) 비정상 상황 탐지 시스템 및 방법
US10911747B1 (en) Systems and methods for utilizing modeling to automatically determine configuration parameters for cameras
Liang et al. Image-based positioning of mobile devices in indoor environments
CN108416385A (zh) 一种基于改进图像匹配策略的同步定位与建图方法
US20240012146A1 (en) Method, apparatus and storage medium for multi-target multi-camera tracking
US20120051593A1 (en) Apparatus and method for detecting subject from image
CN113052907A (zh) 一种动态环境移动机器人的定位方法
JP2020149641A (ja) 物体追跡装置および物体追跡方法
CN112509058A (zh) 外参的计算方法、装置、电子设备和存储介质
Liang et al. Reduced-complexity data acquisition system for image-based localization in indoor environments
TW202242803A (zh) 定位方法、裝置、電子設備及儲存媒體

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200214