CN112950676A - 一种智能机器人回环检测方法 - Google Patents

一种智能机器人回环检测方法 Download PDF

Info

Publication number
CN112950676A
CN112950676A CN202110306148.8A CN202110306148A CN112950676A CN 112950676 A CN112950676 A CN 112950676A CN 202110306148 A CN202110306148 A CN 202110306148A CN 112950676 A CN112950676 A CN 112950676A
Authority
CN
China
Prior art keywords
frame
dimensional feature
feature vector
key frame
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110306148.8A
Other languages
English (en)
Inventor
田成军
李弘杨
吴昊
吕宏福
寇朋飞
王雨雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun University of Science and Technology
Original Assignee
Changchun University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun University of Science and Technology filed Critical Changchun University of Science and Technology
Priority to CN202110306148.8A priority Critical patent/CN112950676A/zh
Publication of CN112950676A publication Critical patent/CN112950676A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及机器人技术与图像处理技术领域，提出一种回环检测方法，所述方法包括：通过机器人所载RGB‑D相机获取运动图像，对获取图像进行预处理；获取预处理后每一帧的低维特征向量，建立低维特征向量数据库Data(L)，使用提出的关键帧选取算法确定关键帧帧数；获取关键帧帧数相应帧的高维特征向量，建立关键帧高维特征向量数据库Data(H)；获取预处理后当前帧高维与低维特征向量，将当前帧高维特征向量与Data(H)作对比，确定可能存在回环的帧数范围；根据可能存在回环的帧数范围，利用当前帧低维特征向量与Data(L)中相应帧作对比，置信参数大于预设阈值时，确定形成回环。本发明的回环检测方法降低了回环检测中丢失率、误匹率与算力需求，且本发明有良好的鲁棒性。

Description

一种智能机器人回环检测方法
技术领域
本发明涉及机器人技术与图像处理技术领域，具体为一种回环检测方法。
背景技术
近些年，人工智能相关技术不断发展，越来越多的智能机器人技术被应用到各个领域。此外，随着计算机处理性能与传感器精度的不断提高，智能机器人的应用前景愈加可观。回环检测环节作为同时定位与地图构建(Simultaneous Localization And Mapping，简称SLAM)***的重要组成部分，主要功能是纠正***累计误差使机器人可以进行重新定位。而SLAM又是机器人***必不可少的。
然而，回环检测过程中主要存在两类问题：一类是假阳性(False Positive)又称作感知偏差，定义为不同但相似的场景被判断为回环；另一类是假阴性(False Negative)又称作感知变异，定义为相同场景被误判为非回环。合格的回环检测算法应该尽力克服这两类问题。传统回环检测算法一般使用人工设计的特征，这种特征易受环境因素影响从而降低回环检测的准确性。卷积神经网络近些年被大量应用于图像特征提取，研究表明卷积神经网络提取的图像特征更加客观且不易受到环境因素影响，但一般的对比算法会造成巨大的计算量问题，降低回环检测效率。
发明内容
鉴于上述问题，本发明提出一种机器人回环检测方法，通过图像预处理、关键帧选取、建立高维特征向量数据库与低维特征向量数据库等步骤，提高回环检测的准确率与效率，消除SLAM过程中的累计误差，增强机器人在复杂环境中运行的鲁棒性。
本发明提出的回环检测方法步骤如下：
步骤一：通过机器人所载RGB-D相机获取运动图像，对获取图像进行预处理；
步骤二：获取预处理后每一帧图像的低维特征向量，建立低维特征向量数据库Data(L)，使用提出的关键帧选取算法确定关键帧帧数；
步骤三：获取关键帧帧数相应帧的高维特征向量，建立关键帧高维特征向量数据库Data(H)；
步骤四：获取预处理后当前帧高维与低维特征向量，将当前帧高维特征向量与Data(H)作对比，对比结果大于α时，确定可能存在回环的帧数范围；
步骤五：根据可能存在回环的帧数范围，利用当前帧低维特征向量与Data(L)中相应帧作对比，对比结果大于置信参数预设阈值γ时，确定形成回环。
其中图像预处理具体步骤如下：
1)将连续视频信息经过计算机的处理，统一图像规格；
2)再使用语义分割算法处理统一规格后的图像；
3)得到图像场景中固定物体与动态物体；
4)然后保留图像中所含固定物体部分；
5)最后将处理过的图像向后续步骤输入。
本发明所提出的关键帧选取算法具体步骤如下：
1)经图像预处理后的视频图像信息输入关键帧选取网络；
2)初始帧必然选为关键帧，第二帧设定为参考帧，参考帧的后续帧为待测帧；
3)将待测帧与参考帧逐帧对比选取相似度低于β的帧为关键帧，反馈关键帧帧数，将关键帧后续的一帧作为新的参考帧，参考帧的后续帧为待测帧，重复前述的对比方法继续选取关键帧；
4)选取的关键帧输入到提取高维特征卷积神经网络中；
5)建立关键帧高维特征向量数据库Data(H)。
由上所述可见，本发明通过使用语义分割预处理图像，然后建立关键帧高维特征向量数据库与所有图像低维特征向量数据库，使用所述的查找与对比方法确定回环帧。所述方法可以降低计算量，同时可以降低感知变异与感知偏差的发生概率，此外本发明还具有良好的鲁棒性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的一种回环检测方法流程示意图
图2是本发明提供的图像预处理流程示意图
图3是本发明提供的关键帧选取方法流程示意图
图4是本发明提供的关键帧高维特征向量数据库的构建流程示意图
图5是本发明提供的所有帧低维特征向量数据库的构建流程示意图
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定***结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，所涉及领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可实现本发明。
下面结合具体实施例对本发明做进一步详细说明，但本发明的实施方式不限于此。此次，本发明实施例仅提供了一种具体回环检测方法。本发明所述实施例中，获取相机图像的拍摄设备为RGB-D相机。
实施例1
本发明实施例提供的一种回环检测方法，如图1所示，包含整体步骤如下：
1)通过机器人所载RGB-D相机获取运动图像，对获取图像进行预处理；
2)获取预处理后每一帧的低维特征向量，建立低维特征向量数据库Data(L)，使用提出的关键帧选取算法确定关键帧帧数；
3)获取关键帧帧数相应帧的高维特征向量，建立关键帧高维特征向量数据库Data(H)；
4)获取预处理后当前帧高维与低维特征向量，将当前帧高维特征向量与Data(H)作对比，对比结果大于α时，确定可能存在回环的帧数范围；
5)根据可能存在回环的帧数范围，利用当前帧低维特征向量与Data(L)中相应帧作对比，对比结果大于置信参数预设阈值γ时，确定形成回环。
实施例2
本发明实施例提供的一种回环检测中图像预处理流程，如图2所示，包含具体步骤如下：
1)将连续视频信息经过计算机的处理，统一图像规格；
2)再使用语义分割算法处理统一规格后的图像；
3)得到图像场景中固定物体与动态物体；
4)然后保留图像中所含固定物体部分；
5)最后将处理过的图像向后续步骤输入。
实施例3
本发明实施例提供的一种回环检测中关键帧选取算法流程，如图3所示，包含具体步骤如下：
1)经图像预处理后的视频图像信息输入关键帧选取网络；
2)初始帧必然选为关键帧，第二帧设定为参考帧，参考帧的后续帧为待测帧；
3)将待测帧与参考帧逐帧对比选取相似度低于β的帧为关键帧，反馈关键帧帧数，将关键帧后续的一帧作为新的参考帧，参考帧的后续帧为待测帧，重复前述的对比方法继续选取关键帧；
4)选取的关键帧输入到提取高维特征卷积神经网络中；
5)建立关键帧高维特征向量数据库Data(H)。
实施例4
本发明实施例提供的一种回环检测方法中关键帧高维特征向量数据库构建方法，如图4所示，包含具体步骤如下：
1)将关键帧输入到提取高维特征向量卷积神经网络中，得到关键帧高维特征向量；
2)对关键帧高维特征向量进行存储，建立关键帧高维特征向量数据库Data(H)。
实施例5
本发明实施例提供的一种回环检测方法中所有帧低维特征向量数据库构建方法，如图5所示，包含具体步骤如下：
1)将全部预处理后的图像输入到提取低维特征向量卷积神经网络中，得到所有帧的低维特征向量；
2)对所有帧低维特征向量进行存储，建立所有帧低维特征向量数据库Data(L)。
在本发明的一个实施例中，所述确定可能存在回环帧数范围的结果对比参数α预设为0.8。
在本发明的一个实施例中，所述关键帧选取算法中β预设为0.6。
在本发明的一个实施列中，所述置信参数预设阈值γ为0.95。
以上所述实施例仅用以说明本发明的技术方案，即上述实施例为示例性，而非对本发明的限制，本领域的普通技术人员应当理解在本发明的范围内可以对上述实施例进行变化、修改、替换和变型，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种智能机器人回环检测方法，其特征在于，包括以下步骤：
步骤一：通过机器人所载RGB-D相机获取运动图像，对获取图像进行预处理；
步骤二：获取预处理后每一帧图像的低维特征向量，建立全部帧低维特征向量数据库Data(L)，使用提出的关键帧选取算法确定关键帧帧数；
步骤三：获取关键帧帧数相应帧的高维特征向量，建立关键帧高维特征向量数据库Data(H)；
步骤四：获取预处理后当前帧高维与低维特征向量，将当前帧高维特征向量与Data(H)作对比，对比结果大于α时，确定可能存在回环的帧数范围；
步骤五：根据可能存在回环的帧数范围，利用当前帧低维特征向量与Data(L)中相应帧作对比，对比结果大于置信参数预设阈值γ时，确定形成回环。
2.根据权利要求1所述的一种智能机器人回环检测方法，其特征在于，所述图像预处理包括以下步骤：
步骤1：将连续视频信息经过计算机的处理，统一图像规格；
步骤2：再使用语义分割算法处理统一规格后的图像；
步骤3：得到图像场景中固定物体与动态物体；
步骤4：然后保留图像中所含固定物体部分；
步骤5：最后将处理过的图像向后续步骤输入。
3.根据权利要求1所述的一种智能机器人回环检测方法，其特征在于，所述关键帧选取算法包括以下步骤：
步骤1：经图像预处理后的视频图像信息输入关键帧选取网络；
步骤2：初始帧必然选为关键帧，第二帧设定为参考帧，参考帧的后续帧为待测帧；
步骤3：将待测帧与参考帧逐帧对比选取相似度低于β的帧为关键帧，反馈关键帧帧数，将关键帧后续的一帧作为新的参考帧，参考帧的后续帧为待测帧，重复前述的对比方法继续选取关键帧；
步骤4：选取的关键帧输入到提取高维特征卷积神经网络中；
步骤5：建立关键帧高维特征向量数据库Data(H)。
4.根据权利要求3所述的关键帧选取算法，其特征在于，所述建立关键帧高维特征向量数据库，包括以下步骤：
步骤1：将关键帧输入到提取高维特征向量卷积神经网络中，得到关键帧高维特征向量；
步骤2：对关键帧高维特征向量进行存储，建立关键帧高维特征向量数据库Data(H)。
5.根据权利要求1所述的一种智能机器人回环检测方法，其特征在于，所述建立全部帧低维特征向量数据库，包括以下步骤：
步骤1：将全部预处理后的图像输入到提取低维特征向量卷积神经网络中，得到所有帧的低维特征向量；
步骤2：对所有帧低维特征向量进行存储，建立所有帧低维特征向量数据库Data(L)。
6.根据权利要求1所述的一种智能机器人回环检测方法，其特征在于，所述确定可能存在回环帧数范围的结果对比参数α预设为0.8。
7.根据权利要求3所述的关键帧选取算法，其特征在于，所述关键帧选取算法中β预设为0.6。
8.根据权利要求1所述的一种智能机器人回环检测方法，其特征在于，所述置信参数预设阈值γ为0.95。
CN202110306148.8A 2021-03-25 2021-03-25 一种智能机器人回环检测方法 Pending CN112950676A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110306148.8A CN112950676A (zh) 2021-03-25 2021-03-25 一种智能机器人回环检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110306148.8A CN112950676A (zh) 2021-03-25 2021-03-25 一种智能机器人回环检测方法

Publications (1)

Publication Number Publication Date
CN112950676A true CN112950676A (zh) 2021-06-11

Family

ID=76227578

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110306148.8A Pending CN112950676A (zh) 2021-03-25 2021-03-25 一种智能机器人回环检测方法

Country Status (1)

Country Link
CN (1) CN112950676A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103440668A (zh) * 2013-08-30 2013-12-11 中国科学院信息工程研究所 一种在线视频目标跟踪方法和装置
CN108108764A (zh) * 2017-12-26 2018-06-01 东南大学 一种基于随机森林的视觉slam回环检测方法
CN108921872A (zh) * 2018-05-15 2018-11-30 南京理工大学 一种适用于长程跟踪的鲁棒性视觉目标跟踪方法
CN112084353A (zh) * 2020-09-20 2020-12-15 南京晓庄学院 一种快速陆标-卷积特征匹配的词袋模型方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103440668A (zh) * 2013-08-30 2013-12-11 中国科学院信息工程研究所 一种在线视频目标跟踪方法和装置
CN108108764A (zh) * 2017-12-26 2018-06-01 东南大学 一种基于随机森林的视觉slam回环检测方法
CN108921872A (zh) * 2018-05-15 2018-11-30 南京理工大学 一种适用于长程跟踪的鲁棒性视觉目标跟踪方法
CN112084353A (zh) * 2020-09-20 2020-12-15 南京晓庄学院 一种快速陆标-卷积特征匹配的词袋模型方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HONGYANG LI 等: "A loop closure detection method based on semantic segmentation and convolutional neural network", 《2021 INTERNATIONAL CONFERENCE ON ARTIFICIAL INTELLIGENCE AND ELECTROMECHANICAL AUTOMATION》 *
杜妍彦 等: "基于移动机器人的RGB-D SLAM算法研究", 《长春理工大学学报(自然科学版)》 *

Similar Documents

Publication Publication Date Title
Han et al. The use of maximum curvature points for the recognition of partially occluded objects
JP5025893B2 (ja) 情報処理装置および方法、記録媒体、並びにプログラム
KR101183391B1 (ko) 메트릭 임베딩에 의한 이미지 비교
CN110929848B (zh) 基于多挑战感知学习模型的训练、跟踪方法
CN110991321B (zh) 一种基于标签更正与加权特征融合的视频行人再识别方法
CN113361645B (zh) 基于元学习及知识记忆的目标检测模型构建方法及***
CN109389156B (zh) 一种图像定位模型的训练方法、装置及图像定位方法
CN111178261B (zh) 一种基于视频编码技术的人脸检测加速方法
EP3012781A1 (en) Method and apparatus for extracting feature correspondences from multiple images
CN114677323A (zh) 一种室内动态场景下基于目标检测的语义视觉slam定位方法
CN113033555B (zh) 基于度量学习的视觉slam闭环检测方法
CN112507778B (zh) 一种基于线特征的改进词袋模型的回环检测方法
CN111275702B (zh) 一种基于卷积神经网络的回环检测方法
CN116266387A (zh) 基于重参数化残差结构和坐标注意力机制的yolov4的图像识别算法及***
CN117541652A (zh) 一种基于深度lk光流法与d-prosac采样策略的动态slam方法
CN112836611A (zh) 确定身体部位语义图、模型训练和行人重识别方法及设备
CN116824330A (zh) 一种基于深度学习的小样本跨域目标检测方法
CN112950676A (zh) 一种智能机器人回环检测方法
Altundogan et al. Multiple object tracking with dynamic fuzzy cognitive maps using deep learning
CN112258575B (zh) 一种同步定位和地图构建中物体的快速识别方法
CN114463334A (zh) 一种基于语义分割的内腔视觉slam方法
CN109598207B (zh) 一种基于卷积神经网络的快速人眼跟踪方法
Sujatha et al. An innovative moving object detection and tracking system by using modified region growing algorithm
KR20070097636A (ko) 조명 변화에 강인한 얼굴 검출 방법
Wang et al. A novel end-to-end visual odometry framework based on deep neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210611