CN114581875A - 一种封闭场景下slam自主导航识别方法 - Google Patents

一种封闭场景下slam自主导航识别方法 Download PDF

Info

Publication number
CN114581875A
CN114581875A CN202210262631.5A CN202210262631A CN114581875A CN 114581875 A CN114581875 A CN 114581875A CN 202210262631 A CN202210262631 A CN 202210262631A CN 114581875 A CN114581875 A CN 114581875A
Authority
CN
China
Prior art keywords
slam
cluster
feature
camera
identification method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210262631.5A
Other languages
English (en)
Inventor
高文飞
王磊
王辉
王瑞雪
郭丽丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Rongling Technology Group Co ltd
Original Assignee
Shandong Rongling Technology Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Rongling Technology Group Co ltd filed Critical Shandong Rongling Technology Group Co ltd
Priority to CN202210262631.5A priority Critical patent/CN114581875A/zh
Publication of CN114581875A publication Critical patent/CN114581875A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于图像处理技术领域，具体涉及一种封闭场景下SLAM自主导航识别方法，所述方法的数据关联中SLAM数据关联模块对不同帧之中图像的共同特征进行追踪，通过帧与帧之间的相关性聚类来实现相同特征匹配，进而判断自主机器人的移动情况；相比现有技术，(1)聚类匹配相比于现有SLAM中数据关联方法具有更强的实用性，聚类匹配的效果并不会被各种复杂的场景影响；(2)K‑means聚类算法计算简单，能够嵌入到多种***中进行特征匹配，非常适合动态环境下的视觉SLAM。

Description

一种封闭场景下SLAM自主导航识别方法
技术领域
本发明属于图像处理技术领域，具体涉及一种封闭场景下SLAM自主导航识别方法。
背景技术
视觉同步定位与建图(Simultaneous Localization and Mapping，SLAM)是指在没有先验信息的情况下，利用搭载在机器人上的视觉传感器感知周围环境，在运动过程中建立环境模型，同时估计自身定位的技术。
目前的视觉SLAM方法通常是基于静态假设，即在整个视觉SLAM过程中，默认环境中的物体处于静止状态。但实际应用环境大多数为动态环境，存在动态物体，例如行走的人、行驶的汽车等，这些动态物体影响建图的准确性。
发明内容
本发明针对上述目前的视觉SLAM方法通常是基于静态假设的问题，提供了一种封闭场景下SLAM自主导航识别方法。
为了达到上述目的，本发明采用的技术方案为：一种封闭场景下SLAM自主导航识别方法，包括以下步骤：
步骤一外部环境数据获取，自主机器人通过自身的相机获取外部环境数据；
步骤二特征检测，将获取的外部环境数据输入到SLAM特征提取模块中，SLAM特征提取模块中利用Vision transformer模型实现对外部环境中各物体的语义检测，同时提取各物体的特征；
步骤三数据关联，SLAM数据关联模块对不同帧之中图像的共同特征进行追踪，通过帧与帧之间的相关性聚类来实现相同特征匹配，进而判断物体的移动情况；
步骤四回环检测：SLAM回环检测模块判断自主机器人的运动轨迹是否形成了一个回环；如果检测到发生回环，将回环信息提供给后端优化模块进行处理；
步骤五后端优化和建图：后端优化模块不停地接收相机拍摄的图像并计算相邻帧的相机位姿以及接收回环信息，优化数据关联中产生的累积误差，同时生成全局的运动轨迹和周围环境的感知地图。
作为优选，封闭场景下物体数目固定，所述步骤二特征检测中相机拍摄的每一帧中的特征向量数量固定并记为m个，每一帧中的m个特征向量记为{f1，f2，...，fm}。
作为优选，所述步骤三数据关联中，将n帧中的m个特征，共n*m个特征向量一起输入到K-means聚类算法中进行迭代计算，计算结果将相同特征向量归入同一簇，将不相同特征向量归到相应簇，实现相同特征匹配，从而自主机器人在移动状态下准确识别封闭环境内的各物体，进而判断自身的移动情况。
作为优选，所述K-means的迭代计算过程如下：
(1)设定簇值k，选取k个簇中心并且初始化，记为η1，η2，...，ηk；
(2)定义其损失函数J(k，η)为各个特征向量距离所属簇中心点的平方误差和：
Figure BDA0003551127310000021
其中k为封闭环境中物体的数量；i为计数变量；fi表示n*m个特征向量中的第i个特征向量，ki表示fi所属的簇，
Figure BDA0003551127310000022
表示簇对应的中心点；
(3)对每一个特征向量fi，将其分配到最近的簇；
Figure BDA0003551127310000023
arg min表示使目标函数取最小值时的变量值；
(4)对每一个簇ki，重新计算该簇的中心
Figure BDA0003551127310000024
Figure BDA0003551127310000025
(5)设置迭代步数，重复(3)和(4)直到收敛；输出最终的簇中心和k个聚类划分。
作为优选，步骤一中所述相机包括单目相机、双目相机和RGB-D相机的一种或组合；所述自主机器人还带有激光测距单元。
作为优选，所述步骤二特征检测中还定位各个物体在每一帧中的位置信息。
与现有技术相比，本发明的优点和积极效果在于：
(1)本发明的封闭场景下SLAM自主导航识别方法通过帧与帧之间的相关性聚类来实现相同特征匹配，进而判断物体的移动情况；聚类匹配相比于现有SLAM中数据关联方法具有更强的实用性，聚类匹配的效果并不会被各种复杂的场景影响；
(2)步骤三数据关联中，将n帧中的m个特征，共n*m个特征向量一起输入到K-means聚类算法中进行迭代计算，计算结果将相同特征向量归入同一簇，将不相同特征向量归到相应簇，实现相同特征匹配，进而判断物体的移动情况；计算简单，能够嵌入到多种***中进行特征匹配，非常适合动态环境下的视觉SLAM。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，图1为实施例1提供的封闭场景下SLAM自主导航识别方法的示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和实施例对本发明做进一步说明。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用不同于在此描述的其他方式来实施，因此，本发明并不限于下面公开说明书的具体实施例的限制。
实施例1
下面结合附图1对本发明作进一步的描述，一种封闭场景下SLAM自主导航识别方法，包括以下步骤：
步骤一外部环境数据获取，自主机器人通过自身的相机获取外部环境数据；
步骤二特征检测，将获取的外部环境数据输入到SLAM特征提取模块中，SLAM特征提取模块中利用Vision transformer模型实现对外部环境中各物体的语义检测，同时提取各物体的特征；
步骤三数据关联，SLAM数据关联模块对不同帧之中图像的共同特征进行追踪，通过帧与帧之间的相关性聚类来实现相同特征匹配，进而判断物体的移动情况；对于匹配成功的特征，自主机器人的控制器通过自主机器人与特征之间的距离来更正当前所处位置。同时，对于不同帧中的同一个特征(处于周围环境中)，自主机器人的控制器计算前后与其距离差值，来判断自主机器人的实时运动状态；
步骤四回环检测：SLAM回环检测模块判断自主机器人的运动轨迹是否形成了一个回环(自主机器人到某一物体的距离与上一次相同时)；如果检测到发生回环，将回环信息提供给后端优化模块进行处理；
步骤五后端优化和建图：后端优化模块不停地接收相机拍摄的图像并计算相邻帧的相机位姿(利用SLAM中的视觉里程计模块)以及接收回环信息，优化数据关联中产生的累积误差，同时生成全局的运动轨迹和周围环境的感知地图。
自主机器人是其本体自带各种必要的传感器、控制器和测距单元(本实施例中为激光测距单元)，在运行过程中无外界人为信息输入和控制的条件下，可以独立完成一定的任务的机器人。
各物体的语义检测是检测出图像中各物体的具体内容，比如给出一个人骑摩托车的照片，语义检测后应当区分出人和摩托车。
利用Vision transformer模型实现对外部环境中各物体的语义检测，同时提取各物体的特征：Vision Transformer(ViT)将纯Transformer架构直接应用到一系列图像块上进行分类任务，可以取得优异的结果。它在许多图像分类任务上也优于最先进的卷积网络，同时所需的预训练计算资源大大减少(至少减少了4倍)。
封闭场景下物体数目固定(本实施例中为10个)，所述步骤二特征检测中相机拍摄的每一帧中的特征向量数量固定并设为m个，每一帧中的m个特征向量记为{f1，f2，...，fm}。
所述步骤三数据关联中，将n帧中的m个特征，共n*m个特征向量一起输入到K-means聚类算法中进行迭代计算，计算结果将相同特征向量归入同一簇，将不相同特征向量归到相应簇，实现相同特征匹配，进而判断物体的移动情况。
所述K-means的迭代计算过程如下：
(1)设定簇值k＝10，选取k个簇中心并且初始化，记为η1，η2，...，ηk；
(2)定义其损失函数J(k，η)为各个特征向量距离所属簇中心点的平方误差和：
Figure BDA0003551127310000051
其中k为封闭环境中物体的数量；i为计数变量；fi表示n*m个特征向量中的第i个特征向量，ki表示fi所属的簇，
Figure BDA0003551127310000052
表示簇对应的中心点；
(3)对每一个特征向量fi，将其分配到最近的簇；将特征向量按照最小距离(到某簇中心点距离最小)原则进行聚类；
Figure BDA0003551127310000053
arg min表示使目标函数取最小值时的变量值；
(4)对每一个簇ki，重新计算该簇的中心
Figure BDA0003551127310000054
使用K个聚类的样本均值迭代更新
Figure BDA0003551127310000055
Figure BDA0003551127310000056
(5)设置迭代步数，重复(3)和(4)直到收敛；输出最终的簇中心和k个聚类划分。
步骤一中所述相机包括单目相机、双目相机和RGB-D相机的一种或组合。
所述步骤二特征检测中还定位各个物体在每一帧中的位置信息。
L(xi)：＝(a1，b1；w1，h1)，(a2，b2；w2，h2)，...，(am，bm；wm，hm)，
a与b分别表示特征fi在该图片中左上侧点的物理位置，w和h表示特征fi的长和宽。
实施例2
本实施例与实施例1的区别是：设定簇值k＝100。
以上，仅是本发明的较佳实施例而已，并非是对本发明作其他形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例应用于其他领域，但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，仍属于本发明技术方案的保护范围。

Claims (6)

1.一种封闭场景下SLAM自主导航识别方法，其特征在于：包括以下步骤：
步骤一外部环境数据获取，自主机器人通过自身的相机获取外部环境数据；
步骤二特征检测，将获取的外部环境数据输入到SLAM特征提取模块中，SLAM特征提取模块中利用Vision transformer模型实现对外部环境中各物体的语义检测，同时提取各物体的特征；
步骤三数据关联，SLAM数据关联模块对不同帧之中图像的共同特征进行追踪，通过帧与帧之间的相关性聚类来实现相同特征匹配，进而判断物体的移动情况；
步骤四回环检测：SLAM回环检测模块判断自主机器人的运动轨迹是否形成了一个回环；如果检测到发生回环，将回环信息提供给后端优化模块进行处理；
步骤五后端优化和建图：后端优化模块不停地接收相机拍摄的图像并计算相邻帧的相机位姿以及接收回环信息，优化数据关联中产生的累积误差，同时生成全局的运动轨迹和周围环境的感知地图。
2.根据权利要求1所述的封闭场景下SLAM自主导航识别方法，其特征在于：封闭场景下物体数目固定，所述步骤二特征检测中相机拍摄的每一帧中的特征向量数量固定并记为m个，每一帧中的m个特征向量记为{f1，f2，...，fm}。
3.根据权利要求2所述的封闭场景下SLAM自主导航识别方法，其特征在于：所述步骤三数据关联中，将n帧中的m个特征，共n*m个特征向量一起输入到K-means聚类算法中进行迭代计算，计算结果将相同特征向量归入同一簇，将不相同特征向量归到相应簇，实现相同特征匹配，从而自主机器人在移动状态下准确识别封闭环境内的各物体，进而判断自身的移动情况。
4.根据权利要求3所述的封闭场景下SLAM自主导航识别方法，其特征在于：所述K-means聚类算法中的迭代计算过程如下：
(1)设定簇值k，选取k个簇中心并且初始化，记为η1，η2，...，ηk；k为封闭环境中物体的数量；
(2)定义其损失函数J(k，η)为各个特征向量距离所属簇中心点的平方误差和：
Figure FDA0003551127300000021
其中i为计数变量；fi表示n*m个特征向量中的第i个特征向量，ki表示fi所属的簇，
Figure FDA0003551127300000022
表示簇对应的中心点；
(3)对每一个特征向量fi，将其分配到最近的簇；
Figure FDA0003551127300000023
arg min表示使目标函数取最小值时的变量值；
(4)对每一个簇ki，重新计算该簇的中心
Figure FDA0003551127300000024
Figure FDA0003551127300000025
(5)设置迭代步数，重复(3)和(4)直到收敛；输出最终的簇中心和k个聚类划分。
5.根据权利要求1所述的封闭场景下SLAM自主导航识别方法，其特征在于：步骤一中所述相机包括单目相机、双目相机和RGB-D相机的一种或组合；所述自主机器人还带有激光测距单元。
6.根据权利要求1所述的封闭场景下SLAM自主导航识别方法，其特征在于：所述步骤二特征检测中还定位各个物体在每一帧中的位置信息。
CN202210262631.5A 2022-03-17 2022-03-17 一种封闭场景下slam自主导航识别方法 Pending CN114581875A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210262631.5A CN114581875A (zh) 2022-03-17 2022-03-17 一种封闭场景下slam自主导航识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210262631.5A CN114581875A (zh) 2022-03-17 2022-03-17 一种封闭场景下slam自主导航识别方法

Publications (1)

Publication Number Publication Date
CN114581875A true CN114581875A (zh) 2022-06-03

Family

ID=81779577

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210262631.5A Pending CN114581875A (zh) 2022-03-17 2022-03-17 一种封闭场景下slam自主导航识别方法

Country Status (1)

Country Link
CN (1) CN114581875A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115146191A (zh) * 2022-07-21 2022-10-04 北京天防安全科技有限公司 基于ai进行视频监控资产识别的方法、装置及电子设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115146191A (zh) * 2022-07-21 2022-10-04 北京天防安全科技有限公司 基于ai进行视频监控资产识别的方法、装置及电子设备

Similar Documents

Publication Publication Date Title
CN107833236B (zh) 一种动态环境下结合语义的视觉定位***和方法
CN108154118B (zh) 一种基于自适应组合滤波与多级检测的目标探测***及方法
Hausler et al. Multi-process fusion: Visual place recognition using multiple image processing methods
CN109426782B (zh) 对象检测方法和用于对象检测的神经网络***
CN109443382B (zh) 基于特征提取与降维神经网络的视觉slam闭环检测方法
Nedevschi et al. Stereo-based pedestrian detection for collision-avoidance applications
CN109341703B (zh) 一种全周期采用CNNs特征检测的视觉SLAM算法
Munoz et al. Depth-aware indoor staircase detection and recognition for the visually impaired
CN110717411A (zh) 一种基于深层特征融合的行人重识别方法
CN110717927A (zh) 基于深度学习和视惯融合的室内机器人运动估计方法
KR20160096460A (ko) 복수의 분류기를 포함하는 딥 러닝 기반 인식 시스템 및 그 제어 방법
Kaâniche et al. Recognizing gestures by learning local motion signatures of HOG descriptors
CN110765906A (zh) 一种基于关键点的行人检测算法
CN110781790A (zh) 基于卷积神经网络与vlad的视觉slam闭环检测方法
JP2009026314A (ja) 複数の外見モデルを用いた多姿勢顔追跡
CN114240997B (zh) 一种智慧楼宇在线跨摄像头多目标追踪方法
GB2481894A (en) Landmark localisation for facial images using classifiers
CN113674416A (zh) 三维地图的构建方法、装置、电子设备及存储介质
JP4860289B2 (ja) ロボット装置
CN112989889A (zh) 一种基于姿态指导的步态识别方法
Hwang et al. Interactions between specific human and omnidirectional mobile robot using deep learning approach: SSD-FN-KCF
CN114581875A (zh) 一种封闭场景下slam自主导航识别方法
CN113781563A (zh) 一种基于深度学习的移动机器人回环检测方法
CN111626417B (zh) 一种基于无监督深度学习的闭环检测方法
Macesanu et al. A time-delay control approach for a stereo vision based human-machine interaction system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination