CN110880010A - 基于卷积神经网络的视觉slam闭环检测算法 - Google Patents
基于卷积神经网络的视觉slam闭环检测算法 Download PDFInfo
- Publication number
- CN110880010A CN110880010A CN201910605055.8A CN201910605055A CN110880010A CN 110880010 A CN110880010 A CN 110880010A CN 201910605055 A CN201910605055 A CN 201910605055A CN 110880010 A CN110880010 A CN 110880010A
- Authority
- CN
- China
- Prior art keywords
- matrix
- neural network
- convolutional neural
- loop detection
- closed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于卷积神经网络的视觉SLAM闭环检测算法,属于机器人和深度学习领域。本发明所述算法利用卷积神经网络预训练模型提取图像特征,其最后的全连接层输出作为提取的图像特征向量。然后使用ZCA白化方法对高维图像特征向量进行降维处理并白化,利用中值滤波消除相似矩阵中存在的椒盐噪声。最后通过定义的相似矩阵计算图像相似值得分判断是否发生闭环。本发明所述方法可以判断是否发生闭环检测,减少定位算法的累积误差,在光照变化剧烈、复杂场景下仍具有很好的鲁棒性,解决了传统闭环检测方法手工提取特征成本高、鲁棒性低等问题,提高了闭环检测的效率。
Description
技术领域
本发明属于机器人和深度学习领域,具体涉及一种基于卷积神经网络的视觉SLAM闭环检测算法。
背景技术
随着人工智能的发展,移动机器人成为了一个重要的研究领域。移动机器人要实现自主导航任务,需要进行建图、定位与路径规划等操作,同时定位与地图构建SLAM是其中最重要最基础的一环,被广泛应用于室内机器人、水下机器人、太空机器人等导航定位。根据所用的传感器不同,主要分为激光SLAM和视觉SLAM。由于相机成本低、拍摄的图像信息丰富,随着计算机视觉的发展,视觉SLAM越来越多的被广泛应用。闭环检测是指机器人通过相机等传感器判断是否之前经过这个地方,用来消除累积误差,是SLAM重要的一个环节。在传统方法上,词袋模型BoW被广泛用于视觉SLAM的闭环检测。其检测主要有三个步骤:首先,使用SIFT或ORB算法从不同类的图像中提取视觉词汇向量,这些向量表示图像中的局部不变特征点;其次,使用k-means算法将视觉词汇与相似的词义结合起来,并构建一个包含K个词汇的词列表;最后,计算单词列表中每个单词出现在图像中的次数,以便用K维数字向量表示图像。传统的闭环检测方法通过人工设计的稀疏特征进行匹配,容易造成特征丢失,检测闭环不准确,鲁棒性低。
近年来,随着深度学***,更能适应于场景多变等复杂场景,从而提高闭环检测鲁棒性。
发明内容
本发明的目的是解决现有的视觉SLAM闭环检测传统算法效率低,需要手工提取特征,容易造成图像特征丢失,难以适应复杂场景,提供一种基于卷积神经网络的视觉SLAM闭环检测算法。
本发明所提出的技术问题是这样解决的:
一种基于卷积神经网络的视觉SLAM闭环检测算法,包括以下步骤:
步骤2.利用ZCA白化将提取的高维度特征向量X进行降维和冗余白化处理,以提高处理效率及降低成本;
步骤2的具体步骤为:
步骤2-1.对卷积神经网络模型提取的图像特征向量X进行L2正则化处理,如下面公式(1)所示;
步骤2-2.计算获得n个归一化特征向量X(I)后,组成得到相应矩阵M表示图像特征,矩阵维度为n×d,如公式(2);
步骤2-5.利用公式cov=MTM计算得到协方差矩阵cov;
步骤2-6.求出协方差矩阵值cov后,基于奇异分解的方法,对其进行SVD分解,计算得到向量U;
步骤4.利用公式Si,j=1-Di,j/max(Di,j),其中max(Di,j)表示取Di,j的最大值,从而计算得到相似矩阵,计算得到的值大小在[0,1]范围内,并使用中值滤波去除相似矩阵中的椒盐噪声;
步骤5.利用步骤4计算得到的相似矩阵值判断是否发生闭环,值越大表示相邻图像之间的相似程度越高,根据相似矩阵值,大于设定的阈值∈时表示检测结果为发生闭环。并计算精确率(precision)及召回率(recall),从而绘制出P-R曲线评估闭环检测算法。
本发明的有益效果是:本发明所述方法通过深度学习的方法解决了传统闭环检测算法需要手工提取特征、鲁棒性低等问题。卷积神经网络预训练模型提取的特征,在光照变化不理想条件情况下,都能取得较好的效果。此外,使用ZCA白化对特征向量进行降维处理,再通过相似矩阵得分判断是否发生闭环。并且通过对卷积网络和真实闭环得到的相似矩阵进行对比,计算得出闭环检测的精确率和召回率并绘制P-R曲线评估视觉SLAM算法。本发明方法在闭环检测具有很好的鲁棒性和迁移性。
附图说明
下面结合附图和具体实施方式对本发明方法做更进一步的说明,本发明的上述或其他方面的优点将会变得更加清楚。
图1为本发明所述基于卷积神经网络的视觉SLAM闭环检测算法流程图;
图2为本发明中ResNet50和Ground Truth可视化相似矩阵对比图;
图3为本发明中ResNet101和Ground Truth可视化相似矩阵对比图;
图4为本发明中ResNet152和Ground Truth可视化相似矩阵对比图;
图5为本发明中Inceptionv4和Ground Truth可视化相似矩阵对比图;
图6为本发明中ResNet50可视化相似矩阵结果图;
图7为本发明中Inceptionv1可视化相似矩阵结果图;
图8为本发明中Inceptionv4可视化相似矩阵结果图;
图9为本发明中5个神经网络预训练模型在City Centre数据集中P-R曲线对比图;
图10为本发明中5个神经网络预训练模型在New College数据集中P-R曲线对比图。
具体实施方式
下面结合附图和实施例对本发明进行进一步的说明。
本实施例提供一种基于卷积神经网络的视觉SLAM闭环检测算法,如图1所示,本发明方法所构建的视觉SLAM工作流程大致分为两个阶段:第一阶段,使用卷积神经网络预训练模型提取特征,并使用ZCA白化进行降维冗余处理;第二阶段,计算相似矩阵,判断是否发生闭环。本发明对目前四种常用卷积神经网络预训练模型(ResNet50,ResNet101,ResNet152和Inception-v4)进行了多次实验对比,最终验证了本发明提出的基于卷积神经网络的视觉SLAM闭环检测算法可以用于闭环检测,而且相比现有的算法,鲁棒性更高。算法流程图如图1所示,包括以下步骤:
步骤1.首先利用卷积神经网络CNN预训练模型(ResNet50,ResNet101,ResNet152和Inception-v4)处理采集的图像,最后的全连接层输出作为提取的图像特征向量,用表示输入第I张图像得到的d维特征向量,d的大小根据卷积神经网络全连接层的维数决定,以模型ResNet进行视觉SLAM闭环检测算法实验为例,其d的大小等于4096;
步骤2.利用ZCA白化将提取的高维度特征向量X(I)进行降维和冗余白化处理,以提高处理效率及降低成本;
步骤2的具体步骤为:
步骤2-1.根据公式(1),对卷积神经网络模型最后全连接层提取的4096维图像特征向量进行L2正则化处理,得到(x1,...,xd)=[10.569155 7.9324036...11.337387];
步骤2-5.利用公式cov=MTM计算得到协方差矩阵cov;
步骤2-6求出协方差矩阵cov后,基于奇异分解的方法,对其进行SVD分解,计算得到向量U;
步骤3.设定D是图像和图像之间所有差异的集合。利用欧氏距离和L2范数计算得到图像I和J之间的距离Di,j;
步骤4.利用公式Si,j=1-Di,j/max(Di,j),其中max(Di,j)表示取Di,j的最大值,从而计算得到相似矩阵,并使用中值滤波去除相似矩阵中的椒盐噪声,其计算得到的值大小在[0,1]范围内,颜色越深表明相似矩阵值越大,大小越接近于1,见图2至图8所示;
步骤5.利用步骤4计算得到的相似矩阵值判断是否发生闭环,值越大表示相邻图像之间的相似程度越高,根据相似矩阵值,大于设定的阈值∈时表示检测结果为发生闭环。对得到的相似矩阵制进行二值化处理,计算得到精确率和召回率及P-R曲线图,评估闭环检测算法的适用性。在City Centre和New College公开数据计算得到的P-R曲线如图9和图10所示。
在完成以上步骤后,得到了本发明提出的相似矩阵判断是否发生闭环检测,可视化相似矩阵如图2至图8所示,图中对角线颜色最深,表明发生了闭环检测。同时绘制得到的P-R曲线图,如图2至图10所示,评估了本发明卷积神经网络视觉SLAM闭环检测算法,图中精确率和召回率走势表明本发明卷积神经网络适用于视觉SLAM闭环检测。
本发明提供了一种基于卷积神经网络的视觉SLAM闭环检测算法,具体实现该技术方案的方法和途径很多,以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的技术人员来说,这里所述的实施例是为了帮助读者理解本发明的原理,应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合,这些变形和组合仍然在本发明的保护范围内。
Claims (1)
1.一种基于卷积神经网络的视觉SLAM闭环检测算法,其特征在于,包括以下步骤:
步骤2.利用ZCA白化将提取的高维度特征向量X(I)进行降维和冗余白化处理,以提高处理效率及降低成本;
步骤2的具体步骤为:
步骤2-1.对卷积神经网络模型提取的图像特征向量X进行L2正则化处理,如下面公式(1)所示;
步骤2-2.计算获得n个归一化特征向量X(I)后,组成得到相应矩阵M表示图像特征,矩阵维度为n×d,如公式(2);
步骤2-5.利用公式cov=MTM计算得到协方差矩阵cov;
步骤2-6.求出协方差矩阵cov后,基于奇异分解的方法,对其进行SVD分解,计算得到向量U;
步骤4.利用公式Si,j=1-Di,j/max(Di,j),其中max(Di,j)表示取Di,j的最大值,从而计算得到相似矩阵,计算得到的值大小在[0,1]范围内,并使用中值滤波去除相似矩阵中的椒盐噪声;
步骤5.利用步骤4计算得到的相似矩阵值判断是否发生闭环,值越大表示相邻图像之间的相似程度越高,根据相似矩阵值,大于设定的阈值∈时表示检测结果为发生闭环。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910605055.8A CN110880010A (zh) | 2019-07-05 | 2019-07-05 | 基于卷积神经网络的视觉slam闭环检测算法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910605055.8A CN110880010A (zh) | 2019-07-05 | 2019-07-05 | 基于卷积神经网络的视觉slam闭环检测算法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110880010A true CN110880010A (zh) | 2020-03-13 |
Family
ID=69727491
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910605055.8A Pending CN110880010A (zh) | 2019-07-05 | 2019-07-05 | 基于卷积神经网络的视觉slam闭环检测算法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110880010A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111582447A (zh) * | 2020-04-30 | 2020-08-25 | 电子科技大学 | 基于多种网络特征的闭环检测方法 |
CN112085026A (zh) * | 2020-08-26 | 2020-12-15 | 的卢技术有限公司 | 一种基于深度神经网络语义分割的闭环检测方法 |
CN112766305A (zh) * | 2020-12-25 | 2021-05-07 | 电子科技大学 | 一种基于端到端度量网络的视觉slam闭环检测方法 |
CN112862837A (zh) * | 2021-01-27 | 2021-05-28 | 南京信息工程大学 | 一种基于卷积神经网络的图像处理方法和*** |
CN113780102A (zh) * | 2021-08-23 | 2021-12-10 | 广州密码营地科技有限公司 | 智能机器人视觉slam闭环检测方法、装置及存储介质 |
CN117522091A (zh) * | 2024-01-08 | 2024-02-06 | 国网四川省电力公司电力科学研究院 | 震后电力设备应急抢修的智能调度***及方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103745236A (zh) * | 2013-12-20 | 2014-04-23 | 清华大学 | 纹理图像识别方法以及纹理图像识别装置 |
CN104408469A (zh) * | 2014-11-28 | 2015-03-11 | 武汉大学 | 基于图像深度学习的烟火识别方法及*** |
CN105608425A (zh) * | 2015-12-17 | 2016-05-25 | 小米科技有限责任公司 | 对照片进行分类存储的方法及装置 |
CN107145903A (zh) * | 2017-04-28 | 2017-09-08 | 武汉理工大学 | 一种基于卷积神经网络图片特征提取的船舶类型识别方法 |
CN109325979A (zh) * | 2018-07-20 | 2019-02-12 | 上海理工大学 | 基于深度学习的机器人回环检测方法 |
CN109443382A (zh) * | 2018-10-22 | 2019-03-08 | 北京工业大学 | 基于特征提取与降维神经网络的视觉slam闭环检测方法 |
CN109614459A (zh) * | 2019-03-06 | 2019-04-12 | 上海思岚科技有限公司 | 应用于二维激光的地图构建回环检测方法及设备 |
CN109711365A (zh) * | 2018-12-29 | 2019-05-03 | 佛山科学技术学院 | 一种融合语义信息的视觉slam回环检测方法及装置 |
CN109800692A (zh) * | 2019-01-07 | 2019-05-24 | 重庆邮电大学 | 一种基于预训练卷积神经网络的视觉slam回环检测方法 |
-
2019
- 2019-07-05 CN CN201910605055.8A patent/CN110880010A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103745236A (zh) * | 2013-12-20 | 2014-04-23 | 清华大学 | 纹理图像识别方法以及纹理图像识别装置 |
CN104408469A (zh) * | 2014-11-28 | 2015-03-11 | 武汉大学 | 基于图像深度学习的烟火识别方法及*** |
CN105608425A (zh) * | 2015-12-17 | 2016-05-25 | 小米科技有限责任公司 | 对照片进行分类存储的方法及装置 |
CN107145903A (zh) * | 2017-04-28 | 2017-09-08 | 武汉理工大学 | 一种基于卷积神经网络图片特征提取的船舶类型识别方法 |
CN109325979A (zh) * | 2018-07-20 | 2019-02-12 | 上海理工大学 | 基于深度学习的机器人回环检测方法 |
CN109443382A (zh) * | 2018-10-22 | 2019-03-08 | 北京工业大学 | 基于特征提取与降维神经网络的视觉slam闭环检测方法 |
CN109711365A (zh) * | 2018-12-29 | 2019-05-03 | 佛山科学技术学院 | 一种融合语义信息的视觉slam回环检测方法及装置 |
CN109800692A (zh) * | 2019-01-07 | 2019-05-24 | 重庆邮电大学 | 一种基于预训练卷积神经网络的视觉slam回环检测方法 |
CN109614459A (zh) * | 2019-03-06 | 2019-04-12 | 上海思岚科技有限公司 | 应用于二维激光的地图构建回环检测方法及设备 |
Non-Patent Citations (2)
Title |
---|
TAYYAB NASEER,BENJAMINSUGER,MICHAEL RUHNKE ,WOLFRAM BURGARD: ""Vision-based Markov localization for long-term autonomy",Tayyab Naseer,BenjaminSuger,Michael Ruhnke", 《ROBOTICS AND AUTONOMOUS SYSTEMS》 * |
刘强,段富海,桑勇,赵健龙: "复杂环境子啊视觉SLAM闭环检测方法综述", 《机器人》 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111582447A (zh) * | 2020-04-30 | 2020-08-25 | 电子科技大学 | 基于多种网络特征的闭环检测方法 |
CN112085026A (zh) * | 2020-08-26 | 2020-12-15 | 的卢技术有限公司 | 一种基于深度神经网络语义分割的闭环检测方法 |
CN112766305A (zh) * | 2020-12-25 | 2021-05-07 | 电子科技大学 | 一种基于端到端度量网络的视觉slam闭环检测方法 |
CN112766305B (zh) * | 2020-12-25 | 2022-04-22 | 电子科技大学 | 一种基于端到端度量网络的视觉slam闭环检测方法 |
CN112862837A (zh) * | 2021-01-27 | 2021-05-28 | 南京信息工程大学 | 一种基于卷积神经网络的图像处理方法和*** |
CN112862837B (zh) * | 2021-01-27 | 2023-06-23 | 南京信息工程大学 | 一种基于卷积神经网络的图像处理方法和*** |
CN113780102A (zh) * | 2021-08-23 | 2021-12-10 | 广州密码营地科技有限公司 | 智能机器人视觉slam闭环检测方法、装置及存储介质 |
CN113780102B (zh) * | 2021-08-23 | 2024-05-03 | 广州密码营地科技有限公司 | 智能机器人视觉slam闭环检测方法、装置及存储介质 |
CN117522091A (zh) * | 2024-01-08 | 2024-02-06 | 国网四川省电力公司电力科学研究院 | 震后电力设备应急抢修的智能调度***及方法 |
CN117522091B (zh) * | 2024-01-08 | 2024-04-16 | 国网四川省电力公司电力科学研究院 | 震后电力设备应急抢修的智能调度***及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110880010A (zh) | 基于卷积神经网络的视觉slam闭环检测算法 | |
CN109522818B (zh) | 一种表情识别的方法、装置、终端设备及存储介质 | |
CN108615010B (zh) | 基于平行卷积神经网络特征图融合的人脸表情识别方法 | |
CN106951825B (zh) | 一种人脸图像质量评估***以及实现方法 | |
CN107203753B (zh) | 一种基于模糊神经网络和图模型推理的动作识别方法 | |
CN111680706B (zh) | 一种基于编码和解码结构的双通道输出轮廓检测方法 | |
CN108921019B (zh) | 一种基于GEI和TripletLoss-DenseNet的步态识别方法 | |
CN107578007A (zh) | 一种基于多特征融合的深度学习人脸识别方法 | |
CN107194418B (zh) | 一种基于对抗特征学习的水稻蚜虫检测方法 | |
CN110175649B (zh) | 一种关于重新检测的快速多尺度估计目标跟踪方法 | |
CN112800876B (zh) | 一种用于重识别的超球面特征嵌入方法及*** | |
CN110533024B (zh) | 基于多尺度roi特征的双二次池化细粒度图像分类方法 | |
CN112580590A (zh) | 一种基于多语义特征融合网络的指静脉识别方法 | |
CN110909618B (zh) | 一种宠物身份的识别方法及装置 | |
CN111401144A (zh) | 一种基于视频监控的手扶电梯乘客行为识别方法 | |
CN110097060B (zh) | 一种面向树干图像的开集识别方法 | |
CN107169117B (zh) | 一种基于自动编码器和dtw的手绘图人体运动检索方法 | |
CN110414541B (zh) | 用于识别物体的方法、设备和计算机可读存储介质 | |
CN111401145B (zh) | 一种基于深度学习与ds证据理论的可见光虹膜识别方法 | |
CN111709313B (zh) | 基于局部和通道组合特征的行人重识别方法 | |
CN107862680B (zh) | 一种基于相关滤波器的目标跟踪优化方法 | |
CN109543546B (zh) | 基于深度序分布回归的步态年龄估计方法 | |
CN109344720B (zh) | 一种基于自适应特征选择的情感状态检测方法 | |
CN109117795B (zh) | 基于图结构的神经网络表情识别方法 | |
CN112507778B (zh) | 一种基于线特征的改进词袋模型的回环检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200313 |
|
RJ01 | Rejection of invention patent application after publication |