CN111275702A - 一种基于卷积神经网络的回环检测方法 - Google Patents
一种基于卷积神经网络的回环检测方法 Download PDFInfo
- Publication number
- CN111275702A CN111275702A CN202010120637.XA CN202010120637A CN111275702A CN 111275702 A CN111275702 A CN 111275702A CN 202010120637 A CN202010120637 A CN 202010120637A CN 111275702 A CN111275702 A CN 111275702A
- Authority
- CN
- China
- Prior art keywords
- pca
- similarity
- neural network
- convolutional neural
- thr
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于卷积神经网络的回环检测方法,首先利用开源框架Tensorflow训练的Inception V3网络,对待检测的图片进行卷积处理和池化处理并提取神经网络输出的描述子向量;其次,利用主成分分析算法对高维的描述子向量进行降维处理,并利用欧氏距离计算描述子向量的相似度;最后设定描述子向量的相似度阈值,并绘制出准确率‑召回率曲线以验证回环检测算法性能。基于卷积神经网络的回环检测方法,克服了基于人工特征的回环检测方法准确率低、计算量大、实时性差的缺陷等问题。
Description
技术领域
本发明涉及一种基于卷积神经网络的回环检测方法,属于深度学习和SLAM技术领域。
背景技术
移动机器人在室内环境下根据视觉传感器数据在定位的同时构建地图,即视觉SLAM(Simultaneous Localization and Mapping,SLAM)技术,是实现移动机器人自主定位的关键。传统的视觉SLAM技术分为视觉里程计、后端优化、回环检测和地图构建等四个部分。回环检测作为视觉SLAM***中的重要一环,在降低累积误差、提高地图构建精度方面发挥着重要作用。因此,回环检测的算法性能将直接影响地图构建的准确性,错误的回环将导致整个地图构建失败。
回环检测的关键,在于识别出移动机器人曾经到达过的场景。基于外观的回环检测算法将机器人在当前位置获取到的图像与先前位置的图像进行比较,一旦图像间的相似度高于设定的阈值,即认为机器人又回到了曾经访问过的位置。因此,回环检测的实质是图像匹配问题。在当前比较成熟的视觉SLAM***中,一般采用词袋模型(Bag of Words,BoW)的方法实现回环检测。该方法通过提取特征点来描述图像特征,对各帧图像间的相似性进行计算。词袋模型方法虽然在开源SLAM框架中取得了不错的效果,但对场景外观变化十分敏感,存在计算量大、误匹配率高等问题,而且高度依赖于离线训练的单词数量。
近几年,深度学习理论和技术得到快速发展,在解决图像识别和分类问题上优势明显。基于卷积神经网络的回环检测方法,可提取到图像的高层特征信息,具有更强的鲁棒性,可以提高回环检测方法的准确率和召回率。
发明内容
技术问题:本发明提出一种基于卷积神经网络的回环检测方法,该方法可以有效解决传统回环检测方法误匹配率高和计算量大等问题。
技术方案:本发明的基于卷积神经网络的回环检测方法,包括如下步骤:
步骤1.将待检测图像Ii输入到训练好的卷积神经网络中,进行卷积和池化处理,并提取高维描述子向量Di,i=1,2…N,其中高维描述子向量Di的维数为d,N为该待检测图像Ii序列的长度;
步骤2.将步骤1中提取的高维描述子向量Di利用主成分分析法进行降维处理,得到低维描述子向量DPCA-i,其中低维描述子向量DPCA-i的维数为dpca;
步骤3.遍历图像序列,利用欧氏距离公式对低维描述子向量DPCA-i进行相似度计算;
步骤4.设定相似度阈值,当图像序列中两低维描述子向量的相似度小于相似度阈值时,检测结果判定为回环;
步骤5.对输出的回环信息进行检查,计算回环检测算法的准确率和召回率;
步骤6.重复步骤4至步骤5,根据计算出的多组准确率和召回率,绘制出准确率-召回率曲线以验证回环检测算法性能。
进一步的,本发明方法中,步骤1中所选用的卷积神经网络为在深度学习框架Tensorflow中预先训练的InceptionV3网络,该网络由42层组成。
进一步的,本发明方法中,步骤3中利用欧氏距离公式对降维后的描述子向量D–PCA-i进行相似度计算,计算公式为:
其中,相似度矩阵Sim为N阶方阵,N为该待检测图像Ii序列的长度,DPCA-m为当前帧图像Im的低维描述子向量,DPCA-n为当前帧图像Im对应的历史帧图像In的低维描述子向量,||DPCA-m||2为DPCA-m的L2范数,||DPCA-n||2为DPCA-n的L2范数,L2范数即向量的模,Sim(m,n)代表Im与图像In的相似度。
进一步的,本发明方法中,步骤4中设置相似度阈值的计算公式为:
thrk=1-thrbase*k,count=1/thrbase,k=1,2…count;
其中,thrk代表相似度阈值,count代表相似度阈值的数目,thrbase代表相似度阈值的步长,k代表相似度阈值对应的编号。
进一步的,本发明方法中,步骤5中,
准确率Pk的计算公式为:Pk=TPk/(TPk+FPk),其中,TPk的含义为:当阈值为thrk时,实际是回环而且算法的判定结果也是回环的数目;FPk的含义为:当阈值为thrk时,实际不是回环但是算法判定结果是回环的数目;
召回率Rk的计算公式为:Rk=TPk/(TPk+FNk),其中FNk的含义为:当阈值为thrk时,实际是回环但是算法判定结果不是回环的数目。
有益效果:本发明与现有技术相比,具有以下优点:
本发明提供的基于卷积神经网络的回环检测方法,相对于现有技术具有如下优势:1.
通过卷积神经网络提取图像的高层特征信息,保证了模型的稳健性,有利于提高预测结果的可靠性;2.采用欧氏距离公式计算图像的相似度,可有效提高相似度矩阵中元素的区分度。
附图说明
图1为本发明具体实施方式的流程框图;
图2为City Center数据集在经过本方法处理后的回环信息;
图3为City Center数据集的真实回环信息;
图4为City Center-Left数据集的准确率-召回率曲线;
图5为City Center-Right数据集的准确率-召回率曲线。
具体实施方式
为了详细的说明本发明公开的技术方案,下面结合说明书附图和具体实施例做进一步的阐述。
实施方式的平台为Windows10操作***,开发环境为PyCharm2017和Matlab2014。
如图1所示,本发明的基于卷积神经网络的回环检测方法,具体步骤如下:
1)将待检测图像Ii输入到在深度学习框架Tensorflow中预先训练的InceptionV3网络中,进行卷积和池化处理,并提取图像Ii池化层的输出向量作为高维描述子向量Di,i=1,2…N,其中Di的维数为d,N为图像序列的长度,高维描述子向量的维数d由神经网络输出层的维数决定,本实施例中取2048,N取1237;
2)将神经网络输出的高维描述子向量Di利用主成分分析法进行降维处理,得到低维描述子向量DPCA-i,其中低维描述子向量DPCA-i的维数为dpca,dpca由高维描述子向量的维数d决定的,根据经验值本实施例中dpca取500;
3)利用欧氏距离公式对低维描述子向量DPCA-i进行相似度计算,计算公式为:
其中,相似度矩阵Sim为N阶方阵,N为该待检测图像Ii序列的长度,DPCA-m为当前帧图像Im的低维描述子向量,DPCA-n为当前帧图像Im对应的历史帧图像In的低维描述子向量,||DPCA-m||2为DPCA-m的L2范数,||DPCA-n||2为DPCA-n的L2范数,L2范数即向量的模,Sim(m,n)代表Im与图像In的相似度。
4)设置相似度阈值的计算公式为:
thrk=1-thrbase*k,count=1/thrbase,k=1,2…count;
其中,thrk代表相似度阈值,count代表相似度阈值的数目,thrbase代表相似度阈值的步长,本实施例中依据一般经验值,权衡计算量与精度的情况下,thrbase取0.005,count取200,k代表相似度阈值对应的编号;当两向量的相似度小于相似度阈值thrk时,检测结果判定为回环。
5)对输出的回环信息进行检查,计算回环检测算法的准确率Pk和召回率Rk;
准确率Pk的计算公式为:Pk=TPk/(TPk+FPk),其中,TPk的含义为:当阈值为thrk时,实际是回环而且算法的判定结果也是回环的数目;FPk的含义为:当阈值为thrk时,实际不是回环但是算法判定结果是回环的数目;
召回率Rk的计算公式为:Rk=TPk/(TPk+FNk),其中FNk的含义为:当阈值为thrk时,实际是回环但是算法判定结果不是回环的数目
6)重复步骤4)至步骤5),根据计算出的多组准确率Pk和召回率Rk,绘制出准确率-召回率曲线以验证回环检测算法性能。
具体实例:
本实施例使用的数据集为牛津大学的City Center,该数据集共有2474幅图像,奇数帧表示左相机拍摄的图像序列,偶数帧表示右相机拍摄的图像序列。本实施例会分别将左右相机各自的1237幅图像输入到神经网络中进行回环检测。
为进一步证明本实施例算法的有效性,将会与Fabmap算法性能进行对比,Fabmap算法是一种非常经典的基于词袋模型的回环检测算法。图2为City Center数据集在经过本方法处理后的回环信息;图3为City Center数据集的真实回环信息。
图4为City Center数据集左相机图像序列的准确率-召回率曲线,图5为CityCenter数据集右相机图像序列的准确率-召回率曲线。如图4所示,本实施算法在准确率为100%的情况下,最大召回率达到了45.63%,而Fabmap算法的最大召回率为30.96%;如图5所示,本实施算法在准确率为100%的情况下,最大召回率达到了68.63%,而Fabmap算法的最大召回率为36.19%。综合图4与图5的准确率-召回率曲线信息,本实施算法在召回率逐渐增大的过程中,准确率的下降趋势相较于Fabmap算法也比较平缓。
上述实施例仅是本发明的优选实施方式,应当指出:对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和等同替换,这些对本发明权利要求进行改进和等同替换后的技术方案,均落入本发明的保护范围。
Claims (5)
1.一种基于卷积神经网络的回环检测方法,其特征在于,该方法包括以下步骤:
步骤1.将待检测图像Ii输入到训练好的卷积神经网络中,进行卷积和池化处理,并提取图像Ii池化层的输出向量作为高维描述子向量Di,i=1,2…N,其中高维描述子向量Di的维数为d,N为该待检测图像Ii序列的长度;
步骤2.将步骤1中提取的高维描述子向量Di利用主成分分析法进行降维处理,得到低维描述子向量DPCA-i,其中低维描述子向量DPCA-i的维数为dpca;
步骤3.遍历图像序列,利用欧氏距离公式对低维描述子向量DPCA-i进行相似度计算;
步骤4.设定相似度阈值,当图像序列中两低维描述子向量的相似度小于相似度阈值时,检测结果判定为回环;
步骤5.对输出的回环信息进行检查,计算回环检测算法的准确率和召回率;
步骤6.重复步骤4至步骤5,根据计算出的多组准确率和召回率,绘制出准确率-召回率曲线以验证回环检测算法性能。
2.根据权利要求1所述的基于卷积神经网络的回环检测方法,其特征在于,步骤1中所选用的卷积神经网络为在深度学习框架Tensorflow中预先训练的InceptionV3网络,该网络由42层组成。
4.根据权利要求1所述的基于卷积神经网络的回环检测方法,其特征在于,步骤4中所述设置相似度阈值的计算公式为:
thrk=1-thrbase*k,count=1/thrbase,k=1,2…count;
其中,thrk代表相似度阈值,count代表相似度阈值的数目,thrbase代表相似度阈值的步长,k代表相似度阈值对应的编号。
5.根据权利要求1所述的基于卷积神经网络的回环检测方法,其特征在于,步骤5所述中,
准确率Pk的计算公式为:Pk=TPk/(TPk+FPk),其中,TPk的含义为:当阈值为thrk时,实际是回环而且算法的判定结果也是回环的数目;FPk的含义为:当阈值为thrk时,实际不是回环但是算法判定结果是回环的数目;
召回率Rk的计算公式为:Rk=TPk/(TPk+FNk),其中FNk的含义为:当阈值为thrk时,实际是回环但是算法判定结果不是回环的数目。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010120637.XA CN111275702B (zh) | 2020-02-26 | 2020-02-26 | 一种基于卷积神经网络的回环检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010120637.XA CN111275702B (zh) | 2020-02-26 | 2020-02-26 | 一种基于卷积神经网络的回环检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111275702A true CN111275702A (zh) | 2020-06-12 |
CN111275702B CN111275702B (zh) | 2022-11-18 |
Family
ID=71004133
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010120637.XA Active CN111275702B (zh) | 2020-02-26 | 2020-02-26 | 一种基于卷积神经网络的回环检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111275702B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112070122A (zh) * | 2020-08-14 | 2020-12-11 | 五邑大学 | 一种slam地图的分类方法、装置及存储介质 |
CN113377987A (zh) * | 2021-05-11 | 2021-09-10 | 重庆邮电大学 | 基于ResNeSt-APW的多模块闭环检测方法 |
CN117237858A (zh) * | 2023-11-15 | 2023-12-15 | 成都信息工程大学 | 一种回环检测方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110533661A (zh) * | 2019-09-04 | 2019-12-03 | 电子科技大学 | 基于图像特征级联的自适应实时闭环检测方法 |
CN110555881A (zh) * | 2019-08-29 | 2019-12-10 | 桂林电子科技大学 | 一种基于卷积神经网络的视觉slam测试方法 |
-
2020
- 2020-02-26 CN CN202010120637.XA patent/CN111275702B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110555881A (zh) * | 2019-08-29 | 2019-12-10 | 桂林电子科技大学 | 一种基于卷积神经网络的视觉slam测试方法 |
CN110533661A (zh) * | 2019-09-04 | 2019-12-03 | 电子科技大学 | 基于图像特征级联的自适应实时闭环检测方法 |
Non-Patent Citations (1)
Title |
---|
余宇等: "基于深度学习的视觉SLAM回环检测方法", 《计算机工程与设计》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112070122A (zh) * | 2020-08-14 | 2020-12-11 | 五邑大学 | 一种slam地图的分类方法、装置及存储介质 |
CN112070122B (zh) * | 2020-08-14 | 2023-10-17 | 五邑大学 | 一种slam地图的分类方法、装置及存储介质 |
CN113377987A (zh) * | 2021-05-11 | 2021-09-10 | 重庆邮电大学 | 基于ResNeSt-APW的多模块闭环检测方法 |
CN117237858A (zh) * | 2023-11-15 | 2023-12-15 | 成都信息工程大学 | 一种回环检测方法 |
CN117237858B (zh) * | 2023-11-15 | 2024-03-12 | 成都信息工程大学 | 一种回环检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111275702B (zh) | 2022-11-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109443382B (zh) | 基于特征提取与降维神经网络的视觉slam闭环检测方法 | |
CN111275702B (zh) | 一种基于卷积神经网络的回环检测方法 | |
CN110070074B (zh) | 一种构建行人检测模型的方法 | |
CN111832484B (zh) | 一种基于卷积感知哈希算法的回环检测方法 | |
CN110781838A (zh) | 一种复杂场景下行人的多模态轨迹预测方法 | |
CN109341703B (zh) | 一种全周期采用CNNs特征检测的视觉SLAM算法 | |
CN110555881A (zh) | 一种基于卷积神经网络的视觉slam测试方法 | |
CN107330357A (zh) | 基于深度神经网络的视觉slam闭环检测方法 | |
CN112418095A (zh) | 一种结合注意力机制的面部表情识别方法及*** | |
CN113139470B (zh) | 一种基于Transformer的玻璃识别方法 | |
CN109087337B (zh) | 基于分层卷积特征的长时间目标跟踪方法及*** | |
CN111881731A (zh) | 基于人体骨架的行为识别方法、***、装置及介质 | |
CN113313763A (zh) | 一种基于神经网络的单目相机位姿优化方法及装置 | |
CN112419317B (zh) | 一种基于自编码网络的视觉回环检测方法 | |
CN110533661A (zh) | 基于图像特征级联的自适应实时闭环检测方法 | |
CN111027555B (zh) | 一种车牌识别方法、装置及电子设备 | |
CN109446897B (zh) | 基于图像上下文信息的场景识别方法及装置 | |
CN111507320A (zh) | 后厨违规行为检测方法、装置、设备和存储介质 | |
CN113312973A (zh) | 一种手势识别关键点特征提取方法及*** | |
CN113129336A (zh) | 一种端到端多车辆跟踪方法、***及计算机可读介质 | |
CN116188825A (zh) | 一种基于并行注意力机制的高效特征匹配方法 | |
CN114861761A (zh) | 一种基于孪生网络特征与几何验证的回环检测方法 | |
CN111578956A (zh) | 一种基于深度学习的视觉slam定位方法 | |
CN108960347B (zh) | 一种卷积神经网络手写体识别排序稳定性的效果评估***及方法 | |
Liu et al. | Facial landmark localization in the wild by backbone-branches representation learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |