CN111275702A - 一种基于卷积神经网络的回环检测方法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络的回环检测方法，首先利用开源框架Tensorflow训练的Inception V3网络，对待检测的图片进行卷积处理和池化处理并提取神经网络输出的描述子向量；其次，利用主成分分析算法对高维的描述子向量进行降维处理，并利用欧氏距离计算描述子向量的相似度；最后设定描述子向量的相似度阈值，并绘制出准确率‑召回率曲线以验证回环检测算法性能。基于卷积神经网络的回环检测方法，克服了基于人工特征的回环检测方法准确率低、计算量大、实时性差的缺陷等问题。

Description

一种基于卷积神经网络的回环检测方法

技术领域

本发明涉及一种基于卷积神经网络的回环检测方法，属于深度学习和SLAM技术领域。

背景技术

移动机器人在室内环境下根据视觉传感器数据在定位的同时构建地图，即视觉SLAM(Simultaneous Localization and Mapping,SLAM)技术，是实现移动机器人自主定位的关键。传统的视觉SLAM技术分为视觉里程计、后端优化、回环检测和地图构建等四个部分。回环检测作为视觉SLAM***中的重要一环，在降低累积误差、提高地图构建精度方面发挥着重要作用。因此，回环检测的算法性能将直接影响地图构建的准确性，错误的回环将导致整个地图构建失败。

回环检测的关键，在于识别出移动机器人曾经到达过的场景。基于外观的回环检测算法将机器人在当前位置获取到的图像与先前位置的图像进行比较，一旦图像间的相似度高于设定的阈值，即认为机器人又回到了曾经访问过的位置。因此，回环检测的实质是图像匹配问题。在当前比较成熟的视觉SLAM***中，一般采用词袋模型(Bag of Words,BoW)的方法实现回环检测。该方法通过提取特征点来描述图像特征，对各帧图像间的相似性进行计算。词袋模型方法虽然在开源SLAM框架中取得了不错的效果，但对场景外观变化十分敏感，存在计算量大、误匹配率高等问题，而且高度依赖于离线训练的单词数量。

近几年，深度学习理论和技术得到快速发展，在解决图像识别和分类问题上优势明显。基于卷积神经网络的回环检测方法，可提取到图像的高层特征信息，具有更强的鲁棒性，可以提高回环检测方法的准确率和召回率。

发明内容

技术问题：本发明提出一种基于卷积神经网络的回环检测方法，该方法可以有效解决传统回环检测方法误匹配率高和计算量大等问题。

技术方案：本发明的基于卷积神经网络的回环检测方法，包括如下步骤：

步骤1.将待检测图像I_i输入到训练好的卷积神经网络中，进行卷积和池化处理，并提取高维描述子向量D_i，i＝1,2…N，其中高维描述子向量D_i的维数为d，N为该待检测图像I_i序列的长度；

步骤2.将步骤1中提取的高维描述子向量D_i利用主成分分析法进行降维处理，得到低维描述子向量D_PCA-i，其中低维描述子向量D_PCA-i的维数为d_pca；

步骤3.遍历图像序列，利用欧氏距离公式对低维描述子向量D_PCA-i进行相似度计算；

步骤4.设定相似度阈值，当图像序列中两低维描述子向量的相似度小于相似度阈值时，检测结果判定为回环；

步骤5.对输出的回环信息进行检查，计算回环检测算法的准确率和召回率；

步骤6.重复步骤4至步骤5，根据计算出的多组准确率和召回率，绘制出准确率-召回率曲线以验证回环检测算法性能。

进一步的，本发明方法中，步骤1中所选用的卷积神经网络为在深度学习框架Tensorflow中预先训练的InceptionV3网络，该网络由42层组成。

进一步的，本发明方法中，步骤3中利用欧氏距离公式对降维后的描述子向量D_–PCA-i进行相似度计算，计算公式为：

其中，相似度矩阵Sim为N阶方阵，N为该待检测图像I_i序列的长度，D_PCA-m为当前帧图像I_m的低维描述子向量，D_PCA-n为当前帧图像I_m对应的历史帧图像I_n的低维描述子向量，||D_PCA-m||₂为D_PCA-m的L₂范数，||D_PCA-n||₂为D_PCA-n的L₂范数，L₂范数即向量的模，Sim(m,n)代表I_m与图像I_n的相似度。

进一步的，本发明方法中，步骤4中设置相似度阈值的计算公式为：

thr_k＝1-thr_base*k，count＝1/thr_base，k＝1,2…count；

其中，thr_k代表相似度阈值，count代表相似度阈值的数目，thr_base代表相似度阈值的步长，k代表相似度阈值对应的编号。

进一步的，本发明方法中，步骤5中，

准确率P_k的计算公式为：P_k＝TP_k/(TP_k+FP_k)，其中，TP_k的含义为：当阈值为thr_k时，实际是回环而且算法的判定结果也是回环的数目；FP_k的含义为：当阈值为thr_k时，实际不是回环但是算法判定结果是回环的数目；

召回率R_k的计算公式为：R_k＝TP_k/(TP_k+FN_k)，其中FN_k的含义为：当阈值为thr_k时，实际是回环但是算法判定结果不是回环的数目。

有益效果：本发明与现有技术相比，具有以下优点：

本发明提供的基于卷积神经网络的回环检测方法，相对于现有技术具有如下优势：1.

通过卷积神经网络提取图像的高层特征信息，保证了模型的稳健性，有利于提高预测结果的可靠性；2.采用欧氏距离公式计算图像的相似度，可有效提高相似度矩阵中元素的区分度。

附图说明

图1为本发明具体实施方式的流程框图；

图2为City Center数据集在经过本方法处理后的回环信息；

图3为City Center数据集的真实回环信息；

图4为City Center-Left数据集的准确率-召回率曲线；

图5为City Center-Right数据集的准确率-召回率曲线。

具体实施方式

为了详细的说明本发明公开的技术方案，下面结合说明书附图和具体实施例做进一步的阐述。

实施方式的平台为Windows10操作***，开发环境为PyCharm2017和Matlab2014。

如图1所示，本发明的基于卷积神经网络的回环检测方法，具体步骤如下：

1)将待检测图像I_i输入到在深度学习框架Tensorflow中预先训练的InceptionV3网络中，进行卷积和池化处理，并提取图像I_i池化层的输出向量作为高维描述子向量D_i，i＝1,2…N，其中D_i的维数为d，N为图像序列的长度，高维描述子向量的维数d由神经网络输出层的维数决定，本实施例中取2048,N取1237；

2)将神经网络输出的高维描述子向量D_i利用主成分分析法进行降维处理，得到低维描述子向量D_PCA-i，其中低维描述子向量D_PCA-i的维数为d_pca，d_pca由高维描述子向量的维数d决定的，根据经验值本实施例中d_pca取500；

3)利用欧氏距离公式对低维描述子向量D_PCA-i进行相似度计算，计算公式为：

其中，相似度矩阵Sim为N阶方阵，N为该待检测图像I_i序列的长度，D_PCA-m为当前帧图像I_m的低维描述子向量，D_PCA-n为当前帧图像I_m对应的历史帧图像I_n的低维描述子向量，||D_PCA-m||₂为D_PCA-m的L₂范数，||D_PCA-n||₂为D_PCA-n的L₂范数，L₂范数即向量的模，Sim(m,n)代表I_m与图像I_n的相似度。

4)设置相似度阈值的计算公式为：

thr_k＝1-thr_base*k，count＝1/thr_base，k＝1,2…count；

其中，thr_k代表相似度阈值，count代表相似度阈值的数目，thr_base代表相似度阈值的步长，本实施例中依据一般经验值，权衡计算量与精度的情况下，thr_base取0.005，count取200，k代表相似度阈值对应的编号；当两向量的相似度小于相似度阈值thr_k时，检测结果判定为回环。

5)对输出的回环信息进行检查，计算回环检测算法的准确率P_k和召回率R_k；

准确率P_k的计算公式为：P_k＝TP_k/(TP_k+FP_k)，其中，TP_k的含义为：当阈值为thr_k时，实际是回环而且算法的判定结果也是回环的数目；FP_k的含义为：当阈值为thr_k时，实际不是回环但是算法判定结果是回环的数目；

召回率R_k的计算公式为：R_k＝TP_k/(TP_k+FN_k)，其中FN_k的含义为：当阈值为thr_k时，实际是回环但是算法判定结果不是回环的数目

6)重复步骤4)至步骤5)，根据计算出的多组准确率P_k和召回率R_k，绘制出准确率-召回率曲线以验证回环检测算法性能。

具体实例：

本实施例使用的数据集为牛津大学的City Center，该数据集共有2474幅图像，奇数帧表示左相机拍摄的图像序列，偶数帧表示右相机拍摄的图像序列。本实施例会分别将左右相机各自的1237幅图像输入到神经网络中进行回环检测。

为进一步证明本实施例算法的有效性，将会与Fabmap算法性能进行对比，Fabmap算法是一种非常经典的基于词袋模型的回环检测算法。图2为City Center数据集在经过本方法处理后的回环信息；图3为City Center数据集的真实回环信息。

图4为City Center数据集左相机图像序列的准确率-召回率曲线，图5为CityCenter数据集右相机图像序列的准确率-召回率曲线。如图4所示，本实施算法在准确率为100％的情况下，最大召回率达到了45.63％，而Fabmap算法的最大召回率为30.96％；如图5所示，本实施算法在准确率为100％的情况下，最大召回率达到了68.63％，而Fabmap算法的最大召回率为36.19％。综合图4与图5的准确率-召回率曲线信息，本实施算法在召回率逐渐增大的过程中，准确率的下降趋势相较于Fabmap算法也比较平缓。

上述实施例仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和等同替换，这些对本发明权利要求进行改进和等同替换后的技术方案，均落入本发明的保护范围。

Claims (5)

1.一种基于卷积神经网络的回环检测方法，其特征在于，该方法包括以下步骤：

步骤1.将待检测图像I_i输入到训练好的卷积神经网络中，进行卷积和池化处理，并提取图像I_i池化层的输出向量作为高维描述子向量D_i，i＝1,2…N，其中高维描述子向量D_i的维数为d，N为该待检测图像I_i序列的长度；

步骤2.将步骤1中提取的高维描述子向量D_i利用主成分分析法进行降维处理，得到低维描述子向量D_PCA-i，其中低维描述子向量D_PCA-i的维数为d_pca；

步骤3.遍历图像序列，利用欧氏距离公式对低维描述子向量D_PCA-i进行相似度计算；

步骤4.设定相似度阈值，当图像序列中两低维描述子向量的相似度小于相似度阈值时，检测结果判定为回环；

步骤5.对输出的回环信息进行检查，计算回环检测算法的准确率和召回率；

步骤6.重复步骤4至步骤5，根据计算出的多组准确率和召回率，绘制出准确率-召回率曲线以验证回环检测算法性能。

2.根据权利要求1所述的基于卷积神经网络的回环检测方法，其特征在于，步骤1中所选用的卷积神经网络为在深度学习框架Tensorflow中预先训练的InceptionV3网络，该网络由42层组成。

3.根据权利要求1所述的基于卷积神经网络的回环检测方法，其特征在于，步骤3中所述利用欧氏距离公式对低维描述子向量D_PCA-i进行相似度计算，计算公式为：

其中，相似度矩阵Sim为N阶方阵，N为该待检测图像I_i序列的长度，D_PCA-m为当前帧图像I_m的低维描述子向量，D_PCA-n为当前帧图像I_m对应的历史帧图像I_n的低维描述子向量，||D_PCA-m||₂为D_PCA-m的L₂范数，||D_PCA-n||₂为D_PCA-n的L₂范数，L₂范数即向量的模，Sim(m,n)代表当前帧图像I_m与其对应的历史帧图像I_n的相似度。

4.根据权利要求1所述的基于卷积神经网络的回环检测方法，其特征在于，步骤4中所述设置相似度阈值的计算公式为：

thr_k＝1-thr_base*k，count＝1/thr_base，k＝1,2…count；

其中，thr_k代表相似度阈值，count代表相似度阈值的数目，thr_base代表相似度阈值的步长，k代表相似度阈值对应的编号。

5.根据权利要求1所述的基于卷积神经网络的回环检测方法，其特征在于，步骤5所述中，

准确率P_k的计算公式为：P_k＝TP_k/(TP_k+FP_k)，其中，TP_k的含义为：当阈值为thr_k时，实际是回环而且算法的判定结果也是回环的数目；FP_k的含义为：当阈值为thr_k时，实际不是回环但是算法判定结果是回环的数目；

召回率R_k的计算公式为：R_k＝TP_k/(TP_k+FN_k)，其中FN_k的含义为：当阈值为thr_k时，实际是回环但是算法判定结果不是回环的数目。

Images