CN109034237B - 基于卷积神经元网络路标和序列搜索的回环检测方法 - Google Patents

Abstract

基于卷积神经元网络路标和序列搜索的回环检测方法，以待检测图像为中心选定一个待检索序列，在待检索序列的每一张图像上提取一定数量的路标进行预处理后输入到卷积神经元网络中抽取相应的特征描述子；构建一个候选匹配序列,待检索序列与候选匹配序列之间按照时间先后的对应关系进行序列间相似度分析；沿着时间轴移动候选匹配序列的中心，每移动一次，计算一次候选匹配序列与待检索序列之间的相似度并保存评分；在所有序列评分中搜索数值最大评分对应的序列，同时以此序列中心图像为中心选定一个窗口并在窗口外搜索一个最大评分序列；若最大评分与最大评分序列的评分的比值大于设定的阈值，则所述最大评分的中心图像就是待检索图像对应的回环。

Description

基于卷积神经元网络路标和序列搜索的回环检测方法

技术领域

本发明属于导航与定位技术领域，涉及一种基于卷积神经元网络路标和序列搜索的回环检测方法。

背景技术

在机器人的自主导航研究中，回环检测作为即时定位与地图构建技术的后端有着非常重要的作用。对于给定的一个待检索图像和一个代表环境的地图，回环检测的任务是判断地图中是否存在一张与待检索图像拍摄场景相同的图像，这个图像被称之为回环。回环检测主要解决的是机器人位姿随时间漂移的问题，通常回环检测所提供的回环信息可以修正机器人所构建的存在误差甚至变形的轨迹地图，以辅助机器人进行精确导航。近些年，户外机器人以及无人车导航的研究取得了快速的发展，户外复杂多变的环境对回环检测技术的鲁棒性提出了新的更高的要求。

现有的基于卷进神经元网络路标的回环检测一般采用线性搜索方式，这一方式过于简单，仅仅通过单帧之间的相似度评分作为回环的判断，会导致很多误匹配，同时该方法中的相似度评分方法存在没有使用归一化问题，其在不同场景下运行时的参数选择较为复杂。

发明内容

本发明的一个目的在于解决上述现有技术检测到的回环结果不准确，鲁棒性差的问题，提供了一种基于卷积神经元网络路标和序列搜索的回环检测方法。

本发明解决其技术问题所采用的技术方案是：基于卷积神经元网络路标和序列搜索的回环检测方法，以待检测图像为中心选定一个待检索序列，在待检索序列的每一张图像上提取一定数量的路标进行预处理后输入到卷积神经元网络中抽取相应的特征描述子；在地图的起始位置选定一个图像作为候选匹配序列的中心，并以此为中心在时间轴的前后构建一个候选匹配序列；待检索序列与候选匹配序列之间按照时间先后的对应关系进行序列间相似度分析；沿着时间轴移动候选匹配序列的中心，每移动一次，计算一次候选匹配序列与待检索序列之间的相似度并保存评分；在所有序列评分中搜索数值最大评分对应的序列，同时以此序列中心图像为中心选定一个窗口并在窗口外搜索一个最大评分序列；如果所述最大评分与所述最大评分序列的评分的比值大于设定的阈值，那所述最大评分的中心图像就是待检索图像对应的回环。

进一步地，以上方法具体包括：

步骤1：对于给定的待检索图像，选定一个序列长度L；在待检索图像拍摄时间上的前后各扩展出L/2个图像以构成待检索序列；

设待检索图像在视频片段中的序号为q，则待检索序列在视频中的标号为q-L/2到q+L/2，记待检索序列每张图像中的路标为

其中s的取值在q-L/2到q+L/2之间，j为1到N的整数，并记这些路标的特征向量为

对给定的待检索图像和地图中的图像进行以下处理：

提取每张图像上指定数目的路标，记指定的数目为N，每张图像提取出的路标信息

表示为

其中r表示该路标位于序号为r的图像上，i反映了此路标在该图像r中的序号，

和

分别表示该路标的宽和高，假设共有M张图像，那么r的取值为1到M的整数，i为1到N的整数，将提取的路标的尺寸进行归一化；

将归一化后的路标输入到卷积神经元网络模型AlexNet中，取AlexNet中间层输出作为每个路标的描述子，并将其向量化为9216维的描述子；

使用高斯随机投影方法降低所述9216维的描述子的维数，降低后的维数为1024，然后再进行单位化，得到路标最终的特征向量，记路标的特征向量为

步骤2：在地图的起始位置选定一个候选匹配序列的开始序号，记为p，1≤p≤M，则候选匹配序列的序号位于p-L/2到p+L/2之间，待检索序列与候选匹配序列之间的评分是L+1个图像对之间的相似度之和，每对图像的相似度之和是两幅图像上N对路标中匹配上的路标的相似度评分之和；

计算L+1个图像对中第一对图像之间的相似度，分别从待检测序列和候选匹配序列的起始位置取一个图片，在这对图像上路标的匹配执行双向搜索，如果图像s中路标j是图像r中路标i在图像s中路标特征相似度的最近邻，同时图像r中的路标i是图像s中路标j在图像r中路标特征相似度的最近邻，那么路标i和路标j则构成一对候选路标匹配对，如果候选匹配路标对之间的形状相似则确认二者为真实的路标匹配对；

分别遍历图像s和图像r中的所有路标找出每个路标的最近邻，并通过形状相似度确定候选路标匹配对是否构成真实匹配；

计算匹配路标对的特征相似度和形状相似度了，路标i和路标j之间的特征相似度为d_ij：

路标i和路标j之间的形状相似度为sp_ij：

定义图像s和图像r之间的相似度为O_r，s：

其中，X表示图像s和图像r之间共有X对真实匹配路标，X_ij表示真实匹配的路标在各自图片中的序号，O_r，s的值在0到1之间；

两个序列之间的评分M_p，q通过如下公式获得：

其中r取值为[p-L/2，p+L/2]，s的取值为[q-L/2，q+L/2]，同时r和s的取值在两个序列是对位的，M_p，q是L+1对图像相似度之和；

步骤3：在地图中依次改变p的值，重复步骤2，计算待检测序列与地图中的所有候选匹配序列的评分；

步骤4：在得到的所有评分中，找出评分最大序列对应的序列中心p_max以及相应的评分

以p_max为中心，w为窗口大小，在窗口外的地图图像中找到与待检索序列之间相似度评分最大的序列，其序列中心为pwmax，与之对应的评分为

步骤5：如果

和

的比值大于预先设定的判定阈值β，则确定该评分最大序列的中心图像与待检索图像构成回环，否则不构成回环。

进一步地，所述步骤2中判断形状相似的方法为：如果一对路标之间形状满足如下关系，则认为二者形状相似：

同时

其中δ为判定路标相似的阈值。

本发明的实质性效果：本发明利用匹配路标的形状信息在匹配路标的相似度计算之前对匹配路标做了进一步的筛选，筛去了相对弱的匹配对，使得最终的回环结果更加准确。使用序列匹配与传统的基于卷积神经元网络路标的回环检测技术结合，相比于传统的单帧匹配，序列匹配下的回环检测在复杂环境下更加鲁棒。

附图说明

图1是本发明提供的基于卷积神经元网络路标和序列匹配的回环检测方法的流程框图。

图2为本发明实施序列匹配的示意图。

图3为本发明与传统基于卷积神经元网络路标方法准确率和召回率在Northland数据集上的性能分析。

具体实施方式

下面通过具体实施例，并结合附图，对本发明的技术方案作进一步的具体说明。

一种基于卷积神经元网络路标和序列匹配的回环检测方法，包括前期卷积神经元路标生成过程和后期序列匹配过程。以待检测图像为中心选定一个待检索序列，然后通过目标检测算法在待检索序列的每一张图像上提取一定数量的显著路标作为对应图像的描述，再对提取的路标进行一些预处理后输入到卷积神经元网络中抽取相应的特征描述子，为了满足计算效率的要求，还需要对产生的特征描述子进行了绛维。在此基础上，同样需要在地图的起始位置选定一个图像作为候选匹配序列的中心，并以此为中心在时间轴的前后以某个采样间隔扩展二分之一个序列长度构成一个候选匹配序列，由于本发明使用的地图是在离线事先构建好的，也即是地图中每一个图像的路标提取和对应路标的特征描述也已离线完成，然后待检索序列与候选匹配序列之间按照时间先后的对应关系进行序列间相似度分析，序列的相似度评分为每对图像相似度评分之和，每对图像相似度评分又是两个图像上所有匹配路标的评分之和，而每对匹配路标的相似度评分为路标的特征相似度和形状相似度的乘积。进而沿着时间轴移动候选匹配序列的中心，每移动一次，可以计算一次候选匹配序列与待检索序列之间的相似度并保存评分。最后，在所有序列评分中搜索数值最大的评分对应的序列，同时以此序列中心图像为中心选定一个窗口并在窗口外搜索一个最大的评分序列，如果全局最大序列评分与窗口外局部最大序列评分的比值大于算法事先设定的阈值，那么这个全局最大评分序列的中心图像就是待检索图像对应的回环。该阈值根据经验进行设置。

图1是本发明实施例中的基于卷积神经元网络路标和序列匹配的回环检测方法的流程框图。前期利用目标检测算法BING在待检测序列以及地图中每个图像上提取指定数量的路标，路标经过一定预处理后利用现有的卷进神经元网络模型AlexNet为每个路标生成相应的描述子，为了提升后续匹配过程的计算效率，前期还对描述子进行了降维；后期序列匹配利用前期得到的路标信息，计算图像以及序列之间的相似度，然后判断是否存在回环并给出回环的位置。具体包括如下步骤：

1)利用目标检测算法BING完成数据集中每张RGB图像指定数目的路标提取，记指定的数目为N，每张图像提取出的路标信息

可表示为

其中r表示该路标位于地图中序号为r的图像上，i反映了此路标在该图像r中的序号，

和

分别表示该路标的宽和高，假设地图中共有M张图像，那么r的取值为1到M的整数，i为1到N的整数，然后将提取的路标的尺寸进行归一化，归一化后路标的高和宽均为227个像素；

2)将1)中归一化后的路标输入到卷进神经元网络模型AlexNet中，取AlexNet中间层Pool5的输出作为每个路标的描述子，Pool5层输出需要再向量化为9216维的描述子；

3)使用高斯随机投影方法将2)中提取的9216维的描述子维数降低，降低后的维数为1024，然后再进行单位化，得到路标最终的特征向量，记路标的特征向量为

i和r的含义同1)中描述一致。

4)上述1)，2)，3)均在离线下完成，对于给定的待检索图像，如图二所示，选定一个序列长度L，在实际机器人导航应用中，通常待检索图像是包含在一个视频片段内的，序列匹配要求在待检索图像的前后(图像拍摄时间上的前后)需要各扩展出L/2个图像以构成待检索序列。待检索序列中的每一个图像需要经历与地图中每一个图像一样的操作，即1)，2)，3)中的过程；设待检索图像在视频片段中的序号为q，那么待检索序列在视频中的标号为q-L/2到q+L/2，记待检索序列每张图像中的路标为

则s的取值在q-L/2到q+L/2之间，j为1到N的整数，并记这些路标的特征向量为

5)在地图的起始位置选定一个图像作为候选匹配序列的中心，为了不失一般性，记为该图像在地图中的序号为p(1≤p≤M)，如图2所示，当p等于k(1≤k≤M)时，以k为中心前后各扩展L/2个图像构成候选匹配序列，由于待检测图像所在视频流的采集速度未必与地图中图像的采集速度一致，为了达到好的匹配结果，在实施例中算法引入一个采样间隔变量v(v依次取集合[0.8，0.9，1.0，1.1，1.2]中的一个)，因而v可以控制采样的稀疏，如果以某一采样速度v进行采样时，候选序列在地图中的序号范围在k-(L/2)*v到k+(L/2)*v之间。于是待检索序列与候选匹配序列k之间的评分是L+1个图像对之间的相似度之和，如图2中实线连接所示，而每对图像的相似度又是两幅图像中匹配上的路标的相似度评分之和。在L+1个图像对上，路标的匹配执行双向搜索，即，如果图像s中路标j是图像r中路标i在图像s中路标特征相似度的最近邻，同时图像r中的路标i是图像s中路标j在图像r中路标特征相似度的最近邻，那么路标i和路标j则构成一对候选路标匹配对，如果候选匹配路标对之间的形状相似则可以确认它们是真实的路标匹配对。如果一对路标之间形状满足如下关系，则被认为形状相似：

同时

其中δ为判定路标相似的阈值，根据经验进行设置，max是求最大值函数，函数返回的结果是其内成员的最大值。分别遍历图像s和图像r中的所有路标找出他们的最近邻，并通过形状相似度确定候选路标匹配对是否构成真实匹配。匹配的路标对就可以计算他们之间的特征和形状相似度了，路标i和路标j之间特征的相似度d_ij是它们特征向量的余弦值。计算方法如下：

其中cos为求余弦函数。路标i和路标j之间形状的的相似度sp_ij的计算方法如下：

其中exp为求指数函数。最后定义图像s和图像r之间的相似度O_r，s为：

其中X表示图像s和图像r之间共有X对真实匹配路标，X_ij表示真实匹配的路标在各自图像中的序号。这里O_r，s的值在0到1之间，是一个归一化的定义。最后连个序列之间的评分M_p，q可以通过如下公式获得：

其中r取值为[p-L/2，p+L/2]，s的取值为[q-L/2，q+L/2]，同时r和s的取值在两个序列是对位的，因此M_p，q是L+1对图像相似度之和。

6)在地图中依次改变p的值，重复5)以计算待检测序列与地图中的所有候选匹配序列的评分。

7)在得到的所有评分中，找出评分最大的序列对应的序列中心P_max以及相应的评分

以P_max为中心，w为窗口大小，在窗口外的地图图像中找到与待检索序列之间相似度评分最大的序列，其序列中心为p_wmax，与之对应的评分为

本实施例中W的取值为10。

8)如果

和

的比值大于预先设定的判定阈值β，则可以确定该全局最大评分对应的序列中心与待检索图像构成回环，否则不构成回环。

对于检测性能的评测，采用准确率-召回率曲线(Precision-Recall Curve)作为最终的评测指标，准确率反映了算法提取的所有回环中是正确回环的概率，而召回率则是说，在所有真实回环中被正确检测出来的概率，一个理想的回环检测算法在召回率为100％时的准确率也为100％。图3显示了本发明方法(SeqCNLLCD(L＝10)代表的曲线，L＝10表示选取的序列长度为10)与传统基于卷积神经元网络路标算法(CNLLCD代表的曲线)在通用数据集Northland下的性能比较，其横轴为召回率，纵轴为准确率，通过改变判断阈值β，可以得到两条曲线，从图3中可以看出本发明的方法在每一个召回率下的准确率都要明显优于传统基于卷积神经元网络路标的方法。

本发明在回环判断环节采用了序列匹配的思想，即，每两帧之间是否能构成回环取决于以两帧为中心的两个序列之间的相似度。这种基于时间信息的序列匹配方法有效减少了单帧搜索造成的误匹配，而且序列长度越长，序列的特异性就会越强，误匹配率也就越低，因此回环检测的准确率和鲁棒性都得到了显著提高，这为机器人户外的即时定位与地图构建提供了基础性的技术支持。

以上所述实施例只是本发明的一种较佳的方案，并非对本发明作任何形式上的限制，在不超出权利要求所记载的技术方案的前提下还有其他的变体及改型。

Claims (3)

1.基于卷积神经元网络路标和序列搜索的回环检测方法，其特征在于，

以待检测图像为中心选定一个待检索序列，在待检索序列的每一张图像上提取一定数量的路标进行预处理后输入到卷积神经元网络中抽取相应的特征描述子；

在地图的起始位置选定一个图像作为候选匹配序列的中心，并以此为中心在时间轴的前后构建一个候选匹配序列；

待检索序列与候选匹配序列之间按照时间先后的对应关系进行序列间相似度分析；

沿着时间轴移动候选匹配序列的中心，每移动一次，计算一次候选匹配序列与待检索序列之间的相似度并保存评分；

在所有序列评分中搜索数值最大评分对应的序列，同时以此序列中心图像为中心选定一个窗口并在窗口外搜索一个最大评分序列；

如果所述最大评分与所述最大评分序列的评分的比值大于设定的阈值，那所有序列评分中搜索数值最大评分对应的序列的中心图像就是待检索图像对应的回环。

2.如权利要求1所述的基于卷积神经元网络路标和序列搜索的回环检测方法，其特征在于，具体包括：

步骤1：对于给定的待检索图像，选定一个序列长度L；在待检索图像拍摄时间上的前后各扩展出L/2个图像以构成待检索序列；

设待检索图像在视频片段中的序号为q,则待检索序列在视频中的标号为q-L/2到q+L/2，记待检索序列每张图像中的路标为

其中s的取值在q-L/2到q+L/2之间,j为1到N的整数，并记这些路标的特征向量为

对给定的待检索图像和地图中的图像进行以下处理：

提取每张图像上指定数目的路标，记指定的数目为N，每张图像提取出的路标信息

表示为

其中r表示该路标位于序号为r的图像上，i反映了此路标在该图像r中的序号，

和

分别表示该路标的宽和高，假设共有M张图像，那么r的取值为1到M的整数，i为1到N的整数，将提取的路标的尺寸进行归一化；

将归一化后的路标输入到卷积神经元网络模型AlexNet中，取AlexNet中间层输出作为每个路标的描述子，并将其向量化为9216维的描述子；

使用高斯随机投影方法降低所述9216维的描述子的维数,降低后的维数为1024，然后再进行单位化，得到路标最终的特征向量，记路标的特征向量为

步骤2：在地图的起始位置选定一个候选匹配序列的开始序号，记为p，1≤p≤M，则候选匹配序列的序号位于p-L/2到p+L/2之间，待检索序列与候选匹配序列之间的评分是L+1个图像对之间的相似度之和，每对图像的相似度之和是两幅图像上N对路标中匹配上的路标的相似度评分之和；

分别从待检测序列和候选匹配序列的起始位置取一个图片以计算第一对图像之间的相似度，路标的匹配执行双向搜索，即如果图像s中路标j是图像r中路标i在图像s中路标特征相似度的最近邻，同时图像r中的路标i是图像s中路标j在图像r中路标特征相似度的最近邻，那么路标i和路标j则构成一对候选路标匹配对，如果候选匹配路标对之间的形状相似则确认二者为真实的路标匹配对；

分别遍历图像s和图像r中的所有路标找出每个路标的最近邻，并通过形状相似度确定候选路标匹配对是否构成真实匹配；

计算匹配路标对的特征相似度和形状相似度了，路标i和路标j之间的特征相似度为d_ij：

路标i和路标j之间的形状相似度为sp_ij：

定义图像s和图像r之间的相似度为O_r，s：

其中，X表示图像s和图像r之间共有X对真实匹配路标，X_ij表示真实匹配的路标在各自图片中的序号，O_r，s的值在0到1之间；

两个序列之间的评分M_p，q通过如下公式获得：

其中r取值为[p-L/2，p+L/2],s的取值为[q-L/2，q+L/2],同时r和s的取值在两个序列是对位的，M_p，q是L+1对图像相似度之和；

步骤3：在地图中依次改变p的值，重复步骤2，计算待检测序列与地图中的所有候选匹配序列的评分；

步骤4：在得到的所有评分中，找出评分最大序列对应的序列中心p_max以及相应的评分

以p_max为中心，W为窗口大小，在窗口外的地图图像中找到与待检索序列之间相似度评分最大的序列，其序列中心为p_wmax，与之对应的评分为

步骤5：如果

和

的比值大于预先设定的判定阈值β，则确定该评分最大序列的中心图像与待检索图像构成回环，否则不构成回环。

3.如权利要求2所述的基于卷积神经元网络路标和序列搜索的回环检测方法，其特征在于，

所述步骤2中判断形状相似的方法为：如果一对路标之间形状满足如下关系，则认为二者形状相似：

同时

其中δ为判定路标相似的阈值。

Images