CN109101981B - 一种街景场景下基于全局图像条纹码的回环检测方法 - Google Patents

一种街景场景下基于全局图像条纹码的回环检测方法 Download PDF

Info

Publication number
CN109101981B
CN109101981B CN201810797155.0A CN201810797155A CN109101981B CN 109101981 B CN109101981 B CN 109101981B CN 201810797155 A CN201810797155 A CN 201810797155A CN 109101981 B CN109101981 B CN 109101981B
Authority
CN
China
Prior art keywords
image
point
points
scale
key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810797155.0A
Other languages
English (en)
Other versions
CN109101981A (zh
Inventor
张小国
郑冰清
袁金
邵俊杰
刘启汉
王慧青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN201810797155.0A priority Critical patent/CN109101981B/zh
Publication of CN109101981A publication Critical patent/CN109101981A/zh
Application granted granted Critical
Publication of CN109101981B publication Critical patent/CN109101981B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/40—Tree coding, e.g. quadtree, octree
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种街景场景下基于全局图像条纹码的回环检测方法，包括如下步骤：对已有地图的所有图像帧进行编码，并将编码存储在分层数据结构中；对新采集到的关键帧也进行二进制编码，与已有的二进制描述码进行对比，获取汉明距离最小的前K张图片；将K张图片与新采集的图像关键帧一起进行特征点提取比对操作，比对两个图像间的特征相似度，得到分值最高的图，以此获知此时机器人的位置。本发明只需要对图像进行简单的编码，利用已有的算法对编码进行匹配即能完成目的，可操作性高；不需要借助图像的特征点以及提前进行提前训练，减小了计算量；与传统方法相比，解决了不能进行回环检测、工作强度大、效率低等问题。

Description

一种街景场景下基于全局图像条纹码的回环检测方法
技术领域
本发明涉及图像处理方法，尤其涉及一种街景场景下基于全局图像条纹码的回环检测方法。
背景技术
即时定位与地图构建(SLAM)是解决移动机器人在未知非结构化环境中自主导航与控制的关键，一个完整的SLAM***包括传感器数据处理、位姿估计、构建地图、回环检测四个部分。其中回环检测机制是解决移动机器人的闭环重定位，提高SLAM***鲁棒性的重要环节。已有的像素级别SLAM定位方法除非借助于特征点，否则无法进行回环检测的操作，词袋模型就是一种典型的使用特征点的回环检测的方法。但在基于直接法的SLAM***中使用特征点就违背了使用直接法的本意，效率大大降低。机器学习算法进行回环检测不用提取特征点但需要提前训练，消耗时间过长且效果不稳定。因此对于速度快又高效的回环检测的算法的需求就日益凸显。
发明内容
发明目的：针对现有技术存在的问题，本发明的目的在于提供一种基于全局图像条纹码进行回环检测的方法，以实现在基于像素的SLAM方法中直接而高效地进行回环检测，有效提高SLAM***的全局一致性且保持***较高的实时性。
技术方案：一种街景场景下基于全局图像条纹码的回环检测方法，包括如下步骤：
(1)对已有地图的所有图像帧进行编码，并将编码存储在分层数据结构中；
(2)对新采集到的关键帧也进行二进制编码，与已有的二进制描述码进行对比，获取Hamming距离最小的前K张图片；
(3)将K张图片与新采集的图像关键帧一起进行特征点提取比对操作，比对两个图像间的特征相似度，得到分值最高的图，以此获知此时机器人的位置。
所述步骤(1)中，具体包括如下内容：
(1.1)对图像进行x和y方向的梯度计算，得到灰度图像：
(1.1.1)将RGB彩色图像转化为灰度图：
Grey＝0.299×R+0.587×G+0.115×B
根据上式，依次读取每个像素点的R、G、B值，进行计算灰度值，将灰度值赋值给新图像的相应位置，所有像素点遍历一遍完成转换；
(1.1.2)采用索贝尔算子进行图像梯度计算，索贝尔卷积因子为：
Figure BDA0001736210700000021
该算子包含两组3×3的矩阵，分别为横向矩阵及纵向矩阵；将之与图像作平面卷积，即可分别得出横向及纵向的亮度差分近似值；以I代表原始图像，Gx及Gy分别代表经横向及纵向边缘检测的图像灰度值，其公式如下：
Gx＝[f(x+1,y-1)+2×f(x+1,y)+f(x+1,y+1)]-[f(x-1,y-1)+2×f(x-1,y)+f(x-1,y+1)]
Gy＝[f(x-1,y-1)+2f(x,y-1)+f(x+1,y-1)]-[f(x-1,y+1)+2×f(x,y+1)+f(x+1,y+1)]
其中，f(x,y)表示图像(x,y)像素点的灰度值，图像的每一个像素的横向及纵向灰度值通过以下公式结合，来计算该点灰度的大小：
|G|＝|Gx|+|Gy|；
(1.2)设定阈值T1，若像素点的灰度值大于该阈值则该像素点置1；设定阈值T2，将W个像素宽的图像竖组合在一起，形成一个group，在每一个group中维护一个W*H的窗口，其中，W表示窗口宽度，H表示窗口长度，竖直移动窗口，计算窗口中每个竖直像素列中连续的“1”的个数，当连续的“1”的个数超过T2，则将该竖直像素列置1；设置阈值T3，针对宽为W的滑动窗口图像竖，计算竖直像素列的“1”的个数，若超过T3，则整个group置1；遍历所有group，最终形成了128bits的图像描述码；根据图像的大小调节W的大小，使得描述码为128bits，默认情况下T2为20，T3为1，T1是图像灰度值中值；
(1.3)采用KD树分割128维数据空间的数据结构便于快速索引：
(1.3.1)输入：128维空间数据集T＝{x1,x2,…,xi…,xn},其中xi＝{xi(1),xi(2),…xi(128)},i＝1….N；
(1.3.2)构造根节点：根结点对应于包含T的128维空间的超矩形区域；选择x(1)为坐标轴，以T中所有实例的x(1)坐标的中位数为切分点，将根结点对应的超矩形区域切分为两个子区域；切分由通过切分点并与坐标轴x(1)垂直的超平面实现；由根结点生成深度为1的左、右子结点：左子结点对应坐标x(1)小于切分点的子区域，右子结点对应于坐标x(1)大于切分点的子区域；将落在切分超平面上的实例点保存在根结点；
(1.3.3)重复：对深度为j的结点选择x(i)为切分的坐标轴，i＝j％128+1，以该结点的区域中所有实例的x(i)坐标的中位数为切分点，将该结点对应的超矩形区域切分为两个子区域；切分由通过切分点并与坐标轴x(i)垂直的超平面实现；由该结点生成深度为j+1的左、右子结点：左子结点对应坐标x(i)小于切分点的子区域，右子结点对应坐标x(i)大于切分点的子区域；将落在切分超平面上的实例点保存在该结点。
所述步骤(2)中，具体包括如下内容：
利用MIH方法进行快速检索；在建立索引时将长度为128维的二进制码划分为8个连续不重合的子串，每个子串的长度为16，然后为每个子串建立一个哈希表；在查询时，按照同样的方式把待查询二进制码划分为8个子串，然后在相应的哈希表中进行查找以返回候选结果，最后根据候选结果和查询之间的Hamming距离对候选结果排序，并得到最近邻，Hamming距离计算方法为：
D(X,Y)＝∑(X[i]⊕Y[i])。
所述步骤(3)中，具体包括如下内容：
(3.1)选用SIFT算法对图像进行特征检测与匹配：
(3.1.1)构建尺度空间，模拟图像数据的多尺度特征；
一幅二维图像的尺度空间定义为：
L(x,y,s)＝G(x,y,s)*I(x,y)
其中，G(x,y,s)是尺度可变高斯函数
Figure BDA0001736210700000031
利用不同尺度的高斯差分核与图像卷积生成：
D(x,y,s)＝L(x,y,ks)-L(x,y,s)
L(x,y,s)定义的是二维图像的尺度空间，x,y是空间坐标，s大小决定图像的平滑程度，G(x,y,s)是尺度可变高斯函数；
(3.1.2)寻找尺度空间的极值点，每一个采样点和它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共9×2+8＝26个点比较，以确保在尺度空间和二维图像空间都检测到极值点；一个图像点点如果在DOG尺度空间本层以及上下两层的9×2+8＝26个领域中是最大或最小值时，则认为该点是图像在该尺度下的一个候选关键点。
(3.1.3)对尺度空间D(x,y,s)进行二次泰勒展开，再利用二次泰勒展开式进行最小二乘拟合；然后通过计算拟合曲面的极值来进一步确定图像特征点的尺度和图像特征点的位置；确定了每幅图中的特征点后，为每个特征点计算一个方向，依照这个方向做进一步的计算，利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，使算子具备旋转不变性；
Figure BDA0001736210700000041
θ(x,y)＝atan2((L(x,y+1)-L(x,y-1))/L(x+1,y)-L(x-1,y)))
M(x,y)和θ(x,y)为(x,y)处梯度的模值和方向公式；其中L所用的尺度为每个关键点各自所在的尺度；至此，图像的关键点已经检测完毕，每一个关键点有三个信息：位置，所处尺度和方向，由此确定一个SIFT特征区域；
(3.1.4)生成关键点描述子；将坐标轴旋转为关键点的方向，以确保旋转不变性，以关键点为中心取8×8的窗口，然后在每4×4的小块上计算各方向的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点。一个关键点由2×2共4个种子点组成，每个种子点有8个方向向量信息。计算关键点周围的16*16的窗口中每一个像素的梯度，而且使用高斯下降函数降低远离中心的权重。这样就可以对每个特征形成一个4*4*8＝128维的描述子，每一维都可以表示4*4个格子中尺度和方向。
(3.2)根据SIFT进行图像匹配；当两幅图像的描述子生成后，下一步采用关键点特征向量的欧氏距离来作为两幅图像中关键点的相似性判定度量；取其中一幅图像中的某个关键点，并找出其与另一幅图像中欧氏距离最近的前两个关键点，在两个关键点中，如果最近的距离除以欠近的距离少于两个距离的比例阈值，则接受这一对匹配点，最后选取匹配点数最多的图像即可作为参考图像；所述比例阈值取值为0.4～0.6，优选为0.5。
有益效果：本发明和现有技术相比，显著进步在于：本发明在进行回环检测时，只需要对图像进行简单的编码，利用已有的算法对编码进行匹配即能完成目的，可操作性高。而且不需要借助图像的特征点以及提前进行提前训练，大大减小了计算量和工作强度，提高了工作效率。本方法利用关键帧描述码进行回环检测得到匹配对，与传统方法相比，解决了不能进行回环检测、工作强度大、效率低等问题，为回环检测提供了极大的便利。
附图说明
图1为本发明具体实施例的编码流程图；
图2为本发明的方法流程图。
具体实施方式
以下结合附图和具体实施例对本发明中的关键技术和具体实现方法进行详细说明。
如图1、图2所示，本发明的一种街景条件下基于图像全局描述码的回环检测算法，核心思想为：对已有的图像帧以及新进入的图像关键帧进行二进制编码，以海明距离为参考计算关键帧的K近邻，再利用SIFT算法对前K张图片与原图进行特征点提取比对操作比对两个图像间的特征相似度。得到分值最高的图。下面对本发明的各个步骤进行详细的说明。
步骤一、对已有地图的所有图像帧进行编码操作，并将编码存储在分层数据结构中以便快速索引。具体包括：
1.1、对图像进行x和y方向的梯度计算，得到灰度图像。
(1)将RGB彩色图像转化为灰度图。
Grey＝0.299×R+0.587×G+0.115×B
根据这个公式，依次读取每个像素点的R、G、B值，进行计算灰度值(转化为整型数)，将灰度值赋值给新图像的相应位置，所有像素点遍历一遍完成转换；
(2)采用索贝尔算子进行图像梯度计算，索贝尔卷积因子为：
Figure BDA0001736210700000061
该算子包含两组3×3的矩阵，分别为横向及纵向矩阵。将之与图像作平面卷积，即可分别得出横向及纵向的亮度差分近似值。以I代表原始图像，Gx及Gy分别代表经横向及纵向边缘检测的图像灰度值，其公式如下：
Gx＝[f(x+1,y-1)+2×f(x+1,y)+f(x+1,y+1)]-[f(x-1,y-1)+2×f(x-1,y)+f(x-1,y+1)]
Gy＝[f(x-1,y-1)+2f(x,y-1)+f(x+1,y-1)]-[f(x-1,y+1)+2×f(x,y+1)+f(x+1,y+1)]
其中，f(x,y)表示图像(x,y)点的灰度值。
图像的每一个像素的横向及纵向灰度值通过以下公式结合，来计算该点灰度的大小：
|G|＝|Gx|+|Gy|；
1.2、设定阈值T1，若像素点的灰度值大于该阈值则该像素点置1。设定阈值T2，将W个像素宽的图像竖组合在一起，形成一个group，在每一个group中维护一个W*H的窗口(一张1280*960图片，默认参数设置W为10，H为30)，竖直移动窗口，计算窗口中每个竖直像素列中连续的“1”的个数，当连续的“1”的个数超过T2，则将该竖直像素列置1。设置阈值T3，针对宽为W的滑动窗口图像竖，计算竖直像素列的“1”的个数，若超过T3，则整个group置1。遍历所有group，最终形成了128bits的图像描述码。根据图像的大小调节W的大小，使得描述码为128bits，默认情况下T2为20，T3为1，T1是图像灰度值中值；
1.3、采用KD树分割128维数据空间的数据结构便于快速索引。
(1)输入：128维空间数据集T＝{x1,x2,….xn},其中xi＝{xi(1),xi(2),…xi(128)},i＝1,….N；
(2)构造根节点：根结点对应于包含T的128维空间的超矩形区域。选择x(1)为坐标轴，以T中所有实例的x(1)坐标的中位数为切分点，将根结点对应的超矩形区域切分为两个子区域。切分由通过切分点并与坐标轴x(1)垂直的超平面实现。由根结点生成深度为1的左、右子结点：左子结点对应坐标x(1)小于切分点的子区域，右子结点对应于坐标x(1)大于切分点的子区域。将落在切分超平面上的实例点保存在根结点；
(3)重复：对深度为j的结点选择x(i)为切分的坐标轴，i＝j％128+1，以该结点的区域中所有实例的x(i)坐标的中位数为切分点，将该结点对应的超矩形区域切分为两个子区域。切分由通过切分点并与坐标轴x(i)垂直的超平面实现。由该结点生成深度为j+1的左、右子结点：左子结点对应坐标x(i)小于切分点的子区域，右子结点对应坐标x(i)大于切分点的子区域。将落在切分超平面上的实例点保存在该结点；
步骤二、对新采集到的关键帧也进行二进制编码，跟已有的二进制描述码进行对比，获取Hamming距离最小的前3张图片。具体包括：
利用MIH方法进行快速检索。在建立索引时将长度为128维的二进制码划分为8个连续不重合的子串，每个子串的长度为16，然后为每个子串建立一个哈希表.在查询时，按照同样的方式把待查询二进制码划分为8个子串，然后在相应的哈希表中进行查找以返回候选结果，最后根据候选结果和查询之间的Hamming距离对候选结果排序，并得到最近邻，其中海明距离计算方法为：
D(X,Y)＝∑(X[i]⊕Y[i])；
步骤三、根据步骤二获取的3张图片，将它们与新采集的图像关键帧一起进行特征点提取比对操作，比对两个图像间的特征相似度，得到分值最高的图，则获知此时机器人的位置。具体包括：
3.1、选用SIFT算法对图像进行特征检测与匹配，SIFT特征不止具有尺度不变性，即使改变旋转角度，图像亮度或拍摄视角，仍然能够得到好的检测效果。具体步骤如下：
(1)构建尺度空间，模拟图像数据的多尺度特征。一幅二维图像的尺度空
间定义为：
L(x,y,s)＝G(x,y,s)*I(x,y)
其中，G(x,y,σ)是尺度可变高斯函数
Figure BDA0001736210700000071
为了有效的在尺度空间检测到稳定的关键点，提出了高斯差分尺度空间，利用不同尺度的高斯差分核与图像卷积生成：
D(x,y,s)＝L(x,y,ks)-L(x,y,s)
对于一幅图像建立其在不同尺度的图像，也成为子八度(octave)，这是为了scale-invariant，也就是在任何尺度都能够有对应的特征点，第一个子八度的scale为原图大小，后面每个octave为上一个octave降采样的结果，即原图的1/4(长宽分别减半)，构成下一个子八度(高一层金字塔)；
(2)寻找尺度空间的极值点，每一个采样点和它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共26个点比较，以确保在尺度空间和二维图像空间都检测到极值点。一个点如果在DOG尺度空间本层以及上下两层的26个领域中是最大或最小值时，就认为该点是图像在该尺度下的一个特征点；
(3)对尺度空间D(x,y,s)进行二次泰勒展开，再利用二次泰勒展开式进行最小二乘拟合。然后通过计算拟合曲面的极值来进一步确定图像特征点的尺度和图像特征点的位置。确定了每幅图中的特征点后，，为每个特征点计算一个方向，依照这个方向做进一步的计算，利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，使算子具备旋转不变性。
Figure BDA0001736210700000081
θ(x,y)＝atan2((L(x,y+1)-L(x,y-1))/L(x+1,y)-L(x-1,y)))
M(x,y)和θ(x,y)为(x,y)处梯度的模值和方向公式。其中L所用的尺度为每个关键点各自所在的尺度。至此，图像的关键点已经检测完毕，每一个关键点有三个信息：位置，所处尺度，方向，由此确定一个SIFT特征区域；
(4)生成关键点描述子。将坐标轴旋转为关键点的方向，以确保旋转不变性，以关键点为中心取8×8的窗口，然后在每4×4的小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点。一个关键点由2×2共4个种子点组成，每个种子点有8个方向向量信息。计算关键点周围的16*16的窗口中每一个像素的梯度，而且使用高斯下降函数降低远离中心的权重。这样就可以对每个特征形成一个4*4*8＝128维的描述子，每一维都可以表示4*4个格子中尺度和方向(scale/orientation)；
3.2、根据SIFT进行图像匹配。当两幅图像的描述子生成后，下一步采用关键点特征向量的欧氏距离来作为两幅图像中关键点的相似性判定度量。取图像1中的某个关键点，并找出其与图像2中欧氏距离最近的前两个关键点，在两个关键点中，如果最近的距离除以欠近的距离少于某个比例阈值，则接受这一对匹配点，阈值取值在0.4～0.6最佳，本实施例中取值为0.5。最后选取匹配点数最多的图像即可作为参考图像。

Claims (3)

1.一种街景场景下基于全局图像条纹码的回环检测方法，其特征在于，包括如下步骤：
(1)对已有地图的所有图像帧进行编码，并将编码存储在分层数据结构中；具体包括如下内容：
(1.1)对图像进行x和y方向的梯度计算，得到灰度图像：
(1.1.1)将RGB彩色图像转化为灰度图：
Grey＝0.299×R+0.587×G+0.115×B
根据上式，依次读取每个像素点的R、G、B值，进行计算灰度值，将灰度值赋值给新图像的相应位置，所有像素点遍历一遍完成转换；
(1.1.2)采用索贝尔算子进行图像梯度计算，索贝尔卷积因子为：
Figure FDA0003151348400000011
该算子包含两组3×3的矩阵，分别为横向矩阵及纵向矩阵；将之与图像作平面卷积，即可分别得出横向及纵向的亮度差分近似值；以I代表原始图像，Gx及Gy分别代表经横向及纵向边缘检测的图像灰度值，其公式如下：
Gx＝[f(x+1,y-1)+2×f(x+1,y)+f(x+1,y+1)]-[f(x-1,y-1)+2×f(x-1,y)+f(x-1,y+1)]
Gy＝[f(x-1,y-1)+2f(x,y-1)+f(x+1,y-1)]-[f(x-1,y+1)+2×f(x,y+1)+f(x+1,y+1)]
其中，f(x,y)表示图像(x,y)像素点的灰度值，图像的每一个像素点的横向及纵向灰度值通过以下公式结合，来计算该像素点灰度的大小：
|G|＝|Gx|+|Gy|；
(1.2)设定阈值T1，若像素点的灰度值大于该阈值则该像素点置1；设定阈值T2，将W个像素宽的图像竖组合在一起，形成一个group，在每一个group中维护一个W*H的窗口，其中，W表示窗口宽度，H表示窗口长度，竖直移动窗口，计算窗口中每个竖直像素列中连续的“1”的个数，当连续的“1”的个数超过T2，则将该竖直像素列置1；设置阈值T3，针对宽为W的滑动窗口图像竖，计算竖直像素列的“1”的个数，若超过T3，则整个group置1；遍历所有group，最终形成了128bits的图像描述码；根据图像的大小调节W的大小，使得描述码为128bits，默认情况下T2为20，T3为1，T1是图像灰度值中值；
(1.3)采用KD树分割128维数据空间的数据结构便于快速索引：
(1.3.1)输入：128维空间数据集T＝{x1,x2,…,xi…,xn},其中xi＝{xi(1),xi(2),…xi(128)},i＝1….N；
(1.3.2)构造根节点：根结点对应于包含T的128维空间的超矩形区域；选择x(1)为坐标轴，以T中所有实例的x(1)坐标的中位数为切分点，将根结点对应的超矩形区域切分为两个子区域；切分由通过切分点并与坐标轴x(1)垂直的超平面实现；由根结点生成深度为1的左、右子结点：左子结点对应坐标x(1)小于切分点的子区域，右子结点对应于坐标x(1)大于切分点的子区域；将落在切分超平面上的实例点保存在根结点；
(1.3.3)重复：对深度为j的结点选择x(i)为切分的坐标轴，i＝j％128+1，以该结点的区域中所有实例的x(i)坐标的中位数为切分点，将该结点对应的超矩形区域切分为两个子区域；切分由通过切分点并与坐标轴x(i)垂直的超平面实现；由该结点生成深度为j+1的左、右子结点：左子结点对应坐标x(i)小于切分点的子区域，右子结点对应坐标x(i)大于切分点的子区域；将落在切分超平面上的实例点保存在该结点；
(2)对新采集到的关键帧也进行二进制编码，与已有的二进制描述码进行对比，获取Hamming距离最小的前K张图片；
(3)将K张图片与新采集的图像关键帧一起进行特征点提取比对操作，比对两个图像间的特征相似度，得到分值最高的图，以此获知此时机器人的位置；具体包括如下内容：
(3.1)选用SIFT算法对图像进行特征检测与匹配：
(3.1.1)构建尺度空间，模拟图像数据的多尺度特征；
一幅二维图像的尺度空间定义为：
L(x,y,s)＝G(x,y,s)*I(x,y)
其中，G(x,y,s)是尺度可变高斯函数
Figure FDA0003151348400000021
利用不同尺度的高斯差分核与图像卷积生成：
D(x,y,s)＝L(x,y,ks)-L(x,y,s)
L(x,y,s)定义的是二维图像的尺度空间，x,y是空间坐标，s大小决定图像的平滑程度，G(x,y,s)是尺度可变高斯函数；
(3.1.2)寻找尺度空间的极值点，每一个采样点和它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共9×2+8＝26个点比较，以确保在尺度空间和二维图像空间都检测到极值点；一个图像点如果在DOG尺度空间本层以及上下两层的9×2+8＝26个领域中是最大或最小值时，则认为该点是图像在该尺度下的一个候选关键点；
(3.1.3)对尺度空间D(x,y,s)进行二次泰勒展开，再利用二次泰勒展开式进行最小二乘拟合；然后通过计算拟合曲面的极值来进一步确定图像特征点的尺度和图像特征点的位置；确定了每幅图中的特征点后，为每个特征点计算一个方向，依照这个方向做进一步的计算，利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，使算子具备旋转不变性；
Figure FDA0003151348400000031
θ(x,y)＝atan2((L(x,y+1)-L(x,y-1))/L(x+1,y)-L(x-1,y)))
M(x,y)和θ(x,y)为(x,y)处梯度的模值和方向公式；其中L所用的尺度为每个关键点各自所在的尺度；至此，图像的关键点已经检测完毕，每一个关键点有三个信息：位置，所处尺度和方向，由此确定一个SIFT特征区域；
(3.1.4)生成关键点描述子；将坐标轴旋转为关键点的方向，以确保旋转不变性，以关键点为中心取8×8的窗口，然后在每4×4的小块上计算各方向的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点；一个关键点由2×2共4个种子点组成，每个种子点有8个方向向量信息；计算关键点周围的16*16的窗口中每一个像素的梯度，而且使用高斯下降函数降低远离中心的权重；这样就可以对每个特征形成一个4*4*8＝128维的描述子，每一维都可以表示4*4个格子中尺度和方向；
(3.2)根据SIFT进行图像匹配；当两幅图像的描述子生成后，下一步采用关键点特征向量的欧氏距离来作为两幅图像中关键点的相似性判定度量；取其中一幅图像中的某个关键点，并找出其与另一幅图像中欧氏距离最近的前两个关键点，在两个关键点中，如果最近的距离除以欠近的距离少于两个距离的比例阈值，则接受这一对匹配点，最后选取匹配点数最多的图像即可作为参考图像；所述比例阈值取值为0.4～0.6。
2.根据权利要求1所述的回环检测方法，其特征在于，所述步骤(2)中，具体包括如下内容：
利用MIH方法进行快速检索；在建立索引时将长度为128维的二进制码划分为8个连续不重合的子串，每个子串的长度为16，然后为每个子串建立一个哈希表；在查询时，按照同样的方式把待查询二进制码划分为8个子串，然后在相应的哈希表中进行查找以返回候选结果，最后根据候选结果和查询之间的Hamming距离对候选结果排序，并得到最近邻，Hamming距离计算方法为：
D(X,Y)＝∑(X[i]⊕Y[i])。
3.根据权利要求1所述的回环检测方法，其特征在于，所述比例阈值取值为0.5。
CN201810797155.0A 2018-07-19 2018-07-19 一种街景场景下基于全局图像条纹码的回环检测方法 Active CN109101981B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810797155.0A CN109101981B (zh) 2018-07-19 2018-07-19 一种街景场景下基于全局图像条纹码的回环检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810797155.0A CN109101981B (zh) 2018-07-19 2018-07-19 一种街景场景下基于全局图像条纹码的回环检测方法

Publications (2)

Publication Number Publication Date
CN109101981A CN109101981A (zh) 2018-12-28
CN109101981B true CN109101981B (zh) 2021-08-24

Family

ID=64846727

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810797155.0A Active CN109101981B (zh) 2018-07-19 2018-07-19 一种街景场景下基于全局图像条纹码的回环检测方法

Country Status (1)

Country Link
CN (1) CN109101981B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860050A (zh) * 2019-04-27 2020-10-30 北京初速度科技有限公司 一种基于图像帧的回环检测方法及装置、车载终端
CN110501339B (zh) * 2019-08-13 2022-03-29 江苏大学 一种复杂环境下的布面定位方法
CN111815578B (zh) * 2020-06-23 2024-05-28 浙江大华技术股份有限公司 图像条纹检测方法、视频监控***及相关装置
CN112614187B (zh) * 2020-12-31 2024-03-26 深圳市优必选科技股份有限公司 回环检测方法、装置、终端设备和可读存储介质
CN112990040B (zh) * 2021-03-25 2022-09-06 北京理工大学 一种结合全局和局部特征的鲁棒回环检测方法
CN114998216A (zh) * 2022-05-06 2022-09-02 湖北文理学院 透明件表面缺陷快速检测方法及装置
CN117475359A (zh) * 2023-12-27 2024-01-30 湖北经济学院 一种led灯的识别方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011100374A2 (en) * 2010-02-09 2011-08-18 Whitehead Institute For Biomedical Research Mediator and cohesin connect gene expression and chromatin architecture
EP3182373A1 (en) * 2015-12-17 2017-06-21 STmicroelectronics SA Improvements in determination of an ego-motion of a video apparatus in a slam type algorithm
CN106909877A (zh) * 2016-12-13 2017-06-30 浙江大学 一种基于点线综合特征的视觉同时建图与定位方法
CN107045353A (zh) * 2017-06-06 2017-08-15 江苏力德尔电子信息技术有限公司 全方位移动agv主控***及其控制方法
CN107220932A (zh) * 2017-04-18 2017-09-29 天津大学 基于词袋模型的全景图像拼接方法
CN107403163A (zh) * 2017-07-31 2017-11-28 武汉大学 一种基于深度学习的激光slam闭环检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011100374A2 (en) * 2010-02-09 2011-08-18 Whitehead Institute For Biomedical Research Mediator and cohesin connect gene expression and chromatin architecture
EP3182373A1 (en) * 2015-12-17 2017-06-21 STmicroelectronics SA Improvements in determination of an ego-motion of a video apparatus in a slam type algorithm
CN106909877A (zh) * 2016-12-13 2017-06-30 浙江大学 一种基于点线综合特征的视觉同时建图与定位方法
CN107220932A (zh) * 2017-04-18 2017-09-29 天津大学 基于词袋模型的全景图像拼接方法
CN107045353A (zh) * 2017-06-06 2017-08-15 江苏力德尔电子信息技术有限公司 全方位移动agv主控***及其控制方法
CN107403163A (zh) * 2017-07-31 2017-11-28 武汉大学 一种基于深度学习的激光slam闭环检测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Beyond SIFT using binary features in loop closure detection;Lei Han等;《2017 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)》;20170928;第4057-4063页 *
Learning binary features online from motion dynamics for incremental loop-closure detection and place recognition;Guangcong Zhang等;《2016 IEEE International Conference on Robotics and Automation (ICRA)》;20160521;第1-8页 *
MILD: Multi-index hashing for appearance based loop closure detection;Lei Han等;《2017 IEEE International Conference on Multimedia and Expo (ICME)》;20170714;第139-144页、图1-2 *
基于Kinect的移动机器人SLAM技术研究;潘心冰;《中国优秀硕士学位论文全文数据库信息科技辑》;20180215(第2期);第I140-944页 *
基于单目RGB摄像机的三维重建技术的算法研究与实现;封倩倩;《中国优秀硕士学位论文全文数据库信息科技辑》;20180415(第4期);第I138-2638页 *

Also Published As

Publication number Publication date
CN109101981A (zh) 2018-12-28

Similar Documents

Publication Publication Date Title
CN109101981B (zh) 一种街景场景下基于全局图像条纹码的回环检测方法
Melekhov et al. Dgc-net: Dense geometric correspondence network
Liu et al. Sift flow: Dense correspondence across different scenes
Odone et al. Building kernels from binary strings for image matching
Tang et al. Geometric correspondence network for camera motion estimation
CN108509925B (zh) 一种基于视觉词袋模型的行人重识别方法
Germain et al. S2dnet: Learning accurate correspondences for sparse-to-dense feature matching
Uchiyama et al. Toward augmenting everything: Detecting and tracking geometrical features on planar objects
CN105574545B (zh) 街道环境图像多视角语义切割方法及装置
Li et al. Place recognition based on deep feature and adaptive weighting of similarity matrix
Zhu et al. Deep residual text detection network for scene text
Li et al. Image Matching Algorithm based on Feature-point and DAISY Descriptor.
CN108182705A (zh) 一种基于机器视觉的三维坐标定位方法
Wang et al. Fast SIFT feature matching algorithm based on geometric transformation
CN108319961B (zh) 一种基于局部特征点的图像roi快速检测方法
Srivastava et al. Deeppoint3d: Learning discriminative local descriptors using deep metric learning on 3d point clouds
CN111709317A (zh) 一种基于显著性模型下多尺度特征的行人重识别方法
Yu et al. DNN Flow: DNN Feature Pyramid based Image Matching.
Peng Combine color and shape in real-time detection of texture-less objects
CN108897747A (zh) 一种商标图形相似度比对方法
Li et al. A new algorithm of vehicle license plate location based on convolutional neural network
Fu et al. Performance analysis of single-query 6-DoF camera pose estimation in self-driving setups
CN111160433B (zh) 一种高分辨率图像特征点的高速匹配方法及***
Yuan et al. Realtime CNN-based keypoint detector with Sobel filter and CNN-based descriptor trained with keypoint candidates
Zhang et al. Bicanet: Lidar point cloud classification network based on coordinate attention and blueprint separation involution neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant