CN113191435B - 基于改进型的视觉词典树的图像闭环检测方法 - Google Patents

基于改进型的视觉词典树的图像闭环检测方法 Download PDF

Info

Publication number
CN113191435B
CN113191435B CN202110493714.0A CN202110493714A CN113191435B CN 113191435 B CN113191435 B CN 113191435B CN 202110493714 A CN202110493714 A CN 202110493714A CN 113191435 B CN113191435 B CN 113191435B
Authority
CN
China
Prior art keywords
image
score
dictionary tree
visual dictionary
ith
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110493714.0A
Other languages
English (en)
Other versions
CN113191435A (zh
Inventor
赵勃
杭程
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202110493714.0A priority Critical patent/CN113191435B/zh
Publication of CN113191435A publication Critical patent/CN113191435A/zh
Application granted granted Critical
Publication of CN113191435B publication Critical patent/CN113191435B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/242—Dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于改进型的视觉词典树的图像闭环检测方法，包括如下步骤：步骤1，利用分层的K均值聚类方案建立视觉词典树，使用所述视觉词典树中的每个节点以及每个节点的TF‑IDF熵而得出的得分向量描述至少两张预定帧的图像；步骤2，对步骤1中的图像进行相似性计算；步骤3，利用图像在时间和空间上的约束关系来对误正闭环进行处理。本发明有效减少了闭环检测中存在的感知歧义问题并能够有效提高闭环检测召回率。

Description

基于改进型的视觉词典树的图像闭环检测方法
技术领域
本发明涉及一种基于改进型的视觉词典树的图像闭环检测方法，属于移动机器人导航技术领域。
背景技术
随着现代高科技技术的快速发展，对于移动机器人技术的研究也在不断更新进步。在自动驾驶，无人机自主导航以及场景三维重建中受到许多关注的同时定位与建图技术(Simultaneous Localization and Mapping,SLAM) 是实现移动机器人能够自主化完成任务的关键技术。同时定位与建图技术指的是当移动机器人进入一个未知的环境时，需要其通过自身携带的相机，激光雷达，IMU等传感器来构建其当前所处环境的3D环境地图，并且能够同时确定该机器人自身所处于地图中的位置。在以相机作为传感器的视觉SLAM问题中，随着追踪时间的增长，***会不停地累计误差，闭环检测技术通过判断机器人是否回到了之前访问过的环境区域，对消除机器人位姿估计的累计误差以及保持地图在长时间下的准确性有很好的效果，是 SLAM技术中的关键环节和基础问题。
现有的闭环检测方案在场景相似的情况下会存在感知歧义的问题，以及在保证准确率的情况下召回率不高的问题。
有鉴于此，确有必要提出一种基于改进型的视觉词典树的图像闭环检测方法，以解决上述问题。
发明内容
本发明的目的在于提供一种基于改进型的视觉词典树的图像闭环检测方法，以有效减少闭环检测中存在的感知歧义问题并能够有效提高闭环检测召回率。
为实现上述目的，本发明提供了一种基于改进型的视觉词典树的图像闭环检测方法，包括如下步骤：
基于改进型的视觉词典树的图像闭环检测方法，包括如下步骤：
步骤1，利用分层的K均值聚类方案建立视觉词典树，使用所述视觉词典树中的每个节点以及每个节点的TF-IDF熵而得出的得分向量描述至少两张预定帧的图像；
步骤2，对步骤1中的图像进行相似性计算；
步骤3，利用图像在时间和空间上的约束关系来对误正闭环进行处理。
作为本发明的进一步改进，步骤1包括：
步骤1-1，采用分层的K均值聚类方案来建立视觉词典树：创建一棵κ个分支数以及l层的树，对每一层的每个分支都递归调用K均值聚类方法，以得到下一层的κ个更细分支，一共调用到l层结束；
步骤1-2，对采集到的图像提取图像特征，并将图像特征投影到视觉词典树，以得到该图像对应的描述向量；
步骤1-3，利用所述视觉词典树中的不同节点的TF-IDF熵来表示图像在不同节点的得分权重：
Figure GDA0003685499480000021
其中，l表示视觉词典树的层数，i代表第l层的节点数，
Figure GDA0003685499480000022
代表图像P在视觉词典树的第l层上的第i个节点的得分权重，ni和n分别表示图像特征投影到节点i的特征点数以及特征点总数，N和Ni分别代表需要处理的图像总数以及出现有图像特征投影到节点i的图像数，λi表示变异系数；TF表示某个单词在一幅图像中出现的频率，频率越高，单词区分度就越高；IDF表示某个单词在所有单词中出现的频率，频率越低，对图像的分类越有区分度；
步骤1-4，利用图像在不同节点的得分权重将图像在整棵视觉词典树的得分向量表示为：
W(P)＝(W1(P),W2(P),…,WL(P))
其中，W(P)表示图像P的得分向量，W1(P)表示图像P在第一层上的得分向量，W2(P)表示图像P在第二层上的得分向量，WL(P)表示图像P在第 L层上的得分向量；
步骤1-5，图像P在第l层的得分向量表示为：
Figure GDA0003685499480000031
其中，Wl(P)表示图像P在第l层上的得分向量，
Figure GDA0003685499480000032
表示图像P在第 l层上第1个节点的得分向量，
Figure GDA0003685499480000033
表示图像P在第l层上第2个节点的得分向量，
Figure GDA0003685499480000034
表示图像P在第l层上第kl个节点的得分向量。
作为本发明的进一步改进，在步骤1中，所述每个节点的TF-IDF熵表示为：
Figure GDA0003685499480000035
其中，l表示视觉词典树的层数，i代表第l层的节点数，
Figure GDA0003685499480000036
代表图像P在视觉词典树的第l层上的第i个节点的得分权重，ni和n分别表示图像特征投影到节点i的特征点数以及特征点总数，N和Ni分别代表需要处理的图像总数以及出现有图像特征投影到节点i的图像数，λi表示变异系数。
作为本发明的进一步改进，所述λi的计算公式为：
Figure GDA0003685499480000037
其中CVi表示第i个节点的单词数量的变异系数，α为变异系数平均比例因子，kι代表单词数量。
作为本发明的进一步改进，所述CVi的计算公式为：
Figure GDA0003685499480000038
其中，σ表示第i个节点的单词出现次数的标准差，μ表示第i个节点的单词出现次数的平均值。
作为本发明的进一步改进，步骤2包括：
步骤2-1，利用图像P和图像Q在同一单词得分权重的最小值来表示单词的相似性得分；
步骤2-2，当存在图像M、图像P以及图像Q时，若图像M和图像Q 的相似性得分与图像P和图像Q间的相似性得分相同，则转入步骤2-3；
步骤2-3，改进相似性得分的计算公式，如下：
Figure GDA0003685499480000041
其中，
Figure GDA0003685499480000042
表示图像P和图像Q在视觉词典树中第l层上第i个节点的相似性得分，
Figure GDA0003685499480000043
表示图像P在视觉词典树中第l层上第i个节点的得分向量，
Figure GDA0003685499480000044
图像Q在视觉词典树中第l层上第i个节点的得分向量；
步骤2-4，当每幅图像存在的单词个数远远小于视觉词典树中所有单词的数量，即图像中许多单词的得分权重为0时，改进相似性得分的计算公式为：
Figure GDA0003685499480000045
其中，
Figure GDA0003685499480000046
表示图像P和图像Q在视觉词典树中第l层上第i个节点的相似性得分，
Figure GDA0003685499480000047
表示图像P在视觉词典树中第l层上第i个节点的得分向量，
Figure GDA0003685499480000048
图像Q在视觉词典树中第l层上第i个节点的得分向量；
步骤2-5，基于图像P和图像Q在视觉词典树中第l层上第i个节点的相似性得分的计算公式，定义图像P和图像Q在第l层的相似性得分的计算公式为：
Figure GDA0003685499480000049
其中，l表示视觉词典树的层数，i代表第l层的节点数，
Figure GDA00036854994800000410
表示图像P和图像Q在视觉词典树中第l层上第i个节点的相似性得分；
步骤2-6，基于图像P和图像Q在第l层的相似性得分的函数，定义图像P和图像Q在第l层的相似性得分的增量，以避免图像P和图像Q的相似性在视觉词典树中从上往下的重复累计，定义所述图像P和图像Q在第 l层的相似性得分的增量为：
Figure GDA0003685499480000051
其中，Sl(P,Q)表示图像P和图像Q在第l层的相似性计算得分，Sl+1(P,Q) 表示图像P和图像Q在第l+1层的相似性计算得分；
步骤2-7，基于步骤2-6中相似性得分的增量，定义P、Q两幅图像之间的相似性计算得分的公式为：
Figure GDA0003685499480000052
其中，K(P,Q)表示图像P和图像Q的相似性计算得分，Sl(P,Q)表示图像P和图像Q在第l层的相似性计算得分，Sl+1(P,Q)表示图像P和图像Q在第l+1层的相似性计算得分，SL(P,Q)表示图像P和图像Q在第L层的相似性计算得分，
Figure GDA0003685499480000053
表示视觉词典树的匹配强度系数。
作为本发明的进一步改进，在步骤2-1中，所述相似性得分的计算公式为：
Figure GDA0003685499480000054
其中，
Figure GDA0003685499480000055
表示图像P和图像Q在视觉词典树中第l层上第i个节点的相似性得分，
Figure GDA0003685499480000056
表示图像P在第l层上第i个节点的得分向量，
Figure GDA0003685499480000057
图像Q在第l层上第i个节点的得分向量。
作为本发明的进一步改进，在步骤2-2中，
Figure GDA0003685499480000058
其中，
Figure GDA0003685499480000059
表示图像M在视觉词典树的第 l层上的第i个节点的得分权重，
Figure GDA00036854994800000510
表示图像P在视觉词典树的第l层上的第i个节点的得分权重，
Figure GDA0003685499480000061
表示图像Q在视觉词典树的第l层上的第i个节点的得分权重。
作为本发明的进一步改进，步骤3包括：
步骤3-1、利用图像的时间一致性约束剔除误正闭环；
步骤3-2、利用图像的空间一致性约束剔除误正闭环。
本发明的有益效果是：本发明通过对视觉词典树进行调整，改进其中每个节点的TF-IDF熵表示方法；并对图像之间的相似性计算方法进行改进，从而有效地减少了闭环检测中存在的感知歧义问题并能够有效提高闭环检测召回率。
附图说明
图1是本发明基于改进型的视觉词典树的图像闭环检测方法的流程示意图。
图2中的( a) 是本发明基于改进型的视觉词典树的图像闭环检测方法与 IAB-MAP检测方法、FAB-MAP检测方法以及RTAB-MAP检测方法在数据集fr3_long_office_household中的准确率-召回率曲线图。
图2中的( b) 是本发明基于改进型的视觉词典树的图像闭环检测方法与 IAB-MAP检测方法、FAB-MAP检测方法以及RTAB-MAP检测方法在数据集fr2_pioneer_slam2中的准确率-召回率曲线图。。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。
闭环检测的作用是利用场景识别算法，将移动机器人当前的位置信息以及观察到的地图点信息相结合来判断是否回到过曾经经历的场景，在当前位姿和之前的位姿间增加约束，降低***所带来的累计误差。为了减少传统的基于视觉词袋模型(BOVW)的闭环检测算法存在的感知歧义问题。
如图1所示，针对现有技术问题，本发明提出一种改进的基于改进型的视觉词典树的图像闭环检测方法，包括如下步骤：
步骤1，利用分层的K均值聚类方案建立视觉词典树，使用视觉词典树中的每个节点以及每个节点的TF-IDF熵而得出的得分向量描述至少两张预定帧的图像；每个节点的TF-IDF熵表示为：
Figure GDA0003685499480000071
其中，l表示视觉词典树的层数，i代表第l层的节点数，
Figure GDA0003685499480000072
代表图像P在视觉词典树的第l层上的第i个节点的得分权重，ni和n分别表示图像特征投影到节点i的特征点数以及特征点总数，N和Ni分别代表需要处理的图像总数以及出现有图像特征投影到节点i的图像数，λi表示改进的变异系数；
步骤2，对步骤1中图像进行相似性计算；
步骤3，利用图像在时间和空间上的约束关系来对误正闭环进行处理。
换而言之，上述的步骤包括三个方面：1、改进的图像的向量描述；2、改进的图像之间的相似性计算方法；3、闭环后验。
1、改进的图像的向量描述。
经典的视觉词袋模型的闭环检测算法使用大量图像特征进行训练得到视觉词典树，然后对采集到的图像提取图像特征，并将图像特征投影到视觉词典树，从而得到该图像的描述向量。
本发明考虑对实际场景下大量图像的实时性计算要求，视觉词典树采用分层的K均值聚类方案来建立：创建一棵κ个分支数以及l层的树，对每一层的每个分支都递归调用K均值聚类方法，得到下一层的κ个更细分支，一共调用到l层结束。
现有技术中，定义图像在不同树节点的得分权重可以由各个树节点的 TF-IDF熵表示。TF表示某个单词在一幅图像中出现的频率，频率越高，单词区分度就越高；IDF代表某个单词在所有单词中出现的频率，频率越低，对图像的分类越有区分度。
定义TF-IDF熵为：
Figure GDA0003685499480000073
其中，l表示视觉词典树的层数，i 代表第l层的节点数，
Figure GDA0003685499480000081
代表图像P在树的第l层上的第i个节点的得分权重，ni和n分别表示投影到节点i的特征点数以及特征点总数，N和 Ni分别代表需要处理的图像总数以及出现有特征投影到节点i的图像数。
但是，对于上式定义的TF-IDF熵考虑一种情况：如表1所示，ω1，ω2，ω3这三个单词按照上式计算的IDF值相同，从TF角度看，ω1单词出现的次数最多，其得分权重最高，ω2次之，ω3最小；但实际上从单词的区分度来看，ω3单词因为在各幅图像中出现的次数相对于ω1和ω2来说跨度较大，ω3单词应该得到最高的权重。显然这两者是矛盾的。
表1数据库图像中各单词数量
Figure GDA0003685499480000082
基于这个问题，本发明引入一种改进的变异系数来帮助单词进行得分权重的计算。定义单词数量的变异系数为：
Figure GDA0003685499480000083
上式中，σ代表该单词出现次数的标准差，μ代表该单词出现次数的平均值。对于表1中ω1这种标准差为0的情况，对变异系数进行改进，定义改进的变异系数为λi：
Figure GDA0003685499480000084
其中CVi代表第i个节点所代表单词的变异系数，α为变异系数平均比例因子，κι代表视觉单词数量。
因此，改进后的TF-IDF熵表示为：
Figure GDA0003685499480000085
利用视觉词典树中不同节点改进后的TF-IDF熵作为不同视觉单词的得分权重，从而得到图像中单词的得分向量用来对场景进行描述。图像P在整棵视觉词典树的得分向量表示为：W(P)＝(W1(P),W2(P),…,WL(P))，其中 WL(P)表示图像在第L层上的得分向量，表示为：
Figure GDA0003685499480000091
具体来讲，上述步骤1包括：
步骤1-1，采用分层的K均值聚类方案来建立视觉词典树：创建一棵κ个分支数以及l层的树，对每一层的每个分支都递归调用K均值聚类方法，以得到下一层的κ个更细分支，一共调用到l层结束；
步骤1-2，对采集到的图像提取图像特征，并将图像特征投影到视觉词典树，以得到该图像对应的描述向量；
步骤1-3，利用所述视觉词典树中的不同节点的TF-IDF熵来表示图像在不同节点的得分权重：
Figure GDA0003685499480000092
其中，l表示视觉词典树的层数，i代表第l层的节点数，
Figure GDA0003685499480000093
代表图像P在视觉词典树的第l层上的第i个节点的得分权重，ni和n分别表示图像特征投影到节点i的特征点数以及特征点总数，N和Ni分别代表需要处理的图像总数以及出现有图像特征投影到节点i的图像数，λi表示改进的变异系数；TF表示某个单词在一幅图像中出现的频率，频率越高，单词区分度就越高；IDF表示某个单词在所有单词中出现的频率，频率越低，对图像的分类越有区分度；
步骤1-4，利用图像在不同节点的得分权重将图像在整棵视觉词典树的得分向量表示为：
W(P)＝(W1(P),W2(P),…,WL(P))
其中，W(P)表示图像P的得分向量，W1(P)表示图像P在第一层上的得分向量，W2(P)表示图像P在第二层上的得分向量，WL(P)表示图像P在第 L层上的得分向量；
步骤1-5，图像P在第l层的得分向量表示为：
Figure GDA0003685499480000101
其中，Wl(P)表示图像P在第l层上的得分向量，
Figure GDA0003685499480000102
表示图像P在第l层上第1个节点的得分向量，
Figure GDA0003685499480000103
表示图像P在第l层上第2个节点的得分向量，
Figure GDA0003685499480000104
表示图像P在第l层上第kl个节点的得分向量。
2、改进的相似性得分算法
对于图像间计算相似性得分的算法，现有技术中，BOVW方案是利用 P、Q两幅图像在同一单词得分权重的最小值来表示某一个单词的相似性得分的计算公式：
Figure GDA0003685499480000105
这种利用图像在同一单词得分权重的最小值来表示相似性得分，虽然能够很好的判断单个节点的相似程度，但是仍会存在一点问题。根据上式的表达，假如存在三幅图像：图像M、图像P和图像Q，满足
Figure GDA0003685499480000106
那么，就会存在图像M和图像Q的相似性得分与图像P和图像Q间的相似性得分相同。但这是与我们的认知范围相违背的，我们会认为相似度越接近的两幅图像相似性越高，图像P相比于图像 M应该和图像Q更相似。
为了避免出现上面这种感知歧义的问题，同时，还考虑到每幅图像存在的单词个数远远小于视觉词典树中所有单词的数量，所以图像中存在许多单词的得分为0，为了提高整个算法的计算效率，本发明改进上述相似性得分的计算公式为：
Figure GDA0003685499480000107
基于上述改进的新的单个节点的相似性得分的计算公式，定义图像在第l层的相似性得分函数为：
Figure GDA0003685499480000108
考虑到视觉词典树的建立是一层一层由上往下的，那么视觉词典树的某一层空间势必会包含一部分该层下一层的图像相似性。因此，为了避免相似性的重复累计，采用从最底层从下往上计算相似性得分增量的方案，那么第l层的相似性得分增量可以表示为：
Figure GDA0003685499480000111
故定义两幅图像间的相似性计算得分为：
Figure GDA0003685499480000112
其中，
Figure GDA0003685499480000113
表示匹配强度系数，用来约束词典树中不同层次之间的匹配差异。
具体来讲，步骤2包括：
步骤2-1，利用图像P和图像Q在同一单词得分权重的最小值来表示单词的相似性得分；
步骤2-2，当满足
Figure GDA0003685499480000114
时，即存在图像M和图像 Q的相似性得分与图像P和图像Q间的相似性得分相同，则转入步骤2-3；
步骤2-3，改进相似性得分的计算公式，如下：
Figure GDA0003685499480000115
其中，
Figure GDA0003685499480000116
表示图像P和图像Q在视觉词典树中第l层上第i个节点的相似性得分，
Figure GDA0003685499480000117
表示图像P在视觉词典树中第l层上第i个节点的得分向量，
Figure GDA0003685499480000118
图像Q在视觉词典树中第l层上第i个节点的得分向量；
步骤2-4，当每幅图像存在的单词个数远远小于视觉词典树中所有单词的数量，即图像中许多单词的得分权重为0时，改进相似性得分的计算公式为：
Figure GDA0003685499480000119
其中，
Figure GDA00036854994800001110
表示图像P和图像Q在视觉词典树中第l层上第i个节点的相似性得分，
Figure GDA0003685499480000121
表示图像P在视觉词典树中第l层上第i个节点的得分向量，
Figure GDA0003685499480000122
图像Q在视觉词典树中第l层上第i个节点的得分向量；
步骤2-5，基于图像P和图像Q在视觉词典树中第l层上第i个节点的相似性得分的计算公式，定义图像P和图像Q在第l层的相似性得分的计算公式为：
Figure GDA0003685499480000123
其中，l表示视觉词典树的层数，i代表第l层的节点数，
Figure GDA0003685499480000124
表示图像P和图像Q在视觉词典树中第l层上第i个节点的相似性得分；
步骤2-6，基于图像P和图像Q在第l层的相似性得分的函数，定义图像P和图像Q在第l层的相似性得分的增量，以避免图像P和图像Q的相似性在视觉词典树中从上往下的重复累计，定义所述图像P和图像Q在第 l层的相似性得分的增量为：
Figure GDA0003685499480000125
其中，Sl(P,Q)表示图像P和图像Q在第l层的相似性计算得分，Sl+1(P,Q) 表示图像P和图像Q在第l+1层的相似性计算得分；
步骤2-7，基于步骤2-6中相似性得分的增量，定义P、Q两幅图像之间的相似性计算得分的公式为：
Figure GDA0003685499480000126
其中，K(P,Q)表示图像P和图像Q的相似性计算得分，Sl(P,Q)表示图像P和图像Q在第l层的相似性计算得分，Sl+1(P,Q)表示图像P和图像Q在第l+1层的相似性计算得分，SL(P,Q)表示图像P和图像Q在第L层的相似性计算得分，
Figure GDA0003685499480000127
表示视觉词典树的匹配强度系数。
3、闭环后验
由于忽略了图像不同特征间的空间位置关系以及语义相关性，经过相似性计算得到的候选闭环中会存在一些误以为正确的闭环。本发明利用图像在时间和空间上的约束关系来对误正闭环进行处理。
具体地，步骤3包括：
步骤3-1，利用时间一致性约束剔除误正闭环。因为机器人是在一段连续时间内运行的，所以机器人采集的图像在时间上也应该是连续的，相邻的图像应该对应同一场景的连续性变化，也因此当某一时刻存在闭环时，后面几个时刻也应该对应存在闭环，如果候选闭环不满足这个时间一致性的约束，就将它剔除。
步骤3-2，利用空间一致性约束剔除误正闭环。当产生闭环现象时，产生闭环的两幅图像应该对应同一个场景，只是图像的成像角度是有区别的，因此这两幅图像可以利用空间一致性约束来剔除误正闭环。通过两幅图像的位姿进行特征点匹配来计算基础矩阵，将基础矩阵的内点数与设定的阈值进行比较，如果超过阈值，则保留这两幅图像成为闭环。
下面将对使用本发明基于改进型的视觉词典树的图像闭环检测方法的多次实验进行分析说明。在闭环检测问题中，评价闭环检测性能的重要指标是准确率-召回率曲线，准确率表示：在所有算法检测到的闭环中真实的闭环所占的比例，召回率表示：算法正确检测到的闭环占所有实际闭环的百分比。准确率和召回率的计算公式分别如下面公式所示：
Figure GDA0003685499480000131
Figure GDA0003685499480000132
其中，TP表示算法检测出来的闭环中正确闭环的数目，FP表示算法检测到的闭环中实际不是闭环的数目，FN表示算法没有检测到，而实际结果是闭环的数目。
如图2中的( a) 和图2中的( b) 所示，为了展示本发明所提出的图像对应的描述向量以及相似性得分的计算公式的作用，在TUM RGB-D数据集中，选取了两个数据集进行实验验证。第一个是在复杂室内环境下的数据集fr3_long_office_household；第二个是环境极其相似，易造成感知歧义的数据集fr2_pioneer_slam2。将本发明的基于改进型的视觉词典树的图像闭环检测方法与IAB-MAP、FAB-MAP以及RTAB-MAP这几个经典的图像闭环检测算法，分别在数据集fr3_long_office_household和数据集fr2_pioneer_slam2 中进行比较。由图2中的 (a)和图2中的 (b)可知，本发明的基于改进型的视觉词典树的图像闭环检测方法，在100％的准确率的情况下有更高的召回率，因此可以有效减少感知歧义的影响。
综上所述，利用视觉词典树中的每个节点以及节点的TF-IDF熵组成向量，描述至少两张预定帧的图像，对向量表示的图像进行相似性计算，利用图像在时间和空间上的约束关系来对误正闭环进行处理；进一步，对所述视觉词典树的建立进行调整，改进其中每个节点的TF-IDF熵表示方法；对所述相似性计算方法进行改进，以减少闭环检测中存在的感知歧义问题；对误正闭环分别利用时间一致性和空间一致性进行处理，剔除误以为正确的闭环，最终确定正确闭环。本发明能够有效减少闭环检测中存在的感知歧义问题并能够有效提高闭环检测召回率。
以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围。

Claims (8)

1.一种基于改进型的视觉词典树的图像闭环检测方法，其特征在于，包括如下步骤：
步骤1，利用分层的K均值聚类方案建立视觉词典树，使用所述视觉词典树中的每个节点以及每个节点的TF-IDF熵而得出的得分向量描述至少两张预定帧的图像；
步骤2，对步骤1中的图像进行相似性计算；
步骤2-1，利用图像P和图像Q在同一单词得分权重的最小值来表示单词的相似性得分；
步骤2-2，当存在图像M、图像P以及图像Q时，若图像M和图像Q的相似性得分与图像P和图像Q间的相似性得分相同，则转入步骤2-3；
步骤2-3，改进相似性得分的计算公式，如下：
Figure FDA0003685499470000011
其中，
Figure FDA0003685499470000012
表示图像P和图像Q在视觉词典树中第l层上第i个节点的相似性得分，
Figure FDA0003685499470000013
表示图像P在视觉词典树中第l层上第i个节点的得分向量，
Figure FDA0003685499470000014
图像Q在视觉词典树中第l层上第i个节点的得分向量；
步骤2-4，当每幅图像存在的单词个数远远小于视觉词典树中所有单词的数量，即图像中许多单词的得分权重为0时，改进相似性得分的计算公式为：
Figure FDA0003685499470000015
其中，
Figure FDA0003685499470000016
表示图像P和图像Q在视觉词典树中第l层上第i个节点的相似性得分，
Figure FDA0003685499470000017
表示图像P在视觉词典树中第l层上第i个节点的得分向量，
Figure FDA0003685499470000018
图像Q在视觉词典树中第l层上第i个节点的得分向量；
步骤2-5，基于图像P和图像Q在视觉词典树中第l层上第i个节点的相似性得分的计算公式，定义图像P和图像Q在第l层的相似性得分的计算公式为：
Figure FDA0003685499470000021
其中，l表示视觉词典树的层数，i代表第l层的节点数，
Figure FDA0003685499470000022
表示图像P和图像Q在视觉词典树中第l层上第i个节点的相似性得分；
步骤2-6，基于图像P和图像Q在第l层的相似性得分的函数，定义图像P和图像Q在第l层的相似性得分的增量，以避免图像P和图像Q的相似性在视觉词典树中从上往下的重复累计，定义所述图像P和图像Q在第l层的相似性得分的增量为：
Figure FDA0003685499470000023
其中，Sl(P,Q)表示图像P和图像Q在第l层的相似性计算得分，Sl+1(P,Q)表示图像P和图像Q在第l+1层的相似性计算得分；
步骤2-7，基于步骤2-6中相似性得分的增量，定义P、Q两幅图像之间的相似性计算得分的公式为：
Figure FDA0003685499470000024
其中，K(P,Q)表示图像P和图像Q的相似性计算得分，Sl(P,Q)表示图像P和图像Q在第l层的相似性计算得分，Sl+1(P,Q)表示图像P和图像Q在第l+1层的相似性计算得分，SL(P,Q)表示图像P和图像Q在第L层的相似性计算得分，
Figure FDA0003685499470000025
表示视觉词典树的匹配强度系数；
步骤3，利用图像在时间和空间上的约束关系来对误正闭环进行处理。
2.根据权利要求1所述的基于改进型的视觉词典树的图像闭环检测方法，其特征在于，步骤1包括：
步骤1-1，采用分层的K均值聚类方案来建立视觉词典树：创建一棵κ个分支数以及l层的树，对每一层的每个分支都递归调用K均值聚类方法，以得到下一层的κ个更细分支，一共调用到l层结束；
步骤1-2，对采集到的图像提取图像特征，并将图像特征投影到视觉词典树，以得到该图像对应的描述向量；
步骤1-3，利用所述视觉词典树中的不同节点的TF-IDF熵来表示图像在不同节点的得分权重：
Figure FDA0003685499470000031
其中，l表示视觉词典树的层数，i代表第l层的节点数，
Figure FDA0003685499470000032
代表图像P在视觉词典树的第l层上的第i个节点的得分权重，ni和n分别表示图像特征投影到节点i的特征点数以及特征点总数，N和Ni分别代表需要处理的图像总数以及出现有图像特征投影到节点i的图像数，λi表示变异系数；TF表示某个单词在一幅图像中出现的频率，频率越高，单词区分度就越高；IDF表示某个单词在所有单词中出现的频率，频率越低，对图像的分类越有区分度；
步骤1-4，利用图像在不同节点的得分权重将图像在整棵视觉词典树的得分向量表示为：
W(P)＝(W1(P),W2(P),…,WL(P))
其中，W(P)表示图像P的得分向量，W1(P)表示图像P在第一层上的得分向量，W2(P)表示图像P在第二层上的得分向量，WL(P)表示图像P在第L层上的得分向量；
步骤1-5，图像P在第l层的得分向量表示为：
Figure FDA0003685499470000033
其中，Wl(P)表示图像P在第l层上的得分向量，
Figure FDA0003685499470000034
表示图像P在第l层上第1个节点的得分向量，
Figure FDA0003685499470000035
表示图像P在第l层上第2个节点的得分向量，
Figure FDA0003685499470000036
表示图像P在第l层上第kl个节点的得分向量。
3.根据权利要求1所述的基于改进型的视觉词典树的图像闭环检测方法，其特征在于，在步骤1中，所述每个节点的TF-IDF熵表示为：
Figure FDA0003685499470000037
其中，l表示视觉词典树的层数，i代表第l层的节点数，
Figure FDA0003685499470000041
代表图像P在视觉词典树的第l层上的第i个节点的得分权重，ni和n分别表示图像特征投影到节点i的特征点数以及特征点总数，N和Ni分别代表需要处理的图像总数以及出现有图像特征投影到节点i的图像数，λi表示变异系数。
4.根据权利要求3所述的基于改进型的视觉词典树的图像闭环检测方法，其特征在于，所述λi的计算公式为：
Figure FDA0003685499470000042
其中CVi表示第i个节点的单词数量的变异系数，α为变异系数平均比例因子，kι代表单词数量。
5.根据权利要求4所述的基于改进型的视觉词典树的图像闭环检测方法，其特征在于，所述CVi的计算公式为：
Figure FDA0003685499470000043
其中，σ表示第i个节点的单词出现次数的标准差，μ表示第i个节点的单词出现次数的平均值。
6.根据权利要求1所述的基于改进型的视觉词典树的图像闭环检测方法，其特征在于，在步骤2-1中，所述相似性得分的计算公式为：
Figure FDA0003685499470000044
其中，
Figure FDA0003685499470000045
表示图像P和图像Q在视觉词典树中第l层上第i个节点的相似性得分，
Figure FDA0003685499470000046
表示图像P在第l层上第i个节点的得分向量，
Figure FDA0003685499470000047
图像Q在第l层上第i个节点的得分向量。
7.根据权利要求1所述的基于改进型的视觉词典树的图像闭环检测方法，其特征在于，在步骤2-2中，
Figure FDA0003685499470000048
其中，
Figure FDA0003685499470000051
表示图像M在视觉词典树的第l层上的第i个节点的得分权重，
Figure FDA0003685499470000052
表示图像P在视觉词典树的第l层上的第i个节点的得分权重，
Figure FDA0003685499470000053
表示图像Q在视觉词典树的第l层上的第i个节点的得分权重。
8.根据权利要求1所述的基于改进型的视觉词典树的图像闭环检测方法，其特征在于，步骤3包括：
步骤3-1、利用图像的时间一致性约束剔除误正闭环；
步骤3-2、利用图像的空间一致性约束剔除误正闭环。
CN202110493714.0A 2021-05-07 2021-05-07 基于改进型的视觉词典树的图像闭环检测方法 Active CN113191435B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110493714.0A CN113191435B (zh) 2021-05-07 2021-05-07 基于改进型的视觉词典树的图像闭环检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110493714.0A CN113191435B (zh) 2021-05-07 2021-05-07 基于改进型的视觉词典树的图像闭环检测方法

Publications (2)

Publication Number Publication Date
CN113191435A CN113191435A (zh) 2021-07-30
CN113191435B true CN113191435B (zh) 2022-08-23

Family

ID=76983907

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110493714.0A Active CN113191435B (zh) 2021-05-07 2021-05-07 基于改进型的视觉词典树的图像闭环检测方法

Country Status (1)

Country Link
CN (1) CN113191435B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102831446A (zh) * 2012-08-20 2012-12-19 南京邮电大学 单目视觉slam中基于图像外观的闭环检测方法
CN107886129A (zh) * 2017-11-13 2018-04-06 湖南大学 一种基于视觉词袋的移动机器人地图闭环检测方法
CN110472585A (zh) * 2019-08-16 2019-11-19 中南大学 一种基于惯导姿态轨迹信息辅助的vi-slam闭环检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102831446A (zh) * 2012-08-20 2012-12-19 南京邮电大学 单目视觉slam中基于图像外观的闭环检测方法
CN107886129A (zh) * 2017-11-13 2018-04-06 湖南大学 一种基于视觉词袋的移动机器人地图闭环检测方法
CN110472585A (zh) * 2019-08-16 2019-11-19 中南大学 一种基于惯导姿态轨迹信息辅助的vi-slam闭环检测方法

Also Published As

Publication number Publication date
CN113191435A (zh) 2021-07-30

Similar Documents

Publication Publication Date Title
CN110223324B (zh) 一种基于鲁棒特征表示的孪生匹配网络的目标跟踪方法
Cieslewski et al. Point cloud descriptors for place recognition using sparse visual information
CN107886129B (zh) 一种基于视觉词袋的移动机器人地图闭环检测方法
CN110781790A (zh) 基于卷积神经网络与vlad的视觉slam闭环检测方法
CN110717927A (zh) 基于深度学习和视惯融合的室内机器人运动估计方法
CN110427807A (zh) 一种时序事件动作检测方法
Lee et al. Place recognition using straight lines for vision-based SLAM
CN110110694B (zh) 一种基于目标检测的视觉slam闭环检测方法
CN109285180B (zh) 一种3d的道路车辆跟踪方法
CN110427797B (zh) 一种基于几何条件限制的三维车辆检测方法
CN110969648B (zh) 一种基于点云序列数据的3d目标跟踪方法及***
CN113674416A (zh) 三维地图的构建方法、装置、电子设备及存储介质
CN104615998B (zh) 一种基于多视角的车辆检索方法
CN112287906B (zh) 一种基于深度特征融合的模板匹配跟踪方法及***
CN112507778B (zh) 一种基于线特征的改进词袋模型的回环检测方法
CN110569706A (zh) 一种基于时间和空间网络的深度集成目标跟踪算法
CN112084895A (zh) 一种基于深度学习的行人重识别方法
CN115359366A (zh) 基于参数优化的遥感图像目标检测方法
CN115187786A (zh) 一种基于旋转的CenterNet2目标检测方法
CN109697727A (zh) 基于相关滤波和度量学习的目标跟踪方法、***及存储介质
CN111291785A (zh) 目标检测的方法、装置、设备及存储介质
CN117213470B (zh) 一种多机碎片地图聚合更新方法及***
CN114297237A (zh) 基于类别融合的三维点云数据检索方法、装置及计算机设备
CN114046790A (zh) 一种因子图双重回环的检测方法
Wang et al. Object detection algorithm based on improved Yolov3-tiny network in traffic scenes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant