CN113191435B - 基于改进型的视觉词典树的图像闭环检测方法 - Google Patents
基于改进型的视觉词典树的图像闭环检测方法 Download PDFInfo
- Publication number
- CN113191435B CN113191435B CN202110493714.0A CN202110493714A CN113191435B CN 113191435 B CN113191435 B CN 113191435B CN 202110493714 A CN202110493714 A CN 202110493714A CN 113191435 B CN113191435 B CN 113191435B
- Authority
- CN
- China
- Prior art keywords
- image
- score
- dictionary tree
- visual dictionary
- ith
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 116
- 238000001514 detection method Methods 0.000 title claims abstract description 47
- 239000013598 vector Substances 0.000 claims abstract description 62
- 238000004364 calculation method Methods 0.000 claims abstract description 54
- 238000000034 method Methods 0.000 claims abstract description 11
- 238000003064 k means clustering Methods 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims abstract description 6
- 238000009825 accumulation Methods 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims 1
- 230000008447 perception Effects 0.000 abstract description 8
- 238000005516 engineering process Methods 0.000 description 7
- 230000006872 improvement Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24323—Tree-organised classifiers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/216—Parsing using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/237—Lexical tools
- G06F40/242—Dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于改进型的视觉词典树的图像闭环检测方法,包括如下步骤:步骤1,利用分层的K均值聚类方案建立视觉词典树,使用所述视觉词典树中的每个节点以及每个节点的TF‑IDF熵而得出的得分向量描述至少两张预定帧的图像;步骤2,对步骤1中的图像进行相似性计算;步骤3,利用图像在时间和空间上的约束关系来对误正闭环进行处理。本发明有效减少了闭环检测中存在的感知歧义问题并能够有效提高闭环检测召回率。
Description
技术领域
本发明涉及一种基于改进型的视觉词典树的图像闭环检测方法,属于移动机器人导航技术领域。
背景技术
随着现代高科技技术的快速发展,对于移动机器人技术的研究也在不断更新进步。在自动驾驶,无人机自主导航以及场景三维重建中受到许多关注的同时定位与建图技术(Simultaneous Localization and Mapping,SLAM) 是实现移动机器人能够自主化完成任务的关键技术。同时定位与建图技术指的是当移动机器人进入一个未知的环境时,需要其通过自身携带的相机,激光雷达,IMU等传感器来构建其当前所处环境的3D环境地图,并且能够同时确定该机器人自身所处于地图中的位置。在以相机作为传感器的视觉SLAM问题中,随着追踪时间的增长,***会不停地累计误差,闭环检测技术通过判断机器人是否回到了之前访问过的环境区域,对消除机器人位姿估计的累计误差以及保持地图在长时间下的准确性有很好的效果,是 SLAM技术中的关键环节和基础问题。
现有的闭环检测方案在场景相似的情况下会存在感知歧义的问题,以及在保证准确率的情况下召回率不高的问题。
有鉴于此,确有必要提出一种基于改进型的视觉词典树的图像闭环检测方法,以解决上述问题。
发明内容
本发明的目的在于提供一种基于改进型的视觉词典树的图像闭环检测方法,以有效减少闭环检测中存在的感知歧义问题并能够有效提高闭环检测召回率。
为实现上述目的,本发明提供了一种基于改进型的视觉词典树的图像闭环检测方法,包括如下步骤:
基于改进型的视觉词典树的图像闭环检测方法,包括如下步骤:
步骤1,利用分层的K均值聚类方案建立视觉词典树,使用所述视觉词典树中的每个节点以及每个节点的TF-IDF熵而得出的得分向量描述至少两张预定帧的图像;
步骤2,对步骤1中的图像进行相似性计算;
步骤3,利用图像在时间和空间上的约束关系来对误正闭环进行处理。
作为本发明的进一步改进,步骤1包括:
步骤1-1,采用分层的K均值聚类方案来建立视觉词典树:创建一棵κ个分支数以及l层的树,对每一层的每个分支都递归调用K均值聚类方法,以得到下一层的κ个更细分支,一共调用到l层结束;
步骤1-2,对采集到的图像提取图像特征,并将图像特征投影到视觉词典树,以得到该图像对应的描述向量;
步骤1-3,利用所述视觉词典树中的不同节点的TF-IDF熵来表示图像在不同节点的得分权重:其中,l表示视觉词典树的层数,i代表第l层的节点数,代表图像P在视觉词典树的第l层上的第i个节点的得分权重,ni和n分别表示图像特征投影到节点i的特征点数以及特征点总数,N和Ni分别代表需要处理的图像总数以及出现有图像特征投影到节点i的图像数,λi表示变异系数;TF表示某个单词在一幅图像中出现的频率,频率越高,单词区分度就越高;IDF表示某个单词在所有单词中出现的频率,频率越低,对图像的分类越有区分度;
步骤1-4,利用图像在不同节点的得分权重将图像在整棵视觉词典树的得分向量表示为:
W(P)=(W1(P),W2(P),…,WL(P))
其中,W(P)表示图像P的得分向量,W1(P)表示图像P在第一层上的得分向量,W2(P)表示图像P在第二层上的得分向量,WL(P)表示图像P在第 L层上的得分向量;
步骤1-5,图像P在第l层的得分向量表示为:
作为本发明的进一步改进,在步骤1中,所述每个节点的TF-IDF熵表示为:
其中,l表示视觉词典树的层数,i代表第l层的节点数,代表图像P在视觉词典树的第l层上的第i个节点的得分权重,ni和n分别表示图像特征投影到节点i的特征点数以及特征点总数,N和Ni分别代表需要处理的图像总数以及出现有图像特征投影到节点i的图像数,λi表示变异系数。
作为本发明的进一步改进,所述λi的计算公式为:
其中CVi表示第i个节点的单词数量的变异系数,α为变异系数平均比例因子,kι代表单词数量。
作为本发明的进一步改进,所述CVi的计算公式为:
其中,σ表示第i个节点的单词出现次数的标准差,μ表示第i个节点的单词出现次数的平均值。
作为本发明的进一步改进,步骤2包括:
步骤2-1,利用图像P和图像Q在同一单词得分权重的最小值来表示单词的相似性得分;
步骤2-2,当存在图像M、图像P以及图像Q时,若图像M和图像Q 的相似性得分与图像P和图像Q间的相似性得分相同,则转入步骤2-3;
步骤2-3,改进相似性得分的计算公式,如下:
步骤2-4,当每幅图像存在的单词个数远远小于视觉词典树中所有单词的数量,即图像中许多单词的得分权重为0时,改进相似性得分的计算公式为:
步骤2-5,基于图像P和图像Q在视觉词典树中第l层上第i个节点的相似性得分的计算公式,定义图像P和图像Q在第l层的相似性得分的计算公式为:
步骤2-6,基于图像P和图像Q在第l层的相似性得分的函数,定义图像P和图像Q在第l层的相似性得分的增量,以避免图像P和图像Q的相似性在视觉词典树中从上往下的重复累计,定义所述图像P和图像Q在第 l层的相似性得分的增量为:
其中,Sl(P,Q)表示图像P和图像Q在第l层的相似性计算得分,Sl+1(P,Q) 表示图像P和图像Q在第l+1层的相似性计算得分;
步骤2-7,基于步骤2-6中相似性得分的增量,定义P、Q两幅图像之间的相似性计算得分的公式为:
其中,K(P,Q)表示图像P和图像Q的相似性计算得分,Sl(P,Q)表示图像P和图像Q在第l层的相似性计算得分,Sl+1(P,Q)表示图像P和图像Q在第l+1层的相似性计算得分,SL(P,Q)表示图像P和图像Q在第L层的相似性计算得分,表示视觉词典树的匹配强度系数。
作为本发明的进一步改进,在步骤2-1中,所述相似性得分的计算公式为:
作为本发明的进一步改进,在步骤2-2中,其中,表示图像M在视觉词典树的第 l层上的第i个节点的得分权重,表示图像P在视觉词典树的第l层上的第i个节点的得分权重,表示图像Q在视觉词典树的第l层上的第i个节点的得分权重。
作为本发明的进一步改进,步骤3包括:
步骤3-1、利用图像的时间一致性约束剔除误正闭环;
步骤3-2、利用图像的空间一致性约束剔除误正闭环。
本发明的有益效果是:本发明通过对视觉词典树进行调整,改进其中每个节点的TF-IDF熵表示方法;并对图像之间的相似性计算方法进行改进,从而有效地减少了闭环检测中存在的感知歧义问题并能够有效提高闭环检测召回率。
附图说明
图1是本发明基于改进型的视觉词典树的图像闭环检测方法的流程示意图。
图2中的( a) 是本发明基于改进型的视觉词典树的图像闭环检测方法与 IAB-MAP检测方法、FAB-MAP检测方法以及RTAB-MAP检测方法在数据集fr3_long_office_household中的准确率-召回率曲线图。
图2中的( b) 是本发明基于改进型的视觉词典树的图像闭环检测方法与 IAB-MAP检测方法、FAB-MAP检测方法以及RTAB-MAP检测方法在数据集fr2_pioneer_slam2中的准确率-召回率曲线图。。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面结合附图和具体实施例对本发明进行详细描述。
闭环检测的作用是利用场景识别算法,将移动机器人当前的位置信息以及观察到的地图点信息相结合来判断是否回到过曾经经历的场景,在当前位姿和之前的位姿间增加约束,降低***所带来的累计误差。为了减少传统的基于视觉词袋模型(BOVW)的闭环检测算法存在的感知歧义问题。
如图1所示,针对现有技术问题,本发明提出一种改进的基于改进型的视觉词典树的图像闭环检测方法,包括如下步骤:
步骤1,利用分层的K均值聚类方案建立视觉词典树,使用视觉词典树中的每个节点以及每个节点的TF-IDF熵而得出的得分向量描述至少两张预定帧的图像;每个节点的TF-IDF熵表示为:其中,l表示视觉词典树的层数,i代表第l层的节点数,代表图像P在视觉词典树的第l层上的第i个节点的得分权重,ni和n分别表示图像特征投影到节点i的特征点数以及特征点总数,N和Ni分别代表需要处理的图像总数以及出现有图像特征投影到节点i的图像数,λi表示改进的变异系数;
步骤2,对步骤1中图像进行相似性计算;
步骤3,利用图像在时间和空间上的约束关系来对误正闭环进行处理。
换而言之,上述的步骤包括三个方面:1、改进的图像的向量描述;2、改进的图像之间的相似性计算方法;3、闭环后验。
1、改进的图像的向量描述。
经典的视觉词袋模型的闭环检测算法使用大量图像特征进行训练得到视觉词典树,然后对采集到的图像提取图像特征,并将图像特征投影到视觉词典树,从而得到该图像的描述向量。
本发明考虑对实际场景下大量图像的实时性计算要求,视觉词典树采用分层的K均值聚类方案来建立:创建一棵κ个分支数以及l层的树,对每一层的每个分支都递归调用K均值聚类方法,得到下一层的κ个更细分支,一共调用到l层结束。
现有技术中,定义图像在不同树节点的得分权重可以由各个树节点的 TF-IDF熵表示。TF表示某个单词在一幅图像中出现的频率,频率越高,单词区分度就越高;IDF代表某个单词在所有单词中出现的频率,频率越低,对图像的分类越有区分度。
定义TF-IDF熵为:其中,l表示视觉词典树的层数,i 代表第l层的节点数,代表图像P在树的第l层上的第i个节点的得分权重,ni和n分别表示投影到节点i的特征点数以及特征点总数,N和 Ni分别代表需要处理的图像总数以及出现有特征投影到节点i的图像数。
但是,对于上式定义的TF-IDF熵考虑一种情况:如表1所示,ω1,ω2,ω3这三个单词按照上式计算的IDF值相同,从TF角度看,ω1单词出现的次数最多,其得分权重最高,ω2次之,ω3最小;但实际上从单词的区分度来看,ω3单词因为在各幅图像中出现的次数相对于ω1和ω2来说跨度较大,ω3单词应该得到最高的权重。显然这两者是矛盾的。
表1数据库图像中各单词数量
基于这个问题,本发明引入一种改进的变异系数来帮助单词进行得分权重的计算。定义单词数量的变异系数为:
上式中,σ代表该单词出现次数的标准差,μ代表该单词出现次数的平均值。对于表1中ω1这种标准差为0的情况,对变异系数进行改进,定义改进的变异系数为λi:
其中CVi代表第i个节点所代表单词的变异系数,α为变异系数平均比例因子,κι代表视觉单词数量。
因此,改进后的TF-IDF熵表示为:
利用视觉词典树中不同节点改进后的TF-IDF熵作为不同视觉单词的得分权重,从而得到图像中单词的得分向量用来对场景进行描述。图像P在整棵视觉词典树的得分向量表示为:W(P)=(W1(P),W2(P),…,WL(P)),其中 WL(P)表示图像在第L层上的得分向量,表示为:
具体来讲,上述步骤1包括:
步骤1-1,采用分层的K均值聚类方案来建立视觉词典树:创建一棵κ个分支数以及l层的树,对每一层的每个分支都递归调用K均值聚类方法,以得到下一层的κ个更细分支,一共调用到l层结束;
步骤1-2,对采集到的图像提取图像特征,并将图像特征投影到视觉词典树,以得到该图像对应的描述向量;
步骤1-3,利用所述视觉词典树中的不同节点的TF-IDF熵来表示图像在不同节点的得分权重:其中,l表示视觉词典树的层数,i代表第l层的节点数,代表图像P在视觉词典树的第l层上的第i个节点的得分权重,ni和n分别表示图像特征投影到节点i的特征点数以及特征点总数,N和Ni分别代表需要处理的图像总数以及出现有图像特征投影到节点i的图像数,λi表示改进的变异系数;TF表示某个单词在一幅图像中出现的频率,频率越高,单词区分度就越高;IDF表示某个单词在所有单词中出现的频率,频率越低,对图像的分类越有区分度;
步骤1-4,利用图像在不同节点的得分权重将图像在整棵视觉词典树的得分向量表示为:
W(P)=(W1(P),W2(P),…,WL(P))
其中,W(P)表示图像P的得分向量,W1(P)表示图像P在第一层上的得分向量,W2(P)表示图像P在第二层上的得分向量,WL(P)表示图像P在第 L层上的得分向量;
步骤1-5,图像P在第l层的得分向量表示为:
2、改进的相似性得分算法
对于图像间计算相似性得分的算法,现有技术中,BOVW方案是利用 P、Q两幅图像在同一单词得分权重的最小值来表示某一个单词的相似性得分的计算公式:
这种利用图像在同一单词得分权重的最小值来表示相似性得分,虽然能够很好的判断单个节点的相似程度,但是仍会存在一点问题。根据上式的表达,假如存在三幅图像:图像M、图像P和图像Q,满足那么,就会存在图像M和图像Q的相似性得分与图像P和图像Q间的相似性得分相同。但这是与我们的认知范围相违背的,我们会认为相似度越接近的两幅图像相似性越高,图像P相比于图像 M应该和图像Q更相似。
为了避免出现上面这种感知歧义的问题,同时,还考虑到每幅图像存在的单词个数远远小于视觉词典树中所有单词的数量,所以图像中存在许多单词的得分为0,为了提高整个算法的计算效率,本发明改进上述相似性得分的计算公式为:
基于上述改进的新的单个节点的相似性得分的计算公式,定义图像在第l层的相似性得分函数为:考虑到视觉词典树的建立是一层一层由上往下的,那么视觉词典树的某一层空间势必会包含一部分该层下一层的图像相似性。因此,为了避免相似性的重复累计,采用从最底层从下往上计算相似性得分增量的方案,那么第l层的相似性得分增量可以表示为:
故定义两幅图像间的相似性计算得分为:
具体来讲,步骤2包括:
步骤2-1,利用图像P和图像Q在同一单词得分权重的最小值来表示单词的相似性得分;
步骤2-3,改进相似性得分的计算公式,如下:
步骤2-4,当每幅图像存在的单词个数远远小于视觉词典树中所有单词的数量,即图像中许多单词的得分权重为0时,改进相似性得分的计算公式为:
步骤2-5,基于图像P和图像Q在视觉词典树中第l层上第i个节点的相似性得分的计算公式,定义图像P和图像Q在第l层的相似性得分的计算公式为:
步骤2-6,基于图像P和图像Q在第l层的相似性得分的函数,定义图像P和图像Q在第l层的相似性得分的增量,以避免图像P和图像Q的相似性在视觉词典树中从上往下的重复累计,定义所述图像P和图像Q在第 l层的相似性得分的增量为:
其中,Sl(P,Q)表示图像P和图像Q在第l层的相似性计算得分,Sl+1(P,Q) 表示图像P和图像Q在第l+1层的相似性计算得分;
步骤2-7,基于步骤2-6中相似性得分的增量,定义P、Q两幅图像之间的相似性计算得分的公式为:
其中,K(P,Q)表示图像P和图像Q的相似性计算得分,Sl(P,Q)表示图像P和图像Q在第l层的相似性计算得分,Sl+1(P,Q)表示图像P和图像Q在第l+1层的相似性计算得分,SL(P,Q)表示图像P和图像Q在第L层的相似性计算得分,表示视觉词典树的匹配强度系数。
3、闭环后验
由于忽略了图像不同特征间的空间位置关系以及语义相关性,经过相似性计算得到的候选闭环中会存在一些误以为正确的闭环。本发明利用图像在时间和空间上的约束关系来对误正闭环进行处理。
具体地,步骤3包括:
步骤3-1,利用时间一致性约束剔除误正闭环。因为机器人是在一段连续时间内运行的,所以机器人采集的图像在时间上也应该是连续的,相邻的图像应该对应同一场景的连续性变化,也因此当某一时刻存在闭环时,后面几个时刻也应该对应存在闭环,如果候选闭环不满足这个时间一致性的约束,就将它剔除。
步骤3-2,利用空间一致性约束剔除误正闭环。当产生闭环现象时,产生闭环的两幅图像应该对应同一个场景,只是图像的成像角度是有区别的,因此这两幅图像可以利用空间一致性约束来剔除误正闭环。通过两幅图像的位姿进行特征点匹配来计算基础矩阵,将基础矩阵的内点数与设定的阈值进行比较,如果超过阈值,则保留这两幅图像成为闭环。
下面将对使用本发明基于改进型的视觉词典树的图像闭环检测方法的多次实验进行分析说明。在闭环检测问题中,评价闭环检测性能的重要指标是准确率-召回率曲线,准确率表示:在所有算法检测到的闭环中真实的闭环所占的比例,召回率表示:算法正确检测到的闭环占所有实际闭环的百分比。准确率和召回率的计算公式分别如下面公式所示:
其中,TP表示算法检测出来的闭环中正确闭环的数目,FP表示算法检测到的闭环中实际不是闭环的数目,FN表示算法没有检测到,而实际结果是闭环的数目。
如图2中的( a) 和图2中的( b) 所示,为了展示本发明所提出的图像对应的描述向量以及相似性得分的计算公式的作用,在TUM RGB-D数据集中,选取了两个数据集进行实验验证。第一个是在复杂室内环境下的数据集fr3_long_office_household;第二个是环境极其相似,易造成感知歧义的数据集fr2_pioneer_slam2。将本发明的基于改进型的视觉词典树的图像闭环检测方法与IAB-MAP、FAB-MAP以及RTAB-MAP这几个经典的图像闭环检测算法,分别在数据集fr3_long_office_household和数据集fr2_pioneer_slam2 中进行比较。由图2中的 (a)和图2中的 (b)可知,本发明的基于改进型的视觉词典树的图像闭环检测方法,在100%的准确率的情况下有更高的召回率,因此可以有效减少感知歧义的影响。
综上所述,利用视觉词典树中的每个节点以及节点的TF-IDF熵组成向量,描述至少两张预定帧的图像,对向量表示的图像进行相似性计算,利用图像在时间和空间上的约束关系来对误正闭环进行处理;进一步,对所述视觉词典树的建立进行调整,改进其中每个节点的TF-IDF熵表示方法;对所述相似性计算方法进行改进,以减少闭环检测中存在的感知歧义问题;对误正闭环分别利用时间一致性和空间一致性进行处理,剔除误以为正确的闭环,最终确定正确闭环。本发明能够有效减少闭环检测中存在的感知歧义问题并能够有效提高闭环检测召回率。
以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的精神和范围。
Claims (8)
1.一种基于改进型的视觉词典树的图像闭环检测方法,其特征在于,包括如下步骤:
步骤1,利用分层的K均值聚类方案建立视觉词典树,使用所述视觉词典树中的每个节点以及每个节点的TF-IDF熵而得出的得分向量描述至少两张预定帧的图像;
步骤2,对步骤1中的图像进行相似性计算;
步骤2-1,利用图像P和图像Q在同一单词得分权重的最小值来表示单词的相似性得分;
步骤2-2,当存在图像M、图像P以及图像Q时,若图像M和图像Q的相似性得分与图像P和图像Q间的相似性得分相同,则转入步骤2-3;
步骤2-3,改进相似性得分的计算公式,如下:
步骤2-4,当每幅图像存在的单词个数远远小于视觉词典树中所有单词的数量,即图像中许多单词的得分权重为0时,改进相似性得分的计算公式为:
步骤2-5,基于图像P和图像Q在视觉词典树中第l层上第i个节点的相似性得分的计算公式,定义图像P和图像Q在第l层的相似性得分的计算公式为:
步骤2-6,基于图像P和图像Q在第l层的相似性得分的函数,定义图像P和图像Q在第l层的相似性得分的增量,以避免图像P和图像Q的相似性在视觉词典树中从上往下的重复累计,定义所述图像P和图像Q在第l层的相似性得分的增量为:
其中,Sl(P,Q)表示图像P和图像Q在第l层的相似性计算得分,Sl+1(P,Q)表示图像P和图像Q在第l+1层的相似性计算得分;
步骤2-7,基于步骤2-6中相似性得分的增量,定义P、Q两幅图像之间的相似性计算得分的公式为:
其中,K(P,Q)表示图像P和图像Q的相似性计算得分,Sl(P,Q)表示图像P和图像Q在第l层的相似性计算得分,Sl+1(P,Q)表示图像P和图像Q在第l+1层的相似性计算得分,SL(P,Q)表示图像P和图像Q在第L层的相似性计算得分,表示视觉词典树的匹配强度系数;
步骤3,利用图像在时间和空间上的约束关系来对误正闭环进行处理。
2.根据权利要求1所述的基于改进型的视觉词典树的图像闭环检测方法,其特征在于,步骤1包括:
步骤1-1,采用分层的K均值聚类方案来建立视觉词典树:创建一棵κ个分支数以及l层的树,对每一层的每个分支都递归调用K均值聚类方法,以得到下一层的κ个更细分支,一共调用到l层结束;
步骤1-2,对采集到的图像提取图像特征,并将图像特征投影到视觉词典树,以得到该图像对应的描述向量;
步骤1-3,利用所述视觉词典树中的不同节点的TF-IDF熵来表示图像在不同节点的得分权重:其中,l表示视觉词典树的层数,i代表第l层的节点数,代表图像P在视觉词典树的第l层上的第i个节点的得分权重,ni和n分别表示图像特征投影到节点i的特征点数以及特征点总数,N和Ni分别代表需要处理的图像总数以及出现有图像特征投影到节点i的图像数,λi表示变异系数;TF表示某个单词在一幅图像中出现的频率,频率越高,单词区分度就越高;IDF表示某个单词在所有单词中出现的频率,频率越低,对图像的分类越有区分度;
步骤1-4,利用图像在不同节点的得分权重将图像在整棵视觉词典树的得分向量表示为:
W(P)=(W1(P),W2(P),…,WL(P))
其中,W(P)表示图像P的得分向量,W1(P)表示图像P在第一层上的得分向量,W2(P)表示图像P在第二层上的得分向量,WL(P)表示图像P在第L层上的得分向量;
步骤1-5,图像P在第l层的得分向量表示为:
8.根据权利要求1所述的基于改进型的视觉词典树的图像闭环检测方法,其特征在于,步骤3包括:
步骤3-1、利用图像的时间一致性约束剔除误正闭环;
步骤3-2、利用图像的空间一致性约束剔除误正闭环。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110493714.0A CN113191435B (zh) | 2021-05-07 | 2021-05-07 | 基于改进型的视觉词典树的图像闭环检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110493714.0A CN113191435B (zh) | 2021-05-07 | 2021-05-07 | 基于改进型的视觉词典树的图像闭环检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113191435A CN113191435A (zh) | 2021-07-30 |
CN113191435B true CN113191435B (zh) | 2022-08-23 |
Family
ID=76983907
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110493714.0A Active CN113191435B (zh) | 2021-05-07 | 2021-05-07 | 基于改进型的视觉词典树的图像闭环检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113191435B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102831446A (zh) * | 2012-08-20 | 2012-12-19 | 南京邮电大学 | 单目视觉slam中基于图像外观的闭环检测方法 |
CN107886129A (zh) * | 2017-11-13 | 2018-04-06 | 湖南大学 | 一种基于视觉词袋的移动机器人地图闭环检测方法 |
CN110472585A (zh) * | 2019-08-16 | 2019-11-19 | 中南大学 | 一种基于惯导姿态轨迹信息辅助的vi-slam闭环检测方法 |
-
2021
- 2021-05-07 CN CN202110493714.0A patent/CN113191435B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102831446A (zh) * | 2012-08-20 | 2012-12-19 | 南京邮电大学 | 单目视觉slam中基于图像外观的闭环检测方法 |
CN107886129A (zh) * | 2017-11-13 | 2018-04-06 | 湖南大学 | 一种基于视觉词袋的移动机器人地图闭环检测方法 |
CN110472585A (zh) * | 2019-08-16 | 2019-11-19 | 中南大学 | 一种基于惯导姿态轨迹信息辅助的vi-slam闭环检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113191435A (zh) | 2021-07-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110223324B (zh) | 一种基于鲁棒特征表示的孪生匹配网络的目标跟踪方法 | |
Cieslewski et al. | Point cloud descriptors for place recognition using sparse visual information | |
CN107886129B (zh) | 一种基于视觉词袋的移动机器人地图闭环检测方法 | |
CN110781790A (zh) | 基于卷积神经网络与vlad的视觉slam闭环检测方法 | |
CN110717927A (zh) | 基于深度学习和视惯融合的室内机器人运动估计方法 | |
CN110427807A (zh) | 一种时序事件动作检测方法 | |
Lee et al. | Place recognition using straight lines for vision-based SLAM | |
CN110110694B (zh) | 一种基于目标检测的视觉slam闭环检测方法 | |
CN109285180B (zh) | 一种3d的道路车辆跟踪方法 | |
CN110427797B (zh) | 一种基于几何条件限制的三维车辆检测方法 | |
CN110969648B (zh) | 一种基于点云序列数据的3d目标跟踪方法及*** | |
CN113674416A (zh) | 三维地图的构建方法、装置、电子设备及存储介质 | |
CN104615998B (zh) | 一种基于多视角的车辆检索方法 | |
CN112287906B (zh) | 一种基于深度特征融合的模板匹配跟踪方法及*** | |
CN112507778B (zh) | 一种基于线特征的改进词袋模型的回环检测方法 | |
CN110569706A (zh) | 一种基于时间和空间网络的深度集成目标跟踪算法 | |
CN112084895A (zh) | 一种基于深度学习的行人重识别方法 | |
CN115359366A (zh) | 基于参数优化的遥感图像目标检测方法 | |
CN115187786A (zh) | 一种基于旋转的CenterNet2目标检测方法 | |
CN109697727A (zh) | 基于相关滤波和度量学习的目标跟踪方法、***及存储介质 | |
CN111291785A (zh) | 目标检测的方法、装置、设备及存储介质 | |
CN117213470B (zh) | 一种多机碎片地图聚合更新方法及*** | |
CN114297237A (zh) | 基于类别融合的三维点云数据检索方法、装置及计算机设备 | |
CN114046790A (zh) | 一种因子图双重回环的检测方法 | |
Wang et al. | Object detection algorithm based on improved Yolov3-tiny network in traffic scenes |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |