CN110727265B - 机器人重定位的方法、装置以及存储装置 - Google Patents

机器人重定位的方法、装置以及存储装置 Download PDF

Info

Publication number
CN110727265B
CN110727265B CN201810689594.XA CN201810689594A CN110727265B CN 110727265 B CN110727265 B CN 110727265B CN 201810689594 A CN201810689594 A CN 201810689594A CN 110727265 B CN110727265 B CN 110727265B
Authority
CN
China
Prior art keywords
frame image
key frame
search range
current frame
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810689594.XA
Other languages
English (en)
Other versions
CN110727265A (zh
Inventor
熊友军
蒋晨晨
刘志超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Ubtech Technology Co ltd
Original Assignee
Shenzhen Ubtech Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Ubtech Technology Co ltd filed Critical Shenzhen Ubtech Technology Co ltd
Priority to CN201810689594.XA priority Critical patent/CN110727265B/zh
Publication of CN110727265A publication Critical patent/CN110727265A/zh
Application granted granted Critical
Publication of CN110727265B publication Critical patent/CN110727265B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0285—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using signals transmitted via a public communication network, e.g. GSM network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种机器人重定位的方法、装置及存储装置，该方法包括：判断当前帧图像是否和第一搜索范围内已保存的关键帧图像匹配；若判断为否，则判断当前帧图像中是否含有机器人的距离信息，其中距离信息由安装在机器人上的超宽带基站提供；若判断为是，则结合距离信息，得到关键帧图像的第二搜索范围；判断当前帧图像在第二搜索范围内是否存在相匹配的关键帧；若匹配成功，则通过相匹配的关键帧图像得出摄像机的当前位姿。通过上述方式，本申请能够缩小关键帧图像的搜索范围，可以减少后续词袋模型的搜索范围，从而降低了搜索时间，提高后续的匹配效率。

Description

机器人重定位的方法、装置以及存储装置
技术领域
本申请涉及机器人视觉定位技术领域，特别是涉及一种机器人重定位的方法、装置及存储装置。
背景技术
基于机器视觉的定位导航是机器人领域中一项很关键的技术。但是现有的视觉方案鲁棒性仍然不够高，经常存在跟踪丢失，以及重定位失败等问题。同时光照对视觉定位也会产生很大影响，如果机器人经过同一地点但是光照不同也可能导致定位失败。如果定位出现失败，就会导致机器人后续功能，比如导航无法进行。距离传感器具有累计误差的性质，如果可以获得机器人距离某个位置的绝对位置，可及时矫正机器人的累积误差。针对以上问题，在不增加机器人外部设施的情况下，找到一种提高机器人重定位鲁棒性的方法是很迫切的。
现在典型的方法有：(1)基于多个超宽带(Ultra Wideband,UWB)基站的视觉惯导定位技术。此方法在视觉的基础上增加了惯性测量单元(Inertial measurement unit，IMU)传感器，而且使用三到四个UWB基站准确定位机器人位置。虽然增加了机器人定位鲁棒性，但是也增加了使用机器人的难度。例如，需要在机器人周围架设多个基站，每个基站需要进行时钟同步等。(2)基于WiFi或蓝牙技术的视觉定位技术。此方法可以使用接收的信号强度指示(Received Signal Strength Indication，RSSI)和到达时间(Time of Arrival,TOA)方法获取机器人距离某个路由器或者基站的距离，虽然成本低，但是功耗和干扰都比较大，也不适合3D定位。
发明内容
本申请提供一种机器人重定位的方法、装置及存储装置，能够缩小关键帧图像的搜索范围，可以减少后续词袋模型的搜索范围，让词袋模型不必对第一搜索范围进行搜索，从而降低了搜索时间，提高后续的匹配效率。
为解决上述技术问题，本申请采用的一个技术方案是：提供一种机器人重定位的方法，所述方法包括：判断当前帧图像是否和第一搜索范围内已保存的关键帧图像匹配；若判断为否，则判断所述当前帧图像中是否含有所述机器人的距离信息，其中所述距离信息由安装在所述机器人上的超宽带基站提供；若判断为是，则结合所述距离信息，得到所述关键帧图像的第二搜索范围，其中所述第二搜索范围小于所述第一搜索范围；判断所述当前帧图像在所述第二搜索范围内是否存在相匹配的关键帧图像；若匹配成功，则通过所述相匹配的关键帧图像得出摄像机当前位姿。
为解决上述技术问题，本申请采用的另一个技术方案是：提供一种机器人重定位的装置，所述装置包括处理器及存储器，所述处理器连接所述存储器；其中，所述处理器用于判断当前帧图像是否和第一搜索范围内通过所述存储器已保存的关键帧图像匹配；若判断为否，则判断所述当前帧图像中是否含有所述机器人的距离信息，其中所述距离信息由安装在所述机器人上的超宽带基站提供；若判断为是，则结合所述距离信息，得到所述关键帧图像的第二搜索范围，其中所述第二搜索范围小于所述第一搜索范围；判断所述当前帧图像在所述第二搜索范围内是否存在相匹配的关键帧；若匹配成功，则通过所述相匹配的关键帧图像得出所述摄像机的当前位姿。
为解决上述技术问题，本申请采用的又一个技术方案是：提供一种存储装置，存储有能够实现上述任一项所述方法的程序文件
本申请的有益效果是：提供一种机器人重定位的方法、装置及存储装置，通过结合机器人到UWB基站的距离信息，从而缩小关键帧图像的搜索范围，可以减少后续词袋模型的搜索范围，让词袋模型不必对第一搜索范围进行搜索，从而降低了搜索时间，提高后续的匹配效率。
附图说明
图1是本申请机器人重定位方法第一实施方式的流程示意图；
图2是本申请图1中步骤S6一实施实施方式的流程示意图；
图3是本申请图2中步骤S64一实施实施方式的流程示意图；
图4是本申请机器人重定位的装置一实施方式的结构示意图；
图5是本申请存储装置一实施方式的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参阅图，图1本申请机器人重定位的方法第一实施方式流程示意图。
本申请采用的技术方案中，采用单个超宽带(Ultra Wideband,UWB)基站辅助增强机器视觉定位鲁棒性，且在本申请的实施例中，可以将该UWB基站集成到机器人的充电桩内，可节省安装多个UWB基站设施，让机器人的移动更加方便。当然，在其他实施方式中，该UWB基站也可以是集成在机器人的其他部件，此处不做进一步限定。该UWB基站提供机器人到基站的绝对距离信息，可以缩小视觉重定位时搜索范围，加快重定位速度和可靠性。
在SLAM(Simultaneous Localization and Mapping，同时定位与地图构建)***中，机器人重定位指的是当机器人的摄像机追踪丢失，或者SLAM***在已知环境中二次启动时，在没有先验姿态信息的条件下，利用单帧图像估计得出摄像机位姿信息。方面，大部分的SLAM***都是假设摄像机帧间运动较小，并根据前一帧摄像机位姿来估计当前帧位姿，由于现实环境的复杂条件，现有的SLAM***无法完全保证摄像机追踪算法能够适应各种环境条件。例如当摄像机发生快速运动时，由于位姿估计是一个非凸问题，一般的位姿估计方法如ICP或者最小化重投影误差都会陷入局部最优，造成追踪丢失。另一方面，当用户已经得到了一个场景的地图并且关掉了***，如果再次开启SLAM***，由于无法确定启动时第一帧相对于已知地图的位姿，就无法将新的地图与之前已经构建好的场景地图融合起来。重定位技术就是在没有前帧位姿参考，仅有单帧图像或地图的条件下估计出第一帧摄像机姿态。即重定位技术会将当前帧图像与已保存的关键帧图像不断进行匹配，直到找到最相似的关键帧来估计当前摄像机的位姿，从而保证地图的连续性。
本申请中机器人重定位的方法具体包括如下步骤：
S1，提取所有已保存的关键帧图像中的特征点描述子。
本申请中机器人重定位采用的是基于视觉词袋模型的方法，在词袋模型词袋(Bagof words)最初应用于文本检索等领域，用于文本分类等应用，而视觉词袋模型则是将图像中的视觉特征作为“单词”，利用视觉单词出现的频率差异进行图片的分类或相似性检测，是一种利用视觉词典将单幅图像转换为稀疏向量的技术，该方法可以处理较多的图片集。
在具体实施方式中，一般是提取当前时刻之前已保存的所有关键帧图像中的特征描述子，对其进行聚类处理。其中，关键帧的判定一般采用局部地图的关键帧选取方法。其中，局部地图是一个与当前帧图像有共同特征点的一些列关键帧图像的集合，其中一个与当前帧图像的共有特征点数目最多的关键帧图像被称为参考关键帧图像，且局部地图的关键帧选取方法可以包括如下条件：
1.当前帧图像距离上次重定位至少间隔20个图像帧，以用来保证一个好的重定位结果。
2.当前帧图像与其前一关键帧至少间隔20个图像帧，避免了相邻关键帧图像之间存在大量冗余信息。
3.当前帧图像与其前一关键帧至少包含50个相同的特征点，保证关键帧图像间有足够的匹配信息来获得好的位姿跟踪。
4.当前帧图像与参考关键帧图像相同的特征点数目小于其特征总数的90％，使得两相邻关键帧图像有足够的图像变化。
S2，对所有特征点描述子集合进行离散化，得到视觉词典。
将上述提取到的所有的已保存的关键帧图像的特征描述子进行聚类，形成离散的单词，采用K-means++的算法将特征点描述子集合聚为k类，最后聚出的每一类的中心就是视觉词典中的一个单词为了进行高效的搜索，视觉词典采用分层树形结构存储，每层的节点再次进行K-means聚类得到下一层节点，直至达到设置的最大深度，这样词典的单词存储在树的多个叶子节点中。同时每个单词存储了一个权重值，且该权重值是一个比值，其中，分子为该单词在所有特征点中所占的频次，分母为该单词在训练集中哪些图像中出现过的频次，这个权重值表示该单词的区分能力，权重值越大表示该单词的区分度越强。
S3，判断当前帧图像是否和第一搜索范围内已保存的关键帧图像匹配。
本实施例中，当t蚀刻摄像机获得的当前帧图像被判定为关键帧后，且需要判断其是否和t时刻之前保存的所有的关键帧图像存在匹配，其中，该第一搜索范围可以是整个地图，若存在，进入步骤S8根据获得的匹配的关键帧图像获取摄像机当前的位姿，并重新定位下一帧图片。若不存在，则进入步骤S4。
S4，则判断当前帧图像中是否含有机器人的距离信息，其中距离信息由安装在机器人上的超宽带基站提供。
本实施例中，机器人在重定位t时刻获得的当前帧图像需要先和t时刻之前保存的所有的关键帧图像进行匹配找到和当前帧相似的图片。若重定位失败，则进一步判断该当前帧图像上是否含有所述机器人的距离信息，其中，该距离信息由集成在所述机器人充电桩上的单个UWB基站提供，且该距离信息为机器人到UWB基站的绝对距离。且本实施例中UWB基站的扫描时间和摄像机的扫描时间并不是同步的，故不是每一帧图像中都包含有该距离信息，当然，在其它实施例中，可以将UWB基站和摄像机进行同步，使得每一帧图像上都包含机器人到UWB基站的绝对距离信息，且此处不做进一步限定。
故在判断当前帧图像上未包含该距离信息时，则进入步骤S8，重新定位下一帧图片。若当前帧图像中包含该绝对距离信息时，则进入步骤S5。
S5，则结合距离信息，得到关键帧图像的第二搜索范围，其中第二搜索范围小于第一搜索范围。
步骤S5中，在判断到当前帧图像中包含机器人到UWB基站的绝对距离后，可以将该绝对距离设置为H。当重定位失败后，结合该绝对距离H，缩小该关键帧图像的搜索范围，即在第一搜索范围(整个)中搜索出和UWB基站具有大致相同距离H的关键帧图像，即得到第二搜索范围，由此可知该第二搜索范围必然小于第一搜索范围。
进一步，采用上述机器人距离UWB基站的绝对位置来缩小关键帧图像的搜索范围，可以减少后续词袋模型的搜索范围，让词袋模型不必对第一搜索范围(整个地图)进行搜索，从而降低了搜索时间，提高后续的匹配效率。
S6，判断当前帧图像在第二搜索范围内是否存在相匹配的关键帧。
步骤S5中结合机器人距离UWB基站的绝对距离后，将关键帧的搜索范围缩小后，进一步需要判断在该第二搜索范围内是否存在和当前帧图像相匹配的关键帧图像，请参阅图2，该步骤进一步包括如下子步骤：
S61，将当前帧图像通过视觉词典转换为词袋向量。
将当前帧图像通过步骤S1-S2中形成的视觉词典转换为词袋向量，且将该当前帧图像的词袋向量和第二搜索范围内的所有关键帧图像的词袋向量进行筛选匹配，且整个SLAM***运行期间维护一个BOW数据库，且该数据库保存了直到t时刻中所有的关键帧图像的词袋向量。
S62，分别计算当前帧图像的词袋向量和第二搜索范围内的关键帧图像的词袋向量的相似度。
在本实施例中，对于当前帧图像，分别计算第二搜索范围内的所有关键帧图像词袋向量的相似度，其中将当前帧图像和第二搜索范围内的关键帧图像之间的最小相似度值记为第一相似度阈值。
S63，筛选出相似度满足第一相似度阈值的关键帧图像作为候选关键帧图像。
步骤S63中，在具体的筛选过程中，不停的降低第二搜索范围内关键帧图像词袋向量的相似度筛选值。也即是在具体的筛选过程中，当前帧图像和关键帧图像的相似度的判定值为变化的，即当二者的相似度筛选值设置为0.9时，判断是否存在和当前帧图像的相似度满足此筛选条件的关键帧图像，若不存在，则进一步降低该筛选条件，比如设置二者的相似度值为0.8，再进一步判断是否存在和当前帧图像的相似度满足此筛选条件的关键帧图像，若还不存在，则进一步降低该筛选条件，直到其不小于该第一相似度阈值，即当前帧图像和第二搜索范围内的关键帧图像之间的最小相似度值，本申请中可以将该第一相似度阈值设置为0.3，也就是说，在该筛选过程中，当前帧图像和第二范围内所有关键帧图像的相似度值不能低于该阈值，若该第二搜索范围内的所有关键帧图像的阈值均小于该第一相似度阈值，则直接进入步骤S8重新定位下一帧图像。
相反地，将相似度不小于第一相似度阈值的关键帧图像筛选出来，作为候选关键帧图像。
S64，将候选帧图像和当前帧图像进行匹配处理，以得到和当前帧图像匹配的关键帧图像。
在得到和当前帧图像相似度满足第一相似度阈值的候选关键帧图像后，需要对该候选帧图象和当前帧图像进行匹配处理，请参见图3，该步骤进一步包括如下子步骤：
S641，分别提取当前帧图像和所有候选帧图像中的特征描述子。
在分别对两帧图像进行特征匹配时，需要计算两帧图像相应特征点的特征描述子之间的距离，并根据该距离的大小来判断是否匹配成功。在具体实施方式中，需要分别对所有候选关键帧图片中的特征描述子进行提取。
S642，分别判断当前帧图像中的特征描述子和所有候选帧图像中的特征描述子之间的距离是否满足预设阈值。
本申请中，特征描述子间的距离判定准则可以采用如下几种方式来判定：
1.单一阈值法，给定一阈值，当特征点间的特征描述子距离小于此阈值时，则判定特征点间匹配成功。
2.最邻近法，给定一较小的阈值，寻找特征点间的特征描述子距离最小匹配，当该距离小于阈值时，则判定匹配成功。
3.最邻近比值法，选取特征点领域内特征描述子距离最近和次近的两个候选点，当两候选点间的距离较大时，即两候选点距特征点的距离小于一定阈值时，则判定最近的候选点为匹配点。
当然，在其他实施方式中，也可以采取其他匹配方式，此处不做进一步限定，若判定当前帧图像中的特征描述子和所有候选帧图像中的特征描述子之间的距离不满足预设阈值时，则进入步骤S8，重新定位下一帧图像。
S643，获取和当前帧图像匹配的关键帧图像。
S7，通过相匹配的关键帧图像得出摄像机当前位姿。
在得到和当前帧图像相匹配的关键帧图像后，进一步可以通过PnP(Perspective-n-Point)算法得出摄像机的位姿，从而完成重定位。
值得注意的是，步骤S1-S2以及S8并非实现本申请的必选步骤，本领域技术人员可根据实际使用情况进行修改或省略。
上述实施方式中，通过结合机器人到UWB基站的距离信息，从而缩小关键帧图像的搜索范围，可以减少后续词袋模型的搜索范围，让词袋模型不必对第一搜索范围(整个地图)进行搜索，从而降低了搜索时间，提高后续的匹配效率。
请参阅图4，图4为本申请机器人重定位装置一实施方式的结构示意图。如图4所示，该装置包括处理器11及存储器12，处理器11连接存储器12。
其中，处理器11用于判断当前帧图像是否和第一搜索范围内通过存储器12已保存的关键帧图像匹配；若判断为否，则判断当前帧图像中是否含有机器人的距离信息，其中距离信息由安装在机器人上的超宽带基站提供；若判断为是，则结合距离信息，得到关键帧图像的第二搜索范围，其中第二搜索范围小于第一搜索范围；判断当前帧图像在第二搜索范围内是否存在相匹配的关键帧图像；若匹配成功，则通过相匹配的关键帧图像得出摄像机的当前位姿。
其中，本申请采用的技术方案中，采用单个超宽带(Ultra Wideband,UWB)基站辅助增强机器视觉定位鲁棒性，且在本申请的实施例中，可以将该UWB基站集成到机器人的充电桩内，可节省安装多个UWB基站设施，让机器人的移动更加方便。当然，在其他实施方式中，该UWB基站也可以是集成在机器人的其他部件，此处不做进一步限定。该UWB基站提供机器人到基站的绝对距离信息，可以缩小视觉重定位时搜索范围，加快重定位速度和可靠性。
其中，处理器11还可以称为CPU(Central Processing Unit，中央处理单元)。处理器11可能是一种集成电路芯片，具有信号的处理能力。处理器11还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
上述装置中处理器可分别执行上述方法实施例中对应的步骤，故此处不再赘述，详细请参阅以上对应步骤的说明。
上述实施方式中，通过结合机器人到UWB基站的距离信息，从而缩小关键帧图像的搜索范围，可以减少后续词袋模型的搜索范围，让词袋模型不必对第一搜索范围(整个地图)进行搜索，从而降低了搜索时间，提高后续的匹配效率。
参阅图5，图5为本申请存储装置一实施方式的结构示意图。本申请的存储装置存储有能够实现上述所有方法的程序文件21，其中，该程序文件21可以以软件产品的形式存储在上述存储装置中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储装置包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
综上所述，本领域技术人员容易理解，本申请提供一种机器人重定位的方法、装置及存储装置，通过结合机器人到UWB基站的距离信息，从而缩小关键帧图像的搜索范围，可以减少后续词袋模型的搜索范围，让词袋模型不必对第一搜索范围(整个地图)进行搜索，从而降低了搜索时间，提高后续的匹配效率。
以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种机器人重定位的方法，其特征在于，所述方法包括：
判断当前帧图像是否和第一搜索范围内已保存的关键帧图像匹配；
若判断为否，则判断所述当前帧图像中是否含有所述机器人的距离信息，其中所述距离信息由安装在所述机器人上的超宽带基站提供；
若判断为是，则结合所述距离信息，得到所述关键帧图像的第二搜索范围，其中所述第二搜索范围小于所述第一搜索范围；
判断所述当前帧图像在所述第二搜索范围内是否存在相匹配的关键帧图像；
若匹配成功，则通过所述相匹配的关键帧图像得出摄像机当前位姿。
2.根据权利要求1所述的方法，其特征在于，所述距离信息为所述机器人距离所述超宽带基站的绝对距离。
3.根据权利要求1所述的方法，其特征在于，所述判断当前帧图像是否和第一搜索范围内已保存的关键帧图像匹配之前包括：
提取所有所述已保存的关键帧图像中的特征点描述子；
对所有所述特征点描述子集合进行离散化，得到视觉词典。
4.根据权利要求3所述的方法，其特征在于，所述判断所述当前帧图像在所述第二搜索范围内是否存在相匹配的关键帧图像包括：
将当前帧图像通过所述视觉词典转换为词袋向量；
分别计算所述当前帧图像的词袋向量和所述第二搜索范围内的关键帧图像的词袋向量的相似度；
筛选出所述相似度不小于第一相似度阈值的所述关键帧图像作为候选关键帧图像；
将所述候选关键 帧图像和所述当前帧图像进行匹配处理，以得到和所述当前帧图像匹配的关键帧图像。
5.根据权利要求4所述的方法，其特征在于，所述第一相似度阈值为所述当前帧图像和所述第二搜索范围内的关键帧图像之间的最小相似度值。
6.根据权利要求4所述的方法，其特征在于，所述将所述候选关键 帧图像和所述当前帧图像进行匹配处理，以得到和所述当前帧图像匹配的关键帧图像包括：
分别提取所述当前帧图像和所有所述候选关键 帧图像中的特征描述子；
分别判断所述当前帧图像中的特征描述子和所有所述候选关键 帧图像中的特征描述子之间的距离是否满足预设阈值；
若满足，则获取和所述当前帧图像匹配的关键帧图像。
7.根据权利要求1所述的方法，其特征在于，若判断所述当前帧图像和所述已保存的关键帧图像匹配，则通过所述相匹配的关键帧图像得出所述摄像机的当前位姿。
8.一种机器人重定位的装置，其特征在于，所述装置包括处理器及存储器，所述处理器连接所述存储器；其中，所述处理器用于判断当前帧图像是否和第一搜索范围内通过所述存储器已保存的关键帧图像匹配；若判断为否，则判断所述当前帧图像中是否含有所述机器人的距离信息，其中所述距离信息由安装在所述机器人上的超宽带基站提供；若判断为是，则结合所述距离信息，得到所述关键帧图像的第二搜索范围，其中所述第二搜索范围小于所述第一搜索范围；判断所述当前帧图像在所述第二搜索范围内是否存在相匹配的关键帧；若匹配成功，则通过所述相匹配的关键帧图像得出摄像机的当前位姿。
9.根据权利要求8所述的装置，其特征在于，所述距离信息为所述机器人距离所述超宽带基站的绝对距离。
10.一种存储装置，其特征在于，存储有能够实现如权利要求1-7中任一项所述方法的程序文件。
CN201810689594.XA 2018-06-28 2018-06-28 机器人重定位的方法、装置以及存储装置 Active CN110727265B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810689594.XA CN110727265B (zh) 2018-06-28 2018-06-28 机器人重定位的方法、装置以及存储装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810689594.XA CN110727265B (zh) 2018-06-28 2018-06-28 机器人重定位的方法、装置以及存储装置

Publications (2)

Publication Number Publication Date
CN110727265A CN110727265A (zh) 2020-01-24
CN110727265B true CN110727265B (zh) 2022-09-23

Family

ID=69216724

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810689594.XA Active CN110727265B (zh) 2018-06-28 2018-06-28 机器人重定位的方法、装置以及存储装置

Country Status (1)

Country Link
CN (1) CN110727265B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111340887B (zh) * 2020-02-26 2023-12-29 Oppo广东移动通信有限公司 视觉定位方法、装置、电子设备和存储介质
CN112710299B (zh) * 2020-12-04 2024-05-17 深圳市优必选科技股份有限公司 一种重定位方法、装置、终端设备及存储介质
CN112697151B (zh) * 2020-12-24 2023-02-21 北京百度网讯科技有限公司 移动机器人的初始点的确定方法、设备和存储介质
CN112699266A (zh) * 2020-12-30 2021-04-23 视辰信息科技(上海)有限公司 一种基于关键帧相关性的视觉地图定位方法和***
CN113048978B (zh) * 2021-02-01 2023-10-20 苏州澜途科技有限公司 移动机器人重定位方法及移动机器人
CN113297259A (zh) * 2021-05-31 2021-08-24 深圳市优必选科技股份有限公司 机器人及其环境地图构建方法和装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012064131A (ja) * 2010-09-17 2012-03-29 Tokyo Institute Of Technology 地図生成装置、地図生成方法、移動体の移動方法、及びロボット装置
CN105856230B (zh) * 2016-05-06 2017-11-24 简燕梅 一种可提高机器人位姿一致性的orb关键帧闭环检测slam方法
CN106092104B (zh) * 2016-08-26 2019-03-15 深圳微服机器人科技有限公司 一种室内机器人的重定位方法及装置
CN106885574B (zh) * 2017-02-15 2020-02-07 北京大学深圳研究生院 一种基于重跟踪策略的单目视觉机器人同步定位与地图构建方法
CN107292949B (zh) * 2017-05-25 2020-06-16 深圳先进技术研究院 场景的三维重建方法、装置及终端设备
CN107179080B (zh) * 2017-06-07 2020-07-24 纳恩博（北京）科技有限公司 电子设备的定位方法和装置、电子设备、电子定位***
CN107369183A (zh) * 2017-07-17 2017-11-21 广东工业大学 面向mar的基于图优化slam的跟踪注册方法及***

Also Published As

Publication number Publication date
CN110727265A (zh) 2020-01-24

Similar Documents

Publication Publication Date Title
CN110727265B (zh) 机器人重定位的方法、装置以及存储装置
CN110657803B (zh) 机器人定位方法、装置以及存储装置
AU2016201908B2 (en) Joint depth estimation and semantic labeling of a single image
US10089330B2 (en) Systems, methods, and apparatus for image retrieval
US11361019B2 (en) Image query method and apparatus
US8768048B1 (en) System and method for exploiting segment co-occurrence relationships to identify object location in images
CN105243060B (zh) 一种检索图片的方法及装置
Mei et al. Closing loops without places
US20180089832A1 (en) Place recognition algorithm
JP7430243B2 (ja) 視覚的測位方法及び関連装置
US20140063221A1 (en) Image processing apparatus, image processing method
CN110390356B (zh) 视觉词典生成方法及装置、存储介质
AU2021203821B2 (en) Methods, devices, apparatuses and storage media of detecting correlated objects involved in images
Fond et al. Facade proposals for urban augmented reality
US20150086118A1 (en) Method for recognizing a visual context of an image and corresponding device
Orhan et al. Semantic pose verification for outdoor visual localization with self-supervised contrastive learning
Sui et al. An accurate indoor localization approach using cellphone camera
CN115049731B (zh) 一种基于双目摄像头的视觉建图和定位方法
CN115393755A (zh) 视觉目标跟踪方法、装置、设备以及存储介质
Nowicki et al. Experimental evaluation of visual place recognition algorithms for personal indoor localization
CN114219938A (zh) 感兴趣区域获取方法
CN113591865A (zh) 一种回环检测方法、装置以及电子设备
EP3115927A1 (en) Method and apparatus for processing a scene
Li et al. Vision-based indoor localization via a visual SLAM approach
Kit et al. LASOM: Location Aware Self-Organizing Map for discovering similar and unique visual features of geographical locations

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant