CN107369183A - 面向mar的基于图优化slam的跟踪注册方法及*** - Google Patents

面向mar的基于图优化slam的跟踪注册方法及*** Download PDF

Info

Publication number
CN107369183A
CN107369183A CN201710581403.3A CN201710581403A CN107369183A CN 107369183 A CN107369183 A CN 107369183A CN 201710581403 A CN201710581403 A CN 201710581403A CN 107369183 A CN107369183 A CN 107369183A
Authority
CN
China
Prior art keywords
field picture
characteristic point
current key
video camera
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710581403.3A
Other languages
English (en)
Inventor
邹凯
尹明
谢胜利
邓术
邓一术
张仕雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN201710581403.3A priority Critical patent/CN107369183A/zh
Publication of CN107369183A publication Critical patent/CN107369183A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种面向MAR的基于图优化SLAM的跟踪注册方法及***，包括获取环境深度图；根据第一预设算法从环境深度图中确定当前关键帧图像；根据当前关键帧图像及已构建的地图确定摄像机的位置，并根据摄像机的位置更新已构建的地图；根据第二预设算法从当前关键帧图像中提取特征点；将当前关键帧图像中的特征点与上一关键帧图像中的特征点进行匹配，得到匹配特征点；根据匹配特征点及已构建的轨迹图得到摄像机的位姿，并根据摄像机的位姿更新已构建的轨迹图。本申请实现了在移动端上的自然场景的跟踪注册，提高了MAR的跟踪注册性能。

Description

面向MAR的基于图优化SLAM的跟踪注册方法及***
技术领域
本发明涉及AR技术领域，特别是涉及一种面向MAR的基于图优化SLAM的跟踪注册方法及***。
背景技术
AR(Augmented Reality，增强现实)是在虚拟现实基础上发展起来的一项技术，其目的在于将计算机生成的虚拟物体准确地叠加到真实场景中并实现真实场景与虚拟场景的无缝结合，进而完成对真实场景的增强。三维跟踪注册技术一直是AR领域最核心的研究内容，三维跟踪注册的目的就是准确地计算摄像机的位姿与位置，使得虚拟物体能够正确的放置在真实场景中。
MAR(Mobile Augmented Reality，移动增强现实)指的是在IPAD、智能手机、便携式计算机等移动终端上实现的增强现实***。由于以往的AR***大多都采用台式机、大型工作站等作为***运行平台，限制了用户的活动范围，无法应用于户外环境。随着移动终端和网络技术的飞速发展，使得AR技术脱离PC机、工作站等笨重设备的限制称为可能，推动了MAR的产生与发展，因此，在移动端上进行自然场景的跟踪注册的需求也变得越来越迫切。但现有技术中目前还没有成熟的用于移动端的三维跟踪注册方法。
因此，如何提供一种解决上述技术问题的方案是本领域技术人员目前需要解决的问题。
发明内容
本发明的目的是提供一种面向MAR的基于图优化SLAM的跟踪注册方法及***，实现了在移动端上的自然场景的跟踪注册，提高了MAR的跟踪注册性能。
为解决上述技术问题，本发明提供了一种面向MAR的基于图优化SLAM的跟踪注册方法，包括：
获取环境深度图；
根据第一预设算法从所述环境深度图中确定当前关键帧图像；
根据所述当前关键帧图像及已构建的地图确定摄像机的位置，并根据所述摄像机的位置更新所述已构建的地图；
根据第二预设算法从所述当前关键帧图像中提取特征点；
将所述当前关键帧图像中的特征点与上一关键帧图像中的特征点进行匹配，得到匹配特征点；
根据所述匹配特征点及已构建的轨迹图得到所述摄像机的位姿，并根据所述摄像机的位姿更新所述已构建的轨迹图。
优选地，该方法还包括：
将所述当前关键帧图像之前的所有关键帧图像中的特征均采用K均值聚类方法聚类到词汇树，得到所有之前关键帧图像中的特征对应的视觉单词，并根据所述视觉单词得到词袋模型；
获取所述当前关键帧图像中的特征对应的视觉单词，通过TF-IDF模型分别计算所述当前关键帧图像中的特征对应的视觉单词与所述词袋模型中的所有视觉单词的相似度，确定相似度最高的相似度，判断所述相似度最高的相似度是否大于预设值，如果是，则确定所述当前关键帧图像对应的位置为与其相似度最高的特征所在的关键帧图像对应的位置。
优选地，所述第一预设算法为基于时间选择法和基于视觉内容选择法相结合的方法；且所述第一预设算法包括以下约束条件：
确定的当前关键帧图像与上一关键帧图像至少匹配到第一预设数量的特征点；
确定的当前关键帧图像与上一关键帧图像之间特征匹配率不超过第一预设阈值；
确定的当前关键帧图像与上一关键帧图像之间至少包括第二预设数量帧。
优选地，所述第一预设数量为50，所述第一预设阈值为95％，所述第二预设数量为20。
优选地，
所述第二预设算法包括：
将所述当前关键帧图像均匀地分割成M*N栅格，所有的栅格表示为{h11,h12,..h1n,h21,h22...hmn}，M、N为不小于2的整数
判断每个所述栅格是否能够检测到特征点，如果栅格hik内没有检测到特征点，则不再考虑此栅格，否则，判断栅格hik中的特征点的数量是否大于第二预设阈值j，如果是，则通过Harris Corner Detector关键点排序，选出其中最好的j个作为检测点，其余的作为候选检测点，否则，将栅格hik中的特征点全部作为检测点，其中，1≤i≤M,1≤k≤N；
当所有所述栅格提取的特征点的数量总和满足第三预设数量时，特征提取结束，否则，从所述候选检测点中随机提取满足数量的特征点并结束特征提取。
优选地，所述将所述当前关键帧图像中的特征点与上一关键帧图像中的特征点进行匹配，得到匹配特征点的过程具体为：
判断所述当前关键帧图像中的特征点与上一关键帧图像中的特征点的汉明距离是否小于第三预设阈值，如果是，则为匹配特征点。
为解决上述技术问题，本发明还提供了一种面向MAR的基于图优化SLAM的跟踪注册***，包括：
摄像机，用于获取环境深度图；
关键帧确定单元，用于根据第一预设算法从所述环境深度图中确定当前关键帧图像；
位置确定单元，用于根据所述当前关键帧图像及已构建的地图确定摄像机的位置，并根据所述摄像机的位置更新所述已构建的地图；
特征点提取单元，用于根据第二预设算法从所述当前关键帧图像中提取特征点；
匹配单元，用于将所述当前关键帧图像中的特征点与上一关键帧图像中的特征点进行匹配，得到匹配特征点；
位姿确定单元，用于根据所述匹配特征点及已构建的轨迹图得到所述摄像机的位姿，并根据所述摄像机的位姿更新所述已构建的轨迹图。
优选地，所述摄像机为Kinect摄像机。
优选地，该***还包括：
单词设置单元，用于将所述当前关键帧图像之前的所有关键帧图像中的特征均采用K均值聚类方法聚类到词汇树，得到所有之前关键帧图像中的特征对应的视觉单词，并根据所述视觉单词得到词袋模型；
闭环检测单元，用于获取所述当前关键帧图像中的特征对应的视觉单词，通过TF-IDF模型分别计算所述当前关键帧图像中的特征对应的视觉单词与所述词袋模型中的所有视觉单词的相似度，确定相似度最高的相似度，判断所述相似度最高的相似度是否大于预设值，如果是，则确定所述当前关键帧图像对应的位置为与其相似度最高的特征所在的关键帧图像对应的位置。
优选地，所述第一预设算法为基于时间选择法和基于视觉内容选择法相结合的方法；且所述第一预设算法包括以下约束条件：
确定的当前关键帧图像与上一关键帧图像至少匹配到第一预设数量的特征点；
确定的当前关键帧图像与上一关键帧图像之间特征匹配率不超过第一预设阈值；
确定的当前关键帧图像与上一关键帧图像之间至少包括第二预设数量帧。
本发明提供了一种面向MAR的基于图优化SLAM的跟踪注册方法，包括获取环境深度图；根据第一预设算法从环境深度图中确定当前关键帧图像；根据当前关键帧图像及已构建的地图确定摄像机的位置，并根据摄像机的位置更新已构建的地图；根据第二预设算法从当前关键帧图像中提取特征点；将当前关键帧图像中的特征点与上一关键帧图像中的特征点进行匹配，得到匹配特征点；根据匹配特征点及已构建的轨迹图得到摄像机的位姿，并根据摄像机的位姿更新已构建的轨迹图。本申请提供了一种适用于MAR的基于图优化的SLAM方法，并将其作为MAR的三维跟踪注册方法，满足了移动端实时性和渲染性的要求，实现了在移动端上的自然场景的跟踪注册，提高了MAR的跟踪注册性能。
本申请还提供了一种面向MAR的基于图优化SLAM的跟踪注册***，具有与上述方法相同的有益效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对现有技术和实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种面向MAR的基于图优化SLAM的跟踪注册方法的过程流程图；
图2为本发明提供的一种面向MAR的基于图优化SLAM的跟踪注册***的结构示意图。
具体实施方式
本发明的核心是提供一种面向MAR的基于图优化SLAM的跟踪注册方法及***，实现了在移动端上的自然场景的跟踪注册，提高了MAR的跟踪注册性能。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参照图1，图1为本发明提供的一种面向MAR的基于图优化SLAM的跟踪注册方法的过程流程图，该方法包括：
步骤S11：获取环境深度图；
首先需要说明的是，SLAM(simultaneous localization and mapping，同时定位与地图构建)算法将自主地图创建与自定位相结合，其主要思想是依靠已创建的地图信息进行自定位，并根据定位结果对地图进行更新。本申请中采用基于图优化的SLAM算法，将摄像机的位姿看作轨迹图中的节点，关键帧间的空间约束关系表示为边，构建基于摄像机相对位姿估计的轨迹图，以便后续通过已构建的轨迹图确定摄像机的位姿。
具体地，要进行三维跟踪注册，首先需要获取环境深度图，在AR领域中，均是通过摄像机来采集环境深度图，摄像机采集的环境深度图是由一帧一帧的图片构成的。本申请通过Kinect摄像机来获取环境深度图，Kinect摄像机包括用于采集RGB图的RGB摄像机和用于采集红外深度图像的IR摄像机，环境深度图为RGB图和红外深度图像的叠加。具体地，SLAM算法需要摄像机采集的RGB图和红外深度图像具有相同的时间戳，RGB摄像机和IR摄像机之间的外部参数表现为旋转和平移关系，需要对RGB图和红外深度图像进行配准，使得通过索引RGB图的每个像素点便可以准确获得其位置的深度值。
具体地，可以先利用OpenNI(Open Natural Interaction，深度摄像机数据处理的开源软件库)库对图像的同步采集与红外深度图和RGB图进行配准，并在视频格式下将帧数据装换成OpenCV(开源视觉库)的图片格式。当获取校准之后的像素值的深度后，对相机进行标定，相机标定的目的是求得相机的内参矩阵，从而可以在图像像素点和三维点之间进行相互装换。
当然，这里还可以采用其他深度相机来获取环境深度图，本申请在此不做特别的限定，根据实际情况来定。
Kinect摄像机通过RGB摄像机标定，IR摄像机标定，IR摄像机与RGB摄像机的刚体变化来进行标定。对于空间中的一点P其色彩摄像机坐标下的三维坐标计算流程如下所示，由Kinect获得P点在红外摄像机坐标系下的视差d。
步骤S12：根据第一预设算法从环境深度图中确定当前关键帧图像；
具体地，基于图优化的SLAM算法中选取的关键帧图像之间以约束关系作为图的边，所以不同关键帧图像的对比对数据关联有很大的影响，在移动增强现实中，实时性直接影响到用户的体验，所以图像数量需要合理选取，考虑到相邻帧间图像可能是对同一场景生成的图像，图像间相似性比较高，这种局部时间域的高相似特点，造成采集的图像中存在冗余数据，如果对这些冗余图像全部进行计算，会造成大量资源的浪费。
因此，本申请在满足MAR实时性的要求下，没有选取全部的场景图像，而是从所有的环境深度图中确定一些关键帧图像，使得在满足MAR实时性的同时，减小了计算量，节省了资源。
步骤S13：根据当前关键帧图像及已构建的地图确定摄像机的位置，并根据摄像机的位置更新已构建的地图；
具体地，在确定当前关键帧图像后，根据关键帧图像及已构建的地图便可确定摄像机当前的位置，并根据摄像机当前的位置更新已构建的地图，实现SALM算法。
步骤S14：根据第二预设算法从当前关键帧图像中提取特征点；
在确定当前关键帧图像后，从当前关键帧图像中提取特征点，采用自然环境点特征作为路标来描述地图，不需要人工标记等辅助手段，满足MAR大部分在大规模复杂位置环境下的场景。
步骤S15：将当前关键帧图像中的特征点与上一关键帧图像中的特征点进行匹配，得到匹配特征点；
具体地，在确定当前关键帧图像的特征点后，再对当前关键帧图像的运动进行匹配，为了后续的摄像机的位姿估计及关键帧选取，必须对提取好的特征点进行特征匹配与跟踪，本申请将当前关键帧图像中的特征点与上一关键帧图像中的特征点进行匹配，得到匹配特征点。
步骤S16：根据匹配特征点及已构建的轨迹图得到摄像机的位姿，并根据摄像机的位姿更新已构建的轨迹图。
具体地，轨迹图将摄像机的位姿看作轨迹图中的节点，关键帧间的空间约束关系表示为边，通过已构建的轨迹图及匹配特征点来估计本次摄像机的位姿。
本发明提供了一种面向MAR的基于图优化SLAM的跟踪注册方法，包括获取环境深度图；根据第一预设算法从环境深度图中确定当前关键帧图像；根据当前关键帧图像及已构建的地图确定摄像机的位置，并根据摄像机的位置更新已构建的地图；根据第二预设算法从当前关键帧图像中提取特征点；将当前关键帧图像中的特征点与上一关键帧图像中的特征点进行匹配，得到匹配特征点；根据匹配特征点及已构建的轨迹图得到摄像机的位姿，并根据摄像机的位姿更新已构建的轨迹图。本申请提供了一种适用于MAR的基于图优化的SLAM方法，并将其作为MAR的三维跟踪注册方法，满足了移动端实时性和渲染性的要求，实现了在移动端上的自然场景的跟踪注册，提高了MAR的跟踪注册性能。
作为一种优选地实施例，该方法还包括：
将当前关键帧图像之前的所有关键帧图像中的特征均采用K均值聚类方法聚类到词汇树，得到所有之前关键帧图像中的特征对应的视觉单词，并根据视觉单词得到词袋模型；
获取当前关键帧图像中的特征对应的视觉单词，通过TF-IDF模型分别计算当前关键帧图像中的特征对应的视觉单词与词袋模型中的所有视觉单词的相似度，确定相似度最高的相似度，判断相似度最高的相似度是否大于预设值，如果是，则确定当前关键帧图像对应的位置为与其相似度最高的特征所在的关键帧图像对应的位置。
具体地，考虑到在执行同时定位与地图构建的过程中，由于摄像机的累计误差，仅仅依靠位姿估计将导致环路无法闭合，即无法判断摄像机是否回到已经探索过的区域，在户外大规模跟踪注册时这一问题尤为重要且难以精确检测。
正确的闭环信息可以减少***的累积误差，从而得到信息一致的优化地图，而错误的闭环信息会对后续图优化处理造成严重的干扰，基于此，本申请提供了一种基于词袋模型的闭环检测。
具体地，词袋模型的主要思想是从图像特征提取后，将K均值聚类方法到词汇树，得到图像的视觉单词，将连续变换的特征转变为离散化的“词”，进行图像间的相似性判断和匹配策略，完成闭环的检测。该算法的工作流程为：
step1：从n个二值描述子矢量中任意选择k个对象作为初始聚类中心；
Step2：判断其他对象到聚类中心的相似度(汉明距离)，然后将其分别放置在最近的聚类；
Step3：重复上述步骤，直到误差平方和准则函数值满足条件，将数据分为4类。其中xj为数据的矢量，Si为xj所处的聚类，ui为聚类Si中的平均值。
当新的图像加入数据库后，进行词汇树的增长，词汇树构建完成后，应用TF-IDF(Term Frequency Inverse Document Frequency)模型进行对图像的相似度进行一个判定。TF-IDF主要思想是：如果某个视觉单词在一副关键帧图像中出现的频率高，并且在其他关键帧很少出现，则认为这个视觉单词具有很好地类别区分能力，适合分类。
可以理解的是，用视觉单词来标记所在关键帧图像，以便在后续的闭环检测。
具体地，这里假设当前关键帧图像包括视觉单词“车”，还发现以前的关键帧图像中也包括视觉单词“车”，则可以判断这两个标签对应的是否是一个特征，类似于前面提到的匹配特征点，如果是，则说明使用者处在之前已经访问过的某个区域。
另外，这里在判断两个标签对应的是否是一个特征时，可以通过汉明距离来判断，如果两个标签的汉明距离小于一定预设值时，则说明这两个标签对应的是一个特征。
作为一种优选地实施例，第一预设算法为基于时间选择法和基于视觉内容选择法相结合的方法；且第一预设算法包括以下约束条件：
确定的当前关键帧图像与上一关键帧图像至少匹配到第一预设数量的特征点；
确定的当前关键帧图像与上一关键帧图像之间特征匹配率不超过第一预设阈值；
确定的当前关键帧图像与上一关键帧图像之间至少包括第二预设数量帧。
具体地，在进行关键帧图像确定时，本申请选用基于时间选择法和基于视觉内容选择法相结合的方法，具体地，通过计算图像之间的内容变化来决定是否提取当前时刻图像作为对应场景代表，采用时间选择法作为辅助。
具体地，设为上一关键帧图像，则当前关键帧图像的选取准则可定义为：
其中，k表示当前关键帧图像，D是定义的图像内容差异的度量函数，T为设定的相似度阈值，n定义为两个关键帧图像间隔的最小帧数。则当前关键图像的选择步骤如下：
Step1：提取到的特征点分布均匀，数量足够则初始化成功，并且将其作为第一关键帧图像；
Step2：为了估计摄像机的运动模型，需要保证一定的匹配点数，当前关键帧图像至少与上一关键帧图像匹配到第一预设数量(例如可以为50)特征点；
Step3：为了保证提取足够多的信息，当前关键帧图像与上一关键帧图像之间特征匹配不超过第一预设阈值(例如可以为95％)；
Step4：为了保证两个关键帧之间有一定的不相似性，通过时间域选择法，在满足匹配的条件下，当前关键帧图像的选择距离上一关键帧图像的***已经至少过去了第二预设数量(例如为20)帧。
作为一种优选地实施例，第一预设数量为50，第一预设阈值为95％，第二预设数量为20。
当然，这里的第一预设数量、第一预设阈值及第二预设数量还可以为其他数值，本申请在此不做特别的限定。
作为一种优选地实施例，第二预设算法包括：
将当前关键帧图像均匀地分割成M*N栅格，所有的栅格表示为{h11,h12,..h1n,h21,h22...hmn}，M、N为不小于2的整数
判断每个栅格是否能够检测到特征点，如果栅格hik内没有检测到特征点，则不再考虑此栅格，否则，判断栅格hik中的特征点的数量是否大于第二预设阈值j，如果是，则通过Harris Corner Detector关键点排序，选出其中最好的j个作为检测点，其余的作为候选检测点，否则，将栅格hik中的特征点全部作为检测点，其中，1≤i≤M,1≤k≤N；
当所有栅格提取的特征点的数量总和满足第三预设数量时，特征提取结束，否则，从候选检测点中随机提取满足数量的特征点并结束特征提取。
具体地，由于要满足MAR的实时性要求，理论上，提供的特征点越多那么生成的运动估计结果就越精确，特征点越少，则可能造成运动估计不精确甚至算法的失效。但在实际应用中，由于过多的特征点会造成计算量过大，严重影响***的实时性，因此，在保证特征点的数量下，特征点应该尽可能地覆盖整个图像区域，使SLAM算法能够充分利用获取的图像信息来进行运算。为了满足实际的应用，本发明采用一种基于区域分割的ORB特征提取算法：
Step1：将确定的当前关键帧图像均匀地分割成指定大小的子区域，这些子区域称之为栅格(Grid)，设定图像按栅格划分为M*N栅格区域。那么特征点将会随机地分布在这些区域中。对生成的栅格按顺序进行编号，所有的栅格则可以表示为{h11,h12,..h1n,h21,h22...hmn}；
Step2：如果栅格hik内没有检测到特征点，则将其设置为不感兴趣区域，并且不再考虑此栅格。如果栅格hik内检测到nik个候选特征点，则将其设置为感兴趣区域。如果nj≤j(j的阈值通常需要自己设置)则其栅格内的候选特征点都作为检测点，如果nik≥j，则通过Harris Corner Detector关键点排序，选出其中最好的j个作为检测点，其余的作为候选检测点kik；
Step3：当选取到的特征点个数满足选取数量条件时，特征选取结束。如果选取的特征个数不足时，则在候选检测点kik内随机提取满足数量的特征点，结束特征提取过程。
综上，本申请将确定的当前关键帧图像均匀地分成多个栅格，以此来提取特征点，一方面，方便提取，提取效率高，另一方面，也是的提取的特征点更加均匀，提高了后续运动结果估计的精度。
作为一种优选地实施例，将当前关键帧图像中的特征点与上一关键帧图像中的特征点进行匹配，得到匹配特征点的过程具体为：
判断当前关键帧图像中的特征点与上一关键帧图像中的特征点的汉明距离是否小于第三预设阈值，如果是，则为匹配特征点。
具体地，本申请采用汉明距离作为特征点的距离匹配标准。ORB二值字符串描述采用汉明空间表示，同样选择最小汉明距离作为其相似对。得到ORB的n(本次n为256)维二进制描述子以后，假设K1、K2两幅图像的描述子：
通过汉明距离之间的异或之和表征两个ORB特征描述子的相似程度，用D(K1,K2)表示：
D(K1,K2)越小代表相似度越高。从匹配复杂度来说，汉明距离只需要在相同位求异或操作，复杂度小于欧式距离。
综上，本发明提出了一种用于MAR的基于图优化的SLAM三维跟踪注册方法，应用场景为无标记的自然环境，通过深度相机Kinect摄像机获取每一帧的深度信息，并提出ORB特征提取与匹配，利用同一个特征点在不同时刻的图像坐标可以得到摄像机在这两个时刻的相对位姿关系。将摄像机位姿看做地图中的节点，图像帧间的控件约束关系表示为边，构建基于摄像机相对位姿估计的轨迹地图，获取图像帧间的数据关联，进而完成同时定位与地图构建。
请参照图2，图2为本发明提供的一种面向MAR的基于图优化SLAM的跟踪注册***的结构示意图，该***包括：
摄像机1，用于获取环境深度图；
关键帧确定单元2，用于根据第一预设算法从环境深度图中确定当前关键帧图像；
位置确定单元3，用于根据当前关键帧图像及已构建的地图确定摄像机的位置，并根据摄像机的位置更新已构建的地图；
特征点提取单元4，用于根据第二预设算法从当前关键帧图像中提取特征点；
匹配单元5，用于将当前关键帧图像中的特征点与上一关键帧图像中的特征点进行匹配，得到匹配特征点；
位姿确定单元6，用于根据匹配特征点及已构建的轨迹图得到摄像机的位姿，并根据摄像机的位姿更新已构建的轨迹图。
作为一种优选地实施例，摄像机1为Kinect摄像机。
作为一种优选地实施例，该***还包括：
单词设置单元，用于将当前关键帧图像之前的所有关键帧图像中的特征均采用K均值聚类方法聚类到词汇树，得到所有之前关键帧图像中的特征对应的视觉单词，并根据视觉单词得到词袋模型；
闭环检测单元，用于获取当前关键帧图像中的特征对应的视觉单词，通过TF-IDF模型分别计算当前关键帧图像中的特征对应的视觉单词与词袋模型中的所有视觉单词的相似度，确定相似度最高的相似度，判断相似度最高的相似度是否大于预设值，如果是，则确定当前关键帧图像对应的位置为与其相似度最高的特征所在的关键帧图像对应的位置。
作为一种优选地实施例，第一预设算法为基于时间选择法和基于视觉内容选择法相结合的方法；且第一预设算法包括以下约束条件：
确定的当前关键帧图像与上一关键帧图像至少匹配到第一预设数量的特征点；
确定的当前关键帧图像与上一关键帧图像之间特征匹配率不超过第一预设阈值；
确定的当前关键帧图像与上一关键帧图像之间至少包括第二预设数量帧。
对于本发明提供的面向MAR的基于图优化SLAM的跟踪注册***的介绍请参照上述实施例，本发明在此不再赘述。
需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种面向MAR的基于图优化SLAM的跟踪注册方法，其特征在于，包括：
获取环境深度图；
根据第一预设算法从所述环境深度图中确定当前关键帧图像；
根据所述当前关键帧图像及已构建的地图确定摄像机的位置，并根据所述摄像机的位置更新所述已构建的地图；
根据第二预设算法从所述当前关键帧图像中提取特征点；
将所述当前关键帧图像中的特征点与上一关键帧图像中的特征点进行匹配，得到匹配特征点；
根据所述匹配特征点及已构建的轨迹图得到所述摄像机的位姿，并根据所述摄像机的位姿更新所述已构建的轨迹图。
2.如权利要求1所述的方法，其特征在于，该方法还包括：
将所述当前关键帧图像之前的所有关键帧图像中的特征均采用K均值聚类方法聚类到词汇树，得到所有之前关键帧图像中的特征对应的视觉单词，并根据所述视觉单词得到词袋模型；
获取所述当前关键帧图像中的特征对应的视觉单词，通过TF-IDF模型分别计算所述当前关键帧图像中的特征对应的视觉单词与所述词袋模型中的所有视觉单词的相似度，确定相似度最高的相似度，判断所述相似度最高的相似度是否大于预设值，如果是，则确定所述当前关键帧图像对应的位置为与其相似度最高的特征所在的关键帧图像对应的位置。
3.如权利要求1所述的方法，其特征在于，所述第一预设算法为基于时间选择法和基于视觉内容选择法相结合的方法；且所述第一预设算法包括以下约束条件：
确定的当前关键帧图像与上一关键帧图像至少匹配到第一预设数量的特征点；
确定的当前关键帧图像与上一关键帧图像之间特征匹配率不超过第一预设阈值；
确定的当前关键帧图像与上一关键帧图像之间至少包括第二预设数量帧。
4.如权利要求3所述的方法，其特征在于，所述第一预设数量为50，所述第一预设阈值为95％，所述第二预设数量为20。
5.如权利要求3所述的方法，其特征在于，所述第二预设算法包括：
将所述当前关键帧图像均匀地分割成M*N栅格，所有的栅格表示为{h11,h12,..h1n,h21,h22...hmn}，M、N为不小于2的整数
判断每个所述栅格是否能够检测到特征点，如果栅格hik内没有检测到特征点，则不再考虑此栅格，否则，判断栅格hik中的特征点的数量是否大于第二预设阈值j，如果是，则通过Harris Corner Detector关键点排序，选出其中最好的j个作为检测点，其余的作为候选检测点，否则，将栅格hik中的特征点全部作为检测点，其中，1≤i≤M,1≤k≤N；
当所有所述栅格提取的特征点的数量总和满足第三预设数量时，特征提取结束，否则，从所述候选检测点中随机提取满足数量的特征点并结束特征提取。
6.如权利要求1-5任一项所述的方法，其特征在于，所述将所述当前关键帧图像中的特征点与上一关键帧图像中的特征点进行匹配，得到匹配特征点的过程具体为：
判断所述当前关键帧图像中的特征点与上一关键帧图像中的特征点的汉明距离是否小于第三预设阈值，如果是，则为匹配特征点。
7.一种面向MAR的基于图优化SLAM的跟踪注册***，其特征在于，包括：
摄像机，用于获取环境深度图；
关键帧确定单元，用于根据第一预设算法从所述环境深度图中确定当前关键帧图像；
位置确定单元，用于根据所述当前关键帧图像及已构建的地图确定摄像机的位置，并根据所述摄像机的位置更新所述已构建的地图；
特征点提取单元，用于根据第二预设算法从所述当前关键帧图像中提取特征点；
匹配单元，用于将所述当前关键帧图像中的特征点与上一关键帧图像中的特征点进行匹配，得到匹配特征点；
位姿确定单元，用于根据所述匹配特征点及已构建的轨迹图得到所述摄像机的位姿，并根据所述摄像机的位姿更新所述已构建的轨迹图。
8.如权利要求7所述的***，其特征在于，所述摄像机为Kinect摄像机。
9.如权利要求7所述的***，其特征在于，该***还包括：
单词设置单元，用于将所述当前关键帧图像之前的所有关键帧图像中的特征均采用K均值聚类方法聚类到词汇树，得到所有之前关键帧图像中的特征对应的视觉单词，并根据所述视觉单词得到词袋模型；
闭环检测单元，用于获取所述当前关键帧图像中的特征对应的视觉单词，通过TF-IDF模型分别计算所述当前关键帧图像中的特征对应的视觉单词与所述词袋模型中的所有视觉单词的相似度，确定相似度最高的相似度，判断所述相似度最高的相似度是否大于预设值，如果是，则确定所述当前关键帧图像对应的位置为与其相似度最高的特征所在的关键帧图像对应的位置。
10.如权利要求7所述的***，其特征在于，所述第一预设算法为基于时间选择法和基于视觉内容选择法相结合的方法；且所述第一预设算法包括以下约束条件：
确定的当前关键帧图像与上一关键帧图像至少匹配到第一预设数量的特征点；
确定的当前关键帧图像与上一关键帧图像之间特征匹配率不超过第一预设阈值；
确定的当前关键帧图像与上一关键帧图像之间至少包括第二预设数量帧。
CN201710581403.3A 2017-07-17 2017-07-17 面向mar的基于图优化slam的跟踪注册方法及*** Pending CN107369183A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710581403.3A CN107369183A (zh) 2017-07-17 2017-07-17 面向mar的基于图优化slam的跟踪注册方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710581403.3A CN107369183A (zh) 2017-07-17 2017-07-17 面向mar的基于图优化slam的跟踪注册方法及***

Publications (1)

Publication Number Publication Date
CN107369183A true CN107369183A (zh) 2017-11-21

Family

ID=60308377

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710581403.3A Pending CN107369183A (zh) 2017-07-17 2017-07-17 面向mar的基于图优化slam的跟踪注册方法及***

Country Status (1)

Country Link
CN (1) CN107369183A (zh)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108021921A (zh) * 2017-11-23 2018-05-11 塔普翊海（上海）智能科技有限公司 图像特征点提取***及其应用
CN108615246A (zh) * 2018-04-19 2018-10-02 浙江大承机器人科技有限公司 提高视觉里程计***鲁棒性和降低算法计算消耗的方法
CN108735052A (zh) * 2018-05-09 2018-11-02 北京航空航天大学青岛研究院 一种基于slam的增强现实自由落体实验方法
CN109947886A (zh) * 2019-03-19 2019-06-28 腾讯科技（深圳）有限公司 图像处理方法、装置、电子设备及存储介质
CN110059651A (zh) * 2019-04-24 2019-07-26 北京计算机技术及应用研究所 一种相机实时跟踪注册方法
CN110148167A (zh) * 2019-04-17 2019-08-20 维沃移动通信有限公司 一种距离测量方法及终端设备
CN110245639A (zh) * 2019-06-10 2019-09-17 北京航空航天大学 一种基于特征匹配的词袋生成方法及装置
GB2572795A (en) * 2018-04-11 2019-10-16 Nokia Technologies Oy Camera registration
CN110727265A (zh) * 2018-06-28 2020-01-24 深圳市优必选科技有限公司 机器人重定位的方法、装置以及存储装置
CN111046698A (zh) * 2018-10-12 2020-04-21 锥能机器人（上海）有限公司 可视化编辑的视觉定位方法和***
CN111239761A (zh) * 2020-01-20 2020-06-05 西安交通大学 一种用于室内实时建立二维地图的方法
CN111274847A (zh) * 2018-12-04 2020-06-12 上海汽车集团股份有限公司 一种定位方法
CN111310654A (zh) * 2020-02-13 2020-06-19 北京百度网讯科技有限公司 一种地图要素的定位方法、装置、电子设备及存储介质
CN111339228A (zh) * 2020-02-18 2020-06-26 Oppo广东移动通信有限公司 一种地图更新方法、设备、云服务器和存储介质
CN111583331A (zh) * 2020-05-12 2020-08-25 北京轩宇空间科技有限公司 用于同时定位和地图构建的方法及装置
CN111784775A (zh) * 2020-07-13 2020-10-16 中国人民解放军军事科学院国防科技创新研究院 一种标识辅助的视觉惯性增强现实注册方法
CN111795704A (zh) * 2020-06-30 2020-10-20 杭州海康机器人技术有限公司 一种视觉点云地图的构建方法、装置
CN112556695A (zh) * 2020-11-30 2021-03-26 北京建筑大学 室内定位与三维建模方法、***、电子设备及存储介质
CN112614185A (zh) * 2020-12-29 2021-04-06 浙江商汤科技开发有限公司 地图构建方法及装置、存储介质
CN112634395A (zh) * 2019-09-24 2021-04-09 杭州海康威视数字技术股份有限公司 一种基于slam的地图构建方法及装置
CN112926593A (zh) * 2021-02-20 2021-06-08 温州大学 一种用于动态图像增强呈现中的图像特征处理方法及装置
CN113094457A (zh) * 2021-04-15 2021-07-09 成都纵横自动化技术股份有限公司 一种数字正射影像地图的增量式生成方法及相关组件
CN113532431A (zh) * 2021-07-15 2021-10-22 贵州电网有限责任公司 一种用于电力巡检与作业的视觉惯性slam方法
WO2022262152A1 (zh) * 2021-06-18 2022-12-22 深圳市商汤科技有限公司 地图构建方法及装置、电子设备、存储介质和计算机程序产品
WO2023216918A1 (zh) * 2022-05-09 2023-11-16 北京字跳网络技术有限公司 渲染图像的方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103177468A (zh) * 2013-03-29 2013-06-26 渤海大学 一种基于无标记的三维运动物体增强现实注册方法
CN103530881A (zh) * 2013-10-16 2014-01-22 北京理工大学 适用于移动终端的户外增强现实无标志点跟踪注册方法
CN103854283A (zh) * 2014-02-21 2014-06-11 北京理工大学 一种基于在线学习的移动增强现实跟踪注册方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103177468A (zh) * 2013-03-29 2013-06-26 渤海大学 一种基于无标记的三维运动物体增强现实注册方法
CN103530881A (zh) * 2013-10-16 2014-01-22 北京理工大学 适用于移动终端的户外增强现实无标志点跟踪注册方法
CN103854283A (zh) * 2014-02-21 2014-06-11 北京理工大学 一种基于在线学习的移动增强现实跟踪注册方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
林城: "《面向移动增强现实的跟踪注册技术研究》", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
赵越 等: "《基于IEKF-SLAM的未知场景增强现实跟踪注册算法》", 《计算机工程》 *
郑顺凯: "《自然环境中基于图优化的单目视觉SLAM的研究》", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108021921A (zh) * 2017-11-23 2018-05-11 塔普翊海（上海）智能科技有限公司 图像特征点提取***及其应用
GB2572795A (en) * 2018-04-11 2019-10-16 Nokia Technologies Oy Camera registration
CN108615246A (zh) * 2018-04-19 2018-10-02 浙江大承机器人科技有限公司 提高视觉里程计***鲁棒性和降低算法计算消耗的方法
CN108615246B (zh) * 2018-04-19 2021-02-26 浙江大承机器人科技有限公司 提高视觉里程计***鲁棒性和降低算法计算消耗的方法
CN108735052A (zh) * 2018-05-09 2018-11-02 北京航空航天大学青岛研究院 一种基于slam的增强现实自由落体实验方法
CN110727265A (zh) * 2018-06-28 2020-01-24 深圳市优必选科技有限公司 机器人重定位的方法、装置以及存储装置
CN111046698A (zh) * 2018-10-12 2020-04-21 锥能机器人（上海）有限公司 可视化编辑的视觉定位方法和***
CN111046698B (zh) * 2018-10-12 2023-06-20 锥能机器人（上海）有限公司 可视化编辑的视觉定位方法和***
CN111274847A (zh) * 2018-12-04 2020-06-12 上海汽车集团股份有限公司 一种定位方法
CN109947886B (zh) * 2019-03-19 2023-01-10 腾讯科技（深圳）有限公司 图像处理方法、装置、电子设备及存储介质
CN109947886A (zh) * 2019-03-19 2019-06-28 腾讯科技（深圳）有限公司 图像处理方法、装置、电子设备及存储介质
CN110148167A (zh) * 2019-04-17 2019-08-20 维沃移动通信有限公司 一种距离测量方法及终端设备
CN110059651A (zh) * 2019-04-24 2019-07-26 北京计算机技术及应用研究所 一种相机实时跟踪注册方法
CN110059651B (zh) * 2019-04-24 2021-07-02 北京计算机技术及应用研究所 一种相机实时跟踪注册方法
CN110245639B (zh) * 2019-06-10 2021-03-02 北京航空航天大学 一种基于特征匹配的词袋生成方法及装置
CN110245639A (zh) * 2019-06-10 2019-09-17 北京航空航天大学 一种基于特征匹配的词袋生成方法及装置
CN112634395A (zh) * 2019-09-24 2021-04-09 杭州海康威视数字技术股份有限公司 一种基于slam的地图构建方法及装置
CN112634395B (zh) * 2019-09-24 2023-08-25 杭州海康威视数字技术股份有限公司 一种基于slam的地图构建方法及装置
CN111239761A (zh) * 2020-01-20 2020-06-05 西安交通大学 一种用于室内实时建立二维地图的方法
CN111310654A (zh) * 2020-02-13 2020-06-19 北京百度网讯科技有限公司 一种地图要素的定位方法、装置、电子设备及存储介质
CN111310654B (zh) * 2020-02-13 2023-09-08 北京百度网讯科技有限公司 一种地图要素的定位方法、装置、电子设备及存储介质
CN111339228A (zh) * 2020-02-18 2020-06-26 Oppo广东移动通信有限公司 一种地图更新方法、设备、云服务器和存储介质
CN111339228B (zh) * 2020-02-18 2023-08-11 Oppo广东移动通信有限公司 一种地图更新方法、设备、云服务器和存储介质
CN111583331B (zh) * 2020-05-12 2023-09-01 北京轩宇空间科技有限公司 用于同时定位和地图构建的方法及装置
CN111583331A (zh) * 2020-05-12 2020-08-25 北京轩宇空间科技有限公司 用于同时定位和地图构建的方法及装置
CN111795704A (zh) * 2020-06-30 2020-10-20 杭州海康机器人技术有限公司 一种视觉点云地图的构建方法、装置
CN111784775A (zh) * 2020-07-13 2020-10-16 中国人民解放军军事科学院国防科技创新研究院 一种标识辅助的视觉惯性增强现实注册方法
CN111784775B (zh) * 2020-07-13 2021-05-04 中国人民解放军军事科学院国防科技创新研究院 一种标识辅助的视觉惯性增强现实注册方法
CN112556695A (zh) * 2020-11-30 2021-03-26 北京建筑大学 室内定位与三维建模方法、***、电子设备及存储介质
CN112556695B (zh) * 2020-11-30 2023-09-19 北京建筑大学 室内定位与三维建模方法、***、电子设备及存储介质
CN112614185A (zh) * 2020-12-29 2021-04-06 浙江商汤科技开发有限公司 地图构建方法及装置、存储介质
CN112614185B (zh) * 2020-12-29 2022-06-21 浙江商汤科技开发有限公司 地图构建方法及装置、存储介质
CN112926593A (zh) * 2021-02-20 2021-06-08 温州大学 一种用于动态图像增强呈现中的图像特征处理方法及装置
CN113094457A (zh) * 2021-04-15 2021-07-09 成都纵横自动化技术股份有限公司 一种数字正射影像地图的增量式生成方法及相关组件
CN113094457B (zh) * 2021-04-15 2023-11-03 成都纵横自动化技术股份有限公司 一种数字正射影像地图的增量式生成方法及相关组件
WO2022262152A1 (zh) * 2021-06-18 2022-12-22 深圳市商汤科技有限公司 地图构建方法及装置、电子设备、存储介质和计算机程序产品
CN113532431A (zh) * 2021-07-15 2021-10-22 贵州电网有限责任公司 一种用于电力巡检与作业的视觉惯性slam方法
WO2023216918A1 (zh) * 2022-05-09 2023-11-16 北京字跳网络技术有限公司 渲染图像的方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN107369183A (zh) 面向mar的基于图优化slam的跟踪注册方法及***
WO2020259481A1 (zh) 定位方法及装置、电子设备、可读存储介质
CN103530881B (zh) 适用于移动终端的户外增强现实无标志点跟踪注册方法
CN104715471B (zh) 目标定位跟踪方法及其装置
US9626585B2 (en) Composition modeling for photo retrieval through geometric image segmentation
EP3274964B1 (en) Automatic connection of images using visual features
CN104781849A (zh) 单眼视觉同时定位与建图(slam)的快速初始化
Tang et al. ESTHER: Joint camera self-calibration and automatic radial distortion correction from tracking of walking humans
Tau et al. Dense correspondences across scenes and scales
JP2014515530A (ja) モバイルデバイスのための平面マッピングおよびトラッキング
TWI745818B (zh) 視覺定位方法、電子設備及電腦可讀儲存介質
CN105069809A (zh) 一种基于平面混合标识物的相机定位方法及***
Garg et al. Where's Waldo: matching people in images of crowds
CN109063549A (zh) 基于深度神经网络的高分辨率航拍视频运动目标检测方法
CN112163588A (zh) 基于智能进化的异源图像目标检测方法、存储介质及设备
CN108961385A (zh) 一种slam构图方法及装置
CN111709317B (zh) 一种基于显著性模型下多尺度特征的行人重识别方法
Shalaby et al. Algorithms and applications of structure from motion (SFM): A survey
Liu et al. Stereo video object segmentation using stereoscopic foreground trajectories
Revaud et al. Did it change? learning to detect point-of-interest changes for proactive map updates
CN105447869A (zh) 基于粒子群优化算法的摄像机自标定方法及装置
Zhu et al. Large-scale architectural asset extraction from panoramic imagery
Park et al. Estimating the camera direction of a geotagged image using reference images
Wang et al. Tc-sfm: Robust track-community-based structure-from-motion
CN111402429B (zh) 一种尺度还原、三维重建方法、***、存储介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20171121