CN109974743B - 一种基于gms特征匹配及滑动窗口位姿图优化的视觉里程计 - Google Patents

一种基于gms特征匹配及滑动窗口位姿图优化的视觉里程计 Download PDF

Info

Publication number
CN109974743B
CN109974743B CN201910195323.3A CN201910195323A CN109974743B CN 109974743 B CN109974743 B CN 109974743B CN 201910195323 A CN201910195323 A CN 201910195323A CN 109974743 B CN109974743 B CN 109974743B
Authority
CN
China
Prior art keywords
frame
feature
matching
pose
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201910195323.3A
Other languages
English (en)
Other versions
CN109974743A (zh
Inventor
陈佩
谢晓明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN201910195323.3A priority Critical patent/CN109974743B/zh
Publication of CN109974743A publication Critical patent/CN109974743A/zh
Application granted granted Critical
Publication of CN109974743B publication Critical patent/CN109974743B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C22/00—Measuring distance traversed on the ground by vehicles, persons, animals or other moving solid bodies, e.g. using odometers, using pedometers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于计算机视觉领域，更具体地，涉及一种基于GMS特征匹配及滑动窗口位姿图优化的RGB‑D视觉里程计。本发明采用GMS(网格运动统计)算法代替现有技术方案中普遍使用的距离阈值+RANSAC(随机样本一致性)算法进行误匹配剔除，在图像间相对运动较大且亮度变化较大时仍然能够筛选出足够数量的正确匹配点对，提高了***的鲁棒性；本发明采用滑动窗口位姿图优化技术减小位姿估计的累计误差，相较于现有技术方案中通过维护局部地图或设计更复杂的目标函数，具有更高的实时性，同时又可以保证视觉里程计的精确度。

Description

一种基于GMS特征匹配及滑动窗口位姿图优化的视觉里程计
技术领域
本发明属于计算机视觉领域，更具体地，涉及一种基于GMS特征匹配及滑动窗口位姿图优化的RGB-D视觉里程计。
背景技术
视觉里程计是指通过机器视觉技术，分析相关图像序列来实时估计机器人位姿，能克服传统里程计的不足，更加精确地进行定位，并且可以运行在GPS(全球定位***)无法覆盖的环境下，例如室内环境，星际探索等。视觉里程计在移动机器人定位和导航领域得到了广泛关注和应用。
目前，视觉里程计的两种主流方法分别是特征点法和直接法。特征点法主要通过三个步骤，即特征提取，特征匹配，最小化重投影误差(Reprojection Error), 来估计图像帧之间的相对位姿。特征点法作为最早兴起的视觉里程计解决方案，一直被认为是视觉里程计的主流方法，这种方法运行稳定，对动态物体不敏感，是目前比较成熟的解决方案，但该方法也存在一定的问题。特征点法的特征点提取和匹配步骤存在比较耗时以及会有错误匹配的问题。当图像存在运动模糊，光照条件差，纹理大量重复或缺少纹理时，特征点法的准确性会受到较大的影响。直接法的原理基于一个称为亮度不变性的假设，该假设认为，两帧图像上对应的像素点应具有相同的亮度度值。基于这个假设，通过相机模型直接使用像素点的亮度值构造光度误差，并通过最小化光度误差(Photometric Error)来估计帧间位姿。根据使用的像素点数量，直接法又可以分为稠密和半稠密两种，其中稠密的直接法会使用图像上的所有像素点来计算光度误差，因此计算量巨大。半稠密的直接法只使用有一定梯度信息的像素点来计算光度误差，这样的处理在保持相对位姿估计的准确性的同时也让直接法具备一定的实时性。直接法在相机相对运动较小时能够得到鲁棒且准确的位姿估计结果，同时，对于图像信息的充分利用，使得其在图像出现运动模糊，重复纹理以及纹理缺失的情况仍能保持较好的准确性。直接法的主要问题在于，亮度不变假设是一种较为强迫性的假设，即该假设在亮度差异较小的情况下能够认为是成立的，但在亮度差异较大的情况，该假设很有可能不成立，这种情况下直接法的视觉里程计的精确度会有较大程度的下降。
在使用特征点法或是直接法实现视觉里程计时，一般情况下都不会只单纯地对图像序列帧做两两之间的相对位姿估计，通常会通过一些技术手段的方式来减少累计误差。这些技术手段主要包括维护局部地图以及设计更加复杂光度误差计算方法。维护局部地图需要对地图进行***新的地图点和删除旧地图点的操作，这两种操作对会增加计算量，降低视觉里程计的实时性。通过设计更加复杂的光度误差计算方法能够有效减少累计误差，但同时，在最小化光度误差时也需要更多的计算量，降低***的实时性。
发明内容
本发明为克服上述现有技术所述的至少一种缺陷，提供一种基于GMS特征匹配及滑动窗口位姿图优化的RGB-D视觉里程计，采用GMS(网格运动统计) 算法进行误匹配剔除，在图像间相对运动较大且亮度变化较大时仍然能够筛选出足够数量的正确匹配点对，提高了***的鲁棒性；采用滑动窗口位姿图优化技术减小位姿估计的累计误差，具有更高的实时性。
为解决上述技术问题，本发明采用的技术方案是：一种基于GMS特征匹配及滑动窗口位姿图优化的RGB-D视觉里程计，包括以下步骤：
步骤1.通过RGB-D相机读取第一帧RGB图像作为参考帧，读取第一帧深度图像作为参考帧的深度信息，对参考帧提取特征点并计算ORB特征描述子；提取的特征点为图像中FAST(快速段测试特征)角点的像素点位置。ORB特征通过将角点的亮度值与其周围128个像素点的亮度进行比较，比角点亮记为1，反之记为0，最后产生一个128维的二进制向量作为该角点的特征描述子。
步骤2.读取下一帧RGB图像作为当前帧，读取下一帧深度图像作为当前帧的深度信息，对当前帧提取特征点并计算ORB特征描述子。
步骤3.对从参考帧与当前帧提取的特征点进行初步的特征匹配；用汉明距离作为两个特征点相似度的度量，将参考帧上的每一个特征点与当前帧上的所有特征点逐一计算汉明距离，选取汉明距离最小的特征点作为匹配点，产生一对匹配点对。
步骤4.对步骤S3得到的特征匹配点对通过GMS(网格运动统计)算法剔除错误匹配；GMS(网格运动统计)算法基于运动的平滑性提出了一种假设：第一帧图像上的一个特征点p1在第二帧图像上的匹配点为p2，若该匹配为正确匹配则以p1为中心的3*3网格中的特征点的匹配点都大概率地落在第二帧图像以p2为中心的3*3网格中。基于该假设通过对两帧图像进行网格划分并对对应网格区域内的匹配点数进行统计，若匹配点数大于阈值T0，这认为该匹配对为正确匹配对，反之为错误匹配对，其中T0的计算公式如下：
Figure GDA0002733802720000031
其中，n为每个网格中的特征点的平均个数；在本方案中取α值为6；基于 GMS(网格运动统计)算法的特征匹配作为本发明的关键技术之一，具有以下效果：
1.相较于一般的RANSAC(随机样本一致性算法)算法，GMS(网格运动统计) 在帧间运动相对较大以及帧间亮度变化较大的情况下仍能筛选出足够数量的正确匹配对，这在一定程度上保证了后续位姿计算的准确度；
2.该算法基于统计学理论对误匹配进行剔除，具有较高的实时性。
步骤5.经过步骤S4得到参考帧与当前帧的二维-二维匹配点对，将参考帧中经过步骤S4筛选的特征点利用相机投影模型以及参考帧的深度信息投影到三维空间中，得到特征点的三维空间坐标，由此将二维-二维匹配点对转换成三维- 二维匹配点对；相机投影模型的计算公式为：
P＝dK-1p
其中，p为特征点的像素坐标，K为相机内参，d为特征点的深度，P为特征点三维空间坐标。
步骤6.最小化重投影误差，得到初步的帧间相对位姿；最小化重投影误差的目标函数为：
ε*＝argminε|(π(T(P；ε))-p)|2
其中，ε为待估计的参考帧与当前帧之间的相对位姿，T表示参考帧到当前帧的位姿变换，π表示相机的投影模型，即将三维空间投影到图像上的变换。
步骤7.最小化亮度误差，最小化亮度误差，将步骤S6得到的初步帧间相对位姿作为迭代优化的初始值，得到经过第二次优化的帧间相对位姿；最小化亮度误差的目标函数为：
ε*＝argminε|I2(π(P；ε))-I2(p)|2”。
其中，I2(*)表示当前帧的像素点的亮度值。
步骤8.滑动窗口位姿图优化，选取当前帧及其前面的帧的位姿作为窗口中要进行迭代优化的位姿；本发明采用Graph图来表示位姿优化问题，其中顶点为每帧的位姿，边为两帧之间的相对位姿，误差的计算公式如下：
Figure GDA0002733802720000041
其中，Tij表示第j帧到第i帧的相对运动，Ti,Tj分别表示第i帧和第j帧的位姿；对于窗口外的图像帧的位姿，仍然将他们保留在Graph图中，但在进行迭代时，对这些帧的位姿进行边缘化，并不对其进行更新。
滑动窗口优化作为本方案的另一个关键技术点，具有以下效果：
1.为当前帧的位姿计算提供了全局的信息，能够有效地减小累计误差，提高视觉里程计的精确度；
2.对于窗口外的图像帧的位姿，本方案采取的做法是将其保留在图(Graph) 中，但对其进行边缘化以及不对其进行迭代更新，这样可以将位姿图优化保持在一个固定大小的规模下，较少迭代次数，提高视觉里程计的实时性。
S9.将当前帧作为参考帧，当前帧的深度信息作为参考帧的深度信息，返回步骤S2。
与现有技术相比，有益效果是：
1.采用两两帧间无结构式的相对位姿估计，无需建立局部地图并对其进行维护，提高了视觉里程计的实时性；
2.采用基于GMS(网格运动统计)算法的特征匹配，保证在帧间运动较大以及亮度变化较大的情况下仍然能够筛选出足够数量的匹配点对供后续位姿计算时使用，提高了视觉里程计的鲁棒性；
3.过滑动窗口位姿图优化，对估计出来的位姿进行非线性优化，提高了视觉里程计的精确度，同时，通过窗口大小对位姿图优化的规模进行约束，降低非线性优化过程的迭代次数，保证了视觉里程计的实时性。
附图说明
图1是本发明的方法流程图。
图2是本发明实施例中滑动窗口位姿图优化示意图。
图3是本发明采用的Graph图的结构示意图。
具体实施方式
附图仅用于示例性说明，不能理解为对本发明的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。附图中描述位置关系仅用于示例性说明，不能理解为对本发明的限制。
实施例1：
如图1所示，一种基于GMS特征匹配及滑动窗口位姿图优化的RGB-D视觉里程计，包括以下步骤：
步骤1.通过RGB-D相机读取第一帧RGB图像作为参考帧，读取第一帧深度图像作为参考帧的深度信息，对参考帧提取特征点并计算ORB特征描述子；提取的特征点为图像中FAST(快速段测试特征)角点的像素点位置。ORB特征通过将角点的亮度值与其周围128个像素点的亮度进行比较，比角点亮记为1，反之记为0，最后产生一个128维的二进制向量作为该角点的特征描述子。
步骤2.读取下一帧RGB图像作为当前帧，读取下一帧深度图像作为当前帧的深度信息，对当前帧提取特征点并计算ORB特征描述子。
步骤3.对从参考帧与当前帧提取的特征点进行初步的特征匹配；用汉明距离作为两个特征点相似度的度量，将参考帧上的每一个特征点与当前帧上的所有特征点逐一计算汉明距离，选取汉明距离最小的特征点作为匹配点，产生一对匹配点对。
步骤4.对步骤S3得到的特征匹配点对通过GMS(网格运动统计)算法剔除错误匹配；GMS(网格运动统计)算法基于运动的平滑性提出了一种假设：第一帧图像上的一个特征点P1在第二帧图像上的匹配点为P2，若该匹配为正确匹配则以P1为中心的3*3网格中的特征点的匹配点都大概率地落在第二帧图像以P2为中心的3*3网格中。基于该假设通过对两帧图像进行网格划分并对对应网格区域内的匹配点数进行统计，若匹配点数大于阈值T0，这认为该匹配对为正确匹配对，反之为错误匹配对，其中T0的计算公式如下：
Figure GDA0002733802720000051
其中，n为每个网格中的特征点的平均个数；在本方案中取α值为6。
步骤5.经过步骤S4得到参考帧与当前帧的二维-二维匹配点对，将参考帧中经过步骤S4筛选的特征点利用相机投影模型以及参考帧的深度信息投影到三维空间中，得到特征点的三维空间坐标，由此将二维-二维匹配点对转换成三维- 二维匹配点对；相机投影模型的计算公式为：
P＝dK-1p
其中，p为特征点的像素坐标，K为相机内参，d为特征点的深度，P为特征点三维空间坐标。
步骤6.最小化重投影误差，最小化重投影误差的目标函数为：
ε*＝argminε|(π(T(P；ε))-p)|2
其中，ε为待估计的参考帧与当前帧之间的相对位姿，T表示参考帧到当前帧的位姿变换，π表示相机的投影模型，即将三维空间投影到图像上的变换；
根据上式建立重投影误差最小二乘目标函数，采用LM(利文伯格-马夸特) 迭代算法进行迭代优化，得到初步的帧间相对位姿。
步骤7.最小化亮度误差，最小化亮度误差的目标函数为：
ε*＝argminε|I2(π(P；ε))-I2(p)|2；
其中，I2(*)表示当前帧的像素点的亮度值；p为特征点的像素坐标；P为特征点三维空间坐标；
根据上式建立亮度误差最小二乘目标函数，将步骤6得到的初步位姿作为此步骤迭代优化的初始值，采用LM(利文伯格-马夸特)迭代算法进行迭代优化，得到经过第二次优化的帧间相对位姿。
步骤8.如图2所示，滑动窗口位姿图优化，选取当前帧及其前面的9帧共计10帧的位姿作为窗口中要进行迭代优化的位姿；如图3所示本发明采用Graph 图来表示该位姿优化问题，其中顶点为每帧的位姿，边为两帧之间的相对位姿，误差的计算公式如下：
Figure GDA0002733802720000061
其中，Tij表示第j帧到第i帧的相对运动，Ti,Tj分别表示第i帧和第j帧的位姿；对于窗口外的图像帧的位姿，仍然将他们保留在Graph图中，但在进行迭代时，对这些帧的位姿进行边缘化，并不对其进行更新。
利用g2o库建立窗口优化的位姿图，设置好块求解器，线性方程求解器，迭代优化算法以及迭代次数，初始化后调用求解器优化接口进行位姿图优化。
步骤9.对经过位姿图优化的参考帧与当前帧的相对位姿进行存储。
步骤10.将当前帧作为参考帧，返回步骤2。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (6)

1.一种基于GMS特征匹配及滑动窗口位姿图优化的RGB-D视觉里程计，其特征在于，包括以下步骤：
S1.通过RGB-D相机读取第一帧RGB图像作为参考帧，读取第一帧深度图像作为参考帧的深度信息，对参考帧提取特征点并计算ORB特征描述子；
S2.读取下一帧RGB图像作为当前帧，读取下一帧深度图像作为当前帧的深度信息，对当前帧提取特征点并计算ORB特征描述子；
S3.对从参考帧与当前帧提取的特征点进行初步的特征匹配；
S4.对步骤S3得到的特征匹配点对通过GMS算法剔除错误匹配；
S5.经过步骤S4得到参考帧与当前帧的二维-二维匹配点对，将参考帧中经过步骤S4筛选的特征点利用相机投影模型以及参考帧的深度信息投影到三维空间中，得到特征点的三维空间坐标，由此将二维-二维匹配点对转换成三维-二维匹配点对；
S6.最小化重投影误差，通过迭代优化得到初步的帧间相对位姿；
S7.最小化亮度误差，将步骤S6得到的初步帧间相对位姿作为迭代优化的初始值，得到经过第二次优化的帧间相对位姿；
S8.滑动窗口位姿图优化，选取当前帧及其前面的帧的位姿作为窗口中要进行迭代优化的位姿；采用Graph图来表示位姿优化问题，其中顶点为每帧的位姿，边为两帧之间的相对位姿，误差的计算公式如下：
Figure FDA0002765521250000011
其中，Tij表示第j帧到第i帧的相对运动，Ti,Tj分别表示第i帧和第j帧的位姿；将窗口外的图像帧的位姿保留在Graph图中，但在进行迭代时，对这些窗口外的图像帧的位姿进行边缘化，不进行更新；
S9.将当前帧作为参考帧，当前帧的深度信息作为参考帧的深度信息，返回步骤S2。
2.根据权利要求1所述的一种基于GMS特征匹配及滑动窗口位姿图优化的RGB-D视觉里程计，其特征在于，步骤S1中提取的特征点为图像中快速段测试特征FAST角点的像素点位置；将角点的亮度值与其周围128个像素点的亮度进行比较，比角点亮记为1，反之记为0，最后产生一个128维的二进制向量作为该角点的特征描述子。
3.根据权利要求2所述的一种基于GMS特征匹配及滑动窗口位姿图优化的RGB-D视觉里程计，其特征在于，步骤S3具体包括：用汉明距离作为两个特征点相似度的度量，将参考帧上的每一个特征点与当前帧上的所有特征点逐一计算汉明距离，选取汉明距离最小的特征点作为匹配点，产生一对匹配点对。
4.根据权利要求3所述的一种基于GMS特征匹配及滑动窗口位姿图优化的RGB-D视觉里程计，其特征在于，GMS算法基于运动的平滑性提出了一种假设：第一帧图像上的一个特征点P1在第二帧图像上的匹配点为P2，若该匹配为正确匹配，则以P1为中心的3*3网格中的特征点的匹配点都大概率地落在第二帧图像以P2为中心的3*3网格中；基于该假设通过对两帧图像进行网格划分并对对应网格区域内的匹配点数进行统计，若匹配点数大于阈值T0，则认为特征匹配点对为正确匹配点对，反之为错误匹配点对，其中T0的计算公式如下：
Figure FDA0002765521250000021
其中，n为每个网格中的特征点的平均个数；α为可自定义的参数。
5.根据权利要求4所述的一种基于GMS特征匹配及滑动窗口位姿图优化的RGB-D视觉里程计，其特征在于，所述的相机投影模型的计算公式为：
P＝dK-1p
其中，p为特征点的像素坐标，K为相机内参，d为特征点的深度，P为特征点三维空间坐标。
6.根据权利要求4所述的一种基于GMS特征匹配及滑动窗口位姿图优化的RGB-D视觉里程计，其特征在于，所述的最小化重投影误差的目标函数为：
ε*＝argminε|(π(T(P；ε))-p)|2
其中，ε为待估计的参考帧与当前帧之间的相对位姿，T表示参考帧到当前帧的位姿变换，π表示相机的投影模型，即将三维空间投影到图像上的变换；p为特征点的像素坐标；P为特征点三维空间坐标。
CN201910195323.3A 2019-03-14 2019-03-14 一种基于gms特征匹配及滑动窗口位姿图优化的视觉里程计 Expired - Fee Related CN109974743B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910195323.3A CN109974743B (zh) 2019-03-14 2019-03-14 一种基于gms特征匹配及滑动窗口位姿图优化的视觉里程计

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910195323.3A CN109974743B (zh) 2019-03-14 2019-03-14 一种基于gms特征匹配及滑动窗口位姿图优化的视觉里程计

Publications (2)

Publication Number Publication Date
CN109974743A CN109974743A (zh) 2019-07-05
CN109974743B true CN109974743B (zh) 2021-01-01

Family

ID=67078903

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910195323.3A Expired - Fee Related CN109974743B (zh) 2019-03-14 2019-03-14 一种基于gms特征匹配及滑动窗口位姿图优化的视觉里程计

Country Status (1)

Country Link
CN (1) CN109974743B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110838145B (zh) * 2019-10-09 2020-08-18 西安理工大学 一种室内动态场景的视觉定位与建图方法
CN111047620A (zh) * 2019-11-15 2020-04-21 广东工业大学 一种基于深度点线特征的无人机视觉里程计方法
CN111724439B (zh) * 2019-11-29 2024-05-17 中国科学院上海微***与信息技术研究所 一种动态场景下的视觉定位方法及装置
CN111144441B (zh) * 2019-12-03 2023-08-08 东南大学 一种基于特征匹配的dso光度参数估计方法及装置
CN111161318A (zh) * 2019-12-30 2020-05-15 广东工业大学 一种基于yolo算法及gms特征匹配的动态场景slam方法
CN111462190B (zh) * 2020-04-20 2023-11-17 海信集团有限公司 一种智能冰箱及食材录入方法
CN112418288B (zh) * 2020-11-17 2023-02-03 武汉大学 一种基于gms和运动检测的动态视觉slam方法
US11899469B2 (en) 2021-08-24 2024-02-13 Honeywell International Inc. Method and system of integrity monitoring for visual odometry
CN115115708B (zh) * 2022-08-22 2023-01-17 荣耀终端有限公司 一种图像位姿的计算方法及***

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105938619A (zh) * 2016-04-11 2016-09-14 中国矿业大学 一种融合RGB和Depth信息的视觉里程计实现方法
CN106556412A (zh) * 2016-11-01 2017-04-05 哈尔滨工程大学 一种室内环境下考虑地面约束的rgb‑d视觉里程计方法
CN107025668B (zh) * 2017-03-30 2020-08-18 华南理工大学 一种基于深度相机的视觉里程计的设计方法
US10416681B2 (en) * 2017-07-12 2019-09-17 Mitsubishi Electric Research Laboratories, Inc. Barcode: global binary patterns for fast visual inference
CN108537848B (zh) * 2018-04-19 2021-10-15 北京工业大学 一种面向室内场景重建的两级位姿优化估计方法

Also Published As

Publication number Publication date
CN109974743A (zh) 2019-07-05

Similar Documents

Publication Publication Date Title
CN109974743B (zh) 一种基于gms特征匹配及滑动窗口位姿图优化的视觉里程计
CN111563442B (zh) 基于激光雷达的点云和相机图像数据融合的slam方法及***
CN110108258B (zh) 一种单目视觉里程计定位方法
CN114782691B (zh) 基于深度学习的机器人目标识别与运动检测方法、存储介质及设备
CN106780576B (zh) 一种面向rgbd数据流的相机位姿估计方法
CN111462207A (zh) 一种融合直接法与特征法的rgb-d同时定位与地图创建方法
CN110807809B (zh) 基于点线特征和深度滤波器的轻量级单目视觉定位方法
CN108682027A (zh) 基于点、线特征融合的vSLAM实现方法及***
US11367195B2 (en) Image segmentation method, image segmentation apparatus, image segmentation device
CN103646391A (zh) 一种针对动态变化场景的实时摄像机跟踪方法
CN103854283A (zh) 一种基于在线学习的移动增强现实跟踪注册方法
CN111882602B (zh) 基于orb特征点和gms匹配过滤器的视觉里程计实现方法
CN111982103B (zh) 一种权值优化的点线综合视觉惯性里程计方法
CN109708658B (zh) 一种基于卷积神经网络的视觉里程计方法
CN110136174B (zh) 一种目标对象跟踪方法和装置
CN112652020B (zh) 一种基于AdaLAM算法的视觉SLAM方法
CN114677323A (zh) 一种室内动态场景下基于目标检测的语义视觉slam定位方法
CN112446882A (zh) 一种动态场景下基于深度学习的鲁棒视觉slam方法
CN115619826A (zh) 一种基于重投影误差和深度估计的动态slam方法
Xu et al. Crosspatch-based rolling label expansion for dense stereo matching
Wang et al. Improving RGB-D SLAM accuracy in dynamic environments based on semantic and geometric constraints
CN113362377B (zh) 一种基于单目相机的vo加权优化方法
CN113888603A (zh) 基于光流跟踪和特征匹配的回环检测及视觉slam方法
CN111950599B (zh) 一种动态环境下融合边缘信息的稠密视觉里程计方法
CN117315547A (zh) 一种解决动态物体大占比的视觉slam方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210101

CF01 Termination of patent right due to non-payment of annual fee