CN109478330B - 基于rgb-d照相机的跟踪***及其方法 - Google Patents

基于rgb-d照相机的跟踪***及其方法 Download PDF

Info

Publication number
CN109478330B
CN109478330B CN201780038684.6A CN201780038684A CN109478330B CN 109478330 B CN109478330 B CN 109478330B CN 201780038684 A CN201780038684 A CN 201780038684A CN 109478330 B CN109478330 B CN 109478330B
Authority
CN
China
Prior art keywords
key frame
map
graph
constraint
keyframe
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780038684.6A
Other languages
English (en)
Other versions
CN109478330A (zh
Inventor
S.金
B.P.W.巴布
Z.严
L.任
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN109478330A publication Critical patent/CN109478330A/zh
Application granted granted Critical
Publication of CN109478330B publication Critical patent/CN109478330B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Instructional Devices (AREA)

Abstract

一种视觉SLAM***包括多个关键帧，所述多个关键帧包括关键帧、当前关键帧以及先前关键帧；双密集视觉测距，其被配置为提供在多个关键帧中的两个关键帧之间的成对变换估计；帧生成器，其被配置为创建关键帧图；环约束评估器，其将约束添加到接收关键帧图；以及图优化器，其被配置为产生具有轨迹的绘图。

Description

基于RGB-D照相机的跟踪***及其方法
相关申请的交叉引用
本申请要求2016年6月24日提交的美国临时专利申请系列号No. 62/354,251的优先权，通过引用将其内容合并于此，如在本文中完全包含一样。
技术领域
本公开一般地涉及跟踪***，并且更特别地涉及基于RGB-D照相机的跟踪***及其方法。
背景技术
除非本文中另有指示，否则在本部分中描述的材料不是本申请中的权利要求的现有技术并且也不通过在本部分中的包含而被承认为是现有技术。
发明内容
下面记载了本文中公开的某些实施例的概述。应当理解：呈现这些方面仅用于向读者提供对该某些实施例的简要概述并且这些方面不旨在限制本公开的范围。实际上，本公开可以包含可能没有在下面记载的多个方面。
本公开的实施例涉及一种用于计算视觉同时定位和绘图（Mapping）（SLAM）的方法。所述方法包括由视觉测距模块生成本地测距估计；由关键帧生成器生成关键帧；创建关键帧图；使用环约束（loop constraint）评估器将约束添加到关键帧图；以及优化具有轨迹（trajectory）的关键帧图。所述方法还包括在生成本地测距估计之前生成在关键帧和当前帧之间的新关键帧。使用环约束评估器将约束添加到关键帧图的方法基于环闭合（loopclosure），其中环闭合是去往先前访问的位置的返回（return）。所述方法还包括在优化后基于关键帧图中的不同约束的边高度调整姿态图（pose graph）。
根据本公开的另一个方面，一种将概率性传感器模型（probabilistic sensormodel）应用于密集视觉测距（dense visual odometry）的方法包括：由关键帧生成器生成关键帧，创建关键帧图，使用环约束评估器将约束添加到关键帧图以及优化具有轨迹的关键帧图。所述方法还包括在生成本地测距估计之前生成在关键帧和当前帧之间的新关键帧。使用环约束评估器将约束添加到关键帧图的方法基于环闭合，其中环闭合是去往先前访问的位置的返回。所述方法还包括在优化后基于关键帧图中的不同约束的边高度调整姿态图。
根据本公开的另一个方面，一种用于几何误差的概率性传感器模型和光测误差（photometric error）的t-分布的方法包括：
Figure DEST_PATH_IMAGE001
。
根据本公开的另一个方面，视觉SLAM***包括多个关键帧，所述多个关键帧包括关键帧、当前关键帧以及先前（previous）关键帧；双密集视觉测距，其被配置为提供在多个关键帧中的两个关键帧之间的成对变换估计；帧生成器，其被配置为创建关键帧图；环约束评估器，其将约束添加到接收关键帧图；以及图优化器，其被配置为产生具有轨迹的绘图。
附图说明
当参考附图阅读某些示例性实施例的以下详细描述时，本公开的这些和其他特征、方面以及优势将变得更好理解，在附图中，相同的字符在整个附图中表示相同的技术，其中：
图1是图示了视觉SLAM***的框图；
图2是图示了示例关键帧图和环约束评估器的结构的框图；
图3图示了RGB-D照相机传感器模型；a
图4是不确定性传播的框图；以及
图5图示了由
Figure 285488DEST_PATH_IMAGE002
***生成的绘图的示例。
具体实施方式
呈现以下的描述使得本领域中的任何技术人员能够制造和使用描述的实施例，并且在特定应用及其要求的上下文中提供以下的描述。对描述的实施例的各种修改对于本领域中的技术人员将容易清楚，并且在不脱离描述的实施例的精神和范围的情况下，可以将本文中限定的一般原理应用到其他实施例和应用。因此，描述的实施例不限制为所示实施例，而是符合与本文中公开的原理和特征相一致的最宽范围。
可以以最有助于理解要求保护的主题的方式将各种操作依次描述为多个分立的动作或操作。然而，描述的顺序不应当被解释为隐含这些操作必须是依赖顺序的。特别地，可以不以呈现的顺序来执行这些操作。可以以与描述的实施例不同的顺序来执行描述的操作。在附加的实施例中，可以执行各种附加的操作和/或可以将描述的操作省略。
图1是图示了视觉同时定位和绘图（SLAM）***100的框图，所述视觉同时定位和绘图（SLAM）***100被划分成前端100a和后端100b。在前端100a处，***100通过充分使用来自RGB-D照相机的所有像素信息以生成本地变换估计112来使用视觉测距方法。也就是说，密集视觉测距108或110提供两个图像帧102、104、106之间的成对变换估计。如图示的那样，使用密集视觉测距108在关键帧102和当前帧104之间执行成对变换估计。使用密集视觉测距110在当前帧104和先前帧106之间执行第二成对变换估计。关键帧生成器114被用于基于测距估计的质量生成关键帧
Figure DEST_PATH_IMAGE003
。在***100的后端100b处，创建使用关键帧生成器114的关键帧图
Figure 327263DEST_PATH_IMAGE004
116。在环约束评估器118处，将基于例如是去往先前访问的位置的环闭合的返回的约束添加到关键帧图，以改进其连接性。然后，图优化器120利用约束来优化最终的图，以产生具有轨迹的优化的绘图122。将在下面描述关于关键帧图116和环约束评估器118的更多细节。概率性传感器模型被用在前端100a中并且执行关键帧生成114，并且环约束检测118和图优化120处于后端100b中。
图2是图示了示例关键帧图200的结构的框图，其包括后端图优化202和本地邻域（neighborhood）204。在后端图优化202中，将与
Figure DEST_PATH_IMAGE005
加权的测距约束组合的环约束
Figure 733098DEST_PATH_IMAGE006
优化。最近的关键帧
Figure DEST_PATH_IMAGE007
和相对于
Figure 252941DEST_PATH_IMAGE007
被跟踪的帧
Figure 67314DEST_PATH_IMAGE008
被包括在本地邻域204中。基于熵的比
Figure DEST_PATH_IMAGE009
确定关键帧
Figure 515875DEST_PATH_IMAGE007
和跟踪的帧
Figure 782908DEST_PATH_IMAGE008
。在当前帧不包含足够的信息来跟踪新的帧时，通过使用照相机姿态估计的熵来生成新的帧。当在关键帧和当前帧之间的估计的进入（entry）落在由本地邻域204中的最大估计熵标准化的阈值以下时，照相机姿态估计生成新的帧。假设最大估计熵是关键帧和第一帧之间的一个。提出了基于照相机轨迹的曲线估计的附加关键帧生成策略。在帧i和k之间的曲线估计
Figure 106442DEST_PATH_IMAGE010
被定义为在本地邻域N中的帧
Figure DEST_PATH_IMAGE011
之间的平移（translation）的和相对于关键帧和最后帧
Figure 401419DEST_PATH_IMAGE012
之间的平移的比。
Figure DEST_PATH_IMAGE013
等式（1）。
如图2中图示的那样，去往先前访问的位置的返回有助于标识在环约束评估器118处被称为环闭合的对于图的附加的约束。在优化之后，基于图中不同约束的边权重来调整姿态图。错误的环约束有时可以导致不良优化的最终轨迹。将先前环约束生成方法扩展，可以使用两个附加的技术减少错误环约束的影响。首先，基于形成环闭合的关键帧之间的度量距离的平方反比（inverse square）将环闭合约束加权。这基于远处帧之间的环约束比彼此接近的帧易于导致更大的误差的直观。其次，执行阻塞过滤（occlusion filtering）以移除错误的环闭合约束。深度图像提供了可以被用于在两个关键帧之间执行阻塞过滤的几何信息。深度点的传感器模型不确定性的标准偏差提供了关于以下等式的最大可能深度移位的范围（bound）：
Figure 394783DEST_PATH_IMAGE014
等式（2）。
违反该假设的所有点都被视为阻塞。
关于新的关键帧的生成，利用先前关键帧信息更新后端的图并且创建双窗口图结构200。使用例如开源库g2o来优化后端中的姿态图。执行关于视觉测距的终止的最终优化以生成优化的照相机轨迹估计。
通常地，RGB-D照相机投影红外图案并且从具有小视差的两个图像视图之间的对应来恢复深度。在此过程期间，差异被量化为子像素。这引入了深度测量中的量化误差。由于深度测量中的量化误差导致的噪声被定义为
Figure DEST_PATH_IMAGE015
等式（3）
其中
Figure 273746DEST_PATH_IMAGE016
是设备的子像素分辨率，b是基线，以及f是焦距。该误差随着范围
Figure DEST_PATH_IMAGE017
平方地（quadratically）增加，因此阻止了对远处对象的深度观测的使用。可以利用其协方差矩阵具有以下内容作为对角线分量的零均值多元（zero-mean multivarizate）高斯分布来对RGB-D照相机的3D传感器噪声建模：
Figure 636857DEST_PATH_IMAGE018
等式（4）
其中
Figure DEST_PATH_IMAGE019
方向是沿着射线的，并且
Figure 284876DEST_PATH_IMAGE020
和
Figure DEST_PATH_IMAGE021
表示x和y方向上的角分辨率。
图3图示了RGB-D照相机传感器模型。照相机位于原点处并且在z方向上仰视。对于1、2、和3米的每个范围，采样80个点，并且利用椭圆体表示它们的不确定性。射线方向上的误差平方地增加。
图4是不确定性传播的框图。图4中的每个3D点
Figure 340819DEST_PATH_IMAGE022
与其协方差矩阵分别为
Figure DEST_PATH_IMAGE023
和
Figure 707078DEST_PATH_IMAGE024
的高斯分布关联，
Figure DEST_PATH_IMAGE025
等式（5）
其中
Figure 982202DEST_PATH_IMAGE026
等式（6）。
Figure DEST_PATH_IMAGE027
表示射线和照相机坐标之间的旋转矩阵。
使用线性化的方法将不确定性传播到残差（residual），并且似然函数可以被表示为高斯分布，
Figure 251771DEST_PATH_IMAGE028
等式（7）
其中
Figure DEST_PATH_IMAGE029
等式（8）
Figure 711571DEST_PATH_IMAGE030
等式（9）
Figure DEST_PATH_IMAGE031
等式（10）。
此处，如图4中所示，
Figure 66592DEST_PATH_IMAGE032
表示当前照照相机坐标的z轴上的反投影点（back-projected point）
Figure DEST_PATH_IMAGE033
的方差。最大似然估计是，
Figure 145406DEST_PATH_IMAGE034
等式（11）。
单独的精度矩阵被***成两个平方根
Figure DEST_PATH_IMAGE035
，并且通过应用加权的残差
Figure 768017DEST_PATH_IMAGE036
的单个精度矩阵将其标准化为，
Figure DEST_PATH_IMAGE037
等式（12）。
光测和几何误差可以被定义为，
Figure 165763DEST_PATH_IMAGE038
等式（13）
其中
Figure DEST_PATH_IMAGE039
和
Figure 241035DEST_PATH_IMAGE040
表示矢量的z分量。
为了找到最小化光测和几何误差的相对照相姿态，能量函数（energy function）是加权平方误差的和，为，
Figure DEST_PATH_IMAGE041
等式（14）
其中n是有效像素的总数量，以及
Figure 773077DEST_PATH_IMAGE042
表示用于不同误差的权重。
由于能量函数关于相对照相姿态
Figure DEST_PATH_IMAGE043
是非线性的，所以通常应用Gauss-Newton算法在数值上找到最优解，并且现在等式（14）更新为：
Figure 250194DEST_PATH_IMAGE044
等式（15）
其中
Figure DEST_PATH_IMAGE045
表示Kronecker积，
Figure 192742DEST_PATH_IMAGE046
，并且Jacobian矩阵定义为：
Figure DEST_PATH_IMAGE047
等式（16）。
等式（14）与其中每个残差是独立的且遵循相同的高斯分布的最大似然估计相当，
Figure 256776DEST_PATH_IMAGE048
等式（17）
其中
Figure DEST_PATH_IMAGE049
。注意到这对应于等式（14）中
Figure 802027DEST_PATH_IMAGE050
的情况。等式（17）可以被重新写成：
Figure DEST_PATH_IMAGE051
等式（18）
其中
Figure 900695DEST_PATH_IMAGE052
。注意到这对应于等式（14）中
Figure DEST_PATH_IMAGE053
Figure 138778DEST_PATH_IMAGE054
的情况。
用于光测误差的T-分布，和针对几何误差的传播高斯分布的传感器模型，通过将等式（11）和等式（18）组合以现在被定义为
Figure DEST_PATH_IMAGE055
密集视觉测距
Figure 64009DEST_PATH_IMAGE056
：
Figure DEST_PATH_IMAGE057
等式（19）
其中权重矩阵
Figure 914415DEST_PATH_IMAGE058
以及
Figure DEST_PATH_IMAGE059
等式（20）
Figure 100546DEST_PATH_IMAGE060
等式（21）。
可以在任何合适的客户设备中实现
Figure DEST_PATH_IMAGE061
算法，所述客户设备诸如是智能电话、平板计算机、移动电话、个人数字助理（PDA）和任何设备。回到图1，具有集成的
Figure 650476DEST_PATH_IMAGE061
算法的SLAM***100使用更少数量的关键帧并且是由于***中的减少的漂移。减少数量的关键帧指示***的后端中的较少计算要求。
图5图示了由
Figure 63003DEST_PATH_IMAGE061
SLAM***100生成的绘图的示例。如可以被看见的那样，使用
Figure 576155DEST_PATH_IMAGE061
SLAM***100生成了一致的轨迹。
已经通过示例的方式示出了上述实施例，并且应当理解：这些实施例可以容许各种修改和替代形式。还应当理解：权利要求不旨在被限制为公开的特定形式，而是涵盖落在本公开的精神和范围内的所有修改、等同物和替代物。
在本公开的范围之内的实施例还可以包括非暂时性计算机可读存储介质或机器可读介质，用于承载或具有在其上存储的计算机可执行指令或数据结构。此类非暂时性计算机可读存储介质或机器可读介质可以是可以被通用或专用计算机存取的任何可用介质。通过示例的方式，并非限制，此类非暂时性计算机可读存储介质或机器可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储装置、磁盘存储装置或其他磁存储设备、或可以被用于以计算机可执行指令或数据结构的形式承载或存储期望的程序代码装置的任何其他介质。以上的组合也应当被包括在非暂时性计算机可读存储介质或机器可读介质的范围之内。
还可以在由通过通信网络链接（通过硬连线链接、无线链接或通过其组合）的本地和远程处理设备执行任务的分布式计算环境中实践实施例。
计算机可执行指令包括例如使得通用计算机、专用计算机或专用处理设备执行某些功能或功能的组的指令和数据。计算机可执行指令还包括由独立或网络环境中的计算机执行的程序模块。通常，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、部件和数据结构等。计算机可执行指令、关联的数据结构和程序模块表示用于执行本文中公开的方法的步骤的程序代码装置的示例。此类可执行指令或关联的数据结构的特定序列表示用于实现在此类步骤中描述的功能的对应动作的示例。
虽然已经参考各种实施例描述了本专利，但是将理解：这些实施例是说明性的并且本公开的范围不限于这些实施例。许多变型、修改、添加和改进是可能的。更一般地，已经在上下文或特定实施例中描述了根据本专利的实施例。在本公开的各种实施例中可以以框不同地将功能性分离或组合，或者以不同的术语来描述功能性。这些和其他变型、修改、添加和改进可以落在如在以下的权利要求书中限定的本公开的范围之内。

Claims (7)

1.一种用于计算视觉同时定位和绘图（SLAM）的方法，包括：
通过视觉测距模块生成本地测距估计；
通过关键帧生成器生成关键帧；
创建关键帧图；
基于环闭合使用环约束评估器将约束添加到关键帧图，其中环闭合是去往先前访问的位置的返回；以及
利用所述约束来优化所述关键帧图，以产生具有轨迹的优化的绘图。
2.根据权利要求1所述的方法，还包括：
在生成本地测距估计之前生成在关键帧和当前帧之间的新关键帧。
3.根据权利要求1所述的方法，还包括在优化后基于关键帧图中的不同约束的边高度来调整姿态图。
4.一种用于密集视觉测距的方法，包括：
通过关键帧生成器生成关键帧；
创建关键帧图；
基于环闭合使用环约束评估器将约束添加到关键帧图，其中环闭合是去往先前访问的位置的返回；以及
利用所述约束来优化所述关键帧图，以产生具有轨迹的优化的绘图。
5.根据权利要求4所述的方法，还包括：
在生成本地测距估计之前生成在关键帧和当前帧之间的新关键帧。
6.根据权利要求4所述的方法，还包括在优化后基于关键帧图中的不同约束的边高度来调整姿态图。
7.一种视觉SLAM***，包括：
多个关键帧，其包括关键帧、当前关键帧和先前关键帧；
双密集视觉测距，其被配置为提供在多个关键帧中的两个关键帧之间的成对变换估计；
帧生成器，其被配置为创建关键帧图；
环约束评估器，其基于环闭合将约束添加到接收关键帧图，其中环闭合是去往先前访问的位置的返回；以及
图优化器，其被配置为利用所述约束来优化所述关键帧图，以产生具有轨迹的优化的绘图。
CN201780038684.6A 2016-06-24 2017-06-26 基于rgb-d照相机的跟踪***及其方法 Active CN109478330B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662354251P 2016-06-24 2016-06-24
US62/354251 2016-06-24
PCT/EP2017/065677 WO2017220815A1 (en) 2016-06-24 2017-06-26 Rgb-d camera based tracking system and method thereof

Publications (2)

Publication Number Publication Date
CN109478330A CN109478330A (zh) 2019-03-15
CN109478330B true CN109478330B (zh) 2022-03-29

Family

ID=59227732

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780038684.6A Active CN109478330B (zh) 2016-06-24 2017-06-26 基于rgb-d照相机的跟踪***及其方法

Country Status (7)

Country Link
US (1) US11093753B2 (zh)
EP (1) EP3475917B1 (zh)
JP (1) JP2019522288A (zh)
KR (1) KR102471301B1 (zh)
CN (1) CN109478330B (zh)
ES (1) ES2911400T3 (zh)
WO (1) WO2017220815A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3474230B1 (en) * 2017-10-18 2020-07-22 Tata Consultancy Services Limited Systems and methods for edge points based monocular visual slam
CN108564625B (zh) * 2018-04-27 2019-08-23 百度在线网络技术（北京）有限公司 图优化方法、装置、电子设备及存储介质
CN108648274B (zh) * 2018-05-10 2020-05-22 华南理工大学 一种视觉slam的认知点云地图创建***
TWI679511B (zh) * 2018-08-22 2019-12-11 和碩聯合科技股份有限公司 軌跡規劃方法與系統
CA3028708A1 (en) * 2018-12-28 2020-06-28 Zih Corp. Method, system and apparatus for dynamic loop closure in mapping trajectories
CN110516527B (zh) * 2019-07-08 2023-05-23 广东工业大学 一种基于实例分割的视觉slam回环检测改进方法
CN110956651B (zh) * 2019-12-16 2021-02-19 哈尔滨工业大学 一种基于视觉和振动触觉融合的地形语义感知方法
CN111292420B (zh) * 2020-02-28 2023-04-28 北京百度网讯科技有限公司 用于构建地图的方法和装置
CN112016612A (zh) * 2020-08-26 2020-12-01 四川阿泰因机器人智能装备有限公司 一种基于单目深度估计的多传感器融合slam方法
US11899469B2 (en) 2021-08-24 2024-02-13 Honeywell International Inc. Method and system of integrity monitoring for visual odometry

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2619742A1 (en) * 2010-09-24 2013-07-31 Evolution Robotics, Inc. Systems and methods for vslam optimization
CN104374395A (zh) * 2014-03-31 2015-02-25 南京邮电大学 基于图的视觉slam方法
CN105164728A (zh) * 2013-04-30 2015-12-16 高通股份有限公司 来自重构的减弱及中介实境效果

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8913055B2 (en) * 2011-05-31 2014-12-16 Honda Motor Co., Ltd. Online environment mapping
GB201202344D0 (en) * 2012-02-10 2012-03-28 Isis Innovation Method of locating a sensor and related apparatus
US9607401B2 (en) 2013-05-08 2017-03-28 Regents Of The University Of Minnesota Constrained key frame localization and mapping for vision-aided inertial navigation
WO2015194864A1 (ko) * 2014-06-17 2015-12-23 (주)유진로봇 이동 로봇의 맵을 업데이트하기 위한 장치 및 그 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2619742A1 (en) * 2010-09-24 2013-07-31 Evolution Robotics, Inc. Systems and methods for vslam optimization
CN105164728A (zh) * 2013-04-30 2015-12-16 高通股份有限公司 来自重构的减弱及中介实境效果
CN104374395A (zh) * 2014-03-31 2015-02-25 南京邮电大学 基于图的视觉slam方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Dense Visual SLAM for RGB-D Cameras;Christian Kerl等;《2013 IEEE/RSJ International Conference onIntelligent Robots and Systems》;20131226;第3-4章节以及图1 *
Robust Odometry Estimation for RGB-D Cameras;Christian Kerl等;《2013 IEEE International Conference on Robotics and Automation (ICRA)》;20131013;全文 *
Sensor Noise Model Meets Dense Visual Odometry;Benzun Wisely Babu等;《2016 IEEE International Symposium on Mixed and Augmented Reality》;20161130;全文 *

Also Published As

Publication number Publication date
EP3475917B1 (en) 2022-01-26
US11093753B2 (en) 2021-08-17
KR102471301B1 (ko) 2022-11-29
CN109478330A (zh) 2019-03-15
US20190377952A1 (en) 2019-12-12
ES2911400T3 (es) 2022-05-19
EP3475917A1 (en) 2019-05-01
KR20190021257A (ko) 2019-03-05
WO2017220815A1 (en) 2017-12-28
JP2019522288A (ja) 2019-08-08

Similar Documents

Publication Publication Date Title
CN109478330B (zh) 基于rgb-d照相机的跟踪***及其方法
CN109084746B (zh) 用于具有辅助传感器的自主平台引导***的单目模式
Chen et al. Direct lidar odometry: Fast localization with dense point clouds
US10553026B2 (en) Dense visual SLAM with probabilistic surfel map
CN107909612B (zh) 一种基于3d点云的视觉即时定位与建图的方法与***
US8942422B2 (en) Nonlinear self-calibration for structure from motion (SFM) techniques
US9892552B2 (en) Method and apparatus for creating 3-dimensional model using volumetric closest point approach
Sibley et al. Sliding window filter with application to planetary landing
US9454851B2 (en) Efficient approach to estimate disparity map
CN107784671B (zh) 一种用于视觉即时定位与建图的方法与***
Boniardi et al. Robot localization in floor plans using a room layout edge extraction network
CN108829116B (zh) 基于单目摄像头的避障方法及设备
CN105654492A (zh) 基于消费级摄像头的鲁棒实时三维重建方法
CA3202821A1 (en) System and method of hybrid scene representation for visual simultaneous localization and mapping
US9865061B2 (en) Constructing a 3D structure
CN103139568A (zh) 基于稀疏度和保真度约束的视频稳像方法
WO2018214086A1 (zh) 场景的三维重建方法、装置及终端设备
Mehralian et al. EKFPnP: extended Kalman filter for camera pose estimation in a sequence of images
Han et al. DiLO: Direct light detection and ranging odometry based on spherical range images for autonomous driving
CN113658203A (zh) 建筑物三维轮廓提取及神经网络的训练方法和装置
US10846826B2 (en) Image processing device and image processing method
KR20210051707A (ko) 드론 정지 비행을 위한 영상 기반 특징점 추적 장치 및 그 방법
CN104392447A (zh) 一种基于灰度梯度的图像匹配方法
Aravkin et al. Student's t robust bundle adjustment algorithm
Hoseinnezhad et al. An M-estimator for high breakdown robust estimation in computer vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant