CN114399547A - 一种基于多帧的单目slam鲁棒初始化方法 - Google Patents

一种基于多帧的单目slam鲁棒初始化方法 Download PDF

Info

Publication number
CN114399547A
CN114399547A CN202111499604.1A CN202111499604A CN114399547A CN 114399547 A CN114399547 A CN 114399547A CN 202111499604 A CN202111499604 A CN 202111499604A CN 114399547 A CN114399547 A CN 114399547A
Authority
CN
China
Prior art keywords
representing
view
points
feature points
global
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111499604.1A
Other languages
English (en)
Other versions
CN114399547B (zh
Inventor
胡德文
葛杨冰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202111499604.1A priority Critical patent/CN114399547B/zh
Publication of CN114399547A publication Critical patent/CN114399547A/zh
Application granted granted Critical
Publication of CN114399547B publication Critical patent/CN114399547B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多帧的单目SLAM鲁棒初始化方法，包括步骤：提取初始视频流中图像帧的特征点进行相互匹配，并筛选出匹配点，获取初始匹配点对；根据初始匹配点对筛选出三视图对，进而基于三焦张量的随机抽样一致算法筛选出三视图对中的匹配点，构建三帧匹配图；根据双视几何原理，求解各图像帧之间的相对旋转；根据各图像帧之间的相对旋转，求解全局旋转；基于全局旋转，求解全局位移；综合全局旋转和全局位移，获得各帧的初始位姿，并根据初始位姿进行非线性优化调整；计算特征点景深，恢复特征点三维坐标；该方法能够提高收敛速度、减少“散点”出现，从而提高初始地图的精度。

Description

一种基于多帧的单目SLAM鲁棒初始化方法
技术领域
本发明属于单目SLAM初始化技术领域，尤其涉及一种基于多帧的单目SLAM鲁棒初始化方法。
背景技术
同步定位与建图技术(simultaneous localization and mapping，SLAM)的目标是在估计摄像机的运动轨迹的同时重建未知环境。该技术目前已广泛应用于增强现实和自动驾驶等领域，能够在不依赖于外部基础设施的背景下实时运行。
初始化是单目SLAM技术的关键，通过初始化能够获得摄像机的初始姿态并且生成初始地图，为后续的跟踪阶段提供支撑。
目前学界主要利用类似于增量式运动恢复结构技术(Structure From Motion，SFM)来进行单目SLAM***的初始化，主要利用两帧之间的极线几何约束或者平面结构约束，构建基础矩阵或单应矩阵，通过分解基础矩阵或单应矩阵来获取摄像机的初始姿态，并利用三角测量技术获取初始地图。这类技术对摄像机的初始姿态和特征点的匹配要求较高，初始化的过程依赖于摄像机的初始运动，无法较快地收敛。在初始化的后期，将进行集束调整 (Bundle Adjustment，BA)，用以进一步优化初始姿态和初始地图，但优化后仍存在“散点”，这些“散点”与其最近邻三维特征点的距离远超普通三维特征点之间的平均距离，在跟踪过程中将造成误差，尤其是在图像观测质量差的情况下，将影响后续的姿态追踪。
发明内容
本发明的目的在于克服上述现有技术中无法快速收敛、以及存在“散点”的不足，提供了一种能够提高收敛速度、减少“散点”出现，从而提高初始地图的精度的SLAM初始化方法，具体为一种基于多帧的单目SLAM鲁棒初始化方法。
本发明提供了一种基于多帧的单目SLAM鲁棒初始化方法，该方法包括步骤：
S1：提取初始视频流中每一图像帧的特征点，并根据特征点对图像帧进行两两相互匹配，筛选出匹配点，获取初始匹配点对，匹配点为匹配的特征点；
S2：根据初始匹配点对筛选出三视图对，即拥有足够多共视特征点的三个图像帧，进而基于三焦张量的随机抽样一致算法筛选出三视图对中的匹配点，构建三帧匹配图，即描述各图像帧之间的共视关系的拓扑图；
S3：根据双视几何原理，求解各图像帧之间的相对旋转；
S4：根据各图像帧之间的相对旋转，采用迭代加权最小二乘法求解全局旋转；
S5：基于各图像帧的全局旋转以及场景结构同全局位移之间的线性约束关系求解全局位移；
S6：综合全局旋转和全局位移，获得各帧的初始位姿，以此为基础，利用仅位姿非线性优化调整策略，优化各帧的位姿；
S7：计算特征点景深，恢复特征点三维坐标。
优选的，S1中，提取初始视频流中每一图像帧的特征点，并根据特征点对图像帧进行两两相互匹配，通过随机抽样一致算法筛选匹配点，获取初始匹配点对，匹配点为匹配的特征点。
优选的，筛选出三视图对中的匹配点的具体步骤为：
S2.1：设置最小样本数为n的样本集P，从样本集P中抽取包含n个样本形成样本子集 S，利用视图间的本质矩阵计算初始三焦张量作为初始化模型M；
S2.2：根据初始三焦张量得到三视图的投影矩阵P1、P2、P3，并利用最小二乘法计算特征点坐标，再通过P1、P2、P3投影矩阵分别获得特征点的三个估计值，即：
Figure RE-GDA0003497279450000021
其中，
Figure RE-GDA0003497279450000022
表示P1投影矩阵作用下特征点的估计值，
Figure RE-GDA0003497279450000023
表示P2投影矩阵作用下特征点的估计值，
Figure RE-GDA0003497279450000024
表示P3投影矩阵作用下特征点的估计值，X表示特征点三维坐标；
根据三视图对计算重投影误差，即：
Figure RE-GDA0003497279450000025
其中，ω表示重投影误差，x1表示特征点在视图1中的测量值，x2表示特征点在视图2中的测量值，x3表示特征点在视图3中的测量值，d2(·，·)表示两个元素之间欧氏距离的平方；
将重投影误差ω作为初始化模型M的误差衡量，将样本集P中与初始化模型M的误差小于设定阈值th的样本集以及样本子集S构成内点集S*；
S2.3：根据内点集S*采用最小二乘法计算新的模型M*；
S2.4：重复S2.1、S2.2、S2.3，直至得到最大一致集，并剔除外点，记录内点和当前循环的三焦张量，内点即为匹配点。
优选的，S5中，基于各图像帧的全局旋转以及场景结构同全局位移之间的线性约束关系求解全局位移；线性关系表达式为：
Btl+Cti+Dtr＝0
其中，
B[Xi]×Rr，iXr([Rr，lXr]xXl)T[Xl]xRl
C＝|[Xl]×Rr，lXr||2[Xi]×Ri
D＝-(B+C)
Rr，i＝RiRr T
其中，tl表示视图l的全局位移，ti表示视图i的全局位移，tr表示视图r的全局位移，Xi表示特征点在视图i中的归一化图像坐标，[·]×表示向量对应的反对称矩阵，Rr，i表示视图r与i之间的相对旋转，Xr表示特征点在视图r中的归一化图像坐标，Rl表示视图l的全局旋转，Ri表示视图i的全局旋转，Rr表示视图r的全局旋转，Xl表示特征点特征点在视图l中的归一化图像坐标，T表示矩阵的转置，Rr，l表示视图r与l之间的相对旋转；
考虑所有特征点，综合所有线性约束，获得下式：
F·t＝0
其中F为由B、C、D构成的系数矩阵，t＝(t1 T，t2 T，...，tn T)T表示所有n个视图的全局位移；
求解上述线性齐次方程即可获得全局位移的最优值
Figure RE-GDA0003497279450000031
优选的，S6中，进行仅位姿的非线性优化调整的步骤为：
S6.1：基于各三视图对，计算重投影向量，即：
Figure RE-GDA0003497279450000032
其中，
Figure RE-GDA0003497279450000041
表示重投影向量，
Figure RE-GDA0003497279450000042
表示向量(0,0,1)，
Figure RE-GDA0003497279450000043
是由基准视图计算获得的特征点景深，Xr表示特征点在视图r中的归一化图像坐标，tr，i表示视图r，i之间的相对位移，表示为：
tr，i＝Rj(tr-ti)
其中，Rj表示视图j的全局旋转，tr表示视图r的全局位移，ti表示视图i的全局位移；
S6.2：对所有特征点计算重投影误差并相加，获得误差项ε，误差项ε的表达式为：
Figure RE-GDA0003497279450000044
其中，
Figure RE-GDA0003497279450000045
表示重投影向量，xi表示特征点在视图i中的测量值，T表示矩阵的转置；
S6.3：通过通用图优化库进行优化，将各帧的位姿作为图优化的节点，将各特征点的重投影误差作为图优化的边。
优选的，S7中，将θ(r，j)作为特征点恢复质量的判断标准，根据θ(r，j)计算视图r的加权深度Zr，加权深度Zr的表达式为：
Figure RE-GDA0003497279450000046
ω(r，j)＝θ(r，j)/∑1≤j≤nθ(r，j)
θ(r，j)＝||[Xj]×Rr，jXr||
其中，j表示第j个视图，
Figure RE-GDA0003497279450000047
表示景深，ω(r，j)表示加权值,θ(r，j)表示特征点恢复质量，Rr，j表示视图r，j之间的相对旋转，Xr表示特征点在视图r中的归一化图像坐标，Xj表示特征点在视图j下的坐标，[·]×表示向量的反对称矩阵；
根据加权深度Zr对初始地图进行加权重建，恢复特征点三维坐标，恢复后特征点三维坐标表示为：
XW＝ZrRrXr+tr
其中，XW表示恢复后的特征点三维坐标，Zr表示视图r的加权深度，Rr表示视图r的全局旋转，Xr表示特征点在视图r中的归一化图像坐标，tr表示视图r的全局位移。
优选的，S6.3中，还包括通过设置核函数提升优化器的鲁棒性。
有益效果：
1.本发明通过引入全局式运动恢复结构的技术，相比于传统的使用两帧信息进行初始化的***，在初始位姿的求解过程中能够更多地利用视频流信息，通过平均的方法获得高精度的初始位姿。
2.在初始地图的三角测量过程中，利用了加权重建技术，针对一个特征点能够综合利用多个观测信息，提高了特征点的精度。
3.在优化过程中采取以初始位姿作为优化变量的非线性优化策略，相比于传统的非线性优化策略，减少了初始地图中“散点”的数目，进一步提高了初始地图的精度。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施中一种基于多帧的单目SLAM鲁棒初始化方法的流程图。
具体实施方式
下面将结合本发明的实施例中的附图，对本发明的实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本实施例提供了一种基于多帧的单目SLAM鲁棒初始化方法，该方法包括步骤：
S1：提取初始视频流中每一图像帧的特征点，并根据特征点对图像帧进行两两相互匹配，通过随机抽样一致(Random Sample Consensus，RANSAC)算法筛选匹配点，获取初始匹配点对，匹配点为匹配的特征点；判断是否拥有足够的特征点，是，则进行S2；否，则重复 S1。
S2：根据初始匹配点对筛选出三视图对，即拥有足够多共视特征点的三个图像帧，进而基于三焦张量的随机抽样一致算法筛选出三视图对中的匹配点，构建三帧匹配图，即描述各图像帧之间的共视关系的拓扑图。
其中，在两帧之间以基础矩阵E为初始化模型M，利用随机抽样一致算法无法完全剔除匹配点，在三帧之间通过以三焦张量为初始化模型M的随机抽样一致算法可以进一步剔除误匹配点，提高匹配精度；故筛选出三视图对中的匹配点的具体步骤为：
S2.1：设置最小样本数为n的样本集P，从样本集P中抽取包含n个样本形成样本子集 S，利用两两视图间的本质矩阵计算初始三焦张量作为初始化模型M。
S2.2：根据初始三焦张量得到三视图的投影矩阵P1、P2、P3，并利用最小二乘法计算特征点坐标，再通过P1、P2、P3投影矩阵分别获得特征点的三个估计值，即：
Figure RE-GDA0003497279450000061
其中，
Figure RE-GDA0003497279450000062
表示P1投影矩阵作用下特征点的估计值，
Figure RE-GDA0003497279450000063
表示P2投影矩阵作用下特征点的估计值，
Figure RE-GDA0003497279450000064
表示P3投影矩阵作用下特征点的估计值，X表示特征点三维坐标；
根据三视图对计算重投影误差，即：
Figure RE-GDA0003497279450000065
其中，ω表示重投影误差，x1表示特征点在视图1中的测量值，x2表示特征点在视图2中的测量值，x3表示特征点在视图3中的测量值，d2(·，·)表示两个元素之间欧氏距离的平方；
将重投影误差ω作为初始化模型M的误差衡量，将样本集P中与初始化模型M的误差小于设定阈值th的样本集以及样本子集S构成内点集S*。
S2.3：若内点集占样本集75％以上，则认为得到正确的模型参数，并根据内点集S*采用最小二乘法计算新的模型M*。
S2.4：重复S2.1、S2.2、S2.3，直至得到最大一致集，并剔除外点，记录内点和当前循环的三焦张量，内点即为匹配点。
S3：根据双视几何原理，求解各图像帧之间的相对旋转。
S4：根据各图像帧之间的相对旋转，通过迭代加权最小二乘法(IterativelyReweighted Least Square，IRLS)计算全局旋转。
S5：由于在精确的全局旋转背景下，场景结构和全局位移之间存在线性关系，可构建线性全局平移约束，故而基于各图像帧的全局旋转，以及场景结构和全局位移之间的线性约束关系可直接求解全局位移；
其中，线性关系表达式为：
Btl+Cti+Dtr＝0
其中，
B＝[Xi]×Rr，iXr([Rr，lXr]xXl)T[Xl]xRl
C＝||[Xl]×Rr，lXr||2[Xi]×Ri
D＝-(B+C)
Rr，i＝RiRr T
其中，tl表示视图l的全局位移，ti表示视图i的全局位移，tr表示视图r的全局位移，Xi表示特征点在视图i中的归一化图像坐标，[·]×表示向量对应的反对称矩阵，Rr，i表示视图r与i之间的相对旋转，Xr表示特征点在视图r中的归一化图像坐标，Rl表示视图l的全局旋转，Ri表示视图i的全局旋转，Rr表示视图r的全局旋转，Xl表示特征点特征点在视图l中的归一化图像坐标，T表示矩阵的转置，Rr，l表示视图r与l之间的相对旋转；
考虑所有特征点，综合所有线性约束，可获得下式：
F·t＝0
其中F为由B、C、D构成的系数矩阵，t＝(t1 T，t2 T，...，tn T)T表示所有n个视图的全局位移。
求解上述线性齐次方程即可获得全局位移的最优值
Figure RE-GDA0003497279450000071
S6：综合全局旋转和全局位移，获得各帧的初始位姿，以此为基础，利用仅位姿非线性优化调整策略，优化各帧的位姿，使得重投影误差最小；
其中，进行仅位姿的非线性优化调整的步骤为：
S6.1：基于各三视图对，计算重投影向量，即：
Figure RE-GDA0003497279450000081
其中，
Figure RE-GDA0003497279450000082
表示重投影向量，
Figure RE-GDA0003497279450000083
表示向量(0,0,1)，
Figure RE-GDA0003497279450000084
是由基准视图计算获得的特征点景深，Xr表示特征点在视图r中的归一化图像坐标，tr，i表示视图r，i之间的相对位移，表示为：
tr，i＝Rj(tr-ti)
其中，Rj表示视图j的全局旋转，tr表示视图r的全局位移，ti表示视图i的全局位移；
S6.2：对所有特征点计算重投影误差并相加，获得误差项ε，误差项ε的表达式为：
Figure RE-GDA0003497279450000085
其中，
Figure RE-GDA0003497279450000086
表示重投影向量，xi表示特征点在视图i中的测量值，T表示矩阵的转置；
S6.3：通过通用图优化库进行优化，将各帧的位姿作为图优化的节点，将各特征点的重投影误差作为图优化的边，且通过设置核函数提升优化器的鲁棒性。
S7：利用三角测量技术，计算特征点景深，恢复特征点三维坐标；
具体为：将θ(r，j)作为特征点恢复质量的判断标准，根据θ(r，j)计算视图r的加权深度 Zr，加权深度Zr的表达式为：
Figure RE-GDA0003497279450000087
ω(r，j)＝θ(r，j)/∑1≤j≤nθ(r，j)
θ(r，j)＝||[Xj]×Rr，jXr||
其中，j表示第j个视图，
Figure RE-GDA0003497279450000091
表示景深，ω(r，j)表示加权值,θ(r，j)表示特征点恢复质量，Rr，j表示视图r，j之间的相对旋转，Xr表示特征点在视图r中的归一化图像坐标，Xj表示特征点在视图j下的坐标，[·]×表示向量的反对称矩阵；
根据加权深度Zr对初始地图进行加权重建，恢复特征点三维坐标，恢复后特征点三维坐标表示为：
XW＝ZrRrXr+tr
其中，XW表示恢复后的特征点三维坐标，Zr表示视图r的加权深度，Rr表示视图r的全局旋转，Xr表示特征点在视图r中的归一化图像坐标，tr表示视图r的全局位移。
本实施例提供的这种基于多帧的单目SLAM鲁棒初始化方法具有以下有益效果：
1.实施例通过在单目初始化***中引入全局式运动恢复结构的技术，相比于传统的使用两帧信息进行初始化的***，在初始位姿的求解过程中能够更多地利用视频流信息，通过平均的方法获得高精度的初始位姿。
2.在初始地图的三角测量过程中，利用了加权重建技术，针对一个特征点能够综合利用多个观测信息，提高了初始地图的精度。
3.在优化过程中采取以初始位姿作为优化变量的非线性优化策略，相比于传统的非线性优化策略，减少了初始地图中“散点”的数目，进一步提高了初始地图的精度。
以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换或改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于多帧的单目SLAM鲁棒初始化方法，其特征在于，包括步骤：
S1：提取初始视频流中每一图像帧的特征点，并根据特征点对图像帧进行两两相互匹配，筛选出匹配点，获取初始匹配点对，所述匹配点为匹配的特征点；
S2：根据初始匹配点对筛选出三视图对，即拥有足够多共视特征点的三个图像帧，进而基于三焦张量的随机抽样一致算法筛选出三视图对中的匹配点，构建三帧匹配图，即描述各图像帧之间的共视关系的拓扑图；
S3：根据双视几何原理，求解各图像帧之间的相对旋转；
S4：根据各图像帧之间的相对旋转，采用迭代加权最小二乘法求解全局旋转；
S5：基于各图像帧的全局旋转以及场景结构同全局位移之间的线性约束关系求解全局位移；
S6：综合全局旋转和全局位移，获得各帧的初始位姿，以此为基础，利用仅位姿非线性优化调整策略，优化各帧的位姿；
S7：计算特征点景深，恢复特征点三维坐标。
2.根据权利要求1所述的一种基于多帧的单目SLAM鲁棒初始化方法，其特征在于，S1中，提取初始视频流中每一图像帧的特征点，并根据特征点对图像帧进行两两相互匹配，通过随机抽样一致算法筛选匹配点，获取初始匹配点对，所述匹配点为匹配的特征点。
3.根据权利要求2所述的一种基于多帧的单目SLAM鲁棒初始化方法，其特征在于，筛选出三视图对中的匹配点的具体步骤为：
S2.1：设置最小样本数为n的样本集P，从样本集P中抽取包含n个样本形成样本子集S，利用视图间的本质矩阵计算初始三焦张量作为初始化模型M；
S2.2：根据初始三焦张量得到三视图的投影矩阵P1、P2、P3，并利用最小二乘法计算特征点坐标，再通过P1、P2、P3投影矩阵分别获得特征点的三个估计值，即：
Figure RE-FDA0003497279440000011
其中，
Figure RE-FDA0003497279440000012
表示P1投影矩阵作用下特征点的估计值，
Figure RE-FDA0003497279440000013
表示P2投影矩阵作用下特征点的估计值，
Figure RE-FDA0003497279440000014
表示P3投影矩阵作用下特征点的估计值，X表示特征点三维坐标；
根据三视图对计算重投影误差，即：
Figure RE-FDA0003497279440000015
其中，ω表示重投影误差，x1表示特征点在视图1中的测量值，x2表示特征点在视图2中的测量值，x3表示特征点在视图3中的测量值，d2(·，·)表示两个元素之间欧氏距离的平方；
将重投影误差ω作为初始化模型M的误差衡量，将样本集P中与初始化模型M的误差小于设定阈值th的样本集以及样本子集S构成内点集S*；
S2.3：根据内点集S*采用最小二乘法计算新的模型M*；
S2.4：重复S2.1、S2.2、S2.3，直至得到最大一致集，并剔除外点，记录内点和当前循环的三焦张量，所述内点即为匹配点。
4.根据权利要求3所述的一种基于多帧的单目SLAM鲁棒初始化方法，其特征在于，S5中，基于各图像帧的全局旋转以及场景结构同全局位移之间的线性约束关系求解全局位移；所述线性关系表达式为：
Btl+Cti+Dtr＝0
其中，
B＝[Xi]×Rr，iXr([Rr，lXr]xXl)T[Xl]xRl
C＝||[Xl]×Rr，lXr||2[Xi]×Ri
D＝-(B+C)
Rr，i＝RiRr T
其中，tl表示视图l的全局位移，ti表示视图i的全局位移，tr表示视图r的全局位移，Xi表示特征点在视图i中的归一化图像坐标，[·]×表示向量对应的反对称矩阵，Rr，i表示视图r与i之间的相对旋转，Xr表示特征点在视图r中的归一化图像坐标，Rl表示视图l的全局旋转，Ri表示视图i的全局旋转，Rr表示视图r的全局旋转，Xl表示特征点特征点在视图l中的归一化图像坐标，T表示矩阵的转置，Rr，l表示视图r与l之间的相对旋转；
考虑所有特征点，综合所有线性约束，荻得下式：
F·t＝0
其中F为由B、C、D构成的系数矩阵，t＝(t1 T，t2 T，...，tn T)T表示所有n个视图的全局位移；
求解上述线性齐次方程即可获得全局位移的最优值
Figure RE-FDA0003497279440000031
5.根据权利要求4所述的一种基于多帧的单目SLAM鲁棒初始化方法，其特征在于，S6中，进行仅位姿的非线性优化调整的步骤为：
S6.1：基于各三视图对，计算重投影向量，即：
Figure RE-FDA0003497279440000032
其中，
Figure RE-FDA0003497279440000033
表示重投影向量，
Figure RE-FDA0003497279440000034
表示向量(0，0，1)，
Figure RE-FDA0003497279440000035
是由基准视图计算获得的特征点景深，Xr表示特征点在视图r中的归一化图像坐标，tr，i表示视图r，i之间的相对位移，表示为：
tr，i＝Rj(tr-ti)
其中，Rj表示视图j的全局旋转，tr表示视图r的全局位移，ti表示视图i的全局位移；
S6.2：对所有特征点计算重投影误差并相加，荻得误差项ε，误差项ε的表达式为：
Figure RE-FDA0003497279440000036
其中，
Figure RE-FDA0003497279440000037
表示重投影向量，xi表示特征点在视图i中的测量值，T表示矩阵的转置；
S6.3：通过通用图优化库进行优化，将各帧的位姿作为图优化的节点，将各特征点的重投影误差作为图优化的边。
6.根据权利要求5所述的一种基于多帧的单目SLAM鲁棒初始化方法，其特征在于，S7中，将θ(r，j)作为特征点恢复质量的判断标准，根据θ(r，j)计算视图r的加权深度Zr，加权深度Zr的表达式为：
Figure RE-FDA0003497279440000038
ω(r，j)＝θ(r，j)/∑1≤j≤nθ(r，j)
θ(r，j)＝||[Xj]×Rr，jXr||
其中，j表示第j个视图，
Figure RE-FDA0003497279440000041
表示景深，ω(r，j)表示加权值，θ(r，j)表示特征点恢复质量，Rr，j表示视图r，j之间的相对旋转，Xr表示特征点在视图r中的归一化图像坐标，Xj表示特征点在视图j下的坐标，[·]×表示向量的反对称矩阵；
根据加权深度Zr对初始地图进行加权重建，恢复特征点三维坐标，恢复后特征点三维坐标表示为：
XW＝ZrRrXr+tr
其中，XW表示恢复后的特征点三维坐标，Zr表示视图r的加权深度，Rr表示视图r的全局旋转，Xr表示特征点在视图r中的归一化图像坐标，tr表示视图r的全局位移。
7.根据权利要求5所述的一种基于多帧的单目SLAM鲁棒初始化方法，其特征在于，S6.3中，还包括通过设置核函数提升优化器的鲁棒性。
CN202111499604.1A 2021-12-09 2021-12-09 一种基于多帧的单目slam鲁棒初始化方法 Active CN114399547B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111499604.1A CN114399547B (zh) 2021-12-09 2021-12-09 一种基于多帧的单目slam鲁棒初始化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111499604.1A CN114399547B (zh) 2021-12-09 2021-12-09 一种基于多帧的单目slam鲁棒初始化方法

Publications (2)

Publication Number Publication Date
CN114399547A true CN114399547A (zh) 2022-04-26
CN114399547B CN114399547B (zh) 2024-01-02

Family

ID=81227588

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111499604.1A Active CN114399547B (zh) 2021-12-09 2021-12-09 一种基于多帧的单目slam鲁棒初始化方法

Country Status (1)

Country Link
CN (1) CN114399547B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117314735A (zh) * 2023-09-26 2023-12-29 长光辰英(杭州)科学仪器有限公司 基于最小化重投影误差的全局优化坐标映射转换方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120121161A1 (en) * 2010-09-24 2012-05-17 Evolution Robotics, Inc. Systems and methods for vslam optimization
CN108090958A (zh) * 2017-12-06 2018-05-29 上海阅面网络科技有限公司 一种机器人同步定位和地图构建方法和***
US20180180733A1 (en) * 2016-12-27 2018-06-28 Gerard Dirk Smits Systems and methods for machine perception
WO2020168668A1 (zh) * 2019-02-22 2020-08-27 广州小鹏汽车科技有限公司 一种车辆的slam建图方法及***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120121161A1 (en) * 2010-09-24 2012-05-17 Evolution Robotics, Inc. Systems and methods for vslam optimization
US20180180733A1 (en) * 2016-12-27 2018-06-28 Gerard Dirk Smits Systems and methods for machine perception
CN108090958A (zh) * 2017-12-06 2018-05-29 上海阅面网络科技有限公司 一种机器人同步定位和地图构建方法和***
WO2020168668A1 (zh) * 2019-02-22 2020-08-27 广州小鹏汽车科技有限公司 一种车辆的slam建图方法及***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘勇: "基于影像的运动平台自定位测姿", 中国博士学位论文全文数据库基础科学辑 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117314735A (zh) * 2023-09-26 2023-12-29 长光辰英(杭州)科学仪器有限公司 基于最小化重投影误差的全局优化坐标映射转换方法
CN117314735B (zh) * 2023-09-26 2024-04-05 长光辰英(杭州)科学仪器有限公司 基于最小化重投影误差的全局优化坐标映射转换方法

Also Published As

Publication number Publication date
CN114399547B (zh) 2024-01-02

Similar Documents

Publication Publication Date Title
CN107301654B (zh) 一种多传感器的高精度即时定位与建图方法
CN110807809B (zh) 基于点线特征和深度滤波器的轻量级单目视觉定位方法
CN106204574B (zh) 基于目标平面运动特征的相机位姿自标定方法
CN109166149A (zh) 一种融合双目相机与imu的定位与三维线框结构重建方法与***
CN106548462B (zh) 基于薄板样条插值的非线性sar图像几何校正方法
US10755139B2 (en) Random sample consensus for groups of data
WO2012044216A1 (en) Method and apparatus for solving position and orientation from correlated point features in images
CN113256698B (zh) 一种具有深度预测的单目3d重建方法
CN101826206B (zh) 一种相机自定标的方法
CN103440659B (zh) 基于星图匹配的星空图像畸变检测与估计方法
CN112419497A (zh) 基于单目视觉的特征法与直接法相融合的slam方法
CN110009745B (zh) 根据平面基元和模型驱动对点云提取平面的方法
CN113506342B (zh) 一种基于多相机全景视觉的slam全向回环校正方法
Yuan et al. SDV-LOAM: semi-direct visual–LiDAR Odometry and mapping
CN114066953A (zh) 一种针对刚性目标的三维多模态图像可变形配准方法
CN103824294A (zh) 一种电子断层图像序列对位方法
CN112652020A (zh) 一种基于AdaLAM算法的视觉SLAM方法
CN112288814A (zh) 一种面向增强现实的三维跟踪注册方法
CN117557733B (zh) 基于超分辨率的自然保护区三维重建方法
Zhang et al. Efficient Pairwise 3-D Registration of Urban Scenes via Hybrid Structural Descriptors.
CN114399547A (zh) 一种基于多帧的单目slam鲁棒初始化方法
CN116894876A (zh) 基于实时图像的6-dof的定位方法
Yao et al. Registrating oblique SAR images based on complementary integrated filtering and multilevel matching
CN111160362B (zh) 一种fast特征均匀化提取与帧间特征误匹配去除方法
CN112950527B (zh) 一种基于限定几何关联约束的立体匹配形貌测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant