CN110782494A - 一种基于点线融合的视觉slam方法 - Google Patents
一种基于点线融合的视觉slam方法 Download PDFInfo
- Publication number
- CN110782494A CN110782494A CN201910981919.6A CN201910981919A CN110782494A CN 110782494 A CN110782494 A CN 110782494A CN 201910981919 A CN201910981919 A CN 201910981919A CN 110782494 A CN110782494 A CN 110782494A
- Authority
- CN
- China
- Prior art keywords
- frame
- feature
- line
- key frame
- characteristic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000000007 visual effect Effects 0.000 title claims abstract description 20
- 230000004927 fusion Effects 0.000 title claims abstract description 12
- 238000005457 optimization Methods 0.000 claims abstract description 35
- 238000000605 extraction Methods 0.000 claims abstract description 9
- 238000001514 detection method Methods 0.000 claims abstract description 6
- 238000004364 calculation method Methods 0.000 claims description 14
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 6
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 238000013178 mathematical model Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000002457 bidirectional effect Effects 0.000 claims description 2
- 150000001875 compounds Chemical class 0.000 claims description 2
- 239000000126 substance Substances 0.000 claims description 2
- 239000011541 reaction mixture Substances 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 7
- 230000000875 corresponding effect Effects 0.000 description 6
- 239000000284 extract Substances 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Remote Sensing (AREA)
- Computer Graphics (AREA)
- Image Analysis (AREA)
Abstract
一种基于点线融合的视觉SLAM方法,首先输入一幅图像,预测相机位姿,对图像提取特征点,利用多个视角间的时序信息估计并提取特征线。匹配特征点和特征线,在前后帧跟踪特征,建立帧间的关联,然后对当前帧的位姿进行优化,并优化二维特征线,以提升特征线的完整度。判断当前是否为关键帧,对于关键帧,则加入地图中,并更新地图中的三维点和线,对当前关键帧和相邻的关键帧进行联合优化,优化相机的位姿和三维特征。并剔除部分外点,剔除冗余的关键帧。最后对关键帧进行回环检测,若当前关键帧和之前帧为相似场景,则闭合回环,并进行一次全局优化,消除累积误差。本发明在基于点和线的SLAM***框架下,利用多个视角图像的时序关系,提升线条提取的速度和特征线的完整度,从而提升位姿精度和地图重建效果。
Description
技术领域
本发明属于图像处理、计算机图形学和计算机视觉等交叉学科,涉及视觉同步定位与地图构建(SLAM)领域。
背景技术
同时定位与地图构建(简称SLAM,Simultaneous Location And Mapping)是一种在未知环境中,进行自身定位并同时建立地图的技术。主要应用在移动机器人、自动驾驶、虚拟现实、增强现实等方面。视觉SLAM主要使用视觉传感器作为输入设备,比如单目相机,双目相机,深度相机等,***将图像作为输入,输出相机轨迹以及重建的三维地图。
主流的视觉SLAM通过对图像提取特征点,利用特征点与相机的位姿以及特征点的三维坐标之间的几何关系,求解相机轨迹和三维地图,比如Raul等人2017年在Robotics上发表的“ORB-SLAM2:An Open-Source SLAM System for Monocular,Stereo,and RGB-DCameras”方法。但点特征在光照变化、噪声干扰、运动模糊、弱纹理等场景中表现不佳。所以有些***采用点和线融合的方式求解SLAM问题。目前较新的***大多采用LSD、EdLines等方法在图像中提取直线段,比如Pumarola等人在2017年的ICRA会议上提出的“PL-SLAM:Real-time monocular visual SLAM with points and lines”方法,该方法在ORB-SLAM2的基础上增加特征线的处理。本发明方法充分利用多个视角之间的时序关系,使用时序关系提取特征线,提升线特征的帧间连续性和鲁棒性,可以在一定程度上应对遮挡、断裂等情况。
在基于关键帧的SLAM***中,***需要建立重投影误差来优化相机位姿。点的重投影误差一般采用投影点和观测点的欧式距离度量,而线的误差计算方式一般分为两种,一种采用两条直线的端点到端点的欧式距离作为误差值,比如早期的Gee等发表在2006年的Advances in Visual Computing的“Real-time model-based SLAM using linesegments”算法,该算法很方便的从点特征误差计算方式扩展到线特征上,而另一种采用观测线的端点到投影线的垂直距离作为误差值,目前基于直线的SLAM大多采用此方式计算。本发明利用端点到重投影直线的垂直距离作为重投影误差优化相机的位姿,在完成位姿优化之后,根据二维特征线的时序关系对提取的特征线的端点进行优化,以提升线段观测的完整度,从而更好的预测线条,同时也提升地图重建效果。
发明内容
SLAM的任务目标是尽可能地提升位姿精度和建图效果。本发明提出一种基于点线融合的视觉SLAM方法。该方法利用帧间时序性关系,更好地提取特征信息,并在位姿优化之后,反向优化二维特征线,从而提高位姿精度,提升地图重建效果。具体的实施步骤如下:
步骤1,输入图像;
步骤2,特征跟踪;
步骤2.1,预测相机位姿,并提取特征点和特征线;
步骤2.2,匹配前后帧的特征点和特征线;
步骤2.3,优化相机位姿;
步骤2.4,优化二维特征线;
步骤2.5,判断是否设为关键帧。若为关键帧,则将其加入地图,否则返回步骤1;
步骤3,局部建图;
步骤3.1,剔除冗余特征并***新特征信息;
步骤3.2,优化局部地图;
步骤3.3,裁剪冗余关键帧;
步骤4,回环检测;
步骤4.1,检测是否形成回环;
步骤4.2,闭合回环;
步骤4.3,优化全局地图,消除累积误差。
与现有方法相比,本发明所采用的方法具有以下优点:在特征线提取方面,线段被提取得更完整,提取速度得以提升,线段在帧间的连续性较原有方法更好。在位姿计算方面,位姿精度得以提升。最终对地图重建效果起到积极作用。
附图说明
图1本发明方法所涉及的整体流程图。
图2视觉SLAM求解问题的数学建模。(a)通用SLAM的贝叶斯模型,(b)本发明方法所采用的贝叶斯模型。
图3本发明方法与ORB-SLAM2方法在EuRoC数据集的运行结果对比。每个序列中精度较高的记录使用红色标出。
图4本发明方法在EuRoC数据集的重建效果。(a)图为序列中的某一帧图像。(b)为该图像所观测视角下的重建结果。
具体实施方式
以下将结合附图对本发明做进一步说明。
我们设某个三维路标为X,相机在0,1,…,t-2,t-1,t时刻拍摄了t+1张图像,则最近三帧图像,所对应的相机位姿可表示为Tt-2,Tt-1,Tt,该三维路标X所对应的特征点为xt-2,xt-1,xt。那么,通用的视觉SLAM问题的数学模型如图2(a)所示,其贝叶斯概率表示为P(xt|Tt,X)。而本发明所建模的数学问题,增加了帧间时序性关系的表示,如图2(b)所示,其特征观测模型的贝叶斯概率表示为P(xt|Tt,X,xt-1)。
本发明基于该数学模型确定了如下计算流程。整个***计算流程如图1所示,分为三大模块:特征跟踪、局部建图、回环闭合。***数据采用全局地图、局部地图、共视图三个结构辅助记录。全局地图存储所有三维路标以及每一个关键帧对应的相机位姿和二维观测信息;局部地图是全局地图的子集,记录了全局地图中和当前关键帧相邻的关键帧所包含的信息;而共视图包含了关键帧之间的关联,如果两个关键帧观测的三维路标存在交集,则说明该帧之间存在关联。下面对每一步进行详细阐述,该思想可适用于单目或双目***。
步骤1,输入图像
使用相机拍摄图像,并将每一帧图像依次输入***中。若相机未标定,可以使用相机在不同的视角下对棋盘格拍摄多张图像,采用张正友标定法计算相机参数。
步骤2,跟踪特征
步骤2.1,预测位姿并提取特征点和特征线
根据前两帧的相机位姿,预测当前帧的相机位姿Tt:
然后提取图像中的特征点,同时获得特征描述子。本发明采用Raul等人的ORB-SLAM2中的特征点提取算法,该算法对ORB特征点提取算法做了改良,使得提取结果更佳。我们将特征点集合记为pt。
最后利用当前帧的特征线的时序关系和预测的相机位姿辅助提取图像中的特征线。对于第一帧图像,我们采用Refeal等人2010年在Software Engineering上发表的“LSD:A Fast Line Segment Detector with a False Detection Control”中所介绍的LSD算法对图像提取特征线。对于初始化或重定位之后的5帧图像,由于其特征线在前后帧之间的时序关系建立得不完善,因此本方法也采取LSD算法直接提取特征线。对于之后输入的图像,本方法利用当时已经存在的特征线序列辅助提取线段,每个特征线序列包含至少Nl条分别来自不同图像的二维线段,这些线段来自于同一条三维线段的不同投影。对于上一帧得到的每一条特征线,本方法估计线段的每个参数相对于时间的变化量为了更准确有效的预测线段在二维平面的运动规律,我们使用特征线的长度、角度、中心点的X和Y坐标四个参数值描述一条线段,那么在当前图像中该线段的预测结果为:
其中,lt-1为上一幅图像中的二维线段。为提高预测的准确度,我们同时使用重投影的方式对线段进行预测。我们记lt-1反投影的三维线段为L,那么当前图像上的二维线段lt也应该和三维线段L存在投影关系。因此,根据投影几何关系,预测当前图像中该线段为:
最后对两种预测结果进行融合,得到最终的预测结果:
单纯地使用预测的方式获得的线条存在一定的误差,并且会随着时间推移而累积下来。因此,本发明在预测结果上采样最少Np个点作为种子,并在图像中提取多条直线,最终将合并后的直线作为最终的提取结果。本发明实例中将Np设为10。
步骤2.2,匹配前后帧的特征点和特征线
图像中特征点的数量比较大,如果采用暴力匹配方式,计算量太大,会严重影响实时性。因此,利用局部搜索加快匹配速度,首先由前后帧的几何关系,可知
其中,πp表示点的投影函数。将pt-1反投影到三维空间中,再投影到当前图像,得到pt-1对应特征点的估计位置p′t。然后在以p′t为中心,5×5的窗口内搜索匹配点。最终使用双向匹配策略,将互为最佳匹配点的特征集合作为匹配结果。
同理,对于特征线,本发明使用类似的方法。将上一幅图像中的特征线重投影到当前图像中,得到估计的特征线
其中,πl表示线的投影函数。然后以一定的角度范围作为搜索窗口,匹配二维特征线。最终得到匹配特征线的集合。同时,也根据匹配结果更新特征线序列,将匹配失败的特征线序列从当前帧的记录中移除,将新检测到的特征线序列加入当前帧。
步骤2.3,优化相机位姿
在新图像的几何特征和上一幅图像进行关联之后,对步骤2.1中估计得到的相机位姿,进行优化,提升位姿的准确度。由上文的推导过程,以及公式(6)和公式(7)可知,重投影得到的特征点p′t应尽可能和匹配的特征点pt重合,特征点的重投影误差采用两点的欧式距离度量;而特征线l′t也应和匹配的特征线lt重合,特征线的重投影误差采用端点到直线的距离进行度量。相比于直接使用端点到端点的欧氏距离作为重投影误差,该方法在遮挡、提取不完整等情况下,端点到直线的距离不会发现变化,重投影误差的测量值基本不受影响,而端点到端点的方式在上述情况下,其重投影误差会明显的增加,导致位姿优化时不能很好地收敛到正确位置。相机位姿的优化可以通过最小化重投影误差实现。本发明融合点和线定义位姿优化的最小二乘问题:
其中,ep和el分别为特征点和特征线的重投影误差,其计算公式为:
ep=pt-πp(pt-1,Tt-1) (9)
其中,n为该特征被检测到的次数,t1为可调系数,Σp为该特征点的协方差矩阵,该矩阵和特征点所在ORB金字塔的级别直接相关。相应地,特征线的置信度pl为:
其中,σ为特征线长度分布的方差值,t2和t3为可调系数,Σl为该特征线的协方差矩阵。迭代优化式(8),直到误差收敛,所得结果即为当前帧的相机位姿。
步骤2.4,优化二维特征线
由于在步骤2.1中提取到的特征线将被用于下一幅图像的特征线预测阶段,所以,保证当前图像中特征线准确度是极其重要的一步。在步骤2.3中,我们采用了端点到直线的距离度量线段的重投影误差,这种计算方式能够很好地度量直线的方向和位置是否重合,但对于线段的端点是否重合并不敏感,因此,本发明针对二维线段的端点进行优化,以尽可能消除遮挡、弱纹理等导致的线条不完整问题。
在此步骤中,本发明依然采用重投影的方式对线段进行优化矫正。首先,我们将每个特征线序列中的线段反投影到三维空间中
其中,α为优化系数,决定单次优化的力度。换言之,L′i和均值的距离越大,优化力度越大;而端点分布的方差越大,优化力度越小。最后将优化后的线段投影到图像平面上
完成对二维特征线的优化。
步骤2.5,判断关键帧
对该帧进行判断,是否将该帧作为关键帧加入地图并进行后续计算。为了能够更好的跟踪到几何特征信息来优化相机位姿,本发明方法做如下决策:
步骤2.5.1,***关键帧之后已处理多于10帧图像,且当前局部建图模块处于空闲状态,则判断为关键帧;
步骤2.5.2,上一次***关键帧之后已处理超过20帧图像,则判断为关键帧;
步骤2.5.3,跟踪丢失并重定位后,已处理图像不得少于20帧,否则不能作为关键帧;
步骤2.5.4,当前图像上匹配的特征点不少于30个,且匹配的特征线不少于5条,否则不能作为关键帧;
步骤2.5.5,当前图像上跟踪的特征相比最近关键帧上跟踪的特征少于90%,则判断为关键帧;
若当前帧判断为关键帧,则生成关键帧并传递给局部建图模块以进行后续计算。当前跟踪模块返回步骤1,继续处理下一幅图像。
步骤3,局部建图
步骤3.1,剔除冗余特征并***新特征信息
对于新***的关键帧,首先更新共视图和生成树,加入新关键帧节点。然后对局部地图中的三维特征进行裁剪和更新,由于被观测次数太少的特征有极大的可能是外点,所以裁剪掉三维地图中被观测次数少于三次的特征点和特征线,最后将该关键帧中匹配的新特征,使用三角化方法恢复特征深度信息,生成新三维特征并***到地图中。
步骤3.2,优化局部地图
完整地图更新之后,对当前关键帧和与之关联的关键帧进行联合优化,与步骤2.3中优化当前帧的位姿相比,此步骤的主要优化对象为相关关键帧的相机位姿以及三维特征坐标。优化过程中所采用的重投影误差表达式和式(8)相同。在特征匹配时,不可避免地会引入一些外点,对相机位姿优化造成一定影响。因此,在迭代优化10次后,将重投影误差过大的外点移除,再继续迭代优化,如此重复4次,以尽可能地清除外点,并最大程度地优化相机位姿。
步骤3.3,裁剪冗余关键帧
这一步骤的必要性在于,步骤2.5中,***尽可能多地***新关键帧,以增加位姿优化时的几何约束,但过多的关键帧会导致地图中数据量增加,加重了计算负担。因此,***将关键帧之间特征的重合度大于90%的关键帧剔除,以精简共视图。
步骤4,回环检测
步骤4.1,检测是否形成回环
首先,计算当前关键帧和相邻关键帧之间的词袋相似度,记相似度最小值为smin,然后在运行时所维护的关键帧数据库中查询,若不存在相似度小于smin的关键帧,则返回处理下一个关键帧;反之,则视为检测到回环。
步骤4.2,闭合回环
我们使用随机采样一致性算法计算两个关键帧之间的相似变换,然后将相似变换应用到当前关键帧与相邻关键帧上,完成闭环融合。
步骤4.3,优化全局地图
对所有关键帧和三维特征进行优化,以消除累积误差,优化过程中,重投影误差的计算方式采用公式(8)所示内容。
重复以上步骤,直至处理完全部图像。以Raul等人2017年在Robotics上发表的“ORB-SLAM2:An Open-Source SLAM System for Monocular,Stereo,and RGB-D Cameras”方法作为对比,说明本发明的有效性。实验环境为Ubuntu***,i7处理器,16GB内存。图3展示了在EuRoC数据集上的绝对轨迹误差,在大多数图像序列上本发明方法比ORB-SLAM2方法精度更高。同时,我们截取了序列中某一帧的重建结果进行展示。重建效果如图4所示,图4(a)为序列中的某一幅输入图像,图4(b)为在该图像视角下,对场景重建结果的展示。
以上实施例仅用以说明本发明的技术方案而非对其进行限制,在不背离本发明精神及其实质的情况下,熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形,但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
Claims (5)
1.一种基于点线融合的视觉SLAM方法,其特征在于:利用帧间时序性关系提取特征信息进行地图重建;设某个三维路标为X,相机在0,1,…,t-2,t-1,t时刻拍摄了t+1张图像,则最近三帧图像所对应的相机位姿可表示为Tt-2,Tt-1,Tt,该三维路标X所对应的特征点为xt-2,xt-1,xt,将帧间时序性关系与通用的视觉SLAM问题的数学模型相结合,得到贝叶斯概率表示为P(xt|Tt,X,xt-1)的特征观测模型;基于得到的贝叶斯概率表示为P(xt|Tt,X,xt-1)的特征观测模型确定计算流程;整个***的计算流程分为特征跟踪、局部建图、回环闭合三个模块。
2.根据权利要求1所述的一种基于点线融合的视觉SLAM方法,其特征在于:利用帧间时序性关系提取及优化特征信息进行地图重建的具体步骤为:
步骤1,输入图像:使用相机拍摄图像,并将每一帧图像依次输入***中;
步骤2,特征跟踪:
步骤2.1,预测相机位姿,并提取特征点和特征线:根据前两帧的相机位姿,预测当前帧的相机位姿Tt:
其中,为第t-2帧相机到第t-1帧相机的相对位姿,假设帧间运动是平缓的,并将该项作为第t-1帧到第t帧的相对位姿的估计值,由此得出当前帧的相机位姿;提取图像中的特征点,同时获得特征描述子,将特征点集合记为pt;利用当前帧的特征线的时序关系和预测的相机位姿辅助提取图像中的特征线;对于第一帧图像和初始化或重定位之后的5帧图像,采用LSD算法对图像提取特征线;对于之后输入的图像,利用当时已经存在的特征线序列辅助提取线段,每个特征线序Nl条分别来自不同图像的二维线段,这些线段来自于同一条三维线段的不同投影;对于上一帧得到的每一条特征线,线段的每个参数相对于时间的变化量为使用特征线的长度、角度、中心点的X和Y坐标四个参数值描述一条线段,那么在当前图像中该线段的预测结果为:
其中,lt-1为上一幅图像中的二维线段,同时使用重投影的方式对线段进行预测;记lt-1反投影的三维线段为L,根据投影几何关系,预测当前图像中该线段为:
最后对两种预测结果进行融合,得到最终的预测结果:
在预测结果上采样最少Np个点作为种子,并在图像中提取多条直线,将合并后的直线作为最终的提取结果;
步骤2.2,匹配前后帧的特征点和特征线:对于特征点,利用局部搜索加快匹配速度,首先由前后帧的几何关系,可知
其中,πp表示点的投影函数;将pt-1反投影到三维空间中,再投影到当前图像,得到pt-1对应特征点的估计位置p′t;然后在以p′t为中心,5×5的窗口内搜索匹配点;最终使用双向匹配策略,将互为最佳匹配点的特征集合作为匹配结果;
对于特征线,将上一幅图像中的特征线重投影到当前图像中,得到估计的特征线
其中,πl表示线的投影函数;然后以一定的角度范围作为搜索窗口,匹配二维特征线;最终得到匹配特征线的集合;同时,也根据匹配结果更新特征线序列,将匹配失败的特征线序列从当前帧的记录中移除,将新检测到的特征线序列加入当前帧;
步骤2.3,优化相机位姿:在新图像的几何特征和上一幅图像进行关联之后,对步骤2.1中估计得到的相机位姿,进行优化,重投影得到的特征点pt′应尽可能和匹配的特征点pt重合,特征点的重投影误差采用两点的欧式距离度量;而特征线lt′也应和匹配的特征线lt重合,特征线的重投影误差采用端点到直线的距离进行度量;本方法融合点和线定义位姿优化的最小二乘问题:
其中,ep和el分别为特征点和特征线的重投影误差,其计算公式为:
ep=pt-πp(pt-1,Tt-1) (9)
其中,σ为特征线长度分布的方差值,t2和t3为可调系数,Σl为该特征线的协方差矩阵;迭代优化式(8),直到误差收敛,所得结果即为当前帧的相机位姿;
步骤2.4,优化二维特征线:采用重投影的方式对线段进行优化矫正;首先,将每个特征线序列中的线段反投影到三维空间中:
其中,α为优化系数,决定单次优化的力度;换言之,L′i和均值的距离越大,优化力度越大;而端点分布的方差越大,优化力度越小;最后将优化后的线段投影到图像平面上完成对二维特征线的优化:
步骤2.5,判断是否设为关键帧,若为关键帧,则将其加入地图,否则返回步骤1;
步骤2.5.1,***关键帧之后已处理多于10帧图像,且当前局部建图模块处于空闲状态,则判断为关键帧;
步骤2.5.2,上一次***关键帧之后已处理超过20帧图像,则判断为关键帧;
步骤2.5.3,跟踪丢失并重定位后,已处理图像不得少于20帧,否则不能作为关键帧;
步骤2.5.4,当前图像上匹配的特征点不少于30个,且匹配的特征线不少于5条,否则不能作为关键帧;
步骤2.5.5,当前图像上跟踪的特征相比最近关键帧上跟踪的特征少于90%,则判断为关键帧;
若当前帧判断为关键帧,则生成关键帧并传递给局部建图模块以进行后续计算;当前跟踪模块返回步骤1,继续处理下一幅图像;
步骤3,局部建图:
步骤3.1,剔除冗余特征并***新特征信息:对于新***的关键帧,首先更新共视图和生成树,加入新关键帧节点;然后对局部地图中的三维特征进行裁剪和更新,由于被观测次数太少的特征有极大的可能是外点,所以裁剪掉三维地图中被观测次数少于三次的特征点和特征线,最后将该关键帧中匹配的新特征,使用三角化方法恢复特征深度信息,生成新三维特征并***到地图中;
步骤3.2,优化局部地图:完整地图更新之后,对当前关键帧和与之关联的关键帧进行联合优化,主要优化对象为相关关键帧的相机位姿以及三维特征坐标;优化过程中所采用的重投影误差表达式和式(8)相同;在特征匹配时,不可避免地会引入一些外点,因此,在迭代优化10次后,将重投影误差过大的外点移除,再继续迭代优化,如此重复4次,以尽可能地清除外点,并最大程度地优化相机位姿;
步骤3.3,裁剪冗余关键帧:将关键帧之间特征的重合度大于90%的关键帧剔除,以精简共视图;
步骤4,回环检测:
步骤4.1,检测是否形成回环:首先,计算当前关键帧和相邻关键帧之间的词袋相似度,记相似度最小值为smin,然后在运行时所维护的关键帧数据库中查询,若不存在相似度小于smin的关键帧,则返回处理下一个关键帧;反之,则视为检测到回环;
步骤4.2,闭合回环:使用随机采样一致性算法计算两个关键帧之间的相似变换,然后将相似变换应用到当前关键帧与相邻关键帧上,完成闭环融合;
步骤4.3,优化全局地图,消除累积误差:对所有关键帧和三维特征进行优化,以消除累积误差,优化过程中,重投影误差的计算方式采用公式(8)所示内容。
3.根据权利要求1所述的一种基于点线融合的视觉SLAM方法,其特征在于:***数据采用全局地图、局部地图、共视图三个结构辅助记录;全局地图存储所有三维路标以及每一个关键帧对应的相机位姿和二维观测信息;局部地图是全局地图的子集,记录了全局地图中和当前关键帧相邻的关键帧所包含的信息;而共视图包含了关键帧之间的关联;本发明方法适用于单目或双目***。
4.根据权利要求1所述的一种基于点线融合的视觉SLAM方法,其特征在于:对于未标定的相机,可以使用相机在不同的视角下对棋盘格拍摄多张图像,采用张正友标定法计算相机参数。
5.根据权利要求1所述的一种基于点线融合的视觉SLAM方法,其特征在于:本方法实验环境为Ubuntu***,i7处理器,16GB内存。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910981919.6A CN110782494A (zh) | 2019-10-16 | 2019-10-16 | 一种基于点线融合的视觉slam方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910981919.6A CN110782494A (zh) | 2019-10-16 | 2019-10-16 | 一种基于点线融合的视觉slam方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110782494A true CN110782494A (zh) | 2020-02-11 |
Family
ID=69385515
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910981919.6A Pending CN110782494A (zh) | 2019-10-16 | 2019-10-16 | 一种基于点线融合的视觉slam方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110782494A (zh) |
Cited By (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111275764A (zh) * | 2020-02-12 | 2020-06-12 | 南开大学 | 基于线段阴影的深度相机视觉里程测量方法 |
CN111368015A (zh) * | 2020-02-28 | 2020-07-03 | 北京百度网讯科技有限公司 | 用于压缩地图的方法和装置 |
CN111540005A (zh) * | 2020-04-21 | 2020-08-14 | 南京理工大学 | 基于二维栅格地图的回环检测方法 |
CN111707281A (zh) * | 2020-06-30 | 2020-09-25 | 华东理工大学 | 一种基于光度信息和orb特征的slam*** |
CN111709997A (zh) * | 2020-06-30 | 2020-09-25 | 华东理工大学 | 一种基于点与平面特征的slam实现方法及*** |
CN111795704A (zh) * | 2020-06-30 | 2020-10-20 | 杭州海康机器人技术有限公司 | 一种视觉点云地图的构建方法、装置 |
CN111932600A (zh) * | 2020-07-31 | 2020-11-13 | 杭州电子科技大学 | 一种基于局部子图的实时回环检测方法 |
CN112132893A (zh) * | 2020-08-31 | 2020-12-25 | 同济人工智能研究院(苏州)有限公司 | 一种适用于室内动态环境的视觉slam方法 |
CN112381890A (zh) * | 2020-11-27 | 2021-02-19 | 上海工程技术大学 | 一种基于点线特征的rgb-d视觉slam方法 |
CN112419497A (zh) * | 2020-11-13 | 2021-02-26 | 天津大学 | 基于单目视觉的特征法与直接法相融合的slam方法 |
CN112432653A (zh) * | 2020-11-27 | 2021-03-02 | 北京工业大学 | 基于点线特征的单目视觉惯性里程计方法 |
CN112734839A (zh) * | 2020-12-31 | 2021-04-30 | 浙江大学 | 一种提高鲁棒性的单目视觉slam初始化方法 |
CN112819744A (zh) * | 2021-02-26 | 2021-05-18 | 中国人民解放军93114部队 | Gnss和视觉slam融合的轨迹测量方法和装置 |
CN113393524A (zh) * | 2021-06-18 | 2021-09-14 | 常州大学 | 一种结合深度学习和轮廓点云重建的目标位姿估计方法 |
CN113465617A (zh) * | 2021-07-08 | 2021-10-01 | 上海汽车集团股份有限公司 | 一种地图构建方法、装置及电子设备 |
CN113536024A (zh) * | 2021-08-11 | 2021-10-22 | 重庆大学 | 一种基于fpga的orb_slam重定位特征点检索加速方法 |
CN113592865A (zh) * | 2021-09-29 | 2021-11-02 | 湖北亿咖通科技有限公司 | 三维地图的质检方法、设备及存储介质 |
CN113628279A (zh) * | 2021-07-29 | 2021-11-09 | 成都易瞳科技有限公司 | 一种全景视觉slam建图方法 |
CN113720323A (zh) * | 2021-07-30 | 2021-11-30 | 安徽大学 | 基于点线特征融合的单目视觉贯导slam方法及装置 |
CN113850293A (zh) * | 2021-08-20 | 2021-12-28 | 北京大学 | 基于多源数据和方向先验联合优化的定位方法 |
CN114170366A (zh) * | 2022-02-08 | 2022-03-11 | 荣耀终端有限公司 | 基于点线特征融合的三维重建方法及电子设备 |
CN114495421A (zh) * | 2021-12-30 | 2022-05-13 | 山东奥邦交通设施工程有限公司 | 智能化开放式道路施工作业监测预警方法及*** |
CN114526739A (zh) * | 2022-01-25 | 2022-05-24 | 中南大学 | 移动机器人室内重定位方法、计算机装置及产品 |
CN114543787A (zh) * | 2022-04-21 | 2022-05-27 | 南京理工大学 | 基于条纹投影轮廓术的毫米级室内建图定位方法 |
CN115376051A (zh) * | 2022-10-25 | 2022-11-22 | 杭州华橙软件技术有限公司 | 关键帧的管理方法及管理装置、slam方法、电子设备 |
WO2023280274A1 (en) * | 2021-07-07 | 2023-01-12 | The Hong Kong University Of Science And Technology | Geometric structure aided visual localization method and system |
CN116246038A (zh) * | 2023-05-11 | 2023-06-09 | 西南交通大学 | 一种多视影像三维线段重建方法、***、电子设备及介质 |
CN116468786A (zh) * | 2022-12-16 | 2023-07-21 | 中国海洋大学 | 一种面向动态环境的基于点线联合的语义slam方法 |
CN116662600A (zh) * | 2023-06-08 | 2023-08-29 | 北京科技大学 | 一种基于轻量结构化线地图的视觉定位方法 |
CN116681733A (zh) * | 2023-08-03 | 2023-09-01 | 南京航空航天大学 | 一种空间非合作目标近距离实时位姿跟踪方法 |
CN117649536A (zh) * | 2024-01-29 | 2024-03-05 | 华东交通大学 | 一种点线和线结构特征融合的视觉同步定位与建图方法 |
CN117671022A (zh) * | 2023-11-02 | 2024-03-08 | 武汉大学 | 一种室内弱纹理环境的移动机器人视觉定位***及方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108242079A (zh) * | 2017-12-30 | 2018-07-03 | 北京工业大学 | 一种基于多特征视觉里程计和图优化模型的vslam方法 |
CN108682027A (zh) * | 2018-05-11 | 2018-10-19 | 北京华捷艾米科技有限公司 | 基于点、线特征融合的vSLAM实现方法及*** |
CN109579840A (zh) * | 2018-10-25 | 2019-04-05 | 中国科学院上海微***与信息技术研究所 | 一种点线特征融合的紧耦合双目视觉惯性slam方法 |
-
2019
- 2019-10-16 CN CN201910981919.6A patent/CN110782494A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108242079A (zh) * | 2017-12-30 | 2018-07-03 | 北京工业大学 | 一种基于多特征视觉里程计和图优化模型的vslam方法 |
CN108682027A (zh) * | 2018-05-11 | 2018-10-19 | 北京华捷艾米科技有限公司 | 基于点、线特征融合的vSLAM实现方法及*** |
CN109579840A (zh) * | 2018-10-25 | 2019-04-05 | 中国科学院上海微***与信息技术研究所 | 一种点线特征融合的紧耦合双目视觉惯性slam方法 |
Non-Patent Citations (2)
Title |
---|
XINGXING ZUO等: "Robust Visual SLAM with Point and Line Features" * |
董蕊芳等: "一种基于改进TF-IDF的SLAM回环检测算法" * |
Cited By (56)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111275764A (zh) * | 2020-02-12 | 2020-06-12 | 南开大学 | 基于线段阴影的深度相机视觉里程测量方法 |
CN111275764B (zh) * | 2020-02-12 | 2023-05-16 | 南开大学 | 基于线段阴影的深度相机视觉里程测量方法 |
CN111368015B (zh) * | 2020-02-28 | 2023-04-07 | 北京百度网讯科技有限公司 | 用于压缩地图的方法和装置 |
CN111368015A (zh) * | 2020-02-28 | 2020-07-03 | 北京百度网讯科技有限公司 | 用于压缩地图的方法和装置 |
CN111540005A (zh) * | 2020-04-21 | 2020-08-14 | 南京理工大学 | 基于二维栅格地图的回环检测方法 |
CN111540005B (zh) * | 2020-04-21 | 2022-10-18 | 南京理工大学 | 基于二维栅格地图的回环检测方法 |
CN111707281B (zh) * | 2020-06-30 | 2023-05-30 | 华东理工大学 | 一种基于光度信息和orb特征的slam*** |
CN111795704A (zh) * | 2020-06-30 | 2020-10-20 | 杭州海康机器人技术有限公司 | 一种视觉点云地图的构建方法、装置 |
CN111709997A (zh) * | 2020-06-30 | 2020-09-25 | 华东理工大学 | 一种基于点与平面特征的slam实现方法及*** |
CN111707281A (zh) * | 2020-06-30 | 2020-09-25 | 华东理工大学 | 一种基于光度信息和orb特征的slam*** |
CN111709997B (zh) * | 2020-06-30 | 2023-03-24 | 华东理工大学 | 一种基于点与平面特征的slam实现方法及*** |
CN111932600A (zh) * | 2020-07-31 | 2020-11-13 | 杭州电子科技大学 | 一种基于局部子图的实时回环检测方法 |
CN111932600B (zh) * | 2020-07-31 | 2023-10-03 | 杭州电子科技大学 | 一种基于局部子图的实时回环检测方法 |
CN112132893A (zh) * | 2020-08-31 | 2020-12-25 | 同济人工智能研究院(苏州)有限公司 | 一种适用于室内动态环境的视觉slam方法 |
CN112132893B (zh) * | 2020-08-31 | 2024-01-09 | 同济人工智能研究院(苏州)有限公司 | 一种适用于室内动态环境的视觉slam方法 |
CN112419497A (zh) * | 2020-11-13 | 2021-02-26 | 天津大学 | 基于单目视觉的特征法与直接法相融合的slam方法 |
CN112432653A (zh) * | 2020-11-27 | 2021-03-02 | 北京工业大学 | 基于点线特征的单目视觉惯性里程计方法 |
CN112432653B (zh) * | 2020-11-27 | 2024-02-23 | 北京工业大学 | 基于点线特征的单目视觉惯性里程计方法 |
CN112381890B (zh) * | 2020-11-27 | 2022-08-02 | 上海工程技术大学 | 一种基于点线特征的rgb-d视觉slam方法 |
CN112381890A (zh) * | 2020-11-27 | 2021-02-19 | 上海工程技术大学 | 一种基于点线特征的rgb-d视觉slam方法 |
CN112734839A (zh) * | 2020-12-31 | 2021-04-30 | 浙江大学 | 一种提高鲁棒性的单目视觉slam初始化方法 |
CN112819744B (zh) * | 2021-02-26 | 2024-05-14 | 中国人民解放军93114部队 | Gnss和视觉slam融合的轨迹测量方法和装置 |
CN112819744A (zh) * | 2021-02-26 | 2021-05-18 | 中国人民解放军93114部队 | Gnss和视觉slam融合的轨迹测量方法和装置 |
CN113393524B (zh) * | 2021-06-18 | 2023-09-26 | 常州大学 | 一种结合深度学习和轮廓点云重建的目标位姿估计方法 |
CN113393524A (zh) * | 2021-06-18 | 2021-09-14 | 常州大学 | 一种结合深度学习和轮廓点云重建的目标位姿估计方法 |
WO2023280274A1 (en) * | 2021-07-07 | 2023-01-12 | The Hong Kong University Of Science And Technology | Geometric structure aided visual localization method and system |
CN113465617B (zh) * | 2021-07-08 | 2024-03-19 | 上海汽车集团股份有限公司 | 一种地图构建方法、装置及电子设备 |
CN113465617A (zh) * | 2021-07-08 | 2021-10-01 | 上海汽车集团股份有限公司 | 一种地图构建方法、装置及电子设备 |
CN113628279B (zh) * | 2021-07-29 | 2023-10-31 | 成都易瞳科技有限公司 | 一种全景视觉slam建图方法 |
CN113628279A (zh) * | 2021-07-29 | 2021-11-09 | 成都易瞳科技有限公司 | 一种全景视觉slam建图方法 |
CN113720323B (zh) * | 2021-07-30 | 2024-01-23 | 安徽大学 | 基于点线特征融合的单目视觉惯导slam方法及装置 |
CN113720323A (zh) * | 2021-07-30 | 2021-11-30 | 安徽大学 | 基于点线特征融合的单目视觉贯导slam方法及装置 |
CN113536024B (zh) * | 2021-08-11 | 2022-09-09 | 重庆大学 | 一种基于fpga的orb_slam重定位特征点检索加速方法 |
CN113536024A (zh) * | 2021-08-11 | 2021-10-22 | 重庆大学 | 一种基于fpga的orb_slam重定位特征点检索加速方法 |
CN113850293B (zh) * | 2021-08-20 | 2024-06-18 | 北京大学 | 基于多源数据和方向先验联合优化的定位方法 |
CN113850293A (zh) * | 2021-08-20 | 2021-12-28 | 北京大学 | 基于多源数据和方向先验联合优化的定位方法 |
CN113592865B (zh) * | 2021-09-29 | 2022-01-25 | 湖北亿咖通科技有限公司 | 三维地图的质检方法、设备及存储介质 |
CN113592865A (zh) * | 2021-09-29 | 2021-11-02 | 湖北亿咖通科技有限公司 | 三维地图的质检方法、设备及存储介质 |
CN114495421B (zh) * | 2021-12-30 | 2022-09-06 | 山东奥邦交通设施工程有限公司 | 智能化开放式道路施工作业监测预警方法及*** |
CN114495421A (zh) * | 2021-12-30 | 2022-05-13 | 山东奥邦交通设施工程有限公司 | 智能化开放式道路施工作业监测预警方法及*** |
CN114526739B (zh) * | 2022-01-25 | 2024-05-07 | 中南大学 | 移动机器人室内重定位方法、计算机装置及产品 |
CN114526739A (zh) * | 2022-01-25 | 2022-05-24 | 中南大学 | 移动机器人室内重定位方法、计算机装置及产品 |
CN114170366A (zh) * | 2022-02-08 | 2022-03-11 | 荣耀终端有限公司 | 基于点线特征融合的三维重建方法及电子设备 |
CN114170366B (zh) * | 2022-02-08 | 2022-07-12 | 荣耀终端有限公司 | 基于点线特征融合的三维重建方法及电子设备 |
CN114543787A (zh) * | 2022-04-21 | 2022-05-27 | 南京理工大学 | 基于条纹投影轮廓术的毫米级室内建图定位方法 |
CN115376051A (zh) * | 2022-10-25 | 2022-11-22 | 杭州华橙软件技术有限公司 | 关键帧的管理方法及管理装置、slam方法、电子设备 |
CN116468786A (zh) * | 2022-12-16 | 2023-07-21 | 中国海洋大学 | 一种面向动态环境的基于点线联合的语义slam方法 |
CN116468786B (zh) * | 2022-12-16 | 2023-12-26 | 中国海洋大学 | 一种面向动态环境的基于点线联合的语义slam方法 |
CN116246038A (zh) * | 2023-05-11 | 2023-06-09 | 西南交通大学 | 一种多视影像三维线段重建方法、***、电子设备及介质 |
CN116662600B (zh) * | 2023-06-08 | 2024-05-14 | 北京科技大学 | 一种基于轻量结构化线地图的视觉定位方法 |
CN116662600A (zh) * | 2023-06-08 | 2023-08-29 | 北京科技大学 | 一种基于轻量结构化线地图的视觉定位方法 |
CN116681733B (zh) * | 2023-08-03 | 2023-11-07 | 南京航空航天大学 | 一种空间非合作目标近距离实时位姿跟踪方法 |
CN116681733A (zh) * | 2023-08-03 | 2023-09-01 | 南京航空航天大学 | 一种空间非合作目标近距离实时位姿跟踪方法 |
CN117671022A (zh) * | 2023-11-02 | 2024-03-08 | 武汉大学 | 一种室内弱纹理环境的移动机器人视觉定位***及方法 |
CN117649536A (zh) * | 2024-01-29 | 2024-03-05 | 华东交通大学 | 一种点线和线结构特征融合的视觉同步定位与建图方法 |
CN117649536B (zh) * | 2024-01-29 | 2024-04-16 | 华东交通大学 | 一种点线和线结构特征融合的视觉同步定位与建图方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110782494A (zh) | 一种基于点线融合的视觉slam方法 | |
CN112985416B (zh) | 激光与视觉信息融合的鲁棒定位和建图方法及*** | |
CN108986037B (zh) | 基于半直接法的单目视觉里程计定位方法及定位*** | |
CN109166149B (zh) | 一种融合双目相机与imu的定位与三维线框结构重建方法与*** | |
CN108615246B (zh) | 提高视觉里程计***鲁棒性和降低算法计算消耗的方法 | |
WO2022188094A1 (zh) | 一种点云匹配方法及装置、导航方法及设备、定位方法、激光雷达 | |
Nickels et al. | Estimating uncertainty in SSD-based feature tracking | |
CN111445526B (zh) | 一种图像帧之间位姿的估计方法、估计装置和存储介质 | |
CN108682027A (zh) | 基于点、线特征融合的vSLAM实现方法及*** | |
Yin et al. | Dynam-SLAM: An accurate, robust stereo visual-inertial SLAM method in dynamic environments | |
WO2019057179A1 (zh) | 一种基于点线特征的视觉slam方法和装置 | |
CN110555901A (zh) | 动静态场景的定位和建图方法、装置、设备和存储介质 | |
CN110717927A (zh) | 基于深度学习和视惯融合的室内机器人运动估计方法 | |
CN112734841B (zh) | 一种用轮式里程计-imu和单目相机实现定位的方法 | |
CN110726406A (zh) | 一种改进的非线性优化单目惯导slam的方法 | |
CN114001733B (zh) | 一种基于地图的一致性高效视觉惯性定位算法 | |
WO2018214086A1 (zh) | 场景的三维重建方法、装置及终端设备 | |
CN110827321B (zh) | 一种基于三维信息的多相机协同的主动目标跟踪方法 | |
CN114549549B (zh) | 一种动态环境下基于实例分割的动态目标建模跟踪方法 | |
CN112802096A (zh) | 实时定位和建图的实现装置和方法 | |
CN116449384A (zh) | 基于固态激光雷达的雷达惯性紧耦合定位建图方法 | |
Ci et al. | Stereo visual odometry based on motion decoupling and special feature screening for navigation of autonomous vehicles | |
CN114088081A (zh) | 一种基于多段联合优化的用于精确定位的地图构建方法 | |
Gonzalez et al. | TwistSLAM++: Fusing multiple modalities for accurate dynamic semantic SLAM | |
CN112731503B (zh) | 一种基于前端紧耦合的位姿估计方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200211 |