CN112115980A - 基于光流跟踪和点线特征匹配的双目视觉里程计设计方法 - Google Patents
基于光流跟踪和点线特征匹配的双目视觉里程计设计方法 Download PDFInfo
- Publication number
- CN112115980A CN112115980A CN202010862610.8A CN202010862610A CN112115980A CN 112115980 A CN112115980 A CN 112115980A CN 202010862610 A CN202010862610 A CN 202010862610A CN 112115980 A CN112115980 A CN 112115980A
- Authority
- CN
- China
- Prior art keywords
- point
- frame
- line
- matching
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C22/00—Measuring distance traversed on the ground by vehicles, persons, animals or other moving solid bodies, e.g. using odometers, using pedometers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于光流跟踪和点线特征匹配的双目视觉里程计设计方法,属于机器人定位与导航技术领域。依次包括以下步骤:接收双目相机输入的视觉图像;使用KLT光流法跟踪点特征,并进行点特征数据关联;提取线特征和计算线特征描述子,对所提取出的线特征进行断线合并操作;前后帧之间的点、线特征分别通过光流跟踪匹配以及描述子匹配的方式进行数据关联,求得重投影误差,估计当前帧位姿;判断当前帧是否为关键帧,如果是,则提取点特征并计算点特征的描述子;如果不是,则设定当前帧的参考关键帧;局部关键帧之间的点、线特征均通过描述子匹配的方式进行数据关联,求得重投影误差,再次优化位姿;局部关键帧位姿优化后,调整非关键帧位姿。
Description
技术领域
本发明设计属于机器人定位与导航技术领域,具体涉及一种基于光流跟踪和点线特征匹配的双目视觉里程计设计方法。
背景技术
视觉里程计(VO)作为导航***的重要组成部分,在机器人技术中得到了广泛的应用,如无人驾驶汽车、无人机等。在这些应用中,VO的其中一种替代方案是使用惯性测量单元(IMU),但是这种方案的缺点在于:由于它们无法精确地抵消重力效应,随着时间的推移,会积累大量误差。传统的替代方案还包括了轮式里程计以及基于GPS的导航***等,其中轮式里程计不能取代VO的原因在于:它有较大的测量误差,长时间使用精度很差;而基于GPS的导航***方案的缺点在于:这些***仅限于开放的、不遮挡的室外环境使用,而且还无法估计出它们所连接的设备的方向。VO技术可以很大程度上弥补以上导航方案的缺陷,VO的另一个优点是所需的信息(由相机提供)可用于SLAM和场景识别等其他与导航相关的任务。
在现有的VO算法当中,基于光流跟踪的方法,由于不需要计算描述子和匹配描述子,可节省出很大的计算量,算法速度快,较好地满足实时性的要求。但是,光流跟踪法的缺点在于容易受光照影响,弱纹理场景效果不好,并且当相机发生大尺度移动时,无法很好地跟踪;基于点特征的方法,在相机移动尺度过大时,相较于光流跟踪法而言具有较高的鲁棒性,且由于特征点之间是通过描述子的方式进行匹配的,故算法精度较高,但是,点特征法的缺点在于:点特征的提取和匹配计算量较大,花费比较多的时间,且在弱纹理的场景中,无法正常工作;基于线特征的方法,在弱纹理的场景中,相较于点特征法而言具有较高的鲁棒性,但是缺点在于线特征的提取与匹配相较于点特征而言,计算量较大。
发明内容
要解决的技术问题
为了解决现有的VO技术中采用光流法定位精度不高以及采用点线特征方法实时性不强的问题,本发明提供一种基于光流跟踪和点线特征匹配的双目视觉里程计设计方法。
技术方案
一种基于光流跟踪和点线特征匹配的双目视觉里程计设计方法,其特征在于步骤如下:
步骤1:使用双目相机采集图像,首先将图像转换为灰度图像,然后利用自适应直方图均衡算法对图像做增强处理;
步骤2:使用KLT光流法,对前一帧图像的点特征进行跟踪,并结合双向环形匹配策略建立前后帧之间点特征的数据关联:
步骤2.1:使用KLT光流法,当前帧的左目图像跟踪上一帧的左目图像,进行点特征的跟踪匹配;
步骤2.2:筛选并补充点特征;
步骤2.3:当前帧的左、右目图像之间使用KLT光流法进行点特征跟踪匹配,进而根据例立体视觉算法计算出匹配点对应的三维坐标;
步骤3:提取当前帧的线特征:
步骤3.1:基于LSD线特征提取算法提取线特征,基于LBD线特征描述算法计算线特征描述子;
步骤3.2:对所提取到的线特征,进行断线合并操作;
步骤3.3:当前帧的左、右目图像之间进行线特征匹配;
步骤4:前后帧之间进行线特征的匹配;
步骤5:基于前后帧之间点特征的数据关联结果,采用PNP位姿估计方法获得当前帧的初始位姿估计;
步骤6:利用前后帧之间的点特征和线特征的重投影误差所构建的代价函数,对当前帧的位姿进行优化调整;
步骤7:判断当前帧是否为关键帧,如果是,则执行步骤8;如果不是,则设定上一个关键帧为当前帧的参考关键帧,然后,跳转至步骤12;
步骤8:提取当前帧的点特征:
步骤8.1:采用ORB算法对当前帧进行点特征的提取和描述;
步骤8.2:当前帧的左、右目图像之间的点特征通过描述子匹配的方式,进行稀疏立体匹配;
步骤9:局部关键帧之间进行点、线特征的数据关联;
步骤10:利用局部关键帧之间的点特征和线特征的重投影误差所构建的代价函数,对局部关键帧的位姿进行再次的优化调整;
步骤11:对非关键帧的位姿进行调整;
步骤12:输出全部图像帧的位姿。
所述步骤2中的双向环形匹配策略指的是:将上一帧左目图像中的特征点集通过双向KLT光流法的方式在当前帧左目图像中跟踪匹配到特征点集将当前帧左目图像中的特征点集通过双向KLT光流法的方式在当前帧右目图像中跟踪匹配到临时特征点集X1;将当前帧右目图像中的临时特征点集X1通过双向KLT光流法的方式在上一帧右目图像中跟踪匹配到临时特征点集X2;判断临时特征点集X2中的特征点是否落入原特征点集中的原特征点的领域范围,对落入领域范围以外的特征点从X2中删除,同时根据X1与X2的匹配关系,从X1中删除对应于X2中已删除的那些特征点,从而获得当前帧右目图像中的特征点集
所述步骤4中,成功匹配的两条线段l1,l2满足了以下条件:
(1)LSD检测的线段具有方向性,两匹配线段的方向向量的夹角小于φ;
(4)对应LBD特征向量的距离小于ρT,并且是其中距离最小的。
所述步骤7中,关键帧的判断原则为:同时满足下列条件:
(1)与上一个关键帧之间至少含有20个图像帧;
(2)至少成功追踪到了50个点特征和15条线特征;
(3)与上一个关键帧之间的共视点、线特征信息少于75%。
有益效果
本发明所提出的一种基于光流跟踪和点线特征匹配的双目视觉里程计设计方法,首先在基于点特征的视觉里程计算法中引入线特征,即:使用点线特征相结合的特征匹配方式,提高了算法的鲁棒性和定位精度,即使在弱纹理场景中依然表现良好;同时,在基于点线特征的视觉里程计算法中引入光流法跟踪匹配点特征,提高了算法的快速性。该方法兼具到了光流跟踪法、点特征法和线特征法各自的优点,克服了单用光流跟踪法、单用点特征法和单用线特征法的缺点。
附图说明
图1为本发明实施例的流程图
图2为双向环形匹配策略
图3为线特征合并策略
图4为线特征的重投影误差示意图
图5为在MH_04_difficult图像序列上的实验结果
图6为APE结果比较
具体实施方式
现结合实施例、附图对本发明作进一步描述:
实验采用国际公认数据集EuRoC中的MH_04_difficult图像序列对本算法进行测试,实验所用计算机的配置为:CPU为A4-5000,主频为1.50GHz,内存为8GB,***为Ubuntu16.04。
EuRoC数据集是由搭载了视觉、惯导、雷达等传感器的无人机作为数据采集平台,其中,以毫米级的激光雷达所追踪到的定位数据作为无人机的运动真值。MH_04_difficult图像序列是无人机在光线较暗的室内厂房里,以0.93m/s的速度,0.24rad/s的角速度,运动了91.7m所采集到的,其中,相机以20Hz的频率采集数据。
图1为本发明实施例的流程图。如图1所示,本发明所提出的一种基于光流跟踪和点线特征匹配的双目视觉里程计设计方法,包括以下步骤:
步骤1:读取双目图像,对图像进行预处理;
从MH_04_difficult图像序列中读取双目图像,其中,图像预处理方法为:首先将图像转换为灰度图像,然后利用自适应直方图均衡算法对图像做增强处理。
步骤2:使用KLT光流法,对前一帧图像的点特征进行跟踪,并结合双向环形匹配策略建立前后帧之间点特征的数据关联,包括如下步骤:
步骤2.1:使用KLT光流法,当前帧的左目图像跟踪上一帧的左目图像,进行点特征的跟踪匹配;
光流跟踪描述的是图像上的像素点随着时间,在图像之间运动的一种方法,即:对于前一帧中的像素点,确定出在后一帧即将出现的位置。光流跟踪匹配点特征的过程就是跟踪像素点的过程。
光流法把图像看作时间的函数I(t),那么,一个在t时刻,位于(x,y)处的像素点,它的灰度可以写成I(x,y,t)。对于同一个空间点,为了确定出它在下一帧即将出现的位置,光流法做出了一个基本假设:灰度不变假设,即:同一个空间点的像素灰度值,在各个图像中是固定不变的。
t时刻,图像坐标(x,y)处的像素点,它在t+dt时刻运动到了图像坐标(x+dx,y+dy)处,根据灰度不变假设,有:
I(x+dx,y+dy,t+dt)=I(x,y,t) (1)
对上式左侧进行泰勒展开,保留一阶项,得:
根据灰度不变假设,同一个空间点在t+dt时刻的灰度值与t时刻的灰度值是相同的,于是,得:
上式左右两侧同除以dt,得:
其中,dx/dt为像素点处在x轴方向的运动速度,记为:u;dy/dt为像素点处在y轴方向的运动速度,记为:v。同时,为像素点处在x轴方向的梯度,记为:Ix;为像素点处在y轴方向的梯度,记为:Iy。另外,记It为图像灰度对时间的变化量,其矩阵形式如下:
计算出像素点在图像间的运动速度u,v后,便可以估计出在下一时刻,像素点在下一帧图像中所出现的位置。
图2为双向环形匹配策略。如图2所示,首先,将上一帧左目图像中的特征点集通过双向KLT光流法的方式在当前帧左目图像中跟踪匹配到特征点集将当前帧左目图像中的特征点集通过双向KLT光流法的方式在当前帧右目图像中跟踪匹配到临时特征点集X1;将当前帧右目图像中的临时特征点集X1通过双向KLT光流法的方式在上一帧右目图像中跟踪匹配到临时特征点集X2;判断临时特征点集X2中的特征点是否落入原特征点集中的原特征点的领域范围,对于落入领域范围以外的特征点从X2中删除,同时根据X1与X2的匹配关系,从X1中删除对应于X2中已删除的那些特征点,从而获得当前帧右目图像中的特征点集
双向KLT光流法指的是:假设对图像Picture1、图像Picture2进行点特征匹配,首先从图像Picture1到图像Picture2使用KLT光流法进行点特征跟踪,将跟踪失败的点以及跟踪到图像边缘处的点剔除后,然后,将剩余的点再次反向从图像Picture2到图像Picture1使用KLT光流法进行点特征的反向跟踪,再次将跟踪失败的点以及跟踪到图像边缘处的点剔除后,将剩余的点作为图像Picture1与图像Picture2之间相匹配的点。
步骤2.2:筛选并补充点特征。
在步骤2.1中,使用光流跟踪法,当前帧的左目图像跟踪上一帧的左目图像,进行点特征跟踪,判断成功跟踪上的点特征个数,通过Shi-Tomasi角点检测方法提取当前帧左目图像中的点特征,将落入原点特征设定范围领域的点特征删除,得到新增点特征,将当前帧左目图像中的点特征补充至200个。
步骤2.3:当前帧的左、右目图像之间使用KLT光流法进行点特征跟踪匹配,进而根据例立体视觉算法计算出匹配点对应的三维坐标。其中,根据立体视觉算法计算匹配点对应的三维坐标,计算过程如下:
d=uL-uR (6)
其中,(X,Y,Z)为空间点在相机坐标系下的三维坐标,f表示相机焦距,b表示双目相机的基线,cx,cy是相机内参,uL为空间点在左目图像中x轴方向的像素坐标,uR为空间点在右目图像中x轴方向的像素坐标,vL为空间点在左目图像中y轴方向的像素坐标,d为空间点在左、右目图像中像素点的横坐标之差,即:视差。
步骤3:提取当前帧的线特征,包括如下步骤:
步骤3.1:基于LSD线特征提取算法提取线特征,基于LBD线特征描述算法计算线特征描述子;
步骤3.2:对所提取到的线特征,进行断线合并操作;
图3为线特征合并策略。如图3所示,线特征合并主要包括以下子步骤:
步骤3.2.1:线特征集合L={Li}i=1,...,n按照长度大小进行排序,并选取其中最长的线段Lmax;
步骤3.2.2:在Lmax与L的成员之间进行求取主方向差dist(angi,angj),点线距离d,端点距离l,描述子距离t,根据所设定的阈值,从集合L中找出与Lmax比较接近线段,组成候选线段组L′。
步骤3.2.3:L′中的成员与Lmax进行线段合并,并重新计算描述子,得到合并后线段组L″。
步骤3.2.4:计算L″i的线段长度s,以及L″i与Lmax之间的主方向差,并判断是否小于设定阈值。找出与Lmax产生了最小的主方向差的待合并线段L′i,并且用合并线段L″i来代替L′i和Lmax。
其中,des={desi}i=1,...,n为线特征集合L={Li}i=1,...,n所对应的描述子集合,angTH为主方向差阈值,dTH为点线距离阈值,lTH为端点距离阈值,desTH为描述子距离阈值,sTH为线段长度阈值。
步骤3.3:当前帧的左、右目图像之间进行线特征匹配。
步骤4:前后图像帧之间进行线特征的匹配。
成功匹配的两条线段l1,l2满足了以下条件:
⑴LSD检测的线段具有方向性,两匹配线段的方向向量的夹角小于φ;
⑷对应LBD特征向量的距离小于ρT,并且是其中距离最小的。
步骤5:基于前后帧之间点特征的数据关联结果,采用PNP位姿估计方法获得当前帧的初始位姿估计;
步骤6:利用前后帧之间的点特征和线特征的重投影误差所构建的代价函数,对当前帧的位姿进行优化调整;
点特征与位姿的约束关系如下:
Pc=[Px Py Pz]T=RcwPw+tcw (8)
其中,Φ表示针孔相机的投影模型。
空间点特征的重投影误差定义如下:
上式中,(xi,j,yi,j)表示第j个点特征在第i帧图像上的像素坐标。
图4为线特征的重投影误差示意图,其中,sw,k,是第i帧图像所观测到的第k条线特征在世界坐标系下的两个3D端点,是将sw,k,ew,k重投影到第i帧图像上的两个2D端点,si,k,是sw,k,ew,k在第i帧图像中对应的两个端点,hsi,k,分别是si,k,ei,k对应的齐次坐标点,ds,de分别表示两个端点各自到重投影线段的距离。
π是由两个齐次坐标点hsi,k,hei,k以及相机的光心ci所确定的平面,用li,k表示平面π的单位法向量:
空间线特征的重投影误差定义如下:
在假设观测误差为高斯分布的情况下,可以构建综合了点线特征的重投影误差的代价函数F:
由于最小化的是误差项的二范数平方和,其增长速度是误差的平方,若出现误匹配会导致***向错误的值进行优化,因此引入Huber核函数可以降低误匹配的影响。
Huber核函数的具体形式如下:
其中,error是点特征、线特征的重投影误差的总和,当error的值大于阈值δ时,代价函数的增长速度由二次函数转为一次函数,从而降低了误匹配的影响。
最小化代价函数F的过程就是在求解待估计状态量的过程。为了利用非线性优化方法优化代价函数,需要先计算出误差函数关于状态变量的雅克比矩阵。
当相机发生微小位姿变化ξ∈SE(3)时(ξ是变换矩阵Tiw所对应的李代数),记gP是Pw,j在相机坐标系下对应的坐标,gs,ge分别是sw,k,ew,k在相机坐标系下对应的坐标:
gP=errorξPw,j=RiwPw,j+tiw (15)
gs=errorξsw,k=Riwsw,k+tiw (16)
ge=errorξew,k=Riwew,k+tiw (17)
其中,
其中,
在上述过程中,[]∧表示进行反对称矩阵的转换,具体转换如下式
计算出雅克比矩阵后,采用Gauss-Newton的非线性优化方法来求解优化问题。
步骤7:判断当前帧是否为关键帧,如果是,则执行步骤8;如果不是,则设定上一个关键帧为当前帧的参考关键帧,然后,跳转至步骤12;
关键帧选择是指剔除冗余的图像帧,保留具有代表性的图像帧。当选取的关键帧数量过多时,关键帧之间的信息是冗余的,会带来很大的计算量,难以满足对于实时性的要求;当选取的关键帧数量过少时,关键帧之间的信息关联性较差,难以正确地估计相机位姿,导致定位失败。本发明所选取的关键帧同时满足了以下条件:
⑴与上一个关键帧之间至少含有20个图像帧;
⑵至少成功追踪到了50个点特征和15条线特征;
⑶与上一个关键帧之间的共视点、线特征信息少于75%。
根据上述关键帧的判断条件,如果当前帧不是关键帧,那么将设定上一个关键帧作为当前帧的参考关键帧,并计算出两帧之间的相对位姿量Relative,将其记录下来。
当前帧CurrentImage位姿为TC∈SE(3),参考关键帧ReferImage位姿为TR∈SE(3),则相对位姿量Relative为:TRel=TC(TR)-1。
步骤8:提取当前帧的点特征,包括如下步骤:
步骤8.1:采用ORB算法对当前帧进行点特征的提取和描述;
对当前帧图像建立金字塔,分别在金字塔图像上进行影像分块,获取一定大小的影像区域,利用ORB特征点提取算法在每个分块里进行点特征的提取与描述。
步骤8.2:当前帧的左、右目图像之间的点特征通过描述子匹配的方式,进行稀疏立体匹配。
左、右目图像之间,根据描述子之间的距离大小进行点特征的匹配,根据双目匹配出的特征点对,求出对应的空间点的3D坐标。
步骤9:局部关键帧之间进行点、线特征的数据关联;
此处的局部关键帧指的是当前帧与之前的10个关键帧所组成的11个关键帧。局部关键帧之间的点特征是通过描述子匹配的方式进行数据关联的,需要特别指出的是在步骤2中前后帧之间的特征点是通过KLT光流法跟踪点特征进行数据关联的。
步骤10:利用局部关键帧之间的点特征和线特征的重投影误差所构建的代价函数,对局部关键帧的位姿进行再次的优化调整;
在步骤6中,是根据前后帧之间的点、线特征的数据关联关系,构建出了代价函数,从而优化求解出当前帧的位姿;在步骤10中,是根据局部关键帧之间的点、线特征的数据关联关系,再次构建了新的代价函数,采用Gauss-Newton的非线性优化方法对局部关键帧的位姿进行了优化调整。
步骤11:对非关键帧的位姿进行调整;
对于每一个非关键帧而言,都为它们设定了相对应的参考关键帧,并且求出了两者之间的相对位姿量。在步骤10中对局部关键帧进行了位姿的调整,因而,当参考关键帧ReferImage的位姿TR被优化调整为TR′时,也会根据相对位姿量Relative对那些非关键帧的位姿也进行调整,即:TC被调整为TC′,其中,TC′=TRelTR′。通过设定参考关键帧的方式,相当于对非关键帧的位姿也进行了再次优化调整。
步骤12:输出图像帧的位姿。
循环步骤1至步骤12对MH_04_difficult图像序列进行处理,计算出每一图像帧所对应的位姿,输出位姿结果,以txt文档的形式记录下来。
接下来,根据记录在txt文档中的图像帧的位姿结果,对本算法的性能进行评价分析。
图5表示本算法在MH_04_difficult图像序列上的实验结果与真实轨迹的对比效果图,其中,实验结果表明:本算法能够完成在MH_04_difficult图像序列上的定位任务。
在定位精度分析的过程中,采用了绝对位姿误差(Absolute Pose Error,APE)作为评价指标来评估本算法的定位精度,APE是通过计算估计位姿与真实位姿的距离得到的,i时刻,真实位姿为Ti∈SE(3),估计位姿为Ti′∈SE(3),则APE为:APEi=Ti(T′i)-1。
对比了本算法与不含回环检测环节的ORB-SLAM2算法在EuRoC MH_04_diffucult图像序列上的定位精度。
图6-1是本算法的APE与不含回环检测环节的ORB-SLAM2算法的APE对比图,为了更好的对比定位精度,将图6-2中的定位精度信息,汇总如下表:
由上表可知,在测试MH_04_difficult图像序列时,本算法的最大定位误差为0.268466m,比ORB-SLAM2算法减小了0.046196m,本算法的最小定位误差为0.011937,比ORB-SLAM2算法减小了0.000562m,本算法的均方根误差为0.096488m,相较于ORB-SLAM2算法而言,提高了28.8%的定位精度。
本算法对每一图像帧的平均处理时间为42.837ms,约为23.3帧/秒,相较于相机20Hz的数据采集频率而言,本算法能够满足实时性要求。
Claims (4)
1.一种基于光流跟踪和点线特征匹配的双目视觉里程计设计方法,其特征在于步骤如下:
步骤1:使用双目相机采集图像,首先将图像转换为灰度图像,然后利用自适应直方图均衡算法对图像做增强处理;
步骤2:使用KLT光流法,对前一帧图像的点特征进行跟踪,并结合双向环形匹配策略建立前后帧之间点特征的数据关联:
步骤2.1:使用KLT光流法,当前帧的左目图像跟踪上一帧的左目图像,进行点特征的跟踪匹配;
步骤2.2:筛选并补充点特征;
步骤2.3:当前帧的左、右目图像之间使用KLT光流法进行点特征跟踪匹配,进而根据例立体视觉算法计算出匹配点对应的三维坐标;
步骤3:提取当前帧的线特征:
步骤3.1:基于LSD线特征提取算法提取线特征,基于LBD线特征描述算法计算线特征描述子;
步骤3.2:对所提取到的线特征,进行断线合并操作;
步骤3.3:当前帧的左、右目图像之间进行线特征匹配;
步骤4:前后帧之间进行线特征的匹配;
步骤5:基于前后帧之间点特征的数据关联结果,采用PNP位姿估计方法获得当前帧的初始位姿估计;
步骤6:利用前后帧之间的点特征和线特征的重投影误差所构建的代价函数,对当前帧的位姿进行优化调整;
步骤7:判断当前帧是否为关键帧,如果是,则执行步骤8;如果不是,则设定上一个关键帧为当前帧的参考关键帧,然后,跳转至步骤12;
步骤8:提取当前帧的点特征:
步骤8.1:采用ORB算法对当前帧进行点特征的提取和描述;
步骤8.2:当前帧的左、右目图像之间的点特征通过描述子匹配的方式,进行稀疏立体匹配;
步骤9:局部关键帧之间进行点、线特征的数据关联;
步骤10:利用局部关键帧之间的点特征和线特征的重投影误差所构建的代价函数,对局部关键帧的位姿进行再次的优化调整;
步骤11:对非关键帧的位姿进行调整;
步骤12:输出全部图像帧的位姿。
2.根据权利要求1所述的一种基于光流跟踪和点线特征匹配的双目视觉里程计设计方法,其特征在于:所述步骤2中的双向环形匹配策略指的是:将上一帧左目图像中的特征点集通过双向KLT光流法的方式在当前帧左目图像中跟踪匹配到特征点集将当前帧左目图像中的特征点集通过双向KLT光流法的方式在当前帧右目图像中跟踪匹配到临时特征点集X1;将当前帧右目图像中的临时特征点集X1通过双向KLT光流法的方式在上一帧右目图像中跟踪匹配到临时特征点集X2;判断临时特征点集X2中的特征点是否落入原特征点集中的原特征点的领域范围,对落入领域范围以外的特征点从X2中删除,同时根据X1与X2的匹配关系,从X1中删除对应于X2中已删除的那些特征点,从而获得当前帧右目图像中的特征点集
4.根据权利要求1所述的一种基于光流跟踪和点线特征匹配的双目视觉里程计设计方法,其特征在于:所述步骤7中,关键帧的判断原则为:同时满足下列条件:
(1)与上一个关键帧之间至少含有20个图像帧;
(2)至少成功追踪到了50个点特征和15条线特征;
(3)与上一个关键帧之间的共视点、线特征信息少于75%。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010862610.8A CN112115980A (zh) | 2020-08-25 | 2020-08-25 | 基于光流跟踪和点线特征匹配的双目视觉里程计设计方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010862610.8A CN112115980A (zh) | 2020-08-25 | 2020-08-25 | 基于光流跟踪和点线特征匹配的双目视觉里程计设计方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112115980A true CN112115980A (zh) | 2020-12-22 |
Family
ID=73805591
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010862610.8A Pending CN112115980A (zh) | 2020-08-25 | 2020-08-25 | 基于光流跟踪和点线特征匹配的双目视觉里程计设计方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112115980A (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112802196A (zh) * | 2021-02-01 | 2021-05-14 | 北京理工大学 | 基于点线特征融合的双目惯性同时定位与地图构建方法 |
CN112880687A (zh) * | 2021-01-21 | 2021-06-01 | 深圳市普渡科技有限公司 | 一种室内定位方法、装置、设备和计算机可读存储介质 |
CN112991388A (zh) * | 2021-03-11 | 2021-06-18 | 中国科学院自动化研究所 | 基于光流跟踪预测和凸几何距离的线段特征跟踪方法 |
CN113012196A (zh) * | 2021-03-05 | 2021-06-22 | 华南理工大学 | 一种基于双目相机与惯导传感器信息融合的定位方法 |
CN113376669A (zh) * | 2021-06-22 | 2021-09-10 | 东南大学 | 一种基于点线特征的单目vio-gnss融合定位算法 |
CN113465617A (zh) * | 2021-07-08 | 2021-10-01 | 上海汽车集团股份有限公司 | 一种地图构建方法、装置及电子设备 |
WO2022174603A1 (zh) * | 2021-02-21 | 2022-08-25 | 深圳市优必选科技股份有限公司 | 一种位姿预测方法、位姿预测装置及机器人 |
WO2022179047A1 (zh) * | 2021-02-26 | 2022-09-01 | 魔门塔(苏州)科技有限公司 | 一种状态信息估计方法及装置 |
CN116610129A (zh) * | 2023-07-17 | 2023-08-18 | 山东优宝特智能机器人有限公司 | 一种腿足机器人的局部路径规划方法及*** |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106909877A (zh) * | 2016-12-13 | 2017-06-30 | 浙江大学 | 一种基于点线综合特征的视觉同时建图与定位方法 |
CN107869989A (zh) * | 2017-11-06 | 2018-04-03 | 东北大学 | 一种基于视觉惯导信息融合的定位方法及*** |
CN108447097A (zh) * | 2018-03-05 | 2018-08-24 | 清华-伯克利深圳学院筹备办公室 | 深度相机标定方法、装置、电子设备及存储介质 |
CN108519102A (zh) * | 2018-03-26 | 2018-09-11 | 东南大学 | 一种基于二次投影的双目视觉里程计算方法 |
CN108537876A (zh) * | 2018-03-05 | 2018-09-14 | 清华-伯克利深圳学院筹备办公室 | 基于深度相机的三维重建方法、装置、设备及存储介质 |
US20180297207A1 (en) * | 2017-04-14 | 2018-10-18 | TwoAntz, Inc. | Visual positioning and navigation device and method thereof |
CN108986037A (zh) * | 2018-05-25 | 2018-12-11 | 重庆大学 | 基于半直接法的单目视觉里程计定位方法及定位*** |
CN109558879A (zh) * | 2017-09-22 | 2019-04-02 | 华为技术有限公司 | 一种基于点线特征的视觉slam方法和装置 |
CN109579840A (zh) * | 2018-10-25 | 2019-04-05 | 中国科学院上海微***与信息技术研究所 | 一种点线特征融合的紧耦合双目视觉惯性slam方法 |
CN109934862A (zh) * | 2019-02-22 | 2019-06-25 | 上海大学 | 一种点线特征结合的双目视觉slam方法 |
CN110132302A (zh) * | 2019-05-20 | 2019-08-16 | 中国科学院自动化研究所 | 融合imu信息的双目视觉里程计定位方法、*** |
CN110490085A (zh) * | 2019-07-24 | 2019-11-22 | 西北工业大学 | 点线特征视觉slam***的快速位姿估计算法 |
CN110570453A (zh) * | 2019-07-10 | 2019-12-13 | 哈尔滨工程大学 | 一种基于双目视觉的闭环式跟踪特征的视觉里程计方法 |
CN111445526A (zh) * | 2020-04-22 | 2020-07-24 | 清华大学 | 一种图像帧之间位姿的估计方法、估计装置和存储介质 |
-
2020
- 2020-08-25 CN CN202010862610.8A patent/CN112115980A/zh active Pending
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106909877A (zh) * | 2016-12-13 | 2017-06-30 | 浙江大学 | 一种基于点线综合特征的视觉同时建图与定位方法 |
US20180297207A1 (en) * | 2017-04-14 | 2018-10-18 | TwoAntz, Inc. | Visual positioning and navigation device and method thereof |
CN109558879A (zh) * | 2017-09-22 | 2019-04-02 | 华为技术有限公司 | 一种基于点线特征的视觉slam方法和装置 |
CN107869989A (zh) * | 2017-11-06 | 2018-04-03 | 东北大学 | 一种基于视觉惯导信息融合的定位方法及*** |
CN108447097A (zh) * | 2018-03-05 | 2018-08-24 | 清华-伯克利深圳学院筹备办公室 | 深度相机标定方法、装置、电子设备及存储介质 |
CN108537876A (zh) * | 2018-03-05 | 2018-09-14 | 清华-伯克利深圳学院筹备办公室 | 基于深度相机的三维重建方法、装置、设备及存储介质 |
CN108519102A (zh) * | 2018-03-26 | 2018-09-11 | 东南大学 | 一种基于二次投影的双目视觉里程计算方法 |
CN108986037A (zh) * | 2018-05-25 | 2018-12-11 | 重庆大学 | 基于半直接法的单目视觉里程计定位方法及定位*** |
CN109579840A (zh) * | 2018-10-25 | 2019-04-05 | 中国科学院上海微***与信息技术研究所 | 一种点线特征融合的紧耦合双目视觉惯性slam方法 |
CN109934862A (zh) * | 2019-02-22 | 2019-06-25 | 上海大学 | 一种点线特征结合的双目视觉slam方法 |
CN110132302A (zh) * | 2019-05-20 | 2019-08-16 | 中国科学院自动化研究所 | 融合imu信息的双目视觉里程计定位方法、*** |
CN110570453A (zh) * | 2019-07-10 | 2019-12-13 | 哈尔滨工程大学 | 一种基于双目视觉的闭环式跟踪特征的视觉里程计方法 |
CN110490085A (zh) * | 2019-07-24 | 2019-11-22 | 西北工业大学 | 点线特征视觉slam***的快速位姿估计算法 |
CN111445526A (zh) * | 2020-04-22 | 2020-07-24 | 清华大学 | 一种图像帧之间位姿的估计方法、估计装置和存储介质 |
Non-Patent Citations (6)
Title |
---|
QI NAIXIN ET AL: "An ORB Corner Tracking Method Based on KLT", 《INTERNATIONAL CONFERENCE ON MECHATRONICS AND INTELLIGENT ROBOTICS》 * |
SANG JUN LEE ET AL: "Elaborate Monocular Point and Line SLAM with Robust Initialization", 《2019 IEEE/CVF INTERNATIONAL CONFERENCE ON COMPUTER VISION》 * |
ZHANHAI YU ET AL: "The inter-frame feature matching and tracking of binocular vision based on the ORB-PyrLK algorithm", 《2017 36TH CHINESE CONTROL CONFERENCE》 * |
何汉武等: "《增强现实交互方法与实现》", 31 December 2018 * |
吴荻: "基于立体视觉里程计的地下铲运机定位技术研究", 《中国博士学位论文全文数据库 工程科技Ⅰ辑》 * |
杨冬冬等: "基于局部与全局优化的双目视觉里程计算法", 《计算机工程》 * |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112880687A (zh) * | 2021-01-21 | 2021-06-01 | 深圳市普渡科技有限公司 | 一种室内定位方法、装置、设备和计算机可读存储介质 |
CN112880687B (zh) * | 2021-01-21 | 2024-05-17 | 深圳市普渡科技有限公司 | 一种室内定位方法、装置、设备和计算机可读存储介质 |
CN112802196A (zh) * | 2021-02-01 | 2021-05-14 | 北京理工大学 | 基于点线特征融合的双目惯性同时定位与地图构建方法 |
CN112802196B (zh) * | 2021-02-01 | 2022-10-21 | 北京理工大学 | 基于点线特征融合的双目惯性同时定位与地图构建方法 |
WO2022174603A1 (zh) * | 2021-02-21 | 2022-08-25 | 深圳市优必选科技股份有限公司 | 一种位姿预测方法、位姿预测装置及机器人 |
WO2022179047A1 (zh) * | 2021-02-26 | 2022-09-01 | 魔门塔(苏州)科技有限公司 | 一种状态信息估计方法及装置 |
CN113012196A (zh) * | 2021-03-05 | 2021-06-22 | 华南理工大学 | 一种基于双目相机与惯导传感器信息融合的定位方法 |
CN112991388A (zh) * | 2021-03-11 | 2021-06-18 | 中国科学院自动化研究所 | 基于光流跟踪预测和凸几何距离的线段特征跟踪方法 |
CN113376669A (zh) * | 2021-06-22 | 2021-09-10 | 东南大学 | 一种基于点线特征的单目vio-gnss融合定位算法 |
CN113465617A (zh) * | 2021-07-08 | 2021-10-01 | 上海汽车集团股份有限公司 | 一种地图构建方法、装置及电子设备 |
CN113465617B (zh) * | 2021-07-08 | 2024-03-19 | 上海汽车集团股份有限公司 | 一种地图构建方法、装置及电子设备 |
CN116610129A (zh) * | 2023-07-17 | 2023-08-18 | 山东优宝特智能机器人有限公司 | 一种腿足机器人的局部路径规划方法及*** |
CN116610129B (zh) * | 2023-07-17 | 2023-09-29 | 山东优宝特智能机器人有限公司 | 一种腿足机器人的局部路径规划方法及*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112115980A (zh) | 基于光流跟踪和点线特征匹配的双目视觉里程计设计方法 | |
CN112435325B (zh) | 基于vi-slam和深度估计网络的无人机场景稠密重建方法 | |
Strasdat et al. | Double window optimisation for constant time visual SLAM | |
Kang et al. | Detection and tracking of moving objects from a moving platform in presence of strong parallax | |
CN112785702A (zh) | 一种基于2d激光雷达和双目相机紧耦合的slam方法 | |
CN110570453B (zh) | 一种基于双目视觉的闭环式跟踪特征的视觉里程计方法 | |
CN111829484B (zh) | 基于视觉的目标距离测算方法 | |
CN110599545B (zh) | 一种基于特征的构建稠密地图的*** | |
CN111340922A (zh) | 定位与地图构建的方法和电子设备 | |
CN113744315B (zh) | 一种基于双目视觉的半直接视觉里程计 | |
CN110570474B (zh) | 一种深度相机的位姿估计方法及*** | |
CN112419497A (zh) | 基于单目视觉的特征法与直接法相融合的slam方法 | |
CN116449384A (zh) | 基于固态激光雷达的雷达惯性紧耦合定位建图方法 | |
CN114708293A (zh) | 基于深度学习点线特征和imu紧耦合的机器人运动估计方法 | |
JP6922348B2 (ja) | 情報処理装置、方法、及びプログラム | |
CN111860651A (zh) | 一种基于单目视觉的移动机器人半稠密地图构建方法 | |
CN114723811A (zh) | 一种非结构化环境四足机器人立体视觉定位建图方法 | |
Zhu et al. | PairCon-SLAM: Distributed, online, and real-time RGBD-SLAM in large scenarios | |
CN112945233A (zh) | 一种全局无漂移的自主机器人同时定位与地图构建方法 | |
CN112731503A (zh) | 一种基于前端紧耦合的位姿估计方法及*** | |
WO2023130842A1 (zh) | 一种相机位姿确定方法和装置 | |
Shao | A Monocular SLAM System Based on the ORB Features | |
CN116147618A (zh) | 一种适用动态环境的实时状态感知方法及*** | |
CN113011212B (zh) | 图像识别方法、装置及车辆 | |
CN113888603A (zh) | 基于光流跟踪和特征匹配的回环检测及视觉slam方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20201222 |
|
WD01 | Invention patent application deemed withdrawn after publication |