CN111462210A - 一种基于极线约束的单目线特征地图构建方法 - Google Patents
一种基于极线约束的单目线特征地图构建方法 Download PDFInfo
- Publication number
- CN111462210A CN111462210A CN202010247787.7A CN202010247787A CN111462210A CN 111462210 A CN111462210 A CN 111462210A CN 202010247787 A CN202010247787 A CN 202010247787A CN 111462210 A CN111462210 A CN 111462210A
- Authority
- CN
- China
- Prior art keywords
- straight line
- line
- point
- matching
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/579—Depth or shape recovery from multiple images from motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于极线约束的单目线特征地图构建方法,包括以下步骤:1.对相邻两帧图像Ki,Kj,使用光流跟踪法跟踪特征点,寻找参考角点和跟踪角点的本质矩阵;2.提取每一帧图像的LSD线特征,计算LBD描述子;3.计算参考帧每一条直线li的中点极线,并计算与其对应的匹配直线的夹角θ大小;4.从li的点集Pi,k选取直线上的点,计算点对应的极线与匹配直线的交点,交点集合为Ii,k;5.确定点集Pj,k;6.对点集进行归一化和三角化,确定空间点点集Pk,拟合直线Lk.S7.直线重投影到第i帧和第j帧,构建重投影误差,更新相机位姿和空间直线;8.确定端点空间直线起点和终点;9.更新直线。
Description
技术领域
本发明涉及机器人定位与建图领域,更具体地,涉及一种基于极线约束的单目线特征地图构建方法。
背景技术
SLAM(视觉定位与建图)算法,在机器人的定位与导航,三维重构,自动驾驶等方面有着广泛的应用前景。近几年一些学者通过深度学习训练等方法作深度估计(Cao,Yuanzhouhan,Zifeng Wu,and Chunhua Shen."Estimating depth from monocularimages as classification using deep fully convolutional residual networks."IEEE Transactions on Circuits and Systems for Video Technology[J].2017.),研究基于单目相机的SLAM算法,一些学者研究用神经网络替换掉传统SLAM算法的几个模块,如视觉里程计(Li R,Wang S,Long Z,et al.UnDeepVO:Monocular Visual Odometrythrough Unsupervised Deep Learning[J].2017),重定位(Wu J,Ma L,Hu X.Delvingdeeper into convolutional neural networks for camera relocalization[C]//2017IEEE International Conference on Robotics and Automation(ICRA).IEEE,2017.),回环检测等。部分学者研究起了端到端的SLAM算法,但现阶段无论从精度和实时性上来说,都无法与传统的先进的SLAM相媲美。传统的SLAM算法又以非线性优化为主流方法,相比于基于EKF的方法精度更高,可以适用于更大的场景,SLAM算法进一步可以细分为基于特征点法的SLAM算法和基于光流的SLAM算法,前者对环境纹理要求较高,且只能构建稀疏点云地图,不能有效地表达地图环境信息;后者对环境纹理要求略低,可以构建稠密点云地图,但计算代价太大。
如果要在低纹理环境下,以较低的计算代价,尽可能多地表达环境信息,必须对现有的算法进行改进。有学者提出了基于线特征的双目SLAM算法,但对单目相机并不适用,且双目相机对远距离的特征观察容易退化成单目,也有学者提出基于点线特征的单目SLAM算法,但依然没法解决直线特征易退化,且端点不好确定的问题。本发明利用极线约束,提出了一种新的线特征重构方式,在特征线与极线夹角较大的情况下,直接进行点三角化;如果特征线与极线接***行,则对两条直线进行高斯建模,通过快匹配和最小化光度误差法确定特征点,再进行三角化,然后进行直线拟合。对于端点的确定,本发明提出了一种平面截断法,同样适用于线特征退化问题。
发明内容
本发明的目的在于克服现有的技术和算法的缺点与不足,提供了基于极线约束的单目线特征地图构建方法。利用极限约束和匹配特征线,采用像素块匹配和最小化光度误差等方法,把线特征重构转换为特征点重构问题,然后拟合三维空间直线。并提出了一种平面截断法确定空间直线的端点。
本发明至少通过如下技术方案之一实现。
一种基于极线约束的单目线特征地图构建方法,包括以下步骤:
S1.对相邻两帧图像Ki、Kj使用光流跟踪法跟踪特征点;如果是第一帧,则提取数目为N的角点,在之后的跟踪过程中,如果跟踪到的数目小于N,则提取新的角点进行补充,并寻找参考角点和跟踪角点的本质矩阵E,分解本质矩阵E得到相机的初始位姿R和t;
S2.在光流跟踪的同时,提取每一帧图像的LSD(Line Segment Detection)线特征,计算LBD(Line Band Descriptor)描述子,并计算LBD描述子的距离作为线段匹配的依据,小于给定阈值S的匹配认为是成功的直线匹配,保存并剔除匹配不成功的直线;
S3.计算参考帧每一条直线li的中点极线,并计算中点极线与其对应的匹配直线的夹角θ大小;
S4.对参考帧上的每一条直线li,从li的点集Pi,k上随机选取直线上的点,计算点对应的极线与匹配直线的交点,交点集合为Ii,k;
S5.如果θ小于或者等于阈值分别对极线和匹配直线建模成高斯分布,则匹配点必定在融合的高斯分布上,在新的高斯分布上寻找窗口为w*w为的像素块,匹配该像素块和参考帧像素块的灰度误差,确定匹配特征点集Pj,k,如果θ大于阈值则直接以交点作为匹配特征点,确定点集Pj,k;
S6.对点集Pi,k和Pj,k进行归一化,然后三角化,确定空间点点集Pk,拟合直线Lk.
S7.直线重投影到第i帧和第j帧,构建重投影误差,迭代优化最小化重投影误差,更新相机位姿和空间直线,如果存在若干个共视帧,则进行若干帧约束优化;
S8.使用平面截取法确定端点空间直线起点S和终点E;
S9.如果新重构的直线已经存在于线特征地图中,则比较新的端点是否使得线段长度变大,若是,则更新直线端点,否则,不更新直线端点;若直线不存在于地图中,则直接加入地图。
进一步地,步骤S1所述的光流跟踪法为LK光流法,角点特征提取的金字塔层数为5层,特征点的类型为harris角点,提取数目N=200,本质矩阵E的求取依据为特征点之间的对极几何约束,约束方程为:
因为E=t^R,由奇异值分解得到R和t,式中,xi和xj分别表示第i帧和第j帧上的特征点,R和t分别为从第i帧到第j帧坐标变换的旋转矩阵和平移向量。
进一步地,步骤S2所述的LSD线特征提取仅考虑第0层和第一层,LBD描述子距离的阈值为30。
进一步地,步骤S3计算中点极线的方程为:
axi,k+byi,k+c=0
式中,xi,k和yi,k分别表示第i帧图像的第k条直线中点极线上的像素横纵坐标;
a、b、c均为直线系数,θj,k为第j帧图像的第k条直线与x轴正方向的夹角,则:
进一步地,步骤S4所述交点的解法为LU分解法,解得的交点记为pk。
进一步地,步骤S5所述的匹配点p′i,k在极线上服从高斯分布:
极线坐标系的构建如下:以步骤S4中所述的交点坐标p0=[x0 y0]T为原点,以极线作为X′轴,X′轴正方向为极线与图像坐标系X轴正方向夹角为锐角的方向,Y′轴垂直X′轴,Σ′1表示匹配点p′i,k坐标的协方差矩阵,~表示数学中的服从,N是高斯分布的符号;
设第i帧图像的第k条直线上的一点的极线与图像坐标系x轴正方向的夹角为θi,k,i表示图像帧的序列号,即第i帧,把点p′i,k变换到图像坐标系下:
pj,k是图像坐标系下匹配点的表示形式,Ai,k为极线坐标系到图像坐标系的旋转矩阵;
服从高斯分布的随机变量线性变换后仍服从高斯分布,从而:
式中,Σi,k表示图像坐标系下,匹配点的协方差矩阵,pk是平移向量;
步骤S5所述的匹配点p′j,k在匹配直线上服从高斯分布:
式中,匹配直线坐标系的构建如下:以步骤S4中所述的交点坐标p0=[x0 y0]T为原点,以匹配直线作为X″轴,X″轴正方向为匹配直线与图像坐标系X轴正方向夹角为锐角的方向,Y″轴垂直X″轴,Σ′2表示匹配点p′j,k坐标的协方差矩阵;
设第j帧图像的第k条直线上的一点的极线与x轴正方向的夹角为θj,k,把点p′j,k点变换到图像坐标系下:
服从高斯分布的随机变量线性变换后仍服从高斯分布,从而,:
步骤S5所述融合的高斯分布为:
式中,μk表示融合后高斯分布的均值,Σk为融合后的协方差矩阵。
进一步地,步骤S6中三角化的解法为奇异值分解法,直线拟合算法为RANSAC算法即一致性检验算法。
进一步地,步骤S7中所述的重投影误差e为参考直线L的两端点到投影直线上的距离d1、d2,再加上匹配直线两端点到投影直线上的距离d3、d4即:
其中,空间直线方程x采用普吕克坐标表示,直线方程li(ai,bi,ci),ai、bi、ci均为直线参数,qi是直线端点,用齐次坐标表示,最小化重投影误差的解法为BA算法(BundleAdjustment),迭代使用LM算法(Levenberg Marquardt算法)。
进一步地,步骤S8所述的截平面法为过参考帧直线li起点作垂直于直线li的直线,与图像平面边界相较于s,垂线和相机光心坐标构成平面π与直线相交于S,S即为起点;过参考帧直线li终点作垂直于直线li的直线,与图像平面边界相较于e,再次利用截平面法确定终点E;
具体的,设选取的起点归一化后坐标s(us,vs,1),垂足归一化为d(ud,vd,1),平面π齐次坐标表示为:
π(vs-vd,ud-us,usvd-udvs,1)
联立直线方程Lk即可确定起点S,同样的方法确定终点。
与现有技术相比,本发明技术方案的有益效果是:
1.本发明把特征直线的三角化转化成特征点的三角化,提高了直线三维重构的精度,解决了传统的直线重构存在的退化问题。
2.本发明提出平面截断法确定重构直线的端点,从而表达了更加丰富且具体的环境结构信息。
3.本发明提出的线特征地图构建算法考虑到共视关键帧之间的约束,并及时地更新直线端点。
附图说明
图1为本实施例一种基于极线约束的单目线特征地图构建方法的总流程图;
图2a为本实施例高斯分布图;
图2b为本实施例融合前高斯分布示例图;
图2c为本实施例融合后高斯分布示例图;
图3为本实施例极线搜索与像素块匹配算法示意图;
图4为本实施例直线的重投影误差;
图5为本实施例平面截断法示意图。
具体实施方式
附图仅用于示例性说明,不能理解为对本专利的限制;为了更好说明本实施例,附图某些部件会有省略、放大或缩小,并不代表实际产品的尺寸;对于本领域技术人员来说,附图中某些公知结构及其说明可能省略是可以理解的。下面结合附图和实施例对本发明的技术方案做进一步的说明。
如图1所示,一种基于极线约束的单目线特征地图构建方法,包括以下步骤:
S1.对相邻两帧图像Ki,Kj,使用光流法跟踪harris特征点。如果是第一帧,则提取数目为N=200的角点,在之后的跟踪过程中,如果跟踪到的数目小于N,则提取新的角点进行补充,并寻找参考角点和跟踪角点的本质矩阵E,E矩阵分满足对极约束:
对本质矩阵E进行奇异值分解,并根据深度值为正这一信息对符合条件的解进行筛选,解得到相机的初始位姿R和t;xi和xj分别表示第i帧和第j帧上的特征点,R和t分别为从第i帧到第j帧坐标变换的旋转矩阵和平移向量。
S2.在光流跟踪的同时,提取每一帧图像的LSD(Line Segment Detection)线特征,计算LBD(Line Band Descriptor)描述子,并把LBD描述子的距离作为线段匹配的依据(LBD算法是一种经典的直线描述子计算方法,于2013年提出,具体可见An efficient androbust line segment matching approach based on LBD descriptor and pairwisegeometric consistency),小于给定阈值S=30的匹配认为是成功的直线匹配,保存并剔除匹配不成功的直线。LSD线特征提取仅考虑金字塔的第0层和第一层。
S3.计算参考帧每一条直线li的中点的极线,并计算它与其对应的匹配直线的夹角θ大小。设第i帧图像的第k条直线中点极线方程为:
axi,k+byi,k+c=0
式中,xi,k和yi,k分别表示第i帧图像的第k条直线中点极线上的像素横纵坐标。
a,b,c为直线系数,θj,k为第j帧图像的第k条直线与x轴正方向的夹角,则:
S4.对参考帧上的每一条直线li,从li的点集Pi,k上随机选取直线上的点,计算点对应的极线与匹配直线的交点,交点集合为Ii,k;随机点坐标[x y]T的选取方式为:
式中,x0和x1分别表示直线的两个端点,其中,Rand(0,1)为选取值为0~1之间的随机数,f为直线的方程。计算这些点对应的极线与匹配直线的交点,交点集合为Ii,k。交点的解法为LU分解法。
S5.如果θ小于或者等于阈值如图2a所示,分别对极线和匹配直线建模成高斯分布(其中,极线),则匹配点必定在融合的高斯分布上,如图2b和图2c所示。在新的高斯分布上寻找窗口为w*w为的像素块,匹配该像素块和参考帧像素块的灰度误差,确定匹配特征点集Pj,k。如果θ大于阈值则直接以交点作为匹配特征点,确定点集Pj,k;
匹配点在极线上服从高斯分布为:
式中,极线坐标系的构建如下,以步骤S4中所述的交点坐标p0=[x0 y0]T为原点,以极线作为X′轴,X′轴正方向为极线与图像坐标系X″轴正方向夹角为锐角的方向,Y′轴垂直X′轴,Y″轴垂直X″轴,Σ′1表示匹配点p′i,k坐标的协方差矩阵。
设第i帧图像的第k条直线上的一点的极线与图像坐标系x轴正方向的夹角为θi,k,i表示图像帧的序列号即第i帧,把点p′i,k变换到图像坐标系下:
线性变换到图像坐标系后仍然服从高斯分布,形式为:
式中,Σi,k表示图像坐标系下匹配点的协方差矩阵。
其中Aj,k是变换的旋转矩阵,pk是平移向量,也即交点坐标。
1)匹配点在匹配直线上服从高斯分布为:
式中,匹配直线坐标系的构建如下,以步骤S4中所述的交点坐标p0=[x0 y0]T为原点,以匹配直线作为X″轴,X″轴正方向为匹配直线与图像坐标系X轴正方向夹角为锐角的方向,Y″轴垂直X″轴,Σ′2表示匹配点p′j,k坐标的协方差矩阵。
设第j帧图像的第k条直线上的一点的极线与x轴正方向的夹角为θj,k,把p′j,k点变换到图像坐标系下:
线性变换到图像坐标系后仍然服从高斯分布,形式为:
其中Aj,k是变换的旋转矩阵,pk是平移向量,也即交点坐标。
2)步骤S5所述的融合高斯分布为:
pj,k是图像坐标系下匹配点的表示形式,Aj,k为匹配直线坐标系到图像坐标系的旋转矩阵。Σj,k表示图像坐标系下,匹配点的协方差矩阵。
4)如图3所示,c1,c2是相机光心,步骤S5所述的窗口大小为w=4,寻求pj,k使得光度误差最小:
式中,I(pi,k)表示参考帧上以pi,k为中心,w*w大小的小窗像素块的灰度值,I(pj,k)表示匹配帧上以pj,k为中心,w*w大小的小窗像素块的灰度值。
S6.对点集Pi,k,Pj,k进行归一化,三角化,确定空间点点集Pk,拟合直线Lk。直线拟合算法为RANSAC算法。
S7.直线重投影到第i帧和第j帧,构建重投影误差,迭代优化最小化重投影误差,更新相机位姿和空间直线,如果存在多个共视帧,则进行多帧约束优化;
重投影误差e为参考直线L的两端点到投影直线上的距离d1、d2,加上匹配直线两端点到投影直线上的距离d3、d4,即:
其中,空间直线方程采用普吕克坐标表示,直线方程li(ai,bi,ci),qi是直线端点,用齐次坐标表示。最小化重投影误差的解法为BA算法(Bundle Adjustment),迭代方法使用LM方法(Levenberg Marquardt算法)。空间直线重投影方程此处不再赘述。最小化重投影误差的解法为BA算法。
1)迭代方法使用LM方法。
S8.使用平面截取法确定端点空间直线起点S和终点E;如图5所示,c1,c2是相机光心,Tc1c2是两相机位姿变换,过参考帧直线li起点作垂直于直线li的直线ls,与图像平面边界相较于s,垂线和相机光心坐标构成平面π与直线相交于S,S即为起点。过参考帧直线li终点作垂直于直线li的直线,与图像平面边界相较于e,同样的方法确定终点E。
具体的设选取的起点归一化后坐标s(us,vs,1),垂足归一化为d(ud,vd,1),平面π齐次坐标表示为:
π(vs-vd,ud-us,usvd-udvs,1)
联立直线方程Lk即可确定起点S,同样的方法确定终点E。
S9.如果新重构的直线已经存在于线特征地图中,则比较新的端点是否使得线段长度变大,若是,则更新直线端点,否则,不更新直线端点。若直线不存在于地图中,则直接加入地图。
附图中描述位置关系的用语仅用于示例性说明,不能理解为对本专利的限制;
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。
Claims (10)
1.一种基于极线约束的单目线特征地图构建方法,其特征在于,包括以下步骤:
S1.对相邻两帧图像Ki、Kj使用光流跟踪法跟踪特征点;如果是第一帧,则提取数目为N的角点,在之后的跟踪过程中,如果跟踪到的数目小于N,则提取新的角点进行补充,并寻找参考角点和跟踪角点的本质矩阵E,分解本质矩阵E得到相机的初始位姿R和t;
S2.在光流跟踪的同时,提取每一帧图像的LSD(Line Segment Detection)线特征,计算LBD(Line Band Descriptor)描述子,并计算LBD描述子的距离作为线段匹配的依据,小于给定阈值S的匹配认为是成功的直线匹配,保存并剔除匹配不成功的直线;
S3.计算参考帧每一条直线li的中点极线,并计算中点极线与其对应的匹配直线的夹角θ大小;
S4.对参考帧上的每一条直线li,从li的点集Pi,k上随机选取直线上的点,计算点对应的极线与匹配直线的交点,交点集合为Ii,k;
S5.如果θ小于或者等于阈值分别对极线和匹配直线建模成高斯分布,则匹配点必定在融合的高斯分布上,在新的高斯分布上寻找窗口为w*w为的像素块,匹配该像素块和参考帧像素块的灰度误差,确定匹配特征点集Pj,k,如果θ大于阈值则直接以交点作为匹配特征点,确定点集Pj,k;
S6.对点集Pi,k和Pj,k进行归一化,然后三角化,确定空间点点集Pk,拟合直线Lk.
S7.直线重投影到第i帧和第j帧,构建重投影误差,迭代优化最小化重投影误差,更新相机位姿和空间直线,如果存在若干个共视帧,则进行若干帧约束优化;
S8.使用平面截取法确定端点空间直线起点S和终点E;
S9.如果新重构的直线已经存在于线特征地图中,则比较新的端点是否使得线段长度变大,若是,则更新直线端点,否则,不更新直线端点;若直线不存在于地图中,则直接加入地图。
3.根据权利要求1所述的基于极线约束的单目线特征地图构建方法,其特征在于,步骤S2所述的LSD线特征提取仅考虑第0层和第一层,LBD描述子距离的阈值为30。
5.根据权利要求1所述的基于极线约束的单目线特征地图构建方法,其特征在于,步骤S4所述交点的解法为LU分解法,解得的交点记为pk。
6.据权利要求1所述的基于极线约束的单目线特征地图构建方法,其特征在于,步骤S5所述的匹配点p′i,k在极线上服从高斯分布:
极线坐标系的构建如下:以步骤S4中所述的交点坐标p0=[x0 y0]T为原点,以极线作为X′轴,X′轴正方向为极线与图像坐标系X轴正方向夹角为锐角的方向,Y′轴垂直X′轴,Σ1′表示匹配点p′i,k坐标的协方差矩阵,~表示数学中的服从,N是高斯分布的符号;
设第i帧图像的第k条直线上的一点的极线与图像坐标系x轴正方向的夹角为θi,k,i表示图像帧的序列号,即第i帧,把点p′i,k变换到图像坐标系下:
pj,k是图像坐标系下匹配点的表示形式,Ai,k为极线坐标系到图像坐标系的旋转矩阵;
服从高斯分布的随机变量线性变换后仍服从高斯分布,从而:
式中,Σi,k表示图像坐标系下,匹配点的协方差矩阵,pk是平移向量;
步骤S5所述的匹配点p′j,k在匹配直线上服从高斯分布:
式中,匹配直线坐标系的构建如下:以步骤S4中所述的交点坐标p0=[x0 y0]T为原点,以匹配直线作为X″轴,X″轴正方向为匹配直线与图像坐标系X轴正方向夹角为锐角的方向,Y″轴垂直X″轴,Σ2′表示匹配点p′j,k坐标的协方差矩阵;
设第j帧图像的第k条直线上的一点的极线与x轴正方向的夹角为θj,k,把点p′j,k点变换到图像坐标系下:
服从高斯分布的随机变量线性变换后仍服从高斯分布,从而,:
步骤S5所述融合的高斯分布为:
式中,μk表示融合后高斯分布的均值,Σk为融合后的协方差矩阵。
8.据权利要求1所述的基于极线约束的单目线特征地图构建方法,其特征在于,步骤S6中三角化的解法为奇异值分解法,直线拟合算法为RANSAC算法即一致性检验算法。
10.据权利要求1所述的基于极线约束的单目线特征地图构建方法,其特征在于,步骤S8所述的截平面法为过参考帧直线li起点作垂直于直线li的直线,与图像平面边界相较于s,垂线和相机光心坐标构成平面π与直线相交于S,S即为起点;过参考帧直线li终点作垂直于直线li的直线,与图像平面边界相较于e,再次利用截平面法确定终点E;
具体的,设选取的起点归一化后坐标s(us,vs,1),垂足归一化为d(ud,vd,1),平面π齐次坐标表示为:
π(vs-vd,ud-us,usvd-udvs,1)
联立直线方程Lk即可确定起点S,同样的方法确定终点E。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010247787.7A CN111462210B (zh) | 2020-03-31 | 2020-03-31 | 一种基于极线约束的单目线特征地图构建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010247787.7A CN111462210B (zh) | 2020-03-31 | 2020-03-31 | 一种基于极线约束的单目线特征地图构建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111462210A true CN111462210A (zh) | 2020-07-28 |
CN111462210B CN111462210B (zh) | 2023-06-16 |
Family
ID=71680984
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010247787.7A Active CN111462210B (zh) | 2020-03-31 | 2020-03-31 | 一种基于极线约束的单目线特征地图构建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111462210B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112132895A (zh) * | 2020-09-10 | 2020-12-25 | 湖北亿咖通科技有限公司 | 基于图像的位置确定方法、电子设备及存储介质 |
CN112529936A (zh) * | 2020-11-17 | 2021-03-19 | 中山大学 | 一种用于室外无人机的单目稀疏光流算法 |
CN112767480A (zh) * | 2021-01-19 | 2021-05-07 | 中国科学技术大学 | 一种基于深度学习的单目视觉slam定位方法 |
CN112991388A (zh) * | 2021-03-11 | 2021-06-18 | 中国科学院自动化研究所 | 基于光流跟踪预测和凸几何距离的线段特征跟踪方法 |
CN113298796A (zh) * | 2021-06-10 | 2021-08-24 | 西北工业大学 | 一种基于最大后验imu的线特征slam初始化方法 |
CN113392909A (zh) * | 2021-06-17 | 2021-09-14 | 深圳市睿联技术股份有限公司 | 数据处理方法、数据处理装置、终端及可读存储介质 |
CN113393524A (zh) * | 2021-06-18 | 2021-09-14 | 常州大学 | 一种结合深度学习和轮廓点云重建的目标位姿估计方法 |
CN116105720A (zh) * | 2023-04-10 | 2023-05-12 | 中国人民解放军国防科技大学 | 低照度场景机器人主动视觉slam方法、装置和设备 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108682027A (zh) * | 2018-05-11 | 2018-10-19 | 北京华捷艾米科技有限公司 | 基于点、线特征融合的vSLAM实现方法及*** |
US20190234746A1 (en) * | 2016-09-14 | 2019-08-01 | Zhejiang University | Method for simultaneous localization and mapping |
-
2020
- 2020-03-31 CN CN202010247787.7A patent/CN111462210B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190234746A1 (en) * | 2016-09-14 | 2019-08-01 | Zhejiang University | Method for simultaneous localization and mapping |
CN108682027A (zh) * | 2018-05-11 | 2018-10-19 | 北京华捷艾米科技有限公司 | 基于点、线特征融合的vSLAM实现方法及*** |
Non-Patent Citations (1)
Title |
---|
WEI WU ET AL.: "Semantic Scene Segmentation for Indoor Robot Navigation via Deep Learning", 《ICRCA "18: PROCEEDINGS OF THE 3RD INTERNATIONAL CONFERENCE ON ROBOTICS, CONTROL AND AUTOMATION》 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112132895A (zh) * | 2020-09-10 | 2020-12-25 | 湖北亿咖通科技有限公司 | 基于图像的位置确定方法、电子设备及存储介质 |
CN112529936A (zh) * | 2020-11-17 | 2021-03-19 | 中山大学 | 一种用于室外无人机的单目稀疏光流算法 |
CN112529936B (zh) * | 2020-11-17 | 2023-09-05 | 中山大学 | 一种用于室外无人机的单目稀疏光流算法 |
CN112767480A (zh) * | 2021-01-19 | 2021-05-07 | 中国科学技术大学 | 一种基于深度学习的单目视觉slam定位方法 |
CN112991388A (zh) * | 2021-03-11 | 2021-06-18 | 中国科学院自动化研究所 | 基于光流跟踪预测和凸几何距离的线段特征跟踪方法 |
CN113298796A (zh) * | 2021-06-10 | 2021-08-24 | 西北工业大学 | 一种基于最大后验imu的线特征slam初始化方法 |
CN113298796B (zh) * | 2021-06-10 | 2024-04-19 | 西北工业大学 | 一种基于最大后验imu的线特征slam初始化方法 |
CN113392909A (zh) * | 2021-06-17 | 2021-09-14 | 深圳市睿联技术股份有限公司 | 数据处理方法、数据处理装置、终端及可读存储介质 |
CN113393524A (zh) * | 2021-06-18 | 2021-09-14 | 常州大学 | 一种结合深度学习和轮廓点云重建的目标位姿估计方法 |
CN113393524B (zh) * | 2021-06-18 | 2023-09-26 | 常州大学 | 一种结合深度学习和轮廓点云重建的目标位姿估计方法 |
CN116105720A (zh) * | 2023-04-10 | 2023-05-12 | 中国人民解放军国防科技大学 | 低照度场景机器人主动视觉slam方法、装置和设备 |
Also Published As
Publication number | Publication date |
---|---|
CN111462210B (zh) | 2023-06-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111462210A (zh) | 一种基于极线约束的单目线特征地图构建方法 | |
CN112258618B (zh) | 基于先验激光点云与深度图融合的语义建图与定位方法 | |
WO2023184968A1 (zh) | 一种基于点线面特征的结构化场景视觉slam方法 | |
CN109886159B (zh) | 一种非限定条件下的人脸检测方法 | |
CN111797688A (zh) | 一种基于光流和语义分割的视觉slam方法 | |
CN112115980A (zh) | 基于光流跟踪和点线特征匹配的双目视觉里程计设计方法 | |
CN111860651B (zh) | 一种基于单目视觉的移动机器人半稠密地图构建方法 | |
CN111340939A (zh) | 一种室内三维语义地图构建方法 | |
CN113744315B (zh) | 一种基于双目视觉的半直接视觉里程计 | |
CN111753739B (zh) | 物体检测方法、装置、设备以及存储介质 | |
CN112085849A (zh) | 基于航拍视频流的实时迭代三维建模方法、***及可读介质 | |
CN114708293A (zh) | 基于深度学习点线特征和imu紧耦合的机器人运动估计方法 | |
CN114332394A (zh) | 一种基于语义信息辅助的动态场景三维重建方法 | |
CN112862839A (zh) | 一种地图要素语义分割鲁棒性增强方法和*** | |
CN117218210A (zh) | 一种基于仿生眼的双目主动视觉半稠密深度估计方法 | |
CN116879870A (zh) | 一种适用于低线束3d激光雷达的动态障碍物去除方法 | |
Yu et al. | Accurate and robust visual localization system in large-scale appearance-changing environments | |
CN113012191B (zh) | 一种基于点云多视角投影图的激光里程计算法 | |
CN112801021B (zh) | 基于多级语义信息的车道线检测方法及*** | |
CN113888603A (zh) | 基于光流跟踪和特征匹配的回环检测及视觉slam方法 | |
CN113420590A (zh) | 弱纹理环境下的机器人定位方法、装置、设备及介质 | |
Bhutani et al. | Unsupervised Depth and Confidence Prediction from Monocular Images using Bayesian Inference | |
CN114648639B (zh) | 一种目标车辆的检测方法、***及装置 | |
CN110570473A (zh) | 一种基于点线融合的权重自适应位姿估计方法 | |
CN113284232B (zh) | 一种基于四叉树的光流跟踪方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |