CN107248171A - 一种基于三角剖分的单目视觉里程计尺度恢复方法 - Google Patents
一种基于三角剖分的单目视觉里程计尺度恢复方法 Download PDFInfo
- Publication number
- CN107248171A CN107248171A CN201710346708.6A CN201710346708A CN107248171A CN 107248171 A CN107248171 A CN 107248171A CN 201710346708 A CN201710346708 A CN 201710346708A CN 107248171 A CN107248171 A CN 107248171A
- Authority
- CN
- China
- Prior art keywords
- triangle
- mrow
- yardstick
- road surface
- monocular vision
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于三角剖分的单目视觉里程计尺度恢复方法,包括以下步骤:1)获取前后两帧已经匹配上的第i个特征点和以及对应的3D空间坐标;2)计算出路面倾角的估计值θ*;3)将已经匹配上的特征点在后一帧图像中的位置(u1,v1)进行三角剖分;4)根据每个特征点的3D空间坐标,计算每个三角形所在的空间平面的法向向量和高度;5)计算三角形所在的空间平面的俯仰角θj,筛选三角形;6)路面的高度h*;7)将相机真实高度h与路面的高度h*作商得到单目视觉里程计的尺度参数s,恢复视觉里程计绝对尺度。与现有技术相比,本发明具有速度快、准确率高、无需做图像分割和路面识别、鲁棒性强等优点。
Description
技术领域
本发明涉及一种尺度恢复方法,尤其是涉及一种基于三角剖分的单目视觉里程计尺度恢复方法。
背景技术
目前常用计算单目视觉里程计尺度的方法主要分为两种,一种需要融合其他传感器如激光雷达或者惯性传感器,另一种是考虑环境中的已知尺度。前一种方法可以更为精准的回复单目尺度,但增加了使用成本,同时使用前需要精准的标定;后一种方法常用的环境中已知尺度一般为相机到路面的高度,然后通过计算路面的几何模型来恢复。常用的计算路面几何模型的方法主要分为两种,一种是通过特征点的3D位置,用RANSAC的方法提出噪声或依赖于路面识别提出噪声,另外一种是通过在已知路面区域的前提下通过最小化单应性误差来计算路面几何模型;前一种方法往往由于路面上特征点较少无法准确的计算,后一种方法由于算法计算复杂度较高,需要大量的计算时间或计算资源。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种速度快、准确率高、无需做图像分割和路面识别、鲁棒性强的基于三角剖分的单目视觉里程计尺度恢复方法。
本发明的目的可以通过以下技术方案来实现:
一种基于三角剖分的单目视觉里程计尺度恢复方法,包括以下步骤:
1)根据单目视觉里程计获取前后两帧已经匹配上的第i个特征点和以及对应的3D空间坐标;
2)根据单目视觉里程计得到的旋转矩阵R和不具备真实尺度的位移向量t*计算出路面倾角的估计值θ*;
3)将已经匹配上的特征点在后一帧图像中的位置(u1,v1)进行三角剖分,得到符合条件的三角形组Tri;
4)根据每个特征点的3D空间坐标,计算每个三角形所在的空间平面的法向向量和高度;
5)根据每个三角形所在的空间平面的法向向量计算三角形所在的空间平面的俯仰角θj,筛选三角形;
6)根据筛选出的三角形的顶点采用RANSAC方法得到路面的高度h*;
7)将相机真实高度h与路面的高度h*作商得到单目视觉里程计的尺度参数s,将不具备真实尺度的位移向量t*与尺度参数s相乘,即可恢复视觉里程计绝对尺度。
所述的步骤4)中,第j个三角形的法向向量nj和高度hj的表达式为:
nj T*Xji+hj=0 j=1,2,...,m i=1,2,3
其中,Xji为第j个三角形的第i个顶点,nj为第j个三角形的法向向量,hj为第j个三角形的高度。
所述的路面倾角的估计值θ*的计算式为:
其中,t*为不具备真实尺度的位移向量,t*[2]为不具备真实尺度的位移向量t*的第二个值,为t*的模长。
所述的三角形所在的空间平面的俯仰角θj的计算式为:
其中,nj[2]为三角形法向向量nj的第二个值,为nj的模长。
所述的步骤5)中,筛选出三角形所在的空间平面的俯仰角θj与路面倾角的估计值θ*的差值小于5度时对应的三角形。
与现有技术相比,本发明具有以下优点:
一、无需做图像分割和路面识别,仅根据视觉里程计计算出特征点3D坐标计算路面几何模型,鲁棒性强;
二、使用三角剖分方法判断特征点是否属于路面,速度快而且准确率高。
附图说明
图1为本发明的方法原理图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。
实施例
如图1所示,本发明的计算步骤如下:
1)根据单目视觉里程计获取前后两帧已经匹配上的第i个特征点和以及对应的3D空间坐标;
2)根据单目视觉里程计得到的旋转矩阵R和位移向量t*计算出路面倾角的估计值θ*(计算公式见下文);
3)将已经匹配上的特征点在后一帧图像中的位置(u1,v1)进行三角剖分,得到符合条件的三角形组Tri;
4)根据每个特征点的3D空间坐标,计算每个三角形所在的空间平面的法向向量和高度;
5)根据路面倾角的估计值θ*以及由每个三角形由法向向量计算三角形属于路面的倾角筛选三角形,保留误差在5度以内的三角形;
6)使用步骤5)中符合条件的三角形的顶点使用RANSAC方法得到路面估计模型和符合路面模型的特征点
7)根据选出三角形对应的特征点获取路面的几何模型,并将相机真实高度与计算出来的高度相除得到单目视觉里程计的尺度参数,将此位移向量t*乘此此参数,恢复即可恢复视觉里程计绝对尺度。
本方法详细说明如下:
首先利用现有技术(ORBSLAM,LIBVISO等)提取并匹配相机两帧图像中特征点和其中i=1,2,...,n,为匹配上的特征点的个数,然后计算出相机在前后两帧之间的位姿变化R,t*,其中R为旋转矩阵,t*为位移向量,由于单目视觉损失了深度信息,此处计算出来的位移不具备真实的尺度,文中所有相对尺度的变量均有上角标*。继而通过三角测量得到所有成功匹配的特征点的3D坐标
利用三角剖分技术将后一帧图像中的特征点分成符合规则的三角形组。
对于每一个三角形,根据之前求出的每个点的3D坐标,根据如下公式求出每个三角形所在平面的法向向量
nj T*Xji+hj=0 j=1,2,...,m i=1,2,3
其中m为三角形组中三角形的个数,j为三角形序号,i为三角形内三个顶点的序号nj为第j个三角形的法向,hj为第j个三角形的高度,对于每一个三角形,
忽略法向的模长,
求得nj之后,便可求出这个平面在相机坐标系中的俯仰角
可以根据单目VO计算得到的相机运动的旋转矩阵R和位移向量t估计出地面相对于相机的俯仰角。当汽车行驶在平路上时,VO所计算出来的位移的俯仰角本质上就是路的俯仰角,如下图所示。此处的平路指汽车不发生俯仰方向旋转的路,包括符合这条件的坡路。计算方法如下:
首先根据旋转矩阵R,计算汽车是否有俯仰
θR=arctan(-R32/R33)
其中RijR中底i行第j列的元素,若θR小于5度,则认为汽车没有俯仰运动,根据下面公式计算路面俯仰角,若θR小于5度则路面俯仰角置为上一时刻计算的俯仰角
比较平面俯仰角和道路俯仰角,相差越小,则说明这一平面在道路上的概率越大。然后考虑各个三角形的中心高度,首先剔除所有在相机上方的点,在剩下的点中,选择道路平面俯仰角和道路俯仰角相差5度以内的三角形。结果大概如下图所示,绿色区域为估计路面区域,然后根据路属于三角形的顶点使用RANSAC方法得到路面法向和高度,RANSAC方法具体步骤为:
在筛选过后的三角形顶点中随机抽取三个顶点,并使用这三个顶点计算其所在平面的几何模型:
nX+h=0
(该计算方法与前文计算三角形几何模型方法一致),然后计算除此三点外所有的三角形顶点到这个平面的距离d=|nXi+h|,距离小于高度0.1h的点认为是内点,并统计内点数量;然后重复此步骤,随机选取多次,取内点最多的路面几何模型为路面最终几何模型。
最后将真实高度和这一几何模型中的高度相比得到真实尺度,即:
t=st*
其中h为相机真实高度,h*为算法估计的路面高度(即相机高度),t*为不带尺度的位移向量,t*为恢复尺度之后的位移向量。
Claims (5)
1.一种基于三角剖分的单目视觉里程计尺度恢复方法,其特征在于,包括以下步骤:
1)根据单目视觉里程计获取前后两帧已经匹配上的第i个特征点和以及对应的3D空间坐标;
2)根据单目视觉里程计得到的旋转矩阵R和不具备真实尺度的位移向量t*计算出路面倾角的估计值θ*;
3)将已经匹配上的特征点在后一帧图像中的位置(u1,v1)进行三角剖分,得到符合条件的三角形组Tri;
4)根据每个特征点的3D空间坐标,计算每个三角形所在的空间平面的法向向量和高度;
5)根据每个三角形所在的空间平面的法向向量计算三角形所在的空间平面的俯仰角θj,筛选三角形;
6)根据筛选出的三角形的顶点采用RANSAC方法得到路面的高度h*;
7)将相机真实高度h与路面的高度h*作商得到单目视觉里程计的尺度参数s,将不具备真实尺度的位移向量t*与尺度参数s相乘,即可恢复视觉里程计绝对尺度。
2.根据权利要求1所述的一种基于三角剖分的单目视觉里程计尺度恢复方法,其特征在于,所述的步骤4)中,第j个三角形的法向向量nj和高度hj的表达式为:
nj T*Xji+hj=0 j=1,2,...,m i=1,2,3
其中,Xji为第j个三角形的第i个顶点,nj为第j个三角形的法向向量,hj为第j个三角形的高度。
3.根据权利要求1所述的一种基于三角剖分的单目视觉里程计尺度恢复方法,其特征在于,所述的路面倾角的估计值θ*的计算式为:
<mrow>
<msup>
<mi>&theta;</mi>
<mo>*</mo>
</msup>
<mo>=</mo>
<mi>a</mi>
<mi>r</mi>
<mi>c</mi>
<mi>s</mi>
<mi>i</mi>
<mi>n</mi>
<mrow>
<mo>(</mo>
<msup>
<mi>t</mi>
<mo>*</mo>
</msup>
<mo>&lsqb;</mo>
<mn>2</mn>
<mo>&rsqb;</mo>
<mo>/</mo>
<msqrt>
<mrow>
<msup>
<mi>t</mi>
<mrow>
<mo>*</mo>
<mi>T</mi>
</mrow>
</msup>
<msup>
<mi>t</mi>
<mo>*</mo>
</msup>
</mrow>
</msqrt>
<mo>)</mo>
</mrow>
</mrow>
其中,t*为不具备真实尺度的位移向量,t*[2]为不具备真实尺度的位移向量t*的第二个值,为t*的模长。
4.根据权利要求2所述的一种基于三角剖分的单目视觉里程计尺度恢复方法,其特征在于,所述的三角形所在的空间平面的俯仰角θj的计算式为:
<mrow>
<msub>
<mi>n</mi>
<mi>j</mi>
</msub>
<mo>=</mo>
<mi>a</mi>
<mi>r</mi>
<mi>c</mi>
<mi>s</mi>
<mi>i</mi>
<mi>n</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>n</mi>
<mi>j</mi>
</msub>
<mo>&lsqb;</mo>
<mn>2</mn>
<mo>&rsqb;</mo>
<mo>/</mo>
<msqrt>
<mrow>
<msup>
<msub>
<mi>n</mi>
<mi>j</mi>
</msub>
<mi>T</mi>
</msup>
<msub>
<mi>n</mi>
<mi>j</mi>
</msub>
</mrow>
</msqrt>
<mo>)</mo>
</mrow>
</mrow>
其中,nj[2]为三角形法向向量nj的第二个值,为nj的模长。
5.根据权利要求2所述的一种基于三角剖分的单目视觉里程计尺度恢复方法,其特征在于,所述的步骤5)中,筛选出三角形所在的空间平面的俯仰角θj与路面倾角的估计值θ*的差值小于5度时对应的三角形。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710346708.6A CN107248171B (zh) | 2017-05-17 | 2017-05-17 | 一种基于三角剖分的单目视觉里程计尺度恢复方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710346708.6A CN107248171B (zh) | 2017-05-17 | 2017-05-17 | 一种基于三角剖分的单目视觉里程计尺度恢复方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107248171A true CN107248171A (zh) | 2017-10-13 |
CN107248171B CN107248171B (zh) | 2020-07-28 |
Family
ID=60016998
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710346708.6A Active CN107248171B (zh) | 2017-05-17 | 2017-05-17 | 一种基于三角剖分的单目视觉里程计尺度恢复方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107248171B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110388917A (zh) * | 2018-04-23 | 2019-10-29 | 北京京东尚科信息技术有限公司 | 飞行器单目视觉尺度估计方法和装置、飞行器导航***及飞行器 |
CN117409071A (zh) * | 2023-12-12 | 2024-01-16 | 知行汽车科技(苏州)股份有限公司 | 单目vslam的空间尺度恢复方法、装置、设备及介质 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100202657A1 (en) * | 2008-10-22 | 2010-08-12 | Garbis Salgian | System and method for object detection from a moving platform |
CN102779340A (zh) * | 2012-06-12 | 2012-11-14 | 华中科技大学 | 一种基于Delaunay三角剖分的特征点坐标自动对应方法 |
CN103093479A (zh) * | 2013-03-01 | 2013-05-08 | 杭州电子科技大学 | 一种基于双目视觉的目标定位方法 |
CN103292804A (zh) * | 2013-05-27 | 2013-09-11 | 浙江大学 | 一种单目自然视觉路标辅助的移动机器人定位方法 |
CN103542846A (zh) * | 2012-07-16 | 2014-01-29 | 苏州科瓴精密机械科技有限公司 | 一种移动机器人的定位***及其定位方法 |
CN104180818A (zh) * | 2014-08-12 | 2014-12-03 | 北京理工大学 | 一种单目视觉里程计算装置 |
CN104766345A (zh) * | 2015-04-08 | 2015-07-08 | 欧剑 | 基于衣服特征点的身体扫描及运动捕捉方法 |
CN105045263A (zh) * | 2015-07-06 | 2015-11-11 | 杭州南江机器人股份有限公司 | 一种基于Kinect的机器人自定位方法 |
WO2016062996A1 (en) * | 2014-10-20 | 2016-04-28 | Bae Systems Plc | Apparatus and method for multi-camera visual odometry |
CN105976402A (zh) * | 2016-05-26 | 2016-09-28 | 同济大学 | 一种单目视觉里程计的真实尺度获取方法 |
CN106326892A (zh) * | 2016-08-01 | 2017-01-11 | 西南科技大学 | 一种旋翼式无人机的视觉着陆位姿估计方法 |
CN106406338A (zh) * | 2016-04-14 | 2017-02-15 | 中山大学 | 一种基于激光测距仪的全向移动机器人的自主导航装置及其方法 |
-
2017
- 2017-05-17 CN CN201710346708.6A patent/CN107248171B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100202657A1 (en) * | 2008-10-22 | 2010-08-12 | Garbis Salgian | System and method for object detection from a moving platform |
CN102779340A (zh) * | 2012-06-12 | 2012-11-14 | 华中科技大学 | 一种基于Delaunay三角剖分的特征点坐标自动对应方法 |
CN103542846A (zh) * | 2012-07-16 | 2014-01-29 | 苏州科瓴精密机械科技有限公司 | 一种移动机器人的定位***及其定位方法 |
CN103093479A (zh) * | 2013-03-01 | 2013-05-08 | 杭州电子科技大学 | 一种基于双目视觉的目标定位方法 |
CN103292804A (zh) * | 2013-05-27 | 2013-09-11 | 浙江大学 | 一种单目自然视觉路标辅助的移动机器人定位方法 |
CN104180818A (zh) * | 2014-08-12 | 2014-12-03 | 北京理工大学 | 一种单目视觉里程计算装置 |
WO2016062996A1 (en) * | 2014-10-20 | 2016-04-28 | Bae Systems Plc | Apparatus and method for multi-camera visual odometry |
CN104766345A (zh) * | 2015-04-08 | 2015-07-08 | 欧剑 | 基于衣服特征点的身体扫描及运动捕捉方法 |
CN105045263A (zh) * | 2015-07-06 | 2015-11-11 | 杭州南江机器人股份有限公司 | 一种基于Kinect的机器人自定位方法 |
CN106406338A (zh) * | 2016-04-14 | 2017-02-15 | 中山大学 | 一种基于激光测距仪的全向移动机器人的自主导航装置及其方法 |
CN105976402A (zh) * | 2016-05-26 | 2016-09-28 | 同济大学 | 一种单目视觉里程计的真实尺度获取方法 |
CN106326892A (zh) * | 2016-08-01 | 2017-01-11 | 西南科技大学 | 一种旋翼式无人机的视觉着陆位姿估计方法 |
Non-Patent Citations (6)
Title |
---|
DINGFU ZHOU 等: "Reliable scale estimation and correction for monocular Visual Odometry", 《2016IEEE INTERNATIONAL VEHICLES SYMPOSIUM》 * |
SHIYU SONG 等: "High Accuracy Monocular SFM and Scale Correction for Autonomous Driving", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS YSIS AND MACHINE INTELLIGENCE》 * |
吴子章: "基于全景视觉的机器人SLAM方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
孙作雷 等: "基于RANSAC的奇异值剔除的单目视觉里程计", 《上海海事大学学报》 * |
王彩玲 等: "基于掩模和俯仰角补偿的视觉自运动估计", 《***仿真学报》 * |
袁小翠 等: "Delaunay三角剖分算法改进与对比分析", 《计算机应用与软件》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110388917A (zh) * | 2018-04-23 | 2019-10-29 | 北京京东尚科信息技术有限公司 | 飞行器单目视觉尺度估计方法和装置、飞行器导航***及飞行器 |
CN117409071A (zh) * | 2023-12-12 | 2024-01-16 | 知行汽车科技(苏州)股份有限公司 | 单目vslam的空间尺度恢复方法、装置、设备及介质 |
CN117409071B (zh) * | 2023-12-12 | 2024-03-01 | 知行汽车科技(苏州)股份有限公司 | 单目vslam的空间尺度恢复方法、装置、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN107248171B (zh) | 2020-07-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110569704B (zh) | 一种基于立体视觉的多策略自适应车道线检测方法 | |
WO2021004548A1 (zh) | 一种基于双目立体视觉***的车辆智能测速方法 | |
JP6612297B2 (ja) | 道路の垂直輪郭検出 | |
JP5804185B2 (ja) | 移動物***置姿勢推定装置及び移動物***置姿勢推定方法 | |
CN111210477B (zh) | 一种运动目标的定位方法及*** | |
CN110910453B (zh) | 基于无重叠视域多相机***的车辆位姿估计方法及其*** | |
CN105335955A (zh) | 对象检测方法和对象检测装置 | |
CN107636679A (zh) | 一种障碍物检测方法及装置 | |
CN105976402A (zh) | 一种单目视觉里程计的真实尺度获取方法 | |
CN111998862B (zh) | 一种基于bnn的稠密双目slam方法 | |
EP3876142A1 (en) | Map building method, apparatus and system, and storage medium | |
CN113111707B (zh) | 一种基于卷积神经网络的前车检测与测距方法 | |
CN113240734B (zh) | 一种基于鸟瞰图的车辆跨位判断方法、装置、设备及介质 | |
CN113744315B (zh) | 一种基于双目视觉的半直接视觉里程计 | |
CN110992424B (zh) | 基于双目视觉的定位方法和*** | |
CN103136525A (zh) | 一种利用广义Hough变换的异型扩展目标高精度定位方法 | |
CN103458261A (zh) | 一种基于立体视觉的视频场景变化检测方法 | |
CN109917359A (zh) | 基于车载单目视觉的鲁棒车辆距离估计方法 | |
CN103985154A (zh) | 一种基于全局线性方法的三维模型重建方法 | |
CN114325634A (zh) | 一种基于激光雷达的高鲁棒性野外环境下可通行区域提取方法 | |
CN108106613A (zh) | 基于视觉辅助的定位方法与*** | |
CN101980292B (zh) | 一种基于正八边形模板的车载摄像机内参数的标定方法 | |
CN107248171A (zh) | 一种基于三角剖分的单目视觉里程计尺度恢复方法 | |
CN113610932B (zh) | 双目相机外参标定方法和装置 | |
CN111664845B (zh) | 交通标志定位、视觉地图制作方法及装置、定位*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |