CN104361575B - 深度图像中的自动地面检测及摄像机相对位姿估计方法 - Google Patents
深度图像中的自动地面检测及摄像机相对位姿估计方法 Download PDFInfo
- Publication number
- CN104361575B CN104361575B CN201410556886.8A CN201410556886A CN104361575B CN 104361575 B CN104361575 B CN 104361575B CN 201410556886 A CN201410556886 A CN 201410556886A CN 104361575 B CN104361575 B CN 104361575B
- Authority
- CN
- China
- Prior art keywords
- msubsup
- depth
- mrow
- ground
- msub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 239000013598 vector Substances 0.000 claims abstract description 23
- 238000001514 detection method Methods 0.000 claims abstract description 13
- 238000005070 sampling Methods 0.000 claims abstract description 4
- 239000011159 matrix material Substances 0.000 claims description 28
- 238000012360 testing method Methods 0.000 claims description 6
- 238000000354 decomposition reaction Methods 0.000 claims description 5
- 238000005259 measurement Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000002366 time-of-flight method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种深度图像中的自动地面检测及摄像机相对位姿估计方法,该方法步骤包括:标定深度图像;逐像素计算深度图像depth中各点在深度摄像机坐标系下的点云坐标;基于随机采样一致性提取地面;提取地面法向矢量;计算世界坐标系下的点云坐标。本发明无需人工干预,可全自动进行地面的检测,且由于该方法是基于三维深度信息的,相比基于图像颜色信息的方法,对地面的检测更加准确,而且还可以恢复出场景中各像素的高度。另外本发明的方法仅需要一幅图像即可完成当前深度摄像机位姿以及场景高度的求解,不依赖于历史信息。
Description
技术领域
本发明涉及一种深度图像中的自动地面检测及摄像机相对位姿估计方法。
背景技术
地面检测已经成为机器人、自动驾驶、个人娱乐、视频监控等领域中至为关键的技术。基于图像的传统地面检测方法大多数根据地面的先验颜色信息、颜色信息的一致性以及强烈的边缘来进行地面的检测,比如利用公路的深色路面以及路边的白色标线信息等。其工作方式只能够适用于一些比较简单的场景,对于复杂的环境不具有可靠的性能。另外在这些应用***中,很多时候需要随意变更深度摄像机的位置,或者深度摄像机的位置会受到***的影响而发生位置变化,因而无法随时估计深度摄像机相对于地面的高度、姿态以及场景中其他物体相对于地面的高度。
由于能够直接获取在一般透视成像变换中丢失的深度信息,深度摄像机相比于普通可见光深度摄像机有着更加明显的技术优势。这些深度摄像机包括但不限于基于双目视觉法,飞行时间法以及光斑编码法三种制式的深度摄像机。在这些应用中,深度摄像机大多通过水平安装或者斜下视的方式对场景进行观测,因而地面的自动化检测对于***的自动化程度以及稳定性提升都是至关重要的。
现有技术需要知道许多有关地面的先验信息,不具有一般普适性。因而只能够适用于一些比较简单的场景,如对于复杂的环境不具有可靠的性能。另外现有技术一般难于得到场景中各点的高度信息,限制了***的应用范围。
发明内容
本发明所要解决的技术问题是,针对现有技术不足,提供一种深度图像中的自动地面检测及摄像机相对位姿估计方法,自动检测深度图像中的地面,同时求解出深度摄像机相对于地面的位置和姿态以及场景中各点相对于地面的位置。
为解决上述技术问题,本发明所采用的技术方案是:一种深度图像中的自动地面检测及摄像机相对位姿估计方法,包括以下步骤:
1)将深度图像depth的像素坐标(x,y)转换为弧度坐标(u,v):
其中,A为深度摄像机内参数矩阵;
2)逐像素计算深度图像depth中各点在深度摄像机坐标系下的点云坐标:求取任一像素点(u,v)在以深度摄像机位置为原点,由深度摄像机横轴Xc,深度图像纵轴Yc,深度方向Zc构成的右手深度摄像机坐标系下的点云坐标(xc(u,v),yc(u,v),zc(u,v)),即:
xc(u,v)=v×depth(u,v);
yc(u,v)=u×depth(u,v)
zc(u,v)=depth(u,v);
其中depth(u,v)为坐标(u,v)处的深度图像的深度值;
3)每次采样过程中,随机在深度图像中选择三个点P1,P2,P3,然后求取由此三点P1,P2,P3构成的平面π的法向量:
将所述法向量单位化,即:
式错误!未找到引用源。中P1P2表示由点P1指向P2的向量,表示向量的叉积;然后再选取第四点P4进行如下检验:
式(7)中阈值Th=2.5δ,δ为深度图像中深度值的测量噪声标准差;如果式(7)得到满足,那么认为第四点P4为平面π上的点;依照此步骤遍历整幅深度图像,如果一幅深度图像中满足测试条件(7)点的比例超过阈值Ratio,则认为平面π即为待检测地面,其中比值Ratio依据图像中的地面部分占整幅图像中的比值而定,如果地面占整幅图像中的比例为Ratioground,那么最佳取值范围为Ratio=0.6~0.8Ratioground;
4)提取出满足式(7)测试的所有点在深度摄像机坐标系下的坐标,记为: 然后求取出这些点的坐标平均值并按照下式构造矩阵M:
其中,
5)计算待检测地面的法向量在深度摄像机坐标系下的坐标如果的第二项为正,则令 调整摄像机的位置,使得 然后计算深度摄像机相对于待检测地面的高度heightcamera:
6)计算世界坐标系的Z轴方向Zw在深度摄像机坐标系下的坐标并确定深度摄像机坐标系下深度图像的点(xc,yc,zc)到世界坐标系下深度图像的点(xw,yw,zw)的关系:
其中, 所述世界坐标系是指以待检测地面为水平面XY,高度为垂直于Z轴方向,坐标原点为深度摄像机在地面的垂足确定的坐标系。
所述步骤5)中,的计算过程如下:对矩阵M做标准奇异值分解:(U,D,V)=svd(M);使得M=UDV,其中矩阵U,V均为单位酉矩阵,矩阵D为矩阵M的特征值所构成的对角阵。V矩阵的最后一列即为待检测地面的法向量在深度摄像机坐标系下的坐标
与现有技术相比,本发明所具有的有益效果为:本发明无需人工干预,可全自动进行地面的检测,且由于该方法是基于三维深度信息的,相比基于图像颜色信息的方法,对地面的检测更加准确,而且还可以恢复出场景中各像素的高度。另外本发明的方法仅需要一幅图像即可完成当前深度摄像机位姿以及场景高度的求解,不依赖于历史信息。
具体实施方式
说明:在描述本发明的公式中,用正体加粗表示多维向量以及矩阵,如A,depth,等,而斜体不加粗表示一维的变量,如x,y,z,u,v等。
本发明的实现步骤如下:
第一步、标定图像:
假设已知的深度摄像机内参数矩阵记为A,内参数矩阵可离线通过经典的标定方法如Tsai的两步法[1]以及张正友的平面法[2]等计算出。在获取了内参数矩阵以后,将深度图像的像素坐标转换为弧度坐标,如下式错误!未找到引用源。所示:
上式中u,v表示以弧度为单位的坐标,x,y表示深度图像的像素坐标。
第二步、逐像素计算深度图像depth中各点在深度摄像机坐标系下的点云坐标;
求取各个像素点在以深度摄像机位置为原点,由深度摄像机横轴Xc(U方向,图像左至右),图像纵轴Yc(V方向,图像上至下),深度方向Zc(D方向)构成的右手深度摄像机坐标系下的点云坐标。即:
xc(u,v)=v×depth(u,v) (2)
yc(u,v)=u×depth(u,v) (3)
zc(u,v)=depth(u,v) (4)
第三步、基于随机采样一致性(RANSAC)的地面提取;
每次采样过程中,随机在深度图像中选择三个点P1,P2,P3,然后求取由此三点P1,P2,P3构成的平面π的法向量:
将所述法向量单位化,即:
式(6)中P1P2表示由点P1指向P2的向量,表示向量的叉积;然后再选取第四点P4进行如下检验:
式(7)中阈值Th=2.5δ,δ为深度图像中深度值的测量噪声标准差;如果式错误!未找到引用源。得到满足,那么认为第四点P4为平面π上的点;依照此步骤遍历整幅深度图像,如果一幅深度图像中满足测试条件错误!未找到引用源。点的比例超过阈值Ratio,则认为平面π即为待检测地面,其中比值Ratio依据图像中的地面部分占整幅图像中的比值而定,如果地面占整幅图像中的比例为Ratioground,那么最佳取值范围为Ratio=0.6~0.8Ratioground;
第四步:基于奇异值分解的地面法向矢量提取;
首先提取出平面上所有点在深度摄像机坐标系下的坐标,记为: 然后求取出这些点的坐标平均值并按照如下式(8)以及式(9)构造矩阵M。
接着对矩阵M做标准奇异值分解(Singular Value Decomposition):
(U,D,V)=svd(M) (10)
其中矩阵U,V均为单位酉矩阵,矩阵D为矩阵M的特征值所构成的对角阵,且满足M=UDV。V矩阵的最后一列即为待检测地面的法向量在深度摄像机坐标系下的坐标
如果的第二项为正,需要利用 对进行替代。如果要求深度摄像机水平放置,那么矢量的第一项即描述了此特性。如果此项不接近于0,表示深度摄像机没有水平放置,需要重新调整,如果第一项为负,摄像头右侧应往上调整,如果第一项为正,摄像头右侧应往下调整,调整到为佳。同时可以得到深度摄像机相对于底面的高度如下:
第五步:计算世界坐标系下的点云坐标
这里的世界坐标系设定为以地面为水平面XY,以高度为垂直Z轴方向,坐标原点为深度摄像机在地面的垂足。
设表示世界坐标系的Z轴方向Zw在深度摄像机坐标系下的坐标,则有:
同理再预设然后去相关:
再归一化得到接着计算出:
这样我们可以描述深度摄像机坐标系下到世界坐标系的关系:
其中 depth(u,v)为坐标(u,v)处的深度值。
至此已经完成了深度摄像机高度heightcamera以及世界坐标系与深度摄像机坐标系之间的表示姿态的旋转矩阵 和表示位置的平移向量 也就可以通过式(15)计算出深度图像中各点与世界坐标系之间的一一对应关系。
本发明所指的深度摄像机均假设其内参数已知,并可以经内参数矩阵的校正转化为理想的透视投影深度摄像机模型。
Claims (4)
1.一种深度图像中的自动地面检测及摄像机相对位姿估计方法,其特征在于,包括以下步骤:
1)将深度图像depth的像素坐标(x,y)转换为弧度坐标(u,v):
其中,A为深度摄像机内参数矩阵;
2)逐像素计算深度图像depth中各点在深度摄像机坐标系下的点云坐标:求取任一像素点(u,v)在以深度摄像机位置为原点,由深度摄像机横轴Xc,深度图像纵轴Yc,深度方向Zc构成的右手深度摄像机坐标系下的点云坐标(xc(u,v),yc(u,v),zc(u,v)),即:
xc(u,v)=v×depth(u,v);
yc(u,v)=u×depth(u,v);
zc(u,v)=depth(u,v);
其中depth(u,v)为坐标(u,v)处的深度图像的深度值;
3)每次采样过程中,随机在深度图像中选择三个点P1,P2,P3,然后求取由此三点P1,P2,P3构成的平面π的法向量:
将所述法向量单位化,即:
其中,P1P2表示由点P1指向P2的向量,表示向量的叉积;选取第四点P4进行如下检验:
其中,阈值Th=2.5δ,δ为深度图像中深度值的测量噪声标准差;若第四点P4满足那么第四点P4为平面π上的点;依照此步骤遍历整幅深度图像,如果一幅深度图像中满足的点的比例超过阈值Ratio,则认为平面π即为待检测地面;
4)提取出满足式测试的所有点在深度摄像机坐标系下的坐标,记为:求取出这些点的坐标平均值并按照下式构造矩阵M:
其中,
5)计算待检测地面的法向量在深度摄像机坐标系下的坐标如果的第二项为正,则令调整深度摄像机的位置,使得然后计算深度摄像机相对于待检测地面的高度heightcamera, 其中,表示的第一项;
6)计算世界坐标系的Z轴方向Zw在深度摄像机坐标系下的坐标 并确定深度摄像机坐标系下深度图像的点(xc,yc,zc)到世界坐标系下深度图像的点(xw,yw,zw)的关系:
其中, 所述世界坐标系是指以待检测地面为水平面XY,高度为垂直于Z轴方向,坐标原点为深度摄像机在地面的垂足确定的坐标系,即得到摄像机坐标系相对于世界坐标系的旋转矩阵 和平移向量
2.根据权利要求1所述的深度图像中的自动地面检测及摄像机相对位姿估计方法,其特征在于,所述步骤1)中,深度摄像机内参数矩阵记为A通过直接线性法、两步法、平面法中的一种计算得到。
3.根据权利要求1或2所述的深度图像中的自动地面检测及摄像机相对位姿估计方法,其特征在于,所述步骤3)中,其中比值Ratio依据图像中的地面部分占整幅图像中的比值而定,如果地面占整幅图像中的比例为Ratioground,那么Ratio=0.6~0.8Ratioground。
4.根据权利要求3所述的深度图像中的自动地面检测及摄像机相对位姿估计方法,其特征在于,所述步骤5)中,的计算过程如下:对矩阵M做标准奇异值分解:(U,D,V)=svd(M);使得M=UDV,其中矩阵U,V均为单位酉矩阵,矩阵D为矩阵M的特征值所构成的对角阵;V矩阵的最后一列即为待检测地面的法向量在深度摄像机坐标系下的坐标
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410556886.8A CN104361575B (zh) | 2014-10-20 | 2014-10-20 | 深度图像中的自动地面检测及摄像机相对位姿估计方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410556886.8A CN104361575B (zh) | 2014-10-20 | 2014-10-20 | 深度图像中的自动地面检测及摄像机相对位姿估计方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104361575A CN104361575A (zh) | 2015-02-18 |
CN104361575B true CN104361575B (zh) | 2015-08-19 |
Family
ID=52528833
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410556886.8A Active CN104361575B (zh) | 2014-10-20 | 2014-10-20 | 深度图像中的自动地面检测及摄像机相对位姿估计方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104361575B (zh) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105139416A (zh) * | 2015-10-10 | 2015-12-09 | 北京微尘嘉业科技有限公司 | 一种基于图像信息和深度信息的物体识别方法 |
CN108022264B (zh) * | 2016-11-01 | 2023-06-13 | 北京墨土科技有限公司 | 相机位姿确定方法及设备 |
CN108335327B (zh) * | 2017-01-19 | 2021-09-24 | 富士通株式会社 | 摄像机姿态估计方法和摄像机姿态估计装置 |
CN108460797B (zh) * | 2017-02-22 | 2020-08-25 | 深圳市鸿合创新信息技术有限责任公司 | 深度相机相对位姿及场景平面高度计算方法及装置 |
CN107169933B (zh) * | 2017-04-14 | 2020-08-18 | 浙江光珀智能科技有限公司 | 一种基于tof深度相机的边缘反射像素校正方法 |
CN107123142B (zh) * | 2017-05-09 | 2020-05-01 | 北京京东尚科信息技术有限公司 | 位姿估计方法和装置 |
CN107220632B (zh) * | 2017-06-12 | 2020-02-18 | 山东大学 | 一种基于法向特征的路面图像分割方法 |
CN108460333B (zh) * | 2018-01-19 | 2020-03-24 | 北京华捷艾米科技有限公司 | 基于深度图的地面检测方法及装置 |
CN108510553A (zh) * | 2018-06-21 | 2018-09-07 | 深圳辰视智能科技有限公司 | 一种基于机器视觉的运动装置标定方法及其装置 |
WO2020006765A1 (zh) * | 2018-07-06 | 2020-01-09 | 深圳前海达闼云端智能科技有限公司 | 地面检测方法、相关装置及计算机可读存储介质 |
CN109902675B (zh) * | 2018-09-17 | 2021-05-04 | 华为技术有限公司 | 物体的位姿获取方法、场景重构的方法和装置 |
CN109544629B (zh) * | 2018-11-29 | 2021-03-23 | 南京人工智能高等研究院有限公司 | 摄像头位姿确定方法和装置以及电子设备 |
CN112750205B (zh) * | 2019-10-30 | 2023-05-16 | 南京深视光点科技有限公司 | 平面动态检测***及检测方法 |
CN111046776B (zh) * | 2019-12-06 | 2023-06-09 | 杭州成汤科技有限公司 | 基于深度相机的移动机器人行进路径障碍物检测的方法 |
CN111768454B (zh) * | 2020-08-05 | 2023-12-22 | 腾讯科技(深圳)有限公司 | 位姿确定方法、装置、设备及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013139684A1 (fr) * | 2012-03-23 | 2013-09-26 | Commissariat A L'energie Atomique Et Aux Energies Alternatives | Procédé de détermination d'un plan du sol à partir d'une image de profondeur |
CN103389042A (zh) * | 2013-07-11 | 2013-11-13 | 夏东 | 基于深度图像的地面自动检测以及场景高度计算的方法 |
-
2014
- 2014-10-20 CN CN201410556886.8A patent/CN104361575B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013139684A1 (fr) * | 2012-03-23 | 2013-09-26 | Commissariat A L'energie Atomique Et Aux Energies Alternatives | Procédé de détermination d'un plan du sol à partir d'une image de profondeur |
CN103389042A (zh) * | 2013-07-11 | 2013-11-13 | 夏东 | 基于深度图像的地面自动检测以及场景高度计算的方法 |
Also Published As
Publication number | Publication date |
---|---|
CN104361575A (zh) | 2015-02-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104361575B (zh) | 深度图像中的自动地面检测及摄像机相对位姿估计方法 | |
CN106960454B (zh) | 景深避障方法、设备及无人飞行器 | |
CN108230397B (zh) | 多目摄像机标定与校正方法和装置、设备、程序和介质 | |
Fraundorfer et al. | A minimal case solution to the calibrated relative pose problem for the case of two known orientation angles | |
US20170308103A1 (en) | Flight device, flight control system and method | |
CN108510551B (zh) | 一种远距离大视场条件下相机参数的标定方法及*** | |
US10373337B2 (en) | Methods and computer program products for calibrating stereo imaging systems by using a planar mirror | |
CN104374338B (zh) | 一种基于固定相机和单靶标的单轴旋转角的视觉测量方法 | |
US20160117824A1 (en) | Posture estimation method and robot | |
CN106570899B (zh) | 一种目标物体检测方法及装置 | |
CN103971378A (zh) | 一种混合视觉***中全景图像的三维重建方法 | |
CN102313536A (zh) | 基于机载双目视觉的障碍物感知方法 | |
CN102404595B (zh) | 可提供3d节目拍摄指导的极线校正方法 | |
CN106033614B (zh) | 一种强视差下的移动相机运动目标检测方法 | |
Momeni-k et al. | Height estimation from a single camera view | |
CN104167001B (zh) | 基于正交补偿的大视场摄像机标定方法 | |
CN112597857B (zh) | 一种基于kinect的室内机器人楼梯攀爬位姿快速估计方法 | |
JP2017142613A (ja) | 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム | |
CN105678719A (zh) | 一种全景拼接接缝处平滑方法及装置 | |
CN111105467B (zh) | 一种图像标定方法、装置及电子设备 | |
Huang et al. | Vision pose estimation from planar dual circles in a single image | |
KR101348681B1 (ko) | 영상탐지시스템의 다중센서 영상정렬방법 및 이를 이용한 영상탐지시스템의 다중센서 영상정렬장치 | |
CN114812558A (zh) | 一种结合激光测距的单目视觉无人机自主定位方法 | |
CN106461414A (zh) | 一种智能设备的姿态关系计算方法和智能设备 | |
Ye et al. | Extrinsic calibration of a monocular camera and a single line scanning Lidar |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |