CN109341530B - 一种双目立体视觉中物点定位方法及*** - Google Patents

一种双目立体视觉中物点定位方法及*** Download PDF

Info

Publication number
CN109341530B
CN109341530B CN201811248448.XA CN201811248448A CN109341530B CN 109341530 B CN109341530 B CN 109341530B CN 201811248448 A CN201811248448 A CN 201811248448A CN 109341530 B CN109341530 B CN 109341530B
Authority
CN
China
Prior art keywords
camera
coordinate system
coordinate
point
right camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201811248448.XA
Other languages
English (en)
Other versions
CN109341530A (zh
Inventor
张钧
刘一锋
刘小茂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201811248448.XA priority Critical patent/CN109341530B/zh
Publication of CN109341530A publication Critical patent/CN109341530A/zh
Application granted granted Critical
Publication of CN109341530B publication Critical patent/CN109341530B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种双目立体视觉中物点定位方法，具体为：首先启用左、右侧相机拍摄同一目标，对拍摄得到的左、右图像进行特征点匹配；再在世界坐标下分别计算左、右侧相机光心到匹配点的单位方向向量；进而根据两个相机的光心坐标，光心到特征点的方向向量求解出物点的三维坐标。本发明还提供了实现上述方法的***。本发明避免了大量平方，开方以及求模等运算，具有速度快，计算稳定的特点，在三维重建领域中有较高的应用价值。

Description

一种双目立体视觉中物点定位方法及***
技术领域
本发明涉及机器视觉技术领域，具体涉及一种双目立体视觉中三维点定位方法及***。
背景技术
在双目立体视觉的三角测量步骤中，往往首先对两个相机在不同的位置下拍摄同一场景所得到的图片进行特征匹配、位姿估计后，通过对两个相机同名光线求取其延长线的交点，进而得出该点在世界坐标系中的物点坐标，并利用这些信息完成三维稠密点云构建等工作.因此，物点的空间位置求取是双目立体视觉中的重要环节之一。
物点的空间位置求取一般采用公垂线中点法方法，方法涉及到叉积，求模等运算，计算复杂度高，耗时多。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种双目立体视觉中三维点定位方法，保证精准度的同时简化了计算复杂度。
一种双目立体视觉中三维点定位方法，具体为：
(1)启用左、右侧相机拍摄同一目标，对拍摄得到的左、右图像进行特征点匹配，得到左侧相机坐标系下的特征点坐标pL和右侧相机坐标系下的同名特征点坐标pR；
(2)在世界坐标下,分别计算左、右侧相机光心到匹配点的单位方向向量N1和N2：
Figure BDA0001841094100000011
Figure BDA0001841094100000021
其中，ZL、ZR分别代表将左、右侧相机的方向向量单位化的系数，RLW、RRW分别代表左、右侧相机坐标系相对于世界坐标系的旋转矩阵，K1、K2分别代表左、右侧相机的内参数，上标T表示转置；
(3)计算目标物点的三维坐标P：
Figure BDA0001841094100000022
Figure BDA0001841094100000023
Figure BDA0001841094100000024
其中，
Figure BDA0001841094100000025
P10,P20分别代表左侧相机光心OL和右侧相机光心OR在世界坐标系中的三维坐标(参考图1),P1、P2分别为射线OLpL和ORpR与公垂线的垂足。
一种双目立体视觉中三维点定位***，包括：
双相机，包括左侧相机和右侧相机，用于拍摄同一目标；
同名特征点匹配模块，用于对拍摄得到的左、右图像进行特征点匹配，得到左侧相机坐标系下的特征点坐标pL和右侧相机坐标系下的同名特征点坐标pR；
单位方向向量计算模块，用于在世界坐标下,分别计算左、右侧相机光心到匹配点的单位方向向量N1和N2：
Figure BDA0001841094100000026
其中，ZL、ZR分别代表将左、右侧相机的方向向量单位化的系数，RLW、RRW分别代表左、右侧相机坐标系相对于世界坐标系的旋转矩阵，K1、K2分别代表左、右侧相机的内参数，上标T表示转置；
定位模块，用于计算目标物点的三维坐标P：
Figure BDA0001841094100000031
Figure BDA0001841094100000032
Figure BDA0001841094100000033
其中，P10,P20分别代表左侧相机光心OL和右侧相机光心OR在世界坐标系中的三维坐标(参考图1),P1、P2分别为射线OLpL和ORpR与公垂线的垂足。
总体来说，本发明定位方法相对于原始的物点定位方法，在乘法，加法，平方与开方计算次数上都大大减少，并且通过实验证明了在相机参数相同的情况下，使用本发明的计算公式与原始的计算公式达到完全相同的计算精度，但计算时间降低了至少24.24％。
附图说明
图1是本发明定位原理示意图；
图2是异面直线投影示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明方法包括以下步骤：
(1)启用左、右侧相机拍摄同一目标，对拍摄得到的左、右图像使用SIFT或ORB算子进行关键点提取与描述子计算，可以得到左侧相机坐标系下的特征点坐标pL和右侧相机坐标系下的同名特征点坐标pR；
(2)在世界坐标下,分别计算左、右侧相机光心到匹配点的单位方向向量N1和N2：
Figure BDA0001841094100000041
Figure BDA0001841094100000042
其中，ZL、ZR分别代表将左、右侧相机的方向向量单位化的系数，RLW、RRW分别代表左、右侧相机坐标系相对于世界坐标系的旋转矩阵，K1、K2分别代表左、右侧相机的内参数，上标T表示转置；
(3)计算目标物点的三维坐标P：
Figure BDA0001841094100000043
Figure BDA0001841094100000044
Figure BDA0001841094100000045
其中，
Figure BDA0001841094100000046
P10,P20分别代表左侧相机光心OL和右侧相机光心OR在世界坐标系中的三维坐标(参考图1),P1、P2分别为射线OLpL和ORpR与公垂线的垂足(参考图2)。
仿真实验：
1、采用MATLAB进行仿真实验，实验选取左相机坐标系OL-XLYLZL作为世界坐标系，OL＝(0,0,0)T，
Figure BDA0001841094100000047
RLW＝I3为三阶单位矩阵，RRW的表达如下：
Figure BDA0001841094100000048
2、在第一类实验中，设fx＝fy＝1000，u0＝v0＝300，θ＝3°，γ＝2°，ψ＝-3°，世界坐标系中物点的真实坐标取在球心为(0,0,0)T，半径为400的球面上，xw∈[-100,100]，yw∈[-100,100]，
Figure BDA0001841094100000051
共均匀取81个物点，右相机在世界坐标系中的坐标设置为OR＝(10,10,0)T。
3、在第二次实验中，将旋转矩阵RRW沿y轴向x轴正方向旋转90°，世界坐标系中物点的真实坐标取在圆心为(1000,0,0)T，半径为300的圆上，xw＝1000,取均匀分布的81个物点，其余参数与第一类实验相同.上述参数设定完毕后，就可以开始进行实验步骤的设计。
4、首先将参数代入相机投影模型：
pL＝K1RLW(P'-P10)
pR＝K2RRW(P'-P20)
其中，P'代表步骤3中得出的物点真实坐标。
得出投影像点的真实齐次坐标pL＝(uL,vL,1)T和pR＝(uR,vR,1)T，然后选择对右像素点pR或右相机姿态添加标准差为1、2的高斯白噪声(如表2、表3所示)，并通过求取射线OLpL和ORpR的方向向量，得出单位方向向量N1和N2，取左相机光心的坐标(即原点)作为点P10的坐标，取右相机光心OR的坐标作为点P20的坐标，就可以通过本发明的公式分别计算不同模型的公垂线中点P。
表1算法复杂度对比
表2第一类实验对比结果
Figure BDA0001841094100000061
表3第二类实验对比结果
Figure BDA0001841094100000062
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种双目立体视觉中三维点定位方法，其特征在于，具体为：
(1)启用左、右侧相机拍摄同一目标，对拍摄得到的左、右图像进行特征点匹配，得到左侧相机坐标系下的特征点坐标pL和右侧相机坐标系下的同名特征点坐标pR；
(2)在世界坐标下,分别计算左、右侧相机光心到匹配点的单位方向向量N1和N2：
Figure FDA0002259124320000011
Figure FDA0002259124320000012
其中，ZL、ZR分别代表将左、右侧相机的方向向量单位化的系数，RLW、RRW分别代表左、右侧相机坐标系相对于世界坐标系的旋转矩阵，K1、K2分别代表左、右侧相机的内参数，上标T表示转置；
(3)计算目标物点的三维坐标P：
Figure FDA0002259124320000013
Figure FDA0002259124320000014
Figure FDA0002259124320000015
其中，b＝N1 TN2，P10,P20分别代表左侧相机光心OL和右侧相机光心OR在世界坐标系中的三维坐标,P1、P2分别为射线OLpL和ORpR与公垂线的垂足。
2.一种双目立体视觉中三维点定位***，其特征在于，包括：
双相机，包括左侧相机和右侧相机，用于拍摄同一目标；
同名特征点匹配模块，用于对拍摄得到的左、右图像进行特征点匹配，得到左侧相机坐标系下的特征点坐标pL和右侧相机坐标系下的同名特征点坐标pR；
单位方向向量计算模块，用于在世界坐标下,分别计算左、右侧相机光心到匹配点的单位方向向量N1和N2：
Figure FDA0002259124320000022
其中，ZL、ZR分别代表将左、右侧相机的方向向量单位化的系数，RLW、RRW分别代表左、右侧相机坐标系相对于世界坐标系的旋转矩阵，K1、K2分别代表左、右侧相机的内参数，上标T表示转置；
定位模块，用于计算目标物点的三维坐标P：
Figure FDA0002259124320000023
Figure FDA0002259124320000024
其中，b＝N1 TN2，P10,P20分别代表左侧相机光心OL和右侧相机光心OR在世界坐标系中的三维坐标,P1、P2分别为射线OLpL和ORpR与公垂线的垂足。
CN201811248448.XA 2018-10-25 2018-10-25 一种双目立体视觉中物点定位方法及*** Expired - Fee Related CN109341530B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811248448.XA CN109341530B (zh) 2018-10-25 2018-10-25 一种双目立体视觉中物点定位方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811248448.XA CN109341530B (zh) 2018-10-25 2018-10-25 一种双目立体视觉中物点定位方法及***

Publications (2)

Publication Number Publication Date
CN109341530A CN109341530A (zh) 2019-02-15
CN109341530B true CN109341530B (zh) 2020-01-21

Family

ID=65311722

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811248448.XA Expired - Fee Related CN109341530B (zh) 2018-10-25 2018-10-25 一种双目立体视觉中物点定位方法及***

Country Status (1)

Country Link
CN (1) CN109341530B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111543934A (zh) * 2020-04-29 2020-08-18 深圳创维－Rgb电子有限公司 一种视力检测方法、装置、电子产品及存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100553347C (zh) * 2006-10-26 2009-10-21 上海交通大学 立体视觉***的场景深度恢复和三维重建方法
CN101149836B (zh) * 2007-11-05 2010-05-19 中山大学 一种三维重构的双摄像机标定方法
CN103115613B (zh) * 2013-02-04 2015-04-08 安徽大学 一种空间三维定位方法
CN103258327B (zh) * 2013-04-23 2015-08-26 华中科技大学 一种基于二自由度摄像机的单点标定方法
CN104680528A (zh) * 2015-02-11 2015-06-03 广州霞光技研有限公司 一种基于双目立体视觉的排爆机器人空间定位方法
CN105187812B (zh) * 2015-09-02 2016-11-30 中国兵器工业计算机应用技术研究所 一种双目视觉立体匹配方法
CN105444696B (zh) * 2015-12-30 2018-04-24 天津大学 一种基于透视投影直线测量模型的双目匹配方法及其应用

Also Published As

Publication number Publication date
CN109341530A (zh) 2019-02-15

Similar Documents

Publication Publication Date Title
CN106600686B (zh) 一种基于多幅未标定图像的三维点云重建方法
JP4392507B2 (ja) ３次元サーフェス生成方法
CN110853075B (zh) 一种基于稠密点云与合成视图的视觉跟踪定位方法
CN107392947B (zh) 基于轮廓共面四点集的2d-3d图像配准方法
CN109993793B (zh) 视觉定位方法及装置
CN104424640B (zh) 对图像进行虚化处理的方法和装置
US20120177283A1 (en) Forming 3d models using two images
CN111754579B (zh) 多目相机外参确定方法及装置
CN107588721A (zh) 一种基于双目视觉的零件多尺寸的测量方法及***
CN112150518B (zh) 一种基于注意力机制的图像立体匹配方法及双目设备
CN111127522A (zh) 基于单目相机的深度光流预测方法、装置、设备及介质
CN110567441A (zh) 基于粒子滤波的定位方法、定位装置、建图及定位的方法
CN108921904B (zh) 利用单个球及渐近线的性质标定***的方法
CN109341530B (zh) 一种双目立体视觉中物点定位方法及***
JP2009530701A (ja) 深度マップを画像から判定する方法、深度マップを判定する装置
Gårding et al. Direct estimation of local surface shape in a fixating binocular vision system
CN111210476B (zh) 一种同时定位与建图的方法及装置
CN114608558A (zh) 基于特征匹配网络的slam方法、***、设备及存储介质
Takimoto et al. Shape reconstruction from multiple RGB-D point cloud registration
KR102107465B1 (ko) 방향코사인을 이용한 에피폴라 영상 제작 시스템 및 그 제작 방법
CN109191528B (zh) 利用球像与圆环点极线的性质标定***的方法
Mkhitaryan et al. RGB-D sensor data correction and enhancement by introduction of an additional RGB view
Xu et al. Image rectification for single camera stereo system
Yang et al. Dense depth estimation from multiple 360-degree images using virtual depth
Wu et al. A novel augmented reality framework based on monocular semi‐dense simultaneous localization and mapping

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200121

Termination date: 20201025

CF01 Termination of patent right due to non-payment of annual fee