CN109341530B - 一种双目立体视觉中物点定位方法及*** - Google Patents
一种双目立体视觉中物点定位方法及*** Download PDFInfo
- Publication number
- CN109341530B CN109341530B CN201811248448.XA CN201811248448A CN109341530B CN 109341530 B CN109341530 B CN 109341530B CN 201811248448 A CN201811248448 A CN 201811248448A CN 109341530 B CN109341530 B CN 109341530B
- Authority
- CN
- China
- Prior art keywords
- camera
- coordinate system
- coordinate
- point
- right camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 14
- 230000003287 optical effect Effects 0.000 claims abstract description 20
- 239000013598 vector Substances 0.000 claims abstract description 15
- 238000004364 calculation method Methods 0.000 claims abstract description 12
- 239000011159 matrix material Substances 0.000 claims description 7
- 230000017105 transposition Effects 0.000 claims description 5
- 238000002474 experimental method Methods 0.000 description 7
- 238000004088 simulation Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种双目立体视觉中物点定位方法,具体为:首先启用左、右侧相机拍摄同一目标,对拍摄得到的左、右图像进行特征点匹配;再在世界坐标下分别计算左、右侧相机光心到匹配点的单位方向向量;进而根据两个相机的光心坐标,光心到特征点的方向向量求解出物点的三维坐标。本发明还提供了实现上述方法的***。本发明避免了大量平方,开方以及求模等运算,具有速度快,计算稳定的特点,在三维重建领域中有较高的应用价值。
Description
技术领域
本发明涉及机器视觉技术领域,具体涉及一种双目立体视觉中三维点定位方法及***。
背景技术
在双目立体视觉的三角测量步骤中,往往首先对两个相机在不同的位置下拍摄同一场景所得到的图片进行特征匹配、位姿估计后,通过对两个相机同名光线求取其延长线的交点,进而得出该点在世界坐标系中的物点坐标,并利用这些信息完成三维稠密点云构建等工作.因此,物点的空间位置求取是双目立体视觉中的重要环节之一。
物点的空间位置求取一般采用公垂线中点法方法,方法涉及到叉积,求模等运算,计算复杂度高,耗时多。
发明内容
针对现有技术的以上缺陷或改进需求,本发明提供了一种双目立体视觉中三维点定位方法,保证精准度的同时简化了计算复杂度。
一种双目立体视觉中三维点定位方法,具体为:
(1)启用左、右侧相机拍摄同一目标,对拍摄得到的左、右图像进行特征点匹配,得到左侧相机坐标系下的特征点坐标pL和右侧相机坐标系下的同名特征点坐标pR;
(2)在世界坐标下,分别计算左、右侧相机光心到匹配点的单位方向向量N1和N2:
其中,ZL、ZR分别代表将左、右侧相机的方向向量单位化的系数,RLW、RRW分别代表左、右侧相机坐标系相对于世界坐标系的旋转矩阵,K1、K2分别代表左、右侧相机的内参数,上标T表示转置;
(3)计算目标物点的三维坐标P:
一种双目立体视觉中三维点定位***,包括:
双相机,包括左侧相机和右侧相机,用于拍摄同一目标;
同名特征点匹配模块,用于对拍摄得到的左、右图像进行特征点匹配,得到左侧相机坐标系下的特征点坐标pL和右侧相机坐标系下的同名特征点坐标pR;
单位方向向量计算模块,用于在世界坐标下,分别计算左、右侧相机光心到匹配点的单位方向向量N1和N2:
其中,ZL、ZR分别代表将左、右侧相机的方向向量单位化的系数,RLW、RRW分别代表左、右侧相机坐标系相对于世界坐标系的旋转矩阵,K1、K2分别代表左、右侧相机的内参数,上标T表示转置;
定位模块,用于计算目标物点的三维坐标P:
其中,P10,P20分别代表左侧相机光心OL和右侧相机光心OR在世界坐标系中的三维坐标(参考图1),P1、P2分别为射线OLpL和ORpR与公垂线的垂足。
总体来说,本发明定位方法相对于原始的物点定位方法,在乘法,加法,平方与开方计算次数上都大大减少,并且通过实验证明了在相机参数相同的情况下,使用本发明的计算公式与原始的计算公式达到完全相同的计算精度,但计算时间降低了至少24.24%。
附图说明
图1是本发明定位原理示意图;
图2是异面直线投影示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明方法包括以下步骤:
(1)启用左、右侧相机拍摄同一目标,对拍摄得到的左、右图像使用SIFT或ORB算子进行关键点提取与描述子计算,可以得到左侧相机坐标系下的特征点坐标pL和右侧相机坐标系下的同名特征点坐标pR;
(2)在世界坐标下,分别计算左、右侧相机光心到匹配点的单位方向向量N1和N2:
其中,ZL、ZR分别代表将左、右侧相机的方向向量单位化的系数,RLW、RRW分别代表左、右侧相机坐标系相对于世界坐标系的旋转矩阵,K1、K2分别代表左、右侧相机的内参数,上标T表示转置;
(3)计算目标物点的三维坐标P:
仿真实验:
2、在第一类实验中,设fx=fy=1000,u0=v0=300,θ=3°,γ=2°,ψ=-3°,世界坐标系中物点的真实坐标取在球心为(0,0,0)T,半径为400的球面上,xw∈[-100,100],yw∈[-100,100],共均匀取81个物点,右相机在世界坐标系中的坐标设置为OR=(10,10,0)T。
3、在第二次实验中,将旋转矩阵RRW沿y轴向x轴正方向旋转90°,世界坐标系中物点的真实坐标取在圆心为(1000,0,0)T,半径为300的圆上,xw=1000,取均匀分布的81个物点,其余参数与第一类实验相同.上述参数设定完毕后,就可以开始进行实验步骤的设计。
4、首先将参数代入相机投影模型:
pL=K1RLW(P'-P10)
pR=K2RRW(P'-P20)
其中,P'代表步骤3中得出的物点真实坐标。
得出投影像点的真实齐次坐标pL=(uL,vL,1)T和pR=(uR,vR,1)T,然后选择对右像素点pR或右相机姿态添加标准差为1、2的高斯白噪声(如表2、表3所示),并通过求取射线OLpL和ORpR的方向向量,得出单位方向向量N1和N2,取左相机光心的坐标(即原点)作为点P10的坐标,取右相机光心OR的坐标作为点P20的坐标,就可以通过本发明的公式分别计算不同模型的公垂线中点P。
表1算法复杂度对比
表2第一类实验对比结果
表3第二类实验对比结果
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (2)
1.一种双目立体视觉中三维点定位方法,其特征在于,具体为:
(1)启用左、右侧相机拍摄同一目标,对拍摄得到的左、右图像进行特征点匹配,得到左侧相机坐标系下的特征点坐标pL和右侧相机坐标系下的同名特征点坐标pR;
(2)在世界坐标下,分别计算左、右侧相机光心到匹配点的单位方向向量N1和N2:
其中,ZL、ZR分别代表将左、右侧相机的方向向量单位化的系数,RLW、RRW分别代表左、右侧相机坐标系相对于世界坐标系的旋转矩阵,K1、K2分别代表左、右侧相机的内参数,上标T表示转置;
(3)计算目标物点的三维坐标P:
其中,b=N1 TN2,P10,P20分别代表左侧相机光心OL和右侧相机光心OR在世界坐标系中的三维坐标,P1、P2分别为射线OLpL和ORpR与公垂线的垂足。
2.一种双目立体视觉中三维点定位***,其特征在于,包括:
双相机,包括左侧相机和右侧相机,用于拍摄同一目标;
同名特征点匹配模块,用于对拍摄得到的左、右图像进行特征点匹配,得到左侧相机坐标系下的特征点坐标pL和右侧相机坐标系下的同名特征点坐标pR;
单位方向向量计算模块,用于在世界坐标下,分别计算左、右侧相机光心到匹配点的单位方向向量N1和N2:
其中,ZL、ZR分别代表将左、右侧相机的方向向量单位化的系数,RLW、RRW分别代表左、右侧相机坐标系相对于世界坐标系的旋转矩阵,K1、K2分别代表左、右侧相机的内参数,上标T表示转置;
定位模块,用于计算目标物点的三维坐标P:
其中,b=N1 TN2,P10,P20分别代表左侧相机光心OL和右侧相机光心OR在世界坐标系中的三维坐标,P1、P2分别为射线OLpL和ORpR与公垂线的垂足。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811248448.XA CN109341530B (zh) | 2018-10-25 | 2018-10-25 | 一种双目立体视觉中物点定位方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811248448.XA CN109341530B (zh) | 2018-10-25 | 2018-10-25 | 一种双目立体视觉中物点定位方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109341530A CN109341530A (zh) | 2019-02-15 |
CN109341530B true CN109341530B (zh) | 2020-01-21 |
Family
ID=65311722
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811248448.XA Expired - Fee Related CN109341530B (zh) | 2018-10-25 | 2018-10-25 | 一种双目立体视觉中物点定位方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109341530B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111543934A (zh) * | 2020-04-29 | 2020-08-18 | 深圳创维-Rgb电子有限公司 | 一种视力检测方法、装置、电子产品及存储介质 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100553347C (zh) * | 2006-10-26 | 2009-10-21 | 上海交通大学 | 立体视觉***的场景深度恢复和三维重建方法 |
CN101149836B (zh) * | 2007-11-05 | 2010-05-19 | 中山大学 | 一种三维重构的双摄像机标定方法 |
CN103115613B (zh) * | 2013-02-04 | 2015-04-08 | 安徽大学 | 一种空间三维定位方法 |
CN103258327B (zh) * | 2013-04-23 | 2015-08-26 | 华中科技大学 | 一种基于二自由度摄像机的单点标定方法 |
CN104680528A (zh) * | 2015-02-11 | 2015-06-03 | 广州霞光技研有限公司 | 一种基于双目立体视觉的排爆机器人空间定位方法 |
CN105187812B (zh) * | 2015-09-02 | 2016-11-30 | 中国兵器工业计算机应用技术研究所 | 一种双目视觉立体匹配方法 |
CN105444696B (zh) * | 2015-12-30 | 2018-04-24 | 天津大学 | 一种基于透视投影直线测量模型的双目匹配方法及其应用 |
-
2018
- 2018-10-25 CN CN201811248448.XA patent/CN109341530B/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN109341530A (zh) | 2019-02-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106600686B (zh) | 一种基于多幅未标定图像的三维点云重建方法 | |
JP4392507B2 (ja) | 3次元サーフェス生成方法 | |
CN110853075B (zh) | 一种基于稠密点云与合成视图的视觉跟踪定位方法 | |
CN107392947B (zh) | 基于轮廓共面四点集的2d-3d图像配准方法 | |
CN109993793B (zh) | 视觉定位方法及装置 | |
CN104424640B (zh) | 对图像进行虚化处理的方法和装置 | |
US20120177283A1 (en) | Forming 3d models using two images | |
CN111754579B (zh) | 多目相机外参确定方法及装置 | |
CN107588721A (zh) | 一种基于双目视觉的零件多尺寸的测量方法及*** | |
CN112150518B (zh) | 一种基于注意力机制的图像立体匹配方法及双目设备 | |
CN111127522A (zh) | 基于单目相机的深度光流预测方法、装置、设备及介质 | |
CN110567441A (zh) | 基于粒子滤波的定位方法、定位装置、建图及定位的方法 | |
CN108921904B (zh) | 利用单个球及渐近线的性质标定***的方法 | |
CN109341530B (zh) | 一种双目立体视觉中物点定位方法及*** | |
JP2009530701A (ja) | 深度マップを画像から判定する方法、深度マップを判定する装置 | |
Gårding et al. | Direct estimation of local surface shape in a fixating binocular vision system | |
CN111210476B (zh) | 一种同时定位与建图的方法及装置 | |
CN114608558A (zh) | 基于特征匹配网络的slam方法、***、设备及存储介质 | |
Takimoto et al. | Shape reconstruction from multiple RGB-D point cloud registration | |
KR102107465B1 (ko) | 방향코사인을 이용한 에피폴라 영상 제작 시스템 및 그 제작 방법 | |
CN109191528B (zh) | 利用球像与圆环点极线的性质标定***的方法 | |
Mkhitaryan et al. | RGB-D sensor data correction and enhancement by introduction of an additional RGB view | |
Xu et al. | Image rectification for single camera stereo system | |
Yang et al. | Dense depth estimation from multiple 360-degree images using virtual depth | |
Wu et al. | A novel augmented reality framework based on monocular semi‐dense simultaneous localization and mapping |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200121 Termination date: 20201025 |
|
CF01 | Termination of patent right due to non-payment of annual fee |