CN109493378A - 一种基于单目视觉与双目视觉相结合的垂直度检测方法 - Google Patents

一种基于单目视觉与双目视觉相结合的垂直度检测方法 Download PDF

Info

Publication number
CN109493378A
CN109493378A CN201811267884.1A CN201811267884A CN109493378A CN 109493378 A CN109493378 A CN 109493378A CN 201811267884 A CN201811267884 A CN 201811267884A CN 109493378 A CN109493378 A CN 109493378A
Authority
CN
China
Prior art keywords
camera
coordinate
straight line
point
denoted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811267884.1A
Other languages
English (en)
Other versions
CN109493378B (zh
Inventor
徐民
林群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo Yan Xin Industrial Technology Co Ltd
Original Assignee
Ningbo Yan Xin Industrial Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Yan Xin Industrial Technology Co Ltd filed Critical Ningbo Yan Xin Industrial Technology Co Ltd
Priority to CN201811267884.1A priority Critical patent/CN109493378B/zh
Publication of CN109493378A publication Critical patent/CN109493378A/zh
Application granted granted Critical
Publication of CN109493378B publication Critical patent/CN109493378B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于单目视觉与双目视觉相结合的垂直度检测方法，其利用单目和双目视觉相结合，以双目视觉的方式检测平面上MARK点的三维坐标，并根据MARK点三维坐标获得平面与相机的位姿关系，然后通过两个单目视觉，即双目视觉相机分开使用来检测直线在相机成像中的角度，结合平面与相机的位姿关系，计算直线与平面在两个垂直维度的角度偏差，最后根据两个垂直维度的角度偏差计算直线与平面的垂直度。

Description

一种基于单目视觉与双目视觉相结合的垂直度检测方法
技术领域
本发明属于机器视觉技术领域，特别是一种基于单目视觉与双目视觉相结合的垂直度检测方法。
背景技术
单目视觉测量通过相机拍摄被测物体，通过图像处理获得被测物体的成像信息，通过二维成像平面与三维物体空间的对应关系，获得被测物体的尺寸信息，由于二维成像平面丢失了被测物体的深度信息，无法完全获得三维物体尺寸的信息，我们需要对目标增加相应的约束来测量目标尺寸。视觉测量可以应用于目标识别、目标尺寸检测和其他(如完整性检测)。视觉测量技术中的重要技术包括相机标定技术和图像处理技术。通过相机标定，得到相机的内部参数和外部参数，能够把三维构建模型确定。
双目视觉是机器视觉的一个重要分支，双目视觉的研究目的是使机器具有通过二维图像认知三维环境信息的能力。这种能力不仅是机器能感知三维环境中物体的几何信息，而且还能对它们进行描述、存储、识别与理解，以满足特定的需求。双目视觉通过设计和模仿人类视觉来获得物体的深度信息。通过二维信息与三维信息的结合，也为具体的工程问题提供了方法。
发明内容
本发明针对双目视觉中检测直线与平面的垂直度的问题，根据单目视觉与双目视觉的特点，提出了一种基于单目视觉与双目视觉相结合的垂直度检测方法。
本发明所设计的一种基于单目视觉与双目视觉相结合的垂直度检测方法，包括以下步骤：
步骤1：通过两个摆放成垂直角度的左相机和右相机，来分别采集标有4个MARK点的平面，从而得到两张图片，分别为左图和右图，图片大小为m×n；
步骤2：通过图像处理方法，分别计算左图和右图中MARK点的圆心所在图像中的坐标，其中4个MARK点为正方形的4个顶点，将左图中的MARK点坐标记为(xli，yli)，将右图中对应左图的MARK点圆心坐标记为(xri，yri)，i＝1，2，3，4；
步骤3：根据左图和右图中4个对应MARK点的坐标，通过双目视觉***计算出4个MARK点的圆心所在相机坐标系下的坐标，记为(Xi，Yi，Zi)，i＝1，2，3，4，计算公式为
其中b为基线距离，f为左相机和右相机之间的焦距，(xli，yli)、(xri，yri)为空间点在左右成像平面的图像坐标，(u0,v0)为主点偏置坐标；Xi,Yi,Zi分别为MARK点的圆心所在相机坐标系下的三维坐标；
步骤4：在左相机***中，挑选3个MARK点，形成一个二维直角坐标系，其中X轴为垂直于相机光轴的两个MARK点的连线，Y轴为平行于相机光轴的两个MARK点的连线，并将过坐标系原点O且垂直于该坐标系的直线作为Z轴，形成三维坐标系，记为Ol(x,y,z)，并计算Ol(x,y,z)与相机坐标系Oc(x,y,z)的位姿关系，该关系记为[RT]l，公式如下：
其中(Xc，Yc，Zc)是相机坐标系Oc(x,y,z)下的点，(Xl，Yl，Zl)是Ol(x，y，z)坐标系下对应于(Xc，Yc，Zc)的点；
步骤5：根据步骤4所得到的[RT]l，获得Ol(x,y,z)与相机坐标系Oc(x,y,z)在X轴方向上的旋转角度βl；
步骤6：在右相机***中，挑选3个MARK点，形成一个二维直角坐标系，其中X轴为垂直于相机光轴的两个MARK点的连线，Y轴为平行于相机光轴的两个MARK点的连线，并将过坐标系原点O且垂直于该坐标系的直线作为Z轴，形成三维坐标系，记为Or(x,y,z)，并计算Or(x,y,z)与相机坐标系Oc(x,y,z)的位姿关系，该关系记为[RT]r，公式如下：
其中(Xc，Yc，Zc)是相机坐标系Oc(x,y,z)下的点，(Xr，Yr，Zr)是Or(x，y，z)坐标系下对应于(Xc，Yc，Zc)的点；
步骤7：根据步骤6所得到的[RT]r，获得Or(x,y,z)与相机坐标系Oc(x,y,z)在X轴方向上的旋转角度βr；
步骤8：通过左相机和右相机两个相机同时采集直线的图片，图片大小为m×n，并通过图像处理算法分别计算直线在相机坐标系Oc(x,y,z)下X轴方向的角度，分别记为αl，αr；
步骤9：计算直线与平面在X方向上的旋转角度αx，计算公式为
αx＝αl+βl
步骤10：计算直线与平面在X方向上的旋转角度αy，计算公式为
αy＝αr+βr
步骤11：计算直线与平面的角度偏差，α计算公式为
本发明得到的一种基于单目视觉与双目视觉相结合的垂直度检测方法，其利用单目和双目视觉相结合，以双目视觉的方式检测平面上MARK点的三维坐标，并根据MARK点三维坐标获得平面与相机的位姿关系，然后通过两个单目视觉，即双目视觉相机分开使用来检测直线在相机成像中的角度，结合平面与相机的位姿关系，计算直线与平面在两个垂直维度的角度偏差，最后根据两个垂直维度的角度偏差计算直线与平面的垂直度。
附图说明
图1是相机架设的结构示意图；
图2是平面MARK点在左图和右图中的示意图；
图3是根据三个MARK点形成的二维直角坐标系的示意图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
实施例1：
本实施例提供的一种基于单目视觉与双目视觉相结合的垂直度检测方法，包括以下步骤：
步骤1：如图1所示，通过两个摆放成垂直角度的左相机和右相机，来分别采集标有4个MARK点的平面，从而得到两张图片，分别为左图和右图，如图2所示，图片大小为m×n；
步骤2：通过图像处理方法，分别计算左图和右图中MARK点的圆心所在图像中的坐标，其中4个MARK点为正方形的4个顶点，将左图中的MARK点坐标记为(xli，yli)，将右图中对应左图的MARK点圆心坐标记为(xri，yri)，i＝1，2，3，4；
步骤3：根据左图和右图中4个对应MARK点的坐标，通过双目视觉***计算出4个MARK点的圆心所在相机坐标系下的坐标，记为(Xi，Yi，Zi)，i＝1，2，3，4，计算公式为
其中b为基线距离，f为左相机和右相机之间的焦距，(xli，yli)、(xri，yri)为空间点在左右成像平面的图像坐标，(u0,v0)为主点偏置坐标；Xi,Yi,Zi分别为MARK点的圆心所在相机坐标系下的三维坐标；
步骤4：在左相机***中，挑选3个MARK点，形成一个如图3所示的二维直角坐标系，其中X轴为垂直于相机光轴的两个MARK点的连线，Y轴为平行于相机光轴的两个MARK点的连线，并将过坐标系原点O且垂直于该坐标系的直线作为Z轴，形成三维坐标系，记为Ol(x,y,z)，并计算Ol(x,y,z)与相机坐标系Oc(x,y,z)的位姿关系，该关系记为[RT]l，公式如下：
其中(Xc，Yc，Zc)是相机坐标系Oc(x,y,z)下的点，(Xl，Yl，Zl)是Ol(x，y，z)坐标系下对应于(Xc，Yc，Zc)的点；
步骤5：根据步骤4所得到的[RT]l，获得Ol(x,y,z)与相机坐标系Oc(x,y,z)在X轴方向上的旋转角度βl；
步骤6：在右相机***中，挑选3个MARK点，同样形成一个如图3所示的二维直角坐标系，其中X轴为垂直于相机光轴的两个MARK点的连线，Y轴为平行于相机光轴的两个MARK点的连线，并将过坐标系原点O且垂直于该坐标系的直线作为Z轴，形成三维坐标系，记为Or(x,y,z)，并计算Or(x,y,z)与相机坐标系Oc(x,y,z)的位姿关系，该关系记为[RT]r，公式如下：
其中(Xc，Yc，Zc)是相机坐标系Oc(x,y,z)下的点，(Xr，Yr，Zr)是Or(x，y，z)坐标系下对应于(Xc，Yc，Zc)的点；
步骤7：根据步骤6所得到的[RT]r，获得Or(x,y,z)与相机坐标系Oc(x,y,z)在X轴方向上的旋转角度βr；
步骤8：通过左相机和右相机两个相机同时采集直线的图片，图片大小为m×n，并通过图像处理算法分别计算直线在相机坐标系Oc(x,y,z)下X轴方向的角度，分别记为αl，αr；
步骤9：计算直线与平面在X方向上的旋转角度αx，计算公式为
αx＝αl+βl
步骤10：计算直线与平面在X方向上的旋转角度αy，计算公式为
αy＝αr+βr
步骤11：计算直线与平面的角度偏差，α计算公式为
本实施例所得到的一种基于单目视觉与双目视觉相结合的垂直度检测方法，其利用单目和双目视觉相结合，以双目视觉的方式检测平面上MARK点的三维坐标，并根据MARK点三维坐标获得平面与相机的位姿关系，然后通过两个单目视觉，即双目视觉相机分开使用来检测直线在相机成像中的角度，结合平面与相机的位姿关系，计算直线与平面在两个垂直维度的角度偏差，最后根据两个垂直维度的角度偏差计算直线与平面的垂直度。

Claims (1)

1.一种基于单目视觉与双目视觉相结合的垂直度检测方法，包括以下步骤：
步骤1：通过两个摆放成垂直角度的左相机和右相机，来分别采集标有4个MARK点的平面，从而得到两张图片，分别为左图和右图，图片大小为m×n；
步骤2：通过图像处理方法，分别计算左图和右图中MARK点的圆心所在图像中的坐标，其中4个MARK点为正方形的4个顶点，将左图中的MARK点坐标记为(xli，yli)，将右图中对应左图的MARK点圆心坐标记为(xri，yri)，i＝1，2，3，4；
步骤3：根据左图和右图中4个对应MARK点的坐标，通过双目视觉***计算出4个MARK点的圆心所在相机坐标系下的坐标，记为(Xi，Yi，Zi)，i＝1，2，3，4，计算公式为
其中b为基线距离，f为左相机和右相机之间的焦距，(xli，yli)、(xri，yri)为空间点在左右成像平面的图像坐标，(u0,v0)为主点偏置坐标；Xi,Yi,Zi分别为MARK点的圆心所在相机坐标系下的三维坐标；
步骤4：在左相机***中，挑选3个MARK点，形成一个二维直角坐标系，其中X轴为垂直于相机光轴的两个MARK点的连线，Y轴为平行于相机光轴的两个MARK点的连线，并将过坐标系原点O且垂直于该坐标系的直线作为Z轴，形成三维坐标系，记为Ol(x,y,z)，并计算Ol(x,y,z)与相机坐标系Oc(x,y,z)的位姿关系，该关系记为[RT]l，公式如下：
其中(Xc，Yc，Zc)是相机坐标系Oc(x,y,z)下的点，(Xl，Yl，Zl)是Ol(x，y，z)坐标系下对应于(Xc，Yc，Zc)的点；
步骤5：根据步骤4所得到的[RT]l，获得Ol(x,y,z)与相机坐标系Oc(x,y,z)在X轴方向上的旋转角度βl；
步骤6：在右相机***中，挑选3个MARK点，形成一个二维直角坐标系，其中X轴为垂直于相机光轴的两个MARK点的连线，Y轴为平行于相机光轴的两个MARK点的连线，并将过坐标系原点O且垂直于该坐标系的直线作为Z轴，形成三维坐标系，记为Or(x,y,z)，并计算Or(x,y,z)与相机坐标系Oc(x,y,z)的位姿关系，该关系记为[RT]r，公式如下：
其中(Xc，Yc，Zc)是相机坐标系Oc(x,y,z)下的点，(Xr，Yr，Zr)是Or(x，y，z)坐标系下对应于(Xc，Yc，Zc)的点；
步骤7：根据步骤6所得到的[RT]r，获得Or(x,y,z)与相机坐标系Oc(x,y,z)在X轴方向上的旋转角度βr；
步骤8：通过左相机和右相机两个相机同时采集直线的图片，图片大小为m×n，并通过图像处理算法分别计算直线在相机坐标系Oc(x,y,z)下X轴方向的角度，分别记为αl，αr；
步骤9：计算直线与平面在X方向上的旋转角度αx，计算公式为
αx＝αl+βl
步骤10：计算直线与平面在X方向上的旋转角度αy，计算公式为
αy＝αr+βr
步骤11：计算直线与平面的角度偏差，α计算公式为
CN201811267884.1A 2018-10-29 2018-10-29 一种基于单目视觉与双目视觉相结合的垂直度检测方法 Active CN109493378B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811267884.1A CN109493378B (zh) 2018-10-29 2018-10-29 一种基于单目视觉与双目视觉相结合的垂直度检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811267884.1A CN109493378B (zh) 2018-10-29 2018-10-29 一种基于单目视觉与双目视觉相结合的垂直度检测方法

Publications (2)

Publication Number Publication Date
CN109493378A true CN109493378A (zh) 2019-03-19
CN109493378B CN109493378B (zh) 2021-05-28

Family

ID=65693326

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811267884.1A Active CN109493378B (zh) 2018-10-29 2018-10-29 一种基于单目视觉与双目视觉相结合的垂直度检测方法

Country Status (1)

Country Link
CN (1) CN109493378B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110060202A (zh) * 2019-04-19 2019-07-26 湖北亿咖通科技有限公司 一种单目slam算法的初始化方法及***
CN110595433A (zh) * 2019-08-16 2019-12-20 太原理工大学 一种基于双目视觉的输电杆塔倾斜的测量方法
CN111829489A (zh) * 2019-04-16 2020-10-27 杭州海康机器人技术有限公司 一种视觉定位的方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140009582A1 (en) * 2012-07-03 2014-01-09 Canon Kabushiki Kaisha Three-dimensional measurement apparatus and robot system
CN106441163A (zh) * 2016-10-13 2017-02-22 中国科学院上海技术物理研究所 一种非接触式柱状物垂直度检测方法及装置
CN107462213A (zh) * 2017-07-27 2017-12-12 国网山东省电力公司经济技术研究院 一种基于机器视觉***的铁塔倾斜角度自动测量方法
CN108040242A (zh) * 2017-12-18 2018-05-15 横琴峰云视觉技术有限公司 一种双摄像头装置的倾斜角度的校正方法及装置
CN108416810A (zh) * 2018-02-05 2018-08-17 北京邦天信息技术有限公司 相机标定中相机坐标系到世界坐标系的转换方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140009582A1 (en) * 2012-07-03 2014-01-09 Canon Kabushiki Kaisha Three-dimensional measurement apparatus and robot system
CN106441163A (zh) * 2016-10-13 2017-02-22 中国科学院上海技术物理研究所 一种非接触式柱状物垂直度检测方法及装置
CN107462213A (zh) * 2017-07-27 2017-12-12 国网山东省电力公司经济技术研究院 一种基于机器视觉***的铁塔倾斜角度自动测量方法
CN108040242A (zh) * 2017-12-18 2018-05-15 横琴峰云视觉技术有限公司 一种双摄像头装置的倾斜角度的校正方法及装置
CN108416810A (zh) * 2018-02-05 2018-08-17 北京邦天信息技术有限公司 相机标定中相机坐标系到世界坐标系的转换方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张灿龙 等: ""玻璃瓶垂直度无接触测量及其误差分析"", 《广西师范大学学报(自然科学版)》 *
杨帆 等: ""聚光太阳能板视觉对位***全局标定方法研究"", 《机械与电子》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111829489A (zh) * 2019-04-16 2020-10-27 杭州海康机器人技术有限公司 一种视觉定位的方法及装置
CN111829489B (zh) * 2019-04-16 2022-05-13 杭州海康机器人技术有限公司 一种视觉定位的方法及装置
CN110060202A (zh) * 2019-04-19 2019-07-26 湖北亿咖通科技有限公司 一种单目slam算法的初始化方法及***
CN110060202B (zh) * 2019-04-19 2021-06-08 湖北亿咖通科技有限公司 一种单目slam算法的初始化方法及***
CN110595433A (zh) * 2019-08-16 2019-12-20 太原理工大学 一种基于双目视觉的输电杆塔倾斜的测量方法

Also Published As

Publication number Publication date
CN109493378B (zh) 2021-05-28

Similar Documents

Publication Publication Date Title
CN103714571B (zh) 一种基于摄影测量的单像机三维重建方法
JP6211157B1 (ja) キャリブレーション装置およびキャリブレーション方法
CN109163657B (zh) 一种基于双目视觉三维重建的圆形目标位姿检测方法
CN111243002A (zh) 应用于高精度三维测量的单目激光散斑投影***标定及深度估计方法
CN103983186B (zh) 双目视觉***校正方法及校正设备
CN109035309A (zh) 基于立体视觉的双目摄像头与激光雷达间的位姿配准方法
CN104075688A (zh) 一种双目立体凝视监控***的测距方法
CN103759716A (zh) 基于机械臂末端单目视觉的动态目标位置和姿态测量方法
CN103759669A (zh) 一种大型零件的单目视觉测量方法
JP2004340840A (ja) 距離測定装置、距離測定方法、及び距離測定プログラム
CN102831601A (zh) 基于联合相似性测度和自适应支持权重的立体匹配方法
CN109493378A (zh) 一种基于单目视觉与双目视觉相结合的垂直度检测方法
CN110009682A (zh) 一种基于单目视觉的目标识别定位方法
CN102798456B (zh) 一种工程机械臂架***工作幅度的测量方法、装置及***
CN103852060A (zh) 一种基于单目视觉的可见光图像测距方法
KR101379787B1 (ko) 구멍을 가진 구조물을 이용한 카메라와 레이저 거리 센서의 보정 장치 및 보정 방법
CN110378969A (zh) 一种基于3d几何约束的汇聚式双目相机标定方法
CN111462236A (zh) 一种船舶间相对位姿检测方法及***
CN109579695A (zh) 一种基于异构立体视觉的零件测量方法
CN108180888A (zh) 一种基于可转动摄像头的距离检测方法
CN105335699B (zh) 读写场景中读写元素三维坐标的智能认定方法及其应用
CN109410234A (zh) 一种基于双目视觉避障的控制方法及控制***
CN106840106B (zh) 基站式六自由度对接位姿检测方法
KR20150125767A (ko) 차량용 카메라의 교정판 제공 방법
CN105354825A (zh) 自动识别读写场景中读物位置的智能装置及其应用

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant