CN105783876A - 基于单目视觉和圆结构光的目标姿态测量***及测量方法 - Google Patents

基于单目视觉和圆结构光的目标姿态测量***及测量方法 Download PDF

Info

Publication number
CN105783876A
CN105783876A CN201610354446.3A CN201610354446A CN105783876A CN 105783876 A CN105783876 A CN 105783876A CN 201610354446 A CN201610354446 A CN 201610354446A CN 105783876 A CN105783876 A CN 105783876A
Authority
CN
China
Prior art keywords
circle structure
video camera
structure light
camera
ccd video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610354446.3A
Other languages
English (en)
Inventor
陈至坤
徐傲
王福斌
张菡洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North China University of Science and Technology
Original Assignee
North China University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North China University of Science and Technology filed Critical North China University of Science and Technology
Priority to CN201610354446.3A priority Critical patent/CN105783876A/zh
Publication of CN105783876A publication Critical patent/CN105783876A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及一种基于单目视觉和圆结构光的目标姿态测量***及测量方法，属于视觉测量领域。包括CCD摄像机、工业计算机、千兆网线、水平工作平台，其特征在于：还包括圆结构光投射器；圆结构光投射器与CCD摄像机通过调整支架设置于水平工作平台上方，且CCD摄像机的光轴方向与圆结构光投射器的轴线方向平行；CCD摄像机为数字***，通过千兆网线与工业计算机通讯。本发明适用于测量静止目标的姿态，可根据圆结构光投射器投射到被测目标表面的结构光光条的数学参数，实现目标姿态的测量，解决了无法在被测目标表面设置固定特征来配合单目摄像机实现目标姿态测量的难题。

Description

基于单目视觉和圆结构光的目标姿态测量***及测量方法
技术领域
本发明涉及一种基于单目视觉和圆结构光的目标姿态测量***及测量方法，属于视觉测量领域。
背景技术
近年来，基于视觉的目标姿态测量技术不断发展，主要分为两大类，基于双目视觉***的目标姿态测量技术和基于单目视觉***的目标姿态测量技术。其中，基于双目视觉***的目标姿态测量技术使用两台摄像机对目标姿态进行测量，这种方法视场范围小、测量距离短、成本较高；而基于单目视觉***的目标姿态测量技术仅使用单台摄像机对目标姿态进行测量，不仅克服了双目视觉***视场范围小等缺点，而且技术实现相对简单。
目前，基于单目视觉的目标姿态测量技术通常是在被测目标表面设置坐标参数已知的特征点，然后用摄像机拍摄设置有特征点的目标，得到目标表面的特征点在像平面坐标系中的坐标后，再结合特征点在世界坐标系中的约束关系，测量出被测目标的姿态参数，即PNP（Perspective-n-Point）问题。这种技术的前提是必须已知特征点在世界坐标系中的坐标参数。还有其他测量技术是利用被测目标上已存在的直线、曲线、区域等几何特征实现目标的姿态测量。总之，以上方法都是利用被测目标上已存在的固定特征配合单目摄像机实现目标姿态测量，这在无法设置固定特征的工业流水线等实际工程领域中无法应用。
发明内容
为解决实际工程中无法在被测目标表面设置固定特征来配合单目视觉***实现目标姿态测量的难题，本发明提供一种基于单目视觉和圆结构光的目标姿态测量***及测量方法。根据圆结构光投射器投射到被测目标表面的结构光光条的数学参数实现目标的姿态测量。
本发明解决其技术问题采用的技术方案是：
一种基于单目视觉和圆结构光的目标姿态测量***，包括CCD摄像机、工业计算机、千兆网线、水平工作平台，还包括圆结构光投射器；圆结构光投射器与CCD摄像机通过调整支架设置于水平工作平台上方，且CCD摄像机的光轴方向与圆结构光投射器的轴线方向平行；CCD摄像机为数字***，通过千兆网线与工业计算机通讯。
上述基于单目视觉和圆结构光的目标姿态测量***的测量方法，按下述步骤进行：
（1）根据被测工件的大小调整摄像机支架的高度，使圆结构光投射器能够完全在被测工件表面成像，同时保证被测工件图像占CCD摄像机成像平面的1/2以上；
（2）利用摄像机标定板对CCD摄像机进行标定，获取CCD摄像机的内外参数；
（3）将被测工件按一定姿态放置在水平工作平台之上，调整被测工件的位置，使其在CCD摄像机的视场范围内，此时被测工件表面与圆结构光投射器投射出的圆锥曲面相交，在被测工件表面形成了结构光光条；
（4）利用CCD摄像机拍摄被测工件，CCD摄像机将采集到的被测工件图像信息通过千兆网线传输到工业计算机；
（5）利用工业计算机对被测工件图像进行分析与处理，得到被测工件表面结构光光条在摄像机坐标系中的法向量；利用坐标转换将摄像机坐标系中的法向量转换到世界坐标系中；
（6）将被测工件表面圆结构光光条的法向量根据几何三角关系解算出被测工件的姿态。
采用上述技术方案的本发明，与现有技术相比，其突出的特点是：
将圆结构光投射器引入单目视觉***中，圆结构光投射器投射出锥角很小的圆锥光曲面，和被测目标相交形成结构光光光条，该结构光光条会在CCD摄像机的成像平面成像；被测目标表面的结构光光条会随着被测目标姿态变化而发生变化，同样摄像机成像平面的像也发生变化；CCD摄像机将采集到的图像信息传输到工业计算机，工业计算机对图像信息进行分析与处理。
本发明根据圆结构光投射器投射到目标表面的结构光光条的数学参数，实现目标姿态的测量。有效地解决了实际工程中无法在被测目标表面设置固定特征来配合单目视觉***实现目标姿态测量的难题。
作为优选，本发明更进一步的技术方案是：
所述的调整支架包括摄像机支架、圆结构光投射器固定架、连接板，摄像机支架由立杆和装配在立杆上且上、下位置可调的横支架构成，立杆底部与水平工作平台台面固定，横支架上固定CCD摄像机，圆结构光投射器固定架通过连接板与CCD摄像机连接，圆结构光投射器固定在圆结构光投射器固定架中
根据实际被测目标的大小适当调节横支架的高度，以保证被测目标能够完全在摄像机的成像平面成像，并且占成像平面的1/2及以上；将圆结构光投射器放置到圆结构光投射器固定架里，利用螺母对圆结构光投射器进行固定，固定好的圆结构光投射器与CCD摄像机之间的距离L为固定值。
附图说明
图1为本发明实施例的目标姿态测量***结构示意图；
图2本发明实施例的目标姿态测量***模型图；
图3本发明实施例的被测工件图像处理过程方框图；
图中：1-CCD摄像机；2-圆结构光投射器；3-连接板；4-摄像机支架；5-圆结构光投射器固定架；6-工业计算机；7-水平工作平台；8-千兆网线；41-立杆；42-横支架。
具体实施方式
下面结合附图给出的实施例对本发明作进一步阐述，但实施例不对本发明构成任何限制。
参见图1，基于单目视觉和圆结构光的目标姿态测量***由CCD摄像机1、圆结构光投射器2、连接板3、摄像机支架4、圆结构光投射器固定架5、工业计算机6、水平工作平台7、千兆网线8组成，圆结构光投射器2与CCD摄像机1通过调整支架设置于水平工作平台7上方，调整支架由摄像机支架4、圆结构光投射器固定架5和连接板3构成，摄像机支架4由立杆41和装配在立杆41上且上、下位置可调的横支架42构成，立杆41底部与水平工作平台7台面固定，横支架42上固定CCD摄像机1，圆结构光投射器固定架5通过连接板3与CCD摄像机1连接，圆结构光投射器2固定在圆结构光投射器固定架5中，且CCD摄像机1的光轴方向与圆结构光投射器2的轴线方向平行，CCD摄像机1为数字***，通过千兆网线8与工业计算机6通讯。
CCD摄像机1的型号：FL3-GE-03S2C-C（灰点公司）；图像像素：648488；像素尺寸：7.4μm7.4μm；帧频：82FPS；曝光时间：0.08s；镜头焦距：8mm。
圆结构光投射器2的型号：FU650XYQ100-GD16（富喆激光）；波长：650nm。
工业计算机6的型号：IPC-610L（研华科技）。
水平工作平台：1200mm800mm（大恒光电）。
基于单目视觉和圆结构光的目标姿态测量***的测量方法，按下述步骤进行：
（1）根据被测工件的大小适当调整摄像机支架4的高度，使圆结构光投射器2能够完全在被测工件表面成像，同时保证被测工件图像占摄像机成像平面的1/2以上；调整完摄像机支架4的高度之后，利用摄像机标定板对CCD摄像机1进行标定，获取CCD摄像机1的内外参数。
（1）将被测工件按一定姿态放置在水平工作平台8之上，调整被测工件的位置，使其在CCD摄像机1的视场范围内，此时被测工件表面与圆结构光投射器2投射出的圆锥曲面相交，在被测工件表面形成了结构光光条。
（3）利用CCD摄像机1拍摄被测工件，CCD摄像机1将采集到的被测工件图像信息通过千兆网线8传输到工业计算机6。
（4）利用工业计算机6对被测工件图像进行分析与处理，具体处理过程如图3所示，被测工件图像经过处理后，得到了被测工件表面结构光光条在摄像机坐标系中的法向量；利用坐标转换将摄像机坐标系中的法向量转换到世界坐标系中。
（5）将被测工件表面圆结构光光条的法向量根据几何三角关系解算出被测工件的姿态。
具体的解算方法是：
首先建立如图2所示的基于单目视觉和圆结构光的目标姿态测量***的数学模型。为便于分析，建立世界坐标系Ow-XwYwZw、摄像机坐标系Oc-XcYcZc、像平面坐标系UV以及结构光坐标系Os-XsYsZs，设n(nx,ny,nz)为空间被测目标表面的法向量，根据几何三角关系解算出目标的姿态参数：横滚角α、俯仰角β和偏转角γ；
(1)
(2)
(3)
圆结构光投射器2投射出锥角很小的圆锥光曲面，该圆锥光曲面与被测目标表面相交形成结构光光条，CCD摄像机1可采集到该结构光光条的图像；P为结构光光条上一点，其对应的摄像机坐标系中的点为Pc；那么结构光光条上的P点与该点在摄像机坐标系中对应的点Pc之间的关系：
Pc=RP+T1(4)
其中，R为旋转矩阵，T1为平移矩阵；
摄像机坐标系与结构光坐标系之间对应关系为：
Ps=Pc+T2(5)
其中，Ps结构光坐标系中的点，T2为平移矩阵；
因此，结构光光条上的点P与其在结构光坐标系中的对应点Ps之间的关系为：
Ps=RP+T1+T2(6)
CCD摄像机1采集到的结构光光条图像通过千兆网线8传输到工业计算机6，工业计算机6对结构光光条图像进行处理可得到结构光光条在CCD摄像机1成像平面的投影方程，表示为：
(7)
将摄像机的成像模型带入结构光光条投影方程（7）中，可以得到以结构光光条为底，摄像机光心为顶点的椭圆锥面在摄像机坐标系中的方程为：
(8)
由上式（8）可知椭圆锥面方程左式为二次多项式，可将其转换成二次型矩阵形式，表示为：
(9)
其中，Q为3×3对称矩阵；
由于椭圆锥面方程（8）的表达式比较复杂，直接在摄像机坐标系中计算时，不便于求解；因此，将椭圆锥面方程的左式化为标准二项式，进而可将椭圆锥面方程转换到标准坐标系中的标准椭圆锥面方程，再将得出的结果再转换到摄像机坐标系中；
摄像机坐标系与标准坐标系的原点相同，因此两个坐标系之间的转换属于纯旋转变换；用3阶矩阵表示，即：
(10)
又由实对称矩阵的性质可知，该3阶矩阵P为正交矩阵且可将矩阵Q对角化，即：
(11)
其中，λ1、λ2、λ3为矩阵Q的特征值；
接下来将式（10）带入式（9）可得：
(12)
这样就可将以结构光光条为底的椭圆锥面方程转换成标准椭圆锥面方程：
(13)
因此，根据标准椭圆锥方程性质，可求得结构光光条在标准坐标系中的法向量为：
(14)
利用式(4)、(5)、(6)的坐标转换关系，将结构光光条在摄像机坐标系中的法向量n’转换到结构光坐标系中，最后根据几何三角关系(1)、(2)、(3)解算出被测目标的姿态的测量。
以上所述仅为本发明较佳可行的实施例而已，并非因此局限本发明的权利范围，凡运用本发明说明书及附图内容所作的等效结构变化，均包含于本发明的权利范围之内。

Claims (3)

1.一种基于单目视觉和圆结构光的目标姿态测量***，包括CCD摄像机、工业计算机、千兆网线、水平工作平台，其特征在于：还包括圆结构光投射器；圆结构光投射器与CCD摄像机通过调整支架设置于水平工作平台上方，且CCD摄像机的光轴方向与圆结构光投射器的轴线方向平行；CCD摄像机为数字***，通过千兆网线与工业计算机通讯。
2.按权利要求1所述的基于单目视觉和圆结构光的目标姿态测量***，其特征在于：所述的调整支架包括摄像机支架、圆结构光投射器固定架、连接板，摄像机支架由立杆和装配在立杆上且上、下位置可调的横支架构成，立杆底部与水平工作平台台面固定，横支架上固定CCD摄像机，圆结构光投射器固定架通过连接板与CCD摄像机连接，圆结构光投射器固定在圆结构光投射器固定架中。
3.一种按权利要求1所述的基于单目视觉和圆结构光的目标姿态测量***的测量方法，其特征在于，按下述步骤进行：
（1）根据被测工件的大小调整摄像机支架的高度，使圆结构光投射器能够完全在被测工件表面成像，同时保证被测工件图像占CCD摄像机成像平面的1/2以上；
（2）利用摄像机标定板对CCD摄像机进行标定，获取CCD摄像机的内外参数；
（3）将被测工件按一定姿态放置在水平工作平台之上，调整被测工件的位置，使其在CCD摄像机的视场范围内，此时被测工件表面与圆结构光投射器投射出的圆锥曲面相交，在被测工件表面形成了结构光光条；
（4）利用CCD摄像机拍摄被测工件，CCD摄像机将采集到的被测工件图像信息通过千兆网线传输到工业计算机；
（5）利用工业计算机对被测工件图像进行分析与处理，得到被测工件表面结构光光条在摄像机坐标系中的法向量；利用坐标转换将摄像机坐标系中的法向量转换到世界坐标系中；
（6）将被测工件表面圆结构光光条的法向量根据几何三角关系解算出被测工件的姿态。
CN201610354446.3A 2016-05-26 2016-05-26 基于单目视觉和圆结构光的目标姿态测量***及测量方法 Pending CN105783876A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610354446.3A CN105783876A (zh) 2016-05-26 2016-05-26 基于单目视觉和圆结构光的目标姿态测量***及测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610354446.3A CN105783876A (zh) 2016-05-26 2016-05-26 基于单目视觉和圆结构光的目标姿态测量***及测量方法

Publications (1)

Publication Number Publication Date
CN105783876A true CN105783876A (zh) 2016-07-20

Family

ID=56380399

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610354446.3A Pending CN105783876A (zh) 2016-05-26 2016-05-26 基于单目视觉和圆结构光的目标姿态测量***及测量方法

Country Status (1)

Country Link
CN (1) CN105783876A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109945831A (zh) * 2019-03-28 2019-06-28 东南大学 一种简易的建筑物高度测量方法及装置
CN111397582A (zh) * 2020-04-03 2020-07-10 小狗电器互联网科技（北京）股份有限公司 一种目标物的定位方法、装置、可读介质及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100974413B1 (ko) * 2009-03-18 2010-08-05 부산대학교 산학협력단 단일 카메라에 나타난 영상객체를 둘러싸는 3차원 도형의 추정 방법
CN202562436U (zh) * 2012-01-09 2012-11-28 成都术有科技有限公司 光学测量仪
CN103791889A (zh) * 2014-01-14 2014-05-14 南京航空航天大学 一种利用十字结构光辅助的单目视觉位姿测量方法
CN104677305A (zh) * 2015-02-11 2015-06-03 浙江理工大学 一种基于十字结构光的物体表面三维重建方法和***
CN105300296A (zh) * 2014-07-15 2016-02-03 中国科学院沈阳自动化研究所 一种激光拼焊曲面拼缝测量方法及其实现装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100974413B1 (ko) * 2009-03-18 2010-08-05 부산대학교 산학협력단 단일 카메라에 나타난 영상객체를 둘러싸는 3차원 도형의 추정 방법
CN202562436U (zh) * 2012-01-09 2012-11-28 成都术有科技有限公司 光学测量仪
CN103791889A (zh) * 2014-01-14 2014-05-14 南京航空航天大学 一种利用十字结构光辅助的单目视觉位姿测量方法
CN105300296A (zh) * 2014-07-15 2016-02-03 中国科学院沈阳自动化研究所 一种激光拼焊曲面拼缝测量方法及其实现装置
CN104677305A (zh) * 2015-02-11 2015-06-03 浙江理工大学 一种基于十字结构光的物体表面三维重建方法和***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张磊，徐科军，赵锐，梁利平: "一种基于圆特征的单目视觉位姿测量算法的改进", 《合肥工业大学学报》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109945831A (zh) * 2019-03-28 2019-06-28 东南大学 一种简易的建筑物高度测量方法及装置
CN109945831B (zh) * 2019-03-28 2021-03-30 东南大学 一种简易的建筑物高度测量方法及装置
CN111397582A (zh) * 2020-04-03 2020-07-10 小狗电器互联网科技（北京）股份有限公司 一种目标物的定位方法、装置、可读介质及电子设备

Similar Documents

Publication Publication Date Title
CN102509261B (zh) 一种鱼眼镜头的畸变校正方法
CN104182982B (zh) 双目立体视觉摄像机标定参数的整体优化方法
CN107358631A (zh) 一种虑及三维畸变的双目视觉重建方法
CN107121109A (zh) 一种基于前镀膜平面镜的结构光参数标定装置及方法
CN105243637B (zh) 一种基于三维激光点云进行全景影像拼接方法
CN105571518B (zh) 基于折射图像偏差的三维信息视觉测量方法
CN107025670A (zh) 一种远心相机标定方法
CN108288291A (zh) 基于单点标定物的多相机标定
CN102661717A (zh) 铁塔单目视觉测量方法
CN105258710A (zh) 一种高精度相机主点标定方法
CN105389543A (zh) 基于全方位双目视觉深度信息融合的移动机器人避障装置
CN112949478A (zh) 基于云台相机的目标检测方法
CN110044262B (zh) 基于图像超分辨率重建的非接触式精密测量仪及测量方法
CN109242898A (zh) 一种基于图像序列的三维建模方法及***
CN110363838A (zh) 基于多球面相机模型的大视野图像三维重构优化方法
CN109862345A (zh) 视场角测试方法和***
WO2022126430A1 (zh) 辅助对焦方法、装置及***
CN113177918B (zh) 一种无人机对电力杆塔的智能精准巡检方法及***
US20160048968A1 (en) Distance Estimation Using Multi-Camera Device
WO2022040983A1 (zh) 基于cad模型的投影标记和机器视觉的实时注册方法
CN109343578A (zh) 一种基于视觉反馈的tdi-ccd相机双目视觉***视场对齐方法
CN109084959A (zh) 一种基于双目测距算法的光轴平行度校正方法
CN102589529A (zh) 扫描近景摄影测量方法
CN105783876A (zh) 基于单目视觉和圆结构光的目标姿态测量***及测量方法
JP2018033133A (ja) ライト・フィールド・データに関連するボケを表現するデータを生成する方法及び装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160720