CN102445164A - 一种大型构件表面三维形貌视觉测量方法及*** - Google Patents

一种大型构件表面三维形貌视觉测量方法及*** Download PDF

Info

Publication number
CN102445164A
CN102445164A CN2011103087450A CN201110308745A CN102445164A CN 102445164 A CN102445164 A CN 102445164A CN 2011103087450 A CN2011103087450 A CN 2011103087450A CN 201110308745 A CN201110308745 A CN 201110308745A CN 102445164 A CN102445164 A CN 102445164A
Authority
CN
China
Prior art keywords
coordinate system
plane target
target drone
visual field
vision sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011103087450A
Other languages
English (en)
Other versions
CN102445164B (zh
Inventor
刘震
张广军
孙军华
尚砚娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN 201110308745 priority Critical patent/CN102445164B/zh
Publication of CN102445164A publication Critical patent/CN102445164A/zh
Application granted granted Critical
Publication of CN102445164B publication Critical patent/CN102445164B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供了一种大型构件表面三维形貌视觉测量方法及***,该***包括图像采集***、控制器、计算机、一个三维光学测头、多个平面靶标,平面靶标分布在被测物体的周围,三维光学测头和平面靶标连接控制器和图像采集***,控制器和图像采集***连接计算机;其中,三维光学测头包括光栅式双目视觉传感器,用于进行大型构件表面不同子区域的三维形貌的测量;宽视场摄像机,用于测量平面靶标;计算机以宽视场摄像机测量的平面靶标为中介,将不同子区域的三维形貌数据统一到全局坐标系。本发明以平面靶标为中介,不需要在被测物体上贴标记也不需要利用全局统一设备;同时平面靶标位置可以根据被测物体形状进行灵活排放,没有测量死角。

Description

一种大型构件表面三维形貌视觉测量方法及***
技术领域
本发明涉及三维形貌视觉测量技术领域,尤其涉及一种大型构件表面三维形貌视觉测量方法及***。
背景技术
大型构件表面三维形貌的测量是现代逆向工程和产品数字化设计及制造的基础支撑技术,在许多领域特别是制造行业有着广泛的应用,如汽车、飞机、船舶、航天器外形测量,大型模具测量,无缝钢管等大型机械构件测量,大型天线安装及变形监测等。因此,研究大型构件表面三维形貌测量方法对保证国家重大装备的顺利研制和生产具有重要意义,是目前亟待解决的重要关键技术。目前,大型飞机工程已列入国家中长期科学与技术发展纲要,大型飞机设计、制造及装配的数字化和自动化是该工程的重点攻关内容,大型构件如机舱、机翼、尾翼等三维形貌的测量及重构是亟需解决的重要关键技术之一。
目前,大型构件表面三维形貌的测量的主要手段有三坐标测量机、激光跟踪仪、全站仪、经纬仪、视觉测量***等。三坐标测量机是完成三坐标测量的通用设备,具有很好的测量精度,主要缺点是测量效率低,且测量范围较小,一般在1~2米之内。激光跟踪仪、全站仪及由两台经纬仪构成双目测量***均较适于现场使用,测量范围大,但主要缺点是测量效率低,且易出现测量盲区。
随着计算机技术、电子学、光学技术的日趋完善以及图像处理、模式识别等技术的不断进步,视觉检测技术得到快速发展,已逐渐成为大型构件表面三维最主要的检测手段,其具有自动化程度高、量程大、精度高、非接触等优点。
大型构件尺寸大,存在自身遮挡,单个视觉传感器无法实现整个大型构件表面三维形貌动态测量。通常可将测量区域分成多个子区域,将各子区域三维数据统一到全局坐标系,获得整个大型构件表面的三维形貌。根据全局统一方式的不同,视觉检测主要分为两大类:流动式视觉检测法和多传感器视觉检测法。
流动式视觉检测法通过单个视觉传感器以流动方式测量整个大型构件表面的三维形貌,以粘贴在大型构件上的标志点或放置在大型构件前的靶标标志点为中介,将所有流动测量得到的子区域测量数据统一到全局坐标系。比较典型的有美国GOM公司研制的ATOS流动式三维光学测量***和国内北京天远公司研制的流动式三维扫描***等。该方法优点是设备简单,操作方便,适合工业现场测量。现有流动式测量方法一种需要在被测物体上黏贴标志点,该方法的缺点对于无法测量的软性物体及不允许黏贴标志点的物体表面三维形貌测量具有局限性;另一种是需要在在测量现场安置全局统一设备,这里指的全局统一设备主要包括单、双经纬仪,单、双目视觉传感器,激光跟踪仪等,该方法的主要缺点存在全局统一设备价格昂贵,现场标定困难,且有视觉盲区等等。
多传感器视觉检测法在测量前完成多视觉传感器全局标定,测量时根据全局标定结果,将每个视觉传感器测量的子区域数据统一到全局坐标系。目前,多传感器视觉检测法比较典型的产品有美国Perceptron公司的车身几何尺寸检测***和国内天津大学叶声华院士课题组研制的轿车白车身视觉检测***等。该方法原理简单,可以实现整个大型构件表面三维形貌的视觉测量,但存在多视觉传感器现场全局标定困难,全局标定后***测量精度容易受现场强振动环境影响较大等局限性。
发明内容
有鉴于此,本发明的主要目的在于提供一种大型构件表面三维形貌视觉测量方法及***,能够简便快速地实现大型构件表面三维形貌视觉测量。
为达到上述目的,本发明的技术方案是这样实现的:
一种大型构件表面三维形貌视觉测量***,所述***包括图像采集***、控制器、计算机、一个三维光学测头、多个平面靶标,所述平面靶标分布在大型构件的周围,所述三维光学测头和平面靶标连接所述控制器和图像采集***,所述控制器和图像采集***连接所述计算机;其中,所述三维光学测头包括光栅式双目视觉传感器和宽视场摄像机;
所述光栅式双目视觉传感器,用于进行大型构件表面不同子区域的三维形貌测量;
所述宽视场摄像机,用于测量布置于大型构件周边的平面靶标;
所述计算机,用于以所述宽视场摄像机测量的平面靶标为中介,将所述光栅式双目视觉传感器测量得到的不同子区域的三维形貌数据统一到全局坐标系。
其中,所述光栅式双目视觉传感器进一步包括两个摄像机和一个光栅激光器;
所述计算机,还用于控制所述控制器点亮平面靶标上的特征点,触发所述光栅激光器投射光栅光条;还用于采集图像,算法实现和结果显示;
所述光栅式双目视觉传感器的两个摄像机,用于进行所述光栅光条图像的采集;
所述宽视场摄像机,具体用于不同进行平面靶标图像的采集。
其中,所述光栅式双目视觉传感器的两个摄像机,用于将拍摄的图像通过所述图像采集***传送给所述计算机;
所述计算机,具体用于根据所述摄像机内部参数标定结果,对所述摄像机拍摄的图像完成图像畸变矫正后,进行光栅光条图像中心点识别机定位;并根据所述两个摄像机的光栅光条匹配结果及双目立体视觉原理,得到光栅光条中心点的三维坐标。
其中,所述计算机,具体用于根据预先选定的作为全局坐标系的平面靶标及识别定位的平面靶标特征点中心图像坐标,得到宽视场摄像机坐标系到全局坐标系的转换矩阵;利用所述转换矩阵及预先得到的光栅式双目视觉传感器坐标系到宽视场摄像机坐标系的转换矩阵,将测量得到的不同子区域的三维形貌数据统一到全局坐标系。
其中,所述宽视场摄像机,还用于当拍摄不到所述作为全局坐标系的平面靶标时,通过拍摄到的平面靶标和所述作为全局坐标系的平面靶标之间坐标系的转换矩阵、宽视场摄像机坐标系到全局坐标系的转换矩阵以及光栅式双目视觉传感器坐标系到宽视场摄像机坐标系的转换矩阵,将测量得到的不同子区域的三维形貌数据统一到全局坐标系。
一种大型构件表面三维形貌视觉测量方法,在大型构件的周围分布有多个平面靶标,三维光学测头和平面靶标连接控制器和图像采集***,所述控制器和图像采集***连接所述计算机;其中,所述三维光学测头包括光栅式双目视觉传感器和宽视场摄像机;所述方法包括:
三维光学测头的光栅式双目视觉传感器进行大型构件表面不同子区域的三维形貌测量;
三维光学测头的宽视场摄像机测量布置于大型构件周边的平面靶标;
计算机以宽视场摄像机测量的平面靶标为中介,将所述光栅式双目视觉传感器测量得到的不同子区域的三维形貌数据统一到全局坐标系。
其中,在光栅式双目视觉传感器进行大型构件表面不同子区域的三维形貌的测量之前,所述方法还包括:
计算机控制控制器点亮平面靶标上作为特征点的LED光源,触发所述光栅式双目视觉传感器的光栅激光器投射光栅光条,所述光栅式双目视觉传感器的两个摄像机进行所述光栅光条图像的采集;
所述宽视场摄像机同步采集平面靶标图像。
其中,所述光学侧头的光栅式双目视觉传感器进行大型构件表面不同子区域的三维形貌的测量为:
计算机根据摄像机内部参数标定结果,对光栅式双目视觉传感器的两个摄像机拍摄的图像完成图像畸变矫正后,进行光栅光条图像中心点识别及定位;
根据所述两个摄像机的光栅光条匹配结果及双目立体视觉原理,得到光栅光条中心点的三维坐标。
其中,所述计算机以所述宽视场摄像机测量的平面靶标为中介,将光栅式双目视觉传感器测量得到的不同子区域的三维形貌数据统一到全局坐标系为:
根据预先选定的作为全局坐标系的平面靶标及识别定位的平面靶标特征点中心图像坐标,得到宽视场摄像机坐标系到全局坐标系的转换矩阵;
利用所述转换矩阵及预先得到的光栅式双目视觉传感器坐标系到宽视场摄像机坐标系的转换矩阵,将测量得到的不同子区域的三维形貌数据统一到全局坐标系。
进一步地,所述方法还包括:
当所述三维光学测头拍摄不到所述作为全局坐标系的平面靶标时,通过拍摄到的平面靶标和所述作为全局坐标系的平面靶标之间坐标系的转换矩阵、宽视场摄像机坐标系到全局坐标系的转换矩阵以及光栅式双目视觉传感器坐标系到宽视场摄像机坐标系的转换矩阵,将测量得到的不同子区域的三维形貌数据统一到全局坐标系。
本发明将光栅式双目视觉传感器与宽视场摄像机结合在一起构成三维光学测头,通过一个三维光学测头摆放至不同位置对大型构件不同的子区域进行测量,以布置在大型构件周边的平面靶标为中介,将三维光学测头每次测量得到的局部数据统一到全局坐标系下,实现大型构件表面三维形貌视觉测量。本发明中,局部数据的全局统一是以布置于被测物体周围的平面靶标为中介实现的,不需要在被测物体上贴标记也不需要利用全局统一设备;同时平面靶标位置可以根据被测物体形状进行灵活排放,没有测量死角。
附图说明
图1为本发明大型构件表面三维形貌视觉测量***的结构示意图;
图2为本发明放置于三脚架上的三维光学测头的结构示意图;
图3为本发明平面靶标的结构示意图;
图4为本发明三维光学测头的宽视场摄像机的结构示意图;
图5为本发明大型构件表面三维形貌视觉测量方法的流程示意图;
图6为本发明光栅式双目视觉传感器测量模型示意图;
图7为本发明大型构件表面三维形貌视觉测量方法的全局统一过程的示意图。
具体实施方式
本发明的基本思想为:***包括图像采集***、控制器、计算机、一个三维光学测头、多个平面靶标,所述平面靶标分布在大型构件的周围,所述三维光学测头和平面靶标连接所述控制器和图像采集***,所述控制器和图像采集***连接所述计算机;其中,所述三维光学测头包括光栅式双目视觉传感器和宽视场摄像机;所述光栅式双目视觉传感器,用于进行大型构件表面不同子区域的三维形貌的测量;所述宽视场摄像机,用于测量布置于大型构件周边的平面靶标;所述计算机,用于以所述宽视场摄像机测量的平面靶标为中介,将所述光栅式双目视觉传感器测量得到的不同子区域的三维形貌数据统一到全局坐标系。
为使本发明的目的、技术方案和优点更加清楚明白,以下举实施例并参照附图,对本发明进一步详细说明。
图1示出了本发明大型构件表面三维形貌视觉测量***的结构示意,如图1所示,所述***包括图像采集***、控制器、计算机、一个三维光学测头、多个平面靶标,所述平面靶标分布在被测物体的周围,所述三维光学测头和平面靶标连接所述控制器和图像采集***,所述控制器和图像采集***连接所述计算机;其中,参照图2示出的本发明放置于三脚架上的三维光学测头的结构,所述三维光学测头包括光栅式双目视觉传感器和宽视场摄像机;所述光栅式双目视觉传感器,用于进行被测物体表面不同子区域的三维形貌测量;
所述宽视场摄像机,用于测量布置于被测物体周边的平面靶标;
所述计算机,用于以所述宽视场摄像机测量的平面靶标为中介,将所述光栅式双目视觉传感器测量得到的不同子区域的三维形貌数据统一到全局坐标系。
具体地,参照图2,所述光栅式双目视觉传感器进一步包括两个摄像机和一个光栅激光器;所述宽视场摄像机通过机械装置安装在所述光栅式双目视觉传感器上,本实施例中,宽视场摄像机与光栅式双目视觉传感器之间的位置保持固定不动。
平面靶标的结构如图3所示,这里,图3中的圆点为平面靶标的特征点,所述特征点为LED光源,各特征点位置经过预先的编码设计,宽视场摄像机可以根据所述特征点的位置关系识别出平面靶标序号,本发明实施例中,平面靶标可以通过三脚架支撑布置在被测物体周围。
进一步地,所述计算机,用于控制所述控制器点亮平面靶标上的特征点,触发所述光栅激光器投射光栅光条;同时计算机中测量软件用于采集图像,算法实现和结果显示等。
所述光栅式双目视觉传感器的两个摄像机,用于进行所述光栅光条图像的采集;
所述宽视场摄像机,具体用于不同进行平面靶标图像的采集。
其中,所述宽视场摄像机为反射折射摄像机或鱼眼摄像机。反射折射摄像机由一个***和其正前方的反射镜面构成;反射折射摄像机可以分为两类:一类为单光心,另一类为非单光心。其中,单光心反射折射摄像机很容易生成透视图像,在实际中有着广泛的应用。
单光心反射折射摄像机的反射镜面可分为四种类型:旋转抛物面镜、旋转双曲面镜、旋转椭球面镜和平面镜。不失一般性,为了便于理解,本实施例中以采用平面镜的反射折射摄像机为例,进行详细的介绍。参考图4,宽视场摄像机由一个摄像机11与一个四面镜12构成,通过四面镜12构成四个镜像摄像机13、14、15、16,实现宽视场测量。
进一步地,所述光栅式双目视觉传感器,具体用于根据摄像机内部参数标定结果矫正图像畸变,进行光栅光条图像中心点识别机定位;
所述光栅数双目视觉传感器,具体用于根据所述两个摄像机的光栅光条匹配结果及双目立体视觉原理,得到光栅光条中心点的三维坐标。
进一步地,所述宽视场摄像机,具体用于根据预先选定的作为全局坐标系的平面靶标及识别定位的平面靶标特征点中心图像坐标,得到宽视场摄像机坐标系到全局坐标系的转换矩阵;利用所述转换矩阵及预先得到的光栅式双目视觉传感器坐标系到宽视场摄像机坐标系的转换矩阵,将测量得到的不同子区域的三维形貌数据统一到全局坐标系。
进一步地,所述宽视场摄像机,还用于当拍摄不到所述作为全局坐标系的平面靶标时,通过拍摄到的平面靶标和所述作为全局坐标系的平面靶标之间坐标系的转换矩阵、宽视场摄像机坐标系到全局坐标系的转换矩阵以及光栅式双目视觉传感器坐标系到宽视场摄像机坐标系的转换矩阵,将测量得到的不同子区域的三维形貌数据统一到全局坐标系。
图5示出了本发明大型构件表面三维形貌视觉测量方法的流程,如图5所示,所述方法包括下述步骤:
步骤501,三维光学测头的光栅式双目视觉传感器进行大型构件表面不同子区域的三维形貌测量;
具体地,计算机根据摄像机内部参数标定结果,矫正光栅式双目视觉传感器采集图像的图像畸变后,进行光栅光条图像中心点识别及定位;根据所述两个摄像机的光栅光条匹配结果及双目立体视觉原理,得到光栅光条中心点的三维坐标。
另外,本步骤之前,还包括:计算机控制控制器点亮平面靶标上作为特征点的LED光源,触发所述光栅式双目视觉传感器的光栅激光器投射光栅光条,所述光栅式双目视觉传感器的两个摄像机进行所述光栅光条图像的采集;所述宽视场摄像机同步采集平面靶标图像。
步骤502,三维光学测头的宽视场摄像机测量布置于被测大型构件周边的平面靶标;
步骤503,计算机以宽视场摄像机测量的平面靶标为中介,将所述光栅式双目视觉传感器测量得到的不同子区域的三维形貌数据统一到全局坐标系
具体地,根据预先选定的作为全局坐标系的平面靶标及识别定位的平面靶标特征点中心图像坐标,得到宽视场摄像机坐标系到全局坐标系的转换矩阵;这里可以任意选取一个平面靶标的坐标系作为全局坐标系。
利用所述转换矩阵及预先得到的光栅式双目视觉传感器坐标系到宽视场摄像机坐标系的转换矩阵,将测量得到的不同子区域的三维形貌数据统一到全局坐标系。
当所述三维光学测头拍摄不到所述作为全局坐标系的平面靶标时,通过拍摄到的平面靶标和所述作为全局坐标系的平面靶标之间坐标系的转换矩阵、宽视场摄像机坐标系到全局坐标系的转换矩阵以及光栅式双目视觉传感器坐标系到宽视场摄像机坐标系的转换矩阵,将测量得到的不同子区域的三维形貌数据统一到全局坐标系。
应当理解,在实际视觉测量方法具体应用时,可以在三维光学测头对被测物体进行多次不同子区域的测量完成后,再将得到的多个子区域三维数据全局统一到全局坐标系,进而实现大型构件表面三维形貌视觉测量;也可以在三维光学测头每次对被测物体进行测量完成后,即将得到的该子区域三维数据全局统一到全局坐标系,经过多次测量以及全局统一后,实现大型构件表面三维形貌视觉测量。
本发明还提供了上述大型构件表面三维形貌视觉测量方法的具体实施例,具体包括下述步骤:
步骤101,动态视觉测量***标定。
A、三维光学测头中摄像机内部参数标定
将平面靶标在摄像机前自由移动五次以上,提取平面靶标特征点图像坐标,采用张正友在2000年11月发表的文章“A flexible new technique for cameracalibration[J].IEEE Trans.on Pattern Analysis and Machine Intelligence”中提到的摄像机标定方法分别标定三维光学测头中摄像机的内部参数。
B、三维光学测头中光栅式双目视觉传感器标定
采用周富强在2006年6月发表的文章“基于未知运动一维靶标的双目视觉传感器标定[J],机械工程学报”中提到的双目视觉传感器标定方法,将一维靶标在双目视觉传感器前移动两次以上,双目视觉传感器中摄像机拍摄一维靶标图像,提取一维靶标图像特征点。求解两个摄像机之间的本质矩阵,以一维靶标特征点之间距离已知为约束条件标定光栅式双目视觉传感器两个摄像机之间的旋转矩阵和平移矢量R12,t12
C、三维光学测头中四个镜像摄像机和光栅式双目视觉传感器的全局校准
采用张广军在2009年7月发表的文章“基于双平面靶标的多视觉传感器现场校准[J],机械工程学报”中提到的多视觉传感器全局校准方法,将双平面靶标在两个带校准视觉传感器前自由移动三次以上,两个视觉传感器拍摄平面靶标图像,以两个平面靶标之间位置不变为约束条件,计算两个视觉传感器之间的转换矩阵。最后通过两两校准方式计算宽视场摄像机中四个镜像式摄像机坐标系之间的转换矩阵TCij(i,j=1,2,3,4),TCij下标中的i,j分别表示镜像摄像机的序号,例如TC12表示镜像摄像机1到镜像摄像机2的转换矩阵。以镜像式摄像机13为基础建立宽视场摄像机坐标系(当然也可以以其他任意一个镜像式摄像机为基础建立宽视场摄像机坐标系),计算光栅式双目视觉传感器坐标系到宽视场摄像机坐标系的转换矩阵Th
步骤102,计算机通过控制器控制平面靶标上的LED光源点亮,同时触发三维光学测头中的光栅激光器投射光栅光条、两个摄像机采集光栅光条图像到计算机内存中,宽视场摄像机同步采集全局统一用平面靶标图像。
步骤103,光栅光条图像中心快速识别及定位;
采用Steger在1998年2月发表的论文“An unbiased detector of curvilinearstructures,IEEE Transaction on Pattern Analysis Machine Intelligence.”提到的光条图像中心提取方法提取光栅光条图像中心点。首先计算图像各点Hessian(海森)矩阵,根据光条图像灰度曲面特征,通过各图像点的Hessian矩阵中特征值和特征向量判断光条中心候选点,再通过链接方式将光条中心候选点链接在一起形成光条图像数据。最后采用光条空间位置约束结合双目立体视觉中的极线约束实现左右摄像机中光条的识别定位。
步骤104,光栅式双目视觉传感器局部三维重建;
在图6中,光栅光条点P分别在左、右摄像机成像,利用双目立体视觉模型解算点P在双目视觉传感器坐标系下的三维坐标。以左摄像机坐标系为基础建立双目视觉传感器坐标系。设p1和p2分别为光栅光条点P在左右摄像机图像坐标系下无畸变图像齐次坐标。l1为p1在左摄像机图像中的极线,l2为p2在右摄像机图像中的极线。左摄像机坐标系为Oc1xc1yc1zc1,右摄像机坐标系为Oc2xc2yc2zc2。左摄像机坐标系到右摄像机坐标系的旋转矩阵和平移向量为R12,t12。R12,t12在步骤101中已经求得。
光栅式双目视觉传感器的测量模型如式(1):
ρ 1 p 1 = A 1 I 0 P ρ 2 p 2 = A 2 R 12 t 12 P - - - ( 1 )
式中A1和A2分别为左右摄像机内部参数,ρ1、ρ2为非零比例系数。
在实际测量中,摄像机成像***中往往存在镜头畸变。设pd=(ud,vd,1)T为有畸变图像齐次坐标,p=(u,v,1)T为无畸变图像齐次坐标,pn=(un,vn,1)T为归一化图像齐次坐标,则本实施例中拟采用的镜头畸变模型可表示为:
ud=u+(u-u0)(k1r2+k2r4)
                                        (2)
vd=v+(v-v0)(k1r2+k2r4)
式中k1、k2为镜头径向畸变系数;(u0,v0)为摄像机主点坐标。
根据步骤103中匹配上的光条中心点图像坐标,通过式(1),可以得到光条中心点在光栅式双目视觉传感器坐标系下三维坐标,实现光栅式双目视觉传感器局部三维重建。
步骤105,平面靶标光点中心识别及定位;
本发明的实施例在靶标上采用LED光源作为靶标发光特征点(简称光点),解决背景光对光点图像中心提取精度的影响。LED光源生成的光点图像灰度分布符合高斯分布,光点图像中心也就是光点图像灰度曲面的顶点。
本发明采用公开号为CN101408985,公开日为2009年4月15日,发明名称为“一种圆形光斑亚像素中心提取方法及装置”的中国专利申请中提到的光点图像中心提取方法实现全局统一用平面靶标光点中心定位,该方法首先计算图像各点的Hessian矩阵,根据由Hessian中特征值组成的判决式定位光点中心的像素级坐标,再通过二次泰勒展开式表示光点图像中心邻居区域的灰度曲面,根据曲面顶点性质确定光点中心的亚像素图像坐标。
另外,为了便于识别,在平面靶标特征点之间位置已知,且采用编码设计,可根据特征点位置识别出平面靶标序号。
步骤106,局部三维扫描数据的全局统一
本发明采用布置在被测物体周围的平面靶标作为中介来实现局部三维扫描数据的全局统一,以宽视场摄像机中的一个镜像摄像机为基础建立三维光学测头坐标系。如图7所示,描述了本发明实施例采用的全局统一过程:光栅式双目视觉传感器测量被测物体的某一子区域的表面三维形貌,宽视场摄像机拍摄布置在被测物理周边的平面靶标,计算视场中平面靶标坐标之间的转换矩阵Tti,tj(ti表示第i个平面靶标,tj表示第j个平面靶标)及宽视场摄像机坐标系到全局坐标系的转换矩阵TC,t1(t1表示平面靶标1的坐标系作为全局坐标系),以宽视场摄像机共同视场中平面靶标为中介,实现三维光学测头局部测量数据的全局统一。
不失一般性,选取平面靶标1坐标系作为全局坐标系。将三维光学测头放置在被测物体前,保证宽视场摄像机可以拍摄到平面靶标。在光栅式双目视觉传感器进行局部三维测量同时,宽视场摄像机拍摄全局统一用平面靶标,利用非共线特征点的编码位置识别出平面靶标序号,同时根据张正友的文章“Aflexible new technique for camera calibration [J].IEEE Transaction on PatternAnalysis and Machine Intelligence”提到的方法计算出宽视场摄像机坐标系与全局坐标系的转换矩阵TC,t1及平面靶标之间的转换矩阵Tti,tj(i,j=1,2,3)。
通过式(3)可以将光条中心点局部三维坐标全局统一到全局坐标系。
PG=TC,t1ThPO                        (3)
式中PO为光栅式双目视觉传感器测量得到的光栅光条中心点在光栅式双目视觉传感器坐标系下三维坐标,PG为PO在全局坐标系下三维坐标。
由于现场测量环境复杂,存在遮挡等因数,在每次测量时,宽视场摄像机有可能拍摄不到作为全局坐标系的平面靶标1,这时可根据在之前测量得到的平面靶标之间的转换矩阵,通过宽视场摄像机拍摄的平面靶标将局部三维数据全局统一到全局坐标系。例如,宽视场摄像机拍摄不到平面靶标1,但可以拍摄到平面靶标3,具体全局统一过程见式(4)。
PG=Tt3,t1TC,t3ThPO                (4)
综上所述,本发明将光栅式双目视觉传感器与宽视场摄像机结合在一起构成三维光学测头,通过一个三维光学测头摆放至不同位置,多次测量被测物体不同的子区域,以布置在被测物体周边的平面靶标为中介,将三维光学测头每次测量得到的局部数据统一到全局坐标系下,实现大型构件表面三维形貌视觉测量。本发明中,局部数据的全局统一是以布置于被测物体周围的平面靶标为中介实现的,不需要在被测物体上贴标记也不需要利用全局统一设备;同时平面靶标位置可以根据被测物体形状进行灵活排放,没有测量死角。
以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。

Claims (10)

1.一种大型构件表面三维形貌视觉测量***,其特征在于,所述***包括图像采集***、控制器、计算机、一个三维光学测头、多个平面靶标,所述平面靶标分布在大型构件的周围,所述三维光学测头和平面靶标连接所述控制器和图像采集***,所述控制器和图像采集***连接所述计算机;其中,所述三维光学测头包括光栅式双目视觉传感器和宽视场摄像机;
所述光栅式双目视觉传感器,用于进行大型构件表面不同子区域的三维形貌测量;
所述宽视场摄像机,用于测量布置于大型构件周边的平面靶标;
所述计算机,用于以所述宽视场摄像机测量的平面靶标为中介,将所述光栅式双目视觉传感器测量得到的不同子区域的三维形貌数据统一到全局坐标系。
2.根据权利要求1所述的***,其特征在于,所述光栅式双目视觉传感器进一步包括两个摄像机和一个光栅激光器;
所述计算机,还用于控制所述控制器点亮平面靶标上的特征点,触发所述光栅激光器投射光栅光条;还用于采集图像,算法实现和结果显示;
所述光栅式双目视觉传感器的两个摄像机,用于进行所述光栅光条图像的采集;
所述宽视场摄像机,具体用于不同进行平面靶标图像的采集。
3.根据权利要求1所述的***,其特征在于,所述光栅式双目视觉传感器的两个摄像机,用于将拍摄的图像通过所述图像采集***传送给所述计算机;
所述计算机,具体用于根据所述摄像机内部参数标定结果,对所述摄像机拍摄的图像完成图像畸变矫正后,进行光栅光条图像中心点识别机定位;并根据所述两个摄像机的光栅光条匹配结果及双目立体视觉原理,得到光栅光条中心点的三维坐标。
4.根据权利要求3所述的***,其特征在于,所述计算机,具体用于根据预先选定的作为全局坐标系的平面靶标及识别定位的平面靶标特征点中心图像坐标,得到宽视场摄像机坐标系到全局坐标系的转换矩阵;利用所述转换矩阵及预先得到的光栅式双目视觉传感器坐标系到宽视场摄像机坐标系的转换矩阵,将测量得到的不同子区域的三维形貌数据统一到全局坐标系。
5.根据权利要求4所述的***,其特征在于,所述宽视场摄像机,还用于当拍摄不到所述作为全局坐标系的平面靶标时,通过拍摄到的平面靶标和所述作为全局坐标系的平面靶标之间坐标系的转换矩阵、宽视场摄像机坐标系到全局坐标系的转换矩阵以及光栅式双目视觉传感器坐标系到宽视场摄像机坐标系的转换矩阵,将测量得到的不同子区域的三维形貌数据统一到全局坐标系。
6.一种大型构件表面三维形貌视觉测量方法,其特征在于,在大型构件的周围分布有多个平面靶标,三维光学测头和平面靶标连接控制器和图像采集***,所述控制器和图像采集***连接所述计算机;其中,所述三维光学测头包括光栅式双目视觉传感器和宽视场摄像机;所述方法包括:
三维光学测头的光栅式双目视觉传感器进行大型构件表面不同子区域的三维形貌测量;
三维光学测头的宽视场摄像机测量布置于大型构件周边的平面靶标;
计算机以宽视场摄像机测量的平面靶标为中介,将所述光栅式双目视觉传感器测量得到的不同子区域的三维形貌数据统一到全局坐标系。
7.根据权利要求6所述的方法,其特征在于,在光栅式双目视觉传感器进行大型构件表面不同子区域的三维形貌的测量之前,所述方法还包括:
计算机控制控制器点亮平面靶标上作为特征点的LED光源,触发所述光栅式双目视觉传感器的光栅激光器投射光栅光条,所述光栅式双目视觉传感器的两个摄像机进行所述光栅光条图像的采集;
所述宽视场摄像机同步采集平面靶标图像。
8.根据权利要求6所述的方法,其特征在于,所述光学侧头的光栅式双目视觉传感器进行大型构件表面不同子区域的三维形貌的测量为:
计算机根据摄像机内部参数标定结果,对光栅式双目视觉传感器的两个摄像机拍摄的图像完成图像畸变矫正后,进行光栅光条图像中心点识别及定位;
根据所述两个摄像机的光栅光条匹配结果及双目立体视觉原理,得到光栅光条中心点的三维坐标。
9.根据权利要求8所述的方法,其特征在于,所述计算机以所述宽视场摄像机测量的平面靶标为中介,将光栅式双目视觉传感器测量得到的不同子区域的三维形貌数据统一到全局坐标系为:
根据预先选定的作为全局坐标系的平面靶标及识别定位的平面靶标特征点中心图像坐标,得到宽视场摄像机坐标系到全局坐标系的转换矩阵;
利用所述转换矩阵及预先得到的光栅式双目视觉传感器坐标系到宽视场摄像机坐标系的转换矩阵,将测量得到的不同子区域的三维形貌数据统一到全局坐标系。
10.根据权利要求9所述的方法,其特征在于,所述方法还包括:
当所述三维光学测头拍摄不到所述作为全局坐标系的平面靶标时,通过拍摄到的平面靶标和所述作为全局坐标系的平面靶标之间坐标系的转换矩阵、宽视场摄像机坐标系到全局坐标系的转换矩阵以及光栅式双目视觉传感器坐标系到宽视场摄像机坐标系的转换矩阵,将测量得到的不同子区域的三维形貌数据统一到全局坐标系。
CN 201110308745 2011-10-12 2011-10-12 一种大型构件表面三维形貌视觉测量方法及*** Expired - Fee Related CN102445164B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201110308745 CN102445164B (zh) 2011-10-12 2011-10-12 一种大型构件表面三维形貌视觉测量方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201110308745 CN102445164B (zh) 2011-10-12 2011-10-12 一种大型构件表面三维形貌视觉测量方法及***

Publications (2)

Publication Number Publication Date
CN102445164A true CN102445164A (zh) 2012-05-09
CN102445164B CN102445164B (zh) 2012-12-12

Family

ID=46007894

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201110308745 Expired - Fee Related CN102445164B (zh) 2011-10-12 2011-10-12 一种大型构件表面三维形貌视觉测量方法及***

Country Status (1)

Country Link
CN (1) CN102445164B (zh)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103307998A (zh) * 2013-05-27 2013-09-18 深圳先进技术研究院 一种三维扫描***及方法
CN103438829A (zh) * 2013-08-30 2013-12-11 北京三维麦普导航测绘技术有限公司 一种智能化激光三维信息测量仪
CN103557795A (zh) * 2013-11-18 2014-02-05 南车二七车辆有限公司 一种铁路货车检测用参照装置及其布置方法
CN103759671A (zh) * 2014-01-10 2014-04-30 西北农林科技大学 一种牙模三维表面数据非接触扫描方法
CN104240221A (zh) * 2013-06-18 2014-12-24 烟台大学 一种镜头相背双相机相对方位标定装置与方法
CN105136065A (zh) * 2015-09-11 2015-12-09 成都金本华电子有限公司 飞机结构件特征点自动采集***及其采集方法
CN105855991A (zh) * 2016-05-31 2016-08-17 芜湖卓越空调零部件有限公司 一种用于消音器零件数控加工的视觉监测***
CN105921581A (zh) * 2016-05-30 2016-09-07 湖南大学 一种汽车覆盖件拉延模具变形量的测量装置和方法
CN106444846A (zh) * 2016-08-19 2017-02-22 杭州零智科技有限公司 移动终端的定位和控制方法、装置及无人机
CN107121967A (zh) * 2017-05-25 2017-09-01 西安知象光电科技有限公司 一种激光在机找正和工序间测量装置
CN107421447A (zh) * 2017-09-05 2017-12-01 葛洲坝易普力新疆***工程有限公司 一种基于双目视觉识别井下炮孔方位的方法
CN108311952A (zh) * 2017-12-27 2018-07-24 山东省青岛第四十五中学(青岛工贸职业学校) 一种实时自反馈数控机床及其加工方法
CN108458658A (zh) * 2018-04-20 2018-08-28 南京航空航天大学 一种基于光照反射模型的微细孔三维形貌测量装置及方法
CN108917602A (zh) * 2018-07-09 2018-11-30 北京航空航天大学 一种全景结构光视觉测量***及通用畸变模型参数标定方法
CN109540041A (zh) * 2019-01-14 2019-03-29 吉林大学 双目主动视觉矢量正交归一化汽车形貌测量***与方法
CN111561867A (zh) * 2020-04-15 2020-08-21 成都飞机工业(集团)有限责任公司 一种飞机表面形貌数字化测量方法
CN111780683A (zh) * 2020-06-29 2020-10-16 易思维(杭州)科技有限公司 便携式扫描***及其使用方法
CN112130591A (zh) * 2020-09-27 2020-12-25 安徽埃克索医疗机器人有限公司 一种多角度空间光学追踪方法
CN112268548A (zh) * 2020-12-14 2021-01-26 成都飞机工业(集团)有限责任公司 一种基于双目视觉的飞机局部外形测量方法
CN112504159A (zh) * 2020-10-27 2021-03-16 成都飞机工业(集团)有限责任公司 一种变截面筒状零件内腔三维形貌测量装置及方法
CN113432550A (zh) * 2021-06-22 2021-09-24 北京航空航天大学 一种基于相位匹配的大尺寸零件三维测量拼接方法
CN113551611A (zh) * 2021-06-15 2021-10-26 西安交通大学 大尺寸运动物体的立体视觉测量方法、***、设备及存储介质
CN114029946A (zh) * 2021-10-14 2022-02-11 五邑大学 一种基于3d光栅引导机器人定位抓取的方法、装置及设备
CN114413790A (zh) * 2022-01-31 2022-04-29 北京航空航天大学 固连摄影测量相机的大视场三维扫描装置及方法
CN114910021A (zh) * 2022-05-07 2022-08-16 泰州市创新电子有限公司 一种光栅式双目立体视觉三维测量***及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002022444A (ja) * 2000-07-04 2002-01-23 Takenaka Komuten Co Ltd 座標情報収集システム、座標情報収集方法及びマーク部材
DE102006031142A1 (de) * 2006-07-05 2008-01-10 Prüf- und Forschungsinstitut Pirmasens e.V. Verfahren und Vorrichtung zum dreidimensionalen Vermessen und Prüfen von Sportbällen und kugelförmigen Objekten
CN201041488Y (zh) * 2007-05-11 2008-03-26 同济大学 岩石表面三维形貌测量仪

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002022444A (ja) * 2000-07-04 2002-01-23 Takenaka Komuten Co Ltd 座標情報収集システム、座標情報収集方法及びマーク部材
DE102006031142A1 (de) * 2006-07-05 2008-01-10 Prüf- und Forschungsinstitut Pirmasens e.V. Verfahren und Vorrichtung zum dreidimensionalen Vermessen und Prüfen von Sportbällen und kugelförmigen Objekten
CN201041488Y (zh) * 2007-05-11 2008-03-26 同济大学 岩石表面三维形貌测量仪

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘震等,1: "基于双平面靶标的多视觉传感器现场全局校准", 《机械工程学报》 *

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103307998A (zh) * 2013-05-27 2013-09-18 深圳先进技术研究院 一种三维扫描***及方法
CN104240221A (zh) * 2013-06-18 2014-12-24 烟台大学 一种镜头相背双相机相对方位标定装置与方法
CN103438829A (zh) * 2013-08-30 2013-12-11 北京三维麦普导航测绘技术有限公司 一种智能化激光三维信息测量仪
CN103438829B (zh) * 2013-08-30 2016-04-13 北京三维麦普导航测绘技术有限公司 一种智能化激光三维信息测量仪
CN103557795A (zh) * 2013-11-18 2014-02-05 南车二七车辆有限公司 一种铁路货车检测用参照装置及其布置方法
CN103557795B (zh) * 2013-11-18 2015-12-09 南车二七车辆有限公司 一种铁路货车检测用参照装置及其布置方法
CN103759671A (zh) * 2014-01-10 2014-04-30 西北农林科技大学 一种牙模三维表面数据非接触扫描方法
CN105136065A (zh) * 2015-09-11 2015-12-09 成都金本华电子有限公司 飞机结构件特征点自动采集***及其采集方法
CN105136065B (zh) * 2015-09-11 2018-02-06 成都金本华电子有限公司 飞机结构件特征点自动采集***及其采集方法
CN105921581B (zh) * 2016-05-30 2017-12-12 湖南大学 一种汽车覆盖件拉延模具变形量的测量方法
CN105921581A (zh) * 2016-05-30 2016-09-07 湖南大学 一种汽车覆盖件拉延模具变形量的测量装置和方法
CN105855991A (zh) * 2016-05-31 2016-08-17 芜湖卓越空调零部件有限公司 一种用于消音器零件数控加工的视觉监测***
CN106444846A (zh) * 2016-08-19 2017-02-22 杭州零智科技有限公司 移动终端的定位和控制方法、装置及无人机
CN107121967A (zh) * 2017-05-25 2017-09-01 西安知象光电科技有限公司 一种激光在机找正和工序间测量装置
CN107421447A (zh) * 2017-09-05 2017-12-01 葛洲坝易普力新疆***工程有限公司 一种基于双目视觉识别井下炮孔方位的方法
CN108311952A (zh) * 2017-12-27 2018-07-24 山东省青岛第四十五中学(青岛工贸职业学校) 一种实时自反馈数控机床及其加工方法
CN108311952B (zh) * 2017-12-27 2021-01-12 于振 一种实时自反馈数控机床及其加工方法
CN108458658A (zh) * 2018-04-20 2018-08-28 南京航空航天大学 一种基于光照反射模型的微细孔三维形貌测量装置及方法
CN108917602B (zh) * 2018-07-09 2019-07-02 北京航空航天大学 一种全景结构光视觉测量***及通用畸变模型参数标定方法
CN108917602A (zh) * 2018-07-09 2018-11-30 北京航空航天大学 一种全景结构光视觉测量***及通用畸变模型参数标定方法
CN109540041A (zh) * 2019-01-14 2019-03-29 吉林大学 双目主动视觉矢量正交归一化汽车形貌测量***与方法
CN111561867A (zh) * 2020-04-15 2020-08-21 成都飞机工业(集团)有限责任公司 一种飞机表面形貌数字化测量方法
CN111780683A (zh) * 2020-06-29 2020-10-16 易思维(杭州)科技有限公司 便携式扫描***及其使用方法
CN112130591A (zh) * 2020-09-27 2020-12-25 安徽埃克索医疗机器人有限公司 一种多角度空间光学追踪方法
CN112504159B (zh) * 2020-10-27 2022-04-08 成都飞机工业(集团)有限责任公司 一种变截面筒状零件内腔三维形貌测量装置及方法
CN112504159A (zh) * 2020-10-27 2021-03-16 成都飞机工业(集团)有限责任公司 一种变截面筒状零件内腔三维形貌测量装置及方法
CN112268548A (zh) * 2020-12-14 2021-01-26 成都飞机工业(集团)有限责任公司 一种基于双目视觉的飞机局部外形测量方法
CN113551611A (zh) * 2021-06-15 2021-10-26 西安交通大学 大尺寸运动物体的立体视觉测量方法、***、设备及存储介质
CN113551611B (zh) * 2021-06-15 2022-04-22 西安交通大学 大尺寸运动物体的立体视觉测量方法、***、设备及存储介质
CN113432550A (zh) * 2021-06-22 2021-09-24 北京航空航天大学 一种基于相位匹配的大尺寸零件三维测量拼接方法
CN114029946A (zh) * 2021-10-14 2022-02-11 五邑大学 一种基于3d光栅引导机器人定位抓取的方法、装置及设备
CN114413790A (zh) * 2022-01-31 2022-04-29 北京航空航天大学 固连摄影测量相机的大视场三维扫描装置及方法
CN114910021A (zh) * 2022-05-07 2022-08-16 泰州市创新电子有限公司 一种光栅式双目立体视觉三维测量***及方法

Also Published As

Publication number Publication date
CN102445164B (zh) 2012-12-12

Similar Documents

Publication Publication Date Title
CN102445164B (zh) 一种大型构件表面三维形貌视觉测量方法及***
CN102506758A (zh) 物体表面三维形貌多传感器柔性动态视觉测量***和方法
CN103759669B (zh) 一种大型零件的单目视觉测量方法
Shang et al. Measurement methods of 3D shape of large-scale complex surfaces based on computer vision: A review
US8744133B1 (en) Methods and systems for locating visible differences on an object
CN103186892B (zh) 利用航拍图像生成等比例实景现场图的方法及***
CN104034263B (zh) 一种锻件尺寸的非接触测量方法
CN103954221B (zh) 大型柔性结构振动位移的双目摄影测量方法
CN103575227A (zh) 一种基于数字散斑的视觉引伸计实现方法
CN102155923A (zh) 基于立体靶标的拼接测量方法及***
CN106408601B (zh) 一种基于gps的双目融合定位方法及装置
CN105115560B (zh) 一种船舱舱容的非接触测量方法
CN104913737A (zh) 基于线激光三维测量的零部件质量检验装置及其检测方法
CN103162622A (zh) 单目视觉***及其使用的便携式球靶标及其测量方法
CN104990515A (zh) 大型物体三维形状测量***及其测量方法
CN105157592A (zh) 基于双目视觉的柔性后缘可变形机翼的变形形状和速率的测量方法
CN104459183A (zh) 一种基于物联网的单相机车辆测速***及方法
CN105957096A (zh) 一种用于三维数字图像相关的相机外参标定方法
CN110047111A (zh) 一种基于立体视觉的停机坪廊桥对接误差测量方法
CN105046715A (zh) 一种基于空间解析几何的线阵相机标定方法
CN106643492A (zh) 一种航空发动机损伤叶片三维数字散斑造型方法
CN101629822A (zh) 振动环境中的多相机动态摄影测量方法
CN112415010B (zh) 一种成像检测方法及***
CN106489062A (zh) 用于测量移动平台的位移的***和方法
CN104634246A (zh) 目标空间坐标的浮动式立体视觉测量***及测量方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20121212

Termination date: 20171012

CF01 Termination of patent right due to non-payment of annual fee