CN102506758A - 物体表面三维形貌多传感器柔性动态视觉测量***和方法 - Google Patents

物体表面三维形貌多传感器柔性动态视觉测量***和方法 Download PDF

Info

Publication number
CN102506758A
CN102506758A CN2011103089051A CN201110308905A CN102506758A CN 102506758 A CN102506758 A CN 102506758A CN 2011103089051 A CN2011103089051 A CN 2011103089051A CN 201110308905 A CN201110308905 A CN 201110308905A CN 102506758 A CN102506758 A CN 102506758A
Authority
CN
China
Prior art keywords
dimensional
video camera
plane target
target drone
visual field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011103089051A
Other languages
English (en)
Other versions
CN102506758B (zh
Inventor
刘震
张广军
樊巧云
黄邦奎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN 201110308905 priority Critical patent/CN102506758B/zh
Publication of CN102506758A publication Critical patent/CN102506758A/zh
Application granted granted Critical
Publication of CN102506758B publication Critical patent/CN102506758B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开一种物体表面三维形貌多传感器柔性动态视觉测量***和方法,***包括:多个三维光学测头和平面靶标、控制器、图像采集***和核心计算机,三维光学测头和平面靶标分布在被测物体周围;三维光学测头包括光栅式双目视觉传感器和宽视场摄像机;核心计算机通过控制器控制平面靶标上的特征点点亮,宽视场摄像机测量其周边的平面靶标,光栅式双目视觉传感器测量被测物体的表面三维形貌,以宽视场摄像机共同视场中的平面靶标为中介,将光栅式双目视觉传感器测量所得的局部三维数据统一到全局坐标系。本发明解决了现有多视觉传感器测量***中各视觉传感器之间刚性连接,动态测量精度受现场振动环境影响大等问题。

Description

物体表面三维形貌多传感器柔性动态视觉测量***和方法
技术领域
本发明涉及物体表面三维形貌的动态视觉测量技术,尤其涉及一种物体表面三维形貌多传感器柔性动态视觉测量***和方法。
背景技术
大型机械构件(以下简称大型构件)是国家重大装备的关键核心部件,如大型船舶用各类转轴、大型发电设备用各类转轴及转子、航空航天用各类转子及叶片等。目前制约大型构件动态视觉测量的关键难点主要是:大型构件尺寸大,加工过程中往往存在测量现场强振动、机械构件高温状态、测量空间狭小等复杂恶劣的现场工作环境(以下简称复杂现场环境);这些都要求动态测量***具有测量范围大、抗现场强振动、可测量高温构件、实时性强等特点。
目前,大型构件表面三维形貌检测主要包括接触式和非接触式两种。接触式检测技术主要包括:人工采用卡具测量和三坐标测量机。人工采用卡具测量的操作简单、成本低,是目前生产中较多采用的一种测量方法,但测量效率低、精度差、无法实现动态测量。三坐标测量机是完成三坐标测量的通用设备,具有很好的测量精度,但测量范围有限,同样无法实现动态测量。非接触式检测技术主要有激光跟踪仪、3D激光测距仪、全站仪、经纬仪、视觉检测技术等。激光跟踪仪、3D激光测距仪、全站仪及经纬仪适于一般现场条件,测量范围大、精度高,但主要缺点是测量效率低,一次只能实现单点测量,无法实现大型构件表面三维形貌的高密度、动态测量。
目前广泛使用的视觉检测技术主要包括:被动视觉检测技术和主动视觉检测技术。
被动视觉检测技术的设备要求简单,可在自然光照明情况下获得被测物体表面三维信息,已广泛应用于汽车车身测量、大型天线变形测量、大飞机装配、大型锻造件加工等领域。被动视觉检测技术的主要缺点是如果不采用辅助测量手段,被动视觉检测技术测量信息较少,仅适合简单几何参数测量。
主动视觉检测技术主要包括:傅立叶轮廓术、相位测量轮廓术、结构光视觉检测法。傅立叶变换轮廓术适合动态测量,但运算时间长、自动化性能较差。相位测量轮廓术具有较高的测量精度,但不适合动态测量。结构光视觉检测法中,线结构光法和光栅结构光法是目前工业现场应用最广泛的三维动态视觉检测方法,该方法具有设备简单、自动化程度、适合动态测量等优点。两者的主要区别是:线结构光法投射一根光条,测量物体一个表面轮廓;光栅结构光法投射多根光条,测量物体多个表面轮廓。光栅结构光法更具效率,但存在***标定复杂和光条自动识别困难等难题。
大型构件尺寸大,存在自身遮挡,单个视觉传感器无法实现整个大型构件表面三维形貌动态视觉测量。通常可将测量区域分成多个子区域,将各子区域的三维数据统一到全局坐标系,以获得整个构件表面的三维形貌。根据全局统一方式的不同,视觉检测主要分为两大类:流动式视觉检测法和多传感器视觉检测法。
流动式视觉检测法通过单个视觉传感器以流动方式测量整个大型构件表面的三维形貌,以粘贴在机械构件上的标志点或放置在机械构件前的靶标标志点为中介,将所有流动测量得到的子区域测量数据统一到全局坐标系。该方法的优点是设备简单、操作方便,适合工业现场静态测量,但无法满足动态测量要求。
多传感器视觉检测法在测量前完成多视觉传感器全局标定,测量时根据全局标定结果,将每个视觉传感器测量的子区域数据统一到全局坐标系。该方法原理简单,可以实现整个构件表面三维形貌的动态视觉测量,但由于视觉传感器之间属于刚性连接,因此存在多视觉传感器现场全局标定困难,全局标定后***测量精度受现场强振动环境影响较大等局限性。
发明内容
有鉴于此,本发明的主要目的在于提供一种物体表面三维形貌多传感器柔性动态视觉测量***和方法,以解决现有多视觉传感器测量***中各视觉传感器之间刚性连接,动态测量精度受现场振动环境影响大等问题。
为达到上述目的,本发明的技术方案是这样实现的:
本发明提供了一种物体表面三维形貌多传感器柔性动态视觉测量***,该***包括:多个三维光学测头、多个全局统一用平面靶标、控制器、图像采集***和核心计算机,所述三维光学测头和平面靶标分布在被测物体的周围,所述三维光学测头和平面靶标连接所述控制器和图像采集***,所述控制器和图像采集***连接所述核心计算机;所述三维光学测头包括光栅式双目视觉传感器和宽视场摄像机;其中,
所述核心计算机,用于通过控制器控制所述平面靶标上的特征点点亮,控制所述宽视场摄像机测量其周边的所述平面靶标,控制所述光栅式双目视觉传感器测量所述被测物体的表面三维形貌,并以所述宽视场摄像机共同视场中的平面靶标为中介,将所述光栅式双目视觉传感器测量所得的局部三维数据统一到全局坐标系;
所述图像采集***,用于采集所述宽视场摄像机和光栅式双目视觉传感器的测量所得数据,并提供给所述核心计算机。
其中,每个所述三维光学测头的宽视场摄像机,用于根据其自身内部参数标定结果校正测量所得平面靶标特征点中心图像畸变后,进行平面靶标特征点中心图像坐标识别及定位;
每个所述三维光学测头的光栅式双目视觉传感器,用于根据其自身内部参数标定结果校正测量所得光栅光条图像畸变后,进行光栅光条图像中心点识别及定位。
其中,所述光栅式双目视觉传感器包括光栅激光器、第一摄像机和第二摄像机,其中,
所述光栅激光器,用于投射光栅光条;
所述第一摄像机和第二摄像机,用于采集光栅光条图像提供给所述图像采集***。
其中,每个所述三维光学测头的光栅式双目视觉传感器进一步用于,根据所述第一摄像机和第二摄像机采集的光栅光条图像的匹配结果,采用双目立体视觉原理,计算光栅光条图像中心点的三维坐标,测量得到局部三维数据。
其中,所述核心计算机进一步用于,任意选取一个平面靶标坐标系作为全局坐标系,根据识别及定位的平面靶标特征点中心图像坐标,计算出每个三维光学测头中宽视场摄像机坐标系到所述全局坐标系的转换矩阵,并将所述光栅式双目视觉传感器测量得到的局部三维数据全局统一到所述全局坐标系。
其中,所述宽视场摄像机为鱼眼摄像机或反射折射摄像机。
本发明还提供了一种物体表面三维形貌多传感器柔性动态视觉测量方法,在被测物体的周围分布多个三维光学测头和多个全局统一用平面靶标,所述三维光学测头和平面靶标连接控制器和图像采集***,所述控制器和图像采集***连接所述核心计算机,所述三维光学测头包括光栅式双目视觉传感器和宽视场摄像机;该方法包括:
所述核心计算机通过控制器控制所述平面靶标上的特征点点亮,控制所述宽视场摄像机测量其周边的所述平面靶标,控制所述光栅式双目视觉传感器测量所述被测物体的表面三维形貌;
以所述宽视场摄像机共同视场中的平面靶标为中介,将所述光栅式双目视觉传感器测量所得的局部三维数据统一到全局坐标系。
其中,所述宽视场摄像机测量其周边的所述平面靶标,具体为:每个所述三维光学测头的宽视场摄像机根据其自身内部参数标定结果校正测量所得平面靶标特征点中心图像畸变后,进行平面靶标特征点中心图像坐标识别及定位;
所述光栅式双目视觉传感器测量所述被测物体的表面三维形貌,具体为:每个所述三维光学测头的光栅式双目视觉传感器根据其自身内部参数标定结果校正测量所得光栅光条图像畸变后,进行光栅光条图像中心点识别及定位。
其中,所述光栅式双目视觉传感器包括光栅激光器、第一摄像机和第二摄像机,其中,所述光栅激光器投射光栅光条,所述第一摄像机和第二摄像机采集光栅光条图像提供给所述图像采集***。
其中,所述光栅式双目视觉传感器测量所述被测物体的表面三维形貌,具体为:
每个所述三维光学测头的光栅式双目视觉传感器根据所述第一摄像机和第二摄像机采集的光栅光条图像的匹配结果,采用双目立体视觉原理,计算光栅光条图像中心点的三维坐标,测量得到局部三维数据。
其中,所述以宽视场摄像机共同视场中的平面靶标为中介,将所述光栅式双目视觉传感器测量所得的局部三维数据统一到全局坐标系,具体为:
核心计算机任意选取一个平面靶标坐标系作为全局坐标系,根据识别及定位的平面靶标特征点中心图像坐标,计算出每个三维光学测头中宽视场摄像机坐标系到所述全局坐标系的转换矩阵,并将所述光栅式双目视觉传感器测量得到的局部三维数据全局统一到所述全局坐标系。
其中,所述宽视场摄像机为鱼眼摄像机或反射折射摄像机。
本发明所提供的一种物体表面三维形貌多传感器柔性动态视觉测量***和方法,将光栅式双目视觉传感器与宽视场摄像机结合在一起构成三维光学测头,将三维光学测头布置在被测物体周边,以布置在周边的平面靶标为中介,将每个三维光学测头测量得到的局部数据统一到全局坐标系下,实现整个物体表面三维形貌的柔性动态视觉测量。
本发明中的多个视觉传感器在测量中不需要刚性固定,各视觉传感器局部测量数据的全局统一是以宽视场中的平面靶标为中介实现的,各视觉传感器之间属于柔性连接,不需要在测量现场完成三维光学测头的全局标定,局部测量与全局统一同步完成,因此现场强振动对测量***的测量精度影响较小。
附图说明
图1为本发明实施例的一种物体表面三维形貌多传感器柔性动态视觉测量***的结果示意图;
图2为本发明实施例中三维光学测头的结构示意图;
图3为本发明实施例中宽视场摄像机的结构示意图;
图4为本发明实施例中全局统一用平面靶标的示意图;
图5为本发明实施例中光栅式双目视觉传感器的测量模型示意图;
图6为本发明实施例中局部三维数据全局统一模型的示意图。
具体实施方式
下面结合附图和具体实施例对本发明的技术方案进一步详细阐述。
本发明所提供的一种物体表面三维形貌多传感器柔性动态视觉测量***,包括:多个三维光学测头、多个全局统一用平面靶标、控制器、图像采集***和核心计算机,所述三维光学测头和平面靶标分布在物体的周围,所述三维光学测头和平面靶标连接所述控制器和图像采集***,所述控制器和图像采集***连接所述核心计算机;所述三维光学测头包括光栅式双目视觉传感器和宽视场摄像机。
核心计算机,用于通过控制器控制平面靶标上的特征点点亮,控制宽视场摄像机测量其周边的平面靶标,控制光栅式双目视觉传感器测量物体的表面三维形貌,并以宽视场摄像机共同视场中的平面靶标为中介,将光栅式双目视觉传感器测量所得的局部三维数据统一到全局坐标系;
图像采集***,用于采集宽视场摄像机和光栅式双目视觉传感器的测量所得数据,并提供给核心计算机。
其中,每个三维光学测头的宽视场摄像机,用于根据其自身内部参数标定结果校正测量所得平面靶标特征点中心图像畸变后,进行平面靶标特征点中心图像坐标识别及定位;
每个三维光学测头的光栅式双目视觉传感器,用于根据其自身内部参数标定结果校正测量所得光栅光条图像畸变后,进行光栅光条图像中心点识别及定位。
进一步的,光栅式双目视觉传感器包括光栅激光器、第一摄像机和第二摄像机,其中,光栅激光器,用于投射光栅光条;第一摄像机和第二摄像机,用于采集光栅光条图像提供给图像采集***。
每个三维光学测头的光栅式双目视觉传感器进一步用于,根据第一摄像机和第二摄像机采集的光栅光条图像的匹配结果,采用双目立体视觉原理,计算光栅光条图像中心点的三维坐标,测量得到局部三维数据。
核心计算机进一步用于,任意选取一个平面靶标坐标系作为全局坐标系,根据由每个三维光学测头中宽视场摄像机识别及定位的平面靶标特征点中心图像坐标,计算出每个三维光学测头中宽视场摄像机坐标系到全局坐标系的转换矩阵,并将光栅式双目视觉传感器测量得到的局部三维数据全局统一到全局坐标系。
对应上述物体表面三维形貌多传感器柔性动态视觉测量***,本发明所提供的一种物体表面三维形貌多传感器柔性动态视觉测量方法,主要包括:
步骤1,核心计算机通过控制器控制平面靶标上的特征点点亮,控制宽视场摄像机测量其周边的平面靶标,控制光栅式双目视觉传感器测量物体的表面三维形貌。
其中,宽视场摄像机测量其周边的所述平面靶标,具体为:每个三维光学测头的宽视场摄像机根据其自身内部参数标定结果校正测量所得平面靶标特征点中心图像畸变后,进行平面靶标特征点中心图像坐标识别及定位;
光栅式双目视觉传感器测量物体的表面三维形貌,具体为:每个三维光学测头的光栅式双目视觉传感器根据其自身内部参数标定结果校正测量所得光栅光条图像畸变后,进行光栅光条图像中心点识别及定位。
进一步的,光栅式双目视觉传感器包括光栅激光器、第一摄像机和第二摄像机,其中,光栅激光器投射光栅光条,第一摄像机和第二摄像机采集光栅光条图像提供给图像采集***。相应的,光栅式双目视觉传感器测量所述物体的表面三维形貌,具体为:每个三维光学测头的光栅式双目视觉传感器根据第一摄像机和第二摄像机采集的光栅光条图像的匹配结果,采用双目立体视觉原理,计算光栅光条图像中心点的三维坐标,测量得到局部三维数据。
步骤2,以宽视场摄像机共同视场中的平面靶标为中介,将光栅式双目视觉传感器测量所得的局部三维数据统一到全局坐标系。
具体的,核心计算机任意选取一个平面靶标坐标系作为全局坐标系,根据每个三维光学测头中宽视场摄像机识别及定位的平面靶标特征点中心图像坐标,计算出每个三维光学测头中宽视场摄像机坐标系到全局坐标系的转换矩阵,并将光栅式双目视觉传感器测量得到的局部三维数据全局统一到全局坐标系。
需要说明的是,本发明的动态视觉测量***和方法,不仅适用于大型构件表面的三维形貌动态视觉测量,也同样适用于一般尺寸物体和微小尺寸物体表面的三维形貌动态视觉测量。
下面以大型构件表面的三维形貌动态视觉测量为例,对本发明的动态视觉测量***和方法进一步详细说明。
图1所示本发明实施例一的大型构件表面三维形貌动态视觉测量***,包括:三维光学测头1、2、3,全局统一用平面靶标1、2、3,高速图像采集***,控制器和核心计算机,以及相应测量软件及机械结构和三脚架等。三维光学测头1由光栅式双目视觉传感器与宽视场摄像机结合而成,如图2所示,其中,光栅式双目视觉传感器由光栅激光器、摄像机1、摄像机2构成;宽视场摄像机与光栅式双目视觉传感器之间的位置保持固定不变。
根据三维光学测头视场范围和被测大型构件的形状,将三维光学测头1、2、3以一定的分布角分布在大型构件周围,每个三维光学测头测量大型构件的一个子区域,实时测量构件局部表面;在测量现场周边,放置多个标志点可识别的平面靶标,每个光学测头的宽视场摄像机拍摄周边的平面靶标,光栅式双目视觉传感器测量大型构件表面的三维形貌,以宽视场摄像机共同视场的平面靶标1、2、3为中介,将光栅式双目视觉传感器测量的局部三维数据统一到全局坐标系,实现复杂现场环境大型构件表面三维形貌动态视觉测量。
宽视场摄像机可以选择鱼眼摄像机也可以选择反射折射摄像机。反射折射摄像机由一个***和其正前方的反射镜面构成。反射折射摄像机可以分为两类:一类为单光心,另一类为非单光心。其中,单光心反射折射摄像机很容易生成透视图像,在实际中有着广泛的应用。单光心反射折射摄像机的反射镜面可分为四种类型:旋转抛物面镜、旋转双曲面镜、旋转椭球面镜和平面镜。不失一般性,为了描述方便,本发明的实施例以采用平面镜的反射折射摄像机为例进行说明。如图3所示,宽视场摄像机由一个摄像机11与一个平面镜12(本实施例中为四面镜)构成,通过平面镜12构成四个镜像摄像机13、14、15、16实现宽视场测量。
如图4所示,全局统一用平面靶标的特征点为LED光源,各特征点位置经过编码设计,可以根据特征点位置关系识别出平面靶标序号。平面靶标通过三脚架支撑布置在被测物体周围。
下面具体描述实现大型构件表面三维形貌动态视觉测量的实施步骤:
步骤101,动态视觉测量***标定。
A、三维光学测头中摄像机内部参数标定
将平面靶标在摄像机前自由移动五次以上,提取平面靶标特征点图像坐标,采用张正友在2000年11月发表的文章“A flexible new technique for cameracalibration[J].IEEE Trans.on Pattern Analysis and Machine Intelligence”中提到的摄像机标定方法分别标定三维光学测头中摄像机的内部参数。
B、三维光学测头中光栅式双目视觉传感器标定
采用周富强在2006年6月发表的文章“基于未知运动一维靶标的双目视觉传感器标定[J],机械工程学报”中提到的双目视觉传感器标定方法,将一维靶标在双目视觉传感器前移动两次以上,双目视觉传感器中摄像机拍摄一维靶标图像,提取一维靶标图像特征点。求解两个摄像机之间的本质矩阵,以一维靶标特征点之间距离已知为约束条件标定光栅式双目视觉传感器两个摄像机之间的旋转矩阵和平移矢量R12,t12
C、三维光学测头中四个镜像摄像机和光栅式双目视觉传感器的全局校准
采用张广军在2009年7月发表的文章“基于双平面靶标的多视觉传感器现场校准[J],机械工程学报”中提到的多视觉传感器全局校准方法,将双平面靶标在两个带校准视觉传感器前自由移动三次以上,两个视觉传感器拍摄平面靶标图像,以两个平面靶标之间位置不变为约束条件,计算两个视觉传感器之间的转换矩阵。最后通过两两校准方式计算宽视场摄像机中四个镜像式摄像机坐标系之间的转换矩阵TCij(i,j=1,2,3,4),TCij下标中的i,j分别表示镜像摄像机的序号,例如TC12表示镜像摄像机1到镜像摄像机2的转换矩阵。以镜像式摄像机13为基础建立宽视场摄像机坐标系(当然也可以以其他任意一个镜像式摄像机为基础建立宽视场摄像机坐标系),计算光栅式双目视觉传感器坐标系到宽视场摄像机坐标系的转换矩阵Th。
步骤102,光栅光条图像中心快速识别及定位。
核心计算机通过控制器同时控制光栅激光器投射光栅光条,光栅式双目视觉传感器拍摄光条图像及宽视场摄像机拍摄全局统一用平面靶标。
采用Steger在1998年2月发表的论文“An unbiased detector of curvilinearstructures,IEEE Transaction on Pattern Analysis Machine Intelligence.”提到的光条图像中心提取方法提取光栅光条图像中心点。首先计算图像各点Hessian(海森)矩阵,根据光条图像灰度曲面特征,通过各图像点的Hessian矩阵中特征值和特征向量判断光条中心候选点,再通过链接方式将光条中心候选点链接在一起形成光条图像数据。最后采用光条空间位置约束结合双目立体视觉中的极线约束实现左右摄像机中光条的识别定位。
步骤103,光栅式双目视觉传感器局部三维重建。
如图5所示,光栅光条点P分别在左、右摄像机成像,利用双目立体视觉模型解算点P在双目视觉传感器坐标系下的三维坐标,以左摄像机坐标系为基础建立双目视觉传感器坐标系。设p1和p2分别为光栅光条点P在左、右摄像机图像坐标系下无畸变图像齐次坐标。l1为p1在左摄像机图像中的极线,l2为p2在右摄像机图像中的极线。左摄像机坐标系为Oc1xc1yc1zc1,右摄像机坐标系为Oc2xc2yc2zc2。左摄像机坐标系到右摄像机坐标系的旋转矩阵和平移向量为R12,t12。R12,t12在步骤102中已经求得。
光栅式双目视觉传感器的测量模型如式(1)所示:
ρ 1 p 1 = A 1 I 0 P ρ 2 p 2 = A 2 R 12 t 12 P - - - ( 1 )
上式中,A1和A2分别为左、右摄像机的内部参数,ρ1、ρ2为非零比例系数。
在实际测量中,摄像机成像***中往往存在镜头畸变。设pd=(ud,vd,1)T为有畸变图像齐次坐标,p=(u,v,1)T为无畸变图像齐次坐标,pn=(un,vn,1)T为归一化图像齐次坐标,则发明实施例采用的镜头畸变模型可表示为:
ud=u+(u-u0)(k1r2+k2r4)
                                   (2)
vd=v+(v-v0)(k1r2+k2r4)
上式中,
Figure BDA0000098138600000112
k1、k2为镜头径向畸变系数;(u0,v0)为摄像机主点坐标。
根据光栅式双目视觉传感器的两摄像机匹配上的光条中心点图像坐标,通过式(1)可以得到光栅光条中心点在光栅式双目视觉传感器坐标系下的三维坐标,实现光栅式双目视觉传感器局部三维重建。
步骤104,全局统一用平面靶标光点中心识别及定位。
本发明的实施例在靶标上采用LED光源作为靶标发光特征点(简称光点),解决背景光对光点图像中心提取精度的影响。LED光源生成的光点图像灰度分布符合高斯分布,光点图像中心也就是光点图像灰度曲面的顶点。
本发明采用公开号为CN101408985,公开日为2009年4月15日,发明名称为“一种圆形光斑亚像素中心提取方法及装置”的中国专利申请中提到的光点图像中心提取方法实现全局统一用平面靶标光点中心定位,该方法首先计算图像各点的Hessian矩阵,根据由Hessian中特征值组成的判决式定位光点中心的像素级坐标,再通过二次泰勒展开式表示光点图像中心邻居区域的灰度曲面,根据曲面顶点性质确定光点中心的亚像素图像坐标。
另外,为了便于识别,在平面靶标特征点之间位置已知,且采用编码设计,可根据特征点位置识别出平面靶标序号。
步骤105,局部三维数据的全局统一。
以宽视场摄像机中的一个镜像摄像机为基础建立三维光学测头坐标系。如图6所示,描述了本发明实施例采用的全局统一过程:光栅式双目视觉传感器测量大型构件的局部表面三维形貌,宽视场摄像机拍摄布置在测量现场周边的平面靶标,计算视场中平面靶标坐标之间的转换矩阵Tti,tj(ti表示第i个平面靶标,tj表示第j个平面靶标)及三维光学测头坐标系到平面靶标坐标系的转换矩阵Toi,tj(oi表示第i个三维光学测头,tj表示第j个平面靶标),以宽视场摄像机共同视场中平面靶标为中介,实现三维光学测头局部测量数据的全局统一。
不失一般性,以平面靶标1坐标系为基础建立全局坐标系。三维光学测头1和2可以通过To1,t1和To2,t1直接将测量得到的局部三维数据全局统一到全局坐标系,三维光学测头3则可以通过平面靶标2将局部三维数据全局统一到全局坐标系,具体如式(3)所示:
P G 1 = T o 1 , t 1 T h 1 P o 1 P G 2 = T o 2 , t 1 T h 2 P o 2 P G 3 = T t 2 , t 1 T o 3 , t 2 T h 3 P o 3 - - - ( 3 )
上式中,Po1、Po2、Po3分别为三维光学测头1、2、3中光栅式双目视觉传感器测量得到的局部三维数据,PG1、PG2、PG3分别为Po1、Po2、Po3在全局坐标系下坐标,Th1、Th2、Th3分别为三维光学测头1、2、3中光栅式双目视觉传感器坐标系到三维光学测头坐标系的转换矩阵。
在实际测量中,Th1、Th2、Th3为预先标定已知,保持不变。Toi,tj和Tti,tj每次通过宽视场摄像机计算得出。为了提高全局统一精度,可在测量现场周围布置多个平面靶标,减少靶标特征点提取误差对全局统一结果的影响。
综上所述,本发明将光栅式双目视觉传感器与宽视场摄像机结合在一起构成三维光学测头,将三维光学测头布置在被测物体周边,以布置在周边的平面靶标为中介,将每个三维光学测头测量得到的局部数据统一到全局坐标系下,实现整个物体表面三维形貌的柔性动态视觉测量。本发明中的多个视觉传感器在测量中不需要刚性固定,各视觉传感器局部测量数据的全局统一是以宽视场中的平面靶标为中介实现的,各视觉传感器之间属于柔性连接,不需要在测量现场完成三维光学测头的全局标定,局部测量与全局统一同步完成,因此现场强振动对测量***的测量精度影响较小。
另外,本发明的动态视觉测量***和方法,不仅适用于大型构件表面的三维形貌动态视觉测量,也同样适用于一般尺寸物体和微小尺寸物体表面的三维形貌动态视觉测量。
以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。

Claims (12)

1.一种物体表面三维形貌多传感器柔性动态视觉测量***,其特征在于,该***包括:多个三维光学测头、多个全局统一用平面靶标、控制器、图像采集***和核心计算机,所述三维光学测头和平面靶标分布在被测物体的周围,所述三维光学测头和平面靶标连接所述控制器和图像采集***,所述控制器和图像采集***连接所述核心计算机;所述三维光学测头包括光栅式双目视觉传感器和宽视场摄像机;其中,
所述核心计算机,用于通过控制器控制所述平面靶标上的特征点点亮,控制所述宽视场摄像机测量其周边的所述平面靶标,控制所述光栅式双目视觉传感器测量所述被测物体的表面三维形貌,并以所述宽视场摄像机共同视场中的平面靶标为中介,将所述光栅式双目视觉传感器测量所得的局部三维数据统一到全局坐标系;
所述图像采集***,用于采集所述宽视场摄像机和光栅式双目视觉传感器的测量所得数据,并提供给所述核心计算机。
2.根据权利要求1所述物体表面三维形貌多传感器柔性动态视觉测量***,其特征在于,
每个所述三维光学测头的宽视场摄像机,用于根据其自身内部参数标定结果校正测量所得平面靶标特征点中心图像畸变后,进行平面靶标特征点中心图像坐标识别及定位;
每个所述三维光学测头的光栅式双目视觉传感器,用于根据其自身内部参数标定结果校正测量所得光栅光条图像畸变后,进行光栅光条图像中心点识别及定位。
3.根据权利要求2所述物体表面三维形貌多传感器柔性动态视觉测量***,其特征在于,所述光栅式双目视觉传感器包括光栅激光器、第一摄像机和第二摄像机,其中,
所述光栅激光器,用于投射光栅光条;
所述第一摄像机和第二摄像机,用于采集光栅光条图像提供给所述图像采集***。
4.根据权利要求3所述物体表面三维形貌多传感器柔性动态视觉测量***,其特征在于,每个所述三维光学测头的光栅式双目视觉传感器进一步用于,根据所述第一摄像机和第二摄像机采集的光栅光条图像的匹配结果,采用双目立体视觉原理,计算光栅光条图像中心点的三维坐标,测量得到局部三维数据。
5.根据权利要求2、3或4所述物体表面三维形貌多传感器柔性动态视觉测量***,其特征在于,所述核心计算机进一步用于,任意选取一个平面靶标坐标系作为全局坐标系,根据识别及定位的平面靶标特征点中心图像坐标,计算出每个三维光学测头中宽视场摄像机坐标系到所述全局坐标系的转换矩阵,并将所述光栅式双目视觉传感器测量得到的局部三维数据全局统一到所述全局坐标系。
6.根据权利要求1至4任一项所述物体表面三维形貌多传感器柔性动态视觉测量***,其特征在于,所述宽视场摄像机为鱼眼摄像机或反射折射摄像机。
7.一种物体表面三维形貌多传感器柔性动态视觉测量方法,其特征在于,在被测物体的周围分布多个三维光学测头和多个全局统一用平面靶标,所述三维光学测头和平面靶标连接控制器和图像采集***,所述控制器和图像采集***连接所述核心计算机,所述三维光学测头包括光栅式双目视觉传感器和宽视场摄像机;该方法包括:
所述核心计算机通过控制器控制所述平面靶标上的特征点点亮,控制所述宽视场摄像机测量其周边的所述平面靶标,控制所述光栅式双目视觉传感器测量所述被测物体的表面三维形貌;
以所述宽视场摄像机共同视场中的平面靶标为中介,将所述光栅式双目视觉传感器测量所得的局部三维数据统一到全局坐标系。
8.根据权利要求7所述物体表面三维形貌多传感器柔性动态视觉测量方法,其特征在于,所述宽视场摄像机测量其周边的所述平面靶标,具体为:每个所述三维光学测头的宽视场摄像机根据其自身内部参数标定结果校正测量所得平面靶标特征点中心图像畸变后,进行平面靶标特征点中心图像坐标识别及定位;
所述光栅式双目视觉传感器测量所述被测物体的表面三维形貌,具体为:每个所述三维光学测头的光栅式双目视觉传感器根据其自身内部参数标定结果校正测量所得光栅光条图像畸变后,进行光栅光条图像中心点识别及定位。
9.根据权利要求8所述物体表面三维形貌多传感器柔性动态视觉测量方法,其特征在于,所述光栅式双目视觉传感器包括光栅激光器、第一摄像机和第二摄像机,其中,所述光栅激光器投射光栅光条,所述第一摄像机和第二摄像机采集光栅光条图像提供给所述图像采集***。
10.根据权利要求9所述物体表面三维形貌多传感器柔性动态视觉测量方法,其特征在于,所述光栅式双目视觉传感器测量所述被测物体的表面三维形貌,具体为:
每个所述三维光学测头的光栅式双目视觉传感器根据所述第一摄像机和第二摄像机采集的光栅光条图像的匹配结果,采用双目立体视觉原理,计算光栅光条图像中心点的三维坐标,测量得到局部三维数据。
11.根据权利要求8、9或10所述物体表面三维形貌多传感器柔性动态视觉测量方法,其特征在于,所述以宽视场摄像机共同视场中的平面靶标为中介,将所述光栅式双目视觉传感器测量所得的局部三维数据统一到全局坐标系,具体为:
核心计算机任意选取一个平面靶标坐标系作为全局坐标系,根据识别及定位的平面靶标特征点中心图像坐标,计算出每个三维光学测头中宽视场摄像机坐标系到所述全局坐标系的转换矩阵,并将所述光栅式双目视觉传感器测量得到的局部三维数据全局统一到所述全局坐标系。
12.根据权利要求8至11任一项所述物体表面三维形貌多传感器柔性动态视觉测量方法,其特征在于,所述宽视场摄像机为鱼眼摄像机或反射折射摄像机。
CN 201110308905 2011-10-12 2011-10-12 物体表面三维形貌多传感器柔性动态视觉测量***和方法 Expired - Fee Related CN102506758B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201110308905 CN102506758B (zh) 2011-10-12 2011-10-12 物体表面三维形貌多传感器柔性动态视觉测量***和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201110308905 CN102506758B (zh) 2011-10-12 2011-10-12 物体表面三维形貌多传感器柔性动态视觉测量***和方法

Publications (2)

Publication Number Publication Date
CN102506758A true CN102506758A (zh) 2012-06-20
CN102506758B CN102506758B (zh) 2012-12-12

Family

ID=46218866

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201110308905 Expired - Fee Related CN102506758B (zh) 2011-10-12 2011-10-12 物体表面三维形貌多传感器柔性动态视觉测量***和方法

Country Status (1)

Country Link
CN (1) CN102506758B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103438803A (zh) * 2013-09-18 2013-12-11 苏州晓创光电科技有限公司 计算机视觉技术跨视场精确测量矩形零件尺寸的方法
CN104897060A (zh) * 2015-06-17 2015-09-09 大连理工大学 采用坐标跟踪控制板的大视场全局测量方法
CN105823420A (zh) * 2016-05-16 2016-08-03 北京控制工程研究所 一种角锥组合件回光能量中心坐标精密导出方法
CN106441200A (zh) * 2016-07-20 2017-02-22 杭州先临三维科技股份有限公司 一种多测量模式的三维测量方法
CN107429991A (zh) * 2015-04-14 2017-12-01 雅马哈发动机株式会社 外观检查装置及外观检查方法
CN108107837A (zh) * 2018-01-16 2018-06-01 三峡大学 一种基于视觉引导的玻璃加工装置及方法
CN109883326A (zh) * 2019-03-29 2019-06-14 湖南省鹰眼在线电子科技有限公司 一种摄像测量式汽车三维四轮定位方法、***及介质
CN110763141A (zh) * 2019-08-29 2020-02-07 北京空间飞行器总体设计部 一种高精度的六自由度测量***的精度验证方法及***
CN111561867A (zh) * 2020-04-15 2020-08-21 成都飞机工业(集团)有限责任公司 一种飞机表面形貌数字化测量方法
CN113129385A (zh) * 2020-12-23 2021-07-16 合肥工业大学 基于空间中多编码平面靶标的双目摄像机内外参数标定方法
CN113503825A (zh) * 2021-05-31 2021-10-15 北京卫星制造厂有限公司 一种运动态结构变形视觉测量方法
CN114279362A (zh) * 2021-12-28 2022-04-05 中国航天空气动力技术研究院 防热结构动态外形测量装置及方法
WO2022134939A1 (zh) * 2020-12-24 2022-06-30 上海智能制造功能平台有限公司 一种人体数字化测量装置的数据拼接及***标定方法
CN114910021A (zh) * 2022-05-07 2022-08-16 泰州市创新电子有限公司 一种光栅式双目立体视觉三维测量***及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009270915A (ja) * 2008-05-07 2009-11-19 Kagawa Univ 3次元形状の計測方法および装置
US20100073461A1 (en) * 2008-09-23 2010-03-25 Sick Ag Lighting unit and method for the generation of an irregular pattern
CN101825445A (zh) * 2010-05-10 2010-09-08 华中科技大学 一种动态物体的三维测量***
CN102062588A (zh) * 2009-11-11 2011-05-18 中国科学院沈阳自动化研究所 一种计算机双目视觉义齿扫描装置及其三维重建方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009270915A (ja) * 2008-05-07 2009-11-19 Kagawa Univ 3次元形状の計測方法および装置
US20100073461A1 (en) * 2008-09-23 2010-03-25 Sick Ag Lighting unit and method for the generation of an irregular pattern
CN102062588A (zh) * 2009-11-11 2011-05-18 中国科学院沈阳自动化研究所 一种计算机双目视觉义齿扫描装置及其三维重建方法
CN101825445A (zh) * 2010-05-10 2010-09-08 华中科技大学 一种动态物体的三维测量***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
R.S.LU,ET AL: "A global calibration method for large-scale multi-sensor visual measurement systems", 《SENSORS AND ACTUATORS A》, vol. 116, 25 June 2004 (2004-06-25), pages 384 - 393, XP004572641, DOI: doi:10.1016/j.sna.2004.05.019 *
刘震 等: "基于双平面靶标的多视觉传感器现场全局校准", 《机械工程学报》, vol. 45, no. 7, 31 July 2009 (2009-07-31), pages 228 - 232 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103438803A (zh) * 2013-09-18 2013-12-11 苏州晓创光电科技有限公司 计算机视觉技术跨视场精确测量矩形零件尺寸的方法
CN103438803B (zh) * 2013-09-18 2015-10-28 苏州晓创光电科技有限公司 计算机视觉技术跨视场精确测量矩形零件尺寸的方法
CN107429991A (zh) * 2015-04-14 2017-12-01 雅马哈发动机株式会社 外观检查装置及外观检查方法
CN104897060A (zh) * 2015-06-17 2015-09-09 大连理工大学 采用坐标跟踪控制板的大视场全局测量方法
CN104897060B (zh) * 2015-06-17 2017-08-01 大连理工大学 采用坐标跟踪控制板的大视场全局测量方法
CN105823420A (zh) * 2016-05-16 2016-08-03 北京控制工程研究所 一种角锥组合件回光能量中心坐标精密导出方法
CN105823420B (zh) * 2016-05-16 2018-06-01 北京控制工程研究所 一种角锥组合件回光能量中心坐标精密导出方法
CN106441200A (zh) * 2016-07-20 2017-02-22 杭州先临三维科技股份有限公司 一种多测量模式的三维测量方法
CN106441200B (zh) * 2016-07-20 2019-03-08 先临三维科技股份有限公司 一种多测量模式的三维测量方法
CN108107837A (zh) * 2018-01-16 2018-06-01 三峡大学 一种基于视觉引导的玻璃加工装置及方法
CN109883326A (zh) * 2019-03-29 2019-06-14 湖南省鹰眼在线电子科技有限公司 一种摄像测量式汽车三维四轮定位方法、***及介质
CN110763141A (zh) * 2019-08-29 2020-02-07 北京空间飞行器总体设计部 一种高精度的六自由度测量***的精度验证方法及***
CN110763141B (zh) * 2019-08-29 2021-09-03 北京空间飞行器总体设计部 一种高精度的六自由度测量***的精度验证方法及***
CN111561867A (zh) * 2020-04-15 2020-08-21 成都飞机工业(集团)有限责任公司 一种飞机表面形貌数字化测量方法
CN113129385A (zh) * 2020-12-23 2021-07-16 合肥工业大学 基于空间中多编码平面靶标的双目摄像机内外参数标定方法
CN113129385B (zh) * 2020-12-23 2022-08-26 合肥工业大学 基于空间中多编码平面靶标的双目摄像机内外参数标定方法
WO2022134939A1 (zh) * 2020-12-24 2022-06-30 上海智能制造功能平台有限公司 一种人体数字化测量装置的数据拼接及***标定方法
CN113503825A (zh) * 2021-05-31 2021-10-15 北京卫星制造厂有限公司 一种运动态结构变形视觉测量方法
CN113503825B (zh) * 2021-05-31 2023-02-03 北京卫星制造厂有限公司 一种运动态结构变形视觉测量方法
CN114279362A (zh) * 2021-12-28 2022-04-05 中国航天空气动力技术研究院 防热结构动态外形测量装置及方法
CN114910021A (zh) * 2022-05-07 2022-08-16 泰州市创新电子有限公司 一种光栅式双目立体视觉三维测量***及方法

Also Published As

Publication number Publication date
CN102506758B (zh) 2012-12-12

Similar Documents

Publication Publication Date Title
CN102506758B (zh) 物体表面三维形貌多传感器柔性动态视觉测量***和方法
CN102445164B (zh) 一种大型构件表面三维形貌视觉测量方法及***
US8086026B2 (en) Method and system for the determination of object positions in a volume
CN102788559B (zh) 一种宽视场结构光视觉测量***及测量方法
CN104990515B (zh) 大型物体三维形状测量***及其测量方法
KR102424135B1 (ko) 2개의 카메라로부터의 곡선의 세트의 구조형 광 매칭
Abbas et al. Improvements to the accuracy of prototype ship models measurement method using terrestrial laser scanner
CN105066962B (zh) 一种多分辨率大视场角高精度摄影测量装置
CN102155923A (zh) 基于立体靶标的拼接测量方法及***
CN103759670A (zh) 一种基于数字近景摄影的物体三维信息获取方法
CN103759669A (zh) 一种大型零件的单目视觉测量方法
CN104142157A (zh) 一种标定方法、装置及设备
CN103616016A (zh) 基于点线组合特征的位姿视觉测量方法
JP6333396B2 (ja) モバイルプラットフォームの変位を計測する方法及び装置
Rodríguez-Garavito et al. Automatic laser and camera extrinsic calibration for data fusion using road plane
JP2016217941A (ja) 3次元データ評価装置、3次元データ測定システム、および3次元計測方法
CN104036518B (zh) 一种基于向量法和三点共线的相机标定方法
Jiang et al. Combined shape measurement based on locating and tracking of an optical scanner
Liu et al. Accurate measurement method for tube’s endpoints based on machine vision
CN105806319B (zh) 一种用于玻璃管线三维运动分析的跨轴式图像测量方法
Radhakrishna et al. Development of a robot-mounted 3D scanner and multi-view registration techniques for industrial applications
CN110686593B (zh) 一种测量拼接焦平面中图像传感器相对位置关系的方法
Tehrani et al. A new approach to 3D modeling using structured light pattern
Gong et al. Feature-based three-dimensional registration for repetitive geometry in machine vision
CN100370220C (zh) 结构光三维***相对参数的单图像自定标方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20121212

Termination date: 20171012

CF01 Termination of patent right due to non-payment of annual fee