CN105157609A - 基于两组相机的大型零件全局形貌测量方法 - Google Patents

Abstract

本发明基于两组相机的大型零件全局形貌测量方法属于视觉测量领域，涉及一种基于两组相机的大型零件全局形貌测量方法。测量方法采用前面两台左、右测量相机和后面两台左、右定位相机分别采集被测零件形貌信息及全局控制坐标，结合U形测量板以及地面控制点阵，通过坐标转换实现测量相机和定位相机的位置标定以及测量相机全局外参数的标定，对每组图像中被测物表面特征点的提取，获得零件表面特征点及全局控制点的二维维信息；利用CATIA软件处理点云数据，采用图像拟合去除误差点获得大型零件全局形貌模型。测量方法具有测量视场范围大、效率高，且测量设备成本低，能快速完成工业现场大型零件的全局形貌测量工作。

Description

基于两组相机的大型零件全局形貌测量方法

技术领域

本发明属于视觉测量领域，涉及一种基于两组相机的大型零件全局形貌测量方法，该方法可以实现对大视场范围内复杂工况下零件形貌的全局测量，进而完成零件建模并且获得对应的几何参数。

背景技术

目前，大型飞机的生产制造水平是一个国家综合国力以及工业化水平的重要体现，大型飞机的应用越来越广泛，其生产制造以及装配过程中对大型零部件的精确测量是保证飞机安全生产的重要保证。由于航空零部件大型化、复杂化、精密化的特点，在测量现场往往需要建立全局的坐标控制场以实现大型零部件的测量，传统测量方法难以满足测量要求。现阶段针对航空领域大型零部件形貌测量国内外主要有以下几种方法：机器视觉法、激光跟踪仪测量法、室内GPS测量法、激光雷达测量法以及三坐标测量法等。传统的机器视觉法一般是通过相机获取被测物的二维信息，通过对图像特征进行提取匹配完成测量任务；激光跟踪仪测量法是利用高精度激光测距以及角度追踪完成对被测物几何信息的精确测量；

针对大型零件的测量已申请的相关的发明专利有：发明人刘巍等，《一种大型复合板材几何参数视觉测量方法》，专利号：201410708310.9，提出了利用传统视觉测量设备结合激光跟踪仪进行大型板材类零件测量的方法，优点是结合了多种测量设备，精度较高，但是每次相机移动后都需要重新标定，操作相对复杂。发明人刘巍等，《采用坐标跟踪控制板的大视场全局测量方法》，专利号：201510338809.X，提出了一种全局视觉测量方法，优点是解决了大视场测量重复标定的问题，但是需依靠价格高昂的激光跟踪仪，测量成本较高。

发明内容

本发明目的是针对航空领域大型飞机零部件生产装配检测中测量效率低，测量流程复杂以及测量成本高的问题。发明了一种基于两组相机的大型零件全局形貌测量方法，将两组共四台相机安装在固定支架上，利用视觉标定方法结合测量现场的坐标控制点快速实现测量现场全局坐标系的建立和控制，最终配合机器视觉产品结合零件表面的特征点获得零件点云数据，建立零件整体形貌，进而完成对零部件的精确测量。本发明专利，提出了全局控制点的测量方案，既克服了大视场测量重复标定的问题，而且只依靠传统的视觉采集设备就可以完成，测量成本较低，具有很广阔的应用前景。

本发明采用的技术方案是一种基于两组相机的大型零件全局形貌测量方法，其特征是，测量方法采用前面两台测量相机和后面两台定位相机分别采集被测零件形貌信息及全局控制坐标，基于两组双目相机的相对位置不变性及全局坐标的不变性，结合U形测量板以及地面控制点，通过坐标转换实现测量相机和定位相机的位置标定以及测量相机全局外参数的标定，通过对每组图像中被测物表面特征点的提取，获得零件表面特征点及全局控制点的二维维信息；根据全局外参数，重建被测物轮廓信息的点云数据；在全局控制坐标范围内移动相机，基于全局控制坐标的不变性，将多次采集数据统一到全局坐标系下，从而获取完整的被测物点云信息；最后，利用CATIA软件处理点云数据，基于图像拟合去除误差点获得大型零件全局形貌模型，从而实现大型零件全局形貌测量；方法的具体实现步骤如下：

第一步全局控制点的设计

在测量现场地面布置地面控制点阵4，控制点A、B、C保持正交约束，其他控制点间隔100mm进行布置，且与B、C控制点保持共线，具体数量根据测量现场视场以及测量零件的尺寸决定，公式如下。

$N=ceil\left(\frac{l}{100}\right)+1---\left(1\right)$

其中，N表示现场需要布置的地面控制点数量，l表示被测零件的最大测量长度，ceil函数表示取比括号内计算值大的最小整数。

以其中A、B、C控制点为基准点建立全局控制坐标系记为O_bXYZ。

第二步前后两组双目相机的标定

(1)前后两组双目相机的内参数标定

利用张氏标定法结合标定公式(2)分别对前面左、右测量相机5，6以及后面右、左定位相机7，8进行标定：

$s\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=A\[\begin{array}{cc}R& t\end{array}\]\left[\begin{array}{c}{X}_W\\ Y_W\\ Z_W\\ 1\end{array}\right]=A\[\begin{array}{cccc}{r}_1& r_2& r_3& t\end{array}\]\left[\begin{array}{c}{X}_W\\ Y_W\\ Z_W\\ 1\end{array}\right]---\left(2\right)$

其中[uv1]^T是拍摄棋盘格标定板角点图像的二维像素坐标组成的齐次矩阵，[X_wY_wZ_w1]^T是棋盘格标定板上角点的空间三维坐标组成的齐次矩阵，完成相机內参数标定。同时可以得到两台相机之间的F矩阵，用于后期的特征匹配。

(2)前后两组双目相机相对位置的标定

结合U形测量板11，利用张氏标定结果，前面左、右测量相机5，6重建U形测量板前测量版10的位置信息，即为空间坐标集Ω₁＝[X₁Y₁Z₁1]^T。同理，也能得到U形测量板后测量版13相对于后面右、左定位相机7，8的空间坐标集Ω₂＝[X₂Y₂Z₂1]^T。由于U形测量板的前后测量板之间的相对位置关系是固定且已知的，记为X_u＝[R_uT_u]，那么结合欧拉坐标系变换公式

$\begin{array}{c}{R}_x\left(H\right)=\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos H& \sin H\\ 0& -\sin H& \cos H\end{array}\right]\\ R_y\left(H\right)=\left[\begin{array}{ccc}\cos H& 0& -\sin H\\ 0& 1& 0\\ \sin H& 0& \cos H\end{array}\right]\\ R_z\left(H\right)=\left[\begin{array}{ccc}\cos H& \sin H& 0\\ -\sin H& \cos H& 0\\ 0& 0& 1\end{array}\right]\end{array}---\left(3\right)$

其中，H是坐标向量的夹角，得到前面左、右测量相机5，6分别相对于后面右、左定位相机7，8的位置关系X₁＝[R₁T₁]和X₂＝[R₂T₂]。并将坐标***一到后面左定位相机8，记为O_TXYZ。

(3)全局外参数的标定

利用后面右、左定位相机7，8结合布置好的地面标志点阵4，我们将全局的世界坐标系O_wXYZ定义在由标志点A、B、C所确定的全局控制坐标系O_bXYZ上，后面右、左定位相机7，8的外参数矩阵获得全局世界坐标系O_wXYZ相对于后面右、左定位相机7，8的位置变换关系，记为X₃＝[R₃T₃]，再结合上一步获得的前面左、右测量相机5，6和后面右、左定位相机7，8的相对位置关系X₁＝[R₁T₁]和X₂＝[R₂T₂]，那么将矩阵相乘即

X₄＝X₁·X₃＝[R₁T₁]·[R₃T₃](4)

X₅＝X₂·X₃＝[R₂T₂]·[R₃T₃](5)

获得测量相机相对于全局世界坐标系的位置变换关系，即矩阵X₄和X₅，这样就确定了全场的测量外参数。

第三步被测物表面轮廓信息的提取与重建

完成全局坐标建立后，分别用前面左、右测量相机5，6以及后面右、左定位相机7，8对被测物1以及地面标记点阵4进行测量，后面右、左定位相机7，8结合地面标志点阵4将前面左、右测量相机5，6的世界坐标***一到已确定的坐标系下，针对测量相机采集的被测物图像，利用椭圆形图像中心灰度重心提取方法，公式如下

$\stackrel{\‾}{u_{center}}=\frac{\underset{u,v\∈\mathrm{\Ω}}{\Σ}u\×f(u,v)}{\underset{u,v\∈\mathrm{\Ω}}{\Σ}f(u,v)}---\left(6\right)$

$\stackrel{\‾}{v_{center}}=\frac{\underset{u,v\∈\mathrm{\Ω}}{\Σ}v\×f(u,v)}{\underset{u,v\∈\mathrm{\Ω}}{\Σ}f(u,v)}---\left(7\right)$

其中：f(u,v)为特征点像素坐标(u,v)位置像素点的灰度值，Ω为边缘提取区域内像素目标的集合，为内切圆圆心的图像坐标。从而获取被测物表面的特征点二维信息，再结合标定结果以及基于灰度差平方方式的左右对应点匹配公式

$S(x,y)=\underset{y^{\′}=0}{\overset{n-1}{\Σ}}\underset{x^{\′}=0}{\overset{m-1}{\Σ}}{\[T(x^{\′},y^{\′})-I(x+x^{\′},y+y^{\′})\]}^2---\left(8\right)$

其中S为两个邻域窗的相似度，I(x,y)为目标函数在(x,y)处的灰度值，T(x,y)为源图像在(x,y)处的灰度值。

由此将二维信息还原成为三维点信息。之后移动相机根据全局标定结果，将测量结果统一到坐标系O_bXYZ下，最终获取整个被测物的全局三维点云数据。

第四步还原零件形貌完成视觉测量

利用CATIA软件处理三维点云信息，在DigitizedShapeEditor模块下，导入点云数据，定义点云输入百分比以及点云方向，根据匹配公式(8)设置点偏移阈值为95％，剔除误匹配点以及误差点，利用曲面重构模块，对群数据进行过滤并选择合适的点建立固定坐标系，根据拍摄视场将获得的所有点云数据分区域进行网格重构，通过曲面光整，缝补，将区域信息整合拼接，完成点云数据的逆向建模，得到被测物1的整体形貌，进而可利用CATIA的测量分析工具，针对整个大型零件的形貌轮廓模型获取需要的测量信息。

本发明的效果和益处是：发明了一种基于两组相机的大型零件全局形貌测量方法，将两组共四台相机安装在固定支架上，利用视觉标定方法结合测量现场的坐标控制点快速实现测量现场全局坐标系的建立和控制，最终配合机器视觉产品结合零件表面的特征点获得零件点云数据，建立零件整体形貌，进而完成对零部件的精确测量。测量方法具有测量视场范围大、效率高，且测量设备成本低，能快速完成工业现场大型零件的全局形貌测量工作。

附图说明

图1是大型零件形貌测量示意图，图2是测量相机和定位相机标定示意图。其中，1-被测零件，2-测量标志点，3-计算机，4-地面控制点阵，A、B、C、……N-控制点，5-左测量相机，6-右测量相机，7-右定位相机，8-左定位相机，9-三脚支架，10-U形测量板前测量版，11-U形测量板，12-三脚架，13-U形测量板后测量版。

图3是测量过程流程图

具体实施方式

以下结合技术方案和附图详细叙述本发明的具体实施方式。本实施例采用前后两组双目相机5、6、7、8结合地面控制点阵4以及被测物1表面标志点2进行全局测量，其中利用U形测量板11完成两组相机之间的位置标定，辅以CATIA三维处理软件实施零件建模以及全局测量。前面测量相机5、6以及后面定位相机7、8均为Viewworks2900万像素全画幅工业相机，拍摄帧频为20Hz。

1.安装相机以及布置测量地面控制点

如图1所示，将四台相机安装在三角支架9上，其中，前面两台为测量相机5、6，后面两台为定位相机7、8，四台相机都与计算机3相连，调整好拍摄的角度，将4台相机固定。然后，在测量现场地面布置地面控制点阵4，控制点数量根据测量现场视场以及测量零件的尺寸决定，计算公式参照公式(1)，共设12个控制点。控制点1、2、3保持正交约束，其他控制点间隔100mm进行布置，且与2、3控制点共线。以其中1、2、3控制点为基准点建立全局控制坐标系记为O_bXYZ。控制点阵4以及4台相机和计算机3组成零件测量***。

2.标定前后两组双目相机的内参数

前后四台相机固定后，利用张氏标定法通过棋盘格标定板结合标定公式(2)对前面左、右测量相机5、6以及后面右、左定位相机7、8分别进行标定，把标定板随机摆放多个位置，两组相机分别同时拍摄15张照片完成相机內参数标定。同时可以得到测量相机5、6之间的F矩阵，用于后期的特征匹配。

3.标定前后相机的相对位置关系

如图2所示，通过第二步的张氏标定，我们已经获得了四台相机的內参数矩阵以及此刻位置下的外参数矩阵，将带有标准长度以及位置固定的U形测量板11放置在四台相机的右侧，使前面的测量相机5、6可以拍摄到U形测量板前测量版10，后面的定位相机7、8可以拍摄到U形测量板后测量版13。保持相机以及U形测量板11位置不动，四台相机同时进行拍摄，通过第二步张氏标定结果可以得到U形测量板前测量版10相对于前面测量相机5、6的位置关系，即为旋转平移矩阵X₁＝[R₁T₁]以及X₂＝[R₂T₂]，二者之间的变换可以通过F矩阵得到。同理我们也能得到U形测量板后测量版13相对于后面定位相机7、8的位置关系，记为X₃＝[R₃T₃]。由于U形测量板11的前后测量板之间的相对位置关系是固定且已知的，记为X_u＝[R_uT_u]，结合欧拉坐标系变换公式(3)得到前面测量相机5、6相对于后面定位相机7、8的位置变换关系。

4.建立测量现场的全局坐标系

如图1所示，后面定位相机7、8的外参数矩阵已知，这时将U形测量板11拿开，利用定位相机7、8拍摄已经在地面布置好的控制点阵4，我们将全局的世界坐标系定义在由标志点1、2、3所确定的全局控制坐标系O_bXYZ上，通过后面定位相机7、8的外参数矩阵就可以获得全局控制坐标系O_bXYZ相对于后面定位相机7、8的位置变换关系，记为X₃＝[R₃T₃]，上一步已经得到了前面测量相机5、6相对于后面定位相机7、8的相对位置关系X₁＝[R₁T₁]以及X₂＝[R₂T₂]，同样通过矩阵相乘公式(4)(5)就可以获得前面测量相机5、6相对于全局控制坐标系O_bXYZ的位置变换关系，这样就确定了全场的测量外参数。在进行大尺寸零件1的测量时，视场比较大，移动相机后，只用后面右、左定位相机7、8拍摄地面的标志点阵4，由于标志点阵4的位置关系已知，那么通过后面右、左定位相机7、8就可以快速求得前相机相对于全局世界坐标系的位置关系，这样就完成了测量现场的全局坐标建立。

5.获取被测物形貌点云数据

完成全局坐标建立，分别用前面左、右测量相机5、6以及后面右、左定位相机7、8对被测物1以及地面标记点阵4进行测量，后面右、左定位相机7、8结合地面标志点阵4将前面左、右测量相机5、6的世界坐标***一到已确定的坐标系O_bXYZ下，然后利用前面左、右测量相机5、6采集被测物的图像，针对获取的被测物图像，利用椭圆形图像中心灰度重心提取方法根据公式(6)(7)获取被测物表面的特征点2的二维信息，再结合标定结果以及基于灰度差平方方式的左右对应点匹配公式(8)将二维信息还原成为三维点信息。之后移动三角支架9根据全局标定结果，将测量结果统一到坐标系O_bXYZ下，最终获取整个被测物1的全局三维点云数据。

6.还原零件形貌完成视觉测量

在计算机3上利用CATIA软件处理三维点云信息，在DigitizedShapeEditor(DSE)模块下，导入点云数据，定义点云输入百分比以及点云方向，根据匹配公式(8)设置点偏移阈值为95％，剔除误匹配点以及误差点，利用曲面重构模块，对群数据进行过滤并选择被测物表面右上角第一个特征点2建立固定坐标系，分区域进行网格重构，将整个零件点云数据分为左、中、右三段，通过曲面光整，缝补，将区域信息整合拼接，完成点云数据的逆向建模，得到被测物1的整体形貌，进而可利用CATIA的测量分析工具，针对整个大型零件的形貌轮廓模型获取需要的尺寸信息。

本发明充分利用了传统视觉测量的优点，结合地面控制点以及零件表面的特征点，实现了测量现场的全局坐标控制，完成了大型零件形貌轮廓信息的提取与重建，改善了传统测量复杂、设备昂贵的问题，最终实现了零件的全局测量。

Claims (1)

1.一种基于两组相机的大型零件全局形貌测量方法，其特征是，测量方法采用前面两台左、右测量相机和后面两台左、右定位相机分别采集被测零件形貌信息及全局控制坐标，结合U形测量板以及地面控制点阵，通过坐标转换实现测量相机和定位相机的位置标定以及测量相机全局外参数的标定，对每组图像中被测物表面特征点的提取，获得零件表面特征点及全局控制点的二维维信息；根据全局外参数，重建被测物轮廓信息的点云数据；在全局控制坐标范围内移动相机，将多次采集数据统一到全局坐标系下，从而获取完整的被测物点云信息；最后，利用CATIA软件处理点云数据，采用图像拟合去除误差点获得大型零件全局形貌模型，实现大型零件全局形貌测量；测量方法的具体实现步骤如下：

第一步地面控制点阵的设计

在测量现场地面布置地面控制点阵(4)，地面控制点阵(4)由控制点(A、B、C、……N)构成，其中，控制点(A)与控制点(B、C)保持正交约束，除控制点(A)外其他控制点与(B、C)控制点保持共线，布置各控制点之间的间隔为R，控制点的具体数量根据测量现场视场以及测量零件的尺寸决定，公式如下；

其中，N表示现场需要布置的地面控制点数量，l表示被测零件的最大测量长度，ceil()函数表示取比括号内计算值大的最小整数；以控制点(A、B、C)为基准点建立全局控制坐标系记为O_bXYZ；

第二步前后两组双目相机的标定

(1)前后两组双目相机的内参数标定

利用张氏标定法结合标定公式(2)分别对前面左、右测量相机(5，6)以及后面右、左定位相机(7，8)进行标定：

其中，[uv1]^T是拍摄棋盘格标定板角点图像的二维像素坐标组成的齐次矩阵，[X_wY_wZ_w1]^T是棋盘格标定板上角点的空间三维坐标组成的齐次矩阵，完成相机內参数标定；同时得到两台相机之间的F矩阵，用于后期的特征匹配；

(2)前后两组双目相机相对位置的标定

结合U形测量板(11)，利用张氏标定结果，前面左、右测量相机(5，6)重建U形测量板前测量版(10)的位置信息，即为空间坐标集Ω₁＝[X₁Y₁Z₁1]^T；同理，也能得到U形测量板后测量版(13)相对于后面右、左定位相机(7，8)的空间坐标集Ω₂＝[X₂Y₂Z₂1]^T；由于U形测量板(11)的前后测量板之间的相对位置关系是固定且已知的，记为X_u＝[R_uT_u]，结合欧拉坐标系变换公式

其中，H是坐标向量的夹角，得到前面左、右测量相机(5，6)分别相对于后面右、左定位相机(7，8)的位置关系X₁＝[R₁T₁]和X₂＝[R₂T₂]；并将坐标***一到左后方的定位相机(8)，记为O_TXYZ；

(3)全局外参数的标定

利用后面右、左定位相机(7，8)结合地面布置好的地面控制点阵(4)，我们将全局的世界坐标系O_wXYZ定义在由标志点(A、B、C)所确定的全局控制坐标系O_bXYZ上，后面右、左定位相机(7，8)的外参数矩阵获得全局世界坐标系O_wXYZ相对于右、左定位相机(7，8)的位置变换关系，记为X₃＝[R₃T₃]，再结合上一步获得前面左、右测量相机(5，6)和后面右、左定位相机(7，8)的相对位置关系X₁＝[R₁T₁]和X₂＝[R₂T₂]，

X₄＝X₁·X₃＝[R₁T₁]·[R₃T₃](4)

X₅＝X₂·X₃＝[R₂T₂]·[R₃T₃](5)

将矩阵相乘获得测量相机相对于全局世界坐标系的位置变换关系，即矩阵X₄和X₅，这样就确定了全场的测量外参数；

第三步被测物表面轮廓信息的提取与重建

完成全局坐标建立后，分别用前面左、右测量相机(5，6)以及后面右、左定位相机(7，8)对被测物(1)以及地面标记点阵(4)进行测量，后面右、左定位相机(7，8)结合地面标志点阵(4)将前面左、右测量相机(5，6)的世界坐标***一到已确定的坐标系下，针对测量相机采集的被测物图像，利用椭圆形图像中心灰度重心提取方法，公式如下

其中：f(u,v)为特征点像素坐标(u,v)位置像素点的灰度值，Ω为边缘提取区域内像素目标的集合，为内切圆圆心的图像坐标；从而获取被测物表面的特征点二维信息，再结合标定结果以及基于灰度差平方方式的左右对应点匹配公式

其中，S为两个邻域窗的相似度，I(x,y)为目标函数在(x,y)处的灰度值，T(x,y)为源图像在(x,y)处的灰度值；

由此将二维信息还原成为三维点信息；之后移动相机根据全局标定结果，将测量结果统一到坐标系O_bXYZ下，最终获取整个被测物(1)的全局三维点云数据；

第四步还原零件形貌完成视觉测量

利用CATIA软件处理三维点云信息，在DigitizedShapeEditor模块下，导入点云数据，定义点云输入百分比以及点云方向，根据匹配公式(8)设置点偏移阈值为95％，剔除误匹配点以及误差点，利用曲面重构模块，对群数据进行过滤并选择合适的点建立固定坐标系，根据拍摄视场将获得的所有点云数据分区域进行网格重构，通过曲面光整，缝补，将区域信息整合拼接，完成点云数据的逆向建模，得到被测物1的整体形貌，进而可利用CATIA的测量分析工具，针对整个大型零件的形貌轮廓模型获取需要的测量信息。