CN109794938A - 一种适用于曲面结构的机器人制孔误差补偿装置及其方法 - Google Patents

Abstract

本发明公开了一种适用于曲面结构的机器人制孔误差补偿装置及其方法，属于机器人制孔领域，该装置包括工业相机，四个激光测距传感器，刀具、特定标定板、刚性可拆卸连接轴及若干夹具；工业相机以一定角度固连于机器人末端，四个激光测距传感器分布在刀具四周；该方法为以单应变换表征手眼关系；以基准孔对应的机器人理论驱动坐标与实际驱动坐标建立三维误差矩阵，通过三维误差矩阵对基准孔邻域范围内的待钻孔的驱动坐标进行重新计算，以完成待钻孔的定位误差补偿。本发明利用相机图像平面与制孔工作平面之间的单应矩阵表征手‑眼关系以进行在线检测的方法更加简便易行，基准孔误差计算建立在三维空间，因此本发明更适用于曲面制孔。

Description

一种适用于曲面结构的机器人制孔误差补偿装置及其方法

技术领域

本发明属于机器人制孔领域，是一种制孔误差补偿方法，具体为一种适用于曲面结构的机器人制孔误差补偿方法。

背景技术

近年来，采用工业机器人代替手工进行制孔已是航空制造技术的一个重要发展趋势。然而，工业机器人存在重复定位精度高而绝对定位精度低的问题，使得机器人定位精度难以满足航空制孔精度要求。此外，由于机器人制孔的数控程序通常基于待制孔零件的计算机辅助设计模型(简称CAD模型)，而CAD模型和实际工件之间存在制造偏差，工件与机器人之间也会存在位置找正偏差，这些因素使得机器人实际制孔时偏差累积，并最终影响制孔位置和制孔方向的精度。因此研究制孔误差补偿方法十分必要。

现有的一些采用基于视觉反馈的孔位误差补偿方法，求解相机与机器人末端的变换过程较为复杂，且在实际测量时要求相机移动至孔位正上方拍摄测量，此时刀具并未正对孔位，拍摄测量后还需根据刀具与相机之间的位置关系进行移动，如[Frontiers ofInformation Technology&Electronic Engineering,2014, 15(8):593-606.]，提出了一种同时完成手眼标定和相机参数标定的方法，一定程度上降低了手眼标定的复杂度，但实际工作时仍需使相机移动至孔位正上方拍摄。采用激光跟踪仪进行制孔误差补偿方法相比于视觉方法集成度与自动化程度较低。现有的基于基准孔定位的误差补偿方法，如[International Journal of Advanced Manufacturing Technology,2013,68(9-12):2535-2545.]中提出的双线性插值方法，误差计算仅建立在二维空间，因此不适用于曲面结构。

发明内容

本发明的目的在于提出一种适用于曲面结构的机器人制孔误差补偿方法，以解决机器人制孔质量难以满足航空制孔要求的问题。

本发明是这样实现的：

一种适用于曲面结构的机器人制孔误差补偿装置，包括工业相机、机器人，其特征在于，所述的机器人包括机器人法兰盘，所述的机器人法兰盘上方为法兰盘坐标系xy平面，所述的法兰盘坐标系xy平面上方设置有夹具，在夹具的末端倾斜放置工业相机；所述的夹具上安装有刀具，刀具的轴线与法兰盘坐标系xy 平面的z轴重合或平行；在刀具的四周分布四个激光测距传感器；在所述的机器人法兰盘上方还通过连接轴安装有标定板，所述的标定板包括标定板工作面，即标定板下表面(与法兰盘相对的平面)、标定板四顶角设置的标定板上定位孔、标定板上九孔阵列；所述的标定板工作面与法兰盘坐标系xy平面平行，所述的刀具的轴线穿过标定板上九孔阵列区域且激光测距传感器的激光线在标定板工作面上的靶点均布在刀具轴线四周；所述的工业相机的相机光轴穿过标定板上九孔阵列区域。利用相机拍摄到的标定板上九孔阵列的图像与标定板工作面之间的单应变换表征手眼关系。

进一步，所述的连接轴平行于刀具，并且安装在夹具上。

进一步，所述的标定板、连接轴是可拆卸的。

本发明还公开了一种适用于曲面结构的机器人制孔误差补偿装置的补偿方法，步骤如下：

步骤一、将工业相机倾斜角度安装于机器人末端，将四个激光测距传感器安装在刀具四周，将标定板通过刚性连接轴安装在机器人法兰盘上方；

步骤二、通过外部测量设备三维光学测量仪或激光跟踪仪获得标定板九孔阵列在法兰坐标系下的位置，使用工业相机拍摄标定板上九孔阵列图像，以标定板上九孔阵列的图像平面与笛卡尔平面进行单应矩阵计算，以获得的单应矩阵表征手眼关系，完成手眼标定工作后拆除标定板与刚性连接轴；

步骤三、利用外部测量设备三维光学测量仪或激光跟踪仪标定四个传感器在法兰坐标系下的位置；

步骤四、按照基准孔理论坐标^Rd_tj,j＝1,2,K,n(上标R表示机器人基坐标系下坐标，下标t表示坐标理论值)驱动机器人带动刀具到达基准孔上方一定高度h(h由机器人刀具坐标系位置、相机物距等决定)，利用激光测距传感器(4) 和工业相机进行调整测量；

步骤五、对一组基准孔重复步骤四，测量完一组基准孔中全部基准孔的实际驱动坐标^Rd_pj,j＝1,2,K,n(上标R表示机器人基坐标系下坐标，下标p表示坐标理论值)，利用实际驱动坐标^Rd_pj,j＝1,2,K,n与理论驱动坐标^Rd_tj,j＝1,2,K,n之间的映射关系，计算三维误差变换矩阵。

步骤六、利用步骤五获得的三维误差变换矩阵，对一组基准孔邻域范围内的全部待钻孔的驱动坐标^Rr_t进行重新计算，以新的驱动坐标^Rr_a驱动机器人到达待钻孔，完成对待钻孔的误差补偿。

进一步，所述的步骤一具体为：

1.1、标定板位置调整至使标定板工作面距法兰盘坐标系xy平面之间距离为 h高度，且刀具的轴线能够穿过标定板上的九孔阵列区域；

1.2、工业相机角度调整至使其光轴能够通过标定板上九孔阵列区域；

1.3、激光测距传感器位置及角度调整至使激光点能均布在刀具轴线与制孔工作面的交点四周。

进一步，所述的步骤二具体为：

2.1、通过图像处理获得九孔阵列各圆孔中心在图像中的像素坐标 (u_i,v_i)(i＝1,2,L,9)；

2.2、通过外部测量设备获得标定板定位孔在法兰坐标系下的位置，根据标定板设计尺寸，计算出标定板上九孔阵列在法兰坐标系下的坐标 (x_i,y_i,z_i)(i＝1,2,L,9)；

2.3、以九孔的像素坐标及对应的笛卡尔坐标进行单应关系H计算，完成手眼标定，其中H满足

式中u、v分别表示九孔阵列的像素坐标，x、y分别表示九孔阵列在法兰坐标系下的笛卡尔坐标的x、y值。

进一步，所述的步骤四具体为：

4.1、利用激光测距传感器测量刀具轴线与基准孔平面法线的夹角，根据夹角反馈进行机器人末端姿态调整，直至基准孔局部平面法向与刀具轴线偏角达到精度控制范围内；

4.2、利用激光测距传感器测量基准孔局部平面至法兰盘坐标系xy平面的距离h′，根据距离反馈进行机器人末端相对于基准孔局部平面的高度调整，直至h′与h的偏差值达到精度控制范围内；

4.3、利用工业相机测量基准孔相对于刀具轴线与基准孔局部平面之间交点间的偏差，根据图像反馈进行机器人末端位置调整，直至刀具轴线与基准孔平面交点至基准孔空心之间的偏差达到精度控制范围内；

4.4、重复步骤4.1、步骤4.2、步骤4.3至三个偏差值同时达到精度可控范围内，然后记录此时基准孔(9)对应的机器人驱动坐标。精度可控范围内是指如制孔位置误差小于0.3mm，方向误差小于0.35°，距离误差小于0.5mm，通常精度可控制在该精度以内。

进一步，所述的步骤五具体为：

计算得到的基准孔理论驱动坐标向实际驱动坐标的旋转变换矩阵R和平移变换向量T满足下式的最小二乘解

式中，左上标R表示机器人基坐标系下坐标，右下标t、p分别表示坐标理论值、坐标驱动值。

进一步，所述的步骤六的计算为：

式中：左上标R表示机器人基坐标系下坐标，右下标t、a分别表示坐标理论值、坐标预测值。

进一步，所述的精度控制范围具体为：制孔位置误差小于制孔最大允许误差，方向误差小于制孔最大允许偏角误差，距离误差小于0.5mm。

本发明与现有技术相比的有益效果在于：

1)本发明借助单目视觉与四个激光测距传感器测量反馈，以驱动机器人进行姿态调整，从而测量得到工件上基准孔所对应的驱动坐标偏差，利用理论与实际驱动坐标计算三维误差变换矩阵，并对基准孔邻域范围内的待钻孔驱动坐标进行重新计算，从而完成对待钻孔的误差补偿；

2)本发明利用相机图像平面与制孔工作平面之间的单应矩阵表征手-眼关系的方法更加简便易行；

3)相机以一定倾斜角度安装，可实现在机器人直接带动刀轴到达指定位置状态下进行误差快速实时测量，相比于相机需位于在孔位正上方的视觉测量方法，本方法可更加快捷的形成闭环反馈，自动化和集成化程度更高；由于误差的测量和变换均建立在三维空间，因此本发明适用于对曲面结构上的制孔定位。

附图说明

图1本发明一种适用于曲面结构的机器人制孔误差补偿装置的示意图；

图2本发明的相机标定图像示意图；

图3本发明的机器人制孔状态示意；

图4本发明的机器人姿态调整过程示意；

图5本发明实施例中一个基准孔误差测量时机器人姿态调整过程；

图6本发明的基准孔与待钻孔位置示意图；

图7本发明的实施例中其中一个待钻孔补偿前后的误差检测结果；

其中：1-标定板；1-1-标定板工作面；1-2-标定板上定位孔；1-3-标定板上九孔阵列；2-连接轴；3-刀具；4-激光测距传感器；4-1-激光线；5-工业相机；5-1- 相机光轴；6-夹具；7-机器人法兰盘；7-1-法兰盘坐标系xy平面；8-飞机结构件； 9-基准孔；10-待钻孔。

具体实施方式

下面结合附图和具体实施例对本发明作进一步的说明。应当指出，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

图1所示的是本发明一种适用于曲面结构的机器人制孔误差补偿装置的示意图，即本发明的末端执行器与标定板安装示意，其中的末端执行器主要包括一个CCD工业相机5，四个激光测距传感器4，刀具3及若干夹具6。工业相机5 以一定角度固连于机器人末端，用于孔位位置的检测；四个激光测距传感器4 分布在刀具3四周，用于测量机器人末端相对于零件表面的高度和方向；刀具3 安装在夹具6上，其轴线与法兰盘坐标系xy平面7-1的z轴重合或平行，其具***置由外部测量设备进行测量。

其中标定板1安装具体为标定板1通过一根刚性连接轴2安装在机器人法兰盘7末端，连接轴2平行于刀具3安装在夹具6上，安装后标定板工作面1-1，也称制孔工作面，其与法兰盘坐标系xy平面7-1平行(机加工可保证工作面与法兰盘的平行度误差远小于制孔位置误差要求)，距法兰盘坐标系xy平面7-1的高度h由刀具3的长度及预留的制孔安全距离等决定，安装后刀具3的轴线穿过标定板上九孔阵列1-3区域且激光测距传感器4的激光线4-1在工作面上的靶点均布在刀具轴线四周，工业相机5能清楚拍摄到标定板上九孔阵列1-3位于图像中心区域，利用标定板1完成基于单应变换的手眼关系建立；其中标定板1和连接轴2可拆卸。

如图2所示，为手眼标定时相机拍摄到的标定板工作面上九孔阵列的图像，该图像中的圆孔中心点即用于单应矩阵精度计算，同时也用于最终手眼关系的计算。具体步骤为：

步骤一：通过图像处理获得九孔阵列各圆孔中心在图像中的像素坐标 (u_i,v_i)(i＝1,2,K,9)，如表1所示。

表1

步骤二：通过外部测量设备获得标定板定位孔的在法兰坐标系下的位置，通过标定板设计尺寸，可计算出标定板上九孔阵列在法兰坐标系下的坐标， (x_i,y_i,z_i)(i＝1,2,L,9)，如表2所示。

表2

步骤三：任取九孔阵列中的八个孔心像素坐标与对应的法兰坐标系下的笛卡尔坐标，进行单应关系H的计算，其中H满足

然后利用获得的H将剩余的一个圆孔的像素坐标(u₉,v₉)转换为笛卡尔坐标与该圆孔测量得到的笛卡尔坐标(x₉,y₉)进行比较，验证H的精度，如表3所示，为以九孔阵列中任意八个孔预测剩余孔的预测效果。

表3

步骤四：所述实施例可证本发明的手-眼标定方法精度可满足制孔精度要求 (通常要求定位误差在0.3mm以内)，重新以九孔的像素坐标及对应的笛卡尔坐标进行单应关系H计算，完成手眼标定，由表3可知，单应矩阵预测误差远小于制孔误差要求，最终计算获得H矩阵如下所示。

如图3、图4所示为机器人实际制孔时，初始姿态及调整示意。

所述实际制孔时的初始姿态：机器人按照基准孔9的理论驱动坐标达到基准孔9上方时，由于机器人定位误差、工件找正及外形误差等的存在，机器人末端相对于基准孔局部平面的姿态并非为图3中理想姿态，而是实际姿态。

所述的机器人姿态调整，为将机器人由到达基准孔上方时的实际姿态调整为理想姿态，其具体步骤为：

步骤一：利用激光测距传感器4测量到的孔心局部平面法向，计算出与刀轴夹角的度数θ，根据夹角的测量反馈进行机器人末端姿态调整，直至基准孔局部平面法向与刀具轴线之间的偏角达到精度控制范围内。若θ误差过大时，需要调整机器人末端姿态由图4(a)所示实际姿态至4(b)所示姿态。

步骤二：利用机器人到达实际位置时反馈获得的工件局部平面法向信息及测量到的高度h′，根据距离的测量反馈进行机器人末端相对于基准孔局部平面的高度调整，直至h′与h的偏差值达到精度控制范围内。若h′与h的差值大于允许的最大误差值(本实施例中设定h′-h≤0.5mm)，则需要调整机器人姿态由图3(b) 所示实际姿态至4(a)所示姿态。

步骤三：利用相机测量基准孔空心相对于刀具轴线与基准孔局部平面之间交点间的偏差，根据图像反馈进行机器人末端位置调整，直至刀具轴线与基准孔平面交点至基准孔孔心之间的偏差达到精度控制范围内。若相机测量到的基准孔孔心像素坐标，由手眼关系H转换后的坐标，距刀具轴线距离过大时，则需要驱动机器人在当前姿态基础上沿其法兰坐标系x轴和y轴分别移动相应的偏差距离，使机器人末端姿态由图4(b)所示姿态至图4(c)所示姿态。

步骤四：重复步骤一、步骤二、步骤三至三个偏差值同时达到精度可控范围内，然后记录此时基准孔对应的机器人驱动坐标。如图5所示，为实施例中其中一个基准孔误差测量时，机器人姿态调整。5(a)实际到达时姿态,5(b)对应5(a)的圆孔中心提取结果,5(c)调整后的理想姿态,5(d)对应5(c)的圆孔中心提取结果.

所述待钻孔误差补偿，为通过基准孔的驱动误差计算出待钻孔的误差补偿量，以补偿后的待钻孔驱动坐标驱动机器人。完成对待钻孔的定位误差补偿。如图6 所示，为飞机结构试验件8上待钻孔10与基准孔9之间的位置关系示意，每一组基准孔的个数≥3，待钻孔10的补偿后的驱动坐标由相应组的基准孔9的三维误差变换矩阵计算获得。补偿待钻孔10的具体补偿步骤为：

步骤一；测量一组基准孔的实际驱动坐标，计算该组的三维误差变换矩阵。

步骤二：使用三维误差变换矩阵重新计算该组基准孔领域范围内的待钻孔的驱动坐标，以新的驱动坐标驱动机器人行驶，以补偿待钻孔定位误差。

步骤三：重复步骤一进行下一组基准孔测量，重复步骤二进行相应的定位误差补偿。直至完成所有待钻孔误差补偿。如图7所示，为本实施例中其中一个待钻孔补偿前后的误差检测结果，7(a)直接补偿后姿态,7(b)对应7(a)的圆孔中心提取结果,7(c)调整法向后最终姿态,7(d)对应7(c)的圆孔中心提取结果。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下还可以做出若干改进，这些改进也应视为本发明的保护范围。

Claims (10)

1.一种适用于曲面结构的机器人制孔误差补偿装置，包括工业相机(5)、机器人，其特征在于，所述的机器人包括机器人法兰盘(7)，所述的机器人法兰盘(7)上方为法兰坐标系xy平面(7-1)，所述的法兰坐标系xy平面(7-1)上方设置有夹具(6)，在夹具(6)的末端倾斜放置工业相机(5)；所述的夹具(6)上安装有刀具(3)，刀具(3)的轴线与法兰坐标系xy平面(7-1)的z轴重合或平行；在刀具(3)的四周分布四个激光测距传感器(4)；在所述的机器人法兰盘(7)上方还通过连接轴(2)安装有标定板(1)，所述的标定板(1)包括与法兰盘(7)相对的标定板工作面(1-1)、标定板(1)四顶角设置的标定板上定位孔(1-2)、标定板上九孔阵列(1-3)；所述的标定板工作面(1-1)与法兰坐标系xy平面(7-1)平行，所述的刀具(3)的轴线穿过标定板上九孔阵列(1-3)区域且激光测距传感器(4)的激光线(4-1)在标定板工作面(1-1)上的靶点均布在刀具轴线四周；所述的工业相机(5)的相机光轴(5-1)穿过标定板上九孔阵列(1-3)区域。

2.根据权利要求1所述的一种适用于曲面结构的机器人制孔误差补偿装置，其特征在于，所述的连接轴(2)平行于刀具(3)，并且安装在夹具(6)上。

3.根据权利要求1所述的一种适用于曲面结构的机器人制孔误差补偿装置，其特征在于，所述的标定板(1)、连接轴(2)是可拆卸的。

4.一种适用于曲面结构的机器人制孔误差补偿装置的补偿方法，其特征在于，步骤如下：

步骤一、将工业相机(5)倾斜角度安装于机器人末端，将四个激光测距传感器(4)安装在刀具(3)四周，将标定板(1)通过刚性连接轴(2)安装在机器人法兰盘(7)上方；

步骤二、通过外部测量设备三维光学测量仪或激光跟踪仪获得标定板九孔阵列在法兰坐标系下的位置，使用工业相机(5)拍摄标定板上九孔阵列(1-3)图像，计算标定板工作平面(1-1)与工业相机(5)的成像平面之间的单应矩阵，以获得的单应矩阵表征手眼关系；完成手眼标定工作后拆除标定板(1)与刚性连接轴(2)；

步骤三、利用外部测量设备三维光学测量仪或激光跟踪仪标定四个传感器在法兰坐标系下的位置；

步骤四、按照基准孔理论坐标^Rd_tj,j＝1,2,K,n,其中，d表示基准孔坐标，上标R表示机器人基坐标系下坐标，下标t表示坐标理论值；驱动机器人带动刀具(3)到达基准孔(9)上方，刀具(3)与基准孔(9)间高度h由刀具长度和预留安全距离决定，利用激光测距传感器(4)和工业相机(5)进行调整测量；

步骤五、对一组基准孔重复步骤四，测量完一组基准孔中全部基准孔的实际驱动坐标^Rd_pj,j＝1,2,K,n，其中，d表示基准孔坐标，上标R表示机器人基坐标系下坐标，下标p表示坐标实际值，利用实际驱动坐标^Rd_pj,j＝1,2,K,n与理论驱动坐标^Rd_tj,j＝1,2,K,n之间的映射关系，计算三维误差变换矩阵计算；

步骤六、利用步骤五获得的三维误差变换矩阵，对一组基准孔邻域范围内的全部待钻孔(10)的驱动坐标^Rr_t进行重新计算，其中，r表示待钻孔坐标，上标R表示机器人基坐标系下坐标，下标t表示坐标理论值，以新的驱动坐标^Rr_a驱动机器人到达待钻孔(10)，其中，上标R表示机器人基坐标系下坐标，下标a表示坐标预测值，完成对待钻孔的误差补偿。

5.根据权利要求4所述的一种适用于曲面结构的机器人制孔误差补偿装置的补偿方法，其特征在于，所述的步骤一具体为：

1.1、标定板(1)位置调整至使标定板工作面(1-1)距法兰盘坐标系xy平面(7-1)之间距离为h高度，且刀具(3)的轴线能够穿过标定板(1)上的九孔阵列(1-3)区域；

1.2、工业相机(5)角度调整至使其光轴能够通过标定板上九孔阵列(1-3)区域；

1.3、激光测距传感器(4)位置及角度调整至使激光点能均布在刀具轴线与制孔工作面的交点四周。

6.根据权利要求4所述的一种适用于曲面结构的机器人制孔误差补偿装置的补偿方法，其特征在于，所述的步骤二具体为：

2.1、通过图像处理获得九孔阵列各圆孔中心在图像中的像素坐标(u_i,v_i)(i＝1,2,L,9)；

2.2、通过外部测量设备获得标定板定位孔(1-2)在法兰坐标系下的位置，根据标定板设计尺寸，计算出标定板上九孔阵列在法兰坐标系下的坐标(x_i,y_i,z_i)(i＝1,2,L,9)；

2.3、以九孔的像素坐标及对应的笛卡尔坐标进行单应关系H计算，完成手眼标定，其中H满足

式中，u、v分别表示九孔阵列的像素坐标，x、y分别表示九孔阵列在法兰坐标系下的笛卡尔坐标的x、y值。

7.根据权利要求4所述的一种适用于曲面结构的机器人制孔误差补偿装置的补偿方法，其特征在于，所述的步骤四具体为：

4.1、利用激光测距传感器(4)测量刀具(3)轴线与基准孔(9)平面法线的夹角，根据夹角的测量反馈进行机器人末端姿态调整，直至基准孔局部平面法向与刀具轴线之间的偏角达到精度控制范围内；

4.2、利用激光测距传感器(4)测量基准孔(9)局部平面至法兰盘坐标系xy平面(7-1)的距离h′，根据距离的测量反馈进行机器人末端相对于基准孔局部平面的高度调整，直至h′与h的偏差值达到精度控制范围内；

4.3、利用工业相机(5)测量基准孔(9)相对于刀具轴线与基准孔(9)局部平面之间交点间的偏差，根据图像反馈进行机器人末端位置调整，直至刀具轴线与基准孔平面交点至基准孔孔心之间的偏差达到精度控制范围内；

4.4、重复步骤4.1、步骤4.2、步骤4.3至三个偏差值同时达到精度可控范围内，然后记录此时基准孔(9)对应的机器人驱动坐标。

8.根据权利要求4所述的一种适用于曲面结构的机器人制孔误差补偿装置的补偿方法，其特征在于，所述的步骤五具体为：

计算得到的基准孔理论驱动坐标向实际驱动坐标的旋转变换矩阵R和平移变换向量T满足下式的最小二乘解：

式中，上标R表示机器人基坐标系下坐标，下标t、p分别表示坐标理论值、坐标驱动值。

9.根据权利要求4所述的一种适用于曲面结构的机器人制孔误差补偿装置的补偿方法，其特征在于，所述的步骤六的计算为：

式中，上标R表示机器人基坐标系下坐标，下标t、a分别表示坐标理论值、坐标预测值。

10.根据权利要求4所述的一种适用于曲面结构的机器人制孔误差补偿装置的补偿方法，其特征在于，所述的精度控制范围具体为：制孔位置误差小于制孔最大允许误差，方向误差小于制孔最大允许偏角误差，距离误差小于两倍的激光测距传感器的最大误差。