CN112958960A - 一种基于光学靶标的机器人手眼标定装置 - Google Patents

Abstract

本发明的目的在于提供一种基于光学靶标的机器人手眼标定方法，解决了机器人手眼标定复杂和标定误差较大的问题。本发明通过尖端和特征点关系精确已知的光学靶标作为标定工具，光学靶标尖端用于工具坐标系和机器人的标定，靶标上的特征点用于面阵三维视觉传感器和工具坐标系的标定(方法)，并通过最优化计算的方法，实现了机器人手眼的快速、高精度标定。该方法能够克服分别进行工具坐标系和视觉坐标系标定的误差累积问题，解决标定过程中的操作复杂和示教难问题。

Description

一种基于光学靶标的机器人手眼标定装置

技术领域

本发明属于三维视觉领域和机器人应用领域，特别涉及基于光学靶标的机器人手眼标定装置。

背景技术

机器人越来越多的应用到各行各业中，焊接工作污染严重，有损人体健康的行业更是急需机器人替代人工实现自动化作业。但是在机器人应用过程中，会存在标定复杂，路径规划难，对操作人员技术要求高等问题，导致行业应用推进缓慢。三维视觉传感器可以自动识别焊接路径，引导机器人进行自动作业，但是视觉传感器和焊枪的标定是分别进行的，会出现焊枪标定精度和视觉标定精度都合格，但是***误差依然比较大的情况。且之前的方案，焊枪标定和视觉传感器的标定分别需要一个标准器，标定过程复杂。

发明内容

本发明的目的在于提供一种基于光学靶标的机器人手眼标定装置，解决了机器人手眼标定复杂和标定误差较大的问题。本发明通过尖端和特征点关系精确已知的光学靶标作为标定工具，光学靶标尖端用于工具坐标系和机器人的标定，靶标上的特征点用于面阵三维视觉传感器和工具坐标系的标定(方法)，并通过最优化计算的方法，实现了机器人手眼的快速、高精度标定。该方法能够克服分别进行工具坐标系和视觉坐标系标定的误差累积问题，解决标定过程中的操作复杂和示教难问题。

本发明的实现过程如下：

本发明所述一种基于光学靶标的机器人手眼标定装置，如图1所示，包括机器人1，面阵三维视觉传感器(简称视觉传感器)2，焊枪3，光学靶标4，和计算机5。机器人1由机器人本体11，机器人控制器12和示教器13组成。焊枪3和视觉传感器2均固定安装在机器人末端；焊枪3是本***的执行机构，也称为工具，后文中工具特指焊枪3；视觉传感器2是本***的眼睛；光学靶标4是本***中的工件。如果焊枪3，视觉传感器2和机器人本体21末端关节的位置发生相对变化，就***就需要重新手眼标定。光学靶标4有一个尖端41和若干可识别特征点42，特征点和靶标尖端在位置关系精确已知。

本发明所述一种基于光学靶标的机器人手眼标定，如图2所示，其标定过程如下：

S1:光学靶标固定在机器人的工作范围内；

S2：手动示教，让工具末端中心点TCP(Tool Center Point)和光学靶标的尖端(Target Top Point)对齐；

S3：机器人TCP保持不动，变换机器人姿态，记录机器人位姿坐标；

S4：计算得到机器人基础坐标系和工具坐标系的转换关系；

S5：手动示教，让视觉传感器拍摄到光学靶标的特征点TMP(TargetMarkPoint)；

S6：计算光学靶标的拍摄姿态，多角度进行拍摄，记录每个角度下得到机器人的位姿坐标；

S7：计算光学靶标特征点TMP在视觉坐标系下的坐标；

S8：计算视觉坐标系和机器人末端坐标系的转换关系；

S9：根据光学靶标的TTP和TMP的关系，优化机器人基础坐标系和工具坐标系的转换关系，得到更为精确的转换矩阵。

S10:计算机器人的手眼变换矩阵，S9得到的优化后的机器人基础坐标系到工具坐标系的转换的矩阵的逆矩阵乘以S8中得到的视觉坐标系和机器人末端坐标系的转换矩阵。

有益效果

基于本发明光学靶标的机器人手眼标定装置的标定方法，只需要进行简单示教，就可以完成机器人的手眼标定；本发明操作简单，降低对操作人员的要求，有助于推进工业机器人的广泛应用；减少人为操作时的误差，保证***精度。

本发明采用光学靶标同时为末端工具和视觉传感器标定，实现了工具坐标系和视觉坐标系的快速标自动标定。采用尖端点和特征点相对位置精确已知的光学靶标作为标定工具，克服分别进行工具坐标系和视觉坐标系标定的误差累积问题，实现了手眼标定的数据闭环控制，提高了***手眼标定的精度；采用最小二乘的全局优化方法，计算简单，效率高。

附图说明

图1***组成图。

图2***坐标系说明。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施方案适用于本发明，但不是本发明的全部范围。需要说明的是，下述公式中字母符号含义与说明书的发明内容的相同公式中的同一字母符号的含义相同，不再进行描述。

本发明所述一种基于光学靶标的机器人手眼标定装置，如图1所示，包括机器人1，面阵三维视觉传感器(简称视觉传感器)2，焊枪3，光学靶标4，和计算机5。机器人1右由机器人本体11，机器人控制器12和示教器13组成；

焊枪3和视觉传感器2均固定安装在机器人末端；焊枪3是本***的执行机构，也称为工具，后文中工具特指焊枪3；视觉传感器2是本***的眼睛；光学靶标4是本***中的工件。如果焊枪3，视觉传感器2和机器人本体21末端关节的位置发生相对变化，就***就需要重新手眼标定。

光学靶标4有一个尖端41和若干可识别特征点42，特征点和靶标尖端在位置关系精确已知。可识别特征点可以是一个图案，也可以是发光光源，如led等，为了满足精度要求，其要求从各个角度拍摄，其特征的空间位置保持不变。光学靶标的尖端41和特征点42通过复杂的标定过程得到其精确的相对位置关系，其映射关系为f，即P₀＝f(P_j)，j＝1～k。其中，P_j和P₀是在同一坐标系下，P_j是光学靶标特征点TMP的坐标，P₀是光学靶标尖端TTP的坐标。

本发明所涉及的坐标系如图2所示，机器人的基础坐标系BCS(Base CoordinateSystem),其坐标标系中的点表示P^b(X_b,Y_b,Z_b)；机器人末端坐标系ECS(End CoordinateSystem)，其坐标标系中的点表示P^e(X_e,Y_e,Z_e)；视觉坐标系CCS(Camera CoordinateSystem)，其坐标标系中的点表示P^c(X_c,Y_c,Z_c)；工具坐标系TCS(Tool CoordinateSystem)，其坐标标系中的点表示P^t(X_t,Y_t,Z_t)；工件坐标系WCS(Work CoordinateSystem)，其坐标标系中的点表示P^w(X_w,Y_w,Z_w)。

本发明所述一种基于光学靶标的机器人手眼标定方法，如图2所示，其标定过程如下：

S1:光学靶标固定在机器人的工作范围内，一般为机器人工作范围的中心，光学靶标尖端TTP(Target Top Point)向上，光学靶标上的特征点TMP(TargetMarkPoint)，正面朝向机器人。

S2：操作示教器，让工具末端中心点TCP(Tool Center Point)和光学靶标的尖端TTP接触对齐；

S3：机器人工具末端中心点TCP保持不动，变换机器人姿态，得到的机器人位姿坐标为

i＝1～m，机器人姿态变化越大越好，且m大于等于4。

S4：计算得到工具坐标系到机器人末端坐标系的转换关系的初始

常用的方法为4点法；通常从机器人控制器中可以直接读取到计算结果

S5：操作示教器，让视觉传感器拍摄到光学靶标特征点TMP，所有特征点需被清晰拍摄，视觉传感器到光学靶标的距离为视觉传感器的最佳工作距离；从n个角度拍摄光学靶标的特征点，进行多角度进行拍摄时，机器人的位姿坐标为

j＝1～n，n≥6。

S7:计算拍摄得到的光学靶标的特征点TMP在视觉坐标系CCS下的坐标为P^c _jk，j＝1～n，k＝1～s，s为光学靶标上的TMP的数量，n为拍摄光学靶标的角度数量。

S8：计算得到视觉坐标系和机器人末端坐标系转换关系为

S9：根据光学靶标的尖端点TTP和特征点TMP已知的位置关系，优化

得到新的工具坐标系TCS和机器人末端坐标系ECS的精确转换关系

S10:机器人的手眼变换矩阵，即从视觉传感器坐标系CCS变换到工具坐标系TCS的转换矩阵为：

其中，

为机器人手眼变换矩阵。

以上步骤中的关键步骤说明如下：

S7:计算拍摄得到的TMP坐标

所述三维视觉传感器为双目视觉传感器，拍摄靶标特征点时，双目相机(左相机和右相机)同时曝光，得到左、右图片；对左、右图片进行预处理、特征点提取分别得到左右图片上标志点的中心坐标，根据双目***的内参进行特征匹配和坐标计算，得到TMC在视觉坐标系CCS的坐标{P^c _ij|(x_cij,y_cij,z_cij),i＝1～k,j＝1～n}。由于拍摄的的图片中特征点TMC是完整的，将计算的三维点坐标按照一个固定顺序排列的为有序点。

S8：计算得到视觉坐标系和机器人基础坐标系转换关系的初始值H^b _c

视觉坐标系CCS到机器人末端坐标系ECS，再到机器人基础坐标系BCS三个坐标系之间的转换，每相邻两个坐标系之间都有一个齐次矩阵表示其相对位姿关系。因此便可以通过这四部分之间的位姿关系，将相机坐标系下的角点三维坐标转换到机器人基础坐标系下。如下式表示：

式中，P^c表示特征点TMP在视觉坐标系CCS下的三维坐标，P^b表示三维点云坐标在机器人基础坐标系下BCS的三维坐标；

是视觉坐标系CCS到机器人末端坐标系ECS的转换矩阵；

是机器人末端坐标系ECS到机器人基础坐标系BCS的转换矩阵。

P^c是由S8中计算得到的有序特征点坐标。

上式中，P^b和

未知量，其他都是已知量，为了求解未知量，用如下方程表示：

式中：j—机器人移动第j次，最大为n；s—靶标上第s个特征点，最大为k；

—机器人移动第j次时的第s个角点在BCS中的坐标；

—机器人第j次移动到某一个位置时机器人末端相对于基础坐标系的位姿。

上述过程，TMP在机器人基础坐标系下的位置没有改变，通过不同位置拍摄获得的TMP角点的机器人基础坐标系下的坐标应该是相等的。基于这个原理，目标函数如下：

求解式3得到

S9：根据光学靶标的尖端点TTP和特征点TMP已知的位置关系，优化

得到新的工具坐标系TCS和机器人末端坐标系ECS的精确转换关系矩阵

根据光学靶标的TTP和TMP的关系，其是光学靶通过精确标定获得的，光学靶标的坐标系为工件坐标系WCS，光学靶标的尖端TTP为原点，特征点TMP在WCS中的坐标为

j＝1～k。由这些特征点TMP的坐标可以计算得到光学靶标尖端TTP的坐标，其映射关系为f，即P₀＝f(P_j)，j＝1～k。S7中已知靶标特征点TMP在视觉坐标系CCS中的坐标，可以通过其映射关系得到靶标尖端点TTP在同一坐标系下的坐标。由于工具坐标系TCP和靶标尖端TTP对齐，会产生对准误差，相比较而言视觉传感器计算的标定结果更准确，所以，以视觉坐标系计算的靶标尖端坐标为TTP为真值，对工具末端的标定进行补偿。

优化

和，得到新的工具坐标系TCS和机器人末端坐标系ECS的转换关系

Claims (8)

1.一种基于光学靶标的机器人手眼标定装置，其特征在于：包括机器人、面阵三维视觉传感器、焊枪、光学靶标和计算机；机器人由机器人本体、机器人控制器和示教器组成；焊枪和面阵三维视觉传感器均固定安装在机器人本体末端；光学靶标设置在面阵三维视觉传感器可见范围内；光学靶标有一个靶标尖端和若干可识别特征点，特征点和靶标尖端的相对位置关系确定。

2.如权利要求1所述的机器人手眼标定装置，其特征在于：所述机器人手眼标定装置工作过程如下：

S1：光学靶标固定在机器人的工作范围内；

S2：手动示教，让工具末端中心点和光学靶标的尖端对齐；

S3：机器人工具末端中心点保持不动，变换机器人姿态，记录机器人位姿坐标；

S4：计算得到机器人基础坐标系和工具坐标系的转换关系；

S5：手动示教，让视觉传感器拍摄到光学靶标的特征点；

S6：计算光学靶标的拍摄姿态，多角度进行拍摄，记录每个角度下得到机器人的位姿坐标；

S7：计算光学靶标特征点在视觉坐标系下的坐标；

S8：计算视觉坐标系和机器人末端坐标系的转换关系；

S9：根据光学靶标的尖端和特征点的关系，优化机器人基础坐标系和工具坐标系的转换关系，得到更为精确的转换矩阵；

S10：计算机器人的手眼变换矩阵，S9得到的优化后的机器人基础坐标系到工具坐标系的转换的矩阵的逆矩阵乘以S8中得到的视觉坐标系和机器人末端坐标系的转换矩阵。

3.如权利要求1所述的机器人手眼标定装置，其特征在于：所述可识别特征点是一个图案或者是发光光源；光学靶标的尖端和特征点的映射关系为f，即P₀＝f(P_j)，j＝1～k；其中，P_j和P₀是在同一坐标系下，P_j是光学靶标特征点TMP的坐标，P₀是光学靶标尖端TTP的坐标；i＝1～m，机器人姿态变化越大越好，且m大于等于4。

4.如权利要求1所述的机器人手眼标定装置，其特征在于：S4中，计算得到工具坐标系到机器人末端坐标系的转换关系的初始

常用的方法为4点法；通常从机器人控制器中可以直接读取到计算结果

5.如权利要求1所述的机器人手眼标定装置，其特征在于：S5中，所有特征点需被清晰拍摄，视觉传感器到光学靶标的距离为视觉传感器的最佳工作距离；从n个角度拍摄光学靶标的特征点，进行多角度进行拍摄时，机器人的位姿坐标为

j＝1～n，n≥6。

6.如权利要求1所述的机器人手眼标定装置，其特征在于：S6中，计算拍摄得到的光学靶标的特征点TMP在视觉坐标系CCS下的坐标为P^c _jk，j＝1～n，k＝1～s，s为光学靶标上的TMP的数量，n为拍摄光学靶标的角度数量。

7.如权利要求1所述的机器人手眼标定装置，其特征在于：S8中，计算得到视觉坐标系和机器人基础坐标系转换关系的初始值H^b _c视觉坐标系CCS到机器人末端坐标系ECS，再到机器人基础坐标系BCS三个坐标系之间的转换，每相邻两个坐标系之间都有一个齐次矩阵表示其相对位姿关系；因此便可以通过这四部分之间的位姿关系，将相机坐标系下的角点三维坐标转换到机器人基础坐标系下；如下式表示：

式中，P^c表示特征点TMP在视觉坐标系CCS下的三维坐标，P^b表示三维点云坐标在机器人基础坐标系下BCS的三维坐标；

是视觉坐标系CCS到机器人末端坐标系ECS的转换矩阵；

是机器人末端坐标系ECS到机器人基础坐标系BCS的转换矩阵；

P^c是由s8中计算得到的有序特征点坐标。

上式中，P^b和

未知量，其他都是己知量，为了求解未知量，用如下方程表示：

式中：j-机器人移动第j次，最大为n；s-靶标上第s个特征点，最大为k；

-机器人移动第j次时的第s个角点在BCS中的坐标；

机器人第j次移动到某一个位置时机器人末端相对于基础坐标系的位姿。

上述过程，TMP在机器人基础坐标系下的位置没有改变，通过不同位置拍摄获得的TMP角点的机器人基础坐标系下的坐标应该是相等的；基于这个原理，目标函数如下：

求解式3得到

8.如权利要求1所述的机器人手眼标定装置，其特征在于：S9中，视觉坐标系和机器人末端坐标系的标定结果不变，并根据视觉传感器计算靶标尖端点的坐标，优化工具坐标系和机器人末端的转换矩阵。

如权利要求4所述的机器人手眼标定装置，其特征在于：S9中，光学靶标的坐标系为工件坐标系WCS，光学靶标的尖端TTP为原点，特征点TMP在WCS中的坐标为

j＝1～k；由这些特征点TMP的坐标可以计算得到光学靶标尖端TTP的坐标，其映射关系为f，即P₀＝f(P_j)，j＝1～k；S7中己知靶标特征点TMP在视觉坐标系CCS中的坐标；通过其映射关系得到靶标尖端点TTP在同一坐标系下的坐标；由于工具坐标系TCP和靶标尖端TTP对齐，会产生对准误差，相比较而言视觉传感器计算的标定结果更准确，所以，以视觉坐标系计算的靶标尖端坐标为TTP为真值，对工具末端的标定进行补偿；

优化

和，得到新的工具坐标系TCS和机器人末端坐标系ECS的转换关系

Images