CN111531547B - 一种基于视觉测量的机器人标定及检测方法 - Google Patents

Abstract

本发明公开一种基于视觉测量的机器人标定及检测的方法，所述方法包括以下步骤：1)相机的内部固有参数标定2)相机单目位姿估计采集点位误差3)移动机器人末端达到目标点位4)记录数据更改目标点5)建立误差模型6)迭代求解非线性超定方程组7)利用视觉测量的外部长度约束进行连杆长度修正并进行绕点精度检测。

Description

一种基于视觉测量的机器人标定及检测方法

技术领域

本发明属于光电测量领域，具体涉及一种基于计算机视觉的机器人DH参数误差辨识和结果检测的方法。

背景技术

工业机器人绝对定位精度是它的重要性能指标，而它的绝对定位精度由于制造，装配等原因一直都是毫米级精度，无法满足高精度加工的要求。机器人目前广泛采用离线示教编程，利用机器人较高的重复定位精度实现高精度作业，但是由于作业场景越来越复杂，示教编程越来越繁琐，而且现代工厂对机器人绝对定位精度要求越来越高，所以为了满足机器人加工精度的要求，需要通过分析机器人绝对定位误差产生的原因，建立误差模型然后进行误差的补偿，从而减小机器人的绝对定位误差。

机器人标定一般利用一些高精度定位或约束方法采集机器人位置数据集，然后建立合适的机器人运动学误差模型来进行误差参数的辨识。

现在广泛采用的定位或约束技术包括激光，视觉，拉线传感器，球杆仪等。激光跟踪仪设备精度高，标定方式简单，但是设备昂贵，维修成本过高，无法实现随时对机器人进行标定，需要一定的场地和环境，不适合工厂的高效生产模式。而视觉四点标定是通过长度约束来实现机器人的标定，不能对传动比和工具坐标系等进行标定，且无法验证标定结果。通过球杆仪等接触法进行的标定由于存在很大的人为配合误差和加工误差，价格较贵，没有很好的实用价值。

发明内容

鉴于现有技术中存在的问题，本发明一种基于视觉测量的机器人标定及检测方法，其特征在于：所述方法包括以下步骤：

S1获得相机的内参矩阵；

S2根据图像处理通过角点识别结合S1中得到的相机内参矩阵，利用PnP算法来实现机器人所述相机末端和棋盘格目标点的点位对齐，最终记录下对齐后的关节角度数据；

S3利用采集的数据建立机器人误差模型方程，然后得到一个非线性超定方程组，最后利用最小二乘迭代法进行求解，并利用更改所述棋盘格目标位置为左上角角点得到的距离约束计算出实际的连杆修正长度值。

优选地，所述步骤S2包括以下步骤：

S21将所述相机固定在所述机器人末端,使用所述相机获得所述棋盘格的图片，然后进行第一目标对准点位检测和亚像素处理获得所述第一目标对准点位的亚像素坐标以及对应的棋盘格世界坐标系角点坐标，结合S1中得到的所述相机内参矩阵，利用PnP算法求解得到所述棋盘格坐标系和所述相机坐标系之间的位姿变换，完成所述相机的单目位姿估计，利用求得的位姿变换可以求得所述棋盘格上所有角点在在相机坐标系下的三维坐标，然后求取坐标均值就可以得到所述相机原点距离所有角点中心点的距离，也就是位置误差；

S22判断所述位置误差是否小于0.01mm，如果满足误差要求就记录机器人位置和对应的关节角度数据集,变换机器人的姿态；

S23记录n次所述第一目标对准点位数据后把所述机器人的目标对准点位更改为所述棋盘格的第二目标对准点位，然后回到S2继续进行数据采集，采集完所述第二目标对准点位数据后移动所述棋盘格以使得标定参数(机器人各个轴的零位偏差，长度偏差，减速比)能够适应所述机器人的大范围运动，其中n>＝5。

优选地，在步骤S23中，移动所述棋盘格可以是所述棋盘格不动通过图像处理的方式改变对齐的点位从所述第一目标对准点位改为所述第二目标对准点位，以用于提供一个外部的长度约束。

优选地，在步骤S23中，移动所述棋盘格可以是移动所述棋盘格一个较大的距离进行点位对齐，以使机器人可以适应大范围的工作空间。

优选地，所述步骤S3包括以下步骤：

S31建立机器人误差模型方程，利用微分方程来进行参数误差的求解；

S32根据采集的数据和步骤S31中的模型可以得到一个非线性超定方程组，利用迭代法求解该方程组，迭代计算多次直到误差足够小为止；

S33利用所述第一目标对准点位和所述第二目标对准点位之间的距离和所述棋盘格的名义加工距离，可得到真实的修正连杆长度，然后利用视觉测量进行机器人绕点精度的验证对标定结果进行评价。

与现有技术方案相比，本发明至少具有以下有益效果：

(1)绝对定位精度高。本发明使用视觉测量的方法进行绕点精度视觉测量验证和激光跟踪仪验证效果几乎一致，可以达到0.2mm以下，可见本方法不仅可以基本达到激光跟踪仪的标定效果，还可以实现机关跟踪仪的验证效果。基本可以实现激光跟踪仪的功能，并且标定了几乎激光跟踪仪可以标定的所有参数，包括传动比，零位误差，连杆长度，工具坐标系等。

(2)标定成本低，操作简单。本方法只使用了一个普通卷帘快门一千万像素相机实现角点检测和测量，相比于激光跟踪仪动辄百万的维修和购买费用有着巨大的优势，而且本方法不受限于环境和光照，只需要背光灯就可以实现视觉测量，可以应用于大部分的生产环境，随时进行标定，而且操作简单可以实现自动标定的流程。避免了大量的搬运机器人的工作和复杂繁琐的工作流程。

附图说明

图1为本发明基于视觉测量的机器人点约束关节角度数据采集流程图；

图2为本发明机器人标定算法流程图；

图3为本发明使用的高精度棋盘格角点及方向识别示意图；

图4为为机器人绕点精度误差检测图。

下面对本发明进一步详细说明。但下述的实例仅仅是本发明的简易例子，并不代表或限制本发明的权利保护范围，本发明的保护范围以权利要求书为准。

具体实施方式

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。

针对现代工业机器人高精度的绝对定位要求，以及激光跟踪仪和传统视觉方法的缺陷，本发明公开了一种基于视觉测量的机器人标定及检测方法。该方法使用高精度棋盘格利用视觉测量方法实现机器人末端相机光心和棋盘格角点矩阵中心对准，记录下当前的机器人的关节角度，然后变换机器人的姿态，继续进行点位对齐，记录多组(数目为n,一般取n>＝20)数据后把目标对准角点更换到棋盘格左上角角点，再记录多组(数目为n,一般取n>＝20)数据。为了能够让机器人的全局定位精度较好，需要进行多次(次数为m,一般取m>＝3)测量，移动棋盘格位置，尽量让m次测量距离较远，记录数据后可以得到2*m*n组数据，同时得到m个长度约束。把2*m*n个点的关节角度代入误差模型建立一个非线性超定方程组，利用最小二乘迭代法可以求得零位偏差，连杆长度比例，传动比偏差，然后利用m个长度约束对之前求得的长度比例参数给定一个距离约束就可以得到连杆长度实际修正值，得到完整的机器人标定参数，最后利用视觉测量进行机器人绕点精度的验证可以对标定结果进行评价。

实施例1

基于视觉测量的机器人标定及检测方法，包括如下步骤：

S1：使用相机进行测量之前要利用棋盘格进行相机内参标定获得相机内参矩阵，得到相机的图像坐标系和像素坐标系的变换矩阵。

如图1所示，步骤S2-S4是数据采集流程图，具体如下：

S2:将相机固定在机器人末端，此时不需要精确定位，相机作为工具坐标，可以在建立误差运动学模型时添加相机的位置误差进而求解得到精确的相机位置，使用相机获取棋盘格(用作标定板)图像，进行灰度处理和局部平均自适应阈值化后再进行膨胀，腐蚀等形态学操作，然后进行角点检测和亚像素处理获得角点的亚像素坐标以及对应的棋盘格世界坐标系角点坐标，结合S1中得到的相机内参矩阵，利用PnP算法求解得到棋盘格坐标系和相机坐标系之间的位姿变换，完成相机的单目位姿估计，利用求得的位姿变换可以求得棋盘格上所有角点在在相机坐标系下的三维坐标，然后求取坐标均值就可以得到相机原点距离所有角点中心点(目标位置)的距离，也就是位置误差，判断这个位置误差是否小于0.01mm。

S3:利用S2中得到的机器人当前位置与目标位置的误差，利用机器人逆运动学解得需要目标位置关节角度值，由于机器人精度不高，所以一次移动不能直接移动到位，需要进行多次移动才能对齐点位。如果满足误差要求就记录机器人位置和对应的关节角度数据集,变换机器人的姿态，重复S2。

S4:记录二十次点位数据后把机器人的目标对准点位更改为棋盘格左上角角点，然后回到S2继续进行数据采集，采集完左上角的位置数据后移动棋盘格以使得标定参数能够适应机器人的大范围运动。最终采集得到2*m*n组数据以及m个长度距离约束dr_i(i＝1-m)。

如图2所示，步骤S5-S7是利用采集的数据进行机器人误差参数辨识的算法流程，具体如下：

S5:首先利用机器人的正运动学公式得到相机末端在机器人基座标系下的姿态是：

是机器人的DH参数，

是码器的关节角度，需要进行辨识的就是φ的误差Δ

S6：本方法采用点约束来实现点位数据的采集，所以误差模型可以建立如下：

其中J是机器人正运动学公式的雅可比矩阵，

其中a,d,θ分别为连杆长度，距离和转角，k为实际传动比与理论传动比的比值系数。

矩阵是利用记录下的关节角度计算出的末端位置和二十点计算的位置均值的差值。可以得到一个非线性超定方程组，利用迭代法求解该方程组，初始值设为理论值即可求出结果，迭代方程如下：

迭代计算多次直到误差

足够小为止。

S7：由于S5和S6步骤求解得到的是连杆长度和对齐目标点距离的比例参数kd，并不能得到准确的连杆长度修正值，所以需要进行外部距离约束。利用S4中采集得到的m个长度距离约束dr_i(i＝1-m)和S7计算得到的kd即可得到真实的修正连杆长度，然后利用视觉测量进行机器人绕点精度的验证对标定结果进行评价。

进一步的，为了能够获取到高精度的图像，在S3中数据采集之前需要进行对焦。S3中角点检测可以得到角点在像素坐标系上的坐标(u，v)以及对应的世界坐标系坐标(x,y,z)，为了保证角点检测的方向性，需要对识别出的角点利用棋盘格本身的不对称性进行方向的识别，本方法采用的是把采集到的四个最外侧角点坐标向角点矩形外进行偏移并做出一个半径为n(根据相机和图像的条件来选择)像素的圆，求取圆形区域的灰度平均值，结合角点的排列顺序可以实现方向的辨别。

进一步的，S6中在进行迭代求解的过程中由于机器人第一根连杆的零位误差是不需要进行标定的，为了求得长度比例参数需要固定第一根连杆的长度为标称名义值，所以每次迭代开始前需要把第一根连杆的零位误差和长度偏差设为零，同时每次计算

时都需要利用上一次迭代计算出来的新的DH参数修正值求解得到。

进一步的，对于S6中得出的非线性超定方程组，采用最小二乘法进行迭代求解，此法具有较高的收敛速度，且各测量点误差分布均匀。一般经过几百次左右的迭代就可以实现

为0.0001数量级的精度。

对上述步骤进行总结可得，S1获得相机的固有属性，S2,S3,S4是利用图像处理通过角点识别和PnP相机位姿估计来实现机器人相机末端和棋盘格目标点的点位对齐，最终记录下对齐后的关节角度数据。S5,S6,S7是利用采集到的数据建立机器人运动误差模型，然后得到一个非线性超定方程组，最后利用最小二乘迭代法进行求解，并利用更改棋盘格目标位置为左上角角点得到的距离约束计算出实际的连杆修正长度值。

实施例2

本实例以高精度棋盘格为视觉测量的标志物，如图3所示，角点数目是11*8，棋盘格边长是0.3cm，使用一千万像素卷帘快门相机为图像采集设备，图像尺寸为3840*2880，对SCARA四轴机器人的平面定位精度进行标定，需要标定的参数包括，一二轴长度和二轴零位偏差，工具坐标系长度和零位偏差，传动比等。

主要流程有：1)相机的内部固有参数标定2)相机单目位姿估计采集点位误差3)移动机器人末端达到目标点位4)记录数据更改目标点5)建立误差模型6)迭代求解非线性超定方程组7)利用视觉测量的外部长度约束进行连杆长度修正并进行绕点精度检测。

具体步骤如下：

S1:首先利用张正友相机标定法获取相机图像坐标系和像素坐标系之间的变换矩阵，即相机的内参矩阵:

S2:使用相机获得棋盘格的图片，利用相机的单目位姿估计获取到相机坐标系和棋盘格坐标系的位姿变换，然后把棋盘格坐标系的角点坐标变换到相机坐标系下，进行求均值运算，就可以得到相机坐标系原点和角点矩阵中心点的距离误差，进行后续的点位对齐过程。

S3:由于机器人本身采用的DH参数是名义标称值，精度不高，所以虽然给定了需要移动到的点位与当前位置的距离误差，但是不能一次就对齐点位，需要多次移动多次识别角点才能对齐，经过MATLAB仿真验证机器人DH参数误差不大时，可以通过十次以内的移动对齐点位。

S4:通过两种方式改变机器人末端需要对齐的目标点，一种是棋盘格不动通过图像处理的方式改变对齐的点位从中心点改为角点矩阵的左上角，以用于提供一个外部的长度约束。另外一种是移动棋盘格一个较大的距离进行点位对齐(距离误差小于0.01mm)，以使机器人可以适应大范围的工作空间。本实例利用这两种方式移动了三次棋盘格，每个棋盘格目标点有两个，每个目标点采集20次数据，一共得到了120组关节角度数据。

S5:建立机器人误差模型方程，利用微分方程来进行参数误差的求解。SCARA机器人的误差模型如下：

ΔP＝Pe-Pn,其中Pe为实到位姿，Pn指令位姿。将传动比k、零位误差

代入误差公式，令

获得误差公式：

写成矩阵形式：

ΔP＝JΔδ

ΔP＝Pe-Pn

ΔP＝[Δpx,Δpy]^T，雅克比矩阵J为误差系数矩阵，

Δδ是一个9x1的误差矢量，

一轴零位误差只有在具有机器人外部方向约束时产生影响，对距离准确度无影响，在缺少外部方向约束时，辨识过程中将一轴零位误差默认为0度，同时由于误差模型只能求解出连杆长度比例参数，所以每次迭代过程中需要把第一根杆的长度误差设为0。

S6:根据采集的数据和模型可以得到一个九个未知量组成的240个超定非线性方程组，然后把迭代求解的初始值设为机器人名义值为向量a[325,275,130,0,0,0,1,1,1]，三个一组分别代表连杆长，零位误差，传动比与理论值的比值，注意在每次迭代计算时都需要重新计算实际末端到达的位置和误差矢量，最后经过两百次左右的迭代可以得到修正后的DH参数为ab[325,275.2520,88.7834,0,-0.1318,4.3936,1.0011,0.9998,1.0001]。

S7:利用S6中得到的DH参数计算出的其中一个棋盘格两个目标点位置的距离dr_i,然后利用高精度棋盘格的名义加工距离dc_i可以求得比例系数kd_i＝dr_i/dc_i,(利用多个目标点采用冗余计算求取多个kd_i求平均值)利用这个比例系数乘以连杆长度系数向量[325,275.2520,88.7834]可以得到最终修正的连杆长度值[325.2539，275.4518，88.8478],最终机器人检测绕点精度误差为最大0.15mm，如图4所示，可以达到机器人实际使用的要求。

以上详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种简单变型，这些简单变型均属于本发明的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。

此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明的思想，其同样应当视为本发明所公开的内容。

Claims (4)

1.一种基于视觉测量的机器人标定及检测方法，其特征在于：所述方法包括以下步骤：

S1获得相机的内参矩阵；

S2根据图像处理通过角点识别结合S1中得到的相机内参矩阵，利用PnP算法来实现机器人所述相机末端和棋盘格目标点的点位对齐，最终记录下对齐后的关节角度数据；

S3利用采集的数据建立机器人误差模型方程，然后得到一个非线性超定方程组，最后利用最小二乘迭代法进行求解，并利用更改所述棋盘格目标位置为左上角角点得到的距离约束计算出实际的连杆修正长度值；最后利用视觉测量进行机器人绕点精度的验证对标定结果进行评价；

所述步骤S2包括以下步骤：

S21将所述相机固定在所述机器人末端,使用所述相机获得所述棋盘格的图片，然后进行第一目标对准点位检测和亚像素处理获得所述第一目标对准点位的亚像素坐标以及对应的棋盘格世界坐标系角点坐标，结合S1中得到的所述相机内参矩阵，利用PnP算法求解得到所述棋盘格坐标系和所述相机坐标系之间的位姿变换，完成所述相机的单目位姿估计，利用求得的位姿变换可以求得所述棋盘格上所有角点在在相机坐标系下的三维坐标，然后求取坐标均值就可以得到所述相机原点距离所有角点中心点的距离，也就是位置误差；

S22判断所述位置误差是否小于0.01mm，如果满足误差要求就记录机器人位置和对应的关节角度数据集,变换机器人的姿态；

S23记录n次所述第一目标对准点位数据后把所述机器人的目标对准点位更改为所述棋盘格的第二目标对准点位，然后回到S2继续进行数据采集，采集完所述第二目标对准点位数据后移动所述棋盘格以使得标定参数能够适应所述机器人的大范围运动，其中n>＝5。

2.根据权利要求1所述的方法，其特征在于：在步骤S23中，移动所述棋盘格可以是所述棋盘格不动通过图像处理的方式改变对齐的点位从所述第一目标对准点位改为所述第二目标对准点位，以用于提供一个外部的长度约束。

3.根据权利要求1所述的方法，其特征在于：在步骤S23中，移动所述棋盘格可以是移动所述棋盘格一个较大的距离进行点位对齐，以使机器人可以适应大范围的工作空间。

4.根据权利要求1所述的方法，其特征在于：所述步骤S3包括以下步骤：

S31建立机器人误差模型方程，利用微分方程来进行参数误差的求解；

S32根据采集的数据和步骤S31中的模型可以得到一个非线性超定方程组，利用迭代法求解该方程组，迭代计算多次直到误差足够小为止；

S33利用所述第一目标对准点位和所述第二目标对准点位之间的距离和所述棋盘格的名义加工距离，可得到真实的修正连杆长度，然后利用视觉测量进行机器人绕点精度的验证对标定结果进行评价。

Images