CN115847423A - 一种工业机器人眼看手视觉***标定方法 - Google Patents

一种工业机器人眼看手视觉***标定方法 Download PDF

Info

Publication number
CN115847423A
CN115847423A CN202211728753.5A CN202211728753A CN115847423A CN 115847423 A CN115847423 A CN 115847423A CN 202211728753 A CN202211728753 A CN 202211728753A CN 115847423 A CN115847423 A CN 115847423A
Authority
CN
China
Prior art keywords
coordinate system
industrial robot
calibration target
end effector
vision sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211728753.5A
Other languages
English (en)
Other versions
CN115847423B (zh
Inventor
卢荣胜
江权
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN202211728753.5A priority Critical patent/CN115847423B/zh
Publication of CN115847423A publication Critical patent/CN115847423A/zh
Application granted granted Critical
Publication of CN115847423B publication Critical patent/CN115847423B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Manipulator (AREA)
  • Numerical Control (AREA)

Abstract

本发明公开了一种工业机器人眼看手视觉***标定方法，是应用于由3D视觉传感器、工业机器人、工业机器人末端执行器、校准靶标和计算机构成的***中，该标定方法包括：将校准靶标与工业机器人末端执行器固定在一起进行运动，得到工业机器人末端执行器与校准靶标间的位姿关系，计算校准靶标在空间中任一位置所测量的实际位置和理论位置间的误差，从而迭代优化得到3D视觉传感器和工业机器人基坐标系间的位姿关系。本发明能减少传统算法中工业机器人绝对位置误差对标定结果产生的影响，提高工业机器人视觉***标定精度。

Description

一种工业机器人眼看手视觉***标定方法
技术领域
本发明涉及机器视觉领域，具体涉及一种工业机器人眼看手视觉***标定方法。
背景技术
近年来，手眼式机器人***在码垛、搬运、焊接众多工业领域得到了广泛应用。手眼***可分为眼在手、眼看手和两者兼有的混合***，其目的都是为将外界目标的位姿信息赋予到机器人***，然后通过控制***作出决策，命令机器人去执行相应的动作。这其中最为关键的环节是获取视觉***与工业机器人末端执行器坐标系(眼在手上)或工业机器人基坐标系(眼在手外)的位姿关系，即手眼标定问题。
手眼标定问题通常可归结为眼在手***或眼看手***中求解齐次矩阵方程AX＝XB的问题。其中，眼看手***中一般以工业机器人末端执行器与校准靶标位姿关系不变为纽带，求解视觉***与工业机器人基坐标系的位姿关系。但是此种方式往往因工业机器人绝对位置误差和视觉***测量误差的双重影响而导致视觉***标定误差较大。
发明内容
本发明为克服现有技术的不足之处，提供一种工业机器人眼看手视觉***标定方法，以期能解决手眼标定过程中工业机器人绝对位置误差和视觉***测量误差的双重影响而导致标定误差较大的问题，从而能提高工业机器人视觉***标定精度。
本发明为达到上述发明目的，采用如下技术方案：
本发明一种工业机器人眼看手视觉***标定方法，所述工业机器人的末端装配有末端执行器，在工业机器人的末端执行器上固定有校准靶标，在所述末端执行器的正上方设置有3D视觉传感器，用于测量空间中校准靶标的位置；其特点是，所述工业机器人眼看手视觉***标定方法是按如下步骤进行：
步骤1、建立工业机器人基坐标系OB、工业机器人末端法兰坐标系OE、工业机器人末端执行器坐标系OS、校准靶标坐标系OJ和3D视觉传感器坐标系OC；
步骤2、利用三点法将工业机器人的末端执行器以3个不同的位姿接触空间中的同一点，并得到工业机器人末端执行器坐标系OS相对于工业机器人末端法兰坐标系OE的旋转平移向量e＝(dx,dy,dz,α,β,γ)，其中，dx、dy、dz分别表示工业机器人末端执行器坐标系OS相对于工业机器人末端法兰坐标系OE在X、Y、Z轴方向的平移量；α、β、γ分别表示工业机器人末端执行器坐标系OS相对于工业机器人末端法兰坐标系OE绕X、Y、Z轴的旋转角度；
利用式(1-1)-式(1-2)计算维度为3×3的旋转矩阵
Figure BDA0004030805660000021
和维度为3×1的平移矩阵/>
Figure BDA0004030805660000022
从而得到工业机器人末端执行器坐标系OS相对于工业机器人末端法兰坐标系OE的位姿关系/>
Figure BDA0004030805660000023
Figure BDA0004030805660000024
Figure BDA0004030805660000025
/>
Figure BDA0004030805660000026
式(1-1)中，RX(α)、RY(β)、RZ(γ)分别表示工业机器人执行器坐标系OS相对于工业机器人末端法兰坐标系OE绕X、Y、Z轴旋转α、β、γ所得到的旋转矩阵，并有：
Figure BDA0004030805660000027
Figure BDA0004030805660000028
Figure BDA0004030805660000029
步骤3、确定工业机器人基坐标系OB和工业机器人末端执行器坐标系OE的位姿关系；
步骤3.1、根据机器人正运动学的标准D-H参数，分别在工业机器人的每个轴建立相应的关节坐标系，从而利用式(2)得到关节m-1与关节m的位姿关系
Figure BDA00040308056600000210
Figure BDA00040308056600000211
式(2)中，am为关节m-1与关节m之间的连杆长度，αm为关节m-1与关节m之间的连杆扭角，dm为关节m-1与关节m之间的连杆偏距，θm为关节m-1与关节m之间的关节角；
步骤3.2、由所述位姿关系
Figure BDA00040308056600000212
联立工业机器人正运动学公式得到工业机器人末端执行器坐标系OS相对于工业机器人基坐标系OB的位姿关系/>
Figure BDA00040308056600000213
其中，/>
Figure BDA00040308056600000214
表示工业机器人末端法兰坐标系OE相对于工业机器人基坐标系OB的位姿关系，/>
Figure BDA00040308056600000215
表示工业机器人末端执行器坐标系OS相对于工业机器人末端法兰坐标系OE的位姿关系；
步骤4、确定工业机器人末端执行器坐标系OS和校准靶标坐标系OJ的位姿关系；
步骤4.1、操控工业机器人绕其末端执行器坐标系OS的X、Y、Z轴各旋转j次后，j≥3，分别记录校准靶标旋转到不同位置后在3D视觉传感器坐标系OC下的位置坐标，并通过空间圆拟合后得到相应三个空间圆在3D视觉传感器坐标系OC下的圆心坐标分别为h1＝(a1,b1,c1)、h2＝(a2,b2,c2)、h3＝(a3,b3,c3)，相应的半径为r1、r2、r3；
步骤4.2、计算三个空间圆的法向量Fx＝(fx1,fy1,fz1)、Fy＝(fx2,fy2,fz2)、Fz＝(fx3,fy3,fz3)，从而利用式(4-1)-式(4-3)分别得到三个空间圆过其各自的圆心的法向量直线方程：
fx1*(x-a1)+fy1*(y-b1)+fz1*(z-c1)＝0 (4-1)
fx2*(x-a2)+fy2*(y-b2)+fz2*(z-c2)＝0 (4-2)
fx3*(x-a3)+fy3*(y-b3)+fz3*(z-c3)＝0 (4-3)
式(4-1)-式(4-3)中，x、y、z表示直线方程中的待求未知数；
根据三条过圆心的法向量直线方程交于工业机器人末端执行器坐标系OS的原点，联立式(4-1)-式(4-3)后得到工业机器人末端执行器坐标系OS的原点在3D视觉传感器坐标系OC中的坐标h0＝(a0,b0,c0)；
计算得到校准靶标坐标系OJ相对于工业机器人末端执行器坐标系OS的平移矩阵
Figure BDA0004030805660000031
由工业机器人末端执行器坐标系OS和校准靶标坐标系OJ的位姿关系
Figure BDA0004030805660000032
Figure BDA0004030805660000033
得到工业机器人基坐标系OB和校准靶标坐标系OJ的位姿关系/>
Figure BDA0004030805660000034
Figure BDA0004030805660000035
其中，/>
Figure BDA0004030805660000036
是维度为3×3的旋转矩阵，/>
Figure BDA0004030805660000037
是维度为3×1的平移矩阵；
步骤5、操控工业机器人带动校准靶标运动至不同位置，以初始点位置为基准，分别绕工业机器人末端执行器坐标系OS的X、Y、Z轴正逆时针方向各旋转一定角度，然后分别沿工业机器人末端执行器坐标系OS的X、Y、Z轴的正负方向各移动一定距离，使校准靶标始终处于3D传感器的视场中，记录包括初始点位置的不同位置下校准靶标分别在3D视觉传感器坐标系OC下的位置坐标
Figure BDA0004030805660000038
和工业机器人基坐标系OB下的位置坐标
Figure BDA0004030805660000039
其中，/>
Figure BDA00040308056600000310
表示校准靶标移动至第i个位置时在3D视觉传感器坐标系OC下的位置坐标，/>
Figure BDA00040308056600000311
表示校准靶标移动至第i个位置时在工业机器人基坐标系OB下的位置坐标，且/>
Figure BDA00040308056600000312
G表示所记录的校准靶标的位置个数；
步骤6、计算工业机器人基坐标系OB和3D视觉传感器坐标系OC的位姿关系
Figure BDA0004030805660000041
Figure BDA0004030805660000042
其中，/>
Figure BDA0004030805660000043
是维度为3×3的旋转矩阵，表示3D视觉传感器坐标系OC相对于工业机器人基坐标系OB绕X、Y、Z轴的旋转角度θx、θy、θz，r11,r12,…,r33为旋转矩阵/>
Figure BDA0004030805660000044
的各个元素；/>
Figure BDA0004030805660000045
是维度为3×1的平移矩阵，代表3D视觉传感器坐标系相对于工业机器人基坐标系在X、Y、Z轴方向的平移量tx、ty、tz；
由步骤5根据奇异值分解得到工业机器人基坐标系OB和3D视觉传感器坐标系OC的初始的位姿关系
Figure BDA0004030805660000046
其中，由Q0逆向求解得到初始的旋转平移向量/>
Figure BDA00040308056600000417
Figure BDA00040308056600000418
tx(0)、/>
Figure BDA00040308056600000416
tz(0)分别表示初始的3D视觉传感器坐标系OC相对于工业机器人基坐标系OB在X、Y、Z轴方向的平移量，θx(0)、/>
Figure BDA00040308056600000419
θz(0)分别表示3D视觉传感器坐标系OC相对于工业机器人基坐标系OB绕X、Y、Z轴的初始的旋转角度，/>
Figure BDA0004030805660000047
和/>
Figure BDA0004030805660000048
分别表示工业机器人基坐标系OB与3D视觉传感器坐标系OC之间的初始的位姿关系Q0的旋转矩阵和平移矩阵：/>
Figure BDA0004030805660000049
Figure BDA00040308056600000410
式(5-1)中，
Figure BDA00040308056600000411
分别表示3D视觉传感器坐标系OC相对于工业机器人基坐标系OB绕X、Y、Z轴旋转/>
Figure BDA00040308056600000412
所得到的旋转矩阵，并有：
Figure BDA00040308056600000413
Figure BDA00040308056600000414
Figure BDA00040308056600000415
步骤7、根据旋转平移向量得到位姿关系Q，从而利用式(6)计算校准靶标移动至第i个位置时所测量的实际位置和理论位置间的误差Ei：
Figure BDA0004030805660000051
步骤8、利用式(7)得到误差Ei的雅克比矩阵Ji：
Figure BDA0004030805660000052
步骤9、采用式(8)所示的L-M算法求解X的参数向量的最优值，从而得到优化后的旋转平移向量q*：
Figure BDA0004030805660000053
式(8)中，q(i,k+1)表示校准靶标移动至第i个位置时第k+1次迭代下得到的位姿关系Qk+1的旋转平移向量，q(i,k)表示校准靶标移动至第i个位置时第k次迭代下得到的位姿关系Qk的旋转平移向量，且
Figure BDA0004030805660000055
q(i,0)＝q0；J(i,k)表示校准靶标移动至第i个位置时第k次迭代下的雅克比矩阵，T表示转置，K表示迭代的总次数，u为阻尼因子，I为单位矩阵，g(i,k)表示校准靶标移动至第i个位置时第k次迭代下的雅克比矩阵的转置与误差E(i,k)的乘积，即/>
Figure BDA0004030805660000054
E(i,k)表示校准靶标移动至第i个位置时第k次迭代下所测量的实际位置和理论位置间的误差；tx(i,k)、/>
Figure BDA0004030805660000056
tz(i,k)分别表示校准靶标移动至第i个位置时第k次迭代下的3D视觉传感器坐标系OC相对于工业机器人基坐标系OB在X、Y、Z轴方向的平移量，θx(i,k)、/>
Figure BDA0004030805660000057
θz(i,k)分别表示校准靶标移动至第i个位置时第k次迭代下的3D视觉传感器坐标系OC相对于工业机器人基坐标系OB绕X、Y、Z轴的旋转角度；/>
步骤10、若||g(i,k)||≤ε，则停止迭代，得到所求的最优值q*，否则，将k+1赋值给k后，返回步骤9顺序执行，其中，ε表示给定终止误差，且ε>0；由最优值q*得到工业机器人基坐标系OB和3D视觉传感器坐标系OC的最优位姿关系Q*。
本发明一种电子设备，包括存储器以及处理器的特点在于，所述存储器用于存储支持处理器执行所述方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
本发明一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序的特点在于，所述计算机程序被处理器运行时执行所述方法的步骤。
与已有技术相比，本发明的有益效果体现在：
1、本发明提出利用视觉***得到校准靶标与工业机器人末端执行器间的位姿关系，根据此位姿关系计算校准靶标在空间中任一位置所测量的实际位置和理论位置间的误差，迭代优化得到工业机器人基坐标系和3D视觉传感器坐标系最优位姿关系，减小了由于工业机器人绝对位置误差对标定的影响，从而提高了工业机器人视觉***标定的精度；
2、本发明提出使用奇异值分解法求解校准靶标同一位置在3D视觉传感器坐标系和工业机器人基坐标系下的不同位置，具有极高的可靠性，减小了传统手眼标定问题求解坐标系转换过程中产生的误差；
3、本发明提出使用L-M算法求解优化3D视觉传感器坐标系和工业机器人基坐标系位姿关系，鲁棒性强且可以较快地找到最优值；
4、本发明提出使用的3D视觉传感器和校准靶标具有普适性，可替代性强，满足绝大多数应用场合。
附图说明
图1是本发明实施例一种工业机器人眼看手视觉***标定方法中坐标系定义示意图。
图2是本发明实施例中工业机器人分别绕末端执行器坐标系X、Y、Z轴旋转时校准靶标形成的空间圆示意图。
具体实施方式
本实施例中，一种工业机器人眼看手视觉***标定方法，是应用于工业机器人的手眼标定过程中，其在工业机器人的末端执行器2上固定一个校准靶标3；
眼看手***中一般以工业机器人的末端执行器2与校准靶标3的位姿关系不变为纽带，求解视觉***与机器人基坐标系的位姿关系，但此种方式往往因机器人绝对位置误差和视觉***测量误差的双重影响而导致标定误差较大。在这种方案中，用视觉***与工业机器人基坐标系的位姿关系不变为纽带，首先求解出工业机器人末端执行器坐标系与校准靶标坐标系间的位姿关系，进而求解校准靶标在空间中任一位置所测量的实际位置和理论位置间的误差，优化得到视觉***与工业机器人基坐标系的位姿关系的最优解。
操控工业机器人带动校准靶标运动至多个位置，根据工业机器人基坐标系与3D视觉传感器的位姿关系，3D视觉传感器与校准靶标的位姿关系，校准靶标与工业机器人末端执行器的位姿关系，可得校准靶标在工业机器人基坐标系下的测量(实际)位姿。根据工业机器人正运动学与计算可得校准靶标在工业机器人基坐标系下的理论位置，将其理论位姿与测量(实际)位置相比较可得***的标定误差大小。
本实施例中，一种工业机器人眼看手视觉***标定方法，是应用于工业机器人视觉***中，如图1所示，3D视觉传感器4固定于工业机器人末端执行器的正上方，校准靶标3固定在工业机器人的末端执行器2上，3D视觉传感器可对视场中的校准靶标位置不断进行测量；具体地说，该标定方法是按如下步骤进行：
步骤1、建立工业机器人基坐标系OB、工业机器人末端法兰坐标系OE、工业机器人末端执行器坐标系OS、校准靶标坐标系OJ和3D视觉传感器坐标系OC；其中，工业机器人基坐标系OB即世界坐标系，原点位置在J2轴所处水平面与J1轴交点处，工业机器人末端法兰坐标系OE的原点位置位于工业机器人末端法兰盘中心，工业机器人末端执行器坐标系OS的原点位置位于执行器末端，校准靶标坐标系OJ的原点位置位于校准靶标可识别特征点处，3D视觉传感器坐标系OC的原点位置位于3D视觉传感器内部；
步骤2、利用三点法将工业机器人的末端执行器(2)以3个不同的位姿接触空间中的同一点，并得到工业机器人末端执行器坐标系OS相对于工业机器人末端法兰坐标系OE的旋转平移向量e＝(dx,dy,dz,α,β,γ)，其中，dx、dy、dz分别表示工业机器人末端执行器坐标系OS相对于工业机器人末端法兰坐标系OE在X、Y、Z轴方向的平移量；α、β、γ分别表示工业机器人末端执行器坐标系OS相对于工业机器人末端法兰坐标系OE绕X、Y、Z轴的旋转角度；
利用式(1-1)-式(1-2)计算维度为3×3的旋转矩阵
Figure BDA0004030805660000071
和维度为3×1的平移矩阵
Figure BDA0004030805660000072
从而得到工业机器人末端执行器坐标系OS相对于工业机器人末端法兰坐标系OE的位姿关系/>
Figure BDA0004030805660000073
Figure BDA0004030805660000074
Figure BDA0004030805660000075
Figure BDA0004030805660000076
式(1-1)中，RX(α)、RY(β)、RZ(γ)分别表示工业机器人执行器坐标系OS相对于工业机器人末端法兰坐标系OE绕X、Y、Z轴旋转α、β、γ所得到的旋转矩阵，并有：
Figure BDA0004030805660000077
Figure BDA0004030805660000078
Figure BDA0004030805660000079
步骤3、确定工业机器人基坐标系OB和工业机器人末端执行器坐标系OE的位姿关系；
步骤3.1、根据机器人正运动学的标准D-H参数，分别在工业机器人的每个轴建立相应的关节坐标系，从而利用式(2)得到关节m-1与关节m的位姿关系
Figure BDA0004030805660000081
/>
Figure BDA0004030805660000082
式(2)中，am为关节m-1与关节m之间的连杆长度，αm为关节m-1与关节m之间的连杆扭角，dm为关节m-1与关节m之间的连杆偏距，θm为关节m-1与关节m之间的关节角；
步骤3.2、由所述位姿关系
Figure BDA0004030805660000083
联立工业机器人正运动学公式得到工业机器人末端执行器坐标系OS相对于工业机器人基坐标系OB的位姿关系/>
Figure BDA0004030805660000084
其中，/>
Figure BDA0004030805660000085
表示工业机器人末端法兰坐标系OE相对于工业机器人基坐标系OB的位姿关系，/>
Figure BDA0004030805660000086
表示工业机器人末端执行器坐标系OS相对于工业机器人末端法兰坐标系OE的位姿关系；
步骤4、确定工业机器人末端执行器坐标系OS和校准靶标坐标系OJ的位姿关系；
步骤4.1、操控工业机器人绕其末端执行器坐标系OS的X、Y、Z轴各旋转j次后，j≥3，分别记录校准靶标(3)旋转到不同位置后在3D视觉传感器坐标系OC下的位置坐标，如图2所示，通过空间圆拟合后得到相应三个空间圆在3D视觉传感器坐标系OC下的圆心坐标分别为h1＝(a1,b1,c1)、h2＝(a2,b2,c2)、h3＝(a3,b3,c3)，相应的半径为r1、r2、r3；
步骤4.2、计算三个空间圆的法向量Fx＝(fx1,fy1,fz1)、Fy＝(fx2,fy2,fz2)、Fz＝(fx3,fy3,fz3)，从而利用式(4-1)-式(4-3)分别得到三个空间圆过其各自的圆心的法向量直线方程：
fx1*(x-a1)+fy1*(y-b1)+fz1*(z-c1)＝0 (4-1)
fx2*(x-a2)+fy2*(y-b2)+fz2*(z-c2)＝0 (4-2)
fx3*(x-a3)+fy3*(y-b3)+fz3*(z-c3)＝0 (4-3)
式(4-1)-式(4-3)中，x、y、z表示直线方程中的待求未知数；
根据三条过圆心的法向量直线方程交于工业机器人末端执行器坐标系OS的原点，联立式(4-1)-式(4-3)后得到工业机器人末端执行器坐标系OS的原点在3D视觉传感器坐标系OC中的坐标h0＝(a0,b0,c0)；
计算得到校准靶标坐标系OJ相对于工业机器人末端执行器坐标系OS的平移矩阵
Figure BDA0004030805660000087
由工业机器人末端执行器坐标系OS和校准靶标坐标系OJ的位姿关系
Figure BDA0004030805660000088
Figure BDA0004030805660000091
得到工业机器人基坐标系OB和校准靶标坐标系OJ的位姿关系/>
Figure BDA0004030805660000092
Figure BDA0004030805660000093
其中，/>
Figure BDA0004030805660000094
是维度为3×3的旋转矩阵，/>
Figure BDA0004030805660000095
是维度为3×1的平移矩阵；
步骤5、操控工业机器人带动校准靶标(3)运动至不同位置，以初始点位置为基准，分别绕工业机器人末端执行器坐标系OS的X、Y、Z轴正逆时针方向各旋转一定角度，然后分别沿工业机器人末端执行器坐标系OS的X、Y、Z轴的正负方向各移动一定距离，使校准靶标(3)始终处于3D传感器的视场中，记录包括初始点位置的不同位置下校准靶标(3)分别在3D视觉传感器坐标系OC下的位置坐标
Figure BDA0004030805660000096
和工业机器人基坐标系OB下的位置坐标/>
Figure BDA0004030805660000097
其中，/>
Figure BDA0004030805660000098
表示校准靶标(3)移动至第i个位置时在3D视觉传感器坐标系OC下的位置坐标，/>
Figure BDA0004030805660000099
表示校准靶标(3)移动至第i个位置时在工业机器人基坐标系OB下的位置坐标，且/>
Figure BDA00040308056600000910
G表示所记录的校准靶标的位置个数；
步骤6、计算工业机器人基坐标系OB和3D视觉传感器坐标系OC的位姿关系
Figure BDA00040308056600000911
Figure BDA00040308056600000912
其中，/>
Figure BDA00040308056600000913
是维度为3×3的旋转矩阵，表示3D视觉传感器坐标系OC相对于工业机器人基坐标系OB绕X、Y、Z轴的旋转角度θx、θy、θz，r11,r12,…,r33为旋转矩阵/>
Figure BDA00040308056600000914
的各个元素；/>
Figure BDA00040308056600000915
是维度为3×1的平移矩阵，代表3D视觉传感器坐标系相对于工业机器人基坐标系在X、Y、Z轴方向的平移量tx、ty、tz；
由步骤5根据奇异值分解得到工业机器人基坐标系OB和3D视觉传感器坐标系OC的初始的位姿关系
Figure BDA00040308056600000916
其中，由Q0逆向求解得到初始的旋转平移向量/>
Figure BDA00040308056600000919
Figure BDA00040308056600000920
tx(0)、/>
Figure BDA00040308056600000921
tz(0)分别表示初始的3D视觉传感器坐标系OC相对于工业机器人基坐标系OB在X、Y、Z轴方向的平移量，θx(0)、/>
Figure BDA00040308056600000922
θz(0)分别表示3D视觉传感器坐标系OC相对于工业机器人基坐标系OB绕X、Y、Z轴的初始的旋转角度，/>
Figure BDA00040308056600000917
和/>
Figure BDA00040308056600000918
分别表示工业机器人基坐标系OB与3D视觉传感器坐标系OC之间的初始的位姿关系Q0的旋转矩阵和平移矩阵：
Figure BDA0004030805660000101
Figure BDA0004030805660000102
式(5-1)中，RX(θx(0))、
Figure BDA0004030805660000103
RZ(θz(0))分别表示3D视觉传感器坐标系OC相对于工业机器人基坐标系OB绕X、Y、Z轴旋转θx(0)、/>
Figure BDA0004030805660000104
θz(0)所得到的旋转矩阵，并有：
Figure BDA0004030805660000105
Figure BDA0004030805660000106
/>
Figure BDA0004030805660000107
步骤7、根据旋转平移向量得到位姿关系Q，从而利用式(6)计算校准靶标(3)移动至第i个位置时所测量的实际位置和理论位置间的误差Ei：
Figure BDA0004030805660000108
步骤8、利用式(7)得到误差Ei的雅克比矩阵Ji：
Figure BDA0004030805660000109
步骤9、采用式(8)所示的L-M算法求解X的参数向量的最优值，从而得到优化后的旋转平移向量q*：
Figure BDA00040308056600001010
式(8)中，q(i,k+1)表示校准靶标(3)移动至第i个位置时第k+1次迭代下得到的位姿关系Qk+1的旋转平移向量，q(i,k)表示校准靶标(3)移动至第i个位置时第k次迭代下得到的位姿关系Qk的旋转平移向量，且
Figure BDA00040308056600001012
q(i,0)＝q0；J(i,k)表示校准靶标(3)移动至第i个位置时第k次迭代下的雅克比矩阵，T表示转置，K表示迭代的总次数，u为阻尼因子，I为单位矩阵，g(i,k)表示校准靶标(3)移动至第i个位置时第k次迭代下的雅克比矩阵的转置与误差E(i,k)的乘积，即/>
Figure BDA00040308056600001011
E(i,k)表示校准靶标(3)移动至第i个位置时第k次迭代下所测量的实际位置和理论位置间的误差；tx(i,k)、
Figure BDA0004030805660000111
tz(i,k)分别表示校准靶标(3)移动至第i个位置时第k次迭代下的3D视觉传感器坐标系OC相对于工业机器人基坐标系OB在X、Y、Z轴方向的平移量，θx(i,k)、/>
Figure BDA0004030805660000112
θz(i,k)分别表示校准靶标(3)移动至第i个位置时第k次迭代下的3D视觉传感器坐标系OC相对于工业机器人基坐标系OB绕X、Y、Z轴的旋转角度；
步骤10、若||g(i,k)||≤ε，则停止迭代，得到所求的最优值q*，否则，将k+1赋值给k后，返回步骤9顺序执行，其中，ε表示给定终止误差，且ε>0；由最优值q*得到工业机器人基坐标系OB和3D视觉传感器坐标系OC的最优位姿关系Q*。
本实施例中，一种电子设备，包括存储器以及处理器，该存储器用于存储支持处理器执行工业机器人眼看手视觉***标定方法的程序，该处理器被配置为用于执行该存储器中存储的程序。
本实施例中，一种计算机可读存储介质，是在计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行该工业机器人眼看手视觉***标定方法的步骤。

Claims (3)

1.一种工业机器人眼看手视觉***标定方法，所述工业机器人的末端装配有末端执行器(2)，在工业机器人的末端执行器(2)上固定有校准靶标(3)，在所述末端执行器(2)的正上方设置有3D视觉传感器(4)，用于测量空间中校准靶标(3)的位置；其特征是，所述工业机器人眼看手视觉***标定方法是按如下步骤进行：
步骤1、建立工业机器人基坐标系OB、工业机器人末端法兰坐标系OE、工业机器人末端执行器坐标系OS、校准靶标坐标系OJ和3D视觉传感器坐标系OC；
步骤2、利用三点法将工业机器人的末端执行器(2)以3个不同的位姿接触空间中的同一点，并得到工业机器人末端执行器坐标系OS相对于工业机器人末端法兰坐标系OE的旋转平移向量e＝(dx,dy,dz,α,β,γ)，其中，dx、dy、dz分别表示工业机器人末端执行器坐标系OS相对于工业机器人末端法兰坐标系OE在X、Y、Z轴方向的平移量；α、β、γ分别表示工业机器人末端执行器坐标系OS相对于工业机器人末端法兰坐标系OE绕X、Y、Z轴的旋转角度；
利用式(1-1)-式(1-2)计算维度为3×3的旋转矩阵
Figure FDA0004030805650000011
和维度为3×1的平移矩阵/>
Figure FDA0004030805650000012
从而得到工业机器人末端执行器坐标系OS相对于工业机器人末端法兰坐标系OE的位姿关系
Figure FDA0004030805650000013
Figure FDA0004030805650000014
Figure FDA0004030805650000015
Figure FDA0004030805650000016
式(1-1)中，RX(α)、RY(β)、RZ(γ)分别表示工业机器人执行器坐标系OS相对于工业机器人末端法兰坐标系OE绕X、Y、Z轴旋转α、β、γ所得到的旋转矩阵，并有：
Figure FDA0004030805650000017
Figure FDA0004030805650000018
Figure FDA0004030805650000019
步骤3、确定工业机器人基坐标系OB和工业机器人末端执行器坐标系OE的位姿关系；
步骤3.1、根据机器人正运动学的标准D-H参数，分别在工业机器人的每个轴建立相应的关节坐标系，从而利用式(2)得到关节m-1与关节m的位姿关系
Figure FDA00040308056500000110
Figure FDA0004030805650000021
式(2)中，am为关节m-1与关节m之间的连杆长度，αm为关节m-1与关节m之间的连杆扭角，dm为关节m-1与关节m之间的连杆偏距，θm为关节m-1与关节m之间的关节角；
步骤3.2、由所述位姿关系
Figure FDA0004030805650000022
联立工业机器人正运动学公式得到工业机器人末端执行器坐标系OS相对于工业机器人基坐标系OB的位姿关系/>
Figure FDA0004030805650000023
其中，/>
Figure FDA0004030805650000024
表示工业机器人末端法兰坐标系OE相对于工业机器人基坐标系OB的位姿关系，/>
Figure FDA0004030805650000025
表示工业机器人末端执行器坐标系OS相对于工业机器人末端法兰坐标系OE的位姿关系；
步骤4、确定工业机器人末端执行器坐标系OS和校准靶标坐标系OJ的位姿关系；
步骤4.1、操控工业机器人绕其末端执行器坐标系OS的X、Y、Z轴各旋转j次后，j≥3，分别记录校准靶标(3)旋转到不同位置后在3D视觉传感器坐标系OC下的位置坐标，并通过空间圆拟合后得到相应三个空间圆在3D视觉传感器坐标系OC下的圆心坐标分别为h1＝(a1,b1,c1)、h2＝(a2,b2,c2)、h3＝(a3,b3,c3)，相应的半径为r1、r2、r3；
步骤4.2、计算三个空间圆的法向量Fx＝(fx1,fy1,fz1)、Fy＝(fx2,fy2,fz2)、Fz＝(fx3,fy3,fz3)，从而利用式(4-1)-式(4-3)分别得到三个空间圆过其各自的圆心的法向量直线方程：
fx1*(x-a1)+fy1*(y-b1)+fz1*(z-c1)＝0 (4-1)
fx2*(x-a2)+fy2*(y-b2)+fz2*(z-c2)＝0 (4-2)
fx3*(x-a3)+fy3*(y-b3)+fz3*(z-c3)＝0 (4-3)
式(4-1)-式(4-3)中，x、y、z表示直线方程中的待求未知数；
根据三条过圆心的法向量直线方程交于工业机器人末端执行器坐标系OS的原点，联立式(4-1)-式(4-3)后得到工业机器人末端执行器坐标系OS的原点在3D视觉传感器坐标系OC中的坐标h0＝(a0,b0,c0)；
计算得到校准靶标坐标系OJ相对于工业机器人末端执行器坐标系OS的平移矩阵
Figure FDA0004030805650000026
由工业机器人末端执行器坐标系OS和校准靶标坐标系OJ的位姿关系
Figure FDA0004030805650000027
Figure FDA0004030805650000031
得到工业机器人基坐标系OB和校准靶标坐标系OJ的位姿关系/>
Figure FDA0004030805650000032
Figure FDA0004030805650000033
其中，/>
Figure FDA0004030805650000034
是维度为3×3的旋转矩阵，/>
Figure FDA0004030805650000035
是维度为3×1的平移矩阵；
步骤5、操控工业机器人带动校准靶标(3)运动至不同位置，以初始点位置为基准，分别绕工业机器人末端执行器坐标系OS的X、Y、Z轴正逆时针方向各旋转一定角度，然后分别沿工业机器人末端执行器坐标系OS的X、Y、Z轴的正负方向各移动一定距离，使校准靶标(3)始终处于3D传感器的视场中，记录包括初始点位置的不同位置下校准靶标(3)分别在3D视觉传感器坐标系OC下的位置坐标
Figure FDA0004030805650000036
和工业机器人基坐标系OB下的位置坐标/>
Figure FDA0004030805650000037
其中，/>
Figure FDA0004030805650000038
表示校准靶标(3)移动至第i个位置时在3D视觉传感器坐标系OC下的位置坐标，/>
Figure FDA0004030805650000039
表示校准靶标(3)移动至第i个位置时在工业机器人基坐标系OB下的位置坐标，且/>
Figure FDA00040308056500000310
G表示所记录的校准靶标的位置个数；/>
步骤6、计算工业机器人基坐标系OB和3D视觉传感器坐标系OC的位姿关系
Figure FDA00040308056500000311
Figure FDA00040308056500000312
其中，/>
Figure FDA00040308056500000313
是维度为3×3的旋转矩阵，表示3D视觉传感器坐标系OC相对于工业机器人基坐标系OB绕X、Y、Z轴的旋转角度θx、θy、θz，r11,r12,…,r33为旋转矩阵/>
Figure FDA00040308056500000314
的各个元素；/>
Figure FDA00040308056500000315
是维度为3×1的平移矩阵，代表3D视觉传感器坐标系相对于工业机器人基坐标系在X、Y、Z轴方向的平移量tx、ty、tz；
由步骤5根据奇异值分解得到工业机器人基坐标系OB和3D视觉传感器坐标系OC的初始的位姿关系
Figure FDA00040308056500000316
其中，由Q0逆向求解得到初始的旋转平移向量/>
Figure FDA00040308056500000317
Figure FDA00040308056500000318
Figure FDA00040308056500000319
分别表示初始的3D视觉传感器坐标系OC相对于工业机器人基坐标系OB在X、Y、Z轴方向的平移量，/>
Figure FDA00040308056500000320
分别表示3D视觉传感器坐标系OC相对于工业机器人基坐标系OB绕X、Y、Z轴的初始的旋转角度，/>
Figure FDA00040308056500000321
和
Figure FDA00040308056500000322
分别表示工业机器人基坐标系OB与3D视觉传感器坐标系OC之间的初始的位姿关系Q0的旋转矩阵和平移矩阵：
Figure FDA0004030805650000041
Figure FDA0004030805650000042
式(5-1)中，
Figure FDA0004030805650000043
分别表示3D视觉传感器坐标系OC相对于工业机器人基坐标系OB绕X、Y、Z轴旋转/>
Figure FDA0004030805650000044
所得到的旋转矩阵，并有：
Figure FDA0004030805650000045
Figure FDA0004030805650000046
Figure FDA0004030805650000047
步骤7、根据旋转平移向量得到位姿关系Q，从而利用式(6)计算校准靶标(3)移动至第i个位置时所测量的实际位置和理论位置间的误差Ei：
Figure FDA0004030805650000048
步骤8、利用式(7)得到误差Ei的雅克比矩阵Ji：
Figure FDA0004030805650000049
步骤9、采用式(8)所示的L-M算法求解X的参数向量的最优值，从而得到优化后的旋转平移向量q*：
Figure FDA00040308056500000410
式(8)中，q(i,k+1)表示校准靶标(3)移动至第i个位置时第k+1次迭代下得到的位姿关系Qk+1的旋转平移向量，q(i,k)表示校准靶标(3)移动至第i个位置时第k次迭代下得到的位姿关系Qk的旋转平移向量，且
Figure FDA00040308056500000411
q(i,0)＝q0；J(i,k)表示校准靶标(3)移动至第i个位置时第k次迭代下的雅克比矩阵，T表示转置，K表示迭代的总次数，u为阻尼因子，I为单位矩阵，g(i,k)表示校准靶标(3)移动至第i个位置时第k次迭代下的雅克比矩阵的转置与误差E(i,k)的乘积，即/>
Figure FDA00040308056500000412
E(i,k)表示校准靶标(3)移动至第i个位置时第k次迭代下所测量的实际位置和理论位置间的误差；/>
Figure FDA0004030805650000051
分别表示校准靶标(3)移动至第i个位置时第k次迭代下的3D视觉传感器坐标系OC相对于工业机器人基坐标系OB在X、Y、Z轴方向的平移量，/>
Figure FDA0004030805650000052
分别表示校准靶标(3)移动至第i个位置时第k次迭代下的3D视觉传感器坐标系OC相对于工业机器人基坐标系OB绕X、Y、Z轴的旋转角度；
步骤10、若||g(i,k)||≤ε，则停止迭代，得到所求的最优值q*，否则，将k+1赋值给k后，返回步骤9顺序执行，其中，ε表示给定终止误差，且ε>0；由最优值q*得到工业机器人基坐标系OB和3D视觉传感器坐标系OC的最优位姿关系Q*。
2.一种电子设备，包括存储器以及处理器，其特征在于，所述存储器用于存储支持处理器执行权利要求1所述方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
3.一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1所述方法的步骤。
CN202211728753.5A 2022-12-30 2022-12-30 一种工业机器人眼看手视觉***标定方法 Active CN115847423B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211728753.5A CN115847423B (zh) 2022-12-30 2022-12-30 一种工业机器人眼看手视觉***标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211728753.5A CN115847423B (zh) 2022-12-30 2022-12-30 一种工业机器人眼看手视觉***标定方法

Publications (2)

Publication Number Publication Date
CN115847423A true CN115847423A (zh) 2023-03-28
CN115847423B CN115847423B (zh) 2024-05-28

Family

ID=85656458

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211728753.5A Active CN115847423B (zh) 2022-12-30 2022-12-30 一种工业机器人眼看手视觉***标定方法

Country Status (1)

Country Link
CN (1) CN115847423B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116923333A (zh) * 2023-07-10 2023-10-24 南京航空航天大学 一种视觉引导下的车辆对齐与调平方法及装置
CN117817671A (zh) * 2024-02-21 2024-04-05 北京迁移科技有限公司 基于视觉引导的机器人***及机器人***校准方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160214255A1 (en) * 2015-01-22 2016-07-28 GM Global Technology Operations LLC Method for calibrating an articulated end effector employing a remote digital camera
CN111546328A (zh) * 2020-04-02 2020-08-18 天津大学 基于三维视觉测量的手眼标定方法
CN112958960A (zh) * 2021-02-08 2021-06-15 革点科技(深圳)有限公司 一种基于光学靶标的机器人手眼标定装置
CN113160334A (zh) * 2021-04-28 2021-07-23 北京邮电大学 一种基于手眼相机的双机器人***标定方法
US20220402131A1 (en) * 2021-06-09 2022-12-22 eBots Inc. System and method for error correction and compensation for 3d eye-to-hand coordinaton

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160214255A1 (en) * 2015-01-22 2016-07-28 GM Global Technology Operations LLC Method for calibrating an articulated end effector employing a remote digital camera
CN111546328A (zh) * 2020-04-02 2020-08-18 天津大学 基于三维视觉测量的手眼标定方法
CN112958960A (zh) * 2021-02-08 2021-06-15 革点科技(深圳)有限公司 一种基于光学靶标的机器人手眼标定装置
CN113160334A (zh) * 2021-04-28 2021-07-23 北京邮电大学 一种基于手眼相机的双机器人***标定方法
US20220402131A1 (en) * 2021-06-09 2022-12-22 eBots Inc. System and method for error correction and compensation for 3d eye-to-hand coordinaton

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116923333A (zh) * 2023-07-10 2023-10-24 南京航空航天大学 一种视觉引导下的车辆对齐与调平方法及装置
CN116923333B (zh) * 2023-07-10 2024-05-07 南京航空航天大学 一种视觉引导下的车辆对齐与调平方法及装置
CN117817671A (zh) * 2024-02-21 2024-04-05 北京迁移科技有限公司 基于视觉引导的机器人***及机器人***校准方法

Also Published As

Publication number Publication date
CN115847423B (zh) 2024-05-28

Similar Documents

Publication Publication Date Title
CN115847423A (zh) 一种工业机器人眼看手视觉***标定方法
CN109048876B (zh) 一种基于激光跟踪仪的机器人标定方法
CN112873199B (zh) 基于运动学与空间插值的机器人绝对定位精度标定方法
CN105444672B (zh) 激光测距仪和机械臂末端关系的正交平面标定方法及***
CN113160334B (zh) 一种基于手眼相机的双机器人***标定方法
CN114083534B (zh) 基于自适应梯度下降的机械臂运动学mdh参数标定方法
CN104535027A (zh) 一种变参数误差辨识的机器人精度补偿方法
CN111256732B (zh) 一种用于水下双目视觉的目标姿态误差测量方法
CN109238199B (zh) 一种机器人旋转轴运动学参数标定方法
TWI701123B (zh) 機器人工件座標系自動校正系統與方法
CN113211445B (zh) 一种机器人参数标定方法、装置、设备及存储介质
CN107607918A (zh) 一种基于机器人的柱面近场测量馈源定位及偏焦方法
CN110883774A (zh) 机器人关节角零位标定***、方法及存储介质
CN111238367B (zh) 一种绳驱机械臂三维臂型测量方法及装置
CN112318498A (zh) 一种考虑参数耦合的工业机器人标定方法
CN117381800B (zh) 一种手眼标定方法及***
CN115091456A (zh) 基于矩阵求解的机器人手眼标定方法
CN112767493A (zh) Stewart平台运动学参数的机器视觉标定方法
JPH06131032A (ja) ロボット装置およびロボット装置のティ−チング方法。
CN112894814B (zh) 一种基于最小二乘法的机械臂dh参数辨识方法
CN113240753A (zh) 机器人与双轴变位机构基坐标系标定球面拟合法
CN115062482B (zh) 一种考虑旋转关节定位误差的串联机器人运动学建模方法
CN112792816B (zh) 基于几何的手眼标定方法、机器人、计算机及存储介质
JP7436675B2 (ja) ロボット制御装置
CN109737902B (zh) 基于坐标测量仪的工业机器人运动学标定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant