CN111775146B

CN111775146B - 一种工业机械臂多工位作业下的视觉对准方法

Info

Publication number: CN111775146B
Application number: CN202010515905.8A
Authority: CN
Inventors: 叶南; 石世锋; 祝鸿宇; 张丽艳
Original assignee: Nanjing University of Aeronautics and Astronautics
Current assignee: Nanjing University of Aeronautics and Astronautics
Priority date: 2020-06-08
Filing date: 2020-06-08
Publication date: 2022-07-12
Anticipated expiration: 2040-06-08
Also published as: CN111775146A

Abstract

本发明公开一种工业机械臂多工位作业下的视觉对准方法，首先，利用***标定建立起各坐标系之间的位置关系；其次，设计一套合作靶标，将其布置在对准工位附近，并进行靶标位姿求解；获取靶标期望位姿，然后为多个工位建立对准任务表；以任务表为依据执行对准操作，计算靶标的实际位姿与期望位姿的偏差，将偏差量解算为机械臂的运动数据，驱动末端进行位姿调整，最终实现末端工具与工位的精确对准。本发明的对准方法鲁棒性好，稳健可靠，测量结果精度高；硬件***构成简单，成本低、灵活性强；在对准过程中不会因对准工具和目标产生视觉遮挡，且满足实时性需求，用于解决近距离对准问题具有优势，适合工业现场的应用。

Description

一种工业机械臂多工位作业下的视觉对准方法

技术领域

本发明属于智能制造技术领域，具体涉及一种工业机械臂多工位作业下的视觉对准方法。

背景技术

随着航空航天领域往智能制造方向不断发展，工业机械臂被广泛应用于飞机零部件的对准、旋拧和抓取等装配工作中。传统的机械臂装配工作依靠示教再现或固定编程实现基本的运动操作，绝对定位精度低，且对环境的感知能力差，无法满足智能装配的要求。为提升机械臂装配的灵活性和柔性，视觉传感器与工业机械臂逐渐融合，构建合适的机械臂视觉***是完成装配作业的一个重要前提。

基于视觉反馈的机械臂装配***可根据机械臂与视觉的结合方式分为Eye-in-Hand和Eye-to-Hand两种，又可依据视觉传感器数目分为单目、双目和多目***。单目Eye-to-Hand机械臂抓取***，已知目标工件的尺寸，通过图像预处理和单目视觉获取工件的位姿，引导机械臂快速有效地抓取工件，且位姿误差小，能够满足工业生产的预期要求。双目立体视觉***，根据双目三维重建原理完成对目标图像关键点的三维重建，实现对机械臂手持工件轴和带孔工件圆片的位姿测量，其中立体匹配是难题。单目视觉***，以花键轴的轴套为定位目标，并在轴套上固定了人工标志物来辅助完成花键轴与花键套的对准，但该过程完全忽略姿态问题。目前，双目和多目***存在结构复杂、鲁棒性较差、图像之间的立体匹配困难等问题；而单目***结构简单、相机标定容易且精度高，近年来大多数研究都是基于单目***。Eye-to-Hand的结合方式使机械臂视场变大，但容易产生遮挡问题；Eye-in-Hand***的局部精度更高，视场观察范围更加灵活。

在此基础上，为了准确复现对准目标的位姿信息，工程中一般考虑合作式方案和非合作式方案。非合作式方案是利用目标自身的特征属性辅助完成测量，但这些特征不固定，难以稳定提取，且未必满足位姿解算要求。

发明内容

本发明解决的技术问题：现有的定位精度低，且对环境的感知能力差；结构复杂、鲁棒性较差、图像之间的立体匹配困难。

技术方案：为了解决上述技术问题，本发明采用的技术方案如下：

一种工业机械臂多工位作业下的视觉对准方法，首先，利用***标定建立起各坐标系之间的位置关系；其次，设计一套合作靶标，将其布置在对准目标附近，并进行靶标位姿求解；获取靶标期望位姿，然后为目标建立对准任务表；以任务表为依据执行对准操作，计算靶标的实际位姿与期望位姿的偏差，将偏差量解算为机械臂的运动数据，驱动末端进行位姿调整，最终实现末端工具与目标的精确对准。

作为优选，***标定中，首先进行TCP标定，得到法兰坐标系相对于机械臂基坐标系的变换关系

然后进行相机标定和手眼标定，相机标定获得相机坐标系和图像坐标系之间的映射关系，手眼标定获得相机坐标系相对于法兰坐标系的变换关系

作为优选，每个靶标上布置有多个特征点，其中若干特征点相连形成凸包，剩余特征点处于凸包内部，凸包上的特征点按照顺时针顺序编号，其中凸包上特征点用于计算单应矩阵，凸包内部特征点用于验证单应矩阵，获取靶标三维坐标点点集，然后相机采集靶标图像并对图像进行处理，得到图像特征点点集，建立图像特征点与靶标三维点之间的对应关系；利用PNP算法(pespective-n-point)计算出靶标在相机坐标系下的位姿变换关系即

作为优选，靶标的图像处理过程为：首先对图像进行高斯滤波，去除多余噪声；使用Canny算子进行边缘检测，将检测到的边缘以树形结构存储；根据面积约束和圆度准则得到可能的特征点轮廓，接着对每个轮廓直径上的像素点灰度值是否连续进行判断，进一步筛选得到正确的特征点轮廓；采用最小二乘拟合特征点轮廓的最小外接矩形，将该矩形的中心认定为特征点中心，得到图像特征点点集。

作为优选，建立任务表的方法为：控制机械臂运动使得末端工具在装配作业前与各工位上的目标进行预对准，相机采集该目标所对应合作靶标的图像，利用位姿求解算法获得目标所对应靶标的期望位姿，记为

接着为目标建立对准任务，将末端工具信息、已测得的靶标特征点点集和期望位姿

作为先验信息存储到任务中，为所有工位的目标建立任务，形成任务表。

作为优选，相机采集靶标当前图像并计算得到靶标相对于相机坐标系的当前位姿变换关系

然后计算当前位姿变换关系

与期望位姿

的误差

若该误差大于设定的阈值，则结合***标定结果将误差转换到机械臂基坐标系下，解算出机械臂的运动数据并引导机械臂运动。

作为优选，当机械臂运动到新位置后重新采集图像并计算位姿误差，直到

小于设定的阈值，则完成对准任务；查找任务表，判断是否完成所有任务，若没有，则继续执行下一项任务，直至完成所有任务。

作为优选，设末端工具与目标处于对准状态时法兰在机械臂基坐标系下的位姿变换关系为

当机械臂调整位姿达到

时，靶标和相机的位姿关系达到期望位姿，末端工具与目标处于对准状态。

作为优选，对机械臂的运动量进行定位误差的插补，

中包含两个分量：旋转矩阵

和平移向量

将旋转矩阵转换为四元数进行坐标旋转插补，对平移向量进行位置插补，计算过程如下：

其中，

和

分别是当前法兰在机械臂基坐标系下的位姿变换矩阵

中的旋转矩阵和平移向量；

和

分别是对准状态时法兰在机械臂基坐标系下的位姿变换矩阵

中的旋转矩阵和平移向量；k为插值系数，本发明中取值为0.8；Slerp()为插补函数。最后得到的

构成新的变换矩阵

即机械臂需要调整到达的位姿。

有益效果：与现有技术相比，本发明具有以下优点：

本发明获取靶标的期望位姿并为多工位上的目标建立任务表，***以任务表为依据执行对准操作，将靶标当前位姿与期望位姿的偏差作为驱动量，控制机械臂运动进行迭代调姿，最终偏差收敛在一定范围内成功实现对准，整个***构成一个基于位置反馈的闭环***。实验结果表明，测量距离约在260mm处，对准精度在X、Y方向达到0.1mm，Z方向达到0.2mm，角度误差优于0.1°。

本发明在使用单目Eye-in-Hand***和采用合作式方案的基础上，本发明的机械臂多工位作业下的视觉对准方法，设计的一套合作靶标用以提供特征点，利用特征点在靶标坐标系中的三维坐标和图像上特征点的二维坐标解算相机和靶标的位姿关系，鲁棒性好，稳健可靠，测量结果精度更高；本发明的硬件***构成简单，成本低、灵活性强；在对准过程中不会产生遮挡，且满足实时性需求。用于解决近距离对准问题具有优势，适合工业现场的应用。

附图说明

图1是工业机械臂多工位作业下的视觉对准方法***示意图；

图2是工业机械臂多工位作业下的视觉对准方法流程图；

图3是工业机械臂多工位作业下的视觉对准方法手眼标定过程图；

图4是工业机械臂多工位作业下的视觉对准方法合作靶标图；

图5是工业机械臂多工位作业下的视觉对准方法靶标的处理图像；

图6是工业机械臂多工位作业下的视觉对准方法凸包点顺序调整图；

图7是工业机械臂多工位作业下的视觉对准方法机械臂数据格式。

图8是工业机械臂多工位作业下的视觉对准方法调姿次数。

具体实施方式

下面结合具体实施例，进一步阐明本发明，实施例在以本发明技术方案为前提下进行实施，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围。

本申请的工业机械臂多工位作业下的视觉对准方法，首先利用***标定建立起各坐标系之间的位置关系。其次，设计了一套合作靶标，将其布置在对准目标附近，给出靶标的位姿求解算法，通过此算法可获取靶标期望位姿。然后为目标建立对准任务表。在对准环节，***以任务表为依据执行对准操作，计算靶标的实际位姿与期望位姿的偏差，将偏差量解算为机械臂的运动数据，驱动末端进行位姿调整，最终实现末端工具与目标的精确对准。

本申请首先公开一种基于视觉引导的多工位对准***，该***硬件设备包括机械臂、相机、末端工具、合作靶标和平面标定板，末端工具类型包括抓手、旋拧工具等，如图1所示。相机和末端工具分别固连在机械臂末端法兰上，相机的光轴与末端工具中轴线近似平行，二者以Eye-in-Hand方式构成手眼视觉***。手眼关系由***标定获得，在整个作业过程中保持不变。每个合作靶标上都布置着八个特征点，特征点之间的空间位置约束关系经过了精确测量。将合作靶标布置在工件表面，每个工位上的目标都对应着一块靶标，各目标与其相应靶标的位置关系在整个工作过程中不发生改变。

***的坐标系定义如下：世界坐标系{W}，机械臂基坐标系{B}，机械臂末端法兰坐标系{F}，相机坐标系{C}，合作靶标坐标系{T}。相机坐标系的原点建立在光轴中心处，Z_c轴为相机的光轴，以相机到工件的方向为正方向。法兰坐标系的原点设置在法兰中心，Z_f轴为法兰平面的法线，以法兰到工件的方向为正方向。合作靶标的建系需要借助测量设备和三维建模软件，其坐标系的原点定义为任一特征点中心，原点与另一特征点中心的连线定义为X_t轴，八个特征点中心所拟合成平面的法线为Z_t轴，方向垂直平面向外。所有坐标系都遵循右手法则。

基于视觉引导的多工位对准***基于任务驱动完成末端工具与目标的对准工作，工作流程如图2所示，具体步骤如下：

步骤(1)：***标定

首先利用机械臂自身程序进行TCP(工具中心点)标定，本申请将TCP设定为机械臂末端法兰中心，得到机械臂基坐标系相对于法兰坐标系的位姿变换关系

然后进行相机标定和手眼标定，相机标定获得相机坐标系和图像坐标系之间的映射关系，手眼标定获得相机坐标系相对于法兰坐标系的位姿变换关系

相机标定是该***的关键内容，它将三维空间和图像空间关联起来，是后续手眼标定和图像处理的基础。最常用的相机模型为针孔模型，一般成像方式为透视投影，同时考虑二阶畸变补偿。本申请使用11×9阵列的大小圆孔平面标定板。

手眼标定的目的是获得相机坐标系和法兰坐标系的位姿关系，以便将合作靶标的姿态转换到机械臂基坐标系下，并计算机械臂运动数据。对于本申请的Eye-in-Hand视觉***，法兰固连着的末端工具即为“手”，相机即为“眼”，求解相机相对于法兰的位姿变换关系

的过程称为机械臂手眼标定。手眼标定的基本思路是控制机械臂运动到不同位置，利用相机观察空间中一个已知的标定参考物，从而推导出

和多次观察结果的关系，图3表示标定过程。手眼关系的基本方程式为：

CX＝XD (1)

其中X就是待求解的手眼关系，即

C由相机标定的外参数得到；D是位置1运动到位置2时法兰的变换矩阵，由机械臂自身程序提供。本申请使用Tsai两步法进行标定，所用的参考物为平面标定板。

步骤(2)：设计合作靶标，将其布置在对准目标附近，并进行靶标位姿求解；获取靶标期望位姿，然后为目标建立对准任务表。

1)靶标设计：

航空航天领域的大多数工件表面不具备明显的纹理特征，直接提取工件上目标的特征难度较大，因此需要借助合作靶标来完成定位测量等任务。在设计合作靶标时，通常采用圆形特征实现编码。本申请设计了一套合作靶标，如图4所示，每个靶标上布置有八个特征点，其中四个特征点相连形成凸包，剩余四个特征点处于凸包内部。凸包上的特征点按照顺时针顺序编号为1、2、3、4，凸包内的特征点分别编号为5、6、7、8，1～4号特征点用于计算单应矩阵，5～8号特征点用于验证单应矩阵。

2)靶标特征提取与位姿求解：

在使用合作靶标之前，需要利用相关设备对特征点的位置关系进行测量并将结果导入三维建模软件进行建系，得到靶标三维坐标点点集P＝{X_i}，i＝1，2，...，8，此数据作为先验信息便于后续计算单应矩阵和获取期望位姿。

相机采集到靶标图像后需进行图像处理，获得精确的特征点中心，构成图像特征点点集。图5表示了靶标的图像处理过程。首先对图像进行高斯滤波，去除多余噪声；使用Canny算子进行边缘检测，将检测到的边缘以树形结构存储；根据面积约束和圆度准则得到可能的特征点轮廓，圆度准则如公式(2)，接着对每个轮廓直径上的像素点灰度值是否连续进行判断，进一步筛选得到正确的特征点轮廓；采用最小二乘拟合特征点轮廓的最小外接矩形，将该矩形的中心认定为特征点中心，得到图像特征点点集Q＝{x_j}，j＝1，2，...，8。

其中L表示轮廓的周长，A表示轮廓内的面积，N表示圆度。

图像特征提取完后，需要建立图像特征点与靶标三维坐标点之间的对应关系。具体的求解过程如下：

1)利用凸包算法找到靶标三维坐标点点集P的凸包，将凸包上的点按顺时针排序，最终得到凸包上的点集P₁＝{X_i}，i＝1，2，3，4和凸包内的点集P₂＝{X_i}，i＝5，6，7，8，i表示特征点的编号。对图像特征点点集Q重复上述操作，得到凸包上的点集Q₁＝{x_j}，j＝1，2，3，4和凸包内的点集Q₂＝{x_j}，j＝5，6，7，8。

2)利用点集P₁和Q₁中编号为1～4的四对特征点计算单应矩阵H，并用此单应关系对靶标三维坐标点点集作投影变换。

3)遍历图像特征点点集，分别计算每个图像特征点与变换后的靶标三维坐标点的欧氏距离。若此距离小于设定值，则该图像特征点与变换前的靶标三维坐标点是一对对应点，并为其编号存储。若距离都大于设定值，则放弃该靶标三维坐标点，继续为下一个靶标三维坐标点寻找对应点。

4)若最终共找到八对对应点，则单应矩阵H求解正确，靶标三维坐标点点集和图像特征点点集建立正确的对应关系。当最终找到的对应点少于八对时，单应矩阵H求解错误，调整点集Q1中特征点的编号顺序(至多调整四次)，如图6所示，重复执行步骤(2)、(3)，直至找到八对对应点。

在已知靶标三维坐标点点集、图像特征点点集和相机模型参数的情况下，计算合作靶标在相机坐标系下的位姿可以归纳为求解PNP(pespective-n-point)问题，可以利用PNP算法解算出靶标相对于相机坐标系的位姿变换关系即

3)建立任务表方法如下：

控制机械臂运动使得末端工具在装配作业前与工件上各对准目标进行预对准。每个目标都对应着一块合作靶标，利用上述的位姿求解算法获得目标所对应靶标的期望位姿变换关系，记为

接着为目标建立对准任务，将末端工具信息、已测得的靶标三维坐标点点集和期望位姿变换矩阵

作为先验信息存储到任务中。为所有工位的目标建立任务，形成任务表。在后续作业过程中，***以此表为依据，驱动机械臂调整位姿完成对准工作。

在对准环节，***以任务表为依据，驱动末端执行器完成指定的对准工作。在执行每一项对准任务的过程中，***采用的控制策略为Look-then-Move的闭环控制方式。其中，“Look”部分包括相机采集靶标图像和对靶标的位姿估计，“Move”部分是机械臂运动使末端工具与目标对准。

相机采集到合作靶标的图像，解算出靶标相对于相机坐标系的当前位姿

计算其与期望位姿

的误差

判断该误差是否满足技术要求。如果满足，则***判定完成当前对准任务，然后查找任务表，继续执行下一项任务。如果误差不满足技术要求，则计算机械臂下一步应该到达的位姿，并引导机械臂运动。

设当前法兰在机械臂基坐标系下的位姿变换关系为

则靶标相对于基坐标系的位姿变换

为：

设末端工具与目标处于对准状态时法兰在机械臂基坐标系下的位姿变换为

则此时靶标相对于基坐标系的位姿变换

为：

由于在对准过程中靶标与机械臂基坐标系的位姿关系

不发生变化，因此由式子(4)、(5)可解算出

其中，

由机械臂自身程序读取；

由手眼标定获得，

和

互为逆运算；

表示靶标相对于相机坐标系的当前位姿变换关系；

表示靶标相对于相机坐标系的期望位姿变换关系，从任务表的数据中直接读取，

和

互为逆运算。所有变换矩阵都是已知量，可直接计算得到

机械臂自身存在定位误差，为提高***的对准精度，本申请对机械臂的运动量进行插补。

中包含两个分量：旋转矩阵

和平移向量

将旋转矩阵转换为四元数进行坐标旋转插补，对平移向量进行位置插补。计算过程如下：

其中，

和

分别是当前法兰在机械臂基坐标系下的位姿变换矩阵

中的旋转矩阵和平移向量；

和

分别是对准状态时法兰在机械臂基坐标系下的位姿变换矩阵

构成新的变换矩阵

即机械臂需要调整到达的位姿。

为验证本发明的多工位作业下的视觉对准***的有效性，本申请搭建了螺纹旋拧和抓手夹持试验平台。以UR10机械臂作为运动机构，使用的视觉装置为德国Allied VisionProsilica GC1600工业相机和大恒图像HN-0914-2M-C2/3X定焦镜头，焦距为9mm。

在UR10机械臂位姿求解和控制机械臂运动的过程中，计算机软件***需要从机械臂自身程序读取位姿信息并将相关数据发送给机械臂，二者的通讯基于TCP/IP(传输控制/网络协议)。机械臂从通讯端口以128Hz的频率向计算机软件***发送1108字节的数据，数据格式如图7所示，其中第445字节到492字节是法兰在机械臂基坐标系下的位姿，包括位置信息x，y，z和姿态信息r_x，r_y，r_z。当软件***给机械臂发送位姿信息控制其运动时，运动指令格式为：

command([x，y，z，r_x，r_y，r_z]，v，a) (8)

其中，command是机械臂运动方式，一般为MoveJ、MoveL、MoveP和MoveC，本申请使用MoveL直线运动方式；[x，y，z，r_x，r_y，r_z]是法兰在机械臂基坐标系下要到达的位姿；v和a分别是机械臂运动速度和加速度，本申请中使用v＝100mm/s，a＝30mm/s²。

实验过程如下：

(1)设置TCP为机械臂末端法兰中心点，建立末端法兰和机械臂基坐标系的转换关系。

(2)依次进行相机标定和手眼标定。将平面标定板固定放置在平台上，相机和标定板距离约260mm。控制机械臂移动使其在相机视场范围内做12次运动，并在每次运动后采集标定板图像和机械臂位姿。相机标定结果如表1所示，手眼标定结果如式(9)。

表1相机标定结果

相机内参	数值	畸变参数	数值
				α	2115.637	k<sub>1</sub>	-0.289
β	2115.596	k<sub>2</sub>	0.615
				u<sub>0</sub>	828.534	p<sub>1</sub>	-0.000730
v<sub>0</sub>	632.431	p<sub>2</sub>	0.000168

(3)为各工位上的目标分别建立对准任务，最终形成任务表。

(4)在对准环节，机械臂末端处于不同的初始位置，依据任务表执行对准操作，其中有螺纹旋拧工作和抓手自动夹持工作。实验结果表明，本申请的多工位对准***能够实现对各目标的精确对准，满足工业现场的装配需求。

为验证对准***所能达到的精度，本申请设计了如下三组实验。

(1)精度验证实验1：

对准精度要求在X、Y方向达到0.5mm，Z方向达到1mm，角度误差不超过0.1°时，选取一组靶标实际位姿与期望位姿的偏差，见表2。其中Δx、Δy、Δz分别表示靶标实际位姿与期望位姿相比在相机坐标系下沿X_c轴、Y_c轴、Z_c轴的位移偏差量，Δη表示在相机坐标系下靶标实际位姿的法向与期望位姿法向的夹角，Δα、Δβ、Δγ分别表示靶标实际位姿与期望位姿在相机坐标系下绕X_c轴、Y_c轴、Z_c轴的转角差值。

末端工具与目标对准过程中，首先对姿态部分进行调整，姿态的调整引起靶标位姿在轴向发生变动；接着考虑三个轴向的对准，轴向的调整又会影响姿态的变化，位置和姿态的调整是耦合的。在第6次调整后，角度偏差Δη达到0.026°，已经满足姿态精度要求，但X、Y方向的偏差过大。轴向偏差的调整使得Δη增大到0.091°，但仍满足精度要求。因此，机械臂经过7次自动调整实现末端工具与目标的对准。

(2)精度验证实验2：

对准精度要求在X、Y方向达到0.25mm，Z方向达到0.5mm，姿态误差不超过0.1°时，选取一组靶标实际位姿与期望位姿的偏差，如表3所示。从表中可以看出，***前6次调整在逐渐逼近期望位姿，第7次调整缩小角度偏差，Δη达到0.040°，第8次对轴向偏差进行调整，角度偏差Δη受影响而增大到0.098°，但仍优于0.1°，最终经过8次自动调整实现对准。

(3)精度验证实验3：

位置精度要求在X、Y方向达到0.1mm，Z方向达到0.2mm，角度误差不超过0.1°时，选取一组数据进行分析，见表4。***前8次调整已经逼近到期望位姿附近，在第10次调整后只有X方向的精度不满足要求。在后续微调过程中，受机器臂自身定位精度以及位置和姿态耦合作用的影响，***又偏离了期望位姿，最终经过12次自动调整实现对准。

除对准精度外，本申请对定位效率也进行了统计。将精度要求按表5划分为五个等级，每个精度等级条件下进行5组对准试验，统计平均调姿次数，结果如图8所示。与前四个精度等级相比，在等级五的精度条件下，机械臂自动调姿平均次数增加至14次，即为达到高的精度，需要较多次数进行微调。

表2靶标实际位姿与期望位姿的偏差(实验1)

	Δx/mm	Δy/mm	Δz/mm	Δη/(°)	Δα/(°)	Δβ/(°)	Δγ/(°)
								0	-53.566	51.819	54.748	19.698	9.492	17.252	0.518
1	-45.656	47.975	15.863	3.973	1.821	3.530	0.092
								2	-12.129	10.276	7.859	3.830	1.583	3.487	0.071
3	-9.445	8.758	3.601	0.797	0.278	0.745	0.041
								4	-2.525	1.846	1.572	0.771	0.214	0.740	0.030
5	-2.075	1.918	1.156	0.223	0.101	0.198	0.020
								6	-1.714	1.817	0.924	0.026	0.020	0.017	0.001
7	-0.414	-0.093	0.274	0.091	-0.087	0.029	0.004

表3靶标实际位姿与期望位姿的偏差(实验2)

	Δx/mm	Δy/mm	Δz/mm	Δη/(°)	Δα/(°)	Δβ/(°)	Δγ/(°)
								0	-45.196	67.901	44.479	12.420	5.382	11.119	-1.290
1	-44.669	64.972	21.092	2.611	1.161	2.324	-0.262
								2	-10.235	12.653	8.271	2.428	0.784	2.280	-0.285
3	-9.326	12.083	6.195	0.539	0.188	0.503	-0.050
								4	-1.993	2.349	2.275	0.460	0.107	0.446	-0.040
5	-1.607	2.279	2.020	0.090	0.025	0.085	-0.011
								6	-0.948	0.364	0.571	0.219	-0.010	0.219	0.001
7	-0.400	0.298	0.551	0.040	-0.026	-0.030	-0.005
								8	0.026	-0.227	0.047	0.098	-0.090	-0.038	0.009

表4靶标实际位姿与期望位姿的偏差(实验3)

	Δx/mm	Δy/mm	Δz/mm	Δη/(°)	Δα/(°)	Δβ/(°)	Δγ/(°)
								0	49.954	39.415	117.568	21.226	11.843	-17.523	1.798
1	63.047	42.904	72.464	4.274	2.211	-3.637	0.388
								2	14.527	9.162	26.568	4.110	1.922	-3.612	0.391
3	14.027	8.454	21.938	0.965	0.470	-0.841	0.054
								4	3.123	1.635	7.687	0.832	0.346	-0.755	0.053
5	2.833	1.393	6.948	0.193	0.072	-0.179	0.006
								6	0.565	0.357	2.398	0.149	0.073	-0.130	0.005
7	0.197	0.256	0.948	0.162	0.101	-0.126	0.011
								8	0.116	-0.076	0.329	0.115	0.033	-0.109	0.016
9	0.430	0.294	0.259	0.205	0.088	-0.182	0.028
								10	-0.237	0.060	-0.003	0.083	-0.006	0.083	0.005
11	0.289	-0.056	-0.023	0.023	-0.021	-0.010	0.003
								12	0.072	0.052	-0.128	0.033	-0.004	-0.033	0.001

表5精度等级划分

等级	Δx/mm	Δy/mm	Δz/mm	Δη/(°)
					1	0.5	0.5	1.0	0.1
2	0.25	0.25	0.5	0.1
					3	0.2	0.2	0.4	0.1
4	0.15	0.15	0.3	0.1
					5	0.1	0.1	0.2	0.1

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims

1.一种工业机械臂多工位作业下的视觉对准方法，其特征在于：包括以下步骤：

步骤(1)：首先，利用***标定建立起各坐标系之间的位置关系；

步骤(2)：其次，设计一套合作靶标，将其布置在对准工位附近，并进行靶标位姿求解；

a、每个靶标上布置有多个特征点，其中若干特征点相连形成凸包，剩余特征点处于凸包内部，凸包上的特征点按照顺时针顺序编号，其中凸包上特征点用于计算单应矩阵，凸包内部特征点用于验证单应矩阵；

b、在使用合作靶标之前，需要利用相关设备对特征点的位置关系进行测量并将结果导入三维建模软件进行建系，得到靶标三维坐标点点集，作为先验信息便于后续计算单应矩阵和获取期望位姿；

相机采集到靶标图像后进行图像处理，获得精确的特征点中心，构成图像特征点点集；基于凸包规则和单应变换原理建立靶标上各点的唯一身份编号，通过编号建立图像特征点与靶标三维特征点之间的对应关系；

靶标的图像处理过程为：首先对图像进行高斯滤波，去除多余噪声；使用Canny算子进行边缘检测，将检测到的边缘以树形结构存储；根据面积约束和圆度准则得到可能的特征点轮廓，接着对每个轮廓直径上的像素点灰度值是否连续进行判断，进一步筛选得到正确的特征点轮廓；采用最小二乘拟合特征点轮廓的最小外接矩形，将该矩形的中心认定为特征点中心，得到图像特征点点集；

c、图像特征提取完后，建立图像特征点与靶标三维坐标点之间的对应关系，求解过程如下：

1)利用凸包算法找到靶标三维坐标点点集P的凸包，将凸包上的点按顺时针排序，最终得到凸包上的点集P₁＝{X_i}，i＝1,2,3,4和凸包内的点集P₂＝{X_i}，i＝5,6,7,8，i表示特征点的编号；对图像特征点点集Q重复上述操作，得到凸包上的点集Q₁＝{x_j}，j＝1,2,3,4和凸包内的点集Q₂＝{x_j}，j＝5,6,7,8；

2)利用点集P₁和Q₁中编号为1～4的四对特征点计算单应矩阵H，并用此单应关系对靶标三维坐标点点集作投影变换；

3)遍历图像特征点点集，分别计算每个图像特征点与变换后的靶标三维坐标点的欧氏距离；若此距离小于设定值，则该图像特征点与变换前的靶标三维坐标点是一对对应点，并为其编号存储，若距离都大于设定值，则放弃该靶标三维坐标点，继续为下一个靶标三维坐标点寻找对应点；

4)若最终共找到八对对应点，则单应矩阵H求解正确，靶标三维坐标点点集和图像特征点点集建立正确的对应关系；当最终找到的对应点少于八对时，单应矩阵H求解错误，调整点集Q₁中特征点的编号顺序；重复执行步骤2)、3)，直至找到八对对应点；

在已知靶标三维坐标点点集、图像特征点点集和相机模型参数的情况下，利用PNP算法解算出靶标相对于相机坐标系的位姿变换关系即