CN102794763B - 基于线结构光视觉传感器引导的焊接机器人***标定方法 - Google Patents

Abstract

本发明涉及一种基于线结构光视觉传感器引导的焊接机器人***标定方法，其包括第一步、控制机械臂变换位姿，通过相机获取圆靶标图像后，完成圆靶标图像和世界坐标的匹配，以得到相机的内部参数矩阵、外参数矩阵RT；第二步、通过Hough变换求出线激光光条的线方程；利用第一步得到的外参数矩阵RT得到线激光光条平面在相机坐标系下的平面方程；第三步、利用四元数法计算得到机械臂末端坐标系与机械臂基坐标系的变换矩阵；第四步、计算出焊接工件末端点在机械臂坐标下的坐标值，并结合机械臂位姿计算出工件在所述位姿下的偏移值。本发明灵活、精度高、速度快、稳定性好，实时性强，方法简单，计算量小，通用性强。

Description

基于线结构光视觉传感器引导的焊接机器人***标定方法

技术领域

本发明涉及一种机器人视觉传感器及其标定方法，尤其是一种基于线结构光视觉传感器引导的焊接机器人***标定方法，具体地说是机器人基于线结构光视觉传感器的手眼关系矩阵和传感器参数的快速标定方法。

背景技术

焊接的特点是工艺因素复杂、劳动强度大，生产周期长、劳动环境差，其品质依赖操作者的技能、技术和经验，也和操作者情绪及身体状况相关，因此，焊接自动化技术对于提高接头品质、保证稳定性具有很重要的意义。实现焊接自动化的关键问题是焊缝的自动跟踪，激光视觉引导的智能焊接机器人将焊缝图像识别与机器人运动控制技术结合，能够有效解决焊缝自动跟踪难题。

标定（包括相机参数标定、线激光光平面方程标定和手眼变换矩阵标定）在视觉测量***中是非常关键且重要的环节，其标定结果的精度及算法的稳定性与实时性，直接影响到工业生产过程中测量与跟踪的精度。线结构光视觉传感器的参数包括相机的内部参数（焦距、主点以及畸变系数等）及线结构光视觉传感器的结构参数（即线激光在相机坐标系下的光平面方程），通过Tsai，张正友，胡占义等人在视觉标定中的贡献，我们可以轻松的获得相机的内部参数。线结构光视觉传感器的结构参数标定方法有许多方法，如R．Dewar提出的拉丝标定方法；D．Q．Huynh提出了交比不变性标定方法；毕德学提出的基于交线的线激光光平面方程标定具有较强的鲁棒性，实施方法简单，特征易提取，满足现场标定要求。根据测量模型，由传感器返回的测量数据恢复被测曲面的三维坐标信息必须要确定机械臂末端坐标系到相机坐标系的手眼变换矩阵H。在机器视觉领域该问题称为手眼标定。常用的机器人手眼标定方法是利用已知标定参考物（标定块），控制机械手在不同方位观察空间一个已知的标定参考物，从而推导R和t与多次观察结果的关系，其中R表示手眼变换矩阵H的旋转部分，t表示手眼变换矩阵H的平移部分。

发明内容

本发明的目的是克服现有技术中存在的不足，提供一种基于线结构光视觉传感器引导的焊接机器人***标定方法，其灵活、精度高、速度快、稳定性好，实时性强，方法简单，计算量小，通用性强。

按照本发明提供的技术方案，所述基于线结构光视觉传感器引导的焊接机器人***标定方法，所述焊接机器人***标定方法包括如下步骤：

第一步、控制机械臂变换位姿，使得相机在多个位姿拍摄一个任意放置且位置不变的圆靶标，选择的位姿必须使的所有圆靶标上的圆点在相机视场范围内，并且保证固定在相机上线激光器所产生的线激光光平面在圆靶标上产生的光条部分也在视场范围内；通过相机获取圆靶标图像后，提取圆靶标图像上圆形斑点的圆心坐标并识别角点的行列值，以完成圆靶标图像和世界坐标的匹配，然后根据张正友标定算法得到相机的内部参数矩阵 $A=\left[\begin{array}{ccc}\mathrm{\α}& \mathrm{\γ}& u_0\\ 0& \mathrm{\β}& v_0\\ 0& 0& 1\end{array}\right],$ 外参数矩阵RT；

其中，α＝f/dx、β＝f/dy，f为相机焦距，dx，dy为相机内单个CCD感光元件长度、宽度；γ为反映相机内CCD感光元件排列倾斜程度的物理量，u₀、v₀为相机的镜头光轴和CCD感光元件的交点像素坐标；

第二步、根据第一步中得到的带线激光光条的圆靶标图像，提取线激光光条，细化提取的线激光光条，通过Hough变换求出线激光光条的线方程；利用第一步得到的外参数矩阵RT得到线激光光条平面在相机坐标系下的平面方程；

第三步、根据第一步中每个位姿对应的机械臂姿态，利用四元数法计算得到机械臂末端坐标系与机械臂基坐标系的变换矩阵，即获得手眼变换矩阵H；

第四步、将焊接工件放置于机械臂末端，控制焊接工件在固定机械臂末端位姿下对圆靶标上一点精确点触，计算出焊接工件末端点在机械臂坐标下的坐标值，并结合机械臂位姿计算出工件在所述位姿下的偏移值。

所述第一步包括如下步骤：

1.1、利用相机在线实时采集圆靶标的图像，采用大津法自适应阈值对图像二值化，使得圆靶标图像上的圆形斑点突出显示；

1.2、利用闭运算算子对圆靶标图像进行闭运算，以去除噪声干扰；对上述二值化后的圆靶标图像中所有目标圆点进行标记，目标圆点的面积为目标圆点包含的像素数目，统计上述圆靶标图像中的目标圆点的像素个数，标记目标圆点所包含像素数目均值为NP_average，去除标记目标中包含像素数目小于0.5*NP_average以及标记目标中包含像素数目大于1.5*NP_average的目标；

1.3、计算标记后目标圆点的周长C和面积S，利用圆形度表达式e=C²/(2*π*S)，区分目标圆点与干扰；

1.4、采用重心法求取每一个目标圆点的圆心坐标(x₀,y₀)， $y_0=\frac{\underset{i=0}{\overset{m}{\mathrm{\Σ}}}\underset{j=0}{\overset{n}{\mathrm{\Σ}}}\mathrm{Hit}\left[i\right]\left[j\right]*y}{\underset{i=0}{\overset{m}{\mathrm{\Σ}}}\underset{j=0}{\overset{n}{\mathrm{\Σ}}}\mathrm{Hit}\left[i\right]\left[j\right]};$

其中，m，n为圆靶标图像的行、列值，Hit[i][j]表示（i，j）位置点是否在目标圆点上，（i，j）位置点在目标圆点上Hit[i][j]＝1，否则Hit[i][j]＝0；

1.5、圆靶标上具有若干行、列排布的圆点，相邻两行圆点之间的行距为15mm，同一行中相邻的2个圆点圆心的距离为10mm，在圆靶标第一行的第一个点行方向上5mm处有参考圆，根据步骤（1.4）得到目标圆点像素坐标，利用参考圆对圆靶标图像上的圆心点进行排序；

1.6、根据上述圆靶标图像中圆点排序，与给定圆靶标信息，完成圆靶标图像中圆心点像素坐标与世界坐标的匹配。

所述第二步包括如下步骤：

2.1、线激光器固定在相机上，相机采集图片是只需保证所有靶标圆点以及光条部分在相机视场范围内即可，利用预设阈值对采集到的线激光光条图像进行二值化，对二值化图像进行图像闭运算以去除边缘奇异点；

2.2、对线激光光条区域中心进行8-邻域标记，记线激光光条区域的中心点为p1，线激光光条区域中心点p1邻域的8个点顺时针绕中心点分别为p2，p3，……，p9，其中p2点中心点在p1的上方，对线激光光条区域中心点p1进行8-邻域标记的同时满足下列条件的边界点：

（ⅰ）、2≤N（p1）≤6；

（ⅱ）、S（p1）=1；

（ⅲ）、p2*p4*p6=0；

（ⅳ）、p4*p6*p8=0；

其中，N（p1）是中心点p1的非零邻点的个数；S（p1）是以p2，p3，……，p9为序时这些点的值从0→1变化次数；当对所有的边界点都检查完毕后，将所有的标记点除去，反复迭代直到没有点满足标记条件，完成光条细化；

2.3、对细化后得到的点利用Hough变换提取得到在圆靶标平面上线激光光条的线方程a_kx+b_ky+c_k=0，其中，a_k、b_k、c_k分别表示线方程的参数。

所述第三步包括如下步骤：

3.1、圆靶标在世界坐标系下的平面方程可以表示为式中：π₁=[0,0,1,0]^T，利用第一步得到的外参数矩阵RT，计算得到在相机坐标系下靶标平面的平面方程为其中的与分别为靶标平面在世界坐标系和相机坐标系下的平面法向坐标向量；

3.2、在相机坐标系中，设分别代表激光平面法向坐标向量、第i个圆靶标的法向坐标向量、第j个圆靶标的法向坐标向量、第i个圆靶标内的激光交线图像的坐标向量、第j个平面靶标内的激光交线图像的坐标向量；注意第i个平面靶标图像上的激光交线图像的方程λ_i与可以直接计算出来：

${\stackrel{\→}{\mathrm{\λ}}}_i=A^T{\mathrm{\λ}}_i;$

（3.3）、根据投影空间中两条激光交线及其相关联的平面的对偶关系得， $\stackrel{\→}{w}=\frac{1}{2}(\stackrel{\→}{w_1}+\stackrel{\→}{w_2});$ $\left\{\begin{array}{c}\stackrel{\→}{w_1}=\stackrel{\→}{w_i}+{\mathrm{\α}}_i\stackrel{\→}{{\mathrm{\λ}}_j}\\ \stackrel{\→}{w_2}=\stackrel{\→}{w_j}+{\mathrm{\α}}_j\stackrel{\→}{{\mathrm{\λ}}_j}\end{array}\right.,$

其中 $\left[\begin{array}{c}{\mathrm{\α}}_i\\ {\mathrm{\α}}_j\end{array}\right]=D^{-1}Q,$ D是一个2×2矩阵，Q是一个二维向量，定义如下： $D=\left[\begin{array}{cc}(\stackrel{\→}{{\mathrm{\λ}}_i},\stackrel{\→}{w_i})& -(\stackrel{\→}{{\mathrm{\λ}}_j},\stackrel{\→}{w_i})\\ (\stackrel{\→}{{\mathrm{\λ}}_i},\stackrel{\→}{w_j})& -(\stackrel{\→}{{\mathrm{\λ}}_j},\stackrel{\→}{w_j})\end{array}\right],$ $Q=\left[\begin{array}{c}(\stackrel{\→}{w_i},\stackrel{\→}{w_j}-\stackrel{\→}{w_i})\\ (\stackrel{\→}{w_j},\stackrel{\→}{w_i}-\stackrel{\→}{w_j})\end{array}\right];$ 是所求的激光平面方程。

，所述第四步包括如下步骤：

4.1、取第一步中任意2个位姿，其中表示2个位姿下机械臂末端坐标系的转换矩阵，令 表示2个位姿下相机坐标系的转换矩阵，令则可以简写为ΦH＝HΘ;

4.2、ΦH＝HΘ；展开为

R_ΦR_H=R_HR_Θ                                                    ①

R_Φt_H+t_Φ=R_Ht_Θ+t_H                                             ②

其中：R_Φ，R_Θ，R_H表示Φ，Θ，H中对应的旋转部分，t_Φ，t_Θ，t_H表示Φ，Θ，H中对于平移部分；

4.3、令 $q_{\mathrm{\Φ}}={[a_0,{\stackrel{\→}{a}}^T]}^T,$ $q_H={[x_0,{\stackrel{\→}{x}}^T]}^T,$ $q_{\mathrm{\Θ}}={[b_0,{\stackrel{\→}{b}}^T]}^T$ 为R_Φ，R_H，R_Θ对应的四元数，q_Φ由齐次矩阵Φ计算得到，q_Θ由齐次矩阵Θ计算得到，令通过求得q_H，再将q_H转换为手眼矩阵的旋转部分，其中Ω(·)表示反对称矩阵函数，表示的反对称矩阵；x₀、x为q_H中待计算的未知量；

4.4、再将旋转矩阵数据带入②就可以求出t_H，得到手眼变换矩阵H。

所述第四步中计算焊接工件位移值包括如下步骤：

5.1、控制焊接工件在固定机械臂末端位姿下对圆靶标上预设点精确点触，读取当前机械臂位姿，获得机械臂末端坐标的第一坐标值；

5.2、定义预设点在世界坐标系下的坐标，根据第一步中得到的外参数矩阵RT，获得预设点在相机坐标系下的坐标，根据手眼变换矩阵H和拍摄圆靶标图像时的机械臂位姿计算得到预设点在机械臂基坐标系下的第二坐标值，将所述第二坐标值与第一坐标值比对得到当前位姿下焊接工件位移值。

利用参考圆对圆靶标图像上的圆心点进行排序时，找出圆靶标图像上有效圆点的圆心距离最小的两个目标圆点，其中离所有圆心点均值中心较远的圆的定义为0点，另一个定义为1点，然后设置0，1点为已匹配点，在未匹配点中找与1点最近的点定义2点，设置2点为已匹配点，在未匹配点中找与2点最近的点定义3点，设置3点为已匹配点…直至把所有点都找全，完成所以圆心点的排序。

本发明的优点：本发明通过分析相机的成像原理、结构光测量原理和手眼***工作原理，设计了一种简单灵活的基于机构光引导机械臂三维跟踪的标定方法，其中包括相机内参标定，线激光光平面方程标定，手眼变换矩阵标定和工件偏移标定。该标定方法克服了传统激光光平面方程和手眼矩阵标定条件苛刻、标定步骤繁琐的缺点。该算法只需要控制机械臂随意运动3个以上的位姿拍摄固定靶标就可以完成整体标定任务，并且利用该方法法的结构光引导机械臂跟踪***有较高的跟踪精度。该算法使得线激光，相机的结构可调，以及***结构参数的现场标定成为可能。大大增加了结构光引导***的灵活性，对实际的视觉测量和跟踪具有重要意义，具有良好的实用性。

附图说明

图1是本发明标定的流程图。

图2是本发明相机的小孔成像模型图。

图3是本发明圆靶标上圆点的示意图。

图4是本发明线结构光引导机械臂跟踪的流程图。

图5是本发明两条激光交线在投影空间的对偶表示。

图6是本发明相机固定在机械臂末端关系即手眼关系图。

具体实施方式

本发明的目的在于克服传统的线激光光平面方程和手眼标定条件苛刻，标定步骤繁琐等缺点，提出一种灵活、精度高、速度快、稳定性好、实时性强、方法简单、计算量小、通用性强的标定方法。

下面结合附图和实施例对本发明作进一步说明。

本发明利用如图3所示的圆靶标，可以实现圆心点的快速定位，自动匹配圆心特征点的世界坐标和像素坐标，有利于相机内参数标定的自动化；分析线结构光引导机械臂跟踪***的数学模型，引入四元数法求解手眼矩阵，并且简化整体标定流程，只需控制机械臂以3个以上任意位姿拍摄固定圆靶标，即可实现相机标定、线激光光平面方程标定和手眼矩阵的标定，为精确跟踪提供了充分条件；线激光光条中心的精确提取，可以在线实时，稳定，精确地检测提取图像特征点，确保标定和跟踪***的稳定性和可靠性；根据标定完成的结构参数，实现由线结构光引导机械臂三位特征点实时、精确的跟踪。

本发明所述提取圆形斑点的亚像素圆心坐标并自动识别圆点的行列值，并自动完成和世界坐标的匹配技术是利用图像二值化，以及图像腐蚀进行预处理，根据面积大小和是否处于边缘去除非目标部分，利用圆形度方程去除干扰点，对圆形斑点进行标记，提取标记区域，经高斯滤波后采用重心法，提取圆点中心的亚像素坐标。圆靶标上设置若干行列的圆心点，相邻两行圆心之间的行距为15mm，同一行中相邻的2圆心点距离为10mm，在第一行的第一个点行方向上5mm处有一个参考圆，首先找出所有有效圆点的圆心距离最小的两个点，通过上述圆靶标上的圆心点排布可知，参考圆与所述参考圆下方圆点的圆心距离最近；其中离所有圆心点均值中心远的圆的定义为0点，另一个定义为1点，此处即是将参考圆定义为0，参考圆正下方的圆点定义为1；然和设置0，1点为已匹配点，在未匹配点中找与1点最近的点定义2点，设置2点为已匹配点在未匹配点中找与2点最近的点定义3点，设置3点为已匹配点…直至把所有点都找全，完成所以圆心点的排序，根据圆点排序，与给定圆靶标信息，完成圆靶标图像中圆心点像素坐标与世界坐标的匹配。

本发明所述基于对偶关系的标定方法是利用投影空间中两条激光交线及其相关联的平面的对偶关系标定激光平面方程。标定完成得到激光光平面在相机坐标系下的平面方程。

本发明所述利用四元数法求解手眼变换矩阵的技术是利用已标定完成得到的世界坐标系与相机坐标系的变换矩阵和机械臂位姿矩阵，通过构造约束方程，利用单位四元数与旋转矩阵的对应关系求解约束方法，得到手眼变换矩阵H。利用现场实时采集到的图像快速确定特征点，由上述方法得到的激光平面方程和手眼变换矩阵实现三维特征点的准确跟踪。

如图1所示，本发明的标定具体流程如下：

所述标定流程由相机标定、线激光光平面方程标定、手眼变换矩阵标定以及工件偏移标定四部分组成，利用带通滤光片和CCD采集激光光条扫描焊缝图像。采用中轴变换原理对激光光条进行细化处理，得到光条细化中心。控制机械臂以3个以上任意位姿拍摄固定靶标，利用得到的圆靶标圆心与其匹配数据经行相机内外参计算，利用得到的外参和靶标图片提取的线激光线方程标定出激光光平面方程，利用每两次机械臂移动中的外参变化和机械臂位姿变化构造ΦH＝HΘ方程，并利用四元数法求解手眼变换矩阵H。

第一步，控制机械臂变换位姿，使得相机在多个位姿拍摄一个任意放置且位置不变的圆靶标，选择的位姿必须使的所有圆靶标上的圆点在相机视场范围内，并且保证固定在相机上线激光器所产生的线激光光平面在圆靶标上产生的光条部分也在视场范围内；通过相机获取圆靶标图像后，提取圆靶标图像上圆形斑点的圆心坐标并识别角点的行列值，以完成圆靶标图像和世界坐标的匹配，然后根据张正友标定算法得到相机的内部参数矩阵 $A=\left[\begin{array}{ccc}\mathrm{\α}& \mathrm{\γ}& u_0\\ 0& \mathrm{\β}& v_0\\ 0& 0& 1\end{array}\right],$ 外参数矩阵RT；

其中，α＝f/dx、β＝f/dy，f为相机焦距，dx，dy为相机内单个CCD感光元件长度、宽度；γ为反映相机内CCD感光元件排列倾斜程度的物理量，u₀、v₀为相机的镜头光轴和CCD感光元件的交点像素坐标；

1.1、利用相机在线实时采集圆靶标的图像，采用大津法自适应阈值对图像二值化，使得圆靶标图像上的圆形斑点突出显示；

1.2、利用闭运算算子对圆靶标图像进行闭运算，以去除噪声干扰；对上述二值化后的圆靶标图像中所有目标圆点进行标记，目标圆点的面积为目标圆点包含的像素数目，统计上述圆靶标图像中的目标圆点的像素个数，标记目标圆点所包含像素数目均值为NP_average，去除标记目标中包含像素数目小于0.5*NP_average以及标记目标中包含像素数目大于1.5*NP_average的目标；

1.3、计算标记目标圆点的周长C和面积S，利用圆形度表达式e=C²/(2*π*S)，区分目标圆点与干扰；

1.4、采用重心法求取每一个目标圆点的圆心坐标

$x_0=\frac{\underset{i=0}{\overset{m}{\mathrm{\Σ}}}\underset{j=0}{\overset{n}{\mathrm{\Σ}}}\mathrm{Hit}\left[i\right]\left[j\right]*x}{\underset{i=0}{\overset{m}{\mathrm{\Σ}}}\underset{j=0}{\overset{n}{\mathrm{\Σ}}}\mathrm{Hit}\left[i\right]\left[j\right]},$ $y_0=\frac{\underset{i=0}{\overset{m}{\mathrm{\Σ}}}\underset{j=0}{\overset{n}{\mathrm{\Σ}}}\mathrm{Hit}\left[i\right]\left[j\right]*y}{\underset{i=0}{\overset{m}{\mathrm{\Σ}}}\underset{j=0}{\overset{n}{\mathrm{\Σ}}}\mathrm{Hit}\left[i\right]\left[j\right]};$

其中，m，n为圆靶标图像的行、列值，Hit[i][j]表示（i，j）位置点是否在目标圆点上，（i，j）位置点在目标圆点上Hit[i][j]=1，否则Hit[i][j]=0；

1.5、圆靶标上具有若干以行列排布的圆点，相邻两行圆点之间的行距为15mm，同一行中相邻的2个圆点圆心距离为10mm，在圆靶标第一行的第一个点行方向上5mm处有一个参考圆，根据步骤（1.4）得到目标圆点像素坐标，找出圆靶标图像上有效圆点的圆心距离最小的两个目标圆点，然后依照前述排序方式对圆靶标图像上的原点进行排序；

1.6、根据上述圆靶标图像中圆点排序，与给定圆靶标信息，完成圆靶标图像中圆心点像素坐标与世界坐标的匹配。

第二步，针对上面得到的带线激光光条的靶标图片，提取光条，细化光条，通过Hough变换求出光条线方程。结合第一步得到的外参矩阵就可以得到线激光光平面在相机坐标系下的平面方程；

2.1、线激光器固定在相机上，相机采集图片是只需保证所有靶标圆点以及光条部分在相机视场范围内即可，利用预设阈值对采集到的线激光光条图像进行二值化，对二值化图像进行图像闭运算以去除边缘奇异点；

2.2、对线激光光条区域中心进行8-邻域标记，记线激光光条区域的中心点为p1，线激光光条区域中心点p1邻域的8个点顺时针绕中心点分别为p2，p3，……，p9，其中p2点中心点在p1的上方，对线激光光条区域中心点p1进行8-邻域标记的同时满足下列条件的边界点：

（ⅰ）、2≤N（p1）≤6；

（ⅱ）、S（p1）=1；

（ⅲ）、p2*p4*p6=0；

（ⅳ）、p4*p6*p8=0；

其中，N（p1）是中心点p1的非零邻点的个数；S（p1）是以p2，p3，……，p9为序时这些点的值从0→1变化次数；当对所有的边界点都检查完毕后，将所有的标记点除去，反复迭代直到没有点满足标记条件，完成光条细化；

2.3、对细化后得到的点利用Hough变换提取得到在圆靶标平面上线激光光条的线方程a_kx+b_ky+c_k=0，其中，a_k、b_k、c_k分别表示线方程的参数。

第三步，根据第一步中每个位姿对应的机械臂姿态，利用四元数法计算得到机械臂末端坐标系与机械臂基坐标系的变换矩阵，即获得手眼变换矩阵H；

根据第一步中每个位姿对应的机械臂六轴姿态计算得到机械臂末端坐标系与机械臂基坐标系的变换矩阵，通过四元数法求解方程ΦH＝HΘ。这里Φ、H及Θ是4x4矩阵，其中Φ和Θ分别表示机械臂末端坐标系和相机坐标系从第一个位置到第二个位置的变换矩阵，H表示机械臂末端坐标系到相机坐标系的变换矩阵，即手眼关系矩阵；

3.1、圆靶标在世界坐标系下的平面方程可以表示为式中：π₁=[0,0,1,0]^T，利用第一步得到的外参数矩阵RT，计算得到在相机坐标系下靶标平面的平面方程为其中的与分别为靶标平面在世界坐标系和相机坐标系下的平面法向坐标向量；

3.2、在相机坐标系中，设分别代表激光平面法向坐标向量、第i个圆靶标的法向坐标向量、第j个圆靶标的法向坐标向量、第i个圆靶标内的激光交线图像的坐标向量、第j个平面靶标内的激光交线图像的坐标向量；注意第i个平面靶标图像上的激光交线图像的方程λ_i与可以直接计算出来：

${\stackrel{\→}{\mathrm{\λ}}}_i=A^T{\mathrm{\λ}}_i;$

3.3、根据投影空间中两条激光交线及其相关联的平面的对偶关系得， $\stackrel{\→}{w}=\frac{1}{2}(\stackrel{\→}{w_1}+\stackrel{\→}{w_2});$ $\left\{\begin{array}{c}\stackrel{\→}{w_1}=\stackrel{\→}{w_i}+{\mathrm{\α}}_i\stackrel{\→}{{\mathrm{\λ}}_j}\\ \stackrel{\→}{w_2}=\stackrel{\→}{w_j}+{\mathrm{\α}}_j\stackrel{\→}{{\mathrm{\λ}}_j}\end{array}\right.,$

其中 $\left[\begin{array}{c}{\mathrm{\α}}_i\\ {\mathrm{\α}}_j\end{array}\right]=D^{-1}Q,$ D是一个2×2矩阵，Q是一个二维向量，定义如下： $D=\left[\begin{array}{cc}(\stackrel{\→}{{\mathrm{\λ}}_i},\stackrel{\→}{w_i})& -(\stackrel{\→}{{\mathrm{\λ}}_j},\stackrel{\→}{w_i})\\ (\stackrel{\→}{{\mathrm{\λ}}_i},\stackrel{\→}{w_j})& -(\stackrel{\→}{{\mathrm{\λ}}_j},\stackrel{\→}{w_j})\end{array}\right],$ $Q=\left[\begin{array}{c}(\stackrel{\→}{w_i},\stackrel{\→}{w_j}-\stackrel{\→}{w_i})\\ (\stackrel{\→}{w_j},\stackrel{\→}{w_i}-\stackrel{\→}{w_j})\end{array}\right];$ 是所求的激光平面方程。

第四步，控制焊接工件在固定末端位姿下对靶标一点经行点触，计算出工件末端点在机械臂坐标下的坐标值，并结合机械臂位姿计算出工件在该位姿下的偏移值。

4.1、取第一步中任意2个位姿，其中表示2个位姿下机械臂末端坐标系的转换矩阵，令 表示2个位姿下相机坐标系的转换矩阵，令则可以简写为ΦH＝HΘ;

4.2、ΦH＝HΘ；展开为

R_ΦR_H=R_HR_Θ                                             ①

R_Φt_H+t_Φ=R_Ht_Θ+t_H                                      ②

其中：R_Φ，R_Θ，R_H表示Φ，Θ，H中对应的旋转部分，t_Φ，t_Θ，t_H表示Φ，Θ，H中对于平移部分；

4.3、令 $q_{\mathrm{\Φ}}={[a_0,{\stackrel{\→}{a}}^T]}^T,$ $q_H={[x_0,{\stackrel{\→}{x}}^T]}^T,$ $q_{\mathrm{\Θ}}={[b_0,{\stackrel{\→}{b}}^T]}^T$ 为R_Φ，R_H，R_Θ对应的四元数，q_Φ由齐次矩阵Φ计算得到，q_Θ由齐次矩阵Θ计算得到，令通过求得q_H，再将q_H转换为手眼矩阵的旋转部分，其中Ω(·)表示反对称矩阵函数，表示的反对称矩阵；x₀、x为q_H中待计算的未知量；

4.4、再将旋转矩阵数据带入②就可以求出t_H，得到手眼变换矩阵H

所述第四步中计算焊接工件位移值包括如下步骤：

5.1、控制焊接工件在固定机械臂末端位姿下对圆靶标上预设点精确点触，读取当前机械臂位姿，获得机械臂末端坐标的第一坐标值；

5.2、定义预设点在世界坐标系下的坐标，根据第一步中得到的外参数矩阵RT，获得预设点在相机坐标系下的坐标，根据手眼变换矩阵H和拍摄圆靶标图像时的机械臂位姿计算得到预设点在机械臂基坐标系下的第二坐标值，将所述第二坐标值与第一坐标值比对得到当前位姿下焊接工件位移值。

本发明实施例中，通过上述步骤，分别实现了相机内部参数标定，线激光光平面方程标定，手眼变换矩阵标定和工件偏移标定，即达到了对焊接机器人***标定过程。

本发明通过分析相机的成像原理、结构光测量原理和手眼***工作原理，设计了一种简单灵活的基于机构光引导机械臂三维跟踪的标定方法，其中包括相机内部参数标定，线激光光平面方程标定，手眼变换矩阵标定和工件偏移标定。该标定方法克服了传统激光光平面方程和手眼矩阵标定条件苛刻、标定步骤繁琐的缺点。该算法只需要控制机械臂随意运动3个以上的位姿拍摄固定靶标就可以完成整体标定任务，并且利用该方法法的结构光引导机械臂跟踪***有较高的跟踪精度。该算法使得线激光，相机的结构可调，以及***结构参数的现场标定成为可能。大大增加了结构光引导***的灵活性，对实际的视觉测量和跟踪具有重要意义，具有良好的实用性。

Claims (7)

1.一种基于线结构光视觉传感器引导的焊接机器人***标定方法，其特征是，所述焊接机器人***标定方法包括如下步骤：

第一步、控制机械臂变换位姿，使得相机在多个位姿拍摄一个任意放置且位置不变的圆靶标，选择的位姿必须使的所有圆靶标上的圆点在相机视场范围内，并且保证固定在相机上线激光器所产生的线激光光平面在圆靶标上产生的光条部分也在视场范围内；通过相机获取圆靶标图像后，提取圆靶标图像上圆形斑点的圆心坐标并识别角点的行列值，以完成圆靶标图像和世界坐标的匹配，然后根据张正友标定算法得到相机的内部参数矩阵 $A=\left[\begin{array}{ccc}\mathrm{\α}& \mathrm{\γ}& u_0\\ 0& \mathrm{\β}& v_0\\ 0& 0& 1\end{array}\right]$ 、外参数矩阵RT；

其中，α=f/dx、β=f/dy，f为相机焦距，dx，dy为相机内单个CCD感光元件长度、宽度；γ为反映相机内CCD感光元件排列倾斜程度的物理量，u₀、v₀为相机的镜头光轴和CCD感光元件的交点像素坐标；

第二步、根据第一步中得到的带线激光光条的圆靶标图像，提取线激光光条，细化提取的线激光光条，通过Hough变换求出线激光光条的线方程；利用第一步得到的外参数矩阵RT得到线激光光条平面在相机坐标系下的平面方程；

第三步、根据第一步中每个位姿对应的机械臂姿态，利用四元数法计算得到机械臂末端坐标系与机械臂基坐标系的变换矩阵，即获得手眼变换矩阵H；

第四步、将焊接工件放置于机械臂末端，控制焊接工件在固定机械臂末端位姿下对圆靶标上一点精确点触，计算出焊接工件末端点在机械臂坐标下的坐标值，并结合机械臂位姿计算出工件在所述位姿下的偏移值。

2.根据权利要求1所述的基于线结构光视觉传感器引导的焊接机器人***标定方法，其特征是，所述第一步包括如下步骤：

（1.1）、利用相机在线实时采集圆靶标的图像，采用大津法自适应阈值对图像二值化，使得圆靶标图像上的圆形斑点突出显示；

（1.2）、利用闭运算算子对圆靶标图像进行闭运算，以去除噪声干扰；对上述二值化后的圆靶标图像中所有目标圆点进行标记，目标圆点的面积为目标圆点包含的像素数目，统计上述圆靶标图像中的目标圆点的像素个数，标记目标圆点所包含像素数目均值为NP_average，去除标记目标中包含像素数目小于0.5*NP_average以及标记目标中包含像素数目大于1.5*NP_average的目标；

（1.3）、计算标记后目标圆点的周长C和面积S，利用圆形度表达式e=C²/(2*π*S)，区分目标圆点与干扰；

（1.4）、采用重心法求取每一个目标圆点的圆心坐标(x₀,y₀)，

$x_0=\frac{\underset{i=0}{\overset{m}{\mathrm{\Σ}}}\underset{j=0}{\overset{n}{\mathrm{\Σ}}}\mathrm{Hit}\left[i\right]\left[j\right]*x}{\underset{i=0}{\overset{m}{\mathrm{\Σ}}}\underset{j=0}{\overset{n}{\mathrm{\Σ}}}\mathrm{Hit}\left[i\right]\left[j\right]},y_0=\frac{\underset{i=0}{\overset{m}{\mathrm{\Σ}}}\underset{j=0}{\overset{n}{\mathrm{\Σ}}}\mathrm{Hit}\left[i\right]\left[j\right]*y}{\underset{i=0}{\overset{m}{\mathrm{\Σ}}}\underset{j=0}{\overset{n}{\mathrm{\Σ}}}\mathrm{Hit}\left[i\right]\left[j\right]};$

其中，m，n为圆靶标图像的行、列值，Hit[i][j]表示（i,j）位置点是否在目标圆点上，（i,j）位置点在目标圆点上Hit[i][j]=1，否则Hit[i][j]=0；

（1.5）、圆靶标上具有若干行、列排布的圆点，相邻两行圆点之间的行距为15mm，同一行中相邻的2个圆点圆心的距离为10mm，在圆靶标第一行的第一个点行方向上5mm处有参考圆，根据步骤（1.4）得到目标圆点像素坐标，利用参考圆对圆靶标图像上的圆心点进行排序；

（1.6）、根据上述圆靶标图像中圆点排序，与给定圆靶标信息，完成圆靶标图像中圆心点像素坐标与世界坐标的匹配。

3.根据权利要求1所述的基于线结构光视觉传感器引导的焊接机器人***标定方法，其特征是，所述第二步包括如下步骤：

（2.1）、线激光器固定在相机上，相机采集图片是只需保证所有靶标圆点以及光条部分在相机视场范围内即可，利用预设阈值对采集到的线激光光条图像进行二值化，对二值化图像进行图像闭运算以去除边缘奇异点；

（2.2）、对线激光光条区域中心进行8-邻域标记，记线激光光条区域的中心点为p1，线激光光条区域中心点p1邻域的8个点顺时针绕中心点分别为p2，p3，……，p9，其中p2点中心点在p1的上方，对线激光光条区域中心点p1进行8-邻域标记的同时满足下列条件的边界点：

（ⅰ）、2≤N（p1）≤6；

（ⅱ）、S（p1）=1；

（ⅲ）、p2*p4*p6=0；

（ⅳ）、p4*p6*p8=0；

其中，N（p1）是中心点p1的非零邻点的个数；S（p1）是以p2，p3，……，p9为序时这些点的值从0→1变化次数；当对所有的边界点都检查完毕后，将所有的标记点除去，反复迭代直到没有点满足标记条件，完成光条细化；

（2.3）、对细化后得到的点利用Hough变换提取得到在圆靶标平面上线激光光条的线方程a_kx+b_ky+c_k=0，其中，a_k、b_k、c_k分别表示线方程的参数。

4.根据权利要求1所述的基于线结构光视觉传感器引导的焊接机器人***标定方法，其特征是，所述第三步包括如下步骤：

（3.1）、圆靶标在世界坐标系下的平面方程可以表示为式中：π₁=[0,0,1,0]^T，利用第一步得到的外参数矩阵RT，计算得到在相机坐标系下靶标平面的平面方程为其中的与分别为靶标平面在世界坐标系和相机坐标系下的平面法向坐标向量；

（3.2）、在相机坐标系中，设分别代表激光平面法向坐标向量、第i个圆靶标的法向坐标向量、第j个圆靶标的法向坐标向量、第i个圆靶标内的激光交线图像的坐标向量、第j个平面靶标内的激光交线图像的坐标向量；注意第i个平面靶标图像上的激光交线图像的方程与可以直接计算出来：

（3.3）、根据投影空间中两条激光交线及其相关联的平面的对偶关系得，

$\stackrel{\→}{w}=\frac{1}{2}(\stackrel{\→}{w_1}+{\stackrel{\→}{w}}_2);\left\{\begin{array}{c}{\stackrel{\→}{w}}_1={\stackrel{\→}{w}}_i+{\mathrm{\α}}_i{\stackrel{\→}{\mathrm{\λ}}}_i\\ {\stackrel{\→}{w}}_2={\stackrel{\→}{w}}_j+{\mathrm{\α}}_j{\stackrel{\→}{\mathrm{\λ}}}_j\end{array}\right.,$

其中 $\left[\begin{array}{c}{\mathrm{\α}}_i\\ {\mathrm{\α}}_j\end{array}\right]=D^{-1}Q,$ D是一个2×2矩阵，Q是一个二维向量，定义如下： $\left[\begin{array}{cc}({\stackrel{\→}{\mathrm{\λ}}}_i,{\stackrel{\→}{w}}_i)& -({\stackrel{\→}{\mathrm{\λ}}}_j,{\stackrel{\→}{w}}_i)\\ ({\stackrel{\→}{\mathrm{\λ}}}_i,{\stackrel{\→}{w}}_j)& -({\stackrel{\→}{\mathrm{\λ}}}_j,{\stackrel{\→}{w}}_j)\end{array}\right],Q=\left[\begin{array}{c}{\stackrel{\→}{w}}_i,{\stackrel{\→}{w}}_j-{\stackrel{\→}{w}}_i\\ {\stackrel{\→}{w}}_j,{\stackrel{\→}{w}}_i-{\stackrel{\→}{w}}_j\end{array}\right];$ 是所求的激光平面方程。

5.根据权利要求1所述的基于线结构光视觉传感器引导的焊接机器人***标定方法，其特征是，所述第四步包括如下步骤：

（4.1）、取第一步中任意2个位姿，其中表示2个位姿下机械臂末端坐标系的转换矩阵，令表示2个位姿下相机坐标系的转换矩阵，令则可以简写为

（4.2）、展开为

$R_{\mathrm{\Φ}}{R}_H=R_H{R}_{\mathrm{\Θ}}$   ①

$R_{\mathrm{\Φ}}{t}_H+t_{\mathrm{\Φ}}=R_H{t}_{\mathrm{\Θ}}+t_H$   ②

其中：R_Φ，R_Η表示Φ，H中对应的旋转部分，t_Φ，t_Η表示Φ，H中对于平移部分；

（4.3）、令为R_Φ，R_Η，对应的四元数，q_Φ由齐次矩阵Φ计算得到，由齐次矩阵Θ计算得到，令通过求得q_H，再将q_H转换为手眼矩阵的旋转部分，其中Ω(·)表示反对称矩阵函数，表示的反对称矩阵；x₀、x为_qH中待计算的未知量；

（4.4）、再将旋转矩阵数据带入②就可以求出t_Η，得到手眼变换矩阵H。

6.根据权利要求1所述的基于线结构光视觉传感器引导的焊接机器人***标定方法，其特征是，所述第四步中计算焊接工件位移值包括如下步骤：

（5.1）、控制焊接工件在固定机械臂末端位姿下对圆靶标上预设点精确点触，读取当前机械臂位姿，获得机械臂末端坐标的第一坐标值；

（5.2）、定义预设点在世界坐标系下的坐标，根据第一步中得到的外参数矩阵RT，获得预设点在相机坐标系下的坐标，根据手眼变换矩阵H和拍摄圆靶标图像时的机械臂位姿计算得到预设点在机械臂基坐标系下的第二坐标值，将所述第二坐标值与第一坐标值比对得到当前位姿下焊接工件位移值。

7.根据权利要求2所述的基于线结构光视觉传感器引导的焊接机器人***标定方法，其特征是：利用参考圆对圆靶标图像上的圆心点进行排序时，找出圆靶标图像上有效圆点的圆心距离最小的两个目标圆点，其中离所有圆心点均值中心较远的圆的定义为0点，另一个定义为1点，然后设置0，1点为已匹配点，在未匹配点中找与1点最近的点定义2点，设置2点为已匹配点，在未匹配点中找与2点最近的点定义3点，设置3点为已匹配点…直至把所有点都找全，完成所有圆心点的排序。