CN104766333A - 基于立体视觉的车门点焊机器人路径校正方法 - Google Patents

Abstract

本发明公开了一种基于立体视觉的车门点焊机器人路径校正方法，使焊接机器人在焊点位置进行智能化的精确焊接。包括以下步骤：步骤一、摄像机标定：搭建好基于立体视觉的车门焊接补偿量获取***后，在实际采集待测车门表面图像之前，首先利用张正友标定方法对两台摄像机进行标定，获取摄像机的内外参数；步骤二、焊接机器人补偿量获取：通过翻边线上的点拟合出冲压板件的实际翻边线，车门实际翻边线与理论翻边线之间的差值即等效于车门实际焊点线与理论焊点线之间的差值；步骤三、模拟焊接机器人补偿量实现：在获取焊接机器人补偿量后，利用机器人运动学逆解理论，求取焊接机器人步进电机的实际变化量。

Description

基于立体视觉的车门点焊机器人路径校正方法

技术领域

本发明涉及一种针对车门点焊机器人路径校正的方法，更具体地说，本发明涉及一种基于立体视觉的车门点焊机器人路径校正方法。

背景技术

电阻点焊在焊接生产过程中能量集中、板材变形小、生产效率高，因此特别适用于焊接薄壁零件，是目前实现自动化大规模生产的最常用的焊接方法之一，因此被广泛地应用于汽车以及汽车零部件的焊接领域。现代化汽车生产制造工艺中，针对汽车制造业产品竞争激烈化、规模化、批量化、低成本、大规模、高精度的现状，对许多构件的焊接精度和速度等指标提出了越来越高的要求，因而促使了焊接机器人的推广使用，机器人技术的发展与应用是一个国家高科技水平与工业生产自动化程度的重要标志。特别是近年来我国汽车工业的迅猛发展，促使电阻点焊机器人不断在汽车领域推广、使用和发展。基于立体视觉的焊接机器人技术是综合了计算机、控制论、信息和传感技术等多学科形成的一种新技术，是汽车行业焊接领域的发展方向。

车门零部件在焊接过程中，焊接工件的卡具由于长时间的应力作用，焊接工件在运动过程中的位移变化，会使焊点的实际焊接位置与理论焊接位置发生偏差，资料显示有时焊接误差可达到5mm-10mm，从而导致最终的焊点出现各种各样的缺陷，使焊接的强度和刚度达不到要求，影响白车门的刚度和强度，对汽车的正常行驶影响可能不大，但是却在汽车发生紧急情况时留下安全隐患；点焊质量的好坏不仅影响轿车的安全性和可靠性，还将影响轿车白车门的外观质量和装配精度，进而影响汽车整车的质量和使用性能。综上所述，白车门在焊接前对焊点位置的精确定位是十分迫切的。

传统的汽车点焊机器人，焊枪的焊接路径在程序的控制下运动，路径是固定不变的，即使车门由于各种原因发生变化时，焊枪的焊接位置也不能够及时有效的进行校正，从而在最终焊接完成之后，使实际的焊接位置偏离了理想焊接位置，从而造成各种白车门点焊质量问题。到目前为止，国内有的科研机构或者院校，例如湖南大学的崔兴强，对于焊接中缝焊的视觉跟踪有了一定的研究，但是由于点焊焊点的位置特殊性，目前国内对于点焊的路径校正研究几乎没有。

发明内容

本发明提供了一种基于立体视觉的车门点焊机器人路径校正方法，使焊接机器人在焊点位置进行智能化的精确焊接。

本发明的目的是采用如下技术方案实现的：

一种基于立体视觉的车门点焊机器人路径校正方法，其特征在于，该方法使用一种基于立体视觉的车门焊接补偿量获取***，包括设置在车门外板流水线轨道斜上方的一字激光器、对称设置在一字激光器两侧且位于车门外板流水线轨道正上方的两台摄像机，以及与一字激光器和两台摄像机连接的终端设备；

该车门点焊机器人路径校正方法包括以下步骤：

步骤一、摄像机标定：搭建好所述基于立体视觉的车门焊接补偿量获取***后，在实际采集待测车门表面图像之前，首先利用张正友标定方法对两台摄像机进行标定，获取摄像机的内外参数，以建立实际待测物空间位置和图像坐标之间的非线性关系，进而计算检测图像特征点对应的空间坐标；

步骤二、焊接机器人补偿量获取：一字激光器发射激光倾斜打在冲压板件的实际翻边线上，激光线发生偏折，折点就在翻边线上，通过翻边线上的点拟合出冲压板件的实际翻边线；车门实际翻边线与理论翻边线之间的差值即等效于车门实际焊点线与理论焊点线之间的差值；

步骤三、模拟焊接机器人补偿量实现：在获取焊接机器人补偿量后，利用机器人运动学逆解理论，求取焊接机器人步进电机的实际变化量，通过编程控制步进电机运动，最终实现焊接机器人在正确的位置进行焊接。

本发明所述的一种基于立体视觉的车门点焊机器人路径校正方法，其中，步骤一摄像机标定的具体过程为：

利用张正友标定的方法进行标定，采用CAD软件绘制标定模版，标定模板是一个9×9的棋盘格，其规格尺寸是270mm×270mm。然后再将两摄像机固定在适当位置并保持不动，之后不断变换标定模版与成像平面之间的角度与方位，两摄像机对标定模版采集16幅图像。对摄像机标定模版图像进行特征角点提取，每个摄像机标定模版图像可以提取100个角点，16幅图像总共得到1600个特征角点图像坐标，根据张正友标定方法，世界坐标系设定在棋盘格图像最左上角处的一个角点上，Z方向坐标值取为零，由于每个标定模版尺寸大小精确设计为30mm，因此棋盘格特征角点在X和Y方向的世界坐标可精确得知，因此在得到平面图像特征角点坐标以及对应点的空间坐标以后，即可利用工具箱完成标定，计算得到摄像机的内外部参数；

本发明所述的一种基于立体视觉的车门点焊机器人路径校正方法，其中，步骤二焊接机器人补偿量获取包括以下具体步骤：

1)对摄像机图像中车门冲压板件翻边线图像进行图像预处理；

2)获取冲压板件的实际翻边线与激光线交点的空间坐标；

3)旋转实际翻边线与理论翻边线，获取焊接补偿量。

本发明所述的一种基于立体视觉的车门点焊机器人路径校正方法，其中，步骤1)对摄像机图像中车门冲压板件翻边线图像进行图像预处理具体包括以下过程：

1.1)将摄像机采集的真彩图像转化为灰度图像；

将激光倾斜打在冲压板件的翻边线上，采用两个摄像机采集图像，分别得到左右两幅图像，所采集的原始图像为RGB图像，将RGB图像转化成灰度图像，变化成一个数据矩阵；

1.2)获取目标区域并对目标区域进行图像增强；

采用图像参数式裁剪对目标区域进行剪切提取，获取目标区域图像；对目标区域进行图像增强，同时进行逻辑运算，降低图像整体灰度；

1.3)图像灰度调整；

进行逻辑运算后的图像，激光线区域与周围环境对比度不明显，因此要对图像进行灰度的调整，即把原本不清晰的图像变得清晰，或者抑制图像的某些不需要的特征从而使另外一些目标特征得到增强，从而使处理后的图像的视觉效果得到增强；

1.4)图像降噪；

在实验过程中，由于实验条件和摄像机质量的限制，往往会使拍摄到的图像受到图像噪声的影响，产生少许失真，因此为了得到精度比较高的结果，采用中值滤波对灰度增强后的图像进行降噪处理；

1.5)灰度图像的二值化处理。

本发明所述的一种基于立体视觉的车门点焊机器人路径校正方法，其中，步骤2)获取冲压板件的实际翻边线与激光线交点的空间坐标具体包括以下过程：

2.1)对步骤1)预处理过后的图像进行图像腐蚀处理，提取激光线的骨架；

图像腐蚀是最基本的也是最重要形态学处理方法之一，腐蚀能够消融物体的边界，从而获得所需目标的骨架，具体的腐蚀效果与目标图像本身和结构元素的形状有关：如果目标区域整体上大于结构元素，腐蚀的结果是使目标区域边缘消失一部分，消失部分区域的大小是由结构元素的大小决定的；如果目标区域本身小于结构元素，则在进行腐蚀运算之后，目标区域将完全消失。

2.2)霍夫变换求出冲压板件实际翻边线与激光线交点的图像坐标；

霍夫(Hough)变换是一种检测间断点的非常重要的方法，其原理是将边缘点连接起来形成封闭区域的方法。采用的是霍夫(Hough)变换对骨架进行拟合获取骨架的曲线方程，求取冲压板件实际翻边线与激光线交点图像坐标。

2.3)对冲压板件的实际翻边线与激光线交点进行三维重建；

立体匹配可以获得物体左右两幅图像像素相互对应的坐标，再依据两幅图像之间的对应关系逆向求得物体在三维空间坐标系下的坐标，即为空间点的三维重建，进而获取交点的三维空间坐标。

本发明所述的一种基于立体视觉的车门点焊机器人路径校正方法，其中，步骤3)旋转实际翻边线与理论翻边线，获取焊接补偿量包括以下具体过程：

3.1)采用Matlab曲线拟合工具箱对获得的冲压板件实际翻边线与激光线交点的空间坐标点进行拟合，得到一空间曲线，即实际翻边线；

运行Matlab软件，在Command Window命令窗格中输入所获得的空间三维坐标值，点击Matlab界面左下角的Start命令按钮，选择Toolboxs工具箱，从下拉菜单中找到CurveTitting中的Curve Fitting Tool(cftool)按钮，点击运行程序曲线拟合工具箱，或者直接命令窗口直接输入“cftool”，点击回车，即可调用曲线拟合工具箱，分别写入空间三维坐标的x、y和z值，即可获得拟合的曲线。

3.2)获得冲压板件的理论翻边线；

在车门的Catia模型的翻边线上提取若干个点，并将其空间坐标转化到实际车门坐标系当中，之后对这些空间点进行拟合得到理论翻边线；

3.3)旋转实际翻边线和理论翻边线，计算焊接补偿量；

将实际翻边线和理论翻边线旋转，分别投影到X-Y平面，X-Z平面和Z-Y平面上，分别获得X方向、Y方向和Z方向的补偿量。

与现有技术相比本发明的有益效果是：

1.本发明所述的基于立体视觉的车门点焊机器人路径校正方法关键点是获取补偿量的大小，其前提是求得实际翻边线上的点的坐标，采用了一种新型的线激光的用法，即将激光倾斜打在冲压板件的实际翻边线上，激光线会发生偏折，折点就在实际翻边线上，通过实际翻边线上的点即可拟合出实际翻边线。此方法可以方便快速的确定位置不知道的曲线方程。

2.本发明所述的基于立体视觉的车门点焊机器人路径校正方法的一个创新点是补偿量的计算，也是发明实现在焊接前判断焊接位置是否准确的关键。车门在进行门框焊接时可以近似看作是刚体，焊接线和翻边线之间的距离是固定的，当车门发生移动时，翻边线和焊接线是整体发生移动，之间的距离不变，所以焊点线之间的位移量，也就是补偿量就转化成翻边线之间位移变化量，进而解决了在焊接前判断焊接位置是否准确的问题。

3.本发明所述的基于立体视觉的车门点焊机器人路径校正方法对结构光的处理方法进行了改进，预处理就是对图像进行处理，使得我们所需要的目标区域凸显出来，对目标点进行提取时，通过对多种方法的比较，最终选定采用Hough变换求取目标点，保证目标点的准确性。

附图说明

图1是本发明所述的基于立体视觉的车门点焊机器人路径校正方法的总体流程图；

图2是本发明所采用的基于立体视觉的车门点焊机器人路径校正***在线获取焊接补偿量的示意图；

图3是本发明所述的基于立体视觉的车门点焊机器人路径校正方法中对摄像机进行标定时的标定模板；

图4是本发明所述的基于立体视觉的车门点焊机器人路径校正方法中获取焊接补偿量的原理图；

图5是本发明所述的基于立体视觉的车门点焊机器人路径校正方法中获取焊接补偿量的具体流程图；

图6是本发明所述的基于立体视觉的车门点焊机器人路径校正方法中对图像预处理中图像降噪时中值滤波的工作流程图；

图7-a是本发明所述的基于立体视觉的车门点焊机器人路径校正方法中获取冲压板件实际翻边线与激光线交点的空间坐标里采用Hough变换时的图像空间；

图7-b是本发明所述的基于立体视觉的车门点焊机器人路径校正方法中获取冲压板件实际翻边线与激光线交点的空间坐标里采用Hough变换时的参数空间；

图8是本发明所述的基于立体视觉的车门点焊机器人路径校正方法中对冲压板件实际翻边线与激光线交点进行三维重建的原理图；

图9-a是本发明所述的基于立体视觉的车门点焊机器人路径校正方法中对实际翻边线和理论翻边线绕X轴旋转α角的示意图；

图9-b是本发明所述的基于立体视觉的车门点焊机器人路径校正方法中对实际翻边线和理论翻边线绕Y轴旋转β角的示意图；

图10是本发明所述的基于立体视觉的车门点焊机器人路径校正方法中十字线性导轨采用的螺杆示意图；

图11是本发明所述的基于立体视觉的车门点焊机器人路径校正方法中求取步进电机转动角度的原理图；

图中：1.车门外板流水线，2.一号摄像机，3.信息处理终端设备，4.一字激光发射器,5.二号摄像机。

具体实施方式

下面结合附图对本发明的技术方案作详细的描述：

参阅图2，图中是本发明设计的一种基于立体视觉的车门焊接补偿量获取***的简化示意图，当车门外板1沿轨道缓慢移动时，一字激光器4把激光倾斜打在冲压板件的实际翻边线上，利用一字激光器4两侧对称设置的一号摄像机2和二号摄像机5分别采集到左右两幅图像，再将采集到的图像传输到信息处理终端设备3进行处理。

检测时，一号摄像机2和二号摄像机5均位于车门正上方1.5米处，一号摄像机2和二号摄像机5采用的是北京大恒图像设备公司生产的型号为DH-HV1302UM-T，分辨率为1248*1024和焦距为12.5-75mm的CCTV&VIDEO摄像机镜头；一字激光发射器4被放置于车门斜前方1.5米处，使用型号是sz-mt50i，输出功率为40-50mW，光线亮度高，受外界环境干扰相对较小；计算机一台。参阅图2，标定模板是一个9×9的棋盘格，其规格尺寸是270mm×270mm。

参阅图1，一种基于立体视觉的车门点焊机器人路径校正方法，整个检测过程主要分成3个阶段：1.摄像机的标定阶段；2.焊接机器人补偿量获取阶段；3.模拟焊接机器人补偿量的实现阶段。

1.摄像机的标定阶段：

搭建好检测平台(基于立体视觉的车门焊接补偿量获取***)后，为了保证检测的顺利进行，在采集待测车门表面图像之前，首先必须对一号摄像机2和二号摄像机5进行标定，获取摄像机的相关内外参数，才能建立起实际待测物空间位置和图像坐标之间的对应的非线性关系，利用这种非线性关系，才能计算检测图像特征点对应的空间坐标。

参阅图3，利用张正友标定的方法(ZHANG Z Y,A Flexible New Technique forCamera Calibration[R].Microsoft Corporation,NSR-TR-98-71,1998)进行标定，首先采用CAD软件绘制标定模版，标定模板是一个9×9的棋盘格，其规格尺寸是270mm×270mm。然后再将两摄像机2、5固定在适当位置并保持不动，之后不断变换标定模版与成像平面之间的角度与方位，两摄像机对标定模版采集16幅图像。将拍摄得到的16幅图像中左下角的摄像机棋盘格标靶图像进行特征角点提取，每个摄像机棋盘格标靶图像可以提取100个角点，16幅图像总共得到1600个特征角点图像坐标。根据张正友标定方法，世界坐标系设定在摄像机棋盘格标靶图像最左上角处的一个角点上，Z方向坐标值取为零，由于每个棋盘格尺寸大小精确设计为30mm，因此棋盘格特征角点在X和Y方向的世界坐标可精确得知。因此在得到标定平面上棋盘格标靶图像特征角点坐标以及对应点的空间坐标以后，即可利用工具箱完成标定，计算得到摄像机2、5的内外部参数。

2.焊接机器人补偿量获取阶段：

参阅图4，实际焊接完成后，焊点与翻边线之间有一定的距离，在车门局部本身可以看作是刚体，焊点与翻边线之间的距离是固定不变的。当车门发生移动时，实际焊点线与理论焊点线之间的差值，就转化成实际翻边线与理论翻边线之间的差值，求出实际焊点线与理论焊点线之间的差值，就是焊接机器人需要的补偿量。

1)对摄像机图像中车门冲压板件翻边线的初始采集图像进行图像预处理：

由于摄像机2、5拍摄的图像具有较多的无用背景，而且图像容易受到车门内板表面反光以及噪声影响，因此需要剔除无用的背景减少图像处理时间以及复杂程度，并且对图像反光进行调整并对噪声进行降噪处理，对摄像机2、5拍摄的车门外板表面初始检测图像进行图像预处理的步骤如下：

1.1)将摄像机采集的真彩图像转化为灰度图像：将激光倾斜打在冲压板件的翻边线上，采用两个摄像机采集图像，分别得到左右两幅图像，所采集的原始图像为RGB图像，即真彩图像，将RGB图像转化成灰度图像，变化成一个数据矩阵，这样会简化运算过程，提高计算效率，进而提高整体图像处理运算效率。

1.2)获取目标区域并对目标区域进行图像增强：对灰度图像中的目标区域图像进行剪切操作，获得摄像机图像中车门翻边线和激光线的局部区域图像，剔除无用背景区域，对获取区域进行图像增强，增强目标区域内激光线与周围区域的对比，同时进行逻辑运算，降低图像整体灰度，提高运算速度。

在通常情况下，摄像机的拍照范围大于所需要的目标范围，会将许多不必要的，多余的信息包括在内，本发明采用的是图像参数式裁剪对目标区域进行剪切提取，获取需要区域；

得到目标区域图像后，对目标区域进行图像增强，以增强目标区域内激光线与周围区域的对比，实现对图像的进一步处理和分析，同时也提高图像质量的过程，为了提高运算速度，对目标图像进行逻辑运算，降低图像整体灰度。

1.3)对图像进行灰度调整，进行逻辑运算后的图像，激光线区域与周围环境对比度不明显，因此要对图像进行灰度的调整，即把原本不清晰的图像变得清晰，或者抑制图像的某些不需要的特征从而使另外一些目标特征得到增强，从而使处理后的图像的视觉效果得到增强。

1.4)图像降噪；

在实验过程中，由于实验条件和摄像机质量的限制，往往会使拍摄到的图像受到图像噪声的影响，产生少许失真，因此为了得到精度比较高的结果，一般采用中值滤波对灰度增强后的图像进行降噪处理。

中值滤波的效果十分依赖滤波窗口大小的选择，如果窗口太大则会使边缘模糊，窗口太小会使降噪效果不好，计算效率比较低。因此必须对中值滤波的算法进行改进。

参阅图6，中值滤波的原理是在滤波时，每一次排序时对所有像素值进行排序是没有必要的，以使用如式(1)所示3×3的模板为例，当程序在图中从左到右移动时，每次变化的仅仅是第三列的3个值，而后两列的值已经在上一次操作中已经排列好了，因此我们只需要在这个有序的序列中利用改进算法依次插进第三列的三个新值即可。通过以上对排序原理的分析可知，只需要对窗口模板内的所有像素灰度值进行排序一次，再根据模板的移动方向，按顺序***第3个值即可。本发明采用冒泡排序法，将3个像素灰度值一次***到6个有序序列中，再采用折半法查找***，最多只需要10次比较即可完成，因此采用改进算法提高了计算效率，实用性好。

$\left[\begin{array}{ccc}{k}_1& k_2& k_3\\ k_4& k_5& k_6\\ k_7& k_8& k_9\end{array}\right]---\left(1\right)$

1.5)灰度图像的二值化处理；

为了提高激光光线与周围环境的对比度，便于边缘检测，要将灰度图像转化成二值图像，原理是从灰度图像中的像素值中取一个阈值，记为Tc，将大于这个阈值的像素归于一类，小于这个阈值的像素属于另一类，此方法为阈值分割法，即：

$f(x,y)=\left\{\begin{array}{cc}0& f(x,y)<T_c\\ 255& f(x,y)<T_c\end{array}\right.---\left(2\right)$

由二值化原理可知恰当的选择灰度阈值Tc是图像二值化处理的关键。如果T_c选择不合适就会造成图像失真。关于阈值的选取方法一般有P参数法，双峰法，直方图法。本发明采用直方图，原理是使灰度图像中的像素值以直方图的形式直观的显示出来，再根据像素灰度的统计规律来进行阈值选择。对图像进行直方图处理，当灰度直方图中出现两个明显的峰值时，则图像中大部分的像素灰度值集中在两个峰值附近，因此可以将一个峰值附近的像素值选为目标，另一个峰值附近的像素选为背景。只需要将两个峰值之间低谷的像素值设为阈值Tc，那么就可以将目标与背景很好的分割开来。

2)获取冲压板件翻边线与激光线交点的空间坐标

为了获取冲压板件翻边线与激光线交点信息，需要对预处理后的图像进行形态学处理，具体获取冲压板件翻边线与激光线交点的空间坐标的步骤如下：

2.1)对预处理过后的图像进行图像腐蚀处理，提取激光线的骨架；

图像腐蚀是最基本的也是最重要形态学处理方法之一，腐蚀能够消融物体的边界，从而获得所需目标的骨架，具体的腐蚀效果与目标图像本身和结构元素的形状有关：如果目标区域整体上大于结构元素，腐蚀的结果是使目标区域边缘消失一部分，消失部分区域的大小是由结构元素的大小决定的；如果目标区域本身小于结构元素，则在进行腐蚀运算之后，目标区域将完全消失。

2.2)霍夫变换求出冲压板件翻边线与激光线交点的图像坐标；

霍夫(Hough)变换是一种检测间断点的非常重要的方法，其原理是将边缘点连接起来形成封闭区域的方法。采用的是霍夫(Hough)变换对骨架进行拟合获取骨架的曲线方程，求取冲压板件翻边线与激光线交点图像坐标。

Hough变换的基本原理是点线的对偶性。在图像xy空间里，所有过点(x,y)的直线都可以写成直线的一般表达式y＝kx+b，其中k是直线斜率，b是直线在y轴上的截距。可以将直线的一般表达式改写成b＝-kx+y。在图像空间xy中过点(x₁,y₁)的直线方程为y₁＝kx₁+b，在参数空间kb中可改写成b＝-kx₁+y₁，表示的是在参数空间kb中的一条直线。过点(x₂,y₂)的直线方程为y₂＝kx₂+b，也可以写成b＝-kx₂+y₂，表示的是在参数空间kb中的另一条直线。假设这两条直线在参数空间kb中相交于一点(k’,b’)，这里点(k’,b’)对应图像空间xy中的一条过(x₁,y₁)和(x₂,y₂)的直线，所以这一点满足y₁＝k’x₁+b’和y₂＝k’x₂+b’。由此可见在图像空间xy中过点(x₁,y₁)和(x₂,y₂)的直线上的每一点都对应参数空间kb里的一条直线，这些直线相交于点(k’,b’)。

参阅图7，(a)为图像空间，(b)为参数空间，在图像空间中共线的点对应在参数空间里相交的线，在参数空间中相交于一点的所有直线在图像空间中都有共线的点与之对应。Hough变换的原理就是利用这种点和线的对偶性把图像空间中的检测问题转化到参数空间之中。

但是在实际应用当中，常常将直线的方程y＝kx+b用极坐标的形式来代替ρ＝xcosθ+ysinθ。其中(ρ,θ)指的是一个从原点到线上最近点的向量，这个向量与直线是相互垂直的关系。

为了寻找这些点所组成的直线，可以将ρ-θ空间量化分割成许多小的空间，根据每一个(x₀,y₀)点代入θ的量化值，算出各个ρ，当计算出的值落在某个小空间，那么该小空间的计数累加器加1，当全部(x,y)点变换后，对小空间进行检验，将计数值最多的小空间对应于共线点，其(ρ,θ)作直线拟合的参数。计数值较少的小空间通常对应非共线点，可以舍弃不用。要综合考虑这两方面的要求，取得最合适的量化值。

Hough变换的实现步骤一般如下：

(a)对变换域进行初始变换，适当的量化参数空间

(b)将参数空间分割程序多小的空间，假设每个小空间都是一个累加器，并且其初始值设为0；

(c)对于图像空间每一点(x,y)，在其所满足的参数方程对应的累加器上加1；

(d)计算出累加器阵列当中最大值对应的空间模型参数。

当计算完成后，寻找在ρ-θ变换域中的累加器中的极大值点，记录各个极大值点也就是峰值点的ρ和θ的值，根据记录的峰值点的ρ，θ值在直角坐标系中重新绘制曲线。

直线段标出后，就要求两条线段的交点，交点就是对应的冲压板件翻边线与激光线的交点，通过联合两条直线方程形成方程组，就可以求得两条直线的交点。设两条直线分别为：

$\left\{\begin{array}{c}{\mathrm{\&rho;}}_1=x\cos \left({\mathrm{\&theta;}}_1\right)+y\sin \left({\mathrm{\&theta;}}_1\right)\\ {\mathrm{\&rho;}}_2=x\cos \left({\mathrm{\&theta;}}_2\right)+y\sin \left({\mathrm{\&theta;}}_2\right)\end{array}\right.---\left(3\right)$

解二元一次方程组可得两条直线的交点。

2.3)对冲压板件翻边线与激光线的交点进行三维重建；

一般图像经过处理之后，会获取大量的二维像素坐标信息，经过立体匹配之后，进行三维重建，进而获取三维空间坐标。由于本发明所需要点的数量较少，并且左右摄像机是按照一定的顺序进行拍照的，每个图像中点的相互对应点很容易找到。

参阅图8，根据两幅或者两幅以上的对应的二维图像信息，获取物体三维几何信息的方法，就是基于立体视觉的三维重建。空间中的物体，经过两个摄相机拍照，即可以获得物体左右两幅投影图像，这两幅图像上的信息之间是有对应关系的，经过立体匹配，可获得这两幅图像像素相互对应的坐标，再依据两幅图像之间的对应关系逆向求得物体在三维空间坐标系下的坐标，该方法即为空间点的三维重建。

假设空间中有一物体，O₁、O₂为两个摄像机所在的位置，拍照获得左右两幅图像I₁、I₂，物体上的一点P在三维空间中的坐标为[X,Y,Z]^T，在左右两幅图像I₁、I₂上的投影点分别为P_l和P_r，在图像坐标系下，相对应的齐次坐标分别为[u₁,v₁,1]^T、[u₂,v₂,1]^T，则空间中点P与P_l和P_r有如下的对应关系：

$Z_{c1}\left[\begin{array}{c}{u}_1\\ v_1\\ 1\end{array}\right]=\left[\begin{array}{cccc}{m}_{11}^1& m_{12}^1& m_{13}^1& m_{14}^1\\ m_{21}^1& m_{22}^1& m_{23}^1& m_{24}^1\\ m_{31}^1& m_{32}^1& m_{33}^1& m_{34}^1\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]---\left(4\right)$

$Z_{c2}\left[\begin{array}{c}{u}_2\\ v_2\\ 1\end{array}\right]=\left[\begin{array}{cccc}{m}_{11}^2& m_{12}^2& m_{13}^2& m_{14}^2\\ m_{21}^2& m_{22}^2& m_{23}^2& m_{24}^2\\ m_{31}^2& m_{32}^2& m_{33}^2& m_{34}^2\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]---\left(5\right)$

其中，

$M_L=\left[\begin{array}{cccc}{m}_{11}^1& m_{12}^1& m_{13}^1& m_{14}^1\\ m_{21}^1& m_{22}^1& m_{23}^1& m_{24}^1\\ m_{31}^1& m_{32}^1& m_{33}^1& m_{34}^1\end{array}\right]=A_l*\left[\begin{array}{cc}{R}_l& T_l\\ 0^T& 1\end{array}\right]---\left(6\right)$

$M_R=\left[\begin{array}{cccc}{m}_{11}^2& m_{12}^2& m_{13}^2& m_{14}^2\\ m_{21}^2& m_{22}^2& m_{23}^2& m_{24}^2\\ m_{31}^2& m_{32}^2& m_{33}^2& m_{34}^2\end{array}\right]=A_r*\left[\begin{array}{cc}{R}_r& T_r\\ 0^T& 1\end{array}\right]---\left(7\right)$

其中M_L、M_R分别为左右摄像机的外部矩阵参数，A_l、A_r分别为左右图像的内部参数， $\left[\begin{array}{cc}{R}_l& T_l\\ 0^T& 1\end{array}\right],\left[\begin{array}{cc}{R}_r& T_r\\ 0^T& 1\end{array}\right]$ 分别为左右摄像机的外部参数矩阵，R_l、R_r为左右摄像机的旋转矩阵，T_l、T_r分别为左右摄像机的平移向量。

摄像机的内部参数以及外部参数在上文中通过摄像机标定获得，根据摄像机的内外参数即可求出投影矩阵M_L、M_R，在表达式6和7中，Z_c1和Z_c2是多余的中间变量，因此，消去Z_c1或者Z_c2，即可得到关于X、Y、和Z四个线性方程组：

$\left\{\begin{array}{c}(u_1{m}_{31}^1-m_{11}^1)X+(u_1{m}_{32}^1-m_{12}^1)Y+(u_1{m}_{33}^1-m_{33}^1)Z=m_{14}^1-u_1{m}_{34}^1\\ (v_1{m}_{31}^1-m_{21}^1)X+(v_1{m}_{32}^1-m_{22}^1)Y+(v_1{m}_{33}^1-m_{23}^1)Z=m_{24}^1-v_1{m}_{34}^1\\ (u_2{m}_{31}^2-m_{11}^2)X+(u_2{m}_{32}^2-m_{12}^2)Y+(u_2{m}_{33}^2-m_{13}^2)Z=m_{14}^2-u_2{m}_{34}^2\\ (v_2{m}_{31}^2-m_{21}^2)X+(v_2{m}_{32}^2-m_{22}^2)Y+(v_2{m}_{33}^2-m_{23}^2)Z=m_{24}^2-v_2{m}_{34}^2\end{array}\right.---\left(8\right)$

在上式中，和分别是点p_l、p_r在I₁图像与图像I₂坐标系下的齐次坐标，为所求的世界坐标系下的齐次坐标，为投影矩阵的第i行第j列元素，解方程组(8)，获得的坐标即为在世界坐标系下的三维空间坐标。

3)拟合出焊接的实际翻边线，获取补偿量。

具体拟合出空间曲线获取焊接机器人补偿量的步骤如下：

3.1)采用Matlab曲线拟合工具箱对获得的冲压板件翻边线与激光线交点的空间坐标点进行拟合，得到一空间曲线，即为实际翻边线；

3.2)获得冲压板件的理论翻边线：焊接的实翻边线通过拟合而来，焊接的理论翻边线也是由点拟合而来，在车门Catia模型的翻边线上取九个点，测量每个点的空间三维位置。由于车门Catia模型所在的坐标系与实际车门的坐标系不同，因此在Catia模型中提取的点的空间坐标要转化到实际车门坐标系当中，之后对这些空间点进行拟合得到将理论翻边线；

3.3)旋转实际翻边线和理论翻边线，计算焊接补偿量：在分别与世界坐标系的Z轴平行时，在X-Y平面上获得投影，通过计算获得在X方向和Y方向上的补偿量，同理可分别获得在X方向和Z方向上的补偿量和在Z方向和Y方向上的补偿量。

下面介绍翻边线的旋转原理，由翻边线上的三维空间坐标，求出缝隙线的方向向量l(a,b,c)，利用空间解析几何知识求l与X轴、Y轴、Z轴的夹角分别为α、β、γ，如式9所示。

$\left\{\begin{array}{c}\cos \mathrm{\&alpha;}=\frac{a}{\sqrt{a^2+b^2+c^2}}\\ \cos \mathrm{\&beta;}=\frac{b}{\sqrt{a^2+b^2+c^2}}\\ \cos \mathrm{\&gamma;}=\frac{c}{\sqrt{a^2+b^2+c^2}}\end{array}\right.---\left(9\right)$

参阅图9，为把l旋转与X-Y平面平行，可使l绕X轴旋转α角，也可以绕Y轴旋转β角：

则缝隙线上的点经过旋转之后的新坐标如式10和11所示：

$\left[\begin{array}{c}{x}^{\&prime;}\\ y^{\&prime;}\\ z^{\&prime;}\end{array}\right]=\left[\begin{array}{c}x\\ y\\ z\end{array}\right]\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos \mathrm{\&alpha;}& -\sin \mathrm{\&alpha;}\\ 0& \sin \mathrm{\&alpha;}& \cos \mathrm{\&alpha;}\end{array}\right]=\left[\begin{array}{c}x\\ y\\ z\end{array}\right]*R_x---\left(10\right)$

$\left[\begin{array}{c}{x}^{\&prime;}\\ y^{\&prime;}\\ z^{\&prime;}\end{array}\right]=\left[\begin{array}{c}x\\ y\\ z\end{array}\right]\left[\begin{array}{ccc}\cos \mathrm{\&beta;}& 0& -\sin \mathrm{\&beta;}\\ 0& 1& 0\\ \sin \mathrm{\&beta;}& 0& \cos \mathrm{\&beta;}\end{array}\right]=\left[\begin{array}{c}x\\ y\\ z\end{array}\right]*R_y---\left(11\right)$

3.模拟焊接机器人补偿量的实现阶段：

参阅图10,在获取焊接机器人补偿量后，利用机器人运动学逆解理论，求取焊接机器人步进电机的实际变化量，通过编程控制步进电机运动，最终实现焊接机器人在正确的位置进行焊接。本发明采用十字线性导轨模拟焊接机器人，完成补偿量的实现，在已经求得在X-Y平面上的偏移量，只需要令十字线性导轨的步进电机在控制器的控制下，运行一定的距离，即可完成补偿量的实现。

实施例

一、摄像机标定阶段

参阅图2，利用张正友标定的方法(ZHANG Z Y,A Flexible New Technique forCamera Calibration[R].Microsoft Corporation,NSR-TR-98-71,1998)进行标定，首先采用CAD软件绘制标定模版，标定模板是一个9×9的棋盘格，其规格尺寸是270mm×270mm。然后再将两摄像机2,5固定在适当位置并保持不动，之后不断变换标定模版与成像平面之间的角度与方位，两摄像机对标定模版采集16幅图像。将拍摄得到的16幅图像中左下角的摄像机棋盘格标靶图像进行特征角点提取，每个摄像机棋盘格标靶图像可以提取100个角点，16幅图像总共得到1600个特征角点图像坐标。根据张正友标定方法，世界坐标系设定在摄像机棋盘格标靶图像最左上角处的一个角点上，Z方向坐标值取为零，由于每个棋盘格尺寸大小精确设计为30mm，因此棋盘格特征角点在X和Y方向的世界坐标可精确得知。因此在得到标定平面上棋盘格标靶图像特征角点坐标以及对应点的空间坐标以后，即可利用工具箱完成标定，计算得到两个摄像机2,5的内外部参数，经过计算可得到两摄像机2,5的标定结果：

左摄像机的内部参数：

Focal Length：f_c＝[812.96176,810.83238]

Principal point：cc＝[344.91814,292.31431]

Skew：alpha_c＝[0.00000]±[0.00000]

Distortion：k_c＝[0.02792-0.17838 0.00040-0.00068 0.00000]±[0.02017 0.11745 0.00208 0.00386 0.00000]

Pixel error：err＝[0.04493 0.17823]

左摄像机的外部参数：

Translation vector：Tc_ext＝[-172.12545 -113.18676]

Rotation vector：omx_ext＝[2.04384 2.244458 -0.08679]

Rotation matrix： $\mathrm{Rc}\_\mathrm{ext}=\left[\begin{array}{ccc}-0.09110& 0.99508& 0.03891\\ 0.98910& 0.09495& -0.11250\\ -0.11564& 0.02823& -0.99288\end{array}\right]$

右摄像机的内部参数：

Focal Length：fc＝[854.19990 855.52040]

Principal point：cc＝[320.70415 204.85482]

Skew：alpha_c＝[0.00000][0.00000]＝>angle of pixel axes＝90.00000±0.00000 degrees

Distortion：kc＝[0.05267 -0.31661 -0.00501 -0.00705 0.00000]±[0.02816 0.27114 0.00200 0.00188 0.00000]

Pixel error：err＝[0.13660 0.15065]

右摄像机的外部参数：

Translation vector：Tc_ext＝[-73.42087 -33.29384 814.86943]

Rotation vector：omx_ext＝[1.99324 2.15626 -0.16396]

Rotation matrix： $\mathrm{Rc}\_\mathrm{ext}=\left[\begin{array}{ccc}-0.07074& 0.99496& 0.07128\\ 0.97274& 0.08437& -0.21598\\ -0.22090& 0.05412& -0.97379\end{array}\right]$

二、焊接机器人补偿量获取阶段

1)对摄像机图像中车门冲压板件翻边线的初始采集图像进行图像预处理

将摄像机拍摄到的真彩图像转化成灰度图像之后，由于摄像机的拍照范围大于文章所需要的目标范围，为了去除多余的信息，对灰度图像进行裁剪快速提取目标区域进行剪切。

得到目标区域图像后，对目标区域进行图像增强，以增强目标区域内激光线与周围区域的对比,之后进行逻辑运算，降低图像整体灰度，提高运算速度，之后对图像进行灰度的调整。

为了得到精度比较高的结果，采用改进的中值滤波的方法对灰度增强后的图像降噪处理，之后为了使运行效率提高，便于激光光线的提取和边缘检测，对激光线图像进行二值化处理。

2)获取冲压板件实际翻边线与激光线交点的空间坐标

对预处理过后的图像进行图像腐蚀处理，提取激光线的骨架，采用的是霍夫(Hough)变换对骨架进行拟合获取方程，求取冲压板件实际翻边线与激光线交点图像坐标如表1所示，之后采用立体匹配对获取的大量二维像素坐标信息，进行三维重建，进而获取三维空间坐标如表2所示。

表1冲压板件翻边线与激光线交点的图像坐标

左图像交点坐标	右图像交点坐标
		(151.5902，66.1021)	(144.7114，66.6472)
(147.2135，91.6526)	(139.0501，91.6533)
		(140.2258，113.5380)	(132.5562，116.6625)
(137.2138，159.1865)	(128.4501，141.0633)
		(131.5872，159.1802)	(123.4547，171.0632)
(125.9536，186.6965)	(117.2000，199.2612)
		(120.9566，213.5877)	(110.9596，229.2100)
(114.7001,241.0914)	(100.9433，292.9845)
		(109.0705，276.7321)	(95.3271，328.6215)

表2冲压板件翻边线与激光线交点的三维空间坐标

左图像坐标	右图像坐标	三维世界坐标
			(151.5902，66.1021)	(144.7114，66.6472)	(263.4822，56.8798，116.0723)
(147.2135，91.6526)	(139.0501，91.6533)	(253.9866，115.0401，116.1459)
			(140.2258，113.5380)	(132.5562，116.6625)	(248.0519，176.7611，116.2044)
(137.2138，159.1865)	(128.4501，141.0633)	(240.9303，234.9212，116.2675)
			(131.5872，159.1802)	(123.4547，171.0632)	(233.8086，301.3902，116.3224)
(125.9536，186.6965)	(117.2000，199.2612)	(230.2478，350.0541，116.3877)
			(120.9566，213.5877)	(110.9596，229.2100)	(223.1261，409.4021，116.4548)
(114.7001,241.0914)	(100.9433，292.9845)	(211.2567，472.3103，116.5213)
			(109.0705，276.7321)	(95.3271，328.6215)	(197.0134，539.9659，116.5542)

3)拟合出空间曲线获取焊接机器人补偿量

采用Matlab曲线拟合工具箱对获得的冲压板件翻边线与激光线交点的空间坐标点进行拟合，得到一空间曲线，即为实际翻边线，在车门的Catia模型的翻边线上提取若干个点，并将其空间坐标转化到实际车门坐标系当中，之后对这些空间点进行拟合得到将实际翻边线，将实际翻边线和理论翻边线旋转，分别投影到X-Y平面，X-Z平面和Z-Y平面上，获得补偿量。

由翻边线上点的三维空间坐标，可以分别获得实际翻边线与理论翻边线的方向向量l₁(10.6825,-115.1335,-0.1783)，l₂(16.6172，-150.7418，-0.1783)，经过计算，实际翻边线和理论翻边线分别与X轴、Y轴和Z轴的夹角为α₁＝84.698，β₁＝174.612，γ₁＝90.088，α₂＝83.709，β₂＝173.709，γ₂＝90.061。实际翻边线与理论翻边线绕X轴的旋转矢量分别为R_x1和R_x2，绕Y轴旋转的旋转矢量分别R_y1和R_y2，四个旋转矢量如(12)和(13)公式所示。

$R_{x1}=\left[\begin{array}{ccc}1& 0& 0\\ 0& 0.0924& -0.9957\\ 0& 0.9957& 0.0924\end{array}\right]R_{y1}=\left[\begin{array}{ccc}-0.9957& 0& -0.0926\\ 0& 1& 0\\ 0.0926& 0& 0.9957\end{array}\right]---\left(12\right)$

$R_{x2}=\left[\begin{array}{ccc}1& 0& 0\\ 0& 0.1095& -0.9939\\ 0& 0.9939& 0.1095\end{array}\right]R_{y2}=\left[\begin{array}{ccc}-0.9939& 0& -0.1103\\ 0& 1& 0\\ 0.1103& 0& -0.9939\end{array}\right]---\left(13\right)$

根据实际翻边线与理论翻边线的方程，计算出两条线之间的距离，即为补偿量，计算的平均距离为：d＝3.2406mm，在X方向上移动的平均距离为3.02mm，在Y方向上移动的平均距离为1.17mm。经三坐标测量机测得焊点到翻边线的距离为7.39mm，而理论焊点到理论翻边线的距离为4.32mm，所以偏离理想焊点位置为3.07mm，在X方向上偏移的距离为2.86mm，在Y轴方向上的偏移量为1.11mm，处理结果如表3所示。

表3偏移量测量结果

3.模拟焊接机器人补偿量的实现阶段：

根据变换矩阵和机械臂各个杆件的参数和末端执行器，即可进行焊接机器人运动学逆解，即各个关节的转动角度。

本发明采用十字线性导轨模拟焊接机器人，完成补偿量的实现，上文已经求得在X-Y平面上的偏移量，只需要令十字线性导轨的步进电机在控制器的控制下，运行一定的距离，即可完成补偿量的实现。

线性十字导轨上配套步进电机的型号为：42HD2401，每一个脉冲，可使步进电机运动转动1.8度，转动半径r＝4mm，步进电机的转动弧度为L，转动角度为φ₁，而螺纹杆的直径为d＝8mm，螺纹的倾斜角度θ＝200。因此要想在Y方向运行L_y＝1.17mm，则由L_y＝Lsinθ，L＝rφ₁，得，φ₁＝0.8552°

同理在X方向步进电机转动角度φ₂＝2.2075°。

Claims (6)

1.一种基于立体视觉的车门点焊机器人路径校正方法，其特征在于，该方法使用一种基于立体视觉的车门焊接补偿量获取***，包括设置在车门外板流水线轨道斜上方的一字激光器、对称设置在一字激光器两侧且位于车门外板流水线轨道正上方的两台摄像机，以及与一字激光器和两台摄像机连接的终端设备；

该车门点焊机器人路径校正方法包括以下步骤：

步骤一、摄像机标定：搭建好所述基于立体视觉的车门焊接补偿量获取***后，在实际采集待测车门表面图像之前，首先利用张正友标定方法对两台摄像机进行标定，获取摄像机的内外参数，以建立实际待测物空间位置和图像坐标之间的非线性关系，进而计算检测图像特征点对应的空间坐标；

步骤二、焊接机器人补偿量获取：一字激光器发射激光倾斜打在冲压板件的实际翻边线上，激光线发生偏折，折点就在翻边线上，通过翻边线上的点拟合出冲压板件的实际翻边线；车门实际翻边线与理论翻边线之间的差值即等效于车门实际焊点线与理论焊点线之间的差值；

步骤三、模拟焊接机器人补偿量实现：在获取焊接机器人补偿量后，利用机器人运动学逆解理论，求取焊接机器人步进电机的实际变化量，通过编程控制步进电机运动，最终实现焊接机器人在正确的位置进行焊接。

2.按照权利要求1所述的一种基于立体视觉的车门点焊机器人路径校正方法，其特征在于，所述步骤一摄像机标定的具体过程为：

利用张正友标定方法，标定模板是一个9×9的棋盘格，两摄像机固定，之后不断变换标定模版与成像平面之间的角度与方位，两摄像机对标定模版采集16幅图像；对摄像机标定模版图像进行特征角点提取，每个摄像机标定模版图像可以提取100个角点，根据张正友标定方法，世界坐标系设定在棋盘格图像最左上角处的一个角点上，Z方向坐标值取为零，棋盘格特征角点在X和Y方向的世界坐标可得知，在得到平面图像特征角点坐标以及对应点的空间坐标以后，计算得到摄像机的内外部参数。

3.按照权利要求1所述的一种基于立体视觉的车门点焊机器人路径校正方法，其特征在于，所述步骤二焊接机器人补偿量获取包括以下具体步骤：

1)对摄像机图像中车门冲压板件翻边线图像进行图像预处理；

2)获取冲压板件的实际翻边线与激光线交点的空间坐标；

3)旋转实际翻边线与理论翻边线，获取焊接补偿量。

4.按照权利要求3所述的一种基于立体视觉的车门点焊机器人路径校正方法，其特征在于，所述步骤1)对摄像机图像中车门冲压板件翻边线图像进行图像预处理具体包括以下过程：

1.1)将摄像机采集的真彩图像转化为灰度图像；

1.2)获取目标区域并对目标区域进行图像增强；

1.3)图像灰度调整；

1.4)图像降噪；

1.5)灰度图像的二值化处理。

5.按照权利要求3所述的一种基于立体视觉的车门点焊机器人路径校正方法，其特征在于，所述步骤2)获取冲压板件的实际翻边线与激光线交点的空间坐标具体包括以下过程：

2.1)对经过所述步骤1)处理后的图像进行图像腐蚀处理，提取激光线的骨架；

2.2)霍夫变换求出冲压板件实际翻边线与激光线交点的图像坐标；

2.3)对冲压板件的实际翻边线与激光线交点进行三维重建。

6.按照权利要求3所述的一种基于立体视觉的车门点焊机器人路径校正方法，其特征在于，所述步骤3)旋转实际翻边线与理论翻边线，获取焊接补偿量包括以下具体过程：

3.1)采用曲线拟合工具对所述步骤2)获得的冲压板件实际翻边线与激光线交点的空间坐标点进行拟合，得到的空间曲线即实际翻边线；

3.2)获得冲压板件的理论翻边线；

3.3)旋转实际翻边线和理论翻边线，计算焊接补偿量：将实际翻边线和理论翻边线旋转，分别投影到X-Y平面，X-Z平面和Z-Y平面上，分别获得X方向、Y方向和Z方向的补偿量。