CN102135776B

CN102135776B - 基于视觉定位的工业机器人控制方法

Info

Publication number: CN102135776B
Application number: CN2011100265297A
Authority: CN
Inventors: 解则晓; 于浩源; 王旭
Original assignee: Individual
Current assignee: Individual
Priority date: 2011-01-25
Filing date: 2011-01-25
Publication date: 2012-06-13
Anticipated expiration: 2031-01-25
Also published as: CN102135776A

Abstract

本发明涉及机器人领域，尤其是基于视觉定位的工业机器人控制方法。该控制方法的人工示教过程、定位运动控制过程和定方向运动控制过程中，对发光标记点或操作工具末端的定位都是在视觉测量装置坐标系o_wx_wy_wz_w之下的，因此对机器人的运动控制精度没有要求，对工具坐标系与机器人坐标系的相对位置关系没有要求，只要按照机器人的理论模型通过第一轴至第三轴转动实现直线运动，第四轴至第六轴转动实现旋转运动即可，从根本上避免了常规的离线编程示教时对机器人模型的精度和工具坐标系标定精度的极其严格的要求，能够满足高精度复杂轨迹的操作要求。

Description

基于视觉定位的工业机器人控制方法

技术领域

本发明涉及机器人领域，尤其是基于视觉定位的工业机器人控制方法。

背景技术

工业机器人在各工业领域中获得了广泛应用，如机器人焊接、机器人喷漆、机器人搬运等。在这些领域中工业机器人代替人工做出可重复的精确的运动，从而保证了产品质量的一致性。机器人要完成特定动作必须沿特定轨迹运动，目前有两种方式规划机器人的运动轨迹，一是在线示教，二是离线编程示教。

在线示教是通过机器人的手控操纵盒控制机器人运动，在线示教的过程包括使机器人上安装的工具，如喷枪、焊枪等的末端运动到其操作部位，并记录下在这个位置机器人的坐标；根据需要控制机器人运动到多个位置，并记录这些轨迹；然后机器人沿示教时记录的轨迹自主运动，完成特定的操作任务。这种示教方法的优点是对机器人的模型精度要求低，使用机器人的理论模型即可；另外，不需标定机器人的工具坐标系。该方法的缺点是：(1)机器人的在线示教编程不但过程繁琐、效率低、占用宝贵的生产时间，而且使机器人***成为一个相对独立的单元，难以实现与其他***或生产过程的无缝集成；(2)示教的精度完全靠示教者的经验目测决定，精度较低，对于复杂焊缝等难以获得令人满意的示教效果；(3)示教过程中，人工控制机器人运动到一特定点，操作过程复杂，示教人员容易疲劳，而且还处于机器人工作空间的危险环境下。因此该方法仅适用于运动轨迹简单，即示教点数少、精度要求不高的场合，不能满足当今小批量、多品种的柔性生产的需要。

对复杂运动轨迹的示教通常采用离线编程方式。离线编程示教是基于精确的机器人模型，并建立工具坐标系，将工具末端的坐标精确地变换到机器人基准坐标系下，根据操作工件的CAD模型规划出实际操作时工具末端的连续运动轨迹。该方式的实现对机器人模型的精度，以及机器人工具坐标系的确定都有很高的精度要求。

机器人模型是表示机器人末端在机器人基准坐标系下的方位，通常是指机器人的理论模型，理论模型也是机器人的设计模型，即设计时所确定的杆长和各关节之间的关系。而机器人的实际制造和安装过程会产生误差，造成机器人的实际模型与理论模型有很大差异，以理论模型作为实际模型来使用必然造成机器人末端的位置误差。为了获得机器人的真实的模型就必须对机器人进行标定，即确定真实的关节关系和杆长。目前，常用的标定方法是用三坐标测量机、关节臂测量机或激光跟踪仪来测量各个关节的转动情况，从而确定各关节的轴线方向和位置，以此来重建机器人模型。通常将标记点固定在机器人的一个关节的臂上，机器人绕该关节可转动到多个位置，利用测量机或激光跟踪仪测量该标记点的位置，利用同一个标记点在不同位置下的坐标拟合圆可得圆心坐标和圆的法线方向，圆的法线方向可表示该关节的轴线方向。测量机和激光跟踪仪的误差会带来标记点的位置误差，从而造成关节轴线误差。因此，现有标定方法对机器人的标定精度没有大的提高，经过标定后的机器人的位置误差仍然会大于1毫米。

机器人末端安装不同的操作工具都要将工具末端的坐标转换到机器人基准坐标系中，根据上述方法已经确定机器人模型，只需将工具坐标系转换到机器人末端坐标系中即可。目前常用的方法是三点法，该方法是手工控制机器人与空间三个点接触从而实现工具坐标系的标定。然而，在实际操作中难以使操作工具末端完全与空间固定点接触，要么没有完全接触上，存在间隙，要么两者的接触量过大，发生碰撞。因此，对工具坐标系参数的求解必然存在误差。

综上所述，现有机器人示教方式存在以下问题：(1)在线示教操作过程繁琐，效率和精度都比较低，仅适用于操作轨迹较简单，且精度要求不高的场合；(2)离线编程示教对机器人模型的精度和工具坐标系参数的求解精度要求很高，而目前对机器人模型的标定精度和工具坐标系参数的标定精度较低，因此，离线编程生成的路径精度不高，不能满足高精度复杂轨迹的操作需要。

发明内容

本发明的目的在于提出了一种基于视觉定位的工业机器人控制方法，其安全性好，对于操作工具的运动状态更加容易监控，并做到实时处理、精度高，可拓展机器人的应用领域。

本发明是采用以下的技术方案实现的：一种基于视觉定位的工业机器人控制方法，该方法包括以下步骤：

(1)对视觉测量装置进行建模与标定：

对视觉测量装置的每个摄像机建立针孔成像模型，模型如下：

ρ [\begin{matrix} u \\ v \\ 1 \end{matrix}] = [\begin{matrix} {fN}_{x} r_{1} + r_{7} u_{0} & {fN}_{x} r_{2} + r_{8} u_{0} & {fN}_{x} r_{3} + r_{9} u_{0} & {fN}_{x} t_{x} + t_{z} u_{0} \\ {fN}_{y} r_{4} + r_{7} v_{0} & {fN}_{y} r_{5} + r_{8} v_{0} & {fN}_{y} r_{6} + r_{9} v_{0} & {fN}_{y} t_{y} + t_{z} v_{0} \\ r_{7} & r_{8} & r_{9} & t_{z} \end{matrix}] [\begin{matrix} x_{w} \\ y_{w} \\ z_{w} \\ 1 \end{matrix}]

其中，r₁～r₉是摄像机坐标系到世界坐标系的旋转矢量，t_x，t_y，t_z是平移量，f是焦距，u₀，v₀是计算机图像中心位置，(u，v)是计算机图像像素，(x_w，y_w，z_w)是三维世界坐标系中的坐标，利用同一个平面网格靶标同时对每个摄像机进行标定，求出各个模型中的未知参数，并确定由各摄像机测量空间点构成的视觉测量装置坐标系o_wx_wy_wz_w，视觉测量装置所测的空间点的三维坐标均在该坐标系中；

(2)发光标记点的识别与三维坐标的确定：

各摄像机分别拍摄发光标记点，识别发光标记点在各幅图像中的位置，并分别匹配，将各个单目视觉模型联立求解可得到每个发光标记点在视觉测量装置坐标系o_wx_wy_wz_w中的三维坐标；

(3)操作工具末端三维坐标的确定：

在发光标记点平面内建立二维坐标系O_TX_TY_T，即以过第三发光标记点、第四发光标记点的连线为X_T轴，过第一发光标记点、第二发光标记点的连线为Y_T轴，然后将操作工具的末端放在锥孔内，使操作工具绕该锥孔转动，至少旋转到四个位置，这样操作工具末端的位置不变，而发光标记点的位置发生了变化，在每个位置下根据各发光标记点的三维坐标可确定O_T的坐标，根据至少四个位置下的O_T的坐标拟合得到球心坐标O_S，该球心坐标即为操作工具末端在视觉测量装置坐标系o_wx_wy_wz_w下的三维坐标；

(4)人工示教过程：

将操作工具从机器人末端取下，用人手手持灵活运动，走出实际工作时需要的运动轨迹，如焊缝的轨迹，在该过程中用视觉测量装置实时记录操作工具上每个发光标记点的运动轨迹，该运动轨迹是在视觉测量装置坐标系o_wx_wy_wz_w下的三维离散点；由发光标记点的运动轨迹按照(3)中的方法可确定操作工具末端的运动轨迹和姿态；

(5)机器人学习过程：

人工示教结束后，再将操作工具固定在机器人的末端，通过控制机器人运动使操作工具再次走出人工示教时走出的轨迹，该过程中，通过视觉测量装置观测发光标记点的位置，并输入到机器人控制器中，机器人控制器根据发光点的位置可计算出操作工具末端的位置和操作工具的姿态，以操作工具末端的当前位置与人工示教过程操作工具末端的位置的差、以及操作工具的当前姿态与操作工具人工示教过程的姿态的差作为机器人控制的反馈信息，通过定位运动控制和定方向运动控制的过程交替使操作工具的末端沿人工示教时机器人末端的轨迹运动，同时在每个末端位置下使操作工具的姿态与人工示教过程时的姿态相同。

本发明中，所述的定位运动控制过程中，将操作工具末端的当前位置定义为当前点，使操作工具末端从当前点出发向目标点靠近，当前点和目标点的坐标都是在视觉测量装置坐标系o_wx_wy_wz_w下，根据机器人的理想模型，利用其第一至第三轴可建立沿三个方向做直线运动的模型，即通过第一至第三轴的转动实现沿三个方向的直线运动：控制带有操作工具的机器人的第一至三轴使机器人沿Z方向运动，并实时计算操作工具末端的位置，求出末端当前位置与目标位置之间的差，当操作工具末端离目标点最近时，记下这时Z坐标；然后控制机器人的第一至三轴的转动使机器人沿X向运动，并记录判断操作工具末端到目标点的距离，记录距离最小时的X坐标，接下来使机器人沿Y向运动，记录沿Y向运动后工具末端离目标点最近时的Y坐标。经过上几步可使操作工具末端较接近目标点。

所述的定方向运动控制过程中，以Y_T的方向表示操作工具的方向即姿态，从当前点出发，先绕机器人的第四轴旋转，当Y_T与目标点的矢量方向夹角最小时记下第四轴的角度；再绕第五轴旋转，当Y_T与目标点的矢量方向夹角最小时记下第五轴的角度；最后绕第六轴旋转，当Y_T与目标点的矢量方向夹角最小时记下第六轴的角度，这时Y_T的方向接近目标点的方向。

定位运动控制过程每进行一步会使操作工具末端接近目标点，同样定方向运动控制过程每进行一步也会使操作工具的姿态接近人工示教的姿态，因此定位运动控制和定方向运动控制的过程交替进行使机器人的位置和姿态都接近人工示教的位置和姿态。当操作工具末端的位置和操作工具的方向与人工示教时的偏差在允许范围内时记录下机器人六个轴的当前角度，这样机器人就完成了一个位置的学习，以同样方法机器人可进行其他位置的学习。将人工示教时的连续轨迹离散成若干个位置，机器人只要完成对这些位置的学习就可以走出与人工示教时相同的轨迹；机器人完成学习后的运动是重复学习时记录的位置，运动过程中不再需要视觉测量装置对其进行监控。

本发明的有益效果是：第一，本发明所述的控制***结构简单，操作方便，效率和精度都很高；第二，本发明所述控制方法的人工示教过程、定位运动控制过程和定方向运动控制过程中，对发光标记点或操作工具末端的定位都是在视觉测量装置坐标系o_wx_wy_wz_w之下的，因此对机器人的运动控制精度没有要求，对工具坐标系与机器人坐标系的相对位置关系没有要求，只要按照机器人的理论模型通过第一轴至第三轴转动实现直线运动，第四轴至第六轴转动实现旋转运动即可，从根本上避免了常规的离线编程示教时对机器人模型的精度和工具坐标系标定精度的极其严格的要求；第三，机器人模型相对简单，完全以机器人设计时的理论模型做控制模型，而不需要对机器人的精度进行特别调试；第四，视觉测量装置可以多台机器人共用，通过定位运动控制过程和定方向运动控制过程形成稳定的运动路径后，只要机器人具有较好的重复性，以及操作工具固定可靠，没有位置变化就可以沿该路径反复运动完成同一个任务，因此可以实现多台机器人共用双目视觉测量装置，节省成本；第五，该方法对工件定位和摆放位置具有很强的适应性，只要工件放在机器人的工作范围内即可，克服了离线编程示教需要精确确定初始点的缺点；第六，该方法以视觉测量体系为基础，在最高层次上对机器人进行闭环控制，大大降低了对机器人模型、工具坐标系参数等中间环节的精度要求，可拓展机器人的应用领域；第七，该方法安全性高，对于工具的异常状态更加容易监控，并做到实时处理，减少因为控制或者配合故障导致的经济损失。综上所述，本发明操作过程简单，效率和精度高，能够满足高精度复杂轨迹的操作要求。

附图说明

图1是基于视觉定位的工业机器人控制***的结构示意图；

图2是实施例1中发光标记点的分布示意图；

图3是操作工具末端三维坐标确定的结构示意图；

图4是实施例1中操作工具末端在标记点三维坐标系O_TX_TY_TZ_T下的坐标；

图5是实施例1中定位运动控制过程操作工具末端的运动轨迹；

图6是实施例1中定向运动过程操作工具的运动轨迹；

图7是实施例2中发光标记点的分布示意图；

图8是实施例3中发光标记点的分布示意图。

具体实施方式

下面结合附图对本发明做进一步说明。

实施例1

图1至图6为实施例1所述的基于视觉定位的工业机器人控制***及其控制方法。所述的工业机器人控制***如图1所示，该***包括机器人1、机器人控制器2和视觉测量装置，所述的视觉测量装置为双目视觉测量装置3，机器人1采用六轴机器人，末端设有操作工具5，机器人1通过机器人控制器2与双目视觉测量装置3连接，机器人控制器2以双目视觉测量装置3的定位信息作为反馈信息。发光标记点4固定在机器人的操作工具5上，双目视觉测量装置3对发光标记点4进行实时测量，通过对发光标记点的测量就可以确定机器人末端操作工具的运动轨迹。双目视觉测量装置3将测得的操作工具5末端的位置输入机器人控制器2内，机器人控制器2根据机器人理论模型进行逆解，传送给机器人1，并控制机器人1运动。所述操作工具上固定有平板，平板上设有四个发光标记点4，即第一发光标记点4A、第二发光标记点4B、第三发光标记点4C和第四发光标记点4D，其中第一发光标记点4A、第二发光标记点4B之间的连线与第三发光标记点4C、第四发光标记点4D之间的连线相垂直并交于一点即O点，且第一发光标记点4A、第二发光标记点4B与O点之间的距离不同。双目视觉测量装置3由两个摄像机组成，两摄像机之间相距1-2m，且两摄像机之间的夹角为15-25°。

利用上述***实现实现工业机器人运动控制的方法如下所述：

(1)对双目视觉测量装置进行建模与标定：

利用这两个摄像机测量空间点的三维坐标必须首先对其进行标定，对每个摄像机建立针孔成像模型，模型如下：

ρ [\begin{matrix} u \\ v \\ 1 \end{matrix}] = [\begin{matrix} {fN}_{x} r_{1} + r_{7} u_{0} & {fN}_{x} r_{2} + r_{8} u_{0} & {fN}_{x} r_{3} + r_{9} u_{0} & {fN}_{x} t_{x} + t_{z} u_{0} \\ {fN}_{y} r_{4} + r_{7} v_{0} & {fN}_{y} r_{5} + r_{8} v_{0} & {fN}_{y} r_{6} + r_{9} v_{0} & {fN}_{y} t_{y} + t_{z} v_{0} \\ r_{7} & r_{8} & r_{9} & t_{z} \end{matrix}] [\begin{matrix} x_{w} \\ y_{w} \\ z_{w} \\ 1 \end{matrix}]

其中，r₁～r₉是摄像机坐标系到世界坐标系的旋转矢量，t_x，t_y，t_z是平移量，f是焦距，u₀，v₀是计算机图像中心位置，以上这些参数是未知参数，需要通过标定来确定。(u，v)是计算机图像像素，(x_w，y_w，z_w)是三维世界坐标系中的坐标，利用同一个平面网格靶标同时对两个摄像机进行标定，求出各自模型中的未知参数，并确定双目视觉测量装置坐标系o_wx_wy_wz_w；

(2)发光标记点的识别与三维坐标的确定：

发光标记点的分布如图2所示，交点O点到这四个发光标记点即4A、4B、4C、4D的距离都是已知的，在两个摄像机中同时拍摄这四个标记点，由于4A点、4B点到O点的距离不同，据此可以识别一个标记点在两幅图像中的位置，实现匹配，将两个单目视觉模型联立求解可得每个发光标记点在双目视觉测量装置坐标系o_wx_wy_wz_w中的三维坐标；

(3)操作工具末端三维坐标的确定：

根据四个发光标记点的坐标可以确定操作工具末端的三维坐标，如图2，在发光标记点平面内建立二维坐标系O_TX_TY_T，即以过第三发光标记点4C、第四发光标记点4D点的连线为X_T轴，过第一发光标记点4A、第二发光标记点4B的连线为Y_T轴，然后将操作工具的末端放在锥孔内，使操作工具绕该锥孔旋转，这样操作工具末端的位置不变，发光标记点至少旋转到四个位置，如图3，在每个位置下根据四个发光标记点的三维坐标可确定O_T的坐标，根据四个位置下的O_T的坐标拟合球得到球心坐标O_S，该球心坐标即为操作工具末端在o_wx_wy_wz_w下的坐标；

(4)人工示教过程：

示教过程是人工示教，在操作工具上固定发光标记点，操作工具可以从机器人末端取下来，用人手手持灵活运动，走出实际工作时需要的运动轨迹，如图1所示，焊接时焊枪末端沿***作工件6的焊缝7运动的轨迹；在人工示教的过程中用双目视觉测量装置实时记录操作工具上每个发光标记点的运动轨迹，该运动轨迹是在视觉坐标系下的三维离散点，该运动轨迹可以在同种规格不同精度的个体机器人上使用，也可以在不同类型甚至结构完全不同的机器人上使用；

如图4，在第一发光标记点4A位置处，根据球心坐标O_S到坐标平面O_TX_TY_T的距离，将位置4A处的发光标记点的二维坐标系拓展为三维坐标系O_TX_TY_TZ_T，则球心坐标O_S到坐标平面O_TX_TY_T的距离为该三维坐标系的Z_T坐标，O_S在标记点X_TY_T坐标平面的投影点的坐标即为工具末端在标记点的X和Y坐标，这样可以确定操作工具末端在标记点三维坐标系O_TX_TY_TZ_T下的坐标，从而可以由发光标记点的轨迹确定工具末端的运动轨迹；

通过CAD软件或CAM软件对人工示教过程中生成的示教轨迹进行光顺处理，然后输入到机器人控制器2中，供机器人学习过程中的运动控制使用；

(5)机器人学习过程：

人工示教结束后，将操作工具5固定在机器人1的末端，通过控制机器人1运动使操作工具5再次走出人工示教时走出的轨迹，该过程中，通过双目视觉测量装置3观测发光标记点的位置，并输入机器人控制器2中，机器人控制器2实时计算发光标记点4的轨迹，以发光标记点4的当前位置与人工示教时发光标记点4的位置差，通过定位运动控制和定方向运动控制使操作工具5的末端沿人工示教时机器人末端的轨迹运动，同时还可以保证操作工具5的姿态与人工示教时的姿态相同；本发明使用的机器人为六轴机器人，六轴机器人的第一至三轴主要用来完成定位置运动，第四至六轴主要完成定方向运动，利用第一至三轴所建立的理想机器人模型可将三个轴的转动转化为直线运动；利用第四至六轴所建立的理想机器人模型可实现操作工具的旋转。下面具体介绍定位运动控制过程和定方向运动控制过程。

在定位运动控制过程中，如图5所示的曲线为人工示教形成的操作工具末端的运动轨迹，操作工具的当前位置定义为当前点，使操作工具从当前点出发向目标点E靠近，当前点和目标点的坐标都是在双目视觉测量装置坐标系o_wx_wy_wz_w下，运动控制过程中，控制机器人1的第一至三轴转动使机器人沿Z方向运动，并实时计算操作工具末端的位置，求出末端当前位置与目标位置之间的差，如图5，Z值由小到大变化时该差值变小，当该差值最小时末端离目标点最近，记下这时Z坐标；然后控制机器人的第一至三轴转动使机器人沿X向运动，并记录判断操作工具末端到目标点的距离，记录距离最小时的X坐标，接下来使机器人的第一至三轴转动使机器人沿Y向运动，经过前面沿Z向和X向的运动，沿Y向运动后操作工具末端即可接近目标点。

在定方向运动控制过程中，如图6所示，绕机器人的第四至六轴转动可改变操作工具5的方向即姿态。以Y_T的方向表示操作工具的方向，从当前点出发，先绕第四轴旋转，当Y_T与目标点E的矢量方向夹角最小时记下第四轴的角度；再绕第五轴旋转，当Y_T与目标点E的矢量方向夹角最小时记下第五轴的角度；最后绕第六轴旋转，当Y_T与目标点E的矢量方向夹角最小时记下第六轴的角度，这时Y_T的方向与目标点E的方向非常接近。

定位运动控制过程每进行一步会使操作工具末端接近目标点，同样定方向运动控制过程每进行一步也会使操作工具的姿态接近人工示教时的姿态。定位运动控制和定方向运动控制的过程交替进行使机器人的位置和姿态都接近人工示教的位置和姿态。

人工示教过程、定位运动控制过程和定方向运动控制过程中，对发光标记点4或操作工具5末端的定位都是在双目视觉测量装置坐标系o_wx_wy_wz_w之下的。运动过程中从当前点到目标点的逼近算法也是在双目视觉测量装置坐标系下，因此对机器人的运动控制精度没有要求，对工具坐标系与机器人坐标系的定位关系没有要求，只要按照机器人的理论模型使第一至三轴实现直线运动，第四至六轴实现旋转运动即可，从根本上避免了常规的离线编程示教时标定机器人模型和工具坐标系的极其严格的要求，同时机器人模型相对简单，完全以机器人设计时的理论模型做控制模型，不需要对机器人的精度进行特别调试。

视觉测量装置可以由多台机器人共用，通过定位运动控制过程和定方向运动控制过程形成稳定的运动路径后，只要机器人具有较好的重复性，以及操作工具固定可靠，没有位置变化就可以沿该路径反复运动完成同一个任务，因此可以实现多台机器人共用双目视觉测量装置，节省成本。

本发明所采用的六轴机器人可以由七轴机器人或并联机器人代替。本实施例中，所述的双目视觉测量装置也可以由单目视觉测量装置或三目视觉测量装置等代替。当采用单目视觉测量装置时，各发光标记点之间的距离有严格的规定；而采用双目视觉测量装置、三目视觉测量装置或更多目视觉测量装置时，对各发光标记点之间的距离没有要求，并且采用的视觉测量装置的目数越多，可以从更多角度对发光标记点进行观察，机器人允许变化的范围增大。

实施例2

如图7所示，与实施例1不同的是，所述的操作工具上固定有五个发光标记点，分别是第一标记点4A、第二标记点4B、第三标记点4C、第四标记点4D和第五标记点4E。其中第一标记点4A、第二标记点4B的连线与第三标记点4C、第四标记点4D的连线相垂直，且相交于一点，第五标记点4E位于该交点上。分布的标记点越多，单个发光标记点对动作精确性的影响越小。

其它同实施例1。

实施例3

如图8所示，与实施例1不同的是，所述的操作工具上固定有六个发光标记点，分别是第一标记点4A、第二标记点4B、第三标记点4C、第四标记点4D、第五标记点4E和第六标记点4F。其中第一标记点4A、第二标记点4B的连线与第三标记点4C、第四标记点4D的连线相垂直，且相交于一点，第五标记点4E位于该交点上，第六标记点4F位于第二标记点4B的正下方。

操作工具上也可以设置更多的发光标记点，发光标记点均沿第一标记点4A与第二标记点4B的连线、以及第三标记点4C、第四标记点4D的连线设置。

其它同实施例1。

Claims

1.一种基于视觉定位的工业机器人控制方法，其特征在于该方法包括以下步骤：

(1)对视觉测量装置进行建模与标定：

ρ [\begin{matrix} u \\ v \\ 1 \end{matrix}] = [\begin{matrix} {fN}_{x} r_{1} + r_{7} u_{0} & {fN}_{x} r_{2} + r_{8} u_{0} & {fN}_{x} r_{3} + r_{9} u_{0} & {fN}_{x} t_{x} + t_{z} u_{0} \\ {fN}_{y} r_{4} + r_{7} v_{0} & {fN}_{y} r_{5} + r_{8} v_{0} & {fN}_{y} r_{6} + r_{9} v_{0} & {fN}_{y} t_{y} + t_{z} v_{0} \\ r_{7} & r_{8} & r_{9} & t_{z} \end{matrix}] [\begin{matrix} x_{w} \\ y_{w} \\ z_{w} \\ 1 \end{matrix}]

其中，r₁～r₉是摄像机坐标系到世界坐标系的旋转矢量，t_x，t_y，t_z是平移量，f是焦距，u₀，v₀是计算机图像中心位置，(u，v)是计算机图像像素，(x_w，y_w，z_w)是三维世界坐标系中的坐标，利用同一个平面网格靶标同时对各个摄像机进行标定，求出各个模型中的位置参数，并确定由各摄像机测量空间点构成的视觉测量装置坐标系o_wx_wy_wz_w；

(2)发光标记点的识别与三维坐标的确定：

(3)操作工具末端三维坐标的确定：

在发光标记点平面内建立二维坐标系O_TX_TY_T，即以过第三发光标记点(4C)、第四发光标记点(4D)的连线为X_T轴，过第一发光标记点(4A)、第二发光标记点(4B)的连线为Y_T轴，然后将操作工具的末端放在锥孔内，使操作工具末端的位置固定，操作工具绕该锥孔旋转，至少旋转到四个位置，在每个位置下根据各发光标记点的三维坐标可确定O_T的坐标，根据至少四个位置下的O_T的坐标拟合得到球心坐标O_S，该球心坐标即为操作工具末端在视觉测量装置坐标系o_wx_wy_wz_w下的三维坐标；

(4)人工示教过程：

将操作工具从机器人末端取下，用人手手持灵活运动，走出实际工作时需要的运动轨迹，在该过程中用视觉测量装置实时记录操作上每个发光标记点的运动轨迹，该运动轨迹是在视觉测量装置坐标系o_wx_wy_wz_w下的三维离散点，由发光标记点的轨迹确定操作工具末端的运动轨迹以及操作工具的姿态；

(5)机器人学习过程：

人工示教结束后，再将操作工具(5)固定在机器人(1)的末端，通过控制机器人(1)运动使操作工具(5)再次走出人工示教时走出的轨迹，该过程中，通过视觉测量装置观测发光标记点(4)的位置，并输入机器人控制器(2)中，机器人控制器(2)根据发光标记点的位置实时计算操作工具(5)末端的位置以及操作工具(5)的姿态，以操作工具(5)末端的当前位置与人工示教过程操作工具(5)末端的位置的差、以及操作工具(5)的当前姿态与人工示教过程操作工具(5)的姿态的差作为机器人控制的反馈信息，通过定位运动控制和定方向运动控制的过程交替使操作工具(5)的末端沿人工示教时机器人末端的轨迹运动，同时在每个末端位置下使操作工具(5)的姿态与人工示教过程时的姿态相同。

2.根据权利要求1所述的基于视觉定位的工业机器人控制方法，其特征在于：所述的定位运动控制过程中，将操作工具末端的当前位置定义为当前点，使操作工具末端从当前点出发向目标点靠近，当前点和目标点的坐标都是在视觉测量装置坐标系o_wx_wy_wz_w下，控制带有操作工具(5)的机器人(1)的第一至三轴转动使机器人沿Z方向运动，并实时计算操作工具末端的位置，求出末端当前位置与目标位置之间的差，当工具末端离目标点最近时，记下这时Z坐标；然后控制机器人的第一至三轴转动使机器人沿X向运动，并记录判断操作工具末端到目标点的距离，记录距离最小时的X坐标，接下来使机器人的第一至三轴转动机器人沿Y向运动，沿Y向运动后操作工具末端最接近目标点。

3.根据权利要求1所述的基于视觉定位的工业机器人控制方法，其特征在于：所述的定方向运动控制过程中，以Y_T的方向表示操作工具的方向即姿态，从当前点出发，先绕机器人的第四轴旋转，当Y_T与目标点的矢量方向夹角最小时记下第四轴的角度；再绕第五轴旋转，当Y_T与目标点的矢量方向夹角最小时记下第五轴的角度；最后绕第六轴旋转，当Y_T与目标点的矢量方向夹角最小时记下第六轴的角度，这时Y_T的方向接近目标点的方向。