CN110919626B - 一种基于立体视觉的机器人手持示教装置及方法 - Google Patents

Abstract

本发明属于机器人示教和立体视觉领域，涉及一种基于立体视觉的机器人快速示教装置及方法，包括：信息发送模块、信号触发装置、至少三个光源、手持握柄、位姿测量杆件。在立体视觉有效视场范围内，使手持示教装置的位姿测量杆件末端以设定的姿态移动到规划路径上的设定点的位置，获取特征识别单元的图像信息，通过数据处理获取立体视觉坐标系到三个光源坐标系的位姿矩阵，结合手持示教装置几何尺寸标定结果进一步构建位姿测量杆件末端坐标系到机器人基座标系的位姿矩阵，求算示教点在机器人基坐标系下的位姿信息，最终使机器人复现示教点轨迹。本装置简单灵活、可使用范围广，受环境影响小，工作效率高，能够实现快速示教，提升机器人使用易用性。

Description

一种基于立体视觉的机器人手持示教装置及方法

技术领域

本发明涉及机器人示教设备，具体涉及一种基于立体视觉和姿态传感器的手持示教装置及方法

技术背景

工业机器人在各个行业中的应用越来越广泛，而机器人示教过程则是机器人工作过程中重要的一步。

目前在机器人示教主要有两种方法——人工示教方法和离线示教方法。人工示教是指由人工导引机器人末端执行器，或由人工操作导引机械模拟装置，或用示教盒来使机器人完成预期的动作，由于此类机器人的编程通过实时在线示教程序来实现，而机器人本身凭记忆操作，故能不断重复再现。离线示教法指先对示教点进行采集，在计算机上模拟仿真编程，通过轨迹规划形成轨迹路径。但是传统示教过程耗费了操作人员大量时间。因此需要一种快速简单的示教办法。

近年来，机器人视觉技术为解决机器人示教问题带来新的可能。目前比较成熟的视觉技术有基于飞行时间(TOF)、结构化光、双目视觉和光场的技术。这些技术都能通过一定的算法得到被测对象的深度信息，将深度信息反馈给机器人***，便可解决机器人示教中的深度问题。

目前关于工业机器人视觉示教，例如中国专利号：CN201610595202.4，名称：一种基于立体视觉技术对机器人进行示教的方法，该发明公开了一种基于立体视觉技术对机器人进行示教的方法，该方法具体为：在工具(如焊枪、喷头)上放置标识物，使用立体视觉摄像头识别工具，并连续记录每一帧的深度图，再将工具放置于机器人末端，标定机器人末端工具坐标系到焊枪标识物坐标系的位姿变换矩阵，然后进行示教复现。该方法示教时无需拖拽机器手臂，轻便而且节省空间，***搭建较为简便。然而，该方法具有一定的局限性。该方法使用的是真实焊枪或者其他工具，标识物需要考虑如何固接于不同的工具，不具有通用性。此外，该方法每次示教完将工具安装到机器人末端后，都需要重新标定摄像头坐标系下工具位姿矩阵到机器人坐标系下手臂末端位姿矩阵的变换关系，这对于需要多次示教不同规划路径的工况环境是十分耗时耗力的，机器人使用易用性有所限制。

发明内容

针对上述存在的问题，本发明提出使用一种基于立体视觉的手持示教装置及方法，目的是为了解决机器人示教过程繁琐，示教时间长的问题。本发明提出了一种简易的示教装置结构和示教方法，能够简化机器人示教过程，缩短示教时间，使机器人示教过程方便快捷，提高示教效率和机器人的使用易用性。

为实现上述目标，本发明的主要技术方案如下：

根据本发明的第一方面，本发明提出了一种基于立体视觉的机器人快速示教装置，包括：信号发送模块1、模式选择单元2、信号触发装置3、电源模块4、光斑点5、示教装置本体6、姿态传感器7和位姿测量杆件8。所述光斑点5是由例如发光二极管等可通电发光的电子元器件所形成的光斑，所述电源模块4为光斑点5和信号触发装置3提供电源，所述信号触发装置3能够控制光斑点5发光同时发送信号触发立体相机拍照，所述信号发送模块1和电源模块4固定于示教装置本体6内部，所述姿态传感器7固定于示教装置本体6内部，所述信号触发装置3固定于示教装置本体6上，所述光斑点5固定于示教装置本体6上，所述位姿测量杆件8固定于示教装置本体6前端。

所述模式选择单元2至少包括直线拟合和圆弧拟合两种轨迹拟合模式，供用户选择确定所示教的规划轨迹上的设定点的轨迹拟合模式。

手持示教装置的所述位姿测量杆件8的轴线与所述姿态传感器7轴线的位置关系固定且已知。

所述位姿测量杆件8可根据不同的示教环境要求替换不同末端测量杆件，每次替换后需要标定所述光斑点5所在坐标系与所述位姿测量杆件8末端坐标系之间的位姿变换矩阵T₄，所述示教环境至少包括空间上的点、线、平面和曲面等。

本发明的具体步骤为：

第一步，获取姿态传感器7的初始值：将姿态传感器7的与立体相机的位置相对固定，确定姿态传感器7自身坐标系与立体相机坐标系的旋转关系，记录此时姿态传感器7测得的姿态信息DD₁，作为姿态初始值；

第二步，进行机器人手眼标定，获取机器人末端夹持工具坐标系与立体相机坐标系之间的位姿变换矩阵T₂；

第三步，标定光斑点5坐标系到位姿测量杆件8末端坐标系的位姿变换矩阵T₄；

第四步，利用位姿测量杆件8直观地到达所需示教点的位姿状态，进行示教工作，具体为：

首先，通过模式选择单元2确定示教点的轨迹拟合模式；其次，操作手持示教装置，使手持示教装置上的光斑点5处于立体相机的有效视场范围内；然后，将手持示教装置的位姿测量杆件8的末端点移动到规划路径上的设定点上；最后，在保持位姿测量杆件8末端点的位置不变的情况下，调整位姿测量杆件8至设定的姿态；

第五步，进行信息采集，具体为：

操作信号触发装置3，触发光斑点5发光，同时信号发送模块1发送信号控制立体相机拍照；立体相机将拍摄的图像信息PD传输到计算机，同时，姿态传感器7将此时测得的姿态信息DD₂同步传输到计算机；

第六步，计算机进行数据处理，具体为：

首先，计算机根据所述姿态信息DD₁与DD₂，结合光斑点5在立体相机坐标系下的位置信息，构建立体相机坐标系与所述光斑点5坐标系之间的位姿变换矩阵T₃；其次，计算机从机器人控制模块获取机器人基坐标系与机器人末端加持工具坐标系之间的位姿变换矩阵T₁；最后，根据机器人基坐标系与手持示教装置的位姿测量杆件8的末端坐标系之间的位姿变换矩阵T₅＝T₁·T₂·T₃·T₄，计算机可求得机器人基坐标系与手持示教装置的位姿测量杆件8的末端坐标系之间的位姿变换矩阵T₅，进一步转换为位姿测量杆件8的末端点(即一个设定点)在机器人基坐标系下的位姿信息PP并保存；

第七步，重复第四步到第六步，直到完成所有的规划路径上的设定点的示教工作，得到所有的规划路径上的设定点在机器人基坐标系下的位姿信息PP，根据所述位姿信息PP，机器人控制模块可控制机器人末端夹持工具复现所示教的设定点的位姿状态。

本发明的有益效果是：

1.本发明所述的一种基于立体视觉的机器人手持示教装置及方法，使用带有光斑点和姿态传感器的手持示教装置，充分利用人手部的灵活性，操作人员能够迅速、直观地将手持示教装置移动到达规划路径上设定点的位置和姿态，相比传统的示教器示教，工作效率大幅度提升。

2.本发明所述的一种基于立体视觉的机器人手持示教装置及方法，其位姿测量杆件提供实时位姿反馈，有助于操作人员实时评估和调整机器人末端夹持工具的运动位置和姿态，确保规划轨迹在复杂环境下能够安全平稳运行。

3.本发明所述的一种基于立体视觉的机器人手持示教装置及方法，大幅减小空间连续曲线规划路径的示教难度，对复杂示教工况具有良好的适应性。

附图说明

图1为一种基于立体视觉的手持示教装置的结构图。

图2为一种基于立体视觉的机器人示教方法示意图。

图3为一种基于立体视觉的手持示教装置坐标系示意图。

附图中，1-信号发送模块；2-模式选择单元；3-信号触发装置；4-电源模块；5-光斑点；6-示教装置本体；7-姿态传感器；8位姿测量杆件；A-机器人；B-立体相机；C-手持示教装置；信号触发装置3、电源模块4与信号发送模块1之间的虚线表示电路连接；立体相机B与手持示教装置C之间的虚线箭头表示立体相机B和手持示教装置C的拍摄关系；

具体实施方式

本发明提出了一种基于双目视觉和姿态传感器的手持示教装置和轨迹示教方法，通过立体相机获取光斑点位置，并结合姿态传感器测量位姿测量杆的姿态，获取示教路径上设定点的位姿信息，示教简易快捷，成本低廉，手持示教器不需要装夹，对于示教姿态容易控制。

以下结合附图进一步说明本发明。

实施例，如图1所示，手持示教装置C由信号发送模块1、模式选择单元2、信号触发装置3、电源模块4、光斑点5、示教装置本体6、姿态传感器7和位姿测量杆件8构成。所述信号发送模块1和电源模块4固定于示教装置本体6后方内部，所述姿态传感器7固定于示教装置本体6前方内部，所述信号触发装置3固定于示教装置本体6下表面，所述模式选择单元2固定于示教装置本体6上表面，所述光斑点5固定于示教装置本体6上表面，所述位姿测量杆件8固定于示教装置本体6前端，位姿测量杆件8的轴线与姿态传感器7的轴线保持平行。

安装时必须把光斑点5、姿态传感器7和位姿测量杆件8紧固在示教装置本体6上，为了提高测量稳定性和提供测量精度，手持示教装置C的光斑点5、姿态传感器7和位姿测量杆件8采用刚性连接。

操作人员操作手持示教装置C移动到规划路径上设定点的位姿状态，按下信号触发装置3，将立体相机B拍摄的光斑图像信息PD和姿态传感器7测得的姿态信息DD₂传输到计算机(图中未标出)进行数据处理。该方法实现实时获取位姿测量杆件8末端点的位姿信息PP并保存，机器人A根据该位姿信息PP可复现所有示教点的位姿状态。

本发明不限制机器人A与立体相机B之间的位姿关系，本实施方案以将立体相机B安装在机器人A的末端夹持工具上的“eye-in-hand”模型为例进行说明，具体操作步骤如下：

第一步，将立体相机B安装在机器人末端夹持工具上。

第二步，完成立体相机B的内外参数标定和机器人手眼标定。

第三步，标定光斑点坐标5-1系与位姿测量杆件末端坐标系8-1的位姿变换矩阵T₄。

如图3所示的手持示教装置C的坐标系示意图，建立光斑点坐标系5-1，以位姿测量杆件末端坐标系8-1为基准，使光斑点坐标系5-1、姿态传感器坐标系7-1和位姿测量杆件末端坐标系8-1的XYZ轴相互平行。此时，姿态传感器7所测得的姿态信息DD可表示光斑点坐标系5-1和位姿测量杆件末端坐标系8-1的姿态信息。

在示教过程中，立体相机B与手持示教装置C的关系是通过立体相机坐标系与光斑点坐标系5-1之间的位姿变换矩阵T₃建立的，求解T₃的具体方法为：

首先，将姿态传感器7通过夹具(图中未标出)放置在立体相机B的一侧，使立体相机坐标系和姿态传感器坐标系7-1的XYZ轴相互平行，记录此时姿态传感器7测得的角度值作为角度初始值DD₁，记作[θ₁₁，θ₁₂，θ₁₃]；然后，操作手持示教装置C到达一个设定点的位姿状态后，姿态传感器7的测量值DD₂为[θ₂₁，θ₂₂，θ₁₃]，两次测量角度的差值ΔDD为[θ₁，θ₂，θ₃]，且[θ₁，θ₂，θ₃]＝[θ₂₁，θ₂₂，θ₁₃]-[θ₁₁，θ₁₂，θ₁₃]，设θ₁、θ₂、θ₃分别为光斑点坐标系5-1绕立体相机坐标系X、Y、Z轴旋转的角度，设R_t为立体相机坐标系与光斑点坐标系5-1之间的旋转矩阵，如(1)所示：

设[x_g，y_g，z_g]为立体相机坐标系下的光斑点5的位置坐标，最终获得立体相机坐标系与光斑点坐标系5-1之间的位姿变换矩阵T₃，如式(2)所示：

设T_g为立体相机坐标系到位姿测量杆件末端坐标系8-1的平移向量，即位姿测量杆件8的末端点在立体相机坐标系下的位置信息，存在如式(3)所示的变换关系：

其中，[x y z]^T为光斑点坐标系5-1到位姿测量杆件末端坐标系8-1的平移向量，为待求量，记作T_t。

进一步进行矩阵运算，可以得到式(4)所示的变换关系：

其中，i代表用于标定的特征点数量，且i≥3，[x_ni y_ni z_ni]^T为立体相机坐标系下的对应特征点的位置信息。

将i个特征点的位置信息(x_n1，y_n1，z_n1)，(x_n2，y_n2，z_n2)，...，(x_ni，y_ni，z_ni)带入式(4)，存在如式(5)所示的变换关系：

对形如A·X＝B的矩阵格式且矩阵A不为方阵，可通过最小二乘法求得矩阵

即为式(6)所述的变换关系：

从而求得光斑点坐标系5-1到位姿测量杆件末端坐标系8-1的平移向量T_t，再由姿态传感器7测得的角度信息所构建出的R_t，最终根据

构建出立体相机坐标系到位姿测量杆件末端坐标系8-1的位姿变换矩阵T₄。

第四步，操作手持示教装置进行示教，将待加工物件放置在立体相机B的有效视场范围内，通过操作模式选择单元2确定示教点的轨迹拟合模式，操作手持示教装置C到达规划路径上的设定点的位姿。

第五步，进行信息采集，按下信号触发装置3，触发所述光斑点(5)发光，同时信号发送模块1发送信号控制立体相机B完整清晰地采集光斑点5的图像信息PD并传输给计算机，同时，姿态传感器7将此时测得的姿态信息DD₂同步传输到计算机，计算机通过数据处理计算获取立体相机坐标系到光斑点坐标系5-1的位姿变换矩阵T₃(求解T₃的方法同第三步)。

第六步，计算机进行数据处理，获取机器人基坐标系与手持示教装置C的位姿测量杆件坐标系8-1之间的位姿变换矩阵T₅。

根据图3所示的坐标系转换关系，此时，根据位姿变换矩阵的封闭运动链，机器人基坐标系到位姿测量杆件末端坐标系8-1的位姿变换关系(记作T₅)与机器人基坐标系到机器人末端夹持工具坐标系的位姿变化矩阵(记作T₁，由机器人控制模块获取)、机器人末端夹持工具坐标系与立体相机坐标系的位姿变换矩阵(记作T₂，由机器人手眼标定获取)、立体相机坐标系与光斑点坐标系5-1的位姿变换矩阵T₃、手持示教装置C上光斑点坐标系5-1与位姿测量杆件末端坐标系8-1的位姿变换矩阵T₄之间的关系如式(7)所示：

T₅＝T₁·T₂·T₃·T₄ (7)

根据机器人基坐标系与位姿测量杆件末端坐标系8-1的位姿变换关系T₅，可转换为所示教的一个设定点在机器人基坐标系下的位姿信息PP，计算机将其保存，等待所有设定点示教完成后，将所有设定在基坐标系下的位姿信息PP传输给机器人控制模块，控制机器人复现所有设定点的位姿状态，形成规划轨迹。

以上仅是本发明的具体应用范例，对本发明的保护范围不构成任何限制。除上述实施例外，本发明还可以有其它实施方式。凡采用等同替换或等效变换形成的技术方案，均落在本发明所要求保护的范围之内。

Claims (5)

1.一种基于立体视觉的机器人手持示教装置，其特征在于，手持示教装置至少包括信号发送单元(1)、模式选择单元(2)、信号触发装置(3)、电源模块(4)、光斑点(5)、示教装置本体(6)、姿态传感器(7)和位姿测量杆件(8)；所述信号发送单元(1)和电源模块(4)固定于示教装置本体(6)内部，所述姿态传感器(7)固定于示教装置本体(6)内部，所述信号触发装置(3)固定于示教装置本体(6)上，所述光斑点(5)固定于示教装置本体(6)上；所述位姿测量杆件(8)固定于示教装置本体(6)前端；所述信号触发装置(3)、电源模块(4)和光斑点(5)通过电路相连，所述信号触发装置(3)、电源模块(4)和信号发送单元(⑴通过电路相连；

所述位姿测量杆件(8)可根据示教环境的不同，更换不同的位姿测量杆件，更换完毕后，所述位姿测量杆件(8)的轴线与所述姿态传感器(7)的轴线之间的位置关系固定且已知；所述示教环境至少包括空间上的点、线、平面和曲面；

建立所述光斑点(5)的光斑点坐标系（5-1），以位姿测量杆件末端坐标系（8-1）为基准，使光斑点坐标系（5-1）、姿态传感器坐标系（7-1）和位姿测量杆件末端坐标系（8-1）的XYZ轴相互平行。

2.根据权利要求1所述的一种基于立体视觉的机器人手持示教装置，其特征在于，所述模式选择单元(2)至少包括直线拟合和圆弧拟合两种轨迹拟合模式，供用户选择确定所示教的规划轨迹上的设定点的轨迹拟合模式。

3.根据权利要求1所述的一种基于立体视觉的机器人手持示教装置，其特征在于，所述光斑点(5)是由发光二极管或通电发光的电子元器件形成的光斑；所述光斑点(5)固定在所述示教装置本体(6)的位置需满足：当手持示教装置被立体相机拍摄时，所述光斑点(5)能够被立体相机完整清晰地拍摄。

4.根据权利要求1所述的一种基于立体视觉的机器人手持示教装置的示教方法，其特征在于，包括如下步骤：

第一步，获取姿态传感器(7)的初始值：将所述姿态传感器(7)的与立体相机相对固定，确定姿态传感器(7)自身坐标系与立体相机坐标系的旋转关系R_d，记录此时姿态传感器(7)测得的姿态信息DD，根据所述旋转关系R_d，将所述姿态信息DD转换为立体相机姿态DD₁，作为姿态初始值；

第二步，进行机器人手眼标定，获取机器人末端夹持工具坐标系与立体相机坐标系之间的位姿变换矩T₂；

第三步，标定所述光斑点(5)坐标系与所述位姿测量杆件(8)末端坐标系之间的位姿变换矩阵T₄；

第四步，利用所述位姿测量杆件(8)直观地到达所需示教点的位姿状态，进行示教工作，具体为，首先，通过所述模式选择单元(2)确定示教点的轨迹拟合模式；其次，操作手持示教装置，使所述光斑点(5)置于立体视觉***的有效视场范围内；然后，将手持示教装置的所述位姿测量杆件(8)的末端放置到规划路径上的设定点上；最后，在保持所述位姿测量杆件(8)末端点的位置不变的情况下，调整所述位姿测量杆件(8)至设定的姿态；

第五步，进行信息采集，操作所述信号触发装置(3)，触发所述光斑点(5)发光，同时所述信号发送单元(1)发送信号控制立体相机拍照；所述立体相机将拍摄的图像信息PD传输到计算机，同时，所述姿态传感器(7)将此时测得的姿态信息DD₂同步传输到计算机；

第六步，计算机进行数据处理，首先，计算机根据所述姿态信息DD₁与DD₂，结合所述光斑点(5)在立体相机坐标系下的位置信息，构建立体相机坐标系与所述光斑点(5)坐标系1端加持工具坐标系之间的位姿变换矩阵T₁；最后，根据机器人基坐标系与手持示教装置的所述位姿测量杆件(8)的末端坐标系之间的位姿变换矩阵T₅＝T₁·T₂·T₃·T₄，计算机可求得机器人基坐标系与手持示教装置的所述位姿测量杆件(8)的末端坐标系之间的位姿变换矩阵T₅，进一步转换为所述位姿测量杆件(8)的末端点(即一个设定点)在机器人基坐标系下的位姿信息PP并保存；

第七步，重复第四步到第六步，直到完成所有的规划路径上的设定点的示教工作，得到所有的规划路径上的设定点在机器人基坐标系下的位姿信息PP，根据所述位姿信息PP，机器人控制模块可控制机器人末端夹持工具复现所示教的设定点的位姿状态。

5.根据权利要求4所述的一种基于立体视觉的机器人手持示教装置的示教方法，其特征在于，所述第三步中建立手持示教装置上的所述光斑点(5)坐标系与所述位姿测量杆件(8)末端坐标系之间的位姿变换矩阵T₄的方法具体为：

a.将至少包含三个特征点的标定物放在立体视觉模块的视场范围内，获取这些点在立体相机坐标系下的空间位置信息；

b.操作手持示教装置，使手持示教装置的所述位姿测量杆件(8)的末端点对准这些特征点，调整所述位姿测量杆件(8)的姿态，使手持示教装置上的所述光斑点(5)能被立体相机完整清晰拍摄；

c.然后通过所述立体相机采集手持示教装置上所述光斑点(5)的图像并将所述光斑点(5)的图像信息传输给计算机，同时所述姿态传感器(7)将当前所测得的姿态信息DD₂同步传输到计算机；

d.通过计算机进行数据处理，获取在手持示教装置的所述位姿测量杆件(8)的当前位姿下，手持示教装置上立体相机坐标系与所述光斑点(5)坐标系与之间的位姿变换矩阵T₃；

e.基于每次示教一个特征点时所求得的所述位姿变换矩阵T₃和对应的所述特征点的位置信息，可以建立手持示教装置上的所述光斑点(5)坐标系与所述位姿测量杆件(8)末端坐标系之间的位姿变换矩阵T₄。

Images