CN110170995A - 一种基于立体视觉的机器人快速示教方法 - Google Patents

一种基于立体视觉的机器人快速示教方法 Download PDF

Info

Publication number
CN110170995A
CN110170995A CN201910385953.7A CN201910385953A CN110170995A CN 110170995 A CN110170995 A CN 110170995A CN 201910385953 A CN201910385953 A CN 201910385953A CN 110170995 A CN110170995 A CN 110170995A
Authority
CN
China
Prior art keywords
robot
module
hand
coordinate system
teaching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910385953.7A
Other languages
English (en)
Other versions
CN110170995B (zh
Inventor
潘海鸿
杨敏旋
陈琳
梁旭斌
蒲明辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangxi Bote Intelligent Technology Co Ltd
Original Assignee
Guangxi Bote Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangxi Bote Intelligent Technology Co Ltd filed Critical Guangxi Bote Intelligent Technology Co Ltd
Priority to CN201910385953.7A priority Critical patent/CN110170995B/zh
Publication of CN110170995A publication Critical patent/CN110170995A/zh
Application granted granted Critical
Publication of CN110170995B publication Critical patent/CN110170995B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)
  • Numerical Control (AREA)

Abstract

本发明公开了一种基于立体视觉的机器人快速示教方法,涉及机器人示教和立体视觉领域。本发明使用独立的具有特征识别单元的手持示教装置,通过安装在机器人末端或末端夹持工具上的立体视觉模块采集手持示教装置的图像,视觉信号处理模块识别、处理特征识别单元的信息,获取立体视觉坐标系到特征识别单元坐标系的变换关系,构建手持示教装置末端坐标系到机器人基坐标系的变换关系,获得手持示教装置末端点在机器人基坐标系下的位姿信息。根据该信息,机器人控制模块可控制机器人复现示教点的位姿。示教过程简便,充分利用人手部的灵活性,通过位姿测量杆件迅速到达所需示教点的位姿状态,极大提升示教效率,提高机器人易用性、灵活性、适应性。

Description

一种基于立体视觉的机器人快速示教方法
技术领域
本发明属于机器人视觉技术领域,特别涉及一种基于立体视觉的机器人快速示教方法。
背景技术
随着机器人技术的不断发展,工业机器人已经在人类社会的工业生产领域当中扮演着举 足轻重的地位,基于工业机器人的自动化生产线已经在机械加工、喷涂、装配、焊接、搬运 等领域广泛应用。
根据中国制造2025的发展规划,未来制造业将形成新一代信息技术和制造业相融合的新 模式,力求实现中国由制造大国向制造强国转变。而智能制造是中国制造2025的核心,工业 机器人的应用更是其关键,以机器人为核心的智能制造已经成为推动我们制造业转型升级的 重要手段。
目前,大部分机器人在运动前需要经过示教,常采用的方式是示教器示教,这种传统的 示教方法需要先操作机器人末端到指定位置,再操作机器人进行姿态变化,过程非常耗时耗 力。如遇到工件表面结构较复杂,还需要不断反复地变换机器人末端点位置和机器人末端姿 态才能到达机器人末端工作时所需位姿,极大地降低了机器人的工作效率和使用的易用性。
近年来,机器人视觉技术为解决机器人示教问题带来新的可能。目前比较成熟的视觉技 术有基于飞行时间(TOF)、结构化光、双目视觉和光场的技术。这些技术都能通过一定的算 法得到被测对象的深度信息,将深度信息反馈给机器人***,便可解决机器人示教中的深度 问题。
中国专利号:CN201610595202.4,名称:一种基于立体视觉技术对机器人进行示教的方 法,该发明公开了一种基于立体视觉技术对机器人进行示教的方法,该方法具体为:在工具 (如焊枪、喷头)上放置标识物,使用立体视觉摄像头识别工具,并连续记录每一帧的深度 图,再将工具放置于机器人末端,标定机器人末端工具坐标系到焊枪标识物坐标系的位姿变 换矩阵,然后进行示教复现。该方法示教时无需拖拽机器手臂,轻便而且节省空间,***搭 建较为简便。然而,该方法具有一定的局限性:首先,该方法使用的是真实焊枪或者其他工 具,标识物需要考虑如何固接于不同的工具,不具有通用性;其次,该方法在示教过程中摄 像头无法移动,有效视场范围有所限制,示教姿态存在死区;并且该方法采用连续记录运动 中的每一帧的方法,这对操作人员具有较高要求,示教速度过慢,则数据过于冗余,降低效 率,示教速度过快或不稳定,则有可能出现模糊图像,在这种情况下无法识别工具标识物, 只能重新示教;此外,该方法每次示教完都需要将工具安装到机器人末端,重新标定摄像头 坐标系下工具位姿矩阵到机器人坐标系下手臂末端位姿矩阵的变换关系,这对于需要多次示 教不同规划路径的工况环境是十分耗时耗力的,机器人使用易用性有所限制。
发明内容
本发明提出一种基于立体视觉的机器人快速示教方法,将立体视觉模块安装在机器人末 端或机器人末端夹持工具上,通过立体视觉模块获得特征信息,根据该特征信息构建手持示 教装置末端坐标系与机器人基坐标系之间的位姿变换关系,从而获取手持示教装置末端在机 器人基坐标系下的位姿信息,即所示教点在机器人基坐标系下的位姿信息,实现快速示教功 能,提高机器人的工作效率和使用易用性。
具体过程如下步骤:
第一步,将立体视觉模块安装在机器人末端或末端夹持工具上,获取立体视觉坐标系在 机器人末端夹持工具坐标系下的位姿矩阵T2
第二步,建立手持示教装置上的位姿测量杆件末端坐标系与手持示教装置上的特征识别 单元坐标系的位姿变换矩阵T4
第三步,调整机器人末端的位置和姿态,保证规划路径和手持示教装置的特征识别单元 在立体视觉模块的有效视场范围内;所述规划路径指的是根据当前机器人的位置及机器人所 能到达的有效工作空间范围所规划的设定点形成的路径。
第四步,视觉信号处理模块从机器人控制模块获取机器人末端夹持工具坐标系在机器人 基坐标系下的位姿矩阵T1并保存。
第五步,利用位姿测量杆件直观地达到所示教的设定点的位置和姿态,具体为,操作手 持示教装置,使手持示教装置的位姿测量杆件的末端点移动到规划路径上的设定点的位置, 在保持位姿测量杆件末端点的位置不变的情况下,调整位姿测量杆件至设定的姿态。
第六步,手持示教装置将信号传输给立体视觉模块,控制所述立体视觉模块采集图像, 并通过视觉处理***识别、处理特征信息,首先,所述立体视觉模块控制立体视觉成像单元 完整清晰地采集当前所述手持示教装置上特征识别单元的图像信息;然后,所述立体视觉模 块将采集到的手持示教装置上特征识别单元的图像信息传输给所述视觉信号处理模块;最后, 通过所述视觉信号处理模块进行特征识别和数据处理,构建出所述手持示教装置上特征识别 单元坐标系在立体视觉坐标系下的位姿变换矩阵T3
第七步,基于第一步、第二步、第四步和第六步所求得的位姿变换矩阵T1、T2、T3、T4的结果,通过所述视觉信号处理模块进行数据处理,获取机器人基坐标系与手持示教装置的 位姿测量杆件末端坐标系之间的位姿变换矩阵T5,进而获取位姿测量杆件末端点在机器人基 坐标系下的位姿信息,也就是所示教的一个设定点在机器人基坐标系下的位姿信息,将该设 定点在机器人基坐标系下的位姿信息保存在立体视觉信号处理模块中。
第八步,重复第三步到第七步,直到完成所有的规划路径上的设定点的示教工作。
第九步,视觉信号处理模块将所有保存的规划路径上的设定点在机器人基坐标系下的位 姿信息传输给机器人控制模块,机器人控制模块控制机器人复现所有规划路径上的设定点的 位姿,实现机器人工具末端点的规划轨迹,完成快速示教。
第十步,如果在当前机器人的位置及机器人所能到达的有效工作空间范围外,存在未完 成的示教路径的示教工作,则移动机器人到达新的位置,重复第三步到第十步,直到完成示 教路径的示教工作;所述示教路径指的是不限于机器人在当前位置下的工作空间范围的所有 规划路径。
手持示教装置上的特征识别单元至少包括三个不共线的特征信息,其相互位置关系固定 且已知,依靠三个特征信息,可确定唯一特征平面,构建立体视觉坐标系与特征识别单元坐 标系之间的位姿变换矩阵T3。具体方法为:
首先,视觉信号处理模块通过对特征识别单元的图像信息进行数据处理,分别获得代表 三个特征信息的点1、点2和点3在立体视觉坐标系下的位置信息,依次为(x1、y1、z1)、(x2、 y2、z3)、(x3、y3、z3);其次,根据三点的空间坐标构建在立体视觉坐标系下的空间向量,假 设以点1为公共点,点2和点3分别与点1构成向量,且两向量互相垂直,形成特征识别单 元坐标系的X、Y轴,根据右手定则确定Z轴,如式(1)所示:
取向量的单位向量,如式(2)所示:
同时,立体视觉坐标系上单位向量,如式(3)所示:
再由旋转矩阵的定义,建立特征识别单元坐标系相对于立体视觉坐标系的旋转矩阵R3, 如式(4)所示:
最后,选择点1的坐标值(x1、y1、z1)作为特征识别单元坐标系的原点,即该坐标系的平移向量,最终构建出立体视觉坐标系与特征识别单元坐标系的位姿变换矩阵T3,如式(5) 所示:
除上述构造空间向量时所指定的垂直关系外,三个点还可以是除了共线之外的任意位置 关系,在求取位姿变换矩阵时加入几何变换即可。
上述第一步中机器人手眼关系的标定使用经典“两步法”手眼标定方法,将至少带有三 个特征点的标定物放在立体视觉模块视场范围内,机器人控制模块控制安装有立体视觉模块 的机器人末端到达若干位置点和姿态,在保证标定物能被立体视觉模块完整清晰拍摄的前提 下,机器人末端每到达一个位置点和姿态进行一次标定物图像采集,至少采集六次标定物图 像后,通过视觉信号处理模块进行数据处理,基于经典“两步法”手眼标定算法获取立体视 觉坐标系与机器人末端夹持工具坐标系之间的位姿变化矩阵T2
上述第二步建立手持示教装置上的位姿测量杆件末端坐标系与手持示教装置上的特征识 别单元坐标系的位姿变换矩阵T4的方法具体为:
首先,将至少包含三个特征点的标定物放在立体视觉模块的视场范围内,获取这些点在 立体视觉坐标系下的空间位置信息;其次,操作手持示教装置,使手持示教装置的位姿测量 杆件的末端点对准这些特征点,调整位姿测量杆件的姿态,使手持示教装置上的特征识别单 元能被立体视觉模块完整清晰拍摄;然后通过立体视觉模块采集手持示教装置上特征识别单 元图像并将手持示教装置上特征识别单元图像传输给视觉信号处理模块,通过视觉信号处理 模块进行数据处理,获取在手持示教装置的位姿测量杆件的当前位姿下,手持示教装置上特 征识别单元坐标系与立体视觉坐标系的位姿变换矩阵T3;最后,基于手持示教装置上特征识 别单元坐标系在立体视觉坐标系下的位姿变换矩阵T3和对应的特征点的位置信息,建立手持 示教装置上的位姿测量杆件末端坐标系与手持示教装置上的特征识别单元坐标系的位姿变换 矩阵T4
在第二步中,在保证手持示教装置上的特征识别单元可被立体视觉模块识别到的前提下, 手持示教装置末端的位姿测量杆可以以任意姿态对准标定物上的特征点。
在第五步进行示教过程中,在保证手持示教装置上的特征识别单元能被立体视觉模块完 整清晰拍摄的前提下,可以调节机器人末端呈现出任意姿态,以适应各种姿态的示教。
本发明的有益效果是:
1、本发明所述的机器人快速示教方法使用带有特征识别单元的手持示教装置,充分利用 人手部的灵活性,能够迅速、直观将手持示教装置移动到所需示教的规划路径上的设定点的 位置和姿态,相比传统的示教器示教,工作效率大幅度提升。
2、本发明所述的机器人快速示教方法操作简单,过程简便,在进行新的规划路径示教前, 可移动机器人至新的工作位置;在进行每一个设定点的示教前,可调整机器人末端姿态以适 应在复杂示教姿态下采集手持示教装置的特征识别单元图像;对需要进行多次不同规划路径 的示教工况,无需进行多次位姿变换关系标定,极大提高机器人工作的使用效率和使用易用 性。
附图说明
图1为一种基于立体视觉的机器人快速示教方法示意图。
图2为一种基于立体视觉的机器人快速示教方法的流程图。
图3为一种基于立体视觉的机器人快速示教方法的坐标系转换关系示意图。
附图中:1-手持示教装置;2-立体视觉模块;3-机器人末端夹持工具;4-机器人本体; 5-视觉信号处理模块;6-机器人控制模块;7-位姿测量杆件;8-特征识别单元;9-待加工物 件。立体视觉模块2和视觉信号处理模块5之间、视觉信号处理模块5和机器人控制模块6 之间、机器人控制模块6和机器人本体4之间的连线均表示通信。2-1表示立体视觉坐标系 CCS;3-1表示机器人末端夹持工具坐标系TCS;4-1表示机器人基坐标系BCS;7-1表示位姿 测量杆件末端坐标系PCS;8-1表示特征识别单元坐标系SCS。
具体实施方式
以下结合附图进一步说明本发明。
实施例:如图2所示的示教方法的流程图,结合图3所示的坐标系转换关系示意图。首 先,将立体视觉模块2安装在机器人末端夹持工具3上,机器人末端夹持工具3安装在机器 人本体4末端,进行机器人手眼标定,获取机器人末端夹持工具坐标系3-1到立体视觉坐标 系2-1的位姿变换矩阵T2
在进行示教前,需要做一个一次性工作,构建手持示教装置1上特征识别单元坐标系8-1 到位姿测量杆件末端坐标系7-1的位姿变换矩阵T4。将带有特征点的标定物(图中未标出) 放在立体视觉模块2的视场范围内,计算特征点在立体视觉坐标系2-1下的位置信息,记作 (xn1,yn1,zn1),(xn2,yn2,zn2),...,(xni,yni,zni),i为特征点个数,i≥3。然后操作手持示教装置1分 别示教这些特征点,立体视觉模块2采集每次示教时特征识别单元8的图像,视觉信号处理 模块5获取图像信息并进行数据处理,计算每次示教时立体视觉坐标系2-1到特征识别单元 坐标系8-1的位姿变换矩阵T3
为方便说明,设Tg为立体视觉坐标系2-1下特征识别单元坐标系8-1到位姿测量杆件末 端坐标系7-1的平移向量,如式(6)所示:
其中,[x y z]T为特征识别单元坐标系8-1到位姿测量杆件末端坐标系7-1的平移向 量,为待求量,记作T。进一步进行矩阵运算,可以得到式(7):
其中,i代表用于标定的特征点数量,且i≥3,[xni yni zni]T为立体视觉坐标系2-1下 的对应特征点的位置信息。
将i个特征点在立体视觉坐标系2-1下的位置信息(xn1,yn1,zn1),(xn2,yn2,zn2),...,(xni,yni,zni) 带入式(7),则存在如式(8)所示的数学关系:
对形如A·X=B的矩阵格式且矩阵A不为方阵,可通过最小二乘法求得矩阵如式(9)所示:
从而求得特征识别单元坐标系8-1原点到位姿测量杆件末端坐标系7-1原点的平移向量 Tt,再由手持示教装置1上特征识别单元8与位姿测量杆件7的形位关系确定旋转矩阵Rt, 最终由构建出特征识别单元坐标系8-1到位姿测量杆件末端坐标系7-1的位姿变换 矩阵T4
为保证特征识别单元8在立体视觉模块2的视场范围内,可通过调整机器人末端的位置 和姿态以适应不同角度的示教。
手持示教装置1上的特征识别单元8至少具有三个可被识别的特征信息,且代表三个特 征信息的点1、点2和点3在立体视觉坐标系2-1下的位置信息依次为(x1、y1、z1)、(x2、y2、 z3)、(x3、y3、z3)。根据三点的空间坐标构建在立体视觉坐标系2-1下的空间向量,以点1为公共点,点2和点3分别与点1构成向量,且两向量互相垂直,形成特征识别单元坐标系 8-1的X、Y轴,根据右手定则确定Z轴,根据三个特征点的位置信息构建特征识别单元坐 标系8-1,进而获取立体视觉坐标系2-1与特征识别单元坐标系8-1之间的位姿变化矩阵T3。 调整机器人到合适姿态后,从机器人控制模块6获取机器人基坐标系4-1到机器人末端夹持工具坐标系3-1的位姿变化矩阵T1
将待加工物件9放置在立体视觉模块2视场范围内,操作手持示教装置1示教规划路径 上的设定点的位姿,立体视觉***2采集图像,视觉信号处理模块5获取图像,计算获取立 体视觉坐标系2-1到特征识别单元坐标系8-1的位姿变换矩阵T3。此时,根据位姿变换矩阵 的封闭运动链,机器人基坐标系4-1到位姿测量杆件末端坐标系7-1的位姿变换关系T5与机 器人基坐标系4-1到机器人末端夹持工具坐标系3-1的位姿变化矩阵T1、机器人末端夹持工 具坐标系3-1到立体视觉坐标系2-1的位姿变换矩阵T2、立体视觉坐标系2-1到特征识别单 元坐标系8-1的位姿变换矩阵T3、手持示教装置1上特征识别单元坐标系8-1到位姿测量杆 件末端坐标系7-1的位姿变换矩阵T4之间存在式(10)所示的关系:
T5=T1·T2·T3·T4 (10)
根据机器人基坐标系4-1到位姿测量杆件末端坐标系7-1的位姿变换关系T5,可求得所 示教的设定点在机器人基坐标系4-1下的位姿信息,视觉信号处理模块将其保存,等待所有 设定点示教完成后传输给机器人控制模块6,控制机器人复现所有设定点,形成规划轨迹。
以上仅是本发明的具体应用范例,对本发明的保护范围不构成任何限制。除上述实施例 外,本发明还可以有其它实施方式。凡采用等同替换或等效变换形成的技术方案,均落在本 发明所要求保护的范围之内。

Claims (9)

1.一种基于立体视觉的机器人快速示教方法,其特征在于包括如下步骤:
第一步,将立体视觉模块安装在机器人机器人末端或末端夹持工具上,进行机器人 眼标定,获取立体视觉坐标系在机器人末端夹持工具坐标系下的位姿变换矩阵T2
第二步,建立手持示教装置上的位姿测量杆件末端坐标系与手持示教装置上的特征识别单元坐标系之间的位姿变换矩阵T4
第三步,调整机器人末端的位置和姿态,保证规划路径和手持示教装置的特征识别单元在立体视觉模块的有效视场范围内;所述规划路径指的是根据当前机器人的位置及机器人所能到达的有效工作空间范围所规划的设定点形成的路径;
第四步,视觉信号处理模块从机器人控制模块获取机器人末端夹持工具坐标系在机器人基坐标系下的位姿变换矩阵T1并保存;
第五步,利用位姿测量杆件直观地达到所示教的设定点的位置和姿态,具体为,操作手持示教装置,使手持示教装置的位姿测量杆件的末端点移动到规划路径上的设定点的位置,在保持位姿测量杆件末端点的位置不变的情况下,调整位姿测量杆件至设定的姿态;
第六步,手持示教装置将信号传输给立体视觉模块,控制所述立体视觉模块采集图像,并通过视觉处理***识别、处理特征信息,首先,所述立体视觉模块控制立体视觉成像单元完整清晰地采集当前所述手持示教装置上特征识别单元的图像信息;然后,所述立体视觉模块将采集到的手持示教装置上特征识别单元的图像信息传输给所述视觉信号处理模块;最后,通过所述视觉信号处理模块进行特征识别和数据处理,构建出所述手持示教装置上特征识别单元坐标系在立体视觉坐标系下的位姿变换矩阵T3
第七步,基于第一步、第二步、第四步和第六步所求得的位姿变换矩阵T1、T2、T3、T4的结果,通过所述视觉信号处理模块进行数据处理,获取机器人基坐标系与手持示教装置的位姿测量杆件末端坐标系之间的位姿变换矩阵T5,进而获取位姿测量杆件末端点在机器人基坐标系下的位姿信息,即所示教的一个设定点在机器人基坐标系下的位姿信息,将该设定点在机器人基坐标系下的位姿信息保存在立体视觉信号处理模块中;
第八步,重复第三步到第七步,直到完成规划路径上所有设定点的示教工作;
第九步,所述视觉信号处理模块将保存的规划路径上的在机器人基坐标系下的所有设定点的位姿信息传输给机器人控制模块,所述机器人控制模块控制机器人复现规划路径上的所有设定点的位姿状态,实现机器人末端夹持工具的末端点的规划轨迹,完成快速示教;
第十步,如果在当前机器人的位置及机器人所能到达的有效工作空间范围外,存在未完成的示教路径的示教工作,则移动机器人到达新的位置,重复第三步到第十步,直到完成示教路径的示教工作;所述示教路径指的是不限于机器人在当前位置下的工作空间范围的所有规划路径。
2.如权利要求1所述的一种基于立体视觉的机器人快速示教方法,其特征在于,所述手持示教装置采用有线传输或无线传输或有线传输和无线传输方式与所述视觉信号处理模块进行信息交互。
3.如权利要求1所述的一种基于立体视觉的机器人示教方法,其特征在于,所述手持示教装置上的特征识别单元至少包括三个不共线的特征信息,其相互位置关系固定且已知,用于确定特征识别单元坐标系的位姿。
4.如权利要求1所述的一种基于立体视觉的机器人快速示教方法,其特征在于,所述第一步中建立位姿变换矩阵T2的手眼标定具体方法为,首先,将至少带有三个特征点的标定物放在立体视觉模块视场范围内;然后,所述机器人控制模块控制安装有立体视觉模块的机器人末端到达若干位置点和姿态,在保证标定物能被立体视觉模块完整清晰拍摄的前提下,机器人末端每到达一个位置点和姿态进行一次标定物图像采集;最后,在进行至少采集六次标定物图像后,通过视觉信号处理模块进行数据处理,基于经典“两步法”手眼标定算法获取立体视觉坐标系与机器人末端夹持工具坐标系之间的位姿变化矩阵T2
5.如权利要求1所述的一种基于立体视觉的机器人快速示教方法,其特征在于,第二步中的位姿变换矩阵T4的建立方法具体为,首先,将至少包含三个特征点的标定物放在立体视觉模块的视场范围内,获取这些点在立体视觉坐标系下的空间位置信息;其次,操作手持示教装置,使手持示教装置的位姿测量杆件的末端点对准这些特征点,调整位姿测量杆件的姿态,使手持示教装置上的特征识别单元能被立体视觉模块完整清晰拍摄;然后,通过立体视觉模块采集手持示教装置上特征识别单元图像并将手持示教装置上特征识别单元图像传输给视觉信号处理模块,通过视觉信号处理模块进行数据处理,获取在手持示教装置的位姿测量杆件的当前位姿下,手持示教装置上特征识别单元坐标系与立体视觉坐标系的位姿变换矩阵T3;最后,基于手持示教装置上特征识别单元坐标系在立体视觉坐标系下的位姿变换矩阵T3和对应的特征点的位置信息,可以建立手持示教装置上的位姿测量杆件末端坐标系与手持示教装置上的特征识别单元坐标系的位姿变换矩阵T4
6.如权利要求1所述的一种基于立体视觉的机器人快速示教方法,在第二步和第六步中获取手持示教装置上特征识别单元坐标系在立体视觉坐标系下的位姿变换矩阵T3的具体方法为:
首先,视觉信号处理模块通过对特征识别单元的图像信息进行数据处理,分别获得代表三个特征信息的点1、点2和点3在立体视觉坐标系下的位置信息,依次为(x1、y1、z1)、(x2、y2、z3)、(x3、y3、z3);其次,根据三点的空间坐标构建在立体视觉坐标系下的空间向量,假设以点1为公共点,点2和点3分别与点1构成向量,且两向量互相垂直,形成特征识别单元坐标系的X、Y轴,根据右手定则确定Z轴,如式(1)所示:
取向量的单位向量,分别为式(2)所示:
同时,立体视觉坐标系上单位向量分别为式(3)所示:
再由旋转矩阵的定义,建立特征识别单元坐标系相对于立体视觉坐标系的旋转矩阵R3,如式(4)所示:
最后,选择点1的坐标值(x1、y1、z1)作为特征识别单元坐标系的原点,即该坐标系的平移向量,最终构建出立体视觉坐标系与特征识别单元坐标系的位姿变换矩阵T3,如式(5)所示:
除上述构造空间向量时所指定的垂直关系外,三个点还可以是除了共线之外的任意位置关系,在求取位姿变换矩阵时加入几何变换即可。
7.如权利要求1所述的一种基于立体视觉的机器人快速示教方法,其特征在于,在第三步调整机器人末端位姿时,所述机器人在保证手持示教装置上的特征识别单元能被立体视觉模块完整清晰拍摄的前提下,可以呈现任意姿态。
8.如权利要求5所述的一种基于立体视觉的机器人快速示教方法,其特征在于,建立位姿变换矩阵T4时,所述手持示教装置的位姿测量杆件在保证手持示教装置上的特征识别单元可被立体视觉模块识别到的前提下,可以以任意姿态对准标定物上的特征点。
9.如权利要求5所述的一种基于立体视觉的机器人快速示教方法,其特征在于,所述手持示教装置上的位姿测量杆件末端坐标系与手持示教装置上的特征识别单元坐标系的位姿变换矩阵T4可用最优解估计方法进行求算。
CN201910385953.7A 2019-05-09 2019-05-09 一种基于立体视觉的机器人快速示教方法 Active CN110170995B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910385953.7A CN110170995B (zh) 2019-05-09 2019-05-09 一种基于立体视觉的机器人快速示教方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910385953.7A CN110170995B (zh) 2019-05-09 2019-05-09 一种基于立体视觉的机器人快速示教方法

Publications (2)

Publication Number Publication Date
CN110170995A true CN110170995A (zh) 2019-08-27
CN110170995B CN110170995B (zh) 2022-09-23

Family

ID=67690689

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910385953.7A Active CN110170995B (zh) 2019-05-09 2019-05-09 一种基于立体视觉的机器人快速示教方法

Country Status (1)

Country Link
CN (1) CN110170995B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111409067A (zh) * 2020-03-12 2020-07-14 杭州新松机器人自动化有限公司 一种机器人用户坐标自动标定***及其标定方法
CN112706168A (zh) * 2021-01-07 2021-04-27 库卡机器人制造(上海)有限公司 机械臂的运动轨迹生成方法、装置
CN112824060A (zh) * 2019-11-21 2021-05-21 财团法人工业技术研究院 加工路径生成装置及其方法
WO2021120911A1 (zh) * 2019-12-17 2021-06-24 中兴通讯股份有限公司 一种板状工件的三维坐标校准方法
CN113070876A (zh) * 2021-03-19 2021-07-06 深圳群宾精密工业有限公司 一种基于3d视觉的机械手点胶路径引导纠偏方法
CN113146637A (zh) * 2021-04-29 2021-07-23 张耀伦 一种机器人笛卡尔空间的运动规划方法
CN113211431A (zh) * 2021-04-16 2021-08-06 中铁第一勘察设计院集团有限公司 基于二维码修正机器人***的位姿估计方法
CN113319854A (zh) * 2021-06-25 2021-08-31 河北工业大学 一种洗浴机器人的视觉示教方法及***
CN114589689A (zh) * 2020-12-07 2022-06-07 山东新松工业软件研究院股份有限公司 基于二维码的视觉定位方法、装置及计算机可读存储介质
CN115476338A (zh) * 2022-07-08 2022-12-16 深圳市越疆科技有限公司 姿态调整方法及装置、机器人机构、电子设备及存储介质
CN116852359A (zh) * 2023-07-04 2023-10-10 无锡斯帝尔科技有限公司 一种基于机器人手持示教装置的tcp快速标定的装置及方法
CN117621092A (zh) * 2023-10-24 2024-03-01 上海奔曜科技有限公司 一种示教***、方法及免示教自动化装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998006015A1 (fr) * 1996-08-07 1998-02-12 Fanuc Ltd Technique de commande du mouvement pour position d'apprentissage de robot
US20060229766A1 (en) * 2005-04-07 2006-10-12 Seiko Epson Corporation Motion control apparatus for teaching robot position, robot-position teaching apparatus, motion control method for teaching robot position, robot-position teaching method, and motion control program for teaching robot-position
CN104827480A (zh) * 2014-02-11 2015-08-12 泰科电子(上海)有限公司 机器人***的自动标定方法
JP2015182144A (ja) * 2014-03-20 2015-10-22 キヤノン株式会社 ロボットシステムおよびロボットシステムの校正方法
CN107160364A (zh) * 2017-06-07 2017-09-15 华南理工大学 一种基于机器视觉的工业机器人示教***及方法
CN107450885A (zh) * 2017-07-21 2017-12-08 上海交通大学 一种工业机器人与三维传感器的坐标变换求解方法
JP2018126835A (ja) * 2017-02-09 2018-08-16 キヤノン株式会社 ロボットの教示方法、ロボットシステム、プログラム及び記録媒体
CN109434839A (zh) * 2018-12-25 2019-03-08 江南大学 一种基于单目视觉辅助定位的机器人自标定方法
CN109571487A (zh) * 2018-09-12 2019-04-05 河南工程学院 一种基于视觉的机器人演示学习方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998006015A1 (fr) * 1996-08-07 1998-02-12 Fanuc Ltd Technique de commande du mouvement pour position d'apprentissage de robot
US20060229766A1 (en) * 2005-04-07 2006-10-12 Seiko Epson Corporation Motion control apparatus for teaching robot position, robot-position teaching apparatus, motion control method for teaching robot position, robot-position teaching method, and motion control program for teaching robot-position
CN104827480A (zh) * 2014-02-11 2015-08-12 泰科电子(上海)有限公司 机器人***的自动标定方法
JP2015182144A (ja) * 2014-03-20 2015-10-22 キヤノン株式会社 ロボットシステムおよびロボットシステムの校正方法
JP2018126835A (ja) * 2017-02-09 2018-08-16 キヤノン株式会社 ロボットの教示方法、ロボットシステム、プログラム及び記録媒体
CN107160364A (zh) * 2017-06-07 2017-09-15 华南理工大学 一种基于机器视觉的工业机器人示教***及方法
CN107450885A (zh) * 2017-07-21 2017-12-08 上海交通大学 一种工业机器人与三维传感器的坐标变换求解方法
CN109571487A (zh) * 2018-09-12 2019-04-05 河南工程学院 一种基于视觉的机器人演示学习方法
CN109434839A (zh) * 2018-12-25 2019-03-08 江南大学 一种基于单目视觉辅助定位的机器人自标定方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
刘冲: "面向视觉三维测量的机器人手眼标定技术研究", 《中国优秀硕士学位论文全文数据库》 *
周浩朋: "基于机器视觉的机器人示教方法研究", 《中国优秀硕士学位论文全文数据库》 *
李福东等: "基于双目视觉与工业机器人的大型工件自动上下料***", 《机械设计与制造工程》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11648667B2 (en) 2019-11-21 2023-05-16 Industrial Technology Research Institute Processing path generating device and method thereof
CN112824060A (zh) * 2019-11-21 2021-05-21 财团法人工业技术研究院 加工路径生成装置及其方法
CN112824060B (zh) * 2019-11-21 2023-03-28 财团法人工业技术研究院 加工路径生成装置及其方法
WO2021120911A1 (zh) * 2019-12-17 2021-06-24 中兴通讯股份有限公司 一种板状工件的三维坐标校准方法
CN111409067A (zh) * 2020-03-12 2020-07-14 杭州新松机器人自动化有限公司 一种机器人用户坐标自动标定***及其标定方法
CN114589689A (zh) * 2020-12-07 2022-06-07 山东新松工业软件研究院股份有限公司 基于二维码的视觉定位方法、装置及计算机可读存储介质
CN112706168A (zh) * 2021-01-07 2021-04-27 库卡机器人制造(上海)有限公司 机械臂的运动轨迹生成方法、装置
CN113070876A (zh) * 2021-03-19 2021-07-06 深圳群宾精密工业有限公司 一种基于3d视觉的机械手点胶路径引导纠偏方法
CN113211431A (zh) * 2021-04-16 2021-08-06 中铁第一勘察设计院集团有限公司 基于二维码修正机器人***的位姿估计方法
CN113211431B (zh) * 2021-04-16 2022-07-01 中铁第一勘察设计院集团有限公司 基于二维码修正机器人***的位姿估计方法
CN113146637A (zh) * 2021-04-29 2021-07-23 张耀伦 一种机器人笛卡尔空间的运动规划方法
CN113319854A (zh) * 2021-06-25 2021-08-31 河北工业大学 一种洗浴机器人的视觉示教方法及***
CN115476338A (zh) * 2022-07-08 2022-12-16 深圳市越疆科技有限公司 姿态调整方法及装置、机器人机构、电子设备及存储介质
CN115476338B (zh) * 2022-07-08 2024-01-26 深圳市越疆科技股份有限公司 姿态调整方法及装置、机器人机构、电子设备及存储介质
CN116852359A (zh) * 2023-07-04 2023-10-10 无锡斯帝尔科技有限公司 一种基于机器人手持示教装置的tcp快速标定的装置及方法
CN117621092A (zh) * 2023-10-24 2024-03-01 上海奔曜科技有限公司 一种示教***、方法及免示教自动化装置

Also Published As

Publication number Publication date
CN110170995B (zh) 2022-09-23

Similar Documents

Publication Publication Date Title
CN110170995A (zh) 一种基于立体视觉的机器人快速示教方法
CN111775146B (zh) 一种工业机械臂多工位作业下的视觉对准方法
CN110842928B (zh) 一种复合机器人视觉引导定位方法
JP7237483B2 (ja) ロボットシステムの制御方法、制御プログラム、記録媒体、制御装置、ロボットシステム、物品の製造方法
CN107160364B (zh) 一种基于机器视觉的工业机器人示教***及方法
CN109658460A (zh) 一种机械臂末端相机手眼标定方法和***
CN110170996B (zh) 一种基于立体视觉的机器人快速示教***
CN108436909A (zh) 一种基于ros的相机和机器人的手眼标定方法
CN110171009B (zh) 一种基于立体视觉的机器人手持示教装置
WO2018043525A1 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
CN110450163A (zh) 无需标定板的基于3d视觉的通用手眼标定方法
CN109877840A (zh) 一种基于相机光轴约束的双机械臂标定方法
CN111823223B (zh) 一种基于智能立体视觉的机器人手臂抓取控制***及方法
CN111645074A (zh) 一种机器人抓取定位方法
CN110919626A (zh) 一种基于立体视觉的机器人手持示教装置及方法
CN109848951A (zh) 大型工件的自动加工设备及方法
CN107103624B (zh) 立体视觉搬运***及其搬运方法
WO2023143408A1 (zh) 机器人物品抓取方法、装置、机器人、程序及存储介质
CN108942918A (zh) 一种基于线结构光的立体定位方法
CN110405775A (zh) 一种基于增强现实技术的机器人示教***及方法
CN112677159B (zh) 一种基于视觉定位的机械手作业路径规划方法及装置
CN111482964A (zh) 一种新的机器人手眼标定方法
CN113352300A (zh) 一种喷涂机器人示教器及方法
CN112958960A (zh) 一种基于光学靶标的机器人手眼标定装置
CN110202581A (zh) 机器人末端执行器工作误差的补偿方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant