CN111452043B - 机器人与工业相机手眼标定的方法 - Google Patents
机器人与工业相机手眼标定的方法 Download PDFInfo
- Publication number
- CN111452043B CN111452043B CN202010231753.9A CN202010231753A CN111452043B CN 111452043 B CN111452043 B CN 111452043B CN 202010231753 A CN202010231753 A CN 202010231753A CN 111452043 B CN111452043 B CN 111452043B
- Authority
- CN
- China
- Prior art keywords
- led lamp
- lamp beads
- robot
- coordinates
- computer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Manipulator (AREA)
- Image Processing (AREA)
Abstract
本发明公开了机器人与工业相机手眼标定的方法,安装LED灯珠,手动示教建立LED灯珠的三维坐标:计算机按照LED灯珠编号顺序依次控制LED灯珠发光,工业相机采集一张图像,将数据回传给计算机,计算机对图像上所有像素点数据进行遍历,查找LED灯珠颜色对应的像素点,获取LED灯珠的像素坐标,将像素坐标放入数组1,将该LED灯珠的真实坐标放入数组2,将数组1和数组2作为参数,调用OpenCV的solvePnP()函数,输出solvePnP()函数的结果。本发明标定后,标定工具和生产工件不需要更换,标定过程全程自动运行,无需人为干预。在生产过程中,允许相机移动,移动后可快速自动重新标定,提高生产效率,适合更多复杂的应用场景。
Description
技术领域
本发明涉及工业机器人相机领域,尤其涉及机器人与工业相机手眼标定的方法。
背景技术
工业相机在工业机器人生产中的应用越来越多。安装好工业相机后,必须进行机器人与工业相机的手眼标定,找到相机坐标系与机器人坐标系的对应关系。主流的标定方法采用棋盘格作为标定工具。棋盘格占据一定的空间,通常很难和工件同时放在相机视野内,所以标定只能在生产前进行,完成标定后再把棋盘格更换为工件。如果生产过程中相机位置需要发生改变,则标定工作更是耗时耗力。
发明内容
为了解决现有技术的问题,本发明提供一种更为高效的替代棋盘格的机器人与工业相机手眼标定的方法。
本发明的技术方案如下:
机器人与工业相机手眼标定的方法,包括如下步骤:
步骤1:安装LED灯珠:选取一种颜色的若干LED灯珠安装在工位上不影响生产的位置,LED灯珠颜色不与工位中其他物体同色,工业相机在任何需要标定的位置上时,相机视野内至少有4颗灯珠,LED灯珠通过计算机控制开关;
步骤2:手动示教建立LED灯珠的三维坐标:用手动示教的方法控制机器人移动,将机器人末端工具分别移动到每个LED灯珠正中心的位置,用机器人指令读取并记录LED灯珠在机器人坐标系下的三维坐标,并将每个灯珠按1,2,3…n(n≥4)的顺序编号,与对应的坐标一起存储在计算机上的数据库中;
步骤3:开始标定:进入工序,工业相机到达工作位置后,计算机按照LED灯珠1,2,3…n的编号顺序依次控制LED灯珠发光,每个LED灯珠发光时,工业相机采集一张图像,将数据回传给计算机,计算机对图像上所有像素点数据进行遍历,查找LED灯珠颜色对应的像素点,获取LED灯珠的像素坐标,如果满足条件的为多个连续像素点,则对多个点的坐标取平均值,将像素坐标放入数组1,从计算机数据库中读取该LED灯珠的真实坐标放入数组2,数组1和数组2的坐标一一对应,直至所有灯珠标定结束;
步骤4:输出标定结果矩阵:将数组1和数组2作为参数,调用OpenCV的solvePnP()函数,输出solvePnP()函数的结果,即标定的外参矩阵。
作为进一步的技术方案,所述步骤1中LED灯珠安装在工位的位置可以是工作台或固定夹具的边缘,灯珠通过IO板与计算机连接。
作为进一步的技术方案,为了提高标定精度,所述步骤1在实际标定中工业相机在任何需要标定的位置上时,相机视野内至少有9颗灯珠。
作为进一步的技术方案,所述工位如果空间较大,可以将工位划为若干个区域,在任意一个区域内用上述方法进行相机和机器人的手眼标定即可。
本发明的有益效果:本发明用LED灯珠作为标定工具固定在不影响生产的工作台、固定夹具边缘等,标定结束后,标定工具和生产工件不需要更换,本发明替代棋盘格,且标定过程全程自动运行,无需人为干预。在生产过程中,允许相机移动,移动后可快速自动重新标定,提高生产效率,适合更多复杂的应用场景。使用一些LED灯珠作为工具,成本低廉。
具体实施方式
以下对本发明的原理和特征进行描述。
本发明提供一种机器人与工业相机手眼标定的方法。本发明用到的工具和装置有:IO板,工业计算机,LED灯珠。工业相机可安装在工业机器人的末端随机器人运动,或者安装在其他静止或运动机构上。工业计算机作为工作站中的上位机,通过相应的接口,与相机通信并直接控制相机的工作,计算机也可监控机器人的动作并和机器人通信。将IO板连接安装在计算机主板上,计算机通过IO板卡的端口可以直接控制所有LED灯珠的开关。此外,本发明的标定方法可编写成自动运行的程序并在工业计算机上运行。
本发明的机器人与工业相机手眼标定的方法,具体操作如下:
本发明采用发红光的LED灯珠安装在工位上一些不影响生产的位置,如工作台、固定夹具的边缘等,灯珠与IO板连接,由计算机控制灯珠的开关。灯珠安装的数量和位置因具体的工作场景而异,但要保证相机在任何需要标定的位置上时,相机视野内都至少有4颗灯珠。为了提高标定的精度,在实际的标定过程中设置相机视野内至少有9颗灯珠。注意在工位上不能出现其他红色的物体。也可换用其他颜色的灯珠,只要灯珠颜色不和工位中存在的其他物体颜色相同。
安装好LED灯珠后,用手动示教的方法控制机器人移动,将机器人末端工具分别移动到每个LED灯珠正中心的位置,用机器人指令读取并记录LED灯珠在机器人坐标系下的三维坐标。并将每个灯珠按1,2,3…n的顺序编号,与对应的坐标一起存储在计算机上的数据库中。
以上为准备工作。对于一个工作站,准备工作只需做一次。完成后,可以永久使用。
准备工作结束后,开始机器人与工业相机的手眼标定,具体的标定流程可编写成计算机程序,在生产前或生产过程中自动运行。
机器人与工业相机的手眼标定,具体的标定流程为:
1、在任一工序中,工业相机到达某个工作位置,即将工作;
2、开始标定,计算机控制1号LED灯珠发光,相机采集一张图像,将数据回传给计算机,计算机对图像上所有像素点数据进行遍历,查找R>200,G<128,B<128的像素点,获取LED灯珠红点坐标。如果LED采用其他颜色,则查找其他颜色的像素点,获取其他颜色像素点的的坐标。如果满足条件的为多个连续像素点,则对多个点的坐标取平均值,将红点坐标放入数组1,从计算机数据库中读取1号LED灯珠的真实坐标放入数组2;如果未搜索到符合条件的像素点,说明1号灯珠超出了相机的工作范围,关闭1号LED灯珠。
3、计算机按灯珠编号的顺序控制2号LED灯珠发光,并重复上述流程,获取2号灯珠像素坐标和真实三维坐标。然后计算机依次控制3号灯珠、4号灯珠…n(n≥4)号灯珠,直到每个LED灯珠都发光一次并重复上述流程,获取每个灯珠的像素坐标和真实坐标系下的三维坐标。每个灯珠的像素坐标放入数组1,真实三维坐标放入数组2。
4、循环结束后,每个数组至少包含4个坐标,数组1和数组2的坐标一一对应。
5、将数组1和数组2作为参数,调用OpenCV的solvePnP()函数,输出solvePnP()函数的结果,即标定的外参矩阵。
OpenCV为免费开放的图像处理库,solvePnP()函数专用于相机标定,函数的输入量为两组坐标,一组为若干个点在图像上的像素坐标,另一组为若干个点在真实坐标系下的三维坐标,两组点必须为一一对应的关系。此函数的使用为业内通用方法,具体原理和用法不在本发明中讨论。
上述的标定方法可编写成计算机程序,程序完全自动运行,可设为当收到机器人信号后触发启动,运行结束后自动将标定结果矩阵替换到后面工序中涉及到焊接轨迹规划的生产程序中,然后发送标定完成信号给机器人,通知机器人开始下一步工序。每个LED灯的开关、图像采集和处理全流程的工作时间可在1秒内完成。
对于空间较大的工位,可以将工位划为若干个区域,每个区域内都可以用上述方法实现相机和机器人的手眼标定,不需要在整个工位上进行标定程序,可以节约标定时间,提高标定的效率。
例如,计算机可监视机器人实时的坐标信息,将标定工位分为y>0和y<0的两个区域。当机器人携带相机运动到坐标y<0的位置拍照时,计算机只控制y<0区域的LED灯珠分别发光;当机器人携带相机运动到坐标y>0的位置拍照时,计算机只控制y>0区域的LED灯珠分别发光。这样,可以避免相机视野外过多的拍照流程浪费时间,提高工作效率。
以上所述是本发明优选的实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (4)
1.机器人与工业相机手眼标定的方法,其特征是包括如下步骤:
步骤1:安装LED灯珠:选取一种颜色的若干LED灯珠安装在工位上不影响生产的位置,LED灯珠颜色不与工位中其他物体同色,工业相机在任何需要标定的位置上时,相机视野内至少有4颗灯珠,LED灯珠通过计算机控制开关;
步骤2:手动示教建立LED灯珠的三维坐标:用手动示教的方法控制机器人移动,将机器人末端工具分别移动到每个LED灯珠正中心的位置,用机器人指令读取并记录LED灯珠在机器人坐标系下的三维坐标,并将每个灯珠按1,2,3…n(n≥4)的顺序编号,与对应的坐标一起存储在计算机上的数据库中;
步骤3:开始标定:进入工序,工业相机到达工作位置后,计算机按照LED灯珠1,2,3…n的编号顺序依次控制LED灯珠发光,每个LED灯珠发光时,工业相机采集一张图像,将数据回传给计算机,计算机对图像上所有像素点数据进行遍历,查找LED灯珠颜色对应的像素点,获取LED灯珠的像素坐标,如果满足条件的为多个连续像素点,则对多个点的坐标取平均值,将像素坐标放入数组1,从计算机数据库中读取该LED灯珠的真实坐标放入数组2,数组1和数组2的坐标一一对应,直至所有灯珠标定结束;
步骤4:输出标定结果矩阵:将数组1和数组2作为参数,调用OpenCV的solvePnP()函数,输出solvePnP()函数的结果,即标定的外参矩阵。
2.根据权利要求1所述的机器人与工业相机手眼标定的方法,其特征在于所述步骤1中LED灯珠安装在工位的位置可以是工作台或固定夹具的边缘,灯珠通过IO板与计算机连接。
3.根据权利要求1所述的机器人与工业相机手眼标定的方法,其特征在于所述步骤1中工业相机在任何需要标定的位置上时,相机视野内至少有9颗灯珠。
4.根据权利要求1所述的机器人与工业相机手眼标定的方法,其特征在于所述工位如果空间较大,可以将工位划为若干个区域,在任意一个区域内用上述方法进行相机和机器人的手眼标定即可。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010231753.9A CN111452043B (zh) | 2020-03-27 | 2020-03-27 | 机器人与工业相机手眼标定的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010231753.9A CN111452043B (zh) | 2020-03-27 | 2020-03-27 | 机器人与工业相机手眼标定的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111452043A CN111452043A (zh) | 2020-07-28 |
CN111452043B true CN111452043B (zh) | 2023-02-17 |
Family
ID=71672526
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010231753.9A Active CN111452043B (zh) | 2020-03-27 | 2020-03-27 | 机器人与工业相机手眼标定的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111452043B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112837377A (zh) * | 2021-01-13 | 2021-05-25 | 上海力信测量***有限公司 | 一种相机内外参联合标定*** |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103817699A (zh) * | 2013-09-25 | 2014-05-28 | 浙江树人大学 | 一种快速的工业机器人手眼协调方法 |
CN105522576A (zh) * | 2014-10-27 | 2016-04-27 | 广明光电股份有限公司 | 机器手臂自动再校正的方法 |
CN108436909A (zh) * | 2018-03-13 | 2018-08-24 | 南京理工大学 | 一种基于ros的相机和机器人的手眼标定方法 |
CN108582076A (zh) * | 2018-05-10 | 2018-09-28 | 武汉库柏特科技有限公司 | 一种基于标准球的机器人手眼标定方法及装置 |
CN108818536A (zh) * | 2018-07-12 | 2018-11-16 | 武汉库柏特科技有限公司 | 一种机器人手眼标定的在线偏移修正方法及装置 |
CN108972544A (zh) * | 2018-06-21 | 2018-12-11 | 华南理工大学 | 一种视觉激光传感器固定于机器人的手眼标定方法 |
CN109278044A (zh) * | 2018-09-14 | 2019-01-29 | 合肥工业大学 | 一种手眼标定及坐标转换方法 |
CN109789551A (zh) * | 2016-07-26 | 2019-05-21 | 西门子公司 | 用于控制机床端部元件的方法以及机床 |
JP2019195885A (ja) * | 2018-05-11 | 2019-11-14 | セイコーエプソン株式会社 | 制御装置およびロボットシステム |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08292019A (ja) * | 1995-04-20 | 1996-11-05 | Mazda Motor Corp | 物品検出装置の校正方法 |
JP2004045321A (ja) * | 2002-07-15 | 2004-02-12 | Mitsubishi Electric Corp | 位置計測システム |
JP6415190B2 (ja) * | 2014-09-03 | 2018-10-31 | キヤノン株式会社 | ロボット装置、ロボット制御プログラム、記録媒体、およびロボット装置の制御方法 |
CN107507243A (zh) * | 2016-06-14 | 2017-12-22 | 华为技术有限公司 | 一种摄像机参数调整方法、导播摄像机及*** |
CN107507558B (zh) * | 2017-06-27 | 2019-12-27 | 深圳市灵星雨科技开发有限公司 | 一种led显示屏的校正方法 |
CN107876970B (zh) * | 2017-12-13 | 2020-01-10 | 浙江工业大学 | 一种机器人多层多道焊接焊缝三维检测及焊缝拐点识别方法 |
CN109658460A (zh) * | 2018-12-11 | 2019-04-19 | 北京无线电测量研究所 | 一种机械臂末端相机手眼标定方法和*** |
CN110355755B (zh) * | 2018-12-15 | 2023-05-16 | 深圳铭杰医疗科技有限公司 | 机器人手眼***标定方法、装置、设备及存储介质 |
CN109719734B (zh) * | 2019-03-12 | 2021-12-21 | 湖南大学 | 一种机器人视觉引导的手机闪光灯组装***及组装方法 |
-
2020
- 2020-03-27 CN CN202010231753.9A patent/CN111452043B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103817699A (zh) * | 2013-09-25 | 2014-05-28 | 浙江树人大学 | 一种快速的工业机器人手眼协调方法 |
CN105522576A (zh) * | 2014-10-27 | 2016-04-27 | 广明光电股份有限公司 | 机器手臂自动再校正的方法 |
CN109789551A (zh) * | 2016-07-26 | 2019-05-21 | 西门子公司 | 用于控制机床端部元件的方法以及机床 |
CN108436909A (zh) * | 2018-03-13 | 2018-08-24 | 南京理工大学 | 一种基于ros的相机和机器人的手眼标定方法 |
CN108582076A (zh) * | 2018-05-10 | 2018-09-28 | 武汉库柏特科技有限公司 | 一种基于标准球的机器人手眼标定方法及装置 |
JP2019195885A (ja) * | 2018-05-11 | 2019-11-14 | セイコーエプソン株式会社 | 制御装置およびロボットシステム |
CN108972544A (zh) * | 2018-06-21 | 2018-12-11 | 华南理工大学 | 一种视觉激光传感器固定于机器人的手眼标定方法 |
CN108818536A (zh) * | 2018-07-12 | 2018-11-16 | 武汉库柏特科技有限公司 | 一种机器人手眼标定的在线偏移修正方法及装置 |
CN109278044A (zh) * | 2018-09-14 | 2019-01-29 | 合肥工业大学 | 一种手眼标定及坐标转换方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111452043A (zh) | 2020-07-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110202573B (zh) | 全自动手眼标定、工作平面标定方法及装置 | |
US8902307B2 (en) | Machine vision system editing environment for a part program in which a continuous stream of image acquisition operations are performed during a run mode | |
US7570795B2 (en) | Multi-region autofocus tool and mode | |
US5959425A (en) | Vision guided automatic robotic path teaching method | |
CN108717715A (zh) | 一种用于弧焊机器人的线结构光视觉***自动标定方法 | |
US20060133663A1 (en) | System and method for programming interrupting operations during moving image acquisition sequences in a vision system | |
CN111460955A (zh) | 一种自动跟踪点胶设备上的图像识别及处理*** | |
CN113522657B (zh) | 点胶编程方法 | |
CN109822568B (zh) | 机器人控制方法、***及存储介质 | |
CN111452043B (zh) | 机器人与工业相机手眼标定的方法 | |
US11247335B2 (en) | Semi-autonomous robot path planning | |
CN110237993A (zh) | 一种基于视觉检测的pcb板喷胶方法、喷胶***、喷胶机 | |
CN110039520B (zh) | 一种基于图像对比的示教、加工*** | |
CN102172806A (zh) | 基于图像识别技术的全自动焊接***及其运行方法 | |
CN109175841A (zh) | 多车型夹具切换控制方法 | |
CN112867252A (zh) | 一种铣刀式分板机***的控制方法 | |
CN104711785A (zh) | 一种基于视觉控制的电脑花样机 | |
CN102615665B (zh) | 一种自动定位***和方法 | |
US9167215B2 (en) | Machine vision system editing environment for a part program in which a continuous stream of image acquisition operations are performed during a run mode | |
CN110977260B (zh) | 白车身的智能补焊***及随动补焊方法 | |
CN110861076A (zh) | 一种机械臂的手眼标定装置 | |
CN110568699A (zh) | 一种最多支持12相机同时自动对焦的控制方法 | |
CN116038701A (zh) | 一种四轴机械臂的手眼标定方法及装置 | |
CN111811424B (zh) | 一种基于激光投影技术的设备及辅助制孔方法 | |
CN112435350A (zh) | 一种加工轨迹形变补偿方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |