CN104626169A - 基于视觉与机械综合定位的机器人抓取零件的方法 - Google Patents
基于视觉与机械综合定位的机器人抓取零件的方法 Download PDFInfo
- Publication number
- CN104626169A CN104626169A CN201410817853.4A CN201410817853A CN104626169A CN 104626169 A CN104626169 A CN 104626169A CN 201410817853 A CN201410817853 A CN 201410817853A CN 104626169 A CN104626169 A CN 104626169A
- Authority
- CN
- China
- Prior art keywords
- robot
- processing module
- coordinate system
- capture
- mechanical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Manipulator (AREA)
Abstract
本发明涉及工业自动化控制,针对现有工业控制中机器人采用传统方式抓取零件时要求零件的摆放位置及角度必须固定,不同尺寸和形状的零件需要不同定位工装设备的问题,提供一种新的基于视觉与机械综合定位的机器人抓取零件的方法,该方法具体包括如下步骤:步骤一、机器人的视觉***采集待抓取零件的数字图像信息并传输给处理模块;步骤二、处理模块将接收的数字图像信息与预存的待抓取零件的图像匹配模型进行对比匹配,得到待抓取零件的旋转角度及零件中心点在世界坐标系中的坐标;步骤三、处理模块根据所述旋转角度及零件中心点在世界坐标系中的坐标调整机器人爪手对待抓取零件进行抓取。本发明适用于工业自动化用机器人。
Description
技术领域
本发明涉及工业自动化控制,特别涉及一种基于视觉与机械综合定位的机器人抓取零件方法。
背景技术
目前,搬运机器人广泛应用于工业各个领域中,零件的抓取是机器人搬运工程中的一个重要环节。传统的机器人采用示教再现的工作方式,通过示教规划机器人运动路线与动作,然后再现示教的内容。采用传统方式抓取零件时要求零件的摆放位置及角度必须固定,不同尺寸和形状的零件需要不同定位工装设备,成本高、效率低、自动化程度低,且柔性低。
发明内容
针对采用传统机器人抓取零件所存在的不足,本发明提出了一种基于视觉与机械综合定位的机器人抓取零件的方法,该方法的具体步骤如下:
A.机器人的视觉***采集待抓取零件的数字图像信息并传输给处理模块;
B.处理模块将接收的数字图像信息与预存的待抓取零件的图像匹配模型进行对比匹配,得到待抓取零件的旋转角度及零件中心点在世界坐标系中的坐标;
C.处理模块根据所述旋转角度及零件中心点在世界坐标系中的坐标调整机器人爪手对待抓取零件进行抓取。
具体地,步骤B得到待抓取零件的旋转角度包括下述步骤:
B1.处理模块对数字图像信息进行预处理,获取待抓取零件的边缘轮廓;
B2.根据待抓取零件的图像匹配模型及所述待抓取零件的边缘轮廓计算得到待抓取零件的旋转角度。
具体地,步骤B得到零件中心点在世界坐标系中的坐标的具体方法为:
B3.通过所述边缘轮廓计算出零件的最小包矩形,计算出矩形的中心点在图像坐标系中的XY坐标;
B4.根据所述中心点在图像坐标系中的XY坐标,通过相机标定到世界坐标系中,调整机器人爪手上机械触头的平面位置,使其处于零件中心的正上方;
B5.调整机械触头的高度使其接触零件,当机械触头接触到零件时,机械触头上的传感器产生触发信号并将触发信号传输给处理模块;
B6.处理模块根据触发信号记录下机械触头所下降的高度,并根据机械触头的初始位置, 计算出零件在世界坐标系中的Z轴坐标。
一种优选的方案是,所述视觉***为摄像头。
本发明的有益效果是:与传统方式相比,采用视觉与机械综合定位的方式来抓取零件,无需精确的机械预定位,减少了不同零件的定位工装设备,降低硬件成本,提高设备的自动化程度以及柔性度。采用普通摄像头取代工业级CCD实现零件的二维定位,降低硬件成本,提高设备的自动化程度以及柔性度。同时采用机械触头触发方式,获取零件的高度信息以实现零件的三维定位,减少图像处理算法的计算量,提高设备的稳定性以及定位精度。
附图说明
图1为实施例的基于视觉与机械综合定位的机器人抓取零件的方法的流程图。
具体实施方式
下面结合附图及实施例对本发明的技术方案作进一步描述,应当注意的是,实施例仅仅是为了帮助读者更好地理解本发明的技术构思,并不用以限制本发明权利要求的保护范围。
本发明针对现有工业控制中机器人采用传统方式抓取零件时要求零件的摆放位置及角度必须固定,不同尺寸和形状的零件需要不同定位工装设备,成本高、效率低、自动化程度低,且柔性低等问题,提供一种新的基于视觉与机械综合定位的机器人抓取零件的方法,该方法具体包括如下步骤:
步骤一、机器人的视觉***采集待抓取零件的数字图像信息并传输给处理模块;
步骤二、处理模块将接收的数字图像信息与预存的待抓取零件的图像匹配模型进行对比匹配,得到待抓取零件的旋转角度及零件中心点在世界坐标系中的坐标;
步骤三、处理模块根据所述旋转角度及零件中心点在世界坐标系中的坐标调整机器人爪手对待抓取零件进行抓取。
实施例
下面以一实例说明本发明的技术方案,本发明的基于视觉与机械综合定位的机器人抓取零件的方法的流程图如图1所示。
1)首先根据待抓取的零件,设置抓取料号,根据料号的不同选择合适的机械爪手,并读取与该料号相匹配的标准零件匹配模型。标准零件匹配模型是在离线状态下对标准零件进行离线训练得到的,读取之后将标准零件模型信息进行存储备用。
2)启动摄像头,采集待抓取零件的数字图像信息,并将采集到的数字图像通过通信端口传输到计算机,此步骤中的计算机一般是内置于机器人中,特殊情况下,也可以将机器人与计算机分开,但是此时机器人必须具备通信功能。
3)对步骤2)中的得到的数字图像信息进行预处理操作,取出零件的边缘轮廓。
4)通过零件的边缘轮廓计算出零件的最小包为矩形,计算出矩形的中心点坐标(Xp,Yp),利用零件的标准图像模板与图像进行匹配计算,得到零件的旋转角度θp。
5)通过相机标定,将步骤4)中得到的零件像素坐标转为了机器人坐标系中的世界坐标(Xr,Yr,θr)。
6)根据步骤5)得到的零件的二维坐标(Xr,Yr),首先调节机械触头二维平面位置使其处于零件中心点的正上方。然后,调节机械触头的高度使之接触零件,当机械触头接触到零件时,触头前方的传感器产生触发信号,控制器接收到机械触头的触发信号后,记录机械触头所下降的高度Zh,根据机械触头的初始位置,计算出零件在世界坐标系中的Z轴坐标Zr。
7)根据零件的坐标(Xr,Yr,Zr,θr),调整机械爪手的位姿,实现零件的精确抓取。
Claims (4)
1.基于视觉与机械综合定位的机器人抓取零件的方法,其特征在于,包括如下步骤:
A.机器人的视觉***采集待抓取零件的数字图像信息并传输给处理模块;
B.处理模块将接收的数字图像信息与预存的待抓取零件的图像匹配模型进行对比匹配,得到待抓取零件的旋转角度及零件中心点在世界坐标系中的坐标;
C.处理模块根据所述旋转角度及零件中心点在世界坐标系中的坐标调整机器人爪手对待抓取零件进行抓取。
2.如权利要求1所述的基于视觉与机械综合定位的机器人抓取零件的方法,其特征在于,步骤B得到待抓取零件的旋转角度包括下述步骤:
B1.处理模块对数字图像信息进行预处理,获取待抓取零件的边缘轮廓;
B2.根据待抓取零件的图像匹配模型及所述待抓取零件的边缘轮廓计算得到待抓取零件的旋转角度。
3.如权利要求2所述的基于视觉与机械综合定位的机器人抓取零件的方法,其特征在于,步骤B得到零件中心点在世界坐标系中的坐标的具体方法为:
B3.通过所述边缘轮廓计算出零件的最小包矩形,计算出矩形的中心点在图像坐标系中的XY坐标;
B4.根据所述中心点在图像坐标系中的XY坐标,通过相机标定到世界坐标系中,调整机器人爪手上机械触头的平面位置,使其处于零件中心的正上方;
B5.调整机械触头的高度使其接触零件,当机械触头接触到零件时,机械触头上的传感器产生触发信号并将触发信号传输给处理模块;
B6.处理模块根据触发信号记录下机械触头所下降的高度,并根据机械触头的初始位置,计算出零件在世界坐标系中的Z轴坐标。
4.如权利要求1至4任意一项所述的基于视觉与机械综合定位的机器人抓取零件的方法,其特征在于,所述视觉***为摄像头。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410817853.4A CN104626169B (zh) | 2014-12-24 | 2014-12-24 | 基于视觉与机械综合定位的机器人抓取零件的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410817853.4A CN104626169B (zh) | 2014-12-24 | 2014-12-24 | 基于视觉与机械综合定位的机器人抓取零件的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104626169A true CN104626169A (zh) | 2015-05-20 |
CN104626169B CN104626169B (zh) | 2017-03-22 |
Family
ID=53205633
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410817853.4A Active CN104626169B (zh) | 2014-12-24 | 2014-12-24 | 基于视觉与机械综合定位的机器人抓取零件的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104626169B (zh) |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105066984A (zh) * | 2015-07-16 | 2015-11-18 | 深圳訾岽科技有限公司 | 一种视觉定位方法及*** |
CN105345431A (zh) * | 2015-11-25 | 2016-02-24 | 四川长虹电器股份有限公司 | 基于工业机器人的自动插件机控制*** |
CN106671083A (zh) * | 2016-12-03 | 2017-05-17 | 安徽松科智能装备有限公司 | 一种基于机器视觉检测的装配机器人*** |
CN106845354A (zh) * | 2016-12-23 | 2017-06-13 | 中国科学院自动化研究所 | 零件视图库构建方法、零件定位抓取方法及装置 |
CN107161392A (zh) * | 2017-06-16 | 2017-09-15 | 东莞晶苑毛织制衣有限公司 | 自动检测、抓取衣服装箱***及其使用方法 |
CN107265129A (zh) * | 2017-06-02 | 2017-10-20 | 成都福莫斯智能***集成服务有限公司 | 采用图像识别辅助机器人堆垛的*** |
CN107671008A (zh) * | 2017-11-13 | 2018-02-09 | 中国科学院合肥物质科学研究院 | 一种基于视觉的零部件流水线自动分拣装箱设备 |
CN108297084A (zh) * | 2018-03-16 | 2018-07-20 | 五邑大学 | 一种基于图像识别的智能传送带式机械臂*** |
CN108381549A (zh) * | 2018-01-26 | 2018-08-10 | 广东三三智能科技有限公司 | 一种双目视觉引导机器人快速抓取方法、装置及存储介质 |
CN108393676A (zh) * | 2018-01-25 | 2018-08-14 | 嘉兴微芒科技有限公司 | 自动化彩妆装配的模型设定方法 |
CN108711173A (zh) * | 2018-04-13 | 2018-10-26 | 深圳安博电子有限公司 | 多目标识别方法及装置 |
CN108858202A (zh) * | 2018-08-16 | 2018-11-23 | 中国科学院自动化研究所 | 基于“对准-趋近-抓取”的零件抓取装置的控制方法 |
CN108890636A (zh) * | 2018-07-06 | 2018-11-27 | 陕西大中科技发展有限公司 | 一种工业机器人的抓取定位方法 |
CN109926817A (zh) * | 2018-12-20 | 2019-06-25 | 南京理工大学 | 基于机器视觉的变压器自动装配方法 |
CN110039525A (zh) * | 2019-05-25 | 2019-07-23 | 塞伯睿机器人技术(长沙)有限公司 | 6s管理用机器人 |
CN110625644A (zh) * | 2019-09-19 | 2019-12-31 | 河海大学常州校区 | 一种基于机器视觉的工件抓取方法 |
CN111932490A (zh) * | 2020-06-05 | 2020-11-13 | 浙江大学 | 一种用于工业机器人的视觉***抓取信息提取方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101559600A (zh) * | 2009-05-07 | 2009-10-21 | 上海交通大学 | 服务机器人抓取引导***及其方法 |
CN102120307A (zh) * | 2010-12-23 | 2011-07-13 | 中国科学院自动化研究所 | 一种基于视觉信息的工业机器人磨削***及方法 |
CN102200780A (zh) * | 2011-04-21 | 2011-09-28 | 苏州悦控自动化科技有限公司 | 一种实现3h型ccd视觉工业机器人的方法 |
JP2013010157A (ja) * | 2011-06-29 | 2013-01-17 | Seiko Epson Corp | ロボット制御システム、ロボットシステム及びマーカー処理方法 |
JP2013066963A (ja) * | 2011-09-21 | 2013-04-18 | Seiko Epson Corp | ロボット制御装置、及びロボットシステム |
CN103846606A (zh) * | 2014-02-17 | 2014-06-11 | 华南理工大学 | 基于机器视觉的焊接轨迹校正专用测试装置及方法 |
CN103895042A (zh) * | 2014-02-28 | 2014-07-02 | 华南理工大学 | 一种基于视觉引导的工业机器人工件定位抓取方法及*** |
CN104058260A (zh) * | 2013-09-27 | 2014-09-24 | 沈阳工业大学 | 基于视觉处理的机器人自动码垛方法 |
-
2014
- 2014-12-24 CN CN201410817853.4A patent/CN104626169B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101559600A (zh) * | 2009-05-07 | 2009-10-21 | 上海交通大学 | 服务机器人抓取引导***及其方法 |
CN102120307A (zh) * | 2010-12-23 | 2011-07-13 | 中国科学院自动化研究所 | 一种基于视觉信息的工业机器人磨削***及方法 |
CN102200780A (zh) * | 2011-04-21 | 2011-09-28 | 苏州悦控自动化科技有限公司 | 一种实现3h型ccd视觉工业机器人的方法 |
JP2013010157A (ja) * | 2011-06-29 | 2013-01-17 | Seiko Epson Corp | ロボット制御システム、ロボットシステム及びマーカー処理方法 |
JP2013066963A (ja) * | 2011-09-21 | 2013-04-18 | Seiko Epson Corp | ロボット制御装置、及びロボットシステム |
CN104058260A (zh) * | 2013-09-27 | 2014-09-24 | 沈阳工业大学 | 基于视觉处理的机器人自动码垛方法 |
CN103846606A (zh) * | 2014-02-17 | 2014-06-11 | 华南理工大学 | 基于机器视觉的焊接轨迹校正专用测试装置及方法 |
CN103895042A (zh) * | 2014-02-28 | 2014-07-02 | 华南理工大学 | 一种基于视觉引导的工业机器人工件定位抓取方法及*** |
Cited By (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105066984A (zh) * | 2015-07-16 | 2015-11-18 | 深圳訾岽科技有限公司 | 一种视觉定位方法及*** |
CN105066984B (zh) * | 2015-07-16 | 2019-03-12 | 深圳訾岽科技有限公司 | 一种视觉定位方法及*** |
CN105345431B (zh) * | 2015-11-25 | 2017-07-28 | 四川长虹电器股份有限公司 | 基于工业机器人的自动插件机控制*** |
CN105345431A (zh) * | 2015-11-25 | 2016-02-24 | 四川长虹电器股份有限公司 | 基于工业机器人的自动插件机控制*** |
CN106671083A (zh) * | 2016-12-03 | 2017-05-17 | 安徽松科智能装备有限公司 | 一种基于机器视觉检测的装配机器人*** |
CN106671083B (zh) * | 2016-12-03 | 2019-03-19 | 安徽松科智能装备有限公司 | 一种基于机器视觉检测的装配机器人*** |
CN106845354B (zh) * | 2016-12-23 | 2020-01-03 | 中国科学院自动化研究所 | 零件视图库构建方法、零件定位抓取方法及装置 |
CN106845354A (zh) * | 2016-12-23 | 2017-06-13 | 中国科学院自动化研究所 | 零件视图库构建方法、零件定位抓取方法及装置 |
CN107265129A (zh) * | 2017-06-02 | 2017-10-20 | 成都福莫斯智能***集成服务有限公司 | 采用图像识别辅助机器人堆垛的*** |
CN107161392A (zh) * | 2017-06-16 | 2017-09-15 | 东莞晶苑毛织制衣有限公司 | 自动检测、抓取衣服装箱***及其使用方法 |
CN107671008A (zh) * | 2017-11-13 | 2018-02-09 | 中国科学院合肥物质科学研究院 | 一种基于视觉的零部件流水线自动分拣装箱设备 |
CN108393676A (zh) * | 2018-01-25 | 2018-08-14 | 嘉兴微芒科技有限公司 | 自动化彩妆装配的模型设定方法 |
CN108393676B (zh) * | 2018-01-25 | 2020-04-07 | 嘉兴微芒科技有限公司 | 自动化彩妆装配的模型设定方法 |
CN108381549A (zh) * | 2018-01-26 | 2018-08-10 | 广东三三智能科技有限公司 | 一种双目视觉引导机器人快速抓取方法、装置及存储介质 |
CN108381549B (zh) * | 2018-01-26 | 2021-12-14 | 广东三三智能科技有限公司 | 一种双目视觉引导机器人快速抓取方法、装置及存储介质 |
CN108297084A (zh) * | 2018-03-16 | 2018-07-20 | 五邑大学 | 一种基于图像识别的智能传送带式机械臂*** |
CN108711173A (zh) * | 2018-04-13 | 2018-10-26 | 深圳安博电子有限公司 | 多目标识别方法及装置 |
CN108890636A (zh) * | 2018-07-06 | 2018-11-27 | 陕西大中科技发展有限公司 | 一种工业机器人的抓取定位方法 |
CN108858202A (zh) * | 2018-08-16 | 2018-11-23 | 中国科学院自动化研究所 | 基于“对准-趋近-抓取”的零件抓取装置的控制方法 |
CN109926817A (zh) * | 2018-12-20 | 2019-06-25 | 南京理工大学 | 基于机器视觉的变压器自动装配方法 |
CN110039525A (zh) * | 2019-05-25 | 2019-07-23 | 塞伯睿机器人技术(长沙)有限公司 | 6s管理用机器人 |
CN110625644A (zh) * | 2019-09-19 | 2019-12-31 | 河海大学常州校区 | 一种基于机器视觉的工件抓取方法 |
CN110625644B (zh) * | 2019-09-19 | 2022-04-08 | 河海大学常州校区 | 一种基于机器视觉的工件抓取方法 |
CN111932490A (zh) * | 2020-06-05 | 2020-11-13 | 浙江大学 | 一种用于工业机器人的视觉***抓取信息提取方法 |
CN111932490B (zh) * | 2020-06-05 | 2023-05-05 | 浙江大学 | 一种用于工业机器人的视觉***抓取信息提取方法 |
Also Published As
Publication number | Publication date |
---|---|
CN104626169B (zh) | 2017-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104626169B (zh) | 基于视觉与机械综合定位的机器人抓取零件的方法 | |
CN106041937B (zh) | 一种基于双目立体视觉的机械手抓取控制***的控制方法 | |
CN107767423B (zh) | 一种基于双目视觉的机械臂目标定位抓取方法 | |
CN109230580B (zh) | 一种基于混放物料信息采集的拆垛机器人***及方法 | |
CN111452040B (zh) | 在引导装配环境中将机器视觉坐标空间关联的***和方法 | |
WO2019114339A1 (zh) | 机械臂运动的校正方法和装置 | |
CN112091970B (zh) | 具有增强的扫描机制的机器人*** | |
CN105729468B (zh) | 一种基于多深度摄像机增强的机器人工作台 | |
CN110163912B (zh) | 二维码位姿标定方法、装置及*** | |
CN106737665B (zh) | 基于双目视觉和sift特征匹配的机械臂控制***及实现方法 | |
CN107263468B (zh) | 一种利用数字图像处理技术的scara机器人装配方法 | |
CN110293559B (zh) | 一种自动识别定位对准的安装方法 | |
CN106044570A (zh) | 一种采用机器视觉的钢卷吊自动识别装置和方法 | |
CN105345431A (zh) | 基于工业机器人的自动插件机控制*** | |
TWI685407B (zh) | 物件辦識及取物方法、物件辦識及取物系統 | |
CN111465188B (zh) | 异形电路板及元器件插件方法及装置 | |
CN106926241A (zh) | 一种基于视觉引导的双臂机器人装配方法及*** | |
Lin et al. | Vision based object grasping of industrial manipulator | |
CN204036474U (zh) | 工业机器人分拣*** | |
CN104874692A (zh) | 自动化冲压线一模双件视觉对中控制*** | |
CN102200780A (zh) | 一种实现3h型ccd视觉工业机器人的方法 | |
CN202028163U (zh) | 一种象棋开局摆棋*** | |
CN206416179U (zh) | 一种基于双目视觉的运动目标跟踪定位与抓取*** | |
JP2010214546A (ja) | 組立装置および組立方法 | |
CN115409878A (zh) | 一种工件整理归位的ai算法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |