CN104626169B - 基于视觉与机械综合定位的机器人抓取零件的方法 - Google Patents

基于视觉与机械综合定位的机器人抓取零件的方法 Download PDF

Info

Publication number
CN104626169B
CN104626169B CN201410817853.4A CN201410817853A CN104626169B CN 104626169 B CN104626169 B CN 104626169B CN 201410817853 A CN201410817853 A CN 201410817853A CN 104626169 B CN104626169 B CN 104626169B
Authority
CN
China
Prior art keywords
robot
processing module
captured
coordinate system
image information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410817853.4A
Other languages
English (en)
Other versions
CN104626169A (zh
Inventor
曾建风
潘晓勇
刘兵
吴鲁滨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Changhong Electric Co Ltd
Original Assignee
Sichuan Changhong Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Changhong Electric Co Ltd filed Critical Sichuan Changhong Electric Co Ltd
Priority to CN201410817853.4A priority Critical patent/CN104626169B/zh
Publication of CN104626169A publication Critical patent/CN104626169A/zh
Application granted granted Critical
Publication of CN104626169B publication Critical patent/CN104626169B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Manipulator (AREA)

Abstract

本发明涉及工业自动化控制，针对现有工业控制中机器人采用传统方式抓取零件时要求零件的摆放位置及角度必须固定，不同尺寸和形状的零件需要不同定位工装设备的问题，提供一种新的基于视觉与机械综合定位的机器人抓取零件的方法，该方法具体包括如下步骤：步骤一、机器人的视觉***采集待抓取零件的数字图像信息并传输给处理模块；步骤二、处理模块将接收的数字图像信息与预存的待抓取零件的图像匹配模型进行对比匹配，得到待抓取零件的旋转角度及零件中心点在世界坐标系中的坐标；步骤三、处理模块根据所述旋转角度及零件中心点在世界坐标系中的坐标调整机器人爪手对待抓取零件进行抓取。本发明适用于工业自动化用机器人。

Description

基于视觉与机械综合定位的机器人抓取零件的方法
技术领域
本发明涉及工业自动化控制，特别涉及一种基于视觉与机械综合定位的机器人抓取零件方法。
背景技术
目前，搬运机器人广泛应用于工业各个领域中，零件的抓取是机器人搬运工程中的一个重要环节。传统的机器人采用示教再现的工作方式，通过示教规划机器人运动路线与动作，然后再现示教的内容。采用传统方式抓取零件时要求零件的摆放位置及角度必须固定，不同尺寸和形状的零件需要不同定位工装设备，成本高、效率低、自动化程度低，且柔性低。
发明内容
针对采用传统机器人抓取零件所存在的不足，本发明提出了一种基于视觉与机械综合定位的机器人抓取零件的方法，该方法的具体步骤如下：
A.机器人的视觉***采集待抓取零件的数字图像信息并传输给处理模块；
B.处理模块将接收的数字图像信息与预存的待抓取零件的图像匹配模型进行对比匹配，得到待抓取零件的旋转角度及零件中心点在世界坐标系中的坐标；
C.处理模块根据所述旋转角度及零件中心点在世界坐标系中的坐标调整机器人爪手对待抓取零件进行抓取。
具体地，步骤B得到待抓取零件的旋转角度包括下述步骤：
B1.处理模块对数字图像信息进行预处理，获取待抓取零件的边缘轮廓；
B2.根据待抓取零件的图像匹配模型及所述待抓取零件的边缘轮廓计算得到待抓取零件的旋转角度。
具体地，步骤B得到零件中心点在世界坐标系中的坐标的具体方法为：
B3.通过所述边缘轮廓计算出零件的最小包矩形，计算出矩形的中心点在图像坐标系中的XY坐标；
B4.根据所述中心点在图像坐标系中的XY坐标,通过相机标定到世界坐标系中，调整机器人爪手上机械触头的平面位置，使其处于零件中心的正上方；
B5.调整机械触头的高度使其接触零件，当机械触头接触到零件时，机械触头上的传感器产生触发信号并将触发信号传输给处理模块；
B6.处理模块根据触发信号记录下机械触头所下降的高度，并根据机械触头的初始位置，计算出零件在世界坐标系中的Z轴坐标。
一种优选的方案是，所述视觉***为摄像头。
本发明的有益效果是：与传统方式相比，采用视觉与机械综合定位的方式来抓取零件，无需精确的机械预定位，减少了不同零件的定位工装设备，降低硬件成本，提高设备的自动化程度以及柔性度。采用普通摄像头取代工业级CCD实现零件的二维定位，降低硬件成本，提高设备的自动化程度以及柔性度。同时采用机械触头触发方式，获取零件的高度信息以实现零件的三维定位，减少图像处理算法的计算量，提高设备的稳定性以及定位精度。
附图说明
图1为实施例的基于视觉与机械综合定位的机器人抓取零件的方法的流程图。
具体实施方式
下面结合附图及实施例对本发明的技术方案作进一步描述，应当注意的是，实施例仅仅是为了帮助读者更好地理解本发明的技术构思，并不用以限制本发明权利要求的保护范围。
本发明针对现有工业控制中机器人采用传统方式抓取零件时要求零件的摆放位置及角度必须固定，不同尺寸和形状的零件需要不同定位工装设备，成本高、效率低、自动化程度低，且柔性低等问题，提供一种新的基于视觉与机械综合定位的机器人抓取零件的方法，该方法具体包括如下步骤：
步骤一、机器人的视觉***采集待抓取零件的数字图像信息并传输给处理模块；
步骤二、处理模块将接收的数字图像信息与预存的待抓取零件的图像匹配模型进行对比匹配，得到待抓取零件的旋转角度及零件中心点在世界坐标系中的坐标；
步骤三、处理模块根据所述旋转角度及零件中心点在世界坐标系中的坐标调整机器人爪手对待抓取零件进行抓取。
实施例
下面以一实例说明本发明的技术方案，本发明的基于视觉与机械综合定位的机器人抓取零件的方法的流程图如图1所示。
1)首先根据待抓取的零件，设置抓取料号，根据料号的不同选择合适的机械爪手，并读取与该料号相匹配的标准零件匹配模型。标准零件匹配模型是在离线状态下对标准零件进行离线训练得到的，读取之后将标准零件模型信息进行存储备用。
2)启动摄像头，采集待抓取零件的数字图像信息，并将采集到的数字图像通过通信端口传输到计算机，此步骤中的计算机一般是内置于机器人中，特殊情况下，也可以将机器人与计算机分开，但是此时机器人必须具备通信功能。
3)对步骤2)中的得到的数字图像信息进行预处理操作，取出零件的边缘轮廓。
4)通过零件的边缘轮廓计算出零件的最小包为矩形，计算出矩形的中心点坐标(Xp,Yp)，利用零件的标准图像模板与图像进行匹配计算，得到零件的旋转角度θp。
5)通过相机标定，将步骤4)中得到的零件像素坐标转为了机器人坐标系中的世界坐标(Xr,Yr,θr)。
6)根据步骤5)得到的零件的二维坐标(Xr,Yr)，首先调节机械触头二维平面位置使其处于零件中心点的正上方。然后，调节机械触头的高度使之接触零件，当机械触头接触到零件时，触头前方的传感器产生触发信号，控制器接收到机械触头的触发信号后，记录机械触头所下降的高度Zh，根据机械触头的初始位置，计算出零件在世界坐标系中的Z轴坐标Zr。
7)根据零件的的坐标(Xr,Yr,Zr,θr)，调整机械爪手的位姿，实现零件的精确抓取。

Claims (2)

1.基于视觉与机械综合定位的机器人抓取零件的方法，其特征在于，包括如下步骤：
A.机器人的视觉***采集待抓取零件的数字图像信息并传输给处理模块；
B.处理模块将接收的数字图像信息与预存的待抓取零件的图像匹配模型进行对比匹配，得到待抓取零件的旋转角度及零件中心点在世界坐标系中的坐标，具体包括步骤B1至B6：
B1.处理模块对数字图像信息进行预处理，获取待抓取零件的边缘轮廓；
B2.根据待抓取零件的图像匹配模型及所述待抓取零件的边缘轮廓计算得到待抓取零件的旋转角度；
B3.通过所述边缘轮廓计算出零件的最小包矩形，计算出矩形的中心点在图像坐标系中的XY坐标；
B4.根据所述中心点在图像坐标系中的XY坐标,通过相机标定到世界坐标系中，调整机器人爪手上机械触头的平面位置，使其处于零件中心的正上方；
B5.调整机械触头的高度使其接触零件，当机械触头接触到零件时，机械触头上的传感器产生触发信号并将触发信号传输给处理模块；
B6.处理模块根据触发信号记录下机械触头所下降的高度，并根据机械触头的初始位置，计算出零件在世界坐标系中的Z轴坐标；
C.处理模块根据所述旋转角度及零件中心点在世界坐标系中的坐标调整机器人爪手对待抓取零件进行抓取。
2.如权利要求1所述的基于视觉与机械综合定位的机器人抓取零件的方法，其特征在于，所述视觉***为摄像头。
CN201410817853.4A 2014-12-24 2014-12-24 基于视觉与机械综合定位的机器人抓取零件的方法 Active CN104626169B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410817853.4A CN104626169B (zh) 2014-12-24 2014-12-24 基于视觉与机械综合定位的机器人抓取零件的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410817853.4A CN104626169B (zh) 2014-12-24 2014-12-24 基于视觉与机械综合定位的机器人抓取零件的方法

Publications (2)

Publication Number Publication Date
CN104626169A CN104626169A (zh) 2015-05-20
CN104626169B true CN104626169B (zh) 2017-03-22

Family

ID=53205633

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410817853.4A Active CN104626169B (zh) 2014-12-24 2014-12-24 基于视觉与机械综合定位的机器人抓取零件的方法

Country Status (1)

Country Link
CN (1) CN104626169B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105066984B (zh) * 2015-07-16 2019-03-12 深圳訾岽科技有限公司 一种视觉定位方法及***
CN105345431B (zh) * 2015-11-25 2017-07-28 四川长虹电器股份有限公司 基于工业机器人的自动插件机控制***
CN106671083B (zh) * 2016-12-03 2019-03-19 安徽松科智能装备有限公司 一种基于机器视觉检测的装配机器人***
CN106845354B (zh) * 2016-12-23 2020-01-03 中国科学院自动化研究所 零件视图库构建方法、零件定位抓取方法及装置
CN107265129A (zh) * 2017-06-02 2017-10-20 成都福莫斯智能***集成服务有限公司 采用图像识别辅助机器人堆垛的***
CN107161392B (zh) * 2017-06-16 2023-07-07 东莞晶苑毛织制衣有限公司 自动检测、抓取衣服装箱***及其衣服装箱方法
CN107671008A (zh) * 2017-11-13 2018-02-09 中国科学院合肥物质科学研究院 一种基于视觉的零部件流水线自动分拣装箱设备
CN108393676B (zh) * 2018-01-25 2020-04-07 嘉兴微芒科技有限公司 自动化彩妆装配的模型设定方法
CN108381549B (zh) * 2018-01-26 2021-12-14 广东三三智能科技有限公司 一种双目视觉引导机器人快速抓取方法、装置及存储介质
CN108297084A (zh) * 2018-03-16 2018-07-20 五邑大学 一种基于图像识别的智能传送带式机械臂***
CN108711173A (zh) * 2018-04-13 2018-10-26 深圳安博电子有限公司 多目标识别方法及装置
CN108890636A (zh) * 2018-07-06 2018-11-27 陕西大中科技发展有限公司 一种工业机器人的抓取定位方法
CN108858202B (zh) * 2018-08-16 2020-11-10 中国科学院自动化研究所 基于“对准-趋近-抓取”的零件抓取装置的控制方法
CN109926817B (zh) * 2018-12-20 2021-05-07 南京理工大学 基于机器视觉的变压器自动装配方法
CN110039525A (zh) * 2019-05-25 2019-07-23 塞伯睿机器人技术（长沙）有限公司 6s管理用机器人
CN110625644B (zh) * 2019-09-19 2022-04-08 河海大学常州校区 一种基于机器视觉的工件抓取方法
CN111932490B (zh) * 2020-06-05 2023-05-05 浙江大学 一种用于工业机器人的视觉***抓取信息提取方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101559600A (zh) * 2009-05-07 2009-10-21 上海交通大学 服务机器人抓取引导***及其方法
CN102120307B (zh) * 2010-12-23 2012-07-04 中国科学院自动化研究所 一种基于视觉信息的工业机器人磨削***及方法
CN102200780A (zh) * 2011-04-21 2011-09-28 苏州悦控自动化科技有限公司 一种实现3h型ccd视觉工业机器人的方法
JP2013010157A (ja) * 2011-06-29 2013-01-17 Seiko Epson Corp ロボット制御システム、ロボットシステム及びマーカー処理方法
JP2013066963A (ja) * 2011-09-21 2013-04-18 Seiko Epson Corp ロボット制御装置、及びロボットシステム
CN104058260B (zh) * 2013-09-27 2016-07-20 沈阳工业大学 基于视觉处理的机器人自动码垛方法
CN103846606B (zh) * 2014-02-17 2015-09-02 华南理工大学 基于机器视觉的焊接轨迹校正专用测试装置及方法
CN103895042A (zh) * 2014-02-28 2014-07-02 华南理工大学 一种基于视觉引导的工业机器人工件定位抓取方法及***

Also Published As

Publication number Publication date
CN104626169A (zh) 2015-05-20

Similar Documents

Publication Publication Date Title
CN104626169B (zh) 基于视觉与机械综合定位的机器人抓取零件的方法
CN111452040B (zh) 在引导装配环境中将机器视觉坐标空间关联的***和方法
CN106041937B (zh) 一种基于双目立体视觉的机械手抓取控制***的控制方法
CN105729468B (zh) 一种基于多深度摄像机增强的机器人工作台
CN107767423B (zh) 一种基于双目视觉的机械臂目标定位抓取方法
WO2019114339A1 (zh) 机械臂运动的校正方法和装置
CN107263468B (zh) 一种利用数字图像处理技术的scara机器人装配方法
CN110163912B (zh) 二维码位姿标定方法、装置及***
Nerakae et al. Using machine vision for flexible automatic assembly system
CN106044570B (zh) 一种采用机器视觉的钢卷吊自动识别装置和方法
CN110751691B (zh) 一种基于双目视觉的管件自动抓取方法
CN110293559B (zh) 一种自动识别定位对准的安装方法
CN105225225B (zh) 一种基于机器视觉的皮革自动划线方法和装置
CN107150032A (zh) 一种基于多图像获取设备的工件识别与分拣装置和方法
CN105690393A (zh) 一种基于机器视觉的四轴并联机器人分拣***及其分拣方法
CN105345431A (zh) 基于工业机器人的自动插件机控制***
CN113689509A (zh) 基于双目视觉的无序抓取方法、***及存储介质
Pan et al. Manipulator package sorting and placing system based on computer vision
JP6424432B2 (ja) 制御装置、ロボットシステム、ロボット及びロボット制御方法
CN106926241A (zh) 一种基于视觉引导的双臂机器人装配方法及***
Lin et al. Vision based object grasping of industrial manipulator
CN206643574U (zh) 一种自动接插件装配机器人***
CN104874692A (zh) 自动化冲压线一模双件视觉对中控制***
JP2015003348A (ja) ロボット制御システム、制御装置、ロボット、ロボット制御システムの制御方法及びロボットの制御方法
CN205552536U (zh) 一种基于机器视觉的四轴并联机器人分拣***

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant