CN109454638A - 一种基于视觉引导的机器人抓取*** - Google Patents
一种基于视觉引导的机器人抓取*** Download PDFInfo
- Publication number
- CN109454638A CN109454638A CN201811284359.0A CN201811284359A CN109454638A CN 109454638 A CN109454638 A CN 109454638A CN 201811284359 A CN201811284359 A CN 201811284359A CN 109454638 A CN109454638 A CN 109454638A
- Authority
- CN
- China
- Prior art keywords
- robot
- workpiece
- image
- based access
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
- B25J19/023—Optical sensing devices including video camera means
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Manipulator (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于视觉引导的机器人抓取***,包括:CCD相机、镜头、光源、工控机、工控机器人;所述CCD相机采用工业相机,使用千兆以太网与计算机通讯,CCD相机安装在传送带正上方。所述镜头采用定焦镜头。所述光源LED环形光源。所述用于接收CCD相机采集的图像信息并运用图像处理算法完成工件识别后转化成机器人控制信号以控制机器人末端执行器的实际位置。所述工控机器人采用6个旋转关节,由交流伺服电机驱动,用于生产线上抓取作业。本发明具有较高的定位精度,满足工业生产的要求,对于提高生产线的自动化水平具有重要意义。
Description
技术领域
本发明涉及一种基于视觉引导的机器人抓取***,属于智能化装配技术领域。
背景技术
目前,工件识别与抓取是生产线上工业机器人的一项重要应用,但是生产线上多数的工业机器人是通过预先示教或者离线编程的方式来控制机器人执行预定的指令动作,一旦工作环境或目标对象发生变化,机器人不能及时适应这些变化,从而导致抓取失败,因此,这种工作方式在很大程度上限制了工业机器人的灵活性和工作效率。
机器视觉技术具有快速和非接触的特点,将机器视觉技术引入工业机器人领域,通过视觉引导机器人进行抓取搬运等任务作业,对于提高生产线的自动化水平,拓宽机器人的应用范围都有十分重要的意义。
发明内容
目的:为了克服现有技术中存在的不足,本发明提出了一种基于视觉引导的机器人抓取***。
技术方案:为解决上述技术问题,本发明采用的技术方案为:
一种基于视觉引导的机器人抓取***,包括:CCD相机、镜头、光源、工控机、工控机器人。
作为优选方案,所述CCD相机采用工业相机,使用千兆以太网与计算机通讯,CCD相机安装在传送带正上方。
作为优选方案,所述镜头采用定焦镜头,焦距8mm,最大成像尺寸8.8mm×6.6mm。
作为优选方案,所述光源LED 环形光源。
作为优选方案,所述用于接收CCD相机采集的图像信息并运用图像处理算法完成工件识别后转化成机器人控制信号以控制机器人末端执行器的实际位置。
作为优选方案,所述工控机器人采用6 个旋转关节,由交流伺服电机驱动,末端重复定位精度0.01mm,用于生产线上抓取作业。
作为优选方案,所述工控机包括:抓取模块、模板匹配模块、运动目标跟踪模块;
所述抓取模块操作步骤如下:
步骤1.1:CCD摄像机定标,包括在摄像机的光轴中心建立坐标系,Z轴沿光轴方向,X轴取图像坐标沿图像坐标水平增加的方向,Z轴=f,f是摄像机的焦距;
步骤1.2:手眼坐标标定,包括工控机器人手眼坐标通过平面标靶标定法标定出坐标参数;
所述模板匹配模块操作步骤如下:
步骤2.1:将原始图像进行图像平滑、滤波等图像预处理,去除噪声的同时使工件的特征更加明显;
步骤2.2:在原始图像中选取目标工件的全部或局部图像作为模板图像TargetTemplate,建立模板学习模式时选择允许模板旋转的模式,然后在原始图像中定义一个搜索区域ROI(Region of interest),以 TargetTemplate为模板,通过灰度相关匹配,在搜索区域内找到模板的一个或多个实例,并给出它们的图像坐标和世界坐标信息;
所述运动目标跟踪模块操作步骤如下:
步骤3.1:卡尔曼滤波,包括通过相机标定和模板匹配得出了拍照时刻工件在传送带上的位置, 通过卡尔曼滤波器获知上一时刻状态的估计值以及当前状态的观测值,计算出当前状态的估计值,确定工件的运动状态。
步骤3.2:运动模型的建立,包括:设置工件的运动状态参数为某一时刻目标的位置和速度,在跟踪过程中,由于相邻两帧图像时间间隔较短, 工件运动状态变化比较小,可以假设目标在单位时间间隔内匀速运动,用卡尔曼滤波器估计出工件一定时间之后的位置,并据此规划工控机器人的运动轨迹和速度,将生成的控制指令通过控制柜控制机器人完成此次抓取动作。
有益效果:本发明提供的一种基于视觉引导的机器人抓取***,本***具有较高的定位精度,满足工业生产的要求,对于提高生产线的自动化水平具有重要意义。
附图说明
图1为本发明***的应用环境示意图。
具体实施方式
下面结合附图对本发明作更进一步的说明。
如图1所示,一种基于视觉引导的机器人抓取***,包括:CCD相机、镜头、光源、工控机、工控机器人;
所述CCD相机采用工业相机,使用千兆以太网与计算机通讯,CCD相机安装在传送带正上方。
所述镜头采用定焦镜头,焦距8mm,最大成像尺寸8.8mm×6.6mm。
所述光源LED 环形光源。
所述用于接收CCD相机采集的图像信息并运用图像处理算法完成工件识别后转化成机器人控制信号以控制机器人末端执行器的实际位置。
所述工控机器人采用6 个旋转关节,由交流伺服电机驱动,末端重复定位精度0.01mm,用于生产线上抓取作业。
所述工控机包括:抓取模块、模板匹配模块、运动目标跟踪模块。
所述抓取模块操作步骤如下:
步骤1.1:CCD摄像机定标,包括在摄像机的光轴中心建立坐标系,Z轴沿光轴方向,X轴取图像坐标沿图像坐标水平增加的方向,Z轴=f,f是摄像机的焦距;
步骤1.2:手眼坐标标定,包括工控机器人手眼坐标通过平面标靶标定法标定出坐标参数。
所述模板匹配模块操作步骤如下:
步骤2.1:将原始图像进行图像平滑、滤波等图像预处理,去除噪声的同时使工件的特征更加明显;
步骤2.2:在原始图像中选取目标工件的全部或局部图像作为模板图像TargetTemplate,建立模板学习模式时选择允许模板旋转的模式,然后在原始图像中定义一个搜索区域ROI(Region of interest),以 TargetTemplate为模板,通过灰度相关匹配,在搜索区域内找到模板的一个或多个实例,并给出它们的图像坐标和世界坐标信息。
所述运动目标跟踪模块操作步骤如下:
步骤3.1:卡尔曼滤波,包括通过相机标定和模板匹配得出了拍照时刻工件在传送带上的位置, 通过卡尔曼滤波器获知上一时刻状态的估计值以及当前状态的观测值,计算出当前状态的估计值,确定工件的运动状态。
步骤3.2:运动模型的建立,包括:设置工件的运动状态参数为某一时刻目标的位置和速度,在跟踪过程中,由于相邻两帧图像时间间隔较短, 工件运动状态变化比较小,可以假设目标在单位时间间隔内匀速运动,用卡尔曼滤波器估计出工件一定时间之后的位置,并据此规划工控机器人的运动轨迹和速度,将生成的控制指令通过控制柜控制机器人完成此次抓取动作。
实施例:
在本***使用中,CCD摄像机固定安装在传送带上方,传送带连续运转,工件从传送带一端进入摄像机视野,设置定时器,每0.5s触发相机采集一帧图像,图像大小为640×480,通过模版匹配方法确定工件的形心位置,通过两帧图像工件在运动方向的位移与拍摄这两帧图像的时间间隔可以计算出工件运动的速度,通过卡尔曼滤波预测下一时钟周期工件的位置,并规划机器人的运动轨迹,使工件运动到待抓取工位时机器人末端执行器的位姿与目标位姿重合,最后通过机器人运动学逆解,将位姿信息换算成工业机器人熟悉的关节角度和角度控制信息,从而实现利用视觉引导机器人准确地抓取工件。同时根据已抓取工件的放置要求,进一步引导机器人完成工件的定点放置,从而实现机器人搬运操作。
以上所述仅是本发明的优选实施方式,应当指出:对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (7)
1.一种基于视觉引导的机器人抓取***,其特征在于:包括:CCD相机、镜头、光源、工控机、工控机器人。
2.根据权利要求1所述的一种基于视觉引导的机器人抓取***,其特征在于:所述CCD相机采用工业相机,使用千兆以太网与计算机通讯,CCD相机安装在传送带正上方。
3.根据权利要求1所述的一种基于视觉引导的机器人抓取***,其特征在于:所述镜头采用定焦镜头,焦距8mm,最大成像尺寸8.8mm×6.6mm。
4.根据权利要求1所述的一种基于视觉引导的机器人抓取***,其特征在于:所述光源LED 环形光源。
5.根据权利要求1所述的一种基于视觉引导的机器人抓取***,其特征在于:所述用于接收CCD相机采集的图像信息并运用图像处理算法完成工件识别后转化成机器人控制信号以控制机器人末端执行器的实际位置。
6.根据权利要求1所述的一种基于视觉引导的机器人抓取***,其特征在于:所述工控机器人采用6 个旋转关节,由交流伺服电机驱动,末端重复定位精度0.01mm,用于生产线上抓取作业。
7.根据权利要求1至6任一项所述的一种基于视觉引导的机器人抓取***,其特征在于:所述工控机包括:抓取模块、模板匹配模块、运动目标跟踪模块;
所述抓取模块操作步骤如下:
步骤1.1:CCD摄像机定标,包括在摄像机的光轴中心建立坐标系,Z轴沿光轴方向,X轴取图像坐标沿图像坐标水平增加的方向,Z轴=f,f是摄像机的焦距;
步骤1.2:手眼坐标标定,包括工控机器人手眼坐标通过平面标靶标定法标定出坐标参数;
所述模板匹配模块操作步骤如下:
步骤2.1:将原始图像进行图像平滑、滤波等图像预处理,去除噪声的同时使工件的特征更加明显;
步骤2.2:在原始图像中选取目标工件的全部或局部图像作为模板图像TargetTemplate,建立模板学习模式时选择允许模板旋转的模式,然后在原始图像中定义一个搜索区域ROI(Region of interest),以 TargetTemplate为模板,通过灰度相关匹配,在搜索区域内找到模板的一个或多个实例,并给出它们的图像坐标和世界坐标信息;
所述运动目标跟踪模块操作步骤如下:
步骤3.1:卡尔曼滤波,包括通过相机标定和模板匹配得出了拍照时刻工件在传送带上的位置, 通过卡尔曼滤波器获知上一时刻状态的估计值以及当前状态的观测值,计算出当前状态的估计值,确定工件的运动状态;
步骤3.2:运动模型的建立,包括:设置工件的运动状态参数为某一时刻目标的位置和速度,在跟踪过程中,由于相邻两帧图像时间间隔较短, 工件运动状态变化比较小,可以假设目标在单位时间间隔内匀速运动,用卡尔曼滤波器估计出工件一定时间之后的位置,并据此规划工控机器人的运动轨迹和速度,将生成的控制指令通过控制柜控制机器人完成此次抓取动作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811284359.0A CN109454638A (zh) | 2018-10-31 | 2018-10-31 | 一种基于视觉引导的机器人抓取*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811284359.0A CN109454638A (zh) | 2018-10-31 | 2018-10-31 | 一种基于视觉引导的机器人抓取*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109454638A true CN109454638A (zh) | 2019-03-12 |
Family
ID=65608932
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811284359.0A Pending CN109454638A (zh) | 2018-10-31 | 2018-10-31 | 一种基于视觉引导的机器人抓取*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109454638A (zh) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109848998A (zh) * | 2019-03-29 | 2019-06-07 | 砚山永盛杰科技有限公司 | 一种用于3c行业视觉柔性的四轴机器人 |
CN110102490A (zh) * | 2019-05-23 | 2019-08-09 | 北京阿丘机器人科技有限公司 | 基于视觉技术的流水线包裹分拣装置和电子设备 |
CN110342252A (zh) * | 2019-07-01 | 2019-10-18 | 芜湖启迪睿视信息技术有限公司 | 一种物品自动抓取方法及自动抓取装置 |
CN110340887A (zh) * | 2019-06-12 | 2019-10-18 | 西安交通大学 | 一种基于图像的加油机器人视觉引导的方法 |
CN110421565A (zh) * | 2019-08-07 | 2019-11-08 | 江苏汇博机器人技术股份有限公司 | 一种用于实训的机器人全局定位与测量***和方法 |
CN110509281A (zh) * | 2019-09-16 | 2019-11-29 | 中国计量大学 | 基于双目视觉的位姿识别与抓取的装置与方法 |
CN110562553A (zh) * | 2019-08-22 | 2019-12-13 | 深海弈智京山智能科技有限公司 | 一种下纸视觉引导***及引导方法 |
CN111112885A (zh) * | 2019-11-26 | 2020-05-08 | 福尼斯智能装备(珠海)有限公司 | 一种视觉***在工件上下料及焊缝自适应定位的焊接*** |
CN111300401A (zh) * | 2019-11-06 | 2020-06-19 | 长沙迈迪克智能科技有限公司 | 一种血站冷库智能化视觉定位抓取***以及方法 |
CN112276908A (zh) * | 2020-10-23 | 2021-01-29 | 北京配天技术有限公司 | 工业机器人设备及其工件位置获取方法、***和装置 |
CN112605990A (zh) * | 2020-12-04 | 2021-04-06 | 广东拓斯达科技股份有限公司 | 一种机器人视觉控制方法和*** |
EP4033871A1 (en) | 2021-11-06 | 2022-07-27 | Fitech sp. z o.o. | Method of mounting suitable for positioning reeved components on a printed circuit board pcb |
CN115366098A (zh) * | 2022-07-29 | 2022-11-22 | 山东浪潮科学研究院有限公司 | 一种基于视觉引导的薄片状物体抓取*** |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103895042A (zh) * | 2014-02-28 | 2014-07-02 | 华南理工大学 | 一种基于视觉引导的工业机器人工件定位抓取方法及*** |
CN105242888A (zh) * | 2014-07-10 | 2016-01-13 | 联想(北京)有限公司 | 一种***控制方法及电子设备 |
CN108161931A (zh) * | 2016-12-07 | 2018-06-15 | 广州映博智能科技有限公司 | 基于视觉的工件自动识别及智能抓取*** |
-
2018
- 2018-10-31 CN CN201811284359.0A patent/CN109454638A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103895042A (zh) * | 2014-02-28 | 2014-07-02 | 华南理工大学 | 一种基于视觉引导的工业机器人工件定位抓取方法及*** |
CN105242888A (zh) * | 2014-07-10 | 2016-01-13 | 联想(北京)有限公司 | 一种***控制方法及电子设备 |
CN108161931A (zh) * | 2016-12-07 | 2018-06-15 | 广州映博智能科技有限公司 | 基于视觉的工件自动识别及智能抓取*** |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109848998A (zh) * | 2019-03-29 | 2019-06-07 | 砚山永盛杰科技有限公司 | 一种用于3c行业视觉柔性的四轴机器人 |
CN110102490B (zh) * | 2019-05-23 | 2021-06-01 | 北京阿丘机器人科技有限公司 | 基于视觉技术的流水线包裹分拣装置和电子设备 |
CN110102490A (zh) * | 2019-05-23 | 2019-08-09 | 北京阿丘机器人科技有限公司 | 基于视觉技术的流水线包裹分拣装置和电子设备 |
CN110340887A (zh) * | 2019-06-12 | 2019-10-18 | 西安交通大学 | 一种基于图像的加油机器人视觉引导的方法 |
CN110342252A (zh) * | 2019-07-01 | 2019-10-18 | 芜湖启迪睿视信息技术有限公司 | 一种物品自动抓取方法及自动抓取装置 |
CN110342252B (zh) * | 2019-07-01 | 2024-06-04 | 河南启迪睿视智能科技有限公司 | 一种物品自动抓取方法及自动抓取装置 |
CN110421565A (zh) * | 2019-08-07 | 2019-11-08 | 江苏汇博机器人技术股份有限公司 | 一种用于实训的机器人全局定位与测量***和方法 |
CN110421565B (zh) * | 2019-08-07 | 2022-05-13 | 江苏汇博机器人技术股份有限公司 | 一种用于实训的机器人全局定位与测量***和方法 |
CN110562553B (zh) * | 2019-08-22 | 2021-04-09 | 深海弈智京山智能科技有限公司 | 一种下纸视觉引导***及引导方法 |
CN110562553A (zh) * | 2019-08-22 | 2019-12-13 | 深海弈智京山智能科技有限公司 | 一种下纸视觉引导***及引导方法 |
CN110509281A (zh) * | 2019-09-16 | 2019-11-29 | 中国计量大学 | 基于双目视觉的位姿识别与抓取的装置与方法 |
CN111300401A (zh) * | 2019-11-06 | 2020-06-19 | 长沙迈迪克智能科技有限公司 | 一种血站冷库智能化视觉定位抓取***以及方法 |
CN111112885A (zh) * | 2019-11-26 | 2020-05-08 | 福尼斯智能装备(珠海)有限公司 | 一种视觉***在工件上下料及焊缝自适应定位的焊接*** |
CN112276908A (zh) * | 2020-10-23 | 2021-01-29 | 北京配天技术有限公司 | 工业机器人设备及其工件位置获取方法、***和装置 |
CN112605990A (zh) * | 2020-12-04 | 2021-04-06 | 广东拓斯达科技股份有限公司 | 一种机器人视觉控制方法和*** |
EP4033871A1 (en) | 2021-11-06 | 2022-07-27 | Fitech sp. z o.o. | Method of mounting suitable for positioning reeved components on a printed circuit board pcb |
CN115366098A (zh) * | 2022-07-29 | 2022-11-22 | 山东浪潮科学研究院有限公司 | 一种基于视觉引导的薄片状物体抓取*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109454638A (zh) | 一种基于视觉引导的机器人抓取*** | |
CN107618030B (zh) | 基于视觉的机器人动态跟踪抓取方法及*** | |
CN103271784B (zh) | 基于双目视觉的人机交互式机械手控制***和控制方法 | |
CN108161931A (zh) | 基于视觉的工件自动识别及智能抓取*** | |
CN105759720B (zh) | 基于计算机视觉的机械手跟踪定位在线识别与纠偏方法 | |
CN105234943B (zh) | 一种基于视觉识别的工业机器人示教装置及方法 | |
US8244402B2 (en) | Visual perception system and method for a humanoid robot | |
CN107433573B (zh) | 智能双目自动抓取机械臂 | |
CN108399639A (zh) | 基于深度学习的快速自动抓取与摆放方法 | |
CN103895042A (zh) | 一种基于视觉引导的工业机器人工件定位抓取方法及*** | |
CN111645074A (zh) | 一种机器人抓取定位方法 | |
CN107413772A (zh) | 一种激光焦距自适应清洗线 | |
CN109454501A (zh) | 一种车床在线监测*** | |
CN109459984A (zh) | 一种基于三维点云的定位抓取***及其使用方法 | |
CN107552289A (zh) | 一种视觉识别喷漆机器人***及其运作方法 | |
CN106527239A (zh) | 一种多机器人协同操作模式的方法及*** | |
Tho et al. | Design and development of the sorting system based on robot | |
Sileo et al. | Vision based robot-to-robot object handover | |
Liu et al. | Predictive control for robot arm teleoperation | |
Zhou et al. | Visual servo control system of 2-DOF parallel robot | |
Vollmann et al. | Manipulator control by calibration-free stereo vision | |
CN206795834U (zh) | 用于控制数字ccd相机图像采集的速度反馈性机械手 | |
He et al. | Design of Vision Control System of Tomato Picking Robot | |
Murakami et al. | Towel-like object alignment with human-robot cooperation and high-speed robotic manipulation | |
Wang et al. | Object Grabbing of Robotic Arm Based on OpenMV Module Positioning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190312 |