CN103406905B - 一种具有视觉伺服及检测功能的机器人*** - Google Patents

一种具有视觉伺服及检测功能的机器人*** Download PDF

Info

Publication number
CN103406905B
CN103406905B CN201310364237.3A CN201310364237A CN103406905B CN 103406905 B CN103406905 B CN 103406905B CN 201310364237 A CN201310364237 A CN 201310364237A CN 103406905 B CN103406905 B CN 103406905B
Authority
CN
China
Prior art keywords
robot
control
image
motion
vision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201310364237.3A
Other languages
English (en)
Other versions
CN103406905A (zh
Inventor
秦现生
王文杰
洪杰
牛军龙
张培培
沈东莹
薛婷
王润孝
谭小群
白晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN201310364237.3A priority Critical patent/CN103406905B/zh
Publication of CN103406905A publication Critical patent/CN103406905A/zh
Application granted granted Critical
Publication of CN103406905B publication Critical patent/CN103406905B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Manipulator (AREA)
  • Numerical Control (AREA)

Abstract

本发明公开了一种具有视觉伺服及检测功能的机器人***,包括机器人、图像采集及图像处理单元、机器人视觉伺服控制单元和连接各模块的通信网络单元,各单元间的数据和信号传输通过通信网络单元传输,机器人视觉伺服控制单元通过通信网络单元发送或接收机器人的控制信号,并快速理解自身周围环境、同时构造视觉反馈控制模型,实现机器人的视觉识别和运动控制功能。机器人的运动控制采用离线编程与机器视觉伺服控制结合的方法,对机器人及末端执行器进行自主控制,提高了机器人运动控制效率以及机器人的重复定位精度和柔性,且具有较高的智能性。机器人控制具备基于机器视觉的非接触质量检测功能,而且结构简单、操作方便。

Description

一种具有视觉伺服及检测功能的机器人***
技术领域
本发明属于机器人及自动控制领域,具体地说,涉及一种具有视觉伺服及检测功能的机器人***。
背景技术
机器人因末端执行器操作工具的不同,可以非常方便的用作各种自动化设备,完成如装配、检测、码垛、上下料、焊接、搬运、包装、拆垛、探伤、分类、喷涂、贴标、喷码、打码、目标跟随等一系列工作。机器人特别适用于多品种,变批量的柔性化作业,对于稳定提高产品质量,提高劳动生产效率,改善劳动条件和产品的快速更新换代起着十分重要的作用。机器人控制技术的主要任务就是控制机器人在工作空间中的运动位置、姿态和轨迹、操作顺序及动作的时间等。具有可编程、可软件菜单操作、可进行人机交互、使用方便的特点。
目前,机器人运动控制主要有两种方式,一是在线示教,一是离线编程。在线示教是通过机器人示教盒控制机器人的运动,首先通过手动示教,记录机器人的运动轨迹,然后机器人沿示教时记录的轨迹自主运动,完成特定运动轨迹。这种方法的优点是对机器人模型精度要求低,不需标定机器人的工具坐标系,使用机器人的理论模型即可;但其不足是:机器人的在线示教编程过程繁琐、操作过程复杂、效率低、容易疲劳,精度完全靠示教者的经验目测决定,精度较低,占用宝贵的生产时间,而且使机器人***成为一个相对单元,难以实现与其他***或生产过程的集成,无法满足当今小批量、多品种柔性生产的需要。
离线编程示教是将作业过程所需要路径模型信息输入到交互式机器人***软件,根据输入信息该模块自动产生机器人运动轨迹和程序,并针对不同的加工过程设置相应的加工过程参数,对生产过程进行控制。与常用的手工在线逐点机器人编程法相比较,该模块的使用将大大缩短编程时间。采用离线编程的优点是避免了生产过程的中断,控制精度和设备使用率高。
发明专利200510108256.5中公开了一种具有视觉传感器的机器人***,该***针对单台或多台机器人通过视觉传感器计测机器人和周边物体的三维相对位置/姿势的误差,修正预先示教的位置/姿势,但其不具备质量检测功能。在发明专利201110026529.7中描述了一种“基于视觉定位的工业机器人控制***及其控制方法”,该控制***及其控制方法是针对工业机器人通过机器视觉定位实现机器人的运动控制,但其不具备在线实时检测功能。
发明内容
为了避免现有技术存在的不足,本发明提出一种具有视觉伺服及检测功能的机器人***,该***通过机器视觉快速理解自身周围环境并同时构造视觉反馈控制模型,利用视觉引导和智能控制的方法,自主且闭环地完成作业任务;降低了控制***的复杂度。本发明视觉伺服及检测功能的机器人***具有较高的控制精度、柔性和工作效率,且具有更高的智能性。
本发明解决其技术问题所采用的技术方案是:包括机器人、图像采集及图像处理单元、机器人视觉伺服控制单元和连接各模块的通信网络单元,机器人包括机器人运动部分和机器人末端执行器部分;图像采集及图像处理单元包括照明、摄像、图像处理部分,图像采集及图像处理单元的图像采集卡及光源控制器、机器人视觉伺服控制单元安装在机器人控制柜中,摄像机和光源固定在机器人***;机器人视觉伺服控制单元的运动控制卡、轴驱动器安装在机器人控制柜中;各单元间的数据和信号的传输通过通信网络单元传输,机器人视觉伺服控制单元通过通信网络单元可发送或接收机器人的控制信号,控制机器人的动作;机器人的运动控制采用离线编程与机器视觉伺服控制结合的方法,对机器人及末端执行器进行自主控制,具体步骤如下:
步骤1.采用ROBCAD离线编程***软件,通过离线编程示教的方式,生成机器人初步运动轨迹规划及控制程序;机器人坐标系进行标定后,将离线编程得到的程序转换成BAHR机器人控制程序,并通过通讯接口导入到机器人控制器中;
步骤2.由步骤1生成的BAHR机器人控制程序,控制机器人进行运动、工件抓取、安放一系列上下料作业任务;
步骤3.在执行步骤2的同时,图像采集单元采用工业CCD摄像机和照明光源,获得工作的机器人末端执行器位置实时图像及目标图像;
步骤4.对摄取的目标图像和机器人位置图像进行图像处理及特征提取,计算出当前图像特征与目标图像特征之间的位姿偏差信息△θpic,并将得到的机器人位姿偏差信息△θpic转换为机器人坐标系下的位置偏差△θbot
步骤5.机器人控制单元根据得到的机器人位置偏差△θbot,通过修正控制单元生成机器人控制程序,对机器人末端执行器位姿进行调整,使位置偏差△θbot最终为零,直至完成为数控机床的上料作业任务;
步骤6.机器人完成基于视觉伺服作业任务后,根据步骤1离线编程生成的机器人运动轨迹,将工件由数控机床取下放回工件托盘;
步骤7.由摄像机采集工件托盘上加工后的零件图像,并进行图像处理与分析,检测零件的尺寸、外观、精度参量,并判断工件是否合格,完成检测任务。
有益效果
本发明提出的一种具有视觉伺服及检测功能的机器人***,由机器人、图像采集及图像处理单元、机器人视觉伺服控制单元和连接各模块的通信网络单元组成,各单元间的数据和信号传输通过通信网络单元传输,机器人视觉伺服控制单元通过通信网络单元发送或接收机器人的控制信号,并快速理解自身周围环境、同时构造视觉反馈控制模型,实现机器人的视觉识别和运动控制功能。机器人的运动控制采用离线编程与机器视觉伺服控制结合的方法,对机器人及末端执行器进行自主控制,提高了机器人运动控制效率以及机器人的重复定位精度和柔性,且具有较高的智能性。机器人控制具备基于机器视觉的非接触质量检测功能,而且结构简单、操作方便。
附图说明
下面结合附图和实施方式对本发明一种具有视觉伺服及检测功能的机器人***作进一步详细说明。
图1为机器人及加工单元总体结构示意图。
图2为机器人工作流程图。
图3为机器人运动控制过程及检测原理示意图。
图中:
1.机器人 2.机器人视觉伺服控制单元和连接各模块的通信网络单元3.数控机床 4.图像采集及图像处理单元
具体实施方式
本实施例是一种具有视觉伺服及检测功能的机器人***。
参阅图1、图2,自动上、下料三坐标机器人单元及加工单元总体结构包括四部分,分别为机器人1、机器人视觉伺服控制单元和连接各模块的通信网络单元2、数控机床3、图像采集及图像处理单元4。机器人1安装在两个数控机床3中间,机器人1完成为数控机床3上料、下料的任务;机器人视觉伺服控制单元和连接各模块的通信网络单元2安装在数控机床3的旁边,控制三坐标机器人1的运动,数控机床3完成工件的加工;图像采集及图像处理单元4安置在机器上1支架上方,用于拍摄机器人工作现场,获得机器人末端执行器位置实时图像及目标图像,并通过图像处理及数据处理输出机器人相对于目标位置偏差信息,控制三坐标机器人1的运动。
本发明机器人***工作流程:
首先,根据作业任务进行机器人离线编程,初步规划机器人运动轨迹,并生成机器人运动控制程序,控制机器人运动;
其次,图像采集单元实时拍摄机器人及目标位置图像,提取图像中机器人的目标特征,计算出图像坐标系中机器人相对目标位置的偏差信息;
然后,通过坐标转换矩阵,转换为机器人坐标系下机器人实际轨迹相对于目标位置的偏差信息,并返馈回机器人所需的运动控制信号控制机器人运动,形成闭环控制回路,直至偏差△θpic为零;
最后,由图像采集单元拍摄加工后的工件图像,返回给基于C++程序开发的图像实时处理单元,进行图像处理及分析,检测零件的尺寸、外观、精度参量,完成检测任务。
如图3所示,机器人运动控制过程及检测原理示意图。机器人电气控制模块包括运动控制卡、数据总线、轴驱动器、驱动电机;图像采集模块包括图像采集卡、工业相机、光源、光源控制器;当三坐标机器人接受一项作业任务后,首先根据机器人工作的工艺要求,通过离线编程进行机器人运动轨迹规划,生成三坐标机器人电气控制单元能够识别的控制指令,输入到控制单元中,经由机器人运动控制卡、现场数据总线、轴驱动器控制驱动电机的运动,最终控制三坐标机器人进行协调作业。当机器人开始进行作业任务后,图像采集模块开始工作,首先机器人电气控制单元通过光源控制器开启工业光源,然后工业相机通过图像采集卡采集工作现场机器人位姿和工件位置图像,并返回给图像处理PC;图像处理PC接收到返回的图像后,由图像实时处理单元进行实时处理,得到机器人实时位姿与目标位置偏差数据,然后输入到控制***生成控制代码,通过运动控制卡精确控制机器人的运动轨迹,构成对机器人位姿的闭环控制,直至机器人完成上料作业任务;当数控机床将工件加工完成之后,三坐标机器人按照相同控制原理完成下料作业任务,将加工完成的工件放在工件托盘,工业相机获得现场加工后工件的图像数据,传输给图像处理单元进行非接触识别检测,检测工件是否合格。

Claims (1)

1.一种具有视觉伺服及检测功能的机器人***,其特征在于:包括机器人、图像采集及图像处理单元、机器人视觉伺服控制单元和连接各模块的通信网络单元,机器人包括机器人运动部分和机器人末端执行器部分;图像采集及图像处理单元包括照明、摄像、图像处理部分,图像采集及图像处理单元的图像采集卡及光源控制器、机器人视觉伺服控制单元安装在机器人控制柜中,摄像机和光源固定在机器人***;机器人视觉伺服控制单元的运动控制卡、轴驱动器安装在机器人控制柜中;各单元间的数据和信号的传输通过通信网络单元传输,机器人视觉伺服控制单元通过通信网络单元可发送或接收机器人的控制信号,控制机器人的动作;机器人的运动控制采用离线编程与机器视觉伺服控制结合的方法,对机器人及末端执行器进行自主控制,具体步骤如下:
步骤1.采用ROBCAD离线编程***软件,通过离线编程示教的方式,生成机器人初步运动轨迹规划及控制程序;机器人坐标系进行标定后,将离线编程得到的程序转换成BAHR机器人控制程序,并通过通讯接口导入到机器人控制器中;
步骤2.由步骤1生成的BAHR机器人控制程序,控制机器人进行运动、工件抓取、安放一系列上下料作业任务;
步骤3.在执行步骤2的同时,图像采集单元采用工业CCD摄像机和照明光源,获得工作的机器人末端执行器位置实时图像及目标图像;
步骤4.对摄取的目标图像和机器人位置图像进行图像处理及特征提取,计算出当前图像特征与目标图像特征之间的位姿偏差信息△θpic,并将得到的机器人位姿偏差信息△θpic转换为机器人坐标系下的位置偏差△θbot
步骤5.机器人控制单元根据得到的机器人位置偏差△θbot,通过修正控制单元生成机器人控制程序,对机器人末端执行器位姿进行调整,使位置偏差△θbot最终为零,直至完成为数控机床的上料作业任务;
步骤6.机器人完成基于视觉伺服作业任务后,根据步骤1离线编程生成的机器人运动轨迹,将工件由数控机床取下放回工件托盘;
步骤7.由摄像机采集工件托盘上加工后的零件图像,并进行图像处理与分析,检测零件的尺寸、外观、精度参量,并判断工件是否合格,完成检测任务。
CN201310364237.3A 2013-08-20 2013-08-20 一种具有视觉伺服及检测功能的机器人*** Expired - Fee Related CN103406905B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310364237.3A CN103406905B (zh) 2013-08-20 2013-08-20 一种具有视觉伺服及检测功能的机器人***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310364237.3A CN103406905B (zh) 2013-08-20 2013-08-20 一种具有视觉伺服及检测功能的机器人***

Publications (2)

Publication Number Publication Date
CN103406905A CN103406905A (zh) 2013-11-27
CN103406905B true CN103406905B (zh) 2015-07-08

Family

ID=49599972

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310364237.3A Expired - Fee Related CN103406905B (zh) 2013-08-20 2013-08-20 一种具有视觉伺服及检测功能的机器人***

Country Status (1)

Country Link
CN (1) CN103406905B (zh)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104259670B (zh) * 2014-07-07 2016-07-13 河海大学常州校区 一种基于机器视觉及工业机器人的涡轮叶片激光切割***
CN105333819A (zh) * 2014-08-15 2016-02-17 苏州北硕检测技术有限公司 基于面激光传感器的机器人工件装配及形位公差检测***及其检测方法
JP6392581B2 (ja) * 2014-08-20 2018-09-19 ファナック株式会社 工作機械とともに使用されるロボットのロボット制御装置、及び加工システム
CN104354157B (zh) * 2014-10-29 2016-03-02 南京航空航天大学 一种轮胎搬运机器人及其控制方法
CN104708301B (zh) * 2015-02-09 2017-04-12 杭州自动化技术研究院有限公司 一种基于机器视觉的发热丝自动装配装置
CN105163063A (zh) * 2015-06-23 2015-12-16 中山明杰自动化科技有限公司 机器图像处理***
CN105182907A (zh) * 2015-10-20 2015-12-23 上海拓璞数控科技有限公司 一种在线修正机器人姿态***及其修正方法
CN106607874A (zh) * 2015-10-26 2017-05-03 广明光电股份有限公司 机器手臂撷取影像的装置及方法
CN105729477B (zh) * 2016-05-05 2018-04-27 四川省桑瑞光辉标识***股份有限公司 基于视觉定位的老化流水线灯管自动放置方法及***
CN106393144B (zh) * 2016-11-26 2018-09-04 顺德职业技术学院 一种多机器人操作模式下视觉跟踪的方法及***
DE102017118982A1 (de) * 2017-04-23 2018-10-25 Franka Emika Gmbh Roboter und Verfahren zum Betrieb eines Roboters
CN107089389B (zh) * 2017-04-27 2023-06-20 广东金昇智能数控有限公司 一种自动化电子盘包装线
CN107139003A (zh) * 2017-06-27 2017-09-08 巨轮(广州)机器人与智能制造有限公司 模块化视觉***制作方法
CN107272578A (zh) * 2017-07-01 2017-10-20 华中科技大学 一种基于多核处理器的视觉伺服控制***
CN107689061A (zh) * 2017-07-11 2018-02-13 西北工业大学 用于室内移动机器人定位的规则图形码及定位方法
CN107344171A (zh) * 2017-07-24 2017-11-14 浙江工业大学 一种基于机器人视觉伺服的低压空气开关零件分拣***及方法
JP6969283B2 (ja) * 2017-10-25 2021-11-24 オムロン株式会社 制御システム
CN109895082A (zh) * 2017-12-07 2019-06-18 中国科学院沈阳自动化研究所 一种应用于航天装配设备的控制***
CN109986255B (zh) * 2017-12-29 2021-11-30 深圳中集智能科技有限公司 混合视觉伺服并联机器人及作业方法
CN108297134B (zh) * 2018-03-16 2024-02-02 杭州西奥电梯有限公司 一种基于视觉传感器的孔位检测自动送料装置
CN108656120B (zh) * 2018-04-11 2020-10-30 陈小龙 一种基于图像对比的示教、加工方法
CN110039520B (zh) * 2018-04-11 2020-11-10 陈小龙 一种基于图像对比的示教、加工***
CN108748137B (zh) * 2018-04-11 2021-02-02 陈小龙 一种实物扫描建模方法及其应用
CN109421050B (zh) * 2018-09-06 2021-03-26 北京猎户星空科技有限公司 一种机器人的控制方法及装置
CN109176305B (zh) * 2018-09-29 2024-04-16 照亮智能装备(江门)有限公司 一种机器人三维纠偏定位设备及方法
CN109454501A (zh) * 2018-10-19 2019-03-12 江苏智测计量技术有限公司 一种车床在线监测***
CN111352411B (zh) * 2018-12-20 2024-05-24 北京新联铁集团股份有限公司 空心车轴定位方法、装置及智能空心车轴探伤机
CN109760045B (zh) * 2018-12-27 2020-11-17 西安交通大学 一种离线编程轨迹生成方法及基于该方法的双机器人协同装配***
CN109397249B (zh) * 2019-01-07 2020-11-06 重庆大学 基于视觉识别的二维码定位抓取机器人***的方法
CN110007671A (zh) * 2019-03-12 2019-07-12 南方科技大学 一种机器人集群协同定位***和方法
CN110002367B (zh) * 2019-03-28 2023-05-05 上海快仓智能科技有限公司 Agv搬运货架过程中agv姿态调整***及方法
CN110181512A (zh) * 2019-05-22 2019-08-30 中国电子科技集团公司第十四研究所 一种变压器铁芯自动叠片机器人工作站的控制***
CN110514664B (zh) * 2019-08-20 2022-08-12 北京信息科技大学 一种筒子纱纱杆定位检测机器人及方法
CN110632951B (zh) * 2019-09-23 2022-11-18 湖南视普瑞智能科技有限公司 一种智能视觉伺服引导设备及其引导方法
CN110919499B (zh) * 2019-12-18 2022-06-03 东莞市照亮智能装备科技有限公司 一种基于离线编程的高尔夫球头制作工艺
CN111015657A (zh) * 2019-12-19 2020-04-17 佛山科学技术学院 一种工业机器人的自适应控制方法、装置及***
CN111823225A (zh) * 2020-06-04 2020-10-27 江汉大学 一种视觉伺服三维仿真方法及装置
CN113021341B (zh) * 2021-03-18 2022-04-19 周宗平 一种基于5g的物品识别和自动转移运输的机器人
CN113119122B (zh) * 2021-04-10 2022-11-22 西北工业大学 一种机器人焊接***的混合离线编程方法
CN113400300B (zh) * 2021-05-24 2024-05-03 陶建明 用于机器人末端的伺服***及其控制方法
CN114406774B (zh) * 2021-11-17 2024-03-22 上海智能制造功能平台有限公司 一种用于机床多工位上下料的机器人加工***及加工方法
CN114178832B (zh) * 2021-11-27 2023-03-24 南京埃斯顿机器人工程有限公司 一种基于视觉的机器人引导装配机器人方法
CN114749981B (zh) * 2022-05-27 2023-03-24 中迪机器人(盐城)有限公司 一种基于多轴机器人的上下料控制***及方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4137862B2 (ja) * 2004-10-05 2008-08-20 ファナック株式会社 計測装置及びロボット制御装置
CN100460159C (zh) * 2007-07-12 2009-02-11 上海交通大学 工业机器人离线编程***

Also Published As

Publication number Publication date
CN103406905A (zh) 2013-11-27

Similar Documents

Publication Publication Date Title
CN103406905B (zh) 一种具有视觉伺服及检测功能的机器人***
CN110216649B (zh) 机器人作业***、以及机器人作业***的控制方法
CN202336657U (zh) 机器人型钢切割***
CN106530939A (zh) 一种多机器人教学实训平台控制***及控制方法
CN110171000B (zh) 坡口切割方法、装置及控制设备
WO2020231319A1 (en) Robot cell setup system and process
CN113878572B (zh) 控制***、机器人***以及控制方法
US20230099602A1 (en) Device control based on execution command and updated environment information
US20230107431A1 (en) Comparison between real control and virtual control of robot
CN108628260A (zh) 基于机器人的多品种工具成套设备及自动装配工艺
CN112122842A (zh) 一种基于激光视觉的Delta焊接机器人***
CN113319859A (zh) 一种机器人示教方法、***、装置及电子设备
CN113954072A (zh) 一种视觉引导的木门工件智能识别定位***及方法
Rückert et al. Augmented Reality for teaching collaborative robots based on a physical simulation
JP2008009899A (ja) 組立作業用ロボットの自動教示システム及び教示方法
CN110817231B (zh) 一种面向物流场景订单拣选方法、设备和***
CN113706628A (zh) 一种智能搬运机器人协作***及其对特征图像的处理方法
Engelen et al. Intuitive teaching approach for robotic disassembly
CN110610648A (zh) 一种智能生产线仿真方法及***
CN212364840U (zh) 工业机器人设备的通信***及应用其的工业机器人设备
Zhou et al. A cooperative shared control scheme based on intention recognition for flexible assembly manufacturing
CN115423656A (zh) 一种机器人协同作业可视化仿真示教***和方法
CN209583061U (zh) 自动码垛机器人
CN113377070A (zh) 一种基于虚拟制造的工装方法、***及设备
Erdős et al. Visual servo guided cyber-physical robotic assembly cell

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150708