CN106774208A - 群视觉机器协同装配方法及模型*** - Google Patents

群视觉机器协同装配方法及模型*** Download PDF

Info

Publication number
CN106774208A
CN106774208A CN201611209458.3A CN201611209458A CN106774208A CN 106774208 A CN106774208 A CN 106774208A CN 201611209458 A CN201611209458 A CN 201611209458A CN 106774208 A CN106774208 A CN 106774208A
Authority
CN
China
Prior art keywords
vision robot
robot
intelligent vision
feeding
control platform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611209458.3A
Other languages
English (en)
Other versions
CN106774208B (zh
Inventor
韩九强
于洋
郑辑光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN201611209458.3A priority Critical patent/CN106774208B/zh
Publication of CN106774208A publication Critical patent/CN106774208A/zh
Application granted granted Critical
Publication of CN106774208B publication Critical patent/CN106774208B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/418Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41805Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by assembly
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Manipulator (AREA)
  • Engineering & Computer Science (AREA)
  • Automatic Assembly (AREA)
  • General Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)

Abstract

一种群视觉机器协同装配方法,包括控制平台、视觉机器人工作站以及承担控制平台和视觉机器人工作站之间通信的无线模块,控制平台根据输入的订单信息解算出所需的元件数及种类、投入工作的智能视觉机器人的数量,并根据实际的工作情况,动态调节工作在不同模块的智能视觉机器人的数量;本发明还提供了所述方法的模型***,本发明采用智能视觉机器人协同作业,根据订单信息规划工作,可根据不同需求制定相应程序,不需要改***件结构及增加传感器,灵活性强,可满足多品种小批量生产模式,且由于引入视觉传感器,可简化工序,独立工作,出现故障时可单独维修,不影响整个***的工作,鲁棒性好,大大提高生产效率,又节省生产设备投入以及占地空间。

Description

群视觉机器协同装配方法及模型***
技术领域
本发明属于工业自动控制技术领域,特别涉及一种群视觉机器协同装配方法及模型***。
背景技术
随着经济的快速发展,竞争变得更加激烈,产品更新换代的周期逐渐压缩,对于多品种小批量生产模式的需求日益强烈,引起了人们对智能自动化生产线的更多关注。目前很多自动化生产线虽然能很好地完成任务,但是成本很高,并且只能完成单一工作,复杂的工序需要多台机器人顺序工作,一旦中间哪个环节出现故障,整个***将瘫痪,并且生产效率低,占地面积大,成本高,需要多种传感器协同来完成识别工作,当生产对象改变时,需要更换硬件,增加成本,因此灵活性差,很难适应多品种小批量的生产模式。
发明内容
为了克服上述现有技术的缺点,本发明的目的在于提供一种群视觉机器协同装配方法及模型***,其实用性强,适应多种生产对象,控制灵活,可扩展性强,所需空间小,各部分独立作业,出现故障时可以单独进行维修,并不影响整个***的工作,鲁棒性好,可实现高效、柔性化生产。
为了实现上述目的,本发明采用的技术方案是:
一种群视觉机器协同装配方法,包括控制平台1、视觉机器人工作站2以及承担控制平台1和视觉机器人工作站2之间通信的无线模块3,其特征在于,所述控制平台1根据输入的订单信息解算出所需的元件数及种类、投入工作的智能视觉机器人的数量,并根据实际的工作情况,动态调节工作在不同模块的智能视觉机器人的数量。
每类智能视觉机器人完成独立的任务,互不干扰,当某一类机器人发生故障时,可以单独对其进行维修,并不影响整个***的运行,具有很好的鲁棒性。当装配对象发生改变时,通过控制平台1向视觉机器人工作站2发出控制指令,让视觉机器人工作站2运行针对此对象的装配程序,这样能很好地满足多品种小批量的生产模式,***灵活性很强。
所述视觉机器人工作站2包括一个环形的传送装置23,沿传送装置23布置有上料区231、装配区233、238和下料区235,上料区231附近布置元件存放区22,下料区235附近布置成品存放区26,上料区231的上料智能视觉机器人21和下料区235的下料智能视觉机器人27都具有上料模块和下料模块,控制平台1根据实时的装配情况来动态调节工作在这两种模块的智能视觉机器人的数量,装配区的装配智能视觉机器人只有装配模块,每个智能视觉机器人都配有与控制平台1以及智能视觉机器人之间通信的无线模块211和以及用于寻找路径和元件识别的视觉传感器213,所述协同装配方法包括四个方面的协同:所有智能视觉机器人与传送装置23的启停协同、上料智能视觉机器人21和传送装置23间的协同、装配智能视觉机器人24、25、28、29与传送装置23间的协同、下料智能视觉机器人27与传送装置23间的协同。
所述控制平台1根据实际的工作情况,动态调节工作在不同模块的智能视觉机器人的数量的过程是:
控制平台1向视觉机器人工作站2发送开始工作命令,并让视觉机器人工作站2运行相应的装配对象的程序,所有智能视觉机器人同时开始工作,上料智能视觉机器人21通过视觉传感器213返回的图像信息识别路径运动到元件存放区22捡取所需要的元件,然后运动到上料区231开始上料,装配智能视觉机器人通过视觉传感器242识别所需元件232,并将成品236放在传送装置23上,下料智能视觉机器人27通过视觉传感器273识别合格成品236,将其从传送装置23上抓下放在成品存放区26,所有智能视觉机器人在每一步工作中,将工作信息通过无线模块3传送给控制平台1,控制平台1将信息进行整合,以获取传送装置上的元件数量、传送装置上的成品数量、累计合格成品数量,根据这些信息动态调节智能视觉机器人的数量以及工作在上料模块和下料模块的智能视觉机器人的数量,来更好地完成装配任务。
所述上料智能视觉机器人21的上料过程要根据传送装置23的速度来协同上料,所述装配智能视觉机器人24、25、28、29的装配过程要根据传送装置23的速度来协同抓取所需元件进行装配,所述下料智能视觉机器人27的下料过程要根据传送装置23的速度来协同抓下成品。
所述下料智能视觉机器人27每一次完成成品下料后,将下料信息发送给控制平台1,成品合格时,控制平台统计合格成品261数量加1,并将其放入盒子271中,成品不合格时,下料智能视觉机器人27将不合格成品抓取后放到废品区,并且控制平台1通知上料智能视觉机器人21,所需分拣的各类元件232、234、237、239数量加1,当统计到装配合格成品261数量满足订单上期望的成品数量时,控制平台1向视觉机器人工作站2发送完成任务指令,所述装配智能视觉机器人清理掉装配位置243的工件、上料智能视觉机器人21和下料智能视觉机器人27负责清理传送装置23上未装配的元件,将其回收后放回原料存放处22,然后运动到指定地点并向控制平台1发出完成清理工作指令,控制平台1发送停止指令,所有智能视觉机器人进入待机状态,同时传送装置23停止运动。
本发明还提供了一种基于所述群视觉机器协同装配方法的模型***,其特征在于:
由一台计算机担任控制平台1;
由一台无线接收发射器作为无线模块3;
由群智能视觉机器人、环形的传送装置23、元件存放区22及成品存放区26为主要组成部分的视觉机器人工作站2。
所述视觉机器人工作站2中,传送装置23布置于中心,传送装置23长轴两端的区域分别是上料区231和下料区235,平行于长轴两侧的区域为装配区一233和装配区二238,元件存放区22布置在上料区231附近,成品存放区26布置在下料区235附近,上料区231的上料智能视觉机器人21和下料区235的下料智能视觉机器人27都具有上料模块和下料模块,控制平台1根据实时的装配情况来动态调节工作在这两种模块的智能视觉机器人的数量,装配区一233和装配区二238的装配智能视觉机器人24、25、28、29只有装配模块,每个智能视觉机器人都配有与控制平台1以及智能视觉机器人之间通信的无线模块211和以及用于寻找路径和元件识别的视觉传感器213。
所述视觉机器人工作站2中,待装配的元件包括红色底座221、黑色芯222、弹簧223和蓝色盖子224。首先,通过在控制平台1上输入包含元件种类及期望加工成品数量的订单信息,然后控制平台1通过无线模块3向视觉机器人工作平台2发送开始工作指令并运行相应的程序,所有智能视觉机器人21、24、25、27、28、29及传送装置23进入工作状态,上料智能视觉机器人21通过视觉传感器213获取的图像信息来识别路径,运动到元件存放区22,然后通过视觉传感器213获取的图像信息来提取颜色、面积、圆半径等特征来识别元件,根据控制平台1发送的指令抓取指定的元件,然后运动到上料区231,根据传送装置23的速度开始依次上料,装配智能视觉机器人24、25、28、29通过视觉传感器242返回的信息,提取颜色、面积及圆半径等特征进行模板匹配,依次识别红色底座221、黑色芯222、弹簧223和蓝色盖子224开始装配,将装配好的成品236放置在传送装置231上,然后下料智能视觉机器人27通过视觉传感器273返回的图像信息,提取颜色、面积、圆半径等特征对成品进行识别,并判断其是否合格,合格则放在盒子271中,不合格则放在废品区,同时向控制平台发送工作信息,控制平台计算合格成品数,当其满足订单要求时,通知视觉机器人工作平台1执行清理任务,清理任务完成后,控制平台1向视觉机器人工作平台2发送停止指令,所有智能视觉机器人21、24、25、27、28、29及传送装置23进入待机状态。
与现有技术相比,本发明的群机器视觉智能装配协同方法与***采用智能视觉机器人协同作业,根据订单信息规划上料工作,可以根据客户不同的生产对象的需求制定相应的程序,不需要改***件结构以及增加传感器,灵活性强,可以很好地满足多品种小批量的生产模式,并且由于引入了视觉传感器,可以简化工序,独立工作,出现故障时可以单独进行维修不影响整个***的工作,鲁棒性好,并且大大提高生产效率,又节省生产设备投入以及占地空间。
附图说明
图1为本发明群视觉机器协同装配模拟***的架构图。
图2为本发明群视觉机器协同装配方法的工作流程图。
图3为本发明群视觉机器协同装配模拟***的工件识别模板匹配流程图。
具体实施方式
下面结合附图和实施例详细说明本发明的实施方式。
如图1所示,本发明群视觉机器协同装配模型***,包括控制平台1、视觉机器人工作站2以及承担控制平台1和视觉机器人工作站2之间通信的无线模块3,控制平台1整合视觉机器人工作站2传回的工作信息,根据整合后的工作信息向视觉机器人工作平台2发送控制命令。
视觉机器人工作站2包括元件存放区22、上料区231、装配区一233、装配区二238、下料区235和成品存放区26,其中元件存放区22放置装配所需的4种元件221、222、223、224,上料区231和下料区235分别位于椭圆形的传送装置23长轴的两端,而装配区一233、装配区二238位于平行于传送装置23长轴的两侧,绕传送装置23安放了6台智能视觉机器人21、24、25、27、28、29:1台上料智能视觉机器人21、4台装配智能视觉机器人24、25、28、29及1台下料智能视觉机器人27,每个智能视觉机器人配有与控制平台1以及机器人之间通信的无线模块211、241、272和视觉传感器213、242、273,其中上料区智能视觉机器人21和下料区智能视觉机器人27是可移动智能视觉机器人,因为它们要完成从元件存放区22抓取原料工件221-224和将加工好的成品261送到成品存放区26。并且上料智能视觉机器人21和下料智能视觉机器人27的程序中均具有上料程序模块和下料程序模块,控制平台1将智能视觉机器人传回的工作信息进行整合,动态调节它们处于哪个程序工作模块,以更好地完成装配工作。
如图2所示,群视觉机器协同装配方法的工作流程,包括以下步骤:
首先,通过控制平台1输入订单信息,然后控制平台1根据订单信息得出哪种装配对象以及需要的元件数量和种类。
其次,控制平台1向视觉机器人工作平台2发送开始工作命令,并让视觉机器人工作平台2运行相应的装配对象的程序,所有智能视觉机器人21、24、25、27、28、29及传送装置23同时进入工作状态
所有智能视觉机器人21、24、25、27、28、29按照控制平台1的指令协同工作,上料智能视觉机器人21通过视觉传感器213返回的图像信息识别路径运动到元件存放区22,通过视觉传感器213返回的图像提取颜色、面积、圆半径等特征进行模板匹配,识别所需的元件221、222、223、224,捡取所需要的元件放到盒子212中,并进行统计,当盒子212装满时,上料智能视觉机器人21通过视觉传感器213移动到上料区231,上料过程要根据传送装置23的速度来协同上料。然后,依次将盒子212中的元件214放在传送装置23上,并且每次放置的工件种类要通过无线模块211通知控制平台1,当盒子212中没有元件时,上料智能视觉机器人21再次通过视觉传感器213运动到元件存放区22,开始搬运工作,然后通过视觉传感器213运动到上料区231与传送装置23协同进行上料工作,如此反复进行,直到接收到控制平台1的完成任务指令,当接受到完成任务指令后,运动到传送装置23的上料区231,清理传送装置上的工件,放回至元件存放区22,再通过视觉传感器213返回的图像信息运动到上料区231并通过无线通信211通知控制平台1完成清理任务,当接收到控制平台1的停止工作命令后,上料视觉智能机器人21进入待机状态。
装配智能视觉机器人24、25、28、29按照一定的顺序来完成装配工作,先是抓取红色底座221,然后抓取黑色芯222、弹簧223依次放入红色底座221中,最后扣上蓝色盖子224,拧紧,完成一个成品236的装配工作;装配智能视觉机器人24、25、28、29通过视觉传感器242返回传送装置23上移动的工件232、234、237、239的图像,提取颜色、面积、圆半径、平均灰度等特征,进行模板匹配,判断是否是当前装配顺序所需的工件,若是发出抓取的控制命令,然后将其放到指定装配区域243,并且通过无线模块241告知控制平台1抓取的工件信息,接着进入下一个工序所需工件的识别工作,若不是,则不发出控制命令,一直等到所需的工件出现,再发出控制命令;当装配区一233、装配区二238的智能视觉机器人24、25、28、29装配好一个成品236后,发出控制命令,将其抓取后放到传送装置23上,并通知控制平台1传送装置23上放置了一个成品236,然后进入下一轮装配工作,如此往复进行直到控制平台1发出完成任务指令,接到完成任务命令后,停止装配工作,若装配区一233、装配区二238不存在元件,则装配区一233、装配区二238的智能视觉机器人24、25、28、29进入待机状态,若存在元件,则将元件放置在传送装置23上,然后进入待机状态。
下料智能视觉机器人27通过视觉传感器273识别传送装置23上是否有成品236,当有成品出现后,通过视觉传感器273返回的传送装置23上运动的工件的图像,提取颜色、面积、圆半径等特征进行模板匹配,首先识别其是否是成品,并且在是成品的情况下,看起表面是否有裂纹来判断是否合格,若合格,将其抓取后放到下料智能视觉机器人27的盒子271中,并且通知控制平台1将合格成品261的数量加1,若不合格,将其抓取后放到废品区,并将不合格的信息发送给控制平台1,控制平台1将所需各元件221-224的数量加1,并通知上料智能视觉机器人21所需各元件221、222、223、224的数量加1,当下料智能视觉机器人27的盒子271装满后,通过视觉传感器273返回的图像信息,运动到成品存放区26,将成品261全部卸放到成品存放区26后,再运动到传送装置23的下料区235,如此反复工作,直到接收到控制平台1的完成任务后,若盒子271中有成品,将成品放置卸放至成品存放区26,若没有,则运动到传送装置23的下料区235进入待机状态。
所有智能视觉机器人21、24、25、27、28、29在每一步工作中,将工作信息通过无线模块3传送给控制平台1,控制平台1将信息进行整合,以获取传送装置上的元件数量、传送装置上的成品数量、累计合格成品数量,根据这些信息动态调节智能视觉机器人的数量以及工作在上料模块和下料模块的智能视觉机器人的数量,来更好地完成装配任务。
最后,所有智能视觉机器人21、24、25、27、28、29通过无线通信211、241将工作信息发送给控制平台1,控制平台1将返回的工作信息整合后与订单信息进行比对,判断是否完成装配任务,若完成,则向视觉机器人工作站2发送完成任务指令,各区域智能机器人开始进行清理工作,清理完成后向控制平台1发送清理工作完成指令,并移动到指定区域,然后控制平台1向视觉机器人工作平台2发送停止指令,所有智能视觉机器人21、24、25、27、28、29进入待机状态,传送装置23停止运动。
如图3所示,智能视觉机器人在工件识别时,通过视觉传感器返回图像,提取颜色、像素面积、圆半径、圆个数等信息,然后依次与模板进行比对,首先确定是否满足颜色为红色、红色像素面积大于阈值、圆半径在指定范围内,若满足,则图像中的目标为红色底座221,若不满足,继续判断是否满足颜色为黑色且黑色面积、平均灰度及圆半径在指定范围内,若满足,则图像中的目标为黑色芯222,若不满足,则判断是否满足圆半径、圆个数及平均灰度在指定范围内,若满足,则图像中的目标为弹簧223,若不满足,则继续判断是否满足颜色为蓝色、蓝色像素面积小于阈值、圆半径小于阈值,若满足,则图像中的目标为蓝色盖子224,若不满足,继续判断是否满足颜色为蓝色、蓝色像素面积大于阈值、圆半径大于阈值,若满足,则图像中的目标为成品236,若不满足,则没有任何模板与其匹配。其中上料智能视觉机器人21和装配智能视觉机器人24、25、28、29需要识别红色底座221、黑色芯222、弹簧223和蓝色盖子224,下料智能视觉机器人27只需要识别成品236。
在提取图像中的特征时,提取颜色可以直接通过访问图像的RGB通道即可判断,而像素面积则通过访问每一个像素是否满足指定的RGB范围,满足则进行累加,最终获得的累加和即为像素面积。而关于圆半径和圆个数的计算要用到圆检测,方法如下:
首先要对获得的图像进行预处理:
对图像进行中值滤波处理。中值滤波器将中心像素正方形邻域内的每个像素值用中间像素值替换,可以除去噪声又保留图像的边缘信息。在二维图像中可以定义为:
Yi=med{xij}=med{x(i+m),(j+n)(m,n)∈A,(i,j)∈I2}
对图像进行二值化处理。二值化使图像变得简单,数据量减小,能凸显出感兴趣的目标轮廓。定义m为预设阈值,f(x,y)为像素坐标(x,y)的灰度值,g(x,y)为得到的灰度值。可以表示为:
利用Canny算子对图像进行边缘检测。Canny边缘检测的原理是用一阶偏导的有限差分来计算梯度的幅值和方向。设f(x,y)为图像,f(x,y)的梯度用2×2一阶有限差分近似式来计算x与y的偏导数的两个阵列fx′(x,y)与fy′(x,y):
fx′(x,y)≈Gx=[f(x+1,y)-f(x,y)+f(x+1,y+1)-f(x,y+1)]/2
fy′(x,y)≈Gy=[f(x,y+1)-f(x,y)+f(x+1,y+1)-f(x+1,y)]/2
由一阶差分卷积模板得到2个梯度的幅值和方向:
为了得到合理的边缘,对梯度幅值进行非极大值抑制,用双阈值算法进行检测和连接真正的边缘。
对边缘图像进行膨胀处理。膨胀处理是对图像与核进行卷积计算,得到核覆盖区域的最大像素值,使得图像中的高亮区域增长,对像素进行补偿,形成联通域。定义X为被处理的图像,B为结构元素,X被B膨胀的结果为:
然后对经过预处理后的图像采用随机Hough变换圆检测,方法如下:
在二维空间中圆的方程为:
(x-a)2+(y-b)2=r2
式中:(a,b)为圆心坐标,r为圆的半径。确定a、b、r 3个未知的参数,需要在圆上取3个点(x1,y1)、(x2,y2)、(x3,y3),将3个点代入上式中得到方程组:
(x1-a)2+(y1-b)2=r2
(x2-a)2+(y2-b)2=r2
(x3-a)2+(y3-b)2=r2
求解方程组可得到圆心坐标(a,b)和半径r。
随机Hough变换的原理为在图像中所有的边缘点中随机选取3个点,确定圆心坐标(a1,b1)和半径r1。然后取在第4点(x4,y4)代入第一个方程中,求出半径r4,将r4代入下式中:
r4-r1=δ1
δ为预先设定的误差值,当δ1小于δ时,确定为候选圆。确定候选圆后,取所有点代入计算,当δ1-i小于δ时累加器加1,当累加器的值达到预定阈值时,确定为1个真圆。
本发明中,控制平台1根据所有智能视觉机器人21、24、25、27、28、29返回的元件信息、成品数量信息会动态地更新传送装置23上现有的元件数量、传送装置23上现有的加工好的成品、累计加工好的成品数量,当传送装置23上现有的元件数量超过阈值时,控制平台1将向上料智能视觉机器人21发送暂停上料的命令,并且让上料智能视觉机器人21去协助下料智能机器人27去完成成品下料工作,当传送装置23上现有的元件数量小于某一阈值时,控制平台1会通知下料智能机器人27去协助上料机器人21完成上料工作,当传送装置23上现有的加工好的成品数量超过某一阈值时,控制平台1会通知上料智能视觉机器人21暂停上料工作,并通知上料智能视觉机器人211协助下料智能视觉机器人27完成成品下料工作,当合格成品的数量满足订单要求时,控制平台1向所有智能视觉机器人21、24、25、27、28、29发出完成任务指令,并且等待上料区智能视觉机器人21发出的传送装置23清空指令,接收到该指令后,控制平台1向视觉机器人工作平台2发送停止指令,所有智能视觉机器人21、24、25、27、28、29进入待机状态,传送装置23停止。

Claims (10)

1.一种群视觉机器协同装配方法,包括控制平台(1)、视觉机器人工作站(2)以及承担控制平台(1)和视觉机器人工作站(2)之间通信的无线模块(3),其特征在于,所述控制平台(1)根据输入的订单信息解算出所需的元件数及种类、投入工作的智能视觉机器人的数量,并根据实际的工作情况,动态调节工作在不同模块的智能视觉机器人的数量。
2.根据权利要求1所述群视觉机器协同装配方法,其特征在于,每类智能视觉机器人完成独立的任务,互不干扰,当装配对象发生改变时,通过控制平台(1)向视觉机器人工作站(2)发出控制指令,让视觉机器人工作站(2)运行针对此对象的装配程序。
3.根据权利要求1所述群视觉机器协同装配方法,其特征在于,所述视觉机器人工作站(2)包括一个环形的传送装置(23),沿传送装置(23)布置有上料区(231)、装配区(233、238)和下料区(235),上料区(231)附近布置元件存放区(22),下料区(235)附近布置成品存放区(26),上料区(231)的上料智能视觉机器人(21)和下料区(235)的下料智能视觉机器人(27)都具有上料模块和下料模块,控制平台(1)根据实时的装配情况来动态调节工作在这两种模块的智能视觉机器人的数量,装配区的装配智能视觉机器人只有装配模块,每个智能视觉机器人都配有与控制平台(1)以及智能视觉机器人之间通信的无线模块(211)和以及用于寻找路径和元件识别的视觉传感器(213),所述协同装配方法包括四个方面的协同:所有智能视觉机器人与传送装置(23)的启停协同、上料智能视觉机器人(21)和传送装置(23)间的协同、装配智能视觉机器人(24、25、28、29)与传送装置(23)间的协同、下料智能视觉机器人(27)与传送装置(23)间的协同。
4.根据权利要求3所述群视觉机器协同装配方法,其特征在于,所述控制平台(1)根据实际的工作情况,动态调节工作在不同模块的智能视觉机器人的数量的过程是:
控制平台(1)向视觉机器人工作站(2)发送开始工作命令,并让视觉机器人工作站(2)运行相应的装配对象的程序,所有智能视觉机器人同时开始工作,上料智能视觉机器人(21)通过视觉传感器(213)返回的图像信息识别路径运动到元件存放区(22)捡取所需要的元件,然后运动到上料区(231)开始上料,装配智能视觉机器人通过视觉传感器(242)识别所需元件(232),并将成品(236)放在传送装置(23)上,下料智能视觉机器人(27)通过视觉传感器(273)识别合格成品(236),将其从传送装置(23)上抓下放在成品存放区(26),所有智能视觉机器人在每一步工作中,将工作信息通过无线模块(3)传送给控制平台(1),控制平台(1)将信息进行整合,以获取传送装置上的元件数量、传送装置上的成品数量、累计合格成品数量,根据这些信息动态调节智能视觉机器人的数量以及工作在上料模块和下料模块的智能视觉机器人的数量,来更好地完成装配任务。
5.根据权利要求4所述群视觉机器协同装配方法,其特征在于,所述上料智能视觉机器人(21)的上料过程要根据传送装置(23)的速度来协同上料,所述装配智能视觉机器人(24、25、28、29)的装配过程要根据传送装置(23)的速度来协同抓取所需元件进行装配,所述下料智能视觉机器人(27)的下料过程要根据传送装置(23)的速度来协同抓下成品。
6.根据权利要求4所述群视觉机器协同装配方法,其特征在于,所述下料智能视觉机器人(27)每一次完成成品下料后,将下料信息发送给控制平台(1),成品合格时,控制平台统计合格成品(261)数量加1,并将其放入盒子(271)中,成品不合格时,下料智能视觉机器人(27)将不合格成品抓取后放到废品区,并且控制平台(1)通知上料智能视觉机器人(21),所需分拣的各类元件(232、234、237、239)数量加1,当统计到装配合格成品(261)数量满足订单上期望的成品数量时,控制平台(1)向视觉机器人工作站(2)发送完成任务指令,所述装配智能视觉机器人清理掉装配位置(243)的工件、上料智能视觉机器人(21)和下料智能视觉机器人(27)负责清理传送装置(23)上未装配的元件,将其回收后放回原料存放处(22),然后运动到指定地点并向控制平台(1)发出完成清理工作指令,控制平台(1)发送停止指令,所有智能视觉机器人进入待机状态,同时传送装置(23)停止运动。
7.基于权利要求1所述群视觉机器协同装配方法的模型***,其特征在于:
由一台计算机担任控制平台(1);
由一台无线接收发射器作为无线模块(3);
由群智能视觉机器人、环形的传送装置(23)、元件存放区(22)及成品存放区(26)为主要组成部分的视觉机器人工作站(2)。
8.根据权利要求7所述模型***,其特征在于:
所述视觉机器人工作站(2)中,传送装置(23)布置于中心,传送装置(23)长轴两端的区域分别是上料区(231)和下料区(235),平行于长轴两侧的区域为装配区一(233)和装配区二(238),元件存放区(22)布置在上料区(231)附近,成品存放区(26)布置在下料区(235)附近,上料区(231)的上料智能视觉机器人(21)和下料区(235)的下料智能视觉机器人(27)都具有上料模块和下料模块,控制平台(1)根据实时的装配情况来动态调节工作在这两种模块的智能视觉机器人的数量,装配区一(233)和装配区二(238)的装配智能视觉机器人(24、25、28、29)只有装配模块,每个智能视觉机器人都配有与控制平台(1)以及智能视觉机器人之间通信的无线模块(211)和以及用于寻找路径和元件识别的视觉传感器(213)。
9.根据权利要求7所述模型***,其特征在于:
所述视觉机器人工作站(2)中,待装配的元件包括红色底座(221)、黑色芯(222)、弹簧(223)和蓝色盖子(224);
智能视觉机器人在工件识别时,通过视觉传感器返回图像,提取颜色、像素面积、圆半径、圆个数信息,然后依次与模板进行比对,首先确定是否满足颜色为红色、红色像素面积大于阈值、圆半径在指定范围内,若满足,则图像中的目标为红色底座(221),若不满足,继续判断是否满足颜色为黑色且黑色面积、平均灰度及圆半径在指定范围内,若满足,则图像中的目标为黑色芯(222),若不满足,则判断是否满足圆半径、圆个数及平均灰度在指定范围内,若满足,则图像中的目标为弹簧(223),若不满足,则继续判断是否满足颜色为蓝色、蓝色像素面积小于阈值、圆半径小于阈值,若满足,则图像中的目标为蓝色盖子(224),若不满足,继续判断是否满足颜色为蓝色、蓝色像素面积大于阈值、圆半径大于阈值,若满足,则图像中的目标为成品(236),若不满足,则没有任何模板与其匹配;其中上料智能视觉机器人(21)和装配智能视觉机器人(24、25、28、29)需要识别红色底座(221)、黑色芯(222)、弹簧(223)和蓝色盖子(224),下料智能视觉机器人(27)只需要识别成品(236)。
10.根据权利要求9所述模型***,其特征在于:
在提取图像中的特征时,颜色直接通过访问图像的RGB通道进行判断,像素面积通过访问每一个像素是否满足指定的RGB范围,满足则进行累加,最终获得的累加和即为像素面积;圆半径和圆个数的计算要用到圆检测,方法如下:
首先要对获得的图像进行预处理:
对图像进行中值滤波处理,中值滤波器将中心像素正方形邻域内的每个像素值用中间像素值替换,可以除去噪声又保留图像的边缘信息,在二维图像中定义为:
Yi=med{xij}=med{x(i+m),(j+n)(m,n)∈A,(i,j)∈I2}
对图像进行二值化处理,二值化使图像变得简单,数据量减小,能凸显出感兴趣的目标轮廓,定义m为预设阈值,f(x,y)为像素坐标(x,y)的灰度值,g(x,y)为得到的灰度值,表示为:
g ( x , y ) = 255 , f ( x , y ) &GreaterEqual; m 0 , f ( x , y ) < m
利用Canny算子对图像进行边缘检测,Canny边缘检测的原理是用一阶偏导的有限差分来计算梯度的幅值和方向,设f(x,y)为图像,f(x,y)的梯度用2×2一阶有限差分近似式来计算x与y的偏导数的两个阵列f′x(x,y)与f′y(x,y):
f′x(x,y)≈Gx=[f(x+1,y)-f(x,y)+f(x+1,y+1)-f(x,y+1)]/2
f′y(x,y)≈Gy=[f(x,y+1)-f(x,y)+f(x+1,y+1)-f(x+1,y)]/2
由一阶差分卷积模板得到2个梯度的幅值和方向:
为了得到合理的边缘,对梯度幅值进行非极大值抑制,用双阈值算法进行检测和连接真正的边缘;
对边缘图像进行膨胀处理,膨胀处理是对图像与核进行卷积计算,得到核覆盖区域的最大像素值,使得图像中的高亮区域增长,对像素进行补偿,形成联通域。定义X为被处理的图像,B为结构元素,X被B膨胀的结果为:
D ( X ) = X &CircleTimes; B = { ( x , y ) | B x y I X &NotEqual; &phi; }
然后对经过预处理后的图像采用随机Hough变换圆检测,方法如下:
在二维空间中圆的方程为:
(x-a)2+(y-b)2=r2
式中:(a,b)为圆心坐标,r为圆的半径。确定a、b、r3个未知的参数,需要在圆上取3个点(x1,y1)、(x2,y2)、(x3,y3),将3个点代入上式中得到方程组:
(x1-a)2+(y1-b)2=r2
(x2-a)2+(y2-b)2=r2
(x3-a)2+(y3-b)2=r2
求解方程组可得到圆心坐标(a,b)和半径r,
随机Hough变换的原理为在图像中所有的边缘点中随机选取3个点,确定圆心坐标(a1,b1)和半径r1,然后取在第4点(x4,y4)代入第一个方程中,求出半径r4,将r4代入下式中:
r4-r1=δ1
δ为预先设定的误差值,当δ1小于δ时,确定为候选圆。确定候选圆后,取所有点代入计算,当δ1-i小于δ时累加器加1,当累加器的值达到预定阈值时,确定为1个真圆。
CN201611209458.3A 2016-12-23 2016-12-23 群视觉机器协同装配方法及模型*** Expired - Fee Related CN106774208B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611209458.3A CN106774208B (zh) 2016-12-23 2016-12-23 群视觉机器协同装配方法及模型***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611209458.3A CN106774208B (zh) 2016-12-23 2016-12-23 群视觉机器协同装配方法及模型***

Publications (2)

Publication Number Publication Date
CN106774208A true CN106774208A (zh) 2017-05-31
CN106774208B CN106774208B (zh) 2017-12-26

Family

ID=58920344

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611209458.3A Expired - Fee Related CN106774208B (zh) 2016-12-23 2016-12-23 群视觉机器协同装配方法及模型***

Country Status (1)

Country Link
CN (1) CN106774208B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108459572A (zh) * 2018-03-20 2018-08-28 广东美的制冷设备有限公司 监控方法、装置、***、机器人及空调器生产设备
CN109060823A (zh) * 2018-08-03 2018-12-21 珠海格力智能装备有限公司 散热器的散热膏涂覆质量检测方法以及装置
CN109299720A (zh) * 2018-07-13 2019-02-01 沈阳理工大学 一种基于轮廓片段空间关系的目标识别方法
CN110561415A (zh) * 2019-07-30 2019-12-13 苏州紫金港智能制造装备有限公司 一种基于机器视觉补偿的双机器人协同装配***及方法
CN110580373A (zh) * 2018-06-07 2019-12-17 能力中心-虚拟车辆研究公司 预处理协同仿真方法和装置
CN111843981A (zh) * 2019-04-25 2020-10-30 广州中国科学院先进技术研究所 一种多机器人协同装配***和方法
CN112157408A (zh) * 2020-08-13 2021-01-01 盐城工学院 工业机器人双机协作搬运***与方法
CN112363470A (zh) * 2020-11-05 2021-02-12 苏州工业园区卡鲁生产技术研究院 用户协作型机器人控制***
CN112589401A (zh) * 2020-11-09 2021-04-02 苏州赛腾精密电子股份有限公司 一种基于机器视觉的组装方法及***
CN114115151A (zh) * 2021-11-24 2022-03-01 山东哈博特机器人有限公司 一种基于mes的工业机器人协同装配方法和***
CN114161202A (zh) * 2021-12-29 2022-03-11 武汉交通职业学院 一种用于数控机床的工业机器人自动上下料***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104950684A (zh) * 2015-06-30 2015-09-30 西安交通大学 一种群机器人协同调度测控方法及***平台
CN204725516U (zh) * 2015-01-19 2015-10-28 西安航天精密机电研究所 一种适用于流水线作业的单视觉配合多机器人定位***
CN205734182U (zh) * 2016-06-30 2016-11-30 长沙长泰机器人有限公司 用于多组加工设备相互协作的机器人智能加工线

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN204725516U (zh) * 2015-01-19 2015-10-28 西安航天精密机电研究所 一种适用于流水线作业的单视觉配合多机器人定位***
CN104950684A (zh) * 2015-06-30 2015-09-30 西安交通大学 一种群机器人协同调度测控方法及***平台
CN205734182U (zh) * 2016-06-30 2016-11-30 长沙长泰机器人有限公司 用于多组加工设备相互协作的机器人智能加工线

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108459572A (zh) * 2018-03-20 2018-08-28 广东美的制冷设备有限公司 监控方法、装置、***、机器人及空调器生产设备
CN110580373A (zh) * 2018-06-07 2019-12-17 能力中心-虚拟车辆研究公司 预处理协同仿真方法和装置
CN110580373B (zh) * 2018-06-07 2023-09-15 虚拟汽车研究有限公司 预处理协同仿真方法和装置
CN109299720B (zh) * 2018-07-13 2022-02-22 沈阳理工大学 一种基于轮廓片段空间关系的目标识别方法
CN109299720A (zh) * 2018-07-13 2019-02-01 沈阳理工大学 一种基于轮廓片段空间关系的目标识别方法
CN109060823A (zh) * 2018-08-03 2018-12-21 珠海格力智能装备有限公司 散热器的散热膏涂覆质量检测方法以及装置
CN111843981A (zh) * 2019-04-25 2020-10-30 广州中国科学院先进技术研究所 一种多机器人协同装配***和方法
CN110561415A (zh) * 2019-07-30 2019-12-13 苏州紫金港智能制造装备有限公司 一种基于机器视觉补偿的双机器人协同装配***及方法
CN112157408A (zh) * 2020-08-13 2021-01-01 盐城工学院 工业机器人双机协作搬运***与方法
CN112363470A (zh) * 2020-11-05 2021-02-12 苏州工业园区卡鲁生产技术研究院 用户协作型机器人控制***
CN112589401B (zh) * 2020-11-09 2021-12-31 苏州赛腾精密电子股份有限公司 一种基于机器视觉的组装方法及***
CN112589401A (zh) * 2020-11-09 2021-04-02 苏州赛腾精密电子股份有限公司 一种基于机器视觉的组装方法及***
CN114115151A (zh) * 2021-11-24 2022-03-01 山东哈博特机器人有限公司 一种基于mes的工业机器人协同装配方法和***
CN114161202A (zh) * 2021-12-29 2022-03-11 武汉交通职业学院 一种用于数控机床的工业机器人自动上下料***

Also Published As

Publication number Publication date
CN106774208B (zh) 2017-12-26

Similar Documents

Publication Publication Date Title
CN106774208B (zh) 群视觉机器协同装配方法及模型***
CN107899814A (zh) 一种机器人喷涂***及其控制方法
US20180243776A1 (en) Intelligent flexible hub paint spraying line and process
CN109483573A (zh) 机器学习装置、机器人***以及机器学习方法
CN105215987B (zh) 一种工业机器人工艺云***及其工作方法
CN106423656A (zh) 基于点云与图像匹配的自动喷涂***及方法
CN110281231B (zh) 无人化fdm增材制造的移动机器人三维视觉抓取方法
CN202924613U (zh) 集装箱起重机高效装卸作业自动控制***
CN102923578A (zh) 集装箱起重机高效装卸作业自动控制***
CN109926817A (zh) 基于机器视觉的变压器自动装配方法
CN105500370B (zh) 一种基于体感技术的机器人离线示教编程***及方法
CN111906788B (zh) 一种基于机器视觉的卫浴智能打磨***及其打磨方法
CN104458748A (zh) 基于机器视觉的铝型材表面缺陷检测方法
CN104299246B (zh) 基于视频的生产线物品部件运动检测与跟踪方法
CN110456746A (zh) 一种多品种混线自动化生产的实时调度方法
CN108247633A (zh) 机器人的控制方法及***
CN109726777A (zh) 基于互联网的pcb外观检测***及检测方法
CN106681508A (zh) 一种基于手势远程操控机器人的***及其实现方法
CN114924513B (zh) 一种多机器人协同控制***及方法
CN107444644A (zh) 一种用于果园作业的无人机移动补给平台及无人机
CN107454866A (zh) 一种三维模型建立方法和装置
Niemueller et al. Proposal for Advancements to the LLSF in 2014 and beyond
CN107479552A (zh) 基于Agent的轨道机器人自组织控制***
CN111352398A (zh) 智能精密加工单元
CN117022971B (zh) 一种智能物流码垛机器人控制***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171226

Termination date: 20211223