CN106527239A - 一种多机器人协同操作模式的方法及*** - Google Patents
一种多机器人协同操作模式的方法及*** Download PDFInfo
- Publication number
- CN106527239A CN106527239A CN201611255693.4A CN201611255693A CN106527239A CN 106527239 A CN106527239 A CN 106527239A CN 201611255693 A CN201611255693 A CN 201611255693A CN 106527239 A CN106527239 A CN 106527239A
- Authority
- CN
- China
- Prior art keywords
- delta robots
- delta
- destination object
- control system
- robots
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 94
- 230000000007 visual effect Effects 0.000 claims abstract description 41
- 238000004891 communication Methods 0.000 claims abstract description 7
- 238000001914 filtration Methods 0.000 claims description 9
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 description 4
- 238000003708 edge detection Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 150000001875 compounds Chemical class 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000007688 edging Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 206010068052 Mosaicism Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 239000012636 effector Substances 0.000 description 1
- 239000011664 nicotinic acid Substances 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000004886 process control Methods 0.000 description 1
- 210000003765 sex chromosome Anatomy 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种多机器人协同操作模式的方法及***，其方法包括：运动控制***中的通信模块接收远程控制指令；运动控制***解析所述远程控制指令中的至少两台DELTA机器人的位置信息；运动控制***向至少两台DELTA机器人发送指令；运动控制***获取所述GNSS模块定位解析的位置信息，并判断所述GNSS模块定位解析的位置信息与远程控制指令中的至少两台DELTA机器人的位置信息是否相匹配；启动运动控制***控制DELTA机器人协同操作。通过本发明实施例，通过建立协调工作模式下的视频跟踪，基于视觉***实现目标对象在多个DELTA机器人下协同工作模式下的视频跟踪图像。
Description
技术领域
本发明涉及智能制造技术领域，具体涉及一种多机器人协同操作模式的方法及***。
背景技术
随着机器人技术的不断发展，越来越多的机器人开始替代人类执行各种任务。机器人是自动控制机器(Robot)的俗称，自动控制机器包括一切模拟人类行为或思想与模拟其他生物的机械(如机器狗，机器猫等)。狭义上对机器人的定义还有很多分类法及争议，有些电脑程序甚至也被称为机器人。在当代工业中，机器人指能自动执行任务的人造机器装置，用以取代或协助人类工作。理想中的高仿真机器人是高级整合控制论、机械电子、计算机与人工智能、材料学和仿生学的产物，目前科学界正在向此方向研究开发，但是机器人远程控制还不完善，大数据的应用还没有普及，机器人的数据采集还处于离线状态，机器人深度学习也来自于本机数据的储存。
DELTA机器人是并联机器人的一种，DELTA机器人通过外转动副驱动3条平行四边形支链，再加上中间一根旋转驱动轴，可实现其末端执行器的空间四维运动，配置视觉***后，在电子、轻工、食品及医药等领域的分拣包装中广泛应用。
目前现有的各个厂家DELTA机器人的控制***是采用其自身的专用机器人控制器来构建的机器人控制***，这种采用专用控制器的控制******通用性不好。一般的DELTA机器人控制***是由运动控制***、伺服***、视觉跟踪***和输送带跟踪***组成，如图1中所示中，由于存在多个DELTA机器人协同工作，目标对象在不同DELTA机器人下不同时间内完成不同操作过程，如何实现视频跟踪过程中，而现有技术缺乏一种可行方案。且随着机器人技术的不断发展，越来越多的机器人开始替代人类执行各种任务。一般情况下，机器人与操纵者之间相隔很远或者操纵者需要实现远程操作来完成，且现有的工业机器人在远程操作作业时，如何实现远程机器人实际地址与受控机器人相一致的情况，避免操作指令误发，导致工业生产过程中的事故。
发明内容
本发明提供了一种多机器人协同操作模式的方法及***，通过精准定位机器人来建立协调工作模式下的视频跟踪，解决了现有机器视觉协调性问题。
本发明提供了一种多机器人协同操作模式的方法，其特征在于，其中：机器人控制***包括运动控制***、视觉***，所述运动控制***与视觉***连接，以及所述运动控制***连接有至少两台DELTA机器人，所述运动控制***与所述至少两台DELTA机器人之间通过EtherCAT总线串联，所述方法包括：
运动控制***中的通信模块接收远程控制指令，所述远程控制指令包括至少两台DELTA机器人的位置信息；
运动控制***解析所述远程控制指令中的至少两台DELTA机器人的位置信息；
运动控制***向至少两台DELTA机器人发送指令，触发至少两台DELTA机器人上的GNSS模块定位解析所述至少两台DELTA机器人所在的位置信息；
运动控制***获取所述GNSS模块定位解析的位置信息，并判断所述GNSS模块定位解析的位置信息与远程控制指令中的至少两台DELTA机器人的位置信息是否相匹配；
在判断所述GNSS模块定位解析的位置信息与远程控制指令中的至少两台DELTA机器人的位置信息相匹配后，启动运动控制***控制DELTA机器人协同操作；
在运动控制***控制DELTA机器人操作过程中，视觉***构建每一台DELTA机器人下的目标追踪模型，对目标对象图像进行采集与处理；
运用图像处理的方法对每一台DELTA机器人的操作状态进行检测和识别，获得每一台DELTA机器人操作过程下的目标对象；
利用测距方法，精确定位DELTA机器人与目标对象之间的距离，并对目标对象状态进行预测；
视觉***根据预测及时跟踪目标对象下一个状态值。
所述视觉***构建每一台DELTA机器人下的目标追踪模型，对目标对象图像进行采集与处理包括：
基于DELTA机器人工作背景结合颜色和边缘的跟踪算法建立目标追踪模型。
所述运用图像处理的方法对每一台DELTA机器人的操作状态进行检测和识别包括：
利用帧间差分法对对每一台DELTA机器人的操作状态下的目标对象进行检测和识别。
所述利用测距方法，精确定位DELTA机器人与目标对象之间的距离，并对目标对象状态进行预测包括：
采用单目视觉测距方法计算出DELTA机器人与目标对象之间的距离；
在基于卡尔曼滤波算法预测目标对象状态的运动状态。
所述视觉***根据预测及时跟踪目标对象下一个状态值包括：
基于所述至少两台DELTA机器人之间的协同控制指令，对目标对象进行实时追踪，并基于视觉***抓取不同DELTA机器人下的状态值。
相应的，本发明还提供了一种多机器人协同操作模式的***，包括：运动控制***、视觉***，所述运动控制***与视觉***相连，以及所述运动控制***连接有至少两台DELTA机器人，所述运动控制***与所述至少两台DELTA机器人之间通过EtherCAT总线串联，其中：
运动控制***中的通信模块接收远程控制指令，所述远程控制指令包括至少两台DELTA机器人的位置信息，并解析所述远程控制指令中的至少两台DELTA机器人的位置信息，以及向至少两台DELTA机器人发送指令，触发至少两台DELTA机器人上的GNSS模块定位解析所述至少两台DELTA机器人所在的位置信息；获取所述GNSS模块定位解析的位置信息，并判断所述GNSS模块定位解析的位置信息与远程控制指令中的至少两台DELTA机器人的位置信息是否相匹配，在判断所述GNSS模块定位解析的位置信息与远程控制指令中的至少两台DELTA机器人的位置信息相匹配后，启动运动控制***控制DELTA机器人协同操作，控制目标对象在至少两台DELTA机器人下进行协同操作；
视觉***用于构建每一台DELTA机器人下的目标追踪模型，对目标对象图像进行采集与处理；运用图像处理的方法对每一台DELTA机器人的操作状态进行检测和识别，获得每一台DELTA机器人操作过程下的目标对象；利用测距方法，精确定位DELTA机器人与目标对象之间的距离，并对目标对象状态进行预测；视觉***根据预测及时跟踪目标对象下一个状态值；
至少两台DELTA机器人用于接收运动控制***发送的指令，并基于GNSS模块定位解析至少两台DELTA机器人所在的位置信息，并受控于运动控制***完成协同操作。
所述视觉***基于DELTA机器人工作背景结合颜色和边缘的跟踪算法建立目标追踪模型。
所述视觉***利用帧间差分法对对每一台DELTA机器人的操作状态下的目标对象进行检测和识别。
述视觉***采用单目视觉测距方法计算出DELTA机器人与目标对象之间的距离；在基于卡尔曼滤波算法预测目标对象状态的运动状态。
所述视觉***基于所述至少两台DELTA机器人之间的协同控制指令，对目标对象进行实时追踪，并基于视觉***抓取不同DELTA机器人下的状态值。
在本发明中，在远程建立协同操作时，首先发送远程协议信息，实现多个DELTA机器人与远程协议信息中的位置匹配关系，通过精确定位识别并授权建立协调工作模式下的视频跟踪，基于视觉***实现目标对象在多个DELTA机器人下协同工作模式下的视频跟踪图像，并才有测距方法可以及时对目标对象进行预测，及时跟进目标对象下一个状态值，保证了整个操作对象过程的有序监控，可以按照时序过程再现整个操作过程。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是现有技术中的机器人控制***的结构示意图；
图2是本发明实施例中的机器人控制***结构示意图；
图3是本发明实施例中的多机器人协同操作模式的方法流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
具体的，图2示出了本发明实施例中的机器人控制***结构示意图，该机器人控制***包括运动控制***、视觉***，该运动控制***与视觉***连接，以及所述运动控制***连接有至少两台DELTA机器人，该运动控制***与该至少两台DELTA机器人之间通过EtherCAT总线串联，本发明实施例中示出了三台DELTA机器人，其中：
运动控制***中的通信模块接收远程控制指令，所述远程控制指令包括至少两台DELTA机器人的位置信息，并解析所述远程控制指令中的至少两台DELTA机器人的位置信息，以及向至少两台DELTA机器人发送指令，触发至少两台DELTA机器人上的GNSS模块定位解析所述至少两台DELTA机器人所在的位置信息；获取所述GNSS模块定位解析的位置信息，并判断所述GNSS模块定位解析的位置信息与远程控制指令中的至少两台DELTA机器人的位置信息是否相匹配，在判断所述GNSS模块定位解析的位置信息与远程控制指令中的至少两台DELTA机器人的位置信息相匹配后，启动运动控制***控制DELTA机器人协同操作，控制目标对象在至少两台DELTA机器人下进行协同操作；
视觉***用于构建每一台DELTA机器人下的目标追踪模型，对目标对象图像进行采集与处理；运用图像处理的方法对每一台DELTA机器人的操作状态进行检测和识别，获得每一台DELTA机器人操作过程下的目标对象；利用测距方法，精确定位DELTA机器人与目标对象之间的距离，并对目标对象状态进行预测；视觉***根据预测及时跟踪目标对象下一个状态值；
至少两台DELTA机器人用于接收运动控制***发送的指令，并基于GNSS模块定位解析至少两台DELTA机器人所在的位置信息，并受控于运动控制***完成协同操作。
具体实施过程中，该视觉***基于DELTA机器人工作背景结合颜色和边缘的跟踪算法建立目标追踪模型；以及利用帧间差分法对对每一台DELTA机器人的操作状态下的目标对象进行检测和识别；采用单目视觉测距方法计算出DELTA机器人与目标对象之间的距离；在基于卡尔曼滤波算法预测目标对象状态的运动状态；基于所述至少两台DELTA机器人之间的协同控制指令，对目标对象进行实时追踪，并基于视觉***抓取不同DELTA机器人下的状态值。
需要说明的是，本发明实施例中结合颜色和边缘的跟踪算法建立目标追踪模型，可以采用一些彩色边缘检测算法，它充分考虑了彩色图像的边缘特性，使用彩色差进行跟踪，从而弥补了传统边缘检测方法检测时丢失边缘的不足，其能提取更多的彩色边缘信息，而且检测精度和效果都比较令人满意，具有一定的实用价值和良好的处理效果。
需要说明的是，帧间差分法是一种通过对视频图像序列中相邻两帧作差分运算来获得运动目标轮廓的方法，它可以很好地适用于存在多个运动目标和摄像机移动的情况。当监控场景中出现异常物体运动时，帧与帧之间会出现较为明显的差别，两帧相减，得到两帧图像亮度差的绝对值，判断它是否大于阈值来分析视频或图像序列的运动特性，确定图像序列中有无物体运动。图像序列逐帧的差分，相当于对图像序列进行了时域下的高通滤波。
需要说明的是，单目视觉测距方法可以利用小孔成像原理，得出成像点与目标点的映射关系，建立小孔成像模型。然后通过对目标图像的分析，得出目标物与目标图像的面积映射关系，建立视觉测量的直线测距模型；通过图像处理，提取目标图像的特征点，将光心与目标物的距离关系转化为光心与特征点的距离关系，提出了基于特征点的单目视觉测距原理。
需要说明的是，卡尔曼滤波算法是一种利用线性***状态方程，通过***输入输出观测数据，对***状态进行最优估计的算法，从而实现数据值的预测过程。
需要说明的是，运动控制***接收远程控制指令时，在完成整个匹配过程之后，即可实现对至少两台DELTA机器人控制的授权，将远程控制指令中的操作作业指令解析出来之后，至少两台DELTA机器人即可实现受控，完成相应的视觉跟踪的协同操作；在识别出整个匹配过程不成功之后，即对至少两台DELTA机器人授权的失败，不能即系解析操作作业指令，不能使工业机器人完成相应的受控过程。
在整个协同作业过程中，对远程控制指令中写入DELTA机器人的位置信息，并基于DELTA机器人上的GNSS模块获取定位信息，从而解析该DELTA机器人的位置信息，运动控制***通过这两个信息间的匹配过程，可以精准实现DELTA机器人的协同操作，避免误操作发生。通过精确定位识别并授权建立协调工作模式下的视频跟踪，基于视觉***实现目标对象在多个DELTA机器人下协同工作模式下的视频跟踪图像，并才有测距方法可以及时对目标对象进行预测，及时跟进目标对象下一个状态值，保证了整个操作对象过程的有序监控，可以按照时序过程再现整个操作过程。
相应的，图3示出了本发明实施例中的多机器人操作模式下视觉跟踪的方法流程图，其中：机器人控制***包括运动控制***、视觉***，所述运动控制***与视觉***连接，以及所述运动控制***连接有至少两台DELTA机器人，所述运动控制***与所述至少两台DELTA机器人之间通过EtherCAT总线串联，该方法包括如下步骤：
S101、运动控制***中的通信模块接收远程控制指令，所述远程控制指令包括至少两台DELTA机器人的位置信息；
S102、运动控制***解析所述远程控制指令中的至少两台DELTA机器人的位置信息；
S103、运动控制***向至少两台DELTA机器人发送指令，触发至少两台DELTA机器人上的GNSS模块定位解析所述至少两台DELTA机器人所在的位置信息；
S104、运动控制***获取所述GNSS模块定位解析的位置信息，并判断所述GNSS模块定位解析的位置信息与远程控制指令中的至少两台DELTA机器人的位置信息是否相匹配，如果匹配则进入S105，否则进入S110；
S105、在判断所述GNSS模块定位解析的位置信息与远程控制指令中的至少两台DELTA机器人的位置信息相匹配后，启动运动控制***控制DELTA机器人协同操作；
S106、在运动控制***控制DELTA机器人操作过程中，视觉***构建每一台DELTA机器人下的目标追踪模型，对目标对象图像进行采集与处理；
具体实施过程中，通过基于DELTA机器人工作背景结合颜色和边缘的跟踪算法建立目标追踪模型。本发明实施例中结合颜色和边缘的跟踪算法建立目标追踪模型，可以采用一些彩色边缘检测算法，它充分考虑了彩色图像的边缘特性，使用彩色差进行跟踪，从而弥补了传统边缘检测方法检测时丢失边缘的不足，其能提取更多的彩色边缘信息，而且检测精度和效果都比较令人满意，具有一定的实用价值和良好的处理效果。
S107、运用图像处理的方法对每一台DELTA机器人的操作状态进行检测和识别，获得每一台DELTA机器人操作过程下的目标对象；
具体实施过程中，利用帧间差分法对对每一台DELTA机器人的操作状态下的目标对象进行检测和识别。帧间差分法是一种通过对视频图像序列中相邻两帧作差分运算来获得运动目标轮廓的方法，它可以很好地适用于存在多个运动目标和摄像机移动的情况。当监控场景中出现异常物体运动时，帧与帧之间会出现较为明显的差别，两帧相减，得到两帧图像亮度差的绝对值，判断它是否大于阈值来分析视频或图像序列的运动特性，确定图像序列中有无物体运动。图像序列逐帧的差分，相当于对图像序列进行了时域下的高通滤波。卡尔曼滤波算法是一种利用线性***状态方程，通过***输入输出观测数据，对***状态进行最优估计的算法，从而实现数据值的预测过程。
S108、利用测距方法，精确定位DELTA机器人与目标对象之间的距离，并对目标对象状态进行预测；
具体实施过程中，采用单目视觉测距方法计算出DELTA机器人与目标对象之间的距离；在基于卡尔曼滤波算法预测目标对象状态的运动状态。
单目视觉测距方法可以利用小孔成像原理，得出成像点与目标点的映射关系，建立小孔成像模型。然后通过对目标图像的分析，得出目标物与目标图像的面积映射关系，建立视觉测量的直线测距模型；通过图像处理，提取目标图像的特征点，将光心与目标物的距离关系转化为光心与特征点的距离关系，提出了基于特征点的单目视觉测距原理。
S109、视觉***根据预测及时跟踪目标对象下一个状态值。
具体实施过程中，基于所述至少两台DELTA机器人之间的协同控制指令，对目标对象进行实时追踪，并基于视觉***抓取不同DELTA机器人下的状态值。
S110、结束。
综上，在整个协同作业过程中，对远程控制指令中写入DELTA机器人的位置信息，并基于DELTA机器人上的GNSS模块获取定位信息，从而解析该DELTA机器人的位置信息，运动控制***通过这两个信息间的匹配过程，可以精准实现DELTA机器人的协同操作，避免误操作发生。通过精确定位识别并授权建立协调工作模式下的视频跟踪，基于视觉***实现目标对象在多个DELTA机器人下协同工作模式下的视频跟踪图像，并才有测距方法可以及时对目标对象进行预测，及时跟进目标对象下一个状态值，保证了整个操作对象过程的有序监控，可以按照时序过程再现整个操作过程。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random AccessMemory)、磁盘或光盘等。
以上对本发明实施例所提供的多机器人协同操作模式的方法及***进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种多机器人协同操作模式的方法，其特征在于，其中：机器人控制***包括运动控制***、视觉***，所述运动控制***与视觉***连接，以及所述运动控制***连接有至少两台DELTA机器人，所述运动控制***与所述至少两台DELTA机器人之间通过EtherCAT总线串联，所述方法包括：
运动控制***中的通信模块接收远程控制指令，所述远程控制指令包括至少两台DELTA机器人的位置信息；
运动控制***解析所述远程控制指令中的至少两台DELTA机器人的位置信息；
运动控制***向至少两台DELTA机器人发送指令，触发至少两台DELTA机器人上的GNSS模块定位解析所述至少两台DELTA机器人所在的位置信息；
运动控制***获取所述GNSS模块定位解析的位置信息，并判断所述GNSS模块定位解析的位置信息与远程控制指令中的至少两台DELTA机器人的位置信息是否相匹配；
在判断所述GNSS模块定位解析的位置信息与远程控制指令中的至少两台DELTA机器人的位置信息相匹配后，启动运动控制***控制DELTA机器人协同操作；
在运动控制***控制DELTA机器人操作过程中，视觉***构建每一台DELTA机器人下的目标追踪模型，对目标对象图像进行采集与处理；
运用图像处理的方法对每一台DELTA机器人的操作状态进行检测和识别，获得每一台DELTA机器人操作过程下的目标对象；
利用测距方法，精确定位DELTA机器人与目标对象之间的距离，并对目标对象状态进行预测；
视觉***根据预测及时跟踪目标对象下一个状态值。
2.如权利要求1所述的多机器人协同操作模式的方法，其特征在于，所述视觉***构建每一台DELTA机器人下的目标追踪模型，对目标对象图像进行采集与处理包括：
基于DELTA机器人工作背景结合颜色和边缘的跟踪算法建立目标追踪模型。
3.如权利要求1所述的多机器人协同操作模式的方法，其特征在于，所述运用图像处理的方法对每一台DELTA机器人的操作状态进行检测和识别包括：
利用帧间差分法对对每一台DELTA机器人的操作状态下的目标对象进行检测和识别。
4.如权利要求1所述的多机器人协同操作模式的方法，其特征在于，所述利用测距方法，精确定位DELTA机器人与目标对象之间的距离，并对目标对象状态进行预测包括：
采用单目视觉测距方法计算出DELTA机器人与目标对象之间的距离；
在基于卡尔曼滤波算法预测目标对象状态的运动状态。
5.如权利要求1至4任一项所述的多机器人协同操作模式的方法，其特征在于，所述视觉***根据预测及时跟踪目标对象下一个状态值包括：
基于所述至少两台DELTA机器人之间的协同控制指令，对目标对象进行实时追踪，并基于视觉***抓取不同DELTA机器人下的状态值。
6.一种多机器人协同操作模式的***，其特征在于，包括：运动控制***、视觉***，所述运动控制***与视觉***相连，以及所述运动控制***连接有至少两台DELTA机器人，所述运动控制***与所述至少两台DELTA机器人之间通过EtherCAT总线串联，其中：
运动控制***中的通信模块接收远程控制指令，所述远程控制指令包括至少两台DELTA机器人的位置信息，并解析所述远程控制指令中的至少两台DELTA机器人的位置信息，以及向至少两台DELTA机器人发送指令，触发至少两台DELTA机器人上的GNSS模块定位解析所述至少两台DELTA机器人所在的位置信息；获取所述GNSS模块定位解析的位置信息，并判断所述GNSS模块定位解析的位置信息与远程控制指令中的至少两台DELTA机器人的位置信息是否相匹配，在判断所述GNSS模块定位解析的位置信息与远程控制指令中的至少两台DELTA机器人的位置信息相匹配后，启动运动控制***控制DELTA机器人协同操作，控制目标对象在至少两台DELTA机器人下进行协同操作；
视觉***用于构建每一台DELTA机器人下的目标追踪模型，对目标对象图像进行采集与处理；运用图像处理的方法对每一台DELTA机器人的操作状态进行检测和识别，获得每一台DELTA机器人操作过程下的目标对象；利用测距方法，精确定位DELTA机器人与目标对象之间的距离，并对目标对象状态进行预测；视觉***根据预测及时跟踪目标对象下一个状态值；
至少两台DELTA机器人用于接收运动控制***发送的指令，并基于GNSS模块定位解析至少两台DELTA机器人所在的位置信息，并受控于运动控制***完成协同操作。
7.如权利要求6所述的多机器人协同操作模式的***，其特征在于，所述视觉***基于DELTA机器人工作背景结合颜色和边缘的跟踪算法建立目标追踪模型。
8.如权利要求6所述的多机器人协同操作模式的***，其特征在于，所述视觉***利用帧间差分法对对每一台DELTA机器人的操作状态下的目标对象进行检测和识别。
9.如权利要求6所述的多机器人协同操作模式的***，其特征在于，所述视觉***采用单目视觉测距方法计算出DELTA机器人与目标对象之间的距离；在基于卡尔曼滤波算法预测目标对象状态的运动状态。
10.如权利要求5至9任一项所述的多机器人协同操作模式的***，其特征在于，所述视觉***基于所述至少两台DELTA机器人之间的协同控制指令，对目标对象进行实时追踪，并基于视觉***抓取不同DELTA机器人下的状态值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611255693.4A CN106527239B (zh) | 2016-12-30 | 2016-12-30 | 一种多机器人协同操作模式的方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611255693.4A CN106527239B (zh) | 2016-12-30 | 2016-12-30 | 一种多机器人协同操作模式的方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106527239A true CN106527239A (zh) | 2017-03-22 |
| CN106527239B CN106527239B (zh) | 2018-12-21 |
Family
ID=58335902
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611255693.4A Expired - Fee Related CN106527239B (zh) | 2016-12-30 | 2016-12-30 | 一种多机器人协同操作模式的方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106527239B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107363833A (zh) * | 2017-07-17 | 2017-11-21 | 深圳市微付充科技有限公司 | 一种移动机器人及其控制方法和装置 |
| CN108500979A (zh) * | 2018-03-10 | 2018-09-07 | 彭惠平 | 一种基于相机通讯连接的机器人抓取方法及其*** |
| CN109202958A (zh) * | 2017-06-30 | 2019-01-15 | 沈阳新松机器人自动化股份有限公司 | 一种复合机器人视觉抓取平台 |
| CN109672742A (zh) * | 2018-12-25 | 2019-04-23 | 华南智能机器人创新研究院 | 一种基于不同压铸机***间的智能化协同控制方法及*** |
| CN110007671A (zh) * | 2019-03-12 | 2019-07-12 | 南方科技大学 | 一种机器人集群协同定位***和方法 |
| CN111573258A (zh) * | 2020-05-20 | 2020-08-25 | 欧拓飞科技(珠海)有限公司 | 机械手上下料对位***及方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103983263A (zh) * | 2014-05-30 | 2014-08-13 | 东南大学 | 一种采用迭代扩展卡尔曼滤波与神经网络的惯性/视觉组合导航方法 |
| CN104589357A (zh) * | 2014-12-01 | 2015-05-06 | 佛山市万世德机器人技术有限公司 | 基于视觉跟踪的delta机器人控制***和方法 |
| US20150202776A1 (en) * | 2014-01-23 | 2015-07-23 | Fanuc Corporation | Data generation device for vision sensor and detection simulation system |
| CN104898575A (zh) * | 2015-06-01 | 2015-09-09 | 中国人民解放军装甲兵工程学院 | 多机器人协同控制*** |
| CN104950887A (zh) * | 2015-06-19 | 2015-09-30 | 重庆大学 | 基于机器人视觉***和自主跟踪***的运输装置 |
| WO2016175158A1 (ja) * | 2015-04-30 | 2016-11-03 | ライフロボティクス株式会社 | ロボットシステム |
-
2016
- 2016-12-30 CN CN201611255693.4A patent/CN106527239B/zh not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150202776A1 (en) * | 2014-01-23 | 2015-07-23 | Fanuc Corporation | Data generation device for vision sensor and detection simulation system |
| CN103983263A (zh) * | 2014-05-30 | 2014-08-13 | 东南大学 | 一种采用迭代扩展卡尔曼滤波与神经网络的惯性/视觉组合导航方法 |
| CN104589357A (zh) * | 2014-12-01 | 2015-05-06 | 佛山市万世德机器人技术有限公司 | 基于视觉跟踪的delta机器人控制***和方法 |
| WO2016175158A1 (ja) * | 2015-04-30 | 2016-11-03 | ライフロボティクス株式会社 | ロボットシステム |
| CN104898575A (zh) * | 2015-06-01 | 2015-09-09 | 中国人民解放军装甲兵工程学院 | 多机器人协同控制*** |
| CN104950887A (zh) * | 2015-06-19 | 2015-09-30 | 重庆大学 | 基于机器人视觉***和自主跟踪***的运输装置 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109202958A (zh) * | 2017-06-30 | 2019-01-15 | 沈阳新松机器人自动化股份有限公司 | 一种复合机器人视觉抓取平台 |
| CN109202958B (zh) * | 2017-06-30 | 2022-03-08 | 沈阳新松机器人自动化股份有限公司 | 一种复合机器人视觉抓取平台 |
| CN107363833A (zh) * | 2017-07-17 | 2017-11-21 | 深圳市微付充科技有限公司 | 一种移动机器人及其控制方法和装置 |
| CN108500979A (zh) * | 2018-03-10 | 2018-09-07 | 彭惠平 | 一种基于相机通讯连接的机器人抓取方法及其*** |
| CN109672742A (zh) * | 2018-12-25 | 2019-04-23 | 华南智能机器人创新研究院 | 一种基于不同压铸机***间的智能化协同控制方法及*** |
| CN109672742B (zh) * | 2018-12-25 | 2021-11-02 | 华南智能机器人创新研究院 | 一种基于不同压铸机***间的智能化协同控制方法及*** |
| CN110007671A (zh) * | 2019-03-12 | 2019-07-12 | 南方科技大学 | 一种机器人集群协同定位***和方法 |
| CN111573258A (zh) * | 2020-05-20 | 2020-08-25 | 欧拓飞科技(珠海)有限公司 | 机械手上下料对位***及方法 |
| CN111573258B (zh) * | 2020-05-20 | 2022-03-22 | 欧拓飞科技(珠海)有限公司 | 机械手上下料对位***及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106527239B (zh) | 2018-12-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106527239A (zh) | 一种多机器人协同操作模式的方法及*** | |
| CN110253570B (zh) | 基于视觉的工业机械臂人机安全*** | |
| Schmidt et al. | Depth camera based collision avoidance via active robot control | |
| CN105665970B (zh) | 用于焊接机器人的路径点自动生成***和方法 | |
| CN106671083B (zh) | 一种基于机器视觉检测的装配机器人*** | |
| CN108055501A (zh) | 一种目标检测及跟踪的视频监控***及方法 | |
| DE102010045752A1 (de) | Visuelles Wahrnehmungssystem und -verfahren für einen humanoiden Roboter | |
| CN106444758A (zh) | 一种基于机器视觉的道路识别与路径优选的agv运输车及其控制*** | |
| CN104808490B (zh) | 一种面向模具保护的无标定视觉伺服控制方法 | |
| CN107315410A (zh) | 一种机器人自动排障方法 | |
| Schmidt et al. | Contact-less and programming-less human-robot collaboration | |
| CN109202958B (zh) | 一种复合机器人视觉抓取平台 | |
| CN111230854A (zh) | 一种智能协作机器人安全控制软件*** | |
| CN106780566B (zh) | 一种基于Delta机器人下的目标跟踪的方法及*** | |
| Tellaeche et al. | Human robot interaction in industrial robotics. Examples from research centers to industry | |
| CN111300491A (zh) | 基于协作化驱控一体机器人的人机协作安全*** | |
| CN107818587B (zh) | 一种基于ros的机器视觉高精度定位方法 | |
| US11478932B2 (en) | Handling assembly comprising a handling device for carrying out at least one work step, method, and computer program | |
| CN106393144A (zh) | 一种多机器人操作模式下视觉跟踪的方法及*** | |
| CN114800524B (zh) | 一种人机交互协作机器人主动避碰的***及方法 | |
| CN106558070A (zh) | 一种基于Delta机器人下的视觉跟踪的方法及*** | |
| CN106736059A (zh) | 一种基于机器视觉检测的智能焊接机器人*** | |
| Aalerud et al. | Industrial Environment Mapping Using Distributed Static 3D Sensor Nodes | |
| Kemsaram et al. | Architecture design and development of an on-board stereo vision system for cooperative automated vehicles | |
| CN206416179U (zh) | 一种基于双目视觉的运动目标跟踪定位与抓取*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20181221 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |