CN108500979B - 一种基于相机通讯连接的机器人抓取方法及其*** - Google Patents

一种基于相机通讯连接的机器人抓取方法及其*** Download PDF

Info

Publication number
CN108500979B
CN108500979B CN201810197156.1A CN201810197156A CN108500979B CN 108500979 B CN108500979 B CN 108500979B CN 201810197156 A CN201810197156 A CN 201810197156A CN 108500979 B CN108500979 B CN 108500979B
Authority
CN
China
Prior art keywords
robot
grabbing
image
nearby
main control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810197156.1A
Other languages
English (en)
Other versions
CN108500979A (zh
Inventor
彭惠平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangling Motors Corp Ltd
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201810197156.1A priority Critical patent/CN108500979B/zh
Publication of CN108500979A publication Critical patent/CN108500979A/zh
Application granted granted Critical
Publication of CN108500979B publication Critical patent/CN108500979B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1669—Programme controls characterised by programming, planning systems for manipulators characterised by special application, e.g. multi-arm co-operation, assembly, grasping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Automation & Control Theory (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种基于相机通讯连接的机器人抓取方法及其***，涉及机器人技术领域，其方法包括如下步骤：步骤一，主控机建立相机与就近机器人间的临时匹配关系；步骤二，机器人对目标工件实施抓取；步骤三，相机采集机器人抓取姿态图像至主控机；步骤四，主控机匹配抓取姿态图像与模板抓取图像；步骤五，主控机计算抓取姿态图像和模板抓取图像间的位置偏移量和差异值，生成匹配度；步骤六，机器人根据匹配度调整抓取姿态；步骤七，机器人转移目标工件。通过就近机器人与相机间实现通讯，配合数据库，缩短操控时间，提高抓取效率，通过抓取姿态图像和模板抓取图像之间的实时匹配，保证抓取姿态的精准，同时也对目标工件起到了保护作用。

Description

一种基于相机通讯连接的机器人抓取方法及其***
技术领域
本发明涉及机器人技术领域，更具体地说，它涉及一种基于相机通讯连接的机器人抓取方法及其***。
背景技术
随着科技进步的发展，人为参与的加工工种正在逐渐减少，机器人广泛的参与进了工厂的加工***中，针对不同的加工环境、加工方式等等其他加工要求，目前设计了多种不同类型的机器人。
专利公告号为CN107009391A的中国专利，提出了一种机器人抓取定位装置、机器人抓取***以及抓取方法，包括：分料台、相机移动机构以及相机；相机移动机构与分料台对应设置，相机安装在相机移动机构上，相机移动机构用于带动相机相对于分料台沿预设轨迹移动，以使相机逐个采集分料台上多个预设位置的图像。
上述专利中的机器人只适用于定点的位置且只能针对特定的工件进行抓夹，适用范围小，导致其他不同型号的机器人难以有效利用。实际生产中，工厂内任意位置安放的工件均需要机器人进行配合转移，现有技术中的机器人会难以准确识别不同工件的形状并对其实施最佳抓取方式，最终使得抓取效率低下，最终也影响了工厂的生产效率。
发明内容
针对现有技术中机器人难以准确识别不同工件的形状并采取合理抓取方式的问题，本发明的目的一在于提供一种基于相机通讯连接的机器人抓取方法，其具有实时控制、抓取精准、抓取效率高的优点。
为实现上述目的，本发明提供了如下技术方案：
一种基于相机通讯连接的机器人抓取方法及其***，包括如下步骤：
步骤一，相机采集目标工件与各个机器人的图像信息并输出至主控机，主控机根据所述图像信息识别到与目标工件就近的机器人，建立相机与上述机器人之间的临时匹配关系，输出抓取信号至上述机器人；
步骤二，机器人响应于所述抓取信号并对目标工件实施抓取；
步骤三，相机实时拍摄并采集机器人对目标工件的抓取姿态图像至主控机；
步骤四，主控机接收到实时采集的抓取姿态图像，从数据库调用对应目标工件的模板抓取图像，采用基于形状的模版匹配方法，将抓取姿态图像与模板抓取图像进行匹配；
步骤五，主控机计算抓取姿态图像和模板抓取图像之间的位置偏移量以及两幅图像的差异值，生成匹配度；
步骤六，主控机根据匹配度判断机器人抓取姿态的准确性，当判断机器人抓取姿态不准确时，机器人对抓取姿态进行调整，直至抓取姿态匹配；
步骤七，机器人转移目标工件。
通过上述技术方案，主控机通过相机识别到与目标工件就近的机器人后会与上述机器人实现通讯连接，机器人接收到抓取信号后自动向目标工件靠近，由于目标工件外表形状的不规则性，机器人在三维空间内需要采用特定的角度和高度来抓取目标工件。相机和主控机监控就近机器人的抓取动作，当机器人抓取动作不准确时，将反馈准确的抓取姿态给机器人，直到机器人最终对目标工件完成精准的抓取和转移。本发明可识别并控制就近机器人与相机实现通讯连接，缩短了操控时间，同时提高了抓取效率；数据库存储有不同工件与任一机器人之间最佳的抓取方式，保障抓取过程中向机器人提供最佳的抓取信息，通过抓取姿态图像和模板抓取图像之间的实时匹配，保证抓取姿态的精准，同时也对目标工件起到了最好的保护作用。
进一步的，步骤一中还包括如下步骤：
A、以所述主控机为核心建立控制网络，所述相机及多个所述机器人接入到所述控制网络中且与所述主控机控制连接；
B、所述相机摄取目标工件以及多个机器人的图像，经图形处理得到目标工件位置与各个机器人之间的距离，根据所述距离的大小，输出一距离目标工件最近的机器人信息至所述主控机；
C、所述主控机接收距离目标工件最近的机器人信息，输出所述抓取信号至上述机器人；
D、建立就近机器人IP与相机IP之间的通讯连接。
通过上述技术方案，主控机建立控制网络后同时对相机和多个机器人进行控制，在控制网络内实现相机和就近机器人之间的通讯连接，抓取结束后，通讯连接也相应中断。
进一步的，所述步骤二还包括如下步骤：
A、主控机根据图像信息，标记目标工件位置和就近机器人当前位置；
B、主控机采用图像标定技术计算机器人相对于目标工件之间的直线距离和偏移角度，反馈所述直线距离和所述偏移角度至机器人；
C、机器人根据直线距离和偏移角度向目标工件靠近；
D、循环ABC直至机器人到达预抓取位置。
通过上述技术方案，机器人根据移动距离和移动角度选择最佳的移动方式自动向目标工件靠近，缩短了抓取前的准备时间，提高了对目标工件的抓取效率。
进一步的，步骤四中还包括：
根据相机获取的目标工件的图像信息和机器人信息，主控机自动识别预先存储在数据库中的对应于该目标工件与该机器人的模板抓取图像。
通过上述技术方案，不同机器人对不同工件的模板抓取图像均存储在数据库内，主控机识别到目标工件和机器人后，将快速调用最佳的模板抓取图像。
针对现有技术中机器人难以准确识别不同工件的形状并采取合理抓取方式的问题，本发明的目的二在于提供一种基于相机通讯连接的机器人抓取***，其具有实时控制、抓取精准、抓取效率高的优点。
为实现上述目的，本发明提供了如下技术方案：
一种基于相机通讯连接的机器人抓取***，包括：
工作台，用于放置目标工件；
机器人，活动设置于所述工作台周围，响应于主控机的抓取信号抓取目标工件至设定位置；
相机，设置于工作台上方，用于搜寻就近机器人和对机器人抓取姿态进行拍摄，输出抓取姿态图像；
数据库，用于存储工件与机器人之间的模板抓取图像；
主控机，用于接收相机采集的抓取姿态图像和调取数据库中目标工件的模板抓取图像，计算两者之间的位置偏移量以及差异值，生成匹配度，根据所述匹配度生成控制信息控制机器人动作。
通过上述技术方案，由于工件周围有多个机器人，主控机识别就近机器人并使其与相机进行通讯连接，从而形成相机与就近机器人之间的临时匹配关系，缩短了操控其他机器人的时间，提高了工作效率，相机将实时引导机器人对目标工件进行抓取，提高抓取精度，同时也是对目标工件的保护。
进一步的，主控机包括用于处理抓取姿态图像和模板抓取图像之间位置偏移量以及差异值的处理器，用于实现机器人管理、监控和通讯的控制面板。
通过上述技术方案，处理器对数据进行处理，操作人员可通过控制面板对整个抓取过程进行监视和人工干预。
进一步的，所述***还包括安全保护装置，用于检测机器人自身运行的安全状态，对机器人的运动过程进行动态监测，判断移动路线是否存在障碍物，对存在障碍物时进行避让处理。
通过上述技术方案，为了避免机器人自身移动过程与临时出现的障碍物造成碰撞，通过安全保护装置对其自身的运行起到监控作用，同时也是对机器人自身的保护。
与现有技术相比，本发明的有益效果如下：
（1）针对该目标工件的转移，主控机建立与就近机器人和相机之间的临时匹配关系，从而实现快速转移，缩短了操控时间，提高对目标工件的抓取效率；
（2）获取到机器人的抓取姿态图像和模板抓取图像之间的匹配度后，主控机选择性的干预和引导机器人的抓取，从而保障机器人抓取姿态的精准，同时也是对目标工件的保护；
（3）数据库中将存储有不同工件与任一机器人之间所有的模板抓取图像，保障抓取过程中实时向机器人提供最佳的抓取信息。
附图说明
图1是一种基于相机通讯连接的机器人抓取方法示意图；
图2是一种基于相机通讯连接的机器人抓取***示意图。
附图标记：1、机器人；2、相机；3、主控机；4、数据库；5、处理器；6、控制面板；7、安全保护装置。
具体实施方式
为了使本发明的目的、技术方案和有益效果更加清楚，下面结合实施例及附图对本发明作进一步的详细说明，但本发明的实施方式不仅限于此。
如图1所示，一种基于相机通讯连接的机器人抓取方法及其***，包括如下步骤：
步骤一(S10)，相机2采集目标工件与各个机器人1的图像信息并输出至主控机3，主控机3根据图像信息识别到与目标工件就近的机器人1，建立相机2与上述机器人1之间的临时匹配关系，输出抓取信号至上述机器人1。主控机3接收到操作人员发出的抓取指令后，相机2采集目标工件和各个机器人1的图像信息并输出给主控机3，主控机3通过图像信息识别技术标记出各个机器人1与目标工件，识别出目标工件的类型和机器人1的信息，机器人信息包括机器人1的代码，通过数据处理获取目标工件和各个机器人1之间的距离，通过数据对比后，筛选出距离最小的机器人1，该机器人1标记为就近机器人1，主控机3将该机器人1与相机2之间建立临时的匹配关系。相机2、主控机3和就近机器人1之间形成临时匹配关系，而临时匹配关系在抓取结束后解除。
步骤一中还包括如下步骤：
A、以主控机3为核心建立控制网络，相机2及多个机器人1接入到控制网络中且与主控机3控制连接。将主控机3、相机2和多个机器人1均纳入同一个控制网络，主控机3可在控制网络中对相机2和多个机器人1进行同时监控和单独控制，控制网络为以太网。
B、相机2摄取目标工件以及多个机器人1的图像，经图形处理得到目标工件位置与各个机器人1之间的距离，根据距离的大小，输出一距离目标工件最近的机器人信息至主控机3。主控机3计算出所有机器人1距目标工件之间的距离，对距离大小进行对比并筛选距离最小的机器人1代码，标记为就近机器人1，该机器人1将与相机2和主控机3之间建立临时的匹配关系。
C、主控机3接收距离目标工件最近的机器人信息，输出抓取信号至上述机器人1。该机器人1将与相机2建立临时的匹配关系后，主控机3向上述机器人1发出抓取信号，向目标工件移动并实施抓取。
D、建立就近机器人1IP与相机2IP之间的通讯连接。在以太网内，采用通讯上的握手协议，机器人1通过自身的IP和相机2自身的IP进行通讯连接，就近机器人1、相机2与主控机3之间形成控制关系，抓取结束后，控制连接也相应中断。
步骤二(S20)，机器人1响应于抓取信号并对目标工件实施抓取。机器人1自身的控制***接收到抓取信号，机器人1调用自身内部的PLC程序，机器人1向目标工件进行靠近并实施常规抓取。
步骤二还包括如下步骤：
A、主控机3根据图像信息，标记目标工件位置和就近机器人1当前位置。主控机3根据相机2采集目标工件与各个机器人1的图像信息中获取目标工件的位置和就近机器人1的位置，建立数学模型，并标记目标工件为原点坐标点X（0,0），标记就近机器人1为活动坐标点Y（a，b）。
B、主控机3采用图像标定技术计算机器人1相对于目标工件之间的直线距离和偏移角度，反馈直线距离和偏移角度至机器人1。主控机3计算原点坐标点和活动坐标点之间的距离参数和角度参数，距离参数为L，其中L^2=a^2+b^2，角度参数为θ，其中tanθ=(a/b)，机器人1根据L和θ向目标工件靠近。
C、机器人1根据直线距离和偏移角度向目标工件靠近。机器人1通过参考主控机3反馈的直线距离和偏移角度进行移动。
D、循环ABC直至机器人1到达预抓取位置。当机器人1遇到障碍物后自动停止，从而根据当前情况进行位置调整，循环ABC的步骤最终到达预抓取位置，预抓取位置为机器人1可对目标工件进行抓取的位置。
步骤三(S30)，相机2实时拍摄并采集机器人1对目标工件的抓取姿态图像至主控机3。通过相机2对机器人1的抓取状态进行实时监控。
步骤四(S40)，主控机3接收到实时采集的抓取姿态图像，从数据库4调用对应目标工件的模板抓取图像，采用基于形状的模版匹配方法，将抓取姿态图像与模板抓取图像进行匹配。相机2每秒拍摄24帧图像，主控机3获取到就近机器人1代码后会调用数据库4中该机器人1与该目标工件的模板抓取图像，将机器人1每一个抓取状态产生的抓取姿态图像均与模板抓取图像进行匹配。
步骤四中还包括：
根据相机2获取的目标工件的图像信息和机器人信息，主控机3自动识别预先存储在数据库4中的对应于该目标工件与该机器人1的模板抓取图像。由于机器人1种类各式各样，目标工件的样式也繁多，因而不同机器人1对不同工件的模板抓取图像均存储在数据库4内，主控机3识别到目标工件和机器人1后，将快速调用最佳的模板抓取图像。
步骤五(S50)，主控机3计算抓取姿态图像和模板抓取图像之间的位置偏移量以及两幅图像的差异值，生成匹配度。主控机3将机器人1每一个抓取状态产生的抓取姿态图像均与模板抓取图像进行匹配的过程中，通过计算图像中机器人1每一帧图像与模板抓取图像的位置偏移量和机器人1每一帧图像与模板抓取图像的抓取角度差异值，综合生成与偏移量和差异值有联系的匹配度。每一帧图像均产生有偏移量为r、差异值为s，f=(r+s)/2，最终匹配度h=(f1+f2+…fn)-(f1+f2+…fn-1)。其中，匹配度数值越低，机器人1的抓取姿态越精准。
步骤六(S60)，主控机3根据匹配度判断机器人1抓取姿态的准确性，当判断机器人1抓取姿态不准确时，机器人1对抓取姿态进行调整，直至抓取姿态匹配。主控机3通过对匹配度数值进行判断，当匹配度h的数值始终处于线性减小的过程中时，主控机3对机器人1不实施控制干预，当匹配度数值出现波动时，主控机3将匹配信息反馈给机器人1，机器人1调整抓取姿态。
步骤七(S70)，机器人1转移目标工件。机器人1抓取完成后还可以对目标工件进行转移。
如图2所示，一种基于相机2通讯连接的机器人1抓取***，包括工作台、机器人1、相机2、数据库4、主控机3和安全保护装置7。工作台用于放置目标工件。机器人1，活动设置于工作台周围，响应于主控机3的抓取信号抓取目标工件至设定位置。相机2，安装在工作台上方，拍摄范围广，用于搜寻就近机器人1和对机器人1抓取姿态进行拍摄，输出抓取姿态图像。数据库4，用于存储各个工件与各个机器人1之间的模板抓取图像。主控机3，用于接收相机2采集的抓取姿态图像和调取数据库4中目标工件的模板抓取图像，计算两者之间的位置偏移量以及差异值，生成匹配度，根据匹配度生成控制信息控制机器人1动作。由于工件周围有多个机器人1，主控机3识别就近机器人1并使其与相机2进行通讯连接，从而形成相机2与就近机器人1之间的临时匹配关系，缩短了操控其他机器人1的时间，提高了工件转移的效率，相机2将实时引导机器人1对目标工件进行抓取，提高抓取精度的同时也对目标工件进行了保护。
主控机3包括用于处理抓取姿态图像和模板抓取图像之间位置偏移量以及差异值的处理器5，用于实现机器人1管理、监控和通讯的控制面板6。控制面板6包括显示屏、急停按钮、控制按键等。通过处理器5对抓取姿态图像和模板抓取图像进行数据处理，操作人员可通过控制面板6对整个抓取过程进行监视和人工干预。
为了避免机器人1自身移动过程与临时出现的障碍物造成碰撞，安全保护装置7包括安装在机器人1上的测距传感器，用于检测机器人1自身运行的安全状态，对机器人1的运动过程进行动态监测，判断移动路线是否存在障碍物，对存在障碍物时进行避让处理。通过安全保护装置7对其自身的运行起到监控作用，同时也是对机器人1自身的保护。
本发明的工作原理及有益效果如下：
安置在工作台上的工件为目标工件，主控机3通过相机2识别到与目标工件就近的机器人1后会与上述机器人1实现通讯连接，上述机器人1标记为就近机器人1，就近机器人1、相机2和主控机3之间形成临时匹配关系。就近机器人1接收到抓取信号后自动向目标工件靠近，由于目标工件外表形状的不规则性，上述机器人1在三维空间内需要采用特定的角度和高度来抓取目标工件。此时的相机2和主控机3对就近机器人1的抓取动作进行监控，通过处理器5对比抓取姿态图像和模板抓取图像进行处理，生成匹配度。根据匹配度判断机器人1抓取动作是否准确。当机器人1抓取动作不准确时，主控机3将准确的抓取姿态反馈给机器人1，当机器人1抓取动作准确时，主控机3不对机器人1实施干预，直到机器人1最终对目标工件完成精准的抓取和转移。
本发明可识别并控制就近机器人1与相机2实现通讯连接，并针对该目标工件的转移实现就近机器人1、相机2和主控机3之间形成临时匹配关系，缩短了操控时间，提高了抓取效率。数据库4存储有不同工件与任一机器人1之间最佳的抓取方式和模板抓取图像，保障抓取过程中实时向机器人1提供最佳的抓取信息。通过处理器5处理抓取姿态图像和模板抓取图像之间的匹配度，选择性干预和引导机器人1的抓取，从而保证机器人1抓取姿态的精准，最佳的抓取方式也是对目标工件的保护。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (2)

1.一种基于相机通讯连接的机器人抓取方法，其特征在于，包括如下步骤：
步骤一，相机（2）采集目标工件与各个机器人（1）的图像信息并输出至主控机（3），主控机（3）根据所述图像信息识别到与目标工件就近的机器人（1），建立相机（2）与就近的机器人（1）之间的临时匹配关系，输出抓取信号至就近的机器人（1）；
步骤二，就近的机器人（1）响应于所述抓取信号并对目标工件实施抓取；
步骤三，相机（2）实时拍摄并采集就近的机器人（1）对目标工件的抓取姿态图像至主控机（3）；
步骤四，主控机（3）接收到实时采集的抓取姿态图像，从数据库（4）调用对应目标工件的模板抓取图像，采用基于形状的模版匹配方法，将抓取姿态图像与模板抓取图像进行匹配；相机（2）每秒拍摄24帧图像，主控机（3）获取到就近的机器人（1）代码后会调用数据库（4）中就近的机器人（1）与该目标工件的模板抓取图像，将就近的机器人（1）每一个抓取状态产生的抓取姿态图像均与模板抓取图像进行匹配；
步骤五，主控机（3）计算抓取姿态图像和模板抓取图像之间的位置偏移量以及两幅图像的差异值，生成匹配度；
步骤六，主控机（3）根据匹配度判断就近的机器人（1）抓取姿态的准确性，当判断就近的机器人（1）抓取姿态不准确时，就近的机器人（1）对抓取姿态进行调整，直至抓取姿态匹配；
步骤七，就近的机器人（1）转移目标工件；
步骤一中还包括如下步骤：
A、以所述主控机（3）为核心建立控制网络，所述相机（2）及各个机器人（1）接入到所述控制网络中且与所述主控机（3）控制连接；
B、所述相机（2）摄取目标工件以及各个机器人（1）的图像，经图形处理得到目标工件位置与各个机器人（1）之间的距离，根据所述距离的大小，输出一距离目标工件就近的机器人信息至所述主控机（3）；
C、所述主控机（3）接收距离目标工件就近的机器人信息，输出所述抓取信号至就近的机器人（1）；
D、建立就近的机器人（1）IP与相机（2）IP之间的通讯连接；
所述步骤二还包括如下步骤：
A、主控机（3）根据图像信息，标记目标工件位置和就近的机器人（1）当前位置；
B、主控机（3）采用图像标定技术计算就近的机器人（1）相对于目标工件之间的直线距离和偏移角度，反馈所述直线距离和所述偏移角度至就近的机器人（1）；
C、就近的机器人（1）根据直线距离和偏移角度向目标工件靠近；
D、循环ABC直至就近的机器人（1）到达预抓取位置；
检测就近的机器人（1）自身运行的安全状态，对就近的机器人（1）的运动过程进行动态监测，判断移动路线是否存在障碍物，对存在障碍物时进行避让处理；
步骤四中还包括：
根据相机（2）获取的目标工件的图像信息和就近的机器人信息，主控机（3）自动识别预先存储在数据库（4）中的对应于该目标工件与就近的机器人（1）的模板抓取图像。
2.一种基于相机通讯连接的机器人抓取***，采用如上述权利要求1中的方法，其特征在于，包括：
工作台，用于放置目标工件；
机器人（1），活动设置于所述工作台周围，响应于主控机（3）的抓取信号抓取目标工件至设定位置；
相机（2），设置于工作台上方，用于搜寻就近的机器人（1）和对就近的机器人（1）抓取姿态进行拍摄，输出抓取姿态图像；
数据库（4），用于存储工件与就近的机器人（1）之间的模板抓取图像；
主控机（3），用于接收相机（2）采集的抓取姿态图像和调取数据库（4）中目标工件的模板抓取图像，计算两者之间的位置偏移量以及差异值，生成匹配度，根据所述匹配度生成控制信息控制就近的机器人（1）动作；
主控机（3）包括用于处理抓取姿态图像和模板抓取图像之间位置偏移量以及差异值的处理器（5），用于实现就近的机器人（1）管理、监控和通讯的控制面板（6）；相机（2）每秒拍摄24帧图像，主控机（3）获取到就近的机器人（1）代码后会调用数据库（4）中就近的机器人（1）与该目标工件的模板抓取图像，将就近的机器人（1）每一个抓取状态产生的抓取姿态图像均与模板抓取图像进行匹配；
所述***还包括安全保护装置（7），用于检测就近的机器人（1）自身运行的安全状态，对就近的机器人（1）的运动过程进行动态监测，判断移动路线是否存在障碍物，对存在障碍物时进行避让处理。
CN201810197156.1A 2018-03-10 2018-03-10 一种基于相机通讯连接的机器人抓取方法及其*** Active CN108500979B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810197156.1A CN108500979B (zh) 2018-03-10 2018-03-10 一种基于相机通讯连接的机器人抓取方法及其***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810197156.1A CN108500979B (zh) 2018-03-10 2018-03-10 一种基于相机通讯连接的机器人抓取方法及其***

Publications (2)

Publication Number Publication Date
CN108500979A CN108500979A (zh) 2018-09-07
CN108500979B true CN108500979B (zh) 2020-10-27

Family

ID=63376434

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810197156.1A Active CN108500979B (zh) 2018-03-10 2018-03-10 一种基于相机通讯连接的机器人抓取方法及其***

Country Status (1)

Country Link
CN (1) CN108500979B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109309791B (zh) * 2018-11-09 2021-01-29 珠海格力智能装备有限公司 控制相机拍照方法和***
CN110275532B (zh) * 2019-06-21 2020-12-15 珠海格力智能装备有限公司 机器人的控制方法及装置、视觉设备的控制方法及装置
CN110303498B (zh) * 2019-07-03 2020-10-09 广东博智林机器人有限公司 搬运***及其控制方法、地砖铺贴***
CN110450129B (zh) * 2019-07-19 2022-06-24 五邑大学 一种应用于搬运机器人的搬运行进方法及其搬运机器人
CN111113410B (zh) * 2019-12-05 2021-11-30 珠海格力电器股份有限公司 一种视觉自适应检测的机器人运动控制方法、计算机可读存储介质及机器人
CN111251302B (zh) * 2020-03-10 2021-12-17 三一机器人科技有限公司 基于视觉***的工件抓取方法及装置
CN111531544B (zh) * 2020-05-13 2023-05-23 深圳赛动生物自动化有限公司 基于图像几何匹配的机器手控制***及其控制方法
CN113109365A (zh) * 2021-04-16 2021-07-13 中国科学院自动化研究所 适用于多种工件的缺陷检测***及方法
CN113298975B (zh) * 2021-05-13 2022-05-17 南京艾尔普再生医学科技有限公司 一种全自动质控***

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4864363B2 (ja) * 2005-07-07 2012-02-01 東芝機械株式会社 ハンドリング装置、作業装置及びプログラム
JP5685027B2 (ja) * 2010-09-07 2015-03-18 キヤノン株式会社 情報処理装置、物体把持システム、ロボットシステム、情報処理方法、物体把持方法およびプログラム
CN106737665B (zh) * 2016-11-30 2019-07-19 天津大学 基于双目视觉和sift特征匹配的机械臂控制***及实现方法
CN106774315B (zh) * 2016-12-12 2020-12-01 深圳市智美达科技股份有限公司 机器人自主导航方法和装置
CN106527239B (zh) * 2016-12-30 2018-12-21 华南智能机器人创新研究院 一种多机器人协同操作模式的方法及***
CN106931945B (zh) * 2017-03-10 2020-01-07 上海木木机器人技术有限公司 机器人导航方法和***
CN107414832A (zh) * 2017-08-08 2017-12-01 华南理工大学 一种基于机器视觉的移动机械臂抓取控制***及方法

Also Published As

Publication number Publication date
CN108500979A (zh) 2018-09-07

Similar Documents

Publication Publication Date Title
CN108500979B (zh) 一种基于相机通讯连接的机器人抓取方法及其***
CN107618030B (zh) 基于视觉的机器人动态跟踪抓取方法及***
US10232512B2 (en) Coordinate system setting method, coordinate system setting apparatus, and robot system provided with coordinate system setting apparatus
US9604364B2 (en) Picking apparatus and picking method
CN109926817B (zh) 基于机器视觉的变压器自动装配方法
JP2017042859A (ja) ピッキングシステム、並びに、そのための処理装置、方法及びプログラム
EP4019200A1 (en) Production system
CN106853639A (zh) 一种手机电池自动化装配***及其控制方法
WO2015121767A1 (en) Automatic calibration method for robot systems using a vision sensor
WO2021050646A1 (en) Robot-mounted moving device, system, and machine tool
CN110980276B (zh) 一种三维视觉配合机器人实施铸件自动下料的方法
CN106044570A (zh) 一种采用机器视觉的钢卷吊自动识别装置和方法
WO2013111964A1 (ko) 비전 기반 공작물 셋업 방법
JP2003211381A (ja) ロボット制御装置
CN112775975A (zh) 一种视觉引导的多工位机器人焊接纠偏装置及方法
US11235463B2 (en) Robot system and robot control method for cooperative work with human
CN110039520B (zh) 一种基于图像对比的示教、加工***
US20220241982A1 (en) Work robot and work system
US20210283782A1 (en) Measurement parameter optimization method and device, and computer control program stored on computer-readable storage medium
CN114139857A (zh) 一种工件精整加工工序修正方法、***、存储介质及装置
CN107199423B (zh) 一种不编程免示教智能焊接机器人
CN114670189B (zh) 存储介质、以及生成机器人的控制程序的方法及***
CN111992895A (zh) 一种智能打标***与方法
CN114074331A (zh) 一种基于视觉的无序抓取方法及机器人
CN117841041B (zh) 基于多臂协同的机械臂组合装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TA01 Transfer of patent application right

Effective date of registration: 20201013

Address after: 330001 No. 509 North Avenue, Yingbin Road, Jiangxi, Nanchang

Applicant after: JIANGLING MOTORS Co.,Ltd.

Address before: 330000 room 2, unit 12, 2 Jinggangshan Avenue, Qingyun District, Nanchang, Jiangxi, 204

Applicant before: Peng Huiping

TA01 Transfer of patent application right