CN107103624B - 立体视觉搬运***及其搬运方法 - Google Patents

立体视觉搬运***及其搬运方法 Download PDF

Info

Publication number
CN107103624B
CN107103624B CN201710238481.3A CN201710238481A CN107103624B CN 107103624 B CN107103624 B CN 107103624B CN 201710238481 A CN201710238481 A CN 201710238481A CN 107103624 B CN107103624 B CN 107103624B
Authority
CN
China
Prior art keywords
camera
manipulator
coordinate
stereoscopic vision
working end
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710238481.3A
Other languages
English (en)
Other versions
CN107103624A (zh
Inventor
宁玥
杨赛女
赵姝炜
吕鑫
陈腾
施加荣
冯嘉杰
水仕淼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo Sunny Intelligent Technology Co Ltd
Original Assignee
Ningbo Sunny Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Sunny Intelligent Technology Co Ltd filed Critical Ningbo Sunny Intelligent Technology Co Ltd
Priority to CN201710238481.3A priority Critical patent/CN107103624B/zh
Publication of CN107103624A publication Critical patent/CN107103624A/zh
Application granted granted Critical
Publication of CN107103624B publication Critical patent/CN107103624B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/74—Feeding, transfer, or discharging devices of particular kinds or types
    • B65G47/90—Devices for picking-up and depositing articles or materials
    • B65G47/904—Devices for picking-up and depositing articles or materials provided with rotary movements only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种立体视觉搬运***及其搬运方法，包括具有六个自由度的机械手，与所述机械手临近设置并且处于所述机械手的工作范围内的物料仓，用于支承所述机械手和所述物料仓的运输车，用于视觉标定的视觉单元，以及安装在所述物料仓下部的PLC控制器；所述机械手包括基座和工作端；所述运输车具有用于安装所述视觉单元的安装部，所述安装部位于所述机械手旁；所述视觉单元包括纵向安装的第一相机，与所述第一相机对应设置的第一光源，以及位于所述第一相机旁的横向安装的第二相机和与所述第二相机对应设置的第二光源。根据本发明的搬运***及搬运方法，其搬运精度高，范围广，可以任意取放物料。

Description

立体视觉搬运***及其搬运方法
技术领域
本发明涉及生产制造领域和物料运输领域，尤其涉及一种立体视觉搬运***及其搬运方法。
背景技术
中国专利201510612879.X公开了一种自主行走搬运方法、搬运器和搬运***。其搬运方法是在搬运平台主体上设置可切换使用的转向轮机构、直行轮机构和旋转中心锁定机构，在地面设置配合旋转中心锁定机构的旋转中心；在直线搬运路段，所述搬运平台主体采用直行轮机构与行走驱动机构共速配合进行直线行走；在转向行走路段，旋转中心锁定机构锁定旋转中心，所述搬运平台主体通过转向轮机构与行走驱动机构差速配合进行绕转向中心的转向行走。该搬运装置的搬运方法仅是将物料从一个位置搬运至另一个位置，无法保持高精度取放物料，只适用于搬运精度要求低的工作场所。
在产品生产制造过程中，尤其是生产线物料运输环节，需要对物料运输的取放料点提供坐标值，从而使物料能够快速准确的运输到指定位置。目前，生产线上对于物料的运输只是通过固定在某一位置的机械臂，在其工作范围内将物料从某一点搬运到另一个搬运点或者单一使用搬运车等形式来实现，无法实现多点物料任意取放，无法实现远距离高精度搬运。轨迹相对单一无法实现高精度柔性搬运，无法实现柔性生产制造。
发明内容
针对现有技术中的技术问题，本发明提供一种立体视觉搬运***及其搬运方法，解决了现有技术中搬运范围局限，搬运精度低以及无法实现多点物料任意取放等技术缺陷。
为实现上述发明目的，本发明提供一种立体视觉搬运***，包括具有六个自由度的机械手，与所述机械手临近设置并且处于所述机械手的工作范围内的物料仓，用于支承所述机械手和所述物料仓的运输车，用于视觉标定的视觉单元，以及安装在所述物料仓下部的PLC控制器；
所述机械手包括基座和工作端；
所述运输车具有用于安装所述视觉单元的安装部，所述安装部位于所述机械手旁；
所述视觉单元包括纵向安装的第一相机，与所述第一相机对应设置的第一光源，以及位于所述第一相机旁的横向安装的第二相机和与所述第二相机对应设置的第二光源。
为实现上述发明目的，本发明提供一种立体视觉搬运***的搬运方法，包括以下步骤：
a)确定视觉单元的具***置；
b)视觉单元对特征性位置进行拍摄，并确定特征性位置的具***置信息；
c)确定机械手的基座的位置；
d)建立视觉单元与机械手的基座的位置关系；
e)确定机械手的工作端的具***置；
f)建立机械手的工作端与机械手的基座的位置关系；
g)对d)与f)中的两个位置关系建立转换关系，得到机械手的工作端的运动轨迹和目标位置；
h)获取停靠站点信息和物料取放位置信息；
i)运输车移动至目标停靠站点并反馈信号；
j)获取标志点位置信息并与坐标模板匹配，计算偏差值；
k)补偿偏差值；
l)转换偏差值数据给机械手1的工作端进行补偿，然后取放料。
根据本发明的一个方面，所述a)步骤中，对第一相机和/或第二相机进行标定，获取第一相机和/或第二相机的内参和外参。
根据本发明的一个方面，所述b)步骤中，在生产线上的各个运输车的停靠站点位置设置标志点；
运输车运行至其中一个停靠站点，由第一相机和/或第二相机拍摄标志点，标志点存放在第一相机和/或第二相机的相对应停靠站点的一个场景中，并创建坐标模板。
根据本发明的一个方面，所述c)步骤中，对机械手与视觉单元进行手眼标定，获取机械手的基座相对于第一相机或第二相机的空间坐标。
根据本发明的一个方面，所述e)步骤中，机械手移动至第一相机和/或第二相机的拍摄位置，记录机械手的工作端的坐标，并将工作端的坐标数据对应传输给第一相机和/或第二相机。
根据本发明的一个方面，所述d)和所述f)步骤中，第一相机和/或第二相机将拍摄的标志点的坐标与机械手的基座的坐标和工作端的坐标进行标定，建立坐标转化关系，即求解标定方程AX＝ZB；
其中，A表示第一相机或第二相机的坐标矩阵，B表示机械手的工作端的空间坐标矩阵，Z表示机械手的基座的坐标矩阵，X表示第一相机或第二相机与机械手的坐标关系矩阵；
由标定方程AX＝ZB求解出坐标转化关系中的旋转部分，再由旋转部分的结果求出平移部分。
根据本发明的一个方面，所述h)步骤中，PLC控制器通过与计算机数据***进行Ethernet IP通讯获得需要运输车需要停靠的停靠站点信息，以及机械手需要取放物料的位置编号和坐标值。
根据本发明的一个方面，所述i)步骤中，运输车通过与PLC控制器RS232\485通讯协议或TCP\UDP通讯协议得到停靠站点信息，并移动至此停靠站点将位置信号反馈给PLC控制器。
根据本发明的一个方面，所述j)步骤中，PLC控制器通过Ethernet IP通讯协议或Modbus/TCP通讯协议、Socket(TCP\UDP)通讯协议、串口通讯协议或PROFINET通讯协议，发送拍照命令给第一相机和第二相机，相机拍摄标志点并与之前保存的模板进行匹配，计算得到本次与相机标定时模板比较的偏差值X、Y、Z和绕X轴旋转的角度值α。
根据本发明的一个方面，所述k)步骤中，PLC控制器将相机计算得到的偏差值通过Ethernet IP、Modbus/TCP通讯协议、Socket(TCP\UDP)通讯协议、串口通讯协议或PROFINET通讯协议方式发送给机械手，机械手获得该数据，将偏差值进行补偿。
根据本发明的一个方面，所述l)步骤中，空间坐标转换得到机械手的工作端需要的偏差值，机械手需要移动的取放料位置坐标进行补偿，实现物料的精准取放。
根据本发明的一个方面，所述标志点为三角形中画一个十字的图案；
各个所述标志点处于同一直线上或者随机分布。
根据本发明的一个方面，所述第一相机和所述第二相机均具有32个场景组，每个场景组包括128个场景，一个标志点存放在所述第一相机或所述第二相机的一个场景中。
根据本发明的一种方案，第一相机与第二相机一个竖直向下安装，一个水平安装，这样能够保证相机与机械手之间存在确定的且已知的坐标换算关系。
根据本发明的一种方案，在对物料进行搬运之前，需要对第一相机、第二相机、标志点、机械手的基座和工作端进行标定，以获得各自的坐标值，然后对第一相机、第二相机与机械手的基座建立坐标关系，再对机械手的基座与机械手的工作端建立坐标关系，通过两个坐标关系从而求解出机械手的工作端的运动轨迹中的旋转部分和移动部分，从而可以运动至目标位置进行搬运。根据本发明的搬运方法，搬运精度极高，搬运效率和物料到位率极高。此外，根据本发明的搬运方法可以计算出机械手1每次取放料时的位置偏移量，然后进行补偿，这样可以保证搬运时取放料的准确性，大大提高了生产线物料运输的柔性，可以做到高效配合完成运输工作。
根据本发明的一种方案，PLC控制器从计算机数据***里提取数据信息，并将数据信息发送给执行搬运工作的通讯设备以完成搬运工作，数据信息可以包括设备的基本信息、状态信息、方案信息、运输信息、目标位置信息等等。使得根据本发明的搬运***具备智能搬运特性。而且根据本发明的搬运***能够实时反馈搬运信息，使计算机控制***可以实时管理产品物料信息。根据本发明的搬运方法也形象直观地反映出了生产加工的进度，可以为后续生产加工工艺流程的总体监管提供依据。
附图说明
图1是示意性表示根据本发明的立体视觉搬运***的结构布置的立体图；
图2是示意性表示根据本发明的视觉单元的结构布置的侧视图；
图3是示意性表示根据本发明的立体视觉搬运***的搬运方法的流程简图。
具体实施方式
为了更清楚地说明本发明实施方式或现有技术中的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
在针对本发明的实施方式进行描述时，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”所表达的方位或位置关系是基于相关附图所示的方位或位置关系，其仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述术语不能理解为对本发明的限制。
下面结合附图和具体实施方式对本发明作详细地描述，实施方式不能在此一一赘述，但本发明的实施方式并不因此限定于以下实施方式。
图1示意性表示根据本发明的一种立体视觉搬运***的结构布置的立体图。如图1所示，根据本发明的立体视觉搬运***包括机械手1，物料仓2，运输车3，视觉单元4以及PLC控制器5。在本实施方式中，机械手1具有六个自由度，物料仓2设置在机械手1的工作范围内，机械手1可以触及到物料仓2的各个位置处。机械手1和物料仓2均支承固定在运输车3上。在本实施方式中，运输车3采用AGV运输车。运输车3上与机械手1的安装部位相邻的位置处设置有安装部301，此安装部301用于安装视觉单元4，视觉单元4用于获取图像信息，并且对图像信息进行计算，得到具体坐标数据。在本实施方式中，视觉单元4包括纵向安装的第一相机401，与第一相机401对应设置的第一光源402，以及位于第一相机401旁的横向安装的第二相机403和与第二相机403对应设置的第二光源404。第一相机401和第二相机403均采用智能相机，可以用来对运输车3的多点停靠位置进行定位补偿。第一相机401与第二相机403一个竖直向下安装，一个水平安装，这样能够保证相机与机械手之间存在确定的且已知的坐标换算关系。在本实施方式中，PLC控制器5也支承在运输车3上，并且是安装在物料仓2的下部。PLC控制器5与机械手1、第一相机401、第二相机403以及计算机数据***通过Ethernet IP网络通讯协议进行数据交互。
根据本发明的立体视觉搬运***的上述设置，实际搬运物料的方法如下：
图3示意性表示根据本发明的立体视觉搬运***的搬运方法的流程简图。
如图3所示，首先，运输车3移动至生产线上的其中一个停靠站点，然后确定视觉单元4的具***置。在此过程中，确定视觉单元4的具***置即是对第一相机401和第二相机403进行标定，以获取第一相机401和第二相机403的内参和外参。在此过程中，可以采用任何常规的标定方法对第一相机401和第二相机403进行标定，只要能够准确地获取第一相机401和第二相机403相对于根据本发明的搬运***的坐标信息就可以。
然后，视觉单元4对停靠站点的特征性位置进行拍摄，并且确定特征性位置的具体坐标数据。在本实施方式中，特征性位置为在生产线上的各个运输车3的停靠站点的地表位置上设置的标志点。运输车3在停靠站点处，由第一相机401和第二相机403拍摄标志点，然后标志点存放在第一相机401和第二相机403中的与此停靠站点相对应的场景中，并创建坐标模板。在本实施方式中，对标志点采用九宫格方法进行标定，第一相机401和第二相机403首先记录九宫格的第一点相机坐标系下的像素坐标，然后机械手1的工作端102移动到该点处，然后记录下此时机械手1的空间坐标，之后的八个点重复此过程。在本实施方式中，标志点是一个三角形中画有一个十字标记的图案，且处于各个停靠站点的标志点可以呈同一直线的形式排布，当然也可以是位置随机的分布的。在本实施方式中，第一相机401和第二相机403均具有32个场景组，每个场景组包括128个场景，一个标志点分别存放在第一相机401和第二相机403的一个场景中。
接下来，确定机械手1的基座101的位置信息，以基座101的位置信息作为机械手1的基准位置信息。在此过程中，需要对机械手1与视觉单元4进行手眼标定，以获取机械手1的基座101相对于第一相机401和第二相机403的空间坐标数据。在本实施方式中，由于本发明的机械手1抓取目标点位置不在视觉单元4的视野范围内，故机械手1的基座101的空间坐标数据的精确性会直接影响到机械手1的工作端102对目标点的定位精度。在手眼标定过程中，需要提供标志点的三维坐标值及其对应的图像像素值，对标定的各标志点图像均需要提供相应的机械手的空间坐标，机械手的空间坐标的精度对于整个手眼标定的精度起着至关重要的作用。
进一步地，需要确定机械手1的工作端102的具***置。在此过程中，机械手1移动至第一相机401和第二相机403的拍摄位置，分别记录机械手1的工作端102的坐标，并同时将工作端102的坐标数据对应地传输给第一相机401和第二相机403。
进一步地，需要建立视觉单元4与机械手1的基座101的位置关系，还需建立机械手1的工作端102与机械手1的基座101的位置关系。在此过程中，第一相机401和第二相机403将拍摄的标志点的坐标与机械手1的基座101的坐标和工作端102的坐标进行标定以后，建立坐标转化关系，即求解标定方程AX＝ZB。其中，A表示第一相机401或第二相机403的坐标矩阵，B表示机械手1的工作端102的空间坐标矩阵，Z表示机械手1的基座101的坐标矩阵，X表示第一相机401或第二相机403与机械手1的坐标关系矩阵。由标定方程AX＝ZB求解出坐标转化关系中的旋转部分，再由旋转部分的结果求出平移部分。由此来得到机械手1的运动轨迹和目标位置。在本实施方式中，是建立视觉单元4中的图片像素坐标与机械手1的基座101的坐标的关系，得到手眼标定矩阵，机械手1正运动学求解末端工作端的的空间坐标。移动机械手1的工作端101至目标位置，并将机械手的空间坐标数据发送给PLC保存。
通过完成上述标定步骤以后，进一步地，即获取停靠站点信息和物料取放位置信息。在此过程中，PLC控制器5通过与计算机数据***进行Ethernet IP通讯获得运输车3需要停靠的停靠站点信息，以及机械手1需要取放物料的位置编号和坐标值；
运输车3通过与PLC控制器RS232\485通讯协议或TCP\UDP通讯协议得到停靠站点信息，并移动至此停靠站点将位置信号反馈给PLC控制器；
PLC控制器5通过Ethernet IP通讯协议或Modbus/TCP通讯协议、Socket(TCP\UDP)通讯协议、串口通讯协议或PROFINET通讯协议，发送拍照命令给第一相机401和第二相机403，由相机拍摄标志点并与之前保存的模板进行匹配，计算得到本次与相机标定时模板比较的偏差值X、Y、Z和绕X轴旋转的角度值α；
PLC控制器5将相机计算得到的偏差值通过Ethernet IP、Modbus/TCP通讯协议、Socket(TCP\UDP)通讯协议、串口通讯协议或PROFINET通讯协议方式发送给机械手1，机械手1获得该数据，将偏差值进行补偿；
空间坐标转换得到机械手1的工作端102需要的偏差值，机械手1需要移动的取放料位置坐标进行补偿，实现物料的精准取放。
根据本发明的上述方法，在对物料进行搬运之前，需要对第一相机401、第二相机403、标志点、机械手1的基座101和工作端102进行标定，以获得各自的坐标值，然后对第一相机401、第二相机403与机械手1的基座101建立坐标关系，再对机械手1的基座101与机械手1的工作端102建立坐标关系，通过两个坐标关系从而求解出机械手1的工作端102的运动轨迹中的旋转部分和移动部分，从而可以运动至目标位置进行搬运。根据本发明的搬运方法，搬运精度极高，搬运效率和物料到位率极高。此外，根据本发明的搬运方法可以计算出机械手1每次取放料时的位置偏移量，然后进行补偿，这样可以保证搬运时取放料的准确性，大大提高了生产线物料运输的柔性，可以做到高效配合完成运输工作。
进一步地，PLC控制器5从计算机数据***里提取数据信息，并将数据信息发送给执行搬运工作的通讯设备以完成搬运工作，数据信息可以包括设备的基本信息、状态信息、方案信息、运输信息、目标位置信息等等。使得根据本发明的搬运***具备智能搬运特性。而且根据本发明的搬运***能够实时反馈搬运信息，使计算机控制***可以实时管理产品物料信息。根据本发明的搬运方法也形象直观地反映出了生产加工的进度，可以为后续生产加工工艺流程的总体监管提供依据。
上述内容仅为本发明的具体实施方式的例举，对于其中未详尽描述的设备和结构，应当理解为采取本领域已有的通用设备及通用方法来予以实施。
以上所述仅为本发明的一个实施方式而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (13)

1.利用立体视觉搬运***实施的搬运方法，其特征在于，所述立体视觉搬运***包括机械手(1)，与所述机械手(1)临近设置并且处于所述机械手(1)的工作范围内的物料仓(2)，用于支承所述机械手(1)和所述物料仓(2)的运输车(3)，用于视觉标定的视觉单元(4)，以及安装在所述物料仓(2)下部的PLC控制器(5)；
所述机械手(1)包括基座(101)和工作端(102)；
所述运输车(3)具有用于安装所述视觉单元(4)的安装部(301)，所述安装部(301)位于所述机械手(1)旁；
所述视觉单元(4)包括纵向安装的第一相机(401)，与所述第一相机(401)对应设置的第一光源(402)，以及位于所述第一相机(401)旁的横向安装的第二相机(403)和与所述第二相机(403)对应设置的第二光源(404)；
所述搬运方法包括以下步骤：
a)确定视觉单元(4)的具***置；
b)视觉单元(4)对特征性位置进行拍摄，并确定特征性位置的具***置信息，创建坐标模板；
c)确定机械手(1)的基座(101)的位置；
d)建立视觉单元(4)与机械手(1)的基座(101)的位置关系；
e)确定机械手(1)的工作端(102)的具***置；
f)建立机械手(1)的工作端(102)与机械手(1)的基座(101)的位置关系；
g)对d)与f)中的两个位置关系建立转换关系，得到机械手(1)的工作端(102)的运动轨迹和目标位置；
h)获取停靠站点信息和物料取放位置信息；
i)运输车(3)移动至目标停靠站点并反馈信号；
j)获取标志点位置信息并与坐标模板匹配，计算偏差值；
k)补偿偏差值；
l)转换偏差值数据给机械手1的工作端(102)进行补偿，然后取放料。
2.根据权利要求1所述的利用立体视觉搬运***实施的搬运方法，其特征在于，所述a)步骤中，对第一相机(401)和/或第二相机(403)进行标定，获取第一相机(401)和/或第二相机(403)的内参和外参。
3.根据权利要求1所述的利用立体视觉搬运***实施的搬运方法，其特征在于，所述b)步骤中，在生产线上的各个运输车(3)的停靠站点位置设置标志点；
运输车(3)运行至其中一个停靠站点，由第一相机(401)和/或第二相机(403)拍摄标志点，标志点存放在第一相机(401)和/或第二相机(403)的相对应停靠站点的一个场景中，并创建坐标模板。
4.根据权利要求1所述的利用立体视觉搬运***实施的搬运方法，其特征在于，所述c)步骤中，对机械手(1)与视觉单元(4)进行手眼标定，获取机械手(1)的基座(101)相对于第一相机(401)或第二相机(403)的空间坐标。
5.根据权利要求1所述的利用立体视觉搬运***实施的搬运方法，其特征在于，所述e)步骤中，机械手(1)移动至第一相机(401)和/或第二相机(403)的拍摄位置，记录机械手(1)的工作端(102)的坐标，并将工作端(102)的坐标数据对应传输给第一相机(401)和/或第二相机(403)。
6.根据权利要求1所述的利用立体视觉搬运***实施的搬运方法，其特征在于，所述d)和所述f)步骤中，第一相机(401)和/或第二相机(403)将拍摄的标志点的坐标与机械手(1)的基座(101)的坐标和工作端(102)的坐标进行标定，建立坐标转化关系，即求解标定方程AX＝ZB；
其中，A表示第一相机(401)或第二相机(403)的坐标矩阵，B表示机械手(1)的工作端(102)的空间坐标矩阵，Z表示机械手(1)的基座(101)的坐标矩阵，X表示第一相机(401)或第二相机(403)与机械手(1)的坐标关系矩阵；
由标定方程AX＝ZB求解出坐标转化关系中的旋转部分，再由旋转部分的结果求出平移部分。
7.根据权利要求1所述的利用立体视觉搬运***实施的搬运方法，其特征在于，所述h)步骤中，PLC控制器(5)通过与计算机数据***进行Ethernet IP通讯获得需要运输车(3)需要停靠的停靠站点信息，以及机械手(1)需要取放物料的位置编号和坐标值。
8.根据权利要求1所述的利用立体视觉搬运***实施的搬运方法，其特征在于，所述i)步骤中，运输车(3)通过与PLC控制器RS232\485通讯协议或TCP\UDP通讯协议得到停靠站点信息，并移动至此停靠站点将位置信号反馈给PLC控制器。
9.根据权利要求1所述的利用立体视觉搬运***实施的搬运方法，其特征在于，所述j)步骤中，PLC控制器(5)通过EthernetIP通讯协议、Modbus/TCP通讯协议、Socket通讯协议、串口通讯协议或PROFINET通讯协议，发送拍照命令给第一相机(401)和第二相机(403)，相机拍摄标志点并与之前保存的模板进行匹配，计算得到本次与相机标定时模板比较的偏差值X、Y、Z和绕X轴旋转的角度值α。
10.根据权利要求1所述的利用立体视觉搬运***实施的搬运方法，其特征在于，所述k)步骤中，PLC控制器(5)将相机计算得到的偏差值通过Ethernet IP、Modbus/TCP通讯协议、Socket通讯协议、串口通讯协议或PROFINET通讯协议方式发送给机械手(1)，机械手(1)获得该数据，将偏差值进行补偿。
11.根据权利要求1所述的利用立体视觉搬运***实施的搬运方法，其特征在于，所述l)步骤中，空间坐标转换得到机械手(1)的工作端(102)需要的偏差值，对机械手(1)需要移动的取放料位置坐标进行补偿，实现物料的精准取放。
12.根据权利要求2至11之一所述的利用立体视觉搬运***实施的搬运方法，其特征在于，所述标志点为三角形中画一个十字的图案；
各个所述标志点处于同一直线上或者随机分布。
13.根据权利要求12所述的利用立体视觉搬运***实施的搬运方法，其特征在于，所述第一相机(401)和所述第二相机(403)均具有32个场景组，每个场景组包括128个场景，一个标志点存放在所述第一相机(401)或所述第二相机(403)的一个场景中。
CN201710238481.3A 2017-04-13 2017-04-13 立体视觉搬运***及其搬运方法 Active CN107103624B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710238481.3A CN107103624B (zh) 2017-04-13 2017-04-13 立体视觉搬运***及其搬运方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710238481.3A CN107103624B (zh) 2017-04-13 2017-04-13 立体视觉搬运***及其搬运方法

Publications (2)

Publication Number Publication Date
CN107103624A CN107103624A (zh) 2017-08-29
CN107103624B true CN107103624B (zh) 2020-04-17

Family

ID=59675461

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710238481.3A Active CN107103624B (zh) 2017-04-13 2017-04-13 立体视觉搬运***及其搬运方法

Country Status (1)

Country Link
CN (1) CN107103624B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108313732B (zh) * 2018-04-08 2023-12-29 无锡华工大光电智能科技有限公司 一种自动运送装置
CN110275532B (zh) * 2019-06-21 2020-12-15 珠海格力智能装备有限公司 机器人的控制方法及装置、视觉设备的控制方法及装置
CN110980276B (zh) * 2019-12-30 2021-08-17 南京埃克里得视觉技术有限公司 一种三维视觉配合机器人实施铸件自动下料的方法
CN113821002B (zh) * 2021-04-29 2024-03-08 宁波舜宇智能科技有限公司 分拣控制***
CN115682926B (zh) * 2022-09-07 2023-08-29 广东爱吉尔机器人科技有限公司 一种一对多快速手眼标定的方法
CN115973642B (zh) * 2023-01-04 2023-08-22 深圳市昇茂科技有限公司 一种智能仓储物料自动分配设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103112008B (zh) * 2013-01-29 2015-09-02 上海智周自动化工程有限公司 用于地板切割的双视觉机器人自动定位和搬运方法
CN104626142A (zh) * 2014-12-24 2015-05-20 镇江市计量检定测试中心 一种用于砝码检定的双目视觉机械手自动定位和移动方法
CN106044570B (zh) * 2016-05-31 2018-06-26 河南卫华机械工程研究院有限公司 一种采用机器视觉的钢卷吊自动识别装置和方法
CN105965519A (zh) * 2016-06-22 2016-09-28 江南大学 一种视觉引导下的离合器下料定位方法
CN205837987U (zh) * 2016-07-06 2016-12-28 东莞市欧特自动化技术有限公司 一种自动引导运输***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
双目视觉全自由度位姿测量引导工业机器人***的研究与应用;徐昌源;《中国优秀硕士学位论文全文数据库 信息科技辑》;20151215(第12期);第I138-883页 *
装配机器人视觉***应用与软件开发;傅华强;《中国优秀硕士学位论文全文数据库 信息科技辑》;20170315(第3期);第I138-5095页 *

Also Published As

Publication number Publication date
CN107103624A (zh) 2017-08-29

Similar Documents

Publication Publication Date Title
CN107103624B (zh) 立体视觉搬运***及其搬运方法
US9197810B2 (en) Systems and methods for tracking location of movable target object
CN109665307B (zh) 作业***、对物品的作业实施方法以及机器人
CN107160380B (zh) 一种基于scara机械手的相机标定和坐标变换的方法
US20170066133A1 (en) Coordinate system setting method, coordinate system setting apparatus, and robot system provided with coordinate system setting apparatus
CN110170995A (zh) 一种基于立体视觉的机器人快速示教方法
CN110370316B (zh) 一种基于垂直反射的机器人tcp标定方法
CN113084808A (zh) 一种基于单目视觉的移动机械臂2d平面抓取方法
WO2018043525A1 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
CN110170996B (zh) 一种基于立体视觉的机器人快速示教***
CN110980276B (zh) 一种三维视觉配合机器人实施铸件自动下料的方法
EP4013578A1 (en) Robot-mounted moving device, system, and machine tool
CN111823223A (zh) 一种基于智能立体视觉的机器人手臂抓取控制***及方法
CN107030693A (zh) 一种基于双目视觉的带电作业机器人目标跟踪方法
CN112677159B (zh) 一种基于视觉定位的机械手作业路径规划方法及装置
CN112109072B (zh) 一种大型稀疏特征托盘精确6d位姿测量和抓取方法
CN113093356B (zh) 一种基于机械臂的大型分块光学组件装配方法
CN110962127A (zh) 一种用于机械臂末端位姿辅助标定装置及其标定方法
CN110815177B (zh) 一种复合机器人2d视觉引导示教的迁移方法
CN209281477U (zh) 一种基于单目视觉的鞋底喷胶设备
JP7093881B1 (ja) システム、及び自動搬送車
CN214583043U (zh) 一种用于工件涂装的三维扫描***
WO2022091767A1 (ja) 画像処理方法、画像処理装置、ロボット搭載型搬送装置、及びシステム
CN112170124B (zh) 一种车身车框视觉定位方法及装置
CN113074638A (zh) 一种用于工件涂装的三维扫描***及其扫描成像方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant