CN111136656A - 一种用于机器人三维不规则物体自动识别及抓取的方法 - Google Patents

一种用于机器人三维不规则物体自动识别及抓取的方法 Download PDF

Info

Publication number
CN111136656A
CN111136656A CN201911346789.5A CN201911346789A CN111136656A CN 111136656 A CN111136656 A CN 111136656A CN 201911346789 A CN201911346789 A CN 201911346789A CN 111136656 A CN111136656 A CN 111136656A
Authority
CN
China
Prior art keywords
robot
camera
point
grabbing
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911346789.5A
Other languages
English (en)
Other versions
CN111136656B (zh
Inventor
杨锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhichang Technology Group Co.,Ltd.
Original Assignee
Shanghai Gene Automation Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Gene Automation Technology Co ltd filed Critical Shanghai Gene Automation Technology Co ltd
Priority to CN201911346789.5A priority Critical patent/CN111136656B/zh
Publication of CN111136656A publication Critical patent/CN111136656A/zh
Application granted granted Critical
Publication of CN111136656B publication Critical patent/CN111136656B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)

Abstract

本发明提供一种用于机器人三维不规则物体自动识别及抓取的方法，其具体操作方法为：前期数据收集、数据测试、数据分析、机器人运动到抓取点位姿，实现对锁具的抓取。本发明增加了对三维不规则类型物体的自动识别及抓取，通过线激光3D相机获取三维不规则物体的表面信息，相机安装在机器人末端法兰盘，当工件到达机器人扫描区域，机器人携带相机做直线运动扫描产品表面，以获取产品表面信息，对不同规格的产品一一进行扫描获取整个产品的点云库，对于每一种规格类型的产品，通过机器人示教抓取点并记录该示教点，再通过公式2‑5，将当前扫描工件信息转换为当前机器人抓取位置点，从而实现对工件抓取。

Description

一种用于机器人三维不规则物体自动识别及抓取的方法
技术领域
本发明涉及工业自动化领域，尤其涉及一种用于机器人三维不规则物体自动识别及抓取的方法。
背景技术
在国家智能制造大战略背景下，特别是近年来物流领域的飞速发展，对物体进行自动化分拣、识别及抓取的需求越来越多，目前市场上主流的自动识别及抓取机器人***，主要是通过提取物体表面即二维平面特征并针对该特征进行模板匹配，因此当前的自动识别及抓取机器人***只能完成对规则类型物体进行自动识别和抓取，如快递箱的识别及抓取，但该类型产品无法实现对不规则三维物体进行识别和抓取。基于此我司针对客户提出的不规则类型物体(如集装箱用锁具)自动识别和抓取的需求，提出了一种适用于机器人三维不规则物体自动识别及抓取方法。
发明内容
根据以上技术问题，本发明提供一种用于机器人三维不规则物体自动识别及抓取的方法，其具体操作方法为：
一、前期数据收集：由于客户锁具规格多样，各个产品形状和姿态各异，针对于此，客户端软件首先通过采集各个锁具图像，提取锁具中关键特征，同时建立各个产品的点云库，并存储在客户端软件中；
二、数据测试：将相机安装在机器人末端法兰盘上，确定相机安装在指定位置，将被工件放置在工作台的上，当工件到达机器人扫描区域，机器人携带相机做直线运动扫描产品表面，以获取产品表面信息；
三、数据分析：当机器人开始识别和抓取锁具时，机器人通过末端夹持的线激光3维相机从指定位置开始扫描锁具，获得锁具的图像，该图像存储于客户端软件中，客户端软件通过该图像与自身存储的点云库进行匹配，确立产品型号，如果该型号产品存在，则客户端软件通过该图像中的关键特征与点云库进行匹配，通过确立锁具抓取点位姿，客户端通过Socket通信，将该位姿发送给机器人；
四、机器人运动到抓取点位姿，实现对锁具的抓取。
所述相机为线激光3维相机。
所述相机指定位置确定方法为：
机器人相机标定主要用于确认相机坐标系和机器人末端法兰盘位置的关系即获取
Figure BDA0002333599300000023
Step1:打印视觉标定版，标定版一般由相机厂商给出，按其使用要求进行打印即可；
Step2:将标定板置于平整开阔的位置，且保证机器人位姿可达；
Step3:通过在机器人末端安装针尖工具，并示教该工具，确立工具坐标系与机器人世界坐标系的关系
Figure BDA0002333599300000021
该工具主要用于标定板的标定；
Step4:通过使用机器人末端安装针尖，示教出标定板的工件坐标系，其中坐标轴的中心点为工件坐标系的原点，坐标系的方向如下图1所示，记当前工件坐标系为
Figure BDA0002333599300000022
Step5:移动相机至标定板正上方，使得相机打出的激光线与标定板的X轴对齐，沿着激光线的方向相机到标定板的距离一致，沿着相机长度方向即与激光线垂直的方向，相机到标定板的距离也一致，换句话说，相机上的安装平面与标定板平面平行，此时实现了相机坐标系与标定板坐标系方向对齐；
Step6:记Step5中对齐后的机器人法兰盘(tool0)的点位在工件坐标系
Figure BDA0002333599300000031
下的点位为pAlignMiddle，从而计算出接下来相机移动的预起始位置pAlignPreStart(pAlignPreStart.x＝pAlignMiddle.x，pAlignPreStart.y＝pAlignMiddle.y-250)，终止位置pAlignEnd(pAlignEnd.x＝pAlignMiddle.x，pAlignEnd.y＝pAlignMiddle.y+250)；
Step7:将机器人的相机激光线移动至pAlignPreStart点(以
Figure BDA0002333599300000032
为参照，下同)；并启动机器人从pAlignPreStart点向pAlignEnd点的直线移动，速度为100mm/s；需要注意的是，机器人从静止到移动达到100mm/s的匀速会有加减速过程，我们使得机器人在直线运行50mm后(此时机器人已经加速完成)发出信号触发Trispector相机取图，此时信号的触发点即为采集图像的Y坐标起始位，记该点法兰盘(tool0)的位置为pAlignStart，则pAlignStart.y＝pAlignMiddle.y–200；注意，将Trispector的Y向取图长度设置为350mm即可，如图2所示；Step8:取图完毕后，将在通过线激光相机提供的软件查看所扫描的图像多个任意位置的Z值大小是否一致，从而确认相机采图平面是否与标定板平面平行(如相差太多，比如近1mm或者更多，需要调整至平行后，从上述Step5重新操作)；记录此时标定板坐标原点在图像坐标系中的点，并记录其坐标值为X,Y,Z，由于取图时我们保证相机camera与标定板board坐标在方向上是对齐的，因此其绕x，y，z轴的旋转欧拉角均为0，从而得到
Figure BDA0002333599300000033
Step9:将以上点位及坐标系分别以齐次坐标系的方式表达为如下形式：
Figure BDA0002333599300000034
表示标定板中心点与机器人世界坐标系的关系；
Figure BDA0002333599300000041
表示机器人末端法兰盘到标定板中心点的关系；
Figure BDA0002333599300000042
表示标定板与视觉相机之间的关系；
Figure BDA0002333599300000043
上述
Figure BDA0002333599300000044
即为相机的工具坐标系，也就是相机坐标系到法兰盘中心点坐标系的转换关系。
所述确立机器人抓取点位姿方法主要是通过获取图像抓取点与模板抓取点的转换矩阵，将机器人在模板下的抓取点转换为机器人在当前扫描图像下的抓取点，机器人通过扫描目标工件，获得所需图像目标特征，并根据该特征与模板中特征对比给出转换矩阵H，以及示教模板位置的抓取点
Figure BDA0002333599300000045
确立当前图像机器人抓取点
Figure BDA0002333599300000046
计算示意图如下所示：
Step1：求取相机原点到基坐标的位姿，求取公式如下所示：
Figure BDA0002333599300000047
Figure BDA0002333599300000048
为相机起始拍照点，也就是相机的原点。
Figure BDA0002333599300000049
为标定的相机原点与工具末端法兰的坐标系；
Step2：求取位置2机器人抓取位姿，联立如下公式(2-1)、(2-2)、(2-3)即可得公式(2-5)，即为所求机器人在位置2的抓取点：
Figure BDA00023335993000000410
Figure BDA00023335993000000411
Figure BDA00023335993000000412
Figure BDA0002333599300000051
Figure BDA0002333599300000052
本发明的有益效果为：本发明不同于现有市场上机器人对二维平面物体自动识别及抓取技术，增加了对三维不规则类型物体的自动识别及抓取，通过线激光3D相机获取三维不规则物体的表面信息，相机安装在机器人末端法兰盘，当工件到达机器人扫描区域，机器人携带相机做直线运动扫描产品表面，以获取产品表面信息，对不同规格的产品一一进行扫描获取整个产品的点云库，对于每一种规格类型的产品，通过机器人示教抓取点并记录该示教点，再通过公式2-5，将当前扫描工件信息转换为当前机器人抓取位置点，从而实现对工件抓取。
附图说明
图1为本发明机器人三维不规则物体自动识别及抓取架构图。
图2为本发明标定板工件坐标系设定。
图3为本发明相机标定示意图。
图4为本发明确立机器人抓取点示意图。
图5为本发明流程示意图。
图6为本发明几种锁具图像及特征。
具体实施方式
根据图所示，对本发明进行进一步说明：
实施例1
一种用于机器人三维不规则物体自动识别及抓取的方法，其具体操作方法为：
1、前期数据收集：由于客户锁具规格多样，各个产品形状和姿态各异，针对于此，客户端软件首先通过采集各个锁具图像，提取锁具中关键特征，同时建立各个产品的点云库，并存储在客户端软件中；
2、数据测试：将相机安装在机器人末端法兰盘上，确定相机安装在指定位置，将被工件放置在工作台的上，当工件到达机器人扫描区域，机器人携带相机做直线运动扫描产品表面，以获取产品表面信息；
3、数据分析：当机器人开始识别和抓取锁具时，机器人通过末端夹持的线激光3维相机从指定位置开始扫描锁具，获得锁具的图像，该图像存储于客户端软件中，客户端软件通过该图像与自身存储的点云库进行匹配，确立产品型号，如果该型号产品存在，则客户端软件通过该图像中的关键特征与点云库进行匹配，通过确立锁具抓取点位姿，客户端通过Socket通信，将该位姿发送给机器人；
4、机器人运动到抓取点位姿，实现对锁具的抓取。
实施例2
机器人相机标定主要用于确认相机坐标系和机器人末端法兰盘位置的关系即获取
Figure BDA0002333599300000061
Step1:打印视觉标定版，标定版一般由相机厂商给出，按其使用要求进行打印即可；
Step2:将标定板置于平整开阔的位置，且保证机器人位姿可达；
Step3:通过在机器人末端安装针尖工具，并示教该工具，确立工具坐标系与机器人世界坐标系的关系
Figure BDA0002333599300000062
该工具主要用于标定板的标定；
Step4:通过使用机器人末端安装针尖，示教出标定板的工件坐标系，其中坐标轴的中心点为工件坐标系的原点，坐标系的方向如下图1所示，记当前工件坐标系为
Figure BDA0002333599300000071
Step5:移动相机至标定板正上方，使得相机打出的激光线与标定板的X轴对齐，沿着激光线的方向相机到标定板的距离一致，沿着相机长度方向即与激光线垂直的方向，相机到标定板的距离也一致，换句话说，相机上的安装平面与标定板平面平行，此时实现了相机坐标系与标定板坐标系方向对齐；
Step6:记Step5中对齐后的机器人法兰盘(tool0)的点位在工件坐标系
Figure BDA0002333599300000072
下的点位为pAlignMiddle，从而计算出接下来相机移动的预起始位置pAlignPreStart(pAlignPreStart.x＝pAlignMiddle.x，pAlignPreStart.y＝pAlignMiddle.y-250)，终止位置pAlignEnd(pAlignEnd.x＝pAlignMiddle.x，pAlignEnd.y＝pAlignMiddle.y+250)；
Step7:将机器人的相机激光线移动至pAlignPreStart点(以
Figure BDA0002333599300000073
为参照，下同)；并启动机器人从pAlignPreStart点向pAlignEnd点的直线移动，速度为100mm/s；需要注意的是，机器人从静止到移动达到100mm/s的匀速会有加减速过程，我们使得机器人在直线运行50mm后(此时机器人已经加速完成)发出信号触发Trispector相机取图，此时信号的触发点即为采集图像的Y坐标起始位，记该点法兰盘(tool0)的位置为pAlignStart，则pAlignStart.y＝pAlignMiddle.y–200；注意，将Trispector的Y向取图长度设置为350mm即可，如图2所示；Step8:取图完毕后，将在通过线激光相机提供的软件查看所扫描的图像多个任意位置的Z值大小是否一致，从而确认相机采图平面是否与标定板平面平行(如相差太多，比如近1mm或者更多，需要调整至平行后，从上述Step5重新操作)；记录此时标定板坐标原点在图像坐标系中的点，并记录其坐标值为X,Y,Z，由于取图时我们保证相机camera与标定板board坐标在方向上是对齐的，因此其绕x，y，z轴的旋转欧拉角均为0，从而得到
Figure BDA0002333599300000081
Step9:将以上点位及坐标系分别以齐次坐标系的方式表达为如下形式：
Figure BDA0002333599300000082
表示标定板中心点与机器人世界坐标系的关系；
Figure BDA0002333599300000083
表示机器人末端法兰盘到标定板中心点的关系；
Figure BDA0002333599300000084
表示标定板与视觉相机之间的关系；
Figure BDA0002333599300000085
上述
Figure BDA0002333599300000086
即为相机的工具坐标系，也就是相机坐标系到法兰盘中心点坐标系的转换关系。
实施例3
确立机器人抓取点位姿方法主要是通过获取图像抓取点与模板抓取点的转换矩阵，将机器人在模板下的抓取点转换为机器人在当前扫描图像下的抓取点，机器人通过扫描目标工件，获得所需图像目标特征，并根据该特征与模板中特征对比给出转换矩阵H，以及示教模板位置的抓取点
Figure BDA0002333599300000087
确立当前图像机器人抓取点
Figure BDA0002333599300000088
计算示意图如下所示：
Step1：求取相机原点到基坐标的位姿，求取公式如下所示：
Figure BDA0002333599300000089
Figure BDA00023335993000000810
为相机起始拍照点，也就是相机的原点。
Figure BDA0002333599300000091
为标定的相机原点与工具末端法兰的坐标系；
Step2：求取位置2机器人抓取位姿，联立如下公式(2-1)、(2-2)、(2-3)即可得公式(2-5)，即为所求机器人在位置2的抓取点：
Figure BDA0002333599300000092
Figure BDA0002333599300000093
Figure BDA0002333599300000094
Figure BDA0002333599300000095
Figure BDA0002333599300000096
实施例4
当对集装箱用锁为例进行本发明使用时，具详细赘述具体操作步骤如下：
Step1:准备工作1：
准备工作1主要是用于标定相机坐标系与机器人末端法兰盘位置的关系，该算法使用及操作步骤在算法1中有详细叙述。
Step2:准备工作2：
准备工作2主要用于获取各个产品的表面信息，从而形成不规则类型产品表面信息模板库及机器人抓取点表。具体操作过程如下：
传送带将不规则类型产品运送到指定工作区，并将到位信号发送给机器人，机器人接收到产品到料信息后，携带相机运动到指定位置，机器人通过直线运动对指定工作区进行扫描以获取产品表面信息，根据产品表面特点，对其表面中的特征线及特征线中点进行提取，形成产品模板，同时用于确立机器人抓取位置。将机器人运动到产品表面特征线中点，同时保证机器人夹具姿态与特征线方向一致，确立机器人对当前产品的抓取点，并记录该点。对不同规格类型的产品重复上述步骤从而建立不规则类型产品表面信息模板库及机器人抓取点表。用于算法2中机器人抓取点计算。
Step3:
在Step1和Step2操作完成后，当新产品运动到指定工作区，并将到位信号发送给机器人，机器人接收到产品到料信息后，携带相机运动到指定位置，机器人通过直线运动对指定工作区进行扫描以获取产品表面信息，通过与产品表面信息模板库进行模板匹配，确立当前产品是否存在库中，如果当前产品库不存在，则通知用户人为增加新产品模板到产品模板库中，同时增加机器人抓取点信息。如果当前产品已经存在产品模板库中，则将该产品与产品模板库中的产品进行匹配从而确立产品类型，待产品类型确认完毕后，提取该型产品表面特征线并将该特征线与模板进行匹配，从而确立当前产品抓取点的转换矩阵。
Step4:根据算法2确立当前图像下机器人抓取点位姿。
以上所述仅是本发明的优选实施方式，应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进，这些改进也应视为本发明的保护范围。

Claims (4)

1.一种用于机器人三维不规则物体自动识别及抓取的方法，其具体操作方法为：
一、前期数据收集：由于客户锁具规格多样，各个产品形状和姿态各异，针对于此，客户端软件首先通过采集各个锁具图像，提取锁具中关键特征，同时建立各个产品的点云库，并存储在客户端软件中；
二、数据测试：将相机安装在机器人末端法兰盘上，确定相机安装在指定位置，将被工件放置在工作台的上，当工件到达机器人扫描区域，机器人携带相机做直线运动扫描产品表面，以获取产品表面信息；
三、数据分析：当机器人开始识别和抓取锁具时，机器人通过末端夹持的线激光3维相机从指定位置开始扫描锁具，获得锁具的图像，该图像存储于客户端软件中，客户端软件通过该图像与自身存储的点云库进行匹配，确立产品型号，如果该型号产品存在，则客户端软件通过该图像中的关键特征与点云库进行匹配，通过确立锁具抓取点位姿，客户端通过Socket通信，将该位姿发送给机器人；
四、机器人运动到抓取点位姿，实现对锁具的抓取。
2.按照权利要求1所述的一种用于机器人三维不规则物体自动识别及抓取的方法，其特征在于所述相机为线激光3维相机。
3.一种用于机器人三维不规则物体自动识别及抓取的方法，所述相机指定位置确定方法为：
机器人相机标定主要用于确认相机坐标系和机器人末端法兰盘位置的关系即获取
Figure FDA0002333599290000011
Step1:打印视觉标定版，标定版一般由相机厂商给出，按其使用要求进行打印即可；
Step2:将标定板置于平整开阔的位置，且保证机器人位姿可达；
Step3:通过在机器人末端安装针尖工具，并示教该工具，确立工具坐标系与机器人世界坐标系的关系
Figure FDA0002333599290000021
该工具主要用于标定板的标定；
Step4:通过使用机器人末端安装针尖，示教出标定板的工件坐标系，其中坐标轴的中心点为工件坐标系的原点，坐标系的方向如下图1所示，记当前工件坐标系为
Figure FDA0002333599290000022
Step5:移动相机至标定板正上方，使得相机打出的激光线与标定板的X轴对齐，沿着激光线的方向相机到标定板的距离一致，沿着相机长度方向即与激光线垂直的方向，相机到标定板的距离也一致，换句话说，相机上的安装平面与标定板平面平行，此时实现了相机坐标系与标定板坐标系方向对齐；
Step6:记Step5中对齐后的机器人法兰盘(tool0)的点位在工件坐标系
Figure FDA0002333599290000023
下的点位为pAlignMiddle，从而计算出接下来相机移动的预起始位置pAlignPreStart(pAlignPreStart.x＝pAlignMiddle.x，pAlignPreStart.y＝pAlignMiddle.y-250)，终止位置pAlignEnd(pAlignEnd.x＝pAlignMiddle.x，pAlignEnd.y＝pAlignMiddle.y+250)；
Step7:将机器人的相机激光线移动至pAlignPreStart点(以
Figure FDA0002333599290000024
为参照，下同)；并启动机器人从pAlignPreStart点向pAlignEnd点的直线移动，速度为100mm/s；需要注意的是，机器人从静止到移动达到100mm/s的匀速会有加减速过程，我们使得机器人在直线运行50mm后(此时机器人已经加速完成)发出信号触发Trispector相机取图，此时信号的触发点即为采集图像的Y坐标起始位，记该点法兰盘(tool0)的位置为pAlignStart，则pAlignStart.y＝pAlignMiddle.y–200；注意，将Trispector的Y向取图长度设置为350mm即可，如图2所示；Step8:取图完毕后，将在通过线激光相机提供的软件查看所扫描的图像多个任意位置的Z值大小是否一致，从而确认相机采图平面是否与标定板平面平行(如相差太多，比如近1mm或者更多，需要调整至平行后，从上述Step5重新操作)；记录此时标定板坐标原点在图像坐标系中的点，并记录其坐标值为X,Y,Z，由于取图时我们保证相机camera与标定板board坐标在方向上是对齐的，因此其绕x，y，z轴的旋转欧拉角均为0，从而得到
Figure FDA0002333599290000031
Step9:将以上点位及坐标系分别以齐次坐标系的方式表达为如下形式：
Figure FDA0002333599290000032
表示标定板中心点与机器人世界坐标系的关系；
Figure FDA0002333599290000033
表示机器人末端法兰盘到标定板中心点的关系；
Figure FDA0002333599290000034
表示标定板与视觉相机之间的关系；
Figure FDA0002333599290000035
上述
Figure FDA0002333599290000036
即为相机的工具坐标系，也就是相机坐标系到法兰盘中心点坐标系的转换关系。
4.一种用于机器人三维不规则物体自动识别及抓取的方法，所述确立机器人抓取点位姿方法主要是通过获取图像抓取点与模板抓取点的转换矩阵，将机器人在模板下的抓取点转换为机器人在当前扫描图像下的抓取点，机器人通过扫描目标工件，获得所需图像目标特征，并根据该特征与模板中特征对比给出转换矩阵H，以及示教模板位置的抓取点
Figure FDA0002333599290000037
确立当前图像机器人抓取点
Figure FDA0002333599290000038
计算示意图如下所示：
Step1：求取相机原点到基坐标的位姿，求取公式如下所示：
Figure FDA0002333599290000041
Figure FDA0002333599290000042
为相机起始拍照点，也就是相机的原点。
Figure FDA0002333599290000043
为标定的相机原点与工具末端法兰的坐标系；
Step2：求取位置2机器人抓取位姿，联立如下公式(2-1)、(2-2)、(2-3)即可得公式(2-5)，即为所求机器人在位置2的抓取点：
Figure FDA0002333599290000044
Figure FDA0002333599290000045
Figure FDA0002333599290000046
Figure FDA0002333599290000047
Figure FDA0002333599290000048
CN201911346789.5A 2019-12-24 2019-12-24 一种用于机器人三维不规则物体自动识别及抓取的方法 Active CN111136656B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911346789.5A CN111136656B (zh) 2019-12-24 2019-12-24 一种用于机器人三维不规则物体自动识别及抓取的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911346789.5A CN111136656B (zh) 2019-12-24 2019-12-24 一种用于机器人三维不规则物体自动识别及抓取的方法

Publications (2)

Publication Number Publication Date
CN111136656A true CN111136656A (zh) 2020-05-12
CN111136656B CN111136656B (zh) 2020-12-08

Family

ID=70519705

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911346789.5A Active CN111136656B (zh) 2019-12-24 2019-12-24 一种用于机器人三维不规则物体自动识别及抓取的方法

Country Status (1)

Country Link
CN (1) CN111136656B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111595266A (zh) * 2020-06-02 2020-08-28 西安航天发动机有限公司 空间复杂走向导管视觉识别方法
CN112549021A (zh) * 2020-11-16 2021-03-26 北京配天技术有限公司 机器人的控制方法、机器人及存储装置
CN112873205A (zh) * 2021-01-15 2021-06-01 陕西工业职业技术学院 基于双夹具实时切换的工业机器人无序抓取方法
CN113114766A (zh) * 2021-04-13 2021-07-13 江苏大学 基于zed相机的盆栽作物信息检测方法与装置
CN113510697A (zh) * 2021-04-23 2021-10-19 知守科技(杭州)有限公司 机械手定位方法、装置、***、电子装置和存储介质
CN113770059A (zh) * 2021-09-16 2021-12-10 中冶东方工程技术有限公司 一种钢结构零件智能分拣***及方法
CN114074331A (zh) * 2022-01-19 2022-02-22 成都考拉悠然科技有限公司 一种基于视觉的无序抓取方法及机器人
CN114113163A (zh) * 2021-12-01 2022-03-01 北京航星机器制造有限公司 一种基于智能机器人的自动化数字射线检测装置和方法
CN115070779A (zh) * 2022-08-22 2022-09-20 菲特（天津）检测技术有限公司 机器人抓取控制方法、***及电子设备
CN115446392A (zh) * 2022-10-13 2022-12-09 芜湖行健智能机器人有限公司 一种无序板件智能化倒角***及方法
WO2023040095A1 (zh) * 2021-09-16 2023-03-23 梅卡曼德（北京）机器人科技有限公司 相机的标定方法、装置、电子设备及存储介质
CN116330306A (zh) * 2023-05-31 2023-06-27 之江实验室 一种物体的抓取方法、装置、存储介质及电子设备
CN117621092A (zh) * 2023-10-24 2024-03-01 上海奔曜科技有限公司 一种示教***、方法及免示教自动化装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1293752A (zh) * 1999-03-19 2001-05-02 松下电工株式会社 三维物体识别方法及使用该方法的零件抓取***
EP2455198A1 (en) * 2010-11-17 2012-05-23 Samsung Electronics Co., Ltd. Control of robot hand to contact an object
CN105014667A (zh) * 2015-08-06 2015-11-04 浙江大学 一种基于像素空间优化的相机与机器人相对位姿标定方法
US9403278B1 (en) * 2015-03-19 2016-08-02 Waterloo Controls Inc. Systems and methods for detecting and picking up a waste receptacle
CN106041937A (zh) * 2016-08-16 2016-10-26 河南埃尔森智能科技有限公司 一种基于双目立体视觉的机械手抓取控制***的控制方法
CN106778790A (zh) * 2017-02-15 2017-05-31 苏州博众精工科技有限公司 一种基于三维点云的目标识别与定位方法及***
CN108827154A (zh) * 2018-07-09 2018-11-16 深圳辰视智能科技有限公司 一种机器人无示教抓取方法、装置及计算机可读存储介质
CN109493384A (zh) * 2018-09-20 2019-03-19 顺丰科技有限公司 相机位姿估计方法、***、设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1293752A (zh) * 1999-03-19 2001-05-02 松下电工株式会社 三维物体识别方法及使用该方法的零件抓取***
EP2455198A1 (en) * 2010-11-17 2012-05-23 Samsung Electronics Co., Ltd. Control of robot hand to contact an object
US9403278B1 (en) * 2015-03-19 2016-08-02 Waterloo Controls Inc. Systems and methods for detecting and picking up a waste receptacle
CN105014667A (zh) * 2015-08-06 2015-11-04 浙江大学 一种基于像素空间优化的相机与机器人相对位姿标定方法
CN106041937A (zh) * 2016-08-16 2016-10-26 河南埃尔森智能科技有限公司 一种基于双目立体视觉的机械手抓取控制***的控制方法
CN106778790A (zh) * 2017-02-15 2017-05-31 苏州博众精工科技有限公司 一种基于三维点云的目标识别与定位方法及***
CN108827154A (zh) * 2018-07-09 2018-11-16 深圳辰视智能科技有限公司 一种机器人无示教抓取方法、装置及计算机可读存储介质
CN109493384A (zh) * 2018-09-20 2019-03-19 顺丰科技有限公司 相机位姿估计方法、***、设备及存储介质

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111595266A (zh) * 2020-06-02 2020-08-28 西安航天发动机有限公司 空间复杂走向导管视觉识别方法
CN112549021A (zh) * 2020-11-16 2021-03-26 北京配天技术有限公司 机器人的控制方法、机器人及存储装置
CN112873205A (zh) * 2021-01-15 2021-06-01 陕西工业职业技术学院 基于双夹具实时切换的工业机器人无序抓取方法
CN113114766A (zh) * 2021-04-13 2021-07-13 江苏大学 基于zed相机的盆栽作物信息检测方法与装置
CN113114766B (zh) * 2021-04-13 2024-03-08 江苏大学 基于zed相机的盆栽作物信息检测方法
CN113510697A (zh) * 2021-04-23 2021-10-19 知守科技(杭州)有限公司 机械手定位方法、装置、***、电子装置和存储介质
CN113770059A (zh) * 2021-09-16 2021-12-10 中冶东方工程技术有限公司 一种钢结构零件智能分拣***及方法
WO2023040095A1 (zh) * 2021-09-16 2023-03-23 梅卡曼德（北京）机器人科技有限公司 相机的标定方法、装置、电子设备及存储介质
CN114113163B (zh) * 2021-12-01 2023-12-08 北京航星机器制造有限公司 一种基于智能机器人的自动化数字射线检测装置和方法
CN114113163A (zh) * 2021-12-01 2022-03-01 北京航星机器制造有限公司 一种基于智能机器人的自动化数字射线检测装置和方法
CN114074331A (zh) * 2022-01-19 2022-02-22 成都考拉悠然科技有限公司 一种基于视觉的无序抓取方法及机器人
CN115070779A (zh) * 2022-08-22 2022-09-20 菲特（天津）检测技术有限公司 机器人抓取控制方法、***及电子设备
CN115070779B (zh) * 2022-08-22 2023-03-24 菲特（天津）检测技术有限公司 机器人抓取控制方法、***及电子设备
CN115446392B (zh) * 2022-10-13 2023-08-04 芜湖行健智能机器人有限公司 一种无序板件智能化倒角***及方法
CN115446392A (zh) * 2022-10-13 2022-12-09 芜湖行健智能机器人有限公司 一种无序板件智能化倒角***及方法
CN116330306A (zh) * 2023-05-31 2023-06-27 之江实验室 一种物体的抓取方法、装置、存储介质及电子设备
CN116330306B (zh) * 2023-05-31 2023-08-15 之江实验室 一种物体的抓取方法、装置、存储介质及电子设备
CN117621092A (zh) * 2023-10-24 2024-03-01 上海奔曜科技有限公司 一种示教***、方法及免示教自动化装置

Also Published As

Publication number Publication date
CN111136656B (zh) 2020-12-08

Similar Documents

Publication Publication Date Title
CN111136656B (zh) 一种用于机器人三维不规则物体自动识别及抓取的方法
CN111791239B (zh) 一种结合三维视觉识别可实现精确抓取的方法
EP3550470B1 (en) Object recognition processing apparatus and method, and object picking apparatus and method
CN108182689B (zh) 应用于机器人搬运打磨领域的板状工件三维识别定位方法
CN110370286A (zh) 基于工业机器人和单目相机的定轴运动刚体空间位置识别方法
US7283661B2 (en) Image processing apparatus
WO2017015898A1 (zh) 用于机器人拆垛设备的控制***和用于控制机器人拆垛的方法
KR102056664B1 (ko) 센서를 이용한 작업 방법 및 이를 수행하는 작업 시스템
US8379224B1 (en) Prismatic alignment artifact
JP7174074B2 (ja) 画像処理装置、作業ロボット、基板検査装置および検体検査装置
JP2015089589A (ja) バラ積みされた物品をロボットで取出す装置及び方法
CN110146017B (zh) 工业机器人重复定位精度测量方法
CN106269548A (zh) 一种物体自动分拣方法及其装置
CN110980276B (zh) 一种三维视觉配合机器人实施铸件自动下料的方法
CN112518748A (zh) 面向运动物品的视觉机械臂自动抓取方法与***
CN114029243B (zh) 一种用于分拣机器手的软物抓取识别方法
Hsu et al. Development of a faster classification system for metal parts using machine vision under different lighting environments
CN112361958B (zh) 一种线激光与机械臂标定方法
KR20110095700A (ko) 작업대상물 픽업을 위한 산업용 로봇 제어방법
CN114913346A (zh) 一种基于产品颜色及形状识别的智能分拣***及方法
CN114918723B (zh) 基于表面检测的工件定位控制***及方法
Hashimoto et al. Current status and future trends on robot vision technology
CN116465335A (zh) 基于点云匹配的自动测厚方法和***
US20240003675A1 (en) Measurement system, measurement device, measurement method, and measurement program
CN115063670A (zh) 一种自动分拣方法、装置及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210330

Address after: 315400 Chengdong new district, Ningbo Economic Development Zone, Zhejiang Province

Patentee after: Zhichang Technology Group Co.,Ltd.

Address before: Room 320, building 1, 358 Huayan village, Nanqiao Town, Fengxian District, Shanghai

Patentee before: SHANGHAI GENE AUTOMATION TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right