CN111390910A - 机械手目标抓取定位方法、计算机可读存储介质及机械手 - Google Patents

机械手目标抓取定位方法、计算机可读存储介质及机械手 Download PDF

Info

Publication number
CN111390910A
CN111390910A CN202010246874.0A CN202010246874A CN111390910A CN 111390910 A CN111390910 A CN 111390910A CN 202010246874 A CN202010246874 A CN 202010246874A CN 111390910 A CN111390910 A CN 111390910A
Authority
CN
China
Prior art keywords
manipulator
target
auxiliary positioning
camera
positioning object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010246874.0A
Other languages
English (en)
Inventor
傅峰峰
江志强
刘嘉荣
李航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Fugang Wanjia Intelligent Technology Co Ltd
Original Assignee
Guangzhou Fugang Wanjia Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Fugang Wanjia Intelligent Technology Co Ltd filed Critical Guangzhou Fugang Wanjia Intelligent Technology Co Ltd
Priority to CN202010246874.0A priority Critical patent/CN111390910A/zh
Publication of CN111390910A publication Critical patent/CN111390910A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1669—Programme controls characterised by programming, planning systems for manipulators characterised by special application, e.g. multi-arm co-operation, assembly, grasping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及机械手控制技术领域，尤其是一种机械手目标抓取定位方法、计算机可读存储介质及机械手，计算机可读存储介质存储在机械手中，机械手处理器执行计算机可读存储介质中的计算机程序时实现机械手目标抓取定位的方法。在机械手抓取操作中，设置辅助定位物帮助机械手进行目标抓取定位：获取辅助定位物与目标的位置关系，以图像中呈现的辅助定位物的几何特征以及预存的辅助定位物的几何特征推出摄像头与辅助定位物的位置关系；以辅助定位物分别与目标的位置关系、与摄像头的位置关系为条件，推出摄像头与目标的位置关系。该机械手目标抓取定位方法，辅助定位物的几何特征能够随时通过更新数据库增加，方便机械手抓取放置在不同位置的目标。

Description

机械手目标抓取定位方法、计算机可读存储介质及机械手
技术领域
本发明涉及机械手控制技术领域，尤其是一种机械手目标抓取定位方法、计算机可读存储介质及机械手，计算机可读存储介质存储在机械手中，机械手处理器执行计算机可读存储介质中的计算机程序时实现机械手目标抓取定位的方法。
背景技术
随着机器视觉技术的迅猛发展，越来越多的工业机械手以及带机械手的设备将视觉***作为机械手操作的导航工具。Eye-in-Hand***的在工业机器人中应用比较广泛，摄像头固定在机械手末端，会随着机械手的运动而运动，机械手的处理器采用Eye-in-Hand式视觉***给机械手提供导航指引。在使用机械手抓取目标之前，要先进行机械手和摄像头的手眼标定，从而得出摄像头与机械手的位置关系对应的手眼关系矩阵，然后再通过摄像头采集目标在像素坐标系(通用地以摄像头感光元件的左上角为原点，XY轴平行于图像边沿)中的坐标值，并通过手眼关系矩阵把该坐标值转换为在基坐标系(通用地以机械手基座中心为坐标原点的右手坐标系)中的坐标值，从而供机械手的控制器规划移动和夹取操作的移动路径。
手眼标定的方法为：在待标定的区域上水平放置一块高精度平面标定板，标定板上设有彼此间距离已知的多个标定点，控制机械手带动固定在机械手上的摄像头移动，机械手依次移动到这些标定点的位置，每次都对标定板进行拍摄从而获取含有所在标定点的平面图像，得到本次标定点在像素坐标系中的坐标，对应地在摄像头每次拍摄时都记录机械手在基坐标系中的坐标，求解标定点在像素坐标系中的坐标与机械手在基坐标系中的坐标的对应关系，得到摄像头的像素坐标系与机械手的基坐标系之间的转换关系。基于上述手眼标定方法得到的坐标转换关系，机械手只能在已进行标定的区域进行准确的抓取操作，如果待抓取目标在已标定区域外，就需要增加标定区域来实现抓取操作，但是，该手眼标定方法需要用到平面标定板，且运算过程复杂、耗时长，难以在短时间内增加标定区域，不方便机械手抓取处于原本未标定区域的目标。
发明内容
本发明的目的是：为机械手的抓取提供能够快速、便捷地定位目标的方法，用于存储被处理器执行时实现上述方法的程序的计算机可读存储介质，以及应用该介质的机械手，能够快速定位目标。
提供一种机械手目标抓取定位方法，其特征是包括如下步骤：
用随机械手移动的摄像头拍摄目标所在场景，在场景中识别出目标和辅助定位物，得到辅助定位物在被拍摄场景中呈现的几何特征，并得到目标与辅助定位物在被拍摄场景中的位置关系；
根据辅助定位物在被拍摄场景中呈现的几何特征，以及预存的辅助定位物本身的几何特征，推出摄像头与辅助定位物的位置关系；
根据摄像头与辅助定位物的位置关系，以及辅助定位物与目标在被拍摄场景中的位置关系，推出摄像头与目标的位置关系。
还提供一种计算机可读存储介质，其存储有计算机程序，计算机程序被处理器执行时能够实现上述的机械手目标抓取定位方法。
还提供一种机械手，包括用于对目标所在区域进行拍摄的摄像头以及处理器，摄像机跟随机械手移动，处理器控制摄像头进行拍摄，还包括上述的计算机可读存储介质，该计算机可读存储介质上的计算机程序可被处理器执行。
有益效果：在使用机械手进行抓取操作时，设置辅助定位物帮助机械手进行目标抓取定位。首先，通过摄像头拍摄目标所在场景的图像。然后，对图像进行处理：一方面，得到目标与辅助定位物在被拍摄场景中的位置关系；另一方面，以图像中呈现的辅助定位物的几何特征以及预存的辅助定位物的几何特征推出摄像头与辅助定位物的位置关系。最后，以辅助定位物分别与目标的位置关系、与摄像头的位置关系为条件，推出摄像头与目标的位置关系。该机械手目标抓取定位方法，辅助定位物的几何特征能够随时通过更新数据库增加，方便机械手抓取放置在不同位置的目标。
附图说明
图1为安装有机械手且具有水槽的料理台的结构示意图。
具体实施方式
智慧厨房的料理区配备有机械手，如图1所示，机械手2的基座安装在料理台1上，机械手2上装有随机械手2移动的摄像头3，机械手2末端安装有夹爪来抓取目标。在安装机械手时，从智慧厨房的数据库中调取机械手工作场景的结构数据，在调取的结构数据中识别方形、直角三角形等便于进行图像校正的几何特征，把识别出的数据结构里具有简单、稳定的几何特征的物体记为辅助定位物。如图1中的料理台1，设在料理台1顶部的水槽4具有长方形的顶部开口，且该长方形开口的长度和宽度都已经记录在水槽4的结构数据中，即水槽4有四个各自的直角边长度都已知的直角，符合辅助定位物的几何特征，因此把水槽4存入特征库作为辅助定位物，记录水槽4本身的几何特征：四个顶点P1、P2、P3、P4以及这四个顶点两两之间的距离，还根据水槽4的结构数据转换得到多个角度的边缘特征图像后一并存入特征库。
以下详述机械手2为抓取目标5而实施的定位过程。
摄像头3拍摄目标5所在的场景，拍摄得到的图像中覆盖的区域见图1中示出的场景31，水槽4也被全部拍入该图像中。机械手控制***通过常规的边缘检测算法对场景31进行处理，识别出目标5，并提取场景31中的其余边缘特征，调取特征库中存储的边缘特征图像对所提取的边缘特征进行比对。比对后，机械手控制***从场景31中识别出水槽4，以水槽4作为辅助定位物帮助机械手2进行对待抓取的目标5的定位。
机械手控制***获取识别出的水槽4在被拍摄得到的场景31中呈现的几何特征：水槽4的四个顶点P1、P2、P3、P4各自的位置，以及这四个顶点中任意三个组合后得到的三角形的角度。在场景31中，以目标5与水槽4的一条边P1P2为例，已知P1P2的长度以及目标5的底端B与边P1P2在同一平面，根据空间几何可以推出目标5的底端B与水槽4的顶点P2之间的位置关系，还可以推出目标5从顶端T到底端B的高度h，即可以得到目标5与水槽4在被拍摄场景中的位置关系。
所获取的水槽4在被拍摄场景中呈现的几何特征和预存的水槽4本身的几何特征之间存在角度和距离的变化，因此，通过仿射变换校正或透射变换校正等图像校正的手段进行反推，能够得到水槽4从在被拍摄场景中呈现的几何特征恢复为预存的水槽4本身的几何特征所需的转换关系，根据转换关系中的角度、距离这两者的变化量即可推出摄像头3与水槽4之间的位置关系。
根据上述摄像头3与水槽4的位置关系，以及上述水槽4与目标5在被拍摄场景中的位置关系，即可推出摄像头3与目标5的位置关系。该机械手目标抓取定位方法，在使用机械手进行抓取操作时，设置辅助定位物帮助机械手进行目标抓取定位，辅助定位物的几何特征能够随时通过更新数据库增加，方便机械手抓取放置在不同位置的目标。
若当前被拍摄的场景中未识别出辅助定位物，如水槽4未被拍入场景图像中，则调整摄像头3，比如调整拍摄角度、调整拍摄距离或调整取像参数，再拍摄目标所在场景，直到识别出辅助定位物。

Claims (10)

1.机械手目标抓取定位方法，其特征是包括如下步骤：
用随机械手移动的摄像头拍摄目标所在场景，在场景中识别出目标和辅助定位物，得到辅助定位物在被拍摄场景中呈现的几何特征，并得到目标与辅助定位物在被拍摄场景中的位置关系；
根据辅助定位物在被拍摄场景中呈现的几何特征，以及预存的辅助定位物本身的几何特征，推出摄像头与辅助定位物的位置关系；
根据摄像头与辅助定位物的位置关系，以及辅助定位物与目标在被拍摄场景中的位置关系，推出摄像头与目标的位置关系。
2.根据权利要求1所述的机械手目标抓取定位方法，其特征是，在场景中识别出目标和辅助定位物具体地，从被拍摄的场景中提取边缘特征，根据提取的边缘特征识别出目标和辅助定位物。
3.根据权利要求1所述的机械手目标抓取定位方法，其特征是，若当前被拍摄的场景中未识别出辅助定位物，则调整摄像头后再拍摄目标所在场景。
4.根据权利要求3所述的机械手目标抓取定位方法，其特征是，调整摄像头的方式包括调整拍摄角度、调整拍摄距离和调整取像参数中的一种或多种。
5.根据权利要求1所述的机械手目标抓取定位方法，其特征是，预存的辅助定位物本身的几何特征包括至少三个位于辅助定位物上的交点以及至少两对交点之间的距离。
6.根据权利要求5所述的机械手目标抓取定位方法，其特征是，预存的辅助定位物本身的几何特征包括直角及其两条直角边的长度。
7.根据权利要求1所述的机械手目标抓取定位方法，其特征是，所述根据辅助定位物在被拍摄场景中呈现的几何特征，以及预存的辅助定位物本身的几何特征推出摄像头与辅助定位物的位置关系具体地：获取辅助定位物从在被拍摄场景中呈现的几何特征恢复为预存的辅助定位物本身的几何特征所需的转换关系，根据转换关系中的角度、距离这两者的变化量推出摄像头与辅助定位物之间的位置关系。
8.根据权利要求7所述的机械手目标抓取定位方法，其特征是，所需的转换关系通过仿射变换校正或透射变换校正得到。
9.计算机可读存储介质，其存储有计算机程序，其特征是，所述计算机程序被处理器执行时能够实现权利要求1～8中任一项所述的机械手目标抓取定位方法。
10.机械手，包括用于对目标所在区域进行拍摄的摄像头以及处理器，摄像头跟随机械手移动，处理器控制摄像头进行拍摄，还包括计算机可读存储介质，该计算机可读存储介质上的计算机程序可被处理器执行，其特征是计算机可读存储介质如权利要求9所述。
CN202010246874.0A 2020-03-31 2020-03-31 机械手目标抓取定位方法、计算机可读存储介质及机械手 Pending CN111390910A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010246874.0A CN111390910A (zh) 2020-03-31 2020-03-31 机械手目标抓取定位方法、计算机可读存储介质及机械手

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010246874.0A CN111390910A (zh) 2020-03-31 2020-03-31 机械手目标抓取定位方法、计算机可读存储介质及机械手

Publications (1)

Publication Number Publication Date
CN111390910A true CN111390910A (zh) 2020-07-10

Family

ID=71425949

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010246874.0A Pending CN111390910A (zh) 2020-03-31 2020-03-31 机械手目标抓取定位方法、计算机可读存储介质及机械手

Country Status (1)

Country Link
CN (1) CN111390910A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111844048A (zh) * 2020-08-04 2020-10-30 合肥盛恩智能装备科技有限公司 一种机器人夹具抓取算法
CN112459734A (zh) * 2020-11-26 2021-03-09 湖南三一石油科技有限公司 一种机械手定位方法、装置、机械手及存储介质
CN112809672A (zh) * 2020-12-31 2021-05-18 安徽飞凯电子技术有限公司 一种机械手臂用目标定位***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08322121A (ja) * 1995-05-23 1996-12-03 Mitsui Eng & Shipbuild Co Ltd 遠隔操作マニピュレータの位置決め方法および位置決め支援装置
CN104400703A (zh) * 2014-09-28 2015-03-11 沈阳拓荆科技有限公司 辅助定位工装及三轴定位方法
CN106530276A (zh) * 2016-10-13 2017-03-22 中科金睛视觉科技（北京）有限公司 一种用于非标准件抓取的机械手定位方法以及定位***
CN110788863A (zh) * 2019-11-22 2020-02-14 上海原能细胞生物低温设备有限公司 一种机器视觉的标定方法及机械臂定位抓取方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08322121A (ja) * 1995-05-23 1996-12-03 Mitsui Eng & Shipbuild Co Ltd 遠隔操作マニピュレータの位置決め方法および位置決め支援装置
CN104400703A (zh) * 2014-09-28 2015-03-11 沈阳拓荆科技有限公司 辅助定位工装及三轴定位方法
CN106530276A (zh) * 2016-10-13 2017-03-22 中科金睛视觉科技（北京）有限公司 一种用于非标准件抓取的机械手定位方法以及定位***
CN110788863A (zh) * 2019-11-22 2020-02-14 上海原能细胞生物低温设备有限公司 一种机器视觉的标定方法及机械臂定位抓取方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111844048A (zh) * 2020-08-04 2020-10-30 合肥盛恩智能装备科技有限公司 一种机器人夹具抓取算法
CN111844048B (zh) * 2020-08-04 2021-09-28 合肥盛恩智能装备科技有限公司 一种机器人夹具抓取算法
CN112459734A (zh) * 2020-11-26 2021-03-09 湖南三一石油科技有限公司 一种机械手定位方法、装置、机械手及存储介质
CN112809672A (zh) * 2020-12-31 2021-05-18 安徽飞凯电子技术有限公司 一种机械手臂用目标定位***

Similar Documents

Publication Publication Date Title
CN109483554B (zh) 基于全局和局部视觉语义的机器人动态抓取方法及***
JP2022028672A (ja) ロボットモーション用のビジョンシステムの自動ハンドアイ校正のためのシステム及び方法
CN107618030B (zh) 基于视觉的机器人动态跟踪抓取方法及***
US9957120B2 (en) Stowage pattern calculation device and stowage device for stowing plurality types of objects
CN106426161B (zh) 在引导装配环境中将机器视觉坐标空间关联的***和方法
CN111390910A (zh) 机械手目标抓取定位方法、计算机可读存储介质及机械手
CN107471218B (zh) 一种基于多目视觉的双臂机器人手眼协调方法
JP2018169403A5 (zh)
CN113379849B (zh) 基于深度相机的机器人自主识别智能抓取方法及***
JP6815309B2 (ja) 作動システムおよびプログラム
WO2018043525A1 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
JP2017505240A (ja) 視覚センサを用いるロボットシステムのための自動較正方法
JP2012254518A (ja) ロボット制御システム、ロボットシステム及びプログラム
US20150209963A1 (en) Robot programming apparatus for creating robot program for capturing image of workpiece
CN110980276B (zh) 一种三维视觉配合机器人实施铸件自动下料的方法
CN113538459A (zh) 一种基于落点区域检测的多模式抓取避障检测优化方法
CN114074331A (zh) 一种基于视觉的无序抓取方法及机器人
US20210197391A1 (en) Robot control device, robot control method, and robot control non-transitory computer readable medium
CN108711174B (zh) 一种机械臂近似平行视觉定位***
Fan et al. An automatic robot unstacking system based on binocular stereo vision
CN110533717A (zh) 一种基于双目视觉的目标抓取方法及装置
CN113858214B (zh) 一种用于机器人作业的定位方法与控制***
CN117794704A (zh) 机器人控制设备、机器人控制***以及机器人控制方法
CN111015670B (zh) 一种机械手臂及其定位识别处理零件的方法
Motai et al. SmartView: hand-eye robotic calibration for active viewpoint generation and object grasping

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination