CN111844019B - 一种机器抓取位置确定方法、设备、电子设备和存储介质 - Google Patents

一种机器抓取位置确定方法、设备、电子设备和存储介质 Download PDF

Info

Publication number
CN111844019B
CN111844019B CN202010525389.7A CN202010525389A CN111844019B CN 111844019 B CN111844019 B CN 111844019B CN 202010525389 A CN202010525389 A CN 202010525389A CN 111844019 B CN111844019 B CN 111844019B
Authority
CN
China
Prior art keywords
grabbing
information
determining
sample
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010525389.7A
Other languages
English (en)
Other versions
CN111844019A (zh
Inventor
王帅帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Hongcheng Opto Electronics Co Ltd
Original Assignee
Anhui Hongcheng Opto Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Hongcheng Opto Electronics Co Ltd filed Critical Anhui Hongcheng Opto Electronics Co Ltd
Priority to CN202010525389.7A priority Critical patent/CN111844019B/zh
Publication of CN111844019A publication Critical patent/CN111844019A/zh
Application granted granted Critical
Publication of CN111844019B publication Critical patent/CN111844019B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本说明书一个或多个实施例提供的一种机器抓取位置确定方法、设备、电子设备和存储介质，包括：获取摆放物体的图像信息，生成图像坐标系；对图像信息进行检测，分辨出待抓取物体样本及重叠区域样本，并进行图像处理，生成中间轮廓；建立所述中间轮廓的第一外接矩形，根据所述第一外接矩形的短边确定预选抓取点，根据预选抓取点的位置信息确定抓取点；确定抓取点的坐标信息及角度信息；将坐标信息及角度信息传输给抓取臂。本说明书一个或多个实施例使机器在抓取重叠物体时，选取远离重叠部位进行抓取，同时会调整到相应的角度，进而可以正确分辨重叠物体，并快速准确的抓取物体正确位置，有效保护了物体本身及整个工装过程。

Description

一种机器抓取位置确定方法、设备、电子设备和存储介质
技术领域
本说明书一个或多个实施例涉及自动化控制技术领域，尤其涉及一种机器抓取位置确定方法、设备、电子设备和存储介质。
背景技术
随着人工智能技术的发展，机器人在工业生产、家庭生活中扮演着越来越重要的作用。机器人抓取是实现人机交互的重要手段，通过安装在机械臂末端的操作手爪，机器人可实现对目标的抓取操作，能够应用于流水线分拣、家庭服务等领域，零件的抓取已然成为机器人应用的一个重要环节。
目前基于机器视觉的机械臂可以自动识别和抓取工件，但是往往只能识别和抓取单个的工件，若是两个工件搭连在一起，机械臂就无法准确识别和抓取，而错误的抓取往往会造成工件的损毁、组装件被破坏等问题，严重影响工作效率及工作成本。
发明内容
有鉴于此，本说明书一个或多个实施例的目的在于提出一种机器抓取位置确定方法、设备、电子设备和存储介质。
基于上述目的，本说明书一个或多个实施例提供的一种机器抓取位置确定方法，包括：
获取摆放物体的图像信息，生成图像坐标系；
对所述图像信息进行检测，分辨出待抓取物体样本及重叠区域样本，对所述待抓取物体样本及所述重叠区域样本进行图像处理，生成中间轮廓；所述中间轮廓为所述待抓取物体样本去除所述重叠区域样本后的非重叠区域的轮廓；
建立所述中间轮廓的第一外接矩形，根据所述第一外接矩形的短边确定预选抓取点，根据所述预选抓取点的位置信息确定抓取点；
根据所述图像坐标系确定所述抓取点的抓取坐标信息及抓取角度信息；
将所述抓取坐标信息及所述抓取角度信息传输给抓取臂，使所述抓取臂进行抓取。
在一些实施方式中，所述建立所述中间轮廓的第一外接矩形，根据所述第一外接矩形的短边确定预选抓取点，包括：
当所述中间轮廓的个数大于1时，确定所述第一外接矩形中每条短边的中点为所述预选抓取点；
设置所述中间轮廓中面积最小的为次轮廓，所述次轮廓对应的所述第一外接矩形为次矩形，在所述预选抓取点中去除所述次矩形的每条短边的中点；
当所述中间轮廓的个数为1时，确定所述第一外接矩形中每条短边的中点为所述预选抓取点。
在一些实施方式中，所述根据所述预选抓取点的位置信息确定抓取点，包括：
当所述中间轮廓的个数大于1时，确定所述次轮廓的第一中心位置，测量所述预选抓取点到所述第一中心位置的距离生成所述位置信息，将所述位置信息最大的所述预选抓取点设置为所述抓取点；
当所述中间轮廓的个数为1时，确定所述重叠区域样本的第二中心位置，测量所述预选抓取点到所述第二中心位置的距离生成所述位置信息，将所述位置信息最大的所述预选抓取点设置为所述抓取点。
在一些实施方式中，所述对所述图像信息进行检测，分辨出待抓取物体样本及重叠区域样本，包括：
获取至少两个存在相互重叠物体的样本图像，通过所述样本图像对目标检测训练模型进行训练；
将所述图像信息输入训练完成的所述目标检测训练模型，分辨出所述待抓取物体样本及所述重叠区域样本。
在一些实施方式中，所述对所述待抓取物体样本及所述重叠区域样本进行图像处理，生成中间轮廓，包括：
在所述待抓取物体样本中去除所述重叠区域样本所在的区域，对剩余区域进行二值化处理，通过OpenCV对二值化后的所述剩余区域进行轮廓提取，生成所述中间轮廓。
在一些实施方式中，所述根据所述图像坐标系确定所述抓取点的抓取坐标信息，包括：
通过单目相机生成二维相机坐标系，确定所述抓取点在所述二维相机坐标系中的二维坐标信息；
将抓取平台的平台坐标系作为所述图像坐标系，将所述二维坐标信息转换为在所述图像坐标系中的所述抓取坐标信息。
在一些实施方式中，所述根据所述图像坐标系确定所述抓取点的抓取角度信息，包括：
根据所述抓取点确定所述待抓取物体中的目标物体，建立所述目标物体的第二外接矩形；
在所述图像坐标系中确定所述第二外接矩形的第一顶点坐标、第二顶点坐标及第三顶点坐标，所述第一顶点坐标、所述第二顶点坐标及所述第三顶点坐标依次顺序分布于所述第二外接矩形上；
比较所述第一顶点坐标到所述第二顶点坐标的第一距离与所述第二顶点坐标到所述第三顶点坐标的第二距离；
当所述第一距离大于等于所述第二距离时，根据所述第一顶点坐标及所述第二顶点坐标的具体坐标值确定所述抓取角度信息；
当所述第一距离小于所述第二距离时，根据所述第二顶点坐标及所述第三顶点坐标的具体坐标值确定所述抓取角度信息。
在一些实施方式中，所述将所述抓取坐标信息及所述抓取角度信息传输给抓取臂，包括：
创建套接字协议并绑定与所述抓取臂的接收端口一致的输出端口，创建通过所述接收端口及所述输出端口的通讯连接；
将所述抓取坐标信息及所述抓取角度信息通过所述通讯连接传输给所述抓取臂。
基于同一构思，本说明书一个或多个实施例还提供了一种机器抓取位置确定设备，包括：
获取模块，获取摆放物体的图像信息，生成图像坐标系；
生成模块，对所述图像信息进行检测，分辨出待抓取物体样本及重叠区域样本，对所述待抓取物体样本及所述重叠区域样本进行图像处理，生成中间轮廓；所述中间轮廓为所述待抓取物体样本去除所述重叠区域样本后的非重叠区域的轮廓；
确定模块，建立所述中间轮廓的第一外接矩形，根据所述第一外接矩形的短边确定预选抓取点，根据所述预选抓取点的位置信息确定抓取点；
计算模块，根据所述图像坐标系确定所述抓取点的抓取坐标信息及抓取角度信息；
传输模块，将所述抓取坐标信息及所述抓取角度信息传输给抓取臂，使所述抓取臂进行抓取。
基于同一构思，本说明书一个或多个实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上任意一项所述的方法。
基于同一构思，本说明书一个或多个实施例还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上任一所述方法。
从上面所述可以看出，本说明书一个或多个实施例提供的一种机器抓取位置确定方法、设备、电子设备和存储介质，包括：获取摆放物体的图像信息，生成图像坐标系；对所述图像信息进行检测，分辨出待抓取物体样本及重叠区域样本，对所述待抓取物体样本及所述重叠区域样本进行图像处理，生成中间轮廓；建立所述中间轮廓的第一外接矩形，根据所述第一外接矩形的短边确定预选抓取点，根据所述预选抓取点的位置信息确定抓取点；根据所述图像坐标系确定所述抓取点的抓取坐标信息及抓取角度信息；将所述抓取坐标信息及所述抓取角度信息传输给抓取臂，使所述抓取臂进行抓取。本说明书一个或多个实施例使机器在抓取重叠物体时，选取远离重叠部位进行抓取，同时会调整到相应的角度，进而可以正确分辨重叠物体，并快速准确的抓取物体正确位置，有效保护了物体本身及整个工装过程。
附图说明
为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书一个或多个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本说明书一个或多个实施例提出的一种机器抓取位置确定方法的流程示意图；
图2为本说明书一个或多个实施例提出的搭连摆放物体的示意图；
图3为本说明书一个或多个实施例提出的多个中间轮廓的搭连物体的示意图；
图4为本说明书一个或多个实施例提出的一个中间轮廓的搭连物体的示意图；
图5为本说明书一个或多个实施例提出的一种机器抓取位置确定设备的结构示意图；
图6为本说明书一个或多个实施例提出的电子设备结构示意图。
具体实施方式
为使本说明书的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本说明书进一步详细说明。
需要说明的是，除非另外定义，本说明书实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件、物件或者方法步骤涵盖出现在该词后面列举的元件、物件或者方法步骤及其等同，而不排除其他元件、物件或者方法步骤。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
如背景技术部分所述，传统的机械臂是直接抓取工件的中心位置，但是当两个工件搭连、重叠的情况下，抓取中心位置可能不再适用，因此需要重新定义工件的抓取位置。
结合上述实际情况，本说明书一个或多个实施例提出一种机器抓取位置确定方案，在抓取重叠物体时，选取远离重叠部位进行抓取，同时会调整到相应的角度，进而可以正确分辨重叠物体，并快速准确的抓取物体正确位置，有效保护了物体本身及整个工装过程。
以下，通过具体的实施例来详细说明本说明书一个或多个实施例的技术方案。
参考图1，本说明书一个实施例的机器抓取位置确定方法，包括以下步骤：
步骤101，获取摆放物体的图像信息，生成图像坐标系。
本步骤旨在，获取摆放物体的图像，并生成对应的坐标系。其中，在具体实施例中，摆放物体一般置于平整平台上，主要为堆叠、搭连的物体，例如：两个搭连放置的螺栓等。图像信息即为可以反映物体真实外观的信息，其可以是通过相机拍摄的图片，也可以是通过红外等设备扫描的图片等等。在通过相机拍摄的方式中，又可以分为通过单目相机获取及通过双目相机获取。利用单目相机可以得到物体的二维图像，双目相机可以得到物体的三维信息，但是安装计算比单目相机繁琐。
之后，生成图像坐标系。这里的图像坐标系，可以是以相机中心的投影位置为原点的相机坐标系；还可以是以物体所在台面为整体，端点为原点的工件坐标系；还可以是以机器抓取臂的抓取点为原点的工具坐标系等等。图像坐标系可以标识摆放物体上的点。
步骤102，对所述图像信息进行检测，分辨出待抓取物体样本及重叠区域样本，对所述待抓取物体样本及所述重叠区域样本进行图像处理，生成中间轮廓。
本步骤旨在，分辨出图像信息中的待抓取物体样本及重叠区域，并再进行图像处理生成中间轮廓。其中，由于摆放物体是几个单独物体的堆叠、搭连，进而待抓取物体样本是指每个单独物体所在图像中的区域，在这个区域中可能包含其他的物体，但必定会囊括一个单独物体。之后，重叠区域样本即为图像信息中摆放物体间堆叠、搭连的区域。在具体应用场景中，如图2所示，其中标号201及202的框体为第一待抓取物体样本及第二待抓取物体样本，标号203的框体为第一重叠区域样本。
在分辨待抓取物体样本及重叠区域样本的方式中，可以利用神经网络中的目标检测算法对图像进行检测，例如：SPP-Net、Faster-R-CNN、YOLOv1-v3等等。
之后，再对这些样本进行图像处理，生成中间轮廓。其中，中间轮廓为在待抓取物体样本中去除重叠区域样本后，待抓取物体样本中剩余物体的轮廓。在具体应用场景中，如图3所示，其中标号204、205及206内的物体轮廓为第一中间轮廓、第二中间轮廓及第三中间轮廓。其中，图像处理的过程可以有很多种形式，例如：对待抓取物体样本及重叠区域样本进行图像分析，删除待抓取物体样本中重叠区域，之后对剩余区域进行二值化处理分辨出物体边线，再对边线进行提取生成中间轮廓；或是直接对待抓取物体样本进行边线处理生成物体的边线，再对所有边线进行分析，去除其中的重叠部分，剩余的为中间轮廓等等。
步骤103，建立所述中间轮廓的第一外接矩形，根据所述第一外接矩形的短边确定预选抓取点，根据所述预选抓取点的位置信息确定抓取点。
本步骤旨在，确定中间轮廓并对中间轮廓外接一个矩形，通过外接矩形短边确定出预选抓取点，再从预选抓取点中选取出最终的抓取点。其中外接矩形为与完全包含中间轮廓的最小矩形。
之后，通过外接矩形短边确定出预选抓取点。其中，当中间轮廓的个数为1时，确定外接矩形中每条短边的中点为所述预选抓取点。即为1个中间轮廓，则对应2个预选抓取点，这2个预选抓取点为这个中间轮廓的外接矩形两条短边上的中点。在具体应用场景中，如图4所示，其中，标号301为第三待抓取物体样本，标号302为第二重叠区域样本，标号303内的物体轮廓为第四中间轮廓。在第三待抓取物体样本去除第二重叠区域样本后仅剩下第四中间轮廓这一个中间轮廓，这时则直接确定第四中间轮廓的外接矩形，并确定这个外接矩形的两个短边上的中点为预选抓取点。当中间轮廓的个数大于1时，选取中间轮廓中面积最小的为次轮廓，次轮廓对应的外接矩形为次矩形；确定除去次矩形的其他外接矩形的每条短边的中点为预选抓取点。即为当中间轮廓数大于1个时，去掉最小的中间轮廓对应的外接矩形，其他外接矩形的两条短边中点为预选抓取点，例如：当中间轮廓数为2时，预选抓取点为2个；当中间轮廓数为3时，预选抓取点为4个；以此类推。在具体应用场景中，如图3所示，其中，标号205内的第二中间轮廓即为次轮廓，再确定204及206内的第一中间轮廓及第三中间轮廓所对应的外接矩形的短边，选取短边的中点为预选抓取点。
再之后，根据这些预选抓取点的位置信息选取最终的抓取点。其中，位置信息是指，预选抓取点到达同一点的距离信息。例如：预选抓取点到达重叠区域中心点的距离、到达重叠区域一个端点的距离、到达其他轮廓(例如次轮廓)中一点的距离等等。进而可以选择位置信息最大或最小的预选抓取点为最终的抓取点。
步骤104，根据所述图像坐标系确定所述抓取点的抓取坐标信息及抓取角度信息。
本步骤旨在，确定抓取点的坐标信息及抓取角度。由于机器抓取过程中，可能存在相机坐标系、工件坐标系、工具坐标系等等。进而抓取点的坐标信息也可以是在这三个坐标系的任一个上，或是通过三个坐标系之间的相互转换将抓取点放置于最有利于机器抓取的坐标系中等等。同时，由于坐标系可以为通过单目相机形成的二维坐标系、通过双目相机形成的三维坐标系等，抓取点最终的坐标信息形式也并不完全相同。
之后，确定抓取角度，其计算过程同样可以设置于前述的任一个坐标系中。由于排放物体本身是有确定形状的，其相对于平面或空间所形成的角度一般也是确定的，即抓取角度可以是二维坐标系中的一个角或是三维坐标系中的一个角等等。通过对应的计算方式即可确定出抓取时的抓取角度。例如：在二维坐标系中通过线段及线段的投影求出角度，或是根据各顶点的位置求出角度等等。
步骤105，将所述抓取坐标信息及所述抓取角度信息传输给抓取臂，使所述抓取臂进行抓取。
本步骤旨在，将抓取坐标信息及抓取角度信息传输给抓取臂，使抓取臂根据信息进行运动并完成最终的抓取。其中，建立通讯的方式可以有很多种，例如：通过电路板直接控制抓取臂，前述步骤也是在电路板中完成计算的；或是通过网线或无线连接的终端与抓取臂，设置对应的端口编写相应的通信程序之后，进行通信连接及数据的传输；或是终端仅是将信息发送给抓取臂，抓取臂是否执行需要用户的手动确认等等。
通过应用本说明书一个或多个实施例提供的一种机器抓取位置确定方法，包括：获取摆放物体的图像信息，生成图像坐标系；对所述图像信息进行检测，分辨出待抓取物体样本及重叠区域样本，对所述待抓取物体样本及所述重叠区域样本进行图像处理，生成中间轮廓；建立所述中间轮廓的第一外接矩形，根据所述第一外接矩形的短边确定预选抓取点，根据所述预选抓取点的位置信息确定抓取点；根据所述图像坐标系确定所述抓取点的抓取坐标信息及抓取角度信息；将所述抓取坐标信息及所述抓取角度信息传输给抓取臂，使所述抓取臂进行抓取。本说明书一个或多个实施例使机器在抓取重叠物体时，选取远离重叠部位进行抓取，同时会调整到相应的角度，进而可以正确分辨重叠物体，并快速准确的抓取物体正确位置，有效保护了物体本身及整个工装过程。
在本说明书的可选实施例中，为了根据不同数量的中间轮廓准确确定出预选抓取点。所述建立所述中间轮廓的第一外接矩形，根据所述第一外接矩形的短边确定预选抓取点，包括：
当所述中间轮廓的个数大于1时，确定所述第一外接矩形中每条短边的中点为所述预选抓取点；
设置所述中间轮廓中面积最小的为次轮廓，所述次轮廓对应的所述第一外接矩形为次矩形，在所述预选抓取点中去除所述次矩形的每条短边的中点；
当所述中间轮廓的个数为1时，确定所述第一外接矩形中每条短边的中点为所述预选抓取点。
可以理解的是，如前一实施例所述，在具体应用场景中，还可以不对中间轮廓的数量进行统计，进而，不论中间轮廓形成的第一外接矩形有多少个，都可以直接获取每个矩形中短边的中点作为预选抓取点；还可以选取特定数量的第一外接矩形(如长宽比达到一定阈值的等等)，获取这些矩形中短边的中点作为预选抓取点等等。
在本说明书的可选实施例中，为了根据不同数量的中间轮廓选出最终的抓取点。所述根据所述预选抓取点的位置信息确定抓取点，包括：
当所述中间轮廓的个数大于1时，确定所述次轮廓的第一中心位置，测量所述预选抓取点到所述第一中心位置的距离生成所述位置信息，将所述位置信息最大的所述预选抓取点设置为所述抓取点。
当所述中间轮廓的个数为1时，确定所述重叠区域样本的第二中心位置，测量所述预选抓取点到所述第二中心位置的距离生成所述位置信息，将所述位置信息最大的所述预选抓取点设置为所述抓取点。
可以理解的是，当中间轮廓的个数大于1时，确定最终抓取点的参考点不一定要选择次轮廓的中心位置，其还可以是次轮廓上的任意一点，更可以是重叠区域中的一点等等。当中间轮廓的个数为1时，确定最终抓取点的参考点不一定要选择重叠区域样本的中心位置，其还可以是重叠区域样本上的任意一点等等。
在本说明书的可选实施例中，为了准确分别出待抓取物体样本及重叠区域样本。所述对所述图像信息进行检测，分辨出待抓取物体样本及重叠区域样本，包括：
获取至少两个存在相互重叠物体的样本图像，通过所述样本图像对目标检测训练模型进行训练；
将所述图像信息输入训练完成的所述目标检测训练模型，分辨出所述待抓取物体样本及所述重叠区域样本。
在具体应用场景中，把采集大量两个相互搭连的工件图片作为样本图像，利用深度学习YOLOv3训练模型针对样本图像进行训练，之后再利用训练完成的YOLOv3模型对图像信息进行处理。这里的训练模型可以是YOLO中v1-v4中的任一种还可以利用其它模型例如：SPP-Net、Faster-R-CNN等等。
在本说明书的可选实施例中，为了更快速准确的生成中间轮廓，提高效率的同时保证提取轮廓的准确性。所述对所述待抓取物体样本及所述重叠区域样本进行图像处理，生成中间轮廓，包括：
在所述待抓取物体样本中去除所述重叠区域样本所在的区域，对剩余区域进行二值化处理，通过OpenCV对二值化后的所述剩余区域进行轮廓提取，生成所述中间轮廓。
其中，二值化处理就是将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的黑白效果的过程。
在本说明书的可选实施例中，为了确定抓取点的抓取坐标信息，同时利用机器本身特点，提高处理效率。所述根据所述图像坐标系确定所述抓取点的抓取坐标信息，包括：
通过单目相机生成二维相机坐标系，确定所述抓取点在所述二维相机坐标系中的二维坐标信息；
将抓取平台的平台坐标系作为所述图像坐标系，将所述二维坐标信息转换为在所述图像坐标系中的所述抓取坐标信息。
在具体应用场景中，由于是在平台上抓取工件，抓取臂的抓手和平台的垂直距离是可以固定的，所以利用单目相机得到二维坐标就足够了，双目相机虽然可以得到物体的三维信息，但是安装计算过于繁琐，因此选用了单目相机，安装方式是Eye-to-hand方式，相机在平台的正上方；之后，需要把物体在图像上的坐标转换到物体在平台上的真实坐标，这就应该对相机进行标定，该步骤主要是在平台上定义相机坐标系和使用张定友标定法对相机进行标定。得到相机坐标系中的坐标后，由于抓取臂是在工件坐标系下运动的，进而需要进行相机坐标系和工件坐标系的转换。
在本说明书的可选实施例中，为了确定抓取点的抓取角度信息，同时利用机器本身特点，提高处理效率。所述根据所述图像坐标系确定所述抓取点的抓取角度信息，包括：
根据所述抓取点确定所述待抓取物体中的目标物体，建立所述目标物体的第二外接矩形；
在所述图像坐标系中确定所述第二外接矩形的第一顶点坐标、第二顶点坐标及第三顶点坐标，所述第一顶点坐标、所述第二顶点坐标及所述第三顶点坐标依次顺序分布于所述第二外接矩形上；
比较所述第一顶点坐标到所述第二顶点坐标的第一距离与所述第二顶点坐标到所述第三顶点坐标的第二距离；
当所述第一距离大于等于所述第二距离时，根据所述第一顶点坐标及所述第二顶点坐标的具体坐标值确定所述抓取角度信息；
当所述第一距离小于所述第二距离时，根据所述第二顶点坐标及所述第三顶点坐标的具体坐标值确定所述抓取角度信息。
在具体应用场景中，由前一实施例可知，利用二维坐标系就能准确定位到目标点，进而目标物体的角度也可以仅通过二维坐标系进行确定。在二维坐标系中，依次顺序确定第二外接矩形的三个顶点，记为A(xa，ya)，B(xb，yb)，C(xc，yc)。A(xa，ya)到B(xb，yb)的距离为D1，B(xb，yb)到C(xc，yc)的距离为D2。如果D1大于等于D2，再比较xa和xb，如果两个值相等，那么角度就是90度，否则角度等于A点和B点y轴上的距离与x轴上的距离之比的反正切。如果D1小于D2，比较xb和xc，如果两个数相等，那么角度就是90度，否则角度等于B点和C点y轴上的距离与x轴上的距离之比的反正切；再用90度减去前述求得的角度，即可得到最终的抓取角度。
在本说明书的可选实施例中，为了建立与抓取臂之间的连接，使抓取臂能够进行快速反应。所述将所述抓取坐标信息及所述抓取角度信息传输给抓取臂，包括：
创建套接字协议并绑定与所述抓取臂的接收端口一致的输出端口，创建通过所述接收端口及所述输出端口的通讯连接；
将所述抓取坐标信息及所述抓取角度信息通过所述通讯连接传输给所述抓取臂。
在具体应用场景中，创建一个Socket(套接字)并且绑定一个端口，与抓取臂的端口要一致，例如抓取臂的端口定义为8080，所以服务端的端口也是8080。之后，监听抓取臂的信息。当收到连接请求时，建立与抓取臂的连接。与抓取臂进行数据传输，把得到的抓取坐标信息及抓取角度信息传送给抓取臂，抓取臂便可以运行到合适的姿态进行抓取。通信结束后，关闭监听。
基于同一构思，本说明书一个或多个实施例还提供了一种机器抓取位置确定设备。参考图5所示，包括：
获取模块501，获取摆放物体的图像信息，生成图像坐标系；
生成模块502，对所述图像信息进行检测，分辨出待抓取物体样本及重叠区域样本，对所述待抓取物体样本及所述重叠区域样本进行图像处理，生成中间轮廓；
确定模块503，建立所述中间轮廓的第一外接矩形，根据所述第一外接矩形的短边确定预选抓取点，根据所述预选抓取点的位置信息确定抓取点；
计算模块504，根据所述图像坐标系确定所述抓取点的抓取坐标信息及抓取角度信息；
传输模块505，将所述抓取坐标信息及所述抓取角度信息传输给抓取臂，使所述抓取臂进行抓取。
作为一个可选的实施例，所述确定模块503建立所述中间轮廓的第一外接矩形，根据所述第一外接矩形的短边确定预选抓取点，包括：
当所述中间轮廓的个数大于1时，确定所述第一外接矩形中每条短边的中点为所述预选抓取点；
设置所述中间轮廓中面积最小的为次轮廓，所述次轮廓对应的所述第一外接矩形为次矩形，在所述预选抓取点中去除所述次矩形的每条短边的中点；
当所述中间轮廓的个数为1时，确定所述第一外接矩形中每条短边的中点为所述预选抓取点。
作为一个可选的实施例，所述确定模块503根据所述预选抓取点的位置信息确定抓取点，包括：
当所述中间轮廓的个数大于1时，确定所述次轮廓的第一中心位置，测量所述预选抓取点到所述第一中心位置的距离生成所述位置信息，将所述位置信息最大的所述预选抓取点设置为所述抓取点；
当所述中间轮廓的个数为1时，确定所述重叠区域样本的第二中心位置，测量所述预选抓取点到所述第二中心位置的距离生成所述位置信息，将所述位置信息最大的所述预选抓取点设置为所述抓取点。
作为一个可选的实施例，所述生成模块502对所述图像信息进行检测，分辨出待抓取物体样本及重叠区域样本，包括：
获取至少两个存在相互重叠物体的样本图像，通过所述样本图像对目标检测训练模型进行训练；
将所述图像信息输入训练完成的所述目标检测训练模型，分辨出所述待抓取物体样本及所述重叠区域样本。
作为一个可选的实施例，所述生成模块502对所述待抓取物体样本及所述重叠区域样本进行图像处理，生成中间轮廓，包括：
在所述待抓取物体样本中去除所述重叠区域样本所在的区域，对剩余区域进行二值化处理，通过OpenCV对二值化后的所述剩余区域进行轮廓提取，生成所述中间轮廓。
作为一个可选的实施例，所述计算模块504根据所述图像坐标系确定所述抓取点的抓取坐标信息，包括：
通过单目相机生成二维相机坐标系，确定所述抓取点在所述二维相机坐标系中的二维坐标信息；
将抓取平台的平台坐标系作为所述图像坐标系，将所述二维坐标信息转换为在所述图像坐标系中的所述抓取坐标信息。
作为一个可选的实施例，所述计算模块504根据所述图像坐标系确定所述抓取点的抓取角度信息，包括：
根据所述抓取点确定所述待抓取物体中的目标物体，建立所述目标物体的第二外接矩形；
在所述图像坐标系中确定所述第二外接矩形的第一顶点坐标、第二顶点坐标及第三顶点坐标，所述第一顶点坐标、所述第二顶点坐标及所述第三顶点坐标依次顺序分布于所述第二外接矩形上；
比较所述第一顶点坐标到所述第二顶点坐标的第一距离与所述第二顶点坐标到所述第三顶点坐标的第二距离；
当所述第一距离大于等于所述第二距离时，根据所述第一顶点坐标及所述第二顶点坐标的具体坐标值确定所述抓取角度信息；
当所述第一距离小于所述第二距离时，根据所述第二顶点坐标及所述第三顶点坐标的具体坐标值确定所述抓取角度信息。
作为一个可选的实施例，所述传输模块505将所述抓取坐标信息及所述抓取角度信息传输给抓取臂，包括：
创建套接字协议并绑定与所述抓取臂的接收端口一致的输出端口，创建通过所述接收端口及所述输出端口的通讯连接；
将所述抓取坐标信息及所述抓取角度信息通过所述通讯连接传输给所述抓取臂。
上述实施例的设备用于实现前述实施例中相应的方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
基于同一构思，本说明书一个或多个实施例还提供了一种电子设备。该电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上任意一实施例所述的机器抓取位置确定方法。
图6示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图，该设备可以包括：处理器610、存储器620、输入/输出接口630、通信接口640和总线650。其中处理器610、存储器620、输入/输出接口630和通信接口640通过总线650实现彼此之间在设备内部的通信连接。
处理器610可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。
存储器620可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器620可以存储操作***和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器620中，并由处理器610来调用执行。
输入/输出接口630用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口640用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线650包括一通路，在设备的各个组件(例如处理器610、存储器620、输入/输出接口630和通信接口640)之间传输信息。
需要说明的是，尽管上述设备仅示出了处理器610、存储器620、输入/输出接口630、通信接口640以及总线650，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
基于同一构思，本说明书一个或多个实施例还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行日上任意一实施例所述的机器抓取位置确定方法。
本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本公开的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本说明书一个或多个实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。
另外，为简化说明和讨论，并且为了不会使本说明书一个或多个实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出设备，以便避免使本说明书一个或多个实施例难以理解，并且这也考虑了以下事实，即关于这些框图设备的实施方式的细节是高度取决于将要实施本说明书一个或多个实施例的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本公开的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本说明书一个或多个实施例。因此，这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本公开的具体实施例对本公开进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。
本说明书一个或多个实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本说明书一个或多个实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (11)

1.一种机器抓取位置确定方法，其特征在于，包括：
获取摆放物体的图像信息，生成图像坐标系；
对所述图像信息进行检测，分辨出待抓取物体样本及重叠区域样本，对所述待抓取物体样本及所述重叠区域样本进行图像处理，生成中间轮廓；所述中间轮廓为所述待抓取物体样本去除所述重叠区域样本后的非重叠区域的轮廓；
建立所述中间轮廓的第一外接矩形，根据所述第一外接矩形的短边确定预选抓取点，根据所述预选抓取点的位置信息确定抓取点；
根据所述图像坐标系确定所述抓取点的抓取坐标信息及抓取角度信息；
将所述抓取坐标信息及所述抓取角度信息传输给抓取臂，使所述抓取臂进行抓取。
2.根据权利要求1所述的方法，其特征在于，所述建立所述中间轮廓的第一外接矩形，根据所述第一外接矩形的短边确定预选抓取点，包括：
当所述中间轮廓的个数大于1时，确定所述第一外接矩形中每条短边的中点为所述预选抓取点；
设置所述中间轮廓中面积最小的为次轮廓，所述次轮廓对应的所述第一外接矩形为次矩形，在所述预选抓取点中去除所述次矩形的每条短边的中点；
当所述中间轮廓的个数为1时，确定所述第一外接矩形中每条短边的中点为所述预选抓取点。
3.根据权利要求2所述的方法，其特征在于，所述根据所述预选抓取点的位置信息确定抓取点，包括：
当所述中间轮廓的个数大于1时，确定所述次轮廓的第一中心位置，测量所述预选抓取点到所述第一中心位置的距离生成所述位置信息，将所述位置信息最大的所述预选抓取点设置为所述抓取点；
当所述中间轮廓的个数为1时，确定所述重叠区域样本的第二中心位置，测量所述预选抓取点到所述第二中心位置的距离生成所述位置信息，将所述位置信息最大的所述预选抓取点设置为所述抓取点。
4.根据权利要求1所述的方法，其特征在于，所述对所述图像信息进行检测，分辨出待抓取物体样本及重叠区域样本，包括：
获取至少两个存在相互重叠物体的样本图像，通过所述样本图像对目标检测训练模型进行训练；
将所述图像信息输入训练完成的所述目标检测训练模型，分辨出所述待抓取物体样本及所述重叠区域样本。
5.根据权利要求1所述的方法，其特征在于，所述对所述待抓取物体样本及所述重叠区域样本进行图像处理，生成中间轮廓，包括：
在所述待抓取物体样本中去除所述重叠区域样本所在的区域，对剩余区域进行二值化处理，通过OpenCV对二值化后的所述剩余区域进行轮廓提取，生成所述中间轮廓。
6.根据权利要求1所述的方法，其特征在于，所述根据所述图像坐标系确定所述抓取点的抓取坐标信息，包括：
通过单目相机生成二维相机坐标系，确定所述抓取点在所述二维相机坐标系中的二维坐标信息；
将抓取平台的平台坐标系作为所述图像坐标系，将所述二维坐标信息转换为在所述图像坐标系中的所述抓取坐标信息。
7.根据权利要求1所述的方法，其特征在于，所述根据所述图像坐标系确定所述抓取点的抓取角度信息，包括：
根据所述抓取点确定所述待抓取物体中的目标物体，建立所述目标物体的第二外接矩形；
在所述图像坐标系中确定所述第二外接矩形的第一顶点坐标、第二顶点坐标及第三顶点坐标，所述第一顶点坐标、所述第二顶点坐标及所述第三顶点坐标依次顺序分布于所述第二外接矩形上；
比较所述第一顶点坐标到所述第二顶点坐标的第一距离与所述第二顶点坐标到所述第三顶点坐标的第二距离；
当所述第一距离大于等于所述第二距离时，根据所述第一顶点坐标及所述第二顶点坐标的具体坐标值确定所述抓取角度信息；
当所述第一距离小于所述第二距离时，根据所述第二顶点坐标及所述第三顶点坐标的具体坐标值确定所述抓取角度信息。
8.根据权利要求1所述的方法，其特征在于，所述将所述抓取坐标信息及所述抓取角度信息传输给抓取臂，包括：
创建套接字协议并绑定与所述抓取臂的接收端口一致的输出端口，创建通过所述接收端口及所述输出端口的通讯连接；
将所述抓取坐标信息及所述抓取角度信息通过所述通讯连接传输给所述抓取臂。
9.一种机器抓取位置确定设备，其特征在于，包括：
获取模块，获取摆放物体的图像信息，生成图像坐标系；
生成模块，对所述图像信息进行检测，分辨出待抓取物体样本及重叠区域样本，对所述待抓取物体样本及所述重叠区域样本进行图像处理，生成中间轮廓；所述中间轮廓为所述待抓取物体样本去除所述重叠区域样本后的非重叠区域的轮廓；
确定模块，建立所述中间轮廓的第一外接矩形，根据所述第一外接矩形的短边确定预选抓取点，根据所述预选抓取点的位置信息确定抓取点；
计算模块，根据所述图像坐标系确定所述抓取点的抓取坐标信息及抓取角度信息；
传输模块，将所述抓取坐标信息及所述抓取角度信息传输给抓取臂，使所述抓取臂进行抓取。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至8任意一项所述的方法。
11.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行权利要求1至8任一项所述方法。
CN202010525389.7A 2020-06-10 2020-06-10 一种机器抓取位置确定方法、设备、电子设备和存储介质 Active CN111844019B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010525389.7A CN111844019B (zh) 2020-06-10 2020-06-10 一种机器抓取位置确定方法、设备、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010525389.7A CN111844019B (zh) 2020-06-10 2020-06-10 一种机器抓取位置确定方法、设备、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN111844019A CN111844019A (zh) 2020-10-30
CN111844019B true CN111844019B (zh) 2021-11-16

Family

ID=72987818

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010525389.7A Active CN111844019B (zh) 2020-06-10 2020-06-10 一种机器抓取位置确定方法、设备、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN111844019B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112802107A (zh) * 2021-02-05 2021-05-14 梅卡曼德（北京）机器人科技有限公司 基于机器人的夹具组的控制方法及装置
CN113034526B (zh) * 2021-03-29 2024-01-16 深圳市优必选科技股份有限公司 一种抓取方法、抓取装置及机器人
CN113506314B (zh) * 2021-06-25 2024-04-09 北京精密机电控制设备研究所 一种复杂背景下对称四边形工件的自动抓取方法及装置
CN113538582B (zh) * 2021-07-20 2024-06-07 熵智科技(深圳)有限公司 一种工件抓取顺序的确定方法、装置、计算机设备及介质
CN114187349B (zh) * 2021-11-03 2022-11-08 深圳市正运动技术有限公司 产品加工方法、装置、终端设备以及存储介质
CN116197885B (zh) * 2021-11-28 2023-11-24 梅卡曼德（北京）机器人科技有限公司 基于压叠检测的图像数据过滤方法、装置、设备和介质
CN116188559A (zh) * 2021-11-28 2023-05-30 梅卡曼德（北京）机器人科技有限公司 图像数据处理方法、装置、电子设备和存储介质
CN114782367B (zh) * 2022-04-24 2022-12-20 广东天太机器人有限公司 一种机械臂的控制***及方法
CN114620479B (zh) * 2022-04-24 2022-09-30 广东天太机器人有限公司 一种提高矩形包装盒的码垛效率机械臂控制***及方法
CN116524010B (zh) * 2023-04-25 2024-02-02 北京云中未来科技有限公司 一种散料仓储的无人天车定位方法、***及存储介质
CN116449041B (zh) * 2023-06-14 2023-09-05 江苏金恒信息科技股份有限公司 连铸坯取样***及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106530276A (zh) * 2016-10-13 2017-03-22 中科金睛视觉科技（北京）有限公司 一种用于非标准件抓取的机械手定位方法以及定位***
CN108648233A (zh) * 2018-03-24 2018-10-12 北京工业大学 一种基于深度学习的目标识别与抓取定位方法
CN108898628A (zh) * 2018-06-21 2018-11-27 北京纵目安驰智能科技有限公司 基于单目的车辆三维目标姿态估计方法、***、终端和存储介质
DE102018214063A1 (de) * 2017-08-28 2019-02-28 Fanuc Corporation Maschinenlernvorrichtung, Maschinenlernsystem und Maschinenlernverfahren
JP2019214100A (ja) * 2018-06-13 2019-12-19 オムロン株式会社 ロボット制御装置、ロボット制御方法、及びロボット制御プログラム
CN110599544A (zh) * 2019-08-08 2019-12-20 佛山科学技术学院 一种基于机器视觉的工件定位方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106530276A (zh) * 2016-10-13 2017-03-22 中科金睛视觉科技（北京）有限公司 一种用于非标准件抓取的机械手定位方法以及定位***
DE102018214063A1 (de) * 2017-08-28 2019-02-28 Fanuc Corporation Maschinenlernvorrichtung, Maschinenlernsystem und Maschinenlernverfahren
CN108648233A (zh) * 2018-03-24 2018-10-12 北京工业大学 一种基于深度学习的目标识别与抓取定位方法
JP2019214100A (ja) * 2018-06-13 2019-12-19 オムロン株式会社 ロボット制御装置、ロボット制御方法、及びロボット制御プログラム
CN108898628A (zh) * 2018-06-21 2018-11-27 北京纵目安驰智能科技有限公司 基于单目的车辆三维目标姿态估计方法、***、终端和存储介质
CN110599544A (zh) * 2019-08-08 2019-12-20 佛山科学技术学院 一种基于机器视觉的工件定位方法及装置

Also Published As

Publication number Publication date
CN111844019A (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
CN111844019B (zh) 一种机器抓取位置确定方法、设备、电子设备和存储介质
JP7352260B2 (ja) 自動物体検出機構を備えたロボットシステム、および、その動作方法
JP7284953B2 (ja) 高度化したスキャンメカニズムを有するロボットシステム
JP6529302B2 (ja) 情報処理装置、情報処理方法、プログラム
JP6782046B1 (ja) 画像データに基づく物体検出システム及び方法
CN112837371A (zh) 基于3d匹配的物体抓取方法、装置及计算设备
KR101919463B1 (ko) 비정형 소화물 피킹이 가능한 물류 로봇 제어 시스템
JP2018122376A (ja) 画像処理装置、ロボット制御装置、及びロボット
WO2018135326A1 (ja) 画像処理装置、画像処理システム、画像処理プログラム、及び画像処理方法
CN116175542B (zh) 确定夹具抓取顺序的方法、装置、电子设备和存储介质
CN115578457A (zh) 一种应用于无序抓取的动态箱体检测方法
CN113284129B (zh) 基于3d包围盒的压箱检测方法及装置
US11717970B2 (en) Controller, control method using controller, and control system
CN116188559A (zh) 图像数据处理方法、装置、电子设备和存储介质
CN111742349B (zh) 信息处理装置、信息处理方法以及信息处理存储介质
CN114972495A (zh) 针对纯平面结构的物体的抓取方法、装置及计算设备
US11436754B2 (en) Position posture identification device, position posture identification method and position posture identification program
CN116197887A (zh) 图像数据处理方法、装置、电子设备和存储介质
CN116197886A (zh) 图像数据处理方法、装置、电子设备和存储介质
CN118097592A (zh) 机械臂抓取点定位方法、装置、补货机器人、设备及介质
CN114043531A (zh) 台面倾角确定、使用方法、装置、机器人和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant