CN115284279A - 一种基于混叠工件的机械臂抓取方法、装置及可读介质 - Google Patents

一种基于混叠工件的机械臂抓取方法、装置及可读介质 Download PDF

Info

Publication number
CN115284279A
CN115284279A CN202210705532.XA CN202210705532A CN115284279A CN 115284279 A CN115284279 A CN 115284279A CN 202210705532 A CN202210705532 A CN 202210705532A CN 115284279 A CN115284279 A CN 115284279A
Authority
CN
China
Prior art keywords
grabbing
workpiece
target
mechanical arm
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210705532.XA
Other languages
English (en)
Inventor
***
李瑞峰
罗冠泰
张陈涛
汤思榕
梁培栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Quanzhou HIT Research Institute of Engineering and Technology
Original Assignee
Fujian Quanzhou HIT Research Institute of Engineering and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Quanzhou HIT Research Institute of Engineering and Technology filed Critical Fujian Quanzhou HIT Research Institute of Engineering and Technology
Priority to CN202210705532.XA priority Critical patent/CN115284279A/zh
Publication of CN115284279A publication Critical patent/CN115284279A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/1605—Simulation of manipulator lay-out, design, modelling of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666—Avoiding collision or forbidden zones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Robotics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Mechanical Engineering (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于混叠工件的机械臂抓取方法、装置及可读介质，属于智能制造领域，包含机械臂手眼标定步骤、三维模板设置步骤、三维点云预处理步骤、全局多目标三维点云配准算法和抓取决策算法，实现多工件混叠场景下的无碰撞抓取，提高了计算效率。该方法通过点云预处理提高算法计算效率和稳定性；通过全局多目标三维点云配准算法，同时获得多工件混叠场景下多个工件的位姿信息；通过抓取决策算法，对已获得的多个工件进行抓取目标筛选，保证了最优无碰撞抓取，解决了工件弱纹理、混叠复杂工件识别与定位的难度大的问题。

Description

一种基于混叠工件的机械臂抓取方法、装置及可读介质
技术领域
本发明涉及机器人领域，具体涉及一种基于混叠工件的机械臂抓取方法、装置及可读介质。
背景技术
航空航天、汽车等领域中各类复杂工件(如：惯性测量组合箱体和基座、液浮稳定平台基座、汽车曲轴、汽车转向节等)在自动化制造过程中，已经广泛使用工业机器人进行生产作业，传统的机器人示教方式不能满足高自由度和高精度要求的装配场景。此时，工业机器人在执行任务时需要对目标工件进行快速识别定位，使工业机器人获得待抓取工件的位姿信息，最终实现对工件进行定位、分选与装配。
现有的视觉引导定位方式有两种，一种是基于二维图像分析的识别定位技术，例如申请号为CN201910928573.3，专利名称为一种基于2D视觉引导的汽车车身凸焊工作站，其中在一定的使用缺陷：该方法仅适用于目标工件在二维平面内存在的位置偏差进行定位引导，对于在高度方向上存在的位置、角度偏差无法进行定位；另一种是基于三维点云分析的识别定位技术，例如如申请号为CN201910928573.3，专利名称为一种基于2D视觉引导的汽车车身凸焊工作站，其存在一定的使用缺陷：所使用的RANSAC配准方法仅适用于单目标场景，无法识别多目标，在多目标混叠场景下并不适用，且适用的场景无需考虑碰撞检测。
基于二维图像分析的识别定位技术，仅适用于二维场景引导定位且工件结构简单，而工件结构复杂、表面颜色单一，纹理弱，在生产线上多个工件可能混叠在一起，导致现有基于二维图像分析的测量与识别结果不稳定。
基于三维点云分析的识别定位技术，具有自由形面高分辨率测量的优势，但要将其与机器人相结合应用于生产线，尚存在如下难题：工件表面纹理弱且混叠在一起，导致识别准确率低；三维重建计算复杂度高，计算效率低；工件混叠导致抓取过程容易发生碰撞。
发明内容
针对上述提到工件弱纹理、混叠复杂工件识别与定位的难度大的问题。本申请的实施例的目的在于提出了一种基于混叠工件的机械臂抓取方法、装置及可读介质，来解决以上背景技术提出的问题。
第一方面，本申请的实施例提供了一种基于混叠工件的机械臂抓取方法，包括以下步骤：
S1，采用手眼标定获取眼在手外的手眼关系矩阵
Figure BDA0003705154820000021
并构建模板工件的三维模型，获取模板工件的至少一个抓取姿态
Figure BDA0003705154820000022
抓取姿态为不同的坐标原点和坐标系下的点集；
S2，获取目标工件的三维点云并进行预处理，得到预处理后的三维点云；
S3，对预处理后的三维点云进行欧式聚类，并设置筛选条件筛选出目标工件的感兴趣点集；
S4，对感兴趣点集进行全局多目标三维点云配准，得到目标工件在模板工件下的转换矩阵
Figure BDA0003705154820000023
根据目标工件在模板工件下的转换矩阵
Figure BDA0003705154820000024
和抓取姿态
Figure BDA0003705154820000025
获得目标工件在模板工件下的多个位姿信息
Figure BDA0003705154820000026
并根据手眼关系矩阵
Figure BDA0003705154820000027
和位姿信息
Figure BDA0003705154820000028
计算出目标工件在机械臂基坐标系下的抓取姿态
Figure BDA0003705154820000029
根据目标工件在机械臂基坐标系下的抓取姿态
Figure BDA00037051548200000210
计算每个抓取目标的抓取优先值并进行降序排序；
S5，在模板工件处生成碰撞检测空间，碰撞检测空间为机械臂抓取模板工件时以及Z轴进给过程中机械臂本体与夹具的空间区域，并根据抓取优先值的排列顺序以及目标工件在模板工件下的多个位姿信息
Figure BDA00037051548200000211
进行碰撞检测，获得最先检测到的碰撞检测空间内无点云数据的可抓取目标，并将可抓取目标所对应的目标工件在机械臂基坐标系下的抓取姿态
Figure BDA00037051548200000212
发送至机械臂执行抓取任务。
作为优选，步骤S1的采用手眼标定获取眼在手外的手眼关系矩阵
Figure BDA00037051548200000213
具体包括：
将棋盘格标定板固定安装在机械臂末端，移动一定次数机械臂位置，相机拍摄标定板图像，并记录机械臂位姿，根据手眼标定计算模型计算手眼关系矩阵
Figure BDA00037051548200000214
作为优选，模板工件的至少一个抓取姿态
Figure BDA00037051548200000215
的点集的坐标系原点为最优抓取位姿时机械臂的末端工具坐标系原点，且坐标系方向与最优抓取位姿时机械臂的末端工具方向一致；模板工件的不同抓取姿态的坐标系表征为其到初始抓取姿态坐标系的刚性变换矩阵，刚性变换矩阵包括旋转矩阵和平移矩阵。
作为优选，步骤S2具体包括：
采用三维相机采集混乱堆叠的目标工件的三维点云；
采用直通滤波算法去除目标工件的三维点云中感兴趣区域外的三维点云，得到感兴趣区内的三维点云；
对感兴趣区内的三维点云进行降采样，降采样方式为体素滤波，得到预处理后的三维点云。
作为优选，步骤S3对预处理后的三维点云进行加速欧式聚类，具体包括：
S31，以空间中某点P10为起始点，通过KD-Tree近邻搜索算法找到n个离p点最近的点，分别计算这n个点到P10的欧式距离，如果距离小于设定的阈值R，则将小于阈值的点放到类Q(P10)中；
S32，在类Q(P10)中随机选出P20，重复步骤S31；
S33，如果类Q(P10)的集合不再增加，整个聚类过程便终止，否则一直重复步骤S31-S32。
作为优选，步骤S3中的筛选条件为同时满足三维点云的数量大于指定数值和三维点云的最小外包盒长、宽、高不偏离指定数值的百分之15。
作为优选，步骤S4具体包括：
采用KD-Tree算法分割目标工件的感兴趣点集获得其空间数据结构；
通过移动最小二乘法对目标工件的感兴趣点集的KD-Tree叶节点进行局部拟合；
采用FPFH描述子根据KD-Tree计算的空间数据结构分别计算目标工件的感兴趣点集和模板工件的多个不同抓取姿态的特征信息，第一步先计算每个查询点Pq的一系列
Figure BDA0003705154820000031
值，记为SPFH，第二步重新计算每个点的k近邻，使用邻近的SPFH值计算Pq的最终直方图，计算式为：
Figure BDA0003705154820000032
式中，k为当前查询点的临近点数，Pq为当前计算点，Pk当前待计算点的相邻点，ωk为当前计算点Pq与其相邻点Pk间的权值，FPFH为快速点特征直方图，SPFH为简化点特征直方图；
根据计算得到的目标工件感兴趣点集的FPFH特征信息和多个不同抓取姿态模板工件的FPFH特征信息，选取满足相似度约束的点对作为配准点对，进而计算目标工件在模板工件下的多个位姿信息
Figure BDA0003705154820000033
Figure BDA0003705154820000034
位姿信息为目标工件刚性变换到模板工件的旋转矩阵和平移矩阵，采用下式计算目标工件在机械臂基坐标系下的抓取姿态
Figure BDA0003705154820000035
Figure BDA0003705154820000036
目标工件在机械臂基坐标系下的抓取姿态
Figure BDA0003705154820000037
包含(X,Y,Z,θx,θy,θz)；
根据每个抓取姿态的Z、θx、θy值进行排序，并分别赋予权重因子a、b、c，并对第i个抓取姿态的优先级Di赋值，则第i个抓取姿态的抓取优先值计算式为：
Figure BDA0003705154820000041
其中，Zi、θxi、θyi分别为第i个抓取姿态的Z、θx、θy值；
对识别到的目标工件在机械臂基坐标系下的抓取姿态的抓取优先值进行降序排列。
作为优选，步骤S5具体包括：
在模板工件处预生成碰撞检测空间，根据目标工件在模板工件下的多个位姿信息
Figure BDA0003705154820000042
将目标工件及其周围点云刚性变换到碰撞检测空间处，若碰撞检测空间内无点云数据则视为可抓取目标，若存在点云视为不可抓取目标；
从抓取优先值最高目标开始逐序进行碰撞检测，以最先检测到的可抓取目标作为最终的执行抓取目标，并将执行抓取目标所对应的在机械臂基坐标系下的抓取姿态
Figure BDA0003705154820000043
发送至机械臂执行抓取任务。
第二方面，本申请的实施例提供了一种基于混叠工件的机械臂抓取装置，包括：
标定模块，被配置为采用手眼标定获取手眼关系矩阵
Figure BDA0003705154820000044
并构建模板工件的三维模型，获取模板工件的至少一个抓取姿态
Figure BDA0003705154820000045
抓取姿态为不同的坐标原点和坐标系下的点集；
预处理模块，被配置为获取目标工件的三维点云并进行预处理，得到预处理后的三维点云；
点云聚类模块，被配置为对预处理后的三维点云进行欧式聚类，并设置筛选条件筛选出目标工件的感兴趣点集；
点云配准模块，被配置为对感兴趣点集进行全局多目标三维点云配准，得到目标工件在模板工件下的转换矩阵
Figure BDA0003705154820000046
根据目标工件在模板工件下的转换矩阵
Figure BDA0003705154820000047
和抓取姿态
Figure BDA0003705154820000048
获得目标工件在模板工件下的多个位姿信息
Figure BDA0003705154820000049
并根据手眼关系矩阵
Figure BDA00037051548200000410
和位姿信息
Figure BDA00037051548200000411
计算出目标工件在机械臂基坐标系下的抓取姿态
Figure BDA00037051548200000412
根据目标工件在机械臂基坐标系下的抓取姿态
Figure BDA00037051548200000413
计算每个抓取目标的抓取优先值并进行降序排序；
碰撞检测模块，被配置为在模板工件处生成碰撞检测空间，碰撞检测空间为机械臂抓取模板工件时以及Z轴进给过程中机械臂本体与夹具的空间区域，并根据抓取优先值的排列顺序以及目标工件在模板工件下的多个位姿信息
Figure BDA00037051548200000414
进行碰撞检测，获得最先检测到的碰撞检测空间内无点云数据的可抓取目标，并将可抓取目标所对应的目标工件在机械臂基坐标系下的抓取姿态
Figure BDA00037051548200000415
发送至机械臂执行抓取任务。
第三方面，本申请的实施例提供了一种电子设备，包括一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面中任一实现方式描述的方法。
第四方面，本申请的实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。
相比于现有技术，本发明具有以下有益效果：
本发明的一种基于混叠工件的机械臂抓取方法、装置及可读介质，包含机械臂手眼标定步骤、三维模板设置步骤、三维点云预处理步骤、全局多目标三维点云配准算法和抓取决策算法，实现多工件混叠场景下的无碰撞抓取，提高了计算效率。该方法通过点云预处理提高算法计算效率和稳定性；通过全局多目标三维点云配准算法，同时获得多工件混叠场景下多个工件的位姿信息；通过抓取决策算法，对已获得的多个工件进行抓取目标筛选，保证了最优无碰撞抓取。相比于二维视觉引导方式能实现更多维度的引导定位，相比于一般的三维视觉引导方式，实现了在多工件混叠场景下，快速、无碰撞、精确的抓取位姿计算。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请的一个实施例可以应用于其中的示例性装置架构图；
图2为本发明的实施例的基于混叠工件的机械臂抓取方法的流程示意图；
图3为本发明的实施例的基于混叠工件的机械臂抓取装置的示意图；
图4是适于用来实现本申请实施例的电子设备的计算机装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
图1示出了可以应用本申请实施例的基于混叠工件的机械臂抓取方法或基于混叠工件的机械臂抓取装置的示例性装置架构100。
如图1所示，装置架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种应用，例如数据处理类应用、文件处理类应用等。
终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上传的文件或数据进行处理的后台数据处理服务器。后台数据处理服务器可以对获取的文件或数据进行处理，生成处理结果。
需要说明的是，本申请实施例所提供的基于混叠工件的机械臂抓取方法可以由服务器105执行，也可以由终端设备101、102、103执行，相应地，基于混叠工件的机械臂抓取装置可以设置于服务器105中，也可以设置于终端设备101、102、103中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。在所处理的数据不需要从远程获取的情况下，上述装置架构可以不包括网络，而只需服务器或终端设备。
图2示出了本申请的实施例提供的一种基于混叠工件的机械臂抓取方法，包括以下步骤：
S1，采用手眼标定获取眼在手外的手眼关系矩阵
Figure BDA0003705154820000061
并构建模板工件的三维模型，获取模板工件的至少一个抓取姿态
Figure BDA0003705154820000062
抓取姿态为不同的坐标原点和坐标系下的点集。
在具体的实施例中，步骤S1的采用手眼标定获取眼在手外的手眼关系矩阵
Figure BDA0003705154820000063
具体包括：
眼在手外：将棋盘格标定板固定安装在机械臂末端，移动一定次数机械臂位置，相机拍摄标定板图像，并记录机械臂位姿，根据手眼标定计算模型计算手眼关系矩阵
Figure BDA0003705154820000071
具体的，手眼关系矩阵
Figure BDA0003705154820000072
表示为相机在机械臂基坐标系下的位姿信息，根据相机与机械臂的位置关系采用不同的标定方式，移动一定次数机械臂位置至少应大于8次。预先制作三维模板，利用CAD制图软件绘制模板工件，模板工件为目标工件的三维模型，并转化生成点集，根据初始抓取姿态设置点集的坐标原点与坐标系方向，并可对同一个模板工件设置多个坐标系，建立多个不同的抓取姿态。此处可只建立一个抓取姿态也可建立多个抓取姿态，建立多个抓取姿态是避免经过碰撞检测算法后单个抓取姿态会发生物理碰撞干涉，导致无可抓取计算。此处所建立抓取姿态的方法是人为预设定改变模板工件与模板坐标系的相对位置关系，因此得到抓取姿态
Figure BDA0003705154820000073
在具体的实施例中，模板工件的至少一个抓取姿态
Figure BDA0003705154820000074
的点集的坐标系原点为最优抓取位姿时机械臂的末端工具坐标系原点(TCP)，且坐标系方向与最优抓取位姿时机械臂的末端工具方向一致。并且模板工件的不同抓取姿态的坐标系表征为其到初始抓取姿态坐标系的刚性变换矩阵，刚性变换矩阵包括旋转矩阵和平移矩阵。
S2，获取目标工件的三维点云并进行预处理，得到预处理后的三维点云。
在具体的实施例中，步骤S2具体包括：
采用三维相机采集混乱堆叠的目标工件的三维点云；
采用直通滤波算法去除目标工件的三维点云中感兴趣区域外的三维点云，得到感兴趣区内的三维点云；
对感兴趣区内的三维点云进行降采样，降采样方式为体素滤波，得到预处理后的三维点云。
具体的，三维点云的预处理采用点云滤波处理，体素滤波的降采样系数为0.01。通过以上点云预处理步骤能够提高算法计算效率和稳定性。
S3，对预处理后的三维点云进行欧式聚类，并设置筛选条件筛选出目标工件的感兴趣点集。
在具体的实施例中，步骤S3对预处理后的三维点云进行加速欧式聚类，具体包括：
S31，以空间中某点P10为起始点，通过KD-Tree近邻搜索算法找到n个离p点最近的点，分别计算这n个点到P10的欧式距离，如果距离小于设定的阈值R，则将小于阈值的点放到类Q(P10)中；
S32，在类Q(P10)中随机选出P20，重复步骤S31；
S33，如果类Q(P10)的集合不再增加，整个聚类过程便终止，否则一直重复步骤S31-S32。
在具体的实施例中，步骤S3中的筛选条件为同时满足三维点云的数量大于指定数值，三维点云的最小外包盒长、宽、高不偏离指定数值的百分之15。
具体的，欧式距离的计算方式为：
Figure BDA0003705154820000081
S4，对感兴趣点集进行全局多目标三维点云配准，得到目标工件在模板工件下的转换矩阵
Figure BDA0003705154820000082
根据目标工件在模板工件下的转换矩阵
Figure BDA0003705154820000083
和抓取姿态
Figure BDA0003705154820000084
获得目标工件在模板工件下的多个位姿信息
Figure BDA0003705154820000085
并根据手眼关系矩阵
Figure BDA0003705154820000086
和位姿信息
Figure BDA0003705154820000087
计算出目标工件在机械臂基坐标系下的抓取姿态
Figure BDA0003705154820000088
根据目标工件在机械臂基坐标系下的抓取姿态
Figure BDA0003705154820000089
计算每个抓取目标的抓取优先值并进行降序排序。
在具体的实施例中，步骤S4具体包括：
采用KD-Tree算法分割S3步骤筛选出的目标工件的感兴趣点集获得其空间数据结构；
通过移动最小二乘法对目标工件的感兴趣点集的KD-Tree叶节点进行局部拟合；
采用FPFH描述子根据KD-Tree计算的空间数据结构分别计算目标工件的感兴趣点集和模板工件的多个不同抓取姿态的特征信息，第一步先计算每个查询点Pq的一系列
Figure BDA00037051548200000810
值，记为SPFH，第二步重新计算每个点的k近邻，使用邻近的SPFH值计算Pq的最终直方图，计算式为：
Figure BDA00037051548200000811
式中，k为当前查询点的临近点数，Pq为当前计算点，Pk当前待计算点的相邻点，ωk为当前计算点Pq与其相邻点Pk间的权值，FPFH为快速点特征直方图，SPFH为简化点特征直方图。
根据计算得到的目标工件的感兴趣点集的FPFH特征信息和模板工件的多个不同抓取姿态的FPFH特征信息，选取满足相似度约束的点对作为配准点对，获得满足配准关系的目标工件的感兴趣点集与模板工件的不同抓取姿态的映射关系，进而计算目标工件在模板工件下的多个位姿信息
Figure BDA00037051548200000812
Figure BDA00037051548200000813
位姿信息为目标工件刚性变换到模板工件的旋转矩阵和平移矩阵，采用下式计算目标工件在机械臂基坐标系下的抓取姿态
Figure BDA00037051548200000814
Figure BDA00037051548200000815
目标工件在机械臂基坐标系下的抓取姿态
Figure BDA0003705154820000091
包含(X,Y,Z,θx,θy,θz)；
根据每个抓取姿态的Z、θx、θy值进行排序，并分别赋予权重因子a、b、c，并对各个抓取姿态的优先级Di赋值，则各抓取姿态的抓取优先值计算式为：
Figure BDA0003705154820000092
其中，Zi、θxi、θyi分别为第i个抓取姿态的Z、θx、θy值；权重因子a、b、c三者之和为1；
对识别到的目标工件在机械臂基坐标系下的抓取姿态的抓取优先值进行降序排列。
具体的，目标工件在模板工件坐标系下的转换矩阵为
Figure BDA0003705154820000093
为了使模板匹配的结果直接等效于
Figure BDA0003705154820000094
需要人为预设定改变模板工件与模板坐标系的相对位置关系，得到不同的抓取姿态
Figure BDA0003705154820000095
进一步根据
Figure BDA0003705154820000096
计算出目标工件在模板工件下的多个位姿信息
Figure BDA0003705154820000097
需要对这些位姿信息利用手眼标定后的手眼关系矩阵转换为目标工件在机械臂基坐标系下的抓取姿态
Figure BDA0003705154820000098
即
Figure BDA0003705154820000099
S5，在模板工件处生成碰撞检测空间，碰撞检测空间为机械臂抓取模板工件时以及Z轴进给过程中机械臂本体与夹具的空间区域，并根据抓取优先值的排列顺序以及目标工件在模板工件下的多个位姿信息
Figure BDA00037051548200000910
进行碰撞检测，获得最先检测到的碰撞检测空间内无点云数据的可抓取目标，并将可抓取目标所对应的目标工件在机械臂基坐标系下的抓取姿态
Figure BDA00037051548200000911
发送至机械臂执行抓取任务。
在具体的实施例中，步骤S5具体包括：
在模板工件处预生成碰撞检测空间，根据目标工件在模板工件下的多个位姿信息
Figure BDA00037051548200000912
将目标工件及其周围点云刚性变换到碰撞检测空间处，若碰撞检测空间内无点云数据则视为可抓取目标，若存在点云视为不可抓取目标；
从抓取优先值最高目标开始逐序进行碰撞检测，以最先检测到的可抓取目标作为最终的执行抓取目标，并将执行抓取目标所对应的在机械臂基坐标系下的抓取姿态
Figure BDA00037051548200000913
发送至机械臂执行抓取任务。
具体的，设定模板工件的坐标系与机械臂抓取时的末端工具坐标系是重合的，于是便可将碰撞检测空间是作在模板工件的坐标系下，定义末端夹具结构的最小外包空间及其经过预先设定的进给轨迹后的空间位置为最小碰撞检测空间。通过以上抓取决策算法，对已获得的多个目标工件进行抓取目标筛选，保证了最优无碰撞抓取。
进一步参考图3，作为对上述各图所示方法的实现，本申请提供了一种基于混叠工件的机械臂抓取装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
本申请实施例提供了一种基于混叠工件的机械臂抓取装置，包括：
标定模块1，被配置为采用手眼标定获取眼在手外的手眼关系矩阵
Figure BDA0003705154820000101
并构建模板工件的三维模型，获取模板工件的至少一个抓取姿态
Figure BDA0003705154820000102
抓取姿态为不同的坐标原点和坐标系下的点集；
预处理模块2，被配置为获取目标工件的三维点云并进行预处理，得到预处理后的三维点云；
点云聚类模块3，被配置为对预处理后的三维点云进行欧式聚类，并设置筛选条件筛选出目标工件的感兴趣点集；
点云配准模块4，被配置为对感兴趣点集进行全局多目标三维点云配准，得到目标工件在模板工件下的转换矩阵
Figure BDA0003705154820000103
根据目标工件在模板工件下的转换矩阵
Figure BDA0003705154820000104
和抓取姿态
Figure BDA0003705154820000105
获得目标工件在模板工件下的多个位姿信息
Figure BDA0003705154820000106
并根据手眼关系矩阵
Figure BDA0003705154820000107
和位姿信息
Figure BDA0003705154820000108
计算出目标工件在机械臂基坐标系下的抓取姿态
Figure BDA0003705154820000109
根据目标工件在机械臂基坐标系下的抓取姿态
Figure BDA00037051548200001010
计算每个抓取目标的抓取优先值并进行降序排序；
碰撞检测模块5，被配置为在模板工件处生成碰撞检测空间，碰撞检测空间为机械臂抓取模板工件时以及Z轴进给过程中机械臂本体与夹具的空间区域，并根据抓取优先值的排列顺序以及目标工件在模板工件下的多个位姿信息
Figure BDA00037051548200001011
进行碰撞检测，获得最先检测到的碰撞检测空间内无点云数据的可抓取目标，并将可抓取目标所对应的目标工件在机械臂基坐标系下的抓取姿态
Figure BDA00037051548200001012
发送至机械臂执行抓取任务。
下面参考图4，其示出了适于用来实现本申请实施例的电子设备(例如图1所示的服务器或终端设备)的计算机装置400的结构示意图。图4示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图4所示，计算机装置400包括中央处理单元(CPU)401和图形处理器(GPU)402，其可以根据存储在只读存储器(ROM)403中的程序或者从存储部分409加载到随机访问存储器(RAM)404中的程序而执行各种适当的动作和处理。在RAM 404中，还存储有装置400操作所需的各种程序和数据。CPU 401、GPU402、ROM 403以及RAM404通过总线405彼此相连。输入/输出(I/O)接口406也连接至总线405。
以下部件连接至I/O接口406：包括键盘、鼠标等的输入部分407；包括诸如、液晶显示器(LCD)等以及扬声器等的输出部分408；包括硬盘等的存储部分409；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分410。通信部分410经由诸如因特网的网络执行通信处理。驱动器411也可以根据需要连接至I/O接口406。可拆卸介质412，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器411上，以便于从其上读出的计算机程序根据需要被安装入存储部分409。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分410从网络上被下载和安装，和/或从可拆卸介质412被安装。在该计算机程序被中央处理单元(CPU)401和图形处理器(GPU)402执行时，执行本申请的方法中限定的上述功能。
需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读介质或者是上述两者的任意组合。计算机可读介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的装置、装置或器件，或者任意以上的组合。计算机可读介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行装置、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行装置、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的装置来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：采用手眼标定获取眼在手外的手眼关系矩阵
Figure BDA0003705154820000121
并构建模板工件的三维模型，获取模板工件的至少一个抓取姿态
Figure BDA0003705154820000122
抓取姿态为不同的坐标原点和坐标系下的点集；获取目标工件的三维点云并进行预处理，得到预处理后的三维点云；对预处理后的三维点云进行欧式聚类，并设置筛选条件筛选出目标工件的感兴趣点集；对感兴趣点集进行全局多目标三维点云配准，得到目标工件在模板工件下的转换矩阵
Figure BDA0003705154820000123
根据目标工件在模板工件下的转换矩阵
Figure BDA0003705154820000124
和抓取姿态
Figure BDA0003705154820000125
获得目标工件在模板工件下的多个位姿信息
Figure BDA0003705154820000126
并根据手眼关系矩阵
Figure BDA0003705154820000127
和位姿信息
Figure BDA0003705154820000128
计算出目标工件在机械臂基坐标系下的抓取姿态
Figure BDA0003705154820000129
根据目标工件在机械臂基坐标系下的抓取姿态
Figure BDA00037051548200001210
计算每个抓取目标的抓取优先值并进行降序排序；在模板工件处生成碰撞检测空间，碰撞检测空间为机械臂抓取模板工件时以及Z轴进给过程中机械臂本体与夹具的空间区域，并根据抓取优先值的排列顺序以及目标工件在模板工件下的多个位姿信息
Figure BDA0003705154820000131
进行碰撞检测，获得最先检测到的碰撞检测空间内无点云数据的可抓取目标，并将可抓取目标所对应的目标工件在机械臂基坐标系下的抓取姿态
Figure BDA0003705154820000132
发送至机械臂执行抓取任务。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (11)

1.一种基于混叠工件的机械臂抓取方法，其特征在于，包括以下步骤：
S1，采用手眼标定获取眼在手外的手眼关系矩阵
Figure FDA0003705154810000011
并构建模板工件的三维模型，获取模板工件的至少一个抓取姿态
Figure FDA0003705154810000012
所述抓取姿态为不同的坐标原点和坐标系下的点集；
S2，获取目标工件的三维点云并进行预处理，得到预处理后的三维点云；
S3，对预处理后的三维点云进行欧式聚类，并设置筛选条件筛选出目标工件的感兴趣点集；
S4，对所述感兴趣点集进行全局多目标三维点云配准，得到目标工件在模板工件下的转换矩阵
Figure FDA0003705154810000013
根据目标工件在模板工件下的转换矩阵
Figure FDA0003705154810000014
和抓取姿态
Figure FDA0003705154810000015
获得目标工件在模板工件下的多个位姿信息
Figure FDA0003705154810000016
并根据手眼关系矩阵
Figure FDA0003705154810000017
和位姿信息
Figure FDA0003705154810000018
计算出目标工件在机械臂基坐标系下的抓取姿态
Figure FDA0003705154810000019
根据所述目标工件在机械臂基坐标系下的抓取姿态
Figure FDA00037051548100000110
计算每个抓取目标的抓取优先值并进行降序排序；
S5，在所述模板工件处生成碰撞检测空间，所述碰撞检测空间为机械臂抓取模板工件时以及Z轴进给过程中机械臂本体与夹具的空间区域，并根据所述抓取优先值的排列顺序以及所述目标工件在模板工件下的多个位姿信息
Figure FDA00037051548100000111
进行碰撞检测，获得最先检测到的所述碰撞检测空间内无点云数据的可抓取目标，并将所述可抓取目标所对应的目标工件在机械臂基坐标系下的抓取姿态
Figure FDA00037051548100000112
发送至机械臂执行抓取任务。
2.根据权利要求1所述的基于混叠工件的机械臂抓取方法，其特征在于，所述步骤S1的采用手眼标定获取眼在手外的手眼关系矩阵
Figure FDA00037051548100000113
具体包括：
将棋盘格标定板固定安装在机械臂末端，移动一定次数机械臂位置，相机拍摄标定板图像，并记录机械臂位姿，根据手眼标定计算模型计算手眼关系矩阵
Figure FDA00037051548100000114
3.根据权利要求1所述的基于混叠工件的机械臂抓取方法，其特征在于，所述模板工件的至少一个抓取姿态
Figure FDA00037051548100000115
的点集的坐标系原点为最优抓取位姿时机械臂的末端工具坐标系原点，且坐标系方向与最优抓取位姿时机械臂的末端工具方向一致；所述模板工件的不同抓取姿态的坐标系表征为其到初始抓取姿态坐标系的刚性变换矩阵，所述刚性变换矩阵包括旋转矩阵和平移矩阵。
4.根据权利要求1所述的基于混叠工件的机械臂抓取方法，其特征在于，所述步骤S2具体包括：
采用三维相机采集混乱堆叠的目标工件的三维点云；
采用直通滤波算法去除所述目标工件的三维点云中感兴趣区域外的三维点云，得到感兴趣区内的三维点云；
对感兴趣区内的三维点云进行降采样，降采样方式为体素滤波，得到预处理后的三维点云。
5.根据权利要求1所述的基于混叠工件的机械臂抓取方法，其特征在于，所述步骤S3对预处理后的三维点云进行加速欧式聚类，具体包括：
S31，以空间中某点P10为起始点，通过KD-Tree近邻搜索算法找到n个离p点最近的点，分别计算这n个点到P10的欧式距离，如果距离小于设定的阈值R，则将小于阈值的点放到类Q(P10)中；
S32，在类Q(P10)中随机选出P20，重复步骤S31；
S33，如果类Q(P10)的集合不再增加，整个聚类过程便终止，否则一直重复步骤S31-S32。
6.根据权利要求1所述的基于混叠工件的机械臂抓取方法，其特征在于，所述步骤S3中的筛选条件为同时满足三维点云的数量大于指定数值和三维点云的最小外包盒长、宽、高不偏离指定数值的百分之15。
7.根据权利要求1所述的基于混叠工件的机械臂抓取方法，其特征在于，所述步骤S4具体包括：
采用KD-Tree算法分割所述目标工件的感兴趣点集获得其空间数据结构；
通过移动最小二乘法对所述目标工件的所述感兴趣点集的KD-Tree叶节点进行局部拟合；
采用FPFH描述子根据KD-Tree计算的空间数据结构分别计算目标工件的感兴趣点集和模板工件的多个不同抓取姿态的特征信息，第一步先计算每个查询点Pq的一系列
Figure FDA0003705154810000021
值，记为SPFH，第二步重新计算每个点的k近邻，使用邻近的SPFH值计算Pq的最终直方图，计算式为：
Figure FDA0003705154810000022
式中，k为当前查询点的临近点数，Pq为当前计算点，Pk当前待计算点的相邻点，ωk为当前计算点Pq与其相邻点Pk间的权值，FPFH为快速点特征直方图，SPFH为简化点特征直方图；
根据计算得到的目标工件感兴趣点集的FPFH特征信息和多个不同抓取姿态模板工件的FPFH特征信息，选取满足相似度约束的点对作为配准点对，进而计算目标工件在模板工件下的多个位姿信息
Figure FDA0003705154810000031
Figure FDA0003705154810000032
所述位姿信息为所述目标工件刚性变换到所述模板工件的旋转矩阵和平移矩阵，采用下式计算所述目标工件在机械臂基坐标系下的抓取姿态
Figure FDA0003705154810000033
Figure FDA0003705154810000034
所述目标工件在机械臂基坐标系下的抓取姿态
Figure FDA0003705154810000035
包含(X,Y,Z,θx,θy,θz)；
根据每个抓取姿态的Z、θx、θy值进行排序，并分别赋予权重因子a、b、c，并对第i个抓取姿态的优先级Di赋值，则第i个抓取姿态的抓取优先值计算式为：
Figure FDA0003705154810000036
其中，Zi、θxi、θyi分别为第i个抓取姿态的Z、θx、θy值；
对识别到的目标工件在机械臂基坐标系下的抓取姿态的抓取优先值进行降序排列。
8.根据权利要求1所述的基于混叠工件的机械臂抓取方法，其特征在于，所述步骤S5具体包括：
在所述模板工件处预生成碰撞检测空间，根据所述目标工件在模板工件下的多个位姿信息
Figure FDA0003705154810000037
将所述目标工件及其周围点云刚性变换到碰撞检测空间处，若碰撞检测空间内无点云数据则视为可抓取目标，若存在点云视为不可抓取目标；
从抓取优先值最高目标开始逐序进行碰撞检测，以最先检测到的可抓取目标作为最终的执行抓取目标，并将所述执行抓取目标所对应的在机械臂基坐标系下的抓取姿态
Figure FDA0003705154810000038
发送至机械臂执行抓取任务。
9.一种基于混叠工件的机械臂抓取装置，其特征在于，包括：
标定模块，被配置为采用手眼标定获取眼在手外的手眼关系矩阵
Figure FDA0003705154810000039
并构建模板工件的三维模型，获取模板工件的至少一个抓取姿态
Figure FDA00037051548100000310
所述抓取姿态为不同的坐标原点和坐标系下的点集；
预处理模块，被配置为获取目标工件的三维点云并进行预处理，得到预处理后的三维点云；
点云聚类模块，被配置为对预处理后的三维点云进行欧式聚类，并设置筛选条件筛选出目标工件的感兴趣点集；
点云配准模块，被配置为对所述感兴趣点集进行全局多目标三维点云配准，得到目标工件在模板工件下的转换矩阵
Figure FDA0003705154810000041
根据目标工件在模板工件下的转换矩阵
Figure FDA0003705154810000042
和抓取姿态
Figure FDA0003705154810000043
获得目标工件在模板工件下的多个位姿信息
Figure FDA0003705154810000044
并根据手眼关系矩阵
Figure FDA0003705154810000045
和位姿信息
Figure FDA0003705154810000046
计算出目标工件在机械臂基坐标系下的抓取姿态
Figure FDA0003705154810000047
根据所述目标工件在机械臂基坐标系下的抓取姿态
Figure FDA0003705154810000048
计算每个抓取目标的抓取优先值并进行降序排序；
碰撞检测模块，被配置为在所述模板工件处生成碰撞检测空间，所述碰撞检测空间为机械臂抓取模板工件时以及Z轴进给过程中机械臂本体与夹具的空间区域，并根据所述抓取优先值的排列顺序以及所述目标工件在模板工件下的多个位姿信息
Figure FDA0003705154810000049
进行碰撞检测，获得最先检测到的所述碰撞检测空间内无点云数据的可抓取目标，并将所述可抓取目标所对应的目标工件在机械臂基坐标系下的抓取姿态
Figure FDA00037051548100000410
发送至机械臂执行抓取任务。
10.一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一所述的方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8中任一所述的方法。
CN202210705532.XA 2022-06-21 2022-06-21 一种基于混叠工件的机械臂抓取方法、装置及可读介质 Pending CN115284279A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210705532.XA CN115284279A (zh) 2022-06-21 2022-06-21 一种基于混叠工件的机械臂抓取方法、装置及可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210705532.XA CN115284279A (zh) 2022-06-21 2022-06-21 一种基于混叠工件的机械臂抓取方法、装置及可读介质

Publications (1)

Publication Number Publication Date
CN115284279A true CN115284279A (zh) 2022-11-04

Family

ID=83819769

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210705532.XA Pending CN115284279A (zh) 2022-06-21 2022-06-21 一种基于混叠工件的机械臂抓取方法、装置及可读介质

Country Status (1)

Country Link
CN (1) CN115284279A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115922738A (zh) * 2023-03-09 2023-04-07 季华实验室 堆叠场景下的电子元器件抓取方法、装置、设备及介质
CN118135020A (zh) * 2024-05-07 2024-06-04 深圳市信润富联数字科技有限公司 放置转向节的方法及装置、存储介质、电子装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115922738A (zh) * 2023-03-09 2023-04-07 季华实验室 堆叠场景下的电子元器件抓取方法、装置、设备及介质
CN118135020A (zh) * 2024-05-07 2024-06-04 深圳市信润富联数字科技有限公司 放置转向节的方法及装置、存储介质、电子装置

Similar Documents

Publication Publication Date Title
CN109658413B (zh) 一种机器人目标物体抓取位置检测的方法
Kumra et al. Antipodal robotic grasping using generative residual convolutional neural network
CN113610921B (zh) 混合工件抓取方法、设备及计算机可读存储介质
CN113223091B (zh) 三维目标检测方法、抓取方法、装置及电子设备
CN111695562B (zh) 一种基于卷积神经网络的机器人自主抓取方法
CN115284279A (zh) 一种基于混叠工件的机械臂抓取方法、装置及可读介质
CN110176078B (zh) 一种训练集数据的标注方法及装置
CN112907735B (zh) 一种基于点云的柔性电缆识别与三维重建方法
CN112837371A (zh) 基于3d匹配的物体抓取方法、装置及计算设备
CN110065068B (zh) 一种基于逆向工程的机器人装配作业演示编程方法及装置
CN112518748B (zh) 面向运动物品的视觉机械臂自动抓取方法与***
CN116249607A (zh) 用于机器人抓取三维物体的方法和装置
CN113752255A (zh) 一种基于深度强化学习的机械臂六自由度实时抓取方法
CN111275758B (zh) 混合型3d视觉定位方法、装置、计算机设备及存储介质
CN114092553A (zh) 基于fpfh和icp改进算法的无序抓取姿态估计方法
CN113269723A (zh) 三维视觉定位与机械手协同工作的零部件无序抓取***
Yin et al. Overview of robotic grasp detection from 2D to 3D
CN113762159B (zh) 一种基于有向箭头模型的目标抓取检测方法及***
Schaub et al. 6-DoF grasp detection for unknown objects
CN113538576A (zh) 基于双臂机器人的抓取方法、装置及双臂机器人
Hashimoto et al. Current status and future trends on robot vision technology
CN115713547A (zh) 运动轨迹的生成方法、装置及处理设备
CN114897974B (zh) 一种目标物空间定位方法、***、存储介质及计算机设备
CN113436293B (zh) 一种基于条件生成式对抗网络的智能抓取图像生成方法
CN116543217A (zh) 一种结构相似的小目标分类识别与位姿估计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination