CN114851187B - 一种避障机械臂抓取方法、***、装置及存储介质 - Google Patents

一种避障机械臂抓取方法、***、装置及存储介质 Download PDF

Info

Publication number
CN114851187B
CN114851187B CN202210300135.4A CN202210300135A CN114851187B CN 114851187 B CN114851187 B CN 114851187B CN 202210300135 A CN202210300135 A CN 202210300135A CN 114851187 B CN114851187 B CN 114851187B
Authority
CN
China
Prior art keywords
mechanical arm
mechanical
gesture
grabbing
clamping jaw
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210300135.4A
Other languages
English (en)
Other versions
CN114851187A (zh
Inventor
陈建
贾奎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cross Dimension Shenzhen Intelligent Digital Technology Co ltd
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202210300135.4A priority Critical patent/CN114851187B/zh
Publication of CN114851187A publication Critical patent/CN114851187A/zh
Application granted granted Critical
Publication of CN114851187B publication Critical patent/CN114851187B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种避障机械臂抓取方法、***、装置及存储介质，其中方法包括：建立机械臂以及挂载在机械臂末端的机械夹爪的有符号距离场模型；标定相机和机械臂基座之间的空间转换关系；将三维模型与深度相机采集到的点云进行匹配，求解待抓取物体在实际场景中的姿态；获取避免碰撞的机械臂抓取姿态；根据有符号距离场模型建立碰撞函数，根据碰撞函数和机械臂抓取姿态设计避障运动学规划求解器，求取抓取路径。本发明能够在在抓取中利用上相机拍摄到的整体场景信息以及有符号距离场模型，从而在复杂的实际场景中得到一个鲁棒性更高，抓取物体后能够抵抗更强的外界环境干扰力的抓取姿态，可广泛应用于机器人控制技术领域。

Description

一种避障机械臂抓取方法、***、装置及存储介质
技术领域
本发明涉及机器人控制技术领域，尤其涉及一种避障机械臂抓取方法、***、装置及存储介质。
背景技术
机械臂自动抓取***能够在摄像机观察到物体之后，成功驱动机械臂运行到一个特定姿态下，抓取物体并放置到特定位置上。这样的***能够代替人类完成诸如制造工厂零件装配、传送带分拣等重复度高且繁重的工作，也能够给物流领域的包裹分拣带来便利。不过传统的自动化机械臂抓取依赖人工示教抓取姿态，费时费力，而一个稳定且精确的抓取姿态估计方法则能够省去这一步骤，使得工厂的自动化程度大大提高。
抓取姿态估计方法最终会输出一个或者多个机械夹爪抓取姿态。传统的抓取姿态估计方法更多着眼于如何让夹爪的内侧更加贴紧带抓取的物体表面，保证抓取以后物体更难滑落。在实际闭合机械夹爪并抓取提起物体之前，机械夹爪到达的抓取姿态不应与场景中的其他物体碰撞，否则容易导致机械臂受损，也不应提前与待抓取物体碰撞，否则会导致物***置变化，最终抓空物体或者物体滑落。但现阶段对于如何计算出避免碰撞的抓取姿态的研究尚且不足，容易估计出一个导致机械夹爪在抓取动作执行之前与待抓取物体碰撞或者场景中的其他物体或者地面等碰撞的抓取姿态。并且，传统方法建立的机械臂碰撞模型，例如凸包分割方案，主要基于对物体的凸包分割后的多个凸包进行碰撞判定，面数与精度较低，计算速度也较慢。
发明内容
为至少一定程度上解决现有技术中存在的技术问题之一，本发明的目的在于提供一种避障机械臂抓取方法、***、装置及存储介质。
本发明所采用的技术方案是：
一种避障机械臂抓取方法，包括以下步骤：
建立机械臂以及挂载在机械臂末端的机械夹爪的有符号距离场模型；
获取深度相机的彩色图、深度图，以及机械夹爪的姿态，标定相机和机械臂基座之间的空间转换关系；
获取待抓取物体的三维模型，将三维模型与深度相机采集到的点云进行匹配，求解待抓取物体在实际场景中的姿态；
根据有符号距离场模型以及深度相机采集到的点云，获取避免碰撞的机械臂抓取姿态；
根据有符号距离场模型建立碰撞函数，根据碰撞函数和机械臂抓取姿态设计避障运动学规划求解器，求取抓取路径，以绕开场景障碍物对物体进行抓取。
进一步地，所述建立机械臂以及挂载在机械臂末端的机械夹爪的有符号距离场模型，包括：
获取机械臂以及机械夹爪的模型文件，对机械臂以及机械夹爪进行碰撞建模，移除机械臂以及机械夹爪的内部结构，获取机械臂夹爪最外层的碰撞结构，获取有符号距离场模型。
进一步地，所述获取机械臂以及机械夹爪的模型文件，对机械臂以及机械夹爪进行碰撞建模，移除机械臂以及机械夹爪的内部结构，获取机械臂夹爪最外层的碰撞结构，获取有符号距离场模型，包括：
导入机械臂以及机械夹爪的模型文件，获取机械臂以及机械夹爪的物理模型；
针对机械臂的每一个的机械连杆进行如下处理：
针对每个机械连杆建立一个长方体包围盒，并在长方体包围盒中划分出预设数量的正方形体素；
计算每个体素的中心点到机械连杆表面上的距离，根据距离建立每个机械连杆的无符号距离场；
对无符号距离场减去一个特定数值a，使得部分体素上存储的数值小于0，从而使用marching cubes方法进行等值面提取，提取出多个互不相交的等值面；
建立所有等值面的包围盒，选取出所有未被其他等值面包围盒所包围的等值面，丢弃剩余等值面，这些未被包围的等值面表达了机械连杆最外层的结构；
对正方形体素的顶点进行s形遍历，若遍历的过程中，顶点穿过了最外层等值面，对体素中所存储的距离数值取反，获得有符号距离场；
根据最外层等值面对内部体素存储的距离数值进行重新计算，获得最终的有符号距离场模型。
进一步地，所述获取深度相机的彩色图、深度图，以及机械夹爪的姿态，标定相机和机械臂基座之间的空间转换关系，包括：
将非对称圆点标定板放置于预设的固定位置，深度相机挂载于机械臂末端；
多次移动机械臂末端，记录多组同一时刻下深度相机拍摄到的标定板彩色图、深度图以及机械臂末端执行器姿态；
根据深度相机拍摄得到的彩色图以及深度图，利用迭代最近点算法匹配获得标定板在对应时刻下的姿态；
求解方程，获得深度相机与机械臂末端执行器之间的坐标转换关系。
进一步地，所述将三维模型与深度相机采集到的点云进行匹配，求解待抓取物体在实际场景中的姿态，包括：
获取待抓取物体的点云；
使用平面到点的迭代最近点算法，将待抓取物体的三维模型与深度摄像机采集到的点云进行匹配，求解待抓取物体在实际场景中的姿态；其中，单次迭代的优化公式如下：
Figure BDA0003565312170000031
其中，
Figure BDA0003565312170000032
而x＝[rT,tT]T，包括三维旋转和三维平移，表达了一个三维姿态；qi为待抓取物体的三维模型上表面的点，pi为拍摄场景中的点云，/>
Figure BDA0003565312170000033
为待抓取物体三维模型表面上点云的法向量，m为对应的点对数目。
进一步地，所述根据有符号距离场模型以及深度相机采集到的点云，获取避免碰撞的机械臂抓取姿态，包括：
根据有符号距离场模型、深度相机获取的物体附近点云以及应用物体姿态变换后的待抓取物体的点云，求解最优抓取姿态；其中，单次迭代的优化公式如下：
Figure BDA0003565312170000034
其中，x＝[rT,tT]T，r为机械夹爪姿态的旋转矢量，t为机械夹爪姿态的平移矢量；
Figure BDA0003565312170000035
分别由三部分组成：
Figure BDA0003565312170000036
Figure BDA0003565312170000037
这三部分包括碰撞规避部分、匹配部分和法向量贴合部分；
碰撞规避部分为：
Figure BDA0003565312170000038
其中，fci为机械夹爪内侧点云中与场景发生碰撞的点，共计k个，gci为机械夹爪碰撞模型在点fci处的梯度，
Figure BDA0003565312170000039
为fci处机械夹爪表面的法向量；
匹配部分为：
Figure BDA0003565312170000041
其中，fi为距离物体较近的机械夹爪内侧的点，共计l个，pfi为对应的物体上距离夹爪内侧较近的点，
Figure BDA0003565312170000042
为fi处机械夹爪表面的法向量；
法向量贴合部分为：
Figure BDA0003565312170000043
其中，
Figure BDA0003565312170000044
为物体表面pfi处的法向量。
进一步地，所述根据有符号距离场模型建立碰撞函数，根据碰撞函数和机械臂抓取姿态设计避障运动学规划求解器，求取抓取路径，包括：
获取机械臂的运动学模型；
利用机械臂的运动学模型建立正向运动学函数和逆向运动学函数；
利用正向运动学函数和有符号距离场模型，建立机械臂的碰撞判定函数；
利用逆向运动学函数，输入获得的机械臂抓取姿态，获取目标机械臂关节姿态；
根据碰撞判定函数和目标机械臂关节姿态，在关节姿态空间中进行避障路径规划，驱动机械臂绕开场景中的碰撞物体，到达目标机械臂关节姿态并进行抓取。
本发明所采用的另一技术方案是：
一种避障机械臂抓取***，包括：
模型构建模块，用于建立机械臂以及挂载在机械臂末端的机械夹爪的有符号距离场模型；
手眼标定模块，用于获取深度相机的彩色图、深度图，以及机械夹爪的姿态，标定相机和机械臂基座之间的空间转换关系；
点云匹配模块，用于获取待抓取物体的三维模型，将三维模型与深度相机采集到的点云进行匹配，求解待抓取物体在实际场景中的姿态；
姿态获取模块，用于根据有符号距离场模型以及深度相机采集到的点云，获取避免碰撞的机械臂抓取姿态；
路径规划模块，用于根据有符号距离场模型建立碰撞函数，根据碰撞函数和机械臂抓取姿态设计避障运动学规划求解器，求取抓取路径，以绕开场景障碍物对物体进行抓取。
本发明所采用的另一技术方案是：
一种避障机械臂抓取装置，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上所述方法。
本发明所采用的另一技术方案是：
一种计算机可读存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行如上所述方法。
本发明的有益效果是：本发明能够在在抓取中利用上相机拍摄到的整体场景信息以及有符号距离场模型，从而在复杂的实际场景中得到一个鲁棒性更高，抓取物体后能够抵抗更强的外界环境干扰力的抓取姿态，并且在碰撞判定上的计算速度也更快更精确，在物流和智能制造领域有不错的应用前景。
附图说明
为了更清楚地说明本发明实施例或者现有技术中的技术方案，下面对本发明实施例或者现有技术中的相关技术方案附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表述本发明的技术方案中的部分实施例，对于本领域的技术人员而言，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。
图1是本发明实施例中一种三维视觉的避障机械臂抓取方法的步骤流程图；
图2是本发明实施例中一个机械夹爪模型示意图；
图3是本发明实施例中图2机械夹爪模型的有符号距离场重建可视化结果图；
图4是本发明实施例中整体机械臂模型各个机械连杆的有符号距离场重建可视化结果图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
如图1所示，本实施例提供一种三维视觉的避障机械臂抓取方法，具体包括以下步骤：
S1、建立机械臂以及挂载在机械臂末端的机械夹爪的有符号距离场模型。
导入机械臂以及机械夹爪模型文件，对机械臂以及机械夹爪进行碰撞建模，移除机械臂以及机械夹爪的内部结构，只关注最外层的碰撞结构，并且计算有符号距离场模型。
具体地，导入机械臂以及机械夹爪的物理模型，针对其中的每一个的机械连杆都进行如下处理：
针对每个机械连杆建立一个略微大于其本身的长方体包围盒，并在长方体包围盒中划分出数量不小于32*32*32的正方形体素。长方体包围盒的长度通常为其本身大小的1.2倍左右，太大会浪费内存空间导致速度下降，太小则会导致重建表面破碎。
计算每个体素的中心点到机械连杆表面上的距离，以此建立每个机械连杆的无符号距离场。计算时使用k维树对距离计算进行加速，否则速度偏慢。
对无符号距离场减去一个特定数值a，使得部分体素上存储的数值小于0，从而使用marching cubes方法进行等值面提取。a的数值为长方体包围盒的10％。利用该方法能够提取出多个互不相交的等值面，并且这些等值面都是自封闭的。
建立所有等值面的包围盒，选取出所有未被其他等值面包围盒所包围的等值面，丢弃剩余等值面。这些未被包围的等值面表达了机械连杆最外层的结构。由于上述等值面互不相交，因此这些不被包围的等值面级表示了最外层的结构。
对正方形体素的顶点进行s形遍历，若遍历的过程中，顶点穿过了最外层等值面，对体素中所存储的距离数值取反，获得有符号距离场；最终该操作会使得位于物体内部的体素中存储的距离数值符号为负数，物体外部的体素中存储的距离数值为正数。该步骤建立了有符号距离场。
重新计算物体内部体素存储的距离数值。由于内部等值面被移除，因此内部体素存储的距离数值需要使用最外层等值面进行重新计算。
补偿先前中减去的特定数值a，最终的有符号距离场需要再加上特定数值a。
一个机械夹爪原始模型图见图2，图2机械夹爪模型的有符号距离场重建可视化结果如图3所示。整体机械臂模型各个机械连杆的有符号距离场重建可视化结果如图4所示。可以看出，建立的碰撞模型封闭了一些小型的孔洞和凹坑，保证整体碰撞尽可能简单，同时保证了大体的精度。
S2、获取深度相机的彩色图、深度图，以及机械夹爪的姿态，标定相机和机械臂基座之间的空间转换关系。
将非对称圆点标定板放置于一个固定位置，深度相机挂载于机械臂末端。
多次移动机械臂末端，记录多组同一时刻下深度相机拍摄到的标定板彩色图、深度图、机械臂末端执行器姿态。在本实施例中，获取至少5组数据。
利用深度相机拍摄得到的彩色图以及深度图，可以利用迭代最近点算法匹配得标定板在该时刻下的姿态。
利用上述数据可以构建AX＝XB形式的超定方程并进行求解，得到深度相机与机械臂末端执行器之间的坐标转换关系。
S3、获取待抓取物体的三维模型，将三维模型与深度相机采集到的点云进行匹配，求解待抓取物体在实际场景中的姿态。
获取拍摄场景中物体。
以带三维旋转的形式建立包围盒，确保物体在包围盒当中，后续算法只关注这些在包围盒中的点云。
使用平面到点的迭代最近点算法,将待抓取物体的三维模型与深度摄像机采集到的点云进行匹配，求解初待抓取物体在实际场景中的姿态。单次迭代的优化公式如下：
Figure BDA0003565312170000071
其中，
Figure BDA0003565312170000072
而x＝[rT,tT]T，r∈R3为机械夹爪姿态的旋转矢量，t∈R3为机械夹爪姿态的平移矢量。qi为待抓取物体的三维模型上表面的点，pi为拍摄场景中的点云，/>
Figure BDA0003565312170000073
为待抓取物体三维模型表面上点云的法向量，m为对应的点对数目。
对上述公式可以使用最小二乘方法进行求解，每次x＝(ATA)-1ATb。多次重复迭代，即可最终收敛到一个稳定的结果。
S4、根据有符号距离场模型以及深度相机采集到的点云，获取避免碰撞的机械臂抓取姿态。
抓取姿态估计。使用步骤S1求得的机械夹爪有符号距离场，以及深度相机采集到的彩色图以及深度图，优化得到一个鲁棒的，避免碰撞的机械臂抓取姿态：
利用步骤S1中的机械夹爪碰撞模型，深度相机获取的物体附近点云，以及应用物体姿态变换后的待抓取物体模型上的点云，求解一个最优抓取姿态。单次迭代的优化公式如下：
Figure BDA0003565312170000081
其中，x＝[rT,tT]T。
Figure BDA0003565312170000082
分别由三部分组成
Figure BDA0003565312170000083
Figure BDA0003565312170000084
这三部分包括碰撞规避部分、匹配部分和法向量贴合部分。
碰撞规避部分为：
Figure BDA0003565312170000085
其中，fci为机械夹爪内侧点云中与场景发生碰撞的点，共计k个，gci为机械夹爪碰撞模型(有符号距离场)在点fci处的梯度，
Figure BDA0003565312170000086
为fci处机械夹爪表面的法向量。用物体点云的坐标在机械夹爪有符号距离场中三线性插值的结果，即可获知哪些物体点会与机械夹爪产生碰撞。
匹配部分为：
Figure BDA0003565312170000087
其中，fi为距离物体较近的机械夹爪内侧的点，共计l个，pfi为对应的物体上距离夹爪内侧较近的点。
Figure BDA0003565312170000088
为fi处机械夹爪表面的法向量。
法向量贴合部分为：
Figure BDA0003565312170000089
其中，
Figure BDA00035653121700000810
为物体表面pfi处的法向量。
对上述公式可以使用最小二乘方法进行求解，每次
Figure BDA00035653121700000811
多次重复迭代，即可最终收敛到一个鲁棒的，避免碰撞的机械臂抓取姿态。
S5、根据有符号距离场模型建立碰撞函数，根据碰撞函数和机械臂抓取姿态设计避障运动学规划求解器，求取抓取路径，以绕开场景障碍物对物体进行抓取。
其中，步骤S5具体包括步骤S51-S55：
S51、获取机械臂的整体运动学模型和步骤S1中的碰撞建模。
S52、利用机械臂运动学模型建立正向运动学函数和逆向运动学函数。
S53、利用正向运动学函数和碰撞建模，建立机械臂的碰撞判定函数。
S54、利用逆向运动学函数，输入步骤S4中最终优化得到的抓取姿态，获取目标机械臂关节姿态
S55、在关节姿态空间使用改良的快速扩展随机树算法进行避障路径规划，驱动机械臂绕开场景其他碰撞物体，到达目标机械臂关节姿态进行抓取。
综上所述，本实施例提供了一种基于三维视觉的避障机械臂抓取方法，使用去除内部结构的有符号距离场进行碰撞建模，相比于传统的凸包分割等碰撞建模大大提高了精度，相比于凸多边形分割方法也提高了碰撞判定速度；利用有符号距离场的梯度、物体匹配的点云等信息能够直接优化得到一个鲁棒的，避免碰撞的机械夹爪抓取姿态，免去了人工示教，不仅提高了抓取的稳定性，也提高了生产线的自动化水平。
本实施例还提供一种避障机械臂抓取***，包括：
模型构建模块，用于建立机械臂以及挂载在机械臂末端的机械夹爪的有符号距离场模型；
手眼标定模块，用于获取深度相机的彩色图、深度图，以及机械夹爪的姿态，标定相机和机械臂基座之间的空间转换关系；
点云匹配模块，用于获取待抓取物体的三维模型，将三维模型与深度相机采集到的点云进行匹配，求解待抓取物体在实际场景中的姿态；
姿态获取模块，用于根据有符号距离场模型以及深度相机采集到的点云，获取避免碰撞的机械臂抓取姿态；
路径规划模块，用于根据有符号距离场模型建立碰撞函数，根据碰撞函数和机械臂抓取姿态设计避障运动学规划求解器，求取抓取路径，以绕开场景障碍物对物体进行抓取。
本实施例的一种避障机械臂抓取***，可执行本发明方法实施例所提供的一种避障机械臂抓取方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
本实施例还提供了一种避障机械臂抓取装置，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现图1所示方法。
本实施例的一种避障机械臂抓取装置，可执行本发明方法实施例所提供的一种避障机械臂抓取方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
本申请实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图1所示的方法。
本实施例还提供了一种存储介质，存储有可执行本发明方法实施例所提供的一种避障机械臂抓取方法的指令或程序，当运行该指令或程序时，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施方式，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于上述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种避障机械臂抓取方法，其特征在于，包括以下步骤：
建立机械臂以及挂载在机械臂末端的机械夹爪的有符号距离场模型；
获取深度相机的彩色图、深度图，以及机械夹爪的姿态，标定相机和机械臂基座之间的空间转换关系；
获取待抓取物体的三维模型，将三维模型与深度相机采集到的点云进行匹配，求解待抓取物体在实际场景中的姿态；
根据有符号距离场模型以及深度相机采集到的点云，获取避免碰撞的机械臂抓取姿态；根据有符号距离场模型建立碰撞函数，根据碰撞函数和机械臂抓取姿态设计避障运动学规划求解器，求取抓取路径，以绕开场景障碍物对物体进行抓取。
2.根据权利要求1所述的一种避障机械臂抓取方法，其特征在于，所述建立机械臂以及挂载在机械臂末端的机械夹爪的有符号距离场模型，包括：
获取机械臂以及机械夹爪的模型文件，对机械臂以及机械夹爪进行碰撞建模，移除机械臂以及机械夹爪的内部结构，获取机械臂夹爪最外层的碰撞结构，获取有符号距离场模型。
3.根据权利要求2所述的一种避障机械臂抓取方法，其特征在于，所述获取机械臂以及机械夹爪的模型文件，对机械臂以及机械夹爪进行碰撞建模，移除机械臂以及机械夹爪的内部结构，获取机械臂夹爪最外层的碰撞结构，获取有符号距离场模型，包括：
导入机械臂以及机械夹爪的模型文件，获取机械臂以及机械夹爪的物理模型；
针对机械臂的每一个的机械连杆进行如下处理：
针对每个机械连杆建立一个长方体包围盒，并在长方体包围盒中划分出预设数量的正方形体素；
计算每个体素的中心点到机械连杆表面上的距离，根据距离建立每个机械连杆的无符号距离场；
对无符号距离场减去一个特定数值a，使得部分体素上存储的数值小于0，从而使用marching cubes方法进行等值面提取，提取出多个互不相交的等值面；
建立所有等值面的包围盒，选取出所有未被其他等值面包围盒所包围的等值面，丢弃剩余等值面，这些未被包围的等值面表达了机械连杆最外层的结构；
对正方形体素的顶点进行s形遍历，若遍历的过程中，顶点穿过了最外层等值面，对体素中所存储的距离数值取反，获得有符号距离场；
根据最外层等值面对内部体素存储的距离数值进行重新计算，获得最终的有符号距离场模型。
4.根据权利要求1所述的一种避障机械臂抓取方法，其特征在于，所述获取深度相机的彩色图、深度图，以及机械夹爪的姿态，标定相机和机械臂基座之间的空间转换关系，包括：
将非对称圆点标定板放置于预设的固定位置，深度相机挂载于机械臂末端；
多次移动机械臂末端，记录多组同一时刻下深度相机拍摄到的标定板彩色图、深度图以及机械臂末端执行器姿态；
根据深度相机拍摄得到的彩色图以及深度图，利用迭代最近点算法匹配获得标定板在对应时刻下的姿态；
求解方程，获得深度相机与机械臂末端执行器之间的坐标转换关系。
5.根据权利要求1所述的一种避障机械臂抓取方法，其特征在于，所述将三维模型与深度相机采集到的点云进行匹配，求解待抓取物体在实际场景中的姿态，包括：
获取待抓取物体的点云；
使用平面到点的迭代最近点算法，将待抓取物体的三维模型与深度摄像机采集到的点云进行匹配，求解待抓取物体在实际场景中的姿态；其中，单次迭代的优化公式如下：
Figure FDA0003565312160000021
其中，
Figure FDA0003565312160000022
而x＝[rT,tT]T，r为机械夹爪姿态的旋转矢量，t为机械夹爪姿态的平移矢量；qi为待抓取物体的三维模型上表面的点，pi为拍摄场景中的点云，/>
Figure FDA0003565312160000023
为待抓取物体三维模型表面上点云的法向量，m为对应的点对数目。
6.根据权利要求1所述的一种避障机械臂抓取方法，其特征在于，所述根据有符号距离场模型以及深度相机采集到的点云，获取避免碰撞的机械臂抓取姿态，包括：
根据有符号距离场模型、深度相机获取的物体附近点云以及应用物体姿态变换后的待抓取物体的点云，求解最优抓取姿态；其中，单次迭代的优化公式如下：
Figure FDA0003565312160000024
其中，x＝[rT,tT]T，r为机械夹爪姿态的旋转矢量，t为机械夹爪姿态的平移矢量；
Figure FDA0003565312160000025
分别由三部分组成：
Figure FDA0003565312160000026
Figure FDA0003565312160000031
这三部分包括碰撞规避部分、匹配部分和法向量贴合部分；
碰撞规避部分为：
Figure FDA0003565312160000032
其中，fci为机械夹爪内侧点云中与场景发生碰撞的点，共计k个，gci为机械夹爪碰撞模型在点fci处的梯度，
Figure FDA0003565312160000033
为fci处机械夹爪表面的法向量；
匹配部分为：
Figure FDA0003565312160000034
其中，fi为距离物体较近的机械夹爪内侧的点，共计l个，pfi为对应的物体上距离夹爪内侧较近的点，
Figure FDA0003565312160000035
为fi处机械夹爪表面的法向量；
法向量贴合部分为：
Figure FDA0003565312160000036
其中，
Figure FDA0003565312160000037
为物体表面pfi处的法向量。
7.根据权利要求1所述的一种避障机械臂抓取方法，其特征在于，所述根据有符号距离场模型建立碰撞函数，根据碰撞函数和机械臂抓取姿态设计避障运动学规划求解器，求取抓取路径，包括：
获取机械臂的运动学模型；
利用机械臂的运动学模型建立正向运动学函数和逆向运动学函数；
利用正向运动学函数和有符号距离场模型，建立机械臂的碰撞判定函数；
利用逆向运动学函数，输入获得的机械臂抓取姿态，获取目标机械臂关节姿态；
根据碰撞判定函数和目标机械臂关节姿态，在关节姿态空间中进行避障路径规划，驱动机械臂绕开场景中的碰撞物体，到达目标机械臂关节姿态并进行抓取。
8.一种避障机械臂抓取***，其特征在于，包括：
模型构建模块，用于建立机械臂以及挂载在机械臂末端的机械夹爪的有符号距离场模型；手眼标定模块，用于获取深度相机的彩色图、深度图，以及机械夹爪的姿态，标定相机和机械臂基座之间的空间转换关系；
点云匹配模块，用于获取待抓取物体的三维模型，将三维模型与深度相机采集到的点云进行匹配，求解待抓取物体在实际场景中的姿态；
姿态获取模块，用于根据有符号距离场模型以及深度相机采集到的点云，获取避免碰撞的机械臂抓取姿态；
路径规划模块，用于根据有符号距离场模型建立碰撞函数，根据碰撞函数和机械臂抓取姿态设计避障运动学规划求解器，求取抓取路径，以绕开场景障碍物对物体进行抓取。
9.一种避障机械臂抓取装置，其特征在于，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现权利要求1-7任一项所述方法。
10.一种计算机可读存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在由处理器执行时用于执行如权利要求1-7任一项所述方法。
CN202210300135.4A 2022-03-25 2022-03-25 一种避障机械臂抓取方法、***、装置及存储介质 Active CN114851187B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210300135.4A CN114851187B (zh) 2022-03-25 2022-03-25 一种避障机械臂抓取方法、***、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210300135.4A CN114851187B (zh) 2022-03-25 2022-03-25 一种避障机械臂抓取方法、***、装置及存储介质

Publications (2)

Publication Number Publication Date
CN114851187A CN114851187A (zh) 2022-08-05
CN114851187B true CN114851187B (zh) 2023-07-07

Family

ID=82629604

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210300135.4A Active CN114851187B (zh) 2022-03-25 2022-03-25 一种避障机械臂抓取方法、***、装置及存储介质

Country Status (1)

Country Link
CN (1) CN114851187B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107907593A (zh) * 2017-11-22 2018-04-13 中南大学 一种超声检测中机械手防碰撞方法
CN109767495A (zh) * 2017-11-09 2019-05-17 达索***公司 3d部件的增材制造
CN112873205A (zh) * 2021-01-15 2021-06-01 陕西工业职业技术学院 基于双夹具实时切换的工业机器人无序抓取方法
CN113192128A (zh) * 2021-05-21 2021-07-30 华中科技大学 一种结合自监督学习的机械臂抓取规划方法和***
CN113492402A (zh) * 2020-04-03 2021-10-12 发那科株式会社 具有距离场的快速机器人运动优化
CN114140508A (zh) * 2021-11-26 2022-03-04 浪潮电子信息产业股份有限公司 一种三维重建模型生成的方法、***、设备及可读存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010082378A1 (ja) * 2009-01-15 2010-07-22 三菱電機株式会社 衝突判定装置および衝突判定プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109767495A (zh) * 2017-11-09 2019-05-17 达索***公司 3d部件的增材制造
CN107907593A (zh) * 2017-11-22 2018-04-13 中南大学 一种超声检测中机械手防碰撞方法
CN113492402A (zh) * 2020-04-03 2021-10-12 发那科株式会社 具有距离场的快速机器人运动优化
CN112873205A (zh) * 2021-01-15 2021-06-01 陕西工业职业技术学院 基于双夹具实时切换的工业机器人无序抓取方法
CN113192128A (zh) * 2021-05-21 2021-07-30 华中科技大学 一种结合自监督学习的机械臂抓取规划方法和***
CN114140508A (zh) * 2021-11-26 2022-03-04 浪潮电子信息产业股份有限公司 一种三维重建模型生成的方法、***、设备及可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
面向物流分拣任务的自主抓取机器人***;马灼明;朱笑笑;孙明镜;曹其新;;机械设计与研究(第06期);全文 *

Also Published As

Publication number Publication date
CN114851187A (zh) 2022-08-05

Similar Documents

Publication Publication Date Title
CN109986560B (zh) 一种面向多目标种类的机械臂自适应抓取方法
CN111251295B (zh) 一种应用于参数化零件的视觉机械臂抓取方法及装置
JP5558585B2 (ja) ワーク取り出し装置
JP6036662B2 (ja) ロボットシミュレーション装置、プログラム、記録媒体及び方法
CN113409384B (zh) 一种目标物体的位姿估计方法和***、机器人
CN107138432B (zh) 非刚性物体分拣方法和装置
CN111085997A (zh) 基于点云获取和处理的抓取训练方法及***
CN110634161A (zh) 一种基于点云数据的工件位姿快速高精度估算方法及装置
CN108818530A (zh) 基于改进rrt算法的机械臂抓取散乱堆放活塞运动规划方法
Valencia et al. A 3D vision based approach for optimal grasp of vacuum grippers
JP2023059828A (ja) マシンテンディングのための把握生成
Tang et al. Learning collaborative pushing and grasping policies in dense clutter
CN110097599B (zh) 一种基于部件模型表达的工件位姿估计方法
CN113034600A (zh) 基于模板匹配的无纹理平面结构工业零件识别和6d位姿估计方法
CN114387513A (zh) 机器人抓取方法、装置、电子设备及存储介质
JP2022187983A (ja) 高次元のロボット作業を学習するためのネットワークモジュール化
CN114851187B (zh) 一种避障机械臂抓取方法、***、装置及存储介质
CN113538576A (zh) 基于双臂机器人的抓取方法、装置及双臂机器人
JP7373700B2 (ja) 画像処理装置、ビンピッキングシステム、画像処理方法、画像処理プログラム、制御方法及び制御プログラム
CN115861780B (zh) 一种基于yolo-ggcnn的机械臂检测抓取方法
CN111462232A (zh) 一种物体抓取方法、装置和存储介质
CN116276973A (zh) 基于深度学习的视觉感知抓取训练方法
CN116000966A (zh) 一种工件抓取方法、装置、设备和存储介质
Alenya et al. 3d object reconstruction from swissranger sensor data using a spring-mass model
Zhang et al. Object detection and grabbing based on machine vision for service robot

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240221

Address after: 510641 Industrial Building, Wushan South China University of Technology, Tianhe District, Guangzhou City, Guangdong Province

Patentee after: Guangzhou South China University of Technology Asset Management Co.,Ltd.

Country or region after: China

Address before: 510641 No. five, 381 mountain road, Guangzhou, Guangdong, Tianhe District

Patentee before: SOUTH CHINA University OF TECHNOLOGY

Country or region before: China

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240401

Address after: 518057, Building 4, 512, Software Industry Base, No. 19, 17, and 18 Haitian Road, Binhai Community, Yuehai Street, Nanshan District, Shenzhen City, Guangdong Province

Patentee after: Cross dimension (Shenzhen) Intelligent Digital Technology Co.,Ltd.

Country or region after: China

Address before: 510641 Industrial Building, Wushan South China University of Technology, Tianhe District, Guangzhou City, Guangdong Province

Patentee before: Guangzhou South China University of Technology Asset Management Co.,Ltd.

Country or region before: China

TR01 Transfer of patent right