CN112297013A - 一种基于数字孪生和深度神经网络的机器人智能抓取方法 - Google Patents

一种基于数字孪生和深度神经网络的机器人智能抓取方法 Download PDF

Info

Publication number
CN112297013A
CN112297013A CN202011257588.0A CN202011257588A CN112297013A CN 112297013 A CN112297013 A CN 112297013A CN 202011257588 A CN202011257588 A CN 202011257588A CN 112297013 A CN112297013 A CN 112297013A
Authority
CN
China
Prior art keywords
grabbing
robot
neural network
network
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011257588.0A
Other languages
English (en)
Other versions
CN112297013B (zh
Inventor
胡伟飞
王楚璇
刘振宇
谭建荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202011257588.0A priority Critical patent/CN112297013B/zh
Publication of CN112297013A publication Critical patent/CN112297013A/zh
Application granted granted Critical
Publication of CN112297013B publication Critical patent/CN112297013B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Automation & Control Theory (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于数字孪生和深度神经网络的机器人智能抓取方法，其包括物理抓取环境、虚拟识别环境以及核心神经网络部分；物理环境由深度相机、机器人、机械爪以及被抓取物体构成，是抓取的主要执行机构；虚拟识别环境由深度相机构建的点云文件和机器人、爪相关姿态构成，是机器人状态、机械爪位置、相机姿态、物体摆放位置的虚拟环境集合；核心神经网络包括抓取生成网络和抓取识别网络，对抓取方式进行采样判别并生成最优的抓取姿态。本发明的机器人智能抓取方法，能够基于相机采集到的颜色‑深度图像，快速高效判断最佳抓取位置和姿态。

Description

一种基于数字孪生和深度神经网络的机器人智能抓取方法
技术领域
本发明属于数字孪生智能制造领域，尤其涉及一种基于数字孪生和深度神经网络的机器人智能抓取方法。
背景技术
Digital Twin数字孪生技术：是充分利用物理模型、传感器更新、运行历史等数据，集成多学科、多物理量、多尺度、多概率的仿真过程，在虚拟世界中完成物理世界的映射，从而反映相对应的实体装备的全生命周期过程。数字孪生可以被视为一个或多个重要的、彼此依赖的装备***的数字映射***，其是物理世界与虚拟世界进行交互与融合的纽带。
工业3.0的发展，初步的自动化机器人承担起了重复枯燥低智能的劳动，将人类解放了出来。机械臂是工业中最常见的机器人之一，目前机械臂在工业环境中甚至家庭医院中都有着广泛的应用，而抓取并移动物体，是机械臂最重要的工作之一。机械臂的优点是针对给定的任务，可以以高精度快速地完成，在物***置和形状姿态均固定时，合理设置机械臂的动作可以高效完成抓取。
但是随着工业4.0的潮流和发展，上述方法显现出以下问题：机器人不仅要求能够胜任重复的任务，更被希望能在一定程度上完成复杂任务，拥有应对环境变化的能力。当物体的摆放姿态较为凌乱时，抓取工作就会变得相当困难，即机械臂传统的开环控制对环境的变化抵抗能力基本为零，难以应对复杂智能产线下多变的环境和智能生产需求。
发明内容
针对现有技术的不足，本发明提供一种基于数字孪生和深度神经网络的机器人智能抓取方法，具体技术方案如下：
一种基于数字孪生和深度神经网络的机器人智能抓取方法，所述的机器人智能抓取包括物理抓取环境、虚拟抓取判别环境和抓取决策神经网络；
所述物理抓取环境包括物理机器人、机械爪、深度相机以及待抓取物体集合；所述机械爪为二指平行自适应夹爪；
所述虚拟抓取判别环境为上位机通过与物理硬件进行虚实信息传递所构建的虚拟抓取环境，包括机器人状态、夹爪状态、深度相机姿态以及物体摆放点云信息；
所述抓取决策神经网络均为深度卷积神经网络，运行在上位机中，其包括抓取姿态生成网络以及抓取质量判别网络；
所述的机器人智能抓取方法具体包括如下步骤：
(1)根据现有的机器人智能抓取数据集给出的颜色-深度图像和成功进行物体抓取的抓取框，对其中的抓取质量Q、抓取角度
Figure BDA0002773550860000022
抓取开度W、抓取深度H四个参数进行预处理，得到抓取姿态生成网络的训练集；
(2)根据所述的训练集训练抓取姿态生成网络；
(3)将所述深度相机拍摄的物体深度点云图片和物体彩色照片所组成的4通道图像输入训练好的抓取姿态生成网络中，输出与输入图像长宽一致的四张单通道特征图像；
(4)从所述抓取决策神经网络输出的图像中选取抓取成功概率较高的图像，对这些图像进行旋转、缩放与深度归零的处理后，输入所述的抓取质量判别网络，输出每次抓取的评分；
(5)选择评分最高的抓取作为最终的抓取，结合虚拟抓取环境中的相机姿态、机器人姿态以及相机内参，将所述抓取决策神经网络所判断出的深度相机坐标系下的最佳2.5D抓取姿态，转化到机器人基坐标系下的3D抓取姿态，并控制机器人和机械爪完成对物体的抓取。
进一步地，所述的步骤(1)中的预处理包括：
将每个抓取框的沿着抓取宽度的中心的1/3部分的抓取质量q设定为1，其他部分设定为0；
将每个抓取框中相对于图片的转动角度处于抓取框中心1/3处填充其抓取角度φ，取值在
Figure BDA0002773550860000021
内；
将每个抓取框的像素宽度位于抓取框中心1/3处填充其抓取开度w,取值在[0，150]内；
计算每个抓取框包围范围中深度图像的平均深度，并将这个平均深度作为抓取深度填充进抓取框中心1/3处。
进一步地，所述的抓取姿态生成网络为通过遗传算法对卷积层数为6的抓取生成神经网络进行离散优化得到的拥有16个卷积层的高精度深度卷积神经网络。
进一步地，所述的抓取质量判别网络为全卷积神经网络，以4自由度评估抓取候选对象，即抓取的三维位置和绕z轴旋转的角度判别抓取的质量判别抓取是否成功。
进一步地，所述的机器人状态包括机器人几何信息、各关节角度信息、机器人运动最大速度与最大加速度以及机器人工作状态；所述的夹爪状态包括当前夹爪开度以及夹爪工作状态；所述的深度相机姿态为深度相机坐标系相对于机器人基坐标系的位置和姿态，共6个自由度；所述的物体摆放点云信息为物体集合相对于相机坐标系的位置和姿态。
本发明的有益效果如下：
(1)本发明采用数字孪生方法进行虚实空间的数据交互，确保了多维数据传输的真实性和可靠性；针对抓取动作的多要素定义为抓取提供了可靠保障，确保了对物体抓取时的精度，最大可能地规避了抓取时因碰撞而导致的失败；针对抓取生成网络的结构优化，大大提升了抓取生成网络的学习能力和泛化能力，确保针对不同物体都能预测出较为优异的候选抓取；通过抓取质量判断网络进行抓取的二次判别，通过深度点云信息再次验证抓取的可靠性，给出更贴近真实情况的抓取质量，再次确保了抓取的成功率。
(2)相比于其他智能抓取方法，本发明提出的抓取决策网络避免了在颜色-深度图片中进行候选抓取的采样，通过全卷积神经网络同时完成抓取的获取和质量判断，大大提升了抓取预测的速度。抓取生成网络的结构设计避免了人为经验因素，通过遗传算法寻求抓取情况下最优网络结构的构建方法，提升了网络的精度。通过对颜色-深度多维图片的处理，可以规避相机的误差，从而提升抓取的鲁棒性。相比于其他方法的单次判断，本发明提出的抓取二重判断后决策，使得最优抓取更贴近真实情况。
本发明的智能抓取方法利用大量已知的数据，即机器人环境和需要夹取的物体和夹取方法，基于深度学习总结数据分布规律，得到数据特征从而将已知的物体特征泛化到更广泛的物体类别中去，使得机器人拥有一定的智能挑选能力。将机器人高精度机械结构与深度学习高鲁棒性的特点结合，在没有给出特定任务或者待分拣物体形状较为复杂，环境较为多变的场合，使机器人实现智能可靠的抓取行为。
附图说明
图1为本发明的抓取流程示意图；
图2为物理抓取环境的示意图；
图3为抓取决策网络工作流程图；
图4为抓取生成网络训练数据处理方式示意图；
图5为抓取生成网络最优结构(上)与抓取质量判别网络结构(下)的示意图。
具体实施方式
下面根据附图和优选实施例详细描述本发明，本发明的目的和效果将变得更加明白，应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所述，本发明的基于数字孪生和深度神经网络的机器人智能抓取方法，所述的机器人智能抓取包括物理抓取环境、虚拟抓取判别环境和抓取决策神经网络。
如图2所示，所述物理抓取环境包括物理机器人、二指平行自适应夹爪、深度相机以及待抓取物体集合；机器人和二指平行自适应夹爪是抓取的主要执行机构，并且负责向上位机传输位置和姿态信息。
所述抓取决策神经网络均为深度卷积神经网络，运行在上位机中，其包括抓取姿态生成网络以及抓取质量判别网络；抓取决策神经网络通过相机给出的信息产生并选择最佳抓取，并通过虚拟环境信息将最佳抓取映射到物理环境中，驱动机器人进行抓取。
图2给出了本发明所依赖的主要物理环境，机器人为6轴协作机器人，深度相机为可以采集彩色图片和2.5D深度点云图片的相机，待抓取物体集合为一个或者多个在机器人工作空间中一水平平面上随机摆放的物体。深度相机摆放方式是眼在手上，即相机相对于机器人末端是固定的。通过机器人可以获取工具坐标系的相关姿态，通过相机坐标系到工具坐标系的手眼标定，可以获取深度相机的位置和姿态，从而确定当前物理环境中主要硬件的姿态和工作状态，并得到待抓取物体摆放的相关点云信息。
所述虚拟抓取判别环境为上位机通过与物理硬件进行虚实信息传递所构建的虚拟抓取环境，包括机器人状态、夹爪状态、深度相机姿态以及物体摆放点云信息。所述虚拟抓取判别环境中机器人状态包括机器人几何信息、各关节角度信息、机器人运动最大速度与最大加速度以及机器人工作状态；夹爪状态包括当前夹爪开度以及夹爪工作状态；深度相机姿态为深度相机坐标系相对于机器人基坐标系的位置和姿态，共6个自由度；物体摆放信息为物体集合相对于相机坐标系的位置和姿态。
如图3所示，为抓取决策网络的示意图，分为抓取姿态生成网络以及抓取质量判别网络。
对于抓取生成网络，给出由同一个深度相机产生的RGB图像Pc和深度图像Pd，其任务是对图片上给出的物体进行识别和抓取。在此，网络考虑的抓取都是垂直于物体放置平面的，即物体放置在水平面上，且机械爪垂直于水平面进行抓取。将Pc(彩色图片，由RGB三通道构成)和Pd(深度图片，仅深度一个通道)组成的RGB-D图片称为Ps。
用g＝(p，φ，w，h，q)来定义图片空间中，垂直于水平面的一次抓取。其中，p＝(u，v)决定抓取的像素位置，φ定义抓取时机械爪绕竖直方向的旋转角度，w定义抓取时夹爪的开度，h定义了抓取时夹爪的下落高度，q定义抓取位置的质量。q的值越大，说明在该抓取位置进行抓取成功的可能性就越大。
抓取生成网络对输入图片的每一个像素点，都进行抓取的预测，并给出在这个像素点进行抓取时需要的抓取角度、抓取宽度、抓取深度，以及这个像素点抓取成功的可能性。在图3抓取生成网络输出的四张特征图像G＝{Φ，W，H，Q}∈RH×W×4中，每个图像(u，v)像素中的像素值，就代表了相应的抓取物理量，这些像素组合在一起，就形成了网络的输出。
为了达到这样的目的，需要处理数据集来训练抓取生成网络。在Cornellgraspingdataset开源数据集中，给出了抓取颜色-深度图像，并且给出了一些可以成功进行物体抓取的抓取框。如图4所示，对于抓取质量Q，每个抓取框沿着抓取宽度，中心的1/3部分，是适宜于抓取的位置，对这一部分，将抓取质量q设定为1。其他部分都认为是无法进行抓取的地方，因此对其抓取质量q设定为0.同样的，在Φ，W，H的生成中，对于抓取质量为0的区域，其抓取角度和开度也相应为0，不再认为其可以进行抓取。
对于抓取角度Φ，计算每个抓取框相对于图片的转动角度并在抓取框中心1/3处填充其抓取角度φ，取值在
Figure BDA0002773550860000051
内。为保证角度的一致性，采用对角度乘2后使用正余弦函数分别归一化，从而保证最后求解的角度时唯一的。对于抓取开度W，计算每个抓取框的像素宽度，并在抓取框中心1/3处填充其抓取开度w，取值在[0，150]内。对于抓取深度H，计算每个抓取框包围范围中深度图像的平均深度，并将这个平均深度作为抓取深度填充进抓取框中心1/3处。
通过以上处理得到训练集，并进行抓取生成网络的训练。由于不同的卷积神经网络体系结构和超参数对目标检测的准确性有很大的影响，因此利用遗传算法设计机器人抓取生成网络。通过对网络结构进行编码，并进行遗传算法基础的交叉变异操作，以网络最终精度选择个体，优化网络的结构，得到拥有16个卷积层的高精度深度卷积神经网络。抓取生成网络的精度越高，给出的抓取就越精确，成功抓取的可能性就越大。最终网络结构见图5的上半部分。
在这些抓取中，每个抓取的q值代表了这个抓取的初步评分。q值越大代表这个位置抓取成功的可能性越大。但是抓取生成网络无法保证对应的抓取深度、角度以及手爪开度预测精确。因此在抓取生成网络后补充了抓取质量判别网络。
所述抓取质量判别网络能够根据输入的深度图像输出抓取的质量。
抓取质量判别网络是一个全卷积神经网络，可以4自由度评估抓取候选对象，即抓取的三维位置和绕z轴旋转的角度判别抓取的质量，即抓取能否成功。网络利用加入随机噪声的三维分析模型合成数据集，并以此进行训练。在抓取生成网络所生成的307200个抓取姿态中，提取抓取成功概率单通道特征图像的极值点组成最多768个待评分抓取姿态。以每个抓取姿态的抓取位置为中心，裁剪出96*96区域的深度图像。训练时，采用描述单个抓取的96×96深度图像缩略图以及缩略图对应的抓取质量进行训练，其中心像素对齐于二指平行夹爪的中心。将相应的抓取深度从深度图像中减去，网络就可以判断出抓取器的三维位置。对于每一个位置，网络预测了一组16个的质量，每一个质量对应于一个均匀分布在-90°到90°之间的抓取旋转角。在实际应用中评价抓取质量时，抓取质量判别网络的全连接层通过权值一一映射，被转换为卷积层，使普通卷积神经网络转化为全卷积神经网络。如图5的下半部分。
抓取质量判别网络使用7个卷积层以及穿插在内的两个池化层，实现对抓取深度图片的特征判断。其能够将输入图片中每一个96×96的区域中心点判别为一个抓取的位置，并给出这个抓取位置中16个不同角度的抓取评分。经过挑选与抓取生产网络对应的角度位置，可以得出最终的抓取质量。
在图3中，从抓取生成网络的输出质量Q中，进行极大值采样，采样最小区域为20*20，获取该区块中抓取质量最高的像素，并从相应像素提取其他抓取要素组成候选抓取集合。
上位机选择评分最高的候选抓取作为最终的抓取。结合虚拟抓取环境中相机姿态、机器人姿态，以及相机内参，将决策神经网络所判断出的深度相机坐标系下的最佳2.5D抓取姿态，转化到机器人基坐标系下的3D抓取姿态，并控制机器人和机械爪完成对物体的抓取。
本领域普通技术人员可以理解，以上所述仅为发明的优选实例而已，并不用于限制发明，尽管参照前述实例对发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在发明的精神和原则之内，所做的修改、等同替换等均应包含在发明的保护范围之内。

Claims (5)

1.一种基于数字孪生和深度神经网络的机器人智能抓取方法，其特征在于，所述的机器人智能抓取包括物理抓取环境、虚拟抓取判别环境和抓取决策神经网络；
所述物理抓取环境包括物理机器人、机械爪、深度相机以及待抓取物体集合；所述机械爪为二指平行自适应夹爪；
所述虚拟抓取判别环境为上位机通过与物理硬件进行虚实信息传递所构建的虚拟抓取环境，包括机器人状态、夹爪状态、深度相机姿态以及物体摆放点云信息；
所述抓取决策神经网络均为深度卷积神经网络，运行在上位机中，其包括抓取姿态生成网络以及抓取质量判别网络。
所述的机器人智能抓取方法具体包括如下步骤：
(1)根据现有的机器人智能抓取数据集给出的颜色-深度图像和成功进行物体抓取的抓取框，对其中的抓取质量Q、抓取角度
Figure FDA0002773550850000013
抓取开度W、抓取深度H四个参数进行预处理，得到抓取姿态生成网络的训练集；
(2)根据所述的训练集训练抓取姿态生成网络；
(3)将所述深度相机拍摄的物体深度点云图片和物体彩色照片所组成的4通道图像输入训练好的抓取姿态生成网络中，输出与输入图像长宽一致的四张单通道特征图像；
(4)从所述抓取决策神经网络输出的图像中选取抓取成功概率较高的图像，对这些图像进行旋转、缩放与深度归零的处理后，输入所述的抓取质量判别网络，输出每次抓取的评分；
(5)选择评分最高的抓取作为最终的抓取，结合虚拟抓取环境中的相机姿态、机器人姿态以及相机内参，将所述抓取决策神经网络所判断出的深度相机坐标系下的最佳2.5D抓取姿态，转化到机器人基坐标系下的3D抓取姿态，并控制机器人和机械爪完成对物体的抓取。
2.根据权利要求1所述的基于数字孪生和深度神经网络的机器人智能抓取方法，其特征在于，所述的步骤(1)中的预处理包括：
将每个抓取框的沿着抓取宽度的中心的1/3部分的抓取质量q设定为1，其他部分设定为0；
将每个抓取框中相对于图片的转动角度处于抓取框中心1/3处填充其抓取角度φ，取值在
Figure FDA0002773550850000012
内；
将每个抓取框的像素宽度位于抓取框中心1/3处填充其抓取开度w,取值在[0，150]内；
计算每个抓取框包围范围中深度图像的平均深度，并将这个平均深度作为抓取深度填充进抓取框中心1/3处。
3.根据权利要求1所述的基于数字孪生和深度神经网络的机器人智能抓取方法，其特征在于，所述的抓取姿态生成网络为通过遗传算法对卷积层数为6的抓取生成神经网络进行离散优化得到的拥有16个卷积层的高精度深度卷积神经网络。
4.根据权利要求1所述的基于数字孪生和深度神经网络的机器人智能抓取方法，其特征在于，所述的抓取质量判别网络为全卷积神经网络，以4自由度评估抓取候选对象，即抓取的三维位置和绕z轴旋转的角度判别抓取的质量判别抓取是否成功。
5.根据权利要求1所述的基于数字孪生和深度神经网络的机器人智能抓取方法，其特征在于，所述的机器人状态包括机器人几何信息、各关节角度信息、机器人运动最大速度与最大加速度以及机器人工作状态；所述的夹爪状态包括当前夹爪开度以及夹爪工作状态；所述的深度相机姿态为深度相机坐标系相对于机器人基坐标系的位置和姿态，共6个自由度；所述的物体摆放点云信息为物体集合相对于相机坐标系的位置和姿态。
CN202011257588.0A 2020-11-11 2020-11-11 一种基于数字孪生和深度神经网络的机器人智能抓取方法 Active CN112297013B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011257588.0A CN112297013B (zh) 2020-11-11 2020-11-11 一种基于数字孪生和深度神经网络的机器人智能抓取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011257588.0A CN112297013B (zh) 2020-11-11 2020-11-11 一种基于数字孪生和深度神经网络的机器人智能抓取方法

Publications (2)

Publication Number Publication Date
CN112297013A true CN112297013A (zh) 2021-02-02
CN112297013B CN112297013B (zh) 2022-02-18

Family

ID=74325888

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011257588.0A Active CN112297013B (zh) 2020-11-11 2020-11-11 一种基于数字孪生和深度神经网络的机器人智能抓取方法

Country Status (1)

Country Link
CN (1) CN112297013B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113103227A (zh) * 2021-03-26 2021-07-13 北京航空航天大学 抓握姿态采集方法及抓握姿态采集***
CN113326666A (zh) * 2021-07-15 2021-08-31 浙江大学 基于卷积神经网络可微分结构搜寻的机器人智能抓取方法
CN113341728A (zh) * 2021-06-21 2021-09-03 长春工业大学 一种抗噪型归零神经网络的四轮移动机械臂轨迹跟踪控制方法
CN113436293A (zh) * 2021-07-13 2021-09-24 浙江大学 一种基于条件生成式对抗网络的智能抓取图像生成方法
CN113511503A (zh) * 2021-06-17 2021-10-19 北京控制工程研究所 一种自主智能的地外探测不确定物体采集与归集装箱方法
CN113752264A (zh) * 2021-09-30 2021-12-07 上海海事大学 基于数字孪生的机械臂智能装备控制方法及***
CN114789454A (zh) * 2022-06-24 2022-07-26 浙江大学 基于lstm和逆运动学的机器人数字孪生轨迹补全方法
CN115034147A (zh) * 2022-08-15 2022-09-09 天津天缘科技有限公司 一种基于数字孪生的智能制造***
CN115070780A (zh) * 2022-08-24 2022-09-20 北自所(北京)科技发展股份有限公司 基于数字孪生的工业机器人抓取方法、装置及存储介质
CN115841557A (zh) * 2023-02-23 2023-03-24 河南核工旭东电气有限公司 基于数字孪生技术的智能起重机操作环境构建方法
CN117103276A (zh) * 2023-10-07 2023-11-24 无锡斯帝尔科技有限公司 一种机器人精确抓取方法及其***

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170252924A1 (en) * 2016-03-03 2017-09-07 Google Inc. Deep machine learning methods and apparatus for robotic grasping
CN109508707A (zh) * 2019-01-08 2019-03-22 中国科学院自动化研究所 基于单目视觉的机器人稳定抓取物体的抓取点获取方法
CN109658413A (zh) * 2018-12-12 2019-04-19 深圳前海达闼云端智能科技有限公司 一种机器人目标物体抓取位置检测的方法
CN109693239A (zh) * 2018-12-29 2019-04-30 深圳市越疆科技有限公司 一种基于深度强化学习的机器人抓取方法
JP2019107725A (ja) * 2017-12-18 2019-07-04 国立大学法人信州大学 把持装置、学習装置、学習済みモデル、把持システム、判定方法、及び学習方法
CN111360862A (zh) * 2020-02-29 2020-07-03 华南理工大学 一种基于卷积神经网络的生成最佳抓取位姿的方法
CN111906782A (zh) * 2020-07-08 2020-11-10 西安交通大学 一种基于三维视觉的智能机器人抓取方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170252924A1 (en) * 2016-03-03 2017-09-07 Google Inc. Deep machine learning methods and apparatus for robotic grasping
JP2019107725A (ja) * 2017-12-18 2019-07-04 国立大学法人信州大学 把持装置、学習装置、学習済みモデル、把持システム、判定方法、及び学習方法
CN109658413A (zh) * 2018-12-12 2019-04-19 深圳前海达闼云端智能科技有限公司 一种机器人目标物体抓取位置检测的方法
CN109693239A (zh) * 2018-12-29 2019-04-30 深圳市越疆科技有限公司 一种基于深度强化学习的机器人抓取方法
CN109508707A (zh) * 2019-01-08 2019-03-22 中国科学院自动化研究所 基于单目视觉的机器人稳定抓取物体的抓取点获取方法
CN111360862A (zh) * 2020-02-29 2020-07-03 华南理工大学 一种基于卷积神经网络的生成最佳抓取位姿的方法
CN111906782A (zh) * 2020-07-08 2020-11-10 西安交通大学 一种基于三维视觉的智能机器人抓取方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
吴迎年等: "视觉伺服抓取***及其数字孪生***研究", 《计算机集成制造***》 *
王斌等: "基于深度图像和深度学习的机器人抓取检测算法研究", 《中国博士学位论文全文数据库 信息科技辑》 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113103227A (zh) * 2021-03-26 2021-07-13 北京航空航天大学 抓握姿态采集方法及抓握姿态采集***
CN113511503B (zh) * 2021-06-17 2022-09-23 北京控制工程研究所 一种自主智能的地外探测不确定物体采集与归集装箱方法
CN113511503A (zh) * 2021-06-17 2021-10-19 北京控制工程研究所 一种自主智能的地外探测不确定物体采集与归集装箱方法
CN113341728B (zh) * 2021-06-21 2022-10-21 长春工业大学 一种抗噪型归零神经网络的四轮移动机械臂轨迹跟踪控制方法
CN113341728A (zh) * 2021-06-21 2021-09-03 长春工业大学 一种抗噪型归零神经网络的四轮移动机械臂轨迹跟踪控制方法
CN113436293A (zh) * 2021-07-13 2021-09-24 浙江大学 一种基于条件生成式对抗网络的智能抓取图像生成方法
CN113436293B (zh) * 2021-07-13 2022-05-03 浙江大学 一种基于条件生成式对抗网络的智能抓取图像生成方法
CN113326666A (zh) * 2021-07-15 2021-08-31 浙江大学 基于卷积神经网络可微分结构搜寻的机器人智能抓取方法
CN113326666B (zh) * 2021-07-15 2022-05-03 浙江大学 基于卷积神经网络可微分结构搜寻的机器人智能抓取方法
CN113752264A (zh) * 2021-09-30 2021-12-07 上海海事大学 基于数字孪生的机械臂智能装备控制方法及***
CN114789454A (zh) * 2022-06-24 2022-07-26 浙江大学 基于lstm和逆运动学的机器人数字孪生轨迹补全方法
CN114789454B (zh) * 2022-06-24 2022-09-06 浙江大学 基于lstm和逆运动学的机器人数字孪生轨迹补全方法
CN115034147A (zh) * 2022-08-15 2022-09-09 天津天缘科技有限公司 一种基于数字孪生的智能制造***
CN115034147B (zh) * 2022-08-15 2022-10-28 天津天缘科技有限公司 一种基于数字孪生的智能制造***
CN115070780A (zh) * 2022-08-24 2022-09-20 北自所(北京)科技发展股份有限公司 基于数字孪生的工业机器人抓取方法、装置及存储介质
CN115070780B (zh) * 2022-08-24 2022-11-18 北自所(北京)科技发展股份有限公司 基于数字孪生的工业机器人抓取方法、装置及存储介质
CN115841557A (zh) * 2023-02-23 2023-03-24 河南核工旭东电气有限公司 基于数字孪生技术的智能起重机操作环境构建方法
CN117103276A (zh) * 2023-10-07 2023-11-24 无锡斯帝尔科技有限公司 一种机器人精确抓取方法及其***

Also Published As

Publication number Publication date
CN112297013B (zh) 2022-02-18

Similar Documents

Publication Publication Date Title
CN112297013B (zh) 一种基于数字孪生和深度神经网络的机器人智能抓取方法
CN111251295B (zh) 一种应用于参数化零件的视觉机械臂抓取方法及装置
CN111695562B (zh) 一种基于卷积神经网络的机器人自主抓取方法
CN110298886B (zh) 一种基于四级卷积神经网络的灵巧手抓取规划方法
CN108196453B (zh) 一种机械臂运动规划群体智能计算方法
CN110378325B (zh) 一种机器人抓取过程中的目标位姿识别方法
CN110428464B (zh) 基于深度学习的多类别乱序工件机器人抓取位姿估计方法
CN108247637A (zh) 一种工业机器人手臂视觉防撞操控方法
CN108818530A (zh) 基于改进rrt算法的机械臂抓取散乱堆放活塞运动规划方法
JP2020082322A (ja) 機械学習装置、機械学習システム、データ処理システム及び機械学習方法
JP7387117B2 (ja) 計算システム、方法及び非一時的コンピュータ可読媒体
CN111906782B (zh) 一种基于三维视觉的智能机器人抓取方法
CN110969660A (zh) 一种基于三维立体视觉和点云深度学习的机器人上料***
CN113034575A (zh) 一种模型构建方法、位姿估计方法及物体拣取装置
JP2022187984A (ja) モジュール化ニューラルネットワークを用いた把持学習
JP2022187983A (ja) 高次元のロボット作業を学習するためのネットワークモジュール化
CN114131603B (zh) 基于感知增强和场景迁移的深度强化学习机器人抓取方法
Dong et al. A review of robotic grasp detection technology
CN113664828A (zh) 一种基于深度强化学习的机器人抓取-抛掷方法
CN115861780B (zh) 一种基于yolo-ggcnn的机械臂检测抓取方法
CN113436293B (zh) 一种基于条件生成式对抗网络的智能抓取图像生成方法
CN114998573B (zh) 一种基于rgb-d特征深度融合的抓取位姿检测方法
Xu et al. Learning to reorient objects with stable placements afforded by extrinsic supports
CN114627359B (zh) 一种乱序堆叠工件抓取优先级评估方法
CN115194774A (zh) 一种基于多目视觉的双机械臂抓握***控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant