CN113326666A - 基于卷积神经网络可微分结构搜寻的机器人智能抓取方法 - Google Patents
基于卷积神经网络可微分结构搜寻的机器人智能抓取方法 Download PDFInfo
- Publication number
- CN113326666A CN113326666A CN202110802383.4A CN202110802383A CN113326666A CN 113326666 A CN113326666 A CN 113326666A CN 202110802383 A CN202110802383 A CN 202110802383A CN 113326666 A CN113326666 A CN 113326666A
- Authority
- CN
- China
- Prior art keywords
- neural network
- grabbing
- optimization
- calculation
- robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2113/00—Details relating to the application field
- G06F2113/28—Fuselage, exterior or interior
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Neurology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于卷积神经网络可微分结构搜寻的机器人智能抓取方法,该方法首先构造训练集和验证集,然后构建离散的链式搜索空间,并将其松弛化至连续,再通过将神经网络计算速度和精度同时作为优化目标,建立基于梯度的神经网络双层优化模型对抓取姿态神经网络进行优化,最终得到具有最优参数的抓取姿态生成网络。将新的RGB‑D图像输入训练后的网络,即可生成最佳抓取姿态。本发明的机器人智能抓取方法,通过全卷积神经网络完成抓取质量判断和抓取姿态生成,快速地提高了神经网络计算效率,解决了优化过程中计算量过大的问题。
Description
技术领域
本发明涉及机器人抓取算法领域,具体涉及一种基于卷积神经网络可微分结构搜寻的机器人智能抓取方法。
背景技术
机器人智能抓取多采用一个手眼机器人***自动抓取未知不同形状和颜色的物体,并放置到指定区域。实现机器人智能抓取的核心是从包含物体颜色形状信息的图像或者数字模型中得到有效的抓取姿态。
现有的机器人智能抓取方法可以分为物理分析和经验模型两种。物理分析方法通过力学分析方法直接从物体的三维模型中获取合适的抓取姿态,这类方法计算量较大,而且简化了很多现实世界中存在的约束,存在泛化效果较差、计算时间较长的问题。而经验模型方法则主要基于深度学习的方法通过数据集学习特定物体的抓取方式,其中主要是使用卷积神经网络处理物体的深度图像来预测抓取姿态。
但机器人智能抓取对卷积神经网络提出了更高的识别精度和更快的运算速度要求,目前大多数应用于机器人抓取的神经网络都是通过深度学习领域的专家依据专业知识和经验人工设计,耗费了大量的计算资源和时间成本。
发明内容
针对现有技术的不足,本发明公开一种基于卷积神经网络可微分结构搜寻的机器人智能抓取方法,具体技术方案如下:
一种基于卷积神经网络可微分结构搜寻的机器人智能抓取方法,该方法包括如下步骤:
(2)构造由多个节点组成的链式搜索空间,确定节点之间的候选卷积计算操作;
(3)松弛化离散的链式搜索空间至连续;
(4)将神经网络计算速度和精度同时作为优化目标,建立基于梯度的神经网络双层优化模型,所述双层优化模型包括内层优化和外层优化,其中,所述内层优化为采用训练集训练神经网络所有权重系数w;所述外层优化为根据训练后的神经网络所有权重系数w*,采用验证集训练神经网络操作变量α;
然后挑选操作变量α组成卷积神经网络,并用训练集重新训练权重系数,得到具有最优参数的抓取姿态生成网络;
(6)从步骤(5)得到的图像中选取抓取质量Q最大的像素点,把该像素点的位置作为抓取框的中心位置,再由上位机控制机器人和机械爪完成对物体的抓取。
进一步地,所述步骤(1)中的训练集和验证集的获得是基于现有的机器人智能抓取数据集给出的RGB-D图像和成功进行物体抓取的抓取框,生成每个像素点的抓取质量Q、抓取角度抓取开度W,并对这三个特征进行如下的预处理:
将每个抓取框沿着抓取宽度方向平均分为三部分,将位于中心的一部分填充抓取质量q为1,填充每个抓取框相对于图片的转动角度φ,填充抓取开度w;其中,φ取值在内,w取值在[0,150];将位于两侧的两个部分填充抓取质量q为0。
进一步地,所述链式搜索空间由多个节点组成,每个节点表示经过计算操作后的中间结果,节点之间通过有向箭头线进行连接,有向箭头线表示所有可能的候选神经网络计算操作;所述神经网络计算操作指两个节点之间采用不同尺寸的卷积核和不同数目的卷积层进行计算的操作;节点之间都采用链式连接方式,从而最大化地利用计算资源加快优化算法收敛速度。
进一步地,所述的步骤(3)松弛化离散的链式搜索空间至连续通过如下的步骤来实现:
将原先节点之间的操作都赋予归一化的连续变量α,使离散操作用连续变量α来表示;具体计算方法是将节点之间每个有向箭头线都乘以对应的变量α,然后将得到的结果求和作为最终的计算结果,计算公式为:
进一步地,所述内层优化为在所有神经网络节点之间操作变量α确定的情况下,采用训练集计算损失函数来训练神经网络所有权重系数w;
所述外层优化为基于训练后的神经网络所有权重系数w*,采用验证集计算损失函数来训练神经网络操作变量α;
具体计算如公式(2)和(3),其中,公式(3)是内层优化函数,公式(2)是外层优化函数:为了将计算精度与时间同时作为优化目标,在外层优化函数中引入了延迟因子,延时因子通过计算当前神经网络浮点计算数与目标神经网络浮点计算数的商来调整损失函数
进一步地,所述的步骤(4)中,为了使外层函数更快确定正确的收敛梯度,将内层函数计算迭代至接近收敛再更新外层函数;同时,通过观测多次内层函数迭代所得损失集来判断是否收敛,从而避免优化过程停止在局部最优解;内层函数的收敛标准定义如下:
其中,
其中,N为每组中的内层函数计算次数,Gk为第k个内层函数损失值集合,为第k个内层函数损失值集的均值,为第k个内层函数损失值集的最大值,为第k个内层函数损失值集的最小值,wi为第i个优化迭代所得网络的权重系数,ε1为损失函数集波动收敛阈值,ε2为损失函数集均值收敛阈值。
进一步地,所述的步骤(4)中,在优化完成后,对神经网络的操作变量α进行排序,挑选拥有最高α值的唯一操作或者挑选α值较高的前几个操作组成复合的卷积神经网络,并用训练集重新训练权重系数w,得到训练后的神经网络。
进一步地,所述机器人所在的物理抓取环境包括物理机器人、二指平行自适应夹爪、深度相机以及待抓取物体集合;所述二指平行自适应夹爪和深度相机均固定在所述物理机器人的末端,且运动过程中,两者的相对位置不变;所述二指平行自适应夹爪垂直于抓取平面。
本发明的有益效果如下:
(1)相比于其他智能抓取方法,本发明提出的抓取姿态生成网络避免了在颜色-深度图片中进行候选姿态采样以及候选抓取评估,通过全卷积神经网络完成抓取质量判断和抓取姿态生成,快速地提高了神经网络计算效率。
(2)本发明采用链式搜索框架,通过赋予网络节点之间操作变量,将离散网络结构寻优转化为连续变量寻优,建立了先训练网络权重后优化网络结构的神经网络双层优化模型,解决了优化过程中计算量过大的问题。
(3)本发明通过在外层优化函数中引入延迟因子,使得神经网络的计算速度也纳入优化目标中,实现精度和速度的同时优化,使得最优抓取更贴近实际工业场景。
附图说明
图1为本发明的机器人智能抓取示意图;
图2为物理抓取环境的示意图;
图3为抓取决策网络工作流程图;
图4为抓取生成网络训练数据处理方式示意图;
图5为抓取生成网络输入和输出示意图。
具体实施方式
下面根据附图和优选实施例详细描述本发明,本发明的目的和效果将变得更加明白,应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
如图1所示,本发明的智能抓取所需要的物理环境为手眼机器人、二指平行自适应夹爪、深度相机以及待抓取物体集合;手眼机器人和二指平行自适应夹爪是抓取的主要执行机构,并且负责向上位机传输位置和姿态信息;深度相机负责上上位机传输被抓物体的点云信息。在该实施例中,机器人为6轴协作机器人,深度相机为可以采集彩色图片和2.5D深度点云图片的相机,待抓取物体集合为一个或者多个在机器人工作空间中一水平平面上随机摆放的物体。深度相机摆放方式是眼在手上,即相机相对于机器人末端是固定的。通过机器人可以获取工具坐标系的相关姿态,通过相机坐标系到工具坐标系的手眼标定,可以获取深度相机的位置和姿态,从而确定当前物理环境中主要硬件的姿态和工作状态,并得到待抓取物体摆放的相关点云信息。
如图2和3所示,本发明的基于卷积神经网络可微分结构搜寻的机器人智能抓取方法运行在上位机中,通过构建抓取姿态神经网络,并通过基于梯度的神经网络双层优化模型对该神经网络进行优化,并将计算精度与时间均作为优化目标。
抓取姿态生成网络的任务是,输入由同一个深度相机产生的RGB图像Pc和深度图像Pd,实现对图片上给出的物体进行识别和抓取。该实施例中,网络考虑的抓取都是垂直于物体放置平面的,即物体放置在水平面上,且机械爪垂直于水平面进行抓取。将Pc(彩色图片,由RGB三通道构成)和Pd(深度图片,仅深度一个通道)组成的RGB-D图片称为Ps。
用g=(p,φ,w,q)来定义图片空间中,垂直于水平面的一次抓取。其中,p=(u,v)决定抓取的像素位置,φ定义抓取时机械爪绕竖直方向的旋转角度,w定义抓取时夹爪的开度,q定义抓取质量。q的值越大,说明在该抓取位置进行抓取成功的可能性就越大。
抓取姿态生成网络对输入图片的每一个像素点,都进行抓取的预测,并给出在这个像素点进行抓取时需要的抓取角度、抓取宽度,以及这个像素点抓取成功的概率。在图5抓取生成网络输出的三张特征图像G={Φ,W,Q}∈RH×W×3中,每个图像(u,v)像素中的像素值,就代表了相应的抓取物理量,这些像素组合在一起,就形成了网络的输出。
为了达到这样的目的,需要处理数据集来训练抓取生成网络。在Cornellgraspingdataset开源数据集中,给出了抓取颜色-深度图像,并且给出了一些可以成功进行物体抓取的抓取框。如图4所示,对开源数据集进行预处理,即对于抓取质量Q,每个抓取框沿着抓取宽度,中心的1/3部分,是适宜于抓取的位置,对这一部分,填充抓取质量q为1,填充每个抓取框相对于图片的转动角度φ,取值在内;填充抓取开度w,w取值在[0,150];其他部分都认为是无法进行抓取的地方,因此对其抓取质量q设定为0。同样的,在Φ,W的生成中,对于抓取质量为0的区域,其抓取角度和开度也相应为0,不再认为其可以进行抓取。
神经网络结构优化算法是一种基于梯度的神经网络结构优化算法,将计算精度与时间同时作为优化目标,从而得到一个兼具精度和速度的神经网络结构。
神经网络结构优化算法主要涉及搜索空间和搜索算法两方面。搜索空间是由多个节点以链式结构连接组成,每个节点表示经过计算操作后的中间结果,节点之间通过有向箭头线进行连接,有向箭头线表示所有可能的候选神经网络计算操作。为了最大的利用卷积的特性,所述神经网络计算操作指两个节点之间采用不同尺寸的卷积核和不同数目的卷积层进行计算的操作;节点之间都采用链式连接方式,从而最大化地利用计算资源加快优化算法收敛速度。
在确定了节点个数以及节点之间的候选操作后,通过将原先节点之间的操作都赋予归一化的变量α,使离散操作用连续变量α来表示,实现了离散搜索空间的松弛化和连续化,从而可以建立基于梯度的神经网络结构双层优化模型。具体计算方法是将节点之间每个有向箭头线都乘以对应的变量α,然后将得到的结果求和作为最终的计算结果,计算公式为:
所述双层优化模型包括内层优化和外层优化,其中,所述内层优化为采用训练集训练神经网络所有权重系数w;所述外层优化为根据训练后的神经网络所有权重系数w*,采用验证集训练神经网络操作变量α。
所述内层优化为在所有神经网络节点之间操作变量α确定的情况下,采用训练集计算损失函数来训练神经网络所有权重系数w;所述外层优化为基于训练后的神经网络所有权重系数w*,采用验证集计算损失函数来训练神经网络操作变量α;具体计算如公式(2)和(3),其中,公式(3)是内层优化函数,公式(2)是外层优化函数:为了将计算精度与时间同时作为优化目标,在外层优化函数中引入了延迟因子,延时因子通过计算当前神经网络浮点计算数与目标神经网络浮点计算数的商来调整损失函数
另外,为了使外层函数更快确定正确的收敛梯度,将内层函数计算迭代至接近收敛再更新外层函数;同时,通过观测多次内层函数迭代所得损失集来判断是否收敛,从而避免优化过程停止在局部最优解;内层函数的收敛标准定义如下:
其中,
其中,N为每组中的内层函数计算次数,Gk为第k个内层函数损失值集合,为第k个内层函数损失值集的均值,为第k个内层函数损失值集的最大值,为第k个内层函数损失值集的最小值,wi为第i个优化迭代所得网络的权重系数,ε1为损失函数集波动收敛阈值,ε2为损失函数集均值收敛阈值。
在优化完成后,对神经网络的操作变量α进行排序,挑选拥有最高α值的唯一操作或者挑选α值较高的前几个操作组成复合的卷积神经网络,并用训练集重新训练权重系数w,得到训练后的神经网络。
然后再将由位于机器人末端的深度相机拍摄的RGB-D图像输入具有最优参数的抓取姿态生成网络,输出与输入图像长宽一致的每一个像素点所对应的包含抓取质量Q、抓取角度抓取开度W的三张单通道特征图像。然后从这些图像中选取抓取质量Q最大的像素点,把该像素点的位置作为抓取框的中心位置,再由上位机控制机器人和机械爪完成对物体的抓取。如图5所示。
为了验证本发明的优越性,分别采用本发明的方法和现有的基于进化算法的神经网络结构优化算法(GA-RG)进行抓取来对比。进化算法是典型的离散优化算法,需要大量的优化时间,但是可以更加随机的进行神经网络结构优化。表1显示DARTS-RG与GA-RG在机器人智能抓取中的对比,可以看出,在没有引入延迟因子和引入延迟因子两种情况下,本发明的优化时间都远远小于GA-RG算法。且在没有引入延迟因子时,本发明的方法的抓取精度也大于GA-RG算法。
表1 GA-RG与DARTS-RG的性能对比
本领域普通技术人员可以理解,以上所述仅为发明的优选实例而已,并不用于限制发明,尽管参照前述实例对发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实例记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在发明的精神和原则之内,所做的修改、等同替换等均应包含在发明的保护范围之内。
Claims (8)
1.一种基于卷积神经网络可微分结构搜寻的机器人智能抓取方法,其特征在于,该方法包括如下步骤:
(2)构造由多个节点组成的链式搜索空间,确定节点之间的候选卷积计算操作;
(3)松弛化离散的链式搜索空间至连续;
(4)将神经网络计算速度和精度同时作为优化目标,建立基于梯度的神经网络双层优化模型,所述双层优化模型包括内层优化和外层优化,其中,所述内层优化为采用训练集训练神经网络所有权重系数w;所述外层优化为根据训练后的神经网络所有权重系数w*,采用验证集训练神经网络操作变量α;
然后挑选操作变量α组成卷积神经网络,并用训练集重新训练权重系数,得到具有最优参数的抓取姿态生成网络;
(6)从步骤(5)得到的图像中选取抓取质量Q最大的像素点,把该像素点的位置作为抓取框的中心位置,再由上位机控制机器人和机械爪完成对物体的抓取。
3.根据权利要求1所述的基于卷积神经网络可微分结构搜寻的机器人智能抓取方法,其特征在于,所述链式搜索空间由多个节点组成,每个节点表示经过计算操作后的中间结果,节点之间通过有向箭头线进行连接,有向箭头线表示所有可能的候选神经网络计算操作;所述神经网络计算操作指两个节点之间采用不同尺寸的卷积核和不同数目的卷积层进行计算的操作;节点之间都采用链式连接方式,从而最大化地利用计算资源加快优化算法收敛速度。
5.根据权利要求1所述的基于卷积神经网络可微分结构搜寻的机器人智能抓取方法,其特征在于,
所述内层优化为在所有神经网络节点之间操作变量α确定的情况下,采用训练集计算损失函数来训练神经网络所有权重系数w;
所述外层优化为基于训练后的神经网络所有权重系数w*,采用验证集计算损失函数来训练神经网络操作变量α;
具体计算如公式(2)和(3),其中,公式(3)是内层优化函数,公式(2)是外层优化函数:为了将计算精度与时间同时作为优化目标,在外层优化函数中引入了延迟因子,延时因子通过计算当前神经网络浮点计算数与目标神经网络浮点计算数的商来调整损失函数
7.根据权利要求6所述的基于卷积神经网络可微分结构搜寻的机器人智能抓取方法,其特征在于,所述的步骤(4)中,在优化完成后,对神经网络的操作变量α进行排序,挑选拥有最高α值的唯一操作或者挑选α值较高的前几个操作组成复合的卷积神经网络,并用训练集重新训练权重系数w,得到训练后的神经网络。
8.根据权利要求1所述的卷积神经网络可微分结构搜寻的机器人智能抓取方法,其特征在于,所述机器人所在的物理抓取环境包括物理机器人、二指平行自适应夹爪、深度相机以及待抓取物体集合;所述二指平行自适应夹爪和深度相机均固定在所述物理机器人的末端,且运动过程中,两者的相对位置不变;所述二指平行自适应夹爪垂直于抓取平面。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110802383.4A CN113326666B (zh) | 2021-07-15 | 2021-07-15 | 基于卷积神经网络可微分结构搜寻的机器人智能抓取方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110802383.4A CN113326666B (zh) | 2021-07-15 | 2021-07-15 | 基于卷积神经网络可微分结构搜寻的机器人智能抓取方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113326666A true CN113326666A (zh) | 2021-08-31 |
CN113326666B CN113326666B (zh) | 2022-05-03 |
Family
ID=77426450
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110802383.4A Active CN113326666B (zh) | 2021-07-15 | 2021-07-15 | 基于卷积神经网络可微分结构搜寻的机器人智能抓取方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113326666B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108510062A (zh) * | 2018-03-29 | 2018-09-07 | 东南大学 | 一种基于级联卷积神经网络的机器人非规则物体抓取位姿快速检测方法 |
WO2020075423A1 (ja) * | 2018-10-10 | 2020-04-16 | ソニー株式会社 | ロボット制御装置、ロボット制御方法及びロボット制御プログラム |
US20200164505A1 (en) * | 2018-11-27 | 2020-05-28 | Osaro | Training for Robot Arm Grasping of Objects |
CN111360862A (zh) * | 2020-02-29 | 2020-07-03 | 华南理工大学 | 一种基于卷积神经网络的生成最佳抓取位姿的方法 |
US20210023720A1 (en) * | 2018-12-12 | 2021-01-28 | Cloudminds (Shenzhen) Robotics Systems Co., Ltd. | Method for detecting grasping position of robot in grasping object |
CN112297013A (zh) * | 2020-11-11 | 2021-02-02 | 浙江大学 | 一种基于数字孪生和深度神经网络的机器人智能抓取方法 |
EP3812107A1 (en) * | 2019-10-21 | 2021-04-28 | Canon Kabushiki Kaisha | Robot control device, and method and program for controlling the same |
-
2021
- 2021-07-15 CN CN202110802383.4A patent/CN113326666B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108510062A (zh) * | 2018-03-29 | 2018-09-07 | 东南大学 | 一种基于级联卷积神经网络的机器人非规则物体抓取位姿快速检测方法 |
WO2020075423A1 (ja) * | 2018-10-10 | 2020-04-16 | ソニー株式会社 | ロボット制御装置、ロボット制御方法及びロボット制御プログラム |
US20200164505A1 (en) * | 2018-11-27 | 2020-05-28 | Osaro | Training for Robot Arm Grasping of Objects |
US20210023720A1 (en) * | 2018-12-12 | 2021-01-28 | Cloudminds (Shenzhen) Robotics Systems Co., Ltd. | Method for detecting grasping position of robot in grasping object |
EP3812107A1 (en) * | 2019-10-21 | 2021-04-28 | Canon Kabushiki Kaisha | Robot control device, and method and program for controlling the same |
CN111360862A (zh) * | 2020-02-29 | 2020-07-03 | 华南理工大学 | 一种基于卷积神经网络的生成最佳抓取位姿的方法 |
CN112297013A (zh) * | 2020-11-11 | 2021-02-02 | 浙江大学 | 一种基于数字孪生和深度神经网络的机器人智能抓取方法 |
Non-Patent Citations (2)
Title |
---|
刘飞香: "管片拼装机抓取和拼装智能化研究", 《铁道建筑》 * |
王斌等: "基于深度图像和深度学习的机器人抓取检测算法研究", 《中国博士学位论文全文数据库 信息科技辑》 * |
Also Published As
Publication number | Publication date |
---|---|
CN113326666B (zh) | 2022-05-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Karaoguz et al. | Object detection approach for robot grasp detection | |
CN108491880B (zh) | 基于神经网络的物体分类和位姿估计方法 | |
Sadeghi et al. | Sim2real viewpoint invariant visual servoing by recurrent control | |
CN111079561B (zh) | 一种基于虚拟训练的机器人智能抓取方法 | |
CN110298886B (zh) | 一种基于四级卷积神经网络的灵巧手抓取规划方法 | |
CN112297013B (zh) | 一种基于数字孪生和深度神经网络的机器人智能抓取方法 | |
CN110125930B (zh) | 一种基于机器视觉和深度学习的机械臂抓取控制方法 | |
CN110785268B (zh) | 用于语义机器人抓取的机器学习方法和装置 | |
JP6964857B2 (ja) | 画像認識装置、画像認識方法、コンピュータプログラム、及び製品監視システム | |
CN112605983B (zh) | 一种适用于密集环境下的机械臂推抓*** | |
CN110238840B (zh) | 一种基于视觉的机械臂自主抓取方法 | |
JP6671694B1 (ja) | 機械学習装置、機械学習システム、データ処理システム及び機械学習方法 | |
CN113341706B (zh) | 基于深度强化学习的人机协作流水线*** | |
CN111300431B (zh) | 面向跨场景的机器人视觉模仿学习方法及*** | |
CN111476771A (zh) | 一种基于距离对抗生成网络的领域自适应方法及*** | |
Chen et al. | Combining reinforcement learning and rule-based method to manipulate objects in clutter | |
CN112686282A (zh) | 一种基于自学习数据的目标检测方法 | |
CN114387513A (zh) | 机器人抓取方法、装置、电子设备及存储介质 | |
CN114140418A (zh) | 一种基于rgb图像和深度图像的七自由度抓取姿势检测方法 | |
Yan et al. | Learning probabilistic multi-modal actor models for vision-based robotic grasping | |
Chen et al. | Towards generalization and data efficient learning of deep robotic grasping | |
CN113326666B (zh) | 基于卷积神经网络可微分结构搜寻的机器人智能抓取方法 | |
CN111496794B (zh) | 一种基于仿真工业机器人的运动学自抓取学习方法和*** | |
CN114998573B (zh) | 一种基于rgb-d特征深度融合的抓取位姿检测方法 | |
CN113436293B (zh) | 一种基于条件生成式对抗网络的智能抓取图像生成方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |