CN113326666B - 基于卷积神经网络可微分结构搜寻的机器人智能抓取方法 - Google Patents

基于卷积神经网络可微分结构搜寻的机器人智能抓取方法 Download PDF

Info

Publication number
CN113326666B
CN113326666B CN202110802383.4A CN202110802383A CN113326666B CN 113326666 B CN113326666 B CN 113326666B CN 202110802383 A CN202110802383 A CN 202110802383A CN 113326666 B CN113326666 B CN 113326666B
Authority
CN
China
Prior art keywords
neural network
grabbing
optimization
calculation
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110802383.4A
Other languages
English (en)
Other versions
CN113326666A (zh
Inventor
胡伟飞
焦清
邵金毅
王楚璇
刘振宇
谭建荣
刘飞香
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
China Railway Construction Heavy Industry Group Co Ltd
Original Assignee
Zhejiang University ZJU
China Railway Construction Heavy Industry Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU, China Railway Construction Heavy Industry Group Co Ltd filed Critical Zhejiang University ZJU
Priority to CN202110802383.4A priority Critical patent/CN113326666B/zh
Publication of CN113326666A publication Critical patent/CN113326666A/zh
Application granted granted Critical
Publication of CN113326666B publication Critical patent/CN113326666B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2113/00—Details relating to the application field
    • G06F2113/28—Fuselage, exterior or interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于卷积神经网络可微分结构搜寻的机器人智能抓取方法，该方法首先构造训练集和验证集，然后构建离散的链式搜索空间，并将其松弛化至连续，再通过将神经网络计算速度和精度同时作为优化目标，建立基于梯度的神经网络双层优化模型对抓取姿态神经网络进行优化，最终得到具有最优参数的抓取姿态生成网络。将新的RGB‑D图像输入训练后的网络，即可生成最佳抓取姿态。本发明的机器人智能抓取方法，通过全卷积神经网络完成抓取质量判断和抓取姿态生成，快速地提高了神经网络计算效率，解决了优化过程中计算量过大的问题。

Description

基于卷积神经网络可微分结构搜寻的机器人智能抓取方法
技术领域
本发明涉及机器人抓取算法领域，具体涉及一种基于卷积神经网络可微分结构搜寻的机器人智能抓取方法。
背景技术
机器人智能抓取多采用一个手眼机器人***自动抓取未知不同形状和颜色的物体，并放置到指定区域。实现机器人智能抓取的核心是从包含物体颜色形状信息的图像或者数字模型中得到有效的抓取姿态。
现有的机器人智能抓取方法可以分为物理分析和经验模型两种。物理分析方法通过力学分析方法直接从物体的三维模型中获取合适的抓取姿态，这类方法计算量较大，而且简化了很多现实世界中存在的约束，存在泛化效果较差、计算时间较长的问题。而经验模型方法则主要基于深度学习的方法通过数据集学习特定物体的抓取方式，其中主要是使用卷积神经网络处理物体的深度图像来预测抓取姿态。
但机器人智能抓取对卷积神经网络提出了更高的识别精度和更快的运算速度要求，目前大多数应用于机器人抓取的神经网络都是通过深度学习领域的专家依据专业知识和经验人工设计，耗费了大量的计算资源和时间成本。
发明内容
针对现有技术的不足，本发明公开一种基于卷积神经网络可微分结构搜寻的机器人智能抓取方法，具体技术方案如下：
一种基于卷积神经网络可微分结构搜寻的机器人智能抓取方法，该方法包括如下步骤：
(1)构建抓取姿态生成网络的训练集和验证集，所述训练集和验证集均包括网络输入和输出，所述网络输入为RGB-D图像，输出为每个像素点对应的抓取质量Q、抓取角度
Figure BDA0003165172910000011
抓取开度W；
(2)构造由多个节点组成的链式搜索空间，确定节点之间的候选卷积计算操作；
(3)松弛化离散的链式搜索空间至连续；
(4)将神经网络计算速度和精度同时作为优化目标，建立基于梯度的神经网络双层优化模型，所述双层优化模型包括内层优化和外层优化，其中，所述内层优化为采用训练集训练神经网络所有权重系数w；所述外层优化为根据训练后的神经网络所有权重系数w*，采用验证集训练神经网络操作变量α；
然后挑选操作变量α组成卷积神经网络，并用训练集重新训练权重系数，得到具有最优参数的抓取姿态生成网络；
(5)将由位于机器人末端的深度相机拍摄的RGB-D图像输入具有最优参数的抓取姿态生成网络，输出与输入图像长宽一致的每一个像素点所对应的包含抓取质量Q、抓取角度
Figure BDA0003165172910000021
抓取开度W的三张单通道特征图像；
(6)从步骤(5)得到的图像中选取抓取质量Q最大的像素点，把该像素点的位置作为抓取框的中心位置，再由上位机控制机器人和机械爪完成对物体的抓取。
进一步地，所述步骤(1)中的训练集和验证集的获得是基于现有的机器人智能抓取数据集给出的RGB-D图像和成功进行物体抓取的抓取框，生成每个像素点的抓取质量Q、抓取角度
Figure BDA0003165172910000022
抓取开度W，并对这三个特征进行如下的预处理：
将每个抓取框沿着抓取宽度方向平均分为三部分，将位于中心的一部分填充抓取质量q为1，填充每个抓取框相对于图片的转动角度φ，填充抓取开度w；其中，φ取值在
Figure BDA0003165172910000023
内，w取值在[0，150]；将位于两侧的两个部分填充抓取质量q为0。
进一步地，所述链式搜索空间由多个节点组成，每个节点表示经过计算操作后的中间结果，节点之间通过有向箭头线进行连接，有向箭头线表示所有可能的候选神经网络计算操作；所述神经网络计算操作指两个节点之间采用不同尺寸的卷积核和不同数目的卷积层进行计算的操作；节点之间都采用链式连接方式，从而最大化地利用计算资源加快优化算法收敛速度。
进一步地，所述的步骤(3)松弛化离散的链式搜索空间至连续通过如下的步骤来实现：
将原先节点之间的操作都赋予归一化的连续变量α，使离散操作用连续变量α来表示；具体计算方法是将节点之间每个有向箭头线都乘以对应的变量α，然后将得到的结果求和作为最终的计算结果，计算公式为：
Figure BDA0003165172910000024
其中，e为自然对数，xj为第j个节点的输出，
Figure BDA0003165172910000025
为第j个节点中第i个操作变量，
Figure BDA0003165172910000026
为第j个节点中第i个操作方程；
Figure BDA0003165172910000027
第j个节点中包含的操作数目。
进一步地，所述内层优化为在所有神经网络节点之间操作变量α确定的情况下，采用训练集计算损失函数来训练神经网络所有权重系数w；
所述外层优化为基于训练后的神经网络所有权重系数w*，采用验证集计算损失函数来训练神经网络操作变量α；
具体计算如公式(2)和(3)，其中，公式(3)是内层优化函数，公式(2)是外层优化函数：为了将计算精度与时间同时作为优化目标，在外层优化函数中引入了延迟因子，延时因子通过计算当前神经网络浮点计算数与目标神经网络浮点计算数的商来调整损失函数
Figure BDA0003165172910000031
Figure BDA0003165172910000032
其中，
Figure BDA0003165172910000033
为采用验证集计算的损失函数；
Figure BDA0003165172910000034
为采用训练集计算的损失函数；F为神经网络浮点计算数的方程；m为离散化得到神经网络的结构；T为设定的目标浮点计算数；ω为控制延迟因子影响大小的常量。
进一步地，所述的步骤(4)中，为了使外层函数更快确定正确的收敛梯度，将内层函数计算迭代至接近收敛再更新外层函数；同时，通过观测多次内层函数迭代所得损失集来判断是否收敛，从而避免优化过程停止在局部最优解；内层函数的收敛标准定义如下：
Figure BDA0003165172910000035
Figure BDA0003165172910000036
Figure BDA0003165172910000037
其中，
Figure BDA0003165172910000038
Figure BDA0003165172910000039
Figure BDA00031651729100000310
Figure BDA00031651729100000311
其中，N为每组中的内层函数计算次数，Gk为第k个内层函数损失值集合，
Figure BDA00031651729100000312
为第k个内层函数损失值集的均值，
Figure BDA00031651729100000313
为第k个内层函数损失值集的最大值，
Figure BDA00031651729100000314
为第k个内层函数损失值集的最小值，wi为第i个优化迭代所得网络的权重系数，ε1为损失函数集波动收敛阈值，ε2为损失函数集均值收敛阈值。
进一步地，所述的步骤(4)中，在优化完成后，对神经网络的操作变量α进行排序，挑选拥有最高α值的唯一操作或者挑选α值较高的前几个操作组成复合的卷积神经网络，并用训练集重新训练权重系数w，得到训练后的神经网络。
进一步地，所述机器人所在的物理抓取环境包括物理机器人、二指平行自适应夹爪、深度相机以及待抓取物体集合；所述二指平行自适应夹爪和深度相机均固定在所述物理机器人的末端，且运动过程中，两者的相对位置不变；所述二指平行自适应夹爪垂直于抓取平面。
本发明的有益效果如下：
(1)相比于其他智能抓取方法，本发明提出的抓取姿态生成网络避免了在颜色-深度图片中进行候选姿态采样以及候选抓取评估，通过全卷积神经网络完成抓取质量判断和抓取姿态生成，快速地提高了神经网络计算效率。
(2)本发明采用链式搜索框架，通过赋予网络节点之间操作变量，将离散网络结构寻优转化为连续变量寻优，建立了先训练网络权重后优化网络结构的神经网络双层优化模型，解决了优化过程中计算量过大的问题。
(3)本发明通过在外层优化函数中引入延迟因子，使得神经网络的计算速度也纳入优化目标中，实现精度和速度的同时优化，使得最优抓取更贴近实际工业场景。
附图说明
图1为本发明的机器人智能抓取示意图；
图2为物理抓取环境的示意图；
图3为抓取决策网络工作流程图；
图4为抓取生成网络训练数据处理方式示意图；
图5为抓取生成网络输入和输出示意图。
具体实施方式
下面根据附图和优选实施例详细描述本发明，本发明的目的和效果将变得更加明白，应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，本发明的智能抓取所需要的物理环境为手眼机器人、二指平行自适应夹爪、深度相机以及待抓取物体集合；手眼机器人和二指平行自适应夹爪是抓取的主要执行机构，并且负责向上位机传输位置和姿态信息；深度相机负责上上位机传输被抓物体的点云信息。在该实施例中，机器人为6轴协作机器人，深度相机为可以采集彩色图片和2.5D深度点云图片的相机，待抓取物体集合为一个或者多个在机器人工作空间中一水平平面上随机摆放的物体。深度相机摆放方式是眼在手上，即相机相对于机器人末端是固定的。通过机器人可以获取工具坐标系的相关姿态，通过相机坐标系到工具坐标系的手眼标定，可以获取深度相机的位置和姿态，从而确定当前物理环境中主要硬件的姿态和工作状态，并得到待抓取物体摆放的相关点云信息。
如图2和3所示，本发明的基于卷积神经网络可微分结构搜寻的机器人智能抓取方法运行在上位机中，通过构建抓取姿态神经网络，并通过基于梯度的神经网络双层优化模型对该神经网络进行优化，并将计算精度与时间均作为优化目标。
抓取姿态生成网络的任务是，输入由同一个深度相机产生的RGB图像Pc和深度图像Pd，实现对图片上给出的物体进行识别和抓取。该实施例中，网络考虑的抓取都是垂直于物体放置平面的，即物体放置在水平面上，且机械爪垂直于水平面进行抓取。将Pc(彩色图片，由RGB三通道构成)和Pd(深度图片，仅深度一个通道)组成的RGB-D图片称为Ps。
用g＝(p，φ，w，q)来定义图片空间中，垂直于水平面的一次抓取。其中，p＝(u，v)决定抓取的像素位置，φ定义抓取时机械爪绕竖直方向的旋转角度，w定义抓取时夹爪的开度，q定义抓取质量。q的值越大，说明在该抓取位置进行抓取成功的可能性就越大。
抓取姿态生成网络对输入图片的每一个像素点，都进行抓取的预测，并给出在这个像素点进行抓取时需要的抓取角度、抓取宽度，以及这个像素点抓取成功的概率。在图5抓取生成网络输出的三张特征图像G＝{Φ，W，Q}∈RH×W×3中，每个图像(u，v)像素中的像素值，就代表了相应的抓取物理量，这些像素组合在一起，就形成了网络的输出。
为了达到这样的目的，需要处理数据集来训练抓取生成网络。在Cornellgraspingdataset开源数据集中，给出了抓取颜色-深度图像，并且给出了一些可以成功进行物体抓取的抓取框。如图4所示，对开源数据集进行预处理，即对于抓取质量Q，每个抓取框沿着抓取宽度，中心的1/3部分，是适宜于抓取的位置，对这一部分，填充抓取质量q为1，填充每个抓取框相对于图片的转动角度φ，取值在
Figure BDA0003165172910000051
内；填充抓取开度w，w取值在[0，150]；其他部分都认为是无法进行抓取的地方，因此对其抓取质量q设定为0。同样的，在Φ，W的生成中，对于抓取质量为0的区域，其抓取角度和开度也相应为0，不再认为其可以进行抓取。
神经网络结构优化算法是一种基于梯度的神经网络结构优化算法，将计算精度与时间同时作为优化目标，从而得到一个兼具精度和速度的神经网络结构。
神经网络结构优化算法主要涉及搜索空间和搜索算法两方面。搜索空间是由多个节点以链式结构连接组成，每个节点表示经过计算操作后的中间结果，节点之间通过有向箭头线进行连接，有向箭头线表示所有可能的候选神经网络计算操作。为了最大的利用卷积的特性，所述神经网络计算操作指两个节点之间采用不同尺寸的卷积核和不同数目的卷积层进行计算的操作；节点之间都采用链式连接方式，从而最大化地利用计算资源加快优化算法收敛速度。
在确定了节点个数以及节点之间的候选操作后，通过将原先节点之间的操作都赋予归一化的变量α，使离散操作用连续变量α来表示，实现了离散搜索空间的松弛化和连续化，从而可以建立基于梯度的神经网络结构双层优化模型。具体计算方法是将节点之间每个有向箭头线都乘以对应的变量α，然后将得到的结果求和作为最终的计算结果，计算公式为：
Figure BDA0003165172910000061
其中，e为自然对数，xj为第j个节点的输出，
Figure BDA0003165172910000062
为第j个节点中第i个操作变量，
Figure BDA0003165172910000063
为第j个节点中第i个操作方程；
Figure BDA0003165172910000064
第j个节点中包含的操作数目。
所述双层优化模型包括内层优化和外层优化，其中，所述内层优化为采用训练集训练神经网络所有权重系数w；所述外层优化为根据训练后的神经网络所有权重系数w*，采用验证集训练神经网络操作变量α。
所述内层优化为在所有神经网络节点之间操作变量α确定的情况下，采用训练集计算损失函数来训练神经网络所有权重系数w；所述外层优化为基于训练后的神经网络所有权重系数w*，采用验证集计算损失函数来训练神经网络操作变量α；具体计算如公式(2)和(3)，其中，公式(3)是内层优化函数，公式(2)是外层优化函数：为了将计算精度与时间同时作为优化目标，在外层优化函数中引入了延迟因子，延时因子通过计算当前神经网络浮点计算数与目标神经网络浮点计算数的商来调整损失函数
Figure BDA0003165172910000065
Figure BDA0003165172910000066
其中，
Figure BDA0003165172910000067
为采用验证集计算的损失函数；
Figure BDA0003165172910000068
为采用训练集计算的损失函数；F为神经网络浮点计算数的方程；m为离散化得到神经网络的结构；T为设定的目标浮点计算数；ω为控制延迟因子影响大小的常量。
另外，为了使外层函数更快确定正确的收敛梯度，将内层函数计算迭代至接近收敛再更新外层函数；同时，通过观测多次内层函数迭代所得损失集来判断是否收敛，从而避免优化过程停止在局部最优解；内层函数的收敛标准定义如下：
Figure BDA0003165172910000071
Figure BDA0003165172910000072
Figure BDA0003165172910000073
其中，
Figure BDA0003165172910000074
Figure BDA0003165172910000075
Figure BDA0003165172910000076
Figure BDA0003165172910000077
其中，N为每组中的内层函数计算次数，Gk为第k个内层函数损失值集合，
Figure BDA0003165172910000078
为第k个内层函数损失值集的均值，
Figure BDA0003165172910000079
为第k个内层函数损失值集的最大值，
Figure BDA00031651729100000710
为第k个内层函数损失值集的最小值，wi为第i个优化迭代所得网络的权重系数，ε1为损失函数集波动收敛阈值，ε2为损失函数集均值收敛阈值。
在优化完成后，对神经网络的操作变量α进行排序，挑选拥有最高α值的唯一操作或者挑选α值较高的前几个操作组成复合的卷积神经网络，并用训练集重新训练权重系数w，得到训练后的神经网络。
然后再将由位于机器人末端的深度相机拍摄的RGB-D图像输入具有最优参数的抓取姿态生成网络，输出与输入图像长宽一致的每一个像素点所对应的包含抓取质量Q、抓取角度
Figure BDA00031651729100000711
抓取开度W的三张单通道特征图像。然后从这些图像中选取抓取质量Q最大的像素点，把该像素点的位置作为抓取框的中心位置，再由上位机控制机器人和机械爪完成对物体的抓取。如图5所示。
为了验证本发明的优越性，分别采用本发明的方法和现有的基于进化算法的神经网络结构优化算法(GA-RG)进行抓取来对比。进化算法是典型的离散优化算法，需要大量的优化时间，但是可以更加随机的进行神经网络结构优化。表1显示DARTS-RG与GA-RG在机器人智能抓取中的对比，可以看出，在没有引入延迟因子和引入延迟因子两种情况下，本发明的优化时间都远远小于GA-RG算法。且在没有引入延迟因子时，本发明的方法的抓取精度也大于GA-RG算法。
表1 GA-RG与DARTS-RG的性能对比
Figure BDA00031651729100000712
Figure BDA0003165172910000081
本领域普通技术人员可以理解，以上所述仅为发明的优选实例而已，并不用于限制发明，尽管参照前述实例对发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在发明的精神和原则之内，所做的修改、等同替换等均应包含在发明的保护范围之内。

Claims (7)

1.一种基于卷积神经网络可微分结构搜寻的机器人智能抓取方法，其特征在于，该方法包括如下步骤：
(1)构建抓取姿态生成网络的训练集和验证集，所述训练集和验证集均包括网络输入和输出，所述网络输入为RGB-D图像，输出为每个像素点对应的抓取质量Q、抓取角度
Figure FDA0003555234190000015
抓取开度W；
(2)构造由多个节点组成的链式搜索空间，确定节点之间的候选卷积计算操作；
(3)松弛化离散的链式搜索空间至连续；
将原先节点之间的操作都赋予归一化的连续变量α，使离散操作用连续变量α来表示；具体计算方法是将节点之间每个有向箭头线都乘以对应的变量α，然后将得到的结果求和作为最终的计算结果，计算公式为：
Figure FDA0003555234190000011
其中，e为自然对数，xj为第j个节点的输出，
Figure FDA0003555234190000012
为第j个节点中第i个操作变量，
Figure FDA0003555234190000013
为第j个节点中第i个操作方程；
Figure FDA0003555234190000014
第j个节点中包含的操作数目；
(4)将神经网络计算速度和精度同时作为优化目标，建立基于梯度的神经网络双层优化模型，所述双层优化模型包括内层优化和外层优化，其中，所述内层优化为采用训练集训练神经网络所有权重系数w；所述外层优化为根据训练后的神经网络所有权重系数w*，采用验证集训练神经网络操作变量α；
然后挑选操作变量α组成卷积神经网络，并用训练集重新训练权重系数，得到具有最优参数的抓取姿态生成网络；
(5)将由位于机器人末端的深度相机拍摄的RGB-D图像输入具有最优参数的抓取姿态生成网络，输出与输入图像长宽一致的每一个像素点所对应的包含抓取质量Q、抓取角度
Figure FDA0003555234190000016
抓取开度W的三张单通道特征图像；
(6)从步骤(5)得到的图像中选取抓取质量Q最大的像素点，把该像素点的位置作为抓取框的中心位置，再由上位机控制机器人和机械爪完成对物体的抓取。
2.根据权利要求1所述的基于卷积神经网络可微分结构搜寻的机器人智能抓取方法，其特征在于，所述步骤(1)中的训练集和验证集的获得是基于现有的机器人智能抓取数据集给出的RGB-D图像和成功进行物体抓取的抓取框，生成每个像素点的抓取质量Q、抓取角度
Figure FDA0003555234190000026
抓取开度W，并对这三个特征进行如下的预处理：
将每个抓取框沿着抓取宽度方向平均分为三部分，将位于中心的一部分填充抓取质量q为1，填充每个抓取框相对于图片的转动角度φ，填充抓取开度w；其中，φ取值在
Figure FDA0003555234190000021
内，w取值在[0，150]；将位于两侧的两个部分填充抓取质量q为0。
3.根据权利要求1所述的基于卷积神经网络可微分结构搜寻的机器人智能抓取方法，其特征在于，所述链式搜索空间由多个节点组成，每个节点表示经过计算操作后的中间结果，节点之间通过有向箭头线进行连接，有向箭头线表示所有可能的候选神经网络计算操作；所述神经网络计算操作指两个节点之间采用不同尺寸的卷积核和不同数目的卷积层进行计算的操作；节点之间都采用链式连接方式，从而最大化地利用计算资源加快优化算法收敛速度。
4.根据权利要求1所述的基于卷积神经网络可微分结构搜寻的机器人智能抓取方法，其特征在于，
所述内层优化为在所有神经网络节点之间操作变量α确定的情况下，采用训练集计算损失函数来训练神经网络所有权重系数w；
所述外层优化为基于训练后的神经网络所有权重系数w*，采用验证集计算损失函数来训练神经网络操作变量α；
具体计算如公式(2)和(3)，其中，公式(3)是内层优化函数，公式(2)是外层优化函数：为了将计算精度与时间同时作为优化目标，在外层优化函数中引入了延迟因子，延迟因子通过计算当前神经网络浮点计算数与目标神经网络浮点计算数的商来调整损失函数
Figure FDA0003555234190000022
Figure FDA0003555234190000023
其中，
Figure FDA0003555234190000024
为采用验证集计算的损失函数；
Figure FDA0003555234190000025
为采用训练集计算的损失函数；F为神经网络浮点计算数的方程；m为离散化得到神经网络的结构；T为设定的目标浮点计算数；ω为控制延迟因子影响大小的常量。
5.根据权利要求4所述的基于卷积神经网络可微分结构搜寻的机器人智能抓取方法，其特征在于，所述的步骤(4)中，为了使外层函数更快确定正确的收敛梯度，将内层函数计算迭代至接近收敛再更新外层函数；同时，通过观测多次内层函数迭代所得损失集来判断是否收敛，从而避免优化过程停止在局部最优解；内层函数的收敛标准定义如下：
Figure FDA0003555234190000031
Figure FDA0003555234190000032
Figure FDA0003555234190000033
其中，
Figure FDA0003555234190000034
Figure FDA0003555234190000035
Figure FDA0003555234190000036
Figure FDA0003555234190000037
其中，n为每组中的内层函数计算次数，Gk为第k个内层函数损失值集合，
Figure FDA0003555234190000038
为第k个内层函数损失值集的均值，
Figure FDA0003555234190000039
为第k个内层函数损失值集的最大值，
Figure FDA00035552341900000310
为第k个内层函数损失值集的最小值，wi为第i个优化迭代所得网络的权重系数，ε1为损失函数集波动收敛阈值，ε2为损失函数集均值收敛阈值。
6.根据权利要求5所述的基于卷积神经网络可微分结构搜寻的机器人智能抓取方法，其特征在于，所述的步骤(4)中，在优化完成后，对神经网络的操作变量α进行排序，挑选拥有最高α值的唯一操作或者挑选α值较高的前几个操作组成复合的卷积神经网络，并用训练集重新训练权重系数w，得到训练后的神经网络。
7.根据权利要求1所述的卷积神经网络可微分结构搜寻的机器人智能抓取方法，其特征在于，所述机器人所在的物理抓取环境包括物理机器人、二指平行自适应夹爪、深度相机以及待抓取物体集合；所述二指平行自适应夹爪和深度相机均固定在所述物理机器人的末端，且运动过程中，两者的相对位置不变；所述二指平行自适应夹爪垂直于抓取平面。
CN202110802383.4A 2021-07-15 2021-07-15 基于卷积神经网络可微分结构搜寻的机器人智能抓取方法 Active CN113326666B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110802383.4A CN113326666B (zh) 2021-07-15 2021-07-15 基于卷积神经网络可微分结构搜寻的机器人智能抓取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110802383.4A CN113326666B (zh) 2021-07-15 2021-07-15 基于卷积神经网络可微分结构搜寻的机器人智能抓取方法

Publications (2)

Publication Number Publication Date
CN113326666A CN113326666A (zh) 2021-08-31
CN113326666B true CN113326666B (zh) 2022-05-03

Family

ID=77426450

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110802383.4A Active CN113326666B (zh) 2021-07-15 2021-07-15 基于卷积神经网络可微分结构搜寻的机器人智能抓取方法

Country Status (1)

Country Link
CN (1) CN113326666B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108510062A (zh) * 2018-03-29 2018-09-07 东南大学 一种基于级联卷积神经网络的机器人非规则物体抓取位姿快速检测方法
WO2020075423A1 (ja) * 2018-10-10 2020-04-16 ソニー株式会社 ロボット制御装置、ロボット制御方法及びロボット制御プログラム
CN111360862A (zh) * 2020-02-29 2020-07-03 华南理工大学 一种基于卷积神经网络的生成最佳抓取位姿的方法
CN112297013A (zh) * 2020-11-11 2021-02-02 浙江大学 一种基于数字孪生和深度神经网络的机器人智能抓取方法
EP3812107A1 (en) * 2019-10-21 2021-04-28 Canon Kabushiki Kaisha Robot control device, and method and program for controlling the same

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200164505A1 (en) * 2018-11-27 2020-05-28 Osaro Training for Robot Arm Grasping of Objects
CN109658413B (zh) * 2018-12-12 2022-08-09 达闼机器人股份有限公司 一种机器人目标物体抓取位置检测的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108510062A (zh) * 2018-03-29 2018-09-07 东南大学 一种基于级联卷积神经网络的机器人非规则物体抓取位姿快速检测方法
WO2020075423A1 (ja) * 2018-10-10 2020-04-16 ソニー株式会社 ロボット制御装置、ロボット制御方法及びロボット制御プログラム
EP3812107A1 (en) * 2019-10-21 2021-04-28 Canon Kabushiki Kaisha Robot control device, and method and program for controlling the same
CN111360862A (zh) * 2020-02-29 2020-07-03 华南理工大学 一种基于卷积神经网络的生成最佳抓取位姿的方法
CN112297013A (zh) * 2020-11-11 2021-02-02 浙江大学 一种基于数字孪生和深度神经网络的机器人智能抓取方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于深度图像和深度学习的机器人抓取检测算法研究;王斌等;《中国博士学位论文全文数据库 信息科技辑》;20100930;全文 *
管片拼装机抓取和拼装智能化研究;刘飞香;《铁道建筑》;20200820;全文 *

Also Published As

Publication number Publication date
CN113326666A (zh) 2021-08-31

Similar Documents

Publication Publication Date Title
CN108491880B (zh) 基于神经网络的物体分类和位姿估计方法
Karaoguz et al. Object detection approach for robot grasp detection
CN111079561B (zh) 一种基于虚拟训练的机器人智能抓取方法
Sadeghi et al. Sim2real viewpoint invariant visual servoing by recurrent control
Tobin et al. Domain randomization and generative models for robotic grasping
CN112297013B (zh) 一种基于数字孪生和深度神经网络的机器人智能抓取方法
CN110298886B (zh) 一种基于四级卷积神经网络的灵巧手抓取规划方法
JP6964857B2 (ja) 画像認識装置、画像認識方法、コンピュータプログラム、及び製品監視システム
CN110785268B (zh) 用于语义机器人抓取的机器学习方法和装置
CN112605983B (zh) 一种适用于密集环境下的机械臂推抓***
CN110238840B (zh) 一种基于视觉的机械臂自主抓取方法
JP6671694B1 (ja) 機械学習装置、機械学習システム、データ処理システム及び機械学習方法
CN113341706B (zh) 基于深度强化学习的人机协作流水线***
CN112686282A (zh) 一种基于自学习数据的目标检测方法
Chen et al. Combining reinforcement learning and rule-based method to manipulate objects in clutter
CN114387513A (zh) 机器人抓取方法、装置、电子设备及存储介质
CN114140418A (zh) 一种基于rgb图像和深度图像的七自由度抓取姿势检测方法
Suzuki et al. Online self-supervised learning for object picking: detecting optimum grasping position using a metric learning approach
Yan et al. Learning probabilistic multi-modal actor models for vision-based robotic grasping
Chen et al. Towards generalization and data efficient learning of deep robotic grasping
CN113326666B (zh) 基于卷积神经网络可微分结构搜寻的机器人智能抓取方法
Liu et al. Sim-and-real reinforcement learning for manipulation: A consensus-based approach
CN111331598B (zh) 基于遗传算法优化神经网络结构的机器人姿态控制方法
Lu et al. Active pushing for better grasping in dense clutter with deep reinforcement learning
CN114998573B (zh) 一种基于rgb-d特征深度融合的抓取位姿检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant