CN116141318A - 物体的抓取方法、装置、电子设备和存储介质 - Google Patents

物体的抓取方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN116141318A
CN116141318A CN202310118015.7A CN202310118015A CN116141318A CN 116141318 A CN116141318 A CN 116141318A CN 202310118015 A CN202310118015 A CN 202310118015A CN 116141318 A CN116141318 A CN 116141318A
Authority
CN
China
Prior art keywords
grabbing
sample
gesture
candidate
feature vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310118015.7A
Other languages
English (en)
Inventor
王晨曦
方浩树
卢策吾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Feixi Technology Co ltd
Flexiv Robotics Ltd
Original Assignee
Feixi Technology Co ltd
Flexiv Robotics Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Feixi Technology Co ltd, Flexiv Robotics Ltd filed Critical Feixi Technology Co ltd
Priority to CN202310118015.7A priority Critical patent/CN116141318A/zh
Publication of CN116141318A publication Critical patent/CN116141318A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请涉及一种物体的抓取方法、装置、电子设备、存储介质和计算机程序产品。所述方法包括：获取包含物体的第一帧的第一场景图像、以及包含物体的在后的第二帧的第二场景图像；根据第一场景图像和所述第二场景图像，获取第一帧的第一候选抓取姿态集合及第二帧的第二候选抓取姿态集合，并获取第一候选抓取姿态集合和第二候选抓取姿态集合的关联程度；从第一候选抓取姿态集合中确定对应第一帧的第一抓取姿态，并基于第一抓取姿态、关联程度，从第二候选抓取姿态集合中确定对应第二帧的第二抓取姿态；控制执行机构根据第二抓取姿态对运动物体进行抓取。采用本方法能够提升运动物体抓取的稳定性和准确性。

Description

物体的抓取方法、装置、电子设备和存储介质
技术领域
本申请涉及机器人技术领域，特别是涉及一种物体的抓取方法、装置、电子设备、存储介质和计算机程序产品。
背景技术
作为机器人领域的重要问题，物体抓取在农业、工业和服务业都有着重要价值。物体抓取的主流思路是通过传感器获取场景的二维或三维图像，利用抓取姿态检测技术预测机械臂末端夹爪在抓取物体时的位置和朝向，经过运动规划后执行抓取动作。
传统技术中，对于运动物体的抓取检测，一般是将动态物体抓取转化为物体姿态追踪问题，通过持续跟踪同一个物体并预测其在空间中的姿态，根据人工预先设定的抓取姿态模板对运动物体进行抓取，这种方法由于对物体的抓取姿态是人工设定的，分布较为稀疏，不能随着位置移动而灵活变化，导致最后的抓取效果并不理想。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提升物体抓取准确性的物体的抓取方法、装置、电子设备、计算机可读存储介质和计算机程序产品。
第一方面，本申请提供了一种物体的抓取方法，所述方法包括：
获取包含所述物体的第一帧的第一场景图像、以及包含所述物体的在后的第二帧的第二场景图像；
根据所述第一场景图像和所述第二场景图像，获取所述第一帧的第一候选抓取姿态集合及所述第二帧的第二候选抓取姿态集合，并获取所述第一候选抓取姿态集合和所述第二候选抓取姿态集合的关联程度；
从所述第一候选抓取姿态集合中确定对应所述第一帧的第一抓取姿态，并基于所述第一抓取姿态、所述关联程度，从所述第二候选抓取姿态集合中确定对应所述第二帧的第二抓取姿态；
控制执行机构根据所述第二抓取姿态对所述运动物体进行抓取。
在其中一个实施例中，所述根据所述第一场景图像和所述第二场景图像，获取所述第一帧的第一候选抓取姿态集合及所述第二帧的第二候选抓取姿态集合，并获取所述第一候选抓取姿态集合和所述第二候选抓取姿态集合的关联程度，包括：
通过抓取生成模型处理所述第一场景图像和所述第二场景图像，获得所述第一帧的第一候选抓取姿态集合和所述第二帧的第二候选抓取姿态集合；
通过抓取关联模型对所述第一候选抓取姿态集合和所述第二候选抓取姿态集合进行处理，确定所述第一候选抓取姿态集合和所述第二候选抓取姿态集合的关联程度。
在其中一个实施例中，所述抓取关联模型的训练方式，包括：
获取样本数据集的第一样本抓取姿态集合和第二样本姿态抓取集合；
确定所述第一样本抓取姿态集合和第二样本姿态抓取集合中，任意两个样本抓取姿态之间的抓取距离；
将各所述抓取距离与预设距离阈值进行比较，确定样本目标抓取姿态集合，所述样本目标抓取姿态集合由所述第二样本姿态抓取集合和所述第一样本抓取姿态集合中同类型的样本抓取姿态构成的集合；
基于所述第一样本抓取姿态集合、所述第二样本姿态抓取集合以及样本目标抓取姿态集合，确定损失函数值；
根据所述损失函数值，迭代初始权重参数，训练获得所述抓取关联模型。
在其中一个实施例中，所述第一样本抓取姿态集合中包括各第一样本抓取姿态关联的第一样本抓取姿态预测值、第一样本几何特征向量、第一样本候选抓取特征向量；所述第二样本抓取姿态集合中包括各第二样本抓取姿态关联的第二样本抓取姿态预测值、第二样本几何特征向量、第二样本候选抓取特征向量；
所述确定所述第一样本抓取姿态集合和第二样本姿态抓取集合中，任意两个样本抓取姿态之间的抓取距离，包括：
基于所述第一样本抓取姿态预测值、第一样本几何特征向量、第一样本候选抓取特征向量，确定所述第一样本抓取姿态的第一样本旋转量和第一样本平移量；
根据所述第二样本抓取姿态预测值、第二样本几何特征向量、第二样本候选抓取特征向量，确定所述第二样本抓取姿态的第二样本旋转量和第二样本平移量；
基于所述第一样本旋转量和所述第二样本旋转量，确定所述第一样本抓取姿态和所述第二样本抓取姿态之间的旋转距离；
根据所述第一样本平移量和所述第二样本平移量，确定所述第一样本抓取姿态和所述第二样本抓取姿态之间的平移距离；
根据所述旋转距离和所述平移距离，确定所述第一样本抓取姿态和所述第二样本抓取姿态之间的抓取距离。
在其中一个实施例中，所述通过抓取生成模型处理所述第一场景图像和所述第二场景图像，获得所述第一帧的第一候选抓取姿态集合和所述第二帧的第二候选抓取姿态集合，包括：
获取所述第一场景图像的第一场景点云；
对所述第一场景点云进行点云场景分析，得到多个第一场景种子点；
获取所述第二景图像的第二场景点云；
对所述第二场景点云进行点云场景分析，得到多个第二场景种子点；
对每个第一场景种子点分别进行特征提取处理，获得对应的第一抓取结果，所述第一抓取结果包括第一抓取姿态预测值、第一几何特征向量以及第一候选抓取特征向量；
对每个第二场景种子点分别进行特征提取处理，获得对应的第二抓取结果，所述第一抓取结果包括第二抓取姿态预测值、第二几何特征向量以及第二候选抓取特征向量。
在其中一个实施例中，所述第一候选抓取姿态集合包括各第一抓取姿态关联的第一抓取姿态预测值、第一几何特征向量以及第一候选抓取特征向量；所述第二候选抓取姿态集合包括各抓取姿态关联的第二抓取姿态预测值、第二几何特征向量以及第二候选抓取特征向量；
所述通过抓取关联模型对所述第一候选抓取姿态集合和所述第二候选抓取姿态集合进行处理，确定所述第一候选抓取姿态集合和所述第二候选抓取姿态集合的关联程度，包括：
对所述第一抓取姿态进行色彩特征处理，获得所述第一抓取姿态对应的第一色彩特征向量；
对所述第二抓取姿态进行色彩特征处理，获得所述第二抓取姿态对应的第二色彩特征向量；
将所述第一抓取姿态预测值、第一几何特征向量和第一色彩特征向量进行向量处理，拼接到所述第一候选抓取特征向量上，得到第一初始拼接特征向量；
将所述第二抓取姿态预测值、第二几何特征向量和第二色彩特征向量进行向量处理，拼接到所述第二候选抓取特征向量上，得到第二初始拼接特征向量；
分别对所述第一初始拼接特征向量和所述第二初始拼接特征向量进行处理，得到对应的第一目标拼接特征向量和第二目标拼接特征向量；
基于所述第一目标拼接特征向量和第二目标拼接特征向量，得到所述第一候选抓取姿态集合和所述第二候选抓取姿态集合的关联程度。
在其中一个实施例中，所述针对各所述第一抓取姿态和各第二抓取姿态中的任一抓取姿态，均通过以下步骤获得对应的色彩特征向量：
确定抓取姿态的种子点色彩信息；
对所述种子点色彩信息进行采样，得到初始色彩向量；
对所述初始色彩向量依次进行特征处理，得到对应的色彩特征向量。
在其中一个实施例中，所述关联程度为关联矩阵；所述基于所述第一目标拼接特征向量和第二目标拼接特征向量，得到所述第一候选抓取姿态集合和所述第二候选抓取姿态集合的关联程度，包括：
确定所述第一目标拼接特征向量和所述第二目标拼接特征向量之间的余弦相似度；
根据所述余弦相似度，得到关联矩阵。
在其中一个实施例中，所述关联程度为关联矩阵；
所述基于所述第一抓取姿态、所述关联程度，从所述第二候选抓取姿态集合中确定对应所述第二帧的第二抓取姿态，包括：
基于所述第一抓取姿态所在关联矩阵的行数，将所述第二候选抓取姿态集合中，抓取关联程度最高的列数的抓取姿态确定为第二帧的第二抓取姿态。
第二方面，本申请还提供了一种物体的抓取装置。所述装置包括：
图像获取模块，用于获取包含所述物体的第一帧的第一场景图像、以及包含所述物体的在后的第二帧的第二场景图像；
预测模块，用于根据所述第一场景图像和所述第二场景图像，获取所述第一帧的第一候选抓取姿态集合及所述第二帧的第二候选抓取姿态集合，并获取所述第一候选抓取姿态集合和所述第二候选抓取姿态集合的关联程度；
姿态确定模块，用于从所述第一候选抓取姿态集合中确定对应所述第一帧的第一抓取姿态，并基于所述第一抓取姿态、所述关联程度，从所述第二候选抓取姿态集合中确定对应所述第二帧的第二抓取姿态；
抓取模块，用于控制执行机构根据所述第二抓取姿态对所述运动物体进行抓取。
第三方面，本申请还提供了一种电子设备。所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述物体的抓取方法的步骤。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述物体的抓取方法的步骤。
第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述物体的抓取方法的步骤。
上述物体的抓取方法、装置、电子设备、存储介质和计算机程序产品，获取包含物体的第一帧的第一场景图像、以及包含物体的在后的第二帧的第二场景图像；根据第一场景图像和所述第二场景图像，获取第一帧的第一候选抓取姿态集合及第二帧的第二候选抓取姿态集合，并获取第一候选抓取姿态集合和所述第二候选抓取姿态集合的关联程度；从第一候选抓取姿态集合中确定对应第一帧的第一抓取姿态，并基于第一抓取姿态、关联程度，从第二候选抓取姿态集合中确定对应第二帧的第二抓取姿态；控制执行机构根据第二抓取姿态对运动物体进行抓取。其中，根据获取的第一场景图像和第二场景图像，获取第一帧的第一候选抓取姿态集合及第二帧的第二候选抓取姿态集合，并获取第一候选抓取姿态集合和第二候选抓取姿态集合的关联程度，从而确定出相邻两帧中不同候选抓取姿态间的相似程度，由此可以根据第一帧的第一抓取姿态、关联程度推算出第二帧的第二抓取姿态，避免了当前抓取检测算法中的抓取姿态跳变问题，提升了抓取的稳定性和准确性。
附图说明
图1为一个实施例中物体的抓取方法的应用环境图；
图2为一个实施例中物体的抓取方法的流程框图；
图3为一个实施例中物体的抓取方法的流程示意图；
图4为另一个实施例中物体的抓取方法的流程示意图；
图5为另一个实施例中物体的抓取方法的流程示意图；
图6为另一个实施例中物体的抓取方法的流程框图；
图7为另一个实施例中物体的抓取方法的流程示意图；
图8为一个实施例中物体的抓取装置的结构框图；
图9为一个实施例中电子设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的物体的抓取方法，可以应用于如图1所示的应用环境中，其中，图1所示的应用环境中包括电子设备102、图像采集装置104以及执行机构106，图像采集装置104以及执行机构106分别与电子设备102通信连接。图像采集装置104可以为RGB-D相机(深度相机)，执行机构106可以为机械臂。当有物体抓取需求时，图像采集装置104可以获取当前场景下的第一场景图像和第二场景图像(场景图像可以包括色彩图和深度图)，并将获取到的第一场景图像和第二场景图像输出给电子设备102，由电子设备102对第一场景图像和第二场景图像进行处理，从而确定出第二抓取姿态，最后电子设备102控制执行机构106根据第二抓取姿态对运动物体进行抓取。
在其中一个实施例中，电子设备102获取包含物体的第一帧的第一场景图像、以及包含物体的在后的第二帧的第二场景图像；根据第一场景图像和所述第二场景图像，获取第一帧的第一候选抓取姿态集合及第二帧的第二候选抓取姿态集合，并获取第一候选抓取姿态集合和第二候选抓取姿态集合的关联程度；从第一候选抓取姿态集合中确定对应第一帧的第一抓取姿态，并基于第一抓取姿态、关联程度，从第二候选抓取姿态集合中确定对应第二帧的第二抓取姿态；控制执行机构根据第二抓取姿态对运动物体进行抓取。其中，电子设备102可以是终端设备，终端设备可以但不限于是各种控制芯片、个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。在其他实施例中，电子设备102也可以为服务器，服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，为本申请实施例提供的物体的抓取方法的总体流程框图：
其中，本实施例的总体流程框图可以包括以下模块：A：数据采集与处理模块；B：抓取生成模块；C：抓取关联模块；抓取关联模块可以包括C1色彩特征聚合子模块及C2关联矩阵生成子模块(图中未示出)；D：网络训练模块，网络训练模块可以包括(D1：抓取距离定义；D2：有监督对比学习；D3：训练细节(图中未示出))。
其中，每个模块的具体处理过程大致包括以下步骤：数据采集与处理模块A可以获取数据集，数据集中可以存储有相机在多种场景下拍摄的场景图像，并分别针对数据集中同一场景下相邻的两帧场景图像进行数据处理，得到目标点云输入抓取生成模块B，由抓取生成模块B处理得到抓取姿态预测值、几何特征向量和候选抓取特征向量，抓取生成模块B可以将上述三个参数输入抓取关联模块C，经抓取关联模块C处理得到抓取关联值，将抓取生成模块B生成的三个参数及抓取关联模块C中得到抓取姿态之间的抓取关联值，一起输入给网络训练模块D，其中，在训练时，通过计算得到损失值，并将损失值和随机初始化产生的权重参数输入优化器，得到新的权重参数，网络训练模块D将上述新的权重参数发送给抓取关联模块C，更新抓取关联模块C中多层感知器的权重参数。
此后再根据数据集中的数据重复上述的过程，每次都在网络训练后得到一个权重参数，并更新抓取关联模块C中多层感知器的权重，迭代若干次以后停止训练，迭代次数可自行设定。其中，训练后的目标姿态预测模型中不再进行权重的更新，即后续抓取关联模块C中的权重参数，不需要改变。
在一个实施例中，如图3所示，提供了一种物体的抓取方法，以该方法应用于图1中的电子设备为例进行说明，包括以下步骤：
步骤S302，获取包含物体的第一帧的第一场景图像、以及包含物体的在后的第二帧的第二场景图像。
其中，第一帧的第一场景图像可以是当有物体抓取需求时，由相机采集的当前时刻的图像，第二帧的第二场景图像可以是由相机采集的在当前时刻的下一时刻的图像，其中，第二帧可以为第一帧的下一帧。其中，第一场景图像和第二场景图像中包括有待抓取的运动物体。
步骤S304，根据第一场景图像和第二场景图像，获取第一帧的第一候选抓取姿态集合及第二帧的第二候选抓取姿态集合，并获取第一候选抓取姿态集合和第二候选抓取姿态集合的关联程度。
其中，第一候选抓取姿态集合和第二候选抓取姿态集合是由抓取姿态构成的，抓取姿态可以为执行机构在抓取运动物体时，在三维空间中的位置和朝向，例如，执行结构为机械臂，则抓取姿态可以为机械臂的夹爪在三维空间中的位置和朝向，其中，位置和朝向可以为平移量和旋转量。
其中，第一候选抓取姿态集合是由多个第一抓取姿态构成的，第一抓取姿态可以为电子设备对第一帧的第一场景图像进行处理之后确定，第二候选抓取姿态集合是由多个第二抓取姿态构成的，第二抓取姿态可以为电子设备对第二场景图像进行处理之后确定，第一候选抓取姿态集合和第二候选抓取姿态集合的关联程度可以是各第一抓取姿态和第二抓取姿态两两之间的相似程度，第一抓取姿态和第二抓取姿态之间的相似程度可以采用关联矩阵的形式呈现。
在其中一个实施例中，根据第一场景图像和第二场景图像，获取第一帧的第一候选抓取姿态集合及第二帧的第二候选抓取姿态集合，并获取第一候选抓取姿态集合和所述第二候选抓取姿态集合的关联程度，包括：通过抓取生成模型处理第一场景图像和第二场景图像，获得第一帧的第一候选抓取姿态集合和第二帧的第二候选抓取姿态集合；通过抓取关联模型对第一候选抓取姿态集合和第二候选抓取姿态集合进行处理，确定第一候选抓取姿态集合和第二候选抓取姿态集合的关联程度。
其中，电子设备在获得第一场景图像和第二场景图像之后，则可以获得抓取生成模型以及抓取关联模型，由抓取生成模型对第一场景图像和第二场景图像进行处理，得到第一候选抓取姿态集合和第二候选抓取姿态集合，然后进一步由抓取关联模型对第一候选抓取姿态集合和第二候选抓取姿态集合进行处理，得到第一候选抓取姿态集合和第二候选抓取姿态集合的关联程度。
步骤S306，从第一候选抓取姿态集合中确定对应第一帧的第一抓取姿态，并基于第一抓取姿态、关联程度，从第二候选抓取姿态集合中确定对应第二帧的第二抓取姿态。
其中，第二抓取姿态是由电子设备最终选定的对运动物体进行抓取的抓取姿态，电子设备在确定第二帧对应的第二抓取姿态时，可以结合关联程度以及第一帧的第一抓取姿态进行确定。
步骤S308，控制执行机构根据第二抓取姿态对运动物体进行抓取。
其中，电子设备在确定第二抓取姿态之后，则可以控制执行机构按照第二抓取姿态抓取运动物体。
上述物体的抓取方法中，获取包含物体的第一帧的第一场景图像、以及包含物体的在后的第二帧的第二场景图像；根据第一场景图像和第二场景图像，获取第一帧的第一候选抓取姿态集合及第二帧的第二候选抓取姿态集合，并获取第一候选抓取姿态集合和第二候选抓取姿态集合的关联程度；从第一候选抓取姿态集合中确定对应第一帧的第一抓取姿态，并基于第一抓取姿态、关联程度，从第二候选抓取姿态集合中确定对应第二帧的第二抓取姿态；控制执行机构根据第二抓取姿态对运动物体进行抓取。其中，根据获取的第一场景图像和第二场景图像，获取第一帧的第一候选抓取姿态集合及第二帧的第二候选抓取姿态集合，并获取第一候选抓取姿态集合和第二候选抓取姿态集合的关联程度，从而确定出相邻两帧中不同候选抓取姿态间的相似程度，由此可以根据第一帧的第一抓取姿态、关联程度推算出第二帧的第二抓取姿态，避免了当前抓取检测算法中的抓取姿态跳变问题，提升了抓取的稳定性和准确性。
在其中一个实施例中，电子设备在确定对运动物体进行抓取的抓取姿态时，当第一帧为初始帧时，还可以直接仅对第一帧的第一场景图像进行处理，具体的，电子设备可以对第一场景图像中的任一像素点(u，v)，确定其在相机坐标系下对应的三维坐标(x，y，z)，其中，确定出的三维坐标即为点云，进一步的，电子设备对得到的点云进行体素化采样，得到初始帧点云，体素边长可以为0.005m，最后，电子设备通过可抓取性采样从初始帧点云中确定出初始帧种子点，分析各初始帧种子点，得到多个抓取姿态，每一个抓取姿态可以携带有抓取分数，电子设备根据各抓取姿态的抓取分数，根据抓取分数最高的抓取姿态对运动物体进行抓取。
其中，电子设备在确定三维坐标时，可以采用如下公式：
Figure BDA0004079248150000091
其中，fx和fy分别表示相机在像素坐标系u轴和v轴上的焦距，(cx,cy)可以表示像素坐标系的主点坐标，s表示图像深度值缩放比例，d表示该点对应的深度值，(u,v)可以为第一场景图像中的任意一个像素点。
上述实施例中，电子设备在第一帧为初始帧时，可以基于第一帧的第一场景图像，直接分析确定出第一帧的第一场景图像对应的抓取姿态，然后根据各抓取姿态的抓取分数，根据抓取分数最高的抓取姿态对运动物体进行抓取，一定程度上保证了较快的推理速度，可以满足实时追踪的需求。
其中，第一候选抓取姿态集合和第二候选抓取姿态集合的关联程度是由抓取关联模型确定的，在其中一个实施例中，抓取关联模型的训练方式，包括：获取样本数据集的第一样本抓取姿态集合和第二样本姿态抓取集合；确定第一样本抓取姿态集合和第二样本姿态抓取集合中，任意两个样本抓取姿态之间的抓取距离；将各抓取距离与预设距离阈值进行比较，确定样本目标抓取姿态集合，样本目标抓取姿态集合由第二样本姿态抓取集合和第一样本抓取姿态集合中同类型的样本抓取姿态构成的集合；基于第一样本抓取姿态集合、第二样本姿态抓取集合以及样本目标抓取姿态集合，确定损失函数值；根据损失函数值，迭代初始权重参数，训练获得抓取关联模型。
其中，抓取关联模型可以是由电子设备预先训练好的模型，电子设备对第一场景图像和第二场景图像初步处理之后得到第一候选抓取姿态集合和第二候选抓取姿态集合，将第一候选抓取姿态集合和第二候选抓取姿态集合输入抓取关联模型，则可以得到关联程度。
其中，电子设备在训练抓取关联模型时，需要获取样本数据集，样本数据集中可以包括第一样本抓取姿态集合和第二样本姿态抓取集合，第一样本抓取姿态集合可以是电子设备对第一样本场景图像进行处理后得到的，第二样本抓取姿态集合可以是电子设备对第二样本场景图像进行处理后得到的，其中，第一样本场景图像和第二样本场景图像为同一场景下相邻两帧的图像。
其中，抓取距离可以用于表示第一样本抓取姿态集合和第二样本姿态抓取集合中，任意两个样本抓取姿态之间的相似程度的值，本实施例中抓取距离越小，则表示两个样本抓取姿态之间的相似程度越高，对于不同物体上的抓取姿态，它们的抓取距离可以设置为正无穷。预设距离阈值是预先设定的阈值，电子设备可以将抓取距离与预设距离阈值进行比较，从而确定样本目标抓取姿态集合。具体的，对于第一样本抓取姿态集合和第二样本姿态抓取集合任意两个样本抓取姿态g1和g2，当且仅当距离d(g1,g2)≤σ时，电子设备才将它们标记为同一类，其中σ为预先设定的阈值。例如，给定两个点云CA和CB，电子设备预测的CA的第一样本抓取姿态集合为
Figure BDA0004079248150000101
CB的第二样本抓取姿态集合为
Figure BDA0004079248150000102
Figure BDA0004079248150000103
点云CB中与/>
Figure BDA0004079248150000104
为同一类的目标样本抓取姿态集合可以表示为
Figure BDA0004079248150000105
Figure BDA0004079248150000106
在得到样本目标抓取姿态集合之后，电子设备则可以基于第一样本抓取姿态集合、第二样本姿态抓取集合以及样本目标抓取姿态集合，确定损失函数值，其中，电子设备可以基于第一样本抓取姿态集合、第二样本姿态抓取集合，确定出第一样本抓取姿态集合和第一样本抓取姿态集合中各样本抓取姿态两两之间的关联程度，以及根据样本抓取姿态集合和第一样本抓取姿态集合中各样本抓取姿态两两之间的关联程度，然后结合预先构建的损失函数公式，确定出损失函数值。
电子设备在得到损失函数值之后，可以将损失函数值和初始权重参数输入至初始神经网络模型的优化器(本模型中可以使用Adam优化器，但不局限于此优化器)，得到多层感知器的网络权重参数的更新值，以对初始权重参数进行更新，获得抓取关联模型，在实际训练中会在数据集的不同数据上重复上述过程，迭代若干次以后停止训练，迭代次数可自行设定，训练的目标是尽可能地降低损失函数值。
在一个实施例中，损失函数如下公式所示：
Figure BDA0004079248150000111
其中，|PA(i)|表示集合PA(i)的元素个数，log和exp分别表示对数函数和指数函数，s(g1,g2)表示抓取姿态g1和g2经抓取关联模块预测的余弦相似度，τ为预先设定的参数，本实施例中σ＝0.1，τ＝0.1，终端可以将计算得到的关联程度输入至预设的损失函数计算公式，计算得到损失函数值。
上述实施例中，电子设备采用有监督对比学习进行模型训练，得到目标姿态预测模型，通过神经网络模型的方式，在迭代中无需大幅改动模型结构即可实现升级，且具有较快的推理速度，可以满足实时追踪的需求。
在一个实施例中，如图4所示，第一样本抓取姿态集合中包括各第一样本抓取姿态关联的第一样本抓取姿态预测值、第一样本几何特征向量、第一样本候选抓取特征向量；第二样本抓取姿态集合中包括各第二样本抓取姿态关联的第二样本抓取姿态预测值、第二样本几何特征向量、第二样本候选抓取特征向量；确定第一样本抓取姿态集合和第二样本姿态抓取集合中，任意两个样本抓取姿态之间的抓取距离，包括以下步骤：
步骤S402，基于第一样本抓取姿态预测值、第一样本几何特征向量、第一样本候选抓取特征向量，确定第一样本抓取姿态的第一样本旋转量和第一样本平移量。
其中，第一样本旋转量和第一样本平移量是由电子设备确定出的第一样本抓取姿态的位置和朝向，具体的，电子设备可以根据第一样本抓取姿态预测值、第一样本几何特征向量、第一样本候选抓取特征向量，确定第一样本抓取姿态的第一样本旋转量和第一样本平移量，例如，对于同一个物体上的第一样本抓取姿态预测值、第一样本几何特征向量、第一样本抓取特征向量，将其转换到统一的坐标系下，可以表示为(R1,t1)，其中R1是大小可以是3×3的矩阵，表示第一样本抓取姿态的第一样本旋转量，t1是长度为3的向量，可以表示第一样本抓取姿态的第一样本平移量。
步骤S404，根据第二样本抓取姿态预测值、第二样本几何特征向量、第二样本候选抓取特征向量，确定第二样本抓取姿态的第二样本旋转量和第二样本平移量。
其中，第二样本旋转量和第二样本平移量是由电子设备确定出的第二样本抓取姿态的位置和朝向，具体的，电子设备可以根据第二样本抓取姿态预测值、第二样本几何特征向量、第二样本候选抓取特征向量，确定第二样本抓取姿态的第二样本旋转量和第二样本平移量，例如，对于同一个物体上的第二样本抓取姿态预测值、第二样本几何特征向量、第二样本候选抓取特征向量，将其转换到统一的坐标系下，可以表示为(R2,t2)，其中R2是大小为3×3的矩阵，表示第二样本抓取姿态的第二样本旋转量，t2是长度为3的向量，表示第二样本抓取姿态的第二样本平移量。
步骤S406，基于第一样本旋转量和第二样本旋转量，确定第一样本抓取姿态和第二样本抓取姿态之间的旋转距离。
其中，电子设备在计算旋转距离时，可以采用如下公式：
Figure BDA0004079248150000121
其中，ΔR为旋转距离，trace(A)表示矩阵A的迹，其中，矩阵A可以是由第一样本旋转量和第二样本旋转量确定的。
步骤S408，根据第一样本平移量和第二样本平移量，确定第一样本抓取姿态和第二样本抓取姿态之间的平移距离。
其中，电子设备在确定平移距离时，可以采用如下公式：
Δt＝||t1-t2||
其中，||t||表示向量t的模长，||t||是由第一样本平移量和第二样本平移量确定的。
步骤S410，根据旋转距离和平移距离，确定第一样本抓取姿态和第二样本抓取姿态之间的抓取距离。
其中，电子设备在计算抓取距离时，可以采用如下公式：
Figure BDA0004079248150000131
其中，wmax表示执行机构(即机械臂)的夹爪张开的最大宽度，γ为权重系数。抓取距离d(g1,g2)越小，表示第一样本种子点和第二样本种子点之间(即两个抓取姿态)的相似程度越高，对于不同物体上的抓取姿态，它们的抓取距离可以设置为正无穷，本实施中，可以设置wmax＝0.1m，γ＝0.1。
上述实施例中，电子设备通过精准的计算出抓取距离，可以提高后续实时追踪的精度。
在其中一个实施例中，通过抓取生成模型处理第一场景图像和第二场景图像，获得第一帧的第一候选抓取姿态集合和第二帧的第二候选抓取姿态集合，包括：获取第一场景图像的第一场景点云；对第一场景点云进行点云场景分析，得到多个第一场景种子点；获取第二景图像的第二场景点云；对第二场景点云进行点云场景分析，得到多个第二场景种子点；对每个第一场景种子点分别进行特征提取处理，获得对应的第一抓取结果，第一抓取结果包括第一抓取姿态预测值、第一几何特征向量以及第一候选抓取特征向量；对每个第二场景种子点分别进行特征提取处理，获得对应的第二抓取结果，第一抓取结果包括第二抓取姿态预测值、第二几何特征向量以及第二候选抓取特征向量。
其中，电子设备在确定第一场景点云时，可以针对第一场景图像中的任意一个像素点，计算得到该像素点在相机坐标系下的三维坐标，然后针对得到的各三维坐标进行体素化采样，得到第一场景点云，进一步的，电子设备采用可抓取性采样，从第一场景点云中得到多个第一场景种子点。
其中，电子设备在确定第二场景点云时，可以针对第二场景图像中的任意一个像素点，计算得到该像素点在相机坐标系下的三维坐标，然后针对得到的各三维坐标进行体素化采样，得到第二场景点云，进一步的，电子设备采用可抓取性采样，从第二场景点云中得到多个第二场景种子点。
其中，第一抓取结果是对第一场景图像进行处理后得到的第一抓取姿态预测值、第一几何特征向量以及第一候选抓取特征向量，第二抓取结果是对第二场景图像进行处理后得到的第二抓取姿态预测值、第二几何特征向量和第二候选抓取特征向量。
具体的，电子设备针对第一场景图像和第二场景图像，可以采用并行处理的方式展开处理，即采用同样的处理方式同时对第一场景图像和第二场景图像进行处理，从而得到第一场景图像对应的第一场景种子点，第二场景图像对应的第二场景种子点，然后分别针对第一场景种子点进行特征提取处理，针对第二场景种子点进行特征提取处理，得到第一抓取结果和第二抓取结果。
上述实施例中，电子设备通过抓取生成模型对同一场景下的第一样本场景图像和第二样本场景图像进行处理，摆脱了对物体本身的依赖，对未知物体仍然有效，不需要提前获取物体信息和标注，大大拓宽了算法的应用场景，提升了使用的便捷性。
在其中一个实施例中，如图5所示，第一候选抓取姿态集合包括各第一抓取姿态关联的第一抓取姿态预测值、第一几何特征向量以及第一候选抓取特征向量；第二候选抓取姿态集合包括各抓取姿态关联的第二抓取姿态预测值、第二几何特征向量以及第二候选抓取特征向量；
通过抓取关联模型对第一候选抓取姿态集合和第二候选抓取姿态集合进行处理，确定第一候选抓取姿态集合和所述第二候选抓取姿态集合的关联程度，包括以下步骤：
步骤S502，对第一抓取姿态进行色彩特征处理，获得第一抓取姿态对应的第一色彩特征向量。
其中，色彩特征处理是电子设备获取第一抓取姿态所在区域的色彩信息过程，具体的，针对第一抓取姿态，电子设备可以从第一场景种子点中找到对应的颜色，再依照GSNet模型中点云裁切的方式对各第一场景种子点附近的圆柱空间内的种子点色彩进行随机采样，最后经过多层感知器和最大池化操作得到第一色彩特征向量。
步骤S504，对第二抓取姿态进行色彩特征处理，获得第二抓取姿态对应的第二色彩特征向量。
其中，针对第二抓取姿态，电子设备可以从第二场景种子点中找到对应的颜色，再依照GSNet模型中点云裁切的方式对各第二场景种子点附近的圆柱空间内的种子点色彩进行随机采样，最后经过多层感知器和最大池化操作得到第二色彩特征向量。
步骤S506，将第一抓取姿态预测值、第一几何特征向量和第一色彩特征向量进行向量处理，拼接到第一候选抓取特征向量上，得到第一初始拼接特征向量。
其中，电子设备可以对第一候选抓取特征向量进行更新，得到第一初始拼接特征向量，具体的，电子设备可以将得到的第一色彩特征向量同第一抓取姿态关联的第一几何特征向量、第一抓取姿态预测值(包括抓取平移参数(3维向量)、抓取旋转参数3×3旋转矩阵)拉平成9维向量之后，拼接到对应的第一候选抓取特征向量上，得到第一初始拼接特征向量。
步骤S508，将第二抓取姿态预测值、第二几何特征向量和第二色彩特征向量进行向量处理，拼接到第二候选抓取特征向量上，得到第二初始拼接特征向量。
其中，电子设备可以对第二候选抓取特征向量进行更新，得到第二初始拼接特征向量，具体的，电子设备可以将得到的第二色彩特征向量同第二抓取姿态关联的第二几何特征向量、第二抓取姿态预测值(包括抓取平移参数(3维向量)、抓取旋转参数3×3旋转矩阵)拉平成9维向量之后，拼接到对应的第二候选抓取特征向量上，得到第二初始拼接特征向量。
步骤S510，分别对第一初始拼接特征向量和第二初始拼接特征向量进行处理，得到对应的第一目标拼接特征向量和第二目标拼接特征向量。
其中，在得到第一初始拼接特征向量和第二初始拼接特征向量之后，电子设备可以采用多层感知器，对第一初始拼接特征向量和第二初始拼接特征向量进行处理，从而得到第一目标拼接特征向量和第二目标拼接特征向量。
步骤S512，基于第一目标拼接特征向量和第二目标拼接特征向量，得到第一候选抓取姿态集合和第二候选抓取姿态集合的关联程度。
其中，针对每一个第一抓取姿态，电子设备均可以得到其对应的第一目标拼接特征向量，针对每一个第二抓取姿态，电子设备均可以得到其对应的第二目标拼接特征向量，进一步的，电子设备可以根据得到的各第一目标拼接特征向量和第二目标拼接特征向量，计算得到第一抓取姿态和第二抓取姿态两两之间的关联矩阵。
在其中一个实施例中，针对各第一抓取姿态和各第二抓取姿态中的任一抓取姿态，均通过以下步骤获得对应的色彩特征向量：确定抓取姿态的种子点色彩信息；对种子点色彩信息进行采样，得到初始色彩向量；对初始色彩向量依次进行特征处理，得到对应的色彩特征向量。
其中，种子点色彩信息是电子设备从场景种子点中确定的颜色，初始色彩向量是电子设备对种子点色彩信息进行随机采样得到的，特征处理可以是对初始色彩特征向量依次进行多层感知器和最大池化操作，可以得到色彩特征向量。
上述实施例中，电子设备利用局部区域的几何和色彩特征预测抓取姿态之间的关联程度，摆脱了对物体本身的依赖，对未知物体仍然有效，不需要提前获取物体信息和标注，大大拓宽了算法的应用场景，提升了使用的便捷性。
在一个实施例中，关联程度为关联矩阵；基于第一目标拼接特征向量和第二目标拼接特征向量，得到第一候选抓取姿态集合和第二候选抓取姿态集合的关联程度，包括：确定第一目标拼接特征向量和第二目标拼接特征向量之间的余弦相似度；根据余弦相似度，得到关联矩阵。
其中，余弦相似度可以是用于表征第一目标拼接特征向量和第二目标拼接特征向量之间的相似程度的量，具体的，电子设备在确定余弦相似度时，可以采用如下公式展开计算：
Figure BDA0004079248150000161
其中，f1和f2可以分别表征第一目标拼接特征向量和第二目标拼接特征向量，s(g1,g2)可以是余弦相似度，||f||表示向量f的模长，则||f1||可以表示向量f1的模长，||f2||可以表示向量f2的模长，s(g1,g2)的分布范围可以在[-1,1]之间，其值越高表示两个向量间的关联程度越大。
上述实施例中，电子设备通过计算余弦相似度，可以精准的确定出关联矩阵，提高后续实时追踪的精度。
在其中一个实施例中，如图6所示，为一个实施例中确定关联矩阵的总体流程框图：
其中，图6主要涉及到的是抓取生成模块(即抓取生成模型)和抓取关联模块(即抓取关联模型)的执行流程，首先，针对抓取生成模块，具体包括以下步骤：
1)获取由数据采集与处理模块输出的目标点云，其中，本实施例中是由相机拍摄得到的相邻两帧的第一场景图像、第二场景图像分别得到的目标点云(图中的点云1和点云2)；
2)通过抓取检测网络对目标点云对应的点云场景进行分析，得到若干抓取姿态预测值，其中，抓取姿态预测值包括长度为3(xyz)的平移向量、抓取旋转参数3×3旋转矩阵，抓取姿态预测值可以为接下来的抓取追踪提供候选。
3)根据抓取生成模块还可以得到种子点的几何特征向量和候选抓取的特征向量。为了方便获得候选抓取姿态之间的关联程度，可以将网络中种子点的几何特征向量和候选抓取的特征向量提取出来，大小均为M×C，其中，种子点是生成抓取姿态的锚点，C表示特征向量的长度。本实施例中，使用M＝1024，C＝128，N的大小不固定，由点云降采样的结果确定。
针对抓取关联模块，具体包括以下步骤：该模块包括C1色彩特征聚合子模块及C2关联矩阵生成子模块；
a)根据C1色彩特征聚合子模块，得到两组种子点色彩特征向量。(在该步骤中，针对点云1和点云2分别做)，其中，相邻抓取姿态所在区域的色彩信息具有很高的相似性，从而可以通过种子点局部区域的色彩信息来判断抓取姿态的关联程度，进一步提高预测的准确性。对于一组种子点，首先从原始点云中找到对应的颜色，大小为M×3；再依照GSNet模型中点云裁切的方式对每个种子点附近的圆柱空间内的种子点色彩进行随机采样，得到大小为M×K×3的向量，其中K表示每个圆柱空间中采样的数量；最后经过大小为(2C,C,C)的多层感知器和最大池化操作得到大小为M×C的种子点色彩特征向量。在本实施例中，设置采样数K＝16。
b)输入种子点几何特征、抓取特征和色彩特征向量，根据关联矩阵生成模块，得到两组特征向量间的关联矩阵，该关联矩阵为经变换后得到大小为M×M的候选抓取姿态关联矩阵，由此对抓取姿态进行逐帧追踪，筛选最优姿态。具体实施步骤如下：对抓取特征向量进行更新，将得到的色彩特征向量同种子点的几何特征向量、抓取平移参数(3维向量)、抓取旋转参数(3×3旋转矩阵拉平成9维向量)拼接到对应的抓取特征向量上，得到大小为M×(3C+12)的特征向量，经过大小为(3C,3C,C)的多层感知器得到大小为M×C的特征向量。按照这种方式分别为两个点云提取特征向量，并由此计算两组特征向量间的关联矩阵。
其中，对于分别属于两个点云的抓取姿态g1和g2，其特征向量分别为f1和f2，他们的关联程度定义为向量间的余弦相似度：
Figure BDA0004079248150000171
其中||f||表示向量f的模长，s(g1,g2)分布范围为[-1,1]，其值越高表示两个向量间的关联程度越大。最终，网络输出大小为M×M的关联矩阵，根据上一帧选定的抓取姿态可以确定当前帧相似程度最高的抓取姿态，从而实现实时追踪。
在其中一个实施例中，关联程度为关联矩阵；基于第一抓取姿态、关联程度，从第二候选抓取姿态集合中确定对应第二帧的第二抓取姿态，包括：基于第一抓取姿态所在关联矩阵的行数，将第二候选抓取姿态集合中，抓取关联程度最高的列数的抓取姿态确定为第二帧的第二抓取姿态。
其中，电子设备在根据关联矩阵和第一帧的第一抓取姿态，选择第二帧的第二抓取姿态时，可以先确定第一候选抓取姿态集合，即第一候选抓取姿态集合可以表示为
Figure BDA0004079248150000172
Figure BDA0004079248150000173
以及第二候选抓取姿态集合，即第二候选抓取姿态集合可以表示为/>
Figure BDA0004079248150000174
Figure BDA0004079248150000181
抓取关联模块预测的关联矩阵可以为S，大小为M×M，矩阵中第i行第j列的值Sij表示/>
Figure BDA0004079248150000182
与/>
Figure BDA0004079248150000183
的抓取关联程度，也即/>
Figure BDA0004079248150000184
若第一帧中已经选取第i0个第一抓取姿态/>
Figure BDA0004079248150000185
作为输出，则第二帧输出的第二抓取姿态/>
Figure BDA0004079248150000186
选取方法可以为
Figure BDA0004079248150000187
即从第一抓取姿态所在关联矩阵的行数中，从所有可能的/>
Figure BDA0004079248150000188
中，选取抓取关联程度最高的列数的最大值作为第二抓取姿态。
上述实施例中，电子设备利用抓取姿态的关联程度对运动物体进行追踪，避免了单纯使用抓取检测算法导致的抓取姿态跳变的问题，提升了控制的稳定性和准确性。
在其中一个实施例中，如图7所示，为一个实施例中运动物体抓取方法的流程示意图：
其中，本实施例中，在对运动物体进行抓取时，主要包括以下步骤：
1、首先，在对运动物体进行抓取前，可以训练获得抓取关联模型，在训练获得抓取关联模型时，具体包括以下步骤：
其中，电子设备在训练抓取关联模型时，需要获取样本数据集，样本数据集中可以包括第一样本抓取姿态集合和第二样本姿态抓取集合，第一样本抓取姿态集合可以是电子设备对第一样本场景图像进行处理后得到的，第二样本抓取姿态集合可以是电子设备对第二样本场景图像进行处理后得到的，其中，第一样本场景图像和第二样本场景图像为同一场景下相邻两帧的图像。
具体的，电子设备针对第一样本场景图像和第二样本场景图像，可以采用并行处理的方式展开处理，即采用同样的处理方式同时对第一样本场景图像和第二样本场景图像进行处理，从而得到第一样本场景图像对应的第一样本场景种子点，第二样本场景图像对应的第二样本场景种子点，然后分别针对第一样本场景种子点进行特征提取处理，针对第二场景样本种子点进行特征提取处理，得到第一样本抓取结果和第二样本抓取结果。
其中，第一样本抓取结果是对第一样本场景图像进行处理后得到的第一样本抓取姿态关联的第一样本抓取姿态预测值、第一样本几何特征向量、第一样本候选抓取特征向量，第二抓取结果是对第二场景图像进行处理后得到的各第二样本抓取姿态关联的第二样本抓取姿态预测值、第二样本几何特征向量、第二样本候选抓取特征向量。
电子设备可以根据第一样本抓取姿态预测值、第一样本几何特征向量、第一样本候选抓取特征向量，确定第一样本抓取姿态的第一样本旋转量和第一样本平移量，例如，对于同一个物体上的第一样本抓取姿态预测值、第一样本几何特征向量、第一样本抓取特征向量，将其转换到统一的坐标系下，可以表示为(R1,t1)，其中R1是大小可以是3×3的矩阵，表示第一样本抓取姿态的第一样本旋转量，t1是长度为3的向量，可以表示第一样本抓取姿态的第一样本平移量。
电子设备可以根据第二样本抓取姿态预测值、第二样本几何特征向量、第二样本候选抓取特征向量，确定第二样本抓取姿态的第二样本旋转量和第二样本平移量，例如，对于同一个物体上的第二样本抓取姿态预测值、第二样本几何特征向量、第二样本候选抓取特征向量，将其转换到统一的坐标系下，可以表示为(R2,t2)，其中R2是大小为3×3的矩阵，表示第二样本抓取姿态的第二样本旋转量，t2是长度为3的向量，表示第二样本抓取姿态的第二样本平移量。
进一步的，电子设备基于第一样本旋转量和第二样本旋转量，确定第一样本抓取姿态和第二样本抓取姿态之间的旋转距离，根据第一样本平移量和第二样本平移量，确定第一样本抓取姿态和第二样本抓取姿态之间的平移距离，根据旋转距离和平移距离，确定第一样本抓取姿态和第二样本抓取姿态之间的抓取距离，然后将抓取距离与预设距离阈值进行比较，从而确定样本目标抓取姿态集合。具体的，对于第一样本抓取姿态集合和第二样本姿态抓取集合任意两个样本抓取姿态g1和g2，当且仅当距离d(g1,g2)≤σ时，电子设备才将它们标记为同一类，其中σ为预先设定的阈值。例如，给定两个点云CA和CB，电子设备预测的CA的第一样本抓取姿态集合为
Figure BDA0004079248150000191
CB的第二样本抓取姿态集合为/>
Figure BDA0004079248150000192
Figure BDA0004079248150000193
点云CB中与/>
Figure BDA0004079248150000194
为同一类的目标样本抓取姿态集合可以表示为
Figure BDA0004079248150000195
Figure BDA0004079248150000196
在得到样本目标抓取姿态集合之后，电子设备则可以基于第一样本抓取姿态集合、第二样本姿态抓取集合以及样本目标抓取姿态集合，确定损失函数值，其中，电子设备可以基于第一样本抓取姿态集合、第二样本姿态抓取集合，确定出第一样本抓取姿态集合和第一样本抓取姿态集合中各样本抓取姿态两两之间的关联程度，以及根据样本抓取姿态集合和第一样本抓取姿态集合中各样本抓取姿态两两之间的关联程度，然后结合预先构建的损失函数公式，确定出损失函数值。
电子设备在得到损失函数值之后，可以将损失函数值和初始权重参数输入至初始神经网络模型的优化器(本模型中可以使用Adam优化器，但不局限于此优化器)，得到多层感知器的网络权重参数的更新值，以对初始权重参数进行更新，获得抓取关联模型，在实际训练中会在数据集的不同数据上重复上述过程，迭代若干次以后停止训练，迭代次数可自行设定，训练的目标是尽可能地降低损失函数值。
2、在实际进行抓取作业的过程中，一方面，电子设备可以获取已训练完成的抓取生成模型和抓取关联模型(两者可以共同组成图7中的抓取姿态模型)；
3、另一方面，相机采集当前时刻的场景深度RGB-D图片，并设定采集的当前时刻的当前帧为初始帧，根据当前场景调取获得的抓取生成模型和抓取关联模型；
4、针对当前时刻的当前帧为初始帧的情况，电子设备对于初始帧图像中的任一像素点(u,v)，可以确定其在相机坐标系下对应的三维坐标(x,y,z)，其中，确定出的三维坐标即为点云，进一步的，电子设备对得到的点云进行体素化采样，得到初始帧点云，体素边长可以为0.005m，最后，电子设备通过可抓取性采样从初始帧点云中确定出初始帧种子点，分析各初始帧种子点，得到多个初始候选抓取姿态，每一个初始候选抓取姿态可以携带有抓取分数，电子设备根据各初始候选抓取姿态的抓取分数，将抓取分数最高的初始候选抓取姿态确定为目标抓取姿态；
5、另一方面，针对设定的当前时刻的当前帧为初始帧时，但根据初始帧抓取失败的情况，相机可以采集当前帧之后的下一帧场景RGB-D图像。
6、将当前帧的RGB—D图像和下一帧的的RGB—D图像处理为三维点云，并将上述三维点云先输入上述已训练好的抓取生成模型和抓取关联模型；
7、抓取关联模型并行对当前帧的点云和下一帧的点云进行处理，获得抓取姿态关联的抓取姿态预测值、第一几何特征向量以及第一候选抓取特征向量等，抓取关联模型可以对抓取生成模块的抓取姿态关联的抓取姿态预测值、第一几何特征向量以及第一候选抓取特征向量等进行计算，得到关联矩阵，该关联矩阵为用于表示当前帧和下一帧的抓取姿态间的关联程度的关联矩阵，具体的，在生成关联矩阵时，电子设备通过抓取生成模块预测候选抓取姿态，并提取种子点几何特征向量和抓取特征向量，进一步利用抓取关联模块得到种子点色彩向量，然后根据种子点几何特征向量和种子点色彩向量更新抓取特征向量，得到关联矩阵；
8、根据当前帧的当前帧抓取姿态和关联矩阵，选择下一帧最终输出的目标抓取姿态，具体的，电子设备在根据关联矩阵和当前帧的当前帧抓取姿态，选择下一帧的目标抓取姿态时，可以先确定当前帧的抓取姿态集合，即当前帧的抓取姿态集合可以表示为
Figure BDA0004079248150000201
Figure BDA0004079248150000202
下一帧的抓取姿态集合可以分别为/>
Figure BDA0004079248150000203
抓取关联模块预测的关联矩阵可以为S，大小为M×M，矩阵中第i行第j列的值Sij表示/>
Figure BDA0004079248150000211
与/>
Figure BDA0004079248150000212
的抓取关联值，也即/>
Figure BDA0004079248150000213
若在前帧中已经选取第i0个抓取姿态/>
Figure BDA0004079248150000214
作为输出，则下一帧输出的抓取姿态选取方法可以为/>
Figure BDA0004079248150000215
即从当前帧抓取姿态所在关联矩阵的行数中，从所有可能的/>
Figure BDA0004079248150000216
中，选取抓取关联程度最高的列数的最大值作为目标抓取姿态。
9、机械臂根据预测的目标抓取姿态(即抓取关联程度高的抓取姿态)调整运动轨迹；
10、夹爪是否到达目标抓取姿态；
11、若达到目标抓取姿态，则机械臂抓取运动物体并放到指定位置，若未到达目标抓取姿态，则继续采集RGB-D图像，并重新展开目标抓取姿态的预测；
12、场景中是否存在物体，如果不存在，则结束抓取流程，否则，重新获取新的场景下的RGB-D图像，展开抓取。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的物体的抓取方法的物体的抓取装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个物体的抓取装置实施例中的具体限定可以参见上文中对于物体的抓取方法的限定，在此不再赘述。
在一个实施例中，如图8所示，提供了一种物体的抓取装置，包括：图像获取模块、预测模块、姿态确定模块和抓取模块，其中：
图像获取模块802，用于获取包含物体的第一帧的第一场景图像、以及包含物体的在后的第二帧的第二场景图像。
预测模块804，用于根据所述第一场景图像和所述第二场景图像，获取第一帧的第一候选抓取姿态集合及第二帧的第二候选抓取姿态集合，并获取第一候选抓取姿态集合和所述第二候选抓取姿态集合的关联程度。
姿态确定模块806，用于从第一候选抓取姿态集合中确定对应第一帧的第一抓取姿态，并基于第一抓取姿态、所述关联程度，从第二候选抓取姿态集合中确定对应第二帧的第二抓取姿态。
抓取模块808，用于控制执行机构根据第二抓取姿态对运动物体进行抓取。
在一个实施例中，预测模块，还用于通过抓取生成模型处理第一场景图像和第二场景图像，获得第一帧的第一候选抓取姿态集合和第二帧的第二候选抓取姿态集合；通过抓取关联模型对第一候选抓取姿态集合和第二候选抓取姿态集合进行处理，确定所述第一候选抓取姿态集合和第二候选抓取姿态集合的关联程度。
在一个实施例中，装置还包括模型训练模块；
模型训练模块，用于获取样本数据集的第一样本抓取姿态集合和第二样本姿态抓取集合；确定所述第一样本抓取姿态集合和第二样本姿态抓取集合中，任意两个样本抓取姿态之间的抓取距离；将各抓取距离与预设距离阈值进行比较，确定样本目标抓取姿态集合，样本目标抓取姿态集合由第二样本姿态抓取集合和第一样本抓取姿态集合中同类型的样本抓取姿态构成的集合；基于第一样本抓取姿态集合、第二样本姿态抓取集合以及样本目标抓取姿态集合，确定损失函数值；根据损失函数值，迭代初始权重参数，训练获得抓取关联模型。
在一个实施例中，第一样本抓取姿态集合中包括各第一样本抓取姿态关联的第一样本抓取姿态预测值、第一样本几何特征向量、第一样本候选抓取特征向量；第二样本抓取姿态集合中包括各第二样本抓取姿态关联的第二样本抓取姿态预测值、第二样本几何特征向量、第二样本候选抓取特征向量；模型训练模块，还用于基于第一样本抓取姿态预测值、第一样本几何特征向量、第一样本候选抓取特征向量，确定第一样本抓取姿态的第一样本旋转量和第一样本平移量；根据第二样本抓取姿态预测值、第二样本几何特征向量、第二样本候选抓取特征向量，确定第二样本抓取姿态的第二样本旋转量和第二样本平移量；基于第一样本旋转量和第二样本旋转量，确定第一样本抓取姿态和第二样本抓取姿态之间的旋转距离；根据第一样本平移量和第二样本平移量，确定第一样本抓取姿态和第二样本抓取姿态之间的平移距离；根据旋转距离和平移距离，确定第一样本抓取姿态和第二样本抓取姿态之间的抓取距离。
在一个实施例中，预测模块，还用于获取第一场景图像的第一场景点云；对第一场景点云进行点云场景分析，得到多个第一场景种子点；获取第二景图像的第二场景点云；对第二场景点云进行点云场景分析，得到多个第二场景种子点；对每个第一场景种子点分别进行特征提取处理，获得对应的第一抓取结果，第一抓取结果包括第一抓取姿态预测值、第一几何特征向量以及第一候选抓取特征向量；对每个第二场景种子点分别进行特征提取处理，获得对应的第二抓取结果，第一抓取结果包括第二抓取姿态预测值、第二几何特征向量以及第二候选抓取特征向量。
在一个实施例中，第一候选抓取姿态集合包括各第一抓取姿态关联的第一抓取姿态预测值、第一几何特征向量以及第一候选抓取特征向量；所述第二候选抓取姿态集合包括各抓取姿态关联的第二抓取姿态预测值、第二几何特征向量以及第二候选抓取特征向量；装置还包括关联矩阵处理模块；
关联矩阵处理模块，用于对第一抓取姿态进行色彩特征处理，获得第一抓取姿态对应的第一色彩特征向量；对第二抓取姿态进行色彩特征处理，获得第二抓取姿态对应的第二色彩特征向量；将第一抓取姿态预测值、第一几何特征向量和第一色彩特征向量进行向量处理，拼接到第一候选抓取特征向量上，得到第一初始拼接特征向量；将第二抓取姿态预测值、第二几何特征向量和第二色彩特征向量进行向量处理，拼接到第二候选抓取特征向量上，得到第二初始拼接特征向量；分别对第一初始拼接特征向量和第二初始拼接特征向量进行处理，得到对应的第一目标拼接特征向量和第二目标拼接特征向量；基于第一目标拼接特征向量和第二目标拼接特征向量，得到第一候选抓取姿态集合和第二候选抓取姿态集合的关联程度。
在一个实施例中，关联矩阵处理模块，还用于确定抓取姿态的种子点色彩信息；对种子点色彩信息进行采样，得到初始色彩向量对所述初始色彩向量依次进行特征处理，得到对应的色彩特征向量。
在一个实施例中，关联矩阵处理模块，还用于确定第一目标拼接特征向量和所述第二目标拼接特征向量之间的余弦相似度；根据余弦相似度，得到关联矩阵。
在一个实施例中，抓取模块，还用于基于第一抓取姿态所在关联矩阵的行数，将第二候选抓取姿态集合中，抓取关联程度最高的列数的抓取姿态确定为第二帧的第二抓取姿态。
上述物体的抓取装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于电子设备中的处理器中，也可以以软件形式存储于电子设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种电子设备，该电子设备可以是终端，其内部结构图可以如图9所示。该电子设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过***总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到***总线。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该电子设备的输入/输出接口用于处理器与外部设备之间交换信息。该电子设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种物体的抓取方法。该电子设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种电子设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述物体的抓取方法的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述物体的抓取方法的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述物体的抓取方法的步骤。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (13)

1.一种物体的抓取方法，其特征在于，所述方法包括：
获取包含所述物体的第一帧的第一场景图像、以及包含所述物体的在后的第二帧的第二场景图像；
根据所述第一场景图像和所述第二场景图像，获取所述第一帧的第一候选抓取姿态集合及所述第二帧的第二候选抓取姿态集合，并获取所述第一候选抓取姿态集合和所述第二候选抓取姿态集合的关联程度；
从所述第一候选抓取姿态集合中确定对应所述第一帧的第一抓取姿态，并基于所述第一抓取姿态、所述关联程度，从所述第二候选抓取姿态集合中确定对应所述第二帧的第二抓取姿态；
控制执行机构根据所述第二抓取姿态对所述运动物体进行抓取。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一场景图像和所述第二场景图像，获取所述第一帧的第一候选抓取姿态集合及所述第二帧的第二候选抓取姿态集合，并获取所述第一候选抓取姿态集合和所述第二候选抓取姿态集合的关联程度，包括：
通过抓取生成模型处理所述第一场景图像和所述第二场景图像，获得所述第一帧的第一候选抓取姿态集合和所述第二帧的第二候选抓取姿态集合；
通过抓取关联模型对所述第一候选抓取姿态集合和所述第二候选抓取姿态集合进行处理，确定所述第一候选抓取姿态集合和所述第二候选抓取姿态集合的关联程度。
3.根据权利要求2所述的方法，其特征在于，所述抓取关联模型的训练方式，包括：
获取样本数据集的第一样本抓取姿态集合和第二样本姿态抓取集合；
确定所述第一样本抓取姿态集合和第二样本姿态抓取集合中，任意两个样本抓取姿态之间的抓取距离；
将各所述抓取距离与预设距离阈值进行比较，确定样本目标抓取姿态集合，所述样本目标抓取姿态集合由所述第二样本姿态抓取集合和所述第一样本抓取姿态集合中同类型的样本抓取姿态构成的集合；
基于所述第一样本抓取姿态集合、所述第二样本姿态抓取集合以及样本目标抓取姿态集合，确定损失函数值；
根据所述损失函数值，迭代初始权重参数，训练获得所述抓取关联模型。
4.根据权利要求3所述的方法，其特征在于，所述第一样本抓取姿态集合中包括各第一样本抓取姿态关联的第一样本抓取姿态预测值、第一样本几何特征向量、第一样本候选抓取特征向量；所述第二样本抓取姿态集合中包括各第二样本抓取姿态关联的第二样本抓取姿态预测值、第二样本几何特征向量、第二样本候选抓取特征向量；
所述确定所述第一样本抓取姿态集合和第二样本姿态抓取集合中，任意两个样本抓取姿态之间的抓取距离，包括：
基于所述第一样本抓取姿态预测值、第一样本几何特征向量、第一样本候选抓取特征向量，确定所述第一样本抓取姿态的第一样本旋转量和第一样本平移量；
根据所述第二样本抓取姿态预测值、第二样本几何特征向量、第二样本候选抓取特征向量，确定所述第二样本抓取姿态的第二样本旋转量和第二样本平移量；
基于所述第一样本旋转量和所述第二样本旋转量，确定所述第一样本抓取姿态和所述第二样本抓取姿态之间的旋转距离；
根据所述第一样本平移量和所述第二样本平移量，确定所述第一样本抓取姿态和所述第二样本抓取姿态之间的平移距离；
根据所述旋转距离和所述平移距离，确定所述第一样本抓取姿态和所述第二样本抓取姿态之间的抓取距离。
5.根据权利要求2所述的方法，其特征在于，所述通过抓取生成模型处理所述第一场景图像和所述第二场景图像，获得所述第一帧的第一候选抓取姿态集合和所述第二帧的第二候选抓取姿态集合，包括：
获取所述第一场景图像的第一场景点云；
对所述第一场景点云进行点云场景分析，得到多个第一场景种子点；
获取所述第二景图像的第二场景点云；
对所述第二场景点云进行点云场景分析，得到多个第二场景种子点；
对每个第一场景种子点分别进行特征提取处理，获得对应的第一抓取结果，所述第一抓取结果包括第一抓取姿态预测值、第一几何特征向量以及第一候选抓取特征向量；
对每个第二场景种子点分别进行特征提取处理，获得对应的第二抓取结果，所述第一抓取结果包括第二抓取姿态预测值、第二几何特征向量以及第二候选抓取特征向量。
6.根据权利要求2所述的方法，其特征在于，所述第一候选抓取姿态集合包括各第一抓取姿态关联的第一抓取姿态预测值、第一几何特征向量以及第一候选抓取特征向量；所述第二候选抓取姿态集合包括各抓取姿态关联的第二抓取姿态预测值、第二几何特征向量以及第二候选抓取特征向量；
所述通过抓取关联模型对所述第一候选抓取姿态集合和所述第二候选抓取姿态集合进行处理，确定所述第一候选抓取姿态集合和所述第二候选抓取姿态集合的关联程度，包括：
对所述第一抓取姿态进行色彩特征处理，获得所述第一抓取姿态对应的第一色彩特征向量；
对所述第二抓取姿态进行色彩特征处理，获得所述第二抓取姿态对应的第二色彩特征向量；
将所述第一抓取姿态预测值、第一几何特征向量和第一色彩特征向量进行向量处理，拼接到所述第一候选抓取特征向量上，得到第一初始拼接特征向量；
将所述第二抓取姿态预测值、第二几何特征向量和第二色彩特征向量进行向量处理，拼接到所述第二候选抓取特征向量上，得到第二初始拼接特征向量；
分别对所述第一初始拼接特征向量和所述第二初始拼接特征向量进行处理，得到对应的第一目标拼接特征向量和第二目标拼接特征向量；
基于所述第一目标拼接特征向量和第二目标拼接特征向量，得到所述第一候选抓取姿态集合和所述第二候选抓取姿态集合的关联程度。
7.根据权利要求6所述的方法，其特征在于，所述针对各所述第一抓取姿态和各第二抓取姿态中的任一抓取姿态，均通过以下步骤获得对应的色彩特征向量：
确定抓取姿态的种子点色彩信息；
对所述种子点色彩信息进行采样，得到初始色彩向量；
对所述初始色彩向量依次进行特征处理，得到对应的色彩特征向量。
8.根据权利要求6所述的方法，其特征在于，所述关联程度为关联矩阵；所述基于所述第一目标拼接特征向量和第二目标拼接特征向量，得到所述第一候选抓取姿态集合和所述第二候选抓取姿态集合的关联程度，包括：
确定所述第一目标拼接特征向量和所述第二目标拼接特征向量之间的余弦相似度；
根据所述余弦相似度，得到关联矩阵。
9.根据权利要求1所述的方法，其特征在于，所述关联程度为关联矩阵；
所述基于所述第一抓取姿态、所述关联程度，从所述第二候选抓取姿态集合中确定对应所述第二帧的第二抓取姿态，包括：
基于所述第一抓取姿态所在关联矩阵的行数，将所述第二候选抓取姿态集合中，抓取关联程度最高的列数的抓取姿态确定为第二帧的第二抓取姿态。
10.一种物体的抓取装置，其特征在于，所述装置包括：
图像获取模块，用于获取包含所述物体的第一帧的第一场景图像、以及包含所述物体的在后的第二帧的第二场景图像；
预测模块，用于根据所述第一场景图像和所述第二场景图像，获取所述第一帧的第一候选抓取姿态集合及所述第二帧的第二候选抓取姿态集合，并获取所述第一候选抓取姿态集合和所述第二候选抓取姿态集合的关联程度；
姿态确定模块，用于从所述第一候选抓取姿态集合中确定对应所述第一帧的第一抓取姿态，并基于所述第一抓取姿态、所述关联程度，从所述第二候选抓取姿态集合中确定对应所述第二帧的第二抓取姿态；
抓取模块，用于控制执行机构根据所述第二抓取姿态对所述运动物体进行抓取。
11.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至9中任一项所述的方法的步骤。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的方法的步骤。
13.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至9中任一项所述的方法的步骤。
CN202310118015.7A 2023-02-15 2023-02-15 物体的抓取方法、装置、电子设备和存储介质 Pending CN116141318A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310118015.7A CN116141318A (zh) 2023-02-15 2023-02-15 物体的抓取方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310118015.7A CN116141318A (zh) 2023-02-15 2023-02-15 物体的抓取方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN116141318A true CN116141318A (zh) 2023-05-23

Family

ID=86350363

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310118015.7A Pending CN116141318A (zh) 2023-02-15 2023-02-15 物体的抓取方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN116141318A (zh)

Similar Documents

Publication Publication Date Title
US11325252B2 (en) Action prediction networks for robotic grasping
Xiong et al. Transferable two-stream convolutional neural network for human action recognition
JP6546618B2 (ja) 学習装置、学習方法、学習モデル、検出装置及び把持システム
CN111328396B (zh) 用于图像中的对象的姿态估计和模型检索
Johns et al. Deep learning a grasp function for grasping under gripper pose uncertainty
WO2020228446A1 (zh) 模型训练方法、装置、终端及存储介质
CN113034652A (zh) 虚拟形象驱动方法、装置、设备及存储介质
CN112085789A (zh) 位姿估计方法、装置、设备及介质
Hu et al. A grasps-generation-and-selection convolutional neural network for a digital twin of intelligent robotic grasping
CN113537180B (zh) 树障的识别方法、装置、计算机设备和存储介质
WO2022052782A1 (zh) 图像的处理方法及相关设备
CN111445523A (zh) 果实位姿计算方法、装置、计算机设备及存储介质
CN114387513A (zh) 机器人抓取方法、装置、电子设备及存储介质
Zhuang et al. Instance segmentation based 6D pose estimation of industrial objects using point clouds for robotic bin-picking
JP7051751B2 (ja) 学習装置、学習方法、学習モデル、検出装置及び把持システム
Zhang et al. Digital twin-enabled grasp outcomes assessment for unknown objects using visual-tactile fusion perception
CN114863201A (zh) 三维检测模型的训练方法、装置、计算机设备和存储介质
Kiyokawa et al. Efficient collection and automatic annotation of real-world object images by taking advantage of post-diminished multiple visual markers
Ocegueda-Hernandez et al. A lightweight convolutional neural network for pose estimation of a planar model
Makihara et al. Grasp pose detection for deformable daily items by pix2stiffness estimation
CN110910478A (zh) Gif图生成方法、装置、电子设备及存储介质
CN116141318A (zh) 物体的抓取方法、装置、电子设备和存储介质
CN116079727A (zh) 基于3d人体姿态估计的人形机器人动作模仿方法及装置
Rajendran et al. RelMobNet: End-to-end relative camera pose estimation using a robust two-stage training
WO2018161305A1 (zh) 抓取质量检测方法及其应用的方法与***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination