CN110363811A - 用于抓取设备的控制方法、装置、存储介质及电子设备 - Google Patents

用于抓取设备的控制方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN110363811A
CN110363811A CN201910545120.2A CN201910545120A CN110363811A CN 110363811 A CN110363811 A CN 110363811A CN 201910545120 A CN201910545120 A CN 201910545120A CN 110363811 A CN110363811 A CN 110363811A
Authority
CN
China
Prior art keywords
crawl
information
target
handgrip
history
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910545120.2A
Other languages
English (en)
Other versions
CN110363811B (zh
Inventor
杜国光
王恺
廉士国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cloudminds Shanghai Robotics Co Ltd
Original Assignee
Cloudminds Shenzhen Robotics Systems Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cloudminds Shenzhen Robotics Systems Co Ltd filed Critical Cloudminds Shenzhen Robotics Systems Co Ltd
Priority to CN201910545120.2A priority Critical patent/CN110363811B/zh
Publication of CN110363811A publication Critical patent/CN110363811A/zh
Application granted granted Critical
Publication of CN110363811B publication Critical patent/CN110363811B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及一种用于抓取设备的控制方法、装置、存储介质及电子设备，以解决抓取设备抓取准确率低的问题。所述方法包括：根据目标物体的第一RGB图像，确定抓取设备的抓手的目标抓取姿态信息；在抓手处于目标抓取姿态信息对应的姿态后，获取设置在抓手上的图像采集设备采集到的目标物体的第二RGB图像；生成至少一个偏移信息，偏移信息包括抓手以目标抓取姿态信息对应的抓取中心点为起点的移动方向和移动偏移量；针对每一偏移信息，将该偏移信息、第二RGB图像和目标物体蒙版图像输入至抓取成功率预测模型；根据对应于最大预测成功率的偏移信息，确定目标偏移信息，控制抓手按照目标偏移信息移动；在抓手移动到位后，控制抓手抓取目标物体。

Description

用于抓取设备的控制方法、装置、存储介质及电子设备
技术领域
本公开涉及机器人及计算机领域，具体地，涉及一种用于抓取设备的控制方法、装置、存储介质及电子设备。
背景技术
物体抓取是机器人领域被广泛研究的问题。一种常见的物体抓取方式为几何分析方法，几何分析方法假定物体和物体抓握点已知，预先在数据库中针对已知物体构建3D物体模型，并分别标记物体的抓取位置，同时规定针对物体抓取位置的评价标准，在实际应用时，以视觉及几何相似性为依据，将待抓取物体的RGB-D深度图像与数据库中已存储的3D物体模型匹配，并确定对应的物体抓握点。但是，上述几何分析方法在实际的物理抓取场景中抓取效果不好，常常出现抓取失败的问题。另外，在针对物体进行抓取时，常常通过不断给出下一抓取指令，控制抓手向待抓取物体移动的方式进行抓取，因而在控制抓手移动的过程中，需要获取每一帧的物体图像，用于生成抓取指令，不仅计算量大，准确性也不够理想。
发明内容
本公开的目的是提供一种用于抓取设备的控制方法、装置、存储介质及电子设备，以提升抓取准确率。
为了实现上述目的，本公开提供一种用于抓取设备的控制方法，所述方法包括：
根据目标物体的第一RGB图像，确定所述抓取设备的抓手的目标抓取姿态信息，并控制所述抓手处于所述目标抓取姿态信息对应的姿态；
在所述抓手处于所述目标抓取姿态信息对应的姿态后，获取设置在所述抓手上的图像采集设备采集到的所述目标物体的第二RGB图像；
生成至少一个偏移信息，其中，所述偏移信息包括所述抓手以所述目标抓取姿态信息对应的抓取中心点为起点的移动方向和移动偏移量，所述抓取中心点为所述抓手抓取的中心位置；
针对每一所述偏移信息，将该偏移信息、所述第二RGB图像和所述目标物体的蒙版图像输入至抓取成功率预测模型，以获得所述抓取成功率预测模型输出的与该偏移信息对应的预测成功率；
根据对应于最大预测成功率的偏移信息，确定目标偏移信息，并控制所述抓手按照所述目标偏移信息移动；
在所述抓手移动到位后，控制所述抓手抓取所述目标物体。
可选地，所述根据所述第一RGB图像，确定所述抓取设备的抓手的目标抓取姿态信息，包括：
将所述第一RGB图像输入至抓取姿态信息生成模型，以获得所述抓取姿态信息生成模型针对所述第一RGB图像生成的所述目标抓取姿态信息，其中，所述抓取姿态信息生成模型是根据多个第一训练样本训练得到的，所述第一训练样本包括：第一历史目标物体的第一历史RGB图像和所述第一历史RGB图像对应的第一历史目标抓取姿态信息。
可选地，所述抓取成功率预测模型是根据多个第二训练样本训练得到的，所述第二训练样本包括：在所述抓手处于第二历史目标抓取姿态信息下所述图像采集设备采集到的第二历史目标物体的第二历史RGB图像、该第二历史目标物体的蒙版图像、历史偏移信息、以及与该历史偏移信息对应的历史抓取结果信息，其中，所述历史偏移信息包括所述抓手以所述第二历史目标抓取姿态对应的抓取中心点为起点的移动方向和移动偏移量，所述历史抓取结果信息用于表征抓取成功或失败。
可选地，所述根据对应于最大预测成功率的偏移信息，确定目标偏移信息，包括：
若最大预测成功率对应的偏移信息为一个，则将该偏移信息确定为所述目标偏移信息；
若最大预测成功率对应的偏移信息为多个，则将其中移动偏移量最小的偏移信息确定为所述目标偏移信息。
可选地，所述抓手的抓取姿态信息至少包括所述抓取中心点和抓取角度，所述抓取角度为所述抓手的抓取平面与水平面之间的夹角。
根据本公开的第二方面，提供一种用于抓取设备的控制装置，所述装置包括：
第一控制模块，用于根据目标物体的第一RGB图像，确定所述抓取设备的抓手的目标抓取姿态信息，并控制所述抓手处于所述目标抓取姿态信息对应的姿态；
图像获取模块，用于在所述抓手处于所述目标抓取姿态信息对应的姿态后，获取设置在所述抓手上的图像采集设备采集到的所述目标物体的第二RGB图像；
信息生成模块，用于生成至少一个偏移信息，其中，所述偏移信息包括所述抓手以所述目标抓取姿态信息对应的抓取中心点为起点的移动方向和移动偏移量，所述抓取中心点为所述抓手抓取的中心位置；
信息处理模块，用于针对每一所述偏移信息，将该偏移信息、所述第二RGB图像和所述目标物体的蒙版图像输入至抓取成功率预测模型，以获得所述抓取成功率预测模型输出的与该偏移信息对应的预测成功率；
第二控制模块，用于根据对应于最大预测成功率的偏移信息，确定目标偏移信息，并控制所述抓手按照所述目标偏移信息移动；
第三控制模块，用于在所述抓手移动到位后，控制所述抓手抓取所述目标物体。
可选地，所述第一控制模块用于将所述第一RGB图像输入至抓取姿态信息生成模型，以获得所述抓取姿态信息生成模型针对所述第一RGB图像生成的所述目标抓取姿态信息，其中，所述抓取姿态信息生成模型是根据多个第一训练样本训练得到的，所述第一训练样本包括：第一历史目标物体的第一历史RGB图像和所述第一历史RGB图像对应的第一历史目标抓取姿态信息。
可选地，所述抓取成功率预测模型是根据多个第二训练样本训练得到的，所述第二训练样本包括：在所述抓手处于第二历史目标抓取姿态信息下所述图像采集设备采集到的第二历史目标物体的第二历史RGB图像、该第二历史目标物体的蒙版图像、历史偏移信息、以及与该历史偏移信息对应的历史抓取结果信息，其中，所述历史偏移信息包括所述抓手以所述第二历史目标抓取姿态对应的抓取中心点为起点的移动方向和移动偏移量，所述历史抓取结果信息用于表征抓取成功或失败。
可选地，所述第二控制模块用于若最大预测成功率对应的偏移信息为一个，则将该偏移信息确定为所述目标偏移信息；若最大预测成功率对应的偏移信息为多个，则将其中移动偏移量最小的偏移信息确定为所述目标偏移信息。
可选地，所述抓手的抓取姿态信息至少包括所述抓取中心点和抓取角度，所述抓取角度为所述抓手的抓取平面与水平面之间的夹角。
根据本公开的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本公开第一方面所述方法的步骤。
根据本公开的第四方面，提供一种电子设备，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现本公开第一方面所述方法的步骤。
通过上述技术方案，根据目标物体的第一RGB图像，确定抓取设备的抓手的目标抓取姿态信息，并将控制抓手处于目标抓取姿态信息对应的姿态；在抓手处于目标抓取姿态信息对应的姿态后，获取设置在抓手上的图像采集设备采集到的目标物体的第二RGB图像；生成至少一个偏移信息；针对每一偏移信息，将该偏移信息、第二RGB图像和目标物体的蒙版图像输入至抓取成功率预测模型，以获得抓取成功率预测模型输出的与偏移信息对应的预测成功率；根据对应于最大预测成功率的偏移信息，确定目标偏移信息，并控制抓手按照目标偏移信息移动；在抓手移动到位后，控制抓手抓取目标物体。在本公开提供的方案中，首先确定抓手的目标抓取姿态信息，也就是预估抓取姿态，而后根据该目标抓取姿态信息生成多个偏移信息，即多个可用于抓取的位置，并针对每个可用于抓取的位置，利用抓取成功率预测模型得到预测成功率，得到预测成功率最大的偏移信息，从而控制抓手到位进行物体抓取。这样，使用抓取成功率预测模型得到最大预测成功率，并利用与最大预测成功率对应的抓取方式进行抓取，无需逐步对图像或抓取指令进行优化，且能提升抓取成功率。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1是根据本公开的一种实施方式提供的用于抓取设备的控制方法的流程图；
图2是本公开提供的用于抓取设备的控制方法中，抓取姿态信息的一种示例性示意图；
图3是本公开提供的用于抓取设备的控制方法中，抓取姿态信息的一种示例性示意图；
图4是本公开提供的用于抓取设备的控制方法中，目标范围的一种示例性示意图；
图5是根据本公开的一种实施方式提供的用于抓取设备的控制装置的框图；
图6是根据一示例性实施例示出的一种电子设备的框图；
图7是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
为了解决相关技术中，物体抓取准确率不够理想的问题，本公开提出了一种用于抓取设备的控制方法、装置、存储介质及电子设备。
图1是根据本公开的一种实施方式提供的用于抓取设备的控制方法的流程图，该方法可以应用于具有控制抓取设备能力的电子设备中，例如服务器、抓取设备等。在后文的描述中，为了说明方便，将以本公开的方法应用于抓取设备为例进行说明，对于本公开的方法应用于其他电子设备的情况，与此原理相似。如图1所示，该方法可以包括以下步骤。
在步骤11中，根据目标物体的第一RGB图像，确定抓取设备的抓手的目标抓取姿态信息，并控制抓手处于目标抓取姿态信息对应的姿态。
首先，需要获取目标物体的第一RGB图像。在抓取设备上或者抓取设备周边可以设置有具有图像采集能力的设备(例如，摄像头、摄像机、相机等)，以采集目标物体的第一RGB图像。示例地，在抓取设备的抓手上可以设置有图像采集设备，该图像采集设备可以采集目标物体的第一RGB图像，抓取设备可以获取该图像采集设备采集到的第一RGB图像。
在一种可能的实施方式中，在数据库中可以预先存储有各种物体的RGB图像以及各物体对应的抓取姿态信息，在获取到目标物体的第一RGB图像后，将该第一RGB图像与数据库中存储的各RGB图像进行匹配，并将匹配度最高的RGB图像所对应的抓取姿态信息确定为抓取设备的抓手的目标抓取姿态信息。
抓手的抓取姿态信息可以至少包括抓取中心点和抓取角度。抓取中心点为抓手抓取的中心位置，可以理解为抓手抓取物体时与该物体的各个接触点构成的图形的中心。抓取角度为抓手的抓取平面与水平面之间的夹角。另外，抓手的抓取姿态信息还可以包括抓取开度。抓取开度为抓手张开的长度。以抓取设备为平行触手抓取器(两指抓手)为例，如图2所示，为抓取设备20的局部示意图，抓取设备20具有抓手21，假定抓手21抓取物体时仅有m、n两点与物体直接接触，则抓手21的抓取中心点为m、n两点连线的中点k，抓取角度为抓手21的抓取平面h与水平面之间的夹角(相当于m、n两点连线与水平轴之间的夹角)，抓取开度为m、n两点间的距离。在一些可能的情形中，抓手抓取物体时不只与物体存在接触的点，还可能是线或面。示例地，如图3所示，为抓手21抓取物体时从抓手角度得到的抓取示意图，在图3中，抓手21抓取物体时与物体的接触构成两条平行的线段D1D2和D3D4(假设四边形D1D2D4D3为矩形)，则抓取中心点为四边形D1D2D4D3的中心D5，抓取角度为四边形D1D2D4D3所在平面与水平面之间的夹角，抓取开度为D1D3(或者，D2D4)的长度。
在另一种可能的实施方式中，步骤11可以包括以下步骤：
将第一RGB图像输入至抓取姿态信息生成模型，以获得抓取姿态信息生成模型针对第一RGB图像生成的目标抓取姿态信息。
其中，抓取姿态信息生成模型是根据多个第一训练样本训练得到的，第一训练样本包括：第一历史目标物体的第一历史RGB图像和第一历史RGB图像对应的第一历史目标抓取姿态信息。其中，第一历史目标物体可以是已知的各种物体，第一历史目标物体的第一历史RGB图像可以是第一历史目标物体在各种环境中、处于各种不同角度下的图像。
下面将对抓取姿态信息生成模型的训练方式进行简要说明。在对抓取姿态信息生成模型进行训练之前，还需要收集训练所需数据，也就是第一训练样本。在数据收集阶段，首先收集不同物体的带纹理的3D模型，并针对每种物体，根据其3D模型从各个角度投影，并渲染出相应的RGB图像，以收集该物体在各种角度下的图像。针对得到的每一张RGB图像，通过人工标记的方式标记其抓取姿态信息。这样，就得到了训练所需的第一训练样本，第一训练样本中第一历史目标物体的第一历史RGB图像就是渲染所得的RGB图像之一，第一历史RGB图像对应的第一历史目标抓取姿态信息就是对应于前述RGB图像人工标记的抓取姿态信息。数据收集完成后，可以进行模型训练。示例地，本公开提供的抓取姿态信息生成模型可以通过深度学习算法进行训练，将第一历史RGB图像作为输入数据、并将第一历史RGB图像对应的第一历史目标抓取姿态信息作为输出数据，使用卷积神经网络模型训练，以得到抓取姿态信息生成模型。
因此，在获取到目标物体的第一RGB图像后，将其输入至抓取姿态信息生成模型，即可获得抓取姿态信息生成模型针对该第一RGB图像生成的目标抓取姿态信息。
采用上述方式，预先训练得到抓取姿态信息模型，在得到第一RGB图像后，将第一RGB图像输入该抓取姿态信息模型，即可获得该模型输出的目标抓取姿态信息，简单且快速。以及，在收集第一训练样本时，通过尽可能多地收集各种物体在各种场景下的抓取姿态信息，可以使训练所得的抓取姿态信息模型准确率更高。
在确定出抓取设备的抓手的目标抓取姿态信息后，抓取设备可以控制抓手处于目标抓取姿态信息对应的姿态。若抓取姿态信息包括抓取中心点和抓取角度，则在确定目标抓取姿态信息后，抓取设备控制抓手处于目标抓取姿态信息对应的抓取中心点和抓取角度。若抓取姿态信息包括抓取中心点、抓取角度和抓取开度，则在确定目标抓取姿态信息后，抓取设备控制抓手处于目标抓取姿态信息对应的抓取中心点、抓取角度和抓取开度。示例地，若目标抓取姿态信息所包括的抓取中心点为位置A1、抓取角度为θ1，则抓取设备控制抓手移动以使抓手的抓取中心点位于位置A1，并且调整抓手的抓取角度以使抓手的抓取平面与水平面之间的夹角为θ1。再例如，若目标抓取姿态信息所包括的抓取中心点为位置A2、抓取角度为θ2、抓取开度为L2，则抓取设备控制抓手移动以使抓手的抓取中心点位于位置A2，并且调整抓手的抓取角度以使抓手的抓取平面与水平面之间的夹角为θ2，并且使抓手张开L2。需要说明的是，控制抓手处于目标抓取姿态信息对应的姿态时，对于目标抓取姿态信息所包括的各参数的调整顺序不限，如依次调整(例如，按抓取中心点、抓取角度、抓取开度的顺序调整)、同时调整等，均属于本公开的保护范围。
回到图1，在步骤12中，在抓手处于目标抓取姿态信息对应的姿态后，获取设置在抓手上的图像采集设备采集到的目标物体的第二RGB图像。
在抓手处于目标抓取信息对应的姿态后，获取设置在抓手上的图像采集设备采集到的目标物体的第二RGB图像，可以理解为抓手在抓取物体时通过抓取视角(从抓手角度)可观察到的目标物体的RGB图像，可获得更加准确的目标物体的图像。
在步骤13中，生成至少一个偏移信息。
其中，偏移信息包括抓手以目标抓取姿态对应的抓取中心点为起点的移动方向和移动偏移量。可见，每一个偏移信息对应一个移动后的位置。
在一种可能的实施例中，至少一个偏移信息可以是随机生成的。
在另一种可能的实施例中，至少一个偏移信息所对应的至少一个移动后的位置处于目标范围内，该目标范围为目标抓取姿态对应的抓取中心点附近的范围，例如，目标范围可以为以目标抓取姿态对应的抓取中心点为中心的范围。
示例地，目标范围可以为以目标抓取姿态对应的抓取中心点为球心，以预设距离为半径的球体。图4为一种可能的目标范围的示意图，在图4中所示的三维坐标系中，点P0(x0，y0，z0)为目标抓取姿态信息对应的抓取中心点，点Pi(xi，yi，zi)为移动后的位置(对应于生成的偏移信息)，预设距离(球体半径)为t，则二者应同时满足如下关系：
xi＝x0+rsinαcosβ
yi＝y0+rsinαsinβ
zi＝z0+rcosα
其中，r为P0和Pi两点间的欧氏距离，α为P0和Pi连线与z轴的夹角，β为P0和Pi连线在xOy平面的投影与x轴的夹角，且α∈[0，π]，β∈[0，2π]，r∈[0，t]。
通过随机指定α、β、r，即可得到至少一个移动后的位置，相应的偏移信息也可知。在偏移信息中，移动方向即为从P0到Pi的方向，移动偏移量即为P0和Pi两点间的欧氏距离。
在步骤14中，针对每一偏移信息，将该偏移信息、第二RGB图像和目标物体的蒙版图像输入至抓取成功率预测模型。
将偏移信息、第二RGB图像和目标物体的蒙版图像输入至抓取成功率预测模型后，可获得抓取成功率预测模型输出的与输入的该偏移信息对应的预测成功率。其中，目标物体的蒙版图像为表示目标物体区域的图像，用于将目标物体与非目标物体的部分区别开来，例如，目标物体的蒙版图像中，目标躯体区域显示为白色像素点，其余区域显示为黑色像素点。
其中，抓取成功率预测模型是根据多个第二训练样本训练得到的，第二训练样本包括：在抓手处于第二历史目标抓取姿态信息下图像采集设备采集到的第二历史目标物体的第二历史RGB图像、第二历史目标物体的蒙版图像、历史偏移信息、以及与该历史偏移信息对应的历史抓取结果信息，其中，历史偏移信息包括抓手以第二历史目标抓取姿态对应的抓取中心点为起点的移动方向和移动偏移量，历史抓取结果信息用于表征抓取成功或失败。其中，第二历史目标物体可以是已知的各种物体。
下面将对抓取成功率预测模型的训练方式进行简要说明。在对抓取成功率预测模型进行训练之前，需要收集训练所需数据，也就是第二训练样本。在数据收集阶段，抓取设备前期执行的操作与上文中提供的方法类似，也就是步骤11～步骤13。对于第二历史目标物体，通过步骤11，确定抓取设备的抓手的第二历史目标抓取姿态信息，并控制抓手处于第二历史目标抓取姿态信息对应的姿态；通过步骤12，在抓手处于第二历史目标抓取姿态信息对应的姿态后，获取设置在抓手上的图像采集设备采集到的第二历史目标物体的第二历史RGB图像；通过步骤13，生成至少一个历史偏移信息，其中，历史偏移信息的生成方式可以参考上文中对步骤13的描述，并且，为了使训练所得的模型准确率更高，针对每一第二历史目标物体，可以尽可能多地生成历史偏移信息。每生成一个历史偏移信息，抓取设备可以控制抓手按照该历史偏移信息移动，并在抓手移动到位后，控制抓手抓取第二历史目标物体，并得到与该历史偏移信息对应的历史抓取结果信息，历史抓取结果信息用于表征抓取成功或失败。对于抓取成功或失败的判断，示例地，在抓手上可以设置有力反馈设备，根据力反馈设备的反馈结果，可得知抓取成功或失败。通过上述方式，可获得多个第二训练样本，针对已获得的多个第二训练样本，将每一个第二训练样本中第二历史RGB图像、第二历史目标物体的蒙版图像、历史偏移信息作为输入数据、并将与所输入的历史偏移信息对应的历史抓取结果信息作为输出数据，使用卷积神经网络模型训练，以得到抓取成功率预测模型。
采用上述方式，预先训练得到抓取成功率预测模型，在得到偏移信息、第二RGB图像以及目标物体的蒙版图像后，将其输入该抓取成功率预测模型，即可获得该模型输出的预测成功率，从而可以针对生成的每一偏移信息，得到相应的预测成功率，简单且快速。并且，在收集第二训练样本时，通过尽可能多地收集各种第二历史目标物体在各种历史偏移信息下的历史抓取结果，可以使训练所得的抓取成功率预测模型准确率更高。其中，在收集第二训练样本的过程中，在生成历史偏移信息时，采用本公开提供的生成偏移信息的方式，可自动地生成大量的历史偏移信息，无需人为干预，减少人力投入且能保证效率。
经过步骤13生成至少一个偏移信息后，针对每一偏移信息，将该偏移信息、第二RGB图像和目标物体的蒙版图像输入至抓取成功率预测模型，即可获得抓取成功率预测模型输出的与该偏移信息对应的预测成功率。
在步骤15中，根据对应于最大预测成功率的偏移信息，确定目标偏移信息，并控制抓手按照目标偏移信息移动。
在一种可能的实施方式中，步骤15可以包括以下步骤：
若最大预测成功率对应的偏移信息为一个，则将该偏移信息确定为目标偏移信息；
若最大预测成功率对应的偏移信息为多个，则将其中移动偏移量最小的偏移信息确定为目标偏移信息。
若最大预测成功率对应的偏移信息为一个，则可直接将该偏移信息确定为目标偏移信息。
若最大预测成功率对应的偏移信息为多个，则将其中移动偏移量最小的偏移信息确定为目标偏移信息，移动偏移量最小也就是起点到终点之间的直线距离最短。这样，在后续控制抓手移动时，可保证抓手移动程度更小，可保证移动效率，且在一定程度上可以保护抓取设备。
在确定目标偏移信息后，抓取设备可以控制抓手按照目标偏移信息移动。本公开中对于控制抓手移动的方式不限。例如，按照目标偏移信息直接直线移动，直至到位。再例如，按照目标偏移信息沿预设方向(如，上、下、左、右)移动，直至到位。
在步骤16中，在抓手移动到位后，控制抓手抓取目标物体。
在抓手移动到位后，控制抓手抓取目标物体。示例地，若抓手的抓取姿态信息包括抓取中心点和抓取角度，则在步骤11中控制抓手处于目标抓取姿态信息对应的姿态时，抓手处于目标抓取姿态信息对应的姿态(抓取中心点和抓取角度)，因此，在抓手移动到位(按照目标偏移信息移动到位)后，利用之前确定的目标抓取姿态信息对应的抓取角度，可以控制抓手抓取目标物体。在一些情形中，抓取物体还需要抓取开度这一参数，此时抓取开度可以在抓取过程中生成，例如根据历史抓取经验生成、随机生成等，或者，可以预先设定。再例如，若抓手的抓取姿态信息包括抓取中心点、抓取角度和抓取开度，则在步骤11中控制抓手处于目标抓取姿态信息对应的姿态时，抓手已经处于目标抓取姿态信息对应的姿态(抓取中心点、抓取角度和抓取开度)，因此，在抓手移动到位(按照目标偏移信息移动到位)后，利用之前确定的目标抓取姿态信息对应的抓取角度和抓取开度，就可以控制抓手抓取目标物体。
另外，上述控制抓手抓取目标物体还可以结合目标物体的深度图像实现，示例地，该深度图像可以和第一RGB图像同时获取。其中，深度图像可以通过深度相机传感器获取，该深度相机传感器可以设置在抓手上。
通过上述方案，根据目标物体的第一RGB图像，确定抓取设备的抓手的目标抓取姿态信息，并将控制抓手处于目标抓取姿态信息对应的姿态；在抓手处于目标抓取姿态信息对应的姿态后，获取设置在抓手上的图像采集设备采集到的目标物体的第二RGB图像；生成至少一个偏移信息；针对每一偏移信息，将该偏移信息、第二RGB图像和目标物体的蒙版图像输入至抓取成功率预测模型，以获得抓取成功率预测模型输出的与偏移信息对应的预测成功率；根据对应于最大预测成功率的偏移信息，确定目标偏移信息，并控制抓手按照目标偏移信息移动；在抓手移动到位后，控制抓手抓取目标物体。在本公开提供的方案中，首先确定抓手的目标抓取姿态信息，也就是预估抓取姿态，而后根据该目标抓取姿态信息生成多个偏移信息，即多个可用于抓取的位置，并针对每个可用于抓取的位置，利用抓取成功率预测模型得到预测成功率，得到预测成功率最大的偏移信息，从而控制抓手到位进行物体抓取。这样，使用抓取成功率预测模型得到最大预测成功率，并利用与最大预测成功率对应的抓取方式进行抓取，无需逐步对图像或抓取指令进行优化，且能提升抓取成功率。
另外，需要说明的是，前文所述的偏移信息是以目标抓取姿态信息对应的抓取中心点为起点的移动方向和移动偏移量。默认情况下，生成偏移信息时，抓手仍处于目标抓取姿态信息对应的姿态，即抓手中心点与目标抓取姿态信息对应的抓取中心点相同，因而生成的偏移信息是以目标抓取信息对应的抓取中心点为起点的。而在一些情况中，抓取设备控制抓手处于目标抓取姿态信息对应的姿态、且若获取到设置在抓手上的图像采集设备采集到的目标物体的第二RGB图像后，使抓手的抓取中心点处于目标抓取姿态信息对应的抓取中心点并不是必须的，在这个过程中，抓手的位置可以移动，例如，移动回初始位置。示例地。若抓手有移动，则结合移动后位置相对于抓取中心点的偏移情况和所确定的目标偏移信息，仍能够控制抓手移动到位。因此，针对于此过程中抓手位置移动的情况，也属于本公开的保护范围。
图5是根据本公开的一种实施方式提供的用于抓取设备的控制装置的框图。如图5所示，该装置50可以包括：
第一控制模块51，用于根据目标物体的第一RGB图像，确定所述抓取设备的抓手的目标抓取姿态信息，并控制所述抓手处于所述目标抓取姿态信息对应的姿态；
图像获取模块52，用于在所述抓手处于所述目标抓取姿态信息对应的姿态后，获取设置在所述抓手上的图像采集设备采集到的所述目标物体的第二RGB图像；
信息生成模块53，用于生成至少一个偏移信息，其中，所述偏移信息包括所述抓手以所述目标抓取姿态信息对应的抓取中心点为起点的移动方向和移动偏移量，所述抓取中心点为所述抓手抓取的中心位置；
信息处理模块54，用于针对每一所述偏移信息，将该偏移信息、所述第二RGB图像和所述目标物体的蒙版图像输入至抓取成功率预测模型，以获得所述抓取成功率预测模型输出的与该偏移信息对应的预测成功率；
第二控制模块55，用于根据对应于最大预测成功率的偏移信息，确定目标偏移信息，并控制所述抓手按照所述目标偏移信息移动；
第三控制模块56，用于在所述抓手移动到位后，控制所述抓手抓取所述目标物体。
可选地，所述第一控制模块51用于将所述第一RGB图像输入至抓取姿态信息生成模型，以获得所述抓取姿态信息生成模型针对所述第一RGB图像生成的所述目标抓取姿态信息，其中，所述抓取姿态信息生成模型是根据多个第一训练样本训练得到的，所述第一训练样本包括：第一历史目标物体的第一历史RGB图像和所述第一历史RGB图像对应的第一历史目标抓取姿态信息。
可选地，所述抓取成功率预测模型是根据多个第二训练样本训练得到的，所述第二训练样本包括：在所述抓手处于第二历史目标抓取姿态信息下所述图像采集设备采集到的第二历史目标物体的第二历史RGB图像、该第二历史目标物体的蒙版图像、历史偏移信息、以及与该历史偏移信息对应的历史抓取结果信息，其中，所述历史偏移信息包括所述抓手以所述第二历史目标抓取姿态对应的抓取中心点为起点的移动方向和移动偏移量，所述历史抓取结果信息用于表征抓取成功或失败。
可选地，所述第二控制模块55用于若最大预测成功率对应的偏移信息为一个，则将该偏移信息确定为所述目标偏移信息；若最大预测成功率对应的偏移信息为多个，则将其中移动偏移量最小的偏移信息确定为所述目标偏移信息。
可选地，所述抓手的抓取姿态信息至少包括所述抓取中心点和抓取角度，所述抓取角度为所述抓手的抓取平面与水平面之间的夹角。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图6是根据一示例性实施例示出的一种电子设备的框图。例如，电子设备700可以被提供为一抓取设备。如图6所示，该电子设备700可以包括：处理器701，存储器702。该电子设备700还可以包括多媒体组件703，输入/输出(I/O)接口704，以及通信组件705中的一者或多者。
其中，处理器701用于控制该电子设备700的整体操作，以完成上述的用于抓取设备的控制方法中的全部或部分步骤。存储器702用于存储各种类型的数据以支持在该电子设备700的操作，这些数据例如可以包括用于在该电子设备700上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器702可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件703可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器702或通过通信组件705发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口704为处理器701和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件705用于该电子设备700与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near FieldCommunication，简称NFC)，2G、3G、4G、NB-IOT、eMTC、或其他5G等等，或它们中的一种或几种的组合，在此不做限定。因此相应的该通信组件705可以包括：Wi-Fi模块，蓝牙模块，NFC模块等等。
在一示例性实施例中，电子设备700可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的用于抓取设备的控制方法。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的用于抓取设备的控制方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器702，上述程序指令可由电子设备700的处理器701执行以完成上述的用于抓取设备的控制方法。
图7是根据一示例性实施例示出的一种电子设备的框图。例如，电子设备1900可以被提供为一服务器。参照图7，电子设备1900包括处理器1922，其数量可以为一个或多个，以及存储器1932，用于存储可由处理器1922执行的计算机程序。存储器1932中存储的计算机程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理器1922可以被配置为执行该计算机程序，以执行上述的用于抓取设备的控制方法。
另外，电子设备1900还可以包括电源组件1926和通信组件1950，该电源组件1926可以被配置为执行电子设备1900的电源管理，该通信组件1950可以被配置为实现电子设备1900的通信，例如，有线或无线通信。此外，该电子设备1900还可以包括输入/输出(I/O)接口1958。电子设备1900可以操作基于存储在存储器1932的操作***，例如WindowsServerTM，Mac OS XTM，UnixTM，LinuxTM等等。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的于抓取设备的控制方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器1932，上述程序指令可由电子设备1900的处理器1922执行以完成上述的用于抓取设备的控制方法。
在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的用于抓取设备的控制方法的代码部分。
以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。
此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。

Claims (10)

1.一种用于抓取设备的控制方法，其特征在于，所述方法包括：
根据目标物体的第一RGB图像，确定所述抓取设备的抓手的目标抓取姿态信息，并控制所述抓手处于所述目标抓取姿态信息对应的姿态；
在所述抓手处于所述目标抓取姿态信息对应的姿态后，获取设置在所述抓手上的图像采集设备采集到的所述目标物体的第二RGB图像；
生成至少一个偏移信息，其中，所述偏移信息包括所述抓手以所述目标抓取姿态信息对应的抓取中心点为起点的移动方向和移动偏移量，所述抓取中心点为所述抓手抓取的中心位置；
针对每一所述偏移信息，将该偏移信息、所述第二RGB图像和所述目标物体的蒙版图像输入至抓取成功率预测模型，以获得所述抓取成功率预测模型输出的与该偏移信息对应的预测成功率；
根据对应于最大预测成功率的偏移信息，确定目标偏移信息，并控制所述抓手按照所述目标偏移信息移动；
在所述抓手移动到位后，控制所述抓手抓取所述目标物体。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一RGB图像，确定所述抓取设备的抓手的目标抓取姿态信息，包括：
将所述第一RGB图像输入至抓取姿态信息生成模型，以获得所述抓取姿态信息生成模型针对所述第一RGB图像生成的所述目标抓取姿态信息，其中，所述抓取姿态信息生成模型是根据多个第一训练样本训练得到的，所述第一训练样本包括：第一历史目标物体的第一历史RGB图像和所述第一历史RGB图像对应的第一历史目标抓取姿态信息。
3.根据权利要求1所述的方法，其特征在于，所述抓取成功率预测模型是根据多个第二训练样本训练得到的，所述第二训练样本包括：在所述抓手处于第二历史目标抓取姿态信息下所述图像采集设备采集到的第二历史目标物体的第二历史RGB图像、该第二历史目标物体的蒙版图像、历史偏移信息、以及与该历史偏移信息对应的历史抓取结果信息，其中，所述历史偏移信息包括所述抓手以所述第二历史目标抓取姿态对应的抓取中心点为起点的移动方向和移动偏移量，所述历史抓取结果信息用于表征抓取成功或失败。
4.根据权利要求1所述的方法，其特征在于，所述根据对应于最大预测成功率的偏移信息，确定目标偏移信息，包括：
若最大预测成功率对应的偏移信息为一个，则将该偏移信息确定为所述目标偏移信息；
若最大预测成功率对应的偏移信息为多个，则将其中移动偏移量最小的偏移信息确定为所述目标偏移信息。
5.根据权利要求1-4中任一项所述的方法，其特征在于，所述抓手的抓取姿态信息至少包括所述抓取中心点和抓取角度，所述抓取角度为所述抓手的抓取平面与水平面之间的夹角。
6.一种用于抓取设备的控制装置，其特征在于，所述装置包括：
第一控制模块，用于根据目标物体的第一RGB图像，确定所述抓取设备的抓手的目标抓取姿态信息，并控制所述抓手处于所述目标抓取姿态信息对应的姿态；
图像获取模块，用于在所述抓手处于所述目标抓取姿态信息对应的姿态后，获取设置在所述抓手上的图像采集设备采集到的所述目标物体的第二RGB图像；
信息生成模块，用于生成至少一个偏移信息，其中，所述偏移信息包括所述抓手以所述目标抓取姿态信息对应的抓取中心点为起点的移动方向和移动偏移量，所述抓取中心点为所述抓手抓取的中心位置；
信息处理模块，用于针对每一所述偏移信息，将该偏移信息、所述第二RGB图像和所述目标物体的蒙版图像输入至抓取成功率预测模型，以获得所述抓取成功率预测模型输出的与该偏移信息对应的预测成功率；
第二控制模块，用于根据对应于最大预测成功率的偏移信息，确定目标偏移信息，并控制所述抓手按照所述目标偏移信息移动；
第三控制模块，用于在所述抓手移动到位后，控制所述抓手抓取所述目标物体。
7.根据权利要求6所述的装置，其特征在于，所述第一控制模块用于将所述第一RGB图像输入至抓取姿态信息生成模型，以获得所述抓取姿态信息生成模型针对所述第一RGB图像生成的所述目标抓取姿态信息，其中，所述抓取姿态信息生成模型是根据多个第一训练样本训练得到的，所述第一训练样本包括：第一历史目标物体的第一历史RGB图像和所述第一历史RGB图像对应的第一历史目标抓取姿态信息。
8.根据权利要求6所述的装置，其特征在于，所述抓取成功率预测模型是根据多个第二训练样本训练得到的，所述第二训练样本包括：在所述抓手处于第二历史目标抓取姿态信息下所述图像采集设备采集到的第二历史目标物体的第二历史RGB图像、该第二历史目标物体的蒙版图像、历史偏移信息、以及与该历史偏移信息对应的历史抓取结果信息，其中，所述历史偏移信息包括所述抓手以所述第二历史目标抓取姿态对应的抓取中心点为起点的移动方向和移动偏移量，所述历史抓取结果信息用于表征抓取成功或失败。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-5中任一项所述方法的步骤。
10.一种电子设备，其特征在于，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1-5中任一项所述方法的步骤。
CN201910545120.2A 2019-06-21 2019-06-21 用于抓取设备的控制方法、装置、存储介质及电子设备 Active CN110363811B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910545120.2A CN110363811B (zh) 2019-06-21 2019-06-21 用于抓取设备的控制方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910545120.2A CN110363811B (zh) 2019-06-21 2019-06-21 用于抓取设备的控制方法、装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN110363811A true CN110363811A (zh) 2019-10-22
CN110363811B CN110363811B (zh) 2022-02-08

Family

ID=68216524

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910545120.2A Active CN110363811B (zh) 2019-06-21 2019-06-21 用于抓取设备的控制方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN110363811B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111805540A (zh) * 2020-08-20 2020-10-23 北京迁移科技有限公司 工件抓取位姿的确定方法、装置、设备及存储介质
CN112053398A (zh) * 2020-08-11 2020-12-08 浙江大华技术股份有限公司 物体抓取方法、装置、计算设备和存储介质
CN112258567A (zh) * 2020-10-10 2021-01-22 达闼机器人有限公司 物体抓取点的视觉定位方法、装置、存储介质及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107972026A (zh) * 2016-10-25 2018-05-01 深圳光启合众科技有限公司 机器人、机械臂及其控制方法和装置
CN109176521A (zh) * 2018-09-19 2019-01-11 北京因时机器人科技有限公司 一种机械臂及其抓取控制方法和***
US20190087976A1 (en) * 2017-09-19 2019-03-21 Kabushiki Kaisha Toshiba Information processing device, image recognition method and non-transitory computer readable medium
CN109598264A (zh) * 2017-09-30 2019-04-09 北京猎户星空科技有限公司 物体抓取方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107972026A (zh) * 2016-10-25 2018-05-01 深圳光启合众科技有限公司 机器人、机械臂及其控制方法和装置
US20190087976A1 (en) * 2017-09-19 2019-03-21 Kabushiki Kaisha Toshiba Information processing device, image recognition method and non-transitory computer readable medium
CN109598264A (zh) * 2017-09-30 2019-04-09 北京猎户星空科技有限公司 物体抓取方法及装置
CN109176521A (zh) * 2018-09-19 2019-01-11 北京因时机器人科技有限公司 一种机械臂及其抓取控制方法和***

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112053398A (zh) * 2020-08-11 2020-12-08 浙江大华技术股份有限公司 物体抓取方法、装置、计算设备和存储介质
CN112053398B (zh) * 2020-08-11 2021-08-27 浙江大华技术股份有限公司 物体抓取方法、装置、计算设备和存储介质
CN111805540A (zh) * 2020-08-20 2020-10-23 北京迁移科技有限公司 工件抓取位姿的确定方法、装置、设备及存储介质
CN112258567A (zh) * 2020-10-10 2021-01-22 达闼机器人有限公司 物体抓取点的视觉定位方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN110363811B (zh) 2022-02-08

Similar Documents

Publication Publication Date Title
CN109255813B (zh) 一种面向人机协作的手持物***姿实时检测方法
CN107813310B (zh) 一种基于双目视觉多手势机器人控制方法
CN110363811A (zh) 用于抓取设备的控制方法、装置、存储介质及电子设备
CN109498384B (zh) 一种按摩部位识别、定位、按摩方法及装置、设备
CN109697458A (zh) 控制设备移动的方法、装置、存储介质及电子设备
CN113492393A (zh) 一种由人演示的机器人示教
US11138416B2 (en) Method and apparatus for recognizing an organism action, server, and storage medium
JP5598751B2 (ja) 動作認識装置
JP2011110620A (ja) ロボットの動作を制御する方法およびロボットシステム
JP2011110621A (ja) ロボットの教示データを作成する方法およびロボット教示システム
CN112906797A (zh) 一种基于计算机视觉和深度学***面抓取检测方法
CN105930775B (zh) 基于灵敏度参数的人脸朝向识别方法
CN105242888B (zh) 一种***控制方法及电子设备
JP2010123019A (ja) 動作認識装置及び方法
EP3127586A1 (en) Interactive system, remote controller and operating method thereof
CN108647633A (zh) 识别跟踪方法、识别跟踪装置和机器人
US11478922B2 (en) Robot teaching device and robot system
CN110427849A (zh) 人脸姿态确定方法、装置、存储介质和电子设备
CN112784786A (zh) 人体姿态识别方法及装置
CN115480511A (zh) 一种机器人交互方法、装置、存储介质及设备
JP2009211563A (ja) 画像認識装置、画像認識方法、画像認識プログラム、ジェスチャ動作認識システム、ジェスチャ動作認識方法、及びジェスチャ動作認識プログラム
CN111145252B (zh) 一种儿童机器人上利用图像辅助的声源方向判定***
Durdu et al. Morphing estimated human intention via human-robot interactions
CN111368667A (zh) 一种数据采集方法、电子设备和存储介质
CN109934155A (zh) 一种基于深度视觉的协作机器人手势识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210302

Address after: 201111 2nd floor, building 2, no.1508, Kunyang Road, Minhang District, Shanghai

Applicant after: Dalu Robot Co.,Ltd.

Address before: 518000 Room 201, building A, No. 1, Qian Wan Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong (Shenzhen Qianhai business secretary Co., Ltd.)

Applicant before: Shenzhen Qianhaida Yunyun Intelligent Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 201111 Building 8, No. 207, Zhongqing Road, Minhang District, Shanghai

Patentee after: Dayu robot Co.,Ltd.

Address before: 201111 2nd floor, building 2, no.1508, Kunyang Road, Minhang District, Shanghai

Patentee before: Dalu Robot Co.,Ltd.