CN111791225A - 机器人的控制方法和控制*** - Google Patents

Abstract

本发明涉及机器人的控制方法和控制***。所述方法包括利用摄像机拍摄目标，并且利用拍摄的数据来检测目标。基于检测到的目标来设定用于目标的抓取动作，并且操作机器人以基于设定的抓取动作来抓取目标。

Description

机器人的控制方法和控制***

技术领域

本发明涉及一种机器人的控制方法和控制***，更具体地涉及控制机器人以检测要抓取的目标并且随后控制机器人抓取该目标的技术。

背景技术

已经开发了为人类提供各种类型的便利的机器人，机器人根据用途分为工业机器人和智能服务机器人，工业机器人替代人类执行简单的重复工作和困难且危险的工作，智能服务机器人为人类的日常生活提供各种类型的便利。在相关技术中已开发的机器人的手或臂适用于抓取和搬运物体，但是由于抓取物体的机器人的布置和驱动机器人的机构类型方面的限制，其在准确地抓取没有特定形状的物体方面具有局限性。相应地，已经研究了一种在机器人的每个手指上安装传感器并且基于传感器操作该机器人的方法，但是该方法具有较高成本。

以上提供的作为本发明的相关技术的描述仅用于帮助理解本发明的背景，并且不应解释为包括在本领域技术人员已知的相关技术中。

发明内容

本发明提供了一种操作机器人以利用摄像机检测目标并且适当地抓取识别的目标的方法。

考虑到上述情况，根据本发明的一个方面的机器人的控制方法可以包括：利用摄像机拍摄目标并且利用拍摄到的数据检测目标；基于识别的目标设定用于目标的抓取动作；操作机器人以基于设定的抓取动作抓取目标。

所述摄像机可以为飞行时间(Time of Flight，ToF)摄像机，其配置为通过发射和接收脉冲来捕获目标的图像。在检测目标时，可以检测拍摄的目标的三维(3D)图像。此外，可以检测拍摄目标的材料。当目标由多种材料组成时，可以分别检测材料和由材料形成的形状。此外，可以通过将拍摄目标的数据与预先存储的数据库进行比较来得出目标的属性或质量。目标的属性可以为取决于目标的材料的强度、密度、弹性模量或摩擦系数。

进一步地，在设定用于目标的抓取动作时，可以基于检测到的目标设定初始抓取力或初始抓取姿态。可以基于目标的强度设定初始抓取力，并且可以基于目标的质量和弹性模量确定是否能够利用初始抓取力从侧面抓取目标。当不能利用初始抓取力抓取目标时，可以设定从底部支撑目标的重量的初始抓取姿态。

在操作机器人以抓取目标的过程中，可以基于设定的抓取动作来实时调整机器人的动作，并且由机器人施加的抓取力可以调整为用于检测到的目标的最大抓取力或小于用于检测到的目标的最大抓取力。用于目标的最大抓取力可以基于取决于检测到的目标的材料的强度来确定。

根据本发明的另一方面的机器人的控制***可以包括：摄像机，其配置为捕获目标的图像；目标识别器，其配置为利用由所述摄像机拍摄或捕获的数据来检测目标；抓取动作设定器，其配置为基于由目标识别器检测到的目标来设定用于目标的抓取动作；以及机器人控制器，其配置为操作机器人以基于由抓取动作设定器设定的抓取动作抓取目标。所述摄像机可以为飞行时间(ToF)摄像机，其包括发射脉冲的发射器和接收由目标反射的脉冲的接收器，并且所述摄像机利用由接收器接收到的脉冲作为数据。

所述***可以进一步包括存储器，其中预先存储了根据数据的3D图像或材料的数据库，目标识别器可以配置为通过将拍摄的目标的数据与预先存储于存储器的数据库进行比较来得到目标的属性或质量。由机器人控制器操作的机器人可以为包括机械手臂，其包括多个关节并且在机械手臂的端部包括夹具。

根据本发明的机器人的控制方法和控制***，可以利用摄像机估算要抓取的目标的质量、材料等。相应地，通过预先设定初始抓取姿态和初始抓取力，可以提高抓取控制的稳定性，由此可以进行快速抓取控制。

附图说明

结合附图，从以下具体描述中将更清楚地理解本发明的以上和其它方面、特征以及优点，在这些附图中：

图1为显示根据本发明的示例性实施方案的机器人的控制***的配置的视图；

图2为显示根据本发明的示例性实施方案的机器人的控制***的摄像机的视图；

图3为显示根据本发明的示例性实施方案的机器人的控制方法的流程图；

图4和图5为显示根据本发明的示例性实施方案的数据库的示例的视图。

具体实施方式

虽然示例性实施方案描述为使用多个单元以执行示例性的过程，但是应当理解，示例性的过程也可以由一个或多个模块执行。此外，应当理解的是，术语控制器/控制单元表示包括存储器和处理器的硬件设备。存储器配置为对模块进行存储，并且处理器具体配置为执行所述模块以进行以下进一步描述的一个或多个过程。

此外，本发明的控制逻辑可以实现为计算机可读介质上的非易失性计算机可读介质，其包含由处理器、控制器/控制单元等执行的可执行程序指令。计算机可读介质的示例包括但不限于ROM、RAM、光盘(CD)-ROM、磁带、软盘、闪盘驱动器、智能卡和光学数据存储装置。计算机可读记录介质还可以分布在网络连接的计算机***上，使得计算机可读介质例如通过远程信息处理服务器或控制器局域网(CAN)以分布方式存储和执行。

说明书或申请中公开的本发明的示例性实施方案的特定结构或功能性描述仅是出于描述根据本发明的实施方案的目的而给出的。因此，根据本发明的示例性实施方案可以以各种方式实现，并且本发明不应解释为局限于说明书或申请中描述的示例性实施方案。

可以对根据本发明的示例性实施方案作出各种改变和修改，并且因此特定的示例性实施方案将在附图中示出，并且在说明书或申请中描述。然而，应当理解的是，根据本发明构思的实施方案不限于具体公开的示例性实施方案，而是本发明包括落在本发明的精神和范围内的所有修改方式、等同方式和替选方式。

虽然可以利用诸如第一、第二等“序号”术语来描述各种元件，但是元件不应由这些术语定义。这些术语仅用于区分一个元件与另一个元件，并且因此在不脱离根据本发明构思的保护范围的情况下，第一元件可以命名为第二元件，而第二元件可以类似地命名为第一元件。

在一个元件称为“连接”或“接入”至其他元件的情况下，应当理解的是，不仅该元件直接连接或接入至其他元件，它们之间还可能存在另一个元件。相反地，在一个组件称为“直接连接”或“直接接入”至另一个组件时，应当理解的是，它们之间没有组件。描述结构性元件之间关系的其他表述，即“在……之间”和“仅在……之间”或“相邻”和“直接相邻”，应与以上描述类似地进行解释。

在本说明书中，术语仅用于描述特定的示例性实施方案，并非旨在限制本发明。如本文所使用的，单数形式旨在也包括复数形式，除非上下文另有清楚的说明。除非有不同的定义，本文中所使用的全部术语(包括技术术语或科学术语)具有与本发明所属技术领域的技术人员所通常理解的相同的含义。应当解释的是，这些术语与通常词典中定义的术语相同，其具有与在相关技术的上下文中的含义相同的含义。除非清楚的定义，否则这些术语不应理想地或过度地解释为一种正式含义。

下面将参考附图对本发明的示例性实施方案进行详细描述。附图中呈现的相似的附图标记表示相同的元件。

图1为显示根据本发明的示例性实施方案的机器人的控制***的配置的视图，图2为显示根据本发明的示例性实施方案的机器人的控制***的摄像机10的视图。参考图1和图2，根据本发明的示例性实施方案的机器人的控制***可以包括：摄像机10、目标识别器20、抓取动作设定器30和机器人控制器40，摄像机10配置为捕获(例如，拍摄)目标A的图像，目标识别器20配置为利用由摄像机10拍摄或捕获的数据来检测目标A，抓取动作设定器30配置为基于由目标识别器20检测到的目标A来设定用于目标A的抓取动作，机器人控制器40配置为操作机器人50以基于由抓取动作设定器30设定的抓取动作来抓取目标A。

通常地，当人抓取目标A时，人通常在视觉上检测目标A，随后在检测目标A的大小和目标A的预期弹性、强度等时抓取目标A。具体地，基于检测到的目标A，人会利用抓取目标A的不同的手动作或生成施加至目标A的不同的初始抓取力。

检测目标的技术也可以应用至机器人50，从而以该方式准确地抓取具有非特定形状的目标A。具体地，可以通过如下来获得能够稳定且快速地进行抓取控制的效果：通过利用摄像机10捕获图像的视觉***来检测要抓取的目标A，设定用于抓取检测到的目标A的适当的初始姿态和当抓取目标A时施加至目标A的初始抓取力，并且随后操作机器人50。

摄像机10可以配置为拍摄目标A并且将拍摄到的数据发送至目标识别器20。所述数据可以为由摄像机10得到的图像数据。具体地，摄像机10可以配置为基于通过对目标A进行3维拍摄得到的3D距离信息来生成图像数据。目标识别器20可以配置为利用从摄像机10发送的数据来检测目标A。具体地，目标识别器20可以配置为基于目标A的形状、体积和材料来检测属性。

抓取动作设定器30可以配置为基于由目标识别器20检测到的目标A来设定用于目标A的抓取动作。具体地，抓取动作设定器30可以配置为设定用于目标A的抓取姿态和抓取力。机器人控制器40可以配置为操作机器人50以基于由抓取动作设定器30设定的抓取动作来抓取目标A。由机器人控制器40操作的机器人50是指机械手臂。机械手臂50在其端部可以包括具有多个关节以抓取目标A的夹具51。机器人50包括的关节中可以包括生成扭矩的诸如电机的驱动设备，并且机器人控制器40可以配置为调整驱动设备的操作以操作机器人50。

根据本发明的示例性实施方案的目标识别器20、抓取动作设定器30和机器人控制器40可以通过非易失性存储器(未示出)和处理器(未示出)实现，非易失性存储器配置为存储用于执行各种组件的操作的算法或关于用于执行算法的软件指令的数据，处理器配置为利用存储于存储器中的数据执行下文将描述的操作。存储器和处理器可以为单独的芯片。或者，存储器和处理器可以整合至单个芯片。处理器可以实现为一个或更多个处理器。

具体地，摄像机10可以为飞行时间(Time of Flight，ToF)摄像机10，其包括发射脉冲的发射器11和接收由目标A反射的脉冲的接收器12，并且利用由接收器12接收的脉冲作为数据。ToF摄像机10配置为通过将具有调制频率的脉冲发射至目标A并且随后接收由目标A反射的脉冲来测量目标A的深度，ToF摄像机10可以配置为利用发射的脉冲的反射时间差来测量目标A的深度。接收器12可以配置为接收由目标A反射的脉冲，并且分析调制频率。

ToF摄像机10可以包括发射器11和接收器12。例如，红外线可以用作脉冲，红外光源可以用作发射器11并且红外传感器可以用作接收器12。ToF摄像机10可以配置为接收从发射器11发射并且由目标反射的脉冲，并且可以配置为从接收的脉冲提取数据。目标识别器20可以配置为利用输入的数据来检测目标A的3D形状。

控制***可以进一步包括存储器21，其中可以预先存储根据数据的3D图像或材料的数据库。目标识别器20可以配置为通过将拍摄到的目标A的数据与存储器21中存储的数据库进行比较来得到目标A的属性或质量。具体地，目标A的数据可以被学习并存储于存储器21中，并且目标识别器20可以配置为将利用由摄像机10拍摄的数据所检测到的目标A的形状与存储器21的数据库进行比较，由此可以确定目标A为什么物体。

目标识别器20可以配置为利用拍摄的目标A的数据来检测目标A的材料。从ToF摄像机发射并且由目标A反射的脉冲基于目标A的材料而失真。利用这一原理，目标A的材料可以通过分析由目标A反射的脉冲的失真来得到。根据各种材料的失真脉冲的数据库可以存储于存储器21，并且目标识别器20可以配置为通过将利用摄像机10拍摄的数据与存储器21的数据库进行比较来得到目标A的材料。

进一步地，各种材料的属性可以预先存储于存储器21的数据库。具体地，每种材料的属性可以包括：材料的强度、密度、弹性模量、摩擦系数等。相应地，目标识别器20可以配置为从存储器21的数据库中检测与目标A的材料相对应的属性。

图3为显示根据本发明的示例性实施方案的机器人的控制方法的流程图。下文描述的方法可以由控制器执行。进一步参考图3，根据本发明的示例性实施方案的机器人的控制方法可以包括：利用摄像机10拍摄目标A并且利用拍摄的数据检测目标A(S100)；基于检测到的目标A设定用于目标A的抓取动作(S200)；操作机器人以基于设定的抓取动作抓取目标A(S300)。

在目标A的检测过程中(S100)，可以通过利用摄像机10拍摄目标A来形成目标A的图像数据(S110)，并且可以利用形成的图像数据来检测目标A。具体地，在目标A的检测过程中(S100)，可以检测拍摄的目标A的3D图像。摄像机10可以为生成3D图像数据的3D摄像机10，用于目标A的3维检测。例如，摄像机10可以为ToF摄像机10，其配置为通过发射和接收脉冲来拍摄目标A。ToF摄像机10可以配置为：利用从发射器11发射的脉冲由目标A反射并由接收器12接收的时间来检测与目标A的距离以及目标A的3D形状(S110)。进一步地，可以利用检测到的目标A的3D形状来计算目标A的体积。

此外，可以通过将检测到的目标A的3D形状与预先存储于数据库的物体的3D图像进行比较来检测检测到的目标A的物体类型。例如，当目标A的3D形状确定为与预先存储于数据库的杯形相同时，作为比较的结果，目标A可以确定为杯子。进一步地，在目标A的检测过程中(S100)，可以检测拍摄的目标A的材料。取决于材料，由目标A反射并由接收器12接收的脉冲具有不同的失真形状。相应地，可以通过分析由目标A反射的脉冲来识别目标A的材料。

具体地，在目标A的检测过程中(S100)，当目标A由多种材料组成时，可以分别地识别材料和由材料形成的形状。换句话说，当目标A具有多种材料时，可以分别地检测与材料对应的形状并且计算材料的体积。例如，当目标为其中有水的杯子时，可以分别地检测杯子和水的形状，并且分别地计算杯子和水的体积。在目标A的检测过程中(S100)，可以通过将拍摄的目标A的数据与预先存储的数据库进行比较，得到目标A的属性或质量(S120)。材料的属性可以预先存储于数据库。

图4和图5为显示根据本发明的示例性实施方案的数据库的示例的视图。进一步参考图4和图5，根据本发明的示例性实施方案的数据库可以包括属性，所述属性包括材料的密度、强度、弹性模量、摩擦系数等。在目标A的检测过程中(S100)，可以利用拍摄的目标A的图像数据来识别目标A的材料，并且得到与识别的材料对应的属性。

进一步地，可以通过将目标A的体积与目标A的密度相乘得到目标A的质量，其中体积和质量是根据目标A的图像数据计算的。换句话说，在目标A的检测过程中(S100)，可以检测目标A的物体类型、计算目标A的体积并且通过检测目标A的材料得到目标A的属性和质量。在目标A的抓取动作设定过程中(S200)，用于机器人50抓取目标的动作可以设定为抓取识别的目标A，并且抓取动作可以包括抓取姿态和抓取力。

通常地，机器人50可以被控制为用于抓取目标A的动作，使得施加至目标A的抓取力逐渐增加。具体地，当将抓取力施加至目标A时，可以在接收到关于目标A是否变形的反馈时，增加施加至目标A的抓取力，并且也可以在接收到关于根据拿起目标A的动作的机器人的动作的反馈时，增加施加至目标A的抓取力。

在根据本发明的示例性实施方案的目标A的抓取动作设定过程中(S200)，可以基于识别的目标A来设定初始抓取力或初始抓取姿态。换句话说，由于可以预先检测根据目标A的类型和材料的属性和质量，因此可以通过首先设定用于抓取目标的机器人的初始抓取力和初始抓取姿态，并且随后相应地操作该机器人，从而更快速地控制抓取动作。具体地，在目标A的抓取动作设定过程中(S200)，可以基于目标A的强度来设定初始抓取力。

目标A的强度越大，可以设定的初始抓取力越大，而目标A的强度越小，初始抓取力可能越小，所述初始抓取力可以基于预定的初始抓取力映射来设定。具体地，初始抓取力可以适当地设定为防止损坏目标A或使目标A变形。进一步地，可以基于目标A的强度和质量来确定初始抓取力。例如，当目标A为强度较小的轻纸杯时，可以通过设定相对较小的初始抓取力来防止目标A的变形。当目标A为强度较高的较重金属杯时，可以设定相对较大的初始力，由此减少用于增大抓取力的反馈控制的时间，因此可以进行快速的控制。

此外，可以减少检测目标A的形状所需的时间、设定与目标A的识别的形状对应的机器人抓取目标的初始抓取姿态所需的时间以及操作机器人以通过反馈抓取目标A所需的时间，因此可以进行更快速的控制。进一步地，在目标A的抓取动作设定过程中(S200)，可以基于目标A的质量和弹性模量来确定是否可以利用初始抓取力从侧面抓取目标A。当不能利用初始抓取力抓取目标时，可以设定从底部支撑目标A的重量的初始抓取姿态。

换句话说，可以基于目标A的材料来改变用于抓取目标A的初始抓取姿态。考虑到根据目标A的强度以及目标A的质量和摩擦系数确定的初始抓取力，响应于确定出即使从目标A的侧面施加初始抓取力也不能抓取目标A，初始抓取力也可以设定为从底部支撑目标A。例如，当目标A为强度基本上较轻(例如，重量轻)的纸杯，但是由于其中的水而其质量较大(例如，杯子由于充满水而较重)时，可以确定出在抓取目标A的侧面时施加抓取力的抓取姿态是不可能的，因此，初始姿态可以设定为抓取目标A的侧面并且从底部支撑目标A的重量。

在目标A的抓取动作设定过程中(S200)，当操作机器人以抓取目标A时，可以基于检测到的目标A的形状、类型和属性来设定初始抓取力和初始抓取动作。例如，可以根据每个检测到的目标A，通过改变用于设定初始抓取力和用于控制目标A的初始抓取姿态的参数来设定目标A的抓取动作。

在操作机器人以抓取目标A的操作过程中(S300)，可以基于设定的抓取动作来操作机器人50以抓取目标A。具体地，通过调整和操作机器人50的关节以使夹具51的端部向目标A移动，并且操作夹具51的关节使得夹具51采取初始抓取姿态，从而可以操作夹具51以向目标A施加初始抓取力。进一步地，在操作机器人以抓取目标A的操作过程中(S300)，可以基于设定的抓取动作实时地执行操作，使得由机器人施加的抓取力为用于检测到的目标A的最大抓取力或小于用于检测到的目标A的最大抓取力。

此外，在操作机器人以抓取目标A的操作过程中(S300)，机器人可以以设定的抓取动作初始操作，并且机器人的动作的反馈可以被实时地接收，从而可以通过反馈实时地操作机器人。进一步地，可以从初始抓取力起增加或减小由机器人施加至目标A的抓取力，但是可以在最大抓取力以下调整抓取力。目标A的最大抓取力可以基于检测到的目标A来设定。具体地，可以基于取决于目标A的材料的属性来设定最大抓取力，因此可以考虑到目标A的类型或取决于目标A材料的强度、弹性模量等来设定最大抓取力。

虽然已经参考本发明的特定示例性实施方案描述和说明了本发明，但对于本领域的技术人员显然的是，可以在不偏离由所附权利要求提供的本发明的技术理念的情况下，可以对本发明进行各种改进和修改。

Claims (16)

1.一种机器人的控制方法，其包括：

由控制器通过操作摄像机来捕获目标的图像并且利用捕获到的图像的数据来检测目标；

由控制器基于检测到的目标来设定用于目标的抓取动作；

由控制器操作机器人以基于设定的抓取动作来抓取目标。

2.根据权利要求1所述的方法，其中，所述摄像机为飞行时间摄像机，其配置为通过发射和接收脉冲来拍摄目标。

3.根据权利要求1所述的方法，其中，在检测目标的过程中，检测捕获到的目标的三维图像。

4.权利要求1所述的方法，其中，在检测目标的过程中，检测目标的材料。

5.根据权利要求4所述的方法，其中，在检测目标的过程中，当目标由多种材料组成时，分别检测材料和由材料形成的形状。

6.根据权利要求1所述的方法，其中，在检测目标的过程中，通过将目标的捕获到的图像的数据与预先存储的数据库进行比较来得到目标的属性或质量。

7.根据权利要求6所述的方法，其中，目标的属性为取决于目标的材料的强度、密度、弹性模量或摩擦系数。

8.根据权利要求1所述的方法，其中，在设定用于目标的抓取动作的过程中，基于检测到的目标来设定初始抓取力或初始抓取姿态。

9.根据权利要求8所述的方法，其中，在设定用于目标的抓取动作的过程中，基于目标的强度来设定初始抓取力。

10.根据权利要求9所述的方法，其中，在设定用于目标的抓取动作的过程中，基于目标的质量和弹性模量来确定是否能够利用初始抓取力从侧面抓取目标，并且当不能利用初始抓取力来抓取目标时，设定从底部支撑目标的重量的初始抓取姿态。

11.根据权利要求1所述的方法，其中，在操作机器人以抓取目标的过程中，基于设定的抓取动作来实时地操作机器人的动作，并且将由机器人施加的抓取力调整为用于检测到的目标的最大抓取力或小于用于检测到的目标的最大抓取力。

12.根据权利要求11所述的方法，其中，基于取决于检测到的目标的材料的强度来确定用于目标的最大抓取力。

13.一种机器人的控制***，其包括：

摄像机，其配置为拍摄目标；

目标识别器，其配置为利用由摄像机拍摄的数据来检测目标；

抓取动作设定器，其配置为基于由目标识别器检测到的目标来设定用于目标的抓取动作；以及

机器人控制器，其配置为操作机器人以基于由抓取动作设定器设定的抓取动作来抓取目标。

14.根据权利要求13所述的机器人的控制***，其中，所述摄像机为飞行时间摄像机，其包括发射脉冲的发射器和接收由目标反射的脉冲的接收器，并且所述飞行时间摄像机利用由接收器接收的脉冲作为数据。

15.根据权利要求13所述的机器人的控制***，其进一步包括：

存储器，其中预先存储了根据数据的三维图像或材料的数据库，所述目标识别器配置为通过将拍摄的目标的数据与预先存储于存储器的数据库进行比较以得到目标的属性或质量。

16.根据权利要求13所述的机器人的控制***，其中，由机器人控制器操作的机器人为机械手臂，其包括多个关节并且在机械手臂的端部包括夹具。

Images