CN109333536A - 一种机器人及其物体抓取方法和装置 - Google Patents

Abstract

本申请提供了一种机器人及其物体抓取方法和装置，该方法和装置具体为检测目标物体的种类、位置和三维姿态；将种类、位置和/或三维姿态输入抓取动作决策模型，得到抓取策略，并按抓取策略控制抓取部件抓取所目标物体；根据抓取部件检测到的传感器数据判断是否抓取成功，如抓取成功则执行后续操作；如判定没有抓取成功，根据传感器数据对抓取策略进行调整，得到调整抓取策略，并根据调整抓取策略控制抓取部件再次执行抓取，并再次根据抓取部件检测到的传感器数据判断是否抓取成功。通过这样循环调整并多次抓取，可以避免因位置出现偏差、打滑和力度不够等情况导致的抓取失败情况的发生。

Description

一种机器人及其物体抓取方法和装置

技术领域

本申请涉及人工智能技术领域，更具体地说，涉及一种机器人及其物体抓取方法和装置。

背景技术

随着技术的发展，机器人越来越多地应用于生产生活的各个领域，例如在汽车生产线上的工业机器人已经基本替代了人类的操作，虽然这些机器人的形态千差万别，特别是工业机器人都是以一种非人类形态出现，但是其基本的动作—抓握且是基本所有机器人的共同特征，无论是直接抓取零部件还是对相应位置的操作，都需要利用抓握部件进行抓握操作。

当需要抓取有干扰、体积较小或者外形复杂的目标物体时，由于***固有的误差会导致抓握的位置出现偏差、目标物体本身打滑、力度不够等情况的发生，从而导致对目标物体的抓取失败。

发明内容

有鉴于此，本申请提供一种机器人及其物体抓取方法和装置，用于避免出现抓取失败。

为了实现上述目的，现提出的方案如下：

一种物体抓取方法，应用于机器人，所述物体抓取方法包括步骤：

检测目标物体的种类、位置和三维姿态；

将所述种类、所述位置和/或所述三维姿态输入抓取动作决策模型，得到抓取策略，并按所述抓取策略控制抓取部件抓取所目标物体；

根据所述抓取部件检测到的传感器数据判断是否抓取成功，如抓取成功则执行后续操作；

如判定没有抓取成功，根据所述传感器数据对所述抓取策略进行调整，得到调整抓取策略，并根据所述调整抓取策略控制所述抓取部件再次执行抓取，并返回到所述根据抓取部件检测到的传感器数据判断是否抓取成功步骤。

可选的，所述检测目标物体的种类、位置和三维姿态，包括：

利用视觉检测方法获取所述目标物体的影像；

将所述影像输入目标检测模型，得到所述种类、所述位置和所述三维姿态。

可选的，还包括：

在每次抓取时，记录所述传感器数据，形成第一数据集，所述第一数据集中包括抓取成功时的传感器数据和抓取失败时的传感器数据；

利用所述第一数据集进行深度神经网络的训练，得到抓取判断模型，所述抓取判断模型用于判断抓取是否成功。

可选的，所述根据所述抓取部件检测到的传感器数据判断是否抓取成功，包括：

将所述传感器数据输入到所述抓取判断模型，得到是否抓取成功的判断结果。

可选的，还包括：

在每次抓取时，记录所述传感器数据和调整前的抓取策略和每次调整后的抓取策略，形成第二数据集；

根据所述第二数据集进行深度神经网络的训练，得到抓取决策调整模型。

可选的，所述根据所述传感器数据对所述抓取策略进行调整，得到所述抓取调整策略，包括：

将所述传感器数据输入所述抓取策略调整模型，得到所述抓取调整策略。

可选的，还包括：

当对单一目标物体尝试抓取的次数达到预设限值时，控制所述抓取部件终止执行抓取。

一种物体抓取装置，应用于机器人，所述物体抓取装置包括：

参数检测模块，用于检测目标物体的种类、位置和三维姿态；

第一执行模块，用于将所述种类、所述位置和/或所述三维姿态输入抓取动作决策模型，得到抓取策略，并按所述抓取策略控制抓取部件抓取所目标物体；

抓取判断模块，用于根据所述抓取部件检测到的传感器数据判断是否抓取成功，如抓取成功则执行后续操作；

第二执行模块，用于如判定没有抓取成功，根据所述传感器数据对所述抓取策略进行调整，得到调整抓取策略，并根据所述调整抓取策略控制所述抓取部件再次执行抓取，并返回到所述根据抓取部件检测到的传感器数据判断是否抓取成功步骤。

可选的，所述参数检测模块包括：

影像获取单元，用于利用视觉检测方法获取所述目标物体的影像；

检测执行单元，用于将所述影像输入目标检测模型，得到所述种类、所述位置和所述三维姿态。

可选的，还包括：

第一记录模块，用于在每次抓取时，记录所述传感器数据，形成第一数据集，所述第一数据集中包括抓取成功时的传感器数据和抓取失败时的传感器数据；

第一训练模块，用于利用所述第一数据集进行深度神经网络的训练，得到抓取判断模型，所述抓取判断模型用于判断抓取是否成功。

可选的，所述抓取判断模块用于将所述传感器数据输入到所述抓取判断模型，得到是否抓取成功的判断结果。

可选的，还包括：

第二记录模块，用于在每次抓取时，记录所述传感器数据和调整前的抓取策略和每次调整后的抓取策略，形成第二数据集；

第二训练模块，用于根据所述第二数据集进行深度神经网络的训练，得到抓取决策调整模型。

可选的，所述第二执行模块用于将所述传感器数据输入所述抓取策略调整模型，得到所述抓取调整策略。

可选的，所述第二执行模块还用于当对单一目标物体尝试抓取的次数达到预设限值时，控制所述抓取部件终止执行抓取。

一种机器人，可选的，设置有如上所述的物体抓取装置。

从上述的技术方案可以看出，本申请公开了一种机器人及其物体抓取方法和装置，该方法和装置具体为检测目标物体的种类、位置和三维姿态；将种类、位置和/或三维姿态输入抓取动作决策模型，得到抓取策略，并按抓取策略控制抓取部件抓取所目标物体；根据抓取部件检测到的传感器数据判断是否抓取成功，如抓取成功则执行后续操作；如判定没有抓取成功，根据传感器数据对抓取策略进行调整，得到调整抓取策略，并根据调整抓取策略控制抓取部件再次执行抓取，并再次根据抓取部件检测到的传感器数据判断是否抓取成功。通过这样循环调整并多次抓取，可以在一次无法抓取成功的情况下通过微调实现最终对目标物体的抓取，这样即使存在干扰、体积较小甚至外形复杂等干扰的情况下，也能避免因位置出现偏差、打滑和力度不够等情况导致的抓取失败情况的发生。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种物体抓取方法的流程图；

图2为本申请实施例提供的另一种物体抓取方法的流程图；

图3为本申请实施例提供的又一种物体抓取方法的流程图；

图4为本申请实施例提供的一种物体抓取装置的框图；

图5为本申请实施例提供的另一种物体抓取装置的框图；

图6为本申请实施例提供的又一种物体抓取装置的框图；

图7为本申请实施例提供的又一种物体抓取装置的框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

实施例一

图1为本申请实施例提供的一种物体抓取方法的流程图。

如图1所示，本实施例提供的物体抓取方法应用于机器人，用于对机器人的机器手、机械臂等抓取部件进行控制，以使该抓取部件对目标物体进行抓取。该物体抓取方法包括如下步骤：

S1、检测目标物体的种类、位置和三维姿态。

本申请中具体为采用视觉方法对待抓取的目标物体的种类、位置和三维姿态进行检测。其中，种类是指目标物体的性质，如书本、杯子或者机械零件等；位置是指目标物体相对于该抓取部件的空间坐标；三维姿态是指该目标物体相对于抓取部件的空间向量，如其一个相应位置的朝向。

具体来说，本申请通过如下方法对种类、位置和三维姿态进行检测：

首先，利用视觉检测方法获取目标物体的影像，例如采用照相机、摄像机等设备对目标物体进行拍摄，从而获得该目标物体的影像。然后，将该影像输入到预先训练的目标检测模型，从而得到该目标物体的种类、位置和三维姿态。

该目标检测模型为深度神经网络模型，通过大量的数据样本训练得到，具有较高的准确性。

S2、根据种类、位置和三维姿态确定抓取策略并对目标物体进行抓取。

在得到上述目标物体的种类、位置和三维姿态后，将该种类、位置和三维姿态输入到相应的抓取动作决策模型，得到相应的抓取策略，然后，根据该抓取策略控制机器人的抓取部件向目标物体进近并作出与该目标物体的外形相匹配的动作，对该目标物体进行抓取。

广义抓取包括向目标物体进近、张开抓取部件、对目标物体进行抓握，并执行抓握完成后的其他动作，如将目标物体移向其他位置。而本实施例中的抓取具体是指抓取部件是否将目标物体抓握，即能够在此基础上进行下一步的动作，如将目标物体移向其他位置。

S3、判断抓取部件是否对目标物体抓取成功。

在抓取部件上设置有多个传感器，如用于检测抓取部件上多个位置在抓取时对目标物体的压力的压力传感器。这里的判断是根据多个压力传感器检测到传感器数据对是否抓取成功进行判断。

例如，一般来说手形的抓取部件在抓取成功时每个位置对目标物体的压力应该相似，即处于一定的压力范围之内，因此可以通过对多个传感器数据之间的差值对是否抓取成功进行判定，当然这是一个示例，还可以通过其他方法根据该传感器数据对是否抓取成功进行判断。

通过判断，如果确定对目标物体成功抓取，则终止本抓取动作，转向执行后续的动作，如将该目标物体移向其他位置。

S4、如没有抓取成功则对目标物体再次抓取。

即经过上面的判断，如果没有判定没有抓取成功，则根据传感器数据对抓取策略进行调整，为了描述方便，我们将经过调整后的抓取策略成为抓取调整策略，以区别与直接根据目标物体的种类、位置和三维姿态所获得的初始的抓取策略。

在确定抓取调整策略后，控制抓取部件对目标物体再次抓取，这里再次抓取是指松开该抓取部件，并改变相应位置、角度和抓握力量中的部分或全部元素后对目标物体进行抓取。

并且，在再次抓取后返回到上一步骤，对是否抓取成功进行再次判断，并确定抓取成功后终止抓取，还是抓取失败后再次抓取。

另外，为了避免抓取失败的情况下一直抓取浪费时间，我们可以设定抓取次数，例如可以在对单一目标物体的抓取次数超出预设限值、如1000次、10000次或其他次数时，最终终止抓取。

从上述技术方案可以看出，本实施例提供了一种物体抓取方法，该方法应用于机器人，具体为检测目标物体的种类、位置和三维姿态；将种类、位置和/或三维姿态输入抓取动作决策模型，得到抓取策略，并按抓取策略控制抓取部件抓取所目标物体；根据抓取部件检测到的传感器数据判断是否抓取成功，如抓取成功则执行后续操作；如判定没有抓取成功，根据传感器数据对抓取策略进行调整，得到调整抓取策略，并根据调整抓取策略控制抓取部件再次执行抓取，并再次根据抓取部件检测到的传感器数据判断是否抓取成功。通过这样循环调整并多次抓取，可以在一次无法抓取成功的情况下通过微调实现最终对目标物体的抓取，这样即使存在干扰、体积较小甚至外形复杂等干扰的情况下，也能避免因位置出现偏差、打滑和力度不够等情况导致的抓取失败情况的发生。

实施例二

图2为本申请实施例提供的另一种物体抓取方法的流程图。

如图2所示，本实施例提供的物体抓取方法应用于机器人，用于对机器人的机器手、机械臂等抓取部件进行控制，以使该抓取部件对目标物体进行抓取。该物体抓取方法包括如下步骤：

S1、检测目标物体的种类、位置和三维姿态。

本申请中具体为采用视觉方法对待抓取的目标物体的种类、位置和三维姿态进行检测。其中，种类是指目标物体的性质，如书本、杯子或者机械零件等；位置是指目标物体相对于该抓取部件的空间坐标；三维姿态是指该目标物体相对于抓取部件的空间向量，如其一个相应位置的朝向。

具体来说，本申请通过如下方法对种类、位置和三维姿态进行检测：

首先，利用视觉检测方法获取目标物体的影像，例如采用照相机、摄像机等设备对目标物体进行拍摄，从而获得该目标物体的影像。然后，将该影像输入到预先训练的目标检测模型，从而得到该目标物体的种类、位置和三维姿态。

该目标检测模型为深度神经网络模型，通过大量的数据样本训练得到，具有较高的准确性。

S2、根据种类、位置和三维姿态确定抓取策略并对目标物体进行抓取。

在得到上述目标物体的种类、位置和三维姿态后，将该种类、位置和三维姿态输入到相应的抓取动作决策模型，得到相应的抓取策略，然后，根据该抓取策略控制机器人的抓取部件向目标物体进近并作出与该目标物体的外形相匹配的动作，对该目标物体进行抓取。

广义抓取包括向目标物体进近、张开抓取部件、对目标物体进行抓握，并执行抓握完成后的其他动作，如将目标物体移向其他位置。而本实施例中的抓取具体是指抓取部件是否将目标物体抓握，即能够在此基础上进行下一步的动作，如将目标物体移向其他位置。

S3、判断抓取部件是否对目标物体抓取成功。

在抓取部件上设置有多个传感器，如用于检测抓取部件上多个位置在抓取时对目标物体的压力的压力传感器。这里的判断是根据多个压力传感器检测到传感器数据对是否抓取成功进行判断。

例如，一般来说手形的抓取部件在抓取成功时每个位置对目标物体的压力应该相似，即处于一定的压力范围之内，因此可以通过对多个传感器数据之间的差值对是否抓取成功进行判定，当然这是一个示例，还可以通过其他方法根据该传感器数据对是否抓取成功进行判断。

通过判断，如果确定对目标物体成功抓取，则终止本抓取动作，转向执行后续的动作，如将该目标物体移向其他位置。

S4、如没有抓取成功则对目标物体再次抓取。

即经过上面的判断，如果没有判定没有抓取成功，则根据传感器数据对抓取策略进行调整，为了描述方便，我们将经过调整后的抓取策略成为抓取调整策略，以区别与直接根据目标物体的种类、位置和三维姿态所获得的初始的抓取策略。

在确定抓取调整策略后，控制抓取部件对目标物体再次抓取，这里再次抓取是指松开该抓取部件，并改变相应位置、角度和抓握力量中的部分或全部元素后对目标物体进行抓取。

并且，在再次抓取后返回到上一步骤，对是否抓取成功进行再次判断，并确定抓取成功后终止抓取，还是抓取失败后再次抓取。

另外，为了避免抓取失败的情况下一直抓取浪费时间，我们可以设定抓取次数，例如可以在对单一目标物体的抓取次数超出预设限值、如1000次、10000次或其他次数时，最终终止抓取。

S5、每次抓取时记录传感器数据，形成第一数据集。

即记录每次抓取时抓取部件上的传感器所检测到的传感器数据，最终形成第一数据集，其中不仅包括抓取成功时的传感器数据，还包括抓取失败时的传感器数据，并且包括相应目标物体的种类、位置和三维姿态。

S6、利用第一数据集进行模型训练，得到抓取判断模型。

在得到第一数据集后，利用第一数据集对预先构件的深度神经网络进行训练，从而得到能够对抓取是否成功进行检测的抓取判断模型。

在成功训练这个模型的基础上，在对抓取是否成功进行判断时，可以将传感器数据输入到该抓取判断模型，即可输出相应的判断结果。

从上述技术方案可以看出，本实施例提供了一种物体抓取方法，该方法应用于机器人，具体为检测目标物体的种类、位置和三维姿态；将种类、位置和/或三维姿态输入抓取动作决策模型，得到抓取策略，并按抓取策略控制抓取部件抓取所目标物体；根据抓取部件检测到的传感器数据判断是否抓取成功，如抓取成功则执行后续操作；如判定没有抓取成功，根据传感器数据对抓取策略进行调整，得到调整抓取策略，并根据调整抓取策略控制抓取部件再次执行抓取，并再次根据抓取部件检测到的传感器数据判断是否抓取成功。通过这样循环调整并多次抓取，可以在一次无法抓取成功的情况下通过微调实现最终对目标物体的抓取，这样即使存在干扰、体积较小甚至外形复杂等干扰的情况下，也能避免因位置出现偏差、打滑和力度不够等情况导致的抓取失败情况的发生。

通过训练并使用抓取判断模型，可以使判断结果更加准确。

实施例三

图3为本申请实施例提供的又一种物体抓取方法的流程图。

如图3所示，本实施例提供的物体抓取方法应用于机器人，用于对机器人的机器手、机械臂等抓取部件进行控制，以使该抓取部件对目标物体进行抓取。该物体抓取方法包括如下步骤：

S1、检测目标物体的种类、位置和三维姿态。

本申请中具体为采用视觉方法对待抓取的目标物体的种类、位置和三维姿态进行检测。其中，种类是指目标物体的性质，如书本、杯子或者机械零件等；位置是指目标物体相对于该抓取部件的空间坐标；三维姿态是指该目标物体相对于抓取部件的空间向量，如其一个相应位置的朝向。

具体来说，本申请通过如下方法对种类、位置和三维姿态进行检测：

首先，利用视觉检测方法获取目标物体的影像，例如采用照相机、摄像机等设备对目标物体进行拍摄，从而获得该目标物体的影像。然后，将该影像输入到预先训练的目标检测模型，从而得到该目标物体的种类、位置和三维姿态。

该目标检测模型为深度神经网络模型，通过大量的数据样本训练得到，具有较高的准确性。

S2、根据种类、位置和三维姿态确定抓取策略并对目标物体进行抓取。

在得到上述目标物体的种类、位置和三维姿态后，将该种类、位置和三维姿态输入到相应的抓取动作决策模型，得到相应的抓取策略，然后，根据该抓取策略控制机器人的抓取部件向目标物体进近并作出与该目标物体的外形相匹配的动作，对该目标物体进行抓取。

广义抓取包括向目标物体进近、张开抓取部件、对目标物体进行抓握，并执行抓握完成后的其他动作，如将目标物体移向其他位置。而本实施例中的抓取具体是指抓取部件是否将目标物体抓握，即能够在此基础上进行下一步的动作，如将目标物体移向其他位置。

S3、判断抓取部件是否对目标物体抓取成功。

在抓取部件上设置有多个传感器，如用于检测抓取部件上多个位置在抓取时对目标物体的压力的压力传感器。这里的判断是根据多个压力传感器检测到传感器数据对是否抓取成功进行判断。

例如，一般来说手形的抓取部件在抓取成功时每个位置对目标物体的压力应该相似，即处于一定的压力范围之内，因此可以通过对多个传感器数据之间的差值对是否抓取成功进行判定，当然这是一个示例，还可以通过其他方法根据该传感器数据对是否抓取成功进行判断。

通过判断，如果确定对目标物体成功抓取，则终止本抓取动作，转向执行后续的动作，如将该目标物体移向其他位置。

S4、如没有抓取成功则对目标物体再次抓取。

即经过上面的判断，如果没有判定没有抓取成功，则根据传感器数据对抓取策略进行调整，为了描述方便，我们将经过调整后的抓取策略成为抓取调整策略，以区别与直接根据目标物体的种类、位置和三维姿态所获得的初始的抓取策略。

在确定抓取调整策略后，控制抓取部件对目标物体再次抓取，这里再次抓取是指松开该抓取部件，并改变相应位置、角度和抓握力量中的部分或全部元素后对目标物体进行抓取。

并且，在再次抓取后返回到上一步骤，对是否抓取成功进行再次判断，并确定抓取成功后终止抓取，还是抓取失败后再次抓取。

另外，为了避免抓取失败的情况下一直抓取浪费时间，我们可以设定抓取次数，例如可以在对单一目标物体的抓取次数超出预设限值、如1000次、10000次或其他次数时，最终终止抓取。

S7、每次抓取时记录传感器数据，形成第二数据集。

即记录每次抓取时抓取部件上的传感器所检测到的传感器数据和每次调整后的抓取策略，最终形成第二数据集，并且其中包括相应目标物体的种类、位置和三维姿态。

S8、利用第二数据集进行模型训练，得到抓取策略调整模型。

在得到第二数据集后，利用第二数据集对预先构件的深度神经网络进行训练，从而得到能够对抓取策略进行调整的抓取策略调整模型。

在成功训练这个模型的基础上，在每次对抓取策略进行调整时，将相应传感器数据输入到该模型，即可得到调整后的抓取策略，即抓取调整策略。

从上述技术方案可以看出，本实施例提供了一种物体抓取方法，该方法应用于机器人，具体为检测目标物体的种类、位置和三维姿态；将种类、位置和/或三维姿态输入抓取动作决策模型，得到抓取策略，并按抓取策略控制抓取部件抓取所目标物体；根据抓取部件检测到的传感器数据判断是否抓取成功，如抓取成功则执行后续操作；如判定没有抓取成功，根据传感器数据对抓取策略进行调整，得到调整抓取策略，并根据调整抓取策略控制抓取部件再次执行抓取，并再次根据抓取部件检测到的传感器数据判断是否抓取成功。通过这样循环调整并多次抓取，可以在一次无法抓取成功的情况下通过微调实现最终对目标物体的抓取，这样即使存在干扰、体积较小甚至外形复杂等干扰的情况下，也能避免因位置出现偏差、打滑和力度不够等情况导致的抓取失败情况的发生。

通过抓取并使用抓取策略调整模型，可以使每次对抓取策略进行的调整更加精准，使抓取部件能够更快实现对目标物体的准确抓取。

实施例四

图4为本申请实施例提供的一种物体抓取装置的框图。

如图4所示，本实施例提供的物体抓取装置应用于机器人，用于对机器人的机器手、机械臂等抓取部件进行控制，以使该抓取部件对目标物体进行抓取。该物体抓取装置包括参数检测模块10、第一执行模块20、抓取判断模块30和第二执行模块40。

参数检测模块用于检测目标物体的种类、位置和三维姿态。

本申请中具体为采用视觉方法对待抓取的目标物体的种类、位置和三维姿态进行检测。其中，种类是指目标物体的性质，如书本、杯子或者机械零件等；位置是指目标物体相对于该抓取部件的空间坐标；三维姿态是指该目标物体相对于抓取部件的空间向量，如其一个相应位置的朝向。

具体来说，该模块具体包括影像获取单元和检测执行单元。

影像获取单元用于利用视觉检测方法获取目标物体的影像，例如采用照相机、摄像机等设备对目标物体进行拍摄，从而获得该目标物体的影像。检测执行单元用于将该影像输入到预先训练的目标检测模型，从而得到该目标物体的种类、位置和三维姿态。

该目标检测模型为深度神经网络模型，通过大量的数据样本训练得到，具有较高的准确性。

第一执行模块用于根据种类、位置和三维姿态确定抓取策略并对目标物体进行抓取。

在得到上述目标物体的种类、位置和三维姿态后，将该种类、位置和三维姿态输入到相应的抓取动作决策模型，得到相应的抓取策略，然后，根据该抓取策略控制机器人的抓取部件向目标物体进近并作出与该目标物体的外形相匹配的动作，对该目标物体进行抓取。

广义抓取包括向目标物体进近、张开抓取部件、对目标物体进行抓握，并执行抓握完成后的其他动作，如将目标物体移向其他位置。而本实施例中的抓取具体是指抓取部件是否将目标物体抓握，即能够在此基础上进行下一步的动作，如将目标物体移向其他位置。

抓取判断模块用于判断抓取部件是否对目标物体抓取成功。

在抓取部件上设置有多个传感器，如用于检测抓取部件上多个位置在抓取时对目标物体的压力的压力传感器。这里的判断是根据多个压力传感器检测到传感器数据对是否抓取成功进行判断。

例如，一般来说手形的抓取部件在抓取成功时每个位置对目标物体的压力应该相似，即处于一定的压力范围之内，因此可以通过对多个传感器数据之间的差值对是否抓取成功进行判定，当然这是一个示例，还可以通过其他方法根据该传感器数据对是否抓取成功进行判断。

通过判断，如果确定对目标物体成功抓取，则终止本抓取动作，转向执行后续的动作，如将该目标物体移向其他位置。

第二执行模块用于如没有抓取成功则对目标物体再次抓取。

即经过上面的判断，如果没有判定没有抓取成功，则根据传感器数据对抓取策略进行调整，为了描述方便，我们将经过调整后的抓取策略成为抓取调整策略，以区别与直接根据目标物体的种类、位置和三维姿态所获得的初始的抓取策略。

在确定抓取调整策略后，控制抓取部件对目标物体再次抓取，这里再次抓取是指松开该抓取部件，并改变相应位置、角度和抓握力量中的部分或全部元素后对目标物体进行抓取。

并且，在再次抓取后控制抓取判断模块对是否抓取成功进行再次判断，并确定抓取成功后终止抓取，还是抓取失败后再次抓取。

另外，为了避免抓取失败的情况下一直抓取浪费时间，我们可以设定抓取次数，例如可以在对单一目标物体的抓取次数超出预设限值、如1000次、10000次或其他次数时，最终终止抓取。

从上述技术方案可以看出，本实施例提供了一种物体抓取装置，该装置应用于机器人，具体为检测目标物体的种类、位置和三维姿态；将种类、位置和/或三维姿态输入抓取动作决策模型，得到抓取策略，并按抓取策略控制抓取部件抓取所目标物体；根据抓取部件检测到的传感器数据判断是否抓取成功，如抓取成功则执行后续操作；如判定没有抓取成功，根据传感器数据对抓取策略进行调整，得到调整抓取策略，并根据调整抓取策略控制抓取部件再次执行抓取，并再次根据抓取部件检测到的传感器数据判断是否抓取成功。通过这样循环调整并多次抓取，可以在一次无法抓取成功的情况下通过微调实现最终对目标物体的抓取，这样即使存在干扰、体积较小甚至外形复杂等干扰的情况下，也能避免因位置出现偏差、打滑和力度不够等情况导致的抓取失败情况的发生。

实施例五

图5为本申请实施例提供的另一种物体抓取装置的框图。

如图5所示，本实施例提供的物体抓取装置应用于机器人，相对于上一实施例而言，本实施例增设了第一记录模块50和第一训练模块60。

第一记录模块用于每次抓取时记录传感器数据，形成第一数据集。

即记录每次抓取时抓取部件上的传感器所检测到的传感器数据，最终形成第一数据集，其中不仅包括抓取成功时的传感器数据，还包括抓取失败时的传感器数据，并且包括相应目标物体的种类、位置和三维姿态。

第一训练模块用于利用第一数据集进行模型训练，得到抓取判断模型。

在得到第一数据集后，利用第一数据集对预先构件的深度神经网络进行训练，从而得到能够对抓取是否成功进行检测的抓取判断模型。

在成功训练这个模型的基础上，在抓取判断模块对抓取是否成功进行判断时，可以将传感器数据输入到该抓取判断模型，即可输出相应的判断结果。

从上述技术方案可以看出，本实施例提供了一种物体抓取装置，该方法应用于机器人，具体为检测目标物体的种类、位置和三维姿态；将种类、位置和/或三维姿态输入抓取动作决策模型，得到抓取策略，并按抓取策略控制抓取部件抓取所目标物体；根据抓取部件检测到的传感器数据判断是否抓取成功，如抓取成功则执行后续操作；如判定没有抓取成功，根据传感器数据对抓取策略进行调整，得到调整抓取策略，并根据调整抓取策略控制抓取部件再次执行抓取，并再次根据抓取部件检测到的传感器数据判断是否抓取成功。通过这样循环调整并多次抓取，可以在一次无法抓取成功的情况下通过微调实现最终对目标物体的抓取，这样即使存在干扰、体积较小甚至外形复杂等干扰的情况下，也能避免因位置出现偏差、打滑和力度不够等情况导致的抓取失败情况的发生。

通过训练并使用抓取判断模型，可以使判断结果更加准确。

实施例六

图6为本申请实施例提供的又一种物体抓取装置的框图。

如图6所示，本实施例提供的物体抓取装置应用于机器人，相比于实施例四来说，本实施例增设了第二记录模块70和第二训练模块80。

第二记录模块用于每次抓取时记录传感器数据，形成第二数据集。

即记录每次抓取时抓取部件上的传感器所检测到的传感器数据和每次调整后的抓取策略，最终形成第二数据集，并且其中包括相应目标物体的种类、位置和三维姿态。

第二训练模块用于利用第二数据集进行模型训练，得到抓取策略调整模型。

在得到第二数据集后，利用第二数据集对预先构件的深度神经网络进行训练，从而得到能够对抓取策略进行调整的抓取策略调整模型。

在成功训练这个模型的基础上，在第二执行模块每次对抓取策略进行调整时，将相应传感器数据输入到该模型，即可得到调整后的抓取策略，即抓取调整策略。

从上述技术方案可以看出，本实施例提供了一种物体抓取装置，该装置应用于机器人，具体为检测目标物体的种类、位置和三维姿态；将种类、位置和/或三维姿态输入抓取动作决策模型，得到抓取策略，并按抓取策略控制抓取部件抓取所目标物体；根据抓取部件检测到的传感器数据判断是否抓取成功，如抓取成功则执行后续操作；如判定没有抓取成功，根据传感器数据对抓取策略进行调整，得到调整抓取策略，并根据调整抓取策略控制抓取部件再次执行抓取，并再次根据抓取部件检测到的传感器数据判断是否抓取成功。通过这样循环调整并多次抓取，可以在一次无法抓取成功的情况下通过微调实现最终对目标物体的抓取，这样即使存在干扰、体积较小甚至外形复杂等干扰的情况下，也能避免因位置出现偏差、打滑和力度不够等情况导致的抓取失败情况的发生。

通过抓取并使用抓取策略调整模型，可以使每次对抓取策略进行的调整更加精准，使抓取部件能够更快实现对目标物体的准确抓取。

另外，本申请还提供另一具体实施方式，如图7所示，具体包括参数检测模块10、第一执行模块20、抓取判断模块30和第二执行模块40、第一记录模块50、第一训练模块60、第二记录模块70和第二训练模块80。

上述各个模块的具体作用已经在前面的实施例中做了具体介绍，这里不再赘述。

实施例七

本实施例提供了一种机器人，该机器人设置有上面实施例所描述的物体抓取装置。

该物体抓取方装置具体用于检测目标物体的种类、位置和三维姿态；将种类、位置和/或三维姿态输入抓取动作决策模型，得到抓取策略，并按抓取策略控制抓取部件抓取所目标物体；根据抓取部件检测到的传感器数据判断是否抓取成功，如抓取成功则执行后续操作；如判定没有抓取成功，根据传感器数据对抓取策略进行调整，得到调整抓取策略，并根据调整抓取策略控制抓取部件再次执行抓取，并再次根据抓取部件检测到的传感器数据判断是否抓取成功。通过这样循环调整并多次抓取，可以在一次无法抓取成功的情况下通过微调实现最终对目标物体的抓取，这样即使存在干扰、体积较小甚至外形复杂等干扰的情况下，也能避免因位置出现偏差、打滑和力度不够等情况导致的抓取失败情况的发生。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本申请实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请实施例是参照根据本申请实施例的方法、终端设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本申请所提供的技术方案进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (15)

1.一种物体抓取方法，应用于机器人，其特征在于，所述物体抓取方法包括步骤：

检测目标物体的种类、位置和三维姿态；

将所述种类、所述位置和/或所述三维姿态输入抓取动作决策模型，得到抓取策略，并按所述抓取策略控制抓取部件抓取所目标物体；

根据所述抓取部件检测到的传感器数据判断是否抓取成功，如抓取成功则执行后续操作；

如判定没有抓取成功，根据所述传感器数据对所述抓取策略进行调整，得到调整抓取策略，并根据所述调整抓取策略控制所述抓取部件再次执行抓取，并返回到所述根据抓取部件检测到的传感器数据判断是否抓取成功步骤。

2.如权利要求1所述的物体抓取方法，其特征在于，所述检测目标物体的种类、位置和三维姿态，包括：

利用视觉检测方法获取所述目标物体的影像；

将所述影像输入目标检测模型，得到所述种类、所述位置和所述三维姿态。

3.如权利要求1所述的物体抓取方法，其特征在于，还包括：

在每次抓取时，记录所述传感器数据，形成第一数据集，所述第一数据集中包括抓取成功时的传感器数据和抓取失败时的传感器数据；

利用所述第一数据集进行深度神经网络的训练，得到抓取判断模型，所述抓取判断模型用于判断抓取是否成功。

4.如权利要求3所述的物体抓取方法，其特征在于，所述根据所述抓取部件检测到的传感器数据判断是否抓取成功，包括：

将所述传感器数据输入到所述抓取判断模型，得到是否抓取成功的判断结果。

5.如权利要求1所述的物体抓取方法，其特征在于，还包括：

在每次抓取时，记录所述传感器数据和调整前的抓取策略和每次调整后的抓取策略，形成第二数据集；

根据所述第二数据集进行深度神经网络的训练，得到抓取决策调整模型。

6.如权利要求5所述的物体抓取方法，其特征在于，所述根据所述传感器数据对所述抓取策略进行调整，得到所述抓取调整策略，包括：

将所述传感器数据输入所述抓取策略调整模型，得到所述抓取调整策略。

7.如权利要求1～6任一项所述的物体抓取方法，其特征在于，还包括：

当对单一目标物体尝试抓取的次数达到预设限值时，控制所述抓取部件终止执行抓取。

8.一种物体抓取装置，应用于机器人，其特征在于，所述物体抓取装置包括：

参数检测模块，用于检测目标物体的种类、位置和三维姿态；

第一执行模块，用于将所述种类、所述位置和/或所述三维姿态输入抓取动作决策模型，得到抓取策略，并按所述抓取策略控制抓取部件抓取所目标物体；

抓取判断模块，用于根据所述抓取部件检测到的传感器数据判断是否抓取成功，如抓取成功则执行后续操作；

第二执行模块，用于如判定没有抓取成功，根据所述传感器数据对所述抓取策略进行调整，得到调整抓取策略，并根据所述调整抓取策略控制所述抓取部件再次执行抓取，并返回到所述根据抓取部件检测到的传感器数据判断是否抓取成功步骤。

9.如权利要求8所述的物体抓取装置，其特征在于，所述参数检测模块包括：

影像获取单元，用于利用视觉检测方法获取所述目标物体的影像；

检测执行单元，用于将所述影像输入目标检测模型，得到所述种类、所述位置和所述三维姿态。

10.如权利要求8所述的物体抓取装置，其特征在于，还包括：

第一记录模块，用于在每次抓取时，记录所述传感器数据，形成第一数据集，所述第一数据集中包括抓取成功时的传感器数据和抓取失败时的传感器数据；

第一训练模块，用于利用所述第一数据集进行深度神经网络的训练，得到抓取判断模型，所述抓取判断模型用于判断抓取是否成功。

11.如权利要求10所述的物体抓取装置，其特征在于，所述抓取判断模块用于将所述传感器数据输入到所述抓取判断模型，得到是否抓取成功的判断结果。

12.如权利要求8所述的物体抓取装置，其特征在于，还包括：

第二记录模块，用于在每次抓取时，记录所述传感器数据和调整前的抓取策略和每次调整后的抓取策略，形成第二数据集；

第二训练模块，用于根据所述第二数据集进行深度神经网络的训练，得到抓取决策调整模型。

13.如权利要求12所述的物体抓取装置，其特征在于，所述第二执行模块用于将所述传感器数据输入所述抓取策略调整模型，得到所述抓取调整策略。

14.如权利要求8～13任一项所述的物体抓取装置，其特征在于，所述第二执行模块还用于当对单一目标物体尝试抓取的次数达到预设限值时，控制所述抓取部件终止执行抓取。

15.一种机器人，其特征在于，设置有如权利要求8～14任一项所述的物体抓取装置。