CN117396312A - 保持位置确定装置和保持位置确定方法 - Google Patents

Abstract

该保持位置确定装置包括控制单元，该控制单元将保持保持目标的末端执行器接触该保持目标的位置确定为保持位置。该控制单元获取识别可以存在末端执行器的保持部分的区域的末端执行器模型。该控制单元基于通过拍摄保持目标获得的保持目标的图像来获取规则图，该规则图包括定义要由末端执行器保持的保持目标的位置的图。该控制单元基于末端执行器模型和规则图来确定保持位置。

Description

保持位置确定装置和保持位置确定方法

相关申请的交叉引用

本申请要求2021年5月28日在日本提交的日本专利申请第2021-90521号的优先权，其全部公开内容通过引用方式并入本文中。

技术领域

本发明涉及一种保持位置确定装置和一种保持位置确定方法。

背景技术

传统上，已知的学习装置从计算机上的图像学习适合地确定抓握对象的位置和姿势(例如，参见专利文献1)。

引用列表

专利文献

专利文献1：日本未审查专利申请公开第2018-205929号

发明内容

根据本发明实施例的保持位置确定装置包括控制单元，该控制单元将适于保持保持目标的末端执行器接触保持目标的位置确定为保持位置。控制单元获取识别能够存在末端执行器的保持部分的区域的末端执行器模型。控制单元基于通过拍摄保持目标获得的保持目标的图像来获取规则图，该规则图包括定义要由末端执行器保持的保持目标的位置的图。控制单元基于末端执行器模型和规则图来确定保持位置。

根据本发明实施例的保持位置确定方法由保持位置确定装置执行，该保持位置确定装置将适于保持保持目标的末端执行器接触保持目标的位置确定为保持位置。该保持位置确定方法包括由保持位置确定装置获取末端执行器模型，该末端执行器模型识别能够存在末端执行器的保持部分的区域。该保持位置确定方法包括由保持位置确定装置基于通过拍摄保持目标获得的保持目标的图像来获取规则图，该规则图包括定义要由末端执行器保持的保持目标的位置的图。该保持位置确定方法包括由保持位置确定装置基于末端执行器模型和规则图来确定保持位置。

附图说明

图1是示出根据实施例的机器人控制***的配置示例的示意图。

图2是示出由末端执行器保持保持目标的示例的侧视图。

图3是示出根据实施例的机器人控制***的配置示例的框图。

图4是示出在保持保持目标的平面中表示保持目标的轮廓的掩模图像的示例的视图。

图5A是示出末端执行器模型中表示手指张开宽度的模型的示例的视图。

图5B是示出末端执行器模型中表示手指行程的模型的示例的视图。

图5C是示出末端执行器模型中表示手指的张开宽度和行程的整体模型的示例的视图。

图6是示出周围环境图的示例的视图。

图7是示出生成周围环境图的接近范围的方法的视图。

图8A是示出表示保持目标的中心的对象图的示例的视图。

图8B是示出表示由用户指定的保持位置的优先级的对象图的示例的视图。

图9是示出接触图的示例的视图。

图10是示出将末端执行器模型投影到周围环境图上的位置的示例的视图。

图11是示出末端执行器模型能够被投影到周围环境图上的位置和末端执行器模型不能被投影到周围环境图上的位置的视图。

图12A是示出将末端执行器模型投影到对象图上的位置的示例的视图。

图12B是示出将末端执行器模型投影到接触图上的位置的示例的视图。

图13是示出保持位置确定方法的过程的示例的流程图。

图14是示出校正和学习由图13的保持位置确定方法确定的保持位置的过程的示例的流程图。

具体实施方式

在学习对象的保持位置的情况下，需要大量的教师数据来保证对象的保持位置符合人的意图。这增加了准备大量教师数据的工作量或成本。根据本发明实施例的保持位置确定装置和保持位置确定方法，可以简单地定位对象的保持位置以符合人的意图。

(机器人控制***100的配置示例)

如图1、图2和图3中所示，根据本发明实施例的机器人控制***100包括机器人2、相机4、机器人控制装置110和保持位置确定装置10。机器人2通过用末端执行器2B保持保持目标80来执行工作。机器人控制装置110控制机器人2。保持位置确定装置10将当保持保持目标80时机器人2接触保持目标80的位置确定为保持位置，并将确定的位置输出到机器人控制装置110。

在本实施例中，机器人2将保持目标80保持在工作开始平台6处。换言之，机器人控制装置110控制机器人2以将保持目标80保持在工作开始平台6处。机器人2可以将保持目标80从工作开始平台6移动到工作目标平台7。保持目标80也被称为工作目标。机器人2在移动范围5内操作。

<机器人2>

机器人2包括臂2A和末端执行器2B。臂2A可以被配置成例如6轴或7轴垂直铰接机器人。臂2A也可以被配置成3轴或4轴水平铰接机器人或SCARA机器人。臂2A也可以被配置成2轴或3轴笛卡尔坐标机器人。臂2A也可以被配置成平行连杆机器人等。构成臂2A的轴的数量不限于上述示例中所示的数量。换言之，机器人2具有由多个关节连接的臂2A，并且通过驱动关节来操作。

末端执行器2B可以包括例如被配置成能够保持保持目标80的夹持器。夹持器可以包括至少一个手指。夹持器的手指可以包括一个或多个关节。夹持器的手指可以包括通过吸附保持保持目标80的吸附部分。末端执行器2B可以被配置成具有吸附部分的一个手指。末端执行器2B也可以被配置成两个或更多个手指，其抓握并且保持保持目标80。末端执行器2B可以包括被配置成能够铲起保持目标80的铲手。末端执行器2B不限于这些示例，并且可以被配置成执行各种其他操作。在图1所示的配置中，末端执行器2B包括夹持器。末端执行器2B的保持保持目标80的部分也称为保持部分。末端执行器2B的保持部分可以包括接触保持目标80的部分。

机器人2可以通过移动臂2A来控制末端执行器2B的位置。末端执行器2B可以具有作为相对于保持目标80的动作方向的参考的轴。如果末端执行器2B具有轴，则机器人2可以通过移动臂2A来控制末端执行器2B的轴的方向。机器人2控制作用在保持目标80上的末端执行器2B的操作的开始和结束。机器人2可以通过控制末端执行器2B的操作来移动或处理保持目标80，同时控制末端执行器2B的位置或末端执行器2B的轴的方向。在图1所示的配置中，机器人2使末端执行器2B将保持目标80保持在工作开始平台6处，并且将末端执行器2B移动到工作目标平台7。机器人2使末端执行器2B在工作目标平台7处释放保持目标80。因此，机器人2可以将保持目标80从工作开始平台6移动到工作目标平台7。

<相机4>

在图1所示的配置示例中，机器人控制***100包括安装在机器人2的末端执行器2B上的相机4。相机4从末端执行器2B朝向保持目标80拍摄保持目标80。换言之，相机4从末端执行器2B保持保持目标80的方向拍摄保持目标80。相机4也可以被配置成从其他方向拍摄保持目标80。通过从其他方向拍摄保持目标80获得的图像可以被转换为通过从末端执行器2B保持保持目标80的方向拍摄保持目标80获得的图像。通过拍摄保持目标80获得的图像也被称为保持目标的图像。相机4包括深度传感器，并且被配置成能够获取保持目标80的深度数据。由相机4拍摄的图像可以包含单色亮度信息，或者可以包含由RGB(红、绿和蓝)等表示的每种颜色的亮度信息。相机4的数量不限于一个，而是可以是两个或更多个。相机4还可以拍摄位于距保持目标80预定范围内的作为障碍物的其他对象，并且获取障碍物的深度数据。

<保持位置确定装置10>

如图3中所示，保持位置确定装置10包括控制单元12和接口14。接口14从外部装置获取关于保持目标80等的信息或数据，并且将该信息或数据向外部装置输出。接口14还从相机4获取通过拍摄保持目标80获得的图像。接口14可以从用户接收输入。接口14可以输出用户要识别的信息或数据。控制单元12基于在接口14处获得的信息或数据来确定机器人2保持保持目标80的位置，并且将确定的位置输出到接口14。机器人2保持保持目标80的位置也被简称为保持位置。

控制单元12可以包括至少一个处理器，以提供控制和处理能力来执行各种功能。处理器可以执行实现控制单元12的各种功能的程序。处理器可以被实现为单个集成电路。集成电路也称为IC。处理器也可以实现为多个可通信连接的集成电路和分立电路。处理器也可以基于各种其他已知技术来实现。

控制单元12可以包括存储部分。存储部分可以包括诸如磁盘等的电磁存储介质，或者可以包括诸如半导体存储器或磁存储器的存储器。存储部分存储各种类型的信息。存储部分存储要由控制单元12执行的程序等。存储部分可以被配置成非暂时性可读介质。存储部分可以用作控制单元12的工作存储器。存储部分的至少一部分可以与控制单元12分开配置。

接口14可以包括被配置成能够执行有线或无线通信的通信装置。通信装置可以被配置成能够使用基于各种通信标准的通信方法进行通信。通信装置可以用已知的通信技术来配置。

接口14可以包括从用户接收信息、数据等输入的输入装置。输入装置可以包括例如触摸面板、触摸传感器或诸如鼠标的指向装置。输入装置可以包括物理按键。输入装置可以包括音频输入装置，如麦克风。

接口14包括向用户输出信息、数据等的输出装置。输出装置可以包括例如输出诸如图像、文本或图形的视觉信息的显示装置。显示装置可以包括例如LCD(液晶显示器)、有机EL(电致发光)显示器、无机EL显示器、PDP(等离子显示面板)等。显示装置不限于上述显示器，并且可以包括基于各种其他方法的其他显示器。显示装置可以包括发光装置，例如LED(发光二极管)或LD(激光二极管)。显示装置可以包括各种其他装置。输出装置可以包括例如音频输出装置，如输出诸如语音的听觉信息的扬声器。输出装置不限于上述示例，并且可以包括各种其他装置。

<机器人控制装置110>

机器人控制装置110从保持位置确定装置10获取用于识别保持位置的信息，并且控制机器人2，使得机器人2将保持目标80保持在由保持位置确定装置10确定的保持位置。

机器人控制设备110可以包括至少一个处理器，用于提供控制和处理能力来执行各种功能。机器人控制设备110的每个组件可以包括至少一个处理器。机器人控制装置110的多个组件可以由单个处理器实现。整个机器人控制装置110可以用单个处理器来实现。处理器可以执行实现机器人控制设备110的各种功能的程序。处理器可以被配置成与在保持位置确定装置10中使用的处理器相同或相似。

机器人控制装置110可以包括存储部分。存储部分可以被配置成与在保持位置确定装置10中使用的存储部分相同或相似。

机器人控制装置110可以包括保持位置确定装置10。机器人控制装置110和保持位置确定装置10可以被配置成单独的单元。

(机器人控制***100的操作示例)

机器人控制***100通过机器人控制装置110控制机器人2，以使机器人2执行工作。在本实施例中，要由机器人2执行的工作包括保持保持目标80的操作。在机器人控制***100中，保持位置确定装置10确定要由机器人2保持的保持目标80的保持位置。机器人控制装置110控制机器人2，使得机器人2将保持目标80保持在确定的保持位置。

在末端执行器2B是夹持器的情况下，控制单元12将当夹持器抓握保持目标80时手指接触保持目标80的位置的组合确定为保持位置。在末端执行器2B包括吸附部分的情况下，控制单元12将当末端执行器2B吸附保持目标80时吸附部分接触保持目标80的位置确定为保持位置。

保持位置确定装置10的控制单元12从相机4获取通过拍摄保持目标80获得的图像和保持目标80的深度数据。控制单元12基于通过拍摄保持目标80获得的图像和保持目标80的深度数据来识别保持目标80的轮廓和位置。如图4中所示，当从附接到末端执行器2B的相机4观看保持目标80时，控制单元12生成表示保持目标80的识别结果的掩模图像20。掩模图像20包括窗口22和掩模24，该窗口表示当从相机4观看时存在保持目标80的区域，该掩模表示其他区域。窗口22被表示为白色区域。掩模24被表示为右上阴影线区域。为了绘图描述的方便，掩模图像20中的掩模24的区域被表示为阴影线区域，但是在实际实现中可以被表示为涂黑的区域。

控制单元12获取关于末端执行器2B的信息。在末端执行器2B是夹持器的情况下，关于末端执行器2B的信息包括例如识别抓握对象的手指之间的间隔的最大值、手指厚度和手指宽度的信息。控制单元12可以基于关于末端执行器2B的信息生成末端执行器模型30。控制单元12可以获取末端执行器模型30，该末端执行器模型30识别能够存在末端执行器2B的保持部分的区域。

末端执行器模型30包括手指模型，该手指模型识别手指位置32和非移动范围38，该手指位置表示夹持器的手指以预定间隔定位的范围，该非移动范围表示手指位置32之外的范围，如图5A中所示。换言之，手指模型表示夹持器手指的张开宽度。手指位置32可以表示夹持器的手指以最大间隔定位的范围。在这种情况下，手指模型表示夹持器的手指的最大张开宽度。图5A中所示的手指模型表示夹持器的手指的最大张开宽度。手指位置32被表示为白色区域。非移动范围38被表示为右上阴影线区域。为了便于绘图描述，非移动范围38被表示为阴影线区域，但是在实际实现中可以被表示为涂黑区域。

末端执行器模型30包括识别行程范围34的行程模型，该行程范围表示夹持器的手指移动的范围，如图5B中所示。行程范围34被表示为白色区域。

如图5C中所示，末端执行器模型30包括通过组合图5A中所示的手指模型和图5B中所示的行程模型获得的整体模型。该整体模型识别手指移动范围36。手指移动范围36包括手指位置32。在图5C中，手指移动范围36中的夹持器的手指部分由虚线来区分，但是在实际实现中，区分不是必需的。在本实施例中，末端执行器模型30表示夹持器的手指以最大间隔(最大张开宽度)定位的范围，但是末端执行器模型30不限于这样的范围。末端执行器模型30可以表示夹持器的手指以任意间隔(即，预定间隔)定位的范围。例如，末端执行器模型30可以表示夹持器的手指之间的间隔对应于由末端执行器2B抓握的对象的尺寸。

控制单元12可以仅生成整体模型作为末端执行器模型30。在这种情况下，可以通过将识别手指位置32的信息与整体模型相关联来识别手指位置32。识别手指位置32的信息可以包括表示手指特征点的数值。

在末端执行器2B包括吸附部分的情况下，末端执行器模型30被配置成定义当吸附保持目标80时吸附部分妨碍其他对象的范围的模型。

控制单元12基于保持目标80的深度数据来设置保持目标80被保持的位置的高度。具体地，如图2中所示，控制单元12将距工作开始平台6的高度设置为放置在工作开始平台6上的保持目标80被保持的位置的高度。在图2中，保持目标80通过被夹在末端执行器2B的手指之间而被抓握的位置被表示为保持点82。保持点82的位置距工作开始平台6的高度由H表示。在这种情况下，控制单元12将H设置为保持目标80被保持的位置的高度。基于保持目标80的深度数据，控制单元12将保持目标80被保持的位置的高度设置为小于从工作开始平台6到保持目标80的最高点的距离的值。控制单元12可以将保持目标80被保持的位置的高度设置为保持目标80的高度的大约一半的值。

控制单元12可以基于保持目标80被保持的位置的高度和保持目标80的深度数据来生成掩模图像20。具体地，控制单元12可以生成具有窗口22的掩模图像20，作为通过在保持目标80被保持的位置的高度处的平面切割保持目标80而获得的保持目标80的截面形状。

控制单元12获取识别用于确定保持目标80的保持位置的规则的规则图。该规则图包括定义保持目标80的要由末端执行器2B用来保持保持目标80的位置的图。该规则图可以包括基于保持目标80被保持的位置的高度生成的图。可以基于保持目标的图像来生成规则图。可以基于图像来生成规则图，该图像通过以下方式获得：将通过从除了末端执行器2B保持保持目标80的方向之外的方向拍摄保持目标80而获得的图像转换成通过从末端执行器2B保持保持目标80的方向拍摄保持目标80而获得的图像。该规则图可以被分类为例如周围环境图40(参见图6)、对象图50(参见图8A或8B)、接触图60(参见图9)等。控制单元12可以生成规则图。控制单元12可以基于保持目标80的形状数据和与保持目标的图像相关联的深度数据中的至少一个来获取规则图。可以针对保持目标80被保持的位置的每个高度获取规则图。该规则图可以通过以二维状态表示的图像的显示形式来识别规则。

如图6中所示，周围环境图40识别目标区域42、障碍物区域44、接近区域46和非接近区域48。对象区域42表示在保持目标80被保持的位置的高度处存在保持目标80的区域。障碍物区域44表示在保持目标80被保持的位置的高度处存在障碍物的区域，该障碍物是除了保持目标80之外的对象，并且限制末端执行器2B的移动。接近区域46表示通过组合作为末端执行器2B的夹持器本身的移动和夹持器的手指的移动而获得的移动范围。对象区域42、障碍物区域44和非接近区域48表示除接近区域46之外的范围。接近区域46被表示为白色区域。对象区域42、障碍物区域44和非接近区域48被表示为右上阴影线区域。为了绘图描述的方便，对象区域42、障碍物区域44和非接近区域48被表示为阴影线区域，但是在实际实现中可以被表示为涂黑区域。周围环境图40被配置成定义末端执行器2B在保持目标80被保持的位置的高度处可以移动的范围的图。

控制单元12可以通过生成接近区域46和非接近区域48并且将对象区域42和障碍物区域44设置在接近区域46中来生成周围环境图40。接近区域46也被称为能够存在末端执行器2B的第一区域。非接近区域48也被称为不能存在末端执行器2B的第二区域。第二区域被定义为至少是存在保持目标80的区域和保持目标80的周围区域。在保持目标80的周围区域中，分配第二区域，使得第二区域在第一区域中的比例随着远离保持目标80而减小。

控制单元12可以基于掩模图像20生成接近区域46。例如，图7示出了控制单元12如何生成接近区域46。控制单元12可以在掩模图像20上执行末端执行器模型30的卷积。控制单元12可以移动手指移动范围36，使得在末端执行器模型30中识别的手指移动范围36的至少一部分与在掩模图像20中包括的窗口22重叠。在这种情况下，例如，表示手指移动范围36的矩形可以被旋转和定位在各种角度，使得矩形的至少一部分与窗口22的左上角的点重叠。控制单元12生成当手指移动范围36移动时手指移动范围36经过的区域作为接近区域46。在图7中，当手指移动范围36移动时，由离窗口22最远的点绘制的轨迹被表示为接近区域46的边界46a。边界46a由虚线表示。

控制单元12基于生成的接近区域46中的保持目标80的深度数据来生成对象区域42。控制单元12生成在比保持目标80被保持的位置的高度更高的位置处存在保持目标80的区域作为对象区域42。此外，控制单元12基于障碍物的深度数据，在生成的接近区域46中设置障碍物区域44。控制单元12生成在比保持目标80被保持的位置的高度更高的位置处存在障碍物的区域作为障碍物区域44。

控制单元12可以执行模糊处理以模糊生成的周围环境图40上的边界。通过上述过程生成的周围环境图40中包括的每个区域可以图中每个坐标中的数值来区分。例如，控制单元12可以将在接近区域46中包括的坐标处的数值设置为1，指示由该坐标标识的点在末端执行器2B的移动范围内。另一方面，控制单元12可以将目标区域42、障碍物区域44和非接近区域48中包括的坐标处的数值设置为0，指示由该坐标识别的点不在末端执行器2B的移动范围内。控制单元12将标识与设置了1的区域和设置了0的区域之间的边界相距预定范围内的点的坐标处的数值设置为大于0且小于1的值，例如诸如0.5。控制单元12执行模糊区域边界的处理作为模糊处理。

通过上述过程生成的周围环境图40中包括的每个区域可以图中每个坐标中的颜色来区分。控制单元12例如可以用白色表示接近区域46中的点，并且用黑色表示其他区域中的点。控制单元12可以以灰度表示与以白色表示的区域和以黑色表示的区域之间的边界相距预定范围内的点。控制单元12可以执行模糊区域边界的处理作为模糊处理。将每个区域的颜色表示为黑色、白色或灰色对应于将为每个区域设置的数值表示为亮度值。

由于控制单元12执行的模糊处理，可以降低由于末端执行器2B的移动范围中的误差或保持目标80或障碍物的轮廓中的误差导致的末端执行器2B与对象的意外碰撞的可能性。换言之，由于模糊处理，控制单元12可以考虑各种余量来确定末端执行器2B相对于保持目标80的位置。可以在生成的周围环境图40中包括的每个区域的外周部分中执行模糊处理。由于模糊处理，每个区域都被放大。

对象图50表示以下信息，该信息被参考以确定如果工人要保持保持目标80则他或她将在保持目标80的哪个位置来保持保持目标80。对象图50表示例如诸如保持目标80的形状、材料或密度分布的信息。

例如，假定越靠近保持目标80的中心，保持位置越适合该规则。如图8A中所示，在通过在保持目标80被保持的位置的高度处的平面切割保持目标80而获得的截面52中，可以用灰度来表示这样假定的与保持目标80相关的对象图50，其中越接近白色的颜色表示越接近保持目标80的中心，保持位置越适合该规则，而越接近黑色的颜色表示越远离保持目标80的中心，保持位置越不适合该规则。对象图50可以由灰度表示，如图8B中所示，其将用户任意设置的规则识别为用于确定保持保持目标80的位置的规则。如图8B中所示，当创建表明越靠近保持目标80的中心，抓握位置越合适的对象图50时，越靠近白色的颜色表示越靠近保持目标80的截面52的沿水平方向的中心，保持位置越合适，而越靠近黑色的颜色表示越远离保持目标80的截面52的沿水平方向的中心，保持位置越不合适。图8B中所示的对象图50由沿着截面52的高度方向的相同颜色表示。

在图8A和图8B中，围绕对象图50的截面52的黑色实线简单地表示截面52的轮廓，而不表示规则。由黑色实线绘制的坐标并不表示不适合的保持位置。

对象图50可以被配置成使得当假定保持保持目标80的位置并且评估将保持目标80保持在所假定的位置的适合性时，通过将对象保持在由更接近白色的颜色表示的区域附近，来增加表示适合性的评估的适合值。对象图50可以通过将数值与每个坐标的颜色相关联来表示，如在周围环境图40中一样。例如，控制单元12可以将由白色表示的坐标设置为1，并且将由黑色表示的坐标设置为0。

控制单元12不限于上述示例，而是可以生成具有为每个坐标设置的颜色或数值的对象图50，以便识别各种规则。例如，控制单元12可以根据距保持目标80的重心的距离，生成具有为每个坐标设置的颜色或数值的对象图50。控制单元12可以例如生成具有为每个坐标设置的颜色或数值的对象图50，以便识别要避免作为保持位置的位置或要禁止作为保持位置的位置。

控制单元12可以通过混合各自标识一个规则的多个对象图50来生成标识多个规则的一个对象图50。当混合多个对象图50时，控制单元12可以为每个对象图50设置加权系数，并将多个对象图50与设置的加权系数混合。例如，如果保持目标80的重心很重要，则控制单元12可以为标识重心位置的对象图50设置较大的加权系数。

可以基于保持目标80本身所具有的属性来定义对象图50。可以基于保持目标80的形状、材料、纹理、重量和摩擦系数中的任何一个来定义对象图50。对象图50可以基于由用户针对保持目标80的保持位置任意做出的定义。例如，可以在对象图50中将出于各种原因不被用作保持位置的保持目标80的一些部分(如容易因接触而损坏或变形的部分、覆盖有油脂的部分、以及光滑并因此不适合保持的部分)定义为规则。类似地，可以在对象图50中将难以断裂或变形的部分、没有油脂或其他污染物的部分、难以滑动的部分、以及基于经验规则要用作保持位置的部分(被认为容易保持的部分)定义为规则。通过将对象图50表示为二维图像，容易掌握为保持目标80的保持位置定义了什么规则。可以为每种类型的保持目标80生成对象图50。

接触图60表示基于末端执行器2B的手指与保持目标80的表面状况之间的关系确定的规则。类似于对象图50，接触图60表示以下信息，该信息被参考以确定如果工人要保持保持目标80则他或她将在保持目标80的哪个位置保持保持目标80。基于末端执行器2B与保持目标80的接触部分的形状和保持目标80的形状来定义接触图60。接触图60表示作为末端执行器2B接触保持目标80的位置的适合性。例如，基于末端执行器2B与保持目标80的接触部分的形状或材料与保持目标80的保持位置的形状或材料之间的关系，接触图60可以定义是保持位置的部分或不是保持位置的部分。更具体地，可以在接触图60中将末端执行器2B与保持目标80之间的接触面积变小的部分、末端执行器2B与保持目标80之间的摩擦的摩擦系数小于预定值的部分、或者基于经验规则被认为难以被末端执行器2B保持以被使用的部分定义为表示不被用作保持位置的部分的规则。类似地，可以在接触图60中将末端执行器2B与保持目标80之间的接触面积变大的部分、末端执行器2B与保持目标80之间的摩擦的摩擦系数大于预定值的部分、或者基于经验规则被认为容易被末端执行器2B保持以被使用的部分定义为表示要用作保持位置的部分的规则。

接触图60表示例如当保持目标80被末端执行器2B保持时保持目标80的表面与末端执行器2B的手指之间的接触面积，或者作用在保持目标80的表面与末端执行器2B的手指之间的摩擦力。如果保持目标80具有不平坦的表面，当末端执行器2B的手指的位置稍微移动时，接触面积可能显著变化。

如图9中所示，可以在由保持目标80被保持的位置的高度处的平面切割保持目标80所获得的截面的外周62中，由灰度来表示接触图60，其中越接近白色的颜色表示越接近每侧的中心，保持位置越合适，而越接近黑色的颜色表示越远离中心和越接近角落，保持位置越不合适。图9中所示的接触图60示出了当将保持目标80保持在每侧的中心附近的位置时，保持目标80的表面与末端执行器2B的手指之间的接触面积较大，而当将保持目标80保持在角落附近的位置时，接触面积较小。

在图9中，围绕接触图60的外周62的黑色实线简单地表示外周62的轮廓。由黑色实线绘制的坐标并不表示不适合的保持位置。

控制单元12可以通过混合各自标识一个规则的多个接触图60来生成标识多个规则的一个接触图60。当混合多个接触图60时，控制单元12可以为每个接触图60设置加权系数，并且将多个接触图60与设置的加权系数混合。例如，如果保持目标80的表面和末端执行器2B的手指之间的接触面积很重要，则控制单元12可以为标识接触面积的接触图60设置较大的加权系数。

控制单元12基于生成的规则图来确定保持保持目标80的位置。具体地，控制单元12将作为临时保持位置的末端执行器模型30投影到规则图上，并计算投影位置处的一致度，从而评估实际在临时保持位置处保持保持目标80的适合性。

控制单元12选择掩模图像20的窗口22内的任意点。如图1 0中所示，在窗口22内选择的任意点对应于周围环境图40中的对象区域42中的接近位置70。换言之，控制单元12将掩模图像20的窗口22内的任意点设置为接近位置70。控制单元12投影末端执行器模型30，使得末端执行器模型30的中心与接近位置70对准。投影的末端执行器模型30被表示为图10中所示的投影模型72a和72b。投影模型72a对应于通过沿着对象区域42的短边方向旋转末端执行器模型30而获得的模型。投影模型72b对应于通过将末端执行器模型30从对象区域42的短边方向顺时针旋转45度而获得的模型。

如果在末端执行器模型30中包括的手指位置32与对象区域42重叠，则控制单元12假定末端执行器模型30不能被投影。如图11中所示，在投影模型72a中，投影模型72a中包括的手指投影位置74a不与对象区域42重叠。因此，控制单元12可以将投影模型72a投影到周围环境图40上。另一方面，在投影模型72c中，投影模型72c中包括的手指投影位置74c与对象区域42重叠。因此，控制单元12不能将投影模型72c投影到周围环境图40上。通过在手指位置32与目标区域42重叠时不投影末端执行器模型30，避免了末端执行器2B接近保持目标80时末端执行器2B与保持目标80的碰撞。如果末端执行器模型30的至少一部分与障碍物区域44重叠，则控制单元12还假定末端执行器模型30不能被投影。因此，避免了当末端执行器2B保持保持目标80时与障碍物的碰撞。

如果在末端执行器模型30中没有识别出手指位置32，则控制单元12基于与末端执行器模型30相关联的手指的特征点来确定是否能够投影末端执行器模型30。

可以投影到周围环境图40上的对应于末端执行器模型30的位置和旋转角度的末端执行器2B的位置也可以说是符合周围环境图40的位置。可以说，控制单元12从符合周围环境图40的位置中确定保持位置。

控制单元12移动接近位置70以在掩模图像20的窗口22内扫描，并且在每个位置旋转末端执行器模型30以将其投影到周围环境图40上。在末端执行器模型30可以被投影到周围环境图40上的情况下，控制单元12提取接近位置70和末端执行器模型30的旋转角度的组合。

此外，在能够投影末端执行器模型30的情况下，控制单元12针对接近位置70和末端执行器模型30的旋转角度的每个组合计算周围环境图40中的一致度。具体地，控制单元12在图10所示的周围环境图40中，在与投影模型72a重叠并且在对象区域42的范围之外的范围中，计算在每个坐标处设置的数值或颜色的亮度的平均值，作为投影模型72a的一致度。控制单元12在图10所示的周围环境图40中，在与投影模型72b重叠并且在对象区域42的范围之外的范围中，计算在每个坐标处设置的数值或颜色的亮度的平均值，作为投影模型72b的一致度。

控制单元12还将提取的接近位置70和末端执行器模型30的旋转角度的组合投影到对象图50上。例如，如图12A中所示，控制单元12将投影模型72a或72b投影到对象图50上。控制单元12在对象图50中与掩模图像20的窗口22重叠并且在保持目标80的截面52中与投影模型72a重叠的范围中，计算在每个坐标处设置的数值或颜色的亮度值的平均值，作为投影模型72a的一致度。控制单元12在对象图50中与掩模图像20的窗口22重叠并且在保持目标80的截面52中与投影模型72b重叠的范围中，计算在每个坐标处设置的数值或颜色的亮度值的平均值，作为投影模型72b的一致度。在图12A中，围绕对象图50的截面52的黑色实线简单地表示截面52的轮廓。由黑色实线绘制的坐标并不表示不适合的保持位置。

对象图50表示作为保持保持目标80的位置的适合性。对应于投影在目标图50上的末端执行器模型30的位置和旋转角度的末端执行器2B的位置也可以说是符合目标图50的位置。可以说，控制单元12从符合对象图50的位置中确定保持位置。

控制单元12还将提取的接近位置70和末端执行器模型30的旋转角度的组合投影到接触图60上。例如，如图12B中所示，控制单元12将投影模型72a或72b投影到接触图60上。控制单元12计算在接触图60中保持目标80的截面的外周62中与投影模型72a重叠的范围的每个坐标处设置的数值或颜色的亮度值的平均值，作为投影模型72a的一致度。控制单元12计算在接触图60中保持目标80的截面的外周62中与投影模型72b重叠的范围的每个坐标处设置的数值或颜色的亮度值的平均值，作为投影模型72b的一致度。在图12B中，围绕接触图60的外周62的黑色实线简单地表示外周62的轮廓。由黑色实线绘制的坐标并不表示不适合的保持位置。

接触图60表示末端执行器2B与保持目标80的接触部分的位置作为与保持目标80接触的位置的适合性。可以说，控制单元12从与投影在接触图60上的多个末端执行器模型30的位置和旋转角度相对应的末端执行器2B的多个位置中确定保持位置。

控制单元12可以计算末端执行器模型30的两个手指位置32中的每一个相对于外周62沿着行程范围34的方向入射的角度。换言之，控制单元12可以计算沿着末端执行器模型30的行程范围34的方向的线与外周62的两个交点中的每个交点处的交角。在本实施例中，控制单元12将手指位置32垂直于外周62入射的入射角计算为0度。控制单元12可以将接触图60中计算的角度反映到一致度的值。控制单元12可以计算角度，使得角度越接近0度，一致度的值被计算为越大的值。例如，控制单元12可以计算在接触图60的外周62中与投影的末端执行器模型30重叠的范围的每个坐标处设置的数值或颜色的亮度值的平均值与所计算的角度的余弦值的乘积作为一致度。

如果外周62不平坦，则控制单元12可以基于末端执行器2B的手指的厚度、宽度或长度生成外周62的展平模型，并且计算手指位置32入射到展平模型上的角度。

对于接近位置70和末端执行器模型30的旋转角度的每个组合，控制单元12通过将在每个规则图中计算的一致度相加来计算总体一致度。控制单元12可以对在每个规则图中计算的一致度进行加权，并且将加权后的一致度相加。控制单元12使对每个规则图中计算的一致度执行的加权对于所有组合都相同。应用于每个规则图中计算的一致度的加权系数也被称为图系数。可以为每个图定义图系数。

如上所述，控制单元12基于末端执行器模型30和规则图计算每个保持位置的总体一致度。总体一致度对应于表示每个保持位置的适合性的适合值。规则图通过分配给规则图中的每个位置(每个坐标)的数值或颜色等的亮度值来表示将保持保持目标80的位置作为保持位置的适合性。当末端执行器模型30与规则图重叠时，控制单元12可以通过计算分配给每个位置的值来计算适合值。

控制单元12比较为接近位置70和末端执行器模型30的旋转角度的每个组合计算的总体一致度，并选择具有最高总体一致度的组合。控制单元12将末端执行器2B的手指在沿着行程方向移动时入射到保持目标80的位置确定为保持目标80的位置，该位置是基于所选组合中的接近位置70和末端执行器模型30的旋转角度确定的。换言之，控制单元12基于末端执行器模型30和规则图来确定保持位置。控制单元12可以通过例如将末端执行器模型30与规则图进行比较来估计保持位置，然后基于其他规则来调整或校正估计的保持位置，从而确定保持位置。控制单元12可以基于适合值来确定保持位置。控制单元12经由接口14向机器人控制装置110输出确定的保持位置。

(用于保持位置确定方法的过程的示例)

保持位置确定装置10的控制单元12可以执行包括图13中所示的流程图的过程的保持位置确定方法。保持位置确定方法可以实现为由构成保持位置确定装置10的控制单元12的处理器执行的保持位置确定程序。保持位置确定程序可以存储在非暂时性计算机可读介质上。

控制单元12获取包括通过拍摄保持目标80获得的图像和保持目标80的深度数据的数据(步骤S1)。控制单元12生成末端执行器模型30(步骤S2)。控制单元12确定保持目标80被保持的位置的高度(步骤S3)。控制单元12生成掩模图像20(步骤S4)。

控制单元12生成规则图，诸如周围环境图40、对象图50或接触图60(步骤S5)。控制单元12将末端执行器模型30投影到每个规则图上(步骤S6)。控制单元12计算每个规则图与投影到每个规则图上的末端执行器模型30之间的一致度(步骤S7)。控制单元12对为每个规则图计算的一致度进行加权，从而计算总体一致度(步骤S8)。当总体一致度高时，控制单元12选择末端执行器模型30的投影位置，并且将末端执行器2B的手指在所选位置入射到保持目标80的位置确定为保持位置(步骤S9)。在执行步骤S9的过程之后，控制单元12终止执行图13中所示的流程图的过程。

控制单元12可以在步骤S2或S3之前执行生成掩模图像20的步骤S4的过程。

(摘要)

如上所述，根据本实施例的保持位置确定装置10和保持位置确定方法，基于规则图确定当用机器人2的末端执行器2B保持保持目标80时的保持位置。通过基于规则图确定保持位置，工人的经验等可以反映在规则图中。例如，当工人保持各种类型的待保持对象80时，他或她根据待保持对象80的类型考虑保持在哪个位置。工人通过考虑例如保持目标80的重心、保持目标80周围存在的障碍物或者保持目标80被保持的位置是否较宽来确定保持位置。换言之，根据本实施例的保持位置确定装置10和保持位置确定方法，工人的考虑反映在规则图中，计算每个规则图中的一致度，并且基于通过对一致度进行加权而计算的总体一致度来确定抓握位置。因此，机器人2可以将保持目标80保持在工人认为的保持位置。换言之，可以根据人的意图简单地确定对象的保持位置。

此外，工人可以使用规定保持位置的规则图。因此，不需要学习。此外，通过在制定新规则时添加规则图，将更容易响应环境的变化。例如，涉及保持保持目标80的工作可以根据工人或工作场所的环境包括各种组件。因此，需要基于每个组件来确定和保持保持目标80的保持位置。通过生成反映各种组件的规则图并且将其添加到一致度计算的目标，处理针对每个工人或每个场所的特殊规则变得更容易。

(其他实施例)

下面描述了其他实施例。

<基于其他方法的估计结果的使用>

保持位置确定装置10可以获取基于其他方法估计的保持目标80的保持位置。保持位置确定装置10可以通过在获取的保持位置上执行本实施例的保持位置确定方法来从获取的保持位置中确定保持位置。

具体地，保持位置确定装置10的控制单元12经由接口14获取基于其他方法估计的保持目标80的保持位置。控制单元12计算对应于所获取的保持位置的接近位置70和末端执行器模型30的旋转角度的组合。控制单元12将末端执行器模型30投影到每个规则图上，其中所述组合对应于获取的保持位置，并计算每个规则图中的一致度。控制单元12对每个规则图中的一致度进行加权，并将加权后的一致度相加，以计算总体一致度。控制单元12选择对应于具有最高总体一致度值的组合的保持位置，并将其输出到机器人控制装置110。

保持位置确定装置10可以通过计算所获取的保持位置处的总体一致度来评估所获取的保持位置的适合性。控制单元12基于所计算的总体一致度来评估所获取的保持位置的有效性。例如，当计算出的总体一致度等于或大于预定值时，控制单元12可以确定获取的保持位置有效。

保持位置确定装置10可以获取基于其他方法估计的末端执行器2B的中心位置和旋转角度。保持位置确定装置10可以通过将获取的末端执行器2B的中心位置视为接近位置70来计算接近位置70和旋转角度的组合，并执行根据本实施例的保持位置确定方法。

通过获取基于其他方法估计的保持目标80的保持位置，保持位置确定装置10可以减少作为一致度计算的目标的接近位置70和旋转角度的组合的数量。因此，可以减少计算负荷。

<通过学习对加权的调整>

保持位置确定装置10通过对为每个规则图计算的一致度进行加权并将加权后的一致度相加来计算总体一致度。保持位置确定装置10可以通过基于关于所确定的保持位置的注释的信息进行学习来更新加权系数。保持位置确定装置10可以通过更新加权系数来提高确定保持位置的精度。

具体地，保持位置确定装置10的控制单元12可以通过接口14向用户通知所确定的保持位置。通过接口14，控制单元12从用户接收用于校正保持位置的输入作为所确定的保持位置的注释。控制单元12可以基于由用户做出的关于校正的信息向机器人控制装置110输出校正后的保持位置。控制单元12可以更新加权系数，并通过基于用户进行的校正的信息进行学习来重新进行保持位置的确定。

控制单元12可以确定保持位置的多个候选，并通过接口14向用户通知所确定的候选。控制单元12可以将总体一致度等于或大于预定值的保持位置确定为候选。通过接口14，控制单元12从用户接收用于从保持位置的候选中进行选择的输入作为所确定的保持位置的注释。控制单元12可以向机器人控制装置110输出由用户选择的保持位置。控制单元12可以通过基于用户选择的信息进行学习来更新加权系数。

控制单元12可以提取总体一致度等于或大于预定值的保持位置作为可以保持保持目标80的候选位置，并向用户通知所提取的候选位置。通过接口14，控制单元12从用户接收用于校正候选位置的输入或选择候选位置的输入作为候选位置的注释。控制单元12基于候选位置的校正或选择输入来评估每个候选位置的适合性。控制单元12可以更新加权系数，使得对于基于用户的输入被评估为具有作为保持位置的高适合性的候选位置，总体一致度的值变大。控制单元12可以向机器人控制装置110输出所选择的候选位置作为保持位置。控制单元12可以向机器人控制装置110输出校正后的候选位置作为保持位置。

保持位置确定装置10的控制单元12可以执行图14中所示的流程图的过程。控制单元12例如通过执行图13中所示的流程图的过程来选择保持位置的候选(步骤S11)。控制单元12向接口14输出保持位置的候选(步骤S12)。控制单元12基于用户做出的校正输入来校正保持位置(步骤S13)。控制单元12学习校正内容(步骤S14)。控制单元12基于学习结果更新加权(步骤S15)。在执行步骤S1 5中的过程之后，控制单元12终止执行图14中所示的流程图的过程。

如上所述，保持位置确定设备10可以基于用户做出的注释的内容来更新权重。因此，可以提高对各种工作环境的稳健性。

保持位置确定装置10对多个图中的每一个进行加权，并且将加权后的图混合以生成规则图。例如，保持位置确定装置10混合多个对象图50以生成单个对象图50。在对多个图中的每一个进行加权并且混合加权图的情况下，保持位置确定装置10可以通过基于注释的学习来更新每个图的加权系数。

保持位置确定装置10可以获取关于多个保持位置的注释的信息，并基于关于注释的信息来校正适合值。

<基于图像生成图>

保持位置确定装置10可以基于相机4拍摄的图像生成规则图。保持位置确定装置10的控制单元12可以例如基于图像来估计保持目标80的重心，并生成识别重心位置的对象图50。控制单元12可以例如基于图像估计保持目标80的材料，并生成接触图60，该接触图60标识作用在保持目标80的表面与末端执行器2B的手指之间的摩擦力。控制单元12可以基于关于保持目标80的颜色、图案或不平坦性的信息来估计保持目标80的材料。

<保持位置的高度设置>

保持位置确定装置10首先设置保持目标80要被保持的位置的高度，然后在设置的高度确定保持位置。保持位置确定装置10可以改变保持目标80被保持的位置的高度，在每个高度执行保持位置确定方法，并且当总体一致度的值最大时，确定保持高度以及接近位置70和末端执行器2B的旋转角度的组合作为保持位置。因此，可以提高保持稳定性。

上面已经描述了保持位置确定装置10的实施例；然而，除了用于实现该装置的方法或程序之外，本发明可以包括包含存储有程序的存储介质(例如，光盘、磁光盘、CD-ROM、CD-R、CD-RW、磁带、硬盘或存储卡)的实施例。

程序实现模式不限于诸如由编译器编译的目标代码或由解释器执行的程序代码之类的应用程序，并且可以是例如包含在操作***中的程序模块。此外，该程序可以或可以不完全仅在控制基板中的CPU中执行。根据需要，该程序可以部分或全部由在添加到基板的扩展板或扩展单元中实现的独立处理单元来执行。

虽然已经基于附图和实例对本发明的实施例进行了描述，但应注意，本领域技术人员可以基于本发明容易进行各种变更或修改。因此，应当注意，这些变更或修改包括在本发明的范围内。例如，在每个组件等中包括的功能等可以被重新布置，从而不会在逻辑上不一致，并且多个组件等可以被组合成一个或者被划分。

本发明中描述的所有组件和/或所有公开的方法或所有处理步骤可以基于任何组合进行组合，除了这些特征相互排斥的组合之外。此外，除非明确否认，否则本发明中描述的每个特征都可以被替换为用于实现相同目的、等同目的或类似目的的替代特征。因此，除非明确否认，否则每个公开的特征仅仅是一系列相同或等同特征的示例。

根据本发明的实施例不限于上述实施例中的任何特定配置。根据本发明的实施例可以扩展到本发明中描述的所有新颖特征或其组合，或者扩展到本发明中描述的所有新颖方法、处理步骤或其组合。

本发明中诸如“第一”和“第二”的描述是用于区分对应配置的标识符。在本发明中由诸如“第一”和“第二”的描述区分的配置可以交换对应配置中的数字。例如，第一区域可以与第二区域交换作为标识符的“第一”和“第二”。标识符的交换同时发生。即使在交换标识符之后，对应配置也被区分。该标识符可以被删除。标识符被删除的配置由元件符号来区分。基于本发明中对诸如“第一”和“第二”的标识符的描述，它不应被用作解释对应配置的顺序和具有较低数字的标识符的存在的基础。

参考符号

10保持位置确定装置(12：控制单元，14：接口)

20掩模图像(22：窗口，24：掩模)

30末端执行器模型(32：手指位置，34：行程范围，36：手指移动范围，38：非移动范围)

40周围环境图(42：目标区域，44：障碍物区域，46：接近区域，46a：边界，48：非接近区域)

50对象图(52：截面)

60接触图(62：外周)

70接近位置

72a、72b、72c投影模型

74a、74c手指投影位置

80保持目标(82：保持点)

100机器人控制***(2：机器人，2A：臂，2B：末端执行器，4：相机，5：机器人移动范围，6：工作开始平台，7：工作目标平台，110：机器人控制装置)。

Claims (17)

1.一种保持位置确定装置，包括：控制单元，所述控制单元将适于保持保持目标的末端执行器接触所述保持目标的位置确定为保持位置，

其中所述控制单元获取识别能够存在所述末端执行器的保持部分的区域的末端执行器模型，基于通过拍摄所述保持目标获得的保持目标的图像来获取规则图，所述规则图包括定义要由所述末端执行器保持的所述保持目标的位置的图，并基于所述末端执行器模型和所述规则图来确定所述保持位置。

2.根据权利要求1所述的保持位置确定装置，其中所述控制单元基于所述保持目标的形状数据和与所述保持目标的图像相关联的深度数据中的至少一个来获取所述规则图。

3.根据权利要求1或2所述的保持位置确定装置，其中所述规则图包括基于所述保持目标在要保持所述保持目标的高度方向上的位置而生成的图。

4.根据权利要求1至3中任一项所述的保持位置确定装置，其中所述控制单元针对多个所述保持位置，基于所述末端执行器模型和所述规则图来计算表示所述保持位置的适合性的适合值，并基于所述适合值来确定所述保持位置。

5.根据权利要求4所述的保持位置确定装置，其中

所述末端执行器模型和所述规则图由值表示，所述值分配给每个位置，并指示作为用于保持所述保持目标的位置的适合性，并且

当所述末端执行器模型与所述规则图重叠时，所述控制单元通过计算分配给每个位置的所述值来计算所述适合值。

6.根据权利要求4或5所述的保持位置确定装置，其中所述控制单元根据基于在所述规则图中包括的多个所述图的所述适合值和为所述图中的每一个确定的图系数，基于所述规则图计算所述适合值。

7.根据权利要求4至6中任一项所述的保持位置确定装置，其中所述控制单元获取针对多个所述保持位置的注释信息，并基于所述注释信息来校正所述适合值。

8.根据权利要求1至7中任一项所述的保持位置确定装置，其中

所述规则图包括周围环境图，所述周围环境图是定义当所述末端执行器保持所述保持目标时所述末端执行器能够移动的范围的图，并且

所述控制单元从符合所述周围环境图的所述末端执行器的多个位置中确定所述保持位置。

9.根据权利要求8所述的保持位置确定装置，其中

在所述周围环境图中，定义了能够存在所述末端执行器的第一区域和无法存在所述末端执行器的第二区域，以及

所述第二区域被定义为至少所述保持目标和所述保持目标的周围区域，并且在所述周围区域中，所述第二区域被分配为使得所述第二区域在所述第一区域中的比例随着远离所述保持目标而减小。

10.根据权利要求1至9中任一项所述的保持位置确定装置，其中

所述规则图包括对象图，所述对象图是表示作为用于保持所述保持目标的位置的适合性的图，并且

所述控制单元从符合所述目标图的所述末端执行器的多个位置中确定所述保持位置。

11.根据权利要求10所述的保持位置确定装置，其中基于所述保持目标具有的属性来定义所述对象图。

12.根据权利要求11所述的保持位置确定装置，其中基于所述保持目标的形状、材料、纹理、重量和摩擦系数中的任何一个来定义所述目标图。

13.根据权利要求1至12中任一项所述的保持位置确定装置，其中

所述规则图包括接触图，所述接触图是表示所述末端执行器与所述保持目标的接触部分的位置作为接触所述保持目标的位置的适合性的图，并且

所述控制单元从所述末端执行器相对于所述接触图的多个位置来确定所述保持位置。

14.根据权利要求13所述的保持位置确定装置，其中基于所述末端执行器与所述保持目标的所述接触部分的形状和所述保持目标的形状来定义所述接触图。

15.根据权利要求1至14中任一项所述的保持位置确定装置，其中

所述末端执行器是通过将所述保持目标夹在至少两个手指之间来抓握的夹持器，

所述末端执行器模型定义所述手指的移动范围，并且

所述控制单元将当所述夹持器抓握所述保持目标时所述手指接触所述保持目标的位置的组合确定为所述保持位置。

16.根据权利要求1至14中任一项所述的保持位置确定装置，其中

所述末端执行器包括通过吸附保持所述保持目标的吸附部分，

所述末端执行器模型定义了当所述末端执行器吸附所述保持目标时所述吸附部分妨碍其他对象的范围，并且

所述控制单元将当所述末端执行器吸附所述保持目标时所述吸附部分接触所述保持目标的所述位置确定为所述保持位置。

17.一种保持位置确定方法，包括：

由保持位置确定装置获取末端执行器模型，所述保持位置确定装置将适于保持保持目标的末端执行器接触所述保持目标的位置确定为保持位置，所述末端执行器模型识别能够存在所述末端执行器的保持部分的区域；

由所述保持位置确定装置基于通过拍摄所述保持目标获得的保持目标的图像来获取规则图，所述规则图包括定义要由所述末端执行器保持的所述保持目标的位置的图；以及

由所述保持位置确定装置基于所述末端执行器模型和所述规则图来确定所述保持位置。