CN117813184A - 机器人的保持形态决定装置、保持形态决定方法、以及机器人控制*** - Google Patents

Abstract

机器人的保持形态决定装置具备控制部和接口。控制部将通过将对象物分类成能推定的多个保持区分的至少1者而推定的机器人的对象物的至少1个保持形态和对象物的图像一起输出到显示装置。接口经由显示装置取得针对至少1个保持形态的用户的选择。

Description

机器人的保持形态决定装置、保持形态决定方法、以及机器人 控制***

对关联申请的交叉参考

本申请主张日本专利申请2021-134391号(2021年8月19日申请)的优先权，将该申请的公开整体为了参考而引入于此。

技术领域

本公开涉及机器人的保持形态决定装置、保持形态决定方法以及机器人控制***。

背景技术

过去，已知用机器人手合适地保持任意形状物体的方法(例如参考专利文献1)。

在先技术文献

专利文献

专利文献1：JP特开2005-169564号公报

发明内容

本公开的一实施方式所涉及的机器人的保持形态决定装置具备控制部和接口。所述控制部将通过将对象物分类成能推定的多个保持区分的至少1者而推定的机器人的所述对象物的至少1个保持形态和所述对象物的图像一起输出到显示装置。所述接口经由所述显示装置取得针对所述至少1个保持形态的用户的选择。

本公开的一实施方式所涉及的机器人的保持形态决定方法包含：将通过将对象物分类成能推定的多个保持区分的至少1者而推定的机器人的所述对象物的至少1个保持形态和所述对象物的图像一起输出到显示装置。所述保持形态决定方法包含：经由所述显示装置取得针对所述至少1个保持形态的用户的选择。

本公开的一实施方式所涉及的机器人控制***具备：机器人；控制所述机器人的机器人控制装置；决定所述机器人保持对象物的形态的保持形态决定装置；和显示装置。所述保持形态决定装置将通过将对象物分类成能推定的多个保持区分的至少1者而推定的机器人的所述对象物的至少1个保持形态和所述对象物的图像一起输出到所述显示装置。所述显示装置显示所述对象物的图像和所述对象物的至少1个保持形态。所述显示装置接受针对所述至少1个保持形态的用户的选择的输入，并输出到所述保持形态决定装置。所述保持形态决定装置从所述显示装置取得针对所述至少1个保持形态的所述用户的选择。

附图说明

图1是表示一实施方式所涉及的机器人控制***的结构例的框图。

图2是表示一实施方式所涉及的机器人控制***的结构例的示意图。

图3是表示学习中的模型的一例的图。

图4是表示保持形态推论模型的一例的图。

图5是表示由学习完毕模型决定保持形态的结构例的图。

图6是表示由保持形态推论模型决定保持形态的结构例的图。

图7A是表示对象物被分类成第1类别的情况的握持位置的示例的图。

图7B是表示对象物被分类成第2类别的情况的握持位置的示例的图。

图7C是表示对象物被分类成第3类别的情况的握持位置的示例的图。

图8A是表示将对象物分类成第1类别的情况下决定的握持位置的示例的图。

图8B是表示将对象物分类成第2类别的情况下决定的握持位置的示例的图。

图8C是表示将对象物分类成第3类别的情况下决定的握持位置的示例的图。

图9是表示一实施方式所涉及的保持形态决定方法的步骤例的流程图。

具体实施方式

在输入物体的图像并输出该物体的保持形态的学习完毕模型中，用户不能控制学习完毕模型的输出，不能控制物体的保持形态。谋求输出物体的保持形态的学习完毕模型的便利性的提升。通过本公开的一实施方式所涉及的机器人的保持形态决定装置、保持形态决定方法以及机器人控制***，能提升输出物体的保持形态的学习完毕模型的便利性。

(机器人控制***100的结构例)

如图1所示那样，本公开的一实施方式所涉及的机器人控制***100具备机器人2、机器人控制装置110、保持形态决定装置10、显示装置20和摄像机4。机器人2利用末端执行器2B来对保持对象物80进行保持并执行作业。保持对象物80也简称为对象物。机器人控制装置110控制机器人2。保持形态决定装置10决定机器人2保持保持对象物80时的形态，并输出到机器人控制装置110。使机器人2保持保持对象物80的形态也简称为保持形态。保持形态包含机器人2与保持对象物80接触的位置或机器人2对保持对象物80施加的力等。

如图2所示那样，在本实施方式中，机器人2在作业开始地点6保持保持对象物80。即，机器人控制装置110控制机器人2，以使得在作业开始地点6保持保持对象物80。机器人2可以使保持对象物80从作业开始地点6向作业目标地点7移动。保持对象物80也称作作业对象。机器人2在动作范围5的内侧动作。

<机器人2>

机器人2具备臂2A和末端执行器2B。臂2A例如可以构成为6轴或7轴的垂直多关节机器人。臂2A也可以构成为3轴或4轴的水平多关节机器人或SCARA机器人。臂2A也可以构成为2轴或3轴的正交机器人。臂2A也可以构成为并联连杆机器人等。构成臂2A的轴的数量并不限于例示。换言之，机器人2具有以多个关节连接的臂2A，通过关节的驱动而动作。

末端执行器2B例如可以包含构成为能握持保持对象物80的握持手。握持手可以具有多个手指。握持手的手指的数量可以为2个以上。握持手的手指可以具有1个以上的关节。末端执行器2B可以包含构成为能吸附并保持保持对象物80的吸附手。末端执行器2B可以包含构成为能掬取并保持保持对象物80的掬取手。末端执行器2B也称作保持保持对象物80的保持部。末端执行器2B并不限于这些示例，可以构成为能进行其他各种动作。在图1所例示的结构中，末端执行器2B包含握持手。

机器人2通过使臂2A动作，能控制末端执行器2B的位置。末端执行器2B可以具有成为对保持对象物80作用的方向的基准的轴。在末端执行器2B具有轴的情况下，机器人2通过使臂2A动作，能控制末端执行器2B的轴的方向。机器人2控制末端执行器2B作用于保持对象物80的动作的开始以及结束。机器人2通过控制末端执行器2B的位置、或末端执行器2B的轴的方向并且控制末端执行器2B的动作，能使保持对象物80挪动或进行加工。在图1所例示的结构中，机器人2在作业开始地点6使末端执行器2B保持保持对象物80，使末端执行器2B向作业目标地点7移动。机器人2在作业目标地点7使末端执行器2B将保持对象物80释放。由此一来，机器人2能使保持对象物80从作业开始地点6向作业目标地点7移动。

<传感器>

机器人控制***100还具备传感器。传感器检测机器人2的物理信息。机器人2的物理信息可以包含与机器人2的各结构部的现实的位置或姿势、或机器人2的各结构部的速度或加速度相关的信息。机器人2的物理信息可以包含与作用于机器人2的各结构部的力相关的信息。机器人2的物理信息可以包含与流过驱动机器人2的各结构部的电动机的电流或电动机的转矩相关的信息。机器人2的物理信息表征机器人2的实际的动作的结果。即，机器人控制***100通过取得机器人2的物理信息，能掌握机器人2的实际的动作的结果。

传感器可以包含检测作用于机器人2的力、分布压力或滑动等作为机器人2的物理信息的力觉传感器或触觉传感器。传感器可以包含检测机器人2的位置或姿势、或者速度或加速度作为机器人2的物理信息的运动传感器。传感器可以包含检测流过驱动机器人2的电动机的电流作为机器人2的物理信息的电流传感器。传感器可以包含检测驱动机器人2的电动机的转矩作为机器人2的物理信息的转矩传感器。

传感器可以设置于机器人2的关节或驱动关节的关节驱动部。传感器也可以设置于机器人2的臂2A或末端执行器2B。

传感器将检测到的机器人2的物理信息输出到机器人控制装置110。传感器在给定的定时检测机器人2的物理信息并输出。传感器将机器人2的物理信息作为时间序列数据而输出。

<摄像机4>

在图1所示的结构例中，机器人控制***100具备安装于机器人2的末端执行器2B的摄像机4。摄像机4例如从末端执行器2B向保持对象物80拍摄保持对象物80。即，摄像机4从末端执行器2B保持保持对象物80的方向拍摄保持对象物80。从末端执行器2B保持保持对象物80的方向拍摄保持对象物80而得到的图像也称作保持对象图像。此外，摄像机4可以具备深度传感器，构成为能取得保持对象物80的深度数据。另外，所谓深度数据，是与深度传感器的视角范围内按方向区别的距离相关的数据。更具体地，深度数据也能说是与从摄像机4到测定点的距离相关的信息。摄像机4所拍摄的图像可以包含单色的亮度信息，也可以包含以RGB(Red、Green and Blue，红、绿和蓝)等表征的各色的亮度信息。摄像机4是数量并不限于1个，也可以是2个以上。

另外，摄像机4并不限定于安装于末端执行器2B的结构，可以设于能拍摄保持对象物80的任意的位置。在安装于末端执行器2B以外的构造物的结构中，可以基于安装于该构造物的摄像机4所摄像的图像将上述的保持对象图像合成。保持对象图像可以通过基于相对于摄像机4的安装位置以及姿势的、末端执行器2B的相对位置以及相对姿势进行图像变换，来进行合成。或者，保持对象图像可以能从CAD以及附图数据生成。

<保持形态决定装置10>

如图1所示那样，保持形态决定装置10具备控制部12和接口(I/F)14。接口14从外部装置取得与保持对象物80等相关的信息或数据，或者对外部装置输出信息或数据。此外，接口14从摄像机4取得拍摄保持对象物80而得到的图像。接口14对显示装置20输出信息或数据，使后述的显示装置20的控制部显示信息或数据。控制部12基于与接口14中取得的信息或数据来决定基于机器人2的保持对象物8的保持形态，并经由接口14输出到机器人控制装置110。

控制部12可以为了提供用于执行各种功能的控制以及处理能力而包含至少1个处理器来构成。处理器可以执行实现控制部12的各种功能的程序。处理器可以实现为单一的集成电路。集成电路也称作IC(Integrated Circuit，集成电路)。处理器可以实现为多个能通信地连接的集成电路以及分立电路。处理器可以基于其他各种已知的技术来实现。

控制部12可以具备存储部。存储部可以包含磁盘等电磁存储介质，也可以包含半导体存储器或磁存储器等存储器。存储部存放各种信息。存储部存放控制部12中执行的程序等。存储部可以构成为非临时性的可读的介质。存储部可以作为控制部12的工作存储器发挥功能。存储部的至少一部分可以构成为与控制部12分体。

接口14可以包含构成为能以有线或无线进行通信的通信设备来构成。通信设备可以构成为能以基于各种通信标准的通信方式进行通信。通信设备能由已知的通信技术构成。

接口14可以包含从用户接受信息或数据等的输入的输入设备来构成。输入设备例如可以包含触控面板或触摸传感器、或者鼠标等指向设备来构成。输入设备可以包含物理键来构成。输入设备可以包含麦克风等声音输入设备来构成。接口14可以构成为能与外部的输入设备连接。接口14也可以构成为从外部的输入设备取得输入到外部的输入设备的信息。

接口14可以包含对用户输出信息或数据等的输出设备来构成。输出设备例如可以包含输出声音等听觉信息的扬声器等声音输出设备。输出设备可以包含进行振动以使得给用户带来触觉信息的振动设备。输出设备并不限于这些示例，可以包含其他各种设备。接口14可以构成为能与外部的输出设备连接。接口14可以为了外部的输出设备将信息对用户输出而对外部的输出设备输出信息。接口14可以作为外部的输出设备构成为能与后述的显示装置20连接。

<显示装置20>

显示装置20对用户显示信息或数据等。显示装置20可以具备控制显示的控制部。显示装置20例如可以包含LCD(Liquid Crystal Display，液晶显示器)、有机EL(Electro-Luminescence，电致发光)显示器或无机EL显示器、或者PDP(Plasma Display Panel，等离子显示面板)等来构成。显示装置20并不限于这些显示器，可以包含其他各种方式的显示器来构成。显示装置20可以包含LED(Light Emission Diode，发光二极管)或LD(LaserDiode，激光二极管)等发光器件来构成。显示装置20也可以包含其他各种器件来构成。

此外，显示装置20可以包含从用户接受信息或数据等的输入的输入设备来构成。输入设备例如可以包含触控面板或触摸传感器、或者鼠标等指向设备来构成。输入设备可以包含物理键来构成。输入设备可以包含麦克风等声音输入设备来构成。输入设备例如可以与接口14连接。

<机器人控制装置110>

机器人控制装置110从保持形态决定装置10取得确定保持形态的信息，控制机器人2，以使得机器人2以保持形态决定装置10中决定的保持形态保持保持对象物80。

机器人控制装置110可以为了提供用于执行各种功能的控制以及处理能力而包含至少1个处理器来构成。机器人控制装置110的各结构部可以包含至少1个处理器来构成。也可以机器人控制装置110的各结构部当中的多个结构部由1个处理器实现。也可以机器人控制装置110的整体由1个处理器实现。处理器能执行实现机器人控制装置110的各种功能的程序。处理器可以与保持形态决定装置10中所用的处理器相同或类似地构成。

机器人控制装置110可以具备存储部。存储部可以与保持形态决定装置10中所用的存储部相同或类似地构成。

机器人控制装置110可以包含保持形态决定装置10。机器人控制装置110和保持形态决定装置10也可以构成为分体。

(保持形态决定装置10的动作例)

保持形态决定装置10的控制部12基于学习完毕模型来决定保持对象物80的保持形态。学习完毕模型构成为接受拍摄保持对象物80而得到的图像作为输入，输出该保持对象物80的保持形态的推定结果。控制部12生成学习完毕模型。控制部12从摄像机4取得拍摄保持对象物80而得到的图像，将该图像输入到学习完毕模型，从学习完毕模型取得保持对象物80的保持形态的推定结果。控制部12基于保持对象物80的保持形态的推定结果来决定保持形态，并输出到机器人控制装置110。机器人控制装置110控制机器人2，以使机器人2以从保持形态决定装置10取得的保持形态保持保持对象物80。

<学习完毕模型的生成>

控制部12将拍摄保持对象物80而得到的图像、或从保持对象物80的CAD数据等生成的图像作为学习用数据进行学习，生成推定保持对象物80的保持形态的学习完毕模型。学习用数据可以包含所谓的有监督学习中使用的示教数据。学习用数据可以包含所谓的无监督学习中使用的、在执行学习的装置自身中生成的数据。将拍摄保持对象物80而得到的图像、或作为保持对象物80的图像而生成的图像总称为对象物图像。如图3所示那样，推论模型包含类别推论模型40和保持形态推论模型50。控制部12通过以对象物图像为学习用数据的学习来更新学习中的模型，生成学习完毕模型。

类别推论模型40接受对象物图像作为输入。类别推论模型40基于所输入的对象物图像来推定应将保持对象物80分类的保持区分。即，类别推论模型40将对象物分类成能推定的多个保持区分的任一者。能由类别推论模型40推定的多个保持区分是能由类别推论模型40输出的区分。保持区分是表征保持对象物80的形状的差异的区分，也称作类别。

类别推论模型40将所输入的对象图像分类成给定的类别。类别推论模型40基于对象物图像来输出将保持对象物80分类成给定的类别的分类结果。换言之，类别推论模型40在将保持对象物80分类成类别的情况下，推定保持对象物80所属的类别。

类别推论模型40输出类别的推定结果作为类别信息。能由类别推论模型40推定的类别可以基于保持对象物80的形状来确定。能由类别推论模型40推定的类别可以基于保持对象物80的表面状态、材质或硬度等各种特性来确定。在本实施方式中，能由类别推论模型40推定的类别的数量设为4个。4个类别分别称作第1类别、第2类别、第3类别以及第4类别。类别的数量也可以是3个以下，还可以是5个以上。

保持形态推论模型50接受对象物图像、和从类别推论模型40输出的类别信息作为输入。保持形态推论模型50基于所输入的对象物图像和类别信息来推定保持对象物80的保持形态，输出保持形态的推定结果。

类别推论模型40以及保持形态推论模型50分别例如构成为具有多个层的CNN(Convolution Neural Network，卷积神经网络)。类别推论模型40的层表征为处理层42。保持形态推论模型50的层表征为处理层52。对输入到类别推论模型40以及保持形态推论模型50的信息，在CNN的各层中执行基于给定的加权系数的卷积处理。在类别推论模型40以及保持形态推论模型50的学习中，更新加权系数。类别推论模型40以及保持形态推论模型50可以由VGG16或ResNet50构成。类别推论模型40以及保持形态推论模型50并不限于这些示例，也可以构成为其他各种模型。

保持形态推论模型50包含接受类别信息的输入的乘法运算器54。在类别的数量为4个的情况下，如图4所示那样，保持形态推论模型50将所输入的对象物图像中所含的保持对象物80分支为与4个类别分别对应的处理层52。乘法运算器54包含与4个类别分别对应的第1乘法运算器541、第2乘法运算器542、第3乘法运算器543以及第4乘法运算器544。第1乘法运算器541、第2乘法运算器542、第3乘法运算器543以及第4乘法运算器544对与4个类别分别对应的处理层52的输出乘以加权系数。保持形态推论模型50包含将第1乘法运算器541、第2乘法运算器542、第3乘法运算器543以及第4乘法运算器544各自的输出相加的加法运算器56。将加法运算器56的输出输入到处理层52。保持形态推论模型50将位于加法运算器56之后的处理层52的输出作为保持形态的推定结果而输出。

第1乘法运算器541、第2乘法运算器542、第3乘法运算器543以及第4乘法运算器544分别对处理层52的输出乘以的加权系数是基于输入到乘法运算器54的类别信息来确定的。类别信息表征保持对象物80被分类成4个类别当中的哪个类别。在保持对象物80被分类成第1类别的情况下，第1乘法运算器541的加权系数成为1，且第2乘法运算器542、第3乘法运算器543以及第4乘法运算器544的加权系数成为0。在该情况下，将与第1类别对应的处理层52的输出从加法运算器56输出。

类别信息可以表征为保持对象物80分别被分类成4个类别的概率。例如，保持对象物80分别被分类成第1类别、第2类别、第3类别以及第4类别的概率可以以X1、X2、X3以及X4表征。在该情况下，加法运算器56将对与第1类别对应的处理层52的输出乘以X1而得到的输出、对与第2类别对应的处理层52的输出乘以X2而得到的输出、对与第3类别对应的处理层52的输出乘以X3而得到的输出和对与第4类别对应的处理层52的输出乘以X4而得到的输出相加并输出。

控制部12通过将对象物图像作为学习用数据进行学习，来生成类别推论模型40和保持形态推论模型50，作为学习完毕模型。控制部12为了生成学习完毕模型而需要正确数据。例如，控制部12为了生成类别推论模型40，需要与表征用作学习用数据的图像被分类成哪个类别是否正确的信息建立关联的学习用数据。此外，控制部12为了生成保持形态推论模型50，需要与表征作为用作学习用数据的图像中拍到的对象物的握持位置而成为正确的位置的信息建立关联的学习用数据。

本实施方式所涉及的机器人控制***1中所用的学习完毕模型可以包含能在学习时学习与对象物图像的对象物相关的类别或握持位置的模型，也可以包含不能学习类别或握持位置的模型。即使是学习完毕模型不能学习类别或握持位置的情况，控制部12也可以参考与对象物类似的学习物的类别以及握持位置来推定对象物的类别以及握持位置。因此，在本实施方式所涉及的机器人控制***1中，控制部12为了生成学习完毕模型，可以学习对象物自身，也可以不学习对象物自身。

<基于学习完毕模型的保持形态的推定>

如图5所示那样，控制部12构成学习完毕模型，以使得将来自类别推论模型40的类别信息经由变换部60输入到保持形态推论模型50。即，学习完毕模型包含位于类别推论模型40与保持形态推论模型50之间的变换部60。控制部12对类别推论模型40输入对象物图像，使类别推论模型40输出类别信息。控制部12对保持形态推论模型50输入对象物图像，且从类别推论模型40经由变换部60将类别信息输入到保持形态推论模型50，使保持形态推论模型50输出保持对象物80的保持形态的推定结果。

从类别推论模型40输出的类别信息表征将所输入的对象物图像中所含的保持对象物80分类成第1类别～第4类别当中的哪个类别。具体地，类别推论模型40构成为在将保持对象物80所应被分类的保持区分(类别)推定为第1类别的情况下，作为类别信息而输出“1000”。类别推论模型40构成为在将保持对象物80所应被分类的保持区分(类别)推定为第2类别的情况下，作为类别信息而输出“0100”。类别推论模型40构成为在将保持对象物80所应被分类的保持区分(类别)推定为第3类别的情况下，作为类别信息而输出“0010”。类别推论模型40构成为在将保持对象物80所应被分类的保持区分(类别)推定为第4类别的情况下，作为类别信息而输出“0001”。

变换部60对来自类别推论模型40的类别信息进行变换并输入到保持形态推论模型50的乘法运算器54。例如，变换部60可以构成为在从类别推论模型40输入的类别信息是“1000”的情况下，变换成“0100”等其他字符串，将变换的类别信息输出到保持形态推论模型50。变换部60也可以构成为将从类别推论模型40输入的类别信息“1000”原样不变地输出到保持形态推论模型50。变换部60可以构成为具有确定对类别信息进行变换的规则的表格，基于表格来对类别信息进行变换。变换部60可以构成为用矩阵或数式等对类别信息进行变换。

如图6所示那样，控制部12也可以仅运用保持形态推论模型50作为学习完毕模型，将类别信息直接输入到保持形态推论模型50。

在本实施方式中，作为对象物图像，将表征图7A、图7B以及图7C所例示的保持对象物80的形状的形状图像81输入到学习完毕模型。在该情况下，将形状图像81中所含的保持对象物80基于保持对象物80的形状分类成各类别。在保持对象物80的形状为O字形状的情况下，形状图像81中所含的保持对象物80被分类成第1类别。在保持对象物80的形状为I字形状的情况下，形状图像81中所含的保持对象物80被分类成第2类别。在保持对象物80的形状为J字形状的情况下，形状图像81中所含的保持对象物80被分类成第3类别。J字形状也能说是将I字以及O字合起来的形状。在保持对象物80的形状为其他形状的情况下，形状图像81中所含的保持对象物80被分类成第4类别。

类别推论模型40在推定为将形状图像81中所含的保持对象物80分离成第1类别的情况下，作为类别信息而输出“1000”。保持形态推论模型50在取得“1000”作为类别信息的情况下，在形状图像81中在O字形状的保持对象物80的内侧推定保持位置82。类别推论模型40在推定为将形状图像81中所含的保持对象物80分类成第2类别的情况下，作为类别信息而输出“0100”。保持形态推论模型50在取得“0100”作为类别信息的情况下，在形状图像81中将I字形状的中央附近的两侧的位置推定为保持位置82。类别推论模型40在推定为将形状图像81中所含的保持对象物80分类成第3类别的情况下，作为类别信息而输出“0010”。保持形态推论模型50根据将形状图像81中所含的保持对象物80分类的类别，来推定形状图像81中所含的保持对象物80的保持位置82。例如，保持形态推论模型50在取得“0010”作为类别信息的情况下，在形状图像81中将J字形状的端附近的两侧的位置推定为保持位置82。换言之，保持形态推论模型50在将I字形状以及O字形状合起来的形状中，将I字形状中远离O字形状的一侧的端附近的两侧的位置推定为保持位置82。

<变换部60的变换规则的设定>

控制部12能设定在变换部60中变换类别信息的规则。控制部12通过接口14接受用户的输入，基于用户的输入来设定规则。

控制部12对学习完毕模型输入对象物图像，使得从学习完毕模型输出将保持对象物80分别分类成多个类别的情况下推定的保持形态。具体地，如图8A、图8B以及图8C所示那样，控制部12将以螺丝为保持对象物80的图像作为对象物图像输入到学习完毕模型。螺丝具有螺丝头83和螺丝轴84。学习完毕模型在将螺丝的形状图像81中所含的作为保持对象物80的螺丝临时分类成第1类别的情况下，不能确定与螺丝的内侧对应的位置，不能推定保持位置82。因此，不在包含分类成第1类别的螺丝的形状图像81中显示保持位置82。学习完毕模型在将螺丝的形状图像81中所含的作为保持对象物80的螺丝临时分类成第2类别的情况下，将螺丝轴84的中央附近的两侧推定为保持位置82。学习完毕模型在将螺丝的形状图像81中所含的作为保持对象物80的螺丝临时分类成第3类别的情况下，将螺丝轴84中远离螺丝头83的一侧的端附近的两侧的位置推定为保持位置82。

控制部12将学习完毕模型在将形状图像81中所含的保持对象物80分离成各类别的情况下在形状图像81中推定保持位置82的结果提示给用户。具体地，控制部12使图8A、图8B以及图8C例示中例示的在形状图像81重叠保持位置82而显示的图像作为保持保持对象物80时的保持位置82的候补显示于显示装置20，由此使用户视觉识别该图像。用户确认形状图像81中所含的保持对象物80被分类成各类别的情况的保持位置82(保持位置82的候补)，能判断作为保持作为保持对象物80的螺丝的位置而哪个保持位置82适合。控制部12使用户经过I/F14输入确定用户将保持位置82的候补当中的哪个保持位置82判断为适合的信息。控制部12基于对I/F14的用户的输入，来取得与用户判断为适合的保持位置82对应的类别。

控制部12在使机器人2保持作为保持对象物80的螺丝时，使保持形态推论模型50推定用户判断为适合的类别的保持位置82。具体地，控制部12通过控制输入到保持形态推论模型50的类别信息，能控制使保持形态推论模型50推定的保持位置82。

例如在将对象物图像中所含的保持对象物80分类成与螺丝对应的类别(例如第2类别)的情况下，控制部12能使保持形态推论模型50进行推定，以使得保持形态推论模型50将保持对象物80分类成第3类别，并将保持位置82作为推定结果而输出。在该情况下，控制部12对保持形态推论模型50输入表示第3类别的“0010”，作为保持对象物80所属的类别信息。即使本来类别推论模型40所输出的类别信息是表示第2类别的“0100”，控制部12也对保持形态推论模型50输入“0010”作为类别信息。换言之，通常的话，对于将被分类成第2类别的保持对象物80的保持形态推定为与第2类别对应的保持形态这一结果，设为将保持对象物80分类成第3类别，来使保持形态推论模型50推定保持形态。控制部12设定变换部60中的变换规则，以使得在类别推论模型40输出“0100”作为保持对象物80的类别信息的情况下，对保持形态推论模型50输入“0010”作为类别信息。

控制部12能使保持形态推论模型50推定，以使得将对保持对象物80进行分类的类别变换成其他类别并作为推定结果而输出。控制部12例如能使保持形态推论模型50进行推定，以使得即使是保持对象物80被分类成第2类别的情况，也将保持对象物80分类成第3类别，并将保持位置82作为推定结果而输出。控制部12能使保持形态推论模型50进行推定，以使得即使是保持对象物80被分类成第3类别的情况，也将保持对象物80被分类成第2类别的情况的保持位置82作为推定结果而输出。在该情况下，控制部12设定变换部60中的变换规则，以使得在来自类别推论模型40的类别信息为“0100”的情况下，变换为“0010”输入到保持形态推论模型50，在来自类别推论模型40的类别信息为“0010”的情况下，变换为“0100”输入到保持形态推论模型50。

如以上叙述的那样，通过控制部12构成为能设定变换规则，例如在对多个对象物连续进行处理的情况下，能减少每次用户选择保持形态的情况。在该情况下，例如，在用户一次性决定了保持形态的情况下，可以设定变换规则，以使得多个对象物的保持形态成为所决定的保持形态。

此外，类别推论模型40也可以设定没有保持形态的类别作为保持区分。在该情况下，保持形态推论模型50可以在输入某类别时推定为没有保持形态。在该情况下，例如在对多个对象物连续进行处理的情况下，控制部12可以将多个对象物当中的被分类成用户设想的类别以外的类别的对象物判定为异物。然后，控制部12能进行控制，以使得对于判定为异物的对象物的类别，根据所设定的变换规则变换成没有保持形态的类别，由此不保持异物。

<保持形态决定方法的步骤例>

保持形态决定装置10的控制部12可以执行包含图9所例示的流程图的步骤的保持形态决定方法。保持形态决定方法可以实现为使构成控制部12的处理器执行的保持形态决定程序。保持形态决定程序可以存放于非临时性的计算机可读的介质。

控制部12将对象物图像输入到学习完毕模型(步骤S1)。

控制部12通过类别推论模型40将对象物图像中所含的保持对象物80分类成类别(步骤S2)。具体地，类别推论模型40推定将保持对象物80分类的类别，将推定结果作为类别信息而输出。

控制部12对于保持对象物80，对推定为类别推论模型40所推定的类别(例如第3类别)、或这以外的类别(例如第1、2、4类别)的情况的保持形态进行推定，生成推定结果作为保持形态的候补，并使显示装置20显示(步骤S3)。具体地，控制部12显示在对象物图像重叠了保持位置82的图像。这时，可以以能确定类别推论模型40所推定的类别是何种的形态进行显示。

控制部12使用户从候补中选择保持形态(步骤S4)。具体地，控制部12利用I/F14使用户输入从保持形态的候补选择哪个保持形态，取得确定用户所选择的保持形态的信息。换言之，在用户对于保持对象物80认为类别推论模型40所推定的类别中的保持形态不合适的情况下，使其选择其他保持形态。

控制部12使学习完毕模型推定保持形态，以使得以用户所选择的保持形态保持保持对象物80，将所推定的保持形态输出到机器人控制装置110(步骤S5)。控制部12在步骤S5的步骤的执行后结束图9的流程图的步骤的执行。

<小结>

如以上叙述的那样，本实施方式所涉及的保持形态决定装置10使用户选择学习完毕模型所推定的保持形态，能以用户所选择的保持形态控制机器人2。由此一来，用户即使不能控制基于学习完毕模型的保持形态的推定结果，也能控制机器人2的保持形态。其结果，输出保持对象物80的保持形态的学习完毕模型的便利性提升。

(其他实施方式)

以下，说明其他实施方式。

在上述的实施方式中，说明了保持形态决定装置10决定保持位置82作为保持形态的结构。保持形态决定装置10能不仅决定保持位置82，还决定其他形态作为保持形态。

保持形态决定装置10例如可以决定机器人2为了保持保持对象物80而施加的力，作为保持形态。在该情况下，保持形态推论模型50推定为了保持保持对象物80而施加的力，并输出。

此外，保持形态决定装置10例如可以决定机器人2保持保持对象物80的手的种类，作为保持形态。在该情况下，保持形态推论模型50推定为了保持保持对象物80所用的手的种类，并输出。

保持形态决定装置10可以将使保持形态推论模型50推定的保持形态与对象物图像重叠地显示于显示装置20。此外，保持形态决定装置10可以在机器人2具备夹持保持对象物80的至少2个手指的情况下，使通过手指夹持保持对象物80的位置作为保持位置82而显示。此外，保持形态决定装置10可以使夹持保持对象物80的位置起给定范围内的位置显示于显示装置20。

以上，说明了保持形态决定装置10以及机器人控制***100的实施方式，但作为本公开的实施方式，除了用于实施***或装置的方法或程序以外，还能取记录程序的存储介质(作为一例，光盘、光磁盘、CD-ROM、CD-R、CD-RW、磁带、硬盘或存储卡等)作为实施方式。

此外，作为程序的安装形态，并不限定于由编译器编译的对象代码、由注释器执行的程序代码等应用程序，也可以是编入操作***的程序模块等形态。进而，程序也可以并不构成为仅在控制基板上的CPU中实施全部处理。程序可以根据需要构成为由附加于基板的扩展板或安装于扩展单元的其他处理单元实施其一部分或全部。

关于本公开所涉及的实施方式，基于诸附图以及实施例进行了说明，但希望留意的是，只要是本领域技术人员，就能基于本公开进行各种变形或改变。因此，希望留意的是，这些变形或改变含在本公开的范围中。例如，各结构部等中所含的功能等能再配置成逻辑上不矛盾，能将多个结构部等组合成1个结构部，或进行分割。

关于本公开记载的结构要件的全部、及/或公开的全部方法、或处理的全部步骤，除了它们的特征相互排他的组合以外，能以任意的组合进行组合。此外，本公开记载的各个特征只要没有明示的否定，就能置换成为了相同的目的、同等的目的或类似的目的而起作用的代替的特征。因此，只要没有明示的否定，则公开的特征各自就只是包括性的一系列相同或均等的特征的一例。

进而，本公开所涉及的实施方式并不受上述的实施方式的任一者的具体的结构的限制。本公开所涉及的实施方式能扩展部到本公开记载的全部新的特征、或它们的组合、或记载的全部新的方法、或处理的步骤、或它们的组合。

在本公开中，“第1”以及“第2”等记载是用于区别该结构的识别符。本公开中的以“第1”以及“第2”等记载区别的结构能交换该结构中的编号。例如，第1类别能与第2类别交换作为识别符的“第1”和“第2”。识别符的交换同时进行。在识别符的交换后也区别该结构。识别符可以删除。删除了识别符的结构以附图标记区别。不得仅基于本公开中的“第1”以及“第2”等识别符的记载就利用在该结构的顺序的解释、小的编号的识别符存在的根据中。

符号说明

10 保持形态决定装置(12：控制部、14：接口)

20 显示装置

40 类别推论模型(42：处理层)

50 保持形态推论模型(52：处理层、54：乘法运算器(541～544：第1～第4乘法运算器)、56：加法运算器)

60 变换部

80 保持对象物(83：螺丝头、84：螺丝轴)

81 形状图像

82 保持位置

100 机器人控制***(2：机器人、2A：臂、2B：末端执行器、3：传感器、4：摄像机、5：机器人的影响范围、6：作业开始地点、7：作业目标地点、110：机器人控制装置)。

Claims (14)

1.一种机器人的保持形态决定装置，具备：

控制部，将通过将对象物分类成能推定的多个保持区分的至少1者而推定的机器人的所述对象物的至少1个保持形态和所述对象物的图像一起输出到显示装置；

接口，经由所述显示装置取得针对所述至少1个保持形态的用户的选择。

2.根据权利要求1所述的机器人的保持形态决定装置，其中，

所述接口将所述用户所选择的所述保持形态输出到机器人控制装置，所述机器人控制装置控制所述机器人的动作，以使得所述机器人以所述用户所选择的保持形态保持所述对象物。

3.根据权利要求1或2所述的机器人的保持形态决定装置，其中，

所述能推定的多个保持区分是能由类别推论模型输出的保持区分，所述类别推论模型基于所述对象物的图像来输出将所述对象物分类成给定的类别的分类结果。

4.根据权利要求3所述的机器人的保持形态决定装置，其中，

所述控制部将对基于所输入的保持区分而输出所述对象物的所述保持形态的保持形态推论模型输入所述分类结果的情况的、关于各个所述分类结果的所述保持形态输出到所述显示装置。

5.根据权利要求4所述的机器人的保持形态决定装置，其中，

所述保持形态推论模型决定所述机器人保持所述对象物的位置，作为所述机器人保持所述对象物的形态。

6.根据权利要求4或5所述的机器人的保持形态决定装置，其中，

所述保持形态推论模型决定所述机器人为了保持所述对象物而施加的力，作为所述机器人保持所述对象物的形态。

7.根据权利要求4～6中任一项所述的机器人的保持形态决定装置，其中，

所述保持形态推论模型决定所述机器人保持所述对象物的手的种类，作为所述机器人保持所述对象物的形态。

8.根据权利要求4～7中任一项所述的机器人的保持形态决定装置，其中，

所述机器人具有：保持部，基于从摄像机取得的所述对象物的图像、和包含所述类别推论模型以及所述保持形态推论模型的学习完毕模型的输出，来保持所述对象物，

所述控制部对所述机器人输出所述用户的选择，以使得所述机器人以保持形态推论模型基于与所述用户的选择对应的所述类别而输出的所述保持形态保持所述对象物。

9.根据权利要求8所述的机器人的保持形态决定装置，其中，

所述保持部具有：至少2个手指，用于夹持所述对象物，

所述控制部将通过所述手指夹持所述对象物的位置、或夹持所述对象物的位置起给定范围内的位置作为所述保持形态输出到所述显示装置。

10.根据权利要求1～9中任一项所述的机器人的保持形态决定装置，其中，

所述控制部将在所述对象物的图像重叠了保持所述对象物的形态而得到的图像输出到所述显示装置。

11.根据权利要求1～10中任一项所述的机器人的保持形态决定装置，其中，

所述控制部设定变换规则，所述变换规则将从将对象物分类成能推定的多个保持区分的至少1者的类别推论模型输出的保持区分的分类结果变换成其他保持区分。

12.根据权利要求1～11中任一项所述的机器人的保持形态决定装置，其中，

所述控制部基于将对象物分类成能推定的多个保持区分的至少1者的结果来判定异物。

13.一种机器人的保持形态决定方法，包含：

将通过将对象物分类成能推定的多个保持区分的至少1者而推定的机器人的所述对象物的至少1个保持形态和所述对象物的图像一起输出到显示装置；

经由所述显示装置取得针对所述至少1个保持形态的用户的选择。

14.一种机器人控制***，具备：

机器人；

机器人控制装置，控制所述机器人；

保持形态决定装置，决定所述机器人保持对象物的形态；和

显示装置，

所述保持形态决定装置将通过将对象物分类成能推定的多个保持区分的至少1者而推定的机器人的所述对象物的至少1个保持形态和所述对象物的图像一起输出到所述显示装置，

所述显示装置显示所述对象物的图像和所述对象物的至少1个保持形态，接受针对所述至少1个保持形态的用户的选择的输入并输出到所述保持形态决定装置，

所述保持形态决定装置从所述显示装置取得针对所述至少1个保持形态的所述用户的选择。