CN101970184B - 动作教导***以及动作教导方法 - Google Patents

动作教导***以及动作教导方法 Download PDF

Info

Publication number
CN101970184B
CN101970184B CN2009801084228A CN200980108422A CN101970184B CN 101970184 B CN101970184 B CN 101970184B CN 2009801084228 A CN2009801084228 A CN 2009801084228A CN 200980108422 A CN200980108422 A CN 200980108422A CN 101970184 B CN101970184 B CN 101970184B
Authority
CN
China
Prior art keywords
pattern
grip
workpiece
unit
operator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2009801084228A
Other languages
English (en)
Other versions
CN101970184A (zh
Inventor
斋藤史伦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN101970184A publication Critical patent/CN101970184A/zh
Application granted granted Critical
Publication of CN101970184B publication Critical patent/CN101970184B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39484—Locate, reach and grasp, visual guided grasping
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39543—Recognize object and plan hand shapes in grasping movements

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Manipulator (AREA)
  • Numerical Control (AREA)

Abstract

本发明的动作教导***以及动作教导方法通过由操作员进行的直观且简单的输入操作，能够对机器人进行对于形状和三维位置未知的工件的握持动作的教导。(a)使显示装置显示作业空间的拍摄图像，(b)接受在显示装置所显示的工件的像上维地指定包含使机器手握持的部位的识别区域的操作。(c)接受从多个基础形状模型中指定与握持部位相符合的基础形状模型的操作，(d)通过将被指定的基础形状模型拟合到与识别区域相当的空间的三维位置数据，决定指定基础形状模型的形状、位置以及姿势的参数群。(e)检索对于各基础形状模型记录了机器手能够适用的握持模式的数据库，选择能够适用于工件的握持的握持模式。

Description

动作教导***以及动作教导方法
技术领域
本发明涉及用于对进行工件握持的机器人进行动作教导的动作教导***以及动作教导方法。
背景技术
研究开发有以下的方法(例如，参考专利文献4)：预先给机器人提供工件形状模型，并使机器人自主地识别存在于作业空间中的工件、并使机器人自动地执行工件握持。然而，对于这样的基于模型的方法，虽然在工件种类有限的作业空间中可以实现，但是实际上难以适用于在例如日常生活环境这样的条件复杂的实际环境中。
另一方面，还公知有操作员对机器人进行动作的教导的技术(例如、参照专利文献1～3)。专利文献1～3公开了操作员使用具有图形显示功能的动作教导装置对机器人进行动作教导的技术。
专利文献1所公开的发明是由本发明的发明人作出的。该发明涉及使用具有二维显示器的动作教导装置来教导机器人在三维空间中动作的动作教导装置。该动作教导装置可以适用于当使机器人对形状以及作业空间中的三维位置未知的工件进行握持的情况。使用该动作教导装置对机器人的教导如下进行。
首先，将拍摄了包含有工件的机器人的作业空间的拍摄图像显示在二维显示器上。操作员看着显示有拍摄图像的二维显示器通过鼠标或触摸面板等输入装置、利用在CAD(Computer Aided Design，计算机辅助设计)中所使用的参数化建模方法等来在显示器的表示面上制作几何要素的图。具体来说，为了对工件的形状进行建模，操作员在画面上对模型的位置、姿势以及形状的参数进行调整，使其与工件的图像一致，并且以工件的模型的重心位置的坐标系为基准，设定为了使得容易握持工件而根据需要进行了平移以及旋转的坐标系。通过使这样设定的坐标系与设置在机器臂末端的工件握持用的末端执行器的坐标系(以下、称作工具坐标系)相匹配，可以使机器人执行工件的握持。通过激光测距仪、立体照相机等测距装置来测量由操作员描绘的点或几何要素的三维位置。
专利文献2公开了一种动作教导装置，所述动作教导装置具有存储设置在机器臂末端的末端执行器形状的形状模型的存储装置、以及显示末端执行器形状的显示器。该动作教导装置进行如下操作：(1)在显示有末端执行器形状的显示器画面上接受由操作员对末端执行器上的点的指定，(2)计算被指定的点的三维位置，(3)接受由操作员进行的以被指定的点为中心的姿势变更的输入，(4)基于被指定的点的三维位置、以及接受的姿势变更来调节末端执行器的姿势。即，专利文献2的动作教导装置通过图形显示对操作员输入位置以及形状已知的末端执行器的姿势变更的操作进行辅助。然而，专利文献2的动作教导装置并不是用于教导机器人对形状以及三维位置未知的工件进行操作的装置。
专利文献3公开了一种动作教导装置，其用于使用图形显示器来对机器人教导形状以及三维位置已知的工件的操作点。例如，在将汽车的车身作为工件的情况下，该动作教导装置用于教导车身上的焊接操作点。专利文献3的动作教导装置除了具有图形显示器之外还具有存储装置。存储装置基于作为机器人和工件的共同坐标系的全局坐标系来存储有近似为多面体的工件的形状数据。该动作教导装置对存储装置进行访问，并使图形显示器对工件形状进行二维显示，在表示画面上接受关于工件的操作面以及操作点的操作员的指定。并且，该动作教导装置在图形显示器上重叠显示机器人姿势，并在接受了由操作员进行的机器人姿势的修正之后，确定机器人姿势，并将确定了的姿势变换成机器人坐标系而对机器人进行教导。
专利文献1：日文专利文件特开2003-256025号公报；
专利文献2：日文专利文件特开2005-111618号公报；
专利文献3：日文专利文件特开平1-283603号公报；
专利文献4：日文专利文件特开2004-333422号公报。
发明内容
如上所述，在用于教导机器人对形状以及三维位置未知的工件的操作的专利文献1所公开的动作教导装置中，通过操作员看着二维显示器进行使用于CAD的三维制图操作，可以对机器人进行教导。然而，为了进行使用于CAD的三维制图操作，需要操作员对操作熟练，而对于不具有CAD制图技术的一般用户难以说是容易的。
本发明是基于上述的见解而进行的，并且其目的在于提供一种通过操作员的直观且简单的输入操作就可以对机器人教导对于形状以及三维位置未知的工件的握持动作的动作教导***以及动作教导方法。
本发明的第一实施方式是一种动作教导***，所述动作教导***用于对机器人进行握持动作的教导，所述机器人具有机器臂，所述机器臂包含用于握持工件的机器手。该动作教导***包括：成像装置、测量直到对象物体为止的距离的测距装置、显示装置、接受由操作员进行的输入操作的输入装置、对于多个基础形状模型中的每一个记录了所述机器手能够适用的至少一个握持模式的数据库。并且，该动作教导***还包括：拍摄图像显示单元、识别区域指定单元、基础形状模型指定单元、拟合单元、以及握持模式选择单元。
所述拍摄图像显示单元使所述显示装置显示通过所述成像装置获取的包含所述工件在内的作业空间的拍摄图像。
所述识别区域指定单元将用于指定使所述机器手握持的所述工件中的部位的操作作为在所述显示装置所显示的所述工件的像上利用所述输入装置二维地指定包含所述部位在内的识别区域的操作来接受。
所述基础形状模型指定单元经由所述输入装置接受从所述多个基础形状模型中指定与所述部位相符合的基础形状模型的操作。
所述拟合单元将由所述操作员指定的基础形状模型拟合到与利用所述测距装置获取的所述识别区域相当的空间的三维位置数据。
所述握持模式选择单元基于由所述操作员指定的基础形状模型以及由所述拟合单元进行的拟合结果，检索所述数据库，由此选择能够适用于所述工件的握持的至少一个握持模式。
另外，本发明的第二实施方式是一种动作教导方法，所述动作教导方法用于对机器人进行握持动作的教导，所述机器人具有机器臂，所述机器臂包含用于握持工件的机器手，所述动作教导方法包括以下步骤(a)～(e)。
使显示装置显示包含所述工件在内的作业空间的拍摄图像的步骤(a)；
将用于指定使所述机器手握持的所述工件中的部位的操作作为在所述显示装置所显示的所述工件的像上二维地指定包含所述部位在内的识别区域的操作来接受的步骤(b)；
接受从所述多个基础形状模型中指定与所述部位相符合的基础形状模型的操作的步骤(c)；
将在所述步骤(c)中被指定的基础形状模型拟合到与利用测距装置获取的所述识别区域相当的空间的三维位置数据的步骤(d)；以及
基于由在所述步骤(c)中指定的基础形状模型以及在所述步骤(d)中的拟合结果来检索数据库，由此选择能够适用于所述工件的握持的至少一个握持模式的步骤(e)，其中，在所述数据库中，对于多个基础形状模型中的每一个记录了所述机器手能够适用的至少一个握持模式。
根据上述的本发明的第一和第二实施方式，操作员通过在被显示在显示装置上的拍摄图像中二维指定识别区域的操作和选择与识别区域相符合的基础形状模型的操作，能够直观地确定工件的握持部位。另外，本发明的第一和第二实施方式由于使用将基础形状模型和能够适用于它的握持模式相关联起来的数据库，因此能够将合适的握持模式的候选提示给操作员。因此，操作员不需要逐一详细指定机器手的位置和姿势、以及机器臂所具有的手指的配置等，就能够将握持方法教导给机器人。
另外，上述的本发明的第一实施方式中的动作教导***，还可以包括握持模式显示单元和握持模式决定单元。所述握持模式显示单元使显示装置显示通过所述握持模式选择单元选择了的所述至少一个握持模式。另外，所述握持模式决定单元基于所述握持模式显示单元所生成的显示内容，接受由所述操作员进行的、用于选择使所述机器人执行的最终握持模式的操作，并接受由所述操作员进行的、用于调整对于所述最终握持模式所余下的自由度的操作。
并且，所述握持模式显示单元也可以将表示所述至少一个握持模式的所述机器手的模型图像与所述拍摄图像重叠显示。另外，所述握持模式决定单元也可以通过在所述显示装置的显示画面内对于所述模型图像的拖曳操作来接受由所述操作员进行的所述自由度的调整操作，并基于在进行所述拖曳操作之后的所述模型图像在所述显示画面内的位置以及姿势来决定所述自由度的调整値。通过这样的结构，操作员能够通过简单的拖曳操作来决定合适的握持模式，并对机器人进行教导。
另外，在上述的本发明的第一实施方式中，所述握持模式选择单元还可以利用使用所述测距装置来获取的所述识别区域周辺的三维位置数据来判断根据所述至少一个握持模式的所述机器臂的轨迹和所述工件周围的障碍物之间的干扰，并基于该判断结果进行握持模式的删减。由此，能够获得避免了与工件周围的障碍物的干扰的更加合适的握持方法。
根据本发明，能够提供通过由操作员进行的直观且简单的输入操作，能够对机器人进行对于形状和三维位置未知的工件的握持动作的教导的动作教导***以及动作教导方法。
附图说明
图1是示出本发明的实施方式1中的动作教导***的整体结构的框图；
图2是表示通过本发明的实施方式1中的动作教导***进行的对机器人1的握持动作的教导顺序的流程图；
图3的(a)是表示显示在显示装置的包含工件在内的拍摄图像的一个示例的图，图3的(b)～(d)表示在显示画面上指定识别区域的示例的图；
图4是表示用于选择基础形状模型的图标列表的示例的图；
图5是用于说明与识别区域相关的三维位置数据的获取的概念图；
图6是用于说明对于三维位置数据的基础形状模型的拟合结果的概念图；
图7是表示作为基础形状模型的一个例子的圆筒模型及其形状参数的图；
图8本发明的实施方式1中的动作教导***所具有的数据库的构成示例的图；
图9本发明的实施方式1中的动作教导***所具有的数据库的构成示例的图；
图10A是表示将基础形状模型和握持模式与包含工件在内的拍摄图像重叠显示了的显示装置的画面的例子的图；
图10B是表示将基础形状模型和握持模式与包含工件在内的拍摄图像重叠显示了的显示装置的画面的例子的图；
图11A是表示用于调整握持模式的自由度的显示装置的画面的例子的图；
图11B是表示用于调整握持模式的自由度的显示装置的画面的例子的图；
图11C是表示用于调整握持模式的自由度的显示装置的画面的例子的图。
标号说明
1机器人
10机器臂
11机器手(hand)
12成像装置
13测距装置
14通信部
15数据库
2教导终端
20通信部
21显示装置
22输入装置
23控制部
30工件像
31～33识别区域
40图标列表
41～44图标
50三维位置数据
90工件
60基础形状模型
70圆筒模型
83机器手模型
84定点器
RF旋转自由度
TF平移自由度
具体实施方式
以下，参照附图详细说明应用了本发明的具体的实施方式。在各附图中，对于相同要素标注了相同符号，并且为了使说明明确，而根据需要省略了重复说明。
实施方式1：
图1是示出本实施方式中的动作教导***的整体结构的框图。本实施方式的动作教导***包括：执行工件90的握持动作的机器人1、以及用于对机器人1进行握持动作的教导的教导终端2。以下、说明机器人1以及教导终端2的结构。
图1所示的机器人1具有由通过关节相互连接的多个连杆(link)构成的多关节的机器臂10。在机器臂10的末端部分设置有用于握持工件90的机器手11。
成像装置12拍摄放置有机器人1以及工件90的作业空间并获取拍摄图像。如后所述，由成像装置12获取的拍摄图像被输出到教导终端2的显示画面上，并被提示给操作员。因此，例如，成像装置12可以是具备了在可视光区域具有感光度的CCD(Charge Coupled Device，电荷耦合元件)图像传感器或者CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)图像传感器等的成像元件的相机。
测距装置13计算直到作业空间中的对象物体为止的距离。测距装置13的测量原理并没有特别的限定，可以使用公知的各种技术。例如，作为测距装置13使用激光测距仪、光投影立体测距装置、或者立体照相机等即可。如在测距装置13为立体照相机的情况那样，在能够由测距装置13进行成像的情况下，也可以采用将1台装置兼作成像装置12以及测距装置13的结构。
通信部14与教导终端2侧的通信部20之间传送关于由成像装置12获取的拍摄图像以及其他的动作教导的信息。通信部14的通信方式使用公知的无线通信方式或者有线通信方式即可。另外，通信部14和通信部20之间也没有必要直接连接，也可以经由LAN(Local Area Network，局域网)、因特网、便携式电话通信网等来进行连接。
数据库15是将多个基础形状模型和多个握持模式相关联起来进行了存储的数据库。其中，所谓的握持模式是指记录了包含机器手11所具有的手指的位置以及姿势在内的动作模式的数据。另外，基础形状模型是指：例如，圆柱、四棱柱、圆筒等三维几何要素模型。如后所述，基础形状模型作为工件90的握持部位的形状候选而被提示给使用教导终端2的操作员。例如，通过指定某1个基础形状模型来检索数据库15，能够知道可以适用的至少1个握持模式。相反地，通过指定某1个基础形状模型来检索数据库15，能够知道可以适用该握持模式的至少1个基础形状模型。对于数据库15的数据结构示例、动作模式以及基础形状模型的具体例子，将在后面叙述。
控制部16除了机器臂10以及机器手11的动作控制之外，还与教导终端2协作而执行与对机器人1的握持动作的教导相关的控制以及数据处理。具体来说，控制部16执行成像装置12的拍摄控制、测距装置13的测量控制、使用了通信部14的数据收发、对数据库15的访问、由测距装置13所测量的三维点群数据和基础形状模型的拟合处理等。
控制部16可包括：1个或多个CPU(Central Processing Unit，中央处理单元)、在CPU中执行的控制程序、用作计算数据等的暂时存储区域的RAM(Random Access Memory，随机存取存储器)、存储控制程序以及控制数据等的EEPROM(Electrically Erasable and Programmable Read OnlyMemory，电可擦可编程只读存储器)等非易失性存储器等。控制程序不言而喻也可以是多个程序模块的集合。
在使用了后述的教导终端2对机器人1进行的动作教导中，需要多个坐标系的相对关系是已知的，多个坐标系具体是指：与成像装置12的拍摄空间相关的相机坐标系、成像装置12的拍摄图像的图像坐标系、与测距装置13的测量空间相关的测量空间坐标系、设定在机器手11上的工具坐标系、以及被固定在作业空间中的全局坐标系。为了确定这些坐标系之间的相对关系，可以预先进行校准(calibration)。
接下来，说明图1所示的教导终端2的各构成要素。通信部20如已经说明的那样与机器人1侧的通信部14之间进行数据传送。
显示装置21是可以显示图形的装置，基于由后述的控制部23所进行的控制，进行对成像装置12的拍摄图像的显示、基础形状模型的显示、表示握持模式的机器手模型的显示等。显示装置21例如可以使用LCD(Liquid Crystal Display，液晶显示器)或者CRT(Cathode Ray Tube，阴极射线管)显示器等。
输入装置22是接受由操作员对教导终端2进行的操作输入的装置。输入装置22可以是：根据操作员的手以及脚等身体的一部分操作或者操作员的音声等，可以在显示装置21的画面上指定的输入位置或坐标的定点装置。具体来说，输入装置22可以使用鼠标、触摸面板、语音输入装置、激光定点器等。
控制部23与机器人1侧的控制部16协作而执行与对机器人1的握持动作的教导相关的控制以及数据处理。具体来说，控制部23执行显示装置21的显示控制、输入装置22的操作内容的获取以及分析、使用了通信部20的数据收发等。与控制部16同样，控制部23也可以包括：1或多个CPU(Central Processing Unit，中央处理单元)、在CPU中被执行的控制程序、RAM、非易失性存储器等。
教导终端2可以搭载有给上述的各構成要素提供动作电力的电池，并被构成为操作员容易携带的一体型的小型终端。然而，教导终端2的形态不限于这样的一体型。例如、教导终端2也可以由分别独立的设备、如通信终端、LCD、鼠标以及PC(Personal Computer，个人计算机)等来构成。
接下来，下面详细说明通过本实施方式的动作教导***进行的对机器人1的握持动作的教导顺序。图2是表示通过本实施方式的动作教导***进行的对机器人1的握持动作的教导顺序的流程图。在图2中，步骤S101～S105表示在机器人1侧进行的处理，并且步骤S201～S206表示在教导终端2侧进行的处理。
在步骤S101中，机器人1利用成像装置12来获取包含工件90在内的作业空间的拍摄图像。所获取的拍摄图像被传送给教导终端2。也可以使当获取拍摄图像时的成像装置12的位置、姿势以及视角等可以被教导终端2远程操作。能够获得包含工件90在内的作业空间的适当的拍摄图像，从而容易教导机器人1采取适当的握持模式。
在步骤S201中，教导终端2使显示装置21显示在步骤S 101中获取的拍摄图像。图3的(a)是表示包含有工件90的图像30的拍摄图像的显示画面的示例。以下，将工件90为图3的(a)所示的附带把手的杯子的情况作为例子进行说明。
在步骤S202中，教导终端2经由输入装置22从操作员接受在被显示在显示装置21的拍摄图像中对应当作为“识别区域”范围的指定。其中，所谓的“识别区域”是指：为了指定使机器手11握持的工件90中的部位，而由操作员在拍摄图像中设定的区域。在后述的步骤S102中，识别区域被用作由测距装置13进行识别的区域、即进行距离测量的对象区域。
图3的(b)～(d)示出包含在显示画面上被指定的识别区域在内的显示装置21的显示画面示例。图3的(b)所表示的识别区域31指定了杯子的主体部分。图3的(c)所表示的识别区域32指定了杯子开口的边缘部分。图3的(d)所表示的识别区域33指定了把手部分。
为了使操作员能够进行直观的操作，教导终端2可以通过对与被显示在显示装置21上的拍摄图像重叠显示的定点器的操作，接受由操作员进行的识别区域的指定。例如，为了接受图3的(b)所示的识别区域31的指定，可以接受利用定点器描绘表示识别区域31的外周的封闭曲線的操作。这样的操作在例如输入装置22为触摸面板的情况下是极其直观的操作。即，通过将触摸面板配置在显示装置21的显示画面的正上方，操作员能够通过手指或触摸笔来直接碰触所显示的工件图像30来描绘识别区域。
在步骤S203中，教导终端2经由输入装置22接受应当与识别区域相符合(当てはめる)的基础形状模型的指定。即，操作员利用输入装置22来指定自己所指定的识别区域具有什么样的三维几何形状。教导终端2为了促使用户选择基础形状模型，可以例如图4所示的那样将图标列表40输出到显示装置21。如图4所示的图标41～44分别示出基础形状模型的一个示例。图标41为四棱柱模型、图标42为平板模型、图标43为圆柱模型、图标44为圆锥台模型。各基础形状模型具有用于规定形状以及大小的形状参数、用于规定位置以及姿势的配置参数。基础形状模型的种类当然不限于图4所示，也可以根据工件90的种类等来预先准备超二次椭圆体、L字形棱柱、C字形圆柱等的各种形状。
在步骤S102中，机器人1从教导终端2接收表示由操作员指定的识别区域的数据。并且，机器人1利用测距装置13获取表示与识别区域对应的作业空间的三维位置的点群数据(以下，称作三维位置数据)。图5是表示与图3的(b)的识别区域31对应的作业空间的三维位置数据50的获取的概念图。在步骤S102中所获得的三维位置数据表示从机器人1侧看到的包含工件90在内的作业空间的进深。
机器人1也可以通过控制测距装置13的位置以及姿势来从多个视点进行距离测量。通过合并由多个视点进行测量所获得的三维位置数据，能够获得表示工件90的进深的多个点群。例如，设定将与识别区域的中心点对应的作业空间中的三维位置作为原点的极坐标，使测距装置13的视点向水平方向以及上下方向这两个偏角方向移动。通过视点的改变，虽然也可以获得由操作员所设定的识别区域外的三维位置数据，但是只留下连结测距装置13在初始位置中的视点和识别区域的边缘的锥形空间内的三维位置数据，删除此外的数据。
在步骤103中，机器人1从教导终端2接收表示由操作员所指定的基础形状模型的数据。并且，机器人1将由操作员所指定的基础形状模型拟合到在步骤S102中所获得的三维位置数据。更加具体的来说，机器人1拟合被指定的基础形状模型的形状参数以及配置参数以使其与通过测量所获得的识别区域内的三维位置数据具有最好的一致性。这里的拟合处理使用三维图像处理领域中公知的技术即可。图6是将工件90的图像30和基础形状模型(具体来说是圆柱模型)60重叠显示的图，并示出了用户选择圆柱模型时的拟合结果。
在步骤S104中，机器人1参照数据库15选择能够适用于通过拟合决定了形状参数的基础形状模型的握持模式。在这里，说明基础形状模型的形状参数、握持模式、以及数据库15的数据结构的各具体示例。
图7示出了作为基础形状模型中的一个的圆筒模型70。圆筒模型70的形状参数为直径D、圆筒的长度L、以及壁的厚度T这3个。上述的圆柱模型60是圆筒模型70的子集(サブセツト)。具体来说，圆柱模型对应于在圆筒模型中没有定义壁的厚度T、或者T＝D/2的情况。
图8以及9是数据库15的数据结构的具体示例，并表示与能够适用于圆筒模型70的握持模式相关的数据内容。如果机器手11的种类不同，则能够执行的握持模式不同，能够适用于相同的基础形状模型的握持模式也不同。数据库15可以预先将表示各握持模式在各基础形状模型的什么样的形状参数范围内能够适用的信息与机器手11的种类相对应地存储。
在图8以及9的例子中，4个握持模式作为当机器手11的手型为「平面且3个关节2个手指」并且基础形状模型为圆筒模型时能够适用的握持模式，与适用条件一起被存储。具体来说，4个握持模式为「握持模式A：侧面夹持」、「握持模式B：端面夹持」、「握持模式C：包围握持」、以及「握持模式D：边面夹持」。这些各握持模式的适用条件通过图8所示的圆筒模型70的形状参数D、L以及T来描述。
为了参考，在图8以及9中，通过圆筒模型70和与机器手11对应的机器手模型83来示出了表示握持模式A～D的立体图。另外，表示握持模式A～D的图中的双向箭头表示可以调整各握持模式的余下的自由度。例如，在「握持模式C：包围握持」的情况下，能够调整以圆筒模型70的中心軸旋转的旋转自由度RF和沿着中心軸的平移自由度TF这2个自由度。在本实施方式中，握持模式所余下的这些自由度在后述的步骤S206中最终由操作员决定。
返回图2继续说明。在步骤S204中，教导终端2将表示拟合结果的基础形状模型60和表示在步骤S104中选择的握持模式的机器手模型83与包含有工件90的图像30在内的拍摄图像重叠显示。如上所述，通过进行重叠显示，操作员能够容易地把握工件90和基础形状模型以及握持模式之间的合适程度。
图10A以及图10B表示在步骤S204中的显示装置21的显示画面示例。图10A是上述的「握持模式C：包围握持」的显示示例。并且，图10B是上述的「握持模式A：侧面夹持」的显示示例。如图10A以及图10B那样，在存在多个握持模式候选的情况下，显示装置21也可以排列显示这些多个候选，也可以根据操作员的操作而将候选一个个地交替显示。
在步骤S205中，教导终端2接受由操作员对握持模式的最终决定。在这里，将被决定的握持模式称作最终握持模式。
在步骤S206中，教导终端2促使操作员调整最终握持模式所余下的自由度。教导终端2在显示装置21的画面上显示定点器，接受由操作员进行的定点器操作。操作员操作定点器来调整自由度。更加具体来说，教导终端2可以接受对显示在画面上的机器手模型83的拖曳操作。并且，教导终端2可以根据进行了拖曳操作之后的机器手模型83和基础形状模型60或工件像30之间的相对位置以及相对姿势，决定对最终握持模式所余下的自由度的调整值。由此，操作员可以通过简单的拖曳操作来决定合适的握持模式。
图11A～11C是表示步骤S206中由操作员进行的自由度调整的具体示例的图。图11A示出了显示画面上的定点器84的移动。图11b示出了对机器手模型83的拖曳所导致的定点器84的显示变化。并且，图11C示出了通过拖曳操作而进行了平移自由度TF的调整的状態。
最后，在图2的步骤S105中，机器人1基于最终被决定的握持模式来进行工件90的握持动作。
上述的本发明的实施方式1中的动作教导***可起到下述的効果。即，通过本实施方式的动作教导***，操作员在显示有由成像装置12拍摄了的拍摄图像的显示画面上描绘识别区域，通过选择与此相符合的基础形状模型的操作，能够确定工件90的握持部位的形状并决定握持方法。即，操作员不必进行像在CAD中使用的参数化建模方法这样的需要熟练技能的详细的输入操作，能够通过简单且直观的操作来进行对工件90的握持动作的教导。
另外，本实施方式的动作教导***通过预先将基础形状模型和握持模式相关联起来存储到数据库15中，能够容易地将合适的握持模式的候选提示给操作员。即，操作员没有必要逐一详细指定机器手11的位置以及姿势、各手指的配置等。
另外，在本实施方式的动作教导***中，由操作员指定想要使机器人1握持的部位，并只对该部位适用基础形状模型来建模。因此，对象物体的建模变得容易，即使没有复杂的识别技术也能够实现多种多样的握持操作。
另外，通常为了执行基于模型的握持计划而需要根据工件90的种类使用详细的模型。然而，在本实施方式的动作教导***中，由于通过有限个数的基础形状模型和握持模式的组合来进行握持计划，因此数据量少也可行。
另外，由于操作员应当对教导终端2进行的操作有限，因此显示装置21以及输入装置22不需要复杂的接口。即，教导终端2适于在小型显示画面上的操作。因此，使用小型的便携式终端作为教导终端2也变得容易，所述小型的便携式终端例如为：智能手机、具有通信功能的小型游戏机等。
机器人1也可以基于拟合(图2的步骤S104)的结果来判断当执行被选择的握持模式时机器臂10的轨迹和工件90周围的障碍物之间的干扰(与障碍物之间的冲突)。该判定可以通过比较由测距装置13获取的识别区域周辺的三维位置数据和机器臂10的轨迹的计算结果来进行。并且，也可以基于与障碍物之间的干扰的判定结果来进行握持模式的删减。具体来说，确定可能与障碍物发生干扰的握持模式，并将其从用于提示给操作员而发送给教导终端2的握持模式的候选中去除。另外，也可以为了将可能与障碍物发生干扰的情况通知给操作员，而将干扰的判断结果发送给教导终端2。
其他的实施方式
在发明的实施方式1中，如图2所示的那样，在根据拟合进行了握持模式的选择之后，将被选择的握持模式提示给操作员，并且操作员决定最终握持模式并调整最终握持模式的自由度。这样的顺序有助于使机器人1的动作接近最合适的握持动作。然而，也可以不进行图2的步骤S204～S206，而按照选择了的握持模式的中的一个使机器人1自主地执行握持动作。
另外，发明的实施方式1中机器人1和教导终端2的功能分担只是一个示例。例如，基础形状模型和三维位置数据的拟合也可以在教导终端2侧执行。另外，例如，数据库15也可以设置在教导终端2侧。另外，也可以除了机器人1以及教导终端2之外，还存在第3装置。例如，成像装置12以及测距装置13没有必要直接搭载在具备机器臂10以及机器手11的机器人主体上，也可以作为与机器人主体不同的独立的装置来配置在作业空间中。
并且，本发明不限于上述的实施方式，在不超过已叙述的本发明的主旨的范围内可以进行各种变更。
产业上的实用性
本发明可以应用于对进行工件握持的机器人进行动作教导的动作教导***以及动作教导方法中。

Claims (8)

1.一种动作教导***，所述动作教导***用于对机器人进行握持动作的教导，所述机器人具有机器臂，所述机器臂包含用于握持工件的机器手，所述动作教导***包括：
成像装置；
测量直到对象物体为止的距离的测距装置；
显示装置；
接受由操作员进行的输入操作的输入装置；
数据库，针对多个基础形状模型中的每一个记录了所述机器手能够适用的至少一个握持模式；
拍摄图像显示单元，使所述显示装置显示由所述成像装置获取的包含所述工件在内的作业空间的拍摄图像；
识别区域指定单元，将用于指定使所述机器手握持的所述工件中的部位的操作，作为在所述显示装置所显示的所述工件的图像上利用所述输入装置二维地指定包含所述部位在内的识别区域的操作来接受；
基础形状模型指定单元，经由所述输入装置接受从所述多个基础形状模型中指定与所述部位相符合的基础形状模型的操作；
拟合单元，将由所述操作员指定的基础形状模型与利用所述测距装置获取的所述识别区域相当的空间的三维位置数据进行拟合；以及
握持模式选择单元，基于由所述操作员指定的基础形状模型以及由所述拟合单元进行的拟合结果，检索所述数据库，由此选择能够适用于所述工件的握持的至少一个握持模式。
2.如权利要求1所述的动作教导***，其中，
还包括：
握持模式显示单元，使所述显示装置显示通过所述握持模式选择单元选择的所述至少一个握持模式；以及
握持模式决定单元，接受由所述操作员进行的用于基于通过所述握持模式显示单元所生成的显示内容来选择使所述机器人执行的最终握持模式的操作，并接受由所述操作员进行的对所述最终握持模式所余下的自由度进行调整的操作。
3.如权利要求2所述的动作教导***，其中，
所述握持模式显示单元将表示所述至少一个握持模式的所述机器手的模型图像与所述拍摄图像重叠显示，
所述握持模式决定单元通过在所述显示装置的显示画面内对所述模型图像的拖曳操作来接受所述操作员对所述自由度的调整操作，并基于所述拖曳操作之后所述模型图像在所述显示画面内的位置以及姿势来决定所述自由度的调整值。
4.如权利要求1～3中的任一项所述的动作教导***，其中，
所述握持模式选择单元利用使用所述测距装置来获取的所述识别区域周边的三维位置数据来判断基于所述至少一个握持模式的所述机器臂的轨迹和所述工件周围的障碍物之间的干扰，并基于该判断结果进行握持模式的删减。
5.一种动作教导方法，所述动作教导方法用于对机器人进行握持动作的教导，所述机器人具有机器臂，所述机器臂包含用于握持工件的机器手，所述动作教导方法包括以下步骤：
步骤(a)，使显示装置显示包含所述工件在内的作业空间的拍摄图像；
步骤(b)，将用于指定使所述机器手握持的所述工件中的部位的操作，作为在所述显示装置所显示的所述工件的图像上二维地指定包含所述部位在内的识别区域的操作来接受；
步骤(c)，接受从多个基础形状模型中指定与所述部位相符合的基础形状模型的操作；
步骤(d)，将在所述步骤(c)中被指定的基础形状模型与利用测距装置获取的所述识别区域相当的空间的三维位置数据进行拟合；以及
步骤(e)，基于由在所述步骤(c)中指定的基础形状模型以及在所述步骤(d)中的拟合结果来检索数据库，由此选择能够适用于所述工件的握持的至少一个握持模式，其中，在所述数据库中，针对多个基础形状模型中的每一个记录了所述机器手能够适用的至少一个握持模式。
6.如权利要求5所述的动作教导方法，其中，
还包括：
步骤(f)，使所述显示装置显示在所述步骤(e)中被选择的所述至少一个握持模式；
步骤(g)，接受由所述操作员进行的用于基于在所述步骤(f)中生成的显示内容来选择使所述机器人执行的最终握持模式的操作；以及
步骤(h)，接受由所述操作员进行的对所述最终握持模式所余下的自由度进行调整的操作。
7.如权利要求6所述的动作教导方法，其中，
在所述步骤(f)中，将表示所述至少一个握持模式的所述机器手的模型图像与所述拍摄图像重叠显示，
在所述步骤(h)中，通过在所述显示装置的显示画面内对所述模型图像的拖曳操作来接受所述操作员对所述自由度的调整操作，并基于所述拖曳操作之后所述模型图像在所述显示画面内的位置以及姿势来决定所述自由度的调整值。
8.如权利要求5～7中的任一项所述的动作教导方法，其中，
在所述步骤(e)中，还利用使用所述测距装置获取的所述识别区域周边的三维位置数据来判断基于所述至少一个握持模式的所述机器臂的轨迹和所述工件周围的障碍物之间的干扰，并基于该判断结果进行握持模式的删减。
CN2009801084228A 2008-03-10 2009-02-03 动作教导***以及动作教导方法 Expired - Fee Related CN101970184B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008058957A JP4835616B2 (ja) 2008-03-10 2008-03-10 動作教示システム及び動作教示方法
JP2008-058957 2008-03-10
PCT/JP2009/051741 WO2009113339A1 (ja) 2008-03-10 2009-02-03 動作教示システム及び動作教示方法

Publications (2)

Publication Number Publication Date
CN101970184A CN101970184A (zh) 2011-02-09
CN101970184B true CN101970184B (zh) 2012-07-11

Family

ID=41065011

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801084228A Expired - Fee Related CN101970184B (zh) 2008-03-10 2009-02-03 动作教导***以及动作教导方法

Country Status (6)

Country Link
US (1) US8355816B2 (zh)
EP (1) EP2263837B1 (zh)
JP (1) JP4835616B2 (zh)
KR (1) KR101193125B1 (zh)
CN (1) CN101970184B (zh)
WO (1) WO2009113339A1 (zh)

Families Citing this family (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100179689A1 (en) * 2009-01-09 2010-07-15 National Taiwan University Of Science And Technology Method of teaching robotic system
DE102010007458A1 (de) * 2010-02-10 2011-08-11 KUKA Laboratories GmbH, 86165 Verfahren für eine kollisionsfreie Bahnplanung eines Industrieroboters
JP2011251395A (ja) * 2010-06-04 2011-12-15 Takamaru Kogyo Kk ロボット教示システム
JP5560948B2 (ja) * 2010-06-23 2014-07-30 株式会社安川電機 ロボット装置
JP5685027B2 (ja) 2010-09-07 2015-03-18 キヤノン株式会社 情報処理装置、物体把持システム、ロボットシステム、情報処理方法、物体把持方法およびプログラム
KR101778030B1 (ko) * 2010-09-27 2017-09-26 삼성전자주식회사 로봇 및 그 제어방법
JP5659787B2 (ja) * 2010-12-28 2015-01-28 トヨタ自動車株式会社 操作環境モデル構築システム、および操作環境モデル構築方法
BE1019786A3 (nl) * 2011-01-31 2012-12-04 Robojob Bv Met Beperkte Aansprakelijkheid Werkwijze voor het manipuleren van een reeks achtereenvolgens aangeboden identieke werkstukken door middel van een robot, evenals een inrichting en een grijper daarbij toegepast.
JP2012206219A (ja) 2011-03-30 2012-10-25 Seiko Epson Corp ロボット制御装置及びロボットシステム
JP5892360B2 (ja) 2011-08-02 2016-03-23 ソニー株式会社 ロボット指示装置、ロボット指示方法、プログラム、及び通信システム
JP5892361B2 (ja) 2011-08-02 2016-03-23 ソニー株式会社 制御装置、制御方法、プログラム、及びロボット制御システム
JP5852364B2 (ja) 2011-08-26 2016-02-03 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
KR101896473B1 (ko) 2012-01-04 2018-10-24 삼성전자주식회사 로봇 핸드의 제어 방법
JP2013184257A (ja) 2012-03-08 2013-09-19 Sony Corp ロボット装置及びロボット装置の制御方法、並びにコンピューター・プログラム
JP5642738B2 (ja) * 2012-07-26 2014-12-17 ファナック株式会社 バラ積みされた物品をロボットで取出す装置及び方法
US9095978B2 (en) * 2012-12-07 2015-08-04 GM Global Technology Operations LLC Planning a grasp approach, position, and pre-grasp pose for a robotic grasper based on object, grasper, and environmental constraint data
JP5582427B2 (ja) * 2012-12-18 2014-09-03 株式会社安川電機 教示データ作成装置、ロボットシステム、及び教示データ作成方法
US10578573B2 (en) * 2013-03-12 2020-03-03 Msa Technology, Llc Diagnostics for catalytic structures and combustible gas sensors including catalytic structures
US9102055B1 (en) * 2013-03-15 2015-08-11 Industrial Perception, Inc. Detection and reconstruction of an environment to facilitate robotic interaction with the environment
JP5673717B2 (ja) * 2013-03-19 2015-02-18 株式会社安川電機 ロボットシステム及び被加工物の製造方法
JP5965859B2 (ja) * 2013-03-28 2016-08-10 株式会社神戸製鋼所 溶接線情報設定装置、プログラム、自動教示システム、および溶接線情報設定方法
JP5983506B2 (ja) * 2013-04-04 2016-08-31 トヨタ自動車株式会社 把持対象物の把持パターン検出方法およびロボット
GB201309156D0 (en) * 2013-05-21 2013-07-03 Univ Birmingham Grasp modelling
JP6361153B2 (ja) * 2014-02-05 2018-07-25 株式会社デンソーウェーブ ロボットの教示装置
JP6380828B2 (ja) * 2014-03-07 2018-08-29 セイコーエプソン株式会社 ロボット、ロボットシステム、制御装置、及び制御方法
JP6370064B2 (ja) * 2014-03-11 2018-08-08 株式会社スター精機 樹脂成形品取出し機におけるゲート切断位置データ設定方法及び樹脂成形品取出し機
JP6361213B2 (ja) * 2014-03-26 2018-07-25 セイコーエプソン株式会社 ロボット制御装置、ロボット、ロボットシステム、教示方法、及びプログラム
JP6181861B2 (ja) * 2014-05-01 2017-08-16 本田技研工業株式会社 多関節ロボットのティーチングデータ作成装置及び作成方法
DE102014223167A1 (de) 2014-11-13 2016-05-19 Kuka Roboter Gmbh Bestimmen von objektbezogenen Greifräumen mittels eines Roboters
US9561587B2 (en) 2014-12-16 2017-02-07 Amazon Technologies, Inc. Robotic grasping of items in inventory system
JP6486678B2 (ja) * 2014-12-25 2019-03-20 株式会社キーエンス 画像処理装置、画像処理システム、画像処理方法及びコンピュータプログラム
JP6486679B2 (ja) * 2014-12-25 2019-03-20 株式会社キーエンス 画像処理装置、画像処理システム、画像処理方法及びコンピュータプログラム
US10089575B1 (en) 2015-05-27 2018-10-02 X Development Llc Determining grasping parameters for grasping of an object by a robot grasping end effector
JP6493013B2 (ja) * 2015-06-25 2019-04-03 富士通株式会社 指モデル検証プログラム、指モデル検証方法、および情報処理装置
CN107848117B (zh) * 2016-01-06 2021-01-15 株式会社日立制作所 机器人***以及控制方法
JP6038417B1 (ja) * 2016-01-29 2016-12-07 三菱電機株式会社 ロボット教示装置及びロボット制御プログラム作成方法
US9914214B1 (en) * 2016-02-22 2018-03-13 X Development Llc Preshaping for underactuated fingers
CN107309871A (zh) * 2016-04-27 2017-11-03 广明光电股份有限公司 机器手臂的编程方法
JP2017196705A (ja) * 2016-04-28 2017-11-02 セイコーエプソン株式会社 ロボット、及びロボットシステム
US9687983B1 (en) * 2016-05-11 2017-06-27 X Development Llc Generating a grasp pose for grasping of an object by a grasping end effector of a robot
JP7145843B2 (ja) 2016-07-18 2022-10-03 ラエル オドナー， ロボットマニピュレータの訓練
JP2018034242A (ja) * 2016-08-31 2018-03-08 セイコーエプソン株式会社 ロボット制御装置、ロボット、及びロボットシステム
JP2018034243A (ja) * 2016-08-31 2018-03-08 セイコーエプソン株式会社 ロボット、ロボット制御装置、及びロボットシステム
JP6892286B2 (ja) * 2017-03-03 2021-06-23 株式会社キーエンス 画像処理装置、画像処理方法、及びコンピュータプログラム
JP7145146B2 (ja) * 2017-03-06 2022-09-30 株式会社Fuji 画像処理データ作成方法
DE112017007311B4 (de) 2017-03-24 2021-09-16 Mitsubishi Electric Corporation Vorrichtung und Verfahren zum Erzeugen eines Roboterprogramms
JP6880982B2 (ja) * 2017-04-21 2021-06-02 セイコーエプソン株式会社 制御装置およびロボットシステム
EP3612355A1 (de) * 2017-04-21 2020-02-26 Roboception GmbH Verfahren zur erstellung einer datenbank mit greiferposen, verfahren zum steuern eines roboters, computerlesbares speichermedium und handhabungssystem
JP6499716B2 (ja) * 2017-05-26 2019-04-10 ファナック株式会社 形状認識装置、形状認識方法及びプログラム
JP6457587B2 (ja) * 2017-06-07 2019-01-23 ファナック株式会社 ワークの動画に基づいて教示点を設定するロボットの教示装置
WO2019059364A1 (ja) * 2017-09-22 2019-03-28 三菱電機株式会社 遠隔制御マニピュレータシステムおよび制御装置
CN111164522B (zh) * 2017-09-30 2023-05-16 西门子股份公司 设计具有可重复使用技能的自主***
JP6456557B1 (ja) 2017-10-03 2019-01-23 三菱電機株式会社 把持位置姿勢教示装置、把持位置姿勢教示方法及びロボットシステム
JP6969283B2 (ja) * 2017-10-25 2021-11-24 オムロン株式会社 制御システム
JP6880457B2 (ja) * 2017-11-14 2021-06-02 オムロン株式会社 把持方法、把持システム及びプログラム
TWI734867B (zh) * 2017-11-20 2021-08-01 達明機器人股份有限公司 機器手臂作業軌跡的教導系統及方法
JP6737764B2 (ja) 2017-11-24 2020-08-12 ファナック株式会社 ロボットに対して教示操作を行う教示装置
JP6881268B2 (ja) * 2017-12-05 2021-06-02 トヨタ自動車株式会社 把持装置、把持判定方法および把持判定プログラム
JP6937260B2 (ja) * 2018-03-19 2021-09-22 株式会社東芝 把持制御装置、把持システム、およびプログラム
US10766149B2 (en) 2018-03-23 2020-09-08 Amazon Technologies, Inc. Optimization-based spring lattice deformation model for soft materials
CN108515290B (zh) * 2018-03-30 2019-12-03 宁波高新区神台德机械设备有限公司 工业机器人动作检测装置
US10967507B2 (en) * 2018-05-02 2021-04-06 X Development Llc Positioning a robot sensor for object classification
CN112218748B (zh) 2018-06-14 2023-09-05 雅马哈发动机株式会社 机器人***
US11833681B2 (en) 2018-08-24 2023-12-05 Nvidia Corporation Robotic control system
DE102019122790B4 (de) * 2018-08-24 2021-03-25 Nvidia Corp. Robotersteuerungssystem
JP6802225B2 (ja) 2018-08-31 2020-12-16 ファナック株式会社 情報処理装置および情報処理方法
JP6863945B2 (ja) * 2018-10-24 2021-04-21 ファナック株式会社 ロボットの制御方法
JP7204513B2 (ja) * 2019-02-13 2023-01-16 株式会社東芝 制御装置及びプログラム
EP3831546A4 (en) * 2019-03-15 2022-03-23 OMRON Corporation GRIP POSITION AND ORIENTATION REGISTRATION DEVICE, GRIP POSITION AND ORIENTATION REGISTRATION METHOD, AND PROGRAM
US11312581B2 (en) * 2019-04-16 2022-04-26 Abb Schweiz Ag Object grasp system and method
US11648674B2 (en) * 2019-07-23 2023-05-16 Teradyne, Inc. System and method for robotic bin picking using advanced scanning techniques
KR20190104483A (ko) * 2019-08-21 2019-09-10 엘지전자 주식회사 로봇 시스템 및 그 제어 방법
JP7443014B2 (ja) * 2019-10-08 2024-03-05 大豊精機株式会社 ロボットアーム試験装置
JP7392409B2 (ja) * 2019-11-15 2023-12-06 オムロン株式会社 設定装置、設定方法およびプログラム
KR20210063975A (ko) * 2019-11-25 2021-06-02 엘지전자 주식회사 로봇 및 그 제어 방법
JP7276108B2 (ja) * 2019-12-13 2023-05-18 トヨタ自動車株式会社 遠隔操作システム及び遠隔操作方法
JP7342676B2 (ja) * 2019-12-13 2023-09-12 トヨタ自動車株式会社 遠隔操作システム及び遠隔操作方法
DE102020113277B4 (de) 2020-05-15 2024-07-11 Gerhard Schubert Gesellschaft mit beschränkter Haftung Verfahren zum Erzeugen eines Trainingsdatensatzes zum Trainieren eines Industrieroboters, Verfahren zur Steuerung des Betriebs eines Industrieroboters und Industrieroboter
DE102021201921A1 (de) 2021-03-01 2022-09-01 Robert Bosch Gesellschaft mit beschränkter Haftung Vorrichtung und verfahren zum steuern eines roboters zum aufnehmen eines objekts
WO2023022237A1 (ja) * 2021-08-19 2023-02-23 京セラ株式会社 ロボットの保持態様決定装置、保持態様決定方法、及びロボット制御システム
DE102021212860B4 (de) 2021-11-16 2024-05-08 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Aufnehmen eines Objekts mittels eines Roboters
DE102022206274A1 (de) 2022-06-22 2023-12-28 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Steuern eines Roboters zum Manipulieren, insbesondere Aufnehmen, eines Objekts
WO2024090154A1 (ja) * 2022-10-26 2024-05-02 住友重機械工業株式会社 ロボット教示装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1460050A (zh) * 2001-03-27 2003-12-03 索尼公司 对于机器人装置的动作教学装置和方法以及存储介质
CN1573628A (zh) * 2003-05-29 2005-02-02 发那科株式会社 自动机械***

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4396903A (en) * 1981-05-29 1983-08-02 Westinghouse Electric Corp. Electro-optical system for correlating and integrating image data from frame-to-frame
JPH01283603A (ja) * 1988-05-11 1989-11-15 Fanuc Ltd ロボットオフラインティーチング方式
JP3300682B2 (ja) * 1999-04-08 2002-07-08 ファナック株式会社 画像処理機能を持つロボット装置
CA2354301A1 (en) * 2001-07-27 2003-01-27 Djamel Yahia Meddah Geometric hashing for model-based recognition of an object
JP2003094367A (ja) * 2001-09-21 2003-04-03 Ricoh Co Ltd 手先視覚付ロボットハンド
JP2003256025A (ja) * 2001-12-25 2003-09-10 National Institute Of Advanced Industrial & Technology ロボット動作教示方法及び装置
JP2004188533A (ja) 2002-12-10 2004-07-08 Toyota Motor Corp 対象物の取扱い推定方法および取扱い推定装置
JP3834297B2 (ja) 2003-05-12 2006-10-18 ファナック株式会社 画像処理装置
JP3708097B2 (ja) * 2003-10-08 2005-10-19 ファナック株式会社 ロボットの手動送り装置
JP4745769B2 (ja) * 2005-09-13 2011-08-10 キヤノン株式会社 カメラ雲台装置
JP4715539B2 (ja) * 2006-02-15 2011-07-06 トヨタ自動車株式会社 画像処理装置、その方法、および画像処理用プログラム
US7925068B2 (en) * 2007-02-01 2011-04-12 General Electric Company Method and apparatus for forming a guide image for an ultrasound image scanner
US7903883B2 (en) * 2007-03-30 2011-03-08 Microsoft Corporation Local bi-gram model for object recognition
US7844106B2 (en) * 2007-04-23 2010-11-30 Mitsubishi Electric Research Laboratories, Inc Method and system for determining poses of objects from range images using adaptive sampling of pose spaces

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1460050A (zh) * 2001-03-27 2003-12-03 索尼公司 对于机器人装置的动作教学装置和方法以及存储介质
CN1573628A (zh) * 2003-05-29 2005-02-02 发那科株式会社 自动机械***

Also Published As

Publication number Publication date
CN101970184A (zh) 2011-02-09
EP2263837A1 (en) 2010-12-22
US20110010009A1 (en) 2011-01-13
WO2009113339A1 (ja) 2009-09-17
KR101193125B1 (ko) 2012-10-19
EP2263837B1 (en) 2013-06-19
JP2009214212A (ja) 2009-09-24
KR20100084663A (ko) 2010-07-27
EP2263837A4 (en) 2012-08-29
US8355816B2 (en) 2013-01-15
JP4835616B2 (ja) 2011-12-14

Similar Documents

Publication Publication Date Title
CN101970184B (zh) 动作教导***以及动作教导方法
US9199379B2 (en) Robot system display device
US8406923B2 (en) Apparatus for determining pickup pose of robot arm with camera
JP4191080B2 (ja) 計測装置
JP4844453B2 (ja) ロボットの教示装置及び教示方法
US10675759B2 (en) Interference region setting apparatus for mobile robot
JP4167954B2 (ja) ロボット及びロボット移動方法
JP2010042466A (ja) ロボット教示システム及びロボットの動作のシミュレーション結果の表示方法
JPWO2012063397A1 (ja) 移動経路探索装置および移動経路探索方法
JP2008021092A (ja) ロボットシステムのシミュレーション装置
CN114012731A (zh) 手眼标定方法、装置、计算机设备和存储介质
CN103770112A (zh) 机器人***及加工件的制造方法
US20190030722A1 (en) Control device, robot system, and control method
JPWO2021117868A1 (ja) ロボットシステム及びワークの３次元モデルの形成方法
EP4177015A1 (en) Robot teaching system
CN111975765A (zh) 电子装置、机器人***和虚拟区域设定方法
EP4166267A1 (en) Welding line detection system
EP4238721A1 (en) Control device, control method, and program
JP7340069B1 (ja) マーカ位置登録プログラム、マーカ位置登録装置、マーカ位置登録方法及びその方法に用いるマーカ
US20230264352A1 (en) Robot device for detecting interference of constituent member of robot
WO2023073959A1 (ja) 作業支援装置及び作業支援方法
CN118401350A (zh) 增强现实支持的安全平面调整
JP2024044796A (ja) 画像生成装置
WO2023131385A1 (en) Augmented reality supported safety plane adjustment
Potapov et al. Development of automated accuracy control tools for robotic equipment

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120711

Termination date: 20160203