CN104908038A - 对工件的取出工序进行仿真的机器人仿真装置 - Google Patents

对工件的取出工序进行仿真的机器人仿真装置 Download PDF

Info

Publication number
CN104908038A
CN104908038A CN201510105607.0A CN201510105607A CN104908038A CN 104908038 A CN104908038 A CN 104908038A CN 201510105607 A CN201510105607 A CN 201510105607A CN 104908038 A CN104908038 A CN 104908038A
Authority
CN
China
Prior art keywords
model
robot
attitude
planes
workpiece
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510105607.0A
Other languages
English (en)
Other versions
CN104908038B (zh
Inventor
后平宽之
长塚嘉治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of CN104908038A publication Critical patent/CN104908038A/zh
Application granted granted Critical
Publication of CN104908038B publication Critical patent/CN104908038B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1687—Assembly, peg and hole, palletising, straight line, weaving pattern movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40006—Placing, palletize, un palletize, paper roll placing, box stacking
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40053—Pick 3-D object from pile of objects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40323—Modeling robot environment for sensor based robot system
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40515—Integration of simulation and planning

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Manipulator (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Architecture (AREA)

Abstract

本发明提供一种对工件的取出工序进行仿真的机器人仿真装置。机器人仿真装置具备：第1平面计算部，其计算通过2个摄像机模型的焦点而延伸，将对预定测量区域进行摄像时的2个摄像机模型的视野以相等间隔进行分割的第1平面组；第2平面计算部，其计算当通过投影仪模型对测量区域照射了条纹状的图案光时，沿着在测量区域中投影的明暗的边界而延伸，并与第1平面组交叉的第2平面组；交线计算部，其计算第1平面组和第2平面组的多条交线；三维信息计算部，其计算多条交线与工件模型表面的多个交点的排列作为三维信息；位置姿态计算部，其根据三维信息来计算工件模型的位置和姿态。

Description

对工件的取出工序进行仿真的机器人仿真装置
技术领域
本发明涉及对通过机器人将散装的工件依次取出的取出工序进行仿真的机器人仿真装置。
背景技术
机器人仿真装置用于在虚拟空间内对机器人的工件把持等预定动作进行仿真。仿真结果用于评价机器人的控制程序，并且根据需要来变更程序或作业空间内物体的位置关系。
对通过机器人将散装的工件按顺序把持并输送到预定位置的取出工序进行仿真的机器人仿真装置是公知的。在相关技术中，例如在虚拟空间中配置用于检测工件的位置和姿态的摄像机的三维模型来执行取出工序的仿真。
JP2007-241857A中公开了对具有视觉传感器的机器人的动作以离线方式进行仿真的机器人仿真装置。该机器人仿真装置被构成为根据虚拟空间中由传感器模型对工件模型摄像而得到的二维虚拟图像，确定应当取出的对象工件模型，并测量对象工件模型的位置和姿态。
JP2007-326160A中公开了被构成为通过配置在虚拟空间中的摄像机模型来取得工件模型的虚拟图像的机器人仿真装置。在该机器人仿真装置中，根据所取得的虚拟图像来修正与机器人模型对应的示教点。
JP2013-101045A中公开了根据由摄像机得到的二维图像、由距离传感器得到的三维信息，来识别物品的位置和姿态的识别装置。该相关技术意在通过对根据三维信息检测物品的二维位置的搜索条件进行设定，来缩短二维图像的图像处理所需要的时间。
JP2007-245283A中公开了具备用于取得工件的图像数据的摄像机的工件姿态检测装置。该工件姿态检测装置被构成为以预先存储的工件的多个稳定姿态中的、最符合由摄像机取得的图像数据中的工件姿态的稳定姿态为基准，来检测工件的姿态。该相关技术意在缩短匹配(matching)处理所需要的计算时间。
JP2009-128191A中公开了一种物体识别装置，其通过将应当识别的对象物体的三维表面形状数据、和对使用距离传感器等得到的实际状态进行采样而得的三维表面形状数据进行对照，来识别物体的位置和姿态。
JP2014-013146A中公开了被构成为具备以彼此不同的视点对工件进行摄像的2个摄像机，测量工件的三维位置的三维测量装置。该三维测量装置根据由第1摄像机得到的第1图像、按照根据第1图像计算的第2摄像机的切出范围所切出第2摄像机的第2图像，来测量工件的三维位置。
在工件的取出工序中，有时通过距离传感器来取得工件的三维信息。因此，需要一种能够通过距离传感器取得在虚拟空间中散装的工件的三维信息，并由此执行取出工序的仿真的机器人仿真装置。
发明内容
本申请的第1种形态，提供了一种机器人仿真装置，其根据通过具备投影仪和2个摄像机的距离传感器取得的工件的三维信息，在虚拟空间内对由机器人将散装的多个工件按顺序取出的取出工序进行仿真，其中，具备：模型配置部，其在所述虚拟空间中配置以三维方式表现所述机器人、所述多个工件、所述距离传感器的所述2个摄像机和所述投影仪的机器人模型、多个工件模型、2个摄像机模型以及投影仪模型，所述模型配置部被构成为将所述多个工件模型在散装状态下配置在所述虚拟空间中，并且被构成为以使所述2个摄像机模型的视野和所述投影仪模型的投影范围包含针对散装的所述工件模型而设定的测量区域的方式，将所述2个摄像机模型和所述投影仪模型配置在所述虚拟空间中，该机器人仿真装置还具备：第1平面计算部，其计算通过所述2个摄像机模型的焦点而延伸，并将对所述测量区域进行摄像时的所述2个摄像机模型的视野以相等间隔进行分割的第1平面组；第2平面计算部，其计算当通过所述投影仪模型对所述测量区域照射了条纹状的图案光时，沿着在所述测量区域中投影的明暗的边界而延伸，并与所述第1平面组交叉的第2平面组；交线计算部，其计算所述第1平面组和所述第2平面组的多条交线；三维信息计算部，其计算所述多条交线与所述工件模型表面的多个交点的排列作为三维信息；位置姿态计算部，其根据所述三维信息来计算所述工件模型的位置和姿态；仿真执行部，其根据通过所述位置姿态计算部计算的所述工件模型的位置和姿态，执行基于所述机器人模型的所述取出工序的仿真。
本申请的第2种形态，在第1种形态的机器人仿真装置中，所述模型配置部还被构成为将对散装的所述工件模型进行摄像的第2摄像机配置在所述虚拟空间中，该机器人仿真装置还具备二维图像取得部，其从所述第2摄像机取得散装的所述工件模型的二维图像，所述位置姿态计算部根据所述三维信息和所述二维图像来计算所述工件模型的位置和姿态。
本发明的这些及其他目的、特征和优点，通过参照附图所示的本发明的示例性实施方式的详细说明而变得更明确。
附图说明
图1是包含一种实施方式的机器人仿真装置的机器人***的整体图。
图2是机器人仿真装置的显示部的显示例。
图3是一种实施方式的机器人仿真装置的功能框图。
图4是表示通过一种实施方式的机器人仿真装置所执行的取出工序的仿真工序的流程的流程图。
图5A是表示投影仪模型的投影范围和摄像机模型的视野的图。
图5B是表示投影仪模型和摄像机模型的位置关系的例子的俯视图。
图6是表示第1平面的图。
图7是表示第2平面的图。
图8A是表示第1平面和第2平面的交线的图。
图8B是表示第1平面组和第2平面组的俯视图。
图9是表示第1平面和第2平面的交线与工件模型的表面的交点的图。
图10A是说明根据工件模型的表面上的交点计算工件模型的位置和姿态的例子的图。
图10B是说明根据工件模型的表面上的交点计算工件模型的位置和姿态的例子的图。
图10C是说明根据工件模型的表面上的交点计算工件模型的位置和姿态的例子的图。
图11是其他实施方式的机器人仿真装置的功能框图。
图12是表示摄像机模型的视野的图。
图13是通过图12的摄像机模型所摄像的二维图像的例子。
图14是用于说明二维图像的使用例的图。
图15是用于说明二维图像的使用例的图。
图16是用于说明二维图像的使用例的图。
具体实施方式
以下，参照附图来说明本发明的实施方式。对于图示的实施方式的构成要素，为了有助于理解本发明，适当地变更了比例尺。此外，对于相同或对应的构成要素，在多个附图中使用相同的参考标号。
图1是包含一种实施方式的机器人仿真装置10的机器人***50的整体图。机器人仿真装置10例如是生成机器人程序，并构成为能够在虚拟空间中执行的、以离线方式使用的数字计算机。
机器人仿真装置10尽管未图示，但具备执行各种运算处理的CPU；存储CPU的运算结果的RAM；存储各种程序、数据等的ROM；输入设备。输入设备是鼠标、键盘、触摸面板等公知的输入单元。机器人仿真装置10还具备液晶显示器等显示部12。
机器人***50具备机器人60。机器人60是通过机器人控制装置70所控制的多关节机器人。机器人仿真装置10和机器人控制装置70，为了相互进行数据或信号的发送接收，经由具有公知结构的通信单元52相互连接。通信单元52例如用于将控制机器人60的控制程序从机器人控制装置70发送到机器人仿真装置10。
机器人60例如在臂前端的手腕部具备能够把持工件80的手62。机器人60通过机器人控制装置70被控制，以便从容器90内散装的、即不规则配置的大量工件80中依次取出工件80。机器人60并不限于图示的例子，能够具有任意公知的结构。例如，机器人60可以是在手腕部具备液压式或磁力式吸附部的类型的机器人。
容器90例如具有箱状形态，该箱状形态具有底壁和从底壁起在大致垂直方向上向上方延伸的周壁。容器90向上方开口，机器人60能够从上方进入容器90内的容纳空间。
在图示的例子中，工件80具有长方体的形状，但是工件80的形状不限于此。此外，只要能够通过机器人60获取工件80，则容器90可以具有其他任意形状。
在容器90的上方，将距离传感器14固定在未图示的架台上。距离传感器14被构成为能够取得到对象物的距离，在该机器人***50中具有取得工件80的三维信息的功能。距离传感器14例如以距离图像或三维映像(map)等形态取得工件80的三维信息。距离图像是将从距离传感器14到测量区域内的工件80的距离通过各个像素的明暗或颜色来表现的图像。此外，三维映像是将测量区域内的工件80的三维位置表现为工件80的表面上的点的三维坐标值的集合的映像。
距离传感器14具备投影仪16、相对于投影仪16配置在相反侧的2个摄像机18。投影仪16被构成为能够将点(spot)光、缝(slit)光等希望的图案光投影到对象物的表面。投影仪16例如具备激光二极管、发光二极管等公知的光源。
摄像机18例如是具备CCD、CMOS等摄像元件的公知的数字式摄像机。2个摄像机18以它们的视野至少部分相互重叠的方式，朝向相互不同的方向。投影仪16的投影范围被配置为与各个摄像机18的视野至少部分重叠。距离传感器14可以被固定在机器人60的手腕部，其位置和姿态能够变化。
距离传感器14被构成为由未图示的传感器控制装置来控制，并能够检测工件80的三维信息。在工件80的三维信息中包含工件80的特定部位的位置信息，例如顶点位置，工件80中预定的平面的位置和姿态等。通过距离传感器14检测出的工件80的三维信息经由传感器控制装置被输出到机器人控制装置70。或者，距离传感器14的检测信息也可以被直接发送到机器人控制装置70。传感器控制装置也可以具备对通过距离传感器14的摄像机18取得的二维图像进行图像处理的图像处理装置。图像处理装置可以独立于传感器控制装置而设置。
机器人控制装置70根据通过距离传感器14取得的工件80的三维信息来控制机器人60的位置和姿态，执行手62把持工件80的动作。
图2是机器人仿真装置10的显示部12的显示例。在显示部12中显示了将图1所示的机器人60的作业空间以三维来表现的虚拟空间。如图所示，在显示部12的画面中显示了将机器人60、距离传感器14、工件80、容器90分别以三维来表现的机器人模型60M、距离传感器模型14M、工件模型80M以及容器模型90M。图2中在显示部12中仅示出了二维信息，但操作者通过使用输入设备来变更视点，能够在三维空间中确认各要素的位置关系。
机器人仿真装置10被构成为能够在虚拟空间中执行通过机器人模型60M将容器模型90M内散装的工件模型80M依次取出的取出工序。操作者能够根据在虚拟空间中执行的仿真的结果来确认对机器人60M的控制程序是否合适，并能够根据需要对程序进行修正。
图3是机器人仿真装置10的功能框图。机器人仿真装置10具备：虚拟空间生成部20、模型生成部22、模型配置部24、第1平面计算部26、第2平面计算部28、交线计算部30、三维信息计算部32、位置姿态计算部34、仿真执行部36。
虚拟空间生成部20具有生成将机器人60的作业空间以三维来表现的虚拟空间的功能。通过虚拟空间生成部20所生成的虚拟空间被显示在机器人仿真装置10的显示部12中。
模型生成部22具有生成机器人模型60M、距离传感器模型14M、工件模型80M以及容器模型90M的功能。距离传感器模型14M由投影仪模型16M、2个摄像机模型18M构成(参照图2)。模型生成部22被构成为能够通过从机器人仿真装置10的ROM或外部存储装置中读出以三维CAD软件等制作的形状数据来生成各个模型。
模型配置部24具有将通过模型生成部22生成的各个三维模型配置在虚拟空间内的功能。根据本实施方式，模型配置部24被构成为将多个工件模型80M以散装状态配置在虚拟空间中。此外，模型配置部24被构成为，以使投影仪模型16M的投影范围和2个摄像机模型18M的视野包含针对散装的工件模型80M而设定的测量区域的方式，将投影仪模型16M和2个摄像机模型18M配置在虚拟空间中。
第1平面计算部26具有在虚拟空间中计算第1平面组的功能。各个第1平面被定义为：通过2个摄像机模型18M的焦点而延伸，并将对测量区域进行摄像时的摄像机模型18M的视野以相等间隔进行分割的平面。
第2平面计算部28具有在虚拟空间中计算第2平面组的功能。各个第2平面被定义为：当通过投影仪模型16M对测量区域照射了条纹状的图案光时，沿着在测量区域中投影的明暗的边界而延伸，并与第1平面交叉的平面。
交线计算部30具有计算第1平面组和第2平面组的多条交线的功能。
三维信息计算部32具有计算通过交线计算部30计算出的多条交线与工件模型80M表面的多个交点的排列，例如它们的距离图像或三维映像，作为工件模型80M的三维信息的功能。
位置姿态计算部34具有根据通过三维信息计算部32计算出的工件模型80M的三维信息来计算工件模型80M的位置和姿态的功能。例如，位置姿态计算部34通过使工件模型80M的三维信息与工件模型80M的形状模型匹配，来计算工件模型80M的位置和姿态。
仿真执行部36具有根据通过位置姿态计算部34计算的工件模型80M的位置和姿态，执行机器人模型60M的取出工序的仿真的功能。取出工序的仿真能够按照公知的任意形式执行，因此说明书中省略了详细说明。
图4是说明执行取出工序的仿真时的工序流程的流程图。此外，在以下的说明中，为了方便而使用了“首先”、“接着”、“再接着”等表达，但是并不意在通过这些用语来限定工序的顺序。不如说，本领域技术人员认识到，只要不产生技术性矛盾，适当变更以下所述的各个工序的顺序也可得到同样的作用效果。
首先，在步骤S1中，通过虚拟空间生成部20生成与机器人60的作业空间对应的虚拟空间。接着，在步骤S2中，通过模型生成部22生成机器人模型60M、工件模型80M、距离传感器模型14M和容器模型90M。在本实施方式中生成构成距离传感器模型14M的投影仪模型16M和2个摄像机模型18M。此外，例如在不需要考虑机器人和容器之间的干扰的情况下，可以省略容器模型90M的生成。
在步骤S3中，通过模型配置部24将在步骤S2中生成的多个工件模型80M以散装状态配置在虚拟空间中(参照图2)。散装状态的工件模型80M按照任意的公知方法生成。例如，能够通过使用随机数来决定工件模型80M的位置和姿态，以工件模型80M不相互重叠的方式在容器模型90M内按顺序堆积，来生成散装状态。
在步骤S4中，通过模型配置部24如图2所示将投影仪模型16M和2个摄像机模型18M配置在虚拟空间中。进一步参照图5A和图5B，说明投影仪模型16M和摄像机模型18M的配置。图5A是表示投影仪模型16M的投影范围和摄像机模型18M的视野的图。图5B是表示投影仪模型16M和摄像机模型18M的位置关系的例子的俯视图。
在图5A中示出了构成距离传感器模型14M的投影仪模型16M和2个摄像机模型18M，以及投影仪模型16M的投影范围PA和各个摄像机模型18M的视野FV。此外，在图5A和图5B中示出了对散装的工件模型80M预先设定的测量区域TA。测量区域TA，根据通过距离传感器模型14M测量的对象范围而确定。测量区域TA例如被设定为包含散装的工件模型80M中的几个，或全部工件模型80M。例如，测量区域TA被定义为容器模型90M的底面或从底面离开了预定距离的水平面。
如图5A所示，投影仪模型16M的投影范围PA和各个摄像机模型18M的视野FV分别与测量区域TA基本一致。此外，如图5B所示，投影仪模型16M和2个摄像机模型18M彼此配置在一条直线上。然而，投影仪模型16M和摄像机模型18M的位置关系并不限于这样的具体例。例如，如果以投影范围PA和视野FV分别包含测量区域TA的方式来配置投影仪模型16M和摄像机模型18M，则投影范围PA和视野FV可以仅部分地重叠。
返回到图4，接下来在步骤S5中，通过第1平面计算部26来计算第1平面组。图6表示第1平面P1。第1平面P1是通过2个摄像机模型18M的焦点而延伸，并将对测量区域TA进行摄像时的摄像机模型18M的视野以相等间隔进行分割的平面。图6中示出了这样的第1平面P1组中的一个。图6中在测量区域TA上绘出的虚线是将测量区域TA以相等间隔分割的虚拟线。此外，虚拟空间内的摄像机模型18M的位置，或者摄像机模型18M的焦点的位置，是预先确定的设定值。或者，也可以利用摄像机校准的结果来计算摄像机模型18M以及它们的焦点的位置。
接着，在步骤S6中，通过第2平面计算部28来计算第2平面组。图7是表示第2平面P2的图。第2平面P2是当通过投影仪模型16M对测量区域TA照射了条纹状的图案光时，沿着在测量区域TA中投影的明暗的边界而延伸的平面。图7中，测量区域TA上的明暗图案通过有无阴影线来表现。此外，在机器人仿真装置10的显示部12的画面中无需实际显示明暗图案。
在步骤S7中，通过交线计算部30来计算在步骤S5、S6中求得的第1平面P1和第2平面P2的交线L。图8A是表示交线L的图；图8B是表示第1平面P1的组和第2平面P2的组的俯视图。在图8B中作为一例表示了以粗线表示的、通过第1平面P1和第2平面P2的交点而延伸的交线L。
接着，在步骤S8中，通过三维信息计算部32来计算步骤S7中求得的多条交线L与工件模型80M的表面的各个交点PT的三维坐标。图9中作为一例表示了一条交线L以及该交线L与工件模型80M的表面相交的交点PT。
在步骤S9中，通过三维信息计算部32来将步骤S8中计算出的各个交点PT的三维坐标输出为工件模型80M的三维信息。三维信息例如被存储在机器人仿真装置10的RAM中。
接着，在步骤S10中，通过位置姿态计算部34根据步骤S9中得到的工件模型80M的三维信息确定应当由机器人模型60M取出的对象工件模型，并计算对象工件模型的位置和姿态。
最后，在步骤S11中，通过仿真执行部36使机器人模型60M移动到能够把持对象工件模型的位置，并执行取出工序的仿真。
接着，参照图10A至图10C说明根据工件模型80M表面上的交点PT的三维坐标来计算工件模型80M的位置和姿态的方法。在图10A至图10C中，各个黑圆圈表示第1平面P1和第2平面P2的交线L与工件模型80M的交点PT(参照图9)。
在图10A中，工件模型80M的交点PT中的、位于最高位置的工件模型80M的交点PT1以白圆圈表示。一般的工件取出工序，以从位于上方的工件开始按顺序取出的方式来执行。因此，位置姿态计算部34根据交点PT1的三维坐标来确定应当取出的工件模型80M的顶点位置。这种情况下，根据应当取出的工件模型80M的顶点位置来定位对工件模型80M进行把持时的机器人模型60M。或者，结合已知的工件模型80M的形状等来考虑，机器人模型60M也可以被控制为，对从对象工件模型的顶点，即交点PT1的位置离开预定位置的位置进行把持。
在图10B中，由预定范围内包含的多个交点PT2构成的点集合以白圆圈表示。这种情况下，位置姿态计算部34根据这些交点PT2的三维坐标来计算应当取出的对象工件模型的位置和姿态。或者，也可以根据这些交点PT2的三维坐标和已知的工件模型80M的形状，来计算应当取出的对象工件模型的位置和姿态。
在图10C中，在工件模型80M中的大致朝向上方的平面P3上施加阴影线，并且以箭头表示与这些平面P3对应的法线。平面P3以及与这些平面P3对应的法线，通过如图10B的例子这样互相连接在预定范围内包含的点集合来求取。这种情况下，位置姿态计算部34根据工件模型80M的特定平面的位置和姿态，来计算工件模型80M的位置和姿态。
根据本实施方式的机器人仿真装置，利用在虚拟空间中设定的第1平面组和第2平面组来确定工件模型表面上的多个点。然后，通过距离传感器模型来取得这些多个点的三维信息，由此取得工件模型的位置和姿态。由此，能够对利用了距离传感器的工件的取出工序进行仿真，并能够容易地执行控制程序的评价或必要的变更。
图11是其他实施方式的机器人仿真装置10的功能框图。根据本实施方式，机器人仿真装置10除了前述实施方式的结构之外，还具备二维图像取得部38。
二维图像取得部38具有通过摄像机模型18M来取得散装的工件模型80M的二维图像的功能。图12是表示与二维图像取得部38协作的摄像机模型18M的视野FV的图。二维图像取得部38被构成为使用构成距离传感器模型14M的2个摄像机模型18M中的一个来取得二维图像。或者，也可以出于该目的而使用另一个摄像机模型。
图13是由摄像机模型18M摄像的二维图像的例子。在图示的例子中，对散装的圆柱形工件模型80M进行摄像。对于取得的二维图像，通过图像处理装置进行图像处理，并用于计算工件模型80M的位置和姿态。
图14至图16是用于说明通过二维图像取得部38取得的二维图像的使用例的图。在图14中，工件模型80M上绘出的线L1是二维图像取得部38的检测范围的边界线。即，工件模型80M中的图14的线L1的下方部分例如隐藏在其他工件模型80M的背后。这种情况下，机器人仿真装置10的位置姿态计算部34通过对取得的二维图像进行图像处理来确定工件模型80M的一部分，并利用确定出的工件模型80M的部分的三维信息(交点PT的三维坐标)。例如，位置姿态计算部34根据二维图像检测范围中包含的工件模型80M的三维信息，计算该部分的工件模型80M的重心CG的位置。这种情况下，机器人模型60M根据工件模型80M的重心CG的位置，来进行把持工件模型80M时的定位。
图15中示出了具有以层叠的方式组合了具有不同尺寸的2个长方体的形状的工件模型80M。这种情况下，通过对例如由二维图像取得部38取得的二维图像进行图像处理来确定工件模型80M的平面P4。并且，利用所确定出的平面P4上的三维信息(交点PT的三维坐标)。例如，位置姿态计算部34根据二维图像的平面P4中包含的工件模型80M的三维信息，来计算平面P4的位置和姿态，或与平面P4对应的法线的延伸方向。这种情况下，根据平面P4的位置和姿态，或与平面P4对应的法线的延伸方向，来进行把持工件模型80M时的机器人模型60M的定位。
或者，如图16所示，可以根据与从二维图像确定的工件模型80M的平面P4不同的平面P5上的三维信息(交点PT的三维坐标)，来计算平面P4的位置和姿态，或与平面P4对应的法线方向。
根据本实施方式，还利用由摄像机模型取得的工件模型的二维图像来更准确地计算工件模型的位置和姿态。由于能够根据这样的准确的工件模型的位置和姿态来执行工件的取出工序的仿真，因此提高了仿真的可靠性。
发明效果
根据采用了上述结构的机器人仿真装置，利用在虚拟空间中设定的第1平面组和第2平面组确定工件模型表面上的多个点。然后，通过距离传感器模型取得这些多个点的三维信息，由此取得工件模型的位置和姿态。由此，能够对利用了距离传感器的工件的取出工序进行仿真，并能够容易地执行控制程序的评价、或必要的变更。
以上，说明了本发明的各种实施方式，但是本领域技术人员能够明了，通过其他的实施方式也能够实现本发明所希望的作用效果。特别地，在不脱离本发明的范围的情况下，可以削减或更换前述实施方式的构成要素，也能够进一步附加公知的手段。此外，本领域技术人员明了，通过将本说明书中明示或暗示地公开的多个实施方式的特征任意组合，也能够实施本发明。

Claims (2)

1.一种机器人仿真装置，其根据通过具备投影仪和2个摄像机的距离传感器取得的工件的三维信息，在虚拟空间内对由机器人将散装的多个工件按顺序取出的取出工序进行仿真，
所述机器人仿真装置的特征在于，
具备：模型配置部，其在所述虚拟空间中配置以三维方式表现所述机器人、所述多个工件、所述距离传感器的所述2个摄像机和所述投影仪的机器人模型、多个工件模型、2个摄像机模型以及投影仪模型，
所述模型配置部被构成为将所述多个工件模型在散装状态下配置在所述虚拟空间中，并且被构成为以使所述2个摄像机模型的视野和所述投影仪模型的投影范围包含针对散装的所述工件模型而设定的测量区域的方式，将所述2个摄像机模型和所述投影仪模型配置在所述虚拟空间中，
该机器人仿真装置还具备：
第1平面计算部，其计算通过所述2个摄像机模型的焦点而延伸，并将对所述测量区域进行摄像时的所述2个摄像机模型的视野以相等间隔进行分割的第1平面组；
第2平面计算部，其计算当通过所述投影仪模型对所述测量区域照射了条纹状的图案光时，沿着在所述测量区域中投影的明暗的边界而延伸，并与所述第1平面组交叉的第2平面组；
交线计算部，其计算所述第1平面组和所述第2平面组的多条交线；
三维信息计算部，其计算所述多条交线与所述工件模型表面的多个交点的排列作为三维信息；
位置姿态计算部，其根据所述三维信息来计算所述工件模型的位置和姿态；以及
仿真执行部，其根据通过所述位置姿态计算部计算的所述工件模型的位置和姿态，执行基于所述机器人模型的所述取出工序的仿真。
2.根据权利要求1所述的机器人仿真装置，其特征在于，
所述模型配置部还被构成为将对散装的所述工件模型进行摄像的第2摄像机配置在所述虚拟空间中，
该机器人仿真装置还具备：二维图像取得部，其从所述第2摄像机取得散装的所述工件模型的二维图像，
所述位置姿态计算部还被构成为根据所述三维信息和所述二维图像来计算所述工件模型的位置和姿态。
CN201510105607.0A 2014-03-12 2015-03-11 对工件的取出工序进行仿真的机器人仿真装置 Active CN104908038B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-048790 2014-03-12
JP2014048790A JP5897624B2 (ja) 2014-03-12 2014-03-12 ワークの取出工程をシミュレーションするロボットシミュレーション装置

Publications (2)

Publication Number Publication Date
CN104908038A true CN104908038A (zh) 2015-09-16
CN104908038B CN104908038B (zh) 2016-10-12

Family

ID=54010278

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510105607.0A Active CN104908038B (zh) 2014-03-12 2015-03-11 对工件的取出工序进行仿真的机器人仿真装置

Country Status (4)

Country Link
US (1) US9529945B2 (zh)
JP (1) JP5897624B2 (zh)
CN (1) CN104908038B (zh)
DE (1) DE102015002760B4 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108136600A (zh) * 2015-09-28 2018-06-08 株式会社理光 ***
CN108537875A (zh) * 2017-03-03 2018-09-14 株式会社基恩士 机器人仿真设备和机器人仿真方法
CN109491327A (zh) * 2017-09-13 2019-03-19 发那科株式会社 三维模型制作装置
CN110170982A (zh) * 2018-02-19 2019-08-27 发那科株式会社 模拟机器人的动作的模拟装置
CN110394780A (zh) * 2018-04-25 2019-11-01 发那科株式会社 机器人的仿真装置
CN110825028A (zh) * 2018-08-08 2020-02-21 发那科株式会社 三维模型生成装置
CN112157654A (zh) * 2020-09-15 2021-01-01 天津大学 一种机器人加工***定位误差的优化方法
CN112276936A (zh) * 2019-07-22 2021-01-29 发那科株式会社 三维数据生成装置以及机器人控制***

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015024453A (ja) * 2013-07-25 2015-02-05 トヨタ自動車株式会社 載置判断方法、載置方法、載置判断装置及びロボット
WO2015078992A1 (en) * 2013-11-27 2015-06-04 Engino.Net Ltd. System and method for teaching programming of devices
WO2016122840A1 (en) 2015-01-26 2016-08-04 Duke University Specialized robot motion planning hardware and methods of making and using same
JP6333871B2 (ja) * 2016-02-25 2018-05-30 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置
WO2017159014A1 (ja) * 2016-03-15 2017-09-21 株式会社リコー 画像処理装置、画像処理方法及び画像処理システム
JP2017181228A (ja) * 2016-03-30 2017-10-05 キヤノン株式会社 計測装置、計測方法及び物品の製造方法
WO2017214581A1 (en) 2016-06-10 2017-12-14 Duke University Motion planning for autonomous vehicles and reconfigurable motion planning processors
JP6392817B2 (ja) * 2016-08-04 2018-09-19 ファナック株式会社 シミュレーション装置
US10078908B2 (en) * 2016-08-12 2018-09-18 Elite Robotics Determination of relative positions
JP6450727B2 (ja) * 2016-10-28 2019-01-09 ファナック株式会社 ロボットが行う物品整列作業のシミュレーションのための装置、方法、プログラム及び記録媒体
JP6450788B2 (ja) * 2017-02-21 2019-01-09 ファナック株式会社 ワーク取出システム
JP6877192B2 (ja) * 2017-03-03 2021-05-26 株式会社キーエンス 画像処理装置、画像処理方法、画像処理プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP6846950B2 (ja) * 2017-03-03 2021-03-24 株式会社キーエンス ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP6889574B2 (ja) * 2017-03-03 2021-06-18 株式会社キーエンス ロボット設定装置、ロボット設定方法、ロボット設定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP2018144155A (ja) * 2017-03-03 2018-09-20 株式会社キーエンス ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP7091609B2 (ja) * 2017-04-14 2022-06-28 セイコーエプソン株式会社 シミュレーション装置、ロボット制御装置およびロボット
US10343289B2 (en) * 2017-05-05 2019-07-09 The Boeing Company Verification system for manufacturing processes
CN107024163B (zh) * 2017-05-15 2019-10-11 上海电机学院 一种用于汽轮机预扭叶片的激光检测装置
JP6857101B2 (ja) * 2017-07-31 2021-04-14 株式会社キーエンス ロボットシミュレーション装置及びロボットシミュレーション方法
US11504853B2 (en) * 2017-11-16 2022-11-22 General Electric Company Robotic system architecture and control processes
KR102565444B1 (ko) * 2017-12-21 2023-08-08 삼성전자주식회사 객체를 식별하기 위한 장치 및 방법
WO2019139815A1 (en) 2018-01-12 2019-07-18 Duke University Apparatus, method and article to facilitate motion planning of an autonomous vehicle in an environment having dynamic objects
TWI822729B (zh) 2018-02-06 2023-11-21 美商即時機器人股份有限公司 用於儲存一離散環境於一或多個處理器之一機器人之運動規劃及其改良操作之方法及設備
US11738457B2 (en) 2018-03-21 2023-08-29 Realtime Robotics, Inc. Motion planning of a robot for various environments and tasks and improved operation of same
CA3102997A1 (en) 2018-06-26 2020-01-02 Teradyne, Inc. System and method for robotic bin picking
EP3914425A4 (en) * 2019-01-21 2022-08-24 ABB Schweiz AG METHOD AND DEVICE FOR PRODUCTION LINE SIMULATION
WO2020214723A1 (en) 2019-04-17 2020-10-22 Real Time Robotics, Inc. Motion planning graph generation user interface, systems, methods and articles
CN114206698B (zh) 2019-06-03 2024-07-02 实时机器人有限公司 在具有动态障碍物的环境中促进运动规划的装置、方法和物品
JP7346133B2 (ja) * 2019-07-29 2023-09-19 株式会社キーエンス ロボット設定装置及びロボット設定方法
JP7368025B2 (ja) 2019-08-23 2023-10-24 リアルタイム ロボティクス， インコーポレーテッド 加速度とジャークの制限を維持しながら速度を最適化するロボットの動作計画
TW202146189A (zh) 2020-01-22 2021-12-16 美商即時機器人股份有限公司 於多機器人操作環境中之機器人之建置
JPWO2021199730A1 (zh) * 2020-03-31 2021-10-07
CN112692829A (zh) * 2020-12-22 2021-04-23 程小龙 一种基于5g网络的智慧工厂自动下料机器人
WO2022249295A1 (ja) * 2021-05-25 2022-12-01 ファナック株式会社 ロボットシミュレーション装置
WO2022262917A1 (en) * 2021-06-17 2022-12-22 Vestas Wind Systems A/S Control of a tool mounted on a robotic arm
CN114677429B (zh) * 2022-05-27 2022-08-30 深圳广成创新技术有限公司 一种机械手的定位方法、装置、计算机设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101034418A (zh) * 2006-03-10 2007-09-12 发那科株式会社 用于机器人仿真的装置、程序、记录介质以及方法
CN101058183A (zh) * 2006-04-18 2007-10-24 发那科株式会社 机器人模拟装置
CN101085523A (zh) * 2006-06-06 2007-12-12 发那科株式会社 机器人模拟装置
JP2014013146A (ja) * 2012-07-03 2014-01-23 Canon Inc ３次元計測装置及びロボット装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2692603B2 (ja) * 1994-07-13 1997-12-17 村田機械株式会社 三次元計測方法
US6721444B1 (en) 1999-03-19 2004-04-13 Matsushita Electric Works, Ltd. 3-dimensional object recognition method and bin-picking system using the method
US7876455B2 (en) * 2004-08-03 2011-01-25 TechnoDream21 Co., Ltd. Three-dimensional shape measuring method and apparatus for the same
JP4940715B2 (ja) * 2006-03-15 2012-05-30 日産自動車株式会社 ピッキングシステム
US8108092B2 (en) * 2006-07-14 2012-01-31 Irobot Corporation Autonomous behaviors for a remote vehicle
US8326469B2 (en) * 2006-07-14 2012-12-04 Irobot Corporation Autonomous behaviors for a remote vehicle
JP5092711B2 (ja) * 2007-11-22 2012-12-05 株式会社Ｉｈｉ 物体認識装置およびロボット装置
JP5714232B2 (ja) * 2009-03-12 2015-05-07 オムロン株式会社 キャリブレーション装置および３次元計測のためのパラメータの精度の確認支援方法
JP5282717B2 (ja) * 2009-10-19 2013-09-04 株式会社安川電機 ロボットシステム
JP5471355B2 (ja) * 2009-11-24 2014-04-16 オムロン株式会社 ３次元視覚センサ
JP5393531B2 (ja) * 2010-02-25 2014-01-22 キヤノン株式会社 位置姿勢推定装置、位置姿勢推定方法、プログラム、記憶媒体
JP5787642B2 (ja) * 2011-06-28 2015-09-30 キヤノン株式会社 対象物保持装置、対象物保持装置の制御方法、およびプログラム
JP5852364B2 (ja) * 2011-08-26 2016-02-03 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
JP2013101045A (ja) * 2011-11-08 2013-05-23 Fanuc Ltd 物品の３次元位置姿勢の認識装置及び認識方法
JP6000579B2 (ja) * 2012-03-09 2016-09-28 キヤノン株式会社 情報処理装置、情報処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101034418A (zh) * 2006-03-10 2007-09-12 发那科株式会社 用于机器人仿真的装置、程序、记录介质以及方法
CN101058183A (zh) * 2006-04-18 2007-10-24 发那科株式会社 机器人模拟装置
CN101085523A (zh) * 2006-06-06 2007-12-12 发那科株式会社 机器人模拟装置
JP2014013146A (ja) * 2012-07-03 2014-01-23 Canon Inc ３次元計測装置及びロボット装置

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108136600A (zh) * 2015-09-28 2018-06-08 株式会社理光 ***
CN108136600B (zh) * 2015-09-28 2021-03-23 株式会社理光 ***
CN108537875A (zh) * 2017-03-03 2018-09-14 株式会社基恩士 机器人仿真设备和机器人仿真方法
CN108537875B (zh) * 2017-03-03 2023-04-21 株式会社基恩士 机器人仿真设备和机器人仿真方法
CN109491327A (zh) * 2017-09-13 2019-03-19 发那科株式会社 三维模型制作装置
CN109491327B (zh) * 2017-09-13 2023-04-07 发那科株式会社 三维模型制作装置
CN110170982A (zh) * 2018-02-19 2019-08-27 发那科株式会社 模拟机器人的动作的模拟装置
CN110394780B (zh) * 2018-04-25 2023-06-27 发那科株式会社 机器人的仿真装置
CN110394780A (zh) * 2018-04-25 2019-11-01 发那科株式会社 机器人的仿真装置
CN110825028A (zh) * 2018-08-08 2020-02-21 发那科株式会社 三维模型生成装置
CN110825028B (zh) * 2018-08-08 2024-04-26 发那科株式会社 三维模型生成装置
CN112276936A (zh) * 2019-07-22 2021-01-29 发那科株式会社 三维数据生成装置以及机器人控制***
CN112157654A (zh) * 2020-09-15 2021-01-01 天津大学 一种机器人加工***定位误差的优化方法
CN112157654B (zh) * 2020-09-15 2022-06-07 天津大学 一种机器人加工***定位误差的优化方法

Also Published As

Publication number Publication date
US9529945B2 (en) 2016-12-27
CN104908038B (zh) 2016-10-12
US20150261899A1 (en) 2015-09-17
JP2015171745A (ja) 2015-10-01
DE102015002760B4 (de) 2021-01-28
JP5897624B2 (ja) 2016-03-30
DE102015002760A1 (de) 2015-09-17

Similar Documents

Publication Publication Date Title
CN104908038A (zh) 对工件的取出工序进行仿真的机器人仿真装置
CN111844053B (zh) 教导设备、教导方法和机器人***
US9607406B2 (en) Size measurement device and size measurement method
CN103678754B (zh) 信息处理装置及信息处理方法
Boonbrahm et al. The use of marker-based augmented reality in space measurement
EP2682710B1 (en) Apparatus and method for three-dimensional measurement and robot system comprising said apparatus
CN103630071A (zh) 检测工件的方法和***
CN105091760A (zh) 距离传感器的配置评价装置
JP5113666B2 (ja) ロボット教示システム及びロボットの動作のシミュレーション結果の表示方法
KR20130137695A (ko) 형상 계측 방법
TW201514446A (zh) 三維量測模擬取點系統及方法
Bellandi et al. Roboscan: a combined 2D and 3D vision system for improved speed and flexibility in pick-and-place operation
JP5414465B2 (ja) シミュレーションシステム
CN110170982A (zh) 模拟机器人的动作的模拟装置
WO2020150868A1 (en) Method and apparatus for manufacturing line simulation
US20190291276A1 (en) Measurement system and method of an industrial robot
US20180374265A1 (en) Mixed reality simulation device and computer readable medium
TW201518957A (zh) 三維量測模擬系統及方法
TW201349171A (zh) 曲面座標系建立系統及方法
JP7249221B2 (ja) センサ位置姿勢キャリブレーション装置及びセンサ位置姿勢キャリブレーション方法
Nowak et al. Point Clouds With Color: A Simple Open Library for Matching RGB and Depth Pixels from an Uncalibrated Stereo Pair
Irgenfried et al. Image formation simulation for computer-aided inspection planning of machine vision systems
JP2023505322A (ja) ロボットをプログラムするための方法及びシステム
WO2022249295A1 (ja) ロボットシミュレーション装置
CN110421292A (zh) 一种焊接机器人的对目标物体轮廓定位的方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant