CN115803155A - 编程装置 - Google Patents

编程装置 Download PDF

Info

Publication number
CN115803155A
CN115803155A CN202180040629.7A CN202180040629A CN115803155A CN 115803155 A CN115803155 A CN 115803155A CN 202180040629 A CN202180040629 A CN 202180040629A CN 115803155 A CN115803155 A CN 115803155A
Authority
CN
China
Prior art keywords
command
icon
programming
program
imaging device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180040629.7A
Other languages
English (en)
Inventor
小仓翔太郎
并木勇太
高桥广光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of CN115803155A publication Critical patent/CN115803155A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1658—Programme controls characterised by programming, planning systems for manipulators characterised by programming language
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/42—Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/30—Creation or generation of source code
    • G06F8/34—Graphical or visual programming
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/31—From computer integrated manufacturing till monitoring
    • G05B2219/31474—Icon display for quick access of detailed information
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32162—Tasks or control icons are linked to form a job
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40392—Programming, visual robot programming language
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40607—Fixed camera to observe workspace, object, workpiece, global
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40613—Camera, laser scanner on end effector, hand eye manipulator, local

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Numerical Control (AREA)
  • Manipulator (AREA)

Abstract

提供一种编程装置，其能够减轻操作员生成包含与拍摄装置的功能对应的命令的控制程序的负担。该编程装置(10)用于进行工业机械的编程，其具备：命令生成部(11)，其取得与和工业机械的控制装置(20)连接的拍摄装置相关的信息，并基于取得的信息，生成表示使用由拍摄装置取得的图像的命令的图标或命令语句；以及命令显示部(12)，其在显示画面上显示所生成的图标或命令语句。

Description

编程装置
技术领域
本发明涉及工业机械的编程装置。
背景技术
通常，机器人的编程使用基于文本的命令语句来进行，因此示教者需要有机器人的编程语言的知识。另一方面，为了辅助示教人员直观地输入机器人的控制程序，提出了一种能够使用表示机器人控制的各命令的图标来进行编程的程序生成装置(例如，专利文献1)。
现有技术文献
专利文献
专利文献1：日本专利第6498366号公报
发明内容
发明要解决的课题
在具备拍摄装置的机器人***中的用于编程的命令组中，包含有与使用拍摄装置拍摄对象物并对拍摄到的图像进行图像处理来检测对象物的功能对应的命令。通常，在将这样的使用了拍摄装置的功能所对应的命令语句包含在机器人的控制程序中时，在进行了将使用了拍摄装置的功能所对应的命令语句***到机器人的控制程序中的操作后，需要另外进行在该命令语句下工作的拍摄装置的选择和设定。在机器人***中配置的拍摄装置除了为1台的情况以外，有时也为多台。在该情况下，操作员需要在将多个与拍摄装置的功能对应的命令语句***到程序中之后，反复进行在所***的各命令语句下工作的拍摄装置的选择，操作员的负担进一步增加。期望一种编程装置，其在工业机械的控制程序的编程中，能够减轻操作员生成包含与拍摄装置的功能对应的命令的控制程序的负担。
用于解决课题的手段
本公开的一方式是一种编程装置，其用于进行工业机械的编程，其具备：命令生成部，其取得与拍摄装置相关的信息，并基于取得的所述信息来生成图标或命令语句，其中，所述拍摄装置与所述工业机械的控制装置连接，所述图标或命令语句表示使用由所述拍摄装置取得的图像的命令；以及命令显示部，其在显示画面上显示所生成的所述图标或所述命令语句。
发明效果
根据上述结构，在工业机械的控制程序的编程中，能够减轻操作员生成包含与拍摄装置的功能对应的命令的控制程序的负担。
根据附图所示的本发明的典型的实施方式的详细说明，本发明的这些目的、特征和优点以及其他目的、特征和优点将变得更加明确。
附图说明
图1表示一实施方式的包含示教装置(编程装置)的机器人***的结构。
图2是示教装置的功能框图。
图3是表示命令生成以及显示处理的流程图。
图4是通过命令生成以及显示处理进行的拍摄装置的图标生成以及显示的第一例。
图5是通过命令生成以及显示处理进行的拍摄装置的图标生成以及显示的第二例。
图6是在程序生成画面中按下了详细标签时显示的画面的例子。
图7是用于与拍摄装置的功能相关的详细编程的程序生成画面的例子。
图8表示作为比较例的一般的示教装置中的基于文本的程序生成画面的例子。
图9表示本实施方式的基于文本的程序生成画面的例子。
具体实施方式
接下来，参照附图对本公开的实施方式进行说明。在参照的附图中，对相同的构成部分或功能部分标注相同的参照符号。为了容易理解，这些附图适当变更了比例尺。另外，附图所示的方式是用于实施本发明的一个例子，本发明并不限于图示的方式。
图1表示一实施方式的包含示教装置(编程装置)10的机器人***100的结构。如图1所示，机器人***100包含：在臂前端部搭载了手31的机器人30、视觉传感器41、42、控制机器人30的机器人控制装置20、与机器人控制装置20连接的示教装置10。机器人30在此是垂直多关节机器人，但也可以使用其他类型的机器人。机器人控制装置20按照控制程序或者根据来自示教装置10的指令来控制机器人30的动作。此外，机器人控制装置20也可以具有作为一般的计算机的结构，该一般的计算机具有CPU、ROM、RAM、存储装置、操作部、显示部、输入输出接口、网络接口等。
视觉传感器41安装在机器人30的臂前端部。视觉传感器42固定于在设置机器人30的作业空间内能够拍摄对象物1的位置。在机器人***100中，用视觉传感器41、42检测对象物1的位置，用机器人30的手31操作工作台2上的对象物1。
视觉传感器41、42与机器人控制装置20连接，在机器人控制装置20的控制下进行动作。机器人控制装置20还具备取得由视觉传感器41、42拍摄到的图像，并对拍摄到的图像进行对象物检测等图像处理的作为图像处理装置的功能。机器人控制装置20保持对象物的模型图案，通过拍摄到的图像中的对象物与模型图案的图案匹配来检测对象物。机器人控制装置20能够根据检测出的对象物1的位置校正示教位置来执行对象物1的取出等。
视觉传感器41、42可以是拍摄灰度图像或彩色图像的照相机(2D照相机)，也可以是能够取得距离图像或3维点群的立体照相机或3维传感器(3D照相机)。作为例示，在本实施方式中，视觉传感器41是2D照相机，视觉传感器42是3D照相机。此外，在图1中示出了在机器人***100中配置有1台2D照相机和1台3D照相机合计2台拍摄装置的例子，但机器人***100所具备的拍摄装置的台数可以是1台，或者也可以是3台以上的多台。另外，也可以在机器人***100内配置多个同一种类的拍摄装置(例如，多个2D照相机或者多个3D照相机)。
示教装置10用于生成用于使机器人30执行对象物1的处理的控制程序。示教装置10例如是与机器人控制装置20连接的示教操作盘、平板终端等。或者，示教装置10也可以是用于离线编程的编程装置(PC等)。示教装置10可以具有作为一般的计算机的硬件结构，该一般的计算机具有CPU、ROM、RAM、存储装置、输入输出接口、网络接口等。
图2是示教装置10的功能框图。在图2中还示出了示教装置10与其他装置的连接关系。如图2所示，示教装置10具有命令生成部11、命令显示部12、程序编辑部13以及程序生成部14。
命令生成部11从机器人控制装置20取得与和机器人控制装置20连接的1个以上的拍摄装置有关的信息，并基于该信息以能够分别识别1个以上的拍摄装置的表现形式生成图标或命令语句，其中，该图标或命令语句表示使用由1个以上的拍摄装置分别取得的图像的命令。在此，“与拍摄装置相关的信息”是能够确定与机器人控制装置20连接的各拍摄装置的种类的信息(例如，产品型号)。由此，命令生成部11能够确定例如是2D照相机(单色)、2D照相机(彩色)、3D照相机中的哪一个，来作为机器人***100所具备的拍摄装置的种类。
“与拍摄装置相关的信息”还可以包含能够确定拍摄装置的设置场所的信息。能够确定设置场所的信息例如是表示拍摄装置是搭载在机器人的照相机(手持照相机)还是固定在作业空间的固定照相机的信息。通常，搭载在机器人的照相机的连接线缆通过机器人的内部进行布线并与机器人控制装置的特定的输入输出接口连接，因此机器人控制装置能够根据拍摄装置与哪个输入输出接口连接(例如，表示拍摄装置与哪个端口连接的信息)来确定拍摄装置的设置场所(是手持照相机还是固定照相机)。另外，作为表示拍摄装置的设置场所的信息，还可以提供更详细的位置信息(例如在为固定照相机的情况下为作业空间内的坐标信息)。
或者，在机器人出厂时将拍摄装置安装在机器人上而出厂的情况下，可以使照相机侧保有表示该照相机例如是手持照相机的信息，来作为产品信息的一部分。在为图1结构的机器人***100的情况下，命令生成部11从机器人控制装置20例如取得下述信息来作为与视觉传感器41、42相关的信息。
与视觉传感器41相关的信息：2D照相机(彩色)、手持照相机
与视觉传感器42相关的信息：3D照相机、固定照相机
通过取得上述那样的“与拍摄装置相关的信息”，命令生成部11能够以可识别与机器人控制装置20连接的拍摄装置的种类、数量以及设置场所的表现形式来生成各拍摄装置的图标或者命令语句。命令显示部12在显示装置18的预定的显示区域显示由命令生成部11生成的上述图标或命令语句。
程序编辑部13使显示装置18显示用于生成机器人30的控制程序的编辑画面(程序生成画面)，接受控制程序的编辑操作。在此，控制程序包含用于控制机器人30的命令、与视觉传感器进行的拍摄以及拍摄到的图像的处理相关的命令。程序生成部14根据在编辑画面中的程序生成区域中配置的图标、或者在编辑画面中的程序生成区域中记述的命令语句来生成控制程序。
以下，用两个例子来说明与示教装置10进行的图标或命令语句的生成以及显示有关的实施例。第一实施例是示教装置10生成并显示图标时的动作例，该图标表示使用由拍摄装置取得的图像的命令，第二实施例是示教装置10生成并显示命令语句(文本)时的动作例，该命令语句表示使用由拍摄装置取得的图像的命令。图3是表示用于生成并显示图标或命令语句的处理(以下，也记载为命令生成以及显示处理)的流程图，其中，图标或命令语句表示使用由拍摄装置取得的图像的命令。图3的流程图在第一实施例和第二实施例中是通用的，因此，以下，适当参照图3的流程图来说明2个实施例。在示教装置10的CPU的控制下执行图3的处理。
(第一实施例)
在第一实施例中，示教装置10生成并显示表示使用由拍摄装置取得的图像的命令的图标。在该情况下，命令生成部11作为图标生成部发挥功能，命令显示部12作为图标显示部发挥功能。通过启动示教装置10，或者通过对示教装置10进行用于打开程序生成画面的预定操作，启动图3的命令生成以及显示处理。首先，示教装置10(程序编辑部13)将程序生成画面(编辑画面)400显示在显示装置18(步骤S1)。图4以及图5表示在此生成的程序生成画面400的2个例子。如图4和图5所示，程序生成画面400包含程序生成区域300和图标显示区域200。
接着，示教装置10(命令生成部11)从机器人控制装置20取得与和机器人控制装置20连接的拍摄装置相关的信息(步骤S2)。接着，示教装置10(命令生成部11)基于与拍摄装置相关的信息来生成拍摄装置的图标(步骤S3)。
接着，示教装置10(命令生成部11)基于与拍摄装置相关的信息，确认是否针对与机器人控制装置20连接的全部拍摄装置生成了图标(步骤S4)。示教装置10(命令生成部11)反复进行生成图标的步骤S3，直到针对与机器人控制装置20连接的全部拍摄装置生成图标为止(S4：否)。当针对与机器人控制装置20连接的全部拍摄装置生成了图标(S4：是)时，处理进入步骤S5。
在步骤S5中，示教装置10(命令显示部12)使通过以上的处理而生成的图标显示在预定的显示区域(图标显示区域200)(步骤S5)。另外，在本说明书中，图标可以包含通过图形、图案、符号等以图形形式表现对各种装置的命令的所有图标。因此，在图标中，除了在本实施方式中例示的图标以外，还包含例如在可视化的编程工具中使用的图形对象(例如，在拼图形式的图形化编程中使用的块)。
参照图4和图5，用两个例子来说明通过图3的命令生成以及显示处理进行的拍摄装置的图标生成和显示的例子。
图4表示通过命令生成以及显示处理进行的拍摄装置的图标生成以及显示的第一例。如图4所示，程序生成画面400包含：图标显示区域200，其显示能够用于编程的图标的列表；以及程序生成区域300，其用于通过按照动作顺序配置图标来生成控制程序。在此，假设视觉传感器41为2D照相机，视觉传感器42为3D照相机的情况。在步骤S3中，示教装置10(命令生成部11)生成模拟了2D照相机的外观的图形的图标201来作为视觉传感器41(2D照相机)的图标。如图4所示，在图标201，作为表示该图标的功能的语言，可以附加“用2D照相机A查看”这样的文字。另外，示教装置10(命令生成部11)生成模拟了3D照相机的外观的图形的图标202来作为视觉传感器42(3D照相机)的图标。如图4所示，在图标202，作为表示该图标的功能的语言，可以附加“用3D照相机A查看”这样的文字。
示教装置10(命令显示部12)将图标201以及202与用于控制机器人30(控制程序)的图标101﹣104一起显示在图标显示区域200。图标201以及图标202构成为能够识别视觉传感器41(2D照相机)和视觉传感器42(3D照相机)，因此操作员通过观察在图标显示区域200中显示的图标201以及202，能够瞬间掌握可使用的(即，与机器人控制装置20连接的)拍摄装置的种类以及数量。另外，在程序生成画面400中，也可以设置用于对各图标101﹣104、201﹣202被附加的文字信息(“抓取”、“放开”等)的显示/非显示进行切换操作的按钮。
图标显示区域200中显示的图标101﹣104、201﹣202表示以下的动作命令。
图标101：使手闭合来抓取对象物的命令
图标102：打开手的命令
图标103：使机器人的臂前端部以直线的轨迹移动的命令
图标104：使机器人的臂前端部以圆弧状的轨迹移动的命令
图标201：用2D照相机检测对象物的位置
图标202：用3D照相机检测对象物的位置
程序编辑部13接受操作员通过拖拽将显示在图标显示区域200的图标配置在程序生成区域300的操作。程序生成部14按照在程序生成区域300中配置的图标来生成控制程序。在图4的程序生成区域300中，按照动作顺序配置了图标103、图标201、图标101、图标103、图标104。在该控制程序中，执行如下动作：使机器人30的臂前端直线移动到目标位置，通过2D照相机检测对象物的位置，根据该检测出的位置校正示教位置，通过手31抓持对象物并将其移动。
图5表示通过命令生成以及显示处理进行的拍摄装置的图标的生成以及显示的第二例。在此，假设视觉传感器41和视觉传感器42都是2D照相机的情况。在该情况下，示教装置10(命令生成部11)从机器人控制装置20取得的与拍摄装置相关的信息除了包含拍摄装置的种类之外，还包含与拍摄装置的设置场所相关的信息。示教装置10(命令生成部11)基于从机器人控制装置20取得的与拍摄装置相关的信息，掌握视觉传感器41是配置在机器人30的臂前端部的手持照相机以及视觉传感器42是固定在作业空间的固定照相机。
由此，示教装置10(命令生成部11)生成图标212，来作为视觉传感器41的图标，该图标212包含用于联想到视觉传感器41是安装在机器人的臂前端部的照相机的图形。如图5所示，可以对图标212附加有助于理解图标212的功能以及设置场所的语言(在此，“用2D手持照相机查看”)。另外，示教装置10(命令生成部11)生成联想到视觉传感器42是固定照相机的图形的图标211，来作为视觉传感器42的功能的图标。如图5所示，可以对图标211附加有助于理解图标211的功能以及设置场所的语言(在此，“用2D固定照相机查看”)。
示教装置10(命令显示部12)将图标211以及212与用于控制机器人30的图标101﹣104一起显示在图标显示区域200。图标211以及图标212构成为能够识别视觉传感器41(手持照相机)和视觉传感器42(固定照相机)，因此操作员通过观察在图标显示区域200显示的图标211以及212，能够瞬间掌握可使用的(即，与机器人控制装置20连接的)拍摄装置的种类、数量以及设置场所。
程序编辑部13接受操作员通过拖拽将显示在图标显示区域200的图标配置在程序生成区域300的操作。程序生成部14按照配置在程序生成区域300的图标来生成控制程序。在图5的程序生成区域300中，按照动作顺序配置有图标103、图标211、图标101、图标103、图标104。在该控制程序中，执行如下动作：使机器人30的臂前端直线移动到目标位置，通过2D固定照相机检测对象物的位置，根据该检测出的位置校正示教位置，通过手31抓持对象物并将其移动。
接着，说明对命令生成部11生成的与拍摄装置的功能(使用由拍摄装置取得的图像的命令)相关的图标(图标201﹣202、211﹣212)进行详细编程时的操作。图6表示在图4或图5所例示的程序生成画面400中，操作员选择在程序生成区域300中配置的与拍摄装置的功能相关的图标(例如图标201)并按下位于程序生成画面400内的详细标签262时的程序生成画面400的例子。在该情况下，如图6所示，在程序生成画面400的下侧的区域出现新生成按钮501和下拉菜单502。操作员在新生成与拍摄装置的功能相关的详细程序的情况下，按下新生成按钮501。另一方面，在下拉菜单502中显示与在示教装置10中登记的拍摄装置的功能相关的程序。操作者从该下拉菜单502中选择所期望的程序并按下打开按钮503，从而能够打开所选择的程序。
另外，在图6的程序生成画面400的下侧区域中，可以显示与在程序生成区域300内选择的图标(例如图标201)对应的拍摄装置的实时图像550。根据这样的结构，操作者通过观察实时图像550，能够更可靠地识别与在程序生成区域300选择的图标对应的拍摄装置是哪个拍摄装置。这样的实时图像550的显示功能例如可以通过由程序编辑部13向机器人控制装置20请求针对在程序生成区域300内选择的图标发送拍摄装置的实时图像来实现。
此外，当在图6所示的程序生成画面400中选择了编程标签261时，程序生成画面400的下侧区域返回到显示图标一览的图标显示区域200，返回到操作员能够进行机器人的编程的状态。
图7表示通过在图6的画面中按下新生成按钮501或打开按钮503而显示的用于与拍摄装置的功能相关的详细编程的程序生成画面400A。如图7所示，与拍摄装置的功能相关的程序生成画面400A也成为与生成机器人的控制程序时的程序生成画面400相同的画面结构。程序生成画面400A包含：图标显示区域200A，其显示与拍摄装置的控制有关的图标；以及程序生成区域300A，其用于生成与拍摄装置有关的功能的详细程序。与编辑机器人的控制程序时同样地，操作员从图标显示区域200A选择图标并通过拖拽操作排列到程序生成区域300A中，由此能够生成与拍摄装置的功能有关的详细的程序。
在图7的例子中，在图标显示区域200A中显示的图标包含表示与拍摄相关的功能的拍摄图标252、表示对象物的检测功能的检测图标253、以及表示校正量的计算的校正计算图标254。操作员能够选择在程序生成区域300A中配置的各图标来进行预定的操作，在程序生成画面400A的下部显示参数设定画面来进行详细的参数设定。在拍摄图标252的参数设定中，对以下的设定项目进行设定。
·曝光时间
·有无LED照明的点亮
·图像缩小率
在检测图标253的参数设定中，进行以下那样的设定项目的设定。另外，在下述设定项目中，“一致度的阈值”、“对比度的阈值”是与对象物检测的图像处理中的阈值相关的参数。
·使用的图像
·找到的形状
·一致度的阈值
·对比度的阈值
在校正计算图标254中，例如基于检测图标253的检测结果求出对象物在图像上的位置，将该图像上的位置变换为机器人坐标系的3维坐标，由此得到用于校正机器人的示教位置的校正量。
在图7的程序生成区域300A的程序(以下，记为可视化程序604)中，首先配置摄像图标252，接着配置相当于检测动作的辅助图标257，在该辅助图标257的框内配置有2个检测图标253。在该可视化程序604中，实现如下的动作。首先，通过拍摄图标252拍摄对象物。接着，通过检测的辅助图标257检测整个对象物的形状，通过辅助图标257内的2个检测图标253进行对象物上的特征(例如孔)的检测。由此，能够检测具有2个孔的对象物。接着，通过校正计算图标254求出对象物在机器人坐标系中的坐标，作为位置校正用数据。
(第二实施例)
接下来，说明与示教装置10进行的图标或命令语句的生成以及显示相关的第二实施例。在第二实施例中，示教装置10生成并显示命令语句(文本)，其表示使用由拍摄装置取得的图像的命令。图9表示由本实施方式的示教装置10生成的基于文本的程序生成画面400B的例子，作为比较例，图8表示一般的示教装置中的基于文本的程序生成画面140的例子。图8以及图9均表示在图1那样的具备2个拍摄装置的机器人***中用于执行相同动作的程序生成画面。
图9表示由本实施方式的示教装置10的程序编辑部13显示的程序生成画面400B。程序生成画面400B包含用于进行基于文本的编程的程序生成区域300B。通过在显示了程序生成画面400B的状态下经由示教装置10的输入装置19进行预定的操作(例如，按下在程序生成画面400B中显示的命令列表按钮(未图示)的操作)，能够显示用于显示命令语句的一览的弹出菜单200B。操作员通过使光标移动到程序生成区域300B上的所期望的行编号的位置并从弹出菜单200B选择所期望的命令语句，能够在光标的位置***命令语句。
按照图3的流程图，说明示教装置10进行的命令语句的生成以及显示处理。首先，通过启动示教装置10或者在示教装置10中进行用于打开程序生成画面的预定操作，来启动图3的处理。首先，示教装置10(程序编辑部13)打开程序生成画面400B(步骤S1)。接着，命令生成部11从机器人控制装置20取得与和机器人控制装置20连接的拍摄装置相关的信息(步骤S2)。在此，得到2台视觉传感器的信息。为了方便起见，将2台照相机设为照相机A、照相机B。命令生成部11针对2台照相机A、照相机B分别生成命令语句。例如，关于指示拍摄装置进行拍摄的命令即命令语句“视觉检测”，命令生成部11生成用于对照相机A、照相机B分别进行指令的命令语句“照相机A视觉检测”、“照相机B视觉检测”(步骤S3)。另外，关于用于从拍摄到的图像中检测对象物的位置的命令即命令语句“视觉校正数据取得”，命令生成部11生成用于分别对照相机A、照相机B进行指令的命令语句“照相机A视觉校正数据取得”、“照相机B视觉校正数据取得”(步骤S3、S4)。
接着，命令显示部12例如根据对于命令列表按钮(未图示)的选择操作，将命令生成部11生成的与拍摄装置的功能有关的命令语句即“照相机A视觉检测”、“照相机B视觉检测”、“照相机A视觉校正数据取得”、“照相机B视觉校正数据取得”和与机器人的控制相关的命令语句一起包含在弹出菜单200B中来进行显示(步骤S5)。操作员通过观察这样的弹出菜单200B(命令语句的一览)，能够瞬间掌握与机器人***连接的拍摄装置的种类、数量。另外，在图9中示出了将2台照相机表述为“照相机A”、“照相机B”的情况，但例如，也可以通过将“照相机A”的部分表述为“2D手持照相机”，将“照相机B”的部分表述为“3D固定照相机”，从而作为命令语句，将“2D手持照相机视觉检测”、“3D固定照相机视觉检测”、“2D手持照相机视觉校正数据取得”、“3D固定照相机视觉校正数据取得”包含在弹出菜单200B中。在该情况下，操作员能够掌握安装在机器人***100的拍摄装置的种类、数量以及设置场所。
通过反复进行从弹出菜单200B中显示的命令语句的列表中选择所期望的命令语句并***到光标所在的行中的编辑操作，操作员生成在程序生成区域300B中记述的控制程序。在此，通过直接指定照相机A的形式的命令语句(第3﹣4行)，进行基于照相机A的对象物的位置检测，实现一边基于检测出的位置进行机器人的位置校正一边抓持对象物的动作(6﹣10行)。另外，通过直接指定照相机B的形式的命令语句(第13﹣14行)，进行基于照相机B的对象物的位置检测，实现一边基于检测出的位置进行机器人的位置校正一边抓持对象物的动作(16﹣20行)。
另一方面，在一般的示教装置中，不进行针对每个拍摄装置生成命令语句的处理。因此，如图8所示，在一般的示教装置的程序生成画面140中，在显示命令语句的一览的弹出菜单120中，作为与拍摄装置相关的命令语句，停留在显示无法确定拍摄装置的形式的命令语句“视觉检测”、“视觉校正数据取得”。在该情况下，操作员例如在从弹出菜单120中选择命令语句“视觉检测”并***到程序生成区域130中之后，需要选择在该命令语句“视觉检测”中使用的照相机来作为参数。在这样的弹出菜单120中，操作员无法掌握安装在机器人***的拍摄装置的种类、数量、设置场所。
在上述实施方式中，对在机器人***配置了多个拍摄装置的情况进行了说明，但即使在机器人***中配置的拍摄装置为1台的情况下，在第一实施例(图4、图5)的情况下，在图标显示区域200显示选择了拍摄装置的状态的图标，在第二实施例(图9)的情况下，在弹出菜单200B中显示选择了拍摄装置的状态的命令语句。例如，在第一实施例的情况下，如果配置在机器人***的拍摄装置为1台(视觉传感器41)，则在图标显示区域200中显示图标201。另外，在第二实施例的情况下，如果配置在机器人***的拍摄装置为1台(照相机A)，则在弹出菜单200B中显示“照相机A视觉检测”、“照相机A视觉校正数据取得”。因此，即使在机器人***中配置的拍摄装置为1台的情况下，操作员也不需要进行作为针对图标或命令语句的详细设定而选择照相机的操作。
因此，根据本实施方式，在工业机械的控制程序的编程中，能够减轻操作员生成包含与拍摄装置的功能对应的命令的控制程序的负担。
以上，使用典型的实施方式说明了本发明，但只要是本领域技术人员，就能够理解在不脱离本发明的范围的情况下，能够对上述的各实施方式进行变更以及各种其他变更、省略、追加。
上述实施方式涉及机器人***中的控制程序的生成，但上述实施方式能够应用于在机床以及其他各种工业机械的控制装置上连接了1台以上的拍摄装置的***中的控制程序的编程装置。
图2所示的示教装置10的功能块既可以通过由示教装置10的CPU执行存储在存储装置的各种软件来实现，或者也可以通过以ASIC(Application Specific IntegratedCircuit：专用集成电路)等硬件为主体的结构来实现。
图2所示的功能框图的功能配置是例示，在示教装置10中配置的功能的一部分也可以配置在机器人控制装置20侧。
示教装置10(命令生成部11)从机器人控制装置20取得与拍摄装置有关的信息来进行图标或命令语句的生成的定时除了上述实施方式所记载的例子以外，还可以有将拍摄装置与机器人控制装置20连接的定时等各种例子。示教装置10(命令生成部11)从机器人控制装置20取得与拍摄装置有关的信息来进行图标或命令语句的生成的定时可以是示教装置10的启动时、拍摄装置向机器人控制装置20连接时、程序生成画面400被打开时等预定的启动定时中的任意一个，或者也可以是这些启动定时中的多个定时。
执行上述实施方式中的图3的命令生成以及显示处理的程序能够记录在计算机可读取的各种记录介质(例如，ROM、EEPROM、闪存等半导体存储器、磁记录介质、CD﹣ROM、DVD﹣ROM等光盘)中。
附图标记的说明
1对象物
2工作台
10示教装置
11命令生成部
12命令显示部
13程序编辑部
14程序生成部
18显示装置
19输入装置
20机器人控制装置
30机器人
41、42视觉传感器
31手
200图标显示区域
200B弹出菜单
300、300B程序生成区域
400、400B程序生成画面。

Claims (8)

1.一种编程装置，其用于进行工业机械的编程，其特征在于，
所述编程装置具备：
命令生成部，其取得与拍摄装置相关的信息，并基于取得的所述信息来生成图标或命令语句，其中，所述拍摄装置与所述工业机械的控制装置连接，所述图标或命令语句表示使用由所述拍摄装置取得的图像的命令；以及
命令显示部，其在显示画面上显示所生成的所述图标或所述命令语句。
2.根据权利要求1所述的编程装置，其特征在于，
所述命令生成部在包括所述编程装置启动时、所述拍摄装置向所述控制装置连接时以及程序生成画面被打开时在内的预定的启动定时中的任一个或多个定时，从与所述编程装置连接的所述控制装置取得与所述拍摄装置相关的信息。
3.根据权利要求1所述的编程装置，其特征在于，
所述命令生成部对应于经由所述编程装置的输入装置进行了用于启动程序生成画面的预定操作，从与所述编程装置连接的所述控制装置取得与所述拍摄装置相关的信息。
4.根据权利要求1至3中的任意一项所述的编程装置，其特征在于，
与所述拍摄装置相关的信息包含与所述拍摄装置的种类、设置场所以及所连接的端口的信息中的任一个或多个信息相关的信息。
5.根据权利要求4所述的编程装置，其特征在于，
与所述拍摄装置相关的信息是与和所述控制装置连接的多个所述拍摄装置相关的信息，
所述命令生成部以能够识别多个所述拍摄装置中的各个拍摄装置的表现形式来生成表示使用由多个所述拍摄装置分别取得的图像的命令的所述图标或所述命令语句。
6.根据权利要求5所述的编程装置，其特征在于，
与所述拍摄装置相关的信息包含与多个所述拍摄装置中的各个拍摄装置的种类相关的信息，
所述命令生成部以能够识别多个所述拍摄装置中的各个拍摄装置的种类的表现形式来生成表示使用由多个所述拍摄装置分别取得的图像的命令的所述图标或所述命令语句。
7.根据权利要求5或6所述的编程装置，其特征在于，
与所述拍摄装置相关的信息包含与多个所述拍摄装置中的各个拍摄装置的设置场所相关的信息，
所述命令生成部以能够识别多个所述拍摄装置中的各个拍摄装置的设置场所的表现形式来生成表示使用由多个所述拍摄装置分别取得的图像的命令的所述图标或所述命令语句。
8.根据权利要求1至7中的任意一项所述的编程装置，其特征在于，
所述编程装置还具备程序编辑部，该程序编辑部显示用于进行所述编程的程序生成画面，接受针对该程序生成画面的编辑操作，
所述命令生成部生成表示使用由所述拍摄装置取得的图像的命令的所述图标，
所述命令显示部将所生成的所述图标显示在所述程序生成画面内的预定的显示区域，
所述程序生成画面包含通过配置从所述预定的显示区域选择出的图标来生成程序的程序生成区域，
所述程序编辑部根据针对在所述程序生成区域中配置的所述图标的选择操作，显示与该选择出的图标对应的拍摄装置的实时图像。
CN202180040629.7A 2020-06-05 2021-06-01 编程装置 Pending CN115803155A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020098761 2020-06-05
JP2020-098761 2020-06-05
PCT/JP2021/020897 WO2021246416A1 (ja) 2020-06-05 2021-06-01 プログラミング装置

Publications (1)

Publication Number Publication Date
CN115803155A true CN115803155A (zh) 2023-03-14

Family

ID=78831173

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180040629.7A Pending CN115803155A (zh) 2020-06-05 2021-06-01 编程装置

Country Status (5)

Country Link
US (1) US20230219223A1 (zh)
JP (1) JPWO2021246416A1 (zh)
CN (1) CN115803155A (zh)
DE (1) DE112021003127T5 (zh)
WO (1) WO2021246416A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023112342A1 (ja) * 2021-12-17 2023-06-22 ファナック株式会社 教示装置、制御装置、及び機械システム
JP2023142042A (ja) * 2022-03-24 2023-10-05 エスペック株式会社 設定装置、プログラム、環境形成装置、及び設定方法
WO2023223395A1 (ja) * 2022-05-16 2023-11-23 ファナック株式会社 画像処理装置、ビジョンシステムおよび画像処理プログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08249026A (ja) * 1995-03-10 1996-09-27 Fanuc Ltd ロボットを含むシステムのプログラミング方法
JP3269005B2 (ja) * 1997-05-12 2002-03-25 川崎重工業株式会社 ロボット制御装置
US20060117324A1 (en) * 2002-12-19 2006-06-01 Koninklijke Philips Electronics N.V. System and method for controlling a robot
WO2020012558A1 (ja) 2018-07-10 2020-01-16 三菱電機株式会社 教示装置
EP3875230A4 (en) * 2018-11-01 2022-07-27 Canon Kabushiki Kaisha EXTERNAL INPUT DEVICE, ROBOT SYSTEM, CONTROL METHOD FOR ROBOT SYSTEM, CONTROL PROGRAM AND RECORDING MEDIA
CN111273572A (zh) * 2018-12-04 2020-06-12 北京猎户星空科技有限公司 一种动作分子模板的创建方法及装置、设备和存储介质

Also Published As

Publication number Publication date
WO2021246416A1 (ja) 2021-12-09
DE112021003127T5 (de) 2023-03-23
US20230219223A1 (en) 2023-07-13
JPWO2021246416A1 (zh) 2021-12-09

Similar Documents

Publication Publication Date Title
CN115803155A (zh) 编程装置
US10882189B2 (en) Control device and robot system
JP5838873B2 (ja) シミュレーション装置、シミュレーション方法、および、シミュレーションプログラム
US20160158937A1 (en) Robot system having augmented reality-compatible display
US10306149B2 (en) Image processing apparatus, robot system, robot, and image processing method
US20190202058A1 (en) Method of programming an industrial robot
JP7128933B2 (ja) 画像処理装置
JP6052372B2 (ja) シミュレーション装置、シミュレーション方法、および、シミュレーションプログラム
CN111225143B (zh) 图像处理装置及其控制方法以及程序存储介质
JP2022103189A (ja) 作業現場監視装置、作業現場監視システム、作業現場監視方法およびプログラム
JP2020082274A5 (zh)
JP2007071835A (ja) 画像測定装置用パートプログラム生成装置、画像測定装置用パートプログラム生成方法、及び画像測定装置用パートプログラム生成用プログラム
EP4075391A1 (en) Apparatus and method for generating virtual model
CN111609933B (zh) 分光检查方法、图像处理装置以及机器人***
CN112446287A (zh) 设置设备的控制处理过程的电子装置、方法和存储介质
US20240091927A1 (en) Teaching device
WO2021215333A1 (ja) プログラム編集装置
KR20210072463A (ko) 인간-머신 상호작용 방법 및 이를 위한 장치
CN116419827A (zh) 机器人控制装置以及机器人***
JP4544117B2 (ja) 制御情報生成装置
WO2023053368A1 (ja) 教示装置及びロボットシステム
CN114800482B (zh) 创建机器人的控制程序的方法、及其***、以及记录介质
JP2023077051A (ja) 設定装置及び設定方法
TW202247960A (zh) 教示裝置
CN117858785A (zh) 示教装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination