CN109421048A - 机器人*** - Google Patents

机器人*** Download PDF

Info

Publication number
CN109421048A
CN109421048A CN201810961409.8A CN201810961409A CN109421048A CN 109421048 A CN109421048 A CN 109421048A CN 201810961409 A CN201810961409 A CN 201810961409A CN 109421048 A CN109421048 A CN 109421048A
Authority
CN
China
Prior art keywords
robot
processed
filming apparatus
image
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810961409.8A
Other languages
English (en)
Other versions
CN109421048B (zh
Inventor
吉野圣
山田慎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of CN109421048A publication Critical patent/CN109421048A/zh
Application granted granted Critical
Publication of CN109421048B publication Critical patent/CN109421048B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/06—Control stands, e.g. consoles, switchboards
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/1605—Simulation of manipulator lay-out, design, modelling of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1689—Teleoperation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39451—Augmented reality for robot programming

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)
  • Numerical Control (AREA)

Abstract

本发明提供一种机器人***，其能够准确、短时间并且容易地确认与机器人、拍摄装置或者处理对象物的位置有关的设定信息的设定是否恰当。机器人***具备：对处理对象物进行预定的处理的机器人；拍摄处理对象物的拍摄装置；根据预先设定的与机器人、拍摄装置以及处理对象物的位置有关的信息以及由拍摄装置拍摄到的处理对象物的图像，进行机器人的移动目的地的位置修正使得跟踪处理对象物的机器人控制装置；以及提供AR空间的显示装置，机器人控制装置根据与机器人以及拍摄装置的位置有关的信息，计算拍摄装置的位置，显示装置根据计算出的拍摄装置的位置，在AR空间的对应位置显示模仿了拍摄装置的图像。

Description

机器人***
技术领域
本发明涉及一种机器人***，其根据由拍摄装置拍摄到的处理对象物的图像，来进行机器人的移动目的地的位置修正，使得跟踪处理对象物。
背景技术
在专利文献1以及2中，记载了根据由拍摄装置拍摄到的图像，来进行机器人的移动目的地的位置修正的机器人***。
在专利文献1中记载的机器人***根据由拍摄装置拍摄到的机器人的图像来生成机器人的CG影像，并在触摸屏上显示CG影像。机器人***根据用户的触摸操作使触摸屏上的CG影像的机器人虚拟地进行动作，跟踪虚拟的机器人的动作来使实际的机器人动作。
在专利文献2中记载的机器人***在显示装置中显示由拍摄装置拍摄到的处理对象物的图像。由此，作业者根据在显示装置中显示的处理对象物的图像，远程操作机器人的动作。
另外，例如在工业用用机器人***中，存在根据由拍摄装置拍摄到的处理对象物的图像，来进行机器人的移动目的地的位置修正，使得跟踪处理对象物的机器人***。在这样的机器人***中，预先设定了与机器人、拍摄装置以及处理对象物的位置有关的信息。
与机器人、拍摄装置以及处理对象物的位置有关的信息例如是：
(i)成为机器人的位置修正的基准的坐标系的原点以及各轴的方向、
(ii)成为机器人的位置修正的基准的机器人的位置(例如，后述的机器人的各关节的旋转角度或者平移量)、
(iii)机器人与拍摄装置的相对位置关系以及、
(iv)拍摄装置与处理对象物的距离。
在此，在典型的机器人中，例如将基部固定在地面或轨道上。由此，在本申请中，“移动”不是指机器人自身的输送，而是表示变更机器人的各关节的旋转量或平移量，使机器人的位置控制的对象部位(例如，机械臂前端部)的一点的位置移动。
如上所述，为了进行机器人的移动目的地的位置修正，需要预先设定与机器人、拍摄装置以及处理对象物的位置有关的信息。此时，如果设定了错误的信息，则虽然想要跟踪在拍摄图像内显示的处理对象物的位置来移动机器人，但机器人却进行未跟踪处理对象物的位置的不恰当的行为。因此，需要确认与机器人、拍摄装置以及处理对象物的位置有关的设定信息是否恰当。
在机器人***中，根据处理对象物的拍摄图像来计算机器人的位置修正量。作业者能够知道该计算出的机器人的位置修正量。但是，如上所述，机器人的位置的信息例如是多个关节的旋转角度或者平移量，因此，实际上为了正确地预测机器人移动到哪个位置，需要熟练的技能和注意力。因此，作业者的认识与机器人的移动之间容易产生差异，难以恰当地进行与机器人、拍摄装置以及处理对象物的位置有关的设定信息的设定。
如上所述，由于在机器人***的动作之前很难确认是否恰当地进行了设定信息的设定，因此考虑使机器人***实际地动作来进行确认。但是，当设定信息的设定错误时，存在机器人移动到不恰当的位置，机器人与作业者或***设备碰撞而产生伤害或损坏的问题。
另外，当处理对象物通过输送机等来进行移动时(跟踪时)，更难确认。例如，当使机器人***实际地动作来进行确认时，有时处理对象物的位置发生变化，处理对象物不在拍摄图像的视野内。
另外，为了避免上述机器人与作业者或者***设备的碰撞，可以考虑缓慢地使机器人移动，但是还需要减低输送机等的速度。如此，与机器人以外的设定调整有关的作业量会增加，因此更难掌握机器人的位置修正后的移动目的地。并且，设定信息的确认时间会变长。
专利文献1：日本特开2012-171024号公报
专利文献2：日本特开2004-213673号公报
发明内容
本发明的目的在于，提供一种机器人***，其能够准确、短时间并且容易地确认与机器人、拍摄装置或者处理对象物的位置有关的设定信息的设定是否恰当。
为了解决上述问题点，本发明的发明人找到了使用AR空间，使与机器人、拍摄装置或者处理对象物的位置有关的设定信息可视化。
关于这点，虽然在专利文献1以及2中记载了利用AR空间来进行机器人的位置控制，但是在专利文献1以及2所记载的机器人***中，并非使用包含机器人、拍摄装置以及处理对象物的AR空间，来确认与机器人、拍摄装置或者处理对象物的位置有关的设定信息的设定是否恰当。
(1)本发明所涉及的机器人***(例如，后述的机器人***1)具备：对处理对象物(例如，后述的工件W)进行预定的处理的机器人(例如，后述的机器人10)；拍摄所述处理对象物的拍摄装置(例如，后述的照相机20)；根据预先设定的与所述机器人、所述拍摄装置以及所述处理对象物的位置有关的信息以及由所述拍摄装置拍摄到的所述处理对象物的图像，进行所述机器人的移动目的地的位置修正，使得跟踪所述处理对象物的机器人控制装置(例如，后述的机器人控制装置40)；以及提供AR空间的显示装置(例如，后述的显示装置60)，所述机器人控制装置根据与所述机器人以及所述拍摄装置的位置有关的信息，计算所述拍摄装置的位置，所述显示装置根据计算出的所述拍摄装置的位置，在所述AR空间的对应位置显示模仿了所述拍摄装置的图像。
(2)在(1)所述的机器人***中，与所述机器人的位置有关的信息可以是(i)成为所述机器人的位置修正的基准的坐标系的原点以及各轴的方向、以及(ii)成为所述机器人的位置修正的基准的所述机器人的位置，与所述拍摄装置的位置有关的信息可以是(iii)所述机器人与所述拍摄装置的相对位置关系。
(3)本发明所涉及的另一机器人***(例如，后述的机器人***1)具备：对处理对象物(例如，后述的工件W)进行预定的处理的机器人(例如，后述的机器人10)；拍摄所述处理对象物的拍摄装置(例如，后述的照相机20)；根据预先设定的与所述机器人、所述拍摄装置以及所述处理对象物的位置有关的信息以及由所述拍摄装置拍摄到的所述处理对象物的图像，进行所述机器人的移动目的地的位置修正，使得跟踪所述处理对象物的机器人控制装置(例如，后述的机器人控制装置40)；以及提供AR空间的显示装置(例如，后述的显示装置60)，所述机器人控制装置根据与所述机器人、所述拍摄装置以及所述处理对象物的位置有关的信息以及由拍摄装置拍摄到的所述处理对象物的图像，计算所述处理对象物的位置，所述显示装置根据计算出的所述处理对象物的位置，在所述AR空间的对应位置显示由所述拍摄装置拍摄到的所述处理对象物的图像。
(4)在(3)所述的机器人***中，与所述机器人的位置有关的信息可以是(i)成为所述机器人的位置修正的基准的坐标系的原点以及各轴的方向、以及(ii)成为所述机器人的位置修正的基准的所述机器人的位置，与所述拍摄装置的位置有关的信息可以是(iii)所述机器人与所述拍摄装置的相对位置关系，与所述处理对象物的位置有关的信息可以是(iv)所述拍摄装置与所述处理对象物的距离。
(5)在(3)或者(4)所述的机器人***中，所述处理对象物可以在输送机上移动，所述机器人控制装置还根据所述处理对象物的移动速度，来计算所述处理对象物的位置。
(6)本发明所涉及的又一机器人***(例如，后述的机器人***1)具备：对处理对象物(例如，后述的工件W)进行预定的处理的机器人(例如，后述的机器人10)；拍摄所述处理对象物的拍摄装置(例如，后述的照相机20)；根据预先设定的与所述机器人、所述拍摄装置以及所述处理对象物的位置有关的信息以及由所述拍摄装置拍摄到的所述处理对象物的图像，进行所述机器人的移动目的地的位置修正，使得跟踪所述处理对象物的机器人控制装置(例如，后述的机器人控制装置40)；以及提供AR空间的显示装置(例如，后述的显示装置60)，与所述机器人的位置有关的信息包含成为所述机器人的位置修正的基准的坐标系的原点以及各轴的方向，所述显示装置显示对成为所述机器人的位置修正的基准的坐标系的原点以及各轴的方向进行了模仿的图像。
根据本发明，能够提供一种机器人***，其能够准确、短时间并且容易地确认与机器人、拍摄装置或者处理对象物的位置有关的设定信息的设定是否恰当。
附图说明
图1表示本实施方式的机器人***的结构。
图2表示图1所示的第1实施方式的机器人***的显示装置中显示的AR空间的一个例子。
图3是表示第1实施方式的机器人***的设定信息的确认动作的流程图。
图4表示图1所示的第2实施方式的机器人***的显示装置中显示的AR空间的一个例子。
图5是表示第2实施方式的机器人***的设定信息的确认动作的流程图。
图6表示图1所示的第3实施方式的机器人***的显示装置中显示的AR空间的一个例子。
图7是表示第3实施方式的机器人***的设定信息的确认动作的流程图。
附图标记说明
1 机器人***
10 机器人
12 机械臂
20 照相机(拍摄装置)
21 照相机的图像(模仿了拍摄装置的图像)
30 输送机
40 机器人控制装置
50 图像处理装置
60 显示装置
W 工件(处理对象物)
W1 工件的图像(处理对象物的图像)
XYZ 坐标系的图像(模仿了坐标系的图像)
具体实施方式
以下，参照附图对本发明的实施方式的一个例子进行说明。此外，在各附图中针对相同或者相应的部分赋予同一符号。
(第1实施方式)
图1表示第1实施方式的机器人***的结构。图1所示的机器人***1根据由照相机(拍摄装置)20拍摄到的工件(处理对象物)W的图像，来进行机器人10的机械臂12的前端部(位置控制的对象部位)的移动目的地的位置修正，使得跟踪工件W。
机器人***1具备机器人10、照相机20、输送机30、机器人控制装置40、图像处理装置50、以及AR显示装置60。
机器人10是用于进行工件W的检查、工件W的加工等预定处理的机器人。作为这样的机器人10，能够使用公知的机器人操作臂。在图1中，作为机器人10，例示了具有6个关节轴的操作臂。在该机器人10中，机械臂12的前端部是位置控制的对象部位。
照相机20被设置在机器人10的机械臂12的前端部。照相机20拍摄工件W，并将拍摄到的工件W的图像提供给机器人控制装置40。
工件W被设置在输送机30上。输送机30使工件W向预定的输送方向以预定速度进行移动。
机器人控制装置40预先设定了与机器人10、照相机20以及工件W的位置有关的信息。机器人控制装置40从照相机20取得由照相机20拍摄到的工件W的图像。机器人控制装置40例如从数值控制装置(未图示)取得动作指令(动作程序)。机器人控制装置40根据动作指令、与机器人10、照相机20以及工件W的位置有关的设定信息以及工件W的图像，来进行机器人10的机械臂12的前端部(位置控制的对象部位)的位置控制以及移动目的地的位置修正，使得跟踪工件W。
与机器人10的位置有关的设定信息例如是：
(i)成为机器人10的位置修正的基准的3维坐标系的原点以及各坐标轴的方向、以及
(ii)成为机器人10的位置修正的基准的机器人10的位置(例如，各关节的旋转角度或者平移量)。
与照相机20的位置有关的设定信息例如是：
(iii)机器人10与照相机20的相对位置关系。
与工件W的位置有关的设定信息例如是：
(iv)照相机20与工件W的距离。
另外，机器人控制装置40为了确认设定信息中的与机器人10以及照相机20的位置有关的设定信息的设定是否恰当，根据与机器人10以及照相机20的位置有关的设定信息(i)、(ii)、(iii)，来计算照相机20的位置。
图像处理装置50根据计算出的照相机20的位置生成图像数据，该图像数据用于在显示装置60的AR空间的对应位置绘制模仿了照相机20的照相机图像。
图像处理装置50可以包含在机器人控制装置40中。
显示装置60用于提供AR(Augmented Reality：增强现实)空间，该AR空间用于在真实空间中叠加显示虚拟的信息。作为显示装置60的一个例子，列举头戴式显示器。
图2表示在显示装置60中显示的AR空间的一个例子。如图2所示，显示装置60根据由图像处理装置50生成的图像数据，在包含机器人10、照相机20以及工件W的AR空间的对应位置，显示照相机的图像21。
上述机器人控制装置40以及图像处理装置50例如通过DSP(Digital SignalProcessor：数字信号处理器)、FPGA(Field-Programmable Gate Array：现场可编程门阵列)等运算处理器构成。机器人控制装置40以及图像处理装置50的各种功能例如可通过执行在存储部中保存的预定的软件(程序、应用程序)来实现。机器人控制装置40以及图像处理装置50的各种功能可通过硬件与软件的协作来实现，也可以仅通过硬件(电路)来实现。
另外，机器人控制装置40通过有线或无线与机器人10、照相机20以及图像处理装置50连接，并能够收发信息。另外，图像处理装置50通过有线或无线与显示装置60连接，并能够收发信息。
接着，参照图3，对第1实施方式的机器人***1的设定信息的确认动作进行说明。图3是表示第1实施方式的机器人***1的设定信息的确认动作的流程图。
首先，作业者在机器人10的机械臂12的前端部(位置控制的对象部位)设置照相机20。
接着，作业者在机器人控制装置40中登记与机器人10、照相机20以及工件W的位置有关的设定信息。如此，机器人控制装置40预先设定与机器人10、照相机20以及工件W的位置有关的设定信息(S11)。
与机器人10、照相机20以及工件W的位置有关的设定信息如上所述，是以下信息：
(i)成为机器人10的位置修正的基准的3维坐标系的原点以及各坐标轴的方向、
(ii)成为机器人10的位置修正的基准的机器人10的位置(例如，各关节的旋转角度或者平移量)、
(iii)机器人10与照相机20的相对位置关系以及、
(iv)照相机20与工件W的距离。
在本实施方式中，表示了作业者在机器人控制装置40中直接登记设定信息的一个例子，但是机器人控制装置40可以通过计算来求出机器人10、照相机20以及工件W的位置。例如，机器人控制装置40可以使用预先知道位置的照相机来拍摄机器人10、照相机20以及工件W被附加的标记，根据拍摄到的图像来计算机器人10、照相机20以及工件W的位置。
接着，机器人控制装置40根据与机器人10以及照相机20的位置有关的设定信息(i)、(ii)、(iii)，来计算照相机20的位置(S12)。
接着，图像处理装置50将计算出的照相机20的位置从机器人10的坐标系转换为显示装置60的AR空间的坐标系(S13)。
接着，图像处理装置50根据转换后的照相机20的位置生成图像数据，该图像数据用于在显示装置60的AR空间的对应位置绘制模仿了照相机20的照相机的图像21(S14)。
接着，如图2所示，显示装置60根据生成的图像数据，在包含机器人10、照相机20以及工件W的AR空间的对应位置显示照相机的图像21(S15)。
由此，佩戴了显示装置60的作业者能够在AR空间中，根据与实物的照相机20的位置相对的照相机的图像21的位置，来确认是否恰当地设定了设定信息。
例如，在实物的照相机20与照相机的图像21重合时，恰当地设定了设定信息。
另一方面，在照相机的图像21相对于实物的照相机20发生了偏移时，设定信息有可能错误。此时，重新设定与机器人10以及照相机20的位置有关的设定信息，然后再次进行上述的设定信息的确认动作。
在照相机的图像21相对于实物的照相机20发生了偏移时，有时照相机20的不恰当的设置，例如没有牢固地固定照相机20，或者镜头松弛成为原因。在该情况下，重新恰当地设置照相机20，然后再次进行上述的设定信息的确认动作。
如以上说明的那样，根据第1实施方式的机器人***1，机器人控制装置40根据与机器人10以及照相机20的位置有关的设定信息，来计算照相机20的位置，显示装置60根据计算出的照相机20的位置，在AR空间的对应位置显示模仿了照相机20的照相机的图像21。由此，能够使与机器人10以及照相机20的位置有关的设定信息可视化，能够准确、短时间并且容易地确认这些设定信息的设定是否恰当。
(第2实施方式)
在第1实施方式中，如图2所示，通过在AR空间中显示基于设定信息的照相机的图像21，进行了与机器人10以及照相机20的位置有关的设定信息的设定是否恰当的确认。在第2实施方式中，如图4所示，通过在AR空间中显示基于设定信息的工件的图像W1，来进行与机器人10、照相机20以及工件W的位置有关的设定信息的设定是否恰当的确认。
第2实施方式的机器人***1的结构与图1所示的第1实施方式的机器人***1的结构相同。此外，在第2实施方式的机器人***1中，机器人控制装置40、图像处理装置50以及显示装置60的功能以及动作与第1实施方式的机器人***1不同。
机器人控制装置40为了确认与机器人10、照相机20以及工件W的位置有关的设定信息的设定是否恰当，根据与机器人10、照相机20以及工件W的位置有关的设定信息(i)、(ii)、(iii)、(iv)以及由照相机20拍摄到的工件W的图像，来计算工件W的位置。
图像处理装置50根据计算出的工件W的位置生成图像数据，该图像数据用于在显示装置60的AR空间的对应位置绘制由照相机20拍摄到的工件W的图像。
图4表示在显示装置60中显示的AR空间的一个例子。如图4所示，显示装置60根据图像处理装置50生成的图像数据，在包含机器人10、照相机20以及工件W的AR空间的对应位置，显示工件的图像W1。
接着，参照图5对第2实施方式的机器人***1的设定信息的确认动作进行说明。图5是表示第2实施方式的机器人***1的设定信息的确认动作的流程图。
首先，作业者在机器人10的机械臂12的前端部(位置控制的对象部位)设置照相机20。
接着，作业者在机器人控制装置40中登记与机器人10、照相机20以及工件W的位置有关的设定信息。如此，机器人控制装置40预先设定与机器人10、照相机20以及工件W的位置有关的设定信息(S21)。
与机器人10、照相机20以及工件W的位置有关的设定信息如上所述，是以下信息：
(i)成为机器人10的位置修正的基准的3维坐标系的原点以及各坐标轴的方向、
(ii)成为机器人10的位置修正的基准的机器人10的位置(例如，各关节的旋转角度或者平移量)、
(iii)机器人10与照相机20的相对位置关系、以及
(iv)照相机20与工件W的距离。
接着，机器人控制装置40取得由照相机20拍摄到的工件W的图像(S22)。
接着，机器人控制装置40根据与机器人10、照相机20以及工件W的位置有关的设定信息(i)、(ii)、(iii)、(iv)以及取得的工件W的图像，来计算工件W的位置(S23)。
接着，图像处理装置50将计算出的工件W的位置从机器人10的坐标系转换为显示装置60的AR空间的坐标系(S24)。
接着，图像处理装置50根据转换后的工件W的位置生成图像数据，该图像数据用于在显示装置60的AR空间的对应位置绘制所取得的工件的图像W1(S25)。
接着，如图4所示，显示装置60根据生成的图像数据，在包含机器人10、照相机20以及工件W的AR空间的对应位置，显示工件的图像W1(S26)。
在这里，当为跟踪时，工件W通过输送机30而进行移动。因此，在步骤S23中，机器人控制装置40根据基于输送机30的工件W的移动速度，来计算工件W的位置。基于输送机30的工件W的移动速度可以预先设定，也可以使用速度传感器等来进行检测。
由此，在步骤S26中，如图4所示，显示装置60能够跟踪从照相机20的拍摄范围R进行了移动的工件W来显示工件的图像W1。
由此，佩戴了显示装置60的作业者在AR空间中，能够根据与实物的工件W的位置相对的工件的图像W1的位置，确认是否恰当地设定了设定信息。
例如，在实物的工件W与工件的图像W1重合时，恰当地设定了设定信息。
另一方面，当工件的图像W1相对于实物的工件W发生了偏移时，设定信息可能错误。在该情况下，重新设定与机器人10、照相机20以及工件W的位置有关的设定信息，再次进行上述的设定信息的确认动作。
此外，当工件的图像W1相对于实物的工件W发生了偏移时，有时照相机20的不恰当的设置，例如没有牢固地固定照相机20，或者镜头松弛成为原因。在该情况下，重新恰当地设置照相机20，并再次进行上述的设定信息的确认动作。
如以上说明的那样，根据第2实施方式的机器人***1，机器人控制装置40根据与机器人10、照相机20以及工件W的位置有关的信息以及由照相机20拍摄到的工件W的图像，计算工件W的位置，显示装置60根据计算出的工件W的位置，在AR空间的对应位置显示由照相机20拍摄到的工件的图像W1。由此，能够使与机器人10、照相机20以及工件W的位置有关的设定信息可视化，能够准确、短时间并且容易地确认这些设定信息的设定是否恰当。
另外，根据第2实施方式的机器人***1，即使在工件W通过输送机30而进行移动的跟踪中，机器人控制装置40根据基于输送机30的工件W的移动速度，来计算工件W的位置。由此，如图4所示，显示装置60能够跟踪从照相机20的拍摄范围R进行了移动的工件W来显示工件的图像W1。
(第3实施方式)
在第3实施方式中，如图6所示，通过在AR空间中显示基于设定信息的坐标系的图像XYZ，来进行与(i)成为机器人10的位置修正的基准的3维坐标系的原点以及各坐标轴的方向有关的设定信息的确认。
第3实施方式的机器人***1的结构与图1所示的第1实施方式的机器人***1的结构相同。此外，在第3实施方式的机器人***1中，机器人控制装置40、图像处理装置50以及显示装置60的功能以及动作与第1实施方式的机器人***1不同。
机器人控制装置40为了确认设定信息中的与(i)成为机器人10的位置修正的基准的3维坐标系的原点以及各坐标轴的方向有关的设定信息的设定是否恰当，向图像处理装置50发送该设定信息(i)。
图像处理装置50根据接收到的设定信息(i)生成图像数据，该图像数据用于在显示装置60的AR空间的对应位置绘制坐标系的图像。
图6表示在显示装置60中显示的AR空间的一个例子。如图6所示，显示装置60根据图像处理装置50生成的图像数据，在包含机器人10、照相机20以及工件W的AR空间的对应位置，显示坐标系的图像XYZ。
接着，参照图7对第3实施方式的机器人***1的设定信息的确认动作进行说明。图7是表示第3实施方式的机器人***1的设定信息的确认动作的流程图。
首先，作业者在机器人10的机械臂12的前端部(位置控制的对象部位)设置照相机20。
接着，作业者在机器人控制装置40中登记与机器人10、照相机20以及工件W的位置有关的设定信息。如此，机器人控制装置40预先设定与机器人10、照相机20以及工件W的位置有关的设定信息(S31)。
与机器人10、照相机20以及工件W的位置有关的设定信息如上所述，是以下信息：
(i)成为机器人10的位置修正的基准的3维坐标系的原点以及各坐标轴的方向、
(ii)成为机器人10的位置修正的基准的机器人10的位置(例如，各关节的旋转角度或者平移量)、
(iii)机器人10与照相机20的相对位置关系、以及
(iv)照相机20与工件W的距离。
接着，机器人控制装置40向图像处理装置50发送设定信息(i)(S32)。
接着，图像处理装置50将成为机器人10的位置修正的基准的3维坐标系的原点以及各3坐标轴的方向从机器人10的坐标系转换为显示装置60的AR空间的坐标系(S33)。
接着，图像处理装置50根据转换后的坐标系生成图像数据，该图像数据用于在显示装置60的AR空间的对应位置绘制坐标系的图像XYZ(S34)。
接着，如图6所示，显示装置60根据生成的图像数据，在包含机器人10、照相机20以及工件W的AR空间的对应位置，显示坐标系的图像XYZ(S35)。
如以上说明的那样，根据第3实施方式的机器人***1，显示装置60在AR空间的对应位置显示对(i)成为机器人10的位置修正的基准的坐标系的原点以及各轴的方向进行了模仿的坐标系的图像XYZ。由此，能够使与(i)成为机器人10的位置修正的基准的坐标系的原点以及各轴的方向有关的设定信息可视化，并能够准确、短时间并且容易地确认该设定信息(i)的设定是否恰当。
另外，能够一眼确认与坐标系有关的设定与作业者的认识之间是否一致。
以上，针对本发明的实施方式进行了说明，但是本发明并不限于上述实施方式。另外，关于本实施方式所记载的效果，列举了由本发明产生的最恰当的效果，但是本发明的效果并不限于本实施方式所记载的效果。
例如，在上述实施方式中，例示了将照相机20设置在机器人10的机械臂12的前端部的方式，但是并不限于此。本发明的特征还可以应用于将照相机20固定设置在与机器人10相独立地配置的支架等的方式。
另外，在上述实施方式中，作为拍摄装置20例示了照相机，但是并不限于此。作为拍摄装置20，可以使用视觉传感器等能够拍摄工件的图像的各种各样的拍摄装置。
另外，在上述实施方式中，作为显示装置60例示了头戴显示器，但是并不限于此。作为显示装置60，可以使用能够提供AR空间的各种各样的显示装置。
另外，在上述实施方式中，作为机器人***1例示了工业用机器人***，但是并不限于此。本发明的特征还可以应用于难以确认设定信息是否恰当的各种各样的机器人***的设定信息的确认。

Claims (6)

1.一种机器人***，其特征在于，具备：
机器人，其对处理对象物进行预定的处理；
拍摄装置，其拍摄所述处理对象物；
机器人控制装置，其根据预先设定的与所述机器人、所述拍摄装置以及所述处理对象物的位置有关的信息以及由所述拍摄装置拍摄到的所述处理对象物的图像，进行所述机器人的移动目的地的位置修正，使得跟踪所述处理对象物；以及
显示装置，其提供AR空间，
所述机器人控制装置根据与所述机器人以及所述拍摄装置的位置有关的信息，计算所述拍摄装置的位置，
所述显示装置根据计算出的所述拍摄装置的位置，在所述AR空间的对应位置显示模仿了所述拍摄装置的图像。
2.根据权利要求1所述的机器人***，其特征在于，
与所述机器人的位置有关的信息是成为所述机器人的位置修正的基准的坐标系的原点以及各轴的方向、以及成为所述机器人的位置修正的基准的所述机器人的位置，
与所述拍摄装置的位置有关的信息是所述机器人与所述拍摄装置的相对位置关系。
3.一种机器人***，其特征在于，具备：
机器人，其对处理对象物进行预定的处理；
拍摄装置，其拍摄所述处理对象物；
机器人控制装置，其根据预先设定的与所述机器人、所述拍摄装置以及所述处理对象物的位置有关的信息以及由所述拍摄装置拍摄到的所述处理对象物的图像，进行所述机器人的移动目的地的位置修正，使得跟踪所述处理对象物；以及
显示装置，其提供AR空间，
所述机器人控制装置根据与所述机器人、所述拍摄装置以及所述处理对象物的位置有关的信息以及由所述拍摄装置拍摄到的所述处理对象物的图像，计算所述处理对象物的位置，
所述显示装置根据计算出的所述处理对象物的位置，在所述AR空间的对应位置显示由所述拍摄装置拍摄到的所述处理对象物的图像。
4.根据权利要求3所述的机器人***，其特征在于，
与所述机器人的位置有关的信息是成为所述机器人的位置修正的基准的坐标系的原点以及各轴的方向、以及成为所述机器人的位置修正的基准的所述机器人的位置，
与所述拍摄装置的位置有关的信息是所述机器人与所述拍摄装置的相对位置关系，
与所述处理对象物的位置有关的信息是所述拍摄装置与所述处理对象物的距离。
5.根据权利要求3或4所述的机器人***，其特征在于，
所述处理对象物在输送机上移动，
所述机器人控制装置还根据所述处理对象物的移动速度，来计算所述处理对象物的位置。
6.一种机器人***，其特征在于，具备：
机器人，其对处理对象物进行预定的处理；
拍摄装置，其拍摄所述处理对象物；
机器人控制装置，其根据预先设定的与所述机器人、所述拍摄装置以及所述处理对象物的位置有关的信息以及由所述拍摄装置拍摄到的所述处理对象物的图像，进行所述机器人的移动目的地的位置修正，使得跟踪所述处理对象物；以及
显示装置，其提供AR空间，
与所述机器人的位置有关的信息包含成为所述机器人的位置修正的基准的坐标系的原点以及各轴的方向，
所述显示装置显示对成为所述机器人的位置修正的基准的坐标系的原点以及各轴的方向进行了模仿的图像。
CN201810961409.8A 2017-08-25 2018-08-22 机器人*** Active CN109421048B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-162670 2017-08-25
JP2017162670A JP6795471B2 (ja) 2017-08-25 2017-08-25 ロボットシステム

Publications (2)

Publication Number Publication Date
CN109421048A true CN109421048A (zh) 2019-03-05
CN109421048B CN109421048B (zh) 2023-06-02

Family

ID=65321867

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810961409.8A Active CN109421048B (zh) 2017-08-25 2018-08-22 机器人***

Country Status (4)

Country Link
US (2) US10786906B2 (zh)
JP (1) JP6795471B2 (zh)
CN (1) CN109421048B (zh)
DE (1) DE102018213985B4 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110127436A (zh) * 2019-06-04 2019-08-16 青岛大学 一种棉条自动输送***
CN110897717A (zh) * 2019-12-09 2020-03-24 苏州微创畅行机器人有限公司 导航手术***及其注册方法与电子设备
WO2021138940A1 (zh) * 2020-01-10 2021-07-15 中国电子科技集团公司第三十八研究所 面向增强和混合现实的远程虚实高精度匹配定位的方法
US11288877B2 (en) 2020-01-10 2022-03-29 38th Research Institute, China Electronics Technology Group Corp. Method for matching a virtual scene of a remote scene with a real scene for augmented reality and mixed reality

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7360406B2 (ja) * 2018-06-26 2023-10-12 ファナック アメリカ コーポレイション ロボット型ピッキングシステムのための拡張現実可視化
JP6856583B2 (ja) 2018-07-25 2021-04-07 ファナック株式会社 センシングシステム、作業システム、拡張現実画像の表示方法、拡張現実画像の記憶方法、およびプログラム
JP6856590B2 (ja) 2018-08-31 2021-04-07 ファナック株式会社 センシングシステム、作業システム、拡張現実画像の表示方法、およびプログラム
CN109834712B (zh) * 2019-03-01 2021-03-12 广东工业大学 一种机器人抓取顺序优化的方法
CN113597362B (zh) * 2019-03-25 2024-05-24 Abb瑞士股份有限公司 用于确定机器人坐标系与可移动装置坐标系之间的关系的方法和控制装置
JPWO2020203819A1 (ja) 2019-03-29 2021-10-14 株式会社Ihi 遠隔操作装置
US10906184B2 (en) * 2019-03-29 2021-02-02 Mujin, Inc. Method and control system for verifying and updating camera calibration for robot control
CN113103230A (zh) * 2021-03-30 2021-07-13 山东大学 一种基于处置机器人遥操作的人机交互***及方法
CN113601510B (zh) * 2021-08-17 2024-05-07 广东电网有限责任公司 基于双目视觉的机器人移动控制方法、装置、***及设备
EP4137279A1 (en) * 2021-08-20 2023-02-22 BHS Technologies GmbH Robotic imaging system and method for controlling a robotic device

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1957374A (zh) * 2005-03-02 2007-05-02 库卡罗伯特有限公司 确定与ar－物体光学重叠的方法和装置
CN102300680A (zh) * 2008-12-05 2011-12-28 本田技研工业株式会社 机器人手臂的控制方法
US20120113223A1 (en) * 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
JP2014180707A (ja) * 2013-03-18 2014-09-29 Yaskawa Electric Corp ロボット装置及び被加工物の製造方法
US20160059419A1 (en) * 2014-09-03 2016-03-03 Canon Kabushiki Kaisha Robot apparatus and method for controlling robot apparatus
CN205121556U (zh) * 2015-10-12 2016-03-30 中国科学院自动化研究所 机器人抓取***
CN105666505A (zh) * 2014-12-08 2016-06-15 发那科株式会社 具备扩展现实对应显示器的机器人***
JP2016209995A (ja) * 2016-06-22 2016-12-15 オムロン株式会社 画像処理装置および画像処理システム、ならびにそれらに向けられたガイダンス装置
CN106863295A (zh) * 2015-12-10 2017-06-20 发那科株式会社 机器人***

Family Cites Families (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5319443A (en) * 1991-03-07 1994-06-07 Fanuc Ltd Detected position correcting method
US5742263A (en) * 1995-12-18 1998-04-21 Telxon Corporation Head tracking system for a head mounted display system
JP4747410B2 (ja) * 2000-11-10 2011-08-17 ソニー株式会社 映像切替表示装置および映像切替表示方法
SE0203908D0 (sv) * 2002-12-30 2002-12-30 Abb Research Ltd An augmented reality system and method
JP4167954B2 (ja) * 2003-09-02 2008-10-22 ファナック株式会社 ロボット及びロボット移動方法
JP2008021092A (ja) * 2006-07-12 2008-01-31 Fanuc Ltd ロボットシステムのシミュレーション装置
JP4347386B2 (ja) * 2008-01-23 2009-10-21 ファナック株式会社 加工用ロボットプラグラムの作成装置
JP4565023B2 (ja) * 2008-07-04 2010-10-20 ファナック株式会社 物品取り出し装置
US20120022924A1 (en) * 2009-08-28 2012-01-26 Nicole Runnels Method and system for creating a personalized experience with video in connection with a stored value token
WO2011127646A1 (en) * 2010-04-13 2011-10-20 Nokia Corporation An apparatus, method, computer program and user interface
JP5246672B2 (ja) 2011-02-17 2013-07-24 独立行政法人科学技術振興機構 ロボットシステム
JP4989768B2 (ja) * 2011-02-24 2012-08-01 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法
JP5803155B2 (ja) * 2011-03-04 2015-11-04 セイコーエプソン株式会社 ロボット位置検出装置及びロボットシステム
GB201111138D0 (en) 2011-06-30 2011-08-17 Leman Micro Devices Uk Ltd Personal health data collection
JP5561260B2 (ja) * 2011-09-15 2014-07-30 株式会社安川電機 ロボットシステム及び撮像方法
JP5266377B2 (ja) * 2011-12-19 2013-08-21 ファナック株式会社 物品の姿勢を修正する機能を備えた取出し装置
US20130293580A1 (en) * 2012-05-01 2013-11-07 Zambala Lllp System and method for selecting targets in an augmented reality environment
US8996174B2 (en) * 2012-06-21 2015-03-31 Rethink Robotics, Inc. User interfaces for robot training
JP5670416B2 (ja) 2012-12-28 2015-02-18 ファナック株式会社 ロボットシステム表示装置
US9333649B1 (en) * 2013-03-15 2016-05-10 Industrial Perception, Inc. Object pickup strategies for a robotic device
NO336219B1 (no) * 2013-04-19 2015-06-15 Electric Friends As Anordning og fremgangsmåte for kamerastyring
JP6415026B2 (ja) * 2013-06-28 2018-10-31 キヤノン株式会社 干渉判定装置、干渉判定方法、コンピュータプログラム
CN104552292A (zh) * 2013-10-10 2015-04-29 精工爱普生株式会社 机器人控制***、机器人、程序以及机器人控制方法
JP6475409B2 (ja) * 2013-12-20 2019-02-27 蛇の目ミシン工業株式会社 ロボット、ロボットの制御方法、及びロボットの制御プログラム
JP5850962B2 (ja) * 2014-02-13 2016-02-03 ファナック株式会社 ビジュアルフィードバックを利用したロボットシステム
JP6379874B2 (ja) * 2014-08-29 2018-08-29 株式会社安川電機 ティーチングシステム、ロボットシステムおよびティーチング方法
JP6693718B2 (ja) * 2015-02-27 2020-05-13 株式会社ソニー・インタラクティブエンタテインメント 表示制御プログラム、表示制御装置、及び表示制御方法
JP6562665B2 (ja) * 2015-03-18 2019-08-21 蛇の目ミシン工業株式会社 ロボット
JP6596883B2 (ja) * 2015-03-31 2019-10-30 ソニー株式会社 ヘッドマウントディスプレイ及びヘッドマウントディスプレイの制御方法、並びにコンピューター・プログラム
US9916506B1 (en) * 2015-07-25 2018-03-13 X Development Llc Invisible fiducial markers on a robot to visualize the robot in augmented reality
JP6551184B2 (ja) * 2015-11-18 2019-07-31 オムロン株式会社 シミュレーション装置、シミュレーション方法、およびシミュレーションプログラム
EP3458919B1 (en) * 2016-05-19 2022-08-24 Deep Learning Robotics Ltd. Robot assisted object learning vision system
US10245724B2 (en) * 2016-06-09 2019-04-02 Shmuel Ur Innovation Ltd. System, method and product for utilizing prediction models of an environment
JP2018004950A (ja) * 2016-07-01 2018-01-11 フォーブ インコーポレーテッド 映像表示システム、映像表示方法、映像表示プログラム
US10723022B2 (en) * 2016-09-16 2020-07-28 Carbon Robotics, Inc. System and calibration, registration, and training methods
JP6707485B2 (ja) * 2017-03-22 2020-06-10 株式会社東芝 物体ハンドリング装置およびその較正方法
DE102018116413A1 (de) * 2017-07-12 2019-01-17 Fanuc Corporation Robotersystem
JP6734253B2 (ja) * 2017-12-20 2020-08-05 ファナック株式会社 ワークを撮像する視覚センサを備える撮像装置
JP7055657B2 (ja) * 2018-02-14 2022-04-18 川崎重工業株式会社 接続装置及び接続方法
JP7360406B2 (ja) * 2018-06-26 2023-10-12 ファナック アメリカ コーポレイション ロボット型ピッキングシステムのための拡張現実可視化
JP6856583B2 (ja) * 2018-07-25 2021-04-07 ファナック株式会社 センシングシステム、作業システム、拡張現実画像の表示方法、拡張現実画像の記憶方法、およびプログラム
JP6856590B2 (ja) * 2018-08-31 2021-04-07 ファナック株式会社 センシングシステム、作業システム、拡張現実画像の表示方法、およびプログラム
CN112638594B (zh) * 2018-09-10 2024-05-24 发纳科美国公司 机器人的连续路径的零示教
JP7490349B2 (ja) * 2018-11-01 2024-05-27 キヤノン株式会社 入力装置、入力装置の制御方法、ロボットシステム、ロボットシステムを用いた物品の製造方法、制御プログラム及び記録媒体
JP6836571B2 (ja) * 2018-11-14 2021-03-03 ファナック株式会社 ロボット装置
US20220026981A1 (en) * 2018-11-27 2022-01-27 Sony Group Corporation Information processing apparatus, method for processing information, and program
JP7277172B2 (ja) * 2019-02-26 2023-05-18 Juki株式会社 ミシン
US10369698B1 (en) * 2019-03-07 2019-08-06 Mujin, Inc. Method and system for performing automatic camera calibration for robot control
JP7222764B2 (ja) * 2019-03-18 2023-02-15 株式会社キーエンス 画像測定装置
US10399227B1 (en) * 2019-03-29 2019-09-03 Mujin, Inc. Method and control system for verifying and updating camera calibration for robot control
CN113905859B (zh) * 2019-07-12 2024-03-08 株式会社富士 机器人控制***及机器人控制方法
JP7306937B2 (ja) * 2019-09-25 2023-07-11 ファナック株式会社 ロボットに支持された部材の位置を調整するロボット装置の制御装置
US11875013B2 (en) * 2019-12-23 2024-01-16 Apple Inc. Devices, methods, and graphical user interfaces for displaying applications in three-dimensional environments
US11816754B2 (en) * 2020-03-13 2023-11-14 Omron Corporation Measurement parameter optimization method and device, and computer control program stored on computer-readable storage medium
US20210286502A1 (en) * 2020-03-16 2021-09-16 Apple Inc. Devices, Methods, and Graphical User Interfaces for Providing Computer-Generated Experiences
CH717263A1 (fr) * 2020-03-27 2021-09-30 Richemont Int Sa Loupe électronique d'horloger, ensemble de loupe électronique d'horloger et procédé pour effectuer un contrôle d'un produit horloger, notamment d'un mécanisme de montre.
AU2021290132C1 (en) * 2020-06-08 2024-04-18 Apple Inc. Presenting avatars in three-dimensional environments
CN113103230A (zh) * 2021-03-30 2021-07-13 山东大学 一种基于处置机器人遥操作的人机交互***及方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1957374A (zh) * 2005-03-02 2007-05-02 库卡罗伯特有限公司 确定与ar－物体光学重叠的方法和装置
CN102300680A (zh) * 2008-12-05 2011-12-28 本田技研工业株式会社 机器人手臂的控制方法
US20120113223A1 (en) * 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
JP2014180707A (ja) * 2013-03-18 2014-09-29 Yaskawa Electric Corp ロボット装置及び被加工物の製造方法
US20160059419A1 (en) * 2014-09-03 2016-03-03 Canon Kabushiki Kaisha Robot apparatus and method for controlling robot apparatus
CN105666505A (zh) * 2014-12-08 2016-06-15 发那科株式会社 具备扩展现实对应显示器的机器人***
CN205121556U (zh) * 2015-10-12 2016-03-30 中国科学院自动化研究所 机器人抓取***
CN106863295A (zh) * 2015-12-10 2017-06-20 发那科株式会社 机器人***
JP2016209995A (ja) * 2016-06-22 2016-12-15 オムロン株式会社 画像処理装置および画像処理システム、ならびにそれらに向けられたガイダンス装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110127436A (zh) * 2019-06-04 2019-08-16 青岛大学 一种棉条自动输送***
CN110897717A (zh) * 2019-12-09 2020-03-24 苏州微创畅行机器人有限公司 导航手术***及其注册方法与电子设备
CN110897717B (zh) * 2019-12-09 2021-06-18 苏州微创畅行机器人有限公司 导航手术***及其注册方法与电子设备
US11717351B2 (en) 2019-12-09 2023-08-08 Suzhou MicroPort Orthobot Co., Ltd. Navigation surgical system, registration method thereof and electronic device
WO2021138940A1 (zh) * 2020-01-10 2021-07-15 中国电子科技集团公司第三十八研究所 面向增强和混合现实的远程虚实高精度匹配定位的方法
US11288877B2 (en) 2020-01-10 2022-03-29 38th Research Institute, China Electronics Technology Group Corp. Method for matching a virtual scene of a remote scene with a real scene for augmented reality and mixed reality

Also Published As

Publication number Publication date
JP2019038075A (ja) 2019-03-14
US10786906B2 (en) 2020-09-29
DE102018213985B4 (de) 2022-09-29
US11565427B2 (en) 2023-01-31
US20200368918A1 (en) 2020-11-26
CN109421048B (zh) 2023-06-02
DE102018213985A1 (de) 2019-02-28
US20190061167A1 (en) 2019-02-28
JP6795471B2 (ja) 2020-12-02

Similar Documents

Publication Publication Date Title
CN109421048A (zh) 机器人***
CN106863295B (zh) 机器人***
JP6814735B2 (ja) 遠隔操縦マニピュレータシステム及びその運転方法
US10857673B2 (en) Device, method, program and recording medium, for simulation of article arraying operation performed by robot
US20180126557A1 (en) Method for industrial robot commissioning, industrial robot system and control system using the same
JP7396872B2 (ja) 拡張現実を用いたシミュレーション装置及びロボットシステム
US8406923B2 (en) Apparatus for determining pickup pose of robot arm with camera
JP7027299B2 (ja) ビジョンベース操作システムのキャリブレーション及びオペレーション
JP6863927B2 (ja) ロボットのシミュレーション装置
US11992960B2 (en) Robot system, control apparatus of robot system, control method of robot system, imaging apparatus, and storage medium
EP3822923B1 (en) Maintenance assistance system, maintenance assistance method, program, method for generating processed image, and processed image
JP3644991B2 (ja) ロボット−センサシステムにおける座標系結合方法
EP3610996A1 (en) Robot system and method for operating same
JP2009269134A (ja) 視覚検査装置のシミュレーション装置
KR102518766B1 (ko) 데이터 생성 장치, 데이터 생성 방법, 데이터 생성 프로그램 및 원격 조작 시스템
JP2020142323A (ja) ロボット制御装置、ロボット制御方法、及びロボット制御プログラム
JP2019063953A (ja) 作業システム、作業システムの制御方法及びプログラム
US20210064009A1 (en) Conveyance simulation device and conveyance system
CN110900606B (zh) 一种基于小型机械臂手眼联动***及其控制方法
JP2018158429A (ja) ロボットシステム
TWI822314B (zh) 焊接線檢測系統
JP2012022600A (ja) マスク画像作成システム
KR20170089575A (ko) 증강 현실을 이용한 물류 관리 시스템
Fu et al. Virtualized welding: a new paradigm for tele-operated welding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant