CN113056351A - 外部输入设备、机器人***、机器人***的控制方法、控制程序及记录介质 - Google Patents

外部输入设备、机器人***、机器人***的控制方法、控制程序及记录介质 Download PDF

Info

Publication number
CN113056351A
CN113056351A CN201980072346.3A CN201980072346A CN113056351A CN 113056351 A CN113056351 A CN 113056351A CN 201980072346 A CN201980072346 A CN 201980072346A CN 113056351 A CN113056351 A CN 113056351A
Authority
CN
China
Prior art keywords
robot
image
external input
image pickup
display unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980072346.3A
Other languages
English (en)
Inventor
三村敏彦
大竹一树
天野新吾
渡边庆
德永泰明
小久保智
铃木秀明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN113056351A publication Critical patent/CN113056351A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231—Monitoring the presence, absence or movement of users
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/06—Control stands, e.g. consoles, switchboards
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/081—Touching devices, e.g. pressure-sensitive
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/42—Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine
    • G05B19/425—Teaching successive positions by numerical control, i.e. commands being entered to control the positioning servo of the tool head or end effector
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/3296—Power saving characterised by the action undertaken by lowering the supply or operating voltage
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G06F3/04855—Interaction with scrollbars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/36—Nc in input of data, input key till input tape
    • G05B2219/36168—Touchscreen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)

Abstract

外部输入设备用于操作机器人***，所述机器人***具有机器人设备和具有可变摄像视点的摄像设备。所采用的外部输入设备特征在于具有：显示区域；机器人设备操作单元，其用于操作所述机器人设备；摄像操作单元，其用于操作所述摄像设备；以及图像显示单元，其用于有所述摄像设备拍摄的图像，其中，在显示区域中显示机器人设备操作单元、摄像操作单元以及图像显示单元，并且图像显示单元布置在机器人设备操作单元与摄像操作单元之间。

Description

外部输入设备、机器人***、机器人***的控制方法、控制程 序及记录介质
技术领域
本发明涉及一种包括摄像装置的机器人***。
背景技术
通过使用摄像装置来监视机器人装置的机器人***近年来备受关注。
例如，在专利文献1(PTL1)中，向摄像装置提供摇摄(pan)和倾斜(tilt)功能，使得摄像装置具有增大的摄像范围。因此，通过根据需要充分利用摄像装置的摆动功能和变焦功能，摄像装置可用于在各种方向上显示机器人装置，并监视机器人装置的各种场景。
在专利文献2(PTL2)中讨论的机器人***中，来自安装在机器人手等上的摄像装置的图像被显示在诸如教示平板电脑的外部输入设备上。然后，操作者在从机器人手的视点观看图像的同时操纵机器人手，并且通过使用外部输入设备来教示机器人臂的开始和结束位置。
因此，通过在操作者从具有宽摄像范围的摄像装置观看图像同时对机器人装置进行教示，可以在对操作者有危险的位置或操作者无法到达的地方进行教示。
引文表
专利文献
PTL1：日本专利特开第2018-107786号公报
PTL2：日本专利特开第2009-000782号公报
发明内容
技术问题
然而，在PTL2中讨论的机器人***中，显示来自摄像装置的图像的监视器仅包括在诸如教示面板的外部输入设备中。
因此，对于使用包括用于显示图像的显示单元(例如监视器)的单个外部输入设备的对摄像装置和机器人装置的操作，没有讨论在外部输入设备中可以包括什么样的用户界面(下文中，UI)。
鉴于上述内容，本发明的目的是提供在通过使用包括用于显示图像的监视器的单个外部输入设备来操作摄像装置和机器人装置时具有用户友好的UI的外部输入设备。
解决方案
鉴于上述问题，采用了一种外部输入设备，所述外部输入设备被构造为操作机器人***，所述机器人***包括能够改变摄像视点的摄像装置和机器人装置，所述外部输入设备包括：显示区域；机器人装置操作单元，其被构造为操作机器人装置；摄像操作单元，其被构造为操作摄像装置；以及图像显示单元，其被构造为显示由摄像装置拍摄的图像，其中，在所述显示区域上显示所述机器人装置操作单元、所述摄像操作单元和所述图像显示单元，并且其中，所述图像显示单元布设在所述机器人装置操作单元与所述摄像操作单元之间。
发明的有利效果
根据本发明，当操作者在观看来自摄像装置的图像的同时教示机器人装置时，即使机器人装置的位置相继改变，也能够通过使用图像显示单元、摄像操作单元和机器人装置操作单元容易地调整摄像视点。
因此，操作者可以在图像显示单元中核查摄像视点的同时通过使用机器人装置操作单元在各个教示点处教示机器人装置，并且通过使用摄像操作单元来调整摄像装置。
由于通过使用同一设备可以对机器人装置做教示操作和对摄像装置做教示操作并且可以观察来自摄像装置的图像，因此可以提供用户友好的外部输入设备。
附图说明
[图1]图1是示出根据本示例性实施例的机器人***1000的构造的图。
[图2]图2是示出根据本示例性实施例的机器人装置1的构造的图。
[图3]图3是示出根据示例性实施例的外部输入设备130的构造的图。
[图4]图4是示出根据本示例性实施例的摄像装置2的构造的图。
[图5]图5是根据本示例性实施例的机器人***1000的控制框图。
[图6]图6是示出根据第一示例性实施例的外部输入设备130的图。
[图7]图7是示出根据第二示例性实施例的外部输入设备130的图。
[图8]图8是示出根据第二示例性实施例的控制过程的流程图。
[图9]图9是示出根据第三示例性实施例的控制过程的流程图。
[图10]图10是示出根据第三示例性实施例的外部输入设备130的图。
[图11]图11是示出根据第四示例性实施例的机器人***2000的图。
[图12]图12是示出根据第四示例性实施例的外部输入设备130的图。
[图13]图13是示出根据第四示例性实施例的摄像装置A与机器人装置201之间的相对姿势(orientation)的说明图。
[图14A]图14A是当来自根据第五示例性实施例的摄像装置2的图像上下颠倒时的说明图。
[图14B]图14B是当来自根据第五示例性实施例的摄像装置2的图像上下颠倒时的说明图。
[图15]图15是示出根据第五示例性实施例的外部输入设备130的图。
[图16A]图16A是示出当根据第五示例性实施例的图像显示部205具有上下颠倒的图像时的情况的图。
[图16B]图16B是示出当根据第五示例性实施例的图像显示部205具有上下颠倒的图像时的情况的图。
[图17A]图17A是示出当进行根据第五示例性实施例的图像显示部205的自动竖直图像翻转时的情况的说明图。
[图17B]图17B是示出当进行根据第五示例性实施例的图像显示部205的自动竖直图像翻转时的情况的说明图。
[图17C]图17C是示出当进行根据第五示例性实施例的图像显示部205的自动竖直图像翻转时的情况的说明图。
[图18A]图18A是示出当通过多点触摸(multi-touch)进行根据第五示例性实施例的图像显示部205的图像旋转时的情况的说明图。
[图18B]图18B是示出当通过多点触摸进行根据第五示例性实施例的图像显示部205的图像旋转时的情况的说明图。
[图19A]图19A是示出根据第六示例性实施例的外部输入设备130的图。
[图19B]图19B是示出根据第六示例性实施例的外部输入设备130的图。
[图20A]图20A是示出根据第七示例性实施例的外部输入设备130的图。
[图20B]图20B是示出根据第七示例性实施例的外部输入设备130的图。
[图21]图21是示出根据第八示例性实施例的机器人***2000的图。
[图22A]图22A是示出根据第八示例性实施例的外部输入设备130的图。
[图22B]图22B是示出根据第八示例性实施例的外部输入设备130的图。
[图22C]图22C是示出根据第八示例性实施例的外部输入设备130的图。
[图23]图23是示出根据第八示例性实施例的外部输入设备130的图。
[图24]图24是示出根据第八示例性实施例的外部输入设备130的图。
[图25]图25是示出根据第八示例性实施例的外部输入设备130的图。
[图26]图26是示出根据第八示例性实施例的外部输入设备130的图。
[图27]图27是示出根据第九示例性实施例的控制过程的流程图。
[图28]图28是示出根据第九示例性实施例的外部输入设备130的图。
[图29]图29是示出根据第十示例性实施例的外部输入设备130的图。
[图30]图30是示出根据第十示例性实施例的控制过程的流程图。
[图31]图31是示出根据第十一示例性实施例的机器人***3000的图。
[图32]图32是示出根据第十一示例性实施例的外部输入设备130的图。
[图33]图33是示出根据第十一示例性实施例的外部输入设备130的图。
[图34]图34是示出根据第十二示例性实施例的外部输入设备130的图。
[图35]图35是示出根据第十二示例性实施例的外部输入设备130的图。
[图36]图36是示出根据第十二示例性实施例的外部输入设备130的图。
[图37]图37是示出根据第十三示例性实施例的外部输入设备130的图。
[图38]图38是示出根据第十四示例性实施例的外部输入设备130的图。
[图39]图39是示出根据第十四示例性实施例的外部输入设备130的图。
[图40]图40是示出根据第十五示例性实施例的外部输入设备130的图。
[图41]图41是示出根据第十五示例性实施例的外部输入设备130的图。
具体实施方式
下面将参照附图描述用于实施本发明的模式。下面描述的示例性实施例仅是示例。例如，本领域技术人员可以在不脱离本发明要旨的情况下适当地修改详细构造。在本示例性实施例中描述的数值是参考值，并且不旨在限定本发明。
(第一示例性实施例)
图1是示出根据本示例性实施例的机器人***1000的示意性构造的图。在本示例性实施例中，将描述机器人装置1从带式传送机900取走沿箭头P的方向传送的工件Wa至Wd并放置到托盘152上的操作的示例情况。
机器人***1000包括机器人装置1、用于拍摄机器人装置1的状态图像的摄像装置2、用于控制机器人装置1和摄像装置2的控制装置13、以及用于教示机器人装置1和摄像装置2的外部输入设备130。
在图1中，摄像装置2安装在柱155上，摄像装置2拍摄机器人装置1及周边的工件的图像，并且来自摄像装置2的图像被显示在用作外部输入设备130的显示区域的显示单元131上。
图2是示出根据本示例性实施例的机器人装置1的构造的图。在本示例性实施例中，将通过使用六轴多关节机器人作为示例来描述机器人装置。
在图2中，机器人装置1包括基座10、包括六个关节J1至J6的机器人臂主体50、以及用于抓握工件的末端执行器11。机器人装置1经由线缆12连接到控制装置13。
机器人臂主体50包括以例如串联连杆形式经由多个关节(六轴)相互连接的多个连杆。机器人臂主体50的连杆51、52、53、54、55、56经由关节J1、J2、J3、J4、J5、J6驱动。关节包括未示出的电机作为各自的驱动源。
用于在生产线中进行组装操作或移动操作的机器人手适用于连接到机器人臂主体50的末端的末端执行器11。
末端执行器11可以通过半固定手段(例如，螺钉固定)或者通过可拆卸手段(例如，闩锁固定)附接到连杆56上。
特别地，如果末端执行器11是可拆卸地附接的，则可以采用以下方法：通过机器人臂主体50本身的操作来控制机器人臂主体50以附接、拆卸或互换布置在供给位置中的不同的末端执行器11。
此外，在本示例性实施例中，关节J1至J6包括各自未示出的扭矩传感器和编码器，以使得能够对各关节的驱动进行反馈控制。
在本示例性实施例中，将以包括三个手指的机器手为例来描述末端执行器11。虽然在本示例性实施例中，手指机器人手被描述为示例，但可以单独使用能够操作工件的其他机构，例如包括代替手指的吸吮机构并保持工件的末端执行器。
控制装置13包括中央处理单元(CPU)，该中央处理器单元包括微处理器等。此外，外部输入设备130连接到控制装置13，该外部输入设备130由教示操作者使用以在机器人装置1附近教示机器人装置1和摄像装置2。
操作者通过使用外部输入设备130将指令值输入到控制装置13，并且控制值从控制装置13传递到机器人臂主体50和末端执行器11，由此机器人装置1进行诸如将工件放置到托盘152上的操作。
在机器人装置1的周围安装有防护壁154。防护壁154是为了安全而配设的，使得工件或工作人员不会与机器人装置1接触。
控制装置13还包括只读存储器(ROM)，该只读存储器(ROM)存储用于基于机器人臂主体50的各种操作来控制相应的驱动单元的程序以及这种控制所需的数据。控制装置13还包括随机存取存储器(RAM)，该随机存取存储器加载了在控制机器人臂主体50时所需的数据、设置值和程序等，并且用作CPU的工作区域。
图3是示出由教示操作者使用以教示机器人装置1和摄像装置2的外部输入设备130的图。外部输入设备130包括显示单元131。在本示例性实施例中，将描述作为外部输入设备的示例的教示平板电脑。
显示单元131显示用于教示机器人装置1和摄像装置2操作的界面、由摄像装置2拍摄的图像等。
显示单元131是触摸面板显示器。操作者可以通过在显示单元131上进行触摸操作等将指令值输入到机器人装置1和摄像装置2中。
因此，操作者可以基于显示单元131上显示的信息，通过在显示区域上进行触摸操作来输入指令值，并且教示机器人装置1和摄像装置2操作。
图4是示出摄像装置2的构造的图。在本示例性实施例中，将描述能够摇摄、倾斜和变焦的摇摄-倾斜照相机作为摄像装置2的示例。
摄像装置2包括照相机基座20、可移动单元21和在可移动单元21内部的摄像单元22。
可移动单元21包括倾斜电机，并且摄像单元22经由诸如轴和轴承的传动机构布设，并且因此摄像单元22可以在箭头A所示的倾斜方向上旋转。
可移动单元21还包括摇摄电机。摄像单元22经由诸如轴和轴承的传动机构布设，使得摄像单元22能够在箭头B所示的摇摄方向上旋转。
摄像装置2可以通过驱动摇摄电机和倾斜电机来改变摄像视点并拍摄图像。记录用于将摇摄电机和倾斜电机驱动到给定的摄像视点和摄像视野并利用在指定位置的摄像单元22拍摄图像的操作被称为教示摄像装置2。
摄像装置2还包括用于连接到控制装置13的线缆23，并且经由线缆23连接到控制装置13。
因此，摄像装置2可以通过使用可移动单元21来拍摄机器人装置1及其附近的预定位置的图像，并且可以经由控制装置13将该图像显示在外部输入设备130的显示单元131上。
图5示出了在本示例性实施例中使用的机器人***1000的控制框图。
在图5中，控制装置13中包括的CPU 112、ROM 113、RAM 115和HDD 116连接到用于发送信息的总线111。
为了控制摄像装置2中所包括的摇摄电机和倾斜电机的驱动，各电机的未示出的驱动器经由接口117进一步连接到总线111。
对机器人装置1的机器人臂主体50中的关节的电机123至电机128进行控制的伺服控制单元122经由接口119也连接到总线111。
外部输入设备130中所包括的供操作者向机器人装置1和摄像装置2给出指令的显示单元131经由接口118也连接到总线111。
因此，机器人***1000中所包括的机器人装置1、摄像装置2、外部输入设备130和控制装置13可以经由总线111彼此通信。
这使得操作者能够向机器人装置1和摄像装置2发送指令值，并且经由外部输入设备130并行地控制机器人装置1和摄像装置2。
下面将详细描述根据本示例性实施例的外部输入设备130的UI的示例。在本示例性实施例中，将描述适合于使用在外部输入设备130上显示的来自摄像装置2的图像，通过使用外部输入设备130，对机器人装置1和摄像装置2进行校准操作和教示操作的UI的示例。
图6示出了显示在显示单元131上的画面的示例。显示单元131显示用于控制和教示机器人装置1的姿势的机器人装置操作部101和用于控制和教示摄像装置2的摇摄电机和倾斜电机的摄像操作部105。
机器人装置操作部101包括用于在给定坐标系中沿X、Y、Z方向移动末端执行器11的末端执行器操作按钮102、以及用于分别操作各关节J1至J6的旋转量的关节操作按钮103。
摄像操作部包括用于摄像装置2的摇摄和倾斜操作的视点操作按钮106，以及用于进行放大(zoom-in)和缩小(zoom-out)操作的变焦操作按钮107。
在机器人装置操作部101与摄像操作部105之间还显示用于显示由摄像装置2拍摄的图像的图像显示部104。
一般而言，摄像装置在机器人***中的作用包括测量待处理的工件的位置、检查待加工的工件、以及检查机器人装置的组装操作或加工操作。
因此，期望摄像装置连续拍摄机器人装置的末端执行器附近的图像。然而，机器人装置的末端执行器的可移动范围依据教示的操作可以是宽广的。
在这种情况下，具有能够自由地改变摄像视点的方向的摇摄和倾斜功能的摄像装置是有用的。
如图6所示，在用于输入教示指令值的外部输入设备130上，机器人装置操作部101、摄像操作部105和图像显示部104都显示在同一显示单元上，因此可以接受来自操作者的输入。
因此，即使在操作者在观看来自摄像装置的图像的同时教示机器人装置时末端执行器的位置相继改变的情况下，也可以通过使用图像显示部104和摄像操作部105容易地调整摄像视点。
因此，操作者可以在图像显示部104中核查摄像视点的同时，通过使用机器人装置操作部101在各个教示点处教示机器人装置，并且通过使用摄像操作部105与机器人装置1联动地调整摄像装置2。
由于可以对机器人装置1做教示操作和对摄像装置2做教示操作，并且可以在同一画面上观察来自摄像装置2的图像，因此可以提供用户友好的输入设备。
在图像显示部104的左侧或右侧显示机器人装置操作部101，在另一侧显示摄像操作部105。由此，当操作者保持外部输入设备130时，操作部分可以与操作者的左手和右手接触。由于操作者的手指可以容易地到达操作部分，因此可以进一步提高外部输入设备130的可操作性。机器人装置操作部101、摄像操作部105和图像显示部104的显示位置可以依据操作者的手的大小等而适当地改变。
(第二示例性实施例)
在前述第一示例性实施例中，外部输入设备被构造为使得可以对机器人装置1做教示操作和对摄像装置2做教示操作，并且可以在同一画面上观察摄像装置2的图像，由此提高了操作者操作的便利性。
除了前述内容，在本示例性实施例中，外部输入设备的UI可以确保操作者的安全。
下面将示出和描述与第一示例性实施例在硬件和控制***构造上的区别。与第一示例性实施例类似的部分将具有类似的构造并且能够进行与前述类似的操作，并且将省略其详细描述。
图7示出了根据本示例性实施例的显示单元131上显示的画面。与第一示例性实施例的不同之处在于，显示单元131的摄像操作部105包括用于将面部认证功能在启用与禁用之间切换的面部认证按钮108。
例如，在操作者频繁接近机器人装置的机器人***的情况下，应确保防止操作者受伤。
为此，需要对机器人装置的驱动速度设置安全上限。这可以通过在来自摄像装置的图像中检测到操作者的存在的情况下实施降低机器人装置的驱动速度的警示功能来实现。
然而，当教示机器人装置时，操作者通常走近机器人装置，并且操作者的图像被摄像装置拍摄。
这启动了警示功能，并且由于在机器人装置的驱动速度降低的情况下进行教示操作，所以教示操作的效率下降。
在本示例性实施例中，从来自摄像装置2的图像中识别预先登记的教示操作者的面部。
教示操作者的面部的数据被预先记录在诸如HDD 116的存储单元中。在按下面部认证按钮108的情况下，将认证程序加载到RAM 115中，并且进行面部认证操作。图8是根据本示例性实施例的认证程序的流程图。通过按下面部认证按钮108而开始图8的处理过程。虽然这些处理过程被描述为由控制装置13执行，但外部输入设备130可以包括其他控制设备并执行处理过程。
在步骤S1中，控制装置13首先从HDD 116读取面部数据。
在步骤S2中，控制装置13从摄像装置2当前拍摄的图像中检测面部。
在步骤S3中，控制装置13确定检测到的面部是否与先前记录的关于教示操作者的面部的数据匹配。如果检测到的面部与面部数据匹配(步骤S3中为“是”)，则处理进入步骤S5。如果不匹配(步骤S3中为“否”)，则处理进入步骤S5。
在步骤S5中，可以确定教示机器人装置1的操作者是对来自机器人装置1的危险和安全措施经过了良好训练的操作者，并且可以确定机器人装置1与操作者之间的接触风险低。因此，警示功能不一定需要启用。因此，控制装置13在不降低机器人装置的驱动速度的情况下终止面部认证程序。
同时，在步骤S6中，可以确定在机器人装置1附近的操作者是对来自机器人装置1的危险或安全措施没有经过良好训练的操作者，并且在机器人装置1与操作者之间存在接触的可能性。因此，需要启用警示功能，以确保操作者的安全。因此，控制装置13降低并限制机器人装置1的驱动速度，并且终止面部认证程序。
通过这种方式，在需要时可以进行警示功能。由于熟练的操作者能够在教示机器人装置时以高的驱动速度做教示操作，因此能够提高教示操作的效率。
在外部输入设备130识别出设置了教示模式时，而不是面部认证按钮108，可以开始图8的处理过程。
(第三示例性实施例)
接下来，作为第三示例性实施例，将描述适合于使用在外部输入设备130上显示的来自摄像装置2的图像，通过使用外部输入设备130，对机器人装置1和摄像装置2进行校准操作和教示操作的UI的示例。
在本示例性实施例中，将描述适合于由摄像装置2与机器人装置1的操作同步地拍摄机器人装置1的图像的UI的示例。
下面将示出和描述与前述示例性实施例在硬件和控制***构造上的区别。与第一示例性实施例的部分类似的部分将具有类似的构造并且能够进行与前述类似的操作，并且将省略其详细描述。
将以以下情况为例描述本示例型实施例，在该情况下，摄像装置2与机器人装置1从带式传送机900依次将沿箭头P的方向传送的工件Wa至Wd放置到托盘152上的操作同步地拍摄图像。下面将详细描述机器人装置1的操作和摄像装置2的同步操作。
首先，在机器人装置1抓握带式传送机900上的工件的时刻，摄像装置2驱动摇摄电机和倾斜电机以改变视点，并拍摄托盘152的图像。
通过对拍摄的图像进行图像处理来检测托盘上存在或不存在工件。机器人装置1将被末端执行器11抓握的工件放置在托盘上没有工件的位置上。
在机器人装置1将工件放置在托盘152上的时刻，摄像装置2驱动摇摄电机和倾斜电机以改变视点，并且拍摄带式传送机900的图像。
通过对拍摄的图像进行图像处理来检测带式传送机900上存在或不存在工件。在带式传送机900上存在工件的情况下，机器人装置1获得带式传送机900上的工件。
机器人***1000使机器人装置1和摄像装置2重复上述操作。以这种方式，摄像装置2与机器人装置1的操作同步地改变摄像视点并拍摄图像，基于拍摄的图像识别工作环境，并且向机器人装置1的操作给出反馈。
为了实施这样的操作，摄像装置2需要在机器人装置1抓握带式传送机900上的工件并将工件放置在托盘152上所需的时间内完成摄像视点的改变。
摄像视点是否可以及时改变，已经常规地通过模拟或者通过实际操作机器人装置1和摄像装置2来核查，如果不能及时改变，则重新设置摄像视点。这样的操作给操作者带来了负担。
在本示例性实施例中，在摄像装置2与机器人装置1的这种操作同步地拍摄机器人装置1的图像的情况下，能够减轻教示操作者在教示摄像装置2的摄像视点时的负担。
图9是根据本示例性实施例的用于教示机器人装置1和摄像装置2的方法的流程图。该教示方法包括三个步骤S100至S102。
在图9中，在步骤S100中，操作者首先教示机器人装置1。操作者通过直接教示来教示机器人装置1。操作者通过直接用手移动机器人装置1，向机器人装置1教示用于抓握在带式传送机900上工件并将工件放置在托盘152上的操作。
然而，教示方法并不限于此。如在第一和第二示例性实施例中所描述的，操作者可以通过离线教示来教示机器人装置1，在离线教示中操作者通过使用外部输入设备130在机器人装置1附近进行教示。可以使用本领域技术人员可实施的各种机器人装置教示方法。
通过上述方法教示的教示数据可以记录在控制装置13中。外部输入设备130可以包括记录单元，并且教示数据可以被记录在外部输入设备130中。
在步骤S101和步骤S102中，操作者教示摄像装置2。操作者与机器人装置1的操作相关联地教示摄像装置2的视点。在描述步骤S101和步骤S102之前，下面将详细描述根据本示例性实施例的外部输入设备130的UI的示例。
图10示出了在外部输入设备130的显示单元131上显示的用于教示摄像装置2的画面。下面将描述与前述示例性实施例的区别。
在图10中，本示例性实施例包括模型显示部140，在该模型显示部140中，基于关于机器人装置1的预先记录的模型数据，通过三维(3D)模型来显示机器人装置1的姿势。
模型显示部140被构造为使得从模型数据和教示点数据计算出的实际机器人装置1的可能姿势可以作为3D模型在画面上被观察。通过使用称为RRT(Raphy-ExploringRandom Trees，快速探索随机树)的技术计算姿势。
回放条141位于模型显示部140的下方，回放条141具有用于操作已完成教示的机器人装置1的回放按钮144和暂停按钮145。
在回放条140上，显示指示正在回放的机器人装置1的操作的时间当前位置的当前位置标记(mark)142。回放条140是表示直至结束时间的条，其中机器人装置1的预定操作的开始为0秒。在图5中，结束时间为5：00(5分钟)。
在按下回放按钮144的情况下，实际机器人装置1开始操作。在按下暂停按钮145的情况下，实际机器人装置1中断操作。
在中断的状态下，通过触摸当前位置标记142并左右滑动，可以控制实际机器人装置1的操作。
在向右滑动前位置标记142的情况下，实际机器人装置1以滑动移动量进行操作。在向左滑动前位置标记142的情况下，机器人装置1以滑动移动量相反地操作。
与用于滑动当前位置标记142的操作一样，可以通过触摸模型显示部140的一部分并左右滑动来类似地操作机器人装置1。
图像显示部146显示由摄像装置2拍摄的图像。用于操作摄像装置2的摇摄电机的摇摄操作条147位于图像显示部146的下方，并且显示指示摄像装置2在摇摄方向上的当前位置的摇摄位置标记148。
操作者可以通过触摸摇摄位置标记148并左右滑动摇摄位置标记148来操作摄像装置2的摇摄电机。
也可以通过触摸图像显示部146的一部分并左右滑动来做与用于滑动摇摄位置标记148的操作类似的摇摄电机操作。
倾斜电机可以以与前述摇摄电机操作类似的方式操作。
在图中的图像显示单元的右侧显示用于操作摄像装置2的倾斜电机的倾斜操作条121，并且显示指示摄像装置2在倾斜方向上的当前位置的倾斜位置标记122。
操作者可以通过触摸倾斜位置标记122并上下滑动倾斜位置标记122来操作摄像装置2的倾斜电机。
也可以通过用两个手指多点触摸图像显示部146的一部分并进行上下滑动来做与滑动倾斜位置标记122的操作类似的倾斜电机操作。
对于摄像装置2的变焦，还提供了与前述摇摄电机操作和倾斜电机操作的显示和功能类似的显示和功能。
在图中的倾斜操作条121的右侧显示变焦条123，并且显示指示在放大(zoom-up)和缩小(zoom-down)期间摄像装置2的当前焦点位置的变焦调整标记124。
操作者可以通过触摸变焦调整标记124并上下滑动变焦调整标记124来调整摄像装置2的变焦。变焦调整标记124向上滑动以放大，并且向下滑动以缩小。
也可以通过触摸图像显示部146的一部分并做捏合(pinch-in)或捏放(pinch-out)，做与用于滑动变焦调整标记124的操作所做的变焦调整类似的变焦调整。
如果通过各条来调整摇摄位置、倾斜位置和变焦位置并且按下摄像教示按钮160，则在标记位于条上的位置处设置用于摄像装置2的摄像视点的教示点。
在用于操作机器人装置1和摄像装置2的回放条141、摇摄操作条147、倾斜操作条121和变焦条123中的各个条上显示指示摄像装置2的摄像视点的教示点的摄像视点教示点143。
因此，操作者可以容易地找出预定教示点(在图10中，t1)的细节(摇摄位置、倾斜位置和变焦位置)，在该预定教示点，在向机器人装置1教示的一系列操作中教示摄像装置2。
返回图9。在步骤S101中，操作者在步骤S100中教示的机器人装置1的一系列操作中教示摄像装置2的摄像视点。
首先，操作者按下回放按钮144来操作机器人装置1。操作者观察图像显示部146，并且按下暂停按钮145以使机器人装置1在教示摄像视点的点处中断。
暂停时回放条141上的当前位置标记142的位置用作在机器人装置1的一系列操作中摄像装置2的摄像视点的教示点。
在步骤S102中，操作者教示摄像装置2的电机和变焦。教示操作者在观察图像显示部146的同时调整摄像装置的摇摄位置、倾斜位置和变焦位置，并且最后按下教示按钮160以教示摄像装置2的摄像视点。
在此，在摇摄操作条147、倾斜操作条121和变焦调整条123上显示指示可以设置视点的范围的视点可设置范围150。
视点可设置范围150指示在不落后于机器人装置1的操作的情况下视点可被改变的设置范围。
图10示出了摄像装置2已经被教示了由摄像视点教示点143指示的预定教示点t1并且在当前位置标记142处被新教示的状态。
在此，在机器人装置1从回放条141上的摄像视点教示点143操作到当前位置标记142的同时可以改变摇摄电机、倾斜电机和变焦位置的范围被显示为视点可设置范围150。
将摘录用于设置视点可设置范围150的方法。首先，计算从过去的摄像视点教示点143到当前位置标记142所花费的视点改变时间，当前位置标记142是此时在步骤S101中教示另一摄像视点的点。
如果存在多个过去的摄像视点教示点，则参照最接近当前位置标记的摄像视点教示点，以教示此时的视点。
接下来，根据视点改变时间以及摇摄电机、倾斜电机和变焦处理的速度来确定可设置的摇摄量、倾斜量和变焦量。
最后，各个操作条上显示的以过去的摄像视点教示点143为中心的可设置的摇摄量、倾斜量和变焦量内的范围被设置为视点可设置范围150。
操作者在视点可设置范围150内做各种设置，因此能够在不落后于机器人装置1的操作的情况下改变摄像装置1的摄像视点的各种设置。这使得能够与机器人装置1同步地改变摄像装置2的视点。
如上所述，在本示例性实施例中，在教示摄像装置2的摄像视点时，在摄像装置2的操作画面上显示视点可改变范围。
由于可以防止在以下条件向摄像装置2教示摄像视点，所述条件为：对于机器人装置1的操作，摄像装置2的视点不能及时改变，因此提供了减轻操作者负担的效果。
此外，操作者可以容易地找出在向机器人装置1教示的一系列操作中教示摄像装置2的预定教示点的细节(摇摄位置、倾斜位置和变焦位置)。
此外，由于可以通过与机器人装置1的操作方法类似的方法来操作摄像装置2的各种驱动单元，因此可以不需要复杂的操作来教示与机器人装置1的操作同步的摄像视点。
在本示例性实施例中，在通过触摸操作来操作机器人装置1和摄像装置2时，通过在操作机器人装置1时触摸模型显示部140和在操作摄像装置2时触摸图像显示部146来区分操作目标。但是，这并不是限制性的。
例如，图像显示部146上的图像被分析，并被划分为拍摄机器人装置1的区域和其他区域。然后，可以以这样的方式区分操作对象：当包括机器人装置1的区域被触摸时操作机器人装置1，并且当机器人装置的区域之外的区域被触摸时操作摄像装置2。
可以使用不同的触摸操作来区分操作目标。例如，当用两个手指做多点触摸时操作机器人装置1。当用单根手指做单点触摸时，操作摄像装置2。或者，摄像装置2可以通过多点触摸来操作，而机器人装置1可以通过单点触摸来操作。
可以使用拖动操作和轻弹操作来区分操作目标。例如，可以以这样的方式区分操作对象：当做拖动操作时操作机器人装置1，并且当做轻弹操作时操作摄像装置2。
此外，可以将单点触摸、多点触摸、拖动操作和轻弹操作进行组合来区分操作目标。例如，当使用多点触摸做拖动操作时，操作机器人装置1。通过设置多个区分方法，可以进一步减少操作者的操作失误等。
图像显示部146可以包括压敏触摸面板，从而可以检测力值，并且可以基于力值来区分操作目标。例如，针对做触摸时检测到的力值来设置阈值。然后，可以以这样的方式区分操作对象：当以大于或等于设置的阈值的力值做触摸时操作机器人装置1，并且当以小于设置的阈值的力值做触摸时操作摄像装置2。
可以在图像显示部分146上显示设置按钮，该设置按钮用于设置通过图像显示部146上的触摸操作来操作机器人装置1和机器人装置2当中的哪个。例如，显示两个操作设置按钮，其包括用于做出操作机器人装置的设置的一个操作设置按钮，和用于做出操作摄像装置的设置的另一个操作设置按钮。操作目标可以依据情况通过触摸按钮来区分。或者，可以显示单个操作切换按钮，并且每次通过触摸操作切换按钮，可以实施在操作机器人装置的设置与操作摄像装置的设置之间的切换。
在如上所述触摸图像显示部146以操作机器人装置1的情况下，机器人装置1可以通过轻弹操作突然移动。
在这种情况下，通过做出在操作机器人装置1的同时不接受轻弹操作的设置，可以避免机器人装置1的突然操作。
此外，机器人装置1可以包括加速度传感器，并且在检测到预定加速度值的情况下，可以进行用于停止机器人装置1的操作。
(第四示例性实施例)
接下来，作为第四示例性实施例，将描述适合于使用在外部输入设备130上显示的来自摄像装置2的图像，通过使用外部输入设备130，对机器人装置和摄像装置进行校准操作和教示操作的UI的示例。
在本示例性实施例中，将描述UI的示例，所述UI使操作者能够在坐标系中操作机器人装置，在所述坐标系中，即使操作者在观察来自摄像装置的图像的同时操作多个操作目标并且进行教示，操作者也能够容易地进行教示。
下面将示出和描述与前述示例性实施例在硬件和控制***构造上的区别。与第一示例性实施例的部分类似的部分将具有类似的构造并且能够进行与前述类似的操作，并且将省略其详细描述。
图11是示意性地示出根据本示例性实施例的机器人***2000的俯视图。在图11中，机器人装置201和机器人装置202固定在基座200上。
为了监视机器人装置201和机器人装置202，机器人***2000包括摄像装置A和摄像装置B(未示出)，其视角将分别称为视角A和视角B。与前述示例性实施例一样，摄像装置A和摄像装置B具有摇摄和倾斜功能。
摄像装置A和摄像装置B都固定在能够监视机器人装置201和机器人装置202的位置。为了易于理解，机器人装置201和机器人装置202用符号简单地表示。
图11中的视角A和视角B不一定是矩形，而是为易于描述而用矩形示出。
图12是示出根据本示例性实施例的外部输入设备130的显示单元131的图。在图12中，显示单元131包括机器人装置操作部204、图像显示部205和摄像操作部206。
机器人装置操作部204包括机器人装置切换按钮207、坐标系切换按钮208和末端执行器操作按钮209。
机器人装置切换按钮207允许操作者选择期望手动操作的机器人。在本示例性实施例中，由于机器人***2000包括机器人装置201和机器人装置202，因此显示按钮“机器人201”和“机器人202”。
坐标系切换按钮208可以选择当操作者手动操作由机器人装置切换按钮207选择的机器人装置时要使用的坐标系。
在本示例性实施例中，显示以下三种类型的按钮，即“基座”、“末端执行器”和“摄像装置”。这使得能够分别通过基座坐标系按钮、末端执行器坐标系按钮和摄像坐标系按钮在基座坐标系、末端执行器坐标系和摄像坐标系中进行操作。
基座坐标系是指基于由机器人装置切换按钮207选择的机器人装置的机器人基座的坐标系。换言之，基座坐标系是整个机器人装置的世界坐标系。
末端执行器坐标系是指基于由机器人装置切换按钮207选择的机器人装置的末端执行器的坐标系。换句话说，末端执行器坐标系是相对于作为世界坐标系的基座坐标系的局部坐标系。
摄像坐标系是指由下面将描述的摄像装置切换按钮210选择的摄像装置的坐标系。
末端执行器操作按钮209使得能够手动操作由机器人装置切换按钮207选择的机器人装置，以在X、Y、Z方向上做平移移动和在由坐标系切换按钮208设置的坐标系中做旋转移动。
图像显示部205显示来自在摄像操作部206中选择的摄像装置的图像。在图12的情况下，显示由摄像装置A拍摄的机器人装置201的图像。
摄像操作部206包括摄像装置切换按钮210、视点操作按钮211和校准按钮212。
摄像装置切换按钮210可以选择操作者想要使用的摄像装置，并且来自所选择的摄像装置的图像被显示在图像显示部205上。
视点操作按钮211可以对由操作者使用摄像装置切换按钮210选择的摄像装置做摇摄和倾斜操作。与前述第一示例性实施例一样，还可以提供用于做放大和缩小操作的变焦操作按钮。
在由坐标系切换按钮208选择“摄像装置”的情况下，校准按钮212可以校准由机器人装置切换按钮207选择的机器人装置与由摄像装置切换按钮210选择的摄像装置之间的相对位置和姿势。
为了在摄像坐标系中操作机器人装置，需要知道机器人装置与摄像装置之间的相对位置和姿势。因此，在末端执行器操作按钮209的操作之前总是需要执行校准按钮212。下面将介绍一种具体的校准方法。
接下来，将描述在机器人装置坐标系中的操作和在摄像坐标系中的操作方法。可以通过由机器人装置切换按钮207选择要操作的机器人装置并且由坐标系切换按钮208选择“基座”或“末端执行器”来做在机器人装置坐标系中的操作。由于这样的操作类似于关于机器人装置的正常操作，因此将省略细节。
为了在摄像坐标系中做操作，需要通过机器人装置切换按钮207选择要操作的机器人装置，需要通过坐标系切换按钮208选择“摄像装置”，并且需要通过摄像装置切换按钮210选择要使用的照相机。然而，这不足以使该操作成为可能。
如上所述，由于需要知道机器人装置与摄像装置之间的相对位置和姿势以在摄像坐标系中操作机器人装置，因此需要按下校准按钮212以进行校准。
机器人装置与摄像装置之间的相对位置和姿势的校准的意义在于机器人装置和摄像装置的位置是现场调整的，并且不一定与设计位置一致。
将描述根据本示例性实施例的用于校准机器人装置与摄像装置之间的相对位置和姿势的方法。图13是示出根据本示例性实施例的机器人装置和摄像装置的坐标系的图。
在图13中，为了简单起见，将描述机器人装置201和摄像装置A的组合作为示例。机器人装置201的基座坐标系、末端执行器坐标系和标记物(marker)坐标系的原点将分别由B、E和M标示。
如本文所采用的，标记物坐标系是指为标记物(未示出)设置的坐标系。标记物在校准之前或一直附接到机器人装置201。
标记物的位置由摄像装置A测量。标记物可以是能够进行六个自由度的位置测量的标记物。可以使用指示三个自由度的三个或更多个标记物。
(一个或更多个)标记物不需要附接到机器人装置的末端。由于(一个或更多个)标记物的位置和姿势可以移动到视角的中心附近，因此(一个或更多个)标记物位于机器人装置的末端是合适的。
由于可以在视觉上区分机器人装置，因此，尽管不一定需要，但将不同的标记物附接到相应的机器人装置是合适的。
摄像装置A的摄像基座坐标系、摇摄关节坐标系、倾斜关节坐标系和摄像坐标系的原点将分别记作C0、C1、C2和V。
在按下校准按钮之前，操作者分别利用末端执行器操作按钮209或视点操作按钮211操作机器人装置201或摄像装置A，使得(一个或更多个)标记物落在视角内。
在使用指示三自由度的三个标记物的情况下，三个标记物分别位于视角内，使得三个标记物不落在同一直线上。这是用三个标记物生成标记物坐标系M所需要的。
为了表达坐标系之间的相对位置和姿势，使用了一个4×4的齐次变换矩阵。例如，表达末端执行器坐标系E相对于基座坐标系B的相对位置和姿势的齐次变换矩阵HBE用下列等式表达：
[等式1]
Figure BDA0003048246630000231
这里，CBE是3×3旋转矩阵，rBE是3×1位置向量，O1×3是1×3零矩阵。
现在，将描述摄像坐标系中的移动量转变到机器人装置坐标系。假设摄像坐标系中的移动量为ΔHV，其在机器人装置坐标系中的表示为ΔHR，则以下等式成立：
[等式2]
ΔHR＝HBC0HC0VΔHV
这里，ΔHV是当在摄像坐标系中操作末端执行器操作按钮209时的移动量本身。
相对位置和姿势HC0V是从摄像装置基座坐标系C0到摄像坐标系V的相对位置和姿势，并且由以下等式表达：
[等式3]
HC0V＝HC0C1HC1C2HC2V
由于摄像装置位于摄像坐标系中的哪个位置是针对摄像装置固有地定义的，因此HC2V是已知的。
假设摇摄角为θC1，倾斜角为θC2，绕z轴的旋转矩阵为Rotz，绕y轴的旋转矩阵为Roty，则HC0C1和HC1C2由以下等式表达：
[等式4]
Figure BDA0003048246630000241
从在摄像装置中所包括的摇摄电机和倾斜电机中实施的编码器中知道θC1和θC2。位置矢量rC0C1和rC1C2是摄像装置固有的已知设计值。
换句话说，相对位置和姿势HC0V是已知的。如果可以通过校准确定相对位置和姿势HBC0，则可以由此确定机器人装置坐标系中的移动量ΔHR。
机器人装置坐标系中的移动量ΔHR是基座坐标系B中的移动量，并且因此可以反映在机器人装置的正常操作上。
现在，将描述用于确定相对位置和姿势HBC0的方法。首先，操作者通过按下校准按钮212来测量(一个或更多个)标记物的位置。从图13可知，这里的相对位置和坐标HBC0用以下等式表达：
[等式5]
HBC0＝HBEHEMHMVHVc0＝HBMHMVHVc0
这里，以下等式成立：
[等式6]
HMV＝(HVM)-1
[等式7]
HVCO＝(HCOV)-1
当拍摄(一个或多个)标记物的图像时，可以根据在机器人装置201的各关节中实施的编码器的值来计算相对位置和姿势HBE，并且因此该相对位置和姿势HBE是已知的。相对位置和姿势HC0V由等式3已知。
首先，对附接到机器人装置201的末端的能够进行六个自由度的位置测量的标记物的情况进行说明。由于标记物可以附接到相对于末端执行器坐标系E设计的位置，因此相对位置和姿势HEM是已知的。
相对位置和姿势HVM可以通过利用摄像装置A测量标记物的位置来确定，并且因此该相对位置和姿势是已知的。
由于等式5仅包括如上所述的已知变量，因此可以计算要确定的相对位置和姿势HBC0，并完成校准。
接下来，将描述使用指示三个自由度的三个或更多个标记物的情况。机器人装置坐标系中的三个标记物位置将通过rBM1、rBM2和rBM3标示。标记物位置在设计上应明确。
这里，通过使用这三个点生成标记物坐标***。条件是第一个点是标记物坐标系的原点，第二个点是决定标记物坐标系的x轴方向的点，第三个点是标记物坐标系的xy平面上的任意点。这三个点不位于同一条直线上。
首先，确定从机器人装置坐标系看到的标记物坐标系M的相对位置和姿势HBM。
[等式8]
Figure BDA0003048246630000251
假设第一个点是标记物坐标系M的原点，第二个点是决定标记物坐标系x轴方向的点，第三个点是标记物坐标系xy的平面上的任意点，则以下等式成立：
[等式9]
Figure BDA0003048246630000252
这里，
[等式10]
Figure BDA0003048246630000261
这里应用的符号上面的波形号(～)表示一个3×3斜对称矩阵，由以下等式表达：
[等式11]
Figure BDA0003048246630000262
相对位置和姿势HBM可以由前述内容确定。
可以类似地确定从照相机坐标系看到的标记物坐标系的相对位置和姿势HVM：
[等式12]
Figure BDA0003048246630000263
[等式13]
Figure BDA0003048246630000264
[等式14]
Figure BDA0003048246630000271
由于等式15仅包括已知变量，因此可以计算要确定的相对位置和姿势HBC0，并完成校准。需要针对各个组合校准机器人装置和摄像装置。
如上所述，本示例性实施例包括机器人装置201和机器人装置202以及摄像装置A和摄像装置B，并且存在四个要校准的齐次变换矩阵HBC0。
预先校准各个组合的齐次变换矩阵HBC0使得在切换要操作的机器人装置或摄像装置的情况下能够在摄像坐标系中操作机器人装置。
本示例性实施例包括用于在摄像坐标系中的操作与机器人装置坐标系中的操作之间切换的手段。因此，教示操作者可以在坐标系中操作机器人装置，在该坐标系中，即使存在多个摄像装置和多个机器人装置，教示操作者也可以容易地进行教示。
(第五示例性实施例)
接下来，作为第五示例性实施例，将描述适合于使用在外部输入设备130上显示的来自摄像装置的图像，通过使用外部输入设备130，对机器人装置和摄像装置进行校准操作和教示操作的UI的示例。
在前述第四示例性实施例中，描述了UI的示例，其中在存在多个机器人装置和多个摄像装置并且存在多个坐标系的情况下，操作者可以切换用作参照的坐标系以避免操作机器人装置时的混乱。
在本示例性实施例中，描述了UI的示例，其中，当由于摄像装置的摄像单元的改变而拍摄的图像与操作外部输入设备的操作者的直觉不一致时，例如上下颠倒，可以容易地改变图像以与操作者的直觉匹配。
下面将示出和描述与前述示例性实施例在硬件和控制***构造上的区别。与前述示例性实施例的部分类似的部分将具有类似的构造并且能够进行与前述类似的操作，并且将省略其详细描述。
图14A和图14B是示意性地示出根据本示例性实施例的摄像装置2的驱动单元的侧视图。摄像装置基座坐标系、摇摄关节坐标系、倾斜关节坐标系和摄像坐标系的原点将分别通过C0、C1、C2和V标示。
倾斜角将标示为θC2。当摄像装置2被直接指向下方时的倾斜角被表达为θC2＝0度。
图14A示出了在θC2＝-45度处的摄像装置2。图14B示出了在θC2＝45度处的摄像装置2。在从图14A转向图14B中，由摄像装置2拍摄的图像变得上下颠倒并且与基于外部输入设备130上的图像进行操作的操作者的直觉不一致。在本示例性实施例中，将描述UI的示例，其中，即使在摄像装置2的图像中的坐标系变得上下颠倒的情况下，操作者也可以做直观的操作。
图15是示出根据本示例性实施例的外部输入设备130的显示单元131的图。由于机器人装置操作部204和摄像操作部206与前述示例性实施例中的机器人装置操作部204和摄像操作部206类似，因此将省略其描述。
根据本示例性实施例的图像显示部205包括由摄像装置2拍摄的图像和竖直翻转切换按钮220。
竖直翻转切换按钮220包括用于选择竖直翻转功能“固定”和“自动”的固定按钮223和自动按钮224。下面将详细描述竖直翻转方法。
图16是示出根据本示例性实施例的在通过操作者的按钮操作来竖直翻转图像显示部205的画面时的图像显示部205的图。在图16中，为了简化说明，省略了机器人装置操作部204和摄像操作部206。
图16A示出了由摄像装置2拍摄的图像中的坐标系上下颠倒并且与操作者的直觉不一致的图像被显示在图像显示部205上的状态。
操作者用他/她自己的手指221触摸竖直翻转切换按钮220的“固定”按钮223。然后竖直翻转按钮225显示在图中的“固定”按钮223的右侧。
在图16B中，为了按下显示的竖直翻转按钮225，操作者将他/她自己的手指221移动到竖直翻转按钮225的上方并触摸竖直翻转按钮225。
因此，图像显示部205上的图像被竖直翻转。通过这样的方法，可以容易地竖直翻转图像显示部205上的图像，以与操作者的直觉匹配。
接下来，将描述用于自动竖直翻转图像显示部205上的图像的方法。图17是用于描述根据本示例性实施例的自动竖直翻转在图像显示部205上的图像时的设置方法的图。与图16一样，为了简化说明，省略了机器人装置操作部204和摄像操作部206。
图17A是示出操作者用他/她自己的手指221触摸自动按钮224的状态的图。图17B是示出操作者用他/她自己的手指221触摸将在下面描述的设置按钮226的状态的图。图17C是示出在图像显示部205上显示以下将要描述的自动设置部222的状态的图。
在图17A中，为了自动竖直翻转图像显示部205上的图像，操作者用他/她自己的手指221触摸并选择竖直翻转切换按钮220的“自动”按钮224。
然而，需要预先设置图像显示部205上的图像在何种情况下被自动竖直翻转。
因此，在本示例性实施例中，基于倾斜角θC2来确定是否竖直翻转图像显示部205上的图像。更具体地，在从摄像装置2中所包括的倾斜电机检测到的倾斜角小于或等于预先设置的倾斜角值的情况下，图像显示部205上的图像无改变地被显示。
同时，在从摄像装置2中所包括的倾斜电机检测到的倾斜角大于或等于预先设置的倾斜角的情况下，图像显示部205上的图像被竖直翻转并显示。下面将详细说明该设置方法。倾斜电机的前述角度由未示出的编码器检测。
在图17A中，操作者用他/她自己的手指221触摸并选择竖直翻转切换按钮220的“自动”按钮224。因此，在图中在自动按钮224的右侧显示“设置”按钮226。
接下来，在图17B中，为了按下显示的设置按钮226，操作者将他/她自己的手指221移动到设置按钮226的上方并触摸设置按钮226。因此，在图像显示部205上显示用于竖直翻转切换的自动设置部222(图17C)。
在图中17C中，操作者将要设置的倾斜角输入到竖直翻转角度输入框227中。在本示例性实施例中，输入0度。
在操作者想要设置倾斜角的输入值的情况下，操作者触摸设置按钮228。在操作者想要改变输入的情况下，操作者触摸返回按钮229。
在操作者正在观看由摄像装置2拍摄的图像并教示机器人装置1的同时，倾斜电机的编码器检测到倾斜角的设置值的情况下，图像显示部205上的图像被翻转。
通过上面描述的方法，可以容易地自动竖直翻转图像显示部205上的图像，以与操作者的直觉匹配。
接下来，将描述通过多点触摸图像显示部205来旋转图像显示部205上的图像的方法。例如，在操作者想要将图像旋转90度，即不一定竖直翻转图像(180度)的情况下使用该方法。
图18是示出在图像显示部205上的图像通过多点触摸操作旋转的情况下的图像显示部205的图。与图16和图17一样。为了简化说明，省略了机器人装置操作部204和摄像操作部206。
图18A是示出通过多点触摸操作进行旋转之前的图像显示部205的图。图18B是示出通过多点触摸操作旋转的图像显示部205的图。
在图18A中，操作者预先用他/她自己的手指221触摸并选择竖直翻转切换按钮220的固定按钮223。
接下来，操作者用用于设置旋转中心的手指221a触摸图像显示部205上的在按钮以外的任意位置。
然后，操作者用用于确定预期的旋转方向的手指221b触摸图像显示部205上的任意位置，并沿旋转方向滑动手指221b。在图18A中，手指221b沿箭头A的方向旋转。
在手指221b描绘的轨迹(箭头A)与手指221a在旋转中心处触摸的位置的角度超过阈值的情况下，图像显示部205沿该方向旋转90度(图18B)。
上述阈值适当地为15度左右。通过这样的方法，可以容易地手动旋转图像显示部205上的图像，以与操作者的直觉匹配。
如上所述，在本示例性实施例中，即使在摄像存储器2的摄像单元的方向已经改变并且因此图像中的坐标系变得与操作外部输入设备的操作者的直觉不一致(例如上下颠倒)的情况下，也可以容易地改变图像以与操作者的直觉匹配。这提供了机器人装置1和摄像装置2可以在操作者容易理解的坐标系中操作的效果。
(第六示例性实施例)
接下来，作为第六示例性实施例，将描述适合于使用在外部输入设备130上显示的来自摄像装置的图像，通过使用外部输入设备130，对机器人装置和摄像装置进行校准操作和教示操作的UI的示例。
在本示例性实施例中，将描述UI的示例，其中摄像装置的坐标系可以基于机器人装置的操作处理而改变为操作者可以容易地做操作的坐标系。
下面将示出和描述与前述示例性实施例想硬件和控制***构造上的区别。与前述示例性实施例的部分类似的部分将具有类似的构造并且能够进行与前述类似的操作，并且将省略其详细描述。
图19是示出了在显示用于根据本示例性实施例的机器人装置1的操作的“处理程序”的情况下的外部输入设备130的显示单元131的图。
图19A是显示根据本示例性实施例的菜单画面部230的图。图19B是显示根据本示例性实施例的处理程序画面的图。
在图19A中，菜单画面部230显示功能选择按钮231。功能选择按钮231的数量与机器人***2000的功能数量相同。将功能分配给各自的按钮，通过按下各自的按钮来可打开相应功能的菜单。在本示例性实施例中，选择“处理程序”以转换到图19B所示的画面。
在图19B中，显示单元131显示处理程序画面部232和图像显示部205。
处理程序画面部232包括处理程序选择按钮233和摄像装置教示点选择字段234。
处理程序选择按钮233允许操作者选择机器人***2000中要进行的处理。在按下处理程序选择按钮233的情况下，处理程序的列表显示为下拉列表使得用户能够选择。在本示例性实施例中，将给出选择“处理程序1”的情况的描述。
摄像装置教示点选择字段234显示由处理程序选择按钮233选择的处理程序的处理细节。处理细节的示例包括“机器人臂操作”、“机器人手夹持”和“存在/不存在检测”。
在摄像装置教示点选择字段234中，可以针对各个处理选择用于拍摄要显示在图像显示部205上的图像的摄像装置和与摄像装置相对应的教示点。
机器人***2000包括多个摄像装置。在本示例性实施例中，通过按下摄像装置教示点选择字段234的摄像装置列中的倒三角形，可以从下拉列表中选择摄像装置A或摄像装置B的摄像装置名称。
通过第三示例性实施例中描述的方法设置的各个摄像装置的摇摄角和倾斜角以及变焦位置被存储为关于各个摄像装置的教示点的数据。通过按下摄像装置教示点列中的倒三角形，可以从下拉列表中选择摄像装置的教示点。在本示例性实施例中，选择摄像装置A和摄像装置教示点tC1用于存在/不存在检测1的处理。
图像显示部205显示由摄像装置在摄像装置教示点选择字段234中刚选择的摄像装置教示点处拍摄的图像。还显示所选择的摄像装置的名称和摄像装置教示点的名称。在本示例性实施例中，显示“摄像装置A：tC1”
通过选择摄像装置教示点，可以基于处理唯一地确定要显示的摄像装置的坐标系。
以这种方式，在处理程序选择字段233中选择预定的处理程序，并且针对各处理设置合适的摄像装置和摄像装置教示点。这使得能够在进行各处理时切换到所设置的摄像装置和摄像装置教示点，以在图像显示部205上显示。
因此，可以基于机器人***的操作处理，通过改变图像显示部205上显示的摄像装置的图像和坐标系，在操作容易理解的坐标系中做操作。
(第七示例性实施例)
接下来，作为第七示例性实施例，将描述适合于使用在外部输入设备130上显示的来自摄像装置的图像，通过外部输入设备130，对机器人装置和摄像装置进行校准操作和教示操作的UI的示例。
在本示例性实施例中，将描述UI的示例，其中，在安装有多个摄像装置的情况下，拍摄要显示在外部输入设备130上的图像的摄像装置可以自动切换为显示操作者容易理解的图像。
下面将示出和描述与前述示例性实施例在硬件和控制***构造上的区别。与前述示例性实施例的部分类似的部分将具有类似的构造并且能够进行与前述类似的操作，并且将省略其详细描述。
图20是用于描述依据本示例性实施例的机器人装置242的姿势的差异而在外部输入设备130的显示单元131上显示的画面之间的差异的图。
图20A是示出在机器人装置241的尖端(tip)落在视角A内的情况下根据本示例性实施例的机器人装置241的俯视图和显示单元131的画面的图。图20A的左侧图是在机器人装置241的尖端落在视角A内的情况下根据本示例性实施例的机器人装置241的俯视图。
图20B是示出了在机器人装置241的尖端落在视角B内的情况下根据本示例性实施例的机器人装置241的俯视图和显示单元131的画面的图。图20B的左侧图是在机器人装置241的尖端落在视角B内的情况下根据本示例性实施例的机器人装置241的俯视图。
在图20A的左侧图中，机器人装置241被固定到基座240。为了监视基座240，摄像装置A和摄像装置B位于机器人装置241附近。由摄像装置A和摄像装置B各自拍摄的视角被称为视角A和视角B，为了简化描述，以简化形式示出机器人装置241。
图20A的右侧图是示出根据本示例性实施例的机器人装置241的尖端落在视角A内的情况下的外部输入设备130的显示单元131的图。
显示单元131包括机器人装置操作部204、图像显示部205和摄像操作部206。
与第四示例性实施例一样，机器人装置操作部204包括机器人装置切换按钮207、坐标系切换按钮208和末端执行器操作按钮209。
图像显示部205显示在摄像操作部206中选择的摄像装置的名称和由所选择的摄像装置拍摄的图像。在图20A的右侧图的情况下，显示来自摄像装置A的图像。
摄像操作部206包括摄像装置切换按钮242和视点操作按钮131。视点操作按钮与第四示例性实施例中的视点操作按钮相似。
根据本示例性实施例的摄像装置切换按钮242允许操作者从安装的多个摄像装置当中选择哪个摄像装置来拍摄图像。
为了基于机器人装置241的姿势自动切换摄像装置，选择“自动”按钮243。在选择了“自动”按钮243的情况下，在图中的“自动”按钮243的右侧列出由控制装置13自动选择的摄像装置，并且在图像显示部205上显示第一摄像装置候选的图像。在本示例性实施例中，在“自动”按钮243的右侧显示“摄像装置A”。
接下来，图20B的左侧图示出了机器人装置241的尖端落在视角B内而不是落在视角A内的情况。
在图20B的右侧图中，图像显示部205显示来自摄像装置B的图像。在自动按钮243的右侧显示“摄像装置B”。
接下来，将描述用于自动切换摄像装置的方法。在摄像装置切换按钮242的“自动”按钮243被教示操作者触摸的情况下，自动切换用于拍摄要显示在图像显示部205上的图像的摄像装置。
首先，通过图像识别来确定机器人装置241是否包括在来自安装的所有摄像装置的拍摄图像中的任何一个中。
在自动按钮243的右侧列出了拍摄图像中包括机器人装置241的摄像装置。在存在多个候选的情况下，按照摄像装置的数字顺序、按照摄像装置的名称的字母顺序或者按照在视角中拍摄的机器人装置241的区域的降序来选择摄像装置，并且在自动按钮243的右侧列出。
可以通过图像识别直接测量在图像中拍摄的机器人装置241的面积。如第四示例性实施例中所述，在已经校准了机器人装置与摄像装置之间的位置和姿势关系的情况下，可以根据计算出的视角来计算机器人装置241的面积。
结果，操作者可以立即从多个摄像装置当中选择拍摄要教示的部分(这里，机器人装置241的尖端)的图像的摄像装置，并且将图像显示部205的图像切换到适当的图像。
因而，即使在安装有多个摄像装置的情况下，操作者也能够通过使用操作者能够容易地进行教示的摄像装置和坐标系来做操作。
(第八示例性实施例)
接下来，作为第八示例性实施例，将描述合适于使用在外部输入设备130上显示的来自摄像装置的图像，通过使用外部输入设备130来管理机器人装置和操作者的UI的示例。
在本示例性实施例中，将描述UI的示例，其中，摄像装置用于测量被摄像装置拍摄图像的操作者和机器人装置的操作时间，并且在外部输入设备131上显示操作时间，使得可以有助于对操作者和机器人装置的管理。
下面将示出和描述与前述示例性实施例在硬件和控制***构造上的区别。与前述示例性实施例的部分类似的部分将具有类似的构造并且能够进行与前述类似的操作，并且将省略其详细描述。
图21是示出根据本发明示例性实施例的机器人***2000的俯视图的图。在图21中，机器人装置251和工件存储区域252、工件存储区域253和工件存储区域254固定在基座250上。
根据本示例性实施例的机器人***2000还包括未示出的摄像装置A、摄像装置B和摄像装置C，以检测工件是否被放置在工件存储区域252、工件存储区域253和工件存储区域254上。摄像装置A、摄像装置B和摄像装置C的视角分别称为视角A、视角B和视角C。
视角A中的工件存储区域252是机器人装置251放置工件的地方。视角B中的工件存储区域253是机器人装置251或操作者255放置工件的地方。视角C中的工件存储区域254是操作者255放置工件的地方。
操作者255是与机器人装置251协作的操作者。为了简化说明，以简化形式示出机器人装置251。
图22示出了根据本示例性实施例的外部输入设备130的显示单元131的显示画面的构造图。图22A是显示根据本示例性实施例的菜单画面部256的图。图22B是在显示单元131上显示根据本示例性实施例的操作时间测量画面的图。图22C是在显示单元131上显示根据本示例性实施例的操作时间测量设置画面的图。
在图22A中，根据本示例性实施例的菜单画面部256显示功能选择按钮257。
功能选择按钮257的数量与机器人***2000的功能数量相同。将功能分配给各功能选择按钮257，并且通过触摸各按钮可以打开相应功能的菜单。在本示例性实施例中，选择“操作时间测量”以转换到图22B。
在图22B中，显示单元131显示操作时间测量画面部258。操作时间测量画面部258包括操作时间测量选择按钮259。操作时间测量选择按钮259包括测量设置按钮281、测量按钮282和测量历史按钮283。
在本示例性实施例中，在触摸测量设置按钮281的情况下，画面转换到图22C的画面。下面还将描述触摸测量按钮282和测量历史按钮283的情况。
在图中22C中，显示单元131显示操作时间测量设置画面部260。操作时间测量设置画面部260包括操作时间测量设置选择按钮261。
操作时间测量设置选择按钮261包括“通过处理程序的测量”按钮284和“通过人-机器人距离的测量”按钮285。
在“通过处理程序的测量”按钮284被触摸的情况下，画面转换到图23所示的基于处理程序的测量的设置画面262。在“人-机器人距离的测量”按钮285被触摸的情况下，画面转换到图24所示的基于人-机器人距离的测量的设置画面265。
图23是示出根据本发明示例性实施例的在针对通过处理程序对操作时间的测量做设置时显示单元131的画面构造的图。
在图23中，显示单元131显示基于处理程序的测量的设置画面部262。基于处理程序的测量的设置画面部262包括处理程序选择按钮263和测量设置字段264。
处理程序选择按钮263允许操作者选择用于测量操作时间的处理程序。如果触摸处理程序选择按钮263，则处理程序列表显示为下拉列表，以接受操作者255作出的选择。在本示例性实施例中，将描述操作者255选择“处理程序1”的情况。
测量设置字段264显示由处理程序选择按钮263选择的处理程序的处理细节，并且可以针对处理细节中所包括的各种操作设置开始和停止触发器。
处理细节的示例包括“机器人臂操作”、“机器人手夹持”和“存在/不存在检测”。针对各个操作分类来设置操作开始和停止触发器。
这里要描述的操作分类包括“机器人操作”、“机器人-人操作”、“人操作”和“其他操作”
“机器人操作”是指由机器人装置251单独进行的操作。“机器人-人操作”是指由机器人装置251和教示操作者255协作进行的操作。“机器人-人操作”的操作时间在下文中可被称为协作操作时间。“人操作”是指由教示操作者255单独进行的操作。“其他操作”是指“机器人操作”、“机器人-人操作”或“人操作”以外的操作。
在本示例性实施例中，机器人装置251将工件从工件存储区域252放置到工件存储区域253。在工件存储区域253中，机器人装置251和操作者255进行协同操作。操作者255将工件从工件存储区域253放置到工件存储区域254。
在本示例性实施例中，采用工件的基于图像的存在/不存在检测，作为用于计算操作时间的操作开始和停止触发器。理由是放置在各个工件存储区域上的工件通常在操作开始之前和之后从放置状态转换到未放置状态，并且在操作结束之前和之后从未放置状态转换到放置状态。
使用在工件存储区域中的上述工件放置状态，将操作开始之前和之后与操作结束之前和之后之间的时间视为操作时间。
虽然工件的存在或不存在可以用作用于计算操作时间的工件开始和停止触发器，但是部件被添加到工件中的状态或工件被加工的状态可以从图像中检测到并用作触发器。
图23的测量设置字段264中的存在/不存在检测1用于检测视角A内存在或不存在工件，并测量“机器人操作”的开始。
存在/不存在检测2用于检测视角B内存在或不存在工件，并测量“机器人操作”的完成、“机器人-人操作”的时间测量以及“人操作”的开始。协同操作是在视角B内的工件存储区域内进行的。
存在/不存在检测3用于检测视角C内存在或不存在工件，并测量“人操作”的完成和“其他操作”的开始。
基于这种存在/不存在检测，操作者255在测量设置字段264中以处理为单位设置操作开始和停止触发器。具体地，开始与停止之间的持续时间是作为要测量的时间的操作时间。
在本示例性实施例中，工件的基于图像处理的存在/不存在检测被用作操作开始和停止触发器。然而，通过接近开关进行的工件的存在/不存在检测、通过其他开关进行的存在/不存在检测、处理操作的开始信号和/或处理操作的完成信号可以用作触发器。
在图23中，可以基于处理将操作者255的操作与机器人装置251的操作区别。然而，并不总是可得到这种区别。因此，直接测量操作者255与机器人装置251之间的相对距离，并基于该距离测量操作时间。
图24是示出在设置操作者255与机器人装置251之间的相对距离时显示单元131的画面构造的图。在图24中，显示部131显示用于设置教示操作者255与机器人装置251之间的距离的设置画面部265。
设置画面部265包括人-机器人距离设置字段266。人-机器人距离设置字段266设置将操作视为协作的人-机器人距离。
根据连接到机器人***2000的各摄像装置的焦距和摄像装置的像素数来换算的在机器人装置251与操作者255之间的距离小于或等于在人-机器人距离设置字段266中设置的距离的情况下，操作被视为以协作方式进行。
因此，可以测量机器人装置251和操作者255协作的操作(即“机器人-人操作”)的操作时间。在本示例性实施例中，操作被视为协作的人-机器人距离被设置为20毫米。
已经在上面参照图23和24描述了用于测量操作时间的设置方法。接下来，将描述用于核查通过使用这样的设置方法测量的操作时间的方法。可以通过触摸测量按钮282或测量历史按钮283来核查操作时间。
首先将描述测量按钮282。图25是示出在触摸测量按钮282的情况下显示单元131的画面构造的图。
在图中25中，显示单元131显示测量功能画面部267。测量功能画面部267包括处理程序名称显示字段268和处理程序测量时间显示字段269。
处理程序名称显示字段268显示当前正在执行的处理程序名称。在不执行处理程序的情况下，处理程序名称显示字段268为空白。图25示出了正在执行处理程序1的情况。
处理程序测量时间显示字段269显示正在执行的处理程序的处理细节以及当处理细节被执行时的操作时间。当前正在执行的处理由运行中的处理光标270指示。
执行处理细节时的操作时间被显示在表格(测量时间显示字段269)中，处理在竖直轴上，操作分类在水平轴上。进一步显示三种类型的操作时间，即开始时间[开始]、完成时间[停止]、和测量时间[时间]。待执行处理的操作时间为空白。
接下来，将描述测量历史按钮283。图26是示出在触摸测量历史按钮283的情况下显示单元131的画面构造的图。
在图26中，显示单元131显示测量历史画面部271和处理程序测量历史显示部272。测量历史画面部271包括测量历史选择按钮273。
测量历史选择按钮273以按钮的形式列出一组被执行的处理程序名称和执行的日期和时间的历史。
通过触摸要参照的历史的按钮，操作者255可以在处理程序测量历史显示部272中显示其细节。
处理程序测量历史显示部272包括处理程序名称显示字段274和处理程序测量时间显示字段275。
处理程序名称显示字段274显示由测量历史选择按钮273选择的处理程序名称。在本示例性实施例中，将描述选择处理程序1的情况。
处理程序测量时间显示字段275显示由测量历史选择按钮273选择的处理程序的处理的细节以及执行处理时的操作时间。
与图25一样，执行处理细节时的操作时间显示为一个表格，处理在竖直轴上，操作分类在水平轴上。显示三种类型的操作时间，即开始时间[开始]、完成时间[停止]、和测量时间[时间]。
以上述方式，摄像装置可用于测量被摄像装置拍摄图像的操作者和机器人装置的操作时间，并且在外部输入设备131上显示操作时间。
这实现了如下措施：能够对操作时间达到预定阈值的机器人装置进行维护，以及使操作时间达到预定值的操作者适当地休息。这样可以有助于工作现场的维护、检查等管理操作。
(第九示例性实施例)
接下来，作为第九示例性实施例，将描述适合于使用外部输入设备130上显示的来自摄像装置的图像，通过使用外部输入设备130，对机器人装置和摄像装置进行校准操作和教示操作的UI的示例。
在本示例性实施例中，将描述UI的示例，其中即使在存在要向机器人装置和摄像装置教示的很多项目并且需要很长时间来教示它们的情况下，也可以减少教示时间。
下面将示出和描述与前述示例性实施例在硬件和控制***构造上的区别。与前述示例性实施例的部分类似的部分将具有类似的构造并且能够进行与前述类似的操作，并且将省略其详细描述。
图27是根据本示例性实施例的用于教示机器人装置1和摄像装置2的方法的流程图。用于教示单点的方法包括两个步骤：步骤S300和步骤S301。在本示例性实施例中，对多个点进行教示。
在步骤S300中，操作者首先教示机器人装置1。操作者通过直接教示或通过使用外部输入设备130来教示机器人装置1。
在步骤S301中，操作者教示摄像装置2。操作者也通过使用外部输入设备130来教示摄像装置2。
图28示出了在根据本示例性实施例的外部输入设备130的显示单元131上显示的用于教示机器人装置1和摄像装置2的画面的构造示例。
在图28中，在显示单元131中显示图像显示部369、机器人装置操作部370、摄像操作部371和坐标显示部372。
图像显示部369显示由摄像装置2拍摄的图像。机器人装置操作部370是用于操作机器人装置1的操作单元。摄像操作部371是用于操作摄像装置2的操作单元。
坐标显示部372是用于显示或设置机器人装置1或由摄像装置2拍摄的图像的显示区域的坐标的操作单元。
机器人装置操作部370包括用于将机器人装置1的教示切换为直接教示的教示模式切换按钮373。
机器人装置操作部370还包括用于在给定坐标系中沿X、Y、Z方向移动机器人装置1的末端执行11的末端执行器操作按钮374和用于分别操作机器人装置1的各个关节J1至J6的旋转量的关节操作按钮375。
机器人装置操作部370还包括用于自动操作机器人装置1的机器人追踪按钮。机器人追踪按钮包括用于开启自动操作的机器人追踪开启(ON)按钮376和用于关闭自动操作的机器人追踪关闭(OFF)按钮377。
机器人装置操作部370还包括用于将末端执行器11的当前位置设置到坐标显示部372中的机器人设置按钮383和用于将末端执行器11的位置移动到在坐标显示部372上显示的位置的机器人移动按钮384。
摄像操作部371包括用于对摄像装置2做摇摄和倾斜操作的视点操作按钮378和用于做放大和缩小操作的变焦操作按钮379。
摄像操作部371还包括摄像目标指定框380，其用于在自动操作摄像装置2的情况下指定摄像装置2的摄像目标。
摄像操作部371还包括摄像追踪按钮，其用于在摄像目标指定框380中指定了摄像目标的情况下使摄像装置2跟随摄像目标框中指定的部分。摄像追踪按钮包括用于开启摄像追踪的摄像追踪开启(ON)按钮381和用于关闭摄像追踪的摄像追踪关闭(OFF)按钮382。
摄像操作部371还包括用于将摄像装置2当前关注的坐标设置到坐标显示部372中的摄像设置按钮385，以及用于将摄像装置2当前关注的坐标移动到坐标显示部372上显示的坐标的摄像移动按钮386。
坐标显示部372包括用于显示和输入X、Y和Z坐标的坐标显示框387。
为了使摄像装置2的摄像在教示操作期间跟随机器人装置1的操作，敲击或点击摄像追踪开启(ON)按钮381以跟随在摄像目标框380中指定的位置。
可以通过敲击或点击摄像追踪关闭(OFF)按钮382来取消追踪。
类似地，为了使机器人装置1跟随摄像装置2的摄像范围，敲击或点击机器人追踪开启(ON)按钮376，并且机器人装置1跟随摄像范围。
可以通过敲击或点击机器人追踪关闭(OFF)按钮377来取消追踪。
为了在教示操作期间找出末端执行器11的当前空间位置，敲击或点击机器人设置按钮383以在坐标显示部372的坐标显示框387中显示X、Y、Z坐标值。
末端执行器11的位置由机器人装置1的各关节中的所包括的未示出的编码器来计算，并被显示。
为了使末端执行器11移动到预定的空间位置，将数值输入到坐标显示部372的各X，Y和Z中，并且敲击或点击机器人移动按钮384。由此将末端执行器11移动到坐标。
在该操作中，通过使用逆运动学计算，从末端执行器11的位置值计算机器人装置1的各关节的旋转量，并且末端执行器11移动到预定位置。
类似地，为了找出摄像装置2的摄像范围的中心的空间位置，敲击或点击摄像设置按钮386，以在坐标显示部372的坐标显示框387中显示X、Y和Z坐标值。
为了将摄像装置2的摄像范围的中心移动到预定的空间位置，将数值输入到坐标显示部372的各X、Y、Z中，并且敲击或点击摄像移动按钮384。由此将摄像范围的中心移动到坐标上。
通过使用图像处理来计算摄像装置2的摄像范围的中心的位置。
当对预定点的教示操作结束时，机器人装置1的各轴上的值和与摄像装置2有关的摇摄、倾斜和变焦信息被同时记录在控制装置13中。
以上述方式，通过操作者简单地将预定位置值输入到外部输入设备130中，可以将机器人装置1和摄像装置2移动到预定位置。
此外，由于机器人装置1和摄像装置2做追踪操作，使得在教示操作期间要关注的部分始终显示在图像显示部369上，因此不需要复杂的手动操作。
即使在存在要向机器人装置和摄像装置教示的许多项目的情况下，也可以减少操作者的操作负荷，并且减少教示时间。
(第十示例性实施例)
接下来，作为第十示例性实施例，将描述适合于使用在外部输入设备130上显示的来自摄像装置的图像，通过使用外部输入设备130，对机器人装置和摄像装置进行校准操作和教示操作的UI的示例。
在本示例性实施例中，将描述UI的示例，该UI有助于对关注由机器人装置操纵的工件的教示。
下面将示出和描述与前述示例性实施例在硬件和控制***构造上的区别。与前述示例性实施例的部分类似的部分将具有类似的构造并且能够进行与前述类似的操作，并且将省略其详细描述。
图29示出了根据本示例性实施例的外部输入设备130的显示单元131上显示的用于教示机器人装置1和摄像装置2的画面构造的示例。
与前述第十示例性实施例的不同之处在于，摄像操作部371包括区域设置按钮390、工件登记按钮391和工件搜索按钮392。
区域设置按钮390允许操作者在图像显示部369上显示的图像中设置预定区域。
工件登记按钮391可以从由区域设置按钮390设置的区域检测机器人装置1要操纵的工件，并且允许操作者将工件登记为要关注的工件。
通过预先在控制装置13中记录关于工件的图像数据并对图像显示部369中的图像进行图像处理来检测工件。
工件搜索按钮392允许操作者在图像显示部369上显示的图像上搜索由工件登记按钮391登记的工件。
图30是根据本示例性实施例的摄像装置2在搜索工件时执行的流程图。工件搜索方法包括图30的三个步骤S310至S312并且能够将工件位置作为摄像视点教示给摄像装置2。
在图30的步骤S310中，操作者首先选择一个区域。在操作者敲击或点击区域设置按钮390的情况下，工件区域393叠置在图像显示部369上。
操作者可以通过敲击或点击显示在图像显示部369上的工件区域393并做诸如捏合或捏放的操作来设置工件区域393的大小。
在步骤S311中，操作者将在工件区域393中检测到的工件登记为要关注的工件。操作者可以通过敲击或点击工件登记按钮391将在所选工件区域393中检测到的工件登记为要关注的工件。
在步骤S312中，摄像装置2在进行摇摄和倾斜方向的驱动的同时，四处搜索在步骤S311中登记的工件。操作者可以通过敲击或点击工件搜索按钮392来使摄像装置2搜索登记的工件。
这使得能够在无需输入复杂的坐标值等的情况下教示摄像装置2继续拍摄工件的图像，并且能够减少摄像装置2的教示时间。
(第十一示例性实施例)
接下来，作为第十一示例性实施例，将描述适合于使用在外部输入设备130上显示的来自摄像装置的图像，通过使用外部输入设备130，对机器人装置和摄像装置进行校准操作和教示操作的UI的示例。
在本示例性实施例中，将描述如下情况：在用于组装产品的生产现场中，由于诸如产品包括多个部件并且涉及大量处理过程的原因，由操作者进行的一些组装处理变得复杂。
在这样的情况下，操作者可能会弄错操作的细节，或者需要很长时间来进行操作。
在操作包括复杂的细节的情况下，需要大量的劳动，例如中断组装操作以核查、手持打印的指导手册等、查阅与该处理相对应的页面。
而且，不熟练的操作者可能会花费极长的时间来进行操作，或者出现操作错误。
如果操作者和机器人装置在同一空间中进行操作，并且操作者不熟练，则操作者可以遮挡机器人装置的移动目的地，并且机器人装置或由机器人装置传送的工件会接触操作者。
在这种情况下，可能出现诸如损坏机器人装置或工件、由于机器人装置的未对准操作而导致的组装故障、以及由于操作停止而导致的生产线延迟等问题。
考虑到上述问题，在本示例性实施例中，将描述如下UI的示例，其中可以通过使用外部输入设备来容易地核查操作处理并且辅助操作者要进行的操作。
下面将示出和描述与前述示例性实施例在硬件和控制***构造上的区别。与前述示例性实施例的部分类似的部分将具有类似的构造并且能够进行与前述类似的操作，并且将省略其详细描述。
图31是示出使用根据本示例性实施例的机器人***3000的生产现场的图。
机器人***3000包括机器人装置1。机器人装置1基于预先编程的操作，自动进行用于将部件403与部件405组装的组装操作。
机器人装置1不限于竖直多关节的构造，并且可以具有能够进行自动组装操作的任何其他构造，诸如单轴滑动操作、SCARA构造和XY构造。
在任何情况下，机器人装置1的关节具有使用诸如编码器的传感器的旋转位置检测功能或角度检测功能，并且可以控制机器人装置1的姿势。
操作者404停留在机器人装置1附近，对部件405进行组装操作。操作者404可以将手或身体的其他部位置于与机器人装置1操作的空间相同的空间中来进行操作。
要注意的是，机器人装置1是被称为协作机器人的装置，旨在与人在公共空间中一起操作，并且利用防止碰撞和卡压的措施而具有足够安全的结构和功能。
操作者404可以通过使用外部输入设备130编辑用于控制机器人装置1的操作的机器人程序。
进行部件405的组装操作的操作者常常与编辑机器人程序的操作者不同。各专业操作者可负责。
外部输入测量130通常称为教示挂件，并且具有用于与机器人装置1的未示出的控制装置通信的功能。外部输入设备130具有标准的机器人操作功能，例如操作机器人装置1移动、记录指示机器人装置1的移动目的地的教示点、以及将机器人装置11移动到所记录的教示点位置的位置。
在使用这样的机器人装置的生产现场中，操作者404进行组装操作，用于将部件406与部件405组装在一起，将外部输入设备130保持在手中或放置可视觉观察的位置。
机器人***3000还包括摄像装置2，并且以可视觉观察的方式拍摄整个生产现场的图像。
为了拍摄所需目标的图像，摄像装置2具有驱动功能，例如用于改变摄像方向和视角的摇摄、倾斜和变焦驱动功能。安装的摄像装置2的数目可以是一个。在单个摄像装置具有死角的情况下，可以在补偿位置安装多个摄像装置。
图32是示出根据本示例性实施例的外部输入设备130的构造的图。根据本示例性实施例的外部输入设备130包括显示单元131和各种操作单元460。与前述示例性实施例不同，操作单元460是按钮类型单元。由于它们的操作与前述示例性实施例中的操作类似，因此将省略其描述。
在图32中，外部输入设备130包括用于显示由摄像装置2拍摄的图像的显示单元131。
除了来自摄像装置2的图像之外，显示单元131还可以显示机器人程序编辑画面。
显示单元131是包括触摸传感器的触摸面板。操作者404可以直接触摸显示单元131以做直观的操作和编辑。
此外，可以通过使用操作单元460的各种按钮来选择和操作显示单元131中的显示。外部输入设备130可以包括用于连接附加的键盘和/或鼠标的接口。
外部输入设备130具有将摄像装置2拍摄的生产现场的图像与虚拟图像(例如机器人装置1的处理操作或部件406的下一个组装过程的虚拟图像)进行组合并编辑的功能。
这里，摄像装置2相对于安装在生产现场中的机器人装置1和要操纵的部件的安装位置和方向是预先已知的。
表示虚拟机器人装置1和要操纵的部件的位置和方向的机器人组合图像401b和工件组合图像403b通过透视图显示在显示单元131(图33)上，使用通过典型的透视投影计算方法根据它们的位置关系导出该透视图。
机器人装置1的关节具有例如编码器的角度检测功能。可以通过运动学计算来计算机器人装置1的姿势和被传送的部件403的位置。
即使在摄像装置2具有诸如摇摄功能、倾斜功能和变焦功能的功能的情况下，由于驱动机构具有诸如编码器的旋转角检测功能，因此也可以导出摄像方向和放大比。
通过3D CAD准备机器人装置1的形状模型。通过上述运动学和透视投影图像计算方法计算出的示出机器人装置1的尖端的位置和部件的位置的图像可以虚拟地组合并显示在显示单元131上。
显示单元131还显示时间表452，并且具有编辑机器人程序和处理(诸如，操作者404的组装操作和组合显示等)的开始和停止定时的功能。这样的处理的顺序和显示定时可以在时间表452上编辑和设置。
时间表的水平轴基本上指示时间。移动所需的时间取决于机器人装置1的性能。时间表中的各个处理的时间长度可以由操作者404自由设置，或者通过实际操作机器人装置1一次来记录。在机器人装置伴随有机器人模拟的情况下，可以通过使用机器人模拟来导出时间长度。
对于各个处理的操作开始定时，操作者404也可以自由地设置是及时进行操作还是使控制装置标识上一个处理操作的结束定时，并使下一个处理操作的开始与结束定时同步。
此外，箭头、声音、字符和其他项目可被设置为辅助显示，以供操作者404识别组装的细节。
在这种情况下，辅助显示与显示图标453一样显示在显示单元131上。操作者选择和布局显示图标453并设置开始定时。
在可以进行显示设置(诸如箭头、字符和登记图像的闪烁和其他高亮)和颜色、大小和方向的自由设置的情况下，即使当操作者404专注于其他操作时，显示图标453也可以提高对给操作者404的警示的可注意性。
在安装有多个摄像装置以在多个方向上拍摄生产现场的图像的情况下，可以计算三维空间中的部件与操作者之间的距离并将其用作警告发出距离。
在这种情况下，为了在部件403和操作者404接近彼此时发出警告，在画面上选择目标对象，将它们之间的距离小于某一数值的状态设置为阈值，并且将画面高亮或声音发出设置为显示图标453。
图33是将机器人***3000中所包括的机器人装置1、部件等的下一个操作虚拟地组合并显示在显示单元131上的图。
对实际机器人装置1、部件403和教示操作者404进行显示的拍摄图像称为机器人装置拍摄图像1a和部件拍摄图像403a。
相反，虚拟地显示通过机器人装置1的下一次操作定位的部件403等的图像将被称为机器人装置组合图像1b和部件组合图像403b。
当机器人装置1实际操作一次并且操作者404进行组装操作时，可以通过图像处理来识别登记的目标对象的形状并保持登记的目标对象轨迹，并且记录操作，来生成要用显示单元131组合的机器人装置1和部件403的组合图像。
对于图像处理方法，操作者404、专业的图像处理工程师等从典型的图像处理中选择适当的手段，例如边缘提取，并应用该手段。
前述用于组合图像或添加显示的编辑功能不一定需要由外部输入设备130单独执行。
例如，可以在机器人装置1的控制装置中存储由个人计算机等单独编辑的图像，并且控制装置1可以在外部输入设备130上显示图像。
如上所述，根据本示例性实施例，可以事先在显示单元131上核查在下一处理中进行何种操作，而无需在生产现场中的操作期间实际操作机器人装置。
因此，可以容易地核查部件之间或与操作者404的意外接触等，并且可以降低对机器人装置和部件的损坏的风险。
因此，不需要学习操作机器人装置和摄像装置的熟练方法，就可以容易地核查和编辑处理中机器人装置的这种操作。
此外，能够容易地实施当机器人装置1或部件403接近操作者404时发出警告的设置。
(第十二示例性实施例)
接下来，将描述适合于使用在外部输入设备130上显示的来自摄像装置的图像，通过外部输入设备130，对机器人装置和摄像装置进行校准操作和教示操作的UI的示例。
在本示例性实施例中，将描述操作者通过操作机器人装置(如直接教示)来教示操作的情况。
一些机器人装置在进行前述直接教示时达到其操作限度的情况下检测异常，发出声音或显示字符来指示警告，并且停止接受操作。
这将引起以下问题，即在做接近机器人装置的操作限度的操作设置时，由于操作频繁地停止，并且每次都需要进行恢复操作，因此做操作设置需要更长的时间。
此外，存在另一个问题，即在机器人装置停止在操作限度位置或操作限度位置附近的情况下，由于机器人装置能够移动的方向受到限定，因此不能确定机器人装置能够移动到哪个方向，并且机器人装置的可操作性降低。
考虑到上述问题，本示例性实施例研究的是用于即使在机器人装置的操作限度附近做在教示和其他操作设置的情况下也减少教示时间并防止机器人装置的可操作性降低的UI的示例。
下面将示出和描述与前述示例性实施例在硬件和控制***构造上的区别。与前述示例性实施例的部分类似的部分将具有类似的构造并且能够进行与前述类似的操作，并且将省略其详细描述。
图34示出了操作者404操作机器人装置1移动的情况的图像被摄像装置2拍摄并作为机器人装置拍摄图像1a显示在操作装置2上的显示单元131上的状态。
在该状态下，操作机器人装置1以绕机器人装置1的关节的驱动轴1j做旋转运动，即，做称为关节微动操作、轴向操作等的操作。
这里，机器人装置1的可操作范围与摄像装置2拍摄的图像组合，并作为机器人关节操作范围420显示在显示单元131上。
显示在显示单元131上的机器人关节操作范围420的几何形状是绕驱动轴1j的可旋转角度与机器人装置1的安装位置和关节角度以及摄像装置2的安装位置和姿势的组合。
如在第十一示例性实施例中，通过进一步组合机器人装置1或由机器人装置1传送的部件403的形状，可以计算机器人关节操作范围420的几何形状。
由此导出的几何形状被显示在机器人关节操作范围420的显示单元131上。
图35示出了在机器人装置1上沿与机器人装置1的安装面正交的正交坐标系425做移动操作(称为正交微动操作等)的状态。
与图34一样，显示机器人装置1的正交操作范围421。在图35的状态下。机器人装置1在图中的竖直方向上移动，并且示出了竖直移动限度。
在图34中，机器人装置组合图像1b表示机器人装置1的正交操作范围421的下限。机器人装置组合图像1b'表示机器人装置1的正交操作范围421的上限。
正交微动操作也可以使机器人装置1在图中的水平方向和深度方向以及周向方向上移动。即使在这种情况下，示出如上所述的机器人装置1的虚拟运动的组合图像也可以用于显示。
在图的深度方向上，还可以通过以SI单位制中的毫米为单位显示带有负号和正号的数字标识，使关于近侧和远侧或接近近侧和远侧的角度的操作限度更可标识。
在此，选择由正交操作范围421显示的范围的方向的方法的示例是，当按下操作单元460的各个定向操作按钮时，显示对应的范围。
或者，操作者404预先选择向哪个方向移动机器人装置1，并且始终显示该方向。
在图36中，在机器人装置1上做沿着与机器人装置1的尖端的姿势正交的工具坐标系426的移动操作，称为工具微动操作等。与图35一样，在图36中，显示工具操作范围422。
即使在工具微动操作的情况下，也能够帮助操作者掌握机器人装置1的操作范围，并且提高了机器人装置1的操作性。
参照图34至图36描述的操作范围420至范围422可以在显示与隐藏之间自由切换，并且如果被构造为能够基于操作者404需要的信息和定时显示，则不干扰正常机器人操作的可见性。
或者，当操作限度的显示干扰观察目标的可见性时，操作范围420至422中的各个可以设置为隐藏、半透明、以轮廓显示等。
除了显示机器人装置1的操作范围之外，如果操作者尝试将机器人装置1移动到其操作限度以外，则机器人装置1在与前一移动操作的方向相反的方向上移动，并且在机器人装置1因错误停住之前停止操作。
因此，停止机器人装置1使得能够在不损害机器人装置1的操作性的情况下继续操作机器人装置1。
将描述用于为此目的而控制机器人装置1的方法的具体示例。例如，操作者按下外部输入设备130的操作单元460的按钮，以尝试对机器人装置1做正交微动操作，作为用于控制机器人装置的操作的方法。
在这种情况下，首先设置机器人装置1尖端的目标移动位置，并且运动地计算机器人装置1中包括的用于到达该位置的机器人臂的关节角度。
存在一种操作和控制方法，用于根据与当前机器人装置1的关节的差异来确定各关节的操作速度。
在这种情况下，通过设置，即使在操作限度附近做正交微动操作的情况下，也可以将机器人装置1的尖端的目标位置仅设置到各关节的可移动限度角度或设置在各关节的可移动限度角度以内，从而防止机器人装置1因错误而停住。
此外，在机器人装置1在操作限度附近的某一范围内取姿势情况下，机器人装置1被控制为自动做退出该范围的移动操作，例如，在与先前操作的方向相反的方向上移动。
这可以避免在操作限度附近的移动方向极为有限的状态下，机器人装置1能够***作而移动的方向未知的问题。
操作限度附近的具体范围可以由操作者404自由设置。这使得操作者能够基于机器人装置1的使用目的进行选择，例如使范围变窄以使操作能够在限度附近更频繁地进行，或者相反地使范围变宽以避免在限度位置处的可操作性受损的风险。
如上所述，根据本示例性实施例，由于可以通过使用外部输入设备130来核查机器人装置1的操作限度，因此可以提高机器人装置1的可操作性。
这对于避开散落在机器人装置1周围的结构或当机器人装置采取复杂的移动路线时是特别有效的。
此外，能够避免机器人装置1在操作限度附近频繁地因错误而停住的现象，并且提高了机器人装置1的可操作性。因此，能够在短时间内对机器人装置做教示操作。
(第十三示例性实施例)
接下来，作为第十四示例性实施例，将描述适合于使用在外部输入设备130上显示的来自摄像装置的图像，通过使用外部输入设备130，对机器人装置和摄像装置进行校准操作和教示操作的UI的示例。
在本示例性实施例中，将描述根据生产计划和生产现场中的操作细节而频繁移动机器人装置的安装位置以在多条生产线中使用机器人装置的情况。
在移动了机器人装置并且未精确调整机器人装置的安装的情况下，工件与机器人装置之间的相对位置改变。这导致诸如机器人装置不能进行用于抓握工件和组装工件的操作的问题以及故障建立增加的问题。
在移动机器人装置和调整机器人装置的位置时，通常需要使用以保证精度制造的对准夹具来进行调整，从而以高精度确定机器人装置和安装结构的位置。
然而，这种对准夹具的制造成本高且耗时。或者，可以使用诸如激光测距仪、量角器和其他角度计的测量仪器来进行调整。然而，即使在这种情况下，也需要准备具有保证精度的测量仪器、测量仪器的精确使用、机器人装置的安装的设计和调整等措施。
考虑到上述问题，在本示例性实施例中，将描述机器人装置可以在不使用夹具或测量仪器的情况下精确定位的UI的示例。
下面将示出和描述与前述示例性实施例在硬件和控制***构造上的区别。与前述示例性实施例的部分类似的部分将具有类似的构造并且能够进行与前述类似的操作，并且将省略其详细描述。
图37示出了由摄像装置2拍摄并在外部输入设备130上的显示单元131上显示的在移动机器人装置1时的操作的图像。
在摄像装置2拍摄的机器人装置拍摄图像1a附近显示机器人安装图像1c，使得可以观察到机器人装置1的适当安装位置。
所设计的3D CAD模型可以用于机器人安装图像1c的形状和安装位置。可以通过将机器人装置1安装在适当位置一次并且然后处理摄像装置的图像来获得机器人装置1的位置和形状，并且可以使用所获得的位置和形状。
通过使用如上所述准备的机器人安装图像1c，如在第十一示例性实施例中，可以根据机器人装置1的姿势和摄像装置2的姿势来计算要显示在显示图像单元131上的几何形状。
利用摄像装置2拍摄在安装操作下的机器人装置1的图像并对该图像进行处理以获得机器人装置1的形状和位置，使得能够与机器人安装图像1c进行比较。
比较匹配区域或最大距离的图像，并在显示单元131上显示安装位置是否落在允许范围内或安装位置在哪个方向上未对准，有助于安装操作。
匹配区域和最大距离的允许范围可以由操作者404基于所需的组装精度等自由设置。
通过在安装操作期间在多个方向上指引机器人装置1的姿势或将机器人装置1设置为特征姿势，并且将机器人装置1对准到各位置，可以提高安装精度。
特别地，当从摄像装置2观看时，通过将机器人装置1设置在沿水平方向而不是深度方向较长的姿势，图像处理精度有望提高。
此外，可以通过使用摄像装置2的变焦功能来扩大和记录机器人装置1的特征部，并且可以将图像用于定位。这使得能够高精度定位。
在这一操作期间，通过使用多个摄像装置来拍摄多个方向上的图像，可以提高在使用单个摄像装置的观察困难的方向上的安装精度。
基于可操作性和可视性，还可以选择机器人装置图像1c的显示方法，例如是用多边形显示机器人装置1的形状、仅以轮廓显示形状、还是提供半透明显示。
即使在机器人装置1在多条生产线上移动和使用的情况下，也可以消除对制造昂贵的长交货期的对准夹具或使用测量仪器的需要。
而且，在由于生产计划或生产现场的生产细节而匆忙建立新的生产线或开始试运行时，可以暂时使用正在生产线上使用的机器人装置。
此外，当机器人装置使用完毕时，机器人装置可以立即返回到原始生产线。这使得机器人管理能够适应多产品小批量生产。
(第十四示例性实施例)
接下来，作为第十四示例性实施例，将描述适合于使用在外部输入设备130上显示的来自摄像装置的图像，通过使用外部输入设备130，对机器人装置和摄像装置进行校准操作和教示操作的UI的示例。
本示例性实施例研究的是机器人装置1和操作者404并行工作的情况。
在这种情况下，有时期望摄像装置2在机器人装置1的操作的同时检查操作者404操纵的部件406。
在此，机器人装置1可以遮挡摄像装置2的视野并且使部件406不可检查，或者机器人装置1可以在什么位置操作以进行并行操作是不可标识的。
在本示例性实施例中，将描述即使出现前述问题也可以由摄像装置在机器人装置操作的同时检查操作者操纵的部件的UI的示例。
下面将示出和描述与前述示例性实施例在硬件和控制***构造上的区别。与前述示例性实施例的部分类似的部分将具有类似的构造并且能够进行与前述类似的操作，并且将省略其详细描述。
图38示出了在显示单元131上显示机器人装置1和操作者404在同一空间中并行工作的现场的由摄像装置2拍摄的图像的示例。
在拍摄的情况下，部件406被机器人装置1的预定关节遮挡，并且摄像装置2不能***件406。
这里，显示单元131显示与摄像装置2拍摄的图像组合的机器人装置回避姿势1d。如果机器人装置1移动到所指示的范围，则摄像装置2可以***406。
作为用于导出机器人装置回避姿势1d的方法，例如，使用将部件拍摄图像406a的轮廓与摄像装置2的透镜中心连接的虚拟金字塔多面体，因此多面体不干扰机器人装置1的范围是机器人装置1不遮挡部件406的范围。
可以从机器人装置1中包括的机器人臂的关节角度运动地计算机器人装置1的姿势。
由此，能够导出在使机器人装置1的姿势向预定方向变化时，消除机器人装置1与多面体之间的干扰的姿势。
此外，与第十一示例性实施例一样，这里要在显示单元131上显示的机器人装置回避姿势1d的几何形状可以通过透视投影计算从机器人装置1的姿势和摄像装置2的姿势导出。
关于当机器人装置1回避时用以计算机器人装置回避姿势1d的方向，操作者404可以指定沿着正交坐标系等的任意方向。图38示出了机器人装置1在箭头H的方向上回避的情况下的范围。
图39示出了机器人装置1移动到如上所述导出的机器人装置回避姿势1d的位置的状态。
因此，在不被机器人装置1遮挡的情况下，由摄像装置2显示整个部件406，并且摄像装置2能够***件406。
如上所述，根据本示例性实施例，当机器人装置1和操作者404并行进行操作时，操作者404可以在利用摄像装置2***件406的同时做关于机器人装置1的操作教示的设置。
在通过使用该功能确定供机器人装置1操纵的部件403的安装位置的情况下，可以容易地做布局设计，使得在机器人装置1和操作者404进行并行操作的同时，摄像装置2可以同时监视机器人装置1和操作者404的操作。
(第十五示例性实施例)
接下来，作为第十五示例性实施例，将描述适合于使用在外部输入设备130上显示的来自摄像装置的图像，通过使用外部输入设备130，对机器人装置和摄像装置进行校准操作和教示操作的UI的示例。
在本示例性实施例中，将描述操作者在通过使用外部输入设备130操作摄像装置2时直观地操作摄像装置2的情况。在摄像装置2能够沿摇摄方向和倾斜方向操作的情况下，依据摄像装置2的安装方式和外部输入设备130上的显示方式，迄今为止已经操作摇摄方向的摄像操作部可以看起来像倾斜方向的操作部。这使得摄像装置2难以直观地操作。本示例性实施例描述了即使在出现前述问题的情况下也可以通过使用外部输入设备130来直观地操作摄像装置2的UI的示例。
图40示出根据本示例性实施例的显示单元131上显示的画面。与前述各种示例性实施例的不同之处在于，该画面包括摄像装置安装图标560，该摄像装置安装图标560显示从操作者看到的摄像装置2的安装状态。外部输入设备130预先存储关于要操作的摄像装置2的安装方式的信息，并且基于所存储的信息在摄像操作部105上显示摄像装置2的安装状态。在摄像装置安装图标560上还显示作为指示摇摄方向的可视指示符的箭头B和作为指示倾斜方向的可视指示符的箭头A。
当在作为倾斜方向的箭头A的方向上操作摄像装置2时，操作者通过使用视点操作按钮106a来操作摄像装置2。当在作为摇摄方向的箭头B的方向上操作摄像装置2时，操作者通过使用视点操作按钮106b来操作摄像装置2。这里，在视点操作按钮106a附近显示“A”作为指示倾斜方向的可视指示符，在视点操作按钮106b附近显示“B”作为指示摇摄方向的可视指示符。这使得由视点操作按钮106a指示的方向在外观上与作为倾斜方向的箭头A的方向一致，并且由视点操作按钮106b指示的方向在外观上与作为摇摄方向的箭头B的方向一致。因此，通过使用部件输入设备130可以直观地操作摄像装置2。
图41示出了在摄像装置2以与图40中的安装方式不同的方式安装的情况下显示在显示单元131上的画面。在图41中，将摄像装置2安装成从图40中摄像装置2的安装状态旋转90度。在摄像装置2旋转90度的情况下，在摄像操作部105上显示摄像装置安装图标560。
在图41中，在沿作为倾斜方向的箭头A的方向操作摄像装置2的情况下，操作者通过使用视点操作按钮106b来操作摄像装置2。当在作为摇摄方向的箭头B的方向上操作摄像装置2时，操作者通过使用视点操作按钮106a来操作摄像装置2。这里，“B”被显示在视点操作按钮106a附近作为指示摇摄方向的可视指示符，“A”被显示在视点操作按钮106b附近作为指示倾斜方向的可视指示符。这使得由视点操作按钮106b指示的方向在外观上与作为倾斜方向的箭头A的方向一致，并且由视点操作按钮106a指示的方向在外观上与作为摇摄方向的箭头B的方向一致。因此，即使在摄像装置2的安装方式不同的情况下，摄像装置2也可以通过使用部件输入设备130直观地***作。此外，由于显示了摄像装置2的安装方式，因此操作者可以进行摄像装置2的更直观的操作。当字母和箭头作为视觉指示符显示时，可酌情使用操作者可视觉识别的方法，例如图形和图片。
前述各种示例性实施例的处理过程已经具体描述为由控制装置13执行。然而，可以将能够执行前述功能的软件控制程序和记录该程序的记录介质安装在外部输入设备130上以实施。
因此，能够执行前述功能的软件控制程序和记录该程序的记录介质构成了本发明。
在前述示例性实施例中，计算机可读记录介质被描述为ROM或RAM，并且控制程序被描述为存储在ROM或RAM中。然而，本发明不限于这些模式。
用于实施本发明的控制程序可以记录在计算机可读的任何记录介质上。例如，可以使用HDD、外部存储设备、记录盘等作为用于提供控制程序的记录介质。
(其他示例性实施例)
在前述各种示例性实施例中，机器人装置1被描述为使用包括多个关节的多关节机器人臂。但是，关节的数量并不限于此。虽然机器人装置被描述为具有竖直多轴构造，但即使具有不同类型的关节，例如并联连杆类型，也可以实施与前述等价的构造。
此外，在示例性实施例的图中示出了机器人装置1的构造示例。然而，这不是限制性的，本领域技术人员可以自由地做设计改变。机器人装置1中包括的电机不限于前述构造，并且用于驱动关节的驱动源可以是诸如人造肌肉的设备。
前述各种示例性实施例可应用于可以基于来自控制装置中包括的存储设备的信息自动进行伸展和收缩、弯曲和拉伸、上下移动、左右移动、或旋转操作或其复合操作的机器。
在前述各种示例性实施例中，在外部输入设备130上显示用于监视由摄像装置2摄像的机器人装置的操作的画面构造。但是，这并不是限制性的。
例如，画面构造可以显示在各种界面上，例如便携式终端、台式个人计算机和能够通过使用应用程序等操作机器人装置的膝上型个人计算机。
在前述示例性实施例中，在外部输入设备的显示单元上显示的项目被描述称作按钮。然而，按钮可以被替换并实施为显示图标或显示项目。
在前述各种示例性实施例中，通过使用在预定位置安装并拍摄图像的摄像装置作为示例来描述摄像装置2。但是，这并不是限制性的。例如，摄像装置可以安装在机器人装置的末端执行器上，并且摄像装置可以用作手持式照相机，以在外部输入设备的同一画面上显示来自从固定点拍摄图像的摄像装置的图像和来自用作手持式照相机的摄像装置的图像。因此，操作者可以在观察整个机器人装置的同时观察操作中的末端执行器的视角，并且可以更容易地教示机器人装置。可以在图像显示单元上交替地显示来自从固定点拍摄图像的摄像装置的图像和来自用作手持式照相机的摄像装置的图像。
通过使用显示由摄像装置2拍摄的图像的示例，已经描述了前述各种示例性实施例。但是，这并不是限制性的。控制装置13可以包括内置的图像处理装置，并且可以对由摄像装置2拍摄的图像进行图像处理，并且将图像处理的结果显示在外部输入设备130的显示单元131上。因此，在通过使用摄像装置2来校正对机器人装置的教示时，操作者能够在观察图像处理结果的同时校正对机器人装置的教示。
本发明不限于前述示例性实施例，在不脱离本发明的精神和范围的情况下，可以进行各种改变和修改。因此附上以下权利要求书以公开本发明的范围。
本申请要求2018年11月1日提交的日本专利申请第2018-206679号的权益，在此通过引用将其全部并入本文。

Claims (49)

1.一种外部输入设备，其被构造为操作机器人***，所述机器人***包括能够改变摄像视点的摄像装置和机器人装置，所述外部输入设备包括：
显示区域；
机器人装置操作单元，其被构造为操作所述机器人装置；
摄像操作单元，其被构造为操作所述摄像装置；以及
图像显示单元，其被构造为显示由所述摄像装置拍摄的图像，
其中，在所述显示区域上显示所述机器人装置操作单元、所述摄像操作单元和所述图像显示单元，并且
其中，所述图像显示单元布设在所述机器人装置操作单元与所述摄像操作单元之间。
2.根据权利要求1所述的外部输入设备，
其中，所述机器人装置操作单元、所述摄像操作单元和所述图像显示单元的显示位置是可改变的。
3.根据权利要求1或2所述的外部输入设备，
其中，通过触摸所述图像显示单元上显示的所述机器人装置，所述外部输入设备能够作为所述机器人装置操作单元来操作所述机器人装置，并且
其中，通过触摸所述图像显示单元的除所显示的机器人装置之外的部分，所述外部输入设备能够作为所述摄像操作单元来操作所述摄像装置。
4.根据权利要求3所述的外部输入设备，
其中，通过对所述图像显示单元上显示的任何部分做单点触摸或多点触摸，所述外部输入设备能够作为所述机器人装置操作单元来操作所述机器人装置，并且
其中，通过触摸在所述图像显示单元上显示的任何部分，所述外部输入设备能够作为所述摄像操作单元来操作所述摄像装置，所述触摸是未被用于操作机器人装置的所述单点触摸和所述多点触摸当中的方法。
5.根据权利要求1或2所述的外部输入设备，
其中，通过以预定力值或更大力值触摸所述图像显示单元上显示的任何部分，所述外部输入设备能够作为所述机器人装置单元来操作所述机器人装置，并且
其中，通过以小于预定力值触摸所述图像显示单元上显示的任何部分，所述外部输入设备能够作为所述摄像操作单元来操作所述摄像装置。
6.根据权利要求1或2所述的外部输入设备，
其中，所述图像显示单元显示操作设置按钮，所述操作设置按钮被构造为通过在所述图像显示单元上的触摸来设置机器人装置或摄像装置哪一个要***作。
7.根据权利要求3至6中任一项所述的外部输入设备，
其中，在通过触摸图像显示单元来操作所述摄像装置时，
通过触摸在图像显示单元上并在预定方向上滑动所述触摸来移动所述摄像装置的摄像视点，
通过触摸在图像显示单元上并捏放来缩小所述摄像装置，并且
通过触摸在图像显示单元上并捏合来放大所述摄像装置。
8.根据权利要求3至7中任一项所述的外部输入设备，
其中，在通过触摸所述图像显示单元来操作所述机器人装置时，不接受触摸和轻弹所述图像显示单元的操作。
9.根据权利要求1或2所述的外部输入设备，
其中，所述机器人装置操作单元包括：
回放条，其被构造为最多指示到预先教示的机器人装置的预定操作的结束时间，以及
指示所述回放条上的时间位置的第一位置标记，
其中，所述摄像操作单元包括：
指示所述摄像装置的各驱动单元的操作范围的操作条，以及
指示操作条上的当前位置的第二位置标记。
10.根据权利要求9所述的外部输入设备，
其中，在所述回放条和各个操作条上显示指示所述摄像装置的预定摄像视点的教示点的摄像视点教示点。
11.根据权利要求9或10所述的外部输入设备，
其中，在各个操作条上显示可设置范围，所述可设置范围指示在各个驱动单元的操作范围中能够设置摄像视点的教示点的范围。
12.根据权利要求9至11中任一项所述的外部输入设备，
其中，所述摄像装置是摇摄-倾斜照相机并且包括变焦功能，
其中，所述操作条包括：
摇摄操作条，其被构造为沿摇摄方向操作所述摄像装置，
倾斜操作条，其被构造为沿倾斜方向操作所述摄像装置，以及
变焦调整条，其被构造为调整所述变焦功能，以及
其中，在所述摇摄操作条、所述倾斜操作条和所述变焦调整条中的各个上显示第三位置标记，所述第三位置标记指示各个操作范围中的当前位置。
13.根据权利要求1或2所述的外部输入设备，所述外部输入设备包括坐标系切换按钮，所述坐标系切换按钮被构造为在所述外部输入设备要操作的目标之间切换时，切换到要操作的目标中的对应的一个目标的作为操作参考的坐标系，并且使所述要操作的目标可操作。
14.根据权利要求13所述的外部输入设备，
其中，所述坐标系切换按钮包括：
基座坐标系按钮，其被构造为切换到基于所述机器人装置安装的位置的基座坐标系，
末端执行器坐标系按钮，其被构造为切换到基于所述机器人装置的末端执行器的位置的末端执行器坐标系，以及
摄像坐标系按钮，其被构造为切换到与所述摄像装置相关的坐标系。
15.根据权利要求1或2所述的外部输入设备，所述外部输入设备包括竖直翻转按钮，所述竖直翻转按钮被构造为竖直地翻转所述图像显示单元上的图像。
16.根据权利要求15所述的外部输入设备，所述外部输入设备包括自动按钮，所述自动按钮被构造为自动竖直地翻转所述图像显示单元上的图像，
其中，通过对所述自动按钮的操作显示自动设置单元，所述自动设置单元被构造为设置用于自动竖直地翻转所述图像显示单元上的图像的触发器。
17.根据权利要求16所述的外部输入设备，
其中，所述自动设置单元能够在所述摄像装置的各个驱动单元中设置角度值。
18.根据权利要求1或2所述的外部输入设备，
其中，所述图像显示单元上的图像能够通过多点触摸来旋转。
19.一种外部输入设备，其被构造为操作机器人***，所述机器人***包括能够改变摄像视点的摄像装置和机器人装置，所述外部输入设备包括：
显示区域；
其中，所述显示区域显示被构造为显示所述机器人装置的操作处理的处理程序画面，并且
其中，所述处理程序画面显示要在所述处理中的预定处理中使用的摄像装置的名称和教示给所述摄像装置的教示点。
20.根据权利要求19所述的外部输入设备，
其中，安装有多个所述摄像装置，并且
其中，所述外部输入设备包括摄像装置切换按钮，所述摄像装置切换按钮被构造为自动切换到所述多个摄像装置当中的拍摄所述机器人装置的图像的摄像装置，作为在所述显示单元上显示图像的摄像装置。
21.一种外部输入设备，其被构造为操作机器人***，所述机器人***包括能够改变摄像视点的摄像装置和机器人装置，所述外部输入设备包括：
显示区域；
其中，所述显示区域被构造为显示：
测量按钮，其被构造为测量所述机器人装置的操作时间和对所述机器人装置进行操作的操作者，
测量设置按钮，其被构造为进行对所述操作时间的测量设置，以及
时间显示单元，其被构造为显示测量的操作时间。
22.根据权利要求21所述的外部输入设备，
其中，通过对所述测量设置按钮的操作，显示设置画面，所述设置画面被构造为进行协作操作时间的测量设置，在协作操作时间中，所述机器人装置和所述操作者以协作方式操作。
23.根据权利要求21所述的外部输入设备，
其中，所述设置画面能够设置所述机器人装置与所述操作者之间的相对距离，并且
其中，将所述机器人装置与所述操作者之间的相对距离小于或等于在所述设置画面上设置的距离期间的时间测量为所述协作操作时间。
24.一种外部输入设备，其被构造为操作机器人***，所述机器人***包括能够改变摄像视点的摄像装置和机器人装置，所述外部输入设备包括：
显示区域；
其中，所述显示区域被构造为显示：
摄像目标指定框，其被构造为设置所述摄像装置的摄像目标，以及
摄像追踪按钮，其被构造为控制摄像装置继续自动拍摄由摄像目标指定框指定的摄像目标的图像。
25.根据权利要求24所述的外部输入设备，
其中，所述显示区域显示机器人追踪按钮，所述机器人追踪按钮被构造为控制所述机器人装置，使得继续自动拍摄由所述摄像目标指定框指定的摄像目标的图像。
26.根据权利要求24或25所述的外部输入设备，
其中，所述显示区域包括坐标显示框，所述坐标显示框被构造为显示所述机器人***中的预定坐标值，
其中，所述坐标显示框能够输入预定的坐标值，并且
其中，显示机器人移动按钮和摄像移动按钮，所述机器人移动按钮被构造为将所述机器人装置操作到输入到所述坐标显示框中的所述预定坐标值，所述摄像移动按钮被构造为使所述摄像装置拍摄输入到所述坐标显示框中的所述预定坐标值的图像。
27.一种外部输入设备，其被构造为操作机器人***，所述机器人***包括能够改变摄像视点的摄像装置和机器人装置，所述外部输入设备包括：
显示区域；
其中，所述显示区域被构造为显示：
区域设置按钮，其被构造为在由所述摄像装置拍摄的摄像中设置预定区域，
工件登记按钮，其被构造为设置所述摄像装置要拍摄图像的工件，以及
工件搜索按钮，其被构造为在预定区域中搜索要拍摄图像的工件。
28.一种外部输入设备，其被构造为操作机器人***，所述机器人***包括能够改变摄像视点的摄像装置和机器人装置，所述外部输入设备包括：
图像显示单元，其被构造为显示由所述摄像装置拍摄的图像，
其中，在所述图像显示单元上显示在预定处理中所述机器人装置的由摄像装置拍摄的图像和指示在预定处理之后的处理中所述机器人装置的位置的虚拟机器人组合图像。
29.根据权利要求28所述的外部输入设备，
其中，在所述图像显示单元上显示在预定处理中所述机器人装置的由摄像装置拍摄的摄像和所述机器人装置的操作范围。
30.根据权利要求29所述的外部输入设备，
其中，通过使用所述虚拟机器人组合图像来显示所述操作范围的限度，作为所述操作范围。
31.根据权利要求28所述的外部输入设备，
其中，在所述图像显示单元上显示由所述摄像装置拍摄的用于将所述机器人装置安装在预定位置的操作的摄像和在所述机器人装置安装在与所述预定位置不同的位置的情况下指示所述机器人装置的位置的虚拟机器人组合图像。
32.根据权利要求28所述的外部输入设备，
其中，在所述图像显示单元上显示由所述摄像装置拍摄的、部分被所述机器人装置遮挡的工件的图像和指示所述机器人装置的位置的虚拟机器人组合图像，在所述位置处，所述摄像装置能够拍摄整个工件的图像。
33.一种外部输入设备，其被构造为操作机器人***，所述机器人***包括能够改变摄像视点的摄像装置和机器人装置，所述外部输入设备包括：
图像显示单元，其被构造为显示所述摄像装置正在拍摄的图像，
其中，在所述图像显示单元上显示第一图标和第二图标，所述第一图标被构造为进行所述图像显示单元的显示设置，所述第二图标被构造为进行要从所述机器人装置的部件发出的声音的设置。
34.一种外部输入设备，其被构造为操作机器人***，所述机器人***包括能够改变摄像视点的摄像装置和机器人装置，所述外部输入设备包括：
显示区域；以及
存储单元，被构造为存储关于通过使用所述外部输入设备操作所述机器人***的操作者的面部数据，
其中，所述显示区域包括面部认证按钮，所述面部认证按钮被构造为通过所述摄像装置检测使用所述外部输入设备的操作者的面部，并且将所检测的面部与存储在所述存储单元中的面部数据进行比较。
35.根据权利要求34所述的外部输入设备，
其中，通过所述面部认证按钮进行的操作包括：将所检测的面部与存储在所述存储单元中的面部数据进行比较，并且在所检测的面部与存储在所述存储单元中的面部数据不匹配的情况下，设置对操作者操作所述机器人装置的限制。
36.一种外部输入设备，其被构造为操作机器人***，所述机器人***包括能够改变摄像视点的摄像装置和机器人装置，所述外部输入设备包括：
机器人装置操作单元，其被构造为操作所述机器人装置；
摄像操作单元，其被构造为操作所述摄像装置；以及
图像显示单元，其被构造为显示由所述摄像装置拍摄的图像，
其中，所述机器人装置操作单元、所述摄像操作单元和所述图像显示单元布设在所述外部输入设备的预定表面上。
37.根据权利要求36所述的外部输入设备，
其中，所述机器人装置操作单元相对于所述显示单元布设在所述图像显示单元的左侧或右侧上，并且所述摄像操作单元位于所述图像显示单元的另一侧上。
38.一种机器人***，其包括能够改变摄像视点的摄像装置和机器人装置，所述机器人***包括：
能够将预定操作输入到机器人***中的外部输入设备，
其中所述外部输入设备包括：
显示区域；
机器人装置操作单元，其被构造为操作所述机器人装置；
摄像操作单元，其被构造为操作所述摄像装置；以及
图像显示单元，其被构造为显示由所述摄像装置拍摄的图像，
其中，在显示区域上显示所述机器人装置操作单元、所述摄像操作单元和所述图像显示单元。
39.一种机器人***的控制方法，所述机器人***包括能够改变摄像视点的摄像装置和机器人装置，所述控制方法包括：
外部输入设备，其能够将预定操作输入到所述机器人***中；以及
控制装置，其被构造为基于来自外部输入设备的命令来控制所述机器人***，
其中所述外部输入设备包括：
机器人装置操作单元，其被构造为操作所述机器人装置；
摄像操作单元，其被构造为操作所述摄像装置；以及
图像显示单元，其被构造为显示由所述摄像装置拍摄的图像，
其中，所述控制装置被构造为控制所述机器人装置和所述摄像装置，使得所述机器人装置和所述摄像装置能够通过来自所述机器人装置操作单元和所述摄像操作单元的输入并行地操作。
40.一种外部输入设备，其被构造为操作机器人***，所述机器人***包括能够改变摄像视点的摄像装置和机器人装置，所述外部输入设备包括：
显示区域；
其中，在所述显示区域上显示指示所述摄像装置的安装状态的摄像装置安装图标。
41.根据权利要求40所述的外部输入设备，
其中，当所述摄像装置的安装状态改变时，所述摄像装置安装图标的显示也改变。
42.根据权利要求40或41所述的外部输入设备，
其中，在所述显示区域上显示被构造为操作所述摄像装置的摄像操作单元，并且
其中，在改变所述摄像装置的安装状态的情况下，改变所述摄像操作单元的设置。
43.根据权利要求42所述的外部输入设备，
其中，所述摄像装置是能够在摇摄方向和倾斜方向上驱动的摇摄-倾斜照相机，并且
其中，在所述摄像装置安装图标上显示指示所述摇摄方向的可视指示符和指示所述倾斜方向的可视指示符。
44.一种外部输入设备，其被构造为操作机器人***，所述机器人***包括机器人装置、能够改变摄像视点并且布设在不用户所述机器人装置移动的位置的第一摄像装置、以及布设在所述机器人装置的预定部分上的第二摄像装置，所述外部输入设备包括：
显示区域；
其中，在所述显示区域上能够显示由所述第一摄像装置拍摄的图像和由所述第二摄像装置拍摄的图像。
45.根据权利要求44所述的外部输入设备，
其中，在同一显示区域上显示由所述第一摄像装置拍摄的图像和由所述第二摄像装置拍摄的第二图像。
46.根据权利要求44所述的外部输入设备，
其中，能够交替显示由所述第一摄像装置拍摄的图像和由所述第二摄像装置拍摄的第二图像。
47.一种外部输入设备，其被构造为操作机器人***，所述机器人***包括能够改变摄像视点的摄像装置、机器人装置和被构造为对从所述摄像装置获得的图像进行图像处理的图像处理装置，所述外部输入设备包括：
显示区域；
其中，能够在所述显示区域上显示从所述图像处理装置获得的图像处理结果。
48.一种控制程序，其用于使计算机进行根据权利要求39所述的控制方法。
49.一种计算机可读记录介质，其上记录了根据权利要求48所述的控制程序。
CN201980072346.3A 2018-11-01 2019-10-29 外部输入设备、机器人***、机器人***的控制方法、控制程序及记录介质 Pending CN113056351A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-206679 2018-11-01
JP2018206679 2018-11-01
PCT/JP2019/042344 WO2020090809A1 (ja) 2018-11-01 2019-10-29 外部入力装置、ロボットシステム、ロボットシステムの制御方法、制御プログラム、及び記録媒体

Publications (1)

Publication Number Publication Date
CN113056351A true CN113056351A (zh) 2021-06-29

Family

ID=70463708

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980072346.3A Pending CN113056351A (zh) 2018-11-01 2019-10-29 外部输入设备、机器人***、机器人***的控制方法、控制程序及记录介质

Country Status (5)

Country Link
US (1) US20210252713A1 (zh)
EP (1) EP3875230A4 (zh)
JP (1) JP7490349B2 (zh)
CN (1) CN113056351A (zh)
WO (1) WO2020090809A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210069899A1 (en) * 2017-12-14 2021-03-11 Wittmann Kunststoffgeräte Gmbh Method for validating programmed execution sequences or teaching programs for a robot in a working cell, and robot and/or robot controller for said method
US11565427B2 (en) * 2017-08-25 2023-01-31 Fanuc Corporation Robot system

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7400211B2 (ja) * 2019-05-16 2023-12-19 セイコーエプソン株式会社 ロボットシステム、制御装置およびロボットの制御方法
JP7326911B2 (ja) * 2019-06-20 2023-08-16 オムロン株式会社 制御システムおよび制御方法
JP2021091078A (ja) * 2019-12-10 2021-06-17 川崎重工業株式会社 ロボット用コントローラ
KR102118293B1 (ko) * 2019-12-10 2020-06-02 주식회사 아진엑스텍 터치스크린을 포함하는 휴대용 단말을 이용한 로봇 장치 제어 방법
US20230219223A1 (en) * 2020-06-05 2023-07-13 Fanuc Corporation Programming device
US20230292000A1 (en) * 2020-08-03 2023-09-14 Mitsubishi Electric Corporation Remote control device
JP2022122728A (ja) * 2021-02-10 2022-08-23 セイコーエプソン株式会社 教示装置、教示方法および教示プログラム
JPWO2022239233A1 (zh) * 2021-05-14 2022-11-17
KR102403021B1 (ko) * 2021-06-29 2022-05-30 주식회사 뉴로메카 로봇 교시 장치 및 이를 이용한 로봇 교시 방법
CN114167775B (zh) * 2021-11-30 2024-04-26 上海德衡数据科技有限公司 基于机器人的实时外部控制方法及***
CN114310881A (zh) * 2021-12-23 2022-04-12 中国科学院自动化研究所 一种机械臂快换装置的标定方法、***及电子设备
WO2023248439A1 (ja) * 2022-06-23 2023-12-28 ファナック株式会社 ロボットシステム、ロボット制御装置およびロボット制御プログラム
WO2024089813A1 (ja) * 2022-10-26 2024-05-02 株式会社Fuji ロボット
JP7364285B1 (ja) 2022-11-11 2023-10-18 高丸工業株式会社 ロボット操作システムの動作方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1981263A1 (en) * 2007-04-13 2008-10-15 Axis AB Supporting continuous pan rotation in a pan-tilt camera
US20120191269A1 (en) * 2011-01-21 2012-07-26 Mitre Corporation Teleoperation of Unmanned Ground Vehicle
JP2012171024A (ja) * 2011-02-17 2012-09-10 Japan Science & Technology Agency ロボットシステム
US20140068439A1 (en) * 2012-09-06 2014-03-06 Alberto Daniel Lacaze Method and System for Visualization Enhancement for Situational Awareness
JP2014184543A (ja) * 2013-03-25 2014-10-02 Seiko Epson Corp ロボット制御装置、ロボットシステム、ロボット、ロボット制御方法及びロボット制御プログラム
US20170154430A1 (en) * 2015-11-30 2017-06-01 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and recording medium
CN107040709A (zh) * 2015-11-12 2017-08-11 精工爱普生株式会社 图像处理装置、机器人***、机器人以及图像处理方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000135689A (ja) * 1998-10-30 2000-05-16 Fanuc Ltd ロボット用画像処理装置
JP2001121458A (ja) * 1999-10-22 2001-05-08 Denso Corp ロボットコントローラ
JP4556088B2 (ja) * 2001-05-02 2010-10-06 ソニー株式会社 画像処理システム、画像処理装置及びその制御方法
JP2006000977A (ja) * 2004-06-17 2006-01-05 National Univ Corp Shizuoka Univ ロボット環境間力作用状態呈示装置
JP4714086B2 (ja) * 2006-06-14 2011-06-29 株式会社ユーシン精機 コントローラ
JP2009000782A (ja) 2007-06-21 2009-01-08 Idec Corp ロボット制御システムおよびロボットハンド
US20100017033A1 (en) * 2008-07-18 2010-01-21 Remus Boca Robotic systems with user operable robot control terminals
JP2011212764A (ja) * 2010-03-31 2011-10-27 Toyota Motor Corp ロボットの遠隔操作システム
JP5983259B2 (ja) * 2012-02-29 2016-08-31 株式会社Ｊｖｃケンウッド 画像処理装置、画像処理方法及び画像処理プログラム
JP6476662B2 (ja) * 2013-09-20 2019-03-06 株式会社デンソーウェーブ ロボット操作装置、ロボットシステム、及びロボット操作プログラム
JP5941089B2 (ja) * 2014-03-28 2016-06-29 ファナック株式会社 生体認証により作業者を判別するロボットシステム
JP6866566B2 (ja) 2015-03-19 2021-04-28 株式会社デンソーウェーブ ロボット操作装置、及びロボット操作プログラム
US10959795B2 (en) * 2015-08-25 2021-03-30 Kawasaki Jukogyo Kabushiki Kaisha Remote-control manipulator system and method of operating the same
JP2018107786A (ja) 2016-12-22 2018-07-05 キヤノン株式会社 撮像装置
JP6836305B2 (ja) * 2017-01-13 2021-02-24 キヤノン株式会社 撮像制御装置およびその制御方法
JP2018206679A (ja) 2017-06-07 2018-12-27 株式会社豊田自動織機 蓄電モジュール

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1981263A1 (en) * 2007-04-13 2008-10-15 Axis AB Supporting continuous pan rotation in a pan-tilt camera
US20120191269A1 (en) * 2011-01-21 2012-07-26 Mitre Corporation Teleoperation of Unmanned Ground Vehicle
JP2012171024A (ja) * 2011-02-17 2012-09-10 Japan Science & Technology Agency ロボットシステム
US20140068439A1 (en) * 2012-09-06 2014-03-06 Alberto Daniel Lacaze Method and System for Visualization Enhancement for Situational Awareness
JP2014184543A (ja) * 2013-03-25 2014-10-02 Seiko Epson Corp ロボット制御装置、ロボットシステム、ロボット、ロボット制御方法及びロボット制御プログラム
CN107040709A (zh) * 2015-11-12 2017-08-11 精工爱普生株式会社 图像处理装置、机器人***、机器人以及图像处理方法
US20170154430A1 (en) * 2015-11-30 2017-06-01 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and recording medium

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
O.MICHEL ET AL: "KhepOnTheWeb: An experimental demonstrator in telerobotics and virtual reality", PROCEEDINGS. INTERNATIONAL CONFERENCE ON VIRTUAL SYSTEMS AND MULTIMEDIA VSMM \'97, pages 90 - 98 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11565427B2 (en) * 2017-08-25 2023-01-31 Fanuc Corporation Robot system
US20210069899A1 (en) * 2017-12-14 2021-03-11 Wittmann Kunststoffgeräte Gmbh Method for validating programmed execution sequences or teaching programs for a robot in a working cell, and robot and/or robot controller for said method

Also Published As

Publication number Publication date
EP3875230A1 (en) 2021-09-08
EP3875230A4 (en) 2022-07-27
WO2020090809A1 (ja) 2020-05-07
JP2020075354A (ja) 2020-05-21
US20210252713A1 (en) 2021-08-19
JP7490349B2 (ja) 2024-05-27

Similar Documents

Publication Publication Date Title
CN113056351A (zh) 外部输入设备、机器人***、机器人***的控制方法、控制程序及记录介质
CN110977931B (zh) 使用了增强现实和混合现实的机器人控制装置及显示装置
US10882189B2 (en) Control device and robot system
US11197730B2 (en) Manipulator system
JP4167940B2 (ja) ロボットシステム
JP5526881B2 (ja) ロボットシステム
US9919421B2 (en) Method and apparatus for robot path teaching
US20190202058A1 (en) Method of programming an industrial robot
US20180178388A1 (en) Control apparatus, robot and robot system
US20150273689A1 (en) Robot control device, robot, robotic system, teaching method, and program
JP2018012184A (ja) 制御装置、ロボットおよびロボットシステム
US20180178389A1 (en) Control apparatus, robot and robot system
JP2018034242A (ja) ロボット制御装置、ロボット、及びロボットシステム
JP2015182142A (ja) ロボット、ロボットシステム及び教示方法
JP2018094648A (ja) 制御装置、ロボットおよびロボットシステム
JP2013049102A (ja) ロボットの制御装置及びロボットの姿勢決定方法
US20220250237A1 (en) Teaching device, teaching method, and recording medium
CN108981567B (zh) 位置测量装置的操作方法
JP7306871B2 (ja) ロボット操作装置、ロボット、ロボット操作方法、プログラムおよびロボット制御装置
JP2678002B2 (ja) 視覚付きロボットの座標系較正方法
JP2004009209A (ja) ロボットの教示装置
JP2011083883A (ja) ロボット装置
JP7068416B2 (ja) 拡張現実と複合現実を用いたロボット制御装置、ロボットの位置姿勢規定用コンピュータプログラム及びロボットの位置姿勢規定方法、相対位置姿勢取得用コンピュータプログラム及び相対位置姿勢取得方法
US11969900B2 (en) Teaching apparatus, control method, and teaching program
JP2019198930A (ja) 制御装置およびロボットシステム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination