CN116056843A - 远程操作装置 - Google Patents

远程操作装置 Download PDF

Info

Publication number
CN116056843A
CN116056843A CN202180058187.9A CN202180058187A CN116056843A CN 116056843 A CN116056843 A CN 116056843A CN 202180058187 A CN202180058187 A CN 202180058187A CN 116056843 A CN116056843 A CN 116056843A
Authority
CN
China
Prior art keywords
image
unit
information
actual machine
movable range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180058187.9A
Other languages
English (en)
Inventor
春名正树
森本贵景
嶺岸亚纪
延命朋希
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN116056843A publication Critical patent/CN116056843A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1689—Teleoperation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/409—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by using manual data input [MDI] or by using control panel, e.g. controlling functions with the panel; characterised by control panel details or by setting parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/35—Nc in input of data, input till input file format
    • G05B2219/35438—Joystick
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/35—Nc in input of data, input till input file format
    • G05B2219/35506—Camera images overlayed with graphics, model
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/36—Nc in input of data, input key till input tape
    • G05B2219/36447—Project light on path to be followed, keep also distance constant
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37571—Camera detecting reflected light from laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39014—Match virtual world with real world
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39451—Augmented reality for robot programming
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40131—Virtual reality control, programming of manipulator
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40168—Simulated display of remote site, driven by operator interaction
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40382—Limit allowable area where robot can be teached
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40478—Graphic display of work area of robot, forbidden, permitted zone
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40617—Agile eye, control position of camera, active vision, pan-tilt camera, follow object

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Manufacturing & Machinery (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

远程操作装置(1)是用于操作者对实际机械(3)进行远程操作的远程操作装置(1)，具备：限制部(11)，基于来自所述操作者的限制信息(S1)设定所述实际机械(3)的可运动范围(S3)；操作部(12)，基于来自所述操作者的操作信息(S2)和所述可运动范围(S3)，生成作为用于对所述实际机械(3)进行操作的输入信息的第一指令信息(S4)；以及影像显示部(15)，显示将所述实际机械(3)影像化而成的实际机械影像(S8)和将与所述实际机械(3)对应的所述可运动范围(S3)影像化而成的可动信息影像(S7)。

Description

远程操作装置
技术领域
本公开涉及一种用于操作者对实际机械进行远程操作的远程操作装置。
背景技术
在操作者对实际机械进行远程操作时，由于操作者所预测的实际机械的行为与实际的实际机械的行为不同，因此难以进行实际机械的运动预测，作业效率变差。
专利文献1公开非常精巧的***的用户接口。该***为了使实际机械的运动预测容易而设定实际机械的可运动范围。
专利文献1：日本特表2018-513711号公报(第10-12页、第1图)
发明内容
发明要解决的问题
在以往的远程操作装置中，存在如下问题：操作者无法掌握实际机械的可运动范围，作业效率变差。
本公开是为了解决上述问题而完成的。本公开的目的在于提供通过设定实际机械的可运动范围并将所设定的可运动范围呈现给操作者来使作业效率提高的远程操作装置。
用于解决问题的方案
本公开所涉及的远程操作装置是用于操作者对实际机械进行远程操作的远程操作装置，具备：限制部，基于来自所述操作者的限制信息设定所述实际机械的可运动范围；操作部，基于来自所述操作者的操作信息和所述可运动范围，生成作为用于对所述实际机械进行操作的输入信息的第一指令信息；以及影像显示部，显示将所述实际机械影像化而成的实际机械影像和将与所述实际机械对应的所述可运动范围影像化而成的可动信息影像。
发明的效果
根据本公开，远程操作装置通过设定实际机械的可运动范围并将所设定的可运动范围呈现给操作者，能够与以往相比提高作业效率。
附图说明
图1是表示实施方式1中的远程操作装置的结构的一例的框图。
图2是表示实施方式1中的包括操作部的结构的一例的示意图。
图3是表示实施方式1中的操作部的一例的示意图。
图4是表示实施方式1中的包括实际机械的结构的一例的示意图。
图5是表示在实施方式1中用第一模式设定可运动范围的情况下的限制部的一例的示意图。
图6是表示在实施方式1中用第一模式设定了可运动范围的情况下的影像显示部中的影像的一例的示意图。
图7是表示在实施方式1中用第二模式设定可运动范围的情况下的限制部的一例的示意图。
图8是表示在实施方式1中用第二模式设定了可运动范围的情况下的影像显示部中的影像的一例的示意图。
图9是表示在实施方式1中用第三模式设定可运动范围的情况下的限制部的一例的示意图。
图10是表示在实施方式1中用第三模式设定了可运动范围的情况下的影像显示部中的影像的一例的示意图。
图11是表示在实施方式1中用第四模式设定可运动范围的情况下的限制部的一例的示意图。
图12是表示在实施方式1中用第四模式设定了可运动范围的情况下的影像显示部中的影像的一例的示意图。
图13是表示在实施方式1中用第五模式设定可运动范围的情况下的模型生成部的结构的一例的示意图。
图14是表示在实施方式1中用第五模式设定可运动范围的情况下的操作部的一例的示意图。
图15是表示在实施方式1中用第五模式设定了可运动范围的情况下的影像显示部中的影像的一例的示意图。
图16是表示在实施方式1中用第五模式设定了可运动范围的情况下的影像显示部中的其它影像的一例的示意图。
图17是表示实施方式2中的远程操作装置的结构的一例的框图。
图18是表示实施方式2中的包括实际机械的结构的一例的示意图。
图19是表示实施方式2中的包括实际机械的其它结构的一例的示意图。
图20是表示实施方式2中的影像显示部中的影像的一例的示意图。
图21是表示实施方式2中的影像显示部中的其它影像的一例的示意图。
图22是表示实施方式3中的远程操作装置的结构的一例的框图。
图23是表示实施方式3中的远程操作装置的其它结构的一例的框图。
图24是表示实施方式3中的包括实际机械的结构的一例的示意图。
图25是表示实施方式4中的远程操作装置的结构的一例的框图。
图26是表示实施方式4中的远程操作装置的其它结构的一例的框图。
图27是表示实施方式4中的包括实际机械的结构的一例的示意图。
图28是表示实施方式4中的限制部的一例的示意图。
图29是表示实施方式4中的影像显示部中的影像的一例的示意图。
图30是表示实施方式4中的影像显示部中的其它影像的一例的示意图。
图31是表示实施方式5中的远程操作装置的结构的一例的框图。
图32是表示实施方式5中的远程操作装置的其它结构的一例的框图。
图33是表示实施方式5中的包括实际机械的结构的一例的示意图。
图34是表示实施方式1至5中的远程操作装置的动作的一例的流程图。
图35是表示实施方式6中的远程操作装置的结构的一例的框图。
图36是表示实施方式6中的远程操作装置的动作的一例的流程图。
图37是表示实施方式7中的远程操作装置的结构的一例的框图。
图38是表示实施方式7中的包括实际机械的结构的一例的示意图。
图39是表示实施方式7中的影像显示部中的影像的一例的示意图。
图40是表示实施方式7中的可运动范围与末端执行器的运动轨迹的关系的示意图。
图41是表示实施方式7中的远程操作装置的动作的一例的流程图。
(附图标记说明)
1：远程操作装置；3：实际机械；4、41～44：摄像单元；5：目标；6：非目标；7：可运动范围形成单元；8：驱动装置；9：机械手；11、11m～11p、11s：限制部；11a：x轴平移板；11b：y轴平移板；11c：x轴限制按钮；11d：y轴限制按钮；11e～11j、11q、11r：限制图案；11k、11ma～11pa、11s：光标；11mb～11pb：确定按钮；11mc～11pc：取消按钮；11md～11mg、11nd～11ng、11оd～11оg、11pd～11pg：约束点；12、12a：操作部；123：坐标系变换部；124：逆运动学计算部；125：第二指令信息生成部；13：模型生成部；14、14a：影像模型生成部；15、15a：影像显示部；31：x轴平移机构；32：y轴平移机构；33：z轴平移机构；34：实际机械端；35：末端执行器；36：致动器；71：激光光源；72：激光光线；73：多激光光源；74：多激光光线；121：操纵杆；122：按钮；131：实际机械模型生成部；132：摄像模型生成部；133：光源模型生成部；134：驱动模型生成部；135：机械手模型生成部；S1：限制信息；S2：操作信息；S3、S3a、S3b：可运动范围；S4、S41：第一指令信息；S5、S51～S54：第二指令信息；S13：第三指令信息；S14：第四指令信息；S16：第五指令信息；S19：第六指令信息；S6：模型信息；S7、S7a～S7k、S7m～S7q、S15、S15a、S15b、S20、S20a～S20d：可动信息影像；S8、S81、S8a～S8h：实际机械影像；S9、S9a～S9k、S9m～S9z、S91a、S91b：影像；S10：作用力；S11、S12：反作用力；S17：可开闭范围；S18：姿势限制范围；C1、C2：构成可运动范围的点；T1、T2：运动轨迹。
具体实施方式
关于实施方式，按照附图来进行说明。此外，为了使说明容易，在各图中表示xyz正交坐标系的坐标轴。在实际机械3中，以配置稍后说明的x轴平移机构31、y轴平移机构32以及z轴平移机构33的方向来定义xyz正交坐标系。将与配置x轴平移机构31的方向相同的方向设为x轴方向。里侧是+x方向，跟前侧是-x方向。将与配置y轴平移机构32的方向相同的方向设为y轴方向。左侧是+y方向，右侧是-y方向。将与配置z轴平移机构33的方向相同的方向设为z轴方向。上侧是+z方向，下侧是-z方向。另外，将相对于操作部12和操作者而言的进深方向设为x轴方向。里侧是+x方向，跟前侧是-x方向。将相对于操作部12和操作者而言的左右方向设为y轴方向。左侧是+y方向，右侧是-y方向。将相对于操作部12和操作者而言的上下方向设为z轴方向。上侧是+z方向，下侧是-z方向。
实施方式1.
图1是表示实施方式1中的远程操作装置1的结构的一例的框图。远程操作装置1用于操作者对由摄像单元4摄影的实际机械3进行远程操作。
如图1所示，远程操作装置1具备限制部11、操作部12、模型生成部13、影像模型生成部14以及影像显示部15。
限制部11接收来自未图示的操作者的限制信息S1。限制部11基于该限制信息S1生成可运动范围S3，并提供给操作部12和影像模型生成部14。限制信息S1是操作者设定实际机械3的可运动范围的信息。可运动范围S3是由操作者设定的、实际机械3的可运动范围。即，限制部11基于来自操作者的限制信息S1设定实际机械3的可运动范围S3。
操作部12接收来自操作者的操作信息S2和来自限制部11的可运动范围S3。操作部12基于操作信息S2和可运动范围S3生成第一指令信息S4和第二指令信息S5，将第一指令信息S4提供给实际机械3和实际机械模型生成部131，将第二指令信息S5提供给摄像单元4和摄像模型生成部132。操作信息S2是用于对实际机械3进行远程操作的运动命令。该运动命令是稍后说明的操作部12内的操纵杆121和按钮122的操作本身。第一指令信息S4是用于对实际机械3进行操作的输入信息。具体地说，第一指令信息S4是对使实际机械3活动的驱动器IC、微型计算机等的输入信息。第二指令信息S5是用于对摄像单元4进行操作的输入信息。具体地说，第二指令信息S5是对摄像单元4的、摄影的ON/OFF切换命令和倍率调整命令等。操作者通过调整摄像单元4的倍率，能够一边确认实际机械3的整体影像和放大影像这两方、一边对实际机械3进行操作。
模型生成部13接收来自操作部12的第一指令信息S4和第二指令信息S5。模型生成部13基于这些信息生成模型信息S6，并提供给影像模型生成部14。模型生成部13具有：实际机械模型生成部131，使用第一指令信息S4生成实际机械3的模型；以及摄像模型生成部132，使用第二指令信息S5生成摄像单元4的模型。模型信息S6是将实际机械3的模型与摄像单元4的模型组合而成的，例如是将实际机械3以能够从规定的方向看到的方式虚拟地投影的三维模型。在此，规定的方向与摄像单元4对实际机械3进行摄影的方向相同。即，模型生成部13输出将实际机械3的模型与摄像单元4的模型组合而成的模型信息S6。
影像模型生成部14接收来自限制部11的可运动范围S3和来自模型生成部13的模型信息S6。影像模型生成部14基于这些信息生成将可运动范围S3影像化而成的可动信息影像S7，并提供给影像显示部15。可动信息影像S7是将与实际机械3对应的可运动范围S3影像化而成的。
影像显示部15接收来自影像模型生成部14的可动信息影像S7和来自摄像单元4的实际机械影像S8。影像显示部15基于可动信息影像S7和实际机械影像S8生成影像S9，将影像S9呈现给操作者。影像显示部15显示实际机械影像S8和可动信息影像S7。实际机械影像S8是对实际机械3进行摄影并影像化而成的。影像显示部15进行可动信息影像S7的位置调整使得可动信息影像S7内的三维模型的位置与实际机械影像S8内的实际机械的位置一致。由此，可动信息影像S7对于实际机械影像S8重叠于准确的位置。关于可动信息影像S7的位置调整，也可以通过利用可动信息影像S7和实际机械影像S8的图像特征点或标记等的图像处理来进行。或者，也可以通过对可动信息影像S7和实际机械影像S8的初始位置进行校正来进行。进行可动信息影像S7的位置调整的方法不限定于这些。另外，影像显示部15也可以不需要将实际机械影像S8与可动信息影像S7重叠地显示，例如将各个影像以不同的画面进行显示。但是，以下设为重叠地显示来进行说明。
实际机械3接收来自操作部12的第一指令信息S4、来自目标5的反作用力S11以及来自非目标6的反作用力S12。实际机械3基于该第一指令信息S4生成作用力S10，并提供到目标5。目标5是实际机械3提供作用力S10来使得活动的对象物。来自目标5的反作用力S11是在实际机械3使目标5活动时产生的。另外，来自非目标6的反作用力S12是在实际机械3使目标5活动并与非目标6接触时产生的。
摄像单元4接收来自操作部12的第二指令信息S5。摄像单元4基于该第二指令信息S5对实际机械3进行摄影来生成实际机械影像S8，并提供给影像显示部15。
目标5接收来自实际机械3的作用力S10。目标5基于该作用力S10将反作用力S11提供到实际机械3。
非目标6在目标5与非目标6接触时，将反作用力S12提供到实际机械3。虽然未图示，反作用力S12还包括经由目标5的来自非目标6的力。非目标6不同于目标5，是实际机械3不是有意图地提供作用力S10的对象物。
在图1中，如果摄像单元4始终固定于相同的位置、且始终是摄影ON的状态，则即使第二指令信息S5未输入到摄像单元4，也能够得到实际机械影像S8。在该情况下，第二指令信息S5不需要输入到摄像单元4，仅输入到摄像模型生成部132。这在以后的实施方式中也同样。
图2的(a)和(b)是表示包括实施方式1中的操作部12的结构的一例的示意图。图2的(a)是将操作者从背面看的图，图2的(b)是将操作者从顶面看的图。
如图2所示，操作者一边观看影像显示部15的影像S9，一边使用操作部12对实际机械3进行远程操作。图2所示的操作部12、影像显示部15以及影像S9与图1所示的操作部12、影像显示部15以及影像S9相同，因此省略说明。
图3是表示实施方式1中的操作部12的一例的示意图。如图3所示，操作部12具有操纵杆121和按钮122。
操纵杆121是能够在x轴方向、y轴方向以及xy面内进行操作的控制器。操纵杆121用于对实际机械3进行远程操作。即，与操纵杆121的操作方向对应地实际机械3进行运动。例如，当操作者将操纵杆121向+x方向操作时，实际机械向+x方向运动。
按钮122是用于将实际机械3向z轴方向活动的按钮。例如，当操作者持续按下按钮122时，实际机械3向+z方向运动，当松开按钮122时，实际机械3向-z方向运动。当在该状态下按下按钮122时，实际机械3停止。
操作部12不限定于如图3所示的具有操纵杆121和按钮122的操作部。例如，也可以由操作者用手势进行操作，还可以由操作者穿戴模拟实际机械3而成的未图示的辅助装置来进行操作。在此，手势例如是向配置于操作者的附近的未图示的摄像机挥手等动作。与手势或辅助装置的操作方向对应地实际机械3进行运动。例如当操作者使用手势或辅助装置向+x方向操作时，实际机械向+x方向运动。
图4是表示包括实施方式1中的实际机械3的结构的一例的示意图。图4所示的摄像单元4、目标5以及非目标6与图1所示的摄像单元4、目标5以及非目标6相同，因此省略说明。
如图4所示，实际机械3具有x轴平移机构31、y轴平移机构32、z轴平移机构33以及实际机械端34。
x轴平移机构31使实际机械端34沿x轴方向活动。即，当操作者将操作部12的操纵杆121沿x轴方向操作时，x轴平移机构31使实际机械端34沿x轴方向活动。
y轴平移机构32使实际机械端34沿y轴方向活动。即，当操作者将操作部12的操纵杆121沿y轴方向操作时，y轴平移机构32使实际机械端34沿y轴方向活动。
z轴平移机构33使实际机械端34沿z轴方向活动。即，当操作者按下操作部12的按钮122时，z轴平移机构33使实际机械端34沿z轴方向活动。
实际机械端34基于来自操作者的操作信息S2进行运动。
在图4中，摄像单元4配置于将实际机械3纳入视野的位置。摄像单元4对实际机械3进行摄影来生成实际机械影像S8。影像显示部15显示该实际机械影像S8。这与以往的远程操作装置同样。实施方式1中的影像显示部15显示将实际机械影像S8与作为实际机械3的可运动范围S3的影像的可动信息影像S7重叠而成的影像S9。以下，叙述限制部11中的可运动范围S3的设定方法。
限制部11通过5个模式(以下称为“第一模式”、“第二模式”、“第三模式”、“第四模式”以及“第五模式”)中的某一个模式设定实际机械3的可运动范围S3。第一模式是通过强制性地限定操作部12的操作的单元来设定可运动范围S3的模式。第二模式是通过按下与设为能够运动的方向对应的按钮来设定可运动范围S3的模式。第三模式是通过预先准备的可运动图案来设定可运动范围S3的模式。第四模式是通过连结多个约束点的直线或曲线来设定可运动范围S3的模式。第五模式是通过生成放出光的光源的模型的光源模型生成部133来设定可运动范围S3的模式。
首先，详细说明第一模式。在第一模式中，操作部12具有强制性地限定来自操作者的操作的单元。限制部11通过该单元来设定可运动范围S3。在此，强制性地限定的单元是指物理上限定操作部12的可操作范围的单元。作为一例是稍后说明的x轴平移板11a和y轴平移板11b。图5的(a)和(b)是表示在实施方式1中用第一模式设定可运动范围S3的情况下的限制部11的一例的示意图。图5的(a)是限制部11为x轴平移板11a的情况下的示意图。图5的(b)是限制部11为y轴平移板11b的情况下的示意图。
图5的(a)所示的x轴平移板11a安装于操作部12。由此，能够将操纵杆121的操作限制为x轴方向。同样地，图5的(b)所示的y轴平移板11b安装于操作部12。由此，能够将操纵杆121的操作限制为y轴方向。
图6的(a)和(b)是表示在实施方式1中用第一模式设定了可运动范围S3的情况下的影像显示部15中的影像S9的一例的示意图。图6的(a)是将x轴平移板11a安装于操作部12的情况下的影像S9a的示意图。图6的(b)是将y轴平移板11b安装于操作部12的情况下的影像S9b的示意图。
如图6的(a)所示，影像S9a为实际机械影像S8a与可动信息影像S7a重叠而成的影像。实际机械影像S8a是由摄像单元4摄影的实际机械3的影像。可动信息影像S7a是由影像模型生成部14生成的、可运动范围S3的影像。在图6的(a)的情况下，可动信息影像S7a为与x轴方向相同的方向的可运动范围S3的影像，被显示在实际机械影像S8a的上侧和下侧。
如图6的(b)所示，影像S9b为实际机械影像S8a与可动信息影像S7b重叠而成的影像。可动信息影像S7b是由影像模型生成部14生成的、可运动范围S3的影像。在图6的(b)的情况下，可动信息影像S7b为与y轴方向相同的方向的可运动范围S3的影像，被显示在实际机械影像S8a的上侧和下侧。
当x轴平移板11a安装于操作部12时，影像模型生成部14辨认为可运动范围S3是x轴方向。同样地，当y轴平移板11b安装于操作部12时，影像模型生成部14辨认为可运动范围S3是y轴方向。另外，影像模型生成部14使该辨认出的信息与来自模型生成部13的模型信息S6相适应来生成可动信息影像S7a。也可以是通过对实际机械影像S8a进行图像处理来获取的空间信息、即实际机械影像S8a内的与x轴方向相当的向量信息以代替模型信息S6。在该情况下，影像模型生成部14使辨认出的信息与空间信息相适应来生成可动信息影像S7a。这在y轴平移板11b安装于操作部12的情况下也同样。
另外，在图6的(a)和(b)中，可动信息影像S7a及S7b分别被显示在实际机械影像S8a内的上侧和下侧，但是只要可获知是与可运动范围S3相同的方向，则不限定显示的场所。例如也可以是实际机械影像S8a内的中央。这在以后的实施方式中也同样。
除此以外，影像显示部15也可以使实际机械端34的xy平面上的位置的影像重叠于影像S9a及S9b。例如，使实际机械端34向xy平面的未图示的投影点重叠于可动信息影像S7a及S7b。该投影点的x坐标和y坐标是实际机械端34的x坐标和y坐标，分别对应于操纵杆121的x轴方向的操作量和y轴方向的操作量。与操作量有关的信息包含在模型信息S6中。影像模型生成部14基于该模型信息S6生成投影点的影像，影像显示部15使投影点的影像重叠于影像S9a及影像S9b。这在以后的实施方式中也同样。通过使投影点重叠于影像S9a及S9b，实际机械3的操作性提高。
此外，第一模式中的限制部11不限定于x轴平移板11a和y轴平移板11b，例如也可以是未图示的斜方向的平移板，还可以是未图示的在x轴方向和y轴方向上均能够运动的平移板。另外，既可以是操作者挥手的手势，也可以由操作者穿戴模拟实际机械而成的未图示的辅助装置。在手势的情况下，在通过手势来设定实际机械3的可运动范围S3之后，同样地通过手势来对实际机械3进行远程操作。在操作者穿戴辅助装置的情况下，辅助装置本身具有限制了可运动范围S3的构造。即，当操作者穿戴辅助装置时，可运动范围S3被限制且对实际机械3进行远程操作。作为一例是机动装甲(mobile suit)。
在用第一模式设定了可运动范围S3的情况下，操作者在被限制了可运动范围S3的状态下一边确认可动信息影像S7a或S7b一边对操作部12进行操作。由此，在进行实际机械3的远程操作的基础上，能够提高作业效率。
接着，详细说明第二模式。在第二模式中，操作部12具有与设为能够运动的方向对应的按钮。限制部11通过按下该按钮来设定可运动范围S3。图7是表示在实施方式1中用第二模式设定可运动范围S3的情况下的限制部11的一例的示意图。图7是限制部11为x轴限制按钮11c和y轴限制按钮11d的情况下的示意图。
图7所示的x轴限制按钮11c和y轴限制按钮11d设置于操作部12。当操作者按下x轴限制按钮11c时，能够将操纵杆121的操作限制为x轴方向。同样地，当操作者按下y轴限制按钮11d时，能够将操纵杆121的操作限制为y轴方向。此外，x轴限制按钮11c和y轴限制按钮11d不需要必须设置于操作部12，只要是操作者的附近，则可以设置于任意的位置。
图8的(a)和(b)是表示在实施方式1中用第二模式设定了可运动范围S3的情况下的影像显示部15中的影像S9的一例的示意图。图8的(a)是按下了x轴限制按钮11c的情况下的影像S9a的示意图。图8的(b)是按下了y轴限制按钮11d的情况下的影像S9b的示意图。图8的(a)的影像S9a与图6的(a)的影像S9a相同，图8的(b)的影像S9b与图6的(b)的影像S9b相同，因此省略说明。
当x轴限制按钮11c被按下时，影像模型生成部14辨认为可运动范围S3是x轴方向。由此，生成可动信息影像S7a。同样地，当y轴限制按钮11d被按下时，影像模型生成部14辨认为可运动范围S3是y轴方向。由此，生成可动信息影像S7b。
此外，当x轴限制按钮11c和y轴限制按钮11d这两方被按下时，可运动范围S3为x轴方向和y轴方向这两方。
另外，在上述中，在按下了x轴限制按钮11c的情况下，可运动范围S3为x轴方向，在按下了y轴限制按钮11d的情况下，可运动范围S3为y轴方向。也可以取而代之地，设为在按下了x轴限制按钮11c的情况下约束x轴方向的构造，设为在按下了y轴限制按钮11d的情况下约束y轴方向的构造。在该情况下，在按下了x轴限制按钮11c的情况下，可运动范围S3为y轴方向，在按下了y轴限制按钮11d的情况下，可运动范围S3为x轴方向。
在用第二模式设定了可运动范围S3的情况下，在用第一模式时的效果的基础上，操作者不需要在第一模式中需要的x轴平移板11a和y轴平移板11b，能够省去将它们安装于操作部12的劳力和时间。
接着，详细说明第三模式。在第三模式中，限制部11通过预先准备的可运动图案来设定可运动范围S3。图9是表示在实施方式1中用第三模式设定可运动范围S3的情况下的限制部11的一例的示意图。
如图9所示，在来自影像显示部15的影像S9c中显示限制图案11e～11j。限制图案11e～11j是预先准备的可运动图案。操作者在对实际机械3进行远程操作之前，使用操作部12从限制图案11e～11j中选择某一个。例如操作者在选择限制图案11e的情况下，使用操纵杆121将光标11k对准限制图案11e，并按下按钮122。由此，限制部11将可运动范围S3设定为x轴方向。此外，可运动图案不限定于限制图案11e～11j。另外，也可以使影像显示部15具有触摸显示器功能，操作者用手进行画面操作，从限制图案11e～11j中进行选择。由此，不需要光标11k，能够进行简单的操作。
图10的(a)～(f)是表示在实施方式1中用第三模式设定了可运动范围S3的情况下的影像显示部15中的影像S9的一例的示意图。图10的(a)是选择了限制图案11e的情况下的影像S9a的示意图。图10的(b)是选择了限制图案11f的情况下的影像S9b的示意图。图10的(c)是选择了限制图案11g的情况下的影像S9d的示意图。图10的(d)是选择了限制图案11h的情况下的影像S9e的示意图。图10的(e)是选择了限制图案11i的情况下的影像S9f的示意图。图10的(f)是选择了限制图案11j的情况下的影像S9g的示意图。图10的(a)的影像S9a与图6的(a)的影像S9a相同，图10的(b)的影像S9b与图6的(b)的影像S9b相同，因此省略说明。
如图10的(c)所示，影像S9d为实际机械影像S8a与可动信息影像S7c重叠而成的影像。实际机械影像S8a是由摄像单元4摄影的实际机械3的影像。可动信息影像S7c是由影像模型生成部14生成的、可运动范围S3的影像。在图10的(c)的情况下，可动信息影像S7c为斜方向的可运动范围S3的影像。
如图10的(d)所示，影像S9e为实际机械影像S8a与可动信息影像S7d重叠而成的影像。实际机械影像S8a是由摄像单元4摄影的实际机械3的影像。可动信息影像S7d是由影像模型生成部14生成的、可运动范围S3的影像。在图10的(d)的情况下，可动信息影像S7d为斜方向的可运动范围S3的影像。
如图10的(e)所示，影像S9f为实际机械影像S8a与可动信息影像S7e重叠而成的影像。实际机械影像S8a是由摄像单元4摄影的实际机械3的影像。可动信息影像S7e是由影像模型生成部14生成的、可运动范围S3的影像。在图10的(e)的情况下，可动信息影像S7e为与x轴方向相同的方向以及与y轴方向相同的方向的可运动范围S3的影像。
如图10的(f)所示，影像S9g为实际机械影像S8a与可动信息影像S7f重叠而成的影像。实际机械影像S8a是由摄像单元4摄影的实际机械3的影像。可动信息影像S7f是由影像模型生成部14生成的、可运动范围S3的影像。在图10的(f)的情况下，可动信息影像S7f为2个斜方向的可运动范围S3的影像。
当限制部11e被选择时，影像模型生成部14辨认为可运动范围S3是x轴方向。由此，生成可动信息影像S7a。在限制部11f～11j被选择的情况下也同样。
在用第三模式设定了可运动范围S3的情况下，在用第二模式时的效果的基础上，可运动范围S3的选项变多。
接着，详细说明第四模式。在第四模式中，限制部11通过连结多个约束点的直线或曲线来设定可运动范围S3。图11的(a)～(d)是表示在实施方式1中用第四模式设定可运动范围S3的情况下的限制部11的一例的示意图。
如图11的(a)所示，操作者一边观看影像S9h，一边使用操作部12设定可运动范围S3。具体地说，使用操纵杆121将光标11ma对准限制部11m内的任意的部位并按下按钮122，由此设定多个约束点。在图11的(a)中，按顺序设定4个约束点11md、11me、11mf以及11mg。当在设定后按下确定(OK)按钮11mb时，可运动范围S3的设定结束。另外，当在设定中按下取消(CANCEL)按钮11mc时，返回到前一个约束点设定。例如当在设定约束点11mf之后按下取消按钮11mc时，返回到设定了约束点11me的状态。由此，能够重新设定约束点。在图11的(a)的情况下，连结4个约束点11md、11me、11mf以及11mg的直线为可运动范围S3。
如图11的(b)所示，操作者一边观看影像S9i，一边使用操作部12设定可运动范围S3。具体地说，使用操纵杆121将光标11na对准限制部11n内的任意的部位并按下按钮122，由此设定多个约束点。在图11的(b)中，按顺序设定4个约束点11nd、11ne、11nf以及11ng。当在设定后按下确定按钮11nb时，可运动范围S3的设定结束。此外，在设定各约束点之后，在将光标11na移动到下一个约束点时，一边按下按钮122一边移动。由此，设定按照移动路径的可运动范围S3，能够设为直线或任意的曲线。但是，如果一边按下按钮122一边使光标11na移动，则直线或曲线变形。因此，操作部12具有自动地对其进行校正的功能，通过进行校正来能够消除变形。另外，当在设定中按下取消按钮11nc时，返回到前一个约束点设定。例如当在设定约束点11nf之后按下取消按钮11nc时，返回到设定了约束点11ne的状态。由此，能够重新设定约束点。在图11的(b)的情况下，连结4个约束点11nd、11ne、11nf以及11ng的曲线为可运动范围S3。
如图11的(c)所示，操作者一边观看影像S9j，一边使用操作部12设定可运动范围S3。具体地说，使用操纵杆121将光标11оa对准限制部11о内的任意的部位并按下按钮122，由此设定多个约束点。在图11的(c)中，按顺序设定4个约束点11оd、11оe、11оf以及11оg，并再次设定约束点11оd。当在设定后按下确定按钮11оb时，可运动范围S3的设定结束。另外，当在设定中按下取消按钮11оc时，返回到前一个约束点设定。例如当在设定约束点11оf之后按下取消按钮11оc时，返回到设定了约束点11оe的状态。由此，能够重新设定约束点。在图11的(c)的情况下，连结4个约束点11оd、11оe、11оf以及11оg的直线、或被直线包围的区域为可运动范围S3。关于设为直线或者设为区域，设能够预先进行选择。
如图11的(d)所示，操作者一边观看影像S9k，一边使用操作部12设定可运动范围S3。具体地说，使用操纵杆121将光标11pa对准限制部11p内的任意的部位并按下按钮122，由此设定多个约束点。在图11的(d)中，按顺序设定4个约束点11pd、11pe、11pf以及11pg，并再次设定约束点11pd。当在设定后按下确定按钮11pb时，可运动范围S3的设定结束。此外，在设定各约束点之后，在将光标11pa移动到下一个约束点时，一边按下按钮122一边移动。由此，设定按照移动路径的可运动范围S3，能够设为直线或任意的曲线。但是，如果一边按下按钮122一边使光标11pa移动，则直线或曲线变形。因此，操作部12具有自动地对其进行校正的功能，通过进行校正来能够消除变形。另外，当在设定中按下取消按钮11pc时，返回到前一个约束点设定。例如当在设定约束点11pf之后按下取消按钮11pc时，返回到设定了约束点11pe的状态。由此，能够重新设定约束点。在图11的(d)的情况下，连结4个约束点11pd、11pe、11pf以及11pg的曲线、或被曲线包围的区域为可运动范围S3。关于设为直线或者设为区域，设能够预先进行选择。
在图11的(a)～(d)中，也可以使影像显示部15具有触摸显示器功能，操作者用手进行画面操作来设定可运动范围S3。由此，不需要光标11ma、11na、11оa以及11pa，能够进行简单的操作。
图12的(a)～(f)是表示在实施方式1中用第四模式设定了可运动范围S3的情况下的影像显示部15中的影像S9的一例的示意图。图12的(a)是由限制部11m设定可运动范围S3并将由影像模型生成部14生成的可动信息影像S7g重叠于实际机械影像S8a而成的影像S9m的示意图。图12的(b)是由限制部11n设定可运动范围S3并将由影像模型生成部14生成的可动信息影像S7h重叠于实际机械影像S8a而成的影像S9n的示意图。图12的(c)是由限制部11о设定可运动范围S3并将由影像模型生成部14生成的可动信息影像S7i重叠于实际机械影像S8a而成的影像S9о的示意图。图12的(d)是由限制部11p设定可运动范围S3并将由影像模型生成部14生成的可动信息影像S7j重叠于实际机械影像S8a而成的影像S9p的示意图。图12的(e)是由限制部11о设定可运动范围S3并将由影像模型生成部14生成的可动信息影像S7k重叠于实际机械影像S8a而成的其它影像S9q的示意图。图12的(f)是由限制部11p设定可运动范围S3并将由影像模型生成部14生成的可动信息影像S7m重叠于实际机械影像S8a而成的其它影像S9r的示意图。
如图12的(a)所示，影像S9m为实际机械影像S8a与可动信息影像S7g重叠而成的影像。实际机械影像S8a是由摄像单元4摄影的实际机械3的影像。可动信息影像S7g是由影像模型生成部14生成的、可运动范围S3的影像。在图12的(a)的情况下，可动信息影像S7g为作为连结4个约束点的直线的可运动范围S3的影像。
如图12的(b)所示，影像S9n为实际机械影像S8a与可动信息影像S7h重叠而成的影像。实际机械影像S8a是由摄像单元4摄影的实际机械3的影像。可动信息影像S7h是由影像模型生成部14生成的、可运动范围S3的影像。在图12的(b)的情况下，可动信息影像S7h为作为连结4个约束点的曲线的可运动范围S3的影像。
如图12的(c)所示，影像S9о为实际机械影像S8a与可动信息影像S7i重叠而成的影像。实际机械影像S8a是由摄像单元4摄影的实际机械3的影像。可动信息影像S7i是由影像模型生成部14生成的、可运动范围S3的影像。在图12的(c)的情况下，可动信息影像S7i为作为连结4个约束点的直线的可运动范围S3的影像。
如图12的(d)所示，影像S9p为实际机械影像S8a与可动信息影像S7j重叠而成的影像。实际机械影像S8a是由摄像单元4摄影的实际机械3的影像。可动信息影像S7j是由影像模型生成部14生成的、可运动范围S3的影像。在图12的(d)的情况下，可动信息影像S7j为作为连结4个约束点的曲线的可运动范围S3的影像。
如图12的(e)所示，影像S9q为实际机械影像S8a与可动信息影像S7k重叠而成的影像。实际机械影像S8a是由摄像单元4摄影的实际机械3的影像。可动信息影像S7k是由影像模型生成部14生成的、可运动范围S3的影像。在图12的(e)的情况下，可动信息影像S7k为作为被连结4个约束点的直线包围的区域的可运动范围S3的影像。
如图12的(f)所示，影像S9r为实际机械影像S8a与可动信息影像S7m重叠而成的影像。实际机械影像S8a是由摄像单元4摄影的实际机械3的影像。可动信息影像S7m是由影像模型生成部14生成的、可运动范围S3的影像。在图12的(f)的情况下，可动信息影像S7m为作为被连结4个约束点的曲线包围的区域的可运动范围S3的影像。
当由限制部11m设定了可运动范围S3时，影像模型生成部14辨认为可运动范围S3是连结4个约束点的直线。由此，生成可动信息影像S7g。在由限制部11n～11p设定可运动范围S3的情况下也同样。
在用第四模式设定了可运动范围S3的情况下，在用第三模式时的效果的基础上，可运动范围S3的设定自由度提高。
接着，详细说明第五模式。图13是表示在实施方式1中用第五模式设定了可运动范围S3的情况下的模型生成部13的结构的一例的框图。在第五模式中，操作部12基于来自限制部11的可运动范围S3，进一步生成作为用于对放出光的光源进行操作的输入信息的第三指令信息S13。模型生成部13还具有使用第三指令信息S13生成光源的模型的光源模型生成部133，输出将实际机械3的模型、摄像单元4的模型与光源的模型组合而成的模型信息S6。
模型生成部13基于从操作部12对实际机械模型生成部131的第一指令信息S4、从操作部12对摄像模型生成部132的第二指令信息S5以及从操作部12对光源模型生成部133的第三指令信息S13，生成模型信息S6并提供给影像模型生成部14。第三指令信息S13是用于对放出光的光源进行操作的输入信息。具体地说，第三指令信息S13是对光源的电源ON/OFF切换命令以及用于使光源在xy平面内旋转的输入信息。该第三指令信息S13直接输入到光源模型生成部133，由此能够进行来自光源模型生成部133的光线的输出ON/OFF切换控制以及光线的轨迹的旋转控制。
图14是表示在实施方式1中用第五模式设定可运动范围S3的情况下的操作部12的一例的示意图。图14是图3所示的操纵杆121还能够进行Rz方向的旋转且具有限制部11的功能的情况下的示意图。逆时针方向为+Rz方向，顺时针方向为-Rz方向。
当操作者使操纵杆121在xy平面内旋转并按下按钮122时，按钮122被按下时的操纵杆121的方向向量被设定为可运动范围S3。此外，操作者也可以设定多个方向向量。在该情况下，重复进行使操纵杆121在xy平面旋转并按下按钮122的动作。由此，多个方向向量被设定为可运动范围S3。或者，被多个方向向量包围的区域被设定为可运动范围S3。关于设为多个方向向量或者设为区域，设能够预先进行选择。
图15是表示在实施方式1中用第五模式设定了可运动范围S3的情况下的影像显示部15中的影像S9的一例的示意图。图15是用操纵杆121设定了可运动范围S3的情况下的影像S9s的示意图。
如图15所示，影像S9s为实际机械影像S8a与可动信息影像S7n重叠而成的影像。实际机械影像S8a是由摄像单元4摄影的实际机械3的影像。可动信息影像S7n是由影像模型生成部14生成的、可运动范围S3的影像。在图15的情况下，可动信息影像S7n包含用方向向量表示的可运动范围S3的影像和模型信息S6中的来自光源模型生成部133的模型信息的影像。
图16是表示在实施方式1中用第五模式设定了可运动范围S3的情况下的影像显示部15中的其它影像S9的一例的示意图。图16是用操纵杆121设定2个方向向量并选择被2个方向向量包围的区域来作为可运动范围S3的情况下的影像S9t的示意图。
如图16所示，影像S9t为实际机械影像S8a与可动信息影像S7о重叠而成的影像。实际机械影像S8a是由摄像单元4摄影的实际机械3的影像。可动信息影像S7о是由影像模型生成部14生成的、可运动范围S3的影像。在图16的情况下，可动信息影像S7о包含用被2个方向向量包围的区域表示的可运动范围S3的影像和模型信息S6中的来自光源模型生成部133的模型信息的影像。
在用第五模式设定了可运动范围S3的情况下，得到与用第四模式时的效果同样的效果。
根据以上说明的实施方式1，由限制部11设定实际机械3的可运动范围S3。由此，能够避免实际机械3的复杂的远程操作。另外，由影像显示部15生成影像S9，该影像S9是使基于来自限制部11的可运动范围S3和来自模型生成部13的模型信息S6生成的可动信息影像S7与由摄像单元4生成的实际机械影像S8重叠而成的。由此，能够一边确认可运动范围S3一边对实际机械3进行远程操作，能够与以往相比提高作业效率。
实施方式2.
图17是表示实施方式2中的远程操作装置1的结构的一例的框图。
如图17所示，远程操作装置1具备限制部11、操作部12以及影像显示部15。图17所示的限制部11、实际机械3、目标5以及非目标6与图1所示的限制部11、实际机械3、目标5以及非目标6相同，因此省略说明。
操作部12接收来自操作者的操作信息S2和来自限制部11的可运动范围S3。操作部12基于这些信息生成第一指令信息S4、第二指令信息S5以及第四指令信息S14，将第一指令信息S4提供给实际机械3，将第二指令信息S5提供给摄像单元4，将第四指令信息S14提供给可运动范围形成单元7。关于第四指令信息S14，稍后说明。
影像显示部15接收来自摄像单元4的实际机械影像S8和可动信息影像S15。影像显示部15生成将这些影像重叠而成的影像S9，并呈现给操作者。可动信息影像S15是由摄像单元4直接摄影的可运动范围S3的影像。
摄像单元4接收来自操作部12的第二指令信息S5。摄像单元4基于该第二指令信息S5将实际机械影像S8和可动信息影像S15提供给影像显示部15。
可运动范围形成单元7形成实际机械3的可运动范围S3。可运动范围形成单元7接收来自操作部12的第四指令信息S14。在图17中，可运动范围形成单元7与实际机械3连接，但是如果能够在实际机械3内表示出可运动范围S3，则也可以不与实际机械3连接。可运动范围形成单元7例如是放出光的光源，是激光光源、LED光源等。在该情况下，从光源放出并成像于实际机械3及其周边的光的图案成为可运动范围S3。光的图案被摄像单元4摄影而成为影像，被显示在影像显示部15。光源放出能够由摄像单元4摄影的波长的光。例如在使用红外摄像机来作为摄像单元4的情况下，光源是具有红外区域的波长的激光器。第四指令信息S14是用于对形成实际机械3的可运动范围S3的可运动范围形成单元7进行操作的输入信息。具体地说，第四指令信息S14是对可运动范围形成单元7的电源ON/OFF切换命令以及用于使可运动范围形成单元7在xy平面内旋转的输入信息。
如图17所示，通过用摄像单元4对可运动范围形成单元7进行摄影，用摄像单元4不仅能够获取实际机械影像S8，而且还能够获取可动信息影像S15。由此，相对于实施方式1中的远程操作装置1而言，不需要模型生成部13和影像模型生成部14。
实施方式2中的包括操作部12的结构与图2所示的结构相同，因此省略说明。
实施方式2中的操作部12与图14所示的操作部12相同。即，操纵杆121还能够进行Rz方向的旋转，具有限制部11的功能。可运动范围S3的设定方法与使用图14说明的设定方法相同。
图18是表示实施方式2中的包括实际机械3的结构的一例的示意图。图18所示的实际机械3、摄像单元4、目标5以及非目标6与图4所示的实际机械3、摄像单元4、目标5以及非目标6相同，因此省略说明。
如图18所示，在z轴平移机构33的中央附近连接有可运动范围形成单元7。在该情况下，可运动范围形成单元7是激光光源71，从激光光源71输出激光光线72。关于激光光线72的输出方向，使用操纵杆121进行设定。在图18的情况下，可运动范围形成单元7配置于z轴平移机构33的中央附近，但是不限定于此。例如，也可以配置于z轴平移机构33的上侧或下侧。另外，也可以配置于实际机械3的外侧。
图19是表示实施方式2中的包括实际机械3的其它结构的一例的示意图。图19所示的实际机械3、摄像单元4、目标5以及非目标6与图4所示的实际机械3、摄像单元4、目标5以及非目标6相同，因此省略说明。
如图19所示，在z轴平移机构33的中央附近连接有可运动范围形成单元7。在该情况下，可运动范围形成单元7是多激光光源73，输出多激光光线74。关于多激光光线74的输出方向，使用操纵杆121进行设定。在图19的情况下，可运动范围形成单元7配置于z轴平移机构33的中央附近，但是不限定于此。例如，也可以配置于z轴平移机构33的上侧或下侧。另外，也可以配置于实际机械3的外侧。
在可运动范围形成单元7是图18所示的激光光源的情况下，当操作者使操纵杆121在xy平面内旋转并按下按钮122时，按钮122被按下时的操纵杆121的方向向量被设定为可运动范围S3。
在可运动范围形成单元7是图19所示的多激光光源的情况下，当操作者进行2次使操纵杆121在xy平面内旋转并按下按钮122的动作时，2个方向向量被设定为可运动范围S3。或者，被2个方向向量包围的区域被设定为可运动范围S3。关于设为2个方向向量或者设为区域，设能够预先进行选择。
图20是表示实施方式2中的影像显示部15中的影像S9的一例的示意图。图20是用操纵杆121设定了可运动范围S3的情况下的影像S9u的示意图。
如图20所示，影像S9u为实际机械影像S8b与可动信息影像S15a重叠而成的影像。实际机械影像S8b是由摄像单元4摄影的实际机械3和可运动范围形成单元7的影像。可动信息影像S15a是由摄像单元4摄影的可运动范围S3的影像。在图20的情况下，可动信息影像S15a为用方向向量表示的可运动范围S3的影像。
图21是表示实施方式2中的影像显示部15中的其它影像S9的一例的示意图。图21是用操纵杆121设定2个方向向量并选择被2个方向向量包围的区域来作为可运动范围S3的情况下的影像S9v的示意图。
如图21所示，影像S9v为实际机械影像S8c与可动信息影像S15b重叠而成的影像。实际机械影像S8c是由摄像单元4摄影的实际机械3和可运动范围形成单元7的影像。可动信息影像S15b是由摄像单元4摄影的可运动范围S3的影像。在图21的情况下，可动信息影像S15b为用被2个方向向量包围的区域表示的可运动范围S3的影像。
根据以上说明的实施方式2，可运动范围形成单元7设置于实际机械3，由此由摄像单元4生成实际机械影像S8和可动信息影像S15这两方。由此，在实施方式1中得到的效果的基础上，能够不需要实施方式1的模型生成部13和影像模型生成部14。
实施方式3.
图22是表示实施方式3中的远程操作装置1的结构的一例的框图。
如图22所示，远程操作装置1具备限制部11、操作部12、模型生成部13、影像模型生成部14以及影像显示部15。图22是表示相对于图1所示的实施方式1的结构追加了驱动模型生成部134和驱动装置8的结构的框图。图22所示的限制部11、影像模型生成部14、影像显示部15、实际机械3、摄像单元4、目标5以及非目标6与图1所示的限制部11、影像模型生成部14、影像显示部15、实际机械3、摄像单元4、目标5以及非目标6相同，因此省略说明。
操作部12接收来自操作者的操作信息S2和来自限制部11的可运动范围S3。操作部12基于这些信息生成第一指令信息S4、第二指令信息S5以及第五指令信息S16，将第一指令信息S4提供给实际机械3和实际机械模型生成部131，将第二指令信息S5提供给摄像单元4和摄像模型生成部132，将第五指令信息S16提供给驱动装置8和驱动模型生成部134。关于第五指令信息S16，稍后说明。
模型生成部13还具有驱动模型生成部134，该驱动模型生成部134使用由操作部12生成的第五指令信息S16生成对摄像单元4进行驱动的驱动装置8的模型。模型生成部13基于从操作部12对实际机械模型生成部131的第一指令信息S4、从操作部12对摄像模型生成部132的第二指令信息S5以及从操作部12对驱动模型生成部134的第五指令信息S16生成模型信息S6，并提供给影像模型生成部14。第五指令信息S16是用于对驱动摄像单元4的驱动装置8进行操作的输入信息。具体地说，第五指令信息S16是用于对驱动装置8进行控制的控制信息。
驱动装置8与摄像单元4连接，接收来自操作部12的第五指令信息S16。驱动装置8基于该第五指令信息S16进行旋转。由此，摄像单元4的朝向发生变化，能够变更对实际机械3进行摄影的方向。
此外，在本实施方式中，在用实施方式1中的第五模式设定可运动范围S3的情况下，将图13所示的光源模型生成部133追加到图22的模型生成部13即可。在该情况下，模型生成部13输出将实际机械3的模型、摄像单元4的模型、光源的模型与驱动装置8的模型组合而成的模型信息S6。本实施方式中的模型生成部13具有实际机械模型生成部131、摄像模型生成部132以及驱动模型生成部134即可，也可以不是必须具有光源模型生成部133。另外，模型信息S6是将实际机械3的模型、摄像单元4的模型与驱动装置8的模型组合而成的信息即可，也可以不是必须将光源的模型进行组合。
图23是表示实施方式3中的远程操作装置1的其它结构的一例的框图。
如图23所示，远程操作装置1具备限制部11、操作部12以及影像显示部15。图23是表示相对于图17所示的实施方式2的结构追加了驱动装置8的结构的框图。图23所示的限制部11、影像显示部15、实际机械3、摄像单元4、目标5、非目标6以及可运动范围形成单元7与图17所示的限制部11、影像显示部15、实际机械3、摄像单元4、目标5、非目标6以及可运动范围形成单元7相同，因此省略说明。另外，图23所示的驱动装置8与图22所示的驱动装置8相同，因此省略说明。
操作部12接收来自操作者的操作信息S2和来自限制部11的可运动范围S3。操作部12基于这些信息生成第一指令信息S4、第二指令信息S5、第四指令信息S14以及第五指令信息S16，将第一指令信息S4提供给实际机械3，将第二指令信息S5提供给摄像单元4，将第四指令信息S14提供给可运动范围形成单元7，将第五指令信息S16提供给驱动装置8。
实施方式3中的包括操作部12的结构与图2所示的结构相同，因此省略说明。
实施方式3中的操作部12与图3所示的操作部12相同。操作者通过切换变更摄像单元4的朝向的模式和对实际机械3进行远程操作的模式，能够一边调整摄像单元4的朝向一边对实际机械3进行远程操作。两者的切换是由未图示的单元进行的。在变更摄像单元4的朝向的情况下，将操纵杆121沿x轴方向或y轴方向进行操作。由此，摄像单元4的朝向被变更为x轴方向或y轴方向。
图24是表示实施方式3中的包括实际机械3的结构的一例的示意图。图24是使用图22所示的远程操作装置1对实际机械3进行操作时的示意图。图24所示的实际机械3、摄像单元4、目标5以及非目标6与图4所示的实际机械3、摄像单元4、目标5以及非目标6相同，因此省略说明。
驱动装置8连接于摄像单元4，基于来自操作部12的第五指令信息S16变更摄像单元4的朝向。影像显示部15中的实际机械影像S8的朝向根据摄像单元4的朝向而被切换。
根据以上说明的实施方式3，由驱动装置8变更摄像单元4的朝向。由此，在实施方式2中得到的效果的基础上，操作者能够一边逐次变更实际机械影像S8的朝向一边对实际机械3进行操作，能够高效地进行远程操作。
实施方式4.
图25是表示实施方式4中的远程操作装置1的结构的一例的框图。
如图25所示，远程操作装置1具备限制部11、操作部12、模型生成部13、影像模型生成部14以及影像显示部15。图25是表示相对于图1所示的实施方式1的结构追加了机械手模型生成部135和机械手9的结构的框图。图25所示的实际机械3、摄像单元4、目标5以及非目标6与图1所示的实际机械3、摄像单元4、目标5以及非目标6相同，因此省略说明。
限制部11接收来自操作者的限制信息S1。限制部11基于该限制信息S1生成可运动范围S3、可开闭范围S17以及姿势限制范围S18，并提供给操作部12和影像模型生成部14。可开闭范围S17是机械手9的可开闭范围。姿势限制范围S18是机械手9被限制为规定的姿势时的姿势、换言之被限制为规定的倾斜度时的倾斜度。
操作部12接收来自操作者的操作信息S2、来自限制部11的可运动范围S3、来自限制部11的可开闭范围S17以及来自限制部11的姿势限制范围S18。操作部12基于这些信息生成第一指令信息S4、第二指令信息S5以及第六指令信息S19，将第一指令信息S4提供给实际机械3和实际机械模型生成部131，将第二指令信息S5提供给摄像单元4和摄像模型生成部132，将第六指令信息S19提供给机械手9和机械手模型生成部135。第六指令信息S19是用于对连接于实际机械3的机械手9进行操作的输入信息。具体地说，第六指令信息S19是对使机械手9活动的驱动器IC、微型计算机等的输入信息。
模型生成部13还具有机械手模型生成部135，该机械手模型生成部135使用由操作部12生成的第六指令信息S19生成机械手9的模型。模型生成部13基于从操作部12对实际机械模型生成部131的第一指令信息S4、从操作部12对摄像模型生成部132的第二指令信息S5以及从操作部12对机械手模型生成部135的第六指令信息S19生成模型信息S6，并提供给影像模型生成部14。
影像模型生成部14接收来自限制部的可运动范围S3、可开闭范围S17、姿势限制范围S18以及来自模型生成部13的模型信息S6。影像模型生成部14基于这些信息生成作为可运动范围S3、可开闭范围S17以及姿势限制范围S18的影像的可动信息影像S20，并提供给影像显示部15。
影像显示部15接收来自影像模型生成部14的可动信息影像S20和来自摄像单元4的实际机械影像S8。影像显示部15生成将这些影像重叠而成的影像S9，并呈现给操作者。
机械手9连接于实际机械3，接收来自操作部12的第六指令信息S19。
此外，在本实施方式中，在用实施方式1中的第五模式设定可运动范围S3的情况下，将图13所示的光源模型生成部133追加到图25的模型生成部13即可。另外，也可以将实施方式3中的驱动模型生成部134追加到模型生成部13，摄像单元4也可以与驱动装置8连接来被变更朝向。在该情况下，模型生成部13输出将实际机械3的模型、摄像单元4的模型、光源的模型、驱动装置8的模型与机械手9的模型组合而成的模型信息S6。本实施方式中的模型生成部13具有实际机械模型生成部131、摄像模型生成部132以及机械手模型生成部135即可，也可以不是必须具有光源模型生成部133和驱动模型生成部134。另外，模型信息S6是将实际机械3的模型、摄像单元4的模型与机械手9的模型组合而成的信息即可，也可以不是必须将光源的模型和驱动装置8的模型进行组合。
图26是表示实施方式4中的远程操作装置1的其它结构的一例的框图。
如图26所示，远程操作装置1具备限制部11、操作部12以及影像显示部15。图26是表示相对于图17所示的实施方式2的结构追加了机械手9的结构的框图。图26所示的限制部11、影像显示部15、实际机械3、摄像单元4、目标5、非目标6以及可运动范围形成单元7与图17所示的限制部11、影像显示部15、实际机械3、摄像单元4、目标5、非目标6以及可运动范围形成单元7相同，因此省略说明。另外，图26所示的机械手9与图25所示的机械手9相同，因此省略说明。
操作部12接收来自操作者的操作信息S2和来自限制部11的可运动范围S3。操作部12基于这些信息生成第一指令信息S4、第二指令信息S5、第四指令信息S14以及第六指令信息S19，将第一指令信息S4提供给实际机械3，将第二指令信息S5提供给摄像单元4，将第四指令信息S14提供给可运动范围形成单元7，将第六指令信息S19提供给机械手9。
如图26所示，限制部11与图25所示的限制部11不同，仅生成可运动范围S3。即，不生成机械手9的可开闭范围S17和姿势限制范围S18。或者，限制部11也可以与图25同样地，不仅生成可运动范围S3，而且还生成机械手9的可开闭范围S17和姿势限制范围S18。但是，需要未图示的表示可开闭范围的单元和未图示的表示姿势限制范围的单元，操作部12生成针对它们的指令信息。
在图26中，摄像单元4也可以与驱动装置8连接来被变更朝向。在该情况下，操作部12生成对实际机械3的第一指令信息S4、对摄像单元4的第二指令信息S5、对可运动范围形成单元7的第四指令信息S14、对驱动装置8的第五指令信息S16以及对机械手9的第六指令信息S19。
实施方式4中的包括操作部12的结构与图2所示的结构相同，因此省略说明。
实施方式4中的操作部12与图3所示的操作部12相同。另外，操纵杆121具有限制部11的功能。此外，在对实际机械3进行远程操作时，也可以使操纵杆121在对准操作部12的中心位置的状态下旋转，由此进行使机械手9开闭的操作。
图27是表示实施方式4中的包括实际机械3的结构的一例的示意图。图27是使用图25所示的远程操作装置1对实际机械3进行操作时的示意图。图27所示的实际机械3、摄像单元4、目标5以及非目标6与图4所示的实际机械3、摄像单元4、目标5以及非目标6相同，因此省略说明。
机械手9转动自如地连接于实际机械端34。机械手9通过限制部11和操纵杆121被设定可开闭范围S17和姿势限制范围S18。
图28是表示实施方式4中的限制部11的一例的示意图。图28是使用图25所示的远程操作装置1对实际机械3进行操作时的示意图。另外，图28是在用与实施方式1中的第三模式类似的模式设定机械手9的可开闭范围S17的情况下的示意图。
如图28所示，在来自影像显示部15的影像S9w中显示限制图案11q及11r。限制图案11q及11r是预先准备的机械手9的可开闭图案。操作者在对实际机械3进行远程操作之前，用任意的模式设定实际机械3的可运动范围S3，将机械手9的可开闭图案选择为限制图案11q及11r中的某一个。例如在操作者选择限制图案11q的情况下，使用操纵杆121将光标11s对准限制图案11q并按下按钮122。由此，限制部11将机械手9的可开闭范围S17设定为x轴方向。此外，可开闭图案不限定于限制图案11q及11r，也可以包括倾斜。另外，也可以使影像显示部15具有触摸显示器功能，操作者用手进行画面操作，选择限制图案11q及11r中的某一个。由此，不需要光标11s，能够进行简单的操作。
另外，在图28中，用与实施方式1中的第三模式类似的模式设定机械手9的可开闭范围S17，但是也可以用与第一模式、第二模式、第四模式或第五模式类似的模式设定机械手9的可开闭范围S17。
图29的(a)和(b)是表示实施方式4中的影像显示部15中的影像S9的一例的示意图。图29是使用图25所示的远程操作装置1对实际机械3进行操作时的示意图。图29的(a)是实际机械3的可运动范围S3被设定为x轴方向并选择限制图案11q来作为机械手9的可开闭范围S17的情况下的影像S9x的示意图。图29的(b)是实际机械3的可运动范围被设定为x轴方向并选择限制图案11r来作为机械手9的可开闭范围S17的情况下的影像S9y的示意图。
如图29的(a)所示，影像S9x为实际机械影像S8d、可动信息影像S20a与可动信息影像S20b重叠而成的影像。实际机械影像S8d是由摄像单元4摄影的实际机械3和机械手9的影像。可动信息影像S20a是由影像模型生成部14生成的、可运动范围S3的影像。可动信息影像S20b是由影像模型生成部14生成的、可开闭范围S17的影像。在图29的(a)的情况下，可动信息影像S20a为与x轴方向相同的方向的可运动范围S3的影像。另外，可动信息影像S20b为与x轴方向相同的方向的可开闭范围S17的影像。
如图29的(b)所示，影像S9y为实际机械影像S8e、可动信息影像S20a与可动信息影像S20c重叠而成的影像。实际机械影像S8e是由摄像单元4摄影的实际机械3和机械手9的影像。可动信息影像S20a是由影像模型生成部14生成的、可运动范围S3的影像。可动信息影像S20c是由影像模型生成部14生成的、可开闭范围S17的影像。在图29的(b)的情况下，可动信息影像S20a为与x轴方向相同的方向的可运动范围S3的影像。另外，可动信息影像S20c为与y轴方向相同的方向的可开闭范围S17的影像。
在图29的(a)和(b)中，可动信息影像S20a被显示在实际机械影像S8d及S8e内的上侧，可动信息影像S20b及S20c分别被显示在实际机械影像S8d及S8e内的下侧，但是不限定于此。
接着，说明除了设定机械手9的可开闭范围S17以外还设定姿势限制范围S18的方法。操作者在对实际机械3进行远程操作之前，用任意的模式设定实际机械3的可运动范围S3，用任意的模式设定机械手9的可开闭范围S17，用操纵杆121设定机械手9的姿势限制范围S18。操作者通过使操纵杆121沿x轴方向或沿y轴方向活动来设定姿势限制范围S18。
图30是表示实施方式4中的影像显示部15中的其它影像S9的一例的示意图。图30是使用图25所示的远程操作装置1对实际机械3进行操作时的示意图。另外，图30是实际机械3的可运动范围S3被设定为x轴方向、且机械手9的可开闭范围S17被设定为y轴方向、且机械手9的姿势限制范围S18被设定为y轴的斜方向的情况下的影像S9z的示意图。
如图30所示，影像S9z为实际机械影像S8f、可动信息影像S20a、可动信息影像S20c与可动信息影像S20d重叠而成的影像。实际机械影像S8f是由摄像单元4摄影的实际机械3和机械手9的影像。可动信息影像S20a是由影像模型生成部14生成的、可运动范围S3的影像。可动信息影像S20c是由影像模型生成部14生成的、可开闭范围S17的影像。可动信息影像S20d是由影像模型生成部14生成的、姿势限制范围S18的影像。在图30的情况下，可动信息影像S20a为与x轴方向相同的方向的可运动范围S3的影像。另外，可动信息影像S20c为与y轴方向相同的方向的可开闭范围S17的影像。并且，可动信息影像S20d为斜方向的姿势限制范围S18的影像。
在图30中，可动信息影像S20a被显示在实际机械影像S8f内的上侧，可动信息影像S20c被显示在实际机械影像S8f内的下侧，可动信息影像S20d被显示在实际机械影像S8f内的中心附近，但是不限定于此。
根据以上说明的实施方式4，由限制部11不仅设定实际机械3的可运动范围S3，而且还设定机械手9的可开闭范围S17和姿势限制范围S18。由此，在实施方式3中得到的效果的基础上，操作者能够避免机械手9的复杂的远程操作。另外，由影像模型生成部14生成作为机械手9的可开闭范围S17与姿势限制范围S18的影像的可动信息影像S20，在影像显示部15中显示该可动信息影像S20与实际机械影像S8重叠而成的影像S9。由此，能够一边确认机械手9的可开闭范围S17和姿势限制范围S18一边对机械手9进行操作，能够高效地进行远程操作。
实施方式5.
图31是表示实施方式5中的远程操作装置1的结构的一例的框图。
如图31所示，远程操作装置1具备限制部11、操作部12、模型生成部13、影像模型生成部14以及影像显示部15。图31是表示相对于图1所示的实施方式1的结构追加了4个摄像单元41～44的结构的框图。图31所示的限制部11、模型生成部13、影像模型生成部14、影像显示部15、实际机械3、目标5以及非目标6与图1所示的限制部11、模型生成部13、影像模型生成部14、影像显示部15、实际机械3、目标5以及非目标6相同，因此省略说明。
操作部12接收来自操作者的操作信息S2和来自限制部11的可运动范围S3。操作部12基于这些信息生成第一指令信息S4、第二指令信息S5以及第二指令信息S51～S54，将第一指令信息S4提供给实际机械3和实际机械模型生成部131，将第二指令信息S5提供给摄像模型生成部132，将第二指令信息S51～S54分别提供给摄像单元41～44。第二指令信息S51～S54分别是对摄像单元41～44的、摄影的ON/OFF切换命令和倍率调整命令等。操作部12以将摄像单元41～44中的任一个设为摄影ON、且将除此以外设为摄影OFF的方式生成第二指令信息S51～S54。由此，能够选择与想要摄影的方向对应的摄像单元。或者，操作部12也可以以将摄像单元41～44中的多个摄像单元设为摄影ON的方式生成第二指令信息S51～S54。由此，生成使多个影像合体而成的三维影像，得到与对实际机械3直接进行操作时相同的操作感。即，操作部12以使多个摄像单元41～44中的至少一个摄像单元有效的方式生成对摄像单元41～44的指令信息。第二指令信息S5与第二指令信息S51～S54中的与设定了摄影ON的摄像单元对应的指令信息相同。在设定了摄影ON的摄像单元为多个的情况下，生成多个第二指令信息S5，摄像模型生成部132也设置多个。
摄像单元41～44分别接收来自操作部12的第二指令信息S51～S54。摄像单元41～44基于这些信息生成实际机械影像S8，并提供给影像显示部15。具体地说，由摄像单元41～44中的、***作部12发送了摄影ON的命令的摄像单元摄影的实际机械影像S8输入到影像显示部15。此外，在图39中，摄像单元的数量为4个，但是数量只要是2个以上，则可以是任意个数。
此外，在本实施方式中，在用实施方式1中的第五模式设定可运动范围S3的情况下，将图13所示的光源模型生成部133追加到图31的模型生成部13即可。另外，也可以将实施方式3中的驱动模型生成部134追加到模型生成部13，摄像单元4也可以与驱动装置8连接来被变更朝向。并且，也可以将实施方式4中的机械手模型生成部135追加到模型生成部13，还可以对实际机械3连接机械手9。在该情况下，模型生成部13输出将实际机械3的模型、摄像单元4的模型、光源的模型、驱动装置8的模型与机械手9的模型组合而成的模型信息S6。本实施方式中的模型生成部13具有实际机械模型生成部131和摄像模型生成部132即可，也可以不是必须具有光源模型生成部133、驱动模型生成部134以及机械手模型生成部135。另外，模型信息S6是将实际机械3的模型与摄像单元4的模型组合而成的信息即可，也可以不是必须将光源的模型、驱动装置8的模型以及机械手9的模型进行组合。
图32是表示实施方式5中的远程操作装置1的其它结构的一例的框图。
如图32所示，远程操作装置1具备限制部11、操作部12以及影像显示部15。图32是表示相对于图17所示的实施方式2的结构追加了4个摄像单元41～44的结构的框图。图32所示的限制部11、影像显示部15、实际机械3、目标5、非目标6以及可运动范围形成单元7与图17所示的限制部11、影像显示部15、实际机械3、目标5、非目标6以及可运动范围形成单元7相同，因此省略说明。另外，图32所示的摄像单元41～44与图31所示的摄像单元41～44相同，因此省略说明。
操作部12接收来自操作者的操作信息S2和来自限制部11的可运动范围S3。操作部12基于这些信息生成第一指令信息S4、第二指令信息S51～S54以及第四指令信息S14，将第一指令信息S4提供给实际机械3，将第二指令信息S51～54分别提供给摄像单元41～44，将第四指令信息S14提供给可运动范围形成单元7。第二指令信息S51～S54与图31所示的第二指令信息S51～S54相同。
在图32中，摄像单元41～44也可以与驱动装置8连接来被变更朝向，实际机械3也可以与机械手9连接。在该情况下，操作部12生成对实际机械3的第一指令信息S4、对摄像单元41～44的第二指令信息S51～S54、对可运动范围形成单元7的第四指令信息S14、对驱动装置8的第五指令信息S16以及对机械手9的第六指令信息S19。
实施方式5中的包括操作部12的结构与图2所示的结构相同，因此省略说明。另外，实施方式5中的操作部12与图3所示的操作部12相同，因此省略说明。
图33是表示实施方式5中的包括实际机械3的结构的一例的示意图。图33是使用图31所示的远程操作装置1对实际机械3进行操作时的示意图。图33所示的实际机械3、目标5以及非目标6与图4所示的实际机械3、摄像单元4、目标5以及非目标6相同，因此省略说明。
摄像单元41～44均配置于将实际机械3纳入视野的位置。此外，也可以对摄像单元41～44分别连接未图示的驱动装置81～84。
图34是表示实施方式5中的远程操作装置1的动作的一例的流程图。图34的流程图也适用于实施方式1至4中的远程操作装置1。
如图35所示，当由未图示的单元启动远程操作装置1时，限制部11基于来自操作者的限制信息S1设定实际机械3的可运动范围S3(步骤ST1)。
操作部12基于来自操作者的操作信息S2和实际机械3的可运动范围S3，生成作为用于对实际机械3进行操作的输入信息的第一指令信息S4(步骤ST2)。
影像显示部15显示来自摄像单元4的实际机械影像S8和来自影像模型生成部14的可动信息影像S7(步骤ST3)。或者，影像显示部15显示来自摄像单元4的实际机械影像S8和可动信息影像S15。可动信息影像S7是将来自限制部11的可运动范围S3影像化而成的。另外，可动信息影像S15是通过对可运动范围形成单元7进行摄影来获取的可运动范围S3的影像。
未图示的单元对操作者指示远程操作开始(步骤ST4)。操作者一边确认影像显示部15所显示的实际机械影像S8和可动信息影像S7、或者实际机械影像S8和可动信息影像S15，一边对实际机械3进行远程操作。未图示的单元在接收到来自操作者的远程操作结束的指示的情况下，使远程操作装置1停止。
根据以上说明的实施方式5，使多个摄像单元中的任一个有效来对实际机械3进行摄影。由此，在实施方式4中得到的效果的基础上，操作者能够一边逐次选择实际机械影像S8的朝向一边对实际机械3进行操作，能够高效地进行远程操作。另外，使多个摄像单元有效来对实际机械3进行摄影，生成使多个影像合体而成的三维影像。由此，在实施方式4中得到的效果的基础上，得到与对实际机械3直接进行操作时相同的操作感。
实施方式6.
图35是表示实施方式6中的远程操作装置1的结构的一例的框图。
如图35所示，远程操作装置1具备限制部11、操作部12、模型生成部13、影像模型生成部14a以及影像显示部15a。在图35中，影像模型生成部14a不仅输出可动信息影像S7，还输出实际机械影像S81，这一点不同于图1。另外，在图35中，影像显示部15a输入来自影像模型生成部14a的实际机械影像S81以代替输入来自摄像单元4的实际机械影像S8，这一点不同于图1。图35所示的限制部11、操作部12、模型生成部13、实际机械3、目标5以及非目标6与图1所示的限制部11、操作部12、模型生成部13、实际机械3、目标5以及非目标6相同，因此省略说明。
影像模型生成部14a接收来自限制部11的可运动范围S3和来自模型生成部13的模型信息S6。影像模型生成部14a基于这些信息生成将可运动范围S3影像化而成的可动信息影像S7和实际机械影像S81，并提供给影像显示部15a。实际机械影像S81例如是将实际机械3的三维模型影像化而成的。
影像显示部15a接收来自影像模型生成部14的可动信息影像S7和实际机械影像S81。影像显示部15a基于可动信息影像S7和实际机械影像S81生成影像S9，并将影像S9呈现给操作者。影像显示部15a不是显示对实际机械3进行摄影来影像化而成的实际机械影像S8，而是显示将实际机械3的三维模型影像化而成的实际机械影像S81。在与实施方式1～5结合来一般化时，影像显示部15a显示将实际机械3影像化而成的实际机械影像S81以及将与实际机械3对应的可运动范围S3影像化而成的可动信息影像S7。但是，在对实际机械3进行远程操作来使目标5活动的情况下，为了掌握实际机械3与目标5的位置关系，远程操作装置1也可以输入来自摄像单元4的影像。
影像显示部15a例如显示将实际机械3的三维模型影像化而成的影像，以代替显示对实际机械3进行摄影来影像化而成的影像，由此能够不需要摄像单元4。另外，即使为了掌握实际机械3与目标5的位置关系而需要摄像单元4，也能够将摄像单元4设为分辨率小的廉价的单元。这是因为，影像显示部15a中显示的实际机械影像S81是实际机械3的三维模型，不依赖于摄像单元4的分辨率。
图36是表示实施方式6中的远程操作装置1的动作的一例的流程图。
如图36所示，当由未图示的单元启动远程操作装置1时，限制部11基于来自操作者的限制信息S1设定实际机械3的可运动范围S3(步骤ST1)。
操作部12基于来自操作者的操作信息S2和实际机械3的可运动范围S3，生成作为用于对实际机械3进行操作的输入信息的第一指令信息S4(步骤ST2)。
影像显示部15a显示来自影像模型生成部14a的实际机械影像S81和可动信息影像S7(步骤ST5)。
未图示的单元对操作者指示远程操作开始(步骤ST4)。操作者一边确认影像显示部15a所显示的实际机械影像S8和可动信息影像S7，一边对实际机械3进行远程操作。
根据以上说明的实施方式6，影像显示部15a例如显示将实际机械3的三维模型影像化而成的影像，以代替显示将实际机械3影像化而成的影像，由此能够不需要摄像单元4。另外，即使需要摄像单元4，也能够设为分辨率小的廉价的单元。
实施方式7.
图37是表示实施方式7中的远程操作装置1的结构的一例的框图。
如图37所示，远程操作装置1具备限制部11s、操作部12a、模型生成部13、影像模型生成部14以及影像显示部15。在图37中，具备限制部11s以代替限制部11这一点以及具备操作部12a以代替操作部12这一点不同于图1。图37所示的模型生成部13、影像模型生成部14、影像显示部15、实际机械3、摄像单元4、目标5以及非目标6与图1所示的模型生成部13、影像模型生成部14、影像显示部15、实际机械3、摄像单元4、目标5以及非目标6相同，因此省略说明。
限制部11s接收来自操作者的限制信息S1。限制部11s基于该限制信息S1生成可运动范围S3，并提供给操作部12a内的坐标系变换部123和影像模型生成部14。在本实施方式中，在本实施方式中，限制部11s在包括设置实际机械3的xyz正交坐标系的任意的空间坐标系中设定可运动范围S3。为此，限制部11s不是例如使用图5所示的x轴平移板11a和y轴平移板11b等在物理上设定可运动范围S3，而是通过软件处理来设定可运动范围S3。在此，软件处理是指，在想要设定可运动范围S3的坐标系中设定多个点，将包括这些点的直线、曲线、平面或曲面设为可运动范围S3。
操作部12a具备坐标系变换部123、逆运动学计算部124以及第二指令信息生成部125。
坐标系变换部123从限制部11s接收可运动范围S3。坐标系变换部123将设定了可运动范围S3的空间坐标系变换为设置实际机械3的xyz正交坐标系。这相当于从设定了可运动范围S3的空间坐标系向xyz正交坐标系的映射。
逆运动学计算部124接收来自操作者的操作信息S2和来自限制部11s的可运动范围S3。逆运动学计算部124基于操作信息S2和可运动范围S3，在由坐标系变换部123变换后的xyz正交坐标系中，针对构成可运动范围S3的多个点进行逆运动学计算，将逆运动学计算后的第一指令信息S41提供给实际机械3和实际机械模型生成部131。
第二指令信息生成部125从操作者接收操作信息S2。第二指令信息生成部125基于操作信息S2生成第二指令信息S5，并提供给摄像单元4和摄像模型生成部132。第二指令信息S5与实施方式1中的第二指令信息S5相同，因此省略说明。
此外，实际机械3在限制部11s所设定的可运动范围S3内运动，但是有时在物理上无法运动。因此，远程操作装置1也可以在操作部12a与实际机械3之间以及操作部12a与实际机械模型生成部131之间设置未图示的第一校正部。第一校正部从逆运动学计算部124接收第一指令信息S41，对第一指令信息S41进行校正。第一校正部将校正后的第一指令信息提供给实际机械3和实际机械模型生成部131。作为一例，在实际机械3的物理上的可动范围比可运动范围S3狭小的情况下，导致对实际机械3提供超出可动范围的输入值来作为第一指令信息S41。因此，第一校正部对第一指令信息S41进行校正使得收敛于可动范围。
此外，远程操作装置1也可以在限制部11s与操作部12a之间以及限制部11s与影像模型生成部14之间设置未图示的第二校正部，以代替第一校正部。第二校正部对来自限制部11s的可运动范围S3进行校正，将校正后的可运动范围提供给坐标系变换部123和影像模型生成部14。具体地说，第二校正部将设定了可运动范围S3的空间坐标系变换为xyz正交坐标系，针对构成可运动范围S3的多个点进行逆运动学计算。然后，第二校正部对逆运动学计算后的可运动范围进行校正，将对其进行运动学计算后的结果设为校正后的可运动范围，并输出到操作部12a和影像模型生成部14。在此，也可以将对逆运动学计算后的可运动范围进行校正后的结果作为第一指令信息S41输出到实际机械3和实际机械模型生成部131，在该情况下不需要运动学计算。但是，在影像显示部15显示校正后的可运动范围的情况下，进行运动学计算。
图38是表示实施方式7中的包括实际机械3的结构的一例的示意图。图38所示的摄像单元4与图4所示的摄像单元4相同，因此省略说明。
如图38所示，实际机械3是2连杆机械手。2连杆机械手是通过根据来自逆运动学计算部124的第一指令信息S41使2个致动器36进行旋转来决定末端执行器35的位置的机械臂。在该情况下，对末端执行器35设定可运动范围S3。此外，在图37中，对实际机械3和实际机械模型生成部131仅输入第一指令信息S41，但是在实际机械3是2连杆机械手的情况下，输入与2个致动器36对应的2个不同的第一指令信息S41。
另外，在实际机械3是图38所示的2连杆机械手的情况下，逆运动学计算部124通过使用用于将末端执行器35的位置换算为2个致动器36的角度的换算式来进行逆运动学计算。因此，第一指令信息S41相当于致动器36的角度。但是，在实际机械3不是2连杆机械手而是例如6连杆机械手的情况下，或者在实际机械3设置于移动台车等的情况下，换算式变得复杂。因此，逆运动学计算部124例如也可以通过使致动器36的角度相对于末端执行器35的位置线性化来使换算式简单化，通过最优化算法来求出与末端执行器35的位置等变量相乘的系数。或者，也可以通过机器学习来求出系数。最优化算法例如是梯度下降法等。此外，在远程操作装置1具备第二校正部的情况下，第二校正部所进行的运动学计算是指，使用用于将致动器36的角度换算为末端执行器35的位置的换算式。
此外，实际机械3不限定于2连杆机械手。
图39的(a)和(b)是表示实施方式7中的影像显示部15中的影像S9的一例的示意图。图39的(a)是将直线设定为可运动范围S3的情况下的影像显示部15中的影像S91a的示意图。图39的(b)是将平面设定为可运动范围S3的情况下的影像显示部15中的影像S91b的示意图。
如图39的(a)所示，影像S91a为实际机械影像S8g与可动信息影像S7p重叠而成的影像。实际机械影像S8g是由摄像单元4摄影的实际机械3的影像。可动信息影像S7p是由影像模型生成部14生成的、可运动范围S3的影像。
如图39的(b)所示，影像S91b为实际机械影像S8h与可动信息影像S7q重叠而成的影像。实际机械影像S8h是由摄像单元4摄影的实际机械3的影像。可动信息影像S7q是由影像模型生成部14生成的、可运动范围S3的影像。
在限制部11s通过软件处理来设定可运动范围S3的情况下，产生2个问题。第一个问题是，在限制部11s所设定的可运动范围S3与末端执行器35的运动轨迹之间产生偏离。图40的(a)和(b)是表示实施方式7中的可运动范围S3与末端执行器35的运动轨迹的关系的示意图。图40的(a)表示利用多个点C1设定了可运动范围S3a的情况下的末端执行器35的运动轨迹T1。图40的(b)表示利用多个点C2设定了可运动范围S3b的情况下的末端执行器35的运动轨迹T2。
如图40的(a)所示，在每单位时间设定的点C1的数量少的情况下，点C1的间隔变大，因此在可运动范围S3a与运动轨迹T1之间产生偏离。这是因为，作为进行逆运动学计算的对象的可运动范围S3的轨迹与第一指令信息S41的轨迹未必一致，两者成为非线性的关系。第一指令信息S41是对致动器36的指令信息，该轨迹是旋转轨迹。另一方面，可运动范围S3的轨迹不限定于旋转轨迹，可取任意的轨迹。
为了解决这一点，例举如图40的(b)所示那样增加每单位时间设定的点C2的数量。但是，如果增加过多则计算负荷变大，因此期望在与计算负荷的平衡下设定点C2。另外，例举不改变图40的(a)所示的点C1的数量而局部地设定的方法。这相当于减小末端执行器35的移动速度。并且，例举以使末端执行器35的运动成为与致动器36相同的旋转运动的方式设定可运动范围S3。
此外，在实施方式1至6的情况下，实际机械3由x轴平移机构31、y轴平移机构32以及z轴平移机构33构成，因此即使在每单位时间设定的点的数量少的情况下，在可运动范围S3与运动轨迹之间也不产生偏离。这是因为，例如在将可运动范围S3设定为x轴的情况下，第一指令信息S4的轨迹为x轴，与可运动范围S3的轨迹一致，两者成为线性的关系。
第二个问题是，在不设定可运动范围S3的***与设定可运动范围S3的约束运动的切换时，第一指令信息S41变得不连续。在***中，在xyz正交坐标系中实际机械3运动。另一方面，在约束运动中，在暂时被变换为可运动范围S3被设定的空间坐标系之后被变换为xyz正交坐标系。在被变换为可运动范围S3被设定的空间坐标系时，第一指令信息S41变得不连续。由此，对致动器36要求急剧的指令值变更，因此致动器36有可能损伤。
为了解决这一点，例举在使末端执行器35移动到将对致动器36的指令值变更抑制在第一规定范围内的位置之后，从***切换为约束运动。第一规定范围例如是指使流过致动器36的电流为规定值以下的范围。或者，第一规定范围是指避免与周边的环境(设备、人等)碰撞的范围。另外，例举在从***向约束运动切换时，从多个点中选定与紧接在切换之前的末端执行器35的坐标点的距离为第二规定范围内的点，以在紧接在切换之后使末端执行器35移动到所选定的点的方式生成第一指令信息S41。在此，第二规定范围既可以与第一规定范围相同，也可以与第一规定范围不同。另外，多个点是指构成可运动范围S3的多个点。并且，例举以使设定可运动范围S3的空间坐标系成为xyz正交坐标系的方式设定可运动范围S3。由此，可以不发生坐标系的变换。并且，例举仅通过约束运动进行远程操作，以代替用***和约束运动的2个运动样式对实际机械3进行远程操作。
图41是表示实施方式7中的远程操作装置1的动作的一例的流程图。
如图41所示，当由未图示的单元启动远程操作装置1时，限制部11s基于来自操作者的限制信息S1设定实际机械3的可运动范围S3(步骤ST6)。限制部11s通过软件处理来设定可运动范围S3。
坐标系变换部123将设定了可运动范围S3的空间坐标系变换为xyz正交坐标系(步骤ST7)。
逆运动学计算部124在由坐标系变换部123变换后的xyz正交坐标系中，针对构成可运动范围S3的多个点进行逆运动学计算，将逆运动学计算后的第一指令信息S41提供给实际机械3和实际机械模型生成部131(步骤ST8)。
影像显示部15显示来自摄像单元4的实际机械影像S8和来自影像模型生成部14的可动信息影像S7(步骤ST3)。
未图示的单元对操作者指示远程操作开始(步骤ST4)。操作者一边确认影像显示部15所显示的实际机械影像S8和可动信息影像S7，一边对实际机械3进行远程操作。未图示的单元在接收到来自操作者的远程操作结束的指示的情况下，使远程操作装置1停止。
根据以上说明的实施方式7，限制部11s通过软件处理来设定可运动范围S3，因此能够在任意的空间坐标系中设定可运动范围S3。
在实施方式1～6中，实际机械3的可运动范围S3被设定为x轴方向、y轴方向或xy平面上的任意的方向，但是也可以被设定为z轴方向、yz平面上的任意的方向或xz平面上的任意的方向。另外，可运动范围S3也可以被设定在任意的平面上。
另外，在实施方式1～7中，也可以使用头戴式显示器来作为影像显示部15、15a，操作者穿戴头戴式显示器，一边确认影像S9一边对实际机械3进行远程操作。
并且，在实施方式1～7中，也可以由未图示的单元将实际机械端34、机械手9或末端执行器35与目标5接触的情况呈现给操作者。例如在实际机械端34、机械手9或末端执行器35上安装触觉传感器。在确认与目标5的接触之后，不需要必须一边确认实际机械影像S8、S81一边对实际机械进行操作，因此能够设置将摄像单元4进行的摄影设为OFF的期间。由此，能够削减摄像单元4的存储器容量，能够减轻远程操作装置1与摄像单元4的通信的负荷。

Claims (18)

1.一种远程操作装置，用于操作者对实际机械进行远程操作，具备：
限制部，基于来自所述操作者的限制信息，设定所述实际机械的可运动范围；
操作部，基于来自所述操作者的操作信息和所述可运动范围，生成第一指令信息，该第一指令信息是用于对所述实际机械进行操作的输入信息；以及
影像显示部，显示将所述实际机械进行影像化而成的实际机械影像和将与所述实际机械对应的所述可运动范围进行影像化而成的可动信息影像。
2.根据权利要求1所述的远程操作装置，其中，
所述实际机械影像是将被摄像单元摄影的所述实际机械进行影像化而成的。
3.根据权利要求2所述的远程操作装置，还具备：
模型生成部，具有使用所述第一指令信息来生成所述实际机械的模型的实际机械模型生成部和使用第二指令信息来生成所述摄像单元的模型的摄像模型生成部，该第二指令信息是用于对所述摄像单元进行操作的输入信息，该模型生成部输出将所述实际机械的模型与所述摄像单元的模型组合而成的模型信息；以及
影像模型生成部，基于来自所述限制部的所述可运动范围和来自所述模型生成部的所述模型信息，将所述可运动范围进行影像化来生成所述可动信息影像，
所述影像显示部显示所述实际机械影像和来自所述影像模型生成部的所述可动信息影像。
4.根据权利要求3所述的远程操作装置，其中，
所述操作部具有强制性地对来自所述操作者的操作进行限定的单元，
所述限制部通过所述进行限定的单元来设定所述可运动范围。
5.根据权利要求3所述的远程操作装置，其中，
所述操作部具有与设为能够运动的方向对应的按钮，
所述限制部通过按下所述按钮来设定所述可运动范围。
6.根据权利要求3所述的远程操作装置，其中，
所述限制部通过预先准备的可运动图案来设定所述可运动范围。
7.根据权利要求3所述的远程操作装置，其中，
所述限制部通过连结多个约束点的直线或曲线来设定所述可运动范围。
8.根据权利要求3所述的远程操作装置，其中，
所述操作部基于来自所述限制部的所述可运动范围，进一步生成第三指令信息，该第三指令信息是用于对放出光的光源进行操作的输入信息，
所述模型生成部还具有使用所述第三指令信息生成所述光源的模型的光源模型生成部，所述模型生成部输出进一步将所述光源的模型组合而成的所述模型信息。
9.根据权利要求2所述的远程操作装置，其中，
所述操作部基于来自所述限制部的所述可运动范围，进一步生成第四指令信息，该第四指令信息是用于对形成所述实际机械的所述可运动范围的可运动范围形成单元进行操作的输入信息，
所述影像显示部显示所述实际机械影像和对由所述可运动范围形成单元形成的所述可运动范围进行摄影并影像化而成的所述可动信息影像。
10.根据权利要求9所述的远程操作装置，其中，
所述可运动范围形成单元是放出光的光源。
11.根据权利要求2～10中的任一项所述的远程操作装置，其中，
所述操作部基于来自所述操作者的所述操作信息，进一步生成第五指令信息，该第五指令信息是用于对驱动所述摄像单元的驱动装置进行操作的输入信息。
12.根据权利要求3～8中的任一项所述的远程操作装置，其中，
所述操作部基于来自所述操作者的所述操作信息，进一步生成第五指令信息，该第五指令信息是用于对驱动所述摄像单元的驱动装置进行操作的输入信息，
所述模型生成部还具有使用所述第五指令信息生成所述驱动装置的模型的驱动模型生成部，所述模型生成部输出进一步将所述驱动装置的模型组合而成的所述模型信息。
13.根据权利要求2～11中的任一项所述的远程操作装置，其中，
所述操作部基于来自所述操作者的所述操作信息，进一步生成第六指令信息，该第六指令信息是用于对连接于所述实际机械的机械手进行操作的输入信息。
14.根据权利要求3、4、5、6、7、8以及12中的任一项所述的远程操作装置，其中，
所述操作部基于来自所述操作者的所述操作信息，进一步生成第六指令信息，该第六指令信息是用于对连接于所述实际机械的机械手进行操作的输入信息，
所述模型生成部还具有使用所述第六指令信息生成所述机械手的模型的机械手模型生成部，所述模型生成部输出进一步将所述机械手的模型组合而成的所述模型信息。
15.根据权利要求13或14所述的远程操作装置，其中，
所述限制部基于来自所述操作者的限制信息设定所述机械手的可开闭范围。
16.根据权利要求13～15中的任一项所述的远程操作装置，其中，
所述限制部基于来自所述操作者的限制信息设定所述机械手的姿势限制范围。
17.根据权利要求3、4、5、6、7、8以及12中的任一项所述的远程操作装置，其中，
所述操作部还具备：
坐标系变换部，将设定了所述可运动范围的空间坐标系变换为设置所述实际机械的坐标系；以及
逆运动学计算部，在变换后的所述坐标系中，针对构成所述可运动范围的多个点进行逆运动学计算，将计算结果作为所述第一指令信息而输出。
18.根据权利要求2～17中的任一项所述的远程操作装置，其中，
所述操作部以使多个所述摄像单元中的至少一个所述摄像单元有效的方式生成对所述摄像单元的指令信息。
CN202180058187.9A 2020-08-03 2021-04-19 远程操作装置 Pending CN116056843A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020-131900 2020-08-03
JP2020131900 2020-08-03
PCT/JP2021/015911 WO2022030047A1 (ja) 2020-08-03 2021-04-19 遠隔操作装置

Publications (1)

Publication Number Publication Date
CN116056843A true CN116056843A (zh) 2023-05-02

Family

ID=80117226

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180058187.9A Pending CN116056843A (zh) 2020-08-03 2021-04-19 远程操作装置

Country Status (5)

Country Link
US (1) US20230292000A1 (zh)
EP (1) EP4190513A4 (zh)
JP (2) JP7397879B2 (zh)
CN (1) CN116056843A (zh)
WO (1) WO2022030047A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024102726A1 (en) * 2022-11-07 2024-05-16 Noland Samantha Systems and methods to configure a robotic welding system

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6044293A (ja) * 1983-08-18 1985-03-09 株式会社日立製作所 産業用ロボットの制御装置
JP2004223128A (ja) 2003-01-27 2004-08-12 Hitachi Ltd 医療行為支援装置および方法
DE10305384A1 (de) * 2003-02-11 2004-08-26 Kuka Roboter Gmbh Verfahren und Vorrichtung zur Visualisierung rechnergestützter Informationen
JP2006113858A (ja) * 2004-10-15 2006-04-27 Mitsubishi Heavy Ind Ltd 移動体の遠隔操作支援方法及びシステム
US9789608B2 (en) * 2006-06-29 2017-10-17 Intuitive Surgical Operations, Inc. Synthetic representation of a surgical robot
JP2012236244A (ja) * 2011-05-10 2012-12-06 Sony Corp ロボット装置、ロボット装置の制御方法、並びにロボット装置制御用プログラム
JP5974668B2 (ja) * 2012-06-25 2016-08-23 国立大学法人 筑波大学 マニピュレーションシステム
JP5673716B2 (ja) * 2013-03-19 2015-02-18 株式会社安川電機 ロボットシステム及び被加工物の製造方法
DE102013108115A1 (de) 2013-07-30 2015-02-05 gomtec GmbH Verfahren und Vorrichtung zum Festlegen eines Arbeitsbereichs eines Roboters
DE102013110847B3 (de) 2013-10-01 2015-01-22 gomtec GmbH Steuervorrichtung und Verfahren zum Steuern eines Robotersystems mittels Gestensteuerung
US10842577B2 (en) * 2015-02-24 2020-11-24 Sri International Hyperdexterous system user interface
JP2017013206A (ja) * 2015-07-03 2017-01-19 株式会社デンソーウェーブ ロボットシステム
JP2018008347A (ja) * 2016-07-13 2018-01-18 東芝機械株式会社 ロボットシステムおよび動作領域表示方法
JP6445092B2 (ja) * 2017-05-31 2018-12-26 ファナック株式会社 ロボットの教示のための情報を表示するロボットシステム
DE112018003540T5 (de) * 2017-07-12 2020-05-14 Sony Corporation Steuervorrichtung, steuerverfahren und master-slave-system
WO2019092792A1 (ja) * 2017-11-07 2019-05-16 三菱電機株式会社 表示制御装置、表示制御方法および表示制御プログラム
JP7259284B2 (ja) * 2017-11-28 2023-04-18 株式会社デンソーウェーブ 教示装置、教示方法
JP2020013548A (ja) * 2018-07-06 2020-01-23 キヤノン株式会社 画像処理装置、画像処理方法、システム、物品の製造方法
EP3875230A4 (en) * 2018-11-01 2022-07-27 Canon Kabushiki Kaisha EXTERNAL INPUT DEVICE, ROBOT SYSTEM, CONTROL METHOD FOR ROBOT SYSTEM, CONTROL PROGRAM AND RECORDING MEDIA
JP7250489B2 (ja) * 2018-11-26 2023-04-03 キヤノン株式会社 画像処理装置およびその制御方法、プログラム
JP2021065971A (ja) * 2019-10-23 2021-04-30 ファナック株式会社 ロボット教示システム、画像生成方法、及びプログラム

Also Published As

Publication number Publication date
JPWO2022030047A1 (zh) 2022-02-10
US20230292000A1 (en) 2023-09-14
JP7397879B2 (ja) 2023-12-13
EP4190513A4 (en) 2024-01-24
EP4190513A1 (en) 2023-06-07
JP2022172112A (ja) 2022-11-15
WO2022030047A1 (ja) 2022-02-10

Similar Documents

Publication Publication Date Title
JP6843051B2 (ja) 遠隔操作ロボットシステム
JP5981591B1 (ja) 没入型仮想空間でオブジェクト操作を制御するためのコンピュータ・プログラムおよびコンピュータ・システム
US9002517B2 (en) Telematic interface with directional translation
US8009140B2 (en) Master-slave manipulator system
KR101832346B1 (ko) 사용자 상호 장치 및 방법
JP2017104944A (ja) 仮想物体の画像をロボットの映像に重畳表示する映像表示装置を備えるロボットシステム
JP2016107379A (ja) 拡張現実対応ディスプレイを備えたロボットシステム
JP2004213673A (ja) 強化現実システム及び方法
KR20060107360A (ko) 로봇 위치 교시를 위한 이동 제어 장치, 로봇의 위치 교시장치, 로봇 위치 교시를 위한 이동 제어 방법, 로봇의 위치교시 방법 및 로봇 위치 교시를 위한 이동 제어 프로그램
Huy et al. See-through and spatial augmented reality-a novel framework for human-robot interaction
CN116056843A (zh) 远程操作装置
JP2011101915A (ja) ロボットシステム
JP5217845B2 (ja) ロボット操作装置及びロボット操作システム
JPH0946776A (ja) 遠隔指示装置および方法
KR102447954B1 (ko) 다관절 고정암 기반 촬영제어기능 구비형 작업대 시스템
JP2000042960A (ja) マニピュレータの遠隔操作装置
JP2016181302A (ja) 没入型仮想空間でオブジェクト操作を制御するためのコンピュータ・プログラムおよびコンピュータ・システム
JP7224559B2 (ja) 遠隔制御マニピュレータシステムおよび遠隔制御支援システム
JP2001121458A (ja) ロボットコントローラ
JPH0430981A (ja) 遠隔操縦型ロボットのテレビカメラ制御装置
JPH07328971A (ja) Ｔｖカメラ付マニピュレータ
WO2020203819A1 (ja) 遠隔操作装置
WO2021200470A1 (ja) オフラインシミュレーションシステム
WO2023248439A1 (ja) ロボットシステム、ロボット制御装置およびロボット制御プログラム
JP2022053421A (ja) 遠隔操作のための表示システム、表示方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination