JP7071070B2 - Robot system and its operation method - Google Patents

Robot system and its operation method Download PDF

Info

Publication number
JP7071070B2
JP7071070B2 JP2017149757A JP2017149757A JP7071070B2 JP 7071070 B2 JP7071070 B2 JP 7071070B2 JP 2017149757 A JP2017149757 A JP 2017149757A JP 2017149757 A JP2017149757 A JP 2017149757A JP 7071070 B2 JP7071070 B2 JP 7071070B2
Authority
JP
Japan
Prior art keywords
robot
operator
display device
virtual
transmissive display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017149757A
Other languages
Japanese (ja)
Other versions
JP2019025620A (en
Inventor
雅之 渡邊
高行 吉村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kawasaki Motors Ltd
Original Assignee
Kawasaki Jukogyo KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kawasaki Jukogyo KK filed Critical Kawasaki Jukogyo KK
Priority to JP2017149757A priority Critical patent/JP7071070B2/en
Priority to CN201880050331.2A priority patent/CN111093911B/en
Priority to US16/636,139 priority patent/US11865697B2/en
Priority to PCT/JP2018/028251 priority patent/WO2019026790A1/en
Publication of JP2019025620A publication Critical patent/JP2019025620A/en
Application granted granted Critical
Publication of JP7071070B2 publication Critical patent/JP7071070B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/06Control stands, e.g. consoles, switchboards
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/06Control stands, e.g. consoles, switchboards
    • B25J13/065Control stands, e.g. consoles, switchboards comprising joy-sticks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/003Controls for manipulators by means of an audio-responsive input
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J3/00Manipulators of master-slave type, i.e. both controlling unit and controlled unit perform corresponding spatial movements
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J3/00Manipulators of master-slave type, i.e. both controlling unit and controlled unit perform corresponding spatial movements
    • B25J3/04Manipulators of master-slave type, i.e. both controlling unit and controlled unit perform corresponding spatial movements involving servo mechanisms
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/04Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/32Operator till task planning
    • G05B2219/32014Augmented reality assists operator in maintenance, repair, programming, assembly, use of head mounted display with 2-D 3-D display and voice feedback, voice and gesture command

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)

Description

本発明は、ロボットシステム及びその運転方法に関する。 The present invention relates to a robot system and a method of operating the robot system.

拡張現実対応ディスプレイを用いて、実映像又は実環境にロボットの状態や操作ガイドに関する情報をロボットの使用者に提供しているロボットシステムが知られている(例えば、特許文献1参照)。特許文献1に開示されているロボットシステムでは、ディスプレイにロボットの状態又は操作ガイドを視覚的に示す不可情報を重畳して表示している。 There is known a robot system that provides a robot user with information on the state of the robot and an operation guide in an actual image or an actual environment by using an augmented reality display (see, for example, Patent Document 1). In the robot system disclosed in Patent Document 1, impossible information that visually indicates the state of the robot or the operation guide is superimposed and displayed on the display.

特開2016-107379号公報Japanese Unexamined Patent Publication No. 2016-107379

ところで、保持したワークを嵌合部に嵌合させる動作を操作者が教示・操作するような場合には、ワークを他の部分と接触させないようにする等、ロボットの位置決めを慎重に行う必要がある。 By the way, when the operator teaches and operates the operation of fitting the held work to the fitting portion, it is necessary to carefully position the robot, such as preventing the work from coming into contact with other parts. be.

上記特許文献1に開示されているロボットシステムでは、ロボットの先端部を原点とした直交座標系が表示されているが、当該情報だけでは、位置決めを行うには不充分であり、操作者への負担が大きく、作業効率の向上の観点から未だ改善の余地があった。 In the robot system disclosed in Patent Document 1, an orthogonal coordinate system with the tip of the robot as the origin is displayed, but the information alone is not sufficient for positioning, and the information is not sufficient for the operator. The burden was heavy, and there was still room for improvement from the perspective of improving work efficiency.

本発明は、上記従来の課題を解決するもので、操作者の負担を軽減して、作業効率を向上させることができる、ロボットシステム及びその運転方法を提供することを目的とする。 An object of the present invention is to solve the above-mentioned conventional problems, and to provide a robot system and an operation method thereof, which can reduce the burden on the operator and improve the work efficiency.

上記従来の課題を解決するために、本発明に係るロボットシステムは、操作者からの操作指示を受け付ける操作器と、作業空間内に設置され、複数の工程からなる一連の作業を行う実ロボットと、前記操作者が実世界を視認可能に構成され、仮想ロボットを表示するように構成されている透過型表示装置と、制御装置と、を備え、前記制御装置は、前記操作器から入力された指示情報を基に、前記透過型表示装置に表示されている前記仮想ロボットを動作させ、その後、前記操作器から前記実ロボットの動作を開始させる開始情報が入力されると、前記透過型表示装置に前記仮想ロボットを表示させた状態を維持しながら、前記実ロボットを動作させるように構成されている。 In order to solve the above-mentioned conventional problems, the robot system according to the present invention includes an operating device that receives an operation instruction from an operator and a real robot that is installed in a work space and performs a series of operations including a plurality of processes. , A transmissive display device configured to allow the operator to see the real world and to display a virtual robot, and a control device, the control device being input from the controller. When the virtual robot displayed on the transmissive display device is operated based on the instruction information and then the start information for starting the operation of the real robot is input from the operator, the transmissive display device is used. It is configured to operate the real robot while maintaining the state in which the virtual robot is displayed.

これにより、仮想ロボットが実ロボットの動作前に、指示情報を基に動作するので、動作後の位置を視覚的に把握することができる。このため、例えば、実ロボット本体及び/又は実ロボットが把持しているワークが、作業空間内に配置されている機器等と接触等するか否かを容易に判断することができ、実ロボットの先端部の位置決めを容易に行うことができる。したがって、操作者の負担を軽減して、作業効率を向上させることができる。 As a result, the virtual robot operates based on the instruction information before the operation of the real robot, so that the position after the operation can be visually grasped. Therefore, for example, it is possible to easily determine whether or not the actual robot body and / or the work held by the actual robot comes into contact with the equipment or the like arranged in the work space, and the actual robot can be easily determined. The tip can be easily positioned. Therefore, the burden on the operator can be reduced and the work efficiency can be improved.

また、本発明に係るロボットシステムの運転方法は、前記ロボットシステムが、操作者からの操作指示を受け付ける操作器と、作業空間内に設置され、複数の工程からなる一連の作業を行う実ロボットと、前記操作者が実世界を視認可能に構成され、仮想ロボットを表示するように構成されている透過型表示装置と、を備え、前記透過型表示装置が、前記操作器から入力された指示情報を基に、前記仮想ロボットを動作させる(A)と、前記(A)の後に、前記操作器から前記実ロボットの動作を開始させる開始情報が入力されると、前記透過型表示装置は前記仮想ロボットを表示させた状態を維持し、前記実ロボットが、前記操作器から入力された指示情報を基に動作する(B)と、を備える。 Further, the operation method of the robot system according to the present invention includes an operating device that receives an operation instruction from an operator and a real robot that is installed in a work space and performs a series of operations including a plurality of processes. The transparent display device comprises a transparent display device configured to allow the operator to visually recognize the real world and display a virtual robot, and the transparent display device provides instruction information input from the operator. When the start information for starting the operation of the real robot is input from the operating device after the operation (A) of the virtual robot and the operation of the virtual robot based on the above (A), the transmissive display device performs the virtual robot. The robot is maintained in a displayed state, and the actual robot operates based on the instruction information input from the actuator (B).

これにより、仮想ロボットが実ロボットの動作前に、指示情報を基に動作するので、動作後の位置を視覚的に把握することができる。このため、例えば、実ロボット本体及び/又は実ロボットが把持しているワークが、作業空間内に配置されている機器等と接触等するか否かを容易に判断することができ、実ロボットの先端部の位置決めを容易に行うことができる。したがって、操作者の負担を軽減して、作業効率を向上させることができる。 As a result, the virtual robot operates based on the instruction information before the operation of the real robot, so that the position after the operation can be visually grasped. Therefore, for example, it is possible to easily determine whether or not the actual robot body and / or the work held by the actual robot comes into contact with the equipment or the like arranged in the work space, and the actual robot can be easily determined. The tip can be easily positioned. Therefore, the burden on the operator can be reduced and the work efficiency can be improved.

本発明のロボットシステム及びその運転方法によれば、操作者の負担を軽減して、作業効率を向上させることができる。 According to the robot system of the present invention and its operation method, the burden on the operator can be reduced and the work efficiency can be improved.

図1は、本実施の形態1に係るロボットシステムの概略構成を示すブロック図である。FIG. 1 is a block diagram showing a schematic configuration of a robot system according to the first embodiment. 図2は、図1に示すロボットシステムの透過型表示装置の一例を示す模式図である。FIG. 2 is a schematic diagram showing an example of a transmissive display device of the robot system shown in FIG. 図3は、図1に示すロボットシステムにおける、実ロボットの概略構成を示す模式図である。FIG. 3 is a schematic diagram showing a schematic configuration of an actual robot in the robot system shown in FIG. 図4は、本実施の形態1に係るロボットシステムの動作の一例を示すフローチャートである。FIG. 4 is a flowchart showing an example of the operation of the robot system according to the first embodiment. 図5は、本実施の形態1に係るロボットシステムにおける透過型表示装置を介して、操作者が視認している視界を示す模式図である。FIG. 5 is a schematic view showing the field of view visually recognized by the operator via the transmissive display device in the robot system according to the first embodiment. 図6は、本実施の形態1に係るロボットシステムにおける透過型表示装置を介して、操作者が視認している視界を示す模式図である。FIG. 6 is a schematic view showing the field of view visually recognized by the operator via the transmissive display device in the robot system according to the first embodiment. 図7は、本実施の形態1に係るロボットシステムにおける透過型表示装置を介して、操作者が視認している視界を示す模式図である。FIG. 7 is a schematic view showing the field of view visually recognized by the operator via the transmissive display device in the robot system according to the first embodiment. 図8は、本実施の形態1に係るロボットシステムにおける透過型表示装置を介して、操作者が視認している視界を示す模式図である。FIG. 8 is a schematic view showing the field of view visually recognized by the operator via the transmissive display device in the robot system according to the first embodiment. 図9は、本実施の形態2に係るロボットシステムの概略構成を示すブロック図である。FIG. 9 is a block diagram showing a schematic configuration of the robot system according to the second embodiment. 図10は、本実施の形態2に係るロボットシステムにおける透過型表示装置を介して、操作者が視認している視界を示す模式図である。FIG. 10 is a schematic view showing the field of view visually recognized by the operator via the transmissive display device in the robot system according to the second embodiment.

以下、本発明の実施の形態を、図面を参照しながら説明する。なお、全ての図面において、同一又は相当部分には同一符号を付し、重複する説明は省略する。また、全ての図面において、本発明を説明するための構成要素を抜粋して図示しており、その他の構成要素については図示を省略している場合がある。さらに、本発明は以下の実施の形態に限定されない。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. In all drawings, the same or corresponding parts are designated by the same reference numerals, and duplicate description will be omitted. Further, in all the drawings, the components for explaining the present invention are excerpted and shown, and the drawings of other components may be omitted. Furthermore, the invention is not limited to the following embodiments.

(実施の形態1)
本実施の形態1に係るロボットシステムは、操作者からの操作指示を受け付ける操作器と、作業空間内に設置され、複数の工程からなる一連の作業を行う実ロボットと、操作者が物理的な実世界を視認可能に構成され、仮想ロボットを表示するように構成されている透過型表示装置と、制御装置と、を備え、制御装置は、操作器から入力された指示情報を基に、透過型表示装置に表示されている仮想ロボットを動作させ、その後、操作器から実ロボットの動作を実行させる動作実行情報が入力されると、透過型表示装置に仮想ロボットを表示させた状態で、実ロボットを動作させるように構成されている。
(Embodiment 1)
The robot system according to the first embodiment has an operating device that receives an operation instruction from an operator, an actual robot that is installed in a work space and performs a series of operations consisting of a plurality of processes, and an operator physically. It includes a transmissive display device and a control device that are configured to make the real world visible and display a virtual robot, and the control device is transparent based on the instruction information input from the controller. When the operation execution information for operating the virtual robot displayed on the type display device and then executing the operation of the actual robot is input from the actuator, the virtual robot is displayed on the transparent display device and the actual robot is displayed. It is configured to operate the robot.

また、本実施の形態1に係るロボットシステムでは、制御装置は、透過型表示装置に仮想ロボットを実ロボットと重なるように表示させていて、操作器から指示情報が入力されると、当該指示情報を基に、仮想ロボットを動作させるように構成されていてもよい。 Further, in the robot system according to the first embodiment, the control device displays the virtual robot on the transmissive display device so as to overlap with the actual robot, and when the instruction information is input from the operation device, the instruction information is displayed. It may be configured to operate a virtual robot based on the above.

また、本実施の形態1に係るロボットシステムでは、操作器は、携帯端末、マスターアーム、ティーチングペンダント、ジョイスティック、及び音声入力器のうち、少なくともいずれか1つの機器で構成されていてもよい。 Further, in the robot system according to the first embodiment, the operating device may be composed of at least one of a mobile terminal, a master arm, a teaching pendant, a joystick, and a voice input device.

さらに、本実施の形態1に係るロボットシステムでは、透過型表示装置は、操作者に装着可能に構成されていてもよい。 Further, in the robot system according to the first embodiment, the transmissive display device may be configured to be wearable to the operator.

以下、本実施の形態1に係るロボットシステムの一例について、図1~図8を参照しながら説明する。 Hereinafter, an example of the robot system according to the first embodiment will be described with reference to FIGS. 1 to 8.

[ロボットシステムの構成]
図1は、本実施の形態1に係るロボットシステムの概略構成を示すブロック図である。図2は、図1に示すロボットシステムの透過型表示装置の一例を示す模式図である。
[Robot system configuration]
FIG. 1 is a block diagram showing a schematic configuration of a robot system according to the first embodiment. FIG. 2 is a schematic diagram showing an example of a transmissive display device of the robot system shown in FIG.

図1に示すように、本実施の形態1に係るロボットシステム100は、実ロボット1、操作器2、制御装置4、記憶装置5、及び透過型表示装置6を備えていて、操作者が操作器2を操作することにより、実ロボット1が動作するように構成されている。また、本実施の形態1に係るロボットシステム100は、操作者が操作器2を操作すると、制御装置4は、透過型表示装置6に表示されている仮想ロボット3(図5参照)を動作させ、その後、操作器2から実ロボット1の動作を実行させる動作実行情報が入力されると、透過型表示装置6に仮想ロボット3を表示させた状態で、実ロボット1の動作を実行させるように構成されている。以下、本実施の形態1に係るロボットシステム100が備える、各機器について、説明する。 As shown in FIG. 1, the robot system 100 according to the first embodiment includes a real robot 1, an operator 2, a control device 4, a storage device 5, and a transmissive display device 6, and is operated by an operator. The actual robot 1 is configured to operate by operating the device 2. Further, in the robot system 100 according to the first embodiment, when the operator operates the operation device 2, the control device 4 operates the virtual robot 3 (see FIG. 5) displayed on the transmissive display device 6. After that, when the operation execution information for executing the operation of the real robot 1 is input from the controller 2, the operation of the real robot 1 is executed with the virtual robot 3 displayed on the transmissive display device 6. It is configured. Hereinafter, each device included in the robot system 100 according to the first embodiment will be described.

実ロボット1は、作業空間内に設置され、複数の工程からなる一連の作業を行うように構成されている。なお、複数の工程からなる一連の作業としては、製品に対する部品の組付、塗装等の作業が例示できる。 The actual robot 1 is installed in a work space and is configured to perform a series of operations including a plurality of processes. As a series of operations including a plurality of steps, operations such as assembling parts to a product and painting can be exemplified.

本実施の形態1に係る実ロボット1は、ライン生産方式又はセル生産方式で、電気・電子部品等を組み立てて製品を生産する生産工場で利用され、この生産工場に設けられた作業台に沿って配置され、作業台上のワークに対して、移送、パーツの組み付け又は配置換え、姿勢変換等の作業のうち少なくとも1つを行うことができる多関節ロボットである。但し、実ロボット1の実施態様は上記に限定されず、水平多関節型・垂直多関節型を問わず多関節ロボットに広く適用することができる。 The actual robot 1 according to the first embodiment is used in a production factory that assembles electrical and electronic parts to produce products by a line production method or a cell production method, and is along a workbench provided in this production factory. It is an articulated robot that can perform at least one of operations such as transfer, assembly or rearrangement of parts, and posture change for a work on a work table. However, the embodiment of the actual robot 1 is not limited to the above, and can be widely applied to an articulated robot regardless of whether it is a horizontal articulated robot or a vertical articulated robot.

ここで、図3を参照しながら、実ロボット1の具体的な構成について説明する。 Here, a specific configuration of the actual robot 1 will be described with reference to FIG.

図3は、図1に示すロボットシステムにおける、実ロボットの概略構成を示す模式図である。 FIG. 3 is a schematic diagram showing a schematic configuration of an actual robot in the robot system shown in FIG.

図3に示すように、実ロボット1は、複数のリンク(ここでは、第1リンク11a~第6リンク11f)の連接体と、複数の関節(ここでは、第1関節JT1~第6関節JT6)と、これらを支持する基台15と、を有する多関節ロボットアームである。 As shown in FIG. 3, the actual robot 1 includes an articulated body of a plurality of links (here, the first link 11a to the sixth link 11f) and a plurality of joints (here, the first joint JT1 to the sixth joint JT6). ), And a base 15 for supporting them, which is an articulated robot arm.

第1関節JT1では、基台15と、第1リンク11aの基端部とが、鉛直方向に延びる軸回りに回転可能に連結されている。第2関節JT2では、第1リンク11aの先端部と、第2リンク11bの基端部とが、水平方向に延びる軸回りに回転可能に連結されている。第3関節JT3では、第2リンク11bの先端部と、第3リンク11cの基端部とが、水平方向に延びる軸回りに回転可能に連結されている。 In the first joint JT1, the base 15 and the base end portion of the first link 11a are rotatably connected around an axis extending in the vertical direction. In the second joint JT2, the tip end portion of the first link 11a and the base end portion of the second link 11b are rotatably connected around an axis extending in the horizontal direction. In the third joint JT3, the tip end portion of the second link 11b and the base end portion of the third link 11c are rotatably connected around an axis extending in the horizontal direction.

また、第4関節JT4では、第3リンク11cの先端部と、第4リンク11dの基端部とが、第4リンク11dの長手方向に延びる軸回りに回転可能に連結されている。第5関節JT5では、第4リンク11dの先端部と、第5リンク11eの基端部とが、第4リンク11dの長手方向と直交する軸回りに回転可能に連結されている。第6関節JT6では、第5リンク11eの先端部と第6リンク11fの基端部とが、捻れ回転可能に連結されている。 Further, in the fourth joint JT4, the tip end portion of the third link 11c and the base end portion of the fourth link 11d are rotatably connected around an axis extending in the longitudinal direction of the fourth link 11d. In the fifth joint JT5, the tip end portion of the fourth link 11d and the base end portion of the fifth link 11e are rotatably connected around an axis orthogonal to the longitudinal direction of the fourth link 11d. In the sixth joint JT6, the tip end portion of the fifth link 11e and the base end portion of the sixth link 11f are rotatably connected to each other.

そして、第6リンク11fの先端部には、メカニカルインターフェースが設けられている。このメカニカルインターフェースには、作業内容に対応したエンドエフェクタ12が着脱可能に装着される。 A mechanical interface is provided at the tip of the sixth link 11f. An end effector 12 corresponding to the work content is detachably attached to this mechanical interface.

また、第1関節JT1~第6関節JT6には、それぞれ、各関節が連結する2つの部材を相対的に回転させるアクチュエータの一例としての駆動モータが設けられている(図示せず)。駆動モータは、例えば、制御装置4によってサーボ制御されるサーボモータであってもよい。また、第1関節JT1~第6関節JT6には、それぞれ、駆動モータの回転位置を検出する回転センサと、駆動モータの回転を制御する電流を検出する電流センサと、が設けられている(それぞれ、図示せず)。回転センサは、例えば、エンコーダであってもよい。 Further, each of the first joint JT1 to the sixth joint JT6 is provided with a drive motor as an example of an actuator that relatively rotates two members connected to each joint (not shown). The drive motor may be, for example, a servomotor controlled by the control device 4. Further, each of the first joint JT1 to the sixth joint JT6 is provided with a rotation sensor for detecting the rotation position of the drive motor and a current sensor for detecting the current for controlling the rotation of the drive motor (respectively). , Not shown). The rotation sensor may be, for example, an encoder.

操作器2は、作業空間外に設置され、操作者からの操作指示を受け付ける装置である。操作器2としては、例えば、携帯端末、マスターアーム、ティーチングペンダント、ジョイスティック、又は音声入力器等が挙げられる。携帯端末としては、例えば、タブレット、スマートフォン、ノートパソコン等が挙げられる。また、操作器2は、透過型表示装置6に仮想ロボット3の表示/非表示を切り替えるための切替器(例えば、ボタン等)を備えていてもよい。 The actuator 2 is a device installed outside the work space and receiving an operation instruction from the operator. Examples of the operating device 2 include a mobile terminal, a master arm, a teaching pendant, a joystick, a voice input device, and the like. Examples of the mobile terminal include tablets, smartphones, notebook computers and the like. Further, the operating device 2 may be provided with a switching device (for example, a button or the like) for switching the display / non-display of the virtual robot 3 in the transmissive display device 6.

記憶装置5は、読み書き可能な記録媒体であり、タスクプログラム51とロボットシステム100の動作シーケンス情報52が記憶されている。なお、本実施の形態1に係るロボットシステム100では、記憶装置5は、制御装置4と別体に設けられているが、制御装置4と一体として設けられていてもよい。 The storage device 5 is a literacy recording medium, and stores the task program 51 and the operation sequence information 52 of the robot system 100. In the robot system 100 according to the first embodiment, the storage device 5 is provided separately from the control device 4, but may be provided integrally with the control device 4.

タスクプログラム51は、例えば、操作者がティーチングペンダント等から構成されている操作器2を用いて、ティーチングすることにより作成され、実ロボット1の識別情報とタスクとに対応付けられて、記憶装置5に格納されている。なお、タスクプログラム51は、作業ごとの動作フローとして作成されてもよい。 The task program 51 is created, for example, by an operator teaching using an operating device 2 composed of a teaching pendant or the like, and is associated with the identification information of the real robot 1 and the task to be stored in the storage device 5. It is stored in. The task program 51 may be created as an operation flow for each work.

動作シーケンス情報52とは、作業空間内で実ロボット1によって実施される一連の作業工程を規定した動作シーケンスに関する情報である。動作シーケンス情報52では、作業工程の動作順と、実ロボット1の制御モードと、が対応付けられている。また、動作シーケンス情報52では、各作業工程に対し、実ロボット1にその作業を自動的に実行させるためのタスクプログラムが対応付けられている。なお、動作シーケンス情報52は、各作業工程に対し、実ロボット1にその作業を自動的に実行させるためのプログラムを含んでいてもよい。 The motion sequence information 52 is information related to a motion sequence that defines a series of work processes performed by the actual robot 1 in the work space. In the operation sequence information 52, the operation order of the work process and the control mode of the actual robot 1 are associated with each other. Further, in the operation sequence information 52, a task program for causing the actual robot 1 to automatically execute the work is associated with each work process. The operation sequence information 52 may include a program for causing the actual robot 1 to automatically execute the work for each work process.

制御装置4は、実ロボット1の動作を制御するものである。制御装置4は、例えば、マイクロコントローラ、MPU、PLC(Programmable Logic Controller)、論理回路等からなる演算部(図示せず)と、ROM又はRAM等からなるメモリ部(図示せず)と、により構成することができる。また、制御装置4が備える各機能ブロックは、制御装置4の演算部が、メモリ部(記憶器)又は記憶装置5に格納されているプログラムを読み出し実行することにより実現できる。 The control device 4 controls the operation of the actual robot 1. The control device 4 is composed of, for example, a calculation unit (not shown) composed of a microcontroller, an MPU, a PLC (Programmable Logic Controller), a logic circuit, etc., and a memory unit (not shown) composed of a ROM, a RAM, or the like. can do. Further, each functional block included in the control device 4 can be realized by the arithmetic unit of the control device 4 reading and executing a program stored in the memory unit (storage device) or the storage device 5.

なお、制御装置4は、単独の制御装置で構成される形態だけでなく、複数の制御装置が協働して、実ロボット1(ロボットシステム100)の制御を実行する制御装置群で構成される形態であっても構わない。 The control device 4 is not only composed of a single control device, but is also composed of a group of control devices in which a plurality of control devices cooperate to execute control of the actual robot 1 (robot system 100). It may be in the form.

また、制御装置4は、予め3次元CADにより作成された、実ロボット1の3次元モデルを示すデータを用いて、透過型表示装置6に仮想ロボット3を表示させてもよい。また、制御装置4は、実ロボット1を3次元スキャナ等によりスキャンした画像データを用いて、透過型表示装置6に仮想ロボット3を表示させてもよい。 Further, the control device 4 may display the virtual robot 3 on the transmissive display device 6 by using the data showing the three-dimensional model of the real robot 1 created in advance by the three-dimensional CAD. Further, the control device 4 may display the virtual robot 3 on the transmissive display device 6 by using the image data obtained by scanning the real robot 1 with a three-dimensional scanner or the like.

透過型表示装置6は、操作者が物理的な実世界を視認可能に構成され、制御装置4から出力された映像情報(例えば、仮想ロボット3)を表示するように構成されている。具体的には、透過型表示装置6は、図2に示すように、制御装置4から出力された映像情報を映すための表示部6aを有し、操作者が身に着けて使用するヘッドマウントディスプレイ又はメガネで構成されていてもよい。また、透過型表示装置6は、机、床等に据え置いて使用する、据え置き型の透過ディスプレイで構成されていてもよい。 The transmissive display device 6 is configured so that the operator can visually recognize the physical real world, and is configured to display video information (for example, a virtual robot 3) output from the control device 4. Specifically, as shown in FIG. 2, the transmissive display device 6 has a display unit 6a for displaying video information output from the control device 4, and is a head mount worn and used by an operator. It may consist of a display or glasses. Further, the transmissive display device 6 may be configured by a stationary transmissive display that is used by being stationary on a desk, floor, or the like.

なお、図2に示すように、透過型表示装置6には、操作者が視認している実世界の情報を取得するカメラ6bが設けられていてもよい。 As shown in FIG. 2, the transmissive display device 6 may be provided with a camera 6b for acquiring real-world information visually recognized by the operator.

[ロボットシステムの動作及び作用効果]
次に、本実施の形態1に係るロボットシステム100の動作及び作用効果について、図1~図8を参照しながら説明する。
[Operations and effects of robot systems]
Next, the operation and the effect of the robot system 100 according to the first embodiment will be described with reference to FIGS. 1 to 8.

なお、以下の動作は、制御装置4の演算部が、メモリ部又は記憶装置5に格納されているプログラムを読み出すことにより実行される。また、以下においては、図5~図8に示すように、本実施の形態1に係るロボットシステム100の動作の具体例として、実ロボット1が保持している筒状ワーク20を基台21に設けられている突起部21aに嵌挿させる動作について、説明する。 The following operations are executed by the arithmetic unit of the control device 4 reading a program stored in the memory unit or the storage device 5. Further, in the following, as shown in FIGS. 5 to 8, as a specific example of the operation of the robot system 100 according to the first embodiment, the tubular work 20 held by the actual robot 1 is used as the base 21. The operation of fitting and inserting the protrusion 21a into the provided protrusion 21a will be described.

図4は、本実施の形態1に係るロボットシステムの動作の一例を示すフローチャートである。図5~図8は、本実施の形態1に係るロボットシステムにおける透過型表示装置を介して、操作者が視認している視界を示す模式図である。なお、図5、8においては、仮想ロボット3及び仮想ワークを一点鎖線で示し、実ロボット1と仮想ロボット3とを見やすくするために、仮想ロボット3を実ロボット1とずれるように表示している。 FIG. 4 is a flowchart showing an example of the operation of the robot system according to the first embodiment. 5 to 8 are schematic views showing the field of view visually recognized by the operator via the transmissive display device in the robot system according to the first embodiment. In FIGS. 5 and 8, the virtual robot 3 and the virtual work are shown by a alternate long and short dash line, and the virtual robot 3 is displayed so as to be offset from the real robot 1 in order to make the real robot 1 and the virtual robot 3 easy to see. ..

図4に示すように、制御装置4は、操作器2から実ロボット1の操作を開始することを示す操作開始情報(操作開始信号)が入力されたか否かを判定する(ステップS101)。 As shown in FIG. 4, the control device 4 determines whether or not the operation start information (operation start signal) indicating that the operation of the actual robot 1 is started is input from the operation device 2 (step S101).

制御装置4は、操作器2から操作開始情報が入力されていないと判定した場合(ステップS101でNo)には、本プログラムを終了する。なお、制御装置4は、本プログラムを終了した場合には、例えば、50msec後に再び、本プログラムを実行する。一方、制御装置4は、操作器2から操作開始情報が入力されたと判定した場合(ステップS101でYes)には、ステップS102の処理を実行する。 When the control device 4 determines that the operation start information has not been input from the operation device 2 (No in step S101), the control device 4 terminates this program. When the control device 4 ends the program, the control device 4 executes the program again after, for example, 50 msec. On the other hand, when the control device 4 determines that the operation start information has been input from the operation device 2 (Yes in step S101), the control device 4 executes the process of step S102.

ステップS102において、制御装置4は、透過型表示装置6に仮想ロボット3を表示させる。このとき、制御装置4は、実ロボット1が保持しているワーク20に対応する仮想ワークを透過型表示装置6に表示させてもよい。また、制御装置4は、操作者が視認している実ロボット1に仮想ロボット3が重なるように、透過型表示装置6に仮想ロボット3を表示させてもよい。 In step S102, the control device 4 causes the transmissive display device 6 to display the virtual robot 3. At this time, the control device 4 may display the virtual work corresponding to the work 20 held by the real robot 1 on the transparent display device 6. Further, the control device 4 may display the virtual robot 3 on the transmissive display device 6 so that the virtual robot 3 overlaps with the real robot 1 visually recognized by the operator.

なお、制御装置4は、仮想ロボット3が実ロボット1に完全に重なるように、透過型表示装置6に仮想ロボット3を表示させてもよく、仮想ロボット3と実ロボット1がわずかにずれるように、透過型表示装置6に仮想ロボット3を表示させてもよく、仮想ロボット3が実ロボット1と全く重ならないように、透過型表示装置6に仮想ロボット3を表示させてもよい。 The control device 4 may display the virtual robot 3 on the transmissive display device 6 so that the virtual robot 3 completely overlaps the real robot 1, so that the virtual robot 3 and the real robot 1 are slightly displaced from each other. The virtual robot 3 may be displayed on the transparent display device 6, or the virtual robot 3 may be displayed on the transparent display device 6 so that the virtual robot 3 does not overlap with the real robot 1 at all.

次に、制御装置4は、操作器2から実ロボット1への指示情報が入力されたか否かを判定する(ステップS103)。ここで、指示情報としては、例えば、実ロボット1の先端部の位置座標、実ロボット1を構成する各軸の回転角度等が挙げられる。 Next, the control device 4 determines whether or not the instruction information to the actual robot 1 has been input from the controller 2 (step S103). Here, examples of the instruction information include the position coordinates of the tip of the actual robot 1, the rotation angle of each axis constituting the actual robot 1, and the like.

制御装置4は、操作器2から指示情報が入力されたと判定した場合(ステップS103でYes)には、ステップS103で入力された指示情報を基に、透過型表示装置6に表示されている仮想ロボット3を動作させる(ステップS104)。ついで、制御装置4は、実ロボット1を動作させるか否かを操作者に問い合わせるための問い合わせ情報を透過型表示装置6に表示させる(ステップS105)。問い合わせ情報としては、例えば、「実ロボット1を動作させますか?」等の文字情報が挙げられる。 When the control device 4 determines that the instruction information has been input from the operation device 2 (Yes in step S103), the virtual display device 6 is displayed on the transparent display device 6 based on the instruction information input in step S103. The robot 3 is operated (step S104). Next, the control device 4 causes the transparent display device 6 to display the inquiry information for inquiring the operator whether or not to operate the actual robot 1 (step S105). Examples of the inquiry information include textual information such as "Do you want to operate the actual robot 1?".

次に、制御装置4は、操作器2から実ロボット1の動作を実行することを示す動作実行情報、又は実ロボット1の動作を実行させないことを示す動作不実行情報が入力されたかを判定する(ステップS106)。 Next, the control device 4 determines whether the operation execution information indicating that the operation of the actual robot 1 is executed or the operation non-execution information indicating that the operation of the actual robot 1 is not executed is input from the operation device 2. (Step S106).

ここで、図6に示すように、ステップS103で入力された指示情報を基に、透過型表示装置6に表示されている仮想ロボット3を動作させた結果、筒状ワーク20が突起部21aと衝突したとする。このような場合、作業者は、ステップS103で入力された指示情報に従って、実ロボット1を実際に動作させると、筒状ワーク20が突起部21aと衝突することを容易に理解することができる。 Here, as shown in FIG. 6, as a result of operating the virtual robot 3 displayed on the transmissive display device 6 based on the instruction information input in step S103, the tubular work 20 becomes the protrusion 21a. Suppose there is a collision. In such a case, the operator can easily understand that the cylindrical work 20 collides with the protrusion 21a when the actual robot 1 is actually operated according to the instruction information input in step S103.

このため、操作者は、ステップS103で入力された指示情報を基に、実ロボット1が動作しないように、操作器2を操作する。これにより、制御装置4には、操作器2から動作不実行情報が入力され(ステップS106で動作不実行)、制御装置4は、ステップS103に戻り、操作器2から再度指示情報が入力される(ステップS103)と、仮想ロボット3を動作させる(ステップS104)といった、ステップS103~ステップS106の処理を繰り返す。 Therefore, the operator operates the actuator 2 based on the instruction information input in step S103 so that the actual robot 1 does not operate. As a result, the operation non-execution information is input to the control device 4 from the operation device 2 (operation non-execution in step S106), the control device 4 returns to step S103, and the instruction information is input again from the operation device 2. (Step S103) and the processes of steps S103 to S106, such as operating the virtual robot 3 (step S104), are repeated.

一方、図7に示すように、ステップS103で入力された指示情報を基に、透過型表示装置6に表示されている仮想ロボット3を動作させた結果、筒状ワーク20が突起部21aの上方(真上)に位置したとする。このような場合には、操作者は、ステップS103で入力された指示情報に従って、実ロボット1を実際に動作させても、問題が発生しないことを容易に理解することができる。 On the other hand, as shown in FIG. 7, as a result of operating the virtual robot 3 displayed on the transmissive display device 6 based on the instruction information input in step S103, the tubular work 20 is above the protrusion 21a. It is assumed that it is located (directly above). In such a case, the operator can easily understand that the problem does not occur even if the actual robot 1 is actually operated according to the instruction information input in step S103.

このため、操作者は、ステップS103で入力された指示情報を基に、実ロボット1が動作するように、操作器2を操作する。これにより、制御装置4には、操作器2から動作実行情報が入力され(ステップS106で動作実行)、制御装置4は、実ロボット1をステップS103で入力された指示情報を基に、実ロボット1を動作させる(ステップS107)。この結果、図8に示すように、実ロボット1は、筒状ワーク20が突起部21aの上方(真上)に位置するように、動作する。 Therefore, the operator operates the actuator 2 so that the actual robot 1 operates based on the instruction information input in step S103. As a result, the operation execution information is input to the control device 4 from the operation device 2 (operation execution in step S106), and the control device 4 is the actual robot 1 based on the instruction information input in step S103. 1 is operated (step S107). As a result, as shown in FIG. 8, the actual robot 1 operates so that the tubular work 20 is located above (directly above) the protrusion 21a.

次に、制御装置4は、操作器2から、実ロボット1の操作を続行することを示す操作続行情報が入力されたか、又は実ロボット1の操作を終了することを示す操作終了情報が入力されたかを判定する(ステップS108)。 Next, in the control device 4, the operation continuation information indicating that the operation of the actual robot 1 is continued is input from the operation device 2, or the operation end information indicating that the operation of the actual robot 1 is terminated is input to the control device 4. It is determined whether or not (step S108).

制御装置4は、操作器2から、操作続行情報が入力されたと判定した場合(ステップS108で操作続行情報入力)には、操作終了情報が入力されたと判定するまで、ステップS103~ステップS108の各処理を実行する。一方、制御装置4は、操作器2から、操作終了情報が入力されたと判定した場合(ステップS108で操作終了情報入力)には、本プログラムを終了する。 When the control device 4 determines that the operation continuation information has been input from the operation device 2 (operation continuation information input in step S108), each of steps S103 to S108 until it is determined that the operation end information has been input. Execute the process. On the other hand, when the control device 4 determines that the operation end information has been input from the operation device 2 (the operation end information input in step S108), the control device 4 terminates this program.

このように構成された、本実施の形態1に係るロボットシステム100では、制御装置4が、操作器2から指示情報が入力されると、実ロボット1を動作させる前に、透過型表示装置6に表示されている仮想ロボット3を動作させる。これにより、操作者は、入力した指示情報を基に実ロボット1が動作した場合に、実ロボット1の動作後の状態を容易に理解することができ、実ロボット1が、作業空間内に配置されている機器等と接触等するか否かを容易に理解することができる。 In the robot system 100 according to the first embodiment configured in this way, when the instruction information is input from the controller 2, the control device 4 is a transmissive display device 6 before operating the actual robot 1. Operate the virtual robot 3 displayed in. As a result, the operator can easily understand the state after the operation of the actual robot 1 when the actual robot 1 operates based on the input instruction information, and the actual robot 1 is arranged in the work space. It is possible to easily understand whether or not the device is in contact with the device or the like.

このため、操作者は、作業空間内に配置されている機器等と接触等しないように、実ロボット1を少しずつ動作させる(操作する)必要がなくなり、操作者の作業負担を軽減することができ、作業効率を向上させることができる。 Therefore, the operator does not need to operate (operate) the actual robot 1 little by little so as not to come into contact with the equipment or the like arranged in the work space, and the work load of the operator can be reduced. It can improve work efficiency.

なお、本実施の形態1においては、制御装置4は、操作者が視認している実ロボット1に対して、透過型表示装置6に仮想ロボット3を重ねて表示させる形態を採用したが、これに限定されない。 In the first embodiment, the control device 4 adopts a mode in which the virtual robot 3 is superimposed on the transmissive display device 6 on the real robot 1 visually recognized by the operator. Not limited to.

(実施の形態2)
本実施の形態2に係るロボットシステムは、実施の形態1に係るロボットシステムにおいて、操作器は、操作者の手の動きを計測する計測器で構成されていて、制御装置は、計測器により計測された操作者の手の動きに対応するように、仮想ハンドを透過型表示装置に表示させるように構成されている。
(Embodiment 2)
In the robot system according to the first embodiment, the robot system according to the second embodiment is composed of a measuring instrument for measuring the movement of the operator's hand, and the control device is measured by the measuring instrument. The virtual hand is configured to be displayed on the transparent display device so as to correspond to the movement of the operator's hand.

以下、本実施の形態2に係るロボットシステムの一例について、図9及び図10を参照しながら説明する。 Hereinafter, an example of the robot system according to the second embodiment will be described with reference to FIGS. 9 and 10.

[ロボットシステムの構成]
図9は、本実施の形態2に係るロボットシステムの概略構成を示すブロック図である。図10は、本実施の形態2に係るロボットシステムにおける透過型表示装置を介して、操作者が視認している視界を示す模式図である。
[Robot system configuration]
FIG. 9 is a block diagram showing a schematic configuration of the robot system according to the second embodiment. FIG. 10 is a schematic view showing the field of view visually recognized by the operator via the transmissive display device in the robot system according to the second embodiment.

図9に示すように、本実施の形態2に係るロボットシステム100は、実施の形態1に係るロボットシステム100と基本的構成は同じであるが、操作器2が、操作者の手の動きを計測する計測器で構成されている点が異なる。操作者の手の動きを計測する計測器としては、各種のセンサ(例えば、加速度センサ、ジャイロセンサ)が設けられているグローブ(データグローブ)であってもよく、操作者に赤外線センサ等のセンサを取り付けて、当該センサが操作者の手の動きを計測する、Leap Mortion等の機器であってもよい。 As shown in FIG. 9, the robot system 100 according to the second embodiment has the same basic configuration as the robot system 100 according to the first embodiment, but the operator 2 moves the operator's hand. The difference is that it is composed of measuring instruments to be measured. The measuring instrument for measuring the movement of the operator's hand may be a glove (data glove) provided with various sensors (for example, an acceleration sensor, a gyro sensor), and a sensor such as an infrared sensor may be used by the operator. The sensor may be a device such as a Leap Movement that measures the movement of the operator's hand.

また、図10に示すように、本実施の形態2に係るロボットシステム100では、制御装置4が、計測器により計測された操作者の手の動きに対応するように、仮想ハンド7を透過型表示装置6に表示させるように構成されている。これにより、操作者は、仮想ハンド7により、仮想ロボット3を保持して、動かす(ダイレクトティーチする)ことができる。 Further, as shown in FIG. 10, in the robot system 100 according to the second embodiment, the control device 4 transmits the virtual hand 7 so as to correspond to the movement of the operator's hand measured by the measuring instrument. It is configured to be displayed on the display device 6. As a result, the operator can hold and move (directly teach) the virtual robot 3 by the virtual hand 7.

このように構成された、本実施の形態2に係るロボットシステム100であっても、実施の形態1に係るロボットシステム100と同様の作用効果を奏する。 Even the robot system 100 according to the second embodiment, which is configured in this way, has the same operation and effect as the robot system 100 according to the first embodiment.

上記説明から、当業者にとっては、本発明の多くの改良又は他の実施形態が明らかである。従って、上記説明は、例示としてのみ解釈されるべきであり、本発明を実行する最良の態様を当業者に教示する目的で提供されたものである。本発明の精神を逸脱することなく、その構造及び/又は機能の詳細を実質的に変更できる。 From the above description, many improvements or other embodiments of the present invention will be apparent to those skilled in the art. Therefore, the above description should be construed as an example only and is provided for the purpose of teaching those skilled in the art the best aspects of carrying out the present invention. The details of its structure and / or function can be substantially changed without departing from the spirit of the present invention.

本発明のロボットシステム及びその運転方法によれば、操作者の負担を軽減して、作業効率を向上させることができるため、ロボットの分野において有用である。 According to the robot system of the present invention and its operation method, the burden on the operator can be reduced and the work efficiency can be improved, which is useful in the field of robots.

1 実ロボット
2 操作器
3 仮想ロボット
4 制御装置
5 記憶装置
6 透過型表示装置
6a 表示部
6b カメラ
7 仮想ハンド
11a 第1リンク
11b 第2リンク
11c 第3リンク
11d 第4リンク
11e 第5リンク
11f 第6リンク
15 基台
20 筒状ワーク
21 基台
21a 突起部
51 タスクプログラム
52 動作シーケンス情報
100 ロボットシステム
JT1 第1関節
JT2 第2関節
JT3 第3関節
JT4 第4関節
JT5 第5関節
JT6 第6関節
1 Real robot 2 Operator 3 Virtual robot 4 Control device 5 Storage device 6 Transmissive display device 6a Display unit 6b Camera 7 Virtual hand 11a 1st link 11b 2nd link 11c 3rd link 11d 4th link 11e 5th link 11f 6 links 15 base 20 tubular work 21 base 21a protrusion 51 task program 52 operation sequence information 100 robot system JT1 1st joint JT2 2nd joint JT3 3rd joint JT4 4th joint JT5 5th joint JT6 6th joint

Claims (8)

操作者からの操作指示を受け付け、前記操作者の手の動きを計測する計測器で構成されている操作器と、
作業空間内に設置され、複数の工程からなる一連の作業を行う実ロボットと、
前記操作者が実世界を視認可能に構成され、仮想ロボットを表示するように構成されている透過型表示装置と、
制御装置と、を備え、
前記制御装置は、前記操作器から入力された指示情報を基に、前記透過型表示装置に表示されている前記仮想ロボットを動作させ、前記計測器により計測された前記操作者の手の動きに対応するように、仮想ハンドを前記透過型表示装置に表示させ、その後、前記操作器から前記実ロボットの動作を実行させる動作実行情報が入力されると、前記透過型表示装置に前記仮想ロボットを表示させた状態を維持しながら、前記実ロボットを動作させるように構成されている、ロボットシステム。
An operator consisting of a measuring instrument that receives operation instructions from the operator and measures the movement of the operator's hand, and
A real robot installed in a work space that performs a series of work consisting of multiple processes,
A transmissive display device configured to allow the operator to see the real world and display a virtual robot,
Equipped with a control device,
The control device operates the virtual robot displayed on the transmissive display device based on the instruction information input from the operation device , and moves the operator's hand measured by the measuring device. Correspondingly, when the virtual hand is displayed on the transmissive display device and then the operation execution information for executing the operation of the real robot is input from the operator, the virtual robot is displayed on the transmissive display device. A robot system configured to operate the actual robot while maintaining the displayed state.
前記制御装置は、前記透過型表示装置に前記仮想ロボットを前記実ロボットと重なるように表示させていて、前記操作器から前記指示情報が入力されると、当該指示情報を基に、前記仮想ロボットを動作させるように構成されている、請求項1に記載のロボットシステム。 The control device displays the virtual robot on the transmissive display device so as to overlap with the actual robot, and when the instruction information is input from the operation device, the virtual robot is based on the instruction information. The robot system according to claim 1, which is configured to operate the robot system. 前記操作器は、携帯端末、マスターアーム、ティーチングペンダント、ジョイスティック、及び音声入力器のうち、少なくともいずれか1つの機器で構成されている、請求項1又は2に記載のロボットシステム。 The robot system according to claim 1 or 2, wherein the operating device is composed of at least one of a mobile terminal, a master arm, a teaching pendant, a joystick, and a voice input device. 前記透過型表示装置は、前記操作者に装着可能に構成されている、請求項1~3のいずれか1項に記載のロボットシステム。 The robot system according to any one of claims 1 to 3 , wherein the transmissive display device is configured to be wearable to the operator. ロボットシステムの運転方法であって、
前記ロボットシステムは、
操作者からの操作指示を受け付け、前記操作者の手の動きを計測する計測器で構成されている操作器と、
作業空間内に設置され、複数の工程からなる一連の作業を行う実ロボットと、
前記操作者が実世界を視認可能に構成され、仮想ロボットを表示するように構成されている透過型表示装置と、を備え、
前記透過型表示装置が、前記操作器から入力された指示情報を基に、前記仮想ロボットの動作を表示し、前記計測器で計測された前記操作者の手の動きに対応するように、仮想ハンドを表示する(A)と、
前記(A)の後に、前記操作器から前記実ロボットの動作を実行させる動作実行情報が入力されると、前記透過型表示装置が、前記仮想ロボットを表示した状態で、前記実ロボットが、前記操作器から入力された指示情報を基に動作する(B)と、を備える、ロボットシステムの運転方法。
How to operate a robot system
The robot system is
An operator consisting of a measuring instrument that receives operation instructions from the operator and measures the movement of the operator's hand, and
A real robot installed in a work space that performs a series of work consisting of multiple processes,
A transmissive display device configured to allow the operator to see the real world and to display a virtual robot.
The transmissive display device displays the operation of the virtual robot based on the instruction information input from the operation device , and is virtual so as to correspond to the movement of the operator's hand measured by the measuring instrument. When the hand is displayed (A),
After the (A), when the operation execution information for executing the operation of the real robot is input from the operation device, the real robot displays the virtual robot while the transmissive display device displays the virtual robot. A method of operating a robot system, comprising (B), which operates based on instruction information input from an actuator.
前記(A)において、前記透過型表示装置は、前記仮想ロボットを前記実ロボットと重なるように表示していて、前記操作器から前記指示情報が入力されると、当該指示情報を基に、前記仮想ロボットの動作を表示する、請求項5に記載のロボットシステムの運転方法。 In the (A), the transmissive display device displays the virtual robot so as to overlap with the real robot, and when the instruction information is input from the operation device, the instruction information is used as the basis for the instruction information. The operation method of the robot system according to claim 5 , which displays the operation of the virtual robot. 前記操作器は、携帯端末、マスターアーム、ティーチングペンダント、ジョイスティック、及び音声入力器のうち、少なくともいずれか1つの機器で構成されている、請求項5又は6に記載のロボットシステムの運転方法。 The method for operating a robot system according to claim 5 or 6 , wherein the operating device is composed of at least one of a mobile terminal, a master arm, a teaching pendant, a joystick, and a voice input device. 前記透過型表示装置は、前記操作者に装着可能に構成されている、請求項5~7のいずれか1項に記載のロボットシステムの運転方法。 The method of operating a robot system according to any one of claims 5 to 7 , wherein the transmissive display device is configured to be wearable to the operator.
JP2017149757A 2017-08-02 2017-08-02 Robot system and its operation method Active JP7071070B2 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017149757A JP7071070B2 (en) 2017-08-02 2017-08-02 Robot system and its operation method
CN201880050331.2A CN111093911B (en) 2017-08-02 2018-07-27 Robot system and method for operating the same
US16/636,139 US11865697B2 (en) 2017-08-02 2018-07-27 Robot system and method for operating same
PCT/JP2018/028251 WO2019026790A1 (en) 2017-08-02 2018-07-27 Robot system and method for operating same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017149757A JP7071070B2 (en) 2017-08-02 2017-08-02 Robot system and its operation method

Publications (2)

Publication Number Publication Date
JP2019025620A JP2019025620A (en) 2019-02-21
JP7071070B2 true JP7071070B2 (en) 2022-05-18

Family

ID=65233963

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017149757A Active JP7071070B2 (en) 2017-08-02 2017-08-02 Robot system and its operation method

Country Status (4)

Country Link
US (1) US11865697B2 (en)
JP (1) JP7071070B2 (en)
CN (1) CN111093911B (en)
WO (1) WO2019026790A1 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7066357B2 (en) * 2017-08-31 2022-05-13 川崎重工業株式会社 Robot system and its operation method
JP7187985B2 (en) * 2018-10-30 2022-12-13 セイコーエプソン株式会社 Controller and robot system
JP7396872B2 (en) 2019-11-22 2023-12-12 ファナック株式会社 Simulation device and robot system using augmented reality
DE102020201375B3 (en) * 2020-02-05 2021-06-24 Magna Steyr Fahrzeugtechnik Ag & Co Kg Method for checking a safety area of a robot

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002361581A (en) 2001-06-08 2002-12-18 Ricoh Co Ltd Method and device for automating works and memory medium to store the method
JP2009119579A (en) 2007-11-16 2009-06-04 Canon Inc Information processor, and information processing method
JP2011118924A (en) 2011-02-17 2011-06-16 Kyokko Denki Kk Articulated structure, and wearing tool, system and human machine interface using the same
JP2012218120A (en) 2011-04-12 2012-11-12 Seiko Epson Corp Manipulator operation previous notice device, robot system and method for previously noticing manipulator operation
US20130073092A1 (en) 2011-09-15 2013-03-21 Persimmon Technologies Corporation System and method for operation of a robot
JP2016107379A (en) 2014-12-08 2016-06-20 ファナック株式会社 Robot system including augmented reality corresponding display
JP2016197393A (en) 2015-04-03 2016-11-24 キヤノン株式会社 Information processor, information processing method and program

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8095239B2 (en) * 2008-09-29 2012-01-10 North End Technologies, Inc Method and apparatus for controlling the motion of a robotic device
US9643314B2 (en) * 2015-03-04 2017-05-09 The Johns Hopkins University Robot control, training and collaboration in an immersive virtual reality environment
US9916506B1 (en) * 2015-07-25 2018-03-13 X Development Llc Invisible fiducial markers on a robot to visualize the robot in augmented reality

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002361581A (en) 2001-06-08 2002-12-18 Ricoh Co Ltd Method and device for automating works and memory medium to store the method
JP2009119579A (en) 2007-11-16 2009-06-04 Canon Inc Information processor, and information processing method
JP2011118924A (en) 2011-02-17 2011-06-16 Kyokko Denki Kk Articulated structure, and wearing tool, system and human machine interface using the same
JP2012218120A (en) 2011-04-12 2012-11-12 Seiko Epson Corp Manipulator operation previous notice device, robot system and method for previously noticing manipulator operation
US20130073092A1 (en) 2011-09-15 2013-03-21 Persimmon Technologies Corporation System and method for operation of a robot
JP2016107379A (en) 2014-12-08 2016-06-20 ファナック株式会社 Robot system including augmented reality corresponding display
JP2016197393A (en) 2015-04-03 2016-11-24 キヤノン株式会社 Information processor, information processing method and program

Also Published As

Publication number Publication date
US11865697B2 (en) 2024-01-09
JP2019025620A (en) 2019-02-21
CN111093911A (en) 2020-05-01
CN111093911B (en) 2024-02-09
US20200156258A1 (en) 2020-05-21
WO2019026790A1 (en) 2019-02-07

Similar Documents

Publication Publication Date Title
JP7066357B2 (en) Robot system and its operation method
JP7071070B2 (en) Robot system and its operation method
EP3342561B1 (en) Remote control robot system
EP3239793B1 (en) Method for generating robot operation program, and device for generating robot operation program
US20150273689A1 (en) Robot control device, robot, robotic system, teaching method, and program
CN110505947B (en) Robot system and method for operating the same
JP7339806B2 (en) Control system, robot system and control method
US10315305B2 (en) Robot control apparatus which displays operation program including state of additional axis
WO2009096408A1 (en) Articulated structure teaching device
CN114905487B (en) Teaching device, teaching method, and recording medium
JP7049069B2 (en) Robot system and control method of robot system
CN114683288B (en) Robot display and control method and device and electronic equipment
KR101474778B1 (en) Control device using motion recognition in artculated robot and method thereof
JP7462046B2 (en) Robot System
CN114905486B (en) Teaching device, teaching method, and recording medium
JP7395990B2 (en) Teaching device, control method and teaching program
JP7185749B2 (en) ROBOT SYSTEM AND ROBOT SYSTEM CONTROL METHOD
KR102004228B1 (en) The universal high speed/precision controller for six axis manipulator
JP2023017440A (en) Image processing device
JP2024004614A (en) Time chart display device
CN116901052A (en) System, method and computer program for supporting creation of action program of robot

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200727

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210420

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210531

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20211221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220202

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220202

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220214

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220412

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220506

R150 Certificate of patent or registration of utility model

Ref document number: 7071070

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150