JPH09234685A - Vision support device of manipulator operation - Google Patents
Vision support device of manipulator operationInfo
- Publication number
- JPH09234685A JPH09234685A JP6930896A JP6930896A JPH09234685A JP H09234685 A JPH09234685 A JP H09234685A JP 6930896 A JP6930896 A JP 6930896A JP 6930896 A JP6930896 A JP 6930896A JP H09234685 A JPH09234685 A JP H09234685A
- Authority
- JP
- Japan
- Prior art keywords
- tool
- surveillance camera
- manipulator
- camera
- monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Manipulator (AREA)
- Electric Cable Installation (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、配電作業、原子力
発電所等などで使用される操縦型マニプレータを監視カ
メラを用いて遠隔操縦を行うシステムにおいて、マニプ
レータに取り付けた作業工具と作業対象物との位置決め
を正確に行うための視覚支援装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a system for remotely controlling a manipulator for use in power distribution work, a nuclear power plant, etc. by using a surveillance camera, and a work tool and a work object attached to the manipulator. The present invention relates to a visual support device for accurately positioning a robot.
【０００２】[0002]
【従来の技術】配電作業や原子力発電所等などでは、高
所で行われるものや放射線物質等が存在する環境下で作
業を行わなければならないものが数多く存在している。
そこで上述したような悪環境で作業を行う際には、作業
員の安全を確保するため、遠隔操縦を行うマニプレータ
が用いられている。2. Description of the Related Art There are many electric power distribution works, nuclear power plants, etc. that must be carried out at a high place or in an environment in which radioactive materials exist.
Therefore, when working in the above-mentioned bad environment, a manipulator for remote control is used to ensure the safety of workers.
【０００３】図１１は、マニプレータを用いてナットの
締め付けを行う場合の要部構成を示したものである。同
図に示すように、マニプレータ１の先端には、工具とな
るナット２の締め付け用のレンチ工具３が備え付けてあ
る。またマニプレータ１の周囲には、マニプレータ１先
端のレンチ工具３とナット２とが監視できるよう、第１
監視カメラ４、第２監視カメラ５が配置されている。こ
こで２つの監視カメラの配置場所については、レンチ工
具３がナット２へ装着するまでの間、同時に障害物等で
レンチ工具３とナット２とが捕らえられないことがない
よう設定するのである。そして第１監視カメラ４と第２
監視カメラ５の画像は、マニプレータ１等の設置してあ
る悪環境の場所とは隔離され、作業者７の安全が確保さ
れた操縦室８のスクリーン６へと表示されるようなって
いる。FIG. 11 shows the construction of the essential parts when a nut is tightened using a manipulator. As shown in the drawing, a wrench tool 3 for tightening a nut 2 as a tool is provided at the tip of the manipulator 1. Around the manipulator 1, a wrench tool 3 and a nut 2 at the tip of the manipulator 1 can be monitored so that the first
A surveillance camera 4 and a second surveillance camera 5 are arranged. The locations of the two surveillance cameras are set so that the wrench tool 3 and the nut 2 cannot be caught by an obstacle or the like at the same time until the wrench tool 3 is attached to the nut 2. The first surveillance camera 4 and the second
The image of the surveillance camera 5 is displayed on the screen 6 of the cockpit 8 where the safety of the worker 7 is ensured, being isolated from the bad environment place where the manipulator 1 and the like are installed.
【０００４】操縦室８には、マニプレータ１を動作させ
るためのジョイスティックタイプの操縦装置９が備え付
けてあり、作業者７はスクリーン６の画像を見ながら操
縦装置９を動かしマニプレータ１を操り、レンチ工具３
を用いてナット２の締め付けを行うのである。The cockpit 8 is equipped with a joystick type control device 9 for operating the manipulator 1, and an operator 7 operates the manipulator 1 while looking at the image on the screen 6 to operate the manipulator 1 and a wrench tool. Three
Is used to tighten the nut 2.
【０００５】このように構成された装置では操縦を行う
座標系を適当に決めていたのでは、マニプレータ１を動
かす前に、作業者はスクリーン６の画像情報より操縦装
置９の操縦方向を考え直さなければならず、作業効率の
向上は望めなかった。この作業効率向上のため操縦装置
９の操縦を行う座標系には、マニプレータ１の先端をス
クリーン６に映った左右、前後、奥行き方向に一致して
操縦が可能なカメラ座標系によるものがある。またマニ
プレータ１先端に座標原点を設定し、当該座標原点を基
準に設定した座標系と操縦方向を一致させた作業座標系
などが考案されているのである。In the device thus constructed, the coordinate system for steering is appropriately determined. Therefore, before moving the manipulator 1, the operator must reconsider the steering direction of the steering device 9 from the image information on the screen 6. It was not possible to improve work efficiency. In order to improve the work efficiency, a coordinate system for operating the control device 9 includes a camera coordinate system in which the tip of the manipulator 1 is displayed on the screen 6 in the left-right direction, the front-back direction, and the depth direction. Further, a working coordinate system in which a coordinate origin is set at the tip of the manipulator 1 and a coordinate system set with the coordinate origin as a reference and a steering direction are made to coincide is devised.
【０００６】カメラ座標系を用いたものでは、マニプレ
ータ１の先端をスクリーン６に映った左右、前後、奥行
き方向に一致させ動作させるため、作業者７はスクリー
ン６の画像から直感的に操縦方向を決定することができ
るのである。また作業座標系を用いたものでは、マニプ
レータ１先端の座標系と操縦装置の操縦方向とが一致し
ていることから、マニプレータ１の先端の任意の方向へ
と移動させる場合などでは、効率的な動作が行えるので
ある。In the camera coordinate system, the tip of the manipulator 1 is made to match the left, right, front and back, and the depth direction reflected on the screen 6, so that the operator 7 intuitively determines the steering direction from the image on the screen 6. You can decide. Further, in the case of using the working coordinate system, the coordinate system of the tip of the manipulator 1 and the steering direction of the control device coincide with each other, so that it is efficient in moving the tip of the manipulator 1 in any direction. It can be operated.
【０００７】[0007]
【発明が解決しようとする課題】一般に、３次元座標空
間において、工具を作業対象物に位置決めするために
は、図１２の位置および姿勢合わせ説明図に示されるよ
うに、３次元空間での位置決め要素である６変数（Ｘ、
Ｙ、Ｚ、θx、θy、θz）が監視できるとともに、それ
ぞれの方向に操縦ができることが必要である。Generally, in order to position a tool on a work object in a three-dimensional coordinate space, as shown in the position and orientation alignment explanatory diagram of FIG. 12, positioning in a three-dimensional space is performed. 6 variables (X,
It is necessary to be able to monitor Y, Z, θ x , θ y , and θ z ) and steer in each direction.
【０００８】しかしながら監視カメラからの映像を見な
がら,ジョイスティックを用いて操縦を行う場合では、
複数台の監視カメラをどこに設置するかによって視野範
囲や作業感覚に違いが出てしまい、その結果作業能率が
大きく異なるのである。However, in the case of operating with a joystick while watching the image from the surveillance camera,
Depending on where multiple surveillance cameras are installed, there are differences in the field of view and work feeling, and as a result, work efficiency greatly differs.
【０００９】たとえば、図１１に示すように、レンチ工
具３でナット２を締め付ける場合、第１監視カメラ４と
第２監視カメラ５との映像をスクリーン６で見ながら、
マニプレータ１を操縦するのであるが、スクリーン６の
映像は２次元画像であるため、奥行き方向の情報を把握
することが難しかった。そのためレンチ工具３のレンチ
穴軸芯が正確にナット２の軸芯に一致しているのかどう
かが解りにくく作業の効率を低減させる要因になってい
た。For example, as shown in FIG. 11, when tightening the nut 2 with the wrench tool 3, while watching the images of the first surveillance camera 4 and the second surveillance camera 5 on the screen 6,
Although the manipulator 1 is operated, the image on the screen 6 is a two-dimensional image, so it was difficult to grasp the information in the depth direction. Therefore, it is difficult to know whether or not the axis of the wrench hole of the wrench tool 3 exactly matches the axis of the nut 2, which is a factor of reducing the work efficiency.
【００１０】また操縦を行う場合においてもスクリーン
６上のマニプレータ１の方向と、操縦装置９の操縦方向
とが必ずしも一致しないことから、作業者７が直感的に
操縦することができず、操縦性が著しく劣るという問題
があった。Further, even when maneuvering, since the direction of the manipulator 1 on the screen 6 and the maneuvering direction of the manipulator 9 do not always match, the operator 7 cannot intuitively maneuver, and maneuverability is reduced. However, there was a problem in that
【００１１】すなわちマニプレータ１の先端をスクリー
ン６に映った左右、前後、奥行き方向に一致して操縦が
可能なカメラ座標系による操縦方法では、相当する作業
に適した作業座標系とカメラ座標系とが一致しないこと
から、作業がしにくいという問題点があった。That is, in the maneuvering method by the camera coordinate system in which the tip of the manipulator 1 can be steered in the left, right, front and back, and the depth direction in which the screen 6 is reflected, a working coordinate system and a camera coordinate system suitable for the corresponding work are provided. There is a problem that it is difficult to work because the two do not match.
【００１２】またマニプレータ１の先端の座標系と一致
させた作業座標系で操縦を行おうとすると、スクリーン
６上で観察するには、解りにくい動作軌跡となるので作
業がしにくいという問題があった。Further, if the manipulator 1 is to be operated in a working coordinate system which is the same as the coordinate system of the tip of the manipulator 1, there is a problem that the operation locus becomes difficult to see on the screen 6 and the work is difficult. .
【００１３】さらに、監視カメラの映像は平面画像であ
ることから、複数台の監視カメラの映像を同時に観測し
ながらマニプレータ１を操縦しなければならず、その操
縦性は効率的ではなかった。Further, since the image of the surveillance camera is a plane image, the manipulator 1 must be operated while simultaneously observing the images of a plurality of surveillance cameras, and the maneuverability is not efficient.
【００１４】このように、従来の装置では、一般に作業
ポイントを複数方向から監視カメラを用いて観測しなが
ら行っているが、監視カメラの画像は平面画像であり、
奥行きが解りにくいので、従来よりも工具の位置と姿勢
合わせをより正確に、また効率よく実施できる方法が求
められているのである。As described above, in the conventional apparatus, the work point is generally observed while observing the work point from a plurality of directions by using the surveillance camera. However, the image of the surveillance camera is a plane image,
Since it is difficult to understand the depth, there is a demand for a method that enables more accurate and efficient alignment of the position and orientation of the tool than in the past.
【００１５】本発明は、上述の課題に着目してなされた
もので、工具の移動軸とカメラ光軸とを一致させ、作業
効率の向上を図る手段を備えたマニプレータ操縦の視覚
支援装置を提供することを目的とする。The present invention has been made in view of the above-mentioned problems, and provides a visual support device for manipulator control provided with means for aligning the moving axis of a tool with the optical axis of a camera to improve work efficiency. The purpose is to do.
【００１６】[0016]
【課題を解決するための手段】上記問題点を達成するた
めに、本発明に係るマニプレータの視覚支援装置は、工
具を取り付けたマニプレータで、作業対象物に作業を行
う際、前記工具と前記作業対象物とを監視カメラで監視
し、前記監視カメラの撮像を提供するマニプレータ操縦
の視覚支援装置であって、第１監視カメラの光軸を前記
作業対象物に最終接近する前記工具移動軸と同軸または
平行に設置するとともに、第２監視カメラを前記工具と
前記作業対象物との距離を監視可能な前記工具移動軸の
側方に配置するようにした。In order to achieve the above-mentioned problems, the visual support device for a manipulator according to the present invention is a manipulator having a tool attached thereto, when the work is performed on a work object, the tool and the work are used. A visual support device for manipulator control, which monitors an object and a monitoring camera and provides an image captured by the monitoring camera, wherein the optical axis of the first monitoring camera is coaxial with the tool movement axis that finally approaches the work object. Alternatively, they are installed in parallel, and the second monitoring camera is arranged on the side of the tool moving shaft capable of monitoring the distance between the tool and the work object.
【００１７】またレンチ工具を取り付けたマニプレータ
で、ナットの着脱作業を行う際、前記レンチ工具とナッ
トとを監視カメラで監視し、前記監視カメラの撮像を提
供するマニプレータ操縦の視覚支援装置であって、第１
監視カメラの光軸を前記ナットに最終接近する前記レン
チ工具移動軸と同軸に設置するとともに、第２監視カメ
ラを前記レンチ工具と前記ナットとの距離を監視可能な
前記レンチ工具移動軸の側方に配置するようにした。Further, in a manipulator-controlled visual support device for manipulating a manipulator to which a wrench tool is attached, the wrench tool and the nut are monitored by a surveillance camera when a nut is attached and detached, and an image of the surveillance camera is provided. , First
The optical axis of the monitoring camera is installed coaxially with the wrench tool moving shaft that finally approaches the nut, and a second monitoring camera is provided on the side of the wrench tool moving shaft capable of monitoring the distance between the wrench tool and the nut. I placed it in.
【００１８】また工具を取り付けたマニプレータで、作
業対象物に作業を行う際、前記工具と前記作業対象物と
を監視カメラで監視し、前記監視カメラの撮像を提供す
るマニプレータ操縦の視覚支援装置であって、第１監視
カメラの前方に配置した視野切替器を介して、前記第１
監視カメラの光軸を前記作業対象物に最終接近する前記
工具移動軸と同軸または平行に設置するとともに、第２
監視カメラを前記工具と前記作業対象物との距離を監視
可能な前記工具移動軸の側方に配置するようにした。Further, in a manipulator-manipulated visual support device for manipulating a work object with a manipulator equipped with a tool, the tool and the work object are monitored by a surveillance camera and an image of the surveillance camera is provided. Therefore, through the field-of-view switch disposed in front of the first surveillance camera, the first
The optical axis of the surveillance camera is installed coaxially or in parallel with the tool moving axis that finally approaches the work object, and
A monitoring camera is arranged on the side of the tool moving shaft capable of monitoring the distance between the tool and the work object.
【００１９】さらにグリッパ工具を取り付けたマニプレ
ータで、作業対象物に作業を行う際、前記グリッパ工具
と前記作業対象物とを監視カメラで監視し、前記監視カ
メラの撮像を提供するマニプレータ操縦の視覚支援装置
であって、第１監視カメラの前方に配置した視野切替器
を介して、前記第１監視カメラの光軸を前記作業対象物
に最終接近する前記グリッパ工具移動軸と同軸または平
行に設置するとともに、第２監視カメラを前記グリッパ
工具と前記作業対象物との距離を監視可能な前記グリッ
パ工具移動軸の側方に配置するようにした。Further, when a manipulator equipped with a gripper tool is used to perform work on a work object, the gripper tool and the work object are monitored by a surveillance camera, and visual support for manipulator operation is provided by which an image of the surveillance camera is provided. A device, wherein an optical axis of the first surveillance camera is installed coaxially or in parallel with the movement axis of the gripper tool that finally approaches the work object via a visual field switching device arranged in front of the first surveillance camera. At the same time, the second monitoring camera is arranged on the side of the gripper tool moving shaft capable of monitoring the distance between the gripper tool and the work object.
【００２０】ここで前記視野切替器は、前記第１監視カ
メラの光軸に対し斜面状に配置される鏡によって形成さ
れ、前記鏡を移動させることにより、前記第１監視カメ
ラの光軸方向を前記移動軸方向に反射させるように構成
した。Here, the field-of-view switch is formed by a mirror arranged obliquely with respect to the optical axis of the first surveillance camera, and by moving the mirror, the direction of the optical axis of the first surveillance camera is changed. It is configured to reflect in the moving axis direction.
【００２１】そして上述したマニプレータの視覚支援装
置において第１監視カメラの光軸を工具が作業対象物に
最終接近する移動軸と同軸または平行に設置するととも
に、前記第１監視カメラの座標系の前記光軸以外の残り
の２軸を前記工具の移動軸以外の座標軸と同軸または平
行に設置するように構成した。また前記第１監視カメラ
の座標系と前記工具の座標軸との相対位置は固定である
ように構成した。The optical axis of the first monitoring camera is installed coaxially or in parallel with the moving axis of the tool which finally approaches the work object in the above-mentioned manipulator visual support device, and the coordinate system of the first monitoring camera is set. The remaining two axes other than the optical axis are arranged coaxially or in parallel with coordinate axes other than the movement axis of the tool. Further, the relative position between the coordinate system of the first surveillance camera and the coordinate axis of the tool is fixed.
【００２２】[0022]
【作用】上記構成によれば、第１監視カメラの光軸を工
具が作業対象物に最終接近する工具移動軸と同軸または
平行になるように配置する。このように第１監視カメラ
の光軸を配置すれば、第１監視カメラにて、３次元座標
空間で工具の位置と姿勢合わせを決定する６変数（Ｘ、
Ｙ、Ｚ、θx、θy、θz）のうち５変数（Ｘ、Ｙ、θx、
θy、θz）の状況が把握できるので、第１監視カメラか
らの映像にて殆どの操縦を行うことができる。また第２
監視カメラを工具と作業対象物との距離を監視できる前
記工具移動軸の側方に配置すれば、工具と作業対象物と
の距離を表す１変数（Ｚ）の状況が把握できる。このた
め作業者は、まず第１監視カメラの映像から、１変数
（Ｚ）を除く工具の位置と姿勢合わせを行うのである。
その後は、第２監視カメラの映像から、残りの１変数
（Ｚ）である工具と作業対象物との距離を狭めていき、
作業対象物へ工具を装着した後に所定の作業を行うので
ある。このように第１監視カメラからの映像にて殆どの
操縦が行えるので、作業効率の向上を図ることができる
のである。According to the above construction, the optical axis of the first surveillance camera is arranged so as to be coaxial with or parallel to the tool movement axis which the tool finally approaches the work object. By arranging the optical axis of the first surveillance camera in this way, the six variables (X, X, which determine the position and orientation of the tool in the three-dimensional coordinate space in the first surveillance camera)
Y, Z, θ x , θ y , θ z ) of 5 variables (X, Y, θ x ,
Since the situation of (θ y , θ z ) can be grasped, most of the control can be performed with the image from the first surveillance camera. Also the second
By disposing the surveillance camera on the side of the tool movement axis capable of monitoring the distance between the tool and the work target, the situation of one variable (Z) representing the distance between the tool and the work target can be grasped. Therefore, the operator first adjusts the position and orientation of the tool excluding one variable (Z) from the image of the first surveillance camera.
After that, from the image of the second surveillance camera, the distance between the tool and the work object, which is the remaining one variable (Z), is narrowed,
The predetermined work is performed after the tool is attached to the work target. In this way, most of the operations can be performed with the image from the first surveillance camera, so that the work efficiency can be improved.
【００２３】また第１監視カメラの光軸をレンチ工具が
ナットに最終接近するレンチ工具移動軸と同軸になるよ
うに配置する。このように第１監視カメラの光軸を配置
すれば、第１監視カメラにて、３次元座標空間でレンチ
工具の位置と姿勢合わせを決定する６変数（Ｘ、Ｙ、
Ｚ、θx、θy、θz）のうち５変数（Ｘ、Ｙ、θx、
θy、θz）の状況が把握できるので、第１監視カメラか
らの映像にて殆どの操縦を行うことができる。また第２
監視カメラをレンチ工具とナットとの距離を監視可能な
前記レンチ工具移動軸の側方に配置すれば、レンチ工具
とナットとの距離を表す１変数（Ｚ）の状況が把握でき
る。このため作業者は、まず第１監視カメラの映像か
ら、１変数（Ｚ）を除くレンチ工具の位置と姿勢合わせ
を行うのである。その後は、第２監視カメラの映像か
ら、残りの１変数（Ｚ）であるレンチ工具とナットとの
距離を狭めていき、ナットへレンチ工具を装着した後に
所定の作業を行うのである。このように第１監視カメラ
からの映像にて殆どの操縦が行えるので、作業効率の向
上を図ることができるのである。Further, the optical axis of the first surveillance camera is arranged so that the wrench tool is coaxial with the wrench tool movement axis that finally approaches the nut. By arranging the optical axis of the first monitoring camera in this manner, the six variables (X, Y, and 6) that determine the position and orientation of the wrench tool in the three-dimensional coordinate space in the first monitoring camera.
Z, θ x , θ y , θ z ) of 5 variables (X, Y, θ x ,
Since the situation of (θ y , θ z ) can be grasped, most of the control can be performed with the image from the first surveillance camera. Also the second
By arranging the monitoring camera on the side of the wrench tool moving shaft capable of monitoring the distance between the wrench tool and the nut, the situation of one variable (Z) representing the distance between the wrench tool and the nut can be grasped. Therefore, the operator first adjusts the position and orientation of the wrench tool excluding the one variable (Z) from the image of the first surveillance camera. After that, from the image of the second surveillance camera, the distance between the wrench tool and the nut, which is the remaining one variable (Z), is reduced, and the predetermined work is performed after the wrench tool is attached to the nut. In this way, most of the operations can be performed with the image from the first surveillance camera, so that the work efficiency can be improved.
【００２４】また第１監視カメラの前方に視野切替器を
設置する。ここで第１監視カメラの光軸を視野切替器を
介して、工具が作業対象物に最終接近する工具移動軸と
同軸または平行になるように配置する。このように第１
監視カメラの光軸を配置すれば、第１監視カメラにて、
３次元座標空間で工具の位置と姿勢合わせを決定する６
変数（Ｘ、Ｙ、Ｚ、θx、θy、θz）のうち５変数
（Ｘ、Ｙ、θx、θy、θz）の状況が把握できるので、
第１監視カメラからの映像にて殆どの操縦を行うことが
できる。また第２監視カメラを工具と作業対象物との距
離を監視可能な前記工具移動軸の側方に配置すれば、工
具と作業対象物との距離を表す１変数（Ｚ）の状況が把
握できる。このため作業者は、まず第１監視カメラの映
像から、１変数（Ｚ）を除く工具の位置と姿勢合わせを
行うのである。その後は、第２監視カメラの映像から、
残りの１変数（Ｚ）である工具と作業対象物との距離を
狭めていき、作業対象物へ工具を装着した後に所定の作
業を行うのである。このように第１監視カメラからの映
像にて殆どの操縦が行えるので、作業効率の向上を図る
ことができるのである。A field-of-view switch is installed in front of the first surveillance camera. Here, the optical axis of the first surveillance camera is arranged via the field-of-view switch so that the tool is coaxial or parallel to the tool movement axis that finally approaches the work target. Thus the first
If you arrange the optical axis of the surveillance camera,
Determining tool position and orientation in 3D coordinate space 6
Of the variables (X, Y, Z, θ x , θ y , θ z ), the status of 5 variables (X, Y, θ x , θ y , θ z ) can be grasped,
Most of the control can be performed with the image from the first surveillance camera. Further, if the second monitoring camera is arranged on the side of the tool moving axis capable of monitoring the distance between the tool and the work object, the situation of one variable (Z) representing the distance between the tool and the work object can be grasped. . Therefore, the operator first adjusts the position and orientation of the tool excluding one variable (Z) from the image of the first surveillance camera. After that, from the video of the second surveillance camera,
The remaining one variable (Z), that is, the distance between the tool and the work target is narrowed, and the predetermined work is performed after the tool is mounted on the work target. In this way, most of the operations can be performed with the image from the first surveillance camera, so that the work efficiency can be improved.
【００２５】また第１監視カメラの前方に視野切替器を
設置する。ここで第１監視カメラの光軸を視野切替器を
介して、グリッパ工具が作業対象物に最終接近するグリ
ッパ工具移動軸と同軸または平行になるように配置す
る。このように第１監視カメラの光軸を配置すれば、第
１監視カメラにて、３次元座標空間でグリッパ工具の位
置と姿勢合わせを決定する６変数（Ｘ、Ｙ、Ｚ、θx、
θy、θz）のうち５変数（Ｘ、Ｙ、θx、θy、θz）の
状況が把握できるので、第１監視カメラからの映像にて
殆どの操縦を行うことができる。また第２監視カメラを
グリッパ工具と作業対象物との距離を監視可能な前記グ
リッパ工具移動軸の側方に配置すれば、グリッパ工具と
作業対象物との距離を表す１変数（Ｚ）の状況が把握で
きる。このため作業者は、まず第１監視カメラの映像か
ら、１変数（Ｚ）を除くグリッパ工具の位置と姿勢合わ
せを行うのである。その後は、第２監視カメラの映像か
ら、残りの１変数（Ｚ）であるグリッパ工具と作業対象
物との距離を狭めていき、作業対象物へグリッパ工具を
装着した後に所定の作業を行うのである。このように第
１監視カメラからの映像にて殆どの操縦が行えるので、
作業効率の向上を図ることができるのである。A field-of-view switch is installed in front of the first surveillance camera. Here, the optical axis of the first surveillance camera is arranged via the field-of-view switch so that the gripper tool is coaxial or parallel to the movement axis of the gripper tool that finally approaches the work object. By arranging the optical axis of the first surveillance camera in this way, the six variables (X, Y, Z, θ x , which determine the position and orientation of the gripper tool in the three-dimensional coordinate space in the first surveillance camera,
Since theta y, 5 variables (X of θ z), Y, θ x , θ y, the status of theta z) can be grasped, it is possible to perform most of the maneuvers in the image from the first surveillance camera. Further, if the second monitoring camera is arranged on the side of the gripper tool moving axis capable of monitoring the distance between the gripper tool and the work object, the situation of one variable (Z) representing the distance between the gripper tool and the work object. Can be grasped. Therefore, the operator first adjusts the position and orientation of the gripper tool excluding the one variable (Z) from the image of the first surveillance camera. After that, from the image of the second surveillance camera, the distance between the remaining one variable (Z), the gripper tool, and the work target is narrowed, and the predetermined work is performed after the gripper tool is mounted on the work target. is there. In this way, most of the control can be performed with the image from the first surveillance camera,
It is possible to improve work efficiency.
【００２６】ここで視野切替器は、第１監視カメラの光
軸方向に対し、斜面状に配置される鏡によって形成さ
れ、当該鏡を第１監視カメラの前方で移動可能としてい
る。このためグリッパ工具等のもつ複数の工具移動軸に
対応して、複数の鏡を切り替えれば、工具の様々な利用
方法が可能になる。Here, the field-of-view switch is formed by a mirror arranged in a slanting plane with respect to the optical axis direction of the first surveillance camera, and the mirror can be moved in front of the first surveillance camera. Therefore, if a plurality of mirrors are switched according to a plurality of tool moving axes of a gripper tool or the like, various methods of using the tool are possible.
【００２７】そして上述したマニプレータの視覚支援装
置において、第１監視カメラの座標系における光軸以外
の２軸を、工具の座標系における工具移動軸以外の２軸
と同軸または平行に配置すれば、第１監視カメラの映像
から工具の操縦方向が直感的に解るのである。このこと
より工具操縦性が向上し、作業効率を高めることができ
るのである。また第１監視カメラの座標系と工具の座標
軸との相対位置を固定すれば、第１監視カメラからの映
像は、常に工具に対して決められた位置からの映像とな
る。この第１監視カメラからの映像により、工具と作業
対象物との相対位置を把握しやすくなるので、作業性を
向上させることができるのである。In the manipulator visual support device described above, if the two axes other than the optical axis in the coordinate system of the first surveillance camera are arranged coaxially or in parallel with the two axes other than the tool movement axis in the tool coordinate system, The steering direction of the tool can be intuitively understood from the image of the first surveillance camera. As a result, tool maneuverability is improved and work efficiency can be improved. Further, if the relative position between the coordinate system of the first monitoring camera and the coordinate axis of the tool is fixed, the image from the first monitoring camera is always the image from the position determined for the tool. Since the relative position between the tool and the work object can be easily grasped by the image from the first monitoring camera, workability can be improved.
【００２８】[0028]
【発明の実施の形態】以下に、本発明に係るマニプレー
タ操縦の視覚支援装置の具体的実施例を図面を参照して
詳細に説明する。BEST MODE FOR CARRYING OUT THE INVENTION Specific embodiments of a visual support device for manipulator control according to the present invention will be described in detail below with reference to the drawings.
【００２９】図１は第１実施例を示し、本発明に係る視
覚支援装置をナットの着脱作業に適用した場合の構造説
明図である。ここで同図には、マニプレータ２０の先端
部だけが描写され、根元側は図示されていないが、マニ
プレータ２０の要部は、複数のアームとアーム同士の端
部を接続する関節部とから構成されている。そしてこの
関節部には、モータ等の駆動機器が組み込まれており、
この駆動機器を操作することにより、アームは隣合うア
ームの動きに左右されずに独自の動作ができるようにな
っている。このためマニプレータ２０先端の位置、姿勢
を表す作業座標系を設定し、当該作業座標系の値を基に
マニプレータ２０の根元側から順に関節部の動きを組み
合わせて行けば、個々のアームの累積移動量によって、
マニプレータ２０の先端の位置を目的の場所へ移動さ
せ、さらに任意の姿勢をとらせることができるのであ
る。FIG. 1 shows the first embodiment and is a structural explanatory view when the visual support device according to the present invention is applied to the nut attaching and detaching work. Here, only the tip end portion of the manipulator 20 is depicted and the root side is not shown in the figure, but the main portion of the manipulator 20 is composed of a plurality of arms and a joint portion that connects the end portions of the arms. Has been done. And a driving device such as a motor is incorporated in this joint portion,
By operating this drive device, the arm can perform its own motion without being influenced by the motion of the adjacent arm. Therefore, if a working coordinate system that represents the position and orientation of the tip of the manipulator 20 is set and the movements of the joints are sequentially combined from the base side of the manipulator 20 based on the values of the working coordinate system, the cumulative movement of each arm is performed. Depending on the quantity
It is possible to move the position of the tip of the manipulator 20 to a desired place and to take an arbitrary posture.
【００３０】マニプレータ２０の先端から先には、工具
となるレンチ工具２２が備え付けられており、その取り
付け方向は、締付部２３におけるレンチ穴軸芯２４が、
マニプレータ先端の軸芯方向と直交する向きとなってい
る。またマニプレータ２０の先端には、工具動力用モー
タ２６が内蔵されており、当該工具動力用モータ２６と
締付部２３とは、レンチ工具２２内部の減速機２８を介
して接続されている。例えばここで工具動力用モータ２
６を正回転させると、減速機２８を介して締付部２３は
ナットの締め付けを行い、また反対に工具動力用モータ
２６を逆回転させれば、締付部２３はナットを緩める動
作を行う。よって工具動力用モータ２６の回転方向を切
り替えることにより、締付部２３を、レンチ工具として
作業させることができるのである。A wrench tool 22, which serves as a tool, is installed from the tip of the manipulator 20 to the front, and the mounting direction of the wrench hole shaft core 24 in the tightening portion 23 is
The direction is orthogonal to the axial direction of the manipulator tip. Further, a tool power motor 26 is built in the tip of the manipulator 20, and the tool power motor 26 and the tightening portion 23 are connected via a speed reducer 28 inside the wrench tool 22. For example, here, the tool power motor 2
When 6 is rotated in the normal direction, the tightening portion 23 tightens the nut via the speed reducer 28, and conversely, when the tool power motor 26 is rotated in the reverse direction, the tightening portion 23 loosens the nut. . Therefore, the tightening portion 23 can be operated as a wrench tool by switching the rotation direction of the tool power motor 26.
【００３１】またレンチ工具２２の背面側には、マニプ
レータ２０の操縦監視用となる第１監視カメラ３０が備
え付けられている。そしてこの第１監視カメラ３０は、
光軸方向をレンチ穴軸芯２４に一致させるとともに、後
述するレンチ工具２２の作業座標系とも合わせるように
配置されているのである。On the back side of the wrench tool 22, a first surveillance camera 30 for controlling the manipulator 20 is provided. And this first surveillance camera 30
The optical axis direction is aligned with the wrench hole axis 24, and the optical axis direction is also aligned with the working coordinate system of the wrench tool 22 described later.
【００３２】図２は、工具および監視カメラの座標系の
関係を示す座標系関係図である。ここで工具３１を取り
付けたマニプレータ２０の位置、姿勢を表す作業座標系
を定義する。まず工具３１において、工具３１が作業対
象物との位置合わせのために軸芯を一致させ、最終的に
接近移動するための工具移動軸をアクセス軸３２（Ｚ軸
またはＸ軸、Ｙ軸）とする。そしてこのアクセス軸３２
を基準に工具３１の作業座標系３４を設定し、ジョイス
ティックタイプなどの操縦装置で操縦を行う場合には、
この作業座標系３４を基準として平行移動、回転移動な
どの動作を行うのである。さらに工具３１の近傍に配置
した第１監視カメラ３０におけるカメラ座標系のＺ軸を
第１監視カメラ３０の光軸方向とし、当該Ｚ軸を作業座
標系のアクセス軸３２に同軸または平行になるよう配置
する。ここでカメラ座標系の残りの２軸（Ｘ軸、Ｙ軸）
も作業座標系と同軸または平行になるよう設定すれば、
作業座標系とカメラ座標系が一致または平行になるの
で、効率的な動作をさせることが可能となる。すなわち
図１においては、レンチ穴軸芯２４に一致するよう、ア
クセス軸３６を定義し、作業座標系３７を設定する。そ
してレンチ工具２２の背面側に設置された第１監視カメ
ラ３０の光軸方向をＺ軸とし、アクセス軸３６に重ねる
とともに、カメラ座標系の残りの２軸（Ｘ軸、Ｙ軸）も
作業座標系３７に合わせるよう、第１監視カメラ３０を
設置するのである。この設置により第１監視カメラの映
像で、レンチ工具２２の姿勢を表す６変数（Ｘ、Ｙ、
Ｚ、θ x、θy、θz）のうち５変数（Ｘ、Ｙ、θx、
θy、θz）の位置、姿勢合わせのずれが把握できるの
で、第１監視カメラ３０の映像だけで殆どの作業が行え
るのである。FIG. 2 shows the coordinate system of the tool and the surveillance camera.
It is a coordinate system relationship diagram which shows a relationship. Take the tool 31 here
Work coordinate system that represents the position and orientation of the attached manipulator 20
Is defined. First, in the tool 31, the tool 31
Align the axes to align with the elephant, and finally
The tool movement axis for approaching movement is the access axis 32 (Z axis
Or X axis, Y axis). And this access axis 32
Set the working coordinate system 34 of the tool 31 based on
When operating with a control device such as tick type,
There is no parallel movement or rotation movement based on this work coordinate system 34.
What action do you take? Further placed near the tool 31
The Z axis of the camera coordinate system in the first surveillance camera 30
The optical axis direction of the first surveillance camera 30 is set, and the Z axis is the work seat.
Arranged to be coaxial or parallel to the access axis 32 of the standard system
I do. Here, the remaining two axes (X axis, Y axis) of the camera coordinate system
Is also set to be coaxial or parallel to the working coordinate system,
The working coordinate system and the camera coordinate system are the same or parallel
Thus, it becomes possible to operate efficiently. Ie
In FIG. 1, align the wrench hole shaft core 24 with the
The access axis 36 is defined and the work coordinate system 37 is set. So
The first monitoring camera installed on the back side of the wrench tool 22
The optical axis direction of the laser 30 is the Z axis, and the optical axis direction is overlapped with the access axis 36.
At the same time, the remaining two axes (X axis, Y axis) of the camera coordinate system
Set the first surveillance camera 30 so that it matches the working coordinate system 37.
Install it. The installation of the first surveillance camera
In the image, six variables (X, Y,
Z, θ x, θy, ΘzOf 5 variables (X, Y, θx,
θy, Θz) Position, attitude misalignment can be grasped
Then, most of the work can be done only with the image of the first surveillance camera 30.
Because
【００３３】上記のように設定されたマニプレータ２０
を、作業対象となるナット３８の近傍に移動させる。そ
してこのときナット３８とレンチ工具２２との距離を監
視可能なアクセス軸３６の側方には、第２監視カメラ４
０が設けられている。そして当該第２監視カメラ４０の
設置方向は、第２監視カメラ４０における光軸が、第１
監視カメラ３０の光軸に対し垂直となるような向きとな
っているのである。このように配置した第２監視カメラ
４０からの映像によって、レンチ工具２２とナット３８
との距離を認識することができるのである。本実施の形
態では、第１監視カメラ３０の光軸と第２監視カメラ４
０の光軸とが直交するように、第２監視カメラ４０を設
置し、レンチ工具２２とナットとの距離を判断しやすい
ようにしたが、レンチ工具２２とナットとの距離が判断
できれば、とくに第２監視カメラ４０の光軸が第１監視
カメラ３０の光軸に直交していなくてもよい。The manipulator 20 set as described above.
Is moved to the vicinity of the nut 38 that is the work target. At this time, the second monitoring camera 4 is provided on the side of the access shaft 36 capable of monitoring the distance between the nut 38 and the wrench tool 22.
0 is provided. The installation direction of the second surveillance camera 40 is such that the optical axis of the second surveillance camera 40 is the first
The orientation is perpendicular to the optical axis of the surveillance camera 30. According to the image from the second surveillance camera 40 arranged in this way, the wrench tool 22 and the nut 38
It is possible to recognize the distance from. In the present embodiment, the optical axis of the first surveillance camera 30 and the second surveillance camera 4
The second monitoring camera 40 is installed so that the optical axis of 0 is orthogonal to each other so that the distance between the wrench tool 22 and the nut can be easily determined. The optical axis of the second monitoring camera 40 may not be orthogonal to the optical axis of the first monitoring camera 30.
【００３４】また図示しないが、マニプレータ２０が作
業をおこなう場所とは隔離され、作業者の安全が確保で
きるところにはマニプレータ２０の操縦室が設けられて
いる。この操縦室には、第１監視カメラ３０と第２監視
カメラ４０の映像が映し出されるスクリーンとマニプレ
ータ２０を操縦するジョイスティックタイプの操縦装置
が備え付けられているのである。そして作業者は、この
スクリーンの映像を見ながら操縦装置を動かし、マニプ
レータ２０を動作させるのである。Although not shown, the manipulator 20 is separated from the place where the manipulator 20 works, and a cockpit of the manipulator 20 is provided in a place where the safety of the worker can be secured. This cockpit is equipped with a screen on which the images of the first surveillance camera 30 and the second surveillance camera 40 are displayed, and a joystick type control device for manipulating the manipulator 20. Then, the operator operates the manipulator 20 by moving the control device while watching the image on the screen.
【００３５】このように構成されたマニプレータ操縦の
視覚支援装置を用いて作業対象物であるナット３８を締
め付ける手順を説明すると、レンチ工具２２の締付部２
３をナット３８に装着させるためには、締付部２３の軸
芯とナット３８の軸芯とを合わせる作業、次いで両者の
六角面が一致するように山谷を合わせるアクセス軸３６
まわりの姿勢合わせ作業、そしてレンチ工具２２をアク
セス軸３６に沿って移動させナット３８に装着させる移
動作業が必要となる。The procedure for tightening the nut 38, which is the work object, using the manipulator-controlled visual support device thus constructed will be described. The tightening portion 2 of the wrench tool 22 will be described.
3 is attached to the nut 38, the work of aligning the shaft center of the tightening portion 23 and the shaft center of the nut 38, and then the access shaft 36 for aligning the peaks and valleys so that the hexagonal surfaces of both are aligned.
It is necessary to perform a work of adjusting the posture around the work, and a work of moving the wrench tool 22 along the access shaft 36 and mounting it on the nut 38.
【００３６】図３は第１監視カメラ３０のスクリーン映
像を示したものである。前述した作業を行うため、作業
者はスクリーン映像を見つつマニプレータ２０を操縦す
るが、締付部２３の軸芯とナット３８の軸芯とを合わせ
る作業と、六角面が一致するように山谷を合わせる姿勢
合わせ作業とは、第１監視カメラ３０のスクリーン映像
を見るだけで行うことが可能である。すなわち締付部２
３の軸芯とナット３８の軸芯とを合わせる作業では、Ｘ
軸、Ｙ軸移動を用い左右、上下の位置調整を行い、その
後は２自由度であるθx、θy移動を用い、軸芯を一致さ
せる。また六角面が一致するように山谷を合わせる作業
では、アクセス軸３６まわりの１自由度であるθzを用
いるのである。このようにして締付部２３の軸芯とナッ
ト３８の軸芯とが一致し、さらに両者の六角面を一致さ
せた後は、作業者は第２監視カメラ４０にて、締付部２
３とナット３８との距離を監視しつつ、締付部２３をナ
ット３８に装着させる。そして締付部２３の装着後は、
工具動力用モータ２６を回転させ、ナット３８の締め付
けを行うのである。FIG. 3 shows a screen image of the first surveillance camera 30. In order to perform the above-mentioned work, the operator operates the manipulator 20 while looking at the screen image, but the work of aligning the shaft center of the tightening portion 23 and the shaft center of the nut 38 and the mountains and valleys so that the hexagonal surfaces coincide with each other. The posture matching work can be performed only by looking at the screen image of the first surveillance camera 30. That is, the tightening portion 2
In the work of aligning the shaft core of 3 and the shaft core of the nut 38, X
The left and right and up and down positions are adjusted using the axes and Y-axis movements, and thereafter the axes are aligned by using the two degrees of freedom θ x and θ y movements. Further, in the work of aligning the peaks and valleys so that the hexagonal surfaces coincide with each other, θ z which is one degree of freedom around the access axis 36 is used. After the shaft center of the tightening portion 23 and the shaft center of the nut 38 are aligned as described above, and the hexagonal surfaces of the both are further aligned, the worker uses the second monitoring camera 40 to set the tightening portion 2
The tightening portion 23 is attached to the nut 38 while monitoring the distance between the nut 3 and the nut 38. And after mounting the tightening portion 23,
The tool power motor 26 is rotated to tighten the nut 38.
【００３７】このように工具３１のアクセス軸３２と第
１監視カメラ３０の光軸方向とを平行に配置するととも
に、カメラ座標の残りの２軸も作業座標系と平行になる
よう設定すれば、第１監視カメラ３０からの映像で殆ど
の作業が可能となるので、作業効率を向上させることが
できる。By arranging the access axis 32 of the tool 31 and the optical axis direction of the first surveillance camera 30 in parallel in this way, and setting the remaining two axes of camera coordinates to be parallel to the working coordinate system, Since most of the work can be performed with the image from the first surveillance camera 30, work efficiency can be improved.
【００３８】さらに操縦装置として、特願平０２−２４
９７９２号や特願平０３−３３４３１４号にて示される
ような、作業座標系３４での指令を直交座標系で生成で
きる操縦装置を用いる。この操縦装置の操縦説明図を図
４に示す。同図に示すように前記操縦装置の腕の左右、
上下、前後、さらにそれぞれの軸まわりの回転による指
令を、それぞれ作業座標系３４の６変数（Ｘ、Ｙ、Ｚ、
θx、θy、θz）に一致させると、スクリーン上で、操
作腕の方向と、工具３１の位置決め対象に対する移動方
向が一致するので直感的な操作が可能となる。Further, as a control device, Japanese Patent Application No. 02-24
A control device capable of generating a command in the working coordinate system 34 in a Cartesian coordinate system, as shown in Japanese Patent Application No. 9792 and Japanese Patent Application No. 03-334314, is used. FIG. 4 shows an operation explanatory diagram of this operation device. As shown in the figure, the left and right arms of the control device,
Up and down, forward and backward, and commands by rotation around the respective axes are respectively given to six variables (X, Y, Z,
If it is made to coincide with θ x , θ y , and θ z ), the direction of the operation arm and the movement direction of the tool 31 with respect to the positioning target match on the screen, so that an intuitive operation is possible.
【００３９】図５は第２実施例を示し、本発明に係る視
覚支援装置をグリッパ工具に適用した場合の構造説明図
である。同図に示すように図示しないマニプレータの先
端には、グリッパ工具４２が備え付けられており、さら
にグリッパ工具４２の先端には、平行グリッパ４４が設
けられている。そしてマニプレータの先端から、油圧ま
たは空気圧を供給口４５に供給することによって平行グ
リッパ４４を動かし、作業対象物体等を掴む動作や、離
す動作を行うことができるようになっている。このよう
な動作からグリッパ工具４２とは、作業対象物を掴んで
他の物体に組み付けたりと、作業用途は種々考えられ、
専用工具に対してより汎用的なものとなっているのであ
る。FIG. 5 shows the second embodiment and is a structural explanatory view when the visual support device according to the present invention is applied to a gripper tool. As shown in the figure, a gripper tool 42 is provided at the tip of a manipulator (not shown), and a parallel gripper 44 is provided at the tip of the gripper tool 42. Then, the parallel gripper 44 can be moved by supplying hydraulic pressure or air pressure to the supply port 45 from the tip of the manipulator to perform an operation of gripping an object to be worked, or an operation of separating it. From such an operation, the gripper tool 42 can be used for various work purposes such as grasping a work target object and assembling it with another object.
It is more versatile than dedicated tools.
【００４０】図６はグリッパ工具４２の作業座標系を表
した表示図である。グリッパ工具４２は、その汎用的な
性格から作業座標系を特定することは難しいが、使用用
途から３つのアクセス軸に沿った動作が多用されると考
えられる。すなわち第１としては同図のＺ軸正方向をア
クセス軸とし、作業対象物を掴んだり、挿入したりする
場合。第２としては、同図のＸ軸正方向をアクセス軸と
し作業対象物を掴んだり、挿入したりする場合。そして
第３としては、同図のＸ軸負方向をアクセス軸とし作業
対象物を掴んだり、挿入したりする場合が挙げられる。FIG. 6 is a display diagram showing the working coordinate system of the gripper tool 42. It is difficult to specify the work coordinate system of the gripper tool 42 due to its general-purpose nature, but it is considered that the gripper tool 42 is often operated along the three access axes depending on the intended use. That is, firstly, when the Z-axis positive direction in the figure is used as the access axis and the work object is grasped or inserted. Secondly, when the work object is grasped or inserted with the X-axis positive direction in the figure as the access axis. And thirdly, there is a case in which the work object is grasped or inserted with the negative direction of the X axis in the figure as the access axis.
【００４１】このような作業を行うグリッパ工具４２に
おいては、平行グリッパ４４の根元に第１監視カメラ４
６を備え付ける。そして第１監視カメラ４６の光軸方向
は、グリッパ工具４２のＺ方向アクセス軸と同軸となる
よう配置するのである。さらにカメラ座標系における他
の２軸（Ｘ軸、Ｙ軸）も、グリッパ工具４２の作業座標
系の２軸（Ｘ軸、Ｙ軸）と同軸となるよう配置する。In the gripper tool 42 for performing such work, the first monitoring camera 4 is provided at the base of the parallel gripper 44.
Install 6. The optical axis direction of the first surveillance camera 46 is arranged so as to be coaxial with the Z-direction access axis of the gripper tool 42. Further, the other two axes (X axis, Y axis) in the camera coordinate system are also arranged so as to be coaxial with the two axes (X axis, Y axis) of the work coordinate system of the gripper tool 42.
【００４２】また第１監視カメラ４６の前方には、視野
切替器４８が設けられている。図７は視野切替器４８の
構造説明図である。同図に示すように視野切替器４８と
は、第１監視カメラ４６の光軸方向に対し斜面状に配置
した２枚の鏡５０、５２と、当該鏡５０、５２を第１監
視カメラ４６前方で移動させる図示しないスライド機構
によって構成されているのである。そして鏡５０、５２
の傾斜角度は、第１監視カメラ４６の光軸方向に対し、
±４５度に設定されているのである。ここで（２）に示
すように第１監視カメラ４６の光軸方向が作業座標系の
Ｚ軸方向と一致している状態から、視野切替器４８を動
かし（３）に示すような第１監視カメラ４６の前方へと
鏡５０を移動させる。当該鏡５０の移動により、第１監
視カメラ４６の光軸は鏡５０に反射し、Ｘ軸正方向と平
行となるのである。またスライド機構を動作させる手段
は、手動で行ってもよく、また手動が不可能な場合で
は、ソレノイドやモータ等の駆動装置を用い遠隔操作と
してもよい。A field-of-view switch 48 is provided in front of the first surveillance camera 46. FIG. 7 is a structural explanatory view of the visual field switch 48. As shown in the figure, the field-of-view switch 48 includes two mirrors 50 and 52 arranged obliquely with respect to the optical axis direction of the first surveillance camera 46 and the mirrors 50 and 52 in front of the first surveillance camera 46. It is constituted by a slide mechanism (not shown) that is moved by. And the mirrors 50, 52
The inclination angle of is relative to the optical axis direction of the first surveillance camera 46,
It is set to ± 45 degrees. Here, from the state where the optical axis direction of the first surveillance camera 46 coincides with the Z-axis direction of the work coordinate system as shown in (2), the visual field switching device 48 is moved to perform the first surveillance as shown in (3). The mirror 50 is moved in front of the camera 46. By the movement of the mirror 50, the optical axis of the first surveillance camera 46 is reflected by the mirror 50 and becomes parallel to the positive direction of the X axis. Further, the means for operating the slide mechanism may be performed manually, or if it is not possible to perform the operation manually, a drive device such as a solenoid or a motor may be used for remote operation.
【００４３】また上述した構成を用いて作業を行う場合
には、作業対象物とグリッパ工具２２との距離が監視可
能な前記アクセス軸の側方に第２監視カメラ５３を配置
し、グリッパ工具４２と作業対象物との距離が把握でき
るようになっている。さらに作業場所とは隔離されたと
ころに操縦室が設けられ、作業者がスクリーンを見なが
ら操縦装置を操ることは、前述の第１実施例と同様であ
る。When performing the work using the above-mentioned structure, the second monitor camera 53 is arranged on the side of the access shaft capable of monitoring the distance between the work object and the gripper tool 22, and the gripper tool 42 is used. And the distance to the work object can be grasped. Further, the cockpit is provided in a place separated from the work place, and the operator operates the manipulator while looking at the screen, as in the first embodiment.
【００４４】このように構成されたマニプレータ操縦の
視覚支援装置をグリッパ工具に適用し、作業対象物であ
るパイプ５４を掴みとる手順を説明する。図８はグリッ
パ工具４２のアクセス軸をＺ方向としたときの作業説明
図である。ここで（１）は要部構成を示し、（２）は第
１監視カメラ４６からの画像を示す。この場合には、第
１監視カメラ４６の前方に鏡５０、５２を配置せず、第
１監視カメラ４６の光軸方向をグリッパ工具４２のアク
セス軸となるＺ軸に合わせるようにする。そして視野切
替器４８を前述のように設定し、第１監視カメラ４６の
映像をもとに５変数（Ｘ、Ｙ、θx、θy、θz）を合わ
せ、その後は、第２監視カメラ５３の映像を監視しつつ
パイプ５４へグリッパ工具４２を接近させる。パイプ５
４へグリッパ工具４２を十分接近させた後は、平行グリ
ッパ４４を動作させパイプ５４を掴みとるのである。ま
たＺ軸をアクセス軸としたときには、前述した第１実施
例のように作業座標系とカメラ座標系とが一致している
ためより直感的な動作が行えるのである。The procedure of gripping the pipe 54 which is the work target by applying the manipulator-controlled visual support device thus constructed to a gripper tool will be described. FIG. 8 is a work explanatory diagram when the access axis of the gripper tool 42 is set in the Z direction. Here, (1) shows the main configuration, and (2) shows the image from the first surveillance camera 46. In this case, the mirrors 50 and 52 are not arranged in front of the first surveillance camera 46, and the optical axis direction of the first surveillance camera 46 is aligned with the Z axis which is the access axis of the gripper tool 42. Then, the field-of-view switch 48 is set as described above, the five variables (X, Y, θ x , θ y , θ z ) are adjusted based on the image of the first surveillance camera 46, and then the second surveillance camera 46 is set. The gripper tool 42 is approached to the pipe 54 while monitoring the image of 53. Pipe 5
After the gripper tool 42 is brought sufficiently close to 4, the parallel gripper 44 is operated and the pipe 54 is gripped. When the Z axis is used as the access axis, more intuitive operation can be performed because the work coordinate system and the camera coordinate system match as in the first embodiment described above.
【００４５】図９は、グリッパ工具４２のアクセス軸を
Ｘ軸正方向とし、ケーブル５６にスリーブ５８を挿入す
る際の作業説明図である。ここで（１）は要部構成を示
し、（２）は、作業時の視野切替器４８の状態を示す。
この場合には、視野切替器４８の鏡５０を第１監視カメ
ラ４６の前方に移動させる。すると第１監視カメラ４６
の光軸方向は、鏡５０によりＸ軸正方向と平行になる。
またカメラ座標系も視野切替器４８によって回転し、残
りの２軸も視野切替器４８を介して作業座標系の残りの
２軸にそれぞれ平行になる。図１０は視野切替器を介し
た第１監視カメラ４６の映像である。第１監視カメラ４
６は、平行グリッパ４４の根元に備え付けられているた
め、映像はアクセス軸と一致したものとはならず、同図
に示すようになる。また作業座標系とカメラ座標系も一
致しなくなる。しかしこの場合においても第１監視カメ
ラ４６の映像からは、５変数のうち４変数（Ｘ、Ｙ、θ
x、θz）が認識でき、また残りの１変数（θy）もおお
よそ認識できる。このため第１監視カメラ４６でケーブ
ル５６とスリーブ５８との姿勢合わせを行った後に、ケ
ーブル５６とグリッパ工具４２との距離を監視可能なア
クセス軸の側方に配置した第２監視カメラ５３からの映
像を監視しつつ、ケーブル５６にスリーブ５８を挿入さ
せるのである。FIG. 9 is a work explanatory view when inserting the sleeve 58 into the cable 56 with the access axis of the gripper tool 42 in the positive direction of the X axis. Here, (1) shows the configuration of the main part, and (2) shows the state of the visual field switching device 48 during work.
In this case, the mirror 50 of the visual field switch 48 is moved to the front of the first surveillance camera 46. Then, the first surveillance camera 46
The optical axis direction of is parallel to the X-axis positive direction by the mirror 50.
The camera coordinate system is also rotated by the field-of-view switch 48, and the remaining two axes are also parallel to the remaining two axes of the work coordinate system via the field-of-view switch 48. FIG. 10 is an image of the first surveillance camera 46 through the view switching device. First surveillance camera 4
Since 6 is provided at the base of the parallel gripper 44, the image does not coincide with the access axis and is as shown in FIG. Also, the working coordinate system and the camera coordinate system do not match. However, even in this case, from the image of the first surveillance camera 46, four of the five variables (X, Y, θ
x , θ z ) can be recognized, and the remaining one variable (θ y ) can be roughly recognized. Therefore, after the cable 56 and the sleeve 58 are aligned by the first monitoring camera 46, the distance from the cable 56 to the gripper tool 42 can be monitored from the second monitoring camera 53 arranged on the side of the access shaft. The sleeve 58 is inserted into the cable 56 while monitoring the image.
【００４６】また前述した実施の形態では、第１監視カ
メラ４６の光軸方向を視野切替器４８にてＸ軸正方向に
反射させた場合を説明したが、第１監視カメラ４６の光
軸方向を視野切替器４８にてＸ軸負方向に反射させても
同様の効果が得られる。Further, in the above-described embodiment, the case where the optical axis direction of the first monitoring camera 46 is reflected by the visual field switching device 48 in the positive X-axis direction has been described, but the optical axis direction of the first monitoring camera 46 is described. The same effect can be obtained by reflecting the image in the negative direction of the X-axis by the visual field switching device 48.
【００４７】このように視野切替器４８を介して第１監
視カメラ４６の光軸方向をグリッパ工具４２のアクセス
軸と平行にするとともに、カメラ座標系を視野切替器４
８により回転させれば、操縦の方向が異なったり、また
完全な位置、姿勢合わせの状況は把握できないものの、
第１監視カメラ４６から５変数（Ｘ、Ｙ、θx、θy、θ
z）の状況が把握できるため、作業効率の向上には十分
寄与することができるのである。In this way, the optical axis direction of the first surveillance camera 46 is made parallel to the access axis of the gripper tool 42 via the visual field switching device 48, and the camera coordinate system is set to the visual field switching device 4.
If you rotate it by 8, although the steering direction is different and you can not grasp the situation of perfect position and attitude adjustment,
5 variables (X, Y, θ x , θ y , θ from the first monitoring camera 46)
Since the situation of z ) can be grasped, it can sufficiently contribute to the improvement of work efficiency.
【００４８】なお前述した第１実施例と第２実施例につ
いては、２つの監視カメラを用いた場合を説明したが、
第２監視カメラの視界が障害物等により不明瞭になると
きは、複数の監視カメラを第１監視カメラの光軸方向の
側方の配置すればよい。そして複数の場所から工具と作
業対象物との距離を監視すれば、明確な値を把握するこ
とが可能となり、作業効率を向上させることができるの
である。In the above-mentioned first and second embodiments, the case where two surveillance cameras are used has been described.
When the field of view of the second surveillance camera becomes unclear due to an obstacle or the like, a plurality of surveillance cameras may be arranged laterally of the first surveillance camera in the optical axis direction. Then, by monitoring the distance between the tool and the work target from a plurality of places, it becomes possible to grasp a clear value and improve the work efficiency.
【００４９】[0049]
【発明の効果】以上説明したように本発明によれば、工
具を取り付けたマニプレータで、作業対象物に作業を行
う際、前記工具と前記作業対象物とを監視カメラで監視
し、前記監視カメラの撮像を提供するマニプレータ操縦
の視覚支援装置であって、第１監視カメラの光軸を前記
工具が前記作業対象物に最終接近する工具移動軸と同軸
または平行に設置するとともに、第２監視カメラを前記
工具と前記作業対象物との距離を監視可能な前記工具移
動軸の側方に配置すれば、第１監視カメラからの映像に
て前記工具の位置、姿勢合わせを示す６変数（Ｘ、Ｙ、
Ｚ、θx、θy、θ z）のうち、５変数（Ｘ、Ｙ、θx、θ
y、θz）の状況が把握できる。そして前記第１監視カメ
ラにて位置、姿勢合わせを行った後は、前記第２監視カ
メラで残りの１変数（Ｚ）を監視し、前記作業対象物に
前記工具を接近させる。このような構成にすれば、前記
第１監視カメラからの映像で殆どの操縦が行えるので、
作業効率の向上を図ることができるのである。As described above, according to the present invention,
Use the manipulator with the tool attached to work on the work target.
Monitor the tool and the work object with a monitoring camera
And manipulator control providing imaging of said surveillance camera
Of the first surveillance camera, wherein the optical axis of the first surveillance camera is
Coaxial with the tool movement axis where the tool finally approaches the work object
Or install them in parallel and set the second surveillance camera to
The tool transfer capable of monitoring the distance between the tool and the work object.
If it is placed on the side of the axis of motion, the image from the first surveillance camera
6 variables (X, Y,
Z, θx, Θy, Θ of z), 5 variables (X, Y, θx, Θ
y, Θz) Status can be understood. And the first monitoring turtle
After adjusting the position and orientation with the
The remaining 1 variable (Z) is monitored by the camera, and
Move the tool closer. With such a configuration,
Most of the control can be done with the image from the first surveillance camera,
It is possible to improve work efficiency.
【００５０】また前記工具をレンチ工具やグリッパ工具
とすれば、ナットの締め付けや作業対象物の掴み動作、
あるいは作業対象物に部材等を挿入するなどの挿入動作
が可能となる。さらにグリッパ工具については、視野切
替器を前記第１監視カメラ前方に配置すれば、前記第１
監視カメラの光軸方向はグリッパ工具移動軸方向と同軸
または平行に配置される。このことからグリッパ工具の
もつ複数のグリッパ工具移動軸に対応することが可能に
なり、グリッパ工具の汎用性に対応させることができる
のである。If the tool is a wrench tool or a gripper tool, tightening of nuts, gripping of an object to be worked,
Alternatively, it is possible to perform an inserting operation such as inserting a member or the like into the work target. Further, regarding the gripper tool, if the field-of-view switch is arranged in front of the first surveillance camera,
The optical axis direction of the surveillance camera is arranged coaxially or in parallel with the gripper tool movement axis direction. From this, it becomes possible to correspond to a plurality of gripper tool moving axes of the gripper tool, and it is possible to correspond to the versatility of the gripper tool.
【００５１】そして上述したマニプレータの視覚支援装
置において、第１監視カメラの座標系における光軸以外
の２軸を、工具の座標系における工具移動軸以外の２軸
と同軸または平行に配置すれば、第１監視カメラの映像
から工具の操縦方向が直感的に解るのである。このこと
より工具操縦性が向上し、作業効率を高めることができ
るのである。また第１監視カメラの座標系と工具の座標
軸との相対位置を固定すれば、第１監視カメラからの映
像は、常に工具に対して決められた位置からの映像とな
る。この第１監視カメラからの映像により、工具と作業
対象物との相対位置を把握しやすくなるので、作業性を
向上させることができるのである。In the manipulator visual support device described above, if the two axes other than the optical axis in the coordinate system of the first surveillance camera are arranged coaxially or parallel to the two axes other than the tool movement axis in the tool coordinate system, The steering direction of the tool can be intuitively understood from the image of the first surveillance camera. As a result, tool maneuverability is improved and work efficiency can be improved. Further, if the relative position between the coordinate system of the first monitoring camera and the coordinate axis of the tool is fixed, the image from the first monitoring camera is always the image from the position determined for the tool. Since the relative position between the tool and the work object can be easily grasped by the image from the first monitoring camera, workability can be improved.
【図１】本発明に係る視覚支援装置をナットの着脱作用
に適用した場合の構造説明図である。FIG. 1 is a structural explanatory view when a visual support device according to the present invention is applied to a nut attaching / detaching action.
【図２】工具および監視カメラの座標系の関係を示す座
標系関係図である。FIG. 2 is a coordinate system relationship diagram showing a relationship between coordinate systems of a tool and a surveillance camera.
【図３】第１監視カメラのスクリーン映像を示したもの
である。FIG. 3 shows a screen image of the first surveillance camera.
【図４】作業座標系での指令を直交座標系で生成できる
操縦装置の操縦説明図である。FIG. 4 is a control explanatory diagram of a control device that can generate a command in a work coordinate system in a rectangular coordinate system.
【図５】本発明に係る視覚支援装置をグリッパ工具に適
用した場合の構造説明図である。FIG. 5 is a structural explanatory view when the visual support device according to the present invention is applied to a gripper tool.
【図６】グリッパ工具の作業座標系を表した表示図であ
る。FIG. 6 is a display diagram showing a work coordinate system of the gripper tool.
【図７】視野切替器の構造説明図である。FIG. 7 is a structural explanatory view of a visual field switching device.
【図８】グリッパ工具のアクセス軸をＺ方向としたとき
の作業説明図である。FIG. 8 is an operation explanatory diagram when the access axis of the gripper tool is set in the Z direction.
【図９】グリッパ工具のアクセス軸をＸ軸正方向とし、
ケーブルにスリーブを挿入する際の作業説明図である。FIG. 9: The access axis of the gripper tool is the X axis positive direction,
It is a work explanatory view when inserting a sleeve in a cable.
【図１０】視野切替器を介した第１監視カメラの映像で
ある。FIG. 10 is an image of the first surveillance camera through the visual field switching device.
【図１１】従来技術において、マニプレータを用いてナ
ットの締め付けを行う場合の要部構成図である。FIG. 11 is a configuration diagram of a main part when a nut is tightened using a manipulator in a conventional technique.
【図１２】位置決めのための位置および姿勢合わせ説明
図である。FIG. 12 is an explanatory diagram of position and posture alignment for positioning.
１ マニプレータ ２ ナット ３ レンチ工具 ４ 第１監視カメラ ５ 第２監視カメラ ６ スクリーン ７ 作業者 ８ 操縦室 ９ 操縦装置 ２０ マニプレータ ２２ レンチ工具 ２３ 締付部 ２４ レンチ穴軸芯 ２６ 工具動力用モータ ２８ 減速機 ３０ 第１監視カメラ ３１ 工具 ３２ アクセス軸 ３４ 作業座標系 ３６ アクセス軸 ３７ 作業座標系 ３８ ナット ４０ 第２監視カメラ ４２ グリッパ工具 ４４ 平行グリッパ ４６ 第１監視カメラ ４８ 視野切替器 ５０ 鏡 ５２ 鏡 ５３ 第２監視カメラ ５４ パイプ ５６ ケーブル ５８ スリーブ 1 Manipulator 2 Nut 3 Wrench Tool 4 1st Surveillance Camera 5 2nd Surveillance Camera 6 Screen 7 Operator 8 Cockpit 9 Control Device 20 Manipulator 22 Wrench Tool 23 Tightening Section 24 Wrench Hole Shaft Core 26 Tool Power Motor 28 Reducer 30 First Monitoring Camera 31 Tool 32 Access Axis 34 Working Coordinate System 36 Access Axis 37 Working Coordinate System 38 Nut 40 Second Monitoring Camera 42 Second Gripper Tool 44 Parallel Gripper 46 First Monitoring Camera 48 Field Switch 50 Mirror 52 Mirror 53 Second Surveillance camera 54 Pipe 56 Cable 58 Sleeve
Claims (5)
対象物に作業を行う際、前記工具と前記作業対象物とを
監視カメラで監視し、前記監視カメラの撮像を提供する
マニプレータ操縦の視覚支援装置であって、第１監視カ
メラの光軸を前記作業対象物に最終接近する前記工具移
動軸と同軸または平行に設置するとともに、第２監視カ
メラを前記工具と前記作業対象物との距離を監視可能な
前記工具移動軸の側方に配置したことを特徴とするマニ
プレータ操縦の視覚支援装置。1. A manipulator visual support device for manipulating a work object with a manipulator having a tool, wherein the tool and the work object are monitored by a surveillance camera, and an image of the surveillance camera is provided. The optical axis of the first surveillance camera is installed coaxially or in parallel with the tool movement axis that finally approaches the work object, and the second surveillance camera monitors the distance between the tool and the work object. A visual support device for manipulator control, wherein the visual support device is arranged laterally of the possible tool movement axis.
で、ナットの着脱作業を行う際、前記レンチ工具とナッ
トとを監視カメラで監視し、前記監視カメラの撮像を提
供するマニプレータ操縦の視覚支援装置であって、第１
監視カメラの光軸を前記ナットに最終接近する前記レン
チ工具移動軸と同軸に設置するとともに、第２監視カメ
ラを前記レンチ工具と前記ナットとの距離を監視可能な
前記レンチ工具移動軸の側方に配置したことを特徴とす
るマニプレータ操縦の視覚支援装置。2. A manipulator-controlled visual support device for monitoring the wrench tool and the nut with a surveillance camera when the nut is attached / detached by a manipulator having a wrench tool attached thereto, and provides an image of the surveillance camera. First
The optical axis of the monitoring camera is installed coaxially with the wrench tool moving shaft that finally approaches the nut, and a second monitoring camera is provided on the side of the wrench tool moving shaft capable of monitoring the distance between the wrench tool and the nut. A visual support device for manipulator control, which is characterized in that
対象物に作業を行う際、前記工具と前記作業対象物とを
監視カメラで監視し、前記監視カメラの撮像を提供する
マニプレータ操縦の視覚支援装置であって、第１監視カ
メラの前方に配置した視野切替器を介して、前記第１監
視カメラの光軸を前記作業対象物に最終接近する前記工
具移動軸と同軸または平行に設置するとともに、第２監
視カメラを前記工具と前記作業対象物との距離を監視可
能な前記工具移動軸の側方に配置したことを特徴とする
マニプレータ操縦の視覚支援装置。3. A manipulator-controlled visual support device for monitoring the tool and the work object with a surveillance camera when performing work on the work object with a manipulator to which a tool is attached, and for providing an image of the surveillance camera. In addition, the optical axis of the first monitoring camera is installed coaxially or in parallel with the tool moving axis that finally approaches the work object, via a visual field switch disposed in front of the first monitoring camera, A visual support device for manipulator control, wherein a second monitoring camera is arranged on a side of the tool moving shaft capable of monitoring a distance between the tool and the work object.
で、作業対象物に作業を行う際、前記グリッパ工具と前
記作業対象物とを監視カメラで監視し、前記監視カメラ
の撮像を提供するマニプレータ操縦の視覚支援装置であ
って、第１監視カメラの前方に配置した視野切替器を介
して、前記第１監視カメラの光軸を前記作業対象物に最
終接近する前記グリッパ工具移動軸と同軸または平行に
設置するとともに、第２監視カメラを前記グリッパ工具
と前記作業対象物との距離を監視可能な前記グリッパ工
具移動軸の側方に配置したことを特徴とするマニプレー
タ操縦の視覚支援装置。4. A manipulator control visual system for monitoring the gripper tool and the work object by a surveillance camera when performing work on the work object with a manipulator equipped with a gripper tool, and providing an image of the surveillance camera. A support device, wherein an optical axis of the first surveillance camera is installed coaxially or in parallel with the movement axis of the gripper tool that finally approaches the work object via a visual field switching device arranged in front of the first surveillance camera. In addition, the visual support device for manipulator control, wherein the second monitoring camera is arranged laterally of the gripper tool moving shaft capable of monitoring the distance between the gripper tool and the work object.
の光軸に対し斜面状に配置される鏡によって形成され、
前記鏡を移動させることにより、前記第１監視カメラの
光軸方向を前記移動軸方向に反射させることを特徴とす
る請求項３または請求項４に記載のマニプレータ操縦の
視覚支援装置。5. The field-of-view switch is formed by a mirror that is arranged obliquely with respect to the optical axis of the first surveillance camera,
The manipulator control visual support device according to claim 3 or 4, wherein the optical axis direction of the first surveillance camera is reflected in the movement axis direction by moving the mirror.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6930896A JP3220706B2 (en) | 1996-02-29 | 1996-02-29 | Vision support device for manipulator operation |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6930896A JP3220706B2 (en) | 1996-02-29 | 1996-02-29 | Vision support device for manipulator operation |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09234685A true JPH09234685A (en) | 1997-09-09 |
| JP3220706B2 JP3220706B2 (en) | 2001-10-22 |
Family
ID=13398812
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP6930896A Expired - Fee Related JP3220706B2 (en) | 1996-02-29 | 1996-02-29 | Vision support device for manipulator operation |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3220706B2 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009051003A (en) * | 2007-08-23 | 2009-03-12 | Ihi Corp | Robot device control method and robot device |
| CN104682264A (en) * | 2015-03-05 | 2015-06-03 | 国家电网公司 | Auxiliary tool for power transmission line ground resistance measurement |
| CN105655926A (en) * | 2016-04-21 | 2016-06-08 | 国家电网公司 | Electrified spraying equipment and method |
| CN109648297A (en) * | 2017-10-10 | 2019-04-19 | 中冶宝钢技术服务有限公司 | A kind of built-in image box spanner device and its application method of remote visible operation |
-
1996
- 1996-02-29 JP JP6930896A patent/JP3220706B2/en not_active Expired - Fee Related
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009051003A (en) * | 2007-08-23 | 2009-03-12 | Ihi Corp | Robot device control method and robot device |
| CN104682264A (en) * | 2015-03-05 | 2015-06-03 | 国家电网公司 | Auxiliary tool for power transmission line ground resistance measurement |
| CN105655926A (en) * | 2016-04-21 | 2016-06-08 | 国家电网公司 | Electrified spraying equipment and method |
| CN109648297A (en) * | 2017-10-10 | 2019-04-19 | 中冶宝钢技术服务有限公司 | A kind of built-in image box spanner device and its application method of remote visible operation |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3220706B2 (en) | 2001-10-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10905508B2 (en) | Remote control robot system | |
| JP3215086B2 (en) | Robot controller | |
| JP5114019B2 (en) | Method for controlling the trajectory of an effector | |
| JPH08132372A (en) | Control method for robot | |
| US20190358816A1 (en) | Robot system and method of controlling the same | |
| CN111390872A (en) | Double-arm cooperative flexible dragging and butt joint inverse operation method for extravehicular robot | |
| JP2015080843A (en) | Fastening device, robot system, and fastening method for fastening a plurality of fastening members | |
| Lee et al. | A highly redundant robot system for inspection | |
| JP7163115B2 (en) | ROBOT SYSTEM, ROBOT SYSTEM CONTROL METHOD, PRODUCT MANUFACTURING METHOD, CONTROL DEVICE, OPERATION DEVICE, IMAGING DEVICE, CONTROL PROGRAM, AND RECORDING MEDIUM | |
| JPH09234685A (en) | Vision support device of manipulator operation | |
| CN113290549A (en) | Special robot and control method thereof | |
| CN114589680A (en) | Control device, special robot system and control method thereof | |
| JP2000042960A (en) | Remote control device for manipulator | |
| JPH0569362A (en) | Industrial robot | |
| CN113263494A (en) | Control device and special robot system | |
| JP4221464B2 (en) | Robot system teaching method and teaching apparatus | |
| Ming et al. | On teleoperation of an arc welding robotic system | |
| JP2755684B2 (en) | Spacecraft remote control device | |
| JP2520660B2 (en) | Remotely operated manipulator device | |
| Zaki et al. | Spray painting of a general three-dimensional surface | |
| JPH05116080A (en) | Tool tip position adjusting method | |
| CN115884851A (en) | Demonstrator, robot, and method and device for controlling robot | |
| US20220250236A1 (en) | Teaching device, teaching method, and recording medium | |
| EP4364901A1 (en) | Micromanipulator | |
| Brooks et al. | Operator vision aids for space teleoperation assembly and servicing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20010711 |
|
| LAPS | Cancellation because of no payment of annual fees |