JPH0724767A - Remote control device for robot - Google Patents
Remote control device for robotInfo
- Publication number
- JPH0724767A JPH0724767A JP5175277A JP17527793A JPH0724767A JP H0724767 A JPH0724767 A JP H0724767A JP 5175277 A JP5175277 A JP 5175277A JP 17527793 A JP17527793 A JP 17527793A JP H0724767 A JPH0724767 A JP H0724767A
- Authority
- JP
- Japan
- Prior art keywords
- robot
- monitor
- joint angle
- overlay
- interference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Manipulator (AREA)
- Control Of Position Or Direction (AREA)
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明はロボットの遠隔操作装置
に係り、特にカメラ等の撮影手段を用いてロボットから
の一定距離以内に接近物体がないかどうかを判定するロ
ボットの遠隔操作装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a remote control device for a robot, and more particularly to a remote control device for a robot which determines whether or not there is an approaching object within a certain distance from the robot by using a photographing means such as a camera.
【０００２】[0002]
【従来の技術】宇宙開発も本格的な実用開発の段階を迎
え、宇宙空間においてさまざまな作業を行う必要が生ま
れつつある。とくに現在、米国・カナダ・ヨーロッパお
よび日本の国際協力により設計作業が進みつつある宇宙
ステーションＦＲＥＥＤＯＭの運用が開始されると、常
時数人の宇宙飛行士がステーションに滞在し、材料合成
などの各種の実験・測定等を行うようになる。2. Description of the Related Art Space development has reached the stage of full-scale practical development, and it is becoming necessary to perform various tasks in outer space. Especially when the operation of the space station FREEDOM, which is currently undergoing design work due to international cooperation between the United States, Canada, Europe and Japan, has begun, several astronauts will stay at the station all the time, and various astronauts such as material synthesis Began to carry out experiments and measurements.
【０００３】また、宇宙ステーションを運用しはじめる
と、ステーションの保守・点検も定期的に行う必要が生
じてくる。そのために、環境条件の厳しい真空の宇宙空
間での作業をロボットに行わせる必要性が存在する。こ
れらの作業は地上あるいは宇宙ステーション内の加圧さ
れた室内からの遠隔操作により行われるのが一般的であ
る。When the space station is put into operation, it becomes necessary to regularly perform maintenance and inspection of the station. Therefore, there is a need to make a robot perform work in a vacuum outer space where environmental conditions are severe. These tasks are typically performed remotely from a pressurized room on the ground or in a space station.
【０００４】また、原子力開発においても、今後、老朽
化してゆく既存の原子力発電所の保守・解体作業などの
高レベル放射能環境でのさまざまな作業が必要となって
くると考えられ、やはり遠隔操作によるロボット作業の
必要性が強まりつつある。Also, in nuclear power development, it is considered that various works in a high-level radioactivity environment such as maintenance and dismantling work of existing nuclear power plants will become necessary in the future, and it is still remote. The necessity of robot work by operation is increasing.
【０００５】遠隔操作型のロボットとしては、ロボット
の動作を指令するのにマスターアームを使用するマスタ
スレーブマニピュレータや、動作指令にジョイスティッ
クを使用するものなどがある。またロボットの姿勢を指
令するものや、ロボットの速度を指令するものなど、さ
まざまな種類が存在する。As the remote control type robot, there are a master-slave manipulator which uses a master arm to instruct the operation of the robot, and a robot which uses a joystick to instruct the operation. Further, there are various types such as a command for the posture of the robot and a command for the speed of the robot.
【０００６】一般に遠隔操作をする作業員は、実際の作
業を行う危険な作業環境からは離れた位置にいるため
に、カメラを作業場所に配置し、モニタにより作業環境
の様子を把握することが行われる。[0006] Generally, a worker who operates remotely is located away from a dangerous work environment where he / she actually works, so that a camera can be placed at the work place and the state of the work environment can be grasped by a monitor. Done.
【０００７】しかし、カメラによる作業環境の把握には
以下のような問題点が存在する。However, there are the following problems in grasping the work environment by the camera.
【０００８】１） 立体感が喪失する。モニタに表示さ
れる２次元の映像からは奥行き方向の距離が把握しにく
い。また、画面奥行き方向の距離がわかりにくいため
に、カメラの方向を頻繁に変化させると、カメラの向い
ている方向の把握が困難になる。1) The three-dimensional effect is lost. It is difficult to grasp the distance in the depth direction from the two-dimensional image displayed on the monitor. In addition, since the distance in the depth direction of the screen is difficult to understand, if the direction of the camera is changed frequently, it becomes difficult to grasp the direction in which the camera is facing.
【０００９】２） ロボットの操作時にカメラのパン・
チルトの操作も同時に行わなければならずに、作業性が
低下する。2) Panning of the camera while operating the robot
Tilt operation must be performed at the same time, which reduces workability.
【００１０】３） ロボットの操作とともにカメラの向
きを随時変更してゆくことにより、モニタに表示されて
いる画面がどの方向を向いたものであるかがわかりにく
くなる。3) By changing the orientation of the camera as needed while operating the robot, it becomes difficult to know in which direction the screen displayed on the monitor is oriented.
【００１１】４） それとともにジョイスティックなど
の操縦方向とモニタ画面の方向が一致しなくなることに
よる違和感が生じる。4) At the same time, a sense of discomfort occurs because the steering direction of the joystick or the like and the direction of the monitor screen do not match.
【００１２】５） 全体の位置関係の把握が困難な場合
が存在する。アーム先端などをアップで撮している画面
ではアーム先端以外でのまわりの環境との位置関係が把
握できない。一方、全体を撮影している画面では細かい
部分まで見えず、また周囲の物体の背後の様子が見えな
い。5) There are cases where it is difficult to grasp the overall positional relationship. It is not possible to grasp the positional relationship with the surrounding environment other than the tip of the arm on the screen where the tip of the arm is taken up. On the other hand, on the entire screen, you cannot see the details, and you cannot see the background behind the surrounding objects.
【００１３】以上のような問題点を解決するために、こ
れまでにもさまざまな研究や開発が行われてきた。例え
ば、特開昭５８−１３７５７４号公報に記載されたもの
は２台のテレビカメラを並置し、その立体虚像に対して
操作ロボットを作業する様にしたマニピュレータの操縦
装置とすることにより立体感の喪失を補い、遠隔操作型
のマスタスレーブマニピュレータの作業性の向上を目指
している。特開昭５３−３３５２１号公報に記載された
ものはマニピュレータの動きに合わせてテレビカメラの
向きを制御し、常にマニピュレータの手先部がモニタの
ほぼ中央付近に観察できるようにすることにより、カメ
ラのパン・チルトの操作を不要とすることにより作業性
の向上を目指している。特開昭６３−１１２９１号公報
に記載されたものはテレビカメラの位置と姿勢を計測
し、モニタＴＶの画面上のマニピュレータ本体の動作方
向とジョイスティックなどの操作位置の操作方向が常に
一致するように座標系を変更してゆくことにより、操作
時の違和感をなくすことを目指している。In order to solve the above problems, various researches and developments have been conducted so far. For example, the one described in Japanese Patent Laid-Open No. 58-137574 has two television cameras juxtaposed to each other and a manipulator control device for operating an operation robot with respect to the three-dimensional virtual image is provided. We aim to compensate for the loss and improve the workability of the remote-controlled master-slave manipulator. The device disclosed in Japanese Patent Laid-Open No. 53-33521 controls the orientation of the television camera in accordance with the movement of the manipulator so that the hand of the manipulator can always be observed near the center of the monitor. The aim is to improve workability by eliminating the need for pan / tilt operations. The one disclosed in Japanese Patent Laid-Open No. 63-11291 measures the position and orientation of a television camera so that the operation direction of the manipulator body on the screen of the monitor TV and the operation direction of the operation position of the joystick or the like always match. By changing the coordinate system, we aim to eliminate discomfort during operation.
【００１４】しかしながら、立体視により画面奥行き感
を補う方法では大まかな物体の前後関係を把握できるも
のの、奥行き方向の詳細な変位はわかりにくく、正確な
位置決めを行う際などにはやはりカメラの向きを変えた
りすることにより確認をする必要があった。また、マニ
ピュレータの動きとともにカメラのパンとチルトを自動
制御する方法は、カメラのパン・チルトのコントローラ
が必要となる上に、作業者が注視したい箇所は作業や状
況により変化し、必ずしもマニピュレータの手先がモニ
タ中央に来ればよいとは限らないという問題がある。ま
た、マニピュレータの動きとともにカメラが連続的に動
くよりも、ある範囲内の動きの間はカメラが静止してい
た方が位置関係が把握しやすい場合も存在する。However, although the method of compensating for the depth of the screen by stereoscopic vision can grasp the rough front-back relation of the object, the detailed displacement in the depth direction is difficult to understand, and the orientation of the camera is still required for accurate positioning. It was necessary to confirm it by changing it. In addition, the method of automatically controlling the pan and tilt of the camera along with the movement of the manipulator requires a camera pan / tilt controller, and the place the operator wants to gaze changes depending on the work and the situation. There is a problem that it is not always necessary to come to the center of the monitor. In some cases, the positional relationship may be easier to grasp when the camera is stationary during movement within a certain range than when the camera continuously moves as the manipulator moves.
【００１５】以上のように遠隔操作時における、立体感
の喪失やカメラの方向制御の問題は部分的な解決方法は
いろいろ提案されているものの、いずれも機能が十分で
はなく、遠隔操作ロボットの作業性が高まらずその適用
範囲が広がらない原因ともなっている。As described above, although various partial solutions have been proposed for the problems of loss of stereoscopic effect and camera direction control during remote control, none of them have sufficient functions, and work of the remote control robot is not possible. It is also a cause that the applicability is not widened because the property is not enhanced.
【００１６】一方、近年、テレイグジスタンスの研究が
行われるようになってきており、これらの問題点を根本
的に解決する方法として注目されている。作業者にヘッ
ドマウンテッドディスプレイを装着させ、そこに立体映
像を表示し、作業者の視線や頭部の動きを計測すること
により、視線や頭部の動きに連動させてカメラを制御す
ることによりあたかも作業現場にいるような臨場感を与
えようというものである。しかし、テレイグジスタンス
もいまだ研究段階にとどまっており、ヘッドマウンテッ
ドディスプレイは重く高価である。また、十分な視野を
得るためには人間が作業を行うときに覗きこんだりする
ようにカメラが向きだけでなく位置も移動することが望
まれるが、カメラにそこまでの移動能力を持たせるのは
コスト的にも機能的にも困難であり、本質的に解決困難
な点を含んでいる。On the other hand, in recent years, research on telegression has been conducted, and it has been noted as a method for fundamentally solving these problems. By attaching a head mounted display to the worker, displaying a stereoscopic image there, and measuring the line of sight of the worker and the movement of the head, by controlling the camera in conjunction with the movement of the line of sight and the head It is to give the feeling of being at a work site. However, teleaggression is still in the research stage, and head-mounted displays are heavy and expensive. Also, in order to obtain a sufficient field of view, it is desirable that the camera moves not only in the direction but also in the position so that the person looks into it when working, but it is necessary to give the camera the ability to move to that position. Is difficult both in terms of cost and function, and inherently difficult to solve.
【００１７】[0017]
【発明が解決しようとする課題】このように従来のロボ
ットの遠隔操作装置では、作業環境に設置されたテレビ
カメラの映像をモニタにより観察しながら作業を行うた
めに、立体感が喪失したりカメラのパンやチルトを制御
することによる作業性の低下や操縦方向と画面方向の違
いによる違和感が存在したりしていた。As described above, in the conventional remote control device for the robot, the stereoscopic effect is lost or the camera is lost because the work is performed while observing the image of the TV camera installed in the work environment on the monitor. There was a decrease in workability due to the control of pan and tilt, and there was a sense of discomfort due to the difference between the steering direction and the screen direction.
【００１８】そこで本発明の目的は、ロボットの作業環
境およびロボット自身の形状データを利用し、ロボット
と干渉のおそれがある近接物体などの各種情報を画面に
表示することにより、モニタ画面での立体感の喪失など
を補うことにより作業性の高いロボットの遠隔操作装置
を提供することである。Therefore, an object of the present invention is to use the work environment of the robot and the shape data of the robot itself to display various information such as a near object which may interfere with the robot on the screen, thereby making it possible to display the stereoscopic image on the monitor screen. It is to provide a remote control device for a robot having high workability by compensating for the loss of feeling.
【００１９】[0019]
【課題を解決するための手段】上記の目的を達成するた
めに本発明は、遠隔場所に配置されたロボットを遠隔操
作するロボットの遠隔操作装置において、ロボットの作
業環境を撮影する撮影手段と、ロボットの作業環境およ
びロボット自身の形状データを有する環境モデル部と、
ロボットの現在の関節角度を関節角度センサの信号値と
して入力する関節角度入力部と、ロボットからの一定距
離以内に物体がないかどうかをロボットの関節角度と前
記形状データとから判定する干渉判定部と、ロボットか
らの一定距離以内に物体がある場合に、前記形状データ
と前記撮影手段の位置および向きとからこの物体の画像
を計算機により演算するオーバレイ表示部と、前記撮影
手段により撮影された実画像と前記オーバレイ表示部の
画像とをオーバレイ表示することが可能なモニタと、を
備えることを特徴とする。In order to achieve the above object, the present invention relates to a robot remote control device for remotely controlling a robot arranged at a remote place, and a photographing means for photographing the work environment of the robot. An environment model section having the work environment of the robot and the shape data of the robot itself,
A joint angle input unit that inputs the current joint angle of the robot as a signal value of the joint angle sensor, and an interference determination unit that determines whether there is an object within a certain distance from the robot from the joint angle of the robot and the shape data. When an object is within a certain distance from the robot, an overlay display unit for calculating an image of this object by a computer from the shape data and the position and orientation of the image capturing unit, and a real image captured by the image capturing unit. And a monitor capable of displaying the image and the image of the overlay display unit in an overlay manner.
【００２０】また、遠隔場所に配置されたロボットを遠
隔操作するロボットの遠隔操作装置において、ロボット
の作業環境を撮影する撮影手段と、ロボットの作業環境
およびロボット自身の形状データを有する環境モデル部
と、ロボットの現在の関節角度および関節角速度をセン
サの信号値として入力する関節角度角速度入力部と、関
節角度角速度入力部の出力であるロボットの関節角度お
よび関節角速度の値からあらかじめ指定された時間経過
後のロボット関節角度を算出するロボット未来位置予測
部と、ロボット未来位置予測部の出力であるあらかじめ
指定された時間経過後のロボットの関節角度の値とロボ
ット自身および作業環境の形状データからあらかじめ指
定された時間経過後のロボットからの一定距離以内に物
体がないかどうかを判定する干渉判定部と、ロボットか
らの一定距離以内に接近物体がないかどうかをロボット
の関節角度と前記形状データとから判定する干渉判定部
と、ロボットからの一定距離以内に物体がある場合に、
前記形状データと前記撮影手段の位置および向きとから
この接近物体の画像を計算機により演算するオーバレイ
表示部と、前記撮影手段により撮影された実画像と前記
オーバレイ表示部の画像とをオーバレイ表示することが
可能なモニタと、を備えることを特徴とする。Further, in a robot remote control device for remotely controlling a robot arranged at a remote place, a photographing means for photographing the work environment of the robot, an environment model section having the work environment of the robot and shape data of the robot itself. , The joint angle angular velocity input part that inputs the current joint angle and joint angular velocity of the robot as the signal value of the sensor, and the time specified in advance from the joint angle and joint angular velocity values of the robot that is the output of the joint angle angular velocity input part Robot future position prediction unit that calculates the robot joint angle afterwards, and is specified in advance from the robot future position prediction unit's output of the joint angle value of the robot after a specified time and the shape data of the robot itself and the work environment If there is no object within a certain distance from the robot after the specified time An interference determination unit that determines whether there is an approaching object within a certain distance from the robot, an interference determination unit that determines from the joint angle of the robot and the shape data, and if an object exists within a certain distance from the robot. ,
An overlay display section for calculating an image of the approaching object by a computer from the shape data and the position and orientation of the photographing means; and an overlay display of the actual image photographed by the photographing means and the image of the overlay display section. And a monitor capable of performing.
【００２１】また、前記オーバレイ表示部が、物体をモ
ニタにオーバレイ表示するだけでなく、ロボットの形状
データ、ロボットの関節角度およびカメラ位置および向
きの値からロボットのモニタ内表示を算出しモニタにオ
ーバレイ表示することを特徴とする。Further, the overlay display unit not only displays the object on the monitor as an overlay, but also calculates the display in the monitor of the robot from the shape data of the robot, the joint angle of the robot and the values of the camera position and the orientation, and displays the overlay on the monitor. It is characterized by displaying.
【００２２】また、ロボットの作業環境を撮影する撮影
手段とともに遠隔場所に配置されたロボットを遠隔操作
するロボットの遠隔操作装置において、撮影手段により
撮影された実画像を表示することが可能であるとともに
指示装置によりモニタを指示すると指示されたモニタ内
座標を出力することが可能なモニタと、ロボットの作業
環境およびロボット自身の形状データを有する環境モデ
ル部と、指示装置により指示されたモニタ内座標値に表
示されているロボットの作業環境物体を形状データおよ
びカメラの位置と向きから求める指示物体算出部と、ロ
ボットの現在の関節角度を関節角度センサ信号の値から
入力する関節角度入力部と、ロボットの関節角度の値か
ら指示装置により指示された物体の座標系として形状デ
ータに定義されている座標系でのロボット先端位置およ
び姿勢を算出するロボット相対位置算出部と、ロボット
相対位置算出部の出力であるロボット先端の位置および
姿勢の値をモニタにオーバレイ表示する相対位置オーバ
レイ部とを有することを特徴とする。In addition, it is possible to display a real image photographed by the photographing means in the robot remote control device for remotely controlling the robot arranged at a remote place together with the photographing means for photographing the working environment of the robot. A monitor that can output the in-monitor coordinates that are instructed by the instructing device, an environment model part that has the work environment of the robot and the shape data of the robot itself, and in-monitor coordinate values that are instructed by the instructing device Pointing object calculator that calculates the robot's work environment object from the shape data and the position and orientation of the camera, the joint angle input unit that inputs the current joint angle of the robot from the value of the joint angle sensor signal, and the robot Is defined in the shape data as the coordinate system of the object pointed by the pointing device from the joint angle value of A robot relative position calculation unit that calculates the robot tip position and orientation in a coordinate system that conforms to the above coordinate system, and a relative position overlay unit that overlays the values of the robot tip position and orientation output from the robot relative position calculation unit on a monitor. It is characterized by
【００２３】[0023]
【作用】ロボットから一定距離以内に物体があることが
判明したときには、物体の形状データおよびカメラの位
置および向きの値からその物体のモニタ内表示を算出し
モニタにオーバレイ表示することにより操作者に物体の
存在を知らせるので、操作者は衝突する以前に移動方向
を変更することにより衝突を避けることができる。ま
た、オーバレイ表示されていないときには一定距離以内
に接近している物体がないことが保証されているので、
操作者はまわりの物体とロボットとの接近を確認するた
めに、ロボットの移動を一端停止させ、カメラを切り替
えて位置を確認することが不要になり、作業性を向上さ
せることができる。When the object is found to be within a certain distance from the robot, the display in the monitor of the object is calculated from the shape data of the object and the position and orientation values of the camera, and the overlay display is displayed on the monitor. Since the presence of the object is notified, the operator can avoid the collision by changing the moving direction before the collision. Also, it is guaranteed that no object is approaching within a certain distance when the overlay is not displayed.
It is not necessary for the operator to stop the movement of the robot and check the position by switching the camera in order to confirm the approach between the surrounding object and the robot, and the workability can be improved.
【００２４】また、ロボットの現在の関節角度および角
速度の値から、現在の角速度が維持されたとした場合
の、あらかじめ指定された時間経過後のロボット関節角
度の値を計算し、その指定時間経過後のロボット関節角
度の値と前記形状データから、指定時間経過後にロボッ
トと一定距離以内に接近している物体がないかどうかを
干渉判定計算を行うことにより常時判定を行う。ロボッ
トと一定距離以内に接近している物体があることが判明
したときには、物体の形状データおよびカメラの位置お
よび向きの値からその物体のモニタ内表示を算出しモニ
タにオーバレイ表示することにより操作者に物体の存在
を知らせるので、操作者は現在のロボットの移動速度を
維持した場合に衝突することがわかるので、事前に移動
方向を変更することにより衝突を避けることができる。From the current values of the joint angle and angular velocity of the robot, if the current angular velocity is maintained, the value of the robot joint angle after a lapse of a predetermined time is calculated, and after the lapse of the specified time. From the value of the robot joint angle and the shape data, whether or not there is an object approaching the robot within a certain distance after a specified time has elapsed is constantly determined by performing an interference determination calculation. If it is found that there is an object that is close to the robot within a certain distance, the operator can display the object's in-monitor display from the object's shape data and the camera's position and orientation values, and display the overlay on the monitor. Since the operator is informed of the existence of the object, the operator knows that the collision will occur when the current moving speed of the robot is maintained. Therefore, the collision can be avoided by changing the moving direction in advance.
【００２５】また、前記オーバレイ表示部が、物体をモ
ニタにオーバレイ表示するだけでなく、ロボットの形状
データ、ロボットの関節角度およびカメラ位置および向
きの値からロボットのモニタ内表示を算出しモニタにオ
ーバレイ表示することにより、ロボットが作業環境の物
体の背後に位置するために隠れて見えない場合にも、ロ
ボットの現在位置を把握することが可能になり、ロボッ
トが物体の背後に隠れるためにカメラを切り替える必要
がなくなるために作業性を向上させることができる。Further, the overlay display unit not only displays the object on the monitor as an overlay, but also calculates the display in the monitor of the robot from the shape data of the robot, the joint angle of the robot, the value of the camera position and the orientation, and displays the overlay on the monitor. By displaying, even if the robot is hidden behind the object in the work environment and cannot be seen, it is possible to know the current position of the robot, and the camera is hidden to hide behind the object. Workability can be improved because there is no need to switch.
【００２６】モニタを指示装置により指示すると指示さ
れたモニタ内座標値の値が計算機に入力される。モニタ
内座標値の値が入力されると、ロボットの作業環境およ
びロボット自身の形状データとカメラの位置と向きから
指示されたモニタ内座標値に表示されている物体を求
め、形状データ内においてその指示された物体に定義さ
れた座標系原点の変位および姿勢を獲得する。以後、ロ
ボットの関節角度の値および前記指示物体座標系原点の
変位および姿勢の値からロボット先端の指示物体座標で
の相対位置および姿勢を常時計算し、その数値をモニタ
にオーバレイ表示することにより、操作者はロボットを
位置決めする目標の相対変位や迂回しようとしている物
体との相対変位を数値で常時知ることができるために、
画面奥行き方向の変位も含め正確な相対位置の把握が可
能となる。また、指示装置によりモニタを指示するだけ
で、表示する相対変位の対象物体を変更することが可能
であるために、作業状況の変化に伴い、随時対象物体を
変更してゆくことにより、その状況に応じた必要な情報
を得ることができ、ロボットの移動に伴いカメラを随時
切り替えて行く必要もなくなり作業性を向上させること
ができる。When the monitor is instructed by the instructing device, the value of the in-monitor coordinate value instructed is input to the computer. When the in-monitor coordinate value is input, the object displayed at the in-monitor coordinate value indicated from the robot's work environment and the robot's own shape data and the position and orientation of the camera is obtained, and the object is displayed in the shape data. Obtain the displacement and orientation of the coordinate system origin defined for the indicated object. Thereafter, the relative position and the posture of the robot tip at the pointing object coordinates are constantly calculated from the values of the joint angle of the robot and the values of the displacement and the attitude of the pointing object coordinate system origin, and the numerical values are displayed on the monitor by overlay display. Since the operator can always know the relative displacement of the target positioning the robot and the relative displacement with the object trying to detour,
It is possible to accurately grasp the relative position including the displacement in the depth direction of the screen. In addition, since it is possible to change the target object of the relative displacement to be displayed simply by instructing the monitor with the pointing device, by changing the target object at any time as the work situation changes, the situation can be changed. It is possible to obtain the necessary information according to the above, and it is not necessary to switch the camera at any time with the movement of the robot, and the workability can be improved.
【００２７】[0027]
【実施例】以下、図面を参照して本発明の実施例を説明
する。まず図１を参照して本発明の第１実施例を説明す
る。図１に示されるように、ロボットの遠隔操作装置
は、作業環境において作業を行うロボット１と、作業環
境の状況をモニタするための撮影手段２であるテレビカ
メラと、テレビカメラで撮影された画像を作業者が観察
するためのモニタ３と、ロボットの現在の関節角度をロ
ボットコントローラから入力する関節角度入力部４と、
ロボットの作業環境およびロボット自身の形状データを
３次元ソリッドモデルとして有する環境モデル部５と、
ロボットの関節角度の値と形状データから、ロボットと
あらかじめ指定された一定距離以内に接近している物体
が存在するかどうかを判定する干渉判定部６と、干渉判
定部６で一定距離以内に接近している物体が存在するこ
とが判明した場合に、接近物体のモニタ内表示を求めモ
ニタにオーバレイ表示するオーバレイ表示部７から構成
される。Embodiments of the present invention will be described below with reference to the drawings. First, a first embodiment of the present invention will be described with reference to FIG. As shown in FIG. 1, a remote control device for a robot includes a robot 1 that works in a work environment, a television camera that is an image capturing unit 2 for monitoring the status of the work environment, and an image captured by the television camera. A monitor 3 for an operator to observe, a joint angle input unit 4 for inputting a current joint angle of the robot from a robot controller,
An environment model unit 5 having a robot working environment and the shape data of the robot itself as a three-dimensional solid model;
An interference determination unit 6 that determines whether or not there is an object that is within a predetermined distance from the robot based on the joint angle value and the shape data of the robot. When it is determined that a moving object is present, the overlay display unit 7 is configured to obtain an on-monitor display of an approaching object and display an overlay on the monitor.
【００２８】環境モデル部５は、ロボットの作業環境お
よびロボット自身を物体に相当するソリッドの組み合わ
せで表現して保持しており、各ソリッドはそのソリッド
を構成する面・ループ・稜線および頂点のデータを保持
するとともに、そのソリッドに固定された座標系が定義
され、その座標系の基準となる座標系からの変位および
座標変位行列の値を保持している。The environment model unit 5 expresses and holds the work environment of the robot and the robot itself as a combination of solids corresponding to objects, and each solid has data on faces, loops, edges and vertices that form the solid. And a coordinate system fixed to the solid is defined, and the displacement from the coordinate system serving as the reference of the coordinate system and the value of the coordinate displacement matrix are retained.
【００２９】また、各面はその面を構成するループのデ
ータおよびその面の方程式を保持しており、各ループは
そのループを構成する稜線のデータを保持している。各
稜線はその稜線の両端点のデータおよび稜線の両側の面
のデータおよび稜線の両端点に接続されている他の稜線
のデータを保持している。各頂点はその座標値の値を保
持している。従って、形状のソリッドとしての情報を完
全に保持しており、各ソリッド間の干渉の有無の判定に
必要な情報を保持している。Further, each surface holds the data of the loop forming the surface and the equation of the surface, and each loop holds the data of the edge line forming the loop. Each ridge line holds data of both end points of the ridge line, data of surfaces on both sides of the ridge line, and data of other ridge lines connected to both end points of the ridge line. Each vertex holds the value of its coordinate value. Therefore, the information as the solid of the shape is completely held, and the information necessary for determining the presence or absence of the interference between the solids is held.
【００３０】また、作業環境を構成する物体に関して
は、実際の形状と等しくなるようにモデリングされた表
示用ソリッドとともに、実際の形状よりもあらかじめ指
定された距離だけ拡張した形状でモデリングされている
干渉判定用ソリッドが環境モデル部５には含まれてい
る。つまり、作業環境を構成する物体に関しては、全ソ
リッドについて、表示用ソリッドとともに干渉判定用ソ
リッドが存在している。干渉判定用ソリッドの拡張幅は
オーバレイ表示するかどうかの基準となるロボットと作
業環境の物体との距離に等しくしてある。Further, regarding the object constituting the work environment, the interference is modeled with the display solid modeled to be equal to the actual shape and the shape expanded by a predetermined distance from the actual shape. The determination solid is included in the environment model unit 5. In other words, regarding the objects that form the work environment, for all solids, there are interference determination solids as well as display solids. The extension width of the solid for collision determination is set to be equal to the distance between the robot and the object in the work environment, which is a reference for whether or not to display the overlay.
【００３１】また、ロボット１および撮影手段２は、一
般に人間にとって適さない作業環境に設置されており、
作業者はその作業環境から離れた安全な場所でモニタ３
を見ながら、ジョイスティックやマスタアームなどのロ
ボットの動作入力装置によりロボットの動作を指示す
る。Further, the robot 1 and the photographing means 2 are generally installed in a work environment not suitable for humans,
The worker can monitor 3 in a safe place away from the work environment.
While watching, the robot operation is instructed by a robot operation input device such as a joystick or a master arm.
【００３２】次に、図１を参照して本実施例の作用につ
いて説明する。関節角度入力部４は、ロボットコントロ
ーラから一定の時間間隔で関節角度の値を入力する。干
渉判定部６は、関節角度入力部４の出力であるロボット
１の現在の関節角度の値を入力する。Next, the operation of this embodiment will be described with reference to FIG. The joint angle input unit 4 inputs the value of the joint angle from the robot controller at regular time intervals. The interference determination unit 6 inputs the value of the current joint angle of the robot 1, which is the output of the joint angle input unit 4.
【００３３】干渉判定部にはあらかじめロボット１の運
動学方程式が設定されており、関節角度の値からロボッ
トの環境モデル部５に含まれるロボットを構成する各ソ
リッドの座標変換行列の値を算出し設定する。ロボット
を構成する全ソリッドの座標変換行列の値を設定した後
に、環境モデル部５に含まれる作業環境を構成する全干
渉判定用ソリッドとロボットを構成する全ソリッドの間
の干渉判定計算を行う。干渉してる物体が存在する場合
には、ロボットとあらかじめ指定された距離以内に接近
している物体が存在することになる。なぜならば、干渉
判定用ソリッドは実際の形状よりも、あらかじめ指定さ
れた距離だけ拡張した形状にモデリングされているから
である。The kinematic equation of the robot 1 is set in advance in the interference determination unit, and the value of the coordinate conversion matrix of each solid forming the robot included in the environment model unit 5 of the robot is calculated from the value of the joint angle. Set. After setting the values of the coordinate conversion matrices of all the solids that make up the robot, the collision determination calculation is performed between all the solids for collision determination that form the work environment included in the environment model unit 5 and all the solids that make up the robot. When there is an interfering object, it means that there is an object approaching the robot within a predetermined distance. This is because the solid for interference determination is modeled in a shape that is expanded by a predetermined distance from the actual shape.
【００３４】干渉判定部６で干渉している物体が検出さ
れた場合には、その干渉物体名をオーバレイ表示部７に
通知する。オーバレイ表示部はあらかじめ撮影手段２で
あるテレビカメラの位置・姿勢および焦点距離等の値を
保持しており、干渉判定部の出力である干渉物体の表示
用ソリッドの形状データを環境モデル部５から入力し、
投影変換計算を行うことによりモニタでの表示を算出
し、モニタ３にオーバレイ表示する。When the interference determining unit 6 detects an interfering object, the overlay displaying unit 7 is notified of the name of the interfering object. The overlay display unit holds values such as the position / orientation and the focal length of the television camera, which is the photographing means 2, in advance, and the shape data of the solid for display of the interfering object, which is the output of the interference determination unit, is output from the environment model unit 5. Input,
The display on the monitor is calculated by performing the projection conversion calculation, and the overlay display is performed on the monitor 3.
【００３５】従って、ロボットがまわりの作業環境物体
とあらかじめ指定された距離以内に接近すると、モニタ
３にその物体が撮影手段２で撮影された実画像とともに
オーバレイ表示されるために、その状況がモニタ３を常
時注視しながら作業を行っている作業者には一目瞭然に
わかり、衝突する前にロボットの運動方向を変更するこ
とが可能になる。また、作業者の操作によりロボットが
接近物体から遠ざかり、干渉判定部６が接近物体がない
と出力するようになった場合には、オーバレイ表示部７
はオーバレイ表示を中止する。よって、作業者はロボッ
トが接近物体から遠ざかったことがやはり一目瞭然にわ
かる。Therefore, when the robot approaches the surrounding work environment object within a predetermined distance, the object is overlaid on the monitor 3 together with the actual image taken by the imaging means 2, so that the situation is monitored. It is possible for a worker who is working while always gazing at 3 to understand at a glance and to change the movement direction of the robot before the collision. In addition, when the robot moves away from the approaching object by the operation of the operator and the interference determination unit 6 starts to output that there is no approaching object, the overlay display unit 7
Cancels the overlay display. Therefore, the operator can clearly see that the robot has moved away from the approaching object.
【００３６】さらに、あらかじめ指定した距離以内に接
近した場合にはオーバレイ表示がされることがわかって
いるために、作業者は必要以上にロボットとまわりの作
業環境物体との位置関係を把握するために、カメラを切
り替えたりする必要がなくなり、作業性の向上がはから
れる。Further, since it is known that the overlay is displayed when the robot is approached within a predetermined distance, the operator can grasp the positional relationship between the robot and the surrounding work environment object more than necessary. In addition, there is no need to switch cameras, which improves workability.
【００３７】次に図２を参照して本発明の第２実施例に
ついて説明する。図２に示されるように、ロボットの遠
隔操作装置は、作業環境において作業を行うロボット８
と、作業環境の状況をモニタするための撮影手段９であ
るテレビカメラと、テレビカメラで撮影された画像を作
業者が観察するためのモニタ１０と、ロボットの現在の
関節角度および角速度の値から、ロボットコントローラ
から入力する関節角速度の値が維持されたと仮定した場
合に、あらかじめ設定された時刻後のロボット関節角度
の値を算出するロボット未来位置予測部１２と、ロボッ
トの作業環境およびロボット自身の形状データを３次元
ソリッドモデルで有する環境モデル部１３と、ロボット
の関節角度の値と形状データから、ロボットとあらかじ
め指定された一定距離以内に接近している物体が存在す
るかどうかを判定する干渉判定部１４と、干渉判定部１
４で一定距離以内に接近している物体が存在することが
判明した場合に、接近物体のモニタ内表示を求めたモニ
タにオーバレイ表示するオーバレイ表示部１５から構成
される。Next, a second embodiment of the present invention will be described with reference to FIG. As shown in FIG. 2, the remote control device of the robot is a robot 8 that performs work in a work environment.
From the television camera, which is the photographing means 9 for monitoring the condition of the work environment, the monitor 10 for the operator to observe the image photographed by the television camera, and the current joint angle and angular velocity values of the robot. , Assuming that the value of the joint angular velocity input from the robot controller is maintained, the robot future position prediction unit 12 that calculates the value of the robot joint angle after a preset time, the work environment of the robot, and the robot itself Interference for determining whether there is an object approaching the robot within a predetermined distance from the environment model unit 13 having shape data as a three-dimensional solid model and the value of the joint angle of the robot and the shape data. Judgment unit 14 and interference judgment unit 1
When it is determined in 4 that there is an object approaching within a certain distance, the overlay display unit 15 is configured to display an overlay of the approaching object on the monitor which is obtained.
【００３８】環境モデル部１３は、ロボットの作業環境
およびロボット自身を物体に相当するソリッドの組み合
わせで表現して保持しており、各ソリッドはそのソリッ
ドを構成する面・ループ・稜線および頂点のデータを保
持するとともに、そのソリッドに固定された座標系が定
義され、その座標系の基準となる座標系からの変位およ
び座標変換行列の値を保持している。The environment model section 13 expresses and holds the work environment of the robot and the robot itself as a combination of solids corresponding to objects, and each solid has data of faces, loops, ridges and vertices constituting the solid. The coordinate system fixed to the solid is defined, and the displacement from the coordinate system serving as the reference of the coordinate system and the value of the coordinate conversion matrix are retained.
【００３９】また、各面はその面を構成するループのデ
ータおよびその面の方程式を保持しており、各ループは
そのループを構成する稜線のデータを保持している。各
稜線はその稜線の両端点のデータおよび稜線の両側の面
のデータおよび稜線の両端点に接続されている他の稜線
のデータを保持している。各頂点はその座標値の値を保
持している。従って、形状のソリッドとしての情報を完
全保持しており、各ソリッド間の干渉の有無の判定に必
要な情報を保持している。Further, each surface holds the data of the loop forming the surface and the equation of the surface, and each loop holds the data of the edge line forming the loop. Each ridge line holds data of both end points of the ridge line, data of surfaces on both sides of the ridge line, and data of other ridge lines connected to both end points of the ridge line. Each vertex holds the value of its coordinate value. Therefore, the information as the solid of the shape is completely held, and the information necessary for determining the presence or absence of the interference between the solids is held.
【００４０】また、作業環境を構成する物体に関して
は、実際の形状と等しくなるようにモデリングされた表
示用ソリッドとともに、実際の形状よりもあらかじめ指
定された距離だけ拡張した形状でモデリングされている
干渉判定用ソリッドが環境モデル部５には含まれてい
る。つまり、作業環境を構成する物体に関しては、全ソ
リッドについて、表示用ソリッドとともに干渉判定用ソ
リッドが存在している。干渉判定用ソリッドの拡張幅は
オーバレイ表示するかどうかの基準となるロボットと作
業環境の物体との距離に等しくしてある。As for the object constituting the working environment, the interference is modeled with the display solid modeled to be equal to the actual shape and the shape expanded by a predetermined distance from the actual shape. The determination solid is included in the environment model unit 5. In other words, regarding the objects that form the work environment, for all solids, there are interference determination solids as well as display solids. The extension width of the solid for collision determination is set to be equal to the distance between the robot and the object in the work environment, which is a reference for whether or not to display the overlay.
【００４１】また、ロボット８および撮影手段９は、一
般に人間にとって適さない作業環境に設置されており、
作業者はその作業環境から離れた安全な場所でモニタ１
０を見ながらジョイスティックやマスタアームなどのロ
ボットの動作入力装置によりロボットの動作を指示す
る。The robot 8 and the photographing means 9 are generally installed in a work environment that is not suitable for humans.
Workers can monitor in a safe place away from their work environment 1
While watching 0, the robot operation is instructed by a robot operation input device such as a joystick or a master arm.
【００４２】次に、本実施例の作用を図２を参照して説
明する。関節角度角速度入力部１１は、ロボットコント
ローラから一手の時間間隔で関節角度および角速度の値
を入力する。Next, the operation of this embodiment will be described with reference to FIG. The joint angle angular velocity input unit 11 inputs the values of the joint angle and the angular velocity from the robot controller at time intervals of one hand.
【００４３】ロボット未来位置予測部１２は、関節角度
角速度入力部１１の出力であるロボットの関節角度θお
よび各速度ωの値から、角速度ωが一定で維持されたと
仮定した場合の、あらかじめ設定された時間△ｔ経過後
のロボット関節角度θｎを以下のように算出する。The robot future position predicting unit 12 is set in advance on the assumption that the angular velocity ω is maintained constant from the values of the joint angle θ and each velocity ω of the robot which are the outputs of the joint angle angular velocity input unit 11. The robot joint angle θn after the lapse of the time Δt is calculated as follows.
【００４４】 θｎ＝θ＋ω×△ｔ （１） 干渉判定部１４は、ロボット未来位置予測部１２の出力
であるロボット８のあらかじめ設定された時間△ｔ経過
後の関節角度の値を入力する。干渉判定部１４にはあら
かじめロボット８の運動学方程式が設定されており、関
節角度の値からロボットの環境モデル部１３に含まれる
ロボットを構成する各ソリッドの座標変換行列の値を算
出し設定する。ロボット８を構成する全ソリッドの座標
変換行列の値を設定した後に、環境モデル部１３に含ま
れる作業環境を構成する全干渉判定用ソリッドとロボッ
トを構成する全ソリッドの間の干渉判定計算を行う。干
渉している物体が存在する場合には、ロボットとあらか
じめ指定された距離以内に接近している物体が存在する
ことになる。なぜならば、干渉判定用ソリッドは実際の
形状よりも、あらかじめ指定された距離だけ拡張した形
状にモデリングされているからである。Θn = θ + ω × Δt (1) The interference determination unit 14 inputs the value of the joint angle after the preset time Δt of the robot 8, which is the output of the robot future position prediction unit 12. The kinematic equation of the robot 8 is set in advance in the interference determination unit 14, and the value of the coordinate conversion matrix of each solid forming the robot included in the environment model unit 13 of the robot is calculated and set from the value of the joint angle. . After setting the coordinate conversion matrix values of all the solids forming the robot 8, the collision determination calculation between all the solids for determining the interference forming the work environment included in the environment model unit 13 and all the solids forming the robot is performed. . When there is an interfering object, it means that there is an object approaching the robot within a predetermined distance. This is because the solid for interference determination is modeled in a shape that is expanded by a predetermined distance from the actual shape.
【００４５】干渉判定部１４で干渉している物体が検出
された場合には、その干渉物体名をオーバレイ表示部１
５に通知する。オーバレイ表示部１５はあらかじめ撮影
手段９であるテレビカメラの位置・姿勢および焦点距離
等の値を保持しており、干渉判定部１４の出力である干
渉物体の表示用ソリッドの形状データを環境モデル部１
３から入力し、投影変換計算を行うことによりモニタで
の表示を算出し、モニタ１０にオーバレイ表示する。When the interference determining unit 14 detects an interfering object, the name of the interfering object is displayed on the overlay display unit 1.
Notify 5. The overlay display unit 15 holds values such as the position / orientation and the focal length of the television camera, which is the photographing means 9, in advance, and outputs the shape data of the display solid of the interfering object, which is the output of the interference determination unit 14, to the environment model unit. 1
The display on the monitor is calculated by inputting the data from No. 3 and performing the projection conversion calculation, and is displayed on the monitor 10 as an overlay.
【００４６】従って、現在の速度を維持した場合に、ロ
ボット８がまわりの作業環境物体とあらかじめ指定され
た距離以内に接近する状況になると、モニタ１０にその
物体が撮影手段９で撮影された実画像とともにオーバレ
イ表示されるために、その状況がモニタ１０を常時注視
しながら作業を行っている作業者には一目瞭然にわか
り、衝突する前にロボットの運動方向を変更することが
可能になる。また、作業者の操作によりロボットが接近
物体から遠ざかり、干渉判定部１４が接近物体がないと
出力するようになった場合には、オーバレイ表示部１５
はオーバレイ表示部を中止する。よって、作業者はロボ
ットがまわりの作業環境の物体とは衝突しない運動方向
にあることがやはり一目瞭然にわかる。Therefore, when the robot 8 approaches the surrounding work environment object within a predetermined distance while maintaining the current speed, the object photographed by the photographing means 9 on the monitor 10 is taken. Since the image is displayed in an overlay together with the image, the situation can be seen at a glance by an operator who is working while always gazing at the monitor 10, and the movement direction of the robot can be changed before the collision. In addition, when the robot moves away from the approaching object by the operation of the worker and the interference determination unit 14 outputs that there is no approaching object, the overlay display unit 15
Cancels the overlay display. Therefore, the operator can clearly see at a glance that the robot is in the movement direction that does not collide with the objects in the surrounding work environment.
【００４７】さらに、現在の速度を維持した場合にあら
かじめ設定した時間経過後にあらかじめ指定した距離以
内に接近する場合にはオーバレイ表示がされることがわ
かっているために、作業者は必要以上にロボットとまわ
りの作業環境物体との位置関係や現在のロボットの運動
方向を把握するために、カメラを切り替えたりする必要
がなくなり、作業性の向上がはかられる。Further, it is known that when the current speed is maintained and an approach is made within a predetermined distance after a preset time elapses, an overlay display is displayed. It is not necessary to switch the camera in order to grasp the positional relationship between the robot and the surrounding work environment object and the current movement direction of the robot, which improves workability.
【００４８】また、第１実施例と第２実施例とを組み合
わせることにより、あらかじめ指定した距離以内に接近
している物体が存在する場合にはある色でオーバレイ表
示を行い、現在の速度を維持したときにあらかじめ指定
した距離以内に接近する場合には別の色でオーバレイ表
示するようにすることにより、ロボットとまわりの物体
との位置関係およびロボットの運動方向をより詳細に作
業者に通知することが可能になる。By combining the first embodiment and the second embodiment, when there is an object approaching within a predetermined distance, an overlay display is performed in a certain color and the current speed is maintained. If you approach within a specified distance when you do so, you will be notified in more detail of the positional relationship between the robot and the surrounding objects and the direction of movement of the robot by displaying an overlay in a different color. It will be possible.
【００４９】さらに、環境モデル部に含まれるロボット
の形状データ・関節角度の値およびカメラの位置・向き
の値からロボットのモニタ内表示を算出し、モニタにオ
ーバレイ表示することにより、たとえロボットが他の物
体の背後に隠れて見えない位置にいる場合でも、オーバ
レイ表示によりロボット位置を把握することが可能にな
る。その結果、作業者がカメラを切り替える必要が少な
くなるとともに、カメラを切り替えることにより視野方
向の変化による違和感の発生を防ぐことができ、作業性
の向上をはかることができる。Furthermore, by calculating the display in the monitor of the robot from the shape data of the robot / the value of the joint angle and the value of the position / orientation of the camera included in the environment model part, and displaying the overlay on the monitor, even if the robot is different from the others. Even if the robot is hidden behind the object and cannot be seen, the robot position can be grasped by the overlay display. As a result, it becomes less necessary for the operator to switch the camera, and it is possible to prevent discomfort due to a change in the viewing direction by switching the camera, and it is possible to improve workability.
【００５０】次に図３を参照して本発明の第３実施例に
ついて説明する。図３に示されるように、本実施例は、
作業環境において作業を行うロボット１６と、作業環境
の状況をモニタするための撮影手段１７であるテレビカ
メラと、テレビカメラで撮影された画像を作業者が観察
するためのモニタ１８と、モニタ内座標値を指示する指
示装置１９と、指示装置１９により指示されたモニタ内
座標値に表示されている物体の環境モデル部２２で定義
された物体名を求める指示物体算出部２０と、現在の関
節角度をロボットコントローラから入力する関節角度入
力部２１と、ロボットの作業環境およびロボット自身の
形状データを３次元ソリッドモデルで有する環境モデル
部２２と、ロボットの関節角度の値と形状データに含ま
れる指示物体の座標変換行列の値から、ロボット先端の
指示物体座標系での位置および姿勢の値を算出するロボ
ット相対位置算出部２３と、ロボット相対位置算出部２
３で算出された指示物体座標系でのロボット先端位置お
よび姿勢の値をモニタ画面にオーバレイ表示する相対位
置オーバレイ部２４から構成される。Next, a third embodiment of the present invention will be described with reference to FIG. As shown in FIG. 3, in this embodiment,
A robot 16 that works in a work environment, a television camera that is a photographing means 17 for monitoring the situation of the work environment, a monitor 18 for an operator to observe an image photographed by the television camera, and coordinates within the monitor. An indicating device 19 for indicating a value, an indicating object calculating unit 20 for obtaining an object name defined in the environment model unit 22 of the object displayed on the in-monitor coordinate values indicated by the indicating device 19, and a current joint angle Angle input unit 21 for inputting the robot controller from the robot controller, an environment model unit 22 having a three-dimensional solid model of the work environment of the robot and the shape data of the robot itself, and a pointing object included in the joint angle value and the shape data of the robot. Robot relative position calculation that calculates the position and orientation values of the robot tip in the coordinate system of the pointing object from the coordinate transformation matrix values 23, the robot relative position calculation section 2
The relative position overlay unit 24 displays the values of the robot tip position and orientation in the coordinate system of the pointing object calculated in 3 on the monitor screen.
【００５１】環境モデル部２２は、ロボットの作業環境
およびロボット自身を物体に相当するソリッドの組み合
わせで表現して保持しており、各ソリッドはそのソリッ
ドを構成する面・ループ・稜線および頂点のデータを保
持するとともに、そのソリッドに固定された座標系が定
義され、その座標系の基準となる座標系からの変位およ
び座標変換行列の値を保持している。また、各面はその
面を構成するループのデータおよびその面の方程式を保
持しており、各ループはそのループを構成する稜線のデ
ータを保持している。各稜線はその稜線の両端点のデー
タおよび稜線の両側の面のデータおよび稜線の両端点に
接続されている他の稜線のデータを保持している。各頂
点はその座標値の値を保持している。The environment model unit 22 represents and holds the work environment of the robot and the robot itself by a combination of solids corresponding to objects, and each solid has data of faces, loops, ridges and vertices constituting the solid. The coordinate system fixed to the solid is defined, and the displacement from the coordinate system serving as the reference of the coordinate system and the value of the coordinate conversion matrix are retained. Further, each surface holds the data of the loop forming the surface and the equation of the surface, and each loop holds the data of the edge line forming the loop. Each ridge line holds data of both end points of the ridge line, data of surfaces on both sides of the ridge line, and data of other ridge lines connected to both end points of the ridge line. Each vertex holds the value of its coordinate value.
【００５２】また、ロボット１６および撮影手段１７
は、一般に人間にとって適さない作業環境に設置されて
おり、作業者はその作業環境から離れた安全な場所でモ
ニタ１８を見ながらジョイスティックやマスタアームな
どのロボットの動作入力装置によりロボットの動作を指
示する。Further, the robot 16 and the photographing means 17
Is generally installed in a work environment that is not suitable for humans, and an operator instructs a robot operation by a robot operation input device such as a joystick or a master arm while looking at the monitor 18 in a safe place away from the work environment. To do.
【００５３】次に、本実施例の作用を図３を参照して説
明する。作業者が指示装置１９を用いてモニタ１８を指
示すると、指示されたモニタ内座標値の値が指示物体算
出部２０に入力される。指示装置１９は通常、計算機の
マウスやタッチペンなどである。指示物体算出部２０で
は、あらかじめ設定されたカメラの位置・向きおよび焦
点距離の値などと環境モデル部２２に含まれる形状デー
タから、指示装置１９で指示されたモニタ内座標値に表
示されている物体を求める。Next, the operation of this embodiment will be described with reference to FIG. When the operator uses the instruction device 19 to instruct the monitor 18, the instructed in-monitor coordinate values are input to the instructed object calculation unit 20. The pointing device 19 is typically a computer mouse, a touch pen, or the like. The pointing object calculation unit 20 displays the in-monitor coordinate values instructed by the pointing device 19 based on the preset position / orientation of the camera, the focal length value, and the shape data included in the environment model unit 22. Ask for an object.
【００５４】以下に指示されたモニタ内座標値に表示さ
れている物体を求める方法を説明する。A method for obtaining the object displayed at the in-monitor coordinate values designated will be described below.
【００５５】まずカメラの位置・向きおよび焦点距離な
どの値と環境モデル部２２に含まれる形状データから、
代表的な陰面消去法であるＺバッファ法で用いられるＺ
バッファを計算する。つまり、モニタの分解能の大きさ
の配列を用意し、配列の各要素をモニタの各画素に対応
させ、各画素に表示されている物体のスクリーン座標で
奥行き方向座標値であるＺ値を各配列要素に記憶させ
る。スクリーン座標とは、モニタ画面内にＸＹ軸を、モ
ニタ画面と垂直方向にＺ軸をとり、モニタ画面中心を原
点にとる座標系のことである。また、この配列をＺバッ
ファと呼ぶ。通常、陰面消去ではＺバッファの各要素に
ＲＧＢの色を表すデータおよびＺ値を記憶させるが、こ
こでは色データのかわりに表示されている物体のソリッ
ド名を記憶させる。このようなＺバッファをあらかじめ
計算し記憶しておくことにより、指示装置１９で指示さ
れたモニタ内座標値におけるＺバッファの値を参照する
だけで指示された物体名を求めることができる。なお、
カメラの向きや倍率を変更した場合には、Ｚバッファを
再計算する必要がある。First, from the values such as the position and orientation of the camera and the focal length, and the shape data included in the environment model section 22,
Z used in the Z-buffer method, which is a typical hidden surface removal method
Calculate the buffer. In other words, an array having the size of the resolution of the monitor is prepared, each element of the array is made to correspond to each pixel of the monitor, and the Z value which is the coordinate value in the depth direction at the screen coordinates of the object displayed at each pixel is arranged at each array. Remember the element. The screen coordinates are a coordinate system having an XY axis in the monitor screen, a Z axis in a direction perpendicular to the monitor screen, and a monitor screen center as an origin. Moreover, this array is called a Z buffer. Normally, in hidden surface erasing, data representing RGB colors and Z values are stored in each element of the Z buffer. Here, the solid name of the displayed object is stored instead of the color data. By previously calculating and storing such a Z buffer, the instructed object name can be obtained only by referring to the value of the Z buffer at the in-monitor coordinate value instructed by the instructing device 19. In addition,
If the camera orientation or magnification is changed, the Z buffer needs to be recalculated.
【００５６】ロボット相対位置算出部２３では、関節角
度入力部２１からロボットの関節角度の値を入力し、あ
らかじめ設定されているロボット１６の運動学方程式を
計算することにより、基準となる座標系でのロボット１
６の先端位置および姿勢の値を計算した後に、指示物体
算出部２０の出力である指示物体の座標変換行列を環境
モデル部２２から入力し、座標変換計算を行うことによ
り、指示物体の座標系でのロボット先端位置および姿勢
の値を算出する。In the robot relative position calculation unit 23, the value of the joint angle of the robot is input from the joint angle input unit 21 and the preset kinematic equation of the robot 16 is calculated so that the reference coordinate system is obtained. Robot 1
After calculating the values of the tip position and orientation of No. 6, the coordinate transformation matrix of the pointing object, which is the output of the pointing object calculation unit 20, is input from the environment model unit 22, and the coordinate transformation calculation is performed, whereby Calculate the values of the robot tip position and posture at.
【００５７】相対位置オーバレイ部２４では、ロボット
相対位置算出部２３の出力である指示物体の座標系での
ロボット先端位置および姿勢の値をモニタにオーバレイ
表示する。従って、作業者は撮影手段１７であるテレビ
カメラで撮影された作業環境が表示されているモニタを
注視しながら作業を行いながら、オーバレイ表示されて
いる指示装置により指示した物体とロボット先端との相
対変位の値を見ることとができる。モニタ画面からは奥
行き方向の位置関係が把握できにくいことが多いが、以
上のようにその場の状況で重要となる物体との相対位置
が数値でモニタ上に表示させることにより、作業者は相
対位置変位を数値として正確に把握することが可能にな
り、カメラをいろいろ切り替えて位置関係を把握する必
要がなくなり、作業性の向上をはかることができる。In the relative position overlay unit 24, the values of the robot tip position and orientation in the coordinate system of the pointing object, which are the outputs of the robot relative position calculation unit 23, are displayed on the monitor as an overlay. Therefore, the worker performs the work while gazing at the monitor on which the work environment photographed by the television camera, which is the photographing means 17, is displayed, and the object indicated by the indicating device displayed on the overlay is relatively moved to the robot tip. You can see the value of the displacement. It is often difficult to grasp the positional relationship in the depth direction from the monitor screen, but as described above, by displaying the relative position with the object that is important in the situation of the situation on the monitor numerically, the operator can It is possible to accurately grasp the positional displacement as a numerical value, and it is not necessary to switch the cameras variously to grasp the positional relationship, and it is possible to improve workability.
【００５８】また、マウスやタッチペンなどの指示装置
によりモニタを指示するだけで、モニタ画面に表示する
相対座標値の対象となる物体を変更することが可能であ
るので、ロボットの移動に伴い随時対象物体を変更して
ゆくことにより、ひとつのカメラによる画面を見続ける
ことにより作業を遂行することも可能になる。ひとつの
カメラによる画面で作業を実行することにより、カメラ
切り替えによる時間が節約できるだけでなく、カメラ切
り替えによる視野方向の変化やカメラ視野方向とジョイ
スティックなどの操作方向の違いによる違和感の発生を
防ぐことができ、作業性の向上がはかられる。なお、座
標値の値はモニタ画面上にオーバレイ表示できない場合
には隣接する計算機画面等に表示してもかまわない。ま
た、第一の実施例および第二の実施例と組み合わせるこ
とが可能である。Further, since it is possible to change the target object of the relative coordinate value displayed on the monitor screen by only pointing the monitor with a pointing device such as a mouse or a touch pen, the target object can be changed as the robot moves. By changing the object, it becomes possible to carry out the work by keeping looking at the screen by one camera. By performing the work on the screen with one camera, not only can you save time by switching the cameras, but you can also prevent changes in the viewing direction due to the camera switching and the occurrence of discomfort due to the difference between the camera viewing direction and the operating direction of the joystick etc. The workability can be improved. The coordinate values may be displayed on an adjacent computer screen or the like if overlay display is not possible on the monitor screen. In addition, it is possible to combine the first embodiment and the second embodiment.
【００５９】[0059]
【発明の効果】以上説明したように、本発明の構成によ
れば、ロボットの作業環境およびロボット自身の形状デ
ータを利用し、近接物体などの各種情報を作業環境の実
画像にオーバレイ表示することにより、モニタ画面を通
しての作業における立体感の喪失などの情報の欠落を補
い、ロボットの遠隔操作における作業性の向上をはかる
ことができる。As described above, according to the configuration of the present invention, the work environment of the robot and the shape data of the robot itself are used to display various information such as a near object on an actual image of the work environment in an overlay manner. Thus, it is possible to compensate for the lack of information such as the loss of the three-dimensional effect in the work through the monitor screen and improve the workability in the remote operation of the robot.
【図１】本発明のロボットの遠隔操作装置の第１実施例
の構成を示すブロック図。FIG. 1 is a block diagram showing the configuration of a first embodiment of a remote control device for a robot according to the present invention.
【図２】本発明のロボットの遠隔操作装置の第２実施例
の構成を示すブロック図。FIG. 2 is a block diagram showing the configuration of a second embodiment of the robot remote control device of the present invention.
【図３】本発明のロボットの遠隔操作装置の第３実施例
の構成を示すブロック図。FIG. 3 is a block diagram showing the configuration of a third embodiment of the robot remote control device of the present invention.
１ ロボット ２ 撮影手段 ３ モニタ ４ 関節角度入力部 ５ 環境モデル部 ６ 干渉判定部 ７ オーバレイ表示部 ８ ロボット ９ 撮影手段 １０ モニタ １１ 関節角度角速度入力部 １２ ロボット未来位置予測部 １３ 環境モデル部 １４ 干渉判定部 １５ オーバレイ表示部 １６ ロボット １７ 撮影手段 １８ モニタ １９ 指示装置 ２０ 指示物体算出部 ２１ 関節角度入力部 ２２ 環境モデル部 ２３ ロボット相対位置算出部 ２４ 相対位置オハーレス部 1 Robot 2 Imaging means 3 Monitor 4 Joint angle input section 5 Environment model section 6 Interference determination section 7 Overlay display section 8 Robot 9 Imaging means 10 Monitor 11 Joint angle angular velocity input section 12 Robot future position prediction section 13 Environmental model section 14 Interference determination Part 15 Overlay display part 16 Robot 17 Imaging means 18 Monitor 19 Pointing device 20 Pointing object calculation part 21 Joint angle input part 22 Environment model part 23 Robot relative position calculation part 24 Relative position oherless part
Claims (1)
するロボットの遠隔操作装置において、ロボットの作業
環境を撮影する撮影手段と、ロボットの作業環境および
ロボット自身の形状データを有する環境モデル部と、ロ
ボットの現在の関節角度を関節角度センサの信号値とし
て入力する関節角度入力部と、ロボットからの一定距離
以内に物体がないかどうかをロボットの関節角度と前記
形状データとから判定する干渉判定部と、ロボットから
の一定距離以内に物体がある場合に、前記形状データと
前記撮影手段の位置および向きとからこの物体の画像を
計算機により演算するオーバレイ表示部と、前記撮影手
段により撮影された実画像と前記オーバレイ表示部の画
像とをオーバレイ表示することが可能なモニタと、を備
えることを特徴とするロボットの遠隔操作装置。1. A remote control device for a robot for remotely controlling a robot arranged at a remote location, and a photographing means for photographing a work environment of the robot, and an environment model section having a work environment of the robot and shape data of the robot itself. , A joint angle input unit for inputting the current joint angle of the robot as a signal value of the joint angle sensor, and whether or not there is an object within a certain distance from the robot, the joint determination of the robot and the shape data Section and an object within a certain distance from the robot, an overlay display section for calculating an image of this object by a computer from the shape data and the position and orientation of the image capturing means, and the image captured by the image capturing means. A monitor capable of displaying an overlay of an actual image and the image of the overlay display section. That robot of the remote control device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17527793A JP3376029B2 (en) | 1993-07-15 | 1993-07-15 | Robot remote control device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17527793A JP3376029B2 (en) | 1993-07-15 | 1993-07-15 | Robot remote control device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0724767A true JPH0724767A (en) | 1995-01-27 |
| JP3376029B2 JP3376029B2 (en) | 2003-02-10 |
Family
ID=15993324
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP17527793A Expired - Fee Related JP3376029B2 (en) | 1993-07-15 | 1993-07-15 | Robot remote control device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3376029B2 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002219684A (en) * | 2001-01-24 | 2002-08-06 | Fuji Electric Co Ltd | System for monitoring robot |
| JP2003103038A (en) * | 2001-09-28 | 2003-04-08 | Ishikawajima Harima Heavy Ind Co Ltd | Robot game system |
| JP2009006410A (en) * | 2007-06-26 | 2009-01-15 | Fuji Electric Systems Co Ltd | Remote operation support device and remote operation support program |
| JP2020069572A (en) * | 2018-10-31 | 2020-05-07 | ファナック株式会社 | Robot system |
| CN115519546A (en) * | 2022-10-25 | 2022-12-27 | 中国科学院国家空间科学中心 | Space and ground collaborative space scientific experiment robot based on intelligent vision |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017109912A1 (en) | 2015-12-24 | 2017-06-29 | オリンパス株式会社 | Medical manipulator system and image display method for same |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01209505A (en) * | 1988-02-17 | 1989-08-23 | Toshiba Corp | Teaching device for remote control robot |
| JPH02116494A (en) * | 1988-10-24 | 1990-05-01 | Fujitsu Ltd | Remote control device for robot |
| JPH02180581A (en) * | 1988-12-29 | 1990-07-13 | Fujitsu Ltd | Remote control device for robot |
| JPH0355194A (en) * | 1989-07-21 | 1991-03-08 | Fujitsu Ltd | Remote operating device for robot |
| JPH03213278A (en) * | 1990-01-12 | 1991-09-18 | Fujitsu Ltd | Remote control support system for robot |
| JPH0577174A (en) * | 1991-09-20 | 1993-03-30 | Nec Corp | Robot control device |
-
1993
- 1993-07-15 JP JP17527793A patent/JP3376029B2/en not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01209505A (en) * | 1988-02-17 | 1989-08-23 | Toshiba Corp | Teaching device for remote control robot |
| JPH02116494A (en) * | 1988-10-24 | 1990-05-01 | Fujitsu Ltd | Remote control device for robot |
| JPH02180581A (en) * | 1988-12-29 | 1990-07-13 | Fujitsu Ltd | Remote control device for robot |
| JPH0355194A (en) * | 1989-07-21 | 1991-03-08 | Fujitsu Ltd | Remote operating device for robot |
| JPH03213278A (en) * | 1990-01-12 | 1991-09-18 | Fujitsu Ltd | Remote control support system for robot |
| JPH0577174A (en) * | 1991-09-20 | 1993-03-30 | Nec Corp | Robot control device |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002219684A (en) * | 2001-01-24 | 2002-08-06 | Fuji Electric Co Ltd | System for monitoring robot |
| JP2003103038A (en) * | 2001-09-28 | 2003-04-08 | Ishikawajima Harima Heavy Ind Co Ltd | Robot game system |
| JP2009006410A (en) * | 2007-06-26 | 2009-01-15 | Fuji Electric Systems Co Ltd | Remote operation support device and remote operation support program |
| JP2020069572A (en) * | 2018-10-31 | 2020-05-07 | ファナック株式会社 | Robot system |
| US11126859B2 (en) | 2018-10-31 | 2021-09-21 | Fanuc Corporation | Robot system |
| CN115519546A (en) * | 2022-10-25 | 2022-12-27 | 中国科学院国家空间科学中心 | Space and ground collaborative space scientific experiment robot based on intelligent vision |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3376029B2 (en) | 2003-02-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6420229B2 (en) | A robot system including a video display device that superimposes and displays an image of a virtual object on a video of a robot | |
| JP6445092B2 (en) | Robot system displaying information for teaching robots | |
| JP5390813B2 (en) | Spatial information display device and support device | |
| JPH06317090A (en) | Three-dimensional display device | |
| RU2012142510A (en) | ROBOTIC SURGICAL SYSTEMS WITH IMPROVED MANAGEMENT | |
| JP6807280B2 (en) | Remote work robot control system and remote work robot control method | |
| JP6947101B2 (en) | Remote control system and main control device | |
| JP2004213673A (en) | Toughened reality system and method | |
| JP2014079824A (en) | Work screen display method and work screen display device | |
| JP2006113858A (en) | Method and system for supporting remote operation for mobile object | |
| JPH08132372A (en) | Control method for robot | |
| US11618166B2 (en) | Robot operating device, robot, and robot operating method | |
| CN111487946A (en) | Robot system | |
| JPH0811071A (en) | Controller for manipulator | |
| JPH0724767A (en) | Remote control device for robot | |
| JPH05318361A (en) | Method for manipulating object | |
| JP2778376B2 (en) | Camera viewpoint change method | |
| JP2654899B2 (en) | Teaching device for operation type manipulator and automatic operation method using operation type manipulator | |
| JPH03213278A (en) | Remote control support system for robot | |
| JP2018164223A (en) | Display system | |
| KR20160094105A (en) | Robot control visualization apparatus | |
| JP2520660B2 (en) | Remotely operated manipulator device | |
| WO2020203819A1 (en) | Remote operating device | |
| JPH10249786A (en) | Manipulator control device and operation supporting device | |
| Brooks et al. | Operator vision aids for space teleoperation assembly and servicing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20021115 |
|
| LAPS | Cancellation because of no payment of annual fees |