JPH01131904A - Robot operation supporting system - Google Patents

Robot operation supporting system

Info

Publication number
JPH01131904A
JPH01131904A JP19110287A JP19110287A JPH01131904A JP H01131904 A JPH01131904 A JP H01131904A JP 19110287 A JP19110287 A JP 19110287A JP 19110287 A JP19110287 A JP 19110287A JP H01131904 A JPH01131904 A JP H01131904A
Authority
JP
Japan
Prior art keywords
work
robot
motion
input means
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP19110287A
Other languages
Japanese (ja)
Other versions
JPH07104697B2 (en
Inventor
Tomoyuki Hamada
浜田 朋之
Koji Kameshima
亀島 鉱二
Ikuo Takeuchi
郁雄 竹内
Yuriko Ogawa
小川 優理子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP19110287A priority Critical patent/JPH07104697B2/en
Publication of JPH01131904A publication Critical patent/JPH01131904A/en
Publication of JPH07104697B2 publication Critical patent/JPH07104697B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Numerical Control (AREA)
  • Manipulator (AREA)

Abstract

PURPOSE:To easily give an action in a short time by designating the main points of work on a robot by selecting a reference point displayed sequentially, etc. CONSTITUTION:A work interpretation device 5 which interprets the operation request of a person at the level of the work, and an action generating device 7 which converts a work content interpreted by the device 5 to concrete action data are provided. Also, a work environmental map 1 and work knowledge 6 to supply required information to those devices are prepared. Therefore, indication can be issued at the level of the work, not the action. The person can operate the robot only by supplying the main points of the work without considering detailed actions. In such a way, it is possible to give the action easily in a short time.

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明はロボット操作支援システムに係り、特に高度な
知的処理装置の支援のもとで簡単な操作手段により短時
間でロボットに動作を与えるためのオンラインロボット
操作支援システムに関する。
[Detailed Description of the Invention] [Field of Industrial Application] The present invention relates to a robot operation support system, and particularly to a robot operation support system that allows robots to operate in a short time using simple operation means with the support of an advanced intelligent processing device. Regarding an online robot operation support system for

〔従来の技術〕[Conventional technology]

従来、ロボットに動作を与える方法としては、ロボット
の制御装置に連結されたティーチング・ボックスや人間
の手によって実際のロボットを動かしながら位置を記憶
させておき、それらを順次読み出すことにより動作させ
るダイレクトティーチ方式、ロボット、言語などにより
プログラムの形で動作を記述し、これにより動かす方式
、あるいは操縦用のアーム(マスタアーム)を備え、こ
れとロボットの動きを連動させることによりロボットを
動かすマスタ・スレーブ方式によるもの(東芝 橋本ほ
か: 「双腕マスタスレーブマニピュレータの開発」、
第4回日本ロボット学会予稿集、P73−80.198
6など)がある。また、計算機を用いて操作するもので
は、計算機の画面上に表示されたロボットをマスタアー
ムとして操作するもの(電総研 松井、塚本: 「ロボ
ット用マルチメディアデイスプレィJ、第4回日本ロボ
ット学会予稿集、p287−288.1986.特開昭
61−79589など)、画面上のロボットに対してダ
イレクトティーチのような形で教示を行うもの(特開昭
6l−177578)、画面上に作業対象物の図面を表
示させ、そこに座標値などにより指定された点をもとに
位置・姿勢を計算するもの(特開昭61−199108
、特開昭6O−97409)がある。
Conventionally, the method of giving motion to a robot is direct teaching, in which positions are memorized while the actual robot is moved by a teaching box connected to the robot's control device or by human hands, and the locations are sequentially read out to make the robot operate. A method in which the motion is described in the form of a program using a system, robot, language, etc., and the robot is moved by this method, or a master-slave method in which the robot is moved by having a control arm (master arm) and linking the movement of the robot with this. (Toshiba Hashimoto et al.: "Development of dual-arm master-slave manipulator",
Proceedings of the 4th Robotics Society of Japan, P73-80.198
6 etc.). In addition, among those operated using a computer, the robot displayed on the computer screen is operated as a master arm (Electric Research Institute, Matsui, Tsukamoto: ``Multimedia Display for Robots J, Proceedings of the 4th Robotics Society of Japan''). , p.287-288.1986. JP-A-61-79589, etc.), a method that teaches a robot on a screen in a form similar to direct teaching (JP-A-61-177578), A method that displays a drawing and calculates the position and orientation based on points specified by coordinate values etc. (Japanese Patent Laid-Open No. 61-199108)
, Japanese Unexamined Patent Publication No. 6O-97409).

〔発明が解決しようとする問題点〕[Problem that the invention seeks to solve]

ところが、上記従来技術には次のような問題点がある。 However, the above conventional technology has the following problems.

まず、ダイレクトティーチ方式では−っの動作を与える
ために多くの位置を教示する必要があり、かつそれぞれ
の位置を正確に与える必要があるため教示に多大の手間
と時間を要する。
First, in the direct teaching method, it is necessary to teach many positions in order to give the motion, and each position must be given accurately, so the teaching requires a lot of effort and time.

また、ロボット言語による方法では文字と数値によって
動作を記述するため、実際のロボットの動きを想像しに
くく、かつ言語の文法や座標系の取り決め、座標系の変
換手順などを熟知している必要があり、目的の動作を与
えるために高度な知識と思考を必要とする。
In addition, methods using robot language describe movements using characters and numbers, which makes it difficult to imagine the movements of an actual robot, and requires a thorough knowledge of the language's grammar, coordinate system conventions, coordinate system conversion procedures, etc. Yes, and requires advanced knowledge and thinking to provide the desired behavior.

一方マスク・スレーブ方式では簡易に動作を与えること
ができるが、人間の手の動きがそのままロボットの動き
となるため失敗が許されない。また、精密な位置合わせ
を含む動作を行わせる場合。
On the other hand, with the mask-slave method, it is possible to easily give motions, but failure is not an option because the human hand motions become the robot's motions. Also, when performing operations that involve precise positioning.

操作者は十分な注意を払わねばならず、操作に熟練を要
する。
The operator must pay sufficient attention and the operation requires skill.

これに対し、計算機を用いてロボットを操作するもので
は、教示された動作を画面上に再現し。
On the other hand, robots that use computers to operate the robot reproduce the taught movements on the screen.

その動作を確認するシミュレーションの機能を備えたも
のは多くみられる。しかし、動作を与える機能としては
教示用のロボットやマスク・アームを画面上のロボット
で置き換えただけのものが多く、正確な位置や細かい動
きを何等かの形で与えなければならない点は改善されて
いない。また、動作のシミュレーションについては、与
えられた動作データの通りにロボットが動いた場合の動
きを再現するものであり、ロボットの重量や把持物体の
重さによる慣性力の影響などを考慮した正確な動作の再
現をするものはない。
Many of them are equipped with a simulation function to check their operation. However, most of the functions that provide motion are simply replacing the teaching robot or mask arm with a robot on the screen, and the need to provide precise positions and detailed movements in some form has not been improved. Not yet. In addition, motion simulation is a method that reproduces the motion of the robot when it moves according to the given motion data, and it is an accurate simulation that takes into account the influence of inertial force due to the weight of the robot and the weight of the object it is grasping. There is nothing that can reproduce the behavior.

本発明は、かかる従来の問題点に鑑みてなされたもので
、その目的は、正確な位置や細かい動きを与える必要な
く、目的の動作を簡単で分かりやすい手段により短時間
に与えることができると共に、更には実際にロボットを
動かす前に慣性力の影響も含めた正確なロボットの動作
を再現し、ロボットを安全に操作することのできるロボ
ット操作支援システムを提供することにある。
The present invention has been made in view of such conventional problems, and its purpose is to be able to provide a desired motion in a short time by simple and easy-to-understand means, without requiring precise positions or detailed movements. Furthermore, it is an object of the present invention to provide a robot operation support system capable of safely operating a robot by accurately reproducing the motion of the robot, including the influence of inertial force, before actually moving the robot.

〔問題点を解決するための手段〕[Means for solving problems]

上記目的を達成するために本発明は、ロボット、文字人
力手段1位置入力手段、グラフィックス表示装置からな
るロボット操作システムにおいて、文字入力手段により
入力される作業名とグラフィックス画面に表示され、位
置入力手段と連動する画面上のロボットの操作から操作
者の作業意図を判断し、順次必要な参照点を表示し、か
つ作業意図に即した作業メツセージを生成する作業解釈
装置と、生成された作業メツセージをロボット機構の駆
動に適した動作データに変換し、実際のロボットに渡す
動作生成装置と、上記作業解釈装置と動作生成装置に必
要な情報を供給する作業環境地図と作業知識とを備えた
構成としたものである。
In order to achieve the above object, the present invention provides a robot operating system comprising a robot, a character input means, a position input means, and a graphics display device, in which a work name inputted by the character input means is displayed on a graphics screen, and the position A work interpretation device that determines an operator's work intention from the operation of a robot on a screen linked to an input means, sequentially displays necessary reference points, and generates a work message in accordance with the work intention, and the generated work. It is equipped with a motion generation device that converts the message into motion data suitable for driving a robot mechanism and passes it to the actual robot, and a work environment map and work knowledge that supply necessary information to the work interpretation device and motion generation device. It is structured as follows.

また本発明は、動作生成装置からロボットに動作データ
を渡す途中に切り換えスイッチを設け、実際にロボット
を駆動する前に動力学シミュレータによるシミュレーシ
ョンを行い、その結果を上記グラフィックス画面に表示
し動作の妥当性を確認する手段を僅えたことを望ましい
構成とするものである。
In addition, the present invention provides a changeover switch in the middle of passing motion data from the motion generation device to the robot, and before actually driving the robot, a simulation is performed using a dynamics simulator, and the results are displayed on the above-mentioned graphics screen to control the motion. It is desirable to have fewer means for checking validity.

〔作用〕[Effect]

かかる構成においては、人間とロボットとの間に動作で
はなく作業(ある目的を達成するための−まとまりの動
き)のレベルで人間の操作要求を解釈する作業解釈装置
が設けられ、それにより解釈された作業内容を具体的な
動作データに変換する動作生成装置が設けられる。また
、それらの装置に必要な情報を与えるための作業環境地
図と作業知識が用意される。したがって、動作ではなく
作業のレベルで指示することができるので、人間は細か
い動作を考えることなく作業の要点をロボットに与える
だけで、ロボットを動かすことが可能となる。
In such a configuration, a task interpretation device is provided between the human and the robot that interprets the human operation request at the level of the task (a group of movements to achieve a certain purpose) rather than the operation. A motion generation device is provided that converts the work content into concrete motion data. In addition, a work environment map and work knowledge are prepared to provide necessary information to these devices. Therefore, since instructions can be given at the level of work rather than movement, humans can make the robot move by simply giving the main points of the work to the robot without having to think about detailed movements.

また、望ましい構成の組合せによれば、動力学のシミュ
レーションを行うシミュレータが設けられ、生成された
動作データをロボットに渡す前にこのシミュレータによ
る動作のシミュレーションが行われ、動作が確認される
。したがって、動力学のシミュレーションによりロボッ
トや把持物体の慣性力も考慮した動きを事前に見ること
が可能となる。
According to a desirable combination of configurations, a simulator for simulating dynamics is provided, and the simulator performs a motion simulation to confirm the motion before passing the generated motion data to the robot. Therefore, through dynamic simulation, it is possible to see in advance the movement of the robot or the grasped object, taking into account the inertial force.

〔実施例〕〔Example〕

以下、本発明の実施例を図について説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.

なお、第1図は本発明の一実施例の全体構成を示す図、
第2図は画面上のカーソルの動きを説明する図、第3図
は作業指示の入力手順を説明する図。
Note that FIG. 1 is a diagram showing the overall configuration of an embodiment of the present invention,
FIG. 2 is a diagram for explaining the movement of a cursor on the screen, and FIG. 3 is a diagram for explaining the procedure for inputting work instructions.

第4図(a) 、 (b) 、 (c) 、 (d)は
作業指示の入力と共に変化するグラフィックス表示装置
の画面を説明する図、第5図は作業知識の中身を説明す
る図である。
Figures 4 (a), (b), (c), and (d) are diagrams explaining the screen of the graphics display device that changes as work instructions are input, and Figure 5 is a diagram explaining the contents of work knowledge. be.

第1図において、1は作業環境地図で、この中にはこの
システムで操作されるロボットの構造情報101と性質
情報102、及びロボットが作業する環境に存在する作
業対象物、障害物などの物体の構造情報103と性質情
報104が記憶されている。2はグラフィックスの表示
装置であり、ロボットや物体の構造情報101,103
をもとにそれらが作業環境地図1に指定された形で3次
元的に配置されている様子をある視点から見た透視投影
変換像として表示する。この視点は、4の文字入力手段
により与えられるコマンドによって変えることができる
。3はマウス、ジョイスティックなどによる位置の入力
手段であり、表示装置2の画面上には第4図(a)に示
されるように位置入力手段3により入力される位置情報
と連動するカーソル202が表示される。このカーソル
202は位置入力手段3により与えられる位置情報によ
り決まる作業環境地図中での3次元座標位置に描かれた
正方形のような目印の透視投影変換像として表示される
。また、表示装置2の画面上のロボット201は、カー
ソル202の位置をグリッパの先端位置として逆変換の
手法により計算される関節角による姿勢で表示され、結
果的にあたかも位置入力手段3と連動して動くように表
示される。この時101の構造情報の中の関節角値もロ
ボット201の動きと共に書き換えられる。
In FIG. 1, reference numeral 1 is a work environment map, which includes structural information 101 and property information 102 of the robot operated by this system, as well as objects such as work objects and obstacles that exist in the environment in which the robot works. Structure information 103 and property information 104 are stored. 2 is a graphics display device, which displays structural information 101, 103 of robots and objects;
Based on this, the three-dimensional arrangement of the work environment map 1 as specified in the work environment map 1 is displayed as a perspective projection image viewed from a certain viewpoint. This viewpoint can be changed by commands given by the character input means 4. Reference numeral 3 denotes a position input means such as a mouse or a joystick, and a cursor 202 is displayed on the screen of the display device 2, as shown in FIG. be done. The cursor 202 is displayed as a perspective projection image of a square-like landmark drawn at a three-dimensional coordinate position in the work environment map determined by the position information provided by the position input means 3. Furthermore, the robot 201 on the screen of the display device 2 is displayed in a posture based on joint angles calculated by an inverse transformation method with the position of the cursor 202 as the gripper tip position, and as a result, the robot 201 is displayed as if it were linked with the position input means 3. The screen appears to move. At this time, the joint angle values in the structure information 101 are also rewritten along with the movement of the robot 201.

3次元上の位置・姿勢に関してロボットに冗長な自由度
がある場合には、位置入力手段3による動きに対して一
部のパラメータを変換させ、残りはコマンドにより変更
したり、変化するパラメータを切り替えることにより対
処する。カーソル202の位置がロボットの可動範囲を
越える場合は、カーソル202がそれ以上その外に動か
ないよう表示される。
If the robot has redundant degrees of freedom regarding its three-dimensional position and orientation, some parameters are converted in response to the movement by the position input means 3, and the rest are changed by commands or the parameters to be changed are switched. This will be dealt with by If the position of the cursor 202 exceeds the movable range of the robot, the cursor 202 is displayed so as not to move beyond that range.

位置入力手段3としては3次元の位置を入力できるもの
が適するが、マウスのような2次元の入    □力装
置を考えた場合、カーソル202は2次元位置情報から
の3次元入力を可能とするため、例えば第2図のように
その時点でカーソル202が動くことのできる拘束平面
内に含まれる正方形の透視投影変換像として表示され、
位置入力手段3上に設けられたボタンなどの入力により
、拘束平面がxZ平面からXY平面へというように変化
する。
As the position input means 3, one that can input a three-dimensional position is suitable, but when considering a two-dimensional input device such as a mouse, the cursor 202 enables three-dimensional input from two-dimensional position information. Therefore, as shown in FIG. 2, for example, the cursor 202 is displayed as a perspective projection transformed image of a square included within the constraint plane in which it can move,
By inputting a button or the like provided on the position input means 3, the constraint plane changes from the xZ plane to the XY plane.

また、この拘束平面の変化によるカーソル形状の変化に
より操作者は拘束平面を空間的に知覚することができる
Furthermore, the operator can spatially perceive the constraint plane by changing the shape of the cursor due to the change in the constraint plane.

文字入力手段4は表示装置2や作業解釈装置5にコマン
ドや作業名を与える機能を果すものであればよい。従っ
て、キーボードのようなボタンが配置された装置であっ
てもよいし1表示装置2の画面上に表示されたメニュー
の中から位置入力手段3により選択するものでもよい。
The character input means 4 may be any device as long as it has the function of giving commands and work names to the display device 2 and work interpretation device 5. Therefore, it may be a device such as a keyboard on which buttons are arranged, or it may be a device in which selection is made using the position input means 3 from a menu displayed on the screen of the display device 2.

作業解釈装置5は文字入力手段4により与えられる作業
名に対して1作業知識6に記憶されてぃるその作業に関
する作業解釈知ia 601に従って作業を行う際に操
作者が指定すべき参照点を求め、その具体的な3次元位
置座標を作業環境地図1を利用して求め適宜表示装置2
の画面に表示したり。
The work interpretation device 5 inputs reference points to be specified by the operator when performing the work according to the work interpretation knowledge 601 related to the work stored in the 1 work knowledge 6 for the work name given by the character input means 4. The specific three-dimensional position coordinates are determined using the work environment map 1 and displayed on the display device 2 as appropriate.
or display it on the screen.

作業指示が完了した段階でその作業指示に対応した作業
メツセージを動作生成装置7へ渡す処理を行う。
When a work instruction is completed, a process is performed to pass a work message corresponding to the work instruction to the motion generation device 7.

動作生成装置7は作業解釈装置5により与えられた作業
メツセージから作業環境地図1と作業展開知識602を
利用してロボットを駆動できる具体的な動作データを生
成する。
The motion generation device 7 uses the work environment map 1 and the work development knowledge 602 from the work message given by the work interpretation device 5 to generate specific motion data that can drive the robot.

切り替スイッチ8は上記動作データにより実際のロボッ
ト10を動作させる前に動力学シミュレータ9によるシ
ミュレーションを実行する時に、動作データをシミュレ
ータの方へ渡すためのものである。
The changeover switch 8 is used to pass the motion data to the simulator when the dynamics simulator 9 executes a simulation before actually operating the robot 10 based on the motion data.

動力学シミュレータ9は作業環境地図1に記憶されてい
るロボットの構造情報101と性質情報102の中の重
量、慣性モーメントなどを利用して運動方程式を解くこ
とにより、動作生成装置7から与えられる動作データに
より動いた場合の力学的要素も考慮した振舞いをシミュ
レートし、その結果を表示装置2の画面上にロボット2
01の動きとして表示する。
The dynamics simulator 9 solves the equation of motion using the weight, moment of inertia, etc. in the robot structure information 101 and property information 102 stored in the work environment map 1, thereby generating the motion given by the motion generation device 7. The behavior of the robot when it moves is simulated based on the data, taking into account the mechanical factors, and the results are displayed on the screen of the display device 2.
Displayed as 01 movement.

次に、本実施例による装置を用いてロボットを操作する
手順について第3図、第4図を用いて具体的に説明する
Next, a procedure for operating a robot using the apparatus according to this embodiment will be specifically explained using FIGS. 3 and 4.

まず、表示装置2は作業環境地図1の物体の構造情報1
03を用いて画面上に物体203゜204.205を表
示し、位置入力手段3より与えられる位置とロボットの
構造情報101によりロボット201とカーソル202
を表示する。そして、作業環境地図1の現在の状態を保
持するためスタック領域105にロボットや物体の構造
情報101,103の内容を複製しておく。操作者はこ
の画面を見てロボットに行わせるべき作業を決め、その
作業基を文字入力手段4により入力する。今1画面が第
4図(a)のようであったとし、ロボットに行わせるべ
き作業がボルト203を部品204へ取り付けることで
あったとする。
First, the display device 2 displays structural information 1 of an object on the work environment map 1.
03 is used to display objects 203, 204, and 205 on the screen, and the robot 201 and the cursor 202 are
Display. Then, in order to maintain the current state of the work environment map 1, the contents of the structural information 101 and 103 of robots and objects are duplicated in the stack area 105. The operator looks at this screen, determines the work to be performed by the robot, and inputs the work basis using the character input means 4. Assume that one screen is as shown in FIG. 4(a), and that the work to be performed by the robot is to attach a bolt 203 to a part 204.

操作者は文字入力手段4により「運搬」を意味する作業
基CARRYを作業解釈装置5へ入力する。
The operator inputs the work base CARRY, which means "transportation", into the work interpretation device 5 using the character input means 4.

作業解釈装置5は第5図に示すような作業解釈知識60
1の中からCARRYに関する記述611を探し、その
記述により各物体のGRASP POINTの位置を表
示装置2の画面上にマーク206で表示する(第4図(
b)) 、このGRASP POINTは物体をその位
置でつかむことができることを意味し、物体の性質情報
104により求められる。具体的な求め方としては1例
えば物体の性質情報104にボルトは六角柱と円柱から
できていることを記述し、ロボットのグリッパが最大に
開ける幅より小さい幅を有する角柱があれば、その角柱
の部分でつかむことができるというような規則を作業知
識6の中に用意することにより求めることができる。あ
るいは、最も簡単な方法としてGRASP POINT
の具体的な位置を104の性質情報として記述しておい
てもよい。
The work interpretation device 5 has work interpretation knowledge 60 as shown in FIG.
1 is searched for a description 611 related to CARRY, and based on that description, the position of the GRASP POINT of each object is displayed as a mark 206 on the screen of the display device 2 (see Fig. 4).
b)) This GRASP POINT means that the object can be grasped at that position, and is determined by the property information 104 of the object. Specifically, 1. For example, write in the property information 104 of the object that a bolt is made of a hexagonal prism and a cylinder, and if there is a prism whose width is smaller than the maximum width that the robot's gripper can open, then This can be determined by preparing a rule in the work knowledge 6 that the part can be grasped. Or, the easiest way is GRASP POINT
The specific location may be described as property information 104.

操作者は表示されたマークの中からボルトのGRASP
 POINTの近くに位置入力手段3を用いてカーソル
202を近付け、位置入力手段3上のボタンか文字入力
手段4により作業解釈装置5に合図を与える。この時カ
ーソル202とカーソルが完全に一致している必要はな
く1合図が与えられた時点でカーソル202よりある距
離以内にあるマークのうちで最も近い位置にあるマーク
が選択されたと判断する。これにより作業解釈装置5は
操作者がボルトを選んだことを判断し、そのGRASP
POINTの位置にカーソル202を一致させ、他のマ
ークを消去すると同時にボルトの色を変えてボルトが選
択されたことを操作者に伝える。さらに作業解釈装置5
は作業環境地図1のロボットや物体の構造情報101,
103をボルトが床面から離れロボットのグリッパに把
持されている状態に書き換える。従って、これ以後画面
上でカーソル202を動かすとロボットだけでなくボル
トもロボットのグリッパに伴って動くように表示される
The operator selects the bolt's GRASP from among the displayed marks.
The cursor 202 is brought close to the POINT using the position input means 3, and a signal is given to the work interpretation device 5 using the button on the position input means 3 or the character input means 4. At this time, it is not necessary that the cursor 202 and the cursor match completely, and when one signal is given, it is determined that the mark at the closest position among the marks within a certain distance from the cursor 202 has been selected. As a result, the work interpretation device 5 determines that the operator has selected the bolt, and the GRASP
The cursor 202 is brought into alignment with the POINT position, other marks are erased, and at the same time the color of the bolt is changed to notify the operator that the bolt has been selected. Furthermore, the work interpretation device 5
is the structure information 101 of robots and objects in the work environment map 1,
103 is rewritten to show that the bolt is off the floor and is being gripped by the gripper of the robot. Therefore, from now on, when the cursor 202 is moved on the screen, not only the robot but also the bolt will be displayed to move along with the robot's gripper.

次に611の記述により操作者はボルトを運ぶ途中の経
路(PATH)をいくつかの点で指定することができる
。この指定はカーソル202を適当な位置に持って行き
、そこで作業解釈装置5に合図を与えることにより、そ
の位置が経路点として登録される(第4図(C))。そ
して経路点指定の終了を意味する合図を作業解釈装置5
に与えることにより経路点の指定は終了する。操作者が
経路点の指定を必要としない場合は始めから経路点終了
の合図を与えれば良い。
Next, the description at 611 allows the operator to specify the path (PATH) along which the bolt is to be transported at several points. This designation is made by moving the cursor 202 to an appropriate position and then giving a signal to the work interpretation device 5, thereby registering that position as a route point (FIG. 4(C)). Then, a signal indicating the end of route point designation is sent to the work interpretation device 5.
By giving , the route point specification is completed. If the operator does not need to specify a route point, it is sufficient to give a signal indicating the end of the route point from the beginning.

最後に作業解釈装置5は611の残りの記述によりPL
IT POINTを物体の性質情報104から求め画面
上にマーク207で表示する。PUT POINTはボ
ルトを置ける場所、あるいは取り付けられる場所を意味
する。作業解釈装置5はロボットの構造情報101によ
りその時点でロボットがボルトを把持していることがわ
かるので、他の様々な物体に対するPUT POINT
のうちボルトに関するもののみを求めて表示する(第4
図(d))。
Finally, the work interpretation device 5 reads PL according to the remaining description of 611.
The IT POINT is determined from the property information 104 of the object and displayed as a mark 207 on the screen. PUT POINT means a place where a bolt can be placed or attached. The work interpretation device 5 knows from the robot's structure information 101 that the robot is gripping the bolt at that time, so it can use the PUT POINT for various other objects.
Find and display only those related to bolts (4th
Figure (d)).

操作者はマークの中から目的の部品の取り付は場所のP
UT POINTへカーソル202を近付は作業解釈装
置5に合図を送る。作業解釈装置5は前と同様の手順に
より取り付は位置を判断し、ボルトをその位置に一致さ
せ、ボルトの色をもとに戻す。
The operator selects the location P to install the desired part from among the marks.
The approach of the cursor 202 to the UT POINT sends a signal to the work interpretation device 5. The work interpretation device 5 determines the installation position using the same procedure as before, matches the bolt to that position, and restores the bolt color to its original color.

さらに作業環境地図1のロボットや物体の構造情報10
1,103をボルトがグリッパから離れ、取り付は位置
に固定されている状態に書き換える。
Furthermore, structural information 10 of robots and objects in work environment map 1
1, 103 is rewritten to state that the bolt is separated from the gripper and the installation is fixed in position.

そのためにこれ以後カーソル202の動きに対してロボ
ット201のみが画面上で動くようになり。
Therefore, from now on, only the robot 201 moves on the screen in response to the movement of the cursor 202.

ボルトは取り付は位置に固定されて表示される。The bolts are shown fixed in place for mounting.

以上の処理が終ると作業解釈装置5は作業名CARRY
、ボルトとそのGRASP POINTが情報として結
びつけられているシンボルobj 1、ボルトが取り付
けられる部品とそのPUT POINTが情報として結
びつけられているシンボルobj 2、及び経路点の情
報が結び付けられているシンボルpathからcarr
y (obj 1 、 path、 obj 2 )の
ような作業メツセージを生成し動作生成装置7へ転送す
る。動作生成装置7は作業解釈装置5より作業メツセー
ジを受は取るとスタック105により作業環境地図を第
3図32の状態に戻す、そして第5図に示すような作業
展開知識602の中からcarryに関する記述を探し
、carry(A、 P、 B)をtake(A)とp
ath(p) 、 put(B)に展開する。この時、
引き数AとBにはシンボルobj 1 、obj 2が
代入されている。
When the above processing is completed, the work interpretation device 5 outputs the work name CARRY.
, a symbol obj 1 in which a bolt and its GRASP POINT are linked as information, a symbol obj 2 in which a part to which the bolt is attached and its PUT POINT are linked as information, and a symbol path in which route point information is linked. carr
A work message such as y (obj 1 , path, obj 2 ) is generated and transferred to the motion generation device 7. When the motion generation device 7 receives the work message from the work interpretation device 5, it returns the work environment map to the state shown in FIG. Find the description and use carry(A, P, B) as take(A) and p
Expand to ath(p) and put(B). At this time,
Symbols obj 1 and obj 2 are assigned to arguments A and B.

take(A)は更にgrasp(A) (持つ)また
はdetach(A)(取り外して持つ)に展開される
が、obj 1で指定されるボルトが他の物体に取り付
けられていないことが物体の構造情報103かられかる
ので、grasp(A)の方が選ばれる。同様にput
 (A )の方はobj 2がボルトの取り付は位置で
あることが物体の構造情報103から分かるので単に物
の上に置く動作put on(A)ではなく回しながら
ねじ込むボルトの取り付は動作attach(A)の方
が選ばれる。
take (A) is further expanded to grasp (A) (hold) or detach (A) (remove and hold), but the structure of the object indicates that the bolt specified by obj 1 is not attached to another object. Since it is determined from the information 103, grasp(A) is selected. Similarly put
In case of (A), it is known from the object's structural information 103 that obj 2 is the position of the bolt installation, so instead of simply putting it on the object (put on), the bolt installation is an operation of screwing in while turning. attach(A) is selected.

grasp(A)は更に例えばグリッパをボルトの近く
まで移動させ、ゆっくり把持位置に持って行きグリッパ
を閉じて真上に移動するというように細かい動作に展開
される。この時、動作の進行に伴う物***置の変化に応
じた物体の位置座標をロボットや物体の構造情報101
,103から得るため、動作の展開と共にそれに対応し
た構造情報101゜103の書換えが行われる。作業メ
ツセージはこのような詳細化を経て細かい座標値を含む
動作データにまで展開される。
grasp (A) is further developed into detailed movements such as, for example, moving the gripper close to the bolt, slowly bringing it to the grasping position, closing the gripper, and moving it straight up. At this time, the position coordinates of the object according to changes in the object position as the motion progresses are stored in the structure information 101 of the robot and the object.
, 103, the corresponding structure information 101 to 103 is rewritten along with the development of the action. Through such detailing, the work message is developed into motion data including detailed coordinate values.

動作生成装置7により生成された動作データは該装置7
において一時的に記憶されておりスイッチ8により実際
のロボット10かシミュレータ9のいずれかに転送され
る。操作者は生成された動作データが妥当であるか知り
たい場合はそれをシミュレータ9へ送り動力学のシミュ
レーションを行うことができる。シミュレータ9はロボ
ットの構造情報101に記憶されているロボットの質量
や慣性モーメント、関節の摩擦係数などを用いて動作デ
ータによりロボットを動かしたい場合の運動方程式を数
値的に解き、その結果を表示装置2の画面上のロボット
201の動きとして表示する。
The motion data generated by the motion generation device 7 is
It is temporarily stored in the robot 10 and transferred to either the actual robot 10 or the simulator 9 by the switch 8. If the operator wants to know whether the generated motion data is valid, he can send it to the simulator 9 to perform a dynamics simulation. The simulator 9 numerically solves the equation of motion for moving the robot based on motion data using the robot's mass, moment of inertia, friction coefficients of joints, etc. stored in the robot's structural information 101, and displays the results on a display device. The movement of the robot 201 is displayed on the second screen.

この表示においても動作の進行に伴う物体の動きを把握
するため、スタック105により作業環境地図を第3図
32の状態に戻し、動作の進行と共にロボットや物体の
構造情報101,103を書き換えながら表示する。
In this display as well, in order to grasp the movement of the object as the movement progresses, the stack 105 returns the work environment map to the state shown in FIG. do.

操作者はシミュレーションの結果に問題がなければスイ
ッチ8をロボット10の方ヘセットし。
If there is no problem with the simulation results, the operator sets switch 8 to robot 10.

動作生成装置7に記憶されている動作データで実際のロ
ボット10を動かす。シミュレーションの結果、例えば
第4図の状況においてロボットがボルト203を部品2
04の位置まで運ぶ途中で障害物205にぶつかりそう
な場合には、経路点の指定に変更するなど動作の指示を
しなおす。
The actual robot 10 is moved using the motion data stored in the motion generation device 7. As a result of the simulation, for example, in the situation shown in FIG.
If the robot is likely to collide with an obstacle 205 while carrying the vehicle to position 04, the motion instructions are re-instructed, such as by changing the designation of a route point.

作業環境にある現実の物体は正確に作業環境地図に記憶
されている位置にあるとは限らないので。
This is because real objects in the work environment may not be exactly located at the locations stored in the work environment map.

地図上の位置と実際とのずれを補正する必要がある。こ
れに対しては、例えば作業展開知識において、物体をつ
かむ動作など対象物との精密な位置合わせを必要とする
動作に対しては、その展開の中に距離センサを働かせて
対象物との距離を計りながら接近する動作を含ませ、動
作データの中にセンサの利用に関する情報も付加してお
けばよい。
It is necessary to correct the discrepancy between the location on the map and the actual location. On the other hand, for example, in work development knowledge, for actions that require precise alignment with the object, such as grasping an object, a distance sensor is used during the development to determine the distance to the object. What is necessary is to include the movement of approaching while timing the movement, and also add information regarding the use of the sensor to the movement data.

これによりロボットが実際に動作するときにセンサを利
用して地図とのずれを補正しながら動くことができる。
This allows the robot to use sensors to correct deviations from the map when it actually moves.

また、ロボットは動作中にセンサなどにより異常を感知
した場合は動作を止め、その旨を表示装置2の画面に文
字などにより表示する。
Further, if the robot detects an abnormality using a sensor or the like during operation, the robot stops the operation and displays a message to that effect on the screen of the display device 2 using characters or the like.

本実施例によれば、操作者はロボットに動作を与えるた
めに具体的な座標値データや正確な位置情報を与える必
要がなく、順次表示される参照点の選択などにより作業
の要点を指定するだけでよいので非常に短時間に簡単に
動作を与えることができる。また、動力学を考慮したシ
ミュレーションで動作を事前に確認できるので安全な操
作を行うことができる。
According to this embodiment, the operator does not need to provide specific coordinate value data or accurate position information to give the robot a motion, and can specify the main points of the work by selecting reference points that are sequentially displayed. Since only one step is required, the operation can be easily performed in a very short period of time. In addition, the operation can be confirmed in advance through a simulation that takes dynamics into account, allowing safe operation.

操作者はシミュレーション結果のwi察とそれによる動
作の修正を繰り返しながら、様々な動作を事前に試すこ
とができるので、その中から最も意にかなった動作を見
つけることができる。そして。
The operator can try out various motions in advance while repeatedly observing the simulation results and modifying the motion accordingly, so that he or she can find the motion that most suits his or her wishes. and.

作業メツセージを保存しておけば101のロボットの構
造情報を入れ換えるだけで様々な形状のロボットに対し
て同一の作業メツセージで動作を与えることができる。
If the work message is saved, the same work message can be used to give motion to robots of various shapes by simply replacing the structure information of the robot 101.

また、画面上で位置入力手段3の入力と連動するロボッ
ト201の動きにより操作者はグリッパの位置によって
ロボットがどの様な姿勢となるか、あるいは可動範囲が
どこまであるかを直観的に知ることか出来、作業手順を
考える上で有効な情報を効率よく与えることができる。
Furthermore, by the movement of the robot 201 in conjunction with the input from the position input means 3 on the screen, the operator can intuitively know what kind of posture the robot will take depending on the position of the gripper, or how far the range of movement is. It is possible to efficiently provide information that is effective in considering work procedures.

一方、非常に短時間に簡単に動作を与えることができる
ので、産業用ロボットのような繰り返し作業を行うロボ
ットの教示だけでなく、建設現場で対話的にロボットを
操作するのにも利用できる。
On the other hand, since motion can be easily given in a very short time, it can be used not only for teaching robots that perform repetitive tasks such as industrial robots, but also for interactively operating robots at construction sites.

また、操作環境の物体配置が画面に表示され、かつロボ
ットと操作システムを離れた場所に置くことができるの
で、原子カプラントなど人間が入り込めない環境でのロ
ボットの遠隔操作にも利用できる。
Furthermore, since the object arrangement in the operating environment is displayed on the screen and the robot and operating system can be placed in separate locations, it can also be used for remote control of robots in environments where humans cannot enter, such as in atomic couplants.

なお、上記実施例においては、作業メツセージができる
ごとに動作データへの展開が行われたが作業メツセージ
をある程度ためてから、まとめて動作データへ展開して
もよい。
In the above embodiment, each work message is developed into motion data, but it is also possible to accumulate a certain amount of work messages and then develop them into motion data all at once.

また、それらの作業メツセージを保存する場所を用意し
、それを編集・管理できるような仕掛を用意すれば、作
業のレベルでロボットの動作を編集・管理できるので、
操作者はより高度な動作計画を立てることが可能となる
In addition, if you prepare a place to save these work messages and prepare a device that can edit and manage them, you can edit and manage the robot's movements at the work level.
This allows the operator to create more advanced movement plans.

さらに、いくつかの作業メツセージをまとめて新たな作
業メツセージを定義できるようにしておけば、さらに、
高度な作業を簡単に指示することができる。
Furthermore, if you can define new work messages by combining several work messages, you can
Can easily instruct advanced tasks.

上記実施例では物体を運ぶ途中の経路を単に点として与
えたが、これらの点に対して例えばおよそその近傍を通
過すればよいとか、正確にその点を通過しなければなら
ないといった属性を与えるようにすれば、さらに複雑な
作業指示を与えることができる。
In the above embodiment, the route along which the object is carried is simply given as points, but it is possible to give these points attributes such as, for example, it is only necessary to pass approximately in the vicinity of that point, or it is necessary to pass exactly through that point. This allows you to give more complex work instructions.

プラントの建設などに本システムを利用する場合、その
プラントがCADにより設計されたものであれば1作業
環境地図1に記憶される情報のうち物体の構造に関する
情報はそのCADのデータから持ってくることもできる
。また、ロボットが扱う部品が限定されたものであれば
、視覚認識装置を利用して作業環境地図を作成、修正す
ることもできる。
When using this system for the construction of a plant, etc., if the plant is designed using CAD, among the information stored in the work environment map 1, information regarding the structure of objects is brought from the CAD data. You can also do that. Furthermore, if the parts handled by the robot are limited, a work environment map can be created and modified using a visual recognition device.

〔発明の効果〕〔Effect of the invention〕

本発明によれば、操作者はロボットに動作を与えるため
に具体的な座標値データや正確な位置情報を与える必要
がなく1作業の要点を指定するだけでよいので非常に短
時間に簡単に動作を与えることができる。また、動力学
を考慮したシミュレーションで動作を事前に確認できる
ので安全な操作を行うことができる。
According to the present invention, the operator does not need to provide specific coordinate value data or accurate position information to give the robot a motion, and only needs to specify the key points of one task, which can be done in a very short time and easily. can be given action. In addition, the operation can be confirmed in advance through a simulation that takes dynamics into account, allowing safe operation.

【図面の簡単な説明】[Brief explanation of the drawing]

第1図は本発明の一実施例の全体構成を示す図。 第2図は画面上のカーソルの動きを説明する図、第3図
は作業指示の入力手順を説明する図、第4図(a) 、
 (b) 、 (c) 、 (d)は作業指示の入力と
共に変化するグラフィックス表示装置の画面を説明する
図。 第5図は作業知識の中身を説明する図である。 1・・・作業環境地図、 2・・・グラフィックス表示装置、 3・・・位置入力手段、  4・・・文字入力手段。 5・・・作業解釈装置、  6・・・作業知識。 7・・・動作生成装置、  8・・・切り換えスイッチ
、9・・・動力学シミュレータ、  10・・・ロボッ
ト。 手続補正書Cj5幻 1.事件の表示 昭和62年特許願第191102号 2、発明の名称 ロボット操作支援システム 3、補正をする者 事件との関係 特許出願人 名称 (510)株式会社日立製作所 4、代理人 5、補正命令の日付 6、補正の対象 明細書の特許請求の範囲の欄。 7、補正の内容 (1)明細書第1頁第3行と第4行の間に「2、特許請
求の範囲」を加入する。 以上
FIG. 1 is a diagram showing the overall configuration of an embodiment of the present invention. Figure 2 is a diagram explaining the movement of the cursor on the screen, Figure 3 is a diagram explaining the procedure for inputting work instructions, Figure 4 (a),
(b), (c), and (d) are diagrams illustrating the screen of the graphics display device that changes as work instructions are input. FIG. 5 is a diagram illustrating the contents of work knowledge. 1... Working environment map, 2... Graphics display device, 3... Position input means, 4... Character input means. 5... Work interpretation device, 6... Work knowledge. 7... Motion generation device, 8... Changeover switch, 9... Dynamics simulator, 10... Robot. Procedural amendment Cj5 illusion 1. Display of the case 1986 Patent Application No. 191102 2, Name of the invention Robot operation support system 3, Person making the amendment Relationship to the case Patent applicant name (510) Hitachi, Ltd. 4, Agent 5, Amendment order Date 6, Claims column of the specification subject to amendment. 7. Contents of the amendment (1) Add "2. Claims" between the third and fourth lines of the first page of the specification. that's all

Claims (2)

【特許請求の範囲】[Claims] (1)ロボット、文字入力手段、位置入力手段、グラフ
ィックス表示装置からなるロボット操作システムにおい
て、文字入力手段により入力される作業名とグラフィッ
クス画面に表示され、位置入力手段と連動する画面上の
ロボットの操作から操作者の作業意図を判断し、順次必
要な参照点を表示し、かつ作業意図に即した作業メッセ
ージを生成する作業解釈装置と、生成された作業メッセ
ージをロボット機構の駆動に適した動作データに変換し
、実際のロボットに渡す動作生成装置と、上記作業解釈
装置と動作生成装置に必要な情報を供給する作業環境地
図と作業知識とを備えたことを特徴とするロボット操作
支援システム。
(1) In a robot operation system consisting of a robot, a character input means, a position input means, and a graphics display device, the work name input by the character input means is displayed on the graphics screen, and is displayed on the screen linked to the position input means. A work interpretation device that determines the operator's work intention from the robot's operation, sequentially displays necessary reference points, and generates a work message in accordance with the work intention, and a work interpretation device that uses the generated work message to drive the robot mechanism. A robot operation support system comprising a motion generation device that converts the data into motion data and passes it to an actual robot, and a work environment map and work knowledge that supply necessary information to the work interpretation device and motion generation device. system.
(2)動作生成装置からロボットに動作データを渡す途
中に切り換えスイッチを設け、実際にロボットを駆動す
る前に動力学シミュレータによるシミュレーションを行
い、その結果を上記グラフィックス画面に表示し動作の
妥当性を確認する手段を備えた特許請求の範囲第1項記
載のロボット操作支援システム。
(2) A switch is provided in the middle of passing motion data from the motion generation device to the robot, and before actually driving the robot, a simulation is performed using a dynamics simulator, and the results are displayed on the above-mentioned graphics screen to check the validity of the motion. The robot operation support system according to claim 1, further comprising means for confirming the following.
JP19110287A 1987-07-29 1987-07-29 Robot operation support system Expired - Fee Related JPH07104697B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP19110287A JPH07104697B2 (en) 1987-07-29 1987-07-29 Robot operation support system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP19110287A JPH07104697B2 (en) 1987-07-29 1987-07-29 Robot operation support system

Publications (2)

Publication Number Publication Date
JPH01131904A true JPH01131904A (en) 1989-05-24
JPH07104697B2 JPH07104697B2 (en) 1995-11-13

Family

ID=16268887

Family Applications (1)

Application Number Title Priority Date Filing Date
JP19110287A Expired - Fee Related JPH07104697B2 (en) 1987-07-29 1987-07-29 Robot operation support system

Country Status (1)

Country Link
JP (1) JPH07104697B2 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5483440A (en) * 1993-06-07 1996-01-09 Hitachi, Ltd. Remote control apparatus and control method thereof
WO2003091812A1 (en) * 2002-04-24 2003-11-06 Ishida Co., Ltd. Commodity manufacturing device
JP2010134499A (en) * 2008-12-02 2010-06-17 Mitsubishi Electric Corp Remote place image display device, remote control apparatus, vehicle control apparatus, remote control system, remote control method, remote control program, vehicle control program, remote place image display method, and remote place image display program
JP2010207997A (en) * 2009-03-12 2010-09-24 Seiko Epson Corp Position teaching device of industrial robot, operation teaching device of industrial robot and program
JP2014065107A (en) * 2012-09-26 2014-04-17 Denso Wave Inc Device for correcting robot operation program

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5215740B2 (en) * 2008-06-09 2013-06-19 株式会社日立製作所 Mobile robot system

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5483440A (en) * 1993-06-07 1996-01-09 Hitachi, Ltd. Remote control apparatus and control method thereof
WO2003091812A1 (en) * 2002-04-24 2003-11-06 Ishida Co., Ltd. Commodity manufacturing device
US7216010B2 (en) 2002-04-24 2007-05-08 Ishida Co., Ltd. Article manufacturing apparatus
JP2010134499A (en) * 2008-12-02 2010-06-17 Mitsubishi Electric Corp Remote place image display device, remote control apparatus, vehicle control apparatus, remote control system, remote control method, remote control program, vehicle control program, remote place image display method, and remote place image display program
JP2010207997A (en) * 2009-03-12 2010-09-24 Seiko Epson Corp Position teaching device of industrial robot, operation teaching device of industrial robot and program
JP2014065107A (en) * 2012-09-26 2014-04-17 Denso Wave Inc Device for correcting robot operation program

Also Published As

Publication number Publication date
JPH07104697B2 (en) 1995-11-13

Similar Documents

Publication Publication Date Title
CN106239516B (en) Robot control device, robot, and robot system
US4987527A (en) Perspective display device for displaying and manipulating 2-D or 3-D cursor, 3-D object and associated mark position
JPS62199376A (en) Remote manipulation method and device
CN111267073A (en) Industrial robot teaching system and method based on augmented reality technology
JPS6179589A (en) Operating device for robot
Du et al. A gesture-and speech-guided robot teleoperation method based on mobile interaction with unrestricted force feedback
Hayati et al. A unified teleoperated-autonomous dual-arm robotic system
JPH01131904A (en) Robot operation supporting system
Hasunuma et al. Development of teleoperation master system with a kinesthetic sensation of presence
Pickett et al. RoboTeach: An off-line robot programming system based on GMSolid
Penin et al. Force reflection for ground control of space robots
Rossmann et al. The virtual testbed: Latest virtual reality technologies for space robotic applications
Tzafestas et al. Human–machine interaction in intelligent robotic systems: A unifying consideration with implementation examples
Kheddar et al. Virtual environment–assisted teleoperation
Flückiger A robot interface using virtual reality and automatic kinematics generator
Tzafestas Virtual and mixed reality in telerobotics: A survey
Bejczy Virtual reality in manufacturing
Brunner et al. Programming robots via learning by showing in a virtual environment
Vertut et al. Sensor-aided and/or computer-aided bilateral teleoperator system (SCATS)
Machida et al. Development of a graphic simulator augmented teleoperation system for space applications
JPH0760342B2 (en) Robot support system
Machida et al. Graphic-simulator-augmented teleoperation system for space applications
JPH03281193A (en) Master slave manipulator
Flückiger et al. CINEGEN: a rapid prototyping tool for robot manipulators
Kim et al. Robotic virtual manipulations of a nuclear hot‐cell digital mock‐up system

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees