JPH0523981A - Robot assembler - Google Patents
Robot assemblerInfo
- Publication number
- JPH0523981A JPH0523981A JP3173924A JP17392491A JPH0523981A JP H0523981 A JPH0523981 A JP H0523981A JP 3173924 A JP3173924 A JP 3173924A JP 17392491 A JP17392491 A JP 17392491A JP H0523981 A JPH0523981 A JP H0523981A
- Authority
- JP
- Japan
- Prior art keywords
- robot
- work
- unit
- state
- parts
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 description 68
- 238000013459 approach Methods 0.000 description 35
- 238000012790 confirmation Methods 0.000 description 35
- 238000000034 method Methods 0.000 description 30
- 238000004364 calculation method Methods 0.000 description 12
- 230000008859 change Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 4
- 230000000875 corresponding effect Effects 0.000 description 4
- 230000003936 working memory Effects 0.000 description 3
- 230000010365 information processing Effects 0.000 description 2
- TVEXGJYMHHTVKP-UHFFFAOYSA-N 6-oxabicyclo[3.2.1]oct-3-en-7-one Chemical compound C1C2C(=O)OC1C=CC2 TVEXGJYMHHTVKP-UHFFFAOYSA-N 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Control Of Position Or Direction (AREA)
- Manipulator (AREA)
Abstract
Description
【0001】[0001]
【産業上の利用分野】本発明は、認識部を利用したロボ
ットによる組み立て装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a robot assembling apparatus using a recognition unit.
【0002】[0002]
【従来の技術】ロボットによる組み立て装置は、製造ラ
イン等の自動化、効率化をすすめるとともに、より知的
な処理を行うことが期待される装置である。従来から知
られているロボットによる組み立て装置には、例えば
(1)大嶽他、『作業モデルによる動作計画システムの
試作』、情報処理学会『知識工学と人工知能』研究会資
料、53−5(1987),(2)大嶽他、『組立て知
能ロボットARIのプラニングシステム』、情報処理学
会論文誌、Vol.31、No.3(1990)等に開
示されているものがある。2. Description of the Related Art A robot assembling apparatus is expected to promote automation and efficiency of a production line and to perform more intelligent processing. For example, (1) Ohtake et al., “Prototype of motion planning system using work model”, Information Processing Society of Japan “Knowledge Engineering and Artificial Intelligence” study group, 53-5 (1987) ), (2) Ohtake et al., “Planning System for Assembly Intelligent Robot ARI”, Journal of Information Processing Society of Japan, Vol. 31, No. 3 (1990) and the like.
【0003】これらの装置は、サンプルとして提示され
た構造物の構造をステレオビジョンによって推定し、組
み立て方を推定し、同じ構造のものを組み立てる。すな
わち、部品の形状等を認識する機能や組み立ての計画作
成機能等を有している。より詳細には、認識部が、組み
立て作業を行う前に、作業開始前、作業終了(組み立て
完成)後の各部品の位置と姿勢を求め、初期状態、目標
状態を自動的に組み立て装置に入力する役割を果たして
いる。These devices estimate the structure of the structure presented as a sample by stereovision, estimate the assembling method, and assemble the same structure. That is, it has a function of recognizing the shape of parts, a function of creating an assembly plan, and the like. More specifically, the recognition unit obtains the position and orientation of each part before the start of work and after the end of work (completion of assembly) before performing the assembly work, and automatically inputs the initial state and the target state to the assembly device. Play a role in.
【0004】[0004]
【発明が解決しようとする課題】しかしながら、このよ
うな従来の装置においては、組み立て作業中にエラーや
部品またはロボットの位置及び姿勢の誤差が発生した場
合にこれを検出して対応する処理を行うことができなか
った。これは、部品またはロボットの位置及び姿勢を認
識する認識部が組み立て作業を行う前にだけ利用され、
組み立て作業中は利用されていないことによる。However, in such a conventional apparatus, when an error or an error in the position or orientation of the part or the robot occurs during the assembly work, the error is detected and a corresponding process is performed. I couldn't. This is used only before the recognition unit that recognizes the position and orientation of the part or robot, before performing the assembly work,
It is not used during the assembly work.
【0005】本発明は、このような課題を解決するため
になされたものであり、組み立て作業中に部品またはロ
ボットの位置及び姿勢の誤差が発生した場合にはこれを
補正できしたがってより正確な組み立てが可能であり、
エラーが発生した場合にはこれに対して作業の停止等を
行うことが可能であるロボットによる組み立て装置を提
供することを目的とする。The present invention has been made to solve the above problems, and when an error in the position and orientation of a component or a robot occurs during the assembly work, it can be corrected and therefore a more accurate assembly can be achieved. Is possible,
It is an object of the present invention to provide an assembling device using a robot, which can stop work or the like when an error occurs.
【0006】[0006]
【課題を解決するための手段】このような目的を達成す
るために、本発明は、組み立てるべき複数の部品を移動
可能なロボットと、ロボット及び/又は前記部品の位置
及び/又は姿勢を組み立て作業中の静止時点において画
像認識する手段と、ロボットの動作列を計画する手段
と、少なくとも、前記部品の配置の初期状態、部品組み
立て後の状態である目標状態、初期状態における前記部
品間の支持関係(初期状態支持関係)、目標状態におけ
る前記部品間の支持関係(目標状態支持関係)、組み立
て作業中の所定時点における前記部品のあるべき配置を
示す中間状態、ロボット及び前記部品の形状であるモデ
ルに係る情報を記憶する手段と、これらの記憶されてい
る情報に基づき中間状態に係る情報を逐次更新し、中間
状態に係る情報と画像認識の結果とを照合しつつ、所定
の状態となるよう前記計画に則りロボットの位置及び/
又は姿勢を補正・制御する手段と、を備え、部品の状態
及びロボットの動作結果を監視しつつ組み立て作業を実
行することを特徴とする。In order to achieve such an object, the present invention provides a robot capable of moving a plurality of parts to be assembled, a robot and / or a position and / or posture of the parts. Means for recognizing an image when the robot is stationary, means for planning a motion sequence of the robot, at least an initial state of the arrangement of the parts, a target state after the parts are assembled, and a support relationship between the parts in the initial state. (Initial state support relation), support relation between the parts in the target state (target state support relation), intermediate state indicating the desired arrangement of the parts at a predetermined point during assembly work, robot and model that is the shape of the part Means for storing information related to the intermediate state, and information related to the intermediate state is sequentially updated based on the stored information. While collating the result of the recognition, in accordance with the plans to be a predetermined state position of the robot and /
Alternatively, a means for correcting / controlling the posture is provided, and the assembly work is executed while monitoring the state of the parts and the operation result of the robot.
【0007】[0007]
【作用】本発明においては、計画された動作列に則りロ
ボットが組み立てるべき複数の部品を移動させること
で、組み立て作業が実行される。さらに、本発明におい
ては、画像認識が初期的に行われるのみでなく、組み立
て作業において逐次実行される。すなわち、ロボットが
部品を把持した時点等、組み立て作業中の所定の静止時
点において、ロボット及び/又は前記部品の位置及び/
又は姿勢が画像認識される。この結果得られるのは、ロ
ボット、部品の実際の位置、姿勢である。例えば、把持
したはずの部品の有無等の情報である。In the present invention, the assembly work is executed by moving the plurality of parts to be assembled by the robot in accordance with the planned operation sequence. Furthermore, in the present invention, the image recognition is not only initially performed, but also sequentially performed in the assembly work. That is, the position and / or position of the robot and / or the component at a predetermined stationary time during the assembly work, such as when the robot grips the component.
Alternatively, the posture is image-recognized. The result is the actual position and orientation of the robot and parts. For example, it is information such as the presence / absence of a component that should have been gripped.
【0008】一方で、本発明においては、初期状態、目
標状態、初期状態支持関係、目標状態支持関係、中間状
態、及びモデルの少なくともいずれかに基づき、中間状
態に係る情報が逐次更新される。このようにして得られ
る中間状態は、各部品のあるべき配置を示している。On the other hand, in the present invention, the information regarding the intermediate state is sequentially updated based on at least one of the initial state, the target state, the initial state support relationship, the target state support relationship, the intermediate state, and the model. The intermediate state thus obtained shows the desired arrangement of each component.
【0009】本発明においては、中間状態と、画像認識
の結果と、が照合され、所定の状態となるよう、計画に
則りロボットの位置及び/又は姿勢が補正・制御され
る。すなわち、部品の状態及びロボットの動作結果を監
視しつつ組み立て作業が実行される。この結果、作業中
にロボットの位置ずれ等の誤差が発生した場合にはこれ
が画像認識により検出され必要な補正動作が実行される
ことになり、また、作業中に部品の取り落としなどのエ
ラーが発生した場合にも作業中止や再計画等の対応動作
が可能になる。According to the present invention, the intermediate state and the result of image recognition are collated, and the position and / or orientation of the robot is corrected and controlled according to a plan so as to obtain a predetermined state. That is, the assembly work is executed while monitoring the state of the parts and the operation result of the robot. As a result, if an error such as a displacement of the robot occurs during work, this will be detected by image recognition and the necessary correction operation will be executed, and an error such as removal of a part will occur during work. Even in case of doing so, it is possible to take a corresponding action such as stopping work or re-planning.
【0010】[0010]
【実施例】以下、本発明の好適な実施例について図面に
基づき説明する。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENT A preferred embodiment of the present invention will be described below with reference to the drawings.
【0011】(1)実施例の構成 図1には、本発明の一実施例に係るロボットによる組み
立て装置の構成が示されている。この図の装置で組み立
て作業を行うのはロボット1である。ロボット1の動作
は制御部2により制御される。認識部3は部品又はロボ
ット1のハンドを認識する機能を有しており、後述する
ように、認識部3−1、3−2および3−3を備えてい
る。部品又はロボット1のハンドの画像情報を取り込み
認識部3に供給するのはカメラ4である。また、選択部
5は供給される信号に応じて必要な動作を行い、支持関
係計算部6は部品間の支持関係を計算し、計画部7はロ
ボット1の動作列を計画する。また、作業記憶部8は初
期状態等を記憶する手段であり、モデル記憶部9は各部
品のモデルを記憶する手段である。入力部10は、作業
記憶部8及びモデル記憶部9にこれらの情報を外部から
人間が入力する手段である。(1) Construction of Embodiment FIG. 1 shows the construction of a robot assembly apparatus according to an embodiment of the present invention. It is the robot 1 that performs the assembly work with the apparatus shown in this figure. The operation of the robot 1 is controlled by the control unit 2. The recognition unit 3 has a function of recognizing a component or a hand of the robot 1, and includes recognition units 3-1, 3-2 and 3-3 as described later. It is the camera 4 that captures the image information of the part or the hand of the robot 1 and supplies it to the recognition unit 3. Further, the selection unit 5 performs a necessary operation according to the supplied signal, the support relationship calculation unit 6 calculates the support relationship between the parts, and the planning unit 7 plans the operation sequence of the robot 1. The work storage unit 8 is a means for storing the initial state and the like, and the model storage unit 9 is a means for storing the model of each component. The input unit 10 is means for a person to input these pieces of information into the work storage unit 8 and the model storage unit 9 from the outside.
【0012】(2)実施例の各部機能 この実施例の装置は、特に、ロボット1による高い位置
決め精度を実現し、エラーや誤差への対応処置を実行
し、さらに組み立て作業の自律化と人間の労力軽減を実
現する点に優位性がある。すなわち、ロボット1により
組み立て作業を行う場合、本実施例では、組み立て作業
が正しく行われているかを確認しながら作業を行い、も
し組み立て作業中にエラーや誤差が発生した場合は、組
み立て装置は作業の停止や誤差の補正を行う。また、本
実施例の装置は、組み立て作業を自律的に行わせ人間の
労力を軽減させるため、初期状態、目標状態、初期状態
支持関係、目標状態支持関係を自動的に入力する能力を
備えている。(2) Functions of each part of the embodiment The device of this embodiment realizes a high positioning accuracy by the robot 1, executes a countermeasure against an error or an error, and further makes the assembly work autonomous and human. There is an advantage in realizing labor saving. That is, when the robot 1 performs the assembling work, in this embodiment, the assembling work is performed while confirming whether the assembling work is correctly performed. If an error or an error occurs during the assembling work, the assembling apparatus performs the assembling work. Stop and correct the error. In addition, the apparatus of this embodiment has the ability to automatically input the initial state, the target state, the initial state support relationship, and the target state support relationship in order to autonomously perform the assembly work and reduce the labor of the human. There is.
【0013】ここに、初期状態とは、組み立て作業開始
前の各部品の位置と姿勢をいう。これに対し、目標状態
とは、組み立て作業終了(組み立て完成)後の各部品の
位置と姿勢をいう。また、支持関係とは、それぞれの部
品とその部品を支持している部品との関係をいい、部品
間で接触している面とその面の法線方向により、関係を
推定して計算するものである。初期状態支持関係とは、
初期状態の各部品間の支持関係をいい、目標状態支持関
係とは、目標状態の各部品間の支持関係をいう。Here, the initial state means the position and posture of each component before the start of the assembling work. On the other hand, the target state means the position and posture of each component after the assembly work is completed (assembly is completed). In addition, the support relationship refers to the relationship between each part and the part that supports the part, and is calculated by estimating the relationship from the surfaces in contact between the parts and the normal direction of the surface. Is. What is the initial state support relationship?
The support relationship between the parts in the initial state means the support relationship between the parts in the target state.
【0014】これらの情報は、いずれも、作業記憶部8
に記憶される情報である。この実施例の装置により組み
立て作業を行う場合、作業記憶部8及びモデル記憶部9
に必要な情報を予め記憶させておく必要がある。作業記
憶部8に記憶させる情報としては、 A)初期状態 B)目標状態 C)初期状態支持関係 D)目標状態支持関係 E)中間状態 F)作業環境知識 の6種類があげられる。All of this information is stored in the work storage unit 8
Information stored in. When the assembly work is performed by the apparatus of this embodiment, the work storage unit 8 and the model storage unit 9
It is necessary to store in advance the information necessary for. There are six types of information stored in the work storage unit 8: A) initial state B) target state C) initial state support relationship D) target state support relationship E) intermediate state F) work environment knowledge.
【0015】このうち、A),B)は入力部10から入
力できる情報であるとともに、認識部3−1からも入力
できる。すなわち、初期状態及び目標状態は、選択的
に、認識部3−1と入力部10のいずれからも入力でき
る情報である。また、C),D)は、支持関係計算部6
又は入力部10から入力される情報である。Of these, A) and B) are information that can be input from the input unit 10 and can also be input from the recognition unit 3-1. That is, the initial state and the target state are information that can be selectively input from both the recognition unit 3-1 and the input unit 10. Further, C) and D) are the supporting relationship calculation unit 6
Alternatively, it is information input from the input unit 10.
【0016】さらに、中間状態とは、組み立て作業中の
ロボット1のあるべき位置及び姿勢と、組み立て作業中
の各部品のあるべき位置及び姿勢と、をいう。これは、
本実施例の特徴に係る情報である。この情報は逐次更新
されつつ画像認識の結果と照合される。照合の結果、誤
差やエラーが検出され、対応する補正等の動作が実行さ
れる。また、作業環境知識とは、ロボット1の形状、ロ
ボット1の動作範囲、作業台、障害物等、作業の対象と
はならないが計画部7がロボット1の動作列を計画する
のに必要な情報をいう。これは、入力部10から入力さ
れる。Further, the intermediate state means the position and posture of the robot 1 during assembly work and the position and posture of each part during assembly work. this is,
This is information relating to the characteristics of this embodiment. This information is sequentially updated and collated with the result of image recognition. As a result of the collation, an error or an error is detected, and a corresponding correction operation or the like is executed. In addition, the work environment knowledge is information such as the shape of the robot 1, the operation range of the robot 1, the work table, and obstacles that are not targets of the work, but are necessary for the planning unit 7 to plan the operation sequence of the robot 1. Say. This is input from the input unit 10.
【0017】そして、モデル記憶部9には、認識対象物
のモデルとして、各部品の形状と、ロボット1のハンド
の形状に関する情報が、例えばCAD/CAMの分野で
用いられているワイヤモデルによる表現で記憶されてい
る。これは、入力部10から入力される。Then, the model storage unit 9 represents the shape of each part as a model of the object to be recognized and information about the shape of the hand of the robot 1 by a wire model used in the field of CAD / CAM, for example. Remembered in. This is input from the input unit 10.
【0018】一方、この実施例では、認識部3は3個の
認識部3−1〜3−3を備えている。このうち認識部3
−1は、モデル記憶部9に記憶されている認識対象物
(部品)のモデルを利用して、認識対象物の位置及び姿
勢を求める。これは、初期状態、目標状態を入力し、作
業記憶部8に記憶させるのに使用される。On the other hand, in this embodiment, the recognition unit 3 is provided with three recognition units 3-1 to 3-3. Of these, the recognition unit 3
-1 obtains the position and orientation of the recognition target object by using the model of the recognition target object (component) stored in the model storage unit 9. This is used for inputting the initial state and the target state and storing them in the work storage unit 8.
【0019】また、認識部3−2は、モデル記憶部9に
記憶されている認識対象物及びロボット1のハンドのモ
デルと、作業記憶部8に中間状態として記憶されている
認識対象物及びロボット1のハンドの予測される位置及
び姿勢を利用して、この位置及び姿勢を含む一定の範囲
内に認識対象物及びロボット1のハンドが実際に存在す
ることを確認する。これは、ロボット1の動作確認に使
用される。The recognition unit 3-2 includes the recognition target object and the model of the hand of the robot 1 stored in the model storage unit 9 and the recognition target object and the robot stored in the working storage unit 8 as an intermediate state. Using the predicted position and orientation of the first hand, it is confirmed that the recognition target and the hand of the robot 1 actually exist within a certain range including this position and orientation. This is used to confirm the operation of the robot 1.
【0020】そして、認識部3−3は、モデル記憶部9
に記憶されている認識対象物及びロボット1のハンドの
モデルと、作業記憶部8に中間状態として記憶されてい
る認識対象物及びロボット1のハンドの予測される位置
及び姿勢を利用して、この位置及び姿勢を含む一定の範
囲内に認識対象物及びロボット1のハンドが実際に存在
することを確認した後、認識対象物及びロボット1のハ
ンドの実際の位置及び姿勢を求める。これは、ロボット
1の組み立て確認、ロボット1の誤差補正、中間状態の
誤差補正に使用される。The recognition unit 3-3 is then connected to the model storage unit 9
Using the model of the recognition target object and the hand of the robot 1 stored in, and the predicted position and orientation of the recognition target object and the hand of the robot 1 stored in the work storage unit 8 as an intermediate state, After confirming that the recognition object and the hand of the robot 1 actually exist within a certain range including the position and the attitude, the actual position and attitude of the recognition object and the hand of the robot 1 are obtained. This is used for checking the assembly of the robot 1, correcting the error of the robot 1, and correcting the error in the intermediate state.
【0021】認識部3−2、認識部3−3が認識対象物
及びロボット1のハンドを確認することができなかった
場合、本実施例では、組み立て作業中にエラーが発生し
たと判断して作業を停止する。また、認識部3−3が求
めた認識対象物及びロボット1のハンドの実際の位置及
び姿勢と、認識対象物及びロボット1のハンドの予測さ
れる位置及び姿勢と、の間に誤差がある場合、組み立て
作業中に誤差が発生したと判断して誤差を補正する。When the recognition units 3-2 and 3-3 cannot confirm the recognition target object and the hand of the robot 1, in this embodiment, it is determined that an error has occurred during the assembly work. Stop working. Further, when there is an error between the actual position and orientation of the recognition target object and the hand of the robot 1 obtained by the recognition unit 3-3 and the predicted position and orientation of the recognition target object and the hand of the robot 1. , Judge that an error has occurred during the assembly work and correct the error.
【0022】(3)実施例の動作 次に、このような構成及び機能を有する本実施例の動作
について説明する。(3) Operation of the Embodiment Next, the operation of this embodiment having such a configuration and function will be described.
【0023】(3.1)入力から動作信号の出力まで 図2には、この実施例における入力から動作信号の出力
までの動作の流れが示されている。この実施例では、ま
ず、使用者が、必要な情報を入力部10から入力して作
業記憶部8、モデル記憶部9に記憶させる必要がある
(101)。入力すべき情報としては、初期状態、目標
状態、初期状態支持関係、目標状態支持関係、作業環境
知識、各部品のモデルがある。先にも述べたように、こ
れらのうち最後の一つを除き作業記憶部8に記憶され、
各部品のモデルはモデル記憶部9に記憶される。ただ
し、初期状態、目標状態、初期状態支持関係、目標状態
支持関係については認識部3−1又は支持関係計算部6
を利用可能であり必ずしも入力部10から入力する必要
はない。入力が終わると、入力部10は計画部7に信号
を送る(102)。(3.1) From Input to Output of Operation Signal FIG. 2 shows a flow of operation from input to output of operation signal in this embodiment. In this embodiment, first, the user needs to input necessary information from the input unit 10 and store it in the work storage unit 8 and the model storage unit 9 (101). The information to be input includes an initial state, a target state, an initial state support relationship, a target state support relationship, work environment knowledge, and a model of each part. As described above, the last one of these is stored in the work storage unit 8,
The model of each component is stored in the model storage unit 9. However, regarding the initial state, the target state, the initial state support relationship, and the target state support relationship, the recognition unit 3-1 or the support relationship calculation unit 6
Is available and does not necessarily have to be input from the input unit 10. When the input is completed, the input unit 10 sends a signal to the planning unit 7 (102).
【0024】入力部10から計画部7に信号が送られる
と、計画部7は作業記憶部8に初期状態、目標状態、初
期状態支持関係、目標状態支持関係、作業環境知識を、
モデル記憶部9に各部品のモデルを問合せる(10
3)。ここで、作業記憶部8に初期状態、目標状態が記
憶されていない場合は、作業記憶部8は認識部3−1を
起動させる(104)。認識部3−1はモデル記憶部9
に記憶されている各部品のモデルを利用して、カメラ4
からの画像情報を認識し(105)、認識の結果得られ
た初期状態及び目標状態を作業記憶部8に入力する(1
06)。When a signal is sent from the input unit 10 to the planning unit 7, the planning unit 7 stores the initial state, the target state, the initial state support relation, the target state support relation, and the work environment knowledge in the work storage unit 8.
The model storage unit 9 is inquired about the model of each component (10
3). Here, when the initial state and the target state are not stored in the work storage unit 8, the work storage unit 8 activates the recognition unit 3-1 (104). The recognition unit 3-1 is the model storage unit 9
Using the model of each part stored in
The image information from the image is recognized (105), and the initial state and the target state obtained as a result of the recognition are input to the work storage unit 8 (1
06).
【0025】また、作業記憶部8に初期状態支持関係及
び目標状態支持関係が記憶されていない場合には、支持
関係計算部6が、作業記憶部8上の初期状態及び目標状
態と、モデル記憶部9上の各部品のモデルと、に基づ
き、初期状態支持関係、目標状態支持関係を計算し(1
07)、初期状態支持関係、目標状態支持関係を作業記
憶部8に入力する(108)。When the initial state support relation and the target state support relation are not stored in the work storage unit 8, the support relation calculation unit 6 causes the initial state and the target state on the work storage unit 8 and the model storage. The initial state support relationship and the target state support relationship are calculated based on the model of each part on the part 9 (1
07), the initial state support relationship and the target state support relationship are input to the work storage unit 8 (108).
【0026】この後、計画部7は、初期状態、目標状
態、初期状態支持関係、目標状態支持関係、作業環境知
識、各部品のモデルから、組み立て手順、各部品の把握
位置等を計算し、ロボット1の動作列を計画する(10
9)。After that, the planning unit 7 calculates an assembly procedure, a grasped position of each part, etc. from the initial state, the target state, the initial state support relationship, the target state support relationship, the work environment knowledge, and the model of each part, Plan the motion sequence of the robot 1 (10
9).
【0027】ロボット1は、計画部7が計画した動作列
の動作を1つ1つ順に実行することにより組み立て作業
を行う。この作業は、計画部7から選択部5へ供給され
る動作信号に基づき行われる。すなわち、動作列の計画
後、計画部7は選択部5に動作信号を出力し(11
0)、選択部5は計画部7から送られてきた動作信号を
判別して対応する動作を実行する。ここに、動作信号と
は、ロボット1の動作、ロボット1の移動量、ロボット
1の操作対象部品、等の情報を含む信号である。The robot 1 carries out an assembling work by sequentially executing the operations of the operation train planned by the planning unit 7 one by one. This work is performed based on the operation signal supplied from the planning unit 7 to the selection unit 5. That is, after planning the operation sequence, the planning unit 7 outputs an operation signal to the selection unit 5 (11
0), the selection unit 5 determines the operation signal sent from the planning unit 7 and executes the corresponding operation. Here, the motion signal is a signal including information such as the motion of the robot 1, the movement amount of the robot 1, the operation target component of the robot 1, and the like.
【0028】(3.2)動作信号に応じた動作 以下、ロボット1が1つの動作を実行する場合の実施例
装置の動作を説明する。ここでは、図3(a)に示され
るように2個の部品及びが配置された初期状態を仮
定し、これを図3(b)に示されるような目標状態に組
み立てる例に基づき、以下の説明を行う。(3.2) Operation According to Operation Signal The operation of the embodiment apparatus when the robot 1 executes one operation will be described below. Here, an initial state in which two parts and are arranged as shown in FIG. 3A is assumed, and based on an example of assembling this into a target state as shown in FIG. I will explain.
【0029】部品の組み立て作業には、大別して、ピッ
ク作業とプレース作業とがある。このうちピック作業は
ロボット1により部品を把持する動作であり、プレース
作業は部品を載置する動作である。The assembling work of the parts is roughly classified into a pick work and a place work. Of these, the picking operation is an operation of gripping a component by the robot 1, and the placing operation is an operation of placing a component.
【0030】図3(a)に示される初期状態から図3
(b)に示される目標状態に至る一連の組み立て手順
は、次のような手順となる。まず、図4に示されるよう
なピック作業を行う。From the initial state shown in FIG.
A series of assembling procedures to reach the target state shown in (b) are as follows. First, a picking operation as shown in FIG. 4 is performed.
【0031】この作業では、まず、ロボット1が部品
を掴みにいく。これは、図4(a)から図4(b)に至
る動作であり、これをアプローチ動作という。このと
き、本実施例では、後述するような手法で部品に対し
て中間状態の誤差補正を行う。これは、不測な移動等に
より部品が中間状態の位置及び姿勢(この場合は初期
状態の位置及び姿勢に同じ)と異なる位置及び姿勢をと
っていた場合にも、ロボット1が部品を正しく掴むこ
とができるようにするためである。In this work, the robot 1 first grabs a part. This is an operation from FIG. 4A to FIG. 4B, and this is called an approach operation. At this time, in the present embodiment, the error in the intermediate state is corrected for the component by the method described later. This is because the robot 1 correctly grasps the component even when the component has a position and orientation different from the intermediate state position and orientation (in this case, the same as the initial state position and orientation) due to unexpected movement. This is so that
【0032】次に、グラスプ動作を行う。これは、部品
にアプローチしたロボット1が部品を掴む動作であ
り、図4(b)から図4(c)に至る動作である。この
場合、組み立て装置はロボット1の誤差補正を行う。こ
れは、ロボット1の高い位置決め精度を実現するためで
ある。Next, a grasp operation is performed. This is an operation in which the robot 1 approaching a part grabs the part, and is an operation from FIG. 4 (b) to FIG. 4 (c). In this case, the assembling apparatus corrects the error of the robot 1. This is to realize high positioning accuracy of the robot 1.
【0033】さらに、ロボット1が部品を持ち上げ
る。これをデパート動作という。図4(c)から図4
(d)に至る動作である。この場合、本実施例の装置は
部品に対してロボット1の動作確認を行う。これは、
ロボット1が部品を正しく掴むことができなかった場
合に、速やかにエラーを検出して作業を停止するためで
ある。Further, the robot 1 lifts the component. This is called department store operation. 4 (c) to 4
This is the operation up to (d). In this case, the apparatus of this embodiment confirms the operation of the robot 1 with respect to the parts. this is,
This is to promptly detect an error and stop the work when the robot 1 cannot correctly grasp the component.
【0034】次に、部品をプレースする作業が実行さ
れる。このプレース作業は、アプローチ、リリース及び
デパートの3個の動作から構成される。プレース作業の
アプローチ動作は、図4(d)から図5(a)に至る動
作である。この場合には、部品をプレースする際のア
プローチ動作(後述)と異なり、部品に対する接触部
品がないので、中間状態の誤差補正は行わない。Next, the work of placing the parts is executed. This place work is composed of three operations: approach, release and department store. The approach operation of the place work is the operation from FIG. 4 (d) to FIG. 5 (a). In this case, unlike the approach operation when placing a component (described later), since there is no contacting component with respect to the component, error correction in the intermediate state is not performed.
【0035】図5(a)から図5(b)に至る動作は、
リリース動作である。すなわち、ロボット1が部品を
放す動作である。続いて、図5(b)から図5(c)に
至るデパート動作、すなわちロボット1が部品を伴わず
に持ち上げられる動作が実行される。この図の場合、後
述する部品をプレースする際のデパート動作と異な
り、部品に対する接触部品がないので、組み立て確認
ではなく部品に対してロボット1の動作確認を行う。
これは、ロボット1が部品を正しく置くことができな
かった場合に、速やかにエラーを検出して作業を停止す
るためである。The operation from FIG. 5 (a) to FIG. 5 (b) is as follows.
It is a release operation. That is, the robot 1 releases the parts. Then, the department store operation from FIG. 5B to FIG. 5C, that is, the operation of lifting the robot 1 without any parts is executed. In the case of this figure, unlike the department store operation when placing a part to be described later, since there is no contact part with the part, the operation check of the robot 1 is performed not for the assembly check but for the part.
This is to promptly detect an error and stop the work when the robot 1 cannot place the parts correctly.
【0036】さらに、部品のピック作業が実行され
る。すなわち、図5(c)から図6(a)に至るアプロ
ーチ動作、図6(a)から図6(b)に至るグラスプ動
作、図6(b)から図6(c)に至るデパート動作が実
行される。アプローチ動作においては、部品に対して
中間状態の誤差補正を行う。これは、部品が何等かの
理由で移動しており中間状態の位置及び姿勢(この場合
は初期状態の位置及び姿勢に同じ)と異なる位置及び姿
勢である場合にも、ロボット1が部品を正しく掴むこ
とができるようにするためである。グラスプ動作におい
ては、ロボット1の誤差補正を行う。これは、ロボット
1の高い位置決め精度を実現するためである。デパート
動作においては、部品に対してロボット1の動作確認
を行う。これは、ロボット1が部品を正しく掴むこと
ができなかった場合に、速やかにエラーを検出して作業
を停止するためである。Further, the picking work of the parts is executed. That is, the approach operation from FIG. 5 (c) to FIG. 6 (a), the grasp operation from FIG. 6 (a) to FIG. 6 (b), and the department store operation from FIG. 6 (b) to FIG. 6 (c). Executed. In the approach operation, the error in the intermediate state is corrected for the part. This is because even if the part is moving for some reason and the position and attitude are different from the position and attitude in the intermediate state (in this case, the position and attitude are the same as the initial state), the robot 1 correctly detects the part. This is so that it can be grabbed. In the grasp operation, the error of the robot 1 is corrected. This is to realize high positioning accuracy of the robot 1. In the department store operation, the operation of the robot 1 is checked for parts. This is to promptly detect an error and stop the work when the robot 1 cannot correctly grasp the part.
【0037】そして、部品のプレース作業が行われ
る。この作業も、やはり、アプローチ、リリース、デパ
ートの各動作から構成される。図6(c)から図7
(a)に至るアプローチ動作においては、部品に対す
る接触部品(部品)があるので、部品に対して中間
状態の誤差補正を行う。これは、部品が何等かの理由
で移動しており中間状態の位置及び姿勢(この場合は目
標状態の位置及び姿勢に同じ)と異なる位置及び姿勢で
ある場合にも、ロボット1が部品と部品を正しく組
み立てることができるようにするためである。図7
(a)から図7(b)に至るリリース動作に続き、図7
(b)から図7(c)に至るデパート動作が実行され
る。このデパート動作では、部品に対する接触部品
(部品)があるので、部品と部品に対してロボッ
ト1の組み立て確認を行う。これは、ロボット1が部品
と部品を正しく組み立てることができなかった場合
に、速やかにエラーを検出して作業を停止するためであ
る。Then, a work of placing parts is performed. This work also consists of approach, release, and department store operations. 6 (c) to 7
In the approach operation up to (a), since there is a contacting part (part) with respect to the part, the error in the intermediate state is corrected for the part. This is because even if the part is moving for some reason and has a position and orientation different from the position and orientation in the intermediate state (in this case, the position and orientation are the same as the target state), the robot 1 can This is so that the can be assembled correctly. Figure 7
Following the release operation from FIG. 7A to FIG.
The department store operation from (b) to FIG. 7 (c) is executed. In this department store operation, since there is a contact component (component) with respect to the component, the assembly confirmation of the robot 1 is performed for each component. This is to promptly detect an error and stop the work when the robot 1 cannot assemble the parts correctly.
【0038】このように、本実施例の装置を用いて行う
組み立て作業の各動作においては、必要に応じて、ロボ
ット1の動作確認、ロボット1の組み立て確認、ロボッ
ト1の誤差補正、中間状態の誤差補正、等の特徴的動作
が実行される。これらの動作においては、認識部3が動
作し、一連の動作の区切りにあり静止しているロボット
又は部品が画像認識される。次に、本実施例の基本的動
作の詳細について説明し、これらの特徴的動作について
述べる。As described above, in each operation of the assembly work performed by using the apparatus of this embodiment, the operation check of the robot 1, the assembly check of the robot 1, the error correction of the robot 1, the intermediate state Characteristic operations such as error correction are executed. In these operations, the recognizing unit 3 operates, and a stationary robot or a part at the boundary of a series of operations is image-recognized. Next, details of the basic operation of the present embodiment will be described, and the characteristic operations thereof will be described.
【0039】(3.2A)動作信号がピック作業のアプ
ローチ動作を示す場合 この場合、実施例の装置は、図8に示されるような流れ
の動作を実行する。(3.2A) When the operation signal indicates the approach operation of the pick work In this case, the apparatus of the embodiment executes the operation of the flow as shown in FIG.
【0040】まず、選択部5は動作信号を作業記憶部8
に送る(201)。作業記憶部8は選択部5から送られ
てきた動作信号に基づいて中間状態を更新する(20
2)。このステップ202においては、より詳細には、
作業記憶部8が動作信号に基づきロボット1の位置及び
姿勢を計算し、ロボット1の動作から各部品の位置及び
姿勢を計算し、作業記憶部8により記憶されている中間
状態における各部品の位置及び姿勢を更新する。First, the selection unit 5 outputs the operation signal to the work storage unit 8
To (201). The work storage unit 8 updates the intermediate state based on the operation signal sent from the selection unit 5 (20
2). In this step 202, more specifically,
The work storage unit 8 calculates the position and orientation of the robot 1 based on the operation signal, calculates the position and orientation of each component from the operation of the robot 1, and the position of each component in the intermediate state stored by the work storage unit 8. And update the posture.
【0041】中間状態の更新が終わると、作業記憶部8
は認識部3−3を起動させて中間状態の誤差補正を行
う。この補正の対象物は、ロボット1が操作対象とする
部品である。例えば、図4(a)〜(b)に示されるア
プローチ動作では部品、図5(c)〜図6(a)に示
されるアプローチ動作では部品である。この動作は、
より詳細には次のようにして行われる。When the update of the intermediate state is completed, the work storage unit 8
Activates the recognition unit 3-3 to correct the error in the intermediate state. The object of this correction is a component that the robot 1 operates. For example, the approach operation shown in FIGS. 4A and 4B is a part, and the approach operation shown in FIGS. 5C to 6A is a part. This behavior is
More specifically, it is performed as follows.
【0042】まず、認識部3−3が、モデル記憶部9に
記憶されている補正対象物のモデルと、作業記憶部8に
中間状態として記憶されている補正対象物の予測される
位置及び姿勢と、を利用して、カメラ4からの画像情報
を認識し、補正対象物の位置及び姿勢を求める(20
3)。このとき、認識部3−3が補正対象物を確認する
ことができなかった場合は、認識部3−3は組み立て作
業中にエラーが発生したと判断して選択部5に信号を送
り(204)、選択部5は組み立て作業を停止させる
(205)。認識部3−3が補正対象物を確認すること
ができた場合は、認識部3−3は、求めた補正対象物の
位置及び姿勢を作業記憶部8に送る(206)。作業記
憶部8は、認識部3−3から送られてきた補正対象物の
位置と姿勢と、中間状態に記憶されている補正対象部の
予測される位置及び姿勢と、の誤差を求める(20
7)。誤差がある場合は、作業記憶部8は、中間状態と
して記憶されている補正対象物の位置及び姿勢を補正
し、それに伴って中間状態として記憶されているロボッ
ト1の位置と姿勢を補正する(208)。First, the recognition unit 3-3 uses the model of the correction target object stored in the model storage unit 9 and the predicted position and orientation of the correction target object stored in the working storage unit 8 as an intermediate state. And are used to recognize the image information from the camera 4 and obtain the position and orientation of the correction target (20
3). At this time, when the recognition unit 3-3 cannot confirm the correction target, the recognition unit 3-3 determines that an error has occurred during the assembly work and sends a signal to the selection unit 5 (204 ), The selection unit 5 stops the assembly work (205). When the recognition unit 3-3 can confirm the correction target object, the recognition unit 3-3 sends the obtained position and orientation of the correction target object to the work storage unit 8 (206). The work storage unit 8 obtains an error between the position and orientation of the correction target sent from the recognition unit 3-3 and the predicted position and orientation of the correction target stored in the intermediate state (20).
7). If there is an error, the work storage unit 8 corrects the position and orientation of the correction target object stored as the intermediate state, and accordingly corrects the position and orientation of the robot 1 stored as the intermediate state ( 208).
【0043】このようにして、中間状態の誤差補正が終
ると、作業記憶部8は中間状態として記憶されているロ
ボット1の位置及び姿勢を制御部2に送る(209)。
制御部2は作業記憶部8から送られてきたロボット1の
位置と姿勢にロボット1を動かす(210)。ロボット
1の動作が終ると、制御部2は選択部5に信号を送り
(211)、選択部5は計画部7に信号を送る(21
2)。このようにして、ピック作業のアプローチ動作が
終る。In this way, when the error correction of the intermediate state is completed, the work storage unit 8 sends the position and orientation of the robot 1 stored as the intermediate state to the control unit 2 (209).
The control unit 2 moves the robot 1 to the position and posture of the robot 1 sent from the work storage unit 8 (210). When the operation of the robot 1 is completed, the control unit 2 sends a signal to the selection unit 5 (211), and the selection unit 5 sends a signal to the planning unit 7 (21).
2). In this way, the approaching motion of the picking work is completed.
【0044】以上説明したように、本実施例におけるピ
ック作業のアプローチ動作では、認識部3−3による画
像認識結果に応じて中間状態を補正している。この結
果、ロボット1が、ピックすべき部品により正確にアプ
ローチすることが可能になる。また、認識部3−3が部
品を認識できない場合には、ロボット1による組み立て
作業が停止される。これにより、迅速かつ適確な作業復
帰が可能になる。また、ステップ205に係る作業停止
に代え、計画部7に信号を発して再計画を実行するよう
にしても良く、この場合、より使用性の良い自律的な装
置となる。As described above, in the approach operation of the pick work in this embodiment, the intermediate state is corrected according to the image recognition result by the recognition unit 3-3. As a result, the robot 1 can approach the parts to be picked more accurately. If the recognition unit 3-3 cannot recognize the component, the assembly work by the robot 1 is stopped. This enables quick and accurate work recovery. Further, instead of the work stoppage related to step 205, a signal may be issued to the planning unit 7 to execute the re-planning, and in this case, the autonomous apparatus has better usability.
【0045】(3.2B)動作信号がピック作業のグラ
スプ動作を示す場合 この動作は、図4(b)〜図4(c)、図6(a)〜図
6(b)に示される動作であり、アプローチ動作の後に
実行された部品を把捉する動作である。この動作におい
ては、まず、選択部5は認識部3−3を起動させてロボ
ット1の誤差補正を行う。(3.2B) When the motion signal indicates the grasp motion of the picking work This motion is the motion shown in FIGS. 4 (b) to 4 (c) and 6 (a) to 6 (b). That is, this is an operation for grasping the component executed after the approach operation. In this operation, the selection unit 5 first activates the recognition unit 3-3 to correct the error of the robot 1.
【0046】この誤差補正の動作は、図9のように行わ
れる。まず、認識部3−3はモデル記憶部9に記憶され
ているロボット1のハンドのモデルと、作業記憶部8の
中間状態に記憶されているロボット1のハンドの予測さ
れる位置及び姿勢と、を利用して、カメラ4からの画像
情報を認識し、ロボット1のハンドの位置及び姿勢を求
める(301)。ただし、認識部3−3がロボット1の
ハンドを確認することができなかった場合は、認識部3
−3は組み立て作業中にエラーが発生したと判断して選
択部5に信号を送り(302)、選択部5は組み立て作
業を停止させる(303)。認識部3−3がロボット1
のハンドを確認することができた場合は、認識部3−3
は、ロボット1のハンドの位置及び姿勢を選択部5に送
る(304)。選択部5は、中間状態に記憶されている
ロボット1のハンドの予測される位置及び姿勢に対し、
認識部3−3から送られてきたロボット1のハンドの位
置及び姿勢が有している誤差を求める(305)。誤差
がある場合は、選択部5は誤差を制御部2に送る(30
6)。制御部2は、選択部5から送られてきた誤差だけ
ロボット1の位置及び姿勢を補正する(307)。This error correction operation is performed as shown in FIG. First, the recognition unit 3-3, the model of the hand of the robot 1 stored in the model storage unit 9, the predicted position and orientation of the hand of the robot 1 stored in the intermediate state of the work storage unit 8, Is used to recognize the image information from the camera 4 and obtain the position and orientation of the hand of the robot 1 (301). However, when the recognition unit 3-3 cannot confirm the hand of the robot 1, the recognition unit 3-3
-3 determines that an error has occurred during the assembly work and sends a signal to the selection unit 5 (302), and the selection unit 5 stops the assembly work (303). The recognition unit 3-3 is the robot 1
If the hand of the player can be confirmed, the recognition unit 3-3
Sends the position and orientation of the hand of the robot 1 to the selection unit 5 (304). The selection unit 5 sets the predicted position and posture of the hand of the robot 1 stored in the intermediate state,
The error of the position and orientation of the hand of the robot 1 sent from the recognition unit 3-3 is calculated (305). If there is an error, the selection unit 5 sends the error to the control unit 2 (30
6). The control unit 2 corrects the position and orientation of the robot 1 by the error sent from the selection unit 5 (307).
【0047】このようにしてロボット1の誤差補正が終
ると、制御部2はロボット1のハンドをクローズさせる
(308)。ロボット1の動作が終ると、制御部2は選
択部5に信号を送る(309)。選択部5は、計画部7
に信号を送り(310)、ピック作業のグラスプ動作が
終る。When the error correction of the robot 1 is completed in this way, the controller 2 closes the hand of the robot 1 (308). When the operation of the robot 1 ends, the control unit 2 sends a signal to the selection unit 5 (309). The selection unit 5 is the planning unit 7
(310), and the grasping operation of the picking work is completed.
【0048】以上説明したように、本実施例におけるピ
ック作業のグラスプ動作では、認識部3−3による画像
認識結果に応じてロボット1の誤差補正をしている。こ
の結果、ロボット1が正確に部品にアプローチしていな
い場合にも正確にグラスプ動作を実行することが可能に
なる。また、認識部3−3がロボット1のハンドを認識
できない場合には、アプローチ動作と同様に、ロボット
1による組み立て作業が停止される。アプローチ動作の
説明において述べたこの動作停止の利点も同様に享受で
き、再計画も同様に可能である。As described above, in the grasp operation of the picking work in this embodiment, the error of the robot 1 is corrected according to the image recognition result by the recognition unit 3-3. As a result, the grasp operation can be accurately performed even when the robot 1 does not accurately approach the parts. Further, when the recognition unit 3-3 cannot recognize the hand of the robot 1, the assembly work by the robot 1 is stopped as in the approach operation. The advantages of this outage mentioned in the description of the approach operation can be enjoyed as well and re-planning is possible as well.
【0049】(3.2C)動作信号がピック作業のデパ
ート動作を示す場合 ピック作業のデパート動作は、図4(c)〜図4(d)
又は図6(b)〜図6(c)に示されるような動作であ
る。これは、部品を把捉したまま持ち上げる動作であ
る。本実施例では、ピック作業のデパート動作におい
て、ロボット1の動作確認が実行される。(3.2C) When the operation signal indicates the department store operation of the pick work The department store operation of the pick work is shown in FIGS. 4 (c) to 4 (d).
Alternatively, the operation is as shown in FIGS. 6 (b) to 6 (c). This is an operation to lift a component while grasping it. In the present embodiment, the operation confirmation of the robot 1 is executed in the department store operation of the picking work.
【0050】図10に示されるように、デパート動作で
は、まず、選択部5が動作信号を作業記憶部8に送る
(401)。作業記憶部8は、選択部5から送られてき
た動作信号に基づいて中間状態を更新する(402)。
中間状態の更新が終ると、作業記憶部8は、更新された
中間状態に含まれるロボット1の位置及び姿勢を制御部
2に送る(403)。制御部2は、作業記憶部8から送
られてきたロボット1の位置及び姿勢となるようロボッ
ト1を動かす(404)。As shown in FIG. 10, in the department store operation, first, the selection unit 5 sends an operation signal to the work storage unit 8 (401). The work storage unit 8 updates the intermediate state based on the operation signal sent from the selection unit 5 (402).
After updating the intermediate state, the work storage unit 8 sends the position and orientation of the robot 1 included in the updated intermediate state to the control unit 2 (403). The control unit 2 moves the robot 1 to the position and orientation of the robot 1 sent from the work storage unit 8 (404).
【0051】ロボット1の動作が終ると、制御部2は、
選択部5に信号を送る(405)。選択部5は認識部3
−2を起動させてロボット1の動作確認を行う。ここ
に、確認の対象となるのは、ロボット1の操作対象部品
であり、図4(c)〜図4(d)では部品、図6
(b)〜図6(c)では部品である。ロボット1の動
作確認は、次のようにして行う。When the operation of the robot 1 is finished, the control unit 2
A signal is sent to the selection unit 5 (405). The selection unit 5 is the recognition unit 3
-2 is activated to confirm the operation of the robot 1. Here, the confirmation target is the operation target component of the robot 1, and in FIGS. 4 (c) to 4 (d), the component and FIG.
Parts (b) to 6 (c) are parts. The operation check of the robot 1 is performed as follows.
【0052】まず、認識部3−2が、モデル記憶部9に
記憶されている確認対象物のモデルと、作業記憶部8に
中間状態として記憶されている確認対象物の予測される
位置及び姿勢と、を利用して、カメラ4からの画像情報
を認識し、ロボット1の操作対象部品を確認する(40
6)。認識部3−2が確認対象物を確認することができ
なかった場合は、認識部3−2は組み立て作業中にエラ
ーが発生したと判断して選択部5に信号を送り(40
7)、選択部5は組み立て作業を停止させる(40
8)。認識部3−2が確認対象物を確認することができ
た場合は、認識部3−2は組み立て作業が正しく行われ
ていると判断し、選択部5に信号を送る(409)。選
択部5は計画部7に信号を送り(410)、このように
してピック作業のデパート動作が終る。First, the recognition unit 3-2 uses the model of the confirmation target object stored in the model storage unit 9 and the predicted position and orientation of the confirmation target object stored in the working storage unit 8 as an intermediate state. And are used to recognize the image information from the camera 4 and confirm the operation target parts of the robot 1 (40
6). If the recognition unit 3-2 cannot confirm the confirmation target, the recognition unit 3-2 determines that an error has occurred during the assembly work and sends a signal to the selection unit 5 (40
7), the selection unit 5 stops the assembly work (40
8). When the recognition unit 3-2 can confirm the confirmation target object, the recognition unit 3-2 determines that the assembling work is correctly performed, and sends a signal to the selection unit 5 (409). The selection unit 5 sends a signal to the planning unit 7 (410), and the department store operation of the picking work is thus completed.
【0053】以上説明したように、本実施例におけるピ
ック作業のデパート動作では、認識部3−2による画像
認識結果に応じてロボット1の動作確認をしている。こ
の結果、ロボット1が正常に部品を把捉していない場合
には、アプローチ動作と同様に、ロボット1による組み
立て作業が停止される。アプローチ動作の説明において
述べたこの動作停止の利点も同様に享受でき、再計画も
同様に可能である。As described above, in the department store operation of the picking work in this embodiment, the operation of the robot 1 is confirmed according to the image recognition result by the recognition unit 3-2. As a result, when the robot 1 does not normally grasp the parts, the assembly work by the robot 1 is stopped as in the approach operation. The advantages of this outage mentioned in the description of the approach operation can be enjoyed as well and re-planning is possible as well.
【0054】(3.2D)動作信号がプレース作業のア
プローチ動作を示す場合 プレース作業のアプローチ動作は、図4(d)〜図5
(a)又は図6(c)〜図7(a)に示されるような動
作である。これは、部品を把捉したロボット1のハンド
がその部品を所定の場所にアプローチさせる動作であ
る。本実施例では、プレース作業のアプローチ動作にお
いて、中間状態の誤差補正が実行される。(3.2D) When the operation signal indicates the approach operation for the place work The approach operation for the place work is shown in FIGS.
The operation is as shown in (a) or FIG. 6 (c) to FIG. 7 (a). This is an operation in which the hand of the robot 1 grasping a component approaches the component to a predetermined place. In this embodiment, the error correction of the intermediate state is executed in the approach operation of the place work.
【0055】図11に示されるように、この動作におい
ては、まず選択部5が動作信号を作業記憶部8に送る
(501)。作業記憶部8は、選択部5から送られてき
た動作信号に基づいて、中間状態をアプローチ後の状態
を示す状態に更新する(502)。中間状態の更新が終
ると、作業記憶部8は、中間状態に記憶されている各部
品の位置及び姿勢と、モデル記憶部9に記憶されている
各部品のモデルと、を支持関係計算部6に送り、アプロ
ーチ後の各部品間の支持関係を得る(503)。作業記
憶部8は、各部品間の支持関係に基づきロボット1の操
作対象部品とテーブル以外に接触する部品(接触部品)
を探す(504)。ここに、図4(d)〜図5(a)の
例では接触部品は無いが、図6(c)〜図7(a)の例
では部品がこれに該当する。接触部品がある場合は、
作業記憶部8は認識部3−3を起動させ、中間状態の誤
差補正を行う。ここに、補正の対象物は接触部品であ
る。As shown in FIG. 11, in this operation, the selection section 5 first sends an operation signal to the working storage section 8 (501). The work storage unit 8 updates the intermediate state to the state indicating the approached state based on the operation signal sent from the selection unit 5 (502). When the update of the intermediate state is completed, the work storage unit 8 stores the position and orientation of each component stored in the intermediate state and the model of each component stored in the model storage unit 9 into the support relation calculation unit 6 To obtain a supporting relationship between the respective parts after the approach (503). The work storage unit 8 is a component (contact component) that comes into contact with the operation target component of the robot 1 other than the table based on the support relationship between the components.
Search for (504). Here, although there are no contact parts in the examples of FIGS. 4 (d) to 5 (a), the parts correspond to these in the examples of FIGS. 6 (c) to 7 (a). If there are contact parts,
The work storage unit 8 activates the recognition unit 3-3 to correct the error in the intermediate state. Here, the object of correction is a contact component.
【0056】中間状態の誤差補正は、次のように行う。
まず、認識部3−3が、モデル記憶部9に記憶されてい
る補正対象物のモデルと、作業記憶部8の中間状態に記
憶されている補正対象物の予測される位置及び姿勢と、
を利用して、カメラ4からの画像情報を認識し、補正対
象物である接触部品の位置と姿勢を求める(505)。
認識部3−3が接触部品を確認することができなかった
場合は、認識部3−3は組み立て作業中にエラーが発生
したと判断して選択部5に信号を送り(506)、選択
部5は組み立て作業を停止させる(507)。認識部3
−3が接触部品を確認することができた場合は、認識部
3−3は、接触部品の位置及び姿勢を作業記憶部8に送
る(508)。作業記憶部8は、認識部3−3から送ら
れてきた接触部品の位置及び姿勢と、中間状態として記
憶されている接触部品の予測される位置及び姿勢と、の
誤差を求める(509)。誤差がある場合は、作業記憶
部8は中間状態として記憶されている接触部品の位置及
び姿勢を補正し(510)、それに伴って、中間状態と
して記憶されている接触部品と接触する部品(ロボット
1の操作対象部品を含む)の位置及び姿勢を補正する。
また、操作対象部品の位置及び姿勢の補正に伴って、中
間状態として記憶されているロボット1の位置及び姿勢
を補正する。The error correction in the intermediate state is performed as follows.
First, the recognition unit 3-3 uses the model of the correction target object stored in the model storage unit 9 and the predicted position and orientation of the correction target object stored in the intermediate state of the work storage unit 8.
Is used to recognize the image information from the camera 4 and determine the position and orientation of the contact component that is the correction target (505).
If the recognition unit 3-3 cannot confirm the contact parts, the recognition unit 3-3 determines that an error has occurred during the assembly work and sends a signal to the selection unit 5 (506). 5 stops the assembling work (507). Recognition unit 3
If -3 can confirm the contact component, the recognition unit 3-3 sends the position and orientation of the contact component to the work storage unit 8 (508). The work storage unit 8 obtains an error between the position and orientation of the contact component sent from the recognition unit 3-3 and the predicted position and orientation of the contact component stored as the intermediate state (509). If there is an error, the work storage unit 8 corrects the position and orientation of the contact component stored as the intermediate state (510), and accordingly, the component that contacts the contact component stored as the intermediate state (robot). (Including the operation target component 1) is corrected.
In addition, the position and orientation of the robot 1 stored as the intermediate state is corrected along with the correction of the position and orientation of the operation target component.
【0057】このようにして中間状態の誤差補正が終る
と、作業記憶部8は、中間状態として記憶されているロ
ボット1の位置及び姿勢を制御部2に送る(511)。
制御部2は、作業記憶部8から送られてきたロボット1
の位置及び姿勢となるようロボット1を動かす(51
2)。ロボット1の動作が終ると、制御部2は選択部5
に信号を送る(513)。選択部5は計画部7に信号を
送り(514)、このようにしてプレース作業のアプロ
ーチ動作が終る。When the error correction of the intermediate state is completed in this way, the work storage unit 8 sends the position and orientation of the robot 1 stored as the intermediate state to the control unit 2 (511).
The control unit 2 uses the robot 1 sent from the work storage unit 8.
Move the robot 1 so that
2). When the operation of the robot 1 ends, the control unit 2 controls the selection unit 5
(513). The selection unit 5 sends a signal to the planning unit 7 (514), and the approach operation of the place work is completed in this manner.
【0058】したがって、本実施例におけるプレース作
業のアプローチ動作では、認識部3−3による画像認識
結果に応じて中間状態の誤差補正をしている。この結
果、接触部品が当初予測した位置及び姿勢でない場合で
も、ロボット1が正確にアプローチすることが可能にな
る。また、認識部3−3が接触部品を確認できない場合
には、ロボット1による組み立て作業が停止され、先に
説明した動作停止の利点を享受できる。再計画も可能で
ある。Therefore, in the approach operation of the place work in this embodiment, the error correction of the intermediate state is performed according to the image recognition result by the recognition unit 3-3. As a result, the robot 1 can accurately approach even if the contact component does not have the initially predicted position and orientation. Further, when the recognition unit 3-3 cannot confirm the contact component, the assembly work by the robot 1 is stopped, and the advantage of the operation stop described above can be enjoyed. Replanning is also possible.
【0059】(3.2E)動作信号がプレース作業のリ
リース動作を示す場合 この動作は、例えば図5(a)〜図5(b)や、図7
(a)〜(b)に示される動作である。すなわち、アプ
ローチ後にハンドを開く動作である。この動作は、図1
2に示されるような流れの動作であって、他の動作と異
なり認識部3が起動されない動作である。(3.2E) When the operation signal indicates the release operation of the place work This operation is performed, for example, in FIGS. 5 (a) to 5 (b) and FIG.
This is the operation shown in (a) and (b). That is, this is an operation of opening the hand after approaching. This operation is shown in FIG.
2 is an operation in a flow as shown in FIG. 2, and unlike other operations, the recognition unit 3 is not activated.
【0060】この動作では、まず、選択部5が制御部2
に信号を送る(601)。制御部2はロボット1のハン
ドをオープンさせる(602)。ロボット1の動作が終
ると、制御部2は選択部5に信号を送る(603)。選
択部5は計画部7に信号を送り(604)、プレース作
業のリリース動作が終る。In this operation, first, the selection unit 5 causes the control unit 2 to operate.
(601). The control unit 2 opens the hand of the robot 1 (602). When the operation of the robot 1 is finished, the control unit 2 sends a signal to the selection unit 5 (603). The selection unit 5 sends a signal to the planning unit 7 (604), and the release operation of the place work ends.
【0061】(3.2F)動作信号がプレース作業のデ
パート動作を示す場合 この動作は、例えば図5(b)〜図5(c)や、図7
(b)〜(c)に示される動作である。すなわち、ロボ
ット1のハンドが部品をリリースした後にハンドを引き
上げる動作である。この動作は、ロボットの動作確認や
組み立て確認を特徴とする動作である。さらに、この動
作の場合、周囲に接触部品があるか否かにより具体的な
動作が異なる。(3.2F) When the operation signal indicates the department store operation of the place work This operation is performed, for example, in FIG. 5 (b) to FIG. 5 (c) or FIG.
This is the operation shown in (b) to (c). That is, this is an operation of pulling up the hand of the robot 1 after releasing the parts. This operation is an operation characterized by the operation confirmation and the assembly confirmation of the robot. Further, in the case of this operation, the specific operation differs depending on whether or not there is a contact component in the surroundings.
【0062】図13に示されるように、この動作におい
ては、まず、選択部5が動作信号を作業記憶部8に送る
(701)。作業記憶部8は、選択部5から送られてき
た動作信号に基づいて中間状態を更新する(702)。As shown in FIG. 13, in this operation, the selection section 5 first sends an operation signal to the working storage section 8 (701). The work storage unit 8 updates the intermediate state based on the operation signal sent from the selection unit 5 (702).
【0063】中間状態の更新が終ると、作業記憶部8
は、中間状態として記憶されているロボット1の位置及
び姿勢を制御部2に送る(703)。制御部2は、作業
記憶部8から送られてきたロボット1の位置及び姿勢に
なるようロボット1を動かす(704)。ロボット1の
動作が終ると、制御部2は選択部5に信号を送る(70
5)。選択部5は、中間状態に含まれる支持関係に基づ
き接触部品の有無を判断し(706)、その結果に応じ
て異なる動作を実行する。After updating the intermediate state, the work storage unit 8
Sends the position and orientation of the robot 1 stored as the intermediate state to the control unit 2 (703). The control unit 2 moves the robot 1 to the position and orientation of the robot 1 sent from the work storage unit 8 (704). When the operation of the robot 1 ends, the control unit 2 sends a signal to the selection unit 5 (70
5). The selection unit 5 determines the presence / absence of a contact component based on the support relationship included in the intermediate state (706), and executes a different operation according to the result.
【0064】接触部品がない場合 例えば、図5(b)〜図5(c)の場合、接触部品がな
く、次のような動作となる。まず、この場合、選択部5
は認識部3−2を起動させ、ロボット1の動作確認を行
う。確認対象物は、ロボット1の操作対象部品である。
ロボット1の動作確認は、具体的には次のような流れと
なる。When there is no contact component For example, in the case of FIGS. 5B to 5C, there is no contact component, and the following operation is performed. First, in this case, the selection unit 5
Activates the recognition unit 3-2 and confirms the operation of the robot 1. The confirmation target is an operation target component of the robot 1.
Specifically, the operation confirmation of the robot 1 is as follows.
【0065】まず、認識部3−2はモデル記憶部9に記
憶されている確認対象物のモデルと、作業記憶部8の中
間状態に記憶されている確認対象物の予測される位置及
び姿勢と、を利用して、カメラ4からの画像情報を認識
し、確認対象物を確認する(707)。認識部3−2が
確認対象物を確認することができなかった場合は、認識
部3−2は組み立て作業中にエラーが発生したと判断
し、選択部5に信号を送り(708)、選択部5は組み
立て作業を停止させる(709)。認識部3−2が確認
対象物を確認することができた場合は、認識部3−2は
組み立て作業が正しく行われていると判断して選択部5
に信号を送り(710)、選択部5は計画部7に信号を
送る(711)。このようにして、プレース作業のデパ
ート動作が終る。First, the recognition unit 3-2 recognizes the model of the confirmation target object stored in the model storage unit 9 and the predicted position and orientation of the confirmation target object stored in the intermediate state of the work storage unit 8. , Are used to recognize the image information from the camera 4 and confirm the confirmation target (707). When the recognition unit 3-2 cannot confirm the confirmation target object, the recognition unit 3-2 determines that an error has occurred during the assembly work, and sends a signal to the selection unit 5 (708) to select. The part 5 stops the assembling work (709). When the recognition unit 3-2 can confirm the confirmation target object, the recognition unit 3-2 determines that the assembling work is correctly performed, and selects the selection unit 5.
(710), and the selection unit 5 sends a signal to the planning unit 7 (711). In this way, the department store operation of the place work is completed.
【0066】接触部品がある場合 例えば、図7(b)〜図7(c)の場合、接触部品があ
り(部品)、次のような動作となる。この場合、ま
ず、選択部5が認識部3−3を起動させ、ロボット1の
組み立て確認を行う。確認対象物は、ロボット1の操作
対象部品と接触部品である。When there is a contact component For example, in the case of FIGS. 7B to 7C, there is a contact component (component), and the following operation is performed. In this case, first, the selection unit 5 activates the recognition unit 3-3 to check the assembly of the robot 1. The objects to be confirmed are the operation target parts and the contact parts of the robot 1.
【0067】ロボット1の組み立て確認は、次のように
して行う。まず、認識部3−3が、モデル記憶部9に記
憶されている確認対象物のモデルと、作業記憶部8に中
間状態として記憶されている確認対象物の予測される位
置及び姿勢と、を利用して、カメラ4からの画像情報を
認識し、確認対象物の位置及び姿勢を求める(71
2)。認識部3−3は情報を支持関係計算部に送り、操
作対象部品と接触部品間の支持関係を得る(713)。
選択部5は支持関係計算部6から送られてきた確認対象
物間の支持関係と、作業記憶部8に目標状態支持関係と
して記憶されている目標状態の確認対象物間の支持関係
と、を比較する(714)。支持関係計算部6から送ら
れてきた確認対象物間の支持関係と、確認対象物間の目
標状態支持関係と、が矛盾する場合は、選択部5は組み
立て作業中にエラーが発生したと判断して組み立て作業
を停止させる(715)。支持関係計算部6から送られ
てきた確認対象物間の支持関係と、確認対象物間の目標
状態支持関係と、が矛盾しない場合は、選択部5は組み
立て作業が正しく行われていると判断し、計画部7に信
号を送り(711)、プレース作業のデパート動作が終
る。Assembly confirmation of the robot 1 is performed as follows. First, the recognition unit 3-3 sets the model of the confirmation target object stored in the model storage unit 9 and the predicted position and orientation of the confirmation target object stored in the work storage unit 8 as the intermediate state. By using the information, the image information from the camera 4 is recognized, and the position and orientation of the confirmation target object are obtained (71
2). The recognition unit 3-3 sends information to the support relationship calculation unit to obtain the support relationship between the operation target component and the contact component (713).
The selection unit 5 sets the support relationship between the confirmation objects sent from the support relationship calculation unit 6 and the support relationship between the confirmation objects in the target state stored in the work storage unit 8 as the target state support relationship. Compare (714). If the support relationship between the confirmation objects sent from the support relationship calculation unit 6 and the target state support relationship between the confirmation objects conflict, the selection unit 5 determines that an error has occurred during the assembly work. Then, the assembly work is stopped (715). If there is no contradiction between the support relationship between the confirmation objects sent from the support relationship calculation unit 6 and the target state support relationship between the confirmation objects, the selection unit 5 determines that the assembly work is correctly performed. Then, a signal is sent to the planning unit 7 (711), and the department store operation of the place work is completed.
【0068】このように、プレース作業のデパート動作
では、ロボット1の動作確認又は組み立て確認が行われ
るため、プレース作業が正確に行われたことが確認され
ることとなる。また、確認の結果エラーが発生したと見
なせる場合には作業が停止するため、対処が容易であ
り、再計画も可能である。As described above, in the department store operation of the place work, since the operation confirmation or the assembly confirmation of the robot 1 is performed, it is confirmed that the place work is performed correctly. Further, when the result of the confirmation shows that an error has occurred, the work is stopped, so that it is possible to easily deal with it and re-plan is possible.
【0069】[0069]
【発明の効果】以上説明したように、本発明によれば、
組み立て作業中も所定時点で画像認識を行い、一方で、
部品等のあるべき位置等を示す中間状態を逐次更新しつ
つ求め、両者を照合しつつ、所定の状態となるよう計画
に則りロボットの位置及び/又は姿勢の補正・制御を行
うようにしたため、誤差の補正、エラーへの対処をこれ
らの発生後ただちに行うことが可能になる。As described above, according to the present invention,
Image recognition is performed at a predetermined point during assembly work, while
Since the intermediate state indicating the desired position of the parts etc. is sequentially updated, and both are collated, the position and / or posture of the robot is corrected and controlled according to the plan so that the predetermined state can be obtained. It becomes possible to correct the error and deal with the error immediately after these occurrences.
【図1】本発明の一実施例に係るロボットによる組み立
て装置の構成を示すブロック図である。FIG. 1 is a block diagram showing a configuration of an assembly device using a robot according to an exemplary embodiment of the present invention.
【図2】この実施例における動作信号発生までの動作の
流れを示すフローチャートである。FIG. 2 is a flow chart showing a flow of operation up to generation of an operation signal in this embodiment.
【図3】この実施例の動作を説明するための図であり、
図3(a)は初期状態を、図3(b)は目標状態を、そ
れぞれ示す斜視図である。FIG. 3 is a diagram for explaining the operation of this embodiment,
3A is a perspective view showing an initial state, and FIG. 3B is a perspective view showing a target state.
【図4】図3(a)に示される初期状態から実行される
ピック作業の流れを示す図であり、図4(a)はアプロ
ーチ動作前の、図4(b)はアプローチ動作後の、図4
(c)はグラスプ動作後の、図4(d)はデパート動作
後の、状態を示す斜視図である。4A and 4B are diagrams showing the flow of a picking operation executed from the initial state shown in FIG. 3A, FIG. 4A being before the approach operation, FIG. 4B being after the approach operation, Figure 4
FIG. 4C is a perspective view showing a state after the grasp operation and FIG. 4D is a state after the department store operation.
【図5】図4(d)に続くプレース作業の流れを示す図
であり、図5(a)はアプローチ動作後の、図5(b)
はリリース動作後の、図5(c)はデパート動作後の、
状態を示す斜視図である。FIG. 5 is a diagram showing a flow of a place work following FIG. 4 (d), and FIG. 5 (a) is a diagram after FIG. 5 (b) after the approach operation.
Is after the release operation, and FIG. 5 (c) is after the department store operation.
It is a perspective view showing a state.
【図6】図5(c)に続くピック作業の流れを示す図で
あり、図6(a)はアプローチ動作後の、図6(b)は
グラスプ動作後の、図6(c)はデパート動作後の、状
態を示す斜視図である。FIG. 6 is a diagram showing the flow of the picking work following FIG. 5 (c), FIG. 6 (a) is after the approach motion, FIG. 6 (b) is after the grasp motion, and FIG. 6 (c) is the department store. It is a perspective view showing a state after the operation.
【図7】図6(c)に続くプレース作業の流れを示す図
であり、図7(a)はアプローチ動作後の、図7(b)
はリリース動作後の、図7(c)はデパート動作後の、
状態を示す斜視図である。FIG. 7 is a diagram showing a flow of a place work following FIG. 6 (c), and FIG. 7 (a) is a diagram after FIG. 7 (b) after the approach operation.
Is after the release operation, and FIG. 7 (c) is after the department store operation,
It is a perspective view showing a state.
【図8】本実施例におけるピック作業のアプローチ動作
の流れを示すフローチャートである。FIG. 8 is a flowchart showing a flow of approach operation of a pick work in the present embodiment.
【図9】本実施例におけるピック作業のグラスプ動作の
流れを示すフローチャートである。FIG. 9 is a flowchart showing a flow of a grasping operation of a picking operation in this embodiment.
【図10】本実施例におけるピック作業のデパート動作
の流れを示すフローチャートである。FIG. 10 is a flowchart showing a flow of a department store operation of pick work in the present embodiment.
【図11】本実施例におけるプレース作業のアプローチ
動作の流れを示すフローチャートである。FIG. 11 is a flowchart showing the flow of approach operation for place work in the present embodiment.
【図12】本実施例におけるプレース作業のリリース動
作の流れを示すフローチャートである。FIG. 12 is a flowchart showing a flow of a place work release operation in the present embodiment.
【図13】本実施例におけるプレース作業のデパート動
作の流れを示すフローチャートである。FIG. 13 is a flowchart showing the flow of a department store operation of a place work in this embodiment.
1 ロボット 2 制御部 3,3−1,3−2,3−3 認識部 4 カメラ 5 選択部 6 支持関係計算部 7 計画部 8 作業記憶部 9 モデル記憶部 10 入力部 DESCRIPTION OF SYMBOLS 1 Robot 2 Control part 3,3-1,3-2,3-3 Recognition part 4 Camera 5 Selection part 6 Supporting relation calculation part 7 Planning part 8 Working memory part 9 Model memory part 10 Input part
─────────────────────────────────────────────────────
─────────────────────────────────────────────────── ───
【手続補正書】[Procedure amendment]
【提出日】平成3年10月3日[Submission date] October 3, 1991
【手続補正1】[Procedure Amendment 1]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】0008[Correction target item name] 0008
【補正方法】変更[Correction method] Change
【補正内容】[Correction content]
【0008】一方で、本発明においては、ロボットの動
作の種類、ロボットの移動量、ロボットの操作対象部品
に基づき、中間状態に係る情報が逐次更新される。この
ようにして得られる中間状態は、ロボット及び各部品の
あるべき配置を示している。On the other hand, in the present invention, the motion of the robot is
Work type, robot movement amount, robot operation target parts
Based on the above, the information related to the intermediate state is sequentially updated. The intermediate state thus obtained indicates the desired arrangement of the robot and each component.
【手続補正2】[Procedure Amendment 2]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】0011[Correction target item name] 0011
【補正方法】変更[Correction method] Change
【補正内容】[Correction content]
【0011】(1)実施例の構成 図1には、本発明の一実施例に係るロボットによる組み
立て装置の構成が示されている。この図の装置で組み立
て作業を行うのはロボット1である。ロボット1の動作
は制御部2により制御される。認識部3は部品又はロボ
ット1のハンドを認識する機能を有しており、後述する
ように、認識部3−1、3−2および3−3を備えてい
る。部品又はロボット1のハンドの画像情報を取り込み
認識部3に供給するのはカメラ4である。また、選択部
5は供給される信号に応じて必要な動作を行い、支持関
係計算部6は部品間の支持関係を計算し、計画部7はロ
ボット1の動作列を計画する。また、作業記憶部8は初
期状態等を記憶する手段であり、モデル記憶部9は各部
品及びロボット1のハンドのモデルを記憶する手段であ
る。入力部10は、作業記憶部8及びモデル記憶部9に
これらの情報を外部から人間が入力する手段である。(1) Construction of Embodiment FIG. 1 shows the construction of a robot assembly apparatus according to an embodiment of the present invention. It is the robot 1 that performs the assembly work with the apparatus shown in this figure. The operation of the robot 1 is controlled by the control unit 2. The recognition unit 3 has a function of recognizing a component or a hand of the robot 1, and includes recognition units 3-1, 3-2 and 3-3 as described later. It is the camera 4 that captures the image information of the part or the hand of the robot 1 and supplies it to the recognition unit 3. Further, the selection unit 5 performs a necessary operation according to the supplied signal, the support relationship calculation unit 6 calculates the support relationship between the parts, and the planning unit 7 plans the operation sequence of the robot 1. The work storage unit 8 is a means for storing an initial state and the like, and the model storage unit 9 is a means for storing a model of each component and the hand of the robot 1 . The input unit 10 is means for a person to input these pieces of information into the work storage unit 8 and the model storage unit 9 from the outside.
【手続補正3】[Procedure 3]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】0019[Name of item to be corrected] 0019
【補正方法】変更[Correction method] Change
【補正内容】[Correction content]
【0019】また、認識部3−2は、モデル記憶部9に
記憶されている認識対象物(部品及びロボット1のハン
ド)のモデルと、作業記憶部8に中間状態として記憶さ
れている認識対象物(部品及びロボット1のハンド)の
予測される位置及び姿勢を利用して、この位置及び姿勢
を含む一定の範囲内に認識対象物(部品及びロボット1
のハンド)が実際に存在することを確認する。これは、
ロボット1の動作確認に使用される。The recognition unit 3-2 also recognizes the recognition target objects (parts and the robot 1 handle stored in the model storage unit 9).
And models de), by using the predicted position and orientation of the recognition object is stored as an intermediate state in the working memory 8 (hand part and the robot 1), a predetermined range including the position and orientation Object to be recognized in (part and robot 1
(Hands) actually exists. this is,
It is used to confirm the operation of the robot 1.
【手続補正4】[Procedure amendment 4]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】0020[Correction target item name] 0020
【補正方法】変更[Correction method] Change
【補正内容】[Correction content]
【0020】そして、認識部3−3は、モデル記憶部9
に記憶されている認識対象物(部品及びロボット1のハ
ンド)のモデルと、作業記憶部8に中間状態として記憶
されている認識対象物(部品及びロボット1のハンド)
の予測される位置及び姿勢を利用して、この位置及び姿
勢を含む一定の範囲内に認識対象物(部品及びロボット
1のハンド)が実際に存在することを確認した後、認識
対象物(部品及びロボット1のハンド)の実際の位置及
び姿勢を求める。これは、ロボット1の組み立て確認、
ロボット1の誤差補正、中間状態の誤差補正に使用され
る。The recognition unit 3-3 is then connected to the model storage unit 9
The recognition target (parts and robot 1
Model ) and the recognition object (part and hand of the robot 1) stored as an intermediate state in the work storage unit 8.
Using the predicted position and orientation of the object, the recognition target (parts and robot
After confirming that the first hand) actually exists, the actual position and orientation of the recognition object (the part and the hand of the robot 1) are obtained. This is the confirmation of the assembly of the robot 1.
It is used for the error correction of the robot 1 and the error correction of the intermediate state.
【手続補正5】[Procedure Amendment 5]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】0021[Correction target item name] 0021
【補正方法】変更[Correction method] Change
【補正内容】[Correction content]
【0021】認識部3−2、認識部3−3が認識対象物
(部品及びロボット1のハンド)を確認することができ
なかった場合、本実施例では、組み立て作業中にエラー
が発生したと判断して作業を停止する。また、認識部3
−3が求めた認識対象物(部品及びロボット1のハン
ド)の実際の位置及び姿勢と、認識対象物(部品及びロ
ボット1のハンド)の予測される位置及び姿勢と、の間
に誤差がある場合、組み立て作業中に誤差が発生したと
判断して誤差を補正する。The recognition units 3-2 and 3-3 are objects to be recognized.
In the case where the (parts and the hand of the robot 1) cannot be confirmed, in this embodiment, it is determined that an error has occurred during the assembly work, and the work is stopped. Also, the recognition unit 3
-3 required recognition object (hands of parts and robot 1
The actual position and orientation and recognition object de) (Parts & B
If there is an error between the predicted position and orientation of the hand of the bot 1) , it is determined that an error has occurred during the assembly work, and the error is corrected.
【手続補正6】[Procedure correction 6]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】0023[Name of item to be corrected] 0023
【補正方法】変更[Correction method] Change
【補正内容】[Correction content]
【0023】(3.1)入力から動作信号の出力まで 図2には、この実施例における入力から動作信号の出力
までの動作の流れが示されている。この実施例では、ま
ず、使用者が、必要な情報を入力部10から入力して作
業記憶部8、モデル記憶部9に記憶させる必要がある
(101)。入力すべき情報としては、初期状態、目標
状態、初期状態支持関係、目標状態支持関係、作業環境
知識、各部品及びロボット1のハンドのモデルがある。
先にも述べたように、これらのうち最後の一つを除き作
業記憶部8に記憶され、各部品及びロボット1のハンド
のモデルはモデル記憶部9に記憶される。ただし、初期
状態、目標状態、初期状態支持関係、目標状態支持関係
については認識部3−1又は支持関係計算部6を利用可
能であり必ずしも入力部10から入力する必要はない。
入力が終わると、入力部10は計画部7に信号を送る
(102)。(3.1) From Input to Output of Operation Signal FIG. 2 shows a flow of operation from input to output of operation signal in this embodiment. In this embodiment, first, the user needs to input necessary information from the input unit 10 and store it in the work storage unit 8 and the model storage unit 9 (101). The information to be input includes the initial state, the target state, the initial state support relationship, the target state support relationship, the work environment knowledge, each part, and the model of the hand of the robot 1 .
As described above, the last one of these is stored in the work storage unit 8, and the model of each component and the hand of the robot 1 is stored in the model storage unit 9. However, regarding the initial state, the target state, the initial state support relationship, and the target state support relationship, the recognition unit 3-1 or the support relationship calculation unit 6 can be used, and it is not always necessary to input from the input unit 10.
When the input is completed, the input unit 10 sends a signal to the planning unit 7 (102).
【手続補正7】[Procedure Amendment 7]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】0038[Correction target item name] 0038
【補正方法】変更[Correction method] Change
【補正内容】[Correction content]
【0038】このように、本実施例の装置を用いて行う
組み立て作業の各動作においては、必要に応じて、ロボ
ット1の動作確認、ロボット1の組み立て確認、ロボッ
ト1の誤差補正、中間状態の誤差補正、等の特徴的動作
が実行される。これらの動作においては、認識部3が動
作し、一連の動作の区切りにあり静止しているロボット
のハンド又は部品が画像認識される。次に、本実施例の
基本的動作の詳細について説明し、これらの特徴的動作
について述べる。As described above, in each operation of the assembly work performed by using the apparatus of this embodiment, the operation check of the robot 1, the assembly check of the robot 1, the error correction of the robot 1, the intermediate state Characteristic operations such as error correction are executed. In these operations, the recognition unit 3 operates, and the robot stands still at the break of a series of operations.
Image recognition is performed on the hand or the part. Next, details of the basic operation of the present embodiment will be described, and the characteristic operations thereof will be described.
【手続補正8】[Procedure Amendment 8]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】0040[Item name to be corrected] 0040
【補正方法】変更[Correction method] Change
【補正内容】[Correction content]
【0040】まず、選択部5は動作信号を作業記憶部8
に送る(201)。作業記憶部8は選択部5から送られ
てきた動作信号に基づいて中間状態を更新する(20
2)。このステップ202においては、より詳細には、
作業記憶部8が動作信号に基づき中間状態におけるロボ
ット1の位置及び姿勢を更新し、ロボット1の位置及び
姿勢とロボット1の動作から各部品の位置及び姿勢を計
算し、中間状態における各部品の位置及び姿勢を更新す
る。First, the selection unit 5 outputs the operation signal to the work storage unit 8
To (201). The work storage unit 8 updates the intermediate state based on the operation signal sent from the selection unit 5 (20
2). In this step 202, more specifically,
The work storage unit 8 makes the robot in the intermediate state based on the operation signal.
The position and posture of the robot 1 are updated, and the position and posture of the robot 1 are updated.
The position and posture of each part is measured from the posture and the motion of the robot 1.
Then, the position and orientation of each component in the intermediate state are updated.
【手続補正9】[Procedure Amendment 9]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】0045[Name of item to be corrected] 0045
【補正方法】変更[Correction method] Change
【補正内容】[Correction content]
【0045】(3.2B)動作信号がピック作業のグラ
スプ動作を示す場合 この動作は、図4(b)〜図4(c)、図6(a)〜図
6(b)に示される動作であり、アプローチ動作の後に
実行される部品を把捉する動作である。この動作におい
ては、まず、選択部5は認識部3−3を起動させてロボ
ット1の誤差補正を行う。(3.2B) When the motion signal indicates the grasp motion of the picking work This motion is the motion shown in FIGS. 4 (b) to 4 (c) and 6 (a) to 6 (b). and is a operation for grasping the part that will be executed after the approach operation. In this operation, the selection unit 5 first activates the recognition unit 3-3 to correct the error of the robot 1.
【手続補正10】[Procedure Amendment 10]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】0052[Correction target item name] 0052
【補正方法】変更[Correction method] Change
【補正内容】[Correction content]
【0052】まず、認識部3−2が、モデル記憶部9に
記憶されている確認対象物のモデルと、作業記憶部8に
中間状態として記憶されている確認対象物の予測される
位置及び姿勢と、を利用して、カメラ4からの画像情報
を認識し、確認対象物を確認する(406)。認識部3
−2が確認対象物を確認することができなかった場合
は、認識部3−2は組み立て作業中にエラーが発生した
と判断して選択部5に信号を送り(407)、選択部5
は組み立て作業を停止させる(408)。認識部3−2
が確認対象物を確認することができた場合は、認識部3
−2は組み立て作業が正しく行われていると判断し、選
択部5に信号を送る(409)。選択部5は計画部7に
信号を送り(410)、このようにしてピック作業のデ
パート動作が終る。First, the recognition unit 3-2 uses the model of the confirmation target object stored in the model storage unit 9 and the predicted position and orientation of the confirmation target object stored in the working storage unit 8 as an intermediate state. Using and, the image information from the camera 4 is recognized and the confirmation target is confirmed (406). Recognition unit 3
-2 is unable to confirm the confirmation target, the recognition unit 3-2 determines that an error has occurred during the assembling work and sends a signal to the selection unit 5 (407).
Stops the assembly operation (408). Recognition unit 3-2
Is able to confirm the confirmation target, the recognition unit 3
-2 judges that the assembling work is performed correctly, and sends a signal to the selecting unit 5 (409). The selection unit 5 sends a signal to the planning unit 7 (410), and the department store operation of the picking work is thus completed.
【手続補正11】[Procedure Amendment 11]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】0056[Correction target item name] 0056
【補正方法】変更[Correction method] Change
【補正内容】[Correction content]
【0056】中間状態の誤差補正は、次のように行う。
まず、認識部3−3が、モデル記憶部9に記憶されてい
る補正対象物のモデルと、作業記憶部8の中間状態に記
憶されている補正対象物の予測される位置及び姿勢と、
を利用して、カメラ4からの画像情報を認識し、補正対
象物である接触部品の位置と姿勢を求める(505)。
認識部3−3が接触部品を確認することができなかった
場合は、認識部3−3は組み立て作業中にエラーが発生
したと判断して選択部5に信号を送り(506)、選択
部5は組み立て作業を停止させる(507)。認識部3
−3が接触部品を確認することができた場合は、認識部
3−3は、接触部品の位置及び姿勢を作業記憶部8に送
る(508)。作業記憶部8は、認識部3−3から送ら
れてきた接触部品の位置及び姿勢と、中間状態として記
憶されている接触部品の予測される位置及び姿勢と、の
誤差を求める(509)。誤差がある場合は、作業記憶
部8は中間状態として記憶されている接触部品の位置及
び姿勢を補正し、それに伴って、中間状態として記憶さ
れている接触部品と接触する部品(ロボット1の操作対
象部品を含む)の位置及び姿勢を補正する。また、操作
対象部品の位置及び姿勢の補正に伴って、中間状態とし
て記憶されているロボット1の位置及び姿勢を補正する
(510)。The error correction in the intermediate state is performed as follows.
First, the recognition unit 3-3 uses the model of the correction target object stored in the model storage unit 9 and the predicted position and orientation of the correction target object stored in the intermediate state of the work storage unit 8.
Is used to recognize the image information from the camera 4 and determine the position and orientation of the contact component that is the correction target (505).
If the recognition unit 3-3 cannot confirm the contact parts, the recognition unit 3-3 determines that an error has occurred during the assembly work and sends a signal to the selection unit 5 (506). 5 stops the assembling work (507). Recognition unit 3
If -3 can confirm the contact component, the recognition unit 3-3 sends the position and orientation of the contact component to the work storage unit 8 (508). The work storage unit 8 obtains an error between the position and orientation of the contact component sent from the recognition unit 3-3 and the predicted position and orientation of the contact component stored as the intermediate state (509). If there is an error, working memory unit 8 corrects the position and orientation of the contact parts stored as an intermediate state, with the Re their parts in contact with the contact part being stored as the intermediate state (the robot 1 (Including the operation target component of 1)) is corrected. In addition, the position and orientation of the robot 1 stored as an intermediate state is corrected along with the correction of the position and orientation of the operation target component.
(510) .
【手続補正12】[Procedure Amendment 12]
【補正対象書類名】図面[Document name to be corrected] Drawing
【補正対象項目名】図4[Name of item to be corrected] Fig. 4
【補正方法】変更[Correction method] Change
【補正内容】[Correction content]
【図4】 [Figure 4]
フロントページの続き (72)発明者 朝岡 忠 大阪府守口市京阪本通2丁目18番地 三洋 電機株式会社内 (72)発明者 寺崎 肇 大阪府守口市京阪本通2丁目18番地 三洋 電機株式会社内 (72)発明者 高橋 裕信 大阪府守口市京阪本通2丁目18番地 三洋 電機株式会社内 (72)発明者 杉本 和英 大阪府守口市京阪本通2丁目18番地 三洋 電機株式会社内Front page continuation (72) Inventor Tadashi Asaoka 2-18 Keihan Hondori, Moriguchi City, Osaka Sanyo Electric Co., Ltd. (72) Inventor Hajime Terasaki 2-18 Keihan Hondori, Moriguchi City, Osaka Sanyo Electric Co., Ltd. (72) Inventor Hironobu Takahashi 2-18 Keihan Hondori, Moriguchi City, Osaka Sanyo Electric Co., Ltd. (72) Inventor Kazuhide Sugimoto 2-18 Keihan Hondori, Moriguchi City, Osaka Sanyo Electric Co., Ltd.
Claims (1)
ロボットと、 ロボット及び/又は前記部品の位置及び/又は姿勢を組
み立て作業中の静止時点において画像認識する手段と、 ロボットの動作列を計画する手段と、 少なくとも、前記部品の配置の初期状態、部品組み立て
後の状態である目標状態、初期状態における前記部品間
の支持関係、目標状態における前記部品間の支持関係、
組み立て作業中の所定時点における前記部品のあるべき
配置を示す中間状態、ロボット及び前記部品の形状であ
るモデルに係る情報を記憶する手段と、 これらの記憶されている情報に基づき中間状態に係る情
報を逐次更新し、中間状態に係る情報と画像認識の結果
とを照合しつつ、所定の状態となるよう前記計画に則り
ロボットの位置及び/又は姿勢を補正・制御する手段
と、 を備え、 部品の状態及びロボットの動作結果を監視しつつ組み立
て作業を実行することを特徴とするロボットによる組み
立て装置。Claim: What is claimed is: 1. A robot capable of moving a plurality of parts to be assembled, a means for recognizing an image of the position and / or posture of the robot and / or the parts at a stationary point during an assembly operation, and a robot. Means for planning the operation sequence of, at least the initial state of the arrangement of the parts, the target state that is a state after the parts are assembled, the support relationship between the parts in the initial state, the support relationship between the parts in the target state,
Means for storing an intermediate state indicating a desired layout of the parts at a predetermined time point during the assembly work, information regarding the robot and a model which is the shape of the parts, and information regarding the intermediate state based on the stored information. And the means for correcting and controlling the position and / or the posture of the robot according to the plan so as to be in a predetermined state while collating the information related to the intermediate state with the result of the image recognition. An assembling apparatus for a robot, which performs an assembling operation while monitoring the state of the robot and the operation result of the robot.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP3173924A JP2604073B2 (en) | 1991-07-15 | 1991-07-15 | Robot assembly equipment |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP3173924A JP2604073B2 (en) | 1991-07-15 | 1991-07-15 | Robot assembly equipment |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0523981A true JPH0523981A (en) | 1993-02-02 |
JP2604073B2 JP2604073B2 (en) | 1997-04-23 |
Family
ID=15969602
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP3173924A Expired - Lifetime JP2604073B2 (en) | 1991-07-15 | 1991-07-15 | Robot assembly equipment |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2604073B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006235699A (en) * | 2005-02-22 | 2006-09-07 | Denso Corp | Simulation device and simulation method |
JP2020082242A (en) * | 2018-11-20 | 2020-06-04 | 富士電機株式会社 | Component assembly device |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS58160080A (en) * | 1982-03-17 | 1983-09-22 | 株式会社日立製作所 | Shifter |
JPS63288683A (en) * | 1987-05-21 | 1988-11-25 | 株式会社東芝 | Assembling robot |
JPH0281102A (en) * | 1988-09-16 | 1990-03-22 | Sanyo Electric Co Ltd | Action planning method for holding robot |
-
1991
- 1991-07-15 JP JP3173924A patent/JP2604073B2/en not_active Expired - Lifetime
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS58160080A (en) * | 1982-03-17 | 1983-09-22 | 株式会社日立製作所 | Shifter |
JPS63288683A (en) * | 1987-05-21 | 1988-11-25 | 株式会社東芝 | Assembling robot |
JPH0281102A (en) * | 1988-09-16 | 1990-03-22 | Sanyo Electric Co Ltd | Action planning method for holding robot |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006235699A (en) * | 2005-02-22 | 2006-09-07 | Denso Corp | Simulation device and simulation method |
JP2020082242A (en) * | 2018-11-20 | 2020-06-04 | 富士電機株式会社 | Component assembly device |
Also Published As
Publication number | Publication date |
---|---|
JP2604073B2 (en) | 1997-04-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7198831B2 (en) | Autonomous robot with on-demand remote control | |
JP6534126B2 (en) | Picking system and control method therefor | |
CN108858184B (en) | Robot control device and computer-readable medium | |
US11305427B2 (en) | Robot system and robot control method | |
CN105598987B (en) | Determination of a gripping space for an object by means of a robot | |
EP2868441A1 (en) | Robot control device, robot system, and robot | |
US11052541B1 (en) | Autonomous robot telerobotic interface | |
JP6754883B1 (en) | Control system, local controller and control method | |
CN114405866B (en) | Visual guide steel plate sorting method, visual guide steel plate sorting device and system | |
WO2018091103A1 (en) | A robot arm system and a method for handling an object by a robot arm system during lead through programming | |
JP7179971B2 (en) | Control device, robotic device, method, computer program and machine-readable storage medium for robotic device | |
JP2003305676A (en) | Control method and control device for mobile robot | |
JPH0523981A (en) | Robot assembler | |
EP1504857A2 (en) | Work mounting device | |
Lueth et al. | Reliability and integrated capabilities of locomotion and manipulation for autonomous robot assembly | |
US11237819B2 (en) | Program transfer system performing machine learning for preceding robotic work data and robot system having the program transfer system | |
CN111899629B (en) | Flexible robot teaching system and method | |
JPH0281102A (en) | Action planning method for holding robot | |
EP0477430A1 (en) | Off-line teaching method for industrial robot | |
Fischer et al. | Hierarchical supervisory control of service robot using human-robot-interface | |
Lueth et al. | Extensive manipulation capabilities and reliable behavior at autonomous robot assembly | |
JP2021086609A (en) | Control system, local controller, and control method | |
CN113467406B (en) | Human-computer cooperative assembly system and method based on BPMN workflow | |
JPH07152420A (en) | Assembling device using robot | |
WO2021125288A1 (en) | Robot system, controller, and control method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
EXPY | Cancellation because of completion of term |