JPS6015780A - ロボット制御装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔発明の利用分野〕 本発明は、ロボットにより組立、検査、調整等各種作業
を行う上で必要となる対象物体の有無２位置、姿勢１作
業範囲内の空間的状況を認識できるロボットに関するも
のである。

〔発明の背景〕

ロボット視覚として物体の位置、姿勢を認識するものと
しては、第１図に例示するようＩＣ作業テーブル１上に
像検出器３を置き、周辺から照明器４で作業テーブル上
を照明し、像を検出する。そして対象物の位置、姿勢を
認識し、その情報に従い、四ボットアーム２が動作する
。

この方法においては、テーブル平面上の物体の平面上に
おける位置、姿勢が認識できるが、立体的な形状の認識
はできない。例えば、テーブル上に山積みされた物体に
対し、各物体の傾き情報に従って、その物体のグリップ
面に合致するようロボットアームを傾けて、物体にアプ
ローチするということはできない。また、対象物と作業
テーブルの間にコントラスト（濃淡の違い）が明瞭に存
在しないと、テーブル平面上での位置、姿勢も決定でき
ない。

一方、ロボットの手先に視覚装置を付け、フィードバッ
クするものがある。第２図は、その例であり、溶接ヘッ
ド７で溶接を行う溶接線５をトラッキングするものであ
る。これは、スリット元投光器６をロボットアーム２の
先端につけ、溶接線上にスリット光８を投光する。そし
てその像をロボットアームの先端につけた像検出器６で
ななめ方向から検出し、浴接線の位置ヲ求メ、これの目
標値からのずれがゼロとなるようにロボットアームを制
御するものである。

しかし、この方式では溶接線の位置、すなわち溝状の対
象の位置の検出しかできず、対象物の３次元的な位置、
姿勢を認識し、組立、検査。

調整等の作業をすることはできない。

〔発明の目的〕

本発明の目的は、上記した従来技術の欠点をなくし、対
象物体の姿勢、形状にかかわらず、対象物体の形状１位
置、姿勢をロボットの座標系で認識し、作業出来るよう
にしたロボットを提供することにある。

〔発明の概要〕

本発明は、ロボットの持つある固定された座標系の時点
の点に、その位置から対象物体表面各点までの距離の情
報、すなわち距離画像を検出する検出器を設け、作業対
象全体の距離画像を検知し、検知した距離画像をイメー
ジプロセッサを用いて、二次元的′な微分を行って対象
物体の輪郭を検出し、この輪郭で分離された部分とその
部分に対応する距離画像から得られる距離から三次元的
に配置された対象物を発見、その位置、姿勢および形状
を認識し、その結果をロボットアームの制御装置に伝送
し、対象物体の三次元的に定められた方向よりロボット
アームが接近するよう制御し、さらに、ロボットアーム
上に取付けられた画像検出器より、再度対象物体の位置
、姿勢を前記の距離画像の検出器より良い精度で検知し
、ロボットアームに補正□をかげ、最終的にロボットが
三次元的に任意の位置、姿勢を持つ作業対象物に対して
位置決め精度よ（作業できるようにすることを要旨とす
る。

〔発明の実施例〕

以下、本発明を図面により詳細に説明する。

まず、本発明における処理内容について説明する。前述
したように、処理内容はロボットの座標系の固定された
点から作業対象全体の距離画像を検出し、対象物体の発
見とその位置、姿勢を認識する第１の段階と、第１の段
階よりの結果を用いてロボットアームを対象物体ＩＣ接
近させた後、ロボットアーム上の画像検出器より　゛の
画像を用いてさらに正確な対象物の位〜、姿勢を検出す
る第２の段階より成る（第１３図）。

第１の段階で検出する距離画像９は、第３図に示すよう
に、その１１Ｍ１像の各点の値Ｖｉノか、対象物１１表
面上の対応する点Ｐりと検出器１０との距離ｌ！的に対
して ■す＝飲り十〇　・・・（］） 放：非零の定数、　Ｃ：定数 なる線形の関係を持った画像である。したがって、特に
Ｋが負数の場合、■りは対象物表面の各点の高さを表わ
したものと見なすことができる。さて、第４図のように
、いくつかの物体が折り重なっている状態を、真上より
距離画像の検出器でとらえた場合を規定すると、これに
対応して第５図のような距離画像９が検出される。

この第５図よりも明らかなように、物体と物体もしくは
物体と背景の境界線では、一般に検出器までの距離が急
激に変化するため、距離画像の値も急激に変化する。距
離画像ではこのような境界線をジャンプエツジと呼ぶ。

この変化を画像の２次元的な微分を用いて検出すると、
第６図のようになる。画像の２次元的な微分には何種類
かの方式が知られているが、ここでは第７図に示す画像
上の点（’ｌ））の微分値ｄりをとする様な演算である
。但し、（番、））は検出器と対象物との距離方向に垂
直な面の直交座標とする。得られた微分画像をある固定
閾値で２値化すると、第８図に示すようなジャンプエツ
ジ画像が得られる。同図において、黒線はジャンプエツ
ジ１２を表わし、これは物体の輪郭線に対応することは
前述した通りである。したがって、ジャンプエツジ１２
に囲まれた領域は、物体一つ一つに対応し、それぞれの
領域を画像上で分離抽出することによって、物体を画像
上で分離できる。

以上のようにして分離抽出した各物体に対応する領域Ｒ
から、その面積Ｓおよび領域の平均的な高さＨｌすなわ
ち について なる判定基準に合致した領域を、目的とする対象物体の
領域として抽出する。Ｓ、、Ｓｌは対象とする物体をあ
る平面上に投影した場合の面積の変動範囲の上限および
下限、ｌ−１＋、Ｈｚは対象とする物体が存在すると予
想される高さの上限値と下限値で、それぞれ、予め設定
しておく値である。このようにして分離された対象物体
の画像上での領域の形状は、一般に一定の形状を示さな
い。すなわち、この形状はある平面に対して投影された
対象物体の２次元的な形状であってたとえば対象物体の
立体的な形状が直方体である場合、第９図に示すように
その姿勢により長方形または六角形になる。本発明では
対象物体の立体的な形状２位置、姿勢を認識するため、
対象物体がいくつかの平面で構成されていると考え、平
面と平面の交線、すなわち陵線を検出する。陵線は、距
離画像上では第１０図に示すように値の変化率が変化す
る点、すなわち画像の２次微分値が極値をもつ点に対応
する。このような線群を距離画像においてはハーフエツ
ジ１３と呼ぶ。画像の２次微分法には種々の方法がある
が、ここでは 上の整数であり、ｒりの値は、着目点（’＊Ｊ’　）の
距離画像値Ｖす°の傾き角度の変化に対応する。

つぎに式（５）を用いて演算された２次微分画像をある
閾値に従って２値化することにより、ルーフエツジ１５
を検出する。式（５）に示した演算は、　。

検出した距離画像全体にわたってほどこしてもよいが、
先に分離抽出した、対象物体の領域のみで演算した方が
、処理時間の短縮につながる。

以上のような処理を経て検出された対象物体のジャンプ
エツジ１２．ハーフエツジ１３よりなる画像は、例えば
第１０図に示したかだむいた直方体の距離画像の場合、
第１１図のようになる。

ジャンプエツジ１２およびハーフエツジ１３に囲まれた
領域は物体を構成する個々の面に対応するから領域を画
像上で分離し７、最も面積の大きな領域１４を抽出する
ことによって、物体を構成する主要な面１５の１つを取
り出すことができる。

次にこの領域に対して平面近似を行う。すなわち請求め
る平面方程式を ｔＩｘ＋％　ｙ　十ｔｓ　＝ｚ　・＝　（６１とし、領
域内ｍ個の点の距離画像より検出された。ｚｙｚ座標を
（ａｆｔｘ　、ａ４　、ｈｉ　）　’１＝＝１．２　・
・・−とすれば式（６）のｔｌ　Ｉｔｍ　Ｉｔｍは、（
ｔｋ）を行とする行列ｔとして、 ｔ　＝　（ＡＴＡ　）−’　ＡＴＳ　・・・（７）と計
算される。ここにＡは（α＃１．α！、、１．０）を行
とする行列、ｂは（ｈｒｔ）を行とする行列、′は転置
行列、−８は逆行列を表わす。またｘｙｚ座標（αｋｌ
、α＃、、りは、距離画像上の座標Ｃｉ、ｊ）および距
離画像の値■す゛に線形変換をほどこし次の（８）式と
してめられる。

これは検出画像上の座標から検出系の実座標への変換処
理であり、乃ｊｐ！　ｘｌｌ　ｅｑ＋　ｚ’ｌｔ　＊ｑ
ｓは検出器の検出分解能等より決定される定数である。

このようにしてめた対象とする物体の主要な平面１５の
近似式（６）より、この物体の３次元的な姿勢はその主
要な平面の法線方向１６の２軸とのなす角ψと法線のｘ
ｙ平面への投影とＸ軸とのなす角θを用いて θ−ｔａｎ−’　−！−！ ｔｌ　・・、−（ＩＩ と表わされる（第１２図）。法線の方向がめられれば、
この方向から見た主要な平面の形状を簡単な座標変換で
めることができ、変換後の形状より、従来の平面的な画
像処理技術を用いた対象物体形状、姿勢の認識も可能で
ある。

また対象物体の位置は、主要な平面の重心位置（”ｏ＊
ｙｏｙｑ）として次の０υ式によりめられる。

ここで−は領域内での平均を表わす。また、この場合の
平均は領域内のｍ個点に限らず、領域全面にわたってめ
れば、精度の良いものとなる。

さて、以上説明した第１の段階による処理結果、すなわ
ち、対象物体の主要な平面の重心の位置（而、Ｓ、ち）
および法線の方向ψ、θは、検出系の座標系によるもの
であり、この座像系は一般にロボットアームの座標系と
異なるから、これらの値を用いて直接ロボットアームな
制御することはできない。このために、ロボットアーム
の座標系に座標変換する。ロボットアームの制御系の方
式により、直角座標系、円筒座標系、極座標系など種々
の座標系が考えられるがこれらの座標系への変換は、線
型式数学の公式より公知である。

なお、以上説明した第１の段階の各処理過程において、
式＋２１　、　＋５１　、　＋７１など演算方式を限定
したが、同様の機能を有する他の演算方式を用いても良
いことは勿論である。

つぎにロボットアーム上に設けた画像検出器がめられた
対象物体の主要な平面の重心位置に立てた法線方向から
物体を検出できるよう、ロボットアームを制御する。

以降、ロボットアーム上から画像を検出し、ロボットア
ームと対象物体の位置関係を更に正確に検出し、ロボッ
トアームの正確な作業へと導く処理の第２の段階へ移行
する。ロボットアーム上の画像検出器２０は、第１の段
階で使用した距離画像検出器より高分解能のものを用い
るが、第１の段階で対象物体が発見されているのでその
検出視野は小さくてよい。検出画像としては、第１の段
階と同様、距離画像を検出し類似の処理を行うもの、２
次元濃淡画像を検出、処理するもの、その２値画像を処
理するもの、スリット光による光切断法を応用した方法
など種々のものが考えられるが、いずれを用いても良い
。

次に以上説明した処理内容を実現する装置の具体例につ
いて説明する。第１３図に全体構成の概略を示す。同図
に示すように、装置はロボットアーム１７およびロボッ
ト制御装置１８よりなるロボット系、距離画像検出器１
９、ロボットアーム上の画像検出器２０、イメージプロ
セッサ２１からなる視覚系よりなる。

まず、ロボット系について第１６図を用いて説明する。

１７は産業用ロボットで、例えば５自由度を有する関節
形ロボットである。産業用−ボット１７はベース２２に
対して垂直軸を中心に旋回する旋回台１７α、水平軸２
５αを中心に回転する上腕１７ｂ、その先に水平軸２３
Ａを中心に回転する前腕１７Ｃ１その先に水平軸２３ａ
を中心に回転し、更にこの水平軸２５Ｃに直角な軸を中
心に回転する手首１７ｄとから構成されている。この手
首１７ｄには指（チャック）２５を付けた手機構２４が
備え付けられている。ロボットアーム上に取り付ける画
像検出器２００．、これらのうちいずれの部位に取り付
けてもよいが、ロボットを動作させ、最も適切な方向よ
り画像検出するためには、手機構２４上に取り付けるこ
とが望ましい。

１８はロボットを制御するロボット制御装置である。

次に第１４図に従ってロボット制御装置１８について説
明する。ロボット制御装置１８は５自由度をもった関節
形ロボット１７を制御するための制御ユニット２６とロ
ボットをポイント、ツー、ポイントでブーグラムされた
速度にもとづいて所定の軌跡に沿って動作または動かす
ために、予めプログラムされた軌跡および速度の情報を
教示するための教示ユニット２７とによって構成されて
いる。制御ユニット２６とロボット機構１７は位置制御
システムを構成している。この位置制御システムは、ア
クチュエータＭに連結されたパルスエンコーダＰＥによ
って発生された出力パルスをカウンタ２８で計数して制
御ユニット２６にフィードバックし、マイクロプロセッ
サ２９によって予め定められている目標値あるいは外部
より与えられた所望の座標値との相違のディジタル信号
を検出し、このディジタル信号をＤ／Ａ変換器３０でア
ナログ信号に変換し、アクチュエータＭを駆動するよう
に構成している。

駆動回路３１はアクチュエータＭに接続されたタコジェ
ネレータＴＧからの速度信号とＤ／Ａ変換器３０からの
アナログ信号にもとづいてアクチュエータＭを駆動する
回路である。シリアルインターフェース３２は教示ユニ
ット２７と接続するためのものである。ＲＯＭ３３はロ
ボットを動作させるためのプログラムを収納したメモリ
ーである。

ＲＡＭ３４は、教示ユニット２７に用いて行う教示操作
による情報、またはインタフェース３５を介して入力さ
れるイメージプロセッサ２９よりの動作情報を演算部３
６により補間演算した結果であるロボットの手機構２４
の動作軌跡を記憶するものである。３７はパスラインで
ある。

１１ＡＭ３４に記憶された四ボットの手機構２４の位置
データがマイクロプロセッサ２９によって読み出され、
カウンター２８より検出される回転変位θ１．θ１．・
・・θ、に座標変換し、所望あるいは目標位置（例えば
視覚系より入力される対象物***置）へロボットの手機
構２４を駆動させる。

以上の四ボット系の説明は５自由度を持つロボットに限
定したが、他の自由度例えば６自由度のロボットについ
ても同様に構成できる。本発明においては、特に自由度
についての限定を。

行うものではない。

次に本実施例のもう一つの構成要素である視覚系につい
て説明する。

距離画像検出器１９の一実施例を第１５図に示す。

同図に示すように検出器は、対象物１１の上方か。

らスリット光３８を投光するスリット光源３９と、スリ
ット光３８と対象物１１の交線、すなわちスリット輝線
の光学像をななめ方向より検出する撮像器４０とこれら
の位置関係を保ったまま、水平方向に定速で駆動する送
り装置４１、および撮像器４０で検出されたスリット輝
線を画像上から分離抽出し、その形状を波形信号として
出力する光切断線抽出装置４２より成る。この動作を第
１６図〜第２０図を用いて説明すると、スリット光３８
が対象物１１に対して第１６図に示す位置に当っている
とする。そうすると撮像器４０にて検出される画像は、
例えば第１７図のようになる。この画像上において縦方
向の線、例えばｍＡＢに沿った明るさの変化は、第１８
図のようになる。この線ＡＢに沿った明るさで最も明る
い点の位置（第１８図ではＣ）を、順次線ＡＢをｉ方向
に動かして抽出して行くと、第１９図のようにスリット
輝線の形状を波形信号として取り出すことができる。

この形状は、対象物１１の断面の形状を示している。以
上の波形信号の分離抽出は、第１５図の光切断線抽出装
Ｍ４２により行われる。この光切断線抽出装置４２の具
体例は、例えば特開昭５６−７０４０７号に開示されて
いる。

即ち第２６図に示す如く光切断線抽出装置４２は像検出
器からの映像信号Ｖ、設定値＼、へ（〜〉鳩）、及び像
検出器の各走査のトリガー信号Ｈｄ（ＴＶカメラの場合
、水平同期信号）を入力とし、最大値位置検出回路５７
と中心位置検出回路５８と選択回路５９で構成される。

その機能は、第２７図（α）に例示するように、まず、
映像信号の最大ＩＫ　Ｖｍａｘが、第１と第２の設定値
ことへの範囲内に入っている場合、最大値位置検出回路
７によりそのｙ位置Ｙをめめる。また、Ｖｍａｘがζ　
より大きい時、（第２７図Ｃｂ）の場合）は、中心位置
検出回路５８により最初に■＝ｖ１となったｙ位置Ｘ、
最後にＶ＝又となったｙ位置へをめ、さらに１’　＝（
Ｙｔ　＋Ｙｔ　）Ａとして、その中心位置をめる。そし
て、１つの走査中にＪ路５８内で■がへ以上になった場
合は選択回路５９は回路５８の出力を、他方、■がへ以
上にならなかった場合は、選択回路５９は回路５７の出
力を、それぞれ光切断線の位置として出力する。また、
■が１つの走査中にＶ１以上になる事がなかった場合、
選択回路５９はゼロあるいは不定出力を出力する。

第２６図の実施例をより詳細に記したものが第２８図で
ある。第２８図を使用して、動作内容をより具体的に説
明する。

最大位置検出回路５７は、ピークホルダ６０．コンパレ
ータ６１．ワンショット回路６２．アンド回路６５．レ
ジスタ６４．コンパレータ６６およびフリップフロップ
６７で構成される。一方、中心位置検出回路５８は、コ
ンパレータ６８．フリップフロップ６９．ワンショット
回路７０，７１．Ｙ、レジスタ７２Ｙ、レジスタ７３お
よびアンド回路７４で構成される。また、各瞬間でのｙ
位置を知るためカウンタ６５を有している。最大位置検
出回路５７では、映像信号■はピークホルダ６０に入り
、１つの走査中における、ある瞬間までのＶのピーク値
をホールドする。コンパレータ６１はこのホールドされ
たピーク値とその瞬間のＶとを比較し、■がホールドさ
れたピーク値よりも所定値以上大きくなった時、ワンシ
ョット回路６２に信号を出力する。一方、■はコンパレ
ータ６６において鳩と比較され、■≧鳩の時出力する。

これとワンショット回路６２の出力のアンドをアンド回
路６３でとる事により、■≧Ｖ、でかつ■がピークとな
った瞬間を検出する事ができる。これをレジスタ６４０
四−ド信号として使用し、トリガー信号ｎｔＬでリセッ
トされるカウンタ６５のその瞬間の値をレジスタ６４に
記憶する。従って、−走査の終了時には、映像信号Ｖが
最大値■ｍαＸを示すｙ座標の位置Ｙをホールドしてい
る。

中心位置検出回路５８では、映像信号Ｖは、設定値又と
コンパレータ６８で比較され、その出力は、フリップフ
ロップ６９のセット側Ｓに入力される。なお、フリップ
フロップ６９は、トリガ信号ＨｃＬによりリセットされ
る。従って、ワンショット回路７０は、一つの走査にお
いて最初に■≧スとなる瞬間を検出する。これをレジス
タ７２の四−ド信号として使用することにより、レジス
タ７２には最初に■≧ことなったｙ座標上の位置Ｘがホ
ールドされる。一方、ワンショット回路７１は、■≧へ
でなくなる瞬間を検出しており、これをレジスタ７３の
ロード信号として使用すれば、レジスタ７３には、一つ
の走査ｉ１時［、Ｖ≧ζでな（なるｙ座標上の位置Ｙ、
がホールドされる。７４は、Ｙｒ＝（鷲十ｙｔ　）／２
を演算する平均値回路である。

クリップ７０ツブ６９の出力は、Ｖ≧Ｖ１なる状態が、
一つの走査中に存在したか否かの検出に使用することが
できる。また、フリップフロップ６７は、トリガ信号ｎ
ｄをリセット信号とし、コンパレータ６６の出力をセッ
ト信号としているので、■≧へというケースが一つの走
査中に存在したかどうかの検出に使用する事ができる。

従って、選択回路５９では、これらを条件信号とし、■
≧鳩が存在した場合、７４０ホールド値Ｙ′を、へ〈ｖ
≦鳩であった場合６４０ホールド値ＹをＶ≧Ｖ、なるケ
ースがなかった場合、ゼロあるいは不定を表わす信号を
出力する。

なお、この実施例では、像検出器４０．４２の詳細につ
いては触れなかったが、これはＴＶカメラ２次固体撮像
素子、１次元固体撮像素子と光学的走査方式の組合せ、
光電子増倍管等受光器と光学的走査方式の組合せのいず
れであっても良い。

更に、第２６図および第２８図の実施例では、各手段を
達成する専用ハードを有するものとして図示したが、こ
れらの手段は、いずれもマイクロ、コンピュータを用い
て、そのプログラムにて処理することができる。

更に送り装置４１により定速で少しずつスリット光３８
の位置および撮像位置を移動させながら遂次スリット輝
線の形状の波形信号を抽出して行くと、全体として第２
０図に示すように、距離画像９が得られる。

本実施例における撮像器４０は、ＴＶカメラあるいはり
ニアセンサとガルバノミラ−の組合せ等２次元画像検出
器であれば何でもよ（、本実施例によれば、距離画像を
比較的簡単な構成で高精度に検出できる。

第２１図に距離画像検出器１９の他の実施例を示す。同
図に示すように、本実施例は、第１５図に示した検出器
の撮像器および光切断線抽出装置を２組組合せた構造を
持つ。すなわち、スリット光３８のなす平面に対して、
対称の位置に２台の撮像器４０α、４０ｈを設け、やは
り送り装置４１によって、スリット光源３９を移動させ
る。光切断波形の抽出法は前例と全く同様であるが、本
実施例では得られた波形信号を互いに波形の切れている
部分を補うように合成４３シ、距離画ｒ象を生成する。

ここで波形の切れている部分は、第２２図に示すように
スリット輝線が片方の撮像器で検出できない部分４４に
対応し、距離画像では一種の影となる。本実施例では前
述のように２方向から検出した波形信号を合成している
ので影の少ない距離画像が得られるという効果がある。

なお、距−離画像の検出器として、パルスレーザな対応
する点に照射して、反！′ｆ光の飛行時間を計測するこ
とにより距離画像を生成する方式、レーザ元に高周波振
幅変調をかけて対応する点に照射し、反射光の高周波振
幅の位相遅れ乞計測することにより距離画像を生成する
方式が知られているが、これらを用いても良い。これら
の方式では、対象物各点各点の距離をレーザスポットを
用いて計測しているので、スポットを２次元的に走査す
る機構、例えば２組のガルバノミラ−が８硬であるが、
一方これらは真上より元を当てて、真上より反射光を検
出できるので、見えない部分の無い、つまり死角、影の
無い距離画像を生成できるという利点がある。

次に、ロボットアームに取り付ける画像検出器２０の実
施例について説明する。

第２３図は、ロボットアームに取り付ける画像検出器２
０とし′〔の距離画像検出器の実施例である。スリット
光源３９より投光されたスリット光３８による光切断波
形をＴＶ右カメラ５により検出する。この検出器をロボ
ットの手機構２４上に取り付け、手を動かしながら光切
断線を抽出、波形信号を取り込むことによって距離画像
を生成できる。距離画像の処理方法は、前述した固定し
た位置に取り付けられた距離画像の場合と全く同様にで
きる。なお、本実施例の詳細および他の実施例は次のよ
うになる。即ち７７は産業用ロボットで、例えば５自由
度を有する関節形ロボットがある。産業用ロボット１７
はベース２２に対して黍直軸を中心に旋回する旋回台１
７ｅ、水平軸２５ａ−を中心に回転する上腕１７ｈ１そ
の先に水平軸２３Ａを中心に回転する前腕１７ｃ１その
先に水平軸２５ｃを中心に回転し、更にこの水平軸２３
０に直角な軸を中心に回転する手首１７ｄとから構成さ
れている。この手首１７ｄには指（チャック）２５を付
けた手機構２４が備え付けられている。この手機構２４
には主体形状検出器７６が備え付けられている。主体形
状検出器７６は光切断ヘッド７７と、この光切断ヘッド
７７をｙ軸方向に走査する直線移動機構７９と、該直線
移動機構７９を駆動するモータ８０と、該直線移動機構
７９によって走査される光切断へラド７７の走査量を基
準位置から検出するロータリエンコーダ等の変位検出器
８２とから構成されている。

第２９図では直線移動機構７９として送りネジとナツト
しか描写してないが、実際には摺動機構がある。

８３は上記モータ８０を一定速度で駆動するモータ制御
回路である。４２は像検出器７８から得られる二次元的
映像信号を入力して特開昭５６−７０４０７号に記載さ
れているように光切断線を抽出する光切断線抽出回路で
ある。２１はイメージプロセッサで、ロボットに最も近
く、且つロボットで作業したい目的物の位置、傾きを検
出するものである。１８はロボット１７を制御するロボ
ット制御装置である。

第２３図は、第２９図の実施例における光切断ヘッド７
７をより詳細に示したものである。スリット投光器５９
は直線フィラメントのランプ８４、スリット８５．円筒
レンズ８６で構成されでいる。像検出器７８は、結像レ
ンズ８７．ＴＶカメラ４５で構成されている。図中８８
は固体′ｒｖカメラ内の２次元アレイセンサのチップを
示したものである。

スリット投光器６９はランプ８４が発生した元の内、ス
リット８♂を投光した直線状の元を、円筒レンズ８６に
より平行光線として前方を照射する。

第２６図に示す３８は発せられるスリットう℃の面を示
している。像検出器７８は、保持部２０により、その元
軸がスリット光面３８ａに斜め（角度α）交わるように
傾けて固定されている。第２３図ｓ８ｈの台形面はスリ
ット光面５８（Ｚ中、像検出器７８が検出する視野を示
している。この視野内に物体があると、第５０図に例示
するように輝線３８ｂが物体表面に生じ、この輝綜像が
像検出器で検出される。第３０図はロボット作業の一例
としてワイヤのついたコネクタ部品９０の位置、姿勢を
検出し、これを握み、基板９１上のピン９２にさし込む
作業状況を示している。第３１図は第２３図に示す像検
出器７８の検出画像であり、スリット輝線像として明る
く検出される。この画面は第２３図のスリット投光器６
９と像検出器７８０機何曲間係で明らかなように画面上
が遠く、下が近い遠近関係にある。光切断線抽出回路４
２では、第３１図のスリット輝線像を画面上からスリッ
ト輝線までの距離として、光切断線を抽出する。第３２
図にその処理例を示す。（詳細には特開昭５６−７０４
０７号に開示されている。）第３２図（α）は像検出器
７８から光切断線抽出回路４２に入力する入力画像であ
る。今像検出器７８から得られる縦方向の例えば１本の
走査線ｘｉの映像信号は第３２図＜ｂ＞のようになって
いる。これより閾値〜と映像信号を比較し、にの交点の
中心位置Ｚｉをめる。各層についてＺｉをめ出力すれば
第３２図（Ｃ）のように光切断線（波形データ）を得る
ことができる。なお、光切断抽出はここに示した閾値処
理で中心をめる他、ピーク位置検出であっても良い。ま
た、この例では、Ｚ軸座標は遠い方を原点としたが、近
い方を原点としても良い。また遠近法に従ってＺ軸方向
を座標変換することも容易に可能である。またこの処理
は電気回路で高速に行うことができるが、すべてソフト
ウェア処理であっても良い。

以上の処理をモータ８０により光切断ヘッドを移動させ
ながら行うと距離画像を得ることができる。帛３３図に
その例を示す。第３３図は光切断線を間引いて表示した
例である。すなわち、ｘｙ平面画像として見ると、明る
さＺが、）“Ｃ切断ヘッド３からの距離Ｓに対応してい
る。明るい方が近い画像である。（第３４図において４
＝Ｓ。

ｓｉｎα、　７．　＝　５１ｔｉｎαで示される。）ヘ
ッドの移動、すなわち、ｙ軸方向の送りは定速モータで
行い、イメージプロセッサ２１から得られるサンプリン
グ信号９２で光切断線抽出回路４２は、一定時間間隔で
光切断線をサンプリングスる。パルスモータ８０で送り
ながら一定パルス間隔毎に（一定距離ＰでＺ方向に移動
する間隔毎に）光切断線をサンプリングする。ＤＣモー
タ８０とエンコーダ８２を組合せ一定斤移動毎にサンプ
リングする等いずれであっても良い。検出する光切断線
の本数は２本以上ロボット視覚の作業対象に応じて選定
すれば良い。ピッチについても同じである。これらはイ
メージプロセッサ２１により制御される。イメージプロ
セッサ２１に入力された距離画像の処理内容もロボット
視覚の作業対象に応じて選定すれば良い。ここで一実施
例として第３０図の作業対象について言えば、得られる
距離画像は第３３図のものであり、この距離画像（サン
プリングされた光切断線ｙｉ毎にｘｉに対応した距離の
値Ｚｉ　）は光切断線抽出回路４２から得られパラレル
インターフェース５０ｈを介してイメージメモリ用のＩ
（ＡＭ５１αに記憶される。イメージプロセッサ２１の
マイクロプロセッサ４８は例えば第３６図に示すように
隣り合った光切断線ｙｉ−１と戸＋１に対するｘｉ−１
とｘｉ＋　１について（５Ｘ５の絵素について）の距離
１ｉ　−１ノー１　、Ｚ！＋１．ｊ−１，Ｚｉ−１，Ｊ
＋１．Ｚｉ＋１．ｊ＋１を読み出し、 ｚ＝　、；　＝ｌ　Ｚ’　１　＊　７’　Ｉ　Ｚ蔓＋　
１　＃、７’　＋　’　ｌ　＋　Ｉイ：ｉ４１．ｊ−１
−イ七ｉ−ｙ、−Ｊユ具 なる微分を施し、この値がある大きな基準値より大きい
ときジャンプエツジ（物体と背景の境界線）があるとい
うことで上記Ｚｔ、ノの値をＲＡＭ６２の別の領域に記
憶する。更にマイクロプロセッサ４８は第３５図のよう
に実線（ジャンプエツジ）Ｅｊで囲まれた閉領域をセグ
メンテーションをする。そして各閉領域毎へ、への面積
、重心の高さをめ、これらが指定された範囲内でありか
つ重心の高さが最も高い目的とする対象物を分離抽出す
る。

更に例えば第３５図に点線で示されるルーフエツジＥｒ
とジャンプエツジＥノ°とに囲まれた平面領域を抽出し
、分離抽出された平面領域を平面近似し、その法線方向
を部品の３次元的姿勢として認識する。即ちジャンプエ
ツジとルーフエツジとで囲まれた主要平面の領域を最小
２乗法で平面近似する請求める平面方程式を ｔ、　ｘ−４−ｔ、　ｙ＋ｔ、　＝　ｚ　・・・（６）
とし、距離画像より抽出した主要平面内ｍ個の点のｘｙ
ｚ座標を（ａｒｌ　、ａｒｌ、ｈｉ　）　ｉ　＝　１．
２．・＝、ｍとすれば式ｆｉｌの’ｌ　ｔ’！　＋’ｌ
は、（す）ノ：＝１．２．５を行とする行列ｔとして、 ｉ　＝　（ＡＴＡ　）−’　ＡＴ、６　・・・（７）と
計算される。ここにＡは（α７１．αｒ２，１．０　）
を行とする行列、ｂは（ｂｉ）を行とする行列、Ｔは転
置行列、−１は逆マトリックスを表わす。

なお主要平面領域の重心位置は、すでにセグメンテーシ
ョンの際にめられている。この主要平面の法線方向は法
線とＺ軸のなす角ψと法線のｘ、ｙ平面への投影とＸ軸
とのなす角θで表わす。

ψとθは、平面近似の際にめたｔ（式（６））％式％（
９） 更に第３５図に示すようにこのψ、θの値に従って主要
平面のパラメータを回転させ、ａ”　、ｙ’　、ｚ’に
変換すれば、法線方向からみた主要平面の形状を認識す
ることができる。

このようにしてマイクロプロセッサ４８は、目的とする
物品の主要な面の位置と空間的傾きがロボットの手機構
を基準にしてめろことができる。これがコネクタの表面
であるかどうかを前記に述べたようにその面の大きさ、
形状から検定できる。また付近にワイヤＡ２のある方向
を検知することにより、その反対側か゛ピンを差し込む
べき方向であることを決定できる。残りの２側面がロボ
ットフィンガーが握むべき面である。なお、イメージプ
ロセラ＋／′２１の［）Ｍ４９には、各々ジャンプエツ
ジ検出とセグメンテーションと、目的部品の分離抽出と
ルーフエツジ検出による部品の平面領域の抽出と、平面
の法線方向による部品の３次元的姿勢の認識と、部品の
認識等のプログラムが記憶されている。Ｉｔ／Ｖｖ１５
１　ｈは演算部５５で計算されたデータを一時記憶する
ものである。９ろはパスラインである。

そしてイメージプロセッサ２１のインターフェース５２
から目的物の主要面の位置と姿勢と、方向のデータかロ
ボット制御装置１８に送られる。

即ちロボットの指２５の握み点、アプローチすべき位置
とその方向が決定されたのでロボット制脚装置１８のマ
イクロプロセッサ２９はこれらを囮３３に記憶されてい
る四ポットアーム制御のデータに加えてロボットの制御
座標系に変換し、Ｄ／Ａ変換器３０を介して駆動回路３
１に伝達する。ロボット１７に備えられた各アクチュエ
ータＭが駆動され、ロボット１７の指は上記情報を元に
コネクタ９０を握み、あらかじめ教示によって与えられ
た位置に存在するピン９２にこれを差込む。

なお、本発明の実施例としては、光切断法として定常的
なスリット光を使用したが、これをストロボ発光として
も良い。また本発明の実施例では、スリット光を使用し
たが、片側が明るく他の側が暗い、明暗の直線エツジで
あっても良い。またスリット光圧かわって、スポット光
を光切断面２５上を走査させる方式であってもよい。

また距離画像をロボット１７０手機構２４に取付けた光
切断検出ヘッド７７から得るためには、第２９図に示す
実施例の如く手機構２４の先に設けられた検出ヘッド走
査機構によって直線的に走査させる他、ロボット制御装
置１日によってロボットの手機構２４をｙ軸方向に等速
度に移動させながら、その座標値をイメージプロセッサ
２１に送ると共に一定間隔Ｐでサンプリング′１−れば
よいことは明らかである。しかしロボットの手機構２４
を平行に移動させて走査する実施例は、第２９図に示す
実施例に比べ応答性が悪い。

また距離画像を光切断検出ヘッドから得るためには、検
出ヘッド走査機構が不可欠であるが、これは実施例第２
９図に示した直線移動機構の細筒６７図に例示するよう
に紙面に垂直な回転軸９４を中心に回転モータ９５によ
り撮像装置とスリット投光器３９を揺動させる機構であ
っても、第６８図に例示するように、スリット投光器３
９のみを揺動させる機構であっても良い。

この場合距離画像は各回転角に比例せず、三角関数を含
む複雑な関係式になるため、目的とする物体のある平面
の傾き方向、位置をめることが非常に複雑となる。しか
し、物体のある平面の傾き、方向、位置を正確にめる必
要のないときは、上記関係式を近似式でおきかえろれる
ため、走査機構として揺動機構を用いることができる。

ただ手機構２４に付ける走査機構として直線走査機構よ
り揺動機構の方が機構として簡素化できる。

また前述したように距離画像の検出器として光切断法に
よらない方法を用いてもよいことは勿論である。

第２４図は四ボットアームに取り付ける画像検出器とし
ての斜十字スリット光４６を用いた検出器の実施例であ
る。本実施例では、２台のスリット光源６９α、３９ｈ
を斜十字状のスリット光４６が一照射できる様に配置し
、２台のスリット光源３９α３９ｊＳを一つづつ発光さ
せた場合の光切断波形をＴＶ左カメラ５を用いて検出す
る。

゛Ｔｖ画像信号より光切断線抽出装置４２を用いて波形
信号を抽出し、予めめておいた波形信号値と実際の座標
との対応関係を示すデータ２７を用いて対象物までの実
際の距離、姿勢などを検出する。なお、本実施例の詳細
については特願昭５７−２０１９３１号に記載されてい
る。

以下に、本発明のロボット視覚装置を用いた物体の位置
検出および姿勢検出の一実施例について説明する。

ここでは、説明をわかりやすくするために、第６９図に
示した装置構成を例にして説明する。

尚、以下の説明は、第４０図に示す装置構成においても
全く同様に適用できるものである。

第５９図において、２個のスリット光源１０１α。

１０１ｈをそれぞれ１つずつ発光させた場合、撮像装置
２によって検出される光切断線と物体の実際の位置等幅
線Ｗと等距離線りとの対応関係は、第４１図（α）（ｂ
）に示すように、ななめ格子状になる。この対応関係を
あらかじめ寸法が既知の物体を用いて検出器からの位置
を変えながらめ記憶装置に記憶しておく。そして、物体
の位置姿勢の検出の際には、このあらかじめ記憶されて
いる対応関係と撮像装置１０２から検出された光切断線
の画像上の位置を照合することによって、物体の実際の
位置と傾きをめることができる。本発明では、２つのス
リット光１０３α、　ｉ　ａｓｈを切替えて投光し、２
つの互いに平行でない平面における物体までの距離１位
置および傾きがめられるから、これらにより物体の３次
元的な位置と姿勢を一意的にめることができる。

なお、本発明では２つのスリット光１０′５ｃＬ、１０
３ｂの交線１０６が対象物表面と交わるように検出器ま
たは対象物があらかじめ大まかに位置合せされているも
のとし、本発明のロボット視覚装置を用いて、検出器と
対象物の相対的な位置と姿勢を精密に検出するものとす
る。

つぎに、検出される光切断線の画像上での位置と物体の
実際の位置の対応関係をめる方法について、第４２図を
用いて説明する。ここでは第３９図に示すスリット光源
１０１ａの場合についてのみ説明するが、第３９図に示
すスリット光源１０１’ｂおよび第４７図参照すスリッ
ト光源１０１α、１０１ｂの場合も同様である。第４２
図に示すように、２つのスリット光の交線１０５がＸ軸
に一致し、スリット光源１０１ａによるスリット光１０
３αがｘｚ平面に一致するような座標系ｘｙｚを仮定す
る。まず、第４２図に示すように２軸に垂直で撮像装置
１０２の視野より広い平面１０６を、Ｘ軸方向に平行移
動できるように、目盛付のレール１０７上に立てる。平
面１０６をたとえば１ＣｒＩＬきざみで検出器から遠ざ
けながら検出画像上での光切断線の位置をめて行くと、
第４３図に示す様な等距離線図が得られる。つぎ忙平面
１０６を幅一定の長方形とし、このようなものをいくつ
かの幅について用意し、やはりレール１０７上を２軸に
垂直になるように立ててＸ軸方向に移動させる。平面１
０６のＸ軸方向に測った幅をたとえば２ｃｍきざみとし
、それぞれの平面１０６を２軸方向に移動させたとき検
出される光切断線の端点の軌跡をめると、第４４図に示
すような等幅線図（Ｘ座標に関する）が得られる。第４
３図に示した等距離線・図と第４４図に示した等幅線図
において、線図上のある水平の線ｈｈ′に沿った距離お
よびｘ’力方向位置の変化を見ると、それぞれ第４５図
、第４６図のようになる。これらを線図上の縦方向の座
標ノにおける距離の関数２およびＸ方向の位置の関数Ｘ
として、線図上の機方向の座標番を変数として表わすと
、 ｚ）’＝ｆ（ｉ＃ａ）’０＋ａｊ　１１モａｊ２ｉ２＋
ａ）’５ｉ”　−１−・　（Ｌ２ｘ）’−４ｉ＃ｈｊＯ
＋ｂｊ　１　ｉ十ｈ）’２　ｉ”　＋ｈｊ５ｉ”　−ｆ
−−−Ｑｌと近似することができる。何次まで近似する
かは必要とされる検出精度により決定する。線図上のす
べてのノ°（たとえば）°＝１〜２５６）について、ａ
ｊｎ、ｂｊｎ　（ｎ　＝　０，１，２．−）　を以上の
方法であらかじめめておけば、検出された光切断線から
式＋１１　＋２１を用いて、逆にその２方向およびＩＸ
方向の位置をめることができる。また、検出対象物を構
成する一平面の傾きをめる場合には、以上の様にしてめ
た光切断線の端点の実際の座標（、ｙ、ｚ　）　（ｚ’
　、ｚ’　）より、θｘ＝　ｔａｎ−”　７：コＱＪ を用いて、その平面とＸ軸のなす角をめることができる
。

次に検出画像より光切断線を抽出する手段について具体
的に説明する。この場合もやはり第５９図に示した片側
のスリット光１０５αの場合にっいて説明する。撮像装
置１０２によって撮像した光切断線は、スリット光の幅
や光学系のボケなどにより、一般的にはある幅を持って
いる。そこで、撮像装置１０２の水平走査方向を第４３
図と第４４図に示した線ｈＡ′の方向（横方向）に一致
させて配置し、各水平走査信号のピーク位置（すなわち
最明点）の座標ｔを各ノにおける光切断線の位置−とす
る（第４７図参照）。このようにして、弐ｎ３　＋１３
を計算するための光切断線の位置の座標を抽出する。

次に、本発明のロボット視覚装置による対象物の３次元
的な位置、姿勢の検出過程を第４８図に示す円柱状の物
体１０９および第１４９図に示す平面上にあいた円形の
穴１１０σ）検出を例にして説明する。

まず、円柱状の対象物１０９の位置、姿勢の検出法につ
いて説明する。第４０図に示すスリット光１０３αを投
光した場合、たとえば第５０図に実線Ａに示すような光
切断像が撮像装置１０２により検出されたとする。同図
において、先に説明した様に横方向の最明点の位置を検
出し、光切断線の形を抽出すると第５１図に示す様にな
る。第５１図に示す波形を折線近似し、各線分の端点の
座標（Ｌｓ）’）をあらかじめめておいた式０３　Ｈな
用いて実際の座標（−、ｚ）に変換すると、第５２図に
示す様になる。この図において、最も２座標の小さい線
分Ａ、すなわち最も検出器に近い線分の中点から、円柱
状の物体１０９の上面のＸ方向の近似的な中心位置がめ
られる。また、式α４を用いてｘｚ平面における物体１
０９の傾きがめられる。つぎにスリット光源を切替え第
４０図に示すもう一方のスリット光１０３ｈについて得
られる光切断像（第５０図中に破線Ｂで示す）について
も、全く同様の検出を行うことにより、円柱状の物体１
０９の上面ｙ方向近似中心位置と、ｙｚ平面における物
体１０９の傾きをめる。更に、以上の検出結果をもとに
、検出器から物体１０９の上面の中心位置までの距ｍｌ
　２は、円柱状の物体１０９の上面が２軸にほぼ垂直で
ある場合、２＝５十−♂−ニジ　、ｈ−±乃・　０ω２
　ｈ　−ｙｌ　２ または、 ２＝Δ」５十”ｘ　−”ｓ　、乞き　。。

２　４十へ　２ としてめられる。ここで、ｘｌ　ｓ％　（Ｘ円柱状の物
体１０９の上面におけるｘｚ平面の光切断像（第５０図
に示すＡ）の端点のＸ座標であり、３’ｌ−３’！はｙ
ｚ平面の光切断像（第５０図に示すＢ）の端点のｙ座標
であり、”＋　＊”ｖ　ｍ”ｓ　ｙ”４はそれぞれ４つ
の端点の２座標を表わす。以上の検出結果よりもし円柱
状物体１０９の上面のｘｚ平而面よびｙｚ平而面おける
傾きが９００と著しく異なり、光切断線の中点から中心
位置をめる方法および弐０りまたは鱈による距離の耐昇
の誤差が無視できないと判断される場合には、傾きの検
出結果に従って四ボットアームを移動させ、２軸すなわ
ちスリット光３α、３ｈの交線が面にほぼ垂直になるよ
うにし、再度中心位置および距離の検出を行う。

つぎに、第４９図に示す平面上に垂直にあいた円形状の
穴１１０の中心位置および穴のおいている方向の検出法
について説明する。第５３図は第４９図に示す穴１１０
を撮像装置で撮像したとき得られる光切断線の一例を示
す図である。この場合も、前例と同様に、ｒ２平面およ
びｙｚ平面における２組の光切断像をスリット光源を切
替えることによって、独立に検出する。第５３図におけ
る実線と破線は、このようにして得られる２組の光切断
像を示している。同図において、点へ。

−を結ぶ線分と点”Ｉｙｂｔを結ぶ線分をそれぞれ前例
の第５０図における線分Ａ、Ｈに対応させた処理を行う
ことによって、全（同様に穴１１０の位置および穴のお
いている方向の検出を行うことができる。

以下に、本発明のロボット視覚装置の具体的実施例につ
いて説明する。まず、装置全体の構成およびその動作に
ついて説明し、しかる後検出器各部の具体的構成につい
て述べる。

第２４図は本発明のロボット視覚装置の全体構成の一実
施例を示す図である。検出器は撮像装置２とスリット光
源５９α（１０１α）、３９ｈ（１０１りから構成され
ており次の様な配置構成法によっている。すなわち、 ＋１１２つのスリット光４６ｚ（１０３ｚ）、４６ｈ（
１ｏ′５ｂ）のなす平面の交線１０５を、ロボットのグ
リッパ２５の回転軸に一致させる。

（２）　スリット光源５９α、５９ｂの光軸１０８α、
　１０８ｂおよび撮像装置４５（１０２）の光軸１０８
Ｃはスリット光４６α、４６ｂの交線１０５上のほぼ一
点で交わる。

（３）　スリット光源３９α、３９ｂの光軸１０８α、
１０８ｈおよび撮像装置４５（１０２）の光軸１０日Ｃ
は同一平面上にある。

（４）　スリット光源３９αの光軸１０８αとスリット
光の交線１０５のなす角と、スリット光源３９Ａの光軸
１０８ｈとスリット光の交線ｉｎｓのなす角とは等しい
。

（５）　スリット光源５９ａの光軸１０８αと撮像装Ｒ
４５（１０２）の光軸１０８Ｃのなす角と、スリット光
源３９７Ｓの光軸１０８ｂと撮像装置４５の光軸１０８
Ｃのなす角とは等しい。

以上の様な配置でロボットアーム２４上に検出器を構成
する。検出器の構成法の他の変形例としては、上記の（
１）〜（５）のうち論理的に可能な１〜４個の組合せが
ある。また、第２４図では検出器がロボットのグリッパ
２５を回転駆動する部分に固定されているが、グリッパ
２５上に固定し、グリッパ２５と一体に回転させる様に
構成しても良い。

このロボット視覚装置の全体は第２４図中のイメージプ
ロセッサ４７によって制御される。すなわち、スリット
光切替装置１１３を制御し、スリット光源３９ａ、３９
ｈが１つずつ発光するようにし、１それぞれの光切断像
を撮像装置４５（１０２）によって検出する。検出され
た画像信号は光切断線抽出回路４２に入力され、光切断
波形がイメージフロセッサ４７に入力される。光切断線
抽出回路４２は、先に説明した方法に従って２次元画像
データを１次元波形データに圧縮するものであり、特開
昭５６−７０４０７号に開示されている装置を用いても
良い。このようにして得られた２組の光切断線波形デー
タは、イメージフロセッサ（マイクｏコンピーータ）４
７内に光圧説明した手順で処理される。すなわち、波形
データの折線近似の後、Ｅ　Ｑｌ　−Ｑｅの計算を行っ
て対象物の３次元的位置及び姿勢を検出し、そのデータ
１１７をロボット腕機構の制御装置に出力する。式０２
０萄を計算するのに必要な係数αノル、ｂノル、（）°
＝０．１，２，３・・・、ｒＬ−０，１，２，３・・・
）は、先に説明した方法であらかじめめられ、記憶装置
１１６内に格納されており、必要な時適宜読み出されて
使用される。

次に本実施例のロボット視覚装置の動作について詳細に
説明する。

対象物の検出を行う前に、すでに説明した様に、式（１
１＋２１に示した係数σ）’ｎ、ｈノｔＬ（および同様
にして得られる３／）の係数）を記憶装置１１６　ＶＣ
格納する作業が必要である。４Ｊ４２図に示した装置を
用いてスリット光の交線１０５がレール１０７と平行に
なる様にロボソトン動作、固定し、１−でに説明した方
法で第４６図に示す等距離線図と第４４図に示す等幅線
図をめる。この作業はスリット切替装置１１３で切替え
、２つのスリブｔ・光４６α（１０３ｔＬ）、４６Ａ（
１０３Ａ）　についてそれぞれ行う。つぎに、これらの
データをもとにイメージプロセッサ４７によって多項式
近似を行い、各部における式α１３の係数αノ゛ル、リ
ルなめ、記憶装置１１６に格納する。

対象物体の検出過程では、すでに第４８図及び第４９図
を例にして説明した様に、イメージプロセッサ４７がス
リット光切替装置１１３を制御し、２組のスリット光源
１０１α、１０１ｈをそれぞれ発光させた場合の光切断
像に基づく光切断波形を光切断抽出回路４２によって得
て、これをイメージフロセッサ４７によって折線近似し
た後、それぞれの線分の実際の位置座標が記憶装置１１
６に格納された係数αノｎ、ｈｊｎをもとにして式０３
　Ｑｌ　（および同様なｙｊをめる式）を用いてめられ
る。

イメージフロセッサ４７は、２組のスリット光源１０１
α、ｌｏｌ、６をそれぞれ発光させた場合の線分のうち
、対象物体上の線分を、距離ｚを判定基準にそれぞれ１
本ずつ選び出しく通常、最も検出器に近く、視野の中央
近くにある線分）、それぞれの４つの端点から１式ａｍ
　−Ｑｅおよび線分の中点の計算を行って、対象物体の
位置および姿勢を検出し、ロボット腕機構の制御装置に
出力する。

次に検出器各部の具体的構成について説明する。撮像装
置４５にはＴＶカメラを用い、第４７図に示したｉの方
向と水平走査方向を一致させることにより、高速で光切
断線を検出することかできる。もちろん、ＴＶカメラ以
外の２次元画像検出器、例えば１次元フォトダイオード
アレーとガルバノミラ−との組合せでも良い。ＴＶカメ
ラのうち、特に２次元固体イメージセンサを用いたもの
は、印耐震、耐衝撃性、（ロ）寿命、（ハ）画像ひずみ
、（ニ）小型。軽量、（ホ）省電力、の５つの点で、電
子管を用いたものよりも優れている。第５４図は２次元
固体イメージセンサー１９を用いた撮像装置の一具体例
を示す図である。

本具体例では、ロボットアームに搭載される部烈 分は、第５５図に無線で囲んで示す様に、ＴＶ右カメラ
御ユニット１２２を除いた２次元固体イメージセンサー
１９と前置画像信号増幅器１２０と同期駆動信号波形整
形回路１２１のみであり、さらに小型、軽量化が図られ
ている。第５４図において前置画像信号増幅器１２０は
基板１２３ａ上に搭載され、２次元固体イメージセンサ
１１９と同期駆動信号波形整形回路１２１は基板１２３
ｈ上に搭載され、支柱１２４で裏ぶた１２５上に固定さ
れている。裏ぶた１２５にはコネクタ１２６が取付けら
れ、−切の信号、電源の供給はこのコネクタ１２６を介
して行われる。また、裏ぶた１２５および外枠１２７は
内面に静電シールド用の銅箔を貼った（または金属メッ
キを施した）プラスチック等の非金属で構成されている
。さらに、結像レンズ１２Ｂをプラスチック化すること
も可能である。以上の様に、本実施例による撮像装置を
用いれば、耐震、耐衝撃性、長寿命、低画像ひずみ、省
電力という特徴に加え、検出器を著しく小型、軽量化で
きる効果がある。

次に、スリット光源１０１α、１０１／ｌの具体的構成
について説明する。光源としては、ハロゲンランプや放
電管や発光ダイオード等を使用することができるが、（
イ）耐震、耐衝撃性、（ロ）寿命（ハ）小型、軽量性の
３点で発光ダイオードが最も優れている。第５６図は発
光ダイオードを用いたスリット光源の一具体例を示す図
である。発光ダイオード１２９には、赤外発光の高出力
タイプが用いられる。通常２次元固体イメージセンサの
最大感度波長は、８００ｎｍ付近であるので、この波長
の発光ダイオードを用いれば検出感度を最大にできる。

第５６図に示す様に、発光ダイオード１２９は、複数個
をシリンドリカルレンズ１３０の長手方向に一致させて
一例に並べて配置する。第５６図（α）に示す平面図に
おいて、発光ダイオード１２９とスリット１３１はシリ
ンドリカルレンズ１６０に関して結像関係にある。また
、結像面１５２の位置は概略の対象物位置に設定し、結
像面１３２とスリット１３１とは結像レンズ１３３に関
して結像関係にある。以上の様な構成をとることにより
、発光ダイオード１２９から発光される光を効率良く集
光し、スリット光を形成できるので、上記した３つの特
徴に加え明るいスリット光源を実現できる。さらに、発
光ダイオード２９にレンズを用いた指向性の強いものを
用いることにより、更に強力なスリット光源も実現可能
である。

第５７図は発光ダイオードを用いたスリット光源の他の
具体例を示す図である。第５７図に示す様に、発光ダイ
オード１２９を複数個スリット１３１に沿って配置し、
スリット１３１と結像面１３２は結像レンズ１３３に関
して結像関係にある。またシリンドリカルレンズ１３０
は、スリット光に結像面１３２上でむらが出ない様に、
結像レンズ１３３とスリット１３１０間に挿入される。

本具体例では、結像面１３２の結像関係が狂うと、スリ
ット光にむらが生じる欠点があるが、光切断線の位置検
出を行う本発明では無視できる。本具体例によれば、第
２２図と比較して明らかな様に、光軸方向の長さを短か
くすることができ、発光ダイオード１２９の持つ特徴に
加え、スリット光源を著しく小型にできる特徴がある。

また、撮像装置と同様に、外枠をグラスチック等の非金
属で構成すれば検出器を著しく小型。

軽量にできる効果がある。

なお、第５６図と第５７図に示すスリット光源の具体例
では、スリット光が完全な平板状にならない。この問題
は結像レンズ１３３の径を必要以上に太き（しないこと
で回避できろ。

ロボットアームに取り付ける画像検出器２０の他の実施
例としては、ＴＶカメラ、リニアセンサまたはポイント
センナ（フォトダイオード、フォトマルなど）とガルバ
ノミラ−などの走査機構との組合せによる濃淡画像検出
器がある。本発明では四ポットアーム上の画像検出器に
よる認識処理の前に固定した位置にある距離画像検出器
よりの画像の処理を行い、対象物体の主要な平面の法線
方向よりロボットアームを接近させ、その方向よりロボ
ットアーム上の画像検出器より画像検出できるので、主
要な平面の平面的に正しい形状が検出できるため、従来
の濃淡画像処理による平面的な認識法の応用により、対
象物体の形状、位置、姿勢の認識ができる。

また、背景と対象物体とを濃淡画像の２値化により分離
検出できる場合、２値画像処理、たとえばテンプレート
マツチングなどを用いて、高速に対象物体の形状、位置
、姿勢の検出ができる。

以上説明したロボットアーム上の画像検出器からの画像
の処理によって得られる対象物体の位置および姿勢は、
画像検出器に固定された座標系によるもの、すなわちロ
ボットアームとの相対位置関係であるから、ロボットア
ームのたわみなどによって絶対位置決め精度が悪い場合
圧もロボットアームを精度良く対象物体にアプローチさ
せることができる。また、この場合四ポット制御装置は
、ロボットアームからの検出時点のロボットアームの姿
勢と、イメージプロセッサからの対象物体の位置と姿勢
から、ロボットの各軸の動作量を計算する必要がある。

次に視覚系の他の構成要素の一つであるイメージプロセ
ッサ２１の一実施例を第２５図に示す。

イメージプロセッサ２１は、距離画像検出器１９および
ロボットアーム上の画像検出器２０より検出された画像
を前述した方法に従って処理し、対象物体１１を発見、
その位置、姿勢を認識し、その情報をりポット制御装置
１８に伝送する。イメージプロセッサ２１は、マイクロ
プロセッサ４８で制御され、ＲＯＭ４９に収納されたプ
ログラムによって動作する。距離画像を生成するための
光切断線抽出装置４２およびロボットアーム上の画像検
出器２０とは高速のパラレルＩ／Ｆｓｏα、５０ｈによ
り接続され、検出された画像情報は、Ｉ（ＡＭ５１αに
収納される。ＲＡＭ５１はこのように画像情報の一時的
な保存に用いられるほかに、画像処理過程における作業
領域として用いられる。また、ロボット制御装置１８と
は、インターフェイス５２を介して接続され、認識結果
を伝送する。

上記したイメージプロセッサ２１の実施例は、マイクロ
プロセッサ４８を用いたンフトウエア処処理をする場合
について述べたが、例えば、２値化処理、微分処理等は
比較的簡単なハードウェア構成で実行できるので、部分
的にハードウェアによる処理を行えば、処理の高速化が
図れる。また、非常に高速の処理を行うため、処理アル
ゴリズムを全てハードウェア化することも装置規模は大
きくなるが可能である。

また以上説明した本発明による実施例では、関節形ロボ
ットについて説明したが、直交形ロボット、円筒形ロボ
ットでもよいことは明らかである。

さらに、本発明の他の変形例としては、作業対象ニよっ
ては、距離画像検出器１９のみによる対象物体の認識、
ロボットアーム上の画像検出器２０のみによる対象物体
の認識も可能であることを付は加えておく。

〔発明の効果〕

以上説明したように、本発明によれば、距離画像処理に
より対象物体の発見、その３次元的な位置、姿勢、形状
の検出を行っているので、対象物体表面の色、明暗、面
荒さ、よごれ等によらず、常に能率のよい認識が可能で
ある。また、距離画像を微分することによ？て、物体と
物体の境界線を検出しているので、やはり対象物表面の
状況圧よらない安定な物体の分離検出が可能である。さ
らに以上の効果を総合して、複雑に折り重なった部品ま
たは背景から、目的の作業対象物体を識別して、その３
次元的な位置、姿勢を認識し、ロボットを制御できると
いう完全な視覚フィードバックを実現することができる
。また、本発明によるロボットアーム上の画像検出器と
組合せた階層的な処理により、ロボットの絶対的な位置
決め精度の悪い場合にも、対象物体に対して精度よく位
置決めすることが可能であり、ロボットを組立、検査、
調整など広い分野に適用することが可能になる。

【図面の簡単な説明】

第１図及び第２図は従来のロボット視覚を示した図、第
３図は距離画像を説明した図、第４図、第５図、第６図
、第７図及び第８図は本発明による距離画像の処理過程
を示した図、第９図は直方体の２つの見え方を示した図
、第１０図及び第１１図は距離画像のルーフエツジ、ジ
ャンプエッジを示した図、第１２図は距離画像処理によ
る物体の姿勢の定義な表わ、した図、第１３図は本発明
による実施例の全体構成を示した図、第１４図はロボッ
ト制御装置を説明した図、第１５図は距離画像検出器の
一実施例を示した図、第１６図、第１７図、第１８図、
第１９図及び第２０図はその検出過程を示した図、第２
１図は他の距離画像検出器の例、第２２図は距離画像の
影の生じる原因を説明した図、第２３図及び第２４図は
ロボットアーム上の画像検出器の一実施（Ｊｌｌを示す
図、第２５図はイメージプロセッサの一実施例を示した
図、第２６図は本発明に係る光切断線抽出回路を示す概
略構成図、第２７図は第２６図の示す回路の機能を説明
するための図、第２８図は第２７図に示す回路を具体的
に示した構成図、第２９図は第２３図に示す本発明に係
るロボット視覚装置の一実施例を具体的に示した図、第
３０図は第２３図及び第２９図に示す実施例における作
業対象を説明するための図、第３１図は光切断線の例を
示す図、第３２図は光切断抽出処理を説明するための図
、第３３図は距離画像の例を示す図、第３４図は光切断
線と撮像装置の中心と目的物表面との関係を示した図、
第３５図は距離画像におけるジャンプエツジとルーフエ
ツジとを示す図、第３６図は距離画像信号を微分してジ
ャンプエツジを検出するために６×３の絵素についての
距離を切出した状態を示す図、第３７図は本発明に係る
第２９図と異なる他の一実施例を示した図、第６８図は
更に本発明に係る他の一実施例を示した図、第３９図は
第２４図に示す如（本発明に係るロボット十字切断線視
覚装置の原理となる検出器の斜視図、第４０図は第３９
図に示す゛検出器の基本構成を示す斜視図、第４１図は
第３９図に示す検出器による等距離線と等幅線を表わし
た図、第４２図は等距離線と等幅線を得る検出器の斜視
図、第４３図は等距離線の一例を示す図、第４４図は等
幅線の一例を示す図、第４５図は第４５図に示す等距離
線の変化を表わした図、第４６図は第４４図に示す等幅
線の変化を表わした図、第４７図は光切断線の抽出方法
を表わす図、第４８図及び第４９図は検出対象物体の一
例を示す図、第ｓｔｅ：ｌ、第５１図、第５２図は第４
８図に示す検出対象物体の検出処理過程を示す図、第５
３図は第４９図に示す検出対象物図（α）と第５７図（
α）は本発明に係るロボット視覚装置の検出器に用いる
スリット光源の具体例を示す平面図、第５６図（ｂ）と
第５９図（ｈ）は本発明のロボット視覚装置の検出器に
用いるスリット光源の具体例を示す正面図である。 ９・・・距離画像　１１・・・対象物体１７・・・ロボ
ットアーム１８・・・ロボット制御装置１９・・・距離
画像検出器 ２０・・・ロボットアーム上の画像検出器２１・・・イ
メージプロセッサ ３８・・・スリット光　３９・・・スリット光源４２・
・・光切断線抽出装置 ４５・・・’ｒＶカメラ 第１図 第３２ 茅４図 拳　、５回 乍＾　乙　ｍ 埠　７　図 竿　８　図 茅ｑ図 茅／θ磨 第　／／団 茅７２　ｆｆｉ 穿　／乙　図 一一署′　Ｄ 第７８図 茅　３０圀 第３１閉 第３３０ 第　３４因 ＼ 茅３５図 茅　３６ｍ 茅３７図 を 第３２副 第　４ｏ　Ｕ イ４／磨 （りン　χｚｑ面　（ｂ）”ＪＺ”Ｆ面茅４２２ 竿４３０ 茅４４０ 茅　４．Ｓｒ　茅４６図 茅３／　ＩＩ 茅、！；２図 茅６３困 茅　５４０ 茅、５５図 ｚｌ

Claims (1)

1. 【特許請求の範囲】 １、　ロボット基台部に対しである固定した点より作業
   対象全体の距離画像を検出する検出器と、上記距離画像
   検出器より検出された距離画像を定められた手順に従っ
   て処理し、対象物体の発見とその形状位置、姿勢を３次
   元的に認識するイメージプロセッサと、イメージプロセ
   ッサよりの認識結果に従って対象物体の定められた方向
   よりロボットアームを接近させる四ボット制御装置と、
   ロボットアーム上に取付けられ、接近した位置より対象
   物体の画像を検出する画像検出器と、検出された画像を
   定められた手順に従って処理し、対象物体の形状、位置
   、姿勢を認識するイメージプロセッサと、イメージプロ
   セッサの認識結果に従って四ボットアームを対象物体に
   対して正しい位置に補正するロボット制御装置を設け、
   組立、検査、調整などの作業を行うことを特徴とするロ
   ボット。 ２、　上記イメージプロセッサは、距ｈａｔ画像信号を
   微分してジャンプエツジ画像信号を形成する微分手段と
   、このジャンプエツジで閉じられた領域に分離する分離
   手段と、この分離された領域から必要な領域を抽出し、
   この抽出された領域から主要な平面の距離画像を抽出す
   る抽出手段と、この距離画像によりこの主要な平面の重
   心の位置及び傾き等を検出する検出手段とによって構成
   したことを特徴とする特許請求の範囲第１項のロボット
   。