JPH02167410A - 対象物体の位置姿勢認識方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は、ＩＴＶカメラなどで撮影された画像から１画
像処理装置を用いて画像内の対象物体の位置や傾きを認
識する方法に関する。

（従来の技術） ロボットなどを用いた自動化生産ラインなどでは９Ｍ立
や搬送をロボットが行うケースが最近増加しつつある。

ところが、ロボット自身は、決められた位置においであ
る対象物体に対して作業を行うもので、このためには対
象物体をあらかじめ位置ぎめしておかなければならない
４　常に同じ物体に対して作業を行う場合は２機械的な
位置ぎめ装置を設ければ良いが、対象物体の形状などが
変化する場合は２位置ぎめ装置が複雑になり、コストが
高くなってしまう、これに対して、最近は視覚センサを
用いて、対象物体の位置や傾きを画像処理の手法を用い
て認識し、この位置に対してロボットが作業を行う方式
が採用され始めている。

第６図は視覚センサを用いたロボット用位置認識装置の
模式図である。４１はロボット４２はロボットの制御装
置、４３は対象物体を撮影するカメラ、４４はカメラで
撮影された画像を処理し。

対象物体の位置や傾きを計測する視覚センサー４５は作
業テーブル、４６は対象物体である。この図を用いて簡
単に視覚センサによる位置認識方法を説明する。

まず、対象物体４６が作業テーブル４５におかれると、
カメラ４３で対象物体を撮影し、その画像を視覚センサ
４４の画像メモリに記憶させる。

第７図は視覚センサて撮影した画像の一例である。

５１は対象物体、５２はカメラで撮影された画像の境界
である１通常１人力画像を明るい領域と暗い領域の２値
画像に変換して処理を行う、第７図の斜線部は、対象物
体の映像で、明るい領域となっている。視覚センサは、
この画像から、対象物体の位置や傾きを計算する。対象
物体の位置や傾きは２画像の明るい領域の面積２重心２
周囲長などの幾何学的特徴量を計算することにより得る
ことができる１例えば２位置は、撮影された画像の重心
位置を計算すれば良い、また、傾きは図のような長方形
の場合は、慣性主軸の傾きを計算すればよい、この様に
していま置かれている対象物体の位置、傾きなどを視覚
センサで認識した後、ロボットにそのデータを教える。

−船釣には、第７図に破線５３で示されている位置に対
象物体がある場合において、ロボットが作業するように
あらかしめ教示されているため、視覚センサからロボッ
トに与えるデータは、教示位置からの移動量となる。従
って、０ボツトは視覚センサから教えられた移動量だけ
座標をシフトして９作業を行う。

この様に、視覚センサで対象物体の位置を計測して、そ
のデータにもとずきロボットが作業を行う方法を使用す
ると、カメラで撮影する範囲を超えた位置に対象物体が
置かれない限り位置ぎめ装置などが不要となるから、シ
ステムが簡単になる。

さらに、対象物体の種類や形状が変わると、ロボットと
同時に視覚センサを教示できるので、新たな設備投資が
不要となるなど、ＦＡに適した製造ラインを構成するこ
とができる。

（発明が解決しようとする課題） いま説明した方法は、比較的簡単な形状を持つ対象物体
には有効であるが、複雑なものについては、視覚センサ
が誤認識する可能性が高くなる。

例えば、エンジンブロックなどは、外形形状が複雑なほ
か、大小様々な穴が設けられているｋめ。

従来の様な方法、すなわち簡単な幾何学的特徴量を計算
するだけでは、対象物体の位置や傾きを正確に認識する
ことができななどの課題が発生する。

（課題を解決するための手段） の対象物体に対しても、正確に、かつ短時間でその位置
や傾きを認識するための対象物体の認識方法を提供する
ものとなった （実施例） 本発明につき図面を参照しながら説明する。第１図は、
対象物体の一例である。この対象物体１は、外形形状が
複雑で、また内部に複数の組立用の穴が設けられている
。斜線部は対象物体の表面で２次に説明する画像の２値
化が容易なように。

光沢があるものとする。まず、この対象物をカメラで撮
影して、視覚センサの画像メモリに記憶する。この時視
覚センサでは、処理速度の高速化と画像メモリの節約の
ためカメラから入力された画像信号を２値化した後９画
像メモリに記憶する。

２値化とは、入力信号のある明るさを閾値（２４ｍ化レ
ベル）として、これより暗い部分を黒、明るい部分を白
の２値（黒と白）に変換する処理である、２値化レベル
を最適な値に設定すると２画像メモリの内容は、第２図
のようになる。ここで。

２はカメラで撮影された範囲を表し、この範囲が画像処
理の対象となる。なお、入力画像の処理範囲を限定する
ウィンドウというものが画像処理ではよく使用されるが
、２をこのウィンドウとしてもよい、第１図の対象物体
１の表面は光沢があるので、２値化した画像では、斜線
部が白く、背景や複数の穴が黒くなっている。対象物体
の画像には２合計９個の穴が設けられており、これらの
穴が対象物体の特徴を表している。そこで、これらの穴
を形状的に特徴がある部分（特徴点）の候補として２画
像処理による認識の対象とする。

まず２図、２の画像に対して、対象物に設けられている
９個の穴を抽出し、各式に対して幾何学的性微量を計算
する。穴の抽出方法については。

既に公知となっているパーツ認識方法を利用すればよい
、これは、２値化画像に対して、白画素の領域と黒画素
の領域に分類して、黒画素の領域に囲まれた白画素の領
域を１つのパーツと認識するものである。これを白画素
の領域と黒画素の領域を逆に認識するような方法を用い
れば、各式を独立に認識することができる１次に各式に
対して。

幾何学的性微量を計算する。ここでは各式は円形である
から、各式の重心と面積を計算しておく。

重心はその穴の位置を表し２面積は穴の大きさを表して
いる。さらに、各式の長径と短径も同時に計算させてお
くと、長径と短径の比から円に近いものだけ抽出できる
ため、不要なものをあらかじめ除去しておくことができ
る。ここで、各式に対する重心２面積をＧｉ、Ｓｉとし
、このデータの絹を各式に対する幾何学的性微量Ｆ１と
する。なお。

は各式に対する仮の番号で、１から９の値をとる。

第２図では、１１の穴の幾何学的性微量Ｆ１は２重心Ｇ
ｌ、面積Ｓ１となる。同様に、１２から１９までの各式
についてＦ２からＦ９の幾何学的性微量を割り当てる。

次に、各穴同士の位置関係を計算する。すなわち、穴同
士の距離、および穴同士の方向である。

方向は９例えば画像処理画面の水平方向に対する角度で
計算する。１番目の穴と３番目の穴の距離。

方向をＬ　ｉｊ、　　θｉｊとする０例えば、１番目の
穴１１と９番目の穴１９の位置関係は、第３図のように
距離がＬｉ２．方向が０１９となる。いままで説明した
例では＋　　ｆ＋　　Ｊの範囲は１から９までであるか
ら、その鞘合せは８１　（＝９Ｘ９）通りあるが２例え
ばＬｌｊとＬＪｌは同じとなるので、実際には３６通り
のデータの組（ＬｉＪ＋　　θｉｊ）となる、ここで。

Ｌ　ｉｊ、　　θｉｊの組を位置関係ＰＩＪとする。

さて、対象物体を認識するためには、あらかじめ対象物
体の基準位置を計算しておかなければならない、そこで
２通常は、視覚センサにおいて。

ティーチング、あるいは教示というものを実行する。こ
れはマスターとなる対象物体を一度撮影しておき、この
画像に対して各式を特徴点として。

幾何学的特徴量２伎置関係のデータを計算する。

この時、９個の大全てのデータを計算しておく必要がな
い０例えば、第４図の様に、９個の穴の中から５個の穴
を選んで、これに対するデータのみを計算、記憶してお
く、第４図において、９番目の穴１９を教示番号１番２
１，１番目の穴１１を教示番号２番２２，８番目の穴１
８を教示番号３番２３，３番目の穴１３を教示番号４番
２４，７番目の穴１７を教示番号５番２５とし、残りの
穴１２．１４，１δ、１６を教示対象から除外する。

なお、教示する穴の数は、対象物体に依存し、対象物体
を特定できればよい、従って５に限らない。

また、教示順序に制限がない、にだし、後で述べるよう
に、教示順序を効果的に選ぶと、より認識時間が短縮す
る。ここで、マスターの対象物体の幾何学的特徴量１伎
置関係をそれぞれＦｋ’　　Ｐｋ１″とする。には、マ
スタ一対象物体で教示された各式の番号で、この例では
に、　　Ｉの範囲は１から５の整数となる。

次に実際に認識すべき対象物体を撮影して、全ての穴ζ
こ対する幾何学的性微量と位置関係を計算する。第５図
は、認識すべき対象物体の２値化画像の例である。第３
図で教示したものに対して。

傾いた状態で撮影されている。同様に各式の幾何学的性
微量を計算する。これを先に記述したように、Ｆｉ、Ｐ
ｉｊとする。この例では＋　　Ｌ　　Ｊの範囲は１から
９となる。なお、対象物体が傾いて置かれているために
、穴を認識する順序が第２図とは異なっている。新しく
認識した穴の番号は、第５図の■から■までの記号て示
されている。

次に、マスターの幾何学的性微量２伎置関係と認識すべ
き対象物体の幾何学的性微量２伎置関係を比較し、各式
を順に特定していく、特定していく方法には、いろいろ
あるが、ここでは効果的な特定方法について説明する。

まず、認識すべき対象物体の幾何学的特徴量Ｆの面積Ｓ
ｉについてのみ注目する。すなわち、あらかじめマスタ
一対象物体で得られた幾何学的特徴量Ｆｋ’の面積Ｓ１
′に対して、その誤差範囲を設けておき、この範囲に該
当するＦｉをクラス分けする９　この結果、明らかに大
きさが異なる穴が最初から分類される１例えば、第５図
の穴■は明らかに他の穴と大きさが異なるため、第４図
で教示された教示番号１番２１に分類される９　次に第
５図の穴の、■、■は第４図の教示番号２番２２と３番
２３に該当するため２両方の教示番号に分類される。ま
た、第５図の残りの穴■、■、■、■。

■は、第４図の教示番号４，５番目に該当するため９両
方の教示番号に分類される。これを表に表すと次のよう
になる。

教示番号　　　　分類番号 １　　　　　　　■ ２　　　　　　　■、■、■ ３　　　　　　　■、■、■ ４　　　　　　　■、■、■、■、■ ５　　　　　　　■、■、■、■、■ これで、認識すべき対象物体の全ての穴がマスター物体
で教示されている穴に分類されたことになる。

次は９分類された穴に対して２位置関係のデータＰ１ｊ
を用いながら、各式の位置を特定していく。

まず、教示番号１番に分類された穴は■のみであるから
、この穴は特定されたことになる。

次に、教示番号２番に分類された穴を特定する。

既に特定されている■の穴と教示番号２番に分類された
の、■、■の穴との距離データＬ　１６．　　Ｌ　４６
゜Ｌ６７を教示番号１番２１と２番２２のデータの距離
データＬ　１２’を比較し、最も誤差の小さいものを選
び出す、この場合は、１番の穴が最も近いため、教示番
号２番２２に対応する穴は■と特定される。　これで■
と■の穴が特定された。従って。

教示番号３＠に分類されている穴■は削除される。

次に教示番号３番に分類された穴を特定する。

既に六〇は除外されているので、穴のと■について、教
示番号２番に特定された穴■との距離データＬ　＋４．
　　Ｌ　４７を教示番号２番２２と３番２３の距離デー
タＬ２３′を比較し、最も誤差の小さいものを選び出す
、この例では穴■が選ばれる。これにより、穴■も特定
された。

次は、教示番号４番に分類されている５つの穴から１つ
を特定する。教示番号３番の場合と同様に、穴■、■、
■、■、■と穴■の距離から教示番号３番２３と４番２
４の距離Ｌ３４′に最も近いものを選ぶ、この例では、
穴■と■が該当する。

このように該当する候補が２種類以上ある場合は。

先に該当する方について、さらに教示番号５番目２５に
相当する穴を調べる。この例で、六〇を教示番号４番目
２４と特定した場合は、穴■、■。

■、■と穴■の距離Ｌ　２９．　　Ｌ　３９．　　Ｌ　
５９．　　Ｌ　８９を教示番号４番目２４と５番目２５
の距ｆｉ　Ｌ　４５′と比較する。ところが、いずれの
場合も該当するものが見つからない、従って、教示番号
４番目に特定した穴■が間違っていることがわかる。そ
こで。

先はど教示番号４番目のもう一つの候補となっていた穴
■について同様の比較を行う、そこで、教示番号５番目
に対応する穴は六〇となり、すべての穴の特定が終了す
る。この例で特定された穴は次のようになる。

教示番号　　　　分類番号 １　　　　　　　■ ２　　　　　　　■ ３　　　　　　　■ ４　　　　　　　■ ５　　　　　　　■ なお、候補を特定していく過程において、誤差が最小と
なるものを選んでいったが、実際の対象物体は加工誤差
などにより教示通りの位置関係のデータが得られるとは
限らない、そこで、最初かを複数候補選んでおき、最後
に、全ての誤差の合計が最も小さいパターンを特定して
もよい。

また、対象物体が左右対象の場合は、距離データＬｉＪ
＋　　Ｌｋｉ’だけでは、一義的に特定できない場合が
発生する。この場合は、距離データに加え。

方向θ１ｊ、θｋｌ’を併用するとよい。

以上で認識すべき対象物体の穴の位置が特定できたので
１次に対象物体の位置、傾きを計算する。

まず位置は２例えば教示番号１番２１の幾何学的性微量
Ｆｌ’の中の重心座標Ｇｌ’と教示番号１番に対応する
と特定された穴■の幾何学的性微量Ｆ６の重心座標Ｇ６
を比較する９重心座標は２通常Ｘ座標とＹ座標で与えら
れているので９両重心座標のＸ座標およびＹ座標の差を
計算すれば、穴■が教示位置からＸ方向にΔＸだけ、Ｙ
方向にΔＹだけシフトしていることがわかる。

次に教示番号１番２１と２番２２の位置関係のデータＰ
　１２’の中の傾き０１２′と教示番号１番。

２番に対応すると特定されたそれぞれ穴■と■の傾きθ
４６との差から対象物体の回転方向の変化Δθがわかる
。

従って、撮影された対象物体の穴■を（−ΔＸ。

−ΔＹ）だけ移動させた後、−Δθだけ回転させれば対
象物体が教示位置に戻ることになる。

この様にすれば、いま置かれた対象物がロボットに教え
込まれた教示位置よりどの様に移動しているかがわかり
、この値を用いてロボットの教示データを変更すること
により、ロボットはいま置かれた対象物に対して決めら
れた作業を行うことができるようになる。

以上の説明では、特徴点を対象物体の穴としたが、必ず
しもこれに限定するものではない１例えば、対象物体の
コーナーの位置なども特徴点として設定することができ
る。また、幾何学的性微量は２円形の穴を刻象としたの
で２重心２面積て説明したが、これに限定されない、特
徴点の形状により種々の幾何学的性微量が使用できる９
例えば。

多角形の特徴点であれば、コーナーの数なども有効な幾
何学的性微量となり得る。

（発明の効果） 本発明はカメラで撮影された対象物の位置が教示位置よ
りどの様に変化しているかを正確に認識できる方法を提
供したものである。特に２本発明を用いると、教示され
た位置にあるパターンのみを用いて認識するものである
ため、教示位置以外の画像状態に左右されないことであ
る０例えば。

先の実施例に置いて、第２図の１２．　１５．　１６の
穴の位置が異なっても、全く影響を受けずに正確に認識
できる点である。つまり、対象物の設計変更のため１５
の穴の位置が変更されても改めて教示する必要がない、
また、照明状態の変化などで対象物の周囲形状が変化し
ても、これによる影響がない点である。

また、穴を特定する作業においても、最短の方法で各式
を特定することができるので、無駄の少ない処理が可能
となり、複雑な場合においても高速に認識できる点であ
る。

【図面の簡単な説明】

第１図は２本発明の実施例に使用する対象物体の形状を
示したものである。１は対象物体である。 第２図は、カメラで撮影した対象物体を示したものであ
る。２は画面の境界である。また、１１から１９は視覚
センサーが認識し九対象物体内の特徴点である穴である
。 第３図は、特徴点間の位置関係のデータの説明を行った
ものである。Ｌｉ２．　　θ１９は、２個の穴の距離、
及び方向である。 第４図は、対象物体の教示例を示したものである。２１
から２５は教示された特徴点である。 第５図は、認識しようとする対象物体をカメラで撮影し
た例である。■〜■は、視覚センサーが認識しに特徴点
（穴）である。 第６図は、視覚センサーを用いたロボット作業の模式図
である。４１はロボット、４２はロボットの制御装置、
４３はカメラ、４４はし各センサ−　４５は作業テーブ
ル、４６は対象物体である。 第７図は、従来例を説明するための図で、５１は撮影さ
れている対象物体、５２は教示位置における対象物体で
ある。

Claims (4)

【特許請求の範囲】
1. （１）認識すべき対象物体をカメラなどで撮影し、この
   画像を基に画像処理の手法を用いて対象物体の位置や傾
   きを認識する方法において、対象物体の一部であって形
   状的に特徴がある部分（特徴点）を複数個所あらかじめ
   決めておき、各特徴点の幾何学的特徴量及び各特徴点間
   の位置関係のデータを計算した後、実際に対象物を撮影
   した画像に対して、まず前記各特徴点の幾何学的特徴量
   から各特徴点毎に該当する複数の特徴点候補を抽出した
   後、前記各特徴点間の位置関係に関するデータと前記特
   徴点候補間の位置関係から各特徴点を一義的に決定し、
   しかる後、撮影された対象物体において決定された特徴
   点の位置から対象物の位置や傾きを認識する対象物体の
   認識方法。
2. （２）前記各特徴点の幾何学的特徴量には許容誤差を設
   定しておき、照明条件の変化によって対象物の撮影画像
   がわずかに変化しても各特徴点の候補を抽出し易くする
   ことを特徴とする特許請求範囲第１項の対象物体の認識
   方法。
3. （３）各特徴点間の位置関係に関するデータは、特徴点
   間の距離、傾きからなることを特徴とする特許請求範囲
   第１項の対象物体の認識方法。
4. （４）前記各特徴点間の位置関係に関するデータには許
   容誤差を設定しておき、製造上の誤差などに影響されず
   に各特徴点を一義的に決定することを特徴とする特許請
   求範囲第１項の対象物体の認識方法。