JPH03280106A - 視覚センサ座標情報とロボット基準座標情報の換算方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は視覚認識機能を有するロボットあるいは移載機
において、視覚センサ測定範囲内の任意の位置の視覚セ
ンサ座標情報をロボット基準座標系に変換する方法に関
するものである。

〔従来の技術〕

視覚座標系からロボット基準座標系への変換方法として
は、例えば特開昭６１−１３１８８７号公報及び特開昭
６０−２５２９１４号公報に示されている方法がある。

視覚認識する対象物の形状が平面的な場合は有効に適用
でき、平行移動量や回転を精度良く変換できる。しかし
、３次元的な形状物で視覚認識する位置が、対象物の上
面と底面のように、視覚センサ光軸方向に対し距離に違
いがある場合、−定の座標変換係数による座標変換では
教示平面以外は座標変換誤差が住じる。

〔発明が解決しようとする問題点〕

視覚センサ光軸に垂直な平面で、視覚センサ光軸上で異
なった距離の平面では、視覚センサ座標系からロボット
基準座標系に変換する倍率及びロボット基準座標系から
見た視覚センサ座標系原点が異なるためそれらからなる
座標変換係数が異なる。そのため３次元的形状物の位置
姿勢等を計測する時、視覚センサ光軸上で距離の異なっ
た部分を用い計測する場合、その部分毎に座標変換係数
が必要であるが、無視したり誤差を含んだまま位置、姿
勢計算をおこなっていた。

本発明の目的は、視覚センサ座標系を角錐の座標系とし
て扱い、視覚センサからの視覚センサ光軸上での距離が
既知である任意の位置における、視覚センサ座標情報と
ロボット基準座標情報の換算を行うことを提供すること
である。

ｃ問題を解決するための手段〕 視覚センサで認識された視覚センサ座標系における物体
の座標値をロボット基準座標値に変換する方法において
、視覚センサ光軸に対し垂直な平面を２つ設定し、該各
平面上に視覚センサ座標系における座標値と、ロボット
基準座標系における座標値とを対応づけることのできる
点を少なくとも２点設定し、該２点のロボット基準座標
系での座標値は、ロボットのハンドを該２点に合わすこ
とによりロボットから得、また該２点の視覚センサ座標
系での座標値は視覚センサで計測することにより得、該
ロボット基準座標値と視覚センサ座標値より、該２千面
におけるロボット基準座標系から見た視覚センサ座標系
の原点位置、ロボット基準座標系から見た視覚センサ座
標系とのなす角及び視覚センサ座標系からロボット基準
座標系への変換倍率を計算し、視覚センサ光軸に垂直な
該教示面の間の面の座標変換係数を、該２面より計算さ
れた値を視覚センサからの視覚センサ光軸上の距離の１
次関数として表すことにより、視覚センサ座標系を角錐
の座標系として扱う。これより、視覚センサからの視覚
センサ光軸上での距離が既知である任意の位置における
、視覚センサ座標情報とロボット基準座標情報の換算を
行う。

教示面が３面以上とする時は、該３面以上のロボット基
準座標系から見た視覚センサ座標系とのなす角、視覚セ
ンサ座標系からロボット基準座標系への変換倍率及びロ
ボット基準座標系の原点から見た視覚センサ座標系の原
点位置より、該値を視覚センサからの視覚センサ光軸上
の距離を変数とする１次関数として表すとき、該１次関
数の係数を最小２乗法により求め、これより視覚センサ
からの視覚センサ光軸上での距離が既知である任意の位
置における、視覚センサ座標情報とロボット基準座標情
報の換算を行う。

〔実施例〕

第１図は、本発明方式を実施するシステムの一例を示す
。基本構成として、視覚センサ１により計測対象ワーク
の位置、姿勢計測を行う。画像処理装置２により計測結
果の演算処理を行い、ロボット制御装置３に位置、姿勢
情報を与えロボット５を動作させる。

第２図がロボット基準座標系６と視覚センサ座標系４０
を横から見た図、第３図は第２図を視覚センサ光軸２０
の真上から見た図で、第４図は、第３図における教示面
一つだけ取りだした図である。第２図、第３図、第４図
を使って、視覚センサ座標系４０からロボット基準座標
系６へ変換する座標変換係数の計算の仕方について説明
する。

最初ロボット座標系６のＺ軸２１と、視覚センサ光軸２
０を平行にする。第２図に示すように視覚センサ１は測
定範囲が視覚センサ１に近づくほど狭（なるにもかかわ
らず、画像処理装置２の縦及び横の画素数が変わらない
為に、画像処理装置座標値からロボット基準座標系座標
値に変換する際の変換倍率及びロボット基準座標系６上
における画像処理装置座標系７，８．９等の原点が、視
覚センサ１からの距離により変わる。視覚センサ１から
の距離に対応した画像処理装置座標系７゜８．９等から
ロボット基準座標系６への座標変換係数を計算する。２
面以上の視覚センサ光軸２０に垂直な平面で、画像処理
装置座標系７，８．９等からロボット基準座標系６から
に変換するための教示を視覚センサ１とロボット５を使
って行う。

それにより教示された面間の座標変換係数を、視覚セン
サ１からの視覚センサ光軸２０上の距離の１次関数とし
、視覚センサ１からの視覚センサ光軸２０上での距離が
既知の任意の位置での、視覚センサ座標系座標値からロ
ボット基準座標系座標値への変換を行う。以下具体的に
計算方法を述べる。説明を簡単にするために、教示を行
う面は２面とし、１面上でロボット基準座標系６と視覚
センサ座標系４０とで対応をとる点は、画像処理装置座
標系Ｘ軸上からロボット基準座標系６への変換倍率と画
像処理装置座標系ｙ軸上からロボット基準座標系６への
変換倍率が同じであれば以降で述べる式中の値を等しい
として扱い２点で良いが、画像処理装置座標系Ｘ軸上か
らロボット基準座標系６への変換倍率と画像処理装置座
標系ｙ軸上からロボット基準座標系６への変換倍率の違
いを考慮し、３点とする。視覚センサ１とロボット５を
使い教示面３１上の画像処理装置座標系７のｘｌｙ、座
標上でロボット基準座標系６と画像処理装置座標系７と
の対応をとる。その結果第４図に示す通り（Ｘ＋＋、　
　ｙ＋＋）と（Ｘ、、Ｙｌ　）、（ｘ１２＋ｙ＋ｚ）と
（ｘ２．　ｙ２）、（Ｘ１３．ｙＩ３）と（Ｘ。

Ｙ３）とをおのおの対応させる。これら２つの座標値の
関係を表すと Ｘ　＋−Ｋ　ｘ　１　＊　ｘ　１１　＊　ｃ　ｏ　ｓθ
１−Ｋｙ、＊ｙｌｌ＊ｓｉｎθ、十Ｘ、。

Ｙ１＝Ｋｘ、＊ｘ、、＊ｓ　ｉｎθ１＋ＫｙＩ＊ｙＩｌ
＊ｃｏｓθ、＋Ｙ、。

ｆｌ） Ｘ２＝Ｋ　ｘ、＊　ｘ、２＊　ｃ　ｏ　ｓ　θ＋　　　
Ｋｙｌ＊Ｙ＋ｚ＊ｓｉｎ　θＩ　　＋Ｘｌ０ Ｙ２＝Ｋ　ｘ、＊　ｘ、２＊　ｓ　　ｉ　　ｎ　θＩ＋
Ｋｙ１＊ｙ１２＊ｃｏｓθ１　＋Ｙ、。

（２） Ｘ３＝Ｋ　ｘ、＊ｘ、３＊　ｃ　ｏ　ｓ　θ＋　　　Ｋ
Ｖ＋＊ｙ＋＋＊ｓｉｎθＩ　　＋Ｘｌ０ Ｙ、−Ｋ　ｘ、＊　ｘ、３＊　ｓ　　ｉ　ｎθ１＋Ｋｙ
１＊ｙＩ３＊ｃｏｓ　　θ、　　＋ｙ＋。

（３） となる。

これら（１）〜（３）式を行列で表現するとただし ＫＸ、：画像処理装置座標系Ｘ軸上からロボット基準座
標系への変換倍率 二画像処理装置座標系ｙ軸上からロボット基準座標系へ
の変換倍率 ：ロボット基準座標系から見た画像処理装置座標系の原
点位置 二ロボ・７ト基準座標系から見た画像処理装置座標系の
原点位置 θ１　：ロボット基準座標系から見た画像処理装置座標
系とのなす角 ｙＩ Ｘｌ。

Ｙｌ。

である。

これより、Ｋｘ、＊ｃｏｓθ＋、Ｋｙ＋）ｋｓｉｎθＫ
ｘ、＊ｓｉｎ　　θ　＋、Ｋｙ、＊ｃｏｓ　　θ　＋、
　　Ｘ　　＋ｏ、　　Ｙ　　＋ｏ　を解く。それらの値
より教示面３１上の画像処理装置座標系７上において視
覚センサ１により（ｘ、ｙ）と計測された点は、ロボッ
ト基準座標系座椋値での（Ｘ、　Ｙ）は となる。

同様に視覚センサ座標系４０の教示面３３上の画像処理
座標系９のｘｎｙｎ座標上に対して、視覚センサ１によ
り　（ｘ、ｙ）と計測された点は、ロボット基準座標系
６での（Ｘ、Ｙ）はである。これにより教示面３１上及
び教示面３３上の視覚センサ座標系４０からロボット基
準座標系６への変換を行う。

更に、教示面３１と教示面３３間での視覚センサ座標系
４０からロボット基準座標系６への変換法について述べ
る。教示面３１のロボット基準座標系６でのＺ軸２１で
の座標値を２１、教示面３３の座標値を２７とする。視
覚センサ光軸２０とロボット基準座標系６のＺ軸２１が
平行であるため、Ｚは視覚センサ１からの視覚センサ光
軸２０上の距離に対応しており、各平面での座標変換係
数はＺの１次関数として表せ、 Ｋｘｌ　＊ｃｏｓθ＋　＝ａ、＊Ｚ１　＋ｂｌＫｘ、１
＊ｃｏｓθ、＝２．＊ｚ、ｌ十す。

Ｋ３’＋＊ｓｉｎθ１　＝ａ２　＊Ｚ２　＋ｂ２Ｋ）’
ｎ’ｋｓｉｎθｎ　　＝　８２　　’ｌ’　Ｚ、１　　
＋　ｂ２Ｋｘ、＊ｓｉｎθｒ　　＝ａ３　　＊Ｚｌ　　
＋ｂ３Ｋｘ、＊ｓｉｎθｎ　　＝ａ３　＊Ｚｎ　　＋ｂ
３Ｋｙ、　　＊ＣＯ３θｌ　＝　ａ４　　＊　Ｚｌ　　
＋　ｂ４Ｋｙ、ｌ　＊ＣＯ５θｎ　　＝　ａ４　　＊Ｚ
ｎ　　”　ｂ４Ｘ＋ｏ＝ａ５　＊　Ｚ、　　＋　ｂ５ Ｘｎｏ””　ａ　ｓ　　＊　Ｚｎ　　＋　ｂ　ｓＹ＋ｏ
＝ａ６　’Ｉ’Ｚ１　　＋　ｂ６Ｙｎｏ＝ａｂ　　＊Ｚ
ｌｌ　＋ｂ。

（７） となる。これらの方程式により、ａ、−ｘａ６．ｂ、〜
ｂ６について解き、教示面３１から教示面３３の間の変
換係数を、視覚センサ１からの視覚センサ光軸２０上の
距離に対応するＺの１次関数として算出する。計測すべ
き位置のロボット基準座標系６でのＺ軸２１の座標値を
Ｚとし、視覚センサ座標系４０での計測値を（ｘ、ｙ）
とするとロボット基準座標系６での座標値（Ｘ、Ｙ）は
、（８） となる。

この座標変換法を使うことにより、視覚センサ座標系４
０を、角錐の座標系として扱うことになる。

ある面での視覚センサ座標系４０とロボット基準座標系
６の対応を取るときの点が４点以上のときは３点ずつ組
とし、それから計算された（４）式の係数の平均を取り
、その面での換算係数を計測誤差を減らし求める。

また、測定面が３面以上のときは、式（７）と同様に、 ＫＸ、　　＊ｃｏｓ　　θ＋　　＝ａＩ　＊Ｚ、　　十
す。

ＫＸ２＊ＣＯ５θ２’＝ａｌ　＊Ｚ２　＋ｂ。

Ｋｘ、ｌ　＊ｃｏｓ　θｎ　　＝ａＩ＊Ｚ　Ｂ　　＋　
ｌ）　Ｈ）（ｙ、＊ｓｉｎθ１−ａ２　＊Ｚ１　＋ｂ２
Ｋｙｚ＊ｓｉｎθ２−ａ２　＊Ｚ２　＋ｂ２Ｋｙｎ＊ｓ
ｉｎθ、 ａ２ ＊Ｚ、ｌ ＋ｂ２ Ｋｘ、＊ｓｉｎθＩ　＝ａ、　＊Ｚｌ　＋ｂ３Ｋｘ２　
＊Ｓ　ｉ　ｎθ２　　＝ａ３　　＊Ｚ２　　＋ｂ３Ｋｘ
ｌ。

＊ｓｉｎθ７−ａ３ ＊Ｚ□ ＋ｂ３ Ｋｙ＋＊Ｃｏ　ｓ　θＩ　　＝ａ、　　＊Ｚｌ　　＋ｂ
４）（ｙ２　＊ｃｏｓ　θ２　　＝＝ａ４　＊ＺＺ　　
＋ｂ４Ｋ　ｙ。

＊ＣＯＳ　θ□　＝ａ。

＊Ｚｎ ＋ｂ４ Ｘ　＋ｏ−ａ　５　　＊　Ｚ　１　　＋　ｂ　５Ｘｚｏ
＝ａｓ　＊Ｚｚ　＋ｂｓ ＸＩＩＯ＝ａ５ ＊Ｚ。

＋ｂ５ ＹＩ０＝ａ６　＊Ｚ１　＋ｂ６ Ｙｚｏ＝ａｂ　　＊Ｚｚ　　＋１）６ Ｙ、ｏ＝ａ　ｂ　＊Ｚｎ　＋ｂｂ （９） と表現する。これより、視覚センサ１から視覚センサ光
軸２０上の距離に対応するＺを変数とした１次関数を計
算するために、係数であるａ１〜ａ６及びす、〜ｂ６の
値を、最小２乗法にて（８）式を計算する。

視覚センサ１とロボット５を使い、どのようにして対応
をとるかについて説明する。第１図に示すような基準マ
ーク１（１−１，１１−１，１２１を、視覚センサ光軸
２０に対し垂直な教示面３１の視覚センサ測定範囲内に
置く。その基準マーク１０−１の重心位置１７にロボッ
ト制御装置３を操作してロボット５のハンドを手動送り
等によりロボットハンドの手先を合わすことにより、そ
の位置でのロボットサーボモータのエンコーダ値をもと
にして計算されたロボ・ノド５のハンドのロボット基準
座標値を求め画像処理装置２に送り（１）式の（ｘ、、
Ｙｌ　）を算出する。

その後視覚センサ１によりその基準マーク１０１の画像
処理装置座標系７の重心の座標値を測定し、（１）弐の
（ＸＩＩ＋ｙｚ）を算出する。同様にして同じ教示面３
１での他基準マーク１１−１゜１２−１の位置（Ｘ２　
、　Ｙｚ　）　、　　（Ｘ３　、　Ｙ３　）を算出し画
像処理装置２に送り、視覚センサ１により（Ｘ＋ｚ、３
’＋ｚ）　、　　（Ｘ＋：＋、　　ｙ＋、＋）を算出し
く４）式を解き（５）弐を算出する。

、同様にして（６）式のｎを２とし、教示面３３での変
換係数を求める。

この方法により計算された座標変換係数を利用し応用し
た例を述べる。作業内容は、視覚センサ測定範囲内の任
意の位置に置かれた第５図に示すようなワーク５０の把
持部１３をロボット５のハンドに対し一定方向に把持さ
せ、ワーク５０の外周部分を加工するものである。加工
部１４の部分はほぼ円であり把持部１３の部分の中心は
加工部１４の部分の円の中心に対し偏心しているため、
第６図に示すようにワーク方向を求める２箇所の部分と
して把持部１３と加工部１４との円の重心１５．１６よ
り、ワーク５０方向を計測する。把持部重心１５を視覚
センサ１で求めた視覚センサ座標系４０での座標値を、
ロボット基準座標系６に変換する係数は、把持部重心１
５の部分を含む平面で教示された値から求めたものを使
い、加工部重心１６の部分の変換は、加工部重心１６の
部分を含む平面で教示された値から求めたものを使う。

加工部重心１６を含む平面を教示面３１とし、把持部重
心１５を含む平面を教示面３３とした。

加工部重心１６を含む平面から約１８５（ｈａの高さか
ら視覚センサ１で測定し、画像処理装置１画素当りの分
解能を約０．６鶴とした場合で、ロボット制御装置３側
から画像処理装置２に送られた値と、視覚センサ１より
求めた値より（４）弐を使い計算した結果教示面３１で
の座標変換係数は、教示面３３での座標変換係数は、 という値が得られた。第５図に示すようなワーク高さ約
２４０鶴の物を、教示面３３だけの変換係数を使い、実
際にはワークの方向を変えず、視覚センサ１の測定範囲
中央より少しずつずらしていった場合のワーク５０の方
向測定結果は、であった。教示面３１の座標変換係数、
教示面３３の座標変換係数両方を使った場合の、ワーク
５０の方向測定結果は、 となり、精度良くワーク５０の方向を求めることが可能
となった。

更に第５図に示すような形のワークで、ワーク高さが異
なっている他の品種に対しても、予めワーク高さを画像
処理装置２に入力しておくことで、自動的にロボット基
準座標系６上でのＺの値を計算させ、（７）式を使う事
により精度良くワーク方向を計測することが可能である
。

〔発明の効果〕

従来の方法だと把持部重心１５と加工部重心１６の部分
の高さがかなり違うため、実際には同じ方向でも視覚セ
ンサ測定位置により、違った方向に見えてしまう。その
様子を第７図に示す。（ａｌと（ｂ）とではワークは同
じ方向であるにもかかわらず、視覚センサ測定位置の違
いにより異なった値となる。ワークの方向を違えてつか
みそのまま加工を行うと加工部１４の加工精度が悪くな
ってしまう。

本発明により、３次元的な物に対しても精度良く視覚セ
ンサ座標系からロボット基準座標系への変換が可能とな
り、視覚センサの計測結果を精度良くロボット基準座標
系に変換させることができ、より高精度な動作をロボッ
トにさせることが可能となる。

【図面の簡単な説明】

第１図はこの発明の実施例を示す視覚センサとロボット
の構成図、第２図は視覚センサ座標系を示す図、第３図
は視覚センサ光軸上から見た教示面ごとの画像処理装置
座標系とロボット基準座標系を示す図、第４図は視覚セ
ンサ座標系からロボット基準座標系への変換係数をもと
める方法を示した図、第５図は実施例に用いたワークを
示す図、第６図はワーク方向を示す図、第７図は視覚セ
ンサ計測誤差を示す図である。 １・・・視覚センサ、２・・・画像処理装置、３・・・
ロボット制御装置、５・・・ロボット、６・・・ロボッ
ト基準座標系、７・・・教示面３１上の画像処理装置座
標系、９・・・教示面３３上の画像処理装置座標系、１
０１・・・教示面３１上の基準マーク、１１−１・・・
教示面３１上の基準マーク、１２−１・・・教示面３１
上の基準マーク、１０−２・・・教示面３３上の基準マ
ーク、１１−２・・・教示面３３上の基準マーク、１２
２・・・教示面３３上の基準マーク、１３・・・把持部
、１４・・・加工部、２０・・・視覚センサ光軸、２１
・・・ロボットＺ座標軸、３１，３２．３３・・・教示
面、４０・・・視覚センサ座標系、５０・・・ワーク第 １ 図 ２ 第 区 第 図

Claims (1)

【特許請求の範囲】
1. 　ロボット基準座標値と視覚センサ座標値より平面にお
   けるロボット基準座標系から見た視覚センサ座標系の原
   点位置、ロボット基準座標系から見た視覚センサ座標系
   とのなす角及び視覚センサ座標系からロボット基準座標
   系への変換倍率を計算し、視覚センサ光軸に垂直な面の
   座標変換係数を計算する方法において、視覚センサ光軸
   に対し垂直な教示面を少なくとも２面設定し、２面より
   計算されたロボット基準座標系から見た視覚センサ座標
   系の原点位置、ロボット基準座標系から見た視覚センサ
   座標系とのなす角及び視覚センサ座標系から見たロボッ
   ト基準座標系への変換倍率を視覚センサからの視覚セン
   サ光軸上の距離の１次関数として表すことにより、視覚
   センサ座標系を角錐の座標系として扱い、視覚センサか
   らの視覚センサ光軸上での距離が既知である任意の位置
   における、視覚センサ座標情報とロボット基準座標情報
   の換算を行うことを特徴とする、視覚センサ座標情報と
   ロボット基準座標情報の換算方式。