JP2020175467A - 教示装置及び教示方法 - Google Patents

Abstract

【課題】ロボットアームを使用しない教示において、ロボットアームの動作に移行した際の不具合を軽減可能とする。【解決手段】対象部品が存在する領域が映された三次元距離画像を取得する画像取得部２０４と、対象部品に対する手による作業の開始及び終了を検出し、画像取得部２０４により取得された三次元距離画像から当該作業の開始から終了までの当該手又は当該対象部品の軌跡並びに当該対象部品の姿勢を検出する検出部２０５と、検出部２０５により検出された軌跡が、ロボットアーム１０における動作量の許容範囲内であるかを判定する評価部２０７と、評価部２０７により軌跡が許容範囲内であると判定された場合に、当該軌跡及び姿勢に基づく軌道を、ロボットアーム１０に対する軌道として設定する教示部２１０とを備え、検出部２０５は、評価部２０７により軌跡が許容範囲外であると判定された場合に、軌跡及び姿勢の再検出を行う。【選択図】図２

Description

この発明は、ロボットアームの軌道を教示するための教示装置及び教示方法に関する。

従来から、ロボットアームの軌道を教示するための教示装置が知られている。この教示装置において、教示者の負担軽減のため、ロボットアームを用いずに教示者の手で作業を行い、その際の軌跡及び対象部品の姿勢からロボットアームに対する軌跡の教示を行う教示装置が提案されている（例えば特許文献１参照）。

特開２０１５−７１２０６号公報

しかしながら、ロボットアームを用いない教示では、得た軌跡に基づく軌道がロボットアームの動作において適切でない又はロボットアームで再現できない場合がある。よって、従来の教示装置では、ロボットアームの動作に移行した際に不具合が生じる場合があり、改善が求められている。

この発明は、上記のような課題を解決するためになされたもので、ロボットアームを用いない教示において、ロボットアームの動作に移行した際の不具合を軽減可能な教示装置を提供することを目的としている。

この発明に係る教示装置は、対象部品が存在する領域が映された三次元距離画像を取得する画像取得部と、対象部品に対する手による作業の開始及び終了を検出し、画像取得部により取得された三次元距離画像から当該作業の開始から終了までの当該手又は当該対象部品の軌跡並びに当該対象部品の姿勢を検出する検出部と、検出部により検出された軌跡が、ロボットアームにおける動作量の許容範囲内であるかを判定する評価部と、評価部により軌跡が許容範囲内であると判定された場合に、当該軌跡及び姿勢に基づく軌道を、ロボットアームに対する軌道として設定する教示部とを備え、検出部は、評価部により軌跡が許容範囲外であると判定された場合に、軌跡及び姿勢の再検出を行うことを特徴とする。

この発明によれば、上記のように構成したので、ロボットアームを用いない教示において、ロボットアームの動作に移行した際の不具合を軽減可能となる。

実施の形態１に係る教示装置の構成例を示す図である。 実施の形態１における演算装置の構成例を示す図である。 実施の形態１に係る教示装置の動作例を示すフローチャートである。 実施の形態１に係る教示装置の動作例を示す図である。

以下、この発明の実施の形態について図面を参照しながら詳細に説明する。
実施の形態１．
図１は実施の形態１に係る教示装置の構成例を示す図である。
教示装置は、ロボットアーム１０（図４参照）を用いずに教示者の手で作業を行うことで、ロボットアーム１０の軌道を教示するための装置である。教示装置は、図１に示すように、撮像装置１及び演算装置２を備えている。

撮像装置１は、対象となる領域を撮像して三次元距離画像を得る。対象となる領域には、ロボットアーム１０が処理を行う対象部品が存在している。撮像装置１としては、例えば図１に示すように、２台のカメラ１０１，１０２を備え、三次元距離センサ及び画像センサを兼ねたステレオカメラシステムが用いられる。この撮像装置１により得られた三次元距離画像を示すデータは、演算装置２に出力される。

演算装置２は、撮像装置１により得られた三次元距離画像に基づいて、ロボットアーム１０に対して軌道の教示を行う。演算装置２は、図２に示すように、記録部２０１、情報取得部２０２、部品指定部２０３、画像取得部２０４、検出部２０５、補間部２０６、評価部２０７、位置関係指定部２０８、シミュレーション部２０９、教示部２１０及び表示部２１１を備えている。なお、演算装置２は、システムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の処理回路、又はメモリ等に記憶されたプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等により実現される。

記録部２０１は、演算装置２で得られた各種のデータを記録する。記録部２０１は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）又はメモリ等によって構成される。
また図１，２では、記録部２０１が教示装置の内部に設けられた場合を示している。しかしながら、これに限らず、記録部２０１は教示装置の外部に設けられていてもよい。

情報取得部２０２は、ロボットアーム１０の動作量に関するデータを取得する。動作量に関するデータとしては、例えば、ロボットアーム１０の動作の総量に対する最大許容量又は最小許容量、或いは、ロボットアーム１０が有する各関節の回転角の総量に対する最大許容量又は最小許容量等を示すデータのうちの少なくとも１つ以上のデータが挙げられる。

部品指定部２０３は、ロボットアーム１０が処理を行う対象部品を指定する。この際、部品指定部２０３は、教示者による指示に応じて又は自動で、対象部品を指定する。
画像取得部２０４は、撮像装置１により得られた三次元距離画像を取得する。

検出部２０５は、部品指定部２０３により指定された対象部品に対する手による作業の開始及び終了を検出し、画像取得部２０４により取得された三次元距離画像から当該作業の開始から終了までの当該手又は当該対象部品の軌跡並びに当該対象部品の姿勢を検出する。

なお、検出部２０５は、画像取得部２０４により取得された三次元距離画像に基づいて、部品指定部２０３により指定された対象部品に手が近づいた場合に当該手による作業の開始を検出し、当該対象部品から当該手が離れた場合に当該手による作業の終了を検出してもよい。また、検出部２０５は、教示者からの通知（教示装置が有するボタン（不図示）の押下等）に応じて、部品指定部２０３により指定された対象部品に対する手による作業の開始及び終了を検出してもよい。また、検出部２０５は、教示者による手の動きが一定時間留まった場合に、当該手による作業の終了を検出してもよい。

また、検出部２０５は、評価部２０７により軌跡及び姿勢が許容範囲外であると判定された場合に、軌跡及び姿勢の再検出を行う。
また、検出部２０５は、評価部２０７により軌跡及び姿勢が許容範囲内であると判定された場合であっても、教示者により軌道の再教示が指示された場合には、軌跡及び姿勢の再検出を行ってもよい。

補間部２０６は、検出部２０５により検出された軌跡に対して補間処理を行う。この際、補間部２０６は、上記軌跡に対し、例えば直接補間又はＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）処理等により、不明な部分を補間する。

評価部２０７は、情報取得部２０２により取得されたデータに基づいて、検出部２０５により検出された軌跡（補間部２０６により補間が行われた場合には補間後の軌跡）が、ロボットアーム１０における動作量の許容範囲内であるかを判定する。
なお、評価部２０７による評価結果は表示部２１１に表示されてもよい。また、評価部２０７が軌跡及び姿勢が許容範囲外であると判定した場合には、教示者に対して教示の再実施を促す通知（文字又は警告色等による表示等）が表示部２１１に表示されてもよい。

位置関係指定部２０８は、ロボットアーム１０と部品指定部２０３により指定された対象部品との位置関係を指定する。この際、位置関係指定部２０８は、教示者による指示に応じて又は自動で、ロボットアーム１０と対象部品との位置関係を指定する。例えば、位置関係指定部２０８は、ロボットアーム１０の設置位置と対象部品の設置位置を指定する。

シミュレーション部２０９は、位置関係指定部２０８により指定された位置関係に基づいて、検出部２０５により検出された軌跡及び姿勢に従ってロボットアーム１０の動作をシミュレーションする。シミュレーション部２０９は、検出部２０５により軌跡及び姿勢が検出される度に、ロボットアーム１０の動作をシミュレーションしてもよい。また、シミュレーション部２０９は、評価部２０７により軌跡が許容範囲内であると判定された場合にのみ、ロボットアーム１０の動作をシミュレーションしてもよい。シミュレーション部２０９によるシミュレーションを示す画面は、表示部２１１に表示される。

教示部２１０は、評価部２０７により軌跡が許容範囲内であると判定された場合に、当該軌跡及び姿勢に基づく軌道を、ロボットアーム１０に対する軌道として設定する。なお、教示部２１０は、教示者により軌道の再教示が指示された場合には、上記軌跡及び姿勢に基づく軌道は、ロボットアーム１０に対する軌道として設定しないようにしてもよい。

表示部２１１は、各種の画面を表示する。なお図１，２では、表示部２１１が教示装置の内部に設けられた場合を示している。しかしながら、これに限らず、表示部２１１は教示装置の外部に設けられていてもよい。

次に、図１，２に示す教示装置を用いたロボットアーム１０に対する軌道の教示の一例について、図３を参照しながら説明する。以下では、図１，２に示す教示装置を用いて、図３に示すように、教示者が、十字状の部品（部品１１）を、部品１１と略同一形状の孔１２０１を有する部品（部品１２）の当該孔１２０１に嵌め込む動作を教示する場合を示す。
なお、図１，２に示す教示装置では、撮像装置１及び演算装置２のシステム環境は構築済みであるとする。また、部品１１及び部品１２は実際に組立を行う環境と同等の環境に設置されているとする。そして、撮像装置１は、上記環境を撮像し、得られた三次元距離画像を示すデータを演算装置２に常時送信している。また以下では、シミュレーション部２０９は、評価部２０７により軌跡及び姿勢が許容範囲内であると判定された場合にのみ、ロボットアーム１０の動作をシミュレーションするものとする。

また、実際にロボットアーム１０が部品１１を部品１２に嵌め込む際には、画像処理による物体検知と力制御による微調整を行いつつ自動で動作する。力制御による微調整の例としては、嵌め込みを行う際に部品１２の淵に部品１１がぶつかって力を受けたら一旦戻し、前後、左右又は回転等を少しずつ行いながら嵌め込み処理を繰返す処理となる。

ここで、ロボットアーム１０を用いずに教示者の手の動きで軌道の教示を行う場合、得た軌跡に基づく軌道がロボットアーム１０の動作において適切でない又はロボットアーム１０で再現できない場合がある。例えば、ロボットアーム１０が有する関節の各回転軸が直交関係で設計されている場合、把持対象物が僅かに傾いているだけでも、人とはかなり異なる関節の動作が必要になる。すなわち、人にとって好都合な軌道とロボットアーム１０にとって好都合な軌道とは異なり、教示者の手の動きにより得られた軌跡が、必ずしもロボットアーム１０にとって適した軌道にはなり得ない。そのため、教示者の手の動きにより得られた軌跡が、ロボットアーム１０における動作量として許容される範囲を逸脱している場合には、当該軌跡及び姿勢による教示は無効とすべきである。
そこで、実施の形態１に係る教示装置では、教示者の手による軌跡及び対象部品の姿勢を検出した際に、当該軌跡がロボットアーム１０における動作量として許容可能な範囲であるかを評価する。これにより、実施の形態１に係る教示装置では、人にとっては好都合であってもロボットアーム１０にとっては好都合ではない軌跡については、直ちに軌跡及び姿勢の再検出が可能となり、ロボットアーム１０での動作に移行した際に生じる問題点（不具合）を低減できる。

図１，２に示す教示装置を用いたロボットアーム１０に対する軌道の教示例では、図３に示すように、まず、情報取得部２０２は、ロボットアーム１０の動作量に関するデータを取得する（ステップＳＴ１、情報取得ステップ）。動作量に関するデータとしては、例えば、ロボットアーム１０の動作の総量に対する最大許容量又は最小許容量、或いは、ロボットアーム１０が有する各関節の回転角の総量に対する最大許容量又は最小許容量等を示すデータのうちの少なくとも１つ以上のデータが挙げられる。

また、部品指定部２０３は、ロボットアーム１０が処理を行う対象部品を指定する（ステップＳＴ２、部品指定ステップ）。ここでは、部品指定部２０３は、部品１１及び部品１２を指定する。

また、画像取得部２０４は、撮像装置１により得られた三次元距離画像を取得する（ステップＳＴ３、画像取得ステップ）。ここでは、三次元距離画像には部品１１及び部品１２が映っている。

次いで、検出部２０５は、部品指定部２０３により指定された対象部品（ここでは部品１１）に対する手による作業の開始及び終了を検出し、画像取得部２０４により取得された三次元距離画像から当該作業の開始から終了までの当該手又は当該対象部品の軌跡並びに当該対象部品の姿勢を検出する（ステップＳＴ４、検出ステップ）。
すなわち、教示者は、自身の指で部品１１を摘み、部品１１を摘まんだ状態のまま自身の腕をロボットアーム１０のように動かし、部品１１を部品１２に嵌め込む動作を行う。そして、検出部２０５はその際の教示者の手の動きに基づく軌跡及び部品１１の姿勢を検出する。なお、教示者は、検出部２０５による検出を容易とするため、手又は指等に画像処理をし易くするための色を有するマーク等を付したり手袋をはめてもよい。

なお、ロボットアーム１０は、画像処理による物体検知及び力制御による微調整で動作軌道を決めることができる。そのため、検出部２０５による検出は、多少誤差があってもよい。

次いで、補間部２０６は、検出部２０５により検出された軌跡に対して補間処理を行う（ステップＳＴ５、補間ステップ）。この際、補間部２０６は、上記軌跡のうち、手又は部品１１の見えない不明な部分を補間する。

次いで、評価部２０７は、情報取得部２０２により取得されたデータに基づいて、検出部２０５により検出された軌跡（補間部２０６により補間が行われた場合には補間後の軌跡）が、ロボットアーム１０における動作量の許容範囲内であるかを判定する（ステップＳＴ６、評価ステップ）。

この際、評価部２０７は、例えば、ロボットアーム１０の動作の総量と最大許容量との比率を評価値として算出してもよい。また、評価部２０７は、例えば、ロボットアーム１０が有する各関節の回転角の総量と最大許容量との比率を評価値として算出してもよい。これらの評価値により、教示者の手による軌跡に無駄な動きが無いか検知可能となる。
また、評価部２０７は、例えば、作業の開始ポイントから終了ポイントまでの軌道に対して複数の中間ポイントを設定し、ロボットアーム１０の動作の総量と、そのポイント間の直線距離の総量との比率を、評価値として算出してもよい。すなわち、評価部２０７は、教示者の手による軌跡が大きく波打っていないかを検知可能となり、当該軌跡に無駄な動きが無いか検知可能となる。

また、評価部２０７は、例えば、ロボットアーム１０の動作の総量と最小許容量との比率を評価値として算出してもよい。また、評価部２０７は、例えば、ロボットアーム１０が有する各関節の回転角の総量と最小許容量との比率を評価値として算出してもよい。これらの評価値により、教示者の手による軌跡に安全性の問題が無いか検知可能となる。
すなわち、人の手、指及び腕は、ロボットアーム１０及びロボットハンドの厚み及び長さ等とはサイズが異なる。また、手による作業では、狭いところでも器用に動かすことが可能である。そのため、それらの差を考慮し、教示者の手による軌跡が、部品を含む周辺設備に対して一定距離以上離れた安全な軌道であることを評価値とすることができる。

そして、評価部２０７は、例えば、上記のような評価値のうちの１つ以上の評価値を用いて、軌跡が許容範囲内であるかを判定する。

なお、表示部２１１は、評価部２０７による評価結果を表示してもよい。この際、表示部２１１は、評価部２０７により算出された評価値を表示してもよいし、軌跡が許容範囲内であるかを示す情報を表示してもよい。また、表示部２１１は、評価部２０７により軌跡が許容範囲外であると判定された場合に、教示者に対して教示の再実施を促す通知を表示してもよい。

このステップＳＴ６において、評価部２０７が軌跡が許容範囲外であると判定した場合には、シーケンスはステップＳＴ４に戻り、上記の動作を繰り返す。
一方、ステップＳＴ６において、評価部２０７が軌跡が許容範囲内であると判定した場合には、シーケンスはステップＳＴ７へ移行する。

次いで、位置関係指定部２０８は、ロボットアーム１０と対象部品（ここでは部品１１及び部品１２）との位置関係を指定する（ステップＳＴ７、位置関係指定ステップ）。これにより、教示で用いている座標系とロボットアーム１０で用いている制御内座標系との位置関係を明確にして合わせ込む。なお、位置関係指定部２０８が指定するロボットアーム１０と対象部品との位置関係は、２つの座標系で共通の位置関係となればよい。

なお、ロボットアーム１０は、画像処理による物体検知及び力制御による微調整で動作軌道を決めることができる。そのため、位置関係指定部２０８により指定されるロボットアーム１０と対象部品との位置関係は、多少誤差があってもよい。

次いで、シミュレーション部２０９は、位置関係指定部２０８により指定された位置関係に基づいて、検出部２０５により検出された軌跡及び姿勢に従ってロボットアーム１０の動作をシミュレーションする（ステップＳＴ８、シミュレーションステップ）。すなわち、シミュレーション部２０９は、上記軌跡及び姿勢が示す教示者の手による部品１１を掴む動きと部品１１を部品１２に嵌め込む動きを、ロボットアーム１０が有するロボットハンドの動きに変換し、上記軌跡及び姿勢が示す教示者の手による部品１１を部品１２の位置まで移動させる動きを、ロボットアーム１０自体の動きに変換してシミュレーションを実施する。シミュレーション部２０９によるシミュレーションは表示部２１１に表示される。

次いで、教示部２１０は、シミュレーション部２０９によるシミュレーションに対する教示者による確認を受付けたかを判定する（ステップＳＴ９）。すなわち、教示者は、シミュレーションされたロボットアーム１０の動作を目視で確認し、教示軌道が適切であるか（無理なく一通り動くか）を判定する。

このステップＳＴ９において、教示部２１０がシミュレーションに対する確認を受付けられなかった場合には、シーケンスはステップＳＴ４に戻り、上記の動作を繰り返す。
一方、ステップＳＴ９において、教示部２１０は、シミュレーションに対する確認を受付けた場合には、当該シミュレーションで用いた軌跡及び姿勢に基づく軌道を、ロボットアーム１０に対して教示を行う軌道として設定する（ステップＳＴ１０、教示ステップ）。

なお、検出部２０５は軌跡及び姿勢の検出を複数回実施し、教示装置は、検出部２０５により検出され且つ評価部２０７により許容範囲内であると判定された軌跡のうち、動作量が少ない軌跡を抽出する機能（抽出部）を追加で有していてもよい。この場合、教示部２１０は、抽出部により抽出された軌跡及び姿勢に基づく軌道を、ロボットアーム１０に対する軌道として設定する。

なお上記では、ロボットアーム１０が有する関節が回転式であり、ロボットアーム１０の動作の総量として、ロボットアーム１０が有する各関節の回転角の総量を用いてもよいことを示した。しかしながら、これに限らず、ロボットアーム１０が有する関節がスライド式であり、ロボットアーム１０の動作の総量として、ロボットアーム１０が有する各関節のスライド量の総量を用いてもよい。

以上のように、この実施の形態１によれば、教示装置は、対象部品が存在する領域が映された三次元距離画像を取得する画像取得部２０４と、対象部品に対する手による作業の開始及び終了を検出し、画像取得部２０４により取得された三次元距離画像から当該作業の開始から終了までの当該手又は当該対象部品の軌跡並びに当該対象部品の姿勢を検出する検出部２０５と、検出部２０５により検出された軌跡が、ロボットアーム１０における動作量の許容範囲内であるかを判定する評価部２０７と、評価部２０７により軌跡が許容範囲内であると判定された場合に、当該軌跡及び姿勢に基づく軌道を、ロボットアーム１０に対する軌道として設定する教示部２１０とを備え、検出部２０５は、評価部２０７により軌跡が許容範囲外であると判定された場合に、軌跡及び姿勢の再検出を行う。これにより、実施の形態１に係る教示装置は、ロボットアーム１０を使用しない教示において、ロボットアーム１０の動作に移行した際の不具合を軽減可能となる。

なお、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、若しくは実施の形態の任意の構成要素の省略が可能である。

１ 撮像装置
２ 演算装置
１０ ロボットアーム
１１ 部品
１２ 部品
１０１，１０２ カメラ
２０１ 記録部
２０２ 情報取得部
２０３ 部品指定部
２０４ 画像取得部
２０５ 検出部
２０６ 補間部
２０７ 評価部
２０８ 位置関係指定部
２０９ シミュレーション部
２１０ 教示部
２１１ 表示部
１２０１ 孔

Claims (6)

1. 対象部品が存在する領域が映された三次元距離画像を取得する画像取得部と、
   前記対象部品に対する手による作業の開始及び終了を検出し、前記画像取得部により取得された三次元距離画像から当該作業の開始から終了までの当該手又は当該対象部品の軌跡並びに当該対象部品の姿勢を検出する検出部と、
   前記検出部により検出された軌跡が、ロボットアームにおける動作量の許容範囲内であるかを判定する評価部と、
   前記評価部により軌跡が許容範囲内であると判定された場合に、当該軌跡及び姿勢に基づく軌道を、前記ロボットアームに対する軌道として設定する教示部とを備え、
   前記検出部は、前記評価部により軌跡が許容範囲外であると判定された場合に、軌跡及び姿勢の再検出を行う
   ことを特徴とする教示装置。
2. 前記ロボットアーム及び前記対象部品の位置関係を指定する位置関係指定部と、
   前記位置関係指定部により指定された位置関係に基づいて、前記検出部により検出された軌跡及び姿勢に従って前記ロボットアームの動作をシミュレーションするシミュレーション部とを備えた
   ことを特徴とする請求項１記載の教示装置。
3. 前記検出部は、軌跡及び姿勢の検出を複数回実施し、
   前記検出部により検出され且つ前記評価部により許容範囲内であると判定された軌跡のうち、動作量が少ない軌跡を抽出する抽出部を備え、
   前記教示部は、前記抽出部により抽出された軌跡及び姿勢に基づく軌道を、前記ロボットアームに対する軌道として設定する
   ことを特徴とする請求項１又は請求項２記載の教示装置。
4. 前記評価部は、前記検出部により検出された軌跡に基づく前記ロボットアームの動作の総量から、当該軌跡が許容範囲内であるかを判定する
   ことを特徴とする請求項１から請求項３のうちの何れか１項記載の教示装置。
5. 前記評価部は、前記検出部により検出された軌跡に基づく前記ロボットアームが有する各関節の回転角又はスライド量の総量から、当該軌跡が許容範囲内であるかを判定する
   ことを特徴とする請求項１から請求項４のうちの何れか１項記載の教示装置。
6. 対象部品が存在する領域が映された三次元距離画像を取得する画像取得ステップと、
   前記対象部品に対する手による作業の開始及び終了を検出し、前記画像取得ステップにおいて取得した三次元距離画像から当該作業の開始から終了までの当該手又は当該対象部品の軌跡並びに当該対象部品の姿勢を検出する検出ステップと、
   前記検出ステップにおいて検出した軌跡が、ロボットアームにおける動作量の許容範囲内であるかを判定する評価ステップと、
   前記評価ステップにおいて軌跡が許容範囲内であると判定した場合に、当該軌跡及び姿勢に基づく軌道を、前記ロボットアームに対する軌道として設定する教示ステップとを有し、
   前記検出ステップは、前記評価ステップにおいて軌跡が許容範囲外であると判定した場合に、軌跡及び姿勢の再検出を行う
   ことを特徴とする教示方法。

Images