JPWO2021260898A5

JPWO2021260898A5 -

Info

Publication number: JPWO2021260898A5
Application number: JP2022532190A
Authority: JP
Filing date: 2020-06-25
Publication date: 2023-03-02
Anticipated expiration: 2040-06-25

Description

第１の実施の形態に係るロボット教示装置１００の全体構成を説明する概略図である。教示用ポーズ計測部１０１を構成するカメラ２０１～２０４の配置例を示す概略図である。教示用ポーズ計測部１０１を構成するマーカプレート３０１、３０２の構成例を説明する概略図である。教示用ポーズ計測部１０１を構成するマーカプレート３０１、３０２をマイクロピペット４０１と試験管４０２に取り付けた状態を示す斜視図である。マイクロピペット４０１と試験管４０２に取り付けたマーカプレート３０１、３０２と、それらを取り付けるためのアタッチメント４１０、４２０の分解図である。試験管４０２´を把持するロボット１２のハンド６２０の構造を示す斜視図である。試験管４０２´を把持するロボット１２のハンド６２０と座標系との関係を示す図である。第１の実施の形態に係る教示装置１００の動作を説明するフローチャートである。ロボット動作生成部１０３におけるロボット１２のハンドの把持中心の位置の変更の例を示す概略図である。ロボット動作生成部１０３におけるロボット１２の腰軸位置の変更の例を示す概略図である。ロボット動作生成部１０３におけるロボット１２の台座の位置の変更の例を示す概略図である。ロボット動作生成部１０３におけるロボット１２のハンドの把持中心の位置、腰軸位置、台座位置の変更による関節変位の解を探索する処理の流れを示すフローチャートである。ロボット動作生成部１０３におけるロボット１２のハンドの把持中心の動作軌跡を可視化する画面の一例である。作業シナリオ編集部１０５におけるユーザインタフェース画面の一例を示す。第２の実施の形態の動作を説明するフローチャートである。第２の実施の形態における作業シナリオ編集部１０５における表示画面の一例を示す。

［第１の実施の形態］
第１の実施形態に係るロボット教示装置及び作業教示方法について、図面を参照して説明する。図１は、第１の実施の形態に係るロボット教示装置１００の構成図である。

コンピュータ１は、一例として、ＣＰＵ（Central Processing Unit）８００１、ＧＰＵ（Graphics Processing Unit）８００２、ＲＯＭ８００３、ＲＡＭ８００４、ハードディスクドライブ（ＨＤＤ）８００５、表示制御部８００６、入出力制御部８００７、通信制御部８００８、ディスプレイ８００９（表示部）、キーボード８０１０、及びマウス８０１１を備えて構成される。ＣＰＵ８００１は、教示用プログラムの動作の全体を司る中央制御装置である。ＧＰＵ８００２は、一例として、カメラ２０１～２０４から得られた画像に基づく画像処理及び画像認識を実行するための制御装置である。

ロボット動作生成部１０３は、教示用ポーズ記憶部１０２により記憶された右マーカプレート３０１及び左マーカプレート３０２のポーズから、ロボット１２の右ハンド６１０及び左ハンド６２０の把持中心（ツールセンタポイントとも称する）のポーズに変換し、これらの把持中心のポーズを実現するロボット１２の関節変位のシーケンスを逆運動学計算の解として算出する。教示用ポーズが時系列データとして生成されている場合、ロボット動作生成部１０３で生成される動作データも、この教示用ポーズの時系列データと同期したデータとすることができる。両データが同期することにより、教示者１１の動作を時間的にも正確に再現することが可能になる。ロボット動作生成部１０３は、被把持物であるマイクロピペット４０１や試験管４０２の少なくとも１つの基準点の軌道に基づき、関節変位のシーケンスを生成する。

カメラ２０１～２０４の視野２１０は、作業台１０上で互いに重複するように設定され、これにより作業台１０上の作業領域が全てカバーされ、被把持物としての作業用ツール（マイクロピペット４０１）、及び被把持物としての作業対象物（試験管４０２）のポーズが撮像される。作業台１０上には、モーションキャプチャの基準座標系となる作業台座標系２１００（図中、ΣＷ）が設定され、モーションキャプチャにより計測される被把持物（作業用ツール、作業対象物）のポーズは、作業台座標系２１００におけるポーズとして表現される。

図６（ａ）は、ロボット１２の左ハンド６２０により試験管４０２´が把持された状態を示す斜視図である。左ハンド６２０には２本の指６２０ａ、６２０ｂが備えられ、指６２０ａ、６２０ｂは、図示しないスライド駆動機構により左右方向に移動可能に構成されている。これらの指６２０ａ、６２０ｂにより試験管４０２’が挟まれることで、試験管４０２’が左ハンド６２０により把持される。図６（ｂ）、（ｃ）は、それぞれ左ハンド６２０の側面図、上面図であり、左ハンド６２０の指６２０ａ、６２０ｂの把持中心に設定された左把持部座標系６２００（図中、ΣＬＴ）と、左ハンド６２０を取り付けるロボット１２の左手首フランジ６２０ｃの中心に設定された左リンク先端座標系７２００（図中、ΣＬＥ）との位置関係が示されている。なお、図示は省略するが、ロボット１２の右ハンド６１０は、左ハンド６２０と略同様の構造を有するものとすることができ、同様の要領でマイクロピペット４０１’を把持することができる。

次に、ステップＳ８０２で計測したマイクロピペット４０１及び試験管４０２のポーズを、教示用ポーズの時系列データとして教示用ポーズ記憶部１０２に記憶する（ステップＳ８０３）。さらに、マイクロピペット４０１及び試験管４０２のポーズの時系列データから、ロボット１２の把持部（前述の右ハンド６１０、左ハンド６２０）の把持中心のポーズを算出する（ステップＳ８０４）。そして、算出されたロボット１２の把持部のポーズを時系列データとして記憶する（ステップＳ８０５）。

前述の通り、教示用ポーズは作業台１０上に設定された作業台座標系２１００に従うポーズとして表現され得るが、作業台１０´とロボット１２の相対的な位置関係によっては、ロボット１２の可動範囲内で動作ができない場合や、仮に可動範囲内の動作であったとしても作業台１０´上の周囲構造物にロボット１２が干渉する場合がある。このような場合には、教示用ポーズから単純にロボット１２の動作を生成することができない。一方、図９に示したように、把持部の相対的な位置及び姿勢の関係を保ったまま、把持部を平行移動しても教示した作業内容に影響がない場合が多く、ロボット１２の可動範囲内で周囲構造物との干渉が発生しない、すなわち、ロボット１２にとって動作しやすいポーズをとることが可能となる。

作業シナリオ編集部１０５のユーザインタフェース画面は、ロボット単位動作表示部１４０１、ロボット状態表示部１４０２、及び作業シナリオ記述部１４０３を備える。ロボット単位動作表示部１４０１は、ロボット動作記憶部１０４に記憶されたロボット１２の単位動作を選択し、この単位動作を２次元または３次元の動画、あるいはロボット１２の把持部の軌跡として表示する。

ロボット状態表示部１４０２は、ロボット単位動作表示部１４０１に表示されるロボット１２の関節変位、ロボット１２の把持部のポーズ、ロボット１２が搭載される台座の位置などの状態を表示する。作業シナリオ記述部１４０３は、ロボット１２の一連の作業シナリオをフローチャート形式で記述し、ここにロボット動作記憶部１０４に記憶されたロボット１２の単位動作だけでなく、ロボット１２の把持部の動作、ロボット１２が把持する被把持物の操作、単位動作の前後の条件分岐処理、単位動作の繰り返し処理などを記述可能とする。ユーザは、この作業シナリオ記述部１４０３において作業シナリオを確認し、作業の追加、変更、削除などの編集を行うことができる。例えば、図１４に示すように、作業シナリオ記述部１４０３において、単位動作Ｓｃｅｎｅ＃１とＳｃｅｎｅ＃２の間に、新たな単位動作を追加することができる。

図１６は、作業シナリオ編集部１０５においてシーンを挿入する場合の実行画面の例を示している。図１６（ａ）では、シーン１６０１（Ｓｃｅｎｅ＃１）とシーン１６０２（Ｓｃｅｎｅ＃２）との間に新たなシーンを接続しようとしたとき、直前のシーン１６０１の終了時のロボット１２のポーズと、追加するシーンの開始時のポーズが一致していないこと（Inconsistent pose）がメッセージ１６０３として表示されている。図１６（ｂ）では、直前のシーンの終了時のポーズと追加するシーンの開始時のポーズを補間して接続する関節軌道１６０４が自動的に挿入され、このように接続する関節軌道が生成されたことがメッセージ１６０５として表示されている。

１…ロボット教示装置、１０…作業台、１１…教示者、１２…ロボット、２０１、２０２、２０３、２０４…カメラ、２１０…カメラの視野、３０１、３０２…マーカプレート、３１１～３１４、３２１～３２４…反射マーカ、４０１、４０１´…マイクロピペット、４０２、４０２´…試験管、４１０、４２０…アタッチメント、６１０…右ハンド、６２０…左ハンド、６２０ａ、６２０ｂ…左ハンド６２０の指、６２０ｃ…左手首フランジ、２１００…作業台座標系、３１００…右マーカプレート座標系、３２００…左マーカプレート座標系、６２００…左把持部座標系、７２００…左リンク先端座標系、８００１…ＣＰＵ、８００２…ＧＰＵ、８００３…ＲＯＭ、８００４…ＲＡＭ、８００５…ハードディスクドライブ（ＨＤＤ）、８００６…表示制御部、８００７…入出力制御部、８００８…通信制御部、８００９…ディスプレイ（表示部）、８０１０キーボード、８０１１…マウス。

Claims

複数の把持部により被把持物を把持して移動させるロボットに作業を教示するロボット教示装置であって、
教示作業中に教示者により把持される第１被把持物のポーズである教示用ポーズを計測及び／又は算出する教示用ポーズ計測部と、
前記ロボットにより把持される第２被把持物のポーズが、前記教示用ポーズと同一のポーズとなるよう、前記ロボットの関節変位のシーケンスを生成するロボット動作生成部と、
を備え、
前記ロボット動作生成部は、算出された前記ロボットの前記関節変位のシーケンスが前記ロボットの可動範囲を超える場合、又は算出された前記関節変位のシーケンスに従って前記ロボットを駆動させたならば前記ロボットと周囲構造物との間に干渉が発生すると判断される場合、
・前記第２被把持物の位置、
・前記可動範囲を超えること、又は前記干渉が発生することの判断がされたときに、駆動対象ではなかった別の関節の変位、又は
・前記ロボットが搭載される台座の位置
の少なくともいずれかを、前記把持部の相対的な位置及び姿勢の関係を保ったまま、変更する、
ロボット教示装置。
前記教示用ポーズ計測部は、前記第１被把持物の少なくとも１つの基準点の軌道を計測及び／又は算出し、
前記ロボット動作生成部は、前記第１被把持物の前記少なくとも１つの基準点の軌道に基づき前記関節変位のシーケンスを生成する、請求項１に記載のロボット教示装置。
前記教示用ポーズ計測部は、前記教示用ポーズを時系列で計測及び／又は算出し、
前記ロボット動作生成部は、前記教示用ポーズの前記時系列に同期した前記関節変位のシーケンスを生成する、請求項１に記載のロボット教示装置。
前記ロボット動作生成部は、前記第１被把持物を基準にした被把持物座標系と、前記ロボットの把持部を基準にした把持部座標系との位置関係に基づいた座標変換により、前記ロボットの把持部のポーズを計測及び／又は算出する、請求項１に記載のロボット教示装置。
前記ロボット動作生成部は、前記ロボットの把持部を基準にした把持部座標系と、前記ロボットの手首フランジ中心を基準にしたリンク先端座標系との位置関係に基づいた座標変換により、前記教示用ポーズから前記ロボットのリンク先端のポーズを算出する、請求項４に記載のロボット教示装置。
前記ロボット動作生成部は、前記リンク先端のポーズの時系列データから前記ロボットの関節変位を逆運動学計算の解として算出し、前記関節変位のシーケンスを生成する、請求項５に記載のロボット教示装置。
前記ロボット動作生成部は、前記第２被把持物が位置すべき位置を前後、左右、上下の少なくともいずれかの方向に平行移動することにより、前記第２被把持物の位置を変更する、請求項１に記載のロボット教示装置。
前記ロボット動作生成部は、前記別の関節として、前記ロボットの腰部関節の変位を変更する、請求項１に記載のロボット教示装置。
前記ロボット動作生成部は、前記ロボットが搭載される台座の位置を前後、左右、上下のいずれかの方向に平行移動する、請求項１に記載のロボット教示装置。
前記ロボット動作生成部で生成された前記シーケンスに従う前記ロボットの把持部の軌跡を表示する表示部を備える、請求項１に記載のロボット教示装置。
前記表示部は、
前記軌跡のうち、前記ロボットの可動範囲を超えるか、又は周囲構造物との間に干渉が発生する位置を表示するよう構成された、請求項１０に記載のロボット教示装置。
前記ロボット動作生成部は、前記可動範囲に含まれ、且つ前記干渉を回避することができる解決策を表示し、
ユーザにより、前記解決策を選択させるよう構成された、請求項１１に記載のロボット教示装置。
前記ロボット動作生成部で生成されたデータに基づき、少なくとも１個の単位動作からなる一連の作業を作業シナリオとして記述する作業シナリオ編集部と、
前記作業シナリオを順次解釈し、前記ロボットの前記単位動作を実行する作業シナリオ実行部と
を備えた、請求項１に記載のロボット教示装置。
前記作業シナリオ編集部は、
前記単位動作を選択し、これを２次元または３次元の動画、あるいは前記ロボットの把持部の軌跡として表示するロボット単位動作表示部と、
前記ロボット単位動作表示部により表示される前記ロボットの関節変位、前記ロボットの把持部のポーズ、前記ロボットが搭載される台座の位置などを表示するロボット状態表示部と、
を備える、請求項１３に記載のロボット教示装置。
前記作業シナリオ編集部は、
前記一連の作業の中に別の単位動作を追加する場合、接続対象となる単位動作の前記把持部のポーズと、追加される単位動作での前記把持部のポーズが一致しない場合、これらのポーズを連続的に補間して接続する、請求項１４に記載のロボット教示装置。
接続対象となる単位動作と、追加される単位動作との間に前記把持部のポーズに不一致があるか否かを表示する表示部を更に備える、請求項１５に記載のロボット教示装置。
複数の把持部により被把持物を把持して移動させるロボットに作業を教示する作業教示方法であって、
教示作業中に教示者により把持される第１被把持物のポーズである教示用ポーズを計測及び／又は算出する教示用ポーズ計測ステップと、
前記第１被把持物のポーズのデータから、第２被把持物を把持する前記ロボットの把持部のポーズを算出する把持部ポーズ算出ステップと、
前記把持部のポーズのデータから、前記ロボットの関節変位のシーケンスを逆運動学計算の解として算出し、その際に前記ロボットの関節変位が可動範囲を超える場合、又は算出された関節変位のシーケンスに従って前記ロボットを駆動させたならば前記ロボットと周囲構造物との間に干渉が発生する場合、
・前記第２被把持物が取るべきポーズ、
・前記可動範囲を超えること、又は前記干渉が発生することの判断がされたときに、駆動対象ではなかった別の関節の変位、又は
・前記ロボットが搭載される台座の位置
の少なくともいずれかを、前記把持部の相対的な位置及び姿勢の関係を保ったまま、変更することにより、前記ロボットの可動範囲内かつ周囲構造物との干渉が発生しない関節変位の解を探索し、前記ロボットが実行可能な関節変位のシーケンスを生成するロボット動作生成ステップと、
前記関節変位のシーケンスを前記ロボットの一定時間の単位動作として扱い、少なくとも１個の単位動作からなる一連の作業を作業シナリオとして記述し、
前記ロボットの単位動作を選択し、これを前記作業シナリオの中のある単位動作に連続する単位動作として追加・接続する際、前記一連の作業中の単位動作での前記ロボットの把持部のポーズと、追加される単位動作での前記ロボットの把持部のポーズが一致しない場合、これらのポーズを前記ロボットの可動範囲内で周囲構造物との干渉を発生させずに連続的に補間する前記ロボットの関節変位のシーケンスを生成し、この補間動作を前記作業シナリオに挿入する作業シナリオ編集ステップと、
前記作業シナリオを順次解釈して実行する作業シナリオ実行ステップと、
前記作業シナリオに従い前記ロボットの関節軸の駆動制御を行うロボット関節軸制御ステップと、
を備えたロボットの作業教示方法。
被把持物を把持して移動させるロボットに作業を教示するロボット教示装置であって、
教示作業中に教示者により把持される第１被把持物のポーズである教示用ポーズを計測及び／又は算出する教示用ポーズ計測部と、
前記ロボットにより把持される第２被把持物のポーズが、前記教示用ポーズと同一のポーズとなるよう、前記ロボットの関節変位のシーケンスを生成するロボット動作生成部と、
を備え、
前記ロボット動作生成部で生成された前記シーケンスに従う前記ロボットの把持部の軌跡を表示する表示部を備え、
前記表示部は、前記軌跡のうち、前記ロボットの可動範囲を超えるか、又は周囲構造物との間に干渉が発生する位置を表示するよう構成され、
前記ロボット動作生成部は、前記可動範囲に含まれ、且つ前記干渉を回避することができる解決策を表示し、ユーザにより、前記解決策を選択させるよう構成された、
ロボット教示装置。