JP4835616B2

JP4835616B2 - 動作教示システム及び動作教示方法

Info

Publication number: JP4835616B2
Application number: JP2008058957A
Authority: JP
Inventors: 史倫齋藤
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2008-03-10
Filing date: 2008-03-10
Publication date: 2011-12-14
Anticipated expiration: 2028-03-10
Also published as: KR20100084663A; US8355816B2; EP2263837A1; US20110010009A1; WO2009113339A1; JP2009214212A; EP2263837B1; CN101970184A; CN101970184B; KR101193125B1; EP2263837A4

Description

本発明は、ワークの把持を行うロボットに対する動作教示を行うための動作教示システム及び動作教示方法に関する。

ロボットにワークの形状モデルを予め与えておき、作業空間中に存在するワークを自律的に認識させ、ワーク把持をロボットに自動的に実行させるための手法が研究開発されている（例えば特許文献４を参照）。しかしながら、このようなモデルベースの手法は、ワーク種別が限られた作業空間では実現可能であるが、例えば日常生活環境のような条件が複雑な実環境に適用することは、実質的に困難である。

一方、オペレータがロボットに対して動作を教示する技術が知られている（例えば、特許文献１〜３を参照）。特許文献１〜３は、オペレータがグラフィック表示機能を有する動作教示装置を使用してロボットに動作教示を行なう技術を開示している。

特許文献１に開示された発明は、本願の発明者によってなされたものである。当該発明は、２次元ディスプレイを有する動作教示装置を使用して、ロボットの３次元空間での動作を教示する動作教示装置に関する。当該動作教示装置は、形状及び作業空間内での３次元位置が未知であるワークの把持をロボットに行わせる際に適用可能なものである。当該動作教示装置を用いたロボットへの教示は以下のようにして行なわれる。

まず、ワークを含むロボットの作業空間が撮影された撮影画像を２次元ディスプレイに表示する。オペレータは、撮影画像が表示された２次元ディスプレイを見ながら、マウスやタッチパネル等の入力装置によって、ＣＡＤ（Computer Aided Design）で使用されるパラメトリックモデリング手法等を駆使して、ディスプレイの表示面上に幾何要素を作図する。具体的には、ワークの形状をモデル化するために、オペレータは、モデルの位置、姿勢及び形状パラメータをワークの像と合致するように画面上で調整し、ワークのモデルの重心位置の座標系を基準として、ワークを把持しやすいように必要に応じて並進及び回転を加えた座標系を設定する。このようにして設定された座標系に、ロボットアーム先端に設けられたワーク把持用エンドエフェクタの座標系（以下、ツール座標系と呼ぶ）を適合させることにより、ロボットにワークの把持を行わせることが可能となる。なお、オペレータによって描画された点や幾何要素の３次元位置は、レーザレンジファインダ、ステレオカメラ等の距離計測装置によって計測される。

特許文献２は、ロボットアーム先端に設けられたエンドエフェクタ形状の形状モデルを記憶する記憶装置と、エンドエフェクタ形状を表示するディスプレイとを備える動作教示装置を開示している。当該動作教示装置は、（１）エンドエフェクタ形状が表示されたディスプレイ画面上で、オペレータによるエンドエフェクタ上の点の指定を受け付け、（２）指定された点の３次元位置を計算し、（３）オペレータによる、指定された点を中心とする姿勢変更の入力を受け付け、（４）指定された点の３次元位置、及び受け付けた姿勢変更を元に、エンドエフェクタの姿勢を調節する。つまり、特許文献２の動作教示装置は、位置及び形状が既知であるエンドエフェクタの姿勢変更をオペレータが入力する作業を、グラフィック表示により支援するものである。しかしながら、特許文献２の動作教示装置は、形状及び３次元位置が未知であるワークの操作をロボットに教示するものではない。

特許文献３は、グラフィックディプレイを用いて、形状及び３次元位置が既知であるワークの作業点をロボットに教示するための動作教示装置を開示している。例えば車のボディーをワークとする場合、当該動作教示装置は、ボディー上の溶接作業点の教示のために使用される。特許文献３の動作教示装置は、グラフィックディスプレイのほか、記憶装置を有する。記憶装置には、多面体近似されたワークの形状データが、ロボットとワークの共通座標系であるワールド座標系に基づいて格納される。当該動作教示装置は、記憶装置にアクセスし、グラフィックディスプレイにワーク形状を２次元表示し、表示画面上でワークの作業面及び作業点のオペレータによる指定を受け付ける。そして、当該動作教示装置は、グラフィックディプレイに、ロボット姿勢を重ねて表示し、オペレータによるロボット姿勢の修正を受け付けた後、ロボット姿勢を確定し、確定した姿勢をロボット座標系に変換してロボットに教示する。
特開２００３−２５６０２５号公報特開２００５−１１１６１８号公報特開平１−２８３６０３号公報特開２００４−３３３４２２号公報

上述したように、形状及び３次元位置が未知であるワークに対する操作をロボットに教示するための特許文献１に開示された動作教示装置においては、オペレータが２次元ディスプレイを見ながらＣＡＤで使用される３次元的な作図作業を行なうことによって、ロボットに対する教示が行われる。しかしながら、ＣＡＤで使用される３次元的な作図作業を行なうためにはオペレータの熟練が必要であり、ＣＡＤによる作図技術を有してない一般利用者にとって容易とは言い難い。

本発明は、上述した知見に基づいてなされたものであり、オペレータによる直感的で簡単な入力操作によって、形状及び３次元位置が未知であるワークの把持動作をロボットに教示することが可能な動作教示システム及び動作教示方法の提供を目的とする。

本発明の第１の態様は、ワークを把持するためのハンドを含むロボットアームを有するロボットに対して把持動作を教示するための動作教示システムである。当該動作教示システムは、撮像装置と、対象物までの距離を計測する距離計測装置と、表示装置と、オペレータによる入力操作を受け付ける入力装置と、複数の素形状モデルのそれぞれについて前記ハンドが適用可能な少なくとも１つの把持パターンが記述されたデータベースとを備える。さらに、当該動作教示システムは、撮影画像表示手段、認識領域指定手段、素形状モデル指定手段、フィッティング手段、及び把持パターン選択手段を備える。

前記撮影画像表示手段は、前記撮像装置によって取得された前記ワークを含む作業空間の撮影画像を前記表示装置に表示させる。

前記認識領域指定手段は、前記ハンドに把持させる前記ワーク中の部位を指定するための操作を、前記表示装置に表示された前記ワークの像上において前記部位を含む認識領域を前記入力装置を用いて２次元的に指定する操作として受け付ける。

前記素形状モデル指定手段は、前記部位に当てはめる素形状モデルを前記複数の素形状モデルの中から指定する操作を、前記入力装置を介して受け付ける。

前記フィッティング手段は、前記オペレータにより指定された素形状モデルを、前記距離計測装置を用いて取得された前記認識領域に相当する空間の３次元位置データにフィッティングさせる。

前記把持パターン選択手段は、前記オペレータにより指定された素形状モデル及び前記フィッティング手段によるフィッティング結果に基づいて前記データベースを検索することにより、前記ワークの把持に適用可能な少なくとも１つの把持パターンを選択する。

また、本発明の第２の態様は、ワークを把持するためのハンドを含むロボットアームを有するロボットに対して把持動作を教示するための動作教示方法であり、以下のステップ（ａ）〜（ｅ）を含む。
前記ワークを含む作業空間の撮影画像を表示装置に表示させるステップ（ａ）、
前記ハンドに把持させる前記ワーク中の部位を指定するための操作を、前記表示装置に表示された前記ワークの像上において前記部位を含む認識領域を２次元的に指定する操作として受け付けるステップ（ｂ）、
前記部位に当てはめる素形状モデルを複数の素形状モデルの中から指定する操作を受け付けるステップ（ｃ）、
前記ステップ（ｃ）にて指定された素形状モデルを、距離計測装置を用いて取得された前記認識領域に相当する空間の３次元位置データにフィッティングさせるステップ（ｄ）、及び
前記複数の素形状モデルのそれぞれについて前記ハンドが適用可能な少なくとも１つの把持パターンが記述されたデータベースを、前記ステップ（ｃ）にて指定された素形状モデル及び前記ステップ（ｄ）おけるフィッティング結果に基づいて検索することにより、前記ワークの把持に適用可能な少なくとも１つの把持パターンを選択するステップ（ｅ）。

上述した本発明の第１及び第２の態様によれば、オペレータは、表示装置上に表示された撮影画像において認識領域を２次元的に指定する操作と、認識領域に当てはめたい素形状モデルを選択する操作によって、直感的にワークの把持部位を特定することができる。また、本発明の第１及び第２の態様は、素形状モデルとこれに適用可能な把持パターンとを関連付けたデータベースを使用するため、適切な把持パターンの候補をオペレータに提示することができる。このため、オペレータは、ロボットハンド全体の位置及び姿勢並びにロボットハンドが有する指の配置等を逐一指定することなく、把持方法をロボットに教示することができる。

なお、上述した本発明の第１の態様にかかる動作教示システムは、把持パターン表示手段及び把持パターン決定手段をさらに備えてもよい。前記把持パターン表示手段は、前記把持パターン選択手段によって選択された前記少なくとも１つの把持パターンを前記表示装置に表示させる。また、前記把持パターン決定手段は、前記把持パターン表示手段によって生成される表示内容に基づいて前記ロボットに行わせる最終把持パターンを選択するための前記オペレータによる操作を受け付けると共に、前記最終把持パターンに残された自由度を調節する前記オペレータの操作を受け付ける。

加えて、前記把持パターン表示手段は、前記少なくとも１つの把持パターンを表す前記ハンドのモデル画像を前記撮影画像に重ねて表示してもよい。また、前記把持パターン決定手段は、前記オペレータによる前記自由度の調節操作を、前記表示装置の表示画面内における前記モデル画像のドラッグ操作により受け付け、前記ドラッグ操作後の前記モデル画像の前記表示画面内における位置及び姿勢に基づいて前記自由度の調整値を決定してもよい。このような構成により、オペレータは、簡単なドラッグ操作によって適切な把持パターンを決定し、ロボットに教示することができる。

また、上述した本発明の第１の態様において、前記把持パターン選択手段は、さらに、前記距離計測装置を用いて取得された前記認識領域の周辺の３次元位置データを用いて、前記少なくとも１つの把持パターンによる前記ロボットアームの軌道と前記ワーク周囲の障害物との干渉を判定し、当該判定結果に基づいて把持パターンの絞込みを行ってもよい。これにより、ワークの周囲の障害物との干渉を回避したより適切な把持方法を得ることができる。

本発明により、オペレータによる直感的で簡単な入力操作によって、形状及び３次元位置が未知であるワークの把持動作をロボットに教示することが可能な動作教示システム及び動作教示方法を提供できる。

以下では、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。各図面において、同一要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。

<発明の実施の形態１>
図１は、本実施の形態にかかる動作教示システムの全体構成を示すブロック図である。本実施の形態の動作教示システムは、ワーク９０の把持動作を実行するロボット１、及びロボット１に対して把持動作の教示を行うための教示端末２を含む。以下、ロボット１及び教示端末２の構成について説明する。

図１に示すロボット１は、関節で互いに接続された複数のリンクにより構成された多関節のロボットアーム１０を有する。ロボットアーム１０の先端部分には、ワーク９０を把持するためのハンド１１が設けられている。

撮像装置１２は、ロボット１及びワーク９０が置かれた作業空間を撮影して撮影画像を取得する。なお、後述するように、撮像装置１２により取得された撮影画像は、教示端末２の表示画面に出力され、オペレータに提示される。このため、例えば、撮像装置１２は、可視光領域に感度を有するＣＣＤ（Charge Coupled Device）イメージセンサ又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の撮像素子を備えたカメラとすればよい。

距離計測装置１３は、作業空間中の対象物までの距離を計測する。距離計測装置１３の計測原理は特に限定されるものではなく、公知の様々な技術を適用可能である。例えば、距離計測装置１３として、レーザレンジファインダ、光投影ステレオ距離計測装置、又はステレオカメラ等を使用すればよい。なお、距離計測装置１３がステレオカメラである場合のように、距離計測装置１３による撮像か可能な場合は、撮像装置１２及び距離計測装置１３は、兼用の１台の装置として構成してもよい。

通信部１４は、撮像装置１２により取得された撮影画像、その他の動作教示に関する情報を教示端末２側の通信部２０との間で伝送する。通信部１４の通信方式には、公知の無線通信方式又は有線通信方式を適用すればよい。また、通信部１４と通信部２０の間は、直接的に接続されている必要はなく、ＬＡＮ（Local Area Network）、インターネット、携帯電話通信網などを介して接続されてもよい。

データベース１５は、複数の素形状モデルと複数の把持パターンとを関連付けて記録したデータベースである。ここで、把持パターンとは、ハンド１１が有する指の位置及び姿勢を含む動作パターンを記述したデータである。また、素形状モデルとは、例えば、円柱、四角柱、円筒等の３次元幾何要素のモデルである。後述するように、素形状モデルは、ワーク９０の把持部位の形状候補として、教示端末２を使用するオペレータに提示される。例えば、ある１つの素形状モデルを指定してデータベース１５を検索することによって、これに適用可能な少なくとも１つの把持パターンを知ることができる。逆に、ある１つの把持パターンを指定してデータベース１５を検索することによって、当該把持パターンを適用可能な少なくとも１つの素形状モデルを知ることができる。データベース１５のデータ構成例、動作パターン及び素形状モデルの具体例については後述する。

制御部１６は、ロボットアーム１０及びハンド１１の動作制御のほか、教示端末２と協調してロボット１への把持動作の教示に関する制御、データ処理を実行する。具体的には、制御部１６は、撮像装置１２の撮影制御、距離計測装置１３の計測制御、通信部１４を用いたデータ送受信、データベース１５へのアクセス、距離計測装置１３により計測された３次元の点群データと素形状モデルとのフィッティング処理等を実行する。

制御部１６は、１又は複数のＣＰＵ（Central Processing Unit）、ＣＰＵで実行される制御プログラム、演算データ等の一時記憶領域として使用されるＲＡＭ（Random Access Memory）、制御プログラム及び制御データ等を記憶するＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）等の不揮発性メモリ等を用いて構成すればよい。制御プログラムは、複数のプログラムモジュールの集合でもよいことは勿論である。

なお、後述する教示端末２を用いたロボット１への動作教示では、複数の座標系、具体的には、撮像装置１２の撮影空間に関するカメラ座標系、撮像装置１２による撮影画像の画像座標系、距離計測装置１３の計測空間に関する計測空間座標系、ハンド１１に設定されるツール座標系、及び作業空間に固定されたワールド座標系の相対関係が既知である必要がある。これらの座標系の間の相対関係を確定するためには、予めキャリブレーションを行なっておけばよい。

次に、図１に示した教示端末２の各構成要素について説明する。通信部２０は、既に述べたように、ロボット１側の通信部１４との間でデータ伝送を行なう。

表示装置２１は、グラフィック表示可能なデバイスであり、後述する制御部２３による制御のもとで、撮像装置１２による撮影画像の表示、素形状モデルの表示、把持パターンを示すハンドモデルの表示などを行なう。表示装置２１には、例えば、ＬＣＤ（Liquid Crystal Display）又はＣＲＴ（Cathode Ray Tube）ディスプレイ等を使用すればよい。

入力装置２２は、オペレータによる教示端末２に対する操作入力を受け付けるデバイスである。入力装置２２は、オペレータの手及び足等の身体の一部による操作又はオペレータの音声等に応じて、表示装置２１の画面上での入力位置や座標を指定することが可能なポインティグデバイスとすればよい。具体的には、入力装置２２には、マウス、タッチパネル、音声入力デバイス、レーザポインタ等を使用すればよい。

制御部２３は、ロボット１側の制御部１６と協調してロボット１への把持動作の教示に関する制御、データ処理を実行する。具体的には、制御部２３は、表示装置２１の表示制御、入力装置２２の操作内容の取得及び解析、通信部２０を用いたデータ送受信等を実行する。制御部２３もまた、制御部１６と同様に、１又は複数のＣＰＵ（Central Processing Unit）、ＣＰＵで実行される制御プログラム、ＲＡＭ、不揮発性メモリ等を用いて構成すればよい。

なお、教示端末２は、上述した各構成要素に動作電力を供給するバッテリを搭載し、オペレータが容易に携行可能な一体型の小型端末として構成するとよい。しかしながら、教示端末２の形態は、このような一体型のものに限られない。例えば、教示端末２は、各々が独立したデバイスである、通信端末、ＬＣＤ、マウス及びＰＣ（Personal Computer）等を用いて構成してもよい。

続いて、以下では、本実施の形態の動作教示システムによるロボット１への把持動作の教示手順について詳しく説明する。図２は、本実施の形態の動作教示システムによる動作教示手順を示すフローチャートである。図２では、ステップＳ１０１〜Ｓ１０５がロボット１側で行なわれる処理を示し、ステップＳ２０１〜Ｓ２０６が教示端末２側で行なわれる処理を示している。

ステップＳ１０１では、ロボット１が、撮像装置１２を用いてワーク９０を含む作業空間の撮影画像を取得する。取得された撮影画像は、教示端末２に転送される。なお、撮影画像を取得する際の撮像装置１２の位置及び姿勢並びに画角などを教示端末２から遠隔操作可能としてもよい。ワーク９０を含む作業空間の適切な撮影画像を得ることができ、適切な把持パターンをロボット１に教示することが容易となる。

ステップＳ２０１では、教示端末２が、表示装置２１にステップＳ１０１にて取得された撮影画像を表示する。図３（ａ）は、ワーク９０の像３０が含まれた撮影画像の表示画面例である。なお、以下では、ワーク９０が図３（ａ）に示すような取っ手付きのコップである場合を例にとって説明する。

ステップＳ２０２では、教示端末２が、表示装置２１に表示された撮影画像内で「認識領域」とすべき範囲の指定を、オペレータから入力装置２２を介して受け付ける。ここで、「認識領域」とは、ハンド１１に把持させるワーク９０中の部位を指定するためにオペレータが撮影画像内に設定する領域である。認識領域は、後述するステップＳ１０２にて、距離計測装置１３による認識、つまり距離計測の対象領域として使用される。

表示画面上で指定された認識領域を含む表示装置２１の表示画面例を図３（ｂ）〜（ｄ）に示す。図３（ｂ）に表示された認識領域３１は、コップの胴体部分を指定している。図３（ｃ）に表示された認識領域３２は、コップ開口の縁部分を指定している。図３（ｄ）に表示された認識領域３３は、取っ手部分を指定している。

なお、オペレータによる直感的な操作を可能とするために、教示端末２は、表示装置２１に表示された撮影画像に重ねて表示されたポインタの操作によって、オペレータによる認識領域の指定を受け付けるとよい。例えば、図３（ｂ）に示した認識領域３１の指定を受け付けるためには、認識領域３１の外周を示す閉曲線をポインタで描画する操作を受け付けるとよい。このような操作は、例えば、入力装置２２がタッチパネルである場合、極めて直感的な操作となる。すなわち、タッチパネルを表示装置２１の表示画面の真上に配置しておくことにより、オペレータは、表示されたワーク像３０の上を指又はタッチペン等で直接的に触って認識領域を描画することができる。

ステップＳ２０３では、教示端末２が、認識領域に当てはめるべき素形状モデルの指定を入力装置２２を介して受け付ける。すなわち、オペレータは、自らが指定した認識領域がどのような３次元幾何形状を有するかを入力装置２２を用いて指定する。教示端末２は、ユーザに素形状モデルの選択を促すために、例えば図４に示すようなアイコンリスト４０を表示装置２１に出力するとよい。図４に示すアイコン４１〜４４は、それぞれ素形状モデルの一例を示している。アイコン４１は四角柱モデル、アイコン４２は平板モデル、アイコン４３は円柱モデル、アイコン４３は円錐台モデルである。各々の素形状モデルは、形及び大きさを規定するための形状パラメータ、位置及び姿勢を規定するための配置パラメータを有する。なお、素形状モデルの種類は、図４に示したものに限られないことはもちろんであり、超二次楕円体、Ｌ字状角柱、Ｃ字状円柱等の様々な形状を、ワーク９０の種類等に応じて用意しておけばよい。

ステップＳ１０２では、ロボット１が、オペレータにより指定された認識領域を示すデータを教示端末２から受信する。そして、ロボット１は、距離計測装置１３を用いて、認識領域に対応する作業空間の３次元位置を示す点群データ（以下、３次元位置データと呼ぶ）を取得する。図５は、図３（ｂ）の認識領域３１に対応する作業空間の３次元位置データ５０の取得を示す概念図である。ステップＳ１０２で得られる３次元位置データは、ワーク９０を含む作業空間のロボット１から見た奥行きを表す。

なお、ロボット１は、距離計測装置１３の位置及び姿勢を制御することで、複数の視点から距離計測を行ってもよい。複数の視点からの計測によって得た３次元位置データをマージすることによって、ワーク９０の奥行きを示す多くの点群を得ることができる。例えば、認識領域の中心点に対応する作業空間中の３次元位置を原点とする極座標を設定し、水平方向及び上下方向の２つの偏角方向に距離計測装置１３の視点を移動させるとよい。視点の変更によって、オペレータにより設定された認識領域外の３次元位置データも取得されるが、距離計測装置１３の初期位置における視点と認識領域のエッジとを結ぶ錐形状の空間内の３次元位置データのみを残し、これ以外のデータを削除するとよい。

ステップ１０３では、ロボット１が、オペレータにより指定された素形状モデルを示すデータを教示端末２から受信する。そして、ロボット１は、オペレータにより指定された素形状モデルをステップＳ１０２で得た３次元位置データにフィッティングする。より具体的に述べると、ロボット１は、計測により得られた認識領域内の３次元位置データに最も良く合致するように、指定された素形状モデルの形状パラメータ及び配置パラメータをフィッティングすればよい。ここでのフィッティング処理には、３次元画像処理の分野における公知の技術を用いればよい。図６は、ワーク９０の像３０に素形状モデル（具体的には円柱モデル）６０を重ねて表示したものであり、ユーザが円柱モデルを選択した場合のフィッティング結果を示している。

ステップＳ１０４では、ロボット１が、フィッティングにより形状パラメータが決定された素形状モデルに適用することが可能な把持パターンを、データベース１５を参照して選択する。ここで、素形状モデルの形状パラメータ、把持パターン、及びデータベース１５のデータ構造の各具体例を説明する。

図７は、素形状モデルの１つである円筒モデル７０を示している。円筒モデル７０の形状パラメータは、直径Ｄ、円筒の長さＬ、及び壁の厚さＴの３つである。なお、上述した円柱モデル６０は、円筒モデル７０のサブセットである。具体的には、円柱モデルは、円筒モデルにおいて壁の厚さＴが未定義、あるいはＴ＝Ｄ／２である場合に対応する。

図８及び９は、データベース１５のデータ構造の具体例であり、円筒モデル７０に適用可能な把持パターンに関するデータ内容を示している。ハンド１１の種類が異なれば、実行可能な把持パターンが異なり、同じ素形状モデルに適用可能な把持パターンも異なる。データベース１５は、各把持パターンが各素形状モデルのどのような形状パラメータ範囲で適用可能であるかを示す情報を、ハンド１１の種類に対応させて記録しておくとよい。

図８及び９の例では、ハンド１１のハンドタイプが「平面３関節２指ハンド」であり、素形状モデルが円筒モデルであるときに適用可能な把持パターンとして、４つの把持パターンが適用条件と共に記録されている。具体的には、４つの把持パターンは、「把持パターンＡ：側面はさみ把持」、「把持パターンＢ：端面はさみ把持」、「把持パターンＣ：握り込み把持」、及び「把持パターンＤ：縁面はさみ把持」である。これら各々の把持パターンの適用条件は、図８に示した円筒モデル７０の形状パラメータＤ、Ｌ及びＴにより記述されている。

なお、参考のために、図８及び９では、円筒モデル７０とハンド１１に対応するハンドモデル８３とによって、把持パターンＡ〜Ｄを表す斜視図を示している。また、把持パターンＡ〜Ｄを表す図中の両方向矢印は、各把持パターンの調整可能な残された自由度を示している。例えば、「把持パターンＣ：握り込み把持」の場合、円筒モデル７０の中心軸周りの回転自由度ＲＦと、中心軸に沿った並進自由度ＴＦの２つの自由度が調整可能である。本実施の形態では、把持パターンに残されたこれらの自由度は、後述するステップＳ２０６において、オペレータにより最終決定される。

図２戻って説明を続ける。ステップＳ２０４では、教示端末２が、フィッティング結果を示す素形状モデル６０と、ステップＳ１０４にて選択された把持パターンを示すハンドモデル８３を、ワーク９０の像３０を含む撮影画像に重ね合わせて表示する。このように重ね合わせ表示を行なうことによって、ワーク９０と素形状モデル及び把持パターンとの適合度合いをオペレータが容易に把握することができる。

図１０（ａ）及び（ｂ）は、ステップＳ２０４における表示装置２１の表示画面例を示している。図１０（ａ）は、上述した「把持パターンＣ：握り込み把持」の表示例である。また、図１０（ｂ）は、上述した「把持パターンＡ：側面はさみ把持」の表示例である。図１０（ａ）及び（ｂ）のように複数の把持パターン候補が存在する場合には、表示装置２１は、これら複数の候補を並べて表示してもよいし、オペレータの操作に応じて１つの候補ずつ切り替えて表示してもよい。

ステップＳ２０５では、教示端末２が、オペレータによる把持パターンの最終的な決定を受け付ける。ここで、決定される把持パターンを最終把持パターンと呼ぶこととする。

ステップＳ２０６では、教示端末２が、最終把持パターンに残された自由度の調整をオペレータに促す。教示端末２は、表示装置２１の画面上にポインタを表示し、オペレータによるポインタ操作を受け付けるとよい。オペレータは、ポインタを操作して自由度の調節を行う。より具体的には、教示端末２は、画面表示されたハンドモデル８３に対するドラッグ操作を受け付けるとよい。そして、教示端末２は、ドラッグ操作後のハンドモデル８３と素形状モデル６０又はワーク像３０との相対位置及び相対姿勢に応じて、最終把持パターンに残された自由度の調整値を決定すればよい。これにより、オペレータは、簡単なドラッグ操作によって適切な把持パターンを決定することができる。

図１１（ａ）〜（ｃ）は、ステップＳ２０６でのオペレータによる自由度調整の具体例を示す図である。図１１（ａ）は、表示画面上でのポインタ８４の移動を示している。図１１（ｂ）は、ハンドモデル８３のドラッグによるポインタ８４の表示変化を示している。また、図１１（ｃ）は、ドラッグ操作によって並進自由度ＴＦの調整がなされた状態を示している。

最後に、図２のステップＳ１０５では、ロボット１が、最終決定された把持パターンに基づいて、ワーク９０の把持動作を実行する。

上述した発明の実施の形態１にかかる動作教示システムは、以下に述べるような効果を奏する。すなわち、本実施の形態の動作教示システムによって、オペレータは、撮像装置１２による撮影画像が表示された表示画面上に認識領域を描画し、これに当てはめる素形状モデルを選択する操作によって、ワーク９０の把持部位の形状を特定し、把持方法を決定できる。つまり、オペレータは、ＣＡＤで使用されるパラメトリックモデリング手法のような熟練を要する詳細な入力作業を行なうことなく、簡単かつ直感的な操作によってワーク９０の把持動作を教示することができる。

また、本実施の形態の動作教示システムは、素形状モデルと把持パターンを関連付けて予めデータベース１５に記録しておくことにより、適切な把持パターンの候補をオペレータに提示することが容易となる。つまり、オペレータは、ハンド１１の位置及び姿勢、各指の配置などを詳細に逐一指定する必要がない。

また、本実施の形態の動作教示システムは、ロボット１に把持させたい部位をオペレータが指定し、その部位のみを素形状モデルを適用してモデル化する。このため、対象物のモデル化が容易であり、複雑な認識技術がなくても多様な把持作業を実現することができる。

また、一般にモデルベースの把持計画を実行するためには、ワーク９０の種類に応じて詳細なモデルを使用する必要がある。しかしながら、本実施の形態の動作教示システムは、限られた数の素形状モデルと把持パターンの組合せによって把持計画を行うため、データ量が少なくて済む。

また、教示端末２に対してオペレータがなすべき操作は限られていることから、表示装置２１及び入力装置２２は、複雑なインタフェースを必要としない。つまり、教示端末２は、小型の表示画面での操作に適している。このため、教示端末２として小型のポータブル端末、例えばスマートフォン、通信機能を有する小型ゲーム機などを使用することも容易となる。

<その他の実施の形態>
発明の実施の形態１では、図２に示したように、フィッティングによる把持パターンの選択後に、選択された把持パターンをオペレータに提示し、オペレータが最終把持パターンの決定と、最終把持パターンの自由度調整を行なうものとして説明した。このような手順は、ロボット１の動作を最適な把持動作に近づけるために有効である。しかしながら、図２のステップＳ２０４〜Ｓ２０６を行なわずに、選択した把持パターンの１つに従ってロボット１に自律的に把持動作を実行させてもよい。

また、発明の実施の形態１におけるロボット１と教示装置２との機能分担は一例である。例えば、素形状モデルと３次元位置データとのフィッティングは、教示端末２側で実行されてもよい。また、例えば、データベース１５は、教示端末２側に設けてもよい。また、ロボット１及び教示装置２に加えて第３の装置が存在してもよい。例えば、撮像装置１２、及び距離計測装置１３は、ロボットアーム１０及びハンド１１を備えたロボット本体に直接搭載する必要はなく、ロボット本体と別の独立した装置として作業空間に配置されてもよい。

さらに、本発明は上述した実施の形態のみに限定されるものではなく、既に述べた本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。

本発明の実施の形態１にかかる動作教示システムを示すブロック図である。本発明の実施の形態１にかかる動作教示システムによる動作教示手順を示すフローチャートである。（ａ）は表示装置に表示されるワークを含む撮影画像の一例を示す図であり、（ｂ）〜（ｄ）は表示画面上での認識領域の指定の例を示す図である。素形状モデルを選択するためのアイコンリストの例を示す図である。認識領域に関する３次元位置データの取得を説明するための概念図である。３次元位置データへの素形状モデルのフィッティングを説明するための概念図である。素形状モデルの一例である円筒モデル及びその形状パラメータを示す図である。本発明の実施の形態１にかかる動作教示システムが有するデータベースの構成例を示す図である。本発明の実施の形態１にかかる動作教示システムが有するデータベースの構成例を示す図である。ワークを含む撮影画像に素形状モデル及び把持パターンを重ねて表示した表示装置の画面例を示す図である。把持パターンの自由度を調節するための表示装置の画面例を示す図である。

符号の説明

１ロボット
１０ロボットアーム
１１ハンド
１２撮像装置
１３距離計測装置
１４通信部
１５データベース
２教示端末
２０通信部
２１表示装置
２２入力装置
２３制御部
３０ワーク像
３１〜３３認識領域
４０アイコンリスト
４１〜４４アイコン
５０３次元位置データ
９０ワーク
６０素形状モデル（円柱モデル）
７０円筒モデル
８３ハンドモデル
８４ポインタ
ＲＦ回転自由度
ＴＦ並進自由度

Claims

ワークを把持するためのハンドを含むロボットアームを有するロボットに対して把持動作を教示するための動作教示システムであって、
撮像装置と、
対象物までの距離を計測する距離計測装置と、
表示装置と、
オペレータによる入力操作を受け付ける入力装置と、
複数の素形状モデルのそれぞれについて前記ハンドが適用可能な少なくとも１つの把持パターンが記述されたデータベースと、
前記撮像装置によって取得された前記ワークを含む作業空間の撮影画像を前記表示装置に表示させる撮影画像表示手段と、
前記ハンドに把持させる前記ワーク中の部位を指定するための操作を、前記表示装置に表示された前記ワークの像上において前記部位を含む認識領域を前記入力装置を用いて２次元的に指定する操作として受け付ける認識領域指定手段と、
前記部位に当てはめる素形状モデルを前記複数の素形状モデルの中から指定する操作を、前記入力装置を介して受け付ける素形状モデル指定手段と、
前記オペレータにより指定された素形状モデルを、前記距離計測装置を用いて取得された前記認識領域に相当する空間の３次元位置データにフィッティングさせるフィッティング手段と、
前記オペレータにより指定された素形状モデル及び前記フィッティング手段によるフィティング結果に基づいて前記データベースを検索することにより、前記ワークの把持に適用可能な少なくとも１つの把持パターンを選択する把持パターン選択手段と、
を備える動作教示システム。
前記把持パターン選択手段によって選択された前記少なくとも１つの把持パターンを前記表示装置に表示させる把持パターン表示手段と、
前記把持パターン表示手段によって生成される表示内容に基づいて前記ロボットに行わせる最終把持パターンを選択するための前記オペレータによる操作を受け付けると共に、前記最終把持パターンに残された自由度を調節する前記オペレータの操作を受け付ける把持パターン決定手段と、
をさらに備える請求項１に記載の動作教示システム。
前記把持パターン表示手段は、前記少なくとも１つの把持パターンを表す前記ハンドのモデル画像を前記撮影画像に重ねて表示し、
前記把持パターン決定手段は、前記オペレータによる前記自由度の調節操作を、前記表示装置の表示画面内における前記モデル画像のドラッグ操作により受け付け、前記ドラッグ操作後の前記モデル画像の前記表示画面内における位置及び姿勢に基づいて前記自由度の調整値を決定する、請求項２に記載の動作教示システム。
前記把持パターン選択手段は、さらに、
前記距離計測装置を用いて取得された前記認識領域の周辺の３次元位置データを用いて、前記少なくとも１つの把持パターンによる前記ロボットアームの軌道と前記ワーク周囲の障害物との干渉を判定し、当該判定結果に基づいて把持パターンの絞込みを行う、請求項１乃至３のいずれか１項に記載の動作教示システム。
ワークを把持するためのハンドを含むロボットアームを有するロボットに対して把持動作を教示するための動作教示方法であって、
前記ワークを含む作業空間の撮影画像を表示装置に表示させるステップ（ａ）と、
前記ハンドに把持させる前記ワーク中の部位を指定するための操作を、前記表示装置に表示された前記ワークの像上において前記部位を含む認識領域を２次元的に指定する操作として受け付けるステップ（ｂ）と、
前記部位に当てはめる素形状モデルを複数の素形状モデルの中から指定する操作を受け付けるステップ（ｃ）と、
前記ステップ（ｃ）にて指定された素形状モデルを、距離計測装置を用いて取得された前記認識領域に相当する空間の３次元位置データにフィッティングさせるステップ（ｄ）と、
前記複数の素形状モデルのそれぞれについて前記ハンドが適用可能な少なくとも１つの把持パターンが記述されたデータベースを、前記ステップ（ｃ）にて指定された素形状モデル及び前記ステップ（ｄ）におけるフィッティング結果に基づいて検索することにより、前記ワークの把持に適用可能な少なくとも１つの把持パターンを選択するステップ（ｅ）と、
を備える動作教示方法。
前記ステップ（ｅ）にて選択された前記少なくとも１つの把持パターンを前記表示装置に表示させるステップ（ｆ）と、
前記ステップ（ｆ）にて生成される表示内容に基づいて前記ロボットに行わせる最終把持パターンを選択するための前記オペレータによる操作を受け付けるステップ（ｇ）と、
前記最終把持パターンに残された自由度を調節する前記オペレータの操作を受け付けるステップ（ｈ）と、
をさらに備える請求項５に記載の動作教示方法。
前記ステップ（ｆ）では、前記少なくとも１つの把持パターンを表す前記ハンドのモデル画像を前記撮影画像に重ねて表示し、
前記ステップ（ｈ）では、前記オペレータによる前記自由度の調節操作を、前記表示装置の表示画面内における前記モデル画像のドラッグ操作により受け付け、前記ドラッグ操作後の前記モデル画像の前記表示画面内における位置及び姿勢に基づいて前記自由度の調整値を決定する、請求項６に記載の動作教示方法。
前記ステップ（ｅ）では、さらに、前記距離計測装置を用いて取得された前記認識領域の周辺の３次元位置データを用いて、前記少なくとも１つの把持パターンによる前記ロボットアームの軌道と前記ワーク周囲の障害物との干渉を判定し、当該判定結果に基づいて把持パターンの絞込みを行う、請求項５乃至７のいずれか１項に記載の動作教示方法。