JP2013144355A - ロボットが用いる把持パターンを生成する方法及び計算機プログラム製品 - Google Patents

ロボットが用いる把持パターンを生成する方法及び計算機プログラム製品 Download PDF

Info

Publication number
JP2013144355A
JP2013144355A JP2013003473A JP2013003473A JP2013144355A JP 2013144355 A JP2013144355 A JP 2013144355A JP 2013003473 A JP2013003473 A JP 2013003473A JP 2013003473 A JP2013003473 A JP 2013003473A JP 2013144355 A JP2013144355 A JP 2013144355A
Authority
JP
Japan
Prior art keywords
target object
gripping
robot hand
pattern
grip
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013003473A
Other languages
English (en)
Other versions
JP6039434B2 (ja
JP2013144355A5 (ja
Inventor
Yasuhiro Ota
康裕 太田
Junggon Kim
ジュンゴン キム
Kunihiro Iwamoto
国大 岩本
James J Kuffner
ジェイ.カフナー ジェイムズ
Nancy S Pollard
エス.ポラード ナンシー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carnegie Mellon University
Toyota Motor Engineering and Manufacturing North America Inc
Original Assignee
Carnegie Mellon University
Toyota Motor Engineering and Manufacturing North America Inc
Toyota Engineering and Manufacturing North America Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carnegie Mellon University, Toyota Motor Engineering and Manufacturing North America Inc, Toyota Engineering and Manufacturing North America Inc filed Critical Carnegie Mellon University
Publication of JP2013144355A publication Critical patent/JP2013144355A/ja
Publication of JP2013144355A5 publication Critical patent/JP2013144355A5/ja
Application granted granted Critical
Publication of JP6039434B2 publication Critical patent/JP6039434B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1669Programme controls characterised by programming, planning systems for manipulators characterised by special application, e.g. multi-arm co-operation, assembly, grasping

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Abstract

【課題】ロボット把持パターンを生成する方法及び計算機プログラム製品を提供すること。
【解決手段】本発明の一実施例による方法は,対象物体に関係する複数の接近光線を生成するステップを含み,複数の接近光線はそれぞれ対象物体の表面から垂直に伸びる。この方法は更に,複数の接近光線に関係する対象物体の把持パターンを生成するために,複数の接近光線の接近光線ごとに少なくとも一つの把持パターンを生成するステップと,把持パターン集合の個別把持パターンごとに把持品質評点を計算するステップと,個別把持パターンそれぞれの把持品質評点と,把持品質しきい値とを比較するステップと,を含む。この方法は更に,把持品質しきい値より高い把持品質評点を有する把持パターン集合の個別把持パターンを選択するステップと,選択された把持パターンを,対象物体のオンライン操作用にロボットに供給するステップと,を含む。
【選択図】図4

Description

本発明は,概略,ロボット応用における把持パターンに関し,より詳細には,対象物体に関係する複数の接近光線(approach ray)を用いて,ロボットの把持パターンを生成する方法及び計算機プログラム製品に関する。
ロボットは特定のタスクを実行する空間内で動作することができる。例えば,使用人(servant)ロボットは,動作空間内を移動(navigate)し,物体を配置し,物体を操作するように課題を与えられる。ロボットは,動作空間内の物体を見付け,物体を拾い上げ,該物体を動作空間内の別の場所に移動させるように指示される。ロボットは,しばしば,素早く,かつ可能な限り最も効率的な方法で物体を操作するようにプログラムされる。
しかし,適切な把持姿勢を自律的に計算することは困難であり,計算的負荷が大きい。把持候補ごとに,把持が対象物体をどれだけしっかりと保持できるかを判定するために,把持品質を試験しなければならない。すべての把持パターンが対象物体をうまく把持できる訳ではない。例えば,把持パターンは,ロボットの末端効果器の関節が対象物体と衝突したり,把持パターンが提供する把持が対象物体を保持できなかったりする原因となる。さらに,有効アーム軌跡は,軌跡計画内で同時に実行できなければならない。このような計算はロボットのオンライン処理の速度を低下させる。また,いくつかの場合には,対象物体と関係する把持パターンはロボットの退屈な手動プログラム又は遠隔操作によって教示してもよい。この処理は遅く,人的エラーを生じやすい。
さらに,対象物体をロボットが操作する際の不確定性がある。例えば,ロボットの物体配置システムから生じる対象物体の初期姿勢に関する不確定性がある。このような不確定性は把持失敗につながることがある。また,ロボットの末端効果器によって対象物体を把持し,持ち上げる際の力学から生じる,物体の変位及び姿勢に関しても不確定性がある。
したがって,ロボット処理に関してオフラインで開発され,対象物体の姿勢及び変位に関する不確定性を考慮に入れた,ロボットの上首尾な把持パターンを生成する代替方法及び計算機プログラム製品に対する要望がある。
一つの実施例においては,ロボットが用いる把持パターンを生成する方法は,対象物体に関係する複数の接近光線を生成するステップを含み,複数の接近光線はそれぞれ対象物体の表面から垂直に伸びる。この方法は更に,複数の接近光線に関係する対象物体の把持パターンを生成するために,複数の接近光線の接近光線ごとに少なくとも一つの把持パターンを生成するステップと,把持パターン集合の個別把持パターンごとに把持品質評点を計算するステップと,各個別把持パターンの把持品質評点と,把持品質しきい値とを比較するステップと,を含む。この方法は更に,把持品質しきい値より高い把持品質評点を有する把持パターン集合の個別把持パターンを選択するステップと,選択された把持パターンを,対象物体のオンライン操作用にロボットに供給するステップと,を含む。
別の実施例においては,ロボットが用いる把持パターンを生成するために計算装置と共に用いる計算機プログラム製品は,対象物体に関係する複数の接近光線を生成する計算機実行可能命令を記憶する計算機可読媒体を含む。計算装置によって実行したとき,計算機実行可能命令は計算装置が,計算機シミュレーションによって,対象物体に関係する複数の接近光線を生成し,複数の接近光線はそれぞれ対象物体の表面から垂直に伸び,複数の接近光線に関係する対象物体の把持パターンを生成するために,複数の接近光線の接近光線ごとに少なくとも一つの把持パターンを生成し,把持パターン集合の個別把持パターンごとに把持品質評点を計算させるようにする。計算機実行可能命令は更に,計算装置に,各個別把持パターンの把持品質評点と,把持品質しきい値とを比較し,把持品質しきい値より高い把持品質評点を有する把持パターン集合の個別把持パターンを選択し,選択された把持パターンを,対象物体のオンライン操作用にロボットに供給させるようにする。
また別の実施例においては,ロボットが用いる把持パターンを生成する方法は,対象物体に関係する複数の接近光線を生成するステップと,複数の接近光線と関係する対象物体の把持パターン集合を生成するために,複数の接近光線の接近光線ごとに少なくとも一つの把持パターンを生成するステップとを含む。複数の接近光線はそれぞれ対象物体の表面から垂直に伸びる。個別把持パターンはそれぞれ,少なくとも部分的に,姿勢確率分布モデルから,対象物体の複数の物体姿勢を選択することによって生成される。この方法は,選択された物体姿勢ごとに,計算機シミュレーションによってロボットハンドの指関節によって対象物体を把持するステップと,ロボットハンドで対象物体を持ち上げるステップと,ロボットハンドで対象物体を持ち上げた後の,対象物体と接触しているいくつかの指関節を判定するステップと,ロボットハンドで対象物体を持ち上げた後の,ロボットハンドに対する対象物体の変位を判定するステップと,ロボットハンドの指関節と対象物体との接触応力を判定するステップと,を含む。この方法は更に,複数の物体姿勢の個別物体姿勢ごとに予備把持品質評点を計算するステップを含み,予備把持品質評点は,ロボットハンドで対象物体を持ち上げた後の,ロボットハンドに対する対象物体の変位と,ロボットハンドの指関節と対象物体との接触応力とに少なくとも部分的に基づく。把持パターン集合の個別把持パターンごとの把持品質評点は,個別把持パターンと関係する複数の物体姿勢の予備把持品質評点を平均することによって計算される。この方法は更に,個別把持パターンそれぞれの把持品質評点と,把持品質しきい値とを比較するステップと,把持品質しきい値より高い把持品質評点を有する把持パターン集合の個別把持パターンを選択するステップと,選択された把持パターンを,対象物体のオンライン操作用にロボットに供給するステップと,を含む。
ここで説明した各実施形態によって提供されるこれら及び追加の特徴は,以降の詳細な説明及び図面を参照することによってより十分に理解されるであろう。
図面に示された実施例は本質的に説明的,例示的なものであり,本願の請求項によって規定される発明主体を制限するものではない。以降の例示実施例の詳細な説明は,添付の図面と共に読むことによって理解できるものであり,類似の構造は類似の参照符号によって示されている。
対象物体を操作する例示ロボットの概略図である。 本願に示され,説明される1又は複数の実施例による例示ロボットの追加例示構成要素の概略図である。 対象物体と,本願に示され,説明される1又は複数の実施例による接近光線密度の,対象物体と関係する複数の接近光線との概略図である。 図3Aに示された対象物体と,本願に示され,説明される1又は複数の実施例による別の接近光線密度の,対象物体と関係する複数の接近光線との概略図である。 図3Aに示された対象物体と,本願に示され,説明される1又は複数の実施例による別の接近光線密度の,対象物体と関係する複数の接近光線との概略図である。 対象物体と,本願に示され,説明される1又は複数の実施例による図3Aに示された対象物体の上面と関係する複数の接近光線との概略図である。 本願に示され,説明される1又は複数の実施例による把持パターンに従うロボットハンド及び対象物体の概略図である。 本願に示され,説明される1又は複数の実施例による把持パターンの初期位置にあるロボットハンド及び対象物体の概略図である。 本願に示され,説明される1又は複数の実施例による把持パターンに従って対象物体に接近するロボットハンドの概略図である。 本願に示され,説明される1又は複数の実施例による把持パターンに従って対象物体を把持するロボットハンドの概略図である。 本願に示され,説明される1又は複数の実施例による不首尾の把持パターンの概略図である。 本願に示され,説明される1又は複数の実施例による不首尾の把持パターンの概略図である。 本願に示され,説明される1又は複数の実施例による,携帯電話機を把持しようとするロボットハンドの不首尾の把持パターンの概略図である。 本願に示され,説明される1又は複数の実施例による,操作計画モジュールの概略図である。 本願に示され,説明される1又は複数の実施例による,対象物体を把持し,持ち上げるロボットハンドの概略図である。 本願に示され,説明される1又は複数の実施例による,対象物体を把持し,持ち上げるロボットハンドの概略図である。 本願に示され,説明される1又は複数の実施例による,対象物体を把持し,持ち上げるロボットハンドの概略図である。 本願に示され,説明される1又は複数の実施例による,対象物体を把持し,持ち上げるロボットハンドの概略図である。 本願に示され,説明される1又は複数の実施例による,対象物体を把持し,持ち上げるロボットハンドの概略図である。
本発明の実施例は,ロボットによるオンライン検討及び使用のための上首尾の個別把持パターンを開発するために,把持パターン集合を生成し,フィルタする方法及び計算機プログラム製品に向けられている。より詳細に言えば,本願に記載されている実施例は,種々の物体と関係する複数の把持パターンを評価し,次にオンライン動作の際のロボットの検討のために,特定範疇を満足する把持パターンだけをロボットに提供することによって,対象物体を操作する際のロボットによるオンライン計算を減少させる。実施例は,マニピュレータが対象物体に接近し,把持することができる複数の選択可能な方向に対応する,対象物体の複数の接近光線を生成する。実施例はまた,物体姿勢の不確定性及び物体操作の際の物体変位の不確定性のような,把持パターン集合の個別把持パターンを評価する際の不確定性を考慮に入れてもよい。以降,ロボットの把持パターンをオフライン生成し,評価する方法及び計算機プログラム製品の種々の実施例を説明する。
初めに図1を参照すると,一つの例示実施例によるロボット100が示されている。図1に示されたロボット100は説明のためだけのものであり,実施例は如何なる特定のロボット構成にも限定されないことを理解されたい。ロボット100はヒト型の外観を有し,使役ロボットとして動作するように構成されている。例えばロボット100は,家庭,看護ケア施設,ヘルスケア施設,等において利用者を補助するように動作することができる。一般に,ロボット100は,目のように見えるように構成された二つのカメラ104と,動作空間内を動き回るための移動台座部106と,第1マニピュレータ110と,第2マニピュレータ120とを備える。第1及び第2のマニピュレータ110,120はそれぞれ,上部アーム構成要素112,122と,前部アーム(forearm)構成要素114,124と,ロボットハンド118,128(すなわち,末端効果器)とを備える。ロボットハンド118,128は,ハンド部116,126と,複数の指関節119,129と,ビン130のような対象物体を操作するために開閉できる親指関節119’,129’とを備えるロボットハンドであってもよい。上部アーム構成要素112,122と,前部アーム構成要素114,124と,ロボットハンド118,128とはそれぞれ,第1及び第2のマニピュレータの特定の構成要素種別である。
ロボット100は,家庭のような動作空間内で自律的又は半自律的に動作するようにプログラムされる。一つの実施例においては,ロボット100は,家庭内で1日を通じて利用者から可聴の(又は電子的な)命令を受信してタスクを自律的に完了するようにプログラムされる。例えば利用者は,「テーブルの上のビンを持って来て下さい」のような命令をロボット100に向かってしゃべってもよい。そしてロボット100はビン130の所へ行き,タスクを完了させる。別の実施例においては,ロボット100は計算機のような人間・機械インタフェースによって,利用者によって直接制御される。利用者は遠隔制御によって特定のタスクを達成するようにロボット100に指示することができる。例えば,利用者はロボット100にテーブル132の上にあるビン130に接近するようにロボット100を制御してもよい。次に利用者はロボット100にビン130を拾い上げるように指示する。次にロボット100は,自分の第1及び第2のマニピュレータがタスクを完了する軌跡計画を開発する。以降,より詳細に説明するとおり,実施例は,ロボットにより人間らしい動きを提供するように最適化された起動計画を生成することに向けられている。
ここで図2を参照すると,例示ロボット100の追加構成要素が示されている。より詳細に言えば,図3は,ロボット100と,本願に示され,説明される実施例による,ハードウェア,ソフトウェア及び/又はファームウェアとして実現される,ロボット100が使用するための把持パターンを生成し,評価するための操作計画モジュール150(別個の計算装置,ロボット100の内部構成要素,及び/又は非一時的計算機可読媒体を含む計算機プログラム製品として実現される)を示している。把持パターン集合の個別把持パターンを生成し,評価する計算機プログラム製品及び方法は,いくつかの実施例においてはロボット100の外部にある計算装置によって実行してもよい。例えば,はん用計算機(図示していない)が,個別把持パターンを評価するための計算機実行可能命令を有してもよい。把持パターン評価の要求条件を満たす把持パターンは,次にロボット100へ送信してもよい。
図3に示したロボット100は,プロセッサ140と,入出力ハードウェア142と,非一時的(non‐transitory)計算機可読媒体143(例えば,ロボットのデータ/論理144及び軌道論理145を記憶してもよい)と,ネットワークインタフェースハードウェア146と,ロボットのマニピュレータ(例えば,サーボ駆動ハードウェア)を作動させるアクチュエータ駆動ハードウェア147とを備える。アクチュエータ駆動ハードウェア147はまた,ロボットの種々のアクチュエータを制御するための関連ソフトウェアを含んでもよい。
メモリ構成要素143は揮発性及び/又は不揮発性計算機可読媒体として構成してもよく,したがって,ランダムアクセスメモリ(SRAM,DRAM及び/又はほかの種類のランダムアクセスメモリを含む),フラッシュメモリ,レジスタ,コンパクトディスク(CD),デジタルはん用ディスク(DVD),磁気ディスク,及び/又はほかの種類の記憶構成要素を含んでもよい。さらに,メモリ構成要素143は中でも,ロボットのデータ/論理144及び軌道論理145(例えば,逆運動学モジュール,ピック・アンド・プレースプランナ,衝突チェッカ,等)を記憶するように構成してもよい。局所インタフェース141もまた図3に含まれ,ロボット100又は計算装置の構成要素間の通信を容易にするためのバス又はほかのインタフェースとして実現してもよい。
プロセッサ140は,(例えばメモリ構成要素143からの)命令を受信し,実行するように構成された任意の処理構成要素を含んでもよい。入出力ハードウェア142は,制限するものではないが,キーボード,マウス,カメラ,マイクロホン,スピーカ,タッチスクリーン,及び/又はデータを受信,送信及び/又は提示するほかの装置のような,ロボット100(例えば又は計算装置)へ入力を供給する任意のハードウェア及び/又はソフトウェアを含んでもよい。ネットワークインタフェースハードウェア146は,モデム,LANポート,無線LAN(Wi−Fi)カード,WiMaxカード,移動体通信ハードウェア,及び/又はほかのネットワーク及び/又は装置と通信するためのほかのハードウェアのような,任意の有線又は無線ネットワークハードウェアを含んでもよい。
メモリ構成要素143は,ロボット100内にあってもよいし,及び/又はロボットから遠隔にあってもよく,ロボット100及び/又はほかの構成要素が利用するための1又は複数のデータを記憶するように構成されることを理解されたい。また,図3に示した構成要素は単に例示であって,本発明の範囲を制限するものではないことも理解されたい。より詳細に言えば,図3内の構成要素はロボット100内にあるように示されているが,これは非制限的な例である。いくつかの実施例においては,構成要素の1又は複数は,1又は複数のロボットと通信で結合された計算装置内のような,ロボット100の外部にあってもよい。
図2はまた,把持パターンを生成し,把持パターン集合から不首尾の把持パターンを除去し,いくつかの実施例においては,把持パターン集合のうち所望の把持パターンに従ってロボットを動かすマニピュレータ及び末端効果器の運動セグメントを開発するように構成された操作計画モジュール150を示している。操作計画モジュール150は,図2のロボット100の外部にあるように示されており,はん用計算機又は特定用途計算機のような外部計算装置内にあってもよい。しかし,操作計画モジュール150の,ソフトウェア又はハードウェアいずれかの構成要素のすべて又はいくつかは,ロボット100の内部に提供してもよいし,ロボット内には何も提供しなくてもよいことを理解されたい。一つの実施例においては,把持パターンの生成,評価及びフィルタは,ここで説明した把持パターンフィルタの要求条件を満足する把持パターンだけが操作計画において使用するためにロボットに供給されるように,計算装置によってオフラインかつロボット100から遠隔で実行してもよい。さらに,操作計画モジュール内の運動計画もまた,外部計算装置によってオフラインで実行し,ロボット100に供給してもよい。代替として,ロボット100は外部計算装置によって提供されたフィルタされた上首尾(successful)の把持パターンを用いて運動計画を決定してもよい。操作計画モジュールの構成要素及び方法論は,以降詳細に説明する。
ここで図3A〜3Dを参照すると,関係する複数の接近光線を有する対象物体130が描かれている。特に図3Aを参照すると,対象物体130は5個の壁232a〜232e及び開口部233を有する箱として構成されている。対象物体は任意の構成であってよく,これらの図を通して示されている対象物体に限定されないことを理解されたい。図3Aに描かれているように,複数の接近光線ARは,所定の密度に従って対象物体130と関係している。接近光線ARはそれぞれ,対象物体130の表面から垂直に伸びている。図面を簡単にするため,図3A〜3Dにおいてはいくつかの選択された接近光線ARだけにラベルが付けられていることに注意されたい。
接近光線ARは,ロボットが対象物体に接近するとき通過する移動経路に対応する。以降より詳細に説明するとおり,単一接近光線ARは,それに関係するいくつかの把持パターンを有してもよい。利用者(例えば,ロボットプログラマ,ロボット設計者,ロボット操作者,等)は,操作計画モジュールと対話するために用いられる利用者インタフェースで,1又は複数の設定を変更することによって接近光線ARの密度及び位置を変更してもよい。このようにして,利用者は対象物体に関する複数の接近光線ARの密度を変更してもよい。図3Bは,図3Aに描かれたものと同じ対象物体130であるが,高密度の接近光線ARを有する対象物体を描いたものである。非制限的な例として,利用者は,複数の接近光線ARによって規定される格子が対象物体の狭い物体表面に入射するように,密度設定を非常に小さく選択したいことがある。しかし,稠密すぎる密度を有する複数の接近光線ARに基づいて設定された把持パターンを生成することは,軌道計画の際に分析された類似の上首尾の把持パターンがあり得るため,非常に時間が掛かり,非効率的なことがある。
図3Cは,図3A及び3Bに描かれた対象物体の接近光線密度より少ない接近光線密度を描いたものである。一つの実施例においては,利用者は,例えばしきい距離以内に隣り合うものがある接近光線を除去するという,一定の基準に従って接近光線ARを除去してもよい。さらに,利用者は,対象物体の特定の領域又は面から接近光線を除去してもよい。図3Dは,接近光線が壁132a〜132dの上面からだけ伸びている対象物体130を描いたものである。したがって,把持パターンを評価するとき,ロボットマニピュレータが対象物体130の上から対象物体130に接近することを要求する把持パターンだけが考慮される。自動接近光線生成を用いることによって,迅速かつ効率的に複数の方向から,多くの把持パターンを評価できるようになる。
ここで図4を参照すると,例示把持パターンに従って特定接近光線ARの密度に沿って例示対象物体230に接近するロボットハンド118として構成されたロボットの末端効果器の概略図が提供されている。ロボットハンド118は,ハンド部116の手掌面116pから伸びる二つの指関節119及び親指関節119’を備える。例示対象物体は,ハンドル部231及び台座部239を含む。図示した接近光線ARは,図示した把持パターンが,ロボットが対象物体のハンドル部231を把持しようとすることを要求していることを示している。図面を簡単にするため,図4には唯一つの接近光線ARだけが描かれているが,対象物体230は関係する複数の接近光線を有してもよいことを理解されたい。
把持パターン集合の個別把持パターンはそれぞれ,把持パラメータの集合を有し,該把持パラメータは対象物体を把持する前の末端効果器(すなわち,ロボットハンド)の予整形(pre−shape)設定と,複数の接近光線の接近光線ARと,スタンドオフ距離dと,末端効果器のロール角と,を含んでもよいが,これらに限定されない。
ロボットハンド118の予整形設定は,対象物体を把持する前の指/親指関節119/119’の初期位置である。例えば,特定の把持パターンの予整形設定は,指関節119と親指関節119’とが完全に開いた位置にあることであってよい。多くの予整形設定が可能である。把持パターンはそれぞれ,関連する一つの予整形設定を有する。
上述のとおり,把持パターンはそれぞれ一つの接近光線ARを有する。しかし,一つの接近光線は,関係する複数の把持パターンを有してもよい。ロボットハンド118(又はほかの種類の末端効果器)は,普通,手掌面116pの中央部が接近光線ARと一致するように,接近光線ARとによって指示される経路を通過することによって対象物体230に接近する。
スタンドオフ距離dは,ロボットハンド118(又はほかの種類の末端効果器)が対象物体230に接近することを止める,対象物体230の面232からのオフセット距離である。いくつかの把持パターンにおいては,スタンドオフ距離dは,手掌面116pが対象物体230と接触するようにゼロであってよい。別の実施例においては,スタンドオフ距離dは,図4に描かれたように,ロボットハンド118が対象物体に接触する前に止まる値であってよい。
ロール角は,ロボットハンド118が対象物体にとどく前の,接触光線ARの周りのロボットハンド118の予回転角である。ロボットハンド118は,接近光線ARの周りを任意の角度で回転してもよい。
指関節119及び親指関節119’の摩擦係数,又は指関節119及び親指関節119’によって対象物体上に加えられた応力の量のようなほかのパラメータも考慮してよい。
上記パラメータの1又は複数の組合せを(例えば,操作計画モジュール150内の)把持パターン集合生成モジュールに送信して,複数の個別把持パターンを有する把持パターン集合を生成してもよい。接近光線ARはそれぞれ,複数の関係する把持パターンを有してもよい。非制限的な例として,接近光線ARは,予整形設定と,スタンドオフ距離と,ロール角パラメータとの第1の組合せから得られる第1把持パターン,及び予整形設定と,スタンドオフ距離と,ロール角パラメータとの第2の組合せから得られる第2把持パターンに関係してもよい。一つの実施例においては,把持パターン集合内の把持パターンの数は,(予整形設定の数)×(スタンドオフ距離の数)×(ロール角の数)×(接近光線の数)に等しい。
以降に説明するとおり,把持パターン集合の個別把持パターンはそれぞれ,1又は複数の把持計量(metrics)に比べて不首尾である個別把持パターン集合を除去するために,計算機シミュレーションによって評価される。種々の利用可能な把持パターンの把持品質の評価はどれもオンライン処理中は必要ないため,把持パターン評価は,より効率的なオンライン操作(特に物体の把持)に対して,自律的にオフラインで行うことができる。
個別把持パターンはそれぞれ,個別把持パターンの把持が十分かどうかを判定する計算機シミュレーション/計算によって,運動学的に生成される。図5を参照すると,一つの実施例においては,ロボットハンド座標系の初期位置及び方向並びに初期指関節角は計算機シミュレーションの前に設定され,予整形設定及びロール角パラメータ(並びに任意のほかの適切な入力又はパラメータ)によって判定してもよい。図5Aに示すとおり,図示した把持パターンの接近光線ARは,ロボットハンド118が対象物体のハンドル部231の上面234に接近するように指示する。
次に,ロボットハンド118は計算機シミュレーションによって,接近光線ARによって指示される方向に沿って,対象物体に接触するか,スタンドオフ距離dに達するまで移動する。多くの場合,ロボットハンド118は,図5B内の矢印Bで示すように動きが手掌面116pに対して垂直であるように,対象物体に接近する。ロボットハンド118が所望の位置に達すると,図5Cに示すように指関節119及び親指関節119’が対象物体230に接触するまで,指関節119及び親指関節119’を一つずつ又は同時に閉じる。
次に,指関節119及び親指関節119’と対象物体との接触が抽出され,把持の品質を測定するために用いられる。一つの実施例においては,把持品質評点が生成され,その把持品質評点は,個別把持パターンと関係する把持がどれだけしっかりと対象物体を把持できるかを示すスカラ値である。把持品質評点を生成するために,どのような把持評価計算又は方法論を用いてもよい。一つの特定の実施例においては,把持品質を評価するための把持品質評点として,力拘束(force closure)ベースの測定が用いられる。対象物体を落とすことなく,試験応力及びトルクに抵抗できるとき,把持は力拘束と考えてよい。把持が力拘束かどうか判定するために加えられる試験応力及びトルクは,対象物体に依存する。
次に,把持品質評点が,特定の対象物体と関係する把持品質しきい値と比較される。一つの実施例においては,力拘束把持だけが把持品質しきい値を満足する。非制限的な例として,指関節が対象物体と接触しないか,又は対象物体と部分的にだけ接触する個別把持パターンは,低品質尺度の把持となる。図6A,6B及び6Cは不首尾の把持になる把持パターンを描いたものである。図6Aにおいて,指関節119及び親指関節119’は対象物体230のハンドル部231の側面237に当たり,ロボットハンド118は対象物体230を把持できない。類似して図6Bに示すように,指関節119の一つ及び親指関節119’は,対象物体230のハンドル部231の上面に当たる。図7は,携帯電話機330として構成された対象物体を把持しようとしているロボットハンド118を描いたものであり,携帯電話機330のアンテナ部331に親指関節119’は接触せずに指関節119の一つが接触している。これらの場合はいずれも,把持と関係する把持パターンが把持パターン集合から除去される。いくつかの実施例によれば,力拘束把持になる把持パターンだけが,オンライン物体操作用にロボットに供給される。
把持品質しきい値より高い把持品質評点を有する個別把持パターンがそれぞれ,当該個別把持パターンに関する情報と共にファイルに保存される。一つの実施例においては,個別の上首尾の把持パターンがそれぞれ終了処理(finalize)されてファイルに保存される。把持パターンの終了処理は,把持前の初期ロボットハンド設定(すなわち,予整形設定)と,変形情報と,把持品質評点とを含んでもよいが,それらに限定されるものではない。変形情報は,物体の座標系に対するハンド座標系の相対位置及び方向を含んでもよい。終了処理された個別把持パターンは次に,対象物体操作のためにロボットに提供される(例えば,操作計画モジュール150が,マニピュレータ及び末端効果器を制御する運動セグメントの生成のために,終了処理された個別把持パターンを軌道論理145に供給してもよい)。例えば,ロボットは,対象物体と遭遇したとき,どのように物体を操作するかを決定するときに供給された把持パターンを評価してもよい。非制限的な例として,ロボットは,末端効果器の現在位置と最も近く整列しており,対象物体の操作に関して最高の把持品質評点を有する個別把持パターンを選択してもよい。
このようにして本発明の実施例は好ましくない把持(例えば,ロボットハンドと対象物体との衝突,非力拘束把持,等)を除去し,重複する把持を無くすことができる。
本発明のいくつかの実施例は,ロボットが物体を把持しようとしたときに存在する不確定性を説明することができる。例えば,ロボットの視覚システム(例えば,センサベースの物体定位システム)を用いたロボットの観点からの対象物体の真の姿勢に関しては,一定レベルの不確定性がある。物体の真の姿勢と,ロボットが検出した姿勢との間には視差があり得る。さらに,ロボットに把持されたとき,物体の力学から生じる不確定性も存在する。例えば,把持過程において,対象物体の姿勢及び変位に変動があり得る。
図8は,把持成功率を推定する際のデータ不確定性の包含,及び把持過程における物体の力学の組込みを提供する,一つの実施例による操作計画モジュール150の追加構成要素を示している。ブロック152において,把持パターン集合の複数の把持品質評点が上述のとおり生成される。ブロック154において,把持品質評点が計算される。上述の力拘束判定に加えて,把持品質評点もまた,下記のとおりのブロック155の確率分布モデルによって,把持過程における対象物体の姿勢及び力学の不確定性を考慮する。ブロック156において上首尾の個別把持パターンが終了処理され,ロボットに提供される。一方,ブロック157に示すとおり,不首尾の個別把持パターン(例えば,非力拘束把持,対象物体の大きなすべり又は変位につながる把持,等)は,把持パターン集合から除去される。一般に,実施例は,1)対象物体の初期姿勢に関する不確定性(例えば,姿勢確率分布モデル)と,2)ロボットが把持した後の物体の姿勢に関する不確定性(例えば,基準姿勢確率分布モデル)と,3)ロボットが持ち上げた後の物体の姿勢及び変位に関する不確定性(例えば,変位確率分布モデル)と,に関する不確定性を説明するために,確率分布モデルを用いることができる。
ここで図9A〜9Eを参照すると,対象物体が変位している,ロボットハンド118による対象物体400の把持及び持ち上げが概略示されている。初めに図9Aを参照すると,対象物体400の実際の姿勢に関する不確定性が示されている。図9Aは,物体の軸OAによって規定される対象物体400の実際の姿勢を示している。しかし,ロボットによって検出される対象物体400の初期姿勢は,図9Aに示されているものとはわずかに異なる。この不確定性を説明するために,操作計画モジュール150は,複数の物体姿勢を選択するために(例えば,ブロック155に示すような)姿勢確率分布モデルを利用してもよい。ここで説明する確率分布モデルは,操作計画モジュール150が複数の類似物体姿勢又は運動から,いくつかの物体姿勢又は運動を選択できる,任意の適切な確率分布モデルをして構成してもよい。例えば,一つの実施例においては,姿勢確率分布モデルはガウス確率分布モジュールとして構成され,最大確率を有する物体姿勢は,ガウス確率分布モデルのピークにある。例えばベイズ分布のようなほかの分布を用いてもよい。
上述のとおり,ロボットハンド118は,計算機シミュレーションによって対象物体400(図9B参照)に向かう接近光線に沿って移動する。図9Cにおいて,指関節119及び親指関節119’は対象物体400をつかむ。把持過程において,対象物体400の初期物体姿勢は矢印Cによって示されるように変化し,新しい物体軸OA’に沿った新しい物体姿勢となる。図9Dは,元の物体軸OAと新しい物体軸OA’との間には変位角θがあることを示している。対象物体400の実際の新しい物体姿勢は不確定である。操作計画モジュール150は,対象物体400の運動方程式によって,対象物体の動的運動を計算することができる。一つの実施例においては,対象物体400を把持することによって生じる物体姿勢の計算もまた,対象物体400の運動に関する不確定性を組み込んだ確率分布モデル(例えば,基準姿勢確率分布モデル)に基づく。
次に,ロボットハンド118は矢印Dで示されるとおり,計算機シミュレーションによって対象物体400を持ち上げ,操作計画モジュール150は,ロボットハンド118が対象物体400を持ち上げる力学から生じる対象物体400の相対物体姿勢を計算する。操作計画モジュール150もまた,ロボットハンド118の持ち上げ動作から生じる対象物体400の変位を計算することができる。例えば,矢印Eによって示されるとおり,対象物体400は,持ち上げられたとき,ロボットハンド118に対してすべることがある。
把持パターン集合の把持パターンそれぞれの把持品質評点は,1又は複数の確率分布モデルの試行(sampling)から得られるいくつかの計算に基づいてもよい。実施例はまた,ロボットハンド118が把持した後の対象物体400の姿勢(すなわち,図9Dに示した基準物体姿勢)と,ロボットハンド118が持ち上げた後の対象物体400の姿勢(すなわち,図9Eに示した相対物体姿勢)とを比較することによって,把持品質評点を計算してもよい。
より詳細に言えば,一つの個別把持パターンから得られる一つの把持の品質を評価するために,1又は複数の確率分布モデルから試行して得られるわずかに異なる物体姿勢及び/又は変位を有する複数の計算が実行され,それによって物体の姿勢及び変位の不確定性が考慮できる。一つの実施例においては,複数の予備把持品質評点が,対象物体の初期姿勢,又は把持又は持ち上げの際の対象物体400の変位のいずれかに対応する1又は複数の確率モデルの試行(又は試行の組合せ)ごとに計算される。同一の確率分布モデルをこれら目的ごとに用いてもよいし,目的ごとの確率分布モデルを用いてもよい。対象物体の操作の計算ごとに,予備把持評点が生成され,すべての計算の予備把持評点を平均して,特定把持パターン用の最終把持品質評点が決定される。
例えば,予備把持評点は,姿勢確率分布モデルから選択された初期物体姿勢ごとに生成してもよい。初期物体姿勢のうちいくつかは,力拘束把持につながることがあるが,いくつかはそうならない。さらに,予備把持評点はまた,ロボットハンド118によって把持された後の,対象物体400の基準物体姿勢ごとに計算してもよいし,及び/又はロボットハンド118が持ち上げた後の,対象物体400の相対物体姿勢ごとに計算してもよい。
一つの実施例によれば,把持パターンが上首尾か不首尾かを判定するために,次の条件論理を適用してもよい。上述の1又は複数の確率分布モデルからの試行に基づく計算ごとに,試験下の対象物体400がロボットハンド118の外にある(すなわち,ロボットハンド118が物体を落とした)とき,又はロボットハンド118が持ち上げ段階の結果,2未満の関節で対象物体400と接触するとき(図9E参照),最少把持品質評点(例えばゼロ(0))が把持パターンと関係する特定の計算の予備把持評点に指定される。反対に,持ち上げ段階の後のロボットハンド118に対する対象物体400の変位が約0であり,ロボットハンド118で対象物体400を持ち上げた後,対象物体400と接触している関節119の数が,所定の接触しきい値(例えば,3関節)より大きいか,等しいとき,最大評点(例えば,1.0)を,把持パターンと関係する特定の計算の予備把持評点に指定してもよい。ロボットハンド118で対象物体400を持ち上げた後,対象物体400と接触している関節119の数が,所定の接触しきい値(例えば,3関節)より大きいか,等しいとき,かつ,ロボットハンド118で対象物体400を持ち上げた後,ロボットハンド118に対する対象物体400の変位がゼロを超え,所定の変位しきい値未満であるときは,中央評点(例えば0.5)を把持パターンと関係する特定計算の予備把持評点に適用してもよい。次に,特定把持パターンの予備把持品質評点が平均され,把持品質評点として用いられる。
上述の条件付き論理に加えて,実施例はまた,持ち上げ段階において,対象物体が持ち上げられたとき,試験下の対象物体の変位又は運動を考慮してもよい。例えば,対象物体400の基準物体姿勢は,ロボットハンド118によって対象物体400が把持された後,かつ持ち上げられる前(図9D参照)に決定してもよい。対象物体400の相対物体姿勢もまた,ロボットハンドによって対象物体400が持ち上げられた後に決定してよい(図9E参照)。
持ち上げ段階から生じる対象物体の動きは計算されるか,そうでなければ,相対物体姿勢と基準物体姿勢とを比較して決定される。例えば,持ち上げ段階における,基準物体姿勢からの相対物体姿勢の最大偏差が決定される。一つの実施例においては,試験下の対象物体400が持ち上げ段階において大きく移動したとき,把持は不安定であると考えることができ,低い把持品質評点が与えられる。逆に,持ち上げ段階において対象物体400の動きが非常に小さいときは,把持は安定であると考えることができ,利用可能な最高の把持品質評点(例えば評点1.0)が指定される。
一つの実施例においては,対象物体の質点の相対中心によって決定される物***置における偏差(すなわち,物体変位)は,物体姿勢のような対象物体の方向とは別個に考慮される。物***置(δ)及び物体方向(δ)の偏差は次の式によって計算される。
Figure 2013144355
Figure 2013144355
ここで,Pcom及びRはそれぞれ,ロボットハンド118に対する対象物体400の質点の相対中心及び方向を表す。これらパラメータの上のバーは,基準値を表す。
把持品質評点qは,これらの計算の最大偏差δMAX及び許容限度Lから得られる。
Figure 2013144355
物体の位置又は方向の最大偏差が許容限度を超えるとき,把持品質評点0が与えられる。品質計量は,物体の位置と方向とで別個に計算し,そのまま使用してもよいし,これらの計量を(例えば平均することによって)結合してもよい。
ここで説明した把持品質評点はそれぞれ別個に用いてもよいし,最終把持品質評点を決定するために結合してもよい。上述のとおり,把持品質しきい値未満の把持パターン集合の個別把持パターンは把持パターン集合から除去され,ロボットに供給されない。このようにして,ロボットはオンライン過程において,上首尾で安定な把持パターンだけを利用する。
ここで説明した実施例は,ロボットが把持すべき対象物体に関係する複数の接近光線を生成することによって,ロボットが用いる把持パターンを生成することを理解されたい。対象物体に関係する接近光線の密度は調整してもよい。さらに,所望であれば,対象物体の特定の面から接近光線を除去してもよい。そして,1又は複数の把持パターンが各接近光線と関係し,把持品質評点を決定することによって評価される。いくつかの実施例においては,把持品質評点を決定するために力拘束法が用いられる。いくつかの実施例においては,対象物体の把持及び持ち上げの際の物体の姿勢及び対象物体の力学による不確定性を説明するために,確率分布モデルが試行される。このようにして,実施例は,把持パターン集合が生成され,オフラインで自律的に評価される,操作プランナを提供する。把持パターン出力は,操作タスク用の軌道計画においてロボットが用いるために保存される。したがって,複雑な把持計画問題が静的な範囲探索問題,すなわち,複数の上首尾の把持パターンから適切な把持パターンを見付ける問題,に変換される。
ここでは特定の実施例を示し,説明したが,本願請求項に記載された発明主体の精神及び範囲から逸脱することなく,種々のほかの変更および修正を行ってもよいことを理解されたい。さらに,ここで本願請求項に記載された発明主体の種々の態様を説明したが,このような態様は組み合わせて利用する必要はない。したがって,本願の請求項は,記載された発明主体の範囲内にあるすべての変更及び修正を含むものとする。

Claims (20)

  1. ロボットが用いる把持パターンを生成する方法であって,
    対象物体と関係する複数の接近光線を生成するステップであって,該複数の接近光線の接近光線はそれぞれ,前記対象物体の表面から垂直に伸びる,ステップと,
    前記複数の接近光線と関係する前記対象物体の把持パターン集合を生成するために,前記複数の接近光線の接近光線ごとに少なくとも一つの把持パターンを生成するステップと,
    前記把持パターン集合の個別把持パターンごとに把持品質評点を計算するステップと,
    前記個別把持パターンごとの把持品質評点と,把持品質しきい値とを比較するステップと,
    前記把持品質しきい値より高い把持品質評点を有する,前記把持パターン集合の個別把持パターンを選択するステップと,
    前記の選択した個別把持パターンを,前記対象物体のオンライン操作用に前記ロボットへ供給するステップと,
    を有する方法。
  2. 個別接近光線はそれぞれ,1より多い把持パターンと関係する,請求項1に記載の方法。
  3. 前記複数の接近光線は,密度設定に従って生成される,請求項1に記載の方法。
  4. 前記把持パターン集合の個別把持パターンは,計算機シミュレーションによって生成される,請求項1に記載の方法。
  5. 個別把持パターンはそれぞれ,前記ロボットのロボットハンドの予整形設定と,前記対象物体に対する前記ロボットハンドの変形とを有する,請求項1に記載の方法。
  6. 個別把持パターンはそれぞれ,把持動作に先立つロボットハンドの予整形設定と,前記個別把持パターンと関係する個別接近光線と,前記対象物体に向かう前記ロボットハンドのスタンドオフ距離と,前記把持動作に先立つ前記ロボットハンドのロール角と,に少なくとも部分的に基づく,請求項1に記載の方法。
  7. 前記把持パターン集合の個別把持パターンはそれぞれ,
    計算機シミュレーションによって,前記予整形設定に従う,前記スタンドオフ距離及び前記ロール角に従って前記ロボットハンドと関係するロボットハンド座標系の初期位置及び方向を決定するステップと,
    前記ロボットハンドの指関節を開くステップと,
    前記ロボットハンドを前記複数の接近光線の選択された接近光線に沿って,前記ロボットハンドが前記対象物体から所定の距離に位置するまで移動させるステップであって,前記選択された接近光線は前記個別把持パターンと関係する,ステップと,
    前記ロボットハンドの前記指関節で前記対象物体をつかむステップと,
    前記ロボットハンドの前記指関節と前記対象物体との間の接触応力を決定するステップと,
    によって生成される,請求項6に記載の方法。
  8. 個別把持パターンがそれぞれ,前記ロボットハンドの前記指関節と前記対象物体との間の前記接触応力に基づく力拘束把持であるかどうかを判定するステップを更に有し,前記把持品質評点は前記接触応力に少なくとも部分的に基づく,請求項7に記載の方法。
  9. 個別把持パターンごとに,
    姿勢確率分布モデルから前記対象物体の複数の物体姿勢を選択するステップと,
    前記複数の物体姿勢の選択された物体姿勢ごとに,
    計算機シミュレーションによって,前記ロボットハンドの前記指関節で前記対象物体を把持するステップと,
    前記ロボットハンドで前記対象物体を持ち上げるステップと,
    前記ロボットハンドで前記対象物体を持ち上げるステップの後の,前記対象物体と接触している指関節の数を決定するステップと,
    前記ロボットハンドで前記対象物体を持ち上げるステップの後の,前記ロボットハンドに対する前記対象物体の変位を決定するステップと,
    前記複数の物体姿勢の個別物体姿勢ごとに予備把持品質評点を計算するステップであって,前記予備把持品質評点は更に,前記ロボットハンドで前記対象物体を持ち上げるステップの後の,前記ロボットハンドに対する前記対象物体の前記変位に少なくとも部分的に基づく,ステップと,を有するステップと,
    前記予備把持品質評点を平均して前記把持品質評点を決定するステップと,
    を更に有する,請求項7に記載の方法。
  10. 前記予備把持品質評点は,
    前記ロボットハンドで前記対象物体を持ち上げるステップの後の,前記対象物体と接触している指関節の前記数が所定の接触しきい値より小さいとき,個別予備把持品質評点に最小評点を指定するステップと,
    前記ロボットハンドで前記対象物体を持ち上げるステップの後の,前記対象物体と接触している指関節の前記数が前記所定の接触しきい値より大きいか等しく,かつ,前記ロボットハンドで前記対象物体を持ち上げるステップの後の,前記ロボットハンドに対する前記対象物体の前記変位が0より大きく,かつ,所定の変位しきい値より小さいとき,前記個別予備把持品質評点に中央評点を指定するステップと,
    前記ロボットハンドで前記対象物体を持ち上げるステップの後の,前記対象物体と接触している指関節の前記数が前記所定の接触しきい値より大きいか等しく,かつ,前記ロボットハンドで前記対象物体を持ち上げるステップの後の,前記ロボットハンドに対する前記対象物体の前記変位が0にほぼ等しいとき,前記個別予備把持品質評点に最大評点を指定するステップと,
    によって少なくとも部分的に決定される,請求項9に記載の方法。
  11. 前記対象物体を持ち上げるステップの後の,前記ロボットハンドに対する前記対象物体の前記変位は,変位確率分布モデルに基づく,請求項9に記載の方法。
  12. 選択された物体姿勢ごとに,
    前記姿勢確率分布モデルを試行することによって,前記ロボットハンドの前記指関節で前記対象物体を把持するステップの後の,前記対象物体の基準物体姿勢を決定するステップと,
    前記姿勢確率分布モデルを試行することによって,前記ロボットハンドで前記対象物体を持ち上げるステップの後の,前記対象物体の相対物体姿勢を決定するステップと,
    前記相対物体姿勢及び前記基準物体姿勢に少なくとも部分的に基づいて,前記対象物体の動きを計算するステップであって,前記予備把持品質評点は,前記対象物体の前記動きに少なくとも部分的に基づく,ステップと,
    を更に有する,請求項9に記載の方法。
  13. 前記基準物体姿勢及び前記相対物体姿勢は,前記対象物体の質点の相対中心と,前記対象物体の方向とに少なくとも部分的に基づく,請求項12に記載の方法。
  14. 個別把持パターンごとに,
    複数の計算機シミュレーションのための確率分布モジュールを試行することによって,複数の予備把持品質評点を計算するステップと,
    前記予備把持品質評点を平均することによって,前記把持品質評点を決定するステップと,
    を更に有する,請求項1に記載の方法。
  15. 前記把持品質評点は少なくとも,
    計算機シミュレーションによって,前記対象物体を前記ロボットのロボットハンドの指関節でつかむステップと,
    姿勢確率分布モデルを試行することによって,前記ロボットハンドの前記指関節で前記対象物体を把持するステップの後の,前記対象物体の基準物体姿勢を決定するステップと,
    前記ロボットハンドで前記対象物体を持ち上げるステップと,
    前記ロボットハンドで前記対象物体を持ち上げるステップの後の,前記対象物体の相対物体姿勢を決定するステップと,
    前記相対物体姿勢及び前記基準物体姿勢に少なくとも部分的に基づいて,前記対象物体の動きを計算するステップであって,前記把持品質評点は,前記対象物体の前記動きに少なくとも部分的に基づく,ステップと,
    によって計算される,請求項1に記載の方法。
  16. ロボットの把持パターンを生成するために計算装置と共に用いる計算機プログラム製品であって,
    前記計算装置によって実行したとき,把持パターンを生成するための計算機実行可能命令を記憶する計算機可読媒体が前記計算装置に,
    計算機シミュレーションによって,
    対象物体と関係する複数の接近光線を生成し,該複数の接近光線の接近光線はそれぞれ,前記対象物体の表面から垂直に伸び,
    前記複数の接近光線と関係する前記対象物体の把持パターン集合を生成するために,前記複数の接近光線の接近光線ごとに少なくとも一つの把持パターンを生成し,
    前記把持パターン集合の個別把持パターンごとに把持品質評点を計算し,
    前記個別把持パターンごとの把持品質評点と,把持品質しきい値とを比較し,
    前記把持品質しきい値より高い把持品質評点を有する,前記把持パターン集合の個別把持パターンを選択し,
    前記の選択した個別把持パターンを,前記対象物体のオンライン操作用に前記ロボットへ供給する,
    ようにさせる計算機プログラム製品。
  17. 前記複数の接近光線は密度設定に従って生成され,個別接近光線はそれぞれ,1より多い把持パターンと関係する,請求項16に記載の計算機プログラム製品。
  18. 個別把持パターンはそれぞれ,把持動作に先立つロボットハンドの予整形設定と,前記個別把持パターンと関係する個別接近光線と,前記対象物体に向かう前記ロボットハンドのスタンドオフ距離と,前記把持動作に先立つ前記ロボットハンドのロール角と,に少なくとも部分的に基づき,前記ロボットハンドは指関節を備え,
    前記計算機実行可能命令は前記計算装置に更に,前記把持パターン集合の個別把持パターンごとに,
    前記スタンドオフ距離及び前記ロール角に従って前記ロボットハンドと関係するロボットハンド座標系の初期位置及び方向を決定し,
    前記予整形設定に従って前記ロボットハンドの前記指関節を開き,
    前記ロボットハンドを前記複数の接近光線の選択された接近光線に沿って,前記ロボットハンドが前記対象物体から所定の距離に位置するまで移動させ,前記選択された接近光線は前記個別把持パターンと関係し,
    前記ロボットハンドの前記指関節で前記対象物体をつかみ,
    前記ロボットハンドの前記指関節と前記対象物体との間の接触応力を決定する,
    ようにさせる,請求項16に記載の計算機プログラム製品。
  19. 前記計算機実行可能命令は前記計算装置に更に,前記把持パターン集合の個別把持パターンごとに,
    姿勢確率分布モデルから前記対象物体の複数の物体姿勢を選択し,
    選択された物体姿勢ごとに,
    前記ロボットハンドの前記指関節によって前記対象物体を把持し,
    前記ロボットハンドで前記対象物体を持ち上げ,
    前記ロボットハンドで前記対象物体を持ち上げた後の,前記対象物体と接触している指関節の数を決定し,
    前記ロボットハンドで前記対象物体を持ち上げた後の,前記ロボットハンドに対する前記対象物体の変位を決定し,
    前記複数の物体姿勢の個別物体姿勢ごとに予備把持品質評点を計算し,前記予備把持品質評点は,前記ロボットハンドで前記対象物体を持ち上げた後の,前記ロボットハンドに対する前記対象物体の前記変位に少なくとも部分的に基づくようにし,
    前記予備把持品質評点を平均して前記把持品質評点を決定する,
    ようにさせる,請求項18に記載の計算機プログラム製品。
  20. 指関節を有するロボットハンドを備えるロボットが用いる把持パターンを生成する方法であって,
    対象物体と関係する複数の接近光線を生成するステップであって,該複数の接近光線の接近光線はそれぞれ,前記対象物体の表面から垂直に伸びる,ステップと,
    前記複数の接近光線と関係する前記対象物体の把持パターン集合を生成するために,前記複数の接近光線の接近光線ごとに少なくとも一つの把持パターンを生成するステップであって,個別把持パターンはそれぞれ,
    姿勢確率分布モデルから前記対象物体の複数の物体姿勢を選択するステップと,
    選択された物体姿勢ごとに,
    計算機シミュレーションによって,前記ロボットハンドの前記指関節で前記対象物体を把持するステップと,
    前記ロボットハンドで前記対象物体を持ち上げるステップと,
    前記ロボットハンドで前記対象物体を持ち上げるステップの後の,前記対象物体と接触している指関節の数を決定するステップと,
    前記ロボットハンドで前記対象物体を持ち上げるステップの後の,前記ロボットハンドに対する前記対象物体の変位を決定するステップと,
    前記ロボットハンドの前記指関節と前記対象物体との間の接触応力を決定するステップと,
    前記複数の物体姿勢の個別物体姿勢ごとに予備把持品質評点を計算するステップであって,前記予備把持品質評点は,前記ロボットハンドで前記対象物体を持ち上げるステップの後の,前記ロボットハンドに対する前記対象物体の前記変位に少なくとも部分的に基づく,ステップとによって少なくとも部分的に生成される,ステップと,
    前記予備把持品質評点を平均して前記把持パターンの個別把持パターンごとに把持品質評点を計算するステップと,
    前記個別把持パターンごとの把持品質評点と,把持品質しきい値とを比較するステップと,
    前記把持品質しきい値より高い把持品質評点を有する,前記把持パターン集合の個別把持パターンを選択するステップと,
    前記の選択した個別把持パターンを,前記対象物体のオンライン操作用に前記ロボットへ供給するステップと,
    を有する方法。
JP2013003473A 2012-01-13 2013-01-11 ロボットが用いる把持パターンを生成する方法及び計算機プログラム製品 Expired - Fee Related JP6039434B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/350,162 2012-01-13
US13/350,162 US9014857B2 (en) 2012-01-13 2012-01-13 Methods and computer-program products for generating grasp patterns for use by a robot

Publications (3)

Publication Number Publication Date
JP2013144355A true JP2013144355A (ja) 2013-07-25
JP2013144355A5 JP2013144355A5 (ja) 2016-10-20
JP6039434B2 JP6039434B2 (ja) 2016-12-07

Family

ID=47632753

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013003473A Expired - Fee Related JP6039434B2 (ja) 2012-01-13 2013-01-11 ロボットが用いる把持パターンを生成する方法及び計算機プログラム製品

Country Status (3)

Country Link
US (1) US9014857B2 (ja)
EP (1) EP2657863B1 (ja)
JP (1) JP6039434B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10589424B2 (en) 2016-09-29 2020-03-17 Seiko Epson Corporation Robot control device, robot, and robot system
JP2020110911A (ja) * 2019-01-08 2020-07-27 本田技研工業株式会社 物体を把持するための奥行知覚モデリング
JP2020163502A (ja) * 2019-03-28 2020-10-08 セイコーエプソン株式会社 物体検出方法、物体検出装置およびロボットシステム
JP2021037594A (ja) * 2019-09-04 2021-03-11 ファナック株式会社 ロボットシミュレーション装置

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9014850B2 (en) * 2012-01-13 2015-04-21 Toyota Motor Engineering & Manufacturing North America, Inc. Methods and computer-program products for evaluating grasp patterns, and robots incorporating the same
US9014857B2 (en) * 2012-01-13 2015-04-21 Toyota Motor Engineering & Manufacturing North America, Inc. Methods and computer-program products for generating grasp patterns for use by a robot
JP5516610B2 (ja) * 2012-01-19 2014-06-11 株式会社安川電機 ロボット、ロボットハンドおよびロボットハンドの保持位置調整方法
JP5977544B2 (ja) * 2012-03-09 2016-08-24 キヤノン株式会社 情報処理装置、情報処理方法
JP6000579B2 (ja) 2012-03-09 2016-09-28 キヤノン株式会社 情報処理装置、情報処理方法
JP5975685B2 (ja) 2012-03-09 2016-08-23 キヤノン株式会社 情報処理装置、情報処理方法
US9095978B2 (en) * 2012-12-07 2015-08-04 GM Global Technology Operations LLC Planning a grasp approach, position, and pre-grasp pose for a robotic grasper based on object, grasper, and environmental constraint data
DE102013106819B4 (de) * 2013-06-28 2018-07-12 Ferrobotics Compliant Robot Technology Gmbh Verfahren zum robotergestützten Stapeln von Gegenständen
US9517561B2 (en) * 2014-08-25 2016-12-13 Google Inc. Natural pitch and roll
DE102014223167A1 (de) * 2014-11-13 2016-05-19 Kuka Roboter Gmbh Bestimmen von objektbezogenen Greifräumen mittels eines Roboters
US9492923B2 (en) * 2014-12-16 2016-11-15 Amazon Technologies, Inc. Generating robotic grasping instructions for inventory items
US9440353B1 (en) 2014-12-29 2016-09-13 Google Inc. Offline determination of robot behavior
CN104709709A (zh) * 2015-02-17 2015-06-17 苏州博众精工科技有限公司 夹取装置
JP6651707B2 (ja) * 2015-04-10 2020-02-19 セイコーエプソン株式会社 ロボット、制御装置、及び制御方法
JP6493013B2 (ja) * 2015-06-25 2019-04-03 富士通株式会社 指モデル検証プログラム、指モデル検証方法、および情報処理装置
JP6711591B2 (ja) * 2015-11-06 2020-06-17 キヤノン株式会社 ロボット制御装置およびロボット制御方法
US9914214B1 (en) * 2016-02-22 2018-03-13 X Development Llc Preshaping for underactuated fingers
US9987745B1 (en) 2016-04-01 2018-06-05 Boston Dynamics, Inc. Execution of robotic tasks
US9821458B1 (en) 2016-05-10 2017-11-21 X Development Llc Trajectory planning with droppable objects
CA3029968C (en) 2016-07-18 2024-06-04 Lael Odhner Training robotic manipulators
US10131051B1 (en) * 2016-08-12 2018-11-20 Amazon Technologies, Inc. Anticipation-based robotic object grasping
JP2018034242A (ja) * 2016-08-31 2018-03-08 セイコーエプソン株式会社 ロボット制御装置、ロボット、及びロボットシステム
JP6418359B1 (ja) * 2017-03-24 2018-11-07 三菱電機株式会社 ロボットプログラムの生成装置及び生成方法
US10449671B2 (en) 2017-04-04 2019-10-22 Toyota Research Institute, Inc. Methods and systems for providing robotic operation constraints for remote controllable robots
CA3071332A1 (en) * 2017-07-25 2019-01-31 Mbl Limited Systems and methods for operations a robotic system and executing robotic interactions
EP3441201B1 (en) * 2017-08-08 2023-01-18 Siemens Healthcare GmbH Method for operating a robot and robotic system
JP7028092B2 (ja) * 2018-07-13 2022-03-02 オムロン株式会社 把持姿勢評価装置及び把持姿勢評価プログラム
US11440183B2 (en) * 2019-03-27 2022-09-13 Abb Schweiz Ag Hybrid machine learning-based systems and methods for training an object picking robot with real and simulated performance data
US11813758B2 (en) * 2019-04-05 2023-11-14 Dexterity, Inc. Autonomous unknown object pick and place
US11331799B1 (en) * 2019-12-31 2022-05-17 X Development Llc Determining final grasp pose of robot end effector after traversing to pre-grasp pose
CN111482961A (zh) * 2020-03-31 2020-08-04 广州富港万嘉智能科技有限公司 机械手移动的定位控制方法、计算机可读存储介质及带机械手的设备
US11701777B2 (en) * 2020-04-03 2023-07-18 Fanuc Corporation Adaptive grasp planning for bin picking
JP7375684B2 (ja) 2020-06-22 2023-11-08 オムロン株式会社 ねじ締め装置
US20220297312A1 (en) * 2021-03-18 2022-09-22 Dexterity, Inc. Multi-mode robotic end effector
US11745347B2 (en) 2021-03-19 2023-09-05 Nvidia Corp. Method for assessing the quality of a robotic grasp on 3D deformable objects
CN113103227B (zh) * 2021-03-26 2022-12-02 北京航空航天大学 抓握姿态采集方法及抓握姿态采集***
CN113492409B (zh) * 2021-09-07 2021-11-23 国网瑞嘉(天津)智能机器人有限公司 配网带电作业机器人抓线方法、装置、电子设备及介质
CN113762157A (zh) * 2021-09-08 2021-12-07 中建钢构工程有限公司 一种基于视觉识别的机器人分拣方法及存储介质
US20230256602A1 (en) * 2022-02-17 2023-08-17 Fanuc Corporation Region-based grasp generation
CN114619447B (zh) * 2022-03-16 2023-12-22 梅卡曼德(北京)机器人科技有限公司 抓取方法、抓取装置及机器人
KR20240076571A (ko) * 2022-11-22 2024-05-30 삼성전자주식회사 듀얼 핑거를 이용하여 오브젝트를 그립하는 로봇 및 그의 오브젝트 그립 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4980626A (en) * 1989-08-10 1990-12-25 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Method and apparatus for positioning a robotic end effector
US20060012198A1 (en) * 2004-04-12 2006-01-19 Strider Labs, Inc. System and method for computing grasps for a robotic hand with a palm
JP2008049459A (ja) * 2006-08-28 2008-03-06 Toshiba Corp マニピュレータ制御システム、マニピュレータ制御方法およびプログラム
JP2009056513A (ja) * 2007-08-29 2009-03-19 Toshiba Corp 把持位置姿勢決定システムおよび把持位置姿勢決定方法

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3985238A (en) 1973-03-17 1976-10-12 Daikin Kogyo Co., Ltd. Industrial robot
DE2530261C2 (de) 1974-10-22 1986-10-23 Asea S.p.A., Mailand/Milano Programmiereinrichtung für einen Manipulator
JPS5840761B2 (ja) 1978-12-20 1983-09-07 工業技術院長 人間腕形マニピュレ−タの制御装置
JPS5766887A (en) 1980-10-08 1982-04-23 Fujitsu Fanuc Ltd Hand for industrial robot
EP0075792B1 (en) 1981-09-24 1987-08-26 Hitachi, Ltd. Control system for robot hand
CA1216343A (en) 1983-05-02 1987-01-06 Tomohiro Murata Method and apparatus for controlling an operation sequence of a machinery
US5023808A (en) 1987-04-06 1991-06-11 California Institute Of Technology Dual-arm manipulators with adaptive control
US4762455A (en) 1987-06-01 1988-08-09 Remote Technology Corporation Remote manipulator
US5038089A (en) 1988-03-23 1991-08-06 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Synchronized computational architecture for generalized bilateral control of robot arms
JP2676397B2 (ja) 1989-01-05 1997-11-12 株式会社エイ・ティ・アール視聴覚機構研究所 動的システムの運動軌道生成方法
US4974210A (en) 1989-05-01 1990-11-27 General Electric Company Multiple arm robot with force control and inter-arm position accommodation
US5325468A (en) * 1990-10-31 1994-06-28 Sanyo Electric Co., Ltd. Operation planning system for robot
US5336982A (en) 1993-03-24 1994-08-09 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Dual-arm generalized compliant motion with shared control
JP4119080B2 (ja) 2000-11-17 2008-07-16 本田技研工業株式会社 人間型ロボットの腕構造
WO2002049410A2 (en) 2000-12-15 2002-06-20 Cyberoptics Corporation Board align image acquisition device with improved interface
EP1475198B1 (en) 2002-01-18 2007-05-23 Honda Giken Kogyo Kabushiki Kaisha Controller of legged mobile robot
EP2070487B1 (en) 2002-08-13 2014-03-05 NeuroArm Surgical, Ltd. Microsurgical robot system
US7386365B2 (en) 2004-05-04 2008-06-10 Intuitive Surgical, Inc. Tool grip calibration for robotic surgery
WO2004114037A2 (en) 2003-06-20 2004-12-29 Fanuc Robotics America, Inc. Multiple robot arm tracking and mirror jog
DE102004026813A1 (de) 2004-06-02 2005-12-29 Kuka Roboter Gmbh Verfahren und Vorrichtung zum Steuern von Handhabungsgeräten
JP4027350B2 (ja) 2004-06-29 2007-12-26 ファナック株式会社 ロボットの待機位置復帰プログラム作成装置
WO2006054443A1 (ja) 2004-11-17 2006-05-26 Thk Co., Ltd. ロボット関節構造、ロボットフィンガ
US7245975B2 (en) 2005-04-20 2007-07-17 Parker-Hannifin Corporation Skew compensation
JP2007090448A (ja) 2005-09-27 2007-04-12 Honda Motor Co Ltd 二次元コード検出装置及びそのプログラム、並びに、ロボット制御情報生成装置及びロボット
JP4056080B2 (ja) * 2006-01-13 2008-03-05 松下電器産業株式会社 ロボットアームの制御装置
JP4801534B2 (ja) 2006-08-30 2011-10-26 本田技研工業株式会社 ロボット関節機構
CN101687321B (zh) * 2007-07-05 2012-08-08 松下电器产业株式会社 机器人手臂的控制装置及控制方法、机器人及控制程序
JP5003336B2 (ja) * 2007-07-31 2012-08-15 ソニー株式会社 検出装置、ロボット装置、および入力装置
JP2009066685A (ja) * 2007-09-11 2009-04-02 Sony Corp ロボット装置及びロボット装置の制御方法
JP5187552B2 (ja) * 2007-09-13 2013-04-24 ソニー株式会社 制御装置および方法、プログラム並びに記録媒体
JP5448326B2 (ja) * 2007-10-29 2014-03-19 キヤノン株式会社 把持装置および把持装置制御方法
JP4249794B1 (ja) * 2007-10-29 2009-04-08 ファナック株式会社 ワーク搬送用ロボットの制御装置
JP4560658B2 (ja) 2007-12-10 2010-10-13 本田技研工業株式会社 脚式移動ロボットの制御装置
US8244402B2 (en) * 2009-09-22 2012-08-14 GM Global Technology Operations LLC Visual perception system and method for a humanoid robot
KR20110041950A (ko) 2009-10-16 2011-04-22 삼성전자주식회사 여유자유도 제어를 이용한 로봇의 교시 및 재현 방법
JP5528095B2 (ja) 2009-12-22 2014-06-25 キヤノン株式会社 ロボットシステム、その制御装置及び方法
JP2011200948A (ja) * 2010-03-24 2011-10-13 Sony Corp 把持判別装置および把持判別方法
US9014857B2 (en) * 2012-01-13 2015-04-21 Toyota Motor Engineering & Manufacturing North America, Inc. Methods and computer-program products for generating grasp patterns for use by a robot

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4980626A (en) * 1989-08-10 1990-12-25 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Method and apparatus for positioning a robotic end effector
US20060012198A1 (en) * 2004-04-12 2006-01-19 Strider Labs, Inc. System and method for computing grasps for a robotic hand with a palm
JP2008049459A (ja) * 2006-08-28 2008-03-06 Toshiba Corp マニピュレータ制御システム、マニピュレータ制御方法およびプログラム
JP2009056513A (ja) * 2007-08-29 2009-03-19 Toshiba Corp 把持位置姿勢決定システムおよび把持位置姿勢決定方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10589424B2 (en) 2016-09-29 2020-03-17 Seiko Epson Corporation Robot control device, robot, and robot system
JP2020110911A (ja) * 2019-01-08 2020-07-27 本田技研工業株式会社 物体を把持するための奥行知覚モデリング
US11185978B2 (en) 2019-01-08 2021-11-30 Honda Motor Co., Ltd. Depth perception modeling for grasping objects
JP7050740B2 (ja) 2019-01-08 2022-04-08 本田技研工業株式会社 物体を把持するための奥行知覚モデリング
JP2020163502A (ja) * 2019-03-28 2020-10-08 セイコーエプソン株式会社 物体検出方法、物体検出装置およびロボットシステム
JP7275759B2 (ja) 2019-03-28 2023-05-18 セイコーエプソン株式会社 物体検出方法、物体検出装置およびロボットシステム
JP2021037594A (ja) * 2019-09-04 2021-03-11 ファナック株式会社 ロボットシミュレーション装置
JP7348001B2 (ja) 2019-09-04 2023-09-20 ファナック株式会社 ロボットシミュレーション装置

Also Published As

Publication number Publication date
EP2657863B1 (en) 2017-12-13
US20130184870A1 (en) 2013-07-18
EP2657863A2 (en) 2013-10-30
JP6039434B2 (ja) 2016-12-07
EP2657863A3 (en) 2016-04-06
US9014857B2 (en) 2015-04-21

Similar Documents

Publication Publication Date Title
JP6039434B2 (ja) ロボットが用いる把持パターンを生成する方法及び計算機プログラム製品
JP2013144355A5 (ja)
US9375839B2 (en) Methods and computer-program products for evaluating grasp patterns, and robots incorporating the same
JP6921151B2 (ja) ロボットの把持のための深層機械学習方法および装置
JP6807949B2 (ja) 干渉回避装置
JP7196279B2 (ja) 傾きが未知のペグ・イン・ホール・タスクの実行
Kruse et al. A sensor-based dual-arm tele-robotic system
US10279476B2 (en) Method and system for programming a robot
KR102159847B1 (ko) 로봇을 이용한, 물체와 관련된 파지 공간의 결정
Lampe et al. Acquiring visual servoing reaching and grasping skills using neural reinforcement learning
US20150239127A1 (en) Visual debugging of robotic tasks
JP2019214084A (ja) 経路計画装置、経路計画方法、及び経路計画プログラム
JP2010179443A (ja) 把持位置計算装置及び把持位置計算方法
WO2021033486A1 (ja) モデル生成装置、モデル生成方法、制御装置及び制御方法
JP2023059828A (ja) マシンテンディングのための把握生成
CN114516060A (zh) 用于控制机器人装置的设备和方法
Sarantopoulos et al. Human-inspired robotic grasping of flat objects
JP2017205819A (ja) ロボット、制御装置、及びロボットシステム
Seredyński et al. Grasp planning taking into account the external wrenches acting on the grasped object
WO2020012712A1 (ja) 把持姿勢評価装置及び把持姿勢評価プログラム
JP7452657B2 (ja) 制御装置、制御方法及びプログラム
Kennel-Maushart et al. Multi-arm payload manipulation via mixed reality
Ruiz Garate et al. An approach to object-level stiffness regulation of hand-arm systems subject to under-actuation constraints
Lin Embedding Intelligence into Robotic Systems-Programming, Learning, and Planning
Pichler et al. User centered framework for intuitive robot programming

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150520

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150520

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160308

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160607

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20160830

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161004

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161104

R150 Certificate of patent or registration of utility model

Ref document number: 6039434

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees