JP6364856B2 - ロボット - Google Patents

ロボット Download PDF

Info

Publication number
JP6364856B2
JP6364856B2 JP2014061478A JP2014061478A JP6364856B2 JP 6364856 B2 JP6364856 B2 JP 6364856B2 JP 2014061478 A JP2014061478 A JP 2014061478A JP 2014061478 A JP2014061478 A JP 2014061478A JP 6364856 B2 JP6364856 B2 JP 6364856B2
Authority
JP
Japan
Prior art keywords
hand
unit
finger
grip
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014061478A
Other languages
English (en)
Other versions
JP2015182184A (ja
Inventor
智紀 原田
智紀 原田
橋本 浩一
浩一 橋本
翔悟 荒井
翔悟 荒井
賢悟 山口
賢悟 山口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2014061478A priority Critical patent/JP6364856B2/ja
Priority to CN201510116563.1A priority patent/CN104942804A/zh
Priority to US14/663,897 priority patent/US9527209B2/en
Publication of JP2015182184A publication Critical patent/JP2015182184A/ja
Priority to US15/345,964 priority patent/US20170050316A1/en
Application granted granted Critical
Publication of JP6364856B2 publication Critical patent/JP6364856B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1612Programme controls characterised by the hand, wrist, grip control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00Gripping heads and other end effectors
    • B25J15/0033Gripping heads and other end effectors with gripping surfaces having special shapes
    • B25J15/0042V-shaped gripping surfaces
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39476Orient hand relative to object
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39487Parallel jaws, two fingered hand
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40053Pick 3-D object from pile of objects
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40583Detect relative position or orientation between gripper and currently handled object
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40607Fixed camera to observe workspace, object, workpiece, global

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Manipulator (AREA)

Description

本発明は、ロボットに関する。
ロボットによる、金属光沢を有する物体のビンピッキングのニーズが高まっている。ビンピッキングとは、乱雑に積み重ねられた複数の物体の中から1つの物体を順次把持して指定の場所に運ぶことをいう。金属光沢がある物体は、例えば、金属製のボルトである。平面に乱雑に積み重ねられている物体をピッキングする場合、その平面に垂直な高さ方向(Z方向)の情報を要する。そこで、汎用のカメラで平面に交差する方向に撮像した画像を用いて、その平面に積み重ねられた金属光沢を有する物体の1つを検出することが試みられてきた。その際、撮像された画像について画像処理を行っても対象物を正確に認識することができず、検出した位置や姿勢の誤差が大きくなることがあった。そのため、ロボットによる画像に基づくビンピッキングは困難であったと考えられてきた。他方、作業現場では、ボルトのように金属光沢がある対象物を取り扱う場合、専用のパーツフィーダーを用いて姿勢を調整して、物体の取り分けが行われることがあった。
特開2009−128201号公報
しかしながら、1つのパーツフィーダーでは、1度に多くの種類の物体を扱うことが困難であるために、種類ごとのパーツフィーダーが用いることがあった。個々のパーツフィーダーを設置するための空間的コスト、個々のパーツフィーダーを取り扱うための時間的なコストが多くなることがあった。
本発明は、上記問題に鑑みてなされたものであり、金属光沢がある物体を確実に把持することができるロボットを提供することを課題とする。
本発明の一態様は、物体を把持するハンドと、前記ハンドを動作させる制御部と、を含み、前記ハンドは、前記物体を4点以上の接触点で把持可能な指部を備え、前記ハンドで、メタリック感指標が5以上である前記物体を把持する、ロボットである。
この構成によれば、指部は4点以上の接触点で物体を挟持することができるので、乱雑に積まれた金属光沢のある物体を安定して把持することができる。
本発明の一態様は、上記のロボットであって、前記制御部は、前前記物体を撮像した三次元点群に基づいて前記物体の位置及び姿勢を算出する位置姿勢算出部と、
前記物体の長手方向と前記物体の撮像方向とに直交する方向に、前記指部の開閉方向を定める把持計画部と、を備える。
この構成によれば物体の撮像方向と指部の開閉方向が直交するため、撮像データによる物体の位置の撮像方向の誤差が他の方向よりも大きく、指部の開閉方向の誤差が他の方向よりも小さいときでも、誤差の累積が特定の方向に集中しない。また、物体の長手方向に直交する方向に指部が開閉するため、ハンドは、その物体を確実に把持することができる。
本発明の一態様は、上記のロボットにおいて、前記把持計画部は、前記物体の長手方向に垂直、かつ、前記物体が積み重ねられた平面に対して平行な成分を有しない方向に前記物体の位置より予め定めた距離離れた点から、前記ハンドを前記物体に接近させる。
この構成によれば、ハンドは、把持対象の物体とその物体が積み重ねられた平面に対して平行な成分を有しない方向に前記物体の位置より予め定めた距離離れた点を起点として、その物体に接近する。ハンドがその物体やその物体が積み重ねられた平面に接触する可能性を低減することができるので、その物体を確実に把持することができる。
本発明の一態様は、上記のロボットにおいて、前記把持計画部は、前記平面と前記物体の長手方向との間の角度が所定の角度の閾値以上のとき、前記平面に対する前記物体の長手方向の傾きと同じ方向に、前記指部を前記平面に直交する方向から傾ける。
この構成によれば、物体が積み重ねられた平面からの物体の傾きが大きい場合、その傾きに応じて指部の開閉方向が、物体の長手方向に直交する方向により近い方向に傾けられる。そのため、ハンドを物体の長手方向に直交する方向から接近させた場合でも、その物体を確実に把持することができる。
本発明の一態様は、上記のロボットにおいて、前記制御部は、前記ハンドが前記物体を把持する力を変化させることにより前記物体の姿勢を調整する姿勢制御部と、を備える。
この構成によれば、把持された物体の姿勢が自律的に調整されるため、調整に係る人手による作業を省略又は軽減することができる。
本発明の一態様は、前記指部は、前記物体に関してケージング及びセルフアライメントが可能な形状及び大きさを有する。
この構成によれば、物体の姿勢を調整する際、ハンドが物体を把持する力を減少させることにより、物体にかかる重力を活用できる。また、ハンドが物体を把持する力を増加させることにより、一対の指部が対向する面の形状に応じて物体の姿勢を調整することができる。
また、本発明の一態様は、円柱に近似可能な形状を有する物体を把持するハンドと、前記ハンドを動作させる制御部と、を含み、前記ハンドは、前記物体を4点以上の接触点で把持可能な指部を備え、前記制御部は、前記物体を撮像する撮像部が接続され、前記撮像部が前記物体を撮像して取得された三次元点群に基づいて前記物体の位置及び姿勢を算出する位置姿勢算出部と、前記円柱の中心軸に沿った第1方向と、前記物体の撮像方向とに直交する第2方向に、前記指部の開閉方向を定める把持計画部と、を含み、前記把持計画部は、前記物体が積み重ねられた平面と前記第1方向のなす角度が所定の角度の閾値以上のとき、前記平面に対する前記第1方向の傾きと同じ方向に、前記指部を前記平面に直交する方向から傾け、前記第1方向に垂直、かつ、前記平面に対して平行な成分を有しない第3方向に前記物体の位置より予め定めた距離離れた点から、前記ハンドを前記物体に接近させる、ロボットである。
本発明の実施形態に係るロボットシステムの概略斜視図である。 本実施形態に係るロボットの構成を示す概略ブロック図である。 本実施形態に係るロボット制御処理を示すフローチャートである。 二次元画像の一例を示す図である。 対象物の形状を近似するモデルの一例を示す図である。 本実施形態に係る位置姿勢推定処理を示すフローチャートである。 本実施形態に係る把持難易度算出処理を示すフローチャートである。 本実施形態に係る把持計画処理を示すフローチャートである。 本実施形態に係る把持計画処理におけるハンドと対象物の位置関係の例を示す図である。 本実施形態に係る方向確認処理を説明するための図である。 本実施形態に係る姿勢制御におけるハンドの指部と対象物の位置関係の例を示す図である。 本実施形態に係るハンドの構成を示す概略図である。 本実施形態に係る爪部の開閉機構を説明する図である。 本実施形態に係る爪部が把持可能な物体を説明する図である。 本実施形態に係る把持可能な最大の大きさと爪部形状のパラメーターとの関係を説明する図である。 本実施形態に係る爪部の頂点と部品との関係により把持可能な部品の大きさを説明する図である。 本実施形態に係る爪部の頂点と部品との関係を説明する図である。 本実施形態に係る爪部を閉じた時に把持可能な部品の大きさを説明する図である。 本実施形態に係る爪部により把持可能な部品の最小の大きさの算出を説明する図である。 本実施形態に係るケージング領域のパラメーターを説明する図である。 本実施形態に係るケージング領域の形状と各パラメーターを説明する図である。 本実施形態に係るケージング領域のx方向の距離がc21の場合を説明する図である。 本実施形態に係るケージング領域のx方向の距離がc22の場合を説明する図である。 本実施形態に係るケージング領域のx方向の距離がc23の場合を説明する図である。 本実施形態に係るケージング領域のx方向の距離がc24の場合を説明する図である。 本実施形態に係るケージング可能な最大の大きさと距離c、c、climの関係を説明する図である。 本実施形態に係るセルフアライメントの条件を説明する図である。 本実施形態に係る爪部から部品に加わる力を説明する図である。 本実施形態に係る部品の半径と頂点の関係を説明する図である。 本実施形態の変形例に係るロボットシステムの構成を示す図である。
以下、本発明の実施形態について、図面を参照して詳細に説明する。
各図における部品や構造等の縮尺は、図を明瞭なものとするために実際のものとは異なっていることがある。
図1は、本実施形態に係るロボットシステム1の概略斜視図である。
図1に示すように、ロボットシステム1は、ロボット10及び撮像装置80を備える。
ロボット10は、動作機構12、基台50、及び制御部60を備える。動作機構12は、アーム20及びハンド40を含んで構成される。
ロボット10は、アーム20とハンド40との連係した動作によって6軸の自由度を有する垂直多関節ロボットである。ロボット10は、ハンド40が把持する対象物Wkの位置および姿勢を自在に変更することができる。
アーム20は、その一端にハンド40が接続される。アーム20の他端は、基台50に固定されている。アーム20は、その一端よりも他端に近い位置と、他端よりも一端に近い位置のそれぞれに関節部を備える。それぞれの関節部の回転により、アーム20の一端に接続されたハンド40の位置が制御される。
ハンド40は、2つの指部41、42及び支持部材520を備える。指部41、42の基端は、それぞれ支持部材520に支持される。これに対し、指部41、42の先端は、指部41、42の長手方向に平行な面内で、互いに近接することや遠ざかることができる。以下の説明では、互いに近接すること、遠ざかることを、それぞれ「閉じる」、「開く」と呼び、「閉じる」ことと「開く」ことを「開閉」と呼ぶことがある。
ハンド40は、指部41、42の先端を開き、対象物Wkを挟むことができる位置に移動した後、指部41、42の先端を閉じる。この動作によって、ハンド40は、対象物Wkを把持することができる。また、ハンド40は、対象物Wkを把持したまま移動することにより、対象物Wkを搬送することができる。指部41、42の構成については、後述する。
支持部材520は、アーム20の一端が延在する方向に回転軸を有し、回転軸周りに回転可能に支持されている。支持部材520が回転することにより、指部41、42の先端が開閉する方向(開閉方向)が、回転軸周りに変更される。
支持部材520には、対象物Wkを把持する力とモーメントを検出する検出部63(図2)が備えられている。検出部63は、例えば、圧力センサーである。検出部63は、検出した力とモーメントを示す負荷信号を制御部60に出力する。この構成により、指部41、42の開閉方向へのハンド40の位置や姿勢の制御誤差は、支持部材520の回転軸の方向への制御誤差よりも小さくなる。
なお、ロボット10は、指部41、42間の開き角、支持部材520の回転角、アーム20の関節部の回転角をそれぞれ検出するエンコーダー(図示せず)を備える。エンコーダーは、検出した開き角、回転角、等を示す検出信号を生成し、生成した検出信号を制御部60に出力する。
基台50は、底面に対して固定され、動作機構12を支持する。また、基台50は、制御部60を格納する。
制御部60は、アーム20とハンド40のいずれか又は両者の動作を制御する。制御部60は、例えば、アーム20を動作させて対象物Wkの近傍にハンド40を移動させ、支持部材520に対象物Wkを把持させる。制御部60には、検出部63(図2)から負荷信号が入力され、エンコーダーから検出信号が入力され、撮像装置80から画像データが入力される。制御部60は、入力された負荷信号、検出信号、及び画像データを、アーム20及びハンド40の動作の制御に用いる。制御部60の構成については、後述する。
撮像装置80は、所定の三次元の撮像領域内の被写体の三次元形状を表す三次元点群を撮像し、撮像した三次元点群を示す三次元点群データを生成する。撮像装置80は、生成した三次元点群データを制御部60に出力する。撮像装置80は、例えば、形状検査用三次元センサーである。
図示の例では、撮像装置80の光学軸が、水平面に平行な作業台Tbの表面に対して垂直(下方)に向くように設置される。撮像領域には、被写体として複数の対象物Wkが作業台Tb上に乱雑に積み重ねられている。なお、以下の説明では、作業台Tbの表面を作業平面と呼ぶ。
撮像装置80が生成した三次元点群データは、例えば、その三次元の形状を所定の解像度でサンプリングした複数のサンプル点毎の位置情報で形成されるデータである。各サンプル点のサンプル点データは、被写体の表面をサンプリングした三次元空間内の直交座標(x,y,z)を示す。つまり、サンプル点データは、被写体の表面をサンプリングしたサンプル点毎の位置を示すデータである。撮像装置80は、例えば、位相シフト法を用いて被写体表面の三次元座標を画素毎に計測する。z方向は、撮像装置80の光学軸の方向であり、x方向、y方向は、それぞれz方向に垂直な方向である。図1に示す例では、z方向は左方、y方向は奥行方向、z方向は下方である。位相シフト法で計測されたサンプル点のx座標、y座標の精度は比較的高いが(例えば、誤差±1mm程度)、z座標の精度が比較的低い(例えば、±5mm程度)。位相シフト法については、後述する。なお、(x,y,z)は、撮像装置80又は作業平面を基準とした座標系(作業平面座標系)と呼び、他の座標系と区別する。
また、撮像装置80は、その撮像領域内の被写体の二次元の形状を表す二次元画像を撮像する。撮像した二次元画像を表す二次元画像データを生成する。
撮像した二次元画像は、上述の三次元点群を撮像装置80の光学軸に交差する平面に射影して形成された画像に相当する。つまり、二次元画像は、三次元点群と同一の撮像領域内の同一の被写体を表す画像であって、それぞれの撮像領域が対応付けられる。撮像装置80は、撮像した二次元画像を示す二次元画像データを制御部60に出力する。以下の説明では、二次元画像データと三次元点群データを、単に「画像データ」と総称する。
次に、本実施形態に係るロボット10の構成について説明する。
図2は、本実施形態に係るロボット10の構成を示す概略ブロック図である。
ロボット10は、動作機構12、制御部60、入力部61、記憶部62、及び検出部63を含んで構成される。
入力部61は、撮像装置80から入力された画像データを制御部60に出力する。入力部61は、例えば、入力インタフェースである。
記憶部62は、制御部60で行われる処理に用いるデータ、処理により生成されたデータを記憶する。記憶部62は、例えば、RAM(Random Access Memory)である。
制御部60は、画像データ取得部601、位置姿勢推定部(位置姿勢算出部)602、把持難易度算出部603、把持計画部604、方向確認部605、及び姿勢制御部606を含んで構成される。
画像データ取得部601には、撮像装置80から入力部61を介して二次元画像データと三次元点群データが入力される。画像データ取得部601は、入力された二次元画像データの撮像領域から所定の大きさの注目領域を定める。注目領域は、一度に処理の対象となる長方形の領域であって、対象物Wkが含まれると推定される領域である。注目領域の一辺の長さは、例えば、対象物Wkの長さlの1〜1.5倍、他辺の長さは、対象物Wkの頭部の半径rの3〜4倍である。
画像データ取得部601は、入力された二次元画像データから、選択した注目領域内の二次元画像を示す二次元画像データを抽出する。また、画像データ取得部601は、入力された三次元点群データから、選択した注目領域に対応する3次元の領域内の三次元点群を示す三次元点群データを抽出する。
入力された二次元画像データが示す二次元画像の撮像領域には複数の注目領域の候補が含まれ得る。画像データ取得部601は、それらの候補のいずれかを注目領域として選択する。注目領域を選択する際、画像データ取得部601は、二次元画像を二値化することにより、画素毎の輝度値が所定の閾値よりも大きい明領域を抽出する。画像データ取得部601は、注目領域の候補のそれぞれから輝度値が所定の閾値よりも大きい連続した明領域を抽出し、抽出した明領域の大きさ、形状がそれぞれ所定の範囲内である注目領域の候補のいずれかを選択する。これにより、所定の対象物Wkが撮像装置80に対面する面積が大きい方向に向けられ、所定の対象物Wkが所在する可能性が高い領域が注目領域として選択される。明領域の大きさ、形状の範囲は、対象物Wkの側面の大きさ、形状に基づいて予め定めておく。
位置姿勢推定部602は、画像データ取得部601で抽出された三次元点群データから、例えば、RANSAC(Random Sample Consensus)法を用いて対象物Wkの位置及び姿勢の組を複数セット推定する。対象物Wkの姿勢は、その長手方向である中心軸の方向で表される。位置姿勢推定部602が対象物Wkの位置及び姿勢を推定する処理(位置姿勢推定処理)の例については、後述する。
把持難易度算出部603は、画像データ取得部601で抽出された三次元点群データが示す対象物Wkの把持難易度を、位置姿勢推定部602で推定された位置、姿勢のセットのそれぞれについて算出する。把持難易度は、4つのパラメーターである第1評価指標値〜第4評価指標値を積算することにより算出される。把持難易度は、0から1の間の実数であり、その値が大きいほど把持が困難であり、値が小さいほど把持が容易であることを示す。また、第1評価指標値〜第4評価指標値も、それぞれ0から1の間の値をとる。
把持難易度算出部603は、算出した把持難易度が最も小さいセットの位置及び姿勢を選択する。把持難易度算出処理の例については、後述する。
把持計画部604は、把持難易度算出部603で選択された位置及び姿勢に基づいてハンド40を用いて対象物Wkを把持するための把持計画を行う。把持計画において、把持計画部604は、推定された姿勢(対象物Wkの中心軸の方向)と位置(把持位置P)に基づいて把持準備点P’を定める。把持準備点P’は、中心軸の方向y’に垂直であって作業平面に対して平行な成分を有しない方向z’に、把持位置Pから予め定めた距離だけ作業平面から遠ざかるように離れた位置の点である。これにより、把持準備点P’は、対象物Wkと作業平面の両者から離れた方向に設定される。そのため、ハンド40を、把持準備点P’を把持位置Pに接近(アプローチ)させるときに作業平面及び対象物Wkに接触するリスクを低減することができる。
また、把持計画部604は、中心軸の方向y’に直交する方向であって、作業平面に平行な方向x’をハンド40の指部41、42の開閉方向z”と定める。
上述したように、開閉方向z”へのハンド40の位置や姿勢の制御誤差は、開閉方向z”に直交する方向x”、y”への制御誤差よりも小さくなることがある。他方、3次元点群から定められた対象物Wkの位置及び姿勢では、作業平面に平行なx方向、y方向(x’方向が含まれる)の誤差が、z方向よりも小さくなることがある。そのため、累積された制御誤差が特定の方向に集中せずに平準化されるため、対象物Wkの安定した把持が可能になる。
また、把持計画部604は、作業平面と推定した対象物Wkの中心軸との間の角度θが所定の角度の閾値以上のとき、角度θが大きいほど大きくなり、かつ角度θを超えないようにハンド40の傾き角θ’を定める。傾き角θ’は、zの負方向(作業平面に直交)から作業平面に対する中心軸の方向y’の傾きと同じ方向に、ハンド40の基準線を傾ける角度である。ハンド40の基準線の方向は、指部41、42が閉じた状態における指部41、42の長手方向に相当する。この基準線の方向は、開閉方向z”に直交する方向である。これにより、作業平面からの対象物Wkの中心軸の傾きが大きい場合でも、その傾きに応じて指部41、42の開閉方向が、対象物Wkの中心軸に直交する方向により近い方向に傾けられる。ハンド40を対象物Wkの中心軸に直交する方向から接近させた場合でも、対象物Wkの把持に成功する可能性を高くすることができる。なお、把持計画に係る処理(把持計画処理)については後述する。
方向確認部605は、画像データ取得部601で取得された二次元画像データに基づいて対象物Wkの一端に備えられた頭部の向きがy’軸の正方向から負方向かを確認する。方向確認部605は、画像データ取得部601で二値化した二次元画像のうち、注目領域に相当する領域を特定する。特定した領域には、対象物Wkを表す明領域が含まれる。方向確認部605は、特定した領域に含まれる明領域のうちy’座標が最も大きい画素(画素y)と、y’座標が最も小さい画素(画素y)とを検出する。方向確認部605は、検出した画素y、yのそれぞれ予め定めた範囲(半径r’)に含まれる明領域の面積(画素数)s、sをそれぞれ計数する。方向確認部605は、計数した面積が大きい画素の方に対象物Wkの頭部が向けられていると判定する。
姿勢制御部606は、ハンド40に対象物Wkを把持させ、方向確認部605で判定した対象物Wkの頭部の方向をzの負方向に向ける。
姿勢制御部606は、ハンド40の指部41、42を開閉し、対象物Wkを把持する力を増減することによって、対象物Wkの把持姿勢を制御する。ハンド40の指部41、42の開閉や、把持する力の増減により対象物Wkの姿勢や位置を制御することを姿勢制御と呼ぶことがある。
姿勢制御には、ケージングとセルフアライメントとが含まれる。ケージングにおいて、姿勢制御部606は、指部41、42により対象物Wkを把持する力を弱くすることで、対象物Wkに対する拘束を解く。対象物Wkの軸部Axへの摩擦力が減るので、対象物Wkが鉛直方向(zの正方向)に落下する。但し、指部41、42間の間隔の最大値は、対象物Wkの頭部Hdの半径よりも小さい。そのため、対象物Wkの頭部Hdは、指部41、42の上に支持される。
その後、セルフアライメントにおいて、姿勢制御部606は、指部41、42の間隔を小さくし、指部41、42と対象物Wkとが4点で接触するまで対象物Wkを把持する力を強くする。対象物Wkに加わる摩擦力が強くなることに応じて、対象物Wkの位置及び姿勢は指部41、42が対向する面の形状に従って変化する。ハンド40は、指部41、42で対象物Wkと4点で接触することで、対象物Wkを安定して把持することができる。なお、姿勢制御部606が各対象物Wkについて姿勢制御を行う回数は1回のみに限られず、2回以上繰り返してもよい。姿勢制御の例については、後述する。
(ロボット制御処理)
次に、本実施形態に係るロボット制御処理について説明する。
図3は、本実施形態に係るロボット制御処理を示すフローチャートである。
(ステップS101)画像データ取得部601には、撮像装置80から入力された二次元画像データの撮像領域から所定の大きさの注目領域を定める、定めた注目領域内の二次元画像を示す二次元画像データを取得する。また、画像データ取得部601は、入力された三次元画像データから定めた注目領域に対応する三次元の領域内の三次元点群を示す三次元点群データを取得する。その後、ステップS102に進む。
(ステップS102)位置姿勢推定部602は、画像データ取得部601で抽出された三次元点群データからRANSAC法を用いて対象物Wkの位置及び姿勢の組を複数セット推定する。その後、ステップS103に進む。
(ステップS103)把持難易度算出部603は、画像データ取得部601で抽出された三次元点群データが示す対象物Wkの把持難易度を、位置姿勢推定部602で推定された位置、姿勢のセットのそれぞれについて算出する。把持難易度算出部603は、算出した把持難易度が最も小さいセットの位置及び姿勢を選択する。その後、ステップS104に進む。
(ステップS104)把持計画部604は、把持難易度算出部603で選択した位置及び姿勢に基づいてハンド40を用いて対象物Wkを把持するための把持計画を行う。把持計画において、把持計画部604は、推定した姿勢と位置に基づいて把持準備点P’を定める。把持計画部604は、指部41、42を開いたままハンド40を把持準備点P’に移動させる。また、把持計画部604は、中心軸の方向y’に直交する方向であって、作業平面に平行する方向x’をハンド40の指部41、42の開閉方向z”と定める。また、把持計画部604は、作業平面と推定した対象物Wkの中心軸との間の角度θが所定の角度の閾値を超えたとき、ハンド40の傾き角θ’を定める。把持計画部604は、定めた傾き角θ’でハンド40の向きを傾ける。そして、把持計画部604は、ハンド40を把持準備点P’から把持位置Pに移動させ、指部41、42を閉じて対象物Wkを把持する。その後、ステップS105に進む。
(ステップS105)方向確認部605は、画像データ取得部601で抽出された二次元画像データに基づいて対象物Wkの向きとして、対象物Wkの頭部の方向がy’軸の正方向か負方向かを確認する。その後、ステップS106に進む。
(ステップS106)姿勢制御部606は、ハンド40に対象物Wkを把持させ、対象物Wkの頭部の方向をzの負方向に向ける。
姿勢制御部606は、ハンド40の指部41、42を開閉し、対象物Wkを把持する力を増減することによって、対象物Wkの把持姿勢を制御する。その後、図3に示す処理を終了する。
(二次元画像の一例)
次に、撮像装置80で得られる二次元画像の一例について説明する。
図4は、二次元画像の一例を示す図である。
図4に示す二次元画像Im01は、所定の撮像領域内の被写体の画像である。この二次元画像は、乱雑に積み重ねられた複数の対象物Wkの表面を表す。二次元画像を示す二次元画像データは、画素毎の輝度値を示す。暗く表されている画素ほど輝度値が低く、明るく表されている画素ほど輝度値が高い。
(対象物の例)
図4に示す例では、対象物Wkは金属光沢を有するボルトである。金属光沢を有する物体では、強い反射光を発するため、輝度値が高くなる傾向がある。そのため、後述する位相シフト法で対象物Wkまでの距離を計測する場合、輝度値の空間変化の位相を検出するので、測定精度が低下することがある。
対象物Wkは、特開2010−175497号公報に記載のメタリック感指標が5以上の物体である。メタリック感指標とは、金属光沢の度合いを示す指標である。メタリック感指標が大きいほど金属光沢が多く、メタリック感指標が小さいほど金属光沢が少ない。メタリック感指標は、被写体から反射した光の明度L*、彩度C*をそれぞれ要素として含むベクトル(L*,C*)のL*−C*空間における発散(divergence)として与えられる。明度L*、彩度C*は、それぞれCIEL*a*b*色空間における明度L*、彩度C*である。
次に、対象物の形状を近似するモデルについて説明する。
図5は、対象物の形状を近似するモデルの一例を示す図である。
対象物Wkは、少なくともその一部の形状が円柱に近似される円柱物体である。図5に示す例では、対象物Wkの形状は、その形状が円柱に近似される軸部Axと、軸部Axよりも半径が大きく長さが短い頭部Hdとからなる。本実施形態では、対象物Wkの大きさを表す特性長として、長さl及び半径rが用いられる。対象物Wkの中心軸とは、特に断らない限り軸部Axの中心軸を意味し、y’方向は、この中心軸の方向を意味する。x’,z’方向は、y’方向に直交する方向である。また、x’方向とz’方向は互いに直交する。なお、x’、y’、z’方向の座標値(x’、y’、z’)で表される座標系を対象物座標系と呼び、作業台Tbもしくは撮像装置80を基準とする座標系と区別する。
(位相シフト法)
次に、位相シフト法について説明する。位相シフト法は、それぞれ位相が異なる正弦波縞パターンをプロジェクター(図示せず)から投影し、それぞれのパターンが投影された各画像の輝度値I(ξ,η)に基づいて、画素毎に撮像素子から被写体表面までの距離zを求める方法である。ここで、ξ,ηは、それぞれ投影素子上の水平方向の座標、垂直方向の座標を示す。正弦波縞パターンは、二次元画像を形成する各画素の輝度値が、水平方向に所定の周期で変化する正弦関数で表され、垂直方向に一定となるように分布する画像である。位相シフト法では、水平方向の位相がそれぞれ異なる正弦波縞パターンを最低3つ用いる。水平方向の位相が、n・π/2(nは、0から3までの整数)である4つの正弦波縞パターンをそれぞれ用いた場合、撮像装置80は、画素毎に位相φ(ξ,η)を、式(1)を用いて算出する。
算出された位相φ(ξ,η)は、被写体に照射された正弦波縞パターンの歪を示す。撮像装置80は、プロジェクターの投影素子上の正弦波縞パターンのうち、画素Px毎に算出した位相φ(ξ,η)と位相が等しい等位相線ABを検出する。そして、撮像装置80は、その光学中心座標Coとプロジェクターの光学中心座標Poから、直線CoPxと、平面PoABとの交点Qpを、その画素Pxでサンプリングした被写体表面の三次元座標を算出する。
位相シフト法については、次の文献に詳しく記載されている。(野坂 健一郎、荒木 秀和、中原 智治、位相シフト法インライン3次元外観検査システム、「パナソニック電工技報」、パナソニック電工株式会社、2009年9月、Vol.57、No.3、p.29〜34)
(位置姿勢推定処理)
次に、位置姿勢推定処理について説明する。
図6は、本実施形態に係る位置姿勢推定処理を示すフローチャートである。
位置姿勢推定部602は、画像データ取得部601で抽出された三次元点群データについて、次のステップを実行することにより対象物の位置及び姿勢を推定する。
(ステップS201)位置姿勢推定部602は、三次元点群データが示す三次元点群から2つのサンプル点からなる複数の組のうち、2点間の線分の長さが所定の範囲内となる組を選択する。線分の長さの範囲は、対象物Wkの長さlに基づいて予め定めておく。その後、ステップS202に進む。
(ステップS202)位置姿勢推定部602は、選択した各組をなす2点間の線分から所定の距離内のサンプル点を三次元点群データからそれぞれ抽出する。線分からの所定の距離は、対象物Wkの軸部の半径rに基づいて予め定めておく。その後、ステップS203に進む。
(ステップS203)位置姿勢推定部602は、線分から抽出した各サンプル点iまでの距離dと、対象物Wkの半径rとの誤差errが予め定めた範囲にある中心軸を選択する。誤差errは、式(2)で与えられる。式(2)において、nは、抽出したサンプル点の個数を示す。その後、ステップS204に進む。
(ステップS204)位置姿勢推定部602は、選択した中心軸の方向を対象物Wkの姿勢と定める。その後、ステップS205に進む。
(ステップS205)位置姿勢推定部602は、抽出したサンプル点の数の、選択した中心軸の方向の座標毎に抽出したサンプル点の数を計数し、サンプル点の数の中心軸方向の分布を求める。位置姿勢推定部602は、求めた分布に基づいて対象物Wkの領域を特定し、特定した領域のうちサンプル点の数が所定数より大きいか否かにより対象物Wkの頭部の領域と軸部の領域とを判別する。位置姿勢推定部602は、特定した軸部の領域の代表点(例えば、重心点)を対象物Wkの位置と定める。その後、位置姿勢推定処理を終了する。
(把持難易度算出処理)
次に、把持難易度算出処理について説明する。
図7は、本実施形態に係る把持難易度算出処理を示すフローチャートである。
把持難易度算出部603は、次のステップを実行することにより把持難易度を算出する。
(ステップS301)把持難易度算出部603は、位置姿勢推定部602が算出した姿勢を示す角度θに対応する第1評価指標値yを算出する。角度θは、作業平面と対象物Wkの中心軸との間の角度である。第1評価指標値yは、最適角度(例えば、0度)を中央値とする正規分布である。最適角度とは、ハンド40により対象物Wkを把持するために最適な角度θである。正規分布の中央値及び分散については、ハンド40の形状や対象物Wkの形状に応じて、予め定めておく。その後、ステップS302に進む。
(ステップS302)把持難易度算出部603は、画像データ取得部601で抽出された三次元点群データに基づいて第2評価指標値yを算出する。把持難易度算出部603は、三次元点群が示す三次元点群の一部である所定範囲内の点群から、対象物Wkの点群とそれ以外の点群を分離する。所定範囲は、ハンド40の形状や対象物Wkの形状に応じて、予め定めておく。そして、把持難易度算出部603は、対象物Wkの点群の高さの平均値から、それ以外の点群の高さの平均値を減算し、対象物Wkの周囲の点群との高低差xを算出する。把持難易度算出部603は、高低差xに基づいて式(3)を用いて第2評価指標値yを算出する。式(3)において、Aは、1である。ρ、αは、それぞれ環境に依存するパラメーターであり、環境に応じて予め定めておく。ρは、その値が大きいほど厳しい評価を行うことを示す。また、ρは、1より大きい値である。従って、高低差xが大きいほど第2評価指標値yが大きい。その後、ステップS303に進む。
(ステップS303)把持難易度算出部603は、ステップS202で分離した三次元点群に基づいて第3評価指標値yを算出する。把持難易度算出部603は、位置姿勢推定部602が算出した中心軸からステップS202で分離した点群の各サンプル点までの距離と、対象物の軸部の半径rとの差xを算出する。差xは、中心軸推定誤差を示す。把持難易度算出部603は、算出したx、予め定めたパラメーターρ、αを式(3)のx、ρ、αにそれぞれ代入して第3評価指標値yを算出する。なお、ρの値は、1より大きい値であって、対象物Wkの軸部の半径rの50%程度又はそれ以下の値である。但し、ρの値は、三次元点群の精度、対象物Wkの表面の粗さ等によっても、最適な値が変化し得る。その後、ステップS304に進む。
(ステップS304)把持難易度算出部603は、最適なサンプル点の数(最適点数)とステップS202で分離した三次元点群に含まれるサンプル点の数(抽出点数)に基づいて第4評価指標値yを算出する。最適点数とは、三次元点群により最適な条件のもとで対象物Wkの形状を表すサンプル点の数である。把持難易度算出部603は、抽出点数の最適点数に対する比xを算出する。把持難易度算出部603は、算出したx、予め定めたパラメーターρ、αを式(3)のx、ρ、αにそれぞれ代入して第4評価指標値yを算出する。なお、ρの値は、1より小さい値、例えば、0.5である。従って、比xが大きいほど第4評価指標値yが大きい。その後、ステップS305に進む。
(ステップS305)把持難易度算出部603は、算出した第1評価指標値y〜第4評価指標値yを積算して評価指標値を算出する。その後、把持難易度算出処理を終了する。
(把持計画処理)
次に、把持計画処理について図8、図9を用いて説明する。
図8は、本実施形態に係る把持計画処理を示すフローチャートである。
図9は、本実施形態に係る把持計画処理におけるハンド40と対象物Wkの位置関係の例を示す図である。
(ステップS401)把持計画部604は、対象物Wkの中心軸の方向y’に垂直であって作業平面に対して平行な成分を有しない方向z’を特定し、把持位置Pから特定した方向z’に予め定めた距離だけ作業平面から遠ざかるように離れた位置の点を把持準備点P’と定める(図9(a))。予め定めた距離は、把持準備点P’においてハンド40が動作してもハンド40が対象物Wkと作業平面のいずれにも接触しない距離であればよい。図9(a)において作業平面は、x−y平面に平行な平面である。
その後、把持計画部604は、把持目標点Qtが把持準備点P’に到達するようにハンド40を移動させる(図9(a))。把持目標点Qtとは、ハンド40に把持された対象物Wkの代表点(例えば、中心軸)の位置であり、ハンド40ならびに対象物Wkの形状、大きさによって定める。把持目標点Qtが把持準備点P’に到達するようにハンド40を移動させることは、ハンド40を把持準備点P’に移動させることを意味する。その後、ステップS402に進む。
(ステップS402)把持計画部604は、中心軸の方向y’に直交する方向であって、作業平面に平行な方向x’を特定する(図9(b))。把持計画部604は、ハンド40の支持部材520を回転させ、定めた方向x’にハンド40の指部41、42の開閉方向z”を合わせる(図9(b))。その後、ステップS403に進む。
(ステップS403)把持計画部604は、作業平面と中心軸の方向y’と間の角度θを特定し、特定した角度θに基づいてハンド40の傾き角θ’を定める(図9(c))。把持計画部604は、例えば、角度θが20°未満である場合、傾き角θ’を0°とし、角度θが20°以上40°未満である場合、傾き角θ’をθ−20°とし、角度θが40°以上の場合、傾き角θ’をθ/2とする。
把持計画部604は、ハンド40の基準線y”の方向を、作業平面に対する中心軸の方向y’の傾きと同じ方向に、zの負方向から傾き角θ’だけ傾いた方向に合わせる(図9(c))。その後、ステップS404に進む。
(ステップS404)把持計画部604は、ハンド40の指部41、42を開き、ハンド40を把持準備点P’から把持位置Pに移動させる(図9(d))。その後、ステップS405に進む。
(ステップS405)把持計画部604は、ハンド40の指部41、42を閉じる前に対象物Wkを挟んだまま、ハンド40をx’−y’平面内で予め定めた角度φ’(例えば、2〜3°)回転させる(図9(e))。その後、ステップS406に進む。
(ステップS406)把持計画部604は、ハンド40の指部41、42を閉じ、対象物Wkを把持させ、ハンド40を把持準備点P’に移動させる。その後、把持計画処理を終了する。
上述したステップS405では、ハンド40は、回転により対象物Wkに接触することで動揺させ、対象物Wkに積み重なった他の物体がある場合、その物体を脱落させることができる。そのため、ハンド40は、一度に1個の対象物Wkのみを把持し、他の物体を同時に把持することを避けることできる。また、予めステップS406の処理を行うことにより、把持に成功した場合におけるハンド40の指部41、42の先端の開き幅を調査しておいてもよい。制御部60は、調査により得られた開き幅を用いて対象物Wkを把持させることで、把持に失敗する可能性を低減することができる。
(方向確認)
次に、対象物Wkの方向の確認について説明する。
図10は、本実施形態に係る方向確認処理を説明するための図である。
図10(a)は、ハンド40の指部41、42と対象物Wkを表す二次元画像Im02を示す。対象物Wkは、指部41、42で把持され、頭部Hdが図面の下方に向けられている。x’方向、y’方向を、それぞれ図面の右方、上方に示す。
図10(b)は、二次元画像Im02を二値化した二次元画像Im03を示す。二次元画像Im03において、明るい部分が対象物Wkを表す明領域BWkである。
図10(c)は、二次元画像Im03に画素py1、py2を重ねて表示した二次元画像Im04を示す。画素py1、py2は、図10(b)の明領域BWkにおいてy’座標が最も大きい画素、y’座標が最も小さい画素である。
図10(d)は、二次元画像Im04に領域ry1、ry2を重ねて表示した二次元画像Im05を示す。領域ry1、ry2は、画素py1、py2から予め定めた距離内の領域を示す。方向確認部605は、領域ry1、ry2に含まれる明領域の面積をそれぞれ計数し、計数された面積が大きい方の領域に係る画素の方に頭部Hdが向けられていると判定する。図10(d)に示す例では、領域ry2内の明領域の面積の方が、領域ry1内の明領域の面積よりも大きいので、方向確認部605は、頭部Hdが画素py2の方向(y’の負方向)に向いていると判定する。
(姿勢制御)
次に、姿勢制御の例について説明する。
図11は、本実施形態に係る姿勢制御におけるハンド40の指部41、42と対象物Wkの位置関係の例を示す図である。図11(a)〜(c)は、上段において指部41、42及び対象物Wkをx−y平面視した断面図を表す。この断面図は、指部41、42の断面と、対象物Wkの軸部Axの中心軸に垂直な断面を実線で示す。これらの断面は対象物Wkの頭部Hdに交差しないが、図11(a)〜(c)は、頭部Hdの外縁を破線で示す。図示の例では、いずれも、指部41、42の先端、基端は、y方向、yの負方向に向けられ、指部41、42の開閉方向は、x方向に向けられている。
また、図11(a)〜(c)のそれぞれは、下段において指部42及び対象物Wkの斜視図を表す。指部41は、指部42よりもxの負方向に配置されているため、下段には表れていない。なお、図示の例では、頭部Hdがzの負方向に向けられている。
図11(a)は、姿勢制御部606が姿勢制御を開始する前の指部41、42及び対象物Wkの位置関係を示す。対象物Wkは、指部41、42の第2傾斜面121、122の基端に近い位置で把持されている。また、対象物Wkは、軸部Axにおいて指部41、42が頭部Hdからz方向(鉛直方向)に離れた位置で把持されている。姿勢制御部606は、対象物Wkを把持する摩擦力を、対象物Wkにかかる重力よりも大きくし、一定に保つ。そのため、対象物Wkは、指部41、42で挟まれたまま固定される。
その後、姿勢制御部606は、指部41、42が対象物Wkを把持する摩擦力を漸次に減少させ、指部41、42の間隔を大きくする。
図11(b)は、姿勢制御部606がケージングにより指部41、42の間隔を軸部Axよりも大きくしたときの指部41、42及び対象物Wkの位置関係を示す。このとき、指部41、42により軸部Axを把持する摩擦力が解放されるので、対象物Wkは重力によりz方向に移動する。但し、指部41、42の間隔の最大値は、頭部Hdの半径よりも小さい。そのため、対象物Wkは、頭部Hdのz方向に向いた面のうち指部41、42のzの負方向に向いた面で支持される。
ここで、姿勢制御部606は、検出部63から入力された負荷信号に基づいて対象物Wkの頭部Hdのz方向に向いた面が、指部41、42のzの負方向に向いた面に接したことを検出する。負方向に向いた面に接したことは、負荷信号が示すz方向の力が所定の閾値よりも大きくなったことにより検出することができる。その後、姿勢制御部606は、指部41、42が対象物Wkを把持する摩擦力を減少させる制御、又は指部41、42の間隔を大きくする動作を停止する。そして、姿勢制御部606は、指部41、42の間隔を小さくし、対象物Wkを把持する摩擦力を漸次に増加させる(セルフアライメント)。
図11(c)は、姿勢制御部606がセルフアライメントにより指部41、42により対象物Wkを把持する摩擦力を漸次に増加させたときの指部41、42及び対象物Wkの位置関係を示す。このとき、指部41、42は、それぞれの第2傾斜面121、122で軸部Axに接する。第2傾斜面121、122は、指部41、42の基端から先端に向かうに従って、互いに離れる方向に傾斜されているので、指部41、42が加える摩擦力が増加することで対象物Wkが指部41の先端に移動する。また、指部41、42の第1傾斜面111、112は、指部41、42の基端から先端に向かうに従って互いに離れる方向に傾斜されている。そして、第1傾斜面111、112に接したときに、対象物Wkの移動が停止する。
ここで、姿勢制御部606は、検出部63から入力された負荷信号に基づいて対象物Wkが第1傾斜面111、112に接したことを検出する。第1傾斜面111、112に接したことは、負荷信号が示すyの負方向の力が所定の閾値よりも大きくなったことにより検出することができる。その後、姿勢制御部606は、指部41、42により対象物Wkを把持する摩擦力の増加を停止する。対象物Wkの移動が停止した時点では、対象物Wkは、第1傾斜面111、112、第2傾斜面121、122の各1点、計4点で指部41、42に接するので、対象物Wkは安定して把持される。この状態で、対象物Wkが指部41、42に把持されることを摩擦把持という。
なお、仮に、方向確認部605が頭部の方向の推定に失敗し、対象物Wkの頭部の方向がzの正方向に向けられている場合、ハンド40は対象物Wkの把持を保つことができない。その場合には、対象物Wkは、作業台Tb上に落下する。姿勢制御部606は、検出部63から入力された負荷信号に基づいて対象物Wkが脱落したことを検出し、その後、制御部60は、新たな対象物Wkについてロボット制御処理(図3)を実行してもよい。
(指部の構成)
次に、指部41、42の構成について説明する。
図12は、本実施形態に係るハンド40の構成を示す概略図である。
図12(a)は、ハンド40の構成を示す平面図である。
上述したように、ハンド40は、指部41、42及び支持部材520を備える。指部41、42の基端は、それぞれ支持部材520に支持され、指部41、42それぞれの長手方向が対面されている。指部41、42が対面した方向が、開閉方向に相当する。ハンド40は、次に述べるように対象物Wkについてケージング、セルフアライメント、及び摩擦把持を行うことができる形状及び大きさを有する精密把持ハンドである。なお、以下の説明では、上述とは異なり、指部41、42の開閉方向をx方向、基準線202の方向をy方向、x方向とy方向に直交する方向をz方向とする。
図12(b)は、指部41、42の構成を示す平面図である。図12(b)は、図12(a)の領域Cfを拡大した部分を示す。
指部41は爪部101を有しており、指部42は爪部102を有している。爪部101、102は、基準線202で線対称の関係である。また、爪部101、102は、先端から後端(基端もしくは基部ともいう)に向かうに従って、互いに離れる方向に漸次傾斜する第1傾斜面(先端側の面ともいう)111、112を有し、互いに近接する方向に漸次傾斜する第2傾斜面(基端側の面もしくは基部側の面もいう)121、122を有している。また、爪部101、102は、例えば、アルミニウム等の金属(平板)を曲げたり、前記金属(直方体)を切削したりすることによって形成することができる。
このような構成により、対象物Wkは爪部101、102の先端付近で把持されることとなる。このため、爪部101、102は、対象物Wkを安定して把持し、搬送するために、ケージング、セルフアライメント、及び摩擦把持の3つの機能を実現できる。制御部60は、爪部101、102に対象物Wkを4点以上の接触点で把持させるよう制御を行う。基準線202上に示されている点Qcは、把持された対象物Wkの中心点である。中心点Qcは、上述した把持計画処理における把持目標点Qt(図9)として用いることができる。
なお、「ケージング」とは、対象物Wkがある位置及び姿勢のときに、一対の爪部101、102とによって閉じられた空間の中にあることをいう。ケージングでは、対象物Wkの位置あるいは姿勢は、爪部101、102に拘束されておらず自由である。
「セルフアライメント」とは、上述したように爪部101、102が対象物Wkを挟み込む際に、爪部101、102の形状や、爪部101、102と対象物Wkとの摩擦力によって、対象物Wkを前記閉じられた空間の中で所定の位置に移動させることをいう。
「摩擦把持」とは、爪部101、102が対象物Wkを4点以上の接触点で接触させて対象物Wkを拘束し、かつ、摩擦力によって対象物Wkを対象物Wkが配置された面に対して垂直な方向に拘束して把持することをいう。
図12(b)に示すように、爪部101の先端は、頂点a、a、aに囲まれた三角形(凹部ともいう)の形状(以下、爪部形状という)を有する。この爪部形状を3つのパラメーターα、β、dで表す。符号βは、線分aと線分aとのなす角を表し、符号αは、頂点aから線分aに垂線(基線ともいう)をおろした場合の線分aと垂線とのなす角を表す。また、符号dは、三角形aの底辺aまでの高さ(=acosα)を表す。また、第1傾斜面111と第2傾斜面121との交点である点aを基点ともいう。
爪部101において、爪部形状のパラメーターα、β、dが取り得る範囲は、0<d、0<α<π/2、0<β<π/2、である。
図13は、本実施形態に係る爪部の開閉機構を説明する図である。
図13(a)に示すように、制御部60は、爪部101及び爪部102を、各々の頂点aとaとを結ぶ辺を延長して交わる点Qを中心として、互いの辺aとを延長した線同士のなす角φを制御することで開閉する。
また、図13(b)に示すように、爪部101の開閉における3つのパラメーター(以下、開閉パラメーターという)θ、γ、l(エル)で表す。図13(b)において点Pは回転中心を表し、符号l(エル)は、点Pから爪部101の三角形aの下端a(点B;基端側の面の端部ともいう)までの距離を表す。符号γは爪部101、102が閉じている時のBPとx軸がなす角を表し、符号θは、爪部101、102が閉じている時のBPと爪部101が開いた状態の時のB’Pがなす角を表す。
次に、爪部形状のパラメーターα、β、dの条件について説明する。
パラメーターα、β、dが満足すべき条件は、摩擦把持の条件、ケージング条件、及びセルフアライメント条件である。
(摩擦把持の条件)
まず、摩擦把持の条件について説明する。爪部101及び爪部102が、対象物Wkを把持する条件は、爪部101、102と対象物Wkとが、少なくとも4点の接触点を有して接し、拘束していることである(摩擦把持の条件)。摩擦把持の条件は、対象物Wkの大きさに依存する。
図14は、本実施形態に係る爪部101、102が把持可能な物体を説明する図である。この図では、爪部101及び爪部102が把持する部品Mの形状は、xy平面から視たとき円形(例えば、円柱状)である。また、以下の説明において、爪部形状のパラメーターα、β、dを算出するため、前述した爪部101及び爪部102の先端の三角形の形状について説明する。なお、以下の説明では、爪部形状のパラメーターα、β、dが異なる把持部であっても、共通の符号101と102とを用いて、爪部101、102と称する。また、爪部101及び爪部102が把持する対象物Wkは、以下、大きさが異なっても共通の符号Mを用いて、部品Mと称する。
また、図14(a)〜(c)に示すように、爪部101の第1傾斜面111と部品Mとの接点を点p、爪部101の第2傾斜面121と部品Mとの接点を点p、爪部102の第1傾斜面112と部品Mとの接点を点p、爪部102の第2傾斜面122と部品Mとの接点を点pと称する。また、部品Mの中心点oは、基準線202上にあり、中心点oを通り、この基準線202に対して垂直な線分を中心線201と称する。
図14(a)は、爪部101及び爪部102が把持可能な部品を説明する図であり、図14(b)は、爪部101及び爪部102が把持可能な最大の大きさの部品を説明する図であり、図14(c)は、爪部101及び爪部102が把持不可能な部品を説明する図である。
図14(a)に示すように、中心線201は、接点pとpを結ぶ線分と、接点pとpを結ぶ線分との間に位置している。このような状態の場合、爪部101及び爪部102は、4つの接触点により部品Mを囲むように把持できるため、部品Mを摩擦把持により安定して把持している。
図14(c)に示すように、中心線201は、接点pとpを結ぶ線分よりy方向の正方向に位置している。このような状態の場合、爪部101及び爪部102は、4つの接触点により部品Mを囲むように把持できないため、部品Mを摩擦把持により安定して把持できない場合がある。例えば、部品Mと爪部101及び爪部102の摩擦係数が所定の値より小さい場合、部品Mは、摩擦把持された状態からy方向の正方向へ抜けて飛び出してしまう場合がある。
このため、爪部101及び爪部102が把持する部品Mの最大の大きさは、図14(b)に示すように、中心線201と接点pとpを結ぶ線分と一致する場合である。この爪部101及び爪部102の面(第1傾斜面111と112、第2傾斜面121と122)が把持できる部品Mの最大半径をrmax1(以下、把持可能な最大の大きさという)で表す。
図15は、本実施形態に係る把持可能な最大の大きさと爪部形状のパラメーターα、β、dとの関係を説明する図である。図15に示すように、部品Mは、4つの接点p〜pで部品Mを囲んでいる。すなわち、全ての接点p〜pと部品Mが、爪部101及び爪部102の面(第1傾斜面111、112、第2傾斜面121、122)にある。このように、4つの接点で部品Mを囲むことができる把持可能な最大の大きさをrmax11で表す。
図16は、本実施形態に係る爪部の頂点と部品との関係により把持可能な部品の大きさを説明する図である。図17は、本実施形態に係る爪部の頂点と部品との関係を説明する図である。
図16(a)は、把持可能な場合を説明する図であり、図16(b)は、把持不可能な場合を説明する図である。なお、部品Mは、爪部101及び爪部102の材質より柔らかい樹脂などであってもよい。
図16(a)に示すように、部品Mは、爪部101の第2傾斜面121と接点pで接触し、および爪部102の第2傾斜面122と接点pで接触している。そして、部品Mは、爪部101の第1傾斜面111とは接していず、爪部101の先端の三角形aの頂点a(接点p)で接触している。接点pにおいて、爪部101の三角形aの辺aは、部品Mの接線である。このため、爪部101の頂点aは、部品Mに突き刺さらない。
一方、図16(b)に示すように、図16(a)と同様に、部品Mが、爪部101の第2傾斜面121と接点pで接触し、および爪部102の第2傾斜面122と接点pで接触している。しかしながら、爪部101の頂点aと部品Mは、接点pで接している。この場合、接点pにおいて、爪部101の三角形aの辺aは、部品Mの接線ではない。このため、爪部101の頂点aは、部品Mに突き刺さる。
すなわち、把持可能な最大の大きさの条件として、爪部101の頂点aまたは頂点aが、部品Mに突き刺さらない必要がある。
以下、爪部101及び爪部102の頂点aと、爪部101及び爪部102の頂点aとを爪先と称する。
図17(a)は、爪部101及び爪部102の頂点aが部品Mに突き刺さらない条件を説明する図である。図17(b)は、爪部101及び爪部102の頂点aが部品Mに突き刺さらない条件を説明する図である。図17(a)と図17(b)の場合分けは、爪部形状のパラメーターαが、π/2−β未満であるか、π/2−β以上であるかである。このように、爪先に突き刺さらない条件を加味した把持可能な最大の大きさをrmax12で表す。
この結果、図15と図17に示すように、把持可能な最大の大きさrmax1は、幾何学的関係から、爪部形状のパラメーターα、β、dおよび開閉パラメーターθ、γ、l(エル)により、式(4)〜(6)のように与えられる。
なお、式(4)において、rmax1として、rmax11とrmax12のいずれが選択されるかは、爪先の形状により異なる。また、式(6)において、αがπ/2−β未満の場合は、rmax12=d/cos(α)×tan((π/2−β+α)/2)であり、αがπ/2−β以上の場合は、rmax12=d/sin(β)×tan((π/2−β+α)/2)である。
次に、爪部101及び爪部102を閉じた状態について説明する。
図18は、本実施形態に係る爪部を閉じた時に把持可能な部品の大きさを説明する図である。図18(b)に示すように、爪部101及び爪部102を閉じた場合、爪部101及び爪部102の第1傾斜面111、112、第2傾斜面121、122のおのおのの面は、部品Mとそれぞれ接点p〜pと接している。この状態の部品Mは、爪部101及び爪部102によって把持可能な最小の大きさrmin1である。
一方、図18(a)に示すように、部品Mが小さい場合、爪部101及び爪部102を閉じた時、部品Mは、4つの接点p〜pすべてと接することができない。このような状態を、爪部101及び爪部102が部品Mを把持できない(把持不可能)とする。
また、図18(c)に示すように、部品Mの後端は、爪部101及び爪部102の第2傾斜面121と122において接点pとpに接している。そして、部品Mの先端と爪部101及び爪部102の接点pとpは、爪部101及び爪部102の先端aである。また、線分aは、部品Mの接線である。このような状態は、図17で説明したように、爪部101及び爪部102が部品Mに突き刺さらない状態であるため、把持可能な状態である。
図19は、本実施形態に係る爪部により把持可能な部品の最小の大きさの算出を説明する図である。この状態は、図18(b)と同様に、爪部101及び爪部102を閉じた時に、部品Mが爪部101及び爪部102の面(第1傾斜面111、112、第2傾斜面121、122)に4つの接点p〜pで接している状態である。部品Mが円のため、爪部101、102が把持可能な部品Mの最小の大きさrmin1は、爪を閉じたときの内接円の半径である。従って、把持可能な部品の最小の大きさは、図19に示す幾何学的関係から式(7)のように与えられる。
(ケージング条件)
次に、ケージングが可能な部品Mの大きさの条件(ケージング条件)について説明する。
図20は、本実施形態に係るケージング領域のパラメーターを説明する図である。図20(a)に示すように、符号rは、部品Mの半径を表す。部品Mの中心点oが自由に動ける空間Sを、x方向の長さをc、y方向の長さをcで表す。また、図20(b)に示すように、符号Hは、ケージング領域Sのy方向の正方向側の頂点を表し、符号Jは、y方向の負方向側の頂点を表す。また、符号Iは、ケージング領域Sの線分HJに対して負方向側のx方向の頂点を表し、符号Kは、線分HJに対して正方向側のx方向の頂点を表す。すなわち、y方向の長さcは、頂点HとJとの間の距離であり、x方向の長さcは、頂点IとKとの間の距離である。
図21は、本実施形態に係るケージング領域の形状と各パラメーターを説明する図である。
まず、符号について定義する。図21(a)、(b)に示すように、爪部101及び爪部102の三角形aにおいて、符号l(エル)は、頂点aとaとのy方向の距離を表す。また、図20で説明したy方向の長さcを、ケージング領域の形状に応じて、符号c11、c12で表す。また、図20で説明したx方向の長さcを、それぞれのケージング領域の形状に応じて、符号c21、c22、c23、c24で表す。また、符号l(エル)は、三角形aの頂点aを符号Bで表し、点Bと頂点Jとのx方向の距離を表す。
図21(a)、(b)に示すように、ケージング領域Sの頂点IJKで囲まれた領域の形状により、y方向の長さc11とc12に場合分けする。左右の爪部101及び爪部102の爪先の先端位置の距離は、部品Mの直径以下となる。すなわち、距離c11の上端は左右の爪部101及び爪部102の爪先の先端位置の中点となる。
図21(a)に示すケージング領域Sの線分は、頂点IとJの間が直線であり、かつ頂点JとKとの間が直線である。そして、ケージング領域Sの線分は、頂点HとIの間が直線ではなく、かつ頂点HとKとの間が直線でない。また、図21(a)に示すように、点Bと頂点Jとの距離はrではない。このような状態のケージング領域Sのy方向の長さをc11とする。
図21(b)に示すケージング領域Sの頂点IとJの間の線分は、直線と曲線と有している。そして、ケージング領域Sの線分は、頂点HとIの間と、頂点HとKの間とは、各々、直線と曲線と有している。また、図21(b)に示すように、点Bと頂点Jとの距離はrである。このような状態のケージング領域Sのy方向の長さをc12とする。
図21(a)、(b)に示すように、ケージング領域Sのy方向の距離cは、式(8)のように場合分けされる。
図21(a)、(b)に示した幾何学的関係から、ケージング領域Sのy方向の長さc11、c12は、式(9)、(10)で与えられる。
式(9)、式(10)において、距離l(エル)、距離l(エル)は、式(11)、(12)で与えられる。
また、式(11)、(12)において、角度θは、式(13)で与えられる。
なお、式(13)において、a、b、cは、それぞれ式(14)、(15)、(16)で与えられる。
次に、ケージング領域Sの形状により、図22〜25に示すように、ケージング領域Sのx方向の距離cをc21〜c24に場合分けする。
図22は、本実施形態に係るケージング領域のx方向の距離がc21の場合を説明する図である。図23は、本実施形態に係るケージング領域のx方向の距離がc22の場合を説明する図である。図24は、本実施形態に係るケージング領域のx方向の距離がc23の場合を説明する図である。図25は、本実施形態に係るケージング領域のx方向の距離がc24の場合を説明する図である。
まず、図22〜25で用いる符号について定義する。符号Tは、爪部101の三角形aの頂点aを表し、符号Bは、頂点aを表す。また、符号Cは、ケージング領域Sの頂点Jを表す。符号L1は、ケージング領域Sの頂点Jと頂点Iを結ぶ線分を通る直線を表す。符号Aは、頂点Iと頂点Hとの間の直線範囲の終点を表す。すなわち、図22において、線分IAは直線であり、線分AHは曲線である。
直線L2は、ケージング領域Sの頂点Iと頂点Hとの間の直線範囲IAを通る直線である。符号l(エル)は、ケージング領域Sの頂点Jと、爪部101の三角形aの頂点aとのx方向の距離を表す。また、符号l(エル)は、点A(円弧と直線の境界(上側))と直線L1との距離を表し、符号l(エル)は、点C(円弧と直線の境界(下側))と直線L2との距離を表す。符号l(エル)は、点Aと点B(爪先の先端)の距離、l(エル)は点Cと点T(爪先の先端)の距離を表す。
図22〜25に示すように、ケージング領域Sの頂点IKの距離cは、式(17)のように場合分けされる。
式(17)において、…∧〜は、…と〜の論理積(かつ)を示し、…∨〜は、…と〜の論理和(または)を示す。また、lが0(ゼロ)より大きいとは、ケージング領域Sの頂点Iと頂点Hとの間に直線領域があることを意味している。また、lが0(ゼロ)未満とは、ケージング領域Sの頂点Iと頂点Hとの間に直線領域がない、すなわち曲線領域があることを意味している。lが0(ゼロ)以上とは、ケージング領域Sの頂点Iと頂点Hとの間に直線領域があり、曲線領域を含むことを意味している。
図22に示すように、距離c21を有するケージング領域Sは、頂点Hと頂点Iの区間が直線と曲線で形成され、頂点Iと頂点Jの区間が直線のみで形成されている。図23に示すように、距離c22を有するケージング領域Sは、頂点Hと頂点Iの区間が曲線のみで形成され、頂点Iと頂点Jの区間が直線のみで形成されている。図24に示すように、距離c23を有するケージング領域Sは、頂点Hと頂点Iの区間が直線と曲線で形成され、頂点Iと頂点Jの区間が曲線のみで形成されている。図25に示すように、距離c24を有するケージング領域Sは、頂点Hと頂点Iの区間が曲線のみで形成され、頂点Iと頂点Jの区間が曲線のみで形成されている。
図22〜25に示した幾何学的関係から、ケージング領域Sのx方向の長さをc21〜c24は、それぞれ式(18)〜(21)で与えられる。
式(18)〜(21)において、l(エル)〜l(エル)、角度θは、それぞれ式(22)〜(26)、(27)で与えられる。
なお、式(27)において、a、b、cは、それぞれ式(28)、(29)、(30)で与えられる。
ケージング領域Sが大きいほど,部品Mの位置誤差に対してロバストな把持が可能となる。また、部品Mが大きいほどケージング領域Sの距離cおよびcの値は小さくなる。従って、距離cまたはcが予め定めた許容可能な位置誤差の最小値climを下回る部品Mの大きさが、ケージング可能な最大の大きさrmax2に相当する。ケージング可能な最大の大きさrmax2は、式(8)、(17)で与えられる。
図26は、本実施形態に係るケージング可能な最大の大きさrmax2と距離c、c、climの関係を説明する図である。図26において、縦軸は、距離c、c、climの長さであり、横軸は部品Mの半径である。図26に示すように、ケージング可能な最大の大きさrmax2は、距離cまたはcの曲線と最小値climの交点のrが小さい値を選択する。例えば、式(8)の場合分けでc12が選択され、式(17)の選択でc21が選択された場合、ケージング可能な最大の大きさrmax2は、距離c12またはc21の曲線と最小値climの交点のrが小さい値を選択する。
また、最小値climは、許容される位置誤差である。許容される位置誤差とは、ケージングが成立する状態で部品Mが自由に動ける範囲(ケージング領域S)の事で、例えば最小値clim=2.0[mm]であれば、距離cまたはcが2.0[mm]となる。この値は、例えば、画像による位置の検出誤差やハンド40の位置決め誤差等が、c、cを2.0[mm]で形成するケージング領域Sの範囲内であれば、rmax2の部品Mのケージングが可能であることを意味する。
(セルフアライメント条件)
次に、セルフアライメントが可能な部品Mの大きさの条件(セルフアライメント条件)について説明する。
図27は、本実施形態に係るセルフアライメントの条件を説明する図である。図27(a)に示すように、部品Mは、爪部101及び爪部102の第2傾斜面121と122の接点pとpで接触している。この状態で、爪部101及び爪部102が互いに近づく方向に移動、すなわち閉じると、部品Mが、y方向の正方向に移動させられる。これにより、セルフアライメントが行われる(上方向のセルフアライメントともいう)。また、図27(a)において、符号φは、爪部101の線分aと、頂点aを始点としy方向に平行な線分401とのなす角を表す。
また、図27(b)に示すように、部品Mは、爪部101及び爪部102の第1傾斜面111と112の接点pとpで接触している。この状態で、爪部101及び爪部102が互いに近づく方向に移動、すなわち閉じると、部品Mが、y方向の負方向に移動させられる。これにより、セルフアライメントが行われる(下方向のセルフアライメントともいう)。また、図27(b)において、符号φは、爪部101の線分aと、頂点aを始点とし、y方向に平行な線分411とのなす角を表す。このなす角φは、爪部101と部品Mの接触角である。
図28は、本実施形態に係る爪部から部品に加わる力を説明する図である。図28(a)は、図27(a)と同様に上方向のセルフアライメント時の爪部から部品に加わる力を説明する図である。図28(b)は、図27(b)と同様に上方向のセルフアライメント時の爪部から部品に加わる力を説明する図である。また、図28(b)において、符号xbは、爪部101の頂点aから部品Mの中心点oを通る線分421までの距離である。
図29は、本実施形態に係る部品Mの半径rと頂点aの関係を説明する図である。
図28(a)、図28(b)に示すように、爪部101及び爪部102から部品Mに加わる力Fのうち、爪部方向(線分a方向または線分a方向)の力fとx方向の力fは、式(31)で与えられる。
また、部品Mに対して働く摩擦力fは、摩擦係数をμとすると、式(32)のように与えられる。
式(31)、(32)より、爪部101及び爪部102を閉じることによって、部品Mが移動する条件は、式(33)のように与えられる。
なお、以下の説明では、式(31)のtan−1μをφlimと表すことがある。
次に、上方向のセルフアライメントの場合のセルフアライメント条件を説明する。図19(b)に示すように、接触角φは、φ=β+θ、と表される。爪部101及び爪部102を閉じるほど、接触角φが小さくなるため、βがφlim未満の範囲では、セルフアライメントの途中で部品Mの移動が止まってしまう場合がある。このため、上方向へセルフアライメントが可能な部品Mの最小の大きさrmin2は、図28(a)に示した幾何学的関係から、式(34)で与えられる。
式(34)のφlimにtan−1μを代入すると、式(35)のように変形される。
次に、下方向のセルフアライメントの場合のセルフアライメント条件を説明する。図128(b)に示すように、接触角φは、式(36)のように与えられる。
式(36)は、爪部101、102を閉じるほど、接触角φが大きくなることを示す。(π/2−α)が(tan−1μ)以上の範囲では、最も爪部101、102が開いたときに、セルフアライメントが可能である。このため、下方向へセルフアライメントが可能な部品Mの最大の大きさrmax3は、図28(b)に示した幾何学的関係から、式(37)のように与えられる。
式(37)に、式(36)を代入すると、式(38)のように変形される。
以上のように、ケージング条件に基づき、ケージング可能な部品Mの最大の大きさrmax2は、式(8)、(17)で与えられる。さらに、セルフアライメント条件に基づき、上方向へセルフアライメントが可能な部品Mの最小の大きさrmin2は、式(35)で与えられ、下方向へセルフアライメントが可能な部品Mの最大の大きさrmax3は、式(38)で与えられる。
以上の説明から、ハンド40の爪部101、102の大きさ及び形状は、部品M(対象物Wkの軸部の半径r)について摩擦把持の条件、ケージング条件、及びセルフアライメント条件を満足する大きさの範囲で与えられる。その範囲は、次に述べるように与えられる。部品Mの最小の大きさrminは、摩擦把持可能な部品Mの最小の大きさrmin1と、基端から先端へのセルフアライメントが可能な部品Mの最小の大きさrmin2のうち、大きい値である。部品Mの最大の大きさrmaxは、摩擦把持可能な部品Mの最大の大きさrmax1、部品Mの中心が移動可能な領域が最大となる部品Mの最大の大きさrmax2、及び基端から先端へのセルフアライメントが可能な部品Mの最大の大きさrmax3、のうち、最も小さい値である。
なお、爪部101、102の先端部は、必ずしも厳密な意味での端部のみを示しているのではなく、例えば、図13(a)に示すように、点aと点aを通る直線を含む先端の方の側面やそれに類する箇所も含んでもよい。同様に、爪部101、102の基部は、必ずしも厳密な意味での端部のみを示しているのではなく、例えば、図13(a)に示すように、点aと点aを通る直線を含む後端の方の側面やそれに類する箇所も含んでもよい。
以上、説明したように、本実施形態に係るロボット10は、物体(例えば、対象物Wk)を把持するハンド40と、ハンド40を動作させる制御部60と、を含む。ハンド40は、物体を4点以上の接触点で把持可能な指部41、42を備え、ハンド40で、メタリック感指標が5以上である物体を把持する。
この構成により、指部41、42は4点以上の接触点で物体を挟持することができるので、乱雑に積まれた金属光沢のある物体を安定して把持することができる。
また、ロボット10において、制御部60は、物体を撮像した三次元点群に基づいて物体の位置及び姿勢を算出する位置姿勢推定部602と、物体の長手方向(例えば、y’方向)と物体の撮像方向(例えば、z方向)とに直交する方向に、指部41、42の開閉方向(例えば、z”方向(図9))を定める把持計画部604とを備える。
この構成により、物体の撮像方向と指部の開閉方向が直交するため、撮像データによる物体の位置の撮像方向の誤差が他の方向よりも大きく、指部の開閉方向の誤差が他の方向よりも小さいので、誤差の累積が特定の方向に集中せず平準化される。また、物体の長手方向に直交する方向に指部が開閉するため、ハンドは、その物体を確実に把持することができる。
また、ロボット10において、把持計画部604は、物体の長手方向に垂直、かつ、物体が積み重ねられた平面(例えば、作業平面)に対して平行な成分を有しない方向に物体の位置より予め定めた距離離れた点(例えば、把持準備点P’)からハンド40をその物体に接近させる。
この構成により、ハンド40は、ハンドは、把持対象の物体とその物体が積み重ねられた平面に対して平行な成分を有しない方向にその物体の位置より予め定めた距離離れた点(例えば、把持準備点P’)を起点として、その物体に接近する。ハンドがその物体やその物体が積み重ねられた平面(例えば、作業平面)に接触する可能性を低減することができるので、その物体を確実に把持することができる。
また、ロボット10において、把持計画部604は、物体が積み重ねられた平面と物体の長手方向との間の角度(例えば、角度θ)が所定の角度の閾値(例えば、20°)以上のとき、その平面に対する物体の長手方向の傾きと同じ方向に、指部41、42をその平面に直交する方向から傾ける
この構成により、物体が積み重ねられた平面からの物体の傾きが大きい場合、その傾きに応じて指部の開閉方向が、物体の長手方向に直交する方向により近い方向に傾けられる。そのため、ハンドを物体の長手方向に直交する方向から接近させた場合でも、その物体を確実に把持することができる。
また、ロボット10において、制御部60は、ハンド40が物体を把持する力を変化させることにより物体の姿勢を調整する姿勢制御部606を備える。
この構成により、把持された物体の姿勢が自律的に調整されるため、調整に係る人手による作業を省略又は軽減することができる。
また、ロボット10において、指部41、42は、物体に関してケージング及びセルフアライメントが可能な形状及び大きさを有する。
この構成により、物体の姿勢を調整する際、ハンド40が物体を把持する力を減少させることにより、物体にかかる重力を活用できる。また、ハンド40が物体を把持する力を増加させることにより、一対の指部41、42が対向する面(例えば、第1傾斜面111、112、第2傾斜面121、122)の形状に応じて物体の姿勢を調整することができる。
(変形例)
なお、本発明の技術範囲は上述した実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更を加えることが可能である。
上述した実施形態では、主に対象物Wkの形状が円柱又は円柱に近似する形状である場合を例にしたが、これには限られない。対象物Wkの形状は、例えば、三角柱、四角柱などの角柱または角柱に近似する形状等、一辺の長さが他の辺よりの長い細長い形状で近似できる形状であればよい。
また、対象物Wkが、その一部の径が、他の一部の径よりも大きい部分(例えば、頭部Hd)を有していない場合、方向確認部605及び姿勢制御部606は省略されてもよい。方向確認部605を省略する場合には、撮像装置80は、二次元画像を撮像する機能を有していなくてもよく、画像データ取得部601は、二次元画像データを抽出する処理を省略してもよい。
撮像装置80が被写体の形状を表す三次元点群を取得する方式は、位相シフト法に限られない。各サンプル点の三次元の座標を取得することができれば、いかなる方式(例えば、線飛行時間法)であってもよい。
位置姿勢推定部602が対象物の姿勢を算出する方式は、RANSAC法に限られない。対象物の姿勢を算出することができれば、いかなる方式(例えば、最小ノルム法)であってもよい。位置姿勢推定部602が算出する対象物の姿勢と位置のセットの数は1個であってもよい。その場合には、把持難易度算出部603が省略されてもよい。
把持難易度算出部603は、第1評価指標値〜第4評価指標値の全てを用いて評価指標値を算出しなくてもよい。把持難易度算出部603は、第1評価指標値〜第4評価指標値のいずれか、又は任意の組み合わせを用いて評価指標値を定めてもよい。
把持計画部604は、対象物Wkを挟んだまま、ハンド40をx’−y’平面内で予め定めた角度φ’回転させる処理(ステップS405、図8)を省略してもよい。
また、上述した実施形態では、対象物の長さ(高さ)や半径を、予め制御部60に設定しておくことを前提に説明したが、これには限られない。制御部60は、ユーザからの操作に応じて長さ及び半径を入力可能な入力部(図示せず)から長さ及び半径を取得してもよい。また、ロボット10は、通信回線を介して長さ及び半径を受信可能な通信部(図示せず)を備えてもよい。
撮像装置80は、各フレームの画像データを、個々にロボット10に出力してもよいし、予め定めた時間間隔で逐次にロボット10に出力してもよい。撮像装置80は、ロボット10と一体に構成されていてもよい。
また、制御部60は、撮像装置80、動作機構12、及び検出部63との間で各種のデータを送受信することができれば、ロボット10とは別体の制御装置として構成されてもよい。
なお、上述したロボット10の自由度は6軸に限られず、7軸以上、又は5軸以下であってもよい。
また、ロボット10は、アーム20及びハンド40の組を1組備える単腕ロボットであるが、これには限られない。アーム20とハンド40の数は、それぞれ1個よりも多くてもよい。
図30は、本変形例に係るロボットシステム1aの構成を示す図である。
ロボットシステム1aは、ロボット10aを備える。
ロボット10aは、アーム20とハンド40との組を2組備える双腕ロボットである。制御部60は、2組のアーム20とハンド40の動作を独立に制御することができる。
ロボット10aは、格納部70aを備え、格納部70aの内部には制御部60が格納される。また、格納部70aの上面には、撮像装置80が設置されてもよい。また、格納部70aの底面には車輪が取り付けられ、外力が加えられることでロボットシステム1aの全体が移動できるように構成されてもよい。
また、制御部60の一部又は全部、例えば、画像データ取得部601、位置姿勢推定部602、把持難易度算出部603、把持計画部604、方向確認部605、及び姿勢制御部606の各処理を実行するためのプログラムをコンピューター読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピューターシステムに読み込ませ、実行することにより、制御装置に係る上述した種々の処理を行ってもよい。
なお、ここでいう「コンピューターシステム」とは、上述した処理を行うCPU(Central Processing Unit)、GPU(Graphics Processing Unit)、等のハードウェアの他、OS(Operating System)や周辺機器等のハードウェアを含むものであってもよい。また、「コンピューターシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM(Read Only Memory)、フラッシュメモリー等の書き込み可能な不揮発性メモリー、CD(Compact Disc)−ROM等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピューターシステム内部の揮発性メモリー(例えば、DRAM:Dynamic Random Access Memory)のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピューターシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピューターシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
1、1a ロボットシステム
10、10a ロボット
12 動作機構
40 ハンド
41、42 指部
50 基台
60 制御部
61 入力部
62 記憶部
63 検出部
70a 格納部
80 撮像装置
101、102 爪部
111、112 第1傾斜面
121、122 第2傾斜面
520 支持部材
601 画像データ取得部
602 位置姿勢推定部
603 把持難易度算出部
604 把持計画部
605 方向確認部
606 姿勢制御部

Claims (3)

  1. 円柱に近似可能な形状を有する物体を把持するハンドと、
    前記ハンドを動作させる制御部と、を含み、
    前記ハンドは、
    前記物体を4点以上の接触点で把持可能な指部を備え、
    前記制御部は、
    前記物体を撮像する撮像部が接続され、
    前記撮像部が前記物体を撮像して取得された三次元点群に基づいて前記物体の位置及び姿勢を算出する位置姿勢算出部と、
    前記円柱の中心軸に沿った第1方向と、前記物体の撮像方向とに直交する第2方向に、前記指部の開閉方向を定める把持計画部と、
    を含み、
    前記把持計画部は、
    前記物体が積み重ねられた平面と前記第1方向のなす角度が所定の角度の閾値以上のとき、前記平面に対する前記第1方向の傾きと同じ方向に、前記指部を前記平面に直交する方向から傾け、
    前記第1方向に垂直、かつ、前記平面に対して平行な成分を有しない第3方向に前記物体の位置より予め定めた距離離れた点から、前記ハンドを前記物体に接近させる、
    ロボット。
  2. 前記制御部は、
    前記ハンドが前記物体を把持する力を変化させることにより前記物体の姿勢を調整する姿勢制御部と、
    を備える請求項1に記載のロボット。
  3. 前記指部は、前記物体に関してケージング及びセルフアライメントが可能な形状及び大きさを有する請求項に記載のロボット。
JP2014061478A 2014-03-25 2014-03-25 ロボット Expired - Fee Related JP6364856B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2014061478A JP6364856B2 (ja) 2014-03-25 2014-03-25 ロボット
CN201510116563.1A CN104942804A (zh) 2014-03-25 2015-03-17 机械臂
US14/663,897 US9527209B2 (en) 2014-03-25 2015-03-20 Robot
US15/345,964 US20170050316A1 (en) 2014-03-25 2016-11-08 Robot

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014061478A JP6364856B2 (ja) 2014-03-25 2014-03-25 ロボット

Publications (2)

Publication Number Publication Date
JP2015182184A JP2015182184A (ja) 2015-10-22
JP6364856B2 true JP6364856B2 (ja) 2018-08-01

Family

ID=54158138

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014061478A Expired - Fee Related JP6364856B2 (ja) 2014-03-25 2014-03-25 ロボット

Country Status (3)

Country Link
US (2) US9527209B2 (ja)
JP (1) JP6364856B2 (ja)
CN (1) CN104942804A (ja)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9233470B1 (en) * 2013-03-15 2016-01-12 Industrial Perception, Inc. Determining a virtual representation of an environment by projecting texture patterns
JP6642968B2 (ja) * 2014-03-20 2020-02-12 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
US9669543B1 (en) * 2015-12-11 2017-06-06 Amazon Technologies, Inc. Validation of robotic item grasping
WO2017127643A1 (en) * 2016-01-20 2017-07-27 Soft Robotics, Inc. Soft robotic grippers for cluttered grasping environments, high acceleration movements, food manipulation, and automated storage and retrieval systems
KR102023149B1 (ko) * 2016-03-03 2019-11-22 구글 엘엘씨 로봇 파지를 위한 심층 기계 학습 방법 및 장치
US10207402B2 (en) 2016-03-03 2019-02-19 Google Llc Deep machine learning methods and apparatus for robotic grasping
US11352843B2 (en) 2016-05-12 2022-06-07 Nov Canada Ulc System and method for offline standbuilding
JP2018144157A (ja) * 2017-03-03 2018-09-20 株式会社キーエンス ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP6438512B2 (ja) * 2017-03-13 2018-12-12 ファナック株式会社 機械学習により補正した計測データでワークの取り出しを行うロボットシステム、計測データ処理装置および計測データ処理方法
CN110461550B (zh) * 2017-03-24 2022-11-15 三菱电机株式会社 机器人程序的生成装置及生成方法
US11581690B2 (en) 2017-05-09 2023-02-14 Sony Corporation Robot apparatus for producing electronic apparatus
JP6880457B2 (ja) * 2017-11-14 2021-06-02 オムロン株式会社 把持方法、把持システム及びプログラム
JP6676030B2 (ja) * 2017-11-20 2020-04-08 株式会社安川電機 把持システム、学習装置、把持方法、及び、モデルの製造方法
US11584016B2 (en) 2018-04-24 2023-02-21 Fanuc Corporation Robot controller and system
JP6587326B1 (ja) * 2018-05-22 2019-10-09 日本金銭機械株式会社 ロボットハンド
US10890025B2 (en) 2018-05-22 2021-01-12 Japan Cash Machine Co., Ltd. Banknote handling system for automated casino accounting
US11613940B2 (en) 2018-08-03 2023-03-28 National Oilwell Varco, L.P. Devices, systems, and methods for robotic pipe handling
CN108890648B (zh) * 2018-08-08 2021-07-02 苏州天准科技股份有限公司 一种多关节串联式机器人运动学模型的建立方法
CN113015604B (zh) * 2018-12-11 2024-03-08 株式会社富士 机器人控制***及机器人控制方法
US10335947B1 (en) * 2019-01-18 2019-07-02 Mujin, Inc. Robotic system with piece-loss management mechanism
WO2020151386A1 (en) 2019-01-25 2020-07-30 National Oilwell Varco, L.P. Pipe handling arm
WO2020172407A1 (en) 2019-02-22 2020-08-27 National Oilwell Varco, L.P. Dual activity top drive
FR3093020A1 (fr) * 2019-02-25 2020-08-28 Valeo Systemes Thermiques Procédé d’assemblage d’un dispositif de chauffage, ventilation et/ou climatisation pour véhicule automobile
TWI790408B (zh) * 2019-11-19 2023-01-21 財團法人工業技術研究院 抓取裝置及抓取方法
US11834914B2 (en) 2020-02-10 2023-12-05 National Oilwell Varco, L.P. Quick coupling drill pipe connector
US11274508B2 (en) 2020-03-31 2022-03-15 National Oilwell Varco, L.P. Robotic pipe handling from outside a setback area
US11365592B1 (en) * 2021-02-02 2022-06-21 National Oilwell Varco, L.P. Robot end-effector orientation constraint for pipe tailing path
CN113066233A (zh) * 2021-04-02 2021-07-02 上海点拾科技有限公司 一种plc智能配药***
US11814911B2 (en) 2021-07-02 2023-11-14 National Oilwell Varco, L.P. Passive tubular connection guide
US11982139B2 (en) 2021-11-03 2024-05-14 National Oilwell Varco, L.P. Passive spacer system
CN114505878B (zh) * 2022-02-10 2023-06-02 联宝(合肥)电子科技有限公司 一种夹具及其操作方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4810019A (en) * 1987-02-05 1989-03-07 Bruecher Eberhard Mechanically operated collet chuck for gripping round objects
JP4114796B2 (ja) * 2003-07-14 2008-07-09 株式会社椿本チエイン ワーク把持装置
JP4959520B2 (ja) 2007-11-26 2012-06-27 三菱電機株式会社 位置姿勢認識装置及び方法、並びに部品ピッキングシステム
JP2010175497A (ja) 2009-02-02 2010-08-12 Seiko Epson Corp メタリック感評価装置およびメタリック感評価方法
JP5516249B2 (ja) 2010-09-02 2014-06-11 セイコーエプソン株式会社 印刷装置、印刷方法
JP5895337B2 (ja) * 2010-09-15 2016-03-30 セイコーエプソン株式会社 ロボット
JP2012130987A (ja) 2010-12-21 2012-07-12 Seiko Epson Corp ロボット、ロボット用ハンド
JP5533727B2 (ja) * 2011-02-18 2014-06-25 株式会社安川電機 ワークピッキングシステム
JP5430796B2 (ja) * 2011-04-14 2014-03-05 三菱電機株式会社 ロボット制御装置
JP2013123769A (ja) * 2011-12-14 2013-06-24 Seiko Epson Corp 把持装置及びロボット
JP2013193130A (ja) 2012-03-15 2013-09-30 Seiko Epson Corp ロボットハンド、ロボット装置及びロボットハンドの駆動方法
JP2013198957A (ja) 2012-03-26 2013-10-03 Seiko Epson Corp 把持機構、把持装置、およびロボット装置
JP6035892B2 (ja) * 2012-06-18 2016-11-30 セイコーエプソン株式会社 ロボットハンド及びロボット装置
JP2014006852A (ja) * 2012-06-27 2014-01-16 Seiko Epson Corp 認識処理方法、認識処理装置、ロボットシステム及び認識処理プログラム

Also Published As

Publication number Publication date
US20170050316A1 (en) 2017-02-23
JP2015182184A (ja) 2015-10-22
US9527209B2 (en) 2016-12-27
CN104942804A (zh) 2015-09-30
US20150273688A1 (en) 2015-10-01

Similar Documents

Publication Publication Date Title
JP6364856B2 (ja) ロボット
US10562182B2 (en) Robot, robot system, control device, and control method
US11046530B2 (en) Article transfer apparatus, robot system, and article transfer method
US10894324B2 (en) Information processing apparatus, measuring apparatus, system, interference determination method, and article manufacturing method
US9415511B2 (en) Apparatus and method for picking up article randomly piled using robot
JP5458885B2 (ja) 物体検出方法と物体検出装置およびロボットシステム
JP6744709B2 (ja) 情報処理装置、情報処理方法
JP5977544B2 (ja) 情報処理装置、情報処理方法
JP6271953B2 (ja) 画像処理装置、画像処理方法
JP5088278B2 (ja) 物体検出方法と物体検出装置およびロボットシステム
US20120316820A1 (en) Information processing apparatus and information processing method
US7880899B2 (en) Three-dimensional measurement system, inspection method, three-dimensional measurement method and program
CN111683798A (zh) 工件拾取装置以及工件拾取方法
JP7481427B2 (ja) 取り出しシステム及び方法
JP6489243B2 (ja) 物体認識装置、物体認識方法、物体認識プログラム、ロボットシステム及びロボット
JP6237122B2 (ja) ロボット、画像処理方法及びロボットシステム
JP5370122B2 (ja) 移動***置推定装置及び移動***置推定方法
JP7454132B2 (ja) ロボットシステムの制御装置、ロボットシステムの制御方法、コンピュータ制御プログラム、及びロボットシステム
JP2015079374A (ja) 物体認識装置、物体認識方法、物体認識プログラム、ロボットシステム及びロボット
JP7180783B2 (ja) コンピュータビジョンシステムのキャリブレーション方法及びこれに用いる基準立体物
US20230030852A1 (en) Control apparatus for robotic system, control method for robotic system, computer-readable storage medium storing a computer control program, and robotic system
Zhang et al. Robotic de-palletizing using uncalibrated vision and 3D laser-assisted image analysis
EP4205917A1 (en) Control device, robot, control method, and program
Liu et al. Robotic grasping based on partial shape information
WO2023243051A1 (ja) ワーク取り出しシステム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161207

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171005

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171024

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180605

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180618

R150 Certificate of patent or registration of utility model

Ref document number: 6364856

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees