JP2017513727A

JP2017513727A - 目標物の自動把持方法および設備

Info

Publication number: JP2017513727A
Application number: JP2017507087A
Authority: JP
Inventors: アンリ、エルヴェ; セラ、フロリアン; ブレジエ、ロマン
Original assignee: シルアヌ
Priority date: 2014-04-25
Filing date: 2015-04-23
Publication date: 2017-06-01
Also published as: WO2015162390A1; EP3134234B1; PL3134234T3; FR3020303A1; ES2666793T3; DK3134234T3; FR3020303B1; EP3134234A1; US20170050315A1; PT3134234T

Abstract

少なくとも１つの物品（２）を受容するのに適した領域（４）に位置付けられた物品（２）を自動で取り上げるための、ビジョンシステム（９）と組み合わされた多関節型システム（３）を使用する方法であって、多関節型システム（３）は、物品（２）の少なくとも１つの特定の領域により物品（２）を掴まえるのに適した少なくとも１つの取り上げ部材（５）を有する。本発明によれば、上記の方法は、ビジョンシステム（９）により物品受容領域（４）の画像を撮ること、前記画像から生じる情報を処理し、掴まれるべき物品（２）上に存在し、取り上げ部材（５）に適合する特定の領域のすべてを識別すること、位置および向きについて、１または複数の識別された適合する特定の領域を突き止めること、突き止められた適合する特定の領域の１つを選択し、選択され適合する特定の領域により、対応する取り上げ部材（５）が対応する物品（２）を掴まえるべきピック経路を自動で決定すること、および決定された経路に沿って対応する物品（２）を掴まえることを少なくとも含む。

Description

本発明は、多関節型システムを用いて物品を操作する技術分野に関する。「多関節型システム」という用語は、例えば６つの軸などを有する、ロボットシステムを示すために用いられる。

本発明は、特にはビジョンシステムと組み合わされた多関節型システムを用いて物品を自動で取り上げる方法に関する。

本発明は、例えば、任意の方向に向けられ、次々に運ばれる物品を仕分けることが要求されるとき、または例えば、バラ積みから物品をひとつずつ取り出すことが要求されるときに有利に適用される。「バラ積み」という用語は、異なる、または同様のものであってもよく、かつ大量の任意の方向に向けられた物品の固まり、または集合を示すために使用される。

一般的には、本発明は、多関節型システムによって物品を把持する必要のあるすべての用途に関連する。

三次元（３Ｄ）空間内の支持体上に配置された少なくとも１つの物品を移動させるためのロボットを制御する方法は、技術水準から、特には特許文献１により知られている。かかる方法は、特には以下の工程：
３Ｄ空間の少なくとも２つの二次元（２Ｄ）画像を得る工程、
各２Ｄ画像から少なくとも１つの２Ｄ幾何学的プリミティブを抽出するために、事前に得られた各２Ｄ画像を細分化する工程、
別個の２Ｄ映像から抽出された２Ｄ幾何学的プリミティブ間での合致をサーチする工程、
合致する２Ｄ幾何学的プリミティブの各グループに対して、３Ｄ空間内に含まれる３Ｄ幾何学的プリミティブの座標を計算する工程、
各３Ｄ幾何学的プリミティブを既知の物品と関連付ける工程、
少なくとも１つの３Ｄ幾何学的プリミティブが関連付けられた各既知の物品の、３Ｄ空間内の位置および方向をサーチする工程、および
既知の物品の少なくとも１つを移動させるためにロボットを使用する工程
を含む。

したがって、前記方法は、３Ｄ空間内の物品を検知し、位置決めし、および方向付けするという可能性を提供する。

しかしながら、前記方法は、移動させられる任意の種類の物品に対応するようには適合されないという欠点がある。前記方法は、既に知られており、学習ソフトウェアによって識別された物品に関してのみ機能する。前記方法は、例えば、バラ積みからの異なる種類の未知の物品を、ひとつずつ分離することが要求される場合には適用することができない。かかる用途は、例えば、物品の固まりに対して仕分け操作を行うことである。

仏国特許出願公開第２９８７６８５号明細書

本発明の目的は、上記の欠点を軽減することであって、したがって、未知の物品を、その物品を事前に学習することなく、また物品が掴まえられるべきピック経路を事前に学習することなく、自動で取り上げる方法を提供することである。

また、本発明の目的は、例えば、任意の方向に向けられ、次々に運ばれる物品を仕分けし、またはバラ積みからひとつずつ物品を取り出すことを可能にする方法を提供することである。

これらの目的のために、本発明は、少なくとも１つの物品を受容するのに適した領域に位置付けられた未知の物品を自動で取り上げるための、ビジョンシステムと組み合わされた多関節型システムを使用する方法を提供する。多関節型システムは、物品の少なくとも１つの特定の領域により物品を掴まえるのに適した少なくとも１つの取り上げ部材を有し、方法は、
ビジョンシステムにより、物品受容領域の画像を撮ること、
画像から生じる情報を処理し、掴まれるべき物品上に存在し、１または複数の取り上げ部材に適合する特定の領域のすべてを識別すること、
位置および向きについて、１または複数の識別された適合する特定の領域を突き止めること、
突き止められた適合する特定の領域の１つを選択し、選択され適合する特定の領域により、対応する取り上げ部材が対応する物品を掴まえるべきピック経路を自動で決定すること、および
決定された経路に沿って対応する物品を掴まえること
を少なくとも含むことに特徴がある。

したがって、自動取り上げ方法は、掴まえられる物品に関する学習を必要としない。物品は任意の種類のものでよく、物品の特定の領域が検出され、その領域がその特定の領域により掴まえられる物品のための多関節型システムの取り上げ部材に適合することで十分である。

掴まえられた物品は、その後、任意の所望の方法で取り扱われ、処理され得る。例えば、この方法が仕分け操作に組み込まれる場合、物品は、特定の物品受容トレイまたは貯蔵所に置かれ得る。

本発明は、多関節型システムにより物品を掴む必要のあるすべての用途に関する。

任意に方向付けられ、次々に運ばれる物品を仕分けするために、または実際にバラ積みからひとつずつ物品を取り出すためには、この方法を必要なだけ多数回繰り返せば十分である。物品が掴まれる毎に、方法は、物品受容領域の画像を撮る最初のステップにループして戻る。このようなやり方で、方法は、リアルタイムで物品受容領域に適合する。言い換えれば、掴まれている先行する物品によって移動させられた、掴まれるべき物品は、それにもかかわらず突き止められ、掴まれる。

また、この方法は、物品を認識しようとするのではなく、むしろ掴まれる物品の特定のピック領域を認識しようとする点で有利である。このように、様々なサイズ、形状または材料の物品が、同一の取り上げ部材を用いて、物品のことを学習する必要もなく掴まれ得る。掴まれる物品が、取り上げ部材に適合する特定の領域を有するだけで十分である。

適合する特定の領域が、位置および向きにおいて、突き止められていれば、この方法は、対応する物品が掴まれるべきピック経路に関する学習を必要としない。ピック経路はリアルタイムで、かつ掴まれる各物品に対して計算される。この方法は、未知の物品を取り上げ、配置するために、非常に迅速に取り上げおよび配置操作が行われることを可能にする。

有利には、この方法はインテリジェントであり、突き止められた適合する特定の領域の１つを選択することは、対応する取り上げ部材によってうまく掴むことができる領域の蓋然性の関数である係数を用いて、識別されたそれぞれの領域の重み付けをし、うまく掴むことができる蓋然性が最も高い領域を選択することからなる。

重み付け係数は、例えば、突き止められた適合する特定の領域と、対応する取り上げ部材との間の距離など、任意の種類のパラメータの関数であってもよい。また、重み付け係数は、掴まれる領域の方向の関数として計算することができる。成功の蓋然性は、用いられる取り上げ部材に依存する。

取り上げ方法のスピードを上げるために、取り上げ部材のためのピック経路を決定することは、最短かつ最速の経路を決定することからなる。

この方法において定義された物品受容領域は、任意の種類のものであってもよい。例えば、前記の領域は、多関節型システムを通り過ぎて、掴まれる物品を運ぶコンベア上の領域によって構成されてもよい。かかる領域は、また、定置型であってもよく、ひとつずつ取り出されるバラ積みの物品によって構成されてもよい。

掴まれる物品が、複数の物品で構成されたバラ積みの中にある場合、方法は、有利には、最も高い位置にある物品を識別することをさらに含んでいてもよい。突き止められた特定の領域は、最も高いと識別された物品上で突き止められた複数の領域の中から選択されてもよい。

このように、方法は、部分的に他の物品に覆われるか、または重なる物品であって、うまく掴まれる機会の少ない物品を掴もうとすることを避ける。

有利には、この方法は、第１に、物品が取り上げ部材によって掴まれたかどうかをチェックし、第２に、物品をうまく掴めなかった回数が所定の回数行われた場合に、他の突き止められた適合する特定の領域を選択することをさらに含む。

このように、この方法は、取り上げ部材が掴むことのできない物品に「留まり」続けることができない。物品をうまく掴めなかった回数が所定の回数行われた後、この方法は、同じ取り上げ部材または他の取り上げ部材を用いて、掴まれる同じ物品の別のゾーンか、または異なる他の物品上の掴まれる他の領域に自動的に移る。

特定の実施形態において、この方法の掴まれる物品の適合する特定の領域を識別することは、取り上げ部材が吸着カップ型の場合に、連続する領域を識別することを含む。

「吸着カップ」という用語は、例えば、吸引された空気で作動する吸着カップ、および磁石などの磁気型の吸着カップの両方を示すように用いられる。当然、吸着カップに適合するために、識別された連続する領域は、吸着カップの作用表面積に相当する少なくとも最小の表面積を含む連続する領域を有するべきである。

特定の実施形態において、この方法の掴まれる物品の適合する特定の領域を識別することは、取り上げ部材がクランプ型の場合に、好ましくは平行な縁部または母線を識別することを含む。当然、この構成において、クランプに適合するように、上記縁部間または母線間の最大間隔は、上記クランプの顎部の間の最大可能間隔より小さくなければならない。

本発明はまた、物品を自動で取り上げるための装置を提供する。この装置は、ビジョンシステムと組み合わされた多関節型システム、および掴まれる少なくとも１つの物品を受容するのに適した領域を含む。多関節型システムは、物品の特定の領域により物品を掴まえるのに適した少なくとも１つの取り上げ部材を含む。ビジョンシステムは、物品受容領域の画像を撮るのに適している。

本発明によれば、ビジョンシステムおよび多関節型システムは、処理演算手段と組み合わされ、処理演算手段は、撮像された画像から生じる情報を処理し、掴まれる物品上に存在し、取り上げ部材に適合するすべての特定の領域を識別し、位置および向きについて、識別され適合する特定の領域を突き止め、選択され適合する特定の領域により、対応する取り上げ部材が対応する物品を掴まえるべきピック経路を自動で決定するのに適している。

この装置は、したがって、本発明の方法を実施するのに適しており、このように、上記の方法のすべての利点を含む。

異なる実施形態においては、多関節型システムの取り上げ部材は、少なくとも１つのクランプおよび／または少なくとも１つの吸着カップを含んでもよい。

有利には、１または複数の取り上げ部材は、掴まれる物品に接触するように設計された上記取り上げ部材の部分に配置された、弾性変形可能な部材を備える。前記弾性変形可能な部材は、掴まれる物品の種類に適合するように、柔軟に挙動する。したがって、壊れやすい物品は、破損することなく掴まれ得る。

本発明のその他の特徴および利点は、添付の図面を参照して、限定されない表示によって以下に示される次の説明から明らかになる。

物品を自動で取り上げるための本発明の装置の概略斜視図である。多関節型システムの取り上げ部材の概略斜視図である。多関節型システムのクランプ型の取り上げ部材の概略斜視図である。多関節型システムの吸着カップ型の取り上げ部材の概略斜視図である。

図１を参照すると、物品２を自動で取り上げるための本発明の装置１は、多関節型システム３および物品受容領域４を含んでいる。

多関節型システム３は、例えば、技術水準から公知の６軸ロボットである。この多関節型システム３は、物品２の特定の領域を介して物品２を掴むのに適している。この目的のために、この多関節型システム３は、３つの取り上げ部材５を備え、ビジョンシステム９と組み合わされる。

把持される物品２は、物品受容領域４内で任意にばらばらで配置される。例えば、物品２は、異なるサイズ、形および種類のものである。

図示された物品受容領域４は、ひとつずつ取り出される物品のバラ積みによって構成される。

図２を参照すると、取り上げ部材５は、任意の適切な種類のものであってもよい。それらに必要な条件は、物品２の特定の領域４を介して物品２を掴むのに適していることである。図示された実施形態では、取り上げ部材５は、クランプ６、第１吸着カップ７ａおよび第２吸着カップ７ｂの形態のものであって、両方の吸着カップは吸引によって動作する。

図３を参照すると、クランプ６は、物品２を掴むために、離れ、そして合わさるのに適した顎部６ａを備える。クランプ６によって掴まれるのに適した、物品２の特定の領域は、好ましくは平行な縁部または母線である。当然、上記縁部間または母線間の最大間隔は、前記クランプ６の顎部６ａ間の最大可能間隔より小さくなければならない。掴まれる物品２に接触するように設計された部分では、各顎部６ａは、有利には、掴まれる前記物品２の種類に適合するように、柔軟に挙動する弾性変形可能な部材８を有する。

図４を参照し、技術水準から公知の方法では、吸着カップ７が吸引手段と組み合わされる。吸着カップ７は、その端部に、吸引によって物品２を掴むために、物品２の特定の領域に適用されるのに適したスリーブ状の弾性変形可能な部材８が設けられる。弾性変形可能なスリーブ８は、掴まれる前記物品２と接触するように設計される。弾性変形可能なスリーブ８は、特に、脆弱なある種の物品２に適合するように決定された、第１のレベルの追従性または柔軟性を有する。このスリーブ８は、脆弱な物品２を、壊すことなく掴むことを可能にする。

第１吸着カップ７によって掴むことのできる物品２の特定の領域は、連続しており、すなわち、略平面で、吸着カップ７の前記弾性変形可能なスリーブ８の受取りに耐えるような寸法を有する表面である。

第１および第２吸着カップ７ａ、７ｂは、それらの弾性変形可能なスリーブ８が異なるレベルの追従性を有すること以外は、類似している。例えば、第２吸着カップ７ｂは、より重く、脆弱性の少ない物品２に適合するように、第１吸着カップ７ａよりも大きい。

好ましくは物品受容領域４の位置に合わせて配置されるビジョンシステム９は、物品受容領域４を撮像するのに適しており、例えば、３Ｄカメラ、でなければ、ステレオモードで作動するカメラなどの任意の種類のものであってもよい。

さらに、装置１は、多関節型システム３およびビジョンシステム９と組み合わされた処理演算手段を有する。

上記処理演算手段は、任意の適切な種類のものであり、例えば、マイクロプロセッサの形式とすることができる。

上記処理演算手段は、クランプ６の顎部６ａ間の最大間隔より小さい間隔だけ離れている、好ましくは平行な縁部または母線を、掴まれる物品２上で識別するような方法で、撮られた画像から生じる情報を処理するのに適している。処理演算手段は、また、掴まれる物品２上で、第１および第２吸着カップ７ａ、７ｂの弾性変形可能なスリーブ８の受取りに耐えるような寸法を有する平面を識別するのに適している。

上記処理演算手段は、また、上記識別され適合した特定の領域を、位置および向きにおいて突き止め、突き止められた適合した特定の領域の１つを選択することを可能にする。

掴まれる領域の選択は、例えば、対応する取り上げ部材５によってうまく掴むことができる領域の蓋然性の関数である係数を用いて識別されたそれぞれの領域を重み付けし、うまく掴むことができる蓋然性が最も高い領域を選択することにある。実際には、重み付け係数は、１つまたは２つ以上のパラメータの関数として、各識別され適合した領域に割当てられる。使用されるパラメータは、例えば、掴まれる領域の高さ、可視表面の面積および掴まれる領域の傾きなどの任意の種類のものであり得る。したがって、掴まれる各領域は、選択された各パラメータの各々に対して重み付けを有する。次に評点を得るために、領域の各重み付けの平均をとる。重み付けの種類に応じて、最も高い評点を有する領域、または最も低い評点を有する領域が選択され、掴まれる。

例えば、吸着カップ７ａ、７ｂのうちの１つによって掴まれ得る平面、またはクランプ６によって掴まれ得る２つの平行な縁部を有する領域など、一旦特定の領域が選択されると、前記処理演算手段は、対応する取り上げ部材が、上記選択され適合する特定の領域を経由して対応する物品２を掴まえるべきピック経路を自動的に決定するのに適している。したがって、本発明の装置１は、未知の物品２を自動的に取り上げる方法の実行を可能にする。

本発明によれば、上記の方法は、
ビジョンシステム９により、物品受容領域４の画像を撮ること、
前記画像から生じる情報を処理し、掴まれるべき物品２上に存在し、１または複数の取り上げ部材５に適合する特定の領域のすべてを識別すること、
位置および向きについて、１または複数の識別された適合する特定の領域を突き止めること、
突き止められた適合する特定の領域の１つを選択し、選択され適合する特定の領域により、対応する取り上げ部材５が対応する物品２を掴まえるべきピック経路を自動で決定すること、および
決定された経路に沿って対応する物品２を掴まえること
を含む。

この方法は、物品２、または物品２が掴まれるべきピック経路を学習することなく、物品２を掴むことを可能にするので、有利である。

本発明によれば、取り上げ部材５の１つが他の部材より優先されてもよい。取り上げ部材５の使用の優先順位が確立されてもよい。

ビジョンシステム９によって撮像された画像の処理中に、第１の優先度がクランプ６に与えられた場合、突き止められた特定の領域の１つは、クランプ６によって掴まれ得るものの中からのみ選択される。

本発明の方法は、オペレータの介在を必要とせず、または、物品２または物品２が掴まれるべきピック経路を事前に学習することなく、自動で、迅速にばらばらに配置された未知の物品２を、初期範囲まで分離することを可能にするので有利である。

もちろん本発明の方法および装置１は、複数の多関節型システム３を実施することができ、多関節型システムの各々は、同一のビジョンシステム９と組み合わせることができ、または、それぞれが自身のビジョンシステム９と組み合わせることができる。したがって、多関節型システム３の１つが掴まれた物品２を移動させるとき、他の多関節型システム３は、既に掴まれている前記物品２を移動させているあいだに、他の物品などを掴み、それにより時間の節約になる。これによって、未知の物品２を最適にかつ素早く取り上げ配置するための、取り上げ、および配置操作を行うことが可能になる。物品２は、掴まれた後、任意の望ましい方法で取り扱われ、処理され得る。例えば、物品２は、処理ステーションに運ばれ得るか、または特定の物品受容トレイまたは貯蔵所に置かれ得る。

Claims

少なくとも１つの物品（２）を受容するのに適した領域（４）に位置付けられた物品（２）を自動で取り上げるための、ビジョンシステム（９）と組み合わされた多関節型システム（３）を使用する方法であって、前記多関節型システム（３）は、前記物品（２）の少なくとも１つの特定の領域により物品（２）を掴まえるのに適した少なくとも１つの取り上げ部材（５）を有し、前記方法が、
前記ビジョンシステム（９）により、前記物品受容領域（４）の画像を撮ること、
前記画像から生じる情報を処理し、掴まれるべき物品（２）上に存在し、１または複数の取り上げ部材（５）に適合する特定の領域のすべてを識別すること、
位置および向きについて、１または複数の識別された適合する特定の領域を突き止めること、
突き止められた適合する特定の領域の１つを選択し、選択され適合する特定の領域により、対応する取り上げ部材（５）が対応する物品（２）を掴まえるべきピック経路を自動で決定すること、および
決定された経路に沿って対応する物品（２）を掴まえること
を少なくとも含むことを特徴とする方法。
前記突き止められた適合する特定の領域の１つを選択することは、対応する取り上げ部材（５）によってうまく掴むことができる領域の蓋然性の関数である係数を用いて、識別されたそれぞれの領域の重み付けをし、うまく掴むことができる蓋然性が最も高い領域を選択することからなることを特徴とする請求項１記載の物品（２）を自動で取り上げる方法。
前記ピック経路を決定することは、最短かつ最速の経路を決定することからなることを特徴とする請求項１または２記載の物品（２）を自動で取り上げる方法。
掴まれる前記物品（２）が、掴まれる複数の異なる物品（２）のバラ積みの中にあることを特徴とする請求項１〜３のいずれか１項に記載の物品（２）を自動で取り上げる方法。
最も高い位置にある物品（２）を識別することをさらに含み、突き止められた特定の領域が、最も高いと識別された物品（２）上で突き止められた複数の領域の中から選択されることを特徴とする請求項４記載の物品（２）を自動で取り上げる方法。
第１に、物品（２）が取り上げ部材（５）によって掴まれたかどうかをチェックし、第２に、物品（２）をうまく掴めなかった回数が所定の回数行われた場合に、他の突き止められた適合する特定の領域を選択することをさらに含むことを特徴とする請求項１〜５のいずれか１項に記載の物品（２）を自動で取り上げる方法。
掴まれる物品（２）の適合する特定の領域を識別することは、取り上げ部材（５）が吸着カップ型（７）の場合に、連続する領域を識別することを含むことを特徴とする請求項１〜６のいずれか１項に記載の物品（２）を自動で取り上げる方法。
掴まれる物品の適合する特定の領域を識別することは、取り上げ部材（５）がクランプ型（６）の場合に、縁部または母線を識別することを含み、前記縁部間または母線間の最大間隔は、前記クランプの顎部の間の最大可能間隔よりも小さいことが必要であることを特徴とする請求項１〜７のいずれか１項に記載の物品（２）を自動で取り上げる方法。
物品（２）を自動で取り上げるための装置（１）であって、
前記装置（１）は、ビジョンシステムと組み合わされた多関節型システム（３）、および掴まれる少なくとも１つの物品（２）を受容するに適した領域（４）を含み、前記多関節型システム（３）は、物品（２）の少なくとも１つの特定の領域により物品（２）を掴まえるのに適した少なくとも１つの取り上げ部材（５）を含み、前記ビジョンシステム（９）は、物品受容領域（４）の画像を撮像するのに適しており、前記ビジョンシステム（９）および前記多関節型システム（３）は、処理演算手段と組み合わされ、
前記処理演算手段は、
撮像された画像から生じる情報を処理し、
掴まれる物品（２）上に存在し、取り上げ部材（５）に適合するすべての特定の領域を識別し、
位置および向きについて、識別され適合する特定の領域を突き止め、
選択され適合する特定の領域により、対応する取り上げ部材（５）が対応する物品（２）を掴まえるべきピック経路を自動で決定するのに適していることを特徴とする装置。
多関節型システム（３）の取り上げ部材（５）は、少なくとも１つのクランプ（６）の形態である請求項９記載の物品（２）を自動で取り上げるための装置（１）。
多関節型システム（３）の取り上げ部材（５）は、少なくとも１つの吸着カップの形態である請求項９または１０記載の物品（２）を自動で取り上げるための装置（１）。
１または複数の取り上げ部材（５）は、掴まれる物品（２）に接触するように設計された前記取り上げ部材（５）の部分に配置された、弾性変形可能な部材（８）を備え、前記弾性変形可能な部材（８）は、掴まれる物品（２）の種類に適合するように、柔軟に挙動する請求項９〜１１のいずれか１項に記載の物品（２）を自動で取り上げるための装置（１）。