JP5469216B2

JP5469216B2 - バラ積みされた物品をロボットで取出す装置

Info

Publication number: JP5469216B2
Application number: JP2012170009A
Authority: JP
Inventors: 俊之安藤
Original assignee: FANUC Corp
Current assignee: FANUC Corp
Priority date: 2012-07-31
Filing date: 2012-07-31
Publication date: 2014-04-16
Anticipated expiration: 2032-07-31
Also published as: DE102013012224B4; CN103568024B; CN103568024A; US8874270B2; JP2014028415A; US20140039679A1; DE102013012224A1

Description

本発明は、コンテナ内にバラ積みされた物品の位置を認識して、認識された物品をロボットで取出す物品取出装置に関する。

従来より、コンテナ内にバラ積みされた物品をカメラで撮像し、そのカメラ画像を画像処理して、物品の位置を認識するようにした装置が知られている（例えば特許文献１参照）。この特許文献１記載の装置では、コンテナ全体が視野内に収まるようにコンテナの真上にカメラを配置し、このカメラからの画像を用いて物品を検出し、ロボットのマニピュレータで取出すべき物品を選定する。選定された物品の取出しは、マニピュレータの手先部に設けられた三次元視覚センサを用いて行う。

特開２００７−３１３６２４号公報

しかしながら、カメラ画像はコンテナの開口端面や内壁を含むため、カメラ画像から物品を認識するようにしたのでは、これら開口端面や内壁と物品との区別が困難な場合がある。

本発明による物品取出装置は、平面状の開口端面と該開口端面に連設され、収容空間を形成する内壁部とを有するコンテナの収容空間にバラ積みされた複数の物品の表面位置を測定する三次元測定機と、コンテナの開口端面を含む領域を撮像するカメラと、コンテナ内から物品を取出し可能なハンドを有するロボットと、カメラにより撮像されたコンテナの画像を取得する画像取得手段と、画像取得手段により取得された画像に基づき、収納空間に対応する画像上の領域である画像上検索領域を設定する画像上検索領域設定手段と、コンテナの開口端面を含む平面である基準平面を設定する基準平面設定手段と、予め記憶されたカメラのキャリブレーションデータに基づき、画像上検索領域に対応した基準平面上の領域である検索領域を算出する検索領域算出手段と、三次元測定機で測定された複数の三次元点を基準平面上に投影する投影手段と、投影手段によって投影された複数の三次元点が、検索領域内に含まれるか否かを判定する判定手段と、三次元測定機によって測定された複数の三次元点のうち、判定手段により検索領域内に含まれると判定された三次元点を用いて、コンテナ内の物品の位置を認識する位置認識手段と、位置認識手段により認識された物品の位置に基づいて、物品を取出すようにロボットを制御するロボット制御手段と、を備えることを特徴とする。

本発明によれば、カメラからの画像により、コンテナの開口端面を含む平面上に検索領域を設定し、三次元測定機により測定された物品表面の三次元点のうち、検索領域内に含まれる点に基づき物品の位置を認識するようにした。これによりコンテナの開口端面や内壁を誤って物品と認識することを防止することができ、ロボットのハンドを用いて精度よく物品の取出しを行うことができる。

本発明の一実施形態に係る物品取出装置の概略構成を示す図である。図１の制御装置で実行される処理の一例を示すフローチャートであり、とくに、（ａ）は、物品取出作業の前段階の処理の一例を示し、（ｂ）は、物品取出作業時の処理の一例を示す。図２（ａ）の処理で得られる画像上検索領域の一例を模式的に示した図である。図１の三次元測定機で取得した三次元点集合を模式的に表した図である。図２（ｂ）の処理を説明する図である。図２（ｂ）の処理を説明する別の図である。本実施形態の効果を説明する図である。

図１は、本発明の実施形態に係る物品取出装置１０の概略構成を示す図である。物品取出装置１０は、三次元測定機１１と、カメラ１２と、ロボット１３と、カメラ１２と三次元測定機１１とロボット１３とに接続して三次元測定機１１とカメラ１２とロボット１３をそれぞれ制御する制御装置１４とを有する。ロボット１３は、ロボットアーム１３ａの先端部に取り付けられたハンド１５を有する。三次元測定機１１とカメラ１２は架台１６に取り付けられている。なお、以下では、図示のように互いに直交するＸ軸、Ｙ軸、Ｚ軸を定義する。Ｘ軸とＹ軸とを含むＸＹ平面は水平面であり、Ｚ軸は鉛直上方を向いている。

ロボット１３の側方には、上面が開放されたボックス形状のコンテナ１７が配置されている。コンテナ１７は、底面に対して平行な平面状の開口端面１７ａ（上面）と、開口端面１７ａに連設され、収容空間１７ｃを形成する内壁部１７ｂとを有し、床面から開口端面１７ａまで所定高さＺｃを有する。コンテナ１７の形状は、開口端面１７ａを含む平面に垂直な方向に沿って開口端面１７ａを含む平面上にコンテナ１７の底面及び内壁部１７ｂを投影して得られる領域が開口端面１７ａの内側の縁（コンテナの内壁部１７ｂと開口端面が交差する部位）で囲まれる閉領域と一致するような形状である。コンテナ１７内の収納空間１７ｃには、複数の物品２０がバラ積みされて収納されている。物品２０は、ハンド１５により保持することができ、ロボット１３の動作によりコンテナ１７から物品２０が取出される。コンテナ１７の中央部上方には、三次元測定機１１とカメラ１２が設置されている。

三次元測定機１１は、制御装置１４からの指令により、コンテナ１７の上方からコンテナ１７内にバラ積みされた物品２０の表面位置を測定して三次元点の集合（三次元点集合）を取得する。三次元測定機１１の測定領域の位置や大きさは、三次元測定機１１を設置する位置に応じて変更することができる。三次元測定機１１の測定領域は、コンテナ１７内の物品２０を全て含むように設定される。測定領域が大き過ぎると測定分解能の低下を招くので、物品２０の存在可能領域、すなわち収納空間１７Ｃの全体を含む程度に設定することが好ましい。三次元測定機１１と制御装置１４とは通信ケーブル等の通信手段によって互いに接続されており、互いに通信することができる。

三次元測定機１１は、種々の非接触方式のものを利用することができる。例えば、カメラ２台のステレオ方式、レーザスリット光を走査する方式、レーザスポット光を走査する方式、プロジェクタ等の装置を用いてパターン光を物品に投影する方式、光が投光機から出射されてから物品表面で反射し受光器に入射するまでの飛行時間を利用する方式などが挙げられる。

三次元測定機１１は、取得した三次元情報を距離画像又は三次元マップの形式で表す。距離画像とは、三次元情報を画像形式で表現したものであり、画像の各画素の明るさや色により、その画素に対応した位置のＺ方向の高さ又は三次元測定機１１からの距離を表すようにしたものである。一方、三次元マップとは、測定された三次元座標値（ｘ，ｙ，ｚ）の集合として三次元情報を表現したものである。本実施形態では、距離画像における各画素や三次元マップにおける三次元座標値を有する点を、三次元点と称し、複数の三次元点からなる集合を、三次元点集合と称する。三次元点集合は、三次元測定器１１で測定した三次元点全体の集合であり、三次元測定機１１により取得できる。

カメラ１２は、ＣＣＤセンサやＣＭＯＳセンサ等の撮像素子（光電変換素子）を有するデジタルビデオカメラあるいはデジタルスチルカメラであり、制御装置１４からの指令により、コンテナ１７の上方から開口端面１７ａを含む領域を撮像する。カメラ１２の撮像領域の位置や大きさは、カメラ１２を設置する位置に応じて変更することができる。カメラ１２の撮像領域は、コンテナ１７を全て含むように設定される。撮像領域が大き過ぎると撮像分解能の低下を招くので、コンテナ１７の存在可能領域、すなわち開口端面１７ａの全体を含む程度に設定することが好ましい。カメラ１２と制御装置１４とは通信ケーブル等の通信手段によって互いに接続されており、互いに通信することができる。

なお、三次元測定機１１がカメラを有し、かつ、そのカメラの撮像領域がコンテナ１７の存在可能領域を含む程度に設定されていれば、そのカメラをカメラ１２として用いることができる。これにより部品点数が少なくなり、三次元測定機１１とカメラ１２の全体の設置スペースを低減できる。

制御装置１４は、それぞれＣＰＵ，ＲＯＭ，ＲＡＭ，その他の周辺回路などを有する演算処理装置を含んで構成される。図２（ａ），（ｂ）は、それぞれ制御装置１４で実行される処理の一例を示すフローチャートである、以下、物品取出装置１０による動作を、図２（ａ），（ｂ）のフローチャート及び関連する図面を参照しつつ説明する。なお、図２（ａ），（ｂ）の処理を実行する前に、三次元測定機１１とカメラ１２は、共通の座標系（ＸＹＺ座標系）を基準としてキャリブレーションされている。

図２（ａ）は、コンテナ１７を基準となる位置および姿勢（以下、位置姿勢と呼ぶ）にセットした状態、すなわち基準状態で実行される処理の一例である。基準状態では、コンテナ１７が水平な床の上に設置される。図２（ａ）の処理は、バラ積み取出しシステムの構築時に一度だけ実行される処理であり、コンテナ１７の入れ替えなどによりコンテナ１７の位置姿勢が変化した場合であっても再度実行する必要はない。なお、使用するコンテナ１７のサイズが変更された場合には、検索領域を変更する必要があるため、その場合には図２（ａ）の処理が再度実行される。

図２（ａ）に示すように、まず、ステップＳＲ１で、コンテナ１７が基準状態にセットされた状態でカメラ１２に制御信号を出力し、カメラ１２でコンテナ１７を含む領域を撮像するとともに、この撮像された画像を基準コンテナ画像として読み込む。すなわち、基準コンテナ画像を取得する。

ステップＳＲ２では、基準コンテナ画像上でのコンテナ１７の開口端面１７ａの位置姿勢である画像上基準コンテナ位置姿勢を検出する。より具体的には、ステップＳＲ１の基準コンテナ画像からコンテナ１７の開口端面１７ａを表す領域である画像上開口端面領域ＩＧ（図３）を特定する。画像上基準コンテナ位置姿勢（画像上開口端面領域ＩＧ）を特定するためには、例えばパターンマッチングなどの方法を用いることができる。パターンマッチングの方法は周知であり、詳細な説明は省略する。

ステップＳＲ３では、基準状態においてコンテナ１７の開口端面１７ａを含む平面を基準平面として設定する。基準状態では、コンテナ１７が水平な床の上（ＸＹ平面上）に設置されているので、基準平面も水平である。すなわち、空間上において、基準平面は高さＺｃが一定の水平面となる。基準平面の設定には、高さＺｃが必要であるが、高さＺｃは予め測定した値を用いてもよいし、三次元測定機１１で測定してもよい。

ステップＳＲ４では、基準状態において基準平面と所定の角度で交わる方向を投影方向として設定または算出する。本実施形態では、基準平面と垂直な方向を投影方向として設定する。したがって、投影方向はＺ軸と平行である。

ステップＳＲ５では、画像上基準コンテナ位置姿勢と基準平面とカメラ１２のキャリブレーションデータとを用いて、画像上基準コンテナ位置姿勢に対応した実空間上でのコンテナ１７の位置姿勢である基準コンテナ位置姿勢Ｃｒを算出する。すなわち、キャリブレーションデータに基づき、画像上基準コンテナ位置姿勢を表す画像上開口端面領域ＩＧ（図３）に対応した開口端面１７ａが、基準平面上でいかなる位置姿勢となるかを算出する。なお、画像上で検出したコンテナの位置姿勢と基準平面とカメラ１２のキャリブレーションデータとから実空間上でのコンテナ１７の位置姿勢Ｃｒを算出する方法は周知であり、詳細な説明を省略する。算出した基準コンテナ位置姿勢Ｃｒは、次式(I)のような同次変換行列で表すことができる。

上式(I)で、Ｃｒ.ｘ、Ｃｒ.ｙはコンテナの位置、Ｃｒ.ｒ１１〜Ｃｒ.ｒ２２はコンテナの姿勢を表す。制御装置１４は、この基準コンテナ位置姿勢Ｃｒをメモリに記憶する。

ステップＳＲ６では、基準コンテナ画像上でコンテナ１７の内壁１７ｂよりも内側、つまり画像上開口端面領域ＩＧの内側の領域を画像上検索領域として設定する。画像上検索領域は、画像上の複数の点Ｖｒｉ（ｉ＝１，２，３，・・・）を頂点とし、頂点Ｖｒｉを順番に結んで囲まれる領域で表す。Ｖｒｉは次式(II)で表すことができる。なお、Ｖｒｉｖｔは画像上の垂直方向の画像位置、Ｖｒｉｈｚは画像上の水平方向の画像位置を表している。

図３は、画像上検索領域ＡＲの一例を示す図であり、基準コンテナ画像１８を模式的に表している。図３において、物品２０が存在するのはコンテナ１７の内壁１７ｂより内側なので、例えば画像上開口端面領域ＩＧのコーナーの４点から所定量ｓ１，ｓ２だけ内側に移動した４つの頂点Ｖｒ１〜Ｖｒ４を画像上検索領域ＡＲを表現する頂点として設定する。画像上開口端面領域ＩＧより所定量ｓ１，ｓ２内側に頂点Ｖｒ１〜Ｖｒ４を設定するのは、コンテナ１７の内壁１７ｂの凸凹や三次元測定機１１の測定誤差により、コンテナ１７の内壁上の三次元点をコンテナ１７の内壁１７ｂよりも内側にある物品２０上の三次元点と誤って認識することを防ぐためである。所定量ｓ１，ｓ２は、例えば内壁１７ｂの深さが画像上いかなる長さで表されるかを考慮して設定すればよく、コンテナ１７の内壁１７ｂの近傍の物品２０が検索領域の外側に出ない程度にするとよい。

ステップＳＲ７では、画像上の４つの点Ｖｒｉ（ｉ＝１，２，３，４）と基準平面とカメラ１２のキャリブレーションデータとを用いて、実空間において高さＺｃである基準平面上の点４つの点Ｗｒｉ（ｉ＝１，２，３，４）を、検索領域を表す点として算出し、記憶する。すなわち、カメラ１２のキャリブレーションデータに基づき、画像上検索領域ＡＲに対応した基準平面上の領域である検索領域を算出する。Ｗｒｉは次式(III)で表すことができる。なお、Ｗｒｉｘは実空間上のＸ座標、Ｗｒｉｙは実空間上のＹ座標を表している。

なお、本実施形態において、検索領域は、４つの点Ｗｒｉを直線で結ぶことによって得られるが、点Ｗｒｉの数は４点に限らず、３点以上であれば検索領域を設定できる。以上で、コンテナ１７を基準状態に設置して行う、物品取出作業の前段階の処理を終了する。

図２（ｂ）は、物品取出作業時の処理の一例を示すフローチャートである。この処理は、図２（ａ）の処理が行われた後、物品取出作業を行う際に実行される。

ステップＳＥ１では、物品取出作業時においてコンテナ１７を含む領域をカメラ１２で撮像し、実状態における画像（実コンテナ画像）を取得する。実状態におけるコンテナ１７の位置は、基準状態におけるコンテナ１７の位置とは異なる場合が多いが、実状態においてもコンテナ１７は、基準状態におけるのと同一の水平な床の上に設置される。したがって、基準状態におけるコンテナ１７の開口端面１７ａを含む基準平面は、物品取出作業時（実状態）においても、コンテナ１７の開口端面１７ａを含む基準平面となる。

ステップＳＥ２では、ステップＳＥ１で取得した実コンテナ画像上でのコンテナの開口端面１７ａの位置姿勢である画像上コンテナ位置姿勢（画像上実コンテナ位置姿勢と呼ぶ場合もある）を検出する。すなわち、ステップＳＲ２と同様、パターンマッチング等によりカメラ画像から画像上開口端面領域を特定する。

ステップＳＥ３では、画像上コンテナ位置姿勢と基準平面とキャリブレーションデータとから、画像上コンテナ位置姿勢に対応した実空間上でのコンテナ１７の位置姿勢であるコンテナ位置姿勢（実コンテナ位置姿勢と呼ぶ場合もある）Ｃｅを算出する。すなわち、キャリブレーションデータに基づき、画像上コンテナ位置姿勢を表す画像上開口端面領域に対応した開口端面１７ａが、基準平面上でいかなる位置姿勢となるかを算出する。実空間上でのコンテナ１７の位置姿勢の算出方法は、ステップＳＲ５と同じ方法を用いればよい。算出したコンテナ位置姿勢Ｃｅは次式（IV）で表すことができる。

ステップＳＥ４では、ステップＳＲ５で算出した基準コンテナ位置姿勢ＣｒとステップＳＥ３で算出したコンテナ位置姿勢Ｃｅとからコンテナ位置姿勢変化量Ｃｏｆｓを算出する。コンテナ位置姿勢変化量Ｃｏｆｓは次式(V)で算出できる。なお、inv()は逆行列を表す。

ステップＳＥ５では、ステップＳＲ７で記憶した検索領域Ｗｒｉに、ステップＳＥ４で算出したコンテナ位置姿勢変化量Ｃｏｆｓを乗じ、これを変換検索領域Ｗｅｉとする。変換検索領域Ｗｅｉは次式(VI)で表すことができる。

ステップＳＥ６では、三次元測定機１１に制御信号を出力し、三次元測定機１１で三次元点の測定を行わせ、三次元点集合を取得する。

ステップＳＥ７では、三次元点集合に属する三次元点を投影方向に沿って基準平面上へ投影したときに変換検索領域内に含まれるか否かを判定し、変換検索領域内に含まれると判定された三次元点を集めた集合を領域内三次元点集合として求める。領域内三次元点集合を求める方法について、図４、図５及び図６を用いて説明する。

図４は、変換検索領域３０と三次元点集合３１とを模式的に示す図である。図４に示すように、三次元点集合３１には、投影方向（Ｚ軸方向）に沿って基準平面上へ投影したときに変換検索領域３０内に含まれるような三次元点と領域３０外に出てしまうような三次元点の両方が含まれている。そのうち領域３０内に含まれるような三次元点を集めた集合である領域内三次元点集合を求めるには、先ず、高さＺｃである基準平面に三次元点集合３１を投影した投影三次元点集合３２を求める。

次に、投影三次元点集合３２の各点（以後、投影三次元点と呼ぶ）が変換検索領域３０内にあるか否かを判定する。図５は、この判定方法を説明するための図である。図５には、変換検索領域３０内の投影三次元点３２Ａと変換検索領域３０外の投影三次元点３２Ｂとが示されている。投影三次元点３２Ａ，３２Ｂをそれぞれ始点としてＸ軸の正方向に伸びる半直線を設定し、半直線と変換検索領域３０の各辺とが交差する回数を求める。投影三次元点３２Ａのように、変換検索領域３０内に投影三次元点がある場合には、交差回数は奇数となり、投影三次元点３２Ｂのように、変換検索領域３０外に投影三次元点がある場合には、交差回数は０又は偶数となる。したがって、交差回数が奇数か否かを判定することにより、投影三次元点が変換検索領域３０内にあるか否かを判定することができる。この処理を投影三次元点集合３２に含まれる全ての点で行い、変換検索領域３０内と判定された投影三次元点を全て集めることにより、図６に示すように変換検索領域３０内の投影三次元点の集合である領域内投影三次元点集合３３を求めることができる。次に、領域内投影三次元点集合３３に含まれる各投影三次元点に対応する投影前の三次元点を集める。これが、図６に示す領域内三次元点集合３４であり、物品２０の位置の認識は領域内三次元点集合３４を用いて行う。

ステップＳＥ８では、領域内三次元点集合３４から１以上の物品２０の位置を認識する。すなわち、物品位置を認識する。物品位置を認識する方法としては、三次元モデルパターンを使ったマッチングなどの種々の方法があるが、この点についての詳細な説明は省略する。

ステップＳＥ９では、認識された物品位置に基づいてロボット１３を移動させ、ロボット１３に搭載したハンド１５で物品２０を保持し、取出す。複数の物品位置が認識されたならば、各物品位置に基づいて複数の物品２０を取出すことも可能である。以上のステップＳＥ１〜ＳＥ９を繰り返し行うことで、コンテナ１７内の物品２０の取出作業を行う。

図７は、本実施形態の効果を説明する図である。図７では、コンテナ１７の内壁１７ｂ上の三次元点４０Ａとコンテナ１７の開口端面１７ａ上の三次元点４０Ｂとが三次元測定機１１により測定されたとする（ステップＳＥ６）。高さＺｃである基準平面上には、上記処理（ステップＳＥ５）により算出された変換検索領域３０が示されている。ここで、コンテナ１７の内壁上の三次元点４０Ａの投影三次元点４１Ａと開口端面上の三次元点４０Ｂの投影三次元点４１Ｂとは、共に基準平面上で変換検索領域３０の領域外に位置する。したがって、三次元点４０Ａと４０Ｂは共に領域内三次元点集合３４には含まれず（ステップＳＥ７）、物品２０の位置を認識するために用いられない。よって、コンテナ１７の開口端面１７ａや内壁１７ｂの三次元点が領域内三次元点集合３４には含まれず、それらの位置を物品２０の位置として誤認識することを防ぐことができる。

本実施形態によれば、以下のような作用効果を奏することができる。
（１）カメラ１２での撮像により、コンテナ１７の開口端面１７ａを含む基準コンテナ画像を取得し（ステップＳＲ１）、この基準コンテナ画像に基づき、コンテナ１７の収納空間１７ｃに対応する画像上検索領域ＡＲ（図３）を設定し（ステップＳＲ６）、コンテナ１７の開口端面１７ａを含む基準平面を設定し（ステップＳＲ３）、予め記憶されたカメラ１２のキャリブレーションデータに基づき、画像上検索領域に対応した基準平面上の検索領域を算出するようにした（ステップＳＲ７）。さらに、検索領域を変換検索領域に変換し（ステップＳＥ５）、三次元測定機１１で測定された複数の三次元点を基準平面上に投影して、変換検索領域内に含まれる三次元点を領域内三次元点集合として取出し（ステップＳＥ６，ステップＳＥ７）、領域内三次元点集合を用いてコンテナ内の物品の位置を認識し（ステップＳＥ８）、認識された物品の位置に基づいて、ロボット１３を制御して物品を取出すようにした（ステップＳＥ９）。したがって、ロボット１３により物品を取出す際に、コンテナ１７の開口端面１７ａや内壁１７ｂの三次元点の位置が物品２０の位置として誤認識されることを防ぐことができる。

（２）取得された基準コンテナ画像からコンテナ１７の開口端面１７ａを表す領域である画像上開口端面領域ＩＧを特定し、画像上開口端面領域ＩＧの所定量Ｓ１，Ｓ２内側に、画像上検索領域ＡＲを設定するようにしたので、画像上検索領域から内壁１７ｂの凹凸等を除外することができ、内壁１７ｂの凹凸等の影響を受けずに物品を精度よく認識することができる。

（３）基準コンテナ画像から画像上基準コンテナ位置姿勢を特定するとともに（ステップＳＲ２）、カメラ１２のキャリブレーションデータに基づいて、画像上基準コンテナ位置姿勢に対応した実空間上の基準コンテナ位置姿勢を算出し（ステップＳＲ５）、さらに物品取出作業時のコンテナ１７の画像から画像上コンテナ位置姿勢を特定するとともに（ステップＳＥ２）、カメラ１２のキャリブレーションデータに基づいて、画像上コンテナ位置姿勢に対応した実空間上のコンテナ位置姿勢を算出し（ステップＳＥ３）、基準コンテナ位置姿勢とコンテナ位置姿勢との差異に基づき、検索領域を変換検索領域に変換するようにした（ステップＳＥ５）。これにより、コンテナの位置姿勢が基準となる位置姿勢から変化した場合でも、精度よく物品２０の位置を認識することができる。

（４）また、基準平面から設定した角度で交わる方向を投影方向として設定するようにした（ステップＳＲ４）。これにより、基準平面に対してコンテナ内壁１７ｂがなす平面が垂直でない場合に、投影方向をコンテナ内壁１７ｂがなす平面の法線ベクトルと直交しかつ基準平面の法線ベクトルとの内積が最も大きくなる方向に設定することで、内壁１７ｂの三次元点の位置が物品２０の位置として誤認識されることを防ぐことができる。

なお、上記実施形態では、物品取出作業時に、予め定めた実空間上の検索領域を変換検索領域に変換するようにしたが、コンテナの位置姿勢の変化量が小さい場合（例えば位置姿勢の変化量が０の場合）には、変換検索領域の代わりに検索領域を用いて領域内三次元点集合を取得するようにしてもよい。上記実施形態では、画像上検索領域を四角形によって構成したが、他の多角形により構成することもできる。

上記実施の形態における制御装置１４は、機能的構成として、カメラ１２により撮像されたコンテナ１７の画像を取得する画像取得部すなわち画像取得手段（ステップＳＲ１，ステップＳＥ１）と、この取得された画像に基づいて画像上検索領域を設定する画像上検索領域設定部すなわち画像上検索領域設定手段（ステップＳＲ６）と、コンテナ１７の基準平面を設定する基準平面設定部すなわち基準平面設定手段（ステップＳＲ３）と、予め記憶されたカメラ１２のキャリブレーションデータに基づき、検索領域を算出する検索領域算出部すなわち検索領域算出手段（ステップＳＲ７）と、三次元測定機１１で測定された複数の三次元点を基準平面上に投影する投影部すなわち投影手段（ステップＳＥ７）と、投影された複数の三次元点が、検索領域内に含まれるか否かを判定する判定部すなわち判定手段（ステップＳＥ７）と、三次元測定機１１によって測定された複数の三次元点のうち、検索領域内に含まれると判定された三次元点を用いてコンテナ内の物品の位置を認識する位置認識部すなわち位置認識手段（ステップＳＥ８）と、認識された物品２０の位置に基づいて、物品２０を取出すようにロボット１３を制御するロボット制御部すなわちロボット制御手段（ステップＳＥ９）とを有する。

さらに、制御装置１４は、基準コンテナ画像から画像上基準コンテナ位置姿勢を特定する基準位置姿勢特定部すなわち基準位置姿勢特定手段（ステップＳＲ２）と、実コンテナ画像から画像上実コンテナ位置姿勢を特定する実位置姿勢特定部すなわち実位置姿勢特定手段（ステップＳＥ２）と、カメラ１２のキャリブレーションデータに基づき、基準コンテナ位置姿勢を算出する基準位置姿勢算出部すなわち基準位置姿勢算出手段（ステップＳＲ５）と、カメラ１２のキャリブレーションデータに基づき、実コンテナ位置姿勢を算出する実位置姿勢算出部すなわち実位置姿勢算出手段（ステップＳＥ３）と、算出された基準コンテナ位置姿勢と実コンテナ位置姿勢との差異に基づき、検索領域を変換検索領域に変換する領域変換部すなわち領域変換手段（ステップＳＥ５）と、投影部による三次元点の投影方向を設定する投影方向設定部すなわち投影方向設定手段（ステップＳＲ４）とを備える。

１０物品取出装置
１１三次元測定機
１２カメラ
１３ロボット
１４制御装置
１５ハンド
１７コンテナ
１７ａ開口端面
１７ｂ内壁
１８基準コンテナ画像
２０物品
３０変換検索領域
３１三次元点集合
３２投影三次元点集合
３２Ａ，３２Ｂ投影三次元点
３３領域内投影三次元点集合
３４領域内三次元点集合
ＡＲ画像上検索領域
ＩＧ画像上開口端面領域

Claims

平面状の開口端面と該開口端面に連設され、収容空間を形成する内壁部とを有するコンテナの前記収容空間にバラ積みされた複数の物品の表面位置を測定する三次元測定機と、
前記コンテナの前記開口端面を含む領域を撮像するカメラと、
前記コンテナ内から物品を取出し可能なハンドを有するロボットと、
前記カメラにより撮像された前記コンテナの画像を取得する画像取得手段と、
前記画像取得手段により取得された画像に基づき、前記収納空間に対応する画像上の領域である画像上検索領域を設定する画像上検索領域設定手段と、
前記コンテナの前記開口端面を含む平面である基準平面を設定する基準平面設定手段と、
予め記憶された前記カメラのキャリブレーションデータに基づき、前記画像上検索領域に対応した前記基準平面上の領域である検索領域を算出する検索領域算出手段と、
前記三次元測定機で測定された複数の三次元点を前記基準平面上に投影する投影手段と、
前記投影手段によって投影された複数の三次元点が、前記検索領域内に含まれるか否かを判定する判定手段と、
前記三次元測定機によって測定された複数の三次元点のうち、前記判定手段により前記検索領域内に含まれると判定された三次元点を用いて、前記コンテナ内の物品の位置を認識する位置認識手段と、
前記位置認識手段により認識された物品の位置に基づいて、前記物品を取出すように前記ロボットを制御するロボット制御手段と、を備えることを特徴とする物品取出装置。
請求項１に記載の物品取出装置において、
前記画像上検索領域設定手段は、基準の位置姿勢に前記コンテナが設置された基準状態における前記コンテナの画像として前記画像取得手段により取得された基準コンテナ画像から前記コンテナの前記開口端面を表す領域である画像上開口端面領域を特定し、該画像上開口端面領域の所定量内側に前記画像上検索領域を設定することを特徴とする物品取出装置。
請求項２に記載の物品取出装置において、
前記画像取得手段は、前記基準コンテナ画像を取得するとともに、前記基準状態から前記コンテナの位置姿勢が変化した実状態における前記コンテナの画像である実コンテナ画像を取得し、
前記画像上検索領域設定手段は、前記基準コンテナ画像に基づいて前記画像上検索領域を設定し、
前記基準コンテナ画像から画像上の前記コンテナの位置姿勢を表す画像上基準コンテナ位置姿勢を特定する基準位置姿勢特定手段と、
前記実コンテナ画像から画像上の前記コンテナの位置姿勢を表す画像上実コンテナ位置姿勢を特定する実位置姿勢特定手段と、
前記カメラのキャリブレーションデータに基づき、前記画像上基準コンテナ位置姿勢に対応した実空間上の前記コンテナの位置姿勢である基準コンテナ位置姿勢を算出する基準位置姿勢算出手段と、
前記カメラのキャリブレーションデータに基づき、前記画像上実コンテナ位置姿勢に対応した実空間上の前記コンテナの位置姿勢である実コンテナ位置姿勢を算出する実位置姿勢算出手段と、
前記基準位置姿勢算出手段により算出された基準コンテナ位置姿勢と前記実位置姿勢算出手段により算出された前記実コンテナ位置姿勢との差異に基づき、前記検索領域算出手段により算出された前記検索領域を変換検索領域に変換する領域変換手段とをさらに備え、
前記判定手段は、前記投影手段によって投影された複数の三次元点が、前記領域変換手段によって変換された前記変換検索領域内に含まれるか否かを判定することを特徴とする物品取出装置。
請求項１に記載の物品取出装置において、
前記画像取得手段は、基準の位置姿勢に前記コンテナが設置された基準状態における前記コンテナの画像である基準コンテナ画像を取得するとともに、前記基準状態から前記コンテナの位置姿勢が変化した実状態における前記コンテナの画像である実コンテナ画像を取得し、
前記画像上検索領域設定手段は、前記基準コンテナ画像に基づいて前記画像上検索領域を設定し、
前記基準コンテナ画像から画像上の前記コンテナの位置姿勢を表す画像上基準コンテナ位置姿勢を特定する基準位置姿勢特定手段と、
前記実コンテナ画像から画像上の前記コンテナの位置姿勢を表す画像上実コンテナ位置姿勢を特定する実位置姿勢特定手段と、
前記カメラのキャリブレーションデータに基づき、前記画像上基準コンテナ位置姿勢に対応した実空間上の前記コンテナの位置姿勢である基準コンテナ位置姿勢を算出する基準位置姿勢算出手段と、
前記カメラのキャリブレーションデータに基づき、前記画像上実コンテナ位置姿勢に対応した実空間上の前記コンテナの位置姿勢である実コンテナ位置姿勢を算出する実位置姿勢算出手段と、
前記基準位置姿勢算出手段により算出された基準コンテナ位置姿勢と前記実位置姿勢算出手段により算出された前記実コンテナ位置姿勢との差異に基づき、前記検索領域算出手段により算出された前記検索領域を変換検索領域に変換する領域変換手段とをさらに備え、
前記判定手段は、前記投影手段によって投影された複数の三次元点が、前記領域変換手段によって変換された前記変換検索領域内に含まれるか否かを判定することを特徴とする物品取出装置。
請求項１〜４のいずれか１項に記載の物品取出装置において、
前記投影手段による前記三次元点の投影方向を設定する投影方向設定手段をさらに備えることを特徴とする物品取出装置。
請求項１〜５のいずれか１項に記載の物品取出装置において、
前記画像上検索領域設定手段により設定される前記画像上検索領域は、多角形であることを特徴とする物品取出装置。
請求項１〜６のいずれか１項に記載の物品取出装置において、
前記三次元測定機は、前記カメラを有することを特徴とする物品取出装置。