JP2013145525A - 物品取り出し判定装置、物品取り出し判定システム、物品取り出しシステム、物品取り出し判定プログラムおよび物品取り出し判定方法 - Google Patents

Abstract

【課題】 複数の物品から認識された１つ以上の物品のそれぞれについて、当該１つ以上の物品の認識結果に基づいて、衝突することなく取り出すことが可能か否かを判定する。
【解決手段】 多面体形状をした複数の物品からなる物品群を撮像するステレオカメラによって撮像された第１および第２の撮像画像に基づいて複数の物品の３次元画像を生成し、３次元画像に基づいて物品群に含まれる１つ以上の物品を認識して位置・姿勢情報を算出する認識処理部と、位置・姿勢情報に基づいて、１つ以上の物品の形状を第１の撮像画像上に射影した射影画像を生成する射影変換部と、１つ以上の物品が第１の撮像画像において占める範囲を認識対象範囲として特定する範囲特定部と、射影画像および認識対象範囲に基づいて、１つ以上の物品のそれぞれについて、物品群に含まれる他の物品に衝突することなく取り出すことが可能か否かを判定する判定部と、を有する。
【選択図】 図１

Description

本発明は、物品取り出し判定装置、物品取り出し判定システム、物品取り出しシステム、物品取り出し判定プログラム、および物品取り出し判定方法に関する。

近年、工場の製造ラインなどにおいて、物品（ワーク）を把持するために、人間の腕に近い構造をしたマニピュレータや（垂直）多関節ロボットが用いられている。これらのマニピュレータやロボットを用いることによって、種々の作業を作業者に代わって行うことができる。
例えば、特許文献１では、カメラによって撮像されたワークの画像から位置および姿勢を求めて、当該ワークをロボットにより取り出すワーク取り出し装置が開示されている。また、例えば、特許文献２では、３次元物体の認識方法として、カメラによって撮像された２次元画像における輪郭などの特徴から３次元物体を認識し、位置および姿勢を求める方法が開示されている。
このようにして、カメラによって撮像された画像からワークを認識し、得られた位置・姿勢情報に基づいて、ワークを取り出すことができる。

特開２０１０−１８４３０８号公報 特開２０１０−２０５０９５号公報

しかしながら、例えば複数のワークがトレイに山積みまたはバラ積みされ、各ワークが乱雑に重なり合ってランダムな姿勢をとっている場合などには、すべてのワークを認識して位置・姿勢情報を求めることができない場合もある。この場合、認識された各ワークについて、他のワークに衝突することなく取り出すことが可能か否かを判定することは困難である。
例えば特許文献１のワーク取り出し装置では、円柱形状部分を有するワークのみを認識対象としており、重なり合った２個のワークの上下関係を判断するためには、当該２個の位置・姿勢情報が必要となる。したがって、円柱形状部分を有しないワークを認識することはできず、また、認識することができなかったワークだけでなく、当該ワークと重なり合ったワークについても取り出しの可否を判定することはできない。
そのため、従来のワーク取り出し装置では、ワーク同士の衝突を回避するため、マニピュレータやロボットに衝突検知機能を設けるなどの対策がとられていた。

前述した課題を解決する主たる本発明は、多面体形状をした複数の物品からなる物品群を撮像するステレオカメラによって撮像された第１および第２の撮像画像に基づいて前記複数の物品の３次元画像を生成し、前記３次元画像に基づいて前記物品群に含まれる１つ以上の物品を認識して位置・姿勢情報を算出する認識処理部と、前記位置・姿勢情報に基づいて、前記１つ以上の物品の形状を前記第１の撮像画像上に射影した射影画像を生成する射影変換部と、前記１つ以上の物品が前記第１の撮像画像において占める範囲を認識対象範囲として特定する範囲特定部と、前記射影画像および前記認識対象範囲に基づいて、前記１つ以上の物品のそれぞれについて、前記物品群に含まれる他の物品に衝突することなく取り出すことが可能か否かを判定する判定部と、を有し、前記判定部は、前記１つ以上の物品のそれぞれについて、前記射影画像が前記認識対象範囲と所定の許容範囲内で一致している場合には、取り出し可能と判定し、前記射影画像が前記認識対象範囲から前記所定の許容範囲を超えてはみ出している場合には、取り出し不可と判定することを特徴とする物品取り出し判定装置である。

本発明の他の特徴については、添付図面及び本明細書の記載により明らかとなる。

本発明によれば、複数の物品から認識された１つ以上の物品のそれぞれについて、当該１つ以上の物品の認識結果に基づいて、衝突することなく取り出すことが可能か否かを判定することができる。

本発明の一実施形態における物品取り出し判定装置および制御装置の構成を示すブロック図である。 本発明の一実施形態における物品取り出しシステム全体の構成を示す模式図である。 カメラによって撮像された撮像画像の一例を示す図である。 射影変換部１２の機能（射影変換処理）をコンピュータに実現させるためのプログラムの動作を説明するフローチャートである。 図３に示した撮像画像上にプロットされたワークＷ１の射影画像Ｐ［Ｗ１］を示す図である。 図３に示した撮像画像上にプロットされたワークＷ２の射影画像Ｐ［Ｗ２］を示す図である。 範囲特定部１３の機能（範囲特定処理）をコンピュータに実現させるためのプログラムの動作を説明するフローチャートである。 図３に示した撮像画像から取得されたワークＷ１の角度線分情報を示す図である。 図３に示した撮像画像から取得されたワークＷ２の角度線分情報を示す図である。 ワークＷ１において、取得されない角度線分情報を示す図である。 ワークＷ２において、取得されない角度線分情報を示す図である。 図８に示した角度線分情報からワークＷ１の認識対象範囲Ｑ［Ｗ１］を特定する方法を説明する図である。 図９に示した角度線分情報からワークＷ２の認識対象範囲Ｑ［Ｗ２］を特定する方法を説明する図である。 図８に示した角度線分情報から特定されたワークＷ１の認識対象範囲Ｑ［Ｗ１］を示す図である。 図９に示した角度線分情報から特定されたワークＷ２の認識対象範囲Ｑ［Ｗ２］を示す図である。 判定部１４の機能（判定処理）をコンピュータに実現させるためのプログラムの動作を説明するフローチャートである。 ワークＷ１の射影画像Ｐ［Ｗ１］および認識対象範囲Ｑ［Ｗ１］からそれぞれ取得された輪郭座標Ｐ’［Ｗ１］およびＱ’［Ｗ１］を示す図である。 ワークＷ２の射影画像Ｐ［Ｗ２］および認識対象範囲Ｑ［Ｗ２］からそれぞれ取得された輪郭座標Ｐ’［Ｗ２］およびＱ’［Ｗ２］を示す図である。 本発明の一実施形態における物品取り出し判定装置の多関節ロボットを備えた物品取り出しシステムへの適用例を示すブロック図である。 取り出し可否の他の判定方法を説明するフローチャートである。

本明細書および添付図面の記載により、少なくとも以下の事項が明らかとなる。

＝＝＝物品取り出し判定装置および物品取り出しシステムの構成＝＝＝
以下、図１および図２を参照して、本発明の一実施形態における物品取り出し判定装置および物品取り出し（判定）システムの構成について説明する。

図２は、本実施形態における物品取り出しシステム全体の構成を示している。図２に示されている物品取り出しシステムは、ステレオカメラ４、マニピュレータ５、およびコンピュータ１００を含んで構成され、一例として、頂点間を結ぶ直線で囲まれた平面によって構成される多面体（例えば直方体）形状をした６つのワークＷｎ（１≦ｎ≦６）を取り出し対象とする。また、ステレオカメラ４は、ワーク群を収納するトレイ９が据え置かれる作業台などの上方に配置されている。

ステレオカメラ４は、ワーク群に対する相対位置が異なるカメラＣ１およびＣ２を備え、カメラＣ１およびＣ２によってそれぞれ撮像された撮像画像ＩＭ１およびＩＭ２（第１および第２の撮像画像）は、コンピュータ１００に入力されている。さらに、コンピュータ１００から出力される制御信号ＣＮＴは、マニピュレータ５に入力されている。

例えばＰＣなどのコンピュータ１００は、キーボード１０１などの入力装置、ディスプレイ１０２などの出力装置、および認識情報データベース１０３を格納する記憶装置を備えている。そして、コンピュータ１００は、撮像画像ＩＭ１およびＩＭ２に基づいて各ワークＷｎについての取り出しの可否を判定し、判定結果Ｊ［Ｗｎ］をディスプレイ１０２に表示させるとともに、キーボード１０１からの入力などに応じてマニピュレータ５を制御する。すなわち、コンピュータ１００は、図１に示す物品取り出し判定装置１および制御装置２の機能を実現する。

図１に示されている物品取り出し判定装置１は、認識処理部１１、射影変換部１２、範囲特定部１３、および判定部１４を含んで構成されている。また、制御装置２には、キーボード１０１などから入力信号ＩＮが入力され、制御装置２からは、マニピュレータ５を制御するための制御信号ＣＮＴが出力されている。

認識処理部１１には、撮像画像ＩＭ１およびＩＭ２が入力され、認識処理部１１は、認識情報データベース１０３を参照して、ワークＷｎの位置・姿勢情報Ｔ［Ｗｎ］を出力している。また、射影変換部１２には、位置・姿勢情報Ｔ［Ｗｎ］が入力され、射影変換部１２からは、ワークＷｎの射影画像Ｐ［Ｗｎ］が出力されている。さらに、範囲特定部１３には、撮像画像ＩＭ１および位置・姿勢情報Ｔ［Ｗｎ］が入力され、範囲特定部１３からは、ワークＷｎの認識対象範囲Ｑ［Ｗｎ］が出力されている。そして、判定部１４には、射影画像Ｐ［Ｗｎ］および認識対象範囲Ｑ［Ｗｎ］が入力され、判定部１４からは、ワークＷｎについての取り出し可否の判定結果Ｊ［Ｗｎ］が出力されている。

＝＝＝物品取り出し判定装置の動作＝＝＝
以下、図３ないし図１８を適宜参照して、本実施形態における物品取り出し判定装置の動作について説明する。なお、以下の説明においては、一例として、ワークＷ１ないしＷ６が図２のように配置されているものとし、一方のカメラ（例えばＣ１）によって撮像された当該ワーク群の撮像画像（例えばＩＭ１）を図３に示す。

前述したように、物品取り出し判定装置１の機能は、コンピュータ１００によって実現することができる。例えば、認識情報データベース１０３を格納する記憶装置を備えるコンピュータに物品取り出し判定プログラムを実行させることによって、認識処理部１１、射影変換部１２、範囲特定部１３、および判定部１４に相当する機能を実現することができる。図４、図７、および図１６は、それぞれ射影変換部１２、範囲特定部１３、および判定部１４に相当する機能をコンピュータに実現させるためのプログラムの動作を示している。

認識処理部１１は、ステレオカメラ４によって撮像された一対の撮像画像ＩＭ１およびＩＭ２に基づいて公知の位置・姿勢認識処理を行い、各ワークＷｎの位置・姿勢情報Ｔ［Ｗｎ］を算出する。具体的には、例えば、一対の撮像画像からそれぞれワークＷｎを含む一対の領域画像を生成し、領域画像間の視差に基づいて３次元画像を生成し、３次元画像を認識情報データベース１０３に格納されている３次元モデル（３Ｄ−ＣＡＤデータなど）と照合して位置・姿勢情報Ｔ［Ｗｎ］を算出する。

ここで、位置・姿勢情報Ｔ［Ｗｎ］は、４行４列の同次変換行列を用いて、

と表すことができる。なお、同次変換行列において、Ｐ（３×１）は、位置（平行移動）を示す３行１列の行列であり、

と表すことができる。一方、Ｒ（３×３）は、姿勢（各座標軸を中心とする回転）を示す３行３列の行列であり、ｘ軸回りにθｘ、ｙ軸回りにθｙ、ｚ軸回りにθｚだけ回転させた場合には、

と表されるＲｘ、Ｒｙ、およびＲｚの積として表すことができる。

射影変換部１２は、認識処理部１１の認識結果に基づいて、認識された各ワークＷｎの射影画像Ｐ［Ｗｎ］を生成する。ここで、ワークＷｎに対する射影変換部１２に相当する機能（射影変換処理）をコンピュータに実現させるためのプログラムの動作を図４に示す。

射影変換処理が開始されると（Ｓ１１）、ワークＷｎの３次元画像と照合された３次元モデルの点群データ（データ数Ｉ）に対して、Ｓ１２ないしＳ１４の処理が行われる（ループ処理１）。

ループ処理１においては、まず、ワークＷｎの位置・姿勢情報Ｔ［Ｗｎ］に基づいて、３次元モデルの点群データを座標変換する（Ｓ１２）。次に、座標変換した点群データを撮像画像ＩＭ１の座標に射影変換して（Ｓ１３）、撮像画像ＩＭ１上にプロットする（Ｓ１４）。なお、Ｓ１３の処理には、例えばＯｐｅｎＣＶの射影変換関数を用いることができる。

そして、Ｓ１２ないしＳ１４のループ処理１を３次元モデルの各点群データに対して行うことによって、撮像画像ＩＭ１上にプロットされたワークＷｎの射影画像Ｐ［Ｗｎ］を生成することができ、射影変換処理を終了する（Ｓ１５）。さらに、当該射影変換処理は、認識処理部１１の位置・姿勢認識処理によって認識された各ワークに対して行われる。ここで、一例として、射影変換処理によって生成されたワークＷ１の射影画像Ｐ［Ｗ１］およびワークＷ２の射影画像Ｐ［Ｗ２］をそれぞれ図５および図６に示す。

範囲特定部１３は、認識処理部１１の認識結果に基づいて、認識された各ワークＷｎが撮像画像ＩＭ１において占める範囲（撮像画像ＩＭ１にワークＷｎが写っている範囲）を認識対象範囲Ｑ［Ｗｎ］として特定する。ここで、ワークＷｎに対する範囲特定部１３に相当する機能（範囲特定処理）をコンピュータに実現させるためのプログラムの動作を図７に示す。

範囲特定処理が開始されると（Ｓ２１）、まず、撮像画像ＩＭ１からエッジを抽出してエッジ画像を生成し、当該エッジ画像から角度線分情報を取得する（Ｓ２２）。ここで、角度線分情報は、それぞれ２つの線分とその交点とで構成される情報である。具体的には、例えば、エッジ画像からすべての線分を抽出し、任意の２つの線分の交点を検索することによって、エッジ画像に含まれるすべての角度線分情報を取得することができる。ここで、一例として、ワークＷ１およびＷ２の角度線分情報をそれぞれ図８および図９に示す。

角度線分情報の取得においては、３つ以上の線分が１点で交わり（１点を共有し）、同一の交点を共有する複数の角度線分情報を生じる場合がある。この場合において、ある１つの角度線分情報が有する角度が、残りの角度線分情報が有する角度の総和と等しい場合には、当該１つの角度線分情報は抽出しなくても構わない。なお、角度線分情報が有する角度とは、当該角度線分情報が有する２つの線分に挟まれた挟角（夾角）であって、１８０度より小さい劣角を指すものとする。

例えば図１０に示すように、ワークＷ１の角度線分情報の取得においては、角度線分情報Ａｘも抽出され得る。しかしながら、線分Ｌ１およびＬ２の挟角を９０°とし、線分Ｌ２およびＬ３の挟角を４５°とすると、線分Ｌ３およびＬ１の挟角は１３５°（＝９０°＋４５°）であるため、線分Ｌ３およびＬ１を有する角度線分情報Ａｘは抽出しなくても構わない。また、同様に、角度線分情報ＡｙおよびＡｚは抽出しなくても構わない。さらに、例えば図１１に示すように、ワークＷ２の角度線分情報の取得においては、角度線分情報ＢｘないしＢｚは抽出しなくても構わない。以下の説明においては、取得されたワークＷ１およびＷ２の角度線分情報には、これらの角度線分情報ＡｘないしＡｚ、およびＢｘないしＢｚが含まれないものとする。

次に、ワークＷｎの角度線分情報（情報数Ｊ）に対して、Ｓ２３ないしＳ２７の処理が行われる（ループ処理２）。

ループ処理２においては、まず、１つの角度線分情報を基点として選択し（Ｓ２３）、当該選択された角度線分情報の一方の線分の方向を検索する（Ｓ２４）。そして、当該一方の線分と同一方向の線分を含む隣接する角度線分情報がある場合（Ｓ２５：ＹＥＳ）には、当該隣接する角度線分情報を次の角度線分情報として選択する（Ｓ２６）。

次に、基点の角度線分情報に到達していない場合、すなわち、次の角度線分情報が基点の角度線分情報と一致していない場合（Ｓ２７：ＮＯ）には、再びＳ２４の処理を行う。なお、この場合には、Ｓ２４において、現在選択されている角度線分情報の２つの線分の方向うち、前回検索された方向とは別の方向を検索する。

以上のように、基点の角度線分情報から開始して、隣接する角度線分情報を順次選択しながら追跡し、基点の角度線分情報に到達した場合（Ｓ２７：ＹＥＳ）には、当該追跡を終了し、別の角度線分情報を基点とした追跡を行う。なお、Ｓ２５において、隣接する角度線分情報が検索されない場合（Ｓ２５：ＮＯ）には、追跡を中止し、別の角度線分情報を基点とした追跡を行う。

ここで、一例として、図８に示したワークＷ１の角度線分情報をそれぞれＡ１ないしＡ１２とし、これらの角度線分情報をそれぞれ基点として、隣接する角度線分情報を基点の角度線分情報まで順次追跡した結果を図１２に示す。図１２に示すように、ワークＷ１の角度線分情報は、Ａ１を基点とした場合には、Ａ１、Ａ２、Ａ３、Ａ４、Ａ１の順に追跡され、Ａ５を基点とした場合には、Ａ５、Ａ６、Ａ７、Ａ８、Ａ５の順に追跡され、Ａ９を基点とした場合には、Ａ９、Ａ１０、Ａ１１、Ａ１２、Ａ９の順に追跡される。なお、それ以外の場合の追跡結果は、角度線分情報Ａ１、Ａ５、およびＡ９を基点とした場合の追跡結果の何れかと重なるため、追跡を省略してもよい。

また、一例として、図９に示したワークＷ２の角度線分情報をそれぞれＢ１ないしＢ１７とし、これらの角度線分情報をそれぞれ基点として、隣接する角度線分情報を基点の角度線分情報まで順次追跡した結果を図１３に示す。図１３に示すように、ワークＷ２の角度線分情報は、Ｂ１を基点とした場合には、Ｂ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５、Ｂ６、Ｂ７、Ｂ８、Ｂ９、Ｂ１の順に追跡され、Ｂ１０を基点とした場合には、Ｂ１０、Ｂ１１、Ｂ１２、Ｂ１３、Ｂ１０の順に追跡され、Ｂ１４を基点とした場合には、Ｂ１４、Ｂ１５、Ｂ１６、Ｂ１７、Ｂ１４の順に追跡される。なお、それ以外の場合の追跡結果は、角度線分情報Ｂ１、Ｂ１０、およびＢ１４を基点とした場合の追跡結果の何れかと重なるため、追跡を省略してもよい。

そして、Ｓ２２ないしＳ２７のループ処理２をワークＷｎの各角度線分情報に対して行うことによって、各角度線分情報を基点として追跡した軌跡（の集合）をワークＷｎの認識対象範囲Ｑ［Ｗｎ］として特定することができ、範囲特定処理を終了する（Ｓ２８）。さらに、当該範囲特定処理は、認識処理部１１の位置・姿勢認識処理によって認識された各ワークに対して行われる。ここで、一例として、範囲特定処理によって特定されたワークＷ１の認識対象範囲Ｑ［Ｗ１］およびワークＷ２の認識対象範囲Ｑ［Ｗ２］をそれぞれ図１４および図１５に示す。

判定部１４は、射影画像Ｐ［Ｗｎ］および認識対象範囲Ｑ［Ｗｎ］に基づいて、各ワークＷｎについて、他のワークに衝突することなく取り出すことが可能か否かを判定し、判定結果Ｊ［Ｗｎ］を出力する。具体的には、例えば、射影画像Ｐ［Ｗｎ］が認識対象範囲Ｑ［Ｗｎ］と所定の許容範囲内で一致している場合には、ワークＷｎを取り出し可能と判定する。一方、射影画像Ｐ［Ｗｎ］が認識対象範囲Ｑ［Ｗｎ］から許容範囲を超えてはみ出している場合には、ワークＷｎを取り出し不可と判定する。ここで、ワークＷｎに対する判定部１４に相当する機能（判定処理）をコンピュータに実現させるためのプログラムの動作を図１６に示す。

判定処理が開始されると（Ｓ３１）、まず、射影画像Ｐ［Ｗｎ］および認識対象範囲Ｑ［Ｗｎ］の輪郭を抽出し、これらの輪郭を追跡して、それぞれ所定の間隔で輪郭座標（点列の集合）Ｐ’［Ｗｎ］および輪郭座標（点列の集合）Ｑ’［Ｗｎ］を取得する（Ｓ３２）。ここで、一例として、ワークＷ１の射影画像の輪郭座標Ｐ’［Ｗ１］および認識対象範囲の輪郭座標Ｑ’［Ｗ１］を図１７に示し、ワークＷ２の射影画像の輪郭座標Ｐ’［Ｗ２］および認識対象範囲の輪郭座標Ｑ’［Ｗ２］を図１８に示す。

次に、ワークＷｎの認識対象範囲の輪郭座標Ｑ’［Ｗｎ］（座標数Ｋ）に対して、Ｓ３３およびＳ３４の処理が行われる（ループ処理３）。なお、ループ処理３において、輪郭座標Ｑ’［Ｗｎ］に含まれるＫ個の点列の座標のそれぞれを輪郭座標Ｑｋ’［Ｗｎ］（１≦ｋ≦Ｋ）と表すこととする。

ループ処理３においては、輪郭座標Ｑｋ’［Ｗｎ］が輪郭座標Ｐ’［Ｗｎ］と一致せず、内側にある場合（Ｓ３３：ＹＥＳ）には、不一致数Ｍをインクリメントする（Ｓ３４）。輪郭座標Ｑｋ’［Ｗｎ］が輪郭座標Ｐ’［Ｗｎ］と一致し、内側にない場合（Ｓ３３：ＮＯ）には、不一致数Ｍをインクリメントしない。

そして、Ｓ３３およびＳ３４のループ処理３をワークＷｎの認識対象範囲の各輪郭座標Ｑｋ’［Ｗｎ］に対して行うことによって、Ｋ個の輪郭座標Ｑ’［Ｗｎ］のうち、輪郭座標Ｐ’［Ｗｎ］と一致しなかった座標数をカウントした不一致数Ｍが得られる。

次に、射影画像Ｐ［Ｗｎ］と認識対象範囲Ｑ［Ｗｎ］との不一致率を示すＭ／Ｋが所定の閾値Ｍｔｈ以下（例えば５％以下）の場合（Ｓ３５：ＹＥＳ）には、射影画像Ｐ［Ｗｎ］が認識対象範囲Ｑ［Ｗｎ］と許容範囲内で一致しており、ワークＷｎを取り出し可能と判定し（Ｓ３６）、判定処理を終了する（Ｓ３８）。例えば図１７に示したように、重なり合ったワークＷ１およびＷ２のうち、上側のワークＷ１については、輪郭座標Ｑｋ’［Ｗ１］が輪郭座標Ｐ’［Ｗ１］と略一致しており、不一致数Ｍがほとんどインクリメントされないため、取り出し可能と判定される。

一方、不一致率Ｍ／Ｋが閾値Ｍｔｈより高い場合（Ｓ３５：ＮＯ）には、射影画像Ｐ［Ｗｎ］が認識対象範囲Ｑ［Ｗｎ］から許容範囲を超えてはみ出しており、ワークＷｎを取り出し不可と判定し（Ｓ３７）、判定処理を終了する（Ｓ３８）。例えば図１８に示したように、重なり合ったワークＷ１およびＷ２のうち、下側のワークＷ２については、輪郭座標Ｑｋ’［Ｗ２］の一部（図１３において角度線分情報Ｂ５からＢ９までの区間）が輪郭座標Ｐ’［Ｗ２］と一致せず、内側にある。ここで、不一致率Ｍ／Ｋが閾値Ｍｔｈより高いので、取り出し不可と判定される。

さらに、当該判定処理は、認識処理部１１の位置・姿勢認識処理によって認識された各ワークに対して行われる。

このようにして、物品取り出し判定装置１は、ワークＷｎの射影画像Ｐ［Ｗｎ］を生成するとともに、認識対象範囲Ｑ［Ｗｎ］を特定し、両者を照合することによって、認識した各ワークＷｎについての取り出しの可否を判定する。当該判定方法では、１つのワークについての取り出しの可否を判定するためには、当該１つのワークが認識されていればよい。

例えば、認識処理部１１がワークＷ１のみを認識することができ、他のワークを認識することができなかった場合であっても、図１７に示した輪郭座標Ｐ’［Ｗ１］およびＱ’［Ｗ１］を取得することができるため、ワークＷ１について取り出し可能と判定することができる。また、例えば、認識処理部１１がワークＷ２のみを認識することができ、他のワークを認識することができなかった場合であっても、図１８に示した輪郭座標Ｐ’［Ｗ２］およびＱ’［Ｗ２］を取得することができるため、ワークＷ２について取り出し不可と判定することができる。

また、物品取り出し判定装置１は、各ワークＷｎについての取り出し可否の判定結果Ｊ［Ｗｎ］をディスプレイ１０２に表示させる。判定結果Ｊ［Ｗｎ］の表示方法としては、例えば、撮像画像ＩＭ１と、射影画像Ｐ［Ｗｎ］および／または認識対象範囲Ｑ［Ｗｎ］とをディスプレイ１０２に表示させたうえで、取り出し可能と判定されたワークに所定のマークを付けたり、所定の色で表示したりすることができる。そして、作業者は、ディスプレイ１０２の表示を確認しながら、キーボード１０１などを用いてマニピュレータ５に対する操作指示（入力信号ＩＮ）を制御装置２に入力し、マニピュレータ５でワークを把持して取り出すことができる。

なお、物品取り出しシステムは、マニピュレータに代えて多関節ロボットを備えてもよく、例えば図１９に示すように、判定結果Ｊ［Ｗｎ］をロボット制御装置３に入力し、ロボット制御装置３から多関節ロボット５を制御するための制御信号ＣＮＴを出力する構成としてもよい。

＝＝＝取り出し可否の他の判定方法＝＝＝
上記実施形態では、Ｋ個の輪郭座標Ｑ’［Ｗｎ］のうち、輪郭座標Ｐ’［Ｗｎ］と一致せず、内側にある座標数をカウントした不一致数Ｍに基づいて、各ワークＷｎについての取り出しの可否を判定しているが、これに限定されるものではない。例えば、図１６のループ処理３において、画像の精度を考慮して、輪郭座標Ｑｋ’［Ｗｎ］が輪郭座標Ｐ’［Ｗｎ］と完全に一致していなくても、所定の許容幅で一致していると判定するようにしてもよい。

また、例えば図２０に示すように、輪郭座標Ｐ’［Ｗｎ］およびＱ’［Ｗｎ］の面積比率に基づいて取り出し可否を判定することもできる。図２０において、判定処理が開始されると（Ｓ４１）、まず、図１６におけるＳ３２の処理と同様に、射影画像Ｐ［Ｗｎ］および認識対象範囲Ｑ［Ｗｎ］の輪郭を抽出し、ワークＷｎの輪郭座標Ｐ’［Ｗｎ］およびＱ’［Ｗｎ］を取得する（Ｓ４２）。

次に、輪郭座標Ｐ’［Ｗｎ］およびＱ’［Ｗｎ］が描く図形（抽出した輪郭の図形）に対して、それぞれの面積Ｓｐ［Ｗｎ］およびＳｑ［Ｗｎ］を算出する（Ｓ４３）。そして、輪郭座標Ｐ’［Ｗｎ］およびＱ’［Ｗｎ］の面積比率Ｓｐ［Ｗｎ］／Ｓｑ［Ｗｎ］が所定の閾値Ｓｔｈ以下（例えば１０５％以下）の場合（Ｓ４３：ＹＥＳ）には、射影画像Ｐ［Ｗｎ］が認識対象範囲Ｑ［Ｗｎ］と許容範囲内で一致しており、ワークＷｎを取り出し可能と判定し（Ｓ４４）、判定処理を終了する（Ｓ４６）。例えば図１７に示したように、ワークＷ１については、輪郭座標Ｐ’［Ｗ１］およびＱ’［Ｗ１］の面積が略一致しており、面積比率Ｓｐ［Ｗ１］／Ｓｑ［Ｗ１］が略１００％であるため、取り出し可能と判定される。

一方、面積比率Ｓｐ［Ｗｎ］／Ｓｑ［Ｗｎ］が閾値Ｓｔｈより高い場合（Ｓ４３：ＮＯ）には、射影画像Ｐ［Ｗｎ］が認識対象範囲Ｑ［Ｗｎ］から許容範囲を超えてはみ出しており、ワークＷｎを取り出し不可と判定し（Ｓ４５）、判定処理を終了する（Ｓ４６）。例えば図１８に示したように、ワークＷ２については、図１３における角度線分情報Ｂ５からＢ９までの区間の分だけ、輪郭座標Ｑｋ’［Ｗ２］の面積Ｓｑ［Ｗ２］が輪郭座標Ｐ’［Ｗ２］の面積Ｓｐ［Ｗ２］より小さく、面積比率Ｓｐ［Ｗ２］／Ｓｑ［Ｗ２］が大きくなるため、取り出し不可と判定される。

前述したように、物品取り出し判定装置１において、ステレオカメラ４によって撮像された一対の撮像画像ＩＭ１およびＩＭ２に基づいて多面体形状をした各ワーク（物品）Ｗｎの位置・姿勢認識処理を行い、認識結果に基づいて、認識された各ワークＷｎの射影画像Ｐ［Ｗｎ］を生成するとともに、認識された各ワークＷｎが撮像画像ＩＭ１において占める範囲を認識対象範囲Ｑ［Ｗｎ］として特定することによって、各ワークＷｎについて、射影画像Ｐ［Ｗｎ］が認識対象範囲Ｑ［Ｗｎ］と所定の許容範囲内で一致している場合には、他のワークに衝突することなくワークＷｎを取り出し可能と判定し、射影画像Ｐ［Ｗｎ］が認識対象範囲Ｑ［Ｗｎ］から許容範囲を超えてはみ出している場合には、ワークＷｎを取り出し不可と判定することができる。したがって、各ワークＷｎについて、他のワークを認識することができなかった場合であっても、当該ワークＷｎ認識結果に基づいて取り出しの可否を判定することができる。

また、撮像画像ＩＭ１からエッジを抽出してエッジ画像を生成し、当該エッジ画像から角度線分情報を取得し、ワークＷｎの角度線分情報について、各角度線分情報を基点として選択して、現在選択されている角度線分情報の一方の線分と同一方向の線分を含む隣接する角度線分情報を順次選択しながら、基点の角度線分情報まで追跡することによって、各角度線分情報を基点として追跡した軌跡をワークＷｎの認識対象範囲Ｑ［Ｗｎ］として特定することができる。

また、射影画像Ｐ［Ｗｎ］および認識対象範囲Ｑ［Ｗｎ］の輪郭を抽出して、それぞれ輪郭座標Ｐ’［Ｗｎ］および輪郭座標Ｑ’［Ｗｎ］を取得し、Ｋ個の輪郭座標Ｑ’［Ｗｎ］のうち、輪郭座標Ｐ’［Ｗｎ］と一致せず、内側にある座標数を不一致数Ｍとしてカウントすることによって、射影画像Ｐ［Ｗｎ］と認識対象範囲Ｑ［Ｗｎ］との不一致率Ｍ／Ｋが所定の閾値Ｍｔｈ以下の場合には、ワークＷｎを取り出し可能と判定し、不一致率Ｍ／Ｋが閾値Ｍｔｈより高い場合には、ワークＷｎを取り出し不可と判定することができる。さらに、輪郭座標Ｐ’［Ｗｎ］およびＱ’［Ｗｎ］の面積比率Ｓｐ［Ｗｎ］／Ｓｑ［Ｗｎ］に基づいて取り出し可否を判定することもできる。

また、位置・姿勢認識処理においては、一対の撮像画像ＩＭ１およびＩＭ２から生成した３次元画像を３Ｄ−ＣＡＤデータなどの３次元モデルと照合して、各ワークＷｎの位置・姿勢情報Ｔ［Ｗｎ］を算出することによって、ワークＷｎの位置・姿勢情報Ｔ［Ｗｎ］に基づいて、ワークＷｎの３次元画像と照合された３次元モデルの点群データを撮像画像ＩＭ１の座標に射影変換して、ワークＷｎの射影画像Ｐ［Ｗｎ］を生成することができる。

また、図１に示した物品取り出し（判定）システムにおいて、各ワークＷｎについての取り出し可否の判定結果Ｊ［Ｗｎ］をディスプレイ１０２に表示させることによって、作業者は、取り出し可能なワークを容易に認識することができる。したがって、作業者は、ディスプレイ１０２の表示を確認しながら、マニピュレータ５を操作してワークを取り出すことができる。

また、図１９に示した物品取り出しシステムにおいて、各ワークＷｎについての取り出し可否の判定結果Ｊ［Ｗｎ］をロボット制御装置３に入力し、ロボット制御装置３から多関節ロボット５を制御するための制御信号ＣＮＴを出力することによって、多関節ロボット５を制御して取り出し可能なワークを取り出すことができる。

また、物品取り出し判定装置１の機能をコンピュータに実現させるためのプログラムにおいて、ステレオカメラ４によって撮像された一対の撮像画像ＩＭ１およびＩＭ２に基づいて多面体形状をした各ワークＷｎの位置・姿勢認識処理を行い、認識結果に基づいて、認識された各ワークＷｎの射影画像Ｐ［Ｗｎ］を生成するとともに、認識された各ワークＷｎが撮像画像ＩＭ１において占める範囲を認識対象範囲Ｑ［Ｗｎ］として特定することによって、各ワークＷｎについて、射影画像Ｐ［Ｗｎ］が認識対象範囲Ｑ［Ｗｎ］と所定の許容範囲内で一致している場合には、他のワークに衝突することなくワークＷｎを取り出し可能と判定し、射影画像Ｐ［Ｗｎ］が認識対象範囲Ｑ［Ｗｎ］から許容範囲を超えてはみ出している場合には、ワークＷｎを取り出し不可と判定することができ、他のワークを認識することができなかった場合であっても、当該ワークＷｎ認識結果に基づいて取り出しの可否を判定することができる。

また、ステレオカメラ４によって撮像された一対の撮像画像ＩＭ１およびＩＭ２に基づいて多面体形状をした各ワークＷｎの３次元画像を生成し、当該３次元画像に基づいて位置・姿勢認識処理を行い、認識結果に基づいて、認識された各ワークＷｎの射影画像Ｐ［Ｗｎ］を生成するとともに、認識された各ワークＷｎが撮像画像ＩＭ１において占める範囲を認識対象範囲Ｑ［Ｗｎ］として特定することによって、各ワークＷｎについて、射影画像Ｐ［Ｗｎ］が認識対象範囲Ｑ［Ｗｎ］と所定の許容範囲内で一致している場合には、他のワークに衝突することなくワークＷｎを取り出し可能と判定し、射影画像Ｐ［Ｗｎ］が認識対象範囲Ｑ［Ｗｎ］から許容範囲を超えてはみ出している場合には、ワークＷｎを取り出し不可と判定することができ、他のワークを認識することができなかった場合であっても、当該ワークＷｎ認識結果に基づいて取り出しの可否を判定することができる。

なお、上記実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得るとともに、本発明にはその等価物も含まれる。

１ 物品取り出し判定装置
２ 制御装置
３ ロボット制御装置
４ ステレオカメラ
５ マニピュレータ（多関節ロボット）
９ トレイ
１１ 認識処理部
１２ 射影変換部
１３ 範囲特定部
１４ 判定部
１００ コンピュータ
１０１ キーボード（入力装置）
１０２ ディスプレイ（出力装置）
１０３ 認識情報データベース（記憶装置）
Ｃ１、Ｃ２ カメラ
Ｗ１〜Ｗ６ ワーク

Claims (9)

1. 多面体形状をした複数の物品からなる物品群を撮像するステレオカメラによって撮像された第１および第２の撮像画像に基づいて前記複数の物品の３次元画像を生成し、前記３次元画像に基づいて前記物品群に含まれる１つ以上の物品を認識して位置・姿勢情報を算出する認識処理部と、
   前記位置・姿勢情報に基づいて、前記１つ以上の物品の形状を前記第１の撮像画像上に射影した射影画像を生成する射影変換部と、
   前記１つ以上の物品が前記第１の撮像画像において占める範囲を認識対象範囲として特定する範囲特定部と、
   前記射影画像および前記認識対象範囲に基づいて、前記１つ以上の物品のそれぞれについて、前記物品群に含まれる他の物品に衝突することなく取り出すことが可能か否かを判定する判定部と、
   を有し、
   前記判定部は、前記１つ以上の物品のそれぞれについて、
   前記射影画像が前記認識対象範囲と所定の許容範囲内で一致している場合には、取り出し可能と判定し、
   前記射影画像が前記認識対象範囲から前記所定の許容範囲を超えてはみ出している場合には、取り出し不可と判定することを特徴とする物品取り出し判定装置。
2. 前記範囲特定部は、
   前記第１の撮像画像からエッジを抽出してエッジ画像を生成し、
   前記エッジ画像に含まれる線分を抽出して、それぞれ２つの線分と前記２つの線分が交わる交点とで構成される複数の角度線分情報を取得し、
   前記複数の角度線分情報のうち前記１つ以上の物品に含まれる角度線分情報について、それぞれの角度線分情報を基点の角度線分情報として選択して、現在選択されている角度線分情報の前記２つの線分のうち一方の線分と同一方向の線分を含む隣接する角度線分情報を順次選択しながら、前記基点の角度線分情報まで追跡した軌跡を前記認識対象範囲として特定することを特徴とする請求項１に記載の物品取り出し判定装置。
3. 前記判定部は、前記１つ以上の物品のそれぞれについて、
   前記射影画像および前記認識対象範囲の輪郭を抽出し、
   前記認識対象範囲の輪郭の座標のうち、前記射影画像の輪郭の内側にある座標数をカウントしたカウント値に基づいて、前記射影画像と前記認識対象範囲とが一致しない割合を不一致率として求め、
   前記不一致率が所定の閾値以下の場合には、取り出し可能と判定し、
   前記不一致率が前記所定の閾値より高い場合には、取り出し不可と判定することを特徴とする請求項１または請求項２に記載の物品取り出し判定装置。
4. 前記判定部は、前記１つ以上の物品のそれぞれについて、
   前記射影画像および前記認識対象範囲の輪郭を抽出し、当該抽出したそれぞれの輪郭の図形の面積比率を求め、
   前記面積比率が所定の閾値以下の場合には、取り出し可能と判定し、
   前記面積比率が前記所定の閾値より高い場合には、取り出し不可と判定することを特徴とする請求項１または請求項２に記載の物品取り出し判定装置。
5. 前記認識処理部は、前記３次元画像を、前記１つ以上の物品の形状を表す３次元モデルと照合して前記位置・姿勢情報を算出し、
   前記射影変換部は、前記位置・姿勢情報に基づいて、前記３次元モデルの点群データを前記第１の撮像画像の座標に射影変換して前記射影画像を生成することを特徴とする請求項１ないし請求項４の何れかに記載の物品取り出し判定装置。
6. 請求項１ないし請求項５の何れかに記載の物品取り出し判定装置と、
   前記物品群を撮像して前記第１および第２の撮像画像を出力する前記ステレオカメラと、
   前記判定部の判定結果を出力する出力装置と、
   を備える物品取り出し判定システム。
7. 請求項１ないし請求項５の何れかに記載の物品取り出し判定装置と、
   前記物品群を撮像して前記第１および第２の撮像画像を出力する前記ステレオカメラと、
   前記判定部の判定結果に基づいて、前記１つ以上の物品のうち、取り出し可能と判定された物品を取り出すようにロボットを制御するロボット制御装置と、
   前記ロボット制御装置の制御によって前記取り出し可能と判定された物品を取り出す前記ロボットと、
   を備える物品取り出しシステム。
8. コンピュータに、
   多面体形状をした複数の物品からなる物品群を撮像するステレオカメラによって撮像された第１および第２の撮像画像に基づいて前記複数の物品の３次元画像を生成し、前記３次元画像に基づいて前記物品群に含まれる１つ以上の物品を認識して位置・姿勢情報を算出する位置・姿勢認識処理と、
   前記位置・姿勢情報に基づいて、前記１つ以上の物品の形状を前記第１の撮像画像上に射影した射影画像を生成する射影変換処理と、
   前記１つ以上の物品が前記第１の撮像画像において占める範囲を認識対象範囲として特定する範囲特定処理と、
   前記１つ以上の物品のそれぞれについて、前記射影画像が前記認識対象範囲と所定の許容範囲内で一致している場合には、前記物品群に含まれる他の物品に衝突することなく取り出し可能と判定し、前記射影画像が前記認識対象範囲から前記所定の許容範囲を超えてはみ出している場合には、取り出し不可と判定する判定処理と、
   を実行させることを特徴とする物品取り出し判定プログラム。
9. 多面体形状をした複数の物品からなる物品群を撮像するステレオカメラによって撮像された第１および第２の撮像画像に基づいて前記複数の物品の３次元画像を生成し、
   前記３次元画像に基づいて前記物品群に含まれる１つ以上の物品を認識して位置・姿勢情報を算出し、
   前記位置・姿勢情報に基づいて、前記１つ以上の物品の形状を前記第１の撮像画像上に射影した射影画像を生成し、
   前記１つ以上の物品が前記第１の撮像画像において占める範囲を認識対象範囲として特定し、
   前記１つ以上の物品のそれぞれについて、
   前記射影画像が前記認識対象範囲と所定の許容範囲内で一致している場合には、前記物品群に含まれる他の物品に衝突することなく取り出し可能と判定し、
   前記射影画像が前記認識対象範囲から前記所定の許容範囲を超えてはみ出している場合には、取り出し不可と判定することを特徴とする物品取り出し判定方法。

Images