JP5429614B2

JP5429614B2 - 箱状ワーク認識装置および方法

Info

Publication number: JP5429614B2
Application number: JP2009099573A
Authority: JP
Inventors: 宜也小鷲; 俊寛林; 智洋井之上; 幸弘河野
Original assignee: IHI Corp
Current assignee: IHI Corp
Priority date: 2009-04-16
Filing date: 2009-04-16
Publication date: 2014-02-26
Anticipated expiration: 2029-04-16
Also published as: JP2010247959A

Description

本発明は、箱状ワーク認識装置および方法に関する。

本出願において、「箱状ワーク」とは、ダンボール箱のように直方体であり、原則として同一物を隣接して荷積みするものをいう。このような、箱状ワークをピッキング対象（ワーク）とし、ワークの把持および搬送を行う場合、従来、ワークの認識を行わず、ピッキングするワークの位置をティーチングし、ロボットでピッキングを行っていた。しかし、この場合、ティーチング位置にワークを並べる必要があり、ずれや荷崩れが生じた場合に対応することができない問題点があった。
そこで、荷積み状態のワークの位置姿勢を認識し、ワークの把持および搬送を行う手段として、特許文献１〜４が既に提案されている。

特許文献１は、レーザレーダやステレオカメラなどのセンサを用いて計測した３次元データの中から、登録された形状と似た形状を探索するものである。

特許文献２及び特許文献３は、デパレタイズを対象とした認識手法であり、照明装置を取り付け、影を発生させて、エッジを抽出し輪郭を認識する。直方体を仮定しているため、エッジは角にて直交することを利用し、直線にフィッティングを行っている。ステレオカメラなどによる高さ情報を物品選択に利用することや、スリット光を投影して撮像しエッジを得る方法も併用されている。
特許文献４では、荷崩れを検出する方法であり、正しく積載された場合の画像を事前に撮影し、現在の画像との差分を比較して、荷崩れが発生しているかを判断する。

特開２００８−３０９６７１号明細書、「物体認識方法および装置」特許第３５１６０６７号明細書、「デパレタイズ用画像作成方法および画像作成装置」特許第３８４９５１４号明細書、「物品位置認識装置」特開２００７−１７９３０１号明細書、「物品の荷崩れ検出方法および装置」

上述した特許文献１では、レーザを使用する場合、箱が密着している状態では、箱の隣接部分が平面として得られしまうため、箱の境界が三次元データに反映されず、登録した形状を探索することができない。ステレオカメラを使用する場合は箱に特徴的なテクスチャが必要であるため、無地の箱は認識が難しい。

特許文献２及び特許文献３では、対象とする形を直方体のようなものに仮定しているため、箱が荷崩れしている場合のようにエッジが直交しない場合は認識できない。
特許文献４では、荷崩れを判断するのみであり、ピッキングなどは実施していない。また、あらかじめ正しく積載された状態の画像を事前に登録しておく必要があり、積載方法や対象となるワークが変わった場合に対応できない。さらに、バラ積みにも対応できない。

本発明は上述した従来の問題点を解決するために創案されたものである。すなわち、本発明の目的は、箱状ワークを対象とし、ワークが密着している場合や荷崩れしている場合でもピッキングするワークの位置と姿勢を高い精度で認識することができる箱状ワーク認識装置および方法を提供することにある。

本発明によれば、隣接して荷積みした複数の箱状ワークを上方から撮影して全体画像を取得する単眼カメラと、
前記複数の箱状ワーク全体の３次元形状を計測する距離センサと、
前記全体画像から箱状ワークのエッジ部分を検出し、前記エッジ部分を境界として前記３次元形状から各箱状ワークの位置と姿勢を認識し、ピッキングする箱状ワークの位置と姿勢を出力する物体認識処理装置とを備えた、ことを特徴とする箱状ワーク認識装置が提供される。

また、本発明によれば、隣接して荷積みした複数の箱状ワークを上方から撮影して全体画像を取得し、
前記複数の箱状ワーク全体の３次元形状を計測し、
前記全体画像から箱状ワークのエッジ部分を検出し、
前記エッジ部分を境界として前記３次元形状から各箱状ワークの位置と姿勢を認識し、
ピッキングする箱状ワークの位置と姿勢を出力する、ことを特徴とする箱状ワーク認識方法が提供される。

本発明の実施形態によれば、前記３次元形状の点群に箱状ワークの異なる面を表すように異なるラベル値を設定し、
前記ラベル値を同一の箱状ワークごとにグループ化し、
各グループ内の点群の情報から、ピッキングする箱状ワークの位置と姿勢を出力する。

前記ラベル値は、単眼カメラで得られた画像中のエッジ部分を境界に異なるラベル値を割り当て、
隣接する点群間の距離が閾値以上の箇所を境として異なるラベル値を割り当て、
隣接する点群の法線ベクトル間の角度が閾値以上の部分を境として異なるラベル値を割り当てる。

また、各ラベル値の点群から平均の法線ベクトルを求めて、各ラベル値の代表法線ベクトルとし、
各ラベル値の代表法線ベクトルと、隣接するラベル値の代表法線ベクトル間の角度が所定の範囲にあるラベル値をグループ化する。

また、箱状ワークの上面面積を予め記憶し、前記各ラベル値に属する点群の占める面積と比較して、各グループから上面に相当するラベルを認識する。

或いは、前記各ラベル値に属する点群の占める面積を算出し、これをヒストグラム化して最も投票数の多い面積から上面に相当するラベルを認識する。

本発明の装置及び方法によれば、単眼カメラによる全体画像から箱状ワークのエッジ部分を検出し、このエッジ部分を境界として距離センサによる３次元形状から各箱状ワークの位置と姿勢を認識するので、箱状ワークが密着している場合や荷崩れの場合でもピッキングするワークの位置と姿勢を高い精度で認識することができる。

従って、本発明の装置及び方法により以下の効果が得られる。
（１）ティーチングを必要としないため、単眼カメラの撮影範囲内及び距離センサの計測範囲内に箱状ワークが存在すれば、ワーク毎に位置がずれていてもピッキングができる。
（２）単眼カメラの全体画像を併用し、エッジが抽出された部分（エッジ部分）に相当する３次元形状の点群データに、その部分が箱の境界であるという情報を与えるので、箱の境界部分を容易に認識できる。距離センサにレーザレーダなどを利用すれば、テクスチャがない場合でも認識できる。また、全体画像と３次元形状のデータ処理のみでピッキングするワークの位置と姿勢の認識を行うため、事前にワーク形状を登録する必要がない。
（３）エッジが直交しているという条件は使用しない。また、３次元データの法線ベクトルの角度を見て認識するため、荷崩れや荷積みのようにエッジが直交しない場合でも認識可能である。
（４）本発明はワークをピッキングすることを想定している。荷崩れがあるかの判断ではなく、検出したラベルグループに含まれる点群の座標値や法線ベクトルから位置、姿勢を計算してピッキングすることができる。

本発明の箱状ワーク認識装置を備えたピッキングシステムの全体構成図である。図１のピッキングシステムの作動フロー図である。図２における認識アルゴリズムのフロー図である。荷積みした複数の箱状ワークのラベルとそのグループ化の説明図である。ヒストグラムによる上面認識の説明図である。

以下、本発明の好ましい実施例を図面を参照して説明する。なお、各図において共通する部分には同一の符号を付し、重複した説明を省略する。

図１は、本発明の箱状ワーク認識装置を備えたピッキングシステムの全体構成図である。
この図において、１はワーク、２はロボット、３はロボットハンド、４はハンド制御部、５はロボット制御部、６は総括処理部、７はロボット制御装置であり、ロボット制御装置７はロボット制御部５と総括処理部６からなる。

ワーク１は、ダンボール箱のような密閉された直方体である。このようなワークを本出願では、「箱状ワーク」又は単に「ワーク」と呼ぶ。
この図において、複数のワーク１は、計測用の台８の上に隣接して密に荷積みされている。計測用台８は、固定されている必要はなく、例えば計測時間が短いなど、後述する３次元形状の計測に支障が生じない限りで、コンベア装置等であってもよい。

ロボット２は、例えば多関節３次元ロボットであり、ロボットハンド３を所定のワーキングエリア内で６自由度の位置及び姿勢を制御できるようになっている。なお、ロボット２は、多関節３次元ロボットに限定されず、その他のロボットであってもよい。
ロボットハンド３は、例えば真空による吸着パッド、開閉機構を有する把持装置、或いはこれらの複合装置であり、ピッキングする箱状ワーク１の上面を吸着又は把持して、１つずつ持ち上げ、別の位置まで保持するようになっている。

ハンド制御部４は、総括処理部６から受信する把持指令９ａに応じてロボットハンド３に制御信号を出力し、ロボットハンド３から位置信号を受信してこれを総括処理部６へ送信する。
なおハンド制御部４は必須ではなくこれを省略し、その機能を総括処理部６に含ませてもよい。

ロボット制御部５は、総括処理部６から受信したピッキングする箱状ワークの位置と姿勢に基づき、ロボット２を制御し、ロボットハンド３によりピッキングする箱状ワーク１の上面を吸着又は把持して、１つずつ持ち上げ、別の位置まで保持して搬送する。

総括処理部６は、本発明の箱状ワーク認識装置１０から受信したピッキングする箱状ワークの位置と姿勢をロボット制御部５に送信する。

図１において、本発明の箱状ワーク認識装置１０は、単眼カメラ１１、距離センサ１２、センサ制御部１４、及び物体認識処理装置１６からなる。

単眼カメラ１１は、デジタルカメラ（ＣＣＤカメラ又はＣＭＯＳカメラ）であり、隣接して荷積みした複数の箱状ワーク１を上方から撮影して全体画像を取得する。

距離センサ１２は、前記複数の箱状ワーク１の全体の３次元形状を計測する。
この例において、距離センサ１２は、レーザレーダであり、計測用台８の上方に位置し、複数の箱状ワーク１の３次元形状を上方から計測する。また、距離センサ１２の高さ及び姿勢を制御する移動・回転機構１３（例えば直動テーブルや回転テーブル）を備え、距離センサ１２の姿勢を自由に変え、視野を調節できるようになっている。
例えば、対象が小さいときに近づいて計測し、対象が大きいときに遠ざかって計測して、視野を適正化するようになっている。

なお、距離センサ１２は、レーザレーダに限定されず、ワークまでの距離を検出できるように、一定の間隔を隔てたステレオカメラであってもよい。

センサ制御部１４は、物体認識処理装置１６から姿勢制御信号９ｂを受信しこの信号を距離センサ１２に出力して距離センサ１２の高さ及び姿勢を制御し、かつ距離センサ１２で計測した複数の箱状ワーク１の３次元形状（センサデータ９ｃ）を受信し、物体認識処理装置１６に送信する。
なおセンサ制御部１４は必須ではなくこれを省略し、その機能を物体認識処理装置１６に含ませてもよい。

物体認識処理装置１６は、単眼カメラ１１による全体画像から箱状ワーク１のエッジ部分を検出し、このエッジ部分を境界として距離センサ１２による３次元形状から各箱状ワーク１の位置と姿勢を認識し、ピッキングする箱状ワークの位置と姿勢をロボット制御装置７に出力する。
物体認識処理装置１６は、この例ではＰＣ（コンピュータ）である。なお、上述したロボット制御装置７（ロボット制御部５と総括処理部６）、及びセンサ制御部１４を同一のＰＣで構成しても、それぞれ独立のＰＣで構成してもよい。

図２は、図１のピッキングシステムの作動フロー図である。
この図において、このピッキングシステムは、Ｓ１〜Ｓ６の各ステップ（工程）からなる。

ステップＳ１では、計測する対象（箱状ワーク１）が単眼カメラ１１と距離センサ１２の視野（計測範囲）に適切に入るように単眼カメラ１１と距離センサ１２の高さと姿勢を調整する。適切とはワーク１の全体が視野内に入り、かつ、十分な大きさで写っており、以後の認識処理に対応できる解像度をもつことである。姿勢の調整方法はフィードバックなどによる自動調整によるのが好ましいが、手動によってもよい。

ステップＳ２では、距離センサ１２により３次元形状を取得する。ここでの３次元形状は３次元座標を持つ各点が集合した点群を想定している。

ステップＳ３では、単眼カメラ１１により、隣接して荷積みした複数の箱状ワーク１を上方から撮影して全体画像を取得する。
なお、ステップＳ２とステップＳ３は、順序が逆でも、同時でもよい。

ステップＳ４では、全体画像から箱状ワークのエッジ部分を検出し、このエッジ部分を境界として３次元形状から各箱状ワークの位置と姿勢を認識する。
ステップＳ５では、統括処理部に認識の結果から必要な情報を送る。必要な情報とは認識した物体の数や、各認識した物体の位置、姿勢情報などである。

ステップＳ６では、統括処理部はピッキングするワークを、ロボット制御部とハンド制御部を通じてロボットとハンドを制御し、指定した座標の点でピッキングする。

図３は、図２における認識アルゴリズムのフロー図である。
この図において、認識アルゴリズムは、Ｔ１〜Ｔ１２の各ステップ（工程）からなる。

ステップＴ１では、距離センサ１２で取得した複数の箱状ワーク全体の３次元形状のノイズ除去を、例えばメディアンフィルタなどで行う。このステップは省略してもよい。
ステップＴ２では、３次元形状のマスキングを行い、ワーク外の位置にある点群や地面に相当する点群を除去する。このステップは必須ではなく、省略してもよい。
ステップＴ３では、単眼カメラ１１による全体画像から箱状ワーク１のエッジ部分１ａを検出する。この場合、無地の箱を想定するなら、検出されたエッジをそのまま利用してもよい。また、箱の面に模様などがあるならば直線のエッジを抽出する。

ステップＴ４では、単眼カメラ１１の位置、距離センサ１２の位置を利用して全体画像中のエッジ部分１ａに対応する３次元の点群を抽出する。
単眼カメラ１１と距離センサ１２の位置が既知であれば、画像上のある点（例えばエッジ部分１ａ）は、カメラ位置と画像上の点とを結ぶ直線と、３次元形状とが交差する点を抽出すればよい。

図４は、荷積みした複数の箱状ワークのラベル（Ａ）とグループ化（Ｂ）の説明図である。
図４（Ａ）は、下段５個、上段４個、計９個の箱状ワーク１が、隣接して密に積層され、上段の１個の箱状ワーク１が荷崩れしている状態を示している。
この図において、黒丸（●）は、距離センサ１２による３次元形状の計測点、白丸（○）は、距離センサ１２による３次元形状の計測点であり、かつエッジ部分１ａに対応する３次元の点群である。この図に示すように、エッジ部分１ａに対応する３次元の点群は、エッジに隣接して１つ又は２つが存在する。

ステップＴ５では、抽出されたエッジ部分１ａに対応する３次元の点群にエッジに隣接することを意味するフラグを振る。例えば、距離センサ１２による３次元形状の計測点の座標値（ｘ、ｙ、ｚ）と共にフラグｅを記憶する。フラグｅは、例えば０（エッジ部分以外）と１（エッジ部分）である。

ステップＴ６では、計測データ（３次元形状）の隣接する計測点との距離を利用してメッシュ（例えば３角メッシュ）を生成する。このメッシュ生成は、隣接する計測点との距離を利用することで、最適なメッシュをはることができる。これにより、３次元形状を３Ｄで把握することができる。

図４（Ａ）において、条件１，２，３は、ラベル値の設定（ラベリング）の条件を模式的に示している。
ステップＴ７では、以下の条件１〜３により、各点群にラベル値を設定する。
条件１：隣接する点にフラグが振られている場合は、異なるラベル値を割り当てる。
条件２：隣接する点の距離が閾値以上の点は異なるラベル値を割り当てる。
条件３：隣接する点の法線ベクトル間の角度の差が閾値以上の点は異なるラベル値を割り当てる。

すなわち、順次各点をスキャンし、隣接する点との距離、法線ベクトル、フラグを確認し、隣接する点が条件１〜３のいずれかを満たせば、隣接する点と異なるラベル値を割り当て、そうでなければ同じラベル値を割り当てる。
ここで、ラベル値は、任意の数字または記号である。

図４（Ｂ）は、ステップＴ７によるラベル値１〜７とそのグループ化を示している。
ステップＴ８では、極端にラベル値の大きいものや小さいものを除去する。すなわち、不必要なラベル値を除去する。なお、このステップは不可欠ではない。また、ラベル値の大きさ以外で判断してもよい。
この時点で、各ラベル値が箱（箱状ワーク）の面を表す。すなわち、図４（Ｂ）では、１〜７の７面が検出されている。

ステップＴ９では、得られたラベル値に属する点群の法線ベクトルの平均を求め、各ラベル値に属する点群の代表の法線ベクトルとする。このステップでは、箱状ワークの面の向きを計算していることになる。
図４（Ｂ）における矢印は、代表の法線ベクトルを示している。

ステップＴ１０では、隣接するラベル値の代表法線ベクトル間の角度が９０度程度であれば、同一のグループに含める。ただし、お互いの法線ベクトルが外側を向いていることが条件となる。
この時点で各グループが各ワーク（箱状ワーク）を表す。
図４（Ｂ）において、ラベル値５，６の法線ベクトル間の角度が９０度なのでグループ化する。
ラベル値４，５の法線ベクトルは内側に向いているので、グループ化しない。
ラベル値６，７の法線ベクトルも内側に向いているので、グループ化しない。

なおこの例のように、法線ベクトルの角度を利用せず、画像上の陰影による色の違いを利用してラベリングしてもよい。

ステップＴ１１では、箱状ワーク１の上面を認識する。
上面を認識する手段として、以下が挙げられるが、本発明はこれに限定されない。
（１）あらかじめ上面の面積を登録しておく。
各点群は３次元座標を持っている。従って、各ラベルのＸＹ座標の最大値、最小値から各面の面積を算出することができる。これを事前に登録した面積と比較し、認識する。この手段は、主に姿勢がばらばらに積まれている状態に適する。
（２）ラベル内に含まれる点群の数をヒストグラム化し上面を認識する。
ひどい荷崩れが頻繁に起きなければ、多くの箱は上面が見えている。そこでワークが搬送されて最初の認識にて、各ラベルに含まれる点群の座標値から面積を算出し、図５のようにヒストグラム化し、もっとも数の多い面を上面とする。

ステップＴ１２では、得られたグループ内の点群からピッキングする箱状ワーク１の重心位置や姿勢など、その箱状ワーク１のピッキングに必要な情報（認識結果）を統括処理部６に出力する。

上述した本発明の装置及び方法によれば、単眼カメラ１１による全体画像から箱状ワーク１のエッジ部分１ａを検出し、このエッジ部分１ａを境界として距離センサ１２による３次元形状から各箱状ワーク１の位置と姿勢を認識するので、箱状ワーク１が密着している場合や荷崩れの場合でもピッキングするワークの位置と姿勢を高い精度で認識することができる。

従って、本発明の装置及び方法により以下の効果が得られる。
（１）ティーチングを必要としないため、単眼カメラ１１の撮影範囲内及び距離センサ１２の計測範囲内に箱状ワーク１が存在すれば、ワーク毎に位置がずれていてもピッキングができる。
（２）単眼カメラ１１の全体画像を併用し、エッジが抽出された部分（エッジ部分１ａ）に相当する３次元形状の点群データに、その部分が箱の境界であるという情報を与えるので、箱の境界部分を容易に認識できる。距離センサ１２にレーザレーダなどを利用すれば、テクスチャがない場合でも認識できる。また、全体画像と３次元形状のデータ処理のみでピッキングするワークの位置と姿勢の認識を行うため、事前にワーク形状を登録する必要がない。
（３）エッジが直交しているという条件は使用しない。また、３次元データの法線ベクトルの角度を見て認識するため、荷崩れやばらばらに積まれている状態のようにエッジが直交しない場合でも認識可能である。
（４）本発明はワークをピッキングすることを想定している。荷崩れがあるかの判断ではなく、検出したラベルグループに含まれる点群の座標値や法線ベクトルから位置、姿勢を計算してピッキングすることができる。

なお、本発明は上述した実施の形態に限定されず、本発明の要旨を逸脱しない範囲で種々の変更を加え得ることは勿論である。

１ワーク（箱状ワーク）、１ａエッジ部分、
２ロボット、３ロボットハンド、
４ハンド制御部、５ロボット制御部、
６総括処理部、７ロボット制御装置、
８計測用台、
１０箱状ワーク認識装置、
１２距離センサ、１３移動・回転機構、
１４センサ制御部、１６物体認識処理装置

Claims

隣接して荷積みした複数の箱状ワークを上方から撮影して全体画像を取得する単眼カメラと、
前記複数の箱状ワーク全体の３次元形状を、３次元座標を持つ各計測点が集合した点群として計測する距離センサと、
前記全体画像から箱状ワークのエッジ部分を検出し、前記エッジ部分を境界として、前記エッジ部分に対応する、前記距離センサによる計測点の点群を抽出し、当該点群に基づいて、前記３次元形状から各箱状ワークの位置と姿勢を認識し、ピッキングする箱状ワークの位置と姿勢を出力する物体認識処理装置とを備えた、ことを特徴とする箱状ワーク認識装置。
隣接して荷積みした複数の箱状ワークを上方から撮影して全体画像を取得する単眼カメラと、
前記複数の箱状ワーク全体の３次元形状を計測する距離センサと、
前記全体画像から箱状ワークのエッジ部分を検出し、前記エッジ部分を境界として前記３次元形状から各箱状ワークの位置と姿勢を認識し、ピッキングする箱状ワークの位置と姿勢を出力する物体認識処理装置とを備え、
前記物体認識処理装置は、前記３次元形状の点群に箱状ワークの異なる面を表すように異なるラベル値を設定し、前記ラベル値を同一の箱状ワークごとにグループ化し、各グループ内の点群の情報から、ピッキングする箱状ワークの位置と姿勢を出力する、ことを特徴とする箱状ワーク認識装置。
単眼カメラにより、隣接して荷積みした複数の箱状ワークを上方から撮影して全体画像を取得し、
距離センサにより、前記複数の箱状ワーク全体の３次元形状を、３次元座標を持つ各計測点が集合した点群として計測し、
物体認識処理装置により、前記全体画像から箱状ワークのエッジ部分を検出し、前記エッジ部分を境界として、前記エッジ部分に対応する、前記距離センサによる計測点の点群を抽出し、当該点群に基づいて、前記３次元形状から各箱状ワークの位置と姿勢を認識し、ピッキングする箱状ワークの位置と姿勢を出力する、ことを特徴とする箱状ワーク認識方法。
隣接して荷積みした複数の箱状ワークを上方から撮影して全体画像を取得し、前記複数の箱状ワーク全体の３次元形状を計測し、前記全体画像から箱状ワークのエッジ部分を検出し、前記エッジ部分を境界として前記３次元形状から各箱状ワークの位置と姿勢を認識し、ピッキングする箱状ワークの位置と姿勢を出力する箱状ワーク認識方法であって、
前記３次元形状の点群に箱状ワークの異なる面を表すように異なるラベル値を設定し、
前記ラベル値を同一の箱状ワークごとにグループ化し、
各グループ内の点群の情報から、ピッキングする箱状ワークの位置と姿勢を出力する、ことを特徴とする箱状ワーク認識方法。
前記ラベル値は、
単眼カメラで得られた画像中のエッジ部分を境界に異なるラベル値を割り当て、
隣接する点群間の距離が閾値以上の箇所を境として異なるラベル値を割り当て、
隣接する点群の法線ベクトル間の角度が閾値以上の部分を境として異なるラベル値を割り当てる、ことを特徴とする請求項４に記載の箱状ワーク認識方法。
各ラベル値の点群から平均の法線ベクトルを求めて、各ラベル値の代表法線ベクトルとし、
各ラベル値の代表法線ベクトルと、隣接するラベル値の代表法線ベクトル間の角度が所定の範囲にあるラベル値をグループ化する、ことを特徴とする請求項４に記載の箱状ワーク認識方法。
箱状ワークの上面面積を予め記憶し、前記各ラベル値に属する点群の占める面積と比較して、各グループから上面に相当するラベルを認識する、ことを特徴とする請求項６に記載の箱状ワーク認識方法。
前記各ラベル値に属する点群の占める面積を算出し、これをヒストグラム化して最も投票数の多い面積から上面に相当するラベルを認識する、ことを特徴とする請求項６に記載の箱状ワーク認識方法。