JP3849514B2 - 物品位置認識装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理によりパレット上の物品（ワーク）の位置を認識する物品位置認識装置に関するものである。
【０００２】
【従来の技術】
従来の物品位置認識装置として、ロボットによるデパレタイズ時に使用される、ハンド搭載型のレーザースリット光方式（たとえば、特開平６−５５４７７号公報参照）を採用した装置などがある。このような物品位置認識装置では、ロボットのハンドに３本のスリット光を照射する投光手段とＣＣＤカメラからなる撮像手段を取り付け、事前に登録された積付パターン情報に基づく物品概略位置の範囲内で、ロボットのハンドに取り付けた投光手段より物品に対して３本のスリット光からなる“キ”の字を投影させ、これを撮像手段により撮影し、この撮像手段により撮影された撮像データに基づいて画像処理により物品の４辺のエッジを検出することにより物品の位置（主に中心座標）、向き（方向／傾き）を算出している。この算出した物品の位置・方向に基づいて、ハンドの位置が補正され、ハンドにより物品が支持され、移載される（デパレタイズされる）。
【０００３】
【発明が解決しようとする課題】
上記物品の位置・方向を判断する上で重要なことは、判別可能な物品の形状（エッジ）をいかに確保するかということ、すなわち隣の物品との境界をクリアにし、その境界を判別可能にすることであり、このように隣の物品との境界をクリアにすることが物品認識の品質を保持する上で必要不可欠となっている。
【０００４】
しかし、従来の物品位置検出装置では、物品同士に隙間がない場合、簡単には隣の物品との境界（物品のエッジやかど部）をクリアにすることができず、そのため位置・向き認識が正常に行われず画像認識異常（設備の停止）や誤認識による物品・装置破損を引き起こしてしまい、自動化レベルを低下させる原因となっている。
【０００５】
そこで、本発明は、物品間の境界をクリアとすることにより、常に物品の位置・向き認識を正常に行うことができる物品位置認識装置を提供することを目的としたものである。
【０００６】
【課題を解決するための手段】
前述した目的を達成するために、本発明のうち請求項１記載の発明は、パレット上の物品の位置を認識する装置であって、
前記パレットのほぼ中心上方から前記物品を撮影する撮像手段と、前記撮像手段により撮影された物品の撮像データを基に物品を認識する認識手段と、前記物品を少なくとも平面移動することが可能な移動手段と、前記パレットの斜め上方より前記物品に対して照明する照明手段を備え、
前記認識手段は、前記撮像手段により撮影された物品の撮像データにより前記照明手段によって前記物品のかど部に形成される影を利用して物品天面上のかど部を認識し、この物品のかど部の平面座標を求め、続いて認識した物品のかど部から伸びる２本の明暗差のふちから物品の２辺を求め、これら２辺により物品の向きを求め、この求めた物品の向きと予め記憶された物品の平面の辺の長さと前記求めた物品のかど部の平面座標により物品を認識することを特徴とするものである。
【０００９】
上記構成によれば、撮像手段により撮影された物品の撮像データにより照明手段によって物品のかど部に形成される影を利用して物品天面上のかど部が認識され、この物品のかど部の平面座標が求められ、続いて認識した物品のかど部から伸びる２本の明暗差のふちから物品の２辺が求められ、これら２辺により物品の向きが求められ、この物品の向きと予め記憶された物品の平面の辺の長さと前記求められた物品のかど部の平面座標により物品が認識される。たとえば、物品の中心位置が認識され、この中心位置にロボットのハンドが移動されて物品が持ち上げられて移載される。これにより、移載中に物品が傾いたり、物品が外れることが防止される。
【００１０】
また請求項２に記載の発明は、上記請求項１に記載の発明であって、認識手段は、認識した物品天面上のかど部から物品の２辺を求めることができないとき、予め記憶された物品の短辺を基にした正方形が、そのかど部が物品天面上のかど部と一致し、かつ物品の存在が認識される方向にあるものと仮定して前記正方形の中心座標を求め、この中心座標を移動手段へ出力し、前記移動手段はこの入力した中心座標に基づいて物品を移動させることを特徴とするものである。
【００１１】
画像処理による物品の位置・向きの画像認識異常（障害）には、以下の判断レベルがある。すなわち、物品の境界がクリアでないとき、「物品のかど部すら判断できない場合」、「物品のかど部は判断できたが、かど部から延びる２辺が判別できない場合」、「物品のかど部を判断でき、かど部から延びる２辺を判断できたが、２辺のうちどちらが縦辺でどちらが横辺かを判別できない場合（物品の向きを判別できない場合）」、がある。
【００１２】
上記構成によれば、「物品のかど部は判断できたが、かど部から延びる２辺が判別できない場合」、予め記憶された物品の短辺を基にした正方形が、そのかど部が物品天面上のかど部と一致し、かつ物品の存在が認識される方向にあるものと仮定して前記正方形の中心座標を求める。これにより、物品の認識されたかど部とそのかど部が一致した正方形が、物品天面とほぼ重なり合うように仮定され、この正方形の中心座標は、物品の中心座標の近くに求められる。この求められた正方形の中心座標は移動手段へ出力され、移動手段はこの入力した中心座標に基づいて物品を移動させる。よって、移動手段により物品が移動されるとき、物品が傾いたり、物品が外れたりする恐れが少なくなる。物品の移動により物品のかど部に影が形成される。
【００１３】
また請求項３に記載の発明は、上記請求項１に記載の発明であって、認識手段は、求めた２辺により物品の向きを求めることができないとき、予め記憶された物品の短辺を基にした正方形が、求めた２辺に重ねあわせてあるものと仮定してその中心座標を求め、この中心座標を移動手段へ出力し、前記移動手段はこの入力した中心座標に基づいて物品を移動させることを特徴とするものである。
【００１４】
上記構成によれば、「物品のかど部を判断でき、かど部から延びる２辺を判断できたが、２辺のうちどちらが縦辺でどちらが横辺かを判別できない場合（物品の向きを判別できない場合）」、予め記憶された物品の短辺を基にした正方形が、求めた２辺に重ねあわせてあるものと仮定してその中心座標を求める。これにより、正方形が、物品天面と重なり合うように仮定され、この正方形の中心座標は、物品の中心座標の近くに求められる。この求められた正方形の中心座標は移動手段へ出力され、移動手段はこの入力した中心座標に基づいて物品を移動させる。よって、移動手段により物品が移動されるとき、物品が傾いたり、物品が外れたりする恐れが少なくなる。物品の移動により物品のかど部に影が形成される。
【００１５】
また請求項４に記載の発明は、上記請求項１〜請求項３のいずれかに記載の発明であって、移動手段は、物品を照明手段より遠い方向へ移動することを特徴とするものである。
【００１６】
この構成によれば、移動手段により物品は照明手段より遠い方向へ移動され、物品同士の隙間により物品のかど部に影が形成される。
【００２０】
また請求項５に記載の発明は、上記請求項１〜請求項４のいずれかに記載の発明であって、移動手段は、パレット上の物品を移載するロボットにより構成されることを特徴とするものである。
【００２１】
この構成によれば、物品の移動、すなわち隙間の形成が、パレット上の物品を移載するロボットにより行われる。
【００２２】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。
［実施の形態１］
図１は本発明の実施の形態１における天井型濃淡方式の物品位置認識装置の構成図である。
【００２３】
図１において、１は被認識対象の物品（ワーク）２が積付られたパレットであり、パレット１の最上段の物品２の位置を認識する物品位置認識装置３が設けられている。
【００２４】
物品位置認識装置３は、パレット１のほぼ中心上方から物品２を撮影する第１ＣＣＤカメラ（撮像手段の一例）11と、パレット１の斜め上方より物品２を撮影する第２ＣＣＤカメラ12と、パレット１の斜め上方より物品２に対して照明する照明装置（照明手段の一例）13と、これら第１ＣＣＤカメラ11と第２ＣＣＤカメラ12と照明装置13に接続され、ＣＣＤカメラ11，12により撮影された物品２の撮像データを基にパレット１上の最上段の物品２の位置認識処理を行う画像処理装置（認識手段の一例）15から構成されている。
【００２５】
第１ＣＣＤカメラ11と第２ＣＣＤカメラ12にはそれぞれ、レンズの表面に赤外線のみを透過する赤外線フィルタが取り付けられ、また物品２の表面にハレーションが発生しないように絞りを調整し安定した画像を取り込めるように絞り調整機能が付加されている。第１ＣＣＤカメラ11と第２ＣＣＤカメラ12においては、赤外線フィルタにより被写体を撮影するときに赤外映像のみを取り込んだ撮像データ（映像データ）が得られ、赤外映像のみを取り込むことにより物品２に印刷された文字、模様、貼付テープ色（青、緑色など）の影響を少なくすることができ、正確な撮像データを得ることができる。
【００２６】
上記照明装置13は、パレット１を斜め上方より見下ろす所定の角度に固定された照明ランプ16と、画像処理装置15からの指令により垂直支柱17に沿って照明ランプ16を昇降する昇降装置18（昇降手段）から構成されている。昇降装置18は、たとえば照明ランプ16を支柱17に沿って支持する支持体と、この支持体に設置されたモータと、このモータの回転軸に連結されたピニオンと、支柱17に沿って上下方向に敷設され前記ピニオンが係合するラック（いずれも図示せず）などにより構成され、モータの回転により支持体が昇降することにより照明ランプ16が昇降される。
【００２７】
上記画像処理装置15は、第１ＣＣＤカメラ11により撮影された物品２の撮像データにより照明装置13によって物品２のかど部（ふち，コーナー）に形成される影を利用して物品天面上のかど部を認識し、この物品天面のかど部の高さを、第１ＣＣＤカメラ11により撮影された物品２の撮像データと第２ＣＣＤカメラ12により撮影された物品２の撮像データにより求め、物品２の位置（主に重心平面座標）と向き（方向）を認識するものである（詳細は後述する）。
【００２８】
上記構成の制御構成図を図２に示す。
画像処理装置15は、図２に示すように、
第１ＣＣＤカメラ11により撮影された物品２の撮像データを平面座標で記憶する第１画像メモリ21と、
第２ＣＣＤカメラ12により撮影された物品２の撮像データを平面座標で記憶する第２画像メモリ22と、
照明装置13により最上段の物品２のかど部に形成される影Ｓを利用した複数の物品天面のかど部のパターンが予め登録（記憶）されたパターンメモリ23と、
第１画像メモリ21に記憶された物品２の撮像データより、パターンメモリ23に予め記憶された物品天面のかど部のパターンと一致するパターンを全てサーチし、すなわち物品２のかど部の影Ｓを利用して最上段の物品天面のかど部と思われるかど角（以下、かど部候補と称す）を全て抽出し、その平面座標を記憶するパターンマッチング手段25と、
パターンマッチング手段25により求められた物品２のかど部候補の高さｈを、第１画像メモリ21に記憶された物品２の撮像データと第２画像メモリ22に記憶された撮像データにより検出する高さ検出手段26と、
高さ検出手段26により検出された物品２のかど部候補の高さｈと、後述する昇降用制御手段により求められる最上段の物品２の高さＨが一致する物品２のかど部候補を求め、この候補を最上段の物品２のかど部と認定してその平面座標を記憶する選択手段27と、
選択手段27により求めた物品２のかど部から伸びる２本のエッジ（明暗差のふち）の長さを、第１画像メモリ21に記憶された撮像データより求め、これらエッジの長さと後述する昇降用制御手段において求められる最上段の物品２の数（個数）により物品２の向きを求め、物品２のかど部の平面座標とともに出力し、また物品２のかど部から伸びる２辺を認識できなかったとき、あるいはこれら２辺が短辺か長辺かを認識できなかったとき（物品２の向きを求めることができなかったとき）、物品移動情報（詳細は後述する）を、後述するロボット制御装置19へ出力する向き検出手段28と、
後述する昇降用制御手段により入力した物品の平面サイズ（物品２の平面上の短辺と長辺の長さのデータ）と、向き検出手段28により求められた物品２の向きとこの物品２のかど部の平面座標により物品２の重心の平面座標を求め、この物品２の平面座標と向きからなる重心平面座標情報を後述するロボット制御装置19へ出力する重心検出手段29と、
後述するロボット制御装置19より入力した物品２のサイズ（物品２の短辺と長辺の長さ、高さのデータ）、パレット上の総物品数、１段の総物品数、パレット１の厚みのデータより、最上段の物品２の数と、最上段の物品２までの高さＨを演算し（求め）、この最上段の物品２までの高さＨに基づいて、最上段の物品２と現状認識している照明装置13との距離を一定とするように、パルス信号を照明装置13の昇降装置18へ出力する昇降用制御手段30と、
照明装置13の照明ランプ16へ点灯信号を出力する駆動手段31
から構成されている。
【００２９】
上記物品位置認識装置３を備えたデパレタイズ部の構成を図３に示す。
図３において、20はロボット（移動手段の一例）であり、このロボット20は、後述するロボット制御装置19からの指令に基づいてパレット１から物品２を１個ずつ持ち上げて移載し、また物品２を平面移動する。
【００３０】
また41は駆動ローラコンベヤから構成された搬入コンベヤであり、自動搬送台車（搬送手段）42より、デパレタイズされる物品２が積付られたパレット１を受け取り、物品位置認識装置３が設置されたデパレタイズ位置ａまで搬送する。このデパレタイズ位置ａにおいて前記ロボット20により物品２はデパレタイズされ、移載コンベヤ43へ移載される。終了すると、パレット１は搬入コンベヤ41より、駆動ローラコンベヤから構成された搬出コンベヤ44へ移載され、この搬出コンベヤ44によりパレット１は搬送され、自動搬送台車42へ搬出される。
【００３１】
ロボット制御装置19には、物品２の移載等を管理する上位コンピュータ（図示せず）より物品２の移載の数（ピッキング数）などの指令データ、およびデパレタイズに必要なデータ、たとえば物品２のサイズ（物品２の平面上の短辺と長辺の長さと高さのデータ）、パレット上の総物品数、１段の総物品数、パレット１の厚みなどのデータが入力され、図４に示すように、図１に示す天井型濃淡方式の画像処理装置15より上記重心平面座標情報を入力すると、この情報の物品２の重心平面座標と向きおよび前記デパレタイズに必要なデータに基づいて、ロボット20へ指令してロボット20を駆動し、指令データのピッキング数の物品２を１個ずつパレット１より移載コンベヤ43へ移載させる。また画像処理装置15より物品移動情報（後述する）を入力すると、この物品移動情報に基づいて、ロボット20へ指令してロボット20を駆動し、物品移動情報の物品２を照明装置13から遠い方向へずらし（移動させ）、物品２の移動が終了すると移動終了情報を画像処理装置15へ出力する。
【００３２】
上記画像処理装置15により上記重心平面座標情報と物品移動情報を求める手順を図５〜図７のフローチャートにしたがって詳細に説明する。なお、ロボット制御装置19より、物品２のサイズ（物品２の平面上の短辺と長辺の長さと高さのデータ）、パレット１上の総物品数、１段の総物品数、パレット１の厚みのデータが入力されているものとする。
【００３３】
まず、昇降用制御手段30により、ロボット制御装置19から入力した物品２の高さデータ、パレット１上の総物品数、１段の総物品数、パレット１の厚みのデータにより最上段の物品２の数と、最上段の物品２までの高さＨを演算し（ステップ−１）、この最上段の物品２までの高さＨに基づいて、パルス信号を照明装置13の昇降装置18へ出力し、最上段の物品２と照明装置13との距離を一定とする（ステップ−２）。これにより第１ＣＣＤカメラ11と第２ＣＣＤカメラ12は、常に同じ明るさで、精度よく撮像データを得ることができる。
【００３４】
次に、駆動手段31により照明装置13の照明ランプ16を駆動してストロボ照射させ、同時に第１ＣＣＤカメラ11と第２ＣＣＤカメラ12によりパレット１上の物品２を撮影し、その撮像データを平面座標で、それぞれ第１画像メモリ21と第２画像メモリ22に記憶する（ステップ−３）。
【００３５】
次に、パターンマッチング手段25において、第１画像メモリ21に記憶された物品２の撮像データによりパターンメモリ23に予め登録された物品天面のかど部のパターンと一致するパターンを全てサーチし、すなわち物品２のかど部の影Ｓを利用して最上段の物品天面のかど部候補を全て抽出し、その平面座標を記憶する（ステップ−４）。
【００３６】
パターンマッチング手段25により予め記憶された物品天面のかど部のパターンと一致するパターンが確認されると（ステップ−５）、続いて高さ検出手段26において、パターンマッチング手段25により求められた物品２のかど部候補までの高さｈを、第１画像メモリ21に記憶された物品２の撮像データと第２画像メモリ22に記憶された撮像データにより求める（ステップ−６）。
【００３７】
次に選択手段27において、物品２のかど部候補の中から、高さ検出手段26により検出された物品２のかど部候補までの高さｈと、昇降制御手段30により算出された最上段の物品２までの高さＨが一致する物品２のかど部候補を求め、求めたかど部候補を最上段の物品２のかど部と認定して、この最上段の物品２のかど部の平面座標を記憶する（ステップ−７）。
【００３８】
次に向き検出手段28において、選択手段27により求めた物品２のかど部から伸びる２本のエッジを第１画像メモリ21に記憶された撮像データから求める｛たとえば、トーン差のある数点（たとえば７点）をラインとして見なす｝（ステップ−８）。次にこれらエッジが直交しているかを確認し（ステップ−９）、直交していることが確認されると、これらエッジを延ばし、断点（条件が変わる点）を見つけ、２辺の長さを求める（ステップ−１０）。ステップ−９においてエッジが直交していないことを確認すると、エッジ（辺）を認識できなったとして「エラー１」を実行する（後述する）。
【００３９】
以下、下記のステップにより、昇降用制御手段30において求められた最上段の物品２の個数に応じて、求めた２辺のうち、どちらが長辺でどちらが短辺かを認識し、物品２の向きを求める。
【００４０】
まず、向き検出手段28において、昇降用制御手段30において求められた最上段の物品２の個数が１個かどうかを確認し（ステップ−１１）、確認すると、求めた２辺の長さの差の領域のエッジを検出し（ステップ−１２）、一方のエッジが認識され、他方のエッジが認識されないと、一方のエッジを長辺、他方のエッジを短辺と認識し、物品２の向きを求める（ステップ−１３）。２辺から長辺と短辺を認識できないとき、「エラー２」を実行する（後述する）。
【００４１】
向き検出手段28は、上記ステップ−１１において、昇降用制御手段30において求められた最上段の物品２の個数が１個でない場合、最上段の物品２の個数が２個かどうかを確認し（ステップ−１４）、確認すると、求めた２辺にそれぞれ対向する辺の位置で物品２のエッジを検出し（ステップ−１５）、２つ以上のエッジを抽出した辺を長辺、他方の辺を短辺と認識し、物品２の向きを求める（ステップ−１６）。２辺から長辺と短辺を認識できないとき、「エラー２」を実行する（後述する）。
【００４２】
向き検出手段28は、上記ステップ−１４において、最上段の物品２の個数が２個でない場合、すなわち物品２が３個以上の場合、物品２のかど部に対する対向辺の長辺・短辺が同時に検出できるかを調べ（ステップ−１７）、長辺・短辺を同時に検出できるとき、検出した長辺に対向する辺を長辺、検出した短辺に対向する辺を短辺と認識し、物品２の向きを求める（ステップ−１８）。ステップ−１８において、長辺・短辺を同時に検出できないとき、上記最上段の物品２の個数が２個のときの処理を行い（ステップ−１９）、２つ以上のエッジを抽出した辺を長辺、他方の辺を短辺と認識し、物品２の向きを求める（ステップ−２０）。２辺から長辺と短辺を認識できないとき、「エラー２」を実行する（後述する）。
【００４３】
上記ステップ−９において「エラー１」が生じたとき、すなわち認識した物品天面上のかど部から物品２の２辺を求めることができないとき、図８（ａ）に示すように、昇降制御手段30より入力された物品２の短辺（予め記憶された物品の短辺）を基にした正方形が、角度０で、そのかど部が物品天面上のかど部と一致し、かつ物品の存在が認識される方向にあるものと仮定して正方形の中心Ｍの座標（平面）を求め（ステップ−２１）、この中心座標データを含む上記物品移動情報をロボット制御装置19へ出力する（ステップ−２２）。そして、この物品移動情報に基づいて物品２が移動され、ロボット制御装置19より上記移動終了情報を入力すると（ステップ−２３）、ステップ−３へ戻る。
【００４４】
上記ステップ−１３，１５，２０において「エラー２」が生じたとき、すなわち求めた２辺により長辺・短辺を認識できないとき（物品の向きを求めることができないとき）、図８（ｂ）に示すように、昇降制御手段30より入力された物品２の短辺（予め記憶された物品の短辺）を基にした正方形が、求めた２辺に重ねあわせてあるものと仮定してその中心Ｍの座標（平面）を求め（ステップ−２４）、続いて上記ステップ−２２を実行してこの中心座標をロボット制御装置19へ出力する。
【００４５】
物品２の向きを認識できると、重心検出手段29において、昇降制御手段30より入力された物品２の短辺と長辺の長さのデータと、向き検出手段28により求められた物品２の向きと、この物品２のかど部の平面座標により物品２の重心の平面座標を求め（ステップ−２５）、この重心の平面座標と物品２の向きからなる重心平面座標情報をロボット制御装置19へ出力する（ステップ−２６）。
【００４６】
上記ロボット制御装置19により駆動されるロボット20による、物品２のずらし動作を図９に基づいて詳細に説明する。
画像処理装置15より上記物品移動情報を入力すると、図９（ｂ）に示すように、この物品移動情報の中心座標へハンド46を移動させ、物品２を吸着して上昇させ、図９（ｃ）に示すように、予め設定したＸ−Ｙ方向へ所定距離｛たとえば２０ｍｍ；物品２を照明装置１６（ランプ光）より遠い方向｝に物品２をずらし（移動させ）、図９（ｄ）に示すように、物品２を下降させて吸着を解除し、この移動が終了すると移動終了情報を画像処理装置15へ出力する。
【００４７】
これにより、物品２同士間に隙間が生じ、ずらした物品２の周囲に影が生じることから、再認識を実行することにより、物品２が確実に認識され、物品２の重心平面座標と向きが求められる。
【００４８】
このように、物品位置が未知なとき、物品位置認識装置３８（画像処理装置15）において、第１ＣＣＤカメラ11により撮影された物品２の撮像データにより照明装置13によって最上段の物品２のかど部に形成される影を利用して物品天面上のかど部が認識され、この物品２のかど部の平面座標が求められ、続いて認識した物品２のかど部から伸びる２本の明暗差のふちから物品２の２辺が求められ、これら２辺により物品２の向きが求められ、この物品２の向きと予め記憶された物品２の平面の辺の長さと前記求められた物品２のかど部の平面座標により物品２の重心座標データが認識される。そして、この重心座標データに基づいてロボット制御装置19を介してロボット20により物品２のデパレタイズが行われることにより、人手が介在してパレット１上のどの位置に物品２があるのか分からない状態においても自動でデパレタイズを実行することができ、全自動で物品２のピッキング作業を行うことができ、また移載中に物品２が傾いたり、物品２が外れることを防止できる。
【００４９】
また物品２同士に隙間がなく物品２の境界がクリアでなく、「物品２のかど部は判断できたが、かど部２から延びる２辺が判別できない場合」、予め記憶された物品２の短辺を基にした正方形が、そのかど部が物品天面上のかど部と一致し、かつ物品２の存在が認識される方向にあるものと仮定して前記正方形の中心Ｍの座標が求められ、また「物品２のかど部を判断でき、かど部から延びる２辺を判断できたが、２辺のうちどちらが縦辺でどちらが横辺かを判別できない場合（物品の向きを判別できない場合）」、予め記憶された物品２の短辺を基にした正方形が、求めた２辺に重ねあわせてあるものと仮定してその中心Ｍの座標が求められ、この求められた正方形の中心Ｍの座標は物品移動情報としてロボット制御装置19へ出力される。このとき、正方形の中心Ｍの座標は、物品２の中心座標の近くに求められる。ロボット制御装置19は、この入力した情報の中心Ｍの座標に基づいてロボット20を駆動して物品２を照明装置13より遠い方向へ移動させる。
【００５０】
この移動、すなわち物品２のずらしにより物品２間に隙間が設けられ、物品２の境界がクリアとされ、すなわち物品２の移動により物品のかど部に影が形成され、再認識を行うことにより物品２を認識することができ、よって物品２の認識異常により設備停止することなく、自動運転を継続することができる。またロボット20により物品２のずらしが行われるとき、正方形の中心Ｍの座標は、物品２の中心座標の近くに求められることにより、物品２が傾いたり、物品２が外れたりする恐れを少なくできる。
【００５１】
また物品位置認識装置３に必要なデータは、物品２のサイズ、パレット上の総物品数、１段の総物品数、パレット１の厚みのデータと数が少なくてよく、設定にかかる時間を短縮でき、認識処理時間を短縮することができる。
【００５２】
なお、上記実施の形態１では、照明装置13を１台設けているが、新たに、照明装置13とはパレット１を挟んで対象の位置で、パレット１の斜め上方より物品２に対して照明する第２の照明装置（第２照明手段）を設けることもできる。
【００５３】
これにより、２台の照明装置を選択することにより、最上段の物品２のかど部に形成される影Ｓの方向を逆にすることができ、一方の照明により物品２のかど部に形成される影Ｓにより物品２を認識できないとき、他方の照明により物品２のかど部に形成される影Ｓにより物品２の認識を実行することにより、認識できる割合を高くすることができる。そして、照明の向きを代えても物品２を認識できないときに、物品２のずらし動作を実行する。
【００５４】
また上記実施の形態１において、照明装置13に昇降装置18を設けているが、これら昇降装置18に代えて、パレット１を昇降させる昇降装置を設け、昇降用制御手段30により求められた最上段の物品２の高さＨにより、この昇降装置を駆動して最上段の物品２と照明装置13の距離を一定とする構成としてもよい。
【００５５】
また上記実施の形態１において、照明装置13に昇降装置18を設けているが、これら昇降装置18に代えて、第１ＣＣＤ装置11または第２ＣＣＤ装置12の少なくとも一方に自動ズーム機能を付加し、昇降用制御手段30により算出された最上段の物品２の高さＨにより、前記自動ズーム機能により最上段の物品２の撮像データの大きさを調整し一定とする構成としてもよい。
［実施の形態２］
図１０は本発明の実施の形態２におけるレーザー方式の物品位置認識装置を備えた物品移載装置（ロボット）の構成図である。
【００５６】
物品位置認識装置50は、ロボット20のハンド46に取り付けられた３本のスリット光（互いに垂直に交差する一対のスリット光とこれらスリット光の一方のスリット光と略平行なスリット光の一例）を照射するレーザー（照明手段の一例）53およびＣＣＤカメラ（撮像手段の一例）54と、これらレーザー53とＣＣＤカメラ54に接続され、ＣＣＤカメラ54により撮影された物品２の撮像データによりレーザー53によって物品２上に投影されたスリット光の像を利用して物品２の４辺のエッジを認識し、これら物品２のエッジにより物品を認識することにより、パレット１上の最上段の物品２の位置認識処理を行う画像処理装置（認識手段の一例）55から構成されている。
【００５７】
いま、図１１に示すように、ＣＣＤカメラ54の被撮像面56は矩形状であり、レーザー53から物品２に投影される２本のスリット光Ｌ１，Ｌ２は互いに平行で、ＣＣＤカメラ54の画像のｙ軸方向と一致し、かつレーザー53から物品２に投影されるスリット光Ｌ３は上記スリット光Ｌ１，Ｌ２と直角でＣＣＤカメラ54の画像のｘ軸方向と一致するように、３本のレーザー53およびＣＣＤカメラ54が配置されている。このレーザー53およびＣＣＤカメラ54の配置により、ロボット20のハンド46に取り付けた３本のレーザー53からパレット１上の物品２に対して“キ”の字が投影される。なお、各スリット光Ｌ１，Ｌ２，Ｌ３の長さは物品２のサイズに基づいて物品２をはみ出る長さとしている。
【００５８】
また画像処理装置55には、ロボット20の制御装置19より予め上記物品２の認識の画像処理に必要なデータ、すなわち物品２のサイズ（物品の平面上の短辺と長辺の長さおよび高さのデータ）が設定されている。
【００５９】
またロボット制御装置19には、移載のデータとして予め、物品２のサイズ（物品の平面上の短辺と長辺の長さおよび高さのデータ）、パレット１上の物品２の概略配置および積み付け段数が入力される。
【００６０】
この画像処理装置55による物品２の認識の手順を、ロボット制御装置19による物品２の移載・移動(ずらし)の手順とともに、図１２のフローチャートにしたがって説明する。
【００６１】
まず、ロボット制御装置19は、パレット１上の物品２の配置および積み付け段数に基づいて、移載する目的の物品２の所定高さ上方へハンド46を移動させる（ステップ−Ａ１）。ロボットハンド角度は通常０度としている。なお、物品２の移載は、端部に位置する物品２より順に実行される。
【００６２】
ハンド46の移動が終了すると、画像処理装置55に対して認識実行指令を出力する（ステップ−Ａ２）。
画像処理装置55は、認識実行指令を入力すると（ステップ−Ｂ１）、ロボット20のハンド46に取り付けたレーザー53からパレット１上の物品２に対してスリット光Ｌ１，Ｌ２，Ｌ３を照射させて“キ”の字を投影させ（ステップ−Ｂ２）、これをＣＣＤカメラ54により撮影させ、その撮像を入力する（ステップ−Ｂ３）。
【００６３】
次にＣＣＤカメラ54の撮像データにおいて、各スリット光Ｌ１，Ｌ２，Ｌ３の画像データを強調することにより他の画像のデータやノイズのデータより抽出し、図１３に示すように、各スリット光Ｌ１，Ｌ２，Ｌ３のみの画像データを求める（ステップ−Ｂ４）。
【００６４】
レーザー53がＣＣＤカメラ54に対し画像のｘ軸方向とｙ軸方向に所定の変位をもって配置されていることから、移載を鋭う物品２が段の端に位置し、この物品２と他の物品２間に隙間がある場合、物品２上のスリット光Ｌ１，Ｌ２，Ｌ３は物品２外のスリット光Ｌ１，Ｌ２，Ｌ３に対して横方向にズレが生じることにより、図１３（ａ）に示すように、物品２の周囲に各スリット光Ｌ１，Ｌ２，Ｌ３に２ヶ所、不連続点（繋がらない点）が存在する。また移載を行う物品２は段の端に位置し、この物品２と他の物品２間に隙間がない場合、隙間がないエッジ側は不明確となり、スリット光Ｌ１，Ｌ２，Ｌ３は連続して抽出され、図１３（ｂ）に示すように、各スリット光Ｌ１，Ｌ２，Ｌ３には１ヶ所しか不連続点が存在しない。
【００６５】
そこで次に、抽出した各スリット光Ｌ１，Ｌ２，Ｌ３の画像それぞれにおける被撮像面おける不連続点（座標）を求め（ステップ−Ｂ５）、続いて不連続点が２ヶ所か１ヶ所かを確認する（ステップ−Ｂ６）。
【００６６】
各スリット光Ｌ１，Ｌ２，Ｌ３における不連続点が２ヶ所の場合、物品２の位置（中心位置の座標）と方向を求めることができる。
すなわち、図１４に示すように、被撮像画面において目的の物品２に対応する、スリット光Ｌ１の不連続点Ｐ１の座標を（Ｘ１，Ｙ１）、Ｐ２の座標を（Ｘ１，Ｙ２）(ただし、Ｙ１＞Ｙ２)、スリット光Ｌ２の不連続点Ｐ３の座標を（Ｘ３，Ｙ３）、Ｐ４の座標を（Ｘ３，Ｙ４）(ただし、Ｙ３＞Ｙ４)、スリット光Ｌ３の不連続点Ｐ５の座標を（Ｘ５，Ｙ５）、Ｐ６の座標を（Ｘ６，Ｙ５）(ただし、Ｘ５＞Ｘ６)とすると、不連続点Ｐ１とＰ３を通る辺は、（１）式で表される。
【００６７】
ｙ＝ａ（ｘ−Ｘ１）＋Ｙ１ …（１）
但し ａ＝（Ｙ３−Ｙ１）／（Ｘ３−Ｘ１）
また不連続点Ｐ２を通る辺は、不連続点Ｐ１とＰ３を通る辺と平行で、傾きが同じ傾きａで表されるので、（２）式で表される。
【００６８】
ｙ＝ａ（ｘ−Ｘ１）＋Ｙ２ …（２）
また不連続点Ｐ５，Ｐ６を通る辺の傾きは、物品２のかど部の角度は９０度であることから（１／ａ）で表されるので、不連続点Ｐ５，Ｐ６を通る辺は、（３）式、（４）式で表される。
【００６９】
ｙ＝（１／ａ）（ｘ−Ｘ５）＋Ｙ５ …（３）
ｙ＝（１／ａ）（ｘ−Ｘ６）＋Ｙ５ …（４）
よって、図１４に示す、物品２の４つの交点（かど部）Ａ，Ｂ，Ｃ，Ｄの各座標を（１）〜（４）式により求めることができ、物品２の中心Ｑの座標を求めることができる。
【００７０】
そこで、不連続点が２ヶ所の場合、物品２の位置に相当する中心Ｑの座標と向き（方向）に相当する傾きａを求め（ステップ−Ｂ７）、求めた物品２の位置・向きのデータからなる物品認識情報をロボット制御装置19へ出力する（ステップ−Ｂ８）。
【００７１】
ロボット制御装置19は、画像処理装置55よりこの物品認識情報を入力すると(ステップ−Ａ３)、入力した物品認識情報に基づいて、ハンド46の位置と傾きを補正し、ハンド46により物品２を支持し、移載する（デパレタイズする）(ステップ−Ａ４)。
【００７２】
上記ステップ−Ｂ６において、不連続点が１ヶ所しかない場合、すなわち、図１５に示すように、不連続点Ｐ１，Ｐ３，Ｐ５の座標しか求めることができなかった場合、上記（１）（３）式しか求めることができないが、これら式で物品２の２辺の位置とこの２辺の交点（かど部）Ｂと傾きａは求めることができる。
【００７３】
そこで、不連続点が１ヶ所しかない場合、物品２の２辺の位置と辺の交点（端部）Ｂと傾きａを求め（ステップ−Ｂ９）、図１５（ｂ）に示すように、求めた物品２の２辺の位置と辺の交点Ｂに、物品２の短辺（予め設定された物品の短辺）を基にした正方形が、重ねあわせてあるものと仮定してその中心Ｍの平面座標を求め（ステップ−Ｂ１０）、続いて２辺の位置より正方形を移動させる方向（移動方向）を、正方形の中心Ｍから交点Ｂへの方向ｚとしてｘ軸からの角度θを求め(物品２の２辺の方向にし)（ステップ−Ｂ１１）、この中心Ｍの座標データと移動方向指示の角度θからなる物品移動情報をロボット制御装置19へ出力する（ステップ−Ｂ１２）。
【００７４】
ロボット制御装置19は、物品移動情報を入力すると(ステップ−Ａ５)、入力した物品移動情報に基づいて、物品移動情報の中心座標へハンド46を移動させ、物品２をハンド46により物品２を支持し、指示された角度θ方向へ、予め設定した所定距離（たとえば２０ｍｍ）物品２をずらし（移動させ）、ハンド46を元の上方位置へ戻す(ステップ−Ａ６)。これにより、物品２同士間に隙間が形成される。この移動が終了するとステップ−Ａ２へ戻り、再び認識実行指令を画像処理装置55へ出力する。
【００７５】
画像処理装置55は、ロボット制御装置19より上記認識実行指令を入力すると再認識を行う。
このように、パレット１上の物品２の位置にズレや傾きが発生している恐れがあるとき、ＣＣＤカメラ54により撮影された物品２の撮像データより、レーザー53によって物品２上に投影されたスリット光の像を利用して、すなわち物品２上と物品２外とでスリット光の横ズレが生じることを利用して、横ズレ位置の座標を求めることで物品２の４辺のエッジが認識され、これら物品２のエッジにより物品２の中心Ｑの座標と向きが認識され、認識された物品２の中心座標と向きのデータ（物品認識情報）に基づいてロボット制御装置19を介してロボット20により物品２のデパレタイズが行われる。よって、物品位置にズレや傾きが発生している状態においても自動でデパレタイズを実行することができ、全自動で物品２のピッキング作業を行うことができる。また移載中に物品２が傾いたり、物品２が外れることを防止できる。
【００７６】
また、物品位置認識装置50により物品の２辺のエッジのみしか認識することができないとき(目的の物品２を認識できないとき)、認識できる２辺のエッジより物品２の２辺の位置を認識し、予め記憶された物品２の短辺を基にした正方形が、認識できる２辺に重ねあわせてあるものと仮定して(正方形が物品天面と重なり合うように仮定して)その中心Ｍの座標を求め、またこの中心Ｍの座標より物品２に隙間が形成される移動方向を求め、求めた中心座標および移動方向指示からなる物品移動情報がロボット制御装置19へ出力される。このとき、正方形の中心Ｍの座標は、物品２の中心座標の近くに求められる。ロボット制御装置19はこの入力した物品移動情報の中心座標および移動方向指示に基づいて物品２をずらす（移動させる）ことによって、物品２同士に隙間が形成される。
【００７７】
この物品２同士の隙間によりスリット光の横ズレが生じ、移動させた物品２の周囲に不連続点が生じ、よって再認識を実行することによりエッジが認識可能となり、物品２が確実に認識され、物品２の位置に相当する中心Ｑの座標と向きに相当する傾きａからなる物品認識情報が求められ、その結果、設備停止することなく、自動運転を継続することができる。またロボット20により物品２が移動されるとき、正方形の中心Ｍの座標は、物品２の中心座標の近くに求められることにより、物品２が傾いたり、物品が外れたりする恐れを少なくできる。
【００７８】
また物品位置認識装置50に必要なデータは、物品２のサイズだけでよく、設定にかかる時間を短縮でき、認識処理時間を短縮することができる。
なお、上記実施の形態２では、レーザー53より３本のスリット光を照射しているが、３本に限ることはなく、さらにスリット光の本数を増してもよい。たとえば、スリット光Ｌ３に平行なスリット光を増して照射するようにしてもよい。このとき、物品２の周囲に生じる不連続点の数が増すことから、物品２の平面形状が正四角形でない場合に、その形状を求めることが可能となり、その重心位置を求めることが可能となる。
【００７９】
また上記実施の形態１，２においては、図３に示すように、デパレタイズ位置ａにおいてロボット20によりパレット１上より物品２はデパレタイズされ、移載コンベヤ43へ移載される運用形態を示しているが、デパレタイズされた物品２が、他のパレット１へ積付られる運用形態とすることもできる。この「パレットからパレットへのデパレタイズ・パレタイズ」の運用形態の一例を図１６に示す。図１６において、48は、自動搬送台車（搬送手段）42より、パレタイズされる物品２を積付けるパレット１を受け取り、パレタイズ位置ｂへ搬送する第２搬入コンベヤであり、この第２搬入コンベヤ48によりパレタイズ位置ｂへ搬入されたパレット１に対して、ロボット20によりデパレタイズ位置ａのパレット１上よりデパレタイズされた物品２が積み込まれる（パレタイズされる）構成としている。またパレタイズが終了したパレット１は、第２搬入コンベヤ48より第２搬出コンベヤ49へ移載され、この第２搬出コンベヤ49により自動搬送台車42へ搬出される構成としている。前記第２搬入コンベヤ48と第２搬出コンベヤ49は、たとえば駆動ローラコンベヤから構成される。
【００８０】
また上記実施の形態１，２において物品２の移動手段としてロボット20を使用しているが、このデパレタイズ用のロボット20に限ることはなく、物品２を平面移動できる手段であればよい。
【００８１】
【発明の効果】
以上述べたように本発明によれば、撮像手段により撮影された物品の撮像データを基に物品を認識することができないとき、すなわち物品同士に隙間がなく物品の境界がクリアでない場合、物品を移動させて物品同士に隙間を形成することにより、物品の認識が可能となり、物品位置にズレや傾きが発生している状態においても自動でデパレタイズを実行することができ、全自動で物品のピッキング作業を行うことができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１における物品位置認識装置の構成図である。
【図２】同物品位置認識装置の制御構成図である。
【図３】同物品位置認識装置を備えたデパレタイズ部の構成図である。
【図４】同物品位置認識装置を備えたデパレタイズ部のロボット駆動の手順を示すフローチャートである。
【図５】同物品位置認識装置による物品認識のフローチャートである。
【図６】同物品位置認識装置による物品認識のフローチャートである。
【図７】同物品位置認識装置による物品認識のフローチャートである。
【図８】同物品位置認識装置による物品認識異常発生時の物品移動中心を求める説明図である。
【図９】同物品位置認識装置による物品移動情報に基づく物品のずらし動作の説明図である。
【図１０】本発明の実施の形態２における物品位置認識装置の構成図である。
【図１１】同物品位置認識装置のＣＣＤカメラの被撮像面図である。
【図１２】同物品位置認識装置の画像処理装置とロボット制御装置の動作を説明するフローチャートである。
【図１３】同物品位置認識装置による物品認識の説明図である。
【図１４】同物品位置認識装置による物品認識の説明図である。
【図１５】同物品位置認識装置による物品認識異常発生時の物品移動中心を求める説明図である。
【図１６】他の実施の形態における物品位置認識装置を備えたデパレタイズ部の構成図である。
【符号の説明】
１ パレット
２ 物品
３，50 物品位置認識装置
11 第１ＣＣＤカメラ
12 第２ＣＣＤカメラ
13 照明装置
15，55 画像処理装置
16 照明ランプ
18 昇降装置
19 ロボット制御装置
20 ロボット
53 レーザー
54 ＣＣＤカメラ

Claims (5)

1. パレット上の物品の位置を認識する装置であって、
   前記パレットのほぼ中心上方から前記物品を撮影する撮像手段と、
   前記撮像手段により撮影された物品の撮像データを基に物品を認識する認識手段と、
   前記物品を少なくとも平面移動することが可能な移動手段と、
   前記パレットの斜め上方より前記物品に対して照明する照明手段
   を備え、
   前記認識手段は、前記撮像手段により撮影された物品の撮像データにより前記照明手段によって前記物品のかど部に形成される影を利用して物品天面上のかど部を認識し、この物品のかど部の平面座標を求め、続いて認識した物品のかど部から伸びる２本の明暗差のふちから物品の２辺を求め、これら２辺により物品の向きを求め、この求めた物品の向きと予め記憶された物品の平面の辺の長さと前記求めた物品のかど部の平面座標により物品を認識すること
   を特徴とする物品位置認識装置。
2. 認識手段は、認識した物品天面上のかど部から物品の２辺を求めることができないとき、予め記憶された物品の短辺を基にした正方形が、そのかど部が物品天面上のかど部と一致し、かつ物品の存在が認識される方向にあるものと仮定して前記正方形の中心座標を求め、この中心座標を移動手段へ出力し、
   前記移動手段はこの入力した中心座標に基づいて物品を移動させること
   を特徴とする請求項１に記載の物品位置認識装置。
3. 認識手段は、求めた２辺により物品の向きを求めることができないとき、予め記憶された物品の短辺を基にした正方形が、求めた２辺に重ねあわせてあるものと仮定してその中心座標を求め、この中心座標を移動手段へ出力し、
   前記移動手段はこの入力した中心座標に基づいて物品を移動させること
   を特徴とする請求項１に記載の物品位置認識装置。
4. 移動手段は、物品を照明手段より遠い方向へ移動すること
   を特徴とする請求項１〜請求項３のいずれかに記載の物品位置認識装置。
5. 移動手段は、パレット上の物品を移載するロボットにより構成されること
   を特徴とする請求項１〜請求項４のいずれかに記載の物品位置認識装置。

Images