JPH11333770A

JPH11333770A - 積荷位置姿勢認識装置

Info

Publication number: JPH11333770A
Application number: JP11069829A
Authority: JP
Inventors: Kohei Nishikawa; 晃平西川; Akira Okamoto; 陽岡本; Rikiya Senda; 力哉先田; Eiji Takahashi; 英二高橋; Naoki Yamamoto; 直樹山本; Masayuki Shigeyoshi; 正之重吉
Original assignee: Kobe Steel Ltd
Current assignee: Kobe Steel Ltd
Priority date: 1998-03-20
Filing date: 1999-03-16
Publication date: 1999-12-07

Abstract

(57)【要約】【課題】貨物２の位置姿勢を高い信頼性で認識すると
共に、認識に要する処理時間を短時間化する。【解決手段】積荷上方に設置されたカメラと、帯状の
光を走査可能なスリット光投光器等からなるセンサヘッ
ドを制御し、積荷最上段およびその下段に配置された貨
物の上面各部の３次元座標を距離データとして求めた
後、距離データの高さ成分から積荷最上段のワーク領域
Ｌを求める。そして、ワーク領域Ｌの輪郭線の形状より
コーナー点３２を検出し、さらに該ワーク領域内部にて
ワーク境界点３４を求める。この後、ワーク領域Ｌのコ
ーナー点３２に貨物のテンプレート３５のコーナー部３
５ｂを一致させた後、テンプレート３５の４辺近傍に存
在する輪郭点３３およびワーク境界点３４を基にして積
荷存在性を求める処理を検出されたコーナー点３２につ
いて行い、最大の積荷存在性を示すテンプレート３５の
位置姿勢および個別ワーク位置姿勢として認識する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、積荷の荷降ろし等
を行わせるハンドリングロボットに積荷の３次元位置姿
勢を指示するための積荷位置姿勢認識装置であって、積
荷に端数が存在したり、荷ズレが存在しても、最上段に
存在する積荷の３次元位置姿勢を視覚センサにより確実
に検出し、ハンドリングロボットに確実な荷降ろし作業
等を実施させることができる積荷位置姿勢認識装置に関
するものである。

【０００２】

【従来の技術】通常、工場からの出荷時においては、多
量の製品を効率良く搬出するため、製品を収容した袋詰
物やダンボール箱等の貨物をパレット上に複数段に積み
上げた後、パレット単位で運搬を行うようになってい
る。また、工場への原材料の入荷時においても、袋詰物
やダンボール箱等の貨物をパレット上に複数段に積み上
げた後、パレット単位で運搬を行うようになっている。
そして、近年においては、パレットへの貨物の積み上げ
・荷降し作業がハンドリングロボットにより自動化され
ることによって、オペレータの作業負担の低減化および
省人化が図られている。

【０００３】ところで、荷降し作業をハンドリングロボ
ットに実施させようとすると、次の荷降し位置となるピ
ック位置とピック角度を、水平座標、鉛直（高さ）座標
およびワーク角度により指定してハンドリングロボット
に指示する必要がある。従って、従来においては、貨物
の立体的な配置状況を認識してピック位置およびピック
角度を指示できるように、下記に示すような積荷位置姿
勢認識方法が提案されている。

【０００４】即ち、特開平３−２３４４９１号公報に
は、図１６に示すように、パレット５２上に積み上げら
れた貨物５１に対して上方からレーザ光５３を線状に照
射し、このレーザ光５３を斜め上方から撮像することに
より貨物５１の高さ位置を求める。この後、貨物５１の
全体を上方から撮像し、撮像画像中における貨物５１の
固有マーク５４の濃淡画像を基本マーク形状との突き合
わせ処理により検出して平面的な配置状況を求めること
によって、貨物５１の立体的な配置状況を認識する方法
が開示されている。

【０００５】また、特開平７−８８７７９１号公報に
は、図１７に示すように、貨物５１の全体を上方から撮
像し、撮像画像中における各貨物５１のエッジ点を検出
し、エッジ点の配置よりワークの２次元配置を認識する
か、あるいは認識対象ワークモデルとして濃淡画像テン
プレートを登録しておき、登録された濃淡画像テンプレ
ートと撮影画像との類似性評価により積荷の平面的な配
置状況を求める。この後、配置状況を基にして決定され
た測定点に超音波信号を送信して各貨物５１の高さ位置
を求めることによって、貨物５１の立体的な配置状況を
認識する方法が開示されている。

【０００６】

【発明が解決しようとする課題】しかしながら、図１６
に示すように、荷の上面に帯状のレーザ光を投光して撮
像を行い、荷上面高さを検出すると共に、別途、物体配
置上面を撮影した濃淡画像から荷の上面に設けた固有マ
ークを検出して物体配置認識を行っているため、計測ス
テージが２カ所となり、大きな設置スペースが必要とい
う課題があった。また、荷の上面に固有マークを必要と
し、固有マークを付加するのに余分なコストを必要とす
る。さらに、検出対象の２次元配置が既知でなければな
らないといった制約があった。

【０００７】また、図１７に示すように、撮像手段によ
り撮像された画像からワークの２次元的な配置を認識
し、その認識結果に基づいて決定された距離計測プラン
に従って距離センサで計測された距離情報を、前記の２
次元配置情報を統合してワークの３次元的な配置を計測
する方法では、撮像手段を用いた計測処理と距離センサ
を用いた計測処理といった２種類の計測を時系列的に行
うことが必要となり、ワークの３次元位置姿勢を認識す
るのに時間がかかるという問題がある。

【０００８】さらに、特開平７−８８７７９１号公報に
おける撮影画像内のエッジ点に基づくワーク２次元配置
認識処理では、個別ワークの境界信号以外の模様やガム
テープなどワーク境界信号と類似した画像信号が存在す
る場合には、撮影画像内で誤ったワーク境界信号が多数
検出等され、画像内の個別ワーク位置姿勢を誤って認識
するという問題がある。

【０００９】また、特開平７−８８７７９１号公報にお
ける濃淡画像テンプレートを用いたワーク２次元配置認
識処理では、積荷とカメラとの距離変化に伴う撮影画像
内でのワークサイズ変化により、撮影画像内でのワーク
２次元配置認識性能が低下するという問題があった。そ
こで、本発明は、貨物５１の配置状況を高い信頼性でも
って認識することができると共に、認識に要する処理時
間を短時間化することができる積荷位置姿勢認識装置を
提供しようとするものである。

【００１０】

【課題を解決するための手段】上記課題を解決するため
に、本発明は、積荷対象物の立体的な配置状況を認識す
る積荷位置姿勢認識装置において、積荷上方に設置され
たカメラと、帯状の光を走査可能なスリット光投光器等
からなるセンサヘッドを制御し、積荷最上段およびその
下段に配置された積荷対象物の上面各部の３次元座標を
距離データとして求める距離データ計測手段と、前記距
離データの高さ成分から積荷最上段のワーク領域を求め
る領域抽出手段と、前記ワーク領域の輪郭線の形状より
コーナー部を検出し、さらに該ワーク領域内部にてワー
ク境界信号を領域内境界部として求める判定部抽出手段
と、前記ワーク領域のコーナー部に積荷対象物のテンプ
レートのコーナー部を一致させた後、該テンプレートの
４辺近傍に存在する輪郭部および領域内境界部を基にし
て積荷存在性を求める処理を検出されたコーナー部につ
いて行い、最大の積荷存在性を示すテンプレートの位置
姿勢を個別ワーク位置姿勢として認識する個別ワーク認
識手段とを有していることを特徴としている。

【００１１】上記の構成によれば、積荷上方にカメラと
帯状の光を走査可能なスリット光投光器からなるセンサ
ヘッドを設置するだけで積荷位置姿勢が計測可能である
ため、図１６に示すような２か所の計測ステージは不要
となり、設置スペースの節約が図れる。また、図１７に
示す方法では、撮像手段を用いた計測と距離センサを用
いた計測を時系列に行う必要があり、計測時間が長くな
るという問題があったが、本発明では前記センサヘッド
による計測のみで積荷上面の３次元データが得られるの
で、計測時間を短縮することが可能である。

【００１２】さらに、本発明は、最上段ワーク領域の輪
郭線の形状を解析し、この輪郭線から個々のワーク角部
に相当するコーナー点を検出し、算出したコーナー点の
位置と方向に、ワークサイズを示す四角形テンプレート
のコーナー点を一致させ、一致させたテンプレートの４
辺近傍に存在するワーク境界信号の出現性より、個別ワ
ークの存在性を評価し、一番存在性が高いテンプレート
位置姿勢を、個別ワーク位置姿勢として認識する。

【００１３】このように、本手法では、ワーク表面の模
様やガムテープなどワーク境界信号と誤り易い最上段ワ
ーク領域内部の情報ではなく、先ず、高さ情報を用いる
ことにより安定してワーク境界と判定できる最上段ワー
ク領域の輪郭線に注目して、最上段ワーク領域内の個別
ワーク識別用テンプレート設置位置を求めると共に、テ
ンプレート設置後の個別ワーク存在性評価においても、
設定したテンプレートの４辺近傍だけでワーク境界信号
の出現性を評価するため、最上段ワーク領域内部にワー
ク表面の模様やガムテープなどに起因する誤り易いワー
ク境界の疑似信号が存在する場合でも、安定して個別ワ
ークの位置姿勢を検出することが可能となる。

【００１４】また、濃淡画像処理で用いられるテンプレ
ートマッチングでは、マッチング対象データ全てに対
し、テンプレートを移動させつつワーク存在性を評価す
るため、大量のデータ処理が必要となり、計算時間が長
くなるという問題があったが、本手法では、最上段ワー
ク領域の輪郭線を解析することにより、テンプレートマ
ッチング計算を行う場所を輪郭線コーナー点のみに限定
しているため、テンプレートマッチング計算量が少なく
なり、計算時間の短縮が図れる。

【００１５】請求項２記載の発明は、請求項１記載の発
明の構成に加えて、前記個別ワーク認識手段が、前記個
別ワーク位置姿勢を認識できない場合に、前記ワーク領
域及び前記コーナー部から該コーナー部の方向を算出
し、該コーナー部の位置及び方向から、ずらし位置・方
向を算出するずらし位置・方向算出手段と、前記ずらし
位置・方向に基づいて、前記積荷をずらすずらし手段と
を有していることを特徴とする。これにより、積荷が互
いに密着してワーク領域内の境界部を求めることができ
ない場合でも、密着した積荷をずらすことによって、積
荷を個別認識できるようになり、積荷の位置姿勢を認識
できる。また、３次元計測を行っているため、積荷高さ
を知ることができ、積荷高さが未知なものについても対
応可能となる。そのため、積荷の最上段から最下段まで
すべての段でずらし動作を実施できる。さらに、積荷の
最上段が図１２（ｃ）に示すように、回転している場合
でも、３次元座標である距離データに基づいてワーク領
域を求めるため、積荷が互いに密着している場合でも、
ずらし動作を実施できる。

【００１６】請求項３記載の発明は、請求項１記載の発
明の構成に加えて、前記個別ワーク認識手段が、前記個
別ワーク位置姿勢を認識できない場合に、前記距離デー
タに基づいて前記積荷をずらすずらし手段を有すること
を特徴とする。これにより、積荷が互いに密着してワー
ク領域内の境界部を求めることができない場合でも、密
着した積荷をずらすことによって、積荷を個別認識でき
るようになり、積荷の位置姿勢を認識できる。

【００１７】

【発明の実施の形態】本発明の実施の形態を図１ないし
図８に基づいて以下に説明する。尚、本説明では、貨物
の荷降し作業の適用について説明するが、本説明におけ
る発明は、貨物の積み上げ作業にも適用可能である。

【００１８】本実施の形態に係る積荷位置姿勢認識装置
は、図１に示すように、パレット１上に積み上げられた
袋状や箱状の貨物２の上方に設置されたセンサヘッド機
構３と、センサヘッド機構３に接続された認識処理制御
盤４とを有している。センサヘッド機構３は、図２にも
示すように、帯状のレーザ光からなるスリット光５を水
平面に拡散させながら出射するスリット光投光器６と、
スリット光投光器６からのスリット光５を貨物２方向に
反射する反射ミラー７と、反射ミラー７の傾斜角度を任
意に変更可能なステッピングモータ８と、貨物２に投影
されたスリット光５等を撮像する近距離用撮像装置９ａ
および遠距離用撮像装置９ｂとを有している。

【００１９】上記の近距離用撮像装置９ａは、広角レン
ズ１０ａと撮像部材１１とを有しており、撮像装置９ａ
に接近した高い位置（段）の撮像時に用いられるように
なっている。一方、遠距離用撮像装置９ｂは、望遠レン
ズ１０ｂと撮像部材１１とを有しており、撮像装置９ｂ
から離隔した低い位置（段）の撮像時に用いられるよう
になっている。これらの撮像装置９ａ・９ｂの広角レン
ズ１０ａおよび望遠レンズ１０ｂは、図３に示すよう
に、撮像方向が鉛直方向（Ｚ方向）となるように設定さ
れている。また、各撮像装置９ａ・９ｂの撮像部材１１
は、レンズ１０を介して貨物２上に投影されたスリット
光５が結像される撮像面１１ａを有しており、撮像面１
１ａは、鉛直方向（Ｚ方向）に対して垂直となるように
設定されている。そして、撮像部材１１の撮像面１１ａ
には、レンズ中心Ｏを中心として点対称に画像が投影さ
れるようになっており、例えばスリット光５を貨物２に
照射して形成された照射線５のＱ₁点、Ｑ₂点、Ｑ₃点
は、それぞれＰ₁点、Ｐ₂点、Ｐ₃点として撮像面１１
ａに結像されるようになっている。尚、図３には記載し
ていないが、レンズ１０前方に干渉フィルタなどの光学
的なバンドパスフィルタを設置することによって、撮像
面１１ａ上にスリット光の像のみを結像させることが可
能である。

【００２０】上記の撮像部材１１は、光量に応じた電荷
を発生させる受光素子部（画素）をＸ方向およびＹ方向
のマトリックス状に複数有しており、これらの受光素子
部の電荷を例えばラスタスキャン形式により電圧出力と
して読み出して画像データとして順に出力するようにな
っている。そして、各撮像装置９ａ・９ｂの撮像部材１
１・１１からの出力信号は、図１に示すように、認識処
理制御盤４に接続されている。

【００２１】認識処理制御盤４は、両撮像部材１１・１
１からの出力信号を切り替える画像データ切り替え器１
９と、画像データ切り替え器１９やスリット光投光器６
等に接続されたＩ／Ｏ部１２ａとを有している。画像デ
ータ切り替え器１９は、各撮像装置９ａ・９ｂの撮像部
材１１・１１からの出力信号を入力する入力端子１９ａ
・１９ｂと、これらの入力端子１９ａ・１９ｂの何れか
一方に切替え可能に接続された出力端子１９ｃと、入力
端子１９ａ・１９ｂおよび出力端子１９ｃ間の接続状態
を切り替える切替え端子１９ｄとを有している。そし
て、出力端子１９ｃおよび切替え端子１９ｄは、Ｉ／Ｏ
部１２ａに接続されており、画像データ切り替え器１９
は、Ｉ／Ｏ部１２ａからの切替え信号が切替え端子１９
ｄに入力されたときに、切替え信号に応じた接続状態と
なることによって、撮像装置９ａ・９ｂから入力される
何れか一方の画像データをＩ／Ｏ部１２ａに出力するよ
うになっている。

【００２２】さらに、認識処理制御盤４は、上述の画像
データ切り替え器１９およびＩ／Ｏ部１２ａの他、Ｉ／
Ｏ部１２ａに信号バス１４を介して接続されたＩ／Ｏ部
１２ｂ、モータ駆動部１３、演算部１６、ＲＡＭ１７、
およびＲＯＭ１８を有している。上記のＲＡＭ１７に
は、撮像部材１１の受光素子部の配列と一致したＸ方向
およびＹ方向のマトリックス状のデータテーブルを有す
るように、画像データ記憶領域１７ａが形成されてい
る。そして、画像データ記憶領域１７ａには、Ｉ／Ｏ部
１２ａを介して入力された上述の撮像装置９ａ・９ｂか
らの画像データが格納されるようになっている。さら
に、ＲＡＭ１７には、距離データ記憶領域１７ｂが形成
されており、距離データ記憶領域１７ｂには、貨物２上
面の３次元座標の距離データが格納されるようになって
いる。

【００２３】一方、ＲＯＭ１８には、ミラー角度データ
等の各種の処理データが格納されていると共に、積荷位
置姿勢認識ルーチン等の各種のプログラムが格納されて
いる。上記のミラー角度データは、反射ミラー７の傾斜
角度を設定して画像データを得る際に使用されるように
なっている。また、積荷位置姿勢認識ルーチンは、図４
に示すように、３次元計測処理（Ｓ１〜Ｓ５）、最上段
ワーク領域抽出処理（Ｓ６）、境界部検出処理（Ｓ
７）、コーナー部抽出処理（Ｓ８）、個別ワーク認識処
理（Ｓ９）等の処理ルーチンを備えており、これの処理
ルーチンにより貨物２の配置状況を認識するようになっ
ている。

【００２４】上記の構成を有した認識処理制御盤４は、
Ｉ／Ｏ部１２ｂを介してロボット制御盤２０に接続され
ている。ロボット制御盤２０は、図２に示すように、パ
レット１の近傍に設置されたハンドリングロボット２１
に接続されている。また、ハンドリングロボット２１の
近傍には、貨物２を移送するローラコンベア２２等が配
設されている。そして、ロボット制御盤２０は、認識処
理制御盤４から認識データを受信したときに、次の貨物
２のピッキング位置を決定し、このピッキング位置に存
在する貨物２をローラコンベア２２等に移載するよう
に、ハンドリングロボット２１に対して指令するように
なっている。

【００２５】上記の構成において、積荷位置姿勢認識装
置の動作を図４のフローチャートに基づいて説明する。
図１および図２に示すように、パレット１がセンサヘッ
ド機構３の下方の所定位置に搬入されると、ロボット制
御盤２０から認識処理制御盤４に対して計測を開始する
ように指示信号が送信される。そして、この指示信号の
入力を待っている認識処理制御盤４が指示信号を受信す
ると（Ｓ１）、パレット１上に積み上げられた貨物２上
面の距離データを取得するように３次元計測処理を実行
する。

【００２６】即ち、スリット光投光器６からスリット光
５を出射させるように、スリット光投光器６に対して制
御信号を出力する。また、ステッピングモータ８を初期
スリット光投光角度に復帰させるように、ステッピング
モータ８に対してモータ駆動部１３から駆動出力を出力
させる。この後、ミラー角度データをＲＯＭ１８から読
み出し、ミラー角度データに対応する反射ミラー７の傾
斜角度となるように、モータ駆動部１３からパルス状の
駆動出力をステッピングモータ８に出力させることによ
って、ステッピングモータ８を回転駆動させる（Ｓ
２）。

【００２７】ステッピングモータ８の回転駆動により反
射ミラー７が所定の傾斜角度に設定されると、スリット
光投光器６から帯状に拡散しながら出射されたスリット
光５は、反射ミラー７からパレット１方向に反射し、パ
レット１やパレット１上に積み上げられた積荷最上段お
よびその下段の貨物２の両端にかけて線状に投射され
る。そして、このようにしてスリット光５が投射された
パレット１や貨物２の全体が近距離用撮像装置９ａおよ
び遠距離用撮像装置９ｂにより撮像されることになる
（Ｓ３）。

【００２８】次に、画像データ切り替え器１９を切り替
えることによって、積荷最上段の貨物２の撮影に最適な
撮像装置９ａ・９ｂを選択する。そして、選択した撮像
装置９ａ・９ｂからの画像データをＩ／Ｏ部１２ａを介
して認識処理制御盤４に取り込み、ＲＡＭ１７の画像デ
ータ記憶領域１７ａに格納する。この後、図３に示すよ
うに、画像データ記憶領域１７ａの画像データ中からス
リット光５の投光ライン５ａを特定し、この投光ライン
５ａの各点（例えばＰ₁・Ｐ₂・Ｐ₃）とレンズ１０の
中心点０とを結ぶ視線直線（例えばＬ₁・Ｌ₂・Ｌ₃）
を求める。そして、上述の反射ミラー７の傾斜角度を設
定したミラー角度データを基にしてスリット光５のスリ
ット光平面Ｓを求めた後、このスリット光平面Ｓと視線
直線との交点（例えばＱ₁・Ｑ₂・Ｑ₃）の３次元位置
を距離データとして求め、図１の距離データ記憶領域１
７ｂに順に格納する（Ｓ４）。

【００２９】上記のようにして画像データ記憶領域１７
ａ中の画像データに基づいてスリット光５による投光ラ
イン５ａの一連の距離データを求めると、これらの距離
データが最終の投光ライン５ａに基づいて得られたもの
であるか否かを判定する（Ｓ５）。そして、最終の投光
ライン５ａでない場合には（Ｓ５，ＮＯ）、次のミラー
角度データをＲＯＭ１８から読み出し、このミラー角度
データに対応するミラー傾斜角度におけるスリット光投
光位置の距離データを求める（Ｓ２〜Ｓ５）。一方、最
終の投光ライン５ａである場合には（Ｓ５，ＹＥＳ）、
図５に示すように、所定数の投光ライン５ａにおける距
離データを得たと判断し、Ｓ６の最上段ワーク領域抽出
処理を実行する。

【００３０】即ち、距離データ記憶領域１７ｂから距離
データの高さ成分（Ｚ軸成分）を取り出し、最も大きな
距離データを最高高さＨｍａｘとする。そして、この最
高高さＨｍａｘから例えば貨物２の半分の高さΔｈを減
算することによって、パレット１の上面から積荷最上段
の貨物２の中間の高さ位置までの高さ閾値Ｈｔｈを求め
る。この後、距離データ記憶領域１７ｂに格納された距
離データの高さ成分（Ｚ軸成分）と高さ閾値Ｈｔｈとを
比較し、高さ閾値Ｈｔｈよりも大きな距離データの高さ
成分（Ｚ軸成分）を抽出することによって、積荷最上段
となる高さ成分（Ｚ軸成分）を含む距離データをワーク
領域Ｌとして求める（Ｓ６）。

【００３１】この後、図６に示すように、ワーク領域Ｌ
に含まれる全ての投光ライン５ａの集合を解析し、高さ
変化が存在する輪郭点３３を決定すると共に、投光ライ
ン５ａの明るさ変化位置や形状変化位置を検出し、これ
らの位置をワーク領域Ｌ内のワーク境界点３４として決
定する。尚、投光ライン５ａの明るさ変化位置や形状変
化位置をワーク境界点３４として決定できる理由は、隣
接する貨物２間の境界部においてはスリット光５が反射
しないため、投光ライン５ａの途切れによる明るさ変化
が発生したり、或いは隣接する貨物２間での高さの相違
による投光ライン５ａの形状変化が発生するため、これ
らの変化が貨物２間の境界を示していることになるから
である（Ｓ７）。

【００３２】そして、上記のようにして輪郭点３３を求
めると、この輪郭点３３をワーク領域Ｌ内の投光ライン
５ａ集合の配置関係を解析しつつ、例えば時計まわりに
追跡することによりワーク領域Ｌの輪郭線３１を求め
る。この後、輪郭線３１の曲折部分を抽出し、曲折部分
の夾角側がワーク領域Ｌ側となる曲折部分をコーナー点
３２として決定する（Ｓ８）。

【００３３】次に、貨物２のサイズおよび形状に対応し
たテンプレート３５のコーナー部３５ｂをＳ８で求めた
コーナー点３２に一致させると共に、テンプレート３５
のコーナー部３５ｂを挟む２辺３５ａ・３５ａをワーク
領域Ｌの輪郭線３１に一致させる。この後、４辺３５ａ
の近傍にウインドウ領域３６を設定し、これらのウイン
ドウ領域３６内に存在する輪郭点３３およびワーク境界
点３４の総数と各ウインドウ内に存在するスリット光の
本数の比率を求めることによって、貨物２が存在する可
能性の程度を示す積荷存在性を得る。尚、一つのコーナ
ー点３２に対してテンプレート３５を一致させる形態
は、図７と図８との２種類が考えられる。従って、上記
の個別ワークの積荷存在性は、一つのコーナー点３２に
対して２種類の形態のものが得られることになる。そし
て、このような積荷存在性を全てのコーナー点３２に対
して求めた後、最も高い積荷存在性を示すテンプレート
３５の姿勢（位置および方向）を貨物２の位置姿勢とし
て認識する（Ｓ９）。

【００３４】次に、図２に示すように、認識結果をロボ
ット制御盤２０に出力する。ロボット制御盤２０は、認
識結果を基にして次のピック位置を特定し、ハンドリン
グロボット２１に対して指令することによって、ピック
位置の貨物２をローラコンベア２２等に移載させる（Ｓ
１０）。

【００３５】以上のように、本実施形態における積荷位
置姿勢認識装置は、図１に示すように、積み上げられた
貨物２（積荷対象物）の立体的な配置状況を認識するも
のであり、積荷上方に設置されたカメラと、帯状の光を
走査可能なスリット光投光器等からなるセンサヘッド機
構３を制御し、積荷最上段およびその下段に配置された
貨物２の上面各部の３次元座標を距離データとして求め
る距離データ計測手段（センサヘッド機構３、図４のＳ
２〜Ｓ５）と、距離データの高さ成分から積荷最上段の
ワーク領域Ｌを求める領域抽出手段（図４のＳ６）と、
ワーク領域Ｌの輪郭線３１の形状よりコーナー点３２
（コーナー部）を検出し、さらに該ワーク領域Ｌ内部に
てワーク境界信号をワーク境界点３４（領域内境界部）
として求める判定部抽出手段（図４のＳ７〜Ｓ８）と、
ワーク領域Ｌのコーナー点３２に貨物２のテンプレート
３５のコーナー部３５ｂを一致させた後、テンプレート
３５の４辺近傍に存在する輪郭点３３およびワーク境界
点３４を基にして積荷存在性を求める処理を検出された
コーナー点３２について行い、最大の積荷存在性を示す
テンプレート３５の位置姿勢を個別ワーク位置姿勢とし
て認識する個別ワーク認識手段（図４のＳ９）とを有し
ている。

【００３６】上記の構成によれば、積荷上方にカメラと
帯状の光を走査可能なスリット光投光器からなるセンサ
ヘッド機構３を設置するだけで積荷位置姿勢が計測可能
であるため、図９に示すような２か所の計測ステージは
不要となり、設置スペースの節約が図れる。また、図１
０に示す方法では、撮像手段を用いた計測と距離センサ
を用いた計測を時系列に行う必要があり、計測時間が長
くなるという問題があったが、本発明では前記センサヘ
ッド機構３による計測のみで積荷上面の３次元データが
得られるので、計測時間を短縮することが可能である。

【００３７】さらに、本発明は、最上段ワーク領域の輪
郭線３１の形状を解析し、この輪郭線３１から個々のワ
ーク角部に相当するコーナー点３２を検出し、算出した
コーナー点３２の位置と方向に、ワークサイズを示す四
角形テンプレート３５のコーナー部３５ｂを一致させ、
一致させたテンプレート３５の４辺近傍に存在するワー
ク境界信号の出現性より、個別ワークの存在性を評価
し、一番存在性が高いテンプレート位置姿勢を、個別ワ
ーク位置姿勢として認識する。

【００３８】このように、本手法では、ワーク表面の模
様やガムテープなどワーク境界信号と誤り易い最上段ワ
ーク領域内部の情報ではなく、先ず、高さ情報を用いる
ことにより安定してワーク境界と判定できる最上段ワー
ク領域の輪郭線３１に注目して、最上段のワーク領域Ｌ
内の個別ワーク識別用テンプレート設置位置を求めると
共に、テンプレート設置後の個別ワーク存在性評価にお
いても、設定したテンプレート３５の４辺近傍だけでワ
ーク境界信号の出現性を評価するため、最上段のワーク
領域Ｌ内部にワーク表面の模様やガムテープなどに起因
する誤り易いワーク境界の疑似信号が存在する場合で
も、安定して個別ワークの位置姿勢を検出することが可
能となる。

【００３９】また、濃淡画像処理で用いられるテンプレ
ートマッチングでは、マッチング対象データ全てに対
し、テンプレート３５を移動させつつワーク存在性を評
価するため、大量のデータ処理が必要となり、計算時間
が長くなるという問題があったが、本手法では、最上段
のワーク領域Ｌの輪郭線３１を解析することにより、テ
ンプレートマッチング計算を行う場所を輪郭線３１のコ
ーナー点３２のみに限定しているため、テンプレートマ
ッチング計算量が少なくなり、計算時間の短縮が図れ
る。

【００４０】以上、本発明を好適な実施の形態に基づい
て説明したが、本発明はその趣旨を逸脱しない範囲にお
いて変更が可能である。

【００４１】即ち、本実施形態の積荷位置姿勢認識手段
は、図７に示すように、ウインドウ領域３６内に存在す
る輪郭点３３およびワーク境界点３４の総数を求めるこ
とにより積荷存在性を得るようになっているが、これに
限定されることもない。

【００４２】次に、別の実施形態を図９に基づいて説明
する。図１の積荷位置姿勢認識装置と異なる点は、ずら
し位置・方向算出手段（図１１のＳ１１〜Ｓ１２）を有
する点と、ずらし手段を構成するハンドリングロボット
２１により積み上げられた貨物２をずらして間隙をつく
る点である。これにより、図９の積荷位置姿勢認識装置
は、ずらし処理（図１１のＳ１３）により貨物２をずら
すようにハンドリングロボット２１を制御する。例え
ば、図１２に示すように、貨物２が密着している場合、
図１の積荷位置認識装置では、投光ラインの明るさ変化
や形状変化を検出できない場合があり、貨物２を認識で
きなくなることがある。これに対して、図９の積荷位置
姿勢認識装置は、貨物２が密着しているような場合で
も、貨物２をずらすことにより積荷位置姿勢を認識でき
る装置である。

【００４３】ずらし処理（Ｓ１１〜Ｓ１３）は、図９に
示すように、ＲＯＭ１８に格納されている積荷位置姿勢
認識ルーチンに含まれており、密着した貨物２のずらす
位置・方向を認識するようになっている。尚、３次元計
測処理（Ｓ１〜Ｓ５）、その他の処理（Ｓ６〜Ｓ９、Ｓ
１４）は図４の積荷位置姿勢認識ルーチンと同じであ
る。

【００４４】上記の構成に基づいて、積荷位置姿勢認識
装置の動作を図１０及び図１１のフローチャートに基づ
いて説明する。尚、Ｓ１〜Ｓ５の３次元計測処理につい
ては、図４のフローチャートの説明と同様であるので、
説明を省略する。

【００４５】Ｓ６において、図１２（ａ）及び図１３に
示すように、最上段ワーク領域内の距離データに含まれ
る全ての投光ライン５ａの集合を解析し、高さ変化が存
在する輪郭点３３を決定する。次に、投光ライン５ａの
明るさ変化位置や形状変化位置からワーク領域内のワー
ク境界点３４（図６参照）を検出する（Ｓ７）。

【００４６】輪郭点３３及びワーク境界点３４（図６参
照）を検出すると、この輪郭点３３をワーク領域Ｌ内の
投光ライン５ａ集合の配置関係を解析しつつ、例えば、
時計回りに追跡することによりワーク領域Ｌの輪郭線３
１を求める。この後、輪郭線３１の曲折部分を抽出し、
曲折部分の夾角側がワーク領域Ｌ側となる曲折部分３２
をコーナー点（Ｘ、Ｙ、Ｚ）として決定する（Ｓ８）。
コーナー点（Ｘ、Ｙ、Ｚ）を抽出すると、図４のＳ９と
同様に、貨物２のサイズ及び形状に対応したテンプレー
ト３５をコーナー点（Ｘ、Ｙ、Ｚ）に一致させて、積荷
存在性を求める（Ｓ９）。

【００４７】全てのコーナー点（Ｘ、Ｙ、Ｚ）に対して
積荷存在性を求めると、個別ワークを認識できるか判定
する（Ｓ１０）。図１２（ａ）に示すように、貨物２が
互いに密着しており、明るさ変化位置や形状変化位置を
検出できない場合には、ワーク境界点が検出されていな
いので、個別ワークを認識できず（Ｓ１０、ＮＯ）、ず
らし処理サブルーチンが実行される。

【００４８】次に、ＲＡＭ１７ｂの距離データ記憶領域
（図９参照）から距離データを読み出し、Ｓ６と同様に
積荷最上段となる高さ成分（Ｚ軸成分）を含む距離デー
タ（ワーク領域Ｌ）を算出する。ワーク領域Ｌを算出す
ると、図１３及び図１４に示すように、ワーク領域Ｌの
点列をＳ８と同様に解析して、コーナーの位置（Ｘ、
Ｙ、Ｚ）と方向（θ）を算出する（Ｓ１１）。ここで、
コーナーの方向とは、内側に入る方向であり、ＸＹ平面
におけるＸ軸とのなす角度である。例えば、時計まわり
に外形輪郭を構成する距離データ点列を追跡することに
よりワーク領域Ｌの輪郭線３１を求め、この後、輪郭線
３１の曲折部分の夾角側がワーク領域内となる曲折部分
３２をコーナー点（Ｘ、Ｙ、Ｚ）として決定する。

【００４９】次に、ずらし位置・方向を算出する（Ｓ１
２）。複数コーナーが抽出されるので、その中から、ず
らすコーナーを選択する。例えば、図１５に示すよう
に、できるだけずらすための動作時間を短縮させるため
に、ハンドリングロボット２１から最も近いコーナーを
選択する。選択されたコーナーの位置を（Ｃｘ、Ｃｙ、
Ｃｚ）とし、コーナーの方向を、ＸＹ平面におけるＸ軸
とのなす角度θとしたとき、コーナー（Ｃｘ、Ｃｙ、Ｃ
ｚ）から所定の長さＬｅｎだけ入ったところをずらす位
置（Ｐｘ、Ｐｙ、Ｐｚ）とする。今、ワーク長さをＬ、
幅をＷとしたとき、Ｌｅｎ＝ｍｉｎ（Ｌ、Ｗ）／２とな
り、ずらす位置（Ｐｘ、Ｐｙ、Ｐｚ）は、数１のように
算出される。

【００５０】

【数１】

【００５１】また、ずらす方向は、コーナーの方向θと
逆方向（つまり、ワークコーナーから外側の方向）なの
で、数２のように算出される。

【００５２】

【数２】

【００５３】ずらす位置・方向が算出されると、図９に
示すように、貨物２のずらす位置・方向をロボット制御
盤２０に出力する。ロボット制御盤２０は、貨物２のず
らす位置・方向に基づいてハンドリングロボット２１に
対して指令することによって、貨物２をずらすように処
理させる（Ｓ１３）。ハンドリングロボット２１は、ロ
ボット制御盤２０から指令を受けると、ずらし位置（Ｐ
ｘ、Ｐｙ、Ｐｚ）でワークをハンドリングし、外方向
（Ｐθ）に、貨物２が落ちない程度にワークを動かし、
図５に示すように、ずらした貨物２と、それ以外の貨物
２の間に間隙をつくるようになっている。このように、
間隙ができると、間隙部においてはスリット光５が反射
しないため、投光ライン５ａの途切れによる明るさ変化
が発生したり、或いは隣接する貨物２間での高さの相違
による投光ライン５ａの形状変化が発生し、これらの変
化から貨物２間の境界を検出できるようになる。

【００５４】ずらし処理が完了すると、Ｓ２へ移行し、
最終の投光ラインを検出するまで新たに３次元計測処理
（Ｓ２〜Ｓ５）を行う。そして、最上段ワーク領域抽出
処理（Ｓ６）を行い、輪郭点を求め、投光ライン５ａの
明るさ変化位置や形状変化位置からワーク領域Ｌ内のワ
ーク境界点３４（図６参照）を検出する（Ｓ７）。輪郭
点及びワーク境界点からコーナー点を抽出する（Ｓ
８）。コーナー点を抽出すると、図４のＳ９と同様に、
貨物２のサイズ及び形状に対応したテンプレートをコー
ナー点に一致させて、積荷存在性を求める（Ｓ９）。個
別に貨物２の位置姿勢を認識できると（Ｓ１０、ＹＥ
Ｓ）、図９に示すように、認識結果をロボット制御盤２
０に出力する。ロボット制御盤２０は、認識結果を基に
してハンドリングロボット２１に対して指令することに
よって（Ｓ１４）、ピック位置の貨物２をローラコンベ
ア２２等に移載させる。

【００５５】尚、最上段ワーク領域は、距離データ記憶
領域１７ｂに格納された距離データの高さ成分（Ｚ軸成
分）と高さ閾値Ｈｔｈとを比較して求められるため、図
１２（ｂ）のように端数が存在する場合や図１２（ｃ）
のように最上段の貨物２が回転している場合であって
も、最上段ワーク領域は、下段ワーク領域と区別して認
識される。このため、図１２（ｂ）及び（ｃ）に示すよ
うに、端数が存在する場合でも、ずらし処理（Ｓ１１〜
Ｓ１３）を実施できる。

【００５６】尚、Ｓ１１では、輪郭線３１からコーナー
点（Ｘ、Ｙ、Ｚ）を算出しているが、Ｓ８で既にコーナ
ー点（Ｘ、Ｙ、Ｚ）を検出済であるため、コーナー方向
のみ算出するように処理してもよい。この場合、ＲＡＭ
１７にコーナー点記憶領域を設け、Ｓ８で一旦コーナー
点をコーナー点記憶領域に格納し、再度、Ｓ１１でコー
ナー点記憶領域からコーナー点を読み出すようにすれば
よい。

【００５７】尚、本実施形態に係るずらし処理（Ｓ１１
〜Ｓ１３）は、相互に密着した貨物２をずらすことによ
り貨物２間に間隙をつくるものであればよいので、ずら
し手段（Ｓ１３）は、コーナー部の位置及び方向（Ｓ１
１）からずらし位置・方向を算出するずらし位置・方向
算出手段（Ｓ１２）に基づいて貨物をずらすものに限定
されない。従って、ずらし手段は、距離データに基づい
て貨物をずらすものであってもよい。

【００５８】

【発明の効果】以上のように、請求項１記載の発明は、
積荷対象物の立体的な配置状況を認識する積荷位置姿勢
認識装置において、積荷上方に設置されたカメラと、帯
状の光を走査可能なスリット光投光器等からなるセンサ
ヘッドを制御し、積荷最上段およびその下段に配置され
た積荷対象物の上面各部の３次元座標を距離データとし
て求める距離データ計測手段と、前記距離データの高さ
成分から積荷最上段のワーク領域を求める領域抽出手段
と、前記ワーク領域の輪郭線の形状よりコーナー部を検
出し、さらに該ワーク領域内部にてワーク境界信号を領
域内境界部として求める判定部抽出手段と、前記ワーク
領域のコーナー部に積荷対象物のテンプレートのコーナ
ー部を一致させた後、該テンプレートの４辺近傍に存在
する輪郭部および領域内境界部を基にして積荷存在性を
求める処理を検出されたコーナー部について行い、最大
の積荷存在性を示すテンプレートの位置姿勢を個別ワー
ク位置姿勢として認識する個別ワーク認識手段とを有し
ている構成である。

【００５９】上記の構成によれば、積荷上方にカメラと
帯状の光を走査可能なスリット光投光器からなるセンサ
ヘッドを設置するだけで積荷位置姿勢が計測可能である
ため、図９に示すような２か所の計測ステージは不要と
なり、設置スペースの節約が図れる。また、図１０に示
す方法では、撮像手段を用いた計測と距離センサを用い
た計測を時系列に行う必要があり、計測時間が長くなる
という問題があったが、本発明では前記センサヘッドに
よる計測のみで積荷上面の３次元データが得られるの
で、計測時間を短縮することが可能であるという効果を
奏する。

【００６０】さらに、本発明は、最上段ワーク領域の輪
郭線の形状を解析し、この輪郭線から個々のワーク角部
に相当するコーナー点を検出し、算出したコーナー点の
位置と方向に、ワークサイズを示す四角形テンプレート
のコーナー点を一致させ、一致させたテンプレートの４
辺近傍に存在するワーク境界信号の出現性より、個別ワ
ークの存在性を評価し、一番存在性が高いテンプレート
位置姿勢を、個別ワーク位置姿勢として認識する。

【００６１】このように、本手法では、ワーク表面の模
様やガムテープなどワーク境界信号と誤り易い最上段ワ
ーク領域内部の情報ではなく、先ず、高さ情報を用いる
ことにより安定してワーク境界と判定できる最上段ワー
ク領域の輪郭線に注目して、最上段ワーク領域内の個別
ワーク識別用テンプレート設置位置を求めると共に、テ
ンプレート設置後の個別ワーク存在性評価においても、
設定したテンプレートの４辺近傍だけでワーク境界信号
の出現性を評価するため、最上段ワーク領域内部にワー
ク表面の模様やガムテープなどに起因する誤り易いワー
ク境界の疑似信号が存在する場合でも、安定して個別ワ
ークの位置姿勢を検出することが可能となるという効果
を奏する。

【００６２】また、濃淡画像処理で用いられるテンプレ
ートマッチングでは、マッチング対象データ全てに対
し、テンプレートを移動させつつワーク存在性を評価す
るため、大量のデータ処理が必要となり、計算時間が長
くなるという問題があったが、本手法では、最上段ワー
ク領域の輪郭線を解析することにより、テンプレートマ
ッチング計算を行う場所を輪郭線コーナー点のみに限定
しているため、テンプレートマッチング計算量が少なく
なり、計算時間の短縮が図れるという効果を奏する。

【００６３】請求項２記載の発明は、請求項１記載の発
明の効果に加えて、積荷が互いに密着してワーク領域内
の境界部を求めることができない場合でも、密着した積
荷をずらし手段によりずらすことによって、再計測する
と、個別認識できるようになり、積荷の位置姿勢を認識
できるという効果を奏する。また、積荷の最上段が図１
２（ｃ）に示すように、回転している場合でも、個別に
認識できるようになり、積荷の位置姿勢を認識できる。
さらに、３次元計測を行っているため、積荷高さを知る
ことができ、積荷高さが未知なものについても対応可能
となる。そのため、ワーク最上段から最下段まですべて
の段でずらし動作を実施できるという効果を奏する。

【００６４】請求項３記載の発明は、請求項１記載の発
明の効果に加えて、積荷が互いに密着してワーク領域内
の境界部を求めることができない場合でも、密着した積
荷をずらし手段によりずらすことによって、個別認識で
きるようになり、積荷の位置姿勢を認識できるという効
果を奏する。

【図面の簡単な説明】

【図１】認識処理制御盤のブロック図である。

【図２】荷降ろしする状態を示す説明図である。

【図３】距離データの算出原理を示す説明図である。

【図４】積荷位置姿勢認識ルーチンのフローチャートで
ある。

【図５】投光ラインの状態を示す説明図である。

【図６】ワーク領域の状態を示す説明図である。

【図７】テンプレートとワーク領域との関係を示す説明
図である。

【図８】テンプレートとワーク領域との関係を示す説明
図である。

【図９】本実施形態に係る他の認識処理制御盤のブロッ
ク図である。

【図１０】本実施形態に係る他の積荷位置姿勢認識ルー
チンのフローチャートである。

【図１１】ずらし処理サブルーチンのフローチャートで
ある。

【図１２】積荷の状態を説明する図である。

【図１３】積荷の外形輪郭を構成する距離データ点列を
説明する図である。

【図１４】積荷のコーナー部を説明する図である。

【図１５】積荷のずらし位置を説明する図である。

【図１６】従来の認識処理により貨物を移載する状態を
示す説明図である。

【図１７】従来の認識処理により貨物を移載する状態を
示す説明図である。

【符号の説明】

１パレット２貨物３センサヘッド機構４認識処理制御盤５スリット光６スリット光投光器７反射ミラー８ステッピングモータ９ａ近距離用撮像装置９ｂ遠距離用撮像装置１１撮像部材１３モータ駆動部１４信号バス１６演算部１７ＲＡＭ１８ＲＯＭ１９画像データ切り替え器２０ロボット制御盤２１ハンドリングロボット２２ローラコンベア３１輪郭線３２コーナー点３３輪郭点３４ワーク境界点３５テンプレート３６ウインドウ領域

───────────────────────────────────────────────────── フロントページの続き (72)発明者高橋英二兵庫県神戸市西区高塚台１丁目５番５号株式会社神戸製鋼所神戸総合技術研究所内 (72)発明者山本直樹兵庫県神戸市西区高塚台１丁目５番５号株式会社神戸製鋼所神戸総合技術研究所内 (72)発明者重吉正之愛知県豊橋市三弥町字中原１番地２株式会社神戸製鋼所豊橋ＦＡ・ロボットセンター内

Claims

【特許請求の範囲】

【請求項１】積荷対象物の立体的な配置状況を認識す
る積荷位置姿勢認識装置において、積荷上方に設置されたカメラと、帯状の光を走査可能な
スリット光投光器等からなるセンサヘッドを制御し、積
荷最上段およびその下段に配置された積荷対象物の上面
各部の３次元座標を距離データとして求める距離データ
計測手段と、前記距離データの高さ成分から積荷最上段のワーク領域
を求める領域抽出手段と、前記ワーク領域の輪郭線の形状よりコーナー部を検出
し、さらに該ワーク領域内部にてワーク境界信号を領域
内境界部として求める判定部抽出手段と、前記ワーク領域のコーナー部に積荷対象物のテンプレー
トのコーナー部を一致させた後、該テンプレートの４辺
近傍に存在する輪郭部および領域内境界部を基にして積
荷存在性を求める処理を検出されたコーナー部について
行い、最大の積荷存在性を示すテンプレートの位置姿勢
を個別ワーク位置姿勢として認識する個別ワーク認識手
段とを有していることを特徴とする積荷位置姿勢認識装
置。
【請求項２】前記個別ワーク認識手段が、前記個別ワ
ーク位置姿勢を認識できない場合に、前記ワーク領域及
び前記コーナー部から該コーナー部の方向を算出し、該
コーナー部の位置及び方向から、ずらし位置・方向を算
出するずらし位置・方向算出手段と、前記ずらし位置・方向に基づいて、前記積荷をずらすず
らし手段と、を有していることを特徴とする請求項１記
載の積荷位置姿勢認識装置。
【請求項３】前記個別ワーク認識手段が、前記個別ワ
ーク位置姿勢を認識できない場合に、前記距離データに
基づいて前記積荷をずらすずらし手段を有することを特
徴とする請求項１記載の積荷位置姿勢認識装置。