JPH09255158A

JPH09255158A - 物体配置認識装置

Info

Publication number: JPH09255158A
Application number: JP9326496A
Authority: JP
Inventors: Kohei Nishikawa; 晃平西川; Akira Okamoto; 陽岡本; Ko Sano; 香佐野
Original assignee: Kobe Steel Ltd
Current assignee: Kobe Steel Ltd
Priority date: 1996-03-22
Filing date: 1996-03-22
Publication date: 1997-09-30

Abstract

(57)【要約】【課題】貨物２の配置状況を高い信頼性でもって認識
する。【解決手段】積荷最上段およびその下段の貨物２の配
置パターンを全ての組み合わせについて有し、これら配
置パターンで配置されたときの貨物２の上面各部の３次
元座標を形状モデルや高さ分布の基準距離データとして
有したＲＯＭ１８と、積荷最上段およびその下段に配置
された貨物２の上面各部の３次元座標を距離データとし
て求めるセンサヘッド機構３等と、センサヘッド機構３
等により求められた距離データと配置パターンの基準距
離データとの類似度を求め、最大の類似度を示す配置パ
ターンを現在の配置状況として認識する認識処理ルーチ
ンとを有している構成である。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、パレット等の荷台
上に載置された袋詰物やダンボール箱等の貨物の立体的
な配置状況を認識する物体配置認識装置に関するもので
ある。

【０００２】

【従来の技術】通常、工場からの出荷時においては、多
量の製品を効率良く搬出するため、製品を収容した袋詰
物やダンボール箱等の貨物をパレット上に複数段に積み
上げた後、パレット単位で運搬を行うようになってい
る。また、工場への原材料の入荷時においても、袋詰物
やダンボール箱等の貨物をパレット上に複数段に積み上
げた後、パレット単位で運搬を行うようになっている。
そして、近年においては、パレットへの貨物の積み上げ
・荷降し作業がハンドリングロボットにより自動化され
ることによって、オペレータの作業負担の低減化および
省人化が図られている。

【０００３】ところで、積み上げ・荷降し作業をハンド
リングロボットに実施させようとすると、次の積み上げ
位置となるプレース位置、或いは次の荷降し位置となる
ピック位置を水平座標および鉛直（高さ）座標により指
定してハンドリングロボットに指示する必要があるた
め、従来においては、貨物の立体的な配置状況を認識し
てプレース位置或いはピック位置を指示できるように、
下記に示すような物体配置認識方法が提案されている。

【０００４】即ち、特開平３−２３４４９１号公報に
は、図１５に示すように、パレット５２上に積み上げら
れた貨物５１に対して上方からレーザ光５３を線状に照
射し、このレーザ光５３を斜め上方から撮像することに
より貨物５１の高さ位置を求めた後、貨物５１の全体を
上方から撮像し、撮像画像中における貨物５１の固有マ
ーク５４の濃淡画像を基本マーク形状との突き合わせ処
理により個々に検出して平面的な配置状況を求めること
によって、貨物５１の立体的な配置状況を認識する方法
が開示されている。

【０００５】また、特開平７−８８７７９１号公報に
は、図１６に示すように、貨物５１の全体を上方から撮
像し、撮像画像中における各貨物５１の濃淡画像を基本
ワーク形状との突き合わせ処理により個々に検出して平
面的な配置状況を求めた後、この配置状況を基にして決
定された測定点に超音波信号を送信して各貨物５１の高
さ位置を求めることによって、貨物５１の立体的な配置
状況を認識する方法が開示されている。

【０００６】

【発明を解決しようとする課題】しかしながら、上記従
来のように、撮像画像中に含まれた固有マーク５４や貨
物５１を個々に濃淡画像処理により検出しながら配置状
況を求める方法では、例えば貨物５１に付された模様や
貨物５１の変形、照明等の影響により一部の貨物５１の
配置位置を誤認した場合、この誤認した認識結果を基に
して全体の配置状況を求めることになるため、得られた
配置状況の信頼性が低いものになるという問題がある。

【０００７】そこで、本発明は、貨物５１の配置状況を
高い信頼性でもって認識することができる物体配置認識
装置を提供しようとするものである。

【０００８】

【課題を解決するための手段】上記課題を解決するため
に、請求項１の発明は、平面的に配置して積み上げられ
た積荷対象物の立体的な配置状況を認識する物体配置認
識装置において、積荷最上段およびその下段の積荷対象
物の配置パターンを全ての組み合わせについて有し、こ
れら配置パターンで配置されたときの積荷対象物の上面
各部の３次元座標を基準距離データとして有した配置パ
ターン候補記憶手段と、積荷最上段およびその下段に配
置された積荷対象物の上面各部の３次元座標を距離デー
タとして求める距離データ計測手段と、前記距離データ
計測手段により求められた距離データと、前記配置パタ
ーンの基準距離データとの類似度を求め、最大の類似度
を示す配置パターンを現在の配置状況として認識する配
置状況認識手段とを有していることを特徴としている。
これにより、従来のように積荷対象物を個々に濃淡画像
処理により検出しながら配置状況を求めた場合には、貨
物表面の模様や周囲の明るさ変化等により生じた一部の
認識結果の誤りが全体の配置状況の認識結果の信頼性を
低下させることになるが、本発明のように積荷対象物全
体の距離データと配置パターンの基準距離データとの類
似度を求めて、最大の類似度の配置パターンを配置状況
として認識するものであれば、貨物表面の模様や周囲の
明るさ変化の影響を受けにくく、且つ距離データの一部
に欠落等の誤差要因が含まれていても、この誤差要因が
全体的な類似度の算出時に吸収されるため、配置状況の
認識結果を高い信頼性で得ることができる。

【０００９】請求項２の発明は、請求項１記載の物体配
置認識装置であって、前記基準距離データは、前記配置
パターンで配置されたときの各積荷対象物の上面形状を
示す形状モデルからなることを特徴としている。これに
より、積荷対象物の形状モデルを予め求めておき、この
形状モデルを距離データに当てはめることより物体配置
を認識するため、袋詰物のように各貨物間の境界が明確
でない場合でも、物体配置を認識することが可能とな
る。また、複数の貨物がパレット上の同一段に配置され
ている場合でも、各貨物の位置、姿勢を認識することが
可能となる。

【００１０】請求項３の発明は、請求項１記載の物体配
置認識装置であって、前記基準距離データは、前記配置
パターンで配置されたときの各積荷対象物の高さ分布か
らなることを特徴としている。これにより、例えば積荷
対象物が立方体であるように、積荷対象物の上面形状に
特徴部分がなく、形状モデルによる積荷対象物の検出が
困難であっても、高さ分布の類似度によれば、配置パタ
ーンを容易に特定することができる。

【００１１】請求項４の発明は、請求項１記載の物体配
置認識装置であって、前記基準距離データは、前記配置
パターンで配置されたときの上面形状を示す形状モデル
と各積荷対象物の高さ分布とからなり、前記配置状況認
識手段は、前記形状モデルと距離データとの形状類似度
と、前記高さ分布と距離データとの高さ分布類似度との
加算値を前記類似度としていることを特徴としている。
これにより、形状モデルによる形状類似度と高さ分布に
よる高さ類似度とを加算した類似度を用いるため、一層
高い信頼性でもって配置状況を認識することができる。

【００１２】請求項５の発明は、請求項１ないし４のい
ずれかに記載の物体配置認識装置であって、前記配置状
況認識手段は、前記配置パターンで配置されたときの各
積荷対象物に対応するテンプレートを形成して前記距離
データに重ね合わせ、各テンプレート内の距離データを
用いて類似度を求めることを特徴としている。これによ
り、配置パターンを基にして設定されたテンプレート内
の距離データのみを類似度の算出に用いることによっ
て、テンプレート外の誤差要因となり易いデータが除去
されるため、一層高い信頼性でもって配置状況を認識す
ることができる。

【００１３】

【発明の実施の形態】本発明の実施の形態を図１ないし
図１４に基づいて以下に説明する。尚、本説明では、貨
物の積み上げ作業の適用について説明するが、本説明に
おける発明は、貨物の荷降し作業にも適用可能である。
本実施の形態に係る物体配置認識装置は、図１に示すよ
うに、パレット１上に積み上げられた袋状や箱状の貨物
２の上方に設置されたセンサヘッド機構３と、センサヘ
ッド機構３に接続された認識処理制御盤４とを有してい
る。センサヘッド機構３は、図２にも示すように、帯状
のレーザ光からなるスリット光５を水平面に拡散させな
がら出射するスリット光投光器６と、スリット光投光器
６からのスリット光５を貨物２方向に反射する反射ミラ
ー７と、反射ミラー７の傾斜角度を任意に変更可能なス
テッピングモータ８と、貨物２に投影されたスリット光
５を撮像する撮像装置９とを有している。

【００１４】上記の撮像装置９は、レンズ１０と撮像部
材１１とを有している。レンズ１０は、図３に示すよう
に、撮像方向が鉛直方向（Ｚ方向）となるように設定さ
れている。また、撮像部材１１は、レンズ１０を介して
貨物２上に投影されたスリット光５が結像される撮像面
１１ａを有しており、撮像面１１ａは、鉛直方向（Ｚ方
向）に対して垂直となるように設定されている。そし
て、撮像部材１１の撮像面１１ａには、レンズ中心Ｏを
中心として点対称に画像が投影されるようになってお
り、例えばスリット光５を貨物２に照射して形成された
照射線５のＱ₁点、Ｑ₂点、Ｑ₃点は、それぞれＰ
₁点、Ｐ₂点、Ｐ₃点として撮像面１１ａに結像される
ようになっている。尚、図３には記載してはいないが、
レンズ１０前方に干渉フィルタなどの光学的なバンドパ
スフィルタを設置することによって、撮像面１１ａ上に
スリット光の像のみを結像させることが可能である。

【００１５】上記の撮像部材１１は、光量に応じた電荷
を発生させる受光素子部（画素）をＸ方向およびＹ方向
のマトリックス状に複数有しており、これらの受光素子
部の電荷を例えばラスタスキャン形式により電圧出力と
して読み出して画像データとして順に出力するようにな
っている。この撮像部材１１は、図１に示すように、認
識処理制御盤４に接続されている。認識処理制御盤４
は、上述の撮像部材１１やスリット光投光器６等に接続
されたＩ／Ｏ部１２ａ・１２ｂと、これらのＩ／Ｏ部１
２ａ・１２ｂに信号バス１４を介して接続されたモータ
駆動部１３、演算部１６、ＲＡＭ１７、およびＲＯＭ１
８とを有している。

【００１６】上記のＲＡＭ１７には、撮像部材１１の受
光素子部の配列と一致したＸ方向およびＹ方向のマトリ
ックス状のデータテーブルを有するように、画像データ
記憶領域１７ａが形成されている。そして、画像データ
記憶領域１７ａには、Ｉ／Ｏ部１２ａを介して入力され
た上述の撮像装置９からのスリット光画像データが格納
されるようになっている。さらに、ＲＡＭ１７には、距
離データ記憶領域１７ｂが形成されており、距離データ
記憶領域１７ｂには、貨物２上面の３次元座標の距離デ
ータ（ｘ，ｙ，ｚ）が格納されるようになっている。

【００１７】一方、ＲＯＭ１８には、ミラー角度データ
や物体配置パターン候補データ等の各種の処理データが
格納されている。ミラー角度データは、反射ミラー７の
傾斜角度を設定して画像データを得る際に使用されるよ
うになっている。また、物体配置パターン候補データ
は、Ｘ方向およびＹ方向の座標で示されるテンプレート
等の作成に使用されるようになっており、図５に示すよ
うに、物体配置パターン番号領域１８ａと、物体数領域
１８ｂと、物体番号領域１８ｃと、物体重心位置領域１
８ｄと、物体方向領域１８ｅとにそれぞれ格納されたデ
ータからなっている。

【００１８】即ち、物体配置パターン番号領域１８ａに
は、例えば図６（ａ）に示すように、積荷最上段の全て
のプレース位置に貨物２が載置された配置パターンを物
体配置パターン１とするように、積荷最上段に載置され
た貨物２の個数とプレース位置との組み合わせを基にし
た配置パターンの番号データが記憶されている。また、
図５に示すように、物体数領域１８ｂには、積荷最上段
に存在する貨物２と、積荷最上段の下段に存在する貨物
２との数量を示す物体数データが記憶されており、例え
ば物体配置パターン１の場合には“５”、物体配置パタ
ーン２の場合には“６”がそれぞれ物体数データとして
設定されることになる。

【００１９】また、物体番号領域１８ｃには、図７およ
び図８に示すように、積荷最上段のプレース位置（６〜
１０）と下段のプレース位置（１〜５）とに存在する貨
物２の位置が物体番号データとして記憶されており、例
えば図５の物体配置パターンｐの物体番号データは、下
段のプレース位置（１〜５）と、積荷最上段のプレース
位置（７，９，１０）とに貨物２が存在していることを
示している。そして、物体重心位置領域１８ｄには、各
物体番号データで特定された貨物２の重心位置（●）を
Ｘ−Ｙ−Ｚ座標で示した重心位置データが記憶されてお
り、物体方向領域１８ｅには、これらの貨物２の載置方
向を“縦”および“横”として示す物体方向データが記
憶されている。尚、“縦”の物体方向データとは、例え
ばプレース位置（８，９，１０）のように、貨物２の長
手方向がＸ方向に一致している場合のデータのことであ
り、“横”の物体方向データとは、例えばプレース位置
（６，７）のように、貨物２の長手方向がＹ方向に一致
している場合のデータのことである。

【００２０】また、ＲＯＭ１８には、図９および図１０
（ａ）・（ｂ）に示すように、貨物２の幅方向および長
手方向の上面形状をそれぞれ短尺形状モデルおよび長尺
形状モデルとして数値化したデータが基準距離データと
して格納されていると共に、物体配置パターン候補デー
タの配置パターンに対応した高さ分布を示すデータが基
準距離データとして格納されている。そして、これらの
形状モデルおよび高さ分布からなる基準距離データは、
物体配置パターン候補データの配置パターンを基にして
設定されたテンプレートで規定された個別ワーク領域内
の距離データ（ｘ，ｙ，ｚ）と比較され、形状類似度Ｓ
ａおよび高さ分布類似度Ｓｂの算出に使用されるように
なっている。

【００２１】さらに、図１に示すように、ＲＯＭ１８に
は、距離データ算出ルーチンや認識処理ルーチン等の各
種の処理ルーチンが記憶されている。これらの処理ルー
チンは、演算部１６により実行されるようになってお
り、距離データ算出ルーチンが実行された場合には、画
像データ中のスリット光５の投射位置における距離デー
タ（ｘ，ｙ，ｚ）が反射ミラー７の傾斜角度等を基にし
て算出されて距離データ記憶領域１７ｂに格納されるよ
うになっている。また、認識処理ルーチンが実行された
場合には、テンプレートで規定された個別ワーク領域内
の距離データ（ｘ，ｙ，ｚ）と基準距離データ（形状モ
デル・高さ分布）との類似度を基にして貨物２の積み上
げ状態に最も近い配置パターンが求められるようになっ
ている。

【００２２】上記の構成を有した認識処理制御盤４は、
Ｉ／Ｏ部１２ｂを介してロボット制御盤２０に接続され
ている。ロボット制御盤２０は、図２に示すように、パ
レット１の近傍に設置されたハンドリングロボット２１
に接続されている。また、ハンドリングロボット２１の
近傍には、貨物２を移送するローラコンベア２２が配設
されている。そして、ロボット制御盤２０は、認識処理
制御盤４から配置パターンを受信したときに、次の貨物
２のプレース位置を決定し、このプレース位置にローラ
コンベア２２上の貨物２を移載するように、ハンドリン
グロボット２１に対して指令するようになっている。

【００２３】上記の構成において、物体配置認識装置の
動作を図１１および図１２のフローチャートに基づいて
説明する。先ず、図１および図１１に示すように、パレ
ット１がセンサヘッド機構３の下方の所定位置に搬入さ
れると（Ｓ１）、ロボット制御盤２０から認識処理制御
盤４に対して計測を開始するように指示信号が送信され
ることになる（Ｓ２）。指示信号を受信した認識処理制
御盤４は、図１に示すように、ＲＯＭ１８に格納された
距離データ算出ルーチンを実行することになる。

【００２４】距離データ算出ルーチンが実行されると、
スリット光投光器６からスリット光５が出射されるよう
に、スリット光投光器６に対して出力信号が出力される
ことになる。また、ステッピングモータ８が原点位置に
復帰するように、ステッピングモータ８に対してモータ
駆動部１３から駆動出力が出力され、この出力は、原点
信号を受信してステッピングモータ８が原点位置に復帰
したと確認されるまで継続されることになる。この後、
ミラー角度データがＲＯＭ１８から読み出され、このミ
ラー角度データに対応する反射ミラー７の傾斜角度とな
るように、モータ駆動部１３からパルス状の駆動出力が
ステッピングモータ８に出力されることによって、ステ
ッピングモータ８が回転駆動されることになる（Ｓ
３）。

【００２５】ステッピングモータ８の回転駆動により反
射ミラー７が所定の傾斜角度に設定されると、スリット
光投光器６から帯状に拡散しながら出射されたスリット
光５は、反射ミラー７からパレット１方向に反射し、パ
レット１やパレット１上の貨物２の両端にかけて線状に
投射されることになる。そして、このようにしてスリッ
ト光５が投射されたパレット１や貨物２の全体が撮像装
置９により撮像されることになる（Ｓ４）。

【００２６】撮像装置９により撮像されたスリット光画
像データは、Ｉ／Ｏ部１２ａを介して認識処理制御盤４
に取り込まれ、ＲＡＭ１７の画像データ記憶領域１７ａ
に格納されることになる。この後、図３に示すように、
画像データ記憶領域１７ａのスリット光画像データ中か
らスリット光５の投光ライン５ａが特定され、この投光
ライン５ａの各点（例えばＰ₁・Ｐ₂・Ｐ₃）とレンズ
１０の中心点０とを結ぶ視線直線（例えばＬ₁・Ｌ₂・
Ｌ₃）が求められることになる。そして、上述の反射ミ
ラー７の傾斜角度を設定したミラー角度データを基にし
てスリット光５のスリット光平面Ｓが求められた後、こ
のスリット光平面Ｓと視線直線との交点（例えばＱ₁・
Ｑ₂・Ｑ₃）の３次元位置が距離データ（ｘ，ｙ，ｚ）
として求められ、図１の距離データ記憶領域１７ｂに順
に格納されることになる（Ｓ５）。

【００２７】上記のようにして画像データ記憶領域１７
ａ中のスリット光画像データに基づいてスリット光５に
よる投光ライン５ａの一連の距離データが求められる
と、これらの距離データが最終の投光ライン５ａに基づ
いて得られたものであるか否かが判定されることになる
（Ｓ６）。そして、最終の投光ライン５ａでない場合に
は（Ｓ６，ＮＯ）、次のミラー角度データがＲＯＭ１８
から読み出され、このミラー角度データに対応するミラ
ー傾斜角度におけるスリット光投光位置の距離データが
求められることになる（Ｓ３〜Ｓ５）。一方、最終の投
光ライン５ａである場合には（Ｓ６，ＹＥＳ）、図４に
示すように、等間隔で形成された所定数の投光ライン５
ａにおける距離データが得られたと判断され、距離デー
タ算出ルーチンが終了された後、物体配置認識処理が行
われることになる。

【００２８】認識処理ルーチンが実行されると、図１２
に示すように、物体配置パターンｉが“１”に初期設定
されると共に、最大類似度Ｓｉmax が“０”に初期設定
されることになる（Ｓ２１）。この後、物体配置パター
ンｉと上述の距離データ算出ルーチンで得られた距離デ
ータとが比較されることによって、類似度Ｓｉが求めら
れることになる。

【００２９】類似度Ｓｉの算出方法を具体的に説明する
と、先ず、図５の物体配置パターン番号領域１８ａから
物体配置パターンｉに一致するデータ区画（物体数領域
１８ｂや物体番号領域１８ｃ等）で規定されるテンプレ
ートが作成されることになる。即ち、例えば物体配置パ
ターンｉが“１”の場合には、物体数が“５”、物体番
号が“１，２，３，４，５”、物体方向が“縦，縦，
横，横，横”であるため、これらのデータと各物体番号
の重心位置のデータとを基にすることによって、図６
（ａ）に示すような積荷最上段に全貨物２が積み上げら
れた状態のテンプレートが各貨物２毎に作成されること
になる。また、物体配置パターンｉが“２”の場合に
は、図６（ｂ）に示すような積荷最上段のプレース位置
“１”に貨物２が積み上げられた状態のテンプレートが
各貨物２毎に作成されることになる。

【００３０】ここで、物体配置パターンｉが“２”であ
ると仮定すると、図１３に示すように、積荷最上段の貨
物２のテンプレート３０ａが下段の貨物２のテンプレー
ト３０ｂ〜３０ｆよりも優先するように形成され、これ
らのテンプレート３０ａ〜３０ｆ群が図４のようにして
得られた距離データ（ｘ，ｙ，ｚ）に重ねられることに
なる。そして、これらのテンプレート３０ａ〜３０ｆ群
の中から完全に露出したテンプレート３０ａ〜３０ｄが
特定され、特定されたテンプレート３０ａ〜３０ｄで規
定された各個別ワーク領域の距離データ（ｘ，ｙ，ｚ）
と長尺および短尺形状モデルの基準距離データとを基に
して物体配置パターン２に対する形状類似度Ｓａｉが求
められることになる。この形状類似度Ｓａｉの算出に
は、相関演算等を用いることができる。

【００３１】この後、図１４に示すように、全てのテン
プレート３０ａ〜３０ｆの所定位置にワーク高さウイン
ド３０ｇが開かれ、これらのワーク高さウインド３０ｇ
の距離データ（ｘ，ｙ，ｚ）と高さ分布の基準距離デー
タとを基にして物体配置パターン２に対する高さ分布類
似度Ｓｂｉが求められることになる。そして、このよう
にして求められた形状類似度Ｓａｉと高さ分布類似度Ｓ
ｂｉとが加算されることによって、類似度Ｓｉ（＝Ｓａ
ｉ＋Ｓｂｉ）が算出されることになる（Ｓ２２）。

【００３２】次に、図１２に示すように、類似度Ｓｉと
最大類似度Ｓｉmax とが比較されることになる。類似度
Ｓｉが最大類似度Ｓｉmax よりも大きな値であれば、最
大類似度Ｓｉmax が類似度Ｓｉにより置換されると共
に、この類似度Ｓｉに対応する物体配置パターンｉによ
り最適物体配置パターンｋが置換されることになる（Ｓ
２３）。この後、物体配置パターンｉが最終パターンで
あるか否かが判定され（Ｓ２４）、最終パターンでない
場合には（Ｓ２４，ＮＯ）、物体配置パターンｉに
“１”が加算された後（Ｓ２５）、Ｓ２２から再実行さ
れることになる。そして、図６（ｃ）・（ｄ）に示すよ
うに、物体配置パターンｉが“Ｍ−１”や“Ｍ”の場合
における形状類似度Ｓａｉと高さ分布類似度Ｓｂｉとが
求められ、これらの加算値である類似度Ｓｉが最大類似
度Ｓｉmax と比較され、最大類似度Ｓｉmax よりも大き
ければ置換されることになる（Ｓ２２・Ｓ２３）。

【００３３】上記のような類似度Ｓｉの算出および比較
と、最大類似度Ｓｉmax および最適物体配置パターンｋ
の置換とは、物体配置パターンｉが最終パターンに一致
するまでパターン毎に繰り返して行われることになる。
これにより、物体配置パターンｉが最終パターンになっ
たと判定されたときには（Ｓ２４，ＹＥＳ）、全ての物
体配置パターンｉの類似度Ｓｉが算出および比較される
ことによって、これらの物体配置パターンｉの類似度Ｓ
ｉの中で最も大きな値が最大類似度Ｓｉmax として保管
され、この最大類似度Ｓｉmax に対応する物体配置パタ
ーンｉが最適物体配置パターンｋとして保管された状態
となる。

【００３４】次に、図１１に示すように、最適物体配置
パターンｋが物体認識結果として図２のロボット制御盤
２０に出力されることになる（Ｓ８）。ロボット制御盤
２０は、物体認識結果を基にして次のプレース位置を特
定し、このプレース位置にローラコンベア２２上の貨物
２を移載するように、ハンドリングロボット２１に対し
て指令することになる。そして、ハンドリングロボット
２１による移載動作が完了すると（Ｓ９）、例えば貨物
２の移載数が所定数に到達したか否かが判定されること
によって、移載作業を終了するか否かが判定され（Ｓ１
０）、移載作業を終了しない場合には（Ｓ１０，Ｎ
Ｏ）、Ｓ２から再実行されることになる。一方、移載作
業を終了する場合には（Ｓ１０，ＹＥＳ）、所定数の貨
物２が積み上げられたパレット１が搬出されることにな
る（Ｓ１１）。

【００３５】このように、本実施形態における物体配置
認識装置は、図１に示すように、平面的に配置して積み
上げられた貨物２（積荷対象物）の立体的な配置状況を
認識するように、積荷最上段およびその下段の貨物２の
配置パターンにおける貨物２の上面各部の３次元座標を
形状モデルや高さ分布の基準距離データとして有したＲ
ＯＭ１８（配置パターン候補記憶手段）と、積荷最上段
およびその下段に配置された貨物２の上面各部の３次元
座標を距離データとして求めるセンサヘッド機構３等
（距離データ計測手段）と、センサヘッド機構３等によ
り求められた距離データと配置パターンの基準距離デー
タとの類似度を求め、最大の類似度を示す配置パターン
を現在の配置状況として認識するＲＯＭ１８内の認識処
理ルーチン（配置状況認識手段）とを有している構成で
ある。

【００３６】これにより、貨物２全体の距離データと配
置パターンの基準距離データとの類似度を求めて、最大
の類似度の配置パターンを配置状況として認識するよう
になっているため、距離データの一部に欠落等の誤差要
因が含まれていても、この誤差要因が全体的な類似度の
算出時に吸収され、配置状況の認識結果が高い信頼性で
得られることになる。また、従来手法では、撮影画像の
明るさ情報より直接、各貨物の境界を濃淡画像処理によ
り求めているため、貨物表面の模様や周囲の明るさ変化
等の影響を受けやすいという問題があったが、本手法で
は、レンズ前方に光学フィルタを設置して外乱光をカッ
トしつつ画像内のスリット光を検出し、距離データを作
成し、距離データから個別貨物を検出するので、貨物表
面の模様や周囲の明るさ変化等の影響を受けず配置状況
の認識結果が高い信頼性で得られる。

【００３７】尚、上記の距離データ計測手段は、反射ミ
ラー７で反射されたスリット光５と撮像装置９による視
線直線との交点の３次元座標を三角測量の原理に基づい
て求めるように構成されたセンサヘッド機構３や距離デ
ータ算出ルーチン等からなっているが、これに限定され
ることはない。

【００３８】即ち、距離データ計測手段は、スポット光
を投光するスポット光投光器と、スポット光を２次元ス
キャニングするスキャニングミラーと、スポット光が投
光された貨物２全体の上面画像を撮像する撮像装置と、
撮影画像から抽出したスポット光像の位置情報とスポッ
ト光投光時のミラー角度情報に基づき三角測量によりス
ポット光投光位置を三次元計測する三角測量計算部とで
構成されていても良い。また、距離データ計測手段は、
距離センサが設けられたＸ−Ｙステージを有し、このＸ
−Ｙステージを２次元移動させつつ距離画像を計測する
ように構成されていても良いし、或いは、ロボットハン
ドに距離センサを設け、このロボットハンドを２次元移
動させつつ距離画像を計測するように構成されていても
良い。

【００３９】

【発明の効果】請求項１の発明は、平面的に配置して積
み上げられた積荷対象物の立体的な配置状況を認識する
物体配置認識装置において、積荷最上段およびその下段
の積荷対象物の配置パターンを全ての組み合わせについ
て有し、これら配置パターンで配置されたときの積荷対
象物の上面各部の３次元座標を基準距離データとして有
した配置パターン候補記憶手段と、積荷最上段およびそ
の下段に配置された積荷対象物の上面各部の３次元座標
を距離データとして求める距離データ計測手段と、前記
距離データ計測手段により求められた距離データと、前
記配置パターンの基準距離データとの類似度を求め、最
大の類似度を示す配置パターンを現在の配置状況として
認識する配置状況認識手段とを有している構成である。
これにより、積荷対象物全体の距離データと配置パター
ンの基準距離データとの類似度を求めて、最大の類似度
の配置パターンを配置状況として認識するようになって
いるため、距離データの一部に欠落等の誤差要因が含ま
れていても、この誤差要因が全体的な類似度の算出時に
吸収されることから、配置状況の認識結果を高い信頼性
で得ることができるという効果を奏する。また、レンズ
前方に光学フィルタを設置して外乱光をカットしつつ画
像内のスリット光を検出し、距離データを作成し、距離
データから個別貨物を検出するので、貨物表面の模様や
周囲の明るさ変化等の影響を受けず高い信頼性で配置状
況を認識することができるという効果を奏する。

【００４０】請求項２の発明は、請求項１記載の物体配
置認識装置であって、前記基準距離データは、前記配置
パターンで配置されたときの各積荷対象物の上面形状を
示す形状モデルからなる構成である。これにより、積荷
対象物の形状モデルを予め求めておき、この形状モデル
を距離データに当てはめることより物体配置を認識する
ため、袋詰物のように各貨物間の境界が明確でない場合
でも物体配置を認識することができるという効果を奏す
る。また、複数の貨物がパレット上の同一段に配置され
ている場合でも、各貨物の位置、姿勢を認識することが
可能であるという効果を奏する。

【００４１】請求項３の発明は、請求項１記載の物体配
置認識装置であって、前記基準距離データは、前記配置
パターンで配置されたときの各積荷対象物の高さ分布か
らなる構成である。これにより、例えば積荷対象物が立
方体であるように、積荷対象物の上面形状に特徴部分が
なく、形状モデルによる積荷対象物の検出が困難であっ
ても、高さ分布の類似度によれば、配置パターンを容易
に特定することができるという効果を奏する。

【００４２】請求項４の発明は、請求項１記載の物体配
置認識装置であって、前記基準距離データは、前記配置
パターンで配置されたときの上面形状を示す形状モデル
と各積荷対象物の高さ分布とからなり、前記配置状況認
識手段は、前記形状モデルと距離データとの形状類似度
と、前記高さ分布と距離データとの高さ分布類似度との
加算値を前記類似度としている構成である。これによ
り、形状モデルによる形状類似度と高さ分布による高さ
類似度とを加算した類似度を用いるため、一層高い信頼
性でもって配置状況を認識することができるという効果
を奏する。

【００４３】請求項５の発明は、請求項１ないし４のい
ずれかに記載の物体配置認識装置であって、前記配置状
況認識手段は、前記配置パターンで配置されたときの各
積荷対象物に対応するテンプレートを形成して前記距離
データに重ね合わせ、各テンプレート内の距離データを
用いて類似度を求める構成である。これにより、配置パ
ターンを基にして設定されたテンプレート内の距離デー
タのみを類似度の算出に用いることによって、テンプレ
ート外の誤差要因となり易いデータが除去されるため、
一層高い信頼性でもって配置状況を認識することができ
るという効果を奏する。

【図面の簡単な説明】

【図１】認識処理制御盤のブロック図である。

【図２】貨物を積み上げる状態を示す説明図である。

【図３】距離データの算出原理を示す説明図である。

【図４】距離データの状態を示す説明図である。

【図５】物体配置パターン候補データの内容を示す説明
図である。

【図６】物体配置パターンの積み上げ状態を示す説明図
であり、（ａ）は物体配置パターン１、（ｂ）は物体配
置パターン２、（ｃ）は物体配置パターン（Ｍ−１）、
（ｄ）は物体配置パターンＭの場合における積み上げ状
態である。

【図７】積荷最上段のプレース位置と物体番号との関係
を示す説明図である。

【図８】下段のプレース位置と物体番号との関係を示す
説明図である。

【図９】貨物の形状モデルを示す説明図である。

【図１０】貨物の形状モデルを示す説明図であり、
（ａ）は短尺形状モデル、（ｂ）は長尺形状モデルを表
現したものである。

【図１１】パレットに貨物の積み上げる際の一連の動作
を示すフローチャートである。

【図１２】認識処理ルーチンのフローチャートである。

【図１３】テンプレートの状態を示す説明図である。

【図１４】ワーク高さウインドの状態を示す説明図であ
る。

【図１５】従来の認識処理により貨物を積み上げる状態
を示す説明図である。

【図１６】従来の認識処理により貨物を積み上げる状態
を示す説明図である。

【符号の説明】

１パレット２貨物３センサヘッド機構４認識処理制御盤５スリット光６スリット光投光器７反射ミラー８ステッピングモータ９撮像装置１０レンズ１１撮像部材１３モータ駆動部１４信号バス１５画像データ記憶部１６演算部１７ＲＡＭ１７ａ画像データ記憶領域１７ｂ距離データ記憶領域１８ＲＯＭ２１ハンドリングロボット２２ローラコンベア

Claims

【特許請求の範囲】

【請求項１】平面的に配置して積み上げられた積荷対
象物の立体的な配置状況を認識する物体配置認識装置に
おいて、積荷最上段およびその下段の積荷対象物の配置パターン
を全ての組み合わせについて有し、これら配置パターン
で配置されたときの積荷対象物の上面各部の３次元座標
を基準距離データとして有した配置パターン候補記憶手
段と、積荷最上段およびその下段に配置された積荷対象物の上
面各部の３次元座標を距離データとして求める距離デー
タ計測手段と、前記距離データ計測手段により求められた距離データ
と、前記配置パターンの基準距離データとの類似度を求
め、最大の類似度を示す配置パターンを現在の配置状況
として認識する配置状況認識手段とを有していることを
特徴とする物体配置認識装置。
【請求項２】前記基準距離データは、前記配置パターンで配置されたときの各積荷対象物の上
面形状を示す形状モデルからなることを特徴とする請求
項１記載の物体配置認識装置。
【請求項３】前記基準距離データは、前記配置パターンで配置されたときの各積荷対象物の高
さ分布からなることを特徴とする請求項１記載の物体配
置認識装置。
【請求項４】前記基準距離データは、前記配置パターンで配置されたときの上面形状を示す形
状モデルと各積荷対象物の高さ分布とからなり、前記配置状況認識手段は、前記形状モデルと距離データとの形状類似度と、前記高
さ分布と距離データとの高さ分布類似度との加算値を前
記類似度としていることを特徴とする請求項１記載の物
体配置認識装置。
【請求項５】前記配置状況認識手段は、前記配置パターンで配置されたときの各積荷対象物に対
応するテンプレートを形成して前記距離データに重ね合
わせ、各テンプレート内の距離データを用いて類似度を
求めることを特徴とする請求項１ないし４のいずれかに
記載の物体配置認識装置。