JP2921496B2 - 画像処理装置および物体移載装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、積荷を自動的に
移載するロボットや産業機械の積載された荷物の位置を
認識する画像処理装置および物体移載装置に関するもの
である。

【０００２】

【従来の技術】積荷を自動的に移載する手段の画像処理
装置の例として特開平６ー２４９６３１号公報に開示さ
れたものがある。図１６はその発明の画像計測の処理手
順の概略説明図、図１７に動作を示すフローチャート、
図１８はパターン光を用いた空間コード化の原理を示す
図である。

【０００３】この画像処理装置は、パレット１上に積載
された段ボール箱Ｗを計測対象とするものであり、図１
８に示すように、パレット１の斜め上方に投光器２、パ
レット１の中心部上方に配置されたカメラ３からなり、
投光器２は各種のパターン光を時系列的に投光すること
により、測定空間を互いに積層された楔状測定領域ｒ０
〜ｒｎに分割するスリットパターン光を投光するもので
ある。スリットパターンは、例えば図１８のＡ、Ｂ、Ｃ
の白黒の２値パターンの３つのパターン光を投光するよ
うになっており、白は光の当たっている部分、黒は光の
当たっていない部分である。このようなパターンは、例
えば液晶シャッターのようなドットマトリクス電気シャ
ッタ−を用いて作ることができる。

【０００４】光が当たっている状態を“１”、当たって
いない状態を“０”と表現すると、図１６においては、
パターンＡが投光されている時は前から後ろに向かっ
て、半分づつ１、０となる。パターンＢでは、前から順
に１／４づつ１、０、１、０となる。パターンＣでは、
１／８づつ１、０、１、０、１、０、１、０となる。

【０００５】これら３つのパターンを投光してそれぞれ
画像を撮像すると、各画素については「０００」から
「１１１」の３ビットコードにコード化されたデータの
どれかに対応させることができる。このようなコードを
空間コードと呼ぶ。ある空間コードに対応するのは３次
元空間上では楔状領域であり。そこに物体Ｗが存在して
いると物体の表面上の画像領域にコードが割り当てられ
ることになる。一方、カメラで撮像した画像から、画像
上のある画素の空間コードがわかれば、どの楔状領域に
相当するかがわかるので、三角測量の原理によって物体
表面の高さ、即ちカメラからの距離がわかることにな
る。この説明ではパターンの種類をＡ、Ｂ、Ｃの３種類
としたため、画像全体をつの楔状領域に分割したが、パ
ターンの種類を８種類とすれば、楔状領域の数は２５６
になり、より精密に距離情報の精度を向上させることが
できる。即ち、空間コード画像を生成することによっ
て、画像上のそれぞれの画素のカメラからの距離が計測
できる。

【０００６】図１６について、図１７に示すフローチャ
ートにしたがって説明する。ステップＳＴ０１でシステ
ムが起動されると、ステップＳＴ０２において空間コー
ド画像が生成され、図１６（Ａ）の状態にある積荷の上
面に同図（Ｄ）のような空間コード画像が得られ、画像
を水平に左から右に走査し、もっとも空間コードの大き
いデータを持つ領域を抽出すれば同図（Ｅ）のように最
上段物体の上面部分荷対応する画像が得られる。ステッ
プＳＴ０４では、最上段物体領域をグループ化してい
る。空間コード画像において隣接する画素間で空間コー
ドが所定の範囲内に近接している時、それら領域を同じ
グループと判断したり、各積荷上縁間に生じる溝状の部
分やすき間部分の空間コードの変化をもとにグループ化
している。グループ化された各物体は、続くステップＳ
Ｔ０５で各物体の３次元位置が計測される。グループ化
された物体の辺縁部分に相当する部分の３次元座標を何
点かサンプリングし、ステップＳＴ０６で、それらをも
とに物体の重心位置と姿勢、および高さ情報を得る。ス
テップＳＴ０７で処理を終了する。このようにして得ら
れた積荷の位置データを用いて、ロボット等で積荷をひ
とつづつ移載することができる。

【０００７】この画像処理装置では、積荷の認識に必要
な情報をすべて空間コード画像から獲得し、例えば解像
度２５６×２５６または５１２×５１２画素といった高
い解像度の距離画像を生成する必要があり、時系列的に
投光パターンを変化させる機構を有する高精度のパター
ン投光器が使用され、時系列で発生させた複数の投光パ
ターンそれぞれに対応させて、画像を入力するので、大
容量の画像メモリを必要とする。

【０００８】他の従来例として、電子情報通信学会論文
誌Ｖｏｌ．Ｊ７１−Ｄ．Ｎｏ．７ｐ１２４０〜１２５７
に掲載された佐藤、井口の論文「液晶レンジファインダ
−−液晶シャッタ−による高速距離画像計測システム−
−」に記載された内容を紹介する．この技術は、上記の
図１６〜図１８に示された技術で使用された空間コード
化法による距離画像獲得システムに関するものであり、
図１９にその原理を示す。液晶シャッター４を用いて時
系列的に交番２進コードによるスリットパターンを物体
に投影し、カメラ３でそれぞれのパターンに対応する画
像を撮像して空間コード画像を生成するものである。パ
ターンとしては図１６のような７枚のパターンを用い
る。計測の原理は上記図１６〜図１８の従来技術で用い
られているものと同一である。

【０００９】また別の従来技術として、特開平７−１０
３７３４号公報に記載された「ステレオ対応探索装置」
について説明する。図２０は、この発明の階層的ブロッ
クマッチング（疎密探索法）の説明図であり、図２１そ
の発明の動作のフローチャートである。

【００１０】ステレオ視覚とは、複数の異なる位置に配
置された画像入力手段から入力された２つの画像の対象
物上の同一点に対応する視差を計測することにより、三
角測量の原理からカメラと対象点との距離を計算する手
法である。図２１のフローチャートのＳＴ１１において
画像が入力され、ＳＴ１２で入力された２つの画像がそ
れぞれ画像メモリに格納され、ＳＴ１３において、格納
された画像を階層的により低い解像度に変換する処理が
行われて階層画像が生成れる。図２０は第Ｄ階層の画像
と第Ｄ＋１階層の画像との対応関係を摸式的に表したも
のである。この例では、第Ｄ階層の画像の１／４領域を
第Ｄ＋１階層の画像としている。

【００１１】ステップＳＴ１４において、画像が小ブロ
ックに分割され、ステップＳＴ１５において、各ブロッ
クは初期探索位置計算器によって初期探索位置が計算さ
れ、ステップＳＴ１６でパターンマッチングによって他
画像におけるブロックの対応点が計算され、ステップＳ
Ｔ１７において、２つの画像間の対応点の位置情報を用
い、視差計算器によって視差が計算される。このように
して得られた視差画像をもとに、一段階高解像度の画像
を用いて再び視差が計算される。この処理を繰り返し行
ない最終的には入力画像と同じ最高解像度の画像に対す
る対応点探索を行なう。

【００１２】

【発明が解決しようとする課題】上記図１６〜図１８に
示された画像処理装置では、積荷の認識に必要な情報を
すべて空間コード画像から獲得しており、例えば解像度
２５６×２５６または５１２×５１２画素といった高い
解像度の距離画像を生成する必要があり、高精度のパタ
ーン投光器が必要であり、しかもそれは時系列的に投光
パターンを変化させる機構を有するものが必要であり、
大規模な高価な装置となり、さらに、時系列で発生させ
た複数の投光パターンそれぞれに対応させて画像を入力
する必要があり、大容量の画像メモリも必要とし、大規
模な高価な装置となる問題点があった。またそれに要す
る画像入力時間の総計も多くかかるという問題点もあっ
た。

【００１３】上記図１９に示す技術においても、空間コ
ード画像のみをもとに積荷を認識するので、図１６〜図
１８の場合と同様に、大きな画像メモリも必要とし、大
規模な高価な装置となる問題点があった。

【００１４】さらに、図１６〜図１８、および図１９の
画像処理装置は、積荷に必要な情報を全て空間コード画
像から獲得するために、積荷において把持したい物体と
隣接物体が密に接触している場合、すなわち、稜線の面
とり量の小さい段ボール箱においては隣接する物体との
境界が三次元的に明確に段差として現れないもの、ある
いは、軟らかい内容物が収納されたセメント袋のような
袋物の場合は、隣接する物体と密接するため、境界が三
次元的には不明確であり、個々の物体を個別に分離して
移送手段に把持させることが困難であるという問題点が
あった。

【００１５】図２０、図２１に示された画像処理装置で
は、高速にステレオ対応点を探索し、距離画像を短い時
間で獲得することを目的としているが、画像中の対象物
の如何によらず常に画像上に画一的に設定された小ブロ
ック単位でより粗な解像度の画像から順により密な解像
度の画像へと探索を行なうので、あらかじめ高解像度情
報が必要な部位がわかっている場合は、逆に処理時間が
長くかかるという問題点があった。

【００１６】この発明は、上記問題点を解決するたもに
なされたものであり、大容量の画像メモリを必要とせ
ず、簡単な装置構成で短時間で物体の三次元的な位置が
把握できる画像処理装置およびこの画像処理装置を装備
した物体移載装置を提供することを目的とする。

【００１７】

【課題を解決するための手段】この発明の請求項１に係
る画像処理装置は、積載された複数の物体の距離画像を
生成する距離画像生成手段と、距離画像から積載された
物体の最上段面領域を抽出する最上段面領域抽出手段
と、最上段面領域から物体を個々に分離して抽出する最
上段物体候補抽出手段と、認識対象物体の寸法データを
格納する物体寸法データベースと、物体の寸法データを
もとに物体の２次元画像上での標準的パターン画像を生
成する２次元基準パターン生成手段と、カメラから入力
された濃淡原画像を格納する濃淡原画像格納手段と、個
別に抽出された最上段物体候補について２次元基準パタ
ーンと濃淡原画像の情報を用いて物体の位置を検出する
物***置検出手段と、各手段で得られた物***置の検出
結果と距離画像生成手段とによって得られた個々の物体
の距離情報とを統合する情報統合手段とを備えたもので
ある。

【００１８】この発明の請求項２に係る物体移載装置
は、積載された複数の物体の距離画像を生成する距離画
像生成手段と、距離画像から積載された物体の最上段面
領域を抽出する最上段面領域抽出手段と、最上段面領域
から物体を個々に分離して抽出する最上段物体候補抽出
手段と、認識対象物体の寸法データを格納する物体寸法
データベースと、物体の寸法データをもとに物体の２次
元画像上での標準的パターン画像を生成する２次元基準
パターン生成手段と、カメラから入力された濃淡原画像
を格納する濃淡原画像格納手段と、個別に抽出された最
上段物体候補について２次元基準パターンと濃淡原画像
の情報を用いて物体の位置を検出する物***置検出手段
と、各手段で得られた物***置の検出結果と距離画像生
成手段とによって得られた個々の物体の距離情報とを統
合する情報統合手段とを備えた画像処理装置と物体を把
持し移載する物体移載手段とを備えたものである。

【００１９】この発明の請求項３に係る画像処理装置
は、距離画像生成手段がランダムなテクスチャパターン
を投光するランダムテクスチャ投光手段と、ステレオ画
像を入力する第一の画像入力手段および第二の画像入力
手段と、第一および第二の画像入力手段が撮像した二つ
の画像間の対応付を行なうステレオ画像ブロック対応付
手段で構成されたものである。

【００２０】この発明の請求項４に係る物体移載装置
は、距離画像生成手段がランダムなテクスチャパターン
を投光するランダムテクスチャ投光手段と、ステレオ画
像を入力する第一の画像入力手段および第二の画像入力
手段と、第一および第二の画像入力手段が撮像した二つ
の画像間の対応付を行なうステレオ画像ブロック対応付
手段で構成された画像処理装置と、物体を把持し移載す
る物体移載手段とを備えたものである。

【００２１】この発明の請求項５に係る画像処理装置
は、距離画像生成手段が、解像度の粗い距離画像を生成
する低解像度距離画像生成手段と、低解像度距離画像か
ら物体の段差領域部を抽出する段差領域抽出手段と、段
差領域に対して高い解像度の距離画像を生成する高解像
度距離画像生成手段と、低解像度距離画像と高解像度距
離画像の解像度の異なる２つの距離画像を合成する距離
画像合成手段とで構成されているものである。

【００２２】この発明の請求項６に係る物体移載装置
は、距離画像生成手段が解像度の粗い距離画像を生成す
る低解像度距離画像生成手段と、低解像度距離画像から
物体の段差領域部を抽出する段差領域抽出手段と、段差
領域に対して高い解像度の距離画像を生成する高解像度
距離画像生成手段と、低解像度距離画像と高解像度距離
画像の解像度の異なる２つの距離画像を合成する距離画
像合成手段とで構成された画像処理装置と、物体を把持
し移載する物体移載手段とを備えたものである。

【００２３】この発明の請求項７に係る画像処理装置
は、積載された複数の物体の距離画像を生成する距離画
像生成手段と、距離画像から最上段に位置する物体の最
上段面領域を抽出する最上段面領域抽出手段と、最上段
面領域抽出手段の出力から物体候補の組合せを仮説とし
て複数列挙生成する物体候補組合せ仮説生成手段と、認
識対象物体の寸法データを格納する物体寸法データベー
スと、２次元基準パターンと濃淡原画像に含まれる情報
を使って上記仮説生成手段が生成した物体候補組合せ仮
説の妥当性を検証する仮説妥当性検証手段と、複数の仮
説のうち最も評価値の高い仮説をもとに認識を行ない、
この認識した画像と距離画像生成手段によって得られた
個々の物体の距離情報とを統合する情報統合手段とを備
えたものである。

【００２４】この発明の請求項８に係る物体移載装置
は、積載された複数の物体の距離画像を生成する距離画
像生成手段と、距離画像から最上段に位置する物体の最
上段面領域を抽出する最上段面領域抽出手段と、最上段
面領域抽出手段の出力から物体候補の組合せを仮説とし
て複数列挙生成する物体候補組合せ仮説生成手段と、認
識対象物体の寸法データを格納する物体寸法データベー
スと、２次元基準パターンと濃淡原画像に含まれる情報
を使って上記仮説生成手段が生成した物体候補組合せ仮
説の妥当性を検証する仮説妥当性検証手段と、複数の仮
説のうち最も評価値の高い仮説をもとに認識を行い、こ
の認識した画像と距離画像生成手段によって得られた個
々の物体の距離情報とを統合する情報統合手段とを備
え、個々の対象物体の三次元位置情報を出力する画像処
理装置と、物体を把持し移載する移載手段を備えたもの
である。

【００２５】この発明の請求項９に係る画像処理装置
は、物体配列の基準となるデータを格納する物体配列基
準データベースと、仮説生成手段が生成した物体候補組
合せ仮説の妥当性を検証する仮説妥当性検証手段が認識
した画像と、基準データと比較して正しい配列かどうか
を判定する物体配列判定手段と、認識した画像が基準デ
ータに整合しないときに判定の結果を作業者に警告する
警告発生手段を有するものである。

【００２６】この発明の請求項１０に係る物体移載装置
は、物体配列の基準となるデータを格納する物体配列基
準データベースと、仮説生成手段が生成した物体候補組
合せ仮説の妥当性を検証する仮説妥当性検証手段が認識
した画像と、上記基準データと比較して正しい配列かど
うかを判定する物体配列判定手段と、認識した画像が基
準データに整合しないときに判定の結果を作業者に警告
する警告発生手段を有する画像処理装置と、物体を把持
し移載する移載手段とを備えたものである。

【００２７】

【発明の実施の形態】実施の形態１． 実施の形態１の構成を示すブロック図を図１、動作の流
れを示すフローチャートを図２、生成された各段階の画
像を図３に示す。ここでは動作説明が理解され易いよう
に認識すべき物体は、例えばば段ボール箱のような多面
体形状を想定し、物体は同一形状および同一サイズのも
のが積まれている状態として説明する。

【００２８】図１において、１１は所定の間隔をおいて
配置された２台のカメラで構成された画像入力手段、１
２は画像入力手段１１の撮像した画像から距離画像を生
成する距離画像生成手段、１３は距離画像から最上段面
を抽出する最上段面領域抽出手段、１４は最上段物体候
補抽出手段、１５は原画像を格納する濃淡画像格納手
段、１６は物体寸法データベース、１７は物体寸法デー
タベース１６に格納された情報を基に２次元パターンと
しての基準パターンを自動的に生成する２次元基準パタ
ーン生成手段、１８は２次元的な物***置を検出する物
***置検出手段、１９は物***置検出手段１８によって
検出された物***置と距離画像の距離情報を統合する情
報統合手段である。

【００２９】図３の（ａ）は画像入力手段１１が撮像し
た原画像、（ｂ）は最上段面領域抽出手段１３が抽出し
た最上段物体領域、（ｃ）は２次元基準パターン生成手
段により物体寸法データを用いて生成された基準パター
ンのテンプレート、（ｄ）は最上段物体領域から抽出さ
れた候補の一つを示す摸式図、（ｅ）はテンプレートマ
ッチング法による位置決め状況を示す。

【００３０】ステップＳＴ１０１で、装置が起動される
と、画像入力手段１１によって図３（ａ）に示す認識対
象の画像が距離画像生成手段１２に入力される。ステッ
プＳＴ１０２では、距離画像生成手段１２によって距離
画像が生成される。距離画像の生成手段としては区間コ
ード化法またはステレオ対応探索法等がある。ステップ
ＳＴ１０３で最上段物体領域抽出手段１３により、図３
（ｂ）に示す最上段の物体に相当する高さをもつ最上段
物体領域が抽出される。ステップＳＴ１０４で画像入力
手段１１で撮影した原画像が濃淡画像格納手段１５に格
納され、ステップＳＴ１０５では２次元基準パターン生
成手段１７によって、物体寸法データベース１６に格納
された情報をもとに２次元パターンとしての基準パター
ンが自動的に生成される。この基準パターンはテンプレ
ートと呼ばれ、図３（ｃ）に示すようにテンプレートは
物体の輪郭部分を表現した輪郭プレートとなっている。

【００３１】ステップＳＴ１０６では、２値で表現され
た最上段物体領域の物体は画像上では矩形パターンに見
えることから、直角に交わる辺縁部を検出することによ
って候補を抽出される。上記の通り距離画像の解像度が
粗いことから、候補の位置は不正確である。ステップＳ
Ｔ１０７において、前記物体候補が物***置検出手段１
７によって位置決めされ、位置決めには、前記２次元基
準パターンが用いられ、テンプレートマッチング法によ
る処理がなされる。ただし、大まかな位置は既に候補抽
出の段階で検出されていることから、マッチングは候補
検出位置からそのごく近傍のみを探索する処理で十分で
ある。したがってテンプレートマッチングも高速に実行
可能である。位置決めの様子は図３（ｅ）に示す。物体
位置が検出されたならば、その２次元的な物***置情報
は、情報統合手段１９によって前記距離画像生成手段１
２による距離情報と統合され、それが最終的な結果とし
て出力される。

【００３２】ステップＳＴ１０８では、すべての物体を
検出したかどうかを判定し、もし検出していなければ処
理流れのうちステップＳＴ１０６から再び実行され、別
の物体候補について一連の処理ステップＳＴ１０６、Ｓ
Ｔ１０７が実施される。もし、すべての物体が検出され
ていれば、ステップＳＴ１０９で認識処理を終了させ
る。以上の通り、この発明により粗く距離画像を生成
し、その結果を元に物体の候補を抽出して詳細な位置検
出は２次元の汎用的な処理手法であるテンプレートマッ
チングをそのパターン探索の範囲を非常に限定した形で
実行することで、距離画像生成装置の装置規模を小さく
することができるものである。

【００３３】なお、距離画像生成手段として、空間コー
ド化法を解像度を粗くして用いる方法、あるいは、ステ
レオ視覚やスリット光走査による光切断法のような方法
であってもよく、粗い解像度の距離画像が生成され得る
装置であればよい。

【００３４】また、輪郭情報によるテンプレートマッチ
ングによる位置決めの例を示したが、同じく物体の輪郭
を直線の組合せと考えて直線として辺ごとに位置合わせ
を行う方法を用いてもよい。また、物体寸法データベー
スの内容を使い、通常の２次元テンプレートマッチング
を用いても良い。また、テンプレートマッチング処理内
部で使用されるデータ格納形式に関して特に明示しなか
ったが、２次元画像として格納する方法の他に、輪郭部
分のエッジの位置を１次元的に内部に羅列して格納する
方法を用いてもよい。

【００３５】さらに、最上段物体の候補を抽出する際
に、距離画像から得られた最上段面領域情報からそのコ
ーナー部分を利用する手法を示したが、この他にも例え
ば上記の２値の距離画像を用いて、別途用意した２値の
距離画像としてのテンプレートを使って２値のテンプレ
ートマッチングの方法によって粗く位置を検出する方法
を適用しても同様の効果を奏する。

【００３６】図２の動作フローチャートは、一例であ
り、図１に示した各手段の入出力関係が適正でさえあれ
ば別の処理流れであってもよい。例えば、距離画像生成
と濃淡原画像入力のステップはどちらが先に行なわれて
もよい。

【００３７】以上は、認識すべき対象物体として多面体
即ち箱状の物体の単一品種物体を想定した説明であった
が、例えばセメント袋、米袋などのように袋状の物体で
あっても、この発明の構成を何ら変えることなく同一の
構成で画像認識を実現することができる。次に袋状物体
の認識する場合の状況について、上記箱状物体における
場合との違いを説明する。

【００３８】図２のステップＳＴ１０５において、２次
元基準パターン生成手段１６によって２次元基準パター
ンが自動的に生成される。これは物体の位置決めを行な
うためのテンプレートマッチングにおけるテンプレート
生成に相当する。袋状物体の場合は辺縁が変形するなど
箱状物体とは異なり形状が不安定であるので、前記基準
パターンとしては図３のような矩形の輪郭部分を取り出
しただけでは不十分である。この場合は物体のコーナー
部のみを輪郭で表現した部分テンプレート、あるいは物
体の辺部を表現した直線輪郭部分テンプレートを自動的
に生成する。いづれの場合も、袋状物体の寸法を格納し
た物体寸法データベース１５の内容を参照して生成され
る。

【００３９】ステップＳＴ１０６の物体候補抽出におい
ては、袋状物体の場合は上で述べたような直角に交わる
縁部などの情報を用いて候補を抽出することは困難であ
る。この場合は最上段物体領域が表現された画像を２値
画像とみなし、物体寸法データベース１５に格納されて
いる袋状物体モデルに関する情報から２値の物体テンプ
レートを自動的に生成し、これらを粗く２値テンプレー
トマッチングさせることで大まかな候補抽出が可能とな
る。

【００４０】ステップＳＴ１０７では、物体の位置が検
出されるが、ここでは前記のような物体のコーナー部
分、あるいは、直線辺縁部分の輪郭テンプレートが部分
テンプレートとして入力画像から得たエッジ画像とマッ
チングされる。物体の位置はマッチングの結果として、
複数の部分テンプレートのマッチングした位置から総合
的に判断、計算される、以上のように、袋状の物体に関
しても箱状物体に対する認識と同じ程度に動作させるこ
とができる。

【００４１】また、以上説明した実施の形態１では、単
一の品種の物体が積まれている状況を想定したが、物体
寸法データベース１６に複数の物体の寸法データを格納
しておき、複数の２次元基準パターンを自動的に生成
し、物***置検出手段１７においては前記複数の基準パ
ターンを全てマッチングさせて最も類似性の高いテンプ
レートが存在する物体であるとするような動作をさせる
ことで、異なる種類の物体が複数個積まれている状況に
対しても適確に動作させることができる。

【００４２】上記構成の画像処理装置を物体移載装置に
組み込むことにより、高精度のパターン投光器、大容量
の画像メモリを必要とせず、また画像入力時間も短時間
で行える正確に動作する物体移載装置となる。

【００４３】実施の形態２． 実施の形態２の構成を示すブロック図を図４、動作の流
れを示すフローチャートを図５に示す。図６はランダム
ドットパターン照射の説明図、図７はステレオ画像から
ブロック対応付処理の方法を示す説明図である。この実
施の形態２．は、実施の形態１の距離画像生成手段の部
分をランダムテクスチャパターン投光によりステレオ対
応付して距離画像を生成するようにしたものであり、こ
の点が相違し、その他の構成は実施の形態１と同じであ
る。

【００４４】図４において、２０はランダムドットパタ
ーンを投光するランダムテクスチャパターン投光手段、
２１は画像入力手段であり、第一画像入力手段２１ａと
第二の画像入力手段２１ｂとで構成されている。２２は
ステレオ画像ブロック対応付手段である。その他の最上
段画像領域抽出手段１３、最上段物体候補抽出手段１
４、濃淡原画像格納手段１５、物体寸法データベース１
６、２次元基準パターン生成手段１７、物***置検出手
段１８および情報統合手段１９は実施の形態１．と同一
の構成である。

【００４５】以下この実施の形態２について図５のフロ
ーチャートにしたがって動作を説明する。ステップＳＴ
２０１で電源がＯＮされると、ランダムテクスチャパタ
ーン投光手段２０の電源が入り、認識対象物に対してラ
ンダムドットパターンが投影される。ランダムテクスチ
ャパターン投光手段は図６（ａ）に示すように、パター
ン投光器３０により、認識すべき対象物に対してランダ
ムドットパターンを投光するものである。パターン投光
器は図６のように物体の上方に下向きに設置し、図６
（ｂ）に示したようなランダムドットを認識物体に投影
する。実施の形態２．では、認識すべき対象物体は、段
ボール箱であるが、例えばセメント袋のような袋状の物
体であっても認識可能である。対象物の上面にランダム
ドットが投影され、ステップＳＴ２０３では、第一の画
像入力手段２１ａおよび第二の画像入力手段２１ｂによ
って撮像された一対の画像のステレオ画像が入力され
る。このステレオ画像は、光軸を所定の距離はなして同
一の解像度、同一の焦点距離の二つのカメラで撮像され
る。

【００４６】次にランダムドットパターンについて説明
する。図６（ｂ）に示したランダムドットは、この実施
の形態２では、１２８×１２８の解像度で構成され、各
画素は正方形であり、計算機によって一様乱数的に各画
素ごとに白か黒かの値が割り当てられ、白と黒の画素数
の比率はほぼ１：１となっている。パターン投光器３０
には投影パターンの焦点を調節する機構が設けられてお
り、投光器と対象物体の大まかな距離がわかっている場
合にはそのデータをもとに物体表面で合焦するように焦
点が調節される。あらかじめ全く距離がわかっていない
場合には、事前に調整された距離において焦点が合うよ
うに動作する。

【００４７】ステレオ画像ペアの入力が終ると、ステッ
プＳＴ２０４でランダムテクスチャパターン投光手段２
０がＯＦＦされる。次にステップＳＴ２０５でステレオ
画像がブロック対応付段２２によってステレオ画像が処
理される。図７（ａ）および（ｂ）は対象物体を撮影し
たステレオ画像の一対の画像である。図７（ａ）を左画
像、図７（ｂ）を右画像と呼ぶこととする。ブロックマ
ッチングは右画像を図のように格子状の小ブロックに分
割することから行なう。いま、分割されて生成された複
数の小ブロックのうち、注目しているブロックｂＲを注
目ブロックと呼ぶ、実際には左および右画像には上記ラ
ンダムドットパターンが投影されているが、図を簡略化
するためにここではパターンは描いていない。この注目
ブロックｂＲに対応する左画像上での位置を探索する。
別途設定した探索範囲の中でｂＲと同じパターンを有す
るパターンを探索する。探索の方法として累積差分絶対
値最小化による探索を採用する。これは左画像上の探索
範囲の中を注目ブロックｂＲを動かしながら逐次重ね合
わせ、その類似性がもっとも良くなる位置をもって対応
点とするものである。この際、類似性の評価としては、
累積差分絶対値を用いる。例えば、注目ブロックをｂＲ
（ｉ，ｊ）、左画像をｂＬ（ｉ，ｊ）、ブロックサイズ
をＮ×Ｎとすると、左画像上の位置（ｄｘ，ｄｙ）にお
ける累積差分絶対値Ｓ_SAD（ｄｘ，ｄｙ）は、（式１）
で表される。この実施の形態２．ではＮ＝１６である。

【００４８】

【数１】

【００４９】（式１）で求めたＳ_SADが最小になる（ｄ
ｘ，ｄｙ）を検出することで、注目ブロックｂＲに対応
する左画像上のブロックｂＬが見つかったことになる。
ステレオ法は、このようにして得たブロック間の位置か
ら、その差を視差とし、三角測量の原理よってカメラか
ら物体までの距離を得る方法である。以上説明した一連
のブロック対応付処理を右画像上のすべての小ブロック
に対して繰り返して行い、各ブロックごとに対応する左
画像上の位置を探索し、距離画像を生成する。

【００５０】これ以降は実施の形態１と同じである。ス
テップＳＴ２０６において、最上段面領域抽出手段１３
によって距離画像から最上段物体面に相当する領域が抽
出され、続くステップＳＴ２０７では、第一の画像入力
手段２０ａ、または第二の画像入力手段２０ｂによって
撮像された濃淡原画像が濃淡原画像格納手段１５に格納
される。この時は当然のことながらランダムドットパタ
ーンは投影されていない。ステップＳＴ２０８では、物
体寸法データベース１６に格納されている認識対象物体
の寸法データを使って、２次元基準パターン生成手段１
７によって２次元基準パターンが自動的に生成される。

【００５１】ステップＳＴ２０９では、上記最上段面領
域が抽出された画像は、最上段面とそれ以外の面の２つ
に分けられ、２値化され、最上段物体候補抽出手段１４
によって最上段物体候補の一つが抽出される。ステップ
ＳＴ２１０では、抽出された一つの物体候補の位置近傍
に関し、上記２次元基準パターンと物***置検出手段１
５に格納された濃淡原画像情報を用いて、物***置検出
手段１８によって候補物体の精密な位置が計測され検出
される。ステップ２１１で、決定した候補物体の２次元
位置は、情報統合手段１９によって前記距離画像情報と
統合され、ステップＳＴ２１２で全ての物体を認識した
と判断するまで、ステップＳＴ２０９からＳＴ２１１ま
での処理が繰り返され、ステップＳＴ２１２の判断が全
ての物体が認識したと判断されれば、最終的に物体の３
次元情報として出力される。

【００５２】ステップＳＴ２０９からＳＴ２１１までの
処理によってすべての物体を認識したと判断されればス
テップＳＴ２１３で処理を終了する。すべての物体が認
識されたかどうかの判定は、上記最上段面領域が抽出さ
れた２値化された距離画像をもとに順次物体の位置が確
定したものを消去し、なおかつ画像上に残っている最上
段面領域が存在するか否かを調べることによって行う。

【００５３】以上説明したように、この実施の形態２．
では、認識対象物体に対してランダムドットパターンを
投光するので、例えば表面に図柄の存在しない無地の段
ボール箱であっても、その表面各位置における距離デー
タを得ることが可能であり、物体表面に宛先ラベルなど
の位置不定なテクスチャに影響されないステレオ画像を
得ることが可能である。またステレオ対応づけのための
マッチング処理も単純なブロックマッチングを適用する
ことができる。

【００５４】なお、この実施の形態２ではカメラの解像
度として、カメラ視野に対して１２８×１２８画素のラ
ンダムドットパターンを投影したが、認識対象のサイズ
によってはさらに細かいか、または粗いドットパターン
を投影しても良く、またブロックマッチングのブロック
サイズとして１６×１６画素のサイズを採用したが、８
×８画素、３２×３２画素等でもよい。また、ブロック
の形状も必ずしも正方形でなくても良い。さらにマッチ
ング時の探索範囲は、図７では長方形に設定したが、状
況に応じてさまざまに変化させることでマッチングの信
頼性を向上させたり処理時間を短縮することもできるこ
とは一般のステレオ対応と同様である。

【００５５】さらに、この実施の形態２では、ランダム
ドットパターンとして白黒の２値正方形ドットを用いた
が、例えば濃淡をつけたドットパターンや着色したパタ
ーンであっても良い。また形状についてもさまざまな大
きさのさまざまな形状のマークを組み合わせて使用して
も良く、また、パターン投光器と対象物体との幾何学的
位置関係については、物体に対して鉛直上方から真下に
向けてパターンを投影する例を示したが、斜めから投影
しても同様に距離画像が検出できる。

【００５６】また投光するパターンとしてランダムな位
置に発生させたドットパターンを使った例を示したが、
ブロック対応づけ処理において対応点を探索する場合に
ほとんど水平方向の探索になることを考えると、例えば
周期のランダムな縦スリット群、あるいは幅のランダム
な縦スリット群をパターンとして投影しても同様の効果
を奏することはいうまでもない。

【００５７】また、パターン投光器の構成方法に関して
は、特に詳しく説明しなかったが、ランダムドットの投
影位置精度は高精度が不必要であり、処理の途中で投影
パターンを変化させる必要がないことから、例えば従来
技術で示したように、液晶プロジェクタのような複雑な
投影装置は不要であり、たとえば通常の家庭用のスライ
ド上映機のような簡単な構成の装置で十分である。この
ことは本発明の装置構成上の利点の一つである。

【００５８】実施の形態２は、既に述べたように、認識
対象物体として段ボール箱、即ち手面体状の物体を想定
して動作を説明したが、その他の形状の物体、例えばセ
メント袋のような袋状の物体であっても本発明の構成に
より容易に距離画像を生成することができ、前記本実施
例における認識手順により対象物の３次元的位置を計測
することができる。なお、距離画像生成より以降の処理
については前述の実施の形態１と同じである。即ち２次
元基準パターンとして物体のコーナー部分や直線輪郭部
をもち、それぞれの認識対象との位置決め結果を統合す
ることで最終的な物***置検出が可能である。このよう
に実施の形態２は物体の形状が多面体の場合だけでな
く、袋のような形状その他の場合でも物体の３次元情報
を認識することができる。

【００５９】実施の形態３． 実施の形態３の構成を示すブロック図を図８、動作の流
れを示すフローチャートを図９に示す。図１０は低解像
度距離画像から段差領域部を抽出し、高解像度距離画像
の段差領域部のみ高解像度のステレオ対応付行う状況の
説明図である。図８において、１３〜１９は、実施の形
態２．と同一機能を有するものであり説明は省略する。
３１は画像入力手段２１が低解像度で撮像したステレオ
画像から低解像度の距離画像を生成する低解像度ブロッ
ク対応付手段、３２は低解像度で段差領域を抽出する段
差領域抽出手段、３３は低解像度の画像から抽出した段
差領域部について高解像度の距離画像を生成する高解像
度ブロック対応付手段、３４は低解像度距離画像と、こ
の距離画像から抽出した段差領域部の高解像度距離画像
とを合成する距離画像合成手段である。

【００６０】ステップＳＴ３０１で電源がＯＮされ起動
すると、ステップＳＴ３０２で、ランダムテクスチャパ
ターン投光手段２０のランプ電源がＯＮされ、認識対象
物に対してランダムドットパターンが投影される。ステ
ップＳＴ３０３では、一対のカメラで構成される画像入
力手段２１により一対の画像のステレオ画像が低解像度
ブロック対応付手段３１および高解像度ブロック対応付
手段３２に入力される。ステレオ画像が入力が終わると
ステップＳＴ３０４でランダムテクスチャパターン投光
手段２０はＯＦＦする。ステップＳＴ３０５では第一の
画像入力手段２１ａまたは第二の画像入力手段２１ｂか
ら対象物体の濃淡画像が濃淡画像格納手段に１５に格納
される。

【００６１】ステップＳＴ３０６では、低解像度ブロッ
ク対応づけ手段３１によってステレオ画像が処理され
る。図１０（ａ）は低解像度ブロック対応付手段３１に
よって得られた低解像度距離画像部分Ａを摸式的に表し
た図である。画像入力手段として５１２×５１２画素の
解像度のＣＣＤカメラを使用しているが、低解像度距離
画像としては３２×３２画素の距離画像を生成し、ブロ
ックマッチングの方法は実施の形態１で示した方法と同
様の方法で行い、例えばブロックサイズを１６×１６画
素にすることで得られる。ステップＳＴ３０７では上記
低解像度距離画像をもとに、段差領域抽出手段３２で対
象物の段差領域部分Ｂを抽出する。段差領域部分Ｂの摸
式図を図１０（ｂ）に示す。ステップＳＴ３０８では、
高解像度ブロック対応付手段３３により、上記段差領域
部分（Ｂ−Ａの斜線部分）についてのみ、より高解像度
の距離画像を生成する。この場合は高解像度とは１２８
×１２８画素である。この処理はブロックマッチング処
理においてブロックサイズを８×８に設定し、かつ、ブ
ロックを４画素づつずらしながら対応点を検出すること
で得られ、図１０（ｃ）に段差領域部分の距離画像Ｃを
示す。図１０（ｃ）において、斜線部分（Ｂの枠内）は
低解像度距離画像から得られた物体の段差領域、灰色の
部分（Ｃの枠内）は、高解像度距離画像生成の結果新た
に得られた距離画像の段差領域部分に相当する部分であ
る。ステップＳＴ３０９では、距離画像合成手段３４に
よって上記低解像度距離画像と高解像度距離画像を合成
し、図１０（ｄ）のような１２８×１２８の解像度の距
離画像が得られる。

【００６２】ステップＳＴ３１０以降は、実施の形態
２．と同様に処理される。ステップ３１０では、最上段
面領域抽出手段１３により、距離画像から最上段物体面
に相当する最上段領域が抽出され、ステップＳＴ３１１
では、物体寸法データベース１６に格納されている認識
対象物体の寸法データを使って、２次元基準パターン生
成手段１７によって２次元基準パターンが自動的に生成
される。ステップＳＴ３１２では、上記最上段面領域が
抽出された画像が、最上段面とそれ以外の面の２つに分
けられて２値化され、最上段物体候補抽出手段１４によ
って最上段物体候補の一つが抽出される。ステップＳＴ
３１３では、抽出された一つの物体候補の位置近傍に関
し、上記２次元基準パターンと、上記濃淡原画像情報を
用いて、物***置検出手段１８によって候補物体の精密
な位置が計測され検出される。このようにして決定した
候補物体の２次元位置は、情報統合手段１９によって上
記合成された高解像度の距離画像情報と統合され、最終
的に物体の３次元情報として出力する。ステップＳＴ３
１４では、ステップＳＴ３１２、ＳＴ３１３の処理によ
って、すべての物体を認識したか、否かの判断を行い認
識したと判断されればステップＳＴ３１５で処理を終了
となり、認識していない物体がまだ存在すると判断され
れば、ステップＳＴ３１２、ＳＴ３１３に戻って物体候
補を抽出する処理を繰り返す。すべての物体が認識され
たかどうかの判定は、上記最上段面領域が抽出された２
値化された距離画像をもとに順次物体の位置が確定した
ものを消去し、なおかつ画像上に残っている最上段面領
域が存在するかどうか調べることによって行う。

【００６３】以上のように、この実施の形態３は、最終
的に高解像度の距離画像を得るために、予め低解像度の
距離画像を短時間で得ておき、物体の段差部分に相当す
る領域に限定して高解像度のステレオ対応付処理を行な
うことにして、少ない演算時間で高い解像度の距離画像
を生成することを可能としたものであり、物体候補の抽
出精度等も向上させることができる。

【００６４】低解像度距離画像は３２×３２画素、高解
像度距離画像は１２８×１２８画素として使用したが、
許容される処理時間や認識したい対象物体の寸法などを
考慮して、これと異なる解像度を設定してもよく、高速
処理の低解像度距離画像生成の時間と、高解像度ステレ
オ対応付処理の組合せによるメリットは失われることは
ない。

【００６５】また、低解像度距離画像生成時のステレオ
画像と、高解像度距離画像生成時のステレオ画像を同じ
画像として構成したが、低解像度ステレオ画像として、
フル解像度（ＣＣＤカメラ解像度と同じ解像度）の画像
を１／２や１／４などに縮退させて得た縮退画像をもと
にブロックマッチングを行なってもよい。さらに、高解
像度距離画像生成時には第一および第二の画像入力手段
２１のＣＣＤカメラのレンズをズームアップさせ、低解
像度距離画像における物体の段差部分をより詳細に撮像
するようにしても良い。

【００６６】さらに、対象物体に投影するランダムドッ
トパターンを一定のパターンとしたが、２種類の異なる
大きさのドットパターン投光器を用意し、低解像度距離
画像生成時には大きなドットパターン投影を行ない、高
解像度距離画像生成時にはより小さなドットパターン投
影を行なうように変形して実施すれば、精度の高い距離
画像が得られる。

【００６７】実施の形態４． 実施の形態４の構成を示すブロック図を図１１、動作の
流れを示すフローチャートを図１２に示す．図１１にお
いて、１１〜１３、１５〜１７、１９、２１は実施の形
態１と同一機能を有するものであり説明は省略する。図
において、６４は物体候補組合せ仮説生成手段、６５は
仮説妥当性検証手段、６９は物***置検出手段である。

【００６８】ステップＳＴ６０１で、装置が起動される
と、画像入力手段１１の２つのカメラで対象物体の画像
が距離画像生成手段１２に入力され、個別に格納され
る。２つのカメラは、光軸を共有しない同一の仕様のも
のが使用される。ステップＳＴ６０２で、距離画像生成
手段１２によって上記２枚のステレオ画像がステレオマ
ッチングされ、その視差から距離画像が生成される。

【００６９】ステップＳＴ６０３で、画像入力手段１１
により撮像された濃淡原画像が濃淡原画像格納手段に格
納される。この実施の形態６．の認識対象とする物体の
濃淡原画像を図１３（ａ）に示す。物体は段ボール箱等
の箱状の物体であり、それらが何段かに積載されてい
る。ステップＳＴ６０４で距離画像はから、最上段面領
域抽出手段１３によって、最上段物体の上面部分の画像
から領域として抽出される。図１３（ｂ）は、抽出され
た最上段物体領域である。図のように、最上段以外の領
域も示されている。

【００７０】ステップＳＴ６０５では、箱状物体の寸法
データを格納した物体寸法データベース１６に格納され
たデータを用いて、２次元基準パターン生成手段１７に
よって物体の２次元的な画像パターンを表現した基準パ
ターンを自動的に生成する。図１３（ｃ）にその基準パ
ターンの摸式図を示す。

【００７１】以下の動作の説明が、この実施の形態４の
本質となる部分である。ステップＳＴ６０７において、
物候補組合せ仮説生成手段６４によって、上記抽出され
た最上段面領域と２次元基準パターンとから、物体候補
の組合せ仮説が一つ生成される。仮説とは図１３（ｃ）
に示されたようなものであり、この実施の形態４では、
この仮説を「仮説１」と呼ぶ。仮説は図１３（ｂ）のよ
うな最上段物体領域を画像で表現したものに対し、認識
対象物の基準パターンをパターンマッチング、例えばテ
ンプレートマッチングの技法によって処理し、図１３
（ｂ）のような最上段面領域を形成する２次元基準パタ
ーンの組合せを類推することによって得られる。また、
同時に、物***置検出手段６９によって図１３（ｄ）の
ように物体２次元的位置が検出される。物***置検出
は，上記格納された濃淡原画像と上記２次元基準パター
ンとの比較によって行う。２次元基準パターンの輪郭部
分の情報を用い、上記濃淡画像から検出したエッジ画像
との間でテンプレートマッチング行なう。その際、仮説
生成の段階で物体の粗い位置は既知なので、テンプレー
トマッチング処理におけるパターン探索領域は上記位置
近傍のみでよい。

【００７２】ステップＳＴ６０８では、上記仮説が妥当
であるか否かが検証される。仮説妥当性検証手段６５は
図１３（ｄ）のような仮説画像を生成し、物体候補１か
ら６までの６個の物体の組合せによって、図１３（ｂ）
のような最上段面領域が合理的に生成され得るかどうか
を計算する。即ち、上記６個の物体候補によって生成さ
れる仮説画像と、最上段面画像とを比較し、その差とな
る領域の面積を算出して上記面積が大きいほど誤った仮
説であると判定するように動作する。ステップＳＴ６０
８ではこのようにステップＳＴ６０６で生成した一つの
仮説に対し、その妥当性指標を一つ与える。上記面積の
逆数が妥当性指標となる。

【００７３】ステップＳＴ６０９では、ステップＳＴ６
０６からＳＴ６０８までの処理を考えられる仮説をすべ
て生成するまで繰り返し、ステップＳＴ６１０では、仮
説をすべて生成し、それらの中でもっとも妥当性の高い
仮説を選択する。即ち、各仮説についての前記妥当性指
標を比較し、最も高い指標を持つ仮説を選ぶ。図１３
（ｅ）（ｆ）は、それぞれ別の仮説２および仮説３であ
る。図から明らかなように、この場合は仮説２が最も高
い妥当性指標を持つのでこれが最もよい仮説として、ス
テップＳＴ６１０において選択されることになる。

【００７４】ステップＳＴ６１１では、情報統合手段１
９によって、上記の最もよい仮説に相当する２次元位置
情報と前記距離画像が統合され、ステップＳＴ６１２で
認識結果として装置から出力されて処理を終了する。

【００７５】この実施の形態４は、距離画像生成手段と
して２つのカメラによるステレオ視を用いたが、３つ以
上のカメラによるステレオ視、ランダムドット等の特徴
ある投光パターンの投光を併用したステレオ視、あるい
は従来技術として説明した空間コード化法による距離画
像生成手段でもよい。この実施の形態４は、距離画像か
ら得た認識結果の仮説を検証して尤もらしい結果を得る
ことに特徴があるので、距離画像の生成方法はどんなも
のでも良い。

【００７６】また、この実施の形態４は、仮説の妥当性
を検証する方法として、仮説画像と実際の画像との差を
もとに妥当性指標を計算する方法を用いたが、例えば、
上記仮説を得る際に計算されたテンプレートマッチング
の類似度のすべての候補物体に対する総和が大きいほど
妥当性が高いとするような指標を用いても同様の効果を
得ることができる。

【００７７】また、この実施の形態４では物***置の検
出方法として、基準パターンから得た物体の輪郭情報
と、濃淡原画像から生成したエッジ画像とをテンプレー
トマッチング手法により処理していたが、これを２値画
像のテンプレートマッチングなどの位置決め手法を用い
ても同様の効果得ることができる。

【００７８】さらに、この実施の形態４では、物体候補
の組合せ仮説の生成と検証を逐次行なうような処理フロ
ーを説明したが、多数の仮説を一度に生成して格納して
おき、それらの妥当性検証を一度に行って最も妥当性の
高いものを選択するようにしてもよい。

【００７９】さらに、実施の形態４では、すべての仮説
を生成するように説明したが、仮説は物体候補の組合せ
として得られることから、物体の組合せ最適化問題とし
て扱い、近似解を求めても同様の効果が得られる。

【００８０】実施の形態５． 実施の形態５の構成を示すブロック図を図１４、動作の
流れを示すフローチャートを図１５に示す。図１４にお
いて、１１〜１３、１５〜１９は実施の形態６．と同一
機能を有するものであり説明は省略する。７１は物体配
列基準データベース、７２は物体配列判定手段、７３は
警告発生手段である。

【００８１】この実施の形態５は、実施の形態４の構成
に、物体配列が誤って配列されているときに警告を発生
するように構成したものである。したがって、図１５の
フローのステップＳＴ７０１〜ＳＴ７１１は、図１２の
ステップ６０１〜６１１と同じである。

【００８２】ステップＳＴ７０１で装置が起動される
と、画像入力手段１１によって対象物体の画像が距離画
像生成手段に入力され、個別に格納される。ステップＳ
Ｔ７０２で、距離画像生成手段１２によって上記２枚の
画像がステレオマッチングされ、その視差から距離画像
が生成される。この処理は、必ずしも単純なステレオマ
ッチングである必要性はなく、例えば実施の形態２．に
示したようなパターン投光器を併用したステレオ視覚で
あってもよい。

【００８３】ステップＳＴ７０３では、画像入力手段１
１により認識対象物の濃淡原画像が入力され、濃淡原画
像格納手段１５に格納される。ステップＳＴ７０４で最
上段面領域抽出手１３により最上段面領域が抽出され
る。ステップＳＴ７０５では、箱状物体の寸法データを
格納した物体寸法データベース１６を用いて２次元基準
パターン生成手段１７によって物体の２次元的な画像パ
ターンを表現した基準パターンを自動的に生成する。ス
テップＳＴ７０６では、物体候補組合せ仮説生成手段６
４によって、上記抽出された最上段面領域と基準パター
ンとから、物体候補の組合せ仮説が一つ生成される。仮
説とは実施の形態６．で説明したと同様の図１３（ｄ）
に示されたようなものである。この実施の形態７．にお
いては、仮説は図１３（ｂ）のような最上段物体領域を
画像で表現したものに対し、認識対象物の基準パターン
をパターンマッチング、例えばテンプレートマッチング
の技法によって処理し、図１３（ｂ）のような最上段面
領域を形成する２次元基準パターンの組合せを類推する
ことによって得ている。ステップＳＴ７０７では、物体
位置検出手段６９によって図１３（ｄ）のように上記仮
説に含まれる候補物体それぞれの２次元的位置が検出さ
れる。物***置検出は、上記格納された濃淡原画像と、
上記２次元基準パターンの輪郭部分の情報を用い、濃淡
画像から検出したエッジ画像との間でテンプレートマッ
チングによって検出される。

【００８４】ステップＳＴ７０８では、上記複数の物体
候補によって生成される仮説画像と、最上段面画像とを
比較し、その差となる領域の面積を算出して大きいほど
誤った仮説である可能性が高いと判定する。ステップ７
０９では、ステップＳＴ７０６〜７０８の処理を考えら
れる仮説をすべて生成するまで繰り返し、ステップ７１
０では、仮説をすべて生成し、それらの中でもっとも妥
当性の高い仮説を選択する。即ち、各仮説についての前
記妥当性指標を比較し、最も高い指標を持つ仮説を選
ぶ。

【００８５】ステップＳＴ７１１では、情報統合手段１
９によって上記仮説で最もよい仮説に相当する２次元位
置情報と上記距離画像が統合される。この時点で、この
実施の形態５における画像処理装置は物体の配列および
各々の物体の３次元的位置を知ったことになり装置内部
に格納される。ステップ７１２では、物体配列判定手段
７２によって上記格納された認識結果が、予め用意され
た正しい配列データと比べて合致しているか否かが判定
される。正しい配列データは、物体配列基準データベー
ス７１に格納された被認識物体によって決められた配列
パターンである。例えば、この実施の形態５よる装置が
使用されるような物流工場においては、認識対象物体と
しての段ボール箱はその形状や寸法によって予め正しい
「積みパターン」と呼ばれるパレット上への箱の積み方
が決められている。

【００８６】上記物体配列基準データベースにはそのよ
うな基準とすべき物体の配列が記述されている。ステッ
プＳＴ７１２において認識した結果が基準となる積みパ
ターンと合致していない場合には、ステップＳＴ７１３
において、警告発生手段７３によって装置使用者や上位
システムの管理者に対して警告を発生して物体が正しく
積まれていないことを知らせる。この実施の形態５は、
ブザーによる音と、装置に接続された表示用ディスプレ
イ装置への文字表示によって警告が発生される。ステッ
プＳＴ７１２において認識結果が正しいパターンである
と判定された場合は、情報統合手段１９によって最終的
な物体認識結果が出力され、例えばロボットにデータが
送信されることによりロボットによる物体の把持動作が
行なわれることになる。認識動作としてはステップＳＴ
７１５で動作を終了する。

【００８７】この実施の形態５では、このように物体を
認識するだけでなく、その配列パターンを基準データと
比較することによって予想された配列なのかどうかを判
定し、さらに上記認識結果が基準データと異なる場合に
は警告を発生する機能を有している。これにより、作業
者が自分の積み作業ミスに気づいたり輸送中の激しい荷
崩れを検知できるという利点がある。

【００８８】なお、距離画像生成手段として２つのカメ
ラによるステレオ視を、仮説の妥当性検証の方法として
仮説画像と実際の画像との差をもとに検証する方法を、
そして物***置の検出方法として物体の輪郭情報を利用
したテンプレートマッチング手法をそれぞれ利用してい
る。しかし、これら部分的な処理手段処理手段は、他の
手法により実現しても同様の効果を奏することはいうま
でもない。例えば、距離画像生成手段として、実施の形
態２．で説明したパターンを併用するステレオ視を、仮
説の妥当性検証方法として各物体を濃淡基準パターンと
比較した類似度の総和が高いほど妥当性が高いと判断さ
れるような方法を物***置検出方法として仮説に含まれ
る各物体を予め用意した濃淡画像パターンと正規化相互
相関によるテンプレートマッチング法を、それぞれ採用
してもよい。

【００８９】また、認識結果が予め格納された物体配列
基準データベースと比較して合わないと判断した時に警
告を発生する例を説明したが、基準データとの類似度合
に応じて、警告の内容を変えて装置使用者や作業者に知
らしめるようにしてもよい。例えば、制御表示器に『自
動認識の結果判定された積み方の正しさはレベル８で
す』などと表示する。さらに認識した結果、積荷の荷崩
れ状態が非常に顕著であり、このまま作業を継続するこ
とが適当でないと判断される場合には上記警告を発生す
るだけでなく、上位の管理計算機にシステムの停止を要
求したり、または本装置が直接システム停止したりする
ようにしてもよい。

【００９０】さらに、警告手段としてブザーと表示器に
よる文字表示を採用したが、この他にも人間に警告を送
る手段として、合成された人間の声を発生させるなどの
方法を用いてもよい。

【００９１】

【発明の効果】この発明の請求項１に係る画像処理装置
は、複数の物体の距離画像を生成する距離画像生成手段
と、距離画像から物体の最上段面領域を抽出する最上段
面領域抽出手段と、最上段面領域から物体を個々に分離
して抽出する最上段物体候補抽出手段と、認識対象物体
の寸法データをもとに物体の２次元画像上での２次元基
準パターンを生成する２次元基準パターン生成手段と、
カメラから入力された濃淡原画像を格納する濃淡原画像
格納手段と、個別に抽出された最上段物体候補について
２次元基準パターンと濃淡原画像の情報を用いて物体の
位置を検出する物***置検出手段と、各手段で得られた
物***置の検出結果と距離画像生成手段とによって得ら
れた個々の物体の距離情報とを統合する情報統合手段と
を備えたものとしたことにより、認識対象物体が粗い距
離画像と２次元基準パターンのマッチングによって物体
候補が検出できるので、画像メモリは小さな容量のもの
でよくなり、画像入力時間が短くなり、個々の物体が三
次元的に明確に検出できる。

【００９２】この発明の請求項２に係る物体移載装置
は、複数の物体の距離画像を生成する距離画像生成手段
と、距離画像から物体の最上段面領域を抽出する最上段
面領域抽出手段と、最上段面領域から物体を個々に分離
して抽出する最上段物体候補抽出手段と、認識対象物体
の寸法データをもとに物体の２次元画像上での２次元基
準パターンを生成する２次元基準パターン生成手段と、
カメラから入力された濃淡原画像を格納する濃淡原画像
格納手段と、個別に抽出された最上段物体候補について
２次元基準パターンと濃淡原画像の情報を用いて物体の
位置を検出する物***置検出手段と、各手段で得られた
物***置の検出結果と距離画像生成手段とによって得ら
れた個々の物体の距離情報とを統合する情報統合手段と
を備えた画像処理装置を物体移載装置に組み合わせたも
のであり、このようにしたことにより、物体移載装置と
して、物体の検出時間が短く、位置は正確に検出され、
物体の移載は素早く正確に行うことができる。

【００９３】この発明の請求項３に係る画像処理装置
は、距離画像生成手段がランダムなテクスチャパターン
を投光するランダムテクスチャ投光手段と、ステレオ画
像を入力する第一の画像入力手段および第二の画像入力
手段と、第一および第２の画像入力手段が撮像した二つ
の画像間の対応付を行なうステレオ画像ブロック対応付
手段とで構成したので、認識対象物体に対してランダム
ドットパターンが投光されるため、表面に図柄のない無
地の物体、あるいは表面に光が反射するラベルが貼って
あっても、表面各位値のにおける距離データを正確に得
ることができる効果がある。

【００９４】この発明の請求項４に係る物体移載装置
は、距離画像生成手段がランダムなテクスチャパターン
を投光するランダムテクスチャ投光手段と、ステレオ画
像を入力する第一の画像入力手段および第二の画像入力
手段と、第一および第２の画像入力手段が撮像した二つ
の画像間の対応付を行なうステレオ画像ブロック対応付
手段で構成された画像処理装置を物体移載手段に組み合
わせたものであり、このようにしたことにより、認識対
象物体に対してランダムドットパターンが投光されるた
め、表面に図柄のない無地の物体、あるいは表面に光が
反射するラベルが貼ってあっても、表面各位値が正確に
得られ、物体移載装置として、物体の検出時間が短く、
物体の位置は正確に検出され、物体の移載は素早く正確
に行うことができる。

【００９５】この発明の請求項５に係る画像処理装置
は、距離画像生成手段が、解像度の粗い距離画像を生成
する低解像度距離画像生成手段と、低解像度距離画像か
ら物体の段差領域部を抽出する段差領域抽出手段と、段
差領域に対して高い解像度の距離画像を生成する高解像
度距離画像生成手段と、低解像度距離画像と高解像度距
離画像の解像度の異なる２つの距離画像を合成する距離
画像合成手段とで構成されたものとしたので、少ない画
像メモリで、短い演算時間で、高解像度の距離画像が生
成され、物体候補の抽出精度も高くすることができる効
果がある。

【００９６】この発明の請求項６に係る物体移載装置
は、距離画像生成手段が、解像度の粗い距離画像を生成
する低解像度距離画像生成手段と、低解像度距離画像か
ら物体の段差領域部を抽出する段差領域抽出手段と、段
差領域に対して高い解像度の距離画像を生成する高解像
度距離画像生成手段と、低解像度距離画像と高解像度距
離画像の解像度の異なる２つの距離画像を合成する距離
画像合成手段とで構成された画像処理装置を、物体移載
手段に組み合わせたものであり、短い演算時間で、高解
像度の距離画像が得られ、物体候補の抽出時間が短く、
抽出精度が高く、物体の位置は正確に検出され物体の移
載は素早く正確に行うことができる。

【００９７】この発明の請求項７に係る画像処理装置
は、積載された複数の物体の距離画像を生成する距離画
像生成手段と、距離画像から最上段に位置する物体の最
上段面領域を抽出する最上段面領域抽出手段と、最上段
面領域抽出手段の出力から物体候補の組合せを仮説とし
て複数列挙生成する物体候補組合せ仮説生成手段と、認
識対象物体の寸法データを格納する物体寸法データベー
スと、２次元基準パターンと濃淡原画像に含まれる情報
を使って上記仮説生成手段が生成した物体候補組合せ仮
説の妥当性を検証する仮説妥当性検証手段と、複数の仮
説のうち最も評価値の高い仮説をもとに認識を行ない、
この認識した画像と距離画像生成手段によって得られた
個々の物体の距離情報とを統合する情報統合手段とを備
えたものとし、距離画像から抽出された最上断面領域に
対して、対象物体の配置仮説から候補物体の位置を検出
するので、不規則に積載された対象物体においても正確
に位置を検出することができる。

【００９８】この発明の請求項８に係る物体移載装置
は、積載された複数の物体の距離画像を生成する距離画
像生成手段と、距離画像から最上段に位置する物体の最
上段面領域を抽出する最上段面領域抽出手段と、最上段
面領域抽出手段の出力から物体候補の組合せを仮説とし
て複数列挙生成する物体候補組合せ仮説生成手段と、認
識対象物体の寸法データを格納する物体寸法データベー
スと、２次元基準パターンと濃淡原画像に含まれる情報
を使って上記仮説生成手段が生成した物体候補組合せ仮
説の妥当性を検証する仮説妥当性検証手段と、複数の仮
説のうち最も評価値の高い仮説をもとに認識を行ない、
この認識した画像と距離画像生成手段によって得られた
個々の物体の距離情報とを統合する情報統合手段とを備
え、個々の対象物体の三次元位置情報を出力する画像処
理装置と物体移載手段と組み合わせたものとしたので、
不規則に積載された対象物体であっても正確に把持して
移載することができる。

【００９９】この発明の請求項９に係る画像処理装置
は、物体配列の基準となるデータを格納する物体配列基
準データベースと、仮説生成手段が生成した物体候補組
合せ仮説の妥当性を検証する仮説妥当性検証手段が認識
した画像と、基準データと比較して正しい配列かどうか
を判定する物体配列判定手段と、認識した画像が基準デ
ータに整合しないときに判定の結果を作業者に警告する
警告発生手段を有するものとしたので、認識物体の積み
パターンが基準となる積みパターンになっていない場合
に装置使用者や上位システムの管理者に正しく積まれて
いないことを警告し危険な状態を回避することができ
る。

【０１００】この発明の請求項１０に係る物体移載装置
は、物体配列の基準となるデータを格納する物体配列基
準データベースと、仮説生成手段が生成した物体候補組
合せ仮説の妥当性を検証する仮説妥当性検証手段が認識
した画像と、上記基準データと比較して正しい配列かど
うかを判定する物体配列判定手段と、認識した画像が基
準データに整合しないときに判定の結果を作業者に警告
する警告発生手段を有する画像処理装置と移載手段とを
組み合わせたものとしたので、認識物体の積みパターン
が基準となる積みパターンになっていない場合に装置使
用者や上位システムの管理者に正しく積まれていないこ
とを警告し危険な状態を回避することができる。

【図面の簡単な説明】

【図１】 この発明の実施の形態１の構成を示すブロッ
ク図である。

【図２】 実施の形態１の動作の流れを示すフローチャ
ートである。

【図３】 実施の形態１における各段階において生成さ
れた画像である。

【図４】 この発明の実施の形態２の構成を示すブロッ
ク図である。

【図５】 実施の形態２の動作の流れを示すフローチャ
ートである。

【図６】 ランダムドットパターンの照射説明図であ
る。

【図７】 ステレオ画像のブロックマッチングの説明図
である。

【図８】 この発明の実施の形態３の構成を示すブロッ
ク図である。

【図９】 実施の形態３の動作の流れを示すフローチャ
ートである。

【図１０】 低解像度距離画像から段差領域部を抽出
し、高解像度距離画像の段差領域部をのみ高解像度のス
テレオ対応を行う状況の説明図である。

【図１１】 この発明の実施の形態４の構成を示すブロ
ック図である。

【図１２】 実施の形態４の動作の流れを示すフローチ
ャートである。

【図１３】 物体候補仮説を用いて物体候補を抽出する
動作状況の各段階をを示す図ある。

【図１４】 この発明の実施の形態５の構成を示すブロ
ック図である。

【図１５】 実施の形態５の動作の流れを示すフローチ
ャートである。

【図１６】 従来の画像処理装置の処理手順を示す説明
図である。

【図１７】 図１６に示す処理動作のフローチャートで
ある。

【図１８】 パターン光を用いた空間コード化の原理を
示す図である。

【図１９】 他の従来例の距離画像計測システムの説明
図である。

【図２０】 従来の別の画像処理のステレオ対応探索装
置の説明図である。

【図２１】 従来の別の画像処理の図２０のフローチャ
ートである。

【符号の説明】

１１ 画像入力手段、１２ 距離画像生成手段、１３
最上段面領域抽出手段、１４ 最上段物体候補抽出手
段、１５ 濃淡原画像格納手段、１６ 物体寸法データ
ベース、１７ ２次元基準パターン生成手段、１８ 物
***置検出手段、１９ 情報統合手段、２０ ランダム
テクスチャパターン投光手段、２１ 画像入力手段、２
２ ステレオ画像ブロック対応付手段、３０ パターン
投光器、３１ 低解像度ブロック対応付手段、３２ 段
差領域抽出手段、３３ 高解像度ブロック対応付手段、
３４ 距離画像合成手段、６４ 物体候補組合せ仮説生
成手段、６５ 仮説妥当性検証手段、６９ 物***置検
出手段、７１ 物体配列基準データベース、７２ 物体
配列判定手段、７３ 警告発生手段。

Claims (10)

(57)【特許請求の範囲】
1. 【請求項１】 積載された複数の物体の距離画像を生成
   する距離画像生成手段と、距離画像から最上段に位置す
   る物体の最上段面領域を抽出する最上段面領域抽出手段
   と、最上段面領域から物体を個々に分離して抽出する最
   上段物体候補抽出手段と、認識対象物体の寸法データを
   格納する物体寸法データベースと、物体の寸法データを
   もとに物体の２次元画像上での標準的パターン画像を生
   成する２次元基準パターン生成手段と、カメラから入力
   された濃淡原画像を格納する濃淡原画像格納手段と、上
   記個別に抽出された最上段物体候補について、上記２次
   元基準パターンと上記濃淡原画像の情報を用いて物体の
   位置を検出する物***置検出手段と、上記各手段で得ら
   れた物***置の検出結果と距離画像生成手段によって得
   られた個々の物体の距離情報とを統合する情報統合手段
   とを備え、個々の対象物体の三次元位置情報を出力する
   画像処理装置。
2. 【請求項２】 積載された複数の物体の距離画像を生成
   する距離画像生成手段と、距離画像から最上段に位置す
   る物体の最上段面領域を抽出する最上段面領域抽出手段
   と、最上段面領域から物体を個々に分離して抽出する最
   上段物体候補抽出手段と、認識対象物体の寸法データを
   格納する物体寸法データベースと、物体の寸法データを
   もとに物体の２次元画像上での標準的パターン画像を生
   成する２次元基準パターン生成手段と、カメラから入力
   された濃淡原画像を格納する濃淡原画像格納手段と、上
   記個別に抽出された最上段物体候補について、上記２次
   元基準パターンと上記濃淡原画像の情報を用いて物体の
   位置を検出する物***置検出手段と、上記各手段で得ら
   れた物***置の検出結果と距離画像生成手段によって得
   られた個々の物体の距離情報とを統合する情報統合手段
   とを備え、個々の対象物体の三次元位置情報を出力する
   画像処理装置および物体を把持し移載する物体移載手段
   とを備え、上記画像処理装置の出力信号に基づいて物体
   を移載する物体移載装置。
3. 【請求項３】 距離画像生成手段は、ランダムなテクス
   チャパターンを投光するランダムテクスチャ投光手段
   と、ステレオ画像を入力する第一の画像入力手段および
   第二の画像入力手段と、上記第一および第２の画像入力
   手段が撮像した二つの画像間の対応付を行うステレオ画
   像ブロック対応付手段とで構成されていることを特徴と
   する請求項１記載の画像処理装置。
4. 【請求項４】 距離画像生成手段が、ランダムなテクス
   チャパターンを投光するランダムテクスチャ投光手段
   と、ステレオ画像を入力する第一の画像入力手段および
   第二の画像入力手段と、上記第一および第２の画像入力
   手段が撮像した二つの画像間の対応付を行うステレオ画
   像ブロック対応付手段で構成された画像処理装置と物体
   を把持し移載する物体移載手段とを備え、上記画像処理
   装置の出力信号に基づいて物体を移載する請求項２記載
   の物体移載装置。
5. 【請求項５】 距離画像生成手段は、解像度の粗い距離
   画像を生成する低解像度距離画像生成手段と、低解像度
   距離画像から物体の段差領域部を抽出する段差領域抽出
   手段と、段差領域に対して高い解像度の距離画像を生成
   する高解像度距離画像生成手段と、上記低解像度距離画
   像と高解像度距離画像の解像度の異なる２つの距離画像
   を合成する距離画像合成手段とで構成されていることを
   特徴とする請求項１記載の画像処理装置。
6. 【請求項６】 距離画像生成手段は、解像度の粗い距離
   画像を生成する低解像度距離画像生成手段と、低解像度
   距離画像から物体の段差領域部を抽出する段差領域抽出
   手段と、段差領域に対して高い解像度の距離画像を生成
   する高解像度距離画像生成手段と、上記低解像度距離画
   像と高解像度距離画像の解像度の異なる２つの距離画像
   を合成する距離画像合成手段で構成された画像処理装置
   と物体を把持し移載する物体移載手段とを備え、上記画
   像処理装置の出力信号に基づいて物体を移載する請求項
   ２記載の物体移載装置。
7. 【請求項７】 積載された複数の物体の距離画像を生成
   する距離画像生成手段と、距離画像から最上段に位置す
   る物体の最上段面領域を抽出する最上段面領域抽出手段
   と、最上段面領域抽出手段の出力から物体候補の組合せ
   を仮説として複数列挙生成する物体候補組合せ仮説生成
   手段と、認識対象物体の寸法データを格納する物体寸法
   データベースと、２次元基準パターンと濃淡原画像に含
   まれる情報を使って上記仮説生成手段が生成した物体候
   補組合せ仮説の妥当性を検証する仮説妥当性検証手段
   と、複数の仮説のうち最も評価値の高い仮説をもとに認
   識を行ない、この認識した画像と距離画像生成手段によ
   って得られた個々の物体の距離情報とを統合する情報統
   合手段とを備え、個々の対象物体の三次元位置情報を出
   力する画像処理装置。
8. 【請求項８】 積載された複数の物体の距離画像を生成
   する距離画像生成手段と、距離画像から最上段に位置す
   る物体の最上段面領域を抽出する最上段面領域抽出手段
   と、最上段面領域抽出手段の出力から物体候補の組合せ
   を仮説として複数列挙生成する物体候補組合せ仮説生成
   手段と、認識対象物体の寸法データを格納する物体寸法
   データベースと、２次元基準パターンと濃淡原画像に含
   まれる情報を使って上記仮説生成手段が生成した物体候
   補組合せ仮説の妥当性を検証する仮説妥当性検証手段
   と、複数の仮説のうち最も評価値の高い仮説をもとに認
   識を行ない、この認識した画像と距離画像生成手段によ
   って得られた個々の物体の距離情報とを統合する情報統
   合手段とを備え、個々の対象物体の三次元位置情報を出
   力する画像処理装置と物体を把持し移載する移載手段を
   備え、上記画像処理装置の出力信号に基づいて物体を移
   載する物体移載装置。
9. 【請求項９】 物体配列の基準となるデータを格納する
   物体配列基準データベースと、仮説生成手段が生成した
   物体候補組合せ仮説の妥当性を検証する仮説妥当性検証
   手段が認識した画像と、上記基準データと比較して正し
   い配列かどうかを判定する物体配列判定手段と、認識し
   た画像が基準データに整合しないときに判定の結果を作
   業者に警告する警告発生手段を有することを特徴とする
   請求項７記載の画像処理装置。
10. 【請求項１０】 物体配列の基準となるデータを格納す
    る物体配列基準データベースと、仮説生成手段が生成し
    た物体候補組合せ仮説の妥当性を検証する仮説妥当性検
    証手段が認識した画像と、上記基準データと比較して正
    しい配列かどうかを判定する物体配列判定手段と、認識
    した画像が基準データに整合しないときに判定の結果を
    作業者に警告する警告発生手段を有する画像処理装置と
    物体を把持し移載する移載手段とを備え、上記画像処理
    装置の出力信号に基づいて物体を移載する請求項８記載
    の物体移載装置。