JP4517449B2

JP4517449B2 - 画像における相関演算方法

Info

Publication number: JP4517449B2
Application number: JP2000136694A
Authority: JP
Inventors: 好克木村; 芳樹二宮; 充彦太田
Original assignee: Toyota Central R&D Labs Inc
Current assignee: Toyota Central R&D Labs Inc
Priority date: 2000-05-10
Filing date: 2000-05-10
Publication date: 2010-08-04
Anticipated expiration: 2020-05-10
Also published as: JP2001319229A

Description

【０００１】
【発明の属する技術分野】
本発明は、1 対のカメラにより物体を撮像し、その画像間のずれ量（視差）によりカメラから物体までの距離分布、又は物体を形成する面の面方向を検出する相関演算方法に関する。特に、画像を多重解像度化して物体までの距離分布を効率よく高速に算出する相関演算方法に関する。
本発明は、例えば車輌に搭載され車輌周囲の物体までの距離分布を高速に高密度に算出する距離分布検出装置に適用される。
【０００２】
【従来の技縮】
従来から、画像処理を利用した物体認識装置がある。例えば、特開平５−２６５５４７号公報に開示の車輌用車外監視装置はその一つである。それは、車輌に２台のカメラを搭載し、リアルタイムに物体を撮像して２画面の画像をステレオ照合処理することにより物体の位置、大きさ、距離を認識するシステムである。
所定の離間距離で配置された２台のカメラが前方の物体を撮像すれば、物体は左右の画像でＸ方向にずれて撮像される。これは、２台のカメラに視差が生じるためである。そして、その物体がカメラ近傍にあればその視差は大きくなり、遠方にあればその視差は小さくなる。ステレオ照合処理は、この原理を利用して物体との距離を検出する手法である。
【０００３】
従来の距離分布測定の手順を簡単に説明する。従来の距離分布測定は、先ず２台のカメラからそれぞれ物体の画像を入力し、それをA ／D 変換してデジタル化された画像データ（左右画像）とする。次に、左右画像から例えば４×４の小領域を切り出して相関演算を行い上記小領域の視差を求める。視差は、小領域間の例えばｘ方向へのずれ量である。このずれ量により、カメラから物体を構成する小領域までの距離、即ち物体までの距離が求められる。カメラの離間距離をＢ、焦点距離をｆ、ずれ量を△Ｘ画素とすればその物体までの距離ｚは次式で表される。この距離を小領域毎に求め、物体までの距離分布即ち物体形状や姿勢を算出していた。
【数1 】
ｚ＝ｆ・Ｂ／α△Ｘ
α＝撮像素子の１画素の大きさ・・・（１）
【０００４】
【発明が解決しようする課題】
しかしながら、特開平５−２６５５４７号公報に開示の車両用車外監視装置は、与えられた画像の全域に対して所定の領域（例えば４×４画素）で照合演算を行っていた。この場合、４画素置きに照合しているが高密度（１画素置き）照合にした場合はその演算量が膨大となり、例えば車載してリアルタイムで距離を検出するには適するものではなかった。
一般に、差分絶対値和を用いた画像間の相関演算において、画像サイズを縦Ｈ，横Ｖ、照合領域のサイズを縦Ｍ，横Ｎ、探索範囲をＤとすれば、相関Ｓは次式で与えられる。これは、画像サイズ、照合領域サイズ、探索範囲に比例して演算量が膨大になることを意味している。
【数２】
Ｓ＝Σ^H _y=0Σ^V _x=0Σ^D _d=0Σ^M _m=0Σ^N _n=0
｜Ｆ_r（x+m 、y+n ）−Ｆ_l（x+m +d、y+n ）｜・・・・・・（２）
但し、Ｆ（ｘ、ｙ）は座標（ｘ、ｙ）における画素強度であり、Ｆ_rは右画像、Ｆ_lは左画像を意味する。
【０００５】
本発明は上述した問題点を解決するためになされたものであり、その目的は物体画像を多重解像度化された階層画像に変換し、その各階層画像間の相関から次段の階層画像間の相関演算パラメータを確定することにより、物体までの距離分布を高速に高密度に得るとともに物体を形成する面の面方向を正確に求めることである。
【０００６】
【課題を解決するための手段】
この目的を達成するために請求項１に記載の物体認識装置によれば、複数の撮像装置により物体を撮像し、得られた一方の画像から複数の小領域画像を切り出し照合領域とし、各照合領域と他方との画像との相関演算により前記撮像装置から前記物体までの距離分布及び該物体を形成する面の面方向を検出する画像における相関演算方法であって、前記複数の画像に対してそれぞれ解像度の異なる複数の画像を生成し、解像度別に、階層の指数を示すＮ値が変化するに従ってその層の解像度とその面積が一様に変化するピラミッド構造の階層構造に画像を形成する多重解像度画像生成手段を備え、Ｎ，Ｍを整数とする時、Ｎ層間の相関演算によって前記各照合領域に対する各視差を求め、該各視差に基づいてＭ層の相関演算に対する照合領域とその探索領域を確定し、その確定された各照合領域と各探索領域で前記相関演算を行うことによって前記物体までの距離分布を求め、前記ピラミッド構造を形成する各層において、隣接する層の上位層の相関演算によって得られた結果よりその下位層の相関演算に対する前記照合領域と前記探索領域を算出し、それを逐次下位層に向かって繰り返すことによって最終的に前記ピラミッド構造の底面である第０層で前記相関演算を行い、前記各階層毎の演算により得られた距離分布から３点が選択できる階層の距離分布から、３点を選択して、その３点を通る平面方程式を決定し、その平面方程式から、前記物体を形成する面の面方向を検出することを特徴とする画像における相関演算方法である。
【０００７】
また、請求項２に記載の画像における相関演算方法によれば、選択された３点に対応する第０階層の画像の３点を求め、その第０画像の３点から、その３点を通る平面方程式を決定し、その平面方程式から、物体を形成する面の面方向を検出することを特徴とする。
【０００８】
【０００９】
又、請求項３に記載の画像における相関演算方法によれば、相関演算による相関の有無は、照合領域の画像と探索領域の画像間の差分絶対値和による相関最小値又は／及びその相関最小値を頂点とする頂角関連値で決定されることを特徴とする。
又、請求項４に記載の画像における相関演算方法によれば、各層の画像はエッジ画像であり照合領域はそのエッジ画像上に設定されることを特徴とする。
【００１０】
【発明の作用及び効果】
請求項１に記載の物体認識装置によれば、複数の撮像装置が物体を撮像して複数の画像を得る。そして、それらの画像を多重解像度画像生成手段によって、それぞれ解像度の異なる複数の画像を生成し解像度別に階層構造に画像を形成する。
この解像度の異なる複数の画像は、例えば所定領域内の画素強度の平均化、ガウシアンピラミッド（原画像のガウシアンフィルタによるサブサンプリング変換）、ウェーブレット変換（空間周波数別に画像を分解）等で行われる。
この時、例えば第０層が最も解像度の高い原画像であり、上位層に行くに従って解像度の低い低解像度画像となる。
【００１１】
そして、任意のＮ層の画像から小領域画像を切り出し照合領域とし、その照合領域を他方のＮ層の画像に対してＸ方向に沿って相関演算を行う。即ち、Ｎ層間の相関演算を行い、Ｎ層画像上に設定された各照合領域に対する各視差を求める。そして、その各視差に基づいてＭ層間の相関演算に対する照合領域とその探索領域を確定する。次いで、その確定された各照合領域と各探索領域でＭ層間の相関演算を行なう。即ち、Ｍ層の画像により物体までの距離分布と物体を形成する面の面方向が検出される。尚、この時Ｎ≠Ｍであり、ＮとＭは連続していてもよいし離散していてもよい。
【００１２】
ここで、Ｎ層を低解像度画像としＭ層を高解像度画像とする。Ｎ層の画像は、低解像度で且つその面積が小であるので、高速に画像間の相関演算が終了する。即ち、次処理であるＭ層間の相関演算に対する照合領域と探索領域が速かに算出され、確定される。即ち、Ｍ層間の相関演算での非相関領域での演算が省略される。即ち、効率よくＭ層間の相関演算が行われる。又、Ｍ層の画像はＮ層画像より高解像度であるので、物体までの距離分布が密に算出される。即ち、本発明の画像における相関演算方法を用いれば、高速、高密度に物体までの距離分布が算出できる。又、その距離分布から物体を形成する面の面方向も高速に高密度に算出される。
【００１３】
又、本発明の物体認識装置によれば、階層構造は階層の指数を示すＮ値が変化するに従ってその層の解像度とその面積が一様に変化するピラミッド構造である。
例えば、Ｎ＝０である第０層が原画像で最も解像度が高く、Ｎ値が増すに従って解像度が低くなりその面積が小となる。数層上の低解像度画像は、ピラミッド構造であるのでその処理面積（相関演算処理）は線形的に小となり高速に物体までの距離分布が算出される。
又、例えば物体が複雑形状であれば、上位層（Ｎ層）での相関演算を行う。そして、その結果からその下位層（Ｍ層）の照合領域と探索領域を確定する。ピラミッド構造であるので、照合領域と探索領域が容易に線形的に確定できる。よって、Ｍ層での相関演算がより高速に効率よく処理することができる。よって、高速に物体までの距離分布を高密度に求めることができる。
【００１４】
又、本発明の物体認識装置によれば、ピラミッド構造を形成する各層において、隣接する層の上位層の相関演算によって直下の下位層の相関演算に対する照合領域と探索領域を算出する。それを逐次行う。即ち、ピラミッド構造の頂点側の所定の層から下方にむかって逐次その下層の照合領域と探索領域が確定されて相関演算が行われる。これが、最終層まで繰り返される。
即ち、最終的にピラミッド構造の底面である第０層での相関演算が行われ、その結果から物体までの距離分布、又は物体を形成する面の面方向が算出される。
このように、解像度と画像の面積をピラミッド構造に形成し、低解像度層（上位層）から高解像度層（下位層）へと逐次、照合領域と探索領域が更新されて相関演算が行われるので効率的であるとともに確実に物体までの距離分布を求めることができる。又、その距離分布より物体を形成する面の面方向も確実に算出することができる。
【００１５】
又、請求項３に記載の物体認識装置によれば、相関の有無の決定に対して先ず照合領域の画像と探索領域の画像間の差分絶対値和が求められる。そして、それによる相関最小値又は／及びその相関最小値を頂点とする頂角関連値によって相関の有無が決定される。
ここで、頂角関連値とは、極小点とその両側の点で形成される頂角、頂角を形成する辺の傾き、又は頂角を含んで形成された多角形の面積等である。
【００１６】
例えば相関の有無は、相関演算結果の多数の極小値に対して吟味する。極小値が所定の閾値を大きく下回れば相関有りと判定し、照合領域と探索領域の離間距離を視差とする。
又、例えば相関最小値の候補が複数あれば、その極小値を含む上記頂角関連値を吟味する。頂角がより鋭角であればそれを相関最小値として、上記視差を求める。逆に、全ての極小値が所定の閾値より大きければ相関無しと判定する。
このように、相関の有無を相関最小値又は／及びその相関最小値を頂点とする頂角関連値で決定しているので、精度よく視差即ち物体までの距離分布と物体を形成する面の面方向が算出される。
【００１７】
又、請求項４に記載の画像における相関演算方法によれば、その画像はエッジ画像であり照合領域はそのエッジ画像上に設定されることを特徴とする。
エッジ画像は、例えばソーベル演算処理等によって得られるものであり、それにより物体の輪郭、稜及び物体を構成する各領域間の境界が強調される。そして、上記照合領域がそのエッジ上に設定されて、上記相関演算処理が行われる。上記照合領域は画像の全領域ではなく上記エッジ画像上にのみ設定されるので、相関演算量が著しく低減される。これにより、物体までの距離分布と物体の面方向を更に高速に求めることができる。
【００１８】
【発明の実施の形態】
（第１実施例）
図１に、本発明の画像における相関演算方法が適用される１実施例を示す。図は、距離分布算出装置のシステム構成図である。このシステムは、所定の離間距離で配置されたカメラ１０，１１、カメラ１０，１１から送出される映像信号を高速Ａ／Ｄ変換し、その解像度を多重にして階層構造の画像を生成する多重解像度画像生成手段である多重解像度生成部２０、多重解像度生成部２０によって生成された各層の画像をエッジ画像に変換する空間フィルタ部３０、空間フィルタ部３０によってエッジ化された各層をステレオ照合する相関演算部４０、相関演算部４０の結果から距離分布を算出する距離分布算出部５０、そして距離分布算出部５０から得られた各距離データから面方向を算出する面方向推定部６０から構成される。
ここでは、相関演算部４０は各層画像に対してステレオ照合を行うステレオ照合部４１ｉ（ｉ＝０・・・ｎ）で構成され、同一指数の層間でステレオ照合が行われるものとする。尚、画像間の相関演算とステレオ照合は同一意味である。以降、各層の画像間の相関演算をステレオ照合と記す。
【００１９】
又、上記多重解像度生成部２０、空間フィルタ部３０、相関演算部４０、距離分布算出部５０及び面方向推定部６０は、図示しないＣＰＵと演算処理プログラムが書かれた図示しないＲＯＭ及び作業領域メモリである図示しないＲＡＭから構成される。上記要素は、図示しない各種信号線からなるシステムバスより接続されており、上記ＣＰＵとＲＯＭに書かれた各種プログラムによってデータが授受されコントロ−ルされる。
【００２０】
図２に、本実施例の画像における相関演算方法の基本動作を示す。図は、フローチャートである。これにより、物体までの距離分布と物体を形成する面の面方向が高速に高密度に算出される。
先ず、図示しない開始スイッチにより上記プログラムがＯＮされ、ステップｓ１００から実行される。ステップｓ１００で、撮像装置であるカメラ１０，１１をＯＮして物体画像を撮像し、ステップｓ１１０でその入力画像をＡ／Ｄ変換して図示しないフレームメモリに取り込む。フレームメモリは、複数のＲＡＭから構成されるものであり、その１単位（１枚）はＣＣＤ撮像素子の各画素に対応した例えば総数５１２×５１２のＲＡＭである。任意の画素は座標（ｘ、ｙ）と強度Ｆで表され、その強度Ｆは例えば０〜２５５段階に階調化される。以降、この階調化された画像を画像データと呼ぶ。又この時、画面の左上角がｘｙ座標系の原点であり、水平方向にＸ軸、垂直方向にＹ軸を設定する。
【００２１】
次にステップｓ１２０に移行する。ステップｓ１２０では、上記多重解像度画像生成部２０によって画像が多重解像度化され、階層構造でＲＡＭに格納される。ここでは、原画像を最も解像度の高い高解像度画像とし、これをベースとして複数の解像度で画像が階層的に形成される。これらは、例えば特定の１画素の周囲画素を平均化して１画素とする領域内の平均化法、ガウシアンピラミッド、ウエーブレット変換等によって形成される。
【００２２】
図３に、平均化法を上層に向かって逐次行い画像を解像度別に構成した例を示す。第０層の最下位層が原画像である。例えば、原画像のサイズを５１２×５１２とすれば図においてＬ＝９であり、最上層（初期層）はＮ＝３で表わされる。
具体的には、この原画像を次式に従って逐次圧縮することによって形成される。
【数３】
Ｆ_N（ｘ、ｙ）＝１／４〔Ｆ_N-1（ｘ、ｙ）＋Ｆ_N-1（ｘ＋１、ｙ）＋Ｆ_N-1（ｘ、ｙ＋１）＋Ｆ_N-1（ｘ＋１、ｙ＋１）〕・・・・・（３）
ここで、Ｆ_N（ｘ、ｙ）はＮ層の座標（ｘ、ｙ）における各画素強度である。
上式は、原画像が上位層に行くに従って縦、横ともに１／２に圧縮する場合である。即ち、面積は１／４ずつ圧縮される。これは、又解像度もそれに比例して低下することを意味する。第０層〜第３層に階層化された画像の一例を図４に示す。
【００２３】
次いで、ステップｓ１３０に移行する（図２）。ステップｓ１３０では、各層が空間フィルタ処理される。これは、各画像の濃度変化を強調して処理を簡単化するためである。空間フィルタは、例えば１次微分、２次微分による画像の先鋭化である。例えば、１次元微分を用いれば物体がエッジ画像化される。エッジ画像とは、例えば、前方の物体の輪郭画像であり物体を構成する面と面の境界線画像である。次いで、ステップｓ１４０に移行する。
【００２４】
ステップｓ１４０では、エッジ化された画像に対して各層間においてステレオ照合が行われる。ステレオ照合は２画像間の一致点を探索する相関演算である。
図５に、各層におけるステレオ照合の一般フローを示す。先ず、ステップｓ１４１では演算量を最小にするため、何れか一方のエッジ画像上に照合領域であるブロックを設定する。そして、そのブロックを用いて他方のエッジ画像との差分絶対値を取る。即ち、差分絶対値和によるブロック相関が行われ、その結果複数の対応点候補（以下、視差候補）が得られる。視差候補とは上述の式（２）で求められる相関値の複数の極小点である。
尚、ステップｓ１４１において初回のＮ層に対するステレオ照合（ブロック相関）に対しては、上記照合領域はＲＯＭ上に与えられた所定値であり、探索領域は所定層の水平方向の全てである。２回目以降のＭ層に対するステレオ照合に対しては、ステップｓ１４４に詳述する様に更新された上記照合領域と探索領域が使用される。次いで、ステップｓ１４２に移行する。
【００２５】
ステップｓ１４２では、ステップｓ１４１で得られた視差候補が所定の条件を満たすか否かが判定される。即ち、各視差の信頼度が評価される（信頼度評価）。信頼度評価は、１つは各視差候補の各相関値と基準相関値（ｓＣｏｒｒ）との比較である。又、他の１つはその視差候補の頂角関連値である各相関勾配値と基準相関勾配値（ｓＧｒａｄ）との比較である。この両者又は何れか一方で信頼度を評価する。次いでステップｓ１４３に移行し、評価度の最も高い視差候補をその層における視差とする（視差の決定）。次いでステップｓ１４４に移行する。
【００２６】
ステップｓ１４４では、そのＮ層の視差を用いて他層（Ｍ層）の照合領域と探索領域を更新する。解像度画像はピラミット構造であるので、Ｍ層を探索する場合はその照合領域はそのピラミッド構造の傾斜に応じて決定される。例えば、照合領域がブロック形状であればそのブロックの各辺が線形係数によって所定倍されてＭ層の照合領域として更新される。
【００２７】
又、他層であるＭ層の探索領域も上記ステレオ照合の結果（視差）とピラミッド構造の線形係数により、概略その位置が確定される。例えば、Ｍ層をＮ層の次層とする。即ち、Ｍ＝（Ｎ−１）とする。Ｎ層と（Ｎ−１）層における探索領域の関係を図６に示す。これは、Ｎ層の画像サイズを（Ｎ−１）層に規格化したものである。即ち、Ｎ層の画像を（Ｎ−１）層の画像に合致する様に拡大したものである。ここで、Ｓ_Nが第Ｎ層の照合領域であり、Ｓ_N-1が第（Ｎ−１）層のそれである。第Ｎ層は圧縮されているので、規格化されると（Ｎ−１）層の照合領域により拡大される。例えば、４倍に拡大される。換言すれば、Ｎ層では大きい照合領域でステレオ照合されて視差が概略求められることになる。
【００２８】
又、Ｓ’_NはＮ層でのステレオ照合による一致領域である。即ち、信頼度が大と判定された合致領域である。これにより、視差ｄ_Nが概略決定される。そして、この概略視差ｄ_Nを用いて（Ｎ−１）層のステレオ照合における探索領域が更新される。即ち、領域Ｔ_N-1が（Ｎ−１）層のステレオ照合における探索領域となる。この時、領域Ｔ_N-1のｘ方向の幅Ｔ_{x (N-1)}は次式で与えられる。
【数４】
ｄ_N−△ｄ_N≦Ｔ_{x (N-1)}≦ｄ_N＋△ｄ_N ・・・・・・・・（４）
△ｄ_N：Ｎ層に固有の定数
ｄ_N：第Ｎ層の視差
【００２９】
これは、換言すれば（Ｎ−１）層を（４）式の範囲でステレオ相関すれば、合致領域が容易に求まることを意味する。即ち、水平方向に全ての領域に渡って探索する必要がない。即ち、処理時間が大幅に短縮されることを意味する。
従って、（Ｎ−１）層では、上記探索領域で同様のステレオ照合が行われ、より詳細により高速に視差ｄ_N-1が求められる。又、その視差ｄ_N-1も当然に次式を満たす。
【数５】
ｄ_N−△ｄ_N≦ｄ_N-1≦ｄ_N＋△ｄ_N ・・・・・・・・（５）
ｄ_N-1：第（Ｎ−１）層の視差
Ｍ層を次層とした場合は、このようにステップｓ１４４でその照合領域と探索領域が設定される。
【００３０】
次いでステップｓ１５０に移行する（図２）。ステップｓ１５０では、上述の式（１）に基づいて距離が算出される。例えば、照合領域はＭ層では多数に分割されて、その各々の視差に対して距離が算出される。即ち、距離分布が求められる（距離分布出力）。次いで、ステップｓ１６０に移行する。
ステップｓ１６０では、ステップｓ１５０で得られた距離分布、即ち複数の距離データを用いて平面方程式ａＸ＋ｂＹ＋ｃＺ＝０の係数を求める。例えば、最小２乗法等で求める。これにより、物体を形成する面の面方向が算出される。
【００３１】
上述の様に本実施例によれば、得られた画像を解像度多重化して上層の低解像度画像で概略の視差を得、それに基づいて他層の照合領域と探索領域を決定しているので、効率よくステレオ照合が行われ、その結果高速に高密度に物体までの距離分布を求めることができる。又、その距離分布を用いて物体を形成する面の面方向を求めることができる。
【００３２】
（第２実施例）
第１実施例の画像における相関演算方法は、多重解像度画像の任意層のＮ層とＭ層、特にＭ＝Ｎ−１層に関連した相関演算方法であった。例えば、Ｎ＝１であれば、１層でステレオ照合を行いその結果に基づいて第０層（原画像）で更にステレオ照合を行って、物体までの距離分布等を算出する例であった。
本実施例は、上記概念を拡張して複数層を用いて距離分布等を算出する例である。即ち、第１実施例の手法を複数回繰り返すことによって、更に効率よく高速に距離分布等を算出する例である。
【００３３】
図７に、ピラミッド構造に形成した多重解像度画像を第３層から下方に向かって第０まで処理する相関演算方法を示す。図は、フローチャートである。これは、第１実施例の図２におけるステップｓ１４０とステップｓ１５０の１例でもある。他のステップｓ１００〜ｓ１３０までは同一であるので省略する。
先ず、ステップｓ１７０で第３層間のステレオ照合を行う。ステップｓ１７０は、第１実施例の図５に示したステップｓ１４１〜ステップｓ１４４と同等である。即ち、第１実施例と同様にエッジ画像に対するブロック相関である。これにより、所定のブロックに対して視差が得られる。そしてステップｓ１７１に移行し、視差が距離に換算される。
【００３４】
次いでステップｓ１７２において、そのブロックにおける距離算出がチェックされる。距離算出のチェックは、第１実施例の信頼度評価に相当する。即ち、信頼度（例えば、相関値）が所定値より大きければ合致領域であるとしてｙｅｓ、即ちステップｓ１７３に移行する。
信頼度が所定値より小さければ合致領域無しとしてｎｏ、即ちステップｓ１９０に移行する。ステップｓ１９０では、最終ブロックか否かがチェックされて、次のブロックに移行するか又は終了する。
【００３５】
ステップｓ１７３では、第２層間においてステレオ照合が行われる。この時、照合領域と探索領域は第３層の処理（ステップｓ１４４）で既に更新されている。従って、新たに、例えば水平方向に全面に探索（相関演算）する必要がない。よって、極めて短時間にステレオ照合が実行され第２層の視差が算出される。そしてステップｓ１７５で同様にその視差から距離が算出され、ステップｓ１７６で同様にその信頼度が判定される。
ステップｓ１７０による第３層でのステレオ照合結果（距離画像）を図８（ａ）にステップｓ１７３による第２層でのそれを図８（ｂ）に示す。図８（ａ）のａ〜ｆが相関演算で合致した（距離が算出された）各ブロックである。第２層では、その各ブロックが４分割されてより詳細な距離分布が得られている。
【００３６】
上記１連の処理（ステップｓ１７３〜ステップｓ１７６）と同様の処理が第１層に対しても繰り返される。即ち、ステップｓ１７７〜ステップｓ１８０がそれである。そして、最後にステップｓ１８１で第０層に対してステレオ照合を行なって更に詳細な視差を得て、ステップｓ１８３で更に詳細な距離分布を得る。
このようにして、第３層から第０層に向かって逐次ステレオ照合が行われ、効率的に又確実に部物体までの距離分布が算出される。次いで、第１実施例と同様にステップｓ１６０に移行して物体を形成する面の面方向を推定する。
【００３７】
尚、上記のように距離分布が逐次算出される場合は第０層での距離分布の結果を待たずに、以下の処理で面方向を推定してもよい。面方向推定方法を図９のフローチャートに示す。
ステップｓ２００で第２層でのステレオ照合結果から距離画像を読み出す。第２層の距離画像は、図８（ｂ）のように４分割されより詳細に算出されている。次いで、ステップｓ２０１に移行する。ステップｓ２０１では、その距離画像に３つ以上データがあるか否かチェックする。３データ以上あれば面が特定されるのでステップｓ２０５に移行し、上述のように平面方程式に当てはめ平面を決定する。３データ以下であれば、平面が特定できないのでステップｓ２０２に移行する。
【００３８】
ステップｓ２０２では第１層の距離画像を読み出す。第１層の距離画像は、図示はしないが１６分割されより詳細に算出されている。次いで、ステップｓ２０３に移行する。ステップｓ２０３では、その距離画像に３つ以上データがあるか否かチェックする。３データ以上あれば、同様に面が特定されるのでステップｓ２０５に移行し平面を決定する。３データ以下であれば、平面が特定できないのでさらにステップｓ２０４に移行する。
【００３９】
ステップｓ２０４では、第０層の距離画像を読み出す。この距離画像は、原画像に対してステレオ照合が行われた結果である。又、その領域は６４分割されている。この領域に３つ以上データがあればステップｓ２０５に移行し、以下であればステップｓ２０７に移行する。ここでのデータは、最も精度の高い距離画像であるので、ステップｓ２０５では最も精度の高い面方向が得られる。次いでステップｓ２０７に移行する。
【００４０】
ステップｓ２０７では、第２層において全てのブロックに対して面方向の推定が終了したか否かをチェックする。最終ブロックでなければ、ステップｓ２００に移行して他のブロックについて同様の処理を繰り返す。最終ブロックであれば終了する。面方向の推定は、このように行っても良い。ピラミッド構造の中間層から面方向を推定すれば時間を短縮することができる。
【００４１】
上述の様に本実施例によれば、多重解像度画像の上層の低解像度画像から逐次次層の照合領域と探索領域を決定し、より詳細なステレオ照合を行なっている。
従って、より高密度により確実に物体までの距離分布を求めることができる。又、上述のように第０層に至るピラミッド構造の中間層で距離分布が求まれば、それを用いて物体を形成する面の面方向をより効率よく求めることができる。詳細に面方向を推定する場合は、最後の第０層まで逐次照合演算を行えばよい。それにより、面方向をより精度良く推定することができる。
【００４２】
（変形例）
以上、本発明を表わす１実施例を示したが、他にさまざまな変形例が考えられる。
例えば、第２実施例の面方向の算出では第２層、第１層、第０層までの距離画像を順次求めそれにより物体の面方向を求めたが、図１０に示す様にステップｓ２１０で第３層から照合領域（ブロック）を読み出し、ステップｓ２１１に移行して直接第０層からそのブロックに対応する距離画像を特定して読み出してもよい。そして、その距離画像からデータを抽出してステップｓ２０６に移行してもよい。このステップｓ２０６は、第２実施例のそれと同等である。
即ち、第２実施例における図９のステップｓ２００、ｓ２０１、ｓ２０２、ｓ２０３、ｓ２０４を図１０のステップｓ２１０、ｓ２１１に短縮してもよい。より効率的により高精度に面方向を推定することができる。
【００４３】
又、例えば、第１実施例の信頼度算出では頂角関連値として相関値勾配ｓＧｒａｄとの比較を用いたが、他の頂角関連値でもよい。例えば、極小点の頂角、所定の基準相関値（ｓＣｏｒｒ）とその相関曲線で囲まれる極小値側の面積としてもよい。又、第１実施例ではステレオ照合をエッジ化されたエッジ画像間で行ったが、階調化された画像データについて行うこともできる。
【図面の簡単な説明】
【図１】本発明の第１実施例に係る画像における相関演算方法が適用されるシステムブロック図。
【図２】本発明の第１実施例に係る画像における相関演算方法の処理手順を示すフローチャート。
【図３】本発明の第１実施例に係るピラミッド構造をした多重解像度画像の説明図。
【図４】本発明の第１実施例に係る多重解像度画像の各層を示す１例平面図。
【図５】本発明の第１実施例に係るステレオ照合の手順を示すフローチャート。
【図６】本発明の第１実施例に係るＮ層と（Ｎ−１）層の照合領域と探索領域の関係図。
【図７】本発明の第２実施例に係る多層の多重解像度画像に対する相関演算方法のフローチャート。
【図８】本発明の第２実施例に係るステレオ照合結果による第３層の距離画像（図８（ａ）と第２層の距離画像（図８（ｂ））の説明図。
【図９】本発明の第２実施例に係る面方向推定方法を示すフローチャート。
【図１０】本発明の変形例に係る面方向推定方法を示すフローチャート。
【符号の説明】
１０，１１カメラ
２０多重解像度画像生成部
３０空間フィルタ部
４０相関演算部
４０ｉステレオ照合部
５０距離分布算出部
６０面方向推定部

Claims

複数の撮像装置により物体を撮像し、得られた一方の画像から複数の小領域画像を切り出し照合領域とし、各照合領域と他方との画像との相関演算により前記撮像装置から前記物体までの距離分布及び該物体を形成する面の面方向を検出する画像における相関演算方法であって、
前記複数の画像に対してそれぞれ解像度の異なる複数の画像を生成し、解像度別に、階層の指数を示すＮ値が変化するに従ってその層の解像度とその面積が一様に変化するピラミッド構造の階層構造に画像を形成する多重解像度画像生成手段を備え、
Ｎ，Ｍを整数とする時、Ｎ層間の相関演算によって前記各照合領域に対する各視差を求め、該各視差に基づいてＭ層の相関演算に対する照合領域とその探索領域を確定し、その確定された各照合領域と各探索領域で前記相関演算を行うことによって前記物体までの距離分布を求め、
前記ピラミッド構造を形成する各層において、隣接する層の上位層の相関演算によって得られた結果よりその下位層の相関演算に対する前記照合領域と前記探索領域を算出し、それを逐次下位層に向かって繰り返すことによって最終的に前記ピラミッド構造の底面である第０層で前記相関演算を行い、
前記各階層毎の演算により得られた距離分布から３点が選択できる階層の距離分布から、３点を選択して、その３点を通る平面方程式を決定し、その平面方程式から、前記物体を形成する面の面方向を検出することを特徴とする画像における相関演算方法。
前記選択された３点に対応する前記第０階層の画像の３点を求め、その第０画像の３点から、その３点を通る平面方程式を決定し、その平面方程式から、前記物体を形成する面の面方向を検出することを特徴とする請求項１に記載の画像における相関演算方法。
前記相関演算による相関の有無は、照合領域の画像と探索領域の画像間の差分絶対値和による相関最小値又は／及び該相関最小値を頂点とする頂角関連値で決定されることを特徴とする請求項１又は請求項２に記載の画像における相関演算方法。
前記各層の画像はエッジ画像であり、前記照合領域は該エッジ画像上に設定されることを特徴とする請求項１乃至請求項３の何れか１項に記載の画像における相関演算方法。