JP2001319229A

JP2001319229A - Correlation calculation method for image

Info

Publication number: JP2001319229A
Application number: JP2000136694A
Authority: JP
Inventors: Yoshikatsu Kimura; 好克木村; Yoshiki Ninomiya; 芳樹二宮; Michihiko Ota; 充彦太田
Original assignee: Toyota Central R&D Labs Inc
Current assignee: Toyota Central R&D Labs Inc
Priority date: 2000-05-10
Filing date: 2000-05-10
Publication date: 2001-11-16
Anticipated expiration: 2020-05-10
Also published as: JP4517449B2

Abstract

PROBLEM TO BE SOLVED: To provide a correlation calculation method for calculating the distribution of distances up to an object at a high speed. SOLUTION: The image of an object is picked up by a pair of image pickup devices 10 and 11 and that image is made into a multi-resolution image in a pyramid structure by a multi-resolution image generating part 20. Next, the images of respective layers are made into edge images buy a spatial filter 30 for reducing an arithmetic quantity. Next, stereo collation is performed between the respective layers by a correlation operating part 40. At such a time, first of all, it is performed between the images, which are low-resolution images, of an upper layer and almost parallax is found. Besides, a correlation area and a search area corresponding to the stereo collation of the next layer are set by that parallax. By repeating such operation, the stereo collation to the final layer can be completed in a short time. Since the final layer is a source image, it becomes a high-density distance image equal with conventional one. Then, the distribution of distances to the object and the direction of a plane to form the object are calculated at a high speed by a distance distribution calculating part 50 and a plane direction estimating part 60.

Description

【発明の詳細な説明】【０００１】【発明の属する技術分野】本発明は、1 対のカメラによ
り物体を撮像し、その画像間のずれ量（視差）によりカ
メラから物体までの距離分布、又は物体を形成する面の
面方向を検出する相関演算方法に関する。特に、画像を
多重解像度化して物体までの距離分布を効率よく高速に
算出する相関演算方法に関する。本発明は、例えば車輌
に搭載され車輌周囲の物体までの距離分布を高速に高密
度に算出する距離分布検出装置に適用される。【０００２】【従来の技縮】従来から、画像処理を利用した物体認識
装置がある。例えば、特開平５−２６５５４７号公報に
開示の車輌用車外監視装置はその一つである。それは、
車輌に２台のカメラを搭載し、リアルタイムに物体を撮
像して２画面の画像をステレオ照合処理することにより
物体の位置、大きさ、距離を認識するシステムである。
所定の離間距離で配置された２台のカメラが前方の物体
を撮像すれば、物体は左右の画像でＸ方向にずれて撮像
される。これは、２台のカメラに視差が生じるためであ
る。そして、その物体がカメラ近傍にあればその視差は
大きくなり、遠方にあればその視差は小さくなる。ステ
レオ照合処理は、この原理を利用して物体との距離を検
出する手法である。【０００３】従来の距離分布測定の手順を簡単に説明す
る。従来の距離分布測定は、先ず２台のカメラからそれ
ぞれ物体の画像を入力し、それをA ／D 変換してデジタ
ル化された画像データ（左右画像）とする。次に、左右
画像から例えば４×４の小領域を切り出して相関演算を
行い上記小領域の視差を求める。視差は、小領域間の例
えばｘ方向へのずれ量である。このずれ量により、カメ
ラから物体を構成する小領域までの距離、即ち物体まで
の距離が求められる。カメラの離間距離をＢ、焦点距離
をｆ、ずれ量を△Ｘ画素とすればその物体までの距離ｚ
は次式で表される。この距離を小領域毎に求め、物体ま
での距離分布即ち物体形状や姿勢を算出していた。【数1 】ｚ＝ｆ・Ｂ／α△Ｘ α＝撮像素子の１画素の大きさ・・・（１）【０００４】【発明が解決しようする課題】しかしながら、特開平５
−２６５５４７号公報に開示の車両用車外監視装置は、
与えられた画像の全域に対して所定の領域（例えば４×
４画素）で照合演算を行っていた。この場合、４画素置
きに照合しているが高密度（１画素置き）照合にした場
合はその演算量が膨大となり、例えば車載してリアルタ
イムで距離を検出するには適するものではなかった。一
般に、差分絶対値和を用いた画像間の相関演算におい
て、画像サイズを縦Ｈ，横Ｖ、照合領域のサイズを縦
Ｍ，横Ｎ、探索範囲をＤとすれば、相関Ｓは次式で与え
られる。これは、画像サイズ、照合領域サイズ、探索範
囲に比例して演算量が膨大になることを意味している。【数２】Ｓ＝Σ^H _y=0Σ^V _x=0Σ^D _d=0Σ^M _m=0Σ^N _n=0 ｜Ｆ_r（x+m 、y+n ）−Ｆ_l（x+m +d、y+n ）｜・・・・・・（２）但し、Ｆ（ｘ、ｙ）は座標（ｘ、ｙ）における画素強度
であり、Ｆ_rは右画像、Ｆ_lは左画像を意味する。【０００５】本発明は上述した問題点を解決するために
なされたものであり、その目的は物体画像を多重解像度
化された階層画像に変換し、その各階層画像間の相関か
ら次段の階層画像間の相関演算パラメータを確定するこ
とにより、物体までの距離分布を高速に高密度に得ると
ともに物体を形成する面の面方向を正確に求めることで
ある。【０００６】【課題を解決するための手段】この目的を達成するため
に請求項１に記載の物体認識装置によれば、複数の撮像
装置により物体を撮像し、得られた一方の画像から小領
域画像を切り出し照合領域とし、該照合領域と他方との
画像との相関演算により前記撮像装置から前記物体まで
の距離分布又は該物体を形成する面の面方向を検出する
画像における相関演算方法であって、複数の画像に対し
てそれぞれ解像度の異なる複数の画像を生成し解像度別
に階層構造に画像を形成する多重解像度画像生成手段を
備え、Ｎ，Ｍを整数とする時、Ｎ層の相関演算によって
各照合領域に対する各視差を求め、その各視差に基づい
てＭ層の相関演算に対する照合領域とその探索領域を確
定し、その確定された各照合領域と各探索領域で相関演
算を行なって、物体までの距離分布又は物体を形成する
面の面方向を検出することを特徴とする。【０００７】又、請求項２に記載の画像における相関演
算方法によれば、階層構造は階層の指数を示すＮ値が変
化するに従ってその層の解像度とその面積が一様に変化
するピラミッド構造であることを特徴とする。【０００８】又、請求項３に記載の画像における相関演
算方法によれば、ピラミッド構造を形成する各層におい
て、隣接する層の上位層の相関演算によって得られた結
果よりその下位層の相関演算に対する照合領域と探索領
域を算出し、それを逐次下位層に向かって繰り返すこと
によって最終的にピラミッド構造の底面である第０層で
相関演算が行われることを特徴とする。【０００９】又、請求項４に記載の画像における相関演
算方法によれば、相関演算による相関の有無は、照合領
域の画像と探索領域の画像間の差分絶対値和による相関
最小値又は／及びその相関最小値を頂点とする頂角関連
値で決定されることを特徴とする。又、請求項５に記載
の画像における相関演算方法によれば、各層の画像はエ
ッジ画像であり照合領域はそのエッジ画像上に設定され
ることを特徴とする。【００１０】【発明の作用及び効果】請求項１に記載の物体認識装置
によれば、複数の撮像装置が物体を撮像して複数の画像
を得る。そして、それらの画像を多重解像度画像生成手
段によって、それぞれ解像度の異なる複数の画像を生成
し解像度別に階層構造に画像を形成する。この解像度の
異なる複数の画像は、例えば所定領域内の画素強度の平
均化、ガウシアンピラミッド（原画像のガウシアンフィ
ルタによるサブサンプリング変換）、ウェーブレット変
換（空間周波数別に画像を分解）等で行われる。この
時、例えば第０層が最も解像度の高い原画像であり、上
位層に行くに従って解像度の低い低解像度画像となる。【００１１】そして、任意のＮ層の画像から小領域画像
を切り出し照合領域とし、その照合領域を他方のＮ層の
画像に対してＸ方向に沿って相関演算を行う。即ち、Ｎ
層間の相関演算を行い、Ｎ層画像上に設定された各照合
領域に対する各視差を求める。そして、その各視差に基
づいてＭ層間の相関演算に対する照合領域とその探索領
域を確定する。次いで、その確定された各照合領域と各
探索領域でＭ層間の相関演算を行なう。即ち、Ｍ層の画
像により物体までの距離分布、又は物体を形成する面の
面方向が検出される。尚、この時Ｎ≠Ｍであり、ＮとＭ
は連続していてもよいし離散していてもよい。【００１２】ここで、Ｎ層を低解像度画像としＭ層を高
解像度画像とする。Ｎ層の画像は、低解像度で且つその
面積が小であるので、高速に画像間の相関演算が終了す
る。即ち、次処理であるＭ層間の相関演算に対する照合
領域と探索領域が速かに算出され、確定される。即ち、
Ｍ層間の相関演算での非相関領域での演算が省略され
る。即ち、効率よくＭ層間の相関演算が行われる。又、
Ｍ層の画像はＮ層画像より高解像度であるので、物体ま
での距離分布が密に算出される。即ち、本発明の画像に
おける相関演算方法を用いれば、高速、高密度に物体ま
での距離分布が算出できる。又、その距離分布から物体
を形成する面の面方向も高速に高密度に算出される。【００１３】又、請求項２に記載の物体認識装置によれ
ば、階層構造は階層の指数を示すＮ値が変化するに従っ
てその層の解像度とその面積が一様に変化するピラミッ
ド構造である。例えば、Ｎ＝０である第０層が原画像で
最も解像度が高く、Ｎ値が増すに従って解像度が低くな
りその面積が小となる。数層上の低解像度画像は、ピラ
ミッド構造であるのでその処理面積（相関演算処理）は
線形的に小となり高速に物体までの距離分布が算出され
る。又、例えば物体が複雑形状であれば、請求項１に記
載したように上位層（Ｎ層）での相関演算を行う。そし
て、その結果からその下位層（Ｍ層）の照合領域と探索
領域を確定する。ピラミッド構造であるので、照合領域
と探索領域が容易に線形的に確定できる。よって、Ｍ層
での相関演算がより高速に効率よく処理することができ
る。よって、高速に物体までの距離分布を高密度に求め
ることができる。【００１４】又、請求項３に記載の物体認識装置によれ
ば、ピラミッド構造を形成する各層において、隣接する
層の上位層の相関演算によって直下の下位層の相関演算
に対する照合領域と探索領域を算出する。それを逐次行
う。即ち、ピラミッド構造の頂点側の所定の層から下方
にむかって逐次その下層の照合領域と探索領域が確定さ
れて相関演算が行われる。これが、最終層まで繰り返さ
れる。即ち、最終的にピラミッド構造の底面である第０
層での相関演算が行われ、その結果から物体までの距離
分布、又は物体を形成する面の面方向が算出される。こ
のように、解像度と画像の面積をピラミッド構造に形成
し、低解像度層（上位層）から高解像度層（下位層）へ
と逐次、照合領域と探索領域が更新されて相関演算が行
われるので効率的であるとともに確実に物体までの距離
分布を求めることができる。又、その距離分布より物体
を形成する面の面方向も確実に算出することができる。【００１５】又、請求項４に記載の物体認識装置によれ
ば、相関の有無の決定に対して先ず照合領域の画像と探
索領域の画像間の差分絶対値和が求められる。そして、
それによる相関最小値又は／及びその相関最小値を頂点
とする頂角関連値によって相関の有無が決定される。こ
こで、頂角関連値とは、極小点とその両側の点で形成さ
れる頂角、頂角を形成する辺の傾き、又は頂角を含んで
形成された多角形の面積等である。【００１６】例えば相関の有無は、相関演算結果の多数
の極小値に対して吟味する。極小値が所定の閾値を大き
く下回れば相関有りと判定し、照合領域と探索領域の離
間距離を視差とする。又、例えば相関最小値の候補が複
数あれば、その極小値を含む上記頂角関連値を吟味す
る。頂角がより鋭角であればそれを相関最小値として、
上記視差を求める。逆に、全ての極小値が所定の閾値よ
り大きければ相関無しと判定する。このように、相関の
有無を相関最小値又は／及びその相関最小値を頂点とす
る頂角関連値で決定しているので、精度よく視差即ち物
体までの距離分布と物体を形成する面の面方向が算出さ
れる。【００１７】又、請求項５に記載の画像における相関演
算方法によれば、その画像はエッジ画像であり照合領域
はそのエッジ画像上に設定されることを特徴とする。エ
ッジ画像は、例えばソーベル演算処理等によって得られ
るものであり、それにより物体の輪郭、稜及び物体を構
成する各領域間の境界が強調される。そして、上記照合
領域がそのエッジ上に設定されて、上記相関演算処理が
行われる。上記照合領域は画像の全領域ではなく上記エ
ッジ画像上にのみ設定されるので、相関演算量が著しく
低減される。これにより、物体までの距離分布と物体の
面方向を更に高速に求めることができる。【００１８】【発明の実施の形態】（第１実施例）図１に、本発明の
画像における相関演算方法が適用される１実施例を示
す。図は、距離分布算出装置のシステム構成図である。
このシステムは、所定の離間距離で配置されたカメラ１
０，１１、カメラ１０，１１から送出される映像信号を
高速Ａ／Ｄ変換し、その解像度を多重にして階層構造の
画像を生成する多重解像度画像生成手段である多重解像
度生成部２０、多重解像度生成部２０によって生成され
た各層の画像をエッジ画像に変換する空間フィルタ部３
０、空間フィルタ部３０によってエッジ化された各層を
ステレオ照合する相関演算部４０、相関演算部４０の結
果から距離分布を算出する距離分布算出部５０、そして
距離分布算出部５０から得られた各距離データから面方
向を算出する面方向推定部６０から構成される。ここで
は、相関演算部４０は各層画像に対してステレオ照合を
行うステレオ照合部４１ｉ（ｉ＝０・・・ｎ）で構成さ
れ、同一指数の層間でステレオ照合が行われるものとす
る。尚、画像間の相関演算とステレオ照合は同一意味で
ある。以降、各層の画像間の相関演算をステレオ照合と
記す。【００１９】又、上記多重解像度生成部２０、空間フィ
ルタ部３０、相関演算部４０、距離分布算出部５０及び
面方向推定部６０は、図示しないＣＰＵと演算処理プロ
グラムが書かれた図示しないＲＯＭ及び作業領域メモリ
である図示しないＲＡＭから構成される。上記要素は、
図示しない各種信号線からなるシステムバスより接続さ
れており、上記ＣＰＵとＲＯＭに書かれた各種プログラ
ムによってデータが授受されコントロ−ルされる。【００２０】図２に、本実施例の画像における相関演算
方法の基本動作を示す。図は、フローチャートである。
これにより、物体までの距離分布と物体を形成する面の
面方向が高速に高密度に算出される。先ず、図示しない
開始スイッチにより上記プログラムがＯＮされ、ステッ
プｓ１００から実行される。ステップｓ１００で、撮像
装置であるカメラ１０，１１をＯＮして物体画像を撮像
し、ステップｓ１１０でその入力画像をＡ／Ｄ変換して
図示しないフレームメモリに取り込む。フレームメモリ
は、複数のＲＡＭから構成されるものであり、その１単
位（１枚）はＣＣＤ撮像素子の各画素に対応した例えば
総数５１２×５１２のＲＡＭである。任意の画素は座標
（ｘ、ｙ）と強度Ｆで表され、その強度Ｆは例えば０〜
２５５段階に階調化される。以降、この階調化された画
像を画像データと呼ぶ。又この時、画面の左上角がｘｙ
座標系の原点であり、水平方向にＸ軸、垂直方向にＹ軸
を設定する。【００２１】次にステップｓ１２０に移行する。ステッ
プｓ１２０では、上記多重解像度画像生成部２０によっ
て画像が多重解像度化され、階層構造でＲＡＭに格納さ
れる。ここでは、原画像を最も解像度の高い高解像度画
像とし、これをベースとして複数の解像度で画像が階層
的に形成される。これらは、例えば特定の１画素の周囲
画素を平均化して１画素とする領域内の平均化法、ガウ
シアンピラミッド、ウエーブレット変換等によって形成
される。【００２２】図３に、平均化法を上層に向かって逐次行
い画像を解像度別に構成した例を示す。第０層の最下位
層が原画像である。例えば、原画像のサイズを５１２×
５１２とすれば図においてＬ＝９であり、最上層（初期
層）はＮ＝３で表わされる。具体的には、この原画像を
次式に従って逐次圧縮することによって形成される。【数３】Ｆ_N（ｘ、ｙ）＝１／４〔Ｆ_N-1（ｘ、ｙ）＋Ｆ_N-1（ｘ＋１、ｙ）＋Ｆ_N- ₁ （ｘ、ｙ＋１）＋Ｆ_N-1（ｘ＋１、ｙ＋１）〕・・・・・（３）ここで、Ｆ_N（ｘ、ｙ）はＮ層の座標（ｘ、ｙ）におけ
る各画素強度である。上式は、原画像が上位層に行くに
従って縦、横ともに１／２に圧縮する場合である。即
ち、面積は１／４ずつ圧縮される。これは、又解像度も
それに比例して低下することを意味する。第０層〜第３
層に階層化された画像の一例を図４に示す。【００２３】次いで、ステップｓ１３０に移行する（図
２）。ステップｓ１３０では、各層が空間フィルタ処理
される。これは、各画像の濃度変化を強調して処理を簡
単化するためである。空間フィルタは、例えば１次微
分、２次微分による画像の先鋭化である。例えば、１次
元微分を用いれば物体がエッジ画像化される。エッジ画
像とは、例えば、前方の物体の輪郭画像であり物体を構
成する面と面の境界線画像である。次いで、ステップｓ
１４０に移行する。【００２４】ステップｓ１４０では、エッジ化された画
像に対して各層間においてステレオ照合が行われる。ス
テレオ照合は２画像間の一致点を探索する相関演算であ
る。図５に、各層におけるステレオ照合の一般フローを
示す。先ず、ステップｓ１４１では演算量を最小にする
ため、何れか一方のエッジ画像上に照合領域であるブロ
ックを設定する。そして、そのブロックを用いて他方の
エッジ画像との差分絶対値を取る。即ち、差分絶対値和
によるブロック相関が行われ、その結果複数の対応点候
補（以下、視差候補）が得られる。視差候補とは上述の
式（２）で求められる相関値の複数の極小点である。
尚、ステップｓ１４１において初回のＮ層に対するステ
レオ照合（ブロック相関）に対しては、上記照合領域は
ＲＯＭ上に与えられた所定値であり、探索領域は所定層
の水平方向の全てである。２回目以降のＭ層に対するス
テレオ照合に対しては、ステップｓ１４４に詳述する様
に更新された上記照合領域と探索領域が使用される。次
いで、ステップｓ１４２に移行する。【００２５】ステップｓ１４２では、ステップｓ１４１
で得られた視差候補が所定の条件を満たすか否かが判定
される。即ち、各視差の信頼度が評価される（信頼度評
価）。信頼度評価は、１つは各視差候補の各相関値と基
準相関値（ｓＣｏｒｒ）との比較である。又、他の１つ
はその視差候補の頂角関連値である各相関勾配値と基準
相関勾配値（ｓＧｒａｄ）との比較である。この両者又
は何れか一方で信頼度を評価する。次いでステップｓ１
４３に移行し、評価度の最も高い視差候補をその層にお
ける視差とする（視差の決定）。次いでステップｓ１４
４に移行する。【００２６】ステップｓ１４４では、そのＮ層の視差を
用いて他層（Ｍ層）の照合領域と探索領域を更新する。
解像度画像はピラミット構造であるので、Ｍ層を探索す
る場合はその照合領域はそのピラミッド構造の傾斜に応
じて決定される。例えば、照合領域がブロック形状であ
ればそのブロックの各辺が線形係数によって所定倍され
てＭ層の照合領域として更新される。【００２７】又、他層であるＭ層の探索領域も上記ステ
レオ照合の結果（視差）とピラミッド構造の線形係数に
より、概略その位置が確定される。例えば、Ｍ層をＮ層
の次層とする。即ち、Ｍ＝（Ｎ−１）とする。Ｎ層と
（Ｎ−１）層における探索領域の関係を図６に示す。こ
れは、Ｎ層の画像サイズを（Ｎ−１）層に規格化したも
のである。即ち、Ｎ層の画像を（Ｎ−１）層の画像に合
致する様に拡大したものである。ここで、Ｓ_Nが第Ｎ層
の照合領域であり、Ｓ_N-1が第（Ｎ−１）層のそれであ
る。第Ｎ層は圧縮されているので、規格化されると（Ｎ
−１）層の照合領域により拡大される。例えば、４倍に
拡大される。換言すれば、Ｎ層では大きい照合領域でス
テレオ照合されて視差が概略求められることになる。【００２８】又、Ｓ’_NはＮ層でのステレオ照合による
一致領域である。即ち、信頼度が大と判定された合致領
域である。これにより、視差ｄ_Nが概略決定される。そ
して、この概略視差ｄ_Nを用いて（Ｎ−１）層のステレ
オ照合における探索領域が更新される。即ち、領域Ｔ
_N-1が（Ｎ−１）層のステレオ照合における探索領域と
なる。この時、領域Ｔ_N-1のｘ方向の幅Ｔ_{x (N-1)}は次
式で与えられる。【数４】ｄ_N−△ｄ_N≦Ｔ_{x (N-1)}≦ｄ_N＋△ｄ_N ・・・・・・・・（４） △ｄ_N：Ｎ層に固有の定数ｄ_N：第Ｎ層の視差【００２９】これは、換言すれば（Ｎ−１）層を（４）
式の範囲でステレオ相関すれば、合致領域が容易に求ま
ることを意味する。即ち、水平方向に全ての領域に渡っ
て探索する必要がない。即ち、処理時間が大幅に短縮さ
れることを意味する。従って、（Ｎ−１）層では、上記
探索領域で同様のステレオ照合が行われ、より詳細によ
り高速に視差ｄ_N-1が求められる。又、その視差ｄ_N-1
も当然に次式を満たす。【数５】ｄ_N−△ｄ_N≦ｄ_N-1≦ｄ_N＋△ｄ_N ・・・・・・・・（５）ｄ_N-1：第（Ｎ−１）層の視差Ｍ層を次層とした場合は、このようにステップｓ１４４
でその照合領域と探索領域が設定される。【００３０】次いでステップｓ１５０に移行する（図
２）。ステップｓ１５０では、上述の式（１）に基づい
て距離が算出される。例えば、照合領域はＭ層では多数
に分割されて、その各々の視差に対して距離が算出され
る。即ち、距離分布が求められる（距離分布出力）。次
いで、ステップｓ１６０に移行する。ステップｓ１６０
では、ステップｓ１５０で得られた距離分布、即ち複数
の距離データを用いて平面方程式ａＸ＋ｂＹ＋ｃＺ＝０
の係数を求める。例えば、最小２乗法等で求める。これ
により、物体を形成する面の面方向が算出される。【００３１】上述の様に本実施例によれば、得られた画
像を解像度多重化して上層の低解像度画像で概略の視差
を得、それに基づいて他層の照合領域と探索領域を決定
しているので、効率よくステレオ照合が行われ、その結
果高速に高密度に物体までの距離分布を求めることがで
きる。又、その距離分布を用いて物体を形成する面の面
方向を求めることができる。【００３２】（第２実施例）第１実施例の画像における
相関演算方法は、多重解像度画像の任意層のＮ層とＭ
層、特にＭ＝Ｎ−１層に関連した相関演算方法であっ
た。例えば、Ｎ＝１であれば、１層でステレオ照合を行
いその結果に基づいて第０層（原画像）で更にステレオ
照合を行って、物体までの距離分布等を算出する例であ
った。本実施例は、上記概念を拡張して複数層を用いて
距離分布等を算出する例である。即ち、第１実施例の手
法を複数回繰り返すことによって、更に効率よく高速に
距離分布等を算出する例である。【００３３】図７に、ピラミッド構造に形成した多重解
像度画像を第３層から下方に向かって第０まで処理する
相関演算方法を示す。図は、フローチャートである。こ
れは、第１実施例の図２におけるステップｓ１４０とス
テップｓ１５０の１例でもある。他のステップｓ１００
〜ｓ１３０までは同一であるので省略する。先ず、ステ
ップｓ１７０で第３層間のステレオ照合を行う。ステッ
プｓ１７０は、第１実施例の図５に示したステップｓ１
４１〜ステップｓ１４４と同等である。即ち、第１実施
例と同様にエッジ画像に対するブロック相関である。こ
れにより、所定のブロックに対して視差が得られる。そ
してステップｓ１７１に移行し、視差が距離に換算され
る。【００３４】次いでステップｓ１７２において、そのブ
ロックにおける距離算出がチェックされる。距離算出の
チェックは、第１実施例の信頼度評価に相当する。即
ち、信頼度（例えば、相関値）が所定値より大きければ
合致領域であるとしてｙｅｓ、即ちステップｓ１７３に
移行する。信頼度が所定値より小さければ合致領域無し
としてｎｏ、即ちステップｓ１９０に移行する。ステッ
プｓ１９０では、最終ブロックか否かがチェックされ
て、次のブロックに移行するか又は終了する。【００３５】ステップｓ１７３では、第２層間において
ステレオ照合が行われる。この時、照合領域と探索領域
は第３層の処理（ステップｓ１４４）で既に更新されて
いる。従って、新たに、例えば水平方向に全面に探索
（相関演算）する必要がない。よって、極めて短時間に
ステレオ照合が実行され第２層の視差が算出される。そ
してステップｓ１７５で同様にその視差から距離が算出
され、ステップｓ１７６で同様にその信頼度が判定され
る。ステップｓ１７０による第３層でのステレオ照合結
果（距離画像）を図８（ａ）にステップｓ１７３による
第２層でのそれを図８（ｂ）に示す。図８（ａ）のａ〜
ｆが相関演算で合致した（距離が算出された）各ブロッ
クである。第２層では、その各ブロックが４分割されて
より詳細な距離分布が得られている。【００３６】上記１連の処理（ステップｓ１７３〜ステ
ップｓ１７６）と同様の処理が第１層に対しても繰り返
される。即ち、ステップｓ１７７〜ステップｓ１８０が
それである。そして、最後にステップｓ１８１で第０層
に対してステレオ照合を行なって更に詳細な視差を得
て、ステップｓ１８３で更に詳細な距離分布を得る。こ
のようにして、第３層から第０層に向かって逐次ステレ
オ照合が行われ、効率的に又確実に部物体までの距離分
布が算出される。次いで、第１実施例と同様にステップ
ｓ１６０に移行して物体を形成する面の面方向を推定す
る。【００３７】尚、上記のように距離分布が逐次算出され
る場合は第０層での距離分布の結果を待たずに、以下の
処理で面方向を推定してもよい。面方向推定方法を図９
のフローチャートに示す。ステップｓ２００で第２層で
のステレオ照合結果から距離画像を読み出す。第２層の
距離画像は、図８（ｂ）のように４分割されより詳細に
算出されている。次いで、ステップｓ２０１に移行す
る。ステップｓ２０１では、その距離画像に３つ以上デ
ータがあるか否かチェックする。３データ以上あれば面
が特定されるのでステップｓ２０５に移行し、上述のよ
うに平面方程式に当てはめ平面を決定する。３データ以
下であれば、平面が特定できないのでステップｓ２０２
に移行する。【００３８】ステップｓ２０２では第１層の距離画像を
読み出す。第１層の距離画像は、図示はしないが１６分
割されより詳細に算出されている。次いで、ステップｓ
２０３に移行する。ステップｓ２０３では、その距離画
像に３つ以上データがあるか否かチェックする。３デー
タ以上あれば、同様に面が特定されるのでステップｓ２
０５に移行し平面を決定する。３データ以下であれば、
平面が特定できないのでさらにステップｓ２０４に移行
する。【００３９】ステップｓ２０４では、第０層の距離画像
を読み出す。この距離画像は、原画像に対してステレオ
照合が行われた結果である。又、その領域は６４分割さ
れている。この領域に３つ以上データがあればステップ
ｓ２０５に移行し、以下であればステップｓ２０７に移
行する。ここでのデータは、最も精度の高い距離画像で
あるので、ステップｓ２０５では最も精度の高い面方向
が得られる。次いでステップｓ２０７に移行する。【００４０】ステップｓ２０７では、第２層において全
てのブロックに対して面方向の推定が終了したか否かを
チェックする。最終ブロックでなければ、ステップｓ２
００に移行して他のブロックについて同様の処理を繰り
返す。最終ブロックであれば終了する。面方向の推定
は、このように行っても良い。ピラミッド構造の中間層
から面方向を推定すれば時間を短縮することができる。【００４１】上述の様に本実施例によれば、多重解像度
画像の上層の低解像度画像から逐次次層の照合領域と探
索領域を決定し、より詳細なステレオ照合を行なってい
る。従って、より高密度により確実に物体までの距離分
布を求めることができる。又、上述のように第０層に至
るピラミッド構造の中間層で距離分布が求まれば、それ
を用いて物体を形成する面の面方向をより効率よく求め
ることができる。詳細に面方向を推定する場合は、最後
の第０層まで逐次照合演算を行えばよい。それにより、
面方向をより精度良く推定することができる。【００４２】（変形例）以上、本発明を表わす１実施例
を示したが、他にさまざまな変形例が考えられる。例え
ば、第２実施例の面方向の算出では第２層、第１層、第
０層までの距離画像を順次求めそれにより物体の面方向
を求めたが、図１０に示す様にステップｓ２１０で第３
層から照合領域（ブロック）を読み出し、ステップｓ２
１１に移行して直接第０層からそのブロックに対応する
距離画像を特定して読み出してもよい。そして、その距
離画像からデータを抽出してステップｓ２０６に移行し
てもよい。このステップｓ２０６は、第２実施例のそれ
と同等である。即ち、第２実施例における図９のステッ
プｓ２００、ｓ２０１、ｓ２０２、ｓ２０３、ｓ２０４
を図１０のステップｓ２１０、ｓ２１１に短縮してもよ
い。より効率的により高精度に面方向を推定することが
できる。【００４３】又、例えば、第１実施例の信頼度算出では
頂角関連値として相関値勾配ｓＧｒａｄとの比較を用い
たが、他の頂角関連値でもよい。例えば、極小点の頂
角、所定の基準相関値（ｓＣｏｒｒ）とその相関曲線で
囲まれる極小値側の面積としてもよい。又、第１実施例
ではステレオ照合をエッジ化されたエッジ画像間で行っ
たが、階調化された画像データについて行うこともでき
る。DETAILED DESCRIPTION OF THE INVENTION [0001] TECHNICAL FIELD The present invention relates to a pair of cameras.
Image of the object, and the amount of displacement (parallax) between the images
Distance distribution from the camera to the object, or of the surface forming the object
The present invention relates to a correlation calculation method for detecting a plane direction. In particular, the image
Efficient and high-speed distribution of distance to objects with multi-resolution
The present invention relates to a correlation calculation method to be calculated. The present invention relates to a vehicle, for example.
High-speed and dense distribution of distance to objects around the vehicle
The present invention is applied to a distance distribution detecting device that calculates a degree. [0002] 2. Description of the Related Art Conventionally, object recognition using image processing
There is a device. For example, Japanese Patent Laid-Open No.
The disclosed vehicle exterior monitoring device is one of them. that is,
Equipped with two cameras on the vehicle to capture objects in real time
By performing stereo matching processing on the two screen images
This system recognizes the position, size, and distance of an object.
Two cameras arranged at a predetermined separation distance are objects in front
If the object is imaged, the object is shifted in the X direction between the left and right images.
Is done. This is because parallax occurs between the two cameras.
You. And if the object is near the camera, the parallax is
The parallax decreases as the distance increases. Stay
The Leo matching process uses this principle to detect the distance to an object.
It is a technique to issue. [0003] The procedure of the conventional distance distribution measurement will be briefly described.
You. In conventional distance distribution measurement, two cameras
Input the image of each object and convert it to A / D
Image data (left and right images). Next, left and right
For example, a small area of 4 × 4 is cut out from the image and the correlation operation is performed.
Then, the parallax of the small area is obtained. Parallax is an example between small areas
For example, the shift amount in the x direction. Due to this shift amount,
Distance from the object to the small area that composes the object, that is, to the object
Is required. B is the separation distance of the camera, focal length
Where f is the displacement amount and 画素 X pixels, the distance z to the object
Is represented by the following equation. This distance is calculated for each small area, and
The distance distribution, that is, the object shape and posture were calculated. [Equation 1]       z = f · B / α △ X       α = the size of one pixel of the image sensor (1) [0004] SUMMARY OF THE INVENTION However, Japanese Patent Application Laid-Open
-2654747 discloses a vehicle exterior monitoring device,
A given area (for example, 4 ×
(4 pixels). In this case, four pixels
If high-density (every other pixel) verification is performed
In such cases, the amount of computation becomes enormous.
It was not suitable for detecting distance by im. one
Generally, in the calculation of correlation between images using the sum of absolute differences,
To set the image size to vertical H, horizontal V,
Assuming that M, horizontal N, and search range are D, the correlation S is given by the following equation.
Can be This is based on the image size, collation area size, search range.
This means that the amount of calculation becomes enormous in proportion to the box. (Equation 2)   S = Σ^H _{y = 0}Σ^V _{x = 0}Σ^D _{d = 0}Σ^M _{m = 0}Σ^N _{n = 0}       ｜ F_r(X + m, y + n) -F_l(X + m + d, y + n) | ... (2) Here, F (x, y) is a pixel intensity at coordinates (x, y).
And F_rIs the right image, F_lMeans the left image. The present invention has been developed to solve the above-mentioned problems.
The purpose is to convert the object image
Is converted into a hierarchical image, and the correlation between the hierarchical images
Determine the correlation calculation parameters between the next hierarchical images.
By obtaining the distance distribution to the object at high speed and high density
By accurately determining the plane direction of the plane that forms the object
is there. [0006] [MEANS FOR SOLVING THE PROBLEMS] To achieve this object
According to the object recognition device of the first aspect, a plurality of imaging
The object is imaged by the device, and the
A region image is cut out as a collation region, and the collation region is compared with the other region.
From the imaging device to the object by correlation calculation with the image
The distance distribution of the object or the surface direction of the surface forming the object
This is a correlation calculation method for images.
To generate multiple images with different resolutions
Multi-resolution image generating means for forming images in a hierarchical structure
When N and M are integers, by N layer correlation calculation
Find each parallax for each collation area, and based on each parallax
The matching area and its search area for the M-layer correlation operation
And perform a correlation operation in each of the determined matching areas and each search area.
Perform arithmetic to form a distance distribution to an object or an object
It is characterized in that the direction of the surface is detected. [0007] A correlation function in the image according to the second aspect is provided.
According to the calculation method, in the hierarchical structure, the N value indicating the index of the hierarchy changes.
The resolution of the layer and its area change uniformly as
It is characterized by a pyramid structure. [0008] Further, a correlation function in an image according to claim 3 is provided.
According to the calculation method, each layer forming the pyramid structure
The result obtained by the correlation operation of the upper layer of the adjacent layer
Matching Area and Search Area for Correlation Operation in Lower Layer than Result
Calculate the area and repeat it sequentially to lower layers
Finally, in the 0th layer which is the bottom of the pyramid structure
A correlation operation is performed. Further, the correlation function in the image according to claim 4 is provided.
According to the calculation method, the presence or absence of correlation by correlation
By Sum of Absolute Differences between Region Image and Search Region Image
Vertex angle relation with the minimum value and / or its minimum correlation value as the vertex
It is determined by a value. According to claim 5
According to the correlation calculation method for the image of FIG.
Image, and the matching area is set on the edge image.
It is characterized by that. [0010] Operation and effect of the invention The object recognition apparatus according to claim 1
According to a plurality of imaging devices image an object and a plurality of images
Get. Then, those images are converted to a multi-resolution image
Generate multiple images with different resolutions depending on the stage
Then, an image is formed in a hierarchical structure for each resolution. Of this resolution
The plurality of different images have, for example, a flat pixel intensity in a predetermined area.
Smoothing, Gaussian pyramid (Gaussian filter of original image)
Filter, sub-sampling transformation), wavelet transformation
(For example, the image is decomposed for each spatial frequency). this
When, for example, the 0th layer is the original image with the highest resolution,
The lower the resolution, the lower the resolution of the image. Then, a small area image is obtained from an arbitrary N-layer image.
Is a cut-out collation area, and that collation area is
A correlation operation is performed on the image along the X direction. That is, N
Performs a correlation operation between layers and performs each matching set on the N-layer image.
Find each parallax for the region. And, based on each parallax,
Area and its search area for correlation operation between M layers
Determine the area. Then, each of the determined matching regions and each
A correlation operation between the M layers is performed in the search area. That is, the image of the M layer
Distance distribution to the object by the image, or of the surface forming the object
The plane direction is detected. At this time, N ≠ M, and N and M
May be continuous or discrete. Here, the N-layer is a low-resolution image and the M-layer is a high-resolution image.
It is assumed to be a resolution image. The N-layer image has low resolution and
Since the area is small, the correlation calculation between images is completed at high speed.
You. That is, the collation for the correlation calculation between the M layers which is the next process
The area and the search area are quickly calculated and determined. That is,
The calculation in the uncorrelated area in the correlation calculation between the M layers is omitted.
You. That is, the correlation calculation between the M layers is efficiently performed. or,
Since the M-layer image has a higher resolution than the N-layer image,
Is calculated densely. That is, the image of the present invention
By using the correlation calculation method in
Can be calculated. Also, from the distance distribution,
Is also calculated at high speed and at high density. Further, according to the object recognition apparatus of the present invention,
In other words, the hierarchical structure changes as the N value indicating the index of the hierarchy changes.
Pyramid whose resolution and area change uniformly
The structure is For example, the 0th layer where N = 0 is the original image
The highest resolution, the lower the resolution as the N value increases
And the area is smaller. The low resolution image on several layers
Since it has a mid structure, its processing area (correlation calculation processing)
The distance distribution to the object is calculated linearly and becomes small at high speed.
You. For example, if the object has a complicated shape,
As described above, the correlation operation in the upper layer (N layer) is performed. Soshi
Then, based on the result, the matching area of the lower layer (M layer) and the search are performed.
Confirm the area. Since it has a pyramid structure, the matching area
And the search area can be easily and linearly determined. Therefore, M layer
Can be processed faster and more efficiently
You. Therefore, the distance distribution to the object can be obtained at high speed with high density.
Can be Further, according to the object recognition apparatus of claim 3,
For example, in each layer forming the pyramid structure,
Correlation calculation of immediately lower layer by correlation calculation of upper layer of layer
Calculate the collation area and search area for. Line it
U. That is, from a predetermined layer on the vertex side of the pyramid structure,
The matching area and the search area in the lower layer are sequentially determined toward
And a correlation operation is performed. This is repeated until the last layer
It is. That is, the zeroth, which is finally the bottom surface of the pyramid structure,
The correlation operation on the layer is performed, and the result is the distance to the object.
The distribution or the plane direction of the plane forming the object is calculated. This
Form resolution and image area in a pyramid structure
From the lower resolution layer (upper layer) to the higher resolution layer (lower layer)
The matching area and search area are updated sequentially, and the correlation calculation is performed.
Efficient and reliable distance to the object
The distribution can be determined. Also, from the distance distribution,
Can be reliably calculated. Further, according to the object recognition apparatus of the present invention,
For example, when determining the presence or absence of correlation,
The sum of absolute differences between the images in the search area is obtained. And
The minimum correlation value and / or the minimum correlation value to the vertex
The presence or absence of the correlation is determined based on the apex angle related value. This
Here, the apex angle related value is formed by the minimum point and the points on both sides of the minimum point.
Including the apex angle, the inclination of the sides forming the apex angle, or the apex angle
It is the area of the formed polygon and the like. For example, the presence or absence of a correlation is determined by the number of correlation calculation results.
Examine the minimum value of. The local minimum is greater than a given threshold
If it falls short, it is determined that there is correlation, and the separation between the matching area and the search area is determined.
Inter-distance is defined as parallax. Also, for example, a candidate for the minimum correlation value may be duplicated.
If there are numbers, examine the apex angle related values including the minimum value
You. If the apex angle is more acute, it is taken as the minimum correlation value,
Obtain the parallax. Conversely, all local minimums are
If it is larger, it is determined that there is no correlation. Thus, the correlation
The presence or absence is defined as the minimum correlation value or / and the minimum correlation value as the vertex.
The parallax, that is, the object
The distance distribution to the body and the plane direction of the plane forming the object are calculated.
It is. Further, the correlation function in the image according to claim 5 is provided.
According to the calculation method, the image is an edge image and the matching area
Is set on the edge image. D
Edge image is obtained by, for example, Sobel operation
The object's contour, edges and object.
The boundaries between the regions to be formed are emphasized. And the above collation
A region is set on the edge, and the above-described correlation calculation process is performed.
Done. The matching area is not the entire area of the image but the
Is set only on the edge image, so the amount of correlation
Reduced. As a result, the distance distribution to the object and the
The plane direction can be obtained even faster. [0018] DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS (First Embodiment) FIG.
1 shows an embodiment to which a correlation calculation method in an image is applied.
You. The figure is a system configuration diagram of the distance distribution calculation device.
This system includes a camera 1 arranged at a predetermined distance.
0, 11 and the video signals sent from the cameras 10 and 11
High-speed A / D conversion and multiplexing of the resolution
Multi-resolution, a multi-resolution image generating means for generating images
Generated by the degree generation unit 20 and the multi-resolution generation unit 20.
Filter unit 3 for converting the image of each layer into an edge image
0, each layer edged by the spatial filter unit 30
The correlation operation unit 40 for stereo matching, and the result of the correlation operation unit 40
Distance distribution calculation unit 50 for calculating a distance distribution from the result, and
From each distance data obtained from the distance distribution calculation unit 50,
It comprises a plane direction estimating unit 60 for calculating the direction. here
Indicates that the correlation calculation unit 40 performs stereo matching for each layer image.
Stereo matching unit 41i (i = 0... N)
It is assumed that stereo matching is performed between layers with the same index.
You. It should be noted that the correlation operation between images and the stereo matching have the same meaning.
is there. Hereinafter, the correlation operation between the images of each layer is referred to as stereo matching.
Write. Further, the multi-resolution generation unit 20 and the spatial filter
Filter unit 30, correlation operation unit 40, distance distribution calculation unit 50,
The plane direction estimating unit 60 includes a CPU (not shown) and an arithmetic processing processor.
ROM and work area memory (not shown) on which the program is written
(Not shown). The above elements are
Connected from the system bus consisting of various signal lines (not shown)
The various programs written in the CPU and ROM
The data is transferred by the system and controlled. FIG. 2 shows a correlation operation in the image of this embodiment.
The basic operation of the method is shown. The figure is a flowchart.
As a result, the distance distribution to the object and the surface forming the object
The plane direction is calculated at high speed and high density. First, not shown
The above program is turned on by the start switch, and the
This is executed from step s100. In step s100, imaging
Turn on cameras 10 and 11, which are devices, to capture object images
Then, in step s110, the input image is A / D converted.
The data is stored in a frame memory (not shown). Frame memory
Is composed of a plurality of RAMs,
The position (one sheet) corresponds to each pixel of the CCD image sensor, for example.
A total of 512 × 512 RAM. Any pixel is coordinate
(X, y) and intensity F, and the intensity F is, for example, 0 to
The gradation is performed in 255 steps. Hereafter, this gradation image
The image is called image data. At this time, the upper left corner of the screen is xy
X-axis in the horizontal direction and Y-axis in the vertical direction
Set. Next, the process proceeds to step s120. Step
In step s120, the multi-resolution image generation unit 20
Images are multi-resolution and stored in RAM in a hierarchical structure.
It is. Here, the original image is
Image, and based on this, the image is hierarchized at multiple resolutions.
Is formed. These are, for example, around a specific pixel.
Averaging method in a region where pixels are averaged to one pixel,
Formed by cyan pyramid, wavelet transform, etc.
Is done. FIG. 3 shows that the averaging method is performed successively toward the upper layer.
An example in which a different image is configured for each resolution is shown. The bottom of the 0th layer
The layer is the original image. For example, if the size of the original image is 512 ×
If 512, L = 9 in the figure and the uppermost layer (initial
Layer) is represented by N = 3. Specifically, this original image
It is formed by sequentially compressing according to the following equation. (Equation 3)     F_N(X, y) = 1/4 [F_N-1(X, y) + F_N-1(X + 1, y) + F_N- ₁ (X, y + 1) + F_N-1(X + 1, y + 1)] (3) Where F_N(X, y) is the coordinates (x, y) of the N layer
Pixel intensity. The above formula shows that the original image goes to the upper layer
Therefore, this is the case where the image is compressed to 縦 both vertically and horizontally. Immediately
That is, the area is compressed by 1/4. This is also the resolution
It means that it decreases in proportion to it. 0th layer to 3rd layer
FIG. 4 shows an example of an image hierarchized into layers. Then, the process proceeds to step s130 (see FIG.
2). In step s130, each layer is subjected to spatial filtering.
Is done. This simplifies processing by emphasizing the density change of each image.
This is for simplification. The spatial filter may be, for example,
The sharpening of the image by the second derivative. For example, primary
The object is converted into an edge image by using the elementary differentiation. Edge drawing
An image is, for example, a contour image of a forward object,
It is a boundary line image of a plane to be formed. Then, step s
Move to 140. In step s140, the edged image
Stereo matching is performed on the image between the layers. S
Teleo matching is a correlation operation that searches for a match between two images.
You. Fig. 5 shows the general flow of stereo matching in each layer.
Show. First, in step s141, the amount of calculation is minimized.
Therefore, the block, which is the matching area, is placed on one of the edge images.
Set the lock. Then, using that block,
Take the absolute value of the difference from the edge image. That is, the sum of absolute differences
Block correlation, resulting in multiple corresponding
A complement (hereinafter, a parallax candidate) is obtained. The parallax candidate is
These are a plurality of minimum points of the correlation value obtained by Expression (2).
In step s141, the process for the first N layer is performed.
For Leo matching (block correlation), the matching area is
This is a predetermined value given on the ROM, and the search area is a predetermined layer.
All in the horizontal direction. For the second and subsequent M layers
For teleo matching, as described in detail in step s144
The above-mentioned matching area and search area updated are used. Next
Then, the process proceeds to step s142. In step s142, step s141
It is determined whether the parallax candidate obtained in step satisfies a predetermined condition
Is done. That is, the reliability of each parallax is evaluated (reliability evaluation
Value). One of the reliability evaluations is based on each correlation value of each parallax candidate.
This is a comparison with a quasi-correlation value (sCorr). And the other one
Are the correlation gradient values that are the vertex angle related values of the parallax candidate and the reference
This is a comparison with a correlation gradient value (sGrad). This both
Evaluates the reliability in one of the cases. Then step s1
43, and put the parallax candidate with the highest evaluation degree in that layer.
(Parallax determination). Next, step s14
Move to 4. In step s144, the parallax of the N layer is calculated.
The matching area and the search area of the other layer (M layer) are updated by using this.
Since the resolution image has a pyramid structure, the M layer is searched.
The matching area corresponds to the slope of the pyramid structure.
Will be determined. For example, if the matching area is a block
If each side of the block is multiplied by the linear coefficient
Is updated as an M-layer collation area. The search area of the M layer, which is another layer, is also set in the above-described step.
Leo matching results (parallax) and pyramid structure linear coefficients
Thus, the position is roughly determined. For example, M layer is N layer
Next layer. That is, M = (N-1). With N layer
FIG. 6 shows the relationship between the search areas in the (N-1) layer. This
This is because the image size of the N layer is standardized to the (N-1) layer.
It is. That is, the image of the N layer is combined with the image of the (N-1) layer.
It is expanded to match. Where S_NIs the N-th layer
, And S_N-1Is that of the (N-1) th layer.
You. Since the Nth layer is compressed, it is normalized (N
-1) It is enlarged by the matching area of the layer. For example, 4 times
It is enlarged. In other words, in the N-th layer, the scan is performed in a large matching area.
The parallax is roughly obtained by tele-collation. Also, S '_NIs based on stereo matching in N layer
This is the matching area. That is, the matching area determined to have a high reliability
Area. Thereby, the parallax d_NIs roughly determined. So
Then, this approximate parallax d_NOf the (N-1) layer using
The search area in the collation is updated. That is, the region T
_N-1Is the search area in the stereo matching of the (N-1) layer.
Become. At this time, the area T_N-1Width x in the x direction_{x (N-1)}Is next
Given by the formula. (Equation 4)   d_N− △ d_N≤T_{x (N-1)}≦ d_N+ △ d_N    ・・・・・・・・ (4) △ d_N: Constant specific to N layer d_N: Parallax of the Nth layer This means that, in other words, the (N-1) layer is changed to (4)
By performing stereo correlation within the range of the equation, the matching area can be easily found.
Means that That is, over the entire area in the horizontal direction
No need to search. In other words, processing time is greatly reduced
Means that Therefore, in the (N-1) layer,
Similar stereo matching is performed in the search area,
Parallax d_N-1Is required. Also, the parallax d_N-1
Also satisfies the following equation. (Equation 5)   d_N− △ d_N≦ d_N-1≦ d_N+ △ d_N      ・・・・・・・・ (5) d_N-1: Parallax of the (N-1) th layer When the M layer is the next layer, step s144 is thus performed.
Sets the matching area and the search area. Then, the process proceeds to step s150 (see FIG.
2). In step s150, based on the above equation (1)
The distance is calculated. For example, there are many matching areas in the M layer
And the distance is calculated for each parallax
You. That is, a distance distribution is obtained (distance distribution output). Next
Then, the process proceeds to step s160. Step s160
Then, the distance distribution obtained in step s150,
The plane equation aX + bY + cZ = 0 using the distance data of
Find the coefficient of. For example, it is obtained by the least square method or the like. this
Thus, the plane direction of the plane forming the object is calculated. According to the present embodiment as described above, the obtained image
Approximate parallax in low-resolution image of the upper layer by resolution multiplexing the image
And determine the matching area and search area of other layers based on the
Stereo matching is performed efficiently,
It is possible to obtain the distance distribution to the object at high speed and high density.
Wear. Also, the surface of the surface forming the object using the distance distribution
The direction can be determined. (Second Embodiment) In the image of the first embodiment,
The correlation calculation method is based on an arbitrary layer of the multi-resolution image,
A correlation calculation method related to the layers, especially the M = N-1 layers.
Was. For example, if N = 1, stereo matching is performed in one layer.
Based on the result, further stereo is performed on the 0th layer (original image).
This is an example of calculating the distance distribution to the object by performing collation.
Was. This embodiment extends the above concept and uses multiple layers.
It is an example of calculating a distance distribution and the like. That is, the hand of the first embodiment
More efficient and faster by repeating the method several times
It is an example of calculating a distance distribution and the like. FIG. 7 shows a multiple solution formed in a pyramid structure.
Process the intensity image downward from the third layer to the 0th
The correlation calculation method will be described. The figure is a flowchart. This
This is the same as step s140 in FIG. 2 of the first embodiment.
This is also an example of step s150. Other steps s100
Steps up to s130 are the same and will not be described. First,
In step s170, stereo matching between the third layers is performed. Step
Step s170 is the same as step s1 of the first embodiment shown in FIG.
41 to step s144. That is, the first implementation
Similar to the example, it is a block correlation for an edge image. This
Thereby, parallax is obtained for a predetermined block. So
Then, the process goes to step s171 to convert the parallax into a distance.
You. Next, in step s172, the block
The distance calculation at the lock is checked. Distance calculation
The check corresponds to the reliability evaluation of the first embodiment. Immediately
That is, if the reliability (for example, correlation value) is larger than a predetermined value,
It is determined that the region is a coincidence region, that is, in step s173,
Transition. No matching area if the reliability is smaller than the specified value
To go to step s190. Step
In step s190, it is checked whether the block is the last block.
To move to the next block or end. In step s173, between the second layers
Stereo matching is performed. At this time, the matching area and the search area
Has already been updated in the third layer processing (step s144).
I have. Therefore, a new search is performed, for example, over the entire surface in the horizontal direction.
There is no need to perform (correlation calculation). Therefore, in a very short time
Stereo matching is performed to calculate the parallax of the second layer. So
Then, in step s175, the distance is similarly calculated from the parallax.
The reliability is similarly determined in step s176.
You. Stereo matching in the third layer by step s170
The result (distance image) is shown in FIG.
This is shown in FIG. 8B for the second layer. 8A to 8A.
f is matched (corresponding to the distance) by the correlation calculation.
It is. In the second layer, each block is divided into four
A more detailed distance distribution is obtained. The above series of processing (steps s173 to s173)
Step s176) is repeated for the first layer.
Is done. That is, steps s177 to s180
That is it. Finally, in step s181, the 0th layer
To perform more detailed parallax
In step s183, a more detailed distance distribution is obtained. This
In the order from the third layer to the zeroth layer.
The collation is performed, and the distance to the object
The cloth is calculated. Then, steps are performed in the same manner as in the first embodiment.
Proceed to s160 to estimate the surface direction of the surface forming the object
You. The distance distribution is calculated sequentially as described above.
Without waiting for the result of the distance distribution in the 0th layer,
The surface direction may be estimated by the processing. Fig. 9 shows the plane direction estimation method.
Is shown in the flowchart of FIG. In the second layer in step s200
The distance image is read from the stereo matching result of. The second layer
The distance image is divided into four parts as shown in FIG.
It has been calculated. Next, the process proceeds to step s201.
You. In step s201, three or more images are
Check if there is data. If more than 3 data,
Is determined, the process proceeds to step s205, and
As described above, a plane is determined by applying the plane equation. Less than 3 data
If it is below, since the plane cannot be specified, step s202
Move to In step s202, the distance image of the first layer is
read out. The distance image of the first layer is 16 minutes, not shown.
It is calculated in more detail by dividing. Then, step s
Move to 203. In step s203, the distance image
Check if there are three or more data in the image. 3 days
If it is greater than or equal to the number, the surface is specified in the same way, so step s2
The process proceeds to 05 to determine a plane. If less than 3 data,
Since the plane cannot be specified, the process proceeds to step s204.
I do. In step s204, the distance image of the 0th layer
Is read. This range image is a stereo image of the original image.
This is the result of the collation. The area is divided into 64 parts.
Have been. Step if there are three or more data in this area
The process proceeds to s205, and if it is below, the process proceeds to step s207.
Run. The data here is the most accurate range image
In step s205, the most accurate surface direction
Is obtained. Next, the process proceeds to step s207. In step s207, the second layer
Whether the estimation of the plane direction has been completed for all blocks
To check. If not the last block, step s2
00 and repeat the same process for the other blocks.
return. If it is the last block, the process ends. Estimation of surface direction
May be performed in this manner. Pyramid structure middle layer
By estimating the plane direction from, the time can be reduced. As described above, according to this embodiment, the multi-resolution
From the low-resolution image on the upper layer of the image,
The search area is determined and more detailed stereo matching is performed.
You. Therefore, the higher the density, the more reliably the distance to the object
You can ask for a cloth. In addition, as described above,
If the distance distribution is determined in the intermediate layer of the pyramid structure,
More efficiently find the direction of the plane that forms the object using
Can be When estimating the surface direction in detail,
May be performed up to the 0th layer. Thereby,
The plane direction can be more accurately estimated. (Modification) As described above, one embodiment of the present invention is shown.
However, various other modified examples are conceivable. example
For example, in the calculation of the plane direction in the second embodiment, the second layer, the first layer,
Obtain distance images up to the 0th layer in order, and thereby calculate the plane direction of the object
Was obtained, but as shown in FIG.
Read out the collation area (block) from the layer, step s2
Go to 11 and directly correspond to the block from the 0th layer
The distance image may be specified and read. And that distance
Data is extracted from the separated image, and the process proceeds to step s206.
You may. This step s206 is the same as that of the second embodiment.
Is equivalent to That is, the step of FIG.
S200, s201, s202, s203, s204
May be shortened to steps s210 and s211 in FIG.
No. More efficient and more accurate estimation of surface direction
it can. For example, in the reliability calculation of the first embodiment,
Using the comparison with the correlation value gradient sGrad as the apex angle related value
However, other apex angle related values may be used. For example, the minimum point
Angle, predetermined reference correlation value (sCorr) and its correlation curve
The area on the minimum value side that is enclosed may be used. Also, the first embodiment
Now performs stereo matching between edged edge images.
However, it can also be performed on grayscaled image data.
You.

【図面の簡単な説明】【図１】本発明の第１実施例に係る画像における相関演
算方法が適用されるシステムブロック図。【図２】本発明の第１実施例に係る画像における相関演
算方法の処理手順を示すフローチャート。【図３】本発明の第１実施例に係るピラミッド構造をし
た多重解像度画像の説明図。【図４】本発明の第１実施例に係る多重解像度画像の各
層を示す１例平面図。【図５】本発明の第１実施例に係るステレオ照合の手順
を示すフローチャート。【図６】本発明の第１実施例に係るＮ層と（Ｎ−１）層
の照合領域と探索領域の関係図。【図７】本発明の第２実施例に係る多層の多重解像度画
像に対する相関演算方法のフローチャート。【図８】本発明の第２実施例に係るステレオ照合結果に
よる第３層の距離画像（図８（ａ）と第２層の距離画像
（図８（ｂ））の説明図。【図９】本発明の第２実施例に係る面方向推定方法を示
すフローチャート。【図１０】本発明の変形例に係る面方向推定方法を示す
フローチャート。【符号の説明】１０，１１カメラ２０多重解像度画像生成部３０空間フィルタ部４０相関演算部４０ｉステレオ照合部５０距離分布算出部６０面方向推定部BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a system block diagram to which a correlation calculation method for an image according to a first embodiment of the present invention is applied. FIG. 2 is a flowchart showing a processing procedure of an image correlation calculation method according to the first embodiment of the present invention. FIG. 3 is an explanatory diagram of a multi-resolution image having a pyramid structure according to the first embodiment of the present invention. FIG. 4 is an example plan view showing each layer of the multi-resolution image according to the first embodiment of the present invention. FIG. 5 is a flowchart showing a procedure of stereo matching according to the first embodiment of the present invention. FIG. 6 is a diagram showing a relationship between a matching area and a search area of the N layer and the (N-1) layer according to the first embodiment of the present invention. FIG. 7 is a flowchart of a correlation calculation method for a multi-layer multi-resolution image according to a second embodiment of the present invention. FIG. 8 is an explanatory diagram of a distance image of the third layer (FIG. 8A and a distance image of the second layer (FIG. 8B)) based on a stereo matching result according to the second embodiment of the present invention. Fig. 10 is a flowchart showing a surface direction estimating method according to a second embodiment of the present invention Fig. 10 is a flowchart showing a surface direction estimating method according to a modification of the present invention Fig. 10 and 11 camera 20 multi-resolution image Generation unit 30 Spatial filter unit 40 Correlation calculation unit 40i Stereo matching unit 50 Distance distribution calculation unit 60 Surface direction estimation unit

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｇ０６Ｔ 7/60 １５０Ｇ０６Ｔ 7/60 １５０Ｐ (72)発明者太田充彦愛知県愛知郡長久手町大字長湫字横道41番地の１株式会社豊田中央研究所内Ｆターム(参考） 2F065 AA02 AA12 CC11 FF05 FF42 GG10 HH02 JJ03 JJ05 JJ26 QQ00 QQ03 QQ13 QQ24 QQ27 QQ33 QQ36 2F112 AC06 CA05 CA12 FA03 FA07 FA21 FA32 FA36 5B057 BA02 BA11 BA29 CD05 CE03 CE06 CG05 DA07 DC03 DC08 DC34 5L096 CA05 CA14 EA03 FA06 FA22 FA34 FA66 FA67 GA19 GA26 GA55 HA01 LA05 ──────────────────────────────────────────────────続き Continued on the front page (51) Int.Cl. ⁷ Identification FI FI Theme Court ゛ (Reference) G06T 7/60 150 G06T 7/60 150P (72) Inventor Mitsuhiko Ota Okuchochu Yokomichi 41-1 F-term in Toyota Central R & D Laboratories, Inc. (Reference) 2F065 AA02 AA12 CC11 FF05 FF42 GG10 HH02 JJ03 JJ05 JJ26 QQ00 QQ03 QQ13 QQ24 QQ27 QQ33 QQ36 2F112 AC06 CA05 CA12 FA03 FA07 FA21 FA32 FA36 5B057 BA02 BA05 CG05 DA07 DC03 DC08 DC34 5L096 CA05 CA14 EA03 FA06 FA22 FA34 FA66 FA67 GA19 GA26 GA55 HA01 LA05

Claims

【特許請求の範囲】【請求項1 】複数の撮像装置により物体を撮像し、得ら
れた一方の画像から複数の小領域画像を切り出し照合領
域とし、各照合領域と他方との画像との相関演算により
前記撮像装置から前記物体までの距離分布又は該物体を
形成する面の面方向を検出する画像における相関演算方
法であって、前記複数の画像に対してそれぞれ解像度の異なる複数の
画像を生成し、解像度別に階層構造に画像を形成する多
重解像度画像生成手段を備え、Ｎ，Ｍを整数とする時、Ｎ層間の相関演算によって前記
各照合領域に対する各視差を求め、該各視差に基づいて
Ｍ層の相関演算に対する照合領域とその探索領域を確定
し、その確定された各照合領域と各探索領域で前記相関
演算を行うことによって前記物体までの距離分布、又は
前記物体を形成する面の面方向を検出することを特徴と
する画像における相関演算方法。【請求項２】前記階層構造は、階層の指数を示すＮ値が
変化するに従ってその層の解像度とその面積が一様に変
化するピラミッド構造であることを特徴とする請求項１
に記載の画像における相関演算方法。【請求項３】前記ピラミッド構造を形成する各層におい
て、隣接する層の上位層の相関演算によって得られた結
果よりその下位層の相関演算に対する前記照合領域と前
記探索領域を算出し、それを逐次下位層に向かって繰り
返すことによって最終的に前記ピラミッド構造の底面で
ある第０層で前記相関演算が行われることを特徴とする
請求項１又は請求項２に記載の画像における相関演算方
法。【請求項４】前記相関演算による相関の有無は、照合領
域の画像と探索領域の画像間の差分絶対値和による相関
最小値又は／及び該相関最小値を頂点とする頂角関連値
で決定されることを特徴とする請求項１乃至請求項３の
何れか一項に記載の画像における相関演算方法。【請求項５】前記各層の画像はエッジ画像であり、前記
照合領域は該エッジ画像上に設定されることを特徴とす
る請求項１乃至請求項４の何れか一項に記載の画像にお
ける相関演算方法。Claims: 1. An object is imaged by a plurality of image pickup devices, a plurality of small area images are cut out from one of the obtained images, and the cutout area is used as a matching area, and a correlation between each matching area and the other image is obtained. A correlation calculation method for an image that detects a distance distribution from the imaging device to the object or a surface direction of a surface forming the object by calculation, and generates a plurality of images having different resolutions from the plurality of images. And a multi-resolution image generating means for forming an image in a hierarchical structure for each resolution. When N and M are integers, each disparity for each matching region is obtained by a correlation operation between N layers, and based on each disparity. A distance distribution to the object or the object is determined by determining a matching area and its search area for the correlation calculation of the M layer and performing the correlation operation on each of the determined matching areas and each search area. Correlation calculation method in an image and detects a face direction of the surface to form a. 2. The pyramid structure according to claim 1, wherein the hierarchical structure is such that the resolution of the layer and the area thereof change uniformly as the N value indicating the index of the layer changes.
2. A correlation calculation method for an image according to item 1. 3. In each of the layers forming the pyramid structure, the comparison area and the search area for the correlation operation of the lower layer are calculated from the result obtained by the correlation operation of the upper layer of the adjacent layer, and are sequentially calculated. 3. The correlation calculation method according to claim 1, wherein the correlation calculation is finally performed on the 0th layer, which is the bottom surface of the pyramid structure, by repeating the calculation toward the lower layer. 4. The presence or absence of a correlation by the correlation operation is determined by a correlation minimum value based on a sum of absolute differences between an image of a collation area and an image of a search area and / or a vertex angle related value having the correlation minimum value as a vertex. The method according to claim 1, wherein the correlation is calculated. 5. The correlation according to claim 1, wherein the image of each layer is an edge image, and the matching area is set on the edge image. Calculation method.