JP2007249682A - 相関評価システムおよび相関評価方法 - Google Patents

Abstract

【課題】相関先領域の位置を入力とした各種処理の精度向上を図る。
【解決手段】マッチング処理部２は、所定の複数の相関先候補のそれぞれに関して算出した、相関元領域との相関の程度を示す相関値に基づいて、候補のいずれかを相関先領域として特定する。所定の座標系において、相関先領域の位置が整数レベルで算出される。補間処理部３は、相関先領域と、相関先領域に隣接した相関先候補との相関値の補間により、相関先領域の位置を小数レベルで算出する。信頼性評価部４は、相関先領域と隣接相関先候補との間の相関値の変化量と、相関値の誤差幅Ｅ1とに基づいて、相関先領域の位置の誤差幅Ｅ2を推定する。さらに、信頼性評価部４は、当該推定された誤差幅に基づいて、小数レベルにまで特定された相関先領域の位置に関する信頼性を評価する。
【選択図】図１

Description

本発明は、相関元領域の相関先として特定された相関先領域の位置的な信頼性を評価する相関評価システムおよび相関評価方法に関する。

従来より、相関元領域の相関先としての相関先領域の位置を詳細に特定する技術が知られている。例えば、特許文献１には、ステレオ画像における相関先領域の位置の特定をサブピクセルレベルで行う手法が開示されている。本手法では、相関先領域のシティブロック距離（以下ＣＢ距離という）と、相関先領域の直前または直後に位置的に隣接する相関先候補のＣＢ距離とに基づいて、サブピクセル成分を算出する。このサブピクセル成分を用いて、相関元領域に対する相関先領域のピクセルレベル（データ領域の構成要素レベル）のズレ量を補間することによって、サブピクセルレベルでのズレ量（視差）が算出される。

特開２００３−９７９４４号公報

しかしながら、従来の技術では、画像データ（データ領域）に乗る、外乱としてのノイズ等によって、算出されたサブピクセルレベルでの相関先領域の位置には、誤差が含まれている。この誤差は、相関先領域の位置を入力とした後段の各種処理の精度を低下させるおそれがある。

本発明の目的は、相関元領域の相関先として特定された相関先領域の位置的な信頼性を評価することによって、相関先領域の位置を入力とした各種処理の精度向上を図ることである。

また、本発明の別の目的は、ノイズの影響を考慮した上で、相関先領域の位置的な信頼性を評価することによって、耐ノイズ性に優れた各種処理を可能にすることである。

かかる課題を解決するために、第１の発明は、相関元領域の相関先として特定された相関先領域の位置的な信頼性を評価する相関評価システムを提供する。この評価システムは、マッチング処理部と、補間処理部と、信頼性評価部とを有する。マッチング処理部は、相関元領域の相関先の候補となる複数の相関先候補を所定の探索範囲内に設定し、複数の相関先候補のそれぞれに関して、相関元領域との相関の程度を示す相関値を算出する。そして、マッチング処理部は、相関先候補毎に算出された相関値同士を比較することによって、複数の相関先候補のいずれかを相関先領域として特定する。また、マッチング処理部は、相関先領域の位置を離散的な第１の座標値として算出する。補間処理部は、相関先領域の相関値と、相関先領域と位置的に隣接した相関先候補の相関値とを用いた補間によって、相関先領域の位置を前記第１の座標値よりも細かな分解能を有する第２の座標値として算出する。信頼性評価部は、相関先領域の相関値と、相関先領域と位置的に隣接した相関先候補の相関値との間の変化量に応じて、相関値の誤差の範囲を示す第１の誤差幅を相関先領域の位置を示す座標軸上に投影するとともに、当該投影によって座標軸上に生じた第２の誤差幅に基づいて、上記第１の座標値と上記第２の座標値とによって特定される相関先領域の位置に関する信頼性を評価する。

第１の発明において、信頼性評価部は、相関先領域の相関値と、相関先領域と位置的に隣接した相関先候補の相関値との間の変化量が小さくなるほど、信頼性を低く評価することが望ましい。

第１の発明においては、信頼性評価部は、第１の誤差幅として、相関値に重畳するノイズのばらつきを推定した一定値を用いてよい。

また、第１の発明において、相関元領域または探索範囲内に含まれるデータに基づいて、当該データを代表する代表値を算出する代表値算出部を設けてもよい。この場合、信頼性評価部は、代表値に応じて、第１の誤差幅を可変に設定する。

第１の発明において、センサと、アンプとを設けてもよい。センサは、所定サイズのデータ群によって構成され、かつ、相関元領域または探索範囲として用いられる領域を含むフレーム領域を出力する。アンプは、マッチング処理部の前段に設けられており、センサから出力されたフレーム領域をゲインによって調整する。この場合、信頼性評価部は、ゲインに応じて、第１の誤差幅を可変に設定する。

第１の発明において、マッチング処理部の前段に、補正前のデータに対して所定の補正を施した上で、補正後のデータを出力するデータ補正部をさらに設けてもよい。この場合、信頼性評価部は、補正前のデータに対する補正後のデータの補正の度合いに応じて、第１の誤差幅を可変に設定する。

さらに、第１の発明において、周囲の温度を検出する温度センサをさらに設けてもよい。この場合、信頼性評価部は、温度に基づいて、第１の誤差幅を可変に設定する。

第２の発明は、相関元領域の相関先として特定された相関先領域の位置的な信頼性を評価する相関評価方法を提供する。この評価方法は、相関元領域の相関先の候補となる複数の相関先候補を所定の探索範囲内に設定し、複数の相関先候補のそれぞれに関して、相関元領域との相関の程度を示す相関値を算出するステップと、相関先候補毎に算出された相関値同士を比較することによって、複数の相関先候補のいずれかを相関先領域として特定するステップと、相関先領域の位置を離散的な第１の座標値として算出するステップと、相関先領域の相関値と、相関先領域と位置的に隣接した相関先候補の相関値とを用いた補間によって、相関先領域の位置を前記第１の座標値よりも細かな分解能を有する第２の座標値として算出するステップと、相関先領域の相関値と、相関先領域と位置的に隣接した相関先候補の相関値との間の変化量に応じて、相関値の誤差の範囲を示す第１の誤差幅を相関先領域の位置を示す座標軸上に投影するとともに、当該投影によって座標軸上に生じた第２の誤差幅に基づいて、上記第１の座標値と上記第２の座標値とによって特定される相関先領域の位置に関する信頼性を評価するステップとを有する。

本発明によれば、相関先領域の相関値を基準とした相関先領域と位置的に隣接した相関先候補の相関値の変化量に応じて、相関先領域の位置に関する信頼性が評価されることになる。この信頼性に関する評価の結果を、相関先領域の位置を入力とした各種処理に用いることによって、これら各種処理の精度向上を図ることができる。例えば、ノイズの影響を考慮して、上記相関値の変化量と信頼性との間の関係を設定することによって、耐ノイズ性に優れた各種処理が可能となる。

（第１の実施形態）
図１は、本実施形態に係る相関評価システムのブロック構成図である。本相関評価システムは、相関元領域の相関先として特定された相関先領域の位置的な信頼性を評価する。記憶部１ａには、第１のデータ領域を規定するデータが格納されており、記憶部１ｂには、第２のデータ領域を規定するデータが格納されている。相関元領域は、第１のデータ領域の一部を構成し、相関先領域（および相関先候補）は、第２のデータ領域の一部を構成する。所定の入力部は、これら一対のデータ領域に相当する一対のデータ群を記憶部１ａ，１ｂに出力する。例えば、この一対のデータ群として、同時に撮像された一対のフレーム画像データ（ステレオ画像データ）が挙げられる。この場合、入力部には、ステレオカメラが用いられる。

マッチング処理部２は、相関元領域の相関先の候補となる複数の相関先候補を、第２のデータ領域上の所定の探索範囲内に設定する。これらの複数の相関先候補のそれぞれに関して、相関値Ｓが算出される。この相関値Ｓは、相関元領域と相関先領域との相関の程度を示す。マッチング処理部２は、相関先候補毎の相関値Ｓ同士を比較し、これによって、複数の相関先候補のいずれかを相関先領域として特定する。例えば、二次元平面である第１のデータ領域および第２のデータ領域のｉ−ｊ座標系は、データ領域の左下隅を原点として、水平方向をｉ座標軸、垂直方向をｊ座標軸とする。この座標上で整数値をとる、格子点状のデータ領域の要素に、データが対応付けられる。また、一例として、相関元領域を、４×４要素（水平方向に４要素、垂直方向に４要素）の小領域とすることができる。この相関元領域とデータ特性の相関を有する相関先領域を、例えば横長状の１２８×４の探索範囲において特定する。探索範囲内では、相関先候補を、探索範囲の左端から右端へと水平方向に１要素ずつずらして更新しながら、相関値Ｓが算出される。相関先候補は、相関元領域との水平方向のズレ量ｋによって特定され、この相関値Ｓは、ｋの関数Ｓ（ｋ）として表される。相関値Ｓ（ｋ）を最小とする相関先候補（ｋ＝ｋp）は、相関先領域として特定される。相関先領域の水平方向への整数レベルの座標値ｋpが、算出され、相関値Ｓ（ｋp）とともに補間処理部３に出力される。また、相関先領域の左側（直前）に隣接する相関先候補の相関値Ｓ（ｋp−１）、および、相関先領域の右側（直後）に隣接する相関先候補の相関値Ｓ（ｋp＋１）が、補間処理部３に出力される。ここでは、二次元データ群を用いることを前提に、探索範囲として、第１のデータ領域上の相関元領域を水平方向に移動させた領域に対応する、第２のデータ領域上の範囲を設定している。これに代えて、３次元以上のデータ群を用い、また、探索範囲として、相関元領域を任意の方向に移動させた領域に対応する範囲を設定してもよい。

相関値Ｓ（ｋ）としては、一例として、絶対差分和を用いることができる。この絶対差分和を用いた相関値Ｓ（ｋ）は、数式１のように、評価対象となる一対のデータ領域において、位置的に対応する要素同士のデータの差（絶対値）を算出し、この値を全要素分加算した総和値として表される。同数式において、ｉ，ｊは、相関元領域の位置を特定する相関元領域の左下座標であり、ｋは、相関元領域から相関先候補への水平方向のズレ量である。Ｒは相関元領域内の各要素に対応するデータであり、Ｌは相関先候補内の各要素に対応するデータである。ｍ，ｎは、相関元領域および相関先候補のサイズである。また、相関値Ｓ（ｋ）として、差分自乗和等の他の周知の評価関数を使用することも可能である。差分自乗和を用いた相関値Ｓ（ｋ）は、評価対象となる一対のデータ領域において、位置的に対応する要素同士の輝度差の自乗を算出し、この値を全要素分加算した総和値として表される。

これらの相関評価手法を用いた場合、一対のデータ領域の相関が高くなるほど、換言すれば、両者のデータ特性が類似するほど、相関値Ｓ（ｋ）が小さくなり、完全に一致するデータ領域に関しては、理論的には相関値Ｓ（ｋ）が０になる。ただし、実際には、各種のノイズが外乱として作用するため、本来完全に一致するはずのデータ領域であっても、その相関値Ｓ（ｋ）が０になることは殆どない。

補間処理部３は、相関先領域の相関値Ｓ（ｋp）と、隣接相関先候補の相関値Ｓ（ｋp−１）およびＳ（ｋp＋１）とを用いて補間する。この補間によって、相関先領域が属するｉ−ｊ座標系における相関先領域の位置（ズレ量）が小数レベルの座標値として算出される。ここでは、この相関先領域の水平方向のズレ量を、つぎの数式２に示す値ｋr、つまり、ｋp（整数部分）とｋsp（小数部分）との和として特定する。ズレ量ｋrと、相関値Ｓ（ｋp−１），Ｓ（ｋp），Ｓ（ｋp＋１）とは信頼性評価部４に出力される。

具体的には、補間処理部３は、つぎの数式３，４の右辺を演算して、小数部分ｋspを得る。数式３は、相関値Ｓ（ｋp−１）が相関値Ｓ（ｋp＋１）より大きい場合（換言すれば、相関値Ｓ（ｋ）が座標値ｋpの後よりも前で大きく変化する場合）を示す。また、数式４は、相関値Ｓ（ｋp−１）が相関値Ｓ（ｋp＋１）以下の場合（相関値Ｓ（ｋ）が座標値ｋpの前よりも後で大きく変化する場合）を示す。正確には、数式４においては、ｋspは負となり、この場合、（ｋp−１）が相関値ｋrの整数部分を示し、（１−ｋsp）がズレ量ｋrの小数部分を示す。

例えば、ステレオ画像データにおける視差ｄについてのサブピクセル成分（小数成分）の補間については、特開２０００−２８３７５３号公報に開示されているので、必要ならば参照されたい。また、これに代えて、特開２００３−９７９４４号公報に開示されているサブピクセル成分の補間手法を用いることも可能である。この補間手法においては、上述の３つの相関値のすべては用いられず、相関値Ｓ（ｋp）と、隣接相関値Ｓ（ｋp−１），Ｓ（ｋp＋１）のうちのより小さな相関値とが用いられて、サブピクセルレベルの補間が行われる。

信頼性評価部４は、まず、相関値Ｓ（ｋp）を基準とした隣接相関値Ｓ（ｋp−１）またはＳ（ｋp＋１）の変化量と、誤差幅Ｅ1とに基づいて、誤差幅Ｅ2を推定する。誤差幅Ｅ1は、相関値Ｓ（ｋ）の誤差の範囲を示し、誤差幅Ｅ2は、相関先領域のズレ量ｋrの誤差の範囲を示す。誤差幅Ｅ1として、相関値Ｓ（ｋ）に重畳するノイズのばらつきを推定した一定値を設定してよく、また、誤差幅Ｅ1として、その誤差を変動させるノイズ要因に応じた可変値を使用してもよい。誤差幅Ｅ1に可変値を用いる場合については、第２の実施形態で説明する。つぎに、信頼性評価部４は、誤差幅Ｅ2に基づいて、相関先領域のズレ量ｋrに関する信頼性を評価する。

図２は、相関値Ｓ（ｋ）の誤差幅Ｅ1と、相関先候補のズレ量ｋr(またズレ量の小数部分ｋsp)の誤差幅Ｅ2との関係を示す図である。相関値Ｓ（ｋp−１）が相関値Ｓ（ｋp＋１）より大きい場合について説明するが、相関値Ｓ（ｋp−１）が相関値Ｓ（ｋp＋１）以下の場合についても同様である。同図（ａ）においては、基準相関値Ｓ（ｋp）と隣接相関値Ｓ（ｋp−１）との間の変化量ΔＳ1が比較的大きい。横軸を相関先候補のズレ量ｋ、縦軸を相関値Ｓ（ｋ）とする座標上で、誤差幅Ｅ2を推定する。すなわち、相関値の変化量ΔＳ1に応じて、縦軸方向の誤差幅Ｅ1を横軸方向の誤差幅Ｅ2に投影することによって、誤差幅Ｅ2が推定される。点Ｐ1（ｋp，Ｓ（ｋp））は、相関先領域に対応し、点Ｐ0（ｋp−１，Ｓ（ｋp−１））は、相関先領域直前の隣接相関先候補に対応する。また、点Ｐ2（ｋp＋１，Ｓ（ｋp＋１））は、相関先領域直後の隣接相関先候補に対応する。直線ｌ1は、点Ｐ0および点Ｐ1を通る傾き−ｍ（ｍは正の数）の直線であり、直線ｌ2は、点Ｐ2を通る傾きｍの直線である。ここでは、相関値の変化量ΔＳ1は、相関先候補のズレ量ｋの１単位の変化量に対応する。したがって、この変化量ΔＳ1は、直線ｌ1の傾きの大きさｍに等しい。また、特に、真値である相関値Ｓ（ｋp−１），Ｓ（ｋp），Ｓ（ｋp＋１）が、各値を中心として誤差幅Ｅ1の誤差を有することを仮定する。この仮定の下において、誤差幅Ｅ1の投影による誤差幅Ｅ2は、同図（ａ）中、点Ａと点Ｂとを結ぶ線分の長さとして算出される。点Ａは、直線ｌ1の下側で誤差幅Ｅ1を規定する直線と、直線ｌ2の上側で誤差幅Ｅ1規定する直線との交点であり、また、点Ｂは、直線ｌ1の上側で誤差幅Ｅ1規定する直線と、直線ｌ2の下側で誤差幅Ｅ1を規定する直線との交点である。

同図（ｂ）においては、相関値の変化量ΔＳ1（直線ｌの傾きの絶対値）が比較的小さい。当然、相関値Ｓ（ｋ）の誤差幅Ｅ1は、変化量ΔＳ1の大小に関わらず、同図（ａ），（ｂ）を比較すると、変化量ΔＳ1が小さくなるほど、ズレ量ｋrの誤差幅Ｅ2が大きくなることがわかる。

相関値の変化量ΔＳ1および誤差幅Ｅ1に応じて、誤差幅Ｅ2が変動することは、つぎに数式５，６に示す小数部分ｋspの誤差Ｎkspからも確認される。

同数式中、Ｎ（０，σ）は、平均が０で、標準偏差がσの所定の分布をする変数を表す。このＮ（０，σ）は、つぎに数式７，８等に示すように、相関値Ｓ（ｋ）に重畳するノイズに基づいて定められる。つまり、このＮ（０，σ）の標準偏差σは、上述のノイズのばらつきを推定した一定値である誤差幅Ｅ1に対応する。σには、予め実験やシミュレーション等を通じて確認した値を用いる。さらに、数式５，６によって算出される誤差Ｎkspのばらつきが、誤差幅Ｅ2に対応する。誤差Ｎkspはその分母の値に応じて変動し、これによって、誤差幅Ｅ2も変動する。

数式５は、隣接相関値Ｓ（ｋp−１）が、隣接相関値Ｓ（ｋp＋１）よりも大きい場合（図２の場合）における小数部分ｋspの誤差Ｎkspを示す。この場合、誤差Ｎkspの分母には、相関値の変化量ΔＳ1が用いられる。この変化量ΔＳ1は、上述のように、点Ｐ0と点Ｐ1とを通る直線ｌの傾きの絶対値を示す。すなわち、変化量ΔＳ1が大きく、直線ｌの傾きが急である場合には、誤差幅Ｅ2（誤差ｋspのとりうる値の範囲）はより小さな値をとる。また、変化量ΔＳ1が小さく、直線ｌの傾きがなだらかである場合には、誤差幅Ｅ2はより大きな値をとる。数式６は、隣接相関値Ｓ（ｋp−１）が、隣接相関値Ｓ（ｋp＋１）以下の場合における誤差Ｎkspを示している。この場合、誤差Ｎkspの分母には、基準相関値Ｓ（ｋp）と隣接相関値Ｓ（ｋp＋１）との間の変化量ΔＳ2が用いられる。この変化量ΔＳ2は、点Ｐ1と点Ｐ2とを通る直線ｌ’の傾きｍ’を示す。すなわち、変化量ΔＳ2が大きく、直線ｌ'の傾きｍ’が急である場合には、誤差幅Ｅ2はより小さな値をとる。また、変化量ΔＳ2が小さく、直線ｌ’の傾きがなだらかである場合には、誤差幅Ｅ2はより大きな値をとる。

この数式５に示す誤差Ｎkspは、つぎに数式７〜１０に示すようにして、数式３のズレ量の小数部分ｋspから導出される。すなわち、数式３において、相関値Ｓ（ｋp−１），Ｓ（ｋp），Ｓ（ｋp＋１）に、それぞれ、ノイズ成分ｎ（ｋp−１），ｎ（ｋp），ｎ（ｋp＋１）が含まれているとすると、数式７の小数部分ｋsp'を得る。さらに、ノイズ成分ｎ（ｋp−１），ｎ（ｋp），ｎ（ｋp＋１）が、標準偏差σのガウス分布をすると仮定すると、小数部分ｋsp’は、数式８に示す通りとなる。ここで、Ｎ（０，σ）およびＮ’（０，σ）は、平均値が０で標準偏差がσの所定の分布をする変数である。

数式８において数式９を仮定すると、数式１０の小数部分ｋsp’が得られ、この数式１０の右辺第２式の第２項から、数式５が導かれる。同様に、数式４から、数式１１のｋsp’を経て、数式６が導かれる。

図１に示す信頼性評価部４においては、さらに、誤差幅Ｅ2に基づいて、相関先領域のズレ量ｋrに関する信頼性が評価される。すなわち、例えば、この信頼性の程度を表す信頼値Ｒを、つぎの数式１２，１３によって表す。

この信頼値Ｒは、相関先領域のズレ量ｋr（＝ｋp＋ｋsp）の信頼性が高いほど小さな値をとる。その小数部分ｋspにおける誤差幅Ｅ2が比較的大きい場合、すなわち、誤差Ｎkspを示す上記数式５，６において、分子が一定値の場合、分母が小さくなるほど、信頼値Ｒはより大きな値をとり、その結果として信頼性は低く評価される。信頼値Ｒは、相関先領域のズレ量ｋrに対応付けられて、記憶部５に出力される。記憶部５上のこれらのデータｋr，Ｒに基づいて、各種処理が行われる。なお、ここでは、信頼値Ｒの分母を、相関値の変化量ΔＳ1およびΔＳ2のうちのより大きな値のものとしている。つまり、隣接相関値Ｓ（ｋp−１）とＳ（ｋp＋１）とのうちのより大きな値と、基準相関値Ｓ（ｋp）との間の変化量を信頼値Ｒの分母としている。これに代えて、信頼値Ｒの分母に、変化量ΔＳ1およびΔＳ2の平均値を用いることが可能である。また、この信頼値Ｒの分母に、相関値の変化量ΔＳ1およびΔＳ2のうちのより小さな値を用いることが可能である。つまり、隣接相関値Ｓ（ｋp−１）とＳ（ｋp＋１）とのうちのより値の小さなものと、基準相関値Ｓ（ｋp）との間の変化量を信頼値Ｒの分母とすることが可能である。さらに、信頼値Ｒは、相関値の誤差幅Ｅ1（ノイズのばらつきの推定値σ）を、変化量ΔＳ1およびΔＳ2に関するこれらの値で割ったものに、所定の定数をかけたものとしてもよい。すなわち、信頼値Ｒは、誤差幅Ｅ2の定数倍とし、また、誤差幅Ｅ2と同一とすることができる。

このように、本実施形態では、基準相関値と隣接相関値との間の変化量に応じて、相関先領域の位置に関する信頼性が評価されることになる。この信頼性に関する評価結果を用いて、相関先領域の位置を入力とした各種処理を行うことによって、それらの処理の精度向上を図ることができる。特に、ノイズの影響を考慮して、上記相関値の変化量と信頼性との間の関係を設定することによって、耐ノイズ性に優れた各種処理が可能となる。

（第２の実施形態）
上述した相関評価システムに続き、より具体的な装置について詳述する。以下の実施形態は、ステレオ式監視装置への適用例である。図３は、本ステレオ式監視装置のブロック構成図である。上述の相関評価システムと同一の機能を有する部分には同一の符号を付している。本監視装置は、例えば車両に搭載されており、一対のフレーム画像（フレーム領域）を処理して、自車両前方の道路や監視対象物（先行車や歩行者等）を監視する。この監視装置には、特に、センサ６、アンプ７、データ補正部８、温度センサ９および代表値算出部１０が設けられている。信頼性評価部４は、アンプ７、データ補正部８、温度センサ９および代表値算出部１０におけるノイズに関するデータに基づいて、誤差幅Ｅ1を設定する。つまり、ここでは、誤差幅Ｅ1に影響するノイズの要因が、主に、アンプ７におけるゲインＧ、データ補正部８における補正の度合いγ、周囲の温度Ｔ、および、相関評価の対象とする輝度Ｄ自体であること前提とする。これらのノイズ要因の状態に応じて、信頼性評価部４は、誤差幅Ｅ1を可変に設定する。

センサ６は、ＣＣＤやＣＭＯＳセンサといったイメージセンサを内蔵した一対のカメラで構成される。このセンサ６は、一対のフレーム画像（基準画像および比較画像）を出力し、フレーム画像は、それぞれ、所定サイズのデータ群により構成される。アンプ７は、センサ６から出力されたフレーム画像をゲインＧによって調整する。このゲインＧ（現在の設定値）は、信頼性評価部４に出力されている。データ補正部８は、補正前の画像データに対して所定の補正を施した上で、補正後の画像データを出力する。例えば、入力データと出力データとの関係が記述されたテーブルを参照することによって、データ補正が行われる。このデータ補正は、後段での処理に適した適宜の特性に設定すればよく、その特性が非線形的であるか否か、或いは、連続的であるか否かを問わない。この補正前の画像データに対する補正後の画像データの補正の度合いγ（現在の設定値）は、信頼性評価部４に出力されている。マッチング処理部２の前段の各部で処理された後の基準画像データは、所定の輝度階調のデジタルデータとして記憶部１ａに格納される。同様に、比較画像データが、記憶部１ｂに格納される。

マッチング処理部２は、基準画像の一部である相関元領域の複数の相関先候補を、比較画像上の探索範囲内に設定する。この相関元領域と探索範囲との輝度特性の相関に関して、第１の実施形態において述べたマッチング処理が行われる。このマッチング処理によって、相関先領域の整数レベルの水平方向のズレ量ｋpが算出される。ズレ量ｋpは、ステレオ画像における視差ｄpに対応し、この整数レベルの視差ｄpが、相関先領域に対応する相関値Ｓ（ｄp）とともに補間処理部３に出力される。さらに、左側の隣接相関先候補の相関値Ｓ（ｄp−１）と、右側の隣接相関先候補の相関値Ｓ（ｄp＋１）とが、補間処理部３に出力される。

補間処理部３は、相関先領域の相関値Ｓ（ｄp）と、隣接相関先候補の相関値Ｓ（ｄp−１）およびＳ（ｄp＋１）とを用いた補間によって、視差について小数レベルの座標値ｄspを算出する。すなわち、整数レベルの視差ｄpが、この小数レベル座標値ｄspによって補間される。この補間された視差ｄ（小数レベルの座標値ｄr）と、相関先領域の相関値Ｓ（ｄp）と、隣接相関先候補の相関値Ｓ（ｄp−１），Ｓ（ｄp＋１）とは、信頼性評価部４に出力される。

温度センサ９は、本ステレオ式監視装置の周囲の温度Ｔを検出し、その現在の検出値を信頼性評価部４に出力する。例えば、センサ６周辺の温度Ｔが信頼性評価部４に出力される。

代表値算出部１０は、相関元領域に含まれる輝度データＤ1〜Ｄnに基づいて、当該データを代表する代表値Ｄrepを算出する。例えば、この代表値Ｄrepは、相関元領域内の全部もしくは特定の一部の画素の輝度値の平均値とし、また、これらの輝度値の中間値とすることができる。代表値算出部１０は、相関元領域に代えて、探索範囲内に含まれる輝度データに基づいて、代表値を算出することも可能である。

信頼性評価部４は、基準相関値Ｓ（ｄp）と隣接相関値Ｓ（ｄp−１）またはＳ（ｄp＋１）との間の変化量と、誤差幅Ｅ1とに基づいて、誤差幅Ｅ2を推定し、この誤差幅Ｅ2に基づいて、視差ｄの信頼性を評価する。ここでの誤差幅Ｅ1は、輝度に乗るノイズ要因の状態に基づいて設定されている。すなわち、信頼性評価部４は、ゲインＧ、補正の度合いγ、周囲の温度Ｔ、および、輝度の代表値Ｄrepを検出して、これらに応じたノイズを推定して誤差幅Ｅ1を可変に設定する。例えば、誤差幅Ｅ1に基礎値と補正値とを設定して、誤差幅Ｅ1を設定することができる。すなわち、ゲインＧ、補正の度合いγおよび温度Ｔの組み合わせと、誤差幅Ｅ1の基礎値との対応関係を所定の基礎値テーブルに予め記述しておく。また、代表値Ｄrepと、誤差幅Ｅ1の補正値との対応関係を所定の補正値テーブルに予め記述しておく。信頼性評価部４は、ゲインＧ、補正の度合いγおよび周囲の温度Ｔの現在値に基づいて、基礎値テーブルを参照して基礎値を設定し、また、輝度の代表値Ｄrepに基づいて、補正値テーブルを参照して補正値を設定する。そして、信頼性評価部４は、この基礎値を補正値により補正し、これによって、誤差幅Ｅ1を設定する。基礎値テーブルおよび補正値テーブルにおける各対応関係は、予め行った実験やシミュレーション等を通じて適切に設定する。この実験等においては、ノイズのばらつきとノイズ要因の状態値との関係が考慮されつつ、輝度に基づく相関値のノイズ成分が推定されている。当然ながら、基礎値テーブルおよび補正値テーブルの全部または一部に代えて所定の計算式を用い、この計算式によって基礎値を算出することも可能である。また、必ずしも、これら４種のノイズ要因のすべてを考慮する必要はなく、これら以外の要因を含めることも可能である。信頼性評価部４は、視差ｄ、および、信頼性の評価結果を表す信頼値Ｒを記憶部５に格納する。

この視差ｄおよび信頼値Ｒを用いて、対象物の認識処理をより有効に行うことができる。すなわち、周知の視差ｄを用いた対象物認識においては、隣接する複数の画素領域の視差ｄが所定の範囲内にあるか否かに応じて、これらの視差ｄが同一物体、例えば先行車、歩行者などを示すか否かを判定している。この判定結果に基づいて、視差ｄがグルーピングされる。従来のグルーピングでは、範囲を画する判定しきい値近傍にある値の視差ｄが、硬直的に判定される。すなわち、その範囲に属していると判定された視差ｄは、グルーピングされ、その範囲に属していないと判定された視差ｄは、グルーピングから外される。これに対して、本実施形態のように、視差ｄの信頼性を考慮することによって、より柔軟に判定を行うことができる。すなわち、視差ｄに誤差を考慮したグルーピングが可能となる。特に、ノイズ要因の状態に応じて、相関値Ｓの誤差幅を可変に設定することによって、より適切な信頼値Ｒを視差ｄに対して設定することが可能である。

また、視差ｄおよび信頼値Ｒを用いて、視差ｄに重み付けを行うことができる。すなわち、信頼値Ｒによって、その視差ｄが有効であるか無効であるかを段階的に判定することが可能である。上述のように、この信頼値Ｒには、ノイズ要因の状態を適切に反映させることができる。

このように、本実施形態では、基準相関値と隣接相関値との間の変化量に応じて、視差の信頼性が評価されることになる。この信頼性に関する評価結果を、視差を入力とした各種処理に用いることによって、それらの処理の精度向上を図ることができる。特に、ノイズの影響を考慮して、上記相関値の変化量を設定することによって、耐ノイズ性に優れた各種処理が可能となる。

なお、本実施形態においては、同時に撮像された一対のフレーム画像（ステレオ画像）への適用例について説明したが、本発明はこれに限定されるものではなく、互いに関連性を有する一対のフレーム領域に対して広く適用可能である。このようなフレーム領域の別の例としては、いわゆるオプティカルフローの処理対象となる、異なる時刻に撮像された一対のフレーム画像が挙げられる。この場合、上述したセンサ６の代わりに単眼カメラが用いられ、フレーム画像が時系列的に出力される。また、このようなフレーム領域は、輝度によって規定される画像（輝度分布）に限定されるものではなく、輝度以外の情報（例えば、遠赤外線カメラより得られる熱分布、レーザレーダやミリ波レーダより得られる反射強度の分布等）によって規定されるものであってもよい。

また、本発明は、パターンマッチングを行う装置に適用することも可能である。ここでは、相関元領域は所定のテンプレートに対応し、また、相関先領域は、フレーム画像の一部または全部を構成する探索領域中の画素領域に対応する。特に、車線に関する道路標示の画像をテンプレートとして、このテンプレートを移動・拡大させながらフレーム画像上の画素領域との相関を評価して対応画素領域を特定する。特定された対応画素領域の位置に関して、誤差幅を推定し、信頼性を評価することが可能である。

また、本実施形態では、相関元領域が基準画像中に設定され、また、相関先領域が比較画像中で特定されるものとしたが、これに代えて、一方の画像において、相関元領域と、この相関元領域に隣接する相関先候補との双方を設定し、自己マッチングを行ってもよい。すなわち、例えば、基準画像において、ある領域と、前後に隣接する領域との間の相関値の変化量を算出する。この変化量の大きさ（相関値０付近を中央とする谷形状の深さ）に基づいて、比較画像との間で得られる視差の誤差幅を予測し、さらに、視差の信頼性を設定することが可能である。

さらに、上述した実施形態では、相関先領域の位置を整数レベルの座標値と、小数レベルの座標値とによって特定しているが、これを一般化すると、前者は離散的な第１の座標値、後者は第１の座標値よりも細かな分解能を有する第２の座標値として表わすことができる。整数レベルの座標値は、離散的な値の代表であるが、これ以外にサブピクセル単位の離散値を用いてもよい。例えば、探索範囲内において０．５画素ずつオフセットさせながら、画素補間にて相関先候補を設定することで、０．５画素毎の離散値として座標値を算出するといった如くである。また、隣接する離散値同士の間隔（オフセット値）が一定である必要は必ずしもない。

第１の実施形態の相関評価システムのブロック構成図 相関値の誤差幅と、相関先領域のズレ量の誤差幅との関係を示す図 第２の実施形態のステレオ式監視装置のブロック構成図

符号の説明

２ マッチング処理部
３ 補間処理部
４ 信頼性評価部
６ センサ
７ アンプ
８ データ補正部
９ 温度センサ
１０ 代表値算出部

Claims (8)

1. 相関元領域の相関先として特定された相関先領域の位置的な信頼性を評価する相関評価システムにおいて、
   前記相関元領域の相関先の候補となる複数の相関先候補を所定の探索範囲内に設定し、前記複数の相関先候補のそれぞれに関して、前記相関元領域との相関の程度を示す相関値を算出し、前記相関先候補毎に算出された相関値同士を比較することによって、前記複数の相関先候補のいずれかを前記相関先領域として特定するとともに、前記相関先領域の位置を離散的な第１の座標値として算出するマッチング処理部と、
   前記相関先領域の相関値と、前記相関先領域と位置的に隣接した前記相関先候補の相関値とを用いた補間によって、前記相関先領域の位置を前記第１の座標値よりも細かな分解能を有する第２の座標値として算出する補間処理部と、
   前記相関先領域の相関値と、前記相関先領域と位置的に隣接した前記相関先候補の相関値との間の変化量に応じて、前記相関値の誤差の範囲を示す第１の誤差幅を前記相関先領域の位置を示す座標軸上に投影するとともに、当該投影によって前記座標軸上に生じた第２の誤差幅に基づいて、前記第１の座標値と前記第２の座標値とによって特定される前記相関先領域の位置に関する信頼性を評価する信頼性評価部と
   を有することを特徴とする相関評価システム。
2. 前記信頼性評価部は、前記相関先領域の相関値と、前記相関先領域と位置的に隣接した前記相関先候補の相関値との間の変化量が小さくなるほど、前記信頼性を低く評価することを特徴とする請求項１に記載された相関評価システム。
3. 前記信頼性評価部は、前記第１の誤差幅として、前記相関値に重畳するノイズのばらつきを推定した一定値を用いることを特徴とする請求項１または２に記載された相関評価システム。
4. 前記相関元領域または前記探索範囲内に含まれるデータに基づいて、当該データを代表する代表値を算出する代表値算出部とをさらに有し、
   前記信頼性評価部は、前記代表値に応じて、前記第１の誤差幅を可変に設定することを特徴とする請求項１または２に記載された相関評価システム。
5. 所定サイズのデータ群によって構成され、かつ、前記相関元領域または前記探索範囲として用いられる領域を含むフレーム領域を出力するセンサと、
   前記マッチング処理部の前段に設けられており、前記センサから出力されたフレーム領域をゲインによって調整するアンプとをさらに有し、
   前記信頼性評価部は、前記ゲインに応じて、前記第１の誤差幅を可変に設定することを特徴とする請求項１，２または４に記載された相関評価システム。
6. 前記マッチング処理部の前段に設けられており、補正前のデータに対して所定の補正を施した上で、補正後のデータを出力するデータ補正部をさらに有し、
   前記信頼性評価部は、前記補正前のデータに対する前記補正後のデータの補正の度合いに応じて、前記第１の誤差幅を可変に設定することを特徴とする請求項１，２，４または５に記載された相関評価システム。
7. 周囲の温度を検出する温度センサをさらに有し、
   前記信頼性評価部は、前記温度に基づいて、前記第１の誤差幅を可変に設定することを特徴とする請求項１，２，４，５または６に記載された相関評価システム。
8. 相関元領域の相関先として特定された相関先領域の位置的な信頼性を評価する相関評価方法において、
   前記相関元領域の相関先の候補となる複数の相関先候補を所定の探索範囲内に設定し、前記複数の相関先候補のそれぞれに関して、前記相関元領域との相関の程度を示す相関値を算出するステップと、
   前記相関先候補毎に算出された相関値同士を比較することによって、前記複数の相関先候補のいずれかを前記相関先領域として特定するステップと、
   前記相関先領域の位置を離散的な第１の座標値として算出するステップと、
   前記相関先領域の相関値と、前記相関先領域と位置的に隣接した前記相関先候補の相関値とを用いた補間によって、前記相関先領域の位置を前記第１の座標値よりも細かな分解能を有する第２の座標値として算出するステップと、
   前記相関先領域の相関値と、前記相関先領域と位置的に隣接した前記相関先候補の相関値との間の変化量に応じて、前記相関値の誤差の範囲を示す第１の誤差幅を前記相関先領域の位置を示す座標軸上に投影するとともに、当該投影によって前記座標軸上に生じた第２の誤差幅に基づいて、前記第１の座標値と前記第２の座標値とによって特定される前記相関先領域の位置に関する信頼性を評価するステップと
   を有することを特徴とする相関評価方法。

Images