JP2009129318A - 画像処理装置 - Google Patents

Abstract

【課題】ステレオ処理におけるサブピクセル演算に際して、演算量の低減を図る。
【解決手段】ステレオマッチング部２は、一方の画像におけるそれぞれの部分領域を相関元とし、個々の部分領域の相関先を他方の画像において探索し、相関元に対する相関先のずれ量を画素の整数倍で表されるピクセル値として算出する。物体領域特定部４は、画像平面上において物体が存在する物体領域を動的に特定する。サブピクセル処理部３は、物体領域特定部４によって特定された物体領域と位置的に対応した部分領域に限定して、ピクセル値よりも分解能が高いサブピクセル値を算出する。
【選択図】図１

Description

本発明は、一対の画像を用いたステレオマッチングを領域毎に行う画像処理装置に係り、特に、相関元に対する相関先のずれ量のサブピクセル演算に関する。

従来より、一対の画像を用いたステレオマッチングを領域毎に行うステレオ処理において、互いに相関を有する領域のずれ量をサブピクセルレベルで算出する手法が知られている。例えば、特許文献１には、ピクセルレベルの視差を与える仮の対応点、その直前の隣接点、その直後の隣接点の３点による直線近似によって、サブピクセル成分を算出する手法が開示されている。また、特許文献１以外にも特許文献２〜５といった手法も知られている。周知のように、ステレオ処理でサブピクセル演算を行えば、実空間上における物体の位置をより高い分解能で特定できる。したがって、ステレオカメラを用いたプレビューセンサ等の測距精度の向上を図ることができる。

特開２０００−２８３７５３号公報 特開２００４−２１９１４２号公報 特開２００３−１５０９３９号公報 特開２００３−９７９４４号公報 特開平５−２６５５４７号公報

しかしながら、上述した特許文献１〜５では、ステレオ処理でのサブピクセル演算を画像全体に亘って行っているので、演算量が増大するという不都合があった。

そこで、本発明の目的は、ステレオ処理におけるサブピクセル演算に際して、演算量の低減を図ることである。

かかる課題を解決するために、本発明は、ステレオマッチング部と、物体領域特定部と、サブピクセル処理部とを有し、一対の画像を用いたステレオマッチングを画像平面上に設定された部分領域毎に行う画像処理装置を提供する。ステレオマッチング部は、一方の画像におけるそれぞれの部分領域を相関元とし、個々の部分領域の相関先を他方の画像において探索する。そして、ステレオマッチング部は、相関元に対する相関先のずれ量を画素の整数倍で表されるピクセル値として算出する。物体領域特定部は、画像平面上において物体が存在する物体領域を動的に特定する。サブピクセル処理部は、物体領域特定部によって特定された物体領域と位置的に対応した部分領域に限定して、ピクセル値よりも分解能が高いサブピクセル値を算出する。

ここで、本発明において、物体領域特定部は、ステレオマッチング部によって算出されたピクセル値の集合によって規定される二次元平面上において、同一物体と見なせるほどに値が近接し、かつ、位置的に隣接したピクセル値同士をグループ化することによって、物体領域を特定することが好ましい。また、これに代えて、画像の輝度平面上において、物体としての輝度パターンに合致する領域を物体領域として特定してもよい。

また、本発明において、サブピクセル処理部は、物体領域特定部によって特定された従前のフレームにおける物体領域に基づいて、今回のフレームにおいてサブピクセル値を算出する領域を設定することが好ましい。また、サブピクセル処理部は、物体領域が複数検出された場合、予め設定された優先順位規則に基づいて、記物体領域のそれぞれに優先順位を設定し、この設定された優先順位にしたがってサブピクセル値を算出してもよい。

本発明によれば、画像平面上において物体が存在する物体領域を動的に特定し、この領域に限定してサブピクセル演算を行う。これにより、サブピクセル演算を画像全体に亘って行う場合と比較して、サブピクセルの演算を行う領域を限定した分だけ演算量の低減を図ることができる。

（第１の実施形態）
図１は、第１の実施形態に係る画像処理装置のブロック構成図である。画像処理装置１は、ステレオマッチング部２と、サブピクセル処理部３と、物体領域特定部４とを主体に構成されている。この画像処理装置１は、例えば、ステレオカメラによって車両前方を監視するプレビューセンサの一部、具体的には、物体の認識を行う認識ユニットの前処理ユニットとして用いられる。この場合、ステレオマッチング部２に入力される一対の画像として、図示しないステレオカメラより出力されたステレオ画像、すなわち、所定のカメラ基線長を隔てて配置された一対のカメラによって同時に撮像・出力された一対の画像が用いられる。また、画像処理装置１は、車載型プレビューセンサ以外にも、ステレオカメラを用いた障害物検出装置、地形認識装置、踏切監視装置、或いは、飛行体の高度計測装置等でも適用することができる。さらに、画像処理装置１は、ステレオカメラに限定されるものではなく、例えば、物体の移動量や速度をオプティカルフローとして検出する検出ユニットの前処理ユニットとして用いることもできる。この場合、単眼カメラにて物体を所定の間隔で繰返し撮像し、あるタイミングで撮像された画像と、それとは異なるタイミングで撮像された画像とが、一対の画像としてステレオマッチング部２に入力される。

以下の説明では、一対の画像のうち、一方を「基準画像」と呼び、他方を「比較画像」と呼ぶ。ステレオカメラの場合、同時に撮像された画像のうち、一例として、メインカメラの画像を基準画像とし、サブカメラの画像を比較画像とする。また、単眼カメラの場合、時系列的に異なるタイミングで撮像された画像のうち、一例として、撮像タイミングの早い方を基準画像とし、撮像タイミングの遅い方を比較画像とする。これらの画像は、所定の輝度階調（例えば、256階調のグレースケール）のデジタル画像であり、１フレームの画像は、輝度データの二次元平面的な集合として定義される。１フレームを規定する画像平面は、ｉ−ｊ座標系で表現され、画像の左下隅を原点として、水平方向をｉ軸、垂直方向をｊ軸とする。

ステレオマッチング部２は、図５（ａ）に示すように、基準画像と比較画像とを入力としたステレオマッチングを行って、ピクセル値Ｄを算出する。ここで、ピクセル値Ｄは、図５（ｂ）に示すように、基準画像によって規定される画像平面において部分領域毎に算出され、画像平面上の位置（ｉ，ｊ）と対応付けられている。１つのピクセル値Ｄは、基準画像の一部を構成する部分領域としての画素ブロック（例えば、４×４画素）毎に算出され、画素ブロックが算出単位となる。

図２は、基準画像に設定される画素ブロックの説明図である。例えば、基準画像が２００×５１２画素で構成されている場合、１フレームの画像中に５０×１２８個の画素ブロックＰＢijが部分領域として設定される。ステレオカメラの場合、部分領域である画素ブロックＰＢij単位で、ピクセル値Ｄとしての「視差」が算出される。周知のように、視差は、その算出単位である画素ブロックＰＢijの水平方向のずれ量であり、画素ブロックＰＢij内に写し出された対象物までの距離と大きな相関がある。画素ブロックＰＢij内に写し出されている対象物がステレオカメラに近いほど、この画素ブロックＰＢijの視差Ｄは大きくなり、対象物が遠いほど視差Ｄは小さくなる（対象物が無限に遠い場合、視差Ｄは０になる）。

ある画素ブロックＰＢij（相関元）のピクセル値Ｄを算出する場合、この画素ブロックＰＢijの輝度特性と相関を有する領域（相関先）が比較画像において特定される。ステレオカメラの場合、ステレオカメラから対象物までの距離は、基準画像と比較画像との間における水平方向のずれ量として反映される。したがって、比較画像において相関先を探索する場合、比較画像の全体を探索する必要はなく、相関元となる画素ブロックＰijのｊ座標と同じ水平線（エピポーラライン）上を探索すればよい。ステレオマッチング部２は、相関元のｉ座標を基準に設定された所定の探索範囲内において、エピポーラライン上を一画素ずつシフトしながら、相関元と相関先の候補との間における相関性を順次評価する（ステレオマッチング）。

２つの画素ブロックの相関性を判定する手法としては、様々なものが知られているが、ここではシティブロック距離Ｈを用いる。数式１は、シティブロック距離Ｈの基本形を示す。ｐ１ijは一方の画素ブロックにおけるｉｊ番目の画素の輝度値であり、ｐ２ijは他方の画素ブロックにおけるｉｊ番目の輝度値である。シティブロック距離Ｈは、位置的に対応した輝度値ｐ１ij，ｐ２ijの差（絶対値）の画素ブロック全体における総和であって、その差が小さいほど両画素ブロックの相関が大きいことを意味する。
（数式１）
Ｈ＝Σ｜ｐ１ij−ｐ２ij｜

基本的に、エピポーラライン上に存在する画素ブロック毎に算出されたシティブロック距離Ｈのうち、原則として、その値が最小となる画素ブロックが相関先と判断される。そして、このようにして特定された相関先と相関元との間のずれ量がピクセル値Ｄとなる。ステレオマッチングの特性上、相関元に対する相関先のずれ量を表すピクセル値Ｄは、画素の整数倍として表される。

以上の手法によって、ステレオマッチング部２は、１フレームの基準画像を構成するそれぞれの基準画素ブロックに関してピクセル値Ｄを順次算出し、それをサブピクセル処理部３に出力する。その際、図３に示すように、このピクセル値Ｄを与える点ｐ１に関するシティブロック距離Ｈ1（＝Ｈmin）、その直前において隣接した点ｐ０のシティブロック距離Ｈ0、および、その直後において隣接した点ｐ２のシティブロック距離Ｈ2もサブピクセル処理部３に出力される。

なお、シティブロック距離の基本形は上述した通りであるが、具体的な算出式には数々のバリエーションが存在する。例えば、通常のステレオマッチングに代えて、平均値差分マッチングを行ってもよい。平均値差分マッチングは、撮像画像の高周波成分のみをマッチング対象とし、ハイパスフィルタと等価な作用を有しているため、低周波ノイズを有効に除去できる等のメリットがある。平均値差分マッチングでは、数式２に従いシティブロック距離Ｈが算出される。ここで、Ａaveは基準画素ブロックＡの輝度平均値であり、Ｂaveは比較画素ブロックＢの輝度平均値である。すなわち、平均値差分マッチングでは、基準画素ブロックＡの輝度値ａijからその輝度平均値Ａaveを差分した値と、比較画素ブロックＢの輝度値ｂijからその輝度平均値Ｂaveを差分した値との差（絶対値）の画素ブロック全体における総和として定義される。なお、平均値差分マッチング処理の詳細については、例えば、特開平１１−２３４７０１号公報に開示されているので、必要ならば参照されたい。
（数式２）
Ｈ＝Σ｜（ａij−Ａave）−（ｂij−Ｂave）｜
Ａave＝Σａij／（Ｉ×Ｊ）
Ｂave＝Σｂij／（Ｉ×Ｊ）

また、画素ブロックＡ，Ｂの中心部の輝度値（例えば、ａ22，ａ23，ａ32，ａ33、ｂijについても同様）を重視する場合には、数式３のように、輝度差の絶対値に重み係数ｗijを乗じてシティブロック距離Ｈを算出してもよい（重み付けマッチング）。この場合、重み係数ｗijは、画素ブロックＡ，Ｂの内側に向うほど大きな値に設定する。重み付けマッチング処理の詳細については、例えば、特願２００１−０６３２９０号に開示されている。
（数式３）
Ｈ＝Σｗij｜ａij−ｂij｜

サブピクセル処理部３は、ステレオマッチング部２において生成された１画素単位の分解能を有するピクセル値Ｄに対してサブピクセル処理による補間を行い、１画素単位以下の分解能を有するサブピクセル値Ｄsを算出する。ステレオカメラの場合、三角測量の原理より、撮像画像に写し出された対象物までの距離が遠くなるにつれて、測距分解能が必然的に低下してしまうといった本質的特性が知られている。そのため、ピクセル値Ｄよりも高い分解能で情報が取得する必要が生じ、その一手段として、１画素以下の小数画素を有するサブピクセル値Ｄsが用いられる。

サブピクセル値Ｄsの算出手法としては様々な手法が提案されており、いずれの算出手法を用いてもよいが、ここでは２つの算出手法を例示する。

＜算出手法１＞Ｉ−Ｈ平面上での直線近似
特開２０００−２８３７５３号公報に開示された本手法では、図３に示したように、Ｉ（ずれ量）−Ｈ（シティブロック距離）平面上の離散的な分布において、ピクセル値Ｄを与える仮の対応点ｐ１、その直前の隣接点ｐ０、その直後の隣接点ｐ２の３点による直線近似によってサブピクセル値Ｄsが算出される。１画素のサイズが無限に小さいと仮定した場合、画像平面（ｉ，ｊ）におけるシティブロック距離Ｈの分布は、図４に示すように連続的になる。これをずれ量の検出方向の一次元的な分布として捉えた場合、図３の破線で示すような連続的な分布となる。この連続分布が示すように、サブピクセル値Ｄsを与える真の対応点ｐsub（シティブロック距離Ｈの連続分布において本来の最小値をとる点）周りに左右対称になる。ただし、その対称性が論理的に保証されるのは極狭い範囲であり、対応点ｐsubの±１画素以内、すなわち、点ｐ０〜ｐ２の範囲内であることが知られている。このようなシティブロック距離Ｈの対称性に鑑みると、直前の隣接シティブロック距離Ｈ0が直後の隣接シティブロック距離Ｈ2よりも大きい場合（図３のケース）、対応点ｐsubは、仮の対応点ｐ1（離散的なシティブロック距離の分布において最小シティブロック距離となる点）よりも右側（シティブロック距離が小さい点側）に位置することがわかる。

本手法では、仮の対応点ｐ０の右範囲ｉs〜(ｉs+1)内において、対応点ｐsubとみなせる１点を特定すべく、２本の直線Ｌ１，Ｌ２が用いられる。具体的には、まず、隣接点ｐ０，ｐ２のうち、大きい方のシティブロック距離Ｈを与える隣接点ｐ０を選択し、仮の対応点ｐ１と選択された隣接点ｐ０とを結ぶ直線Ｌ１（傾き＝ｍ）が設定される。つぎに、縦軸に対して直線Ｌ１と線対称（傾き＝−ｍ）で、選択されなかった方の隣接点ｐ２を通る直線Ｌ２が設定される。そして、互いに線対称な２本の直線Ｌ１，Ｌ２の交点が算出される。この交点のＩ座標値が、ピクセル値Ｄに対するサブピクセルレベルのずれ量、すなわち、サブピクセル成分Ｓである。サブピクセル値Ｄsは、ピクセル値Ｄにサブピクセル成分Ｓを加えたものである。

＜算出手法２＞補間輝度によるステレオマッチング
特開２００３−１５０９３９号公報に開示された本手法は、上述したシティブロック距離Ｈの対称性に着目する点は算出手法１と同様であるが、その具体的な算出手法が異なり、補間輝度によるステレオマッチングが用いられる。具体的には、対応点ｐsubが仮の対応点ｐ０の右範囲ｉs〜(ｉs+1)内に存在すると判断された場合、この範囲内において輝度の補間データが生成される。この補間データは、４×４画素の画素ブロック単位で、実際の画素の輝度値を例えば線形補間することによって生成される。画素のずれ量ｉs〜ｉ(s+1)の範囲内、すなわち、比較画素ブロックＢ[Is]と比較画素ブロックＢ[Is+1]との間を線形補間する場合には、数式４の補間式が用いられる。ここで、ここで、Ｂ(is)ij，Ｂ(is+1)ijは、それぞれ比較画素ブロックＢ[is]，Ｂ[is+1]を構成する画素群の輝度値である。また、Ｌは、補間解像度（定数）であり、Ｉは、補間画素の位置を示すパラメータ（０≦Ｉ≦Ｌ）であり、整数値をとる。
（数式４）
ｂij＝Ｂ(is)ij＋I×（Ｂ(is+1)ij−Ｂ(is)ij）/Ｌ

このようにして、補間によって求めようとする架空の画素（補間画素）の位置を、補間解像度に応じて（つまり、１／Ｌ画素単位で）移動させながら、補間解像度Ｌ相当の個数分だけ仮想的な比較画素ブロックが生成される。例えば、補間解像度Ｌが２５６の場合、補間データとして、２５５個の比較画素ブロックが得られる。なお、比較画素ブロックＢ[is-1]，Ｂ[is]，Ｂ[is+1]は、互いに水平ライン方向に１画素ずつずらしたものであるから、比較画素ブロックＢ[is-1]におけるｉ行ｊ列目の画素と、比較画素ブロックＢ[is]におけるｉ行ｊ-1列目の画素と、比較画素ブロックＢ[i+1]におけるｉ行ｊ-2列目の画素とは同一の輝度値になる（例えば、Ｂ(is-1)13＝Ｂ(is)12＝Ｂ(is+1)11）。

この補間データを用いて、サブピクセルレベルのステレオマッチングが行われる。すなわち、補間データを構成する比較画素ブロック毎に、基準画素ブロックとのステレオマッチングを行い、ずれ量が算出される。このステレオマッチング自体については、ピクセルレベルのステレオマッチングと同様である。算出されたずれ量は、ピクセル値Ｄ（＝ｉs）の位置を基準としたズレであり、１／Ｌ画素単位（すなわち、小数画素単位）となる。このようにして算出されたずれ量を補間解像度Ｌで除算することにより、サブピクセル成分Ｓが算出される。サブピクセル成分Ｓは、ピクセル値Ｄ（＝ｉs）とサブピクセル値Ｄs（＝ｉsub）とのオフセット値に相当する。したがって、ピクセル値Ｄにサブピクセル成分Ｓを加算すれば、１画素以下の分解能を有するサブピクセル値Ｄsが算出される。

このようにして算出されたサブピクセル値Ｄsは、後段の図示しない処理ユニットに対して出力される。処理ユニットは、必要に応じてサブピクセル値Ｄsを用いて、監視対象となる物体（例えば先行車等）の認識や、物体のオプティカルフローの検出等を行う

物体領域特定部４は、ステレオマッチング部２によって算出されたピクセル値Ｄに基づいて、画像平面上において物体が存在する物体領域を動的に特定する。具体的には、物体の特定は、画像平面上において互いに隣接した画素ブロックのグループ化によって行われる。まず、画像平面の上下左右において位置的に隣接したピクセル値Ｄに関して、その変化量が所定のしきい値以内のもの、換言すれば、同一物体と見なせるほどに値が近接したもの同士が順次グループ化されていく。これにより、大きな物体に関しては大きなグループが形成される（図５（ｃ）のＡ，Ｂ，Ｃ）。つぎに、グループ化された画素ブロック群のサイズ（面積）が算出される。そして、グループのサイズが所定のしきい値よりも大きいか否かが判断される。サイズがしきい値よりも大きなグループ（図５（ｃ）のグループＡ，Ｃ）は、そこに物体が写し出されている領域としての信頼性が高いとみなされ、物体領域として抽出される。これに対して、サイズがしきい値以下のグループ（図５（ｃ）のＢ）は、その信頼性が低いとみなされ、物体領域として抽出されない。このようにして特定された物体領域Ａ，Ｃに関する情報は、サブピクセル処理部３に通知される。なお、以上のような画素ブロックのグループ化の詳細については、特開平６−２６６８２８号公報や特開平１０−２８５５８２号公報にグループフィルタとして開示されているので、必要ならば参照されたい。

なお、物体領域特定部４は、上述した一対の画像より算出されたピクセル値ベースでの処理に代えて、一枚の画像の輝度ベースで物体領域を特定してもよい。この場合、１フレームの画像の輝度平面上において、物体としての輝度パターンに合致する領域が物体領域として抽出される。

サブピクセル処理部３は、１フレームの画像全体に対してではなく、図５（ｄ）に示したように、物体領域特定部４によって特定された物体領域Ａ，Ｃに限定して、サプピクセル値Ｄsを算出する。サブピクセル値Ｄsの算出対象となる画素ブロックは、物体領域特定部４によって特定された物体領域Ａ，Ｂ内に含まれる画素ブロックである。

このように、本実施形態によれば、画像平面上において物体が存在する物体領域を動的に特定し、この領域に限定してサブピクセル演算を行う。これにより、サブピクセル演算を画像全体に亘って行う場合と比較して、サブピクセルの演算を行う領域を限定した分だけ演算量の低減を図ることができる。

（第２の実施形態）
物体領域の特定と、これに基づく領域限定によるサブピクセル演算とは、１フレーム内で完結する処理であってもよいが、複数の連続したフレームに亘る処理としてもよい。前者の形態、すなわち、あるフレームで特定された物体領域を、これと同じフレームでのサブピクセル演算で用いる場合、物体領域の特定と、これに続くサブピクセル演算とを１フレームの処理期間内で完結させねばならず、時間的制約が厳しくなる。そこで、後者の形態に関する本実施形態、すなわち、あるフレームで特定された物体領域を、これよりも後のフレームでのサブピクセル演算で用いるようにすれば、このような時間的制約を緩和できる。

図６は、本実施形態に係るフレーム処理のタイミングチャートである。同図は、２フレーム分の処理を示しており、期間ｔ1〜ｔ3でｎ番目のフレーム（以下「ｎフレームという）、期間ｔ3〜ｔ5で（ｎ＋１）番目のフレーム（以下「（ｎ＋１）フレーム」という）がそれぞれ処理される。まず、ｎフレームの開始タイミングｔ1では、ｎフレームを対象としたステレオマッチングが開始される。そして、このステレオマッチングが終了したタイミングｔ2において、ｎフレームを対象にした物体領域の特定が開始されるとともに、この処理と並行して、ｎフレームを対象にしたサブピクセル演算も開始される。ただし、サブピクセル演算の開始時点では、ｎフレームに関する物体領域が特定されていないので、直前の（ｎ−１）番目のフレーム（以下「（ｎ−１）フレーム」という）に関して特定された物体領域が適用される。すなわち、ｎフレームのサブピクセル演算は、（ｎ−１）フレームで特定された物体領域に限定して行われる。これにより、ｎフレームに関する物体領域の特定およびサブピクセル演算の双方を並行して行うことが可能になる。

つぎに、（ｎ＋１）フレームの開始タイミングｔ3では、（ｎ＋１）フレームを対象としたステレオマッチングが開始される。そして、このステレオマッチングが終了したタイミングｔ4において、（ｎ＋１）フレームを対象にした物体領域の特定が開始されるとともに、この処理と並行して、（ｎ＋１）フレームを対象にしたサブピクセル演算も開始される。（ｎ＋１）フレームのサブピクセル演算は、直前のｎフレームで特定された物体領域に限定して行われる。これにより、（ｎ＋１）フレームに関する物体領域の特定およびサブピクセル演算の双方を並行して行うことが可能になる。

本実施形態によれば、上述した第１の実施形態と同様の効果を有するほか、物体領域の特定とサブピクセル演算とを並行して行うので、第１の実施形態と比較して、処理時間の短縮を図ることができる。

（第３の実施形態）
第２の実施形態のように、今回のフレームを対象にしたサブピクセル演算を従前のフレームで特定された物体領域を用いて行う場合、従前の物体領域をそのまま適用してもよいが、従前の経時的な推移に応じて、今回のフレームにおける物体領域の位置を推定してもよい。図７は、本実施形態に係る物体領域の推定の説明図である。同図（ａ）は、（ｎ−２）フレームの画像を示し、同図（ｂ）は、（ｎ−１）フレームの画像を示す。この場合、同図（ｃ）に示すように、（ｎ−２）フレームおよび（ｎ−１）フレームに関して、物体領域の位置（移動量）やサイズ（伸縮率）等に基づいて、物体領域の位置的な変化示す移動ベクトルＭを算出する。そして、移動ベクトルＭに基づいて、今回のサイクルｎにおける物体領域の位置が特定される。

本実施形態によれば、第１および第２の実施形態と同様の効果を奏するほか、物体が大きく移動する場合であっても、物体領域を精度よく特定できるという効果がある。

（第４の実施形態）
例えば、図８に示すように、自車両前方に２台の先行車が存在する場合、１フレームの画像中に２つの物体領域が特定される。このような場合、処理時間の抑制と必要な情報の確保との両立を図るべく、物体領域のそれぞれに優先順位を設定し、これにしたがって、サブピクセル演算を行うことが好ましい。

優先順位の決定規則としては様々なものが考えられるが、ここでは２つの基準を例示する。

（１）自車線内の車両の有無
一般に、高速道路等での高速走行時には、自車線内で走行する先行車を優先して注意すべきである。この観点より、自車線内で検出された物体領域に関して、優先度を高めることが有効である。この場合、白線（車線）に関する情報以外に、先行車との車間距離等も考慮することが好ましい。

（２）車速情報
一般に、路地や商店街等での低速走行時には、人や車の飛び出し注意すべきである。この観点より、近距離での測距精度が重要になる。そこで、近距離の物体領域に関して、優先度を高めることが有効になる。また、狭路での右左折時や車庫入れ時等の極低速走行時には、車両周辺の至近距離の精度が求められるので、至近距離の物体領域関して、優先度を一層高めることが有効になる。

本実施形態によれば、上述した各実施形態の効果に加えて、物体領域に優先順位を設定することにより、処理時間の抑制と必要な情報の確保との両立を図ることができる。

第１の実施形態に係る画像処理装置の構成図 基準画像に設定される画素ブロックＰＢijの説明図 サブピクセル算出手法の一例を示す説明図 画像平面におけるシティブロック距離の分布説明図 画像処理における工程説明図 第２の実施形態に係るフレーム処理のタイミングチャート 第３の実施形態に係る物体領域の推定の説明図 複数の物体が存在する状況を示す図

符号の説明

１ 画像処理装置
２ ステレオマッチング部
３ サブピクセル処理部
４ 物体領域特定部

Claims (5)

1. 一対の画像を用いたステレオマッチングを画像平面上に設定された部分領域毎に行う画像処理装置において、
   一方の画像におけるそれぞれの前記部分領域を相関元とし、当該部分領域の相関先を他方の画像において探索し、前記相関元に対する前記相関先のずれ量を画素の整数倍で表されるピクセル値として算出するステレオマッチング部と、
   画像平面上において物体が存在する物体領域を特定する物体領域特定部と、
   前記物体領域特定部によって特定された前記物体領域と位置的に対応した前記部分領域に限定して、前記ピクセル値よりも分解能が高いサブピクセル値を算出するサブピクセル処理部と
   を有することを特徴とする画像処理装置。
2. 前記物体領域特定部は、前記ステレオマッチング部によって算出された前記ピクセル値の集合によって規定される二次元平面上において、同一物体と見なせるほどに値が近接し、かつ、位置的に隣接した前記ピクセル値同士をグループ化することによって、前記物体領域を特定することを特徴とする請求項１に記載された画像処理装置。
3. 前記物体領域特定部は、画像の輝度平面上において、物体としての輝度パターンに合致する領域を前記物体領域として特定することを特徴とする請求項１に記載された画像処理装置。
4. 前記サブピクセル処理部は、前記物体領域特定部によって特定された従前のフレームにおける前記物体領域に基づいて、今回のフレームにおいて前記サブピクセル値を算出する領域を設定することを特徴とする請求項１から３のいずれかに記載された画像処理装置。
5. 前記サブピクセル処理部は、前記物体領域が複数検出された場合、予め設定された優先順位規則に基づいて、記物体領域のそれぞれに優先順位を設定し、当該設定された優先順位にしたがって前記サブピクセル値を算出することを特徴とする請求項１から４のいずれかに記載された画像処理装置。

Images