JP2008039491A - ステレオ画像処理装置 - Google Patents

Abstract

【課題】ステレオ画像を処理して対象物の距離計測を行う際に、演算量の増加を抑制すると共に距離計測精度を確保しながら距離計測範囲を拡大する。
【解決手段】ステレオカメラで撮像した左右の通常画像の探索幅ｗに入らない近距離の対象物Ｂが映っている画像を縦横１／２のサイズに縮小し、この縮小画像における視差探索幅を通常画像と同じ探索幅ｗとすることにより、等価的に探索幅を２倍とする。このときのステレオ処理の総演算量は、探索幅ｗが同じであるため、通常画像のステレオ処理の総演算量の１／４となり、単純に通常画像の探索幅ｗを２倍にして遠距離の対象物から近距離の対象物Ｂまでを測距可能とする場合に比較してステレオ処理の演算量を１．２５倍に抑えることができ、処理時間の増加、計算コストの増加を抑えつつ、遠距離の対象物から近距離の対象物Ｂまで測距可能となる。
【選択図】図３

Description

本発明は、異なる視点から同一物体を撮像した画像対をステレオ処理して対象物に対する距離計測を行うステレオ画像処理装置に関する。

一般に、画像による３次元計測技術として、ステレオカメラで対象物を異なる位置から撮像した複数の画像間の相関を求め、同一物体に対する視差からステレオカメラの取り付け位置や焦点距離等のカメラパラメータを用いて三角測量の原理により距離を求める、いわゆるステレオ法による画像処理が知られている。

図９は、ステレオ法による距離計測（測距）の原理を示すものであり、説明を簡略化するため、３次元空間のＸＹＺ座標系におけるＸＺ平面に２台のカメラの光軸を平行に配置した場合について説明する。図９において、２台のカメラの基線長（光軸間隔）をｒ、焦点距離を共にｆとすると、レンズ中心から距離Ｄにある目標点Ｐは、焦点距離ｆだけ離れた各カメラの投影面（撮像面）に写る。

このとき、各カメラの投影面上の目標点Ｐの像Ｐｌ，Ｐｒの投影面座標（カメラ座標）における位置をｘｌ，ｘｒとすると、目標点ＰのＺ座標（距離Ｄ）は、以下の（１）式で求めることができる。
Ｄ＝ｒ・ｆ／（ｘｌ−ｘｒ） …（１）

（１）式における投影点Ｐｌ，Ｐｒの座標位置の差（ｘｌ−ｘｒ）は、２台のカメラの光軸を平行に並べた場合、無限遠点を基準として一方のカメラ画像における計測点の投影点に対して、他方のカメラ画像における同じ計測点の投影点がカメラ画像内で何画素分ずれているかを示しており、このズレ量（ｘｌ−ｘｒ）が視差となる。従って、この視差を求めることにより距離を求めることができる。

以上のステレオ法において視差を求めるためには、画像間のステレオマッチングを行って対応点を正しく検出する必要がある。このステレオマッチングとしては、一般に、一方のカメラの画像を基準画像、他方のカメラの画像を比較画像として、基準画像内の或る１つの点の周囲に小領域を設定し、比較画像内の或る点の周囲に同じ大きさの小領域を設けて対応点を探索する対応点探索法が多く採用されている。小領域は、ブロック或いはウィンドウとも称され、以下ではブロックと記載する。

この対応探索法では、比較画像上でブロックをずらしながら互いのブロックの相関演算を行い、相関値が最も大きいブロックの座標のズレ（視差）が算出される。このズレ量は、画像座標系の対応する位置の輝度値に置き換えられ、画像形態の距離画像として保存される。そして、この距離画像が有する距離情報を用いて、実空間での距離を得ると共に各種認識処理が行われる。

しかしながら、対応点探索によるステレオマッチングでは、演算量が増加して測距に時間が掛かることから、特許文献１では、画像のエッジを抽出し、このエッジを含む規定サイズのパターン同士のステレオマッチングを行って視差を求めることで、測距に要する演算量を抑制し処理時間を短縮する技術を提案している。

特許文献１の技術は、複眼カメラから入力される２つの元画像に斜め成分のエッジが多く含まれる場合を考慮し、２つの画像の一方或いは双方を、横方向或いは縦方向に縮小することにより、斜め成分の多いエッジを確実に検出するようにしている。これにより、エッジを検出できないことによる未測距を防止しつつ、エッジ周囲のパターンの相関演算による測距を行い、演算量を低減して処理時間の短縮化を図っている。
特開２００３−９８４２４号公報

しかしながら、特許文献１に開示の技術は、画像の特徴点に絞ってステレオマッチングを行う限定的な手法であり、輝度が緩やかに変化するエッジの少ない対象物では、未測距が発生することは避けられず、エッジ部分の視差で対象物全体の距離を代表することになる。このため、各部の距離分布を求めて認識処理を行う場合等には、適用が困難であり、このような場合、従来の対応点探索を行わざるを得ない。

更に、より高度な認識処理を可能とするためには、カメラ視野内に存在する異なる距離の複数の物体に対応して距離計測を行うことが要求される。例えば、自動車における前方認識においては、比較的遠距離に位置する他の車両等との衝突判断のみならず、自車両のバンパ近辺に出現する障害物を認識して回避や衝突被害軽減のための制御を行うことが望まれており、短時間のうちに障害物との距離を計測する必要がある。

しかしながら、従来の対応点探索法による距離計測では、測距可能範囲が視差の探索幅で制限されるという問題がある。これは、前述の（１）式において、ｒ・ｆの値は、通常、固定値であるため、測距可能な範囲は、ズレ量（ｘｌ−ｘｒ）を算出可能な範囲に限定されるということを意味する。すなわち、ズレ量（ｘｌ−ｘｒ）が大きくなる程、距離Ｄの値が小さい近距離の測距が可能となるが、ズレ量（ｘｌ−ｘｒ）が大きくなると、視差の探索幅を広げなければならず、演算量及び演算時間の増加を招いてしまう。

本発明は上記事情に鑑みてなされたもので、ステレオ画像を処理して対象物の距離計測を行う際に、演算量の増加を抑制すると共に距離計測精度を確保しながら距離計測範囲を拡大することのできるステレオ画像処理装置を提供することを目的としている。

上記目的を達成するため、本発明によるステレオ画像処理装置は、異なる視点から同一物体をステレオ撮像した画像を処理して対象物に対する距離計測を行うステレオ画像処理装置であって、上記ステレオ撮像した元画像データを設定範囲で探索して対応点の視差を算出し、実空間内の第１の対象物に対する距離計測を行う第１の測距手段と、上記ステレオ撮像した元画像データを縮小処理する画像縮小手段と、上記画像縮小手段で縮小処理した画像データを、上記第１の測距手段の探索範囲よりも実空間上の探索範囲が広くなるように設定した範囲で探索して対応点の視差を算出し、上記第１の対象物よりも近距離に位置する第２の対象物に対する距離計測を行う第２の測距手段とを備えたことを特徴とする。

本発明によれば、ステレオ画像を処理して対象物の距離計測を行う際に、演算量の増加を抑制すると共に距離計測精度を確保しながら距離計測範囲を拡大することができ、近距離から遠距離まで精度の良い測距が可能となる。

以下、図面を参照して本発明の実施の形態を説明する。図１〜図８は本発明の実施の一形態に係り、図１はステレオ画像処理装置の構成図、図２は測距可能範囲を示す説明図、図３は通常画像と縮小画像との関係を示す説明図、図４は縮小対象領域を示す説明図、図５は計測距離と誤差との関係を示す説明図、図６はステレオマッチングの説明図、図７は距離計測処理の流れを示すフローチャート、図８はプリクラッシュ制御への適用例を示すフローチャートである。

図１に示すステレオ画像処理装置１は、例えば自動車等の車両に搭載され、ステレオカメラ２で異なる視点から同一物体を撮像したステレオ画像を処理して対象物の３次元位置を測距するものである。このステレオ画像処理装置１には、３次元位置情報に基づいて各種認識処理を行うマイクロコンピュータ（認識マイコン）５０が接続されている。

ステレオカメラ２は、ＣＣＤやＣＭＯＳイメージセンサ等の撮像素子を有する複数台のカメラからなり、本形態においては、平行ステレオ法による測距用ステレオカメラとして構成されている。すなわち、本形態におけるステレオカメラ２は、互いの光軸が平行となるように配置された左右２台のカメラ２ａ，２ｂから構成され、両カメラ２ａ，２ｂが所定の基線長（光軸間隔）でステー（図示せず）等に機械的に固定されている。

尚、２台のカメラ２ａ，２ｂは、シャッタースピード可変で互いに同期が取られ、固定焦点距離の同じ値を有している。一方のカメラ（左カメラ）２ａは、ステレオ処理の際の基準画像を撮像するメインカメラ、他方のカメラ（右カメラ）２ｂは、ステレオ処理の際の比較画像を撮像するサブカメラとして用いられる。

ステレオカメラ２で撮像された左右１対の元画像は、ステレオ画像処理装置１に読み込まれ、２つの画像の対応点を探索するステレオマッチングにより同一物体に対する視差が検出され、この視差に基づく三角測量の原理により測距が行われる。認識マイコン５０は、ステレオ画像処理装置１で測距された物体の３次元位置に基づいて各種認識処理を行い、認識結果を車両制御装置（図示せず）に出力する。

本発明によるステレオ画像処理装置１は、２台のカメラ２ａ，２ｂで撮像した１対の画像のステレオ処理において、演算量の増加を抑制しつつ直近から遠方までの領域を精度良く測距することができるという特徴を有している。例えば、図２に示すように、車両１００の車室内上部にステレオカメラ２を設置して車外を撮像する場合、両カメラ２ａ，２ｂで撮像した１対の元画像をステレオ処理して測距可能な領域をＲ１とすると、この領域Ｒ１をカメラ側に接近させた領域Ｒ２までの範囲を測距することができ、比較的遠方に位置する第１の対象物Ａから車両１００のバンパ直近の第２の対象物Ｂまでも高精度に検出することができる。

本形態においては、両カメラ２ａ，２ｂでステレオ撮像した画像を「通常画像」と称し、この通常画像の測距領域を近距離側に拡大するため、通常画像をステレオマッチングする処理と、通常画像を縮小した縮小画像をステレオマッチングする処理とを切換えて或いは並行して実行する。

このため、ステレオ画像処理装置１は、左右のカメラ２ａ，２ｂの撮像信号をそれぞれ前処理する前処理部１０ａ，１０ｂ、前処理された左右の撮像画像を記憶する入力画像メモリ１５、入力画像メモリ１５に記憶された撮像画像に対して画像サイズの縮小及びフィルタ処理を行う画像補正部２０、画像補正部２０からの出力に対して各種補正及びステレオマッチング処理を行い、距離情報を画像形態とした距離画像を生成するステレオ処理部３０、ステレオ処理部３０で生成された距離画像と左右のカメラ２ａ，２ｂで撮像された通常画像（前処理及び補正処理後の左右元画像）とを記憶する出力画像メモリ４０を備えている。画像補正部２０は、本発明の画像縮小手段としての機能を含み、ステレオ処理部３０は、本発明の第１の測距手段及び第２の測距手段としての機能を含んでいる。

尚、ステレオ処理部３０で生成される距離画像は、通常画像データをステレオ処理して生成される通常距離画像と、縮小画像データをステレオ処理して生成される縮小距離画像との２種類の距離画像である。

本形態においては、各カメラ２ａ，２ｂは、撮像素子からのアナログ撮像信号を増幅するアンプや、アナログ撮像信号を所定の輝度階調（例えば２５６階調のグレースケール）のデジタル画像に変換するＡ／Ｄコンバータ等の各種回路を内蔵したカメラユニットとして構成されている。

従って、前処理部１０ａ，１０ｂでは、カメラ２ａ，２ｂに対するシャッター制御、画像取り込み範囲の調整、アンプのゲイン・オフセットの制御及び調整、ＬＵＴテーブルによるγ補正等を含む輝度補正、シェーディング補正等を行う。また、前処理部１０ａ，１０ｂは、入力画像メモリ１５にデータを書き出す際のアドレス制御を行い、入力画像メモリ１５の所定のアドレスに、左右のカメラ画像（デジタル画像）が記憶される。

画像補正部２０は、画像処理座標の設定、画像サイズ調整、アドレス制御等における各種パラメータを設定するパラメータ設定部２１、左右の撮像画像に対応して、レンズ歪を含む光学的な位置ズレを補正する補正処理を行うと共に、通常画像のサイズ縮小処理を選択的に実行するアフィン補正部２２ａ，２２ｂ、ノイズ除去処理等を行うフィルタ補正部２３ａ，２３ｂを備えている。

アフィン補正部２２ａ，２２ｂは、入力画像メモリ１５から読み込んだ画像データに対して、各カメラ２ａ，２ｂのレンズの歪み、各カメラ２ａ，２ｂの取り付け位置のズレや焦点距離のバラツキ、更には、各カメラの撮像面のズレ等に起因する光学的な位置ズレを補正する処理を適用し、また、通常画像に対するサイズ縮小処理を選択的に実行する。

光学的な位置ズレの補正は、各カメラ２ａ，２ｂで撮像した画像における回転ズレ、並進ズレ等をアフィン変換補正テーブルを用いて幾何学的に補正すると共に、レンズ歪み等の非線形な歪みを非線形補正テーブルによって補正するものであり、これにより、各カメラ２ａ，２ｂの光学的位置が等価的に精密調整される。これらの補正テーブルは、通常画像データに適用するテーブルと、縮小画像データに適用するテーブルとの２種類のテーブルが備えられている。

一方、通常画像に対するサイズ縮小処理は、ステレオ処理の演算量の増加を抑制しつつ測距領域を近距離側に拡大するための処理であり、アフィン変換によって通常画像を縮小する。例えば、図３に示すように、通常画像の水平方向の視差探索幅をｗとし、この探索幅ｗに入らない近距離の対象物Ｂが映っている場合、この通常画像を縦横１／２のサイズに縮小する。そして、この縮小画像における視差探索幅を通常画像と同じ探索幅（画素数）ｗとすることにより、等価的に探索幅を２倍として相対的に視差を２倍まで探索することができ、近距離の対象物Ｂに対する測距が可能となる。

このときのステレオ処理の演算量を通常画像と縮小画像とで比較すると、探索幅（画素数）ｗが同じであるため、１回の探索に要する演算量は同じであるが、縮小画像は画像全体が１／４に縮小されているため、ステレオ処理の総演算量は通常画像のステレオ処理の総演算量の１／４となる。尚、探索のブロックサイズは、マッチング精度に影響するため、特に指示する場合を除いて通常画像と縮小画像とで同じサイズとする。

従って、単純に通常画像の探索幅ｗを２倍にして遠距離の対象物から近距離の対象物Ｂまでを測距可能とする場合、ステレオ処理の演算量は２倍となるのに対し、探索幅ｗを一定としながら通常画像と縮小画像とを用いてステレオ処理する場合には、ステレオ処理の演算量を１．２５倍に抑えることができ、処理時間の増加、計算コストの増加を抑えつつ、遠距離の対象物から近距離の対象物Ｂまで測距可能となる。

この場合、通常画像と縮小画像とは、同一のフレーム画像とすることが望ましく、縮小する画像領域は、パラメータ設定部２１で設定される。この縮小対象となる画像領域は、図３の例のように通常画像の画像全体を対象とする他、近距離認識に必要最低限な限定領域、更には、通常画像の領域外となる一部の領域を含む領域に設定される。

すなわち、実際にステレオ処理を対象として取得する通常画像は、撮像素子の撮像面よりも小さく設定されることが多く、このような場合、縮小対象とする領域を、通常画像の領域外となっている左右や上下の領域を含む領域とすることで画角を拡大し、情報量を増やすことができる。図４は、通常画像では使用されていない撮像面の下部領域ＲLを通常画像に加えて縮小対象とする例を示しており、車両のボンネット１０１先端側を含む近距離領域を認識可能とすることができる。

何れの場合においても、縮小する画像領域は、通常画像による距離計測領域（図２のＲ１領域）よりも近距離側の領域（図２のＲ２領域）を距離計測領域とするように、縮小画像での視差探索幅を、通常画像の探索幅よりも実空間上の探索範囲が広くなるように設定する。例えば、通常画像を１／３に縮小する場合、通常画像の探索幅を確保できなくとも、通常画像の探索幅の１／３を超える探索幅を確保できれば、実空間上での測距範囲を近距離側とすることができる。この縮小画像領域と探索幅の設定は、以下に説明する計測誤差と計測範囲とを考慮して適性に設定される。尚、通常画像の探索幅及び縮小画像の探索幅は、ともに無限遠対応点を略基点に設定される。

また、画像のサイズ縮小に際しては、原画像の複数の画素が縮小画像の１つの画素に対応することになり、元画像の（Ｎ−１）個飛ばしに画素を選択してその画素の濃度値を縮小画像の画素値とする間引き処理や、Ｎ×Ｎ画素の濃度値の平均値を縮小画像の画素値とする平均処理を行ってサイズ縮小を行う。この場合、近距離の物体は大きく撮像されるため、計測に必要なデータ数が不足したり、像が不鮮明になることはなく、計測精度を確保しながら、近距離の測距を可能とすることができる。

すなわち、ステレオ処理による距離の計測においては、前述したステレオ法の基本式である（１）式からも明らかなように、基線長ｒ及び焦点距離ｆの影響を除くと、対象点までの距離Ｄが遠い程、画像面上での対応点の計測誤差の影響が大きくなる。換言すれば、距離Ｄが小さい近距離では、画像面上での対応点の計測誤差の影響が小さくなるため、画像縮小により解像度が低下しても、計測精度を確保することができる。

対応点の計測誤差の影響は、（１）式におけるズレ量（ｘｌ−ｘｒ）をｘと記載すると、或る距離Ｄ0においてズレ量ｘがΔｘだけ変化したときの距離の変化量ΔＤで把握することができ、この距離の変化量Δは、前述の（１）式より導かれる以下の（２）式で表すことができる。
ΔＤ＝−Ｄ²／（ｒ・ｆ）・Δｘ …（２）

（２）式に基づいて、ステレオ法における計測距離と距離誤差との関係を示すと、通常画像と縮小画像とのそれぞれに対して、図５に示すような誤差曲線が得られる。図５に示すように、同じ距離では、通常画像に比較して縮小画像における誤差が若干大きくなるが、縮小画像を用いて距離計測を行う近距離領域では、元々誤差が小さく、必要十分な精度を確保することができる。

本形態においては、１フレーム分の撮像画像に対して、通常画像データを用いたステレオマッチング処理と縮小画像データを用いたステレオマッチング処理の２種類の処理が実行され、この２つのマッチング処理によって、通常画像による測距値と縮小画像による測距値が得られる。これらの測距値は、後段の認識処理において、必要な計測精度を考慮して設定された図５の破線で示す閾値を境に、使用する測距値が選択される。

すなわち、図５の破線で示す閾値より遠距離領域については、通常画像を用いたマッチング処理による測距値を選択し、閾値より近距離領域については、縮小画像を用いたマッチング処理による測距値を選択する。本形態においては、通常画像の探索幅は、図５の破線で示す閾値より遠距離側の領域までを測距しうる程度の画素数に設定している。

尚、例えば、車速等に応じて外部からステレオ画像処理装置１に制御指令を与え、強制的にアフィン変換による縮小を開始・停止させることで、測距を切り換えることも可能である。

フィルタ補正部２３ａ，２３ｂは、入力画像メモリに記憶された左右のデジタル画像（諧調画像）に含まれるノイズを、３×３フィルタ等の空間フィルタを用いて除去する。このノイズ除去処理は、アフィン補正部２２ａ，２２ｂで縮小処理された縮小画像データと、アフィン補正部２２ａ，２２ｂでレンズ歪補正を含む幾何補正のみを施された通常画像データとに対して、それぞれ対応するフィルタ値を切換えて適用する。

以上の画像補正部２０から出力される左右の通常画像データ及び縮小画像データは、ステレオ処理部３０に入力される。ステレオ処理部３０では、左右の通常画像データ及び縮小画像データに対して、それぞれ、視差探索のブロックサイズ、探索幅、一致度判定値を設定し、また、微分フィルタ処理（ｄｃｄｘ処理）によるエッジ抽出、距離補正処理、ペアリング処理等を行ってステレオマッチングを実行する。

ステレオマッチング処理は、１フレーム分の撮像画像に対して通常画像データに対する処理と縮小画像データに対する処理との２種類のマッチング処理として実行される。この２つのマッチング処理は、一方のマッチングが終了したタイミングで他方のマッチングに切換える、或いは、双方のマッチングを並列に実行するといったように設定されるが、いずれの場合においても、近距離障害物に対する応答性を向上するため、縮小画像データに対する処理を優先する。

ステレオマッチングの結果（一致度判定結果）は、信頼度処理によって検証され、信頼度の高い視差データのみが選別されて距離画像が生成され、出力画像メモリ４０に書き出される。尚、出力画像メモリ４０には、通常画像データから生成した距離画像、縮小画像データから生成した距離画像、及び、画像補正部２０から出力される左右の通常画像と左右の縮小画像が格納される。

ステレオ処理部３０におけるステレオマッチング（一致度判定）においては、例えば、周知の領域探索法を用いて、基準画像と比較画像との相関度が評価される。すなわち、相関度の評価関数として、基準画像のブロックと比較画像のブロックとの間のピクセル値の差分（絶対値）の総和（ＳＡＤ；Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を演算してステレオマッチングが行われる。ピクセル値としては、一般的に、各画素の輝度値を用いることが多い。

ＳＡＤによる評価関数の値は、シティブロック距離と称されるものであり、ブロック間の相関が高い程（類似している程）、シティブロック距離の値が小さくなり、シティブロック距離が最小値を取るブロック間の水平方向のシフト量により、視差が与えられる。シティブロック距離Ｃは、画像平面上の位置を、水平方向をｉ座標、垂直方向をｊ座標とする直交座標で定義し、互いの相関度を探索するブロックを、ｉ×ｊ（ｉ＝０〜ｎ，ｊ＝０〜ｎ）の探索ブロックとするとき、以下の（３）式に示すように、基準画像の探索ブロックｍａｉｎ(i,j)と比較画像の探索ブロックｓｕｂ(i,j)とのＳＡＤ値を、ｉ軸上を所定のシフト値ずつずらしながら演算することにより得られる。
Ｃ＝Σ│ｍａｉｎ(i,j)−ｓｕｂ(i,j)│ …（３）

尚、探索ブロック（小領域）間のステレオマッチングについての詳細は、本出願人の特許第３１６７７５２号に詳述されている。

以上のＳＡＤ演算では、例えば４×４画素の探索ブロックを対象として、基準画像の探索ブロック（以下、「メインブロック」と記載する）に対して比較画像の探索ブロック（以下、「サブブロック」と記載する）の位置を水平線上を１画素ずつずらしながらＳＡＤ演算を行うと、図６に示すように、シティブロック距離が最小値Ｃ0となる点がメインブロックとサブブロックとの相関度が最も高い対応位置（一致点）として求められる。

この一致点におけるメインブロックとサブブロックとの１画素単位のずれ量（水平方向のメインブロックの位置ｉｍとサブブロックの位置ｉｓとの差）は、１画素単位の分解能を有する視差（ピクセル視差）を与える。このピクセル視差に基づく距離情報は、前述したように、対象物までの距離が大きくなるにつれて分解能が低下するため、必要に応じて１画素単位以下の分解能を有するサブピクセルレベルの視差を求める処理を行う。

次に、以上のステレオ画像処理装置１における距離計測処理の流れについて、図６に示すフローチャートを用いて説明する。尚、以下では、近距離領域の測距を優先し、近距離領域のステレオ処理が終了した後に遠距離領域のステレオ処理に切換える例について説明する。

先ず、ステップＳ１でカメラパラメータ等を設定してシステムを初期化し、ステップＳ２で、前処理部１０ａ，１０ｂの処理として、左右のカメラ２ａ，２ｂから１フレーム分の画像を取り込み、ゲイン・オフセットの調整、γ補正、シェーディング補正等を行って入力画像メモリ１５に格納する。

次に、ステップＳ３へ進み、１回目のステレオ処理として、左右の縮小画像データをステレオ処理するためのパラメータを設定する。このパラメータ設定では、画像補正部２０における画像縮小に伴うノイズの影響の変化を考慮したフィルタ値の切換え、ステレオ処理部３０における視差探索のブロックサイズ、探索幅、一致度判定値、微分フィルタ処理（ｄｃｄｘ処理）、距離補正処理、ペアリング処理等のパラメータを、縮小画像データに対応して設定する。

尚、ここでは、視差探索のブロックサイズ、探索幅は、通常画像データに対するステレオ処理と同じとするが、より近距離側の測距を可能とするように変更しても良い。

次いで、ステップＳ４へ進み、１回目のステレオ処理（左右の縮小画像データに対するステレオマッチング）を実行する。この１回目のステレオ処理は、以下に説明する２回目の通常画像に対するステレオ処理と同じ探索幅でのマッチング処理であり、縮小画像データを通常画像データに対するステレオ処理と同じ探索幅でマッチングすることにより、視差探索の総ブロック数を低減して演算量の増加を抑制し、近距離側の領域を正確に測距することができる。この縮小画像データに対するステレオ処理より距離画像が生成され、出力画像メモリ４０に格納される。

ステップＳ４における近距離対象物の測距のためのステレオ処理が完了すると、次に、ステップＳ５へ進み、２回目のステレオ処理として、画像補正部２０で補正処理された左右の通常画像データを取り込むためのパラメータを設定する。そして、ステップＳ６で、２回目のステレオ処理（左右の通常画像データに対するステレオマッチング）を実行し、距離画像を生成すると、ステップＳ２へ戻ってカメラ２ａ，２ｂから次のフレームの撮像画像を取り込み、同様の処理を繰り返す。

以上の処理によって生成された距離画像（通常及び縮小の２種類の距離画像）と左右の撮像元画像は、出力画像メモリ４０を介して認識マイコン５０に取り込まれる。認識マイコン５０では、距離画像からの測距情報及び撮像元画像を用いて障害物等の画像認識を行い、各種車両制御を実行する。

この画像認識による車両制御として、衝突を予測してドライバーの危険回避行動を支援し、衝突時の被害を軽減するプリクラッシュ制御を例に取り、図７のフローチャートを用いて説明する。

図７に示すプリクラッシュ制御では、最初のステップＳ１１においてシステムを初期化し、ステップＳ１２で近距離障害物検出処理を行う。この近距離障害物検出処理は、ステレオ画像処理装置１で近距離用ステレオ画像（左右の縮小画像）をステレオ処理して生成した距離画像からのデータに基づいて、自車両のバンパ直近等に出現する近距離の障害物を検出する処理である。

次に、ステップＳ１３へ進み、近距離障害物があるか否かを判定する。その結果、近距離障害物が検出された場合には、ステップＳ１３からステップＳ１４へ進み、プリクラッシュ制御を実行し、ドライバーに対する警報やブレーキ制御、操作制御等による障害物の回避動作を行い、ステップＳ１２へ戻る。

一方、近距離障害物が検出されない場合には、ステップＳ１３からステップＳ１４へ進み、通常ステレオ画像による障害物検出処理を実行する。この障害物検出処理は、ステレオ画像処理装置１で通常ステレオ画像（左右の撮像元画像）をステレオ処理して生成した距離画像からのデータに基づいて遠距離領域に存在する障害物を検出する処理である。

次に、ステップＳ１５へ進んで物体認識処理を行い、ステップＳ１６で自車両前方に危険物があるか否かを判定する。そして、自車両前方に危険物がないと判定した場合には、ステップＳ１２へ戻り、危険物があると判定した場合、ステップＳ１９で、ドライバーに対する警報を出力すると共に、緩ブレーキ制御により、急ブレーキとならない程度にブレーキをかけて安全を確保し、ステップＳ１２へ戻る。

以上のように、本実施の形態においては、ステレオ撮像した元画像データを視差探索して実空間内の第１の対象物に対する距離計測を行うと共に、ステレオ撮像した元画像データを縮小処理して第１の対象物よりも近距離に位置する第２の対象物に対する距離計測を行うことにより、演算量の増加を抑制すると共に距離計測精度を確保しながら距離計測範囲を拡大することができ、より高度な画像認識及び制御に繋げることが可能となる。

ステレオ画像処理装置の構成図 測距可能範囲を示す説明図 通常画像と縮小画像との関係を示す説明図 縮小対象領域を示す説明図 計測距離と誤差との関係を示す説明図 ステレオマッチングの説明図 距離計測処理の流れを示すフローチャート プリクラッシュ制御への適用例を示すフローチャート ステレオ法による距離計測の原理を示す説明図

符号の説明

１ ステレオ画像処理装置
２ ステレオカメラ
２０ 画像補正部
２２ａ，２２ｂ アフィン補正部
３０ ステレオ処理部

Claims (4)

1. 異なる視点から同一物体をステレオ撮像した画像を処理して対象物に対する距離計測を行うステレオ画像処理装置であって、
   上記ステレオ撮像した元画像データを設定範囲で探索して対応点の視差を算出し、実空間内の第１の対象物に対する距離計測を行う第１の測距手段と、
   上記ステレオ撮像した元画像データを縮小処理する画像縮小手段と、
   上記画像縮小手段で縮小処理した画像データを、上記第１の測距手段の探索範囲よりも実空間上の探索範囲が広くなるように設定した範囲で探索して対応点の視差を算出し、上記第１の対象物よりも近距離に位置する第２の対象物に対する距離計測を行う第２の測距手段と
   を備えたことを特徴とするステレオ画像処理装置。
2. 上記画像縮小手段は、
   上記ステレオ撮像した元画像データを、上記第１の測距手段の探索範囲を少なくとも含む画像サイズに縮小することを特徴とする請求項１記載のステレオ画像処理装置。
3. 上記第２の測距手段は、
   上記第１の測距手段の探索範囲と同じ大きさの範囲を探索して対応点の視差を算出することを特徴とする請求項２記載のステレオ画像処理装置。
4. 上記第２の測距手段の処理を上記第１の測距手段の処理よりも優先させて実行することを特徴とする請求項１〜３の何れか一に記載のステレオ画像処理装置。

Images