JP2009104366A - ステレオ画像処理方法 - Google Patents

Abstract

【課題】ステレオカメラによって撮像された画像に含まれるノイズに起因するステレオマッチング処理の誤対応を減少させ、信頼性の高い視差画像および距離画像を取得することを可能にするステレオ画像処理方法を提供する。
【解決手段】ステップＳ１では、基準画像の画素の輝度値と所定のしきい値Ｎｔｈとを比較する。ステップＳ２では、輝度値が所定のしきい値Ｎｔｈよりも小さいと判断した基準画像の画素の輝度値を０値に置き換える。ステップＳ４では、基準画像の画素の輝度値が０値の場合は、その画素の視差ベクトルＶｐを０値とする。ステップＳ５では、輝度値が所定のしきい値Ｎｔｈ以上と判断した基準画像中の画素を注目画素として、比較画像中の対応点を特定する。次いで、対象物体２が存在する領域までの距離Ｚに応じて生じる注目画素の視差ベクトルＶｐを求めて処理を終了する。
【選択図】 図２

Description

本発明は、対象物体を撮像したステレオ画像の対応する画素点間の視差ベクトルを求め、それをもとに対象物体までの距離を計算するステレオ画像処理方法に関する。

一般に、画像による３次元計測技術として、異なる位置に配設した２台のカメラからなるステレオカメラによって対象物体を撮像した一対の画像の相関を求め、この相関から対象物体に対する２台のカメラの視差を求め、この視差からステレオカメラの取り付け位置や焦点距離等のカメラパラメータを用いて三角測量の原理によって対象物体の位置を算出する、いわゆるステレオ法による画像処理が知られている。

近年、ＣＣＤ、ＣＭＯＳ等の固体撮像素子を内蔵した一対の車載カメラ（ステレオカメラ）を用いたステレオ式車外監視装置が注目されている。３次元計測技術の一つであるステレオ法では、一方の画像中の画素ブロック（小領域）と相関を有する画素ブロックを他方の画像において特定し（ステレオマッチング処理）、両画素ブロックの相対的なずれ量である視差から、三角測量の原理を用いて距離情報を算出する。

ステレオカメラによって対象物体を撮像した一対の画像からなるステレオ画像を得て、対象物体上のある１点が一方の画像に投影されているとき、この点の他方の画像における投影先が分かれば、三角測量の原理に基づいて対象物体上の点までの距離を計算することができる。このことは例えば、非特許文献１に開示されている。

図１１は、ステレオカメラによって距離を算出する原理を説明する図である。

図１１に示すように、対象物体２上の点Ｑ（ｘ，ｙ，ｚ）は、光軸Ｏａ、Ｏｂ間に一定の距離（＝基線長）Ｂをおいて配置された一対の撮像カメラ３ａ、３ｂによって撮像される。次に、カメラ３ａ、３ｂによって撮像されたステレオ画像における点Ｑ（ｘ，ｙ，ｚ）のＸ−Ｙ座標平面上の投影点の座標Ｑａ（ｘａ，ｙａ）、Ｑｂ（ｘｂ，ｙｂ）が求められる。この座標Ｑａ（ｘａ，ｙａ）とＱｂ（ｘｂ，ｙｂ）とから、視差Ｑａ−Ｑｂ＝（ｘａ−ｘｂ，ｙａ−ｙｂ）が求められ、点Ｑ（ｘ，ｙ，ｚ）の投影点に対応する対象物体２上の点Ｑ（ｘ，ｙ，ｚ）までの距離Ｚが算出される。

ここで、ステレオ画像を撮影する２台のカメラ３ａ、３ｂを光軸Ｏａ、Ｏｂが同一のＸ−Ｚ平面上に含まれるように配置するとＹａ＝Ｙｂとなる。対象物体２上の点Ｑ（ｘ，ｙ，ｚ）がカメラ３ａによって撮像された画像上の座標Ｑａに投影されているとき、点Ｑ（ｘ，ｙ，ｚ）のカメラ３ｂによって撮像された画像上への投影先である座標Ｑｂの探索（対応点探索）は、カメラ３ａ、３ｂによって撮像された画像上に点Ｑ、Ｑａ、Ｑｂを含むエピポーラ平面が投影されたエピポーラ線Ｅｐａ、Ｅｐｂ上で行えばよい。すなわち、カメラ３ａ、３ｂの光軸Ｏａ、Ｏｂ間の距離をＢ、焦点距離をｆとすると、対象物体２上の点Ｑ（ｘ，ｙ，ｚ）が２台のカメラ３ａ、３ｂによって撮像された画像上の点Ｑａ（ｘａ，ｙａ）、点Ｑｂ（ｘｂ，ｙｂ）にそれぞれ投影されると、対象物体２上の点Ｑ（ｘ，ｙ，ｚ）までの距離Ｚは［数１］によって表される。

［数１］
Ｚ＝Ｂ＊ｆ／（ｘａ−ｘｂ）
ここで、ｘａ−ｘｂは視差を表し、カメラ３ａによって撮像された画像を基準画像とした場合、カメラ３ｂによって撮像された比較画像の対応点Ｑｂ（ｘｂ，ｙｂ）における視差ベクトルは一般にＶｐ（ｘａ−ｘｂ，ｙａ−ｙｂ）と表される。

図１２は、従来のステレオ画像処理装置の構成を示すブロック図である。

図１２に示すように、従来のステレオ画像処理装置３０は、対象物体２が存在する領域のステレオ画像を撮像する２台１組のカメラ３ａ、３ｂから構成されるステレオカメラ３と、カメラ３ａとカメラ３ｂとで撮像された各画像をステレオマッチング処理によって対象物体２が存在する領域の視差画像を求め、距離分布情報（距離画像）を取得するステレオカメラ処理部５とから構成される。

ステレオカメラ３を構成する２台のカメラ３ａ、３ｂは、ＣＣＤ、ＣＭＯＳ等の固体撮像素子を内蔵したカメラである。一方のカメラ３ａをステレオマッチング処理の際の基準画像を撮像するメインカメラとし、他方のカメラ３ｂをステレオマッチング処理の際の比較画像を撮像するサブカメラとして互いに同期が取られ、所定の基線長Ｂで互いの撮像面垂直軸が平行となるよう配置される。また、カメラ３ａ、３ｂは、アナログ撮像信号を処理するためのアンプやＡ／Ｄ変換部と、例えば高集積度ＦＰＧＡによって構成した画像処理の各種機能回路とを備え、撮像画像を所定の輝度階調のディジタル画像データに変換して出力する。

ステレオカメラ処理部５は、対応点検出部６と、距離計算部７とから構成される。

対応点検出部６は、カメラ３ａによって撮像された基準画像と、カメラ３ｂによって撮像された比較画像とを元画像メモリにストアし、ステレオマッチング処理によって基準画像の画素毎に比較画像の画素を対応付ける。このステレオマッチング処理では、例えば特許文献１に（３）式として開示されている相関関数などの評価関数に従って対応点探索が行われる。また、対応点検出部６は、探索された対応点を用いて基準画像の画素毎に対象物体２が存在する領域までの距離に応じて生じる画素のズレ（＝視差）を視差ベクトルＶｐとして求める。この視差ベクトルＶｐは、基準画像を構成する画素毎に配置すると、視差画像を構成する。

距離計算部７は、対応点検出部６によって求められた視差ベクトルＶｐから得られる対象物体２が存在する領域までの遠近情報である距離情報を数値化した距離Ｚを算出する。この距離Ｚは、基準画像を構成する画素毎に配置すると、距離分布情報（距離画像）を構成する。

従来のステレオ画像処理装置３０におけるステレオマッチング処理では、カメラ３ａ、３ｂで撮像されたステレオ画像である一対のアナログ画像がディジタル処理のためにディジタル化された後、このディジタル化された画像の値を用いて対応点探索が行われ、距離情報が演算される。したがって、ディジタル化された画像にノイズが含まれていると、ステレオマッチング処理においてノイズの影響によってミスマッチング（誤対応）が生じて正確な視差ベクトルＶｐや距離Ｚを得られない場合がある。

ディジタル画像に含まれるノイズには、カメラ３ａ、３ｂが出力する画像信号に含まれる固定パターンノイズ、Ａ／Ｄ変換部のオフセット、ランダムノイズなどが考えられる。固体撮像素子を内蔵したカメラ（特にＣＭＯＳセンサ）では、２次元状に配置された各画素がそれぞれにアンプを持ち、それぞれのアンプの利得の違いによってノイズ（固定パターンノイズ）が生じる。また、カメラ３ａ、３ｂが撮像したアナログ画像をディジタル化するために、映像信号はＡ／Ｄ変換される。このＡ／Ｄ変換時に量子化誤差やオフセット誤差を生じる。さらに、固定パターンノイズやオフセット誤差の他に、熱雑音やスパイクノイズなどのランダムノイズが生じる。

また、固体撮像素子を内蔵したカメラでは、受光感度に限界があるため、明るい撮像環境や暗い撮像環境に対応するために、オートゲインコントロール（ＡＧＣ）が使用される。このオートゲインコントロールは、均一光を照射した撮像環境で撮像した場合の増幅度と、暗い撮像環境や明るい撮像環境を撮像した場合の増幅度とがそれぞれ異なるため、固定パターンノイズの減算処理をしても画像にはノイズの影響が残ることとなる。

特許文献２には、各画素にアンプを持つＣＭＯＳなどの固体撮像素子を内蔵したカメラや、ＣＣＤカメラにおいて異なる転送経路問での特性のばらつきにより生じるノイズ（主に固定パターンノイズ）を除去する方法として、対象物体２が存在する撮影空間に均一光を照射して撮像した画像の各画素位置の画像出力をメモリに記録しておき、これを通常の撮像時の画像出力から減算することによってノイズの影響を排除する方法が開示されている。しかし、この方法では固定パターンノイズに対するノイズ除去の効果は期待できるが、ランダムノイズの影響は排除できない。

また、特許文献３には、確率モデルなどを用いた補正によってランダムノイズの影響を排除する方法が開示されている。しかしこの方法は、ノイズの補正が推定によって行われ、撮像する対象物体２の距離情報を正しく算出するためのデータに補正することができない。また、ステレオ法には、少なくとも２台のカメラ３ａ、３ｂによって撮像した画像を使用するが、複数のカメラが撮像した画像のノイズをそれぞれ推定によって補正すると、ステレオマッチング処理において新たな誤対応を生じる恐れがある。

さらに、特許文献４には、算出された視差ベクトルの絶対値の発生頻度を観測し、所定値以下の頻度の視差ベクトルの絶対値を処理から除外することでノイズの影響を排除する方法が開示されている。この方法では、視差画像中に含まれる突発的なノイズを軽減し、視差画像を全体的に平滑化する効果はあるが、平滑化するためにはある程度の正しい計測結果が必要となる。したがって、例えばノイズが優勢な暗い画像では、正しい視差ベクトルＶｐがほとんど得られないため、ノイズの影響を排除できない。

さらにまた、特許文献５には、通常のステレオマッチング処理とフィルタを適用した画像に対するステレオマッチング処理とを並列しておこない、双方の結果を比較し、差が所定の値未満の場合は、前者を、所定の値以上の場合は後者を選択する方法が開示されている。フィルタをローパスフィルタとすることでノイズによる急激な輝度変化の影響を除去することを目的としているが、例えばノイズが優勢な暗い画像では、輝度変化は微小であるため、ノイズを完全に除去することは困難である。

具体的には、絞りを全閉にしたカメラで撮像された画像は黒一色となり、対応点探索によって全ての画素が対応点として探索されてしまい、視差を求めることができなくなる。しかし、絞りを全閉にしたカメラで撮像された画像がノイズを含む場合には、フィルタを通過する周波数成分が存在する限り、ノイズを含んだ画素が誤って対応点として探索されて、間違った視差が求められる恐れがある。また、撮像時間の異なる画像を用いたフィルタ処理をおこなうことも提案されているが、ランダムノイズに対しては有効であるが、一対のカメラについて等しい結果を得られず、また、固定パターンノイズやオフセット誤差は除去できない。
特開平９−３３２４９号公報 特開平５−３０３５０号公報 特開２００６−３１０９９９号公報 特開２０００−３５３２９号公報 特開２０００−３５３３０号公報 電子情報通信学会（編）中嶋正之、山本正信 共著、「グラフィックスとビジョン―ディジタル映像処理」オーム社、１９９６年４月２５日出版、ｐ２８から３１

図１３は、撮像環境の明るさによる画像の輝度値の信号レベルの変化とノイズによるＳ／Ｎの変化を説明する図である。

図１３に示すように、明るい撮像環境で撮像された画像は輝度値の信号レベル（線Ｓｂ）が高く、暗い撮像環境で撮像された画像は輝度値の信号レベル（線Ｓｄ）が低い。両撮像環境で撮像した画像の輝度値の信号レベルを比較すると、例えばほぼ同じレベルのノイズ（線Ｎ）が両信号に含まれる場合には、暗い撮像環境で撮像された画像のほうがＳ／Ｎが悪化する。

また、画像中のノイズが完全に除去できない場合、暗い画素を含む画像では、信号とノイズとの差が小さくなってＳ／Ｎが悪化する。このような画像では、本来の信号よりもノイズによって画素が特徴付けられる。

さらに、画像を構成する全ての画素から画像に含まれるノイズの最大値Ｎｍａｘを一律に減ずると、減算後の各画素の輝度値は、ノイズの影響を残したままとなる。

ステレオ法において、画像間の対応点を探索する方法の一例であるブロックマッチング処理では、画像間の類似性を評価するために比較する画像から画像ブロック（小領域）を切り出し、この小領域に対する輝度差の総和（ＳＡＤ：Ｓｕｍ ｏｆ ＡｂｓＯａｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）、輝度差の２乗和（ＳＳＤ：Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｃｅ）、正規化相互相関（ＺＮＣＣ：Ｚｅｒｏ-ｍｅａｎ ＮＯｂｍａｌｉｚｅｄ Ｃｒｏｓｓ-ＣＯｂｒｅｌａｔｉｏｎ）などを求める。ＳＡＤやＳＳＤを使うときには最小値、ＺＮＣＣを使うときには最大値を与える小領域の切り出し位置を探索することで、画像間の変位、すなわちカメラ３ａとカメラ３ｂとの視差を画素単位で求めることができる。

ここで、ステレオマッチング処理の一例であるＳＡＤの場合について対応点の探索に対するＳ／Ｎの悪化による影響を説明する。

図１４は、ステレオマッチング処理の対応点の検索に対するＳ／Ｎの悪化による影響を説明する図であり、（Ａ）は、明るい環境で撮像された基準画像の小領域の輝度値の一例を示す図であり、（Ｂ）は、明るい環境で撮像された比較画像の小領域の輝度値の一例を示す図であり、（Ｃ）は、明るい環境で撮像されたノイズを含む基準画像の小領域の輝度値の一例を示す図であり、（Ｄ）は、暗い環境で撮像された基準画像の小領域の輝度値の一例を示す図であり、（Ｅ）は、暗い環境で撮像された比較画像の小領域の輝度値の一例を示す図であり、（Ｆ）は、暗い環境で撮像されたノイズを含む基準画像の小領域の輝度値の一例を示す図である。

図１４に示すように、ステレオマッチング処理によって基準画像と比較画像との対応点探索を行う画素ブロック（小領域）の一例として、画素ブロックのサイズを３×３画素分の小領域を考える。このとき、基準画像における注目点は、この小領域の中央に位置する画素である。

図１４（Ａ）に示す基準画像の小領域と、図１４（Ｂ）に示す比較画像の小領域とのように、基準画像と比較画像との小領域の輝度値の配置が一致している場合は、ＳＡＤによってステレオマッチング処理を行うと、［数２］のようにＳＡＤは０値となる。このＳＡＤの値が、基準画像と比較画像との小領域の相関値となる。なお、ステレオカメラ３は、カメラ３ａとカメラ３ｂとで異なる視線方向から立体物である対象物体２を撮像するため、対象物体２の投影面に違いがあって、基準画像と比較画像との小領域が完全に一致することは稀であり、ステレオマッチング処理においては相関値が最小になる小領域間で対応付けが行われる。

［数２］
ＡＢＳ｛（１００−１００）＋（１２０−１２０）＋（１４０−１４０）＋（９０−９０）＋（１００−１００）＋（８０−８０）＋（２００−２００）＋（２３０−２３０）＋（１２０−１２０）｝＝０
ここで、図１４（Ｃ）に示す基準画像の小領域のように、例えば±５程度のノイズが画像に含まれる場合は、ＳＡＤによってステレオマッチング処理を行うと、［数３］のようにＳＡＤは１５となる。

［数３］
ＡＢＳ｛（１００−１０５）+（１２０−１１５）+（１４０−１４５）+（９０−９５）+（１００−９５）+（８０−８５）+（２００−２０５）+（２３０−２２５）+（１２０−１２５）｝＝｜−１５｜＝１５

また、図１４（Ｄ）、（Ｅ）に示す暗い環境で撮像した基準画像と比較画像とを、ＳＡＤによってステレオマッチング処理を行うと、［数４］のようにＳＡＤは０値となる。
［数４］
ＡＢＳ｛（５−５）+（２０−２０）+（１５−１５）+（１５−１５）+（１０−１０）+（５−５）+（２０−２０）+（１０−１０）+（０−０）｝＝０

さらに、図１４（Ｆ）に示す暗い環境で撮像された基準画像の小領域のように、例えば±５程度のノイズが画像に含まれる場合は、ＳＡＤによってステレオマッチング処理を行うと、［数５］のようにＳＡＤは１５となる。
［数５］
ＡＢＳ｛（５−１０）+（２０−１５）+（１５−２０）+（１５−２０）+（１０−５）+（５−１０）+（２０−２５）+（１０−５）+（０−５）｝＝｜−１５｜＝１５

図１４（Ａ）から（Ｃ）に示すように、明るい環境で撮像された画像のようにノイズに対して信号レベルが大きい場合と、図１４（Ｄ）から（Ｆ）に示すように、暗い環境で撮像された画像のようにノイズに対して信号レベルが小さく接近している場合とでは、ステレオマッチング処理によって得られる相関値に差が無い。

すなわち、ステレオマッチング処理により得られる相関値が信号によるものかノイズによるものかの判断は困難であることがわかる。そうすると、ノイズに対して十分に大きな信号が得られない（Ｓ／Ｎが小さい）画像の場合には、ノイズの影響によって基準画像と比較画像との画素間に間違った対応が探索されても、画素間の相関値の大小からは、その適否を判断することは困難であって、信頼性の低い視差ベクトルＶｐが求められ、誤った距離情報の算出を排除することができない。

図１５は、絞りを全閉にしたカメラで撮像した画像に含まれるノイズの一例を示す図である。

画像の全域が黒一色、すなわち画像の全域で輝度のディジタル値が同一（０値）であれば、対応点探索において全ての点が対応点として探索されてしまう。そうすると、視差を算出できず、視差画像は得られない。しかし、図１５に示すように、画像にノイズが含まれていると、すなわち画像中に０値以外の輝度値が含まれていると、対応点探索において基準画像の小領域と比較画像の小領域とがノイズを含んだ点によって対応付けられる恐れがある。そうすると、誤って探索された対応点に基づいて視差ベクトルが求められ、誤った視差画像が得られる。

ノイズによる誤対応を防ぐために、さらに固定パターンノイズの除去処理を繰り返し行うことも考えられるが、ステレオ画像の相関を保ったまま、固定パターンノイズの変化やランダムノイズの影響を排除することは難しく、ノイズの除去処理の繰り返しによってステレオマッチング処理における誤対応を防ぐことは困難である。

具体的には、従来のステレオ画像処理装置３０をステレオ式車外監視装置として使用する場合を検討する。例えばカメラ３ａ、３ｂで撮像される各画像の明るさが十分に得られる日没前では、撮像される画像に対するノイズの影響は小さい。そうすると、カメラ３ａ、３ｂによって撮像されるステレオ画像に基づいてステレオマッチング処理によって視差画像が得られ、この視差画像を用いて路面や車両などの対象物体２の距離画像が取得できるので、対象物体２を障害物として抽出することが可能である。

しかし、例えばカメラ３ａ、３ｂで撮像される各画像の明るさが十分に得られない日没後では、撮像される画像に対するノイズの影響が大きくなる。そうすると、カメラ３ａ、３ｂによって撮像されるステレオ画像に基づいてステレオマッチング処理によって視差画像が得られると、この視差画像の全体には実際の対象物体２とは異なる間違った視差ベクトルＶｐが含まれることとなる。この間違った視差ベクトルＶｐは、不連続かつランダムな視差になっているため、視差画像を用いて、例えば路面や車両などの対象物体２が存在する領域の正確な距離画像を算出できず、対象物体２を障害物として抽出することはできない。

本発明はかかる課題を解決するためになされたもので、ステレオカメラによって撮像された画像に含まれるノイズに起因するステレオマッチング処理の誤対応を減少させ、信頼性の高い視差画像および距離画像を取得することを可能にするステレオ画像処理方法を提供することを目的とする。

前記の課題を解決するため本発明では、ステレオカメラを構成するカメラが撮像する基準画像を構成する画素の輝度値と所定のしきい値とを比較し、前記画素の輝度値が前記しきい値よりも小さい場合は、前記画素の輝度値を０値に置き換え、前記画素の輝度値が０値の場合は、前記画素の視差ベクトルを０値とし、その他の場合は、ステレオマッチング処理によって前記ステレオカメラを構成するカメラが撮像する比較画像中の対応点を探索し、前記ステレオカメラが撮像する領域までの距離に応じて生じる視差画像を求めることを特徴とするステレオ画像処理方法を提供する。

また、本発明では、ステレオカメラが撮像する基準画像と比較画像とから前記ステレオカメラが撮像する領域までの距離に応じて生じる視差画像を求め、ステレオカメラを構成するカメラが撮像する基準画像を構成する画素の輝度値と所定のしきい値とを比較し、前記基準画像の画素の輝度値が前記しきい値よりも小さい場合は、前記基準画像の画素の位置情報を記録し、記録した前記基準画像の画素の位置情報と前記視差画像の画素の位置情報とを比較し、前記位置情報が一致した場合は、前記視差画像について一致した画素位置の値を０値に置き換えることを特徴とするステレオ画像処理方法を提供する。

本発明によれば、ステレオカメラによって撮像された画像に含まれるノイズに起因するステレオマッチング処理の誤対応を減少させ、信頼性の高い視差画像および距離画像を取得することを可能にするステレオ画像処理方法を提供できる。

本発明に係るステレオ画像処理方法について添付図面を参照して説明する。

［第１の実施形態］
本発明に係るステレオ画像処理方法の第１実施形態について、図１から図４を参照して説明する。

図１は、本発明の第１実施形態に係るステレオ画像処理装置の構成を示すブロック図である。

図１に示すように、ステレオ画像処理装置１は、対象物体２が存在する領域のステレオ画像を撮像する２台１組のカメラ３ａ、３ｂから構成されるステレオカメラ３と、カメラ３ａで撮像された画像のノイズの判定および除去が行われるノイズ判定／除去部９と、ノイズ判定／除去部９によってノイズの判定および除去が行われた画像とカメラ３ｂで撮像された画像とをステレオマッチング処理によって対象物体２が存在する領域の視差画像を求め、距離分布情報（距離画像）を取得するステレオカメラ処理部５とから構成される。

ステレオ画像処理装置１は、例えば自動車やヘリコプタ等の移動体に搭載され、対象風景をステレオ撮像した一対の画像を処理して三次元の距離情報を求め、求めた距離の情報に基づいて周囲環境や自己位置を認識する装置に使用される。

ステレオカメラ３を構成する２台のカメラ３ａ、３ｂは、ＣＣＤ、ＣＭＯＳ等の固体撮像素子を内蔵したカメラである。一方のカメラ３ａをステレオマッチング処理の際の基準画像を撮像するメインカメラとし、他方のカメラ３ｂをステレオマッチング処理の際の比較画像を撮像するサブカメラとして互いに同期が取られ、所定の基線長Ｂで互いの撮像面垂直軸が平行となるよう配置される。また、カメラ３ａ、３ｂは、アナログ撮像信号を処理するためのアンプやＡ／Ｄ変換部と、例えば高集積度ＦＰＧＡによって構成した画像処理の各種機能回路とを備え、撮像画像を所定の輝度階調のディジタル画像データに変換して元画像メモリ（図示省略）に出力する。

ノイズ判定／除去部９は、カメラ３ａによって撮像され、元画像メモリにストアされた基準画像の各画素の輝度値と、所定のしきい値Ｎｔｈとを比較し、その画素の輝度値が所定のしきい値Ｎｔｈよりも小さい場合は、その画素の輝度値を所定の値、例えば０値に置き換える。この所定のしきい値Ｎｔｈは、絞りが全閉されるなどによって光の入射が遮られたカメラ３ａによって撮像された画像、すなわち、カメラ３ａによって撮像された真っ暗な画像についてヒストグラムを求め、ノイズやオフセットにより生じた全画素の輝度値に対してランダムノイズなどの揺らぎを考慮した包絡値として設定される。

ステレオカメラ処理部５Ａは、対応点検出部６Ａと、距離計算部７とから構成される。

対応点検出部６Ａは、ノイズ判定／除去部９によってノイズの判定および除去が行われ、元画像メモリにストアされた基準画像と、カメラ３ｂによって撮像され、元画像メモリにストアされた比較画像とを、ステレオマッチング処理によって基準画像の画素毎に比較画像の画素を対応付ける。このステレオマッチング処理では、例えば特許文献１に（３）式として開示されている相関関数などの評価関数に従って対応点探索が行われる。また、対応点検出部６Ａは、探索された対応点を用いて基準画像の画素毎に対象物体２が存在する領域までの距離に応じて生じる画素のズレ（＝視差）を視差ベクトルＶｐとして求める。この視差ベクトルＶｐは、基準画像を構成する画素毎に配置すると、視差画像を構成する。

また、対応点検出部６Ａは、ノイズ判定／除去部９によってノイズの判定および除去が行われ、元画像メモリにストアされた基準画像の画素について、その画素の輝度値が０値の場合には、ステレオマッチング処理を行わず、視差ベクトルＶｐを０値（視差なし）とする。

距離計算部７は、対応点検出部６Ａによって求められた視差ベクトルＶｐから得られる対象物体２が存在する領域までの遠近情報である距離情報を数値化した距離Ｚを算出する。この距離Ｚは、基準画像を構成する画素毎に配置すると、距離分布情報（距離画像）を構成する。

図２は、本発明の第１実施形態に係るステレオ画像処理方法を説明するフローチャートである。

図２に示すように、先ずステップＳ１では、ノイズ判定／除去部９は、カメラ３ａが撮像し、元画像メモリがストアする基準画像を構成する画素の入力を受け、その画素の輝度値と所定のしきい値Ｎｔｈとを比較する。画素の輝度値が所定のしきい値Ｎｔｈよりも小さい場合はステップＳ２へ進む。その他の場合はステップＳ３へ進む。

ステップＳ２では、ノイズ判定／除去部９は、ステップＳ１で輝度値が所定のしきい値Ｎｔｈよりも小さいと判断した基準画像の画素について、その輝度値を例えば０値に置き換えて、ステップＳ３へ進む。

ステップＳ３では、対応点検出部６Ａは、ノイズ判定／除去部９がステップＳ１で輝度値が所定のしきい値Ｎｔｈよりも小さいと判断した基準画像の画素、またはステップＳ３で輝度値を置き換えた画素について、その画素の輝度値が０値の場合はステップＳ４へ進む。その他の場合はステップＳ５へ進む。

ステップＳ４では、対応点検出部６Ａは、ステップＳ３で輝度値が０値と判断した画素について、その画素の視差ベクトルＶｐを０値（視差なし）として処理を終了する。

ステップＳ５では、対応点検出部６Ａは、元画像メモリにストアした基準画像と比較画像とを用いて、ステップＳ３で輝度値が所定のしきい値Ｎｔｈ以上と判断した基準画像中の画素を注目画素として、ステレオマッチング処理によって比較画像中の対応点を探索する。この対応点検索によって基準画像中の注目画素に対応する比較画像中の対応点を特定する。次いで、この探索された比較画像中の対応点と、基準画像の注目画素とを用いて対象物体２が存在する領域までの距離Ｚに応じて生じる画素のズレ（＝視差）を注目画素の視差ベクトルＶｐとして求めて処理を終了する。

このステレオマッチング処理は、例えば特許文献１に（３）式として開示されている相関関数などの評価関数に従って基準画像中の画素毎に対応付けられた比較画像中の対応点を探索する処理であり、少なくとも元画像メモリにストアされた基準画像の注目画素を含む小領域と、比較画像の対応点を含む小領域とを対応点探索に用いて、それらの領域を比較することで行われる。

図２で示されたステレオ画像処理によってカメラ３ａで撮像された基準画像上の画素について視差ベクトルＶｐが求められると、距離計算部７は、出力された各画素の視差ベクトルＶｐに基づいて、各画素毎の距離Ｚを計算する。ステレオカメラ処理部５は、基準画像の全画素について求められた視差ベクトルＶｐを視差画像として、また計算された距離Ｚを距離分布情報（距離画像）として出力する。

次に、ステレオマッチング処理を行わない画素を特定するしきい値Ｎｔｈの設定について説明する。

図３は、本発明の第１実施形態に係るステレオ画像処理装置を構成するカメラに光の入射が遮られた状態で撮像された画像のヒストグラムの一例を示す図である。

図３に示すように、絞りが全閉されるなどによって光の入射が遮られたカメラ３ａによって撮像された画像、すなわち、カメラ３ａによって撮像された真っ暗な画像のヒストグラムを求めると、輝度値が１０〜２０程度の範囲にオフセットを含むノイズの発生が確認できる。

絞りが全閉されたカメラ３ａによって撮像された画像では、理想的には、ヒストグラムは０値に集中する。しかしながら、カメラ３ａによって撮像された真っ暗な画像には、ノイズやオフセットによって輝度値が０値ではない画素が含まれる。

ステレオマッチング処理によってノイズを含んだ画像の視差画像を得ると、視差画像の全域に信頼性の低い視差ベクトルＶｐが求められ、距離情報として信頼性の低い距離分布情報（距離画像）が算出される。

そこで、真っ暗な画像のヒストグラムに現れた輝度値の最大値を包絡するしきい値Ｎｔｈを設定する。

図４は、本発明の第１実施形態に係るステレオ画像処理装置を構成するカメラで撮像された画像の小領域の輝度値の一例を示す図であり、（Ａ）は、カメラで撮像されたノイズを含む基準画像の小領域の輝度値の一例を示す図であり、（Ｂ）は、（Ａ）に示された小領域から輝度値がしきい値よりも小さい画素の輝度値を０値に置き換えた例を示す図である。

ここで、カメラ３ａによって撮像された真っ暗な画像のヒストグラムに現れた輝度値の最大値を包絡するしきい値の一例として、しきい値を１５に設定する。

図４（Ａ）に示すように、ノイズを含む基準画像の小領域について、しきい値を１５と設定すると、図４（Ｂ）に示すように、しきい値１５よりも小さい輝度値を有する画素が０値に置き換えられる。

ステレオ画像処理装置１では、基準画像の注目画素（図４の例では３×３ブロックの中心画素）の輝度値が０値の場合は、その注目画素を含む小領域はステレオマッチング処理から除外される。

輝度値がしきい値Ｎｔｈより小さい基準画像の画素位置では、視差ベクトルＶｐを０値とし、距離Ｚを算出しないので、ノイズの影響によって求められる視差ベクトルＶｐや距離Ｚを排除できる。したがって、ノイズの影響が小さく信頼性の高い視差ベクトルＶｐや距離Ｚから構成される視差画像と距離画像とが取得できる。

さらに、絞りが全閉されたカメラによって撮像された画像のヒストグラムの最大値を包絡する値をしきい値Ｎｔｈとすることで、オートゲインコントロールによるノイズの影響を排除できる。通常ＣＣＤカメラやＣＭＯＳカメラでは、感度のダイナミックレンジが低いため、明るい撮像環境から暗い撮像環境まで対応するためにオートゲインコントロールが組み込まれている。明るい撮像環境では十分に高い信号レベルが得られるため、オートゲインコントロールによる増幅度は低く、相対的にノイズレベルも低い。しかし、暗い撮像環境では信号レベルが低く、オートゲインコントロールによる増幅度が高くなり、相対的にノイズレベルが高くなる。

このように、相対的なノイズレベルが高くなる暗い撮像環境で撮像された画像を用いてしきい値Ｎｔｈを設定することで、Ｓ／Ｎが高い画像であっても低い画像であっても所定のしきい値Ｎｔｈによってノイズの影響を排除することができる。

なお、ヒストグラムから求められるノイズの最大値を包絡するしきい値Ｎｔｈより小さい輝度値を有する画素をステレオマッチング処理から除外するため、このしきい値Ｎｔｈを高くしすぎると、ステレオマッチング処理に使用できる画素数が少なくなり視差ベクトルＶｐや距離情報を算出できる画素数が減少する。したがって、このしきい値Ｎｔｈはノイズの最大値に対して高くしすぎないことが望ましい。なお、しきい値Ｎｔｈには、視差ベクトルＶｐや距離情報の算出に問題ない範囲でヒストグラムの最大値に余裕（＋α）の値を加えても良い。例えば、この余裕（＋α）の値を複数のカメラがそれぞれに生じるノイズのバラツキよりも大きくすることで、複数カメラのしきい値Ｎｔｈを１台のカメラで代表して設定することが可能である。

なお、本実施形態に係るステレオ画像処理装置１およびステレオ画像処理方法において、しきい値Ｎｔｈより小さい輝度値の画素の値を０値に置き換える代わりに、撮像時の信号には通常含まれない特定の値に置き換えても良い。また、しきい値Ｎｔｈより小さい輝度値の画素の値を０値にした場合に、０値としてステレオマッチング処理を実施しても良い。

このように構成された本実施形態に係るステレオ画像処理装置１およびステレオ画像処理方法では、先ず、基準画像を撮像するカメラを構成する固体撮像素子に光を受光させない条件で画像が撮像される。次いで、この画像に含まれるノイズレベルの最大値がヒストグラムより求められる。その後、２台１組のカメラを用いた撮像をおこない、基準画像から輝度値がノイズの最大値を包絡する値より小さい画素をステレオマッチング処理から除外する。そうすると、輝度値がノイズの最大値以上の画素の値を変更することなく、ステレオカメラ処理を行って視差画像と距離情報とを得ることができる。すなわち、Ｓ／Ｎが大きき（ノイズの影響が小さい）画素は信頼性を維持したままステレオマッチング処理が行われ、Ｓ／Ｎが小さい（ノイズの影響が大きい）画素の影響は排除できる。

本実施形態に係るステレオ画像処理装置１およびステレオ画像処理方法では、ノイズが優勢な暗い撮像環境で撮像したステレオカメラ画像から、ノイズの影響によるステレオマッチング処理の誤対応を排除して、信頼性の高い視差ベクトルＶｐが求められた視差画素に基づき、距離Ｚの誤検出を排除した距離画像を得ることができる。

本実施形態に係るステレオ画像処理装置１およびステレオ画像処理方法によれば、ステレオカメラによって撮像された画像に含まれるノイズに起因するステレオマッチング処理の誤対応を減少させ、信頼性の高い視差画像および距離画像を取得することを可能にするステレオ画像処理方法を提供することができる。

［第２の実施形態］
本発明に係るステレオ画像処理方法の第２実施形態について、図５から図６を参照して説明する。

図５は、本発明の第２実施形態に係るステレオ画像処理装置の構成を示すブロック図である。

このステレオ画像処理装置１Ａにおいて第１実施形態のステレオ画像処理装置１と同じ構成には同一の符号を付し、重複する説明は省略する。

図５に示すように、ステレオ画像処理装置１Ａは、対象物体２が存在する領域のステレオ画像を撮像する２台１組のカメラ３ａ、３ｂから構成されるステレオカメラ３と、カメラ３ａで撮像された画像のノイズの判定および除去が行われる第１のノイズ判定／除去部１０と、カメラ３ｂで撮像された画像のノイズの判定および除去が行われる第２のノイズ判定／除去部１１と、第１のノイズ判定／除去部１０と第２のノイズ判定／除去部１１とによってノイズの判定および除去が行われた画像をステレオマッチング処理よって対象物体２が存在する領域の視差画像を求め、距離分布情報（距離画像）を取得するステレオカメラ処理部５とから構成される。

第１のノイズ判定／除去部１０は、カメラ３ａによって撮像され、元画像メモリにストアされた基準画像の各画素の輝度値と、所定のしきい値Ｎｔｈａとを比較し、その画素の輝度値が所定のしきい値Ｎｔｈａよりも小さい場合は、その画素の輝度値を所定の値、例えば０値に置き換える。この所定のしきい値Ｎｔｈａは、絞りが全閉されるなどによって光の入射が遮られたカメラ３ａによって撮像された画像、すなわち、カメラ３ａによって撮像された真っ暗な画像についてヒストグラムを求め、ノイズやオフセットにより生じた全画素の輝度値に対してランダムノイズなどの揺らぎを考慮した包絡値として設定される。

第２のノイズ判定／除去部１１は、カメラ３ｂによって撮像され、元画像メモリにストアされた比較画像の各画素の輝度値と、所定のしきい値Ｎｔｈｂとを比較し、その画素の輝度値が所定のしきい値Ｎｔｈｂよりも小さい場合は、その画素の輝度値を所定の値、例えば０値に置き換える。この所定のしきい値Ｎｔｈは、絞りが全閉されるなどによって光の入射が遮られたカメラ３ｂによって撮像された画像、すなわち、カメラ３ｂによって撮像された真っ暗な画像についてヒストグラムを求め、ノイズやオフセットにより生じた全画素の輝度値に対してランダムノイズなどの揺らぎを考慮した包絡値として設定される。

ステレオカメラ処理部５は、対応点検出部６Ｂと、距離計算部７とから構成される。

対応点検出部６Ｂは、第１のノイズ判定／除去部１０によってノイズの判定および除去が行われ、元画像メモリにストアされた基準画像と、第２のノイズ判定／除去部１１によってノイズの判定および除去が行われ、元画像メモリにストアされた比較画像とを、ステレオマッチング処理によって基準画像の画素毎に比較画像の画素を対応付ける。このステレオマッチング処理では、例えば特許文献１に（３）式として開示されている相関関数などの評価関数に従って対応点探索が行われる。また、対応点検出部６Ｂは、探索された対応点を用いて基準画像の画素毎に対象物体２が存在する領域までの距離に応じて生じる画素のズレ（＝視差）を視差ベクトルＶｐとして求める。

また、対応点検出部６Ｂは、第１のノイズ判定／除去部１０によってノイズの判定および除去が行われ、元画像メモリにストアされた基準画像の画素について、その画素の輝度値が０値の場合には、ステレオマッチング処理を行わず、視差ベクトルＶｐを０値（視差なし）とする。さらに、対応点検出部６Ｂは、第２のノイズ判定／除去部１１によってノイズの判定および除去が行われ、元画像メモリにストアされ、基準画像の画素に対応付けられた比較画像の画素について、その画素の輝度値が０値の場合には、ステレオマッチング処理を行わず、視差ベクトルＶｐを０値（視差なし）とする。

図６は、本発明の第２実施形態に係るステレオ画像処理方法を説明するフローチャートである。

図６に示すように、先ずステップＳ１１では、第１のノイズ判定／除去部１０は、カメラ３ａが撮像し、元画像メモリがストアする基準画像を構成する画素の入力を受け、その画素の輝度値と所定のしきい値Ｎｔｈａとを比較する。画素の輝度値が所定のしきい値Ｎｔｈａよりも小さい場合はステップＳ１２へ進む。その他の場合はステップＳ１３へ進む。

ステップＳ１２では、第１のノイズ判定／除去部１０は、ステップＳ１１で輝度値が所定のしきい値Ｎｔｈａよりも小さいと判断した基準画像の画素について、その輝度値を例えば０値に置き換えて、ステップＳ１５へ進む。

ステップＳ１３では、第２のノイズ判定／除去部１１は、カメラ３ｂが撮像し、元画像メモリがストアする比較画像を構成する画素の入力を受け、その画素の輝度値と所定のしきい値Ｎｔｈｂとを比較する。画素の輝度値が所定のしきい値Ｎｔｈｂよりも小さい場合はステップＳ１４へ進む。その他の場合はステップＳ１５へ進む。

ステップＳ１４では、第２のノイズ判定／除去部１１は、ステップＳ１３で輝度値が所定のしきい値Ｎｔｈｂよりも小さいと判断した比較画像の画素について、その画素の輝度値を例えば０値に置き換えて、ステップＳ１５へ進む。

ステップＳ１５では、対応点検出部６Ｂは、第１のノイズ判定／除去部１０がステップＳ１１で輝度値が所定のしきい値Ｎｔｈａよりも小さいと判断した基準画像の画素、またはステップＳ１２で輝度値を置き換えた基準画像の画素について、その画素の輝度値が０値の場合はステップＳ１６へ進む。その他の場合はステップＳ１７へ進む。

ステップＳ１６では、対応点検出部６Ｂは、ステップＳ１５で輝度値が０値と判断した基準画像の画素について、その画素の視差ベクトルＶｐを０値（視差なし）として処理を終了する。

ステップＳ１７では、対応点検出部６Ｂは、元画像メモリにストアした基準画像と比較画像とを用いて、ステップＳ１５で輝度値が所定のしきい値Ｎｔｈａ以上と判断した基準画像中の画素を注目画素として、ステレオマッチング処理によって比較画像中の対応点を探索する。この対応点検索によって基準画像中の注目画素に対応する比較画像中の対応点を特定し、ステップＳ１８へ進む。

ステップＳ１８では、対応点検出部６Ａは、ステップＳ１７で特定した基準画像中の注目画素に対応する比較画像中の対応点について、その対応点の輝度値が０値の場合はステップＳ１９へ進む。その他の場合はステップＳ２０へ進む。

ステップＳ１９では、対応点検出部６Ｂは、ステップＳ１８で輝度値が０値と判断した比較画像中の対応点に対応する基準画像中の注目画素について、その画素の視差ベクトルＶｐを０値（視差なし）として処理を終了する。

ステップＳ２０では、対応点検出部６Ａは、ステップＳ１７で特定した基準画像中の注目画素に対応する比較画像中の対応点と、基準画像の注目画素とを用いて対象物体２が存在する領域までの距離Ｚに応じて生じる画素のズレ（＝視差）を注目画素の視差ベクトルＶｐとして求めて処理を終了する。

このステレオマッチング処理は、例えば特許文献１に（３）式として開示されている相関関数などの評価関数に従って基準画像中の画素毎に対応付けられた比較画像中の対応点を探索する処理であり、少なくとも元画像メモリにストアされた基準画像の注目画素を含む小領域と、比較画像の対応点を含む小領域とを対応点探索に用いて、それらの領域を比較することで行われる。

図６で示されたステレオ画像処理によってカメラ３ａで撮像された基準画像上の画素について視差ベクトルＶｐが求められると、距離計算部７は、出力された各画素の視差ベクトルＶｐに基づいて、各画素毎の距離Ｚを計算する。ステレオカメラ処理部５は、基準画像の全画素について求められた視差ベクトルＶｐを視差画像として、計算された距離Ｚを距離分布情報（距離画像）として出力する。

しきい値Ｎｔｈａ、Ｎｔｈｂには、視差ベクトルＶｐや距離情報の算出に問題ない範囲でヒストグラムの最大値に余裕（＋α）の値を加えても良い。例えば、この余裕（＋α）の値をカメラ３ａとカメラ３ｂとがそれぞれに生じるノイズのバラツキよりも大きくすることで、カメラ３ａとカメラ３ｂとのしきい値Ｎｔｈａ、Ｎｔｈｂをいずれか一方のカメラのしきい値Ｎｔｈで代表して設定することが可能である。

なお、本実施形態に係る本実施形態に係るステレオ画像処理装置１Ａおよびステレオ画像処理方法において、しきい値Ｎｔｈａ、Ｎｔｈｂより小さい輝度値の画素の値を０値に置き換える代わりに、撮像時の信号には通常含まれない特定の値に置き換えても良い。また、しきい値Ｎｔｈａ、Ｎｔｈｂより小さい輝度値の画素の値を０値にした場合に、０値としてステレオマッチング処理を実施しても良い。

第１実施形態に係るステレオ画像処理装置１およびステレオ画像処理方法では、基準画像の注目画素の輝度値がしきい値Ｎｔｈａ以上であって、注目画素に対応する比較画像の対応点の輝度値がしきい値Ｎｔｈｂよりも小さい場合であっても、ステレオマッチング処理を行う基準画像の小領域と比較画像の小領域との対応付けが行われる。

本実施形態に係るステレオ画像処理装置１Ａおよびステレオ画像処理方法では、比較画像中の対応点の輝度値がしきい値Ｎｔｈｂよりも小さい場合には、その対応点に対応する基準画像の注目画素の視差ベクトルＶｐを求めない。したがって、輝度値がしきい値Ｎｔｈｂより小さい比較画像の画素に対応する基準画像の画素位置では、視差ベクトルＶｐを０値とし、距離Ｚを算出しないので、ノイズの影響によって求められる視差ベクトルＶｐや距離Ｚを排除できる。したがって、ノイズの影響が小さく信頼性の高い視差ベクトルＶｐや距離Ｚから構成される視差画像と距離画像とが取得できる。

本実施形態に係るステレオ画像処理装置１Ａおよびステレオ画像処理方法では、ノイズが優勢な暗い撮像環境で撮像したステレオカメラ画像から、ノイズの影響によるステレオマッチング処理の誤対応を排除して、信頼性の高い視差ベクトルＶｐが求められた視差画素に基づき、距離Ｚの誤検出を排除した距離画像を得ることができる。

本実施形態に係るステレオ画像処理装置１Ａおよびステレオ画像処理方法によれば、ステレオカメラによって撮像された画像に含まれるノイズに起因するステレオマッチング処理の誤対応を減少させ、信頼性の高い視差画像および距離画像を取得することを可能にするステレオ画像処理方法を提供することができる。

［第３の実施形態］
本発明に係るステレオ画像処理方法の第３実施形態について、図７から図８を参照して説明する。

図７は、本発明の第３実施形態に係るステレオ画像処理装置の構成を示すブロック図である。

このステレオ画像処理装置１Ｂにおいて第１実施形態のステレオ画像処理装置１と同じ構成には同一の符号を付し、重複する説明は省略する。

図７に示すように、ステレオ画像処理装置１Ｂは、対象物体２が存在する領域のステレオ画像を撮像する２台１組のカメラ３ａ、３ｂから構成されるステレオカメラ３と、カメラ３ａで撮像された画像のノイズの判定が行われるノイズ判定部１３と、ノイズ判定部１３で判定されたノイズの画素位置情報が記録されるノイズ位置記録部１４と、カメラ３ａとカメラ３ｂとで撮像された各画像をステレオマッチング処理によって対象物体２が存在する領域の視差画像を求め、距離分布情報（距離画像）を取得するステレオカメラ処理部５と、ノイズ位置記録部１４に記録された画素位置情報に基づいてステレオカメラ処理部５で取得された距離分布情報を変更するノイズ位置データ変更部１５とから構成される。

ノイズ判定部１３は、カメラ３ａによって撮像され、元画像メモリにストアされた基準画像の各画素の輝度値と、所定のしきい値Ｎｔｈとを比較し、その画素の輝度値が所定のしきい値Ｎｔｈよりも小さい場合は、その画素の画素位置をノイズ位置記録部１４に出力する。

ノイズ位置記録部１４は、ノイズ判定部１３から出力された基準画像の画素位置を記録する。すなわち、ノイズ位置記録部１４には、カメラ３ａによって撮像された基準画像中の画素であって、輝度値が所定のしきい値Ｎｔｈよりも小さい画素の画素位置が記録される。

ステレオカメラ処理部５は、対応点検出部６Ｃと、距離計算部７とから構成される。

対応点検出部６Ｃは、カメラ３ａによって撮像され、元画像メモリにストアされた基準画像と、カメラ３ｂによって撮像され、元画像メモリにストアされた比較画像とを、ステレオマッチング処理によって基準画像の画素毎に比較画像の画素を対応付ける。また、対応点検出部６は、探索された対応点を用いて基準画像の画素毎に対象物体２が存在する領域までの距離に応じて生じる画素のズレ（＝視差）を視差ベクトルＶｐとして求める。

ノイズ位置データ変更部１５は、距離計算機１０によって取得された距離分布情報（距離画像）について、ノイズ位置記録部１４に記録された画素位置の値を例えば０値に変更する。また、ノイズ位置データ変更部１５は、対応点検出部６によって算出された視差画像について、ノイズ位置記録部１４に記録された画素位置の値を例えば０値に変更するよう構成することもできる。

図８は、本発明の第３実施形態に係るステレオ画像処理方法を説明するフローチャートである。

図８に示すように、先ずステップＳ２１では、対応点検出部６Ｃは、元画像メモリにストアした基準画像と比較画像とを用いて、基準画像中の画素を注目画素として、ステレオマッチング処理によって比較画像中の対応点を探索する。この対応点検索によって基準画像中の注目画素に対応する比較画像中の対応点を特定する。次いで、この探索された比較画像中の対応点と、基準画像の注目画素とを用いて対象物体２が存在する領域までの距離Ｚに応じて生じる画素のズレ（＝視差）を注目画素の視差ベクトルＶｐとして求める。

また、距離計算部７は、基準画像の注目画素の視差ベクトルＶｐに基づいて、注目画素の距離Ｚを計算する。ステレオカメラ処理部５は、基準画像の全画素について求められた視差ベクトルＶｐを視差画像として、また計算された距離Ｚを距離分布情報（距離画像）として出力して、ステップＳ２２へ進む。

ステップＳ２２では、ノイズ判定部１３は、カメラ３ａが撮像し、元画像メモリがストアする基準画像を構成する画素の入力を受け、その画素の輝度値と所定のしきい値Ｎｔｈとを比較する。画素の輝度値が所定のしきい値Ｎｔｈよりも小さい場合は、その画素の基準画像における位置情報をノイズ位置記録部１４に出力してステップＳ２３へ進む。その他の場合はステップＳ２４へ進む。

ステップＳ２３では、ノイズ位置記録部１４は、ステップＳ２２で輝度値が所定のしきい値Ｎｔｈよりも小さいと判断した基準画像の画素について、その画素の基準画像における位置情報を記録して、ステップＳ２４へ進む。

ステップＳ２４では、ノイズ位置データ変更部１５は、ノイズ位置記録部１４がステップＳ２３で記録した輝度値が所定のしきい値Ｎｔｈａよりも小さい画素の位置情報と、ステレオカメラ処理部５がステップＳ２１で出力した視差画像および距離画像の画素の位置情報とを比較する。ノイズ位置記録部１４が記録した画素の位置情報と、ステレオカメラ処理部５が出力した視差画像および距離画像の画素の位置情報とが一致した場合は、ステップＳ２５へ進む。その他の場合は処理を終了する。

ステップＳ２５では、ノイズ位置データ変更部１５は、ステップＳ２４でノイズ位置記録部１４が記録した画素の位置情報と、ステレオカメラ処理部５が出力した視差画像および距離画像の画素の位置情報とが一致した画素位置の視差画像および距離画像の値を０値に置き換えて処理を終了する。

本実施形態に係る本実施形態に係るステレオ画像処理装置１Ｂおよびステレオ画像処理方法では、ステレオカメラ処理部５によって求められた視差画像および距離画像から、基準画像において輝度値がしきい値Ｎｔｈよりも小さい画素位置における視差ベクトルＶｐと距離Ｚとを０値に変更するため、ステレオマッチング処理を行う前の基準画像にノイズ除去等のデータ変更をおこなうことが無い。すなわち、基準画像のデータ変更に伴って、ステレオマッチング処理を行う際に対応付けを行う小領域間の相関値が偶然に最小値となって、誤った対応付けが行われることを回避できる。

本実施形態に係るステレオ画像処理装置１Ｂおよびステレオ画像処理方法によれば、ステレオカメラ３とステレオカメラ処理部５とが一体化されて備えられた従来のステレオ画像処理装置３０を用いて、ステレオ画像処理装置３０から出力されるカメラ３ａ、３ｂで撮像された画像の輝度値と、ステレオカメラ処理で取得された視差画像および距離分布情報（距離画像）とから、ノイズ判定部１３によって基準画像で輝度値がしきい値Ｎｔｈよりも小さくなる画素位置を特定し、この画素位置と一致する距離画像および視差画像の画素位置の値を０値とするので、ノイズの影響によって求められる視差ベクトルＶｐや距離Ｚを排除できる。したがって、ノイズの影響が小さく信頼性の高い視差ベクトルＶｐや距離Ｚから構成される視差画像と距離画像とが取得できる。

また、本実施形態に係るステレオ画像処理装置１Ｂおよびステレオ画像処理方法によれば、ステレオカメラ処理部５から基準画像と視差画像とを取得して、基準画像で輝度値がしきい値Ｎｔｈよりも小さくなる画素位置を特定し、この画素位置と一致する視差画像の画素位置の値を０値とすることで、ノイズの影響によって求められる視差ベクトルＶｐや距離Ｚを排除できる。したがって、ノイズの影響が小さく信頼性の高い視差ベクトルＶｐや距離Ｚから構成される視差画像と距離画像とが取得できる。

［第４の実施形態］
本発明に係るステレオ画像処理方法の第４実施形態について、図９から図１０を参照して説明する。

図９は、本発明の第４実施形態に係るステレオ画像処理装置の構成を示すブロック図である。

このステレオ画像処理装置１Ｃにおいて第１実施形態のステレオ画像処理装置１と同じ構成には同一の符号を付し、重複する説明は省略する。

図９に示すように、ステレオ画像処理装置１Ｃは、対象物体２が存在する領域のステレオ画像を撮像する２台１組のカメラ３ａ、３ｂから構成されるステレオカメラ３と、カメラ３ａで撮像された画像のノイズの判定が行われる第１のノイズ判定部１７と、第１のノイズ判定部１７で判定されたノイズの画素位置情報が記録される第１のノイズ位置記録部１８と、カメラ３ｂで撮像された画像のノイズの判定が行われる第２のノイズ判定部１９と、第２のノイズ判定部１９で判定されたノイズの画素位置情報が記録される第２のノイズ位置記録部２０と、カメラ３ａとカメラ３ｂとで撮像された各画像をステレオマッチング処理よって対象物体２が存在する領域の視差画像を求め、距離分布情報（距離画像）を取得するステレオカメラ処理部５と、第１のノイズ位置記録部１８と第２のノイズ位置記録部２０とに記録された画素位置情報に基づいてステレオカメラ処理部５で取得された距離分布情報を変更するノイズ位置データ変更部１５Ａとから構成される。

第１のノイズ判定部１７は、カメラ３ａによって撮像され、元画像メモリにストアされた基準画像の各画素の輝度値と、所定のしきい値Ｎｔｈａとを比較し、その画素の輝度値が所定のしきい値Ｎｔｈａよりも小さい場合は、その画素の画素位置を第１のノイズ位置記録部１８に出力する。

第１のノイズ位置記録部１８は、第１のノイズ判定部１７から出力された基準画像の画素位置を記録する。すなわち、第１のノイズ位置記録部１８には、カメラ３ａによって撮像された基準画像中の画素であって、輝度値が所定のしきい値Ｎｔｈａよりも小さい画素の画素位置が記録される。

第２のノイズ判定部１９は、カメラ３ｂによって撮像され、元画像メモリにストアされた比較画像の各画素の輝度値と、所定のしきい値Ｎｔｈｂとを比較し、その画素の輝度値が所定のしきい値Ｎｔｈｂよりも小さい場合は、その画素の画素位置を第２のノイズ位置記録部２０に出力する。

第２のノイズ位置記録部２０は、第２のノイズ判定部１９から出力された比較画像の画素位置を記録する。すなわち、第２のノイズ位置記録部２０には、カメラ３ｂによって撮像された比較画像中の画素であって、輝度値が所定のしきい値Ｎｔｈｂよりも小さい画素の画素位置が記録される。

ステレオカメラ処理部５は、対応点検出部６Ｃと、距離計算部７とから構成される。

対応点検出部６Ｃは、カメラ３ａによって撮像され、元画像メモリにストアされた基準画像と、カメラ３ｂによって撮像され、元画像メモリにストアされた比較画像とを、ステレオマッチング処理によって基準画像の画素毎に比較画像の画素を対応付ける。また、対応点検出部６Ｃは、探索された対応点を用いて基準画像の画素毎に対象物体２が存在する領域までの距離に応じて生じる画素のズレ（＝視差）を視差ベクトルＶｐとして求める。

ノイズ位置データ変更部１５Ａは、距離計算機１０によって取得された距離分布情報（距離画像）について、第１のノイズ位置記録部１８に記録された画素位置の値を例えば０値に変更する。また、ノイズ位置データ変更部１５Ａは、距離計算機１０によって取得された距離分布情報（距離画像）について、第２のノイズ位置記録部２０に記録された画素位置に対応付けされた基準画像の画素位置の値を例えば０値に変更する。

なお、ノイズ位置データ変更部１５Ａは、対応点検出部６によって算出された視差画像について、第１のノイズ位置記録部１８に記録された画素位置の値を例えば０値に変更するよう構成することもできる。また、ノイズ位置データ変更部１５Ａは、距離計算機１０によって算出された視差画像について、第２のノイズ位置記録部２０に記録された画素位置に対応付けされた基準画像の画素位置の値を例えば０値に変更するよう構成することもできる。

図１０は、本発明の第４実施形態に係るステレオ画像処理方法を説明するフローチャートである。

図１０に示すように、先ずステップＳ３１では、対応点検出部６Ｃは、元画像メモリにストアした基準画像と比較画像とを用いて、基準画像中の画素を注目画素として、ステレオマッチング処理によって比較画像中の対応点を探索する。この対応点検索によって基準画像中の注目画素に対応する比較画像中の対応点を特定する。次いで、この探索された比較画像中の対応点と、基準画像の注目画素とを用いて対象物体２が存在する領域までの距離Ｚに応じて生じる画素のズレ（＝視差）を注目画素の視差ベクトルＶｐとして求める。

また、距離計算部７は、基準画像の注目画素の視差ベクトルＶｐに基づいて、注目画素の距離Ｚを計算する。ステレオカメラ処理部５は、基準画像の全画素について求められた視差ベクトルＶｐを視差画像として、また計算された距離Ｚを距離分布情報（距離画像）として出力して、ステップＳ３２へ進む。

ステップＳ３２では、第１のノイズ判定部１７は、カメラ３ａが撮像し、元画像メモリがストアする基準画像を構成する画素の入力を受け、その画素の輝度値と所定のしきい値Ｎｔｈａとを比較する。画素の輝度値が所定のしきい値Ｎｔｈａよりも小さい場合は、その画素の基準画像における位置情報を第１のノイズ位置記録部１８に出力してステップＳ３３へ進む。その他の場合はステップＳ３４へ進む。

ステップＳ３３では、第１のノイズ位置記録部１８は、ステップＳ３２で輝度値が所定のしきい値Ｎｔｈａよりも小さいと判断した基準画像の画素について、その画素の基準画像における位置情報を記録して、ステップＳ３４へ進む。

ステップＳ３４では、第２のノイズ判定部１９は、カメラ３ｂが撮像し、元画像メモリがストアする比較画像を構成する画素の入力を受け、その画素の輝度値と所定のしきい値Ｎｔｈｂとを比較する。画素の輝度値が所定のしきい値Ｎｔｈｂよりも小さい場合は、その画素の比較画像における位置情報を第２のノイズ位置記録部２０に出力してステップＳ３５へ進む。その他の場合はステップＳ３６へ進む。

ステップＳ３５では、第２のノイズ位置記録部２０は、ステップＳ３４で輝度値が所定のしきい値Ｎｔｈｂよりも小さいと判断した比較画像の画素について、その画素の比較画像における位置情報を記録して、ステップＳ３６へ進む。

ステップＳ３６では、ノイズ位置データ変更部１５Ａは、第１のノイズ位置記録部１８がステップＳ３３で記録した輝度値が所定のしきい値Ｎｔｈａよりも小さい画素の位置情報と、ステレオカメラ処理部５がステップＳ３１で出力した視差画像および距離画像の画素の位置情報とを比較する。第１のノイズ位置記録部１８が記録した画素の位置情報と、ステレオカメラ処理部５が出力した視差画像および距離画像の画素の位置情報とが一致した場合は、ステップＳ３７へ進む。その他の場合はステップＳ３８へ進む。

ステップＳ３７では、ノイズ位置データ変更部１５Ａは、ステップＳ３６で第１のノイズ位置記録部１８が記録した画素の位置情報と、ステレオカメラ処理部５が出力した距離画像の画素の位置情報とが一致した画素位置の視差画像および距離画像の値を０値に置き換えて処理を終了する。

ステップＳ３８では、ノイズ位置データ変更部１５Ａは、第１のノイズ判定部１７がステップＳ３２で輝度値が所定のしきい値Ｎｔｈａ以上と判断した基準画像の画素について、ステレオカメラ処理部５がステップＳ３１で出力した視差画像を用いて、この基準画像の画素に対応付けられた比較画像中の画素の位置情報を取得する。次いで、比較画像の画素の位置情報と、第２のノイズ位置記録部２０がステップＳ３５で記録した比較画像の位置情報とを比較する。比較画像の画素の位置情報と、第２のノイズ位置記録部２０がステップＳ３５で記録した比較画像の位置情報とが一致した場合は、ステップＳ３９へ進む。その他の場合は処理を終了する。

ステップＳ３９では、ノイズ位置データ変更部１５Ａは、ステップＳ３８で基準画像の画素の位置情報と、ステレオカメラ処理部５が出力した距離画像の画素の位置情報とが一致した画素位置の視差画像および距離画像の値を０値に置き換えて処理を終了する。

本実施形態に係るステレオ画像処理装置１Ｂおよびステレオ画像処理方法では、ステレオカメラ処理部５によって求められた視差画像および距離画像から、基準画像において輝度値がしきい値Ｎｔｈよりも小さい画素位置における視差ベクトルＶｐもしくは距離Ｚを０値に変更するため、ステレオマッチング処理を行う前の基準画像にノイズ除去等のデータ変更をおこなうことが無い。すなわち、基準画像のデータ変更に伴って、ステレオマッチング処理を行う際に対応付けを行う小領域間の相関値が偶然に最小値となって、誤った対応付けが行われることを回避できる。

本実施形態に係るステレオ画像処理装置１Ｃおよびステレオ画像処理方法によれば、ステレオカメラ３とステレオカメラ処理部５とが一体化されて備えられた従来のステレオ画像処理装置３０を用いて、ステレオ画像処理装置３０から出力されるカメラ３ａ、３ｂで撮像された画像の輝度値と、ステレオカメラ処理で取得された視差画像および距離分布情報（距離画像）とから、ノイズ判定部１３によって基準画像で輝度値がしきい値Ｎｔｈよりも小さくなる画素位置を特定し、この画素位置と一致する距離画像および視差画像の画素位置の値を０値とすることで、ノイズの影響によって求められる視差ベクトルＶｐや距離Ｚを排除できる。したがって、ノイズの影響が小さく信頼性の高い視差ベクトルＶｐや距離Ｚから構成される視差画像と距離画像とが取得できる。

また、本実施形態に係るステレオ画像処理装置１Ｃおよびステレオ画像処理方法では、ステレオカメラ処理部５から基準画像と視差画像とを取得して、基準画像で輝度値がしきい値Ｎｔｈよりも小さくなる画素位置を特定し、この画素位置と一致する視差画像の画素位置の値を０値とすることで、ノイズの影響によって求められる視差ベクトルＶｐや距離Ｚを排除できる。したがって、ノイズの影響が小さく信頼性の高い視差ベクトルＶｐや距離Ｚから構成される視差画像と距離画像とが取得できる。

本実施形態に係るステレオ画像処理装置１Ｃおよびステレオ画像処理方法によれば、比較画像中の対応点の輝度値がしきい値Ｎｔｈｂよりも小さい場合には、その対応点に対応する基準画像の注目画素の視差ベクトルＶｐを求めない。したがって、輝度値がしきい値Ｎｔｈｂより小さい比較画像の画素に対応する基準画像の画素では、ノイズの影響によって求められる視差ベクトルＶｐや距離Ｚを排除できる。したがって、ノイズの影響が小さく信頼性の高い視差ベクトルＶｐや距離Ｚから構成される視差画像と距離画像とが取得できる。

本発明の第１実施形態に係るステレオ画像処理装置の構成を示すブロック図。 本発明の第１実施形態に係るステレオ画像処理方法を説明するフローチャート。 本発明の第１実施形態に係るステレオ画像処理装置を構成するカメラに光の入射が遮られた状態で撮像された画像のヒストグラムの一例を示す図。 本発明の第１実施形態に係るステレオ画像処理装置を構成するカメラで撮像された画像の小領域の輝度値の一例を示す図であり、（Ａ）は、カメラで撮像されたノイズを含む基準画像の小領域の輝度値の一例を示す図、（Ｂ）は、（Ａ）に示された小領域から輝度値がしきい値よりも小さい画素の輝度値を０値に置き換えた例を示す図。 本発明の第２実施形態に係るステレオ画像処理装置の構成を示すブロック図。 本発明の第２実施形態に係るステレオ画像処理方法を説明するフローチャート 本発明の第３実施形態に係るステレオ画像処理装置の構成を示すブロック図。 本発明の第３実施形態に係るステレオ画像処理方法を説明するフローチャート。 本発明の第４実施形態に係るステレオ画像処理装置の構成を示すブロック図。 本発明の第４実施形態に係るステレオ画像処理方法を説明するフローチャート。 ステレオカメラによって距離を算出する原理を説明する図。 従来のステレオ画像処理装置の構成を示すブロック図。 撮像環境の明るさによる画像の輝度値の信号レベルの変化とノイズによるＳ／Ｎの変化を説明する図。 ステレオマッチング処理の対応点の検索に対するＳ／Ｎの悪化による影響を説明する図であり、（Ａ）は、明るい環境で撮像された基準画像の小領域の輝度値の一例を示す図、（Ｂ）は、明るい環境で撮像された比較画像の小領域の輝度値の一例を示す図、（Ｃ）は、明るい環境で撮像されたノイズを含む基準画像の小領域の輝度値の一例を示す図、（Ｄ）は、暗い環境で撮像された基準画像の小領域の輝度値の一例を示す図、（Ｅ）は、暗い環境で撮像された比較画像の小領域の輝度値の一例を示す図、（Ｆ）は、暗い環境で撮像されたノイズを含む基準画像の小領域の輝度値の一例を示す図。 絞りを全閉にしたカメラで撮像した画像に含まれるノイズの一例を示す図。

符号の説明

１、１Ａ、１、Ｂ、１Ｃ ステレオ画像処理装置
２ 対象物体
３ ステレオカメラ
３ａ、３ｂ カメラ
５ ステレオカメラ処理部
６、６Ａ、６Ｂ、６Ｃ 対応点検出部
７ 距離計算部
９ ノイズ除去／除去部
１０ 第１のノイズ判定／除去部
１１ 第２のノイズ判定／除去部
１３ ノイズ判定部
１４ ノイズ位置記録部
１５、１５Ａ ノイズ位置データ変更部
１７ 第１のノイズ判定部
１８ 第１のノイズ位置記録部
１９ 第２のノイズ判定部
２０ 第２のノイズ位置記録部
３０ 従来のステレオ画像処理装置

Claims (2)

1. ステレオカメラを構成するカメラが撮像する基準画像を構成する画素の輝度値と所定のしきい値とを比較し、
   前記画素の輝度値が前記しきい値よりも小さい場合は、前記画素の輝度値を０値に置き換え、
   前記画素の輝度値が０値の場合は、前記画素の視差ベクトルを０値とし、その他の場合は、ステレオマッチング処理によって前記ステレオカメラを構成するカメラが撮像する比較画像中の対応点を探索し、前記ステレオカメラが撮像する領域までの距離に応じて生じる視差画像を求めることを特徴とするステレオ画像処理方法。
2. ステレオカメラが撮像する基準画像と比較画像とから前記ステレオカメラが撮像する領域までの距離に応じて生じる視差画像を求め、
   ステレオカメラを構成するカメラが撮像する基準画像を構成する画素の輝度値と所定のしきい値とを比較し、
   前記基準画像の画素の輝度値が前記しきい値よりも小さい場合は、前記基準画像の画素の位置情報を記録し、
   記録した前記基準画像の画素の位置情報と前記視差画像の画素の位置情報とを比較し、前記位置情報が一致した場合は、前記視差画像について一致した画素位置の値を０値に置き換えることを特徴とするステレオ画像処理方法。

Images