JP2014009975A - ステレオカメラ - Google Patents

Abstract

【課題】距離計測の誤差が安定して、且つ小さいステレオカメラを提供する。
【解決手段】複数の撮像部で撮像された複数の画像を取得する画像取得部と、画像取得部で取得した複数の画像の各々に対して予め定めた複数の画素からなる第１の領域毎に分割し、分割された第１の領域毎に距離を計測し、第１の距離画像を生成する第１の領域処理部と、距離画像又は画像から、対象物体を抽出し、抽出した対象物体を含む複数の第１の領域からなる第２の領域を抽出する対象物体抽出部と、第２の領域内から所定の代表値を抽出し、第２の領域内の任意の画素の輝度値と任意の画素から代表値の示す視差分だけ移動した位置までの対応領域内の輝度値とを比較し、比較した結果に基づいて誤差要因の判定を行う誤差要因特定部と、誤差要因に基づいて重み値を決定し、重み値を用いて、第２の領域毎に距離を計測し、第２の距離画像を生成する第２の領域処理部と、を有する。
【選択図】 図１

Description

本発明は、撮像素子を２つ以上用いて撮像した画像により物体までの距離計測をするステレオカメラに関する。

本技術分野の背景技術として、特許文献１がある。特許文献１では、複数種の物体を精度よく検出することを目的としている。このために、画像を小領域に分割し、複数の画像間で小領域毎に輝度値の類似度に基づいて対応付けることで距離を計測した距離画像データを生成し、計測した距離が近い小領域同士をグループ化することで１つの計測対象として物体を検出し、グループ内の距離の平均値として物体までの距離を計測するステレオカメラが開示されている。

また、特許文献２では、特許文献１と同様に、計測の対象とする物体を的確に検出して物体までの距離を計測することを目的としている。このために、距離画像データによるグループ化に加えて、１つの画像中において隣接する画素の輝度値が近い小領域同士をグループ化する。これにより、同一物体にも関わらず、小領域のサイズや分割位置などの影響で計測した距離がばらついてグループ化できなかった場合についても、同一物体内では隣接する輝度値が大きく変化しないという仮定のもとで、より確実に１つの計測対象として物体を検出し、グループ内の距離の平均値として物体までの距離を計測するステレオカメラが開示されている。

特開２００８−４５９７４号公報 特開２０１１−１２８７５６号公報

物体の距離や速度の計測を行うステレオカメラは、自動車や建設機械やロボットなどに応用され、周囲の物体までの距離や速度を精度よく計測することにより、衝突回避や自己位置の認識などの運転支援システムを実現することに利用される。

カメラを２つ以上用いて撮像した画像により物体までの距離を計測するステレオカメラの距離計測の原理は、計測の対象とする物体が撮影された複数のカメラの画像で物体画像をマッチングすることで対応付け、撮像位置とカメラの取り付け位置の関係から三角測量の原理により距離を算出する。このため、対応付けの位置がずれることが距離計測の誤差となる。

距離計測の誤差要因は主に３つある。１つ目の要因は、計測の対象となる物体よりも手前に別の物体が入り込んで撮像されてしまうことに起因する。具体的には、カメラのレンズやカメラ前面に設けたクリアパネルなどに水滴や汚れが付着することや、カメラと計測の対象となる物体の間に雨が降っていたり、虫が飛び交っていたり、落ち葉が舞い降りるなどが起こるものであり、ステレオカメラを過酷な環境で用いる場合には対応する必要がある。別の物体が撮像されると対応付けの位置に誤差が大きく生じる。これについて、本発明では距離の計測誤差を小さくするために、計測の対象となる物体以外が撮像された画素を取り除いて対応付けをしたいという課題がある。

２つ目の要因は、対応付けをする際の画像領域のサイズに起因する。画像領域サイズが小さいと、撮像素子のノイズの影響を受けて対応位置がずれることや、周辺でパターンが類似する領域に誤って対応して対応位置がずれてしまうことがある。このため、本発明では距離の計測誤差を小さくするために、計測の対象物体の大部分となる大領域によって物体全体の画像のマッチングによる対応付けをしたいという課題がある。

３つ目の要因は、計測の対象となる物体の周囲に背景が撮像されてしまうことに起因する。背景は計測の対象となる物体よりも遠くにある物体のため、対応付けの領域に含むことによって誤差を生じる。これについても、本発明では距離の計測誤差を小さくするために、１つ目の要因と同様に計測の対象となる物体以外が撮像された画素を取り除いて対応付けをしたいという課題がある。

よって、距離計測の誤差が安定した小さいステレオカメラを実現するには、計測の対象となる物体以外が撮像された領域を画素単位で取り除くとともに、計測の対象物体の全体を含む大領域により対応付けをすることを両立する必要がある。

これに対し特許文献１のシステムは、誤差の小さい距離計測を目的とする本発明とは狙いが異なり、物体検出が課題である。このため、距離を計測する単位と計測対象の物体以外を取り除く単位がどちらも小領域毎であることから距離計測の誤差が大きい場合がある。また、ヒストグラムの生成では縦方向区切りなどの任意の区分で分けるため、ヒストグラム中に計測対象以外にも多くの異なる物体が含まれ、さらに１つ目の誤差要因である雨滴や汚れ等が含まれた際に代表値を安定して取り出すことができない場合がある。このため、本発明の課題を解決することができない。

また特許文献２のシステムも、誤差の小さい距離計測を目的とする本発明とは狙いが異なり、物体検出が課題である。特許文献１に比べ適切に同一物体と判定される小領域があるが、特許文献１と同様の性質を有する。このため、本発明の課題を解決することができない。

そこで、本発明は、これらの課題を解決するものであり、距離計測の誤差が安定して、且つ小さいステレオカメラを提供することを目的とする。

上記課題を解決するために、本発明のステレオカメラは、複数の撮像部で撮像された複数の画像を取得する画像取得部と、画像取得部で取得した複数の画像の各々に対して予め定めた複数の画素からなる第１の領域毎に分割し、分割された第１の領域毎に距離を計測し、第１の距離画像を生成する第１の領域処理部と、距離画像又は画像から、対象物体を抽出し、抽出した対象物体を含む複数の第１の領域からなる第２の領域を抽出する対象物体抽出部と、第２の領域内から所定の代表値を抽出し、第２の領域内の任意の画素の輝度値と任意の画素から代表値の示す視差分だけ移動した位置までの対応領域内の輝度値とを比較し、比較した結果に基づいて誤差要因の判定を行う誤差要因特定部と、誤差要因に基づいて重み値を決定し、重み値を用いて、第２の領域毎に距離を計測し、第２の距離画像を生成する第２の領域処理部と、を有する構成とする。

本発明によれば、距離計測の誤差が安定して、且つ小さいステレオカメラが提供できる。

本発明に係るステレオカメラのシステム構成の一実施例を示す図である。 本発明の画像取得手段で取得する画像例を示す図である。 本発明の小領域処理手段における処理概念例を示す図である。 本発明の対象物体抽出手段における処理概念例を示す図である。 本発明の誤差要因特定手段における処理概念例を示す図である。 本発明の大領域処理手段における処理概念例を示す図である。 本発明のステレオカメラによる実験結果を示す図である。

以下では、好ましい実施形態の一例として、本発明における課題を解決するステレオカメラを図面に基づいて説明する。

本実施例では、画像中に雨滴や汚れ２１４等が含まれる場合においても距離計測の誤差を安定して小さくするために、対象物体を１つの大領域として抽出する処理と、誤差要因を画素単位で除去する処理を両立することが可能なステレオカメラの例を説明する。

図１は、本実施例のステレオカメラのシステム構成図の例であり、以下で符号を用いて詳細を説明する。ステレオカメラ処理装置１００は、画像取得手段１１０、小領域処理手段１１２、対象物体抽出手段１１４、誤差要因特定手段１１６、大領域処理手段１１８から構成される。

そして、ステレオカメラ処理装置１００に対し、２台以上の複数の撮像部であるカメラ１５０で撮像された画像を入力し、ステレオカメラで計測された物体の距離情報等を用いる制御装置１６０へ処理結果を出力する。なお、図示されないが、前記各手段はステレオカメラ処理装置１００に搭載した各種コンピュータ（Central Processing Unit、Micro-Processing Unit、Digital Signal Processor、Application Specific Integrated Circuit、Field-Programmable Gate Arrayなど）やメモリなどの演算装置を用いて実現する。
２台以上のカメラ１５０からの画像撮像情報は、例えばカラー情報・モノクロ情報・赤外線情報などいずれの種類に限定されることなく本発明を実施することができる。

制御装置１６０は、例えば自動車や建設機械や移動ロボットなどの運動制御用コントローラや、粉塵環境や液体飛散がある環境における検査装置に適するが、この他にもカメラレンズやカメラ前面のクリアパネル等に汚れや雨滴や液体が生じる制御装置であれば本発明を適用することで計測距離の誤差を小さくすることで安定性や信頼性を高くできる。

また、図示しないがステレオカメラ処理装置１００における処理では、画像取得手段１１０から取得する画像に対してレンズ歪の補正や平行化処理を前処理として実施しても良いし、制御装置１６０へ出力する処理結果として計測した距離や速度や加速度（いずれも相対値あるいは絶対値）および、対象物体の認識や検知や検出の結果について後処理として安定化・高精度化のためにフィルタリング処理を実施しても良い。

以下、図２から図６を用いて、ステレオカメラ処理装置１００を構成する小領域処理手段１１２、対象物体抽出手段１１４、誤差要因特定手段１１６、大領域処理手段１１８について詳細に説明する。

図２は、ステレオカメラ処理装置１００を構成する画像取得手段１１０で取得する画像例であり、以下で符号を用いて説明する。

画像取得手段１１０は、複数の撮像部であるカメラ１５０で撮像された複数の画像を取得する。

取得する左の画像例２００、２０４、右の画像例２０２、２０６のうち画像例２００と画像例２０２が対として雨滴や汚れが含まれない場合であり、画像例２００に含まれる計測の対象物体２０８について、対応付けに用いた画像領域２１０として適切に大領域を抽出することができれば、画像例２０２に対し、小さい誤差で対応位置（画像間の視差）２１２を得ることができる。

具体的な対応付けの方法には、画像処理の一般的な対応付け手法（Sum of Abusolute Difference、Sum of Suquared Difference、Normalized Cross-Correlation、Phase-Only Correlation、Lucas-Kanadeなど）のいずれかを用いれば良い。

これに対し、左の画像例２０４と右の画像例２０６の対となる画像のように雨滴や汚れ（計測対象外物体ではない）２１４等が含まれる場合には、前記した画像処理の一般的な手法をそのまま適用すると、図のように対応位置２１２がずれてしまうため計測した距離や速度に誤差が生じる。この場合に計測距離の誤差を小さくする本発明は効果を発揮する。

図３は、ステレオカメラ処理装置１００を構成する小領域処理手段１１２の処理概念図であり、以下で符号を用いて説明する。

第１の領域処理部である小領域処理手段１１２は、画像取得手段１１０で取得した複数の画像の各々を、予め定めた複数の画素からなる第１の領域である小領域３００毎に分割し、分割された第１の領域毎に距離を計測し、第１の距離画像である距離画像３０４を生成する。

具体的には、小領域処理手段１１２では、左の画像例２０４を任意の固定したサイズの小領域ごとに分割する。なお、小領域の定義は別途説明する。

前記対応付け手法を用いて、画像例２０４の小領域毎に対応する画像例２０６の対応位置である小領域を得る。

一例としては、左の画像例２０４における任意の小領域３００に対する、右の画像例２０６における対応位置の小領域は、小領域３０２である。各小領域の計測距離の集合として１つの距離画像３０４（第１の距離画像）が得られる。図示されないが、距離画像３０４は、小領域１つ１つの距離計測の結果を持ち、計測誤差の大きいものから小さいものまで様々な結果が含まれる。

小領域のサイズについては、カメラの画素数や画角などから経験的に決定する必要があり、領域を小さくし過ぎると撮像素子のノイズの影響や周辺の類似した領域との誤対応が生じる問題があり、領域を大きくし過ぎると計測の対象物体以外にも複数の物体を含み易くなることで誤差の小さい計測結果が少なくなる問題がある。これらを考慮し、小領域は、複数の画素からなる。つまり、数画素×数画素〜数十画素×数十画素として設定する。
また、上記では小領域のサイズを固定で説明したが、ノイズの多さなどの状況に応じて可変としたり、複数のサイズを試行して計測した距離の傾向から最も適切なサイズを選択したりしても良い。

図４は、処理部であるステレオカメラ処理装置１００を構成する対象物体抽出手段１１４の処理概念図であり、以下で符号を用いて説明する。

対象物体抽出手段１１４は、第１の領域処理部である小領域処理手段１１２で求めた距離画像３０４、又は一方の画像から、対象物体２０８を抽出し、抽出した対象物体２０８を含む複数の第１の領域（小領域３００）からなる第２の領域である大領域３０６を抽出する。

つまり、対象物体抽出手段１１４では計測の対象物体を含む複数の小領域からなる大領域３０６を１つの塊として抽出をする。図４（ａ）に示すように小領域処理手段１１２で生成した距離画像３０４のグルーピングから１つの立体物を抽出しても良いし、図４（ｂ）に示すように画像例２０４から画像の色（モノクロ、カラー、赤外線など）の隣接画素間の類似性からグルーピングにより抽出しても良いし、計測の対象物体の画像パターンが定まっている場合には画像処理において一般的な特徴量や識別器を用いて認識・検知・検出する方法を用いても良い。距離の計測の誤差を小さくするには、いずれの方法を用いて対象物体を含む大領域として抽出した場合においても、本発明に適用することができる。

図５は、ステレオカメラ処理装置１００を構成する誤差要因特定手段１１６の処理概念図であり、以下で符号を用いて説明する。なお、矢印の順に処理ステップが構成される。

誤差要因特定手段１１６は、対象物体抽出手段１１４で抽出された第２の領域（大領域３０６）内から所定の代表値５０２を抽出し、その第２の領域内の任意の画素５０４の輝度値と任意の画素５０４から代表値５０２の示す視差分だけ移動した位置までの対応領域５０６内の輝度値とを比較し、比較した結果に基づいて誤差要因の判定を行う。つまり輝度値の差分基づいて、その差分が予め定めた閾値以上であれば、誤差要因であると判定し、閾値未満であれば、誤差要因ではないとの判定を行う。一例としては、代表値５０２を抽出した後に、頻度ヒストグラム５００のピーク値が予め定めた閾値以上、又は前記ピーク値と２番目以降のピーク値との比又は差が閾値以上、か否かを判定する。

具体的には、誤差要因特定手段１１６では、対象物体抽出手段１１４において抽出した対象物体２０８を含む第２の領域である大領域３０６の内側における、第１の距離画像である距離画像３０４の計測値について頻度ヒストグラム５００を作成する。頻度ヒストグラム５００の横軸の単位は視差量とすることが望ましいが、距離量を用いても良い。頻度ヒストグラム５００からピーク値を代表値５０２として取り出す。代表値５０２は、計測の対象物体までの視差（あるいは距離）を表している。頻度ヒストグラムのピークを抽出することで雨滴や汚れ２１４等の影響を受けにくい性質があると共に、頻度ヒストグラムを生成するために用いる距離画像３０４を大領域３０６の内側に限定することで、情報全体のうち計測の対象物体の頻度が高いため雨滴や汚れ２１４等が含まれる場合についても計測の対象物体を示すピークを安定して抽出することができる。ただし、代表値５０２で得られた計測の対象物体までの距離は、小領域３００ごとに求めた距離であることにより誤差が大きいため、この段階では本発明の課題を解決するには至らない。また、ピークが安定して得られていることを確認するために、代表値５０２から頻度ヒストグラムの横軸上で一定値以上離れた範囲に存在する次に大きなピーク値を取り出し、２つのピークの比や差に基づいて、その２つのピークの比や差が所定の閾値以上である場合、つまり、最大のピークが設定した閾値を次のピークの値が超えている場合（代表値５０２（最大のピーク）が周囲に対して突出している）、安定しているように、安定性を判定し、抽出した大領域に除去困難なほどに他の物体が含まれていないかを判定しても良い。また、頻度ヒストグラム５００の生成における距離画像３０４の値の投票においては、ガウシアンフィルタを重畳することで、代表値５０２を安定して得られるようにしても良い。

次に対象物体を含む大領域３０６の内側における各画素について以下の処理を実施する。

左の画像例２０４にある大領域３０６内の任意の画素５０４は、右の画像例２０６では同一位置では無く代表値５０２の示す視差分だけ移動した位置の周辺にある。

よって、左の画像例２０４の任意の画素５０４は、別のカメラで取得した右の画像例２０６上で、代表値５０２だけ移動した位置から代表値５０２が持つ誤差の範囲を考慮した対応領域５０６において対応すると考えられる。もしも、任意の画素５０４と対応領域５０６が共に雨滴や汚れ２１４の影響を受けていなければ、任意の画素５０４の輝度値と、対応領域５０６が取る輝度値の範囲が一致する（前者が後者の内側に含まれる）ことになる。逆に、どちらかが雨滴や汚れ２１４の影響を受けていれば図５に示すように輝度値が不一致（前者が後者の外側に含まれる）となる矛盾が生じる。

不一致の画素は、対象物体を含む大領域３０６の全体を複数の画像間で対応位置の計算をする際に誤差となるため、この一致度合いに応じて除去すれば良い。なお、代表値５０２に生じうる誤差を整数値とするならば対応領域５０６は整数個の画素からなる領域となるが、誤差に小数を含むのであれば線形補間の考え方などにより、中間の輝度値を生成しても良いし、整数に切り上げをしても良い。また、複数の画像について平行化がされていない場合についても、対応領域５０６を補間処理で計算すれば良い。なお、画像例２０４と画像例２０６における輝度のオフセット誤差が計算上無視できないほど大きい場合については、対象物体２０８を含む大領域３０６の範囲について、代表値５０２だけずれた位置で対応することを仮定してオフセット値を計算して差し引く処理を追加しても良い。また、各画素の輝度値のばらつき誤差が計算上無視できないほど大きい場合については、輝度の一致度合いから想定するばらつき誤差を差し引く処理を追加しても良い。

図６は、ステレオカメラ処理装置１００を構成する大領域処理手段１１８の処理概念図であり、以下で符号を用いて説明する。

第２の領域処理部である大領域処理手段１１８は、誤差要因特定手段１１６で特定した誤差要因に基づいて重み値を決定し、その重み値を用いて、第２の領域である大領域毎に距離を計測し、第２の距離画像を生成する。このとき、誤差要因特定手段１１６で判定した結果、頻度ヒストグラム５００のピーク値が予め定めた閾値以上、又はピーク値と２番目以降のピーク値との比又は差が閾値以上の場合、閾値未満の画素に比べ、重み値を小さく設定する、又は閾値以上の画素を削除する。

具体的には、大領域処理手段１１８では、左の画像例２０４の大領域３０６を１つの塊として右の画像例２０６に対して対応付けを行い、視差を計算することで対象物体２０８までの距離を導出する。小領域処理手段１１２では小領域ごとで対応付けて距離を導出したのに対し、大領域３０６を１つの塊として対応付けることで情報量が多いことからより安定して高精度な距離を導出することができる。大領域３０６内には距離計測の精度を低下させる誤差要因の画素が含まれるが、誤差要因特定手段１１６で抽出した各画素の左右の画像間での輝度値の差分からなる誤差要因情報を特定しているため、これを用いて大領域３０６の距離を導出する。

具体的には、大領域３０６内の全画素Σの範囲の各点ｐについて、対応関数ｆで評価値ｅを最小あるいは最大化する視差を探索することで対応付けを行う計算処理において、ｅ＝Σ（ｆ（ｐ）Ｗ（ｐ））として誤差要因情報を重み値Ｗとして係数とする。最小あるいは最大値の探索では、種々の画像処理の手法を適用できるが、例としては対応関数ｆにSum of Squared Differenceを適用し、大領域３０６を代表値５０２の視差だけ移動した位置の周辺で評価値ｅを計算し、最小値を抽出すれば良い。重み値Ｗは、誤差要因特定手段１１６で計算した左の画像例２０４と右の画像例２０６の間における各画素の輝度値の差分に基づいて決定し、評価値ｅを最小化する場合には、輝度値の差分が小さい場合に重み値Ｗを大きくし、評価値ｅを最大化する場合には、輝度値の差分が小さい場合に重み値Ｗを小さくする。例えば、例えば任意の画素５０４の輝度値と対応領域５０６の取る輝度値の範囲の差分に比例して小さくなるように重み値Ｗを決定しても良いし、輝度値の差分に閾値を設けて各画素の利用可否を決定する方式でも良い。

以上の計算を適用することで、左の画像例２０４と右の画像例２０６を用いて対象物体２０８までの距離を導出する際に、誤差要因となる画素の影響を小さくし、かつ大領域３０６を１つの塊として対応付けることで情報量が多く安定して高精度な計算をすることができる。

また、重み値Ｗを画像の画素配列と同様に配列化して重み配列６００を生成し、画像処理における各認識・抽出・計測処理の評価値計算において、各画素の重み調整に用いる、つまり、第２の領域処理部である大領域処理手段１１８は、誤差要因特定手段１１６で判定された誤差要因である輝度値の差分に基づいて大領域３０６内の重み配列６００を生成し、その重み配列６００を用いて、大領域３０６毎に距離を計測し、第２の距離画像を生成することで、誤差要因の影響を抑えることができるため性能を向上することができる。

なお、図１の大領域処理手段１１８から誤差要因特定手段１１６に戻る破線の矢印に示すように、大領域処理手段１１８の実施後には雨滴や汚れ２１４の影響を除去した誤差の小さい視差（対応位置、あるいは距離）が得られるため、この誤差の小さい視差を用いて再び誤差要因特定手段１１６を実施することで、雨滴や汚れ２１４などの大きな誤差の要因となる計測の対象物体２０８以外の、より小さな誤差の要因となる計測の対象物体２０８以外の情報についても除去あるいは重みを小さくして高精度化をしても良い。具体的には、計測の対象物体２０８の周辺に存在する背景の情報がこれに該当し、１度目の誤差要因特定手段１１６では代表値５０２の持つ誤差が大きいため特定することができないが、誤差の小さい視差を利用することで特定できるようになる。また、さらに繰り返して誤差要因特定手段１１６を実施する処理を複数回のループとすることで高精度化をしても良い。

図７は、本発明の効果を確認するための実験結果であり、以下で符号を用いて説明する。

実験の条件は、停止する自動車（自車）に搭載したステレオカメラを用いて、約３０ｍ前方に停止する自動車（前方車両）を計測の対象物体２０８として距離の計測を行い、霧吹きによりステレオカメラの前部に位置するフロントガラスを濡らしたものである。

図７のグラフにおいて、本発明を適用しない（本発明なし）場合は水滴の影響を受けて計測距離に最大で±５ｍ程度の誤差を生じているが、本発明を適用した（本発明あり）場合の計測距離は最大で±１ｍ程度の誤差に抑えられている。以上より、本発明を適用することで画像中に雨滴や汚れ２１４などが含まれる場合にも計測距離の誤差が小さいステレオカメラを実現できる。

本実施例では画像の輝度値のみを扱うことでモノクロ画像として説明したが、本発明の考え方は各色表現におけるカラー画像や赤外線画像に対しても同様に適用可能である。また、説明では画像例２０４と画像例２０６の２つの画像を用いる場合について説明したが、本発明の考え方は２つ以上の画像と、その画像を撮影したカメラ位置・姿勢の幾何関係が得られる場合には適用可能である。

本実施例の代表的な適用例として、自動車に搭載し運転支援機能を実現するステレオカメラがある。この場合のステレオカメラでは、主に周囲の自動車や歩行者を計測の対象物体２０８として扱うが、自車および計測の対象物体２０８が移動していることを制御に含めるために、相対速度を計測する場合がある。相対速度を計測する際には、現在の相対距離と過去の相対距離の差分を計測間隔で除算する計算方法の他に、現在の相対距離と過去の見え方と現在の見え方の拡大縮小率に基づく計算方法がある。拡大縮小率を求める場合においても、本発明の大領域処理手段１１８で作成した重み配列６００を各画素の計算の係数として用いる、つまり、重み値、又はその配列である重み配列６００を用いて相対速度を算出することで誤差要因となりうる画素の影響を低減し、高精度化をしても良い。

また、拡大縮小率を求める際に、例えば各画素の計算上の寄与率を補正するために輝度勾配の大きさに応じて別途重み配列を作成する場合などには、大領域処理手段１１８で作成した重み配列６００と掛け合わせて用いても良い。

以下に、本発明の実施例１と同一、あるいは、より効果的に目的を果たすための実施例１と異なる複数の実施例について説明する。この実施例は、次に述べる点で実施例１と相違するものであり、その他の点については実施例１と基本的には同一であるので、重複する説明を省略する。

実施例１では、画像中に雨滴や汚れが含まれる場合においても計測距離の誤差が小さくするステレオカメラを説明したが、同様の考え方を用いて計測の対象物体の認識（あるいは検出、検知）においても性能を向上することができる。

このために、図１の大領域処理手段１１８から対象物体抽出手段１１４に戻る破線の矢印が示す処理を構成する。

１度目の対象物体抽出手段１１４において計測の対象物体２０８を１つの大領域として抽出する。その際に、その大領域がシステムにおいて計測したい物体であるか否かを判定する必要がある。実施例１では、雨滴や汚れ２１４などの影響を除去しない従来通り手順により大領域を抽出するため、雨滴や汚れ２１４の影響により大領域の抽出に失敗することや、誤認識を生じる場合がある。これに対し、１度目の対象物体抽出手段１１４においてこの判定の閾値を緩くしておき大領域処理手段１１８までを実施する。

そして、２度目の対象物体抽出手段１１４では、大領域処理手段１１８で得られた重み配列６００を各画素の計算の寄与率として用いることで、計測の対象物体２０８以外の画素を除去した上で、その大領域がシステムにおいて計測したい物体であるか否かを判定することができる。２度目の対象物体抽出手段１１４では誤差の要因を除去しているため、この判定の閾値を厳しくしても誤ることなく判定することができる。このため、計測の対象とする物体の抽出性能を向上することができる。

１００ ステレオカメラ処理装置
１１０ 画像取得手段
１１２ 小領域処理手段
１１４ 対象物体抽出手段
１１６ 誤差要因特定手段
１１８ 大領域処理手段
１５０ カメラ
１６０ 制御装置
２００，２０２，２０４，２０６ 画像例
２０８ 対象物体
２１０ 画像領域
２１２ 対応位置
２１４ 雨滴や汚れ
３００ 小領域
３０２ 小領域
３０４ 距離画像
３０６ 大領域
５００ 頻度ヒストグラム
５０２ 代表値
５０４ 任意の画素
５０６ 対応領域
６００ 重み配列

Claims (5)

1. 複数の撮像部で撮像された複数の画像を取得する画像取得部と、
   前記画像取得部で取得した複数の画像の各々に対して予め定めた複数の画素からなる第１の領域毎に分割し、分割された第１の領域毎に距離を計測し、第１の距離画像を生成する第１の領域処理部と、
   前記距離画像又は前記画像から、対象物体を抽出し、抽出した前記対象物体を含む複数の第１の領域からなる第２の領域を抽出する対象物体抽出部と、
   抽出された前記第２の領域内から所定の代表値を抽出し、前記第２の領域内の任意の画素の輝度値と前記任意の画素から前記代表値の示す視差分だけ移動した位置までの対応領域内の輝度値とを比較し、比較した結果に基づいて誤差要因の判定を行う誤差要因特定部と、
   前記誤差要因に基づいて重み値を決定し、前記重み値を用いて、第２の領域毎に距離を計測し、第２の距離画像を生成する第２の領域処理部と、を有することを特徴とするステレオカメラ。
2. 請求項１記載のステレオカメラにおいて、
   前記誤差要因特定部は、前記距離画像から頻度ヒストグラムを生成し、抽出された前記第２の領域内の頻度ヒストグラムのピーク値を前記代表値として抽出することを特徴とするステレオカメラ。
3. 請求項２記載のステレオカメラにおいて、
   前記誤差要因特定部は、前記代表値を抽出した後に、ピーク値が予め定めた閾値以上、又は前記ピーク値と２番目以降のピーク値との比又は差が前記閾値以上、か否かを判定し、
   前記第２の領域処理部は、前記誤差要因特定部で判定した結果、ピーク値が予め定めた閾値以上、又は前記ピーク値と２番目以降のピーク値との比又は差が前記閾値以上の場合、前記閾値未満の画素に比べ、重み値を小さく設定する、又は前記閾値以上の画素を削除することを特徴とするステレオカメラ。
4. 請求項１記載のステレオカメラにおいて、
   前記第２の領域処理部は、前記誤差要因特定部で判定された前記誤差要因である輝度値の差分に基づいて第２の領域内の重み配列を生成し、前記重み配列を用いて、第２の領域毎に距離を計測し、第２の距離画像を生成することを特徴とするステレオカメラ。
5. 請求項１記載のステレオカメラにおいて、
   前記重み値を用いて相対速度を算出することを特徴とするステレオカメラ。

Images