JP2014016981A - 移動面認識装置、移動面認識方法及び移動面認識用プログラム - Google Patents

Abstract

【課題】移動体が移動する移動面を映し出す移動面画像領域を高い精度で認識することを課題とする。
【解決手段】撮像部１１０Ａ，１１０Ｂにより撮像した複数の撮像画像から視差値を算出し、その算出結果に基づいて路面領域（移動面画像領域）を認識する際、各撮像部が撮像した撮像画像から、偏光方向が互いに異なる複数の偏光成分（ｐ偏光成分とｓ偏光成分）に基づいて計算した差分偏光度に応じた画素値をもつ差分偏光度画像を生成し、視差値を算出するための基準画像及び比較画像として差分偏光度画像を用いる。
【選択図】図５

Description

本発明は、移動面上を移動する移動体に搭載された撮像手段で移動体周囲を撮像して得た撮像画像に基づいて当該移動体が移動し得る移動面を認識する移動面認識装置、移動面認識方法及び移動面認識用プログラムに関するものである。

従来、車両、船舶、航空機あるいは産業用ロボットなどの移動体の移動制御を行う移動体制御装置や、移動体の運転者に有益な情報を提供する情報提供装置などの測距処理には、各種の物体認識処理が広く利用されている。具体例を挙げると、例えば、車両の運転者（ドライバー）の運転負荷を軽減させるための、ＡＣＣ（Adaptive Cruise Control）等の運転者支援システムに利用されるものが知られている。このような運転者支援システムにおいては、自車両が障害物等に衝突することを回避したり衝突時の衝撃を軽減したりするための自動ブレーキ機能や警報機能、先行車両との車間距離を維持するための自車速度調整機能、自車が走行している走行レーンからの逸脱防止を支援する機能などの様々な機能を実現する。そのためには、自車両の周囲を撮像した撮像画像を解析して、自車両の走行の妨げとなる障害物までの距離を、精度よく検出することが重要である。

特許文献１には、２つの撮像手段で撮像して得た偏光画像データから偏光比画像（指標値画像）データを算出し、算出した偏光比画像データの視差情報を有する視差画像データを生成する測距カメラ装置が開示されている。この測距カメラ装置によれば、視差画像データを解析することで障害物までの距離を検出することが可能である。

また、通常の測距カメラ装置は、２つの撮像手段で撮像した２つの輝度画像から視差画像を生成するが、上記特許文献１に記載の測距カメラ装置では、２つの偏光比画像から視差画像を生成する。視差画像を生成するには、２つの撮像手段で撮像した一方の画像（基準画像）のある画像部分（視差算出対象箇所）に映し出された地点と同じ地点が映し出された画像部分（対応箇所）を他方の画像（比較画像）から特定するというマッチング処理を行う必要がある。

マッチング処理は、基準画像上で設定した画像部分（視差算出対象箇所）についての画素値特徴量と一致し又は所定の近似範囲内に含まれる画素値特徴量を有する対応箇所を比較画像内から特定するという処理を行う。そのため、このマッチング処理で適切な対応箇所を特定するためには、当該画像部分に特徴的な画素値分布が存在することが望まれる。

輝度画像から視差画像を生成する通常の測距カメラ装置では、例えば撮像領域が暗くて輝度画像内に十分な輝度差が現れないような場合、輝度画像内の多くの箇所が同じような画素値（輝度値）分布を示すようになる。そのため、適切なマッチング処理を行うことができず、適切な視差画像を生成することができない。これに対し、偏光比画像から視差画像を生成する上記特許文献１に記載の測距カメラ装置であれば、撮像領域が暗くて十分な輝度差が得られない状況下であっても、撮像手段に入射する光の偏光成分に特徴的な分布が存在する場合がある。この場合、偏光比画像内に特徴的な画素値（偏光比）分布が現れるので、マッチング処理において、基準画像上で設定された画像部分（視差算出対象箇所）についての画素値特徴量と一致し又は所定の近似範囲内に含まれる画素値特徴量を有する対応箇所を比較画像内から特定する精度が向上する。その結果、適切なマッチング処理が可能となり、適切な視差画像を生成することが可能となる。

上述の運転者支援システム等において上述した様々な機能を実現するためには、自車両の周囲を撮像した撮像画像を解析して、自車両が走行可能な路面を映し出す路面画像領域（移動面画像領域）を、精度よく検出することが重要である。本発明者は、鋭意研究の結果、このような偏光方向が互いに異なる複数の偏光成分に基づいて計算した偏光比等の指標値に応じた画素値をもつ偏光比画像等の指標値画像を基準画像及び比較画像として算出される視差値を利用することで、車両等の移動体が移動する移動面を映し出す移動面画像領域を高い精度で認識できることを見出した。

上記特許文献１には、２つの撮像手段で撮像した２つの偏光比画像から視差画像を生成するまでのハードウェア構成や処理内容については詳しく開示されている。また、各種画像データから道路形状を検出するという記載はある。しかしながら、その道路形状をどのような画像データからどのようにして検出するのかについては記載がない。

本発明は、以上の背景に鑑みなされたものであり、その目的とするところは、移動体が移動する移動面を映し出す移動面画像領域を高い精度で認識できる移動面認識装置、移動面認識方法及び移動面認識用プログラムを提供することである。

本発明は、移動面上を移動する移動体に搭載された撮像手段により移動体周囲の撮像領域を撮像して得られる撮像画像に基づいて、該撮像画像内の移動面画像領域を認識する移動面認識装置であって、上記移動体に搭載される複数の撮像手段がそれぞれ撮像した複数の撮像画像から、偏光方向が互いに異なる複数の偏光成分に基づいて計算した指標値に応じた画素値をもつ指標値画像をそれぞれ生成する指標値画像生成手段と、上記複数の撮像画像から上記指標値画像生成手段がそれぞれ生成した複数の指標値画像に基づいて、各画素における視差値を算出する視差算出手段と、上記視差算出手段が算出した視差値に基づいて上記移動面画像領域を認識する処理を行う移動面認識処理手段とを有することを特徴とする。

本発明においては、偏光方向が互いに異なる複数の偏光成分に基づいて計算した指標値に応じた画素値をもつ指標値画像を基準画像及び比較画像として視差値を算出し、その算出結果に基づいて移動面画像領域を認識する。移動体に搭載された複数の撮像手段から移動体周囲の撮像領域を撮像すると、その撮像画像内の移動面画像領域は、画像下側の移動面画像領域ほど当該移動体に近い移動面を映し出したものであり、また、画像上下方向位置（画像の上下方向は撮像領域の上下方向に対応しているものとする。以下同じ。）が同じ箇所は当該移動体からの距離がほぼ同じ移動面部分を映し出したものである。このような移動面の特徴を利用することにより、当該移動体との距離に対応する視差値を用いて、移動面画像領域を認識することができる。

この認識の精度を高くするためには、その視差値の精度が重要となる。視差値の精度を高めるには、例えば、基準画像上に設定した視差算出対象箇所についての画素値特徴量と一致し又は所定の近似範囲内に含まれる画素値特徴量を有する対応箇所を比較画像内から高精度に特定することが必要となる。本発明とは異なり、輝度画像から視差値を算出する場合には、例えば撮像領域が暗くて輝度画像内に十分な輝度差が現れないような状況では、基準画像や比較画像上において画素値特徴量に違いが出にくく、対応箇所の特定精度が悪いので、高精度な視差値を算出できない。これに対し、本発明のように、偏光方向が互いに異なる複数の偏光成分に基づいて計算した指標値に応じた画素値をもつ指標値画像を基準画像及び比較画像として視差値を算出する場合には、十分な輝度差が得られない撮像状況下でも、基準画像や比較画像上において画素値特徴量に違いが出やすい。よって、本発明によれば、十分な輝度差が得られない撮像状況下でも、高精度な視差値を算出することが可能であるため、視差値を用いた移動面画像領域の認識処理を高精度に行うことができる。

以上、本発明によれば、十分な輝度差が得られない撮像状況下でも、移動体が移動する移動面を映し出す移動面画像領域を高い精度で認識できるという優れた効果が得られる。

実施形態における車載機器制御システムの概略構成を示す模式図である。 同車載機器制御システムを構成する撮像ユニット及び画像解析ユニットの概略構成を示す模式図である。 同撮像ユニットの撮像部における光学フィルタと画像センサとを光透過方向に対して直交する方向から見たときの模式拡大図である。 同光学フィルタの領域分割パターンを示す説明図である。 実施形態の路面認識処理に関わる機能ブロック図である。 同路面認識処理に関わるフローチャートである。 （ａ）は視差画像の視差値分布の一例を示す説明図である。（ｂ）は、同（ａ）の視差画像の行ごとの視差値頻度分布を示す行視差分布マップ（Ｖマップ）を示す説明図である。 （ａ）は、同撮像部で撮像した撮像画像（輝度画像）の一例を模式的に表した画像例である。（ｂ）は、視差ヒストグラム計算部により算出される行視差分布マップ（Ｖマップ）を直線近似したグラフである。 実施形態における白線認識処理の一例を示すフローチャートである。 実施形態における路面領域認識処理の一例を示すフローチャートである。 白線認識結果の一例に対応した路面領域認識処理の内容を説明するための説明図である。 白線認識結果の他の例に対応した路面領域認識処理の内容を説明するための説明図である。 （ａ）及び（ｂ）は、白線認識結果の更に他の例に対応した路面領域認識処理の内容を説明するための説明図である。 （ａ）及び（ｂ）は、白線認識結果の更に他の例に対応した路面領域認識処理の内容を説明するための説明図である。 （ａ）及び（ｂ）は、白線認識結果の更に他の例に対応した路面領域認識処理の内容を説明するための説明図である。 （ａ）及び（ｂ）は、白線認識結果の更に他の例に対応した路面領域認識処理の内容を説明するための説明図である。

以下、本発明に係る移動面認識装置を、車両システムとしての車載機器制御システムに用いる一実施形態について説明する。
なお、本発明に係る移動面認識装置は、車載機器制御システムに限らず、例えば、撮像画像に基づいて物体検出を行う物体検出装置を搭載したその他のシステムにも適用できる。

図１は、本実施形態における車載機器制御システムの概略構成を示す模式図である。
本車載機器制御システムは、自動車などの自車両１００に搭載された撮像ユニットで撮像した自車両進行方向前方領域（撮像領域）の撮像画像データを利用して認識対象物の認識結果に応じて各種車載機器の制御を行うものである。

本実施形態の車載機器制御システムは、走行する移動体としての自車両１００の進行方向前方領域を撮像領域として撮像する撮像ユニット１０１が設けられている。この撮像ユニット１０１は、例えば、自車両１００のフロントガラス１０５のルームミラー（図示せず）付近に設置される。撮像ユニット１０１の撮像によって得られる撮像画像データ等の各種データは、画像処理手段としての画像解析ユニット１０２に入力される。画像解析ユニット１０２は、撮像ユニット１０１から送信されてくるデータを解析して、自車両１００の前方に存在する他車両の位置、方角、距離を算出したり、自車両１００が走行している路面（移動面）を検出したりする。他車両の検出では、他車両のテールランプを識別することで自車両１００と同じ進行方向へ進行する先行車両を検出し、他車両のヘッドランプを識別することで自車両１００とは反対方向へ進行する対向車両を検出する。

画像解析ユニット１０２の算出結果は、ヘッドランプ制御ユニット１０３に送られる。ヘッドランプ制御ユニット１０３は、例えば、画像解析ユニット１０２が算出した他車両の距離データから、自車両１００の車載機器であるヘッドランプ１０４を制御する制御信号を生成する。具体的には、例えば、先行車両や対向車両の運転者の目に自車両１００のヘッドランプの強い光が入射するのを避けて他車両の運転者の幻惑防止を行いつつ、自車両１００の運転者の視界確保を実現できるように、ヘッドランプ１０４のハイビームおよびロービームの切り替えを制御したり、ヘッドランプ１０４の部分的な遮光制御を行ったりする。

また、画像解析ユニット１０２の算出結果は、車両走行制御ユニット１０８にも送られる。車両走行制御ユニット１０８は、画像解析ユニット１０２が検出した路面領域（移動面画像領域）の認識結果に基づいて、路面領域から自車両１００が外れそうな場合等に、自車両１００の運転者へ警告を報知したり、自車両のハンドルやブレーキを制御するなどの走行支援制御を行ったりする。

図２は、撮像ユニット１０１及び画像解析ユニット１０２の概略構成を示す模式図である。
撮像ユニット１０１は、撮像手段としての２つの撮像部１１０Ａ，１１０Ｂを備えたステレオカメラであり、２つの撮像部１１０Ａ，１１０Ｂの構成は同一のものである。各撮像部１１０Ａ，１１０Ｂは、それぞれ、撮像レンズ１１１Ａ，１１１Ｂと、光学フィルタ１１２Ａ，１１２Ｂと、撮像素子が２次元配置された画像センサ１１３Ａ，１１３Ｂを含んだセンサ基板１１４Ａ，１１４Ｂと、センサ基板１１４Ａ，１１４Ｂから出力されるアナログ電気信号（画像センサ１１３Ａ，１１３Ｂ上の各受光素子が受光した受光量）をデジタル電気信号に変換した撮像画像データを生成して出力する信号処理部１１５Ａ，１１５Ｂとから構成されている。

図３は、光学フィルタ１１２Ａ，１１２Ｂと画像センサ１１３Ａ，１１３Ｂとを光透過方向に対して直交する方向から見たときの模式拡大図である。
画像センサ１１３Ａ，１１３Ｂは、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などを用いたイメージセンサであり、その撮像素子（受光素子）にはフォトダイオード１１３ａを用いている。フォトダイオード１１３ａは、撮像画素ごとに２次元的にアレイ配置されており、フォトダイオード１１３ａの集光効率を上げるために、各フォトダイオード１１３ａの入射側にはマイクロレンズ１１３ｂが設けられている。この画像センサ１１３Ａ，１１３Ｂがワイヤボンディングなどの手法によりＰＷＢ（printed wiring board）に接合されてセンサ基板１１４Ａ，１１４Ｂが形成されている。

画像センサ１１３Ａ，１１３Ｂのマイクロレンズ１１３ｂ側の面には、光学フィルタ１１２Ａ，１１２Ｂが近接配置されている。本実施形態の光学フィルタ１１２Ａ，１１２Ｂは、図３に示すように、図示しない透明なフィルタ基板上に、偏光フィルタ層１１２ａと分光フィルタ層１１２ｂとを形成したものである。偏光フィルタ層１１２ａ及び分光フィルタ層１１２ｂは、画像センサ１１３Ａ，１１３Ｂ上における１つのフォトダイオード１１３ａに対応するように領域分割されている。

光学フィルタ１１２Ａ，１１２Ｂと画像センサ１１３Ａ，１１３Ｂとの間に空隙がある構成としてもよいが、光学フィルタ１１２Ａ，１１２Ｂを画像センサ１１３Ａ，１１３Ｂに密着させる構成とした方が、光学フィルタ１１２Ａ，１１２Ｂの各フィルタ領域の境界と画像センサ１１３Ａ，１１３Ｂ上のフォトダイオード１１３ａ間の境界とを一致させやすくなる。光学フィルタ１１２Ａ，１１２Ｂと画像センサ１１３Ａ，１１３Ｂは、例えば、ＵＶ接着剤で接合してもよいし、撮像に用いる有効画素範囲外でスペーサにより支持した状態で有効画素外の四辺領域をＵＶ接着や熱圧着してもよい。

図４は、本実施形態に係る光学フィルタ１１２Ａ，１１２Ｂの領域分割パターンを示す説明図である。
光学フィルタ１１２Ａ，１１２Ｂの偏光フィルタ層１１２ａは、画像センサ１１３Ａ，１１３Ｂ上の１つのフォトダイオード１１３ａ（一撮像画素）の縦列（鉛直方向）に平行に振動する垂直偏光成分（Ｐ偏光成分）のみを選択して透過させる垂直偏光領域と、画像センサ１１３Ａ，１１３Ｂ上の１つのフォトダイオード１１３ａの横列（水平方向）に平行に振動する水平偏光成分（Ｓ偏光成分）のみを選択して透過させる水平偏光領域とに領域分割されている。一方、光学フィルタ１１２Ａ，１１２Ｂの分光フィルタ層１１２ｂは、赤色波長帯の光のみを選択して透過させる赤色分光領域と、波長選択を行わずに光を透過させる非分光領域とに領域分割されている。

そして、光学フィルタ１１２Ａ，１１２Ｂは、図４に示すように、偏光フィルタ層１１２ａの垂直偏光領域及び分光フィルタ層１１２ｂの非分光領域を透過する第１領域１１２ｐｃと、偏光フィルタ層１１２ａの垂直偏光領域及び分光フィルタ層１１２ｂの赤色分光領域を透過する第２領域１１２ｐｒと、偏光フィルタ層１１２ａの水平偏光領域及び分光フィルタ層１１２ｂの赤色分光領域を透過する第３領域１１２ｓｒと、偏光フィルタ層１１２ａの水平偏光領域及び分光フィルタ層１１２ｂの非分光領域を透過する第４領域１１２ｓｃという４種類のフィルタ領域が、２×２の撮像画素に対応するように配置される。本実施形態では、画像センサ１１３Ａ，１１３Ｂ上の２×２の撮像画素が、撮像画像上の１画素（以下「画像画素」という。）に対応する。

その結果、本実施形態においては、第１領域１１２ｐｃに対応する撮像画素の出力信号からｐ偏光非分光画像が得られ、第２領域１１２ｐｒに対応する撮像画素の出力信号からｐ偏光赤色画像が得られ、第３領域１１２ｓｒに対応する撮像画素の出力信号からｓ偏光赤色画像が得られ、第４領域１１２ｓｃに対応する撮像画素の出力信号からｓ偏光非分光画像が得られる。よって、本実施形態によれば、一度の撮像動作により、４種類の撮像画像データを得ることができる。これらの撮像画像データでは、その画像画素の数が撮像画素数の１／４となるが、より高解像度の画像を得る際には一般に知られる画像補間処理を用いてもよい。

撮像ユニット１０１は、ＦＰＧＡ（Field-Programmable Gate Array）等からなる処理ハードウェア部１２０を備えている。この処理ハードウェア部１２０は、２つの撮像部１１０Ａ，１１０Ｂから出力される４種類の撮像画像データに対する画像処理を施す画像データ処理部１２２Ａ，１２２Ｂを備えている。

基準画像を撮像する撮像部１１０Ａに対応する画像データ処理部１２２Ａでは、撮像部１１０Ａから出力されるｐ偏光赤色画像データとｓ偏光赤色画像データとから、赤色輝度画像データを生成する。具体的には、同一の画像画素（２×２の撮像画素）に対応するｐ偏光赤色画像の出力値とｓ偏光赤色画像の出力値との合計値を当該画像画素の画素値に対応づけた赤色輝度画像データを生成する。このようにして得られる赤色輝度画像データは、例えば、赤色に発光するテールランプの検出に使用することができる。

また、画像データ処理部１２２Ａは、撮像部１１０Ａから出力されるｐ偏光非分光画像データとｓ偏光非分光画像データとから、非分光の輝度画像データを生成する。具体的には、同一の画像画素（２×２の撮像画素）に対応するｐ偏光非分光画像の出力値とｓ偏光非分光画像の出力値との合計値を当該画像画素の画素値に対応づけた非分光の輝度画像データを生成する。このようにして得られる非分光の輝度画像データは、例えば、車線境界線である白線、対向車両のヘッドランプの検出に使用することができる。

また、本実施形態において、２つの画像データ処理部１２２Ａ，１２２Ｂは、指標値画像生成手段として機能し、撮像部１１０Ａから出力されるｐ偏光非分光画像データとｓ偏光非分光画像データとから、ｐ偏光成分とｓ偏光成分とに基づいて計算した指標値である差分偏光度に応じた画素値をもつ差分偏光度画像（指標値画像）データを生成する。具体的には、同一の画像画素（２×２の撮像画素）に対応するｐ偏光非分光画像の出力値とｓ偏光非分光画像の出力値とから差分偏光度を算出し、これを当該画像画素の画素値に対応づけた差分偏光度画像データを生成する。

差分偏光度は、下記の式（１）に示す計算式から求められる。すなわち、差分偏光度は、ｐ偏光成分とｓ偏光成分との合計値に対するｐ偏光成分とｓ偏光成分との差分値の比率である。また、差分偏光度は、ｐ偏光成分とｓ偏光成分との合計値に対するｐ偏光成分の比率と、ｐ偏光成分とｓ偏光成分との合計値に対するｓ偏光成分の比率との差分値であると言い換えることもできる。本実施形態では、ｐ偏光成分からｓ偏光成分を差し引く場合について説明するが、ｓ偏光成分からｐ偏光成分を差し引くようにしてもよい。
差分偏光度＝（ｐ偏光成分−ｓ偏光成分）／（ｐ偏光成分＋ｓ偏光成分） ・・（１）

指標値としては、ｐ偏光成分とｓ偏光成分とを比較した指標値であるのが好ましく、本実施形態では、指標値として差分偏光度を使用する場合を例に挙げて説明するが、単純に、同一の画像画素（２×２の撮像画素）に対応するｐ偏光非分光画像の出力値とｓ偏光非分光画像の出力値との比率（偏光比）を指標値として用いてもよい。ただし、偏光比と差分偏光度とを比較すると、前者は、分母にくる偏光成分（例えばｐ偏光成分）がゼロ付近を示す場合には、偏光比は無限大に近づく値となってしまい、正確な値を得ることができない。一方、後者も、分母にくるｐ偏光成分とｓ偏光成分との合計値がゼロ付近を示す場合には、差分偏光度が無限大に近づく値となってしまい、正確な値を得ることができない。両者を比較したとき、後者の方が、分母がゼロ付近の値を取る確率が低く、正確な値を算出できる確率が高い。

また、偏光比については、分母にくる偏光成分（例えばｐ偏光成分）がゼロ付近を示す場合には正確な値を算出できないが、分子にくる偏光成分（例えばｓ偏光成分）については、これがゼロ付近を示す場合でも正確な値を算出することが可能である。したがって、分子にくる偏光成分（例えばｓ偏光成分）を検出する場合に好適な指標値である。一方、差分偏光度は、分子にくるｐ偏光成分とｓ偏光成分との差分値がゼロ付近を示すのは、ｐ偏光成分とｓ偏光成分がほぼ同じ値を示す場合である。ｐ偏光成分がある値を示す確率とｓ偏光成分がそれと同じ値を示す確率は同等なので、差分偏光度は、ｐ偏光成分もｓ偏光成分も平等に検出できる指標値であると言える。本実施形態では、以上の比較から、偏光比ではなく差分偏光度を指標値として用いる。

本実施形態の処理ハードウェア部１２０には、各撮像部１１０Ａ，１１０Ｂで撮像した撮像画像について画像データ処理部１２２Ａ，１２２Ｂで画像処理して得られた差分偏光度画像データから視差画像を得るために、両差分偏光度画像間の対応画像部分の視差値を演算する視差算出手段としての視差演算部１２１を備えている。ここでいう視差値とは、各撮像部１１０Ａ，１１０Ｂでそれぞれ撮像した撮像画像の一方を基準画像、他方を比較画像とし、撮像領域内の同一地点に対応した基準画像上の画像部分（視差算出対象箇所）に対する比較画像上の画像部分（対応箇所）の位置ズレ量を、当該画像部分の視差値として算出したものである。三角測量の原理を利用することで、この視差値から当該画像部分に対応した撮像領域内の当該同一地点までの距離を算出することができる。

本実施形態の視差演算部１２１で視差値を算出するために用いる基準画像と比較画像は、いずれも差分偏光度画像である。輝度画像から視差値を算出する場合、例えば撮像領域が暗くて輝度画像内に十分な輝度差が現れないような状況では、基準画像や比較画像上において画素値（輝度）特徴量に違いが出にくく、対応箇所の特定精度が悪いので、高精度な視差値を算出できない。これに対し、本実施形態のように、差分偏光度画像を基準画像及び比較画像として視差値を算出する場合には、十分な輝度差が得られない撮像状況下でも、基準画像や比較画像上において画素値（差分偏光度）特徴量に違いが出やすい。よって、本実施形態によれば、十分な輝度差が得られない撮像状況下でも、高精度な視差値を算出することが可能であるため、視差値を用いた移動面画像領域の認識処理を高精度に行うことができる。

特に、路面からの反射光に含まれる偏光成分と、路面側端に位置する縁石等の段差、ガードレール、壁などの路面側端部材からの反射光に含まれる偏光成分とを比較すると、その反射面の向きがおよそ９０度ほど異なることから、これらの偏光成分には大きな違いが出てくる。そのため、差分偏光度画像を用いることで、路面部分を映し出す路面画像領域と路面側端部材を映し出す画像領域との間で差分偏光度に大きな違いが出る結果、その路面画像領域のマッチング処理が適切に行われ、路面端部位置の適切な視差値が算出できる。

画像解析ユニット１０２は、撮像ユニット１０１から出力される赤色輝度画像データ、輝度画像データ、差分偏光度画像データ、視差画像データを記憶するメモリ１３０と、識別対象物の認識処理や視差計算制御などを行うソフトウェアを内蔵したＭＰＵ（Micro Processing Unit）１４０とを備えている。ＭＰＵ１４０は、メモリ１３０に格納された赤色輝度画像データ、輝度画像データ、差分偏光度画像データ、視差画像データを用いて各種の認識処理を実行する。

次に、本発明の特徴部分である、路面認識処理について説明する。
図５は、本実施形態の路面識処理に関わる機能ブロック図である。
図６は、本実施形態の路面識処理に関わるフローチャートである。
なお、図５に示す機能ブロック図の各処理ブロックで行われる処理は、専用のハードウェアを用いて処理してもいし、汎用の演算器を使用してソフトウェア処理により行ってもよい。本実施形態では、視差演算部１２１から視差画像データが出力された後の各処理ブロック１４１，１４２，１４３及び白線認識処理部１４９は、画像解析ユニット１０２のＭＰＵ１４０によるソフトウェア処理によって実現される。

本実施形態の視差演算部１２１は、２つの画像データ処理部１２２Ａ，１２２Ｂのうちの一方から出力される差分偏光度画像データを基準画像データとし、他方から出力される差分偏光度画像データを比較画像データとして用い、両者の視差を演算して視差画像データを生成し、出力する。この視差画像データは、基準画像データ上の各画像部分について算出される視差値に応じた画素値をそれぞれの画像部分の画素値として表した視差画像を示すものである。

具体的には、ステップＳ１０で画像データ処理部１２２Ａ、１２２Ｂからそれぞれ入力された差分偏光画像を元に、視差演算部１２１は、基準画像データのある行について、一の注目画素を中心とした複数画素（例えば１６画素×１画素）からなるブロックを定義する。一方、比較画像データにおける同じ行において、定義した基準画像データのブロックと同じサイズのブロックを１画素ずつ横ライン方向（Ｘ方向）へずらし、基準画像データにおいて定義したブロックの画素値の特徴を示す画素値特徴量と比較画像データにおける各ブロックの画素値の特徴を示す画素値特徴量との相関を示す相関値を、それぞれ算出する。そして、算出した相関値に基づき、比較画像データにおける各ブロックの中で最も基準画像データのブロックと相関があった比較画像データのブロックを選定するマッチング処理を行う。その後、基準画像データのブロックの注目画素と、マッチング処理で選定された比較画像データのブロックの対応画素との位置ズレ量を視差値として算出する（Ｓ１１）。このような視差値を算出する処理を基準画像データの全域又は特定の一領域について行うことで、視差画像データを得ることができる。このようにして得られる視差画像データは、視差ヒストグラム情報生成手段としての視差ヒストグラム計算部１４１と、信頼度判定部１４３とに送られる。

マッチング処理に用いるブロックの特徴量としては、例えば、ブロック内の各画素の値（差分偏光度）を用いることができ、相関値としては、例えば、基準画像データのブロック内の各画素の値（差分偏光度）と、これらの画素にそれぞれ対応する比較画像データのブロック内の各画素の値（差分偏光度）との差分の絶対値の総和を用いることができる。この場合、当該総和が最も小さくなるブロックが最も相関があると言える。

視差画像データを取得した視差ヒストグラム計算部１４１は、画像を上下方向に複数分割して得られる視差画像データの各行領域について、視差値頻度分布を計算する（Ｓ１２）。この視差値頻度分布を示す情報が視差ヒストグラム情報である。具体例を挙げて説明すると、図７（ａ）に示すような視差値分布をもった視差画像データが入力されたとき、視差ヒストグラム計算部１４１は、行ごとの各視差値のデータの個数の分布である視差値頻度分布を計算し、これを視差ヒストグラム情報として出力する。このようにして得られる各行の視差値頻度分布の情報を、例えば、縦方向に視差画像上の縦方向位置をとり横方向に視差値をとった２次元平面上に表すことで、図７（ｂ）に示すような行視差分布マップ（Ｖマップ）を得ることができる（Ｓ１３）。路面領域を示す画素は、視差画像上の各行においてほぼ同一距離に存在して最も占有率が高く、かつ、画像上方へ向かうほど距離が連続的に遠くなる特徴をもっている。したがって、行視差分布マップ上において画像下部から上方へ向かうほど視差値が小さくなるような傾きをもった直線が、路面領域を表すこととなる。本実施形態では、これを利用して車両が走行可能な路面領域を検出する（Ｓ１４）。

図８（ａ）は、撮像部１１０Ａで撮像した撮像画像（輝度画像）の一例を模式的に表した画像例であり、図８（ｂ）は、視差ヒストグラム計算部１４１により算出される行ごとの視差値頻度分布から、行視差分布マップ（Ｖマップ）上の画素分布を直線近似したグラフである。
図８（ａ）に示す画像例は、中央分離帯を有する片側２車線の直線道路において自車両が左車線を走行している状況を撮像したものであり、図中符号ＣＬは中央分離帯を映し出す中央分離帯画像部であり、図中符号ＷＬは車線境界線である白線を映し出す白線画像部（車線境界線画像部）であり、図中符号ＥＬは路端に存在する縁石等の段差を映し出す路端段差画像部である。以下、路端段差画像部ＥＬ及び中央分離帯段差画像部ＣＬをまとめて段差画像部という。また、図中破線で囲まれた領域ＲＳは、中央分離帯と路側段差とによって区画される車両走行が可能な路面領域（移動面画像領域）である。

本実施形態では、信頼度判定部１４３が視差画像データの信頼度を判定し（Ｓ１５）、これにより視差画像データの信頼度が規定値以上であれば（Ｓ１６のＹｅｓ）、路面領域認識部１４２において、視差ヒストグラム計算部１４１から出力される各行の視差値頻度分布の情報（視差ヒストグラム情報）から、路面領域ＲＳを認識する（Ｓ１７）。一方、視差画像データの信頼度が規定値未満であれば（Ｓ１６のＮｏ）、路面領域認識部１４２において、後述の白線認識処理部１４９により輝度画像データ及び差分偏光度画像データから認識される白線認識結果（Ｓ１８）から、路面領域ＲＳを認識する（Ｓ１９）。

信頼度判定部１４３は、例えば、次のような方法で、視差画像データの信頼度を判定することができる。まず、入力された視差画像データ上で３×３画素のブロックを定義し、そのブロックを視差画像上下方向中央において左端から右端までずらしていき、各ブロック内の画素値（視差値）の分散を算出する。そして、各ブロックの分散の合計値を信頼度として用い、その合計値が規定数未満である場合には当該視差画像データの信頼度が高い（規定値以上である）と判断し、その合計値が規定数以上である場合には当該視差画像データの信頼度が低い（規定値未満である）と判断する。なお、この処理において各ブロック内に映し出される物体は、自車両から同一距離にある物体であることが多いので、適正な視差値が算出されていれば各ブロックの分散は小さな値をとるが、適正な視差値が算出されていない場合には各ブロックの分散は大きな値をとることになる。本実施形態の信頼度判定部１４３は、この違いを見ることで、視差画像データの信頼度を判定する。
上記のような信頼度判定方法の他、照度自体の高低、輝度のコントラストの大小などを用いることによって、信頼度の判定を行っても良い。

信頼度判定部１４３において視差画像データの信頼度が高い（規定値以上である）と判定された場合、路面領域認識部１４２には、視差ヒストグラム計算部１４１から出力される各行の視差値頻度分布情報が入力される。これを取得した路面領域認識部１４２は、その入力情報から特定される行視差分布マップ上の画素分布を最小二乗法やハフ変換処理などにより直線近似する処理を行う。このとき、直線近似する視差値範囲を、例えば実距離２０ｍに相当する視差値範囲ごとに区分し、各区分の視差値範囲内でそれぞれ直線近似する処理を行うのが好ましい。

撮像画像内に映し出される路面の傾斜状況が途中で変化するような場合（例えば平坦から急な上り坂に変化する場合）、行視差分布マップ上の路面領域に対応する画素の分布は、傾斜状況が変化する地点に対応する箇所で、画像上下方向位置変化に対する路面領域の視差値変化（傾き）が変化する。そのため、この場合、行視差分布マップの全域で画素分布を直線近似すると、路面領域を適切に認識することができないおそれがある。これに対し、直線近似する視差値範囲を上述したように複数に区分し、各区分の視差値範囲内でそれぞれ直線近似する処理を行えば、路面の傾斜状況が途中で変化する状況下でも、その傾き変化に対応して近似できるため、路面領域を適切に認識することができる。

これにより得られる近似直線は、図８（ｂ）に示すように、視差画像の下部に対応する行視差分布マップの下部において、画像上方へ向かうほど視差値が小さくなるような傾きをもった直線となる。すなわち、この近似直線上又はその近傍に分布する画素（視差画像上の画素）は、視差画像上の各行においてほぼ同一距離に存在して最も占有率が高く、かつ、画像上方へ向かうほど距離が連続的に遠くなる対象を映し出した画素であると言える。

ここで、撮像部１１０Ａでは自車両前方領域を撮像するため、その視差画像の内容は、図８（ａ）に示すように、画像下部において路面領域ＲＳの占有率が最も高く、また、画像上方へ向かうほど路面領域ＲＳの視差値は小さくなる。また、同じ行（横ライン）内において、路面領域ＲＳを構成する画素はほぼ同じ視差値を持つことになる。したがって、視差ヒストグラム計算部１４１から出力される各行の視差値頻度分布情報から特定される、上述した行視差分布マップ（Ｖマップ）上の近似直線上又はその近傍に分布する画素は、路面領域ＲＳを構成する画素が持つ特徴に合致する。よって、図８（ｂ）に示す近似直線上又はその近傍に分布する画素は、高い精度で、路面領域ＲＳを構成する画素であると推定できる。

このように、本実施形態の路面領域認識部１４２は、視差ヒストグラム計算部１４１から得た各行の視差値頻度分布情報に基づいて演算した行視差分布マップ（Ｖマップ）上の直線近似を行い、その近似直線上又はその近傍に分布する画素を、路面を映し出す画素として特定し、特定した画素によって占められる画像領域を路面領域ＲＳとして認識する。なお、路面上には図８（ａ）に示すように白線も存在するが、路面領域認識部１４２では、白線画像部ＷＬも含めて路面領域ＲＳを認識する。

一方、信頼度判定部１４３において視差画像データの信頼度が低い（規定値未満である）と判定された場合、路面領域認識部１４２には、白線認識処理部１４９から出力される白線認識結果と画像データ処理部１２２Ａから出力される差分偏光度画像データとが入力される。

白線認識処理部１４９は、画像データ処理部１２２Ａから輝度画像データを取得したら、まず、輝度画像データについて、画素値（輝度）が規定値以上変化する箇所をエッジ部分として抽出する。エッジ抽出の方法は、公知のものを広く利用することができる。多くの道路では、黒色に近い色の路面上に白線が形成されており、輝度画像上において白線画像部ＷＬの輝度は路面上の他部分より十分に大きい。そのため、輝度画像上で所定値以上の画素値の差を有するエッジ部は、白線のエッジ部である可能性が高い。また、路面上の白線を映し出す白線画像部ＷＬは、撮像画像上においてライン状に映し出されるので、ライン状に並ぶエッジ部を特定することで、白線のエッジ部を高精度に認識することができる。よって、本実施形態の白線認識処理部１４９は、エッジ部分について最小二乗法やハフ変換処理などによる直線近似処理を施し、得られた近似直線を白線のエッジ部（路面上の白線を映し出す白線画像部ＷＬ）として認識する。

図９は、白線認識処理の一例を示すフローチャートである。
本例においては、画像データ処理部１２２Ａから輝度画像データを取得したら（Ｓ２１）、まず、輝度の閾値を設定する（Ｓ２２）。このとき、画像上方と下方とでは、白線のコントラストが違っているため、同一の閾値を用いて処理を行うと、良好な結果が得られない場合がある。そのような場合には、１つの画像を上方と下方の２つのエリアを分け、それぞれに適用する輝度の閾値を個別に設定する。このようにして設定される輝度の閾値を用いて、輝度画像データの各画素値（輝度）と当該閾値との大小比較を行う（Ｓ２３）。この大小比較により閾値以上の輝度をもつ画素を白線エッジの候補点として検出する。その後、検出された白線エッジの候補点と、予め定められた白線幅の閾値との大小比較を行って、検出された白線エッジの候補点による白線幅が妥当か否かを判断する（Ｓ２４）。この判断において妥当であると判断された場合、検出された白線エッジの候補点を、１本の白線の両端エッジを示す一対の白線エッジ部として抽出する。

路面領域認識部１４２は、白線認識処理部１４９から出力される白線認識結果と、画像データ処理部１２２Ａから出力される差分偏光度画像データとが入力されると、次のような処理を行う。まず、白線認識結果に基づき、差分偏光度画像データ上の白線画像部に対応する地点を特定し、その白線画像部の画像中央側に近接する画素（路面基準画素）の画素値（差分偏光度）を取得する。この路面基準画素は、一般に、路面を映し出したものである可能性が高いので、この路面基準画素の差分偏光度は、現状における路面の差分偏光度を示すものであると推定することができる。

次に、路面領域認識部１４２は、差分偏光度画像データの各行について、白線画像部から画像左右方向外側に向かって例えば１画素ずつ対象画素をずらし、各対象画素の差分偏光度と路面基準画素の差分偏光度との差分値を算出していく。対象画素が路面を映し出すものであれば、その対象画素の差分偏光度と路面基準画素の差分偏光度とはほぼ同じ値をとる。一方、対象画素が路端に存在する縁石等の段差、壁などの路面側端部材を映し出すものであれば、その対象画素の差分偏光度は、路面基準画素の差分偏光度とは大きく異なる値をとる。よって、路面領域認識部１４２は、各対象画素の差分偏光度と路面基準画素の差分偏光度との差分値を算出していき、その差分値が所定の閾値を超える箇所が現れたら、その箇所が路面と路面側端部材との境界に対応すると判断し、その判断結果から路面領域を認識する。

図１０は、路面領域認識処理の一例を示すフローチャートである。
本例においては、白線認識処理部１４９から出力される白線認識結果と、画像データ処理部１２２Ａから出力される差分偏光度画像データとを取得したら（Ｓ３１）、閾値を設定した後に（Ｓ３２）、上述した処理を行う。すなわち、白線認識結果に基づき、差分偏光度画像データ上の白線画像部に対応する地点を特定し、差分偏光度画像データの各行（ライン）について、その白線画像部の画像中央側（内側）に近接する画素（路面基準画素）の画素値（差分偏光度）を取得する。その後、差分偏光度画像データの各行（ライン）について、白線画像部から画像左右方向外側に向かって例えば１画素ずつ対象画素をずらし、各対象画素の差分偏光度と路面基準画素の差分偏光度との差分値を算出していく（Ｓ３３）。対象画素が路面を映し出すものであれば、その対象画素の差分偏光度と路面基準画素の差分偏光度とはほぼ同じ値をとるが、対象画素が路端に存在する縁石等の段差、壁などの路面側端部材を映し出すものであれば、その対象画素の差分偏光度は、路面基準画素の差分偏光度とは大きく異なる値をとる。したがって、各対象画素の差分偏光度と路面基準画素の差分偏光度との差分値を算出していき、その差分値が閾値を超える箇所が現れたら（Ｓ３４）、その箇所が路面と路面側端部材との境界（路端エッジ）に対応すると判断し、その対象画素を路端エッジとして抽出する（Ｓ３５）。

図１１は、白線認識結果の一例に対応した路面領域認識処理の内容を説明するための説明図である。
本例では、２本の白線が映し出されている撮像画像において、それらの白線に対応する白線エッジ部が適切に抽出された例である。この場合、上述したとおり、差分偏光度画像データの各行（ライン）について、白線画像部から画像左右方向外側に向かって、白線内側の路面基準画素の差分偏光度と白線外側の各対象画素の差分偏光度との差分値を算出していき、その差分値を閾値と比較することで、路端エッジを抽出する。なお、図１１において、図中「×」で示す箇所は、路面基準画素の差分偏光度との差分値が閾値未満である対象画素を示し、当該差分値が閾値以上となった対象画素は「●」で示してある。したがって、「●」で示す画素を結んだ線が路端エッジを示すものと認識される。

図１２は、白線認識結果の他の例に対応した路面領域認識処理の内容を説明するための説明図である。
本例では、画像左側部分に１本の白線が映し出されている撮像画像において、その白線に対応する白線エッジ部が適切に抽出された例である。この場合、画像左側の路端エッジについては、認識された白線画像部から画像左側に向かって、白線内側の路面基準画素の差分偏光度と白線外側の各対象画素の差分偏光度との差分値を算出していき、その差分値を閾値と比較することで、路端エッジを抽出する。一方、画像右側の路端エッジについては、認識された白線画像部から画像右側に向かって、路面基準画素の差分偏光度と白線外側の各対象画素の差分偏光度との差分値を算出していき、その差分値を閾値と比較することで、路端エッジを抽出する。このときの路面基準画素は、画像左側の路端エッジの抽出時に用いる路面基準画素と同じものを用いる。

図１３（ａ）及び（ｂ）は、白線認識結果の更に他の例に対応した路面領域認識処理の内容を説明するための説明図である。
本例では、前回の撮像画像（フレーム）では図１３（ａ）に示すように２本の白線が適切に抽出できていたが、今回の撮像画像（フレーム）では図１３（ｂ）に示すように２本の白線がいずれも抽出できなかった例である。この場合、今回の撮像画像についての路端エッジの抽出には、前回の撮像画像における白線認識結果（図１３（ｂ）中破線で示す。）を用いる。すなわち、差分偏光度画像データの各行（ライン）について、前回の撮像画像で認識された白線画像部から画像左右方向外側に向かって、白線内側の路面基準画素の差分偏光度と白線外側の各対象画素の差分偏光度との差分値を算出していき、その差分値を閾値と比較することで、路端エッジを抽出する。

図１４（ａ）及び（ｂ）は、白線認識結果の更に他の例に対応した路面領域認識処理の内容を説明するための説明図である。
本例では、前回の撮像画像（フレーム）でも図１４（ａ）に示すように白線エッジ部が抽出されず、かつ、今回の撮像画像（フレーム）でも図１４（ｂ）に示すように白線エッジ部が抽出されなかった例である。この場合、差分偏光度画像データの各行（ライン）について、画像左右方向中央の画素を路面基準画素とし、画像左右方向中央から画像左右方向両側に向かって、当該路面基準画素の差分偏光度と各対象画素の差分偏光度との差分値を算出していき、その差分値を閾値と比較することで、路端エッジを抽出する。

図１５（ａ）及び（ｂ）は、白線認識結果の更に他の例に対応した路面領域認識処理の内容を説明するための説明図である。
本例では、前回の撮像画像（フレーム）では図１５（ａ）に示すように連続的な白線エッジ部が抽出されていたが、今回の撮像画像（フレーム）では図１５（ｂ）に示すように断続的な白線エッジ部が抽出された例である。この場合、白線エッジ部が抽出されている行（ライン）については、その白線画像部から画像左右方向外側に向かって、白線内側の路面基準画素の差分偏光度と白線外側の各対象画素の差分偏光度との差分値を算出していき、その差分値を閾値と比較することで、路端エッジを抽出する。一方、白線エッジ部が抽出されていない行（ライン）については、前回の撮像画像における白線認識結果（図１５（ｂ）中破線で示す。）を用い、前回の撮像画像で認識された白線画像部から画像左右方向外側に向かって、白線内側の路面基準画素の差分偏光度と白線外側の各対象画素の差分偏光度との差分値を算出していき、その差分値を閾値と比較することで、路端エッジを抽出する。

図１６（ａ）及び（ｂ）は、白線認識結果の更に他の例に対応した路面領域認識処理の内容を説明するための説明図である。
本例では、前回の撮像画像（フレーム）では図１６（ａ）に示すように白線エッジ部が抽出されず、今回の撮像画像（フレーム）では連続的な白線エッジ部が一部だけ抽出されている例である。この場合、白線エッジ部が抽出されている行（ライン）については、その白線画像部から画像左右方向外側に向かって、白線内側の路面基準画素の差分偏光度と白線外側の各対象画素の差分偏光度との差分値を算出していき、その差分値を閾値と比較することで、路端エッジを抽出する。一方、白線エッジ部が抽出されていない行（ライン）については、今回の撮像画像で抽出された白線エッジ部を延長した仮想の白線エッジ部（図１６（ｂ）中破線で示す。）を用い、当該仮想の白線エッジ部によって特定される白線画像部から画像左右方向外側に向かって、白線内側の路面基準画素の差分偏光度と白線外側の各対象画素の差分偏光度との差分値を算出していき、その差分値を閾値と比較することで、路端エッジを抽出する。

路面領域認識部１４２の認識結果は、後段の処理部に送られ、種々の処理に使用される。例えば、撮像ユニット１０１で撮像した自車両前方の撮像画像を例えば自車両室内の画像表示装置に表示する場合、路面領域認識部１４２の認識結果に基づき、その表示画像上の対応する路面領域ＲＳを強調表示するなど、路面領域ＲＳが視認しやすい表示処理を行う。

以上に説明したものは一例であり、本発明は、次の態様毎に特有の効果を奏する。
（態様Ａ）
路面等の移動面上を移動する自車両１００等の移動体に搭載された２つの撮像部１１０Ａ，１１０Ｂ等の複数の撮像手段により移動体周囲の撮像領域を撮像して得られる複数の撮像画像の１つである基準画像上で視差算出対象箇所を設定し、設定した視差算出対象箇所についての画素値特徴量と一致し又は所定の近似範囲内に含まれる画素値特徴量を有する対応箇所を、他の撮像画像である比較画像内から特定し、特定した対応箇所と当該視差算出対象箇所との視差値を算出する視差演算部１２１等の視差算出手段と、上記視差算出手段の算出結果に基づいて、上記撮像手段により撮像した撮像画像内の上記移動面を映し出す路面領域ＲＳ等の移動面画像領域を認識する処理を行う路面領域認識部１４２等の移動面認識処理手段とを有する移動面認識装置であって、上記撮像手段が撮像した撮像画像から、偏光方向が互いに異なる複数の偏光成分（ｐ偏光成分とｓ偏光成分）に基づいて計算した差分偏光度等の指標値に応じた画素値をもつ差分偏光度画像等の指標値画像を生成する画像データ処理部１２２Ａ，１２２Ｂ等の指標値画像生成手段を有し、上記視差算出手段は、上記基準画像及び上記比較画像として、上記指標値画像生成手段により生成される指標値画像を用いて、上記視差値を算出することを特徴とする。
視差値を用いて移動面画像領域を高い精度で認識するためには、その視差値の精度が重要となる。視差値の精度を高めるには、基準画像上に設定した視差算出対象箇所についての画素値特徴量と一致し又は所定の近似範囲内に含まれる画素値特徴量を有する対応箇所を比較画像内から高精度に特定することが必要となる。このとき、輝度画像から視差値を算出する場合、例えば撮像領域が暗くて輝度画像内に十分な輝度差が現れないような状況では、基準画像や比較画像上において画素値特徴量に違いが出にくく、対応箇所の特定精度が悪いので、高精度な視差値を算出できない。これに対し、本態様のように、偏光方向が互いに異なる複数の偏光成分に基づいて計算した指標値に応じた画素値をもつ指標値画像を基準画像及び比較画像として視差値を算出する場合には、十分な輝度差が得られない撮像状況下でも、基準画像や比較画像上において画素値特徴量に違いが出やすい。よって、本態様によれば、十分な輝度差が得られない撮像状況下でも、高精度な視差値を算出することが可能であるため、視差値を用いた移動面画像領域の認識処理を高精度に行うことができる。

（態様Ｂ）
上記態様Ａにおいて、上記視差算出手段が算出した視差値に基づいて、上記撮像画像を上下方向に複数分割して得られる各行領域内における視差値の頻度分布を示す視差ヒストグラム情報を生成する視差ヒストグラム計算部１４１等の視差ヒストグラム情報生成手段を有し、上記移動面認識処理手段は、上記視差ヒストグラム情報に基づいて、予め決められた規定値を超える頻度をもった視差値又は視差値範囲の中から、上記撮像画像の上方に向かうほど値が低くなるという特徴に合致した一群の視差値又は視差値範囲を選別し、選別した一群の視差値又は視差値範囲に対応する上記撮像画像上の画素が属する画像領域を、上記移動面画像領域として認識する処理を行うことを特徴とする。
これによれば、移動面画像領域の認識処理を簡易かつ高精度に行うことができる。

（態様Ｃ）
上記態様Ｂにおいて、上記移動面認識処理手段は、予め決められた規定値を超える頻度をもった視差値又は視差値範囲をその視差値に応じて複数に区分し、区分ごとに当該視差値又は視差値範囲を上記撮像画像の上方に向かうほど一定の割合で視差値が低くなるように近似処理し、近似処理した一群の視差値又は視差値範囲を上記特徴に合致した一群の視差値又は視差値範囲として選別することを特徴とする。
これによれば、路面の傾斜状況が途中で変化しているような路面画像領域についても、精度よく認識することができる。

（態様Ｄ）
上記Ａ〜Ｃのいずれかの態様において、上記基準画像を撮像する撮像部１１０Ａ等の撮像手段により撮像した撮像画像から上記指標値画像生成手段が生成した指標値画像の画素値が規定値以上変化する箇所をエッジ箇所として抽出し、その抽出結果に基づいて上記移動面画像領域の候補領域を検出する路面領域認識部１４２等の候補領域検出手段を有し、上記移動面認識処理手段は、上記候補領域検出手段の検出結果と上記視差算出手段の算出結果とに基づいて上記移動面画像領域を認識する処理を行うことを特徴とする。
これによれば、視差算出手段の算出結果だけでなく、指標値画像のエッジ箇所の抽出結果も用いて、移動面画像領域を認識することができるので、高精度な認識結果をより安定して提供することが可能である。

（態様Ｅ）
上記態様Ｄにおいて、基準画像上の視差算出対象箇所に対応して特定された比較画像上の対応箇所の特定精度に応じて、上記視差算出手段の算出結果の信頼度を決定する信頼度判定部１４３等の視差値信頼度決定手段を有し、上記移動面認識処理手段は、上記視差値信頼度決定手段が決定した信頼度が規定条件を満たすときは、上記視差算出手段の算出結果に基づいて上記移動面画像領域を認識し、該信頼度が該規定条件を満たさないときは、上記候補領域検出手段の検出結果に基づいて上記移動面画像領域を認識する処理を行うことを特徴とする。
これによれば、より精度の高い認識結果を安定して提供することが可能となる。

（態様Ｆ）
上記態様Ａ〜Ｅのいずれかの態様において、上記撮像手段を備えていることを特徴とする。
これによれば、移動面認識装置を車両に設置する用途に使用することができる。

（態様Ｇ）
移動面上を移動する移動体に搭載された複数の撮像手段により移動体周囲の撮像領域を撮像して得られる複数の撮像画像の１つである基準画像上で視差算出対象箇所を設定し、設定した視差算出対象箇所についての画素値特徴量と一致し又は所定の近似範囲内に含まれる画素値特徴量を有する対応箇所を、他の撮像画像である比較画像内から特定し、特定した対応箇所と当該視差算出対象箇所との視差値を算出する視差算出工程と、上記視差算出工程の算出結果に基づいて、上記撮像手段により撮像した撮像画像内の上記移動面を映し出す移動面画像領域を認識する処理を行う移動面認識処理工程とを有する移動面認識方法であって、上記撮像手段が撮像した撮像画像から、偏光方向が互いに異なる複数の偏光成分に基づいて計算した指標値に応じた画素値をもつ指標値画像を生成する指標値画像生成工程を有し、上記視差算出工程では、上記基準画像及び上記比較画像として、上記指標値画像生成手段により生成される指標値画像を用いて、上記視差値を算出することを特徴とする。
これによれば、十分な輝度差が得られない撮像状況下でも、高精度な視差値を算出することが可能であるため、視差値を用いた移動面画像領域の認識処理を高精度に行うことができる。

（態様Ｈ）
移動面上を移動する移動体に搭載された複数の撮像手段により移動体周囲の撮像領域を撮像して得られる複数の撮像画像の１つである基準画像上で視差算出対象箇所を設定し、設定した視差算出対象箇所についての画素値特徴量と一致し又は所定の近似範囲内に含まれる画素値特徴量を有する対応箇所を、他の撮像画像である比較画像内から特定し、特定した対応箇所と当該視差算出対象箇所との視差値を算出する視差算出工程と、上記視差算出工程の算出結果に基づいて、上記撮像手段により撮像した撮像画像内の上記移動面を映し出す移動面画像領域を認識する処理を行う移動面認識処理工程とを、コンピュータに実行させるための移動面認識用プログラムであって、上記撮像手段が撮像した撮像画像から、偏光方向が互いに異なる複数の偏光成分に基づいて計算した指標値に応じた画素値をもつ指標値画像を生成する指標値画像生成工程を上記コンピュータに実行させるものであって、上記視差算出工程では、上記基準画像及び上記比較画像として、上記指標値画像生成手段により生成される指標値画像を用いて、上記視差値を算出することを特徴とする。
これによれば、十分な輝度差が得られない撮像状況下でも、高精度な視差値を算出することが可能であるため、視差値を用いた移動面画像領域の認識処理を高精度に行うことができる。
尚、このプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録された状態で配布したり、入手したりすることができる。また、このプログラムを乗せ、所定の送信装置により送信された信号を、公衆電話回線や専用線、その他の通信網等の伝送媒体を介して配信したり、受信したりすることでも、配布、入手が可能である。この配信の際、伝送媒体中には、コンピュータプログラムの少なくとも一部が伝送されていればよい。すなわち、コンピュータプログラムを構成するすべてのデータが、一時に伝送媒体上に存在している必要はない。このプログラムを乗せた信号とは、コンピュータプログラムを含む所定の搬送波に具現化されたコンピュータデータ信号である。また、所定の送信装置からコンピュータプログラムを送信する送信方法には、プログラムを構成するデータを連続的に送信する場合も、断続的に送信する場合も含まれる。

１００ 自車両
１０１ 撮像ユニット
１０２ 画像解析ユニット
１０３ ヘッドランプ制御ユニット
１０４ ヘッドランプ
１０５ フロントガラス
１０８ 車両走行制御ユニット
１１０Ａ，１１０Ｂ 撮像部
１１２Ａ，１１２Ｂ 光学フィルタ
１１２ａ 偏光フィルタ層
１２０ 処理ハードウェア部
１２１ 視差演算部
１２２Ａ，１２２Ｂ 画像データ処理部
１３０ メモリ
１４１ 視差ヒストグラム計算部
１４２ 路面領域認識部
１４３ 信頼度判定部
１４９ 白線認識処理部

特開２０１１−８５５３９号公報

Claims (9)

1. 移動面上を移動する移動体に搭載された撮像手段により移動体周囲の撮像領域を撮像して得られる撮像画像に基づいて、該撮像画像内の移動面画像領域を認識する移動面認識装置であって、
   上記移動体に搭載される複数の撮像手段がそれぞれ撮像した複数の撮像画像から、偏光方向が互いに異なる複数の偏光成分に基づいて計算した指標値に応じた画素値をもつ指標値画像をそれぞれ生成する指標値画像生成手段と、
   上記複数の撮像画像から上記指標値画像生成手段がそれぞれ生成した複数の指標値画像に基づいて、各画素における視差値を算出する視差算出手段と、
   上記視差算出手段が算出した視差値に基づいて上記移動面画像領域を認識する処理を行う移動面認識処理手段とを有することを特徴とする移動面認識装置。
2. 請求項１の移動面認識装置において、
   上記視差算出手段が算出した視差値に基づいて、上記撮像画像を上下方向に複数分割して得られる各行領域内における視差値の頻度分布を示す視差ヒストグラム情報を生成する視差ヒストグラム情報生成手段を有し、
   上記移動面認識処理手段は、上記視差ヒストグラム情報に基づいて、予め決められた規定値を超える頻度をもった視差値又は視差値範囲の中から、上記撮像画像の上方に向かうほど値が低くなるという特徴に合致した一群の視差値又は視差値範囲を選別し、選別した一群の視差値又は視差値範囲に対応する上記撮像画像上の画素が属する画像領域を、上記移動面画像領域として認識する処理を行うことを特徴とする移動面認識装置。
3. 請求項２の移動面認識装置において、
   上記移動面認識処理手段は、予め決められた規定値を超える頻度をもった視差値又は視差値範囲をその視差値に応じて複数に区分し、区分ごとに当該視差値又は視差値範囲を上記撮像画像の上方に向かうほど一定の割合で視差値が低くなるように近似処理し、近似処理した一群の視差値又は視差値範囲を上記特徴に合致した一群の視差値又は視差値範囲として選別することを特徴とする移動面認識装置。
4. 請求項１乃至３のいずれか１項に記載の移動面認識装置において、
   上記基準画像を撮像する撮像手段により撮像した撮像画像から上記指標値画像生成手段が生成した指標値画像の画素値が規定値以上変化する箇所をエッジ箇所として抽出し、その抽出結果に基づいて上記移動面画像領域の候補領域を検出する候補領域検出手段を有し、
   上記移動面認識処理手段は、上記候補領域検出手段の検出結果と上記視差算出手段の算出結果とに基づいて上記移動面画像領域を認識する処理を行うことを特徴とする移動面認識装置。
5. 請求項４の移動面認識装置において、
   上記視差算出手段の算出結果の信頼度を決定する視差値信頼度決定手段を有し、
   上記移動面認識処理手段は、上記視差値信頼度決定手段が決定した信頼度が規定条件を満たすときは、上記視差算出手段の算出結果に基づいて上記移動面画像領域を認識し、該信頼度が該規定条件を満たさないときは、上記候補領域検出手段の検出結果に基づいて上記移動面画像領域を認識する処理を行うことを特徴とする移動面認識装置。
6. 請求項５の移動面認識装置において、
   上記視差値信頼度決定手段は、基準画像上の視差算出対象箇所に対応して特定された比較画像上の対応箇所の特定精度に応じて、上記視差算出手段の算出結果の信頼度を決定することを特徴とする移動面認識装置。
7. 請求項１乃至６のいずれか１項に記載の移動面認識装置において、
   上記複数の撮像手段を備えていることを特徴とする移動面認識装置。
8. 移動面上を移動する移動体に搭載された撮像手段により移動体周囲の撮像領域を撮像して得られる撮像画像に基づいて、該撮像画像内の移動面画像領域を認識する移動面認識方法であって、
   上記移動体に搭載される複数の撮像手段がそれぞれ撮像した複数の撮像画像から、偏光方向が互いに異なる複数の偏光成分に基づいて計算した指標値に応じた画素値をもつ指標値画像をそれぞれ生成する指標値画像生成工程と、
   上記指標値画像生成工程で上記複数の撮像画像からそれぞれ生成された複数の指標値画像に基づいて、各画素における視差値を算出する視差算出工程と、
   上記視差算出工程で算出された視差値に基づいて上記移動面画像領域を認識する処理を行う移動面認識処理手段とを有することを特徴とする移動面認識方法。
9. 移動面上を移動する移動体に搭載された撮像手段により移動体周囲の撮像領域を撮像して得られる撮像画像に基づいて、該撮像画像内の移動面画像領域を認識するための工程を、コンピュータに実行させるための移動面認識用プログラムにおいて、
   上記移動体に搭載される複数の撮像手段がそれぞれ撮像した複数の撮像画像から、偏光方向が互いに異なる複数の偏光成分に基づいて計算した指標値に応じた画素値をもつ指標値画像をそれぞれ生成する指標値画像生成工程と、
   上記指標値画像生成工程で上記複数の撮像画像からそれぞれ生成された複数の指標値画像に基づいて、各画素における視差値を算出する視差算出工程と、
   上記視差算出工程で算出された視差値に基づいて上記移動面画像領域を認識する処理を行う移動面認識処理手段とを、上記コンピュータに実行させることを特徴とする移動面認識用プログラム。

Images