JP2017097497A - 車外環境認識装置 - Google Patents

Abstract

【課題】ランプの点灯有無を精度よく検出する。
【解決手段】車外環境認識装置１２０は、コンピュータが、カラー画像を時系列的に取得する画像処理部１６０（画像取得部）と、カラー画像において、先行車両が占有する車両領域、先行車両との相対距離を特定する車両特定部１６４と、特定された車両領域において、予め定められたカラー閾値に基づくカラー条件を満たした画素数を計数し、画素数を先行車両との相対距離に基づいて検出面積に変換する面積変換部１６８と、検出面積をデータ保持部１５２（記憶部）に記憶させる履歴記憶部１７０と、記憶部に記憶された検出面積の履歴に相当する波形から、周波数が所定の周波数閾値以下である検出面積の時間方向の低周波数波形を導出する波形分離部１７２と、低周波数波形に基づいて車両領域におけるランプの点灯有無を判定する点灯有無判定部１８０として機能する。
【選択図】図２

Description

本発明は、先行車両のランプの点灯有無を判定する車外環境認識装置に関する。

従来、自車両の前方に位置する車両等の特定物を検出し、先行車両との衝突を回避したり（衝突回避制御）、先行車両との車間距離を安全な距離に保つように制御する（クルーズコントロール）技術が知られている（例えば、特許文献１）。ここで、先行車両のブレーキランプの点灯有無（ブレーキの操作状態）等を認識するといった処理を組み込むことができれば、より円滑なクルーズコントロールが可能となる。

このような先行車両のブレーキランプの点灯有無を検出する技術として、テールランプ検出領域の輝度変化または面積変化に基づいてブレーキランプの点灯を検出する技術（例えば、特許文献２）や、赤色領域における輝度（明度）のヒストグラム分布を生成し、その標準偏差を通じてブレーキランプの点灯有無を判断する技術（例えば、特許文献３）も開示されている。

特許第３３４９０６０号公報 特許第３８７２１７９号公報 特開平９−２６７６８６号公報

上述した特許文献２の技術では、テールランプの点灯が夜間にしか確認できないので、昼間にはテールランプ検出領域の輝度変化または面積変化を取得できない場合があるといった問題があった。また、特許文献３の技術では、ブレーキランプのカバーの形状、発光源の種類や日照条件によっては輝度の標準偏差も大きくオフセットするので、固定的な閾値との比較ではブレーキランプの点灯有無を誤認識するおそれがあった。

本発明は、このような課題に鑑み、ランプの点灯有無を精度よく判定することが可能な車外環境認識装置を提供することを目的としている。

上記課題を解決するために、本発明の車外環境認識装置は、コンピュータが、カラー画像を時系列的に取得する画像取得部と、前記カラー画像において、先行車両が占有する車両領域、該先行車両との相対距離を特定する車両特定部と、特定された前記車両領域において、予め定められたカラー閾値に基づくカラー条件を満たした画素数または画素面積を計数し、該画素数または画素面積を前記先行車両との相対距離に基づいて検出面積に変換する面積変換部と、前記検出面積を記憶部に記憶させる履歴記憶部と、前記記憶部に記憶された前記検出面積の履歴に相当する波形から、周波数が所定の周波数閾値以下である該検出面積の時間方向の低周波数波形を導出する波形分離部と、前記低周波数波形に基づいて前記車両領域におけるランプの点灯有無を判定する点灯有無判定部として機能する。

また、前記波形分離部は、前記記憶部に記憶された前記検出面積の履歴に相当する波形から、周波数が前記周波数閾値より大きい該検出面積の時間方向の高周波数波形を導出し、前記コンピュータは、前記低周波数波形の値が、前記高周波数波形の値に所定の分離比を乗算した値以上である区間を、前記ランプの点灯有無が変化した点灯有無変化区間と判定する点灯有無変化判定部としても機能し、前記点灯有無判定部は、前記点灯有無変化区間における前記検出面積に基づいて、前記ランプの点灯有無を判定するとよい。

また、前記コンピュータは、前記点灯有無変化区間における前記検出面積を、該検出面積の大きさに基づいて２つのクラスのいずれかに分類し、分類したクラスごとに、該検出面積が含まれる面積区分への投票値を時間方向に積分してヒストグラムを生成するヒストグラム生成部と、分類したクラスごとの前記ヒストグラムの度数の対応関係に基づいて面積閾値を導出する面積閾値導出部としても機能し、前記点灯有無判定部は、前記検出面積を前記面積閾値と比較することにより、前記ランプの点灯有無を判定するとよい。

本発明によれば、ランプの点灯有無を精度よく判定することが可能となる。

環境認識システムの接続関係を示したブロック図である。 車外環境認識装置の概略的な機能を示した機能ブロック図である。 カラー画像と距離画像を説明するための説明図である。 車両特定部の処理を説明するための説明図である。 車両特定部の処理を説明するための説明図である。 第１露光態様による撮像と第２露光態様による撮像との違いを説明するための説明図である。 発光源特定テーブルを説明するための説明図である。 カラー閾値を示す説明図である。 自車両と先行車両との相対距離と画素数の関係を示した説明図である。 ヒストグラム生成部による時間方向の積分を説明するための説明図である。 ヒストグラムを説明するための説明図である。 面積閾値導出部による集計処理を説明するための説明図である。 車外環境認識処理を示すフローチャートである。 面積閾値導出処理を示すフローチャートである。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

近年では、車両に搭載した車載カメラによって自車両の前方の道路環境を撮像し、撮像した画像内における色情報や位置情報に基づいて先行車両等の立体物を特定し、特定された立体物との衝突を回避する衝突防止機能や、先行車両との車間距離を所定の距離に保つ（ＡＣＣ：Adaptive Cruise Control）を搭載した車両が普及しつつある。

かかる衝突防止機能やＡＣＣでは、例えば、自車両前方に位置する立体物と、自車両との相対距離を導出し、かかる相対距離に基づいて、自車両の前方に位置する立体物との衝突を回避したり、立体物が車両（先行車両）であった場合、その先行車両との相対距離を所定の距離に保つように制御する。また、先行車両のブレーキランプの点灯有無（点灯または消灯）等を認識する処理を組み込むことで、より円滑な衝突防止機能やＡＣＣを実現することが可能となる。以下、このような目的を達成するための環境認識システムを説明し、その具体的な構成要素である車外環境認識装置を詳述する。

（環境認識システム１００）
図１は、環境認識システム１００の接続関係を示したブロック図である。環境認識システム１００は、自車両１内に設けられた、撮像装置１１０と、車外環境認識装置１２０と、車両制御装置（ＥＣＵ：Engine Control Unit）１３０とを含んで構成される。

撮像装置１１０は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子を含んで構成され、自車両１の前方を撮像し、カラー値で表されるカラー画像を生成する。ここで、カラー値は、１つの輝度（Ｙ）と２つの色差（ＵＶ）からなる数値群、または、３つの色相（Ｒ（赤）、Ｇ（緑）、Ｂ（青））からなる数値群である。

また、撮像装置１１０は、自車両１の進行方向側において２つの撮像装置１１０それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像装置１１０は、自車両１の前方の検出領域を撮像した画像データを、例えば１／２０秒毎（２０ｆｐｓ）に連続して生成する。ここで、撮像装置１１０により生成された画像データから識別する特定物には、車両、歩行者、信号機、道路（進行路）、ガードレール、建物といった独立して存在する立体物のみならず、ブレーキランプ、ハイマウントストップランプ、テールランプ、ウィンカー、信号機の各点灯部分等、立体物の一部として特定できる物も含まれる。以下の実施形態における各機能部は、このような画像データの更新を契機としてフレーム毎に各処理を遂行する。

さらに、本実施形態において、撮像装置１１０は、車外環境の明るさ（照度計の計測結果等）に応じた露光時間や絞りを示す第１露光態様で検出領域を撮像し、第１画像を生成する。また、撮像装置１１０は、ブレーキランプ等、特定の発光源が自発光しているか否かを判別可能な第２画像を生成する。その方法としては、ダイナミックレンジが広い撮像素子を用い、発光していない立体物が黒く潰れず、発光源が白とびしないように撮像してもよいし、第１露光態様とは露光態様（露光時間、絞り）が異なる第２露光態様で検出領域を撮像し、第２画像を生成してもよい。例えば、昼間であれば、明るい車外環境に応じた第１露光態様の露光時間より第２露光態様の露光時間を短くして、または、絞りを強くして第２画像を生成する。本実施形態において、第１画像および第２画像はそれぞれカラー画像として用いられる。また、上記第１露光態様と第２露光態様とは、以下のようにして実現される。

例えば、撮像装置１１０は、周期的な撮像タイミングを時分割し、第１露光態様による撮像と第２露光態様による撮像とを交互に行うことで、第１画像と第２画像とを順次生成する。なお、撮像装置１１０は、画素毎に２つのキャパシタが設けられ、その２つのキャパシタに並行して電荷をチャージできる撮像素子において、一度の露光でチャージする時間を異ならせて露光態様の異なる２つの画像を並行して生成してもよい。また、撮像装置１１０は、１つのキャパシタの電荷のチャージ中に、時間を異ならせて２回読み出し、露光態様の異なる２つの画像を並行して生成してもよい。また、撮像装置１１０は、露光態様を異ならせた２セットの撮像装置により構成され（ここでは、２つの撮像装置１１０×２セット）、２セットの撮像装置１１０からそれぞれ画像を生成してもよい。露光態様を支配する露光時間は、例えば１〜６０ｍｓｅｃの範囲で適切に制御される。

車外環境認識装置１２０は、立体物を先行車両として特定すると、その先行車両を追跡しつつ、先行車両の相対速度や先行車両との相対距離等を導出し、先行車両と自車両１とが衝突する可能性が高いか否かの判定を行う。ここで、衝突の可能性が高いと判定した場合、車外環境認識装置１２０は、その旨、運転者の前方に設置されたディスプレイ１２２を通じて運転者に警告表示（報知）を行うとともに、車両制御装置１３０に対して、その旨を示す情報を出力する。

車両制御装置１３０は、ステアリングホイール１３２、アクセルペダル１３４、ブレーキペダル１３６を通じて運転者の操作入力を受け付け、操舵機構１４２、駆動機構１４４、制動機構１４６に伝達することで自車両１を制御する。また、車両制御装置１３０は、車外環境認識装置１２０の指示に従い、操舵機構１４２、駆動機構１４４、制動機構１４６を制御する。

以下、車外環境認識装置１２０の構成について詳述する。ここでは、本実施形態に特徴的な構成について詳細に説明し、本実施形態の特徴と無関係の構成については説明を省略する。

（車外環境認識装置１２０）
図２は、車外環境認識装置１２０の概略的な機能を示した機能ブロック図である。図２に示すように、車外環境認識装置１２０は、Ｉ／Ｆ部１５０と、データ保持部１５２と、中央制御部１５４とを含んで構成される。

Ｉ／Ｆ部１５０は、撮像装置１１０や車両制御装置１３０との双方向の情報交換を行うためのインターフェースである。データ保持部１５２は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等で構成され、以下に示す各機能部の処理に必要な様々な情報を保持し、また、撮像装置１１０から受信した画像データ（第１画像および第２画像に基づくカラー画像、距離画像）を一時的に保持する。

中央制御部１５４は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成されたコンピュータでなり、システムバス１５６を通じて、Ｉ／Ｆ部１５０、データ保持部１５２等を制御する。また、本実施形態において、中央制御部１５４は、画像処理部１６０、位置情報導出部１６２、車両特定部１６４、ランプ特定部１６６、面積変換部１６８、履歴記憶部１７０、波形分離部１７２、点灯有無変化判定部１７４、ヒストグラム生成部１７６、面積閾値導出部１７８、点灯有無判定部１８０として機能する。以下、このような機能部について大凡の目的を踏まえ、画像処理、車両特定処理、ランプ特定処理、面積閾値決定処理、点灯有無判定処理といった順に詳細な動作を説明する。

（画像処理）
画像処理部１６０は、２つの撮像装置１１０それぞれからカラー画像の画像データ（第１画像および第２画像）を取得し、第１画像の一方から任意に抽出したブロック（例えば水平４画素×垂直４画素の配列）に対応するブロックを他方の第１画像から検索する、所謂パターンマッチングを用いて視差を導き出す。また、画像処理部１６０は、第２画像に対してもパターンマッチングを用いて視差を導き出す。ここで、「水平」は、撮像したカラー画像の画面横方向を示し、「垂直」は、撮像したカラー画像の画面縦方向を示す。

このパターンマッチングとしては、２つの画像間において、任意の画像位置を示すブロック単位で輝度（Ｙ色差信号）を比較することが考えられる。例えば、輝度の差分をとるＳＡＤ（Sum of Absolute Difference）、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）や、各画素の輝度から平均値を引いた分散値の類似度をとるＮＣＣ（Normalized Cross Correlation）等の手法がある。画像処理部１６０は、このようなブロック単位の視差導出処理を検出領域（例えば水平６００画素×垂直１８０画素）に映し出されている全てのブロックについて行う。ここでは、ブロックを水平４画素×垂直４画素としているが、ブロック内の画素数は任意に設定することができる。

ただし、画像処理部１６０では、検出分解能単位であるブロック毎に視差を導出することはできるが、そのブロックがどのような立体物の一部であるかを認識できない。したがって、視差に基づいて導出される視差情報は、立体物単位ではなく、検出領域における検出分解能単位（例えばブロック単位）で独立して導出されることとなる。

位置情報導出部１６２は、画像処理部１６０により導出された検出領域内のブロック毎（立体部位毎）の視差に基づいて、所謂ステレオ法を用いて、水平距離、高さおよび相対距離を含む３次元の位置情報を導出する。ここで、ステレオ法は、三角測量法を用いることで、立体部位の視差からその立体部位の撮像装置１１０に対する相対距離を導出する方法である。このとき、位置情報導出部１６２は、立体部位の相対距離と、立体部位と同相対距離にある道路表面上の点から立体部位までの距離画像上の距離とに基づいて、立体部位の道路表面からの高さを導出する。なお、このようにして導出された視差情報（３次元の位置情報）を画像データに対応付けた画像を、上述したカラー画像と区別して距離画像という。

図３は、カラー画像２１０と距離画像２１２を説明するための説明図である。例えば、２つの撮像装置１１０を通じ、検出領域２１４について図３（ａ）のようなカラー画像（画像データ）２１０が生成されたとする。ただし、ここでは、理解を容易にするため、２つのカラー画像２１０の一方のみを模式的に示している。本実施形態において、画像処理部１６０は、このようなカラー画像２１０から立体部位毎の視差を求め、位置情報導出部１６２は、視差に基づいて立体部位毎の３次元の位置情報を導出し、図３（ｂ）のような距離画像２１２を形成する。距離画像２１２における各立体部位には、その立体部位の視差情報が関連付けられている。ここでは、説明の便宜上、視差情報が導出された立体部位を黒のドットで表している。本実施形態では、このようなカラー画像２１０と距離画像２１２とを第１画像および第２画像それぞれに基づいて生成している。したがって、本実施形態では、第１画像に基づくカラー画像２１０、第１画像に基づく距離画像２１２、第２画像に基づくカラー画像２１０、第２画像に基づく距離画像２１２が用いられる。

（車両特定処理）
図４および図５は、車両特定部１６４の処理を説明するための説明図である。車両特定部１６４は、まず、第１画像に基づく距離画像２１２の検出領域２１４を、水平方向に対して複数の分割領域２１６に分割する。すると、分割領域２１６は図４（ａ）のような短冊形状になる。このような短冊形状の分割領域２１６は、本来、例えば、水平幅４画素のものが１５０列配列してなるが、ここでは、説明の便宜上、検出領域２１４を１６等分したもので説明する。

続いて、車両特定部１６４は、分割領域２１６毎に、位置情報に基づき、道路表面より上方に位置する全てのブロックを対象に、複数に区分した所定距離それぞれに含まれる相対距離を積算してヒストグラム（図４（ｂ）中、横長の四角（バー）で示す）を生成する。すると、図４（ｂ）のような距離分布２１８が得られる。ここで、縦方向は、区分した所定距離（距離区分）を、横方向は、距離区分それぞれに相対距離が含まれるブロックの個数（度数）を示している。ただし、図４（ｂ）は計算を行う上での仮想的な画面であり、実際には視覚的な画面の生成を伴わない。そして、車両特定部１６４は、このようにして導出された距離分布２１８を参照し、ピークに相当する相対距離である代表距離（図４（ｂ）中、黒で塗りつぶした四角で示す）２２０を特定する。ここで、ピークに相当するとは、ピーク値またはピーク近傍で任意の条件を満たす値をいう。

次に、車両特定部１６４は、隣接する分割領域２１６同士を比較し、図５に示すように、代表距離２２０が近接する（例えば、１ｍ以下に位置する）分割領域２１６をグループ化して１または複数の分割領域群２２２を生成する。このとき、３以上の分割領域２１６で代表距離２２０が近接していた場合にも、連続する全ての分割領域２１６を分割領域群２２２として纏める。かかるグループ化によって、車両特定部１６４は、道路表面より上方に位置する立体物を特定することができる。

続いて、車両特定部１６４は、分割領域群２２２内における、相対距離が代表距離２２０に相当するブロックを基点として、そのブロックと、水平距離の差分、高さの差分および相対距離の差分が予め定められた範囲（例えば０．１ｍ）内にあるブロックとを、同一の特定物に対応すると仮定してグループ化する。こうして、仮想的なブロック群である立体物２２４が生成される。上記の範囲は実空間上の距離で表され、製造者や搭乗者によって任意の値に設定することができる。また、車両特定部１６４は、グループ化により新たに追加されたブロックに関しても、そのブロックを基点として、水平距離の差分、高さの差分および相対距離の差分が所定範囲内にあるブロックをさらにグループ化する。結果的に、同一の特定物と仮定可能なブロック全てがグループ化されることとなる。

また、ここでは、水平距離の差分、高さの差分および相対距離の差分をそれぞれ独立して判定し、全てが所定範囲に含まれる場合のみ同一のグループとしているが、他の計算によることもできる。例えば、水平距離の差分、高さの差分および相対距離の差分の二乗平均√（（水平距離の差分）^２＋（高さの差分）^２＋（相対距離の差分）^２）が所定範囲に含まれる場合に同一のグループとしてもよい。かかる計算により、ブロック同士の実空間上の正確な距離を導出することができるので、グループ化精度を高めることができる。

次に、車両特定部１６４は、グループ化した立体物２２４が、予め定められた車両に相当する所定の条件を満たしていれば、その立体物２２４を特定物「車両」として決定する。例えば、車両特定部１６４は、グループ化された立体物２２４が道路上に位置する場合、その立体物２２４全体の大きさが、特定物「車両」の大きさに相当するか否かを判定し、特定物「車両」の大きさに相当すると判定されれば、その立体物２２４を特定物「車両」と特定する。ここで、車両特定部１６４は、特定物「車両」と特定された立体物２２４が画面上占有する矩形の領域を車両領域として特定する。

こうして、車外環境認識装置１２０では、第１画像に基づく距離画像２１２から、１または複数の立体物２２４を、特定物、例えば、車両（先行車両）として抽出することができ、その情報を様々な制御に用いることが可能となる。例えば、検出領域２１４内の任意の立体物２２４が車両であると特定されると、特定した車両（先行車両）を追跡し、相対距離や相対加速度を検出して、先行車両との衝突を回避したり、先行車両との車間距離を安全な距離に保つように制御することができる。このような先行車両の特定や先行車両の挙動をさらに迅速に把握するため、以下では、車両領域に存在するブレーキランプを特定するとともに、その点灯有無を判定する。

（ランプ特定処理）
ところで、第２画像は、例えば、特定の発光源（ここでは、ブレーキランプ）を判別可能な第２露光態様で撮像した画像である。ここで、ブレーキランプのように自発光するものは、太陽や街灯の明るさに拘わらず、高いカラー値を取得することができる。特に、ブレーキランプの点灯時の明るさは法規で概ね規定されているので、所定の明るさしか露光できない露光態様（例えば、短時間の露光）で撮像することで、ブレーキランプに相当する画素のみを容易に抽出することが可能である。

図６は、第１露光態様による撮像と第２露光態様による撮像との違いを説明するための説明図である。図６（ａ）は、第１露光態様による第１画像に基づくカラー画像２１０を示し、特に、図６（ａ）の左図ではテールランプが点灯しており、図６（ａ）の右図ではテールランプに加えブレーキランプが点灯している。図６（ａ）を参照して理解できるように、車外環境の明るさに応じた第１露光態様では、ブレーキランプが消灯しており、かつテールランプが点灯している時のテールランプ位置２３０のカラー値と、ブレーキランプが点灯しており、かつ、テールランプが点灯している時のブレーキランプ位置２３２とでカラー値の差がほとんど生じない。これは、露光時間の長い第１露光態様では、テールランプもブレーキランプもＲＧＢ成分全てのカラー値がサチレーションしてしまうことに起因する。

図６（ｂ）は、第２露光態様による第２画像に基づくカラー画像２１０を示し、特に、図６（ｂ）の左図ではテールランプが点灯しており、図６（ｂ）の右図ではテールランプに加えブレーキランプが点灯している。第２露光態様は、ブレーキランプが点灯しているときのカラー値のみを取得可能に設定されている。したがって、図６（ｂ）を参照して理解できるように、テールランプが点灯していてもテールランプ位置２３０では、その明るさに準じるカラー値をほとんど取得できず、ブレーキランプが点灯している時のブレーキランプ位置２３２では、明確に高いカラー値を取得できている。

かかる第２露光態様では、ブレーキランプのカラー値のＲ成分が、撮像素子においてサチレーションするかしないかといった程度の露光時間に設定することが望ましい。撮像装置１１０は、通常、ダイナミックレンジが人間より大幅に狭いので、夕方くらいの明度の低さで第１露光態様により撮像すると、車外環境に対して相対的にブレーキランプのカラー値が高くなる。そうすると、Ｒ成分のみならず、Ｒ成分とオーバーラップしてＧ成分やＢ成分も最大値（例えばカラー値が２５５）にサチレーションし、画素が白くなってしまう。そこで、第２露光態様を、ブレーキランプ点灯時にＲ成分がサチレーションするかしないかといった程度の露光時間とすることで、外部の環境に拘わらず、Ｇ成分やＢ成分のカラー値への影響を抑制しつつ、Ｒ成分のみを最大値で抽出する。こうして、例えば、テールランプとのカラー値差を最大限確保することが可能となる。

具体的に、夜間の走行時に先行車両が存在する場合に、点灯時のブレーキランプがカラー範囲（Ｒ）「２００以上」となるように第２露光状態が設定されていると、点灯時のテールランプが、例えば、カラー範囲（Ｒ）「５０」、カラー範囲（Ｇ）「５０」、カラー範囲（Ｂ）「５０」程度で第２画像に基づくカラー画像２１０に表示される。これに対して、点灯時のブレーキランプは、例えば、カラー範囲（Ｒ）「２００以上」、カラー範囲（Ｇ）「５０以下」、カラー範囲（Ｂ）「５０以下」で第２画像に表示される。こうしてランプ特定部１６６は、第２画像に基づくカラー画像２１０を通じて、ブレーキランプを特定することが可能となる。

図７は、発光源特定テーブルを説明するための説明図である。発光源特定テーブルでは、複数の特定物に対して、カラー値（ここではＲ、Ｇ、Ｂ）の範囲を示すカラー範囲と、道路表面からの高さの範囲を示す高さ範囲と、特定物の水平距離の幅範囲と、特定物の垂直距離の幅範囲と、同一特定物との水平距離の差分と、同一特定物との垂直距離の差分と、同一特定物との面積比とが対応付けられている。ここで、特定物としては、「ブレーキランプ（赤）」、「ハイマウントストップランプ（赤）」、「テールランプ（赤）」、「ウィンカー（橙）」等、車両を特定する際に要する様々な物が想定されている。ただし、特定物は図７に記載された物に限定されないのは言うまでもない。特定物のうち、例えば、特定物「ブレーキランプ（赤）」には、カラー範囲（Ｒ）「２００以上」、カラー範囲（Ｇ）「５０以下」、カラー範囲（Ｂ）「５０以下」、高さ範囲「０．３〜２．０ｍ」、水平距離の幅範囲「０．０５〜０．２ｍ」、垂直距離の幅範囲「０．０５〜０．２ｍ」、水平距離の差分「１．４〜１．９ｍ」、垂直距離の差分「０．３ｍ以下」、面積比「５０〜２００％」が対応付けられている。

ランプ特定部１６６は、第２画像に基づくカラー画像２１０の車両領域に対応する領域から、画素単位で３つの色相（Ｒ、Ｇ、Ｂ）のカラー値を取得する。そして、ランプ特定部１６６は、例えば、発光源特定テーブルを参照して、ブレーキランプのカラー範囲を満たす画素を特定する。なお、検出領域２１４が例えば雨天や曇天であった場合、本来のカラー値を取得できるようにホワイトバランスを調整してから取得してもよい。

ランプ特定部１６６は、特定した画素同士の水平距離の差分、高さの差分および相対距離の差分が所定範囲（例えば０．１ｍ）内にある場合、その複数の画素を１のブレーキランプとしてグループ化することで、グループ化した画素をブレーキランプと仮特定する。こうして、ブレーキランプを構成する画素が複数に跨がっていても、１つのブレーキランプとして特定することができる。

しかし、第２露光態様による第２画像のみでは、夜間などに検出領域２１４全体のカラー値が低く（暗く）なってしまい、ブレーキランプ等の発光源以外は何も把握できなくなってしまう。そこで、仮特定された当該「ブレーキランプ」と、上述した第１露光態様による第１画像によって特定した特定物「車両」とを対応付ける。

ランプ特定部１６６は、車両特定部１６４が特定物「車両」としてグループ化した車両領域と、特定した特定物「ブレーキランプ」の位置とを対応付ける。そして、車両特定部１６４による特定物「車両」の追跡と、ランプ特定部１６６による特定物「ブレーキランプ」の追跡とを支援し、一方の位置情報で他方の位置情報を校正する。こうして、先行する車両の外縁と車両のブレーキランプとの位置関係を維持することができる。

また、ランプ特定部１６６は、発光源特定テーブルを参照して、同一の先行車両に存在すると仮特定されたブレーキランプのうち、１対のブレーキランプの組み合わせを特定し、車両領域とブレーキランプの位置との相対配置が適切な配置か否かを判定する。具体的には、ランプ特定部１６６は、例えば、ブレーキランプが、それ単体で高さ範囲「０．３〜２．０ｍ」、水平距離の幅範囲「０．０５〜０．２ｍ」、垂直距離の幅範囲「０．０５〜０．２ｍ」の条件を満たすか判定する。さらに、ランプ特定部１６６は、１対のブレーキランプの組み合わせが、水平距離の差分「１．４〜１．９ｍ」、垂直距離の差分「０．３ｍ以下」、面積比「５０〜２００％」の条件を満たすか否かを判定する。このように、ブレーキランプと仮特定された発光源が車両の適切な位置に対応している場合にのみブレーキランプとして正式に特定する構成により、リアフォグランプなど、同等の明るさで一灯だけで点灯している発光源をブレーキランプと誤認識するのを防止することができる。

ただし、先行する車両の挙動を正確に判断するには、ブレーキランプを特定するのみならず、その点灯有無を判定しなくてはならない。しかし、ブレーキランプのカバーの形状、発光源の種類や日照条件といった外部環境によっては、太陽光の反射等の影響を受けてその明るさが変化するので、特定したブレーキランプのカラー値と固定的な閾値とを単純に比較するだけでは、その点灯有無の判定を誤ってしまうおそれがある。例えば、ブレーキランプが点灯していないのに、カラー値が固定の閾値より高くなってしまい、点灯していると誤認識したり、ブレーキランプが点灯しているのに、カラー値が固定の閾値より低くなってしまい、点灯していないと誤認識したりするおそれがある。

そこで、本実施形態では、上記のランプ特定部１６６によるブレーキランプの特定は、ブレーキランプらしさを判定する上で補助的（冗長的）に用いることとする。そして、ブレーキランプの点灯有無に基づく輝度変化と、外部環境の変化による輝度変化との違いに着目して、所定のカラー条件を満たした面積と閾値（面積閾値）とを比較することで適切に点灯有無を判定する。

（面積閾値決定処理）
面積変換部１６８は、車両特定部１６４に特定された先行車両の車両領域において、予め定められた１または複数のカラー閾値に基づくカラー条件を満たした画素数を計数し、画素数を面積に変換（正規化）する。以下、カラー閾値とカラー条件を説明する。

図８は、カラー閾値を示す説明図である。本実施形態では、第２露光態様における標準的なシャッター速度を２０ｍｓｅｃとし、例えば、図８に示すような「黄色」、「赤色」の２段階のカラー閾値を設ける。また、本実施形態では、このような複数のカラー閾値を個々に用いず、複数のカラー閾値のいずれかを満たすことを条件とするカラー条件を採用する。ここで、カラー条件として複数のカラー閾値を準備するのは以下の理由による。すなわち、ブレーキランプの明度が高くなると、色相Ｒのカラー値が飽和するため、Ｒ、Ｇ、Ｂのカラー値のバランスが変化し、赤色が、黄色から白みがかった色に変化する。そこで、カラー条件を、所定のカラー閾値とそれより明度が高い他のカラー閾値との和とすることで、所定のカラー閾値より明度が高い領域を適切に求めることができる。

面積変換部１６８は、まず、図８に示した２つの色のいずれかのカラー条件を満たした画素数を計数する。すなわち、車両領域において、色相Ｒのカラー値が２２５より高く、色相Ｇのカラー値が１６９未満、色相Ｂのカラー値が９８未満となる画素と、色相Ｒのカラー値が１５０より高く、色相Ｇのカラー値が１１３未満、色相Ｂのカラー値が６６未満となる画素とのいずれも計数する。本実施形態では、フレーム毎に、上記カラー条件を満たす１の画素数さえ導出すれば足りるので、処理負荷を軽減することが可能となる。

ところで、自車両１と先行車両との相対距離が長いと、カラー条件を満たす発光源が小さくなり、その画素数も少なくなる。これに対し、先行車両との相対距離が短いと、カラー条件を満たす発光源の面積が大きくなり、その画素数が多くなる。したがって、ブレーキランプが点灯を維持していても、先行車両との相対距離の変化に応じてカラー条件を満たす画素数が変動する。例えば、ブレーキランプが点灯しているにも拘わらず、先行車両との位置関係によりカラー条件を満たす画素数が異なると、本来はブレーキランプが点灯しており、カラー条件を満たす画素が存在しても、相対距離が長すぎて、その数が閾値に満たない結果が生じうる。そこで、本実施形態では、先行車両との相対距離に基づいて画素数を実際の面積に変換する。

図９は、自車両１と先行車両との相対距離と画素数の関係を示した説明図である。図９では、横軸に相対距離を示し、縦軸に所定の大きさの立体物が占有する画素数が示されている。図９を参照して理解できるように、同一の立体物（同一の面積）であっても、相対距離が長くなるほど、画素数が小さくなる。かかる推移は、関数で近似でき、相対距離０地点から図９における相対距離ａ地点までは、相対距離に比例し、ａ地点以降は、相対距離の３／２乗に比例する。通常、画像における立体物の大きさは、その相対距離に単純に比例するが、発光源の場合、発光の影響を受けて見た目上の発光範囲が広がる。よって、図９のように、相対距離と画素数の関係が非線形になる。

したがって、面積変換部１６８は、先行車両（発光源）との相対距離も特定し、先行車両との相対距離に基づいて、図９の逆関数により（図９の画素数で除算し）、図８に示したカラー閾値に基づくカラー条件を満たした画素数を面積（以下、検出面積と呼ぶ）に変換する。

履歴記憶部１７０は、面積変換部１６８により変換された検出面積を、フレーム毎に、そのフレームが取得された時刻Ｔと対応付けてデータ保持部１５２に記憶していくことにより、検出面積の履歴を蓄積していく。なお、履歴記憶部１７０は、例えば直近２５６個分（２５６フレーム分）に相当する履歴保持期間Ｔ１の検出面積の履歴を蓄積し、それよりも前の検出面積を削除する。

続いて、波形分離部１７２は、データ保持部１５２に記憶された検出面積の履歴を読み出し、読み出した検出面積の平均値を導出する。そして、波形分離部１７２は、読み出した検出面積それぞれについて平均値（直流成分）を減算して正負に跨がる曲線とした後、減算した検出面積に対してＦＦＴ（Fast Fourier Transform）を施し、履歴保持期間Ｔ１における検出面積の周波数成分を導出する。

その後、波形分離部１７２は、導出した検出面積の周波数成分のうち、所定の周波数閾値以下の低周波数成分のみを抽出する。ここで、ブレーキランプの輝度変化は、運転者がブレーキペダルを踏み込むことで変化するため、太陽光の反射等の外部環境の変化による輝度変化に比べて十分に遅い。したがって、検出面積の時間方向の波形は、ブレーキランプの輝度変化による波形成分が、太陽光の反射等の外部環境の変化に起因する輝度変化による波形成分よりも低い周波数となる。そして、周波数閾値は、ブレーキランプの輝度変化による周波数成分と、外部環境の変化に起因する輝度変化による周波数成分とを分離するための閾値であり、例えば０．３Ｈｚに設定される。

そして、波形分離部１７２は、抽出された低周波数成分に対してＦＦＴの逆変換を施すことにより、履歴保持期間Ｔ１における検出面積の時間方向の低周波数波形を導出する。つまり、波形分離部１７２は、検出面積の履歴の時間方向の波形から、直流成分および周波数閾値より大きな高周波数波形を除いた低周波数波形を導出する。

また、波形分離部１７２は、導出した低周波数波形から、履歴保持期間Ｔ１の時間方向の中心を基準にして前後に、フレームが取得される間隔であるフレーム間隔Ｔ２（ここでは、２０ｍｓ）の１／２分ずつを抽出する。つまり、波形分離部１７２は、時刻（Ｔ−履歴保持期間Ｔ１/２−フレーム間隔Ｔ２／２）から時刻（Ｔ−履歴保持期間Ｔ１/２＋フレーム間隔Ｔ２／２）における低周波数波形を抽出することになる。

また、波形分離部１７２は、上記のＦＦＴを施した検出面積の周波数成分のうち、周波数閾値より高い高周波数成分のみを抽出し、抽出した高周波数成分に対してＦＦＴの逆変換を施すことにより、履歴保持期間Ｔ１における検出面積の時間方向の高周波数波形を導出する。その後、波形分離部１７２は、導出した高周波数波形の平均値を、時刻（Ｔ−履歴保持期間Ｔ１/２＋フレーム間隔Ｔ２／２）における高周波数波形値として導出する。

このように、波形分離部１７２は、検出面積の履歴に相当する波形から、ブレーキランプの点灯有無に起因する低周波数波形、および、外部環境の変化に起因する高周波数波形値を導出する。ここで、ブレーキランプの点灯有無の変化を判定するためには、低周波数波形のみを導出するようにしてもよい。一方、外部環境の変化が起きている場合、つまり、高周波数波形値が高い場合には、低周波数波形にも影響を及ぼすため、ブレーキランプの点灯有無が変化していない場合であっても、低周波数波形が変化してしまうことがある。

そこで、点灯有無変化判定部１７４は、導出した高周波数波形値にＳ／Ｎ（Signal/Noise）分離比（例えば１００）を乗算した値と、低周波数波形の値とを、対応する時刻Ｔ毎に比較する。そして、点灯有無変化判定部１７４は、ブレーキランプの点灯有無が変化すると低周波数波形の値が大きくなるので、高周波数波形値にＳ／Ｎ分離比を乗算した値よりも低周波数波形の値が大きい区間を、ブレーキランプの点灯有無が変化した点灯有無変化区間と判定する。なお、この点灯有無区間では、ブレーキランプの点灯有無が変化した、つまり、点灯から消灯に変化した、または、消灯から点灯に変化したことが判定されただけであり、どちらの状態に変化したかまでは判定することができない。

このように、高周波数波形値にＳ／Ｎ分離比を乗算した値と低周波数波形とを比較することで、外部環境の変化による影響を取り除いて、ブレーキランプの点灯有無が変化したことを、感度よく（精度よく）判定することができる。

続いて、ヒストグラム生成部１７６は、点灯有無変化区間の検出面積に基づいてヒストグラムを生成する。ここでのヒストグラムは、相異なる複数段階の面積区分を階級とし、その面積区分毎の度数を示す。ヒストグラム生成部１７６は、点灯有無変化区間におけるフレーム毎に、面積変換部１６８によって変換された検出面積が含まれる面積区分に所定の投票値（例えば１）を投票する。ただし、ヒストグラム生成部１７６は、投票した面積区分の投票値を時間方向に積分した結果によってヒストグラムを生成する。

ここで、本実施形態においては、相異なる複数段階の面積区分を階級とし、その面積区分毎の度数を示す複数のヒストグラムが準備されている。複数のヒストグラムとしては、点灯時ヒストグラム、および、消灯時ヒストグラムがある。具体的に、面積閾値導出部１７８は、所定の投票条件を満たした場合、投票条件を満たしたヒストグラムに対して、投票値を時間方向に積分して投票する。

具体的には、面積閾値導出部１７８は、上記の点灯有無変化判定部１７４によりブレーキランプの点灯有無が変化したと判定された点灯有無変化区間のフレーム毎の検出面積を、面積の大きさに基づいて例えば最小二乗法により２つのクラスに分類する。そして、分類されたクラスのうち、検出面積が相対的に大きいクラスに分類された検出面積を、点灯時ヒストグラムに投票し、検出面積が相対的に小さいクラスに分類された検出面積を、消灯時ヒストグラムに投票する。

図１０は、ヒストグラム生成部１７６による時間方向の積分を説明するための説明図である。ヒストグラム生成部１７６は、投票した面積区分の投票値Ｘ_ｎを以下の数式１に従って時間方向に積分し、度数Ｙ_ｎを求める。ここでｎは現在のフレームを示し、ｎ−１は前回フレームを示す。
Ｙ_ｎ＝０．９９×Ｙ_ｎ−１＋０．０１×Ｘ_ｎ …（数式１）
かかる数式１は一次遅れ関数であり、今回のフレームにおける投票値Ｘ_ｎは、度数Ｙ_ｎに対して０．０１程度しか影響しない。また、数式１における一次遅れの時定数はブレーキランプの点灯と消灯との切り替わりに要する時間より十分長い。したがって、点灯と消灯とが切り替わる途中の面積がヒストグラムへ出現するのは抑制される。

したがって、図１０（ａ）に示すように、仮に、面積変換部１６８によって変換された検出面積が所定の期間、同一の面積区分Ｓ_０内に含まれており、その間、面積区分Ｓ_０への投票値Ｘ_ｎが１である状態が連続していた場合、面積区分Ｓ_０の度数Ｙ_ｎは、図１０（ｂ）に示すように、一次遅れを伴い１に推移し、投票値が０となると、一次遅れを伴い０に推移する。また、面積が面積区分Ｓ_０を超えて変動すると、面積区分Ｓ_０の度数Ｙ_ｎは、０〜１の間で変動することとなる。

図１１は、ヒストグラムを説明するための説明図である。ブレーキランプが点灯している場合、上記カラー条件を満たす面積は大きくなり、ブレーキランプが消灯している場合、カラー条件を満たす面積は小さくなる。したがって、点灯時ヒストグラムを生成すると、図１１（ａ）に示すように、ブレーキランプの点灯時に相対的に大きい面積区分Ｓ_１において度数が１に近づく。一方、消灯時ヒストグラムを生成すると、ブレーキランプの消灯時に相対的に小さい面積区分Ｓ_２において度数が１に近づく。

ただし、通常、自車両１も先行車両も移動しているので、相対的な位置関係が変動し、カラー条件を満たす面積も変動する。したがって、このような位置関係が変動する状況下でヒストグラムを生成すると、図１１（ｂ）に示すように、点灯時ヒストグラムでは、相対的に大きい面積区分Ｓ_１近傍に所定の偏差を伴って所定の度数が出現し、消灯時ヒストグラムでは、相対的に小さい面積区分Ｓ_２近傍に所定の偏差を伴って所定の度数が出現する。

図１２は、面積閾値導出部１７８による面積閾値導出処理を説明するための説明図である。ここでは、説明の便宜のため、複数の度数群を、その外形を模擬した線分で示している。面積閾値導出部１７８は、検出面積が相対的に大きいクラスに分類された検出面積を図１２（ａ）のように点灯時ヒストグラムに集計し、検出面積が相対的に小さいクラスに分類された検出面積を図１２（ｂ）のように消灯時ヒストグラムに集計する。そして、面積閾値導出部１７８は、集計された図１２（ａ）の点灯時ヒストグラムにおける、度数群を構成する面積区分の最小値Ｌ_ｄと、集計された図１２（ｂ）の消灯時ヒストグラムにおける、度数群を構成する面積区分の最大値Ｌ_ｕとを導出し、図１２に示すように、その平均値（（Ｌ_ｄ＋Ｌ_ｕ）／２）を面積閾値Ｌとして決定する。

ここでは、最小値Ｌ_ｄと最大値Ｌ_ｕとの平均値を用いて面積閾値Ｌとしているが、かかる場合に限らず、点灯時ヒストグラムにおける度数群の平均値や最頻値と、消灯時ヒストグラムにおける度数群の平均値や最頻値との平均値を面積閾値Ｌとしてもよい。

（点灯有無判定処理）
点灯有無判定部１８０は、面積変換部１６８により変換された検出面積と面積閾値Ｌとを比較することで、検出面積が面積閾値Ｌ未満であればブレーキランプが消灯していると判定し、検出面積が面積閾値Ｌ以上であればブレーキランプが点灯していると判定する。

こうして、点灯時と消灯時とを区別可能な適切な面積閾値を導出することが可能となり、車外環境認識装置１２０は、先行車両との位置関係の変動に拘わらず、カラー条件を満たす面積の変化に基づいて、先行車両におけるブレーキランプの点灯有無を精度よく判定することが可能となる。

（車外環境認識処理の流れ）
次に、中央制御部１５４が実行する、上記した画像処理、車両特定処理、ランプ特定処理、面積閾値決定処理、点灯有無判定処理を含む車外環境認識処理の流れについて説明する。

図１３は、車外環境認識処理の流れを示すフローチャートである。図１４は、面積閾値導出処理の流れを示すフローチャートである。図１３に示すように、まず、画像処理部１６０は、撮像装置１１０から、第１露光態様で撮像された第１画像と、第２露光態様で撮像された第２画像とを取得する（Ｓ３００）。そして、画像処理部１６０は、取得した画像から視差を導出し、位置情報導出部１６２は、導出された視差に基づいて立体部位毎の３次元の位置情報を導出する（Ｓ３０２）。続いて、車両特定部１６４は、３次元の位置情報に基づいてグループ化された立体物から車両、車両領域を特定するとともに、先行車両との相対位置（相対距離）を特定する（Ｓ３０４）。

ランプ特定部１６６は、第２画像を構成する画素のカラー値がブレーキランプのカラー範囲を満たす画素のグループをブレーキランプとして仮特定し（Ｓ３０６）、車両領域と、仮特定したブレーキランプの位置とを対応付ける（Ｓ３０８）。また、ランプ特定部１６６は、同一の先行車両に存在すると仮特定された１対のブレーキランプの組み合わせを特定し、車両領域とブレーキランプの位置との相対配置が適切な配置か否かを判定する（Ｓ３１０）。

その後、面積変換部１６８は、所定のカラー条件を満たす画素数を計数し、先行車両との相対距離に基づいて画素数を検出面積に変換し（Ｓ３１２）、履歴記憶部１７０は、変換された検出面積を時刻Ｔに対応付けてデータ保持部に記憶させる（Ｓ３１４）。続いて、以下で説明する、面積閾値を導出する面積閾値導出処理が実行された後（Ｓ４００）、点灯有無判定部１８０は、面積閾値導出処理で導出された面積閾値と、検出面積とを比較することにより、ブレーキランプの点灯有無を判定し（Ｓ３１６）、当該車外環境認識処理を終了する。

また、面積閾値導出処理（Ｓ４００）を具体的に説明すると、図１４に示すように、波形分離部１７２は、データ保持部１５２に記憶された検出面積の履歴を読み出し、読み出した検出面積に基づいて、時刻（（Ｔ−履歴保持期間Ｔ１/２−フレーム間隔Ｔ２／２）から時刻（Ｔ−履歴保持期間Ｔ１/２＋フレーム間隔Ｔ２／２））における低周波数波形を導出する（Ｓ４０２）。

また、波形分離部１７２は、データ保持部１５２に記憶された検出面積の履歴を読み出し、読み出した検出面積に基づいて、時刻（（Ｔ−履歴保持期間Ｔ１/２−フレーム間隔Ｔ２／２）から時刻（Ｔ−履歴保持期間Ｔ１/２＋フレーム間隔Ｔ２／２））における高周波数波形値を導出する（Ｓ４０４）。

続いて、点灯有無変化判定部１７４は、高周波数波形値にＳ／Ｎ分離比を乗算した値と、低周波数波形の値とを、対応する時刻Ｔ毎に比較する（Ｓ４０６）。そして、高周波数波形値にＳ／Ｎ分離比を乗算した値よりも低周波数波形の値が大きければ（Ｓ４０６におけるＹＥＳ）、点灯有無変化判定部１７４は、ブレーキランプの点灯有無が変化した点灯有無変化区間と判定する（Ｓ４０８）。一方、高周波数波形値にＳ／Ｎ分離比を乗算した値よりも低周波数波形の値が小さければ（Ｓ４０６におけるＮＯ）、点灯有無変化判定部１７４は、ブレーキランプの点灯有無が変化した点灯有無変化区間と判定することなく次の処理に移る。

ヒストグラム生成部１７６は、点灯有無変化区間の検出面積をクラス分類し（Ｓ４１０）、点灯有無変化区間の検出面積それぞれについて、検出面積が相対的に大きいクラスに分類されたかを判定する（Ｓ４１２）。そして、ヒストグラム生成部１７６は、検出面積が相対的に大きいクラスに分類されていれば（Ｓ４１２におけるＹＥＳ）、その検出面積を点灯時ヒストグラムに投票し（Ｓ４１４）、検出面積が相対的に大きいクラスに分類されていなければ（Ｓ４１２におけるＮＯ）、その検出面積を消灯時ヒストグラムに投票する（Ｓ４１６）。

その後、面積閾値導出部１７８は、点灯時ヒストグラムにおいて度数群を構成する面積区分の最小値Ｌ_ｄと、消灯時ヒストグラムにおいて度数群を構成する面積区分の最大値Ｌ_ｕとを導出し、その平均値（（Ｌ_ｄ＋Ｌ_ｕ）／２）を面積閾値Ｌとして決定し（Ｓ４１８）、当該面積閾値導出処理を終了する。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

また、上記の実施形態においては、ブレーキランプの点灯有無を判定するようにしたが、これに限らず、他のランプの点灯有無を判定するようにしてもよい。

また、上記の実施形態においては、履歴保持期間Ｔ１は固定の期間であったが、これに限らず、変動する期間にしてもよい。例えば、ブレーキランプの点灯有無の変化があったことをより精度よく検出する場合には履歴保持期間Ｔ１を長くし、応答性をよくする場合には履歴保持期間Ｔ１を短くするようにしてもよい。

また、上記の実施形態においては、Ｓ／Ｎ分離比は固定の期間であったが、これに限らず、変動値にしてもよい。例えば、ブレーキランプの点灯有無の変化があったことをより精度よく検出する場合にはＳ／Ｎ分離比を大きくし、応答性をよくする場合にはＳ／Ｎ分離比を小さくするようにしてもよい。このように、履歴保持期間Ｔ１およびＳ／Ｎ分離比を変動させることにより、ブレーキランプの点灯有無の変化の検出精度と、応答性とを変化させることができる。

また、面積変換部１６８は、車両領域における所定のカラー条件を満たした画素数を検出面積に変換するようにしたが、車両領域における所定のカラー条件を満たした画素面積を検出面積に変換するようにしてもよい。

また、上記の実施形態においては、中央制御部１５４が、中央処理装置（ＣＰＵ）、ＲＯＭ、ＲＡＭ等を含む半導体集積回路で構成されるようにした。しかしながら、これに限らず、ＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）等の集積回路で構成されるようにしてもよい。また、１または複数の中央処理装置、ＦＰＧＡ、ＡＳＩＣにより構成されるようにしてもよい。

また、コンピュータを、車外環境認識装置１２０として機能させるプログラムや当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＤＲＡＭ、ＳＲＡＭ、ＲＯＭ、ＮＶＲＡＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。

また、本明細書の車外環境認識処理の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。

また、コンピュータを車外環境認識装置１２０として機能させるプログラムや当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。

本発明は、先行車両のブレーキの操作状態を特定する車外環境認識装置に利用することができる。

１２０ 車外環境認識装置
１５２ データ保持部（記憶部）
１６０ 画像処理部（画像取得部）
１６４ 車両特定部
１６６ ランプ特定部
１６８ 面積変換部
１７０ 履歴記憶部
１７２ 波形分離部
１７４ 点灯有無変化判定部
１７６ ヒストグラム生成部
１７８ 面積閾値導出部
１８０ 点灯有無判定部

Claims (3)

1. コンピュータが、
   カラー画像を時系列的に取得する画像取得部と、
   前記カラー画像において、先行車両が占有する車両領域、該先行車両との相対距離を特定する車両特定部と、
   特定された前記車両領域において、予め定められたカラー閾値に基づくカラー条件を満たした画素数または画素面積を計数し、該画素数または画素面積を前記先行車両との相対距離に基づいて検出面積に変換する面積変換部と、
   前記検出面積を記憶部に記憶させる履歴記憶部と、
   前記記憶部に記憶された前記検出面積の履歴に相当する波形から、周波数が所定の周波数閾値以下である該検出面積の時間方向の低周波数波形を導出する波形分離部と、
   前記低周波数波形に基づいて前記車両領域におけるランプの点灯有無を判定する点灯有無判定部として機能することを特徴とする車外環境認識装置。
2. 前記波形分離部は、
   前記記憶部に記憶された前記検出面積の履歴に相当する波形から、周波数が前記周波数閾値より大きい該検出面積の時間方向の高周波数波形を導出し、
   前記コンピュータは、
   前記低周波数波形の値が、前記高周波数波形の値に所定の分離比を乗算した値以上である区間を、前記ランプの点灯有無が変化した点灯有無変化区間と判定する点灯有無変化判定部としても機能し、
   前記点灯有無判定部は、
   前記点灯有無変化区間における前記検出面積に基づいて、前記ランプの点灯有無を判定することを特徴とする請求項１に記載の車外環境認識装置。
3. 前記コンピュータは、
   前記点灯有無変化区間における前記検出面積を、該検出面積の大きさに基づいて２つのクラスのいずれかに分類し、分類したクラスごとに、該検出面積が含まれる面積区分への投票値を時間方向に積分してヒストグラムを生成するヒストグラム生成部と、
   分類したクラスごとの前記ヒストグラムの度数の対応関係に基づいて面積閾値を導出する面積閾値導出部としても機能し、
   前記点灯有無判定部は、
   前記検出面積を前記面積閾値と比較することにより、前記ランプの点灯有無を判定することを特徴とする請求項２に記載の車外環境認識装置。

Images