JP6329417B2 - 車外環境認識装置 - Google Patents

Description

本発明は、先行車両のブレーキの操作状態を特定する車外環境認識装置に関する。

従来、自車両の前方に位置する車両等の特定物を検出し、先行車両との衝突を回避したり（衝突回避制御）、先行車両との車間距離を安全な距離に保つように制御する（クルーズコントロール）技術が知られている（例えば、特許文献１）。ここで、運転者（人）が遂行しているように、先行車両のブレーキランプの点灯有無（ブレーキの操作状態）等を認識し、先行車両の減速動作を推測するといった処理を組み込むことができれば、より円滑なクルーズコントロールが可能となる。

このような先行車両のブレーキランプの点灯有無を検出する技術として、テールランプ検出領域の輝度変化または面積変化に基づいてブレーキランプの点灯を検出し、先行車両の減速状態を判断する技術（例えば、特許文献２）や、赤色領域における輝度（明度）のヒストグラム分布を生成し、その標準偏差を通じてブレーキランプの点灯を判断する技術（例えば、特許文献３）も開示されている。

特許第３３４９０６０号公報 特許第３８７２１７９号公報 特開平９−２６７６８６号公報

上述した特許文献２の技術では、テールランプの点灯が夜間にしか確認できないので、テールランプとブレーキランプとの面積差を取得できない場合があるといった問題があった。また、特許文献３の技術では、フレーム単位毎にブレーキランプ領域のヒストグラムを生成するため、先行車両との車間距離が離隔するほど、標準偏差を導出できるほどのサンプルを取得しにくく、仮に標準偏差を取得できたとしても、先行車両との位置関係の変動に伴い安定した標準偏差を得ることができない。さらに、ブレーキランプのカバーの形状、発光源の種類や日照条件によっては標準偏差も大きくオフセットするので、固定的な閾値との比較ではブレーキランプの点灯有無を誤認識するおそれがあった。

本発明は、このような課題に鑑み、先行車両との位置関係の変動に拘わらず、先行車両における発光源のカラー値の変化を適切に判定することが可能な車外環境認識装置を提供することを目的としている。

上記課題を解決するために、本発明の車外環境認識装置は、カラー画像を取得する画像取得部と、カラー画像において、先行車両、先行車両が占有する車両領域、先行車両との相対距離を特定する車両特定部と、特定された車両領域において、予め定められた１または複数のカラー閾値に基づくカラー条件を満たした画素数を計数し、画素数を先行車両との相対距離に基づいて面積に変換する面積変換部と、変換された面積が含まれる面積区分への投票値を時間方向に積分して基準ヒストグラムを生成するヒストグラム生成部と、基準ヒストグラムにおける相対的に度数が高い面積区分が面積閾値以上であるか否かに基づいて、先行車両における発光源のカラー値が高い状態かカラー値が低い状態かを判定するカラー変化判定部と、を備えることを特徴とする。

先行車両のハイマウントストップランプが検出された場合に、基準ヒストグラムと等しい面積区分への投票値を時間方向に積分してハイマウントストップランプヒストグラムを生成し、基準ヒストグラムおよびハイマウントストップランプヒストグラムとの度数の対応関係に基づいて面積閾値を導出する面積閾値導出部をさらに備えてもよい。

車両特定部は、先行車両の加減速も特定し、先行車両の加減速に基づき、基準ヒストグラムと等しい面積区分への投票値を時間方向に積分して１または複数の加減速ヒストグラムを生成し、基準ヒストグラムおよび１または複数の加減速ヒストグラムとの度数の対応関係に基づいて面積閾値を導出する面積閾値導出部をさらに備えてもよい。

面積閾値導出部は、先行車両の加減速に加え、道路勾配に基づいて加減速ヒストグラムを生成してもよい。

本発明によれば、先行車両との位置関係の変動に拘わらず、先行車両における発光源のカラー値の変化を適切に判定することが可能となる。

環境認識システムの接続関係を示したブロック図である。 カラー画像と距離画像を説明するための説明図である。 車外環境認識装置の概略的な機能を示した機能ブロック図である。 特定物テーブルを説明するための説明図である。 車外環境認識処理を示すフローチャートである。 車両特定部の処理を説明するための説明図である。 車両特定部の処理を説明するための説明図である。 第１露光態様による撮像と第２露光態様による撮像との違いを説明するための説明図である。 カラー閾値を示す説明図である。 自車両と先行車両との相対距離と画素数の関係を示した説明図である。 ヒストグラム生成部による時間方向の積分を説明するための説明図である。 ヒストグラムを説明するための説明図である。 ヒストグラムを説明するための説明図である。 第２の実施形態における車外環境認識処理を示すフローチャートである。 面積閾値導出ステップの具体的な処理の流れを示したフローチャートである。 ヒストグラムを説明するための説明図である。 減速得点および加速得点による判定条件を示した説明図である。 面積閾値導出部による集計処理を説明するための説明図である。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

近年では、車両に搭載した車載カメラによって自車両の前方の道路環境を撮像し、撮像した画像内における色情報や位置情報に基づいて先行車両等の対象物を特定し、特定された対象物との衝突を回避したり、先行車両との車間距離を安全な距離に保つ（ＡＣＣ：Adaptive Cruise Control）、所謂衝突防止機能を搭載した車両が普及しつつある。

かかるＡＣＣや衝突防止機能では、例えば、自車両前方に位置する対象物の、自車両との相対距離を導出し、かかる相対距離に基づいて、自車両の前方に位置する対象物との衝突を回避したり、対象物が車両（先行車両）であった場合、その先行車両との相対距離を安全な距離に保つように制御する。また、先行車両のブレーキランプの点灯有無等を認識し、先行車両の減速動作を推測する処理を組み込むことで、より円滑なクルーズコントロールを実現することが可能となる。以下、このような目的を達成するための環境認識システムを説明し、その具体的な構成要素である車外環境認識装置を詳述する。

（環境認識システム１００）
図１は、環境認識システム１００の接続関係を示したブロック図である。環境認識システム１００は、自車両１内に設けられた、撮像装置１１０と、車外環境認識装置１２０と、車両制御装置（ＥＣＵ：Engine Control Unit）１３０とを含んで構成される。

撮像装置１１０は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子を含んで構成され、自車両１の前方に相当する環境を撮像し、カラー値で表されるカラー画像を生成することができる。ここで、カラー値は、１つの輝度（Ｙ）と２つの色差（ＵＶ）からなる、または、３つの色相（Ｒ（赤）、Ｇ（緑）、Ｂ（青））からなる数値群である。

また、撮像装置１１０は、自車両１の進行方向側において２つの撮像装置１１０それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像装置１１０は、自車両１の前方の検出領域に存在する対象物を撮像した画像データを、例えば１／２０秒のフレーム毎（２０ｆｐｓ）に連続して生成する。ここで、認識する対象物は、車両、歩行者、信号機、道路（進行路）、ガードレール、建物といった独立して存在する立体物のみならず、ブレーキランプ、ハイマウントストップランプ、テールランプ、ウィンカー、信号機の各点灯部分等、立体物の一部として特定できる物も含む。以下の実施形態における各機能部は、このような画像データの更新を契機としてフレーム毎に各処理を遂行する。

さらに、本実施形態において、撮像装置１１０は、車外環境の明るさ（照度計の計測結果等）に応じた露光時間や絞りを示す第１露光態様で検出領域を撮像し、第１画像を生成する。また、撮像装置１１０は、ブレーキランプ等、特定の発光源が自発光しているか否かを判別可能な画像を生成する。その方法としては、ダイナミックレンジが広い撮像素子を用い、発光していない対象物が黒く潰れず、発光源が白とびしないように撮像してもよいし、第１露光態様とは露光態様（露光時間、絞り）が異なる第２露光態様で検出領域を撮像し、第２画像を生成してもよい。例えば、昼間であれば、明るい車外環境に応じた第１露光態様の露光時間より第２露光態様の露光時間を短くして、または、絞りを強くして第２画像を生成する。本実施形態において、第１画像および第２画像はそれぞれカラー画像および距離画像として用いられる。また、上記第１露光態様と第２露光態様とは、以下のようにして実現される。

例えば、撮像装置１１０の周期的な撮像タイミングを時分割し、第１露光態様による撮像と第２露光態様による撮像とを交互に行うことで、第１画像と第２画像とを順次生成することができる。また、画素毎に２つのキャパシタが設けられ、その２つのキャパシタに並行して電荷をチャージできる撮像素子において、一度の露光でチャージする時間を異ならせて露光態様の異なる２つの画像を並行して生成することもできる。さらに、１つのキャパシタの電荷のチャージ中に、時間を異ならせて２回読み出し、露光態様の異なる２つの画像を並行して生成したりすることでも上記の目的を達成できる。また、撮像装置１１０を、露光態様を異ならせて予め２セット準備しておき（ここでは、２つの撮像装置１１０×２セット）、２セットの撮像装置１１０からそれぞれ画像を生成したりすることも可能である。露光態様を支配する露光時間は、例えば１〜６０ｍｓｅｃの範囲で適切に制御される。

車外環境認識装置１２０は、２つの撮像装置１１０それぞれから画像データを取得し、一方の画像データから任意に抽出したブロック（例えば水平４画素×垂直４画素の配列）に対応するブロックを他方の画像データから検索する、所謂パターンマッチングを用いて視差、および、任意のブロックの画面内の位置を示す画面位置を含む視差情報を導出する。ここで、水平は、撮像した画像の画面横方向を示し、垂直は、撮像した画像の画面縦方向を示す。このパターンマッチングとしては、一対の画像間において、任意のブロック単位で輝度（Ｙ）を比較することが考えられる。例えば、輝度値の差分をとるＳＡＤ（Sum of Absolute Difference）、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）や、各画素の輝度から平均値を引いた分散値の類似度をとるＮＣＣ（Normalized Cross Correlation）等の手法がある。車外環境認識装置１２０は、このようなブロック単位の視差導出処理を検出領域（例えば６００画素×２００画素）に映し出されている全てのブロックについて行う。ここでは、ブロックを４画素×４画素としているが、ブロック内の画素数は任意に設定することができる。

ただし、車外環境認識装置１２０では、検出分解能単位であるブロック毎に視差を導出することはできるが、そのブロックがどのような対象物の一部であるかを認識できない。したがって、視差情報は、対象物単位ではなく、検出領域における検出分解能単位（例えばブロック単位）で独立して導出されることとなる。ここでは、このようにして導出された視差情報を画像データに対応付けた画像を、上述したカラー画像と区別して距離画像という。

図２は、カラー画像１２６と距離画像１２８を説明するための説明図である。例えば、２つの撮像装置１１０を通じ、検出領域１２４について図２（ａ）のようなカラー画像（画像データ）１２６が生成されたとする。ただし、ここでは、理解を容易にするため、２つのカラー画像１２６の一方のみを模式的に示している。車外環境認識装置１２０は、このようなカラー画像１２６からブロック毎の視差を求め、図２（ｂ）のような距離画像１２８を形成する。距離画像１２８における各ブロックには、そのブロックの視差が関連付けられている。ここでは、説明の便宜上、視差が導出されたブロックを黒のドットで表している。本実施形態では、このようなカラー画像１２６と距離画像１２８とを第１画像および第２画像それぞれに基づいて生成している。したがって、本実施形態では、第１画像に基づくカラー画像１２６、第１画像に基づく距離画像１２８、第２画像に基づくカラー画像１２６、第２画像に基づく距離画像１２８が用いられる。

また、車外環境認識装置１２０は、カラー画像１２６に基づくカラー値、および、距離画像１２８に基づく自車両１との相対距離を含む実空間における３次元の位置情報を用い、カラー値が等しく３次元の位置情報が近いブロック同士を対象物としてグループ化して、自車両１前方の検出領域における対象物がいずれの特定物（例えば、先行車両）に対応するかを特定する。例えば、相対距離等によって先行車両を特定し、さらに、カラー値によってその先行車両のブレーキランプの位置や点灯有無を把握することができる。このような処理により、ブレーキランプの点灯による当該車両の減速を迅速に把握し、衝突回避制御やＡＣＣに利用することが可能となる。

なお、上記相対距離は、距離画像１２８におけるブロック毎の視差情報を、所謂ステレオ法を用いて三次元の位置情報に変換することで求められる。ここで、ステレオ法は、三角測量法を用いることで、対象物の視差からその対象物の撮像装置１１０に対する相対距離を導出する方法である。

車外環境認識装置１２０は、対象物を任意の特定物、例えば、先行車両を特定すると、その先行車両を追跡しつつ、先行車両との相対距離および先行車両の相対速度等を導出し、先行車両と自車両１とが衝突する可能性が高いか否かの判定を行う。このとき、先行車両のブレーキランプを特定していれば、そのブレーキランプの点灯により先行車両の減速を早期に認識できる。ここで、先行車両と衝突の可能性が高いと判定した場合、車外環境認識装置１２０は、その旨、運転者の前方に設置されたディスプレイ１２２を通じて運転者に警告表示（報知）を行うとともに、車両制御装置１３０に対して、その旨を示す情報を出力する。

車両制御装置１３０は、ステアリングホイール１３２、アクセルペダル１３４、ブレーキペダル１３６を通じて運転者の操作入力を受け付け、操舵機構１４２、駆動機構１４４、制動機構１４６に伝達することで自車両１を制御する。また、車両制御装置１３０は、車外環境認識装置１２０の指示に従い、駆動機構１４４、制動機構１４６を制御する。例えば、車外環境認識装置１２０から先行車両と衝突の可能性が高い旨の情報が入力されると、車両制御装置１３０は、制動機構１４６を通じて運転者のブレーキ操作を支援する。

以下、車外環境認識装置１２０の構成について詳述する。ここでは、本実施形態に特徴的な、先行車両やブレーキランプの特定処理について詳細に説明し、本実施形態の特徴と無関係の構成については説明を省略する。

（車外環境認識装置１２０）
図３は、車外環境認識装置１２０の概略的な機能を示した機能ブロック図である。図３に示すように、車外環境認識装置１２０は、Ｉ／Ｆ部１５０と、データ保持部１５２と、中央制御部１５４とを含んで構成される。

Ｉ／Ｆ部１５０は、撮像装置１１０や車両制御装置１３０との双方向の情報交換を行うためのインターフェースである。データ保持部１５２は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等で構成され、特定物テーブルや、以下に示す各機能部の処理に必要な様々な情報を保持し、また、撮像装置１１０から受信した画像データ（第１画像および第２画像に基づくカラー画像１２６、距離画像１２８）を一時的に保持する。ここで、特定物テーブルは、以下のように定義される。

図４は、特定物テーブル２００を説明するための説明図である。特定物テーブル２００では、複数の特定物に対して、カラー値（ここではＲ、Ｇ、Ｂ）の範囲を示すカラー範囲２０２と、道路表面からの高さの範囲を示す高さ範囲２０４と、特定物の水平距離の幅範囲２０６と、特定物の垂直距離の幅範囲２０８と、同一特定物との水平距離の差分２１０と、同一特定物との垂直距離の差分２１２と、同一特定物との面積比２１４とが対応付けられている。ここで、特定物としては、「ブレーキランプ（赤）」、「ハイマウントストップランプ（赤）」、「テールランプ（赤）」、「ウィンカー（橙）」等、車両を特定する際に要する様々な物が想定されている。ただし、特定物は図４に記載された物に限定されないのは言うまでもない。特定物のうち、例えば、特定物「ブレーキランプ（赤）」には、カラー範囲（Ｒ）「２００以上」、カラー範囲（Ｇ）「５０以下」、カラー範囲（Ｂ）「５０以下」、高さ範囲「０．３〜２．０ｍ」、水平距離の幅範囲「０．０５〜０．２ｍ」、垂直距離の幅範囲「０．０５〜０．２ｍ」、水平距離の差分「１．４〜１．９ｍ」、垂直距離の差分「０．３ｍ以下」、面積比「５０〜２００％」が対応付けられている。

中央制御部１５４は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成され、システムバス１５６を通じて、Ｉ／Ｆ部１５０、データ保持部１５２等を制御する。また、本実施形態において、中央制御部１５４は、画像取得部１６０、位置情報導出部１６２、対象物特定部１６４、位置対応付け部１６６、配置判定部１６８、面積変換部１７０、ヒストグラム生成部１７２、カラー変化判定部１７４、面積閾値導出部１７６としても機能する。以下、各機能部の動作を説明するとともに、本実施形態に特徴的な車外環境認識処理について詳述する。

（第１の実施形態：車外環境認識処理）
図５は、車外環境認識処理を示すフローチャートである。車外環境認識装置１２０の画像取得部１６０は、撮像装置１１０から、車外環境の明るさに応じた第１露光態様で検出領域１２４を撮像した第１画像と、第１露光態様と露光態様が異なる第２露光態様で検出領域１２４を撮像した第２画像とを取得する（Ｓ３００）。

続いて、位置情報導出部１６２は、第１画像に基づく距離画像１２８における検出領域１２４内のブロック毎の視差情報を、上述したステレオ法を用いて、水平距離ｘ、（道路表面からの）高さｙおよび相対距離ｚを含む三次元の位置情報に変換する（Ｓ３０２）。ここで、視差情報が、距離画像１２８における各ブロックの視差を示すのに対し、三次元の位置情報は、実空間における各ブロックの相対距離の情報を示す。また、視差情報が画素単位ではなくブロック単位、即ち複数の画素単位で導出されている場合、その視差情報はブロックに属する全ての画素の視差情報とみなして、画素単位の計算を実行することができる。かかる三次元の位置情報への変換については、特開２０１３−１０９３９１号公報等、既存の技術を参照できるので、ここでは、その詳細な説明を省略する。

次に、対象物特定部１６４は、第１画像および第２画像に基づいて、画像内の対象物がいずれの特定物に対応するか特定する。本実施形態において、対象物特定部１６４は、特に、先行する車両（先行車両）と、ブレーキランプ（発光源）と、ハイマウントストップランプ（発光源）を特定する。したがって、以下では、対象物特定部１６４のうち、先行車両を特定する機能部を車両特定部１６４ａとし、ブレーキランプやハイマウントストップランプを特定する機能部をブレーキランプ特定部１６４ｂとして説明する。また、対象物特定部１６４（車両特定部１６４ａ、ブレーキランプ特定部１６４ｂ）は、特定物が特定された対象物を追跡（追尾）し、その対象物の自車両１に対する相対距離、相対速度、相対加速度、および、自車両１の走行状態を加味した先行車両の絶対速度、絶対加速度も検出する。

図６および図７は、車両特定部１６４ａの処理を説明するための説明図である。車両特定部１６４ａは、まず、第１画像に基づく距離画像１２８の検出領域１２４を、水平方向に対して複数の分割領域２１６に分割する（Ｓ３０４）。すると、分割領域２１６は図６（ａ）のような短冊形状になる。このような短冊形状の分割領域２１６は、本来、例えば、水平幅４画素のものが１５０列配列してなるが、ここでは、説明の便宜上、検出領域１２４を１６等分したもので説明する。

続いて、車両特定部１６４ａは、分割領域２１６毎に、位置情報に基づき、道路表面より上方に位置する全てのブロックを対象に、複数に区分した所定距離それぞれに含まれる相対距離を積算してヒストグラム（図６（ｂ）中、横長の四角（バー）で示す）を生成する（Ｓ３０６）。すると、図６（ｂ）のような距離分布２１８が得られる。ここで、縦方向は、区分した所定距離（距離区分）を、横方向は、距離区分それぞれに相対距離が含まれるブロックの個数（度数）を示している。ただし、図６（ｂ）は計算を行う上での仮想的な画面であり、実際には視覚的な画面の生成を伴わない。そして、車両特定部１６４ａは、このようにして導出された距離分布２１８を参照し、ピークに相当する相対距離である代表距離（図６（ｂ）中、黒で塗りつぶした四角で示す）２２０を特定する（Ｓ３０８）。ここで、ピークに相当するとは、ピーク値またはピーク近傍で任意の条件を満たす値をいう。

次に、車両特定部１６４ａは、隣接する分割領域２１６同士を比較し、図７に示すように、代表距離２２０が近接する（例えば、１ｍ以下に位置する）分割領域２１６をグループ化して１または複数の分割領域群２２２を生成する（Ｓ３１０）。このとき、３以上の分割領域２１６で代表距離２２０が近接していた場合にも、連続する全ての分割領域２１６を分割領域群２２２として纏める。かかるグループ化によって、車両特定部１６４ａは、道路表面より上方に位置する立体物を特定することができる。

続いて、車両特定部１６４ａは、分割領域群２２２内における、相対距離ｚが代表距離２２０に相当するブロックを基点として、そのブロックと、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分が予め定められた範囲（例えば０．１ｍ）内にあるブロックとを、同一の特定物に対応すると仮定してグループ化する（Ｓ３１２）。こうして、仮想的なブロック群である対象物２２４が生成される。上記の範囲は実空間上の距離で表され、製造者や搭乗者によって任意の値に設定することができる。また、車両特定部１６４ａは、グループ化により新たに追加されたブロックに関しても、そのブロックを基点として、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分が所定範囲内にあるブロックをさらにグループ化する。結果的に、同一の特定物と仮定可能なブロック全てがグループ化されることとなる。

また、ここでは、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分をそれぞれ独立して判定し、全てが所定範囲に含まれる場合のみ同一のグループとしているが、他の計算によることもできる。例えば、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分の二乗平均√（（水平距離ｘの差分）^２＋（高さｙの差分）^２＋（相対距離ｚの差分）^２）が所定範囲に含まれる場合に同一のグループとしてもよい。かかる計算により、ブロック同士の実空間上の正確な距離を導出することができるので、グループ化精度を高めることができる。

次に、車両特定部１６４ａは、グループ化した対象物２２４が、予め定められた車両に相当する所定の条件を満たしていれば、その対象物２２４を特定物「車両」として決定する（Ｓ３１４）。例えば、車両特定部１６４ａは、グループ化された対象物２２４が道路上に位置する場合、その対象物２２４全体の大きさが、特定物「車両」の大きさに相当するか否かを判定し、特定物「車両」の大きさに相当すると判定されれば、その対象物２２４を特定物「車両」と特定する。ここで、車両特定部１６４ａは、特定物「車両」と特定された対象物２２４が画面上占有する矩形の領域を車両領域とする。

こうして、車外環境認識装置１２０では、第１画像としての距離画像１２８から、１または複数の対象物２２４を、特定物、例えば、車両（先行車両）として抽出することができ、その情報を様々な制御に用いることが可能となる。例えば、検出領域１２４内の任意の対象物２２４が車両であると特定されると、特定した車両（先行車両）を追跡し、相対距離や相対加速度を検出して、先行車両との衝突を回避したり、先行車両との車間距離を安全な距離に保つように制御することができる。このような先行車両の特定や先行車両の挙動をさらに迅速に把握するため、以下では、車両領域に存在する発光源をブレーキランプとみなし、その点灯有無を判定する。

続いて、ブレーキランプ特定部１６４ｂは、第２画像に基づくカラー画像１２６から、画素単位で３つの色相（Ｒ、Ｇ、Ｂ）のカラー値を取得する（Ｓ３１６）。このとき、検出領域１２４が例えば雨天や曇天であった場合、ブレーキランプ特定部１６４ｂは、本来のカラー値を取得できるようにホワイトバランスを調整してから取得してもよい。

ブレーキランプ特定部１６４ｂは、データ保持部１５２に保持された特定物テーブル２００と、第２画像に基づくカラー画像１２６の各画素のカラー値とによって所定の発光源を仮に特定する（Ｓ３１８）。具体的に、ブレーキランプ特定部１６４ｂは、特定物テーブル２００に登録されている特定物から、第２露光態様に対応付けられた特定の発光源（ここでは「ブレーキランプ」）を選択し、取得した１の画素のカラー値が、選択した特定物のカラー範囲２０２に含まれるか否か判定する。そして、対象となるカラー範囲２０２に含まれれば、その画素を当該特定物「ブレーキランプ」と仮定する。

上記第２画像は、上述したように特定の発光源、例えば、特定物「ブレーキランプ」が自発光しているか否かを判別可能な第２露光態様で撮像した画像である。ここで、特定物「ブレーキランプ」のように自発光するものは、太陽や街灯の明るさに拘わらず、高いカラー値を取得することができる。特に、特定物「ブレーキランプ」の点灯時の明るさは法規で概ね規定されているので、所定の明るさしか露光できない露光態様（例えば、短時間の露光）で撮像することで、特定物「ブレーキランプ」に相当する画素のみを容易に抽出することが可能である。

図８は、第１露光態様による撮像と第２露光態様による撮像との違いを説明するための説明図である。図８（ａ）は、第１露光態様による第１画像を示し、特に、図８（ａ）の左図ではテールランプが点灯しており、図８（ａ）の右図ではテールランプに加えブレーキランプが点灯している。図８（ａ）を参照して理解できるように、車外環境の明るさに応じた第１露光態様では、ブレーキランプ非点灯かつテールランプ点灯時のテールランプ位置２３０のカラー値と、ブレーキランプ点灯かつテールランプ点灯時のブレーキランプ位置２３２とでカラー値の差がほとんど生じない。これは、露光時間の長い第１露光態様では、テールランプもブレーキランプもＲＧＢ成分全てのカラー値がサチレーションしてしまうことに起因する。

図８（ｂ）は、第２露光態様による第２画像を示し、特に、図８（ｂ）の左図ではテールランプが点灯しており、図８（ｂ）の右図ではテールランプに加えブレーキランプが点灯している。第２露光態様は、ブレーキランプが点灯しているときのカラー値のみを取得可能に設定されている。したがって、図８（ｂ）を参照して理解できるように、テールランプが点灯していてもテールランプ位置２３０では、その明るさに準じるカラー値をほとんど取得できず、ブレーキランプ点灯時のブレーキランプ位置２３２では、明確に高いカラー値を取得できている。

かかる第２露光態様では、ブレーキランプのカラー値が撮像素子において、Ｒ成分がサチレーションするかしないかといった程度の露光時間に設定することが望ましい。撮像装置１１０は、通常、ダイナミックレンジが人間より大幅に狭いので、夕方くらいの明度の低さで第１露光態様により撮像すると、車外環境に対して相対的にブレーキランプのカラー値が高くなる。すると、Ｒ成分のみならず、Ｒ成分とオーバーラップしてＧ成分やＢ成分も最大値（例えばカラー値が２５５）にサチレーションし、画素が白くなってしまう。そこで、第２露光態様を、ブレーキランプ点灯時にＲ成分がサチレーションするかしないかといった程度の露光時間とすることで、外部の環境に拘わらず、Ｇ成分やＢ成分のカラー値への影響を抑制しつつ、Ｒ成分のみを最大値で抽出する。こうして、例えば、テールランプとのカラー値差を最大限確保することが可能となる。

具体的に、夜間の走行時に先行車両が存在する場合に、テールランプが点灯している程度、例えば、カラー範囲（Ｒ）「５０」、カラー範囲（Ｇ）「５０」、カラー範囲（Ｂ）「５０」程度では第２画像に表示されない。これに対して、ブレーキランプが点灯していると、図４の特定物テーブル２００に示すように、カラー範囲２０２が、カラー範囲（Ｒ）「２００以上」、カラー範囲（Ｇ）「５０以下」、カラー範囲（Ｂ）「５０以下」となり、第２露光態様で撮像したとしても、その位置が把握できる程度に第２画像に表示される。こうしてブレーキランプ特定部１６４ｂは、第２画像を通じて、ブレーキランプ等、所定の発光源のみを特定することが可能となる。また、ここでは、第２露光態様による露光時間を固定しているが、車外環境に応じて自発的にまたは搭乗者の操作に応じて調整されるとしてもよい。

また、ブレーキランプ特定部１６４ｂは、発光源候補とされた画素同士の水平距離ｘの差分、高さｙの差分および相対距離ｚの差分が所定範囲（例えば０．１ｍ）内にある場合、その複数の画素を１の発光源候補としてグループ化する（Ｓ３２０）。こうして、ブレーキランプを構成する画素が複数に跨がっていても、また、車両の左右のブレーキランプがそれぞれ複数のランプで構成されている場合であっても、それを左右に存在するブレーキランプの一方として個々に認識することが可能となる。

また、ブレーキランプ特定部１６４ｂは、この１の発光源候補の大きさが予め定められた閾値（例えば、水平および垂直の幅０．０５ｍ）以上の場合にのみ、１の発光源候補を発光源として特定する（Ｓ３２２）。なお、ブレーキランプ特定部１６４ｂは、大きさに加えて、その発光源候補の形も条件としてよい。例えば、ブレーキランプが車両後部の左右端部に鉛直方向に延伸する形状である場合、その大きさのみならず、ブレーキランプとみなせる形状であることを判定する。また、ブレーキランプ特定部１６４ｂは、ブレーキランプと同等の手順で、１の発光源候補の大きさや形状からハイマウントストップランプも特定する。こうして、本来、所定の発光源としてみなすべきではないノイズに相当する発光源を排除し、ブレーキランプ等、所望する発光源を抽出することができるので、特定物を高精度に特定することが可能となる。

このように、ブレーキランプ特定部１６４ｂによって、ブレーキランプやハイマウントストップランプを高精度に抽出することができる。しかし、第２露光態様による第２画像のみでは、夜間などに検出領域１２４全体のカラー値が低く（暗く）なってしまい、ブレーキランプ等の発光源以外は何も把握できなくなってしまう。そこで、当該「ブレーキランプ」と、上述した第１露光態様による第１画像によって特定した「車両」とを対応付ける。

位置対応付け部１６６は、車両特定部１６４ａが特定物「車両」としてグループ化した車両領域と、ブレーキランプ特定部１６４ｂが特定した発光源（ブレーキランプ）の位置とを対応付ける（Ｓ３２４）。そして、車両特定部１６４ａによる特定物「車両」の追跡と、ブレーキランプ特定部１６４ｂによる特定物「ブレーキランプ」の追跡とを支援し、一方の位置情報で他方の位置情報を校正する。こうして、先行する車両の外縁と車両のブレーキランプとの位置関係を維持することができる。

配置判定部１６８は、同一の先行車両に存在すると仮定される２対のブレーキランプの組み合わせを特定し、図４に示した特定物テーブル２００に基づいて、位置対応付け部１６６によって対応付けられた車両領域と発光源であるブレーキランプの位置との相対配置が適切な配置か否かを判定する（Ｓ３２６）。配置判定部１６８は、例えば、ブレーキランプが、それ単体で高さ範囲「０．３〜２．０ｍ」、水平距離の幅範囲「０．０５〜０．２ｍ」、垂直距離の幅範囲「０．０５〜０．２ｍ」の条件を満たすか判定する。さらに、配置判定部１６８は、２対のブレーキランプの組み合わせが、水平距離の差分「１．４〜１．９ｍ」、垂直距離の差分「０．３ｍ以下」、面積比「５０〜２００％」の条件を満たすか否かを判定する。このように、ブレーキランプと仮定された発光源が車両の適切な位置に対応している場合にのみブレーキランプとして正式に特定する構成により、リアフォグランプなど、同等の明るさで一灯だけで点灯している発光源をブレーキランプと誤認識するのを防止することができる。

ただし、先行する車両の挙動を正確に判断するには、ブレーキランプを発光源として特定するのみならず、その点灯有無を判定しなくてはならない。しかし、ブレーキランプのカバーの形状、発光源の種類や日照条件といった外部環境によっては、太陽光の反射等の影響を受けてその明るさが変化するので、特定したブレーキランプのカラー値と固定的な閾値とを単純に比較するだけでは、その点灯有無の判定を誤ってしまうおそれがある。例えば、ブレーキランプが点灯していないのに、カラー値が固定の閾値より高くなってしまい、点灯していると誤認識したり、ブレーキランプが点灯しているのに、カラー値が固定の閾値より低くなってしまい、点灯していないと誤認識したりするおそれがある。

また、上記のブレーキランプ特定部１６４ｂ、位置対応付け部１６６、配置判定部１６８によっては、ブレーキランプの形状や位置関係からブレーキランプの確からしさを判定できるが、検出領域１２４中の先行車両との位置関係の変動に伴って、ブレーキランプの位置も画面左右上下に変動しやすく、ブレーキランプの正確な位置における点灯有無を把握するのは難しい。また、リフレクター等、車両に対して左右対称に配置された対象物は、太陽光を反射したときの瞬時的なカラー値および位置関係においてブレーキランプと差異が生じず、上記のブレーキランプの特定だけでは、リフレクターを排除できないといった問題があった。

そこで、本実施形態では、先行車両の特に車両領域全体におけるカラー値を判定することで、先行車両との位置関係の変動に拘わらず、ブレーキランプのカラー値の変化（カラー値が高い状態とカラー値が低い状態）を適切に判定する。そして、上記のブレーキランプ特定部１６４ｂ、位置対応付け部１６６、配置判定部１６８によるブレーキランプの特定は、ブレーキランプらしさを判定する上で補助的（冗長的）に用いることとする。ここでは、ブレーキランプのカラー値が高い状態を点灯状態、ブレーキランプのカラー値が低い状態を消灯状態という。具体的に、本実施形態では、所定のカラー条件を満たした面積の変化を時間方向に積分し、その面積と閾値（面積閾値）とを比較することで適切に点灯有無を判定する。

面積変換部１７０は、車両特定部１６４ａに特定された先行車両の車両領域において、予め定められた１または複数のカラー閾値に基づくカラー条件を満たした画素数を計数し、画素数を面積に変換（正規化）する（Ｓ３２８）。以下、カラー閾値とカラー条件を説明する。

図９は、カラー閾値を示す説明図である。本実施形態では、第２露光態様における標準的なシャッター速度を１７ｍｓｅｃとし、例えば、図９に示すような「黄色」、「赤色」の２段階のカラー閾値を設ける。また、本実施形態では、このような複数のカラー閾値を個々に用いず、複数のカラー閾値のいずれかを満たすことを条件とするカラー条件を採用する。ここで、カラー条件として複数のカラー閾値を準備するのは以下の理由による。すなわち、ブレーキランプの明度が高くなると、色相Ｒのカラー値が飽和するため、Ｒ、Ｇ、Ｂのカラー値のバランスが変化し、赤色が、黄色から白みがかった色に変化する。そこで、カラー条件を、所定のカラー閾値とそれより明度が高い他のカラー閾値との和とすることで、所定のカラー閾値より明度が高い領域を適切に求めることができる。

面積変換部１７０は、まず、図９に示した２つの色のいずれかを満たした画素数を計数する。すなわち、車両領域において、色相Ｒのカラー値が２２５より高く、色相Ｇのカラー値が１６９未満、色相Ｂのカラー値が９８未満となる画素と、色相Ｒのカラー値が１５０より高く、色相Ｇのカラー値が１１３未満、色相Ｂのカラー値が６６未満となる画素とのいずれも計数する。本実施形態では、フレーム毎に、上記カラー条件を満たす１の画素数さえ導出すれば足りるので、処理負荷を軽減することが可能となる。

ところで、自車両１と先行車両との相対距離が長いと、カラー条件を満たす発光源が小さくなり、その画素数も少なくなる。これに対し、先行車両との相対距離が短いと、カラー条件を満たす発光源が大きくなり、その画素数が多くなる。したがって、ブレーキランプが点灯状態を維持していても、先行車両との相対距離の変化に応じてカラー条件を満たす画素数が変動する。

後述するように、カラー変化判定部１７４は、カラー条件を満たす範囲を１の閾値（面積閾値）と比較して、その範囲の大きさが面積閾値以上であればブレーキランプが点灯状態にあると判定し、面積閾値未満であれば、ブレーキランプが消灯状態にあると判定する。このとき、上述したように、ブレーキランプが点灯状態を維持しているにも拘わらず、先行車両との位置関係の変化によりカラー条件を満たす画素数が変動すると、本来はブレーキランプが点灯状態にあり、カラー条件を満たす画素が存在しても、相対距離が長すぎて、その数が面積閾値に満たない結果が生じうる。そこで、本実施形態では、先行車両との相対距離に基づいて画素数を実際の面積に変換する。

図１０は、自車両１と先行車両との相対距離と画素数の関係を示した説明図である。図１０では、横軸に相対距離を示し、縦軸に所定の大きさの対象物が占有する画素数が示されている。図１０を参照して理解できるように、同一の対象物（同一の面積）であっても、相対距離が長くなるほど、画素数が小さくなる。かかる推移は、関数で近似でき、０から図１０における相対距離ａ地点までは、相対距離に比例し、ａ地点以降は、相対距離の３／２乗に比例する。通常、画像における対象物の大きさは、その相対距離に単純に比例するが、発光源の場合、発光の影響を受けて見た目上の発光範囲が広がる。よって、図１０のように、相対距離と画素数の関係が非線形になる。

したがって、ブレーキランプ特定部１６４ｂは、先行車両（発光源）との相対距離も特定し、面積変換部１７０は、先行車両との相対距離に基づいて、図１０の逆関数により（図１０の画素数で除算し）、カラー条件を満たした画素数を面積に変換する。こうして、ブレーキランプが点灯状態を維持している場合の対象物の大きさの変動が少なくなり、後述するカラー変化判定部１７４は、カラー条件を満たす面積の変化を高精度に判定することが可能となる。

続いて、ヒストグラム生成部１７２は、面積変換部１７０によって変換された面積に応じてヒストグラム（基準ヒストグラム）を生成する（Ｓ３３０）。ここでのヒストグラムは、相異なる複数段階の面積区分を階級とし、その面積区分毎の度数を示す。ヒストグラム生成部１７２は、面積変換部１７０によって変換された面積が含まれる面積区分に所定の投票値（例えば１）を投票する。ただし、ヒストグラム生成部１７２は、投票した面積区分の投票値を時間方向に積分した結果によってヒストグラムを生成する。

図１１は、ヒストグラム生成部１７２による時間方向の積分を説明するための説明図である。ヒストグラム生成部１７２は、投票した面積区分の投票値Ｘ_ｎを以下の数式１に従って時間方向に積分し、度数Ｙ_ｎを求める。ここでｎは現在のフレームを示し、ｎ−１は前回フレームを示す。
Ｙ_ｎ＝０．９９×Ｙ_ｎ−１＋０．０１×Ｘ_ｎ …（数式１）
かかる数式１は一次遅れ関数であり、今回のフレームにおける投票値Ｘ_ｎは、度数Ｙ_ｎに対して０．０１程度しか影響しない。また、数式１における一次遅れの時定数はブレーキランプの点灯と消灯との切り替わりに要する時間より十分長い。したがって、点灯と消灯とが切り替わる途中の面積がヒストグラムへ出現するのは抑制される。

したがって、図１１（ａ）に示すように、仮に、面積変換部１７０によって変換された面積が所定の期間、同一の面積区分Ｓ_０内に含まれており、その間、面積区分Ｓ_０への投票値Ｘ_ｎが１である状態が連続していた場合、面積区分Ｓ_０の度数Ｙ_ｎは、図１１（ｂ）に示すように、一次遅れを伴い１に推移し、投票値が０となると、一次遅れを伴い０に推移する。また、面積が面積区分Ｓ_０を超えて変動すると、面積区分Ｓ_０の度数Ｙ_ｎは、０〜１の間で変動することとなる。

ここでは、数式１に示すように、単純な一次遅れ関数を用いているので、度数Ｙ_ｎが無制限に大きくなることもなく０〜１の範囲に留まり、０〜１の間の任意の基準値を用いてその量的な判定を容易に行うことができる。また、このように、時間方向に投票値を積分することで、単発的に出現する投票値が度数に与える影響を抑制することができ、先行車両との位置関係の変動に拘わらず、安定した度数に基づいて点灯有無を判定することが可能となる。

図１２は、ヒストグラムを説明するための説明図である。ブレーキランプが点灯している場合、上記カラー条件を満たす面積は大きくなり、ブレーキランプが消灯している場合、カラー条件を満たす面積は小さくなる。したがって、ヒストグラムを生成すると、図１２（ａ）に示すように、ブレーキランプの点灯時に相対的に大きい面積区分Ｓ_１において度数が１に近づき、ブレーキランプの消灯時に相対的に小さい面積区分Ｓ_２において度数が１に近づく。

ただし、通常、自車両１も先行車両も移動しているので、相対的な位置関係が変動し、カラー条件を満たす面積も変動する。したがって、このような位置関係が変動する状況下でヒストグラムを生成すると、図１２（ｂ）に示すように、ブレーキランプの点灯時には、相対的に大きい面積区分Ｓ_１近傍に所定の偏差を伴って所定の度数が出現し、ブレーキランプの消灯時には、相対的に小さい面積区分Ｓ_２近傍に所定の偏差を伴って所定の度数が出現する。

そして、カラー変化判定部１７４は、ヒストグラム生成部１７２が生成したヒストグラムにおける相対的に度数が高い面積区分が、所定の面積閾値以上であるか否かに基づき、発光源の点灯状態（カラー値が高い状態）と消灯状態（カラー値が低い状態）とを判定する（Ｓ３３２）。

図１３は、ヒストグラムを説明するための説明図である。具体的に、カラー変化判定部１７４は、ヒストグラム生成部１７２が生成したヒストグラムに基づき、度数が所定の度数閾値Ｆ（例えば０．３）以上となった場合に、その度数を示す面積区分が、図１３（ａ）に示すよう、所定の面積閾値Ｌ以上であれば点灯状態と判定し、その度数を示す面積区分が、図１３（ｂ）に示すように、所定の面積閾値Ｌ未満であれば消灯状態と判定する。ここで、度数閾値Ｆは、実績から算出された値を採用でき、面積閾値Ｌは、取得された度数の２つのピーク（図１２（ｂ）参照）の中間値とするのが望ましい。また、カラー変化判定部１７４は、点灯状態をブレーキの操作状態とみなし、消灯状態をブレーキの非操作状態とみなす。

こうして、車外環境認識装置１２０では、カラー条件を満たす面積の変化に基づいて、先行車両との位置関係の変動に拘わらず、先行車両における発光源のカラー値の変化を適切に判定することが可能となる。

（第２の実施形態：車外環境認識処理）
上述した第１の実施形態では、先行車両の車両領域においてカラー条件を満たした面積が所定の面積閾値以上であるか否かに基づいて点灯態様を判定した。しかし、カラー条件を満たす面積は先行車両との相対距離に応じて変動するので、それに伴い面積閾値も適切な値に変動させるのが望ましい。そこで、第２の実施形態では、点灯態様を判定するための面積閾値を適切に更新する。

図１４は、第２の実施形態における車外環境認識処理を示すフローチャートである。かかる図１４のフローチャートのうちステップＳ３００〜Ｓ３３２については、第１の実施形態で説明した処理と実質的に等しいので、ここではその詳細な説明を省略し、処理の異なるステップＳ４００とステップＳ４０２のみを説明する。

ヒストグラム生成部１７２がヒストグラム（基準ヒストグラム）を生成すると（Ｓ３３０）、面積閾値導出部１７６は、面積閾値を決定したか否か判定する（Ｓ４００）。その結果、面積閾値を決定していれば（Ｓ４００におけるＹＥＳ）、カラー変化判定部１７４は、相対的に度数が高い面積区分が、決定された面積閾値以上であるか否かに基づいて点灯態様を判定する（Ｓ３３２）。ただし、何かしらの理由で車外環境が大きく変化する場合、面積閾値を決定していない状態に戻し、面積閾値を更新してもよい。

また、面積閾値導出部１７６が面積閾値を決定していなければ（Ｓ４００におけるＮＯ）、面積閾値を導出する（Ｓ４０２）。ここでは、第１の実施形態で説明した基準ヒストグラムに加え、相異なる複数段階の面積区分を階級とし、その面積区分毎の度数を示す複数のヒストグラムが準備されている。複数のヒストグラムとしては、例えば、加減速（加速、巡行、減速）、および、ハイマウントストップランプに対応させた、加減速（加速、巡行、減速）ヒストグラム、および、ハイマウントストップランプヒストグラムがある。具体的に、面積閾値導出部１７６は、所定の投票条件を満たした場合、投票条件を満たしたヒストグラムに対して、基準ヒストグラムと等しい面積区分（面積変換部１７０が変換した面積を含む面積区分）への投票値を時間方向に積分して投票する。

図１５は、面積閾値導出ステップＳ４０２の具体的な処理の流れを示したフローチャートである。まず、面積閾値導出部１７６は、ブレーキランプ特定部１６４ｂによってハイマウントストップランプが検出されたか否か判定する（Ｓ４０２−１）。ここで、ハイマウントストップランプを用いているのは、ハイマウントストップランプの配置および発光面の角度等が、ブレーキランプより太陽光等、環境の影響を受けにくいからである。したがって、ブレーキランプ特定部１６４ｂでは、ブレーキランプより高精度にハイマウントストップランプの点灯態様を把握することができ、面積閾値導出部１７６は、その結果も参照してブレーキランプの点灯態様を判定する。

ステップＳ４０２−１の判定の結果、ハイマウントストップランプが検出されていれば（Ｓ４０２−１におけるＹＥＳ）、基準ヒストグラムと等しい面積区分への投票値Ｘｎを、上記数式１に従い、ハイマウントストップランプヒストグラムにおいて時間方向に積分し、その積分した度数Ｙ_ｎをハイマウントストップランプヒストグラムに投票して（Ｓ４０２−２）、ステップＳ４０２−１１に処理を移す。本実施形態において、全てのヒストグラムの投票には、このような積分が伴うが、説明の便宜のため、以下では、単にヒストグラムに投票するといった表現で説明する。

ハイマウントストップランプが検出されていなければ（Ｓ４０２−１におけるＮＯ）、面積閾値導出部１７６は、先行車両の絶対速度が所定値（例えば、１０ｋｍ／ｈ）未満であるか否か判定する（Ｓ４０２−３）。その結果、先行車両の絶対速度が所定値未満であれば（Ｓ４０２−３におけるＹＥＳ）、正確な判定結果を得るのが難しいとして、基準ヒストグラム以外のヒストグラムの投票を行わず、ステップＳ４０２−１１に処理を移す。

先行車両の絶対速度が所定値以上であれば（Ｓ４０２−３におけるＮＯ）、面積閾値導出部１７６は、先行車両との相対距離が所定値（例えば、８０ｍ）以上であるか否か判定する（Ｓ４０２−４）。その結果、先行車両との相対距離が所定値以上であれば（Ｓ４０２−４におけるＹＥＳ）、正確な判定結果を得るのが難しいとして、基準ヒストグラム以外のヒストグラムの投票を行わず、ステップＳ４０２−１１に処理を移す。

先行車両との相対距離が所定値未満であれば（Ｓ４０２−４におけるＮＯ）、面積閾値導出部１７６は、先行車両の絶対加速度が加速に相当する値（例えば０．０５Ｇ以上）であり、かつ、道路勾配が水平または上りに相当する値（例えば、−０．０５Ｇ以上）であるか否か判定する（Ｓ４０２−５）。その結果、先行車両の絶対加速度が加速に相当し、かつ、道路勾配が水平または上りに相当すると判定されれば（Ｓ４０２−５におけるＹＥＳ）、加速のヒストグラムにおける、基準ヒストグラムと同一の面積区分に上記数式１に従って投票して（Ｓ４０２−６）、ステップＳ４０２−１１に処理を移す。

先行車両の絶対加速度が加速に相当せず、または、道路勾配が水平または上りに相当しないと判定されれば（Ｓ４０２−５におけるＮＯ）、面積閾値導出部１７６は、先行車両の絶対加速度が巡行に相当する値（例えば−０．１Ｇ以上、０．０５Ｇ未満）であり、かつ、道路勾配が水平または上りに相当する値（例えば、−０．０５Ｇ以上）であるか否か判定する（Ｓ４０２−７）。その結果、先行車両の絶対加速度が巡行に相当し、かつ、道路勾配が水平または上りに相当すると判定されれば（Ｓ４０２−７におけるＹＥＳ）、巡行ヒストグラムにおける、基準ヒストグラムと同一の面積区分に投票して（Ｓ４０２−８）、ステップＳ４０２−１１に処理を移す。ただし、ここでは、以下の数式２に従って投票値Ｘ_ｎが時間方向に積分され度数Ｙ_ｎが求められる。
Ｙ_ｎ＝０．９２×Ｙ_ｎ−１＋０．０８×Ｘ_ｎ …（数式２）
したがって、巡行ヒストグラムにおいて、今回のフレームにおける投票値Ｘ_ｎは、度数Ｙ_ｎに対して０．０８程度影響することとなる。

先行車両の絶対加速度が巡行に相当せず、または、道路勾配が水平または上りに相当しないと判定されれば（Ｓ４０２−７におけるＮＯ）、面積閾値導出部１７６は、先行車両の絶対加速度が減速に相当する値（例えば−０．１Ｇ未満）であり、かつ、道路勾配が水平または下りに相当する値（例えば、０．０５Ｇ未満）であるか否か判定する（Ｓ４０２−９）。その結果、先行車両の絶対加速度が減速に相当し、かつ、道路勾配が水平または下りに相当すると判定されれば（Ｓ４０２−９におけるＹＥＳ）、減速のヒストグラムにおける、基準ヒストグラムと同一の面積区分に上記数式１に従って投票して（Ｓ４０２−１０）、ステップＳ４０２−１１に処理を移す。また、先行車両の絶対加速度が減速に相当せず、または、道路勾配が水平または下りに相当しないと判定されれば（Ｓ４０２−９におけるＮＯ）、基準ヒストグラム以外のヒストグラムの投票を行わず、ステップＳ４０２−１１に処理を移す。

図１６は、ヒストグラムを説明するための説明図である。上記の面積閾値導出ステップＳ４０２−１〜Ｓ４０２−１０に従って投票条件を判定すると、例えば、先行車両がブレーキ操作を伴って減速している場合、図１６（ａ）のように、基準ヒストグラム上で、相対的に大きい面積区分Ｓ_１近傍に所定の偏差を伴って所定の度数が出現するとともに、減速ヒストグラムやハイマウントストップランプのヒストグラムの面積区分Ｓ_１近傍に所定の偏差を伴って所定の度数が出現し易い。一方、先行車両が巡行している場合、図１６（ｂ）のように、基準ヒストグラム上で、相対的に小さい面積区分Ｓ_２近傍に所定の偏差を伴って所定の度数が出現するとともに、加速ヒストグラムや巡行ヒストグラムの面積区分Ｓ_２近傍に所定の偏差を伴って所定の度数が出現し易くなる。

そして、面積閾値導出部１７６は、基準ヒストグラム、加速ヒストグラム、巡行ヒストグラム、減速ヒストグラム、および、ハイマウントストップランプヒストグラムを用い、その対応関係に基づき、基準ヒストグラムに出現した度数の群それぞれに対して減速状態と加速状態を判定する（Ｓ４０２−１１）。

具体的に、面積閾値導出部１７６は、まず、基準ヒストグラムに出現した度数の群、すなわち、所定の度数閾値Ｆ以上となる相対的に高い度数の面積区分と、その近傍の面積区分とを合わせた面積領域（図１６（ａ）のＱ_１や図１６（ｂ）のＱ_２）それぞれについて、一点鎖線で囲んだ、その面積領域内の度数のみを参照し、以下に示す数式３および数式４を用いて減速得点Ｄと加速得点Ａを導出する。
Ｄ＝｛α・ハイマウントストップランプ度数＋β・減速度数｝／｛（α＋β）／２｝
…（数式３）
Ａ＝｛γ・加速度数＋δ・巡行度数｝／｛（γ＋δ）／２｝…（数式４）
ただし、α、β、γ、δは重み付け係数であり、例えば、｛α、β、γ、δ｝＝｛１０、５、３、０．３７｝が採用される。また、ハイマウントストップランプ度数、減速度数、加速度数、巡行度数は、ハイマウントストップランプ、減速、加速、巡行の各ヒストグラムにおける度数である。

そして、面積閾値導出部１７６は、度数の群それぞれに対し、数式３および数式４から導出された減速得点Ｄと加速得点Ａに基づいて、減速状態と加速状態を判定する。

図１７は、減速得点Ｄおよび加速得点Ａによる判定条件を示した説明図である。ここでは、縦欄に減速得点Ｄが、横欄に加速得点Ａが示され、それぞれの得点に応じて、減速状態または減速状態が特定される。例えば、数式３および数式４により減速得点Ｄが０．７、加速得点Ａが０となった場合、先行車両は減速状態であることが特定される。

続いて、面積閾値導出部１７６は、減速状態と判定された度数群と、加速状態と判定された度数群とをそれぞれ集計する。ここでは、度数が所定の度数閾値Ｆ以上となる度数群のみを集計対象としているが、全ての度数群を集計してもよいし、度数が高い順に１または複数の度数群を選択して集計してもよい。

図１８は、面積閾値導出部１７６による集計処理を説明するための説明図である。ここでは、説明の便宜のため、複数の度数群を、その外形を模擬した線分で示している。面積閾値導出部１７６は、度数群が減速状態と判定されると、その度数群を図１８（ａ）のように１のヒストグラムに集計し、度数群が加速状態と判定されると、その度数群を図１８（ｂ）のように１のヒストグラムに集計する。そして、面積閾値導出部１７６は、集計された図１８（ａ）の減速状態ヒストグラムを参照して、度数群を構成する面積区分の最小値Ｌ_ｄと、集計された図１８（ｂ）の加速状態ヒストグラムを参照して、度数群を構成する面積区分の最大値Ｌ_ｕとを導出し、図１８に示すように、その平均値（（Ｌ_ｄ＋Ｌ_ｕ）／２）を面積閾値Ｌとして決定する。したがって、ヒストグラムの集計は、度数群を構成する面積区分の最小値Ｌ_ｄまたは最大値Ｌ_ｕの特定で置き換えることができる。

ここでは、減速状態に相当する度数群の最小値Ｌ_ｄと、加速状態に相当する度数群の最大値Ｌ_ｕとの平均値を用いて面積閾値Ｌとしているが、かかる場合に限らず、減速状態に相当する度数群の平均値や最頻値と、加速状態に相当する度数群の平均値や最頻値との平均値を面積閾値Ｌとしてもよい。

こうして、減速状態と加速状態とを区別可能な適切な面積閾値を導出することが可能となり、車外環境認識装置１２０は、先行車両との位置関係の変動に拘わらず、カラー条件を満たす面積の変化に基づいて、先行車両における発光源のカラー値の変化を適切に判定することが可能となる。また、適切な面積閾値を導出することで、リフレクターをブレーキランプと誤認識してしまうこともない。

また、コンピュータを、車外環境認識装置１２０として機能させるプログラムや当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、上述した実施形態においては、面積閾値導出部１７６が、基準ヒストグラム、加速ヒストグラム、巡行ヒストグラム、減速ヒストグラム、および、ハイマウントストップランプヒストグラム全ての度数の対応関係に基づいて面積閾値を導出する例を挙げて説明したが、かかる場合に限らず、基準ヒストグラムと、いずれか１または複数のヒストグラムとの度数の対応関係に基づいて面積閾値を導出することができる。

また、上述した実施形態に加え、下記の条件を追加することで、点灯有無の判定の信頼性をより高くできる。例えば、ブレーキランプの左右のペアの判定結果を互いに校正に利用したり、ブレーキランプとウィンカーを共用する車両において、その点灯・消灯時間に基づいてブレーキ操作かウィンカー操作かを判定する。

なお、本明細書の車外環境認識処理の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。

本発明は、先行車両のブレーキの操作状態を特定する車外環境認識装置に利用することができる。

１２０ 車外環境認識装置
１６０ 画像取得部
１６４ａ 車両特定部
１６４ｂ ブレーキランプ特定部
１６６ 位置対応付け部
１７０ 面積変換部
１７２ ヒストグラム生成部
１７４ カラー変化判定部
１７６ 面積閾値導出部

Claims (4)

1. カラー画像を取得する画像取得部と、
   前記カラー画像において、先行車両、該先行車両が占有する車両領域、該先行車両との相対距離を特定する車両特定部と、
   特定された前記車両領域において、予め定められた１または複数のカラー閾値に基づくカラー条件を満たした画素数を計数し、該画素数を前記先行車両との相対距離に基づいて面積に変換する面積変換部と、
   前記変換された面積が含まれる面積区分への投票値を時間方向に積分して基準ヒストグラムを生成するヒストグラム生成部と、
   前記基準ヒストグラムにおける相対的に度数が高い面積区分が面積閾値以上であるか否かに基づいて、前記先行車両における発光源のカラー値が高い状態かカラー値が低い状態かを判定するカラー変化判定部と、
   を備えることを特徴とする車外環境認識装置。
2. 前記先行車両のハイマウントストップランプが検出された場合に、前記基準ヒストグラムと等しい面積区分への投票値を時間方向に積分してハイマウントストップランプヒストグラムを生成し、該基準ヒストグラムおよび該ハイマウントストップランプヒストグラムとの度数の対応関係に基づいて前記面積閾値を導出する面積閾値導出部をさらに備えることを特徴とする請求項１に記載の車外環境認識装置。
3. 前記車両特定部は、前記先行車両の加減速も特定し、
   前記先行車両の加減速に基づき、前記基準ヒストグラムと等しい面積区分への投票値を時間方向に積分して１または複数の加減速ヒストグラムを生成し、該基準ヒストグラムおよび１または複数の該加減速ヒストグラムとの度数の対応関係に基づいて前記面積閾値を導出する面積閾値導出部をさらに備えることを特徴とする請求項１または２に記載の車外環境認識装置。
4. 前記面積閾値導出部は、前記先行車両の加減速に加え、道路勾配に基づいて前記加減速ヒストグラムを生成することを特徴とする請求項３に記載の車外環境認識装置。

Images