JP2009234344A - 撮像手段の調整装置および物体検出装置 - Google Patents

Abstract

【課題】夜間に、歩行者や車線と灯火類とをそれぞれ的確に撮像できるように撮像手段の露光量等を自動的に切り替えて調整することが可能な撮像手段の調整装置およびそれを用いて物体を検出する物体検出装置を提供する。
【解決手段】撮像手段の調整装置９は、撮像手段２により撮像された画像Ｔ中から物体を検出する物体検出手段１２と、夜間であることを検出する夜検出手段１３と、夜検出手段１３により夜間であること検出されている場合に、撮像手段２の撮像モードを、少なくとも、灯火類を有する物体Ｖah、Ｂの点灯された灯火類ＴＬｌ、ＴＬｒ、ＳＬの輪郭部分を撮像可能な第１撮像モードと、灯火類を有しない対象Ｍ、ＬＬ、ＬＲを検出可能な第２撮像モードとの間で切り替える撮像モード切替手段１４と、を備える。
【選択図】図１

Description

本発明は、撮像手段の調整装置および物体検出装置に係り、特に、撮像手段の露光量等を調整可能な撮像手段の調整装置およびそれを用いて物体等を検出する物体検出装置に関する。

近年、ＣＣＤ（Charge Coupled Device）イメージセンサを内蔵するカメラ等の撮像手段により撮像された画像中から自車両の前方を走行する先行車両等を検出し、それに基づいて自車両の定速走行制御を行うクルーズコントロール（Cruise Control）装置や、自車両の定速走行制御に加えて先行車両に対する追従走行制御を行う先行車追従機能付きクルーズコントロール（Adaptive Cruise Control。以下ＡＣＣと略称する）制御を行うＡＣＣ装置が開発されている（例えば特許文献１等参照）。

ＡＣＣ装置では、先行車両が存在しない場合には自車両を設定された速度で定速走行させ、先行車両が存在する場合には自車両を先行車両に追従させるように自車両のアクセルスロットルやブレーキ機構等を自動的に適切に操作する制御が行われる。そのため、ＡＣＣ装置には先行車両を精度良く検出できることが強く求められる。また、先行車両に対する追従走行制御を伴わないクルーズコントロール装置においても、先行車両に対する追突を防止すること等を目的として、通常、先行車両の検出が行われる。
特開２００５−１５６６号公報

ところで、夜間の走行中に、上記のような撮像手段を用いて先行車両検出を行う場合、暗い背景の中に存在する先行車両のボディ等の本体部分を撮像して先行車両を検出しようとして撮像手段の露光量を多くする等の調整を行うと、先行車両のテールランプやブレーキランプ等の灯火類の光が周囲に大きく拡散して撮像され、光が先行車両のボディ等の端部（エッジ部分）にまではみ出して撮像される。

このような状況では、撮像手段で撮像された画像に撮像されている光の拡散度合がそれぞれ異なり、また各フレームごとにも異なるため、例えばステレオ撮像手段により撮像された一対の画像に対するステレオマッチングで得られるテールランプやブレーキランプ等の灯火類の視差や距離の情報に空間的なばらつきや時間的なばらつきが生じ、自車両と先行車両との距離がばらついて検出される。

そのため、実際には先行車両は自車両の前方を安定して走行しているにもかかわらず、自車両には先行車両が時間的に前後しているように検出されてしまい、ＡＣＣ装置等の先行車両に対する追従走行制御が作動している場合には、安定して走行している先行車両の後方で自車両が加速したり減速したりするという現象が発生してしまう。

また、このような現象は、先行車両検出の場合だけでなく、夜間において信号機の信号灯等のように灯火類を有する物体を検出する際にも生じ、物体の点灯された灯火類の光が周囲に大きくはみ出して撮像されると、それに対する視差や距離を安定して検出できず、例えば道路面に対して静止している信号機を移動物体として検出してしまうという現象が生じる。

そこで、このような場合には、逆に、撮像手段の露光量を少なくする等の調整を行って先行車両のテールランプ等や信号機の信号灯等の灯火類の光が周囲に拡散しないように撮像し、例えばステレオマッチングを適切に行えるようにすることで、テールランプ等の灯火類の位置を的確に検出して、その結果から先行車両や信号機等までの距離を的確に検出することが可能となる。

しかしながら、撮像手段の露光量を少なくする等の調整を行うと、今度は灯火類以外の部分が非常に暗く撮像されるようになるため、道路脇の歩行者や路面上に標示された車線等を検出することが困難になる。撮像手段の露光量等を調整しても、先行車両のテールランプや信号灯等の灯火類と歩行者や車線とを同時に的確に検出することは、事実上不可能である。なお、本発明では、追い越し禁止線等の道路中央線や車両通行帯境界線、路側帯と車道とを区画する区画線等の道路面上に標示された連続線や破線を車線という。

従って、夜間においては、先行車両や信号機等を検出する際にはそのテールランプや信号灯等の灯火類の光が周囲に拡散しないように露光量等を少なくし、歩行者や車線を検出する際には露光量等を多くするように、撮像手段の露光量等を的確に切り替えて、それらが適切に撮像されるように調整することが必要となる。

本発明は、このような事情に鑑みてなされたものであり、夜間に、歩行者や車線と灯火類とをそれぞれ的確に撮像できるように撮像手段の露光量等を自動的に切り替えて調整することが可能な撮像手段の調整装置およびそれを用いて物体を検出する物体検出装置を提供することを目的とする。

前記の問題を解決するために、第１の発明は、撮像手段の調整装置において、
撮像手段により撮像された画像中から物体を検出する物体検出手段と、
夜間であることを検出する夜検出手段と、
前記夜検出手段により夜間であること検出されている場合に、前記撮像手段の撮像モードを、少なくとも、灯火類を有する物体の点灯された灯火類の輪郭部分を撮像可能な第１撮像モードと、灯火類を有しない対象を検出可能な第２撮像モードとの間で切り替える撮像モード切替手段と、
を備えることを特徴とする。

第２の発明は、第１の発明の撮像手段の調整装置において、前記灯火類を有する物体の点灯された灯火類は、先行車両の背面に設けられた点灯された灯火類または信号機の点灯された信号灯であることを特徴とする。

第３の発明は、第１または第２の発明の撮像手段の調整装置において、前記灯火類を有しない対象は、歩行者であることを特徴とする。

第４の発明は、第１から第３のいずれかの発明の撮像手段の調整装置において、
さらに前記画像中から自車両の左側および右側の車線を検出する車線検出手段を備え、
前記灯火類を有しない対象は、前記車線であることを特徴とする。

第５の発明は、第１から第４のいずれかの発明の撮像手段の調整装置において、前記撮像モード切替手段は、自車両において先行車追従制御または定速走行制御が作動された場合に前記撮像手段の撮像モードを前記第２撮像モードから前記第１撮像モードに切り替え、前記作動が停止された場合に前記撮像手段の撮像モードを前記第１撮像モードから前記第２撮像モードに切り替えることを特徴とする。

第６の発明は、第１から第５のいずれかの発明の撮像手段の調整装置において、前記撮像モード切替手段は、自車両の速度が所定の速度以上になった場合に前記撮像手段の撮像モードを前記第２撮像モードから前記第１撮像モードに切り替え、前記速度が前記所定の速度未満になった場合に前記撮像手段の撮像モードを前記第１撮像モードから前記第２撮像モードに切り替えることを特徴とする。

第７の発明は、第１から第６のいずれかの発明の撮像手段の調整装置において、
自車両が自動車専用道路を走行中であることを検出する走行検出手段をさらに備え、
前記撮像モード切替手段は、前記走行検出手段により自車両が自動車専用道路を走行中であることが検出された場合に前記撮像手段の撮像モードを前記第２撮像モードから前記第１撮像モードに切り替え、前記走行検出手段により自車両が自動車専用道路を走行中であることが検出されなくなると前記撮像手段の撮像モードを前記第１撮像モードから前記第２撮像モードに切り替えることを特徴とする。

第８の発明は、第１から第７のいずれかの発明の撮像手段の調整装置において、前記撮像モード切替手段は、自車両のワイパが作動された場合に前記撮像手段の撮像モードを前記第２撮像モードから前記第１撮像モードに切り替え、前記ワイパの作動が停止された場合に前記撮像手段の撮像モードを前記第１撮像モードから前記第２撮像モードに切り替えることを特徴とする。

第９の発明は、第１から第８のいずれかの発明の撮像手段の調整装置において、前記撮像モード切替手段は、前記撮像モードの切り替えに伴って、前記撮像手段の露光量と前記撮像手段から出力される画素の輝度値の少なくとも一方の調整を行うことを特徴とする。

第１０の発明は、第９の発明の撮像手段の調整装置において、
前記撮像手段は、一対のカメラで物体を同時に撮像して一対の画像を出力するステレオ撮像手段であり、
前記撮像手段で撮像された一対の画像に対してステレオマッチング処理を行い、前記画像の画素ブロックごとに視差を算出するステレオマッチング手段をさらに備えることを特徴とする。

第１１の発明は、第１０の発明の撮像手段の調整装置において、前記撮像モード切替手段は、前記撮像手段の撮像モードを前記第２撮像モードから前記第１撮像モードに切り替える場合に、同一の撮像周期において前記ステレオマッチング手段により算出された前記灯火類を有する物体の点灯された灯火類に対応する前記視差の各データのばらつきが所定の閾値以内となるように前記調整を行うことを特徴とする。

第１２の発明は、第１０または第１１の発明の撮像手段の調整装置において、前記撮像モード切替手段は、前記撮像手段の撮像モードを前記第２撮像モードから前記第１撮像モードに切り替える場合に、時間的に隣接する撮像周期において前記ステレオマッチング手段により算出された前記灯火類を有する物体の点灯された灯火類に対応する前記視差のデータの時間的な変化量の絶対値が所定の閾値以内となるように前記調整を行うことを特徴とする。

第１３の発明は、第９から第１２のいずれかの発明の撮像手段の調整装置において、前記撮像モード切替手段は、前記撮像手段の撮像モードを前記第２撮像モードから前記第１撮像モードに切り替える場合に、前記画像における前記灯火類を有する物体の点灯された灯火類が撮像された画像領域の輝度値の分布に基づいて、前記画像領域中の画素の輝度値と当該画素に隣接する画素の輝度値との差の絶対値の最大値が所定の閾値以上になるように前記調整を行うことを特徴とする。

第１４の発明は、第１０から第１３のいずれかの発明の撮像手段の調整装置において、前記撮像モード切替手段は、前記撮像手段の撮像モードを前記第１撮像モードから前記第２撮像モードに切り替える場合に、同一の撮像周期において前記ステレオマッチング手段により算出された前記灯火類を有しない対象に対応する前記視差のデータ点数が所定の閾値以上となるように前記調整を行うことを特徴とする。

第１５の発明は、第１から第１４のいずれかの発明の撮像手段の調整装置において、さらに自車両のドライバに対して前記撮像手段の前記撮像モードが第１撮像モードになっていることを報知する報知手段を備えることを特徴とする。

第１６の発明は、物体検出装置において、
自車両の周囲を撮像する前記撮像手段と、
請求項１から請求項１５のいずれか一項に記載の撮像手段の調整装置と、を備え、
前記物体検出手段は、前記第１撮像モードである場合には前記灯火類を有する物体を、前記第２撮像モードである場合には前記灯火類を有しない対象をそれぞれ検出することを特徴とする。

第１から第４の発明によれば、夜間の走行時において、撮像手段により対象を撮像する際に、検出する対象が、先行車両のテールランプや信号機の信号灯等のように灯火類を有する物体の点灯された灯火類である場合と、歩行者や車線のように灯火類を有しない対象である場合とで、撮像手段の撮像モードを切り替える。

そのため、夜間の走行時においては、同時に的確に検出することが事実上不可能であるそれらの対象を同時に検出しようとして、先行車両に対する追従走行制御を作動させているのに、安定して走行している先行車両の後方で自車両が加速したり減速してしまったり、道路面に対して静止しているはずの信号機を移動物体として検出してしまうような事態が発生することを回避することが可能となる。

また、灯火類を有する物体を検出する際にはその点灯された灯火類の光が周囲に拡散しないように撮像手段の露光量等を小さくし、灯火類を有しない対象を検出する際には露光量等を大きくするように、撮像手段の露光量等を自動的に的確に切り替えることが可能となるため、検出する対象が適切に撮像されるように調整することが可能となる。

第５から第８の発明によれば、前記各発明の効果に加え、自車両で先行車追従制御や定速走行制御が作動された場合や、自車両の速度が所定の速度以上になった場合、自車両が自動車専用道路を走行中であることが検出された場合、自車両のワイパが作動される降雨時や降雪時等に、撮像手段の撮像モードを第２撮像モードから第１撮像モードに切り替えることで、先行車両のテールランプ等を的確に検出できるように撮像手段の露光調整を行うことが可能となる。

また、それらの条件がなくなった場合に撮像手段の撮像モードを第１撮像モードから第２撮像モードに切り替えることで、歩行者や車線等を検出して車両走行の安全性を向上させるように撮像手段の露光調整を行うことが可能となる。

第９の発明によれば、前記各発明の効果に加え、ステレオ撮像手段の露光量とステレオ撮像手段から出力される画素の輝度値の少なくとも一方の調整を行うことで撮像モードの切り替えを行うことで、ステレオ撮像手段の露光調整を容易かつ適切に行うことが可能となるとともに、ステレオ撮像手段のサンプリング周期にあわせて迅速に調整することが可能となる。

第１０および第１１の発明によれば、前記各発明の効果に加え、ステレオ撮像手段で撮像された一対の画像に対するステレオマッチング処理により算出された灯火類を有する物体の点灯された灯火類に対応する視差の各データのばらつきが所定の閾値以内となるように調整を行うことで、容易に検出できる視差のデータのばらつきに基づいて調整を行うことが可能となり、ステレオ撮像手段の露光調整を容易かつ迅速に行うことが可能となる。

第１２の発明によれば、さらに視差のデータの時間的なばらつきに基づいて調整を行うことで、容易かつより確実にステレオ撮像手段の露光調整を行うことが可能となり、前記各発明の効果が的確に発揮される。

第１３の発明によれば、灯火類が撮像された画像領域の輝度値の分布に基づいて調整を行うように構成することで、より確実な撮像手段の露光調整を行うことが可能となり、前記各発明の効果が的確に発揮される。

第１４の発明によれば、前記各発明の効果に加え、撮像手段の撮像モードを第１撮像モードから第２撮像モードに撮像モードを切り替える場合に、灯火類を有しない対象に対応する視差のデータ点数が所定の閾値以上となるように調整を行うことで、夜間の走行時の暗い環境の中でも歩行者や車線等を的確に検出するように撮像手段の露光調整を行うことが可能となる。

第１５の発明によれば、撮像手段の撮像モードが第１撮像モードになると、歩行者等の灯火類を有しない対象が検出され難い状態になる。そのため、前記各発明の効果に加え、表示画面に表示したりランプを点灯させるなどして、そのような状態になっていることをドライバに報知するように構成すれば、ドライバの歩行者等に対する注意を喚起することが可能となる。

第１６の発明によれば、上記のような機能を有する撮像手段の調整装置を備えるため、撮像手段が備える自動的な露光調整では先行車両のテールランプ等の灯火類が放つ光がそれぞれ拡散して撮像されるような夜間の走行時においても、撮像モード切替手段により撮像手段の撮像モードが適切に切り替えられる。

そのため、灯火類を有する物体を検出する場合にはその点灯された灯火類の輪郭が明瞭に撮像されるようになり、物体を的確に検出することが可能となる。また、歩行者等の灯火類を有しない対象を検出する場合には撮像手段の露光量等が自動的に切り替えられて露光量等が大きくなるため、対象を的確に検出することが可能となる。

以下、本発明に係る撮像手段の調整装置および物体検出装置の実施の形態について、図面を参照して説明する。

本実施形態に係る撮像手段の調整装置を含む物体検出装置１は、図１に示すように、主に撮像手段２や変換手段３、ステレオマッチング手段６等と、撮像手段２の調整装置である処理手段９とで構成されている。なお、本実施形態では、撮像手段２が一対のカメラで物体を同時に撮像して一対の画像を出力するステレオ撮像手段である場合について説明するが、本発明はそれに限定されない。

本実施形態では、撮像手段２からステレオマッチング手段６までの構成は、本願出願人により先に提出された特開平５−１１４０９９号公報、特開平５−２６５５４７号公報、特開平６−２６６８２８号公報、特開平１０−２８３４６１号公報、特開平１０−２８３４７７号公報、特開２００６−７２４９５号公報等に記載された車外監視装置等をベースに構成されている。以下、簡単に説明する。

撮像手段２は、車幅方向に一定の距離をあけて配置された一対の撮像手段であるメインカメラ２ａおよびサブカメラ２ｂを備えて構成されており、自車両の周囲を撮像して一対の画像を撮像するようになっている。撮像された一対の画像は、変換手段３であるＡ／Ｄコンバータ３ａ、３ｂでそれぞれデジタル画像に変換され、画像補正部４でずれやノイズの除去、輝度値の補正等の画像補正が行われて、画像データメモリ５に格納されるとともに、処理手段９に送信されるようになっている。

本実施形態では、メインカメラ２ａおよびサブカメラ２ｂはそれぞれＣＣＤイメージセンサを内蔵するカメラ（以下、ＣＣＤカメラという。）で構成されており、ＣＣＤカメラに通常備えられる機能として、自車両の周囲の明るさを自ら判断して適切な露光を得るための露光調整を自動的に行うように構成されている。ここで、本実施形態における露光調整には、少なくともシャッタ時間調整やアンプゲイン切り替え、ＬＵＴ（Look Up Table）の選択やそれによる輝度値変換などが含まれ、それらが総合的に調整されるようになっている。

なお、本実施形態で用いられるＣＣＤカメラはアイリスを備えないためアイリス絞り調整については述べないが、撮像手段２がアイリス等の露光調整を行うための他の機能を備える場合には、それらも含めて総合的に最適な露光を得るための自動的な露光調整が行われる。

また、撮像手段２の自動的な露光調整のレベル、撮像手段２の露光量の調整の度合を表すシャッタレベルとして、後述する処理手段９に送信されるようになっている。

一方、画像補正が行われた一対の撮像画像は、ステレオマッチング手段６にも送信されるようになっている。ステレオマッチング手段６は、イメージプロセッサ７と距離データメモリ８とを備えており、イメージプロセッサ７では、ステレオマッチング処理が行われるようになっている。

具体的には、イメージプロセッサ７は、図２に示すように、基準画像Ｔ上に例えば３×３画素や４×４画素等の所定の画素数の基準画素ブロックＰＢを設定し、基準画素ブロックＰＢに対応する比較画像Ｔｃ中のエピポーララインＥＰＬ上の基準画素ブロックＰＢと同形の各比較画素ブロックＰＢｃについて下記（１）式に従って当該基準画素ブロックＰＢとの輝度パターンの差異であるＳＡＤ値を算出し、ＳＡＤ値が最小の比較画素ブロックＰＢｃを特定するようになっている。

なお、ｐ１stは基準画素ブロックＰＢ中の各画素の輝度値を表し、ｐ２stは比較画素ブロックＰＢｃ中の各画素の輝度値を表す。また、上記の総和は、基準画素ブロックＰＢや比較画素ブロックＰＢｃが例えば３×３画素の領域として設定される場合には１≦ｓ≦３、１≦ｔ≦３の範囲、４×４画素の領域として設定される場合には１≦ｓ≦４、１≦ｔ≦４の範囲の全画素について計算される。

イメージプロセッサ７は、このようにして基準画像Ｔの各基準画素ブロックＰＢについて、特定した比較画素ブロックＰＢｃの比較画像Ｔｃ上の位置と当該基準画素ブロックＰＢの基準画像Ｔ上の位置から視差ｄｐを算出するようになっている。本実施形態では、イメージプロセッサ７は、例えば図３に例示する基準画像Ｔの各基準画素ブロックＰＢに上記のようにして算出した視差ｄｐをそれぞれ割り当てて図４に示すような距離画像Ｔｚを形成し、それらのデータを距離データメモリ８に送信して格納するとともに、それらの視差ｄｐの情報を処理手段９に送信するようになっている。

なお、この視差ｄｐおよび距離画像Ｔｚ上の座標（ｉ，ｊ）と、実空間上の位置（Ｘ，Ｙ，Ｚ）とは三角測量の原理に基づいて以下のように対応づけることができる。具体的には、実空間上においてメインカメラ２ａおよびサブカメラ２ｂの中央真下の道路面上の点を原点とし、自車両の車幅方向すなわち左右方向にＸ軸、車高方向にＹ軸、車長方向すなわち距離方向にＺ軸を取ると、実空間上の点（Ｘ，Ｙ，Ｚ）と、視差ｄｐと距離画像Ｔｚ上の座標（ｉ，ｊ）との関係は、
Ｘ＝ＣＤ／２＋Ｚ×ＰＷ×（ｉ−ＩＶ） …（２）
Ｙ＝ＣＨ＋Ｚ×ＰＷ×（ｊ−ＪＶ） …（３）
Ｚ＝ＣＤ／（ＰＷ×（ｄｐ−ＤＰ）） …（４）
と表すことができ、（Ｘ，Ｙ，Ｚ）と（ｉ，ｊ，ｄｐ）は一対一に対応づけられる。

ここで、ＣＤはメインカメラ２ａとサブカメラ２ｂとの間隔、ＰＷは１画素当たりの視野角、ＣＨはメインカメラ２ａとサブカメラ２ｂの取り付け高さ、ＩＶおよびＪＶは自車両正面の無限遠点のｉ座標およびｊ座標、ＤＰは消失点視差とも呼ばれるオフセット量を表す。

また、上記のように、視差ｄｐと実空間上の距離Ｚは上記（４）式を介して一意に対応づけられる。そのため、距離画像Ｔｚを形成する時点で、各基準画素ブロックＰＢごとの視差ｄｐを距離Ｚの情報に変換し、基準画像Ｔの各基準画素ブロックＰＢにそれぞれ距離Ｚの情報を割り当てて距離画像Ｔｚを形成するように構成することも可能である。

処理手段９（図１参照）は、図示しないＣＰＵやＲＯＭ、ＲＡＭ、入出力インターフェース等がバスに接続されて構成されるコンピュータに構成されている。また、処理手段９には、車速センサやヨーレートセンサ、ステアリングホイールの舵角を測定する舵角センサ等のセンサ類Ｑが接続されている。

なお、ヨーレートセンサの代わりに自車両の車速等からヨーレートを推定する装置等を用いることも可能である。また、本実施形態では、センサ類Ｑには、自車両に搭載された図示しないＡＣＣ装置の作動および停止の情報すなわちＡＣＣ装置のスイッチから送信されてくるオン／オフの情報や、ワイパの作動および停止の情報すなわちワイパスイッチから送信されてくるオン／オフの情報等も含まれる。

処理手段９は、本実施形態における撮像手段２の調整装置であり、車線検出手段１０と、灯火類検出手段１１と、物体検出手段１２と、夜検出手段１３と、撮像モード切替手段１４とを備えており、さらに図示しないメモリを備えている。また、処理手段９の各手段には、センサ類Ｑから必要なデータが入力されるようになっている。

車線検出手段１０は、撮像手段２により撮像された基準画像Ｔ中から自車両の左側および右側の車線を検出するようになっている。具体的には、車線検出手段１０は、図５に示すように、基準画像Ｔを用いて、その１画素幅の水平ラインｊ上を例えば基準画像Ｔの中央から左右方向に探索し、輝度値が隣接する画素の輝度値から設定された閾値以上に大きく変化する画素を車線候補点ｃｌ、ｃｒとして検出する。

そして、基準画像Ｔ上の水平ラインｊを１画素分ずつ上方にシフトさせながら、同様にして各水平ラインｊ上に車線候補点を検出していく。その際、車線検出手段１０は、検出した車線候補点の視差ｄｐ等に基づいて当該車線候補点が道路面上にないと判断した場合には当該車線候補点を車線候補点から除外する。そして、残った車線候補点のうち、自車両に近い側の車線候補点に基づいて車線をハフ変換等により直線で近似して自車両の左右にそれぞれ検出する。

その際、直線との整合性が取れない車線候補点を除外するなどして検出の信頼性を向上させながら、自車両の一方の側（例えば右側）に複数の車線が検出される場合には自車両の他方（例えば左側）に検出した車線との整合性がある車線や前回のサンプリング周期で検出した車線との整合性がある車線を選ぶ等して、自車両の左右にそれぞれ直線を選別する。

このようにして、自車両に近い側に車線を直線状にそれぞれ検出すると、それより遠い側ではその直線に基づいて直線との位置関係等から車線候補点を選別して結ぶことで、図６に示すように自車両の左側および右側にそれぞれ車線Ｌｌ、Ｌｒを検出するようになっている。なお、以上の車線検出手段１０の処理構成については、本願出願人が先に提出した特開２００６−３３１３８９号公報に車線認識装置として詳述されており、詳細な説明は同公報を参照されたい。

灯火類検出手段１１は、灯火類を有する物体の点灯された灯火類を検出するようになっている。灯火類を有する物体の点灯された灯火類とは、例えばテールランプやブレーキランプ、ウインカやフォグランプ、バックランプ、ナンバープレートを照らすナンバーランプ等の先行車両の背面に設けられた点灯された灯火類や、信号機の点灯されている信号灯をいう。

以下では、先行車両Ｖahのテールランプを検出する場合を例に挙げて説明するが、以下の説明は、他の灯火類を検出する場合にもまったく同様に適用される。また、以下では、主に、先行車両Ｖahの左側のテールランプの検出について述べるが、右側のテールランプについても左側のテールランプと同様にして同時に検出が行われる。

灯火類検出手段１１は、まず、図７に示すように、メモリに記憶されている前回のサンプリング周期で先行車両Ｖahのテールランプ中心として検出した基準画像Ｔ上の画素の座標（cl_i，cl_j）を読み出し、その座標の今回のサンプリング周期における輝度値ｐ１ijが所定の輝度値br1以上か否かを判定する。輝度値br1は例えば０〜２５５の２５６階調の輝度階調で２５０等の高い輝度値に設定される。その座標の今回の輝度値ｐ１ijが輝度値br1以上であれば、基準画像Ｔ上の座標（cl_i，cl_j）の画素は、今回のサンプリング周期においてもテールランプを表す高輝度領域内にあると考えられる。

また、座標（cl_i，cl_j）の今回の輝度値ｐ１ijが輝度値br1未満の場合には、基準画像Ｔ上の座標（cl_i，cl_j）の画素の上下を探索したり、前回検出された右側のテールランプ中心から左右のランプ間距離だけ左側の点やその上下を探索したり、前回検出した先行車両Ｖahの枠線Ｆｒの左右端から所定の位置の上下を探索する等して、輝度値br1以上の輝度値ｐ１ijを有する画素を探索する。

なお、前述したように、夜間においては先行車両Ｖah自体を検出することが困難になる。そのため、そのような場合には、検出した左右のテールランプの基準画像Ｔ上の位置から先行車両Ｖahの位置を推定して先行車両Ｖahを包囲する矩形状の枠線Ｆｒを設定するようになっている。

灯火類検出手段１１は、続いて、図８に示すように、前回のテールランプ中心（cl_i，cl_j）（或いはその近傍等を探索して検出した輝度値br1以上の輝度値を有する画素）を含む基準画像Ｔ中で縦方向に延在する１画素幅の画素列pls上を上向きに１画素ずつシフトしながら各画素の輝度値ｐ１ijを探索していき、輝度値ｐ１ijが前述した輝度値br1より低い輝度値br2未満になる画素の直前の画素の座標（cl_i，ｊmax）を検出する。灯火類検出手段１１は、同様に、画素列pls上を下向きにも探索していき、輝度値ｐ１ijが輝度値br2未満になる画素の直前の画素の座標（cl_i，ｊmin）を検出する。輝度値br2は輝度値br1よりも低い例えば２３０の輝度値に設定される。

灯火類検出手段１１は、検出した高輝度領域の上端の座標（cl_i，ｊmax）と下端の座標（cl_i，ｊmin）をそれぞれメモリに記憶させ、続いて、上記の画素列pls（或いは探索して検出した輝度値br1以上の輝度値を有する画素を含む画素列）から基準画像Ｔ上の右方向および左方向に画素列をシフトさせて各画素列で高輝度領域を探索する。

具体的には、画素列plsでの高輝度領域の上端と下端のｊ座標ｊmax、ｊminの中点のｊ座標ｊmidを算出し、図９に示すように、画素列を右隣の画素列plに移行し、その画素列plで座標（cl_i＋１，ｊmid）の画素を開始点として前記と同様に高輝度領域の上端と下端を検出して、それらの座標（cl_i＋１，ｊmax）、（cl_i＋１，ｊmin）をそれぞれメモリに記憶する。画素列plをさらに右方向にシフトさせながら探索を繰り返し、最初の画素列plsの左方向についても同様に探索して、高輝度領域の上端、下端の座標をそれぞれメモリに記憶していく。

その際、灯火類検出手段１１は、各画素列pls、plの高輝度領域の上端の画素から下端の画素までの画素数Ｒ（以下、縦方向の長さＲという。）を監視しており、図１０（Ａ）に示すように各画素列pls、plの高輝度領域の縦方向の長さＲが一旦最大値Ｒmaxとなり、図１０（Ｂ）に示すように画素列plの高輝度領域の縦方向の長さＲが最大値Ｒmaxを下回り、図１０（Ｃ）に示すように画素列plの高輝度領域の縦方向の長さＲの減少傾向が続いて、画素列plに高輝度領域が発見できなくなれば、その時点で右方向または左方向の画素列での探索を停止する。

また、図１１に示すように画素列plの高輝度領域の縦方向の長さＲが減少して一旦最小値Ｒminとなった後、再び最小値Ｒminより大きな値になった場合には、画素列plで右方向または左方向の画素列での探索を停止し、その直前の画素列までを高輝度領域が検出された範囲とする。

そして、灯火類検出手段１１は、このようにして検出した各画素列pls、plにおける各高輝度領域の上端の座標と下端の座標をメモリから読み出して、図１２に示すように、各高輝度領域の上端の座標の最高点Ｊmaxと下端の座標の最低点Ｊminの中点を先行車両Ｖahの左側のテールランプＴＬｌのテールランプ中心のｊ座標cl_jとし、また、高輝度領域の縦方向の長さＲが最大値Ｒmaxとなる画素列plのｉ座標を左側のテールランプ中心のｉ座標cl_iとして、左側のテールランプ中心の座標（cl_i，cl_j）を検出する。また、高輝度領域が検出された画素列のｉ座標の最大値Ｉmaxと最小値Ｉminも検出する。右側のテールランプＴＬｒについても同様にしてテールランプ中心の座標（cr_i，cr_j）等を検出する。

灯火類検出手段１１は、このようにして検出した左右のテールランプ中心の座標（cl_i，cl_j）、（cr_i，cr_j）をそれぞれ今回のテールランプ中心としてメモリに記憶し、左右のテールランプＴＬｌ、ＴＬｒの最高点Ｊmax、最低点Ｊmin、ｉ座標の最大値Ｉmax、最小値Ｉmin等をそれぞれメモリに記憶するようになっている。

物体検出手段１２は、撮像手段２により撮像された基準画像Ｔ中から物体を検出するようになっている。本実施形態では、物体検出手段１２における基準画像Ｔ中からの物体検出処理は、前記各公報に記載された車外監視装置等における処理をベースに構成されている。以下、簡単に説明する。

物体検出手段１２は、例えば図３に示した距離画像Ｔｚを図１３に示すように所定幅の縦方向の短冊状の区分Ｄｎに分割する。そして、図１４に示すように、各区分ＤｎごとにヒストグラムＨｎを作成し、各区分Ｄｎに含まれる視差ｄｐのうち道路面より上方に存在する視差ｄｐをヒストグラムＨｎに投票し、その最頻値ｄｐｎをその区分の代表視差とする。これを全区分についてそれぞれ行う。

そして、物体検出手段１２は、各区分Ｄｎの代表視差に基づいて前記（２）〜（４）式から物体の実空間上の座標（Ｘ，Ｙ，Ｚ）を算出するようになっている。算出された物体の座標を実空間上にプロットすると、各物体の座標は図１５に示すように前方の物体の自車両Ａに面した部分に対応する部分に多少ばらつきを持って各点としてプロットされる。

物体検出手段１２は、このようにプロットされる各点について、実空間上の各点の隣接する点とのＸ軸方向の距離やＺ軸方向の距離、グループ化した場合の左端の点から右端の点までのＸ軸方向の全長等を検索しながら、それらの値がそれぞれ設定された閾値以内である点をそれぞれグループにまとめ、図１６に示すようにそれぞれのグループ内の各点を直線近似して物体を検出するようになっている。

また、本実施形態では、物体検出手段１２は、このようにして検出した各物体を図１７に示すように基準画像Ｔ上で矩形状の枠線で包囲するようにして検出するようになっている。なお、図１６や図１７において、ラベルＯやラベルＳは物体の自車両Ａに対向する面の種別を表し、ラベルＯは物体の背面、ラベルＳは物体の側面が検出されていることを表す。

本実施形態では、物体検出手段１２は、さらに、検出した物体の中から先行車両を検出するようになっている。

物体検出手段１２は、先行車両検出においては、まず、図１８に示すように自車両Ａの挙動に基づいて自車両Ａが今後進行するであろう軌跡を走行軌跡Ｌestとして推定し、その走行軌跡Ｌestを中心とする自車両Ａの車幅分の領域を自車両Ａの進行路Ｒestとして算出するようになっている。

自車両Ａの走行軌跡Ｌestは、自車両Ａの車速Ｖやヨーレートγ、ステアリングホイールの舵角δ等に基づいて下記（５）式または下記（６）、（７）式に従って算出される自車両Ａの旋回曲率Ｃuaに基づいて算出することができる。なお、下記の各式におけるＲｅは旋回半径、Ａsfは車両のスタビリティファクタ、Ｌwbはホイールベースである。
Ｃua＝γ／Ｖ …（５）
Ｒｅ＝（１＋Ａsf・Ｖ^２）・（Ｌwb／δ） …（６）
Ｃua＝１／Ｒｅ …（７）

そして、物体検出手段１２は、自車両Ａの進行路Ｒest上に存在する物体の中で自車両Ａに最も近接する物体を自車両Ａの前方を走行する先行車両として検出するようになっている。例えば図１７や図１８では、車両Ｏ３が先行車両Ｖahとして検出される。

なお、本実施形態では、物体検出手段１２は、前回のサンプリング周期で検出した先行車両と今回のサンプリング周期で先行車両として検出した物体とが同一の立体物である確率を算出するなどして、整合性を保ちながら先行車両を追跡するようになっている。また、物体検出手段１２は、検出した先行車両が自車両の前方から離脱してさらにその前方の車両が新たに先行車両となったり、自車両と先行車両との間に他の車両が割り込んできて当該他の車両が新たな先行車両となることによる先行車両の交替を検出できるようになっている。

以上は、物体検出手段１２の通常の物体検出および先行車両検出の構成である。

しかし、後述する撮像手段２の撮像モードが第１撮像モードに切り替えられた状態では、先行車両ＶahのテールランプＴＬｌ、ＴＬｒやブレーキランプ等の先行車両Ｖahの背面に設けられて点灯している灯火類や、信号機では点灯している青、黄または赤の信号灯しか撮像されない状態となり、上記のように先行車両Ｖah等自体のエッジ部分について、ステレオマッチングを適切に行うことができなくなる。そのため、距離画像Ｔｚでは、先行車両Ｖah等自体のエッジ部分について有効な視差ｄｐのデータが得られないか、或いは得られても十分有効に先行車両Ｖah等を検出するに足るデータとはなり難い。

そこで、本実施形態では、このような場合、物体検出手段１２は、上記の灯火類検出手段１１により検出されたテールランプＴＬｌ、ＴＬｒや信号灯等の情報に基づいて、先行車両Ｖahや信号機等を検出するようになっている。

具体的には、物体検出手段１２は、例えば灯火類検出手段１１が検出した左右のテールランプＴＬｌ、ＴＬｒの最高点Ｊmax、最低点Ｊmin、ｉ座標の最大値Ｉmax、最小値Ｉmin等をそれぞれメモリから読み出し、或いは過去に検出された左右のテールランプＴＬｌ、ＴＬｒの情報に基づいて今回のサンプリング周期で基準画像Ｔ上に左右のテールランプＴＬｌ、ＴＬｒが撮像される位置を推定し、距離画像Ｔｚからそれらを含む所定範囲の画像部分の視差ｄｐを抜き出してそれらの平均値や最頻値等を算出し、視差ｄｐの平均値や最頻値等を前記（４）式のｄｐに代入して解くことで、自車両と先行車両Ｖahとの距離Ｚを算出するように構成される。

物体検出手段１２は、以上のようにして検出した各物体や先行車両Ｖahの情報等を、必要に応じて物体検出装置１の外部に出力するようになっている。

夜検出手段１３は、自車両が走行中の環境が夜間であることを検出するようになっている。本実施形態では、夜検出手段１３は、自車両のヘッドライトの点灯を検出して自車両が走行中の環境が夜間であることを検出するようになっている。なお、この他にも、例えば時刻によって夜間であることを検出したり、日の出と日の入りの時刻を入手してそれに基づいて夜間であることを検出するように構成することも可能である。

撮像モード切替手段１４は、夜検出手段１３により夜間であること検出されている場合に、撮像手段２の撮像モードを、少なくとも灯火類を有する物体の点灯された灯火類の輪郭部分を撮像可能な第１撮像モードと、灯火類を有しない対象を検出可能な第２撮像モードとの間で切り替えるように構成されている。

前述したように、夜間の走行時においては、撮像手段の露光量等を調整しても、先行車両のテールランプや信号灯等の灯火類と歩行者や車線とを同時に的確に検出することは事実上不可能である。

そこで、本実施形態では、先行車両のテールランプ等の灯火類を検出する第１撮像モードでは、前述した撮像手段２の自動的な露光調整の度合を表すシャッタレベルからさらにレベルを引き上げて、撮像手段２の露光量と撮像手段２から出力される画素の輝度値の少なくとも一方が小さくなるように調整するようになっている。

このように調整することで、先行車両のテールランプのような灯火類を有する物体の点灯された灯火類の光が周囲に拡散しないようになり、灯火類の輪郭部分を明瞭に撮像する可能となる。しかし、必ずしも歩行者や車線が検出されなくなるとは限らないが、基本的には、それらの検出は犠牲にされる。

また、歩行者や車線のような灯火類を有しない対象を検出する第２撮像モードでは、撮像手段２のレベルが自動的なシャッタレベルにまで引き下げられ、また、必要に応じて調整されて、撮像手段２の露光量と撮像手段２から出力される画素の輝度値の少なくとも一方が大きくなるように調整するようになっている。

このように調整することで、歩行者や車線のような灯火類を有しない対象を検出可能な状態に撮像する可能となる。しかし、灯火類を有する物体の点灯された灯火類の光が周囲に拡散して撮像されるようになるため、通常、それらに基づくステレオマッチングにより得られた視差や距離のばらつきが大きくなる。

以下、夜検出手段１３により夜間であること検出されている場合すなわち夜間走行時における、撮像モード切替手段１４における撮像手段２の撮像モードの切り替えの条件や切り替え手法等について説明する。

［第１条件］
（１）撮像モード切替手段１４は、自車両において先行車追従制御または定速走行制御（本実施形態ではＡＣＣ装置による制御）が作動された場合に、撮像手段２の撮像モードを第２撮像モードから第１撮像モードに切り替える。また、作動が停止された場合に、第１撮像モードから第２撮像モードに切り替える。

この条件は、少なくとも先行車追従制御や定速走行制御が作動された場合に自車両と先行車両Ｖahとの距離が的確に検出されないと、前述したように安定して走行している先行車両の後方で自車両が加速したり減速したりして異常な行動を生じてしまうため、このような場合に先行車両検出を優先して行うための条件である。そのため、この場合、撮像モード切替手段１４は、歩行者や車線の検出をあきらめて、撮像手段２の撮像モードを第２撮像モードから第１撮像モードに切り替えて、撮像手段２の露光量と撮像手段２から出力される画素の輝度値の少なくとも一方が小さくなるように調整する。

また、先行車追従制御や定速走行制御の作動が停止された場合、先行車両Ｖahの検出は引き続き継続されるが、先行車両Ｖahを的確に検出することよりも、道路脇や道路を横断中の歩行者等を検出したり、車線を検出して車線逸脱を防止したりする方が車両走行の安全性を向上させることができる。そのため、撮像モード切替手段１４は、この場合、歩行者や車線等を検出し易くするために、撮像手段２の撮像モードを第１撮像モードから第２撮像モードに切り替えて、撮像手段２の露光量と撮像手段２から出力される画素の輝度値の少なくとも一方が大きくなるように調整する。

［第２条件］
（２）撮像モード切替手段１４は、自車両の速度が所定の速度以上になった場合に、撮像手段２の撮像モードを第２撮像モードから第１撮像モードに切り替える。また、速度が所定の速度未満になった場合に、第１撮像モードから第２撮像モードに切り替える。

自車両の速度が例えば８０ｋｍ／ｈであれば、自車両が自動車専用道路を走行していると考えられ、自動車専用道路には少なくとも歩行者は存在しないから、このような場合は先行車両検出に専念できる。この条件は、このように自車両が自動車専用道路を走行していることを判定するための条件である。この場合も、この条件が満たされれば、他の条件にかかわらず、撮像モード切替手段１４は、撮像手段２の撮像モードを第２撮像モードから第１撮像モードに切り替えて、撮像手段２の露光量と撮像手段２から出力される画素の輝度値の少なくとも一方が小さくなるように調整する。

また、自車両の速度が例えば８０ｋｍ／ｈを下回る状況では、自車両は自動車専用道路ではなく一般道を走行している可能性がある。そのため、自車両の速度が所定の速度（例えば８０ｋｍ／ｈ）未満になった場合には、撮像モード切替手段１４は、歩行者や車線等を検出し易くするために、撮像手段２の撮像モードを第１撮像モードから第２撮像モードに切り替えて、撮像手段２の露光量と撮像手段２から出力される画素の輝度値の少なくとも一方が大きくなるように調整する。

なお、自車両がカーナビゲーション装置等を備えている場合には、その地図情報等を用いて自車両が自動車専用道路を走行中であるか否かを判定することができる。そのため、地図情報等を入手して自車両が自動車専用道路を走行中であることを検出する図示しない走行検出手段を設けておき、走行検出手段により自車両が自動車専用道路を走行中であることが検出された場合に、撮像モード切替手段１４が撮像手段２の撮像モードを上記と同様に切り替えるように構成することも可能である。

［第３条件］
（３）撮像モード切替手段１４は、自車両のワイパが作動された場合に、撮像手段２の撮像モードを第２撮像モードから第１撮像モードに切り替える。また、ワイパの作動が停止された場合に、第１撮像モードから第２撮像モードに切り替える。

夜間の走行中に、ワイパが作動されるような降雨や降雪等がある場合に撮像手段２の撮像モードを第２撮像モードのままとすると、撮像手段２のレンズの前方に配置されるフロントガラスに付着した水等の影響で先行車両ＶahのテールランプＴＬｌ、ＴＬｒやブレーキランプ等の灯火類の光が周囲に大きく拡散して（すなわち滲んで）撮像されるようになり、先行車両Ｖahや歩行者等の検出が困難になる。

そのため、このような場合には、撮像手段２の露光量と撮像手段２から出力される画素の輝度値の少なくとも一方が小さくなるように調整することが必要となる。しかし、撮像手段２の露光量等が小さくなるように調整することで、歩行者や車線はますます検出し難くなる。

この条件は、このような場合には、先行車両検出に専念し、先行車両ＶahのテールランプＴＬｌ、ＴＬｒ等を的確に検出できるようにするための条件である。従って、この場合も、この条件が満たされれば、他の条件にかかわらず、撮像モード切替手段１４は、撮像手段２の撮像モードを第２撮像モードから第１撮像モードに切り替えて、撮像手段２の露光量と撮像手段２から出力される画素の輝度値の少なくとも一方が小さくなるように調整する。

また、ワイパの作動が停止されれば降雨や降雪等が止んだと考えられるから、撮像モード切替手段１４は、他の条件が満たされなければ、歩行者や車線等を検出し易くするために撮像手段２の撮像モードを第１撮像モードから第２撮像モードに切り替えて、撮像手段２の露光量と撮像手段２から出力される画素の輝度値の少なくとも一方が大きくなるように調整する。

次に、上記のいずれかの条件が満たされて、撮像手段２の撮像モードを切り替える際、撮像モード切替手段１４は、第２撮像モードから第１撮像モードに切り替える場合には撮像手段２に対してその自動的な露光調整のレベルより高い露光調整のレベルを送信して強制的に撮像手段２の露光量等を小さくする。

また、第１撮像モードから第２撮像モードに切り替える場合には撮像手段２に対してその自動的な露光調整のレベル或いはそれに近いレベルの露光調整のレベルを送信して必要に応じて撮像手段２の露光量等の調整を行うようになっている。

撮像手段２は、撮像モード切替手段１４から送信されてくるレベルに応じて、自らの露光量や出力する画素の輝度値の少なくとも一方を変更するようになっている。露光量や画素の輝度値をいかにして調整するかについては、撮像手段２の構成等によって予め設定される。

撮像モード切替手段１４は、第２撮像モードから第１撮像モードに切り替える際、同一のサンプリング周期において算出された先行車両Ｖahのテールランプ等の点灯された灯火類に対応する視差の各データのばらつきの度合を監視しながら撮像手段２の露光量等の調整を行うようになっている。

ここで、夜間、第２撮像モードで例えば先行車両ＶahのテールランプＴＬｌ、ＴＬｒを撮像すると、図１９に示すように、テールランプＴＬｌ、ＴＬｒの光が周囲に大きく拡散し、先行車両Ｖahのボディのエッジ部分からはみ出して撮像される。この状態で、ステレオマッチング手段６でステレオマッチング処理を行って視差ｄｐを算出し、上記のようにして代表視差を算出すると、各区分Ｄｎの代表視差ｄｐｎは、図２０に示すように、各区分Ｄｎごとに大きくばらつく。

そして、この各区分Ｄｎの代表視差ｄｐｎのばらつきは、撮像手段２の撮像モードを第２撮像モードから第１撮像モードに切り替えて撮像手段２の露光量と撮像手段２から出力される画素の輝度値の少なくとも一方が小さくなるように調整することで小さくなっていく。

そこで、撮像モード切替手段１４は、撮像手段２の撮像モードを第２撮像モードから第１撮像モードに切り替える場合、この各区分Ｄｎの代表視差ｄｐｎのばらつきの度合を例えば分散σ^２を算出することで把握し、分散σ^２が予め設定された所定の閾値以内になるまで撮像手段２に対する強制的な露光調整のレベルを高めるようにして調整を行うようになっている。

また、先行車両ＶahのテールランプＴＬｌ、ＴＬｒの光が図２０のように撮像される場合、各区分Ｄｎの代表視差ｄｐｎは、各サンプリング周期ごとにもばらつき、自車両と先行車両との実際の距離或いはそれに対応する視差では起こり得ないような変動を生じる。そのため、本実施形態では、撮像モード切替手段１４は、撮像手段２の撮像モードを第２撮像モードから第１撮像モードに切り替える場合には、この各区分Ｄｎの代表視差ｄｐｎの各サンプリング周期ごとのばらつきの度合も監視するようになっている。

具体的には、撮像モード切替手段１４は、例えば単数または複数の区分Ｄｎの代表視差ｄｐｎについて、各区分Ｄｎごとに、前回のサンプリング周期における代表視差ｄｐｎと今回のサンプリング周期における代表視差ｄｐｎとの差（変化量）の絶対値を算出し、それらの絶対値がすべて予め設定された閾値以内になるまで撮像手段２に対する強制的な露光調整のレベルを高めるようにして調整を行うようになっている。

本実施形態では、上記の２つの監視基準に基づいて撮像手段２に対する強制的な露光調整のレベルを決定するため、図１９のように光が先行車両Ｖahのボディのエッジ部分からはみ出すように撮像されていた先行車両ＶahのテールランプＴＬｌ、ＴＬｒが、図１２に示すように周囲への光の拡散がほとんどない状態に撮像されるようになる。

そのため、灯火類検出手段１１で先行車両ＶahのテールランプＴＬｌ、ＴＬｒが的確に検出され、それに基づいて物体検出手段１２で自車両と先行車両Ｖahとの距離Ｚを的確に算出することが可能となる。

なお、例えば、上記の分散σ^２やサンプリング周期ごとの代表視差ｄｐｎの変化量の絶対値と、撮像手段２に強制的に設定する露光調整のレベルとを予めテーブル化しておき、そのテーブルを参照して撮像手段２に強制的に設定する露光調整のレベルを決定するように構成することも可能である。

また、この他にも、例えば、光が拡散した状態の輝度値の分布に基づいて撮像手段２に対する強制的な露光調整のレベルを決定するように構成することも可能である。具体的には、例えば信号機の点灯している信号灯の場合で説明すれば、図２１に示すように、光が拡散した状態の信号機Ｂの信号灯ＳＬに対して、灯火類検出手段１１により高輝度領域の最高点Ｊmax、最低点Ｊmin、ｉ座標の最大値Ｉmax、最小値Ｉminが検出される。

この高輝度領域の最高点Ｊmax等に基づいて、図２２に示すように拡散した光の部分を含む画像領域ＰＴを設定する。そして、画像領域ＰＴの上端と下端の中間の位置の横方向に延在する１画素幅の画素列Ｊmidに属する各画素の輝度値ｐ１ijを抽出すると、図２３のグラフに示すように、信号灯ＳＬの中心点のｉ座標c_i付近で輝度値ｐ１ijが高く、そこから離れるに従って徐々に輝度値ｐ１ijが減少するような輝度値ｐ１ijの分布形状が得られる。

そこで、図２４に示すように、画素列Ｊmid上のある画素の輝度値とそれに隣接する画素の輝度値との差の絶対値の最大値が所定の閾値以上になるまで撮像手段２に対する強制的な露光調整のレベルを高めるようにして調整を行う。このように構成すれば、図２５に示すように、信号機Ｂの信号灯ＳＬの光が周囲にほとんど拡散しない状態に撮像されるようになり、上記と同様にして自車両と信号機Ｂとの距離を的確に検出することが可能となる。

一方、第１撮像モードから第２撮像モードに切り替える場合には、図６に示した左右の車線ＬＬ、ＬＲや図２６に示す歩行者Ｍのような灯火類を有しない対象を的確に検出できるように撮像手段２の露光調整のレベルを調整する必要がある。そこで、撮像モード切替手段１４は、撮像手段２の露光量と撮像手段２から出力される画素の輝度値の少なくとも一方が大きくなるように、撮像手段２の露光調整のレベルを通常の自動的な露光調整のレベルに戻すようになっている。

しかし、撮像手段２の自動的な露光調整のレベルでは、必ずしも車線ＬＬ、ＬＲや歩行者Ｍを的確に撮像し得るとは言い切れないため、本実施形態では、撮像モード切替手段１４は、同一のサンプリング周期において車線ＬＬ、ＬＲや歩行者Ｍを検出した画像領域における視差ｄｐのデータ点数を監視するようになっている。

この監視領域は、灯火類を有しない対象が例えば車線ＬＬ、ＬＲであれば車線ＬＬ、ＬＲそのものに設定される。そして、撮像モード切替手段１４は、例えば車線ＬＬ、ＬＲの検出に用いられた車線候補点ｃｌ、ｃｒ（図５参照）のデータ点数が、撮像手段２の自動的な露光調整のレベルにおいて所定の閾値以上であればそのレベルを維持し、所定の閾値に達しなければ、車線候補点ｃｌ、ｃｒのデータ点数が所定の閾値以上になるように撮像手段２の露光調整のレベルを強制的に増減するようになっている。

また、灯火類を有しない対象が例えば図２６に示した歩行者Ｍである場合、撮像モード切替手段１４は、検出された歩行者Ｍを包囲するように設定される枠線（図示省略）を監視領域とし、撮像手段２の自動的な露光調整のレベルで監視領域中の歩行者Ｍに対応する視差ｄｐのデータ点数が所定の閾値以上であればそのレベルを維持し、所定の閾値に達しなければ、歩行者Ｍに対応する視差ｄｐのデータ点数が所定の閾値以上になるように撮像手段２の露光調整のレベルを強制的に増減するようになっている。

なお、灯火類を有しない対象が歩行者Ｍである場合、歩行者Ｍの自車両からの位置が遠ざかるに従って歩行者Ｍを包囲する枠線に含まれる画素数が減少する。そのため、上記の所定の閾値を、一定値とする代わりに、視差ｄｐに応じて変動する値として設定することが好ましい。

以上のように、本実施形態に係る撮像手段の調整装置（処理手段）９によれば、夜間の走行時において、撮像手段２により対象を撮像する際に、検出する対象が、先行車両ＶahのテールランプＴＬｌ、ＴＬｒや信号機Ｂの信号灯ＳＬ等のように灯火類を有する物体の点灯された灯火類である場合と、歩行者Ｍや車線ＬＬ、ＬＲのように灯火類を有しない対象である場合とで、撮像手段の撮像モードを切り替えるように構成した。

そのため、夜間の走行時においては、同時に的確に検出することが事実上不可能であるそれらの対象を同時に検出しようとして、先行車両Ｖahに対する追従走行制御を作動させているのに、安定して走行している先行車両Ｖahの後方で自車両が加速したり減速してしまったり、道路面に対して静止しているはずの信号機Ｂを移動物体として検出してしまうことを回避することが可能となる。

また、先行車両Ｖahや信号機Ｂ等を検出する際にはそのテールランプＴＬｌ、ＴＬｒや信号灯Ｂ等の灯火類の光が周囲に拡散しないように撮像手段２の露光量等を小さくし、歩行者Ｍや車線ＬＬ、ＬＲを検出する際には露光量等を大きくするように、撮像手段の露光量等を自動的に的確に切り替えて、検出する対象が適切に撮像されるように調整することが可能となる。

さらに、本実施形態に係る物体検出装置１によれば、上記のような機能を有する撮像手段の調整装置（処理手段）９を備えるため、撮像手段２が備える自動的な露光調整では先行車両Ｖahの左右のテールランプＴＬｌ、ＴＬｒやブレーキランプ等の光がそれぞれ拡散して撮像されるような環境においても、撮像モード切替手段１４により撮像手段２の撮像モードが適切に切り替えられる。

そのため、先行車両Ｖah等を検出する場合にはそのテールランプＴＬｌ、ＴＬｒ等の輪郭が明瞭に撮像されるようになるため、先行車両Ｖah等を的確に検出することが可能となり、一方で、歩行者Ｍ等を検出する場合には撮像手段の露光量等が自動的に切り替えられて露光量等が大きくなるため、歩行者Ｍを的確に検出することが可能となる。

なお、本実施形態では、上記のように、先行車追従制御や定速走行制御が作動された場合や自車両の速度が所定の速度以上になった場合、或いは自車両のワイパが作動された場合に、撮像モード切替手段１４により、撮像手段２の撮像モードが第１撮像モードと第２撮像モードとの間で切り替えられる。そのため、ドライバが注意をしていれば、撮像手段２の撮像モードが第１撮像モードと第２撮像モードのいずれであるかは分かるようになっている。

しかし、ドライバは運転に集中しているため、例えば撮像手段２の撮像モードが第１撮像モードになっていて歩行者等が検出され難い状態になっていても、通常、そのことには気がつかない。そこで、例えば表示画面に表示したり、ランプを点灯させるなどして、ドライバに対して撮像手段２の撮像モードが第１撮像モードになっていることを報知する報知手段を設けるように構成することが好ましい。

本実施形態に係る撮像手段の調整装置を含む物体検出装置の構成を示すブロック図である。 イメージプロセッサにおけるステレオマッチング処理の手法を説明する図である。 基準画像の一例を示す図である。 図３の基準画像等に基づいて形成された距離画像を示す図である。 基準画像上での車線候補点の検出の手法を説明する図である。 基準画像上に検出された左右の車線を示す図である。 基準画像上に検出された先行車両および前回のテールランプ中心の画素を表す図である。 前回のテールランプ中心を含む画素列上を探索して検出された高輝度領域およびその上端、下端を表す図である。 図８の画素列の右隣の画素列における高輝度領域の検出の手法を説明する図である。 高輝度領域の縦方向の長さの変化を説明する図であり、（Ａ）は最大値になった場合、（Ｂ）は最大値より短い場合、（Ｃ）は（Ｂ）よりさらに短い場合を表す。 高輝度領域の縦方向の長さが最小値より増加した場合を説明する図である。 左右のテールランプについてそれぞれ検出されたテールランプ中心、最高点、最低点、ｉ座標の最大値、最小値を説明する図である。 距離画像を分割する各区分を示す図である。 図１３の各区分ごとに作成されるヒストグラムの一例を示す図である。 区分ごとの代表視差に基づく実空間上の座標をプロットした図である。 図１５の各点に基づいて実空間上に検出された物体を表す図である。 基準画像上に枠線で包囲されて検出された各物体および先行車両を表す図である。 実空間上の自車両の走行軌跡、進行路および先行車両を表す図である。 光が拡散した先行車両の左右のテールランプを表す図である。 図１９に基づいて算出された代表視差が各区分Ｄｎごとにばらつく様子を説明する図である。 信号機の信号灯について検出された中心点、最高点、最低点、ｉ座標の最大値、最小値を説明する図である。 基準画像上に設定された信号灯を含む画像領域を説明する図である。 図２２の画像領域における輝度値の分布形状を示すグラフである。 撮像手段に対する露光量等の強制的な調整が行われた後の輝度値の分布形状を示すグラフである。 光が拡散しない状態で撮像された信号機の信号灯を表す図である。 歩行者が撮像された基準画像の一例を示す図である。

符号の説明

１ 物体検出装置
２ 撮像手段
６ ステレオマッチング手段
９ 撮像手段の調整装置
１２ 物体検出手段
１３ 夜検出手段
１４ 撮像モード切替手段
Ｂ 物体（信号機）
ｄｐ 視差
ＬＬ、ＬＲ 対象（車線）
Ｍ 対象（歩行者）
ｐ１ij 輝度値
ＰＢ 画素ブロック
ＳＬ 灯火類（信号灯）
Ｔ 画像（基準画像）
ＴＬｌ、ＴＬｒ 灯火類（テールランプ）
Ｖah 物体（先行車両）

Claims (16)

1. 撮像手段により撮像された画像中から物体を検出する物体検出手段と、
   夜間であることを検出する夜検出手段と、
   前記夜検出手段により夜間であること検出されている場合に、前記撮像手段の撮像モードを、少なくとも、灯火類を有する物体の点灯された灯火類の輪郭部分を撮像可能な第１撮像モードと、灯火類を有しない対象を検出可能な第２撮像モードとの間で切り替える撮像モード切替手段と、
   を備えることを特徴とする撮像手段の調整装置。
2. 前記灯火類を有する物体の点灯された灯火類は、先行車両の背面に設けられた点灯された灯火類または信号機の点灯された信号灯であることを特徴とする請求項１に記載の撮像手段の調整装置。
3. 前記灯火類を有しない対象は、歩行者であることを特徴とする請求項１または請求項２に記載の撮像手段の調整装置。
4. さらに前記画像中から自車両の左側および右側の車線を検出する車線検出手段を備え、
   前記灯火類を有しない対象は、前記車線であることを特徴とする請求項１から請求項３のいずれか一項に記載の撮像手段の調整装置。
5. 前記撮像モード切替手段は、自車両において先行車追従制御または定速走行制御が作動された場合に前記撮像手段の撮像モードを前記第２撮像モードから前記第１撮像モードに切り替え、前記作動が停止された場合に前記撮像手段の撮像モードを前記第１撮像モードから前記第２撮像モードに切り替えることを特徴とする請求項１から請求項４のいずれか一項に記載の撮像手段の調整装置。
6. 前記撮像モード切替手段は、自車両の速度が所定の速度以上になった場合に前記撮像手段の撮像モードを前記第２撮像モードから前記第１撮像モードに切り替え、前記速度が前記所定の速度未満になった場合に前記撮像手段の撮像モードを前記第１撮像モードから前記第２撮像モードに切り替えることを特徴とする請求項１から請求項５のいずれか一項に記載の撮像手段の調整装置。
7. 自車両が自動車専用道路を走行中であることを検出する走行検出手段をさらに備え、
   前記撮像モード切替手段は、前記走行検出手段により自車両が自動車専用道路を走行中であることが検出された場合に前記撮像手段の撮像モードを前記第２撮像モードから前記第１撮像モードに切り替え、前記走行検出手段により自車両が自動車専用道路を走行中であることが検出されなくなると前記撮像手段の撮像モードを前記第１撮像モードから前記第２撮像モードに切り替えることを特徴とする請求項１から請求項６のいずれか一項に記載の撮像手段の調整装置。
8. 前記撮像モード切替手段は、自車両のワイパが作動された場合に前記撮像手段の撮像モードを前記第２撮像モードから前記第１撮像モードに切り替え、前記ワイパの作動が停止された場合に前記撮像手段の撮像モードを前記第１撮像モードから前記第２撮像モードに切り替えることを特徴とする請求項１から請求項７のいずれか一項に記載の撮像手段の調整装置。
9. 前記撮像モード切替手段は、前記撮像モードの切り替えに伴って、前記撮像手段の露光量と前記撮像手段から出力される画素の輝度値の少なくとも一方の調整を行うことを特徴とする請求項１から請求項８のいずれか一項に記載の撮像手段の調整装置。
10. 前記撮像手段は、一対のカメラで物体を同時に撮像して一対の画像を出力するステレオ撮像手段であり、
    前記撮像手段で撮像された一対の画像に対してステレオマッチング処理を行い、前記画像の画素ブロックごとに視差を算出するステレオマッチング手段をさらに備えることを特徴とする請求項９に記載の撮像手段の調整装置。
11. 前記撮像モード切替手段は、前記撮像手段の撮像モードを前記第２撮像モードから前記第１撮像モードに切り替える場合に、同一の撮像周期において前記ステレオマッチング手段により算出された前記灯火類を有する物体の点灯された灯火類に対応する前記視差の各データのばらつきが所定の閾値以内となるように前記調整を行うことを特徴とする請求項１０に記載の撮像手段の調整装置。
12. 前記撮像モード切替手段は、前記撮像手段の撮像モードを前記第２撮像モードから前記第１撮像モードに切り替える場合に、時間的に隣接する撮像周期において前記ステレオマッチング手段により算出された前記灯火類を有する物体の点灯された灯火類に対応する前記視差のデータの時間的な変化量の絶対値が所定の閾値以内となるように前記調整を行うことを特徴とする請求項１０または請求項１１に記載の撮像手段の調整装置。
13. 前記撮像モード切替手段は、前記撮像手段の撮像モードを前記第２撮像モードから前記第１撮像モードに切り替える場合に、前記画像における前記灯火類を有する物体の点灯された灯火類が撮像された画像領域の輝度値の分布に基づいて、前記画像領域中の画素の輝度値と当該画素に隣接する画素の輝度値との差の絶対値の最大値が所定の閾値以上になるように前記調整を行うことを特徴とする請求項９から請求項１２のいずれか一項に記載の撮像手段の調整装置。
14. 前記撮像モード切替手段は、前記撮像手段の撮像モードを前記第１撮像モードから前記第２撮像モードに切り替える場合に、同一の撮像周期において前記ステレオマッチング手段により算出された前記灯火類を有しない対象に対応する前記視差のデータ点数が所定の閾値以上となるように前記調整を行うことを特徴とする請求項１０から請求項１３のいずれか一項に記載の撮像手段の調整装置。
15. さらに自車両のドライバに対して前記撮像手段の前記撮像モードが第１撮像モードになっていることを報知する報知手段を備えることを特徴とする請求項１から請求項１４のいずれか一項に記載の撮像手段の調整装置。
16. 自車両の周囲を撮像する前記撮像手段と、
    請求項１から請求項１５のいずれか一項に記載の撮像手段の調整装置と、を備え、
    前記物体検出手段は、前記第１撮像モードである場合には前記灯火類を有する物体を、前記第２撮像モードである場合には前記灯火類を有しない対象をそれぞれ検出することを特徴とする物体検出装置。

Images