JP4867761B2 - 夜間視界支援装置 - Google Patents

Description

本発明は、夜間視界支援装置に係り、特に夜間走行時に車両の前方に赤外線を照射して運転者の視界を支援する夜間視界支援装置に関する。

自動車等の車両が夜間走行をする場合、運転者は前照灯からの光照射範囲に障害物が存在しないことを視覚的に確認しながら運転操作を行っているが、例えば、前照灯をロービームにすると、遠方の障害物や歩行者を視認し難くなる。そこで、前照灯（ロービーム）からの光照射範囲の前方に近赤外線を照射し、近赤外線カメラにより撮像された車両前方の画像を表示することにより、夜間走行時の運転者の視界を支援する夜間視界支援装置の開発が進められている。近赤外線は、人が視認できないため、対向車の運行に支障を与えることなく、前照灯（ロービーム）からの光照射範囲の前方に照射できる。また、近赤外線は、可視光に比べて波長が長く、散乱しにくい性質があるため、雨や霧で視界が開けないときも、車両前方の障害物を撮像しやすい。

しかしながら、近赤外線カメラにより撮像された車両前方の画像をそのまま表示すると、画像の中に対向車の前照灯等の発光源が撮像された場合、ハレーションの影響で画像の一部が白く表示されるため、画像の中の歩行者や障害物の有無を識別し難くなる。

このような不都合を解消するための工夫は既になされており、例えば、障害物に対応する画素より高い輝度の画素が障害物に対応する画素の輝度よりも低い輝度値となるように画像を修正する車両用画像修正装置が提案されている（例えば、特許文献１参照）。また、近赤外線カメラの露光時間をハレーションの影響を抑制できる値に固定した近赤外線カメラが提案されている（例えば、特許文献２参照）。
特開２００３−１９９０９４号公報 特開２００４−１５３４２５号公報

しかしながら、特許文献１に記載の車両用画像装置は、近赤外線カメラ画像を修正することにより、ハレーションの影響を抑制できるが、歩行者や障害物から近赤外線カメラに入射する近赤外線の光量を向上できず、近赤外線カメラ画像中の歩行者や障害物の映像の明るさを向上できない。

また、特許文献２に記載の近赤外線カメラは、近赤外線カメラの露光時間を短くすることにより、ハレーションの影響を抑制できるが、歩行者や障害物から近赤外線カメラに入射する近赤外線の光量が低下し、近赤外線カメラ画像中の歩行者や障害物の映像の明るさが低下する。

本発明は、上記に鑑みてなされたものであって、ハレーションの影響を抑制できると共に、歩行者や障害物から近赤外線カメラに入射する近赤外線の光量を向上でき、近赤外線カメラ画像中の歩行者や障害物の映像の明るさを向上できる夜間視界支援装置の提供を目的とする。

前記目的を達成するため、本発明は、
車両の前方に赤外線を照射する赤外線ランプと、前記車両の前方からの赤外線を受光して画像信号を出力する赤外線カメラと、前記赤外線カメラが出力する前記画像信号を画像として表示する画像表示装置とを備えた夜間視界支援装置において、
前記画像表示装置により表示される画像の画素の輝度が予め定めた閾値以上となる高輝度領域を判定する高輝度領域判定手段と、
前記高輝度領域判定手段により判定された前記高輝度領域に対応する前記車両の前方を照射する前記赤外線ランプの光量が、前記高輝度領域以外の領域に対応する前記車両の前方を照射する前記赤外線ランプの光量より低くなるように前記赤外線ランプを制御する赤外線ランプ制御手段とを備え、
前記赤外線ランプ制御手段は、
前記車両の速度が所定値以上か否かを判定する車両速度判定手段と、
前記赤外線ランプからの赤外線の照射領域を車両幅方向に集光する赤外線集光手段とを有し、
前記車両速度判定手段により前記車両の速度が所定値以上であると判定されたときに、前記赤外線集光手段により前記赤外線ランプからの赤外線の照射領域を車両幅方向に集光することを特徴とする。

本発明によれば、車両前方から近赤外線カメラに入射する近赤外線の光量の分布を均一に近づけることができる。この結果、ハレーションの影響を抑制できると共に、歩行者や障害物から近赤外線カメラに入射する近赤外線の光量を向上でき、赤外線カメラ画像中の歩行者や障害物の映像の明るさを向上できるため、運転者が赤外線カメラ画像中の歩行者や障害物を識別し易くなる。

また、本発明によれば、高速走行時に、近赤外線ランプからの近赤外線の照射領域を車両幅方向に集光することにより、遠方（前照灯（ロービーム）の照射範囲の前方）から近赤外線カメラに入射する近赤外線の光量が多くなり、遠方の歩行者や障害物の識別性を向上でき、高速走行を安心して行うことができる。

以下、図面を参照して、本発明を実施するための最良の形態の説明を行う。

図１は、本発明に係る夜間視界支援装置とその周辺装置の一実施例の構成を示したブロック図である。図１に示すように、夜間視界支援装置は、前照灯１（ロービーム）からの光照射領域の前方に近赤外線を照射する近赤外線ランプ１０と、車両の前方からの近赤外線を受光して画像信号を出力する近赤外線カメラ２０と、近赤外線カメラ２０が出力する画像信号を画像として表示する画像表示装置３０と、ＥＣＵ４０（Ｅｌｅｃｔｒｉｃａｌ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）とを備える。ＥＣＵ４０の詳細については後述する。夜間走行する場合、運転者は、前照灯１（ロービーム）からの可視光が照射される領域を目視により確認すると共に、画像表示装置３０により表示された画像を見ながら車両を運行する。

近赤外線ランプ１０は、可視光をカットするフィルタにより近赤外線のみを前方に照射する。近赤外線ランプ１０から照射される近赤外光は、人の目に感じない領域の波長（７８０ｎｍ〜１５００ｎｍ）を有しており、例えば、夜間走行時にハイビームにしても対向車の運転者がまぶしく感じることがないので、対向車の運行に支障を与えることなく、車両の前方に照射できる。また、近赤外線は、可視光に比べて波長が長く、散乱しにくい性質があるため、雨や霧で視界が開けないときも、車両前方の障害物の画像を撮像しやすい。

近赤外線カメラ２０は、レンズ部がフロントガラスの内側から車両の前方に向けて取り付けられており、車両前方からの近赤外線を受光するように車両の天井付近に設けられている。また、近赤外線カメラ２０は、近赤外線を照射された対象物から反射した近赤外線の反射率の差により対象物を撮像する。従って、近赤外線ランプ１０から車両前方に照射する近赤外線の光量が減少すると、近赤外線カメラ２０に受光される近赤外光が暗くなり、画像表示装置３０が表示する画像が暗くなる。

画像表示装置３０は、例えば、ヘッドアップディスプレイを用いる。ヘッドアップディスプレイは、運転席の前のメータ上面に取り付けられており、近赤外線カメラ２０から出力された画像信号から得られた画像（以下、近赤外線カメラ画像）をフロントガラスの内面に投影する。

図２は、従来の夜間視界支援装置により撮像した近赤外線カメラ画像の表示例を模式的に示す図で、（Ａ）は通常の夜間走行時の画像を示す図、（Ｂ）は対向車が接近した状態の画像を示す図である。（Ｃ）は、（Ｂ）の状態の上面視図である。

図２（Ａ）に示されるように、通常の夜間走行時のときは、道路や背景から近赤外線カメラ２０に入射する近赤外線の光量と比較して、歩行者から近赤外線カメラ２０に入射する近赤外線の光量が高いため、運転者が近赤外線カメラ画像の中の歩行者を識別できる。尚、図２（Ａ）では、歩行者の位置関係を明確にするため、道路の車線を白色で表現したが、実際の近赤外線カメラ画像の中では、道路の車線は、道路の車線から近赤外線カメラ２０に入射する近赤外線の光量に応じて撮像される。

図２（Ｂ）に示されるように、対向車が接近した場合（図２（Ｃ）参照）に、ハレーションの影響を抑制するため近赤外線カメラ２０の露光時間を比較的短く設定すると、歩行者から近赤外線カメラ２０に入射する近赤外線の光量が低くなり、赤外線カメラ画像中の歩行者の映像が暗くなる。この結果、運転者が赤外線カメラ画像中の歩行者を識別し難くなる。

図２（Ｃ）に示されるように、近赤外線ランプ１０は、前照灯（ロービーム）からの光照射範囲の前方に近赤外線を照射する。

また、夜間視界支援装置は、車両周辺の光量を受光して光量に応じた信号を出力する光電変換素子からなるライトセンサ２と接続され、ライトセンサ２からの検出信号により日没、夜間、夜明けなどのように太陽からの光量が減少した暗い時間帯になった場合に、前照灯１を点灯させるＥＣＵ４０を有する。

ＥＣＵ４０には、マイクロコンピュータを用いることができ、図１に示すように、前照灯１、ライトセンサ２、前照灯１をオン・オフする前照灯スイッチ３、車速センサ５、フロントガラスのウインドウワイパーをオン・オフするウインドウワイパースイッチ６、近赤外線ランプ１０、近赤外線カメラ２０、画像表示装置３０、近赤外線ランプ１０等（近赤外線ランプ１０、近赤外線カメラ２０、画像表示装置３０）をオン・オフする夜間視界支援モードスイッチ４が有線又は無線で接続されている。また、このＥＣＵ４０は、画像表示装置３０により表示される画像の画素の輝度が予め定めた閾値以上となる高輝度領域を判定する高輝度領域判定手段５０と、高輝度領域判定手段５０により判定された高輝度領域に対応する車両前方を照射する近赤外線ランプ１０の光量が、高輝度領域以外の領域に対応する車両の前方を照射する近赤外線ランプ１０の光量より低くなるように近赤外線ランプ１０を制御する近赤外線ランプ制御手段６０とを有する。この近赤外線ランプ制御手段６０は、高輝度領域判定手段５０により判定された高輝度領域に対応する車両前方を照射する近赤外線ランプ１０の光量が、高輝度領域以外の領域に対応する車両の前方を照射する近赤外線ランプ１０の光量より低くなるように近赤外線ランプ１０を制御する近赤外線ランプ光量制御手段６１と、高輝度領域判定手段５０により判定された高輝度領域の面積が所定値以上か否か判定する高輝度領域面積判定手段７０と、車両の速度が所定値以上か否かを判定する車両速度判定手段８０と、近赤外線ランプ１０からの近赤外線の照射領域を車両幅方向に集光する近赤外線集光手段８１と、車両の周辺の降水量が所定値以上か否かを判定する降水量判定手段９０と、近赤外線ランプ１０からの近赤外線の照射領域を車両幅方向に移動する近赤外線照射領域移動手段９１とから構成される。

ここで、ＥＣＵ４０が実行する処理について図３及び図４のフローチャートを参照して説明する。

ＥＣＵ４０は、図３のＳ１１において、前照灯スイッチがオンに操作されたか否かをチェックする。Ｓ１１で前照灯スイッチがオフの場合は、Ｓ１２に進み、ライトセンサがオンか否かをチェックする。Ｓ１２でライトセンサがオフの場合は、太陽光により周囲の明るさが十分であるので、上記Ｓ１１に戻る。

上記Ｓ１１において、運転者が前照灯スイッチをオンに操作した場合、或いはＳ１２において、日没、夜間、夜明けなどのようにライトセンサにより太陽からの光量が減少したことが検出されると、Ｓ１３に進む。Ｓ１３では、前照灯が点灯される。

続いて、Ｓ１４では、夜間視界支援モードスイッチをオンに操作されているか否かをチェックする。Ｓ１４において、夜間視界支援モードスイッチがオンに操作されていない場合は、Ｓ１１に戻り、Ｓ１１以降の処理を行う。また、Ｓ１４において、夜間視界支援モードスイッチがオンに操作されている場合は、夜間視界支援モードに移行し、Ｓ１５で画像表示装置３０を画像表示状態に切り替える。このとき、画像表示装置３０に表示される画像の輝度は、最大値の１０％に抑えられている。

続いて、Ｓ１６では、車両の車速Ｖが所定速度Ｖａ超に加速されたか否かをチェックする。尚、所定速度Ｖａは、例えば、３０ｋｍ／ｈに設定されている。Ｓ１６において車速Ｖが所定速度Ｖａ超に加速されていない場合は、Ｓ１７に進み、車両が停止したか否かをチェックする。Ｓ１７で車両が停止していないときは、上記Ｓ１５の処理に戻り、Ｓ１７で車両が停止しているときは、Ｓ１８に進み、画像表示装置３０をオフ状態に切り替えて上記Ｓ１１に戻る。

また、上記Ｓ１６において、車速Ｖが所定速度Ｖａ超に加速されている場合は、Ｓ１９に進み、近赤外線ランプ１０を点灯させて車両前方に近赤外線光を照射する。続いて、Ｓ２０では、近赤外線カメラ２０をオンにして車両前方の撮像を開始する。

次の図４に示すＳ２１において、画像表示装置３０に表示される画像の輝度を設定輝度に上昇させる。これにより、近赤外線カメラ２０から出力された画像信号がＥＣＵ４０を介してヘッドアップディスプレイ（画像表示装置３０）に出力されると共に、ヘッドアップディスプレイ（画像表示装置３０）は近赤外線カメラ画像をフロントガラスの内側に投影する。そのため、運転者は、前照灯から可視光が照射される領域を目視により障害物の有無を確認しながら、可視光が照射される領域の前方についてはヘッドアップディスプレイにより表示された近赤外線カメラ画像で歩行者や障害物の有無を確認できる。

また、Ｓ２２では、車速Ｖが規定速度Ｖｂ以上に加速されたか否かをチェックする。尚、規定速度Ｖｂは、前述したＶａよりも高速に規定されており、例えば、８０ｋｍ／ｈである。車速Ｖが規定速度Ｖｂ以上であるときは、Ｓ２３に進み、近赤外線ランプ１０からの近赤外線の照射領域を車両幅方向に集光した後、Ｓ２４に進む。尚、近赤外線ランプ１０からの近赤外線の集光は、近赤外線ランプ１０からの近赤外線をプリズムにより集光すること、又は近赤外線ランプ１０の光源と近赤外線ランプ１０の反射カバーとの距離を変更することにより実現できる。高速走行時に近赤外線ランプ１０からの近赤外線の照射領域を車両の自車線上に集光することにより、前照灯（ロービーム）の照射範囲の前方から近赤外線カメラ２０に入射する近赤外線の光量が多くなり、遠方の歩行者や障害物の識別性を向上でき、高速走行を安心して行うことができる。また、上記Ｓ２２において、車速Ｖが規定速度Ｖｂ未満である場合には、Ｓ２３をスキップしてＳ２４に進む。

続いて、Ｓ２４では、車両周辺の降水量が規定量以上であるか否かをチェックする。本実施例の車両周辺の降水量の判定は、ウインドウワイパースイッチ６のオン・オフにより判定し、ウインドウワイパースイッチ６がオンのとき車両周辺の降水量が規定量以上であると判定する。ウインドウワイパースイッチ６がオンであるときは、Ｓ２５に進み、近赤外線ランプ１０からの近赤外線の照射領域を車両の対向車線上から自車線上に向けて移動した後、Ｓ２６に進む。尚、近赤外線ランプ１０からの近赤外線の照射領域の移動は、近赤外線光をプリズムで屈折すること、又は近赤外線ランプ１０の上下方向の軸、及び左右方向の軸について自由に向きを変更できるギヤ機構を電動モータで制御することにより実現できる。また、上記Ｓ２４において、ウインドウワイパースイッチ６がオフであるときは、Ｓ２５をスキップしてＳ２６に進む。

続いて、Ｓ２６において、赤外線カメラ画像の画素の輝度Ｌが予め定めた閾値Ｌａ以上となる高輝度領域を判定し、Ｓ２７に進む。高輝度領域の判定は、例えば、赤外線カメラ画像に走査線を左から右へ順次走査させて、走査線上の連続する高輝度領域の画素の座標を読み込むことにより判定する。次のＳ２７では、高輝度領域の面積を求める。高輝度領域の面積の演算は、例えば、赤外線カメラ画像に走査線を左から右へ順次走査させて、走査線上の連続する高輝度領域の画素の数を順次和して演算する。

続いて、Ｓ２８では高輝度領域の面積Ｓが所定値Ｓａ以上に拡がっているか否かをチェックする。Ｓ２８において、高輝度領域の面積Ｓが所定値Ｓａ以上に拡がっていると判定された場合は、Ｓ２９に進み、高輝度領域に対応する車両前方を照射する近赤外線ランプ１０の光量が、高輝度領域以外の領域に対応する車両前方を照射する近赤外線ランプ１０の光量より低くなるように近赤外線ランプ１０を制御する。このように、近赤外線ランプ１０を制御することにより、車両前方から近赤外線カメラ２０に入射する近赤外線の光量の分布を均一に近づけることができる。

図５は、図２（Ｂ）の状態を本実施例の夜間視界支援装置により撮像した近赤外線カメラ画像の模式図である。図２（Ｂ）と比較して、本実施例の夜間視界支援装置をした場合は、ハレーションの影響を抑制できると共に、歩行者から近赤外線カメラ２０に入射する近赤外線の光量を向上でき、近赤外線カメラ画像中の歩行者の映像の明るさを向上できる。この結果、運転者が近赤外線カメラ画像中の歩行者を識別し易くなる。

近赤外線ランプ１０の制御は、例えば、近赤外線ランプ１０が複数の近赤外線ＬＥＤから構成される場合は、高輝度領域に対応する車両前方に近赤外線を照射する近赤外線ＬＥＤをオフにして、高輝度領域以外の領域に対応する車両前方に近赤外線を照射する近赤外線ＬＥＤをオンにして行うことができる。或いは、近赤外線ランプ１０の制御は、近赤外線光をプリズムで屈折すること、又は近赤外線ランプ１０の上下方向の軸、及び左右方向の軸について自由に向きを変更できるギヤ機構を電動モータで制御することにより実現できる。

また、上記Ｓ２８で高輝度領域の面積Ｓが所定値Ｓａ以上に拡がっていないと判定された場合、あるいはＳ２９で近赤外線ランプ１０を制御した後、Ｓ３０に進み、車速Ｖが規定速度Ｖｃ未満に減速されたか否かをチェックする。尚、規定速度Ｖｃは、前述したＶａよりも低速に規定されている（Ｖｃ＜Ｖａ）。

上記Ｓ３０において、車速Ｖが規定速度Ｖｃ未満でないときは、上記Ｓ２２に戻り、Ｓ２２以降の処理を行う。また、上記Ｓ３０において、車速Ｖが規定速度Ｖｃ未満であるときは、Ｓ３１に進み、車両が停止したか否かをチェックする。そして、Ｓ３１において、車両が停止せずに低速で走行している場合には、前述したＳ２２に戻り、Ｓ２２以降の処理を行う。

また、Ｓ３１において、車両が停止した場合には、Ｓ３２に進み、前照灯スイッチ３がオフに操作されたか否かをチェックする。Ｓ３２で前照灯スイッチ３がオンの場合は、Ｓ３３に進み、ライトセンサ２がオフか否かをチェックする。Ｓ３３でライトセンサ２がオンの場合は、上記Ｓ２２の処理に戻り、Ｓ２２以降の処理を再度行う。

また、上記Ｓ３２において、運転者が前照灯スイッチ３をオフに操作した場合、あるいはＳ３３において、ライトセンサ２により周囲の明るさが十分な光量でないことを検出した場合には、Ｓ３４に進む。Ｓ３４では、前照灯１、近赤外線ランプ１０、近赤外線カメラ２０、画像表示装置３０をオフにして今回の処理を終了する。

このように、近赤外線カメラ画像の画素の輝度が予め定めた閾値以上の高輝度領域が、規定面積以上であるときは、高輝度領域に対応する車両前方を照射する近赤外線ランプ１０の光量が、高輝度領域以外の領域に対応する車両前方を照射する近赤外線ランプ１０の光量より低くなるように近赤外線ランプ１０を制御することにより、車両前方から近赤外線カメラ２０に入射する近赤外線の光量の分布を均一に近づけることができる。この結果、ハレーションの影響を抑制できると共に、歩行者や障害物から近赤外線カメラ２０に入射する近赤外線の光量を向上できるため、近赤外線カメラ画像の中の歩行者や障害物の識別性を向上できる。

以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。

例えば、本実施例の高輝度領域判定手段は、近赤外線カメラ画像を利用したが、対向車線に向けて車両前方に固定された近赤外線光センサを用いてもよい。この場合、近赤外線光センサの受光する光量が所定値以上のとき、対向車線の領域に対応する画像の領域が高輝度領域であると判定する。

また、本実施例の高輝度領域面積判定手段は、高輝度領域の面積が所定値以上か否か判定したが（Ｓ２７）、高輝度領域の光源が対向車の前照灯である限り、高輝度領域は２つの円が一部重なった形状となるため、面積の代わりに、高輝度領域の各円の中心間の距離を面積の指標として用いることができる。具体的には、近赤外線カメラ画像に走査線を左から右へ順次走査させて、走査線上の連続する高輝度領域の画素の数が極大になる第１の位置から、走査線上の連続する高輝度領域の画素の数が極小になり、再び極大になる第２の位置までの距離を面積の指標として用いることができる。

また、本実施例の近赤外線ランプ制御手段は、近赤外線ＬＥＤをオン・オフ制御するとしたが、高輝度領域の面積や輝度に応じて、近赤外線ＬＥＤの電圧を制御し、近赤外線ＬＥＤの光量を連続的に制御することもできる。

本発明に係る夜間視界支援装置とその周辺装置の一実施例の構成を示したブロック図である。 従来の夜間視界支援装置により撮像した近赤外線カメラ画像の表示例を模式的に示す図である。 ＥＣＵ４０が実行する処理の一例を示したフローチャートである。 図３の処理に続いてＥＣＵ４０が実行する処理の一例を示したフローチャートである。 図２（Ｂ）の状態を本実施例の夜間視界支援装置により撮像した近赤外線カメラ画像の模式図である。

符号の説明

１０ 近赤外線ランプ
２０ 近赤外線カメラ
３０ 画像表示装置
４０ ＥＣＵ
５０ 高輝度領域判定手段
６０ 赤外線ランプ制御手段
６１ 赤外線ランプ光量制御手段
７０ 高輝度領域面積判定手段
８０ 車両速度判定手段
８１ 近赤外線集光手段
９０ 降水量判定手段
９１ 近赤外線照射領域移動手段

Claims (2)

1. 車両の前方に赤外線を照射する赤外線ランプと、前記車両の前方からの赤外線を受光して画像信号を出力する赤外線カメラと、前記赤外線カメラが出力する前記画像信号を画像として表示する画像表示装置とを備えた夜間視界支援装置において、
   前記画像表示装置により表示される画像の画素の輝度が予め定めた閾値以上となる高輝度領域を判定する高輝度領域判定手段と、
   前記高輝度領域判定手段により判定された前記高輝度領域に対応する前記車両の前方を照射する前記赤外線ランプの光量が、前記高輝度領域以外の領域に対応する前記車両の前方を照射する前記赤外線ランプの光量より低くなるように前記赤外線ランプを制御する赤外線ランプ制御手段とを備え、
   前記赤外線ランプ制御手段は、
   前記車両の速度が所定値以上か否かを判定する車両速度判定手段と、
   前記赤外線ランプからの赤外線の照射領域を車両幅方向に集光する赤外線集光手段とを有し、
   前記車両速度判定手段により前記車両の速度が所定値以上であると判定されたときに、前記赤外線集光手段により前記赤外線ランプからの赤外線の照射領域を車両幅方向に集光することを特徴とする夜間視界支援装置。
2. 前記赤外線ランプ制御手段は、
   前記高輝度領域判定手段により判定された前記高輝度領域の面積が所定値以上か否か判定する高輝度領域面積判定手段と、
   前記高輝度領域判定手段により判定された前記高輝度領域に対応する前記車両の前方を照射する前記赤外線ランプの光量が、前記高輝度領域以外の領域に対応する前記車両の前方を照射する前記赤外線ランプの光量より低くなるように前記赤外線ランプを制御する赤外線ランプ光量制御手段とを有し、
   前記高輝度領域面積判定手段により前記高輝度領域の面積が所定値以上であると判定されたときに、前記赤外線ランプ光量制御手段により前記赤外線ランプの前記制御を行うことを特徴とする請求項１に記載の夜間視界支援装置。

Images