JP5962193B2 - 車両光源検出装置および車両光源検出プログラム - Google Patents

Description

本発明は、車両に搭載され、撮像画像から他車両の光源を検出する車両光源検出装置、および車両光源検出プログラムに関する。

上記の車両光源検出装置として、撮像画像中において、光源のペアと路面による反射光とを検出した場合に、この光源を車両の光源と特定するものが知られている（例えば、特許文献１参照）。

特開平６−２７６５２４号公報

しかしながら上記の技術では、光源がペアにならない二輪車を車両の光源として検出できなかったり、ペア配置された車両以外の光源を車両の光源として誤検出したりする虞があった。そこで、本発明においては、車両に搭載され、撮像画像から他車両の光源を検出する車両光源検出装置、および車両光源検出プログラムにおいて、他車両の光源を精度よく検出できるようにすることを目的とする。

かかる目的を達成するために成された請求項１に記載の車両光源検出装置において、画像取得手段は自車両の進行方向を撮像した撮像画像を取得し、光源抽出手段は撮像画像中から光源を抽出する。そして、確度演算手段は光源に関するパラメータを表す光源パラメータに基づいて光源が車両に由来する光源を表す車両光源である確度を演算し、暗部抽出手段は光源の下方にある周囲よりも暗い部位を表す暗部を抽出する。さらに、確度設定手段は暗部が抽出された光源に対して車両光源である確度をより高く設定し、車両光源推定手段は予め設定された基準値以上の確度を有する光源を車両の光源として推定する。

このような車両光源検出装置によれば、車両の光源の下方において車両の影として検出される暗部を検出した場合に車両光源である確度を高く設定するので、例えば街路灯のように光源の下方に影が存在しないものを車両の光源でないものとして識別することができる。よって、他車両の光源を精度よく検出することができる。

なお、本発明において光源パラメータとは、光源の特徴を識別するための値を表し、具体的には、光源の色、形状、明るさ、位置、大きさ等の情報のうちの少なくとも１つが含まれる。

また、上記目的を達成するためには、請求項２および請求項５に記載のように、車両光源検出装置において、類似色光源抽出手段が、光源と類似する色であってかつ車両の光源の色として予め設定された色を有し光源の下方にある別の光源を表す類似色光源、を抽出し、確度設定手段が、類似色光源が抽出された光源に対して車両光源である確度をより高く設定するようにしてもよい。

このような車両光源検出装置によれば、光源の下方においてこの光源が路面に反射したときの車両の光源として設定された色であり、光源と類似色の反射光を検出した場合に車両光源としての確度を高く設定するので、車両光源をより精度よく検出することができる。なお、請求項２の構成においては、確度設定手段は暗部および類似色光源が抽出された光源に対して車両光源である確度をより高く設定するようにしてもよい。

また、上記目的を達成するためには、請求項４および請求項６に記載のように、車両光源検出装置において、テール光源抽出手段が光源からテールランプに類似する色の光源を表すテール光源を抽出し、明部抽出手段が光源の左右の領域にある、周囲よりも明るい領域を表す明部を抽出し、さらに、確度設定手段は、明部が対応する光源がテール光源である光源に対して車両光源である確度をより高く設定するようにしてもよい。

このような車両光源検出装置によれば、テール光源を検出し、自車両の進行方向に向けて前方車両から照射されたヘッドライトによる明部が検出された場合に、テール光源である光源に対して車両光源である確度を高く設定することができる。よって、より精度よく車両光源を検出することができる。

なお、色を検出する際には、中心付近の色を検出したり、一定以上の輝度を有する領域の平均色を検出したりすればよい。
また、上記目的を達成するためには、コンピュータを、上記車両光源検出装置を構成する各手段として機能させるための車両光源検出プログラムとしてもよい。

ライト制御システム１の概略構成を示すブロック図である。 処理部が実行する実施形態のライト制御処理を示すフローチャートである。 撮像画像の一例を示し、特に、対向車を撮像した場合の図（ａ）および先行車を撮像した場合の図（ｂ）である。

以下に本発明にかかる実施の形態を図面と共に説明する。
［本実施形態の構成］
図１に示すライト制御システム１は、例えば乗用車等の車両に搭載され、自車両の周囲に他車両が存在する場合（詳細には、自車両のヘッドライトが眩惑を発生させる可能性がある範囲内に他車両が存在する場合）に、自車両のヘッドライトの光軸の向きを下向きに変更し、眩惑を防止する機能を有する。

詳細には、ライト制御システム１は、処理部１０と、カメラ２０と、速度センサ２１と、舵角センサ２２と、ライト制御部３０と、を備えている。カメラ２０は、車両の進行方向（特に前方）における少なくともヘッドライトによる照射範囲内が撮像範囲に含まれるように配置され、この撮像範囲内をカラーで撮像するカラーカメラとして構成されており、撮像画像を処理部１０に送る。

速度センサ２１および舵角センサ２２は周知の構成とされており、車両の進行方向を推定するために用いられる。速度センサ２１および舵角センサ２２は、自身による検出結果を処理部１０に送る。

ライト制御部３０は、処理部１０により車両のライトの検出結果を受けてヘッドライトの光軸の向きを制御する。具体的には、撮像画像中に車両のライトがある旨の検出結果を受けると、ヘッドライトをロービームに切り換え、撮像画像中に車両のライトがない旨の検出結果を受けると、ハイビームを切り換える。なお、ライト制御部３０は、処理部１０からの指令に応じて光軸の向きを他車両が存在しない方向（例えば下方向や左方向）へ移動させる構成であってもよい。

処理部１０は、ＣＰＵと、ＲＯＭ、ＲＡＭ等のメモリ１１と、を備えた周知のマイコンとして構成されており、メモリ１１に格納されたプログラム（車両光源検出プログラムを含む）に基づいて、後述するライト制御処理等の各種処理を実施する。また、メモリ１１には、車両のライトの特徴を示すパラメータ（大きさ、色、高さ等の位置、ペアとなるライト間の距離、挙動等の各パラメータに対応する値を含む）や、車両以外の光源の特徴を示すパラメータが格納されている。なお、このメモリ１１に格納されたパラメータは、撮像画像中から車両のライトを示す光源を、車両のライト以外の光源と識別して検出する際に利用される。

［本実施形態の処理］
次に、図２に示すライト制御処理について説明する。ライト制御処理は、撮像画像中から車両のライトを示す光源を識別して検出し、ヘッドライトの光軸の向きを制御する処理である。

ライト制御処理は、車両の電源が投入されると開始され、その後、所定の周期毎（例えば１００ｍｓ毎）に実行される処理である。詳細には、図２に示すように、まず、カメラ２０による撮像画像を取得する（Ｓ１１０）。

続いて、路面情報を抽出する（Ｓ１２０）。この処理では、周知の白線検出技術等を利用して、撮像画像中の路面の領域を特定する。例えば、自車両の走行領域の左右に存在する白線を検出し、これらの白線の内側の領域を路面の領域とする。

そして、特定した路面の領域の平均の色を演算することによって路面の色を検出する（Ｓ１４０）。なお、路面の特定位置（任意の部位）の色を路面の色としてもよい。
次に、撮像画像中からライト候補を抽出する（Ｓ１４０）。この処理では、撮像画像中の１つの光源としての領域の全てが含まれ、かつ最小となる領域を矩形（長方形）で切り出し、切り出した領域毎にラベル付け（番号付け）を行う。この処理では、撮像画像中の光源が大きいものほど大きな領域が切り出されることになる。

続いて、ライト候補特徴量を算出し、この特徴量に応じて車両光源である確からしさを設定する。まず、ライト候補特徴量を求める処理では、静止画レベル特徴量、ペア特徴量、および時系列特徴量を求める。

ここで、静止画レベル特徴量は光源が有する光源単体の色や形状による特徴量を表し、ペア特徴量は水平方向に位置する他の光源との関係による特徴量を表し、時系列特徴量は光源を追跡した結果による特徴量を表す。これらの特徴量は、光源の色や形状等のパラメータがメモリ１１に格納された基準値（比較値）と一致する確度に応じて設定される。

このようにライト候補特徴量を算出すると、各特徴量に応じて光源が車両光源である確度を求める。ここで、車両光源である確度は、各特徴量の加重平均をとること等によって演算される。なお、各特徴量と車両光源である確度とは、予め実験的に対応付けられていてもよい。

次に、光源のうちの候補色を有するものを検出する（Ｓ１６０）。この処理では、光源として抽出した領域の平均の色がヘッドランプ、テールランプ、フォグランプ、ナンバ灯等の車両のライトとして採用されているランプ色のものを選択する。

続いて、光源が車両の光源である場合の特徴的な傾向を検出する（Ｓ２１０〜Ｓ２３０）。ここで、光源が車両の光源であり、対象の車両が自車両前方から自車両に向かって走行する対向車場合には、図３（ａ）に示すように、光源（ライト候補）のすぐ下に車両自身の影となった暗い領域が存在し、この暗い領域のさらに下側に路面による光源の反射光が存在する傾向がある。

このとき、路面による光源の反射光は、光源と類似色になる。また、光源が車両のものでない場合には、光源のすぐ下に暗い領域が存在しないか光源から離れた領域に暗い領域が存在し、光源の反射光も存在しないか光源からさらに離れた領域となる傾向がある。

そして、対象の車両が自車両前方を自車両と同方向に走行する先行車の場合には、図３（ｂ）に示すように、対向車の場合と同様に、光源のすぐ下に車両自身の影となった暗い領域が存在し、この暗い領域のさらに下側に路面による光源の反射光が存在する傾向がある。

さらに、先行車の場合には、光源の側方に先行車のヘッドライトによる明るい領域が存在する傾向がある。このため、Ｓ２１０〜Ｓ２３０の処理では、このような傾向を捉え、車両の光源の検出に利用する。

詳細には、まず、選択した光源の下方の一定距離以内において路面の輝度（路面の色より算出可）よりも明るい領域を検出する（Ｓ２１０）。なお、ここでいう一定距離とは、例えば光源から数ｍの範囲内を示し、光源の位置に応じて距離が画素数に換算され、この画素数内において明るい領域が検出される。

続いて、光源の下方の一定距離以内において輝度が路面の輝度よりも暗い領域を検出する（Ｓ２２０）。ここでいう一定距離は、一般的にヘッドランプやテールランプが配置される高さと車両の影が存在する領域までの距離とを考慮して、例えば光源から５０ｃｍ程度までの範囲内に設定される。

次に、光源の側方に位置する領域において輝度が路面の輝度よりも明るい領域を検出する（Ｓ２３０）。ただし、Ｓ２３０の処理は、光源の色がテールランプを示す色である場合に限って実施され、ヘッドライトが拡散する範囲内（数ｍの範囲内）において明るい領域を検出する。明るい領域が光源から離れすぎていると、ガードレール等の外乱が明るい領域として検出される場合があり、この外乱の影響を軽減するために、ヘッドライトが拡散する範囲内だけを明るい領域を検出する範囲内とする。

続いて、Ｓ２１０〜Ｓ２３０の処理にて、光源のすぐ下に車両自身の影となった暗い領域、光源の下方にある光源の反射光の領域、テールライトを示す色の光源の側方の明るい領域のうちの何れかが検出された光源に対して、車両である確からしさをより高く設定する（Ｓ２４０）。このとき、上記の各領域のうちの複数の領域が検出された光源に対しては、より高い確からしさを設定してもよい。なお、Ｓ２４０の処理では、Ｓ２１０〜Ｓ２３０の処理にて、光源のすぐ下に車両自身の影となった暗い領域、光源の下方にある光源の反射光の領域、テールライトを示す色の光源の側方の明るい領域のうちの何れかが検出されなかった光源（光源のすぐ下に暗い領域が存在しないか光源から離れた領域に暗い領域が存在する場合や、光源の反射光も存在しないか光源からさらに離れた領域となる場合を含む）に対して、車両である確からしさをより低く設定するようにしてもよい。

そして、予め設定された閾値と最終的な確からしさとを比較し、閾値未満の確からしさを有する光源を外乱として除去することで、残った光源を車両のライトとして決定する（Ｓ２５０）。続いて、車両のライトの検出結果をライト制御部３０に送り（Ｓ２６０）、ライト制御処理を終了する。

［本実施形態による効果］
以上のように詳述したライト制御システム１において処理部１０は、自車両の進行方向を撮像した撮像画像を取得し、撮像画像中から光源を抽出する。そして、光源に関するパラメータを表す光源パラメータに基づいて光源が車両に由来する光源を表す車両光源である確度を演算し、光源の下方にある周囲よりも暗い部位を表す暗部を抽出する。さらに、暗部が抽出された光源に対して車両光源である確度をより高く設定し、予め設定された基準値以上の確度を有する光源を車両の光源として推定する。

このようなライト制御システム１によれば、車両の光源の下方において車両の影として検出される暗部を検出した場合に車両光源である確度を高く設定するので、他車両の光源を精度よく検出することができる。

なお、本発明において光源パラメータとは、光源の特徴を識別するための値を表し、具体的には、光源の色、形状、明るさ、位置、大きさ等の情報のうちの少なくとも１つが含まれる。

また、ライト制御システム１において処理部１０は、光源と類似する色であってかつ車両の光源の色として予め設定された色を有し、光源の下方にある別の光源を表す類似色光源、を抽出し、暗部および類似色光源が抽出された光源に対して車両光源である確度をより高く設定する。

このようなライト制御システム１によれば、光源の下方においてこの光源が路面に反射したときの車両の光源として設定された色であり、光源と類似色の反射光を検出した場合に車両光源としての確度を高く設定するので、車両光源をより精度よく検出することができる。

さらに、ライト制御システム１において処理部１０は、光源から類似色光源までの距離に応じて光源が車両光源である確度を設定する。
このようなライト制御システム１によれば、路面から光源までの高さを光源から類似色光源までの距離として検出し、この距離が車両の光源として設定された距離に一致する度合いに応じて車両光源である確度を設定することができる。よって、より精度よく車両光源を検出することができる。

また、ライト制御システム１において処理部１０は、光源からテールランプに類似する色の光源を表すテール光源を抽出し、光源の左右の領域にある、周囲よりも明るい領域を表す明部を抽出し、さらに、明部が対応する光源がテール光源である光源に対して車両光源である確度をより高く設定する。

このようなライト制御システム１によれば、テール光源を検出し、自車両の進行方向に向けて前方車両から照射されたヘッドライトによる明部が検出された場合に、テール光源である光源に対して車両光源である確度を高く設定することができる。よって、より精度よく車両光源を検出することができる。

なお、色を検出する際には、中心付近の色を検出したり、一定以上の輝度を有する領域の平均色を検出したりすればよい。また、本発明の実施の形態は、上記の実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうる。

［実施形態の構成と本発明の構成との関係］
本実施形態の処理部１０は本発明でいう車両光源検出装置に相当し、本実施形態のＳ１１０の処理は本発明でいう画像取得手段に相当する。また、本実施形態のＳ１４０の処理は本発明でいう光源抽出手段に相当し、本実施形態のＳ１５０の処理は本発明でいう確度演算手段に相当する。

さらに、本実施形態のＳ１６０の処理は本発明でいうテール光源抽出手段に相当し、本実施形態のＳ２１０の処理は本発明でいう類似色光源抽出手段に相当する。また、本実施形態のＳ２２０の処理は本発明でいう暗部抽出手段に相当し、本実施形態のＳ２３０の処理は本発明でいう明部抽出手段に相当する。

さらに、本実施形態のＳ２４０の処理は本発明でいう確度設定手段に相当し、本実施形態のＳ２５０の処理は本発明でいう車両光源推定手段に相当する。

１…ライト制御システム、１０…処理部、１１…メモリ、２０…カメラ、２１…速度センサ、２２…舵角センサ、３０…ライト制御部。

Claims (6)

1. 車両に搭載され、撮像画像から他車両の光源を検出する車両光源検出装置（１０）であって、
   自車両の進行方向を撮像した撮像画像を取得する画像取得手段（Ｓ１１０）と、
   前記撮像画像中から光源を抽出する光源抽出手段（Ｓ１４０）と、
   前記光源に関するパラメータを表す光源パラメータに基づいて前記光源が車両に由来する光源を表す車両光源である確度を演算する確度演算手段と（Ｓ１５０）、
   前記光源と類似する色であってかつ車両の光源の色として予め設定された色を有し、前記光源の下方にある別の光源を表す類似色光源、を抽出する類似色光源抽出手段（Ｓ２１０）と、
   前記光源の下方にある周囲よりも暗い部位を表す暗部を抽出する暗部抽出手段（Ｓ２２０）と、
   前記暗部が抽出された光源に対して前記車両光源である確度をより高く設定し、前記類似色光源が抽出された光源に対して前記車両光源である確度をより高く設定し、かつ前記光源から前記類似色光源までの距離に応じて前記光源が前記車両光源である確度を設定する確度設定手段（Ｓ２４０）と、
   予め設定された基準値以上の確度を有する光源を車両の光源として推定する車両光源推定手段（Ｓ２５０）と、
   を備えたことを特徴とする車両光源検出装置。
2. 請求項１に記載の車両光源検出装置において、
   前記光源からテールランプに類似する色の光源を表すテール光源を抽出するテール光源抽出手段（Ｓ１６０）と、
   前記光源の左右の領域にある、周囲よりも明るい領域を表す明部を抽出する明部抽出手段（Ｓ２３０）と、を備え、
   前記確度設定手段は、前記明部が対応する光源が前記テール光源である光源に対して前記車両光源である確度をより高く設定すること
   を特徴とする車両光源検出装置。
3. 車両に搭載され、撮像画像から他車両の光源を検出する車両光源検出装置（１０）であって、
   自車両の進行方向を撮像した撮像画像を取得する画像取得手段（Ｓ１１０）と、
   前記撮像画像中から光源を抽出する光源抽出手段（Ｓ１４０）と、
   前記光源に関するパラメータを表す光源パラメータに基づいて前記光源が車両に由来する光源を表す車両光源である確度を演算する確度演算手段と（Ｓ１５０）、
   前記光源からテールランプに類似する色の光源を表すテール光源を抽出するテール光源抽出手段（Ｓ１６０）と、
   前記光源の下方にある周囲よりも暗い部位を表す暗部を抽出する暗部抽出手段（Ｓ２２０）と、
   前記光源の左右の領域にある、周囲よりも明るい領域を表す明部を抽出する明部抽出手段（Ｓ２３０）と、
   前記暗部が抽出された光源に対して前記車両光源である確度をより高く設定し、かつ前記明部が対応する光源が前記テール光源である光源に対して前記車両光源である確度をより高く設定する確度設定手段（Ｓ２４０）と、
   予め設定された基準値以上の確度を有する光源を車両の光源として推定する車両光源推定手段（Ｓ２５０）と、
   を備えたことを特徴とする車両光源検出装置。
4. 請求項３に記載の車両光源検出装置において、
   前記光源と類似する色であってかつ車両の光源の色として予め設定された色を有し、前記光源の下方にある別の光源を表す類似色光源、を抽出する類似色光源抽出手段（Ｓ２１０）、を備え、
   前記確度設定手段は、前記類似色光源が抽出された光源に対して前記車両光源である確度をより高く設定すること
   を特徴とする車両光源検出装置。
5. 車両に搭載され、撮像画像から他車両の光源を検出する車両光源検出装置（１０）であって、
   自車両の進行方向を撮像した撮像画像を取得する画像取得手段と、
   前記撮像画像中から光源を抽出する光源抽出手段と、
   前記光源に関するパラメータを表す光源パラメータに基づいて前記光源が車両に由来する光源を表す車両光源である確度を演算する確度演算手段と、
   前記光源からテールランプに類似する色の光源を表すテール光源を抽出するテール光源抽出手段と、
   前記光源の左右の領域にある、周囲よりも明るい領域を表す明部を抽出する明部抽出手段と、
   前記明部が対応する光源が前記テール光源である光源に対して前記車両光源である確度をより高く設定する確度設定手段と、
   を備えたことを特徴とする車両光源検出装置。
6. コンピュータを請求項１〜請求項５の何れか１項に記載の車両光源検出装置を構成する各手段として機能させるための車両光源検出プログラム。