JP5722266B2 - 光点検出装置 - Google Patents

Description

本発明は、自動車用ヘッドライトの配光制御を行うためのセンサとして用いられる画像処理装置である光点検出装置に関する。

車載カメラの映像を解析することで、ヘッドライトのハイビーム、ロービームを自動的に切り替える技術の研究開発が行われている。

特許文献１では、カラーカメラの映像から、先行車のテールライトや対向車のヘッドライトを検出して先行車や対向車のドライバーを眩惑しないようにヘッドライトをハイビームからロービームに切り替える技術が記載されている。ドライバーは先行車や対向車に注意しながらハイビームやロービームの切り替えをする必要が無くなり、運転に集中することができる。しかしながら、ハイビームとロービームを瞬時に切り替えると、ドライバーの視界が急に明るくなったり暗くなったりするため、その制御のタイミングが適切でないと、ドライバーに違和感を与える恐れがある。

特許文献２では、さらにこの技術を発展させて、カメラに写ったヘッドライト、テールランプの状態から先行車や対向車までの距離を算出して、ヘッドライトの照射範囲を連続的に制御する手法が記述されている。ハイビームとロービームの2段階制御に比べてより複雑で適切な制御が可能となる。また、徐々に光量を変化させることが可能なため、多少制御のタイミングが適切でなくても違和感を与える恐れが少なくなる効果もある。

特公平6-55581号公報 特表2002-526317号公報

カメラで対向車や先行車のヘッドライトやテールライトなどの車両灯を検出する場合、リフレクタや信号機、街灯などの外乱光を車両灯と誤検知することがあり、この誤検知によって誤動作が生じる。これはそのまま違和感に結びつくため、誤検知をいかにして減らすかが技術課題となる。

自車のハイビームで対向車や先行車のドライバーにグレアを起こす範囲は前方500m以上に及ぶため、グレアを起こさないようなヘッドライト制御を実現するためには、500m以上遠方の対向車のヘッドライトや先行車のテールライトをカメラで検知する必要がある。

しかしながら、遠方のヘッドライトやテールライトは暗くて小さいため検知が難しい。露光時間を長くするだけでは他のノイズ光まで検知してしまうためである。テールライトは赤色という色情報を使うことでノイズ光の誤検知を抑えることが可能であるが、ヘッドライトは色情報が使えないため誤検知しやすい。単純に所定のしきい値で二値化した場合、誤検知されるノイズ光として、近傍の街灯のほか、面積の大きな自動販売機や店舗の光、街灯などが路面反射したようなエッジのはっきりしない光や、画角外からの光のブルーミングのような同様にエッジのはっきりしない光などが挙げられる。

上述の特許文献１および特許文献２を含め、従来、これらの誤検知については十分に対応できていない。

本発明は、夜間ノイズ光源の存在する条件下で、誤検出を抑えつつ遠方から近傍まで対向車のヘッドライトを検出することが可能な光点検出装置を提供することを目的とする。

本発明は、遠方の対向車のヘッドライトと近傍の対向車のヘッドライトを分けて光点を検出するようにし、遠方の対向車のヘッドライトを微小な光点として、近傍の対向車のヘッドライトは飽和した光点として検出するようにしたものである。即ち、本発明では、遠方の対向車のヘッドライトは、カメラで撮影した画像（入力画像）における微小光点を消去して作成した背景画像を入力画像から引くことで、面積の大きなノイズ光やエッジのはっきりしないノイズ光を背景として排除して微小光点を遠方の対向車のヘッドライトの光点として検出する。近傍の対向車のヘッドライトは、カメラで撮影した画像における飽和している領域（飽和光点）を近傍の対向車のヘッドライトの光点として検出する。

より具体的には、本発明は、自車周辺を撮影した第一の画像を取得する画像取得手段と、前記第一の画像から微小光点領域を除去した第二の画像を生成する第一の画像処理手段と、前記第一の画像から前記第二の画像を引いて第三の画像を生成する第二の画像処理手段と、前記第三の画像を第一の濃度しきい値で二値化して第四の画像を生成する第三の画像処理手段と、前記第一の画像から光点飽和部を二値化して第五の画像を生成する第四の画像処理手段と、前記第四の画像と第五の画像の論理和をとる第五の画像処理手段とを有する。

本発明によれば、ヘッドライトの光を残すように前処理を行うため誤検知を抑制することができ、夜間ノイズ光源の存在する条件下で、誤検出を抑えつつ遠方から近傍まで対向車のヘッドライトを検出することが可能となる。

本発明の一実施例に係る光点検出装置の光点の二値画像を生成するブロック図である。 本発明の一実施例に係る光点検出装置の光点の二値画像を生成する説明図である。 本発明の実施例におけるミニマムフィルタとマックスフィルタの処理を説明する図である。

以下、図面を用いて本発明の一実施例を説明する。

図１は、本実施例の光点検出装置における光点の二値画像を生成するブロック図である。カメラにより撮影した入力画像101に対して、最暗部を膨張するミニマムフィルタ103をかけた後、最明部を膨張するマックスフィルタ104をかけて背景画像を生成する。この背景画像を入力画像101から差し引く処理を差分フィルタ105で行い、差分フィルタ105の出力を第１の濃度しきい値に基づき二値化フィルタ106でニ値化することで微小なヘッドライトの光点のみを抽出することができる。

その処理を図２の具体例を用いて説明する。入力画像101の例として画像201を用いる。画像201には、自動販売機の光207、対向車のヘッドライト208、近傍の画角外から差し込んだ街灯の光209が写っているものとする。

この画像201を本実施例のような前処理を行うことなく二値化した場合には二値画像204のようになり、これではノイズ光である自動販売機の光や街灯の光を含めて二値化することになり、対向車のヘッドライト208がない場合でも対向車のヘッドライトとして誤検知することになる。

本実施例では、画像201に図１に示すミニマムフィルタ103をかけて画像202を生成する。ミニマムフィルタ103はヘッドライトが丁度消えるようにフィルタの大きさや回数を調整する。次にマックスフィルタ104を実行して画像203を得る。マックスフィルタ104はミニマムフィルタ103と同じフィルタの大きさおよび回数とする。ミニマムフィルタとマックスフィルタについては詳細を後述する。マックスフィルタ104とミニマムフィルタ103を同じ大きさおよび回数とすることによって、画像203は、画像201からちょうどヘッドライト208が消失した背景画像となる。

次に画像201から画像203を差分フィルタ105で差し引く処理を実行すると、ヘッドライト208のみが残った画像205が生成される。この画像205を第一の濃度しきい値で二値化すると二値画像206が得られる。ここで、第一の濃度しきい値は8ビット画像であればたとえば100程度の値とする。

このようにカメラで撮影した入力画像における微小光点を消去した背景画像を作成し、入力画像から背景画像を差し引き、差し引いた画像を二値化することにより、面積の大きなノイズ光やエッジのはっきりしないノイズ光は背景として除外され、微小な光点のみを二値化することができる。これにより、夜間ノイズ光源の存在する条件下においても、誤検出を抑えて遠方の対向車のヘッドライトを検出することが可能となる。

上記処理で微小なヘッドライト、即ち、遠方のヘッドライトであれば問題なく光点として抽出され、面積の大きな光やエッジがはっきりしない光は除去される。しかしながら、ごく近傍の対向車のヘッドライトは面積が大きかったりブルーミングで光が広がってエッジがはっきりしなかったりするため、上記処理で除去される可能性がある。ごく近傍の対向車のヘッドライトは自動販売機の光や近傍の画角外から差し込んだ街灯の光とは異なり極めて明るく飽和している。そこで、本実施例では飽和している部分を光点として追加することで補う。これにより誤検出を抑えつつ遠方から近傍まで対向車のヘッドライトを検出することが可能となる。

本実施例において、飽和している領域を光点として追加する処理は、図１に示すように、飽和部二値化フィルタ107によって入力画像101の飽和している箇所、具体的には濃度値が8ビット画像であれば240以上というように十分に高輝度である画素を抽出することにより行う。最終的には、ORフィルタ108において二値化フィルタ106で得られた二値画像と飽和部二値化フィルタ107で得られた二値画像の論理和を取った二値画像を出力画像102として出力する。

ここで、飽和部二値化フィルタ107の二値化しきい値（第二の濃度しきい値）は、二値化フィルタ106で用いる二値化しきい値（第一の濃度しきい値）に比べて大きな値であり、そうすることで、二値化フィルタ106で用いる二値化しきい値よりも低い輝度の光点は強制的に排除され、二値化フィルタ106で用いる二値化しきい値以上かつ飽和部二値化フィルタ107の二値化しきい値よりも低い輝度の光点は、光点の面積や環境光などにより選別され、飽和部二値化フィルタ107の二値化しきい値以上の輝度の光点は強制的に抽出されることになる。

図１のような処理を行うことで、小さな光点と飽和した光点を1としてその他を0とした二値画像を得る。街灯やリフレクタなども小さな光点ではあるが、これらの光点はヘッドライトよりも十分暗いため、上記の第一の濃度しきい値を調整することで排除することが可能である。

ここで、ミニマムフィルタ103、マックスフィルタ104を、図３を用いて説明する。たとえば、3x3カーネルの代表的な8近傍のミニマムフィルタの場合、I₃₃ の画素は式(1)で計算される。

すなわち、計算される画素とその8隣接画素の計9画素の中から最小の輝度値を採用する。この処理を全画素に実行することで暗い部分が膨張して明るい部分が浸食される。ここで、ミニマムフィルタ103は1回だけではなくヘッドライト208が消えるまでn回繰り返し実行する。nの数はヘッドライト208が取りうる最大の半径rで決めておく。たとえば式(1)でrが15の場合はn=r=15とする。rは近傍になるほど大きくなり、さらにレンズの画角や撮像素子の解像度などによって異なるため、あらかじめ近傍でのヘッドライトの大きさを測定してからnを決めておく。

ミニマムフィルタは、他にも4近傍のミニマムフィルタ（(式2)で計算）や5x5カーネルのミニマムフィルタ（(式3)で計算）などがある。

5x5カーネルは参照画素が多く3x3カーネルよりも計算コストがかかるが、その分繰り返し回数は式(1)の半分の回数で済むため、ハード構成にもよるが高速に処理が可能である。また、7x7や9x9のカーネルの広範囲なカーネルを用いてもよい。

マックスフィルタ104は、式(1)のミニマムフィルタを用いた場合は式(4)を、式(2)を用いた場合は式(5)を、式(3)を用い場合は式(6)を、それぞれ同じ回数だけかける必要がある。

上記説明から明らかなように、本発明は次のように纏めることができる。即ち、面積の大きなノイズ光やエッジのはっきりしないノイズ光を排除するために、微小光点を消去して背景を作成しておき、背景分を引くことで微小な光点のみを残す処理を前処理として行う。その処理によりエッジのはっきりしない光点は背景として除外される。ただし、近傍の対向車のヘッドライトはブルーミングを起こすために面積が大きかったりエッジがはっきりしなかったりすることがある。そこで、飽和している領域は光点として追加する。

言い換えれば、本発明の光点検出装置は、自車周辺を撮影した第一の画像（入力画像101）を取得する画像取得手段と、第一の画像から微小光点領域を除去した第二の画像を生成する第一の画像処理手段（ミニマムフィルタ103、マックスフィルタ104）と、第一の画像から第二の画像を引いて第三の画像を生成する第二の画像処理手段（差分フィルタ105）と、第三の画像を第一の濃度しきい値で二値化して第四の画像を生成する第三の画像処理手段（二値化フィルタ106）と、第一の画像から光点飽和部を第一の濃度しきい値よりも高い第二の濃度しきい値によって二値化して第五の画像を生成する第四の画像処理手段（飽和部二値化フィルタ107）と、第四の画像と第五の画像の論理和をとる第五の画像処理手段（ORフィルタ108）とを有する構成とする。

本発明の構成により、夜間ノイズ光源の存在する条件下で、誤検出を抑えつつ遠方から近傍まで対向車のヘッドライトを検出することが可能となり、ヘッドライトの制御をより自然に行うことが可能となる。

なお、本発明は上述した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。実施例の構成の一部について、他の構成の追加，削除，置換をすることが可能である。

101・・・入力画像、102・・・出力画像、103・・・ミニマムフィルタ、104・・・マックスフィルタ、105・・・差分フィルタ、106・・・二値化フィルタ、107・・・飽和部二値化フィルタ、108・・・ORフィルタ

Claims (3)

1. 自車周辺を撮影した第一の画像を取得する画像取得手段と、
   前記第一の画像から微小光点領域を除去した第二の画像を生成する第一の画像処理手段と、
   前記第一の画像から前記第二の画像を引いて第三の画像を生成する第二の画像処理手段と、
   前記第三の画像を第一の濃度しきい値で二値化して第四の画像を生成する第三の画像処理手段と、
   前記第一の画像から光点飽和部を前記第一の濃度しきい値よりも高い第二の濃度しきい値によって二値化して第五の画像を生成する第四の画像処理手段と、
   前記第四の画像と第五の画像の論理和をとる第五の画像処理手段と、を有する光点検出装置。
2. 請求項１記載の光点検出装置において、
   前記第一の画像処理手段は、画像の最暗部を膨張するミニマムフィルタと画像の最明部を膨張するマックスフィルタとを有する光点検出装置。
3. 請求項２記載の光点検出装置において、
   前記ミニマムフィルタの大きさ及び回数と、前記マックスフィルタの大きさ及び回数は、等しい光点検出装置。

Images