JP6586471B2 - 前照灯制御装置 - Google Patents

Description

本発明は、車両の前照灯を制御する前照灯制御装置に関する。

自車両の前照灯を制御する前照灯制御の一例として、夜間の走行において、自車両のヘッドライトのハイビームによる先行車両や対向車両の運転手に対する眩惑を防止するため、先行車両や対向車両を検知して自車両のヘッドライト（前照灯）をハイビームからロービームに切り替える配光制御がある。配光制御では、カメラから撮像された画像中から先行車両のテールライトや対向車両のヘッドライトを検知するため、高輝度の領域を探索し光点として抽出する。

通常の外界認識アプリのように自動露光調整されたシャッタで撮像された画像の場合、露光時間が長すぎて白とびしたり露光時間が短すぎて正しく光点抽出できないことがある。そのため、配光制御においては、一定の露光時間で撮像する必要がある。

しかし、一定の露光時間で撮像した場合、遠方の光源物と近傍の光源物とで適する露光時間が異なる。そのため、遠方光点用の露光時間で撮像された画像と近傍光点用の露光時間で撮像された画像のように、複数の異なる露光時間の画像が必要となる。

また、光点として抽出する対象である先行車両のテールライトおよび対向車両のヘッドライトの明るさも異なるため、テールライトとヘッドライトとで適する露光時間が異なる。そのため、先行車テールライト検知用と対向車ヘッドライト検知用とで、異なる露光時間の画像が必要になる。

特開２００５−９２８６１号公報

通常、車両認識や歩行者認識などの画像認識処理では、認識対象が歩行者や車両など非自発光物であるため、自動露光調整された画像が必要となる。そのため、それら非自発光物の認識処理で用いるための画像と、配光処理で用いる画像とでは、同じ画像を使用することはできない。

既存の画像認識処理と配光制御機能をひとつのシステムの中で両立させるためには、認識処理用の画像と配光制御用の画像が必要となる。配光制御用の画像とそれ以外の画像認識用の画像を撮像するためには、交互にシャッタの露光時間を変更する必要がある。さらに、配光制御用の画像は複数の画像が必要となるため、すべての画像を撮像しようとすると撮像枚数が増加する。撮像枚数の増加により配光制御の実行周期が長くなってしまい、車両を検知してからヘッドライトを切り替えるまでの反応時間が長くなってしまう。

そこで、本発明では、物体検出と配光制御機能を両立させつつ配光制御に必要な画像枚数を削減することで配光制御の実行周期の増長を抑制する前照灯制御装置を提供することを目的とする。

上記課題を解決する本発明の前照灯制御装置は、撮像装置によって撮像された画像に基づいて物体検出処理を行う物体検出部と、前記撮像装置によって撮像された画像に基づいて光点抽出処理を行う光点抽出部と、前記物体検出処理の結果と前記光点抽出処理の結果とに基づいて、前照灯の照射状態を制御することを特徴とする。

本発明によれば、物体検出と配光制御機能を両立させつつ配光制御に必要な画像枚数を削減することで配光制御の実行周期の増長を抑制することができる。なお、上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本実施形態の前照灯制御装置の構成を示す機能ブロック図。 本実施形態の前照灯制御装置における配光制御処理を説明するフローチャート。 本実施形態の配光用画像撮像の露光時間設定例を説明する説明図。 本実施形態の配光用画像撮像の露光時間設定例を説明する説明図。 本実施形態の配光用画像撮像の露光時間設定例を説明する説明図。

以下、本発明を実施するための形態を、図面に基づいて説明を行う。
図１は本実施形態における前照灯制御装置100の構成図である。
本実施形態の前照灯制御装置100は、自車両から前方を撮像した画像を用いて自車両のヘッドライト（前照灯）の配光をロービーム又はハイビームに切り換える制御を行うものであり、自車両の前方に先行車両や対向車両などの前方車両を検知した場合には配光をロービームに制御し、前方車両を検知していない場合には配光をハイビームに制御する。前方車両を検知する方法は、遠方と近傍で異なっており、遠方の車両検知は光点抽出により行い、近傍の車両検知は物体検知により行う。

本実施形態の前照灯制御装置100によれば、近傍の車両検知は物体検知により行うので、近傍用の配光画像の撮像を省略することができる。したがって、光点抽出用として遠方用の配光画像と近傍用の配光画像の両方を撮像してから前方車両の検知処理を行う従来のように、配光制御により配光を切り換えるタイミングが遅延するのを防ぐことができる。

前照灯制御装置100は、撮像装置によって撮像された画像に基づいて物体検出処理を行う物体検出部と、撮像装置によって撮像された画像に基づいて光点抽出処理を行う光点抽出部と、物体検出部による物体検出処理の結果と光点抽出部による光点抽出処理の結果とに基づいて、前照灯の照射状態を制御する配光制御部を有する。

配光制御部は、物体検出部が物体である前方車両を検出する場合、及び、光点抽出部が前方車両のテールライトやヘッドライトなどの光点を抽出する場合の少なくとも一方の場合に、ヘッドライト（前照灯）を近傍照射状態（ロービーム）とする前照灯制御信号を生成する。一方、物体検出部により物体が検出されず、かつ光点抽出部により光点が抽出されていない場合には、前照灯を遠方照射状態（ハイビーム）とする前照灯制御信号を生成する。

前照灯制御装置100は、図１に示すように、撮像装置であるカメラ101、102と、画像信号処理部103と、記憶領域106と、認識処理部112と、制御信号出力部118を有している。画像信号処理部103は、視差算出部104と光点抽出部105を有している。記憶領域106は、画像情報保存部107、視差情報保存部108、立体物情報保存部109、光点情報保存部110、露光時間保存部111を有している。そして、認識処理部112は、近傍遠方領域推定部113、立体物検知部114、車両光点抽出部115、露光時間算出部116、配光制御判定部117を有している。

本実施形態では、近傍の車両を検知する手段の例として、ステレオカメラを用いた立体物検知を挙げて説明しているが、例えば単眼カメラのみや、単眼カメラとレーダを組み合わせた立体物検知などによっても実施可能である。

また、本実施形態では、先行車両のテールライトの光点を抽出することによって、遠方の車両を検知する方法について説明しているが、先行車両のテールライトおよび対向車両のヘッドライトを検知して配光制御を行うことも可能である。

先行車両のテールライトおよび対向車両のヘッドライトを検出する場合、前記テールライトは前記ヘッドライトに比べて輝度が低く、同じ露光時間で撮像した画像からテールライト光点とヘッドライト光点の両方を抽出することは難しい。そのため、前記テールライトおよびヘッドライトを検出する場合、前記配光用画像は、低輝度光点を抽出するための露光時間、および高輝度光点を抽出するための露光時間で撮像した画像を用いることで実現可能となる。テールライト光点のみを抽出対象として車両光点抽出を行った場合と比べて実行周期が増長するが、いずれの場合でも近傍車両検知用の配光画像削減の効果が得られる。

カメラ101およびカメラ102は、自車両の前方の視界を得られるように設置される。本実施形態では、立体物検知処理に用いる視差情報を算出するために必要なステレオ画像および、車両光点抽出処理に用いる光点情報を算出するために必要な配光用画像を撮像する。

ステレオ画像は、非自発光物を検知するために自動露光調整によって設定された第１の露光時間で撮像される。配光用画像は、光点を抽出するために露光時間保存部111に記録されている第２の露光時間で撮像される。配光用画像には、カメラ101もしくはカメラ102のどちらか単一の画像を用いてもよいし、カメラ101およびカメラ102両方の画像を用いてもよい。前記ステレオ画像と前記配光用画像は、互いに異なるタイミングで撮像される。例えばステレオ画像を撮像した後に配光用画像を撮像する。配光用画像の第２の露光時間は、ステレオ画像の第１の露光時間とは異なっている。第１の露光時間と第２の露光時間の少なくとも一方は、種々の条件に応じて制御される（露光時間制御部）。

カメラ101およびカメラ102によって撮像されたステレオ画像は、画像信号処理部103に入力される。画像信号処理部103の視差算出部104は、カメラ101およびカメラ102から入力されたステレオ画像を用いて視差情報を算出する処理を行う。

カメラ101およびカメラ102によって撮像された画像および、画像信号処理部103で算出された視差情報は、記憶領域106に送られる。撮像された画像は、記憶領域106の画像情報保存部107に保存され、視差情報は、視差画像の状態で記憶領域106の視差情報保存部108に保存される。そして、前記視差情報は、認識処理部112に送られる。

画像信号処理部103の光点抽出部105は、カメラ101とカメラ102の少なくとも一方によって撮像されて入力された配光用画像を用いて光点抽出を行う。光点抽出方法の例としては、例えば単一の画像内の輝度パターンに基づいて光点を抽出する方法があり、具体的には、配光用画像に対して輝度値で2値処理を行い、高輝度画素を抽出する。ヘッドライトの光点の場合は白色の高輝度画素、テールライトの光点の場合は赤色の高輝度画素を抽出する。抽出した高輝度画素に対してグルーピング処理を行い隣接した高輝度画素同士のまとまりを光点とする。さらに光点の形状やアスペクト比、面積によってフィルタリング処理を行い、絞り込みを行う。

光点抽出部105で抽出された光点の情報は、記憶領域106に送られ、記憶領域106の光点情報保存部110に保存される。光点の情報は、認識処理部112の車両光点抽出部115に送られる。

認識処理部112の近傍遠方領域推定部113では、視差算出部104からの前記視差情報に基づいて自車両の前方の近傍領域と遠方領域を推定する。立体物検知部114は、前記視差情報に基づいて立体物検知を行う。立体物検知部114による前記立体物検知結果は、記憶領域106に送られ、立体物情報保存部109に保存される。前記立体物検知結果は、露光時間算出部116および配光制御判定部117に送られる。

露光時間算出部116は、前記立体物検知結果に基づいて、次時刻における配光用画像を撮像するための露光時間を算出する。露光時間算出部116によって算出された露光時間は、第２の露光時間であり、記憶領域106に送られ、露光時間保存部111に保存される。

車両光点抽出部115は、第１の露光時間とは異なる第２の露光時間で撮像された配光用画像に基づいて光点抽出処理を行う。車両光点抽出部115は、近傍遠方領域推定部113によって推定された遠方領域に存在する光点の中から、先行車両や対向車両のヘッドライト、テールランプなどの車両光点が存在するかどうかを算出する。車両光点の抽出結果は、配光制御判定部117に送られる。 配光制御判定部117は、前記立体物検知結果および前記車両光点の抽出結果に基づいて、自車両のヘッドライトの照射状態を切り替える前照灯制御信号を生成する。制御信号出力部118は、配光制御判定部117によって決定された制御信号を、ヘッドライト制御部(不図示)に出力する。自車両のヘッドライト装置は、配光制御判定部117から出力された前照灯制御信号に基づいてヘッドライトの照射状態を制御する。ヘッドライトの照射状態には、照射距離の長い遠方照射状態（ハイビーム）と、照射距離の短い近傍照射状態（ロービーム）とが少なくとも含まれている。

図２は、本実施形態における配光制御処理の流れを示した図である。
本実施形態における配光制御処理は、ステレオ物体検知処理フローS201と、配光制御処理フローS207とを有する。

最初に、ステレオ物体検知処理フローS201（物体検出部）について説明する。画像信号処理部103は自動露光調整された第１の露光時間でカメラ101およびカメラ102から撮像されたステレオ画像を取得する(S202)。画像信号処理部103はS202で取得したステレオ画像から視差情報を算出する(S203)。前記視差情報は記憶領域106の視差情報保存部108に保存される(S205)。立体物検知部114は視差情報保存部108から視差情報を取得し、視差情報に基づいて物体検知を行い、自車両の前方に存在する立体物である前方車両の検知を行う(S204)。立体物検知結果である車両検知結果は、記憶領域106の立体物情報保存部109に保存される(S206)。

次に、配光制御処理フローS207（配光制御部）について説明する。カメラ101は、露光時間保存部111に保存されている第２の露光時間を取得し、前記第２の露光時間で配光用画像を撮像する(S208)。画像信号処理部103では、第２の露光時間で撮像された前記配光用画像を光点抽出部105へ送り、光点抽出を行う(S210)。前記光点抽出によって得られた光点情報は、記憶領域106の光点情報保存部110に保存される。

認識処理部112では、視差情報に基づいて近傍領域と遠方領域の推定を行う（S211）。近傍領域と遠方領域の推定方法の最も単純な例としては、視差情報をもとに画像上の各点の実世界における自車両からの距離を算出する。各点で求めた距離に対して閾値処理を行い、閾値より近い点は近傍、遠い点は遠方にあると推定する。視差が求まらず距離を算出できない点も存在する場合は、視差が求まっている最も近い点と同じ領域に属するようにグルーピングすることで画像全体の遠方領域と近傍領域を推定することができる。

配光制御判定部117では、立体物情報保存部109から物体検出処理の結果である立体物情報を取得し、光点情報保存部110から光点抽出処理の結果である光点情報を取得し、前記立体物情報及び前記光点情報に基づいて自車両のヘッドライトをロービームまたはハイビームにする制御信号を設定する。 立体物情報を参照し近傍領域で車両が検知されていた場合(S212)、自車両のヘッドライトをロービームにする制御信号を設定する(S215)。前照灯制御装置100は、近傍領域では立体物検知により車両検知を行い、遠方領域では車両光点の抽出により車両検知を行う。すなわち、近傍領域は車両光点抽出ではなく、立体物情報を参照して車両検知を行うため、近傍車両の光点抽出のための配光用画像を撮像する必要がない。したがって、配光制御に必要な画像枚数を削減し、配光処理の実行周期の増長を抑制することができる。

また、本実施形態では、立体物検知結果に基づいて車両が検知された場合、車両光点抽出処理を省略し、制御信号の切替えを行うことができるので処理負荷を低減させることができる。

S212において、近傍領域で車両が検知されていなかったと判断された場合(S212でNo)、車両光点抽出部105において車両光点の探索を行う(S213)。車両光点の探索は、S211において推定された遠方領域に存在する光点の中から車両光点を抽出することにより行われる。車両光点の探索範囲を前記遠方領域に限定することによって処理負荷を軽減できる。

そして、車両光点が抽出された場合(S213でYes)には、自車両のヘッドライトをロービームにする制御信号を設定する(S215)。S213で車両光点が抽出されなかった場合は、自車両の前方には対向車両も先行車両も存在しないと判断し、自車両のヘッドライトをハイビームにする制御信号を設定する(S214)。

S214またはS215で設定された前記制御信号によってヘッドライトを制御するため、制御信号出力部118では前記制御信号をヘッドライト制御部に出力する(S216)。

次に、S217における、光点抽出のための配光用画像を撮像するための露光時間を調節する方法について図3〜図5を用いて以下に説明する。図3〜図5は、本実施形態の配光用画像撮像の露光時間設定例を説明する説明図である。

配光用画像を撮像するための第２の露光時間は、立体物検知部114が近傍車両を検知可能な検知可能距離に基づいて制御される（露光時間制御部）。配光用画像を撮像するための露光時間を調節する目的は、遠方車両検知の検知可能距離を調節するためである。光点を抽出可能な距離は露光時間によって調節ができ、露光時間が長いほど遠方の光点を抽出可能で、露光時間が短いほど近傍の光点を抽出可能である。

ステレオ処理による立体物検知は、車両光点抽出と比較して検知距離が短く、検知距離が遠くなるほど検知性能が不安定となる。したがって、立体物検知によって行う近傍車両検知と、車両光点抽出によって行う遠方車両検知との切り替わり付近で、車両検知が途切れる恐れが考えられる。そこで、近傍車両検知と遠方車両検知との切り替わり付近での車両検知途切れを防止するため、近傍車両検知の検知可能距離と遠方車両検知の検知可能距離を切り替わり付近で部分的に重複させるような処理を行う。そのために、第２の露光時間は、立体物検知部114が立体物を検知可能な検知可能距離と、車両光点抽出部115が光点を抽出可能な光点抽出可能距離とが部分的に重複して設定されるように制御される。

近傍車両検知と遠方車両検知のいずれにおいても車両が検知されていない場合、遠方車両検知が可能な最も遠い位置から出現する車両光点を抽出可能となるような露光時間を算出する。

図3は、自車両301の前方を走行する前方車両304が自車両301に相対的に接近してくる状態を示す図である。図3(a)において、自車両301とその前方に前方車両304がある。矢印306は、自車両301と前方車両304との相対的な接近を表している。図3(a)において、距離302は、近傍車両検知によって検知可能な距離であり、距離303は、遠方車両検知によって検知可能な距離である。

図3(a)に示すように、遠方車両検知によって前方車両304が検知されて、かつ前方車両304と自車両301とが接近している場合、近傍車両検知と遠方車両検知との切り替わり付近305での車両検知が途切れる恐れが考えられる。そこで、図3(ｂ)に示すように、前方車両304のテールライトまたはヘッドライトを光点として継続して抽出可能となるような露光時間を算出する。

遠方車両検知に用いられる配光用画像の露光時間は、立体物検知部114（物体検出部）が車両を検出可能な検出可能距離308に基づいて算出される。露光時間算出処理(S217)は、遠方車両検知の検知可能距離309と、近傍車両検知の検知可能距離308とが部分的に重複するように、近傍車両検知の検知結果から、遠方車両検知の配光用画像の露光時間を算出する。これによって、遠方車両検知の検知可能距離309を調整し、近傍車両検知ができる距離308に前方車両310が入るまで途切れることなく遠方車両検知が可能となる。

図3(c)に示すように、前方車両314が近傍車両検知によって安定して検知可能な距離312に存在し、かつ前方車両314と自車両311が接近している場合、前方車両314がすれ違いや追い越しによって画像上から外れることが考えられる。そこで車両314のさらに前方に注目するため、遠方車両検知の検知可能距離が自車両311より最も遠い位置から出現する車両光点を抽出できる距離となるような露光時間を設定する。

なお、図3に示す例では、前方車両が自車両の進行方向と同じ方向に進んでいる先行車両を検出する場合について説明しているが、前方車両が自車両の進行方向と反対方向に進んでいる対向車両の場合も、テールライトの代わりにヘッドライトを光点とすることで遠方車両検知をすることができる。 図4(a)〜(c)は、前方車両404が自車両401から漸次離れていく状態を示す図である。図4(a)〜図4(c)において、自車両401とその前方に前方車両404がある。距離402を近傍車両検知によって検知可能な距離とし、距離403を遠方車両検知によって検知可能な距離とする。矢印400は自車両401と前方車両404との離反を表している。図4(a)に示すように、近傍車両検知によって距離402の範囲内にて前方車両404が検知され、かつ前方車両404が自車両401から離れていく場合も、近傍車両検知と遠方車両検知との切り替わり付近での車両検知が途切れる恐れがある。

そこで、近傍車両検知によって算出された前方車両404までの距離に基づいて、前方車両404のテールライトを光点として抽出可能となる露光時間を算出する。これによって、車両光点抽出による遠方車両検知の検知可能距離403が、前方車両404までの距離を含められるように調整する。すなわち、遠方車両検知の検知可能距離403と、近傍車両検知の検知可能距離402とが部分的に重複するように、近傍車両検知の検知結果から、遠方車両検知の配光用画像の露光時間を調節する。なお、自車両401から前方車両404までの距離に基づいて露光時間を算出するために、距離と露光時間の特性を予め実験的に求めておく必要がある。

図4(ｂ)に示すように、前方車両408が近傍車両検知可能距離406から外れた場合は、前方車両408のテールライトを光点として継続して抽出可能となるような露光時間を算出する。これによって、遠方車両検知の検知可能距離407を調整する。

図4(c)に示すように、遠方車両検知によって前方車両412が検知されて、かつ前方車両412と自車両409とが離れていく場合、遠方車両検知が可能な最も遠い位置まで継続的に前方車両の光点が抽出できるように遠方車両検知の検知可能距離411を調節するため、配光用画像の露光時間を算出する。また、近傍車両検知によって検知された車両の動きを予測可能であれば、その予測結果に基づいた配光用画像の露光時間の調整が可能である。

図5は、自車両501の前方に左折中の前方車両502が存在し、さらにその前方に、先行車両として前方車両504が走行している状態を示している。図５において前方に車両502、そのさらに前方に車両504が走行しているとし、どちらも近傍車両検知により検知しているとする。

配光用画像の露光時間は、自車両501に対して最も近傍の前方車両502のテールライトを光点として抽出できる距離503に合わせて設定されているとする。前方車両502が左折しようとした場合、次に注目しなければならないのは、その前方に存在する前方車両504である。そこで、ウィンカー等により車両502が左折しようとしている動きを予測可能であれば、車両502が画面外に移動する前に、車両504のテールライトを光点として抽出できる距離505に合わせて、配光用画像の露光時間を設定する。すなわち、前方車両の動きを予測し、次に注目すべき距離に合わせて配光用画像の露光時間を調整する。

以上、本発明の実施形態について詳述したが、本発明は、前記の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の精神を逸脱しない範囲で、種々の設計変更を行うことができるものである。例えば、前記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。さらに、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

100…前照灯制御装置
101…カメラ１
102…カメラ2
103…画像信号処理部
104…視差算出部
105…光点抽出部
106…記憶領域
107…画像情報保存部
108…視差情報保存部
109…立体物情報保存部
110…光点情報保存部
111…露光時間保存部
112…認識処理部
113…近傍遠方領域推定部
114…立体物検知部
115…車両光点抽出部
116…露光時間算出部
117…配光制御判定部
118…制御信号出力部
301、307、311、401、405、409、501…自車両
302、308、312、402、405、409…近傍車両検知の検知可能距離
303、309、313、403、407、411、503、505…遠方車両検知の検知可能距離
304、310、314、404、408、412、502、502…前方車両
305…近傍車両検知と遠方車両検知の切り替わり範囲
306…自車両と前方車両との相対的な動き

Claims (7)

1. 撮像装置によって撮像された画像に基づいて物体検出処理を行う物体検出部と、
   前記撮像装置によって撮像された画像に基づいて光点抽出処理を行う光点抽出部と、
   前記物体検出処理の結果と前記光点抽出処理の結果とに基づいて、前照灯の照射状態を制御する配光制御部と、を有し、
   前記前照灯の照射状態には、照射距離の長い遠方照射状態と照射距離の短い近傍照射状態とが少なくとも含まれ、
   前記配光制御部は、前記物体検出部が物体を検出する場合、及び、前記光点抽出部が光点を抽出する場合の少なくとも一方の場合に、前記前照灯を近傍照射状態とする前照灯制御信号を生成することを特徴とする前照灯制御装置。
2. 前記物体検出部は、第１の露光時間で撮像された画像に基づいて物体検出処理を行い、
   前記光点抽出部は、前記第１の露光時間とは異なる第２の露光時間で撮像された画像に基づいて前記光点抽出処理を行うことを特徴とする請求項１に記載の前照灯制御装置。
3. 前記第１の露光時間及び第２の露光時間の少なくとも一方を制御する露光時間制御部を備えることを特徴とする請求項２に記載の前照灯制御装置。
4. 前記露光時間制御部は、前記物体検出部が物体を検出可能な物体検出可能距離に基づいて、前記第２の露光時間を制御することを特徴とする請求項３に記載の前照灯制御装置。
5. 前記露光時間制御部は、前記物体検出部が物体を検出可能な物体検出可能距離と前記光点抽出部が光点を抽出可能な光点抽出可能距離とが部分的に重複して設定されるように前記第２の露光時間を制御することを特徴とする請求項３に記載の前照灯制御装置。
6. 前記配光制御部は、前記物体検出部により物体が検出されず、かつ前記光点抽出部により光点が抽出されていない場合に、前記前照灯を遠方照射状態とする前照灯制御信号を生成することを特徴とする請求項１に記載の前照灯制御装置。
7. 前記撮像装置は、ステレオカメラであり、
   前記物体検出部は、前記ステレオカメラの視差画像によって得られる距離情報に基づいて物体を検出し、
   前記光点抽出部は、単一の画像内の輝度パターンに基づいて光点を抽出することを特徴とする請求項１に記載の前照灯制御装置。

Images