JP7295645B2 - 車両用道路標識認識支援装置 - Google Patents

Description

この発明は、車両用道路標識認識支援装置に関するものである。

自動車などの車両には、例えば、車両前方の画像を撮像するカメラなどの撮像部を搭載したものが存在している。そして、このようなカメラの画像を用いて道路標識の内容を認識させるようにした車両用道路標識認識装置も開発されている（例えば、特許文献１参照）。この車両用道路標識認識装置は、道路標識の認識に、近赤外光などを用いている。

特開２０１６－１９６２３３号公報

上記特許文献１に記載された車両用道路標識認識装置では、道路標識の劣化による道路標識自体の輝度低下によって、近赤外光を照射した道路標識が暗く映って内容が認識できない場合に、カメラの撮像パラメータや、近赤外光の光量などを調整することで、道路標識の内容を認識し易くしている。

しかし、特許文献１は、撮像パラメータの調整や近赤外光の光量の調整などを行って、道路標識に対する認識性を高めるようにしていたので、まだ改良や工夫の余地がある。

上記課題を解決するために、本発明は、
少なくとも車両の前方の画像を撮像する撮像部と、
該撮像部によって得られた画像の中の道路標識の有無を判定する道路標識存在判定部と、
該道路標識存在判定部によって道路標識有りと判定された場合に、道路標識の内容を認識する道路標識内容認識部と、
該道路標識内容認識部が、道路標識の内容を認識できないときに、道路標識の位置を算出する道路標識位置算出部と、
該道路標識位置算出部によって算出された道路標識の位置へ照明光が向くように車両用照明装置の照射方向を制御する配光制御部とを備え、
前記配光制御部は、前記道路標識内容認識部が道路標識の内容を認識できる場合には、前記車両用照明装置の配光を制御しない車両用道路標識認識支援装置を特徴とする。

本発明によれば、上記構成によって、道路標識の内容を早期に、または、より容易に認識できるようになる。また、道路標識内容認識部によって、実際に道路上に存在している道路標識の内容を自動的に認識できるようになる。この際、道路標識内容認識部が道路標識の内容を認識できないときに、車両用照明装置の配光を制御して道路標識の位置へ向けて照明光を照射させることで、照明光に照射された道路標識の内容を道路標識内容認識部によって認識し易くすることができる。加えて、道路標識内容認識部が道路標識の内容を認識できる場合には、車両用照明装置の配光を制御しないようにすることで、配光制御部などの処理負荷（負担）を軽減して、車両用道路標識認識支援装置の効率的運用を図ることが可能になる。

本実施の形態にかかる車両用道路標識認識支援装置の機能を示す図である。このうち、（ａ）は車両用道路標識認識支援装置がない場合、（ｂ）は車両用道路標識認識支援装置を設けた場合である。 図１の車両用道路標識認識支援装置のハードウェア構成を示すブロック図である。 図１の車両用道路標識認識支援装置の処理手順の一例を示すフロー図である。 道路標識存在判定部の内部構成を示すブロック図である。 撮像された近赤外画像の一例を示す図である。 図５Ａの画像の中から道路標識の候補領域を検出した結果について説明する図である。 道路標識位置算出部の内部構成を示すブロック図である。 道路標識内容認識部の内部構成を示すブロック図である。 車両用道路標識認識支援装置のメインルーチンを示すフローチャートである。 道路標識の位置を算出して照明光を照射するサブルーチンを示すフローチャートである。 車両用道路標識認識支援装置で道路標識の認識支援を行う状態を示す説明図である。 図１０に続く説明図である。 左右のハイビーム／ロービームを自動切り替えする機能を備えたヘッドライトを用いた場合の照射処理を示す説明図である。 可変配光式ヘッドライトを用いた場合の照射処理を示す説明図である。 照射処理の結果を示す説明図である。 道路標識内容認識部による道路標識内容認識処理を示すフローチャートである。

以下、本実施の形態を、図面を用いて詳細に説明する。
図１～図１５は、この実施の形態を説明するためのものである。

＜構成＞以下、この実施の形態の構成について説明する。

例えば、図１（ａ）に示すように、夜間などにヘッドライト１（ロービーム）を点灯して車両２を走行している場合には、道路標識３の近くまで進まないと、前方にある道路標識３の内容を認識することが難しい。この状態から、図１（ｂ）に示すように、道路標識３から離れた位置からでも、道路標識３を認識できるようにしたいという要望がある。そのために、車両用道路標識認識支援装置４（図２）を、車両２に対して備えるようにする。車両用道路標識認識支援装置４は、道路標識３に対する認識を支援するために車両２に搭載される装置である。なお、図１では分かり易いようにヘッドライト１そのものではなく、ヘッドライト１からの光に対して符号を付すようにしている。

（構成 １）そのために、図２に示すように、車両用道路標識認識支援装置４は、少なくとも車両２の前方の画像５を撮像する撮像部６と、撮像部６によって得られた画像５の中の道路標識３の有無を判定する道路標識存在判定部７と、道路標識存在判定部７によって道路標識３有りと判定された場合に、道路標識３の位置を算出する道路標識位置算出部８と、道路標識位置算出部８によって算出された道路標識３の位置へ照明光９が向くように車両用照明装置１１の照射方向１２を制御する配光制御部１３を備えるように構成しても良い。

（構成 ２）車両用道路標識認識支援装置４は、道路標識３の種別，内容を認識する道路標識内容認識部１５を備えても良い。配光制御部１３は、道路標識内容認識部１５が、道路標識３の内容を認識できないときに、道路標識３の位置へ向けて車両用照明装置１１の照明光９を照射させるようにしても良い。

（構成 ３）車両用道路標識認識支援装置４では、照明光９は、近赤外光３２または可視光１６の少なくとも一方とされても良い。そして、照明光９の照射方向１２を制御可能な車両用照明装置１１は、車両前方へ向けて出射する可視光１６の配光を変更可能な可変配光式ヘッドライト１７としても良い。

（構成 ４）車両用道路標識認識支援装置４では、撮像部６は、可視光領域および近赤外領域の双方に感度を有するものとしても良い。

（構成 ５）車両用道路標識認識支援装置４では、道路標識存在判定部７は、車両２の周辺の道路標識情報２１を取得したときに、道路標識３の有無の判定を行うようにしても良い。

（構成 ６）車両用道路標識認識支援装置４は、車両２の周辺に道路標識３が存在する可能性があるか否かを判定する道路標識存在可能性判定部２２を有しても良い。具体的には、道路標識存在可能性判定部２２を、車両２の周辺の道路標識情報２１を出力する道路標識情報出力部２３などとすることができる。

（構成 ７）車両用道路標識認識支援装置４では、道路標識存在可能性判定部２２は、記憶している道路標識３の設置位置を示す情報に基づいて、車両２の前方に道路標識３が存在する可能性があるか否かを判定するようにしても良い。具体的には、道路標識存在可能性判定部２２としての道路標識情報出力部２３を、記憶しているデータベース２５を用いて道路標識情報２１を出力するものなどとすることができる。

（構成 ８）車両用道路標識認識支援装置４では、車両用照明装置１１は、道路標識３の位置へ向けて照明光９を照射したあとに、道路標識存在判定部７または道路標識内容認識部１５へ照射完了信号２６を送るようにしても良い。

＜作用効果＞以下、この実施の形態にかかる車両用道路標識認識支援装置４の作用効果について説明する。

（作用効果 １）車両用道路標識認識支援装置４では、図３に示すように、撮像部６（カメラ）が、少なくとも車両２の前方の画像５を撮像する（ステップ１）。次に、道路標識存在判定部７が、撮像部６によって得られた画像５の中の道路標識３の有無を判定する（ステップ２）。道路標識存在判定部７によって道路標識３が有りと判定された場合には、最終的に、道路標識位置算出部８が道路標識３の位置を算出する。そして、配光制御部１３が、車両用照明装置１１による照明光９の照射方向１２を制御して、道路標識位置算出部８によって算出された道路標識３の位置へ向けて車両用照明装置１１の照明光９を照射させる（ステップ４）。なお、道路標識存在判定部７によって道路標識３が無しと判定された場合には、車両用照明装置１１による上記した特定位置への照明光９の照射は特に行う必要がない。

これにより、車両用道路標識認識支援装置４は、撮像部６の画像５の中から道路標識存在判定部７が道路標識３（道路標識３らしい物体も含む）を発見した場合に、道路標識位置算出部８で算出した道路標識３の位置へ向けて照明光９を照射することができ、道路標識３が照明光９によって局所的に照らされて明るくなるので、実際に道路上に存在している道路標識３の内容を視認し易くなり、運転者や車両用道路標識認識支援装置４は、道路標識３の内容を、より容易且つ明瞭に認識できるようになる。よって、遠方からでも道路標識３を早期に発見することが可能になる。また、夜間やトンネルなどの暗い環境においても、道路標識３に対する視認や認識の精度を向上して、昼間などの明るい環境と同様に、安全運転を促すことなどが可能になる。

（作用効果 ２）道路標識内容認識部１５によって、道路標識３の種別，内容を認識するようにしても良い（ステップ３）。この際、道路標識内容認識部１５が道路標識３の内容を認識（または判読）できないときに、（道路標識内容認識部１５が道路標識存在判定部７に認識不可信号２７（図２）を送り、認識不可信号２７によって道路標識存在判定部７が道路標識位置算出部８を介して配光制御部１３に標識存在位置信号２８を送ることで、）配光制御部１３は、道路標識３の位置へ向けて車両用照明装置１１の照明光９を照射させるようにしても良い。なお、道路標識内容認識部１５が道路標識３の内容を認識（判定または判読）できるときには、車両用照明装置１１による道路標識３への照明光９の照射は行わないようにしても良い。

これにより、車両用道路標識認識支援装置４は、道路標識内容認識部１５によって、実際に道路上に存在している道路標識３の種別，内容を自動的に認識できるようになる。この際、道路標識内容認識部１５が道路標識３の内容を認識できないときに、車両用照明装置１１の配光を制御して道路標識３の位置へ向けて照明光９を照射させることで、照明光９に照射された道路標識３の内容を道路標識内容認識部１５によって認識し易くすることができる。加えて、道路標識内容認識部１５が道路標識３の内容を認識できる場合には、車両用照明装置１１の配光を制御しないようにすることができ、これにより、配光制御部１３などの処理負荷（負担）を軽減して、車両用道路標識認識支援装置４の効率的運用を図ることが可能になる。

なお、道路標識内容認識部１５が道路標識３の内容を認識（または判読）する前に、車両用照明装置１１による道路標識３への照明光９の照射を行うようにすることも構成的には可能である。

（作用効果 ３）照明光９は、近赤外光３２または可視光１６の少なくとも一方とされても良い。照明光９を近赤外光３２とすることで、人の目には見えないように道路標識３を照明して機械的に道路標識３の有無を判定させたり認識させたりできる。また、照明光９を可視光１６とすることで、人の目で見えるように道路標識３を照明して乗員に道路標識３の有無の判定や認識などを行わせることができる。

そして、車両用照明装置１１を、可変配光式ヘッドライト１７としても良い。これにより、車両前方へ向けて照明光９を照射する可変配光式ヘッドライト１７を用いて、照明光９の配光を変更できるようになる。

そのため、可変配光式ヘッドライト１７が持つ配光変更機能を有効利用して、車両前方の道路標識３を照明光９で確実に照らすことができるようになる。しかも、可変配光式ヘッドライト１７が出射する照明光９は可視光１６であり、この可視光１６による照明光９は光量が十分に大きいため、道路標識３を視認したり認識したりする上で有利である。また、例えば、近赤外光３２の照射だと乱反射が生じてしまうことから内容を認識するのが困難になり易い反射型の道路標識３であっても、可変配光式ヘッドライト１７の照明光９は可視光１６であるため、可視光１６を照射することで乱反射が抑制された画像５が得られるので、道路標識３を支障なく認識することができる。即ち、配光を変更する照明光９を可視光１６とした方が、道路標識３で乱反射される近赤外光３２にするよりも、乱反射の抑制効果が得られるので、道路標識３をより認識し易くすることができ、有利である。

よって、遠方から判別することが難しかった反射型の道路標識３を、局所的な可視光１６の照射によって遠方からでも早期に発見して内容を認識できるようになる。また、可変配光式ヘッドライト１７は、可視光１６の照射位置を細かく設定・調整できるので、対向車に眩しさを感じさせないようにしつつ道路標識３の認識を行うことができる。

（作用効果 ４）撮像部６は、車両２の前方の画像５を可視光領域および近赤外領域の双方の波長で一度に撮像できるようにしても良い。このように、可視光領域の画像５や、近赤外領域の画像５や、可視光領域の画像５と近赤外領域の画像５とが合成された画像５を１つの撮像部６で一度に撮像できるようにすることで、可視光領域に感度を有する撮像部と、近赤外領域の双方に感度を有する撮像部とを別々に設けて、例えば、これらの撮像部で別々に撮像した画像を合成して用いたりする場合と比べて、撮像部の台数を減らすと共に、車両用道路標識認識支援装置４などの処理負荷を軽減することができる。このような撮像部６は、可視光領域の画像５と、近赤外領域の画像５と、可視光領域の画像５および近赤外領域の画像５が合成された画像５のどれでも必要に応じて取り出して使用することができるので、画像処理の際の便宜が良い。なお、可視光領域に感度を有する撮像部と、近赤外領域の双方に感度を有する撮像部とを別々に設けることも、構造的には可能である。

（作用効果 ５）車両用道路標識認識支援装置４では、道路標識存在判定部７は、車両２の周辺の道路標識情報２１を取得したときに、道路標識３の有無の判定を行うようにしても良い。これにより、取得した道路標識情報２１を利用して車両用道路標識認識支援装置４を効率的に運用することができ、実際に道路上に存在している道路標識３を効率的かつ確実に認識できる。

（作用効果 ６）車両用道路標識認識支援装置４では、車両２の周辺に道路標識３が存在する可能性があるか否かを判定する道路標識存在可能性判定部２２を備えても良い。そして、道路標識存在可能性判定部２２は、判定した結果を道路標識情報２１として出力する。道路標識存在可能性判定部２２の判定結果を利用することで、道路標識存在判定部７は、道路標識存在可能性判定部２２によって周辺に道路標識３が存在する可能性があると判定されたときに限って、道路標識３の存在の判定を行うことができる。したがって、車両用道路標識認識支援装置４を効率的に運用して、道路標識３を効率的に認識できる。

具体的には、車両用道路標識認識支援装置４では、道路標識存在可能性判定部２２を、車両２の周辺の道路標識情報２１を出力する道路標識情報出力部２３としても良い。そして、道路標識情報出力部２３は、車両２の周辺の道路標識情報２１を逐次出力する。これにより、道路標識存在判定部７は、道路標識情報出力部２３が出力する道路標識情報２１を利用することが可能になる。例えば、道路標識存在判定部７は、道路標識情報出力部２３から周辺に道路標識３が存在するとの道路標識情報２１を得たときに限って、道路標識３の存在の判定を行うようにできる。これにより、車両用道路標識認識支援装置４を効率的に運用して、道路標識３を効率的に認識できる。また、例えば、道路標識存在判定部７は、道路標識情報２１と道路標識３の存在に対する判定結果とを比べて、判定精度などを確認したり確保したりすることができる。

（作用効果 ７）車両用道路標識認識支援装置４では、道路標識存在可能性判定部２２は、記憶している道路標識３の設置位置を示す情報に基づいて、車両２の前方に道路標識３が存在する可能性があるか否かを判定して道路標識情報２１を出力するようにしても良い。そのため、道路標識存在判定部７は、撮像部６の画像５のみに頼ることなく、道路標識存在可能性判定部２２が記憶している道路標識３の設置位置を示す情報を併せて使うことで、より素早く確実に道路標識３を検出したり認識したりすることができるようになり、また、検出結果や認識結果の信頼性を高めることができる。

具体的には、車両用道路標識認識支援装置４では、道路標識存在可能性判定部２２としての道路標識情報出力部２３は、記憶している地図情報のデータベース２５を用いて道路標識情報２１を出力するように構成しても良い。そして、道路標識情報出力部２３は、走行中に、地図情報のデータベース２５を参照して現在位置周辺の道路標識情報２１を逐次出力する。そのため、道路標識存在判定部７は、撮像部６の画像５のみに頼ることなく、道路標識情報出力部２３が出力する道路標識情報２１を、道路標識３の存在判定に利用することができ、これによって、より素早く確実に道路標識３の存在を検出したり認識したりできるようになる。また、地図情報のデータベース２５から抽出した道路標識情報２１を用いることにより、判定結果や認識結果の信頼性をより高めることができる。しかも、地図情報のデータベース２５を、常に最新のものに更新できるようにしておくことで、判定結果や認識結果の信頼性を一層高めることができる。

（作用効果 ８）車両用道路標識認識支援装置４では、車両用照明装置１１は、道路標識３の位置へ向けて照明光９を照射したあとに、道路標識存在判定部７または道路標識内容認識部１５に照射完了信号２６を送るようにしても良い。これにより、道路標識存在判定部７または道路標識内容認識部１５は、照明光９の照射が完了されたことを、車両用照明装置１１からの照射完了信号２６によって取得することができ、照明光９の照射完了後に、再度、道路標識３の有無の判定や道路標識３の内容の認識を行うことで、道路標識３の存在や内容をより確実に認識できるようになる。

＜構成＞以下、上記実施の形態をより具体化した実施例の構成について説明する。

車両用道路標識認識支援装置４は、車両２に搭載されて、少なくとも乗員が道路標識３をより容易に、または、より早期に視認したり認識したりできるように支援するために設けられる運転支援装置である。また、車両用道路標識認識支援装置４は、道路標識３を自動で認識できるように構成しても良い。

（車両用道路標識認識支援装置４の構成の説明）

まず、図２を用いて、この実施例にかかる車両用道路標識認識支援装置４の構成について説明する。車両用道路標識認識支援装置４は、少なくとも、撮像部６と、ＥＣＵ３１（Electronic Control Unit）と、車両用照明装置１１とを有する。

ここで、車両用道路標識認識支援装置４は、例えば、車両２のイグニッションスイッチがＯＮで、ライトスイッチがＯＮとなっている間中、継続して機能するように構成される。

撮像部６は、少なくとも車両２の進行方向の前方や周囲の画像５を撮像するもの（カメラ）である。撮像部６は、車両用道路標識認識支援装置４に専用のものとして設けることができるが、車両２に別の目的で搭載された他の装置のカメラなどを、車両用道路標識認識支援装置４のために利用することもできる。

撮像部６には、可視領域（３８０～８００ｎｍ付近）及び近赤外領域（例えば、８００～９５０ｎｍ付近）の両方に感度を有するカメラ（カラーＮＩＲカメラ （Near InfraRed：近赤外線））を使用することができる。カラーＮＩＲカメラは、カラーカメラと近赤外カメラとを合わせた機能を有しており、可視光領域の画像５と、近赤外領域の画像５と、可視光領域の画像５および近赤外領域の画像５が合成された画像５のどれでも必要に応じて取り出して使用することができる。なお、カラーＮＩＲカメラは、カラーカメラと、近赤外カメラとに分けて別々に設けても良い。

撮像部６は、例えば、車両２のフロントガラス（ウインドシールド）の裏面側、例えばルームミラーの裏側付近に、車両２の前方へ向けて設置され、車両２の進行方向の前方を撮影する。なお、撮像部６を近赤外カメラおよびカラーカメラの２台のカメラに分けた場合には、近赤外カメラとカラーカメラは、互いに近接した状態で、２台のカメラの光軸が平行になるように設置される。すなわち、２台のカメラは、ほぼ等しい観測範囲を画像化するように設置される。

撮像部６は、光学系６ａと、受光部６ｂと、撮像条件変更部６ｃと、を有している。光学系６ａはレンズとされ、受光部６ｂは撮像素子とされ、撮像条件変更部６ｃは信号処理調整用ＩＣ（信号処理回路）とされても良い。

レンズは、可視光１６及び近赤外光３２を所定の屈折力で屈折させて、撮像素子上に結像させる。

撮像素子は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等で構成された光電変換素子であり、結像された光を画像５に変換する。撮像素子からは、電気信号に変換された画像信号６ｄが出力される。なお、撮像素子の前面には、可視光１６および近赤外光３２のみを透過して、可視光１６と近赤外光３２の間の領域（波長６５０～８００ｎｍ）、および波長９５０ｎｍ以上の赤外光をカットするＩＲカットフィルタを装着することができる。

信号処理調整用ＩＣは、画像信号６ｄのゲインを調整して所定の画像信号６ｄに変換する。変換された信号は、調整済画像信号（画像５）としてＥＣＵ３１に出力される。信号処理調整用ＩＣからは、撮像素子とレンズに対して、絞りとシャッター速度を調整して露光量を設定する撮像パラメータ調整信号６ｅが出力される。

車両用照明装置１１は、車両２の外部、少なくとも車両２の前方や周囲を照明する装置である。車両用照明装置１１は、主に、可視光１６を発光するライト（可視光源）とされる。更に、近赤外光３２を発光する近赤外ライト３３（近赤外光３２源）を備えることができる。

可視光１６を発光するライトは、車両用道路標識認識支援装置４のために専用に設けても良いが、車両２に保安部品として設けられているヘッドライト１を利用しても良い。ヘッドライト１は、車両２の進行方向（のほぼ前方）を照明するための照明装置（前照灯）であり、車両用道路標識認識支援装置４では、配光方向を変更・調整できるようにしたヘッドライト１を用いる。配光方向を変更・調整できるようにしたヘッドライト１には、例えば、ハイビームとロービームとを左右独立して自動切り替えする機能を備えたものや、ハイビームの照射方向１２を細かく変更できるようにした可変配光式ヘッドライト１７などが存在している。この実施例では、可変配光式ヘッドライト１７を用いている。

例えば、可変配光式ヘッドライト１７には、複数のＬＥＤ光源を有するものを使用できる。可変配光式ヘッドライト１７は、ＥＣＵ３１から出力された標識存在位置信号２８によって指示された位置へ向けて可視光１６を照射する。可変配光式ヘッドライト１７は、ＥＣＵ３１に対して、可変配光式ヘッドライト１７が点灯状態にあるか否かを示す照射完了信号２６を出力する。この照射完了信号２６は、可変配光式ヘッドライト１７の点灯状態を確認するためにＥＣＵ３１で利用される。

可変配光式ヘッドライト１７は、照明光９（ハイビームなど）の配光を制御するための配光制御部１３（ヘッドライト配光制御部）と、照明光９を照射するためのヘッドライト照射部１４とを備えており、標識存在位置信号２８に基づいて配光制御部１３がヘッドライト照射部１４の配光を制御する。なお、配光制御部１３は、可変配光式ヘッドライト１７内ではなくＥＣＵ３１の側に設けても良い。そして、配光制御部１３は、道路標識位置算出部８と一体に構成しても良い。

近赤外ライト３３は、例えば、車両２のヘッドライト１（可変配光式ヘッドライト１７）の近傍に設置された近赤外投光器とすることができる。なお、近赤外ライト３３は、車両２のヘッドライト１に対して一体的に備えるようにしても良い。

近赤外ライト３３は、近赤外光３２によって昼夜を問わず、車両２の進行方向の前方を照明するとともに、ＥＣＵ３１から出力される近赤外光光量設定信号３８によって指示された量の近赤外光３２を、カラーＮＩＲカメラなどの撮像部６の撮像範囲に対応した被写体方向へ向けて照射する。なお、近赤外ライト３３は、通電する電流値を調整することによって、または、近赤外ライト３３の光源の前面に装着した赤外カットフィルタを回転またはスライドさせて移動することにより、照射する近赤外光３２の光量を調整する。

また、近赤外ライト３３は、ＥＣＵ３１に対して、近赤外ライト３３が点灯状態にあるか否かを示す照射完了信号３９を出力する。この照射完了信号３９は、近赤外ライト３３の点灯状態を確認するためにＥＣＵ３１で利用される。近赤外ライト３３は、近赤外光３２の照射光量を制御するための近赤外光照射光量制御部４１と、近赤外光３２を照射するための近赤外光照射部４２とを備えており、近赤外光光量設定信号３８に基づいて近赤外光照射光量制御部４１が近赤外光照射部４２の照射光量を制御する。なお、近赤外光照射光量制御部４１は、近赤外ライト３３内ではなくＥＣＵ３１の側に設けても良い。

ＥＣＵ３１は、車両用道路標識認識支援装置４を制御するための装置（コントロールユニットまたは演算処理装置）であり、例えばマイクロコンピュータで構成される。なお、画像処理を高速に実行するために、ＥＣＵ３１には、画像処理専用のプロセッサを用いても良い。ＥＣＵ３１は、カラーＮＩＲカメラなどの撮像部６に対して撮像パラメータの設定を行うとともに、設定された撮像パラメータで撮像された画像５を、画像処理して、道路標識３の検出を行う機能（道路標識存在判定部７）や、道路標識３の位置を算出する機能（道路標識位置算出部８）を有している。さらに、検出された道路標識３の種別，内容を認識する機能（道路標識内容認識部１５）を有しても良い。なお、ＥＣＵ３１の内部構成については、後述する。

そのために、ＥＣＵ３１は、カラーＮＩＲカメラなどの撮像部６に対して、撮像パラメータの調整を指示する撮像パラメータ調整指示信号３１ａを出力する。

なお、図１ではＥＣＵ３１をカラーＮＩＲカメラなどの撮像部６から独立した構成としたが、ＥＣＵ３１は、カラーＮＩＲカメラに内蔵した構成、すなわち、カラーＮＩＲカメラとＥＣＵ３１を一体化した構成とすることもできる。

また、ＥＣＵ３１は、配向方向を調整できるようにしたヘッドライト１（例えば、可変配光式ヘッドライト１７）に対して、可視光１６の配光を制御するための標識存在位置信号２８を出力する。ヘッドライ１トは、標識存在位置信号２８に基づいて配光を制御する。

ＥＣＵ３１は、近赤外ライト３３に対して、近赤外光３２の照射光量を設定する近赤外光光量設定信号３８を出力する。近赤外ライト３３は、近赤外光光量設定信号３８に基づいて照射光量を制御する。

車両用道路標識認識支援装置４は、上記の他に、表示部４５を備えても良い。表示部４５は、車両用道路標識認識支援装置４のための表示を行う装置である。表示部４５は、ＥＣＵ３１が出力した標識認識信号４６を受けて、認識した道路標識３の種別，内容を画面に表示して運転者に伝達する。表示部４５は、車両用道路標識認識支援装置４に専用のものを設けることもできるが、車両２の車室内に設置されているものを利用することもできる。車室内には、車両用計器装置やその他の機器などに用いられる表示部４５が単数または多数存在している。表示部４５は、車両用道路標識認識支援装置４のための表示の他に、運転に必要な各種の情報や、車外の風景や、その他の表示を行うようにしても良い。表示部４５は、液晶ディスプレイ４５ａや有機ＥＬパネルやこれと同等の表示パネルなどとすることができる。また、表示部４５は、ヘッドアップディスプレイなどとすることができる。ヘッドアップディスプレイは、前方を向いて運転している乗員が、大きな視線変更を伴わずに視認できるようにした表示装置である。

また、車両用道路標識認識支援装置４は、カーナビゲーションシステム４８を備えても良い。カーナビゲーションシステム４８は、車両２の内部に搭載されて、走行中の現在位置を特定して表示する装置である。カーナビゲーションシステム４８は、表示パネルを有すると共に、内部に地図情報のデータベース２５を有しており、地図情報のデータベース２５には、道路標識３の設置位置（道路標識情報２１）が記録されているものが存在している。なお、カーナビゲーションシステム４８の表示パネルは、表示部４５として利用することが可能である。

上記したように、ＥＣＵ３１は、少なくとも道路標識存在判定部７と、道路標識位置算出部８とを備える。また、ＥＣＵ３１は、道路標識内容認識部１５を備えることもできる。これらの道路標識存在判定部７や道路標識位置算出部８や道路標識内容認識部１５は、ＥＣＵ３１にインストールされたソフトウェア上の機能ブロックとして構成することができる。

道路標識存在判定部７は、撮像部６からの画像５に基づいて、撮像部６で撮像された画像５の中に道路標識３が写っているか否かを判定する。この際、道路標識存在判定部７は、道路標識存在可能性判定部２２（道路標識情報出力部２３）の出力（標識存在指示信号または道路標識情報２１）を利用して、道路標識３の存在可能性の有無を判定し、道路標識内容認識部１５に標識存在通知信号５２を送るようにしても良い。この場合、道路標識存在判定部７は、撮像部６からの画像５と道路標識存在可能性判定部２２の標識存在指示信号または道路標識情報２１の両方を適宜用いて、撮像部６で撮像された画像５の中に道路標識３が写っているか否かを判定する。例えば、道路標識存在判定部７は、撮像部６からの画像５の中に道路標識３が写っているか否かを常時判定し続けるようにしても良いが、道路標識存在可能性判定部２２からの道路標識情報２１を取得したときに限って、撮像部６からの画像５の中に道路標識３が写っているか否かを判定するようにすることができる。

道路標識位置算出部８は、道路標識存在判定部７が画像５の中に道路標識３が写っていると判定したときに、道路標識存在判定部７からの道路標識位置算出指示信号５３によって道路標識３の位置を算出する。または、道路標識位置算出部８は、道路標識存在判定部７が画像５の中に道路標識３が写っていると判定し、且つ、道路標識存在判定部７が道路標識内容認識部１５から認識不可信号２７を入力したときに道路標識３の位置を算出する。そして、道路標識位置算出部８は、可変配光式ヘッドライト１７に標識存在位置信号２８を出力して、道路標識３の位置へ向けて可視光１６を照射するように可変配光式ヘッドライト１７の配光を変更する。

道路標識内容認識部１５は、道路標識存在判定部７からの標識存在通知信号５２を入力したときに、撮像された画像５に写っている道路標識３の種別，内容を認識する。道路標識内容認識部１５は、撮像された画像５に写っている道路標識３の種別，内容を認識できなかったときに、道路標識存在判定部７に認識不可信号２７を出力する。

道路標識存在可能性判定部２２は、図２に示したカーナビゲーションシステム４８によって構成することができる。道路標識存在可能性判定部２２は、車両２が走行している現在位置と、記録している地図情報のデータベース２５とを照合し、進行方向の前方に道路標識３があるか否かの予測や判定を行う。そして、進行方向の前方に道路標識３があると判定したときに、進行方向の前方に道路標識３が存在することを示す道路標識情報２１をＥＣＵ３１に出力する。これにより、カーナビゲーションシステム４８は、道路標識存在可能性判定部２２として使用することができる。

なお、道路標識存在可能性判定部２２は、カーナビゲーションシステム４８に限るものではなく、例えば、カーナビゲーションシステム４８の代わりに、道路の路側帯に設けた通信スポットから無線通信で車両２に道路標識３の存在場所（道路標識情報２１）を提供するようなものとしても良い。この場合、道路標識存在可能性判定部２２は、車両２の外部に設置された独立の設備となる。

以下、道路標識存在判定部７が、画像５の中に道路標識３が写っているか否かを判定して、道路標識３が写っていないときに撮像条件を調整して適正な明るさの画像５を撮像する道路標識存在判定処理の内容について、図４（図５Ａ，図５Ｂ）を用いて説明する。

図４は、道路標識存在判定部７の詳細な機能構成を示す機能ブロック図である。

まず、道路標識存在判定部７は、エッジ検出部７ａと、閉領域抽出部７ｂと、画素数計測部７ｃと、画素値積算部７ｄと、平均画素値算出部７ｅと、道路標識判定部７ｆと、撮像条件設定部７ｇと、を有している。

エッジ検出部７ａは、画像５（主に近赤外画像）に対してエッジ検出を行い、隣接画素間で画素値の差が大きい画素をエッジ構成点として検出する。なお、エッジ検出の方法は問わない。

閉領域抽出部７ｂは、検出されたエッジ構成点によって囲まれた閉領域を抽出する。具体的には、検出されたエッジ構成点で構成された領域にラベル付けを行い、同じラベル値の画素によって周囲が囲まれた領域を探すことによって、閉領域を抽出する。

画素数計測部７ｃは、閉領域抽出部７ｂで検出された閉領域を構成する画素数の合計値を計測する。

画素値積算部７ｄは、画素数計測部７ｃで画素数を計測する際に、閉領域を構成する画素の画素値を積算する。

平均画素値算出部７ｅは、画素値積算部７ｄで積算された画素値の積算値を、画素数計測部７ｃで計測された画素数で除して、平均画素値を算出する。

道路標識判定部７ｆは、平均画素値算出部７ｅで算出された平均画素値が、所定範囲の値であるか否かを判定する。例えば、前述した例では、平均画素値が６００よりも大きく７００以下であるとき、適正な明るさで撮像された道路標識３であると判定する。

撮像条件設定部７ｇは、道路標識判定部７ｆにおいて、適正な明るさで撮像されていない道路標識３であると判定されたときに、近赤外光３２の照射光量の設定、または撮像部６（カラーＮＩＲカメラ）の撮像パラメータの設定を変更する。

図５Ａに、実際に撮像された画像５の一例を示す。この図からわかるように、車両２から進行方向の前方を撮像した画像５の中には、道路境界線６１を含む道路と、路肩に設置された道路標識３が写っている。

このようにして撮像された画像５に対して、エッジ検出と閉領域の抽出を行うと、図５Ｂに示すように、道路標識３の領域が抽出される。図５Ｂは、図５Ａの画像５の中から、道路標識３の候補領域を抽出した結果を示す図である。画素数計測部７ｃと画素値積算部７ｄでは、このようにして抽出された閉領域に外接する外接領域６２の中で閉領域を構成している画素を探し、その総数と画素値の総和をそれぞれ算出する。そして、算出された画素の総数と画素値の総和から、平均画素値が算出される。

なお、図５Ａには道路標識３が１つしか写っていないが、画像５の中に複数の道路標識３が写っている場合もある。そして、それら複数の道路標識３は、それぞれ、設置されてからの経過年数が異なっている場合がある。したがって、道路標識３の存在判定と撮像パラメータの設定は、それぞれの道路標識３の候補領域に対して個別に行う必要がある。

すなわち、複数の道路標識３が全て同じ明るさで撮像される保証がないため、撮像パラメータの設定の変更は、個々の道路標識３に対して繰り返し行われる。すなわち、ある道路標識３が適正な明るさで撮像されたときは、その道路標識３に外接する外接領域６２を除外した画像５に対して、別の道路標識３に対する明るさの判定を行う。

ここで、画像５に対してエッジ検出処理と閉領域抽出処理を行うと、道路領域からも閉領域が検出される可能性がある。このように道路領域から検出された閉領域は、その後の処理においてノイズとなるため、画像５に対して、まず最初に道路領域を検出する処理を行い、検出された道路領域以外の領域に対して、エッジ検出処理と閉領域抽出処理を行うようにしても良い。このような処理方法を採ることによって、ノイズの影響をできるだけ減らすことができる。

なお、前述した、道路標識３の撮像状態を判定する処理は、エッジ検出部７ａでエッジ検出を行い、エッジに囲まれた閉領域を抽出する代わりに、画像５を所定のしきい値で２値化処理して道路標識３の候補領域を検出しても同様の結果を得ることができる。

（標識位置算出処理の説明）

次に、道路標識位置算出部８で行う標識位置算出処理の内容について図６のブロック図を用いて説明する。

道路標識位置算出部８は、位置算出部８ａと、面積算出部８ｂと、範囲算出部８ｃと、光量算出部８ｄとを有している。位置算出部８ａは、認識不能な道路標識３の位置を算出する。面積算出部８ｂは、認識不能な道路標識３の面積を算出する。範囲算出部８ｃは、車両用照明装置１１（可変配光式ヘッドライト１７）で照射すべき範囲を算出する。光量算出部８ｄは、車両用照明装置１１（可変配光式ヘッドライト１７）で照射すべき光量を算出する。

（標識内容認識処理の説明）

次に、道路標識内容認識部１５で行う標識内容認識処理の内容について、図７のブロック図を用いて説明する。

道路標識内容認識部１５は、道路標識データベース１５ａと、テンプレートマッチング部１５ｂと、を有する。

道路標識データベース１５ａには、認識対象となる道路標識３の寸法，形状，色彩、および標識の意味が、それぞれ記憶されている。なお記憶しているデータ形式は問わない。

テンプレートマッチング部１５ｂは、画像５と、道路標識データベース１５ａに記憶された内容とのマッチング処理を行う。具体的には、道路標識データベース１５ａに記憶されたテンプレートを、画像５の上に重ね合わせた状態にして走査し、各位置においてマッチング度（類似度）を求めて、画像５の中から、テンプレートに類似した領域を探す。

なお、用意されたテンプレートの大きさや向きと、画像５の中に写る道路標識３の大きさや向きとは異なる場合があるため、マッチング処理を効率的に行うために、テンプレートを、スケールや観測方向の変化に対応可能な特徴量を用いて表現する方法が用いられる。

例えば、向きや大きさが異なる複数のテンプレートを用意して、それぞれのテンプレートを用いてテンプレートマッチングを行うのも１つの方法である。また、回転やスケール変更に対して強いＳＩＦＴ（Scale-Invariant Feature Transform）特徴量を用いて表現されたテンプレートを利用してテンプレートマッチングを行う例もあり、これらの方法を用いることによって、効率的に道路標識３の認識を行うことができる。

次に、上記した車両用道路標識認識支援装置４の処理全体の流れ（メインルーチン）について、図８のフローチャートを用いて説明する。なお、以降のフローチャートの動作主体は、主にＥＣＵ３１となる。

（実施例１の処理全体の流れの説明）

（ステップＳ１０）ライトスイッチがＯＮになってヘッドライト１が点灯しているか否かを判定する。ライトスイッチがＯＮであるときはステップＳ１２に進み、ライトスイッチがＯＦＦであるときはステップＳ１１に進む。

（ステップＳ１１）車両２は昼間の状態にあると判断して、昼間の状態に対応した道路標識認識処理を行い、ステップＳ１３に進む。なお、昼間の明るい状態における道路標識認識処理は、本実施例の対象外であるため説明は省略するが、例えば、画像５に近赤外画像は用いずにカラー画像のみを用いて、標識の領域を切り出すしきい値の調整等を行うことによって標識の認識を行うことなどができる。

（ステップＳ１２）撮像部６（カラーＮＩＲカメラ）の画像５（近赤外画像など）が入力され、または、更に、道路標識存在可能性判定部２２（カーナビゲーションシステム４８）からの道路標識情報２１を取得した状態で、道路標識存在判定部７が、車両２の前方に道路標識３が存在するか否かを判定する。道路標識３が存在すると判定されたときはステップＳ１３に進み、道路標識３が存在しないと判定されたときはステップＳ１２を繰り返す。

（ステップＳ１３）道路標識内容認識部１５が、画像５(例えば、カラー画像と近赤外画像との合成画像など)を用いて標識内容認識処理を行いステップＳ１３に進む。この処理の詳細な流れは後述する。

（ステップＳ１４）道路標識内容認識部１５は、標識内容認識の結果に基づいて、道路標識３の内容が認識可能かを判定する。認識可能（ＹＥＳ）の場合には、ステップＳ１７に進み、認識不能（ＮＯ）の場合には、ステップＳ１５へ進む。

（ステップＳ１５）道路標識位置算出部８が道路標識位置算出処理を行い、ステップＳ１６へ進む。

（ステップＳ１６）配光制御部１３が可変配光式ヘッドライト１７の配光を制御して照射処理を行う。そして、ステップＳ１３へ戻って標識内容認識処理を行う。

なお、ステップＳ１２の後に、直接ステップＳ１５、ステップＳ１６を行わせるようにしても良い。ステップＳ１５、ステップＳ１６の後は、そのまま終了しても良いし、ステップＳ１３へ進むようにしても良い。

（ステップＳ１７）道路標識内容認識部１５が、道路標識３の認識結果（標識認識信号４６）を表示部４５に出力して、車両２の運転者に表示部４５の表示で報知する。なお、ここで、道路標識３の認識結果を利用して車両２の制御を行うことも可能である。

（ステップＳ１８）車両２のイグニッションがＯＦＦか否かを判定する。イグニッションがＯＦＦであるときは処理を終了し、イグニッションがＯＦＦでないときは、ステップＳ１０に戻る。なお、ここで、車両２の車速を検出して、車速が０であるときに図８の処理を終了し、車速が０でないときにステップＳ１０に戻るようにしても良い。

次に、道路標識位置算出部８による位置算出処理、および、配光制御部１３による可変配光式ヘッドライト１７の照射処理の詳細な流れについて、図９のフローチャートを用いて説明する。

（位置算出処理の流れの説明）

（ステップＳ２１）図１０の画像５の中の認識不能な道路標識３の位置（ｘ、ｙ）を算出する。

（ステップＳ２２）画像５の中の認識不能な道路標識３の、算出した位置（ｘ、ｙ）を含む矩形領域ＲＡ（図１１）の面積を算出する。

（ステップＳ２３）可変配光式ヘッドライト１７で照射すべき範囲を算出する。

（ステップＳ２４）可変配光式ヘッドライト１７で照射すべき方向を算出する。

（ステップＳ２５）可変配光式ヘッドライト１７で照射すべき光量を算出する。

（可変配光式ヘッドライト１７の照射処理の流れの説明）

（ステップＳ２６）ステップＳ２３～Ｓ２５で算出した結果に基づき、可変配光式ヘッドライト１７の配光を制御する。その後、処理はメインルーチン（図８）に戻る。

上記した図８に示す処理では、道路標識内容認識部１５によって道路標識３が認識不能であると判断された場合に可変配光式ヘッドライト１７の照射処理（ステップＳ１６）を行う例を示したが、道路標識存在判定部７によって、道路標識３が存在すると判断された場合（ステップＳ１２におけるＹＥＳ）に、直ちに可変配光式ヘッドライト１７の照射処理（ステップＳ１６）を行うようにしても良い。

図１２は、ハイビーム／ロービームを左右独立して自動切り替えする機能を備えたヘッドライト１での照射イメージを示す説明図である。

この図に示す場面では、左右のロービームを点灯した状態で、ヘッドライト１で照射すべき範囲や方向を算出した後に、道路標識３が存在する左側のヘッドライト１のハイビームを点灯させる。道路標識３が存在しない右側のヘッドライト１についてはハイビームを点灯させないようにしている。

図１３は、細かな可変配光制御が可能な機能を有するヘッドライト１（可変配光式ヘッドライト１７）を適用する場面を示している。この図に示す場面では、画面の上側を縦の線で横に分割して複数の縦長の領域を形成し、図８に示すステップＳ１５において、その分割した領域のどの位置に道路標識３が存在するかの判別が行われる。そして、道路標識３の位置が判断されると、左右のロービームが点灯した状態のまま、更に、道路標識３が存在する領域に対しハイビームを局所的に照射して道路標識３を照明する。局所的なハイビームは、車両２（自車両）の走行に合わせて逐次変更することができる。これにより、道路標識３の存在する領域以外の領域を極力照明しないようにして、対向車の運転手等が眩しさを感じないように配慮される。

以上のような、ハイビームの局所的な照射によって、図１４に示すように、道路標識３を離れた位置からでも容易に認識し得るようになる。

そして、道路標識３が認識し易い状態となるようにハイビームを局所的に照射した後に、再び、図８に示した道路標識内容認識部１５による標識内容認識処理（Ｓ１３）を行う。

以下、標識内容認識処理（Ｓ１３）の詳細な流れについて、図１５のフローチャートを用いて説明する。

（標識内容認識処理の流れの説明）

（ステップＳ３１）撮像部６からの画像５と道路標識データベース１５ａ（図７）に記憶されたテンプレートとの間でテンプレートマッチングを行い、道路標識３の内容を認識する。

（ステップＳ３２）画像５内の全ての道路標識３を認識したか否かを判定する。全ての道路標識３を認識したときはメインルーチン（図８）に戻り、それ以外のときは、ステップＳ３１に戻って、別の道路標識３の認識を行う。

以上のような、標識内容認識処理を行わせることによって、画像５中の道路標識３の内容を自動的に認識できるようになる。

１ ヘッドライト
２ 車両
３ 道路標識
４ 車両用道路標識認識支援装置
５ 画像
６ 撮像部
７ 道路標識存在判定部
８ 道路標識位置算出部
９ 照明光
１１ 車両用照明装置
１２ 照射方向
１３ 配光制御部
１５ 道路標識内容認識部
１６ 可視光
１７ 可変配光式ヘッドライト
２１ 道路標識情報
２２ 道路標識存在可能性判定部

Claims (7)

1. 少なくとも車両の前方の画像を撮像する撮像部と、
   該撮像部によって得られた画像の中の道路標識の有無を判定する道路標識存在判定部と、
   該道路標識存在判定部によって道路標識有りと判定された場合に、道路標識の内容を認識する道路標識内容認識部と、
   該道路標識内容認識部が、道路標識の内容を認識できないときに、道路標識の位置を算出する道路標識位置算出部と、
   該道路標識位置算出部によって算出された道路標識の位置へ照明光が向くように車両用照明装置の照射方向を制御する配光制御部とを備え、
   前記配光制御部は、前記道路標識内容認識部が道路標識の内容を認識できる場合には、前記車両用照明装置の配光を制御しないことを特徴とする車両用道路標識認識支援装置。
2. 請求項１に記載の車両用道路標識認識支援装置であって、
   前記道路標識内容認識部は、カラー画像と近赤外画像とを合成した合成画像に基づいて道路標識の内容を認識し、
   前記道路標識位置算出部は、前記道路標識内容認識部が前記合成画像から道路標識の内容を認識できなかったときに、道路標識の位置を算出し、
   前記配光制御部は、前記道路標識内容認識部が前記合成画像から道路標識の内容を認識できたときには、照明装置の配光を制御しないことを特徴とする車両用道路標識認識支援装置。
3. 請求項１または請求項２に記載の車両用道路標識認識支援装置であって、
   前記照明光は、近赤外光または可視光の少なくとも一方とされると共に、
   前記照明光の照射方向を制御可能な前記車両用照明装置は、車両前方へ向けて出射する可視光の配光を変更可能な可変配光式ヘッドライトであることを特徴とする車両用道路標識認識支援装置。
4. 請求項１ないし請求項３のいずれか１項に記載の車両用道路標識認識支援装置であって、
   前記撮像部は、可視光領域および近赤外領域の双方に感度を有することを特徴とする車両用道路標識認識支援装置。
5. 請求項１ないし請求項４のいずれか１項に記載の車両用道路標識認識支援装置であって、
   前記道路標識存在判定部は、前記車両の周辺の道路標識情報を取得したときに、道路標識の有無の判定を行うことを特徴とする車両用道路標識認識支援装置。
6. 請求項１ないし請求項５のいずれか１項に記載の車両用道路標識認識支援装置であって、
   前記車両の周辺に道路標識が存在する可能性があるか否かを判定する道路標識存在可能性判定部を有することを特徴とする車両用道路標識認識支援装置。
7. 請求項６に記載の車両用道路標識認識支援装置であって、
   前記道路標識存在可能性判定部は、記憶している道路標識の設置位置を示す情報に基づいて、前記車両の前方に道路標識が存在する可能性があるか否かを判定することを特徴とする車両用道路標識認識支援装置。

Images