JPWO2015177864A1 - 信号機認識装置及び信号機認識方法 - Google Patents

Abstract

信号機認識装置（１００）は、車両の周囲を撮像して画像データ（Ｄ０８）を取得し（１１）、車両の自己位置を検出し（１２）、車両の周囲の信号機を画像から検出する。信号機の位置情報を含む地図情報（Ｄ０２）と自己位置情報（Ｄ０５）とから、画像に写ることが予測される２以上の信号機を特定する（２３）。信号機が遮蔽される可能性に基づいて、２以上の信号機の間の優先順位を設定する（２４）。そして、２以上の信号機が特定された場合には、２以上の信号機のうち優先順位が最も高い信号機を画像から検出する（１５）。

Description

本発明は、信号機認識装置及び信号機認識方法に関する。

従来から、車両の進行方向を撮像した画像から信号機または一時停止標識を認識する車外認識装置が知られている（特許文献１）。画像中に複数の信号機または一時停止標識が存在する場合、特許文献１では、車両の進行方向に沿った配置順序を判定し、車両に最も近接する位置に存在する信号機または一時停止標識に応じて車両の走行状態を制御する。

特開２００７−２５７２９９号公報

しかし、特許文献１では、走行制御の基準となる信号機を複数の信号機の中から選択する際に、車両から信号機までの距離を考慮しているが、信号機が遮蔽される可能性は考慮していない。信号機は、先行車、街路樹、工事など、地図情報から得られない要因によって隠されてしまい、車両から視認できない場合がある。

本発明は、上記課題に鑑みてなされたものであり、２以上の信号機が画像に写ることが予測される場合における信号機の検出確率を高めることができる信号機認識装置及び信号機認識方法を提供することを目的としている。

本発明の一態様に係わる信号機認識装置は、車両の周囲を撮像して画像を取得し、車両の自己位置を検出し、車両の周囲の信号機を画像から検出する。信号機の位置情報を含む地図情報と自己位置とから、画像に写ることが予測される２以上の信号機を特定する。信号機が遮蔽される可能性に基づいて、２以上の信号機の間の優先順位を設定する。そして、２以上の信号機が特定された場合には、２以上の信号機のうち優先順位が最も高い信号機を画像から検出する。

図１は、実施形態に係わる信号機認識装置１００へ入出力される情報を示すブロック図である。 図２は、第１実施形態に係わる信号機認識装置１００の構成及びデータフローを示すブロック図である。 図３は、図２の検出領域設定部１４の構成及びデータフローを示すブロック図である。 図４は、図３の優先順位設定部２４により設定される優先順位の一例を示す鳥瞰図である。 図５は、信号機認識装置１００を用いた信号機認識方法の一例を示すフローチャートである。 図６は、第１実施形態に係わる、図５のステップＳ１３の詳細な手順を示すフローチャートである。 図７は、第２実施形態に係わる、図５のステップＳ１３の詳細な手順を示すフローチャートである。 図８は、第３実施形態に係わる優先順位設定部２４ｂの構成を示すブロック図である。 図９は、図８の優先順位設定部２４ｂにより設定される優先順位の一例を示す鳥瞰図である。 図１０は、第４実施形態に係わる優先順位設定部２４ｃの構成を示すブロック図である。 図１１は、第４実施形態に係わる図５のステップＳ０７の詳細な手順を示すフローチャートである。 図１２は、図１０の優先順位設定部２４ｃにより設定される優先順位の一例を示す鳥瞰図である。

以下、本発明の実施形態を図面に基づいて説明する。同一部材には同一符号を付して再度の説明を省略する。

（第１実施形態）
図１を参照して、実施形態に係わる信号機認識装置１００のへ入出力される情報を説明する。信号機認識装置１００は、車両に搭載された撮像部（カメラ）により撮像された画像から、車両が走行する道路周辺に設置された信号機を認識する。

信号機認識装置１００には、地図情報Ｄ０２と、ランドマーク情報Ｄ０１と、カメラ情報Ｄ０３とが入力される。地図情報Ｄ０２には、予め実環境と地図の間で対応付けされた信号機の位置情報を含まれる。ランドマーク情報Ｄ０１は、実環境上の車両の自己位置を算出するために用いられる。ランドマークには、地上に設けられた特徴物（地上ランドマーク）、及び車両が受信可能なＧＰＳ信号を発信するＧＰＳ衛星が含まれる。実施形態では、地上ランドマークを例に取り説明する。ランドマーク情報Ｄ０１には、例えば、地上ランドマークの位置情報が含まれる。カメラ情報Ｄ０３は、撮像部から車両の周囲（例えば前方）の映像を抽出するために用いられる。信号機認識装置１００は、これらの情報Ｄ０１〜Ｄ０３に基づいて、信号機の認識結果を信号機情報Ｄ０４として出力する。

図２を参照して、第１実施形態に係わる信号機認識装置１００の構成及びデータフローを説明する。信号機認識装置１００は、撮像部１１と、自己位置検出部１２と、信号機位置推定部１３と、検出領域設定部１４と、信号機検出部１５とを備える。

撮像部１１は、車両に搭載され、車両の周囲を撮像して画像を取得する。撮像部１１は、固体撮像素子、例えばＣＣＤ及びＣＭＯＳを備えるカメラであって、画像処理が可能な画像を取得する。撮像部１１は、カメラ情報Ｄ０３に基づいて、レンズの画角、カメラの垂直方向及び水平方向の角度を設定し、取得した画像を画像データＤ０８として出力する。

自己位置検出部１２は、ランドマーク情報Ｄ０１に基づいて車両の自己位置を検出する。ランドマーク情報Ｄ０１は、例えば、車載のカメラ或いはレーザレーダ等のセンシング手段により検出された地上ランドマーク（店舗、名所、観光スポット）の車両に対する相対位置の情報である。地図情報Ｄ０２の中には、地上ランドマークの位置情報が予め登録されている。ランドマーク情報Ｄ０１と地上ランドマークの相対位置の情報とを照合することにより、車両の自己位置を検出することができる。ここで、「位置」には、座標及び姿勢が含まれる。具体的には、地上ランドマークの位置には、地上ランドマークの座標及び姿勢が含まれ、車両の位置には、車両の座標及び姿勢が含まれる。自己位置検出部１２は、基準となる座標系における座標(x, y, z)及び、各座標軸の回転方向である姿勢(ピッチ、ヨー、ロール)を自己位置情報Ｄ０５として出力する。

例えば、自己位置検出部１２は、ランドマーク情報Ｄ０１を用いて車両の初期位置を検出する。初期位置とは、ランドマーク情報Ｄ０１から直接求めることができる車両の位置、すなわち座標及び姿勢である。そして、初期位置に、車両の移動量を累積加算することで車両５１の自己位置を算出する。自己位置検出部１２は、オドメトリ、レーダ装置、ジャイロセンサ、ヨーレイトセンサ、舵角センサを用いて、単位時間当たりの車両の移動量、つまり、座標及び姿勢の変化量を推定することができる。

信号機位置推定部１３は、地図情報Ｄ０２と自己位置情報Ｄ０５とから、車両に対する信号機の相対位置を推定する。地図情報Ｄ０２の中には、信号機の位置情報（座標情報）が予め登録されている。信号機の座標と車両の座標及び姿勢とから、車両に対する信号機の相対座標を求めることができる。信号機位置推定部１３は、推定した信号機の相対座標を相対位置情報Ｄ０６として出力する。なお、信号機位置推定部１３により推定される信号機は、車両に対して信号を提示する信号機である。

検出領域設定部１４は、信号機の相対位置から、画像における信号機の検出領域を設定する。撮像部１１は車両に固定されているため、撮像部１１が撮像する画角及び方向が定まれば、画像の中で、信号機が撮像されるであろう画像上の位置を特定することができる。検出領域設定部１４は、この画像上の位置に基づいて、画像における信号機の検出領域を設定する。

信号機検出部１５は、２以上の信号機がある場合に、２以上の信号機のうち優先順位が最も高い信号機を画像から検出する。具体的には、優先順位が最も高い信号機に対応する検出領域に含まれる画像データＤ０８に対して、信号機を検出するための画像処理を実施する。画像処理の方法は特に問わない。例えば、信号機が有する信号灯を、商用電源の交流周期に基づく同期検波処理、又は色相及び形状の類似判定処理を用いて、検出することができる。その他、信号機を検出するための既知の画像処理を適用することができる。画像データＤ０８全体ではなく、その一部分（検出領域）に対して画像処理を実施することにより、信号機検出のための情報処理負担を軽減して、早期に信号機を検出することができる。信号機検出部１５は、信号機の検出結果を信号機情報Ｄ０４として出力する。

なお、自己位置検出部１２、信号機位置推定部１３、検出領域設定部１４、及び信号機検出部１５は、ＣＰＵ、メモリ、及び入出力部を備えるマイクロコントローラを用いて実現することができる。具体的に、ＣＰＵは、予めインストールされたコンピュータプログラムを実行することにより、マイクロコントローラが備える複数の情報処理部（１２〜１５）を構成する。マイクロコントローラが備えるメモリの一部は、地図情報Ｄ０２を記憶する地図データベースを構成する。なお、マイクロコントローラは、車両にかかわる他の制御（例えば、自動運転制御）に用いるＥＣＵと兼用してもよい。

図３を参照して、図２の検出領域設定部１４の構成及びデータフローを説明する。検出領域設定部１４は、信号機特定部２３と、優先順位設定部２４と、領域決定部２５とを備える。

信号機特定部２３は、信号機の相対座標（相対位置情報Ｄ０６）から、画像に写ることが予測される２以上の信号機を特定する。カメラ情報Ｄ０３から画像の画角、及び上下及び左右方向が特定されるので、信号機特定部２３は、画像のフレーム枠に収まる信号機を特定することができる。ただし、信号機特定部２３により特定される信号機には、画像のフレーム枠に収まるが、後述するように、地図情報からは得られない要因により遮蔽され、画像に写らない信号機も含まれている。

優先順位設定部２４は、地図情報Ｄ０２に含まれる信号機が遮蔽される可能性に基づいて、信号機特定部２３により特定された２以上の信号機の間の優先順位を設定する。道路に対する信号機の位置及び車両に対する信号機の位置によって、信号機の画像への映り易さ、つまり、車両周囲の障害物によって信号機が遮蔽されてしまう可能性に違いがある。詳細は、図４を参照して後述する。そこで、画像に２以上の信号機が写ることが予測される場合、優先順位設定部２４は、２以上の信号機の間の優先順位を設定する。

領域決定部２５は、画像における信号機の検出領域を設定する。撮像部１１が撮像する画角及び方向が定まれば、信号機の相対座標（相対位置情報Ｄ０６）に基づいて、信号機が撮像されるであろう画像上の位置を特定することができる。領域決定部２５は、信号機の相対座標を、信号機を撮像した画像上の座標へ変換する。具体的に、領域決定部２５は、相対位置情報Ｄ０６が入力され、撮像部１１が有するレンズ光学系に基づき、信号機の三次元座標(x, y, z)を画像上の二次元座標（xl,yl）へ変換する座標変換処理を行う。座標変換方法は特に問わず、既知の方法を用いることができる。領域決定部２５は、変換された画像上の座標（xl,yl）を含む所定の領域を、画像における信号機の検出領域として設定する。

このように、検出領域設定部１４は、画像のフレーム枠に収まる２以上の信号機を特定し、特定された２以上の信号機に対して優先順位及び各々の検出領域を設定する。

図４を参照して、優先順位設定部２４により設定される優先順位の一例を説明する。ここでは、信号機特定部２３が、交差点Ｃｒｓにおいて、道路ＲＤを走行する車両５１が従うべき３つの信号機（Ｔｓ１、Ｔｓ２、Ｔｓ３）を特定した場合を例示する。交差点Ｃｒｓとして、車両５１が進入する最も手前の交差点を例示する。もちろん、交差点Ｃｒｓより離れた他の交差点、例えば、交差点Ｃｒｓの後に車両５１が２番目、３番目、・・・に進入する交差点における信号機を特定しても構わない。

地図情報Ｄ０２に含まれる信号機の位置情報から、信号機Ｔｓ１が対向車線（ＰＬ）側に位置し、信号機Ｔｓ２、Ｔｓ３が自車線（ＷＬ）側に位置することが特定される。更に、信号機Ｔｓ２は、交差点Ｃｒｓよりも手前側に位置し、信号機Ｔｓ３は、交差点Ｃｒｓよりも奥側に位置することが特定される。

優先順位設定部２４は、以下に示す（Ｒ１）及び（Ｒ２）の基本ルールに従って、３つの信号機（Ｔｓ１、Ｔｓ２、Ｔｓ３）に対して優先順位を設定する。

（Ｒ１）車両５１が走行する自車線（ＷＬ）側に位置する信号機よりも、対向車線（ＰＬ）側に位置する信号機の優先順位を高く設定する。

（Ｒ２）車両５１から遠い信号機よりも、車両５１から近い信号機の優先順位を高く設定する。

基本ルール（Ｒ１）は次の理由から設けられる。自車線（ＷＬ）側に位置する信号機は、対向車線（ＰＬ）側に位置する信号機に比べて、先行車、路肩に植えられた街路樹、或いは工事等の地図情報以外の要因によって遮蔽される可能性が高い。また、対向車線（ＰＬ）側に位置する信号機は対向車により遮蔽される可能性はある。しかし、対向車線（ＰＬ）側に位置する信号機は対向車とすれ違う瞬間だけ遮蔽される。一方、自車線（ＷＬ）側に位置する信号機が地図情報以外の要因により遮蔽される時間は、対向車線（ＰＬ）側に位置する信号機が遮蔽される時間に対して長い。例えば、車両が大型車両の後方を追従して走行する場合、自車線（ＷＬ）側に位置する信号機は、大型車両により遮蔽され続ける。そこで、車両が走行する自車線（ＷＬ）側に位置する信号機よりも、対向車線（ＰＬ）側に位置する信号機の優先順位を高く設定する。これにより、遮蔽される可能性が低く、且つ遮蔽される時間が短い信号機を優先的に検出することができる。

基本ルール（Ｒ２）を設定した理由は、同じ車線（自車線ＷＬ或いは対向車線ＰＬ）側に位置する複数の信号機を見る場合、車両から近い信号機は遠い信号機よりも遮蔽される可能性が低く、また画像に大きく映りこむため、安定して認識可能であるからである。

基本ルール（Ｒ１）及び（Ｒ２）によれば、図４の３つの信号機（Ｔｓ１、Ｔｓ２、Ｔｓ３）は、優先順位の高いものから、信号機Ｔｓ１、信号機Ｔｓ２、信号機Ｔｓ３の順番となる。

信号機特定部２３は、画像に写ることが予測される２以上の信号機として、予告信号機を特定する場合がある。一般的に、予告信号機は道路状況を通常の信号機が遮蔽されている位置でも、早く信号機の状態を伝えるために設けられており、遮蔽される可能性が低い。そこで、この場合、優先順位設定部２４は、他の信号機よりも予告信号機の優先順位を高く設定する。これにより、更に早期に信号機を検出することができる。

実施形態では、交差点Ｃｒｓにおいて３つの信号機が特定された場合を示したが、２つ或いは４つ以上の場合にも、上記した（Ｒ１）及び（Ｒ２）の基本ルールに従って優先順位を付することが可能であることは言うまでもない。また、信号機は交差点に配置された信号機に限らず、車両が走行する道路上で従うべき全ての信号機が含まれる。例えば、道路ＲＤ上の横断歩道における信号機も含まれる。

図５を参照して、信号機認識装置１００を用いた信号機認識方法の一例を説明する。図５に示すフローは、予め定めた周期の基で繰り返し実施される。

先ず、ステップＳ０１において、撮像部１１は、カメラ情報Ｄ０３に基づいて車両５１の周囲を撮像して画像を取得する。ステップＳ０３に進み、自己位置検出部１２は、ランドマーク情報Ｄ０１を用いて車両５１の自己位置を検出し、検出された自己位置を自己位置情報Ｄ０５として出力する。

ステップＳ０５に進み、信号機位置推定部１３は、地図情報Ｄ０２と自己位置情報Ｄ０５とから、車両５１に対する信号機の相対座標を推定する。

ステップＳ０７に進み、信号機特定部２３は、信号機の相対座標（相対位置情報Ｄ０６）から、画像に写ることが予測される２以上の信号機を特定する。そして、優先順位設定部２４は、地図情報Ｄ０２に含まれる信号機の位置情報から信号機が遮蔽される可能性に基づいて、信号機特定部２３により特定された２以上の信号機の間の優先順位を設定する。具体的に、優先順位設定部２４は、基本ルール（Ｒ１）及び（Ｒ２）に従って、２以上の信号機の間の優先順位を設定する。

ステップＳ０９に進み、領域決定部２５は、信号機の相対座標(x, y, z)を、画像上の座標（xl,yl）へ変換し、画像上の座標に基づいて検出領域の中心座標を決定する。検出領域は予め定めた大きさ及び形状を有する。これにより、２以上の信号機の各々について、検出領域が決定される（ステップＳ１１）。

ステップＳ１３に進み、信号機検出部１５は、２以上の信号機がある場合には、設定された優先順位に従って、検出領域に含まれる画像データＤ０８に対して、信号機を検出するための画像処理を実施する。

図６を参照して、図５のステップＳ１３の詳細な手順を説明する。ここでは、図５のステップＳ０７でＮ個の信号機が特定された場合を説明する。先ず、ステップＳ２１にて、Ｎ個の信号機の各々に対応する検出領域の画像データを抽出する。ステップＳ２３に進み、図５のステップＳ０７で信号機の間の設定された優先順位（ｉ）を、抽出された検出領域に対応付ける。なお「ｉ」は１〜Ｎの自然数であり、初期設定はｉ＝１である。

ステップＳ２５に進み、Ｎ個の信号機の中で最も優先順位が高い（ｉ＝１）の信号機に対応する検出領域から、信号機の検出を試みる。信号機を検出できた場合（Ｓ２５でＹＥＳ）、ステップＳ２７へ進み、信号機情報Ｄ０４を出力する。その後、優先順位を変更せずに（ステップＳ２９）、ステップＳ２５に戻る。これにより、信号機の検出に成功している場合（Ｓ２５でＹＥＳ）、同じ検出領域から信号機を継続して検出することができる。

一方、信号機を検出できなかった場合（Ｓ２５でＮＯ）、ステップＳ３１へ進み、現在の優先順位（ｉ）がＮであるか、つまり優先順位が最も低い値であるか否かを判断する。現在の優先順位（ｉ）がＮでなければ（Ｓ３１でＮＯ）、未だ検出を試みていない検出領域が残されている。そこで、現在の優先順位（ｉ）を１だけインクリメント（増加）させ（ステップＳ３５）、つまり現在の優先順位を１つ下げて、ステップＳ２５へ戻る。一方、現在の優先順位（ｉ）がＮであれば（Ｓ３１でＹＥＳ）、全ての検出領域について検出を試みたことになる。そこで、再び、現在の優先順位（ｉ）を最も高い優先順位に設定し（ステップＳ３３）、ステップＳ２５へ戻る。

以上説明したように、第１実施形態によれば、以下の作用効果が得られる。

信号機は、先行車、街路樹、工事など、地図情報から特定できない要因によって隠されてしまい、車両から視認できない場合がある。また、車両に搭載された撮像部１１が画像を取得する場合、道路に対する信号機の位置によって、信号機の画像への映り易さ、つまり、車両周囲の障害物によって信号機が遮蔽されてしまう可能性に違いがある。そこで、画像に２以上の信号機が写ることが地図情報Ｄ０２及び自己位置情報Ｄ０５から予測される場合、２以上の信号機の間の優先順位（ｉ）を設定する。そして、優先順位（ｉ）が最も高い信号機を画像から検出する。これにより、２以上の信号機が画像に写ることが予測される場合における信号機の検出確率を高めることができる。また、早期に信号機を検出し、且つ演算処理負担を軽減することができる。

基本ルール（Ｒ１）で述べたように、優先順位設定部２４は、車両が走行する自車線（ＷＬ）側に位置する信号機よりも、対向車線（ＰＬ）側に位置する信号機の優先順位を高く設定する。これにより、遮蔽される可能性が低く、且つ遮蔽される時間が短い信号機を優先的に検出することができる。

一般的に、予告信号機は交通状況を通常の信号機が遮蔽されている位置でも、早く信号機の状態を伝えるために設けられており、遮蔽される可能性が低い。そこで、信号機特定部２３が、画像に写ることが予測される２以上の信号機として、予告信号機を特定した場合、優先順位設定部２４は、他の信号機よりも予告信号機の優先順位を高く設定する。これにより、更に早期に信号機を検出することができる。

図６に示したように、信号機検出部１５は、優先順位が最も高い信号機を検出できた場合（Ｓ２５でＹＥＳ）、当該信号機を継続して検出する。これにより、信号機を安定して検出し続けることができる。

優先順位が最も高い信号機が検出されることを待つよりも、次に優先順位が高い信号機を先に検出できる場合がある。そこで、図６に示したように、信号機検出部１５は、優先順位が最も高い信号機を検出できなかった場合（Ｓ２５ＮＯ）、次に優先順位が高い信号機を検出する。これにより、早期に信号機を検出することができる。更に、図６のフローでは、次に優先順位が高い信号機を継続して検出する。これにより、信号機を安定して検出し続けることができる。

（第２実施形態）
図６のフローにおいて、優先順位が高い信号機を検出できている限りにおいて、その信号機の検出を継続し、優先順位が低い信号機を検出の対象としていない。第２実施形態では、信号機を検出できたか否かに関わらず、信号機特定部２３により特定された２以上の信号機を優先順位が高い方から順番に検出する信号機認識装置及び信号機認識方法について説明する。

具体的には、図５のステップＳ１３の詳細な手順が図６と異なるが、図２に示した信号機認識装置１００の構成及び図５のステップＳ０１〜Ｓ１１の手順は、第１実施形態と同じであり、説明を省略する。

図７を参照して、図５のステップＳ１３の詳細な手順を説明する。先ず、図６と同様にして、ステップＳ２１及びＳ２３にて、Ｎ個の信号機の各々に対応する検出領域の画像データを抽出し、信号機の間で設定された優先順位（ｉ）を、抽出された検出領域に対応付ける。

ステップＳ２５に進み、図６と同様にして、最も優先順位が高い（ｉ＝１）の信号機に対応する検出領域から、信号機の検出を試みる。信号機を検出できなかった場合（Ｓ２５でＮＯ）、ステップＳ３１へ進む。一方、信号機を検出できた場合（Ｓ２５でＹＥＳ）、ステップＳ２７へ進み、信号機情報Ｄ０４を出力する。その後、図６と異なり、ステップＳ３１に進む。

ステップＳ３１において、図６と同様にして、現在の優先順位（ｉ）がＮであるか否かを判断する。現在の優先順位（ｉ）がＮでなければ（Ｓ３１でＮＯ）、現在の優先順位（ｉ）を１だけインクリメント（増加）させ（ステップＳ３５）、ステップＳ２５へ戻る。一方、現在の優先順位（ｉ）がＮであれば（Ｓ３１でＹＥＳ）、再び、現在の優先順位（ｉ）を最も高い優先順位に設定し（ステップＳ３３）、ステップＳ２５へ戻る。

このように、信号機の検出に成功している場合（Ｓ２５でＹＥＳ）、同じ検出領域から信号機を継続して検出するのではなく、次の信号機の検出を試みる。すなわち、信号機検出部１５は、信号機を検出できたか否かに関わらず、２以上の信号機を優先順位が高い方から順番に検出する。特定された全ての信号機の検出結果を用いて信号を認識することにより、信号の誤認識を抑制することができる。そこで、信号機を検出できたか否かに関わらず、２以上の信号機を優先順位が高い方から順番に検出する。これにより、信号の認識精度が高まる。

（第３実施形態）
信号機の遮蔽される可能性は、車両が走行する道路の形状（直線道路、カーブ、勾配形状）や街路樹及び工事などの障害物の存在を含む地理情報によって変化する。第３実施形態では、地理情報を考慮して優先順位を設定する信号機認識装置及び信号機認識方法について説明する。

具体的には、優先順位設定部２４ｂの構成、図５のステップＳ０７が第１実施形態と異なるが、信号機認識装置１００の他の構成及び図５の他の手順は、第１実施形態と同じであり、説明を省略する。

図８を参照して、第３実施形態に係わる優先順位設定部２４ｂの構成を説明する。優先順位設定部２４ｂは、基本順位設定部３１と、第１の順位変更部３２とを備える。基本順位設定部３１は、図３の優先順位設定部２４と同じ演算処理を実施する。すなわち、基本順位設定部３１は、（Ｒ１）及び（Ｒ２）に示す基本ルールに従って、信号機特定部２３により特定された２以上の信号機の間の優先順位を設定する。基本順位設定部３１が設定する優先順位を「基本優先順位」と呼ぶ。

第１の順位変更部３２は、地理情報に基づいて、基本優先順位を変更する。変更後の優先順位は、優先順位設定部２４ｂにより設定された優先順位として出力される。具体的に、図９に示すように、第１の順位変更部３２は、車両５１の現在位置（自己位置）から検出対象となる信号機が設置された交差点Ｃｒｓまでの道路ＲＤの形状を判断する。例えば、第１の順位変更部３２は、地図情報Ｄ０２を参照して、車両５１が走行する道路ＲＤの形状が、車両５１から進行方向ＤＤに向かって、対向車線（ＰＬ）側へ曲がるカーブであるか否かを判断する。

対向車線（ＰＬ）側へ曲がるカーブであると判断した場合、第１の順位変更部３２は、以下に示す変更ルール（Ｖ１）に従って、基本優先順位を変更する。

（Ｖ１）対向車線（ＰＬ）側に位置する信号機よりも、車両５１が走行する自車線（ＷＬ）側に位置する信号機の優先順位を高く設定する。

自車線（ＷＬ）側及び対向車線（ＰＬ）側のうち、車両５１の旋回方向の逆側に位置する信号機は、車両５１の旋回方向側に位置する信号機よりも、交差点から離れた位置で検出することができる。対向車線（ＰＬ）側へ曲がるカーブの場合、対向車線（ＰＬ）側よりも自車線（ＷＬ）側の信号機を早期に検出することができる。そこで、基本ルール（Ｒ１）の優劣関係を反転させるために、変更ルール（Ｖ１）を適用する。

上記した変更ルール（Ｖ１）によれば、図９の３つの信号機（Ｔｓ１、Ｔｓ２、Ｔｓ３）は、優先順位の高いものから、信号機Ｔｓ２、信号機Ｔｓ３、信号機Ｔｓ１の順番となる。つまり、自車線（ＷＬ）側に位置する信号機Ｔｓ２、信号機Ｔｓ３の優先順位が、対向車線（ＰＬ）側に位置する信号機Ｔｓ１よりも高く設定される。なお、変更ルール（Ｖ１）が適用されても、基本ルール（Ｒ２）は維持される。よって、交差点Ｃｒｓの手前側に位置する信号機Ｔｓ２の優先順位は、交差点Ｃｒｓより奥側に位置する信号機Ｔｓ３よりも高く設定される。

なお、第１の順位変更部３２が考慮する地理情報は、カーブ以外の道路の形状（勾配）、あるいは街路樹や工事などの障害物であってもよい。この場合、信号機認識装置１００は、走行データ等から、道路の勾配情報及び障害物情報を学習し、地図情報Ｄ０２の一部として追加する。第１の順位変更部３２は、勾配情報及び障害物情報から、どの信号機が遮蔽される可能性が低いかあらかじめ予測し、基本優先順位を変更すればよい。また、図９の例では、左側通行における右カーブの例を示したが、右側通行における左カーブにも適用できることは言うまでもない。

このように、車両５１が走行する道路ＲＤの形状が、車両５１から見て対向車線ＰＬ側へ曲がるカーブである場合、優先順位設定部２４ｂは、対向車線ＰＬ側に位置する信号機Ｔｓ１よりも、自車線ＷＬ側に位置する信号機（Ｔｓ２、Ｔｓ３）の優先順位を高く設定する。これにより、道路の形状に応じて適正な優先順位を設定することができる。

（第４実施形態）
第４実施形態では、優先順位を設定する前にあらかじめ信号機の検出を試み、検出された信号機の間の優先順位を設定する信号機認識装置及び信号機認識方法について説明する。

具体的には、優先順位設定部２４ｃの構成、図５のステップＳ０７が第１実施形態と異なるが、信号機認識装置１００の他の構成及び図５の他の手順は、第１実施形態と同じであり、説明を省略する。

図８を参照して、第４実施形態に係わる優先順位設定部２４ｃの構成を説明する。優先順位設定部２４ｃは、基本順位設定部３１と、第２の順位変更部３３とを備える。基本順位設定部３１は、図３の優先順位設定部２４と同じ演算処理を実施する。すなわち、基本順位設定部３１は、基本ルール（Ｒ１）及び（Ｒ２）に従って、信号機特定部２３により特定された２以上の信号機の間の基本優先順位を設定する。

第２の順位変更部３３は、信号機検出部１５による信号機の検出結果に基づいて、基本優先順位を変更する。変更後の優先順位は、優先順位設定部２４ｃにより設定された優先順位として出力される。交通環境及び道路状況等の地図情報以外の要因によって遮蔽される信号機を、信号機の位置情報だけから予測することは難しい。信号機特定部２３により特定された全ての信号機の検出を試み、その検出結果を優先順位にフィードバックすることが望ましい。そこで、信号機検出部１５はあらかじめ全ての信号機の検出を試み、第２の順位変更部３３は、検出に成功した信号機の間の優先順位を設定する。

図１１を参照して、図５のステップＳ０７の詳細な手順を説明する。先ず、ステップＳ２１及びＳ２３にて、Ｎ個の信号機の各々に対応する検出領域の画像データを抽出し、信号機の間で設定された優先順位（ｉ）を、抽出された検出領域に対応付ける。

ステップＳ２５に進み、最も優先順位が高い（ｉ＝１）の信号機に対応する検出領域から、信号機の検出を試みる。信号機を検出できた場合（Ｓ２５でＹＥＳ）、ステップＳ３９へ進み、検出できたことを示すフラグを当該信号機に付す。これにより、検出可能であることを学習できる。一方、信号機を検出できなかった場合（Ｓ２５でＮＯ）、ステップＳ３７へ進み、検出できたことを示すフラグは付さない。これにより、検出不可能であることを学習できる。

その後、ステップＳ３１に進み、現在の優先順位（ｉ）がＮであるか否かを判断する。現在の優先順位（ｉ）がＮでなければ（Ｓ３１でＮＯ）、現在の優先順位（ｉ）を１だけインクリメント（増加）させ（ステップＳ３５）、ステップＳ２５へ戻る。一方、現在の優先順位（ｉ）がＮであれば（Ｓ３１でＹＥＳ）、すべての信号機の検出を試みたことになるので、ステップＳ４１へ進む。ステップＳ４１において、フラグが付された信号機の間で、優先順位を設定する。これにより、基本順位設定部３１により基本優先順位が設定された信号機の中から検出可能な信号機を抽出して、優先順位を設定することができる。

たとえば、図１２は、道路ＲＤが右方向へのカーブであるため、街路樹ＯＢＴによって信号機Ｔｓ１の一部が遮蔽され、車両５１から信号機Ｔｓ１の一部が視認できない道路状況の一例を示す。この状況で、基本順位設定部３１は、基本ルール（Ｒ１）及び（Ｒ２）に従って、信号機Ｔｓ１、信号機Ｔｓ２、信号機Ｔｓ３の順番で高い基本優先順位を設定する。これに対して、第２の順位変更部３３は、信号機Ｔｓ２、信号機Ｔｓ３にフラグが付され、信号機Ｔｓ１にフラグが付されないという検出結果を入手する。そして、この検出結果に基づいて、信号機Ｔｓ２及び信号機Ｔｓ３に対して優先順位を設定し、信号機Ｔｓ１には設定しない。第２の順位変更部３３は、優先順位を設定する際のルールとして、基本ルール（Ｒ１）及び（Ｒ２）を適用してもよいし、さらに変更ルール（Ｖ１）を加味してもかまわない。

交通環境及び道路状況等の地図情報以外の要因によって遮蔽される信号機を、信号機の位置情報だけから予測することは難しい。全ての信号機の検出を試み、その検出結果を優先順位にフィードバックすることが望ましい。そこで、信号機検出部は全ての信号機の検出を試み、優先順位設定部は、検出に成功した信号機の間の優先順位を設定する。これにより、優先順位の設定対象から、検出に失敗した信号機を排除できるので、検出可能な信号機を早期に検出することができる。

以上、実施例に沿って本発明の内容を説明したが、本発明はこれらの記載に限定されるものではなく、種々の変形及び改良が可能であることは、当業者には自明である。

例えば、第１実施形態で、他の信号機よりも予告信号機の優先順位を高く設定する、という基本ルールについて述べた。この基本ルールは、その他の実施形態においても適用されるルールである。つまり、第１の順位変更部３２は、予告信号機が対向車線側であるか自車線側であるかに係わらず、他の信号機よりも予告信号機の優先順位を高く設定する。また、第２の順位変更部３３は、予告信号機にフラグが付されている限りにおいて、他の信号機よりも予告信号機の優先順位を高く設定する。

１１ 撮像部
１２ 自己位置検出部
１３ 信号機位置推定部
２３ 信号機特定部
２４ 優先順位設定部
１５ 信号機検出部
１００ 信号機認識装置
Ｄ０２ 地図情報
ＰＬ 対向車線
ＲＤ 道路
Ｔｓ１、Ｔｓ２、Ｔｓ３ 信号機
ＷＬ 自車線

Claims (9)

1. 車両に搭載され、前記車両の周囲を撮像して画像を取得する撮像部と、
   前記車両の自己位置を検出する自己位置検出部と、
   前記車両の周囲の信号機を前記画像から検出する信号機検出部と、
   前記車両の周囲の信号機の位置情報を含む地図情報と前記自己位置とから、前記画像に写ることが予測される２以上の前記信号機を特定する信号機特定部と、
   前記信号機が遮蔽される可能性に基づいて、前記信号機特定部により特定された前記２以上の信号機の間の優先順位を設定する優先順位設定部と、を備え、
   前記信号機検出部は、前記信号機特定部で前記２以上の信号機が特定された場合には、前記２以上の信号機のうち前記優先順位が最も高い前記信号機を前記画像から検出する、
   ことを特徴とする信号機認識装置。
2. 前記優先順位設定部は、前記車両が走行する自車線側に位置する信号機よりも、対向車線側に位置する信号機の前記優先順位を高く設定することを特徴とする請求項１に記載の信号機認識装置。
3. 前記車両が走行する道路の形状が、前記車両から見て対向車線側へ曲がるカーブである場合、前記優先順位設定部は、前記対向車線側に位置する信号機よりも、前記車両が走行する自車線側に位置する信号機の前記優先順位を高く設定することを特徴とする請求項１に記載の信号機認識装置。
4. 前記信号機特定部が、前記画像に写ることが予測される２以上の前記信号機として、予告信号機を特定した場合、前記優先順位設定部は、他の信号機よりも前記予告信号機の前記優先順位を高く設定することを特徴とする請求項１〜３のいずれか一項に記載の信号機認識装置。
5. 前記信号機検出部は、前記優先順位が最も高い前記信号機を検出できた場合、当該信号機を継続して検出することを特徴とする請求項１〜４のいずれか一項に記載の信号機認識装置。
6. 前記信号機検出部は、前記優先順位が最も高い前記信号機を検出できなかった場合、次に前記優先順位が高い信号機を検出することを特徴とする請求項１〜５のいずれか一項に記載の信号機認識装置。
7. 前記信号機検出部は、前記信号機を検出できたか否かに関わらず、前記２以上の信号機を前記優先順位が高い方から順番に検出することを特徴とする請求項１〜４のいずれか一項に記載の信号機認識装置。
8. 前記信号機検出部は、全ての前記信号機の検出を試み、前記優先順位設定部は、前記検出に成功した前記信号機の間で、前記優先順位を設定することを特徴とする請求項１〜４のいずれか一項に記載の信号機認識装置。
9. 車両に搭載された撮像部を用いて、前記車両の周囲を撮像して画像を取得し、
   前記車両の自己位置を検出し、
   前記車両の周囲の信号機を前記画像から検出し、
   前記車両の周囲の信号機の位置情報を含む地図情報と前記自己位置とから、前記画像に写ることが予測される２以上の前記信号機を特定し、
   前記信号機が遮蔽される可能性に基づいて、特定された前記２以上の信号機の間の優先順位を設定し、
   前記２以上の信号機が特定された場合には、前記２以上の信号機のうち前記優先順位が最も高い前記信号機を前記画像から検出する
   ことを特徴とする信号機認識方法。

Images