JP6299517B2 - 信号機認識装置及び信号機認識方法 - Google Patents

Description

本発明は、信号機認識装置及び信号機認識方法に関する。

従来から、車両の進行方向を撮像した画像から信号機または一時停止標識を認識する車外認識装置が知られている（特許文献１）。画像中に複数の信号機または一時停止標識が存在する場合、特許文献１では、車両の進行方向に沿った配置順序を判定し、車両に最も近接する位置に存在する信号機または一時停止標識に応じて車両の走行状態を制御する。

特開２００７−２５７２９９号公報

しかし、特許文献１では、走行制御の基準となる信号機を複数の信号機の中から選択する際に、車両から信号機までの距離を考慮しているが、各信号機の誤検出されやすさを考慮していない。色、輝度、又は形状が信号機と類似する物体は、信号機として誤って検出されてしまう場合がある。

本発明は、上記課題に鑑みてなされたものであり、２以上の信号機が画像に写ることが予測される場合における信号機の検出精度を高めることができる信号機認識装置及び信号機認識方法を提供することを目的としている。

本発明の一態様に係わる信号機認識装置は、車両の周囲を撮像して画像を取得する撮像部を備え、車両の自己位置を検出し、車両の周囲にある信号機の位置情報と自己位置とから、車両が従うべき信号機の車両に対する相対位置を推定する。信号機の相対位置から予想される画像上の信号機の位置に検出領域を設定し、画像上に設定された検出領域から信号機を検出する。そして、検出領域の各々について信号機の誤検出しやすさを評価し、検出領域が２以上設定された場合、信号機の誤検出しやすさが最も低い検出領域から信号機を検出する。

信号機認識装置及び信号機認識方法によれば、２以上の検出領域のうち、信号機の誤検出しやすさが最も低い検出領域の中から信号機を検出することにより、信号機の誤検出を抑制することができる。よって、信号機の検出精度を高めることができる。

図１は、実施形態に係わる信号機認識装置１００へ入出力される情報を示すブロック図である。 図２は、実施形態に係わる信号機認識装置１００の構成及びデータフローを示すブロック図である。 図３は、図２に示した信号機認識装置１００を用いた信号認識方法の一例を示すフローチャートである。 図４は、図３のステップＳ１３の詳細な手順を示すフローチャートである。 図５は、誤検出度評価部１６による誤検出度の評価方法の例を説明するための走行路例を示す図である。 図６は、図５の走行路例において、車両ＶＣに搭載された撮像部１１が撮像した画像ＩＭＧの例を示す図である。 図７は、図６の画像ＩＭＧ内に設定された、信号機ＴＳ１、ＴＳ２が写ることが予測される検出領域ＲＧ１、ＲＧ２を示す図である。 図８（ａ）は、図７の画像ＩＭＧから切り出された検出領域ＲＧ１を示す図であり、図８（ｂ）は、図７の画像ＩＭＧから切り出された検出領域ＲＧ２を示す図である。 図９（ａ）及び図９（ｂ）は、各検出領域（ＲＧ１、ＲＧ２）の色情報から算出される誤検出度の例を示す表である。 図１０（ａ）及び図１０（ｂ）は、検出領域（ＲＧ１、ＲＧ２）の信号形状から算出される誤検出度の例を示す表である。 図１１（ａ）及び図１１（ｂ）は、検出領域（ＲＧ１、ＲＧ２）の輝度分布から算出される誤検出度の例を示す表である。 図１２（ａ）及び図１２（ｂ）は、検出領域（ＲＧ１、ＲＧ２）の色情報、信号形状及び輝度分布の組み合わせから算出される誤検出度の例を示す表である。

以下、本発明の実施形態を図面に基づいて説明する。同一部材には同一符号を付して再度の説明を省略する。

図１を参照して、実施形態に係わる信号機認識装置１００のへ入出力される情報を説明する。信号機認識装置１００は、車両に搭載された撮像部（カメラ）により撮像された画像から、車両が走行する道路周辺に設置された信号機を検出する。

信号機認識装置１００には、地図情報Ｄ０２と、ランドマーク情報Ｄ０１と、カメラ情報Ｄ０３とが入力される。地図情報Ｄ０２には、予め実環境と地図の間で対応付けされた信号機の位置情報が含まれる。ランドマーク情報Ｄ０１は、実環境上の車両の自己位置を算出するために用いられる。ランドマークには、地上に設けられた特徴物（地上ランドマーク）、及び車両が受信可能なＧＰＳ信号を発信するＧＰＳ衛星が含まれる。実施形態では、地上ランドマークを例に取り説明する。ランドマーク情報Ｄ０１には、例えば、地上ランドマークの位置情報が含まれる。カメラ情報Ｄ０３は、撮像部から車両の周囲（例えば前方）の映像を抽出するために用いられる。信号機認識装置１００は、これらの情報Ｄ０１〜Ｄ０３に基づいて、信号機の検出結果を信号機情報Ｄ０４として出力する。

図２を参照して、実施形態に係わる信号機認識装置１００の構成及びデータフローを説明する。信号機認識装置１００は、撮像部１１と、自己位置検出部１２と、信号機位置推定部１３と、検出領域設定部１４と、信号機検出部１５と、誤検出度評価部１６とを備える。

撮像部１１は、車両に搭載され、車両の周囲を撮像して画像を取得する。撮像部１１は、固体撮像素子、例えばＣＣＤ及びＣＭＯＳを備えるカメラであって、画像処理が可能な画像を取得する。撮像部１１は、カメラ情報Ｄ０３に基づいて、レンズの画角、カメラの垂直方向及び水平方向の角度を設定し、取得した画像を画像データＤ０８として出力する。

自己位置検出部１２は、ランドマーク情報Ｄ０１に基づいて車両の自己位置を検出する。ランドマーク情報Ｄ０１は、例えば、車載のカメラ或いはレーザレーダ等のセンシング手段により検出された地上ランドマーク（店舗、名所、観光スポット）の車両に対する相対位置の情報である。地図情報Ｄ０２の中には、地上ランドマークの位置情報が予め登録されている。ランドマーク情報Ｄ０１と地上ランドマークの相対位置の情報とを照合することにより、車両の自己位置を検出することができる。ここで、「位置」には、座標及び姿勢が含まれる。具体的には、地上ランドマークの位置には、地上ランドマークの座標及び姿勢が含まれ、車両の位置には、車両の座標及び姿勢が含まれる。自己位置検出部１２は、基準となる座標系における座標(x, y, z)及び、各座標軸の回転方向である姿勢(ピッチ、ヨー、ロール)を自己位置情報Ｄ０５として出力する。

例えば、自己位置検出部１２は、ランドマーク情報Ｄ０１を用いて車両の初期位置を検出する。初期位置とは、ランドマーク情報Ｄ０１から直接求めることができる車両の位置、すなわち座標及び姿勢である。そして、初期位置に、車両の移動量を累積加算することで車両の自己位置を算出する。自己位置検出部１２は、オドメトリ、レーダ装置、ジャイロセンサ、ヨーレイトセンサ、舵角センサを用いて、単位時間当たりの車両の移動量、つまり、座標及び姿勢の変化量を推定することができる。

信号機位置推定部１３は、地図情報Ｄ０２と自己位置情報Ｄ０５とから、車両に対する信号機の相対位置を推定する。地図情報Ｄ０２の中には、信号機の位置情報（座標情報）が予め登録されている。信号機の座標と車両の座標及び姿勢とから、車両に対する信号機の相対座標を求めることができる。信号機位置推定部１３は、推定した信号機の相対座標を相対位置情報Ｄ０６として出力する。なお、信号機位置推定部１３により相対位置が推定される信号機は、車両に対して信号を提示する信号機、換言すれば、車両が従うべき信号機である。たとえば、信号機位置推定部１３は、車両がこれから進入する最も手前の交差点であって、信号機が設置された交差点を「最寄交差点」として抽出する。「最寄交差点」に存在し、かつ自己位置情報の車両が従うべき少なくても一つ以上の信号機を「最寄信号機」として特定する。そして、車両に対する「最寄信号機」の相対位置を相対位置情報Ｄ０６として出力とする。

検出領域設定部１４は、信号機の相対位置から、画像における信号機の検出領域を設定する。撮像部１１は車両に固定されているため、撮像部１１が撮像する画角及び方向が定まれば、画像の中で、信号機が写ることが予測される画像上の位置を特定することができる。検出領域設定部１４は、この信号機が写ることが予測される画像上の位置に基づいて、検出領域を設定する。検出領域設定部１４は、信号機が写ることが予測される検出領域を検出領域情報Ｄ０９として出力する。

誤検出度評価部１６は、検出領域の各々について、信号機の誤検出しやすさ、すなわち信号機以外のものを信号機として誤検出する可能性（誤認識度）を評価する。たとえば、誤検出度評価部１６は、画像データＤ０８及び検出領域情報Ｄ０９から、色、形状及び輝度の少なくともいずれか１つの情報を抽出し、抽出した情報を用いて誤検出度を評価する。検出領域毎の評価結果は、誤検出情報Ｄ１０として出力される。

具体的に、誤検出度評価部１６は、検出領域において、信号機が有する信号灯の色に類似する色の領域が占める割合に応じて、信号機の誤検出しやすさを評価することができる。検出領域に信号灯の色に類似する色の領域が多く分布しているほど、誤検出度を高く評価する。誤検出度評価部１６は、検出領域に含まれる、信号機に類似する形状の数に応じて、信号機の誤検出しやすさを評価することができる。検出領域に、信号灯の形状（円形）、或いは信号機の枠の形状に類似する形状が多く含まれているほど、誤検出度を高く評価する。そして、誤検出度評価部１６は、検出領域において、信号機が有する信号灯に類似する輝度の領域が占める割合に応じて、信号機の誤検出しやすさを評価することができる。検出領域に、信号機が有する信号灯に類似する輝度の領域が占める割合が高いほど、誤検出度を高く評価する。

信号機検出部１５は、検出領域設定部１４により設定された検出領域の中から信号機を検出する。１つの画像内に２以上の検出領域が設定された場合、信号機検出部１５は、信号機の誤検出しやすさ（誤検出度）が最も低い検出領域の中から信号機を検出する。これにより、信号機の誤検出を抑制することができる。

信号機検出部１５は、信号機の誤検出しやすさが最も低い検出領域の中から信号機を検出できた場合、当該信号機を継続して検出することができる。これにより、信号機を安定して検出し続けることができる。

信号機検出部１５は、信号機の誤検出しやすさが最も低い検出領域の中から信号機を検出できなかった場合、信号機の誤検出しやすさが次に低い検出領域の中から信号機を検出してもよい。これにより、早期に信号機を検出することができる。

なお、信号機検出部１５は、検出領域設定部１４により設定した検出領域を画像の中から切り出し、切り出された検出領域から信号機を検出することができる。或いは、検出領域設定部１４は、設定した検出領域を拡大した拡大画像を取得できるように、撮像部１１の車両に対する姿勢及び撮像部１１の画角を制御してもよい。この場合、制御された撮像部１１により取得された拡大画像、即ち検出領域から信号機を検出することができる。これにより、検出領域の解像度が高まるため、信号機の認識精度が向上する。パンチルトズーム機構を備えた撮像部１１を用いて、全体の画像空間から検出領域へ絞り込んで拡大画像を撮像すればよい。

次に、図３を参照して、図２に示した信号機認識装置１００を用いた信号認識方法の一例を説明する。図３に示すフローは、予め定めた周期の基で繰り返し実施される。

先ず、ステップＳ０１において、撮像部１１は、カメラ情報Ｄ０３に基づいて車両の周囲を撮像して画像を取得する。ステップＳ０３に進み、自己位置検出部１２は、ランドマーク情報Ｄ０１を用いて車両の自己位置を検出し、検出された自己位置を自己位置情報Ｄ０５として出力する。

ステップＳ０５に進み、信号機位置推定部１３は、地図情報Ｄ０２と自己位置情報Ｄ０５とから、車両に対する信号機の相対位置を推定し、推定した信号機の相対位置を相対位置情報Ｄ０６として出力する。

ステップＳ０７に進み、検出領域設定部１４は、信号機の相対位置から、画像の中で、信号機が写ることが予測される画像上の位置を推定し、検出領域を設定する。設定された検出領域は検出領域情報Ｄ０９として出力される。

ステップＳ０９に進み、検出領域設定部１４は、検出領域が２以上設定されたか否かを判断する。２以上の検出領域が設定された場合（Ｓ０９でＹＥＳ）、ステップＳ１１に進み、１つの検出領域が設定された場合（Ｓ０９でＮＯ）、ステップＳ１３に進む。

ステップＳ１１において、誤検出度評価部１６は、検出領域における色、形状及び輝度の少なくともいずれか１つの情報を用いて、誤検出度を評価する。その後、ステップＳ１３へ進む。検出領域毎の評価結果は、誤検出情報Ｄ１０として出力される。

ステップＳ１３において、信号機検出部１５は、検出領域設定部１４により設定された検出領域の中から信号機を検出する。１つの画像内に２以上の検出領域が設定された場合、信号機検出部１５は、信号機の誤検出度が最も低い検出領域の中から信号機を検出する。

図４を参照して、図３のステップＳ１３の詳細な手順を説明する。ここでは、図３のステップＳ０７でＮ個（Ｎは２以上の自然数）の検出領域が設定された場合を説明する。先ず、ステップＳ２１にて、Ｎ個の検出領域の各々の画像データを取得する。検出領域の画像データは、画像を切り出して取得してもよいし、或いは撮像部１１の姿勢及び画角を制御して拡大画像を取得してもよい。ステップＳ２３に進み、検出領域毎の誤検出情報Ｄ１０を取得する。ステップＳ２５に進み、Ｎ個の検出領域の中で最も誤検出度が低い検出領域から、信号機の検出を試みる。

信号機を検出できた場合（Ｓ２５でＹＥＳ）、ステップＳ２７へ進み、信号機情報Ｄ０４を出力する。その後、誤検出度の順位（ｉ）を変更せずに（ステップＳ２９）、ステップＳ２５に戻る。これにより、信号機の検出に成功している場合（Ｓ２５でＹＥＳ）、同じ検出領域から信号機を継続して検出することができる。「順位（ｉ）」とは、１以上Ｎ以下の自然数であって、誤検出度が低いほど、小さな値となる。つまり、誤検出度が最も低い検出領域の順位（ｉ）は１であり、誤検出度が最も高い検出領域の順位（ｉ）はＮである。初期設定はｉ＝１である。

一方、信号機を検出できなかった場合（Ｓ２５でＮＯ）、ステップＳ３１へ進み、現在の順位（ｉ）がＮであるか、つまり誤検出度が最も高い値であるか否かを判断する。現在の順位（ｉ）がＮでなければ（Ｓ３１でＮＯ）、未だ検出を試みていない検出領域が残されている。そこで、現在の順位（ｉ）を１だけインクリメント（増加）させ（ステップＳ３５）、つまり現在の順位を１つ下げて、ステップＳ２５へ戻る。一方、現在の順位（ｉ）がＮであれば（Ｓ３１でＹＥＳ）、全ての検出領域について検出を試みたことになる。そこで、再び、現在の順位（ｉ）を最も高い順位に設定し（ステップＳ３３）、ステップＳ２５へ戻る。

このように、信号機検出部１５は、信号機の誤検出しやすさが低い検出領域の中から順に信号機の検出を試み、検出できた場合、当該検出領域から信号機を継続して検出する。信号機が検出できなくなった場合、信号機の誤検出しやすさが次に低い検出領域の中から信号機の検出を試みる。

つぎに、誤検出度評価部１６による誤検出度の評価方法の例を説明する。図５に示すように、撮像部１１を搭載する車両ＶＣが、対面走行の道路ＲＤの自車線ＷＬを走行し、対向車線ＰＬには対向車ＯＰが走行している。車両ＶＣ及び対向車ＯＰとも、道路ＣＤと交差する交差点Ｃｒｓに向かって走行している。

交差点Ｃｒｓには、信号機ＴＳ１、ＴＳ２が設けられている。信号機ＴＳ１は自車線ＷＬ側に位置し、信号機ＴＳ２は対向車線ＰＬ側に位置している。また、自車線ＷＬ側の路肩には、円形の標識ＭＡ１が設けられ、対向車線ＰＬ側の路肩には、円形の標識ＭＡ２、ＭＡ３、及び四角形の看板ＢＤ１、ＢＤ２が設けられている。標識ＭＡ１、ＭＡ２、ＭＡ３の色は、赤色の信号灯に類似する赤色である。看板ＢＤ１は赤色の信号灯に類似する赤色で点灯している。看板ＢＤ２は青色の信号灯に類似する青色で点灯している。対向車ＯＰの車体の色は、赤色の信号灯に類似する赤色である。交差点Ｃｒｓが「最寄交差点」に相当し、信号機ＴＳ１、ＴＳ２が「最寄信号機」に相当する。

図６は、図５の走行路例において、車両ＶＣに搭載された撮像部１１が撮像した画像ＩＭＧの例を示す。信号機ＴＳ１及び信号機ＴＳ２の備える信号灯のうち、赤色の信号灯ＲＰ１、ＲＰ２が点灯し、青色及び黄色の信号灯は消灯している。検出領域設定部１４は、図７に示すように、画像ＩＭＧ内に、信号機ＴＳ１、ＴＳ２が写ることが予測される検出領域ＲＧ１、ＲＧ２を設定する。検出領域ＲＧ１は、自車線及び自車線側の路肩を含む領域であり、検出領域ＲＧ２は、対向車線及び対向車線側の路肩を含む領域である。

図８（ａ）に示すように、検出領域ＲＧ１には、信号機ＴＳ１及び標識ＭＡ１が写っている。図８（ｂ）に示すように、検出領域ＲＧ２には、信号機ＴＳ２、標識ＭＡ２、ＭＡ３、看板ＢＤ１、ＢＤ２が写っている。

（色情報による誤検出評価方法）
誤検出度評価部１６は、信号機が有する信号灯の色に類似する色の分布に応じて、信号機以外のものを信号機として誤検出する可能性がどの程度あるかを評価する。たとえば、誤検出度評価部１６は、「青信号に含まれている色分布」、「赤信号に含まれている色分布」、及び「黄色信号に含まれている色分布」が検出領域ＲＧ１、ＲＧ２内にどれくらい含まれているのかを計算する。計算結果の一例を図９（ａ）及び図９（ｂ）に示す。

検出領域ＲＧ１には、赤く点灯する信号灯ＲＰ１以外に赤い標識ＭＡ１が存在する。このため、誤検出度評価部１６は、「赤信号に含まれている色分布」を２と算出し、「青信号に含まれている色分布」を０と算出し、「黄色信号に含まれている色分布」を０と算出する。検出領域ＲＧ１の誤検出度は、これらの数値を加算して２と算出される。

検出領域ＲＧ２には、赤く点灯する信号灯ＲＰ２以外に赤い標識ＭＡ２、ＭＡ３、赤く点灯する看板ＢＤ１、及び車体が赤い対向車ＯＰが存在する。更に、青く点灯する看板ＢＤ２が存在する。このため、誤検出度評価部１６は、「赤信号に含まれている色分布」を１１と算出し、「青信号に含まれている色分布」を２と算出し、「黄色信号に含まれている色分布」を０と算出する。検出領域ＲＧ２の誤検出度は、これらの数値を加算して１３と算出される。よって、色情報による誤検出度は、検出領域ＲＧ１よりも検出領域ＲＧ２の方が高いと判断できる。

（信号形状による誤検出評価方法）
誤検出度評価部１６は、検出領域に含まれる、信号機に類似する形状の数に応じて、信号機以外のものを信号機として誤検出する可能性がどの程度あるかを評価する。「信号機に類似する形状」は、丸い信号灯の形状、四角い信号機の枠の形状と丸い信号灯の形状とを組み合わせた形状、或いは、信号機に特有な形状のいずれであってもよい。「信号機に特有な形状」の一例として、垂直方向あるいは水平方向に一列で並ぶ、３つの丸い形状の組み合わせが挙げられる。

検出領域ＲＧ１には、信号機ＴＳ１に含まれる３つの信号灯以外に丸い標識ＭＡ１が存在する。このため、誤検出度評価部１６は、「信号形状」による誤検出度を４と算出する。一方、検出領域ＲＧ２には、信号機ＴＳ２に含まれる３つの信号灯以外に丸い標識ＭＡ２、ＭＡ３が存在する。このため、誤検出度評価部１６は、「信号形状」による誤検出度を１０と算出する。よって、信号形状による誤検出度は、検出領域ＲＧ１よりも検出領域ＲＧ２の方が高いと判断できる。

なお、検出領域に含まれるすべての丸い形状の中から選択される３つの組み合わせの数を、「信号形状」による誤検出度として算出することもできる。さらには、検出領域に４つ以上の丸い形状が垂直方向或いは水平方向に配列されている場合に、４つ以上の丸い形状の中から選択される３つの丸形状の配列の組み合わせの数を、「信号形状」による誤検出度として算出することもできる。

（輝度分布による誤検出評価方法）
誤検出度評価部１６は、検出領域において、信号機が有する信号灯に類似する輝度の分布に応じて、信号機以外のものを信号機として誤検出する可能性がどの程度あるかを評価する。なお、この評価方法において色相は考慮しなくてもよい。検出領域ＲＧ１には、赤く点灯する信号灯ＲＰ１以外に類似する輝度の領域は存在していない。このため、誤検出度評価部１６は、「輝度分布」による誤検出部を１と算出する。一方、検出領域ＲＧ２には、赤く点灯する信号灯ＲＰ１以外に類似する輝度で点灯する看板ＢＤ１、ＢＤ２、及び対向車ＯＰの前照灯が存在する。このため、誤検出度評価部１６は、「輝度分布」による誤検出部を３と算出する。よって、輝度分布による誤検出度は、検出領域ＲＧ１よりも検出領域ＲＧ２の方が高いと判断できる。

（色、形状、及び輝度の組み合わせによる誤検出評価方法）
色、形状及び輝度の少なくともいずれか２つの情報を組み合わせて、信号機以外のものを信号機として誤検出する可能性がどの程度あるかを評価してもよい。図１２は、色、形状及び輝度の３つの情報を組み合わせた誤検出評価方法の例を示す。ここでは、（１）式に示すように、上記した「色情報による誤検出度」、「信号形状による誤検出度」及び「輝度分布による誤検出度」を検出領域毎に加算した数値を、誤検出度として算出する。（１）式において、Ｆ_ＣＮ、Ｆ_ＦＮ、Ｆ_ＩＮは、「色情報による誤検出度」、「信号形状による誤検出度」及び「輝度分布による誤検出度」を示し、Ｇ_Ｎは、算出された誤検出度を示す。

Ｇ_Ｎ＝Ｆ_ＣＮ＋Ｆ_ＦＮ＋Ｆ_ＩＮ （１）

したがって、図１２（ａ）に示すように、検出領域ＲＧ１の誤検出度Ｇ_Ａは４と算出される。図１２（ｂ）に示すように、検出領域ＲＧ１の誤検出度Ｇ_Ｂは２６と算出される。よって、この場合も、輝度分布による誤検出度は、検出領域ＲＧ１よりも検出領域ＲＧ２の方が高いと判断できる。

或いは、（２）式に示すように、上記した「色情報による誤検出度」、「信号形状による誤検出度」及び「輝度分布による誤検出度」の各々に、重み付け（Ｗ_Ｃ、Ｗ_Ｆ、Ｗ_Ｉ）を付してから加算しても構わない。

Ｇ_Ｎ＝Ｗ_Ｃ×Ｆ_ＣＮ＋Ｗ_Ｆ×Ｆ_ＦＮ＋Ｗ_Ｉ×Ｆ_ＩＮ （２）

車両の走行状況に応じて、重み付け（Ｗ_Ｃ、Ｗ_Ｆ、Ｗ_Ｉ）を変更することにより、走行状況に応じて適切な信号認識処理を行うことができる。たとえば、夜間走行中、又はトンネルを走行中は、環境光が弱いため、灯火中の信号灯のみならず、これに隣接する消灯中の信号灯や信号機の枠までも同時に撮像することは難しい場合がある。このような場合、複数の丸い形状の並びや信号機の枠の形状などを認識し難い。そこで、「信号形状による誤検出度」の重み（Ｗ_Ｆ）よりも、「色情報による誤検出度」及び「輝度分布による誤検出度」の重み（Ｗ_Ｃ、Ｗ_Ｉ）を大きくする。これにより、夜間走行中又はトンネルを走行中に適切な信号認識処理を行うことができる。これとは逆に、昼間や環境光が強い走行状況では、信号灯に類似する色の分布や輝度の分布が多くなる場合がある。このような場合は、色や輝度の重みを（Ｗ_Ｃ、Ｗ_Ｉ）小さくし、形状の重み（Ｗ_Ｆ）を大きくすればよい。

以上説明したように、本発明によれば、以下の作用効果が得られる。

検出領域設定部１４が１つの画像内に２以上の検出領域（ＲＧ１、ＲＧ２）を設定した場合、誤検出度評価部１６は、検出領域の各々について信号機の誤検出しやすさ（誤検出度）を評価し、信号機検出部は、信号機の誤検出しやすさが最も低い検出領域の中から信号機を検出する。これにより、信号機の誤検出を抑制することができる。よって、画像から信号機を精度良く検出することができる。また、画像のうち検出領域の中から信号機の検出を試みるので、演算負荷が軽減される。

誤検出度評価部１６は、検出領域において、信号機が有する信号灯の色に類似する色の領域が占める割合に応じて、信号機の誤検出しやすさを評価することができる。信号灯と類似する色の領域を、信号機として誤って認識することを抑制できる。

誤検出度評価部１６は、検出領域に含まれる、信号機に類似する形状の数に応じて、信号機の誤検出しやすさを評価することができる。信号機と類似する形状の領域を、信号機として誤って認識することを抑制できる。

誤検出度評価部１６は、検出領域において、信号機が有する信号灯に類似する輝度の領域が占める割合に応じて、信号機の誤検出しやすさを評価することができる。信号灯と輝度が類似する領域を、信号機として誤って認識することを抑制できる。

図４に示したように、信号機検出部１５は、信号機の誤検出しやすさが最も低い検出領域の中から信号機を検出できた場合（Ｓ２５でＹＥＳ）、当該信号機を継続して検出する。これにより、信号機を安定して検出し続けることができる。

信号機の誤検出しやすさが最も低い検出領域の中から信号機が検出されることを待つよりも、誤検出しやすさが次に低い検出領域の中から信号機を先に検出できる場合がある。そこで、図４に示したように、信号機検出部１５は、信号機の誤検出しやすさが最も低い検出領域の中から信号機を検出できなかった場合（Ｓ２５ＮＯ）、誤検出しやすさが次に低い検出領域の中から信号機を検出する。これにより、早期に信号機を検出することができる。また、演算負荷も軽減される。

検出領域設定部１４は、検出領域（ＲＧ１、ＲＧ２）を拡大した拡大画像を取得できるように、撮像部１１の車両に対する姿勢及び撮像部１１の画角を制御してもよい。画像から検出領域を切り出す場合に比べて、検出領域の解像度が高まるため、信号機の認識精度が向上する。

以上、実施例に沿って本発明の内容を説明したが、本発明はこれらの記載に限定されるものではなく、種々の変形及び改良が可能であることは、当業者には自明である。

１１ 撮像部
１２ 自己位置検出部
１３ 信号機位置推定部
１４ 検出領域設定部
１５ 信号機検出部
１６ 誤検出度評価部
１００ 信号機認識装置
Ｄ０２ 地図情報
ＲＧ１、ＲＧ２ 検出領域

Claims (8)

1. 車両に搭載され、前記車両の周囲を撮像して画像を取得する撮像部と、
   前記車両の自己位置を検出する自己位置検出部と、
   前記車両の周囲にある信号機の位置情報を含む地図情報と前記自己位置とから、前記車両が従うべき前記信号機の前記車両に対する相対位置を推定する信号機位置推定部と、
   前記信号機の相対位置から予想される前記画像上の信号機の位置に検出領域を設定する検出領域設定部と、
   前記画像上に設定された検出領域から前記信号機を検出する信号機検出部と、
   前記検出領域の各々について前記信号機の誤検出しやすさを評価する誤検出度評価部と、を備え、
   前記信号機検出部は、前記検出領域が２以上設定された場合、前記信号機の誤検出しやすさが最も低い前記検出領域から前記信号機を検出する、
   ことを特徴とする信号機認識装置。
2. 前記誤検出度評価部は、前記検出領域において、前記信号機が有する信号灯の色に類似する色の領域が占める割合に応じて、前記信号機の誤検出しやすさを評価することを特徴とする請求項１に記載の信号機認識装置。
3. 前記誤検出度評価部は、前記検出領域に含まれる、前記信号機に類似する形状の数に応じて、前記信号機の誤検出しやすさを評価することを特徴とする請求項１又は２に記載の信号機認識装置。
4. 前記誤検出度評価部は、前記検出領域において、前記信号機が有する信号灯に類似する輝度の領域が占める割合に応じて、前記信号機の誤検出しやすさを評価することを特徴とする請求項１〜３のいずれか一項に記載の信号機認識装置。
5. 前記信号機検出部は、前記信号機の誤検出しやすさが最も低い前記検出領域の中から前記信号機を検出できた場合、当該信号機を継続して検出することを特徴とする請求項１〜４のいずれか一項に記載の信号機認識装置。
6. 前記信号機検出部は、前記信号機の誤検出しやすさが最も低い前記検出領域の中から前記信号機を検出できなかった場合、前記信号機の誤検出しやすさが次に低い前記検出領域の中から信号機を検出することを特徴とする請求項１〜５のいずれか一項に記載の信号機認識装置。
7. 前記検出領域設定部は、前記検出領域を拡大した拡大画像を取得できるように、前記撮像部の前記車両に対する姿勢及び前記撮像部の画角を制御することを特徴とする請求項１〜６のいずれか一項に記載の信号機認識装置。
8. 車両に搭載された撮像部を用いて、前記車両の周囲を撮像して画像を取得し、
   前記車両の自己位置を検出し、
   前記車両の周囲にある信号機の位置情報を含む地図情報と前記自己位置とから、前記車両が従うべき前記信号機の前記車両に対する相対位置を推定し、
   前記信号機の相対位置から予想される画像上の信号機の位置に検出領域を設定し、
   前記画像上に設定された検出領域から前記信号機を検出し、
   前記検出領域の各々について前記信号機の誤検出しやすさを評価する信号機認識方法であって、
   前記検出領域が２以上設定された場合、前記信号機の誤検出しやすさが最も低い前記検出領域から前記信号機を検出する、
   ことを特徴とする信号機認識方法。

Images