JP2019053619A - 信号識別装置、信号識別方法、及び運転支援システム - Google Patents

Abstract

【課題】日照環境などの変化が生じても、より安定して信号機の点灯色を識別する信号識別装置、信号識別方法、及び運転支援システムを提供する。【解決手段】本実施形態に係る信号識別装置は、信号機抽出部と、点灯領域抽出部と、識別部とを備える。信号機抽出部は、撮影画像内の信号機の領域を抽出する。点灯領域抽出部は、撮影画像内の点灯領域を抽出する。識別部は、信号機の領域内における点灯領域の位置に基づき、信号機の点灯色を識別する処理を行う。【選択図】図４

Description

本発明の実施形態は、信号識別装置、信号識別方法、及び運転支援システムに関する。

車載カメラで撮像した撮像画像から画像処理により信号灯を識別する方法が知られている。これらの画像処理による識別方法では、一般に信号機の灯火の色に基づき信号灯が識別されている。

ところが、日照環境などが変化すると、撮像画像中の信号灯の色が変化してしまう。また、夜間の撮像画像における信号灯領域の多くの部分は飽和してしまい、色の識別が困難になってしまう。このため、日照環境などの変化により、画像中の信号灯の識別精度が低下してしまう恐れがある。

特開２０１５−９７０１８号公報

日照環境などの変化が生じても、より安定して信号機の点灯色を識別する信号識別装置、信号識別方法、及び運転支援システムを提供する。

本実施形態に係る信号識別装置は、信号機抽出部と、点灯領域抽出部と、識別部とを備える。信号機抽出部は、撮影画像内の信号機の領域を抽出する。点灯領域抽出部は、撮影画像内の点灯領域を抽出する。識別部は、信号機の領域内における点灯領域の位置に基づき、信号機の点灯色を識別する処理を行う。

第１実施形態に係る運転支援システムの全体構成を示すブロック図。 撮像装置により撮像された複数の画像を示す図。 信号識別装置の識別対象となる信号機の一例を示す図。 信号識別装置の構成例を示すブロック図。 信号機の領域と灯領域の領域とを示す図。 識別部が行う点灯色の識別処理の例を示す図。 信号識別装置の処理例を示すフローチャート。 第２実施形態に係る信号機抽出部、点灯領域抽出部、識別部の構成を示すブロック図。 信号処理領域の例を示す図。 輝度勾配方向共起ヒストグラムの算出例を示す図。 街路灯の輝度分布と信号灯の輝度分布を模式的に示す図。 点灯領域に対する輝度勾配方向共起ヒストグラムの算出例を示す図。 背景領域と飽和領域を除いた画像領域と、色処理を施した画像領域とを示す図。 短露光画像、及び長露光画像の輝度分布を模式的に示す図。 第２実施形態に係る信号識別装置の処理例を示すフローチャート。 第２実施形態に係る識別部の色処理の例を示すフローチャート。 色勾配方向共起ヒストグラムの算出例を示す図。 色ヒストグラムの算出例を示す図。 第１特徴量算出部が算出した特徴量の例を示す図。

以下、本発明の実施形態に係る運転支援システムについて、図面を参照しながら詳細に説明する。なお、以下に示す実施形態は、本発明の実施形態の一例であって、本発明はこれらの実施形態に限定して解釈されるものではない。また、本実施形態で参照する図面において、同一部分又は同様な機能を有する部分には同一の符号又は類似の符号を付し、その繰り返しの説明は省略する場合がある。また、図面の寸法比率は説明の都合上実際の比率とは異なる場合や、構成の一部が図面から省略される場合がある。

（第１実施形態）
図１は、第１実施形態に係る運転支援システム１の全体構成を示すブロック図である。この図１に示すように運転支援システム１は、撮像画像により信号灯を識別し、車両の運転を支援するシステムである。より具体的には、この運転支援システム１は、撮像装置１０と、信号識別装置２０と、運転支援装置３０と、表示装置４０と、音声装置５０と、制動装置６０とを、備えて構成されている。

撮像装置１０は、例えば車両に搭載され、露光時間の異なる複数の画像を撮像する。この撮像装置１０は、例えば画素を２次元の平面状に配置したイメージングセンサであり、各画素は４つの撮像素子で構成されている。これら４つの撮像素子は同等の構造であり、４つの撮像素子それぞれの露光時間が異なっている。すなわち、この撮像装置１０は、露光時間が短い順に、短露光の撮像画像、中露光１の撮像画像、中露光２の撮像画像、長露光の撮像画像を撮像する。

図２は、撮像装置１０により撮像された露光時間の異なる複数の撮像画像を示す図である。これらの画像は夜間に撮像された画像である。この図２に示すように、上から順に短露光の撮像画像、中露光１の撮像画像、中露光２の撮像画像、長露光の撮像画像を示している。これらから分かるように、長露光の撮像画像では、夜間でも物体のエッジなどを明瞭に撮像可能である。

図１に示すように、信号識別装置２０は、撮像装置１０で撮像された撮像画像を用いて信号機の点灯色を識別する。この信号識別装置２０の詳細な構成は後述する。

図３は、信号識別装置２０の識別対象となる信号機の一例を示す図であり、図３（Ａ）は、緑色（Ｇ）が点灯している例であり、図３（Ｂ）は、黄色（Ｙ）が点灯している例であり、図３（Ｃ）は、赤色（Ｒ）が点灯している例である。この図３に示すように、信号識別装置２０の識別対象は例えば車両用の交通信号機である。この交通信号機は、緑色（Ｇ）、黄色（Ｙ）、赤色（Ｒ）の三灯の灯器を有する例である。図３の左側が横長の交通信号機であり、右側が縦長の交通信号機である。なお、本実施形態においては、例えば車両用の交通信号機を例に説明するが、これに限定されず、歩行者用の信号機、踏切信号機などのように二灯の灯器を有する信号機なども識別対象に含まれる。

図１に示すように、運転支援装置３０は、信号識別装置２０の出力信号に応じて車両の運転を支援する。運転支援装置３０には、表示装置４０、音声装置５０、制動装置６０などが接続されている。

表示装置４０は、例えばモニタであり、車両内の運転席から視認可能な位置に配置されている。運転支援装置３０は、信号識別装置２０の出力信号に基づき、例えば表示装置４０に信号機の模式図を表示させる。より詳細には、表示装置４０は、信号識別装置２０が信号灯の色を緑色と識別した場合には、信号機の模式図内の緑色灯領域の輝度を上げる処理を行う。同様に、表示装置４０は、信号識別装置２０が信号灯の色を黄色と識別した場合には、信号機の模式図内の黄色灯領域の輝度を上げる処理を行う。同様に、表示装置４０は、信号識別装置２０が信号灯の色を赤色と識別した場合には、信号機の模式図内の赤色灯領域の輝度を上げる処理を行う。これにより、運転士などは、例えば逆光などで信号機の識別が難しい場合にも、表示装置４０を視認することで、容易に信号機の点灯色を識別することが可能となる。

音声装置５０は、例えばスピーカであり、車両内の運転席から聴講可能な位置に配置されている。運転支援装置３０は、信号識別装置２０の出力信号に基づき、例えば音声装置５０に「信号機は赤です」などの音声を発生させる。これにより、例えば運転士の注意力が低下している場合にも、音声を聴講することで、容易に信号機の点灯色を識別することが可能となる。

制動装置６０は、例えば補助ブレーキであり、運転支援装置３０の指示信号に基づき車両を制動する。運転支援装置３０は、例えば信号識別装置２０が信号機の点灯色を赤色と識別した場合に、制動装置６０に車両を制動させる。

図４は、信号識別装置２０の詳細な構成例を示すブロック図である。この図４に示すように、信号識別装置２０は、記憶部２０２と、位置検出部２０４、信号機抽出部２０６と、点灯領域抽出部２０８と、識別部２１０とを、備えて構成されている。

記憶部２０２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等により実現される。この記憶部２０２は、撮像装置１０により撮像された撮像画像を記憶する。また、記憶部２０２は、本実施形態に係る信号機の位置情報を記録した地図情報を記憶している。

位置検出部２０４は、車両に搭載され、車両の位置と進行方向を検出する。この位置検出部２０４は、例えばジャイロスコープと、ＧＰＳ受信機を有しており、ジャイロスコープ及びＧＰＳ受信機の出力信号を用いて車両の位置と進行方向を検出する。

信号機抽出部２０６は、撮影画像内の信号機の領域を抽出する。本実施形態に係る信号機抽出部２０６は、第１領域抽出部２０６０を有している。第１領域抽出部２０６０は、撮影画像内の横長の長方形の領域、及び縦長の長方形の領域を信号機の領域として抽出する。信号機抽出部２０６は、例えば直線状のエッジの抽出処理とハフ変換処理とを組み合わせた四角形の抽出処理により長方形の領域を抽出する。第１領域抽出部２０６０における四角形の抽出処理は、これに限定されず、画像処理による一般的な四角形の領域を抽出する処理を用いてもよい。また、信号機抽出部２０６は、例えば記憶部２０２に記憶された中露光２又は長露光の撮像画像を用いて、撮影画像内の信号機の領域を抽出する。これにより、夜間でもエッジの抽出精度の低下を抑制可能である。なお、信号機抽出部２０６は、撮影画像内の信号機の領域と後述する点灯領域抽出部２０８が抽出した点灯領域が重ならない場合に、点灯領域抽出部２０８が抽出した点灯領域が重ならない信号機の領域を予め抽出対象から除外してもよい。

点灯領域抽出部２０８は、撮影画像内の点灯領域を抽出する。本実施形態に係る点灯領域抽出部２０８は、第２領域抽出部２０８０を有している。第２領域抽出部２０８０は、撮影画像内の高輝度領域を点灯領域として抽出する。信号機抽出部２０６は、例えば画素値の閾値処理とラベリング処理とを組み合わせ、孤立した高輝度領域であり、且つ所定の面積範囲の領域を点灯領域として抽出する。第２領域抽出部２０８０における点灯領域の抽出処理は、これに限定されず、一般的に知られた画像処理により点灯領域を抽出してもよい。また、点灯領域抽出部２０８は、例えば記憶部２０２に記憶された短露光又は中露光１の撮像画像を用いて、撮影画像内の点灯領域を抽出する。なお、点灯領域抽出部２０８は、撮影画像内の点灯領域と信号機抽出部２０６が抽出した信号機の領域が重ならない場合に、信号機抽出部２０６が抽出した信号機の領域が重ならない点灯領域を予め抽出対象から除外してもよい。

このように、信号機抽出部２０６は、第１の露光時間の撮像画像、例えば中露光２又は長露光の撮像画像から信号機の領域を抽出し、点灯領域抽出部２０８は、第１の露光時間よりも露光時間の短い第２の露光時間の撮像画像、例えば短露光又は中露光１の撮像画像から点灯領域を抽出する。これにより、信号機抽出部２０６は、夕暮れ時や夜間でも、信号機の領域抽出精度の低下を抑制可能である。一方で、信号機抽出部２０６は、より露光時間の短い撮像画像を用いることで、点灯領域の画素が飽和したり、ハレーションなどが発生したりすることを抑制可能となる。これらから分かるように、信号機抽出部２０６、及び点灯領域抽出部２０８のそれぞれの処理に適合する露光時間の撮像画像を用いることで、それぞれの抽出精度が低下することが抑制される。

図５は、信号機抽出部２０６が抽出した信号機の領域と、点灯領域抽出部２０８が抽出した点灯領域の領域とを示す図である。この図５に示すように、信号機抽出部２０６は、四角形８０、８２を信号機の領域として抽出している。一方で、点灯領域抽出部２０８は、点灯領域８４、８６、８８を抽出している。このように、点灯領域抽出部２０８が抽出する点灯領域には、街路灯などが含まれていまい、信号機抽出部２０６が抽出する信号機の領域にも信号機の領域以外が含まれてしまう可能性がある。

図４に示すように、識別部２１０は、信号機抽出部２０６が抽出した信号機の領域内における点灯領域抽出部２０８が抽出した点灯領域の位置に基づき、信号機の点灯色を識別する。すなわち、識別部２１０は、信号機抽出部２０６が抽出した信号機の領域内に点灯領域抽出部２０８が抽出した点灯領域が入る場合に、これらの信号機の領域と点灯領域の組み合わせを信号機として識別する。一方で、識別部２１０は、信号機抽出部２０６が抽出した信号機の領域内に、点灯領域抽出部２０８が抽出した点灯領域が含まれない場合に、点灯領域抽出部２０８が抽出した点灯領域は信号灯でないと識別する。また、識別部２１０は、信号機抽出部２０６が抽出した信号機の領域内に、点灯領域抽出部２０８が抽出した点灯領域が入らない場合に、信号機抽出部２０６が抽出した信号機の領域を信号機の領域から除外する。

より具体的な例を図６に基づき説明する。図６は、識別部２１０が行う点灯色の識別処理の例を示す図であり、図６（Ａ）は、緑色（Ｇ）が点灯している例であり、図６（Ｂ）は、黄色（Ｙ）が点灯している例であり、図６（Ｃ）は、赤色（Ｒ）が点灯している例であり、図６（Ｄ）は、信号機でない例である。ここで、点線が点灯領域を示し、一番外枠の矩形が信号機の領域を示している。この図６に示すように、識別部２１０は、信号機抽出部２０６が抽出した信号機の領域を複数の領域に分け、これら複数の領域の中の点灯領域抽出部２０８が抽出した点灯領域が含まれる領域に基づき、信号機の点灯色を識別する。

より詳細には、識別部２１０は、信号機の領域内を３つの領域に分け、点灯領域の位置が３つの領域のいずれに位置するかに応じて、緑色に対応する第１出力信号、黄色に対応する第２出力信号、赤色に対応する第３出力信号の内の少なくとも一つの出力信号を出力する。例えば、図６の（Ａ）に示すように、左端の領域に点灯領域が位置する場合に、緑色に対応する第１出力信号を出力する。同様に、図６の（Ｂ）に示すように、中央部の領域に点灯領域が位置する場合に、黄色に対応する第２出力信号を出力する。同様に、図６の（Ｃ）に示すように、右端の領域に点灯領域が位置する場合に、赤色に対応する第３出力信号を出力する。一方で、図６の（Ｄ）に示すように、識別部２１０は、信号機抽出部２０６が抽出した信号機の領域内に含まれない点灯領域は、街路灯などであり、信号灯でないと識別する。

なお、点灯領域は、信号灯が点滅しているときや、フリッカの影響で抽出できない場合がある。このため、時系列に撮影された数フレーム分の画像から点灯領域を抽出してもよい。また、識別部２１０は、無灯を示す出力信号を出力してもよい。

縦型の信号機の場合も同様であり、識別部２１０は、下端の領域に点灯領域が位置する場合に、緑色に対応する第１出力信号を出力し、中央部の領域に点灯領域が位置する場合に、黄色に対応する第２出力信号を出力し、上端の領域に点灯領域が位置する場合に、赤色に対応する第３出力信号を出力する。また、識別部２１０は、２灯灯火型の信号の場合には、領域を二つに分け、点灯領域の位置が２つの領域のいずれに位置するかに応じて、緑色に対応する第１出力信号、赤色に対応する第３出力信号の内の少なくとも一つの出力信号を出力する。

識別部２１０は、位置検出部２０４（図２）が検出した車両の位置と進行方向と、記憶部２０２（図２）に記憶された信号機の位置情報に基づき、現在位置の車両から撮像画像に撮像されるべき信号機の種類を識別する。これにより、識別部２１０は、信号機の候補領域内の分割数と信号の並びとを特定する。

図７は、信号識別装置２０の処理例を示すフローチャートである。この図７に示すように、信号機抽出部２０６は、例えば長露光の撮影画像内の信号機の領域を抽出する（ステップＳ１００）。識別部２１０は、信号機の候補領域と点灯領域抽出部２０８が抽出した点灯領域が重なるか否かを判定する（ステップＳ１０２）。重なる場合（ステップＳ１０２のＹＥＳ）、識別部２１０は、信号機の領域として維持する（ステップＳ１０４）。例えば、点灯領域抽出部２０８が抽出した点灯領域の８０％以上が信号機の候補領域に含まれる場合に識別部２１０は、信号機の領域として維持する。そして、識別部２１０は、信号機抽出部２０６が抽出した信号機の領域内における信号灯領域の位置に基づき、信号機の点灯色を識別する（ステップＳ１０６）。

一方で、点灯領域抽出部２０８は、例えば中露光１の撮影画像内から点灯領域を抽出する（ステップＳ１０８）。そして、信号機抽出部２０６が抽出した信号機の領域と点灯領域抽出部２０８が抽出した点灯領域が重なる場合（ステップＳ１０２のＹＥＳ）、識別部２１０は、点灯領域として維持する（ステップＳ１１０）。

また、信号機抽出部２０６が抽出した信号機の領域と点灯領域抽出部２０８が抽出した点灯領域が重ならない場合（ステップＳ１０２のＮＯ）、識別部２１０は、信号機抽出部２０６が抽出した信号機の領域を信号機の領域から除外し、点灯領域抽出部２０８が抽出した点灯領域を点灯領域から除外して（ステップＳ１１２）、全体の処理を終了する。なお、ステップＳ１００とステップＳ１０８との処理は同時に行ってもよく、或いは、ステップＳ１０８の処理を行った後にステップＳ１００の処理を行ってもよい。このように、識別部２１０は、信号機抽出部２０６が抽出した信号機の領域と点灯領域が重なる場合に、信号機の領域内における点灯領域の位置に基づき、信号機の点灯色を識別する。

以上のように本実施形態によれば、識別部２１０が、信号機抽出部２０６が抽出した信号機の領域内における点灯領域抽出部２０８が抽出した点灯領域の位置に基づき、信号機の点灯色を識別することとした。点灯領域は、カラー処理などを行わずとも安定的に抽出されるので、日照環境など変化による撮像画像の色変化の影響を受けず、より安定的に信号機の点灯色を識別することができる。

（第２実施形態）

第２実施形態は、識別処理にカラー処理を追加して、信号灯の識別精度を向上させるものである。以下では、第１実施形態と相違する点を説明する。

図８は、第２実施形態に係る信号機抽出部２０６、点灯領域抽出部２０８、識別部２１０の構成を示すブロック図である。この図８に示すように、点灯領域抽出部２０８は、第１領域抽出部２０６０と、第１領域除去部２０６２と、第１特徴量算出部２０６４と、第１認識部２０６６とを有している。また、点灯領域抽出部２０８は、第２領域抽出部２０８０と、第２領域除去部２０８２と、第２特徴量算出部２０８４と、第２認識部２０８６とを有している。識別部２１０は、点灯領域位置決定部２１００と、飽和画素除去部２１０２と、色処理部２１０４と、色識別部２１０６と、画像選択部２１０８とを有する。なお、第２実施形態に係る撮像画像はＲＧＢのカラー画像である。

第１領域抽出部２０６０は、撮影画像内の横長の長方形の領域、及び縦長の長方形の領域を信号機の候補領域として抽出する。なお、第２実施形態に係る信号機抽出部２０６は、第１領域抽出部２０６０が抽出した長方形の領域の中から信号機領域を選択するので、第１領域抽出部２０６０が抽出した長方形の領域を信号機の第１候補領域と呼ぶこととする。

第１領域除去部２０６２は、第１領域抽出部２０６０が抽出した第１候補領域の中から、車両の位置と向き、信号機の位置情報、及び撮影画像に基づき、第２候補領域を抽出する。より具体的には、第１領域除去部２０６２は、位置検出部２０４（図２）が検出した車両の位置と進行方向と、記憶部２０２（図２）に記憶された信号機の位置情報に基づき、現在位置の車両から撮像画像に撮像されるべき信号機の撮像画像内の位置を演算する。続いて、第１領域除去部２０６２は、撮像されるべき信号機の撮像画像内の位置から所定範囲内に入らない第１候補領域を除去する。換言すると、第１領域除去部２０６２は、撮像されるべき信号機の撮像画像内の位置から所定範囲内に入る第１候補領域を第２候補領域として抽出する。

第１特徴量算出部２０６４は、第１領域除去部２０６２が抽出した第２候補領域を含む信号処理領域を抽出し、この信号処理領域に基づき特徴量を算出する。

図９は、信号処理領域の例を示す図であり、図９（Ａ）は、緑色（Ｇ）が点灯している例であり、図９（Ｂ）は、黄色（Ｙ）が点灯している例であり、図９（Ｃ）は、赤色（Ｒ）が点灯している例である。この図９に示すように、まず、第１特徴量算出部２０６４は、第２候補領域、すなわち信号機領域の縦と横の長さが特定の長さになるように撮像画像を正規化し、正規化した信号機領域を含む画像領域を信号処理領域として抽出する。この場合、信号処理領域の縦と横の長さは、それぞれ信号機領域の例えば２倍に設定されている。また、縦長の信号機領域は、９０度回転して横型の信号機領域と同様に、信号処理領域を設定する。

図８に示すように、第１特徴量算出部２０６４は、信号処理領域内の撮像画像に基づき特徴量を算出する。例えば特徴量は、輝度勾配方向共起ヒストグラムを用いるが、これに限定されず、Ｈａａｒ−ｌｉｋｅ特徴などでもよい。なお、位置検出部２０４（図２）がＧＰＳ信号を受信できない場合もあり、第１特徴量算出部２０６４は、第１領域除去部２０６２の処理を行わずに第１領域抽出部２０６０が抽出した第１候補領域に対して特徴量を算出してもよい。

図１０は、輝度勾配方向共起ヒストグラム（ＣｏＨＯＧ）の算出例を示す図である。この図１０に示すように、第１特徴量算出部２０６４は、輝度勾配ベクトルを演算し、輝度勾配ベクトルの組み合わせの出現頻度を輝度勾配方向共起ヒストグラムとして算出する。より具体的には、信号処理領域を、例えば８つのセルに分割し、セル毎に算出した輝度勾配方向共起ヒストグラムを順に並べて特徴量とする。輝度勾配方向共起ヒストグラムは、共起ペアとして示される位置関係にあるベクトル間の組み合わせに対して求められ、通常の輝度勾配方向ヒストグラム（ＨＯＧ）よりも物体の構造情報をより詳細に表現することが可能である。

図８に示すように、第１認識部２０６６は、例えば認識器であり、第１特徴量算出部２０６４が算出した特徴量に基づき、第２候補領域が信号機の領域であるか否かを認識する。この認識器は、実際の信号機に基づき撮像画像から算出された特徴量を正パターンとし、例えばフロントガラス、建物の構造部などの長方形の領域に基づき撮像画像から算出された特徴量を負パターンとして、学習されている。すなわち、第１認識部２０６６は、第１特徴量算出部２０６４により信号処理領域に基づき算出された特徴量が所定の条件を満たす場合に、第２候補領域を信号機の領域として認識する。そして、信号機抽出部２０６は、最終的に、第１認識部２０６６が信号機の領域として認識した候補領域を、信号機の領域として抽出する。このように、信号機抽出部２０６は、認識処理を追加することにより、撮像画像のエッジ構造などのテクスチャ情報を反映した信号機領域の抽出が可能となり、信号機の領域の抽出精度がより向上する。

第２領域抽出部２０８０は、所定の大きさの高輝度領域を点灯領域の候補領域として抽出する。なお、第２実施形態に係る信号機抽出部２０６は、第２領域抽出部２０８０が抽出した点灯領域の中から点灯領域を選択するので、第２領域抽出部２０８０が抽出した点灯領域を点灯領域の第１候補領域と呼ぶこととする。

第２領域除去部２０８２は、第１領域除去部２０６２と同様に、位置検出部２０４（図２）が検出した車両の位置と進行方向と、記憶部２０２（図２）に記憶された信号機の位置情報に基づき、現在位置の車両から撮像画像に撮像されるべき信号機の撮像画像内の位置を演算する。続いて、第１領域除去部２０６２は、撮像されるべき信号機の撮像画像内の位置から所定範囲内に入らない第１候補領域を除去する。換言すると、第２領域除去部２０８２は、撮像されるべき信号機の撮像画像内の位置から所定範囲内に入る第１候補領域を第２候補領域として抽出する。

図１１は街路灯の輝度分布と信号灯の輝度分布を模式的に示す図である。この１１図（Ａ）
は、下向きの街路の灯輝度分布を模式的に示す図であり、１１図（Ｂ）は、下向きの街路の灯輝度分布から高輝度領域、例えば飽和画素を除いた領域を示す図である。１１図（Ｃ）は、信号灯の灯輝度分布を模式的に示す図であり、１１図（Ｄ）は、信号灯の灯輝度分布から高輝度領域、例えば飽和画素を除いた領域を示す図である。

この１１図（Ａ）に示すように、街路灯などは、一方向、例えば下方向に向けて光を照射している。このような一方向に向けて光を照射している光源の輝度分布は、光源の向いている向きに広がる傾向がある。このため、例えば、１１図（Ａ）に示す街路灯の輝度分布の重心は、１１図（Ｂ）に示す飽和領域から外れる傾向がある。

一方で、１１図（Ｃ）に示すように、信号灯は多方向に光を照射しているので、輝度分布は、円形に近くなる。このため、例えば、１１図（Ａ）に示す街路灯の輝度分布の重心は、１１図（Ｂ）に示す飽和領域から外れる傾向がある。一方で、１１図（Ｃ）に示す信号灯の輝度分布の重心は、飽和領域内に位置する傾向がある。第２領域除去部２０８２は、このような特性に基づき、輝度分布の重心が点灯領域内の高輝度領域、例えば飽和領域から外れる第１候補領域を、第２領域抽出部２０８０が抽出した第１候補領域の中から除く処理を行う。換言すると、第２領域除去部２０８２は、所定の輝度分布を有する第１候補領域を第２候補領域として抽出する。

第２特徴量算出部２０８４は、第１特徴量算出部２０６４と同様に、第２領域除去部２０８２が抽出した第２候補領域を含む信号処理領域を抽出し、この信号処理領域に基づき特徴量を算出する。この場合、点灯領域の第１候補領域の縦横比が同一になるように正規化し、信号処理領域の縦と横の長さは等しく、それぞれ第１候補領域の２倍に設定されている。

図８に示すように、第２特徴量算出部２０８４は、第１特徴量算出部２０６４と同様に、信号処理領域内の撮像画像に基づき特徴量を算出する。図１２は、点灯領域に対する輝度勾配方向共起ヒストグラム（ＣｏＨＯＧ）の算出例を示す図である。この図１２に示すように、第２特徴量算出部２０８４は、輝度勾配ベクトルを演算し、輝度勾配ベクトルの組み合わせの出現頻度を輝度勾配方向共起ヒストグラムとして算出する。より具体的には、信号処理領域を、例えば４つのセルに分割し、セル毎に算出した輝度勾配方向共起ヒストグラムを順に並べて特徴量とする。このように、点灯領域に対するセル数は、信号機の候補領域に対するセル数よりも減らしている。

図８に示すように、第２認識部２０８６は、第１認識部２０６６と同様に、例えば認識器であり、第２特徴量算出部２０８４が算出した特徴量に基づき、第２候補領域が信号灯に基づく点灯領域であるか否かを認識する。この認識器は、実際の信号灯に基づき撮像画像から算出された特徴量を正パターンとし、例えば街路灯、自動車のテールランプなどの高輝度領域に基づき撮像画像から算出された特徴量を負パターンとして、学習されている。すなわち、第２認識部２０８６は、第２特徴量算出部２０８４により信号処理領域に基づき算出された特徴量が所定の条件を満たす場合に、第２候補領域を信号灯に基づく点灯領域として認識する。そして、点灯領域抽出部２０８は、最終的に、第２認識部２０８６が信号灯に基づく点灯領域として認識した候補領域を、点灯領域として抽出する。このように、点灯領域抽出部２０８は、認識処理を追加することにより、撮像画像のエッジ構造などのテクスチャ情報を反映した点灯領域の抽出が可能となる。

図８に示すように、点灯領域位置決定部２１００は、信号機抽出部２０６が抽出した信号機の領域内における点灯領域抽出部２０８が抽出した点灯領域の位置を決定する。例えば図６に示すように、点灯領域位置決定部２１００は、信号機抽出部２０６が抽出した信号機の領域を例えば３等分し、左端の領域、中央の領域、及び右端の領域のいずれに点灯領域が位置するかを決定する。これにより、識別部２１０は、信号機の領域内における点灯領域の位置に応じた色処理を施す。

点灯領域位置決定部２１００は、位置検出部２０４（図２）が検出した車両の位置と進行方向と、記憶部２０２（図２）に記憶された信号機の位置情報に基づき、現在位置の車両から撮像画像に撮像されるべき信号機の種類を識別する。これにより、点灯領域位置決定部２１００は、信号機の領域内の分割数と信号の並びとを特定する。

図１３は、点灯領域から背景領域と飽和領域を除いた画像領域と、色処理を施した画像領域とを示す図である。この図１３の（Ａ）行は赤色灯１の例を示し、（Ｂ）行は赤色灯２の例を示し、（Ｃ）行は黄色灯の例を示している。また、中列の画像はそれぞれ、飽和画素と背景領域とを除いた画像例を示し、右列の画像はそれぞれ、飽和画素と背景領域とを除いた画像に対して更に色処理を行った画像を示す。赤色灯１と赤色灯２の相違は、点灯領域中の緑色成分の割合である。すなわち、赤色灯１の約２０％の領域が緑色成分であり、赤色灯２の約６０％の領域が緑色成分である。なお、この色処理の詳細は後述する。

飽和画素除去部２１０２は、例えば図１３の中列の画像に示すように、点灯領域抽出部２０８が抽出した点灯領域の中から飽和画素と所定値以下の画素値、すなわち背景領域とを除く処理を行う。これにより、点灯領域の中から信号灯の色成分に関係ない領域を除くことが可能となる。

色処理部２１０４は、飽和画素除去部２１０２が点灯領域内の飽和画素を除いた残りの画素に対して、点灯領域位置決定部２１００が決定した点灯領域の位置に応じた色処理を施す。より具体的には、色処理部２１０４は、点灯領域内の飽和画素を除いた残りの画素に対して、ＨＳＶの式色系に変換し、灯領域の位置に応じた色処理を施す。例えば、点灯領域位置決定部２１００が決定した点灯領域が左端であれば、緑色に相当する画素以外を除去する。より詳細には、色処理部２１０４は、Ｈの値が１５０以下の画素及び２００以上の画素を除く処理を行う。

同様に、点灯領域位置決定部２１００が決定した点灯領域が中央部であれば、黄色に相当する画素以外を除去する。より詳細には、色処理部２１０４は、点灯領域が中央部であれば、Ｈの値が９以下の画素及び３０以上の画素を除く処理を行う。

同様に、点灯領域位置決定部２１００が決定した点灯領域が右端であれば、赤色に相当する画素以外を除去する。より詳細には、色処理部２１０４は、点灯領域位置決定部２１００が決定した点灯領域が右端であれば、８以上の画素を除く処理を行う。このように、点灯領域が左端であれば、緑色相当の画素しか残らず、点灯領域が中央部であれば、黄色相当の画素しか残らず、点灯領域が右端であれば、赤色相当の画素しか残らない。

色識別部２１０６は、点灯領域位置決定部２１００が決定した信号機の領域内における点灯領域の位置に基づき、所定の色成分を抽出し、所定の色成分が抽出に応じた信号を出力する。すなわち、色識別部２１０６は、点灯領域位置決定部２１００が決定した点灯領域が左端であれば、色処理部２１０４が処理した画像領域に緑色相当の画素が所定数以上残っていれば、緑色に対応する第１出力信号を出力する。同様に、色識別部２１０６は、点灯領域位置決定部２１００が決定した点灯領域が中央部であれば、色処理部２１０４が処理した画像領域に黄色相当の画素が所定数以上残っていれば、黄色に対応する第２出力信号を出力する。同様に、色識別部２１０６は、点灯領域位置決定部２１００が決定した点灯領域が右端であれば、色処理部２１０４が処理した画像領域に赤色相当の画素が所定数以上残っていれば、赤色に対応する第３出力信号を出力する。従来のように、信号機内の輝度領域内の色成分により信号機を識別すれば、赤色灯２は緑色に識別されるが、予め信号機の領域内における点灯領域の位置に応じた色処理を施しているので、このような誤識別を抑制できる。

画像選択部２１０８は、異なる露光時間で撮影された複数の画像それぞれにおける信号灯の領域の輝度分布の状態に基づき、特定の露光時間の画像を選択する。より具体的には、画像選択部２１０８は、短露光の撮像画像、中露光１の撮像画像、中露光２の撮像画像、長露光の撮像画像の中から、信号機抽出部２０６及び点灯領域抽出部２０８それぞれに適する撮像画像を選択する。

図１４は、短露光画像、及び長露光画像の輝度分布を模式的に示す図であり、この図１４に基づき、画像選択部２１０８の処理例を説明する。図１４（Ａ）の上側の図は、短露光の赤色灯の画像を示し、下側の図は、赤色灯の輝度分布範囲９０と高輝度領域９２とを示している。図１４（Ｂ）の上側の図は、図１４（Ａ）の上側の図と同一範囲の長露光の赤色灯の画像を示し、下側の図は、赤色灯の輝度分布範囲９４と高輝度領域９６とを示している。

これらの図から分かる様に、露光時間に応じて輝度分布範囲９０と高輝度領域９２との割合、輝度分布範囲９４と高輝度領域９６との割合が変化する。画像選択部２１０８は、これらの特性に基づき、輝度分布範囲と高輝度領域との割合に基づき、短露光の撮像画像、中露光１の撮像画像、中露光２の撮像画像、長露光の撮像画像の中から、信号機抽出部２０６及び点灯領域抽出部２０８それぞれに適する撮像画像を選択する。例えば、信号機抽出部２０６に用いる撮像画像では、エッジ情報が重要であるので、高輝度領域に対する輝度分布範囲の割合が第１の所定値を有する撮像画像を選択する。これに対して、点灯領域抽出部２０８に用いる撮像画像では、点灯領域の範囲及び飽和領域の範囲がより少ないことが重要であるので、高輝度領域に対する輝度分布範囲の割合が第２の所定値を有する撮像画像を選択する。すなわち、信号機の抽出に用いる第１の所定値の方が、点灯領域の抽出に用いる第２の所定値よりも大きくなる。これにより、日中、夕暮れ時、夜間などの日照環境に応じた露光時間の撮像画像の選択が可能となり、日照環境の影響を低減させることができる。

図１５は、第２実施形態に係る信号識別装置の処理例を示すフローチャートである。第１実施形態に係る信号識別装置２０の処理例と異なる部分を説明する。図１５に示すように、第１領域除去部２０６２は、第１領域抽出部２０６０が抽出した第１候補領域の中から、車両の位置と向き、信号機の位置情報、及び撮影画像に基づき、第２候補領域を抽出する（ステップＳ２００）。

次に、第１特徴量算出部２０６４は、第１領域除去部２０６２が抽出した第２候補領域を含む信号処理領域を抽出し、この信号処理領域に基づき特徴量を算出する（ステップＳ２０２）。次に、第１認識部２０６６は、第１特徴量算出部２０６４が算出した特徴量に基づき、候補領域が信号機の領域であるか否かを認識する（ステップＳ２０４）。

一方で、第２領域除去部２０８２は、第２領域抽出部２０８０が抽出した第１候補領域の中から、車両の位置と向き、信号機の位置情報、及び撮影画像に基づき、第２候補領域を抽出する（ステップＳ２０６）。また、第２領域除去部２０８２は、２候補領域の輝度分布を用いて、輝度分布が所定の条件を満たさない点灯領域を２候補領域の中から除く処理を行う（ステップＳ２０８）。

次に、第２特徴量算出部２０８４は、第２領域除去部２０８２が抽出した第２候補領域を含む信号処理領域を抽出し、この信号処理領域に基づき特徴量を算出する（ステップＳ２１０）。次に、第２認識部２０８６は、第２特徴量算出部２０８４が算出した特徴量に基づき、第２候補領域が信号灯に基づく点灯領域であるか否かを認識する（ステップＳ２１２）。そして、点灯領域抽出部２０８は、最終的に、第２認識部２０８６が信号灯に基づく点灯領域として認識した候補領域を、点灯領域として抽出する。このように、信号機抽出部２０６及び点灯領域抽出部２０８は、認識処理により信号機領域を抽出する。

図１６は、第２実施形態に係る識別部２１０の色処理の例を示すフローチャートである。この図１６に示すように、飽和画素除去部２１０２は、点灯領域抽出部２０８が抽出した点灯領域の中から背景領域と飽和画素とを除く処理を行う（ステップＳ３００、ステップＳ３０２）。

次に、色処理部２１０４は、飽和画素除去部２１０２が点灯領域内の飽和画素を除いた残りの画素に対して、ＨＳＶの式色系に変換する（ステップＳ３０４）。続いて、色処理部２１０４は、ＨＳＶの式色系に変換した画素に対して、点灯領域位置決定部２１００が決定した点灯領域の位置に応じた色範囲外の画素を除去する（ステップＳ３０６）。

そして、色識別部２１０６は、点灯領域位置決定部２１００が決定した信号機の領域内における点灯領域の位置に基づき、所定の色成分を抽出し、抽出した所定の色成分に応じた信号を出力する（ステップＳ３０８）。このように、識別部２１０では、信号機の領域内における点灯領域の位置に応じた色処理を施して、点灯領域の識別処理を行う。

以上のように本実施形態によれば、識別部２１０が、信号機抽出部２０６が抽出した信号機の領域内における点灯領域抽出部２０８が抽出した点灯領域の位置に応じた色処理を施し、信号機の点灯色を識別することとした。これにより、信号機の点灯位置に存在すべき色成分の量により信号灯の色の識別が可能となり、識別精度がより向上する。

（第２実施形態の変形例）
第２実施形態の変形例では、第１特徴量算出部２０６４が特徴量として、色勾配方向共起ヒストグラム、及び、色ヒストグラムを特徴量として追加したものである。

図１７は、色勾配方向共起ヒストグラムの算出例を示す図である。この図１７に示すように、第１特徴量算出部２０６４は、色勾配ベクトルを演算し、色勾配ベクトルの組み合わせの出現頻度を色勾配方向共起ヒストグラムとして算出する。
図１８は、色ヒストグラムの算出例を示す図である。この図１８に示すように、第１特徴量算出部２０６４は、色勾配ベクトルを演算し、色勾配ベクトルの組み合わせの出現頻度を色勾配方向共起ヒストグラムとして算出する。
図１９は、第１特徴量算出部２０６４が算出した特徴量の例を示す図である。この図１９に示すように、第１特徴量算出部２０６４は、輝度勾配方向共起ヒストグラムに加えて、色勾配方向共起ヒストグラムと色ヒストグラムとを特徴量として演算する。
同様に、第２特徴量算出部２０８４も特徴量として、輝度勾配方向共起ヒストグラムに加えて、色勾配方向共起ヒストグラムと色ヒストグラムとを特徴量として演算する。

以上のように本実施形態によれば、第１特徴量算出部２０６４及び第２特徴量算出部２０８４のそれぞれが、色勾配方向共起ヒストグラム、及び、色ヒストグラムを特徴量として追加することとした。これにより、色勾配の情報なども用いて信号機領域、及び点灯領域の抽出が可能となり、信号機領域、及び点灯領域の抽出精度がより向上する。

以上、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施することが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形例は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１：運転支援システム、１０：撮像装置、２０：信号識別装置、３０：運転支援装置、２０２：記憶部、２０４：位置検出部、２０６：信号機抽出部、２０８：点灯領域抽出部、２１０：識別部

Claims (16)

1. 撮影画像内の信号機の領域を抽出する信号機抽出部と、
   撮影画像内の点灯領域を抽出する点灯領域抽出部と、
   前記信号機の領域内における前記点灯領域の位置に基づき、信号機の点灯色を識別する処理を行う識別部と、
   を備える信号識別装置。
2. 前記識別部は、前記信号機の領域に前記点灯領域が含まれる場合に、前記信号機の点灯色を識別する、請求項１に記載の信号識別装置。
3. 前記識別部は、前記信号機の領域内に前記点灯領域が含まれない場合に、前記点灯領域は信号灯でないと識別する、請求項１又は２に記載の信号識別装置。
4. 前記識別部は、前記信号機の領域を複数の領域に分け、前記複数の領域の中の前記点灯領域が含まれる領域に基づき、前記信号機の点灯色を識別する、請求項１乃至３のいずれか一項に記載の信号識別装置。
5. 前記識別部は、前記信号機の領域内を３つの領域に分け、前記点灯領域の位置が前記３つの領域のいずれに位置するかに応じて、緑色に対応する第１出力信号、黄色に対応する第２出力信号、赤色に対応する第３出力信号の内の少なくとも一つの出力信号を出力する、請求項１乃至４のいずれか一項に記載の信号識別装置。
6. 前記信号機抽出部は、第１の露光時間の撮像画像から信号機の領域を抽出し、
   前記点灯領域抽出部は、前記第１の露光時間よりも露光時間の短い第２の露光時間の撮像画像から点灯領域を抽出する、請求項１乃至５のいずれか一項に記載の信号識別装置。
7. 前記識別部は、前記信号機の領域内における前記点灯領域の位置に応じた色処理を施す、請求項１乃至６のいずれか一項に記載の信号識別装置。
8. 前記識別部は、前記点灯領域内の飽和画素を除いた残りの画素に対して、前記点灯領域の位置に応じた色処理を施す、請求項７に記載の信号識別装置。
9. 前記識別部は、前記信号機の領域内における前記点灯領域の位置に基づき所定の色成分を抽出し、前記抽出した所定の色成分に応じた信号を出力する、請求項７又は８に記載の信号識別装置。
10. 前記識別部は、異なる露光時間で撮影された複数の画像それぞれにおける前記点灯領域の輝度分布の状態に基づき、特定の露光時間の画像を選択する、請求項１乃至９のいずれか一項に記載の信号識別装置。
11. 前記信号機抽出部は、
    前記信号機の候補領域を含む信号処理領域を抽出し、前記信号処理領域に基づき算出した特徴量が所定の条件を満たす場合に、前記候補領域を信号機の領域として抽出する、請求項１乃至１０のいずれか一項に記載の信号識別装置。
12. 点灯領域は、
    高輝度の画像領域を抽出し、前記高輝度の画像領域に基づき算出した特徴量が所定の条件を満たす場合に、前記前記高輝度の領域を前記点灯領域として抽出する、請求項１乃至１１のいずれか一項に記載の信号識別装置。
13. 前記特徴量は、２点間のエッジ方向の組み合わせをヒストグラム化した輝度勾配方向共起ヒストグラム、２点間の色勾配の組み合わせをヒストグラム化したい色勾配方向共起ヒストグラム、及び、量子化した色をヒストグラム化した色ヒストグラムの内の少なくとも輝度勾配方向共起ヒストグラムである、請求項１１又は１２に記載の信号識別装置。
14. 車両に搭載され、前記車両の位置と進行方向を検出する位置検出部と、
    信号機の位置情報を記憶する記憶部と、を更に備え、
    信号機抽出部は、前記車両の位置と向き、前記信号機の位置情報、及び前記撮影画像に基づき、前記候補領域を抽出する、請求項１１に記載の信号識別装置。
15. 画像内の信号機の領域を抽出し、
    画像内の点灯領域を抽出し、
    前記前記信号機の領域内における前記点灯領域の位置に基づき、信号機の点灯色を識別する信号識別方法。
16. 車両に搭載され、撮像画像を撮像する撮像装置と、
    前記撮像画像を用いて信号機の点灯色を識別する信号識別装置と、
    前記信号識別装置の出力信号に応じて前記車両の運転を支援する運転支援装置と、
    を備え、
    前記信号識別装置は、
    前記撮像装置により撮像された撮影画像内の信号機の領域を抽出する信号機抽出部と、
    前記撮像装置により撮像された撮影画像内の点灯領域を抽出する点灯領域抽出部と、
    前記信号機の領域内における前記点灯領域の位置に基づき、信号機の点灯色を識別する処理を行う識別部と、
    を有する運転支援システム。