JP5747549B2 - 信号機検出装置及びプログラム - Google Patents

Description

本発明は、信号機検出装置及びプログラムに係り、特に、撮像画像から信号機を検出する信号機検出装置及びプログラムに関する。

従来、輝度が低い看板等の物体が除外されて信号機の発光体を含む輝度が高い第１物体を抽出するために、第１抽出手段により、テレビカメラで撮像した車両前方の画像から輝度が第１閾値以上の第１物体を抽出し、再抽出領域設定手段が第１物体の周囲に比較的狭い所定の大きさの再抽出領域を設定し、第２抽出手段が、看板等の低輝度の物体が存在しない再抽出領域において輝度が前記第１閾値未満の第２閾値以上の第２物体を抽出することにより、第２物体が信号機の発光体であるか否かを判定する信号機認識装置が提案されている（例えば、特許文献１参照）。

また、高さ算出部で算出された円形状の地上高が、信号機の設置に対する所定の基準高さよりも高く、かつ、距離算出部により算出された自車両から円形状までの距離が、交差点距離算出部により算出された自車両から交差点までの距離に交差道路の幅員の１／２を加算して得た距離よりも大きい場合には、赤色灯火状態の信号機が自車両の進行方向前方に検出されたと判定する信号機認識装置が提案されている（例えば、特許文献２参照）。

また、前方撮影用カメラと、車速センサと、カメラで撮影した画像信号が入力されるビデオＲＡＭと、ビデオＲＡＭからの画像データを読み込んで輝度の高い部分の領域を取り出し、この領域の大きさと色を基にウインドウで囲み、ウインドウ内でエッジを検出して予め記憶している参照信号機エッジと比較し、ウインドウ内で検出したエッジと参照信号機エッジとが一致したことを条件として、信号機と認識する信号認識装置が提案されている（例えば、特許文献３参照）。

特開２００９−４３０６７号公報 特開２００７−２５７３０３号公報 特開昭６３−７８２９９号公報

しかしながら、一般道には、信号機のランプ面の汚れ、経年劣化による発光強度の低下、ランプ面の傾きなどにより、輝度が高く撮像されない電球式信号機も多数存在している。また、自発光の看板、夜間の窓明かり、街路灯などや、図１０（ａ）及び（ｂ）に示すように、日中であっても反射率の高い素材の看板等であれば、信号灯に類似した輝度値となる。このため、特許文献１に記載の技術では、閾値を低下させたとしても、信号灯と看板等を誤検出してしまう場合がある、という問題がある。

また、特許文献２に記載の技術は、信号機の設置高さは法令により定められているものの、周囲の構造物に依存した例外も認められているため、適用できない場面も多い、という問題がある。また、１００ｍ程度前方の信号機を検出対象とした場合、車両のピッチ変動や路面勾配により信号機の高さを正しく推定することが困難な場合も多い。また、遠方の小さい信号灯まで検出対象とする場合には、正確な距離を算出することが困難であり、図１０（ｃ）に示すように、比較的近傍の先行車の制動灯などを遠方に存在する赤信号として検出してしまう場合もある。

また、特許文献３に記載の技術では、安価なカラーカメラを用いた場合には、感度やダイナミックレンジが低いため、信号灯の色情報と信号機全体のエッジ情報とを同時に撮像することは困難である、という問題がある。

本発明は、上記の問題点を解決するためになされたもので、ダイナミックレンジや感度が高くない安価なカラーカメラを用いた場合でも、未検出を防止して、精度良く信号機を検出することができる信号機検出装置及びプログラムを提供することを目的とする。

上記目的を達成するために、本発明の信号機検出装置は、自車両の周辺を撮像する撮像手段によってフレーム毎に撮像されたフレーム画像における色情報が、予め定められた信号灯の少なくとも１つの点灯色を示す円形または楕円領域を、信号灯の候補領域として抽出する信号灯候補抽出手段と、前記信号灯候補抽出手段により抽出された信号灯の候補領域の信号灯らしさを示す尤度を算出する尤度算出手段と、前記フレーム画像から、予め定められた形状特徴を示す領域を、信号機の候補領域として抽出する信号機候補抽出手段と、前記信号機候補抽出手段により抽出した信号機の候補領域を含む周辺領域で抽出された前記尤度が第１の閾値以上の信号灯の候補領域、及び前記信号機の候補領域を含む周辺領域以外の領域で抽出された前記尤度が前記第１の閾値より高い第２の閾値以上の信号灯の候補領域に基づいて、信号機の位置及び色を検出する検出手段と、を含んで構成されている。

本発明の信号機検出装置によれば、撮像手段が、自車両の周辺をフレーム毎に撮像する。信号灯候補抽出手段は、撮像手段により撮像されたフレーム画像における色情報が、予め定められた信号灯の少なくとも１つの点灯色を示す円形または楕円領域を、信号灯の候補領域として抽出し、尤度算出手段は、信号灯候補抽出手段により抽出された信号灯の候補領域の信号灯らしさを示す尤度を算出する。また、信号機候補抽出手段は、フレーム画像から、予め定められた形状特徴を示す領域を、信号機の候補領域として抽出する。

そして、検出手段が、信号機候補抽出手段により抽出した信号機の候補領域を含む周辺領域で抽出された尤度が第１の閾値以上の信号灯の候補領域、及び信号機の候補領域を含む周辺領域以外の領域で抽出された尤度が第１の閾値より高い第２の閾値以上の信号灯の候補領域に基づいて、信号機の位置及び色を検出する。

このように、未検出となるような信号灯らしさを示す尤度が低い信号灯の候補領域であっても、信号機の候補領域と対応が取れている場合には、信号灯の検出に用いるため、ダイナミックレンジや感度が高くない安価なカラーカメラを用いた場合でも、未検出を防止して、精度良く信号機を検出することができる。

また、前記尤度算出手段は、前記予め定められた信号灯の少なくとも１つの点灯色と、前記信号灯の候補領域の色情報との一致度、及び前記信号灯候補領域の楕円形度の少なくとも一方に基づいて、前記尤度を算出することができる。

また、前記検出手段は、前フレーム画像における信号機の追跡結果から予測される現フレーム画像における信号機の追跡領域に、対応する前記信号機の候補領域が存在する場合、及び該信号機の候補領域を含む周辺領域または前記追跡領域を含む周辺領域に前記信号灯の候補領域が存在する場合の少なくとも一方の場合に、前記追跡結果を更新して追跡を継続することができる。これにより、追跡対象がフレーム画像上から逸脱するまで、安定した追跡を行うことができる。

また、本発明の信号機検出装置は、色情報が損失しない第１の露光量、及び前記第１の露光量より明るい第２の露光量で撮像画像が撮像されるように、前記撮像手段を制御する撮像制御手段を含んで構成することができ、前記信号灯候補抽出手段は、前記第１の露光量で撮像された撮像画像から前記信号灯の候補領域を抽出し、前記信号機候補検出手段は、前記自車両の周辺環境が所定値より明るい場合には、前記第１の露光量で撮像された撮像画像から前記信号機の候補領域を抽出し、前記自車両の周辺環境が所定値より暗い場合には、前記第２の露光量で撮像された撮像画像から前記信号機の候補領域を抽出することができる。これにより、信号灯の色情報及び信号機の形状情報の両方を適切に検出することができる。

また、本発明の信号機検出装置は、前記信号灯候補抽出手段により抽出された信号灯の候補領域に対応する前記第２の露光量で撮像された撮像画像の高輝度領域の楕円形度に基づいて、抽出された前記信号灯の候補領域を検証する検証手段を含んで構成することができる。これにより、信号灯の色情報及び信号灯の形状情報の両方を適切に検出することができる。

また、本発明の信号機検出プログラムは、コンピュータを、自車両の周辺を撮像する撮像手段によってフレーム毎に撮像されたフレーム画像における色情報が、予め定められた信号灯の少なくとも１つの点灯色を示す円形または楕円領域を、信号灯の候補領域として抽出する信号灯候補抽出手段、前記信号灯候補抽出手段により抽出された信号灯の候補領域の信号灯らしさを示す尤度を算出する尤度算出手段、前記フレーム画像から、予め定められた形状特徴を示す領域を、信号機の候補領域として抽出する信号機候補抽出手段、及び前記信号機候補抽出手段により抽出した信号機の候補領域を含む周辺領域で抽出された前記尤度が第１の閾値以上の信号灯の候補領域、及び前記信号機の候補領域を含む周辺領域以外の領域で抽出された前記尤度が前記第１の閾値より高い第２の閾値以上の信号灯の候補領域に基づいて、信号機の位置及び色を検出する検出手段として機能させるためのプログラムである。

なお、本発明のプログラムを記憶する記憶媒体は、特に限定されず、ハードディスクであってもよいし、ＲＯＭであってもよい。また、ＣＤ−ＲＯＭやＤＶＤディスク、光磁気ディスクやＩＣカードであってもよい。更にまた、該プログラムを、ネットワークに接続されたサーバ等からダウンロードするようにしてもよい。

以上説明したように、本発明の信号機検出装置及びプログラムによれば、未検出となるような信号灯らしさを示す尤度が低い信号灯の候補領域であっても、信号機の候補領域と対応が取れている場合には、信号灯の検出に用いるため、ダイナミックレンジや感度が高くない安価なカラーカメラを用いた場合でも、未検出を防止して、精度良く信号機を検出することができる、という効果が得られる。

第１の実施の形態に係る車載用信号機検出装置の構成を示すブロック図である。 （ａ）未検出となる可能性がある暗い灯器、及び（ｂ）輝度むらのある信号灯の一例を示す図である。 追跡モデルの生成、更新、追跡終了の過程の一例を説明するための図である。 第１の実施の形態に係る車載用信号機検出装置における信号灯検出処理ルーチンの内容を示すフローチャートである。 第１の実施の形態に係る車載用信号機検出装置における候補抽出処理ルーチンの内容を示すフローチャートである。 第１の実施の形態に係る車載用信号機検出装置における追跡処理ルーチンの内容を示すフローチャートである。 第２の実施の形態に係る車載用信号機検出装置の構成を示すブロック図である。 明画像及び暗画像における高輝度領域の見え方の違いを説明するための図である。 第２の実施の形態に係る車載用信号機検出装置における候補抽出処理ルーチンの内容を示すフローチャートである。 誤検出の例を説明するための図である。

以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態では、車両に搭載され、連続して撮像されたフレーム画像から信号機を検出及び追跡して表示する車載用信号機検出装置に本発明を適用した場合を例に説明する。

図１に示すように、第１の実施の形態に係る車載用信号機検出装置１０は、自車両の前方の画像を撮像するＣＣＤカメラ等からなる撮像装置１２と、カーナビ画面等を表示する表示装置１８と、撮像されたフレーム画像に基づいて、前方の信号機を検出すると共に、表示装置１８の表示を制御するコンピュータ２０とを備えている。

撮像装置１２は、自車両前方を撮像し、画像の画像信号を生成する撮像部（図示省略）と、撮像部で生成された画像信号をＡ／Ｄ変換するＡ／Ｄ変換部（図示省略）と、Ａ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）とを備えている。撮像装置１２では、１フレーム毎のフレーム画像を連続して撮像する。また、撮像装置１２としては、信号灯の点灯色を識別するためにカラーカメラを用いる。

表示装置１８は、ヘッドアップディスプレイやナビ画面で構成されている。

コンピュータ２０は、ＣＰＵ、後述する信号機検出処理ルーチンのプログラム及び各種情報を記憶したＲＯＭ、データ等を記憶するＲＡＭ、及びこれらを接続するバスを含んで構成されている。このコンピュータ２０をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１に示すように、コンピュータ２０は、撮像装置１２から出力されるフレーム画像において信号機を探索する探索範囲を設定する探索範囲設定部２２と、信号灯の各点灯色の色分布データを予め記憶した信号色分布記憶部２４と、フレーム画像の探索範囲から、信号色分布記憶部２４の色分布データに基づいて、信号灯の候補領域を抽出する信号灯候補抽出部２６と、抽出された信号灯の候補領域の信号灯らしさを示す尤度を算出する信号灯尤度算出部２８と、信号機の形状特徴を予め記憶した信号機形状記憶部３０と、フレーム画像の探索範囲から、信号機形状記憶部３０の信号機の形状特徴に基づいて、信号機の候補領域を抽出する信号機候補抽出部３２と、時系列で抽出された信号灯の候補領域及び信号機の候補領域を対応付けて追跡モデルを更新しながら追跡して信号機を検出する信号機追跡部３４と、を含んだ構成で表すことができる。なお、信号機追跡部３４が、本発明の検出手段の一例である。

探索範囲設定部２２は、撮像装置１２でフレーム毎に撮像されたフレーム画像を取得し、撮像装置１２の取り付け姿勢等に基づいて、フレーム画像上で信号機が存在する領域を推定して、その領域を信号機を探索するための探索範囲として設定する。なお、フレーム画像からレーンマーク等を認識して消失点を求め、その消失点を基準として探索範囲を設定してもよい。また、計算リソースに余裕がある場合には、フレーム画像全体を探索範囲として設定してもよい。

信号色分布記憶部２４に記憶される信号灯の色分布データは、予め同じ撮像装置１２で撮像した画像を用いて学習したものである。例えば、赤、黄、青の信号灯が点灯したサンプル画像を複数枚ずつ用意して、各画素を適切な色空間に変換し、各信号色の色分布データを得る。色分布データは中心位置と分散とで表現してもよいし、色空間の軸をいくつかのビン（色成分）に分割して、各ビンに投票された画素数を集計したヒストグラムとして表現してもよい。利用する色空間に限定はなく、Ｌ^＊ａ^＊ｂ^＊やＨＳＶなどを利用してもよいし、カラーカメラから得られるＲＧＢ値をそのまま使ってもよい。また、輝度の分布についても信号灯を撮像したサンプル画像から予め調査しておく。なお、色分布データの学習で用いた色空間とは異なる色空間を用いて輝度を計算しても構わない。上記の色分布データ及び輝度分布データを、点灯色毎に信号色分布記憶部２４に予め記憶しておく。

信号灯候補抽出部２６は、探索範囲設定部２２で設定された探索範囲内の画素（またはいくつかの小領域）毎に、学習時と同様の手順で色情報及び輝度情報を抽出し、各画素について、抽出された色情報及び輝度情報を、信号色分布記憶部２４に記憶された各点灯色の色分布データ及び輝度分布データと比較して、信号灯の候補であるかどうかを判定する。

また、信号灯候補抽出部２６は、信号灯の候補であると判定された画素が集中する領域を抽出し、抽出された領域の形状が楕円形であるか否かを判定する。楕円形度の算出は様々な方法があるが、ここでは、楕円形度Ｅを下記（１）式で計算し、例えばこの値Ｅが０.８〜１.２の間に入る領域を信号灯の候補領域として抽出する。

Ｅ＝Ｓ／πａｂ ・・・（１）

ただし、Ｓは抽出された領域の面積、ａは抽出された領域の幅、ｂは抽出された領域の高さを示す。

また、信号灯候補抽出部２６は、信号灯の候補領域内の各画素の色情報及び輝度情報が、どの点灯色の色分布データ及び輝度分布データに当てはまるかによって、信号灯の候補領域の点灯色を選択する。なお、赤、黄、青の３色全ての信号灯を検出する場合に限定されず、検出したい信号灯の色を少なくとも１つ定めておいて、信号色分布記憶部２４にその信号色の色分布データを記憶しておき、信号灯候補抽出部２６では、その信号色の信号灯の候補領域のみを抽出するようにしてもよい。

信号灯尤度算出部２８は、信号灯候補抽出部２６で抽出された信号灯の候補領域の各々について、信号灯らしさを示す数値（尤度）を算出する。尤度は、信号灯の候補領域の形状や色分布及び輝度の情報に基づいて算出する。

例えば、信号灯の候補領域の形状に関する尤度Ｐ_Ｅは、下記（２）式により算出する。

Ｐ_Ｅ＝１−｜１−Ｅ｜＝１−｜１−Ｓ／πａｂ｜ ・・・（２）

また、信号灯の候補領域の色分布が、学習した色分布とどの程度一致しているかを示す尤度も算出する。色分布に関する尤度Ｐ_Ｃは、例えば、学習した色分布データがヒストグラムとして表現されている場合には、下記（３）式により算出する。

（３）式は、ヒストグラムインタセクションと呼ばれるヒストグラム間の類似尺度を算出する式であり、０〜１の値となる。ここで、Ｈは信号灯の候補領域の正規化ヒストグラム、Ｍは予め学習された信号色ｃの正規化ヒストグラム、Ｉはヒストグラムのビン数を表す。この場合、３種類の信号色に対して（３）式により尤度を計算し、最も高い尤度を示す信号色を信号灯の候補領域の点灯色として選択する。なお、学習した色分布データが重心と分散とで表現されている場合には、マハラノビス距離などを用いて、色分布に関する尤度を算出すればよい。

また、輝度に関する尤度Ｐ_Ｂも利用する場合には、（３）式と同様の手順で輝度に関する尤度Ｐ_Ｂを算出する。

最終的な尤度Ｐ_Ｓは、上記の形状に関する尤度Ｐ_Ｅ、色分布に関する尤度Ｐ_Ｃ、輝度に関する尤度Ｐ_Ｂから総合的に算出する。例えば、（４）式のように各尤度の積の形で統合してもよいし、和の形で統合してもよい。また、（５）式のようにいずれか一つを代表値として選択するようにしてもよい。

Ｐ_Ｓ＝Ｐ_Ｅ・Ｐ_Ｃ・Ｐ_Ｂ ・・・（４）
Ｐ_Ｓ＝ｍａｘ｛Ｐ_Ｅ，Ｐ_Ｃ，Ｐ_Ｂ｝ ・・・（５）

信号機形状記憶部３０に記憶される信号機の形状特徴は、予め同じ撮像装置１２で撮像した画像を用いて学習したものである。例えば、画像からＨＯＧ（Ｈｉｓｔｏｇｒａｍ−Ｏｆ−Ｇｒａｄｉｅｎｔ）特徴を抽出し、ＡｄａＢｏｏｓｔやＳＶＭ（Ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ）などの手法を用いて学習して構築した識別器を、信号機の形状特徴として信号機形状記憶部３０に予め記憶しておく。

信号機候補抽出部３２は、探索範囲設定部２２で設定された探索範囲内で、様々な大きさのウインドウを走査しながらウインドウ内の画像を抽出し、抽出したウインドウ画像から学習時と同様の手順で特徴を抽出し、信号機形状記憶部３０に記憶された形状特徴としての識別器を用いて、ウインドウ画像が信号機を示す画像であるか否かを評価する。そして、評価値の高いウインドウ画像に対応する領域を、信号機の候補領域として抽出する。

信号機追跡部３４は、信号灯候補抽出部２６で抽出された信号灯の候補領域、及び信号機候補抽出部３２で抽出された信号機の候補領域に基づいて、追跡モデルの生成及び更新を行う。追跡モデルは、フレーム画像内での信号灯の位置、大きさ、色を状態量に持つ。なお、３次元空間中での位置を状態量としてもよい。追跡モデルの状態量は、現フレームから抽出された信号灯の候補領域が示す信号灯の位置、大きさ及び色、並びに信号機の候補領域が示す信号機の位置及び大きさ（以下、これらを「観測値」ともいう）であって、前フレームとの対応が取れた観測値、またはこの観測値から推定される値を用いて逐次更新される。

より具体的には、まず１フレーム前までに生成された追跡モデルに対して、前フレームと現フレームとの間の自車両の動きに基づいて、現フレームでの検出位置を予測する。次に、予測された予測位置の周辺で抽出されている信号機の候補領域を、追跡モデルに対応する信号機の候補領域として検出する。予測位置に対応する信号機の候補領域が検出された場合には、その信号機の候補領域を含む周辺領域で抽出されている信号灯の候補領域であって、信号灯尤度算出部２８により算出された尤度が閾値Ｐｔｈ_Ｌ以上の信号灯の候補領域を、追跡モデルに対応する信号灯の候補領域として検出する。また、予測位置に対応する信号機の候補領域が検出されなかった場合には、予測位置の周辺領域で、尤度が閾値Ｐｔｈ_Ｈ以上の信号灯の候補領域から追跡モデルに対応する信号灯の候補領域を検出する。閾値Ｐｔｈ_Ｈは、閾値Ｐｔｈ_Ｌより高い値を設定する。このように処理することで、尤度が高い信号灯の候補領域は、信号機の候補領域との対応が取れていない場合でも信号灯として検出し、図２で示すように、信号灯が暗い場合（同図（ａ））や高輝度領域が輝度むらにより円形に見えない信号灯（同図（ｂ））のように、未検出となる可能性が高い場合のように尤度が低い信号灯の候補領域でも、追跡モデルとの対応が取れた信号機の候補領域と対応が取れている場合には、拾い上げることができる。これにより、信号灯の検出精度を保ちつつ、未検出を防止することができる。

なお、フレーム間で信号灯の色が変化しても追跡モデルと信号灯の候補領域との対応付けが可能なように、追跡モデルの状態量及び信号灯の点灯ルールに基づいて、照合範囲を動的に設定するようにするとよい。

次に、予測位置の周辺での信号機の候補領域及び信号灯の候補領域の検出状況に応じて、下記表１に示すように、追跡モデルを更新する。

追跡モデルに対応する信号灯の候補領域が検出された場合には、追跡モデルの状態量が観測値を用いて更新される。追跡モデルに対応する信号機の候補領域のみが検出された場合には、追跡モデルの色情報、及び信号機の候補領域の位置及び大きさに基づいて、信号灯の位置及び大きさを推定する。例えば、追跡モデルの色情報が「青」であれば、信号機の候補領域を横方向に３等分して、左領域の中心位置を信号灯の重心（位置）と推定し、信号機の候補領域の縦幅を信号灯の直径（大きさ）と推定する。そして、推定した信号灯の位置及び大きさを用いて追跡モデルを更新する。色情報は更新しない。追跡モデルに対応する信号機の候補領域も信号灯の候補領域も検出されなかった場合には、追跡モデルの予測位置に基づいて、上記と同様に信号灯の位置及び大きさを推定して、追跡モデルを更新する。ただし、規定回数以上対応する信号機の候補領域も信号灯の候補領域も検出されなかった場合には、その追跡モデルは消去される。

また、信号灯候補抽出部２６及び信号機候補抽出部３２で、信号灯の候補領域及び信号機の候補領域の少なくとも一方は抽出されているが、対応する追跡モデルが存在しない場合には、下記表２に示すように、現フレームの観測値に基づいて、新規に追跡モデルを生成する。

信号機の候補領域及び信号灯の候補領域が共に抽出されており、両者に対応関係がある場合（両者の相対位置関係に矛盾がない場合）には、これらの観測値に基づいて、新規に追跡モデルを生成する。また、この追跡モデルには、信号機の候補領域及び信号灯の候補領域が共に抽出されて生成された追跡モデルであることを示す「確定」の情報を付与する。信号灯の候補領域のみ抽出されており、対応関係がある信号機の候補領域が抽出されていない場合には、信号灯の候補領域の観測値に基づいて、新規に追跡モデルを生成する。また、この追跡モデルには、信号灯の候補領域のみが抽出されて生成された追跡モデルであることを示す「未確定」の情報を付与する。信号機の候補領域のみ抽出されており、対応関係がある信号灯の候補領域が抽出されていない場合には、信号機の候補領域の位置及び大きさに基づいて、信号灯の位置及び大きさを推定する。また、例えば、信号機の候補領域を横方向に３等分して、各領域の色情報を、各領域に対応する信号灯の色分布データ（左領域は信号灯「青」の色分布データ、中央領域は信号灯「黄」の色分布データ、右領域は信号灯「赤」の色分布データ）を用いて評価して、最も評価値の高い領域の色を信号灯の色と推定する。そして、推定した値に基づいて、新規に追跡モデルを生成する。また、この追跡モデルには、信号機の候補領域のみが抽出されて生成された追跡モデルであることを示す「未確定」の情報を付与する。「未確定」情報が付与された追跡モデルは、次フレーム以降の処理において、未確定であった候補（信号灯の候補領域または信号機の候補領域）との対応が取れた場合に、「確定」情報に変更する。

なお、信号機の候補領域と対応関係にある信号灯の候補領域は、尤度が閾値Ｐｔｈ_Ｌ以上の信号灯の候補領域から探索し、信号機の候補領域との対応関係がなく、信号灯の候補領域のみで追跡モデルを新規作成する場合には、尤度が閾値Ｐｔｈ_Ｈ以上の信号灯の候補領域を用いる。

最終的に、信号機追跡部３４は、更新された追跡モデル及び新規に生成された追跡モデルのうち、「確定」情報が付与された追跡モデルの状態量に基づいて、信号灯の位置、大きさ、及び色の情報を検出結果として、表示装置１８に表示させる。

図３を参照して、信号機追跡部３４による追跡モデルの生成、更新、追跡終了の過程の一例を説明する。

まず、（１）ｔ＝ｋ−４の場面で、両者に対応関係がある信号機の候補領域及び信号灯の候補領域が共に抽出されると、これらの観測値を用いて、新規に追跡モデル（「確定」）が生成される。

次に、（２）ｔ＝ｋ−３の場面で、上記（１）で生成された追跡モデルに対応する信号灯の候補領域のみが検出された場合には、信号灯の候補領域の観測値を用いて、追跡モデルが更新される。

次に、（３）ｔ＝ｋ−２の場面で、上記（２）で更新された追跡モデルに対応する信号機の候補領域のみが検出された場合には、信号機の候補領域の観測値から推定された推定値を用いて、追跡モデルが更新される。

次に、（４）ｔ＝ｋ−１の場面で、上記（３）で更新された追跡モデルに対応する信号機の候補領域及び信号灯の候補領域が共に検出されなかった場合には、追跡モデルの予測位置から推定された推定値を用いて、追跡モデルが更新される。

次に、（５）ｔ＝ｋの場面で、上記（４）で更新された追跡モデルに対応する信号機の候補領域及び信号灯の候補領域が共に規定回数検出されなかった場合には、追跡を終了する。

次に、第１の実施の形態に係る車載用信号機検出装置１０の作用について説明する。車載用信号機検出装置１０を搭載した自車両が道路上を走行しているときに、撮像装置１２によって、自車両の前方が撮像されると、コンピュータ２０において、図４に示す信号機検出処理ルーチンが繰り返し実行される。

まず、ステップ１００において、フレーム画像から信号機の候補領域及び信号灯の候補領域を抽出する候補抽出処理を実行する。

ここで、図５を参照して、候補抽出処理ルーチンについて説明する。

ステップ１０００で、撮像装置１２でフレーム毎に撮像されたフレーム画像を取得し、次に、ステップ１００２で、撮像装置１２の取り付け姿勢等に基づいて、上記ステップ１０００で取得したフレーム画像上で信号機が存在する領域を推定して、その領域を信号機を探索するための探索範囲として設定する。

次に、ステップ１００４で、上記ステップ１００２で設定された探索範囲内の画素（またはいくつかの小領域）毎に、学習時と同様の手順で色情報及び輝度情報を抽出し、各画素について、抽出された色情報及び輝度情報を、信号色分布記憶部２４に記憶された各点灯色の色分布データ及び輝度分布データと比較して、信号灯の候補であるかどうかを判定する。また、信号灯の候補であると判定された画素が集中する領域を抽出し、抽出された領域の形状が楕円形であるか否かを、例えば、（１）式を用いて算出した楕円形度に基づいて判定する。楕円形度が所定値以上の領域を信号灯の候補領域として抽出する。

次に、ステップ１００６で、上記ステップ１００４で抽出された信号灯の候補領域の各々について、信号灯らしさを示す尤度を、例えば、（２）式〜（５）式に従って算出する。

次に、ステップ１００８で、上記ステップ１００２で設定された探索範囲内で、様々な大きさのウインドウを走査しながらウインドウ内の画像を抽出し、抽出したウインドウ画像から学習時と同様の手順で特徴を抽出し、信号機形状記憶部３０に記憶された形状特徴としての識別器を用いて、ウインドウ画像が信号機を示す画像であるか否かを評価する。そして、評価値の高いウインドウ画像に対応する領域を、信号機の候補領域として抽出する。

次に、信号機検出処理（図４）のステップ１０２へ移行して、時系列で抽出された信号灯の候補領域及び信号機の候補領域を対応付けて追跡モデルを更新しながら追跡して信号機を検出する追跡処理を実行する。

ここで、図６を参照して、追跡処理ルーチンについて説明する。

ステップ１０２０で、１フレーム前までに生成された追跡モデルに対して、前フレームと現フレームとの間の自車両の動きに基づいて、現フレームでの検出位置を予測する。

次に、ステップ１０２２で、上記ステップ１０２０で予測された予測位置の周辺に、対応する信号機の候補領域が存在するか否かを判定する。存在する場合には、その信号機の候補領域を検出して、ステップ１０２４へ移行し、存在しない場合には、ステップ１０３２へ移行する。

ステップ１０２４では、信号灯の候補領域の尤度の閾値を、閾値Ｐｔｈ_Ｌに設定する。

次に、ステップ１０２６で、上記ステップ１０２２で検出された信号機の候補領域を含む周辺領域で抽出されている信号灯の候補領域であって、尤度が閾値Ｐｔｈ_Ｌ以上の信号灯の候補領域が存在するか否かを判定する。存在する場合には、その信号灯の候補領域を検出して、ステップ１０２８へ移行する。存在しない場合には、ステップ１０３０へ移行する。

ステップ１０２８では、上記ステップ１０２６で検出された信号灯の候補領域の観測値を用いて追跡モデルを更新する。一方、ステップ１０３０では、追跡モデルの色情報、及び上記ステップ１０２２で検出された信号機の候補領域の位置及び大きさに基づいて、信号灯の位置及び大きさを推定し、この推定値を用いて追跡モデルを更新する。色情報は更新しない。

一方、上記ステップ１０２２で対応する信号機の候補領域が存在しないと判定されてステップ１０３２へ移行した場合には、信号灯の候補領域の尤度の閾値を、閾値Ｐｔｈ_Ｈに設定する。

次に、ステップ１０３４で、上記ステップ１０２０で予測された予測位置の周辺領域で抽出されている信号灯の候補領域であって、尤度が閾値Ｐｔｈ_Ｈ以上の信号灯の候補領域が存在するか否かを判定する。存在する場合には、その信号灯の候補領域を検出して、ステップ１０２８へ移行する。存在しない場合には、ステップ１０３６へ移行する。

ステップ１０３６では、追跡モデルの色情報、及び上記ステップ１０２２で予測された予測位置に基づいて、信号灯の位置及び大きさを推定し、この推定値を用いて追跡モデルを更新する。色情報は更新しない。

次に、ステップ１０３８で、規定回数以上対応する信号機の候補領域も信号灯の候補領域も検出されなかった追跡モデルを消去する。

次に、ステップ１０４０で、対応する追跡モデルが存在しない信号灯の候補領域及び信号機の候補領域の少なくとも一方に基づいて、追跡モデルを新規作成する。この際、両者に対応関係がある信号灯の候補領域及び信号機の候補領域が共に抽出されている場合には、「確定」情報を付与した追跡モデルを生成し、信号灯の候補領域及び信号機の候補領域のいずれかが抽出されていない場合には、「未確定」情報を付与した追跡モデルを生成する。

次に、ステップ１０４２で、上記ステップ１０２８、１０３０、または１０３６で更新された追跡モデル、及び上記ステップ１０４０で新規に生成された追跡モデルのうち、「確定」情報が付与された追跡モデルの状態量に基づいて、信号灯の位置、大きさ、及び色の情報を検出結果として、表示装置１８に表示させて、リターンして処理を終了する。

以上説明したように、第１の実施の形態の信号機検出装置によれば、信号灯の候補領域及び信号機の候補領域を抽出し、追跡モデルに対応する信号機の候補領域が存在する場合には、信号灯らしさを示す尤度が低い信号灯の候補領域の情報も用いて、追跡モデルに対応する信号機の候補領域が存在しない場合には、尤度が高い信号灯の候補領域の情報を用いて、信号灯の位置、大きさ、及び色を検出するため、ダイナミックレンジや感度が高くない安価な撮像装置を用いた場合でも、未検出を防止して、精度良く信号機を検出することができる。

また、信号灯及び信号機の形状情報の２つの特徴をあわせて用いることで、信号灯の設置高さ等を推定することなく、高精度に信号機を検出することができる。

また、信号灯の候補領域及び信号機の候補領域のいずれかが検出された場合に追跡モデルを更新するため、追跡対象がフレームアウトするまで安定して追跡することができる。

次に、第２の実施の形態について説明する。なお、第１の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。

第２の実施の形態では、露光量の異なる複数のフレーム画像を撮像して、信号灯の候補領域及び信号機の候補領域の抽出に各々適した画像を用いる点が、第１の実施の形態と主に異なっている。

図７に示すように、第２の実施の形態に係る車載用信号機検出装置２１０のコンピュータ２２０は、露光量の異なる複数のフレーム画像が撮像されるように撮像装置１２を制御する撮像制御部３６と、探索範囲設定部２２と、信号色分布記憶部２４と、暗画像から信号灯の候補領域を抽出する信号灯候補抽出部２２６と、明画像を用いて、抽出された信号灯の候補領域を検証する信号灯候補検証部３８と、信号灯尤度算出部２８と、自車両周辺の環境照度を認識する環境照度認識部４０と、信号機形状記憶部３０と、環境照度認識部４０の認識結果に基づいて、明画像または暗画像のいずれかから信号機の候補領域を抽出する信号機候補抽出部２３２と、信号機追跡部３４と、を含んだ構成で表すことができる。

撮像制御部３６は、撮像装置１２で自車両の前方を撮像する際の露光量を適宜切り替えて、１フレーム毎に、露光量の異なる複数のフレーム画像が撮像されるように撮像装置１２を制御する。露光量の切り替えは、予め設定された複数種類の露光量で繰り返し撮像するように制御してもよいし、取得したフレーム画像の明るさに応じて露光量を可変にしてもよい。予め設定された露光量を用いる場合には、昼間と夜間とで露光量の設定が変更されるようにしてもよい。また、検出及び追跡中の信号灯の輝度に応じて露光量を制御するようにしてもよい。ただし、信号灯は自発光物体であり画像中での輝度が高いため、撮像装置１２のダイナミックレンジが不足すると、画素値が飽和し正しい色情報が取得できない（色情報が損失する）場合がある。そこで、色情報が損失しない露光量を少なくとも１つは含むようにする。また、色情報が損失しないように露光量を抑えた画像からは形状情報を認識するのが困難になる場合もあるため、色情報が損失しない露光量より大きい露光量も含めるようにする。以下、色情報が損失しない露光量で撮像されたフレーム画像を「暗画像」、暗画像よりも大きい露光量で撮像されたフレーム画像を「明画像」と称する。

信号灯候補抽出部２２６は、探索範囲設定部２２で、暗画像に設定された探索範囲から信号灯の候補領域を抽出する。暗画像から信号灯の候補領域を抽出することにより、その領域の色情報を精度良く検出することができる。信号灯の候補領域の抽出方法は、第１の実施の形態の信号灯候補抽出部２６と同様である。

信号灯候補検証部３８は、信号灯候補抽出部２２６で抽出された信号灯の候補領域の各々について、明画像を用いて形状の検証を行う。暗画像で抽出された信号灯の候補領域が実際に信号灯であっても、灯器の汚れや、経年劣化、見かけの角度などによって、必ずしも楕円形度の高い領域として抽出されていない場合がある。また、逆に、夜間では実際には円形ではないのに、露光を絞ったために、暗画像においては高輝度領域の中心付近のみが円形に抽出される場合もある。例えば、図８に示すように、明画像上では円形状ではない街灯（同図（ａ））や窓明かり（同図（ｂ））が、夜間に信号灯の色情報を取得できる露光量で撮像された暗画像上では、輝度の高い中心部分のみが円形状に抽出され（同図（ｃ）及び（ｄ））、信号灯と誤検出される場合がある。

そこで、信号灯候補検証部３８は、暗画像から抽出された信号灯の候補領域に対応する明画像の高輝度領域を抽出し、例えば（１）式を用いて、高輝度領域の楕円形度を算出する。そして、信号灯候補抽出部２２６で算出された楕円形度よりも改善されている場合には、信号灯の候補領域として残し、楕円形度が劣化する場合には、信号灯の候補領域から除外する。また、楕円形度が改善された場合には、改善された楕円形度を用いて、後段の信号灯尤度算出部２８により尤度を算出するようにするとよい。

環境照度認識部４０は、自車両の周辺環境の明るさを認識して、後段の信号機候補抽出部２３２へ、明画像及び暗画像のいずれを入力するかを選択する。周辺環境の明るさは、取得したフレーム画像（明画像または暗画像）全体の輝度値から判定してもよいし、照度計やヘッドライト点灯状態を検出するセンサ等を設けて、このセンサの検出値から判定してもよい。周辺環境が明るい場合（例えば、昼間の場合）には、暗画像を信号機候補抽出部２３２に入力し、暗い場合（例えば、夜間の場合）には、明画像を信号機候補抽出部２３２に入力する。

信号機候補抽出部２３２は、環境照度認識部４０により入力された明画像または暗画像から信号機の候補領域を抽出する。このように、周辺の環境照度に基づいて適切に選択された画像を用いることで、建物や背景のテクスチャも明確となり、信号機の形状特徴を精度良く判定することができる。信号機の候補領域の抽出方法は、第１の実施の形態の信号機候補抽出部３２と同様である。

次に、第２の実施の形態に係る車載用信号機検出装置２１０の作用について説明する。車載用信号機検出装置２１０を搭載した自車両が道路上を走行しているときに、撮像装置１２によって、撮像制御部３６で露光量が制御されて、自車両の前方が撮像されると、コンピュータ２２０において、図４に示す信号機検出処理ルーチンが繰り返し実行される。なお、第１の実施の形態の信号機検出処理ルーチンとは、候補抽出処理が異なるのみであるので、図９を参照して、第２の実施の形態の候補抽出処理ルーチンについて説明する。また、第１の実施の形態の候補抽出処理と同一の処理については、同一の符号を付して詳細な説明は省略する。

ステップ２０００で、撮像装置１２でフレーム毎に撮像された明画像及び暗画像を取得し、次に、ステップ１００２で、上記ステップ２０００で取得した明画像及び暗画像に探索範囲を設定する。次に、ステップ２００４で、暗画像から信号灯の候補領域を抽出する。

次に、ステップ２００５で、暗画像から抽出された信号灯の候補領域に対応する明画像の高輝度領域を抽出し、例えば（１）式を用いて、高輝度領域の楕円形度を算出し、上記ステップ２００４で信号灯の候補領域を抽出する際に算出された楕円形度よりも改善されている場合には、信号灯の候補領域として残し、楕円形度が劣化する場合には、信号灯の候補領域から除外する。

次に、ステップ１００６で、上記ステップ２００５において検証済みの信号灯の候補領域の各々について、信号灯らしさを示す尤度を算出する。

次に、ステップ２００７で、取得した明画像または暗画像全体の輝度値の合計または平均が所定の閾値以上か否かを判定することにより、自車両周辺の環境が昼間か否かを判定する。昼間の場合には、ステップ２００８へ移行し、暗画像から信号機の候補領域を抽出する。一方、自車両周辺の環境が夜間の場合には、ステップ２００９へ移行して、明画像から信号機の候補領域を抽出して、リターンする。

以上説明したように、第２の実施の形態の車載用信号機検出装置によれば、色情報を損失しない露光量で撮像された暗画像、及び暗画像より大きい露光量で撮像された明画像を用いるため、ダイナミックレンジや感度が高くない安価な撮像装置を用いた場合でも、信号灯の色情報、及び信号機の形状特徴の両方を精度良く検出することができる。

１０、２１０ 車載用信号機検出装置
１２ 撮像装置
１８ 表示装置
２０ コンピュータ
２２ 探索範囲設定部
２４ 信号色分布記憶部
２６、２２６ 信号灯候補抽出部
２８ 信号灯尤度算出部
３０ 信号機形状記憶部
３２、２３２ 信号機候補抽出部
３４ 信号機追跡部
３６ 撮像制御部
３８ 信号灯候補検証部
４０ 環境照度認識部

Claims (9)

1. 自車両の周辺を撮像する撮像手段によってフレーム毎に撮像されたフレーム画像における色情報が、予め定められた信号灯の少なくとも１つの点灯色を示す円形または楕円領域を、信号灯の候補領域として抽出する信号灯候補抽出手段と、
   前記信号灯候補抽出手段により抽出された信号灯の候補領域の信号灯らしさを示す尤度を算出する尤度算出手段と、
   前記フレーム画像から、予め定められた形状特徴を示す領域を、信号機の候補領域として抽出する信号機候補抽出手段と、
   前記信号機候補抽出手段により抽出した信号機の候補領域を含む周辺領域で抽出された前記尤度が第１の閾値以上の信号灯の候補領域、及び前記信号機の候補領域を含む周辺領域以外の領域で抽出された前記尤度が前記第１の閾値より高い第２の閾値以上の信号灯の候補領域に基づいて、信号機の位置及び色を検出する検出手段と、
   を含む信号機検出装置。
2. 前記尤度算出手段は、前記予め定められた信号灯の少なくとも１つの点灯色と、前記信号灯の候補領域の色情報との一致度、及び前記信号灯の候補領域の楕円形度の少なくとも一方に基づいて、前記尤度を算出する請求項１記載の信号機検出装置。
3. 前記検出手段は、前フレーム画像における信号機の追跡結果から予測される現フレーム画像における信号機の追跡領域に、対応する前記信号機の候補領域が存在する場合、及び該信号機の候補領域を含む周辺領域または前記追跡領域を含む周辺領域に前記信号灯の候補領域が存在する場合の少なくとも一方の場合に、前記追跡結果を更新して追跡を継続する請求項１または請求項２記載の信号機検出装置。
4. 色情報が損失しない第１の露光量、及び前記第１の露光量より明るい第２の露光量で撮像画像が撮像されるように、前記撮像手段を制御する撮像制御手段を含み、
   前記信号灯候補抽出手段は、前記第１の露光量で撮像された撮像画像から前記信号灯の候補領域を抽出し、
   前記信号機候補抽出手段は、前記自車両の周辺環境が所定値より明るい場合には、前記第１の露光量で撮像された撮像画像から前記信号機の候補領域を抽出し、前記自車両の周辺環境が所定値より暗い場合には、前記第２の露光量で撮像された撮像画像から前記信号機の候補領域を抽出する
   請求項１〜請求項３のいずれか１項記載の信号機検出装置。
5. 前記信号灯候補抽出手段により抽出された信号灯の候補領域に対応する前記第２の露光量で撮像された撮像画像の高輝度領域の楕円形度に基づいて、抽出された前記信号灯の候補領域を検証する検証手段を含む請求項４記載の信号機検出装置。
6. コンピュータを、
   自車両の周辺を撮像する撮像手段によってフレーム毎に撮像されたフレーム画像における色情報が、予め定められた信号灯の少なくとも１つの点灯色を示す円形または楕円領域を、信号灯の候補領域として抽出する信号灯候補抽出手段、
   前記信号灯候補抽出手段により抽出された信号灯の候補領域の信号灯らしさを示す尤度を算出する尤度算出手段、
   前記フレーム画像から、予め定められた形状特徴を示す領域を、信号機の候補領域として抽出する信号機候補抽出手段、及び
   前記信号機候補抽出手段により抽出した信号機の候補領域を含む周辺領域で抽出された前記尤度が第１の閾値以上の信号灯の候補領域、及び前記信号機の候補領域を含む周辺領域以外の領域で抽出された前記尤度が前記第１の閾値より高い第２の閾値以上の信号灯の候補領域に基づいて、信号機の位置及び色を検出する検出手段
   として機能させるための信号機検出プログラム。
7. コンピュータを、請求項１〜請求項３のいずれか１項記載の信号機検出装置を構成する信号灯候補抽出手段、尤度算出手段、信号機候補抽出手段、及び検出手段として機能させるための信号機検出プログラム。
8. コンピュータを、請求項４記載の信号機検出装置を構成する信号灯候補抽出手段、尤度算出手段、信号機候補抽出手段、検出手段、及び撮像制御手段として機能させるための信号機検出プログラム。
9. コンピュータを、請求項５記載の信号機検出装置を構成する信号灯候補抽出手段、尤度算出手段、信号機候補抽出手段、検出手段、撮像制御手段、及び検証手段として機能させるための信号機検出プログラム。