JP5407920B2 - 点灯色識別装置及びプログラム - Google Patents

Description

本発明は、点灯色識別装置及びプログラムに係り、特に、撮像画像から、信号灯の点灯色を識別する点灯色識別装置及びプログラムに関する。

従来より、自車前方の信号機を正確に検出することが可能な信号機検出装置が知られている（特許文献１）。この信号機検出装置では、交差点の信号機の赤色発光部を基本色彩情報等に基づいて抽出できずに、当該交差点で停車した場合には、停車開始から自車両が発進するまで、カメラＥＣＵから受信した画像認識データを時系列的にデータ記録部に記憶する。そして、自車両の発進時に、データ記録部に記憶した所定時間前から当該発進時までの各画像認識データから赤色領域の消失した位置を検出し、この消失した赤色領域を信号機の赤色発光部として特定している。

特開２００９−１２９２９０号公報

赤色と黄色は元来同系統の色であり、ランプの輝度や指向性、周辺の明るさなどに影響されて判別しにくくなるため、信号灯の黄色と赤色を誤って識別することが多い。

しかしながら、上記特許文献１に記載の技術では、信号灯の点灯色の誤認識を考慮していないため、点灯色を精度良く識別することができない、という問題がある。

本発明は、上記の問題点を解決するためになされたもので、撮像画像が表わしている信号灯の点灯色を精度よく識別することができる点灯色識別装置を提供することを目的とする。

上記の目的を達成するために本発明に係る点灯色識別装置は、自車両の周辺を撮像する撮像装置によって撮像された撮像画像から、予め定められた信号灯の各点灯色の色情報に基づいて、前記信号灯の候補領域を繰り返し抽出すると共に、対応する前記信号灯の候補領域を追跡する候補領域抽出手段と、前記追跡された前記信号灯の候補領域の位置の変化から、点灯色の切り替わりを判定する切替判定手段と、前記判定手段によって点灯色が切り替わったと判定された場合、点灯色が切り替わったときの前記信号灯の候補領域の位置及び色の変化が、予め定められた点灯色の切り替わりによる信号灯の位置及び点灯色の変化に関する規則に沿った変化であるか否かを判定する変化規則判定手段と、前記変化規則判定手段によって、前記信号灯の候補領域の位置及び色の変化が、前記規則に沿った変化でないと判定された場合、前記規則に沿って変化したときの点灯色を、前記信号灯の候補領域の点灯色として識別する点灯色識別手段とを含んで構成されている。

本発明に係るプログラムは、コンピュータを、自車両の周辺を撮像する撮像装置によって撮像された撮像画像から、予め定められた信号灯の各点灯色の色情報に基づいて、前記信号灯の候補領域を繰り返し抽出すると共に、対応する前記信号灯の候補領域を追跡する候補領域抽出手段、前記追跡された前記信号灯の候補領域の位置の変化から、点灯色の切り替わりを判定する切替判定手段、前記判定手段によって点灯色が切り替わったと判定された場合、点灯色が切り替わったときの前記信号灯の候補領域の位置及び色の変化が、予め定められた点灯色の切り替わりによる信号灯の位置及び点灯色の変化に関する規則に沿った変化であるか否かを判定する変化規則判定手段、及び前記変化規則判定手段によって、前記信号灯の候補領域の位置及び色の変化が、前記規則に沿った変化でないと判定された場合、前記規則に沿って変化したときの点灯色を、前記信号灯の候補領域の点灯色として識別する点灯色識別手段として機能させるためのプログラムである。

本発明によれば、候補領域抽出手段によって、自車両の周辺を撮像する撮像装置によって撮像された撮像画像から、予め定められた信号灯の各点灯色の色情報に基づいて、信号灯の候補領域を繰り返し抽出すると共に、対応する信号灯の候補領域を追跡する。

そして、切替判定手段によって、追跡された信号灯の候補領域の位置の変化から、点灯色の切り替わりを判定する。変化規則判定手段によって、判定手段によって点灯色が切り替わったと判定された場合、点灯色が切り替わったときの信号灯の候補領域の位置及び色の変化が、予め定められた点灯色の切り替わりによる信号灯の位置及び点灯色の変化に関する規則に沿った変化であるか否かを判定する。

そして、点灯色識別手段によって、変化規則判定手段によって、信号灯の候補領域の位置及び色の変化が、規則に沿った変化でないと判定された場合、規則に沿って変化したときの点灯色を、信号灯の候補領域の点灯色として識別する。

このように、撮像画像から抽出された信号灯の候補領域について、点灯色が切り替わったと判定された場合に、点灯色の切り替わりによる信号灯の位置及び点灯色の変化に関する規則に従って、信号灯の点灯色を識別することにより、撮像画像が表わしている信号灯の点灯色を精度よく識別することができる。

本発明に係る点灯色識別装置は、変化規則判定手段によって、信号灯の候補領域の位置及び色の変化が、規則に沿った変化でないと判定された場合、信号灯の候補領域の色情報を、規則に沿って変化したときの点灯色の色情報として色情報格納手段に格納する格納制御手段を更に含み、候補領域抽出手段は、撮像画像から、色情報格納手段に格納された点灯色の色情報を用いて、信号灯の候補領域を繰り返し抽出すると共に、対応する信号灯の候補領域を追跡することができる。これによって、信号灯の候補領域を精度良く追跡することができる。

本発明において、色情報格納手段に格納された信号灯の候補領域の色情報は、該信号灯の候補領域に対応する信号灯の候補領域が、撮像画像から抽出されなくなった場合に色情報格納手段から消去されるようにすることができる。

本発明に係る点灯色識別装置は、各色成分の頻度を示すヒストグラムを表わす色情報を点灯色毎に記憶した色情報記憶手段と、色情報格納手段に格納した点灯色のヒストグラムが示す各色成分の頻度を、各点灯色について合計し、何れかの点灯色のヒストグラムについて、何れかの色成分の頻度の合計値が所定値以上となった場合、該点灯色のヒストグラムの該色成分の前記頻度の合計値に基づいて、色情報記憶手段に記憶された該点灯色のヒストグラムが示す該色成分の頻度を更新する色情報更新手段とを更に含み、候補領域抽出手段は、撮像画像から、色情報記憶手段に記憶された各点灯色の色情報に基づいて、信号灯の候補領域を繰り返し抽出すると共に、対応する信号灯の候補領域を追跡するようにすることができる。これによって、撮像画像から、信号灯の候補領域を精度良く抽出することができる。

上記の色情報格納手段を含む本発明に係る切替判定手段は、追跡された信号灯の候補領域の位置の変化、及び色情報格納手段に格納された点灯色の色情報と追跡された信号灯の候補領域の色情報との距離に基づいて、点灯色の切り替わりを判定することができる。

本発明に係る点灯色識別装置は、変化規則判定手段によって、信号灯の候補領域の位置及び色の変化が、規則に沿った変化でないと判定された場合、規則に沿って変化したときの点灯色の色情報と、信号灯の候補領域の色情報との距離を算出し、算出された距離が、所定値以上であれば、信号灯の候補領域は、信号灯を表していないと判定する距離判定手段を更に含み、点灯色識別手段は、変化規則判定手段によって、信号灯の候補領域の位置及び色の変化が、規則に沿った変化でないと判定された場合であって、かつ、距離判定手段によって算出された距離が所定値未満である場合に、規則に沿って変化したときの点灯色を、信号灯の候補領域の点灯色として識別するようにすることができる。

本発明に係る点灯色識別手段は、判定手段によって点灯色が切り替わっていないと判定された場合、前回識別された点灯色を、信号灯の候補領域の点灯色として識別するようにすることができる。

本発明に係る候補領域抽出手段は、撮像画像から、信号灯の候補領域を抽出すると共に信号灯の候補領域の点灯色を検出し、点灯色識別手段は、変化規則判定手段によって、信号灯の候補領域の位置及び色の変化が、規則に沿った変化であると判定された場合、候補領域抽出手段において検出された点灯色を、信号灯の候補領域の点灯色として識別するようにすることができる。

以上説明したように、本発明の点灯色識別装置によれば、撮像画像から抽出された信号灯の候補領域について、点灯色が切り替わったと判定された場合に、点灯色の切り替わりによる信号灯の位置及び点灯色の変化に関する規則に従って、信号灯の点灯色を識別することにより、撮像画像が表わしている信号灯の点灯色を精度よく識別することができる、という効果が得られる。

本発明の第１の実施の形態に係る車載用信号灯識別装置の構成を示すブロック図である。 青信号、黄信号、及び赤信号におけるａ^＊値、ｂ^＊値の分布を示すグラフである。 ａ^＊値、ｂ^＊値のヒストグラムである色分布データを表わすグラフである。 （Ａ）横型の信号灯の切り替わりを示すイメージ図、及び（Ｂ）縦型の信号灯の切り替わりを示すイメージ図である。 本発明の第１の実施の形態に係る車載用信号灯識別装置における点灯色識別処理ルーチンの内容を示すフローチャートである。 本発明の第２の実施の形態に係る車載用信号灯識別装置の構成を示すブロック図である。 本発明の第２の実施の形態に係る車載用信号灯識別装置における信号情報更新処理ルーチンの内容を示すフローチャートである。

以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態では、車両に搭載され、撮像された前方画像から信号灯の点灯色を識別して表示する車載用信号灯識別装置に本発明を適用した場合を例に説明する。

図１に示すように、第１の実施の形態に係る車載用信号灯識別装置１０は、自車両の前方の画像を撮像するＣＣＤカメラ等からなる撮像装置１２と、カーナビ画面等を表示する表示装置１４と、撮像された前方画像に基づいて、前方の信号灯の点灯色を識別すると共に、表示装置１４の表示を制御するコンピュータ１８とを備えている。

撮像装置１２は、車両前方を監視し、前方画像を撮像する。信号灯の点灯色を識別するために、撮像装置１２としてカラーカメラを用いる。信号灯は自発光物体であり画像中での輝度が高い。カメラのダイナミックレンジが不足すると、画素値が飽和し正しい色情報が取得できない（色情報が損失する）ため、ダイナミックレンジの高い撮像素子を備えたカメラを用いることが好ましい。ダイナミックレンジを確保できない場合は、信号灯の撮影領域で色情報が損失しないように、レンズ絞りや露光時間を適切に調整すればよい。

表示装置１４は、ヘッドアップディスプレイやナビ画面で構成されている。

コンピュータ１８は、ＣＰＵ、後述する点灯色識別処理ルーチンのプログラムを記憶したＲＯＭ、データ等を記憶するＲＡＭ、及びこれらを接続するバスを含んで構成されている。このコンピュータ１８をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１に示すように、コンピュータ１８は、撮像装置１２から出力される前方画像を入力する画像入力部２０と、信号灯の各点灯色の色分布データを予め記憶した信号情報記憶部２２と、画像入力部２０の出力である前方画像から、信号情報記憶部２２の色分布データに基づいて、信号灯の候補領域を抽出する候補領域抽出部２４と、時系列で抽出された信号灯の候補領域を対応付けて追跡する追跡部２６と、追跡された信号灯の候補領域について、点灯色の切り替わりを判定すると共に、切り替わりによる信号灯の候補領域の変化の点灯規則と比較する切替判定部２８と、点灯規則との比較結果に基づいて、信号灯の候補領域の点灯色を識別して、識別結果を表示装置１４に表示させる点灯色識別部３０と、信号灯の候補領域の色分布データを格納するための色分布格納部３２とを備えている。なお、候補領域抽出部２４及び追跡部２６が、候補領域抽出手段の一例であり、切替判定部２８が、切替判定手段及び変化規則判定手段の一例である。

画像入力部２０は、例えば、Ａ／Ｄコンバータや１画面の画像データを記憶する画像メモリ等で構成される。

信号情報記憶部２２に記憶される信号灯の色分布データは、予め同じ撮像装置１２で撮影した画像を用いて学習したものである。例えば、赤、黄、青の信号灯が点灯したサンプル画像を複数枚ずつ用意して、各画素を適切な色空間に変換し、各信号色の色分布データを得る。色分布データは中心位置と分散で表現しても良いし、色空間の軸をいくつかのｂｉｎ（色成分）に分割して、各ｂｉｎに投票された画素数を集計したヒストグラムとして表現しても良い。

利用する色空間に限定はなく、Ｌ^＊ａ^＊ｂ^＊やＨＳＶなどを利用しても良いし、カラーカメラから得られるＲＧＢ値をそのまま使っても良い。図２に、赤信号、黄信号、及び青信号の色分布の一例を示す。これは昼間のサンプル画像から赤・黄・青の信号灯に含まれる画素を抽出し、各画素の値を、Ｌ^＊ａ^＊ｂ^＊色空間に変換して、ａ^＊−ｂ^＊の２次元平面上に投影した図である。青信号は他の２つの点灯色と明確に分離されているが、黄信号と赤信号は重複している部分があり分離が難しいことが分かる。また、このうち、赤信号の色分布をヒストグラム表現でデータ化したものを図３に示す。ａ^＊の−６０〜８０の範囲を１４ｂｉｎに分割し、ｂ^＊の−６０〜１００の範囲を１６ｂｉｎに分割し、各ｂｉｎに対応する色領域に投票された画素数を頻度として表現している。

また、輝度の分布についても信号灯を撮像したサンプル画像から予め調査しておく。ただし、色分布データの学習で用いた色空間とは異なる色空間を用いて輝度を計算しても構わない。

上記の色分布データと輝度分布データを、点灯色毎に信号情報記憶部２２に予め記憶しておく。

候補領域抽出部２４は、取得した前方画像の画素（もしくはいくつかの小領域）ごとに学習時と同様の手順で色情報と輝度情報を抽出し、各画素について、抽出された色情報と輝度情報を、信号情報記憶部２２に記憶された各点灯色の色分布データ及び輝度分布データと比較して、信号灯の候補であるかどうかを判定する。

候補領域抽出部２４は、信号灯の候補であると判定された画素が集中する領域を、信号灯候補として抽出し、抽出された信号灯候補の形状が円形であるか否かを判定する。円形度の算出は様々な方法があるが、ここでは以下の（１）式で計算し、例えばこの値が０.８〜１.２の間に入るものを円形であると判定する。

ただし、Ｓは候補領域の面積、ａは候補領域の幅、ｂは候補領域の高さを示す。

また、候補領域抽出部２４は、形状が円形であると判定された信号灯候補を、信号灯の候補領域として抽出する。また、候補領域抽出部２４は、信号灯の候補領域として抽出された領域内の各画素の色情報及び輝度情報が、どの点灯色の色分布データ及び輝度分布データに当てはまるかによって、信号灯の候補領域の点灯色を検出する。

候補領域抽出部２４は、上記の信号灯の候補領域の抽出を、連続して得られる前方画像の各々に対して繰り返し行う。

追跡部２６は、連続して抽出された信号灯の候補領域に対して、当該候補領域の色と輝度、形状に応じて対応付けを行い、信号灯の候補領域に対する追跡処理を行う。このとき、時間連続性を検証することにより、信号灯の候補領域の誤抽出を低減する。また、入力された前方画像間で信号灯の点灯色が変化しても、信号灯の候補領域の対応付けが可能なように、候補領域の大きさに基づいて、対応付けを行う照合範囲を動的に設定する。

切替判定部２８は、追跡中の候補領域の位置変化に基づいて、信号灯の候補領域について、点灯色が切り替わったか否かを判定する。例えば、追跡中の信号灯の候補領域の位置が、不連続に変化した場合に、点灯色が切り替わったと判定する。このときに、センサ等により得られる自車両の運動情報を用いて、追跡中の信号灯の候補領域の位置が、不連続に変化したか否かを判定してもよい。また、追跡中の信号灯の候補領域の色情報が変化したか否かを更に考慮して、点灯色が切り替わったか否かを判定するようにしてもよい。

また、切替判定部２８は、点灯色が切り替わったと判定した場合、信号灯の候補領域の色変化が信号灯の取り得る色変化であるか否かを判定する。すなわち、切替判定部２８は、色変化が生じた場合に、追跡中の信号灯の候補領域の色変化が、信号灯の点灯規則と矛盾するかどうかを判定する。

図４（Ａ）又は図４（Ｂ）に示すとおりであり、縦型と横型の違いはあるが、灯器の配置と点灯順は予め決まっているため、点灯する信号灯の位置の変化に関する規則（右へ変化→右へ変化→左へ変化→右へ変化、又は上へ変化→上へ変化→下へ変化→上へ変化）及び点灯色の変化に関する規則（赤→黄→青→赤・・・）が、信号灯の点灯規則として予め定められている。例えば青信号の次は黄信号の点灯に限定され、ランプ位置は右もしくは上に移動する。

ここで、候補領域抽出部２４において、黄信号と赤信号の認識を誤り、赤信号であると検出されたとする。このような場合、点灯規則に沿った変化でない（点灯規則との矛盾がある）と判定される。もし、候補領域抽出部２４での検出結果も黄信号であれば、点灯規則に沿った変化である（点灯規則との矛盾はない）と判定される。

また、点灯色識別部３０は、最終的な色の識別を行う。追跡中の信号灯の候補領域に対して色変化が生じていなければ、点灯色の切り替わりがなかったと判定し、点灯色識別部３０は、前回識別された点灯色を、現像の信号灯の点灯色の識別結果として継続して保持する。

点灯色識別部３０は、切替判定部２８によって、信号灯の候補領域の色変化が、点灯規則に沿った変化でない（点灯規則と検出結果に矛盾あり）と判定された場合には、両者の色の違いを検証するために、色空間における距離を算出する。例えば、Ｌ^＊ａ^＊ｂ^＊色空間を利用する場合には、以下の（２）式を用いて、検出された画像中の候補領域の色情報と、点灯規則から予測される色情報（学習データ）との距離を算出する。

ただし、添え字ｓは、現在の前方画像から計算される色情報であることを示し、ｒは信号情報記憶部２２に記憶されている色分布データから得られる色情報であることを示す。

算出値ｒが閾値より小さければ、２つの色が近いため、信号灯の候補領域の抽出時に誤って点灯色が検出されたと判定し、点灯規則から推測される点灯色（点灯規則に沿って変化したときの点灯色）が、現在の信号灯の候補領域の点灯色であると識別する。一方、算出値ｒが閾値より大きい場合は、信号灯として有り得ない色変化をしており、信号灯の候補領域が信号灯を表わしていないと判断し、検出・追跡を中断する。

ここで、上記の閾値は図２に示したａ^＊−ｂ^＊空間で、赤信号のデータと黄信号のデータとの間の距離を許容し、その他の色（特に青）のデータとの距離を排除できる範囲で予め設定しておく。

また、点灯色識別部３０は、前方画像からの信号灯の色の検出結果に誤りがあると判定した場合には、現在の信号灯の候補領域の色分布データを、一時的に色分布格納部３２へ格納する。格納された色分布は、候補領域抽出部２４による次回の抽出処理に利用されるとともに、切替判定部２８において、次の点灯色への切替タイミングを判定するための参照データとして用いられる。また、色分布格納部３２に格納された色分布データは、追跡中の信号灯の候補領域がフレームアウトして、前方画像から抽出されなくなるまでの間、保存され、追跡中の信号灯の候補領域がフレームアウトすると、色分布格納部３２から色分布データが消去される。

また、点灯色識別部３０は、切替判定部２８によって、信号灯の候補領域の色変化が、点灯規則に沿った変化である（点灯規則と検出結果に矛盾なし）と判定された場合には、候補領域抽出部２４で検出された点灯色を、現在の信号灯の点灯色として識別する。

また、点灯色識別部３０は、信号灯の候補領域の点灯色の識別結果を、表示装置１４に表示させる。

次に、第１の実施の形態に係る車載用信号灯識別装置１０の作用について説明する。車載用信号灯識別装置１０を搭載した自車両が道路上を走行しているときに、撮像装置１２によって、自車両の前方が撮像されると、コンピュータ１８において、図５に示す点灯色識別処理ルーチンが繰り返し実行される。

まず、ステップ１００において、撮像装置１２より撮像された前方画像を取得し、ステップ１０２において、上記ステップ１００で取得した前方画像の各画素について、画素の色情報及び輝度情報と、信号情報記憶部２２に記憶された各点灯色の色分布データ及び輝度分布データと比較することにより、信号灯の候補領域を抽出すると共に、信号灯の候補領域の点灯色を検出する。ここで、色分布格納部３２に、少なくとも１色の点灯色の色分布データが格納されている場合には、信号情報記憶部２２に記憶されている当該点灯色の色分布データに代えて、色分布格納部３２に格納されている当該点灯色の色分布データを用いて、信号灯の候補領域を抽出する。

そして、ステップ１０４で、上記ステップ１０２で抽出された信号灯の候補領域と、前回抽出された信号灯の候補領域と対応付けることにより、信号灯の候補領域を追跡する。次のステップ１０６では、前回抽出された信号灯の候補領域が、フレームアウトしたか否かを判定する。上記ステップ１０４で、前回抽出された信号灯の候補領域と対応付けられる信号灯の候補領域がなく、信号灯の候補領域を追跡できなかった場合には、フレームアウトしたと判断し、ステップ１０８で、色分布格納部３２に格納されている全ての色分布データを消去する。

そして、ステップ１１０において、前回抽出された信号灯の候補領域の位置及び色情報と、上記ステップ１０２で抽出された信号灯の候補領域の位置及び色情報とを比較して、点灯色が切り替わったか否かを判定する。点灯色が切り替わっていないと判定された場合には、ステップ１１２で、前回の処理で識別された点灯色の識別結果を維持して、現在の点灯色の識別結果とし、ステップ１２４へ移行する。

一方、上記ステップ１１０で点灯色が切り替わったと判定された場合には、ステップ１１３において、前回抽出された信号灯の候補領域と現在の信号灯の候補領域との位置及び色の変化が、点灯規則と矛盾しているか否かを判定する。信号灯の候補領域の位置及び色の変化が、点灯規則に沿った変化であり、矛盾していない場合には、ステップ１１４で、上記ステップ１０２で検出された点灯色を、現在の信号灯の点灯色として識別し、ステップ１２４へ移行する。

一方、上記ステップ１１３において、信号灯の候補領域の位置及び色の変化が、点灯規則に沿った変化ではなく、矛盾していると判定された場合には、ステップ１１６において、上記（２）式に従って、信号灯の候補領域の色分布データから得られる平均的な色情報（ａ^＊値、ｂ^＊値）と、信号情報記憶部２２に記憶された、点灯規則に沿って変化した場合の点灯色の色分布データから得られる平均的な色情報（ａ^＊値、ｂ^＊値）との、Ｌ^＊Ａ^＊Ｂ^＊色空間での距離を算出し、算出された距離が、予め定められた閾値以下であるか否かを判定する。算出された距離が、閾値より大きい場合には、信号灯として有り得ない色変化をしていると判断し、ステップ１１８で、信号灯の候補領域が、信号灯ではないと判定し、ステップ１２４へ移行する。なお、この場合には、当該信号灯の候補領域に対する追跡処理は中止される。

一方、上記ステップ１１６で、算出された距離が、閾値以下である場合には、点灯色の検出結果に誤りがあったと判断し、ステップ１２０で、信号灯の候補領域の色分布データを、色分布格納部３２に一時的に格納する。そして、ステップ１２２において、点灯規則に沿って変化した場合の点灯色を、現在の信号灯の点灯色として識別し、ステップ１２４へ移行する。

ステップ１２４では、上記ステップ１１２、１１４、又は１２２の識別結果を、表示装置１４に表示させて、点灯色識別処理ルーチンを終了する。

上記の点灯色識別処理ルーチンが繰り返し実行されることにより、前方画像に表わされた信号灯が、追跡されると共に、点灯色の識別結果が逐次表示される。

以上説明したように、第１の実施の形態に係る車載用信号灯識別装置によれば、撮像された前方画像から抽出された信号灯の候補領域について、点灯色が切り替わったと判定された場合に、点灯色の切り替わりによる信号灯の位置及び点灯色の変化に関する点灯規則に従って、信号灯の点灯色を識別することにより、前方画像が表わしている信号灯の点灯色を精度よく識別することができる。特に、赤信号と黄信号との誤認識を低減することができる。

信号灯の赤色と黄色は色空間上で近い位置に分布している。実際にカラーカメラで撮影した画像から赤信号と黄信号の色分布を調べてみると、両者の色分布が重複している。もともと近い色であることに加え、照明条件や汚れ、経年劣化の影響によりランプの輝度に個体差が生じることなどが原因と考えられる。このため、色情報に基づいて信号灯の色を識別する際に、黄色と赤色を間違えることがある。しかしながら、信号機は点灯する灯器の色の順番が決まっているので、本実施の形態では、信号灯の切り替わりを判定することによって、現在の点灯色が赤色であるのか黄色であるのかの検出結果を補正することが可能である。

また、黄色であるのに赤色と判定された場合には、その色分布を黄色として一時的に保存する。そして、色分布の時間変化が小さい間は「黄信号」として認識する。追跡の結果から信号の切り替わりがなかったと判定されたことも合わせて、点灯色が継続していることを認識することができる。このように、点灯色の識別におけるロバスト性をさらに向上することができる。

また、地図を使わず、撮像装置などの自律センサで信号灯を安定して認識することができる。

なお、上記の実施の形態において、色分布格納部３２に格納されるデータ形式に制約はないが、後述する第２の実施の形態におけるデータ統合のために、信号情報記憶部２２のデータ形式に合わせておくと良い。

また、上記（２）式は、以下の（３）式に示すように、輝度情報まで含めて距離を計算するように拡張しても構わない。

また、切替判定部２８と点灯色識別部３０とを切り分けて説明したが、処理内容が共通している部分もあるので、切替判定部２８と点灯色識別部３０とを統合して構成することも可能である。例えば、切替判定部２８において、色情報の変化を考慮する際に上記（２）式を用いるように構成してもよい。

また、点灯色が切り替わったと判定された時点で、色分布データを色分布格納部３２に格納する場合を説明したが、これに限定されるものではなく、次に点灯色が切り替わったと判定されるまでの間であっても、信号灯の候補領域の色分布データが、信号情報記憶部２２の色分布データと異なる場合に、色分布格納部３２に格納する色分布データを更新してもよい。

次に、第２の実施の形態について説明する。なお、第１の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。

第２の実施の形態では、一時的に格納した色分布データを蓄積して、信号情報記憶部に記憶された各点灯色の色分布データに反映している点が、第１の実施の形態と主に異なっている。

図６に示すように、第２の実施の形態に係る車載用信号灯識別装置２１０のコンピュータ２１８は、画像入力部２０と、信号情報記憶部２２と、候補領域抽出部２４と、追跡部２６と、切替判定部２８と、点灯色識別部３０と、色分布格納部３２と、色分布データを蓄積する色分布蓄積部２３４と、色分布格納部３２に格納された色分布データを、色分布蓄積部２３４に蓄積すると共に、蓄積された色分布データに基づいて、信号情報記憶部２２に記憶された信号灯の各点灯色の色分布データを更新する信号情報更新部２３６と、を備えている。

色分布格納部３２に色分布データが格納された後、当該色分布データを持つ信号灯が次の点灯色に切り替わった時点、もしくはフレームアウトして前方画像から抽出されなくなった時点で、当該色分布データは、色分布格納部３２から信号情報更新部２３６に出力される。

信号情報更新部２３６は、色分布格納部３２から出力された色分布データを規定の形式へと変換し、点灯色ごとに色分布蓄積部２３４へ逐次的に追加する。色分布のデータ形式は任意でよいが、ここでは、信号情報記憶部２２と同じ形式（図３に示したヒストグラム形式）に変換するものとして説明する。同じ点灯色に対する色分布データの頻度を各ｂｉｎ毎に加算し、過去に入力された同じ点灯色の色分布データと現在の入力データを統合するように、色分布蓄積部２３４に、色分布データを蓄積する。ここで、データを統合する際、全体の頻度が１になるように正規化処理を施すことが望ましい。

統合した後で、ある点灯色について、色分布データが表わすヒストグラムの少なくとも１つのｂｉｎの頻度が規定値以上であれば、当該点灯色において、そのｂｉｎに相当する信号色が高い確率で検出されると判断し、信号情報記憶部２２の当該点灯色に対する色分布データが表わすヒストグラムの、対応するｂｉｎの頻度を加算して更新する。

ここで、以下の（４）式に従って、加算率ｗを決定して、加算率ｗに応じて、頻度を加算する。

ただし、ｎは、加算対象のｂｉｎに蓄積されたデータの回数であり、ｆは、加算対象のｂｉｎに蓄積されたデータが表わす頻度の合計値であり、ｒは、信号情報記憶部２２に記憶された当該点灯色の色分布データと加算対象のｂｉｎとの距離（色分布データにおいて頻度を有するｂｉｎのうち一番近いｂｉｎとの距離）である。また、上記の（４）式では、データの回数ｎが大きいほど、ｗの値が大きくなり、頻度の合計値ｆが大きいほど、ｗの値が大きくなり、色分布データとの距離ｒが大きくなるほど、ｗの値が小さくなるように、加算率ｗが決定される。

次に、第２の実施の形態に係る車載用信号灯識別装置２１０の作用について説明する。車載用信号灯識別装置２１０を搭載した自車両が道路上を走行しているときに、撮像装置１２によって、自車両の前方が撮像されると、コンピュータ２１８において、第１の実施の形態と同様に点灯色識別処理ルーチンが繰り返し実行される。なお、上記ステップ１０８では、色分布格納部３２に格納されている色分布データが全て消去されると共に、消去される全ての色分布データが色分布格納部３２から出力される。

また、コンピュータ２１８において、図７に示す信号情報更新処理ルーチンが実行される。

まず、ステップ２５０において、一時的に格納されていた色分布データが色分布格納部３２から出力されたか否かを判定する。色分布データが色分布格納部３２から出力されていない場合には、上記ステップ２５０へ戻るが、上記ステップ１０８で、色分布格納部３２に格納されている色分布データが消去されると共に、当該色分布データが色分布格納部３２から出力されると、当該色分布データを取得して、ステップ２５２へ進む。

ステップ２５２では、上記ステップ２５０で、色分布格納部３２から出力された色分布データに対して、信号情報記憶部２２の色分布データのデータ形式となるように、データ形式変換を行う。そして、ステップ２５４で、色分布蓄積部２３４に蓄積された、当該色分布データにおいて識別された点灯色に対応する色分布データに、上記ステップ２５２でデータ形式が変換された色分布データを統合する。すなわち、色分布蓄積部２３４に蓄積された、当該色分布データにおいて識別された点灯色に対応する色分布データに、上記ステップ２５２でデータ形式が変換された色分布データの各ｂｉｎの頻度を、ｂｉｎ毎に加算すると共に、正規化処理を行う。

そして、ステップ２５６において、上記ステップ２５６で蓄積された、当該点灯色に対応する色分布データのうち、頻度が所定値以上となるｂｉｎがあるか否かを判定する。どのｂｉｎも、頻度が所定値未満である場合には、上記ステップ２５０へ戻る。一方、上記ステップ２５６で、少なくとも１つのｂｉｎの頻度が所定値以上となった場合には、ステップ２５８で、上記（４）式に従って、頻度が所定値以上となったｂｉｎについて、加算率ｗを算出する。

そして、ステップ２６０において、上記ステップ２５８で算出された加算率ｗを用いて、蓄積された色分布データのうちの当該ｂｉｎにおける頻度の合計値を、信号情報記憶部２２に記憶された当該点灯色の色分布データの当該ｂｉｎに加算して、信号情報記憶部２２に記憶された当該点灯色の色分布データを更新する。

次のステップ２６２では、色分布蓄積部２３４に蓄積された当該点灯色の色分布データにおいて、色分布データが更新されたｂｉｎの頻度を、リセットして、上記ステップ２５０へ戻る。

以上説明したように、第２の実施の形態に係る車載用信号灯識別装置によれば、前方画像から得られる実際の信号灯の色分布に応じて、信号情報記憶部２２の色分布データを更新することができるため、信号灯の抽出処理におけるロバスト性を向上させることができる。

なお、上記の実施の形態では、色分布格納部３２から信号情報更新部２３６へ色分布データを出力するタイミングを、対象の色分布を持つ信号灯が次の点灯色に切り替わるか、フレームアウトした時点としたが、これに限定されるものではなく、フレーム毎に色分布格納部３２から信号情報更新部２３６へ色分布データを出力するようにしてもよい。また、色分布蓄積部２３４に蓄積するデータの個数（観測回数）を限定してもよいし、制限なく随時蓄積するようにしても良い。

また、所定回数データを蓄積するごとに、色分布蓄積部２３４において、頻度の合計値が所定値より低いｂｉｎについては、リセットするようにしてもよい。

また、上記の第１の実施の形態及び第２の実施の形態では、信号灯の点灯色の識別結果を表示装置に表示させる場合を例に説明したが、これに限定されるものではなく、信号灯の点灯色の識別結果を、運転介入制御などを行う運転支援システムに出力するようにしてもよい。

また、候補領域抽出部２４において、候補領域の高さなどの３次元位置を更に考慮して、信号灯の候補領域を抽出するようにしてもよい。

また、候補領域抽出部２４において、形状（パターン）に基づいて信号機全体の領域も抽出し、切替判定部２８において、信号機全体の領域と点灯中のランプ（高輝度領域）との相対位置の変化から点灯色の切り替わりを判定してもよい。また、信号機全体の領域に対する点灯ランプの相対位置も考慮することで、認識した点灯色の誤りを判定するようにしてもよい。

本発明のプログラムを、記憶媒体に格納して提供することも可能である。

１０、２１０ 車載用信号灯識別装置
１２ 撮像装置
１８、２１８ コンピュータ
２２ 信号情報記憶部
２４ 候補領域抽出部
２６ 追跡部
２８ 切替判定部
３０ 点灯色識別部
３２ 色分布格納部
２３４ 色分布蓄積部
２３６ 信号情報更新部

Claims (9)

1. 自車両の周辺を撮像する撮像装置によって撮像された撮像画像から、予め定められた信号灯の各点灯色の色情報に基づいて、前記信号灯の候補領域を繰り返し抽出すると共に、対応する前記信号灯の候補領域を追跡する候補領域抽出手段と、
   前記追跡された前記信号灯の候補領域の位置の変化から、点灯色の切り替わりを判定する切替判定手段と、
   前記判定手段によって点灯色が切り替わったと判定された場合、点灯色が切り替わったときの前記信号灯の候補領域の位置及び色の変化が、予め定められた点灯色の切り替わりによる信号灯の位置及び点灯色の変化に関する規則に沿った変化であるか否かを判定する変化規則判定手段と、
   前記変化規則判定手段によって、前記信号灯の候補領域の位置及び色の変化が、前記規則に沿った変化でないと判定された場合、前記規則に沿って変化したときの点灯色を、前記信号灯の候補領域の点灯色として識別する点灯色識別手段と、
   を含む点灯色識別装置。
2. 前記変化規則判定手段によって、前記信号灯の候補領域の位置及び色の変化が、前記規則に沿った変化でないと判定された場合、前記信号灯の候補領域の色情報を、前記規則に沿って変化したときの点灯色の色情報として色情報格納手段に格納する格納制御手段を更に含み、
   前記候補領域抽出手段は、前記撮像画像から、前記色情報格納手段に格納された前記点灯色の色情報を用いて、前記信号灯の候補領域を繰り返し抽出すると共に、対応する信号灯の候補領域を追跡する請求項１記載の点灯色識別装置。
3. 前記色情報格納手段に格納された前記信号灯の候補領域の色情報は、該信号灯の候補領域に対応する信号灯の候補領域が、前記撮像画像から抽出されなくなった場合に前記色情報格納手段から消去される請求項２記載の点灯色識別装置。
4. 各色成分の頻度を示すヒストグラムを表わす前記色情報を点灯色毎に記憶した色情報記憶手段と、
   前記色情報格納手段に格納した前記点灯色のヒストグラムが示す各色成分の頻度を、各点灯色について合計し、何れかの点灯色のヒストグラムについて、何れかの前記色成分の前記頻度の合計値が所定値以上となった場合、該点灯色のヒストグラムの該色成分の前記頻度の合計値に基づいて、前記色情報記憶手段に記憶された該点灯色のヒストグラムが示す該色成分の頻度を更新する色情報更新手段とを更に含み、
   前記候補領域抽出手段は、前記撮像画像から、前記色情報記憶手段に記憶された各点灯色の前記色情報に基づいて、信号灯の候補領域を繰り返し抽出すると共に、対応する信号灯の候補領域を追跡する請求項２又は３記載の点灯色識別装置。
5. 前記切替判定手段は、前記追跡された前記信号灯の候補領域の位置の変化、及び前記色情報格納手段に格納された前記点灯色の色情報と前記追跡された信号灯の候補領域の色情報との距離に基づいて、点灯色の切り替わりを判定する請求項２〜請求項４の何れか１項記載の点灯色識別装置。
6. 前記変化規則判定手段によって、前記信号灯の候補領域の位置及び色の変化が、前記規則に沿った変化でないと判定された場合、前記規則に沿って変化したときの点灯色の色情報と、前記信号灯の候補領域の色情報との距離を算出し、前記算出された距離が、所定値以上であれば、前記信号灯の候補領域は、信号灯を表していないと判定する距離判定手段を更に含み、
   前記点灯色識別手段は、前記変化規則判定手段によって、前記信号灯の候補領域の位置及び色の変化が、前記規則に沿った変化でないと判定された場合であって、かつ、前記距離判定手段によって算出された前記距離が前記所定値未満である場合に、前記規則に沿って変化したときの点灯色を、前記信号灯の候補領域の点灯色として識別する請求項１〜請求項５の何れか１項記載の点灯色識別装置。
7. 前記点灯色識別手段は、前記判定手段によって点灯色が切り替わっていないと判定された場合、前回識別された点灯色を、前記信号灯の候補領域の点灯色として識別する請求項１〜請求項６の何れか１項記載の点灯色識別装置。
8. 前記候補領域抽出手段は、前記撮像画像から、前記信号灯の候補領域を抽出すると共に前記信号灯の候補領域の点灯色を検出し、
   前記点灯色識別手段は、前記変化規則判定手段によって、前記信号灯の候補領域の位置及び色の変化が、前記規則に沿った変化であると判定された場合、前記候補領域抽出手段において検出された点灯色を、前記信号灯の候補領域の点灯色として識別する請求項１〜請求項７の何れか１項記載の点灯色識別装置。
9. コンピュータを、
   自車両の周辺を撮像する撮像装置によって撮像された撮像画像から、予め定められた信号灯の各点灯色の色情報に基づいて、前記信号灯の候補領域を繰り返し抽出すると共に、対応する前記信号灯の候補領域を追跡する候補領域抽出手段、
   前記追跡された前記信号灯の候補領域の位置の変化から、点灯色の切り替わりを判定する切替判定手段、
   前記判定手段によって点灯色が切り替わったと判定された場合、点灯色が切り替わったときの前記信号灯の候補領域の位置及び色の変化が、予め定められた点灯色の切り替わりによる信号灯の位置及び点灯色の変化に関する規則に沿った変化であるか否かを判定する変化規則判定手段、及び
   前記変化規則判定手段によって、前記信号灯の候補領域の位置及び色の変化が、前記規則に沿った変化でないと判定された場合、前記規則に沿って変化したときの点灯色を、前記信号灯の候補領域の点灯色として識別する点灯色識別手段
   として機能させるためのプログラム。

Images