JP2015125709A - 矢印信号認識装置 - Google Patents

Abstract

【課題】車載カメラで撮影した画像に基づき比較的遠方からでも矢印信号灯を精度良く検出することができるようにする。【解決手段】矢印信号認識部１４は、車載カメラ２で撮影した画像に基づき、信号機２１の点灯している赤色信号灯２１ｒと自車両１との間の信号灯間距離Ｌｓに基づき、矢印信号エリアＮ１〜Ｎ６を設定し、各エリアＮ１〜Ｎ６内において点灯していると看做される色味有効画素数ＩOKをカウントし、更に色味有効画素の中から、各色味有効画素の周辺の画素情報に基づき色味無効画素を探索してカウントし、色味有効画素数ＩOKと色味無効画素数ＩNGとの差から矢印有効画素数ＹOKを算出する。【選択図】図１

Description

本発明は、車載カメラで撮影した画像に基づき信号機に付設されている矢印信号灯を認識する矢印信号認識装置に関する。

従来、車両に搭載されているカメラ（以下、「車載カメラ」と称する）で撮影した自車両前方の走行環境に基づき信号機、及びこの信号機に付設されている矢印信号灯を認識する技術が知られている。

例えば特許文献１（特開２０１２−１６８５９２号公報）には、車載カメラが撮影した画像に基づいて信号機の赤信号を検出すると共に、この赤信号の画像中の位置に基づいて矢印信号灯の探索領域を設定し、設定した探索領域内において、ＲＧＢの所定比率からなるカラー特徴量を有する画素を検出することで、矢印信号灯を抽出する技術が開示されている。

特開２０１２−１６８５９２号公報

ところで、信号機には電球式信号機とＬＥＤ式信号気とがあり、当然、矢印信号灯にも電球式とＬＥＤ式とがある。ＬＥＤ式矢印信号灯はＬＥＤを所定間隔で配設することで矢印を形成しているため、輝度は全体的にほぼ一定している。しかし、電球式矢印信号灯はカバーレンズに青色フィルタ等の灯色が着色されているため電球から離れるに従い輝度が次第に低下する。更に、電球自体の明るさも一定ではない。

その結果、上述した文献に開示されているように、ＲＧＢの所定比率からなるカラー特徴量をしきい値として矢印信号灯の抽出を行った場合、例えば、自車両が信号機から比較的離れている遠方からは矢印信号灯を認識すること自体が困難となる場合がある。これに対処するに、カラー特徴量を低く設定することも考えられるが、矢印信号灯の認識精度が低下してしまう問題がある。

本発明は、上記事情に鑑み、比較的遠方からでも矢印信号灯を精度良く検出することのできる矢印信号認識装置を提供することを目的とする。

本発明は、自車両前方の走行環境を撮影する車載カメラと、前記車載カメラで撮影した１フレームの画像に基づき信号機に設けられている点灯信号灯を認識すると共に該点灯信号灯と前記自車両との間の信号灯間距離を算出する画像認識処理手段と、前記信号機に付設されている矢印信号灯を検出する矢印信号検出手段とを備える矢印信号認識装置において、前記矢印信号検出手段は、前記信号灯間距離に基づき前記点灯信号灯を基準として矢印信号エリアを設定する矢印信号エリア設定手段と、前記矢印信号エリア設定手段で設定した矢印信号エリア内の色味から点灯していると看做される色味有効画素を探索すると共に該色味有効画素の画素数をカウントする色味有効画素探索手段と、前記色味有効画素探索手段で探索した前記各色味有効画素と該各色味有効画素の周辺画素とを比較して該色味有効画素の中から色味無効画素を探索すると共に該色味無効画素の画素数をカウントする色味無効画素探索手段と、前記色味有効画素探索手段で探索した前記色味有効画素の画素数から前記味無効画素探索手段で探索した前記色味無効画素の画素数を減算して矢印有効画素数を算出する矢印有効画素数算出手段と、前記矢印有効画素数算出手段で算出した前記矢印有効画素数が前記信号灯間距離に基づいて設定した矢印有効画素しきい値を越えている場合は矢印画素有りと判定する矢印画素判定手段とを備える。

本発明によれば、信号灯間距離に基づき点灯信号灯を基準として矢印信号エリアを設定し、この矢印信号エリア内の色味から点灯していると看做される色味有効画素を探索すると共に色味有効画素の画素数をカウントし、又各色味有効画素と各色味有効画素の周辺画素とを比較して色味有効画素の中から色味無効画素を探索すると共に色味無効画素の画素数をカウントし、そして、色味有効画素の画素数から色味無効画素の画素数を減算して算出した矢印有効画素数が信号灯間距離に基づいて設定した矢印有効画素しきい値を越えている場合は矢印画素有りと判定するようにしたので、比較的遠方からでも矢印信号灯を精度良く検出することができる。

矢印信号認識装置の概略構成図 矢印信号認識処理ルーチンを示すフローチャート（その１） 矢印信号認識処理ルーチンを示すフローチャート（その２） 車載カメラで撮影した自車両前方の画像を示す説明図 信号機と自車両との位置関係を示す説明図 赤色信号灯を基準として設定する矢印信号灯の探索領域を示す説明図 （ａ）は横型信号機に矢印信号灯が付設されている状態の説明図、（ｂ）は縦型信号機に矢印信号灯が付設されている状態の説明図 （ａ）は矢印信号探索領域から色味有効画素を抽出する説明図、（ｂ）は色味有効画素から矢印有効画素を抽出する説明図 （ａ）は抽出した矢印有効画素中からその周辺の画素とのＧエッジ差に基づき無効画素を抽出する説明図、（ｂ）は抽出した矢印有効画素中からその周辺の画素に基づき無効画素を抽出する説明図

以下、図面に基づいて本発明の一実施形態を説明する。図１の符号１は自動車等の車両（自車両）であり、この車両の車室内の前部であってフロントガラスの上部に車載カメラ２が臨まされている。この車載カメラ２は、メインカメラ２ａとサブカメラ２ｂとからなるステレオカメラである。この各カメラ２ａ，２ｂには、ＣＣＤ，ＣＭＯＳ等の撮像素子（イメージセンサ）が内蔵されており、例えば、車幅方向中央に配設されているルームミラを挟んで左右の対称な位置に配設されている。尚、以下においては、特に断りのない限り、車載カメラ２と記載した場合は、便宜的にメインカメラ２ａとサブカメラ２ｂとの双方を示すものとする。

又、この車載カメラ２は自車進行路の走行環境をカラー画像で撮影するカラーカメラであり、各撮像素子の画素データは、Ｒ，Ｇ，Ｂ毎に８ビット（０〜２５５階調）の輝度値（画素値）に設定されている。尚、輝度値は８ビットに限定されるものではない。

メインカメラ２ａは、ステレオ処理を行う際に必要な基準画像（右画像）を撮影し、サブカメラ２ｂは、この処理における比較画像（左画像）を撮影する。互いに同期している状態において、両カメラ２ａ，２ｂから出力される、Ｒ，Ｇ，Ｂの各アナログ画像が、Ａ／Ｄコンバータ３により所定階調のデジタル画像に変換される。そして、デジタル変換された画像は、画像認識ユニット１１に出力される。

画像認識ユニット１１は、マイクロコンピュータを主体に構成され、周知のＣＰＵ、ＲＯＭ、ＲＡＭ等を有しており、ＣＰＵで処理される矢印信号認識機能として、画像認識処理手段としての画像認識処理部１２、カメラ制御部１３、矢印信号認識手段としての矢印信号認識部１４を有し、更に、この画像認識ユニット１１は記憶手段としての記憶部１５を備えている。この記憶部１５には、後述する矢印信号エリア毎に検出する矢印有効画素数ＹOK、フレーム毎に何れかが更新される矢印有効ポイントＰＮｉOKと矢印無効ポイントＰＮｉNG、及び矢印信号エリア毎に設定される矢印信号灯別判定フラグＦＮｉの値等の各データが格納される。

画像認識処理部１２は、車載カメラ２で撮影した画像データに基づき、自車両前方の立体物を認識すると共に平均輝度値を算出する。すなわち、例えば、図４に示すように、車載カメラ２で撮影した画像データには、立体物として、信号機２１以外に、先行車２２、道路標識２３、白線２４、縁石２５、及び、図示しないが対向車、歩行者等があり、これら各立体物を認識すると共に、これらと自車両１との距離を、メインカメラ２ａとサブカメラ２ｂとの視差から求める。尚、各立体物の識別は、周知のパターンマッチング法等を用いて行われる。更に、立体物と自車両１との距離の求め方については周知であるため説明を省略する。

又、図４に示す画像において、信号機２１は、赤色信号灯２１ｒ、黄色信号灯２１ｙ、青色信号灯２１ｂを有し、更に、各信号灯の下方に、右折、直進、左折の各矢印信号灯２２ｒ，２２ｆ，２２ｌが付設されている。尚、この各矢印信号灯２２ｒ，２２ｆ，２２ｌは道路事情に応じて設置されるため、この中の１つ、或いは２つのみが付設されている場合もある。
カメラ制御部１３は、画像認識処理部１２で処理した画像データの平均輝度値を読込み、次フレームの撮影において最適な明るさとなる露光時間（シャッタスピード）を設定し、この露光時間に基づき各カメラ２ａ，２ｂの露出制御を行う。尚、この露光時間は矢印信号認識部１４でも読込まれる。

矢印信号認識部１４は、画像認識処理部１２で処理した画像データに基づき信号機２１の赤色信号灯２１ｒの点灯が検出されたか否かを調べ、点灯が検出された場合、当該信号機に矢印信号が付設されているか否かを調べる。

矢印信号認識部１４で実行される矢印信号認識処理は、具体的には、図２〜図３に示す矢印信号認識処理ルーチンに従って処理される。

このルーチンは、画像認識処理部１２から送信される１フレーム毎の画像情報に同期して起動され、先ず、ステップＳ１で、信号機２１の赤色信号灯２１ｒの点灯が検出されたか否かを調べる。そして、点灯が検出された場合はステップＳ２へ進み、検出されていない場合は、そのままルーチンを抜け、次フレームでの赤色信号灯２１ｒの点灯の検出に備える。

各信号灯２１ｒ、２１ｙ，２１ｂの大きさ（直径）は予め決められており、従って、図５に示すように、自車両１と赤色信号灯２１ｒまでの距離（信号灯間距離）Ｌｓと赤色信号灯２１ｒの実際の直径とが解れば、メインカメラ２ａに結像した画像と、予め設定されている信号灯のテンプレートとのパターンマッチングにより信号灯を認識することができ、更に、赤色信号灯２１ｒのカラー特徴量（ＲＧＢの所定比率）或いは輝度に基づき、点灯している信号灯、すなわち、点灯信号灯である赤色信号灯２１ｒを識別することができる。

そして、点灯している赤色信号灯２１ｒが検出されたと判定されてステップＳ２へ進むと、信号灯間距離Ｌｓに基づき矢印信号エリアＮ１〜Ｎ６を設定し、ステップＳ３へ進む。尚、このステップＳ２での処理が、本発明の矢印信号エリア設定手段に対応している。

信号機２１は、図７（ａ）に示すような横型以外に、同図（ｂ）に示すような縦型がある。横型信号機２１では、矢印信号灯２２ｒ，２２ｆ，２２ｌが赤色信号灯２１ｒの下方に付設され、一方、横型信号機２１では、矢印信号灯２２ｒ，２２ｆ，２２ｌが赤色信号灯２１ｒの、向かって右側に付設される。従って、これら矢印信号灯２２ｒ，２２ｆ，２２ｌの配列に対応すべく、赤色信号灯２１ｒの下、及び向かって右側に矢印信号エリアＮ１〜Ｎ６を設定する。この場合、矢印信号灯の大きさ（直径）は、赤色信号灯２１ｒとほぼ同一であり、又、各矢印信号灯２２ｒ，２２ｆ，２２ｌの間隔もほぼ決められており、更に、各矢印信号灯２２ｒ，２２ｆ，２２ｌは、対応する信号灯２１ｒ，２１ｙ，２１ｂから予め決められ距離だけ離間した位置に付設されている。

従って、自車両１から赤色信号灯２１ｒまでの距離と、この赤色信号灯２１ｒの実際の直径、及び各矢印信号灯２２ｒ，２２ｆ，２２ｌの間隔、更には、各信号灯２１ｒ，２１ｙ，２１ｂを基準とする矢印信号灯２２ｒ，２２ｆ，２２ｌの付設位置に基づき、メインカメラ２ａの撮像面の１画素ピッチ当たりの実距離を換算し、赤色信号灯２１ｒを基準として、各矢印信号エリアＮ１〜Ｎ６を設定する（図６参照）。

その後、ステップＳ３へ進むと、このステップＳ３〜Ｓ１７を繰り返すことで、各矢印信号エリアＮ１〜Ｎ６の何れかに矢印信号灯があるか否かを調べる。先ず、ステップＳ３では矢印信号エリアＮｉを設定する。この矢印信号エリアＮｉの初期値は０であり、ルーチンを繰り返す毎にインクリメントされ（Ｎｉ←Ｎ(ｉ＋１)，ｉ＝１〜６）。従って、本実施形態では、図６に示すように、最初に左側端の矢印信号エリアＮ１から探索を開始し、隣の矢印信号エリアＮ２、矢印信号エリアＮ３と順に探索を行う。尚、この矢印信号エリアＮ１〜Ｎ３は、図７（ａ）に示す横型信号機２１に配設されている各矢印信号灯２２ｌ，２２ｆ，２２ｒに対応している。

次いで、検出した赤色信号灯２１ｒの、向かって右隣の矢印信号エリアＮ４を探索し、その下の矢印信号エリアＮ５、矢印信号エリアＮ６と順に探索する。尚、この矢印信号エリアＮ４〜Ｎ６は、図７（ｂ）に示す縦型信号機２１に配設されている各矢印信号灯２２ｒ，２２ｆ，２２ｌに対応している。

その後、ステップＳ４へ進むと、設定した矢印信号エリアＮｉ（例えばエリアＮ１）の画素を探索し色味有効画素を抽出する。すなわち、矢印信号灯がＬＥＤの場合、点灯している状態では輝度がほぼ一定で、しかもエッジが明確に検出されるため、矢印信号のカラー特徴量は大きく、従って、殆どの色味有効画素はそのまま矢印有効画素として設定することができる。ここで、カラー特徴量とはカラー情報に関する画像特徴量であり、対象となるとなる画素のＲ，Ｇ，Ｂの各成分の画素値で表される。

因みに、本実施形態では、カラー特徴量の大小を判定する基準を、以下のように設定しており、
Ｇ＞１５０
Ｂ＞０．６Ｇ
Ｒ＜０．５Ｇ
この画素値を越えている画素はカラー特徴量が大きいと判定する。

又、色味有効画素とは、上述したカラー特徴量よりも画素値は小さいが、色味（色合いや濃淡）から点灯していると看做される画素をいい、本実施形態では、以下に示す２つの条件を満足しているものを色味有効画素として抽出する。尚、後述する矢印有効画素数とは、色味有効画素数から、一旦色味有効画素と看做されたが周囲の輝度情報等の関係において無効となった画素（色味無効画素）数を引いた残りの画素数をいう。従って、ＬＥＤ式矢印信号灯の場合、色味無効画素が殆ど無いため、色味有効画素数≒矢印有効画素数となる。

色味有効画素と看做す判定条件は、
（１）自車両１から矢印信号灯までの距離が、信号灯間距離Ｌｓと同じであること
（２）周辺の輝度情報を基準としてＲＧＢの比率が所定の条件を満たしていること
である。

この（１）の条件は同一の信号機２１に付設されていることを確認するための条件である。又、（２）の条件は、例えば、電球式矢印信号灯は、輝度が暗く、しかも輪郭がぼやけているものがあり、このような矢印信号灯が点灯しているか否かを判定するための条件である。具体的には、赤色信号灯２１ｒが点灯しているときに同一信号機２１において消灯している信号灯（例えば黄色信号灯２１ｙ）の輝度情報（ＲＧＢ比率）を比較基準として各矢印信号エリアＮｉ内を画素毎に探索する。すなわち、点灯している矢印信号灯は、少なくとも消灯している信号灯（例えば黄色信号灯２１ｙ）よりも明るいと考えられるため、消灯している信号灯の輝度情報より明るい輝度が検出された画素を、色味有効画素として抽出する。

そして、上述した（１），（２）の条件が満足された画素を色味有効画素として抽出する。例えば、図８（ａ）に示すように、撮像面に設定された矢印信号エリアＮｉ各画素の輝度情報（ＲＧＢ比率）と予め設定したしきい値とを比較して、色味有効画素（ＯＫ）と無効画素（ＮＧ）とに二値化すると、同図（ｂ）に示すような色味有効画素が抽出される。

その後、ステップＳ５へ進み、矢印信号エリアＮｉ内で抽出した色味有効画素の数（色味有効画素数）ＩOKをカウントし、ステップＳ６へ進む。尚、このステップＳ４，Ｓ５での処理が、本発明の色味有効画素探索手段に対応している。

ステップＳ６へ進むと、矢印信号エリアＮｉで画素毎に抽出した各色味有効画素の中から、その周辺の画素情報に基づき色味無効画素を探索する。すなわち、上述したように、色味有効画素と看做された画素は、輝度が暗かったり、輪郭がぼやけていたりしているため、実際には消灯しているにも拘わらず、間違って抽出された画素もあると考えられる。

色味無効画素が、以下に示す（１），（２）の条件の何れか、或いは双方に該当する場合、色味無効画素として設定される。

（１）色味有効画素として抽出した画素と周辺の色味有効画素として抽出した画素とのＧ値の差ΔＧが予め設定した範囲内、すなわち、Ｇ値に大きな差が無い場合、周辺の画素を色味無効画素として設定する
（２）色味有効画素として抽出した画素の周辺が無効画素（ＮＧ）の場合、その色味有効画素を色味無効画素として設定する
この（１）に示す条件は、具体的には、矢印信号灯の灯色は緑色であり、Ｇ値に一番特徴があるため、色味有効画素のＧ値と、周辺の色味有効画素のＧ値とを比較し、Ｇ値に大きな差が無い場合、全体に均一輝度であり、間違って矢印信号と判定される可能性がある。そのため、このような周辺の画素は色味無効画素として設定する。例えば、図９（ａ）に示すように、中央の画素に注目した場合、この画素のＧ値と右隣、及び下の画素のＧ値に殆ど差（エッジ差）が無く、中央の色味有効画素の輝度の影響を受けて滲んでいるだけと考えられるため、この右隣、及び下の画素は色味無効画素に設定する。一方、左隣と上の画素のＧ値は、中央の画素のＧ値に対して差があり、滲みの影響は受けていないと考えられるため、色味有効画素のままとする。従って、図９（ａ）では、右隣と下の画素が色味無効画素となり、左隣と上の画素が色味有効画素のままとなる。

又、（２）の条件は、色味有効画素はある程度連続して検出されるものであり、その周囲が無効画画素（ＮＧ）で囲まれている場合、連続性がなく、誤って色味有効画素として抽出された可能性が高いため、このような画素は色味無効画素として設定する。

その後、ステップＳ７へ進むと、上述したステップＳ６で設定した色味無効画素の数（色味無効画素数）ＩNGをカウントして、ステップＳ８へ進む。尚、このステップＳ７での処理が、本発明の色味無効画素探索手段に対応している。

そして、ステップＳ８へ進むと、色味有効画素数ＩOKと色味無効画素数ＩNGとの差から矢印有効画素数ＹOKを算出し（ＹOK←ＩOK−ＩNG）、ステップＳ９へ進む。尚、このステップＳ８での処理が、本発明の矢印有効画素数算出手段に対応している。

ステップＳ９では、信号灯間距離Ｌｓに基づき、矢印有効画素しきい値ＳＬYを求める。すなわち、信号灯間距離Ｌｓが離れている場合、撮像面に結像される矢印信号灯の画素数は少なく、自車両１が赤色信号灯２１ｒに近接して信号灯間距離Ｌｓが短くなり、それに応じて矢印信号エリアＮｉ（ｉ＝１〜６）が設定されているため、矢印信号が点灯しているか否かを判定する矢印有効画素しきい値ＳＬYは信号灯間距離Ｌｓが短くなるに従い大きな値に設定されている。

そして、ステップＳ１０で、矢印有効画素数ＹOKと矢印有効画素しきい値ＳＬYとを比較し、ＹOK＞ＳＬYと判定された場合、当該矢印信号エリアＮｉに矢印画素有りと判定し、ステップＳ１１へ進む。又、ＹOK≦ＳＬYの場合、矢印画素無しと判定して、ステップＳ１２へ分岐する。尚、このステップＳ１０での処理が本発明の矢印画素判定手段に対応している。

ステップＳ１１へ進むと、当該矢印信号エリアＮｉに関する矢印有効ポイントＰＮｉOKを、現在保持されている矢印有効ポイントＰＮｉOK(n-1)をインクリメントすることで更新し（ＰＮｉOK←ＰＮｉOK(n-1)＋１）、ステップＳ１３へ進む。又、ステップＳ１０からステップＳ１２へ進むと、当該矢印信号エリアＮｉに関する矢印無効ポイントＰＮｉNGを、現在保持されている矢印有効ポイントＰＮｉOK(n-1)をインクリメントすることで更新し（ＰＮｉNG←ＰＮｉNG(n-1)＋１）、ステップＳ１５へ進む。従って、上述した各ポイントＰＮｉOK，ＰＮｉNGは、フローチャート実行毎、すなわち、何れか一方が１フレーム毎に加算される。尚、(n-1)は更新前の値を示す符号である。又、このステップＳ１１、及び後述するステップＳ１２での処理が本発明の矢印ポイント換算手段に対応している。

そして、ステップＳ１１からステップＳ１３へ進むと、矢印有効ポイントＰＮｉOKと予め設定した矢印有効しきい値ＳＬOKとを比較する。一方、ステップＳ１２からステップＳ１５へ進むと、矢印無効ポイントＰＮｉNGと予め設定した矢印無効しきい値ＳＬNGとを比較する。上述したように、各ポイントＰＮｉOK，ＰＮｉNGは、自車両１に搭載されている車載カメラ２が前方の信号機２１を認識して、矢印信号処理ルーチンが開始されたときから、１フレーム毎に何れかが加算される値である。

従って、自車両１が信号機２１に近づくに従い、矢印信号灯の点灯を認識する精度は高くなるので、この各しきい値ＳＬOK，ＳＬNGの値を大きく設定すれば、矢印信号灯の検出精度は高くなるが、検出に要する時間が長くなる。一方、しきい値ＳＬOK，ＳＬNGの値を小さく設定すれば、検出に要する時間は短くなるが、検出精度は低くなる。そのため、本実施形態では、このしきい値ＳＬOK，ＳＬNGを、予め実験などから、ある程度の検出精度が得られ、しかも、検出に要する時間が長時間化しない値を求めて設定している。因みに、本実施形態では、フレームレートが３０[fps]の場合、ＳＬOK，ＳＬNG＝１５〜２０程度に設定されている。

そして、ステップＳ１３で、ＰＮｉOK＞ＳＬOK、すなわち、当該矢印信号エリアＮｉに点灯している矢印信号灯が有ると判定した場合、ステップＳ１４へ進み、矢印信号灯別判定フラグＦＮｉ（ｉ＝１〜６）をセットして、ステップＳ１７へ進む。又、ＰＮｉOK≦ＳＬOKの場合は、しきい値ＳＬOKに達していないため、ステップＳ１７へジャンプする。

一方、ステップＳ１５で、ＰＮｉNG＞ＳＬNG、すなわち、当該矢印信号エリアＮｉに点灯している矢印信号灯が無い、或いは矢印信号灯自体が無いと判定した場合、ステップＳ１６へ進み、両ポイントＰＮｉOK，ＰＮｉNGを共にクリアし（ＰＮｉOK←０，ＰＮｉNG←０）、ステップＳ１７へ進む。従って、次回のルーチン実行時に、同一の信号機２１が認識された場合、当該信号機２１に対しては矢印信号灯の検出をやり直すことになる。尚、このステップＳ１３，Ｓ１４，Ｓ１５，Ｓ１６の処理が本発明の矢印信号判定手段に対応している。

そして、ステップＳ１３〜Ｓ１６の何れかからステップＳ１７へ進むと、矢印信号エリアＮｉの値が、Ｎｉ＝Ｎ６に達したか否か、すなわち、全ての矢印信号エリアＮ１〜Ｎ６（図６参照）の探索が終了したか否かを調べ、未だ、終了していない場合（Ｎｉ≠Ｎ６）、ステップＳ３へ戻り、次の矢印信号エリアＮ（ｉ＋１)の探索を行う。又、全ての矢印信号エリアＮｉの探索が終了した場合（Ｎｉ＝Ｎ６）、ステップＳ１８で矢印信号エリアＮｉの値をクリアし（Ｎｉ←Ｎ０）、ステップＳ１９へ進む。

ステップＳ１９へ進むと、全ての矢印信号エリアＮｉ（ｉ＝１〜６）の矢印信号灯別判定フラグＦＮｉの値を調べ、少なくとも１つの矢印信号灯別判定フラグＦＮｉがセットされている場合、ステップＳ２０をへ進み、矢印認識フラグＦYをセットして（ＦY←１）、ルーチンを抜ける。又、何れの矢印信号灯別判定フラグＦＮｉもセットされていない場合、ステップＳ２１へ分岐し、矢印認識フラグＦYをクリアして（ＦY←０）、ルーチンを抜ける。

この矢印認識フラグＦYの値は、例えば信号機の点灯色（赤色、黄色、青色）を認識する信号機認識装置において読込むことで、認識した信号機に矢印信号灯が付設されているか否かの情報を得ることができる。

このように、本実施形態によれば、車載カメラ２の撮像素子に設けられている撮像面に結像される信号機２１の赤色信号灯２１ｒを基準として、その周囲に矢印信号エリアＮ１〜Ｎ６を設定し、この各矢印信号エリアＮ１〜Ｎ６の色味有効画素を抽出した後、抽出した色味有効画素の中から、その周辺の画素情報に基づいて色味無効画素を抽出し、抽出した色味有効画素数ＩOKと色味無効画素数ＩNGとの差分から矢印有効画素数ＹOKを検出するようにしたので、各矢印信号エリアＮｉに矢印信号が存在しているかか否かを精度良く検出することができる。

更に、矢印信号エリアＮｉ毎に抽出した矢印有効画素数ＹOKが、信号灯間距離Ｌｓに基づいてフレーム毎に設定した矢印有効画素しきい値ＳＬYを越えている場合、矢印有効ポイントＰＮｉOK(n-1)をインクリメントして更新し、更新した矢印有効ポイントＰＮｉOKが矢印有効しきい値ＳＬOKを越えている場合に、矢印信号灯ありと判定するようにしたので、矢印信号灯をより正確に認識することができる。

又、矢印有効画素数ＹOKが矢印有効画素しきい値ＳＬY以下の場合、矢印無効ポイントＰＮｉNG(n-1)をインクリメントして更新し、更新した矢印無効ポイントＰＮｉNGが矢印無効しきい値ＳＬNGを越えている場合は、両ポイントＰＮｉOK，ＰＮｉNGをクリアして、矢印信号灯の検出をやり直すようにしたので、検出間違いの頻度が減少されると共に、再度やり直すことで、矢印信号灯のより高い検出精度を得ることができる。

尚、本発明は、上述した実施形態に限るものではなく、例えばステップＳ１４でセットされる矢印信号灯別判定フラグＦＮｉは、各矢印信号エリアＮｉ（ｉ＝１〜６）について行われるため、この矢印信号灯別判定フラグＦＮｉの値に基づいて、矢印信号灯が何れの信号灯に隣接して付設されているかを特定することも可能である。

１…自車両、
２…車載カメラ、
１１…画像認識ユニット、
１２…画像認識処理部、
１３…カメラ制御部、
１４…矢印信号認識部、
１５…記憶部１５、
２１…信号機（横型信号機、縦型信号機）、
２１ｒ…赤色信号灯、
２１ｙ…黄色信号灯、
２２ｒ，２２ｆ，２２ｌ…矢印信号灯、
ＦY…矢印認識フラグ、
ＩNG…色味無効画素数、
ＩOK…色味有効画素数、
Ｌｓ…信号灯間距離、
Ｎ１〜Ｎ６，Ｎｉ…矢印信号エリア、
ＰＮｉNG…矢印無効ポイント、
ＰＮｉOK…矢印有効ポイント、
ＳＬNG…矢印無効しきい値、
ＳＬOK…矢印有効しきい値、
ＳＬY…矢印信号検出しきい値、
ＹOK…矢印有効画素数

Claims (5)

1. 自車両前方の走行環境を撮影する車載カメラと、
   前記車載カメラで撮影した１フレームの画像に基づき信号機に設けられている点灯信号灯を認識すると共に該点灯信号灯と前記自車両との間の信号灯間距離を算出する画像認識処理手段と、
   前記信号機に付設されている矢印信号灯を検出する矢印信号検出手段と
   を備える矢印信号認識装置において、
   前記矢印信号検出手段は、
   前記信号灯間距離に基づき前記点灯信号灯を基準として矢印信号エリアを設定する矢印信号エリア設定手段と、
   前記矢印信号エリア設定手段で設定した矢印信号エリア内の色味から点灯していると看做される色味有効画素を探索すると共に該色味有効画素の画素数をカウントする色味有効画素探索手段と、
   前記色味有効画素探索手段で探索した前記各色味有効画素と該各色味有効画素の周辺画素とを比較して該色味有効画素の中から色味無効画素を探索すると共に該色味無効画素の画素数をカウントする色味無効画素探索手段と、
   前記色味有効画素探索手段で探索した前記色味有効画素の画素数から前記味無効画素探索手段で探索した前記色味無効画素の画素数を減算して矢印有効画素数を算出する矢印有効画素数算出手段と、
   前記矢印有効画素数算出手段で算出した前記矢印有効画素数が前記信号灯間距離に基づいて設定した矢印有効画素しきい値を越えている場合は矢印画素有りと判定する矢印画素判定手段と
   を備えることを特徴とする矢印信号認識装置。
2. 前記色味有効画素探索手段は、前記自車両から前記矢印信号灯までの距離が、前記信号灯間距離と同じであり、且つ同一信号機に設けられている消灯している信号灯の輝度情報を基準としてＲＧＢの比率が所定の条件を満たしている場合、色味有効画素と看做す
   ことを特徴とする請求項１記載の矢印信号認識装置。
3. 前記色味無効画素探索手段は、前記色味有効画素と該色味有効画素の周辺の色味有効画素とのＧ値の差が予め設定した僅少範囲に収まっている場合、該周辺の色味有効画素を色味無効画素と設定する
   ことを特徴とする請求項１或いは２記載の矢印信号認識装置。
4. 前記色味無効画素探索手段は、前記色味有効画素の周辺が無効画素の場合、該色味有効画素を色味無効画素と設定する
   ことを特徴とする請求項１〜３の何れか１項に記載の矢印信号認識装置。
5. 前記矢印信号検出手段は、更に
   前記矢印画素判定手段が矢印画素有りと判定した場合、フレーム毎の演算時に更新される矢印有効ポイントをインクリメントする矢印ポイント加算手段と、
   前記矢印ポイント加算手段で設定した前記矢印有効ポイントが予め設定した矢印有効しきい値を越えている場合は点灯している矢印信号灯有りと判定する矢印信号判定手段と
   を備えることを特徴とする請求項１〜４の何れか１項に記載の矢印信号認識装置。

Images