JP7202844B2 - 信号機認識方法及び信号機認識装置 - Google Patents

Description

本発明は、信号機認識方法及び信号機認識装置に関する。

交差点に設置されている、発光体（赤信号、黄信号、又は青信号の発光体）と共に矢印信号を有する信号機の認識を行うため、赤信号又は黄信号の発光体を検出し、検出した発光体に対して所定の位置関係を有する位置に探索領域を設定し、探索領域内でテンプレートとの比較により矢印信号を検出する信号機認識装置が提案されている（特許文献１参照）。

特開２００９－４３０６８号公報

しかしながら、特許文献１に記載の技術は、信号機のランプの種類やカメラの撮像方式に起因して信号機のちらつきが発生した場合に、赤信号、黄信号、又は矢印信号を検出できないおそれがある。特に、赤信号又は黄信号を検出できない場合には、矢印信号も検出できない。ここで、信号機のちらつきの原因としては、フリッカー現象（例えばＬＥＤランプのように周期的に点滅しているランプを撮像した際に、撮像タイミングに依存して撮像画像中の輝度が変化する現象）やローリングシャッター現象（撮像方式に起因して、撮像画像中の位置ごとに撮像タイミングがずれる現象）などがある。

本発明は、上記問題に鑑みてなされたものであり、その目的とするところは、信号機のちらつきが発生しうる環境であっても、信号機の点灯状態を認識することができる信号機認識方法及び信号機認識装置を提供することにある。

上述した問題を解決するために、本発明の一態様に係る信号機認識方法及び信号機認識装置は、車両の進行方向にある交差点に設置された信号機を撮像した画像から、信号機の色信号又は矢印信号の少なくとも一方を検出できない場合に、当該画像の撮像時点よりも過去に取得した過去画像に基づいて、当該画像から検出できなかった色信号又は矢印信号を推定し、推定した色信号及び矢印信号に基づいて、信号機の点灯状態を特定し、交差点において車両の進行が許可される方向を判定する。

本発明によれば、信号機のちらつきが発生しうる環境であっても、信号機の点灯状態を認識でき、交差点において進行が許可される方向を判定できる。

図１は、本発明の一実施形態に係る信号機認識装置の構成を示すブロック図である。 図２は、本発明の一実施形態に係る信号機認識装置の処理手順を示すフローチャートである。 図３Ａは、撮像画像中に色信号と矢印信号が共に写っている撮像状態を示す模式図である。 図３Ｂは、撮像画像中に色信号が写っており、且つ、矢印信号が写っていない撮像状態を示す模式図である。 図３Ｃは、撮像画像中に色信号が写っておらず、且つ、矢印信号が写っている撮像状態を示す模式図である。 図３Ｄは、撮像画像中に色信号と矢印信号が共に写っていない撮像状態を示す模式図である。 図４は、一の信号機と他の信号機とが、同一の交差点の同一停止線に対応する場合の様子を示す模式図である。

次に、図面を参照して、本発明の実施の形態を詳細に説明する。説明において、同一のものには同一符号を付して重複説明を省略する。

［信号機認識装置の構成］
図１は、本実施形態に係る信号機認識装置の構成を示すブロック図である。図１に示すように、本実施形態に係る信号機認識装置１は、カメラ２０と、コントローラ１００とを備え、コントローラ１００は、車両制御装置２００と接続される。また、コントローラ１００は、色信号検出部５２と、矢印信号検出部５４と、信号機位置取得部６０と、検出状態補完部７０と、進行可能方向判定部８０と、判断結果出力部９０とを備える。なお、信号機認識装置１は、図示しない車両に搭載される。

カメラ２０は、例えばＣＣＤ、ＣＭＯＳ等の固体撮像素子を備えたデジタルカメラであり、車両の周囲を撮像して周辺領域のデジタル画像を取得する。カメラ２０は、焦点距離、レンズの画角、カメラの垂直方向及び水平方向の角度などが設定されることにより、車両の周囲の所定の範囲を撮像する。カメラ２０は、取得した撮像画像を色信号検出部５２及び矢印信号検出部５４に出力する。

なお、カメラ２０によって撮像された撮像画像は、所定の期間の間、図示しない記憶部に記憶される。例えば、カメラ２０は所定の時間間隔で撮像画像を取得しており、所定の時間間隔で取得した撮像画像が、過去画像として記憶部に記憶される。過去画像は、当該過去画像の撮像時点から所定の期間を経過した後に削除されるものであってもよい。

色信号検出部５２は、カメラ２０によって取得した撮像画像に写っている「色信号」を検出する。ここで、「色信号」とは、「青信号」、「黄信号」、「赤信号」を意味する。「色信号」が表す意味は、車両が従うべき交通法規等によって定まり、例えば、「青信号」は「進んでも良い」の意味を表し、「赤信号」は、「停止位置で止まれ」の意味を表し、「黄信号」は、「停止位置に近接しているため安全に停止することができない場合を除き、停止位置で止まれ」の意味を表す。

また、色信号検出部５２は、信号機ごとに検出領域を撮像画像上に設定し、設定された検出領域内の画素を解析することにより、信号機ごとに「色信号」を検出するものであってもよい。

矢印信号検出部５４は、カメラ２０によって取得した撮像画像に写っている「矢印信号」を検出する。ここで、「矢印信号」とは、信号機が設置された交差点において車両に許可される方向を示す「右折信号」「直進信号」「左折信号」などが挙げられる。「矢印信号」は、「右折信号」「直進信号」「左折信号」にとどまらず、信号機が設置された交差点の構造に応じて様々なバリエーションが考えられる。「矢印信号」が表す意味は、車両が従うべき交通法規等によって定まる。

また、矢印信号検出部５４は、信号機ごとに検出領域を撮像画像上に設定し、設定された検出領域内の画素を解析することにより、信号機ごとに「矢印信号」を検出するものであってもよい。

「矢印信号」の検出のために設定される検出領域は、「色信号」の検出のための設定される検出領域と隣接あるいは近接するものであることが望ましいが、これに限定されない。また、「矢印信号」の検出のために設定される検出領域は、「色信号」の検出のための設定される検出領域と共通化された領域であってもよい。

なお、上述した検出領域は、信号機の形状に応じて様々なバリエーションが考えられる。信号機ランプが水平方向に並んだ信号機に対しては、垂直方向に比べて水平方向が長い長方形領域が設定されるものであってもよいし、「色信号」又は「矢印信号」を表示する信号機ランプが垂直方向に並んだ信号機に対しては、水平方向に比べて垂直方向が長い長方形領域が設定されるものであってもよい。信号機の形状は、地図情報に含まれる信号機の種別や、その他、地図情報の代わりに過去に撮像した画像を解析した結果に基づいて得られる。

信号機位置取得部６０は、車両周囲の道路構造内の信号機の位置を取得する。信号機位置取得部６０は、車両の位置や姿勢、地図情報に基づいて、道路構造内の信号機の位置を取得するものであってもよいし、若しくは、過去に取得した撮像画像を画像解析することで、道路構造内の信号機の位置を取得するものであってもよい。なお、後述する検出状態補完部７０において、信号機の位置を使用しない処理を行う場合には、コントローラ１００は信号機位置取得部６０を備えていなくてもよい。

なお、車両の位置や姿勢は、図示しない自己位置推定部によって取得されるものであってもよい。自己位置推定部は、車両に搭載された、ＧＰＳ（グローバル・ポジショニング・システム）やオドメトリなど車両の絶対位置を計測する位置検出センサを用いて、車両の絶対位置、すなわち、所定の基準点に対する車両の位置、姿勢及び速度を計測する。

地図情報は、図示しない地図取得部によって取得されるものであってもよい。地図取得部は、地図情報を格納した地図データベースを所有してもよいし、クラウドコンピューティングにより地図情報を外部の地図データサーバから取得しても構わない。地図取得部が取得する地図情報には、車線の絶対位置や車線の接続関係、相対位置関係、停止線の位置、停止線に対応する信号機の位置、信号機の種別などの道路構造の情報が含まれる。

検出状態補完部７０は、色信号検出部５２での「色信号」の検出結果、及び、矢印信号検出部５４での「矢印信号」の検出結果に基づいて、「信号機の点灯状態」を特定する。ここで「信号機の点灯状態」とは、「色信号」と「矢印信号」の組み合わせを意味する。

ここで、信号機のちらつきが生じる場合、色信号検出部５２は必ずしも「色信号」を検出できるとは限らず、また、矢印信号検出部５４は必ずしも「矢印信号」を検出できるとは限らない。信号機のちらつきの原因としては、フリッカー現象（例えば、信号機ランプがＬＥＤランプのように周期的に点滅しているランプである場合に、カメラ２０による撮像タイミングに依存して撮像画像中の輝度が変化する現象）やローリングシャッター現象（カメラ２０での撮像方式に起因して、撮像画像中の位置ごとに撮像タイミングがずれる現象）などがある。

そのため、検出状態補完部７０は、色信号検出部５２での「色信号」の検出結果、及び、矢印信号検出部５４での「矢印信号」の検出結果に基づいて、「信号機の点灯状態」を推定して補完することで、「信号機の点灯状態」を特定する。「信号機の点灯状態」の補完方法については、後述する。

進行可能方向判定部８０は、検出状態補完部７０で特定された「信号機の点灯状態」に基づいて、当該信号機が設置された交差点において、車両の進行が許可される方向を判定する。特に、「信号機の点灯状態」のうち「色信号」が「青信号」である場合には、交差点で合流するすべての道路への車両の進行が許可されていると判定する。また、進行可能方向判定部８０は、「信号機の点灯状態」が「赤信号」である場合には、「矢印信号」によって指示される方向への進行が許可されていると判定する。

図４のように、右折、直進、左折が可能な交差点を例に挙げて説明する。信号機ＴＳ１の点灯状態が「青信号」である場合には、進行可能方向判定部８０は、道路Ｒ１に位置する自車両Ｖ１に対して、道路Ｒ２、道路Ｒ３、道路Ｒ４への進行が許可されていると判定する。

信号機ＴＳ１の点灯状態が「赤信号」且つ「右折信号」である場合には、道路Ｒ２への進行が許可されていると判定する。信号機ＴＳ１の点灯状態が「赤信号」且つ「直進信号」である場合には、道路Ｒ３への進行が許可されていると判定する。信号機ＴＳ１の点灯状態が「赤信号」且つ「左折信号」である場合には、道路Ｒ４への進行が許可されていると判定する。

判断結果出力部９０は、進行可能方向判定部８０によって判定した、交差点内で車両に許容される進行可能方向の結果を、車両制御装置２００に対して出力する。

［信号機の点灯状態の補完方法］
次に、図３Ａ～図３Ｄを例に挙げて、検出状態補完部７０で行う「信号機の点灯状態」を補完について説明する。信号機のちらつきによって生じる「色信号」及び「矢印信号」の撮像状態には、図３Ａ～図３Ｄに示すようなパターンが挙げられる。

第１パターンとして、図３Ａは、撮像画像中に「色信号」と「矢印信号」が共に写っている撮像状態を示す模式図である。図３Ａでは、検出領域ＤＲ１内の色信号ランプＳＢ（青信号表示用のランプ）、色信号ランプＳＹ（黄信号表示用のランプ）、色信号ランプＳＲ（赤信号表示用のランプ）が良好に写っており（すなわち「色信号」が良好に写っており）、色信号検出部５２によって「色信号」が検出可能である。また、検出領域ＤＲ２内の矢印信号ランプＡＲ（右折信号表示用のランプ）、矢印信号ランプＡＳ（直進信号表示用のランプ）、矢印信号ランプＡＬ（左折信号表示用のランプ）が良好に写っており（すなわち「矢印信号」が良好に写っており）、矢印信号検出部５４によって「矢印信号」が検出可能である。

図３Ａに示す撮像状態の場合、「色信号」と「矢印信号」の両者の検出が可能であるため、検出状態補完部７０での「信号機の点灯状態」の補完は不要であり、色信号検出部５２及び矢印信号検出部５４で検出した「色信号」と「矢印信号」に基づいて、「信号機の点灯状態」を特定すればよい。

第２パターンとして、図３Ｂは、撮像画像中に「色信号」が写っており、且つ、「矢印信号」が写っていない撮像状態を示す模式図である。図３Ｂでは、図３Ａとは異なり、検出領域ＤＲ２内の「矢印信号」が良好に写っていないため、矢印信号検出部５４によって「矢印信号」を検出することができない。第２パターンの場合、検出状態補完部７０は、カメラ２０によって撮像した撮像画像の撮像時点よりも過去に取得した過去画像のうち、検出領域ＤＲ２内の「矢印信号」が良好に写っている過去画像に基づいて、「矢印信号」を推定する。

従って、図３Ｂに示す撮像状態の場合、検出状態補完部７０は、撮像画像に基づいて検出した「色信号」と、過去画像に基づいて推定した「矢印信号」に基づいて、「信号機の点灯状態」を特定する。すなわち、過去画像によって「矢印信号」を推定して補完している。

第３パターンとして、図３Ｃは、撮像画像中に「色信号」が写っておらず、且つ、「矢印信号」が写っている撮像状態を示す模式図である。図３Ｃでは、図３Ａとは異なり、検出領域ＤＲ１内の「色信号」が良好に写っていないため、色信号検出部５２によって「色信号」を検出することができない。第３パターンの場合、検出状態補完部７０は、カメラ２０によって撮像した撮像画像の撮像時点よりも過去に取得した過去画像のうち、検出領域ＤＲ１内の「色信号」が良好に写っている過去画像に基づいて、「色信号」を推定する。

従って、図３Ｃに示す撮像状態の場合、検出状態補完部７０は、過去画像に基づいて推定した「色信号」と、撮像画像に基づいて検出した「矢印信号」に基づいて、「信号機の点灯状態」を特定する。すなわち、過去画像によって「色信号」を推定して補完している。

第４パターンとして、図３Ｄは、撮像画像中に「色信号」と「矢印信号」が共に写っていない撮像状態を示す模式図である。図３Ｄでは、図３Ａとは異なり、検出領域ＤＲ１内の「色信号」が良好に写っていないため、色信号検出部５２によって「色信号」を検出することができない。さらには、検出領域ＤＲ２内の「矢印信号」が良好に写っていないため、矢印信号検出部５４によって「矢印信号」を検出することができない。

第４パターンの場合、検出状態補完部７０は、カメラ２０によって撮像した撮像画像の撮像時点よりも過去に取得した過去画像のうち、検出領域ＤＲ１内の「色信号」が良好に写っている過去画像に基づいて、「色信号」を推定する。また、検出状態補完部７０は、カメラ２０によって撮像した撮像画像の撮像時点よりも過去に取得した過去画像のうち、検出領域ＤＲ２内の「矢印信号」が良好に写っている過去画像に基づいて、「矢印信号」を推定する。

従って、図３Ｄに示す撮像状態の場合、検出状態補完部７０は、過去画像に基づいて推定した「色信号」と、過去画像に基づいて推定した「矢印信号」に基づいて、「信号機の点灯状態」を特定する。すなわち、過去画像によって「色信号」と「矢印信号」を推定して補完している。

信号機のちらつきによって生じる「色信号」及び「矢印信号」の撮像状態の大多数は、図３Ａ～図３Ｄに示すいずれかの撮像状態に分類できる。なぜなら、信号機の「色信号」を示す色信号ランプＳＢ、色信号ランプＳＹ、色信号ランプＳＲは、いずれか１つが点灯している場合には、その他の色信号ランプは消灯している。そのため、「色信号」の検出の可否からは、検出領域ＤＲ１の一部のみが撮像できない状況と検出領域ＤＲ１の全体が撮像できない状況の、いずれの状況にあるのか区別がつかないからである。

また、信号機の「矢印信号」を示す矢印信号ランプＡＲ、矢印信号ランプＡＳ、矢印信号ランプＡＬは、信号機内部の回路の構成や交流電源の電圧周期等に起因して同期して点滅している場合が多い。そのため、信号機ランプに起因した信号機のちらつきが発生する環境では、検出領域ＤＲ２の全体が撮像できる状況か、検出領域ＤＲ２の全体が全く撮像できない状況かの、いずれかの状況しか生じ得ないからである。

上述では、撮像画像から「色信号」あるいは「矢印信号」を検出できない場合に、撮像画像の代わりに記憶された過去画像に基づいて、「色信号」あるいは「矢印信号」を推定するものとして説明した。過去画像を記憶する代わりに、撮像画像に基づいて検出できた「色信号」あるいは「矢印信号」の検出結果を記憶するものであってもよい。この場合、記憶された「色信号」あるいは「矢印信号」の検出結果を呼び出すことで、「信号機の点灯状態」を特定することができる。

なお、過去画像からの補完（推定）を行うことができない「色信号」若しくは「矢印信号」について、「点灯状態が不明」として設定する。その他、検出状態補完部７０による補完の結果、「信号機の点灯状態」としてあり得る組み合わせ以外の組み合わせが生じた場合には、補完結果を誤りであるとして、補完を行った「色信号」あるいは「矢印信号」について、「点灯状態が不明」として設定する。

「点灯状態が不明」として設定された「色信号」若しくは「矢印信号」が存在する場合には、検出・補完を行うことができた「色信号」若しくは「矢印信号」に基づいて、「点灯状態が不明」として設定された「色信号」若しくは「矢印信号」の点灯状態の推定を行う。

例えば、「色信号」が「青信号」であるとして検出・補完ができており、「矢印信号」の「点灯状態が不明」である場合には、当該「矢印信号」は交差点で合流するすべての道路への車両の進行を許可する表示になっているものと推定する。具体的には、図４のように、右折、直進、左折が可能な交差点の場合、「矢印信号」は、「右折信号」、「直進信号」、「左折信号」の全てが点灯していると推定する。

また、「矢印信号」の検出・補完ができており、「色信号」の「点灯状態が不明」である場合には、「色信号」は「赤信号」であるとして推定する。

上述の他、所定時間の間、特定した「信号機の点灯状態」を過去点灯状態として保持し、「信号機の点灯状態」を特定できない場合には、所定時間の間、「信号機の点灯状態」は、過去点灯状態と同じであると推定する。

その他、「色信号」及び「矢印信号」の両方について、「点灯状態が不明」である場合には、所定時間経過後に、信号機の故障、若しくは、カメラ２０での撮像ができない状態であると判定して、車両を停止させることが望ましい状態であると判定するものであってもよい。

なお、撮像画像に写っている信号機が複数ある場合には、検出状態補完部７０は、信号機位置取得部６０での信号機位置に基づいて、写っている信号機のうち一の信号機と他の信号機とが同一の交差点の同一停止線に対応するか否かを判定するものであってもよい。

例えば、図４に示す場合、自車両Ｖ１に搭載されたカメラ２０によって撮像可能な信号機として、信号機ＴＳ１のほかに、信号機ＴＳ２が存在する。ここで、信号機ＴＳ１は、交差点側に向けられた信号機であり、交差点を挟んだ側から自車両Ｖ１から視認できる。一方、信号機ＴＳ２は、対向車線にある主信号の裏側に設置された補助信号であり、交差点とは反対側を向くように設置されているため、自車両Ｖ１から視認できる。

図４の場合、信号機ＴＳ１と信号機ＴＳ２とが、自車両Ｖ１が走行する道路Ｒ１の同一の停止線ＳＬ１に対応するため、信号機ＴＳ１の「信号機の点灯状態」と信号機ＴＳ２の「信号機の点灯状態」は同一である。そのため、仮に、信号機ＴＳ１の「信号機の点灯状態」が特定できない場合であっても、信号機ＴＳ２の「信号機の点灯状態」に基づいて、信号機ＴＳ１の「信号機の点灯状態」を推定することができる。また、逆に、仮に、信号機ＴＳ２の「信号機の点灯状態」が特定できない場合であっても、信号機ＴＳ１の「信号機の点灯状態」に基づいて、信号機ＴＳ２の「信号機の点灯状態」を推定することができる。

［信号機認識装置の処理手順］
次に、本実施形態に係る信号機認識装置１による信号機認識の処理手順を、図２のフローチャートを参照して説明する。図２に示す信号機認識の処理は、車両のイグニッションがオンされると開始し、イグニッションがオンとなっている間、繰り返し実行される。

まず、ステップＳ１０１において、カメラ２０は車両の周囲の所定の範囲を撮像する。カメラ２０は、取得した撮像画像を色信号検出部５２及び矢印信号検出部５４に出力する。なお、カメラ２０における設定情報（焦点距離、レンズの画角、カメラの垂直方向及び水平方向の角度など）は、事前に設定されていてもよいし、コントローラ１００からの指令により、都度、設定されるものであってもよい。カメラ２０によって撮像された撮像画像は、所定の期間の間、図示しない記憶部に記憶される。

ステップＳ１０３において、色信号検出部５２は、カメラ２０によって取得した撮像画像に写っている「色信号」の検出を試みる。

ステップＳ１０５において、矢印信号検出部５４は、カメラ２０によって取得した撮像画像に写っている「矢印信号」の検出を試みる。

ステップＳ１０７において、信号機位置取得部６０は、車両周囲の道路構造内の信号機の位置を取得する。信号機位置取得部６０は、車両の位置や姿勢、地図情報に基づいて、道路構造内の信号機の位置を取得するものであってもよいし、若しくは、過去に取得した撮像画像を画像解析することで、道路構造内の信号機の位置を取得するものであってもよい。なお、後述する検出状態補完部７０において、信号機の位置を使用しない処理を行う場合には、ステップＳ１０７を行わなくてもよい。

ステップＳ１０９において、検出状態補完部７０は、色信号検出部５２での「色信号」の検出結果、及び、矢印信号検出部５４での「矢印信号」の検出結果に基づいて、「信号機の点灯状態」を特定する。色信号検出部５２にて「色信号」の検出ができなかった場合には、検出状態補完部７０は過去画像に基づいて「色信号」を推定して補完する。また、矢印信号検出部５４にて「矢印信号」の検出ができなかった場合には、検出状態補完部７０は過去画像に基づいて「矢印信号」を推定して補完する。

ステップＳ１１１において、進行可能方向判定部８０は、検出状態補完部７０で特定された「信号機の点灯状態」に基づいて、当該信号機が設置された交差点において、車両の進行が許可される方向を判定する。

ステップＳ１１３において、検出状態補完部７０は、特定した「信号機の点灯状態」を記憶する。その他、撮像画像に基づいて検出できた「色信号」あるいは「矢印信号」の検出結果を記憶するものであってもよい。また、進行可能方向判定部８０は、車両の進行が許可される方向を記憶するものであってもよい。

ステップＳ１１５において、判断結果出力部９０は、進行可能方向判定部８０によって判定した、交差点内で車両に許容される進行可能方向の結果を、車両制御装置２００に対して出力する。出力された、交差点内で車両に許容される進行可能方向の結果は、例えば、車両制御装置２００において使用される。

［実施形態の効果］
以上詳細に説明したように、本実施形態に係る信号機認識方法及び信号機認識装置は、車両に搭載された撮像部を用いて、車両の進行方向にある交差点に設置された信号機を撮像した画像を取得し、画像から信号機の色信号及び矢印信号の検出を試み、画像から色信号を検出できなかった場合には、画像の撮像時点よりも過去に取得した過去画像に基づいて色信号を推定し、画像から矢印信号を検出できなかった場合には、画像の撮像時点よりも過去に取得した過去画像に基づいて矢印信号を推定し、推定した色信号及び矢印信号に基づいて、信号機の点灯状態を特定し、特定した信号機の点灯状態に基づいて、交差点において車両の進行が許可される方向を判定する。

これにより、信号機のちらつきが発生して、信号機の色信号又は矢印信号の少なくとも一方を撮像した画像に基づいて検出できない場合であっても、過去画像に基づいて信号機の色信号又は矢印信号を推定でき、その結果、交差点において車両の進行が許可される方向を判定できる。特に、「信号機の特定状態」を継続して判定することができ、交差点において車両の進行が許可される方向を継続して判定できる。

例えば、撮像した画像に基づいて「赤信号」を検出できて、且つ、点灯している「矢印信号」を検出できなかった場合に、実際には、「矢印信号」によって示される方向への車両の進行が許可されている状況であるにもかかわらず、いずれの方向への車両の進行も許可されていないと間違った判断が行われてしまうことを防止できる。このように、信号機のちらつきが生じる環境において「信号機の点灯状態」の特定を誤ってしまう可能性を低減でき、その結果、交差点において車両の進行が許可される方向をより正確に判定することができる。

また、撮像時に信号機のちらつきが生じてしまうような低性能の撮像部を使用した場合であっても、撮像部の性能不足を補って、「信号機の点灯状態」の特定を正しく行うことができる。その結果、撮像部に要求される性能が低くてもよく、車載カメラを用いたシステム全体の製造コストを抑えることができる。

また、本実施形態に係る信号機認識方法及び信号機認識装置は、画像に写っている信号機である一の信号機及び他の信号機の位置を取得し、位置に基づいて、一の信号機と他の信号機とが同一の交差点の同一停止線に対応するか否かを判定し、同一の交差点の同一停止線に対応すると判定され、且つ一の信号機の点灯状態を特定できず、且つ、他の信号機の点灯状態を特定できた場合には、一の信号機の点灯状態は、他の信号機の点灯状態と同じであると推定するものであってもよい。

これにより、画像に写っている複数台の信号機の情報を統合することができ、対象とする「信号機の点灯状態」を特定できる可能性を高めることができる。また、他の信号機に関する「信号機の点灯状態」の情報を入手することで、対象とする一台の信号機のみを対象として過去画像に基づく補完を行う場合と比較して、より短時間で、対象とする「信号機の点灯状態」を特定できる。特に、車両制御において「信号機の点灯状態」を特定するのに要する時間を短縮できることは、安全な車両制御を実現する上で大変有用である。

さらに、本実施形態に係る信号機認識方法及び信号機認識装置は、所定時間の間、特定した信号機の点灯状態を過去点灯状態として保持し、信号機の点灯状態を特定できない場合には、所定時間の間、信号機の点灯状態は過去点灯状態と同じであると推定するものであってもよい。

これにより、過去点灯状態として保持する所定時間よりも長い時間だけ、信号機の点灯状態が継続している場合において、仮に「信号機の点灯状態」を特定できない場合であっても、「信号機の過去点灯状態」を現在の「信号機の点灯状態」として推定するため、信号機のちらつきに起因して、車両の進行が許可される方向を判定できなくなってしまう状態が続いてしまうことを防ぐことができる。

また、本実施形態に係る信号機認識方法及び信号機認識装置は、特定した信号機の点灯状態が、青信号の点灯状態である場合には、交差点で合流するすべての道路への車両の進行が許可されていると判定するものであってもよい。このように、「信号機の点灯状態」のうち、「色信号」が「青信号」である場合には、「矢印信号」によらない判定を行うため、信号機のちらつきが生じる環境において、「矢印信号」の検出・補完ができなかった場合の影響を最小限に食い止め、車両の進行が許可される方向を適切に判定することができる。

上述の実施形態で示した各機能は、１又は複数の処理回路によって実装されうる。処理回路には、プログラムされたプロセッサや、電気回路などが含まれ、さらには、特定用途向けの集積回路（ＡＳＩＣ）のような装置や、記載された機能を実行するよう配置された回路構成要素なども含まれる。

以上、実施形態に沿って本発明の内容を説明したが、本発明はこれらの記載に限定されるものではなく、種々の変形及び改良が可能であることは、当業者には自明である。この開示の一部をなす論述および図面は本発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施形態、実施例および運用技術が明らかとなろう。

本発明はここでは記載していない様々な実施形態等を含むことは勿論である。したがって、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。

１ 信号機認識装置
２０ カメラ（撮像部）
５２ 色信号検出部
５４ 矢印信号検出部
６０ 信号機位置取得部
７０ 検出状態補完部
８０ 進行可能方向判定部
９０ 判断結果出力部
１００ コントローラ
Ｖ１ 自車両（車両）

Claims (6)

1. 車両に搭載された撮像部と、コントローラとを備える信号機認識装置における信号機認識方法であって、
   前記コントローラは、
   前記撮像部を用いて、前記車両の進行方向にある交差点に設置された信号機を撮像した画像を取得し、
   前記画像から前記信号機の色信号及び矢印信号の検出を試み、
   前記画像から前記信号機の矢印信号を検出でき、前記画像から前記信号機の色信号を検出できなかった場合には、
   前記画像から検出できた前記信号機の矢印信号と、
   前記画像の撮像時点よりも所定時間だけ過去から前記画像の撮像時点までの間に取得した過去画像のいずれかから検出できた前記信号機の色信号と、
   に基づいて、前記交差点において前記車両の進行が許可される方向を判定し、
   前記画像から前記信号機の色信号を検出でき、前記画像から前記信号機の矢印信号を検出できなかった場合には、
   前記画像から検出できた前記信号機の色信号と、
   前記過去画像のいずれかから検出できた前記信号機の矢印信号と、
   に基づいて、前記交差点において前記車両の進行が許可される方向を判定すること
   を特徴とする信号機認識方法。
2. 請求項１に記載の信号機認識方法であって、
   前記コントローラは、
   前記画像から前記信号機の矢印信号を検出でき、前記画像から前記信号機の色信号を検出できなかった場合には、
   前記画像から検出できた前記信号機の矢印信号と、
   前記過去画像のいずれかから検出できた前記信号機の色信号と、
   に基づいて、前記信号機の点灯状態を特定し、
   前記画像から前記信号機の色信号を検出でき、前記画像から前記信号機の矢印信号を検出できなかった場合には、
   前記画像から検出できた前記信号機の色信号と、
   前記過去画像のいずれかから検出できた前記信号機の矢印信号と、
   に基づいて、前記信号機の点灯状態を特定し、
   特定した前記信号機の点灯状態に基づいて、前記交差点において前記車両の進行が許可される方向を判定する信号機認識方法。
3. 請求項１又は２に記載の信号機認識方法であって、
   前記コントローラは、
   前記画像に写っている前記信号機である一の信号機及び他の信号機の位置を取得し、
   前記位置に基づいて、前記一の信号機と前記他の信号機とが同一の交差点の同一停止線に対応するか否かを判定し、
   前記同一の交差点の前記同一停止線に対応すると判定され、且つ 前記一の信号機の点灯状態を特定できず、且つ、前記他の信号機の点灯状態を特定できた場合には、前記一の信号機の点灯状態は、前記他の信号機の点灯状態と同じであると推定すること
   を特徴とする信号機認識方法。
4. 請求項１～３のいずれか一項に記載の信号機認識方法であって、
   前記コントローラは、
   前記所定時間の間、特定した前記信号機の点灯状態を過去点灯状態として保持し、
   前記信号機の点灯状態を特定できない場合には、前記所定時間の間、前記信号機の点灯状態は前記過去点灯状態と同じであると推定すること
   を特徴とする信号機認識方法。
5. 請求項１～４のいずれか一項に記載の信号機認識方法であって、
   前記コントローラは、
   特定した前記信号機の点灯状態が、青信号の点灯状態である場合には、
   前記交差点で合流するすべての道路への前記車両の進行が許可されていると判定すること
   を特徴とする信号機認識方法。
6. 車両に搭載された撮像部と、コントローラとを備える信号機認識装置であって、
   前記コントローラは、
   前記撮像部を用いて、前記車両の進行方向にある交差点に設置された信号機を撮像した画像を取得し、
   前記画像から前記信号機の色信号及び矢印信号の検出を試み、
   前記画像から前記信号機の矢印信号を検出でき、前記画像から前記信号機の色信号を検出できなかった場合には、
   前記画像から検出できた前記信号機の矢印信号と、
   前記画像の撮像時点よりも所定時間だけ過去から前記画像の撮像時点までの間に取得した過去画像のいずれかから検出できた前記信号機の色信号と、
   に基づいて、前記交差点において前記車両の進行が許可される方向を判定し、
   前記画像から前記信号機の色信号を検出でき、前記画像から前記信号機の矢印信号を検出できなかった場合には、
   前記画像から検出できた前記信号機の色信号と、
   前記過去画像のいずれかから検出できた前記信号機の矢印信号と、
   に基づいて、前記交差点において前記車両の進行が許可される方向を判定すること
   を特徴とする信号機認識装置。

Images