JP6233500B2 - 信号機検出装置及び信号機検出方法 - Google Patents

Description

本発明は、信号機検出装置及び信号機検出方法に関するものである。

従来から、カメラで撮像された画像の中から信号機を検出する信号機検出装置が知られている（特許文献１参照）。特許文献１では、画像の中から、信号灯の色となる部分を抽出し、抽出した部分がどれだけ円形に近いかを示す円形度を算出し、円形度が高い部分を信号灯候補として検出している。

特開２００５−３０１５１８号公報

信号灯候補として検出されるには、抽出した部分の画像サイズが、円形度を判定可能な程度に大きくなければならない。よって、特許文献１では、円形度を判定できないほど画像サイズが小さくなる遠方の信号機を精度良く検出することは難しい。

本発明は、上記課題に鑑みて成されたものであり、その目的は、遠方の信号機であっても精度良く検出することができる信号機検出装置及び信号機検出方法を提供することである。

本発明の一態様に係わる信号機検出装置は、車両の周囲を繰り返し撮像して、連続する複数の画像を取得する撮像部と、画像の中から信号機を検出する信号機検出部と、を備える。信号機検出部は、連続する複数の画像の中の輝度変化の周期から、信号機を含む車両周辺における電力系統の位相情報を検出し、電力系統の位相情報を用いて、画像の中から、信号機に供給される電力の交流周期と同期して輝度が変化する同期画素を抽出する。信号機検出装置は、同期画素より信号機が存在するか否か判断する。

図１は、本発明の実施形態に係わる信号機検出装置の全体構成を示すブロック図である。 図２は、図１に示した同期画像生成部１５の詳細な構成を示すブロック図である。 図３（ａ）は、車両からの距離に応じた輝度変化の幅の違いを示すグラフであり、図３（ｂ）は車両近傍にある他の電灯の例として街灯３１ａ、自動販売機３１ｂ、看板３１ｃを示し、車両から遠方にある信号機３２、３３を示すカメラ画像の一例である。 図４は、位相検出部１９の変形例を示すブロック図である。 図５は、車両がトンネルを走行している時に撮像されるカメラ画像の一例を示す図である。 図６は、図１に示した信号機検出装置を用いた信号機検出方法の一例を示すフローチャートである。 図７（ａ）は、円形度から信号灯の候補を検出する場合に必要となる画素群５３ａの大きさを示す図であり、図７（ｂ）は、実施形態で検出可能な同期画素５３ｂの数を示す図である。 図８は、基準信号の位相の同期或いは非同期による相関値の違いを示し、図８（ａ）は基準信号の位相が電力の位相に同期している状態を示し、図８（ｂ）は基準信号の位相が電力の位相と反転している状態を示す。

図面を参照して、実施形態を説明する。図面の記載において同一部分には同一符号を付して説明を省略する。

図１を参照して、実施形態に係わる信号機検出装置の全体構成を説明する。信号機検出装置は、車両に搭載され、車両の周囲を所定の時間間隔で繰り返し撮像して、連続する複数の画像（フレーム）を取得する撮像部１１と、撮像部１１により撮像された画像の中から信号機を検出する信号機検出部１２とを備える。

撮像部１１は、固体撮像素子、例えばＣＣＤ又はＣＭＯＳを用いたデジタルカメラであって、画像処理が可能なデジタル画像を取得する。デジタルカメラは、画角の広い広角レンズを備える。撮像部１１の撮像範囲（画角）には、車両の進行方向から左右方向に車両近傍の路肩までが含まれる。

信号機検出部１２は、撮像部１１により取得された画像（以後、「カメラ画像」という）を受信し、カメラ画像における信号機の位置を検出する。検出された信号機の位置情報は、例えば車両の自動運転を実現するためのコントローラを含む、車両に搭載された他の処理演算装置（車両ＣＰＵ１３）に転送される。信号機検出部１２は、例えば、ＣＰＵ、メモリ２５、及び入出力部を備えるマイクロコントローラからなり、予めインストールされたコンピュータプログラムを実行することにより、信号機検出装置が備える複数の情報処理部を構成する。信号機検出部１２は、カメラ画像から信号機の位置を検出する一連の情報処理を、連続する複数のカメラ画像（フレーム）毎に繰り返し実行する。信号機検出部１２は、車両にかかわる他の制御に用いるＥＣＵと兼用してもよい。

信号機検出部１２により構成される複数の情報処理部には、位相検出部１９と、同期画像生成部１５と、信号機判断部１８とが含まれる。

メモリ２５は、連続する複数のカメラ画像（フレーム）２８を同時に記憶する。例えば、信号機に供給される電力の１交流周期の間に撮像される複数のカメラ画像２８を同時に記憶する。

位相検出部１９は、連続する複数のカメラ画像２８における輝度変化の周期から、信号機を含む車両周辺における電力系統の位相情報を検出する。信号機の周辺における電力系統の位相情報は、信号灯とその周囲にある他の電灯の間で概ね共通している。すなわち、信号機周辺にある他の電灯に供給される電力の位相は、信号機に供給される電力の位相と概ね一致している。よって、位相検出部１９は、カメラ画像２８の中の輝度変化の周期から、信号機に供給される電力の位相情報を検出することができる。なお、「電力系統の位相情報」とは、商用電源の位相情報を示す。

例えば、図３（ａ）は、車両からの距離に応じた輝度変化の幅の違いを示すグラフであり、図３（ｂ）は車両近傍にある他の電灯の例として、街灯３１ａ、自動販売機３１ｂ、看板３１ｃを示し、車両から遠方にある信号機３２、３３を示す図である。図３（ａ）は、図３（ｂ）の街灯３１ａ、及び信号機３２、３３の輝度変化を示す。車両近傍にある他の電灯（街灯３１ａ、自動販売機３１ｂ、看板３１ｃ）の輝度変化の幅は、遠方の信号機（３２、３３）のそれに比べて大きい。また、輝度変化の幅が大きいほど、位相情報の検出精度は向上する。よって、車両近傍にある他の電灯（３１ａ〜３１ｃ）の輝度変化の周期から、遠方の信号機（３２、３３）に供給される電力の位相情報を高精度に検出することができる。

また、位相検出部１９は、カメラ画像の各画素の中から、輝度変化の幅が最も大きい画素を選択し、選択した画素を用いて電力系統の位相情報を検出しても構わない。これにより、位相情報の検出精度を最も高めることができる。さらに、輝度変化の幅が比較的大きい画素を積算して、電力系統の位相情報を検出しても構わない。

なお、車両の現在位置及び車両周辺の地図情報から、車両近傍にある他の電灯（３１ａ〜３１ｃ）の輝度変化を効率よく検出する位相検出部１９の変形例を、図４を参照して後述する。

同期画像生成部１５は、位相検出部１９により検出された電力系統の位相情報を用いて、カメラ画像の中から、信号機に供給される電力の交流周期と同期して輝度が変化する同期画素を抽出して、抽出された同期画素からなる同期画像を生成する。例えば、同期画像生成部１５は、電力系統の位相情報を用いて、信号機に供給される電力の位相に同期した基準信号を生成し、基準信号とカメラ画像の各画素の輝度信号とを乗算する同期検波処理を行う。これにより、信号機に供給される電力の交流周期に同期して輝度が変化する同期画素が抽出される。

信号機に供給される電力は、商用電源の電力を全波整流した交流電力である。商用電源から電力の供給を受けて点灯する信号灯の輝度は、全波整流した交流電力の周期（例えば、１００Hz）と同じ周期で変化する。そこで、信号機に供給される電力の交流周期に同期して輝度が変化する同期画素をカメラ画像の中から抽出することにより、商用電源から電力の供給を受けて点灯する信号灯を検出することができる。具体的な処理内容は、図２及び図８を参照して後述する。

信号機判断部１８は、同期画像生成部１５により抽出された同期画素の色相が信号色の色相に類似する場合、同期画素の位置に信号機が存在すると判断する。商用電源から電力の供給を受けて点灯する電灯には、信号機が有する信号灯の他に、図３（ｂ）に示したように街灯３１ａ、自動販売機３１ｂ、看板３１ｃなど、路上で点灯している他の電灯が含まれる。同期画像生成部１５により抽出された同期画素には、これらの他の電灯も含まれる可能性がある。信号機判断部１８が同期画素と信号色との間で色相の類似性を判断することにより、同期画像生成部１５の抽出結果から、これらの他の電灯を排除することができる。

なお、信号機判断部１８は、同期画素の色相が信号色の色相に類似するか否かを判断する色相判断部を用いずに、同期画素の画像上の位置と輝度を用いて、信号機が存在するか否か判断する構成としても良い。車両の周囲の地図情報より画像上の信号機の位置を求め、同期画素の位置と照合することで、上記他の電灯を排除することができる。さらに、車両から信号機までの距離から画像上の輝度を想定し、想定輝度内の同期画素に信号機が存在すると判断することができる。

信号機検出部１２は、信号機が存在すると信号機判断部１８が判断した画素群の位置情報を、車両ＣＰＵ１３に出力する。

次に、図２及び図８を参照して、同期画像生成部１５の詳細を説明する。先ず、図２を参照して、同期画像生成部１５の詳細な構成を説明する。同期画像生成部１５は、乗算部２６と、ローパスフィルタ（ＬＰＦ）２０と、基準信号生成部１７とを備える。

基準信号生成部１７は、電力系統（商用電源）の位相情報を用いて、信号機に供給される電力の位相に同期した基準信号を生成する。乗算部２６は、メモリ２５から読み出したカメラ画像（フレーム）２８の各画素の輝度信号と基準信号とを乗算する。乗算部２６は、メモリ２５に同時に記憶されている複数のカメラ画像の各々について、上記した乗算処理を実施する。ＬＰＦ２０は、乗算部２６による乗算結果のうち、所定の遮断周波数よりも高い周波数成分を低減させて低周波数成分のみを取り出して、同期画素からなる同期画像を出力する。

図８（ａ）及び図８（ｂ）を参照して、基準信号の位相の整合性について説明する。図８（ａ）は、基準信号の位相が、信号機に供給される電力の位相に整合している状態を示す。この状態において、各画素の１）輝度信号と２）基準信号とを乗算することにより、３）乗算後の信号、すなわち同期画素の輝度、及び同期画素の輝度の平均値（相関値Ｇ１）は、最も大きな値となる。

一方、図８（ｂ）は、基準信号の位相が、信号機に供給される電力の位相と反転している状態を示す。この状態において、各画素の１）輝度信号と２）基準信号とを乗算することにより、３）乗算後の信号、すなわち同期画素の輝度、及び同期画素の輝度の平均値（相関値Ｇ２）は、最も小さな値となる。

図３に示したように、車両から信号機（３２、３３）までの距離が遠くなるほど、撮像部１１により検出される信号灯の輝度は小さくなり、輝度の変化幅も小さくなる。よって、基準信号の位相を、信号灯の輝度変化の位相、すなわち信号機に供給される電力の位相に近づけることにより、高い相関値（Ｇ１）を得ることができ、ひいては遠方の信号機を精度良く検出することができる。

実施形態では、位相検出部１９が、信号機を含む車両周辺における電力系統の位相情報を用いて、信号機に供給される電力の位相を精度良く検出する。これにより、基準信号の位相を、信号灯の輝度変化の位相、すなわち信号機に供給される電力の位相に近づけることができる。

図４を参照して、位相検出部１９の変形例を説明する。位相検出部１９は、走行路判断部３５と、画像領域設定部３６と、位相抽出部３７とを備える。

走行路判断部３５は、ＧＰＳ機能及び地図データベースを用いて車外或いは車内から取得した自車位置情報及び周辺地図情報に基づいて走行路の状況を判断する。例えば、走行路判断部３５は、車両の進行方向の道路形状が図３（ｂ）に示すような直線であるか、或いは右又は左へのカーブであるかを判断する。或いは、図５に示すように車両がトンネルを走行しているか否かを判断する。

画像領域設定部３６は、走行路判断部３５により判断された走行路の状況に基づいて、カメラ画像内に画像領域を設定する。例えば、道路形状が直線である場合、図３（ｂ）に示すように、カメラ画像のうち、道路の路肩が撮像される領域（Ｒ２、Ｒ３）を、画像領域として設定する。これにより、画像領域には、道路の路肩に配置された他の電灯（３１ａ、３１ｂ、３１ｃ）が含まれる。また、トンネルを走行している場合、図５に示すように、カメラ画像のうち、トンネル内壁に設けられた照明ランプ３４が撮像される領域Ｒ４を、画像領域として設定する。

位相抽出部３７は、画像領域設定部３６により設定された画像領域（Ｒ２〜Ｒ４）の中から、電力系統の位相情報を抽出する。走行路の状況に応じて、輝度変化が大きい電灯があることが推測される画像領域を特定することができるので、車両近傍にある他の電灯（３１ａ〜３１ｃ、３４）の輝度変化を効率よく検出することができる。

次に、図６を参照して、図１に示した信号機検出装置を用いた信号機検出方法を説明する。図６のフローチャートに示す信号機検出装置の動作は、車両のイグニションスイッチがオン状態となり、信号機検出装置が起動すると同時に開始され、信号機検出装置が停止するまで、繰り返し実行される。

ステップＳ０１において、撮像部１１は、繰り返し車両の周囲を撮像して、連続する複数のカメラ画像を取得する。信号機に供給される電力の１交流周期の間に、複数回の撮像を行う。取得された画像データは、同期画像生成部１５に転送され、メモリ２５に一時的に記憶される。

ステップＳ０３〜Ｓ０７において、位相検出部１９は、連続する複数のカメラ画像２８の中の輝度変化の周期から、信号機を含む車両周辺における電力系統の位相情報を検出する。その一例として、位相検出部１９は、カメラ画像２８に含まれる画素の輝度変化の幅（ΔＤ）が所定の閾値（Ｔｈ）よりも広くなるか否かに応じて、電力系統の位相情報を検出する。もちろん、図４に示した変形例に係わる位相検出部１９が、画像領域設定部３６により設定された画像領域（Ｒ２〜Ｒ４）について、輝度変化の幅（ΔＤ）が所定の閾値（Ｔｈ）よりも広くなるか否かを判断してもよい。

先ず、ステップＳ０３において、位相検出部１９は、カメラ画像２８から任意に画素を選択し、当該画素の輝度変化の幅（ΔＤ）が所定の閾値（Ｔｈ）より広いか否かを判断する。所定の閾値（Ｔｈ）より広い場合（Ｓ０３でＹＥＳ）、カメラ画像２８から精度良く位相情報を検出することができる。そこで、ステップＳ０５に進み、位相検出部１９は、選択した画素の輝度変化の位相を計測する。測定した位相を設定する（ステップＳ０７）。

一方、所定の閾値（Ｔｈ）より広くない場合（Ｓ０３でＮＯ）、カメラ画像２８から精度良く位相情報を検出することができない。そこで、ステップＳ０９に進み、予め定めた基準位相を設定する。予め定めた基準位相としては、前回或いは２回以上前の制御ループにおけるステップＳ０５で計測された位相を用いることができる。

ステップＳ１１に進み、基準信号生成部１７は、設定された位相（Ｓ０７）或いは基準信号（Ｓ０９）に基づき基準信号を生成する。ステップＳ１３に進み、乗算部２６は、基準信号とカメラ画像の各画素の輝度信号とを乗算する同期検波処理を行う。そして、ＬＰＦ２０が低周期の信号をフィルタすることにより、同期画素を抽出する。

ステップＳ１５に進み、信号機判断部１８は、同期画像生成部１５により抽出された同期画素の色相が信号色の色相に類似するか否かを判断する。信号色の色相に類似する場合、同期画素の位置に信号機が存在すると判断できる。よって、ステップＳ１７に進み、信号機判断部１８は、同期画素を信号機としてラベリングする。一方、信号色の色相に類似しない場合（Ｓ１５でＮＯ）、同期画素の位置に、信号灯でなく、その他の電灯が存在すると判断できる。よって、ステップＳ１９に進み、信号機判断部１８は、同期画素を他の電灯としてラベリングする。

ステップＳ２１に進み、信号機判断部１８は、ステップＳ１３で抽出された総ての同期画素について、信号機であるか否かを判断したか否かを判断する。判断が終わっていない場合（Ｓ２１でＮＯ）、ステップＳ１５に戻り、残りの同期画素について色相の判断処理（Ｓ１５〜Ｓ１９）を実施する。判断が終わっている場合（Ｓ２１でＹＥＳ）、図６のフローチャートは終了する。

以上説明したように、実施形態によれば以下の作用効果が得られる。

特許文献１では、カメラ画像の中から信号灯の色相と類似する領域を抽出し、抽出した領域の円形度から信号灯の候補を検出する。円形度から信号灯を判断する場合、領域（画素群５３ａ）に含まれる画素の数は、図７（ａ）に示す程度の数が必要となる。これに対して、実施形態に係わる信号機検出装置では、上述したように、信号機の輝度変化の幅が小さく、位相周期を検出し難いような遠方に位置する信号機に対して、信号機に供給される電力の交流周期と同期して輝度が変化する同期画素を信号灯の候補として抽出できる。これにより、図７（ｂ）に示すように、同期画素５３ｂの数が、円形度を判断できない程度の数であっても、信号灯であるか否かを判断することができる。すなわち、実施形態に係わる信号機検出装置は、遠方の信号機を精度良く検出することができる。

カメラ画像の中から、信号機に供給される電力の交流周期と同期して輝度が変化する同期画素を抽出することにより、信号灯の大きさ及びその形状を考慮することなく、信号機を検出することができる。よって、円形度を判定できないほど画像サイズが小さくなる遠方の信号機であっても精度良く検出することができる。

車両周辺における電力系統の位相情報は、信号灯とその周囲にある他の電灯の間で概ね共通している。よって、位相検出部１９が信号機に供給される交流電力の位相情報を高精度に検出することにより、同期画像生成部１５は、輝度変化が小さい同期画素を高感度に抽出することできる。よって、信号機検出装置は、輝度変化が小さい遠方の信号機であっても精度良く検出することができる。

輝度変化の幅が大きいほど、より正確な位相情報を検出できる。そこで、位相検出部１９は、カメラ画像を構成する画素のうち、輝度変化の幅が最も大きい画素を用いて電力系統の位相情報を検出してもよい。これにより、カメラ画像の中から、信号灯に供給される交流電力の位相情報を高精度に検出することができる。

図３（ｂ）に示したように、道路の路肩にある、看板３１ｃ、自動販売機３１ｂ、街灯３１ａを含む他の電灯は、遠方の信号機（３２、３３）に比べて輝度変化の幅が大きい。そこで、位相検出部１９は、連続する複数のカメラ画像のうち、道路の路肩が撮像される領域（Ｒ２、Ｒ３）から、電力系統の位相情報を検出してもよい。これにより、輝度変化の幅が大きい画素を用いて電力系統の位相情報を検出することができる。

図５に示したように、車両がトンネル内を走行している場合、一般的に、道路の路肩に、看板、自動販売機、街灯を含む電灯は存在しないわかりに、トンネル内壁に設けられた照明ランプ３４が存在する。そこで、位相検出部１９は、連続する複数のカメラ画像のうち、トンネル内壁に設けられた照明ランプ３４が撮像される領域Ｒ４から、電力系統の位相情報を検出してもよい。これにより、輝度変化の幅が大きい画素を用いて電力系統の位相情報を検出することができる。

上記のように、本発明の実施形態を記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。

図３（ｂ）には、車両前方の道路形状が直線である場合の画像領域（Ｒ２、Ｒ３）を示したが、車両前方の道路形状が右または左へのカーブである場合、路肩が撮像される領域は、カーブ側よりもカーブ方向とは逆側の方が広くなる。カーブの方向に応じて、左右の画像領域（Ｒ２、Ｒ３）の大きさ及び形状を変化させてもよい。或いは、図５の画像領域Ｒ４を、トンネル以外においても適用しても構わない。例えば、車両近傍にある信号機は、図５の画像領域Ｒ４において撮像される可能性がある。よって、トンネル以外の走行状況においても、画像領域Ｒ４を適用しても構わない。更には、図５の画像領域Ｒ４と図３（ｂ）の画像領域（Ｒ２、Ｒ３）とを同時に設定しても構わない。

１１ 撮像部
１２ 信号機検出部
１５ 同期画像生成部（同期画素抽出部）
１７ 基準信号生成部
１８ 信号機判断部
２８ カメラ画像（画像）
３３、３２ 信号機
５３ｂ 同期画素
Ｒ２〜Ｒ４ 画像領域

Claims (6)

1. 車両に搭載され、前記車両の周囲を繰り返し撮像して、連続する複数の画像を取得する撮像部と、
   前記画像の中から信号機を検出する信号機検出部と、を備え、
   前記信号機検出部は、
   連続する複数の画像の中の前記信号機を除く他の電灯の輝度変化の周期から、前記信号機を含む車両周辺における電力系統の位相情報を検出する位相検出部と、
   前記電力系統の位相情報を用いて、前記画像の中から、前記信号機に供給される電力の交流周期と同期して輝度が変化する同期画素を抽出する同期画素抽出部と、
   前記同期画素より前記信号機が存在するか否か判断する信号機判断部と、
   を有することを特徴とする信号機検出装置。
2. 請求項１に記載の信号機検出装置において、
   前記位相検出部は、輝度変化の幅が最も大きい画素を用いて前記電力系統の位相情報を検出することを特徴とする信号機検出装置。
3. 請求項１又は２に記載の信号機検出装置において、
   前記位相検出部は、前記連続する複数の画像のうち、道路の路肩が撮像される領域から、前記電力系統の位相情報を検出することを特徴とする信号機検出装置。
   
4. 請求項１又は２に記載の信号機検出装置において、
   前記車両がトンネル内を走行している場合、前記位相検出部は、前記連続する複数の画像のうち、トンネル内壁に設けられた照明ランプが撮像される領域から、前記電力系統の位相情報を検出することを特徴とする信号機検出装置。
5. 請求項１〜４のいずれか一項に記載の信号機検出装置において、
   前記信号機判断部は、当該同期画素の色相が信号色の色相に類似するか否かを判断する色相判断部を備え、
   前記信号機判断部は、前記同期画素の色相が信号色の色相に類似する場合、前記同期画素の位置に前記信号機が存在すると判断することを特徴とする信号機検出装置。
6. 車両の周囲を繰り返し撮像して、連続する複数の画像を取得し、
   連続する複数の画像の中の信号機を除く他の電灯の輝度変化の周期から、前記信号機を含む車両周辺における電力系統の位相情報を検出し、
   前記電力系統の位相情報を用いて、前記画像の中から、前記電力系統の交流周期と同期して輝度が変化する同期画素を抽出し、
   前記同期画素より前記信号機が存在するか否か判断する
   ことを特徴とする信号機検出方法。

Images