JP2009043067A - 信号機認識装置 - Google Patents

Abstract

【課題】 撮像手段で撮像した画像に基づき、信号機の発光体を看板等の物体から確実に識別して抽出する。
【解決手段】 第１抽出手段Ｍ１がテレビカメラ１１で撮像した車両前方の画像から輝度が第１閾値以上の第１物体を抽出するので、輝度が低い看板等の物体が除外されて信号機の発光体を含む輝度が高い第１物体だけが抽出されるが、信号機の発光体の場合には輝度が低い部分が欠けて輝度が高い部分だけが残る可能性がある。再抽出領域設定手段Ｍ２が第１物体の周囲に比較的に狭い所定の大きさの再抽出領域を設定し、第２抽出手段Ｍ３が、看板等の低輝度の物体が存在しない再抽出領域において輝度が前記第１閾値未満の第２閾値以上の第２物体を抽出するので、演算負荷を低く抑えながら信号機の発光体の全体を抽出することができる。よって信号機判定手段Ｍ４は前記第２物体が信号機の発光体であるか否かを精度良く判定することができる。
【選択図】 図１

Description

本発明は、車両に搭載した撮像手段により信号機を撮像して認識する信号機認識装置に関する。

ナビゲーションシステムで検出した交差点の位置と，テレビカメラで撮像した自車前方の画像とに基づいて信号機を検出をするとともに、信号機の点灯している発光体の色を判別して音声で車両を案内するものが、下記特許文献１により公知である。
特開平１０−１７７６９９号公報

ところで上記従来のものは、信号機の発光体を、赤、黄、青（緑）の色相の差と、輪郭の形状および直径とから判別しているが、信号機の発光体の候補となる画素の輝度を一定の閾値で判定しているため、その閾値が低すぎる場合には低輝度の看板等を信号機の発光体と誤認識してしまう問題があり、その閾値が高すぎる場合には信号機の発光体の強く光っている一部しか検出できず、信号機の発光体の検出漏れが発生する可能性がある。

本発明は前述の事情に鑑みてなされたもので、撮像手段で撮像した画像に基づき、信号機の発光体を看板等の物体から確実に識別して抽出することを目的とする。

上記目的を達成するために、請求項１に記載された発明によれば、車両に搭載した撮像手段により信号機を撮像して認識する信号機認識装置において、前記撮像手段で撮像した車両前方の画像から輝度が第１閾値以上の第１物体を抽出する第１抽出手段と、前記第１物体の周囲に所定の大きさの再抽出領域を設定する再抽出領域設定手段と、前記再抽出領域において輝度が前記第１閾値未満の第２閾値以上の第２物体を抽出する第２抽出手段と、前記第２物体が信号機の発光体であるか否かを判定する信号機判定手段とを備えることを特徴とする信号機認識装置が提案される。

また請求項２に記載された発明によれば、請求項１の構成に加えて、前記第２閾値を設定する第２閾値設定手段を備え、前記第２閾値設定手段は、前記第１物体の最大輝度に基づいて前記第２閾値を設定することを特徴とする信号機認識装置が提案される。

尚、実施の形態のテレビカメラ１１は本発明の撮像手段に対応する。

請求項１の構成によれば、第１抽出手段が撮像手段で撮像した車両前方の画像から輝度が第１閾値以上の第１物体を抽出するので、輝度が低い看板等の物体が除外されて信号機の発光体を含む輝度が高い第１物体だけが抽出されるが、第１物体が信号機の発光体である場合には輝度が低い部分が欠けて輝度が高い部分だけが残る可能性がある。再抽出領域設定手段が第１物体の周囲に所定の大きさの再抽出領域を設定し、第２抽出手段が、看板等の低輝度の物体が存在しない比較的に狭い再抽出領域において輝度が前記第１閾値未満の第２閾値以上の第２物体を抽出するので、演算負荷を低く抑え、かつ看板等の誤検出を防止しながら信号機の発光体の全体を抽出することができる。よって信号機判定手段は前記第２物体が信号機の発光体であるか否かを精度良く判定することができる。

また請求項２の構成によれば、前記第２閾値を設定する第２閾値設定手段が第１物体の最大輝度に基づいて第２閾値を設定するので、信号機の発光体を最適の閾値で抽出することができる。

以下、本発明の実施の形態を添付の図面に基づいて説明する。

図１〜図７は本発明の実施の形態を示すもので、図１は信号機認識装置の電子制御ユニットのブロック図、図２はテレビカメラで撮像した自車前方の画像を示す図、図３は異なる閾値で抽出した信号機の発光体を示す図、図４はメインルーチンのフローチャート、図５は図４のステップＳ１のサブルーチンのフローチャート、図６は図４のステップＳ２のサブルーチンのフローチャート、図７は第２物体の位置および半径から信号機の発光体を判定するマップである。

図１に示すように、本実施の形態の信号機認識装置の電子制御ユニットＵは、第１抽出手段Ｍ１と、再抽出領域設定手段Ｍ２と、第２抽出手段Ｍ３と、信号機判定手段Ｍ４と、第２閾値設定手段Ｍ５とを備える。第１抽出手段Ｍ１には、車両に搭載した撮像手段としてのテレビカメラ１１が接続される。

電子制御ユニットＵには輝度の第１閾値が予め記憶されており、第１抽出手段Ｍ１は、テレビカメラ１１で撮像した自車の進行方向前方の画像（図２参照）から輝度が前記第１閾値以上の第１物体を抽出する。図２に示すように、テレビカメラ１１で撮像した画像には信号機１２以外に看板１３，１４等が映っており、看板１３，１４は信号機１２と誤認識される可能性があるため、第１物体から確実に除外する必要がある。信号機１２と看板１３，１４とには輝度に大きな差があり、ランプやＬＥＤで自ら発光する信号機１２の発光体の輝度は高く、自ら発光しない看板１３，１４の輝度は低くなる。よって前記第１閾値を看板１３，１４の輝度よりも高く、信号機１２の発光体の輝度よりも低い値に設定することで、看板１３，１４を除外して信号機１２の発光体の可能性がある第１物体を抽出することができる。

図３（Ａ）は閾値が低すぎる場合であって、信号機１２の発光体はその輪郭よりもはみ出した領域が抽出されている。このような低すぎる閾値では、発光体の寸法や形状を正しく認識できないだけでなく、看板１３，１４も抽出されてしまうために信号機１２と看板１３，１４とを識別することができない。

図３（Ｂ）は閾値として前記第１閾値を採用した場合であって、信号機１２の発光体の全体ではなく、中央部の輝度の高い部分だけが抽出されて発光体の寸法や形状を正しく認識できないが、看板１３，１４は抽出されないために信号機１２と看板１３，１４とを識別することができる。

再抽出領域設定手段Ｍ２は、発光体の最大輝度が検出された部分を中心として所定範囲（例えば、４０ピクセル×４０ピクセル）を再抽出領域（図２参照）として設定し、第２抽出手段Ｍ３が再抽出領域において新たな第２閾値を用いて再抽出を行う。このときに使用される第２閾値を設定する第２閾値設定手段Ｍ５は、前記第１閾値よりも低い第２閾値で第２物体の抽出を行う。再抽出を行う領域は第１物体（例えば、信号機１２の発光体）の近傍の限られた範囲であるため、低い第２閾値で抽出を行っても、低輝度の看板１３，１４等が第２物体として抽出されてしまう虞はない。

この第２閾値を用いて抽出を行うと、図３（Ｂ）に示すように、値の高い第１閾値で抽出を行った第１物体（例えば、信号機１２の発光体）が実際の寸法よりも小さく抽出されたのに対し、図３（Ｃ）に示すように、信号機１２の発光体を実際の寸法に近い寸法で抽出することができる。そして、信号機判定手段Ｍ４は、第２抽出手段Ｍ３により抽出した第２物体が信号機１２の発光体であるか否かを、その寸法、位置および色等に基づいて判定する。

次に、図４〜図６のフローチャートに基づいて、上記作用を更に詳細に説明する。

図４のメインルーチンのステップＳ１で、テレビカメラ１１の画像から信号機１２の発光体領域を含む灯火領域（輝度の高い領域）を抽出し、続くステップＳ２で前記灯火領域から信号機１２を検出する。

灯火領域抽出ルーチンを示す図５のフローチャートのステップＳ１１でテレビカメラ１１により自車前方の画像を撮像し、ステップＳ１２で前記画像の各画素をＲＧＢ（赤、緑、青の光の３原色で表される色の表現方法）からＨＳＶ［色度（色相）、彩度、輝度（明度）による色の表現方法］に変換する。続くステップＳ１３で前記画像の各画素から第１閾値以上の画素を第１物体として検出する。前記第１閾値は色度、彩度、輝度の各々について設定されており、０〜３６０の段階表現（あるいは０〜１００の％表現）により、例えば、色度は０〜１５０，３３１〜３６０（０〜４２％，５５〜１００％）、彩度は２７０〜３６０（７５〜１００％）、輝度は１８０〜３６０（５０〜１００％）である。

続くステップＳ１４で第１閾値以上の画素の輝度および彩度の最大値を算出し、ステップＳ１５で輝度および彩度を含む第２閾値を、前記最大値の５０％に設定する。即ち、第２閾値の輝度は前記最大輝度の５０％に設定され、第２閾値の彩度は前記最大彩度の５０％に設定される。

続くステップＳ１６で最大輝度の画素を中心に２０ピクセル×２０ピクセルの再抽出領域を設定し、ステップＳ１７で前記再抽出領域において前記第２閾値以上の画素を第２物体として抽出する。

信号機検出ルーチンを示す図６のフローチャートのステップＳ２１で第２閾値以上の画素が形成する領域が信号機１２の発光体の形状である円形であり、かつステップＳ２２で第２閾値以上の画素が形成する領域の中心の高さおよび直径が所定の範囲に収まっていれば、それが信号機１２の発光体であると判断する。

図７は前記ステップＳ２２の判断基準を示すマップであり、縦軸は最大輝度の画素の画面上の位置を示し、横軸は第２閾値以上の画素が形成する領域の半径を示している。第２物体としての信号機１２が自車に近ければ、その位置は画面上の上側にあり、かつ半径は大きくなり、逆に信号機１２が自車から遠ければ、その位置は画面上の下側にあり、かつ半径は小さくなるため、図７の斜線の領域に存在する第２物体を信号機１２の発光体であると判断することができる。

このようにして第２物体が信号機１２の発光体であると判断されると、ステップＳ２３に移行し、そこで色度が０〜３０，３３１〜３６０（０〜８％，９２〜１００％）の範囲にあれば、ステップＳ２４で赤信号が点灯していると判断する。またステップＳ２５で色度が３１〜９０（９〜２５％）の範囲にあれば、ステップＳ２６で黄信号が点灯していると判断する。またステップＳ２７で色度が９１〜１５０（２６〜４２％）の範囲にあれば、ステップＳ２８で青（緑）信号が点灯していると判断する。

以上説明したように、テレビカメラ１１で撮像した車両前方の画像から輝度が第１閾値以上の第１物体を抽出することで、輝度が低い看板１３，１４等の物体を除外して信号機１２の発光体を含む輝度が高い第１物体だけが抽出されるが、信号機１２は発光体の輝度が低い部分が欠けて輝度が高い部分だけが残るため、信号機１２の発光体として正しく認識されない可能性がある。そこで第１物体の周囲に所定の大きさの再抽出領域を設定し、看板１３，１４等の低輝度の物体が存在しない再抽出領域において輝度が前記第１閾値未満の第２閾値以上の第２物体を抽出するので、演算負荷を低く抑えながら、看板１３，１４等の物体を除外して信号機１２の発光体の全体を抽出することができる。これにより、第２物体が信号機１２の発光体であるか否かを精度良く判定することができる。しかも第２物体を抽出する第２閾値を第１物体の最大輝度の半分の値として設定するので、信号機１２の発光体を最適の第２閾値で抽出することができる。

以上、本発明の実施例を説明したが、本発明はその要旨を逸脱しない範囲で種々の設計変更を行うことが可能である。

例えば、実施の形態では第１閾値を色度、彩度、輝度に基づいて設定しているが、それを輝度だけに基づいて設定しても良い。

また実施の形態では第２閾値を輝度および彩度に基づいて設定しているが、それを輝度だけ。あるいは輝度、彩度および色度に基づいて設定しても良い。

また実施の形態では横型の信号機１２を例示したが、本願発明は縦型の信号機に対しても適用することができる。

信号機認識装置の電子制御ユニットのブロック図 テレビカメラで撮像した自車前方の画像を示す図 異なる閾値で抽出した信号機の発光体を示す図 メインルーチンのフローチャート 図４のステップＳ１のサブルーチンのフローチャート 図４のステップＳ２のサブルーチンのフローチャート 第２物体の位置および半径から信号機の発光体を判定するマップ

符号の説明

１１ テレビカメラ（撮像手段）
１２ 信号機
Ｍ１ 第１抽出手段
Ｍ２ 再抽出領域設定手段
Ｍ３ 第２抽出手段
Ｍ４ 信号機判定手段
Ｍ５ 第２閾値設定手段

Claims (2)

1. 車両に搭載した撮像手段（１１）により信号機（１２）を撮像して認識する信号機認識装置において、
   前記撮像手段（１１）で撮像した車両前方の画像から輝度が第１閾値以上の第１物体を抽出する第１抽出手段（Ｍ１）と、
   前記第１物体の周囲に所定の大きさの再抽出領域を設定する再抽出領域設定手段（Ｍ２）と、
   前記再抽出領域において輝度が前記第１閾値未満の第２閾値以上の第２物体を抽出する第２抽出手段（Ｍ３）と、
   前記第２物体が信号機（１２）の発光体であるか否かを判定する信号機判定手段（Ｍ４）と、
   を備えることを特徴とする信号機認識装置。
2. 前記第２閾値を設定する第２閾値設定手段（Ｍ５）を備え、前記第２閾値設定手段（Ｍ５）は、前記第１物体の最大輝度に基づいて前記第２閾値を設定することを特徴とする、請求項１に記載の信号機認識装置。

Images