JP2018072884A - 情報処理装置、情報処理方法およびプログラム - Google Patents

Abstract

【課題】撮影画像に映り込んだ信号機を高精度に認識することが可能な情報処理装置、情報処理方法およびプログラムを提供する。【解決手段】本発明の情報処理装置は、取得部と信号領域認識部と判断部とを備える。取得部は撮影画像を取得する。信号領域認識部は、取得部により取得された撮影画像のうち、信号機の信号を示す信号領域を認識する。判断部は、検出対象となる信号機の信号を示す対象信号を識別するために予め定められた対象信号識別情報と、信号領域認識部により認識された信号領域と、に基づいて、信号領域が、対象信号を示す領域であるか否かを判断する。【選択図】図２

Description

本発明は、情報処理装置、情報処理方法およびプログラムに関する。

車載カメラなどの撮影装置で撮影された撮影画像を解析し、撮影画像に含まれる信号機の信号（典型的には点灯している信号）を検出することで、運転者を支援するシステムが知られている。また、信号機の信号を認識するために、信号機の信号色を検出する装置が知られている。

例えば、特許文献１には、カメラのゲインを２回調整して２枚の撮影画像を取得し、これらの２枚の撮影画像を用いて信号色を検知する方法が開示されている。特許文献１では、１回目の撮影で取得した撮影画像を用いて、２回目の撮影用のゲインを調整する。

しかしながら従来の技術では、ゲインの異なる複数枚の撮影画像が必要であった。また、ゲイン調整の誤差により、検出精度が大幅に低下する場合があった。さらに、撮影画像のうち信号機が映り込んだ領域を検出する前の状態では、撮影画像における信号の位置が不明であることから、信号色を正確に検出可能なゲインの設定は困難であった。

また、カメラゲインを最適に設定しても、信号機の信号と同じ色、同じ形状の物体が現れると、その物体を信号機の信号として誤認識する問題がある。例えば、赤い看板の一部が木に隠れ、見える部分の形状が、赤信号の色を示す円の形になった場合、その赤い看板を、赤信号を示す領域として認識してしまう。従来の技術では、誤認識を削除不可能である。

すなわち、従来の技術では、撮影画像に映り込んだ信号機の信号を高精度に認識することは困難であるという問題があった。

本発明は、上記に鑑みてなされたものであって、撮影画像に映り込んだ信号機の信号を高精度に認識することが可能な情報処理装置、情報処理方法およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、撮影画像を取得する取得部と、前記取得部により取得された前記撮影画像のうち、信号機の信号を示す信号領域を認識する信号領域認識部と、検出対象となる信号機の信号を示す対象信号を識別するために予め定められた対象信号識別情報と、前記信号領域認識部により認識された前記信号領域と、に基づいて、前記信号領域が、前記対象信号を示す領域であるか否かを判断する判断部と、を備える情報処理装置である。

本発明によれば、撮影画像に映り込んだ信号機の信号を高精度に認識することができる。

図１は、情報処理装置の一例の説明図である。 図２は、実施形態の情報処理装置が有する機能の一例を示す図である。 図３は、横方向に配置される信号機の青信号を示す信号領域を示す図である。 図４は、横方向に配置される信号機の赤信号を示す信号領域を示す図である。 図５は、信号領域認識部の認識結果の一例を示す図である。 図６は、複数の信号機を認識した結果の例を示す図である。 図７は、任意の１つの時間帯における２次元の特徴量ベクトルの分布の例を示す図である。 図８は、時間帯判別部の詳細な構成例を示す図である。 図９は、基準撮影画像における、平均輝度（Ｉａｖ）と低輝度ブロック数（Ｎｂｌｋ）によって示されるサンプル点の一例を示す図である。 図１０は、画素値の（Ｕ、Ｖ）空間での閾値処理で抽出した赤信号の画素例を示す図である。 図１１は、信号画素領域を膨張処理した後の画像例を示す図である。 図１２は、Ｈｏｕｇｈ変換により抽出した赤信号の円領域を示す図である。 図１３は、信号領域決定部によって決定された信号領域を示す図である。 図１４は、認識処理部の動作例を示すフローチャートである。 図１５は、撮影装置のハードウェア構成の一例を示す図である。 図１６は、情報処理装置のハードウェア構成例を示すブロック図である。

以下、添付図面を参照しながら、本発明に係る情報処理装置、情報処理方法およびプログラムの実施形態を詳細に説明する。

図１は、本実施の形態の情報処理装置１０の一例の説明図である。情報処理装置１０は、例えば、移動体に搭載されている。移動体は、自立走行または牽引などにより、実空間において位置移動の可能な物体である。移動体は、例えば、車両、飛行機、電車、台車、などである。本実施の形態では、移動体が車両２０である場合を一例として説明する。すなわち、本実施の形態では、情報処理装置１０を車両２０に搭載した形態を一例として説明する。

車両２０には、撮影装置１２が搭載されている。撮影装置１２は、車両２０の周辺を撮影した撮影画像を得る。撮影装置１２は、例えば、公知のビデオカメラや、デジタルカメラなどである。本実施の形態では、撮影装置１２は、車両２０の周辺を連続して撮影することで、複数の撮影画像（すなわち、複数のフレーム）を撮影する。なお、撮影装置１２は、情報処理装置１０と一体的に構成してもよいし、情報処理装置１０と別体として構成してもよい。

また、撮影装置１２は、車両２０に搭載した形態に限定されない。撮影装置１２は、信号機３０を撮影可能な位置に設置されていればよく、地面に対して固定されていてもよい。なお、本実施の形態の情報処理装置１０で検知した検知結果を、車両２０の運転者の運転支援などに用いる場合には、撮影装置１２は、車両２０に搭載した形態であることが好ましい。

本実施形態では、撮影装置１２は、オートゲインコントロール（ＡＧＣ）機能を搭載している。このため、撮影装置１２は、感度を自動調整し、撮影画像の全画面の明るさが最適となるように自動調整した撮影画像を得る。

情報処理装置１０は、撮影画像を解析する。そして、情報処理装置１０は、撮影画像に含まれる信号機３０を検出する。

次に、情報処理装置１０が有する機能の一例を説明する。図２は、情報処理装置１０が有する機能の一例を示すブロック図である。説明の便宜上、ここでは、本実施形態に関する機能を主に例示しているが、情報処理装置１０が有する機能はこれらに限られるものではない。

情報処理装置１０は、インタフェース部１４と、認識処理部１６と、記憶部１８と、を備える。インタフェース部１４および記憶部１８は、認識処理部１６に電気的に接続されている。

インタフェース部１４は、撮影装置１２から撮影画像を受付ける。撮影装置１２は、車両２０の周辺を経時的に連続して撮影し、撮影によって得られた撮影画像（この例ではカラー画像）の各々を、撮影順に順次、インタフェース部１４へ出力する。インタフェース部１４は、撮影装置１２から撮影画像を順次受け付け、受け付けた順に、認識処理部１６へ順次出力する。

記憶部１８は、各種データを記憶する。本実施の形態では、記憶部１８は、時間帯認識辞書ＤＢ１８Ａと、対象信号識別辞書ＤＢ１８Ｂを有し、時間帯認識辞書ＤＢ１８Ａは時間帯認識辞書を保持し、対象信号識別辞書ＤＢ１８Ｂは対象信号識別辞書を保持する。これらの詳細については後述する。

認識処理部１６は、撮影画像を解析し、撮影画像に映り込んだ信号機の信号を認識（検出）する。図２に示すように、認識処理部１６は、画像取得部１０１と、信号領域認識部１０２と、判断部１０３と、時間帯判別部１０４と、位置情報取得部１０５と、選択部１０６と、出力部１０７と、を含む。信号領域認識部１０２は、候補領域認識部１１１と、信号形状認識部１１２と、信号領域決定部１１３とを含む。

画像取得部１０１、信号領域認識部１０２、判断部１０３、時間帯判別部１０４、位置情報取得部１０５、選択部１０６、出力部１０７の一部またはすべては、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよいし、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。

画像取得部１０１は、「取得部」の一例であり、撮影画像を取得する。この例では、画像取得部１０１は、インタフェース部１４から順次に入力される撮影画像（動画像）を取得する。つまり、画像取得部１０１は、車両に搭載された撮影装置１２によって撮影された撮影画像を取得する。

信号領域認識部１０２は、画像取得部１０１により取得された撮影画像のうち、信号機の信号を示す信号領域を認識する。この例では、信号領域認識部１０２は、候補領域認識部１１１と、信号形状認識部１１２と、信号領域決定部１１３と、を含む。信号領域の具体的な認識方法については後述するが、信号領域決定部１１３は、候補領域認識部１１１の認識結果と、信号形状認識部１１２の認識結果とを受けて、信号領域を決定する。図３は、横方向に配置される信号機の青信号を示す信号領域を示す図であり、図４は、横方向に配置される信号機の赤信号を示す信号領域を示す図である。国や地域によって信号機の形は異なる。図３および図４は、日本における信号機の例を示す図である。

図５は、信号領域認識部１０２の認識結果の一例を示す図である。画像の原点は撮影画像（入力画像）の左上の点Ｏとする。左右方向の横軸はｘで、下向きの縦軸はｙとする。ここでは、信号領域の認識結果は、点灯する信号を囲む矩形の領域で表される。信号領域の具体的な認識方法については後述する。また、ここでは、認識された矩形領域の左上の座標Ｐ（Ｘ，Ｙ）が信号領域の認識結果として出力される。Ｙは、画面の一番上から、認識された矩形領域の左上の点Ｐまでの距離を示す。このＹは、検出対象となる信号機の信号を判別するための一つの特徴量となる。Ｘは、画面の一番左から、認識された矩形領域の左上の点Ｐまでの距離を示す。このＸも、検出対象となる信号機の信号を判別するための一つの特徴量となる。また、ここでは、認識された矩形領域の幅をＷ、高さをＨとする。説明の便宜上、矩形領域はＷ＝Ｈの正方形とする。

図６は、複数の信号機を認識した結果の例を示す図である。認識結果Ａは、対象信号機の赤信号を示す信号領域である。認識結果Ｂは、遠方に存在する信号機の青信号を示す信号領域であり、対象信号（検出対象となる信号機の信号）の領域ではない。認識結果Ｃは、垂直方向の道路の青信号の信号を示す信号領域であり、対象信号の領域ではない。認識結果Ｄ〜Ｆは誤認識の結果を示す（対象信号の領域ではない）。信号機の認識結果は、赤信号、黄信号および青信号の各々を表す（Ｃｒ，Ｃｙ，Ｃｇ）の形で記述する。（Ｃｒ，Ｃｙ，Ｃｇ）のそれぞれの要素は１か０の値である。数値「１」は該当する色の信号が検知されたことを意味する。（１，０，０）は赤信号が検知されたことを表し、（０，１，０）は黄信号が検知されたことを表し、（０，０，１）は青信号が検知されたことを表す。

図２に戻って説明を続ける。判断部１０３は、検出対象となる信号機（対象信号機）の信号を示す対象信号を識別するために予め定められた対象信号識別情報と、信号領域認識部１０２により認識された信号領域と、に基づいて、該信号領域が、対象信号を示す領域であるか否かを判断する。対象信号識別情報は、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）を用いた機械学習方法を利用して予め作成される。より具体的には、対象信号識別情報は、撮影画像のうち対象信号の領域と、対象信号とは異なる信号の領域を示す誤認識領域との分離面を示す評価関数である。

信号領域認識部１０２による認識結果の特徴量（Ｃｒ，Ｃｙ，Ｃｇ，Ｗ，Ｘ，Ｙ）を６次元の特徴量ベクトルとする。実際には６次元の特徴量ベクトル（ベクトルデータ）により対象信号を判別するが、説明の便宜上、２次元の特徴量ベクトルの例を説明する。信号領域認識部１０２による認識結果を表す２次元の特徴量ベクトルが、対象信号（以下では「赤信号」を例に挙げて説明するが、他の色の信号も同様に考えることができる）を示すか否かを識別するための対象信号識別情報を作成する場合、対象信号の検出に用いられる撮影画像とは別に、この検出処理より前に、対象地域の複数の時間帯ごとに、予め撮影装置１２によって対象信号機を撮影した画像（信号画像と称する）を集める。そして、複数の時間帯ごとに、信号画像に映り込んだ赤信号の信号領域の幅Ｗと、画面上端からの距離Ｙとを含む特徴量ベクトル（２次元の特徴量ベクトル）を求める。図７は、任意の１つの時間帯における２次元の特徴量ベクトルの分布の例を示す図である。図７の例では、信号領域の幅（サイズ）Ｗが比較的に大きく、かつ、画面上端からの距離Ｙが比較的に小さい信号領域の特徴量ベクトルは、対象信号の領域を表す特徴量データであり、左上の白い矩形の集合である。一方、信号領域の幅Ｗが比較的に小さく、かつ、画面上端からの距離Ｙが比較的に大きい信号領域の特徴量ベクトルは、対象信号とは異なる信号（例えば遠方に存在する信号）の領域（誤認識領域）を表す特徴量データであり、右下の黒円の集合である。

ここでは、判断部１０３は、対象信号の領域の特徴量データ（正解データ）の集合と、誤認識領域の特徴量データの集合とを分離する分離面を、マージンｄが最大となるように配置する。そして、判断部１０３は、この分離面（図７の例では直線Ｌ）を示す評価関数を、対象信号識別辞書１８Ｂとして予め算出（学習により算出）しておくことができる。なお、この例では、評価関数を算出する主体は判断部１０３であるとして説明したが、これに限らず、評価関数を算出する主体は判断部１０３以外の他の機能であってもよい。

上記評価関数は、例えば以下の式（１）のような線形識別関数で表されるが、これに限らず、他の非線形識別関数であってもよい。以下の式（１）におけるＡ，Ｂ，Ｃは評価関数の係数である。ここでは、この評価関数が「対象信号識別情報」に対応する。

判断部１０３は、信号領域認識部１０２による認識結果を示す特徴量データ（信号領域認識部１０２により認識された信号領域に相当）を上記評価関数に代入して、評価関数ｆ（Ｗ，Ｙ）の値を算出する。そして、算出した評価関数ｆ（Ｗ，Ｙ）の値が予め定めた閾値以上であれば、判断部１０３は、信号領域認識部１０２による認識結果を示す特徴量データは、対象信号の領域を表すと判断する。一方、算出した評価関数ｆ（Ｗ，Ｙ）の値が閾値未満であれば、判断部１０３は、信号領域認識部１０２による認識結果を示す特徴量データは、対象信号の領域を表すものではないと判断する。

以上においては、正解であるか否かを判断する対象となる認識結果を示す特徴量データは２次元の特徴量ベクトルである場合を例に挙げて説明したが、次元数は任意に変更可能である。例えば６次元の場合、正解データの集合と、誤認識領域の特徴量データの集合とを分離する分離面を示す評価関数ｆ（Ｃｒ，Ｃｙ，Ｃｇ，Ｗ，Ｘ，Ｙ）は、以下の式（２）で表される。

この場合、信号領域認識部１０２による認識結果を示す特徴量データ（Ｃｒ，Ｃｙ，Ｃｇ，Ｗ，Ｘ，Ｙ）は６次元のベクトルデータであり、判断部１０３は、この特徴量データ（Ｃｒ，Ｃｙ，Ｃｇ，Ｗ，Ｘ，Ｙ）を上記評価関数に代入して、評価関数ｆ（Ｃｒ，Ｃｙ，Ｃｇ，Ｗ，Ｘ，Ｙ）の値を算出する。そして、算出した評価関数ｆ（Ｃｒ，Ｃｙ，Ｃｇ，Ｗ，Ｘ，Ｙ）の値が予め定めた閾値以上であれば、判断部１０３は、信号領域認識部１０２による認識結果を示す特徴量データは、対象信号の領域を表すと判断する。一方、算出した評価関数ｆ（Ｃｒ，Ｃｙ，Ｃｇ，Ｗ，Ｘ，Ｙ）の値が閾値未満であれば、判断部１０３は、信号領域認識部１０２による認識結果を示す特徴量データは、対象信号の領域を表すものではないと判断する。

ここでは、時間帯と、国または地域との組み合わせごとに、事前学習により評価関数を作成しておき、対象信号識別辞書ＤＢ１８Ｂに格納しておく。判断部１０３は、後述の選択部１０６により選択された評価関数と、信号領域認識部１０２による認識結果を示す特徴量データと、に基づいて、信号領域認識部１０２による認識結果を示す特徴量データが、対象信号の領域を示すか否かを判断する。

出力部１０７は、対象信号を示す領域であると判断された特徴量データ（信号領域認識部１０２による認識結果を示す特徴量データ）に対応する信号領域を、認識結果として出力する。

時間帯判別部１０４は、画像取得部１０１により取得された撮影画像が撮影された時間帯を判別する。時間帯判別部１０４は、撮影画像を解析することによって、該撮影画像の撮影時間帯を判別する。

撮影時間帯とは、１日（２４時間）を撮影環境の互いに異なる複数の時間帯に分割したものである。撮影環境が異なる、とは、光強度が異なることを意味する。例えば、撮影時間帯は、昼、または、夜、である。なお、撮影時間帯は、昼、夜、夕方、であってもよい。また、撮影時間帯は、１日を撮影環境の異なる複数の時間帯に分割した、各時間帯であればよく、昼、夜、夕方、などに限定されない。また撮影時間帯は、２種類や３種類に限定されず、４種類以上であってもよい。また、撮影時間帯は、撮影画像の撮影環境（例えば、季節、国、地域、北半球・南半球）に応じて、適宜、設定すればよい。

本実施形態では、一例として、撮影時間帯が、昼または夜を示す場合を説明する。撮影時間帯が昼を示す、とは、撮影環境の光強度が閾値以上の時間帯である。撮影時間帯が夜である、とは、撮影環境の光強度が該閾値未満の時間帯である。この光強度の閾値には、予め任意の値を定めればよい。例えば、この光強度の閾値には、処理対象の撮影画像Ｐを撮影した撮影装置１２のオートゲインコントロール機能によって、撮影画像Ｐに含まれる信号機３０の信号３０Ａを示す領域の光量が飽和し始める（または飽和が解除される）光強度を定めればよい。

時間帯判別部１０４は、画像取得部１０１により取得された撮影画像の輝度を用いて、撮影画像の撮影時間帯を判別する。詳細には、図８に示すように、時間帯判別部１０４は、第１の算出部１１６Ｈと、第２の算出部１１６Ｉと、第３の算出部１１６Ｊと、を含む。

第１の算出部１１６Ｈは、撮影画像の平均輝度を算出する。第１の算出部１１６Ｈは、撮影画像に含まれる画素の各々の輝度値の平均値を算出する。これにより、第１の算出部１１６Ｈは、撮影画像の平均輝度を算出する。撮影時間帯が昼の場合、撮影画像の平均輝度は高い。一方、撮影時間帯が夜の場合、撮影画像の平均輝度は、昼より低い。

第２の算出部１１６Ｉは、撮影画像を複数のブロックに分割する。例えば、第２の算出部１１６Ｉは、撮影画像をｍ×ｎ個のブロックに分割する。なお、ｍおよびｎは、１以上の整数であり、且つ、ｍおよびｎの少なくとも一方は、２以上の整数である。

そして、第２の算出部１１６Ｉは、ブロックの各々ごとに、平均輝度を算出する。例えば、第２の算出部１１６Ｉは、ブロックの各々ごとに、ブロックに含まれる画素の輝度値の平均値を算出する。これにより、第２の算出部１１６Ｉは、撮影画像Ｐに含まれるブロックの各々ごとに、平均輝度を算出する。

さらに、第２の算出部１１６Ｉは、撮影画像における平均輝度が閾値以下のブロックの数を、該撮影画像における低輝度ブロック数として算出する。低輝度ブロック数の算出に用いる平均輝度の閾値には、任意の値を予め定めればよい。

そして、時間帯判別部１０４は、撮影画像の平均輝度と、該撮影画像の低輝度ブロック数と、を含む特徴量に基づいて、撮影時間帯を判別する。

具体的には、時間帯判別部１０４は、例えば、撮影画像の平均輝度と撮影画像の低輝度ブロック数を、時間帯判別時の特徴量として用いる。

本実施形態では、時間帯判別部１０４は、予め、撮影時間帯の判別に用いる時間帯認識辞書１８Ａを作成する。すなわち、時間帯判別部１０４は、撮影画像の時間帯判別処理より以前に、予め、時間帯認識辞書１８Ａを作成する。

本実施形態では、時間帯判別部１０４は、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）を用いた機械学習方法を用いて、時間帯認識辞書１８Ａを予め作成する。

詳細には、時間帯判別部１０４は、撮影時間帯ごとに予め撮影された複数の撮影画像を基準撮影画像として用いる。

基準撮影画像とは、信号機の信号を示す領域の検出に用いられる撮影画像とは別に、この検出処理より前に、撮影装置１２によって予め撮影された撮影画像である。まず、時間帯判別部１０４は、基準撮影画像における、平均輝度と低輝度ブロック数によって示されるサンプル点の群を、平均輝度と低輝度ブロック数によって定まる二次元空間に登録する。図９は、基準撮影画像における、平均輝度（Ｉａｖ）と低輝度ブロック数（Ｎｂｌｋ）によって示されるサンプル点の一例を示す図である。

図９中、サンプル点群４０Ｂは、夜を示す撮影時間帯に撮影された基準撮影画像における、平均輝度と低輝度ブロック数によって示されるサンプル点の群である。また、サンプル点群４０Ａは、昼を示す撮影時間帯に撮影された基準撮影画像における、平均輝度と低輝度ブロック数によって示されるサンプル点の群である。

時間帯判別部１０４は、昼のサンプル点群４０Ａと夜のサンプル点群４０Ｂとを分離する分離面（ここでは、直線Ｌａ）を、昼のサンプル点群４０Ａと夜のサンプル点群４０Ｂの各々の境界線（直線Ｌａ１および直線Ｌａ２）間の距離ｄ（マージンと称される場合がある）が最大となるように配置する。そして、時間帯判別部１０４は、この分離面（図９では、直線Ｌａ）を示す評価関数を算出する。下記式（３）は、この直線Ｌａを示す評価関数を示す式である。

上記式（３）中、ｆ（Ｉａｖ，Ｎｂｌｋ）は、撮影画像の平均輝度と撮影画像の低輝度ブロック数を時間帯判別時の特徴量として用いた場合の、評価関数である。式（３）中、Ａ、Ｂ、およびＣは、該評価関数の係数である。ここでは、評価関数ｆ（Ｉａｖ，Ｎｂｌｋ）または係数Ａ、Ｂ、およびＣが時間帯認識辞書１８Ａに対応している。

時間帯判別部１０４は、式（３）に示す評価関数を予め作成し、時間帯認識辞書１８Ａとして予め記憶部１８に記憶する。

時間帯判別部１０４は、撮影画像の撮影時間帯の判別時には、記憶部１８に記憶されている時間帯認識辞書１８Ａ（式（３）に示す評価関数）を用いて、該撮影画像の撮影時間帯を判別する。

詳細には、時間帯判別部１０４は、第１の算出部１１６Ｈおよび第２の算出部１１６Ｉによって算出した、撮影画像の平均輝度（Ｉａｖ）と低輝度ブロック数（Ｎｂｌｋ）を、式（３）に代入することで、評価関数ｆ（Ｉａｖ，Ｎｂｌｋ）の値を算出する。

そして、時間帯判別部１０４は、算出した評価関数ｆ（Ｉａｖ，Ｎｂｌｋ）の値が、予め定めた閾値以上である場合、該撮影画像の撮影時間帯が昼を示すと判別する。一方、時間帯判別部１０４は、算出した評価関数ｆ（Ｉａｖ，Ｎｂｌｋ）の値が、該閾値未満である場合、該撮影画像の撮影時間帯が夜を示すと判別する。この閾値は、判別対象の撮影時間帯の撮影環境の光強度に応じて、予め定めればよい。

なお、時間帯判別部１０４は、撮影画像の平均輝度と、該撮影画像の低輝度ブロック数と、該撮影画像におけるブロック毎の平均輝度の分散値と、を含む特徴量に基づいて、撮影時間帯を判別してもよい。

この場合、時間帯判別部１０４の第３の算出部１１６Ｊが、撮影画像におけるブロック毎の平均輝度の分散値を算出する。第３の算出部１１６Ｊは、第２の算出部１１６Ｉが分割したブロック毎の、平均輝度の分散値を算出する。例えば、時間帯判別部１０４は、下記式（４）を用いて、分散値（σ）を算出する。

式（４）中、σは、撮影画像におけるブロック毎の平均輝度の分散値を示す。式（４）中、Ｎは、撮影画像に含まれるブロック数（すなわち、ｍ×ｎの値）を示す。Ｉｉは、ｉ番目のブロックの平均輝度を示す。Ｉａｖは、撮影画像の全体の平均輝度を示す。

この場合、時間帯判別部１０４は、撮影画像の平均輝度と、該撮影画像の低輝度ブロック数と、該撮影画像におけるブロック毎の平均輝度の分散値と、を特徴量として用いる時間帯認識辞書１８Ａを、予め作成すればよい。

すなわち、時間帯判別部１０４は、撮影画像の平均輝度と、該撮影画像の低輝度ブロック数と、を特徴量として用いる場合と同様に、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）を用いた機械学習方法を用いて、時間帯認識辞書１８Ａを予め作成すればよい。この場合、時間帯判別部１０４は、基準撮影画像における、平均輝度と低輝度ブロック数と分散値とによって示されるサンプル点の群を、平均輝度と低輝度ブロック数と分散値によって定まる三次元空間に登録すればよい。

そして、時間帯判別部１０４は、上記と同様にして、昼のサンプル点群と夜のサンプル点群とを分離する分離面を、マージンが最大となるように配置する。そして、時間帯判別部１０４は、この分離面を示す評価関数を、時間帯認識辞書１８Ａとして算出すればよい。下記式（５）は、撮影画像Ｐの平均輝度、撮影画像Ｐの低輝度ブロック数、および分散値を、時間帯判別時の特徴量として用いる場合の、評価関数（時間帯認識辞書１８Ａ）である。

式（５）中、ｆ（Ｉａｖ，Ｎｂｌｋ，σ）は、撮影画像の平均輝度と撮影画像の低輝度ブロック数と分散値とを時間帯判別時の特徴量として用いる場合の、評価関数（時間帯認識辞書１８Ａ）である。式（５）中、Ａ、Ｂ、Ｃ、およびＤは、該評価関数の係数である。

このように、時間帯判別部１０４は、例えば、式（５）に示す評価関数を予め作成し、時間帯認識辞書１８Ａとして予め記憶部１８に記憶してもよい。

この場合、時間帯判別部１０４は、撮影画像の撮影時間帯の判別時には、記憶部１８に記憶されている時間帯認識辞書１８Ａ（式（５）に示す評価関数）を用いて、該撮影画像Ｐの撮影時間帯を判別する。

詳細には、時間帯判別部１０４は、第１の算出部１１６Ｈ、第２の算出部１１６Ｉ、および第３の算出部１１６Ｊの各々によって算出された、撮影画像の平均輝度（Ｉａｖ）、低輝度ブロック数（Ｎｂｌｋ）、および分散値（σ）を得る。そして、時間帯判別部１０４は、これらの平均輝度（Ｉａｖ）、低輝度ブロック数（Ｎｂｌｋ）、および分散値（σ）を、式（５）に代入することで、評価関数ｆ（Ｉａｖ，Ｎｂｌｋ，σ）の値を算出する。

そして、時間帯判別部１０４は、算出した評価関数ｆ（Ｉａｖ，Ｎｂｌｋ，σ）の値が、予め定めた閾値以上である場合、該撮影画像の撮影時間帯が昼を示すと判別する。一方、時間帯判別部１０４は、算出した評価関数ｆ（Ｉａｖ，Ｎｂｌｋ，σ）の値が、該閾値未満である場合、該撮影画像の撮影時間帯が夜を示すと判別する。この閾値は、予め定めればよい。

以上のようにして、時間帯判別部１０４は、画像取得部１０１により取得された撮影画像が撮影された時間帯を判別し、判別した撮影時間帯を選択部１０６へ出力する。

図２に戻り、認識処理部１６が有する機能の説明を続ける。位置情報取得部１０５は、自装置の位置情報を取得する。例えば位置情報取得部１０５は、ＧＰＳ装置などの外部装置から位置情報を取得することができる。位置情報取得部１０５は、取得した位置情報を選択部１０６へ出力する。

選択部１０６は、時間帯判別部１０４により判別された時間帯に対応する対象信号識別情報を選択する。また、選択部１０６は、位置情報取得部１０５により取得された位置情報（国または地域を特定可能）に対応する対象信号識別情報を選択する。より具体的には、選択部１０６は、時間帯判別部１０４により判別された時間帯と、位置情報取得部１０５により取得された位置情報（国または地域を特定可能）との組み合わせに対応する対象信号識別情報を選択する。

次に、信号領域認識部１０２による信号領域の認識方法について説明する。信号領域認識部１０２は、画像取得部１０１により取得された撮影画像のうち、信号機の信号色を示す信号画素を含む信号画素領域を抽出し、その抽出した信号画素領域を膨張した膨張領域に予め定めた形状の定型領域が含まれる場合、該定型領域を含む領域を信号領域として認識する。より具体的には、信号領域認識部１０２は、膨張領域に円形の定型領域が含まれる場合、該定型領域を含む領域を信号領域として認識する。

信号領域認識部１０２は、候補領域認識部１１１と、信号形状認識部１１２と、信号領域決定部１１３とを含む。候補領域認識部１１１は、画像取得部１０１により取得された撮影像画像のうち、信号機の信号色を示す信号画素を含む信号画素領域を候補領域として抽出（認識）する。信号形状認識部１１２は、候補領域認識部１１１により認識された候補領域を膨張した膨張領域に予め定めた形状の定型領域が含まれるか否かを認識する。信号領域決定部１１３は、候補領域認識部１１１による認識結果と、信号形状認識部１１２による認識結果とに基づいて、信号領域を決定する。以下、具体的な内容を説明する。

画像取得部１０１により取得された撮影画像が（Ｒ，Ｇ，Ｂ）色空間の画像データである場合、候補領域認識部１１１は、画像取得部１０１により取得されたＲＧＢ色空間の撮影画像（入力画像）を、（Ｙ，Ｕ，Ｖ）色空間の画像データに変更し、信号画素を抽出する。ここで、（Ｒ，Ｇ，Ｂ）の色空間と（Ｙ，Ｕ，Ｖ）の色空間との変換は以下の式（６）により行われる。

この例では、撮影装置１２によって予め信号機の信号を撮影して得られる撮影画像（「信号画像サンプル」と称する）を集めた学習により、信号機の信号の色値の範囲を示す信号認識辞書を予め作成しておく。例えば赤信号を示す（Ｕ，Ｖ）値分布と、赤信号以外の（Ｕ，Ｖ）値分布とを分離する分離面を、両者の間のマージン（距離）が最大になるように配置する。そして、その分離面を示す評価関数を、赤信号を認識するための赤信号認識辞書として算出することができる。以下の式（７）は、評価関数を表す式である。式（７）において、ｆ（Ｕ，Ｖ）は、赤信号認識辞書を示す評価関数であり、ａ，ｂ，ｃは、この評価関数の係数である。青信号認識辞書および黄信号認識辞書も同様の方法で作成することができる。

候補領域認識部１１１は、（Ｙ，Ｕ，Ｖ）色空間の撮影画像を構成する画素ごとに、該画素の（Ｕ，Ｖ）値を、各信号色（赤、黄および青の何れか）に対応する評価関数ｆ（Ｕ，Ｖ）に代入して、該評価関数ｆ（Ｕ，Ｖ）の値を求める。算出した評価関数ｆ（Ｕ，Ｖ）の値が、予め定めた閾値以上であれば、その画素は、対応する信号色の信号画素であると判断する。例えば最小値の閾値と最大値の閾値とを設けて信号画素を抽出してもよい。赤、青、黄色のそれぞれのＵの最小値および最大値、Ｖの最小値および最大値の閾値を設定してもよい。また、信号画素以外の画素の（Ｕ、Ｖ）値と重ならないように閾値を設定する。

図１０は、画素値の（Ｕ、Ｖ）空間での閾値処理で抽出した赤信号の画素例を示す図である。図１０の画像中の信号画素（赤信号を示す画素）を含む信号画素領域では、飽和した画素、ノイズ画素が含まれるので、抽出した信号画素領域は、赤信号を示す実際の領域の一部しかない。そこで、候補領域認識部１１１は、抽出した信号画素に対して、膨張処理を行う。膨張処理は、１画素に対して、オリジナルの信号画像からＮ×Ｎの画素ブロックを加える。例えばＮ＝７のとき、膨張対象の１画素に対して、オリジナルの信号画像から、７×７の画素ブロックを加える。図１１は、図１０の信号画素領域を膨張処理した後の画像例を示す図である。以下では、膨張処理した後の信号画素領域を「膨張領域」と称する。

信号形状認識部１１２は、膨張領域に対して、信号形状認識処理を行う。赤、青、黄信号に対して、円形抽出により、形状認識を行う。ここで、膨張領域に対して、円抽出により、形状認識を行う。円抽出処理はＨｏｕｇｈ変換により円抽出を行うことができる。信号形状認識部１１２により円が抽出された場合、信号領域決定部１１３は、その抽出された円領域に外接する矩形を求める。そして、信号領域決定部１１３は、この矩形領域を信号領域として決定し、該信号領域に対応する特徴量（認識結果を示す特徴量データ）を算出する。図１２に示す太線で描かれた円は、Ｈｏｕｇｈ変換により抽出した赤信号の円領域を示す。図１３に示す矩形領域は、信号領域決定部１１３によって決定された信号領域を示す。図５に示す矩形領域は、図４の撮影画像から認識された候補領域（赤信号を示す信号領域）を示す図である。

図１４は、本実施形態の認識処理部１６の動作例を示すフローチャートである。各ステップの具体的な内容は上述したとおりであるので、詳細な説明は適宜に省略する。図１４に示すように、まず画像取得部１０１は、撮影画像を取得する（ステップＳ１）。次に、信号領域認識部１０２は、ステップＳ１で取得された撮影画像のうち、信号機の信号を示す信号領域を認識する（ステップＳ２）。また、以上の処理と並行して、時間帯判別部１０４は、ステップＳ１により取得された撮影画像が撮影された時間帯を判別する（ステップＳ３）。

次に、選択部１０６は、ステップＳ３で判別された時間帯と、位置情報取得部１０５により取得された位置情報により特定される国または地域との組み合わせに対応する評価関数を選択する（ステップＳ４）。次に、判断部１０３は、ステップＳ２で認識された信号領域（特徴量データ）と、ステップＳ４で選択された評価関数と、に基づいて、該信号領域が対象信号を示す領域であるか否かを判断する判断処理を行う（ステップＳ５）。出力部１０７は、ステップＳ５の判断処理により、対象信号を示す領域であると判断された信号領域を、認識結果として出力する（ステップＳ６）。

以上に説明したように、本実施形態では、検出対象となる信号機の信号を示す対象信号を識別するために予め定められた対象信号識別情報と、信号領域認識部１０２により認識された信号領域と、に基づいて、該信号領域が、対象信号を示す領域であるか否かを判断する。本実施形態によれば、撮影画像に映り込んだ信号機の信号を高精度に認識することができる。

次に、撮影装置１２のハードウェア構成の一例を説明する。図１５は、撮影装置１２のハードウェア構成の一例を示す図である。

撮影装置１２は、撮影光学系２０１０、メカシャッタ２０２０、モータドライバ２０３０、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）２０４０、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ：相関２重サンプリング）回路２０５０、Ａ／Ｄ変換器２０６０、タイミング信号発生器２０７０、画像処理回路２０８０、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）２０９０、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２１００、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２１１０、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２１２０、ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２１３０、圧縮伸張回路２１４０、メモリ２１５０、操作部２１６０、および、出力Ｉ／Ｆ２１７０を備える。

画像処理回路２０８０、ＣＰＵ２１００、ＲＡＭ２１１０、ＲＯＭ２１２０、ＳＤＲＡＭ２１３０、圧縮伸張回路２１４０、メモリ２１５０、操作部２１６０、および、出力Ｉ／Ｆ２１７０は、バス２２００を介して接続されている。

撮影光学系２０１０は、被写体の反射光を集光する。メカシャッタ２０２０は、所定の時間、開くことにより、撮影光学系２０１０により集光された光をＣＣＤ２０４０に入射させる。モータドライバ２０３０は、撮影光学系２０１０およびメカシャッタ２０２０を駆動する。

ＣＣＤ２０４０は、メカシャッタ２０２０を介して入射した光を被写体の像として結像し、当該被写体の像を示すアナログの画像データをＣＤＳ回路２０５０に入力する。

ＣＤＳ回路２０５０は、ＣＣＤ２０４０からアナログの画像データを受け付けると、当該画像データのノイズ成分を除去する。また、ＣＤＳ回路２０５０は、相関二重サンプリングやゲインコントロールなどのアナログ処理を行う。そして、ＣＤＳ回路２０５０は、処理後のアナログの画像データを、Ａ／Ｄ変換器２０６０へ出力する。

Ａ／Ｄ変換器２０６０は、ＣＤＳ回路２０５０からアナログの画像データを受け付けると、当該アナログの画像データをデジタルの画像データに変換する。Ａ／Ｄ変換器２０６０はデジタルの画像データを画像処理回路２０８０に入力する。タイミング信号発生器２０７０はＣＰＵ２１００からの制御信号に応じて、ＣＣＤ２０４０、ＣＤＳ回路２０５０、およびＡ／Ｄ変換器２０６０にタイミング信号を送信することにより、ＣＣＤ２０４０、ＣＤＳ回路２０５０、およびＡ／Ｄ変換器２０６０の動作タイミングを制御する。

画像処理回路２０８０は、Ａ／Ｄ変換器２０６０からデジタルの画像データを受け付けると、ＳＤＲＡＭ２１３０を使用して、当該デジタルの画像データの画像処理を行う。画像処理は、例えばＣｒＣｂ変換処理、ホワイトバランス制御処理、コントラスト補正処理、エッジ強調処理、および、色変換処理等である。

画像処理回路２０８０は上述の画像処理が行われた画像データをＬＣＤ２０９０、または、圧縮伸張回路２１４０に出力する。ＬＣＤ２０９０は画像処理回路２０８０から受け付けた画像データを表示する液晶ディスプレイである。

圧縮伸張回路２１４０は、画像処理回路２０８０から画像データを受け付けると、当該画像データを圧縮する。圧縮伸張回路２１４０は圧縮された画像データを、メモリ２１５０に記憶する。また、圧縮伸張回路２１４０はメモリ２１５０から画像データを受け付けると、当該画像データを伸張する。圧縮伸張回路２１４０は伸張された画像データをＳＤＲＡＭ２１３０に一時的に記憶する。メモリ２１５０は圧縮された画像データを記憶する。

出力Ｉ／Ｆ２１７０は、画像処理回路２０８０で処理された画像データを、撮影画像Ｐとして、情報処理装置１０へ出力する。

なお上述の図２で説明したインタフェース部１４、および認識処理部１６に含まれる機能部の少なくとも一部を、信号処理ボード（信号処理回路）として撮影装置１２に実装してもよい。

次に、上記実施の形態の、情報処理装置１０のハードウェア構成を説明する。図１６は、上記実施形態の情報処理装置１０のハードウェア構成例を示すブロック図である。

上記実施形態の情報処理装置１０は、出力部８０、Ｉ／Ｆ部８２、入力部９４、ＣＰＵ８６、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）８８、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０、およびＨＤＤ９２等がバス９６により相互に接続されており、通常のコンピュータを利用したハードウェア構成となっている。

ＣＰＵ８６は、上記実施形態の情報処理装置１０で実行する処理を制御する演算装置である。ＲＡＭ９０は、ＣＰＵ８６による各種処理に必要なデータを記憶する。ＲＯＭ８８は、ＣＰＵ８６による各種処理を実現するプログラム等を記憶する。ＨＤＤ９２は、上述した記憶部１８に格納されるデータを記憶する。Ｉ／Ｆ部８２は、他の装置との間でデータを送受信するためのインタフェースである。

上記実施形態の情報処理装置１０で実行される上記各種処理を実行するためのプログラムは、ＲＯＭ８８等に予め組み込んで提供される。

なお、上記実施形態の情報処理装置１０で実行されるプログラムは、これらの装置にインストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供するように構成してもよい。

また、上記実施形態の情報処理装置１０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上記実施形態の情報処理装置１０における上記各処理を実行するためのプログラムを、インターネット等のネットワーク経由で提供または配布するように構成してもよい。

上記実施形態の情報処理装置１０で実行される上記各種処理を実行するためのプログラムは、上述した各部が主記憶装置上に生成されるようになっている。

なお、上記ＨＤＤ９２に格納されている各種情報は、外部装置に格納してもよい。この場合には、該外部装置とＣＰＵ８６と、を、ネットワーク等を介して接続した構成とすればよい。

１０ 情報処理装置
１４ インタフェース部
１６ 認識処理部
１８ 記憶部
１０１ 画像取得部
１０２ 信号領域認識部
１０３ 判断部
１０４ 時間帯判別部
１０５ 位置情報取得部
１０６ 選択部
１０７ 出力部
１１１ 候補領域認識部
１１２ 信号形状認識部
１１３ 信号領域決定部

特開２００９−２４４９４６号公報

Claims (9)

1. 撮影画像を取得する取得部と、
   前記取得部により取得された前記撮影画像のうち、信号機の信号を示す信号領域を認識する信号領域認識部と、
   検出対象となる信号機の信号を示す対象信号を識別するために予め定められた対象信号識別情報と、前記信号領域認識部により認識された前記信号領域と、に基づいて、前記信号領域が、前記対象信号を示す領域であるか否かを判断する判断部と、を備える、
   情報処理装置。
2. 前記対象信号識別情報は、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）を用いた機械学習方法を利用して予め作成される、
   請求項１に記載の情報処理装置。
3. 前記対象信号識別情報は、前記撮影画像のうち対象信号の領域と、前記対象信号とは異なる信号の領域を示す誤認識領域との分離面を示す評価関数である、
   請求項２に記載の情報処理装置。
4. 前記対象信号識別情報は、複数の時間帯ごとに予め定められ、
   前記撮影画像が撮影された時間帯を判別する時間帯判別部と、
   前記時間帯判別部により判別された時間帯に対応する前記対象信号識別情報を選択する選択部と、をさらに備える、
   請求項１乃至３のうちの何れか１項に記載の情報処理装置。
5. 前記対象信号識別情報は、国または地域ごとに予め定められ、
   位置情報を取得する位置情報取得部と、
   前記位置情報取得部により取得された位置情報に対応する前記対象信号識別情報を選択する選択部と、をさらに備える、
   請求項１乃至４のうちの何れか１項に記載の情報処理装置。
6. 前記信号領域認識部は、
   前記撮影画像のうち、信号機の信号色を示す信号画素を含む信号画素領域を抽出し、その抽出した前記信号画素領域を膨張した膨張領域に予め定めた形状の定型領域が含まれる場合、該定型領域を含む領域を前記信号領域として認識する、
   請求項１乃至５のうちの何れか１項に記載の情報処理装置。
7. 前記信号域認識部は、前記膨張領域に円形の前記定型領域が含まれる場合、該定型領域を含む領域を前記信号領域として認識する、
   請求項６に記載の情報処理装置。
8. 撮影画像を取得する取得ステップと、
   前記取得ステップにより取得された前記撮影画像のうち、信号機の信号を示す信号領域を認識する信号領域認識ステップと、
   検出対象となる信号機の信号を示す対象信号を識別するために予め定められた対象信号識別情報と、前記信号領域認識ステップにより認識された前記信号領域と、に基づいて、前記信号領域が、前記対象信号を示す領域であるか否かを判断する判断ステップと、を含む、
   情報処理方法。
9. コンピュータに、
   撮影画像を取得する取得ステップと、
   前記取得ステップにより取得された前記撮影画像のうち、信号機の信号を示す信号領域を認識する信号領域認識ステップと、
   検出対象となる信号機の信号を示す対象信号を識別するために予め定められた対象信号識別情報と、前記信号領域認識ステップにより認識された前記信号領域と、に基づいて、前記信号領域が、前記対象信号を示す領域であるか否かを判断する判断ステップと、を実行させるためのプログラム。

Images