JP2008009915A - 道路標識判定装置、方法及びプログラム - Google Patents

Abstract

【課題】道路標識の画像を短い処理時間で効率的に画像認識し、道路標識の種類を判定する。
【解決手段】道路標識判定装置は、例えば現地調査車両などに搭載されたカメラにより撮影された道路標識の画像データを画像認識して当該道路標識を判定するものであり、特に、指定方向外進入禁止の標識の判定に好適に使用される。画像認識は、予め用意されたテンプレートと、道路標識の画像データとのマッチングにより行われる。ここで、画像認識に使用されるテンプレートは、標識枠の円と１つの矢印を組み合わせた図形により構成される基本テンプレートを含む。基本テンプレートを用いた１次マッチングにより判定の対象となる道路標識の概要を得ることができる。１次マッチングの結果に応じて、使用する標識テンプレートを限定した上で２次マッチングを行うことにより、判定処理を効率化、迅速化することができる。
【選択図】図７

Description

本発明は、画像認識処理により道路標識を判定する方法に関する。

カーナビゲーション装置、ＰＣ上で動作し地図を表示するアプリケーションなどにおいて使用される地図データには道路標識のデータが含まれている。このような道路標識のデータは、実際の道路に設置された道路標識を撮影した画像データに対して画像認識処理を行うことにより取得される。車載カメラにより道路標識の画像を撮影し、画像認識処理により道路標識を抽出する例が特許文献１及び２に記載されている。

上記のような画像認識による道路標識の判定は、現実に存在する標識に対応するテンプレートを用意し、これらテンプレートと撮影した画像とのマッチングにより行われていた。

特開２０００−２９３６７０号公報 特開２００３−１２３１９７号公報

しかし、指定方向外進入禁止の標識には、進行可能な方向を示す複数の矢印が複雑に配置された他種類のパターンがある。よって、現実に存在する全ての標識に対応するテンプレートを用意し、それら全てを用いて画像データとのマッチングを行うこととすると、処理時間が非常に長くなってしまうという問題があった。

本発明が解決しようとする課題としては、上記のものが例として挙げられる。本発明は、道路標識の画像を短い処理時間で効率的に画像認識し、道路標識の種類を判定することが可能な道路標識判定手法を提供することを目的とする。

請求項１に記載の発明は、道路標識判定装置であって、予め用意されたテンプレートを用いて、道路標識の画像データの画像認識を行う画像認識手段と、前記画像認識の結果に基づいて、前記画像データに対応する道路標識を判定する判定手段と、を備え、前記テンプレートは、標識枠の円と１つの矢印を組み合わせた図形により構成される基本テンプレートを含むことを特徴とする。

請求項６に記載の発明は、道路標識判定方法であって、予め用意されたテンプレートを用いて、道路標識の画像データの画像認識を行う画像認識ステップと、前記画像認識の結果に基づいて、前記画像データに対応する道路標識を判定する判定ステップと、を備え、前記テンプレートは、標識枠の円と１つの矢印を組み合わせた図形により構成される基本テンプレートを含むことを特徴とする。

請求項７に記載の発明は、コンピュータ上で実行される道路標識判定プログラムであって、予め用意されたテンプレートを用いて、道路標識の画像データの画像認識を行う画像認識手段、及び、前記画像認識の結果に基づいて、前記画像データに対応する道路標識を判定する判定手段、として前記コンピュータを機能させ、前記テンプレートは、標識枠の円と１つの矢印を組み合わせた図形により構成される基本テンプレートを含むことを特徴とする。

本発明の１つの実施形態では、道路標識判定装置は、予め用意されたテンプレートを用いて、道路標識の画像データの画像認識を行う画像認識手段と、前記画像認識の結果に基づいて、前記画像データに対応する道路標識を判定する判定手段と、を備え、前記テンプレートは、標識枠の円と１つの矢印を組み合わせた図形により構成される基本テンプレートを含む。

上記の道路標識判定装置は、例えば現地調査車両などに搭載されたカメラにより撮影された道路標識の画像データを画像認識して当該道路標識を判定するものであり、特に、指定方向外進入禁止の標識の判定に好適に使用される。画像認識は、予め用意されたテンプレートと、道路標識の画像データとのマッチングにより行われる。ここで、画像認識に使用されるテンプレートは、標識枠の円と１つの矢印を組み合わせた図形により構成される基本テンプレートを含む。指定方向外進入禁止の標識は、進行可能な方向を示す１つ又は複数の矢印を有する図形により構成されている。従って、標識枠と１つの矢印を含む基本テンプレートを利用することにより、判定の対象となる道路標識の概要を得ることができ、判定処理を効率化することができる。

上記の道路標識判定装置の一態様では、前記画像認識手段は、前記画像データに対して相対的に前記基本テンプレートを所定角度ずつ回転させてマッチングを行い、複数の角度領域におけるマッチング結果を取得する１次マッチング手段と、当該マッチング結果に応じて、現実の道路標識に対応する標識テンプレートを用いてマッチングを行う２次マッチング手段と、を備える。

この態様では、基本テンプレートを用いた１次マッチングにより、対象となる道路標識画像の概要を取得し、それに基づいて、標識テンプレートを用いた２次マッチングの効率化、時間短縮を図る。

好適な例では、前記２次マッチング手段は、前記マッチング結果において所定レベル以上のマッチングが得られた角度領域のみについて、前記標識テンプレートを用いてマッチングを行う。他の好適な例では、前記２次マッチング手段は、前記マッチング結果においてマッチングが得られた数に基づいて、２次マッチングに使用する標識テンプレートを限定する。これらの手法により、複数の標識テンプレートを用いて行う２次マッチングの効率化、迅速化が可能となる。

また、好適な例では、前記基本テンプレートは、前記標識枠の円のサイズが同一であり、かつ、前記矢印のサイズが異なる複数のテンプレートを含む。これにより、矢印のサイズが異なる標識に対しても、１次マッチングの精度を確保することが可能となる。

本発明の他の実施形態では、道路標識判定方法は、予め用意されたテンプレートを用いて、道路標識の画像データの画像認識を行う画像認識ステップと、前記画像認識の結果に基づいて、前記画像データに対応する道路標識を判定する判定ステップと、を備え、前記テンプレートは、標識枠の円と１つの矢印を組み合わせた図形により構成される基本テンプレートを含む。この方法によっても、標識枠と１つの矢印を含む基本テンプレートを利用することにより、判定の対象となる道路標識の概要を得ることができ、判定処理を効率化することができる。

本発明のさらに他の実施形態では、コンピュータ上で実行される道路標識判定プログラムは、予め用意されたテンプレートを用いて、道路標識の画像データの画像認識を行う画像認識手段、及び、前記画像認識の結果に基づいて、前記画像データに対応する道路標識を判定する判定手段、として前記コンピュータを機能させ、前記テンプレートは、標識枠の円と１つの矢印を組み合わせた図形により構成される基本テンプレートを含む。上記のプログラムをコンピュータ上で実行することにより、上記の道路標識判定装置を構成することができる。

以下、本発明の好適な実施例を図面に基づいて説明する。

（道路標識判定手法）
まず、本発明の実施例による道路標識の判定手法について説明する。本実施例の手法は、各種の道路標識のうち、主として指定方向外進入禁止の標識について適用される。指定方向外進入禁止標識の例を図１（ａ）〜（ｅ）及び図２（ａ）〜（ｂ）に示す。図示のように、指定方向外進入禁止の標識は、基本的に矢印により進行可能な方向を示した図形となっている。進行可能な方向が１方向又は２方向程度であってその方向が直進、右左折などに対応する場合には、図１（ａ）〜（ｅ）に示すように、標識の図形は比較的単純な矢印の組合せパターンとなる。一方、進行可能な方向が３方向以上である場合や、進行可能な方向が直進、右左折などとは異なる方向である場合には、図２（ａ）〜（ｂ）に示すように、その図形は比較的特殊なものとなる。なお、図１（ａ）〜（ｅ）及び図２（ａ）、（ｂ）における数値（「００１」など）は、各形状の指定方向外進入禁止標識を示す標識コードである。

道路標識の判定は、実際の道路標識を撮影した画像データと、予め用意されたテンプレートとを用いた画像認識処理により行われる。即ち、画像データと、テンプレートとのマッチング度合いが所定レベル以上である場合に、その画像データの道路標識を、そのテンプレートに対応する道路標識であると判定する。このため、基本的には、現実に存在する各種の道路標識に対応するテンプレートを用意し、それら全てに対してマッチング処理を行えば、どのようなパターンの標識であっても判定できることになる。しかしながら、実際には、例えば図２（ａ）〜（ｂ）に示すような特殊なパターンの標識が存在する。よって、それら全てについてテンプレートを用意し、マッチング処理を実行すると、道路標識の認識処理に時間を要してしまう。

そこで、本実施例では、図２（ｃ）に例示するような基本テンプレートＢＴを用いる。指定方向外進入禁止の標識は、基本的に矢印の組合せ図形により構成されるので、基本テンプレートＢＴは、標識の枠を示す円、及び、その内部に配置された１つの矢印を含む図形により構成される。図２（ｃ）に示すように、基本テンプレートＢＴは１つのみの矢印を含む。好ましくは、矢印は矢尻の部分のみの形状であり、その矢印の長さは、少なくとも標識の枠を示す円の半径より短い。これは、後述するように、基本テンプレートＢＴを回転させてマッチングを行うためである。

道路標識の認識処理においては、まず、基本テンプレートＢＴを用いた認識処理を行う。具体的には、判定の対象となる道路標識画像に対して、基本テンプレートを相対的に回転させつつマッチングを行う（これを「１次マッチング」とも呼ぶ。）。図３は、道路標識画像が図１（ｃ）に示す標識である場合の例を示す。道路標識画像の所定方向（この例では、直進矢印方向）を基準方向（回転角０度）とし、道路標識画像を固定した状態で、基本テンプレートＢＴを所定角度ずつ回転させてマッチングを行う。図３の例では、図３（ａ）に示すようにまず基準方向（即ち回転角０度）方向でマッチングが成立し、次に図３（ｂ）に示すように回転角２７０度の方向で再度マッチングが成立する。なお、マッチングが成立するとは、道路標識画像と基本テンプレートＢＴのマッチング度合いが予め設定された所定レベルを超えることを言う。

このように、基本テンプレートＢＴを回転させつつ道路標識画像とのマッチングを行った結果を図４に示す。マッチング結果は、各道路標識画像の画像データ名毎に、マッチングが成立した位置、及び、その時の道路標識画像に対する基本テンプレートＢＴの相対的な回転角度を含む。図４の例では、画像データ「mark1」は図１（ａ）に示す標識に対応し、画像データ「mark2」は図１（ｃ）及び図３に示す標識に対応する。このように、基本テンプレートＢＴを用いたマッチング結果により、判定の対象となっている道路標識画像の概要をある程度把握することができる。

こうして、基本テンプレートを用いて１次マッチングを行った後、今度は実際の道路標識に対応するテンプレート（「標識テンプレート」と呼ぶ。）ＭＴを用いてマッチングを行う（これを「２次マッチング」とも呼ぶ。）。ここで、２次マッチングにおいては、１次マッチングの結果を利用する。なお、本実施例では、図１（ａ）〜（ｅ）に示す５種類の典型的な標識は実際の道路における使用頻度が高いため、対応する標識テンプレートＭＴ１〜ＭＴ５が用意されることとする。一方、図２（ａ）、（ｂ）に示す標識は、実際の道路における使用頻度があまり高くないため、特殊標識であるとして、標識テンプレートは用意されないこととする。

２次マッチングを行う際に１次マッチングの結果を利用する第１の方法を説明する。この方法では、１次マッチングの結果のうち、マッチング位置を用いる。例えば、１次マッチングにより図４に例示するマッチング結果が得られたとすれば、画像データ「mark1」に対応する標識は、マッチング位置が１つであるので矢印１つを含む図形であり、図１（ａ）、（ｂ）、（ｅ）のいずれかに示す標識であると推測することができる。よって、２次マッチングにおいては、図１に示す標識テンプレートＭＴ１、ＭＴ２及びＭＴ５のみを用いればよい。また、画像データ「mark2」に対応する標識は、マッチング位置が２つであるので矢印を２つ含む図形であり、図１（ｃ）又は（ｄ）に示す標識であると推測することができる。よって、２次マッチングでは、標識テンプレートＭＴ３及びＭＴ４のみを使用すればよい。なお、この場合、２次マッチング自体は、対象となる道路標識画像全体と、標識テンプレート全体に対して行われる。

このように、１次マッチングの結果を利用することにより、２次マッチングでは図１に示す５種類全ての標識テンプレートを用いる必要が無くなり、全体の道路標識判定処理に要する時間を短縮することができる。

次に、２次マッチングを行う際に１次マッチングの結果を利用する第２の方法を説明する。この方法では、１次マッチングの結果のうち、マッチング角度を用いる。１次マッチングで図４に示すマッチング結果が得られた場合、画像データ「mark1」はマッチング角度２７０度でマッチングが成立している。よって、２次マッチングでは、図１に示す５種類の標識テンプレートを用いて、マッチング角度２７０度付近の所定角度範囲についてのみマッチングを行う。「所定角度範囲」は、例えば回転角が±１０度範囲などに予め決定される。即ち、画像データ全体と標識テンプレート全体とのマッチングを行うのではなく、画像データ「mark1」の角度２６０〜２８０度の角度範囲と、各標識テンプレートの角度２６０〜２８０度の角度範囲とのマッチングを行う。図４における画像データ「mark2」の場合は、マッチング角度０度付近及び２７０度付近の所定角度範囲のみについて、それぞれマッチングを行う。これにより、全種類の標識テンプレートとのマッチングを行う場合でも、マッチング演算の対象となる領域が限定される分、処理時間を短縮することができる。

なお、２次マッチングにおいて、上記の第１の方法と第２の方法の両方を実施してもよい。

以上のように、本実施例では、まず、基本テンプレートを用いた１次マッチングを行い、その結果を用いて、標識テンプレートを用いた２次マッチングを行うので、１次マッチングの結果に応じて２次マッチングにおける演算処理量を減らすことができ、画像認識処理の効率化、処理時間の短縮が可能となる。

なお、図１（ａ）〜（ｃ）に示すように、実際には、図１（ａ）、（ｂ）、（ｅ）などの進行可能方向が１方向である標識と、図１（ｂ）、（ｄ）などの進行可能方向が２方向である標識とでは、矢印のサイズが異なっている。従って、１次マッチングにおいては、図２（ｃ）、（ｄ）に示すように、大小２種類の基本テンプレートを使用するとか、又は、１つの基本テンプレートにおける矢印のサイズのみを変更して複数回のマッチングを行うことにより、１次マッチングの精度を高めることが可能となる。

（標識情報作成装置）
図５に、本発明の実施例に係る道路標識判定方法を適用した標識情報作成装置１００の概略構成を示す。標識情報作成装置１００は、例えば、パーソナルコンピュータにより構成され、システムバス１１と、ＣＰＵ（Central Processing Unit）１２と、メモリ１３と、キーボード１４と、マウスなどの座標指示デバイス１５と、ディスプレイ１６と、プリンタ１７と、データベース１８を備える。ここで、キーボード１４、座標指示デバイス１５は入力装置である。また、ディスプレイ１６、プリンタ１７は出力装置である。ＣＰＵ１２は、標識情報作成装置１００全体を制御し、入出力装置の制御を行う。

ＣＰＵ１２、メモリ１３、データベース１８は、システムバス１１に接続される。キーボード１４、座標指示デバイス１５、ディスプレイ１６、プリンタ１７も、図示しないインタフェースを介してシステムバス１１に接続される。メモリ１３には、本実施例に係る道路標識判定プログラムが記憶されている。また、メモリ１３は作業メモリとしても使用される。

図６は、標識情報作成装置１００の機能ブロック図である。標識情報作成装置１００は、機能的には、画像データ格納部２１と、標識判定部２２と、標識判定結果格納部２３と、走行座標格納部２４と、座標付与部２５と、標識情報格納部２６とにより構成される。ここで、標識判定部２２及び座標付与部２５は、図５に示すＣＰＵ１２がメモリ１３に記憶されたプログラムを実行することにより実現される。画像データ格納部２１、標識判定結果格納部２３、走行座標格納部２４及び標識情報格納部２６は、図１に示すデータベース１８内に構成することができる。

以下、本実施例による標識情報作成処理について説明する。

画像データ格納部２１は、実際の道路標識をカメラなどにより撮影して得られた画像データを格納している。ここでは、各画像データには「mark1」、「mark2」などのデータ名が付されているものとする。各画像データは、標識判定部２２に送られる。

標識判定部２２は、前述の標識判定方法により、各画像データに対応する道路標識を判定する。図７に、標識判定処理のフローチャートを示す。まず、標識判定部２２は、画像データ格納部２１から画像データを読み込み（ステップＳ１１）、前述のように、基本テンプレートＢＴを用いて１次マッチングを行う（ステップＳ１２）。１次マッチングによりマッチングが得られない場合には、処理は終了する。一方、マッチングが得られた場合には、例えば図４に示すようなマッチング結果を取得する（ステップＳ１３）。

次に、標識判定部２２は、マッチング結果に基づいて前述の第１の方法及び／又は第２の方法により、２次マッチングの対象を限定し（ステップＳ１４）、標識テンプレートＭＴを用いて２次マッチングを行う（ステップＳ１５）。２次マッチングにより、所定レベル以上のマッチングが成立した場合には（ステップＳ１５；Ｙｅｓ）、最も高いマッチング度が得られた標識テンプレートに対応する道路標識を当該画像データに対応する道路標識と決定し（ステップＳ１６）、処理を終了する。一方、いずれの標識テンプレートについても所定レベル以上のマッチングが成立しない場合は（ステップＳ１５；Ｎｏ）、その画像データに対応する道路標識は特殊標識であると判定し、処理を終了する。なお、特殊標識であると判定された画像データについては、例えば人間による判定など、他の処理が施される。

こうして、標識判定処理により道路標識が判定されると、画像データと、その画像データに対応する標識の標識コードとが対応付けされて標識判定結果格納部２３に記憶される。標識判定結果格納部２３の記憶内容例を図８（ａ）に示す。

次に、座標付与部２５は、走行座標格納部２４から走行座標データを取得する。走行座標格納部２４の記憶内容例を図８（ｂ）に示す。図示のように、走行座標格納部２４には、カメラを搭載した現地調査車両などにより撮影された各画像データと、それらの画像データが撮影された地点に関する情報とが対応付けされて記憶される。具体的には、各画像データの撮影地点番号と、その位置（緯度及び経度）と、その地点における現地調査車両の進行方向とが、画像データ毎に記憶されている。

また、座標付与部２５は、標識判定結果格納部２３から、各画像データに対応する標識コードを取得する。そして、座標付与部２５は、画像データ名をキーとして、各撮影地点番号と、その位置と、その地点における現地調査車両の進行方向と、その地点に存在した道路標識の標識コードとを対応付けし、標識情報として標識情報格納部２６に記憶する。標識情報格納部２６の記憶内容例を図８（ｃ）に示す。

以上のように、本実施例の標識判定処理を利用して、現地調査により得られた道路標識に関する標識情報が作成される。この標識情報は、例えば地図データなどに利用される。

［変形例］
上記の実施例では、基本テンプレートを用いて１次マッチングを行った後、さらに標識テンプレートを用いて２次マッチングを行って、道路標識を判定している。その代わりに、１次マッチングのみを用いて道路標識を判定することとしてもよい。その場合には、図４に例示するように、マッチング位置の数とマッチング角度とを用いて、道路標識の形状を決定する。即ち、マッチング位置の数は矢印の数を示し、マッチング角度は矢印の方向を示しているので、これらの情報に対応する矢印の数及び方向を有する指定方向外進入禁止の標識を、当該画像データに対応する標識と決定すればよい。

道路標識及び標識テンプレートの例を示す。 道路標識及び基本テンプレートの例を示す。 基本テンプレートを用いたマッチング処理を説明する図である。 基本テンプレートを用いたマッチング結果の例を示す図表である。 実施例による標識情報作成装置の構成図である。 標識情報作成装置の機能ブロック図である。 標識判定処理のフローチャートである。 標識判定結果、走行座標及び標識情報の記憶内容例を示す図表である。

符号の説明

１１ システムバス
１２ ＣＰＵ
１３ メモリ
１４ キーボード
１５ 座標指示デバイス
１６ ディスプレイ
１７ プリンタ
１８ データベース
１００ 標識情報作成装置

Claims (7)

1. 予め用意されたテンプレートを用いて、道路標識の画像データの画像認識を行う画像認識手段と、
   前記画像認識の結果に基づいて、前記画像データに対応する道路標識を判定する判定手段と、を備え、
   前記テンプレートは、標識枠の円と１つの矢印を組み合わせた図形により構成される基本テンプレートを含むことを特徴とする道路標識判定装置。
2. 前記画像認識手段は、
   前記画像データに対して相対的に前記基本テンプレートを所定角度ずつ回転させてマッチングを行い、複数の角度領域におけるマッチング結果を取得する１次マッチング手段と、
   当該マッチング結果に応じて、現実の道路標識に対応する標識テンプレートを用いてマッチングを行う２次マッチング手段と、を備えることを特徴とする請求項１に記載の道路標識判定装置。
3. 前記２次マッチング手段は、前記マッチング結果において所定レベル以上のマッチングが得られた角度領域のみについて、前記標識テンプレートを用いてマッチングを行うことを特徴とする請求項２に記載の道路標識判定装置。
4. 前記２次マッチング手段は、前記マッチング結果においてマッチングが得られた数に基づいて、２次マッチングに使用する標識テンプレートを限定することを特徴とする請求項２又は３に記載の道路標識判定装置。
5. 前記基本テンプレートは、前記標識枠の円のサイズが同一であり、かつ、前記矢印のサイズが異なる複数のテンプレートを含むことを特徴とする請求項１乃至４のいずれか一項に記載の道路標識判定装置。
6. 予め用意されたテンプレートを用いて、道路標識の画像データの画像認識を行う画像認識ステップと、
   前記画像認識の結果に基づいて、前記画像データに対応する道路標識を判定する判定ステップと、を備え、
   前記テンプレートは、標識枠の円と１つの矢印を組み合わせた図形により構成される基本テンプレートを含むことを特徴とする道路標識判定方法。
7. コンピュータ上で実行される道路標識判定プログラムであって、
   予め用意されたテンプレートを用いて、道路標識の画像データの画像認識を行う画像認識手段、及び、
   前記画像認識の結果に基づいて、前記画像データに対応する道路標識を判定する判定手段、として前記コンピュータを機能させ、
   前記テンプレートは、標識枠の円と１つの矢印を組み合わせた図形により構成される基本テンプレートを含むことを特徴とする道路標識判定プログラム。

Images