JP2008287379A - 道路標識データ入力システム - Google Patents

Abstract

【課題】 計測車両で撮影される道路影像データから標識情報（種別とその位置）を抽出し、データベースとして構築するためには、長大な時間と工数を必要としていた。
【解決手段】 標識の認識とその位置を測量計算する機能とを、対話型認識編集システムのメニューから起動できるように構成し、認識処理を編集の前に実施してその標識候補の評価をアイコンの大きさで地図上に表示することにより、標識が認識された場所を容易に確認できるようにすると共に、測量計算に認識誤りの影響を受けないインタフェース構成により、オペレータ工数を低減する。
【選択図】 図８

Description

本発明は、カーナビゲーションシステムやITS(Intelligent Transfer System)において必要とする道路標識データベースの構築分野に係わり、特に車載カメラから撮像された道路影像から標識情報を抽出するのに、自動認識結果の確認と誤認識結果の修正を行なう工程の負荷を軽減するためのインタフェース技術に関する。

本来、道路標識は道路や交差点に設置されているが、その道路標識と同等の情報を車載端末に表示したり音声による注意喚起したりすることにより、ドライバーの安全運転や事故防止を支援するシステムの要求が高まっている。そのためには、道路標識の種類とその設置場所を関係つけた標識情報を獲得する必要がある。

道路や交差点に設置される道路標識には、車両の速度制限や進入禁止及び駐車禁止等の交通規制を提示するものと、交差点名称や方面行き先名称など案内情報を提示するものがある。この中で、前者の交通規制を提示する交通標識には、交通規制を指示するための定型的な指示情報、例えば速度制限(赤縁丸に速度数値)や駐車禁止(赤丸に白一線)や進行方向指示(矢印)など、を示すことを目的としているため、標識の種類としては60〜80パターン程度の有限個である。従来このような交通規制を示す道路標識を対象にして、車載の静止画カメラやビデオカメラの撮影影像を用いて標識の種類を自動的に認識する技術が数多く発表されている。例えば文献１では、道路標識が特定の色(赤・青・黄・緑・黒・白)で特定のパターンを持って記述されていることから、特定色のカラー分離と特定の形状(赤縁丸)に着目した画像認識技術が開発されている。又文献２では、色分離認識に太陽照度の影響が作用しないように色分離クラスタ閾値を最適に決定する方式が提案されている。更に文献３では車載カメラの影像から標識を高速に認識するためのスリット領域を設けた部分的領域を対象とする認識高速化方式が出願されている。

これらの画像認識技術を用いたリアルタイムの標識情報獲得方式を、車載システムの観点から捉えると、認識率が実用レベル（例えば95%以上）に達するのが難しく、何らかの人為的な判断や修正を要するため、必ずしも車載システムとして実用化されているわけではない。その代わりに、道路の撮影影像データと位置測位データとを計測車両のストレージに一旦蓄積してデータ入力センターに持ち帰り、バッチ的に入力編集することにより標識データベースとして構築し、カーナビゲーションシステムにそのデータベースを提供する方式が採られることが多い。このような標識データベースを構築する観点からは、最初からオペレータによる手動の入力方式を用いるのとインタフェース的には類似しているため、データベース構築のための編集機能の一部として認識機能を組み込むことが多く、これらのシステムを対話型認識編集システムと呼んでいる。

内村、他２：道路情景カラー画像における円形道路標識の抽出及び認識、電子情報通信学会論文誌ＡVol.J81-A-4, 1998 莫、他１：カラー画像における道路標識の認識、電子情報通信学会論文誌 Vol.J87-D-II,No.12, 2004 リンクス画像システム事業部編：HALCON活用法、(株)リンクス出版事業部, 2004 特開2000-293670号公報 特開2003-123197号公報

道路や交差点に設置される道路標識は、新規道路の開通に伴う新設や道路改修に伴う移設や事故や自然災害などによる消失が繰り返されている。新設の道路に関しては、道路設計図に道路標識の位置と種別が記載されているので、道路管理局などに納入された新設道路の設計図から標識情報を抽出して道路標識データベースを作成することは比較的容易と考えられるが、道路改修に伴う道路標識の変更は必ずしも総合的な設計図面として納入されないため、設計図からのデータベース構築は困難と判断される。又事故や自然災害などによる消失の場合には、必ずしも元の位置に同一種類の標識が設置しなおされる保証はない。そのため、道路標識データベースを作成するためには、道路に設置されている道路標識を実際に調査してその新設や変更された標識情報(標識の種別と位置情報)を得なければならない。

この調査作業を少しでも軽減するため、ビデオカメラと高精度位置センサーを搭載した計測車両を構成し、その車両の道路の走行とビデオ撮影・位置計測によるデータの蓄積とその撮影データの解析により、道路標識の情報を得る方式が開発されている。標識データベースを構築する作業の多くは、道路標識の種類が多い上にそのサイズが異なることから、オペレータによる撮影データの調査とその種類の判断と位置計測データ(多くの場合は計測車両に搭載されるステレオカメラによる計測等が使われる)との関係付け操作が行なわれる。このようなオペレータの操作は、計測車両の中でリアルタイムに行なうことができないので、計測車両によるデータ蓄積工程とオペレータによる編集工程とは別に行なわれることが多い。標識データベースの構築コストの大部分はこのオペレータの編集工程コストであるいっても過言ではなく、その工数の低減が問題になっている。

このような工数削減に最も効果的なのが、撮影データを対象にした自動的な標識認識の導入であり、その場合の工数低減の鍵となるのが標識認識の精度である。標識認識には各種の画像認識アルゴリズムが提案されており、既に示した文献１,２,３にはその標識の画像認識方式に関するアルゴリズムが詳細に記述されている。しかしこのような標識認識には、必ず認識見逃しや認識誤りが含まれる。従って、たとえ高精度の画像認識機能が用いられてとしても認識率は100%にはならないため、必ずオペレータによる認識結果の確認作業が発生する。しかもその操作は冗長で、撮像された長大な画像列の中から標識が現れているシーンを見つけ出し、認識されたそれぞれの結果が正しいかどうかを確かめていかなくてはならない。

計測車両から提供される撮像データには、たとえ１つの標識であっても複数の観測地点において撮像された画像列に出現するため、同一の標識に対して複数の認識結果が得られることになる。しかもその標識の認識精度は、その画像列に出現する標識の大きさ及び太陽光や影の影響に依存する。このような状況下で、標識データ入力のオペレータ操作を考えると、認識結果そのものの確認の前に、画像列のどの部分に標識が出現するのかを調べるのに長大な時間と工数を必要とすることが予想される。又、認識結果を地図上の測量位置に配置して表示し、その結果の良否を確認させるインタフェース方法も考えられるが、もし誤認識を起こしている場合にはその場所をみつけるのだけでなく、誤認識を引き起こしている画像の位置と原因を把握して認識結果に矛盾がないよう修正するのに多大なオペレータ工数を要する問題が発生する。

本発明は、このような問題を解決させるために考案されたもので、計測車両で撮影される画像データ列を対象にした標識認識の工程を標識出現予測認識と標識識別認識との２つの工程に分けて行い、オペレータには前段の標識出現予測認識の結果を用いた対話操作から開始して、後段の標識識別認識を動作させてその結果を確認する方式を提案するものである。上述したように、１つの標識に対して複数の撮影位置においてその標識が出現する画像列が提供されるので、同一の標識に対して複数の認識結果が得られることになる。しかもその認識精度は画像に現れる標識の大きさや太陽光などの撮影条件に依存するため、同一の標識に対して異なった認識結果となる可能性が高くなる。そこで、標識の特徴抽出を主体に構成した標識出現予測認識を行なうことにより、長大な画像列の中で標識が出現している部分とそうでない部分との区分けを行なう。その場合、特徴量の評価値の大きさに応じてランク付けを行い、オペレータ操作は最もランクの大きい位置から開始し、標識識別操作を対話メニューから起動させてその認識結果を確認するような構成とする。

更にこの標識出現予測認識の結果をオペレータに表示するためのインタフェースとして、その予測出現率を特徴量の評価値のランク付けに応じた大きさを持つ記号(例えば評価値に応じた半径を持つ円など)や表示色を持って提示することにより、最も高い認識率を期待できる標識撮影の位置をオペレータから容易に確認できるようにする。又この予測認識の確認の後に連続して行なわれる標識識別認識の効率を上げるため、標識出現予測位置、そのランク値、及びその標識識別認識の結果とが対応して分かるようにリスト表示して関連操作が容易となるようなインタフェースを設ける。

このようなインタフェース方式により、計測車両の車載カメラからの画像系列を対象にして、標識が画像上に出現する位置を事前に知ることができるため、標識データの編集入力を行なうオペレータはその予測ランク値の高い部分を注目して、標識識別処理を行なえばよいことになり、編集効率時間が短縮できる外に認識処理時間も削減できることになる。従って識データ工程は、大幅なデータ入力コストの削減が見込まれる。

本発明を実施するための一形態である標識データ入力システムの全体構成を図１に示す。本システムは以下の構成を有する。まず、標識データの認識や修正及びデータベース登録管理などを行なう中央処理装置(1)を中心に、オペレータの操作を指示するためのキーボードやマウス等で構成される指示装置(2)、及びそのオペレータが操作する途中経過や結果を表示して確認するための表示装置(3)がこの中央処理装置に接続された構成とする。そして、この中央処理装置が処理の対象とするのは、計測車両から提供される各種の測定データ(4)であり、又処理の出力とするのは、出力データ(5)である。

次に、中央処理装置のハードウエア構成としてはパーソナルコンピュータやワークステーションのCPUを中心としたメモリやストレージを備えた一般の計算機の構成でよいが、その内部のソフトウエア構成としては次のような処理部分により構成されるとする。計測車両の車載カメラからの影像を対象にして画面内に存在する標識部分を自動認識する標識認識部(10)、それらの標識認識された複数の画像を用いて標識位置を計算する測量計算部(11)、表示画面と指示装置を用いて対話的に処理対象領域を編集してこれらの処理を適用したり不具合部分を修正したりするための対話型編集入力部(12)、上記の処理系で必要な計測車両から提供される画像の管理や処理により得られた標識データを登録管理するデータベース管理部(13)、及びデータベース(14)、計測車両測定データをデータベースへ入力するためのデータ変換を行なうDB入力変換部(15)、及びデータベースの内容を外部環境へ出力するためのデータ変換を行なうDB出力部(16)で構成される。

中央処理装置(1)は汎用のコンピュータであり、DB入力、標識認識、測量計算、対話型編集入力、データベース管理、DB出力などの処理を行う。なお、この装置が外部と通信する機能を持っている場合、対話型編集入力部で行う処理以外の部分(10,11,12,13,14,15,16)は遠隔地にあるサーバなどで行うようにしてもよい。その場合、高性能なコンピュータで処理を行うことにより、対話編集処理部でのシステム応答を高速にすることが可能である。又対話型編集入力部が使用するデータの一部を対象にしたデータベースの管理をサーバ部と多重化させることにより、更に高速なる処理速度が得られるが、これらのシステム構成は上記の２つの形式に限定されるものではない。

上記システム構成における標識認識から対話型編集入力を経て標識データをデータベースへ登録するまでの一連の流れを、図２を用いて説明する。標識認識部(10)では、最初に色信号を色信号変換処理にてRGB信号系から人間の色彩感覚に近いHSI信号系に変換する(110)。その変換方法は、非特許文献２に示されているように、R(Red),G(Green),B(Blue)信号から、色相(Hue;色の違い),彩度(Saturation;色の濃さ),明度(Intensity;明度)信号系に変換することにあり、詳細な変換式は文献の通りなのでここでは省略する。次に色認識とノイズ除去処理(110)により、標識で使われている色成分(赤・青・緑・黄・白・黒)を、明度別に異なったバンド幅を持った閾値処理により抽出すると共に、その色成分を含む領域の周辺に付帯するノイズ成分を除去する。このようにして得られた標識画像を構成する画像成分を用いて、標識を形成する領域を外接長方形として抽出する候補領域抽出処理(120)を行なう。この外接長方形として標識候補が抽出できた領域には、標識候補領域として外接長方形の枠をなす図形を認識対象の画像の上に目立つ色(例えば黄色等)で重畳表示しておくものとする。

以上の100から120に至る一連の処理は、以降の一連の対話型認識修正処理(130から170)の前処理の位置付けでバッチ的に行なうか、又は以下の繰り返し処理の前に必要な分量だけオペレータから指定して行なう。以下のオペレータによる対話型認識編集処理は、処理対象が終了するまで繰り返す。この繰返し処理を行なう場合は、後述するような地図又は映像を背景として表示したウインドウを対象にして行なう。まずオペレータにより処理対象の最小単位とする計測車両から提供される１シーンの画像を観察して、前段で抽出された標識候補画像の外接長方形が表示されているかどうかを調べる。標識の候補画像を示す外接の長方形が存在するかどうかの判定処理(130)を行なった結果、提示されている場合にはその部分を標識識別処理(140)にかけ、標識の詳細な対象を認識する。そうでない場合には、対話型の編集・修正処理(150)を行なう。その処理には大きく分けて２つの編集・修正処理がある。１つは計測車両から提供されるシーンの中に標識があるにもかかわらず、前段の候補領域抽出処理で標識候補が抽出されなかった場合で、他は候補領域が標識とは異なる誤った対象を抽出した場合である。前者の誤りの場合には、標識領域をオペレータの手動操作にて外接長方形を指定すると共に、その標識の種別を入力する。後者の誤りの場合には、オペレータ操作により抽出された外接長方形を消去して、標識候補としない処理を行なう。これまでの処理により、標識候補が特定の標識として識別された画像の系列（２シーン以上）を対象にして、標識位置の測量計算処理(160)を行なう。そして、これらの標識の識別情報と位置情報とを関連付けた状態で、標識ＤＢへの登録処理(170)を行なう。

次に色認識とノイズ除去処理の詳細な流れについて、図３を用いて説明する。３つのHIS信号の中から２成分を使った組合せ回数(この場合には３回)分だけの繰返(111)を以下の処理系に対して適用する。この場合図４に示すように、横軸に明度(Intensity)、縦軸に彩度(Saturation)をとった場合について、明度幅に対応する彩度のバンド幅を持った閾値で２値化する方式を説明する。明度軸をn個の等間隔の幅で区切り、そのi番目の幅をなす[Ii, Ii+1]に着目すると、その明度幅に対応する彩度の下位閾値をBTiとし、上位閾値をUTiとする。このとき、彩度のバンド幅[BTi, UTi]の範囲内に属する画像成分を１とし、その他の画像成分を０とする(113)。このバンド幅を持った閾値処理をi=1〜nまでn回繰返すことにより、明度に応じた特定バンド幅の彩度を持った色成分の画像領域が抽出できる(114)。この新たに抽出されたi番目の領域成分は、前段のi-1で抽出された領域成分と同一となるように領域の連結を行なう(115)。但しそのi番目に抽出された領域成分の大きさが、特定の値以下となる場合にはノイズ成分として除去する(116)。又抽出された領域が、前段までに抽出された領域と重複する範囲を持つ場合には、その重複部分をOR演算により領域を結合させる処理を行なう(117)。但しこのOR演算を行なう前のそれぞれの重複領域には、そのi番目の繰返番号とバンド閾値番号を特性値として保持し、後から何色であったかが判別できるようにする。以上のような明度に応じたバンド幅彩度による２値化を行なうことにより、天候等による照度の変化や影等の影響が少ない安定した色認識を行なうことが可能となる。なお、ここで用いる各明度値に応じた彩度に関するバンド状の閾値データは、認識処理を行なう前に同類の撮影条件から得られるサンプルデータを対象にした調査処理により、予め決められるものとする。又ノイズ成分として用いる閾値もこれらのサンプルデータを対象にした調査処理により決められるものとする。ここまでの処理では、標識領域を切り出すためのシルエットができた段階であり、以降の処理では、標識領域内部の各色の形状判定とその組合せによる標識識別である。標識らしさの評定方法としては、前段までのシルエット抽出処理の評価と標識識別処理の評価とを足し合わせて提示するようにすべきであり、その評定値の割合は流動的に決まる。

次に上段までに認識された画像成分から標識をなす候補領域を抽出する処理の流れについて、図５を用いて説明する。まず、処理対象とする１つのシーンには、前段までの色認識処理によりＭ個の領域が抽出されているとし、その領域数だけ以下の処理を繰り返す(121)。標識全体の外形を正確に抽出するため、標識の内部に小型の文字又は記号を構成する白色で囲まれた黒色成分が存在するかどうかを調べ、その存在範囲を絞り込み、必要に応じて文字・記号領域として以下の標識領域抽出処理の対象にしないようにする(123)。独立した個々の領域の大きさの比較から、一定以上の大きな領域や又は逆に一定以下の微小な領域はノイズ成分として除去すると共に、残った領域の中に存在する浮島状態の画像の欠損や外形画像の傷成分を補填する処理を加える(123)。前段の処理で残った標識候補領域に対して外接長方形を計算する(124)。この外接長方形の面積及び縦横比等の特徴から、標識候補となる領域を更に限定する処理を行なう(125)。得られた外接長方形内部の画像に対して構成色や形状特徴を得て、標識候補領域の評価値を得る(126)。この段階での形状特徴の計算方法としては、色成分ごとに切り出された領域の外接長方形の縦横比率を得る程度にして処理の高速化を図る。この段階までに得られる認識結果は標識をなす候補画像領域であり、いわば標識の外形をなすシルエット画像領域を抽出したことと同等である。又この段階で得られた標識領域の評価値を第１の評価値として、後段で説明する対話型認識編集システムの処理対象の選定基準として用いる。
前段までに抽出された標識候補領域の内部の画像を対象にして、標識の識別を行なう処理の流れについて図６に従い説明する。標識候補領域内部の画像のパターンの判定により標識の種類を識別するためには、標識候補領域内の画像の特徴を計算すると共に、図７に示すような色と形の組合せ辞書を参照して標識としての評価値を得る(133)。その特徴評価値の計算方法の一例としては、各構成色や形状特徴等の標識iに関する個別の特徴評価値をf_ijとすると、標識iの特徴評価値F_iは、各特徴f_ijに対する評価ウエイト値w_jを組み合わせて下記数１で計算される。

但しウエイト値wjの具体的な設定方法の例としては、速度規制や駐車禁止等の標識に必ず含まれる赤色の円弧形状成分を重視する意味で、構成色のウエイト値wjを他の緑色の0.4や黄色の0.3よりも大きな0.8にして色特徴が大きく出るようにする外、形状特徴の円弧に相当する項目のwjを0.7にして他の矢印の0.5や文字の0.3よりも大きくして形状特徴が大きく反映されるように設定する。

この評価値が標識の種類別に一定の値以上になるかどうかの判定を行い(134)、一定以上の場合について第１番目の標識候補値として候補リストに登録する(135)。更に他の標識種類別の一定の値以上になった場合についても第２番目の標識候補値として候補リストに登録する。これを標識種別数分及び前段の絞込後方分だけ繰り返す(131)(132)a。なお、この(133)の処理系で行なう標識候補領域内部の画像を対象にした形状特徴の計算の方法としては、矩形や円形及び三角形などの形状特徴を定量化する手段であればどのようなものでもよく、例えば基本的な面積対周囲長の比率計算や文献3で示されているような形状解析ライブラリを利用した計算値を利用してもよい。以上の過程で得られる標識識別のための評価値を第２の評価値として定義し、後段で説明する対話型認識編集システムの処理対象の選定基準として用いる。

以上の手順によって、計測車両から提供される道路撮影影像を対象にした標識認識が実現する。以下本発明による対話型の認識編集システムを用いた道路標識入力インタフェースの実施例について説明する。

まず本実施例の処理を実行するハードウエア構成について触れると、既に図１において説明したように、中央処理装置(1)に表示装置(2)と指示装置(3)が接続された形態となる。この構成の中央処理装置内部の対話型認識編集部(12)に着目し、その処理の画面インタフェース部の構成について図８を用いて説明する。画面構成の左から、データの入出力や表示・認識・測量などの操作を行なうための操作制御部(210)、処理対象の地図や画像を大きく表示するための主表示画面(220)、シーンの前後関係や地図上の位置を把握するために副次的に地図や画像を表示するための副表示画面(230)、標識の認識候補を評価の高い順序で提示して確認入力を行なう候補表示画面(240)、主画面で指示した位置に関する緯度・経度・高さ等の詳細な数値情報の表示を行なう位置情報表示画面、主画面で指定された順番(系列)に従って認識された標識候補の種別をアイコンで示す認識系列画面(260)で構成される。次に、これらそれぞれの画面を使って、(14)のデータベースから影像DBを検索して、認識編集処理を加えた後に地物DBへ登録するまでの一連の処理の流れを説明する。

オペレータは操作制御画面(210)から、処理対象とする撮影影像データと計測車両の走行軌跡及びその背景となる地図をデータベースから検索し、220の主表示画面及び230の副表示画面に表示する。この場合の表示形態は図８に示すように、地図を背景に計測車両の走行軌跡を線で、その上に車載カメラで撮影した位置を丸印のアイコンで表示する。また副表示画面には、指示装置で指定された撮影位置のシーンとその１つ前の撮影位置で得られたシーンを並べて表示する。次に、操作制御画面の認識ボタンを指定することにより、標識認識処理が起動され、指定された位置から一定の数の撮影影像データの標識認識処理を実行する。その結果、主表示画面の地図上の撮影位置のアイコンが、認識評価値に応じてアイコンの色や大きさを変えて表示しなおす。このアイコン表示の変化根拠は、前段までに説明した第１の評価値又は第２の評価値との合計値を用いる。

この第２の評価値を得るための時間が長くかかる場合には、高速な第１の評価値だけを用いて行なってもよく、限定するものではない。但し第１の評価値だけを用いた場合には、後段で説明する標識候補の出現率が冗長になる可能性がある。又この認識処理は、オペレータ操作を開始する前に多量のシーンを対象にしてバッチ的に行なってもよい。オペレータ編集時にはその認識結果を得るにはそのファイル呼び出すだけでよく、認識処理を短縮することができる。

次にオペレータは、この標識が出現する可能性を示す評価の高い場所を主表示画面のアイコン表示から探し、その位置を指示装置により指定することにより、道路標識が現れているシーンの撮影影像を検索する。同時にそのシーン位置の一つ前のシーン位置の撮影影像も検索し、副表示画面部に並べて表示する。次に、標識認識処理により得られた標識候補が正しい結果となっているかどうかを確認するために、副表示画面部(230)にある画面切替ボタンを押すことにより、副表示画面のシーン影像画像と主表示画面の地図及びアイコン表示画面とを切り替える。その切替後の表示例を図９に示す。これによって、主表示画面は撮影影像データとなり、その画像位置を詳細に指定することが可能となり、標識候補領域の誤った抽出や抽出が失敗した領域の指定などを行なうことができる。標識認識処理によりこの主画面上には、認識候補となる標識画像の外接長方形が表示されると共に、その外接長方形内部の任意位置を指定すると、その識別された標識候補アイコンが候補表示画面に表示されるようにする。もしその認識結果が誤っている場合には、指示装置によって候補表示画面のアイコン選定メニューを操作することにより正しい標識となるように修正可能とする。一方、選択したシーン撮影影像の中に標識が含まれているにもかかわらず標識候補として抽出されなかった場合には、指示装置により標識を含む外形長方形を指定して、その画像をオペレータの判断で識別して、その候補表示画面のアイコン選定メニューを操作することにより正しい標識データを入力する。

このような認識結果の確認から修正までの一連の操作は、主表示画面(220)に表示されたシーン撮像画像を用いて行なわれ、その具体的な操作内容を、図10を用いて説明する。オペレータ指定により認識処理が実行されると、その結果の位置を主表示画面(220)上に外接長方形として表示するばかりでなく、識別結果をアイコンにて認識系列表示画面(260)の所定の位置(例えば図10に示されたシーンでは、認識結果を認識系列表示画面のマトリックス３列目に並べて表示している)に表示する。更に主表示画面上に指示装置により認識結果を示す外接長方形の内部を指定すると、候補表示画面(240)上にその外接長方形内部の画像を切出して拡大表示すると共に、認識評価値の高い順に識別結果をアイコンで並べて表示する。オペレータは、このような表示結果を見て標識の識別結果を判定する。その判定が正しい場合には、その認識結果を候補表示画面にアイコンとして表示する。一方、その認識結果の位置が誤って抽出された場合には外接長方形を消去すると共に認識結果のリストから消去する。一方認識すべき標識が抽出されなかった場合には、指示装置により外接長方形を手動で指定して、指示した位置の画像を候補表示画面に表示して、オペレータ判断により該当する標識となるアイコンを選択して認識結果のリストに追加登録する。

このような一連の操作にて入力されるのは、各シーンに現れる標識の画面上の位置と識別データだけである。標識データベースとしては、標識の実際の位置（緯度・経度と高さ）を入力する必要がある。この標識位置の測量は、多くの公知例で示されているように、認識対象の標識の大きさと高さを固定値に仮定すれば、カメラパラメータ（焦点距離や設置俯角等）と認識された対象の画素サイズから簡単な座標変換計算により求めることができる(特許文献１,特許文献２参照)。しかし実際には、標識の大きさと設置場所は固定値にはなっていないため、レーダー距離計やレーザー測長機、又は２つのカメラを用いたステレオ視による三角測量方式等が用いられる。また本実施例の場合には、計測車両による連続した撮像影像シーンが得られるので、１つのカメラによる走行方向に並んだ複数の撮影影像シーンを用いた三角測量により計算することができる。この方式は、特許文献２に示されている計算方式により実現可能であるが、測量計算の方式はそれに限られることはない。むしろ、この複数の撮影影像シーン列を用いた測量計算の場合に問題となるのは、少なくとも２つ必要となる同一の標識の撮像シーンの選定方法である。ところが各シーンには、GPSの受信状態の悪さから位置情報に大きな誤差が含まれていたり、標識画像が走行車両の陰に隠れて正規の画像サイズになっていない等の外乱が含まれていたりすることがある。そこで本実施例では、この測位対象とする標識が複数のシーンに出現する特性を利用して、複数の組合せから測位計算される測位計算値の中から、誤差の最も少ない組合せによる測位データを採用する方式とする。その具体的な計算方法を、図11の測位計算モデルを用いて説明する。この計算モデルは実際には３次元的なモデル記述が必要であるが、水平方向への投影図と垂直方向への投影図に分解した図面を用いて説明する。前提条件として、各画像について以下の値が与えられるものとする。
B ：カメラの緯度
L ：カメラの経度
Z ：カメラの標高
Aｈ ：真北方向に対するカメラ軸方向角
Aｖ ：水平面に対するカメラ軸方向角
Aｒ ：カメラ軸回りのカメラ回転角
Px ：標識画像座標
Py ：標識画像座標
F ：カメラ焦点距離
W×H：画素数
μ ：解像度
Aｖｏ：カメラ設置鉛直角
さらに、カメラ位置、方位角の観測精度は、以下の通りとする。
ΔX ：カメラ水平位置精度
ΔZ ：カメラ鉛直位置精度
Δα：カメラ方位角精度
ΔP ：画像上の標識座標精度
標識座標の算定は、各画像のカメラ位置（B,L,Z）と、カメラから標識への方位角を使用して、これを交差する位置の座標を求めればよい。ただし座標・方位角に誤差が含まれており、単純な数学処理ではこの値を求めることはできない。測量学的には標識が撮影されている画像データ毎にその位置と方位角を用いて、誤差最小化計算に基づいて標識座標を算定することは可能であるが、観測系での標識座標精度はメートルのオーダーになると想定されるため、計算は次のように簡略化できる。2枚の画像データを用いて、水平面及び垂直面での前方交会法により標識座標をそれぞれ計算することを基本とし、同一標識が撮影されている画像の複数組で算定した結果の中で最も精度が高いと推定される計算結果を採用する方針とする。２点間距離L、平均方位角β、交角２θで構成される三角形の辺長S1、S2は、下記の数２のようにして求められる。

以下に、前述の前方交会法を適応して、標識の座標（B,L,Z）を算定する方法を示す。
カメラ中心から標識への方位角の計算：
画像座標（Px,Py）から、画像中心を原点とした、水平・鉛直座標（Xp、Yp）の計算水平面に対して、カメラ水平軸がAr回転しているものとすると、下記数３で算定できる。

カメラ中心から標識への方位角の計算：
カメラの観測方位角と、上の画像座標と焦点距離Fとの間の角度の和として

次に基線の計算方法について述べる。まず、水平面計算における基線は2点の経緯度より、基線の長さL、方位角αは、下記数４。

次に鉛直面計算における基線は、2点の標高差を用いて、基線の長さL、方位角αを算定する。下記数５。

2点のカメラ中心から標識への方位角を、それぞれαｈ１、αｈ２とすると、水平面前方交会法計算に必要な基本数は、下記数６として求められる。

同様に、鉛直面の前方交会法計算に必要な基本数は下記数７となる。

前方交会法により求められた、三角形の辺長S1を用いて、以下の通り標識座標を算定する。下記数８。

以上より、標識座標は、下記数９として得られる。

次に既に述べた測位対象とする標識が複数のシーンに出現する標識の認識特性について、図12を用いて更に詳しく説明を加える。図12(a)で示すように、計測車両のカメラの位置がiの位置にある場合のカメラ撮影有効範囲をP_iS-P_iEとすると、計測車両位置の移動（１の位置から５の位置まで移動したとする）に伴いカメラ撮影有効範囲は図12(b)で示すようにP_1S-P_5Eに広がる。この場合、道路に設置された標識に該当する部分の画像の大きさが変わるため、標識候補としての評価値も変化する。その具体的な評価値としては既に図5の126示される標識領域として評価する第１の評価値、又は図6の133で示されるような標識識別のための第２の評価値、及びそれらの積算値等を用いる。そこでこれらの認識評価値を反映するための一方法として、図12(b)右側には各カメラ位置において、円の大きさを変えた表示様式を示している。即ち、標識候補としての評価値を最小値の１から最大値100にいたる幅に正規化したとして、その値に応じた半径の円表示を行なうことにより、どの場所で最も標識候補が観測できているのかが容易に分かるようにする。図12(b)の右側には、その評価値を円の大きさで反映した例を示しており、最も遠く離れた１の位置から標識画像の大きさに比例して２の位置及び３の位置と評価値が大きくなり、４の位置においては標識画像の一部が画面から隠れることの影響により認識評価値が下がりはじめ、５の位置においては完全にカメラ視野から外れて評価値がなくなるような例を示している。更にこの標識の設置位置は、図12(c)で示されるように、複数の標識が接近して設置される場合があり、その場合の標識候補の評価値は一部のカメラ位置では重なることになる。例えば図12(c)右側の標識候補の評価値を示す円表示において、１の位置から４の位置に至る範囲では標識Ａの画像に対する評価値が円の大きさに反映されるが、４の位置から８の位置に至る範囲では、標識Ｂの画像に対する評価値が円の大きさで反映され表示される。この場合４の位置においては、標識Ａと標識Ｂの両方の評価値が加算されることになるため、個々の標識単体の画像に対する評価値よりも大きく表示される。

標識データの認識編集を行なうオペレータは、認識メニューを指定して認識処理が行なわれた後に主表示画面の地図上に表示される標識候補の評価値の円の中で最も大きな表示位置を指定して、その標識認識の確認と修正を行なうほか、その一連の認識候補の評価位置から、その標識位置の測量計算を実行する。そしてその測量計算の結果得られる位置座標を主表示画面上の対応位置に標識の識別情報と共にアイコン表示する。この一連の測量計算から地図上のアイコン表示に至る操作の過程を図13を用いて説明する。主表示画面上に表示された地図上には、標識候補の評価値が半径の異なる円で表示されると共に、オペレータにより指定された一連の結果が画面下部の認識系列表示画面(260)に並べて表示される。その中でオペレータは、評価値の高い系列(290)に対応する認識結果を、認識系列表示画面の中から選択して指定して(図13下部点線で示された部分300)、その範囲に含まれる標識の位置を測量計算の対象とする。この測量計算の対象とする部分としては、２つ以上の標識画像を選択するものとし、２つ以上のものが選択された場合には、２つの画像シーンの組合せの回数だけ測量計算を繰り返し、その中で最も不確定な誤差成分が少ないと判断されるものをその標識の代表位置として採用する。そして、その測量計算位置に相当する地図上の位置に、識別された標識の種類に対応するアイコンを持って表示して(301)、オペレータにその測量計算の妥当性が確認できるようにする。標識アイコンの表示位置が大きくずれる場合には、オペレータにより妥当な位置へ修正可能とする。又認識系列表示画面へ標識候補を表示するための指定方法としては、主表示画面上のカメラ位置を示す点の位置を指示装置２を用いて画面から指定し、そこから一定範囲のカメラ位置の系列を選択して認識系列表示画面に表示するものとする。

実施例２としては、前段の実施例１と同一のハードウエア構成で実施されるものと仮定する。この構成の中央処理装置内部の対話型認識編集部(12)に着目し、その処理の画面インタフェース部の構成について説明する。実施例１では、認識処理実行後最初にオペレータへ提示されるのは、図８に示されたような主表示画面上の地図表示とその地図上に表示される標識候補の評価値を示す円表示であり、オペレータはその評価値の高い部分を指示装置から指定して認識系列表示画面に表示して、その中から特定の系列集合を指定したものに対して測量計算を行い、主画面上でその総量位置を確認するといった流れであった。このようなインタフェースのステップを採用する理由として、標識の認識率が高くない場合には標識認識の誤りが測量計算に影響するため、標識認識の誤りを測量計算の前に修正して、できるだけ認識誤りの影響を測量計算に与えないことを狙ったものである。一方、標識認識率が高い場合には、このような認識・修正過程と測量計算過程とを必ずしも分ける必要はない。即ち、標識の認識から、複数の標識候補を使った測量計算を連続して実行し、その認識結果を識別された標識と位置情報（緯度・経度・高さ）を用いて主表示画面の地図上にアイコン表示する。従って、オペレータへ最初に提示されるインタフェースとしては、図13に示されるように地図上には認識された標識種別のアイコンを使って測量計算対応位置に表示されたものを対象とする。オペレータは、その認識の結果の確認のためには、実施例１と同等に地図上の標識候補の評価値の高い部分を指定して、認識系列表示画面(260)に認識結果を並べて表示して確認するか、いきなり地図上に表示された標識アイコンを指定してそれに対応する標識候補をたどるかの処理を行なう。この認識処理と測量計算処理とは纏めて実行されるようにし、オペレータによる確認編集に関与する工数を少なくする。

以上の手順を繰り返し指定した位置まで認識・編集処理を続けることにより、オペレータは効率的に標識情報データベースを構築することができる。本実施例のように、本発明によれば、公知の標識データの入力方式によるデータベース構築コストに比べてより安価な構築が可能となる。

本発明を実施するためのシステム構成の一例。 本発明による全体処理の流れの例。 本実施例における色認識とノイズ除去処理フローの例。 色認識のためのバンド幅閾値の例。 候補領域抽出処理の流れの例。 標識識別処理の流れの例。 色と形状の組合せ辞書の例。 実施例１における対話型認識編集画面の構成の一例。 実施例１における副表示画面と入れ替えた表示画面の一例。 実施例１における確認編集の画面操作の一例。 実施例１における測位計算モデルの一例。 実施例１における計測車両カメラ位置と有効撮影範囲の一例。 実施例１における測量計算後対話型認識編集画面の一例。

符号の説明

１ 本発明のシステムを構成する中央処理装置部
２ 本発明のシステムを構成する指示装置部
３ 本発明のシステムを構成する表示装置部
210 本実施例１をなす対話型認識編集画面の操作制御画面例
220 本実施例１をなす対話型認識編集画面の主表示画面例
230 本実施例１をなす対話型認識編集画面の副表示画面例
240 本実施例１をなす対話型認識編集画面の候補表示画面例
250 本実施例１をなす対話型認識編集画面の位置情報表示画面例
260 本実施例１をなす対話型認識編集画面の認識系列表示画面例。

Claims (11)

1. 道路画像を入力とした標識認識部と画面操作から対話的な編集を行なう編集部とを備え、編集部から認識部の起動をかけ、認識結果を認識評価値とを共に画面に表示して、評価値の高い部分から確認と編集操作を行なうことを特徴とする道路標識データ入力システム。
2. 請求項１で示された構成に加えて、標識画像から位置を計算する測量部を備え、認識評価値に基づく編集操作を行なった部分の標識画像を使って、測量計算を行なうことを特徴とする道路標識データの入力システム。
3. 請求項１の認識評価値において、標識の存在する候補領域の抽出精度を評価する第１の評価値と、抽出後の候補領域画像から標識を識別する認識の評価を行なう第２の評価値とを備えることを特徴とする道路標識データの入力システム。
4. 請求項１の認識評価値において、請求項２の第１の評価値だけを使うことを特徴とする特徴とする道路標識データの入力システム。
5. 請求項１の認識結果と認識評価値とを共に画面に表示する方法として、認識されたその評価値に比例した大きさや色及び形状などを供えた文字や記号で表示することを特徴とする道路標識データの入力システム。
6. 請求項１の編集部において、地図や道路画像を広範囲に表示する主画面とそれらを小さく表示する副画面とを備え、その主画面の内容と副画面の内容とを相互に入れ替えて表示することを特徴とする道路標識データの入力システム。
7. 請求項６の編集部において、地図上に道路画像の撮影位置を撮影カメラ軌跡の上に記号や文字で表示して、その位置を指示装置で選択すると、その位置から隣接する複数の撮影位置における道路画像を副画面に表示することを特徴とする道路標識データの入力システム。
8. 請求項７の道路画像を副画面に表示する方法において、その副画面を隣接する順に複数枚表示することを特徴とする道路標識データの入力システム。
9. 請求項２の測量計算方式において、認識評価値に基づく編集操作を行なった部分の標識画像を使って測量計算を行なう場合、最低２枚の連続した複数枚の標識画像を使って計算すると共に、その複数枚から２枚の組合せの測量計算の中から誤差の最も少ない計算値を用いることを特徴とする道路標識データの入力システム。
10. 請求項２の標識画像を使った測量計算において、その測量計算値を用いて、地図上に対応する位置へ認識された標識のアイコンを使って表示すると共に、その位置を移動編集することが可能なことを特徴とする道路標識データの入力システム。
11. 請求項１の編集部において、認識部により得られた順番に認識結果を並べて表示すると共に、地図及び道路画像上の対応位置を円や外接長方形等のマーク表示することを特徴とする道路標識データの入力システム。

Images