JP2016006654A - 視界映像情報生成装置 - Google Patents

Abstract

【課題】表示する画像情報を切り替えるときに画像情報の撮影点と撮影位置の相違に起因する視差が原因で発生する映像の不連続現象を解消する。
【解決手段】撮影された時の撮影位置情報と撮影方向とを関連付け、その画像情報が取得されたときに撮影されたサブ領域を関連付けて記憶するデータベースと、視点経路上に配置される複数の位置と視線方向とを指定する経路視点指定装置と、経路視点指定装置により指定された視点経路上から指定された視線の方向を見る場合の映像情報を検索し動画情報を生成する動画生成エンジンであって、データベースに記憶されている、サブ領域に関連付けられている撮影方向情報を参照し、視点経路上の複数の位置それぞれにおける視線の方向に位置するサブ領域を含む画像情報とその画像情報に関連付けられている撮影位置情報とを検索する動画生成エンジンとを備える。
【選択図】図１

Description

本発明は、視界映像情報生成装置に関する。特に、市街地を含む地上の景観について視界映像を生成するシステムにおいて、航空機等において上空から撮影した航空写真、あるいは路上において地上で撮影した写真を利用してするシステムおよび視界映像情報を生成する装置に関し、また、地上を様々な角度から撮像した写真を利用する３次元都市視界映像を生成表示する装置に関するものである。特に、地上を様々な角度から撮像した写真を利用する視界映像システムにおいて、対象物の位置基準面からの高さ方向の距離による視差による視界画像表示位置のずれを使用する写真を切り替えるときに補正し、滑らかな連続表示を実現する。

従来、市街を含む地上の景観の視界映像を表示する方式として、市街および地形の立体モデルを作成し、該表面をテクスチャーマッピングにより貼り付け、得られた３次元モデルに対して３次元画像処理により視界映像を得る方法がある。この方法は、教科書的な方法で広く行われているが、立体モデルを作成する工数と立体モデルが構成するポリゴンにテクスチャーを貼り付ける工数がかかり、とくに実写真をテクスチャーマッピングにより貼り付ける場合にはリアリズムは高くなるが、極めて多くの工数が必要でコスト高となり、即応性にもかける欠点がある。

特許文献２の方法はステレオ写真測量と同じ原理で、リアルタイムで対象物の３次元情報を得ている。すなわち、２つの共通な撮影対象物のパノラマ画像の対応点の情報を利用して、三角測量法により撮影対象の３次元情報を得る。表示に際して使用するパノラマ画像の組み合わせが変化するたびに三角測量法により撮影対象の３次元情報を得て、パノラマ画像の隣接する対応点を結ぶとポリゴンが形成されるが、このポリゴンごとへのテクスチャマッピングを行う。さらに一般に行われている３次元動画生成元のポリゴン情報から視界生成の行列変換をおこなう。

特許文献３の方法はひずみのない画像をリアルタイムに表示するパノラマ・ビデオ・システムであり、実画像を撮影してパノラマ画像を動画で生成するシステムである。パノラマ環状レンズ（ＰＡＬ）システム、ビデオカメラ、及びＰＣベースのソフトウェア・システムから構成され、ＰＡＬシステムは、双曲面鏡及び楕円面鏡の２つのミラーで３６０度の水平視野と９０度の垂直視野をビデオカメラに写しこむ。再生時にはソフトウェア・システムで撮影された画像を３６０度のビデオ画像をシームレスでひずみのない水平画像にリアルタイムに展開するものである。展開するためのシステムはレイ・トレーシング・プログラムであり、ひずみのある球面画像を、カルテシアン座標上の平面パノラマ画像に変換し、画像をリアルタイムで得る。グラフィック・ユーザ・インターフェース（graphic use interface、ＧＵＩ）を用いて、任意の破断点（パノラマ画像の中心線）の決定、ズーム・イン或いはズーム・アウト機能、及びビルトイン較正が可能である。

これらの方法はいずれも都市の立体構造諸元すなわち３次元モデルを生成するために時間とコストを要し、さらに建物等の立体の外壁を実際と同一にするためには、外壁のパターン情報または、画像情報を張り付ける（テクスチャ貼り付け）必要があった、このテクスチャ貼り付け情報、言い換えるとテクスチャ貼り付けのための情報としては３次元物体の全ての方向からの情報が不可欠であり、その取得とテクスチャ貼り付けに多大の労力とコストを要するものであった。このように、任意の空中経路と視線から任意の都市部分の景観を３次元映像で表示することは強く望まれていたにもかかわらず、テクスチャ貼り付けの精度を十分に現実的にできない、あるいは、情報の更新周期が長くなり、表示する映像の新鮮度、正確さに難点が生じることが多かった。

これらの技術の欠点を解決する方法として特許文献１「画像情報出力方法」になる方法があり、航空機等において空中で高密度のメッシュ点で多方向の画像を広範囲に撮像できるシステムを構築し、これら大量の画像をデータベース化し、都市の任意の位置を任意の視点で任意の方向から見た場合の最も視差の少ない画像を高速に検索するシステムを構築し、さらに指定した視点、視線、都市中の位置に対応して最も視差の少ない画像から連続的になめらかな映像を生成するモーフィングを行う。さらに地上においても人間目線のリアルな映像を作るために、都市のあらゆる道路上ないし通路上であらゆる方向の画像を高密度に取得する専用の車載等のシステムを構築し、取得した大量の画像をデータベース化し、都市の路上の任意の位置を任意の人間目線で任意の方向から見た場合の最も視差の少ない画像を高速に検索するシステムを構築し、さらに指定した視点、視線、都市中の位置に対応して最も視差の少ない画像から連続的になめらかな映像を生成するモーフィングを行うものである。特許文献４の方法は、特許文献１の技術を用いた、対象地域が線状の場合の応用例である。

特願2009-119484号 特開2006-350852 特願2006-517853 特許第4418857号

しかしながら特許文献１の方法は、地表に関するDEM（digital elevation model））情報以外に地上構造物の高さ情報を持っていないため、視点位置、視線方向、実写画像の位置情報だけからでは地表構造物の高さに起因して生じる視点位置の相違による視差を解消することが原理的に不可能である。また、この問題を解決する方法も従来考えられていなかった。都市構造物の３次元情報を計測し３次元モデルを生成し、さらのその表面に実画像によるテクスチャー貼り付け等の手数を経ずに実写真によるリアリティーの高い視界映像を短時間で得られる利点がある反面、建物等の３次元情報を持っていないため、視界映像生成に使用する実写画像を切り替える時点で視差による映像の位置ずれが発生し、滑らかな視界映像が得られないという欠点があった。 本発明は、このような実情に鑑みてなされたものである。

本発明の一実施形態として、視点位置、視線方向、実写画像の位置情報だけからでは解消できない地表構造物の高さに起因して発生する異なった視点に対する視差を画像認識技術を用いて解消した。すなわち、同一の地物を視線で捉えながら視点を移動させると、特許文献１の方法では、使用する実写画像を切り替える時点で、視差により視界映像の連続性が保てなくなるが、視界画像中の特定地物の注目点を限定すれば、実画像の切替前後の前記地物を見る視点は近接しており、また視線方向も近い。すなわち、視界映像の位置連属性が保てないにせよ、特定地物の注目点は視界映像内で近接した箇所に存在しており、視界映像内の地物の形状も類似性が高い。このことに注目して視界映像内での特定地物の注目点を中心に画像マッチングを行い、マッチングした画像の位置が重なるように実写画像切替時の視界映像の表示座標をずらし、必要に応じて拡大縮小倍率を変更するのである。

さらに本発明が用いる特許文献１の方法では、同一の地物に対して異なる視点から撮影した実写画像を用いた視界映像は視差により完全には一致しない。このため位置あわせの画像マッチングを行うのは視界内の特定の部分を中心に行う必要があり、本発明の一実施形態として、選択により（１）画像の中央部分、（２）カーソルで指定した部分、（３）アイトラッカーなどの視線検出器により検出した視界映像画面上の位置を基準として、マッチングした画像が重なるように実写画像切替時の視界映像の表示座標をずらすのである。

また、本発明の一実施形態として、前記画像マッチング処理を視界映像生成時間に影響を与えないように行うため、視界映像生成処理と並行して同期を取りながら別プロセッサで並列処理により実施する。またこの並列処理の形態として、同一ＣＰＵチップ内に複数のコアを含み、複数のスレッドを有するＩｎｔｅｌ ｉ７のようなＣＰＵを使用して並列処理をさせることが好ましい。

また、本発明の一実施形態として、画像マッチングを高速に実行する必要があるため、各実写画像に対して画像マッチングを容易にできるように事前に加工を行い、各実写画像と共にメモリに事前に記憶しておくこともできる。こうのような画像マッチング用の画像は専ら計算処理に使用するものであるので、画像のサブ領域ごとの輝度分布が平準化するように処理したものが適している。

以上のように、、３次元数値モデル生成と建造物の表面に対するテクスチャ貼り付け処理を行わずに、実画像を用いて任意の場所に対して任意の視点経路と視点方向に対する視界映像を画像取得から短時間で生成することができる特許文献１の方法に対して、この方法が対象物の３次元情報を持っていないが故に発生する、視界生成に使用する実写画像の切替時に発生する映像の位置ズレを補償し、視界映像の不連続性を解消してなめらかな映像を得ることができる。

以下、本発明を実施するための形態について、図面を参照しながら詳細に説明を行なう。なお、本発明は以下の説明に限定されることはなく、その要旨を逸脱しない範囲において種々に変形を加えて実施することが可能である。
本発明は特許文献１の改良発明であるため、まず特許文献１になる方法を図２から図４を用いて説明する。図２は、実写画像取得の概念を示す図であり、本発明の最大のかつ共通の技術的特徴は、視界映像生成において第一に対象地物の３次元モデルを生成しないことであり、第二に生成した３次元モデルに外壁面パターンないし外壁面写真をテクスチャ貼り付けしないことである。これら人手とコストが必要な作業を排除する代わりに、対象地物のあらゆる位置について事前にあらゆる方向から実写画像を取得しておき、これを必要に応じて選択、変形して利用することである。

航空機151はディジタルカメラ集合体光軸方向153に示す方向を指向する多数のディジタルカメラを収容したディジタルカメラ集合体を搭載し、飛行経路150に沿って飛行しながら、一定間隔ごとの撮影ポイント152で地表を撮影する。飛行経路150と撮影ポイント152を網目状に濃密に設定し同時に多方向の画像を撮影することにより、図3に示す該充分小さい立体角の範囲ｉ180ごとの画像を取得する。

図３では都市160の上空を覆う天球181を充分小さい立体角の範囲ｉ 180で示すように半頂角２度から４０度の円錐ないし正６角柱で分割する。この立体角は半頂角θ度に対して2π(1-cosθ)で計算され、最小0.04ステラジアンから最大0.59ステラジアンの範囲で、地表近くを除く天球181を分割し、地表のあらゆる場所の画像を該立体角ごとに準備する。航空機151に搭載した多方向を撮影可能なディジタルカメラ集合体はこの目的に供する。

図４は特許文献１になる視界映像発生の概念を説明した図である。図３で示すように都市160に対して天球の多方向から撮影した実写画像が用意されているので、これを用いて図４における視界映像を生成する。例として、視点経路P(t) 200に沿って視点が時刻ｔとともに移動し、その間、地表を目標トラジェクトリT(t) 20７に沿って視界にとらえる。該目標トラジェクトリT(t) 20７は該視点経路P(t) 200上の位置から、時刻ｔ の視線201、時刻ｔ+δｔ の視線202、時刻ｔ+2δｔ の視線203、時刻ｔ+3δｔ の視線 204、時刻ｔ+4δｔ の視線205、および時刻ｔ+5δｔ の視線206によりδｔごとにとらえられた地表上の軌跡である。

該視点経路P(t) 200からの該目標トラジェクトリT(t) 20７に対する都市景観視界映像を生成する方法として、時刻ｔの視線201から時刻ｔ+5δｔの視線206に近く視差の少ない空中画像ｉ 190および空中画像ｉ+1 191を実写画像テ゛ータヘ゛ース１０１より検索し、時刻ｔ の視線201、時刻ｔ+δｔ の視線202、および時刻ｔ+2δｔ の視線203の間は最も視線が近い空中画像ｉ 190を原画像として使用して、時刻ｔ の視線201、時刻ｔ+δｔ の視線202、および時刻ｔ+2δｔ の視線203と空中画像ｉ 190の視線の間の視点の相違による視差を空中画像ｉ 190に対するモーフィング処理で補正し、時刻ｔ+3δｔ の視線 204からは空中画像ｉ 190よりも空中画像ｉ+1 191の方が視点の相違による視差が少ないと判断して空中画像ｉ+1 191を原画像に切り替え、時刻ｔ+3δｔ の視線 204、時刻ｔ+4δｔ の視線205、時刻ｔ+5δｔ の視線206と空中画像ｉ+1 191の視線の間の視点の相違による視差を空中画像ｉ+1 191に対するモーフィング処理で補正することにより滑らかな該目標トラジェクトリT(t) 210に沿った都市景観の視界映像生成を行うのである。なお、モーフィング処理を行わずに空中画像ｉ 190と空中画像ｉ+1 191を切り替えるだけでもよい。

しかしながら前記特許文献１の方法は、地上構造物の高さ情報がないため、視点位置、視線方向、実写画像の位置情報だけからでは地表構造物の高さに起因して視点位置の相違による視差を解消することが原理的に不可能である。図５を用いてこのことを説明する。すなわち、視点A 210および視点B 211より地表 214の地表点Ｏ 213において、地表より高さｈ 215の点Ｐ 212を見た視界映像A 220と視界映像B 221を考える。

地表点Ｏ 213の視界映像A 220における像OＡ 218は視界映像B 221における像ＯＢ 219に対応する。一方、地表 214より高さｈ 215の場所にある点Ｐ 212は視点A 210から見た視界映像A 220上では像ＰＡ 216となり、地表点R 223と重なる。視点B 211より見た点Ｐ 212の視界映像B 221上の場所は像QＢ 225であって、地表点Q 222と重なる。視点の相違により、点Ｐ 212の視界映像A 220と視界映像B 221上の位置が異なることになる。このことは、地表より高さのある地物は、使用する実写画像の視点（撮影点）が異なると視界映像上の位置が視差により跳躍することを意味し、図４で示す視界映像が実写原画像（空中画像 ｉ 190、空中画像 ｉ+1 191）の切替ごとに不連続に移動することを意味する。かかる視界映像上の不連続性は、特許文献１の方法に起因した現象であり、本発明は特許文献１の方法を使用しつつ、前記現象を解決するものである。

図１は本発明になる視界映像情報生成装置の構成を示す。画像表示系 １００は特許文献１になる発明による部分であって、キーボード又はマウスを含む視点位置と視線方向を入力する視点・視線入力機構 １２２の設定入力値に従い、実写画像検索エンジン104が実写画像インデクス機構 １０２を参照して実写画像テ゛ータヘ゛ース１０１より最適な、（撮影時の視点と視線が視点位置・視線方向 125に最も近い）画像を検索し、視界映像生成システム １０５が表示装置１２１へ出力する視界映像を生成する。本出願になる発明部分は画像切替平滑系 １１０であって、画像表示系 １００において視界映像生成システム １０５が使用する実写画像を切り替えるときに発生する前記視界映像上の不連続性を解決する。すなわち、表示装置121画面上で、マウス又はアイ・トラッカーを含むオペレータ１３０の注目点入力機構１２３で入力される注目点位置 126の点で、前記実写画面切替時に視界映像上の不連続性が生じないようにする。画像比較情報
テ゛ータヘ゛ース１１１と視界映像位置補正システム１１２より構成されるが、その詳細構成と機能は図６以降に詳述する。

図６および図７は画像切替平滑系 １１０の機能を説明する図である。図６において視線方向１ 231および視線方向２ 232より建物 239を視界に含めるように基準点 233を見込んだ場合の関係を建物および視線方向の関係図 230に示す。この場合、同一の建物 239は視点と視線方向が異なるため、視線方向１より見た映像 234および視線方向２より見た映像 235のように異なって見える。図７は視差による視界映像画面上の位置への影響を説明する図である。基準点 233は地表上の点であり、DEMデータ 103により3次元データが求められているので、３次元コンピュータグラフィック技術で周知のとおり、視点と視線が決まれば視界映像上の位置が正確に定まる。図７（ａ）視線方向１より見た映像 234および、図７（ｂ）視線方向２より見た映像 235において基準点 233の画面上の位置は定まる。基準点 233を視点から視線で捉えながら使用する実写画像を切り替えると、図７（ｃ）に示すように、建物 239の3次元情報がないため視差により、視線方向１より見た映像 234と視線方向２より見た映像 235の位置が一般にずれて表示される。この場合、たとえば建物 239の端点を注目点 236としてオペレータ１３０が注視していると図７（ｃ）に示す視界表示は画面の平滑さを欠き好ましくない。

図７（ｄ）はオペレータ１３０の注目点をマウスカーソル、キーボード、またはアイ・トラッカを含む入力機構により求め、かかる注目点（図７（ｄ）の場合は建物 239の上部カド）で視界映像が元となる実写画像の切替時にも一致するように、表示する視界映像の表示画面上の位置をずらしたものである。かかる表示画面上の位置調整機能を持たせることにより視界映像の画面切替時の平滑さを実現することが本発明の目的であり、特許文献１の技術において使用する実写画像が３次元情報を保有しないことによる欠点を解消する技術である。

図８はかかる表示画面上の位置調整機能を実現する機構を説明する図である。画像切替平滑系 １１０および、画像表示系 100と画像切替平滑系 １１０の間の連接方法が本発明になる新規な部分であり、画像切替平滑系 １１０は画像表示系 100と同期しながら動作する。各構成部分の処理タイミングは図９のタイムチャートで示される。図９の左端の縦列は図８の各処理ブロックに対応し、各処理の横行は時間軸 260上での相互に処理タイミングを示す。曲線矢印は矢印の元の処理が終了するタイミングで矢印の先の処理が起動されることを示す。

図９の意味するところは、画像表示系 100においては、視点・視線入力処理 127に引き続き、実写画像検索処理 262、実写画像展開処理 26３、視界映像生成処理 264が前段の処理結果を用いて結果を順次起動される。
画像切替平滑系 １１０では、画像表示系 100の実写画像検索処理 262の結果により画像比較情報検索処理 251、引き続いて画像比較情報展開処理 257が前段の処理結果を用いて結果を順次起動される。一方、注目点入力処理 １２8の結果と併せて比較情報領域選択処理 254が起動され、画像マッチング処理 255が起動され、その結果に基きズレ計出処理 256が行われる。ズレ計出処理 256の結果が画像表示系 100の視界映像生成処理 264の結果と合わされて画面出力処理 266が行われる。本発明の新規な点は、画像表示系 100と画像切替平滑系 １１０が図９に示すように並列に同時処理可能なことであり、近年のマルチコアCPUのアーキテクチャに適合するものである。

表示装置121に表示される表示画像 124は図９の画像更新周期 261毎に更新される。視点・視線入力機構１２２から取り込まれた情報は入力処理１２7により視点位置・視線方向 125として実写画像検索処理104に伝達され、画像検索情報である実写画像インデクス機構 １4２を参照して実写画像テ゛ータヘ゛ース１4３より実写画像を検索する。実写画像検索エンジン １０４および視界映像生成システム １０５の機能および処理は特許文献１に記載されている。画像切替平滑系 １１０において画像比較情報データベース 250は実写画像テ゛ータヘ゛ース１4３と画像ごとに対応しており同一の構造を持っているため実写画像インデクス機構 １4２を用いて検索でき、 画像比較情報テ゛ータヘ゛ース 250内の画像比較情報テ゛ータを画像比較情報検索処理 251が取り出す。

画像比較情報テ゛ータヘ゛ース 250内の情報（画像比較情報）は実写画像と同一構造であるが、視点と視線方向が近接する画像間の画像マッチンク゛処理 255に使用することが目的であるため、効率よく短時間に画像マッチングができるように実写画像テ゛ータヘ゛ース１4３内の実写画像を画像処理して実写画像ごとに事前に計算によって求める。図１０はかかる処理の例について構造を示したものである。処理ブロック300は実写画像データベース143の全画像について順次処理することを示し、処理ブロック301で実写画像データベース１43より処理対象の実写画像を取り出す。

処理ブロック302は実写画像の分解能を縦横（H,V）各々について1/nに減ずる処理である。ただし、nは1以上の整数である。この処理は画像マッチンク゛処理 255の計算量を1/(n*n)に減らすことができる反面、ズレ計出処理 256の精度が1/nに劣化するものであるから、プロセッサの処理能力を勘案してnを決める必要がある。実写画像の画素数は横方向にHmax、縦方向にVmaxであるとし、実写画像の各画素の輝度を P(h,v,RGB) で表現する。ここで、hはH（横）方向座標でh=0,Hmax-1の範囲の整数値をとり、ｖはV（縦）方向座標でv=0,Vmax-1の範囲の整数値をとる。RGBは色による区別で、RGB=0,2の整数値をとり、R,G,B３色に対応する。、実写画像の1/n分解能の画像の各画素の輝度を Pn(hn,vn,RGB) で表現する。ここで、hnはH（横）方向座標でhn=0,Hmax/n-1の範囲の整数値をとり、ｖはV（縦）方向座標でvn=0,Vmax/n-1の範囲の整数値をとる。RGBは色による区別である。分解能を1/nにする操作は、たとえば；
で求められる。

処理ブロック302のモノクロム化も画像マッチンク゛処理 255の計算量を1/3に減らす目的であり、必ずしも行う必要はない。モノクロ化した画像の各画素の輝度を Pmn(hn,vn) で表現すると、モノクロ化の操作は、たとえば；
で求められる。

処理ブロック304のヒストグラム平準化を図１１を用いて説明する。画像マッチンク゛処理 255に適した画像フィルタ処理を、分解能を1/nに変更し、モノクロ化した実写画像310に対して実施する。画像フィルタ 311は左上のHV座標原点から１画素ずつ横方向（H)軸 312に歩進しながら画像処理し、右端に達すると横方向（H)軸 312の左端に戻り、縦方向（V)軸 313に１画素歩進する。この状態で１画素ずつ横方向（H)軸 312に移動しながら画像処理し、右端に達すると、以下、同様に分解能を1/nに変更しモノクロ化した実写画像 310の右下端に至るまで全画面をスキャンしつつ歩進する。

この歩進の各点では、以下に記すヒストグラム平準化処理を行う。画像の輝度分布は画像の場所によって異なるのが通常である。このような偏りは低い空間周波数成分の輝度分布であり、画像マッチンク゛処理 255で使用するマッチングフィルタのサイズより低い空間周波数成分を事前に除去することが画像処理上マッチング検出精度向上のため必要である。この目的のため画像フィルタ 311の大きさに合わせて輝度分布の平準化を行う。画像フィルタ 311はm*m画素の大きさを持つ。画像フィルタ 311は分解能を1/nに変更しモノクロ化した実写画像 310（以下、実写画像 310と称する）の左上端から右下端まで、画像を走査しながらい画素づつ歩進する。画像フィルタ 311内の実写画像310の各画素は輝度値を持ち、輝度表現が８ビットの場合、0から255までの値を持つ。図１１（ｂ）は画像フィルタ 311内のm*m画素に対する輝度別の画素数をグラフ化したヒストグラムである。輝度ヒストグラム軸 315は輝度軸 314上の輝度に対する画素数である。実写画像 310上で、画像フィルタ 311が歩進してきた領域内の画素の輝度ヒストグラム（分布）の例を図１１（ｂ）に示す。

実写画像３１０の任意の場所に対して画像フィルタ 311範囲の領域内では輝度分布が輝度下限値 316から輝度上限値 317のあいだに均等に分布させる処理を説明する。すなわち、輝度に対応した輝度ヒストグラム値を一定値 321にし、その代わりにもとのヒストグラム値に対応して占有輝度幅を広げる（または狭める）処理を行う。たとえば図１１（ｂ）における輝度ｎ 319に対応した輝度ヒストグラムｎ 318を図１１（ｃ）ではそのまま表現することができない。このため、占有する輝度の幅を輝度ヒストグラムｎ 318 に対応して広げ、輝度ヒストグラムｎ１−ｎｉ 320として複数の輝度値で表現するのである。図１１（ｂ）の輝度ヒストグラムは図１１（ｃ）においては輝度値の占有幅に変換される。実際は輝度軸で取り得る値は整数である（輝度を８ビット表現した場合は０から２５５までの整数値）ので、前記変換は一度実数に変換してから実施し、最後に再度整数化して求める。画像フィルタ 311の計算結果は、m*m画素の領域の中心部の輝度値をフィルタ処理の結果として格納する。したがって画像フィルタの一辺のサイズのｍ画素は奇数であることが好ましい。さらにこのような結果格納方法を採用することにより、画像フィルタ 311を実写画像３１０上を１画素づつ歩進させて走査することと整合する。図１２は輝度ヒストグラム平準化の例であり、図１２（ａ）はモノクロ化した実写原画像であり、図１２（ｂ）は前記ヒストグラム平準化を行った例である。以上、処理ブロック３０４の内容を説明したが、結果は処理ブロック３０５で画像比較情報データベース250へ格納される。

図８の説明の戻って、画像切替平滑系 １１０の説明を継続すると、視点位置・視線方向 125
は図９の視点・視線入力処理 127の行で、画像更新周期 261に先立って取り込まれ、実写画像検索エンジン １０４の実写画像検索処理104に送り込まれて、特許文献１の方法で視点位置・視線方向 125に最も適切な実写画像が実写画像テ゛ータヘ゛ース１43より取り出される。画像比較情報テ゛ータヘ゛ース 250は実写画像テ゛ータヘ゛ース１43と同一構造を有するように設定されているから、画像比較情報検索処理 251は実写画像検索処理104より前記画像検索情報を画像比較情報テ゛ータ検索情報 258として得て、前記実写画像に対応する画像比較情報テ゛ータを画像比較情報テ゛ータヘ゛ース 250より得ることができる。

比較情報領域選択処理 254では、現表示画像比較情報 253と次表示画像比較情報 252を出力する必要がある。このため現表示の実写画像に加え、次に表示する実写画像に対応した画像比較情報テ゛ータを画像比較情報検索処理 251が読み出す必要があるが、視点位置・視線方向 125と、その変化方向から次の時点の視点位置・視線方向を予測することができ、かかる予測値を用いて、現在表示中の実写画像と同一の処理で切替表示する実写画像の検索情報も得られる。画像比較情報検索処理 251は、切替表示する実写画像も併せて画像比較情報テ゛ータヘ゛ース 250より検索して読み出す。

画像比較情報展開処理257は図９に示す通り、画像比較情報検索処理 251に引き続いて実施され、前記検索された実写画像の撮影点位置、撮影方向と、視点位置・視線方向 125及び表示画面の視野角より表示装置121に表示する現在表示中の視野画像と、切替後に表示する実写画像に対応する視野画像が画像比較情報展開処理257により得られる。この結果は現表示画像比較情報 253および次表示画像比較情報 252として比較情報領域選択処理 254に伝えられる。（図８、９） 画像比較情報展開処理257の内容は、画像比較情報検索処理 251が画像比較情報テ゛ータヘ゛ース 250より検索した画像比較情報テ゛ータは、対応する実写画像を撮影した撮影点と撮影方向に対応したものであり、視点位置・視線方向 125とは近接しているが異なるものである。この相違を３次元グラフィックで公知、あるいは特許文献１の線形変換により視界映像とするものである。

現表示画像と次表示画像は撮影点と撮影方向が隣接した近傍にあるが、一致していないので視差があり、両画像を表示装置121の表示視野画面全体について一致させることは対象が平面でない限り原理的にできない。しかしながら、オペレータ１30が注目するのは表示画面の一部であるから、注目点入力機構123と注目点入力処理１２8により注目点位置 126を入力して比較情報領域選択処理 254に入力し、現表示画像比較情報 253と次表示画像比較情報 252の中から画像マッチンク゛処理 255を実施する部分を比較情報領域選択処理 254により選定する。

図１３は比較情報領域選択処理 254の機能を図で説明したものである。図１３（ａ）は現在表示中の視野画面340を示し、注目点ウィンドウ１ 330はオペレータが注目点位置 126により注目している領域を示す。注目点位置126のHV座標を(Ht,Vt)とする。現在表示中の視野画面 340にに対応する図１３（ｂ）の画像比較情報１ 333で注目点ウィンドウ１ 330で囲まれた領域が画像マッチンク゛処理 255における基準パターン 335となる。注目点入力機構123がない場合には自動的に視界表示画面の中心としてもよい。（図１３（ｂ）（ｄ）は画像比較情報の例であって、（ａ）（ｂ）の建物に対応したものではない。）
基準パターン 335をｍ画素 ｘ ｍ画素の領域とすると、C言語で記述すれば
（数０３）
for ( int i=0; i<m; i++ ){
for ( int j=0; j<m; j++ )
Pattern[i][j] = M[Ht-m/2+i][ Vt-m/2+j];
}
}
で与えられる。ここで、Pattern[i][j]は基準パターンの輝度配列、M[Ht-m/2+i][ Vt-m/2+j]は画像比較情報１ 333の輝度配列である。

図１３（ｃ）は切替表示の視野画面 341を示す。図１３（ｃ）における注目点ウィンドウ１ 330は図１３（ａ）と表示画面上で同じ位置にあるが、視差のため図１３（ａ）と異なる建物 239の部分を表示することになる。図１３の例では図１３（ａ）の注目点ウィンドウ１ 330は図１３（ｃ）では注目点ウィンドウ２ 331に表示されている。
図１３（ｃ）における注目点ウィンドウ１ 330と注目点ウィンドウ２ 331の位置ズレが画像マッチンク゛処理 255とズレ計出処理 256で計出すべき値である。注目点位置 126に対応して図１３（ａ）の注目点ウィンドウ１ 330が定まり、現在表示中の視野画面 340の縦横座標が同一の場所に図１３（ｂ）の注目点ウィンドウ１ 330が定まる。図１３（ｄ）は図１３（ｃ）の切替表示の視野画面 341に対応する画像比較情報2 334であり、図１３（ｂ）上の注目点ウィンドウ１ 330と図１３（ｄ）で同一位置にある注目点ウィンドウ１ 330の周辺を拡大して拡大注目点ウィンドウ 332を設定する。拡大注目点ウィンドウ 332の中心点は注目点ウィンドウ１ 330と同一であり、縦横倍率は最大外縁が画像比較情報2 334に接するまでが目安であるが、必要に応じてさらに拡大することもできる。

前記基準パターン 335が最も相関の高い図１３（ｄ）の拡大注目点ウィンドウ 332内で最も相関の高い点を求める。
拡大注目点ウィンドウ 332を注目点ウィンドウ１ 330のN倍の大きさとし、アルゴリズムをC言語で記述すれば；
（数０４）
long Convolution[N*m][ N*m];
for ( int I=0; I<N*m; I++ ){
for ( int J=0; J<N*m; j++ )｛
Convolution [I][J] = 0;
for ( int i=0; i<m; i++ ){
for ( int j=0; j<m; j++ ){
Convolution [I][J] += Pattern[i-m/2][j-m/2]
* M[Ht-N*m/2+I-m/2+i][Vt-N*m/2+J-m/2+j];
}
}
}
}
により積和計算（結果はConvolution [I][J]）を拡大注目点ウィンドウ 332の各点について実施し、その中で最大値の点（Htnext,Vtnext）が前記基準パターン 335と最も相関の高い点であり、切替表示の視野画面 341で現在表示中の視野画面 340の注目点位置 126に対応する点である。

注目点ウィンドウ１ 330と拡大注目点ウィンドウ 332の座標のズレがズレ計出処理 256で求める値であり、
（数０５）
横方向ズレ = Htnext−Ht （画素）
縦方向ズレ = Vtnext-Vt （画素）
で求められる。この値は表示画像位置補正情報 259として画面出力処理 266に渡され、使用する実写画像を切り替える時点で視界映像の表示位置の修正に用いられる。図１４は上記処理を処理フローでしましたものである。また図９は図９における各処理のタイミング上の前後関係、従属関係を示したものである。

図１５および図１６は画像表示系 100と画像切替平滑系 １１０の処理について図９と異なる並列処理方法を示すものである。表示画面の画像更新周期 261は一般には30ms程度であり、画像切替平滑系 １１０の処理で最も時間がかかる可能性があるものが画像マッチング処理 255
である。画像マッチング処理 255が画像更新周期 261内に終了しない場合には、図１５に示すようにズレ計出処理 256を画像更新周期 261の2倍経過後に画面出力処理 266に送信してもよく、図１６の場合では、画像更新周期 261の３倍経過後に画面出力処理 266に送信している。このように、画像マッチング処理 255に要する時間が画像更新周期 261より長くなる場合は、同期タイミングを遅らせることにより対応できるが、遅延が大きくなると注目点位置 126の変化に対する応答性が劣化する。
画像マッチング処理 255を高速に処理する方法としては、マルチコア、マルチスレッドのCPUを利用して画像マッチング処理 255を複数のコアまたはスレッドで並列処理する方法がある。並列処理の方法は拡大注目点ウィンドウ 332を縦方向または横方向に複数の領域に分割した上で各区分ごとに基準パターン 335との相関演算（積和演算）を実施して、その中から最大値を取るものを採用すればよい。

以上に述べた方法では、視点位置・視線方向 125と視点位置・視線方向 125の変化方向、変化速度より、次に表示する実写画像を予測しているが、予測は線形外挿以外にはよい方法がないので、視点位置・視線方向 125の変化方向が急変した場合には対応できなくなることが起こりえる。この問題を解決するためには、画像表示系 100を行うCPUコアまたはスレッド以外の複数のCPUコアまたはスレッドに次に表示する可能性のある全ての実写画像または表示する可能性のある実写画像から表示する可能性の大きいものから順に複数の画像に対して画像切替平滑系 １１０の処理を並列演算することも可能である。次に表示する可能性は実写画像の視点、視線方向とオペレータ１３０が入力する視点位置・視線方向 125の成す角度の小さいものから順に決める方法がある。

同一の地物を視線で捉えながら視点を移動させると、特許文献１の方法では、使用する実写画像を切り替える時点で、視差により視界映像の連続性が保てなくなるが、視界画像中の特定地物の注目点を限定すれば、実画像の切替前後の前記地物を見る視点は近接しており、また視線方向も近い。すなわち、視界映像の位置連属性が保てないにせよ、特定地物の注目点は視界映像内で近接した箇所に存在しており、視界映像内の地物の形状も類似性が高い。このことに注目して視界映像内での特定地物の注目点を中心に画像マッチングを行い、マッチングした画像の位置が重なるように実写画像切替時の視界映像の表示座標をずらし、必要に応じて拡大縮小倍率を変更するのである。

本発明の視界映像情報生成装置は、実写画像を用いて３次元視界映像を生成する場合に発生する実写画像切替時に発生する画像の乱れ、あるいは不連続性を解消し、滑らかな映像が生成するためのものであり、実写画像を用いた視界映像情報生成装置として産業上利用することができる。さらに本発明の視界映像情報生成装置は、都市空間の景観模擬、動画による案内、状況把握および監視、広告、商業活動、およびアミューズメントのインフラとして広範囲な分野で産業上利用できるほか、事前に特定対象物を限定せず一定の領域を高密度に撮影しておき、画像表示時に特定対象についてさまざまな視点と方向から観察できる特徴を生かして防災、治安維持の目的に使用することができる。

本発明の視界映像情報生成装置の全体構成を概略的に示す図である。 図１に示す視界映像情報生成装置の画像表示系１００における実写画像取得の概念を示す図である。 図１に示す視界映像情報生成装置の画像表示系における実写画像１００の概念図である。 図１に示す視界映像情報生成装置の画像表示系１００における実画像を用いた視界映像生成の概念について説明する図である。 図１に示す視界映像情報生成装置の画像表示系１００において、視差により視界映像における位置ずれが発生するメカニズムについて説明する図である。 図１に示す視界映像情報生成装置の画像表示系１００において、同一対象物に対する視差による視界映像の相違について説明する図である。 図１に示す視界映像情報生成装置の画像切替平滑系１１０の同一対象物に対する視差による視界映像の位置ずれ補正について説明する図である。 図１に示す視界映像情報生成装置の画像切替平滑系１１０の詳細構造について説明する図である。 図８に示す視界映像情報生成装置の画像切替平滑系１１０の詳細構造の動作タイムチャートについて説明する図である。 図８に示す視界映像情報生成装置の画像切替平滑系１１０の画像比較情報テ゛ータヘ゛ース２５０の生成方法について説明する図である。 図１0に示す画像比較情報テ゛ータヘ゛ースのヒストグラム平準化について説明する図である。 図１0に示す画像比較情報テ゛ータヘ゛ースのヒストグラム平準化の例について説明する図である。 図１に示す視界映像情報生成装置の画像切替平滑系１１０の視差による位置ずれ補正方法について説明する図である。 図１に示す視界映像情報生成装置の画像切替平滑系の視差による位置ずれ補正処理の処理フローについて説明する図である。 図８に示す視界映像情報生成装置の画像切替平滑系１１０の詳細構造の動作タイムチャートにおいて画像マッチング処理 255の所要時間が長い場合について説明する図である。 図８に示す視界映像情報生成装置の画像切替平滑系１１０の詳細構造の動作タイムチャートにおいて画像マッチング処理 255の所要時間が長い場合について説明するもう１つの図である。

100 画像表示系
101 実写画像テ゛ータヘ゛ース
102 画像インデクス機構
103 DEMテ゛ータ
104 実写画像検索エンジン
105 視界映像生成システム
110 画像切替平滑系
111 画像比較情報テ゛ータヘ゛ース
112 視界映像位置補正システム
120 ユーサ゛インターフェイスシステム
121 表示装置
122 視点・視線入力機構
123 注目点入力機構
124 表示画像
125 視点位置・視線方向
126 注目点位置
127 視点・視線入力処理
128 視点・視線入力処理
150 飛行経路
151 航空機
152 撮影ポイント
153 ディジタルカメラ集合体光軸方向
160 都市
170 視線
180 充分小さい立体角の範囲
181 天球
190 空中画像 ｉ
191 空中画像 ｉ+1
200 視点経路 P(t)
201 時刻 ｔ の視線
202 時刻 ｔ+Δｔ の視線
203 時刻 ｔ+2Δｔ の視線
204 時刻 ｔ+3Δｔ の視線
205 時刻 ｔ+4Δｔ の視線
206 時刻 ｔ+5Δｔ の視線
207 目標トラシ゛ェクトリ T(t)
210 視点A
211 視点B
212 点Ｐ
213 地表点Ｏ
214 地表
215 高さｈ
216 像ＰＡ
217 像ＰＢ
218 像ＯＡ
219 像ＯＢ
220 視界映像A
221 視界映像B
222 地表点Q
223 地表点R
224 像QＡ
225 像QＢ
226 像RＡ
227 像RＢ
230 建物および視線方向の関係図
231 視線方向１
232 視線方向２
233 基準点
234 視線方向１より見た映像
235 視線方向２より見た映像
236 注目点
237 視線方向１より見た映像の基準点
238 視線方向２より見た映像の基準点
239 建物
240 現在表示中の視野画面
241 切替表示の視野画面
250 画像比較情報データベース
251 画像比較情報検索処理
252 次表示画像比較情報
253 現表示画像比較情報
254 比較情報領域選択処理
255 画像マッチンク゛処理
256 ズレ計出処理
257 画像比較情報展開処理
258 画像比較情報テ゛ータ検索情報
259 表示画像位置補正情報
260 時間軸
261 画像更新周期
262 実写画像検索処理
263 実写画像展開処理
264 視界映像生成処理
267 比較情報検索展開処理
300〜305 処理ブロック
310 分解能を1/nに変更しモノクロ化した実写画像
311 画像フィルタ
312 横方向（H)軸
313 縦方向（V)軸
314 輝度軸
315 輝度ヒストグラム軸
316 輝度下限値
317 輝度上限値
318 輝度ヒストグラムｎ
319 輝度ｎ
320 輝度ヒストグラムｎ１−ｎｉ
321 一定値
330 注目点ウィンドウ１
331 注目点ウィンドウ２
332 拡大注目点ウィンドウ
333 画像比較情報１
334 画像比較情報2
335 基準パターン
340〜347 処理ブロック

Claims (1)

1. 撮影装置により、複数の撮影位置それぞれにおいて複数の方向への、複数のサブ領域に分割される撮影領域の撮影を行い複数の画像情報を取得してメモリに記憶し、
   前記複数の画像情報それぞれを前記メモリ記憶する際に、前記画像情報が取得された時の撮影位置情報と撮影方向情報とを前記画像情報に関連付けて前記メモリに記憶し、
   前記メモリに記憶された前記画像情報に関連付けられた撮影位置情報と撮影方向情報とを参照して前記画像情報が取得されたときに撮影されたサブ領域を特定し、
   前記特定されたサブ領域に、前記画像情報と、前記撮影位置情報と、前記撮影方向情報とを関連付けてデータベースに記憶し、
   視点経路上において順番に配置される複数の位置と前記複数の位置それぞれにおける視線の前記撮影領域へ向かう方向とを指定し、
   前記データベースに記憶されている、前記サブ領域に関連付けられている撮影方向情報を参照し、前記視点経路上の前記複数の位置それぞれにおける前記視線の前記方向に位置する前記サブ領域を含む画像情報とその画像情報に関連付けられている撮影位置情報とを検索して前記順番にて読出し、
   前記順番にて読出された前記画像情報と、前記像情報に関連付けられている撮影位置情報とを参照して視界映像情報を生成することを含む視界映像情報生成装置において、
   前記視点より前記視点方向の前記視界映像情報を生成するに際して、使用する前記画像情報を異なった撮影位置または異なった撮影方向またはその双方の前記画像情報に切り替える場合、前記視界映像情報に位置ずれが起きないように位置ずれ補正を実施することを特徴とし、
   前記視界映像生成装置をゴーグルを含むヘッドマウント形式で実装し、前記視界映像生成装置に設置した電子コンパス、ジャイロを含む慣性センサにより、視線の目標地点と、想定する現在位置との相対関係より定義される視線ベクトルを構成して、視点と視線方向と視点と視線の目標地点との距離に対応した視界映像を生成する装置。