JP2008165331A - レイヤー生成・選択機能を備えたｃｖタグ映像表示装置 - Google Patents

Abstract

【課題】 インターネット環境下で、実際の道路、店舗等のビデオ映像を配信し、ビデオ映像に任意のタグを貼り付けたり情報を書き込み可能とし、さらに、同一エリアのビデオ映像に対して複数のレイヤーを設定する。
【解決手段】 管理者装置２００は、任意の対象エリアを撮影したビデオ映像に撮影時のカメラの位置と姿勢の三次元値を示すＣＶ値を付加したＣＶ映像を記憶し、ＣＶ映像中の任意の指定位置に合成表示されるＣＶタグを所定の関連情報とともに記憶し、ＣＶ映像に重なる同じ座標系を持つ複数のレイヤーを生成し、生成されたレイヤーを対応するＣＶ映像と関連付けて記憶し、管理者装置２００にインターネットを介して接続される複数の各ユーザ装置３００は、管理者装置２００から所望のＣＶ映像を受信して表示し、表示されたＣＶ映像に重ねて所望のレイヤーを表示させ、ＣＶ映像・レイヤーの所望の位置にＣＶタグをディスプレイ３００ａ上に合成表示させる。
【選択図】 図１５

Description

本発明は、インターネットやＬＡＮ等のネットワーク環境下でビデオ映像を管理・配信するための映像配信表示装置に関し、特に、実際の町並みや道路、建物、店舗の内外等を撮影したビデオ映像を配信するとともに、当該ビデオ映像内の対象物にユーザ側で任意の位置にタグを貼り付けたり情報を書き込むことで、直接映像内の目的対象物にアクセスすることが可能で、さらに、同一エリアのビデオ映像に対して異なるコンテンツ属性等で分類された複数のレイヤーをユーザが固有に生成し、選択することが可能であるような、映像をベースとした次世代のユーザインターフェース（ＵＩ）機能を有するレイヤー生成・選択機能を備えたＣＶタグ映像表示装置に関する。

近年、インターネット環境を利用した商取引、商品販売が活発に行われている。
インターネットを利用した商品販売では、商品の販売提供者が、自らが提供販売する商品の写真や詳細データを示したＷｅｂページ（仮想店舗）をサーバ（管理者装置）に登録し、商品を購入しようとする購入者は、自宅のＰＣや携帯端末等（ユーザ装置）からＷｅｂページが登録されているサーバにアクセスして、仮想店舗を訪問して商品の写真やデータを閲覧し、気に入った商品があれば所定の注文データを作成してサーバに送信する、注文データを受信した商品提供者側は、注文された商品を所定の方法により購入者に発送し、クレジットカードや代金振込等によって代金を決済する、という方法により商品の売買が行われている（特許文献１参照）。

このようなインターネットを介し商取引は、商品提供者側は実際の店舗や店員等を設ける必要がなく、２４時間商品に関する情報を提供することができ、経費を大幅に削減して廉価に商品を提供できる、一方、商品購入者側も自宅に居ながらにしてインターネット上に公開される仮想的な店舗を訪問して好きなときに好きな商品を自由に注文でき、より低価格な商品を迅速に購入することできるということで、商品の提供者・購入者の双方にとって非常にメリットの大きい商品売買が可能となり、ＩＴ環境の普及・拡大にも伴って、この種のインターネット経由の商品販売は近年急速に広まっている。
また、このようなインターネットを利用した仮想店舗は、実際に店舗を構える商店や百貨店、飲食店など、様々な商品・サービスの提供者にとっても有益なものであり、実際の店舗への来店を促すための宣伝広告としても非常に効果の高いツールとして活用されている。

ここで、実際に店舗や会社を構える商品・サービスの提供者の場合、インターネット上に公開するＷｅｂページには、通常、その実際の店舗等の所在地を示す地図が表示されるようになっている。
従って、Ｗｅｂページを見て商品やサービスに興味を持ったユーザは、まずその店舗等の所在地の地図を確認して最寄りの店舗等に訪問することになり、地図を表示するＷｅｂページの体裁やレイアウト、地図の見易さ等は、訪問・来店を促すためには非常に重要な要素となっている。
そこで、店舗等の所在地を示す地図として、より詳細でわかり易い地図を示す地図専用のＷｅｂページをリンク表示させる技術が提案されており、表示された地図は、任意の倍率で拡大・縮小させたり、隣接する周辺エリアに地図を移動することができ、ユーザに利便性の高い地図情報が提供できるようになっていた（特許文献２参照）。

特開２００２−３０４５３７号公報 特開２００１−００５７６４号公報

しかしながら、インターネット上で提供されている商店・店舗は、あくまでも仮想的なもので、提供される情報も基本的には文字だけの世界であり、商品等の写真や映像があっても、それは付随的・付け足し的なものに過ぎなかった。
すなわち、インターネット上のＷｅｂの世界は、現実とはかけ離れた文字の世界であり、距離感もなくいことが良さでもあり悪さでもあった。
最近は、会員登録制のコミュニケーションを主体とするサイトも存在しているが同様である。
そして、このように文字を主体としたＷｅｂ上の商店では、相手の顔が見えず、従って直感的ではなく、信用上の問題があり、犯罪も多発しているが、現状ではそれらの問題を有効に解決し得うる手段は提案されていない。

本願発明者は、鋭意研究の結果、実際の町並みや道路、建物、店舗等を撮影した動画映像の複数のフレーム画像から充分な数の特徴点を自動検出し、各フレーム間で特徴点を自動追跡することで、当該動画映像のカメラ位置と回転角を示すＣＶ値データを高精度に求めることができることに想到した。
また、このＣＶ値データを付加したビデオ映像（ＣＶ映像）を利用することにより、ビデオ映像中の対象物の三次元座標を検出して、その座標に自由にタグ（ＣＶタグ）を貼り付け、そのタグに情報を打ち込むことができることに想到した。そのことにより映像を見ながら対象物を選択して、対象物の映像上に又は映像の中の三次元空間上に、自由にタグ（ＣＶタグ）の貼り付け位置を設定し、姿勢を設定し、移動し、検索し、削除し得ることに想到した。

そして、Ｗｅｂ上に動画映像による映像を配信し、そこにＣＧで生成したアイコン機能を持つＣＶタグを貼り付け、タグを媒介とした双方向の通信を行わせ、より現実に近いＣＶ映像（及び／又は三次元映像）や三次元化できる映像をＷｅｂ上に配信して、その中に映像と位置関係を保って一体化した三次元のタグを重ねて表現し、しかもタグを配置するレイヤーを複数設けることにより、ユーザが自由にレイヤーを生成・選択して配信させることができ、また他のユーザがそのタグを選択することもできて、しかもＣＧによる仮想現実ではなく、なじみ深い現実の映像の背景の中で双方向の通信が可能となり、より直感的なユーザインターフェースとして、ＣＶタグを情報の出入り口として利用できる複数の世界をＷｅｂ上に表現できることに想到したものである。

すなわち、本発明は、上述した従来の技術が有する問題を解決するために提案されたものであり、インターネットやＬＡＮ等のネットワーク環境下で、実際の町並みや道路、建物、店舗内外等を撮影したビデオ映像（ＣＶ映像）を配信するとともに、当該ビデオ映像（ＣＶ映像）にユーザ側で任意の位置にタグを貼り付けたり情報を書き込むことができ、さらに、同一エリアのビデオ映像（ＣＶ映像）に対して異なるコンテンツ属性等で分類された複数のレイヤーを設定することができる、より現実に近い仮想空間・仮想店舗を提供可能な、特にインターネットを利用した商品の販売や店舗・会社の宣伝広告、タウンガイド、地図情報の提供等に好適なレイヤー生成・選択機能を備えたＣＶタグ映像表示装置の提供を目的とする。

上記目的を達成するため、本発明のレイヤー生成・選択機能を備えたＣＶタグ映像表示装置は、請求項１に記載するように、管理者装置と、この管理者装置とネットワークを介して通信可能に接続された一又は二以上のユーザ装置とを備え、前記管理者装置は、任意の対象エリアを撮影したビデオ映像に撮影時のカメラの位置と姿勢の三次元値を示す所定のＣＶ値を付加したＣＶ映像を記憶したＣＶ映像記憶手段と、前記ＣＶ映像に重なる当該ＣＶ映像と同じ座標系を持つ一又は二以上のレイヤーを生成するレイヤー生成手段と、前記レイヤーを対応するＣＶ映像と関連付けて記憶するレイヤー記憶手段と、前記レイヤー中の指定範囲内の任意の三次元座標に所定のＣＶタグを配置するＣＶタグ入力手段と、前記レイヤー毎に配置されたＣＶタグを所定の関連情報とともに記憶するＣＶタグ記憶手段と、前記レイヤー毎に前記ＣＶタグ記憶手段に記憶されたＣＶタグ又はその関連情報を検索・抽出して前記ユーザ装置に配信するＣＶタグ検索手段と、当該管理者装置内に記録された全てのＣＶ映像、レイヤー、ＣＶタグ、及びＣＶタグ内の関連情報を管理し、ユーザ装置から要求されたデータを選択し、組み合わせて前記ユーザ装置に配信し、又は記録するＩＤ管理手段と、を備え、前記ユーザ装置は、ユーザインターフェースの入力操作に応じて、ネットワークを介して前記管理者装置に接続され、所定の画像を表示するディスプレイと、前記管理者装置の前記ＣＶ映像記憶手段に記憶されるＣＶ映像の中から所望の場所のＣＶ映像を選択・受信して、前記ディスプレイ上に表示させるＣＶ映像選択表示手段と、前記管理者装置の前記レイヤー生成手段に所望のレイヤーを生成させ、又は前記レイヤー記憶手段に記憶されるレイヤーの中から、前記ＣＶ映像選択表示手段で選択されたＣＶ映像に対応する複数のレイヤーの中から所望のレイヤーを選択し、前記生成又は選択したレイヤーを受信して前記ＣＶ映像と座標統合するレイヤー選択統合手段と、前記レイヤー選択統合手段により選択されたレイヤーに配置されたＣＶタグを選択し、座標統合された前記レイヤー上に統合することで、前記ディスプレイ上に前記ＣＶ映像と合成表示するＣＶタグ選択表示手段と、前記ＣＶ映像に合成表示された前記ＣＶタグを指定して当該ＣＶタグの関連情報を編集、分類、統合、検索、削除等を可能にして前記ディスプレイ上に表示させるタグ情報選択表示手段と、を備える構成としてある。

このような構成からなる本発明のレイヤー生成・選択機能を備えたＣＶタグ映像表示装置によれば、任意の町並みや道路、建物、店舗等のビデオ映像に、当該ビデオ映像を撮影したカメラの三次元位置と姿勢を示すＣＶ値を付加したＣＶ映像を生成し、インターネット等のネットワークを経由して配信して各ユーザ装置側に表示させることができる。
ＣＶ映像は、ビデオ映像中の任意の対象物の三次元座標データを備えており、その座標に自由にタグ（ＣＶタグ）を貼り付けることができる。

従って、ネットワーク配信されたＣＶ映像中の任意の対象物に対して、三次元の位置と姿勢の情報を持つＣＶタグを貼り付け、そのＣＶタグを選択することで、タグが貼り付けられた対象物に関する属性情報や関連情報、付属情報などの諸データを表示させることができる。ＣＶタグは、ＣＶ映像中の位置と姿勢を示す三次元情報を持つものであり、映像中の三次元空間に自由に配置することが可能となり、二次元地図上に印を付けるものとは比較にならないほど多くの多様なタグを自由に配置することができるようになる。
さらに、ＣＶ映像に重ねて、当該ＣＶ映像と同じ座標系を持つＣＶ映像やＣＶタグ等で構成されるレイヤーを生成し、複数のレイヤーを自由に生成・表示させることができる。

そして、本発明に係るＣＶ映像をＷｅｂ上で公開、提供することにより、Ｗｅｂ利用者がＣＶ映像を三次元的に扱え、提供者のみならず、利用者が自由に三次元のタグをＣＶ映像中に貼り付けることができ、ＣＶ映像に重ねて任意のレイヤーを生成・表示させることが可能となる。
このように、インターネットを介してＣＶ映像の中のすべての対象物をＷｅｂ上で共有し、多くの人が参加するコミュニケーションツールが実現する。このようなコミュニケーションツールにおいては、管理者のみならず、不特定多数の人が、ＣＶ映像中にＣＶタグを貼り付け、又はＣＶタグやレイヤーを共有し、情報を共有し、自由に参加する環境を提供することができ、これまでのインターネット環境が大きく変わることが期待される。なお、この場合、公開するＣＶツールと非公開のものとを分離することは勿論可能であり、管理者が（ユーザ発信情報に関しては一部はユーザが）その選択権を持つことになる。

なお、ＣＶタグを貼り付けたりレイヤーを設定するＣＶ映像としては、複数の種類、例えば高々度空撮、低高度空撮、地上撮、及び構造物及び建造物の中の撮影など、様々な縮尺の異なる映像を三次元座標で統合することができる。
また、特に本発明のＣＶタグと「道路・河川等の現況ビデオ検索装置」（特許第３０９９１０３号）を利用して映像と地図をリンクさせることにより、単に地図と映像を結びつけるだけではなく、地図、空撮映像、地上撮影像を三次元的に結合して関連付けることができる。
また、ＣＶ映像に全周映像を用いることで、視点方向を自由に選択できる映像を生成できるので、本発明においては全周映像を用いてＣＶ映像を生成し、その中に三次元ＣＶタグを貼り付けることが好ましい。

また、本発明のレイヤー生成・選択機能を備えたＣＶタグ映像表示装置は、請求項２に記載するように、前記管理者装置は、前記ＣＶ映像記憶手段に記憶されたＣＶ映像に対応する二次元地図を記憶する二次元地図記憶手段を備え、前記ユーザ装置は、前記二次元地図記憶手段から所望の二次元地図を選択し、受信して前記ディスプレイ上に表示させる二次元地図表示手段と、前記ディスプレイ上に表示された前記二次元地図上に、対応するＣＶ映像の撮影位置及び進行方向を表示するカメラ位置表示手段と、を備え、前記ＣＶ映像選択表示手段が、表示された前記二次元地図上で指定してされた任意の点に対応するＣＶ映像を前記ＣＶ映像記憶手段から選択し受信して、前記ディスプレイ上に表示させる構成とすることができる。

このような構成からなる本発明のレイヤー生成・選択機能を備えたＣＶタグ映像表示装置によれば、ＣＶ映像とともに、当該ＣＶ映像の撮影場所を示す地図（空撮映像、衛星画像を含む）を併せて表示し、さらに、当該地図上にＣＶ映像のカメラ撮影位置と進行方向を示す矢印等を表示することができる。
本発明のＣＶ映像をＷｅｂ上で配信・表示するに際しては、各ＣＶ映像の表示位置と方向を明確にするために、ＣＶ映像に連動し、動画映像の撮影位置を各種縮尺で表示する地図を同時表示するのが好ましい。また、地図に代えて、空撮映像や衛星写真を表示しても良い。

ユーザ装置のビュア上では、背景となる映像である基本コンテンツとレイヤーが重ねられ、レイヤー上に配置されたＣＶタグがもう一つのコンテンツとなり、基本コンテンツのＣＶ映像と合成表示されることになる。ここで基本コンテンツとは、ＣＶ映像であるが、基本コンテンツとして想定しているのは全周動画映像から生成したＣＶ映像である。必ずしも全周動画映像から生成する必要はないが、全周映像がＣＶ値を求める場合に精度の点で有利である。また、ＣＶ映像は地上を走行する映像でも良いし、空撮映像でも良い。すなわち、空撮映像は高度のある位置からの映像として、コンテンツの一つとなり得る。さらに基本コンテンツとしてはこれらＣＶ映像から生成した三次元映像とすることができる。ＣＶ映像はいつでも三次元化できるので、必要な場合には三次元化して基本コンテンツとすることができる。

なお、一般のレイヤーの概念からすると、動画映像と同時に表示される地図（二次元面）もレイヤーの一つと考えられるが、本発明のレイヤーは視覚的に三次元スペースを構成するものを対象としているので、ここでは、二次元地図を本発明におけるレイヤーとは区別している。
地図は無限遠点から観察した三次元スペースと捉えることができるが、本発明においては、レイヤーとはユーザが任意に選択し、又は生成する思考上の三次元スペースであり、地図はレイヤーではなく、三次元スペースの意味を持つレイヤーとは区別され、コンテンツの一つとして説明する。

一方、上記以外のコンテンツとしては、ＣＶ映像に合成して表示されるＣＧが存在する。例えばＣＧ広告としてＣＶ映像に合成されて表示される。このＣＧはクリックして情報を書き込み、又は読み出すタグ機能を持てはタグに分類される。しかしタグ機能を持たず、単にＣＶ映像と共に背景を構成する一部となる場合は、その他コンテンツとして分類する。
これら、ＣＧにもＣＶタグと同様にレイヤーが定義され、ＣＶタグと同一の座標系を持つことから、ＣＶ映像と共に背景を構築するためのレイヤーとなる。
これらはＷｅｂ管理者用の特殊なレイヤーと、レイヤー内のＣＧコンテンツであると位置づけることができる。

上記の特殊な場合として、ＣＶ映像に合成されるＣＧの量が多くなり、究極的には全てがＣＧとなることもあり得る。このときはＣＧが基本コンテンツとなる。但し、ＣＧはデータ量が重く、広域を実写映像のように詳細に表現するのは、データ伝送等の関係で困難であり、本発明ではＣＧと実写映像を併用することが望ましい。
さらに、上記以外の特殊なコンテンツとしては、ＣＶ映像やＣＶタグに関連づけて表現される音楽や効果音がある。これらは基本コンテンツではないが、システムを効果的に運用するために役に立つものと考えられる。

また、本発明のレイヤー生成・選択機能を備えたＣＶタグ映像表示装置は、請求項３に記載するように、前記ユーザ装置が、前記管理者装置のＣＶ映像記憶手段に記憶されるＣＶ映像、前記ＣＶタグ記憶手段に記憶されるＣＶタグ及び関連情報、前記レイヤー記憶手段に記憶されるレイヤー情報、前記二次元地図記憶手段に記憶される二次元地図情報のうち、所定の情報の一部又は全部を当該管理者装置に代わって記憶する記憶手段を備える構成とすることができる。

このような構成からなる本発明のレイヤー生成・選択機能を備えたＣＶタグ映像表示装置によれば、ＣＶ映像及び各レイヤー、あるいは地図情報を記憶するデータベースを管理者装置とユーザ装置とに分散することができる。
例えば、ＣＶ映像は映像撮影地域の近くの管理者のサーバが管理し、各レイヤーとその上に配置されたＣＧタグはレイヤーを生成した各ユーザのコンピュータ内で記憶・管理することができる。そして、Ｗｅｂ管理者はＣＶ映像、各レイヤー、地図のデータベースを格納した分散されたサーバの関係を管理し、ユーザの要求する構成画面をユーザ装置に送信してユーザ装置側のディスプレイに表示させることができる。

このようにすると、Ｗｅｂ管理者側のサーバ（管理者装置）の負担を軽くすることができる。
本発明のレイヤー生成・選択機能を備えたＣＶタグ映像表示装置を実現するためには、Ｗｅｂ管理者側が、ＣＶ映像の莫大なデータをサーバに用意しなければならないことになる。さらにデータの更新も必要となる。
ＣＶ映像の対象が全国（あるいは全世界）の道路に関するものであれば、映像更新やＣＶ演算のことを考慮して、各データは例えば地域別に管理することが好ましいともいえる。また、Ｗｅｂの環境には地域的偏り等もあり、サーバを設置することが不適切な地域や環境もある。

そこで、実際にサーバを置く地域・エリアは限定されるとしても、各データを管理者装置と各ユーザ装置に分散して管理・登録することで、全てのデータを一カ所集中とするよりも効率化することができる。
また、レイヤーの管理も分散が可能であり、各レイヤーは、当該レイヤーを設定したユーザ自身が自らのユーザ装置で管理することができる。
そして、究極的には管理者とユーザの区別がなくなり、すべてがユーザであり管理者であるという形にすることも可能である。または、管理の色合いが強いレイヤーを設定・管理するユーザグループと、単にレイヤーを含めたＣＶ映像を閲覧・使用するだけのユーザという区分にすることも可能である。

また、本発明のレイヤー生成・選択機能を備えたＣＶタグ映像表示装置は、請求項４に記載するように、前記管理者装置が、前記ＣＶ映像記憶手段に記憶されたＣＶ映像に対応するリアルタイム映像を取得して、前記ディスプレイ上に表示された当該ＣＶ映像中に合成表示するリアルタイム映像手段を備える構成とすることができる。

このような構成からなる本発明のレイヤー生成・選択機能を備えたＣＶタグ映像表示装置によれば、レイヤーにリアルタイム情報を持つ映像やＣＧを配置することができ、リアルタイム情報をＣＶ映像に重複して表示することが可能となる。
本発明に係るレイヤーは、ユーザが自由に生成することができることから、レイヤーにリアルタイム映像を取り込んだり、リアルタイム情報から生成したＣＧを表示することで、他のユーザ等がリアルタイムで観察できるリアルタイム映像を配信・表示することができる。
例えば、独居老人が住む家をＣＶ映像データベースに取り込んでおき、老人の位置を示す装置を設置することで、観察者は老人の位置をリアルタイムで観察できることになり、老人の安全を確保できることになり、老人介護に役立てることができる。
また、店舗等における閉店後の人の動きを検出する装置を設置することで、本発明に係るＣＶ映像上において、夜間監視映像をリアルタイムで観察できることになる。

なお、本発明のレイヤー生成・選択機能を備えたＣＶタグ映像表示装置においては、前記レイヤー生成手段が、はじめにレイヤーを生成せずに、前記ＣＶ映像中にＣＧ、映像等からなる所定のＣＶタグを直接生成し、ＣＶ映像に座標を統合させて配置し、当該コンテンツ画像の属性情報により、ＣＶタグを分類し、その後に分類に対応した一又は二以上のレイヤーを生成することができる。

このような構成からなる本発明のレイヤー生成・選択機能を備えたＣＶタグ映像表示装置によれば、ＣＧ等のコンテンツの属性に、階層を分類する働きを持たせて、レイヤーの機能を代行させることでプログラム上のレイヤーを持たないようにすることができる。
本発明に係るレイヤーとは、思考上あるいは管理上必要なものであり、共通のＣＶ映像上に設定される複数レイヤーから構成される複数世界の中の一つの三次元世界に対応するものである。従って、必ずしもプログラム上のレイヤーである必要はなく、レイヤーの上に表示されるもの（例えば、ＣＧや映像）の属性によって分類することでも、レイヤーによる分類と同じ効果を生むことが可能である。

そこで、本発明では、ＣＧ等のコンテンツの属性に、階層を分類する働きを持たせて、レイヤーの機能を代行させることでプログラム上のレイヤーを持たない構成とすることが可能である。
但し、説明上又は思考上は、画像に画像を重ねて表示するレイヤーを想定することが好都合であるので、本明細書ではプログラム上のレイヤーが存在するものとして説明する。
また、上記方法はレイヤーの生成方法の一例であり、他の方法によることも勿論可能である。

また、本発明のレイヤー生成・選択機能を備えたＣＶタグ映像表示装置は、請求項５に記載するように、前記ユーザ装置が、前記管理者装置の前記レイヤー記憶手段に記憶されるレイヤー情報のうち、当該ユーザ装置により生成されたレイヤーに関するレイヤー情報を、前記管理者装置に代わって記憶する記憶手段を備える構成とすることができる。

このような構成からなる本発明のレイヤー生成・選択機能を備えたＣＶタグ映像表示装置によれば、各レイヤー及びレイヤー内で利用するコンテンツ及び各種データは、レイヤー内を管理するレイヤー利用者のコンビュータ内の記憶装置に記録しておくことができ、これによって、Ｗｅｂサイト管理者側のサーバの負担を軽減するようにすることができる。
本発明のレイヤー生成・選択機能を備えたＣＶタグ映像表示装置は、Ｗｅｂサイト管理者がすべてのコンテンツ及びデータを当該管理者の所有するサーバ（管理者装置）で管理し、各ユーザ装置に配信することで実現することができる。
しかし、コンテンツ及びデータの量が莫大となるため、サーバを分散して管理するのが望ましい。

そこで、各レイヤー及びレイヤー内で利用するコンテンツは、レイヤー内を管理するレイヤー利用者、すなわち当該レイヤーを生成・設定したユーザに管理させるようにし、当該ユーザのユーザ装置の記憶装置に記録しておくことで、Ｗｅｂサイト管理者側のサーバの負担を軽減するようにすることができる。
さらに、Ｗｅｂサーバ管理者のサーバ負担を軽減する方法として、本発明のレイヤー生成・選択機能を備えたＣＶタグ映像表示装置に参加する企業のサーバに所定のデータを振り分けたり、地域別のコンテンツは当該地域のサーバに負担させることができる。

従って、Ｗｅｂサイト管理者の管理者装置では、ＣＶ映像やレイヤー、地図情報等は一切格納せず、データは各ユーザ装置に分散させ、管理者装置ではアクセス制御のみを行わせることもできる。
Ｗｅｂサイト管理者の管理者装置では、ＩＤ管理手段により、前記管理者装置の記録装置に登録されたユーザ装置、及びユーザ名を登録している。また各ユーザ装置との交信記録が残している。しかもＩＤ管理手段により、全てのＣＶ映像、レイヤー、ＣＶタグ、及びＣＶタグ内の関連情報を管理し、ネットワークを介して複数のユーザ装置から求められてくる要求に対し、必要なコンテンツ、レイヤー、データを選択し、組み合わせて配信し、記録する。また、ユーザ名が登録されていない場合でも、許された範囲で個別に対応し、許可された範囲で要求されたデータを配信する。

すなわち、Ｗｅｂサイト管理者は、コンテンツのＩＤを管理し、どのコンテンツがどこのサーバにあるかを把握・認識しており、また、Ｗｅｂサイト管理者は、すべてのレイヤーのＩＤを管理している。従って、管理者装置では、ユーザ装置側で指定され選択されたレイヤーを検知すると、そのレイヤーに必要なコンテンツの存在するサーバを示すデータをユーザ装置に送信し、同時に該当する地域のサーバに指示を送ることができる。
これにより、ユーザ側はＩＤ等を知らなくても、Ｗｅｂサイト管理者側から指定されたサーバに自動アクセスして、ユーザ画面内に画像を構成するすべてのコンテンツとデータを取り込み、目的の画面として構成することができる。
なお、各ユーザ装置のサーバ等で管理されるコンテンツやデータの例としては、全周映像、ＣＶ値、地図、空撮映像、課金情報等があり、各レイヤーは共通のフォーマットの下にレイヤー権利者が自由にコンテンツを組み立てることができる。
Ｗｅｂは空間の位置を超越しているので、地域サーバは必ずしもその地域に設置する必要はなく、地域とはデータ管理上の地域であり、必ずしも地図上の場所をいうものではない。

さらに、本発明のレイヤー生成・選択機能を備えたＣＶタグ映像表示装置は、請求項６に記載するように、前記ＣＶ映像記憶手段が、前記ＣＶ映像として、同一の対象エリアについて異なる時間で撮影した複数のＣＶ映像を記憶する構成とすることができる。

このような構成からなる本発明のレイヤー生成・選択機能を備えたＣＶタグ映像表示装置によれば、ＣＶ映像のデータを更新し、同一地域、同一地点の過去から現在に至る時間軸方向のＣＶ映像を配信・表示させることができる。
これにより、ＣＶ映像のデータベースを広範囲な地域に拡大して管理するのみならず、時間軸方向でも管理し、過去から現在に至る時間軸でも管理することで、複数レイヤーから構成される複数世界は時間軸方向にも展開することになる。

以上のように、本発明のレイヤー生成・選択機能を備えたＣＶタグ映像表示装置によれば、Ｗｅｂ上に現実世界と相似形な三次元化された映像を持ち込み、映像を現実世界と同じように三次元的に扱うことができて、しかも、現実世界に相似形な世界を任意の数だけ用意することができる。
また、複数の相似形な世界を用意することで、観察者はその中から自由に選択して好みの世界に参加することができる。
さらに、現実世界に相似形な世界を参加者が自分の好みの世界に構成することもできる。
そして、Ｗｅｂサイト管理者とユーザ間の双方向のコミュニケーション、及びユーザ間の複数方向のコミュニケーションを実現し、その関係の中で活動を行う複数レイヤーによる複数世界を実現することができる。

すなわち、本発明によれば、Ｗｅｂ上には現実世界に対応した（必ずしも現実に正確に対応する物でなくても良いが）複数の世界を用意することができることになる。この本発明に係る複数の世界は、現代宇宙論の“Parallel World”に因んで、Ｗｅｂパラレルワールド（ＷｅｂＷＰＷ）と称することができる。すなわち、現代宇宙論で言うところのパラレルワールドモデルをＷｅｂ上で擬似的に実現したことになる。
ＷＰＷは現代宇宙論のParallel Worldから想起されるように、同じ現実の映像を元としていながら、複数の世界を同時に構築することが出来て、その一つ一つの世界に一つのルールを持ち込むことが可能である。
つまり、ＷＰＷは現実の世界を元としていながら、きわめて直感的な世界を同時に複数用意し、ユーザはそれを自由に選択することで、自分専用の世界を生成して利用することができる。これらの世界はレイヤーにより分離されている。
なお、この一つの世界を作る一つのレイヤーはプログラム上明確に分離することが適切ではあるが、必ずしもプログラム上明確なレイヤーが存在する必要はなく、思考上のレイヤーであってもよい。

これまでのインターネット上に開設されているＷｅｂサイトは、全てＷｅｂサイト管理者がそのサイトの画面構成等を決定していたが、本発明によれば上述しＣＶタグとレイヤー生成により、サイト管理者のみならず、利用者、ユーザによっても適切に分類され、自由に選択されて利用されることが可能となった。
そこで、レイヤーで分離された各世界に、それぞれ独立したルールを与えてサイト管理者のみならず、利用者によってもレイヤーの中に独自の世界を展開することができるようになる。
本発明に係るＷＰＷは、三次元化された映像を主としているので、現実と同じように直感的に認識・理解でき、様々な処理・操作も直感的に行うことができる。すなわち、利用者は現実と同じ三次元の世界の中を移動しながら、目的の行動を起こすことができる。
なお、本発明により提供される複数世界の背景として利用される動画映像は、現実の映像でなくても良いが、現実の映像、あるいは現実の映像を基として生成した動画映像であることが好ましい。

本発明のレイヤー生成・選択機能を備えたＣＶタグ映像表示装置によれば、インターネットやＬＡＮ等のネットワーク環境下で、実際の町並みや道路、店舗内外等を撮影したビデオ映像を配信するとともに、当該ビデオ映像にユーザ側で任意の位置にタグを貼り付けたり情報を書き込むことができ、さらに、同一エリアのビデオ映像に対して異なるコンテンツ属性等で分類された複数のレイヤーを設定することができる。
これによって、Ｗｅｂ上でより現実に近い仮想空間・仮想店舗、複数の空間が重畳的に設定される複数レイヤーによる複数世界（パラレルワールドモデル）を提供することが可能となり、インターネットを利用した商品の販売や、店舗・会社の宣伝広告、タウンガイド、地図情報等の提供に好適なレイヤー生成・選択機能を備えたＣＶタグ映像表示装置を提供することができる。

以下、本発明に係るレイヤー生成・選択機能を備えたＣＶタグ映像表示装置の好ましい実施形態について、図面を参照しつつ説明する。
ここで、以下に示す本発明のレイヤー生成・選択機能を備えたＣＶタグ映像表示装置は、プログラム（ソフトウェア）の命令によりコンピュータで実行される処理，手段，機能によって実現される。プログラムは、コンピュータの各構成要素に指令を送り、以下に示すような所定の処理や機能、例えば、映像中からの基準点や特徴点の自動抽出，抽出した基準点の自動追跡，基準点の三次元座標の算出，ＣＶ（カメラベクトル）値の演算，ＣＶタグの生成・貼り付け，ＣＶタグにリンクしたデータベース情報の呼び出し・表示，ＣＶ映像に対応するレイヤーの生成や呼び出し・表示等を行わせる。このように、本発明における各処理や手段は、プログラムとコンピュータとが協働した具体的手段によって実現される。
なお、プログラムの全部又は一部は、例えば、磁気ディスク，光ディスク，半導体メモリ，その他任意のコンピュータで読取り可能な記録媒体により提供され、記録媒体から読み出されたプログラムがコンピュータにインストールされて実行される。また、プログラムは、記録媒体を介さず、通信回線を通じて直接にコンピュータにロードし実行することもできる。

［ＣＶ演算］
まず、本発明のレイヤー生成・選択機能を備えたＣＶタグ映像表示装置の前提となるＣＶ演算の概要について図１〜図１３を参照しつつ説明する。
ＣＶ演算とはＣＶ値を求めることを意味し、求められた結果をＣＶ値，ＣＶデータと呼ぶ。ＣＶという表記は、カメラベクトル：Camera Vectorの略記であり、カメラベクトル（ＣＶ）とは計測等のために映像を取得するビデオカメラ等のカメラの三次元位置と３軸回転姿勢を示す値である。
ＣＶ演算は、動画像（ビデオ映像）を取得し、その映像内の特徴点を検出し、それを隣接する複数のフレームに追跡し、カメラ位置と特徴点の追跡軌跡とが作る三角形を画像内に数多く生成し、その三角形を解析することで、カメラの三次元位置とカメラの３軸回転姿勢を求めるものである。

ＣＶ演算では、ＣＶ値を求める過程で、同時に映像内の特徴点（基準点）についても三次元座標が同時に求まることが重要な特性である。
また、動画像から演算で求められるＣＶ値は、動画像の各フレームに対応して、三次元のカメラ位置と三次元のカメラ姿勢とが同時に求まる。しかも、原理的には一台のカメラで、映像と対応してＣＶ値が求められる特性は、ＣＶ演算でしか実現し得ない優れた特徴である。
例えば、他の方法による計測手段（ＧＰＳやＩＭＵ等）では、動画像の各フレームと、その三次元的カメラ位置と三次元的カメラ姿勢とを同時に取得するためには画像フレームと計測サンプリング時刻を高精度で、しかも完全に同期しなければならないために、巨額な装置や設備等が必要となり、実質的には実現が困難である。

動画像から演算で求められるＣＶデータは、加工しない段階では相対値であるが、短区間であれば高精度で三次元位置情報と３軸回転の角度情報を取得できる。
また、ＣＶデータは画像から取得するため、取得されたデータは相対値であるが、画像内の任意の対象物との位置関係を計測することができるという他の方法では実現は可能な優れた特性を備える。
また、画像に対応したＣＶ値が求まるので、画像内計測や測量において、画像から直接にカメラ位置とその３軸回転姿勢を求めることができるＣＶ演算は画像内計測や画像内測量に好適となる。
そして、本発明のレイヤー生成・選択機能を備えたＣＶタグ映像表示装置は、このＣＶ演算により得られたＣＶ値データに基づいてＣＶタグの生成や映像中への貼り付け処理、レイヤーの生成・表示等の処理を行うものである。

［ＣＶ演算部］
ＣＶ演算は、後述する本発明のレイヤー生成・選択機能を備えたＣＶタグ映像表示装置１００のＣＶ映像記憶手段（図１５参照）に記憶されるＣＶ映像を生成するための演算処理であり、具体的には図１に示すようなＣＶ演算部２０で行われる。
ＣＶ演算部２０は、図１に示すように、ビデオカメラ等からなる全周ビデオ映像部１０から入力されるビデオ映像について所定のＣＶ演算処理を行うようになっており、具体的には、特徴点抽出部２１と、特徴点対応処理部２２と、カメラベクトル演算部２３と、誤差最小化部２４と、三次元情報追跡部２５と、高精度カメラベクトル演算部２６とを備えている。

まず、ＣＶ演算に使用する映像としては、どのような映像でもよいが、画角の限られた映像では視点方向を移動した場合に映像がとぎれてしまうので、全周映像（図２〜４参照）とすることが望ましい。なお、動画映像は連続する静止画と同様であり、静止画と同様に扱うことができる。
また、映像は、一般には予め記録した動画映像を使うことになるが、自動車等の移動体の移動に合わせてリアルタイムに取り込んだ映像を使用することも勿論可能である。

そこで、本実施形態では、ＣＶ演算に使用する映像として、車輌等の移動体の３６０度の全周囲を撮影した全周映像（図２〜４参照）か、又は全周映像に近い広角映像を用いて、その全周映像を視点方向に平面展開することにより、地図と映像の合成画像を生成・表示する全周ビデオ映像部１０を備えている（図１参照）。
全周映像の平面展開とは、全周映像を、通常の画像として遠近法的に表現するものである。ここで、「遠近法」と呼称するのは、全周画像のそのものはメルカトール図法や球面投影図法のように、遠近法とは異なる方法で表示されているので（図４参照）、これを平面展開表示することで、通常の遠近法映像に変換表示できるからである。

全周ビデオ映像部１０において全周映像を生成するには、まず、図２及び図３に示すように、全周ビデオカメラ１１を使用して、ＣＶ値データを取得する目的で、走行車輌等の移動体１１ａに固定された全周ビデオカメラ１１で、移動体１１ａの移動とともに移動体周辺を撮影する。
なお、移動体１１ａには、その位置座標を取得する目的で、例えば、絶対座標を取得するＧＰＳ機器単独やＩＭＵ機器を付加したもの等により構成した位置計測機器等を備えることができる。
また、移動体１１ａに搭載される全周ビデオカメラ１１としては、広範囲映像を撮影，取得するカメラであればどのような構成であってもよく、例えば、広角レンズや魚眼レンズ付きカメラ、移動カメラ、固定カメラ、複数のカメラを固定したカメラ、３６０度周囲に回転可能なカメラ等がある。
本実施形態では、図２及び図３に示すように、車輌に複数のカメラが一体的に固定され、移動体１１ａの移動に伴って広範囲映像を撮影する全周ビデオカメラ１１を使用している。

そして、以上のような全周ビデオカメラ１１によれば、図３に示すように、移動体１１ａの天井部に設置されることで、カメラの３６０度全周囲の映像を複数のカメラで同時に撮影することができ、移動体１１ａが移動することで、広範囲映像を動画データとして取得できる。
ここで、全周ビデオカメラ１１は、カメラの全周映像を直接取得できるビデオカメラであるが、カメラの全周囲の半分以上を映像として取得できれば全周映像として使用できる。
また、画角が制限された通常のカメラの場合でも、ＣＶ演算の精度としては低下するが、全周映像の一部分として取り扱うことが可能である。

なお、全周ビデオカメラ１１で撮影された広範囲映像は、一枚の画像として、撮影時の画角に一致する仮想球面に貼り付けることができる。
仮想球面に貼り付けられた球面画像データは、仮想球面に貼り付けた状態の球面画像（３６０度画像）データとして保存・出力される。仮想球面は、広範囲映像を取得するカメラ部を中心点とした任意の球面状に設定することができる。
図４（ａ）は球面画像が貼り付けられる仮想球面の外観イメージであり、同図（ｂ）は仮想球面に貼り付けられた球面画像の一例である。また、同図（ｃ）は、（ｂ）の球面画像をメルカトール図法に従って平面展開した画像例を示す。

そして、以上のように生成・取得された全周ビデオ映像が、ＣＶ演算部２０に入力されてＣＶ値データが求められる（図１参照）。
ＣＶ演算部２０では、まず、特徴点抽出部２１が、全周ビデオ映像部１０の全周ビデオカメラ１１で撮影されて一時記録された動画像データの中から、十分な数の特徴点（基準点）を自動抽出する。
特徴点対応処理部２２は、自動抽出された特徴点を、各フレーム間で各フレーム画像内において自動的に追跡することで、その対応関係を自動的に求める。
カメラベクトル演算部２３は、対応関係が求められた特徴点の三次元位置座標から各フレーム画像に対応したカメラベクトルを演算で自動的に求める。
誤差最小化部２４は、複数のカメラ位置の重複演算により、各カメラベクトルの解の分布が最小になるように統計処理し、誤差の最小化処理を施したカメラ位置方向を自動的に決定する。

三次元情報追跡部２５は、カメラベクトル演算部２３で得られたカメラベクトルを概略のカメラベクトルと位置づけ、その後のプロセスで順次画像の一部として得られる三次元情報に基づいて、複数のフレーム画像に含まれる部分的三次元情報を隣接するフレームの画像に沿って自動追跡を行う。
ここで、三次元情報（三次元形状）とは、主に特徴点の三次元分布情報であり、すなわち、三次元の点の集まりであり、この三次元の点の集まりが三次元形状を構成する。
高精度カメラベクトル演算部２６は、三次元情報追跡部２５で得られた追跡データに基づいて、カメラベクトル演算部２３で得られるカメラベクトルより、さらに高精度なカメラベクトルを生成，出力する。
そして、以上のようにして得られたカメラベクトル（ＣＶ値）が付加されたＣＶ映像が、後述するレイヤー生成・選択機能を備えたＣＶタグ映像表示装置１００に入力され、ＣＶタグの生成や貼り付け処理、レイヤーの生成処理等に利用されることになる。

複数の画像（動画又は連続静止画）の特徴点からカメラベクトルを検出するには幾つかの方法があるが、図１に示す本実施形態のＣＶ演算部２０では、画像内に十分に多くの数の特徴点を自動抽出し、それを自動追跡することで、エピポーラ幾何学により、カメラの三次元ベクトル及び３軸回転ベクトルを求めるようにしてある。
特徴点を充分に多くとることにより、カメラベクトル情報が重複することになり、重複する情報から誤差を最小化させて、より精度の高いカメラベクトルを求めることができる。

カメラベクトルとは、カメラの持つ自由度のベクトルである。
一般に、静止した三次元物体は、位置座標（Ｘ，Ｙ，Ｚ）と、それぞれの座標軸の回転角（Φｘ，Φｙ，Φｚ）の六個の自由度を持つ。
従って、カメラベクトルは、カメラの位置座標（Ｘ，Ｙ，Ｚ）とそれぞれの座標軸の回転角（Φｘ，Φｙ，Φｚ）の六個の自由度のベクトルをいう。
なお、カメラが移動する場合は、自由度に移動方向も入るが、これは上記の六個の自由度から微分して導き出すことができる。
このように、本実施形態のカメラベクトルの検出とは、カメラは各フレーム毎に六個の自由度の値をとり、各フレーム毎に異なる六個の自由度を決定することである。

以下、ＣＶ演算部２０における具体的なカメラベクトルの検出方法について、図５以下を参照しつつ説明する。
まず、上述した全周カメラ映像部１０の全周ビデオカメラ１１で取得された画像データは、間接に又は直接に、ＣＶ演算部２０の特徴点抽出部２１に入力され、特徴点抽出部２１で、適切にサンプリングされたフレーム画像中に、特徴点となるべき点又は小領域画像が自動抽出され、特徴点対応処理部２２で、複数のフレーム画像間で特徴点の対応関係が自動的に求められる。
具体的には、カメラベクトルの検出の基準となる、十分に必要な数以上の特徴点を求める。
画像間の特徴点とその対応関係の一例を、図５〜図７に示す。図中「＋」が自動抽出された特徴点であり、複数のフレーム画像間で対応関係が自動追跡される（図７に示す対応点１〜４参照）。
ここで、特徴点の抽出は、図８に示すように、各画像中に充分に多くの特徴点を指定，抽出することが望ましく（図８の○印参照）、例えば、１００点程度の特徴点を抽出する。

続いて、カメラベクトル演算部２３で、抽出された特徴点の三次元座標が演算により求められ、その三次元座標に基づいてカメラベクトルが演算により求められる。具体的には、カメラベクトル演算部２３は、連続する各フレーム間に存在する、十分な数の特徴の位置と、移動するカメラ間の位置ベクトル、カメラの３軸回転ベクトル、各カメラ位置と特徴点をそれぞれ結んだベクトル等、各種三次元ベクトルの相対値を演算により連続的に算出する。
本実施形態では、例えば、３６０度全周画像のエピポーラ幾何からエピポーラ方程式を解くことによりカメラ運動（カメラ位置とカメラ回転）を計算するようになっている。

図７に示す画像１，２は、３６０度全周画像をメルカトール展開した画像であり、緯度φ、軽度θとすると、画像１上の点は（θ１，φ１）、画像２上の点は（θ２，φ２）となる。そして、それぞれのカメラでの空間座標は、ｚ１＝（ｃｏｓφ１ｃｏｓθ１，ｃｏｓφ１ｓｉｎθ１，ｓｉｎφ１）、ｚ２＝（ｃｏｓφ２ｃｏｓθ２，ｃｏｓφ２ｓｉｎθ２，ｓｉｎφ２）である。
カメラの移動ベクトルをｔ、カメラの回転行列をＲ、とすると、ｚ１T［ｔ］×Ｒｚ２＝０がエピポーラ方程式である。
十分な数の特徴点を与えることにより、線形代数演算により最小自乗法による解としてｔ及びＲを計算することができる。この演算を対応する複数フレームに適用し演算する。

ここで、カメラベクトルの演算に利用する画像としては、３６０度全周画像を用いることが好ましい。
カメラベクトル演算に用いる画像としては、原理的にはどのような画像でも良いが、図７に示す３６０度全周画像のような広角画像の方が多くの方向に均等に特徴点を数多く選択し易くなる。
そこで、本実施形態では、ＣＶ演算に３６０度全周画像を用いており、これによって、特徴点の追跡距離を長くでき、特徴点をあらゆる方向に十分に多く選択することができ、遠距離、中距離、短距離それぞれに都合の良い特徴点を選択することができるようになる。また、回転ベクトルを補正する場合には、極回転変換処理を加えることで、演算処理も容易に行えるようになる。これらのことから、より精度の高い演算結果が得られるようになる。
なお、図７は、ＣＶ演算部２０における処理を理解し易くするために、１台又は複数台のカメラで撮影した画像を合成した３６０度全周囲の球面画像を地図図法でいうメルカトール図法で展開したものを示しているが、実際のＣＶ演算では、必ずしもメルカトール図法による展開画像である必要はない。

次に、誤差最小化部２４では、各フレームに対応する複数のカメラ位置と複数の特徴点の数により、複数通り生じる演算方程式により、各特徴点に基づくベクトルを複数通り演算して求めて、各特徴点の位置及びカメラ位置の分布が最小になるように統計処理をして、最終的なベクトルを求める。例えば、複数フレームのカメラ位置、カメラ回転及び複数の特徴点について、Levenberg-Marquardt法により最小自乗法の最適解を推定し、誤差を収束してカメラ位置、カメラ回転行列、特徴点の座標を求める。
さらに、誤差の分布が大きい特徴点につては削除し、他の特徴点に基づいて再演算することで、各特徴点及びカメラ位置での演算の精度を上げるようにする。
このようにして、特徴点の位置とカメラベクトルを精度良く求めることができる。

図９〜図１１に、ＣＶ演算により得られる特徴点の三次元座標とカメラベクトルの例を示す。図９〜図１１は、本実施形態のＣＶ演算によるベクトル検出方法を示す説明図であり、移動するカメラによって取得された複数のフレーム画像によって得られるカメラ及び対象物の相対的な位置関係を示す図である。
図９では、図７の画像１，２に示した特徴点１〜４の三次元座標と、画像１と画像２の間で移動するカメラベクトル（Ｘ，Ｙ，Ｚ）が示されている。
図１０及び図１１は、充分に多くの特徴点とフレーム画像により得られた特徴点の位置と移動するカメラの位置が示されている。同図中、グラフ中央に直線状に連続する○印がカメラ位置であり、その周囲に位置する○印が特徴点の位置と高さを示している。

ここで、ＣＶ演算部２０におけるＣＶ演算は、より高精度な特徴点とカメラ位置の三次元情報を高速に得るために、図１２に示すように、カメラから特徴点の距離に応じて複数の特徴点を設定し、複数の演算を繰り返し行うようにする。
具体的には、ＣＶ演算部２０では、画像内には映像的に特徴がある特徴点を自動検出し、各フレーム画像内に特徴点の対応点を求める際に、カメラベクトル演算に用いるｎ番目とｎ＋ｍ番目の二つのフレーム画像ＦｎとＦｎ＋ｍに着目して単位演算とし、ｎとｍを適切に設定した単位演算を繰り返すことができる。
ｍはフレーム間隔であり、カメラから画像内の特徴点までの距離によって特徴点を複数段に分類し、カメラから特徴点までの距離が遠いほどｍが大きくなるように設定し、カメラから特徴点までの距離が近いほどｍが小さくなるように設定する。このようにするのは、カメラから特徴点までの距離が遠ければ遠いほど、画像間における位置の変化が少ないからである。

そして、特徴点のｍ値による分類を、十分にオーバーラップさせながら、複数段階のｍを設定し、画像の進行とともにｎが連続的に進行するのにともなって、演算を連続的に進行させる。そして、ｎの進行とｍの各段階で、同一特徴点について複数回重複演算を行う。
このようにして、フレーム画像ＦｎとＦｎ＋ｍに着目した単位演算を行うことにより、ｍ枚毎にサンプリングした各フレーム間（フレーム間は駒落ちしている）では、長時間かけて精密カメラベクトルを演算し、フレーム画像ＦｎとＦｎ＋ｍの間のｍ枚のフレーム（最小単位フレーム）では、短時間処理で行える簡易演算とすることができる。

ｍ枚毎の精密カメラベクトル演算に誤差がないとすれば、ｍ枚のフレームのカメラベクトルの両端は、高精度演算をしたＦｎとＦｎ＋ｍのカメラベクトルと重なることになる。従って、ＦｎとＦｎ＋ｍの中間のｍ枚の最小単位のフレームについては簡易演算で求め、簡易演算で求めたｍ枚の最小単位フレームのカメラベクトルの両端を、高精度演算で求めたＦｎとＦｎ＋ｍのカメラベクトルに一致するように、ｍ枚の連続したカメラベクトルのスケール調整をすることができる。
このようにして、画像の進行とともにｎが連続的に進行することにより、同一特徴点について複数回演算されて得られる各カメラベクトルの誤差が最小になるようにスケール調整して統合し、最終のカメラベクトルを決定することができる。これにより、誤差のない高精度のカメラベクトルを求めつつ、簡易演算を組み合わせることにより、演算処理を高速化することができるようになる。

ここで、簡易演算としては、精度に応じて種々の方法があるが、例えば、(1)高精度演算では１００個以上の多くの特徴点を用いる場合に、簡易演算では最低限の１０個程度の特徴点を用いる方法や、(2)同じ特徴点の数としても、特徴点とカメラ位置を同等に考えれば、そこには無数の三角形が成立し、その数だけの方程式が成立するため、その方程式の数を減らすことで、簡易演算とすることができる。
これによって、各特徴点及びカメラ位置の誤差が最小になるようにスケール調整する形で統合し、距離演算を行い、さらに、誤差の分布が大きい特徴点を削除し、必要に応じて他の特徴点について再演算することで、各特徴点及びカメラ位置での演算の精度を上げることができる。

また、このように高速な簡易演算を行うことにより、カメラベクトルのリアルタイム処理が可能となる。カメラベクトルのリアルタイム処理は、目的の精度をとれる最低のフレーム数と、自動抽出した最低の特徴点数で演算を行い、カメラベクトルの概略値をリアルタイムで求め、表示し、次に、画像が蓄積するにつれて、フレーム数を増加させ、特徴点の数を増加させ、より精度の高いカメラベクトル演算を行い、概略値を精度の高いカメラベクトル値に置き換えて表示することができる。

さらに、本実施形態では、より高精度のカメラベクトルを求めるために、三次元情報（三次元形状）の追跡を行うことができる。
具体的には、まず、三次元情報追跡部２５で、カメラベクトル演算部２３，誤差最小化部２４を経て得られたカメラベクトルを概略のカメラベクトルと位置づけ、その後のプロセスで生成される画像の一部として得られる三次元情報（三次元形状）に基づいて、複数のフレーム画像に含まれる部分的三次元情報を隣接するフレーム間で連続的に追跡して三次元形状の自動追跡を行う。
そして、この三次元情報追跡部２５で得られた三次元情報の追跡結果から、高精度カメラベクトル演算部２６においてより高精度なカメラベクトルが求められる。

上述した特徴点抽出部２１及び特徴点対応処理部２２では、特徴点を複数のフレーム間画像内に自動追跡するが、特徴点が消失するなどして特徴点の追跡フレーム数に制限が出てくることがある。また、画像は二次元であり、追跡途中で形状が変化するために追跡精度にも一定の限界がある。
そこで、特徴点追跡で得られるカメラベクトルを概略値と位置づけ、その後のプロセスで得られる三次元情報（三次元形状）を各フレーム画像上に追跡して、その軌跡から高精度カメラベクトルを求めることができる。
三次元形状の追跡は、マッチング及び相関の精度を得やすく、三次元形状はフレーム画像によって、その三次元形状も大きさも変化しないので、多くのフレームに亘って追跡が可能であり、そのことでカメラベクトル演算の精度を向上させることができる。これはカメラベクトル演算部２３により概略のカメラベクトルが既知であり、三次元形状が既に分かっているから可能となるものである。

カメラベクトルが概略値の場合、非常に多くのフレームに亘る三次元座標の誤差は、特徴点追跡による各フレームに関係するフレームが少ないので、誤差が累積して長距離では次第に大きな誤差になるが、画像の一部分を切り取ったときの三次元形状の誤差は相対的に少なく、形状の変化と大きさに及ぼす影響はかなり少ないものとなる。このため、三次元形状での比較や追跡は、二次元形状追跡の時よりも極めて有利となる。
追跡において、二次元形状での追跡の場合、複数のフレームにおける形状の変化と大きさの変化を避けられないまま追跡することになるので、誤差が大きかったり、対応点が見つからないなどの問題があったが、三次元形状での追跡においては形状の変化が極めて少なく、しかも原理的に大きさの変化もないので、正確な追跡が可能となる。

ここで、追跡の対象となる三次元形状データとしては、例えば、特徴点の三次元分布形状や、特徴点の三次元分布形状から求められるポリゴン面等がある。
また、得られた三次元形状を、カメラ位置から二次元画像に変換して、二次元画像として追跡することも可能である。カメラベクトルの概略値が既知であることから、カメラ視点からの二次元画像に投影変換が可能であり、カメラ視点の移動による対象の形状変化にも追従することが可能となる。

以上のようにして求められたカメラベクトルは、全周ビデオカメラ１１で撮影されたビデオ映像中に重ねて表示することができる。
例えば、図１３に示すように、車載カメラからの映像を平面展開して、各フレーム画像内の目的平面上の対応点を自動で探索し、対応点を一致させるように結合して目的平面の結合画像を生成し、同一の座標系に統合して表示する。
さらに、その共通座標系の中にカメラ位置とカメラ方向を次々に検出し、その位置や方向、軌跡をプロットしていくことができる。ＣＶデータは、その三次元位置と３軸回転を示しており、ビデオ映像に重ねて表示することで、ビデオ映像の各フレームでＣＶ値を同時に観察できる。ＣＶデータをビデオ映像に重ねた表示した画像例を図１３に示す。
なお、ビデオ映像（ＣＶ映像）内にカメラ位置を正しく表示すると、ＣＶ値が示すビデオ映像（ＣＶ映像）内の位置は画像の中心となり、カメラ移動が直線に近い場合は、すべてのフレームのＣＶ値が重なって表示されてしまうので、例えば図１３に示すように、敢えてカメラ位置から真下に１メートルの位置を表示することが適切である。あるいは道路面までの距離を基準として、道路面の高さにＣＶ値を表示するのがより適切である。

［レイヤー生成・選択機能を備えたＣＶタグ映像表示装置］
次に、以上のようにしてＣＶ値が求められたＣＶ映像を利用して、ＣＶ映像中に対してＣＶタグの生成・貼り付け処理を行い、ＣＶタグにリンクした諸データの設定・表示・更新等を行うとともに、元となるＣＶ映像に重ねてレイヤーを生成・表示させる本発明に係るレイヤー生成・選択機能を備えたＣＶタグ映像表示装置の実施形態について、図面を参照しつつ具体的に説明する。
図１４は、本発明の第一実施形態に係るレイヤー生成・選択機能を備えたＣＶタグ映像表示装置の基本構成を示すブロック図であり、インターネットやＬＡＮ等のネットワーク環境下での利用に好適なレイヤー生成・選択機能を備えたＣＶタグ映像表示装置の構成を示している。

図１４に示すように、本実施形態に係るレイヤー生成・選択機能を備えたＣＶタグ映像表示装置１００は、所定の対象エリアを撮影したビデオ映像中の任意の対象物や三次元空間に、三次元情報を持つＣＶタグを貼り付け、ＣＶタグにリンクした対象物等の諸データを管理するとともに、ビデオ映像に重なる複数のレイヤーを生成・表示するための装置であり、具体的には、インターネットを介して接続されたＷｅｂサイト管理者の管理者装置２００と、複数のユーザのユーザ装置３００（３００ａ，３００ｂ・・・３００ｎ）とを備えている。
このように、本実施形態では、データ通信及びコミュニケーションにインターネットを積極的に活用し、インターネットを介して不特定多数が自由に参加し、不特定多数のユーザが、Ｗｅｂサイト管理者が提供するＣＶ映像にＣＶタグを貼り付け、ＣＶタグ内に情報を記載し、更に任意のレイヤーを表示・生成し、それによって相互のコミュニケーションを図り、さらには、Ｗｅｂサイト管理者はデータを集計・生成するなど、二次データ加工処理をも追加して行うことが可能となる。

［管理者装置（Ｗｅｂサイト管理者）］
図１５は、本実施形態に係るレイヤー生成・選択機能を備えたＣＶタグ映像表示装置１００を構成する管理者装置２００とユーザ装置３００の具体的構成を示す機能ブロック図である。
管理者装置２００は、Ｗｅｂサイト管理者側に備えられるサーバコンピュータやワークステーション等の情報処理装置によって構成されており、ＣＰＵ，メモリ等で構成される演算制御手段、外部からデータ入力可能な入力手段、液晶ディスプレイ等の出力表示手段、データ通信を行うための送受信手段等の各部を備え、インターネットを介して各ユーザ装置３００（３００ａ，３００ｂ・・・３００ｎ）とデータ通信可能に接続されている。
具体的には、管理者装置２００は、図１５に示すように、ＣＶ映像記憶手段２０１と、レイヤー生成手段２０２と、レイヤー記憶手段２０３と、ＣＶタグ入力手段２０４と、ＣＶタグ記憶手段２０５と、ＣＶタグ検索手段２０６と、二次元地図記憶手段２０７と、リアルタイム映像手段２０８と、ＩＤ管理手段２０９の各部を備えている。

ＣＶ映像記憶手段２０１は、任意の対象エリアを撮影したビデオ映像に撮影時のカメラの位置と姿勢の三次元値を示す所定のＣＶ値を付加したＣＶ映像を記憶している。
ＣＶ映像の撮影対象としては、例えば道路や河川、市街地などの一定領域や、特定の建物の内部などがあり、その対象エリア内には様々な物体が存在しており、それらは全て撮影対象物となり得る。従って、対象物は複数存在する。
そして、ＣＶ映像記憶手段２０１には、任意の対象エリア及び周辺の映像を予め撮影して、上述したＣＶ演算により求められるＣＶ値を付加したＣＶ映像が記録・保持されるようになっている。
ＣＶ映像は、上述したように、画像を取得したカメラ位置と姿勢の三次元座標と角度を６変数で、画像の各フレームについて求めたもので、カメラ位置と姿勢が既知となったことで、複数のフレームから対象の三次元座標が求められる。

ここで、ＣＶ映像記憶手段２０１は、記憶するＣＶ映像として、同一の対象エリアについて異なる時間で撮影した複数のＣＶ映像を記憶することができる。
このようにすると、ＣＶ映像のデータを更新し、同一地域、同一地点の過去から現在に至る時間軸方向のＣＶ映像を配信・表示させることができる。
これにより、ＣＶ映像のデータベースを広範囲な地域に拡大して管理するのみならず、時間軸方向でも管理し、過去から現在に至る時間軸でも管理することで、複数レイヤーによる複数世界（パラレルワールドモデル）は時間軸方向にも展開することになる。

レイヤー生成手段２０２は、ＣＶ映像に重なる当該ＣＶ映像と同じ座標系を持つ一又は二以上のレイヤーを生成する。
具体的には、レイヤー生成手段２０２は、管理者装置２００又はユーザ装置３００からの入力操作に応じて、ＣＶ映像に視点を一致させて重ねて他の画像を表示するための思考上のレイヤー、又はプログラム上のレイヤーを一つ又は複数生成する。
そして、生成されたレイヤーは、対応するＣＶ映像と関連付けてレイヤー記憶手段２０４に記憶される。

ここで、レイヤーとは、一般に二次元の面をイメージするが、本発明におけるレイヤーは視覚的には三次元であり、思考上の三次元スペースを意味する。
図１６に、本発明におけるレイヤーの概念を模式的に示す。
ＣＶ映像は、物理的にはディスプレイ上に二次元面として表示されるが、ＣＶ映像は元々三次元空間の複数物体をある視点から観察した映像であることから、思考的三次元スペースであるということができる。
その意味で、ＣＶ映像に視点を一致させた他の映像を重ねて表示することで、ＣＶ映像は元々は三次元空間を映像として表示しているものであるから、ＣＶ映像に重ねて表示するレイヤーは思考上の三次元スペースであり、従ってレイヤーは思考的には三次元スペースであると言うことができる。
すなわち、本実施形態では、プログラム上は二次元であっても視覚的には三次元となるレイヤーを、一つ又は複数を生成し用意することになる。従って、本発明におけるレイヤーとは、この視覚的には三次元スペースとなる表示上の二次元面を意味するものとする（図１６参照）。

レイヤー生成手段２０２では、ＣＶ映像の視点と姿勢を共通としながら、動画映像に重ねて表示される一つ又は複数のレイヤーを選択的に表示するレイヤーを生成することになるが、それは上述したように、視覚的には三次元スペースである。従って、思考的にはＣＶ映像を基準として、図１６に示すように、複数のレイヤーで構成される複数の「三次元世界」を用意することになる（図１６に示す世界１、世界２・・・世界ｎ参照）。この点が本発明の特徴としてきわめて重要である。
そして、一つのレイヤーを持つユーザは自らが展開する一つの「三次元世界」を持つことになり、複数のユーザがそれぞれのユーザの意志でレイヤーを自由に生成し又は選択して、インターネットを介して本発明に係るレイヤー生成・選択機能を備えたＣＶタグ映像表示装置１００に参加することができる。これによって、Ｗｅｂサイト管理者は、複数のユーザが自らの三次元世界をＷｅｂ上に公表することができるような複数の三次元世界を提供できることになる。

レイヤーにユーザが独自に用意した映像やＣＧをＣＶ値に合わせて生成し、Ｗｅｂ管理者側が用意したＣＶ映像に重ねて再構成することで、レイヤー上の映像やＣＧ映像は動画映像と重ね合わせて、矛盾無く合成表示され、動画映像と一体の映像として表現することができる。
もちろん、将来的にはユーザ自身がレイヤーのみならずＣＶ映像をも用意することも可能であるが、本実施形態では、ベースとなるＣＶ映像はＷｅｂサイト管理者が用意し、管理者装置２００側に記憶されるものとする。
なお、ＣＶ映像はレイヤー上のＣＧと合成表示することから、動画映像としては全周動画映像、又は動画映像から生成したＣＧ映像が適している。

ＣＶタグ入力手段２０４は、上述したＣＶ映像やレイヤー中の任意の指定位置に所定のＣＶタグを合成表示する。
具体的には、ＣＶタグ入力手段２０４は、管理者装置２００又はユーザ装置３００からの入力操作に応じて、ＣＶ映像記憶手段２０１に記憶されたＣＶ映像やレイヤー記憶手段２０３に記憶されたレイヤー中の任意の対象物や位置に対して、ＣＶ映像の中にＣＶタグを直接貼り付け、又はＣＶ映像中の対象物の三次元的位置を確認できるように、矢印などで特定できるようにしたＣＶタグを、ＣＶ映像の中に三次元的に配置する（図１７〜図２２参照）。

ここで、ＣＶタグとは、ＣＶ映像中の任意の対象物や三次元空間に対応する三次元情報を持つもので、タグが有する三次元情報によって指定する対象物や三次元空間位置を特定するものである。
三次元情報を持つＣＶ映像には、アイコンのように情報のやり取りをするＣＶタグを貼り付けることができる。また、ＣＶ映像では、画像の中の対象物、又は画素そのものが三次元座標を持っていることから、対象物そのものをタグとして利用することができる。
また、ＣＶタグは、実写をそのままＣＶタグとして利用する形態と、小型のＣＧをタグとして貼り付ける形態の二種類があり、本実施形態では、いずれのＣＶタグを使用することもできる。

ＣＶタグ入力手段２０４では、管理者装置２００又はユーザ装置３００からの入力操作に応じて、ＣＶ映像中の任意の対象物に直接ＣＶタグを入力する。すなわち、ＣＶタグ入力手段２０４は、ＣＶ映像を用いて各対象物を三次元計測し、ＣＶタグの三次元座標を対象物の三次元座標と合致させて当該対象物にＣＶタグを設置（貼り付け）するか、あるいはＣＶタグが対象物を隠さないように、対象物の近傍に設置（貼り付け）する。
具体的には、ＣＶタグ入力手段２０４は、まず、表示されたＣＶ映像の中の対象物又はその近傍に、対象物を特定して示すＣＶタグを映像面上に指定する。指定はマウス等の入力手段を使用して行うことができる。対象物が複数有れば複数の指定が可能である。

なお、ＣＶタグの形状等は、予め用意された様々なデザイン，形状，構成のアイコンやＣＧ，実写映像等からなるタグの候補から選択することができる。
また、ＣＶタグの配置の範囲は、二次元的又は三次元的に制限して指定することができる。具体的には、ＣＶタグの配置の範囲を例えば二次元的な複数の面を用意して、その面内に配置するように制限して設定し、又は配置範囲を三次元的な範囲に制限して指定する。
次に、ＣＶタグ入力手段２０４は、マウス等で指定されたＣＶ映像面上の位置の三次元座標を演算して求める。なお、ＣＶタグの座標を演算した後、位置や姿勢等の微調整も可能である。
そして、取得された三次元座標をＣＶタグの座標として固定し、対象物を三次元的に指定してＣＶタグと関連付ける。
最後に、取得されたＣＶタグの入力を完了して登録する。ここで登録されたＣＶデータは、後述するＣＶタグ記憶手段２０５に記録される。
これにより、ＣＶタグの座標設定は完了する。

そして、ＣＶタグ入力手段２０４は、対象物に貼り付けられたＣＶタグを開封し、リンクしたファイルに管理対象物に関連する画像やテキストデータ等の諸データの書き込み・登録を行う。
具体的には、ＣＶタグ入力手段２０４は、ＣＶタグがクリック（開封）されると、諸データの書き込み用の画面を展開し、そのフォーマットに従って所定情報が書き込まれると、当該データをＣＶタグ記憶手段（データベース）２０５に登録する。
まず、ＣＶタグ入力手段２０４は、ＣＶタグに書き込む属性又は通信内容を記録する。記録される属性や通信内容としては、例えば管理上の記録データ、写真、図面等がある（図１７参照）。

また、ＣＶタグ入力手段２０４は、ＣＶタグが他のＣＶ映像や地図においてもリンクして表示できるように、その位置と姿勢と種類を登録する。例えば三次元地図、空撮映像、過去の地上撮映像、構造物内の映像、完成予想ＣＧ等、他のＣＶ映像や地図においてもリンクして表示できるように、その位置と姿勢と種類を登録する。
なお、登録すべきＣＶタグの内容は確認することができ、必要に応じて、ＣＶタグの内容又はＣＶタグの設定を解除することもできる。
以上により、ＣＶタグのデータ入力は完了する。

ＣＶタグ記憶手段２０５は、ＣＶタグ入力手段２０４で入力・設定されたＣＶタグを所定の関連情報・諸データとともに記憶する。
すなわち、ＣＶタグ記憶手段２０５は、上述のようにＣＶ映像中に合成表示される所定のＣＶタグが、その関連情報、諸データとともに記憶されるデータベースとして機能する。
ＣＶタグ記憶手段２０５に登録される諸データとしては、ＣＶ映像中の対象物に関する一切のデータであり、例えば、店舗案内目的であればそのエリアにある店や会社に関する情報（業種、店舗名、商品等の情報）、道路管理やカーナビゲーション目的であれば、道路標識に付加されたＣＶタグ（標識のＣＧ）に、表示されている制限速度などが諸データとして登録されることになる。

このような諸データがデータベースに書き込まれてＣＶタグ記憶手段２０５に登録されると、以後はユーザ装置３００側ではＣＶ映像とともにＣＶタグを表示・閲覧することができ、任意のＣＶタグを開封（クリック）することにより、登録された情報が画面上に表示されるようになる。このようにＣＶタグは、管理対象物の所定情報を開封・表示させるためのアイコンとして機能するものである。
さらに、ＣＶタグに関連する諸データ・関連情報は、ＣＶタグを開封してリンクしたファイルに当該タグが示す対象物に関する画像やテキストデータ等の諸データを書き込むことができ、Ｗｅｂサイト管理者が直接ＣＶタグ記憶手段２０５に書き込む場合の他、ユーザ装置３００側からＣＶタグ関連の諸データをＣＶタグ記憶手段２０５に書き込むことができる。

ＣＶタグ検索手段２０６は、ＣＶタグ記憶手段２０５に記憶されたＣＶタグ又はその関連情報を検索・抽出する。
すなわち、ＣＶタグ検索手段２０６は、管理者装置２００に直接入力されるかユーザ装置３００側から入力・送信された文字、座標、属性等の情報に基づいてＣＶタグ記憶手段２０５を検索し、該当するＣＶタグ又はその関連情報を抽出する。
検索の結果抽出されたＣＶタグは、ＣＶ映像中の対象物を示すＣＶタグそのものや、ＣＶ映像中の対象物の画像そのものを、色の変化やフラッシュ効果等の何らかの視覚効果のある三次元座標を持つ印として、動画としてのＣＶ映像上に三次元的に矛盾無く表示され、検索者側で表示・閲覧できるようになっている。

具体的には、ＣＶタグ検索手段２０６によるデータベース（ＣＶタグ記憶手段２０５）の検索は、例えば、文字検索、座標検索、属性検索等により行われ、既に登録されている対象物を検索し、また、未登録の対象物を検索することも可能である。そして、検索により抽出されたＣＶタグ又は対象物は、ＣＶ映像上に点滅表示やフラッシュ表示され、三次元位置が呈示されることになる。
例えば、タウンガイドや店舗案内目的の場合には、「レストラン」と文字検索すれば、ＣＶ映像中にあるレストランの映像やそれに付されたタグが点灯・点滅表示される。また、道路管理やカーナビゲーション対応のデータベースであれば、「４０km速度制限」と文字検索をすれば、ＣＶ映像上にその標識が明るく表示される。また、緯度経度を数字で打ち込んで検索すれば、その緯度経度の所に画像が移動して、その地点が矢印で示される。また、「時速４０km制限」と検索すれば４０km制限の道路の側帯部分がフラッシュ表示されて、その範囲が示されることになる。

ここで、文字検索は、ＣＶタグ記憶手段２０５に記憶される関連情報・諸データについて行われる他、画像の中から文字を自動認識することにより行うことができる。また、座標検索は、地図として用いるＣＶ画像が絶対座標を持っていることから、動画であっても座標を特定して検索することが可能となる。
また、登録されている諸データであれば当然であるが、登録されていない管理対象物に対しても、画像の中から検索する画像検索、対象物認識技術により、検索することが可能である。
例えば、交通標識で一方通行の標識の画像を用意しておき、この一方通行の標識の画像で検索すると、画像中の一方通行の標識をすべて検索して、その位置を示すことができる。
なお、未登録の管理対象物の検索は対象物認識の技術が必要となり、検索にはある程度の時間がかかることになる。従って、前もって入力・登録してある管理対象物に関する諸データから検索する方が検索速度としては高速化されることになる。

二次元地図記憶手段２０７は、ＣＶ映像記憶手段２０１に記憶されたＣＶ映像に対応する二次元地図を記憶している。そして、この二次元地図記憶手段２０７に記憶された地図が、後述するユーザ装置３００側の二次元地図表示手段３０５によって読み出され、対応するＣＶ映像と同期表示されるようになっている（図１８〜図２２参照）。
二次元地図記憶手段２０７に記憶される地図は、対応するＣＶ映像よりは高縮尺な地図を備えることが好ましい。すなわち、ＣＶ映像記憶手段２０１に記憶されるＣＶ映像は、対応する対象エリアを示す地図よりも低縮尺である。
但し、ここで縮尺は本質的な問題ではない。すなわち、目的に応じて同一縮尺程度でも座標統合は可能である。もちろん低縮尺映像としてはＣＶ映像だけではなく、両者の立場を入れ替えて二次元地図を低縮尺として、高縮尺のＣＶ映像とすることも可能である。
さらに、地図は二次元のみならず三次元でもよく、ＣＶ映像との本質的な区別はない。また、ＣＧであってもよく、座標を持つものはどのような手段でも座標統合は可能である。すなわち、地図は二次元でも三次元でも可能であり、地図が三次元地図であればＣＧと同じ意味となる。その場合には、ここでの座標統合はＣＧとＣＶ映像との座標統合という意味になる。またそれは、ＣＶ映像とＣＶ映像との座標統合という意味になる。その場合、同一縮尺ＣＶ映像でもよいし、地上撮と映像とを座標統合してもよい。

リアルタイム映像手段２０８は、ＣＶ映像記憶手段に記憶されたＣＶ映像に対応するリアルタイム映像を取得して、当該ＣＶ映像中に合成表示する。
具体的には、リアルタイム映像手段２０８は、移動車輌等に積載されたビデオカメラによりリアルタイム映像を取得し、そのリアルタイム映像に上述したＣＶ演算を施してリアルタイムＣＶ映像を取得する手段であり、上述したＣＶ演算部として機能するものである（図１〜図１３参照）。
リアルタイム映像は単なるモニタとしてのみならず、直接ＣＶ演算するか、又はリアルタイム映像を予め用意したＣＶ映像地図と位置合わせすることにより、ＣＶ値を取得してリアルタイムＣＶ映像として様々に利用することができる。

ＩＤ管理手段２０９は、ネットワーク上に存在し当該管理者装置にアクセスしてくる全てのユーザ装置３００のＩＤ番号を記録し、特定して、各ユーザ装置３００から求められるＣＶ映像やレイヤー、ＣＶタグ、二次元地図等のデータを該当するユーザ装置３００に配信する。
なお、ユーザの中には、ＩＤが登録されているユーザと、ＩＤが登録されていないユーザなど、複数の種類とそれに応じた権限があり、その権限に応じて対応し、結果を記録する。
また、ユーザに対して課金が発生する場合には、ＩＤ管理手段２０９によるユーザ管理が重要となる。

本実施形態に係るレイヤーは、ユーザが自由に生成することができることから、レイヤーにリアルタイム映像を取り込んだり、リアルタイム情報から生成したＣＧを表示することで、他のユーザ等がリアルタイムで観察できるリアルタイム映像を配信・表示することができる。
例えば、独居老人が住む家をＣＶ映像データベースに取り込んでおき、老人の位置を示す装置を設置することで、観察者は老人の位置をリアルタイムで観察できることになり、老人の安全を確保できることになり、老人介護に役立てることができる。
また、店舗等における閉店後の人の動きを検出する装置を設置することで、本発明に係るＣＶ映像上において、夜間監視映像をリアルタイムで観察できることになる。

［ユーザ装置（ユーザ）］
ユーザ装置３００は、インターネットを利用する一般ユーザ側に備えられるパーソナルコンピュータや携帯通信端末等の情報処理装置によって構成されており、ＣＰＵやメモリ等で構成される演算制御手段、外部からデータ入力可能な入力手段、液晶ディスプレイやＣＲＴ等の出力表示手段（ディスプレイ３００ａ）、データ通信を行うための送受信手段等の各部を備え、インターネットを介して管理者装置２００とデータ通信可能に接続されている。
具体的には、ユーザ装置３００は、図１５に示すように、ディスプレイ３００ａと、ＣＶ映像選択表示手段３０１と、レイヤー選択統合手段３０２と、ＣＶタグ選択表示手段３０３と、タグ情報選択表示手段３０４と、二次元地図表示手段３０５と、カメラ位置表示手段３０６の各部を備えている。

ディスプレイ３００ａは、所定の画像を表示する表示手段であり、本実施形態では、ユーザ装置３００の入力操作に応じて、後述するＣＶ映像やレイヤー上に設定されたＣＶタグ、二次元地図等が表示されるようになっている（図１６〜図２２参照）。
ＣＶ映像選択表示手段３０１は、管理者装置２００のＣＶ映像記憶手段２０１の中から所望のＣＶ映像を選択して受信し、当該ＣＶ映像をユーザ装置３００のディスプレイ３００ａに表示させる（図１７〜図２２参照）。
なお、ＣＶ映像は膨大なデータ量となるので、通常の通信ネットワークで配信するには時間がかかる。そこで映像の品質を多少落とすことで配信は十分可能である。但し、ユーザ装置側で映像を高品質のまま取得するには、前もって他の方法で映像を取得しておくのがよい。他の方法としては、例えば、ハードディスク、ＤＶＤ、又は前記ネットワークの通信回線を利用し、前もって長時間かけて映像のみを受信しておくのがよい。このとき、ＣＶ値は前もって送らなくても、表示時にレイヤーと共に受信することでレイヤーとの同期がとれることになる。

レイヤー選択統合手段３０２は、ＣＶ映像選択表示手段３０１によって表示されたＣＶ映像に対応する所望のレイヤーを管理者装置２００のレイヤー生成手段２０２に生成させ、又は既に生成された所望のレイヤーをレイヤー記憶手段２０３から受信して、ＣＶ映像に座標統合して重ねて表示させる（図１６参照）。
但し、レイヤーは三次元空間であり、ＣＶ映像に重ねて表示しても目で見えるわけではない。すなわち、本発明におけるレイヤーとは、ＣＶ映像に座標を重ね合わせて、次のＣＶタグを表示する三次元空間を準備することである。
そして、本発明の特徴は、このようなレイヤーを複数用意し、ユーザが自由に選択し、又はユーザが自由に生成し、それを管理者装置内に置いて、他のユーザに配信し、ユーザ間で共有し、世界を無数に拡張していくことにある。

ＣＶタグ選択表示手段３０３は、レイヤー単位で分類されているＣＶタグをディスプレイに表示されているＣＶ映像及び／又はレイヤーの所望の三次元位置を指定してＣＶタグをディスプレイ３００ａ上に合成表示させる（図１７〜図２２参照）。
具体的には、ＣＶタグ選択表示手段３０３は、ＣＶ映像選択表示手段３０１により表示されたＣＶ映像中にＣＶタグを表示させ、動画として画像フレームが移動しても、映像とＣＶタグの三次元的位置関係を保持したままＣＶタグを表示し、及びＣＶタグを開封しその内容を表示する。
そして、本実施形態では、ＣＶタグは、ＣＶ映像中に情報の出入り口として配置されるようになっている（図１７参照）。
ＣＶタグの置き方としては、対象物に重ねて、又は対象物から多少話した仮想位置に対象物を特定する位置に設置し、情報の出入り口とする。
そして、本発明の特徴は、このようにレイヤー単位で分類されているＣＶタグを映像の対象物に貼り付け、ＣＶタグをその対象物に関連する情報の出入り口として利用することにある。

なお、ＣＶタグとして、ＣＧを実写映像に貼り付ける以外に、実写映像をそのままＣＶタグとして利用することができる。ＣＶ映像内の対象物は画像からその三次元座標を取得できるので、その座標及びその周辺座標をＣＶタグとして利用すればよい。
実写画像をそのままＣＶタグとして用いる場合の特徴は、画像中の対象物すべてがＣＶタグとして利用できることである。画像の持つ座標系とＣＶタグの座標系を共通にすることで、三次元座標そのものがタグの位置であり、目に見えないタグとして配置することができる。但し、ＣＶタグの位置がピンポイントでは検索が困難となるので、二次元的に或いは三次元的に範囲を指定して、その範囲をタグ領域とすることが好ましい。
実写型ＣＶタグは実写そのものを用いるので、タグは目では見えないことになり、映像を観察するときに障害とはならない点が、ＣＧ方式に比べて有利である。ただ、ＣＶ映像からタグの位置を指定したり検索するためには、画像内でその都度三次元計測を行う必要があり、この点はＣＧ方式の方が有利となる。

一方、ＣＧによるＣＶタグは、三次元計測した位置にタグとしてのＣＧを配置することになる。配置するには三次元計測する点では実写方式と同じであるが、読み出しや検索の場合はＣＧが既に三次元座標を持っていることから、その場での再度三次元計測をせずにＣＧを直接クリックすることで、その三次元座標を取得できるので、処理が簡単になる。この点が実写型と比較して有利な点である。
なお、ＣＧを用いたＣＶタグは、実写型と異なりタグが映像中に見えることになり、映像観察上不利になることはあるが、却って見えた方が都合の良いこともある。また、ＣＧを透明化することも可能であり、目では見えないが、クリックすればそこでＣＧの三次元座標を取得し、タグを特定できることになる。
従って実写方式でなくＣＧ方式でも、タグそのものを映像中に隠して、置くことが可能となる。透明であれ可視であれ、ＣＶ映像中に配置されたＣＶタグであるＣＧは、既に三次元座標を持っているので、その場で三次元座標を計測する必要はないことになり、実写方式に比較して、呼び出しや検索に有利となる。

タグ情報選択表示手段３０４は、ＣＶ映像に合成表示された前記ＣＶタグを指定して当該ＣＶタグの関連情報を編集、分類、統合、検索、削除等できるようにディスプレイ３００ａ上に表示させる。
具体的には、タグ情報選択表示手段３０４は、ＣＶタグを選択することで、又はディスプレイ３００ａ上に表示されたＣＶ映像中の対象物をＣＶ映像の中でタッチスクリーンにタッチし、又はマウス等でＣＶタグをクリックして、ＣＶタグを選択することで、管理者装置２００側のＣＶタグ記憶手段２０５からＣＶタグに対応する対象物のデータを読み出して管理する手段である。
なお、ＣＶタグに関する情報・データは、上述したＣＶタグ検索手段２０６により、自動又は手動により検索することができる。
このように、ＣＶ映像上で所望の対象物を特定するには、検索によるか、画像上の対象物を直接マウスでクリックすることで完了する。

二次元地図表示手段３０５は、管理者装置２００の二次元地図記憶手段２０５から所望の二次元地図を受信して表示する。
さらに、カメラ位置表示手段３０６は、表示された二次元地図上に、対応するＣＶ映像の撮影位置及び進行方向を表示する。そして、ＣＶ映像選択表示手段３０１は、表示された前記二次元地図上で指定してされた任意の点に対応するＣＶ映像をＣＶ映像記憶手段３０１から受信して表示する。

具体的には、二次元地図表示手段３０５は、対応する地図とＣＶ映像の同期表示を行う（図１８〜図２２参照）。
二次元地図表示手段３０５は、まず、ＣＶ映像と対応する二次元地図の座標を統合してディスプレイ３００ａ上に表示する。また、二次元地図表示手段３０５は、ＣＶタグを、地図とＣＶ映像とに同期表示して、ディスプレイ３００ａ上でどちらのＣＶタグをクリックしても属性標示等を行わせるようにする。
これによって、ＣＶタグを管理する上で、ＣＶ映像上に表示するだけではなく、ＣＶ映像と座標統合した地図上にもタグを貼り付けることができる。そして、地図とＣＶ映像がリンクすることで、ＣＶタグをＣＶ映像と地図上に同期して表示することができる。

なお、映像と地図とのリンクについては、「道路・河川等の現況ビデオ検索装置」（特許第３０９９１０３号）の技術を利用することができる。
なお、上記の「道路・河川等の現況ビデオ検索装置」では、地図と映像のカメラ位置が点で面的（自由度２）に対応しているのみであるが、本発明においては、地図と映像の関係を、三次元的位置と姿勢、つまり６自由度で対応をとってあり、重ね合わせも可能である。つまり、三次元地図と映像が完全に対応がとれている表示が可能となる。
なお、地図が二次元の場合は、地図上に貼り付けるタグも二次元とし、地図が三次元の場合はタグも三次元とすることが好ましい。

図１７〜図２２に、本実施形態に係るレイヤー生成・選択機能を備えたＣＶタグ映像表示装置でディスプレイ上に生成・表示されるＣＶ映像、ＣＶタグ、二次元地図等の一例を示す。
上述したように、動画像をＣＶ演算することで三次元的に扱うことができるようになり、任意の対象物や三次元空間の三次元情報を得ることができ、これらに自由にＣＶタグを貼り付け、レイヤーを生成・設定することができる。
なお、このようにＣＶ値が付加されたＣＶ映像には、ＣＶタグ以外にも、別途ＣＧを合成することもできる。ＣＶ映像とＣＧとの合成技術は本願発明者による特開平２００５−１２２３１５号に提案されている。

図１７〜図２２に、本実施形態のレイヤー生成・選択機能を備えたＣＶタグ映像表示装置によってインターネット環境下で生成・表示されるＣＶ映像・レイヤー及びＣＶタグの表示例を示す。
これらの図に示すように、インターネット環境下で公開されたＣＶ映像には、様々な関連情報とともにＣＶタグが設定され表示されるようになっており（図１７）、各タグを指定・クリックすることで、関連情報を表示させたり、リンクされている他のＷｅｂページを表示させることができる。
また、ＣＶ映像と対応する二次元地図を同一画面上に同期表示させることができ（図１８〜図２２）、ＣＶ映像及び地図に登録されているタグ情報を検索することができる（図１８）。
また、地図上の任意の点を指定することで、対応するＣＶ映像を表示させることができ（図１９）、ＣＶ映像中の任意の点にＣＶタグを入力するとともに、当該タグの関連情報を入力・登録することができる（図２０）。
さらに、ＣＶ映像中のタグを指定・クリックすることで、リンクする他のＷｅｂページを表示させ（図２１）、また、表示されたＣＶ映像に登録されたタグを自由ワードで検索し、そのタグの位置の映像を表示させることができる（図２２）。

このようにして、インターネットを介して一般ユーザ側のユーザ装置３００に管理者装置が提供するＣＶ映像・レイヤー・ＣＶタグを表示・閲覧でき、ユーザが任意の住所や地点、店舗、レストラン、食堂等に、所望の形状等のＣＶタグを貼り付け、ＣＶタグに所定の属性情報等を書き込み、また、書き込まれた属性情報等の読み取り・表示等を行わせることができる。
なお、以上のようなレイヤー生成・選択機能を備えたＣＶタグ映像表示装置１００を実現するために、本実施形態では、インターネット環境下に設置されるサーバ（管理者装置）側に多くの機能を負担させ、ＣＶ映像を管理者装置側に置き、ユーザ装置側の端末（ビュア）では単に二次元映像の表示だけが行われるようにし、上述したＣＶ演算や三次元計測等の高度な作業はすべて管理者装置２００側で行わせるようにしてある。このようにすることで、ユーザ装置３００側の端末は、可能な限り低機能な設備でよくなり、広く不特定多数の一般ユーザに本発明に係るＣＶタグ技術を利用させることができる。勿論、ユーザ装置３００側に多くの処理機能を持たせることで、管理者装置２００側の負担を軽減することも可能である（後述する図２３参照）。

このように、本実施形態によれば、インターネットを介して、ＣＶ映像の中のすべての対象物をＷｅｂ上で共有し、多くの人が参加することができるコミュニケーションツールが実現する。
これにより、管理者のみならず、不特定多数の人が、ＣＶタグを貼り付け、又はＣＶタグを共有し、情報を共有し、自由に参加する環境を提供することができ、これまでのインターネット環境が大きく変わることになる。
なお、ここでは当然公開するＣＶツールと非公開とを分離することも可能であり、管理者がその選択権を持つことになる。

［複数ユーザによる相互情報交換］
以上のような本実施形態のレイヤー生成・選択機能を備えたＣＶタグ映像表示装置１００によれば、インターネットを介して複数のユーザにより、複数のレイヤーそれぞれが選択的にＣＶ映像と合成されることで、レイヤーの数だけの合成ＣＶ映像が生成されることになる。
すなわち、レイヤーの数だけの三次元世界が生成されることになる。
ベースとなる動画映像（ＣＶ映像）は共通であるが、そこに重ねて表示されるレイヤーの数は原理的に制限が無く、どれだけの数のレイヤーでも生成できることは明らかである。それは結果として複数レイヤーによる複数世界が生成され、無制限の数の三次元世界を構築することができることを意味する。このことがパラレルワールドモデルの所以であり、本発明のきわめて優れた特徴である。
ユーザはレイヤーを選択することで、自分に適した世界を選択することになる。

ここで、説明の便宜上、ユーザをＡユーザとＢユーザの２種類のユーザに区別する。Ａユーザとは、必ずしも自らのレイヤーも持つことはなく他のユーザ（Ｂユーザ）が用意して公表しているレイヤーを選択して観察するだけのユーザであり、Ｂユーザとは、自らのレイヤーを所有・管理するユーザである。
Ａユーザは必ずしも自らのレイヤーも持つことはなく、他のＢユーザが用意して公表しているレイヤーを選択して観察することができる。
そして当然、このＡユーザと他のＢユーザはレイヤー上で双方向の情報交換や通信が可能となる。公表されているレイヤーは複数同時表示も可能である。また、公表されていないレイヤーは関係者の閉じた世界で利用されることになる。さらに、複数のユーザが同一レイヤーで相互情報交換や通信が可能となる。
ここで、各レイヤーは独立して生成されるか、複数レイヤーを合成し、動画映像と一体表示することも可能であり、その組み合わせや数には原則として制限はない。

以下、レイヤー上の相互情報交換の形態について説明する。
各レイヤーには、ＣＶ映像のＣＶ値（各フレームの三次元位置と姿勢）に適合し、動画映像と一体化したＣＧのアイコン（タグ）が用意され、レイヤー上に設置することができる。また、直接実写映像上の一部領域を実写によるアイコン（タグ無し）として用意し、設置することができる。
各レイヤーには、それぞれ独立にアイコンを用意し、設置することができる。ここでは、アイコン機能を持つＣＧをタグという。但し、タグはアイコン機能を持つことが重要であり、必ずしもＣＧである必要はなく、小さな実写映像そのものであっても良く、また動画や動くＣＧやアニメＣＧであっても良い。
なお、説明の便宜上、ＣＧはレイヤー上に設置されるものとするが、レイヤーは思考上便利な存在であり、ＣＧが直接レイヤーの属性を持つことで特にレイヤーを想定しなくても実際にはレイヤー構造と同じ効果を実現できるものである。

そして、インターネット等を介して複数のユーザが参加・利用可能な本発明のシステムにおいては、Ｗｅｂ管理者とユーザはその利用において差はほとんど無くなる。サイトの管理上及び責任上、Ｗｅｂサイト管理者をユーザと区別して想定しているが、本発明の本質を進化させれば次第にＷｅｂ管理者とユーザの区別は無くなり、すべてはユーザであり、そのユーザによって運営されているサイトという意味合いが強くなっていく。
従って、Ｗｅｂサイト管理者側の管理者装置２００とユーザ側のユーザ装置３００は、まったく同様の構成とすることもできる。
但し、スタートにおいてはＷｅｂサイト管理者が、これらの複数の三次元世界を表示する装置を用意するのであるから、以下では両者を区別して説明する。

ここで、上述したユーザの種類（Ａユーザ・Ｂユーザ）の違いについて、より具体的に説明する。
Ｗｅｂサイトを開いて、公開されている複数のレイヤーの中から一つ又は複数を選択してみることで参加し、その中のタグをクリックすることで情報交換し、その中に自らのタグを貼ることで参加ユーザをＡユーザとする。
一方、Ｗｅｂサイト管理者の許可を取り、登録してレイヤーの権利をもらい、自らレイヤーを生成して、その中に自らの「三次元スペース」を構築し、そのレイヤーのルールを自ら設定し、専用のタグを貼り、積極的に情報を発信し、他のユーザと広く交流を求め同時に受信するユーザをＢユーザとする。
つまり、Ｂユーザは複数で自分達の国（レイヤー）を持っていて、同じ国民同士での交流と共同活動ができる。Ｂユーザが複数で建国した国にＡユーザを招き入れるが、Ａユーザは国は持たず、そこを訪れて情報交換し、そこで買い物をしたり、意見を言ったりするだけである。
また、Ｂユーザであっても、他のＢユーザの国を訪れるときはＡユーザである。
また、ＢユーザはＢユーザ国民のみで利用するタグもあり、訪問客にはすべてを公開しないことも可能となる。

そして、Ｗｅｂサイト管理者は、ＡユーザとBユーザを管理する。Ｂユーザにレイヤーの権利を与えるのはＷｅｂサイト管理者である。
Ａユーザには、公開されたレイヤーにタグを貼る権利と既に貼られているタグを開きそこに情報を書き込んだり、読み取ったりする権利を与える。
Ａユーザは、ＣＶ映像に視点を重ねて表示された公開されているレイヤーを任意に選択し、その中のタグをマウスでクリックするなどしてアクセスし、情報交換や買い物などができるものとする。
さらに、各ユーザはレイヤー上の任意の位置に、又は指定された範囲の位置に、自由にタグを貼り付けることができるものとする。
すなわち、ユーザは自らのユーザ装置３００において表示されるＣＶ映像中の任意のタグをマウス等で指定・クリックしてファイルを開き、そこに情報を書き込むことができる。なお、ここでいう情報とは、コンピュータで扱われるテキストデータ、音声データ、画像データ、等の一切を含むことができる。
ＣＶ映像中に表示されるアイコン機能を持つタグにより、適切なファイルを読み出し、あるいは書き込みが行える。

このように、ＣＶタグを媒介として、複数のユーザ間で、あるいはＷｅｂサイト管理者と複数のユーザ間で、双方向のコミュニケーションが可能となる。
さらには、レイヤーにＣＶ映像に重複して、店舗や会社をＣＧや映像で配置できるものとする。
Ｗｅｂサイト管理者とユーザは、ＣＶ映像に重複したレイヤー上の店舗や会社社屋を、双方向情報交流の出入り口を行えるものとして設置することができる。
このようにして、本実施形態では、主にＷｅｂサイト内で展開される多数のユーザによる情報交換が可能となる。

［サーバの分散配置］
次に、本発明の一実施形態に係るレイヤー生成・選択機能を備えたＣＶタグ映像表示装置において、ＣＶ映像、レイヤー情報、地図情報を格納するサーバを、各ユーザ装置に分散させる場合について説明する。
上述した一本実施形態では、管理者装置２００側に多くの機能を負担させ、ユーザ装置３００側には単に端末（ビュア）としての映像表示だけが行われるようにして、ユーザ装置３００側の端末を、可能な限り低機能な設備で済むようにし、広く不特定多数の一般ユーザに本発明に係るＣＶタグ技術を利用できるようにしていた（図１５）。
しかしながら、本発明のレイヤー生成・選択機能を備えたＣＶタグ映像表示装置を実現するためには、Ｗｅｂ管理者側でＣＶ映像の莫大なデータをサーバに用意しなければならず、データの更新等も必要となる。ＣＶ映像の対象が全国（あるいは全世界）の道路に関するものであれば、映像更新やＣＶ演算のことを考慮して、各データは例えば地域別に管理することが好ましいともいえる。また、Ｗｅｂの環境には地域的偏り等もあり、サーバを設置することが不適切な地域や環境もある。

そこで、実際にサーバを置く地域・エリアは限定されるとしても、各データを管理者装置と各ユーザ装置に分散して管理・登録することで、全てのデータを一カ所集中とするよりも効率化することができる。
また、レイヤーの管理も分散が可能であり、各レイヤーは、当該レイヤーを設定したユーザ自身が自らのユーザ装置で管理することができる。
そして、究極的には管理者とユーザの区別がなくなり、すべてがユーザであり管理者であるという形にすることも可能である。または、管理の色合いが強いレイヤーを設定・管理するユーザグループと、単にレイヤーを含めたＣＶ映像を閲覧・使用するだけのユーザという区分にすることも可能である。

図２３は、本発明の一実施形態に係るレイヤー生成・選択機能を備えたＣＶタグ映像表示装置において、ＣＶ映像、レイヤー情報、地図情報を格納するサーバを、各ユーザ装置に分散させた構成を模式的に示す説明図である。
同図に示すレイヤー生成・選択機能を備えたＣＶタグ映像表示装置１００では、Ｗｅｂサイト管理者側のサーバ（管理者装置２００）では、必要最低限のデータを管理するようにしてある。
具体的には、Ｗｅｂサイト管理者側のサーバ（管理者装置２００）では動画映像は持たず、動画映像の視点情報を持つＣＶ値を全画像に対応させているＣＶ値データベースと、ある種のコンテンツ利用が有料である場合を想定して、課金データを管理する。このＣＶ値データと課金データは秘密性が強いので、Ｗｅｂサイト管理者側のサーバとするのが適切である。
また、Ｗｅｂサイト管理者側のサーバにおいては、レイヤー権利者のＩＤデータを持つことで、ユーザからのレイヤー指定や問い合わせに対応する。

地域画像サーバ（ユーザ装置３００）は、その動画映像の更新を含めて管理するように、担当地域の管理者が自らのサーバ（ユーザ装置３００）において管理する。
その他コンテンツサーバ（ユーザ装置３００）は、ＣＶ映像と切り離し、ＣＶ映像以外のコンテンツを記憶して、一般のユーザ装置の要求に応える。
地図サーバ（ユーザ装置３００）は、その地図を更新も含めて管理するように、地図会社のサーバ（ユーザ装置３００）において管理する。
また、レイヤーとそのレイヤー上に載るテキストデータや画像データやＣＧコンテンツは、レイヤーの権利を持つレイヤー権利者が管理責任とともに、更新を含めて自らの管轄においてサーバ（ユーザ装置３００）を立ち上げて管理する。

次に、以上のようなサーバ分散システムにおけるユーザの操作について説明する。
一般ユーザが自らのユーザ装置３００を介して管理者装置２００で提供されＷｅｂサイトにアクセすると、自らの望む動画映像の地域が表示される。導入用の全周映像による動画映像が表示される。また、先にＷｅｂサイト画面上で、自らが求めるレイヤーを任意に選択することができる。
共通のレイヤーにおいては、Ｗｅｂ管理者が用意したレイヤーをみることになる。ここではＷｅｂ管理者も管理用の少数の共通レイヤーを持つことになる。

次に、ユーザは自らの関心のあるレイヤー（世界）を、タグを指定・クリック等することにより選択し表示する。
Ｗｅｂ管理者のサーバには、すべてのレイヤーのＩＤが記録されているので、選択されたタグのレイヤーのサーバにアクセスを許可する。
ここで、有料レイヤー（世界）であれば、この段階で課金される。
指定されたサーバからのコンテンツとデータが集められ、目的の画面をユーザ装置３００側の画面上に構成・表示されることになる。
なお、全周動画映像とレイヤーのどちらを先に選択するかは自由であるが、結果としては、ユーザの好む地域の全周画像映像にレイヤーが重複表示された画像が表示されることになる。すなわちレイヤーは直接見えないが、レイヤー上に置かれたＣＧ又は三次元化映像を、全周動画映像に重複した形で表示されることになる。

最後に、以上述べた、分散型のシステムをさらに進化させた究極の分散型システム例を説明する。
上記例では、Ｗｅｂ管理者とユーザが存在していたが、システム管理とその責任の所在とＩＤ管理、及び課金等のために管理者及び管理者装置が必要であるといえる。しかし、これはシステム技術上必要なことではなく、システム管理をユーザ自身が行うことに決めれば、管理者装置もユーザ装置の一つとして、ユーザ自身が運用することが可能となる。
そこで、管理者装置を排除し、これまでの管理者装置の機能を全てユーザに分散して機能させることが十分可能となる。そのようなシステムの場合は、全てがユーザとなり、各種ユーザ装置を複数のユーザに分散させて、システム全体を機能させることが可能となる。

そして、このようにユーザが任意のレイヤーを選択できる状態が、本発明にいうパラレルワールドであり、ユーザは複数の世界（多世界）から自分に適した唯一の世界を選択できることになる。さらに、ユーザは新しいレイヤーを付け加えることもできることになる。そのことで複数世界の中に世界を一つ追加したことになる。追加された世界は公開せずに自分専用の世界とすることもできるし、公開して他のユーザが選択することもできる。
レイヤー（世界）を選択し又は追加したことで、当該レイヤーや共通レイヤーにおける経済活動が可能となる。例えば、選択又は追加されたレイヤー（世界）には、そのレイヤー独自の店舗や企業が存在し、そのＣＧ表示された店舗や企業をマウスでクリックすることで、その店舗や企業の詳細な画像を含む内容に導かれ、画面上で買い物や予約ができ、また企業間取引ができる。
また、共通レイヤーの中には、Ｗｅｂ世界銀行を設けることも可能であり、レイヤー世界での銀行取引も可能となる。
このようにして、本発明のレイヤー生成・選択機能を備えたＣＶタグ映像表示装置を発展させることで、およそリアル経済で行われることのほとんどが、Ｗｅｂ経済圏においても可能となり、Ｗｅｂ経済圏で通用する貨幣の発行や両替等も行えるようになる。

以上説明したような本発明のレイヤー生成・選択機能を備えたＣＶタグ映像表示装置によれば、以下のような各種の表示機能（表示手段）が実現される。
[動画ロックオン表示]
動画ロックオン表示は、選択及び検索した管理対象物を、管理対象物を画像の決められた位置に固定して表示する機能である。
ロックオン表示は、ロックオンすべき任意の対象物を画像内に指定すると、ＣＶ演算で得られたカメラベクトルに基づいて、画像内に指定した対象物を実写座標系で計測してその三次元座標を求め、三次元座標が求められた指定対象物が、常に画枠の中心位置（又は任意の所定位置）に表示されるように、画像表示又はカメラ（カメラが固定される固定物）の位置及び姿勢を制御することができる。

これにより、例えば、画像内にあらかじめ画像と一致している三次元座標系を設定しておき、画像内の目的対象物をマウス等で画像内に指定し、ＣＶ演算により、目的対象物の概略の三次元座標を求め、求められた目的対象物の三次元座標が画像内の指定位置に常に来るように画像表示位置を制御することができる。
あるいは、目的対象物を画像内の指定位置に常に表示するようにカメラを制御することができる。
このロックオン機能により、ＣＶタグや対象物をＣＶ映像地図上で直接指示すれば、選択した管理対象物をロックオンで画像中央に常に表示することができるので、視認および操作が容易となる。

［複数ＣＶ映像表示］
複数ＣＶ映像表示は、ＣＶ映像地図は縮尺の異なる複数のＣＶ映像地図を表示し、しかも座標系を統一して、同じＣＶタグを複数のＣＶ映像地図に上に表示する機能である。
なお、上述したように、ＣＶタグはＣＧアイコンにより構成される場合と、実写アイコンにより構成される場合がある。また、アイコン機能を持たない単なるＣＧを表示することができることは勿論である。

［地図同期表示］
地図同期表示は、ＣＶ映像地図と二次元地図を同時に表示し、二次元地図上にもＣＶタグを表示する機能である。
ＣＶタグはもともと三次元座標を持つので、二次元化することは容易に行える。

［リアルタイムＣＶ映像表示］
リアルタイムＣＶ映像表示は、選択及び検索した管理対象物を、ＣＶ映像地図と同じように、リアルタイムＣＶ映像にＣＶタグを表示する機能である。これは現時点の現実映像であり最もリアリティーがある表示となる。なお、リアルタイム演算となるために、処理には一定の制限があり得る。

［現実重複表示］
現実重複表示は、選択及び検索した管理対象物を、ＣＶ映像上に表示せずに、ヘッドマウント、又はハーフミラー等により、移動する車両等から直接観察する現実世界の管理対象物に重複して合成した、ＣＶタグや案内矢印ＣＧ、看板ＣＧ等を示す機能である。
すなわち、ＣＶ映像を用いず、現実世界の実像そのものにハーフミラーで光学的に合成して、ＣＶタグや案内矢印ＣＧや看板ＣＧを合成することができる。
ここで、カメラが取得した映像は見るための映像ではなく、ＣＶ値を取得するための映像となる。車両が揺れていても、ＣＶ演算によりＣＶ値を求め、ＣＶタグや案内矢印ＣＧや看板ＣＧをハーフミラーで合成した正しい位置表示できることになる。
観察者から見れば、車両が揺れていても、管理対象物に対して、ずれることなく正しい位置に安定してＣＶタグや案内矢印ＣＧや看板ＣＧが観察されることになる。
タグをクリックするには、マウスよりはライトペン、又は三次元プローブのような三次元空間上の一点を指示出る装置が好ましい。

［音声案内表示］
音声案内表示は、選択及び検索した管理対象物に関するＣＶタグの内容を、音声で案内表示する機能である。これは、特にカーナビゲーションシステムには必要な機能となる。
なお、以上のような各機能は、すべてを行わせることもできるが、少なくともいずれか一部の機能を有するものであってもよい。

［ＣＶタグの利用分野分類］
以上のような本発明のレイヤー生成・選択機能を備えたＣＶタグ映像表示装置においてＣＶ映像・レイヤーに入力・表示されるＣＶタグは様々な分野で利用可能である。
ＣＶタグの利用の具体例を以下に示す。
・現場ＣＶ映像の街灯をクリックすれば、街灯のライトをＯＮ，ＯＦＦすることができる。
・花壇のリアルタイムＣＶ映像であれば、花がしおれている状況をＣＶ映像で確認すれば、散水栓のスイッチをＯＮにすることができる、等である。
・信号機、ビルのシャッター等、リアルタイムのＣＶ映像でコントロールして結果を視覚的に確認することが可能になる。これはＩＣタグではできないことであり、ユビキタス社会の目指す社会でもある。
・リアルタイムＣＶ映像中で、バス停をクリックすれば、バス時刻表を表示する。
・道路の舗装が痛んでいる所をＣＶタグで示して通報する。
・ＣＶ映像中のビル面にタグを貼り付けて、テナント募集をする。
・ＣＶ映像中のホテル面にタグを貼り付けて、予約する。
・ＣＶ映像中のレストランのタグを開いて予約する。
・ＣＶ映像中の道路の事故現場に事故記録を書き込む。
・ＣＶ映像中の道路上のＣＶタグで、道路事務所から道路使用者への関係情報を送る。
・ＣＶ映像中のＣＶタグで対象を特定して、客からの他の客向けの情報発信をする。
・地図とＣＶ映像をリンクし、又は地図と空撮ＣＶ映像と座標合わせし、空撮と地上撮とをリンクし、空撮映像にもＣＶタグを貼り付け、空撮のＣＶ映像のＣＶタグから、地上のＣＶ映像のＣＶタグに切り替え、さらに、ビルの内部のＣＶ映像中へ入り、各階の個別の商品や対象物にＣＶタグを貼り付け、それを利用者で共有して扱う。

［ＣＶタグ分野別分類］
ＣＶタグ利用を分野別に分類すると、以下のようになる。
・道路管理：人工構造物と自然物の属性、トレーサビリティー
・公共設備：標識、標示、電柱、電話柱、道路、河川、橋、鉄道、駅、街路樹、花壇、街灯、ロードヒーティング施設、ガードレール、縁石、バス停、港湾
・民間施設：民間看板、家、ビル、店舗
・工事現場、事故現場、商品価格
・ＰＣ：ホルダ、アイコン
・移動体：車両、荷物、入室者
・時間変化するもの：信号機、遮断器
・自然物：山、自然川、樹木、街路樹、岩
・スイッチ：ドアロック、ライト点灯、信号切り替え、線路切り替え、家電品、
・オフライン処理：Ｗｅｂによるタグ処理、スタンドアロン、Ｗｅｂによる配信

また、利用形態の具体例としては以下のようなものがあげられる。
(1)情報提供者の立場でＣＶタグを貼り付け、ＣＶ映像とＣＶタグで場所を特定して利用者に情報を提供する。
(2)対象物施設管理者の立場で、管理情報としてＣＶ映像とＣＶタグで場所を特定して管理者が自身で利用する。
(3)利用者の立場で、共通の目的を持つ人がＣＶ映像とＣＶタグで場所を特定してＣＶタグを共用して共同作業をする。
(4)利用予定者の立場で、ＣＶ映像とＣＶタグで場所を特定して募集やイベントの集客としてＣＶタグを利用する。
(5)市民の立場で、ＣＶ映像とＣＶタグで場所を特定して国民の立場で、要望や考えをＣＶタグに書き込んでおく。
(6)行政の立場で情報発信をＣＶタグで場所を特定して行う。
・災害時の利用の立場で、ＣＶ映像とＣＶタグで場所を特定して情報を知らせる。
・消防警察の立場でＣＶ映像とＣＶタグで場所を特定して情報を知らせる。
・建築現場確認として、ＣＶ映像とＣＶタグで場所を特定して情報を知らせる。
(7)第三者利用の立場で、ＣＶ映像とＣＶタグで場所を特定して掲示板的に情報媒体として利用する。
(8)関連広告媒体として、ＣＶ映像とＣＶタグで場所を特定して広告する。
(9)業者による利用として、ＣＶ映像とＣＶタグで場所を特定して業務に利用する。
・不動産等では対象の土地建物
・レストランでは、場所と環境と店内、及びメニュー、予約
・ホテルでは、場所、環境、案内、予約
・タクシー会社では、予約場所と着地点の映像と関連情報
・ゼネコンでは工事現場と、景観シミュレーション

以上、本発明のレイヤー生成・選択機能を備えたＣＶタグ映像表示装置について、好ましい実施形態を示して説明したが、本発明に係るレイヤー生成・選択機能を備えたＣＶタグ映像表示装置は、上述した実施形態にのみ限定されるものではなく、本発明の範囲で種々の変更実施が可能であることは言うまでもない。

例えば、上述した実施形態においては、本発明のレイヤー生成・選択機能を備えたＣＶタグ映像表示装置の適用対象として、インターネットを利用した商品の販売や、店舗・会社の宣伝広告、タウンガイド、地図情報等の提供を行うＷｅｂサイト用のコンピュータ装置を想定して説明したが、本発明に係るレイヤー生成・選択機能を備えたＣＶタグ映像表示装置がそれ以外の幅広い分野に適用できることは上述したとおりであり、その用途・使用方法等も特に限定されるものでないことは言うまでもない。
また、管理者装置とユーザ装置の接続環境としては、インターネットのみに限らず、ＬＡＮ，ＷＡＮ，専用回線接続等、管理者装置とユーザ装置との間でデータ通信が行える形態であればどのようなものでもよい。

本発明は、例えば、インターネットを利用した商品の販売や、店舗・会社の宣伝広告、タウンガイド、地図情報等の提供を行うＷｅｂサイト、自動車に搭載されるカーナビゲーション装置に備える地図や映像を表示・更新するための映像装置、あるいは、道路や河川の監視システム等として好適に利用することができる。

本発明のレイヤー生成・選択機能を備えたＣＶタグ映像表示装置で使用されるＣＶ映像を生成するためのＣＶ演算部の一実施形態の基本構成を示すブロック図である。 図１に示すＣＶ演算部で使用する全周ビデオ映像を撮影する手段を示す概略図であり、屋根部に全周カメラを搭載した車輌の斜視図である。 図１に示すＣＶ演算部で使用する全周ビデオ映像を撮影する手段を示す概略図であり、（ａ）は屋根部に全周カメラを搭載した車輌の正面図、（ｂ）は同じく平面図である。 全周カメラで撮影される映像から得られる変換画像を示す説明図であり、（ａ）は球面画像が貼り付けられる仮想球面を、（ｂ）は仮想球面に貼り付けられた球面画像の一例を、（ｃ）は（ｂ）に示した球面画像をメルカトール図法に従って平面展開した画像を示している。 本発明の一実施形態に係るＣＶ演算部おける具体的なカメラベクトルの検出方法を示す説明図である。 本発明の一実施形態に係るＣＶ演算部における具体的なカメラベクトルの検出方法を示す説明図である。 本発明の一実施形態に係るＣＶ演算部における具体的なカメラベクトルの検出方法を示す説明図である。 本発明の一実施形態に係るＣＶ演算部によるカメラベクトルの検出方法における望ましい特徴点の指定態様を示す説明図である。 本発明の一実施形態に係るＣＶ演算部により得られる特徴点の三次元座標とカメラベクトルの例を示すグラフである。 本発明の一実施形態に係るＣＶ演算部により得られる特徴点の三次元座標とカメラベクトルの例を示すグラフである。 本発明の一実施形態に係るＣＶデータ演算部により得られる特徴点の三次元座標とカメラベクトルの例を示すグラフである。 本発明の一実施形態に係るＣＶ演算部において、カメラから特徴点の距離に応じて複数の特徴点を設定し、複数の演算を繰り返し行う場合を示す説明図である。 本発明の一実施形態に係るＣＶデータ演算部求められたカメラベクトルの軌跡をビデオ映像中に表示した場合の図である。 本発明の一実施形態に係るレイヤー生成・選択機能を備えたＣＶタグ映像表示装置の基本構成を示すブロック図である。 本発明の一実施形態に係るレイヤー生成・選択機能を備えたＣＶタグ映像表示装置の管理者装置及びユーザ装置の具体的な構成を示す機能ブロック図である。 本発明の一実施形態に係るレイヤー生成・選択機能を備えたＣＶタグ映像表示装置で生成されるレイヤーの概念を模式的に示す説明図である。 本発明の一実施形態に係るレイヤー生成・選択機能を備えたＣＶタグ映像表示装置で生成・表示されるＣＶ映像・レイヤー及びＣＶタグの一例を示す説明図である。 本発明の一実施形態に係るレイヤー生成・選択機能を備えたＣＶタグ映像表示装置によってインターネット環境下で生成・表示されるＣＶ映像・レイヤー及びＣＶタグの表示例を示す説明図であり、ＣＶ映像・レイヤーと二次元地図とを同期表示した例である。 本発明の一実施形態に係るレイヤー生成・選択機能を備えたＣＶタグ映像表示装置によってインターネット環境下で生成・表示されるＣＶ映像・レイヤー及びＣＶタグの表示例を示す説明図であり、二次元地図上の位置を指定して対応するＣＶ映像・レイヤーを表示させた例である。 本発明の一実施形態に係るレイヤー生成・選択機能を備えたＣＶタグ映像表示装置によってインターネット環境下で生成・表示されるＣＶ映像・レイヤー及びＣＶタグの表示例を示す説明図であり、ＣＶ映像・レイヤー中の任意の位置にタグを入力し、当該タグに関連情報を書き込んでいる例である。 本発明の一実施形態に係るレイヤー生成・選択機能を備えたＣＶタグ映像表示装置によってインターネット環境下で生成・表示されるＣＶ映像・レイヤー及びＣＶタグの表示例を示す説明図であり、ＣＶ映像・レイヤー中のタグを指定してリンクするＷｅｂページを表示させた例である。 本発明の一実施形態に係るレイヤー生成・選択機能を備えたＣＶタグ映像表示装置によってインターネット環境下で生成・表示されるＣＶ映像・レイヤー及びＣＶタグの表示例を示す説明図であり、表示されたＣＶ映像・レイヤーに登録されているタグを自由ワードで検索し、そのタグの位置を映像中に表示させた例である。 本発明の一実施形態に係るレイヤー生成・選択機能を備えたＣＶタグ映像表示装置において、ＣＶ映像、レイヤー情報、地図情報を格納するサーバを、各ユーザ装置に分散させた構成を模式的に示す説明図である。

符号の説明

２０ ＣＶ演算部
１００ レイヤー生成・選択機能を備えたＣＶタグ映像表示装置
２００ 管理者装置（Ｗｅｂサイト管理者）
２０１ ＣＶ映像記憶手段
２０２ レイヤー生成手段
２０３ レイヤー記憶手段
２０４ ＣＶタグ入力手段
２０５ ＣＶタグ記憶手段
２０６ ＣＶタグ検索手段
２０７ 二次元地図記憶手段
２０８ リアルタイム映像手段
２０９ ＩＤ管理手段
３００ ユーザ装置（ユーザ）
３００ａ ディスプレイ
３０１ ＣＶ映像選択表示手段
３０２ レイヤー選択統合手段
３０３ ＣＶタグ選択表示手段
３０４ タグ情報選択表示手段
３０５ 二次元地図表示手段
３０６ カメラ位置表示手段

Claims (6)

1. 管理者装置と、この管理者装置とネットワークを介して通信可能に接続された一又は二以上のユーザ装置とを備え、
   前記管理者装置は、
   任意の対象エリアを撮影したビデオ映像に撮影時のカメラの位置と姿勢の三次元値を示す所定のＣＶ値を付加したＣＶ映像を記憶したＣＶ映像記憶手段と、
   前記ＣＶ映像に重なる当該ＣＶ映像と同じ座標系を持つ一又は二以上のレイヤーを生成するレイヤー生成手段と、
   前記レイヤーを対応するＣＶ映像と関連付けて記憶するレイヤー記憶手段と、
   前記レイヤー中の指定範囲内の任意の三次元座標に所定のＣＶタグを配置するＣＶタグ入力手段と、
   前記レイヤー毎に配置されたＣＶタグを所定の関連情報とともに記憶するＣＶタグ記憶手段と、
   前記レイヤー毎に前記ＣＶタグ記憶手段に記憶されたＣＶタグ又はその関連情報を検索・抽出して前記ユーザ装置に配信するＣＶタグ検索手段と、
   当該管理者装置内に記録された全てのＣＶ映像、レイヤー、ＣＶタグ、及びＣＶタグ内の関連情報を管理し、ユーザ装置から要求されたデータを選択し、組み合わせて前記ユーザ装置に配信し、又は記録するＩＤ管理手段と、を備え、
   前記ユーザ装置は、
   ユーザインターフェースの入力操作に応じて、ネットワークを介して前記管理者装置に接続され、
   所定の画像を表示するディスプレイと、
   前記管理者装置の前記ＣＶ映像記憶手段に記憶されるＣＶ映像の中から所望の場所のＣＶ映像を選択・受信して、前記ディスプレイ上に表示させるＣＶ映像選択表示手段と、
   前記管理者装置の前記レイヤー生成手段に所望のレイヤーを生成させ、又は前記レイヤー記憶手段に記憶されるレイヤーの中から、前記ＣＶ映像選択表示手段で選択されたＣＶ映像に対応する複数のレイヤーの中から所望のレイヤーを選択し、前記生成又は選択したレイヤーを受信して前記ＣＶ映像と座標統合するレイヤー選択統合手段と、
   前記レイヤー選択統合手段により選択されたレイヤーに配置されたＣＶタグを選択し、座標統合された前記レイヤー上に統合することで、前記ディスプレイ上に前記ＣＶ映像と合成表示するＣＶタグ選択表示手段と、
   前記ＣＶ映像に合成表示された前記ＣＶタグを指定して当該ＣＶタグの関連情報を編集、分類、統合、検索、削除等を可能にして前記ディスプレイ上に表示させるタグ情報選択表示手段と、を備えることを特徴とするレイヤー生成・選択機能を備えたＣＶタグ映像表示装置。
2. 前記管理者装置は、
   前記ＣＶ映像記憶手段に記憶されたＣＶ映像に対応する二次元地図を記憶する二次元地図記憶手段を備え、
   前記ユーザ装置は、
   前記二次元地図記憶手段から所望の二次元地図を選択し、受信して前記ディスプレイ上に表示させる二次元地図表示手段と、
   前記ディスプレイ上に表示された前記二次元地図上に、対応するＣＶ映像の撮影位置及び進行方向を表示するカメラ位置表示手段と、を備え、
   前記ＣＶ映像選択表示手段が、表示された前記二次元地図上で指定してされた任意の点に対応するＣＶ映像を前記ＣＶ映像記憶手段から選択し受信して、前記ディスプレイ上に表示させる請求項１記載のレイヤー生成・選択機能を備えたＣＶタグ映像表示装置。
3. 前記ユーザ装置が、
   前記管理者装置のＣＶ映像記憶手段に記憶されるＣＶ映像、前記ＣＶタグ記憶手段に記憶されるＣＶタグ及び関連情報、前記レイヤー記憶手段に記憶されるレイヤー情報、前記二次元地図記憶手段に記憶される二次元地図情報のうち、所定の情報の一部又は全部を当該管理者装置に代わって記憶する記憶手段を備える請求項２記載のレイヤー生成・選択機能を備えたＣＶタグ映像表示装置。
4. 前記管理者装置が、
   前記ＣＶ映像記憶手段に記憶されたＣＶ映像に対応するリアルタイム映像を取得して、前記ディスプレイ上に表示された当該ＣＶ映像中に合成表示するリアルタイム映像手段を備える請求項１乃至３のいずれか一項記載のレイヤー生成・選択機能を備えたＣＶタグ映像表示装置。
5. 前記ユーザ装置が、
   前記管理者装置の前記レイヤー記憶手段に記憶されるレイヤー情報のうち、当該ユーザ装置により生成されたレイヤーに関するレイヤー情報を、前記管理者装置に代わって記憶する記憶手段を備える請求項１乃至４のいずれか一項記載のレイヤー生成・選択機能を備えたＣＶタグ映像表示装置。
6. 前記ＣＶ映像記憶手段が、
   前記ＣＶ映像として、同一の対象エリアについて異なる時間で撮影した複数のＣＶ映像を記憶する請求項１乃至５のいずれか一項記載のレイヤー生成・選択機能を備えたＣＶタグ映像表示装置。