JP2004199159A - 情報処理方法、情報処理装置、プログラムおよび記憶媒体 - Google Patents
情報処理方法、情報処理装置、プログラムおよび記憶媒体 Download PDFInfo
- Publication number
- JP2004199159A JP2004199159A JP2002363914A JP2002363914A JP2004199159A JP 2004199159 A JP2004199159 A JP 2004199159A JP 2002363914 A JP2002363914 A JP 2002363914A JP 2002363914 A JP2002363914 A JP 2002363914A JP 2004199159 A JP2004199159 A JP 2004199159A
- Authority
- JP
- Japan
- Prior art keywords
- user
- terminal
- image
- viewpoint position
- avatar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
【課題】ネットワークを介して他の端末と繋がっている端末に適用可能であり、２次元画像に他の端末の使用者の視点位置を示すアバタ画像を合成する際、３次元モデルを持たなくても２次元画像中の建物（障害物）とアバタの隠蔽関係が正しく表現できることを目的とする。
【解決手段】複数のセグメント情報で管理されている経路上の任意の位置からの２次元画像を提供する情報処理方法であって、端末の使用者の視点位置を取得し、前記端末の使用者の視点位置に対応した２次元画像を取得し、前記他の端末の使用者の視点位置を取得し、アバタ画像を取得し、前記２次元画像に前記他の端末の使用者の視点位置を示すアバタ画像を合成する情報処理方法であり、前記合成されるアバタ画像は、前記端末の使用者の視点位置を含むセグメントと、前記他の端末の使用者の視点位置を含むセグメントの位置関係によって選択されることを特徴とする。
【選択図】 図１
【解決手段】複数のセグメント情報で管理されている経路上の任意の位置からの２次元画像を提供する情報処理方法であって、端末の使用者の視点位置を取得し、前記端末の使用者の視点位置に対応した２次元画像を取得し、前記他の端末の使用者の視点位置を取得し、アバタ画像を取得し、前記２次元画像に前記他の端末の使用者の視点位置を示すアバタ画像を合成する情報処理方法であり、前記合成されるアバタ画像は、前記端末の使用者の視点位置を含むセグメントと、前記他の端末の使用者の視点位置を含むセグメントの位置関係によって選択されることを特徴とする。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、ネットワークを介して他の端末と繋がっている端末に適用可能であり、２次元画像に他の端末の使用者の視点位置を示すアバタ画像を合成することを可能とする情報処理方法、装置、プログラムおよび記憶媒体に関する。
【０００２】
【従来の技術】
従来、たとえば道路などの経路に沿って撮影を行なった１枚以上のパノラマ実写画像の中から、使用者が経路内で観察したい位置の指定を行なうことで１枚のパノラマ実写画像を選択、また使用者が観察したい方向の指定を行なうことでその１枚のパノラマ実写画像の一部分を切り出し、画面に表示して使用者が実世界を疑似体験するということが行なわれていた。ここでパノラマ実写画像とは、ある地点から全周方向にわたって実世界を撮影した画像のことであり、複数台のカメラの光軸を外側に向けるように配置して撮影した複数枚の画像を合成したり、双曲面ミラーや魚眼レンズを利用して撮影した歪んだ画像を幾何学的に変換して得ることができる。また、使用者が経路内で観察したい位置・方向のことを、それぞれ視点位置／視線方向と呼ぶことにする。ここで１枚１枚のパノラマ実写画像には、撮影時にカメラに取り付けたＧＰＳやジャイロセンサなどによって計測した位置／方向情報を対応付けて記録しておく。画像表示の際には、使用者がたとえばジョイスティックなどのユーザインタフェースを用いて、視点位置や視線方向を指示する。ジョイスティックを用いる場合は、前後に倒すと前後方向移動、また左右にねじったり倒したりすると左右方向回転などの操作を行なうことができる。また、このような実世界を疑似体験するシステムでは、道路などの経路に沿ってパノラマ実写画像の撮影を行なうことで、コンピュータグラフィックス（ＣＧ）による３次元モデルをもとに画像を作成するよりも容易に、かつリアリティーに溢れた表現が可能なシステムを構築することができる。
【０００３】
一方、３次元仮想空間をウォークスルーできる３次元仮想空間表示端末を、ネットワークを介して複数台接続することで、複数の使用者が同一の３次元仮想空間を共有できるものがある。このような３次元仮想空間共有システムでは、自分以外の使用者が３次元仮想空間中のどの位置にいて、どの方向を見ているかということを示すために、３次元仮想空間中に使用者のアバタ（化身）を表示することがある。ある３次元仮想空間表示端末を利用している使用者Ａは、３次元仮想空間中をウォークスルーしているときに、目の前にいる他の３次元仮想空間表示端末を利用している使用者Ｂのアバタを３次元仮想空間中に観察することができる。このような３次元仮想空間共有システムでは、３次元仮想空間は例えばＶＲＭＬ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ Ｍｏｄｅｌｉｎｇ Ｌａｎｇｕａｇｅ）と呼ばれる３次元モデルを記述する言語などで構築されている。ここで３次元仮想空間は３次元モデルで構成されているため、ある３次元仮想空間表示端末の使用者Ａから見た他の３次元仮想空間表示端末の使用者Ｂのアバタが建物（障害物）の陰に隠れてしまうと、当然使用者Ｂのアバタは使用者Ａの視界から消える。
【０００４】
【発明が解決しようとする課題】
パノラマ実写画像を利用して実世界の疑似体験を実現する実世界疑似体験システムでは、カメラで撮影した１枚以上のパノラマ実写画像の中から１枚を選択、そして観察したい方向を切り出して表示するので、実世界の３次元モデルを持たない。実世界疑似体験を実現する画像表示端末をネットワークを介して複数台接続し、自分以外の画像表示端末使用者のアバタを画像中に表示する際、システムが実世界の３次元モデルを持っていないため、アバタと建物（障害物）の隠蔽関係の表現が難しくなる。例えば、ある画像表示端末使用者Ａから見たパノラマ実写画像中に、他の画像表示端末使用者Ｂのアバタが表示されている様子を図２（ａ）に示す。使用者Ａの位置と使用者Ｂのアバタの位置の間に何も存在しない場合はこのままでよい。しかし、図２（ｂ）に示すように使用者ＢのアバタがＴ字路の左向こう側の道、すなわち建物（障害物）の陰に移動すると、システムが３次元モデルを持つ場合と異なり、隠蔽関係が正しく表現されないまま使用者Ａの視界にそのまま表示されてしまう。
【０００５】
本発明は以上の事情を鑑みてなされたものであり、たとえばネットワークを介して他の端末と繋がっている端末に適用可能であり、２次元画像に他の端末の使用者の視点位置を示すアバタ画像を合成する際、３次元モデルを持たなくても２次元画像中の建物（障害物）とアバタの隠蔽関係が正しく表現できることを目的とする。
【０００６】
【課題を解決するための手段】
本発明の目的を達成するために、本発明の情報処理方法、装置、プログラムおよび記憶媒体は以下の構成を備える。
【０００７】
すなわち、ネットワークを介して他の端末と繋がっている端末に適用可能であり、複数のセグメント情報で管理されている経路上の任意の位置からの２次元画像を提供する情報処理方法であって、端末の使用者の視点位置を取得し、前記端末の使用者の視点位置に対応した２次元画像を取得し、前記他の端末の使用者の視点位置を取得し、アバタ画像を取得し、前記２次元画像に前記他の端末の使用者の視点位置を示すアバタ画像を合成する情報処理方法であり、前記合成されるアバタ画像は、前記端末の使用者の視点位置を含むセグメントと、前記他の端末の使用者の視点位置を含むセグメントの位置関係によって選択されることを特徴とする情報処理方法。
【０００８】
【発明の実施の形態】
以下、添付図面に従って、本発明の好適な実施形態について説明する。
【０００９】
本実施形態では、たとえば道路などの経路に沿って撮影を行なった１枚以上のパノラマ実写画像の中から、使用者が経路内で観察したい位置の指定を行なうことで１枚のパノラマ実写画像を選択、また使用者が観察したい方向の指定を行なうことでその１枚のパノラマ実写画像の一部分を切り出し、ネットワークを介して実世界疑似体験を共有する他の使用者の視点位置／視線方向を示すアバタをパノラマ実写画像と共に表示して実世界の疑似体験共有を行なう際に使用される。
【００１０】
図１は本発明の実施形態による情報処理装置の概略構成を示すブロック図である。本実施形態の情報処理装置は、ｎ台の画像表示端末１０−１〜１０〜ｎ、画像表示管理サーバ１１、これらを繋ぐネットワーク１２からなる。
【００１１】
まず、画像表示端末について説明する。画像表示端末は、ネットワーク１２にｎ台接続されており、各画像表示端末を別々の使用者が利用する。画像表示端末１０−１〜１０−ｎはいずれも同じ構成となっており、ここでは画像表示端末１０−１についてのみ詳しく説明する。画像表示端末１０−１は、操作部１００、視点位置／視線方向計算手段１０１、視点位置／視線方向管理手段１０２、通信部１０３、画像表示制御手段１０４、パノラマ実写画像記憶部１０５、地図情報記憶部１０６、アバタデータ記憶部１０７、画像表示部１０８からなる。
【００１２】
１００は、操作部であり、例えばジョイスティックやボタンなどから構成される。画像表示端末１０−１の使用者は、操作部１００のジョイスティックを操作して、視点位置／視線方向計算手段１０１に対して、道路などの経路に沿って撮影を行なった１枚以上のパノラマ実写画像の中から、使用者が経路内で観察したい視点位置／視線方向（視点情報）を計算するためのジョイスティック操作情報を送る。また、使用者は操作部１００のボタンを操作して、画像表示制御手段１０４に対して、画像表示部１０８に表示する内容を決定する画像表示内容情報を送る。さらに、画像表示端末１０−１の使用者は、操作部１００のボタンを操作して、他の画像表示端末の使用者と実世界の疑似体験を共有したいかどうかの情報を、図示しない矢印により視点位置／視線方向管理手段１０２と、（通信部１０３、ネットワーク１２を介して）画像表示管理サーバ１１に送ることもできる。さらに、画像表示端末１０−１の使用者は操作部１００のボタンを操作して、他の画像表示端末に表示される自分のアバタの属性情報などを、図示しない矢印により視点位置／視線方向管理手段１０２に送ることもできる。
【００１３】
ここで、操作部１００に備えられるジョイスティックやボタンは、視点位置／視線方向の操作や画像表示内容の制御を行なうことができるものであれば何でもよく、トラックボールやマウスやキーボードなどによって構成されてもよいことは言うまでもない。
【００１４】
１０１は、視点位置／視線方向計算手段であり、操作部１００からジョイスティック操作情報を受け取り、道路などの経路に沿って撮影を行なった１枚以上のパノラマ実写画像の中から、使用者が経路内で観察したい視点位置／視線方向情報を計算する。たとえば操作部１００からジョイスティックを前後に倒したというジョイスティック操作情報が送られてきた場合、視点位置をパノラマ実写画像の撮影を行なった経路に沿って切り替え、また操作部１００からジョイスティックを左右にねじったり倒したりしたというジョイスティック操作情報が送られてきた場合、パノラマ実写画像内で見回すように視線方向を変える。視点位置／視線方向計算手段１０１は、視点位置／視線方向管理手段１０２に対して視点位置／視線方向情報を送る。
【００１５】
１０２は、視点位置／視線方向管理手段であり、視点位置／視線方向計算手段１０１から送られてきた視点位置／視線方向情報（あるいは操作部１００から図示しない線により指示されたアバタ属性情報）を受け取り管理する。また、視点位置／視線方向管理手段１０２は、視点位置／視線方向計算手段１０１から送られてきた視点位置／視線方向情報（あるいは操作部１００から図示しない線により指示されたアバタ属性情報）を、（通信部１０３、ネットワーク１２を介して）他の画像表示端末に送ったり、他の画像表示端末の視点位置／視線方向情報（あるいは操作部により指示されたアバタ属性）を、（ネットワーク１２、通信部１０３を介して）受け取り管理する。これらの視点位置／視線方向情報は、図３に示すような管理テーブルで管理し、この管理テーブルは画像表示制御手段１０４に送られる。この管理テーブルでは、どの画像表示端末の使用者が疑似体験の共有を望むか望まないかを画像表示管理サーバ１１に尋ねて、使用者が共有を望む画像表示端末の視点位置／視線方向情報のみ管理するようにしてもよい。なお、図３の管理テーブルでは、画像表示端末１０−２の使用者が共有を望んでいないため、画像表示端末１０−２の視点位置／視線方向情報を管理していない様子がわかる。また、各画像表示端末のアバタの属性を受け取り管理するようにしてもよい。
【００１６】
なお、図３の管理テーブルでは、視点位置をあらかじめ定めた道路セグメントＩＤ（図４）と、道路セグメント内でのフレーム番号によってあらわし、視線方向をあらかじめ定めた基準方向（例えば撮影時の北方向を０°とする）に対する相対方向角度としている。しかし、もちろん視点位置／視線方向情報はこれらの記述に限ったものではなく、例えば視点位置を緯度経度や全てのパノラマ実写画像のフレーム番号を用いて表したり、視線方向を撮影時の前方向を基準方向にした相対方向角度としてあらわしてもよい。
【００１７】
１０３は、通信部であり、視点位置／視線方向管理手段１０２や操作部１００とネットワーク１２間のデータのやり取りを行なう。通信部１０３は、例えばネットワークインタフェースカードや、そのドライバなどから構成される。
【００１８】
１０４は、画像表示制御手段であり、視点位置／視線方向管理手段１０２から送られてくる管理テーブル（図３）の情報を受け取る。また画像表示制御手段１０４は、画像表示部１０８に表示する内容を示す画像表示内容情報を、操作部１００から受け取る。
【００１９】
さらに、画像表示制御手段１０４は、それらの管理テーブルの情報や画像表示内容情報をもとに、パノラマ実写画像記憶部１０５、地図情報記憶部１０６、アバタデータ記憶部１０７に対して、それぞれパノラマ実写画像、地図情報、アバタデータを要求して受け取る。そして画像表示制御手段１０４は、受け取った管理テーブルの情報、画像表示内容情報、パノラマ実写画像、地図情報、アバタデータをもとに画像表示部１０８に表示する画像を合成して作成し、画像表示部１０８に対して表示画像を送る。また、画像表示制御手段１０４は、操作部１００から送られてくる画像表示内容情報をもとに画像表示モードを管理もしくは変更する。画像表示モードには、例えば地図表示のＯＮ／ＯＦＦ、アバタ表示のＯＮ／ＯＦＦ、アバタ情報（アノテーション、ユーザ名、属性など）の表示ＯＮ／ＯＦＦなどが含まれる。たとえば、図６（ａ）では、地図表示ＯＮ、アバタ表示ＯＮ、アバタ情報の表示ＯＮであるときの様子が示されている。
【００２０】
１０５は、パノラマ実写画像記憶部であり、ハードディスクなどから構成される。パノラマ実写画像記憶部１０５は、道路などの経路に沿って撮影を行なった１枚以上のパノラマ実写画像を記憶している。パノラマ実写画像は、複数台のカメラの光軸を外側に向けるように配置して撮影した複数枚の画像を合成したり、双曲面ミラーや魚眼レンズを利用して撮影した歪んだ画像を幾何的に変換して得ることができるが、これらの技術は公知であるためここでは詳しく述べない。また１枚１枚のパノラマ実写画像には、撮影時にカメラに取り付けたＧＰＳやジャイロセンサなどによって計測した位置／方向情報を対応付けて記録しておく。パノラマ実写画像記憶部１０５は、画像表示制御手段１０４から要求されたパノラマ実写画像を画像表示制御手段１０４に送る。パノラマ実写画像記憶部１０５は、画像表示制御手段１０４から送られてくる視点位置／視線方向情報に対応したパノラマ実写画像を画像表示制御手段１０４に送る。ここで送るパノラマ実写画像は３６０°全方向のものでもよいが、あらかじめ決められた角度毎に分割しておいてもよい。この場合、視線方向情報に対応した部分のみを送るようにすることで送信するデータ量を削減することができ、送信時の負担を減らすことができる。
【００２１】
ここで、パノラマ実写画像記憶部１０５はデータを記憶できるものであればなんでもよく、光ディスクやテープやメモリなどによって構成されてもよいことはいうまでもない。
【００２２】
１０６は、地図情報記憶部であり、ハードディスクなどから構成される。地図情報記憶部１０６は、実世界を疑似体験する経路を含む領域を上から見た２次元の地図画像や、地図経路を構成する道路セグメント情報を記憶している。この地図画像にはあらかじめパノラマ実写画像を撮影した道路などの経路に色付けしておいてもよい。この場合、地図画像を表示する際に使用者が移動できる経路を見分け易くなる。ここで道路セグメントとは、図４（ａ）に示すような交差点で区切られた経路の一部で直線とみなせる部分のことを指す。道路セグメントは、図４（ａ）に示すようにそれぞれＩＤ（＃１〜＃８）がつけられており、各道路セグメントは撮影時の北方向を０°とした角度（０°以上１８０°未満）が対応付けられている（図４（ｂ））。なお、図４の地図では紙面に向かって上を撮影時の北方向とする。道路セグメントの分割、ＩＤの割り振り、角度の対応付けは本装置の利用に先立ちＧＵＩなどにより手動で行なっても、自動で行なっても、その組み合わせによって行なってもよい。地図情報記憶部１０６は、画像表示制御手段１０４から要求された地図画像や道路セグメント情報といった地図情報を画像表示制御手段１０４に送る。地図画像を送る際、記憶している地図画像全体を送ってもよいが、地図画像データが大きい場合には、画像表示制御手段１０４から視点位置／視線方向情報を送ってもらい、複数の区分に分割した地図画像から必要な部分のみを送るようにしてもよい。必要な部分のみを送るようにすることで、送信するデータ量を削減することができるため、送信時の負担を減らすことができる。また、視線方向が地図上で上方向になるように画像を回転してから送ってもよい。
【００２３】
ここで、地図情報記憶部１０６はデータを記憶できるものであればなんでもよく、光ディスクやテープやメモリなどによって構成されてもよいことはいうまでもない。
【００２４】
１０７は、アバタデータ記憶部であり、ハードディスクなどから構成される。
アバタデータ記憶部１０７は、画像表示部１０８にパノラマ実写画像と共に表示するアバタの画像を記憶している。アバタには、図３に示すように人間タイプ、モンスタータイプなどいくつかの種類の属性がある。アバタデータ記憶部１０７は、画像表示制御手段１０４から要求された属性のアバタ画像を画像表示制御手段１０４に送る。その際、アバタの画像として前後左右などを向いている複数の画像を用意しておき、画像表示端末１０−１の視点位置／視線方向情報と、他の画像表示端末の視点位置／視線方向情報の相互関係、すなわち位置関係／角度関係によって、アバタの向いている方向を決定し、画像を選択して送ってもよい。
また、経路を含む領域を上から見た２次元の地図画像上での画像表示端末１０−１の視点位置と他の画像表示端末の視点位置を求め、その視点位置間距離に応じて、アバタの表示サイズ（近い場合は大きいサイズ、遠い場合は小さいサイズ）を変更したり、アルファブレンディングの割合といった表示濃度（近い場合は濃く、遠い場合は薄く）を変更したり、表示色（近い場合は鮮やかに、遠い場合は地味に）を変更してもよい。
【００２５】
ここで、アバタデータ記憶部１０７はデータを記憶できるものであればなんでもよく、光ディスクやテープやメモリなどによって構成されてもよいことはいうまでもない。
【００２６】
１０８は、画像表示部であり、プロジェクタおよびスクリーンなどから構成される。画像表示部１０８は、画像表示制御手段１０４から送られた表示画像を表示する。画像表示部１０８は、画像を表示できればなんでもよく、パソコンのＣＲＴ、液晶ディスプレイやテレビモニタなどから構成されてもよいことはいうまでもない。
【００２７】
以上のような構成を備えた画像表示端末１０−１は、パソコンやディスプレイやジョイスティックやキーボードやマウスなどから構成される。画像表示端末１０−１と、画像表示端末１０−２〜１０−ｎはそれぞれ同じ構成となっているため、画像表示制御端末１０−２〜１０−ｎの説明は省く。また、各画像表示端末は別々の使用者が利用することとなっている。
【００２８】
１１は、画像表示管理サーバであり、パソコンやディスプレイやジョイスティックやキーボードやマウスなどから構成される。画像表示管理サーバ１１は、各画像表示端末１０−１〜１０−ｎから送られてくる現実世界の疑似体験を共有したいかどうかの情報を受け取り、テーブルで管理して、各画像表示端末にその情報を送る。
【００２９】
ネットワーク１２は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などから構成される。ネットワーク１２は、画像表示端末１０−１〜１０−ｎ、および画像表示管理サーバ１１を繋ぎ、各端末・サーバ間のデータ送受信の経路となる。ネットワーク１２は、各端末・サーバ間のデータ送受信の経路となれればなんでもよく、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネットの一部から構成されてもよいことはいうまでもない。
【００３０】
以上のような構成を備えた本実施形態の制御方法について、以下説明する。図５は本実施形態の情報処理装置における画像表示端末１０−１の処理手順を説明するフローチャートである。
【００３１】
本フローチャートに先立ち、パノラマ実写画像記憶部１０５に記憶するパノラマ実写画像を作成しなければならないが、そのステップは既知の技術を用いることとしてここでは説明を省く。
【００３２】
ステップＳ５０１では、システムの初期化を行なう。システムの初期化とはシステムを構成する各機器の電源を入れたり、プログラムを起動したりといった、本実施形態の制御方法を進めるにあたり最初に行なうステップである。システム初期化の時点では、あらかじめ視点位置／視線方向情報が設定されており、対応するパノラマ実写画像が画像表示部１０８に表示されているものとする。システムの初期化処理が終わり次第ステップＳ５０２へ進む。
【００３３】
ステップＳ５０２では、画像表示部１０８の画像表示モードを管理もしくは変更するような操作部１００へのボタン入力があったかどうかを判別する。ボタンの入力があった場合は、ステップＳ５０３へ進む。また、ボタンの入力がなかった場合は、ステップＳ５０４へ進む。
【００３４】
ステップＳ５０３では、操作部１００のボタンの入力と合わせて、操作部１００から画像表示制御手段１０４へ画像表示内容情報が送られる。ステップＳ５０３では、画像表示制御手段１０４に送られてきた画像表示内容情報に合わせて、画像表示部１０８に表示する画像表示モードを管理もしくは変更する。ここで、画像表示モードには、例えば地図表示のＯＮ／ＯＦＦ、アバタ表示のＯＮ／ＯＦＦ、アバタ情報（アノテーション、ユーザ名、属性など）の表示ＯＮ／ＯＦＦなどが含まれる。画像表示モードを変更するとは、地図表示、アバタ表示、アバタ情報（アノテーション、ユーザ名、属性など）の表示ＯＮ／ＯＦＦを切り替えることである。地図表示のＯＮ／ＯＦＦとは、実世界を疑似体験する経路を含む領域を上から見た２次元の地図画像を、パノラマ実写画像と合わせて表示するかどうかということである。（なお、図６（ａ）では地図表示がＯＮ状態である。）アバタ表示のＯＮ／ＯＦＦとは、パノラマ実写画像にアバタを合わせて表示するかどうかということである。（なお、図６（ａ）はアバタ表示がＯＮの状態である。）アバタ情報（アノテーション、ユーザ名、属性など）の表示のＯＮ／ＯＦＦとは、アバタ自体の表示とは関係なくアバタに関する情報を表示するかどうかということである。図６（ａ）に示すように、アバタ情報（アノテーション、ユーザ名、属性など）の表示がＯＮになっている場合は、アバタ表示がＯＮ／ＯＦＦいずれに関わらずアバタの場所を指示すようにアバタに関する情報をアノテーションなどで表示する。また、図６（ｂ）に示すように、常にアバタ情報（アノテーション、ユーザ名、属性など）を表示することで、ビルに隠れたアバタの位置をパノラマ実写画像上で把握することが可能となる。このアバタ情報（アノテーション、ユーザ名、属性など）の表示／非表示は、使用者が画像表示端末１０−１の操作部１００を操作することで決定することができる。なお、図６の地図画像では、画像表示端末１０−１の使用者の視点位置／視線方向を三角印であらわしており、他の画像表示端末の使用者の視点位置を丸印であらわしている。
【００３５】
また、（操作部１００に画像表示モード変更以外のボタンを用意しておき）ボタンが押されたと判断された場合、画像表示端末１０−１が画像表示管理サーバ１１や他の画像表示端末に対して、実世界疑似体験を共有するかどうかといったことや、アバタの属性情報などを変更して送ることもできる。ステップＳ５０３の処理が終了したらステップＳ５０２に戻る。
【００３６】
ステップＳ５０４では、操作部１００のジョイスティックの入力があったかどうかを判別する。ジョイスティックへの入力があった場合は、ステップＳ５０５へ進む。また、ジョイスティックの入力がなかった場合は、ステップＳ５０２へ戻る。
【００３７】
ステップＳ５０５では、ステップＳ５０４でジョイスティックの入力があったものとして、操作部１００から視点位置／視線方向計算手段１０１へとジョイスティック操作情報が送られる。そして、視点位置／視線方向計算手段１０１では、そのジョイスティック操作情報をもとに視点位置／視線方向の計算が行なわれ、視点位置／視線方向管理手段１０２に視点位置／視線方向情報が送られる。なお計算された視点位置／視線方向は、次に計算されるまではその値を保持されるものとする。視点位置の計算は、具体的にはジョイスティックを前後に倒す入力に従って図３に示す道路セグメントＩＤを切り替えたり、フレーム番号を順番に切り替えるといったことで行なわれる。また、視線方向の計算は、具体的にはジョイスティックを左右にねじったり倒す入力に従って図３に示す基準方向に対する相対方向角度を連続的に切り替えるといったことで行なわれる。ステップＳ５０５の処理が終了したらステップＳ５０６に進む。
【００３８】
ステップＳ５０６では、視点位置／視線方向管理手段１０２が、視点位置／視線方向計算手段１０１から送られてきた視点位置／視線方向情報を、図３に示すような管理テーブルで管理する。同様に、視点位置／視線方向管理手段１０２は、他の画像表示端末と現実世界の疑似体験を共有するかどうか、あるいはアバタの属性情報を、操作部１００のボタン操作情報をもとに管理してもよい。これらの視点位置／視線方向情報、共有するかどうか、アバタの属性情報は、（通信部１０３、ネットワーク１２を介して）他の画像表示端末もしくは画像表示管理サーバ１１に送られる。また、視点位置／視線方向管理手段１０２は、他の画像表示端末から送られる視点位置／視線方向情報、アバタの属性情報を受け取り管理する。さらに、視点位置／視線方向管理手段１０２は、画像表示管理サーバ１１から、他の画像表示端末の共有、非共有状態（図３では○が共有、×が非共有をあらわす）を、（ネットワーク１２、通信部１３を介して）受け取り管理してもよい。ここで、ネットワーク１２経由での情報のやり取りは、各画像表示端末もしくは画像表示管理サーバ間で同期をとって行なっても、非同期のまま行なってもどちらでもよい。ステップＳ５０６の処理が終了したらステップＳ５０７に進む。
【００３９】
ステップＳ５０７では、まず視点位置／視線方向管理手段１０２が管理している管理テーブルの情報を画像表示制御手段１０４に送る。そして、画像表示制御手段１０４は、管理テーブルの（画像表示端末１０−１の）視点位置／視線方向情報をもとに、パノラマ実写画像記憶部１０５に対してパノラマ実写画像を要求する。パノラマ実写画像記憶部１０５は、対応したパノラマ実写画像を画像表示制御手段１０４に送る。ステップＳ５０７の処理が終了したらステップＳ５０８に進む。
【００４０】
ステップＳ５０８では、まず視点位置／視線方向管理手段１０２が管理している管理テーブルの情報を画像表示制御手段１０４に送る。次に、画像表示制御手段１０４が、地図情報記憶部１０６に対して地図画像および地図経路を構成する道路セグメント（交差点で区切られた経路で直線とみなせる部分）情報の要求を行なう。そして、地図情報記憶部１０６は、画像表示制御手段１０４に対して図４に示すような地図画像（図４（ａ））および地図経路を構成する道路セグメント情報（図４（ｂ））を送る。ここで、地図画像には視点位置／視線方向情報をもとに次の交差点先で曲がる道を色付けしておいてもよい。この場合、使用者が次の交差点先で曲がる道を把握し易くなる。
【００４１】
次に、画像表示制御手段１０４は、アバタを表示する道路セグメントを探索して求める。道路セグメントの探索とは、画像表示端末１０−１の使用者がいる道路セグメントを基点セグメントとして、基点セグメントと、繋がっている道路セグメントのなす角度が一定角度以内（例えば５°以内）のものを順々に探索していくことである。図４においては、画像表示端末１０−１の使用者が＃４の道路セグメントにいる場合、繋がっている道路セグメント＃３、＃５、＃６、＃７、＃８のうち、＃４となす角度が５°以内なのは＃３のみである。ここで、基点セグメント＃４と一度探索した道路セグメント＃３、＃５、＃６、＃７、＃８にはフラグを立てておき再度探索されないようにしておく。次に、＃３に繋がっている道路セグメントは＃２、＃４、＃５、＃６だが、フラグの立っていない＃２のみが探索の対象候補となる。しかし、道路セグメント＃２と＃４がなす角度は４５°であるため探索の対象とはならない。以上より、図４において、画像表示端末１０−１の使用者が＃４の道路セグメントにいる場合の道路セグメントを探索して求めた結果は、＃４および＃３となる。ステップＳ５０８の処理が終了したらステップＳ５０９に進む。
【００４２】
ステップＳ５０９では、まず視点位置／視線方向管理手段１０２が管理している管理テーブルの情報を画像表示制御手段１０４に送る。そして、画像表示制御手段１０４は、管理テーブルの各画像表示端末の視点位置／視線方向情報およびアバタ属性情報をもとに、アバタデータ記憶部１０７に対してアバタ画像を要求する。アバタデータ記憶部１０７は、対応したアバタ画像を画像表示制御手段１０４に送る。ステップＳ５０９の処理が終了したらステップＳ５１０に進む。
【００４３】
ステップＳ５１０では、画像表示制御手段１０４が、画像表示モード、および視点位置／視線方向管理手段１０２から送られてきた管理テーブル、およびパノラマ実写画像記憶部１０５から送られてきたパノラマ実写画像、および地図情報記憶部１０６から送られてきた地図画像と道路セグメントから求めた探索結果、およびアバタデータ記憶部１０７から送られてきたアバタ画像をもとに、画像表示部１０８に表示する画像を合成して作成して、画像表示部１０８に表示する。
アバタ表示の際は、ステップＳ５０８で求めた道路セグメント探索結果上に存在するアバタのみ選択して表示すればよい。ステップＳ５０８で求めた道路セグメント探索結果は、画像表示端末１０−１の使用者がいる道路セグメントを基点セグメントとして、基点セグメントと、繋がっている道路セグメントのなす角度が一定角度以内（例えば５°以内）のものを順々に探索していったものである。よって、画像表示端末１０−１の使用者は、ステップＳ５０８で求めた道路セグメント探索結果上、すなわち画像表示端末１０−１の使用者がいる道路セグメントから見て直線と見なせる道路セグメント上のアバタのみ観察することができる。
このように地図画像の道路形状（経路の形状）をもとに表示するアバタを選択することで、３次元モデルを持たなくても画像中の建物（障害物）とアバタの隠蔽関係が正しく表現できる。また、図６（ｂ）に示すように探索結果以外の道路セグメントに存在するアバタのユーザ名（使用者名）や属性などの情報をアノテーションとして常に表示しておいてもよい。このアバタ情報（アノテーション、ユーザ名、属性など）の表示／非表示は、使用者が画像表示端末１０−１の操作部１００を操作することで決定することができる。ステップＳ５１０の処理が終了したらステップＳ５１１に進む。
【００４４】
ステップＳ５１１では、使用者が終了処理を行なっていた場合、システムを終了させる。
【００４５】
システムを終了させるとは、プログラムを終了させたり、システムを構成する各機器の電源を切ったりといった本実施形態の制御方法を終わらせるために最後に行なうステップである。使用者が終了処理を行なっていない場合は、ステップＳ５０２に戻る。
【００４６】
以上、本実施形態の情報処理装置における画像表示端末１０−１の処理手順の説明を行なった。画像表示端末１０−２〜１０−ｎも同様の同様の処理手順であるため説明は省略する。
【００４７】
図７は本実施形態の情報処理装置における画像表示管理サーバ１１の処理手順を説明するフローチャートである。
【００４８】
ステップＳ７０１では、システムの初期化を行なう。システムの初期化とはシステムを構成する各機器の電源を入れたり、プログラムを起動したりといった、本実施形態の制御方法を進めるにあたり最初に行なうステップである。ステップＳ７０１のシステム初期化は、各画像表示端末のシステム初期化に先立ち行なわれることが好ましい。システムの初期化が終わったらステップＳ７０２へ進む。
【００４９】
ステップＳ７０２では、各画像表示端末から送られてくる共有状態の管理を行なう。共有状態は図８に示すようなテーブルで管理する。ステップＳ７０２の処理が終了したらステップＳ７０３へ進む。
【００５０】
ステップＳ７０３では、各画像表示端末に対して、図８に示す各画像表示端末の共有状態を送る。ステップＳ７０３の処理が終了したらステップＳ７０４へ進む。
【００５１】
ステップＳ７０４では、使用者が終了処理を行なっていた場合、システムを終了させる。
システムを終了させるとは、プログラムを終了させたり、システムを構成する各機器の電源を切ったりといった本実施形態の制御方法を終わらせるために最後に行なうステップである。ステップＳ７０４でシステム終了を行なう場合は、各画像表示端末のシステム終了後に行なうことが好ましい。使用者が終了処理を行なっていない場合は、ステップＳ７０２に戻る。
【００５２】
以上、本実施形態の情報処理装置における処理手順の説明を行なった。
【００５３】
以上説明したように、たとえば道路などの経路に沿って撮影を行なった１枚以上のパノラマ実写画像の中から、使用者が経路内で観察したい位置の指定を行なうことで１枚のパノラマ実写画像を選択、また使用者が観察したい方向の指定を行なうことでその１枚のパノラマ実写画像の一部分を切り出し、ネットワークを介して実世界疑似体験を共有する他の使用者の視点位置／視線方向を示すアバタをパノラマ実写画像と共に合成表示して実世界の疑似体験共有を行なう際、使用者が指定した経路上の位置から見て直線と見なせる道路上のアバタのみ選択表示することで、本実施形態の情報処理装置が３次元モデルを持たなくても画像中の建物（障害物）とアバタの隠蔽関係を正しく表現することができる。
【００５４】
（他の実施の形態）
また、視点情報として視点位置のみを用いるようにしてもよい。
【００５５】
また、地図画像の大きさ、解像度、さらには一つの画面内での地図画像の位置を使用者が操作部１００を操作して手動で変更するようにしてもよい。
【００５６】
また、図３に示すようなアバタ属性（人間タイプ、モンスタータイプ）によって画面内におけるアバタの表示する位置（高さ方向）を変えたり、パノラマ実写画像を撮影する際の条件（カメラの高さ、画角）によって画面内におけるアバタの表示する位置（高さ方向）を変えてもよい。アバタ属性によって表示する位置を変えるときには、例えば人間タイプなら道路に接する高さに表示し、モンスタータイプなら空中に浮遊するように表示すればよい。
【００５７】
また、ステップＳ５０８のように道路セグメントの探索を毎回行なわずに、あらかじめ探索結果を求めておき、テーブルなどに記憶したものを用いてもよい。
例えば図４（ａ）の経路においては、使用者が存在する道路セグメントＩＤと、アバタを表示する道路セグメントＩＤを対応付けた図９のようなテーブルをあらかじめ用意する。図９のテーブルは、表示するアバタを選択する際に、ステップＳ５０８で道路セグメントを探索する代わりに利用される。ここで、ある画像端末の使用者が道路セグメントＩＤ＃４に存在するときは、他の画像表示端末の使用者のアバタで道路セグメントＩＤが＃３および＃４に存在するものだけを表示すればよい。なお、図９のテーブルは地図情報記憶部１０６に記憶され、ステップＳ５０８において地図画像と同時に画像表示制御手段１０４に送られる。
【００５８】
また、パノラマ実写画像記憶部１０５あるいは地図情報記憶部１０６あるいはアバタデータ記憶部１０７に記憶するデータを、画像表示管理サーバ１１あるいは図示しないデータ記憶サーバに保存しておき、画像表示端末を使用する際にデータをサーバからダウンロードしてもよい。こうすることで新しいパノラマ実写画像や地図情報やアバタデータなどを効率的に各画像表示端末で追加・変更することができる。
【００５９】
また、視点位置／視線方向管理手段１０２で他の画像表示端末の視点位置／視線方向の情報などを管理しているので、それらの情報およびパノラマ実写画像記憶部１０５に記憶しているパノラマ実写画像を利用することで、他の画像表示端末の使用者が見ている画像を（画像表示端末間で画像データを送ることなく）作り出し、表示することができる。その際、他の画像表示端末の使用者が見ている画像は、自分の画像と切り替えても、自分の画像と別の画像として表示してもよい。
【００６０】
なお、本発明の実施形態は、複数の機器（たとえばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（たとえば、複写機、ファクシミリ装置など）に適用してもよい。
【００６１】
また、本発明の実施形態の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
【００６２】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明の実施形態を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６３】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６４】
本発明の実施形態を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャート（図５、図７）に対応するプログラムコードが格納されることになる。
【００６５】
【発明の効果】
ネットワークを介して他の端末と繋がっている端末に適用可能であり、２次元画像に他の端末の使用者の視点位置を示すアバタ画像を合成する際、３次元モデルを持たなくても２次元画像中の建物（障害物）とアバタの隠蔽関係を正しく表現することができる。
【図面の簡単な説明】
【図１】本発明の実施形態における情報処理装置の構成を示すブロック図である。
【図２】従来例を説明する図である。
【図３】視点位置／視線方向管理手段が管理する管理テーブルを示す図である。
【図４】地図画像と道路セグメント情報を示す図である。
【図５】本発明の実施形態における画像表示端末の動作を説明するフローチャートである。
【図６】アバタ情報（アノテーション、ユーザ名、属性など）の表示などを説明する図である。
【図７】本発明の実施形態における画像表示管理サーバの動作を説明するフローチャートである。
【図８】各画像表示端末の共有状態を管理するテーブルを示す図である。
【図９】道路セグメントの探索結果をあらかじめ求めた結果を示すテーブルである。
【発明の属する技術分野】
本発明は、ネットワークを介して他の端末と繋がっている端末に適用可能であり、２次元画像に他の端末の使用者の視点位置を示すアバタ画像を合成することを可能とする情報処理方法、装置、プログラムおよび記憶媒体に関する。
【０００２】
【従来の技術】
従来、たとえば道路などの経路に沿って撮影を行なった１枚以上のパノラマ実写画像の中から、使用者が経路内で観察したい位置の指定を行なうことで１枚のパノラマ実写画像を選択、また使用者が観察したい方向の指定を行なうことでその１枚のパノラマ実写画像の一部分を切り出し、画面に表示して使用者が実世界を疑似体験するということが行なわれていた。ここでパノラマ実写画像とは、ある地点から全周方向にわたって実世界を撮影した画像のことであり、複数台のカメラの光軸を外側に向けるように配置して撮影した複数枚の画像を合成したり、双曲面ミラーや魚眼レンズを利用して撮影した歪んだ画像を幾何学的に変換して得ることができる。また、使用者が経路内で観察したい位置・方向のことを、それぞれ視点位置／視線方向と呼ぶことにする。ここで１枚１枚のパノラマ実写画像には、撮影時にカメラに取り付けたＧＰＳやジャイロセンサなどによって計測した位置／方向情報を対応付けて記録しておく。画像表示の際には、使用者がたとえばジョイスティックなどのユーザインタフェースを用いて、視点位置や視線方向を指示する。ジョイスティックを用いる場合は、前後に倒すと前後方向移動、また左右にねじったり倒したりすると左右方向回転などの操作を行なうことができる。また、このような実世界を疑似体験するシステムでは、道路などの経路に沿ってパノラマ実写画像の撮影を行なうことで、コンピュータグラフィックス（ＣＧ）による３次元モデルをもとに画像を作成するよりも容易に、かつリアリティーに溢れた表現が可能なシステムを構築することができる。
【０００３】
一方、３次元仮想空間をウォークスルーできる３次元仮想空間表示端末を、ネットワークを介して複数台接続することで、複数の使用者が同一の３次元仮想空間を共有できるものがある。このような３次元仮想空間共有システムでは、自分以外の使用者が３次元仮想空間中のどの位置にいて、どの方向を見ているかということを示すために、３次元仮想空間中に使用者のアバタ（化身）を表示することがある。ある３次元仮想空間表示端末を利用している使用者Ａは、３次元仮想空間中をウォークスルーしているときに、目の前にいる他の３次元仮想空間表示端末を利用している使用者Ｂのアバタを３次元仮想空間中に観察することができる。このような３次元仮想空間共有システムでは、３次元仮想空間は例えばＶＲＭＬ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ Ｍｏｄｅｌｉｎｇ Ｌａｎｇｕａｇｅ）と呼ばれる３次元モデルを記述する言語などで構築されている。ここで３次元仮想空間は３次元モデルで構成されているため、ある３次元仮想空間表示端末の使用者Ａから見た他の３次元仮想空間表示端末の使用者Ｂのアバタが建物（障害物）の陰に隠れてしまうと、当然使用者Ｂのアバタは使用者Ａの視界から消える。
【０００４】
【発明が解決しようとする課題】
パノラマ実写画像を利用して実世界の疑似体験を実現する実世界疑似体験システムでは、カメラで撮影した１枚以上のパノラマ実写画像の中から１枚を選択、そして観察したい方向を切り出して表示するので、実世界の３次元モデルを持たない。実世界疑似体験を実現する画像表示端末をネットワークを介して複数台接続し、自分以外の画像表示端末使用者のアバタを画像中に表示する際、システムが実世界の３次元モデルを持っていないため、アバタと建物（障害物）の隠蔽関係の表現が難しくなる。例えば、ある画像表示端末使用者Ａから見たパノラマ実写画像中に、他の画像表示端末使用者Ｂのアバタが表示されている様子を図２（ａ）に示す。使用者Ａの位置と使用者Ｂのアバタの位置の間に何も存在しない場合はこのままでよい。しかし、図２（ｂ）に示すように使用者ＢのアバタがＴ字路の左向こう側の道、すなわち建物（障害物）の陰に移動すると、システムが３次元モデルを持つ場合と異なり、隠蔽関係が正しく表現されないまま使用者Ａの視界にそのまま表示されてしまう。
【０００５】
本発明は以上の事情を鑑みてなされたものであり、たとえばネットワークを介して他の端末と繋がっている端末に適用可能であり、２次元画像に他の端末の使用者の視点位置を示すアバタ画像を合成する際、３次元モデルを持たなくても２次元画像中の建物（障害物）とアバタの隠蔽関係が正しく表現できることを目的とする。
【０００６】
【課題を解決するための手段】
本発明の目的を達成するために、本発明の情報処理方法、装置、プログラムおよび記憶媒体は以下の構成を備える。
【０００７】
すなわち、ネットワークを介して他の端末と繋がっている端末に適用可能であり、複数のセグメント情報で管理されている経路上の任意の位置からの２次元画像を提供する情報処理方法であって、端末の使用者の視点位置を取得し、前記端末の使用者の視点位置に対応した２次元画像を取得し、前記他の端末の使用者の視点位置を取得し、アバタ画像を取得し、前記２次元画像に前記他の端末の使用者の視点位置を示すアバタ画像を合成する情報処理方法であり、前記合成されるアバタ画像は、前記端末の使用者の視点位置を含むセグメントと、前記他の端末の使用者の視点位置を含むセグメントの位置関係によって選択されることを特徴とする情報処理方法。
【０００８】
【発明の実施の形態】
以下、添付図面に従って、本発明の好適な実施形態について説明する。
【０００９】
本実施形態では、たとえば道路などの経路に沿って撮影を行なった１枚以上のパノラマ実写画像の中から、使用者が経路内で観察したい位置の指定を行なうことで１枚のパノラマ実写画像を選択、また使用者が観察したい方向の指定を行なうことでその１枚のパノラマ実写画像の一部分を切り出し、ネットワークを介して実世界疑似体験を共有する他の使用者の視点位置／視線方向を示すアバタをパノラマ実写画像と共に表示して実世界の疑似体験共有を行なう際に使用される。
【００１０】
図１は本発明の実施形態による情報処理装置の概略構成を示すブロック図である。本実施形態の情報処理装置は、ｎ台の画像表示端末１０−１〜１０〜ｎ、画像表示管理サーバ１１、これらを繋ぐネットワーク１２からなる。
【００１１】
まず、画像表示端末について説明する。画像表示端末は、ネットワーク１２にｎ台接続されており、各画像表示端末を別々の使用者が利用する。画像表示端末１０−１〜１０−ｎはいずれも同じ構成となっており、ここでは画像表示端末１０−１についてのみ詳しく説明する。画像表示端末１０−１は、操作部１００、視点位置／視線方向計算手段１０１、視点位置／視線方向管理手段１０２、通信部１０３、画像表示制御手段１０４、パノラマ実写画像記憶部１０５、地図情報記憶部１０６、アバタデータ記憶部１０７、画像表示部１０８からなる。
【００１２】
１００は、操作部であり、例えばジョイスティックやボタンなどから構成される。画像表示端末１０−１の使用者は、操作部１００のジョイスティックを操作して、視点位置／視線方向計算手段１０１に対して、道路などの経路に沿って撮影を行なった１枚以上のパノラマ実写画像の中から、使用者が経路内で観察したい視点位置／視線方向（視点情報）を計算するためのジョイスティック操作情報を送る。また、使用者は操作部１００のボタンを操作して、画像表示制御手段１０４に対して、画像表示部１０８に表示する内容を決定する画像表示内容情報を送る。さらに、画像表示端末１０−１の使用者は、操作部１００のボタンを操作して、他の画像表示端末の使用者と実世界の疑似体験を共有したいかどうかの情報を、図示しない矢印により視点位置／視線方向管理手段１０２と、（通信部１０３、ネットワーク１２を介して）画像表示管理サーバ１１に送ることもできる。さらに、画像表示端末１０−１の使用者は操作部１００のボタンを操作して、他の画像表示端末に表示される自分のアバタの属性情報などを、図示しない矢印により視点位置／視線方向管理手段１０２に送ることもできる。
【００１３】
ここで、操作部１００に備えられるジョイスティックやボタンは、視点位置／視線方向の操作や画像表示内容の制御を行なうことができるものであれば何でもよく、トラックボールやマウスやキーボードなどによって構成されてもよいことは言うまでもない。
【００１４】
１０１は、視点位置／視線方向計算手段であり、操作部１００からジョイスティック操作情報を受け取り、道路などの経路に沿って撮影を行なった１枚以上のパノラマ実写画像の中から、使用者が経路内で観察したい視点位置／視線方向情報を計算する。たとえば操作部１００からジョイスティックを前後に倒したというジョイスティック操作情報が送られてきた場合、視点位置をパノラマ実写画像の撮影を行なった経路に沿って切り替え、また操作部１００からジョイスティックを左右にねじったり倒したりしたというジョイスティック操作情報が送られてきた場合、パノラマ実写画像内で見回すように視線方向を変える。視点位置／視線方向計算手段１０１は、視点位置／視線方向管理手段１０２に対して視点位置／視線方向情報を送る。
【００１５】
１０２は、視点位置／視線方向管理手段であり、視点位置／視線方向計算手段１０１から送られてきた視点位置／視線方向情報（あるいは操作部１００から図示しない線により指示されたアバタ属性情報）を受け取り管理する。また、視点位置／視線方向管理手段１０２は、視点位置／視線方向計算手段１０１から送られてきた視点位置／視線方向情報（あるいは操作部１００から図示しない線により指示されたアバタ属性情報）を、（通信部１０３、ネットワーク１２を介して）他の画像表示端末に送ったり、他の画像表示端末の視点位置／視線方向情報（あるいは操作部により指示されたアバタ属性）を、（ネットワーク１２、通信部１０３を介して）受け取り管理する。これらの視点位置／視線方向情報は、図３に示すような管理テーブルで管理し、この管理テーブルは画像表示制御手段１０４に送られる。この管理テーブルでは、どの画像表示端末の使用者が疑似体験の共有を望むか望まないかを画像表示管理サーバ１１に尋ねて、使用者が共有を望む画像表示端末の視点位置／視線方向情報のみ管理するようにしてもよい。なお、図３の管理テーブルでは、画像表示端末１０−２の使用者が共有を望んでいないため、画像表示端末１０−２の視点位置／視線方向情報を管理していない様子がわかる。また、各画像表示端末のアバタの属性を受け取り管理するようにしてもよい。
【００１６】
なお、図３の管理テーブルでは、視点位置をあらかじめ定めた道路セグメントＩＤ（図４）と、道路セグメント内でのフレーム番号によってあらわし、視線方向をあらかじめ定めた基準方向（例えば撮影時の北方向を０°とする）に対する相対方向角度としている。しかし、もちろん視点位置／視線方向情報はこれらの記述に限ったものではなく、例えば視点位置を緯度経度や全てのパノラマ実写画像のフレーム番号を用いて表したり、視線方向を撮影時の前方向を基準方向にした相対方向角度としてあらわしてもよい。
【００１７】
１０３は、通信部であり、視点位置／視線方向管理手段１０２や操作部１００とネットワーク１２間のデータのやり取りを行なう。通信部１０３は、例えばネットワークインタフェースカードや、そのドライバなどから構成される。
【００１８】
１０４は、画像表示制御手段であり、視点位置／視線方向管理手段１０２から送られてくる管理テーブル（図３）の情報を受け取る。また画像表示制御手段１０４は、画像表示部１０８に表示する内容を示す画像表示内容情報を、操作部１００から受け取る。
【００１９】
さらに、画像表示制御手段１０４は、それらの管理テーブルの情報や画像表示内容情報をもとに、パノラマ実写画像記憶部１０５、地図情報記憶部１０６、アバタデータ記憶部１０７に対して、それぞれパノラマ実写画像、地図情報、アバタデータを要求して受け取る。そして画像表示制御手段１０４は、受け取った管理テーブルの情報、画像表示内容情報、パノラマ実写画像、地図情報、アバタデータをもとに画像表示部１０８に表示する画像を合成して作成し、画像表示部１０８に対して表示画像を送る。また、画像表示制御手段１０４は、操作部１００から送られてくる画像表示内容情報をもとに画像表示モードを管理もしくは変更する。画像表示モードには、例えば地図表示のＯＮ／ＯＦＦ、アバタ表示のＯＮ／ＯＦＦ、アバタ情報（アノテーション、ユーザ名、属性など）の表示ＯＮ／ＯＦＦなどが含まれる。たとえば、図６（ａ）では、地図表示ＯＮ、アバタ表示ＯＮ、アバタ情報の表示ＯＮであるときの様子が示されている。
【００２０】
１０５は、パノラマ実写画像記憶部であり、ハードディスクなどから構成される。パノラマ実写画像記憶部１０５は、道路などの経路に沿って撮影を行なった１枚以上のパノラマ実写画像を記憶している。パノラマ実写画像は、複数台のカメラの光軸を外側に向けるように配置して撮影した複数枚の画像を合成したり、双曲面ミラーや魚眼レンズを利用して撮影した歪んだ画像を幾何的に変換して得ることができるが、これらの技術は公知であるためここでは詳しく述べない。また１枚１枚のパノラマ実写画像には、撮影時にカメラに取り付けたＧＰＳやジャイロセンサなどによって計測した位置／方向情報を対応付けて記録しておく。パノラマ実写画像記憶部１０５は、画像表示制御手段１０４から要求されたパノラマ実写画像を画像表示制御手段１０４に送る。パノラマ実写画像記憶部１０５は、画像表示制御手段１０４から送られてくる視点位置／視線方向情報に対応したパノラマ実写画像を画像表示制御手段１０４に送る。ここで送るパノラマ実写画像は３６０°全方向のものでもよいが、あらかじめ決められた角度毎に分割しておいてもよい。この場合、視線方向情報に対応した部分のみを送るようにすることで送信するデータ量を削減することができ、送信時の負担を減らすことができる。
【００２１】
ここで、パノラマ実写画像記憶部１０５はデータを記憶できるものであればなんでもよく、光ディスクやテープやメモリなどによって構成されてもよいことはいうまでもない。
【００２２】
１０６は、地図情報記憶部であり、ハードディスクなどから構成される。地図情報記憶部１０６は、実世界を疑似体験する経路を含む領域を上から見た２次元の地図画像や、地図経路を構成する道路セグメント情報を記憶している。この地図画像にはあらかじめパノラマ実写画像を撮影した道路などの経路に色付けしておいてもよい。この場合、地図画像を表示する際に使用者が移動できる経路を見分け易くなる。ここで道路セグメントとは、図４（ａ）に示すような交差点で区切られた経路の一部で直線とみなせる部分のことを指す。道路セグメントは、図４（ａ）に示すようにそれぞれＩＤ（＃１〜＃８）がつけられており、各道路セグメントは撮影時の北方向を０°とした角度（０°以上１８０°未満）が対応付けられている（図４（ｂ））。なお、図４の地図では紙面に向かって上を撮影時の北方向とする。道路セグメントの分割、ＩＤの割り振り、角度の対応付けは本装置の利用に先立ちＧＵＩなどにより手動で行なっても、自動で行なっても、その組み合わせによって行なってもよい。地図情報記憶部１０６は、画像表示制御手段１０４から要求された地図画像や道路セグメント情報といった地図情報を画像表示制御手段１０４に送る。地図画像を送る際、記憶している地図画像全体を送ってもよいが、地図画像データが大きい場合には、画像表示制御手段１０４から視点位置／視線方向情報を送ってもらい、複数の区分に分割した地図画像から必要な部分のみを送るようにしてもよい。必要な部分のみを送るようにすることで、送信するデータ量を削減することができるため、送信時の負担を減らすことができる。また、視線方向が地図上で上方向になるように画像を回転してから送ってもよい。
【００２３】
ここで、地図情報記憶部１０６はデータを記憶できるものであればなんでもよく、光ディスクやテープやメモリなどによって構成されてもよいことはいうまでもない。
【００２４】
１０７は、アバタデータ記憶部であり、ハードディスクなどから構成される。
アバタデータ記憶部１０７は、画像表示部１０８にパノラマ実写画像と共に表示するアバタの画像を記憶している。アバタには、図３に示すように人間タイプ、モンスタータイプなどいくつかの種類の属性がある。アバタデータ記憶部１０７は、画像表示制御手段１０４から要求された属性のアバタ画像を画像表示制御手段１０４に送る。その際、アバタの画像として前後左右などを向いている複数の画像を用意しておき、画像表示端末１０−１の視点位置／視線方向情報と、他の画像表示端末の視点位置／視線方向情報の相互関係、すなわち位置関係／角度関係によって、アバタの向いている方向を決定し、画像を選択して送ってもよい。
また、経路を含む領域を上から見た２次元の地図画像上での画像表示端末１０−１の視点位置と他の画像表示端末の視点位置を求め、その視点位置間距離に応じて、アバタの表示サイズ（近い場合は大きいサイズ、遠い場合は小さいサイズ）を変更したり、アルファブレンディングの割合といった表示濃度（近い場合は濃く、遠い場合は薄く）を変更したり、表示色（近い場合は鮮やかに、遠い場合は地味に）を変更してもよい。
【００２５】
ここで、アバタデータ記憶部１０７はデータを記憶できるものであればなんでもよく、光ディスクやテープやメモリなどによって構成されてもよいことはいうまでもない。
【００２６】
１０８は、画像表示部であり、プロジェクタおよびスクリーンなどから構成される。画像表示部１０８は、画像表示制御手段１０４から送られた表示画像を表示する。画像表示部１０８は、画像を表示できればなんでもよく、パソコンのＣＲＴ、液晶ディスプレイやテレビモニタなどから構成されてもよいことはいうまでもない。
【００２７】
以上のような構成を備えた画像表示端末１０−１は、パソコンやディスプレイやジョイスティックやキーボードやマウスなどから構成される。画像表示端末１０−１と、画像表示端末１０−２〜１０−ｎはそれぞれ同じ構成となっているため、画像表示制御端末１０−２〜１０−ｎの説明は省く。また、各画像表示端末は別々の使用者が利用することとなっている。
【００２８】
１１は、画像表示管理サーバであり、パソコンやディスプレイやジョイスティックやキーボードやマウスなどから構成される。画像表示管理サーバ１１は、各画像表示端末１０−１〜１０−ｎから送られてくる現実世界の疑似体験を共有したいかどうかの情報を受け取り、テーブルで管理して、各画像表示端末にその情報を送る。
【００２９】
ネットワーク１２は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などから構成される。ネットワーク１２は、画像表示端末１０−１〜１０−ｎ、および画像表示管理サーバ１１を繋ぎ、各端末・サーバ間のデータ送受信の経路となる。ネットワーク１２は、各端末・サーバ間のデータ送受信の経路となれればなんでもよく、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネットの一部から構成されてもよいことはいうまでもない。
【００３０】
以上のような構成を備えた本実施形態の制御方法について、以下説明する。図５は本実施形態の情報処理装置における画像表示端末１０−１の処理手順を説明するフローチャートである。
【００３１】
本フローチャートに先立ち、パノラマ実写画像記憶部１０５に記憶するパノラマ実写画像を作成しなければならないが、そのステップは既知の技術を用いることとしてここでは説明を省く。
【００３２】
ステップＳ５０１では、システムの初期化を行なう。システムの初期化とはシステムを構成する各機器の電源を入れたり、プログラムを起動したりといった、本実施形態の制御方法を進めるにあたり最初に行なうステップである。システム初期化の時点では、あらかじめ視点位置／視線方向情報が設定されており、対応するパノラマ実写画像が画像表示部１０８に表示されているものとする。システムの初期化処理が終わり次第ステップＳ５０２へ進む。
【００３３】
ステップＳ５０２では、画像表示部１０８の画像表示モードを管理もしくは変更するような操作部１００へのボタン入力があったかどうかを判別する。ボタンの入力があった場合は、ステップＳ５０３へ進む。また、ボタンの入力がなかった場合は、ステップＳ５０４へ進む。
【００３４】
ステップＳ５０３では、操作部１００のボタンの入力と合わせて、操作部１００から画像表示制御手段１０４へ画像表示内容情報が送られる。ステップＳ５０３では、画像表示制御手段１０４に送られてきた画像表示内容情報に合わせて、画像表示部１０８に表示する画像表示モードを管理もしくは変更する。ここで、画像表示モードには、例えば地図表示のＯＮ／ＯＦＦ、アバタ表示のＯＮ／ＯＦＦ、アバタ情報（アノテーション、ユーザ名、属性など）の表示ＯＮ／ＯＦＦなどが含まれる。画像表示モードを変更するとは、地図表示、アバタ表示、アバタ情報（アノテーション、ユーザ名、属性など）の表示ＯＮ／ＯＦＦを切り替えることである。地図表示のＯＮ／ＯＦＦとは、実世界を疑似体験する経路を含む領域を上から見た２次元の地図画像を、パノラマ実写画像と合わせて表示するかどうかということである。（なお、図６（ａ）では地図表示がＯＮ状態である。）アバタ表示のＯＮ／ＯＦＦとは、パノラマ実写画像にアバタを合わせて表示するかどうかということである。（なお、図６（ａ）はアバタ表示がＯＮの状態である。）アバタ情報（アノテーション、ユーザ名、属性など）の表示のＯＮ／ＯＦＦとは、アバタ自体の表示とは関係なくアバタに関する情報を表示するかどうかということである。図６（ａ）に示すように、アバタ情報（アノテーション、ユーザ名、属性など）の表示がＯＮになっている場合は、アバタ表示がＯＮ／ＯＦＦいずれに関わらずアバタの場所を指示すようにアバタに関する情報をアノテーションなどで表示する。また、図６（ｂ）に示すように、常にアバタ情報（アノテーション、ユーザ名、属性など）を表示することで、ビルに隠れたアバタの位置をパノラマ実写画像上で把握することが可能となる。このアバタ情報（アノテーション、ユーザ名、属性など）の表示／非表示は、使用者が画像表示端末１０−１の操作部１００を操作することで決定することができる。なお、図６の地図画像では、画像表示端末１０−１の使用者の視点位置／視線方向を三角印であらわしており、他の画像表示端末の使用者の視点位置を丸印であらわしている。
【００３５】
また、（操作部１００に画像表示モード変更以外のボタンを用意しておき）ボタンが押されたと判断された場合、画像表示端末１０−１が画像表示管理サーバ１１や他の画像表示端末に対して、実世界疑似体験を共有するかどうかといったことや、アバタの属性情報などを変更して送ることもできる。ステップＳ５０３の処理が終了したらステップＳ５０２に戻る。
【００３６】
ステップＳ５０４では、操作部１００のジョイスティックの入力があったかどうかを判別する。ジョイスティックへの入力があった場合は、ステップＳ５０５へ進む。また、ジョイスティックの入力がなかった場合は、ステップＳ５０２へ戻る。
【００３７】
ステップＳ５０５では、ステップＳ５０４でジョイスティックの入力があったものとして、操作部１００から視点位置／視線方向計算手段１０１へとジョイスティック操作情報が送られる。そして、視点位置／視線方向計算手段１０１では、そのジョイスティック操作情報をもとに視点位置／視線方向の計算が行なわれ、視点位置／視線方向管理手段１０２に視点位置／視線方向情報が送られる。なお計算された視点位置／視線方向は、次に計算されるまではその値を保持されるものとする。視点位置の計算は、具体的にはジョイスティックを前後に倒す入力に従って図３に示す道路セグメントＩＤを切り替えたり、フレーム番号を順番に切り替えるといったことで行なわれる。また、視線方向の計算は、具体的にはジョイスティックを左右にねじったり倒す入力に従って図３に示す基準方向に対する相対方向角度を連続的に切り替えるといったことで行なわれる。ステップＳ５０５の処理が終了したらステップＳ５０６に進む。
【００３８】
ステップＳ５０６では、視点位置／視線方向管理手段１０２が、視点位置／視線方向計算手段１０１から送られてきた視点位置／視線方向情報を、図３に示すような管理テーブルで管理する。同様に、視点位置／視線方向管理手段１０２は、他の画像表示端末と現実世界の疑似体験を共有するかどうか、あるいはアバタの属性情報を、操作部１００のボタン操作情報をもとに管理してもよい。これらの視点位置／視線方向情報、共有するかどうか、アバタの属性情報は、（通信部１０３、ネットワーク１２を介して）他の画像表示端末もしくは画像表示管理サーバ１１に送られる。また、視点位置／視線方向管理手段１０２は、他の画像表示端末から送られる視点位置／視線方向情報、アバタの属性情報を受け取り管理する。さらに、視点位置／視線方向管理手段１０２は、画像表示管理サーバ１１から、他の画像表示端末の共有、非共有状態（図３では○が共有、×が非共有をあらわす）を、（ネットワーク１２、通信部１３を介して）受け取り管理してもよい。ここで、ネットワーク１２経由での情報のやり取りは、各画像表示端末もしくは画像表示管理サーバ間で同期をとって行なっても、非同期のまま行なってもどちらでもよい。ステップＳ５０６の処理が終了したらステップＳ５０７に進む。
【００３９】
ステップＳ５０７では、まず視点位置／視線方向管理手段１０２が管理している管理テーブルの情報を画像表示制御手段１０４に送る。そして、画像表示制御手段１０４は、管理テーブルの（画像表示端末１０−１の）視点位置／視線方向情報をもとに、パノラマ実写画像記憶部１０５に対してパノラマ実写画像を要求する。パノラマ実写画像記憶部１０５は、対応したパノラマ実写画像を画像表示制御手段１０４に送る。ステップＳ５０７の処理が終了したらステップＳ５０８に進む。
【００４０】
ステップＳ５０８では、まず視点位置／視線方向管理手段１０２が管理している管理テーブルの情報を画像表示制御手段１０４に送る。次に、画像表示制御手段１０４が、地図情報記憶部１０６に対して地図画像および地図経路を構成する道路セグメント（交差点で区切られた経路で直線とみなせる部分）情報の要求を行なう。そして、地図情報記憶部１０６は、画像表示制御手段１０４に対して図４に示すような地図画像（図４（ａ））および地図経路を構成する道路セグメント情報（図４（ｂ））を送る。ここで、地図画像には視点位置／視線方向情報をもとに次の交差点先で曲がる道を色付けしておいてもよい。この場合、使用者が次の交差点先で曲がる道を把握し易くなる。
【００４１】
次に、画像表示制御手段１０４は、アバタを表示する道路セグメントを探索して求める。道路セグメントの探索とは、画像表示端末１０−１の使用者がいる道路セグメントを基点セグメントとして、基点セグメントと、繋がっている道路セグメントのなす角度が一定角度以内（例えば５°以内）のものを順々に探索していくことである。図４においては、画像表示端末１０−１の使用者が＃４の道路セグメントにいる場合、繋がっている道路セグメント＃３、＃５、＃６、＃７、＃８のうち、＃４となす角度が５°以内なのは＃３のみである。ここで、基点セグメント＃４と一度探索した道路セグメント＃３、＃５、＃６、＃７、＃８にはフラグを立てておき再度探索されないようにしておく。次に、＃３に繋がっている道路セグメントは＃２、＃４、＃５、＃６だが、フラグの立っていない＃２のみが探索の対象候補となる。しかし、道路セグメント＃２と＃４がなす角度は４５°であるため探索の対象とはならない。以上より、図４において、画像表示端末１０−１の使用者が＃４の道路セグメントにいる場合の道路セグメントを探索して求めた結果は、＃４および＃３となる。ステップＳ５０８の処理が終了したらステップＳ５０９に進む。
【００４２】
ステップＳ５０９では、まず視点位置／視線方向管理手段１０２が管理している管理テーブルの情報を画像表示制御手段１０４に送る。そして、画像表示制御手段１０４は、管理テーブルの各画像表示端末の視点位置／視線方向情報およびアバタ属性情報をもとに、アバタデータ記憶部１０７に対してアバタ画像を要求する。アバタデータ記憶部１０７は、対応したアバタ画像を画像表示制御手段１０４に送る。ステップＳ５０９の処理が終了したらステップＳ５１０に進む。
【００４３】
ステップＳ５１０では、画像表示制御手段１０４が、画像表示モード、および視点位置／視線方向管理手段１０２から送られてきた管理テーブル、およびパノラマ実写画像記憶部１０５から送られてきたパノラマ実写画像、および地図情報記憶部１０６から送られてきた地図画像と道路セグメントから求めた探索結果、およびアバタデータ記憶部１０７から送られてきたアバタ画像をもとに、画像表示部１０８に表示する画像を合成して作成して、画像表示部１０８に表示する。
アバタ表示の際は、ステップＳ５０８で求めた道路セグメント探索結果上に存在するアバタのみ選択して表示すればよい。ステップＳ５０８で求めた道路セグメント探索結果は、画像表示端末１０−１の使用者がいる道路セグメントを基点セグメントとして、基点セグメントと、繋がっている道路セグメントのなす角度が一定角度以内（例えば５°以内）のものを順々に探索していったものである。よって、画像表示端末１０−１の使用者は、ステップＳ５０８で求めた道路セグメント探索結果上、すなわち画像表示端末１０−１の使用者がいる道路セグメントから見て直線と見なせる道路セグメント上のアバタのみ観察することができる。
このように地図画像の道路形状（経路の形状）をもとに表示するアバタを選択することで、３次元モデルを持たなくても画像中の建物（障害物）とアバタの隠蔽関係が正しく表現できる。また、図６（ｂ）に示すように探索結果以外の道路セグメントに存在するアバタのユーザ名（使用者名）や属性などの情報をアノテーションとして常に表示しておいてもよい。このアバタ情報（アノテーション、ユーザ名、属性など）の表示／非表示は、使用者が画像表示端末１０−１の操作部１００を操作することで決定することができる。ステップＳ５１０の処理が終了したらステップＳ５１１に進む。
【００４４】
ステップＳ５１１では、使用者が終了処理を行なっていた場合、システムを終了させる。
【００４５】
システムを終了させるとは、プログラムを終了させたり、システムを構成する各機器の電源を切ったりといった本実施形態の制御方法を終わらせるために最後に行なうステップである。使用者が終了処理を行なっていない場合は、ステップＳ５０２に戻る。
【００４６】
以上、本実施形態の情報処理装置における画像表示端末１０−１の処理手順の説明を行なった。画像表示端末１０−２〜１０−ｎも同様の同様の処理手順であるため説明は省略する。
【００４７】
図７は本実施形態の情報処理装置における画像表示管理サーバ１１の処理手順を説明するフローチャートである。
【００４８】
ステップＳ７０１では、システムの初期化を行なう。システムの初期化とはシステムを構成する各機器の電源を入れたり、プログラムを起動したりといった、本実施形態の制御方法を進めるにあたり最初に行なうステップである。ステップＳ７０１のシステム初期化は、各画像表示端末のシステム初期化に先立ち行なわれることが好ましい。システムの初期化が終わったらステップＳ７０２へ進む。
【００４９】
ステップＳ７０２では、各画像表示端末から送られてくる共有状態の管理を行なう。共有状態は図８に示すようなテーブルで管理する。ステップＳ７０２の処理が終了したらステップＳ７０３へ進む。
【００５０】
ステップＳ７０３では、各画像表示端末に対して、図８に示す各画像表示端末の共有状態を送る。ステップＳ７０３の処理が終了したらステップＳ７０４へ進む。
【００５１】
ステップＳ７０４では、使用者が終了処理を行なっていた場合、システムを終了させる。
システムを終了させるとは、プログラムを終了させたり、システムを構成する各機器の電源を切ったりといった本実施形態の制御方法を終わらせるために最後に行なうステップである。ステップＳ７０４でシステム終了を行なう場合は、各画像表示端末のシステム終了後に行なうことが好ましい。使用者が終了処理を行なっていない場合は、ステップＳ７０２に戻る。
【００５２】
以上、本実施形態の情報処理装置における処理手順の説明を行なった。
【００５３】
以上説明したように、たとえば道路などの経路に沿って撮影を行なった１枚以上のパノラマ実写画像の中から、使用者が経路内で観察したい位置の指定を行なうことで１枚のパノラマ実写画像を選択、また使用者が観察したい方向の指定を行なうことでその１枚のパノラマ実写画像の一部分を切り出し、ネットワークを介して実世界疑似体験を共有する他の使用者の視点位置／視線方向を示すアバタをパノラマ実写画像と共に合成表示して実世界の疑似体験共有を行なう際、使用者が指定した経路上の位置から見て直線と見なせる道路上のアバタのみ選択表示することで、本実施形態の情報処理装置が３次元モデルを持たなくても画像中の建物（障害物）とアバタの隠蔽関係を正しく表現することができる。
【００５４】
（他の実施の形態）
また、視点情報として視点位置のみを用いるようにしてもよい。
【００５５】
また、地図画像の大きさ、解像度、さらには一つの画面内での地図画像の位置を使用者が操作部１００を操作して手動で変更するようにしてもよい。
【００５６】
また、図３に示すようなアバタ属性（人間タイプ、モンスタータイプ）によって画面内におけるアバタの表示する位置（高さ方向）を変えたり、パノラマ実写画像を撮影する際の条件（カメラの高さ、画角）によって画面内におけるアバタの表示する位置（高さ方向）を変えてもよい。アバタ属性によって表示する位置を変えるときには、例えば人間タイプなら道路に接する高さに表示し、モンスタータイプなら空中に浮遊するように表示すればよい。
【００５７】
また、ステップＳ５０８のように道路セグメントの探索を毎回行なわずに、あらかじめ探索結果を求めておき、テーブルなどに記憶したものを用いてもよい。
例えば図４（ａ）の経路においては、使用者が存在する道路セグメントＩＤと、アバタを表示する道路セグメントＩＤを対応付けた図９のようなテーブルをあらかじめ用意する。図９のテーブルは、表示するアバタを選択する際に、ステップＳ５０８で道路セグメントを探索する代わりに利用される。ここで、ある画像端末の使用者が道路セグメントＩＤ＃４に存在するときは、他の画像表示端末の使用者のアバタで道路セグメントＩＤが＃３および＃４に存在するものだけを表示すればよい。なお、図９のテーブルは地図情報記憶部１０６に記憶され、ステップＳ５０８において地図画像と同時に画像表示制御手段１０４に送られる。
【００５８】
また、パノラマ実写画像記憶部１０５あるいは地図情報記憶部１０６あるいはアバタデータ記憶部１０７に記憶するデータを、画像表示管理サーバ１１あるいは図示しないデータ記憶サーバに保存しておき、画像表示端末を使用する際にデータをサーバからダウンロードしてもよい。こうすることで新しいパノラマ実写画像や地図情報やアバタデータなどを効率的に各画像表示端末で追加・変更することができる。
【００５９】
また、視点位置／視線方向管理手段１０２で他の画像表示端末の視点位置／視線方向の情報などを管理しているので、それらの情報およびパノラマ実写画像記憶部１０５に記憶しているパノラマ実写画像を利用することで、他の画像表示端末の使用者が見ている画像を（画像表示端末間で画像データを送ることなく）作り出し、表示することができる。その際、他の画像表示端末の使用者が見ている画像は、自分の画像と切り替えても、自分の画像と別の画像として表示してもよい。
【００６０】
なお、本発明の実施形態は、複数の機器（たとえばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（たとえば、複写機、ファクシミリ装置など）に適用してもよい。
【００６１】
また、本発明の実施形態の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
【００６２】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明の実施形態を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６３】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６４】
本発明の実施形態を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャート（図５、図７）に対応するプログラムコードが格納されることになる。
【００６５】
【発明の効果】
ネットワークを介して他の端末と繋がっている端末に適用可能であり、２次元画像に他の端末の使用者の視点位置を示すアバタ画像を合成する際、３次元モデルを持たなくても２次元画像中の建物（障害物）とアバタの隠蔽関係を正しく表現することができる。
【図面の簡単な説明】
【図１】本発明の実施形態における情報処理装置の構成を示すブロック図である。
【図２】従来例を説明する図である。
【図３】視点位置／視線方向管理手段が管理する管理テーブルを示す図である。
【図４】地図画像と道路セグメント情報を示す図である。
【図５】本発明の実施形態における画像表示端末の動作を説明するフローチャートである。
【図６】アバタ情報（アノテーション、ユーザ名、属性など）の表示などを説明する図である。
【図７】本発明の実施形態における画像表示管理サーバの動作を説明するフローチャートである。
【図８】各画像表示端末の共有状態を管理するテーブルを示す図である。
【図９】道路セグメントの探索結果をあらかじめ求めた結果を示すテーブルである。
Claims (9)
- ネットワークを介して他の端末と繋がっている端末に適用可能であり、複数のセグメント情報で管理されている経路上の任意の位置からの２次元画像を提供する情報処理方法であって、
端末の使用者の視点位置を取得し、
前記端末の使用者の視点位置に対応した２次元画像を取得し、
前記他の端末の使用者の視点位置を取得し、
アバタ画像を取得し、
前記２次元画像に前記他の端末の使用者の視点位置を示すアバタ画像を合成する情報処理方法であり、
前記合成されるアバタ画像は、前記端末の使用者の視点位置を含むセグメントと、前記他の端末の使用者の視点位置を含むセグメントの位置関係によって選択されることを特徴とする情報処理方法。 - 前記端末の使用者の視点位置を含むセグメントと、前記他の端末の使用者の視点位置を含むセグメントは、前記経路を介して接続しており、前記位置関係は、前記端末の使用者の視点位置を含むセグメントと、前記他の端末の使用者の視点位置を含むセグメントとのなす角度により求めることを特徴とする請求項１に記載の情報処理方法。
- さらに、端末の使用者の視線方向を取得し、
他の端末の使用者の視線方向を取得し、
前記合成されるアバタ画像は、前記端末の使用者の視線方向と、前記他の端末の使用者の視線方向の角度関係によって選択されることを特徴とする請求項１乃至２のいずれかに記載の情報処理方法。 - 前記合成されるアバタ画像のサイズあるいは濃度あるいは色は、
前記端末の使用者の視点位置と、前記他の端末の使用者の視点位置の位置関係によって選択されることを特徴とする請求項１乃至３のいずれかに記載の情報処理方法。 - さらに、他の端末のアバタ情報を取得し、
前記合成されるアバタ画像の２次元画像内での位置は、前記取得した他の端末のアバタ情報あるいは２次元画像を撮影した際のカメラの高さあるいは画角によって決定されることを特徴とする請求項１乃至４のいずれかに記載の情報処理方法。 - さらに、他の端末のアバタ情報を取得し、
前記２次元画像に前記取得した他の端末のアバタ情報を合成することを特徴とする請求項１乃至４のいずれかに記載の情報処理方法。 - ネットワークを介して他の端末と繋がっている端末に適用可能であり、
複数のセグメント情報で管理されている経路上の任意の位置からの２次元画像を提供する情報処理装置であって、
端末の使用者の視点位置を取得する第１の視点位置取得手段と、
前記端末の使用者の視点位置に対応した２次元画像を取得する２次元画像取得手段と、
前記他の端末の使用者の視点位置を取得する第２の視点位置取得手段と、
アバタ画像を取得するアバタ画像取得手段と、
前記２次元画像に前記他の端末の使用者の視点位置を示すアバタ画像を合成するアバタ画像合成手段と、
前記端末の使用者の視点位置を含むセグメントと、前記他の端末の使用者の視点位置を含むセグメントの位置関係によって、前記合成されるアバタ画像を選択するアバタ画像選択手段とを備えることを特徴とする情報処理装置。 - 請求項１乃至６のいずれかに記載の情報処理方法を実現するためのプログラム。
- 請求項１乃至６のいずれかに記載の情報処理方法を実現するためのプログラムを記録した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002363914A JP2004199159A (ja) | 2002-12-16 | 2002-12-16 | 情報処理方法、情報処理装置、プログラムおよび記憶媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002363914A JP2004199159A (ja) | 2002-12-16 | 2002-12-16 | 情報処理方法、情報処理装置、プログラムおよび記憶媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004199159A true JP2004199159A (ja) | 2004-07-15 |
Family
ID=32761934
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002363914A Withdrawn JP2004199159A (ja) | 2002-12-16 | 2002-12-16 | 情報処理方法、情報処理装置、プログラムおよび記憶媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004199159A (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007026090A (ja) * | 2005-07-15 | 2007-02-01 | Oki Electric Ind Co Ltd | 映像作成装置 |
| JP2009123001A (ja) * | 2007-11-15 | 2009-06-04 | Internatl Business Mach Corp <Ibm> | 仮想共有空間における参照マークの自動生成方法、装置及びプログラム |
| WO2010143359A1 (ja) * | 2009-06-10 | 2010-12-16 | 日本電気株式会社 | アバター表示システム、装置、方法及びプログラム |
| JP2019046250A (ja) * | 2017-09-04 | 2019-03-22 | 株式会社コロプラ | 仮想空間を提供するためにコンピュータで実行されるプログラム、方法、および当該プログラムを実行するための情報処理装置 |
| JP2023026312A (ja) * | 2021-08-11 | 2023-02-24 | 株式会社Abal | 複合空間体感システム |
| JP7382111B1 (ja) | 2022-12-23 | 2023-11-16 | Kddi株式会社 | 情報処理装置及び情報処理方法 |
-
2002
- 2002-12-16 JP JP2002363914A patent/JP2004199159A/ja not_active Withdrawn
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007026090A (ja) * | 2005-07-15 | 2007-02-01 | Oki Electric Ind Co Ltd | 映像作成装置 |
| JP2009123001A (ja) * | 2007-11-15 | 2009-06-04 | Internatl Business Mach Corp <Ibm> | 仮想共有空間における参照マークの自動生成方法、装置及びプログラム |
| WO2010143359A1 (ja) * | 2009-06-10 | 2010-12-16 | 日本電気株式会社 | アバター表示システム、装置、方法及びプログラム |
| JP2019046250A (ja) * | 2017-09-04 | 2019-03-22 | 株式会社コロプラ | 仮想空間を提供するためにコンピュータで実行されるプログラム、方法、および当該プログラムを実行するための情報処理装置 |
| JP2023026312A (ja) * | 2021-08-11 | 2023-02-24 | 株式会社Abal | 複合空間体感システム |
| JP7382111B1 (ja) | 2022-12-23 | 2023-11-16 | Kddi株式会社 | 情報処理装置及び情報処理方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11381758B2 (en) | System and method for acquiring virtual and augmented reality scenes by a user | |
| US9324298B2 (en) | Image processing system, image processing apparatus, storage medium having stored therein image processing program, and image processing method | |
| US8933965B2 (en) | Method for calculating light source information and generating images combining real and virtual images | |
| US10403044B2 (en) | Telelocation: location sharing for users in augmented and virtual reality environments | |
| JP4065507B2 (ja) | 情報提示装置および情報処理方法 | |
| US20110102460A1 (en) | Platform for widespread augmented reality and 3d mapping | |
| Veas et al. | Extended overview techniques for outdoor augmented reality | |
| JP2024050721A (ja) | 情報処理装置、情報処理方法およびコンピュータプログラム | |
| US20140152764A1 (en) | Information processing system, information processing apparatus, storage medium having stored therein information processing program, and information transmission/reception method | |
| JP2018533317A (ja) | 仮想現実映像伝送方法、再生方法、及びこれらを用いたプログラム | |
| US10803652B2 (en) | Image generating apparatus, image generating method, and program for displaying fixation point objects in a virtual space | |
| JP6775669B2 (ja) | 情報処理装置 | |
| KR102005251B1 (ko) | 가상 현실에 기반하여 매물 영상을 제공하기 위한 서버, 제공자 단말 및 방법 | |
| JP2004199159A (ja) | 情報処理方法、情報処理装置、プログラムおよび記憶媒体 | |
| JP2006040053A (ja) | 画像処理方法及びプログラム | |
| JP2005044102A (ja) | 画像再生方法及び画像再生装置 | |
| US20220405996A1 (en) | Program, information processing apparatus, and information processing method | |
| JP2004062755A (ja) | 画像提示装置および情報処理方法 | |
| WO2022237047A1 (zh) | 表面网格扫描及显示方法、***及装置 | |
| JP6149967B1 (ja) | 動画配信サーバ、動画出力装置、動画配信システム、及び動画配信方法 | |
| JP2004234457A (ja) | 情報処理装置、方法、プログラムおよび記憶媒体 | |
| JP2003208146A (ja) | 画像表示装置および情報処理方法 | |
| US20240078767A1 (en) | Information processing apparatus and information processing method | |
| JP2021002402A (ja) | 情報処理装置 | |
| JP2024037496A (ja) | 画像処理装置、プログラム及び画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20060307 |