JP2001229397A - 3次元仮想空間構築方法及びシステム並びに記憶媒体 - Google Patents

3次元仮想空間構築方法及びシステム並びに記憶媒体

Info

Publication number
JP2001229397A
JP2001229397A JP2000039534A JP2000039534A JP2001229397A JP 2001229397 A JP2001229397 A JP 2001229397A JP 2000039534 A JP2000039534 A JP 2000039534A JP 2000039534 A JP2000039534 A JP 2000039534A JP 2001229397 A JP2001229397 A JP 2001229397A
Authority
JP
Japan
Prior art keywords
image
panoramic
observation point
panoramic image
center
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000039534A
Other languages
English (en)
Other versions
JP4082546B2 (ja
Inventor
Eiketsu Kou
英傑 黄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2000039534A priority Critical patent/JP4082546B2/ja
Publication of JP2001229397A publication Critical patent/JP2001229397A/ja
Application granted granted Critical
Publication of JP4082546B2 publication Critical patent/JP4082546B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

(57)【要約】 【課題】 前進、後退、並進、回転の際に違和感のない
仮想環境を提供できる、連続した3次元仮想空間を比較
的簡単な画像合成処理で構築する。 【解決手段】 実空間においてメッシュ状に並んだ正三
角形の各頂点を中心とした複数の全周パノラマ画像10
0が蓄積されている。マウス103、キーボード102
で観察点の移動、視線の回転を指示すると、入力解析装
置104の解析結果に基づき、パノラマ画像選択装置1
05により選択された全周パノラマ画像100が表示画
像促成装置107に入力され、そこで移動中又は回転中
に観察点から見えるシーンの画像が合成され、画像表示
制御装置110によって画像表示装置101に表示され
る。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、3次元仮想空間を
構築する技術に関する。
【0002】
【従来の技術】コンピュータ・グラフィックス(CG)
により3次元仮想空間を構築する方法がある。この方法
では、予め3次元モデルを用意し、テクスチャマッピン
グやレンダリングなどの技法を駆使して任意の位置から
任意の方向を見たシーンを画面に描画する。しかし、自
由に歩き回ることができる自然な3次元仮想空間を実現
するには、3次元モデルデータの取得など困難な技術的
課題が多い。
【0003】3次元仮想空間を実現するもう1つの方法
として、ある地点で撮影した複数枚の2次元実写画像か
ら、その地点の周囲のシーンを表すパノラマ画像を合成
し、このパノラマ画像から任意の観察点から見えるシー
ンを表す画像を切り出して画面に表示する方法がある。
しかし、切り出された画像の単純な拡大処理によって観
察点の前進運動時のシーンを表す画像を作成するため、
前進するほどシーンの画質が悪化してしまう。また、あ
くまで1つの全周パノラマ画像でシーンを表現するので
あるから、運動の自由度と範囲が制限されてしまう。
【0004】もう1つの方法として、例えば特開平10
−91814号公報に開示されているように、「ホット
リンク」と呼ばれる手法によって、予め用意されたいく
つかのパノラマ画像の間を移動できるようにする方法が
ある。しかしながら、パノラマ画像間の移動が可能にな
るとはいっても、あるパノラマ画像から別のパノラマ画
像へ移動する際の環境の変化を切れ目なく見ることがで
きるわけではなく、連続した3次元仮想空間は構築でき
ない。
【0005】
【発明が解決しようとする課題】以上の問題点に鑑み、
本発明は、比較的簡単な画像合成処理によって、観察点
又は視線の運動時に違和感のない連続した仮想環境を提
供できる3次元仮想空間構築方法及びシステムを実現し
ようとするものである。
【0006】
【課題を解決するための手段】本発明においては、実空
間において離散的に配置された地点をそれぞれ中心とし
た複数の全周パノラマ画像をデジタルデータとして用意
し、観察点に近い中心を持つ少なくとも2つの全周パノ
ラマ画像を用いて、観察点から見えるシーンを表す画像
を作成し表示することにより、連続した3次元仮想空間
を構築する。より具体的には、各全周パノラマ画像の中
心は、実空間上でメッシュ状に並べられた正三角形の各
頂点に配置される。
【0007】本発明においては、観察点の前進運動時に
違和感のない連続した仮想環境を提供するため、観察点
に近い中心を持つ第1の全周パノラマ画像と、この第1
の全周パノラマ画像の中心から視線方向にある最も近い
中心を持つ第2の全周パノラマ画像とを用いて、観察点
の前進運動時に観察点から見えるシーンを表す画像を合
成する。また、シーンの中央部の解像度を維持するた
め、シーンを表す画像の中心部の画素情報を第2の全周
パノラマ画像から、周辺部の画素情報を第1の全周パノ
ラマ画像から、それぞれ提供する合成方法とする。
【0008】本発明においては、観察点の後退運動時に
違和感のない連続した仮想環境を提供するため、観察点
に近い中心を持つ第1の全周パノラマ画像と、この第1
の全周パノラマ画像の中心から視線方向と反対方向にあ
る最も近い中心を持つ第2の全周パノラマ画像とを用い
て、観察点の後退運動時に観察点から見えるシーンを表
す画像を合成する。また、シーンの中央部の解像度を維
持するため、シーンを表す画像の中心部の画素情報を第
1の全周パノラマ画像から、周辺部の画素情報を第2の
全周パノラマ画像から、それぞれ提供する合成方法とす
る。
【0009】本発明おいては、観察点の並進運動時に違
和感のない連続した仮想環境を提供するため、観察点に
近い中心を持つ第1の全周パノラマ画像と、この第1の
全周パノラマ画像の中心から観察点の並進方向にある最
も近い中心を持つ第2の全周パノラマ画像とを用いて、
観察点の並進運動時に観察点から見えるシーンを表す画
像を合成する。並進に応じた視差のあるシーンを表現す
るため、合成画像において、第1と第2の全周パノラマ
画像がオーバーラップする部分の画素情報を、第1の全
周パノラマ画像の中心及び第2の全周パノラマ画像の中
心と観察点との距離に応じた重みを用いた第1と第2の
全周パノラマ画像の重み付け加算により合成する。
【0010】本発明においては、視線の回転運動時に違
和感のない連続した仮想環境を提供するため、観察点に
近い中心を持つ3つの全周パノラマ画像から新しい全周
パノラマ画像を合成し、この新しい全周パノラマ画像か
ら視線の回転運動時に見えるシーンを表す画像を作成す
る。
【0011】
【発明の実施の形態】本発明の実施の一形態である3次
元仮想空間構築システムのブロック構成を図1に示す。
この3次元仮想空間構築システムは、画像表示装置10
1、キーボード102、マウス(ポインティング装置)
103、入力解析装置104、パノラマ画像選択装置1
05、パノラマ画像蓄積装置106、表示画像作成装置
107、画像表示制御装置110から構成される。この
ようなシステムは、通常、汎用又は専用のコンピュータ
の資源を利用しソフトウェアにより実現されるが、専用
のハードウェアによって実現することも可能である。
【0012】パノラマ画像蓄積装置106には、実空間
において所定の相対位置関係にある離散的な複数の地点
(地点1,...地点n)を中心とした複数の全周パノ
ラマ画像100がデジタルデータとして予め蓄積されて
いる。これら複数の全周パノラマ画像の中心(撮影地
点)は、実空間において、例えば図2に示すように、メ
ッシュ状に並んだ正三角形の各頂点(黒丸で示されてい
る)に配置される。図2中の各円は全周パノラマ画像を
表している。
【0013】なお、全周パノラマ画像などの画像はデジ
タルデータとして表現されるが、本明細書においては単
に画像と呼ぶことがある。
【0014】キーボード102とマウス103は、3次
元仮想空間における観察点又は視線の運動の種類(前
進、後退、並進又は回転)と、その運動量(前進距離、
後退距離、並進距離、回転角度)などを指示するために
ユーザにより利用されるものである。入力解析装置10
4は、キーボード102やマウス103から入力された
情報を解析し、3次元仮想空間内の観察点の現在位置と
視線方向、指定された運動の種類(前進、後退、並進又
は回転)及び運動量を判定し、判定した情報をパノラマ
画像選択装置105及び表示画像作成装置107に与え
る。パノラマ画像選択装置105は、入力解析装置10
4より与えられた情報に基づいて、表示画像作成装置1
07で必要とされる全周パノラマ画像を選択し、それを
パノラマ画像蓄積装置106から表示画像作成装置10
7へ出力させるものである。表示画像成装置107は、
パノラマ画像蓄積装置106から入力された全周パノラ
マ画像から、観察点から見えるシーンを表す表示画像を
作成し、それを画像表示制御装置110に渡す。画像表
示制御装置110は、その表示画像を画像表示装置10
1の画面に表示させる。
【0015】以下、この3次元仮想空間構築システムの
動作を説明する。この3次元仮想空間構築システムが起
動されると、例えば、既定の地点を中心とした1つの全
周パノラマ画像、あるいは事前にユーザによって選択さ
れた1つの全周パノラマ画像がパノラマ画像選択装置1
05によって選択され、この全周パノラマ画像がパノラ
マ画像蓄積装置106より表示画像作成装置107へ出
力される。表示画像作成装置107は、その全周パノラ
マ画像より、その中心での既定の視線方向の視野角(画
像表示装置101の画面の大きさに対応)の範囲を切り
出し、切り出した画像を最初の表示画像として画像表示
制御装置110に渡す。例えば、図3のA地点を中心と
した全周パノラマ画像100Aが表示画像作成装置10
7に与えられた場合、既定の視線方向をA地点からB地
点に向かう方向とし、A地点(観察点)での視野角φの
範囲の画像Aを切り出し、これを最初の表示画像として
画像表示制御装置110に渡す。
【0016】その後、ユーザが、この最初の表示画像が
表示された画像表示装置101の画面を見ながらマウス
103又はキーボード102によって、例えば前進運動
を指示したとする。入力解析装置104は、その入力情
報を解析し、観察点の現在位置(例えばA地点)、前進
運動である旨と前進距離の情報をパノラマ画像選択装置
105及び表示画像作成装置107に与える。前進距離
は、例えばマウス103のボタンやキーボード102の
特定キーの押された時間の長さに応じて決定される。こ
こで、前進運動とは、観察点の視線方向への移動であ
る。前進運動の場合、観察点が進むにつれてシーンの中
心部のオブジェクトが徐々に大きく見える(近づく)よ
うな表示画像が作成される。そのような表示画像の作成
のためには、観察点の移動につれて異なった全周パノラ
マ画像が必要となる。必要な全周パノラマ画像がパノラ
マ画像選択部105によって選択され、それがパノラマ
画像蓄積部106から表示画像作成部107へ出力され
る。
【0017】例えば、図3のA地点からP地点まで観察
点が前進する場合、パノラマ画像選択装置105は、地
点Aから前進方向(視線方向)にある最も近いB地点を
中心とした全周パノラマ画像100Bを選択し、それを
パノラマ画像蓄積装置106から表示画像作成装置10
7へ出力させる。A地点を中心とした全周パノラマ画像
100Aはすでに表示画像作成部107に入力され蓄積
されている。表示画像作成装置107において、前進運
動時に観察点から見えるシーンを表す表示画像を順次作
成する。
【0018】P地点で見えるシーンを表す表示画像の作
成方法は次の通りである。表示画像作成装置107にお
いて、図3に示すように、全周パノラマ画像100Aよ
り、A地点での視野角φの範囲の画像Aを切り出す。こ
の画像Aを、A地点からP地点の距離つまり観察点の前
進距離に応じた倍率で拡大し、この拡大画像のP地点で
の視野角φの範囲に対応する部分(画像a)を切り出
す。換言すれば、表示画像のサイズに合うように拡大画
像の周辺部分をトリミングする。なお、全周パノラマ画
像100Aから画像aに対応する部分を直接切り出して
拡大処理してもよい。また、全周パノラマ画像100B
より、B地点での視野角φの範囲に対応する画像Bを切
り出す。この画像Bを前進距離に応じた倍率で縮小処理
する。すなわち、B地点より前進距離だけ進んだ位置で
の視野角φの範囲に対応するサイズまで画像Bを縮小処
理する。そして、画像Bの縮小画像bの周辺に、画像a
を使って画素を補間することにより、地点Pで見えるシ
ーンを表す表示画像を合成する。つまり、表示画像の周
辺部の画素情報は全周パノラマ画像Aから提供し、表示
画像の中心部の画素情報は全周パノラマ画像Bから提供
するという合成方法である。このような合成方法によっ
て、中心部の解像度の高い表示画像を作成することがで
きる。
【0019】同様の方法で、A地点からB地点までの間
の各地点における表示画像が逐次作成され、画像表示装
置101に表示される。観察点がさらに前進してB地点
に到達すると、全周パノラマ画像100Bから切り出さ
れた画像Bが表示画像として表示される。観察点がさら
に前進すると、B地点の視線方向にある最も近いC地点
を中心とした全周パノラマ画像100C(不図示)と全
周パノラマ画像Bとから表示画像が同様の方法で作成さ
れて表示される。
【0020】なお、概念的には、B地点における表示画
像も、B地点を通過した地点における表示画像と同じ合
成方法によって作成される。ただし、全周パノラマ画像
100C(不図示)から切り出された画像はゼロサイズ
まで縮小されてから合成されることになるため、結果と
して、全周パノラマ画像100BのみでB地点の表示画
像が作成される形になるのである。このことは、後述の
後退運動の場合も同様に理解してよい。
【0021】このようにして作成された表示画像が画像
表示装置101の画面に逐次表示されるため、画像表示
装置101の画面を見ているユーザは、あたかも切れ目
のない自然な3次元空間内を前進しているかのような感
覚を体験できる。また、シーンの中央部は良好な解像度
が維持されるためシーンの画質の面から前進距離が制限
されることはない。
【0022】次に、マウス103又はキーボード102
によって後退運動が指示されたとする。この時、入力解
析装置104から、観察点の現在位置、後退運動である
旨及び後退距離の情報がパノラマ画像選択装置105及
び表示画像作成装置107に与えられる。後退距離は、
例えばマウス103のボタンやキーボード102の特定
キーの押された時間の長さに応じて決定される。ここ
で、後退運動とは観察点が視線方向と反対の方向へ移動
することである。後退運動の場合、観察点が移動するに
つれてシーンの中心部のオブジェクトが徐々に小さく見
える(遠ざかる)ような表示画像が作成される。そのよ
うな表示画像の作成のためには、観察点の移動につれて
異なった全周パノラマ画像が必要となる。
【0023】例えば、図4のB地点からA地点へ向かっ
て後退する場合、パノラマ画像選択装置105は、B地
点から後退方向(視線方向と反対の方向)にある最も近
いA地点を中心とした全周パノラマ画像100Aをパノ
ラマ画像蓄積装置106から表示画像作成装置107に
入力させる。B地点を中心とする全周パノラマ画像10
0Bはすでに表示画像作成部107に蓄積されている。
【0024】後退途中のP地点で見えるシーンの表示画
像の作成方法は図3に関連して説明した前進運動の場合
と処理的には同等である。ただし、図4から理解される
ように、観察点の現在位置に対応する全周パノラマ画像
100Bより、表示画像の中心部の画素情報が提供さ
れ、表示画像の周辺部の画素情報は後退方向にある全周
パノラマ画像100Aより提供されるという点で、概念
的には前進の場合と逆の処理となる。また、B地点から
P地点までの間の各地点での表示画像が逐次作成される
が、その順序は前進の場合と逆であり、B地点に近い地
点の表示画像から先に作成される。かくして、ユーザ
は、あたかも切れ目のない自然な3次元空間内を後退し
ているかのような感覚を擬似的に体験できる。また、シ
ーンの中心部は良好な解像度が維持される。
【0025】現在の一般的なデジタルカメラは、光学ズ
ーム機構と電子ズーム機構を備えている。電子ズーム機
構では、画像の一部を切り出して拡大処理を行うことに
よりズームインを実現するため、光学ズーム機構によっ
てズームインした画像に比べ画質が劣る。これに対し、
以上に述べた前進運動及び後退運動の際の表示画像の合
成方法によれば、画像の中心部の解像度が悪化しないた
め、光学ズーム機構に近いズーム機能を実現できる。
【0026】図5は、このようなズームの様子を示して
いる。図中、観察点の右から左への前進移動がズームイ
ンに相当し、左から右への後退移動がズームアウトに相
当する。黒丸はパノラマ画像蓄積装置106に予め蓄積
されている各全周パノラマ画像100の中心である地点
1〜nを示し、画像1〜nは地点1〜nに観察点が位置
しているときの表示画像で、その地点を中心とした1つ
の全周パノラマ画像より直接的に切り出されたものであ
る。地点1〜nの間の地点での表示画像は相前後した2
つの全周パノラマ画像から合成されるが、これが図5中
の「合成画像」であり、その中心部の解像度は画像1〜
nと同等である。
【0027】次に、ユーザが並進運動を指示したとす
る。並進運動とは観察点が視線方向と直交する方向へ移
動することである。例えば、図6に示すように、A地点
からB地点へ向かって並進する場合を考える。画像Aは
全周パノラマ画像100AからA地点での視野角φの範
囲を切り出した画像であり、画像Bは全周パノラマ画像
100BのB地点での視野角φの範囲を切り出した画像
である。並進途中のP地点で見えるシーンを表す表示画
像(合成画像)は、画像A,Bを用いて次のようにして
作成される。
【0028】図6において、P地点での視野角φの空間
をA’,D,B’に分けて考える。空間Dは、視差のあ
る画像Aの一部と画像Bの一部がオーバーラップして投
影される空間である。空間A’は画像Aの一部みが投影
される空間であり、空間Bは画像Bの一部だけが投影さ
れる空間である。このことに着目し、P地点のA,B地
点からの距離に応じた重み(換言すればA地点からの移
動距離に応じた重み)を用いて、画像A,Bの空間Dに
対応した部分の重み付け加算によって表示画像のD部分
の画素情報を合成し、表示画像の空間A’,B’に対応
する部分の画素情報として画像A,Bの対応部分の画素
情報を用いる。つまり、表示画像のオーバーラップ部分
Dの画素情報は、全周パノラマ画像100Aと全周パノ
ラマ画像100Bから与えられ、表示画像のA’部分の
画素情報は全周パノラマ画像100Aから与えられ、表
示画像のB’部分の画素情報は全周パノラマ画像100
Bから与えられる。このような合成方法によれば、観察
点の位置に応じた視差のある、より自然なシーンを表示
できる。
【0029】同様の方法によって、A地点からB地点ま
での各地点で見えるシーンを表す表示画像が逐次合成さ
れる。このようにして合成された表示画像が画像表示装
置101に逐次表示されるため、ユーザは、あたかも切
れ目のない自然な3次元空間内をA地点からB地点まで
並進するかのような感覚を体験することができる。B地
点を越えて並進する場合には、全周パノラマ画像100
Bとその右側の全周パノラマ画像とを用い、同様の方法
でシーンを表す表示画像が合成されて表示される。
【0030】次に、ユーザが回転運動を指示したとす
る。回転運動とは視線を水平に振る運動、つまり視線の
水平回転である。回転角度は、例えばマウス103のボ
タン又はキーボード102の特定キーの押下時間によっ
て指示される。回転運動の場合、パノラマ画像選択装置
105は、観察点に近い地点を中心とした3つの全周パ
ノラマ画像を選択し、表示画像作成装置107に入力さ
せる。表示画像作成装置107は、その3つの全周パノ
ラマ画像を用いて回転運動時のシーンを表す表示画像を
作成する。これについて図7により説明する。
【0031】図7に示す斜線領域内のP地点で回転運動
をする場合、このP地点に最も近いA,B,C地点を中
心とした全周パノラマ画像100A,100B,100
Cを用いて、P地点を中心とした新しい全周パノラマ画
像100Pを合成する。この全周パノラマ画像100P
のPA,PB,PC部分には全周パノラマ画像100
A,100B,100CのA’,B’,C’部分(太線
部分)が貼り付けられるが、PA,PB,PC部分の接
続端部ではA’,B’,C’部分の共通した(オーバー
ラップした)画像データを利用して貼り付け処理が行わ
れる。このようにして合成された全周パノラマ画像10
0Pから、回転中の各時点での視野角の範囲が表示画像
として切り出され、画像表示装置101に表示される。
かくして、ユーザは、あたかも連続した自然な3次元空
間内で回転運動をするかのような感覚を擬似体験するこ
とができる。
【0032】ただし、ある全周パノラマ画像の中心を観
察点として回転運動する場合には、その全周パノラマ画
像の各時点における視野角の範囲を切り出した画像を表
示画像として用いる。例えば、A地点で回転運動をする
場合には、全周パノラマ画像100Aから表示画像が切
り出される。
【0033】以上説明したような本発明による3次元仮
想空間構築処理は、前述のように汎用又は専用のコンピ
ュータの資源を利用しソフトウェアにより実現し得る。
例えば、図8に示すようなCPU200、主メモリ20
1、ハードディスク203、キーボードやマウスなどの
入力装置207、CRTディスプレイや液晶ディスプレ
イなどの表示装置204とその制御のための表示コント
ローラ205、表示データを記憶するためのフレームバ
ッファメモリ206、各種記憶媒体(磁気ディスク、光
ディスク、光磁気ディスク、メモリカードなど)210
の読み書きのための媒体ドライブ209、外部の機器や
ネットワークとの通信のための通信装置(モデム、ネッ
トワークアダプタなど)208などをバス211で接続
した一般的な構成のコンピュータを利用し、ソフトウェ
アにより実現することもできる。
【0034】この場合、予め用意された、実空間におい
て離散的に配置された地点をそれぞれ中心とした複数の
全周パノラマ画像データの中から、観察点に近い中心を
持つ少なくとも2つの全周パノラマ画像データを選択す
るステップと、このステップで選択された全周パノラマ
画像データを用いて観察点から見えるシーンを表す画像
データを作成するステップと、このステップで作成され
た画像データを表示装置204に表示させるステップと
を少なくとも含む3次元仮想空間構築処理をコンピュー
タに実行させるためのプログラムが、例えば、それが記
録された記憶媒体210から媒体ドライブ209によっ
て主メモリ201に読み込まれたり、外部装置より通信
装置208によって主メモリ201に読み込まれたり、
あるいはハードディスク203から主メモリ201に読
み込まれ、CPU200により実行される。このプログ
ラムを、それを固定記憶させた半導体ROMとして実装
してもよい。このようなプログラムが記録された各種記
憶媒体210や半導体ROMなどの記憶媒体も本発明に
包含されるものである。また、全周パノラマ画像データ
は、例えば、通信装置208や媒体ドライブ209から
入力されてハードディスク203に一旦蓄積され、必要
な1枚又は複数枚の全周パノラマ画像データがハードデ
ィスク203より主メモリ201に読み込まれ処理され
る。なお、デジタルカメラなどによって撮影された2次
元画像データをコンピュータに入力し、コンピュータ内
でそれら2次元画像データから全周パノラマ画像データ
を作成してハードディスク203に保存するようにして
もよい。
【0035】
【発明の効果】以上に詳細に説明した如く、請求項1乃
至7記載の発明によれば、複数の全周パノラマ画像を用
意するだけで、比較的単純な画像合成処理によって、連
続した3次元仮想空間を構築し、その空間内で観察点又
は視線を自由に動かすことができる。請求項3乃至6記
載の発明によれば前進運動、後退行動、並進運動、回転
運動の際に違和感のない連続した仮想環境を提供するこ
とができ、また、請求項3又は4記載の発明によれば、
前進時又は後退時のシーンの画質悪化を回避できる。ま
た、請求項5記載の発明によれば、並進に応じた視差の
ある自然なシーンを表現できる。また、請求項8記載の
発明によれば、このような3次元仮想空間を一般的なコ
ンピュータを用いて容易に構築することが可能になる、
等々の効果を得られる。
【図面の簡単な説明】
【図1】本発明による3次元仮想空間構築システムのブ
ロック図である。
【図2】全周パノラマ画像の中心の実空間上での配置を
示す図である。
【図3】前進運動時のシーンを表す表示画像の合成方法
を説明する図である。
【図4】後退運動時のシーンを表す表示画像の合成方法
を説明する図である。
【図5】3次元仮想空間内での前進運動又は後退運動に
より実現されるズーム機能の説明図である。
【図6】並進運動時のシーンを表す表示画像の合成方法
を説明する図である。
【図7】回転運動時のシーンを表す表示画像の合成方法
を説明する図である。
【図8】本発明による3次元仮想空間構築のために利用
し得るコンピュータの一例を示すブロック図である。
【符号の説明】
100 全周パノラマ画像 101 画像表示装置 102 キーボード 103 マウス 104 入力解析装置 105 パノラマ画像選択装置 106 パノラマ画像蓄積装置 107 表示画像作成装置 110 画像表示制御装置

Claims (8)

    【特許請求の範囲】
  1. 【請求項1】 実空間において離散的に配置された地点
    をそれぞれ中心とした複数の全周パノラマ画像をデジタ
    ルデータとして用意し、観察点に近い中心を持つ少なく
    とも2つの全周パノラマ画像を用いて、観察点から見え
    るシーンを表す画像を作成し表示することによって、連
    続した3次元仮想空間を構築することを特徴とする3次
    元仮想空間構築方法。
  2. 【請求項2】 各全周パノラマ画像の中心は、実空間上
    でメッシュ状に並べられた正三角形の各頂点に配置され
    ることを特徴とする請求項1記載の3次元仮想空間構築
    方法。
  3. 【請求項3】 観察点に近い中心を持つ第1の全周パノ
    ラマ画像と、この第1の全周パノラマ画像の中心から視
    線方向にある最も近い中心を持つ第2の全周パノラマ画
    像とを用いて、観察点の前進運動時に観察点から見える
    シーンを表す画像が合成され、この合成画像の中心部の
    画素情報は第2の全周パノラマ画像から、周辺部の画素
    情報は第1の全周パノラマ画像から、それぞれ提供され
    ることを特徴とする請求項1又は2記載の3次元仮想空
    間構築方法。
  4. 【請求項4】 観察点に近い中心を持つ第1の全周パノ
    ラマ画像と、この第1の全周パノラマ画像の中心から視
    線方向と反対方向にある最も近い中心を持つ第2の全周
    パノラマ画像とを用いて、観察点の後退運動時に観察点
    から見えるシーンを表す画像が合成され、この合成画像
    の中心部の画素情報は第1の全周パノラマ画像から、周
    辺部の画素情報は第2の全周パノラマ画像から、それぞ
    れ提供されることを特徴とする請求項1又は2記載の3
    次元仮想空間構築方法。
  5. 【請求項5】 観察点に近い中心を持つ第1の全周パノ
    ラマ画像と、この第1の全周パノラマ画像の中心から観
    察点の並進方向にある最も近い中心を持つ第2の全周パ
    ノラマ画像とを用いて、観察点の並進運動時に観察点か
    ら見えるシーンを表す画像が合成され、この合成画像
    の、第1の全周パノラマ画像と第2のパノラマ画像とが
    オーバーラップする部分の画素情報は、第1の全周パノ
    ラマ画像の中心及び第2の全周パノラマ画像の中心と観
    察点との距離に応じた重みを用いた、第1の全周パノラ
    マ画像及び第2の全周パノラマ画像の重み付け加算によ
    り決定されることを特徴とする請求項1又は2記載の3
    次元仮想空間構築方法。
  6. 【請求項6】 観察点に近い中心を持つ3つの全周パノ
    ラマ画像から新しい全周パノラマ画像が合成され、この
    新しい全周パノラマ画像から視線の回転運動時に観察点
    から見えるシーンを表す画像が作成されることを特徴と
    する請求項1又は2記載の3次元仮想空間構築方法。
  7. 【請求項7】 複数の全周パノラマ画像をデジタルデー
    タとして蓄積するためのパノラマ画像蓄積手段と、観察
    点及び視線の運動に関する情報を入力するための入力手
    段と、この入力手段により入力された情報を解析する入
    力解析手段と、この入力解析手段による解析結果に従っ
    て全周パノラマ画像を選択し、それを前記パノラマ画像
    蓄積手段より出力させるパノラマ画像選択手段と、前記
    パノラマ画像蓄積手段より出力された全周パノラマ画像
    から、前記入力解析手段による解析結果に従って観察点
    から見えるシーンを表す表示画像を作成する表示画像作
    成手段と、この表示画像作成手段により作成された表示
    画像を画像表示装置に表示させる画像表示制御手段とを
    具備し、請求項3,4,5又は6記載の3次元仮想空間
    構築方法を実施することを特徴とする3次元仮想空間構
    築システム。
  8. 【請求項8】 予め用意された、実空間において離散的
    に配置された地点をそれぞれ中心とした複数の全周パノ
    ラマ画像データの中から、観察点に近い中心を持つ少な
    くとも2つの全周パノラマ画像データを選択するステッ
    プと、このステップで選択された全周パノラマ画像デー
    タを用いて観察点から見えるシーンを表す画像データを
    作成するステップと、このステップで作成された画像デ
    ータを表示するステップとを含む3次元仮想空間構築処
    理をコンピュータに実行させるためのプログラムが記録
    されたことを特徴とするコンピュータ読み取り可能な記
    憶媒体。
JP2000039534A 2000-02-17 2000-02-17 3次元仮想空間構築システム Expired - Fee Related JP4082546B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000039534A JP4082546B2 (ja) 2000-02-17 2000-02-17 3次元仮想空間構築システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000039534A JP4082546B2 (ja) 2000-02-17 2000-02-17 3次元仮想空間構築システム

Publications (2)

Publication Number Publication Date
JP2001229397A true JP2001229397A (ja) 2001-08-24
JP4082546B2 JP4082546B2 (ja) 2008-04-30

Family

ID=18563081

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000039534A Expired - Fee Related JP4082546B2 (ja) 2000-02-17 2000-02-17 3次元仮想空間構築システム

Country Status (1)

Country Link
JP (1) JP4082546B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003203251A (ja) * 2001-09-28 2003-07-18 Fuji Xerox Co Ltd ビデオシステム、仮想現実を生成するための方法、トランスポートプロトコル、コンピュータ読み取り可能記憶媒体、および、プログラム
WO2011039904A1 (ja) * 2009-09-29 2011-04-07 株式会社ソニー・コンピュータエンタテインメント パノラマ画像表示装置およびパノラマ画像表示方法
JP2015200918A (ja) * 2014-04-04 2015-11-12 大木 光晴 画像処理装置、方法、および、プログラム
JP2020519094A (ja) * 2017-04-28 2020-06-25 華為技術有限公司Huawei Technologies Co.,Ltd. ビデオ再生方法、デバイス、およびシステム

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003203251A (ja) * 2001-09-28 2003-07-18 Fuji Xerox Co Ltd ビデオシステム、仮想現実を生成するための方法、トランスポートプロトコル、コンピュータ読み取り可能記憶媒体、および、プログラム
JP2009181587A (ja) * 2001-09-28 2009-08-13 Fuji Xerox Co Ltd ビデオシステム、及びビデオシステム用プログラム
WO2011039904A1 (ja) * 2009-09-29 2011-04-07 株式会社ソニー・コンピュータエンタテインメント パノラマ画像表示装置およびパノラマ画像表示方法
JP2011076249A (ja) * 2009-09-29 2011-04-14 Sony Computer Entertainment Inc パノラマ画像表示装置およびパノラマ画像表示方法
US9251561B2 (en) 2009-09-29 2016-02-02 Sony Corporation Apparatus and method for displaying panoramic images
US10298839B2 (en) 2009-09-29 2019-05-21 Sony Interactive Entertainment Inc. Image processing apparatus, image processing method, and image communication system
JP2015200918A (ja) * 2014-04-04 2015-11-12 大木 光晴 画像処理装置、方法、および、プログラム
JP2020519094A (ja) * 2017-04-28 2020-06-25 華為技術有限公司Huawei Technologies Co.,Ltd. ビデオ再生方法、デバイス、およびシステム
US11159848B2 (en) 2017-04-28 2021-10-26 Huawei Technologies Co., Ltd. Video playing method, device, and system
JP7110234B2 (ja) 2017-04-28 2022-08-01 華為技術有限公司 ビデオ再生方法、デバイス、およびシステム

Also Published As

Publication number Publication date
JP4082546B2 (ja) 2008-04-30

Similar Documents

Publication Publication Date Title
TWI451358B (zh) 香蕉編碼解碼器
US6683608B2 (en) Seaming polygonal projections from subhemispherical imagery
US20020141655A1 (en) Image-based digital representation of a scenery
US8504941B2 (en) Digital image magnification user interface
US20020113865A1 (en) Image processing method and apparatus
JP2006107213A (ja) 立体画像印刷システム
JP3962676B2 (ja) 画像処理方法及び装置
JP2018136936A (ja) 画像処理装置
JP2007233996A (ja) 画像合成装置、画像合成方法、画像合成プログラム及び記録媒体
JP3352475B2 (ja) 画像表示装置
US20030095131A1 (en) Method and apparatus for processing photographic images
JP4403421B2 (ja) 画像処理装置及び画像処理方法
JP4406824B2 (ja) 画像表示装置、画素データ取得方法、およびその方法を実行させるためのプログラム
WO2012032996A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JPWO2019078033A1 (ja) 再生装置および方法、並びに、生成装置および方法
WO2002019270A1 (fr) Procede de conversion d'image courbe et support d'enregistrement sur lequel ce procede de conversion d'image courbe est enregistre
CN113253842A (zh) 场景编辑方法和相关装置、设备
CN113286138A (zh) 一种全景视频显示方法及显示设备
US20020060692A1 (en) Method for increasing multimedia data accessibility
JP2000505219A (ja) インターネットに適した3次元立体ブラウザ
JP6719596B2 (ja) 画像生成装置、及び画像表示制御装置
JP2001229397A (ja) 3次元仮想空間構築方法及びシステム並びに記憶媒体
KR102196032B1 (ko) 6 자유도 가상현실을 위한 다중 360 이미지 기반의 자유시점 이미지 합성 방법 및 그 시스템
JP4498450B2 (ja) ディスプレイ装置
JP2003111100A (ja) 画像合成方法および装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070711

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070910

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080207

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110222

Year of fee payment: 3

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120222

Year of fee payment: 4

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130222

Year of fee payment: 5

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130222

Year of fee payment: 5

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140222

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees