JP4082546B2

JP4082546B2 - 3D virtual space construction system

Info

Publication number: JP4082546B2
Application number: JP2000039534A
Authority: JP
Inventors: 英傑黄
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2000-02-17
Filing date: 2000-02-17
Publication date: 2008-04-30
Anticipated expiration: 2020-02-17
Also published as: JP2001229397A

Description

【０００１】
【発明の属する技術分野】
本発明は、３次元仮想空間を構築する技術に関する。
【０００２】
【従来の技術】
コンピュータ・グラフィックス（ＣＧ）により３次元仮想空間を構築する方法がある。この方法では、予め３次元モデルを用意し、テクスチャマッピングやレンダリングなどの技法を駆使して任意の位置から任意の方向を見たシーンを画面に描画する。しかし、自由に歩き回ることができる自然な３次元仮想空間を実現するには、３次元モデルデータの取得など困難な技術的課題が多い。
【０００３】
３次元仮想空間を実現するもう１つの方法として、ある地点で撮影した複数枚の２次元実写画像から、その地点の周囲のシーンを表すパノラマ画像を合成し、このパノラマ画像から任意の観察点から見えるシーンを表す画像を切り出して画面に表示する方法がある。しかし、切り出された画像の単純な拡大処理によって観察点の前進運動時のシーンを表す画像を作成するため、前進するほどシーンの画質が悪化してしまう。また、あくまで１つの全周パノラマ画像でシーンを表現するのであるから、運動の自由度と範囲が制限されてしまう。
【０００４】
もう１つの方法として、例えば特開平１０−９１８１４号公報に開示されているように、「ホットリンク」と呼ばれる手法によって、予め用意されたいくつかのパノラマ画像の間を移動できるようにする方法がある。しかしながら、パノラマ画像間の移動が可能になるとはいっても、あるパノラマ画像から別のパノラマ画像へ移動する際の環境の変化を切れ目なく見ることができるわけではなく、連続した３次元仮想空間は構築できない。
【０００５】
【発明が解決しようとする課題】
以上の問題点に鑑み、本発明は、比較的簡単な画像合成処理によって、観察点又は視線の運動時に違和感のない連続した仮想環境を提供できる３次元仮想空間構築システムを実現しようとするものである。
【０００６】
【課題を解決するための手段】
本発明においては、実空間において離散的に配置された地点をそれぞれ中心とした複数の全周パノラマ画像をデジタルデータとして用意し、観察点に近い中心を持つ少なくとも２つの全周パノラマ画像データを用いて、観察点から見えるシーンを表す画像を作成し表示することにより、連続した３次元仮想空間を構築する。
【０００７】
具体的には、本発明においては、観察点の前進運動時に違和感のない連続した仮想環境を提供するため、観察点に近い地点を中心に持つ第１の全周パノラマ画像データと、この第１の全周パノラマ画像データの中心から視線方向にある最も近い地点を中心に持つ第２の全周パノラマ画像データとを用いて、観察点の前進運動時に観察点から見えるシーンを表す画像を合成する。また、シーンの中央部の解像度を維持するため、シーンを表す画像の中心部の画素情報を第２の全周パノラマ画像データから、周辺部の画素情報を第１の全周パノラマ画像データから、それぞれ提供する合成方法とする。
【０００８】
詳しくは、第１の全周パノラマ画像データから当該地点での視野角の範囲の画像データを切り出し、該画像データを該地点から観察点までの距離に応じた倍率で拡大処理し、第２の全周パノラマ画像データから当該地点での視野角の範囲の画像データを切り出し、該画像データを観察点から該地点までの距離に応じた倍率で縮小し、該縮小処理で得られた縮小画像の周囲に、前記拡大処理で得られた拡大画像を用いて画素を補間する。
【０００９】
また、観察点の後退運動時に違和感のない連続した仮想環境を提供するため、観察点に近い地点を中心に持つ第１の全周パノラマ画像データと、この第１の全周パノラマ画像データの中心から視線方向と反対方向にある最も近い地点を中心に持つ第２の全周パノラマ画像とを用いて、観察点の後退運動時に観察点から見えるシーンを表す画像を合成する。また、シーンの中央部の解像度を維持するため、シーンを表す画像の中心部の画素情報を第１の全周パノラマ画像データから、周辺部の画素情報を第２の全周パノラマ画像データから、それぞれ提供する合成方法とする。
【００１０】
詳しくは、第１の全周パノラマ画像データから当該地点での視野角の範囲の画像データを切り出し、該画像データを該地点から観察点までの距離に応じた倍率で縮小し、第２の全周パノラマ画像データから当該地点での視野角の範囲の画像データを切り出し、該画像データを観察点から該地点までの距離に応じた倍率で拡大処理し、前記縮小処理で得られた縮小画像の周囲に、該拡大処理で得られた拡大画像を用いて画素を補間する。
【００１１】
【発明の実施の形態】
本発明の実施の一形態である３次元仮想空間構築システムのブロック構成を図１に示す。この３次元仮想空間構築システムは、画像表示装置１０１、キーボード１０２、マウス（ポインティング装置）１０３、入力解析装置１０４、パノラマ画像選択装置１０５、パノラマ画像蓄積装置１０６、表示画像作成装置１０７、画像表示制御装置１１０から構成される。このようなシステムは、通常、汎用又は専用のコンピュータの資源を利用しソフトウェアにより実現されるが、専用のハードウェアによって実現することも可能である。
【００１２】
パノラマ画像蓄積装置１０６には、実空間において所定の相対位置関係にある離散的な複数の地点（地点１，．．．地点ｎ）を中心とした複数の全周パノラマ画像１００がデジタルデータとして予め蓄積されている。これら複数の全周パノラマ画像の中心（撮影地点）は、実空間において、例えば図２に示すように、メッシュ状に並んだ正三角形の各頂点（黒丸で示されている）に配置される。図２中の各円は全周パノラマ画像を表している。
【００１３】
なお、全周パノラマ画像などの画像はデジタルデータとして表現されるが、本明細書においては単に画像と呼ぶことがある。
【００１４】
キーボード１０２とマウス１０３は、３次元仮想空間における観察点又は視線の運動の種類（前進、後退、並進又は回転）と、その運動量（前進距離、後退距離、並進距離、回転角度）などを指示するためにユーザにより利用されるものである。入力解析装置１０４は、キーボード１０２やマウス１０３から入力された情報を解析し、３次元仮想空間内の観察点の現在位置と視線方向、指定された運動の種類（前進、後退、並進又は回転）及び運動量を判定し、判定した情報をパノラマ画像選択装置１０５及び表示画像作成装置１０７に与える。パノラマ画像選択装置１０５は、入力解析装置１０４より与えられた情報に基づいて、表示画像作成装置１０７で必要とされる全周パノラマ画像を選択し、それをパノラマ画像蓄積装置１０６から表示画像作成装置１０７へ出力させるものである。表示画像成装置１０７は、パノラマ画像蓄積装置１０６から入力された全周パノラマ画像から、観察点から見えるシーンを表す表示画像を作成し、それを画像表示制御装置１１０に渡す。画像表示制御装置１１０は、その表示画像を画像表示装置１０１の画面に表示させる。
【００１５】
以下、この３次元仮想空間構築システムの動作を説明する。この３次元仮想空間構築システムが起動されると、例えば、既定の地点を中心とした１つの全周パノラマ画像、あるいは事前にユーザによって選択された１つの全周パノラマ画像がパノラマ画像選択装置１０５によって選択され、この全周パノラマ画像がパノラマ画像蓄積装置１０６より表示画像作成装置１０７へ出力される。表示画像作成装置１０７は、その全周パノラマ画像より、その中心での既定の視線方向の視野角（画像表示装置１０１の画面の大きさに対応）の範囲を切り出し、切り出した画像を最初の表示画像として画像表示制御装置１１０に渡す。例えば、図３のＡ地点を中心とした全周パノラマ画像１００Ａが表示画像作成装置１０７に与えられた場合、既定の視線方向をＡ地点からＢ地点に向かう方向とし、Ａ地点（観察点）での視野角φの範囲の画像Ａを切り出し、これを最初の表示画像として画像表示制御装置１１０に渡す。
【００１６】
その後、ユーザが、この最初の表示画像が表示された画像表示装置１０１の画面を見ながらマウス１０３又はキーボード１０２によって、例えば前進運動を指示したとする。入力解析装置１０４は、その入力情報を解析し、観察点の現在位置（例えばＡ地点）、前進運動である旨と前進距離の情報をパノラマ画像選択装置１０５及び表示画像作成装置１０７に与える。前進距離は、例えばマウス１０３のボタンやキーボード１０２の特定キーの押された時間の長さに応じて決定される。ここで、前進運動とは、観察点の視線方向への移動である。前進運動の場合、観察点が進むにつれてシーンの中心部のオブジェクトが徐々に大きく見える（近づく）ような表示画像が作成される。そのような表示画像の作成のためには、観察点の移動につれて異なった全周パノラマ画像が必要となる。必要な全周パノラマ画像がパノラマ画像選択部１０５によって選択され、それがパノラマ画像蓄積部１０６から表示画像作成部１０７へ出力される。
【００１７】
例えば、図３のＡ地点からＰ地点まで観察点が前進する場合、パノラマ画像選択装置１０５は、地点Ａから前進方向（視線方向）にある最も近いＢ地点を中心とした全周パノラマ画像１００Ｂを選択し、それをパノラマ画像蓄積装置１０６から表示画像作成装置１０７へ出力させる。Ａ地点を中心とした全周パノラマ画像１００Ａはすでに表示画像作成部１０７に入力され蓄積されている。表示画像作成装置１０７において、前進運動時に観察点から見えるシーンを表す表示画像を順次作成する。
【００１８】
Ｐ地点で見えるシーンを表す表示画像の作成方法は次の通りである。表示画像作成装置１０７において、図３に示すように、全周パノラマ画像１００Ａより、Ａ地点での視野角φの範囲の画像Ａを切り出す。この画像Ａを、Ａ地点からＰ地点の距離つまり観察点の前進距離に応じた倍率で拡大し、この拡大画像のＰ地点での視野角φの範囲に対応する部分（画像ａ）を切り出す。換言すれば、表示画像のサイズに合うように拡大画像の周辺部分をトリミングする。なお、全周パノラマ画像１００Ａから画像ａに対応する部分を直接切り出して拡大処理してもよい。また、全周パノラマ画像１００Ｂより、Ｂ地点での視野角φの範囲に対応する画像Ｂを切り出す。この画像Ｂを前進距離に応じた倍率で縮小処理する。すなわち、Ｂ地点より前進距離だけ進んだ位置での視野角φの範囲に対応するサイズまで画像Ｂを縮小処理する。そして、画像Ｂの縮小画像ｂの周辺に、画像ａを使って画素を補間することにより、地点Ｐで見えるシーンを表す表示画像を合成する。つまり、表示画像の周辺部の画素情報は全周パノラマ画像Ａから提供し、表示画像の中心部の画素情報は全周パノラマ画像Ｂから提供するという合成方法である。このような合成方法によって、中心部の解像度の高い表示画像を作成することができる。
【００１９】
同様の方法で、Ａ地点からＢ地点までの間の各地点における表示画像が逐次作成され、画像表示装置１０１に表示される。観察点がさらに前進してＢ地点に到達すると、全周パノラマ画像１００Ｂから切り出された画像Ｂが表示画像として表示される。観察点がさらに前進すると、Ｂ地点の視線方向にある最も近いＣ地点を中心とした全周パノラマ画像１００Ｃ（不図示）と全周パノラマ画像Ｂとから表示画像が同様の方法で作成されて表示される。
【００２０】
なお、概念的には、Ｂ地点における表示画像も、Ｂ地点を通過した地点における表示画像と同じ合成方法によって作成される。ただし、全周パノラマ画像１００Ｃ（不図示）から切り出された画像はゼロサイズまで縮小されてから合成されることになるため、結果として、全周パノラマ画像１００ＢのみでＢ地点の表示画像が作成される形になるのである。このことは、後述の後退運動の場合も同様に理解してよい。
【００２１】
このようにして作成された表示画像が画像表示装置１０１の画面に逐次表示されるため、画像表示装置１０１の画面を見ているユーザは、あたかも切れ目のない自然な３次元空間内を前進しているかのような感覚を体験できる。また、シーンの中央部は良好な解像度が維持されるためシーンの画質の面から前進距離が制限されることはない。
【００２２】
次に、マウス１０３又はキーボード１０２によって後退運動が指示されたとする。この時、入力解析装置１０４から、観察点の現在位置、後退運動である旨及び後退距離の情報がパノラマ画像選択装置１０５及び表示画像作成装置１０７に与えられる。後退距離は、例えばマウス１０３のボタンやキーボード１０２の特定キーの押された時間の長さに応じて決定される。ここで、後退運動とは観察点が視線方向と反対の方向へ移動することである。後退運動の場合、観察点が移動するにつれてシーンの中心部のオブジェクトが徐々に小さく見える（遠ざかる）ような表示画像が作成される。そのような表示画像の作成のためには、観察点の移動につれて異なった全周パノラマ画像が必要となる。
【００２３】
例えば、図４のＢ地点からＡ地点へ向かって後退する場合、パノラマ画像選択装置１０５は、Ｂ地点から後退方向（視線方向と反対の方向）にある最も近いＡ地点を中心とした全周パノラマ画像１００Ａをパノラマ画像蓄積装置１０６から表示画像作成装置１０７に入力させる。Ｂ地点を中心とする全周パノラマ画像１００Ｂはすでに表示画像作成部１０７に蓄積されている。
【００２４】
後退途中のＰ地点で見えるシーンの表示画像の作成方法は図３に関連して説明した前進運動の場合と処理的には同等である。ただし、図４から理解されるように、観察点の現在位置に対応する全周パノラマ画像１００Ｂより、表示画像の中心部の画素情報が提供され、表示画像の周辺部の画素情報は後退方向にある全周パノラマ画像１００Ａより提供されるという点で、概念的には前進の場合と逆の処理となる。また、Ｂ地点からＰ地点までの間の各地点での表示画像が逐次作成されるが、その順序は前進の場合と逆であり、Ｂ地点に近い地点の表示画像から先に作成される。かくして、ユーザは、あたかも切れ目のない自然な３次元空間内を後退しているかのような感覚を擬似的に体験できる。また、シーンの中心部は良好な解像度が維持される。
【００２５】
現在の一般的なデジタルカメラは、光学ズーム機構と電子ズーム機構を備えている。電子ズーム機構では、画像の一部を切り出して拡大処理を行うことによりズームインを実現するため、光学ズーム機構によってズームインした画像に比べ画質が劣る。これに対し、以上に述べた前進運動及び後退運動の際の表示画像の合成方法によれば、画像の中心部の解像度が悪化しないため、光学ズーム機構に近いズーム機能を実現できる。
【００２６】
図５は、このようなズームの様子を示している。図中、観察点の右から左への前進移動がズームインに相当し、左から右への後退移動がズームアウトに相当する。黒丸はパノラマ画像蓄積装置１０６に予め蓄積されている各全周パノラマ画像１００の中心である地点１〜ｎを示し、画像１〜ｎは地点１〜ｎに観察点が位置しているときの表示画像で、その地点を中心とした１つの全周パノラマ画像より直接的に切り出されたものである。地点１〜ｎの間の地点での表示画像は相前後した２つの全周パノラマ画像から合成されるが、これが図５中の「合成画像」であり、その中心部の解像度は画像１〜ｎと同等である。
【００２７】
次に、ユーザが並進運動を指示したとする。並進運動とは観察点が視線方向と直交する方向へ移動することである。例えば、図６に示すように、Ａ地点からＢ地点へ向かって並進する場合を考える。画像Ａは全周パノラマ画像１００ＡからＡ地点での視野角φの範囲を切り出した画像であり、画像Ｂは全周パノラマ画像１００ＢのＢ地点での視野角φの範囲を切り出した画像である。並進途中のＰ地点で見えるシーンを表す表示画像（合成画像）は、画像Ａ，Ｂを用いて次のようにして作成される。
【００２８】
図６において、Ｐ地点での視野角φの空間をＡ’，Ｄ，Ｂ’に分けて考える。空間Ｄは、視差のある画像Ａの一部と画像Ｂの一部がオーバーラップして投影される空間である。空間Ａ’は画像Ａの一部みが投影される空間であり、空間Ｂは画像Ｂの一部だけが投影される空間である。このことに着目し、Ｐ地点のＡ，Ｂ地点からの距離に応じた重み（換言すればＡ地点からの移動距離に応じた重み）を用いて、画像Ａ，Ｂの空間Ｄに対応した部分の重み付け加算によって表示画像のＤ部分の画素情報を合成し、表示画像の空間Ａ’，Ｂ’に対応する部分の画素情報として画像Ａ，Ｂの対応部分の画素情報を用いる。つまり、表示画像のオーバーラップ部分Ｄの画素情報は、全周パノラマ画像１００Ａと全周パノラマ画像１００Ｂから与えられ、表示画像のＡ’部分の画素情報は全周パノラマ画像１００Ａから与えられ、表示画像のＢ’部分の画素情報は全周パノラマ画像１００Ｂから与えられる。このような合成方法によれば、観察点の位置に応じた視差のある、より自然なシーンを表示できる。
【００２９】
同様の方法によって、Ａ地点からＢ地点までの各地点で見えるシーンを表す表示画像が逐次合成される。このようにして合成された表示画像が画像表示装置１０１に逐次表示されるため、ユーザは、あたかも切れ目のない自然な３次元空間内をＡ地点からＢ地点まで並進するかのような感覚を体験することができる。Ｂ地点を越えて並進する場合には、全周パノラマ画像１００Ｂとその右側の全周パノラマ画像とを用い、同様の方法でシーンを表す表示画像が合成されて表示される。
【００３０】
次に、ユーザが回転運動を指示したとする。回転運動とは視線を水平に振る運動、つまり視線の水平回転である。回転角度は、例えばマウス１０３のボタン又はキーボード１０２の特定キーの押下時間によって指示される。回転運動の場合、パノラマ画像選択装置１０５は、観察点に近い地点を中心とした３つの全周パノラマ画像を選択し、表示画像作成装置１０７に入力させる。表示画像作成装置１０７は、その３つの全周パノラマ画像を用いて回転運動時のシーンを表す表示画像を作成する。これについて図７により説明する。
【００３１】
図７に示す斜線領域内のＰ地点で回転運動をする場合、このＰ地点に最も近いＡ，Ｂ，Ｃ地点を中心とした全周パノラマ画像１００Ａ，１００Ｂ，１００Ｃを用いて、Ｐ地点を中心とした新しい全周パノラマ画像１００Ｐを合成する。この全周パノラマ画像１００ＰのＰＡ，ＰＢ，ＰＣ部分には全周パノラマ画像１００Ａ，１００Ｂ，１００ＣのＡ’，Ｂ’，Ｃ’部分（太線部分）が貼り付けられるが、ＰＡ，ＰＢ，ＰＣ部分の接続端部ではＡ’，Ｂ’，Ｃ’部分の共通した（オーバーラップした）画像データを利用して貼り付け処理が行われる。このようにして合成された全周パノラマ画像１００Ｐから、回転中の各時点での視野角の範囲が表示画像として切り出され、画像表示装置１０１に表示される。かくして、ユーザは、あたかも連続した自然な３次元空間内で回転運動をするかのような感覚を擬似体験することができる。
【００３２】
ただし、ある全周パノラマ画像の中心を観察点として回転運動する場合には、その全周パノラマ画像の各時点における視野角の範囲を切り出した画像を表示画像として用いる。例えば、Ａ地点で回転運動をする場合には、全周パノラマ画像１００Ａから表示画像が切り出される。
【００３３】
以上説明したような本発明による３次元仮想空間構築処理は、前述のように汎用又は専用のコンピュータの資源を利用しソフトウェアにより実現し得る。例えば、図８に示すようなＣＰＵ２００、主メモリ２０１、ハードディスク２０３、キーボードやマウスなどの入力装置２０７、ＣＲＴディスプレイや液晶ディスプレイなどの表示装置２０４とその制御のための表示コントローラ２０５、表示データを記憶するためのフレームバッファメモリ２０６、各種記憶媒体（磁気ディスク、光ディスク、光磁気ディスク、メモリカードなど）２１０の読み書きのための媒体ドライブ２０９、外部の機器やネットワークとの通信のための通信装置（モデム、ネットワークアダプタなど）２０８などをバス２１１で接続した一般的な構成のコンピュータを利用し、ソフトウェアにより実現することもできる。
【００３４】
この場合、予め用意された、実空間において離散的に配置された地点をそれぞれ中心とした複数の全周パノラマ画像データの中から、観察点に近い中心を持つ少なくとも２つの全周パノラマ画像データを選択するステップと、このステップで選択された全周パノラマ画像データを用いて観察点から見えるシーンを表す画像データを作成するステップと、このステップで作成された画像データを表示装置２０４に表示させるステップとを少なくとも含む３次元仮想空間構築処理をコンピュータに実行させるためのプログラムが、例えば、それが記録された記憶媒体２１０から媒体ドライブ２０９によって主メモリ２０１に読み込まれたり、外部装置より通信装置２０８によって主メモリ２０１に読み込まれたり、あるいはハードディスク２０３から主メモリ２０１に読み込まれ、ＣＰＵ２００により実行される。このプログラムを、それを固定記憶させた半導体ＲＯＭとして実装してもよい。このようなプログラムが記録された各種記憶媒体２１０や半導体ＲＯＭなどの記憶媒体も本発明に包含されるものである。また、全周パノラマ画像データは、例えば、通信装置２０８や媒体ドライブ２０９から入力されてハードディスク２０３に一旦蓄積され、必要な１枚又は複数枚の全周パノラマ画像データがハードディスク２０３より主メモリ２０１に読み込まれ処理される。なお、デジタルカメラなどによって撮影された２次元画像データをコンピュータに入力し、コンピュータ内でそれら２次元画像データから全周パノラマ画像データを作成してハードディスク２０３に保存するようにしてもよい。
【００３５】
【発明の効果】
以上に詳細に説明した如く、本発明によれば、複数の全周パノラマ画像を用意するだけで、比較的単純な画像合成処理によって、連続した３次元仮想空間を構築し、その空間内で観察点又は視線を自由に動かすことができる。特に前進運動や後退運動の際に違和感のない連続した仮想環境を提供することができ、前進時又は後退時のシーンの画質悪化を回避できる。
【図面の簡単な説明】
【図１】本発明による３次元仮想空間構築システムのブロック図である。
【図２】全周パノラマ画像の中心の実空間上での配置を示す図である。
【図３】前進運動時のシーンを表す表示画像の合成方法を説明する図である。
【図４】後退運動時のシーンを表す表示画像の合成方法を説明する図である。
【図５】３次元仮想空間内での前進運動又は後退運動により実現されるズーム機能の説明図である。
【図６】並進運動時のシーンを表す表示画像の合成方法を説明する図である。
【図７】回転運動時のシーンを表す表示画像の合成方法を説明する図である。
【図８】本発明による３次元仮想空間構築のために利用し得るコンピュータの一例を示すブロック図である。
【符号の説明】
１００全周パノラマ画像
１０１画像表示装置
１０２キーボード
１０３マウス
１０４入力解析装置
１０５パノラマ画像選択装置
１０６パノラマ画像蓄積装置
１０７表示画像作成装置
１１０画像表示制御装置[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a technique for constructing a three-dimensional virtual space.
[0002]
[Prior art]
There is a method of constructing a three-dimensional virtual space by computer graphics (CG). In this method, a three-dimensional model is prepared in advance, and a scene viewed in an arbitrary direction from an arbitrary position is drawn on a screen by using a technique such as texture mapping or rendering. However, in order to realize a natural three-dimensional virtual space where people can walk around freely, there are many difficult technical problems such as acquisition of three-dimensional model data.
[0003]
As another method for realizing a three-dimensional virtual space, a panoramic image representing a scene around the point is synthesized from a plurality of two-dimensional real images taken at a point, and an arbitrary observation point is used from the panoramic image. There is a method of cutting out an image representing a visible scene and displaying it on the screen. However, since the image representing the scene at the time of the forward movement of the observation point is created by a simple enlargement process of the clipped image, the image quality of the scene deteriorates as the image moves forward. In addition, since the scene is represented by a single all-around panoramic image, the degree of freedom and range of motion are limited.
[0004]
As another method, for example, as disclosed in Japanese Patent Application Laid-Open No. 10-91814, there is a method for moving between several panoramic images prepared in advance by a technique called “hot link”. is there. However, although it is possible to move between panoramic images, it is not always possible to see changes in the environment when moving from one panoramic image to another panoramic image, and a continuous three-dimensional virtual space is constructed. Can not.
[0005]
[Problems to be solved by the invention]
In view of the above problems, the present invention intends to realize a three-dimensional virtual space construction system that can provide a continuous virtual environment without a sense of incongruity during observation point or line-of-sight movement by relatively simple image composition processing. is there.
[0006]
[Means for Solving the Problems]
In the present invention, a plurality of panoramic images are prepared as digital data, each of which is centered on a point discretely arranged in real space, and at least two panoramic image data having centers close to the observation point are used. Then, a continuous three-dimensional virtual space is constructed by creating and displaying an image representing a scene seen from the observation point.
[0007]
Specifically, in the present invention, in order to provide a continuous virtual environment that does not give a sense of incongruity during the forward movement of the observation point, first panoramic image data centered on a point close to the observation point, and the first Using the second panoramic image data centered on the closest point in the direction of the line of sight from the center of the panoramic image data of, and synthesizes an image representing the scene seen from the observation point during the forward movement of the observation point . Further, in order to maintain the resolution of the central part of the scene, the pixel information of the center part of the image representing the scene is obtained from the second panoramic image data , and the pixel information of the peripheral part is obtained from the first panoramic image data . Each of the synthesis methods is provided.
[0008]
Specifically, the image data in the range of the viewing angle at the point is extracted from the first panoramic image data, the image data is enlarged at a magnification according to the distance from the point to the observation point, and the second The image data in the range of the viewing angle at the point is cut out from the entire panoramic image data, the image data is reduced at a magnification according to the distance from the observation point to the point, and the reduced image obtained by the reduction process Pixels are interpolated around the periphery using the enlarged image obtained by the enlargement process.
[0009]
Further, in order to provide a continuous virtual environment without discomfort during retracting movement of the observation point, and the first total circumferential panoramic image data having mainly point close to the observation point, the center of the first total circumferential panoramic image data Is used to synthesize an image representing a scene seen from the observation point during the backward movement of the observation point, using the second panoramic image centered on the closest point in the direction opposite to the viewing direction. Further, in order to maintain the resolution of the central portion of the scene, the pixel information of the central portion of the image representing the scene is obtained from the first panoramic image data , and the pixel information of the peripheral portion is obtained from the second panoramic image data . Each of the synthesis methods is provided.
[0010]
Specifically, the image data in the range of the viewing angle at the point is cut out from the first panoramic image data of the first circumference, the image data is reduced at a magnification according to the distance from the point to the observation point, and the second whole The image data in the range of the viewing angle at the point is extracted from the peripheral panorama image data, the image data is enlarged at a magnification according to the distance from the observation point to the point, and the reduced image obtained by the reduction process is obtained. Pixels are interpolated around the periphery using the enlarged image obtained by the enlargement process.
[0011]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 shows a block configuration of a three-dimensional virtual space construction system that is an embodiment of the present invention. This three-dimensional virtual space construction system includes an image display device 101, a keyboard 102, a mouse (pointing device) 103, an input analysis device 104, a panorama image selection device 105, a panorama image storage device 106, a display image creation device 107, and image display control. The apparatus 110 is comprised. Such a system is usually realized by software using resources of a general-purpose or dedicated computer, but can also be realized by dedicated hardware.
[0012]
In the panorama image storage device 106, a plurality of all-around panoramic images 100 centered on a plurality of discrete points (points 1,..., Point n) having a predetermined relative positional relationship in real space are preliminarily stored as digital data. Accumulated. The centers (photographing points) of the plurality of all-round panoramic images are arranged in the real space, for example, as shown in FIG. 2, at the vertices (shown by black circles) of equilateral triangles arranged in a mesh shape. Each circle in FIG. 2 represents an all-round panoramic image.
[0013]
Note that an image such as an all-round panoramic image is expressed as digital data, but may be simply referred to as an image in this specification.
[0014]
The keyboard 102 and the mouse 103 indicate the type of movement of the observation point or line of sight in the three-dimensional virtual space (forward, backward, translation or rotation), the amount of movement (forward distance, backward distance, translation distance, rotation angle) and the like. Therefore, it is used by the user. The input analysis device 104 analyzes information input from the keyboard 102 and the mouse 103, and indicates the current position and line-of-sight direction of the observation point in the three-dimensional virtual space, and the designated motion type (forward, backward, translation or rotation). And the amount of exercise are determined, and the determined information is provided to the panorama image selection device 105 and the display image creation device 107. The panorama image selection device 105 selects an all-round panorama image required by the display image creation device 107 based on the information given from the input analysis device 104, and selects it from the panorama image storage device 106. 107 to be output. The display image generating device 107 creates a display image representing a scene seen from the observation point from the all-around panoramic image input from the panoramic image storage device 106 and passes it to the image display control device 110. The image display control device 110 displays the display image on the screen of the image display device 101.
[0015]
Hereinafter, the operation of this three-dimensional virtual space construction system will be described. When this three-dimensional virtual space construction system is activated, for example, one panoramic image centered on a predetermined point or one panoramic image selected in advance by the user is displayed by the panoramic image selection device 105. The entire panorama image is selected and output from the panorama image storage device 106 to the display image creation device 107. The display image creation device 107 cuts out the range of the viewing angle (corresponding to the screen size of the image display device 101) at the center from the entire panoramic image, and displays the cut-out image for the first time. The image is transferred to the image display control device 110 as an image. For example, when the panoramic image 100A around the point A in FIG. 3 is given to the display image creation device 107, the predetermined line-of-sight direction is the direction from the point A to the point B, and the point A (observation point) The image A in the range of the viewing angle φ is cut out and passed to the image display control device 110 as the first display image.
[0016]
Thereafter, it is assumed that the user instructs a forward movement, for example, with the mouse 103 or the keyboard 102 while viewing the screen of the image display apparatus 101 on which the first display image is displayed. The input analysis device 104 analyzes the input information and provides the panoramic image selection device 105 and the display image creation device 107 with the current position of the observation point (for example, the point A), information indicating the forward motion and the forward distance. The advance distance is determined according to the length of time that the button of the mouse 103 or the specific key of the keyboard 102 is pressed, for example. Here, the forward movement is movement of the observation point in the line-of-sight direction. In the case of forward movement, a display image is created so that the object at the center of the scene gradually appears larger (approaches) as the observation point advances. In order to create such a display image, different panoramic images are required as the observation point moves. A necessary all-round panorama image is selected by the panorama image selection unit 105, and is output from the panorama image storage unit 106 to the display image creation unit 107.
[0017]
For example, when the observation point advances from the point A to the point P in FIG. 3, the panoramic image selection device 105 displays the panoramic image 100B around the nearest point B in the forward direction (gaze direction) from the point A. This is selected and output from the panorama image storage device 106 to the display image creation device 107. The panoramic image 100A around the point A is already input and stored in the display image creation unit 107. The display image creation device 107 sequentially creates display images representing scenes that can be seen from the observation point during forward movement.
[0018]
A method for creating a display image representing a scene seen at the point P is as follows. In the display image creating apparatus 107, as shown in FIG. 3, an image A in the range of the viewing angle φ at the point A is cut out from the all-round panoramic image 100A. The image A is enlarged at a magnification corresponding to the distance from the point A to the point P, that is, the advance distance of the observation point, and a portion (image a) corresponding to the range of the viewing angle φ at the point P of the enlarged image is cut out. In other words, the peripheral portion of the enlarged image is trimmed to fit the size of the display image. Note that the portion corresponding to the image a may be directly cut out from the entire panoramic image 100A and enlarged. Further, an image B corresponding to the range of the viewing angle φ at the point B is cut out from the panoramic image 100B. The image B is reduced at a magnification according to the forward distance. That is, the image B is reduced to a size corresponding to the range of the viewing angle φ at a position advanced by a forward distance from the point B. Then, a display image representing a scene seen at the point P is synthesized by interpolating pixels around the reduced image b of the image B using the image a. That is, the pixel information of the peripheral part of the display image is provided from the entire panoramic image A, and the pixel information of the central part of the display image is provided from the full panoramic image B. By such a synthesis method, it is possible to create a display image with high resolution at the center.
[0019]
In the same way, display images at each point between point A and point B are sequentially created and displayed on the image display device 101. When the observation point further advances and reaches point B, an image B cut out from the all-round panoramic image 100B is displayed as a display image. When the observation point further advances, a display image is created and displayed in the same manner from the panoramic image 100C (not shown) around the nearest point C in the line-of-sight direction of the point B and the panoramic image B. Is done.
[0020]
Conceptually, the display image at the point B is also created by the same composition method as the display image at the point that has passed the point B. However, since the image cut out from the all-round panorama image 100C (not shown) is reduced to zero size and then combined, as a result, the display image of the point B is created only by the all-round panorama image 100B. It becomes a form. This may also be understood in the case of the backward movement described later.
[0021]
Since the display image created in this way is sequentially displayed on the screen of the image display apparatus 101, the user who is viewing the screen of the image display apparatus 101 moves forward in a natural three-dimensional space without any breaks. You can experience the feeling of being. Further, since a good resolution is maintained at the center of the scene, the advance distance is not limited in terms of the image quality of the scene.
[0022]
Next, it is assumed that the backward movement is instructed by the mouse 103 or the keyboard 102. At this time, information about the current position of the observation point, the backward movement, and the backward distance is given from the input analysis device 104 to the panoramic image selection device 105 and the display image creation device 107. The backward distance is determined according to, for example, the length of time that the button of the mouse 103 or the specific key of the keyboard 102 is pressed. Here, the backward movement means that the observation point moves in the direction opposite to the line-of-sight direction. In the case of the backward movement, a display image is created so that the object at the center of the scene looks smaller (moves away) as the observation point moves. In order to create such a display image, different panoramic images are required as the observation point moves.
[0023]
For example, when retreating from point B to point A in FIG. 4, the panoramic image selection device 105 makes a panoramic view around the nearest point A in the retreating direction (direction opposite to the line-of-sight direction) from point B. The image 100A is input from the panoramic image storage device 106 to the display image creation device 107. The panoramic image 100B around the point B is already stored in the display image creation unit 107.
[0024]
The method for creating the display image of the scene that can be seen at the point P in the middle of the backward movement is the same processing as the forward movement described with reference to FIG. However, as can be understood from FIG. 4, pixel information at the center of the display image is provided from the entire panoramic image 100B corresponding to the current position of the observation point, and the pixel information at the periphery of the display image is in the backward direction. In terms of being provided from a certain panoramic image 100A, the processing is conceptually the reverse of the forward movement. In addition, display images at each point from point B to point P are sequentially created, but the order is reverse to that in the case of forward movement, and is created first from the display image at a point close to point B. Thus, the user can experience a simulated feeling as if he is moving back in a natural three-dimensional space without a break. Also, good resolution is maintained at the center of the scene.
[0025]
A current general digital camera includes an optical zoom mechanism and an electronic zoom mechanism. In the electronic zoom mechanism, zoom-in is realized by cutting out a part of the image and performing an enlargement process. Therefore, the image quality is inferior to the image zoomed in by the optical zoom mechanism. On the other hand, according to the method for synthesizing the display image during the forward movement and the backward movement described above, since the resolution at the center of the image does not deteriorate, a zoom function close to the optical zoom mechanism can be realized.
[0026]
FIG. 5 shows such a zoom state. In the drawing, the forward movement from the right to the left of the observation point corresponds to zoom-in, and the backward movement from the left to the right corresponds to zoom-out. The black circles indicate the points 1 to n that are the centers of the all-round panoramic images 100 stored in advance in the panoramic image storage device 106, and the images 1 to n are displayed when the observation point is located at the points 1 to n. The image is cut out directly from one panoramic image around the point. A display image at a point between the points 1 to n is synthesized from two consecutive panoramic images, which are “synthesized images” in FIG. 5, and the resolution at the center is the images 1 to n. Is equivalent to
[0027]
Next, it is assumed that the user instructs translational movement. Translational movement means that the observation point moves in a direction perpendicular to the line-of-sight direction. For example, as shown in FIG. 6, consider the case of translation from point A to point B. The image A is an image obtained by cutting out the range of the viewing angle φ at the point A from the all-around panoramic image 100A, and the image B is an image obtained by cutting out the range of the viewing angle φ at the point B of the all-around panoramic image 100B. A display image (synthesized image) representing a scene that can be seen at the point P in the middle of translation is created as follows using the images A and B.
[0028]
In FIG. 6, the space of the viewing angle φ at point P is divided into A ′, D, and B ′. The space D is a space in which a part of the image A with parallax and a part of the image B are projected in an overlapping manner. The space A ′ is a space where a part of the image A is projected, and the space B is a space where only a part of the image B is projected. Paying attention to this, the part corresponding to the space D of the images A and B using the weight according to the distance from the points A and B (in other words, the weight according to the moving distance from the point A). The pixel information of the D portion of the display image is synthesized by the weighted addition, and the pixel information of the corresponding portion of the images A and B is used as the pixel information of the portion corresponding to the spaces A ′ and B ′ of the display image. That is, the pixel information of the overlap portion D of the display image is given from the all-around panorama image 100A and the all-around panorama image 100B, and the pixel information of the A ′ portion of the display image is given from the all-around panorama image 100A. The pixel information of the B ′ portion is provided from the entire panoramic image 100B. According to such a composition method, a more natural scene with parallax according to the position of the observation point can be displayed.
[0029]
By the same method, display images representing scenes that can be seen at each point from point A to point B are sequentially synthesized. Since the display image synthesized in this way is sequentially displayed on the image display device 101, the user can feel as if translating from point A to point B in a natural three-dimensional space without any breaks. can do. When translating beyond point B, the display image representing the scene is synthesized and displayed in the same manner using the panoramic image 100B and the panoramic image on the right side thereof.
[0030]
Next, it is assumed that the user instructs a rotational motion. The rotational movement is a movement that shakes the line of sight horizontally, that is, a horizontal rotation of the line of sight. The rotation angle is instructed by, for example, the time of pressing a button on the mouse 103 or a specific key on the keyboard 102. In the case of rotational movement, the panoramic image selection device 105 selects three all-around panoramic images centered on a point close to the observation point and causes the display image creation device 107 to input them. The display image creation device 107 creates a display image representing a scene during rotational motion using the three all-around panoramic images. This will be described with reference to FIG.
[0031]
When the rotational movement is performed at the point P in the hatched area shown in FIG. 7, the panoramic images 100A, 100B, and 100C around the points A, B, and C closest to the point P are used to center the point P. A new all-around panoramic image 100P is synthesized. The A ′, B ′, and C ′ portions (thick line portions) of the all-round panorama images 100A, 100B, and 100C are pasted on the PA, PB, and PC portions of the all-round panorama image 100P. At the connection end, the pasting process is performed using the common (overlapping) image data of the A ′, B ′, and C ′ portions. From the all-round panoramic image 100P synthesized in this way, the range of the viewing angle at each time point during rotation is cut out as a display image and displayed on the image display device 101. Thus, the user can experience a simulated experience as if it were rotating in a continuous natural three-dimensional space.
[0032]
However, when rotating around the center of a certain panoramic image as an observation point, an image obtained by cutting out the viewing angle range at each time point of the panoramic image is used as a display image. For example, when a rotational movement is performed at the point A, the display image is cut out from the all-round panoramic image 100A.
[0033]
The three-dimensional virtual space construction process according to the present invention as described above can be realized by software using the resources of a general purpose or dedicated computer as described above. For example, a CPU 200, a main memory 201, a hard disk 203, an input device 207 such as a keyboard and a mouse, a display device 204 such as a CRT display and a liquid crystal display, a display controller 205 for controlling the same, and display data are stored as shown in FIG. A frame buffer memory 206, a medium drive 209 for reading and writing various storage media (magnetic disk, optical disk, magneto-optical disk, memory card, etc.) 210, and a communication device (modem) for communication with external devices and networks It can also be realized by software using a computer having a general configuration in which 208 and the like are connected via a bus 211.
[0034]
In this case, at least two panoramic panoramic image data having a center close to the observation point are prepared from a plurality of panoramic panoramic image data that are prepared in advance and centered on discretely arranged points in the real space. A step of selecting, a step of creating image data representing a scene seen from the observation point using the all-round panoramic image data selected in this step, and a step of causing the display device 204 to display the image data created in this step For example, a program for causing a computer to execute a three-dimensional virtual space construction process including at least a storage medium 210 is read into the main memory 201 by the medium drive 209 from the recording medium 210 on which the program is recorded, or by a communication device 208 from an external device It is read into the main memory 201 or the hard disk 203 Loaded into et main memory 201 and executed by the CPU 200. This program may be implemented as a semiconductor ROM in which the program is fixedly stored. Various storage media 210 in which such a program is recorded and storage media such as a semiconductor ROM are also included in the present invention. Further, the entire panorama image data is input from, for example, the communication device 208 or the medium drive 209 and temporarily stored in the hard disk 203, and one or more necessary entire panorama image data is stored in the main memory 201 from the hard disk 203. Read and process. Note that two-dimensional image data captured by a digital camera or the like may be input to a computer, and all-around panoramic image data may be created from the two-dimensional image data in the computer and stored in the hard disk 203.
[0035]
【The invention's effect】
As described in detail above, according to the present invention , a continuous three-dimensional virtual space is constructed by a relatively simple image composition process only by preparing a plurality of all-round panoramic images and observed in the space. The point or line of sight can be moved freely. In particular, it is possible to provide a continuous virtual environment that does not give a sense of incongruity during forward movement or backward movement, and it is possible to avoid deterioration of the image quality of the scene during forward or backward movement.
[Brief description of the drawings]
FIG. 1 is a block diagram of a three-dimensional virtual space construction system according to the present invention.
FIG. 2 is a diagram illustrating an arrangement in the real space of the center of an all-around panoramic image.
FIG. 3 is a diagram illustrating a method for synthesizing a display image representing a scene during forward movement.
FIG. 4 is a diagram illustrating a method for synthesizing a display image representing a scene during a backward movement.
FIG. 5 is an explanatory diagram of a zoom function realized by a forward motion or a backward motion in a three-dimensional virtual space.
FIG. 6 is a diagram illustrating a method for synthesizing a display image representing a scene during translation.
FIG. 7 is a diagram illustrating a method for synthesizing a display image representing a scene during a rotational movement.
FIG. 8 is a block diagram showing an example of a computer that can be used for constructing a three-dimensional virtual space according to the present invention.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 100 Whole-circle panoramic image 101 Image display apparatus 102 Keyboard 103 Mouse 104 Input analysis apparatus 105 Panorama image selection apparatus 106 Panorama image storage apparatus 107 Display image creation apparatus 110 Image display control apparatus

Claims

実空間において所定の相対位置関係にある離散的な複数の地点をそれぞれ中心とした複数の全周パノラマ画像から、観察点の前進あるいは後退運動に応じて、観察点前後の該観察点に近い中心を持つ少なくとも２つの全周パノラマ画像を選択して、該観察点の３次元仮想空間を構築する３次元仮想空間構築システムであって、The center near the observation point before and after the observation point from a plurality of all-around panoramic images centered on a plurality of discrete points that have a predetermined relative positional relationship in the real space. A three-dimensional virtual space construction system that selects at least two panoramic images having a circumference and constructs a three-dimensional virtual space of the observation point,
実空間において所定の相対位置関係にある離散的な複数の地点をそれぞれ中心とした複数の全周パノラマ画像をデジタルデータとして蓄積するパノラマ画像蓄積手段と、Panoramic image storage means for storing, as digital data, a plurality of all-around panoramic images centered on a plurality of discrete points having a predetermined relative positional relationship in real space;
観察点及び視線の運動に関する情報を入力する入力手段と、An input means for inputting information on the observation point and the movement of the line of sight;
前記入力手段により入力された情報を解析して、３次元仮想空間内の観察点の現在位置と視線方向、運動の種類及び運動量の情報を出力する入力解析手段と、Input analysis means for analyzing the information input by the input means and outputting information on the current position and line-of-sight direction of the observation point in the three-dimensional virtual space, the type of movement, and the momentum;
前記入力解析手段から出力された情報に基づき、観察点に近い地点を中心に持つ第１の全周パノラマ画像データと、該第１の全周パノラマ画像データの中心から視線方向あるいは視線方向と反対方向にある最も近い地点を中心に持つ第２の全周パノラマ画像データとを前記パノラマ画像蓄積手段から選択して出力せしめるパノラマ画像選択手段と、Based on the information output from the input analysis means, the first all-around panoramic image data centered on a point close to the observation point, and the gaze direction or the direction opposite to the gaze direction from the center of the first all-around panoramic image data Panoramic image selection means for selecting and outputting second panoramic image data centered on the nearest point in the direction from the panoramic image storage means;
前記パノラマ画像蓄積手段から出力された前記第１および第２の全周パノラマ画像データから、前記入力解析手段から出力された情報に基づき、観察点から見えるシーンを表わす合成画像を作成する画像作成手段と、Image creating means for creating a composite image representing a scene seen from an observation point based on information outputted from the input analyzing means from the first and second panoramic image data outputted from the panoramic image storing means. When,
前記画像作成手段により作成された合成画像を表示する表示手段とを具備し、Display means for displaying the composite image created by the image creation means,
前記画像作成手段は、前記第１及び第２の全周パノラマ画像データからそれぞれ当該地点での視野角の範囲の画像データを切り出し、一方の画像データは該地点から観察点までの距離に応じて拡大処理し、他方の画像データは該地点から観察点までの距離に応じて縮小処理し、縮小画像の周囲に、拡大画像を用いて画素を補間することにより、観察点で見えるシーンを表わす合成画像を作成することを特徴とする３次元仮想空間構築システム。The image creating means cuts out image data in a range of a viewing angle at the point from the first and second panoramic image data, and one image data corresponds to a distance from the point to the observation point. Enlargement is performed, the other image data is reduced according to the distance from the point to the observation point, and pixels are interpolated around the reduced image using the enlarged image, thereby synthesizing the scene visible at the observation point A three-dimensional virtual space construction system characterized by creating an image.

請求項１記載の３次元仮想空間構築システムにおいて、観察点の前進運動時では、In the three-dimensional virtual space construction system according to claim 1, at the time of forward movement of the observation point,
前記パノラマ画像選択手段は、観察点に近い地点を中心に持つ第１の全周パノラマ画像データと、該第１の全周パノラマ画像データの中心から視線方向にある最も近い地点を中心に持つ第２の全周パノラマ画像データとを前記パノラマ画像蓄積手段から選択して出力するようにし、The panoramic image selection means has a first all-round panoramic image data centered on a point close to the observation point, and a first point centered on the closest point in the line-of-sight direction from the center of the first all-round panoramic image data. Panoramic image data of 2 is selected and output from the panoramic image storage means,
前記画像作成手段は、前記第１の全周パノラマ画像データから当該地点での視野角の範囲の画像データを切り出し、該画像データを該地点から観察点までの距離に応じた倍率で拡大処理し、前記第２の全周パノラマ画像データから当該地点での視野角の範囲の画像データを切り出し、該画像データを観察点から該地点までの距離に応じた倍率で縮小し、該縮小処理で得られた縮小画像の周囲に、前記拡大処理で得られた拡大画像を用いて画素を補間することを特徴とする３次元仮想空間構築システム。The image creating means cuts out image data in a range of a viewing angle at the point from the first panoramic image data, and enlarges the image data at a magnification according to a distance from the point to the observation point. The image data of the viewing angle range at the point is cut out from the second panoramic image data, the image data is reduced at a magnification according to the distance from the observation point to the point, and obtained by the reduction process. A three-dimensional virtual space construction system, wherein pixels are interpolated around the obtained reduced image using the enlarged image obtained by the enlargement process.

請求項１記載の３次元仮想空間構築システムにおいて、観察点の後退運動時では、In the three-dimensional virtual space construction system according to claim 1, during the backward movement of the observation point,
前記パノラマ画像選択手段は、観察点に近い地点を中心に持つ第１の全周パノラマ画像データと、該第１の全周パノラマ画像データの中心から視線方向と反対方向にある最も近い地点を中心に持つ第２の全周パノラマ画像データとを前記パノラマ画像蓄積手段から選択して出力するようにし、The panoramic image selection means has a first all-around panoramic image data centered on a point close to the observation point, and a closest point in the direction opposite to the line-of-sight direction from the center of the first all-around panoramic image data. The second panoramic image data of the entire panorama is selected and output from the panoramic image storage means,
前記画像作成手段は、前記第１の全周パノラマ画像データから当該地点での視野角の範囲の画像データを切り出し、該画像データを該地点から観察点までの距離に応じた倍率で縮小し、前記第２の全周パノラマ画像データから当該地点での視野角の範囲の画像データを切り出し、該画像データを観察点から該地点までの距離に応じた倍率で拡大処理し、前記縮小処理で得られた縮小画像の周囲に、該拡大処理で得られた拡大画像を用いて画素を補間することを特徴とする３次元仮想空間構築システム。The image creation means cuts out image data in a range of viewing angles at the point from the first panoramic image data, reduces the image data at a magnification according to the distance from the point to the observation point, The image data in the range of the viewing angle at the point is cut out from the second panoramic image data, the image data is enlarged at a magnification according to the distance from the observation point to the point, and obtained by the reduction process. A system for constructing a three-dimensional virtual space, wherein pixels are interpolated around an obtained reduced image using the enlarged image obtained by the enlargement process.