JP3149389B2 - Method and apparatus for overlaying a bitmap image on an environment map - Google Patents

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【０００１】[0001]

【発明の属する技術分野】本発明は、一般に、画像処理
システムに関し、より詳細には、ユーザが、あるシーン
の多数のビューを表すデータからパノラマ三次元イメー
ジを作成し、視ることを可能にする画像処理システムに
関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates generally to image processing systems, and more particularly, to enabling a user to create and view panoramic three-dimensional images from data representing multiple views of a scene. To an image processing system.

【０００２】[0002]

【従来の技術】従来の三次元グラフィックス・アプリケ
ーションおよび関連のハードウェアは、１個以上の三次
元物体からなるシーンをレンダリング（精密描画）す
る。物体は通常、幾何学的基本要素、たとえば三角形に
よって表される。物体は、基本要素の位置および色をモ
デル座標系の中で表すグラフィックス・データとして表
される。グラフィックス・システムは、ビュー・ポイン
トに基づき、ビュー・ウィンドウの中に見えるようなシ
ーンの物体を表示するシーンをレンダリングする。ユー
ザは、ビュー・ポイント基準（カメラ）の位置および向
きを変えることにより、シーンの中を巡航することがで
きる。加えて、ビュー・ポイント基準のあらかじめ選択
した一連の位置および向きの中を巡航することにより、
アニメーションを実行することもできる。2. Description of the Related Art Conventional three-dimensional graphics applications and associated hardware render a scene consisting of one or more three-dimensional objects. Objects are typically represented by geometric primitives, such as triangles. Objects are represented as graphics data representing the position and color of primitives in a model coordinate system. The graphics system renders the scene based on the view point, displaying scene objects as seen in the view window. The user can cruise through the scene by changing the position and orientation of the view point reference (camera). In addition, by cruising through a series of preselected positions and orientations of the view point reference,
Animations can also be performed.

【０００３】レンダリング操作はコンピュータ集中的処
理であり、したがって、通常は、特殊なグラフィックス
・ハードウェアによって実行される。このようなシステ
ムは強力ではあるが、この目的だけに用いられる特殊な
ハードウェアの必要性により、いぜん高価である。[0003] The rendering operation is a computer intensive process, and is therefore typically performed by specialized graphics hardware. While such systems are powerful, they are still expensive due to the need for specialized hardware dedicated to this purpose.

【０００４】そのうえ、従来の三次元グラフィック・ス
システムでは、ユーザがそのシーンの三次元モデル（す
なわち、モデル座標系の中のシーンの幾何学的基本要素
の位置および色を表すグラフィックス・データ）を提供
しなければならない。このようなモデルは、ソフトウェ
アを周辺装置（ペン・タブレット、スキャナ、カメラな
ど）とともに用いて作成することができる。たとえば、
フランスのDaussault社によって商品名CATIAの下で販売
されているソフトウェアは、ユーザがシーンの三次元モ
デルを構成することを可能にする。しかし、このような
モデル作成ソフトウェアは高価であり、加えて、それほ
ど複雑でないシーンをモデリングするのにさえ、労働力
に有意な投資を要するおそれがある。In addition, in conventional three-dimensional graphics systems, the user has a three-dimensional model of the scene (ie, graphics data representing the positions and colors of the scene's geometric primitives in the model coordinate system). Must be provided. Such models can be created using software with peripheral devices (pen tablets, scanners, cameras, etc.). For example,
Software sold under the trade name CATIA by the French company Daussault allows users to construct a three-dimensional model of the scene. However, such modeling software is expensive and, in addition, modeling even less complex scenes can require a significant investment in labor.

【０００５】従来の三次元グラフィックス・システムに
伴う高額な費用のため、三次元シーンを作成し、視るの
に効果的ではあるが、限定された能力を提供する、専用
のグラフィックス・ハードウェアを要することなく標準
的なパーソナル・コンピュータで使用するのに適した代
替え解決方法が出現した。そのような方法の一つは、Ap
ple Computer社により、Quicktime VRの商品名の下で開
発、販売されているソフトウェアである。Quicktime VR
ソフトウェアは、二つの別個のパッケージに分割されて
いる。コンテンツ・プロバイダに対して販売される第一
のパッケージは、コンテンツ・プロバイダがあるシーン
の多数のビューからパノラマ三次元イメージを生成する
ことを可能にする教材開発支援ツールである。第二のパ
ッケージは、消費者に配分される、消費者が、教材開発
支援ツールによって作成されたパノラマ三次元イメージ
を視ることを可能にするビューワである。Quicktime VR
システムの動作のより詳細な説明は、Chenの「Quicktim
e VR - An Image-based Approach to Virtual Environm
ent Navigation」SIGGRAPH 1995, Los Angeles, CA, p
p. 29-38およびApple Computer社を譲受人とするChenら
への米国特許第５，３９６，５８３号明細書に見ること
ができる。[0005] Due to the high cost associated with conventional three-dimensional graphics systems, dedicated graphics hardware that is effective in creating and viewing three-dimensional scenes but provides limited capabilities. An alternative solution has emerged that is suitable for use on a standard personal computer without the need for hardware. One such method is Ap
Software developed and sold by ple Computer under the brand name Quicktime VR. Quicktime VR
The software is divided into two separate packages. The first package sold to content providers is a teaching aid development tool that allows content providers to generate panoramic 3D images from multiple views of a scene. The second package is a viewer that is distributed to the consumer and allows the consumer to view a panoramic three-dimensional image created by the educational material development support tool. Quicktime VR
For a more detailed description of the operation of the system, see Chen's Quicktim
e VR-An Image-based Approach to Virtual Environment
ent Navigation '' SIGGRAPH 1995, Los Angeles, CA, p
p. 29-38 and U.S. Patent No. 5,396,583 to Chen et al., assigned to Apple Computer.

【０００６】[0006]

【発明が解決しようとする課題】Quicktime VRシステム
は、シーン（イメージの総体）のパノラマ・ビューを表
すために円筒環境マップを使用する。円筒環境マップを
所望のビュー・ウィンドウにマッピングすることによ
り、異なる透視的ビューをレンダリングする。しかし、
Quicktime VRシステムの限界の一つは、このシステム
が、円筒環境マップとは別にあるビットマップ・イメー
ジをパノラマ・シーンに統合する能力を有しないことに
ある。The Quicktime VR system uses a cylindrical environment map to represent a panoramic view of a scene (collection of images). Render different perspective views by mapping the cylindrical environment map to the desired view window. But,
One of the limitations of the Quicktime VR system is that it does not have the ability to integrate a bitmap image separate from the cylindrical environment map into a panoramic scene.

【０００７】したがって、当該技術において、ビットマ
ップ・イメージをパノラマイメージに統合することがで
きる三次元パノラマイメージを生成し、視るための費用
効果的なシステムを提供する必要がある。[0007] Therefore, there is a need in the art to provide a cost effective system for generating and viewing three-dimensional panoramic images that can integrate a bitmap image into a panoramic image.

【０００８】[0008]

【課題を解決するための手段】従来技術に伴う上述の問
題およびその関連の問題は、シーンを表す環境マップの
要素と関連する色値と、環境マップとは別にあるビット
マップ・イメージの要素と関連する色値とをメモリに記
憶することによってシーンのビューを生成する、ビット
マップ・イメージを環境マップにオーバレイするための
本発明の原理、方法および装置によって解決される。環
境マップの座標系に対してビットマップ・イメージを向
き付けする。環境マップを、ピクセルの配列を含むビュ
ー・ウィンドウに投影する。ビットマップ・イメージに
よってカバーされるビュー・ウィンドウの少なくとも１
個のピクセルついて、ビュー面のピクセルに対応する、
ビットマップ・イメージの要素を決定し、ビットマップ
・イメージの対応する要素の色値に基づき、ピクセルの
色値を導出する。ビュー・ウィンドウのピクセルの導出
した色値を表示のために記憶する。SUMMARY OF THE INVENTION The above and related problems associated with the prior art include the color values associated with elements of an environment map representing a scene, and the elements of a bitmap image that are separate from the environment map. The problem is solved by the principles, methods and apparatus of the present invention for overlaying a bitmap image on an environment map, which creates a view of the scene by storing associated color values in a memory. Orient the bitmap image to the environment map coordinate system. Project the environment map into a view window that contains an array of pixels. At least one of the view windows covered by the bitmap image
Pixels, corresponding to the pixels in the view plane,
Determine the elements of the bitmap image and derive the color values of the pixels based on the color values of the corresponding elements of the bitmap image. The derived color values of the pixels of the view window are stored for display.

【０００９】本発明はまた、ビットマップ・イメージの
要素と関連する深さ値と、ビュー・ウィンドウのピクセ
ルと関連する深さ値とをメモリに記憶する。このシナリ
オで、ピクセルと関連する深さ値および要素と関連する
深さ値が、ビットマップ・イメージの要素がビュー・ウ
ィンドウのピクセルよりもビュー・ポイントに近いこと
を示すとき、ビュー・ウィンドウのピクセルの色値を、
ビットマップ・イメージの対応する要素の色値から導出
し、ピクセルの導出した色値を表示のために記憶する。The present invention also stores in memory a depth value associated with an element of the bitmap image and a depth value associated with a pixel of the view window. In this scenario, when the depth value associated with the pixel and the depth value associated with the element indicate that the element of the bitmap image is closer to the view point than the pixel of the view window, the pixel of the view window Color value of
Derived from the color values of the corresponding elements of the bitmap image, and the derived color values of the pixels are stored for display.

【００１０】[0010]

【発明の実施の形態】円筒環境のトップ部および／また
はボトム部を定義するデータ含む円筒環境マップからパ
ノラマ・シーンを生成する方法および装置を以下に記載
する。DETAILED DESCRIPTION OF THE INVENTION A method and apparatus for generating a panoramic scene from a cylindrical environment map including data defining the top and / or bottom of the cylindrical environment is described below.

【００１１】トップ・イメージおよびボトム・イメージ
を表すデータは、それぞれ最小および最大の仰角によっ
て決まる円に基づいて二つの部分に分割することができ
る。すなわち、トップ・イメージは、最大仰角によって
決まる円に基づいて二つの領域に分割することができ、
ボトム・イメージは、最小仰角によって決まる円に基づ
いて二つの領域に分割することができる。最小および最
大の仰角は、たとえば、サイド・イメージの中心の上縁
および下縁に対応する仰角によって決定することができ
る。これらの円の外側に位置するトップ・イメージおよ
びボトム・イメージの領域中のイメージ・データ値は、
円筒環境マップにマッピングされると、図１２にＸおよ
び＊によって示す領域ならびに図１２のトップおよびボ
トムを超えるさらなる区域を充填し、それにより、円筒
環境マップによってアクセス可能である垂直方向の高さ
値を延ばす。以下、トップ・イメージおよび／またはボ
トム・イメージを円筒環境マップに統合する方法をより
詳細に説明する。The data representing the top and bottom images can be divided into two parts based on circles determined by the minimum and maximum elevation angles, respectively. That is, the top image can be divided into two regions based on a circle determined by the maximum elevation angle,
The bottom image can be divided into two regions based on a circle determined by the minimum elevation angle. The minimum and maximum elevation angles can be determined, for example, by the elevation angles corresponding to the upper and lower edges of the center of the side image. The image data values in the top and bottom image areas located outside these circles are:
When mapped to the cylindrical environment map, it fills the area indicated by X and * in FIG. 12 and additional areas beyond the top and bottom of FIG. 12, so that the vertical height values accessible by the cylindrical environment map Prolong. Hereinafter, a method of integrating the top image and / or the bottom image into the cylindrical environment map will be described in more detail.

【００１２】円筒環境マップの各部分を記憶するのに要
するデータの量は、最大および最小の高さのマップの接
線に比例して増し、それが、６０°を超える最大および
最小仰角の場合などに実施不可能になるおそれがある。
トップ・イメージおよび／またはボトム・イメージが存
在しなければ、高さ値の範囲への拡張は不可能である。The amount of data required to store each portion of the cylindrical environment map increases in proportion to the tangent of the maximum and minimum height maps, such as for maximum and minimum elevation angles greater than 60 °. May become impossible to implement.
Without a top and / or bottom image, extension to a range of height values is not possible.

【００１３】これらの円の内側に位置するトップ・イメ
ージおよびボトム・イメージの領域のイメージ・データ
値は、円筒環境マップにマッピングする必要はない。代
わりに、これらのデータ値には、イメージ投影処理の際
にアクセスして、高さ値の範囲をさらに拡張することも
でき、それは、円筒環境マップによって表されるデータ
を視覚化するのに使用される手段によって支援すること
ができる。すなわち、最大または最小の高さ値を超える
高さ値に対応する、投影イメージ中のピクセルの色値
は、前記最小および最大の仰角によって決まるトップ・
イメージおよび／またはボトム・イメージの円形領域の
内部から直接導出することができる。トップ・イメージ
およびボトム・イメージが存在しなければ、そのような
拡張された高さ値に依存する投影イメージを生成するこ
とはできない。The image data values in the top and bottom image regions located inside these circles need not be mapped to the cylindrical environment map. Alternatively, these data values can be accessed during the image projection process to further extend the range of height values, which can be used to visualize the data represented by the cylindrical environment map. Can be assisted by the means being done. That is, the color value of a pixel in the projected image corresponding to a height value that exceeds the maximum or minimum height value is determined by the top and bottom angles determined by the minimum and maximum elevation angles.
It can be derived directly from inside the circular area of the image and / or the bottom image. Without the top and bottom images, it is not possible to generate a projection image that depends on such extended height values.

【００１４】本発明は、たとえばパーソナル・コンピュ
ータ、ワークステーションまたはパーソナル・コンピュ
ータもしくはワークステーションとともに作動するグラ
フィックス・アダプタをはじめとする、いかなるコンピ
ュータ処理システムでも実現することができる。図１に
示すように、本発明によって用いることができるコンピ
ュータ処理システムは、メモリ１０１と、少なくとも１
個の中央処理装置（ＣＰＵ）１０３（図では１個）と、
少なくとも１個のユーザ入力装置１０７（たとえばキー
ボード、マウス、ジョイスティック、音声認識装置また
は手書き認識装置）とを含む。加えて、コンピュータ処
理システムは、不揮発性メモリ、たとえば読出し専用メ
モリ（ＲＯＭ）および／または他の不揮発性記憶装置１
０８、たとえば、オペレーティング・システムと、メモ
リ１０１にロードされ、ＣＰＵ１０３によって実行され
る１個以上のアプリケーション・プログラムとを記憶す
る固定ディスク・ドライブを含む。オペレーティング・
システムおよびアプリケーション・プログラムの実行の
際に、ＣＰＵは、不揮発性記憶装置１０８および／また
はメモリ１０１に記憶されたデータを使用することがで
きる。The present invention can be implemented in any computer processing system, including, for example, a personal computer, a workstation or a graphics adapter working with a personal computer or workstation. As shown in FIG. 1, a computer processing system that can be used in accordance with the present invention includes a memory 101 and at least one
Central processing units (CPUs) 103 (one in the figure),
At least one user input device 107 (eg, a keyboard, mouse, joystick, voice recognizer or handwriting recognizer). In addition, the computer processing system may include a non-volatile memory, such as a read only memory (ROM) and / or other non-volatile storage 1
08, including, for example, a fixed disk drive that stores an operating system and one or more application programs loaded into memory 101 and executed by CPU 103. operating·
When executing the system and application programs, the CPU can use the data stored in the nonvolatile storage device 108 and / or the memory 101.

【００１５】加えて、コンピュータ処理システムは、Ｃ
ＰＵ１０３と表示装置１０５、たとえばＣＲＴ表示装置
またはＬＣＤ表示装置との間に結合されたフレーム・バ
ッファ１０４を含む。フレーム・バッファ１０４は、表
示装置１０５を駆動するためのピクセル・データを含
む。システムによっては、グラフィックス・アクセラレ
ータとしても知られるレンダリング装置（図示せず）が
ＣＰＵ１０３とフレーム・バッファ１０４との間に結合
されていてもよい。In addition, the computer processing system has a C
It includes a frame buffer 104 coupled between the PU 103 and a display 105, for example, a CRT display or LCD display. Frame buffer 104 includes pixel data for driving display device 105. In some systems, a rendering device (not shown), also known as a graphics accelerator, may be coupled between CPU 103 and frame buffer 104.

【００１６】さらに、コンピュータ処理システムは、Ｃ
ＰＵ１０３に結合された、ＣＰＵ１０３を、通信リン
ク、たとえばインターネットを介して他のコンピュータ
処理システムと通信させることができる通信リンク１０
９（たとえばネットワーク・アダプタ、ＲＦリンクまた
はモデム）を含むことができる。ＣＰＵ１０３は、オペ
ーティング・システムの部分、アプリケーション・プロ
グラムの部分またはオペーティング・システムおよびア
プリケーション・プログラムを実行する際にＣＰＵ１０
３によって使用されるデータの部分を受けることができ
る。Further, the computer processing system may include C
A communication link 10 coupled to the PU 103 that allows the CPU 103 to communicate with other computer processing systems via a communication link, such as the Internet.
9 (e.g., a network adapter, RF link or modem). The CPU 103 executes the operating system part, the application program part, or the operating system and the application program.
3 can receive a portion of the data used.

【００１７】ＣＰＵ１０３によって実行されるアプリケ
ーション・プログラムは、以下に説明する本発明のレン
ダリング方法を実行することができる。あるいはまた、
以下に説明するレンダリング方法の一部または全部を、
ＣＰＵ１０３によって実行されるアプリケーション・プ
ログラムととも作動するハードウェアに具現化すること
もできる。An application program executed by the CPU 103 can execute the rendering method of the present invention described below. Alternatively,
Some or all of the rendering methods described below,
It may be embodied in hardware that operates together with an application program executed by the CPU 103.

【００１８】次に説明するものは、円筒環境のトップ部
および／またはボトム部を定義するデータを含む円筒環
境マップならびにそのような円筒環境マップのビューを
レンダリングする技法である。Described next is a cylindrical environment map that includes data defining the top and / or bottom of a cylindrical environment, and techniques for rendering views of such a cylindrical environment map.

【００１９】円筒環境マップは、要素もしくはピクセル
の矩形の配列であって、各ピクセルが、円筒軸の原点お
よび円筒表面の矩形区域によって画定される細い角錐の
中に含まれる三次元シーンの一部を表すデータを含むと
ころの配列から構成されている。A cylindrical environment map is a rectangular array of elements or pixels, each pixel being a portion of a three-dimensional scene contained within a thin pyramid defined by the origin of the cylindrical axis and a rectangular area on the cylindrical surface. Consists of an array that contains data representing

【００２０】図２は、円筒、円筒軸および円筒軸の原点
を表す。第二の座標軸は、円筒軸に垂直であり、円筒の
原点を通過する線によって決まる。第三の座標軸は、円
筒軸および第二の座標軸のいずれに対しても垂直であ
り、同様に円筒軸の原点を通過する線によって決まる。
第二および第三の座標軸によって決まる面中のいかなる
点も、その高さゼロを有するものとして定義される。他
の点の高さは、第二および第三の座標軸によって決まる
面までの距離によって定義され、この面よりも上にある
点には正の高さが割り当てられ、この面の反対側にある
点には負の高さが割り当てられる。FIG. 2 shows the cylinder, the cylinder axis and the origin of the cylinder axis. The second coordinate axis is perpendicular to the cylinder axis and is determined by a line passing through the origin of the cylinder. The third coordinate axis is perpendicular to both the cylindrical axis and the second coordinate axis, and is similarly determined by a line passing through the origin of the cylindrical axis.
Any point in the plane defined by the second and third coordinate axes is defined as having its height zero. The height of the other points is defined by the distance to the plane determined by the second and third coordinate axes, points above this plane are assigned a positive height and are on the opposite side of this plane Points are assigned a negative height.

【００２１】図３は、円筒を多数の矩形区域に分割する
方法を説明する。これらの区域の境界は、円筒軸に対し
て平行である垂直方向の線および円筒軸に対して直角方
向の円によって形成されている。これらの区域は、円筒
を展開して大きな平面矩形を形成した場合の平面の矩形
に対応する。円筒の所与の矩形区域は、サイド・イメー
ジに関連する一意の行番号および列番号によって指定さ
れる。以下、円筒の行数をPanWdtで示し、円筒の列数を
PanHgtで示す。FIG. 3 illustrates a method of dividing a cylinder into a number of rectangular areas. The boundaries of these zones are formed by vertical lines parallel to the cylinder axis and circles perpendicular to the cylinder axis. These areas correspond to planar rectangles when the cylinder is expanded to form a large planar rectangle. A given rectangular area of the cylinder is specified by a unique row and column number associated with the side image. Hereinafter, the number of cylinder rows is indicated by PanWdt, and the number of cylinder columns is
Shown in PanHgt.

【００２２】図４は、円筒の側面の１個の矩形区域（ａ
ｂｃｄ）および円筒の原点によって決まる角錐領域を示
す。角錐の底面（ＡＢＣＤ）は、矩形区域（ａｂｃｄ）
から無限遠距離に位置することができる。矩形区域（ａ
ｂｃｄ）と関連する色値は、この角錐と交差し、円筒の
原点（Ｏ）から見える三次元物体によって決まる。コン
ピュータ生成イメージでは、矩形区域（ａｂｃｄ）と関
連する色は、原点（Ｏ）から出発し、角錐の底面（ＡＢ
ＣＤ）の中心を通過する線によって決まる色によって近
似することができる。他の値もまた、区域（ａｂｃｄ）
と関連することができる。たとえば、深さ値は、原点
と、原点（Ｏ）から角錐の底面（ＡＢＣＤ）の中心を通
過する線と交差する最近点との距離によって定義するこ
とができる。あるいはまた、応答表のインデックスを区
域（ａｂｃｄ）と関連させてもよい。応答表の各項目
は、対応する区域（ａｂｃｄ）が選択されたときに実行
すべき動作を定義することができる。FIG. 4 shows one rectangular section (a
bcd) and the pyramid region determined by the origin of the cylinder. The base of the pyramid (ABCD) is a rectangular area (abcd)
Can be located at an infinite distance from. Rectangular area (a
The color value associated with bcd) intersects this pyramid and is determined by the three-dimensional object seen from the origin (O) of the cylinder. In the computer-generated image, the color associated with the rectangular area (abcd) starts at the origin (O) and is at the base of the pyramid (AB
CD) can be approximated by the color determined by the line passing through the center. Other values are also in the area (abcd)
Can be related to For example, the depth value can be defined by the distance between the origin and the closest point that intersects a line from the origin (O) that passes through the center of the base of the pyramid (ABCD). Alternatively, the index of the response table may be associated with the area (abcd). Each entry in the response table may define an operation to be performed when a corresponding area (abcd) is selected.

【００２３】円筒環境マップは、垂直方向の細いスリッ
トを使用して、レンズおよびスリットを垂直軸を中心に
回転させながら写真フィルムを露光させる仕組みのパノ
ラマ・カメラから得られたパノラマ写真をデジタル処理
することによって作成することができる。あるいはま
た、多数の平坦なイメージを円筒の表面に投影して円筒
環境マップを作成することもできる。平坦なイメージそ
れぞれは、写真フィルムの平坦または平面区域に捕らえ
た従来の写真をデジタル処理することにより、あるい
は、コンピュータ・グラフィックス・レンダリング・ア
ルゴリズムを三次元デジタル・モデルに適用することに
より、得ることができる。いずれにしても、各平坦なイ
メージは、水平視野および垂直視野によって特徴づける
ことができる。水平視野の合計が３６０°に等しいなら
ば、円筒環境マップは完全なものとして定義される。水
平視野の合計が３６０°未満であるならば、円筒環境マ
ップは部分パノラマとして定義される。The cylindrical environment map uses a narrow vertical slit to digitally process a panoramic photograph obtained from a panoramic camera that exposes photographic film while rotating the lens and slit about a vertical axis. Can be created by Alternatively, a number of flat images can be projected onto the surface of the cylinder to create a cylindrical environment map. Each flat image is obtained by digitally processing a conventional photograph captured on a flat or planar area of photographic film, or by applying a computer graphics rendering algorithm to a three-dimensional digital model. Can be. In any case, each flat image can be characterized by a horizontal view and a vertical view. If the sum of the horizontal views is equal to 360 °, the cylindrical environment map is defined as complete. If the sum of the horizontal views is less than 360 °, the cylindrical environment map is defined as a partial panorama.

【００２４】本発明によると、円筒環境マップのイメー
ジ・データを好ましくは列順に記憶する。イメージ・デ
ータは行順に記憶することが通常のやり方である。すな
わち、nCol列およびnRow行を有するイメージを表すデー
タは通常、それぞれが、イメージの水平方向の帯域を表
すnColの隣接するピクセルのデータを含むnRowの隣接す
る一連のデータ・ブロックとして記憶され、連続する行
のデータは、上から下または下から上の順に記憶され
る。この場合、行の数はイメージの高さを表し、列の数
はイメージの幅を表す。円筒投影に基づくパノラマイメ
ージは、行よりも多くの列を有している。パノラマイメ
ージの列の数は、行の数の４〜５倍またはそれ以上であ
ることもある。パノラマイメージによって表されるシー
ンのビューを表す投影イメージは、パノラマイメージ中
の行および列の特定のサブセットに依存する。このサブ
セットは、たとえば行の半分から全部および列の１／１
０〜１／４を含むことができる。この場合、従来の行順
でのイメージ・データの記憶は、投影イメージを計算す
るとき、投影イメージが各行の小さな部分に依存する場
合、非常に非効率的なメモリ参照パターンにつながる。According to the invention, the image data of the cylindrical environment map is stored, preferably in column order. It is common practice to store image data in row order. That is, data representing an image having nCol columns and nRow rows is typically stored as a contiguous series of nRows of data blocks, each containing data for nCol adjacent pixels representing the horizontal band of the image. The data of the corresponding row is stored in order from top to bottom or from bottom to top. In this case, the number of rows represents the height of the image and the number of columns represents the width of the image. Panoramic images based on cylindrical projections have more columns than rows. The number of columns in the panoramic image may be four to five times the number of rows or more. The projected image representing the view of the scene represented by the panoramic image depends on a specific subset of the rows and columns in the panoramic image. This subset can be, for example, half a row to a full and 1/1 a column.
0 to 1/4 can be included. In this case, the conventional storage of image data in row order leads to a very inefficient memory reference pattern when calculating the projected image, if the projected image depends on a small part of each row.

【００２５】投影イメージを計算するのに必要なメモリ
参照パターンは、パノラマイメージを行順ではなく列順
で記憶することにより、より効率的にすることができ
る。この場合、パノラマイメージを表す同じデータを、
それぞれがnRowの連続するピクセルを含むnColの連続す
る一連のブロックとして記憶する。そのような各ブロッ
クは、パノラマイメージの１列分のデータを含み、連続
する列を表すブロックは、方位角が増す順番で記憶され
る。この場合、イメージ・データの「幅」（ブロックあ
たりの要素の数）がイメージの垂直方向サイズになり、
「高さ」（データブロックの数）がパノラマイメージの
水平方向サイズになる。The memory reference patterns required to calculate the projected image can be made more efficient by storing the panoramic images in column order rather than row order. In this case, the same data representing the panoramic image
Store as a series of nCol consecutive blocks, each containing nRow consecutive pixels. Each such block contains data for one column of the panoramic image, and blocks representing successive columns are stored in order of increasing azimuth. In this case, the "width" (number of elements per block) of the image data is the vertical size of the image,
"Height" (the number of data blocks) is the horizontal size of the panoramic image.

【００２６】パノラマイメージの列順の記憶はまた、投
影イメージそのものが行順に記憶されるとしても、投影
イメージの列順での計算に利点を与える。この場合、よ
り大きなデータ構造（パノラマイメージ）の要素に対し
て順にアクセスし、特定の演算、たとえば方位角の三角
関数を列ごとに１回計算するだけでよい。以下に記す本
発明の円筒環境マップは、イメージの幅がイメージの垂
直方向サイズであり、イメージの高さがイメージの水平
方向サイズである列順に記述される。The storage of the panoramic images in column order also provides an advantage to the calculation of the projected images in column order, even if the projected images themselves are stored in row order. In this case, it is only necessary to sequentially access the elements of the larger data structure (panoramic image) and calculate a specific operation, for example a trigonometric function of the azimuth, once for each column. The cylindrical environment map of the present invention described below is described in column order in which the width of the image is the vertical size of the image and the height of the image is the horizontal size of the image.

【００２７】部分的または完全な環境マップが得られる
と、円筒環境マップの要素を円筒軸に平行な面に投影す
ることにより、対応する三次元シーンのイメージを生成
することが可能である。この面に投影された円筒環境マ
ップの部分は、方位角θおよび投影イメージの中心の高
さｚならびに水平視野の角度αおよび垂直視野の角度β
によって特徴づけることができる。Once a partial or complete environment map is obtained, it is possible to generate an image of the corresponding three-dimensional scene by projecting the elements of the cylindrical environment map onto a plane parallel to the cylinder axis. The part of the cylindrical environment map projected onto this plane is the azimuth angle θ and the height z of the center of the projected image, and the angle of horizontal field α and the angle of vertical field β
Can be characterized by

【００２８】円筒の一部を面に投影したもの（または
逆）を図５に示す。点Ａ、Ｃ、ＤおよびＦは、円筒軸に
平行な平面矩形の角を表す。点Ｂは辺（ＡＣ）の中間点
であり、点Ｅは辺（ＤＦ）の中間点である。矩形（ＡＣ
ＤＦ）は、線（ＢＥ＝ｂｅ）に沿って円筒と接してい
る。点（ａ、ｂ、ｃ、ｄ、ｅおよびｆ）は、原点（Ｏ）
からの直線が平面矩形上の点（Ａ、Ｂ、Ｃ、Ｄ、Ｅおよ
びＦ）と交差する点によって定義される、円筒上の点を
表す。FIG. 5 shows a projection of a part of a cylinder onto a surface (or vice versa). Points A, C, D and F represent the corners of a planar rectangle parallel to the cylinder axis. Point B is the midpoint of the side (AC) and point E is the midpoint of the side (DF). Rectangular (AC
DF) is in contact with the cylinder along the line (BE = be). The points (a, b, c, d, e and f) are at the origin (O)
Represents the point on the cylinder defined by the point where the straight line from intersects the points (A, B, C, D, E and F) on the planar rectangle.

【００２９】図６は、図５に示すものと同じ円筒および
面を円筒軸の上から見た図である。この図では、点Ａ、
Ｂ、Ｃ、ａ、ｂおよびｃはそれぞれ点Ｆ、Ｅ、Ｄ、ｆ、
ｅおよびｄと一致している。線（ＢＥ＝ｂｅ）の方位角
を角度θによって示す。水平視野の角度αは、線（ａ
ｆ）の方位角と、線（ｃｄ）の方位角との差によって決
まる。この図では、線（ａｆ）、（ｂｅ）および（ｃ
ｄ）は、すべて円筒軸（および視線の方向）に平行であ
るため、点にしか見えない。FIG. 6 is a view of the same cylinder and surface as those shown in FIG. 5 as viewed from above the cylinder axis. In this figure, point A,
B, C, a, b and c are points F, E, D, f,
e and d. The azimuth of the line (BE = be) is indicated by the angle θ. The angle α of the horizontal field of view is the line (a
It depends on the difference between the azimuth of f) and the azimuth of line (cd). In this figure, the lines (af), (be) and (c)
d) are only visible as points since they are all parallel to the cylinder axis (and the direction of the line of sight).

【００３０】図７は、図５および６に示すものと同じ円
筒および面を、円筒軸および投影面の中心線（ＢＥ）を
含む面に垂直な方向から見た図である。中心線（ＢＥ）
の中間点を点Ｇによって示す。点Ｇの仰角φはｚＭｉｄ
の高さ値に対応する。垂直視野をβによって示す。FIG. 7 is a view of the same cylinder and plane as those shown in FIGS. 5 and 6 as viewed from a direction perpendicular to the plane including the cylinder axis and the center line (BE) of the projection plane. Center line (BE)
Is indicated by a point G. The elevation angle φ of the point G is zMid
Corresponds to the height value of The vertical field is indicated by β.

【００３１】完全なパノラマの場合、可能な方位角θに
限界はなく、水平視野の角度αは、１８０°未満である
というだけの制限を受ける。０〜θ_MAXの方位角θをカ
バーする部分パノラマの場合、投影イメージの中心の方
位角θは、次式の範囲内になければならない。For a complete panorama, there is no limit to the possible azimuthal angles θ and the horizontal viewing angle α is limited only to less than 180 °. For partial panorama covering the azimuth angle θ of 0～Shita _MAX, the azimuth angle θ of the center of a projection image must be within a range of the following equation.

【００３２】[0032]

【数１】 (Equation 1)

【００３３】投影イメージの高さ値ｚの範囲を制限する
要因は二つある。一つは、円筒データによって表される
データの範囲を超える高さ値に関する情報の欠如であ
る。第二の制限は、多数の平坦なイメージを一つの円筒
データ構造に合併する結果から生じる。多数の平坦なイ
メージそれぞれは、三次元シーンを円筒軸に平行な面に
投影したものを表す。これらのイメージそれぞれは、特
定の水平視野αおよび垂直視野βを有している。通常、
これらの平坦イメージはすべて同じ水平視野および垂直
視野を共有し、水平視野αは、３６０°をイメージの数
で割ることによって決まる。There are two factors that limit the range of the height value z of the projected image. One is the lack of information about height values beyond the range of the data represented by the cylinder data. The second limitation results from the merging of many flat images into one cylindrical data structure. Each of a number of flat images represents a projection of a three-dimensional scene onto a plane parallel to the cylinder axis. Each of these images has a specific horizontal field of view α and a vertical field of view β. Normal,
These flat images all share the same horizontal and vertical field of view, and the horizontal field of view α is determined by dividing 360 ° by the number of images.

【００３４】たとえば、図８に示すように、それぞれ９
０°の水平視野を有する４個のイメージがあってもよ
い。円筒軸を上から見てわかるように、円筒は半径のＲ
の円として見える。Ｒは次式で与えられる。For example, as shown in FIG.
There may be four images with a horizontal field of view of 0 °. As can be seen from the top of the cylinder axis, the cylinder has a radius R
It looks like a circle. R is given by the following equation.

【００３５】[0035]

【数２】 (Equation 2)

【００３６】ただし、PanHgtは、円筒データ構造中の列
の数である。Here, PanHgt is the number of columns in the cylindrical data structure.

【００３７】各イメージの中心がこの円に接している。
水平視野αを有する１個のイメージの同様な図を図９に
示す。左縁または右縁から接点（tangent point)までの
距離はＲ＊tan （α／２）である。円筒軸から左右の縁
までの距離はＲ＊sec（α／２）である。The center of each image touches this circle.
A similar view of one image having a horizontal field of view α is shown in FIG. The distance from the left or right edge to the tangent point is R * tan (α / 2). The distance from the cylindrical axis to the left and right edges is R * sec (α / 2).

【００３８】図９の円筒の側面図を図１０に示す。図１
０の場合の視線は、図９の面Ａ−Ａから見た方向であ
り、図９に示す円筒の軸に垂直である。より具体的に
は、図１０の視線方向は、図９に示す半径Ｒで円筒に接
するイメージの中心線から見た方向である。イメージの
垂直視野はβであり、最大高さＥmaxはＲ＊tan（β／
２）であり、最小高さＥminは−Ｒ＊tan（β／２）であ
る。FIG. 10 shows a side view of the cylinder of FIG. FIG.
The line of sight in the case of 0 is the direction viewed from the plane AA in FIG. More specifically, the viewing direction in FIG. 10 is a direction as viewed from the center line of the image in contact with the cylinder with the radius R shown in FIG. The vertical field of view of the image is β, and the maximum height Emax is R * tan (β /
2), and the minimum height Emin is -R * tan (β / 2).

【００３９】円筒のもう一つの側面図を図１１に示す。
この場合、図１１の視線は、図９の面Ｂ−Ｂから見た方
向であり、図９に示す円筒の軸に垂直である。より具体
的には、図１１の視線方向は、イメージの中心からでは
なく、イメージの左縁または右縁から見た方向である。
図９に示すように、イメージの両縁は、円筒軸から距離
Ｒ＊sec（α／２）のところに位置している。その結
果、イメージの全高は、円筒軸から距離Ｒの円筒の側面
で、Ｅmax＊cos（α／２）〜Ｅmin＊cos（α／２）の高
さ範囲に圧縮される。その結果、このイメージには、Ｅ
max＊cos（α／２）〜Ｅmaxの範囲またはＥmin〜Ｅmin
＊cos（α／２）の範囲の高さに対応する情報はない。Another side view of the cylinder is shown in FIG.
In this case, the line of sight in FIG. 11 is the direction viewed from plane BB in FIG. 9 and is perpendicular to the axis of the cylinder shown in FIG. More specifically, the line of sight in FIG. 11 is not from the center of the image but from the left or right edge of the image.
As shown in FIG. 9, both edges of the image are located at a distance R * sec (α / 2) from the cylinder axis. As a result, the overall height of the image is compressed to a height range from Emax * cos (α / 2) to Emin * cos (α / 2) on the side of the cylinder at a distance R from the cylinder axis. As a result, this image contains E
max * cos (α / 2) -Emax or Emin-Emin
* There is no information corresponding to the height in the range of cos (α / 2).

【００４０】得られた円筒を平坦な面に展開するなら
ば、図１２に示す結果が得られる（９０°のイメージ４
個の場合）。この場合、４個のイメージが、Ｅmin／sqr
t（２）〜Ｅmax／sqrt（２）の範囲の高さに対応する円
筒のすべての要素を充填する。また、Ｅmin〜Ｅmin／sq
rt（２）の範囲およびＥmax／sqrt（２）〜Ｅmaxの範囲
の高さに関してさらなる情報が得られるが、「Ｘ」およ
び「＊」でマークされた円筒の部分は決定されないまま
である。これに対する一つの解決方法は、Ｅmin／sqrt
（２）〜Ｅmax／sqrt（２）の範囲の外の高さに対応す
るデータを捨て、視野の高さをこの縮小範囲に制限する
方法である。代替えの方法は、Ｅmin〜Ｅmaxの範囲の高
さを許容するが、欠けた領域を濃淡のない黒または他の
任意の色で充填する方法である。If the obtained cylinder is developed on a flat surface, the result shown in FIG. 12 is obtained (image 4 of 90 °).
Case). In this case, the four images are Emin / sqr
Fill all elements of the cylinder corresponding to heights in the range t (2) to Emax / sqrt (2). Also, Emin-Emin / sq
Further information is obtained regarding the range of rt (2) and the height in the range of Emax / sqrt (2) to Emax, but the portions of the cylinder marked with "X" and "*" remain undetermined. One solution to this is Emin / sqrt
(2) A method of discarding data corresponding to a height outside the range of Emax / sqrt (2) and limiting the height of the field of view to this reduced range. An alternative method is to allow the height in the range of Emin to Emax, but fill the missing area with solid black or any other color.

【００４１】本発明によると、円筒環境マップから投影
イメージを計算することができる仰角の範囲を、円筒環
境マップのトップ・イメージおよび／またはボトム・イ
メージを定義するデータを加えることによって補足す
る。トップ・イメージおよび／またはボトム・イメージ
の可用性が、投影イメージを作成する能力を二つの点で
改善する。まず、これらのイメージは、従来の円筒環境
マップによって表される円筒領域によってカバーされる
範囲を超える高さ値を有する投影イメージを計算するこ
とを可能にする。第二に、これらのイメージは、多数の
平坦なイメージを円筒に投影することによって作成され
る角領域を充填するのに使用することができる。According to the present invention, the range of elevation angles over which the projected image can be calculated from the cylindrical environment map is supplemented by adding data defining the top and / or bottom images of the cylindrical environment map. The availability of top and / or bottom images improves the ability to create projected images in two ways. First, these images make it possible to calculate projected images having height values beyond the range covered by the cylindrical area represented by the conventional cylindrical environment map. Second, these images can be used to fill corner regions created by projecting multiple flat images onto a cylinder.

【００４２】次に、図２０を参照しながら、サイド・イ
メージを円筒環境マップにアセンブルする際にトップ・
イメージおよびボトム・イメージを利用する手順を説明
する。説明に際し、以下に記すサイド・イメージは矩形
であり、トップ・イメージおよびボトム・イメージは正
方形である。しかし、当業者であれば、本発明がこの点
で限定されず、種々の多角形のサイド、トップおよびボ
トムの各イメージにも応用できることを認識するであろ
う。Next, referring to FIG. 20, when assembling the side image into the cylindrical environment map, the top
A procedure for using an image and a bottom image will be described. For the sake of explanation, the side images described below are rectangular, and the top and bottom images are square. However, those skilled in the art will recognize that the present invention is not limited in this respect and is applicable to various polygonal side, top and bottom images.

【００４３】処理は、ステップ２０１で、パノラマシー
ンのサイド・イメージを生成することによって始まる。
従来どおり、各サイド・イメージは、生成されると、複
数の要素区域（またはピクセル）でサイド・イメージの
色を示すデータによって表すことができる。しかし、必
要ならば（たとえば、サイド・イメージを写真から導出
する場合）、ステップ２０１で、各サイド・イメージを
複数の要素区域（またはピクセル）に分割し、要素区域
ごとに、要素区域におけるイメージの色値を記憶する必
要があるかもしれない。図２１に示すように、各サイド
・イメージを行列に分割してもよい。サイド・イメージ
の所与の要素区域（またはピクセル）を、そのサイド・
イメージと関連する一意の行番号および列番号（iRow、
iCol）によって指定する。加えて、ステップ２０１で、
イメージごとに、イメージ中の行数（imgHgtで示す）お
よびイメージ中の列数（imgWdtで示す）を記憶する。図
２２は、サイド・イメージのピクセルごとに記憶される
情報を示す。情報は、ピクセルの色を識別する色データ
を含む。色データは、ピクセルの色の赤、緑および青の
各成分（真色）または色パレットへのインデックス（パ
レット色）を表すことができる。所与のピクセルについ
て記憶される情報はまた、所与のピクセルでのイメージ
の深さを表すＺデータを含むことができる。加えて、ピ
クセルごとに記憶される情報は、ピクセルと関連するさ
らなるデータ（Ｍデータ）を含むこともできる。たとえ
ば、データは、別のパノラマへのハイパリンク、音声を
再生するためのコマンドまたは外部アプリケーションを
開始するためのコマンドをはじめとする、ピクセルと関
連する動作であってもよい。The process begins at step 201 by generating a side image of a panoramic scene.
As before, each side image, when generated, can be represented by data indicating the color of the side image in a plurality of element areas (or pixels). However, if necessary (eg, when deriving side images from photographs), in step 201, each side image is divided into a plurality of element areas (or pixels), and for each element area, You may need to store color values. As shown in FIG. 21, each side image may be divided into a matrix. A given element area (or pixel) of a side image is
Unique row and column numbers associated with the image (iRow,
iCol). In addition, in step 201,
For each image, the number of rows in the image (indicated by imgHgt) and the number of columns in the image (indicated by imgWdt) are stored. FIG. 22 shows the information stored for each pixel of the side image. The information includes color data identifying the color of the pixel. The color data can represent the red, green, and blue components (true colors) of a pixel color or an index (palette color) into a color palette. The information stored for a given pixel may also include Z data representing the depth of the image at the given pixel. In addition, the information stored for each pixel may include additional data (M data) associated with the pixel. For example, the data may be operations associated with pixels, such as a hyperlink to another panorama, a command to play audio or a command to start an external application.

【００４４】サイド・イメージは、垂直方向の細いスリ
ットを使用して、レンズおよびスリットを垂直軸を中心
に回転させながら写真フィルムを露光させる仕組みのパ
ノラマカメラから得られたパノラマ写真をデジタル処理
することによって作成することができる。あるいはま
た、サイド・イメージは、写真フィルムの平坦または平
面区域に捕らえた従来の写真をデジタル処理することに
より、あるいは、コンピュータ・グラフィックス・レン
ダリング・アルゴリズムを三次元デジタル・モデルに適
用することにより、得ることができる。The side image is a digital processing of a panoramic photograph obtained from a panoramic camera using a thin vertical slit to expose a photographic film while rotating the lens and the slit about a vertical axis. Can be created by Alternatively, the side images can be obtained by digitally processing a conventional photograph captured on a flat or planar area of photographic film, or by applying a computer graphics rendering algorithm to a three-dimensional digital model. Obtainable.

【００４５】ステップ２０３で、パノラマシーンのトッ
プ・イメージおよび／またはボトム・イメージを生成す
る。従来どおり、トップ・イメージおよびボトム・イメ
ージは、生成されると、複数の要素区域（またはピクセ
ル）でイメージの色を示すデータによって表すことがで
きる。必要ならば（たとえば、トップ・イメージおよび
／またはボトム・イメージを写真から導出する場合）、
ステップ２０３で、トップ・イメージおよび／またはボ
トム・イメージを要素区域（またはピクセル）に分割
し、要素区域ごとに、要素区域におけるイメージの色値
を記憶する必要があるかもしれない。図２３に示すよう
に、トップ・イメージおよびボトム・イメージを行列に
分割してもよい。説明に際し、トップ・イメージだけを
示す。トップ・イメージおよびボトム・イメージの所与
の要素区域（またはピクセル）を、それぞれトップ・イ
メージおよびボトム・イメージと関連する一意の行番号
および列番号（tRow、tCol）または（bRow、bCol）によ
って指定する。加えて、ステップ２０３で、トップ・イ
メージおよび／またはボトム・イメージ中の行数（topH
gtおよびbotHgtで示す）ならびにトップ・イメージおよ
び／またはボトム・イメージ中の列数（topWdtおよびbo
tWdtで示す）を記憶する。In step 203, a top image and / or a bottom image of the panoramic scene is generated. As before, the top and bottom images, once generated, can be represented by data indicating the color of the image in a plurality of element areas (or pixels). If necessary (for example, when deriving a top and / or bottom image from a photo)
In step 203, the top image and / or the bottom image may be divided into element areas (or pixels), and for each element area, it may be necessary to store the color values of the image in the element areas. As shown in FIG. 23, the top image and the bottom image may be divided into a matrix. For explanation, only the top image is shown. Identify a given element area (or pixel) of the top and bottom images by unique row and column numbers (tRow, tCol) or (bRow, bCol) associated with the top and bottom images, respectively. I do. In addition, in step 203, the number of rows (topH) in the top and / or bottom image
gt and botHgt) and the number of columns in the top and / or bottom images (topWdt and bo
tWdt).

【００４６】図２４は、トップ・イメージ（またはボト
ム・イメージ）のピクセルごとに記憶される情報を示
す。情報は、ピクセルの色を識別する色データを含む。
色データは、ピクセルの色の赤、緑および青の各成分
（真色）または色パレットへのインデックス（パレット
色）を表すことができる。所与のピクセルについて記憶
される情報はまた、所与のピクセルでのイメージの深さ
を表すＺデータを含むことができる。加えて、ピクセル
ごとに記憶される情報は、ピクセルと関連するさらなる
データ（Ｍデータ）を含むこともできる。たとえば、デ
ータは、別のパノラマへのハイパリンク、音声を再生す
るためのコマンドまたは外部アプリケーションを開始す
るためのコマンドをはじめとする、ピクセルと関連する
動作であってもよい。FIG. 24 shows the information stored for each pixel of the top image (or bottom image). The information includes color data identifying the color of the pixel.
The color data can represent the red, green, and blue components (true colors) of a pixel color or an index (palette color) into a color palette. The information stored for a given pixel may also include Z data representing the depth of the image at the given pixel. In addition, the information stored for each pixel may include additional data (M data) associated with the pixel. For example, the data may be operations associated with pixels, such as a hyperlink to another panorama, a command to play audio or a command to start an external application.

【００４７】トップ・イメージおよびボトム・イメージ
は、カメラから得られたトップ・イメージおよびボトム
・イメージの従来の写真をデジタル処理することによっ
て作成することができる。あるいはまた、トップ・イメ
ージおよびボトム・イメージは、コンピュータ・グラフ
ィックス・レンダリング・アルゴリズムを三次元デジタ
ル・モデルに適用することによって生成することもでき
る。より具体的には、トップ・イメージおよびボトム・
イメージは、三次元シーンを、従来の円筒環境マップを
定義する円筒軸に垂直な面に投影することによって定義
することができる。トップ・イメージは、三次元シーン
を、円筒軸の原点よりも上の面に投影することによって
定義され、ボトム・イメージは、三次元シーンを、円筒
軸の原点よりも下に位置する面に投影することによって
定義される。The top and bottom images can be created by digitally processing conventional photographs of the top and bottom images obtained from the camera. Alternatively, the top and bottom images can be generated by applying a computer graphics rendering algorithm to the three-dimensional digital model. More specifically, top image and bottom image
An image can be defined by projecting a three-dimensional scene onto a plane perpendicular to the cylinder axis that defines a conventional cylindrical environment map. The top image is defined by projecting the 3D scene onto a plane above the origin of the cylinder axis, and the bottom image is projecting the 3D scene onto a plane below the origin of the cylinder axis. Is defined by

【００４８】ステップ２０５で、ステップ２０１で生成
したサイド・イメージごとに、所与のサイド・イメージ
に対応する円筒の列の範囲を決定する。より具体的に
は、各サイド・イメージを水平視野αによって特徴づけ
る。特定のサイド・イメージのイメージ・データを、θ
₁〜θ₂の方位角の範囲に対応する円筒の列にマッピング
する（ただし、θ₁は、先行のすべてのサイド・イメー
ジの水平視野の合計によって決まり、θ₂＝θ₁＋αであ
る）。したがって、現在のイメージの初期方位角θ₁お
よび最終方位角θ₂を与えられると、特定のサイド・イ
メージに対応する、得られる円筒イメージ中の列の範囲
が次式によって決定される。In step 205, for each side image generated in step 201, the range of the column of cylinders corresponding to the given side image is determined. More specifically, each side image is characterized by a horizontal field of view α. Convert the image data of a specific side image to θ
₁ through? ₂ of maps to a column of a cylinder corresponding to the range of the azimuth angle (where, theta ₁ is determined by the sum of the horizontal field of view of all the side image of the preceding, and _{θ 2 = θ 1 + α)} . Thus, given the initial azimuth θ ₁ and the final azimuth θ ₂ of the current image, the range of columns in the resulting cylindrical image corresponding to a particular side image is determined by:

【００４９】panCol１＝panHgt*θ₁/θ_MAX panCol２＝panHgt*θ₂/θ_MAX ただし、θ_MAXは、完全なパノラマの場合には２πに等
しく、部分パノラマの場合には２π未満である。PanCol1 = panHgt * θ ₁ / θ _MAX panCol2 = panHgt * θ ₂ / θ _MAX where θ _MAX is equal to 2π for a complete panorama and less than 2π for a partial panorama.

【００５０】加えて、ステップ２０５で、サイド・イメ
ージごとに、各サイド・イメージに対応する円筒の列の
数を記憶する。所与のサイド・イメージに対応する円筒
の列の数は、次式によって求められる。In addition, in step 205, for each side image, the number of rows of cylinders corresponding to each side image is stored. The number of rows of cylinders corresponding to a given side image is given by:

【００５１】numPanCol＝panCol２−panCol１NumPanCol = panCol2-panCol1

【００５２】ステップ２０７で、ステップ２０１で生成
したサイド・イメージごとに、特定のサイド・イメージ
と関連する、ステップ２０５で決定した列の範囲内の円
筒の各列を順に選択して、ステップ２０１で生成した現
在のサイド・イメージのデータ値ならびにステップ２０
３で生成したトップ・イメージおよび／またはボトム・
イメージのデータ値に基づいて充填する。好ましくは、
panCol１に初期化され、panCol２に達するまで１ステッ
プずつ漸増される列インデックスpanColを指定すること
により、個々の列を順に選択してゆく。以下、図２５を
参照しながら、特定の列に関する充填操作をより詳細に
説明する。In step 207, for each side image generated in step 201, each column of cylinders within the range of the column determined in step 205, which is associated with a specific side image, is sequentially selected. Generated current side image data values and step 20
3. The top image and / or bottom image generated in
Fill based on image data values. Preferably,
Individual columns are sequentially selected by designating a column index panCol which is initialized to panCol1 and gradually increased by one step until reaching panCol2. Hereinafter, the filling operation for a specific column will be described in more detail with reference to FIG.

【００５３】ステップ２０９で、各サイド・イメージに
対応する列の範囲を処理したのち、処理は終了する。In step 209, after processing the range of the column corresponding to each side image, the process ends.

【００５４】図２５は、円筒の特定の列に関する充填操
作をより詳細に示す。より具体的には、インデックスpa
nColによって指定する円筒の特定の列は、絶対角θおよ
び局所角度δに対応する。ただし、FIG. 25 shows the filling operation for a particular row of cylinders in more detail. More specifically, the index pa
The particular column of the cylinder specified by nCol corresponds to the absolute angle θ and the local angle δ. However,

【００５５】θ＝θ_MAX*panCol/panHgt δ＝θ−θ₁−（α／２）Θ = θ _MAX * panCol / panHgt δ = θ−θ ₁ − (α / 2)

【００５６】これらの角度の関係を図１３に示す。イン
デックスpanColによって指定される円筒上の個々の列に
ついて、次式によって求められる、インデックスimgCol
によって指定されるサイド・イメージ中の対応する列が
ある。FIG. 13 shows the relationship between these angles. For each column on the cylinder specified by the index panCol, the index imgCol, determined by:
There is a corresponding column in the side image specified by.

【００５７】[0057]

【数３】 (Equation 3)

【００５８】ステップ３０１で、panRowで示す円筒の各
行を選択し、円筒の現在の行panRowが、現在のサイド・
イメージに入るのか、トップ・イメージに入るのか、ボ
トム・イメージに入るのかを決定する。panRowの値は０
から（panWidth−１）である。ただし、panWidthは円筒
中の列数である。In step 301, each row of the cylinder indicated by panRow is selected, and the current row panRow of the cylinder is set to the current side row.
Determine whether to enter the image, the top image, or the bottom image. panRow value is 0
From (panWidth-1). Here, panWidth is the number of rows in the cylinder.

【００５９】ステップ３０３で、円筒の選択した行およ
び列に対応するピクセル・インデックスimgRowを決定す
る。図１４に示すように、円筒の壁は円筒軸から半径Ｒ
の距離に位置し、現在のサイド・イメージの対応する列
は円筒軸からＲ*sec（δ）の距離に位置しているため、
円筒の壁の行panRowのピクセルは、現在のサイド・イメ
ージでは、行imgRowのピクセルに対応する。At step 303, the pixel index imgRow corresponding to the selected row and column of the cylinder is determined. As shown in FIG. 14, the wall of the cylinder has a radius R from the cylinder axis.
And the corresponding column of the current side image is located at a distance of R * sec (δ) from the cylinder axis,
The pixels in row panRow of the cylindrical wall correspond to the pixels in row imgRow in the current side image.

【００６０】[0060]

【数４】 (Equation 4)

【００６１】ステップ３０５〜３０９で、ImgRowの値を
評価することにより、円筒の現在の行panRowが、現在の
サイド・イメージに入るのか、トップ・イメージに入る
のか、ボトム・イメージに入るのかを決定する。ImgRow
を評価し、そのような評価に基づく処理を実行したの
ち、ステップ３１０で、列の最後の行が処理されたかど
うかを決定する。処理されていないならば、処理はステ
ップ３０１に戻り、行インデックスpanRowを円筒の列中
の次の順番の行に設定する。その列の最後の行を選択し
たならば（panRow＝panWidth−１）、処理は終了する。In steps 305-309, it is determined whether the current row panRow of the cylinder is in the current side, top or bottom image by evaluating the value of ImgRow. I do. ImgRow
, And performing processing based on such an evaluation, step 310 determines whether the last row of the column has been processed. If not, the process returns to step 301, where the row index panRow is set to the next sequential row in the cylindrical column. If the last row of the column is selected (panRow = panWidth-1), the process ends.

【００６２】ステップ３０５で、imgRowの値がimgHgt以
上であるならば、円筒の行panRowはトップ・イメージに
入る。この場合、ステップ３１１で、円筒の現在の行Pa
nRowおよび列panColに対応する、インデックスtRowおよ
びtColによって識別されるトップ・イメージの要素（ピ
クセル）を決定し、ステップ３１３で、好ましくは、イ
ンデックスpanRow、panColによって識別される円筒環境
マップのピクセルの色を、インデックスtRow、tColによ
って識別されるトップ・イメージのピクセルの色に対応
するように設定する。At step 305, if the value of imgRow is greater than or equal to imgHgt, the cylindrical row panRow enters the top image. In this case, in step 311, the current line Pa of the cylinder is
Determine the element (pixel) of the top image identified by the index tRow and tCol, corresponding to nRow and column panCol, and in step 313, preferably the color of the pixel of the cylindrical environment map identified by the index panRow, panCol Is set to correspond to the color of the pixel in the top image identified by the index tRow, tCol.

【００６３】ステップ３０７で、imgRowの値が０未満で
あるならば、円筒の行panRowはボトム・イメージに入
る。この場合、ステップ３１５で、円筒の現在の行panR
owおよび列panColに対応する、インデックスbRowおよび
bColによって識別されるボトム・イメージの要素（ピク
セル）を決定し、ステップ３１７で、好ましくは、イン
デックスpanRow、panColによって識別される円筒環境マ
ップのピクセルの色を、インデックスbRow、bColによっ
て識別されるボトム・イメージのピクセルの色に対応す
るように設定する。At step 307, if the value of imgRow is less than 0, the cylindrical row panRow enters the bottom image. In this case, in step 315, the current line panR of the cylinder
index bRow and corresponding to ow and column panCol
The element (pixel) of the bottom image identified by bCol is determined, and in step 317, preferably the color of the pixel of the cylindrical environment map identified by the index panRow, panCol, and the bottom identified by the index bRow, bCol -Set to correspond to the pixel color of the image.

【００６４】ステップ３０９では、imgRowの値が０〜im
gHgtの範囲であり、したがって、円筒の行panRowは現在
のサイド・イメージに入る。この場合、インデックスpa
nRowおよびpanColによって識別される円筒環境マップの
ピクセルは、インデックスimgRow、imgColによって識別
される現在のサイド・イメージのピクセルに対応する。
ステップ３０９で、好ましくは、インデックスpanRow、
panColによって識別される円筒環境マップのピクセルの
色を、インデックスimgRow、imgColによって識別される
現在のサイド・イメージのピクセルの色に対応するよう
に設定する。In step 309, the value of imgRow is 0 to im
gHgt range, so the cylindrical row panRow falls into the current side image. In this case, the index pa
The pixels of the cylindrical environment map identified by nRow and panCol correspond to the pixels of the current side image identified by the indexes imgRow, imgCol.
In step 309, preferably the index panRow,
Set the color of the pixel in the cylindrical environment map identified by panCol to correspond to the color of the pixel in the current side image identified by index imgRow, imgCol.

【００６５】以下、図２６を参照して、円筒の現在の行
panRowおよび列panColに対応するトップ・イメージまた
はボトム・イメージの要素（ピクセル）を決定する際の
システムの動作を説明する。ステップ４０１で、処理
は、トップ（またはボトム）イメージ中の対応する点の
半径を決定することによって始まる。これは、トップ・
イメージ中の点に関して図１５に示されている。この場
合、トップ・イメージ中の点の半径は、次式によって求
められる。Referring now to FIG. 26, the current row of the cylinder
The operation of the system in determining the elements (pixels) of the top or bottom image corresponding to panRow and column panCol will be described. In step 401, processing begins by determining the radius of a corresponding point in the top (or bottom) image. This is the top
The points in the image are shown in FIG. In this case, the radius of the point in the top image is obtained by the following equation.

【００６６】Ｒtop＝Ｒ*（panHgt／２）／（panRow−
（panHgt／２））Rtop = R * (panHgt / 2) / (panRow−
(PanHgt / 2))

【００６７】ボトム・イメージ中の点の半径は、次式に
よって求められる。The radius of a point in the bottom image is obtained by the following equation.

【００６８】Ｒbot＝Ｒ*（panHgt／２）／（（panHgt／
２）−panRow）Rbot = R * (panHgt / 2) / ((panHgt /
2) -panRow)

【００６９】この場合には、円筒をＲ＝１の単位円とし
て扱うことができる。得られるＲtopおよびＲbotの値は
常に１．０よりも大きくなり、単位円の外の点に対応す
る。In this case, the cylinder can be treated as a unit circle with R = 1. The resulting values of Rtop and Rbot are always greater than 1.0 and correspond to points outside the unit circle.

【００７０】ステップ４０３で、トップ半径Ｒtop（ま
たはボトム半径Ｒbot）を決定したのち、図１６に示す
トップ（またはボトム）イメージ中の点を識別するイン
デックスを決定する。トップ・イメージ中の点の場合、
トップ・イメージ中の色値の行および列インデックス
は、次式によって決定することができる。After the top radius Rtop (or bottom radius Rbot) is determined in step 403, an index for identifying a point in the top (or bottom) image shown in FIG. 16 is determined. For points in the top image,
The row and column indices of the color values in the top image can be determined by:

【００７１】 tRow＝topHgt＊（１．０−Rtop＊sin（θ）） tCol＝topWdt＊（１．０＋Rtop＊cos（θ）） ただし、topHgtおよびtopWdtは、トップ・イメージの行
および列の寸法である。TRow = topHgt * (1.0−Rtop * sin (θ)) tCol = topWdt * (1.0 + Rtop * cos (θ)) where topHgt and topWdt are the row and column dimensions of the top image. is there.

【００７２】同様に、ボトム・イメージ中の点の行およ
び列のインデックスは、次式によって決定することがで
きる。Similarly, the row and column indices of points in the bottom image can be determined by:

【００７３】 bRow＝botHgt＊（１．０−Rbot＊sin（θ）） bCol＝botWdt＊（１．０−Rbot＊cos（θ））BRow = botHgt * (1.0−Rbot * sin (θ)) bCol = botWdt * (1.0−Rbot * cos (θ))

【００７４】上述したように、インデックス（tRow、tC
ol）および（bRow、bCol）によって指定される点は、円
筒の壁の上縁および下縁に対応する内接円の外に位置す
るトップ・イメージおよびボトム・イメージ中のピクセ
ルに対応する。好ましくは、この円の外にあるトップ
（またはボトム）イメージの点の、円筒環境マップへの
マッピングは、以下に記す、パノラマデータを視るため
に使用される投影アルゴリズムによって扱う。As described above, the indexes (tRow, tC
The points specified by (ol) and (bRow, bCol) correspond to pixels in the top and bottom images located outside the inscribed circles corresponding to the upper and lower edges of the cylindrical wall. Preferably, the mapping of points of the top (or bottom) image outside this circle to the cylindrical environment map is handled by the projection algorithm used to view panoramic data, described below.

【００７５】パノラマシーンのトップ・イメージおよび
／またはボトム・イメージを定義するデータによって円
筒環境マップを補足する機構を述べたところで、次に、
図２７を参照して、本発明の改良された円筒環境マップ
を表示のためにレンダリングする技法を説明する。Having described the mechanism for supplementing the cylindrical environment map with data defining the top and / or bottom images of the panoramic scene,
Referring to FIG. 27, a technique for rendering the improved cylindrical environment map for display of the present invention is described.

【００７６】ステップ５０１で、視野を決定する。視野
は、好ましくは、以下のパラメータ、すなわち方位角
θ、投影イメージの中心の仰角φ、水平視野αおよび垂
直視野βによって特徴づける。選択したパラメータは、
図１７に示すものである。パラメータは、たとえばコン
ピュータ・システムの入力装置１０７を操作するユーザ
に応答して生成されたユーザ入力コマンドに基づいて選
択してもよい。In step 501, the visual field is determined. The field of view is preferably characterized by the following parameters: azimuth angle θ, elevation angle φ of the center of the projected image, horizontal field α and vertical field β. The selected parameters are
This is shown in FIG. The parameters may be selected, for example, based on user input commands generated in response to a user operating input device 107 of the computer system.

【００７７】ステップ５０３で、円筒環境マップを、視
野に対応するビュー・ウィンドウにマッピングする。マ
ッピング処理は、ビュー・ウィンドウを、図１７に示す
ようなncolの等間隔の列に分割することによって始ま
る。ncol列それぞれは、０〜ncol−１の範囲のインデッ
クスicolによって識別することができ、次式によって求
められる角度δに対応する。At step 503, the cylindrical environment map is mapped to a view window corresponding to the visual field. The mapping process begins by dividing the view window into ncol equally spaced columns as shown in FIG. Each ncol column can be identified by an index icol in the range 0-ncol-1 and corresponds to an angle δ determined by the following equation.

【００７８】δ＝tan−１（tan（α／２）＊（width−
２＊icol）／（２＊width）） ただし、width＝ncol−１はビュー・ウィンドウの幅で
ある。Δ = tan−1 (tan (α / 2) * (width−
2 * icol) / (2 * width)) where width = ncol-1 is the width of the view window.

【００７９】ビュー・ウィンドウのncol列の列（icol）
ごとに、列icolに対応する円筒環境マップの列panColを
決定する。好ましくは、列icolに対応する円筒環境マッ
プの列panColは、次式によって決定する。Column (icol) of ncol column of view window
In each case, the column panCol of the cylindrical environment map corresponding to the column icol is determined. Preferably, the column panCol of the cylindrical environment map corresponding to the column icol is determined by:

【００８０】panCol＝panHgt＊(θ＋δ）／θ_MAX PanCol = panHgt * (θ + δ) / θ _MAX

【００８１】加えて、ビュー・ウィンドウの列icolの中
のnrowピクセルを選択し、処理する。好ましくは、列中
のnrowピクセルは、図１８に示すように、円筒軸から距
離Ｒpan／cos（８）のところで円筒軸に平行な線に沿っ
て均一に離間している。nrowピクセルそれぞれには、０
（ビュー・ウィンドウのボトム）〜nrow−１（ビュー・
ウィンドウのトップ）の範囲を有するインデックスirow
を割り当てることができる。以下、図２８を参照して、
ビュー・ウィンドウの選択した列（icolで示す）のnrow
ピクセルの処理を詳細に説明する。In addition, select and process nrow pixels in column icol of the view window. Preferably, the nrow pixels in the column are evenly spaced along a line parallel to the cylinder axis at a distance Rpan / cos (8) from the cylinder axis, as shown in FIG. 0 for each nrow pixel
(Bottom of view window)-nrow-1 (view
Index irow with range (top of window)
Can be assigned. Hereinafter, referring to FIG.
Nrow of selected column (indicated by icol) in view window
The processing of the pixel will be described in detail.

【００８２】図２７の最後のステップ５０５で、円筒環
境マップの列をビュー・ウィンドウにマッピングしたの
ち、ビュー・ウィンドウを表示装置または表示装置の一
部にマッピングすることができる。このようなマッピン
グは、ビュー・ウィンドウを表示装置の座標系に対して
スケーリングし、平行移動させることを要するかもしれ
ない。このようなスケーリングおよび平行移動の技法は
当該分野で周知である。しかし、システムの性能を高め
るため、スケーリング処理を避けてもよい。この場合、
ビュー・ウィンドウのピクセルを表示ウィンドウのピク
セルに整合させなければならない。In a final step 505 of FIG. 27, after mapping the columns of the cylindrical environment map to the view window, the view window can be mapped to a display device or a portion of a display device. Such mapping may require scaling and translating the view window with respect to the display coordinate system. Such scaling and translation techniques are well-known in the art. However, the scaling process may be avoided to improve the performance of the system. in this case,
The pixels of the view window must be aligned with the pixels of the display window.

【００８３】図２８は、円筒環境マップをビュー・ウィ
ンドウの選択した列（icol）のnrowピクセルにマッピン
グする際のシステムの動作を示す。上述したように、列
icolに対応する円筒環境マップの列panColは、次式によ
って決定する。FIG. 28 illustrates the operation of the system in mapping a cylindrical environment map to nrow pixels in a selected column (icol) of a view window. As mentioned above, the columns
The column panCol of the cylindrical environment map corresponding to icol is determined by the following equation.

【００８４】panCol＝panHgt＊（θ＋δ）／θ_MAX PanCol = panHgt * (θ + δ) / θ _MAX

【００８５】ステップ６０１で、処理は、選択された列
icolについて、それぞれtopRowおよびbotRowで示す、円
筒の上縁および下縁に対応するビュー・ウィンドウの行
を決定することによって始まる。topRowおよびbotRowの
値は、好ましくは、次式によって決定する。In step 601, the processing proceeds to the selected column
For icol, one begins by determining the rows of the view window corresponding to the top and bottom edges of the cylinder, denoted by topRow and botRow, respectively. The values of topRow and botRow are preferably determined by the following equation.

【００８６】topRow＝ctrRow＋（０．５＊panHgt／pxlS
ize）＊sec（δ） botRow＝ctrRow−（０．５＊panHgt／pxlSize）＊sec
（δ） ただし、pxlSize＝２＊Ｒpan＊tan（α／２）widthは、
正方形のピクセル（垂直方向のピクセルサイズが水平方
向のピクセルサイズに等しい）を仮定してのピクセルの
サイズである。TopRow = ctrRow + (0.5 * panHgt / pxlS)
ize) * sec (δ) botRow = ctrRow- (0.5 * panHgt / pxlSize) * sec
(Δ) where pxlSize = 2 * Rpan * tan (α / 2) width is
Pixel size assuming square pixels (vertical pixel size equals horizontal pixel size).

【００８７】上述したtopRowおよびbotRowの値は、ビュ
ー・ウィンドウの中心ピクセルctrRowの位置に依存す
る。垂直方向のビューの動きがないならば（ビュー仰角
φがゼロに等しいならば）、中心線ctrRowのピクセル・
インデックスは次式によって求められる。The above values of topRow and botRow depend on the position of the center pixel ctrRow of the view window. If there is no vertical view movement (if the view elevation φ is equal to zero), the pixel of the centerline ctrRow
The index is obtained by the following equation.

【００８８】ctrRow＝０．５＊高さCtrRow = 0.5 * height

【００８９】ビューの高さが変化すると、ビュー・ウィ
ンドウの中心は、次式によって決定される円筒の行に対
応する。As the height of the view changes, the center of the view window corresponds to the row of cylinders determined by:

【００９０】zMid＝Ｒpan＊tan（φ）ZMid = Rpan * tan (φ)

【００９１】その結果、ゼロ高さに対応するビュー・ウ
ィンドウの行は次式のようになる。As a result, the row of the view window corresponding to the zero height is as follows.

【００９２】ctrRow＝０．５＊高さ−zMid／pxlSizeCtrRow = 0.5 * height-zMid / pxlSize

【００９３】ステップ６０３で、ビュー・ウィンドウの
nrowピクセルのいずれかが円筒の下縁よりも下に位置す
る（したがってボトム・イメージの中にある）かどうか
を決定し、そのように位置するならば、円筒の下縁より
も下に位置するビュー・ウィンドウのピクセルを処理す
る。好ましくは、０よりも大きいbotRowの値は、ビュー
・ウィンドウの１個以上のピクセルが円筒の下縁よりも
下に位置し、したがってボトム・イメージの中にあると
いうことを示す。この場合、botRowの値が０よりも大き
いならば、０〜botRow−１の範囲のピクセルは円筒の下
縁よりも下に位置する。円筒の下縁よりも下に位置する
ピクセルの処理についてはあとで説明する。At step 603, the view window
Determines if any of the nrow pixels are below the bottom edge of the cylinder (and therefore in the bottom image), and if so, is below the bottom edge of the cylinder Process the pixels in the view window. Preferably, a value of botRow greater than 0 indicates that one or more pixels of the view window are located below the lower edge of the cylinder, and thus are in the bottom image. In this case, if the value of botRow is greater than 0, pixels in the range 0-botRow-1 will be located below the lower edge of the cylinder. Processing of pixels located below the lower edge of the cylinder will be described later.

【００９４】ステップ６０５で、ビュー・ウィンドウの
nrowピクセルのいずれかが円筒の上縁よりも上に位置す
る（したがってトップ・イメージの中にある）かどうか
を決定し、そのように位置するならば、円筒の上縁より
も上に位置するビュー・ウィンドウのピクセルを処理す
る。好ましくは、nrow−１よりも小さいtopRowの値は、
ビュー・ウィンドウの１個以上のピクセルが円筒の上縁
よりも上に位置し、したがってトップ・イメージの中に
あるということを示す。この場合、topRowの値がnrow−
１よりも小さいならば、topRow〜nrow−１の範囲のピク
セルは円筒の上縁よりも上に位置する。円筒の上縁より
も上に位置するピクセルの処理についてはあとで説明す
る。In step 605, the view window
Determines if any of the nrow pixels are above the top edge of the cylinder (and therefore in the top image), and if so, is above the top edge of the cylinder Process the pixels in the view window. Preferably, the value of topRow less than nrow-1 is
Indicates that one or more pixels of the view window are located above the top edge of the cylinder and are therefore in the top image. In this case, the value of topRow is nrow-
If less than one, pixels in the range topRow to nrow-1 are located above the top edge of the cylinder. Processing of pixels located above the upper edge of the cylinder will be described later.

【００９５】最後に、ステップ６０７で、円筒の下縁よ
りも下に位置しないし、円筒の上縁よりも上に位置しな
い（したがって円筒環境マップの中にある）ビュー・ウ
ィンドウのnrowピクセルを処理する。好ましくは、円筒
の下縁よりも下に位置しないし、円筒の上縁よりも上に
位置しないnrowピクセルは、botRow〜topRow−１の範囲
に位置する。円筒の上縁よりも上に位置しないし、円筒
の下縁よりも下に位置しないピクセルの処理については
あとで説明する。Finally, step 607 processes the nrow pixels of the view window that are not below the bottom edge of the cylinder or above the top edge of the cylinder (and thus are in the cylinder environment map). I do. Preferably, nrow pixels that are not below the bottom edge of the cylinder or above the top edge of the cylinder are located in the range botRow to topRow-1. Processing of pixels that are not located above the top edge of the cylinder or below the bottom edge of the cylinder will be described later.

【００９６】次に、円筒の上縁よりも上に位置するピク
セルの処理を説明する。上述したように、円筒の上縁よ
りも上に位置するピクセルは、topRow〜nrow−１の範囲
にあるインデックスicolによって識別することができ
る。この場合、topRow〜nrow−１の範囲にあるインデッ
クスicolによって識別されたピクセルごとに、ピクセル
に対応するトップ半径Ｒtopの値を、トップ・イメージ
中のピクセルの行インデックスおよび列インデックス
（tRowおよびtCol）とともに決定する。好ましくは、ト
ップ半径Ｒtopは次式によって求められる。Next, processing of pixels located above the upper edge of the cylinder will be described. As described above, pixels located above the top edge of the cylinder can be identified by an index icol in the range topRow to nrow-1. In this case, for each pixel identified by an index icol in the range topRow to nrow-1, the value of the top radius Rtop corresponding to the pixel is determined by the row index and column index (tRow and tCol) of the pixel in the top image. Decide with. Preferably, the top radius Rtop is determined by the following equation.

【００９７】Ｒtop＝Ｒpan＊sec（δ）*（０．５＊panW
idth）／（irow−ctrRow）Rtop = Rpan * sec (δ) * (0.5 * panW
idth) / (irow-ctrRow)

【００９８】これは、図１９に示す、一方が幅Ｒpan＊s
ec（δ）および高さ（irow−ctrRow）を有し、もう一方
が幅Ｒtopおよび高さ（０．５＊panHgt）を有する相似
形の直角三角形どうしの比較に基づく。この場合には、
必要なすべてはＲtopとＲpanとの比率であり、Ｒtopの
計算は次式のように簡約される。This is shown in FIG. 19, one of which is width Rpan * s.
Based on a comparison of similar right triangles with ec (δ) and height (irow-ctrRow), the other having width Rtop and height (0.5 * panHgt). In this case,
All that is needed is the ratio of Rtop to Rpan, and the calculation of Rtop is simplified as:

【００９９】Ｒtop＝radRow／（irow−ctrRow） ただし、radRow＝０．５＊panHgt＊sec（δ）は、１例
のピクセルに対する定数である（定数デルタ）。Rtop = radRow / (irow-ctrRow) where radRow = 0.5 * panHgt * sec (δ) is a constant for one example pixel (constant delta).

【０１００】トップ・イメージ中のピクセルの行インデ
ックスおよび列インデックス（tRow、tCol）は、好まし
くは、次式によって決定される。The row and column indices (tRow, tCol) of the pixels in the top image are preferably determined by:

【０１０１】 tRow＝topHgt＊（１．０−Ｒtop＊sin（θ＋δ）） tCol＝topWdt＊（１．０＋Ｒtop＊cos（θ＋δ））TRow = topHgt * (1.0−Rtop * sin (θ + δ)) tCol = topWdt * (1.0 + Rtop * cos (θ + δ))

【０１０２】最後に、好ましくは、インデックスirow、
icolによって識別されるビュー・ウィンドウのピクセル
の色を、インデックスtRow、tColによって識別されるト
ップ・イメージのピクセルの色に対応するように設定す
る。Finally, preferably, the index irow,
Set the color of the pixel in the view window identified by icol to correspond to the color of the pixel in the top image identified by index tRow, tCol.

【０１０３】次に、円筒の下縁よりも下に位置するピク
セルの処理を説明する。上述したように、円筒の下縁よ
りも下に位置するピクセルは、０〜botRow−１の範囲に
あるインデックスicolによって識別することができる。
この場合、０〜botRow−１の範囲にあるインデックスic
olによって識別されたピクセルごとに、ピクセルに対応
するボトム半径Ｒbotの値を、ボトム・イメージ中のピ
クセルの行インデックスおよび列インデックス（bRowお
よびbCol）とともに決定する。Next, processing of pixels located below the lower edge of the cylinder will be described. As mentioned above, pixels located below the lower edge of the cylinder can be identified by an index icol in the range 0-botRow-1.
In this case, the index ic in the range of 0 to botRow-1
For each pixel identified by ol, determine the value of the bottom radius Rbot corresponding to the pixel, along with the row and column indices (bRow and bCol) of the pixel in the bottom image.

【０１０４】好ましくは、ボトム半径Ｒbotは次式によ
って求められる。Preferably, the bottom radius Rbot is determined by the following equation.

【０１０５】Ｒbot＝radRow／（ctrRow−irow）Rbot = radRow / (ctrRow-irow)

【０１０６】ボトム・イメージ中のピクセルの行インデ
ックスおよび列インデックス（bRow、bCol）は、好まし
くは、次式によって決定される。The row and column indices (bRow, bCol) of the pixels in the bottom image are preferably determined by:

【０１０７】 bRow＝topHgt＊（１．０−Rtop＊sin（θ＋δ）） bCol＝topWdt＊（１．０＋Rtop＊cos（θ＋δ））BRow = topHgt * (1.0−Rtop * sin (θ + δ)) bCol = topWdt * (1.0 + Rtop * cos (θ + δ))

【０１０８】最後に、好ましくは、インデックスirow、
icolによって識別されるビュー・ウィンドウのピクセル
の色を、インデックスbRow、bColによって識別されるボ
トム・イメージのピクセルの色に対応するように設定す
る。Finally, preferably, the index irow,
Set the color of the pixel in the view window identified by icol to correspond to the color of the pixel in the bottom image identified by index bRow, bCol.

【０１０９】次に、円筒の上縁よりも上に位置しない
し、円筒の下縁よりも下に位置しないピクセルの処理を
説明する。円筒の上縁よりも上に位置しないし、円筒の
下縁よりも下に位置しないピクセルごとに、ビュー・ウ
ィンドウの行irowに対応する円筒環境マップの行panRow
を次式によって求める。Next, processing of a pixel which is not located above the upper edge of the cylinder and which is not located below the lower edge of the cylinder will be described. For each pixel that is not above the top edge of the cylinder or below the bottom edge of the cylinder, the row panRow of the cylinder environment map that corresponds to the row irow of the view window
Is determined by the following equation.

【０１１０】[0110]

【数５】 (Equation 5)

【０１１１】そして、好ましくは、インデックスirow、
icolによって識別されるビュー・ウィンドウのピクセル
の色を、インデックスpanRow、panColによって識別され
る円筒環境マップのピクセルの色に対応するように設定
する。Preferably, the index irow,
Set the color of the pixel in the view window identified by icol to correspond to the color of the pixel in the cylindrical environment map identified by the index panRow, panCol.

【０１１２】ビュー・ウィンドウに対するトップ・イメ
ージおよびボトム・イメージの投影を決定するための計
算は、ビュー・ウィンドウに対する円筒環境マップの投
影を決定するのに要する計算よりも困難である。これ
は、投影イメージの大きな部分をトップ・イメージおよ
び／またはボトム・イメージ中の点によって決定する場
合、性能の損失をもたらすおそれがある。投影イメージ
の小さな部分だけをトップ・イメージおよび／またはボ
トム・イメージ中のピクセルによって決定する場合、性
能の損失は非常に小さい。円筒の単位円の外に位置する
トップ点およびボトム点については性能の損失はない。The calculations to determine the projection of the top and bottom images on the view window are more difficult than the calculations required to determine the projection of the cylindrical environment map on the view window. This can result in a loss of performance if a large portion of the projected image is determined by points in the top and / or bottom images. If only a small portion of the projected image is determined by pixels in the top and / or bottom images, the performance loss is very small. There is no performance loss for top and bottom points located outside the unit circle of the cylinder.

【０１１３】トップ・イメージおよびボトム・イメージ
から導出されるピクセルのインデックスの計算は、サイ
ンおよびコサイン三角関数に依存するが、これらの関数
の引き数は、行インデックスではなく、列インデックス
（角度δ）だけに依存する。その結果、好ましいこと
に、これらの値は列あたり１回計算するだけでよい。The calculation of the indices of the pixels derived from the top and bottom images depends on the sine and cosine trigonometric functions, whose arguments are not the row indices but the column indices (angle δ). Only depends on. Consequently, preferably, these values need only be calculated once per column.

【０１１４】好都合には、トップ・イメージおよびボト
ム・イメージを円筒環境マップに統合することにより、
本発明は、データをわずかしか増さずに、視野を増大さ
せることができる。Advantageously, by integrating the top and bottom images into a cylindrical environment map,
The present invention can increase the field of view with only a small increase in data.

【０１１５】本発明のもう一つの態様では、サーバが、
本発明の円筒環境マップを含む１個以上のファイルを記
憶することが可能である。ネットワークを介してサーバ
に接続されたクライアントが、サーバからファイルをダ
ウンロードし、上述した本発明のレンダリング処理を実
行することができる。しかし、ネットワークを介してフ
ァイルを通信するステップは、ネットワーク通信帯域幅
の制限のため、非常に遅いかもしれない。これは、結果
的に、ネットワーク通信ステップの開始と、表示装置の
表示ウィンドウ中のイメージの出現との間に長い遅延を
もたらすかもしれない。In another aspect of the invention, the server comprises:
It is possible to store one or more files containing the cylindrical environment map of the present invention. A client connected to the server via the network can download a file from the server and execute the above-described rendering processing of the present invention. However, communicating files over a network may be very slow due to network communication bandwidth limitations. This may result in a long delay between the start of the network communication step and the appearance of the image in the display window of the display device.

【０１１６】そのようなネットワーク通信遅延の影響を
最小限にするため、異なる解像度の複数の円筒環境マッ
プによって、サーバに記憶された本発明の円筒環境マッ
プを表すこともできる。低めの解像度の環境マップは、
高めの解像度の環境マップよりも含むデータが少なく、
したがって、ネットワークを介して通信するのに要する
時間が少ない。他の画像処理操作に常であるように、低
めの解像度の円筒環境は、１個以上のより高い解像度の
円筒環境マップから作成することができる。たとえば、
第一の円筒環境マップの要素（ピクセル）数の１／４を
有する低めの解像度の円筒環境マップは、第一の円筒環
境マップ中のピクセルの各２×２ブロックを平均するこ
とによって作成することができる。In order to minimize the influence of such network communication delay, the cylindrical environment map of the present invention stored in the server can be represented by a plurality of cylindrical environment maps of different resolutions. The lower resolution environment map
It contains less data than a higher resolution environment map,
Therefore, the time required for communication via the network is short. As is common with other image processing operations, a lower resolution cylindrical environment can be created from one or more higher resolution cylindrical environment maps. For example,
A lower resolution cylindrical environment map having １ ／ of the number of elements (pixels) of the first cylindrical environment map is created by averaging each 2 × 2 block of pixels in the first cylindrical environment map. Can be.

【０１１７】このシナリオでは、クライアントは、ま
ず、最低解像度の環境マップを要求して受け取り、その
最低解像度の環境マップをレンダリングするように制御
される。最低解像度の環境マップをレンダリングしたの
ち（またはそれと並行に）、クライアントは、より高い
解像度の環境マップを要求して受け取り、そのより高い
解像度の環境マップをレンダリングすることができる。
最高解像度の環境マップがクライアントによって受け取
られ、表示のためにレンダリングされるまで、この処理
を繰り返すことができる。In this scenario, the client is first controlled to request and receive the lowest resolution environment map and render the lowest resolution environment map. After (or in parallel with) rendering the lowest resolution environment map, the client can request and receive a higher resolution environment map and render the higher resolution environment map.
This process can be repeated until the highest resolution environment map is received by the client and rendered for display.

【０１１８】クライアントおよびサーバが、異なる解像
度を有する複数の環境マップを操作する際の処理の詳細
を図２９〜３１に示す。この例では、サーバは、それぞ
れ異なる解像度を有する複数の環境マップＬＯＤ０、Ｌ
ＯＤ１、ＬＯＤ２等々を記憶している。最低解像度のマ
ップをＬＯＤ０とする。環境マップＬＯＤ１、ＬＯＤ２
等々は、それらの解像度が漸増している。そのうえ、ク
ライアントの動作は、２個のスレッド、すなわち表示ス
レッドと通信スレッドとに分割されている。しかし、ク
ライアントの動作はこれに限定されず、１個のスレッド
に統合してもよいし、３個以上のスレッドに分割しても
よい。The details of the processing when the client and the server operate a plurality of environment maps having different resolutions are shown in FIGS. In this example, the server transmits a plurality of environment maps LOD0 and LOD0 each having a different resolution.
OD1, LOD2, etc. are stored. The map with the lowest resolution is LOD0. Environment map LOD1, LOD2
And so on, their resolution is gradually increasing. Moreover, the operation of the client is divided into two threads, a display thread and a communication thread. However, the operation of the client is not limited to this, and may be integrated into one thread or divided into three or more threads.

【０１１９】クライアントの動作は、たとえば、ユーザ
が、サーバに記憶された環境マップを表示する要求を開
始したときに始まる。この要求は、サーバを識別するハ
イパリンクの一部であってもよいし、サーバに記憶され
た制御ファイルＣＦ０であってもよい。この場合、好ま
しくは、制御ファイルＣＦ０を、サーバに記憶された複
数の他の制御ファイル（ＣＦ１、ＣＦ２等々）ととも
に、サーバからクライアントにダウンロードすべき異な
る解像度の環境マップの連鎖を識別するためのリンク・
リスト・データ構造として使用する。より具体的には、
制御ファイルＣＦ０は、環境マップＬＯＤ０へのポイン
タおよび制御ファイルＣＦ１へのポインタを含み、制御
ファイルＣＦ１は、環境マップＬＯＤ１へのポインタお
よび制御ファイルＣＦ２へのポインタを含む。以下も同
様である。The operation of the client begins, for example, when a user initiates a request to display an environment map stored on a server. This request may be part of a hyperlink that identifies the server, or may be a control file CF0 stored on the server. In this case, the control file CF0 is preferably linked with a plurality of other control files (CF1, CF2, etc.) stored on the server to identify a chain of different resolution environment maps to be downloaded from the server to the client.・
Used as a list data structure. More specifically,
The control file CF0 includes a pointer to the environment map LOD0 and a pointer to the control file CF1, and the control file CF1 includes a pointer to the environment map LOD1 and a pointer to the control file CF2. The same applies to the following.

【０１２０】この場合、クライアントは、ユーザの要求
に応答して、サーバから制御ファイルＣＦ０を要求す
る。サーバから制御ファイルＣＦ０を受け取ると、クラ
イアントは、制御ファイルＣＦ０で識別される最低解像
度環境マップＬＯＤ０をサーバから要求する。In this case, the client requests the control file CF0 from the server in response to the user's request. Upon receiving the control file CF0 from the server, the client requests the minimum resolution environment map LOD0 identified by the control file CF0 from the server.

【０１２１】最低解像度の環境マップＬＯＤ０をサーバ
から受け取ると、クライアントは、その最低解像度環境
マップＬＯＤ０を局所的に記憶し、最低解像度環境マッ
プＬＯＤ０を表示のためにレンダリングし、好ましく
は、ユーザがその最低解像度環境マップＬＯＤ０の中で
ナビゲートすることを許す。加えて、クライアントは、
サーバから制御ファイルＣＦ１を要求する。上述したよ
うに、制御ファイルＣＦ１は、好ましくは、次に高い解
像度の環境マップＬＯＤ１および制御ファイルＣＦ２
（必要があるならば）へのポインタを含む。Upon receiving the lowest resolution environment map LOD0 from the server, the client stores the lowest resolution environment map LOD0 locally, renders the lowest resolution environment map LOD0 for display, and preferably, the user Allows navigating within the lowest resolution environment map LOD0. In addition, the client
The control file CF1 is requested from the server. As described above, the control file CF1 preferably stores the next higher resolution environment map LOD1 and the control file CF2.
Contains a pointer to (if necessary).

【０１２２】制御ファイルＣＦ１をサーバから受け取る
と、クライアントは、制御ファイルＣＦ１で識別される
次に高い解像度の環境マップＬＯＤ１をサーバから要求
する。次に高い解像度の環境マップＬＯＤ１をサーバか
ら受け取ると、クライアントは、その環境マップＬＯＤ
１を局所的に記憶する。加えて、クライアントは、最低
解像度の環境マップＬＯＤ０のナビゲーションを中止
し、次に高い解像度の環境マップＬＯＤ１を表示のため
にレンダリングし、好ましくは、ユーザがその環境マッ
プＬＯＤ１の中でナビゲートすることを許す。加えて、
クライアントは、サーバから制御ファイルＣＦ２を要求
する。上述したように、制御ファイルＣＦ２は、好まし
くは、次に高い解像度の環境マップＬＯＤ２および制御
ファイルＣＦ３（必要があるならば）へのポインタを含
む。Upon receiving the control file CF1 from the server, the client requests the next higher resolution environment map LOD1 identified by the control file CF1 from the server. Upon receiving the next higher resolution environment map LOD1 from the server, the client sends the environment map LOD1.
1 is stored locally. In addition, the client stops navigating the lowest resolution environment map LOD0 and renders the next higher resolution environment map LOD1 for display, preferably wherein the user navigates within that environment map LOD1. Forgive. in addition,
The client requests the control file CF2 from the server. As described above, the control file CF2 preferably includes a pointer to the next higher resolution environment map LOD2 and control file CF3 (if needed).

【０１２３】制御ファイルＣＦ２をサーバから受け取る
と、クライアントは、制御ファイルＣＦ２で識別される
次に高い解像度の環境マップＬＯＤ２をサーバから要求
する。次に高い解像度の環境マップＬＯＤ２をサーバか
ら受け取ると、クライアントは、その環境マップＬＯＤ
２を局所的に記憶する。加えて、クライアントは、環境
マップＬＯＤ１のナビゲーションを中止し、次に高い解
像度の環境マップＬＯＤ２を表示のためにレンダリング
し、好ましくは、ユーザがその環境マップＬＯＤ２の中
でナビゲートすることを許す。Upon receiving the control file CF2 from the server, the client requests the next higher resolution environment map LOD2 identified by the control file CF2 from the server. Upon receiving the next higher resolution environment map LOD2 from the server, the client sends the environment map LOD2.
2 is stored locally. In addition, the client stops navigating the environment map LOD1, renders the next higher resolution environment map LOD2 for display, and preferably allows the user to navigate within the environment map LOD2.

【０１２４】最高解像度の環境マップがクライアントに
よって受け取られ、表示のためにレンダリングされるま
で、これらの処理を繰り返すことができる。この処理
は、ユーザに対し、低めの解像度の環境マップをすばや
く視て、その中でナビゲートしながらも、より高い解像
度の環境マップを漸進的に構築し、それにより、ネット
ワーク通信の遅延の影響を最小限にする能力を提供す
る。These processes can be repeated until the highest resolution environment map is received by the client and rendered for display. This process allows the user to quickly look at and navigate through a lower resolution environment map while progressively building a higher resolution environment map, thereby reducing the impact of network communication delays. Provide the ability to minimize.

【０１２５】本発明のもう一つの態様では、環境マップ
とは別にある１個以上のビットマップ・イメージ（また
はスプライト）をパノラマシーンに統合することを可能
にする機構が提供される。ビットマップ・イメージと
は、ピクセルごとにイメージの色を表すピクセルの二次
元配列である。図３２を参照すると、ビットマップ・イ
メージをパノラマシーンに統合する処理は、ステップ７
０１で、環境マップの座標系の中でビットマップ・イメ
ージを向き付けすることによって始まる。図２に示すよ
うに、円筒環境マップの座標系は、円筒軸ならびに原点
で円筒軸と交差する第二および第三の軸によって特徴づ
けられる。第二および第三の軸は、円筒軸および互いに
対して垂直である。好ましくは、ビットマップ・イメー
ジの向き付けは、ビットマップ・イメージが円筒軸に対
して平行な面に位置するように制限する。この場合、ビ
ットマップ・イメージは、特徴的な方位角θおよび仰角
φをビットマップ・イメージに割り当てることにより、
環境マップの座標系の中で向き付けすることができる。
図３３および３４に示すように、方位角θは、好ましく
は、第二の座標軸と円筒軸との面と、円筒軸からビット
マップ・イメージの中心ピクセルＭに達する線との間の
角度によって表される。図３３および３５に示すよう
に、仰角φは、好ましくは、円筒軸からビットマップ・
イメージの中心ピクセルＭに達する線と、第二および第
三の座標軸の面の間の角度によって表される。In another aspect of the invention, a mechanism is provided that allows one or more bitmap images (or sprites) separate from the environment map to be integrated into a panoramic scene. A bitmap image is a two-dimensional array of pixels that represents the color of the image on a pixel-by-pixel basis. Referring to FIG. 32, the process of integrating a bitmap image into a panoramic scene is performed in step 7
Begin at 01 by orienting the bitmap image in the coordinate system of the environment map. As shown in FIG. 2, the coordinate system of the cylindrical environment map is characterized by a cylindrical axis and second and third axes that intersect the cylindrical axis at the origin. The second and third axes are perpendicular to the cylindrical axis and to each other. Preferably, the orientation of the bitmap image is restricted such that the bitmap image lies in a plane parallel to the cylinder axis. In this case, the bitmap image is obtained by assigning a characteristic azimuth angle θ and elevation angle φ to the bitmap image.
It can be oriented in the coordinate system of the environment map.
As shown in FIGS. 33 and 34, the azimuthal angle θ is preferably represented by the angle between the plane of the second coordinate axis and the cylindrical axis and the line from the cylindrical axis to the center pixel M of the bitmap image. Is done. As shown in FIGS. 33 and 35, the elevation angle φ is preferably
It is represented by the angle between the line reaching the center pixel M of the image and the plane of the second and third coordinate axes.

【０１２６】ステップ７０３で、図２７を参照して上述
したように、環境マップをビュー・ウィンドウに投影す
る。投影ステップの結果として、ビュー・ウィンドウの
行および列のピクセルに関する色値が生成される。At step 703, the environment map is projected onto the view window as described above with reference to FIG. As a result of the projection step, color values are generated for the pixels in the rows and columns of the view window.

【０１２７】ステップ７０５で、対（startCol、endCo
l）によって示す、ビットマップ・イメージによってカ
バーされるビュー・ウィンドウの列の範囲ならびに対
（startRow、endRow）によって示す、ビットマップ・イ
メージによってカバーされるビュー・ウィンドウの行の
範囲を決定する。At step 705, the pair (startCol, endCo
Determine the range of columns of the view window covered by the bitmap image, indicated by l), and the range of rows of the view window covered by the bitmap image, indicated by the pair (startRow, endRow).

【０１２８】ステップ７０７で、列の範囲（startCol、
endCol）内の列icolごとに、ビュー・ウィンドウの特定
の列icolに対応するビットマップ・イメージの列インデ
ックスBMColを、好ましくは次式によって決定する。In step 707, the range of the column (startCol,
For each column icol in endCol), the column index BMCol of the bitmap image corresponding to the particular column icol in the view window is determined, preferably by:

【０１２９】BMCol＝icol−startColBMCol = icol-startCol

【０１３０】加えて、ビュー・ウィンドウの列（icol）
の行の範囲（startRow、EndRow）の各行irowを順に選択
し、以下のように処理する。まず、ビュー・ウィンドウ
の選択された行irowに対応するビットマップ・イメージ
の行インデックスBMRowを、好ましくは次式によって決
定する。In addition, columns of the view window (icol)
Are sequentially selected in the row range (startRow, EndRow), and processing is performed as follows. First, the row index BMRow of the bitmap image corresponding to the selected row irow of the view window is determined, preferably by:

【０１３１】BMRow＝irow−startRowBMRow = irow-startRow

【０１３２】次に、インデックスBMRow、BMColによって
識別されるピクセルのビットマップ・イメージの色値
を、ステップ７０３で決定した、インデックス（irow、
icol）によって識別されるビュー・ウィンドウのピクセ
ルの色値の代わりに用いる。Next, the color value of the bitmap image of the pixel identified by the indexes BMRow and BMCol is determined by the index (irow,
icol) instead of the color value of the pixel in the view window identified by

【０１３３】ビットマップ・イメージによってカバーさ
れるビュー・ウィンドウの列の範囲（startCol、endCo
l）を処理したのち、処理は終わる。The range of columns of the view window covered by the bitmap image (startCol, endCo
After processing l), the processing ends.

【０１３４】上記の処理は、環境マップとは別にある１
個以上のビットマップ・イメージをパノラマシーン中で
向き付けし、表示することを可能にする。The above processing is performed separately from the environment map.
More than one bitmap image can be oriented and displayed in a panoramic scene.

【０１３５】代替えの実施態様では、上述の機構を変形
して、深さ値をビットマップ・イメージのピクセルと関
連させることにより、ビットマップ・イメージと環境マ
ップとの統合を高めてもよい。このシナリオでは、ステ
ップ７０１で、深さ値を各ビットマップ・イメージのピ
クセルと関連させる。深さマップのピクセルの深さ値は
一定であってもよい。あるいはまた、深さ値をビットマ
ップ・イメージのピクセルにわたって変化させてもよ
い。この場合、深さ値は、好ましくは、中央のピクセル
に対してのイメージの深さを表す。したがって、ビット
マップ・イメージの各ピクセルの深さは、ビットマップ
・イメージの特徴的な方位角θおよび仰角φならびに所
与のピクセルに関連する中心ピクセルに対するピクセル
の相対深さから決定することができる。加えて、デフォ
ルト深さ値（Dmax）を環境マップのピクセルと関連させ
る。In an alternative embodiment, the mechanism described above may be modified to enhance the integration of the bitmap image with the environment map by associating depth values with the pixels of the bitmap image. In this scenario, step 701 associates a depth value with a pixel of each bitmap image. The depth values of the pixels of the depth map may be constant. Alternatively, the depth values may vary over the pixels of the bitmap image. In this case, the depth value preferably represents the depth of the image relative to the central pixel. Thus, the depth of each pixel in the bitmap image can be determined from the characteristic azimuth and elevation φ of the bitmap image and the relative depth of the pixel to the center pixel associated with a given pixel. . In addition, a default depth value (Dmax) is associated with the pixels of the environment map.

【０１３６】好ましくは、深さバッファを使用して、ビ
ュー・ウィンドウの各ピクセルに関連する深さ値を記憶
する。ピクセルそれぞれの深さ値を最大値（Dmax）に初
期化する。ステップ７０３で、深さバッファにはアクセ
スせず、したがって、Dmaxの深さ値を、ビュー・ウィン
ドウに投影される環境マップのピクセルに割り当てる。
ステップ７０７で、ピクセル（BMRow、BMCol）でのビッ
トマップ・イメージの深さ値（Dnew）を、ビュー・ウィ
ンドウのピクセル（irow、icol）に対応する深さバッフ
ァの位置に記憶された深さ値Boldと比較する。ビットマ
ップ・イメージの深さ値Dnewが、ビットマップ・イメー
ジが、記憶された深さ値Doldよりもビューポイントに近
いことを示すならば、ピクセル（irow、icol）に対応す
る深さバッファの位置を更新して値Dnewを記憶し、イン
デックス（irow、icol）によって識別されるビュー・ウ
ィンドウのピクセルの色値を、インデックス（BMRow、B
MCol）によって識別されるピクセルでのビットマップ・
イメージの色値で上書きする。Preferably, a depth buffer is used to store a depth value associated with each pixel of the view window. Initialize the depth value of each pixel to the maximum value (Dmax). At step 703, the depth buffer is not accessed, and therefore the depth value of Dmax is assigned to the pixels of the environment map that are projected into the view window.
At step 707, the depth value (Dnew) of the bitmap image at the pixel (BMRow, BMCol) is stored in the depth buffer location corresponding to the pixel (irow, icol) in the view window. Compare with Bold. If the bitmap image depth value Dnew indicates that the bitmap image is closer to the viewpoint than the stored depth value Dold, the location of the depth buffer corresponding to the pixel (irow, icol). Is updated to store the value Dnew, and the color value of the pixel in the view window identified by the index (irow, icol) is stored in the index (BMRow, B
Bitmap at the pixel identified by MCol)
Overwrite with the color value of the image.

【０１３７】この処理は、複数のビットマップ・イメー
ジの間で部分的（または完全）なオクルージョンが生じ
たとき、もっとも近いビットマップ・イメージを表示す
る。This processing displays the closest bitmap image when partial (or complete) occlusion occurs between a plurality of bitmap images.

【０１３８】代替えの実施態様では、上述の機構を変形
して、深さ値をビットマップ・イメージのピクセルおよ
び環境マップのピクセルと関連させることにより、ビッ
トマップ・イメージと環境マップとの統合を高めてもよ
い。このシナリオでは、ステップ７０１で、深さ値を各
ビットマップ・イメージのピクセルと関連させる。好ま
しくは、深さ値は、中央のピクセルに対してのイメージ
の深さを表す。この場合、ビットマップ・イメージの各
ピクセルの深さは、ビットマップ・イメージの特徴的な
方位角θおよび仰角φならびに所与のピクセルに関連す
る中心ピクセルに対するピクセルの相対深さから決定す
ることができる。加えて、深さ値を環境マップのピクセ
ルと関連させる。たとえば、円筒環境マップの場合、環
境マップの所与のピクセルと関連する深さ値は、円筒の
原点から円筒のピクセルまでの距離によって決定するこ
とができる。別の例では、円筒環境マップが三次元シー
ンのレンダリングから導出されたものであるならば、環
境マップのピクセルの深さ値は、シーンの物体の深さ情
報から導出することもできる。In an alternative embodiment, the above mechanism is modified to enhance the integration of the bitmap image with the environment map by associating depth values with the pixels of the bitmap image and the pixels of the environment map. You may. In this scenario, step 701 associates a depth value with a pixel of each bitmap image. Preferably, the depth value represents the depth of the image relative to the central pixel. In this case, the depth of each pixel of the bitmap image may be determined from the characteristic azimuth angle θ and elevation angle φ of the bitmap image and the relative depth of the pixel to the center pixel associated with a given pixel. it can. In addition, the depth values are associated with the pixels of the environment map. For example, for a cylindrical environment map, the depth value associated with a given pixel of the environment map can be determined by the distance from the cylinder origin to the cylinder pixel. In another example, if the cylindrical environment map was derived from a rendering of a three-dimensional scene, the depth values of the pixels in the environment map could be derived from depth information of objects in the scene.

【０１３９】深さバッファを使用して、ビュー・ウィン
ドウの各ピクセルと関連する深さ値を記憶してもよい。
ビュー・ウィンドウのピクセルそれぞれの深さ値を最大
値（Dmax）に初期化する。ステップ７０３で、図２７を
参照しながら上述したように、環境マップをビュー・ウ
ィンドウに投影すると、深さバッファを更新して、ビュ
ー・ウィンドウの所与のピクセルをカバーする環境マッ
プのピクセルに関連する深さ値を記憶する。投影ステッ
プはまた、結果として、ビュー・ウィンドウの行および
列のピクセルの色値を生成する。ステップ７０７で、ピ
クセル（BMRow、BMCol）のビットマップ・イメージの深
さ値Dnewを、ビュー・ウィンドウのピクセル（irow、ic
ol）に対応する深さバッファの位置に記憶された深さ値
Doldと比較する。ビットマップ・イメージの深さ値Dnew
が、ビットマップ・イメージが、記憶された深さ値Dold
よりもビューポイントに近いことを示すならば、ピクセ
ル（irow、icol）に対応する深さバッファの位置を更新
して値Dnewを記憶し、インデックス（irow、icol）によ
って識別されるビュー・ウィンドウのピクセルの色値
を、インデックス（BMRow、MBCol）によって識別される
ピクセルでのビットマップ・イメージの色値で上書きす
る。A depth buffer may be used to store the depth value associated with each pixel in the view window.
Initialize the depth value of each pixel in the view window to the maximum value (Dmax). In step 703, projecting the environment map onto the view window, as described above with reference to FIG. 27, updates the depth buffer to relate pixels in the environment map that cover a given pixel in the view window. The depth value to be stored is stored. The projection step also results in the generation of color values for pixels in rows and columns of the view window. In step 707, the depth value Dnew of the bitmap image of the pixel (BMRow, BMCol) is set to the pixel (irow, ic) of the view window.
ol) the depth value stored in the depth buffer location corresponding to
Compare with Dold. Bitmap image depth value Dnew
Is the bitmap image and the stored depth value Dold
Update the position of the depth buffer corresponding to the pixel (irow, icol) to store the value Dnew and to store the value of the view window identified by the index (irow, icol). Overwrites the color value of the pixel with the color value of the bitmap image at the pixel identified by the index (BMRow, MBCol).

【０１４０】この処理は、複数のビットマップ・イメー
ジおよび／または環境マップの間で部分的（または完
全）なオクルージョンが生じたとき、ビットマップ・イ
メージまたは環境マップを表示する。This process displays a bitmap image or environment map when partial (or complete) occlusion occurs between a plurality of bitmap images and / or environment maps.

【０１４１】代替えの実施態様では、深さ値をビットマ
ップ・イメージのピクセルおよび環境マップのピクセル
と関連させる上述の機構を変形して、ビュー・ウィンド
ウの各ピクセルに対応する深さ値を記憶する深さバッフ
ァが必要とされないようにしてもよい。この実施態様で
は、ステップ７０１で、深さ値は各ビットマップ・イメ
ージのピクセルと関連し、深さ値は、上述したように、
環境マップのピクセルと関連する。ステップ７０３で、
図２７を参照しながら上述したように、環境マップをビ
ュー・ウィンドウに投影するとき、インデックス（iro
w、icol）によって識別されるビュー・ウィンドウのピ
クセルごとに、ビュー・ウィンドウのピクセルがビット
マップ・イメージによってカバーされるかどうかを決定
する。In an alternative embodiment, the above mechanism for associating depth values with pixels of the bitmap image and pixels of the environment map is modified to store a depth value corresponding to each pixel of the view window. A depth buffer may not be required. In this embodiment, at step 701, a depth value is associated with each bitmap image pixel, and the depth value is calculated as described above.
Associated with the pixels of the environment map. In step 703,
As described above with reference to FIG. 27, when projecting the environment map onto the view window, the index (iro
For each pixel of the view window identified by (w, icol), determine whether the pixel of the view window is covered by the bitmap image.

【０１４２】ビュー・ウィンドウがビットマップ・イメ
ージによって部分的にカバーされないならば、図２７を
参照しながら上述したように処理が継続して、ビュー・
ウィンドウのピクセル（irow、icol）の色値が環境マッ
プの適切な要素の色値に設定されるようになる。If the view window is not partially covered by the bitmap image, processing continues as described above with reference to FIG.
The color values of the pixels (irow, icol) in the window will now be set to the color values of the appropriate elements in the environment map.

【０１４３】しかし、ビュー・ウィンドウのピクセルが
ビットマップ・イメージによって部分的にカバーされて
いないならば、ビュー・ウィンドウの選択されたピクセ
ル（irow、icol）に対応するビットマップ・イメージの
行インデックスおよび列インデックスBMRow、BMColを決
定する。加えて、ピクセル（BMRow、BMCol）でのビット
マップ・イメージの深さ値を、ビュー・ウィンドウのピ
クセル（irow、icol）に対応する環境マップのピクセル
の深さ値と比較する。ビットマップ・イメージのピクセ
ル（BMRow、BMCol）の深さ値が、ビットマップ・イメー
ジのピクセル（BMRow、BMCol）の方が、環境マップのピ
クセルよりもビュー・ポイントに近いことを示すなら
ば、ビュー・ウィンドウのピクセル（irow、icol）の色
値を、インデックス（BMRow、MBCol）によって識別され
るピクセルでのビットマップ・イメージの色値に設定す
る。そうでなければ、ビュー・ウィンドウのピクセル
（irow、icol）の色値を、環境マップの対応するピクセ
ルの色値に設定する。However, if the pixels of the view window are not partially covered by the bitmap image, the row index of the bitmap image corresponding to the selected pixel (irow, icol) of the view window and Determine the column indexes BMRow, BMCol. In addition, the depth value of the bitmap image at the pixel (BMRow, BMCol) is compared with the pixel value of the environment map corresponding to the pixel (irow, icol) of the view window. If the depth value of the bitmap image pixel (BMRow, BMCol) indicates that the bitmap image pixel (BMRow, BMCol) is closer to the view point than the environment map pixel, the view Set the color value of the window pixel (irow, icol) to the color value of the bitmap image at the pixel identified by the index (BMRow, MBCol). Otherwise, set the color value of the view window pixel (irow, icol) to the color value of the corresponding pixel in the environment map.

【０１４４】この処理は、複数のビットマップ・イメー
ジおよび／または環境マップの間で部分的（または完
全）なオクルージョンが生じたとき、ふさぐとき、ビッ
トマップ・イメージまたは環境マップを表示し、ビュー
・ウィンドウのピクセルの深さ情報を記憶する深さバッ
ファを要しない。This process displays a bitmap image or environment map when partial (or complete) occlusion occurs between a plurality of bitmap images and / or environment maps, and displays the viewmap. There is no need for a depth buffer to store depth information for window pixels.

【０１４５】パノラマシーンを生成する際にビットマッ
プ・イメージを環境マップと統合する機構を述べた上記
の実施態様では、環境マップに対するビットマップ・イ
メージの位置および／または向きを変更して、そのよう
なビットマップ・イメージの動きを提供してもよい。そ
のうえ、ビットマップ・イメージを選択的に表示して、
イメージのゆがみまたは他の所望の属性を提供してもよ
い。たとえば、それぞれが異なった位置に尾を有する同
じ一匹の魚を表す４個のビットマップ・イメージを考え
てみる。この場合、適切なビットマップ・イメージの選
択を、表示されたビットマップ・イメージの向きの変化
と同調させることにより、魚が泳いでいるように見せる
ことができる。In the embodiment described above which describes a mechanism for integrating a bitmap image with an environment map when generating a panoramic scene, the position and / or orientation of the bitmap image with respect to the environment map is changed to allow such a change. The motion of the bitmap image may be provided. In addition, bitmap images can be selectively displayed,
Image distortion or other desired attributes may be provided. For example, consider four bitmap images each representing the same fish, each having a tail at a different location. In this case, the selection of the appropriate bitmap image can be synchronized with the change in the orientation of the displayed bitmap image to make the fish appear to be swimming.

【０１４６】加えて、ビットマップ・イメージに対して
適切なスケーリング処理（拡大／縮小）を実行すること
により、ビットマップ・イメージの深さ値の変化を表し
てもよい。たとえば、ビットマップ・イメージをビュー
・ポイントにより近づける（深さで）ならば、ビットマ
ップ・イメージに対して拡大（ズーム・イン）処理を実
行することができる。しかし、ビットマップ・イメージ
をビュー・ポイントからさらに遠ざける（深さで）なら
ば、ビットマップ・イメージに対して縮小（ズーム・ア
ウト）処理を実行することができる。このシナリオで
は、ビュー・ウィンドウとビットマップ・イメージとの
間のマッピングは、ビットマップ・イメージのスケーリ
ング処理を考慮に入れることになろう。In addition, a change in the depth value of the bitmap image may be represented by performing an appropriate scaling process (enlargement / reduction) on the bitmap image. For example, if the bitmap image is closer (by depth) to the view point, a zoom-in process can be performed on the bitmap image. However, if the bitmap image is moved further away (by depth) from the view point, a reduction (zoom out) operation can be performed on the bitmap image. In this scenario, the mapping between the view window and the bitmap image will take into account the scaling of the bitmap image.

【０１４７】上述の機構は、パノラマシーンをレンダリ
ングするとき、１個以上のビットマップ・イメージを環
境マップに統合することを考慮している。環境マップ
は、上述したような円筒環境マップであってもよい。し
かし、この機構はこれには限定されず、いかなるタイプ
の環境マップとで使用してもよい。たとえば、環境マッ
プは、立方体の環境マップ、球形の環境マップまたは、
米国特許出願第６０／０２２，４２８号に記載のような
多面形の環境マップであってもよい。The mechanism described above allows for the integration of one or more bitmap images into an environment map when rendering a panoramic scene. The environment map may be a cylindrical environment map as described above. However, the mechanism is not so limited and may be used with any type of environment map. For example, an environment map can be a cubic environment map, a spherical environment map,
It may be a polyhedral environment map as described in US patent application Ser. No. 60 / 022,428.

【０１４８】特定の実施態様を参照しながら本発明を示
し、記載したが、当業者であれば、本発明の真髄および
範囲を逸することなく、形態および詳細において前記お
よびその他の変形、省略および追加を成しうることを理
解すべきである。While the invention has been shown and described with reference to specific embodiments, those skilled in the art will recognize that and other modifications, omissions, and forms and details in detail and without departing from the spirit and scope of the invention. It should be understood that additions can be made.

【０１４９】まとめとして、本発明の構成に関して以下
の事項を開示する。 （１）シーンのビューを生成する方法であって、前記シ
ーンを表す環境マップの要素と関連する色値をメモリに
記憶するステップと、前記環境マップとは別にあるビッ
トマップ・イメージの要素と関連する色値をメモリに記
憶するステップと、前記環境マップの座標系に対して前
記ビットマップ・イメージを向き付けするステップと、
前記環境マップを、ピクセルの配列を含むビュー・ウィ
ンドウに投影するステップと、前記ビットマップ・イメ
ージによってカバーされる前記ビュー・ウィンドウの少
なくとも１個のピクセルについて、前記ビュー・ウィン
ドゥの前記ピクセルに対応する、前記ビットマップ・イ
メージの少なくとも１個の要素を決定するステップと、
前記ビットマップ・イメージの前記少なくとも１個の要
素の色値に基づき、前記ピクセルの色値を導出するステ
ップと、前記ピクセルの導出した色値を表示のために記
憶するステップと、を含むことを特徴とする方法。 （２）シーンのビューを生成する方法にであって、前記
シーンを表す環境マップの要素と関連する色値をメモリ
に記憶するステップと、前記環境マップとは別にあるビ
ットマップ・イメージの要素と関連する色値をメモリに
記憶するステップと、前記ビットマップ・イメージの要
素と関連する深さ値をメモリに記憶するステップと、前
記環境マップの座標系に対して前記ビットマップ・イメ
ージを向き付けするステップと、前記環境マップを、ピ
クセルの配列を含むビュー・ウィンドウに投影するステ
ップと、前記ビットマップ・イメージによってカバーさ
れる前記ビュー・ウィンドウの少なくとも１個のピクセ
ルについて、前記ビュー・ウィンドゥの前記ピクセルに
対応する、前記ビットマップ・イメージの少なくとも１
個の要素を決定するステップと、前記ピクセルと関連す
る深さ値および前記少なくとも１個の要素と関連する深
さ値が、前記少なくとも１個の要素が前記ピクセルより
もビュー・ポイントに近いことを示すならば、前記ビッ
トマップ・イメージの前記少なくとも１個の要素の色値
に基づき、前記ピクセルの色値を導出するステップと、
前記ピクセルの導出した色値を表示のために記憶するス
テップと、を含むことを特徴とする方法。 （３）前記ビットマップ・イメージによってカバーされ
る前記ビュー・ウィンドウの前記少なくとも１個のピク
セルについて、前記ピクセルと関連する前記深さ値およ
び前記少なくとも１個の要素と関連する前記深さ値が、
前記少なくとも１個の要素が前記ピクセルよりも前記ビ
ュー・ポイントから遠いことを示すならば、前記ピクセ
ルに対応する、前記環境マップの少なくとも１個の要素
の色値に基づき、前記ピクセルの色値を導出し、前記ピ
クセルの導出した色値を表示のために記憶する上記
（２）記載の方法。 （４）前記ビュー・ウィンドウの前記ピクセルと関連す
る深さ値を深さバッファに記憶する上記（３）記載の方
法。 （５）前記ビットマップ・イメージによってカバーされ
る前記ビュー・ウィンドウの前記少なくとも１個のピク
セルについて、前記ピクセルと関連する前記深さ値およ
び前記少なくとも１個の要素と関連する前記深さ値が、
前記少なくとも１個の要素が前記ピクセルよりも前記ビ
ュー・ポイントに近いことを示すならば、前記ビットマ
ップ・イメージの前記少なくとも１個の要素と関連する
前記深さ値にしたがって、前記ビュー・ウィンドウの前
記ピクセルと関連する前記深さ値を更新する上記（４）
記載の方法。 （６）前記環境マップの前記要素と関連する深さ値をメ
モリに記憶するステップをさらに含み、前記ビュー・ウ
ィンドウの前記ピクセルと関連する前記深さ値を、前記
ビュー・ウィンドウの前記ピクセルに対応する、前記環
境マップの少なくとも１個の要素と関連する深さ値から
導出する上記（２）記載の方法。 （７）シーンのビューを生成する方法ステップを実行す
るために機械によって実行可能な命令のプログラムを具
現化する機械読み出し可能なプログラム記憶装置におい
て、前記方法ステップが、前記シーンを表す環境マップ
の要素と関連する色値をメモリに記憶するステップと、
前記環境マップとは別にあるビットマップ・イメージの
要素と関連する色値をメモリに記憶するステップと、前
記環境マップの座標系に対して前記ビットマップ・イメ
ージを向き付けするステップと、前記環境マップを、ピ
クセルの配列を含むビュー・ウィンドウに投影するステ
ップと、前記ビットマップ・イメージによってカバーさ
れる前記ビュー・ウィンドウの少なくとも１個のピクセ
ルについて、前記ビュー・ウィンドゥの前記ピクセルに
対応する、前記ビットマップの少なくとも１個の要素を
決定するステップと、前記ビットマップ・イメージの前
記少なくとも１個の要素の色値に基づき、前記ピクセル
の色値を導出するステップと、前記ピクセルの導出した
色値を表示のために記憶するステップと、を含むことを
特徴とするプログラム記憶装置。 （８）シーンのビューを生成する方法ステップを実行す
るために機械によって実行可能な命令のプログラムを具
現化する機械読み出し可能なプログラム記憶装置におい
て、前記方法が、前記シーンを表す環境マップの要素と
関連する色値をメモリに記憶するステップと、前記環境
マップとは別にあるビットマップ・イメージの要素と関
連する色値をメモリに記憶するステップと、前記ビット
マップ・イメージの要素と関連する深さ値をメモリに記
憶するステップと、前記環境マップの座標系に対して前
記ビットマップ・イメージを向き付けするステップと、
前記環境マップを、ピクセルの配列を含むビュー・ウィ
ンドウに投影するステップと、前記ビットマップ・イメ
ージによってカバーされる前記ビュー・ウィンドウの少
なくとも１個のピクセルについて、前記ビュー・ウィン
ドゥの前記ピクセルに対応する、前記ビットマップ・イ
メージの少なくとも１個の要素を決定するステップと、
前記ピクセルと関連する深さ値および前記少なくとも１
個の要素と関連する深さ値が、前記少なくとも１個の要
素が前記ピクセルよりもビュー・ポイントに近いことを
示すならば、前記ビットマップ・イメージの前記少なく
とも１個の要素の色値に基づき、前記ピクセルの色値を
導出するステップと、前記ピクセルの導出した色値を表
示のために記憶するステップと、を含むことを特徴とす
るプログラム記憶装置。 （９）前記ビットマップ・イメージによってカバーされ
る前記ビュー・ウィンドウの前記少なくとも１個のピク
セルについて、前記ピクセルと関連する前記深さ値およ
び前記少なくとも１個の要素と関連する前記深さ値が、
前記少なくとも１個の要素が前記ピクセルよりも前記ビ
ュー・ポイントから遠いことを示すならば、前記ピクセ
ルに対応する、前記環境マップの少なくとも１個の要素
の色値に基づき、前記ピクセルの色値を導出し、前記ピ
クセルの導出した色値を表示のために記憶する上記
（８）記載のプログラム記憶装置。 （１０）前記ビュー・ウィンドウの前記ピクセルと関連
する深さ値を深さバッファに記憶する上記（９）記載の
プログラム記憶装置。 （１１）前記ビットマップ・イメージによってカバーさ
れる前記ビュー・ウィンドウの前記少なくとも１個のピ
クセルについて、前記ピクセルと関連する前記深さ値お
よび前記少なくとも１個の要素と関連する前記深さ値
が、前記少なくとも１個の要素が前記ピクセルよりも前
記ビュー・ポイントに近いことを示すならば、前記ビッ
トマップ・イメージの前記少なくとも１個の要素と関連
する前記深さ値にしたがって、前記ビュー・ウィンドウ
の前記ピクセルと関連する前記深さ値を更新する上記
（１０）記載のプログラム記憶装置。 （１２）前記環境マップの前記要素と関連する深さ値を
メモリに記憶するステップをさらに含み、前記ビュー・
ウィンドウの前記ピクセルと関連する前記深さ値を、前
記ビュー・ウィンドウの前記ピクセルに対応する、前記
環境マップの少なくとも１個の要素と関連する深さ値か
ら導出する上記（８）記載のプログラム記憶装置。In summary, the following matters are disclosed regarding the configuration of the present invention. (1) A method for generating a view of a scene, comprising: storing in a memory a color value associated with an element of an environment map representing the scene; Storing the color values to be stored in a memory, and orienting the bitmap image with respect to a coordinate system of the environment map.
Projecting the environment map onto a view window that includes an array of pixels; and for at least one pixel of the view window covered by the bitmap image, corresponding to the pixel in the view window. Determining at least one element of the bitmap image;
Deriving a color value of the pixel based on a color value of the at least one element of the bitmap image, and storing the derived color value of the pixel for display. Features method. (2) A method for generating a view of a scene, comprising: storing in a memory a color value associated with an element of an environment map representing the scene; and an element of a bitmap image separate from the environment map. Storing associated color values in memory; storing depth values associated with elements of the bitmap image in memory; orienting the bitmap image with respect to a coordinate system of the environment map. Projecting the environment map onto a view window that includes an array of pixels; and for at least one pixel of the view window covered by the bitmap image, At least one of said bitmap images corresponding to pixels
Determining the number of elements and determining that the depth value associated with the pixel and the depth value associated with the at least one element are such that the at least one element is closer to a view point than the pixel. Deriving, if indicated, a color value of the pixel based on a color value of the at least one element of the bitmap image;
Storing the derived color values of the pixels for display. (3) for the at least one pixel of the view window covered by the bitmap image, the depth value associated with the pixel and the depth value associated with the at least one element are:
If the at least one element indicates that the pixel is further from the view point than the pixel, the color value of the pixel is determined based on the color value of at least one element of the environment map corresponding to the pixel. The method of claim 2, wherein the method further comprises deriving and storing the derived color values of the pixel for display. (4) The method of (3) above, wherein a depth value associated with the pixel of the view window is stored in a depth buffer. (5) for the at least one pixel of the view window covered by the bitmap image, the depth value associated with the pixel and the depth value associated with the at least one element are:
If the at least one element indicates that the pixel is closer to the view point than the pixel, then the view window is displayed according to the depth value associated with the at least one element of the bitmap image. Updating the depth value associated with the pixel (4)
The described method. (6) storing in a memory a depth value associated with the element of the environment map, wherein the depth value associated with the pixel of the view window corresponds to the pixel of the view window. The method of claim 2, wherein the method is derived from a depth value associated with at least one element of the environment map. (7) A machine-readable program storage embodying a program of machine-executable instructions for performing the method steps of generating a view of a scene, wherein the method steps comprise elements of an environment map representing the scene. Storing in memory a color value associated with
Storing color values associated with elements of the bitmap image that are separate from the environment map in a memory; orienting the bitmap image with respect to a coordinate system of the environment map; To a view window that includes an array of pixels; and for at least one pixel of the view window covered by the bitmap image, the bit corresponding to the pixel in the view window Determining at least one element of a map; deriving a color value of the pixel based on a color value of the at least one element of the bitmap image; Storing for display. Beam storage device. (8) A machine-readable program storage embodying a program of machine-executable instructions for performing the method steps of generating a view of a scene, wherein the method comprises: an element of an environment map representing the scene; Storing associated color values in memory; storing color values associated with elements of the bitmap image separate from the environment map in memory; and a depth associated with the elements of the bitmap image. Storing a value in a memory; and orienting the bitmap image with respect to a coordinate system of the environment map;
Projecting the environment map onto a view window that includes an array of pixels; and for at least one pixel of the view window covered by the bitmap image, corresponding to the pixel in the view window. Determining at least one element of the bitmap image;
A depth value associated with the pixel and the at least one
Based on the color value of the at least one element of the bitmap image if the depth value associated with the at least one element indicates that the at least one element is closer to the view point than the pixel. Deriving a color value of the pixel; and storing the derived color value of the pixel for display. (9) for the at least one pixel of the view window covered by the bitmap image, wherein the depth value associated with the pixel and the depth value associated with the at least one element are:
If the at least one element indicates that the pixel is further from the view point than the pixel, the color value of the pixel is determined based on the color value of at least one element of the environment map corresponding to the pixel. The program storage device according to (8), wherein the derived color value is derived and stored for display. (10) The program storage device according to (9), wherein a depth value associated with the pixel of the view window is stored in a depth buffer. (11) for the at least one pixel of the view window covered by the bitmap image, the depth value associated with the pixel and the depth value associated with the at least one element are: If the at least one element indicates that the pixel is closer to the view point than the pixel, then the view window is displayed according to the depth value associated with the at least one element of the bitmap image. The program storage device according to (10), wherein the depth value related to the pixel is updated. (12) storing in the memory a depth value associated with the element of the environment map;
The program storage of claim 8, wherein the depth value associated with the pixel of the window is derived from a depth value associated with at least one element of the environment map corresponding to the pixel of the view window. apparatus.

【図面の簡単な説明】[Brief description of the drawings]

【図１】本発明の好ましい実施態様に用いることができ
るコンピュータ処理システムの機能ブロック図である。FIG. 1 is a functional block diagram of a computer processing system that can be used in a preferred embodiment of the present invention.

【図２】円筒環境マップの円筒、円筒軸、軸の原点、第
二の座標軸および第三の座標軸を示す図である。FIG. 2 is a diagram illustrating a cylinder, a cylinder axis, an axis origin, a second coordinate axis, and a third coordinate axis of the cylinder environment map.

【図３】図２の円筒を矩形区域に分割した図である。FIG. 3 is a view obtained by dividing the cylinder of FIG. 2 into rectangular areas.

【図４】図３の円筒の原点（Ｏ）および矩形区域（ａｂ
ｃｄ）によって画定される角錐形体積（ＯＡＢＣＤ）を
示す図である。FIG. 4 shows the origin (O) and the rectangular area (ab) of the cylinder of FIG.
FIG. 4 shows a pyramidal volume (OABCD) defined by cd).

【図５】図２の円筒の一部（ａｂｃｄｅｆ）を円筒軸に
平行な面（ＡＢＣＤＥＦ）に投影した図である。FIG. 5 is a diagram in which a part (abcdef) of the cylinder of FIG. 2 is projected on a plane (ABCDEF) parallel to the cylinder axis.

【図６】図５の円筒および投影面を円筒軸の上から見た
図である。6 is a view of the cylinder and the projection plane of FIG. 5 as viewed from above the cylinder axis.

【図７】図５の円筒および投影面を、円筒軸および投影
面の中心線（ＢＥ）を含む面に垂直な方向から見た図で
ある。FIG. 7 is a view of the cylinder and the projection plane of FIG. 5 viewed from a direction perpendicular to a plane including a cylinder axis and a center line (BE) of the projection plane.

【図８】それぞれが９０°の水平視野を有する４個のイ
メージを円筒環境マップの円筒にマッピングしたものを
円筒軸の上から見た図である。FIG. 8 is a view of four images, each having a 90 ° horizontal field of view, mapped onto a cylinder of a cylinder environment map, as viewed from above the cylinder axis.

【図９】水平視野αを有する一つのイメージを円筒環境
マップの円筒にマッピングしたものを円筒軸の上から見
た図である。FIG. 9 is a diagram in which one image having a horizontal field of view α is mapped onto a cylinder of a cylinder environment map as viewed from above a cylinder axis.

【図１０】水平視野αを有するイメージを円筒にマッピ
ングしたものを、図９に示す円筒軸に垂直な面Ａ−Ａの
方向から見た側面図である。10 is a side view of an image having a horizontal field of view α mapped onto a cylinder as viewed from a direction of a plane AA perpendicular to the cylinder axis shown in FIG. 9;

【図１１】水平視野αを有するイメージを円筒にマッピ
ングしたものを、図９に示す円筒軸に垂直な面Ｂ−Ｂの
方向から見た側面図である。11 is a side view of an image having a horizontal field of view α mapped onto a cylinder, viewed from a direction of a plane BB perpendicular to the cylinder axis shown in FIG. 9;

【図１２】図８に示す円筒に対する４個のイメージのマ
ッピングから導出される、展開した円筒環境マップを示
す図である。FIG. 12 shows an expanded cylinder environment map derived from the mapping of the four images to the cylinder shown in FIG.

【図１３】本発明にしたがって円筒環境マップの円筒に
イメージをマッピングするのに使用される角度θ、
θ₁ 、αおよびδを示す図である。FIG. 13 shows an angle θ used to map an image to a cylinder of a cylinder environment map according to the present invention;
FIG. 3 is a diagram showing θ ₁ , α and δ.

【図１４】イメージを円筒にマッピングするのに使用さ
れるPanRowとImgRowとの関係を示す図である。FIG. 14 is a diagram illustrating the relationship between PanRow and ImgRow used to map an image onto a cylinder.

【図１５】トップ・イメージ中の点に関するPanRowとRt
opとの関係を示す図である。FIG. 15: PanRow and Rt for points in top image
FIG. 6 is a diagram illustrating a relationship with op.

【図１６】トップ・イメージ中の点の位置を示す図であ
る。FIG. 16 is a diagram showing positions of points in a top image.

【図１７】視野と、その視野に入る円筒環境マップの部
分が投影されるところの、視野に対応するビュー面とを
示す図である。FIG. 17 is a diagram illustrating a field of view and a view plane corresponding to the field of view where the portion of the cylindrical environment map that falls within the field of view is projected.

【図１８】円筒環境マップの一部をビュー・ウィンドウ
に投影した側面図である。FIG. 18 is a side view in which a part of the cylindrical environment map is projected on a view window.

【図１９】円筒環境マップの一部をビュー・ウィンドウ
に投影した側面図である。FIG. 19 is a side view in which a part of the cylindrical environment map is projected on a view window.

【図２０】本発明にしたがってサイド・イメージをトッ
プ・イメージおよび／またはボトム・イメージとともに
円筒環境マップにマッピングする際のシステムの動作を
説明するフロー・チャートである。FIG. 20 is a flow chart illustrating the operation of the system when mapping a side image along with a top image and / or a bottom image to a cylindrical environment map in accordance with the present invention.

【図２１】行列に分割されたサイド・イメージおよびデ
ータを示す図である。FIG. 21 is a diagram showing a side image and data divided into a matrix.

【図２２】図２１のサイド・イメージのピクセルごとに
記憶されるデータを示す図である。FIG. 22 is a diagram showing data stored for each pixel of the side image of FIG. 21;

【図２３】行列に分割されたトップ・イメージを示す図
である。FIG. 23 is a diagram showing a top image divided into a matrix.

【図２４】図２３のトップ・イメージのピクセルごとに
記憶されるデータを示す図である。FIG. 24 is a diagram showing data stored for each pixel of the top image of FIG. 23;

【図２５】サイド・イメージ、トップ・イメージまたは
ボトム・イメージ中の対応するピクセルの内部の円筒の
列のピクセルを満たす際のシステムの動作を説明するフ
ロー・チャートである。FIG. 25 is a flow chart illustrating the operation of the system in filling the pixels of a column of cylinders inside corresponding pixels in a side, top or bottom image.

【図２６】円筒の列中の所与のピクセルに対応するトッ
プ・イメージまたはボトム・イメージ中のピクセルを決
定する際のシステムの動作を説明するフロー・チャート
である。FIG. 26 is a flow chart illustrating the operation of the system in determining the pixel in the top or bottom image corresponding to a given pixel in a column of cylinders.

【図２７】円筒環境マップにマッピングされたパノラマ
イメージのビューを生成する際のシステムの動作を説明
するフロー・チャートである。FIG. 27 is a flowchart illustrating the operation of the system when generating a view of a panoramic image mapped to a cylindrical environment map.

【図２８】本発明にしたがってビュー・ウィンドウの選
択された列のピクセルをレンダリングする際のシステム
の動作を説明するフロー・チャートである。FIG. 28 is a flow chart illustrating the operation of the system in rendering pixels in a selected column of a view window in accordance with the present invention.

【図２９】サーバに記憶された、解像度が漸進的に高ま
る複数の環境マップを操作する際のクライアントおよび
サーバの動作を示す図である。FIG. 29 is a diagram showing operations of the client and the server when operating a plurality of environment maps stored in the server and having progressively higher resolutions.

【図３０】サーバに記憶された、解像度が漸進的に高ま
る複数の環境マップを操作する際のクライアントおよび
サーバの動作を示す図である。FIG. 30 is a diagram illustrating operations of a client and a server when operating a plurality of environment maps stored in the server and having progressively higher resolutions.

【図３１】サーバに記憶された、解像度が漸進的に高ま
る複数の環境マップを操作する際のクライアントおよび
サーバの動作を示す図である。FIG. 31 is a diagram illustrating operations of a client and a server when operating a plurality of environment maps whose resolution is gradually increased and stored in the server.

【図３２】本発明にしたがってビットマップ・イメージ
および環境マップをレンダリングするためのシステムの
動作を説明するフロー・チャートである。FIG. 32 is a flow chart illustrating the operation of a system for rendering bitmap images and environment maps according to the present invention.

【図３３】ビットマップ・イメージと円筒環境マップと
の空間的関係を示す図である。FIG. 33 is a diagram showing a spatial relationship between a bitmap image and a cylindrical environment map.

【図３４】ビットマップ・イメージに特徴的な方位角を
示す、円筒軸を上から見た円筒環境マップの平面図であ
る。FIG. 34 is a plan view of a cylinder environment map showing the azimuth characteristic of the bitmap image, with the cylinder axis viewed from above.

【図３５】ビットマップ・イメージに特徴的な仰角を示
す、円筒の第二および第三の軸の面から見た円筒環境マ
ップの図である。FIG. 35 is an illustration of a cylinder environment map viewed from the plane of the cylinder's second and third axes, showing the elevation angles characteristic of the bitmap image.

【符号の説明】[Explanation of symbols]

１０１ メモリ １０３ ＣＰＵ １０４ フレームバッファ １０５ 表示装置 １０７ 入力装置 １０８ 不揮発性記憶装置 １０９ 通信リンク 101 memory 103 CPU 104 frame buffer 105 display device 107 input device 108 non-volatile storage device 109 communication link

フロントページの続き (72)発明者 ウィリアム・ルイス・ルケン アメリカ合衆国10598、 ニューヨーク 州 ヨークタウン ハイツ ファーム ウォーク ロード 2924 (72)発明者 ジャイ・ピー・メノン アメリカ合衆国105666、 ニューヨーク 州 ピークスキル キャンパス ロード 55 (56)参考文献 実開 平３−100892（ＪＰ，Ｕ) 米国特許5396583（ＵＳ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 15/00 - 17/50 Continuing on the front page (72) Inventor William Louis Luken United States 10598, Yorktown Heights Farm Walk Road, New York 2924 (72) Inventor JIP Menon United States 105666, Peakskill Campus Road, New York 55 (56) Reference Reference Japanese Utility Model 3-100892 (JP, U) US Patent 5,396,583 (US, A) (58) Fields investigated (Int. Cl. ⁷ , DB name) G06T 15/00-17/50

Claims (12)

(57)【特許請求の範囲】(57) [Claims] 【請求項１】シーンのビューを生成する方法であって、 前記シーンを表し、イメージを計算する範囲を示すデー
タを含む環境マップの要素と関連する色値を列順にメモ
リに記憶するステップと、 前記環境マップとは別にあるビットマップ・イメージの
要素と関連する色値をメモリに記憶するステップと、 前記環境マップの座標系に対して前記ビットマップ・イ
メージを向き付けするステップと、 前記環境マップを、ピクセルの配列を含むビュー・ウィ
ンドウに投影するステップと、 前記ビットマップ・イメージによってカバーされる前記
ビュー・ウィンドウの少なくとも１個のピクセルについ
て、 前記ビュー・ウィンドゥの前記ピクセルに対応する、前
記ビットマップ・イメージの少なくとも１個の要素を決
定するステップと、 前記ビットマップ・イメージの前記少なくとも１個の要
素の色値に基づき、前記ピクセルの色値を導出するステ
ップと、前記環境マップのイメージを計算する範囲を示すデータ
に基づいて、前記環境マップを超える範囲のピクセルの
色値を導出するステップと、 前記ピクセルの導出した色値を表示のために記憶するス
テップと、 を含むことを特徴とする方法。1. A method of generating a view of the scene, data indicating a range of the scene table, calculates the image
Storing color values associated with elements of an environment map including data in a column order, and storing color values associated with elements of a bitmap image that are separate from the environment map in a memory. Orienting the bitmap image with respect to the coordinate system of the environment map; projecting the environment map onto a view window containing an array of pixels; covering with the bitmap image Determining, for at least one pixel of the view window, at least one element of the bitmap image corresponding to the pixel of the view window; Deriving the color value of the pixel based on the color value of one element Data indicating a range for calculating an image of the environment map
Based on the range of pixels beyond the environment map
Deriving a color value, and storing the derived color value of the pixel for display. 【請求項２】シーンのビューを生成する方法であって、 前記シーンを表し、イメージを計算する範囲を示すデー
タを含む環境マップの要素と関連する色値を列順にメモ
リに記憶するステップと、 前記環境マップとは別にあるビットマップ・イメージの
要素と関連する色値をメモリに記憶するステップと、 前記ビットマップ・イメージの要素と関連する深さ値を
メモリに記憶するステップと、 前記環境マップの座標系に対して前記ビットマップ・イ
メージを向き付けするステップと、 前記環境マップを、ピクセルの配列を含むビュー・ウィ
ンドウに投影するステップと、 前記ビットマップ・イメージによってカバーされる前記
ビュー・ウィンドウの少なくとも１個のピクセルについ
て、 前記ビュー・ウィンドゥの前記ピクセルに対応する、前
記ビットマップ・イメージの少なくとも１個の要素を決
定するステップと、 前記ピクセルと関連する深さ値および前記少なくとも１
個の要素と関連する深さ値が、前記少なくとも１個の要
素が前記ピクセルよりもビュー・ポイントに近いことを
示すならば、 前記ビットマップ・イメージの前記少なくとも１個の要
素の色値に基づき、前記ピクセルの色値を導出するステ
ップと、前記環境マップのイメージを計算する範囲を示すデータ
に基づいて、前記環境マップを超える範囲のピクセルの
色値を導出するステップと、 前記ピクセルの導出した色値を表示のために記憶するス
テップと、 を含むことを特徴とする方法。2. A method of generating a view of the scene, data indicating a range of the scene table, calculates the image
Storing color values associated with elements of an environment map including data in a column order, and storing color values associated with elements of a bitmap image that are separate from the environment map in a memory. Storing depth values associated with elements of the bitmap image in a memory; orienting the bitmap image with respect to a coordinate system of the environment map; Projecting onto a view window that includes an array of pixels; and for at least one pixel of the view window covered by the bitmap image, the bitmap image corresponding to the pixel in the view window. Determining at least one element of the image; and a depth associated with the pixel. And said at least one
If the depth value associated with the at least one element indicates that the at least one element is closer to the view point than the pixel, based on the color value of the at least one element of the bitmap image Deriving a color value of the pixel; and data indicating a range for calculating an image of the environment map.
Based on the range of pixels beyond the environment map
Deriving a color value, and storing the derived color value of the pixel for display. 【請求項３】前記ビットマップ・イメージによってカバ
ーされる前記ビュー・ウィンドウの前記少なくとも１個
のピクセルについて、 前記ピクセルと関連する前記深さ値および前記少なくと
も１個の要素と関連する前記深さ値が、前記少なくとも
１個の要素が前記ピクセルよりも前記ビュー・ポイント
から遠いことを示すならば、 前記ピクセルに対応する、前記環境マップの少なくとも
１個の要素の色値に基づき、前記ピクセルの色値を導出
し、 前記ピクセルの導出した色値を表示のために記憶する請
求項２記載の方法。3. The depth value associated with the pixel and the depth value associated with the at least one element for the at least one pixel of the view window covered by the bitmap image. Indicates that the at least one element is further from the view point than the pixel, the color of the pixel based on a color value of at least one element of the environment map corresponding to the pixel 3. The method of claim 2, wherein a value is derived and the derived color value of the pixel is stored for display. 【請求項４】前記ビュー・ウィンドウの前記ピクセルと
関連する深さ値を深さバッファに記憶する請求項３記載
の方法。4. The method of claim 3, wherein a depth value associated with said pixel of said view window is stored in a depth buffer. 【請求項５】前記ビットマップ・イメージによってカバ
ーされる前記ビュー・ウィンドウの前記少なくとも１個
のピクセルについて、 前記ピクセルと関連する前記深さ値および前記少なくと
も１個の要素と関連する前記深さ値が、前記少なくとも
１個の要素が前記ピクセルよりも前記ビュー・ポイント
に近いことを示すならば、 前記ビットマップ・イメージの前記少なくとも１個の要
素と関連する前記深さ値にしたがって、前記ビュー・ウ
ィンドウの前記ピクセルと関連する前記深さ値を更新す
る請求項４記載の方法。5. The depth value associated with the pixel and the depth value associated with the at least one element for the at least one pixel of the view window covered by the bitmap image. Indicates that the at least one element is closer to the view point than the pixel, according to the depth value associated with the at least one element of the bitmap image. The method of claim 4, wherein the depth value associated with the pixel of a window is updated. 【請求項６】前記環境マップの前記要素と関連する深さ
値をメモリに記憶するステップをさらに含み、前記ビュ
ー・ウィンドウの前記ピクセルと関連する前記深さ値
を、前記ビュー・ウィンドウの前記ピクセルに対応す
る、前記環境マップの少なくとも１個の要素と関連する
深さ値から導出する請求項２記載の方法。6. The method of claim 1, further comprising the step of storing in a memory a depth value associated with said element of said environment map, wherein said depth value associated with said pixel of said view window is stored in said pixel of said view window. 3. The method according to claim 2, wherein the method derives from a depth value associated with at least one element of the environment map corresponding to. 【請求項７】シーンのビューを生成する方法ステップを
実行するために機械によって実行可能な命令のプログラ
ムを具現化する機械読み出し可能なプログラム記憶装置
において、前記方法ステップが、 前記シーンを表し、イメージを計算する範囲を示すデー
タを含む環境マップの要素と関連する色値を列順にメモ
リに記憶するステップと、 前記環境マップとは別にあるビットマップ・イメージの
要素と関連する色値をメモリに記憶するステップと、 前記環境マップの座標系に対して前記ビットマップ・イ
メージを向き付けするステップと、 前記環境マップを、ピクセルの配列を含むビュー・ウィ
ンドウに投影するステップと、 前記ビットマップ・イメージによってカバーされる前記
ビュー・ウィンドウの少なくとも１個のピクセルについ
て、 前記ビュー・ウィンドゥの前記ピクセルに対応する、前
記ビットマップの少なくとも１個の要素を決定するステ
ップと、 前記ビットマップ・イメージの前記少なくとも１個の要
素の色値に基づき、前記ピクセルの色値を導出するステ
ップと、前記環境マップのイメージを計算する範囲を示すデータ
に基づいて、前記環境マップを超える範囲のピクセルの
色値を導出するステップと、 前記ピクセルの導出した色値を表示のために記憶するス
テップと、 を含むことを特徴とするプログラム記憶装置。7. A machine-readable program storage device embodying a program of instructions executable by the machine to perform method steps for generating a view of the scene, said method steps, and tables the scene, Data indicating the range over which to calculate the image
Storing color values associated with elements of an environment map including data in a column order, and storing color values associated with elements of a bitmap image that are separate from the environment map in a memory. Orienting the bitmap image with respect to the coordinate system of the environment map; projecting the environment map onto a view window containing an array of pixels; covering with the bitmap image Determining, for at least one pixel of the view window, at least one element of the bitmap corresponding to the pixel of the view window; and at least one element of the bitmap image. a step based on the color values, to derive the color values of the pixels of the element, said ring Data indicating the range to calculate the image of the map
Based on the range of pixels beyond the environment map
A program storage device , comprising: deriving a color value; and storing the derived color value of the pixel for display. 【請求項８】シーンのビューを生成する方法ステップを
実行するために機械によって実行可能な命令のプログラ
ムを具現化する機械読み出し可能なプログラム記憶装置
において、前記方法が、 前記シーンを表し、イメージを計算する範囲を示すデー
タを含む環境マップの要素と関連する色値を列順にメモ
リに記憶するステップと、 前記環境マップとは別にあるビットマップ・イメージの
要素と関連する色値をメモリに記憶するステップと、 前記ビットマップ・イメージの要素と関連する深さ値を
メモリに記憶するステップと、 前記環境マップの座標系に対して前記ビットマップ・イ
メージを向き付けするステップと、 前記環境マップを、ピクセルの配列を含むビュー・ウィ
ンドウに投影するステップと、 前記ビットマップ・イメージによってカバーされる前記
ビュー・ウィンドウの少なくとも１個のピクセルについ
て、 前記ビュー・ウィンドゥの前記ピクセルに対応する、前
記ビットマップ・イメージの少なくとも１個の要素を決
定するステップと、 前記ピクセルと関連する深さ値および前記少なくとも１
個の要素と関連する深さ値が、前記少なくとも１個の要
素が前記ピクセルよりもビュー・ポイントに近いことを
示すならば、 前記ビットマップ・イメージの前記少なくとも１個の要
素の色値に基づき、前記ピクセルの色値を導出するステ
ップと、前記環境マップのイメージを計算する範囲を示すデータ
に基づいて、前記環境マップを超える範囲のピクセルの
色値を導出するステップと、 前記ピクセルの導出した色値を表示のために記憶するス
テップと、 を含むことを特徴とするプログラム記憶装置。8. A machine-readable program storage device embodying a program of instructions executable by the machine to perform method steps for generating a view of the scene, the method comprising Represents the scene, image Data indicating the range for calculating
Storing color values associated with elements of an environment map including data in a column order, and storing color values associated with elements of a bitmap image that are separate from the environment map in a memory. Storing depth values associated with elements of the bitmap image in a memory; orienting the bitmap image with respect to a coordinate system of the environment map; Projecting onto a view window that includes an array of pixels; and for at least one pixel of the view window covered by the bitmap image, the bitmap image corresponding to the pixel in the view window. Determining at least one element of the image; and a depth associated with the pixel. And said at least one
If the depth value associated with the at least one element indicates that the at least one element is closer to the view point than the pixel, based on the color value of the at least one element of the bitmap image Deriving a color value of the pixel; and data indicating a range for calculating an image of the environment map.
Based on the range of pixels beyond the environment map
A program storage device , comprising: deriving a color value; and storing the derived color value of the pixel for display. 【請求項９】前記ビットマップ・イメージによってカバ
ーされる前記ビュー・ウィンドウの前記少なくとも１個
のピクセルについて、 前記ピクセルと関連する前記深さ値および前記少なくと
も１個の要素と関連する前記深さ値が、前記少なくとも
１個の要素が前記ピクセルよりも前記ビュー・ポイント
から遠いことを示すならば、 前記ピクセルに対応する、前記環境マップの少なくとも
１個の要素の色値に基づき、前記ピクセルの色値を導出
し、 前記ピクセルの導出した色値を表示のために記憶する請
求項８記載のプログラム記憶装置。9. The depth value associated with the pixel and the depth value associated with the at least one element for the at least one pixel of the view window covered by the bitmap image. Indicates that the at least one element is further from the view point than the pixel, the color of the pixel based on a color value of at least one element of the environment map corresponding to the pixel 9. The program storage device according to claim 8, wherein a value is derived, and the derived color value of the pixel is stored for display. 【請求項１０】前記ビュー・ウィンドウの前記ピクセル
と関連する深さ値を深さバッファに記憶する請求項９記
載のプログラム記憶装置。10. The program storage device according to claim 9, wherein a depth value associated with said pixel of said view window is stored in a depth buffer. 【請求項１１】前記ビットマップ・イメージによってカ
バーされる前記ビュー・ウィンドウの前記少なくとも１
個のピクセルについて、 前記ピクセルと関連する前記深さ値および前記少なくと
も１個の要素と関連する前記深さ値が、前記少なくとも
１個の要素が前記ピクセルよりも前記ビュー・ポイント
に近いことを示すならば、 前記ビットマップ・イメージの前記少なくとも１個の要
素と関連する前記深さ値にしたがって、前記ビュー・ウ
ィンドウの前記ピクセルと関連する前記深さ値を更新す
る請求項１０記載のプログラム記憶装置。11. The at least one of the view windows covered by the bitmap image.
For pixels, the depth value associated with the pixel and the depth value associated with the at least one element indicate that the at least one element is closer to the view point than the pixel. 11. The program storage device of claim 10, further comprising: updating the depth value associated with the pixel of the view window according to the depth value associated with the at least one element of the bitmap image. . 【請求項１２】前記環境マップの前記要素と関連する深
さ値をメモリに記憶するステップをさらに含み、前記ビ
ュー・ウィンドウの前記ピクセルと関連する前記深さ値
を、前記ビュー・ウィンドウの前記ピクセルに対応す
る、前記環境マップの少なくとも１個の要素と関連する
深さ値から導出する請求項８記載のプログラム記憶装
置。12. The method of claim 11, further comprising the step of storing in a memory a depth value associated with said element of said environment map, wherein said depth value associated with said pixel of said view window is stored in said pixel of said view window. The program storage device according to claim 8, wherein the program storage device is derived from a depth value associated with at least one element of the environment map, which corresponds to the following.