JP3392088B2 - 画像蓄積方法、画像描画方法、画像蓄積装置、画像処理装置、画像のダウンロード方法、コンピュータおよび記憶媒体 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、実写画像データに
基づいて生成された空間データから仮想画像を蓄積する
方法、蓄積された空間データに基づいて仮想空間を描画
する方法、更にはこれらの装置に関し、特に、上記空間
データのプログレッシブな蓄積、更には描画に関する。

【０００２】

【従来の技術】仮想空間を、３次元幾何形状を基に記述
するのではなく、実写画像を基に記述表現する手法が数
多く提案されている。これらはImage Based Rendering
（以下、IBRと略す）と呼ばれており、実写画像を基に
するが故に、３次元幾何形状を基にする手法からは得ら
れない写実性の高い仮想空間を表現できる点に特徴があ
る。 IBRの一手法である光線空間理論に基づいた仮想
空間の記述に関する試みが提案されている。例えば、電
子情報通信学会論文誌「CGモデルと光線空間データとの
融合による仮想環境の実現」(D-11, Vol. J80-D-11 No.
11, pp3048-3057, 1997年11月)、または、「３次元統
合画像通信を目指したホログラムと光線空間の相互変
換」(3D Image Conference)、更には、特開平１０−９
７６４２号などを参照。

【０００３】光線空間理論について説明する。f 第１図に示すように実空間に座標系O-X-Y-Zを設置す
る。Ｚ軸に垂直な基準面Ｐ（Z=z）を通過する光線を、
光線がＰを横切る位置（ｘ，ｙ）と、光線の方向を示す
変数θ、φで表すことにする。すなわち、１本の光線は
(x, y, z,θ,φ)の５つの変数により一意に定められ
る。この光線の光強度を表す関数をｆと定義すると、こ
の空間中の光線群データはf(x, y, z,θ,φ)で表現する
ことが出来る。この５次元の空間を「光線空間」と呼
ぶ。

【０００４】ここで、基準面Ｐをz=0に設定し、光線の
垂直方向の視差情報、すなわちφ方向の自由度を省略す
ると、光線の自由度を(x,θ)の２次元に縮退させること
ができる。このx-θ２次元空間は、光線空間の部分空間
となる。そして、実空間中の点（Ｘ，Ｚ）を通る光線
（第２図）は、u = tanθとおくと、ｘ−ｕ空間上で
は、第３図に示すように、 ［数９］X = x + u.Z

【０００５】という直線上に写像される。カメラによる
撮影とは、カメラのレンズ焦点を通過する光線を撮像面
で受光し、その明るさや色を画像化する操作に相当す
る。言い換えると、焦点位置という実空間中の１点を通
る光線群を画像として画素数分獲得していることにな
る。ここでは、φ方向の自由度を省略し、Ｘ−Ｚ平面内
のみでの光線の振舞いを考えているので、画像中のＹ軸
との直交面と交わる線分上の画素のみを考えることにな
る。このように、画像の撮影によって１点を通る光線を
集めることができ、１回の撮影でｘ−ｕ空間の１本の線
分上のデータを獲得することができる。

【０００６】この撮影を視点位置（本明細書では、特に
断らない限りは、視点位置は、視点の位置と視線方向の
双方を含むものとする）を変え多数行うと、多数の点を
通る光線群を獲得することができる。第４図のようにＮ
台のカメラを用いて実空間を撮影すると、ｎ番目（ｎ＝
１，２，...，Ｎ）のカメラC_nの焦点位置（X_n, Z_n）に
対応して、第５図のごとく、

【０００７】［数１０］x + Z_nu = X_n の直線上のデータを入力することができる。このよう
に、十分に多数の視点からの撮影を行うことによって、
ｘ−ｕ空間を密にデータで埋めていくことができる。

【０００８】逆に、ｘ−ｕ空間のデータ（第６図）か
ら、新しい任意の視点位置からの観察画像を生成するこ
とができる（第７図）。この図に示すように、目の形で
表した新しい視点位置Ｅ（Ｘ，Ｚ）からの観察画像は、
ｘ−ｕ空間上の数式１の直線上のデータをｘ−ｕ空間か
ら読み出すことによって生成できる。

【０００９】

【発明が解決しようとする問題点】しかしながら、上記
従来例では、実写画像のすべての画素を光線群に変換す
るための演算を行っていた。すなわち、E枚の実写画像
があり、それぞれの画素数がm×n個とすると、E×m×n
回の計算を行って光線群に変換するため、非常に計算量
が多くなる。特に、入力画像の解像度を保つように光線
群を光線空間に射影し、光線空間データを離散化する
と、離散化されたデータ量も膨大になる。

【００１０】本発明の目的は、対象物体の光線空間デー
タをプログレッシブ表示可能となるようにするための光
線空間理論データの蓄積方法および装置を提案する。

【００１１】本発明の他の目的は、プログレッシブ蓄積
された空間データを表示する方法および装置を提案す
る。

【００１２】

【課題を解決するための手段】上記課題を達成するため
の、実写画像の画像データから、この画像空間と異なる
所定の空間に関して構成された空間データを蓄積する画
像蓄積方法は、

【００１３】前記空間データ中の実画像データを解像度
に応じて階層化して分割する第１の階層分割工程と、

【００１４】前記実画像空間と前記所定の空間との対応
関係を表すマップを解像度に応じて階層化して分割する
第２の階層分割工程であって、夫々の階層での解像度が
前記第１分割工程における各階層の解像度に対応するよ
うに設定されている第２の階層分割工程と、

【００１５】得られた階層化画像データと階層化マップ
データとを記憶装置に記憶する工程とを具備することを
特徴とする。

【００１６】本発明の好適な一態様である請求項２に拠
れば、前記空間データは光線空間データである。

【００１７】本発明の好適な一態様である請求項３に拠
れば、階層と解像度は昇順或いは降順に設定されてい
る。

【００１８】本発明の好適な一態様である請求項４に拠
れば、前記階層分割工程はデータの間引き処理を行う。

【００１９】本発明の好適な一態様である請求項５に拠
れば、前記第２の階層分割工程は、階層分割数に応じて
設定された大きさのブロックに対応して前記マップデー
タを複数のブロックに分割するブロック分割工程を含
む。

【００２０】空間データのマップはアドレス情報を含
む。マップデータが階層化されていく過程で、このアド
レス情報も適正に変換されなくてはならない。そこで、
請求項６の方法に拠れば、前記第２の階層分割工程は、
階層の分割数をｐ、処理対象の階層をｉ、第ｉ階層のマ
ップデータの記憶アドレスをn_jとすると、変換後のアド
レスn_Iとして、

【００２１】［数１１］

【００２２】を用いることを特徴とする。本発明の好適
な一態様である請求項７に拠れば、前記ブロック分割工
程は、階層の分割数をｐとすると、ブロックの大きさを
Ｎ×Ｎとして、

【００２３】［数１２］

【００２４】に設定することを特徴とする。この条件を
満足させることにより、階層化処理が単純化する。請求
項１乃至７のいずれかに記載の方法で蓄積された階層化
空間データは本来的には描画時点で、プログレッシブ表
示の点で威力を発揮する。そこで、本発明の好適な一態
様である請求項８の、仮想空間に描画する画像描画方法
は、解像度のより低い階層の階層化空間データから順に
読み取る工程と、読みとった順に仮想画像を描画する描
画工程を具備する。

【００２５】本発明の好適な一態様である請求項９に拠
れば、ユーザの視点位置を検出する検出工程を有し、前
記描画工程は、検出された視点位置に基づいた仮想画像
を描画する。

【００２６】仮想画像の描画を更に高速にするために
は、描画対象を限定すればよい。そこで、請求項１０の
方法に拠れば、前記読み取り工程は、検出された視点位
置に近い空間の階層化空間データを読み取る。

【００２７】上記課題は、上述の蓄積方法または描画方
法をコンピュータ上で実現するプログラムを記憶する記
憶媒体を提供することによっても達成される。

【００２８】本発明の好適な一態様である請求項１２に
拠れば、本発明は記憶媒体を搭載するコンピュータであ
る。

【００２９】また、更に、上記課題は、画像蓄積装置ま
たは画像処理装置によっても達成される。

【００３０】上記課題は、実写画像の画像データから、
この画像空間と異なる所定の空間に関して構成された空
間データをダウンロードする画像のダウンロード方法に
よっても達成される。即ち、この方法は、

【００３１】前記空間データ中の実画像データを解像度
に応じて階層化して分割する第１の階層分割工程と、

【００３２】得られた階層化画像データと前記実画像空
間と前記所定の空間との対応関係を表すマップとを外部
にダウンロードするダウンロード工程と、前記マップを
解像度に応じて階層化して分割する第２の階層分割工程
を具備し、

【００３３】前記ダウンロード工程は、得られた階層化
画像データと階層化マップデータとをダウンロードする
ものであることを特徴とする。

【００３４】

【００３５】

【００３６】

【００３７】

【００３８】

【００３９】上記課題はまた、以下のような画像処理方
法によっても達成される。即ち、この方法は、入力画像
データを、該画像データの画像空間座標と異なる所定の
空間座標に関する空間データに変換する工程と、前記空
間データを解像度に応じて階層化して分割する第１の階
層分割工程と、前記画像空間座標における画像データと
前記所定の空間における空間データとの対応関係を表す
マップを生成する工程と、前記マップを解像度に応じて
階層化して分割する第２の階層分割工程と、得られた階
層化空間データと階層化マップデータとを記憶装置に記
憶する工程と、前記階層化空間データと前記階層化マッ
プデータとから画像を生成する画像生成工程と、を具備
する。

【００４０】本発明の好適な一態様である請求項１６に
拠れば、前記第２の階層分割工程は、夫々の階層での解
像度が前記第１分割工程における各階層の解像度に対応
するように設定されている。

【００４１】本発明の好適な一態様である請求項１７に
拠れば、階層と解像度は昇順或いは降順に設定されてい
る。

【００４２】

【００４３】本発明の好適な一態様である請求項１８に
拠れば、前記第２の階層分割工程は、階層分割数に応じ
て設定された大きさのブロックに対応して前記マップデ
ータを複数のブロックに分割するブロック分割工程を含
む。

【００４４】

【００４５】

【００４６】本発明の好適な一態様である請求項１９に
拠れば、解像度のより低い階層の階層化空間データから
順に読み取る工程と、読みとった順に仮想画像を描画す
る描画工程を具備する。

【００４７】本発明の好適な一態様である請求項２０に
拠れば、ユーザの視点位置を検出する検出工程を有し、
前記描画工程は、検出された視点位置に基づいた仮想画
像を描画する。

【００４８】仮想画像の描画を更に高速にするために
は、描画対象を限定すればよい。そこで、本発明の好適
な一態様である請求項２１に拠れば、前記読み取り工程
は、検出された視点位置に近い空間の階層化空間データ
を読み取る。

【００４９】上記課題は、上述の処理方法をコンピュー
タ上で実現するプログラムを記憶する記憶媒体を提供す
ることによっても達成される。

【００５０】更に、上記課題は、以下のような画像処理
装置によっても達成される。すなわち、この装置は、入
力画像データを、該画像データの画像空間座標と異なる
所定の空間座標に関する空間データに変換する手段と、
前記空間データを解像度に応じて階層化して分割する第
１の階層分割手段と、前記画像空間座標における画像デ
ータと前記所定の空間における空間データとの対応関係
を表すマップを生成する手段と、前記マップを解像度に
応じて階層化して分割する第２の階層分割手段と、得ら
れた階層化空間データと階層化マップデータとを記憶装
置に記憶する手段と、前記階層化空間データと前記階層
化マップデータとから画像を生成する画像生成手段と、
を具備する。

【００５１】

【００５２】

【００５３】

【００５４】

【００５５】

【００５６】

【００５７】

【００５８】

【００５９】

【００６０】

【発明の実施の形態】以下添付図面を参照しながら本発
明の好適な実施形態を説明する。この実施形態は、複数
の視点位置で撮像された実写画像群データを用いて、ユ
ーザにウオークスルー環境を提供するアプリケーション
に適用したものである。第８図に、複数の視点位置で撮
像された実写画像群から任意の視点位置における画像を
生成・表示する装置の実施形態の概略図を示す。

【００６１】図中、１０１は、実写画像群を撮像するた
めの画像入力装置である。画像入力装置は、１台のカメ
ラをずらすことによって多数枚の画像を撮像しても、複
数台のカメラをセットすることで多数枚の画像を撮像し
てもよい。また、画像入力装置１０１の代わりに、予め
撮影した多数枚の画像を格納したデータベースを用いて
もよい。１０２は、RAM等の高速メモリ１０３に記憶さ
れているプログラムに従って処理を行うCPUである。１
０３は記憶装置であり、該実写画像群の画像データや多
視点画像から生成された光線空間データ、CPUの処理手
順を示したウオークスルーアプリケーションプログラム
等を記憶し、また、その一部をワークメモリとして使用
する。１０４は観察者の視点位置・視線方向を検出する
ための視点・視線検出装置である。視点・視線検出装置
には、キーボードやマウスなどの入力デバイスを用いる
か、またはHMD（ヘッドマウントディスプレイ）などセ
ンサの付いているデバイスなどを用いることができる。
１０５は、観察者の視点位置・視線方向にしたがって生
成された画像を表示するための画像出力装置である。画
像出力装置には、CRTや液晶などの一般的な２次元ディ
スプレイを用いても、レンティキュラやHMDなどの３次
元ディスプレイを用いてもよい。なお、プログラムは、
FD（フロッピー（登録商標）ディスク）・CD-ROM・磁気
テープ等の記憶媒体に記録しておき、記憶媒体読み取り
装置１０６から読みだして記憶装置１０３に記憶させて
もよい。

【００６２】２００は光線空間（以下、光線空間を「R
S」と略称する）データのデータベースシステムであ
り、後述するように、CPU１０２が構成するホスト１０
００に対してファイルサーバとして機能する。

【００６３】本実施形態の特徴は、第９図に示すよう
に、ウオークスルーを提供するアプリケーション・プロ
グラムが仮想空間を描画するための光線空間データを必
要とするときは、光線空間データをデータベース２００
からそのままRAM１０３にダウンロードするのではな
く、光線空間データを階層化（本実施形態では、便宜
上、４つの階層に分割）し、階層化光線空間データを１
階層分ずつダウンロードするものである。アプリケーシ
ョン・プログラムはダウンロードした階層化光線空間デ
ータを合成して復元し、その復元データに基づいて仮想
画像を描画して表示装置１０８に表示する。

【００６４】RAM１０３にはダウンロードの進行状況を
管理する管理テーブルが設けられ、その詳細は第２７図
に関連して説明されるであろう。

【００６５】後述するように、光線空間データ（RSデー
タ）は、画像データとマップデータ（ｘｕ空間とｘｙ空
間との対応関係を示すマップ）との対から構成される。
従って、画像データとマップデータとから構成される光
線空間データをデータベース２００においてどのように
階層化するか、また、ホスト１００において、階層化さ
れた光線空間データをどのようにして復元するかが重要
である。

【００６６】第１０図は、実施形態に対して適用される
階層化処理の概念を示すもので、この図では、説明の便
宜上、光線空間データのうちの画像データに対する階層
化処理を示した。マップデータの階層化については第１
７図乃至第２０図によって説明される。第１０図の例で
は、一例として、２^ｎ×２^ｎ画素の原画像I_n（同図で最
下位階層の画像）に対して、さらにｎ個の階層の画像で
あって、夫々の画素数が2^n-1×2^n-1 _, 2^n-2×2^n-2…2⁰×
2⁰ である画像I_n-1, I_n-2 〜 I₀が生成されている。第
１０図の例では、ある階層ｉの画像データは、階層i+1
の画像の対応する２×２画素の範囲内の画素値の例えば
平均値によって与えられる。

【００６７】次に、第１１図のフローチャートを用い
て、撮影された多視点画像と光線空間データとの対応関
係を示すマップデータを作成する制御手順を説明する。
この制御手順は、第９図では、画像入力装置１０１から
データベース２００への画像のアップロードに相当す
る。尚、第１１図の制御手順は、DBシステム２００が、
画像入力装置１０１を制御しながら行ってもよいし、或
いは、画像入力装置１０１から一旦読み取った画像デー
タを不図示のメモリに記憶し、その画像データに対して
マップデータ作成処理を施すようにしてもよい。いずれ
にしても、第１１の制御手順はその性質上オフライン処
理（バッチ処理）に適している。

【００６８】第１１図のステップＳ１０２では、画像入
力装置１０１を用いて複数の視点位置からＥ枚の画像を
撮像し、記憶装置１０３に保存する。ステップＳ１０４
では、記憶装置１０３に保存された各画像データ中の先
頭１ライン分のデータを光線群に分解し、前述の［数
９］または［数１０］に従って光線空間(x, u)に射影す
る。この射影を第１２図を用いて説明する。

【００６９】第１２図において、αはＺ軸に対する光軸
のずれ角であり、レンズ中心の位置Ｑ(x_０、z_０)（これ
を視点位置とする）にカメラを置いて画像を撮影してい
る状況を示したものである。図中、３０１は視点位置Ｑ
(x_０、z_０)、３０２は撮像面、３０３は撮像面中の任意
ラインのｊ番目の画素、αはユーザ視点（即ち、仮想カ
メラ視点）からのカメラ光軸がＺ軸となす角、θは視点
位置３０１とｊ番目の画素３０３を通過する光線がＺ軸
となす角度、ωはカメラの画角、３０４はｊ番目の画素
を通過する光線がX軸と交差する点を表している。撮像
面中の各ラインの画素数をｍとすれば、光線方向を示す
角度データθは、以下の式を解くことにより求めること
ができる。

【００７０】［数１７］

【００７１】ステップＳ１０４での、画像データをRS空
間に変換するという作業は、［数１７］を、Ｅ枚の画像
のデータ中の先頭１ライン分のデータ（即ち、Ｅ×ｍ画
素分のデータ）に適用して、Ｅ×ｍ個の光線方向θ
_i（ｉ＝１〜E.m）を求めることに他ならない。ステップ
Ｓ１０６では、光線方向θ_i（ｉ＝１〜E.m）を有するＥ
×ｍ個の光線群を［数９］［数１０］に従って光線空間
に射影する。光線空間に記録されるデータとは、ｋ番目
の画像（ｋ番目の視点位置にて撮像された画像）中の、
主走査方向でｈ番目の画素から生成された光線が光線空
間中の(x₁、u₁)の位置に射影されたとすると、光線空間
中のこの位置(x₁、u₁)に、

【００７２】（k、h）（ここで、ｋ：画像番号、ｈ：主
走査方向画素位置） という値が記録されることによって表現されるデータで
ある。ここで、各画像データ中の先頭１ライン分のデー
タのみを光線空間に射影する理由であるが、［数９］
［数１０］から分かるように、これらの式には、画像の
高さ（ｙ）方向の項が入っていない。そのため、２ライ
ン目以降のデータも先頭ラインのデータと同じ（光線空
間中の）位置に射影される。従って、各画像中の先頭ラ
インのみを計算しておけば、その他のデータは計算しな
くても自動的に光線空間中のどの位置に射影されるかを
求めることができる。このように先頭ラインのみを計算
することにより、高速化を図ることができる。

【００７３】さらにステップＳ１０８において、射影さ
れた光線空間データを、入力画像と同等の解像度を保っ
た状態になるようにｘ軸、ｕ軸を量子化する。このよう
に量子化することで、無意味なデータの生成を抑制する
ことができる。

【００７４】第１３図に、ステップ１０８までの処理が
終了した時点での量子化された光線空間データの一例を
示す。説明を簡単にするために、この例では、ｘ軸、ｕ
軸が量子化された結果、１１×５個の要素になってい
る。そして、それぞれの要素には、それぞれの光線に対
応する

【００７５】〔画像番号、画素番号〕=［ｋ，ｈ］ 尚、実画像空間内の集合要素と光線空間内の集合要素は
一対一に対応するものの、量子化のために、値が未定の
要素（第１３図中の空白部）が存在する。このため、ス
テップＳ１０８では、量子化に併せて、補間処理を、即
ち、値が未定な要素の値を推定する。ここでは推定方法
として、nearest neighbor法を採用するが、これに限ら
ず、どんな手法を用いて推定しても良い。推定した値
は、〔画像番号、画素番号〕の組として対応する要素に
記録する。このような形式で光線空間データを保持して
おくと、後で述べる任意視点画像生成がテーブル（対応
関係表）を参照する形で行えるので、高速処理が可能と
なる。

【００７６】第１４図に、ステップＳ１０２乃至ステッ
プＳ１０８までの処理を行った結果として得られた対応
関係マップの例を示す。尚、第１４図の例は第１３図の
例に対して、nearest neighbor法を用いて補間したもの
である。

【００７７】ステップＳ１１０では、このようにして得
られた対応関係マップと、元の画像データ（画像番号ｋ
と画素位置ｈと画素値Ｐの組）とが光線空間データ（以
下、「非階層化RSデータ」と略称する）として、DBシス
テム２００内の所定の大容量メモリに記憶される。

【００７８】第９図に関連して説明したように、本実施
形態では、データベース２００とホスト１００との間で
は、光線空間データがそのままダウンロードされるので
はなく、一旦階層化された光線空間データがダウンロー
ドされる。また、光線空間データはマップデータと画像
データとからなるから、光線空間データを階層化すると
言うことは、画像データとマップデータの双方を階層化
することを意味する。画像データの階層化は、本実施形
態では、周知の階層化符号化をを用いるので、以下で
は、マップデータの階層化について主に説明する。

【００７９】前述の如く、本実施形態のマップデータは
第１３図のように二次元構造を有するように生成され
る。マップデータを階層化する場合には、マップデータ
を８×８の大きさのブロックに分割する。各ブロックに
おいては、８×８＝６４個の各々のセルに対して、
“１”乃至“４”までの離散度値が、例えば第１４図の
ように、割り当てられる。各離散度値に対するブロック
内位置は第１５図に示すようである。即ち、各ブロック
において、

【００８０】・離散度値“１”の要素は、左上の要素の
みに割り当てられ、結局、１つのブロック内では、１つ
の要素のみが“１”の離散度値を有する。離散度値が
“１”の要素からなる階層化データを第１階層マップDD
_b(1)（第１７図）と呼ぶ。第１階層マップDD_b(1)は、ブ
ロックから、離散度値“１”の要素（即ち、各ブロック
の最左上の要素）のみを抜き出して得られる。従って、
第１階層マップデータのデータ量は、元のマップデータ
に対して、1/64

【００８１】に圧縮されている。即ち、第１階層マップ
データは、元のマップデータの縦横について、夫々1/8
に間引いたマップデータである。・離散度値“２”の要
素は、上下方向で４個おきの要素に割り当てられ、結
局、１つのブロック内では、３つの要素のみが“１”の
離散度値を有する。物体ｂについての、離散度値が
“２”の要素からなる階層化データを第２階層マップデ
ータDD_b(2)（第１８図）と呼ぶ。第２階層マップデータ
DD_b(2)は、ブロックから、離散度値“１”と“２”の要
素のみを抜き出して得られる。

【００８２】・離散度値“３”を有する要素は、１つの
ブロック内で１２個の要素のみが離散的に分布するよう
に設定される。離散度値が“３”の要素からなる階層化
データを第３階層マップデータDD_b(3)（第１９図）と呼
ぶ。・離散度値“４”を有する要素は、１つのブロック
内で４８個の要素のみが離散的に分布するように設定さ
れる。離散度値が“４”の要素からなる階層化データを
第４階層マップDD_b(4)（第２０図）と呼ぶ。尚、離散度
値の分布（位置ならびに数）は上記例に限定されず、全
体の画素数が一致する限りは、種々の変形例が自由に可
能である。また、１ブロックの大きさを８×８としたこ
との理由は、階層化の分割数を４階層としたことに起因
するが、その理由は後述する。

【００８３】後述の制御手順から明らかになるように、
上述のようなデータ量が軽減された各離散度の光線空間
データがDB２００からホスト１０００までダウンロード
されるので、ダウンロードに要する時間は短いものとな
る。従って、ホスト１０００側のアプリケーション・プ
ログラムは、生のままの光線空間データをダウンロード
するときに比べて、仮想画像を高速に描画することがで
きる。

【００８４】本実施形態における仮想画像の描画は、上
記階層化マップデータをそのまま用いて描画されるので
はなく、それまでにダウンロードされていて保存されて
いた合成階層化マップデータに、描画時点でダウンロー
ドされた階層化マップデータをマージして得た光線空間
データに基づいて為される。即ち、ある物体ｂの階層数
ｉの合成階層化マップデータD_b(i)は、それまでの階層
数ｉ−１の合成階層化マップデータSD_b(i-1)と、離散度
d_b(i)の階層化マップデータDD_b(i)とに基づいて、

【００８５】［数１８］D_b(i) = SD_b(i-1) + DD_b(i)

【００８６】により計算される。尚、上記［数１８］
で、＋は論理和を表す。第２１図乃至第２４図は、夫
々、合成第１階層マップデータSD_b(1)、合成第２階層マ
ップデータSD_b(2)、合成第３階層マップデータSD_b(3)、
合成第４階層マップデータSD_b(4)を示す。

【００８７】即ち、第２１図に示すように、合成第１階
層マップデータSD_b(1)は第１階層マップデータDD _b(1)
（第１７図）に等しい。合成第１階層マップデータSD
_b(1)は、ブロックから、離散度値“１”の要素（即ち、
各ブロックの最左上の要素）のみを抜き出したものであ
る。このような要素は各ブロックに１つしか存在しな
い。従って、合成第１階層マップデータSD_b(1)は、元の
マップデータに対して、1/64に圧縮されている。即ち、
元のマップデータの縦横について、夫々1/8に間引いた
マップデータである。

【００８８】合成第２階層マップデータSD_b(2)は、合成
第１階層マップデータSD_b(1)と第２階層マップデータDD
_b(2) （第１８図）との和であるから、第２２図のよう
になる。即ち、合成第２階層マップデータSD_b(2)は、ブ
ロックから、離散度値“１”と“２”の要素のみを抜き
出したものである。離散度値“１”の要素は１つ、離散
度値“２”の要素は各ブロックに３つしか存在しない。
従って、合成第２階層マップデータSD_b(2)の要素の数は
４であり、従って、そのデータ量は、元のマップデータ
に対して、1/16に圧縮されている。即ち、合成第２階層
マップデータSD_b(2)は、元のマップデータの縦横につい
て、夫々1/4に間引いたマップデータである。

【００８９】合成第３階層マップデータSD_b(3)は、合成
第２階層マップデータSD_b(2)と第３階層マップデータDD
_b(3)（第１９図）との和であるから、第２３図のよう
になる。合成第３階層マップデータSD_b(3)は、ブロック
から、離散度値“１”、“２”、“３”の要素のみを抜
き出したものである。１つのブロックには、離散度値
“１”の要素は１つ、離散度値“２”の要素は３つ、離
散度値“３”の要素は１２個しか存在しない。合成第３
階層マップデータSD_b(3)の要素の数は１６であり、従っ
て、データ量は、元のマップデータに対して、1/4に圧
縮されている。即ち、合成第３階層マップデータSD_b(3)
は、元のマップデータの縦横について、夫々1/2に間引
いたマップデータである。

【００９０】合成第４階層マップデータSD_b(4)は、合成
第３階層マップデータSD_b(3)と第４階層マップデータDD
_b(4)（第２０図）との和であるから、第２４図のよう
になる。合成第４階層マップデータSD_b(4)は、ブロック
から、離散度値“１”、“２”、“３”。“４”の要素
のみを抜き出したものである。１つのブロックには、離
散度値“１”の要素は１つ、離散度値“２”の要素は３
つ、離散度値“３”の要素は１２個、離散度“４”の要
素は４８個しか存在しない。ステップＳ３１４の処理に
よって生成される第４階層データの要素の数は６４であ
り、従って、合成第４階層マップデータSD_b(4)は元のマ
ップデータに他ならない。

【００９１】以上のようにして、対応関係マップの階層
化は成される。階層化された画像データとマップデータ
（以下、「階層化されたＲＳデータ」と呼び、

【００９２】階層化されたこれらのデータを「階層化Ｒ
Ｓ空間データ」と呼ぶ。ここで、階層の分割数ｐ（上記
実施形態では４分割）とブロックの大きさＮ（上記実施
形態では８×８）との関係について言及する。

【００９３】この実施形態では、最上位の階層の解像度
は元の光線空間データの解像度と一致していることが望
ましい。従って、 ［数１９］ である。しかしながら、このような関係で階層数やブロ
ックサイズを設定することができない場合がある。

【００９４】特に、階層化されたマップデータには、階
層化前の画像データのアドレスが含まれているので、第
１の階層の画像データには無いアドレスが含まれる。例
えば、第１階層の合成マップデータには、（５，２３）
というアドレスが入っていたとすると、２３列目は、階
層化される前の画像データの画素を指しているが、画像
データを４階層に分けたときには、第２列目に縮対して
いるはずである。ここで、２列目の２は、［］をガウス
記号とすると、 ［数２０］ から求めた。

【００９５】従って、実際の処理では、上記の変換を考
慮する必要がある。一般的には、この変換は、階層の分
割数をｐ、処理対象の階層をｉ、変換されたアドレスを
n_i、第ｉ階層の合成マップデータの何列目に記憶されて
いるかを表すアドレスをn_jとすると、 ［数２１］ で表される。

【００９６】以上のようにして生成された階層化光線空
間データは、個々の物体について得られた多視点画像に
対して得られる。即ち、ある仮想空間中に、Ｌ個の仮想
物体（若しくは現実物体）があるならば、Ｌ組の階層化
ＲＳ空間データが得られることになる。第２５図は、あ
る空間中に４つの仮想物体（若しくは現実物体）が存在
することを示し、それらの物体１乃至４について、夫
々、E₁枚の画像、E₂枚の画像、E₃枚の画像、E₄枚の画像
が得られたとすると、４つの物体に対して４組の階層化
ＲＳ空間データが得られることを示している。

【００９７】次に、階層化RS空間データを用いて所望の
視点位置の画像を生成する方法について、第２６図のフ
ローチャートに従って説明する。任意視点位置（視線方
向も含む）からの仮想画像を描画するときは、上記の階
層化された画像データとマップデータに基づいて描画す
る。この処理はリアルタイムベースで行うことが望まし
いが、この実施形態では、階層化RSデータを用いるの
で、少なくとも、解像度は低いが全体的に見通しのよい
第１階層のＲＳデータによる仮想画像の描画が生成され
るので、リアルタイムで仮想空間を把握することが可能
となる。

【００９８】尚、本実施形態では、階層分割数は、４に
留まらず、上述したように所定の条件（［数２０］［数
２１］など）を満たせば、任意の分割数に設定できるの
で、以下の説明では、分割数＝ｉとする。

【００９９】第２６図は、本実施形態のアプリケーショ
ン・プログラムの処理手順を示す。このウオークスルー
アプリケーションでは、仮想空間柱の物体に対してオブ
ジェクト番号ｂが割り当てられており、各物体について
の光線空間データがDB２００に格納されているものとす
る。換言すれば、複数の物体が予めウオークスルー対象
の空間に配置されている。

【０１００】ステップＳ２００では、ユーザの視点位置
（例えば、観察者の位置・視線方向等））を検出する。
ユーザの位置・視線方向を入力する手段としては、ジョ
イスティック、キーボード、磁気センサ、視線検出器な
どがあるが、この目的が達せられるものならば何でも良
い。ステップＳ２０２では、この視点位置から見えるは
ずの視野範囲内にある物体をサーチする。前述したよう
に、空間内において配置されている仮想物体（現実物体
の実写から構成される仮想物体）の配置位置は既知であ
るので、ユーザの視点位置がステップＳ２００で決定で
きれば、その位置から見えるはずの全ての仮想物体のオ
ブジェクト番号ｂを特定することができる。

【０１０１】ステップＳ２０４では、ステップＳ２２で
サーチされた仮想物体のデータがDB２００からダウンロ
ードされているか否かを判断するために、管理テーブル
内をサーチする。このサーチにより、ステップＳ２００
で検出された視点位置にユーザが移動してきたことによ
って初めて現れてきた仮想物体のオブジェクト番号を知
ることができる。

【０１０２】ステップＳ２０４で用いられる管理テーブ
ルの構成を第２７図に示す。第２７図において、管理テ
ーブルの１つのレコードは４つのフィールドから構成さ
れている。各レコードはオブジェクト番号ｂ毎に構成さ
れ、フラグF_bPと、階層番号i _bとを有する。管理テーブ
ルは、本実施形態のウオークスルーアプリケーション・
プログラムが対象とする仮想空間で定義される物体の数
に等しいレコード数を持つ。描画対象フラグF_bDは、そ
の物体ｂが描画対象であることを示すフラグである。

【０１０３】データ有無フラグF_bPPと階層番号i_bとによ
り、その物体ｂの光線空間データの階層番号i_bの階層化
データがホストのRAM１０３上に存在することを示す。
データ有無フラグF_bPPと階層番号i_bとは、光線空間デー
タをホストのアプリケーション・プログラムが受け取る
毎に更新される。

【０１０４】階層番号i_bの値は０乃至４の値を有する。
階層番号i_bの最大値を４としたのは、この実施形態の説
明の便宜上、階層化の分割数を４階層としたためであ
る。ダウンロードがある程度進んだ時点での例を示す第
２７図では、オブジェクト番号ｂが１である物体は階層
番号i_bが“３”である光線空間データが、オブジェクト
番号ｂが２である物体は階層番号i_bが“１”である光線
空間データが、オブジェクト番号ｂが３である物体は階
層番号i_bが“２”である光線空間データが、オブジェク
ト番号ｂが４である物体は階層番号i_bが“４”である光
線空間データが、夫々、ホスト１０００側にダウンロー
ドされていることを示す。

【０１０５】階層番号i_bは解像度に対応する。本実施形
態では、１乃至４のいずれかの値の階層番号i_bの光線空
間データがホスト１０００側に存在すれば（ダウンロー
ドされていれば）、そのデータをホスト１０００側の表
示装置１０８に表示することとしているので、i_b≠０で
ある物体に対しては、表示データが存在することとなる
ので、対応するフラグF _bDの値を“１”とする。第２７
図の例では、物体１乃至４に対してはいずれかの解像度
の表示データが存在するので、対応するフラグF _bDの値
は“１”となっており、オブジェクト番号５の物体につ
いては対応するフラグF _bDの値は“０”である。

【０１０６】従って、ステップＳ２０４では、フラグF
_bD = 0である物体は、「新たに」現れら物体となる。
そこで、ステップＳ２０６ではこのような物体ｂ（＝
ｘ）が存在するか否かを判断する。

【０１０７】かかる物体ｘが存在すれば、ステップＳ２
０８に進んで、その物体ｘが描画対象であることを示す
ために、フラグF_xD = 1とする。そして、ステップＳ２
１０で、当該物体ｘの光線空間データをダウンロードす
べきことをDB２００に要求する。そして、ステップＳ３
００に進む。

【０１０８】一方、ステップＳ２０６で新登場の物体が
存在しないと判断されれば、ステップＳ３００に進む。

【０１０９】ステップＳ３００は、管理テーブル（第２
７図）のF_bPが“１”である物体の光線空間データを描
画表示するルーチンである。

【０１１０】かくして、ステップＳ２００で検出された
視点位置が、それまでの視点位置から、描画対象とすべ
き空間（若しくは物体）の変更を強いるほどの移動があ
った場合には、ステップＳ２０８で、その物体が描画対
象であることを記憶し、ステップＳ２１０で、その仮想
物体の空間データをデータベース２００に要求し、ステ
ップＳ３００では、ダウンロードされたその新たな空間
データ（階層化空間データ）に従って、その新たな物体
についての、ステップＳ２００で検出した視点位置での
仮想画像を描画する。尚、新たな物体が見つかった場合
において、ステップＳ３００で仮想画像の描画を行う処
理は、後述するように、既存の物体に対しては、それま
でにダウンロードされていた最高解像度での空間データ
により描画する。

【０１１１】ステップＳ３００の描画ルーチンの詳細は
第２９図に、ホスト１０００側での階層化データの受信
ルーチンは第３０図に、データベース側での光線空間デ
ータの送出ルーチンは第３１図に示されている。

【０１１２】ホスト１０００が新たな物体の光線空間デ
ータを要求するときは、ステップＳ２１０で、第２８図
に示したリクエストコマンドをデータベース２００に送
る。このコマンドは、光線空間データを要求する物体ｂ
の指定（オブジェクト番号ｂ）、要求する解像度（階層
度i_b）の指定を含む。尚、ステップＳ２１０で送るコマ
ンドは、最低解像度（階層番号１）の階層化光線空間デ
ータを要求するものであるから、i_b = 1である。尚、よ
り高い解像度（階層番号２〜４）の階層化光線空間デー
タは、後述の第３０図のステップＳ４１６で要求され
る。

【０１１３】ホスト側は、ステップＳ２１０で要求コマ
ンドをデータベース２００に発行した後は、ステップＳ
３００の描画表示ルーチンを実行する。一方、ステップ
Ｓ２１０で発行された要求コマンドはデータベース２０
０により受信されるであろう。

【０１１４】ステップＳ３００の詳細は第２９図に示さ
れる。即ち、第２９図のステップＳ３０２において、上
記入力された視点位置・視線方向における仮想カメラを
設定する。ステップＳ３０４において、仮想カメラの画
像座標での先頭ラインの各画素を光線群に分解する。次
にステップＳ３０６において、ステップＳ３０４で求ま
った光線群を［数９］［数１０］を用いて各光線が光線
空間中のどの位置に射影されるかを求める。このときス
テップＳ１０８（第１１図）の処理と同様に量子化す
る。ステップＳ３０８では、管理テーブル（第２７図）
のフラグF_bDとフラグF_bPを参照して、既に、描画対象で
あって光線空間データがダウンロードされている物体を
探索する。

【０１１５】第２７図の例では、物体１、２、３、４と
ｘとが描画対象である（視点位置から見える）が、物体
ｘの光線空間データはまだダウンロードされていないこ
とを示している。従って、ステップＳ３１０，ステップ
Ｓ３１２では、フラグF_bPが“１”である物体（物体
１、２、３、４）の描画を行う。ステップＳ３１４で
は、その物体の仮想画像の表示を行う。

【０１１６】以下に、物体ｘの光線空間データのダウン
ロードについての説明を行う。データベース２００は、
ステップＳ５０１（第３１図）において、ホストからの
物体ｂの、階層度i_bの光線空間データ要求を待ってい
る。従って、新たな物体ｘのデータ要求は、データベー
ス２００により、ステップＳ５０１（第３１図）におい
て受け付けられる。ステップＳ５０２では、データ要求
が、物体ｂ（＝ｘ）の階層度i_b（＝i_x）についての階層
化データであることが分析される。ステップＳ５０４で
は、データ要求が第１階層度についてであるかの判断を
する。この判断は、階層化データを得るには一度は、物
体ｂの光線空間データの全ブロックを８×８に分解しな
ければならないからである。その分解処理はステップＳ
５０６〜ステップＳ５１０で行われる。ステップＳ５１
２では、ワークレジスタd_bに階層度i_bを待避する。

【０１１７】ステップＳ５１４では、離散度d_bのマップ
要素を集める。第２７図の例では、物体ｘについてはd_b
＝１であるから、第１７図のDD_b(1)となる。ステップＳ
５１６では、離散度d_bの画像データの要素（第１０図参
照）を集める。ステップＳ５１７では、離散度d_bの階層
化マップデータと画像データとを、階層化光線空間デー
タとしてホスト１０００側に送る。即ち、階層化光線空
間データをホスト１０００に向けてダウンロードする。

【０１１８】ステップＳ５１８ではカウンタd_bを１つ増
加させる。ステップＳ５２０，ステップＳ５２２では、
第４階層度までの光線空間データをダウンロードし終わ
ったかを調べ、終了したならば、ステップＳ５１０で保
存していたワークデータをワークメモリから解放する。

【０１１９】データベース２００がステップＳ５１７で
送出した階層化データ（物体ｂ、階層度i_b）を、ホスト
１０００はステップＳ４０２（第３０図）で受信する。
ステップＳ４０４では、階層化データが、物体ｂ、階層
度i_bについてのものであることを確認し、ステップＳ４
０６では、物体ｂについての階層化データが少なくとも
第１階層度について存在することを記憶するために、デ
ータ有無フラグF_bPを“１”にセットする。

【０１２０】ステップＳ４０８では、ステップＳ４０２
で受信した第i_b階層化データを、それまでに累積してい
た階層数i_b-1の合成階層化マップデータSD_b(i-1)と、
［数１８］に従って合成する。尚、第１階層化データを
受信したときはそのデータが合成第１階層化データとな
る（第２１図を参照）。ステップＳ４１０で、合成第i
階層データは、それまでの第i-1階層データの上に上書
きされる。ステップＳ４１２では、階層度を１つ上げ、
ステップＳ４１４で階層度が４を超えていないことを確
認して、ステップＳ４１６で、次の階層度の光線空間デ
ータを要求する。

【０１２１】かくして、物体ｘの第１階層の合成空間デ
ータがメモリ１０３上に形成された。この状態はフラグ
F_bP＝１に反映されているので、ステップＳ３１２で、
物体ｘの仮想画像が合成第１階層空間データSD₁(1)に基
づいて描画表示される。

【０１２２】ステップＳ４１６で、データベース２００
に対して発行された物体ｂの第２階層の空間データのダ
ウンロード要求は、第３１図のステップＳ５０１で受け
付けられ、ステップＳ５０１→ステップＳ５０２→ステ
ップＳ５０４→ステップＳ５１４→…ステップＳ５１７
と進んで、第２階層化光線空間データ（第１８図）が送
られ、その第２階層化光線空間データはステップＳ４２
０でホスト１０００によって受信される。受信された第
２階層化光線空間データは、ステップＳ４０８，ステッ
プＳ４１０で、合成第２階層化光線空間データとして形
成され、この合成データはステップＳ３１０で描画され
る。

【０１２３】上述のダウンロードは、ステップＳ４１４
により、第４階層度に到達するまで継続される。 この
繰り返し処理により、低解像度（低階層度）から高解像
度の順番に、夫々の解像度の仮想画像が表示され、即
ち、プログレッシブに表示される。

【０１２４】このプログレッシブなダウンロードに際し
て、階層分割された光線空間データがホストに送られる
ので、ダウンロードに要する時間が短縮されるという効
果が得られる。このために、描画表示が効率化される。
特に、最もデータ量の少ない（解像度の低い）第１階層
から初めて順に解像度の高いデータをダウンロードする
ようにしているので、換言すれば、表示される物体の仮
想画像は次第に解像度が上昇するように制御されるの
で、特に、ウオークスルーアプリケーションでは、低解
像度の画像が早期に表示されるので、その画像の物体が
目的の物体であるか否かを早期に判断することができ
る。

【０１２５】尚、上記実施形態では、データベースから
送られてきた低解像度の光線空間データは、それよりも
高い解像度の光線空間データが送られてきたときは、捨
てられる（ステップＳ４１０で上書き）ので、大容量の
メモリが不要となる。

【０１２６】尚、光線空間への射影時に上下視差を考慮
するときには、前述の本発明の出願人による特開平１０
−９７６４２号の手法を適用する。

【０１２７】なお、視点位置・視線方向検出装置１０４
には視点位置・視線方向が検出できるものであれば何で
もよい。また、画像出力装置１０５に、レンチキュラ方
式やメガネ方式などの両眼立体視が可能な立体表示部を
用い、かつ、多視点画像の撮影時に、観察者の左右各々
の目の位置に対応する画像を生成することにより、観察
者の視点移動に対応可能な両眼立体表示装置となる。

【０１２８】〈第１変形例〉上記実施形態は、仮想空間
全体の物体の仮想画像を、プログレッシブに生成描画す
るものであった。例えば、ウオークスルー体験を提供す
るシステムでは、仮想空間は、複数のサブ仮想空間に分
割され、各々のサブ仮想空間毎に光線空間データが生成
されている。或いは、光線空間内の各々の物体毎に光線
空間データが生成されている。換言すれば、仮想空間
は、所定の単位毎に分割されて光線空間データ化されて
いる。

【０１２９】変形例の画像処理装置は、ユーザの視点位
置に近いサブ仮想空間の階層化ＲＳデータをプログレッ
シブ表示するものである。このような描画が可能なの
も、第２実施形態では、副仮想空間（或いは物体毎に）
毎の光線空間データが階層化されて記憶装置に記憶され
ているからである。

【０１３０】具体的には、この変形例では、ユーザの視
点位置を把握し、この視点位置に近い物体若しくは副仮
想空間の光線空間データを記憶装置から読み出す。

【０１３１】そこで、まず、ユーザの視点位置に近い物
体（或いは副仮想空間）から順に、その物体（或いは副
仮想空間）の階層化ＲＳデータを描画生成する。この描
画生成は、全ての物体（或いは副仮想空間）に対して、
まず、最低解像度の階層化ＲＳデータを用いて描画を行
い、次に、次に粗い解像度の階層化ＲＳデータを用いて
同じく全ての物体（或いは副仮想空間）に対して行うよ
うにする。

【０１３２】尚、ユーザが移動した場合には、その移動
方向にある物体（或いは副仮想空間）の階層化ＲＳデー
タから順に描画を行う。

【０１３３】〈第２変形例〉次のような変形例をさらに
提案する。即ち、仮想空間（複合現実空間）で、ユーザ
が特に指定した仮想物体（或いは現実物体）は、そのユ
ーザが特に把握を急ぐ物体（或いは副仮想空間）の筈で
ある。そこで、ユーザが、仮想物体や現実物体をつか
み、或いは、移動し、或いは回転させたような場合に
は、当該仮想物体（現実物体）の仮想画像の描画につい
て上記プログレッシブ描画を行うようにする。

【０１３４】〈第３変形例〉また、上記実施形態では、
光線空間の、画像データとマップデータの双方を階層化
していた。しかしながら、画像データのデータ量に比し
て、マップデータのデータ量は圧倒的に少ない。従っ
て、マップデータを階層化したことによって得られるダ
ウンロード時間の減少幅は、画像データのそれによる減
少幅よりも少ない。従って、マップデータの階層化を省
略しても、マップデータを階層化する場合に比して、ダ
ウンロード時間の増加の度合いは問題とならない場合が
あり得る。そこで、上記実施形態に対する変形例とし
て、マップデータの階層化を省略することを提案する。
マップデータの階層化を省略すれば、その復元処理をホ
スト側で行う必要がないから、その分だけ、描画を開始
するまでの時間が短縮されるという副次的な効果が得ら
れる。

【０１３５】〈第４変形例〉更に、上記実施形態では、
光線空間データの階層化をデータベース側で行い、その
階層化データをホスト側にダウンロードしていた。ホス
ト側では、階層化データをダウンロードする毎に合成
し、合成時点での解像度での合成階層化データを表示し
ていた。即ち、第９図に示した実施形態では、光線空間
データを階層化データに変換する作業を、ホスト側から
要求があった時点で行っていたが、この変換作業を前も
ってバッチ処理で行っていてもよい。階層化処理は、ユ
ーザの視点位置によって影響を受けないので、前もって
行うことが可能となるのである。階層化処理を前もって
行うことは、階層化データを記憶するための領域をデー
タベース２００上に要求するが、前記実施形態のように
ダウンロード時点で階層化を行う必要がないから、ダウ
ンロードが高速化される。

【０１３６】〈第５変形例〉第５変形例は、第４変形例
に対する変形例である。即ち、この第５変形例では、合
成階層化データをバッチ処理によりデータベース２００
側で準備しておくものである。合成階層化データは階層
化データよりもデータ量が多いので、ダウンロードに要
する時間が階層化データのダウンロードよりも長い時間
を要するが、合成のための処理がホスト１０００側で不
要となるという長所が生まれる。

【０１３７】〈第６変形例〉上記実施形態では、光線空
間データベース２００はホストに通信回線を介して接続
されていたが、本発明は、並列バス接続のデータベース
に対しても適用可能である。

【０１３８】〈第７変形例〉上記実施形態では、データ
ベースから、一旦、第４階層度までダウンロードされた
光線空間データはメモリ１０３に記憶されていたが、視
点位置の移動によって、視界からはずれたような物体に
ついての空間データは秒がされないので、不要であり、
従って、視界からはずれたならば、その物体の光線空間
データをRAM１０３から消去し、併せて、フラグF_bPを
“０”とする。

【０１３９】また、本発明は、複数の機器から構成され
るシステムに適用しても、一つの機器からなる装置に適
用しても良い。また、本発明はシステムあるいは装置に
プログラムを供給することによって実施される場合にも
適用されることは言うまでもない。この場合、本発明に
係るプログラムを格納した記憶媒体が、本発明を構成す
ることになる。そして、該記憶媒体からそのプログラム
をシステムあるいは装置に読み出すことによって、その
システムあるいは装置が、予め定められた方法で動作す
る。

【０１４０】

【発明の効果】以上詳述したように、本発明によれば、
実写画像に基づいて生成された空間データから仮想画像
を生成する場合において、階層化された仮想画像が、特
に低い解像度の仮想画像がより早く生成・描画されるの
で、ユーザは、早期に仮想空間の構造を把握することが
できる。

【図面の簡単な説明】

【図１】 光線空間データを生成する原理を説明する
図。

【図２】 実空間でのデータを説明する図。

【図３】 図２の空間が光線空間データによって表され
たときの図。

【図４】 カメラが複数ある時の実空間データを生成す
る原理を説明する図。

【図５】 カメラが複数ある時の光線空間データを生成
する原理を説明する図。

【図６】 カメラが複数ある時の光線空間データから、
任意の視点位置における光線空間データ(x+Zu=X)を生成
する原理を説明する図。

【図７】 図６の任意視点からの実空間を再構成する原
理を説明する図。

【図８】 実施形態の画像処理装置の構成を示すブロッ
ク図。

【図９】 図８の実施形態におけるデータの流れを示す
ブロック図。

【図１０】 実施形態の画像処理装置において採用され
ている画像データの階層化の原理を説明する図。

【図１１】 実施形態において多視点において取得され
た画像データを光線空間データに変換して蓄積する処理
を説明するフローチャート。

【図１２】 入力画像を光線群に分解する処理を説明す
る図。

【図１３】 光線空間の補間処理が終了した時点での量
子化された光線空間データの一例を説明する図。

【図１４】 図１３の光線空間データが補間処理された
結果を示す図。

【図１５】 マップを８×８のブロックに分割する様子
を説明する図。

【図１６】 １ブロック内における離散度値の分布を説
明する図。

【図１７】 第１階層マップデータの構成を示す図。

【図１８】 第２階層マップデータの構成を示す図。

【図１９】 第３階層マップデータの構成を示す図。

【図２０】 第４階層マップデータの構成を示す図。

【図２１】 合成第１階層マップデータの構成を示す
図。

【図２２】 合成第２階層マップデータの構成を示す
図。

【図２３】 合成第３階層マップデータの構成を示す
図。

【図２４】 合成第４階層マップデータの構成を示す
図。

【図２５】 仮想空間が、複数のサブ空間に分割され、
或いは、複数の物体を含むことを説明する図。

【図２６】 ウオークスルーなどの任視の視点位置から
の仮想空間を描画表示するためのアプリケーション・プ
ログラムの制御手順を示すフローチャート。

【図２７】 ダウンロード管理テーブルの構成を示す
図。

【図２８】 ダウンロードを要求するコマンドと応答す
るコマンドの構成を示す図。

【図２９】 ステップＳ３００の描画表示ルーチンの詳
細を説明するフローチャート。

【図３０】 ホスト側における光線空間データの受信ル
ーチンを説明するフローチャート。

【図３１】 データベース２００側でのダウンロード要
求コマンドの処理ルーチンの詳細を示すフローチャー
ト。

フロントページの続き (72)発明者 小竹 大輔 横浜市西区花咲町６丁目145番地 横浜 花咲ビル 株式会社エム・アール・シス テム研究所内 (56)参考文献 特開 平10−111951（ＪＰ，Ａ) 特開 平７−21350（ＪＰ，Ａ) 特開 平10−97642（ＪＰ，Ａ) 石川彰夫 外３名，”光線記述に基づ く３次元実写空間のインタラクティブ操 作”，電子情報通信学会論文誌，社団法 人電子情報通信学会，1998年５月25日, 第Ｊ81−Ｄ−ＩＩ巻，第５号，ｐ．850 −860 苗村健 外３名，”光線情報による３ 次元実空間の効率的記述へ向けた光線空 間射影法”，テレビジョン学会技術報 告，社団法人テレビジョン学会，1996年 ２月１日，第20巻，第４号，ｐ．49−56 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 17/40 G06T 1/00 H04N 1/387 G01B 11/00 ＣＳＤＢ（日本国特許庁)

Claims (23)

(57)【特許請求の範囲】
1. 【請求項１】 実写画像の画像データから、この画像空
   間と異なる所定の空間に関して構成された空間データを
   蓄積する画像蓄積方法において、 前記空間データ中の実画像データを解像度に応じて階層
   化して分割する第１の階層分割工程と、 前記実画像空間と前記所定の空間との対応関係を表すマ
   ップを解像度に応じて階層化して分割する第２の階層分
   割工程であって、夫々の階層での解像度が前記第１分割
   工程における各階層の解像度に対応するように設定され
   ている第２の階層分割工程と、 得られた階層化画像データと階層化マップデータとを記
   憶装置に記憶する工程とを具備することを特徴とする画
   像蓄積方法。
2. 【請求項２】 前記空間データは光線空間データである
   ことを特徴とする請求項１に記載の画像蓄積方法。
3. 【請求項３】 階層と解像度は昇順或いは降順に設定さ
   れていることを特徴とする請求項１乃至請求項２のいず
   れか１項に記載の画像蓄積方法。
4. 【請求項４】 前記階層分割工程はデータの間引き処理
   を行うことを特徴とする請求項１乃至請求項３のいずれ
   か１項に記載の画像蓄積方法。
5. 【請求項５】 前記第２の階層分割工程は、階層分割数
   に応じて設定された大きさのブロックに対応して前記マ
   ップデータを複数のブロックに分割するブロック分割工
   程を含むことを特徴とする請求項１乃至請求項４のいず
   れか１項に記載の画像蓄積方法。
6. 【請求項６】 前記第２の階層分割工程は、階層の分割
   数をｐ、処理対象の階層をｉ、第ｉ階層のマップデータ
   の記憶アドレスをn_jとすると、変換後のアドレスn_Iとし
   て、 ［数１］ を用いることを特徴とする請求項１乃至請求項４のいず
   れか１項に記載の画像蓄積方法。
7. 【請求項７】 前記ブロック分割工程は、階層の分割数
   をｐとすると、ブロックの大きさをＮ×Ｎとして、 ［数２］ に設定することを特徴とする請求項５に記載の画像蓄積
   方法。
8. 【請求項８】 請求項１乃至請求項７のいずれか１項に
   記載の方法で蓄積された階層化空間データを仮想空間に
   描画する画像描画方法であって、 解像度のより低い階層の階層化空間データから順に読み
   取る工程と、 読みとった順に仮想画像を描画する描画工程を具備する
   ことを特徴とする画像描画方法。
9. 【請求項９】 ユーザの視点位置を検出する検出工程を
   有し、前記描画工程は、検出された視点位置に基づいた
   仮想画像を描画することを特徴とする請求項８に記載の
   画像描画方法。
10. 【請求項１０】 前記読み取り工程は、検出された視点
    位置に近い空間の階層化空間データを読み取ることを特
    徴とする請求項９に記載の画像描画方法。
11. 【請求項１１】 請求項１乃至請求項１０のいずれか１
    項に記載の方法をコンピュータ上で実現するプログラム
    を記憶する記憶媒体。
12. 【請求項１２】 請求項１１に記載の記憶媒体を搭載す
    るコンピュータ。
13. 【請求項１３】 実写画像の画像データから、この画像
    空間と異なる所定の空間に関して構成された空間データ
    を蓄積する画像蓄積装置において、 前記空間データ中の実画像データを解像度に応じて階層
    化して分割する第１の階層分割手段と、 前記実画像空間と前記所定の空間との対応関係を表すマ
    ップを解像度に応じて階層化して分割する第２の階層分
    割手段であって、夫々の階層での解像度が前記第１分割
    手段における各階層の解像度に対応するように設定され
    ている第２の階層分割手段と、 得られた階層化画像データと階層化マップデータとを記
    憶する記憶手段とを具備することを特徴とする画像蓄積
    装置。
14. 【請求項１４】 実写画像の画像データから、この画像
    空間と異なる所定の 空間に関して構成された空間データ
    をダウンロードする画像のダウンロード方法において、 前記空間データ中の実画像データを解像度に応じて階層
    化して分割する第１の階層分割工程と、 得られた階層化画像データと前記実画像空間と前記所定
    の空間との対応関係を表すマップとを外部にダウンロー
    ドするダウンロード工程と、 前記マップを解像度に応じて階層化して分割する第２の
    階層分割工程を具備し、 前記ダウンロード工程は、得られた階層化画像データと
    階層化マップデータとをダウンロードするものであるこ
    とを特徴とする画像のダウンロード方法。
15. 【請求項１５】 入力画像データを、該画像データの画
    像空間座標と異なる所定の空間座標に関する空間データ
    に変換する工程と、 前記空間データを解像度に応じて階層化して分割する第
    １の階層分割工程と、 前記画像空間座標における画像データと前記所定の空間
    における空間データとの対応関係を表すマップを生成す
    る工程と、 前記マップを解像度に応じて階層化して分割する第２の
    階層分割工程と、 得られた階層化空間データと階層化マップデータとを記
    憶装置に記憶する工程と、 前記階層化空間データと前記階層化マップデータとから
    画像を生成する画像生成工程と、を具備することを特徴
    とする画像処理方法。
16. 【請求項１６】 前記第２の階層分割工程は、夫々の階
    層での解像度が前記第１分割工程における各階層の解像
    度に対応するように設定されていることを特徴とする請
    求項１５に記載の画像処理方法。
17. 【請求項１７】 階層と解像度は昇順或いは降順に設定
    されていることを特徴とする請求項１５乃至請求項１６
    のいずれか１項に記載の画像処理方法。
18. 【請求項１８】 前記第２の階層分割工程は、階層分割
    数に応じて設定された大きさのブロックに対応して前記
    マップデータを複数のブロックに分割するブロック分割
    工程を含むことを特徴とする請求項１５乃至請求項１７
    のいずれか１項に記載の画像処理方法。
19. 【請求項１９】 解像度のより低い階層の階層化空間デ
    ータから順に読み取る工程と、 読みとった順に仮想画像を描画する描画工程を具備する
    ことを特徴とする請求項１５に記載の画像処理方法。
20. 【請求項２０】 ユーザの視点位置を検出する検出工程
    を有し、前記描画工程は、検出された視点位置に基づい
    た仮想画像を描画することを特徴とする請求項１９に記
    載の画像処理方法。
21. 【請求項２１】 前記読み取り工程は、検出された視点
    位置に近い空間の階層化空間データを読み取ることを特
    徴とする請求項２０に記載の画像処理方法。
22. 【請求項２２】 請求項１５乃至請求項２１のいずれか
    １項に記載の方法をコンピュータ上で実現するプログラ
    ムを記憶する記憶媒体。
23. 【請求項２３】 入力画像データを、該画像データの画
    像空間座標と異なる所定の空間座標に関する空間データ
    に変換する手段と、 前記空間データを解像度に応じて階層化して分割する第
    １の階層分割手段と、 前記画像空間座標における画像データと前記所定の空間
    における空間データとの対応関係を表すマップを生成す
    る手段と、 前記マップを解像度に応じて階層化して分割する第２の
    階層分割手段と、 得られた階層化空間データと階層化マップデータとを記
    憶装置に記憶する手段と、 前記階層化空間データと前記階層化マップデータとから
    画像を生成する画像生成手段と、を具備することを特徴
    とする画像処理装置。