JP2004094523A - 情報処理装置及び方法 - Google Patents
情報処理装置及び方法 Download PDFInfo
- Publication number
- JP2004094523A JP2004094523A JP2002253894A JP2002253894A JP2004094523A JP 2004094523 A JP2004094523 A JP 2004094523A JP 2002253894 A JP2002253894 A JP 2002253894A JP 2002253894 A JP2002253894 A JP 2002253894A JP 2004094523 A JP2004094523 A JP 2004094523A
- Authority
- JP
- Japan
- Prior art keywords
- image
- divided
- divided image
- information
- panoramic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
【課題】例えば、パノラマ画像群によって表現される仮想空間内においてウォークスルーを行う際に、パノラマ実写画像記憶部の画像データの読み出し効率を上げ、よりスムーズにウォークスルーシーンを表示できるようにする。
【解決手段】パノラマ画像を生成するための複数の分割画像を処理する情報処理装置であって、パノラマ画像を複数に分割した分割画像を取得する分割画像取得手段と、前記分割画像のうち1枚以上の分割画像の複製を作成する複製分割画像作成手段と、前記分割画像と、前記複製分割画像を並べて結合ファイルとして記憶する記憶手段とを有する。
【選択図】 図9
【解決手段】パノラマ画像を生成するための複数の分割画像を処理する情報処理装置であって、パノラマ画像を複数に分割した分割画像を取得する分割画像取得手段と、前記分割画像のうち1枚以上の分割画像の複製を作成する複製分割画像作成手段と、前記分割画像と、前記複製分割画像を並べて結合ファイルとして記憶する記憶手段とを有する。
【選択図】 図9
Description
【0001】
【発明の属する技術分野】
本発明は、パノラマ画像を構成する複数の分割画像を処理するものに関する。
【0002】
【従来の技術】
移動体に搭載された撮影装置によって現実空間を撮影し、撮影された実写画像データをもとに、撮影した現実空間を、計算機を用いて仮想空間として表現する試みが提案されている(例えば遠藤、片山、田村、廣瀬、渡辺、谷川:“移動車輌搭載カメラを用いた都市空間の電脳映像化について”(信学ソサイエティ、PA−3−4、pp.276−277、1997年)、または廣瀬、渡辺、谷川、遠藤、片山、田村:“移動車両搭載カメラを用いた電脳映像都市空間の構築(2)―実写画像を用いた広域仮想空間の生成―”(日本バーチャルリアリティ学会第2回大会論文集、pp.67−70、1997年)などを参照)。
【0003】
移動体に搭載された撮影装置によって撮影された実写画像データをもとに、撮影した現実空間を仮想空間として表現する手法としては、実写画像データをもとに現実空間の幾何形状モデルを再現し、従来のCG技術で表現する手法が挙げられるが、モデルの正確性や精密度、写実性などの点で限界がある。一方、モデルを用いた再現を行わずに、実写画像を用いて仮想空間を表現するImage−Based Rendering(IBR)技術が近年注目を集めている。IBR技術は実写画像に基づいているために、写実的な仮想空間の表現が可能である。
【0004】
このようなIBR技術を用いてウォークスルー可能な仮想空間を構築するためには、体験者の仮想空間内の位置に応じた画像の生成・呈示を行う必要がある。そのため、この種のシステムにおいては、実写画像データの各フレームと仮想空間内の位置とを対応付けて保存しておき、体験者の仮想空間における位置と視線方向に基づいて対応するフレームを取得し、これを再生する。
【0005】
このような仮想空間内のウォークスルーにおいては、体験者が各視点位置で所望の方向を見ることができるようにする。このため、各視点位置の画像を、再生時の画角よりも広い範囲をカバーするパノラマ画像で保存しておき、体験者の仮想空間における視点位置と視線方向とに基づいてパノラマ画像を選択するとともに、再生すべき部分画像を切り出してこれを表示することが考えられる。この場合、実写画像データを再生するので、撮影装置を搭載した車輌が走る道に沿ってパノラマ画像の再生が行われ、観察者はあたかも自分がその車輌に乗って走っているかのような感覚を味わうことができる。また、ウォークスルーによる再生画像が交差点に進入し、観察者が実際の車輌の動きとは異なる方向の道を選択すると、再生されていたパノラマ画像群とは異なるパノラマ画像群に切り替わり、新たな進路でのパノラマ画像の再生が行われる。
【0006】
【発明が解決しようとする課題】
しかし、パノラマ画像のデータを保持する記憶部の読み出し速度はパノラマ画像の表示更新レートに直接影響があり、パノラマ画像の表示更新レートを向上させるためには、パノラマ画像のデータの読み出す効率を向上させなければならない。パノラマ画像を記憶部に分割保存して、必要な部分だけ読み出すことで、読み出す効率を向上させることが可能である。しかし、パノラマ画像を分割して記憶部に保存するときの保存のやり方によってはかえって効率が低くなることもあるため改良が望まれていた。
【0007】
本発明は、パノラマ画像の分割画像の記憶方法を工夫することにより、パノラマ画像の分割画像を高速に読み出せるようにすることを目的とする。
【0008】
【課題を解決するための手段】
上記の目的を達成するために本発明は以下の構成を有することを特徴とする。
【0009】
本願請求項1に記載の発明は、パノラマ画像を生成するための複数の分割画像を処理する情報処理装置であって、前記パノラマ画像を複数に分割した分割画像を取得する分割画像取得手段と、前記分割画像のうち1枚以上の分割画像の複製を作成する複製分割画像作成手段と、前記分割画像と、前記複製分割画像を並べて結合ファイルとして記憶する記憶手段とを有し、前記結合ファイルのヘッダ情報には、前記分割画像と前記複製分割画像それぞれについての記憶手段上の開始アドレスあるいは画像サイズが記憶されることを特徴とする。
【0010】
本願請求項4に記載の発明は、サーバコンピュータとクライアントコンピュータとを有する情報処理装置であって、前記サーバコンピュータは、前記パノラマ画像を複数に分割した分割画像を記憶する分割画像記憶手段と、前記分割画像を送信する分割画像送信手段を備えたサーバコンピュータとを有し、前記クライアントコンピュータは、前記分割画像を受信する分割画像受信手段と、前記受信した分割画像と関連情報を管理しながら、分割画像と一枚以上の分割画像の複製画像とを並べて結合ファイルとして記憶する結合ファイル記憶手段とを有し、前記結合ファイルのヘッダ情報には、前記分割画像と前記複製分割画像それぞれについての結合ファイル記憶手段上の開始アドレスあるいは画像サイズを記憶されることを特徴とする。
【0011】
本願請求項6記載の発明は、360度パノラマ画像を構成する複数の分割画像から、視線方向に応じた切り出し画像を生成する情報処理方法であって、視線方向を示す視線情報を入力し、前記視線情報に対応した画像を生成するための複数の分割画像を、分割画像が格納されている記憶装置から読み出し、前記読み出された複数の分割画像から前記視線情報に対応した切り出し画像を生成する情報処理方法であり、前記記憶装置には、360度パノラマ画像を構成する複数の分割画像および前記分割画像を複製することにより得られた複製分割画像が、分割画像の境界同士が連続になるように並べられて記憶されていることを特徴とする。
【0012】
【発明の実施の形態】
以下、添付図面を参照しながら、好適な実施形態を説明する。
【0013】
<第1実施形態>
まず、本実施形態による仮想空間の情報処理装置について説明する。本実施形態では、例えば自動車などの移動体に搭載された複数の撮影装置によって撮影して得られた実写画像データからパノラマ画像データを生成し、このパノラマ画像データを、現実空間の位置に対応する地図上の位置と対応付けて保持する。そして、体験者が指示する仮想空間における視点位置(地図上の位置)と視線方向に応じて、保持されているパノラマ画像データから表示画像を生成することにより、仮想空間内のウォークスルーを実現する。
【0014】
図1は本実施形態による機能構成を説明するブロック図である。情報処理装置1は、パノラマ実写画像記憶部10、地図データ記憶部20、対応付けデータ記憶部30、操作部40、視点位置・視線方向決定部50、対応画像決定部60、画像再生制御部70、表示部80、経路データ記録部90、経路データ決定部91を有する。
【0015】
図2は、本実施形態における画像再生装置1のハード構成を示すブロック図である。図2に示したハード構成は通常のパーソナルコンピュータの構成と同等である。図2において、ディスク105はパノラマ実写画像記憶部10を構成するものである。なお、ディスク105は上述のパノラマ実写画像記憶部10のみならず、図1に示した地図データ記憶部20、対応付けデータ記憶部30をも構成するものである。
【0016】
CPU101は、ディスク105またはROM106、または外部記憶装置(不図示)に保存されているプログラムを実行することにより、視点位置・視線方向決定部50、対応画像決定部60及び画像再生制御部70として機能する。
【0017】
CPU101が表示コントローラ102に対して各種の表示指示を行うことにより、表示コントローラ102およびフレームバッファ103によって表示機104に所望の表示がなされる。なお、図では表示コントローラ102としてCRTC、表示機104としてCRTを示したが、表示器としては陰極線管に限らず、液晶表示機等を用いてもよいことはもちろんである。なお、CRTC102、フレームバッファ103及びCRT104は、上述の表示部80を構成する。マウス108、キーボード109及びジョイスティック110は、当該画像再生装置1へのユーザの操作入力を行うためのものであり、上述の操作部40を構成する。
【0018】
次に、以上の構成を備えた本実施形態の画像再生装置1の動作の概要について説明する。
【0019】
パノラマ実写画像記憶部10は、地図上の各位置に対応したパノラマ画像データを格納する。地図データ記憶部20は、少なくともパノラマ実写画像記憶部10に保存されたパノラマ画像データに対応した地図上の位置を包含する地図データを格納する。対応付けデータ記憶部30は、パノラマ実写画像記憶部10に保存されているパノラマ画像データと、地図データ記憶部20に保存されている地図データとの対応情報を格納する。
【0020】
操作部40は、マウス、キーボード、ジョイスティック等を備える。操作部40は、視点位置の移動パラメータ、視線方向の回転パラメータを生成する。本実施形態では、操作部40でジョイスティックを用いているが、ゲームコントローラなど他の入力装置でも同様の操作を行うことが可能である。図3は、操作部40におけるジョイスティックの操作と移動パラメータ、回転パラメータの関係を示す図である。ジョイスティックは、スティックの傾斜とスティックの回転を独立に制御することができる。本実施例では、ジョイスティックを前後に倒す操作を仮想空間内での視点位置の移動に、ジョイスティックを左右に捻る操作を視線方向の変化に対応させている。
【0021】
図4は、操作部40におけるデータの流れを表す図である。操作部40からは、視点位置・視線方向決定部50に対して、ジョイスティックの前後の倒し角α(α>0、後へ倒した場合は負の値)が移動パラメータとして、左右の捻り角β(β>0、右へ捻った場合は負の値)が回転パラメータとして与えられる。
【0022】
視点位置・視線方向決定部50は、操作部40からの移動パラメータ、回転パラメータをもとに、地図データ記憶部20に保存されている地図データ上における観察者の視点位置(地図上の位置)、視線方向を決定する。また、観察者がインタラクティブに操作するのではなく、あらかじめ決められた経路に沿って自動的に視点移動を行う際には、経路データ記憶部90に保存されている経路データから、地図データ上における観察者の視点位置を決定する。この際、視線方向のみは操作部40からの回転パラメータから決定しても良いし、経路データ中に視線方向に関する情報を含めておいても良い。
【0023】
図5は、視点位置・視線方向決定部50におけるデータの流れを示す図である。視点位置・視線方向決定部50は、地図データ記憶部20から地図データを読み出し、対応画像決定部60に対して、観察者の地図上の視点位置及び視線方向を与える。
【0024】
対応画像決定部60は、観察者の視点位置・視線方向の情報をもとに表示部80で表示する画像に必要な画像のIDを決定する。
【0025】
図6は、対応画像決定部60におけるデータの流れを示す図である。視点位置・視線方向決定部50で決定された体験者の仮想空間内における視点位置、視線方向及び対応付けデータ記憶部30に保存されている地図と画像の対応情報データから、表示部80で表示する画像を生成するのに必要なパノラマ実写画像記憶部10に保存されている画像のIDを決定し、画像再生制御部70に決定された画像のIDを渡す。
【0026】
画像再生制御部70は、表示部80で表示する画像を生成する。図7は、画像再生制御部70におけるデータの流れを示す図である。画像再生制御部70は、対応画像決定部60で決定された画像のIDをもとに、パノラマ実写画像記憶部10から画像を読み出し、表示部80に表示する画角にあわせてパノラマ画像を切り出して、射影変換を行って表示部80に表示する画像を生成する。切出画像の生成においては、たとえば図8のような処理が行われる。まず画像生成の基となるパノラマ実写画像をパノラマ実写画像記憶部10から取得する。その際、視線方向情報を利用して、分割保存されたパノラマ画像のうちから画像生成に必要な分割画像のみを取得する。次に、視線方向情報に応じて、全周パノラマ画像または分割画像から必要な部分画像を切り出す。そして、切り出した部分画像を円筒面にテクスチャマッピングし、透視変換処理を施すことによって、視点位置・視線方向決定部50から決定した視点情報に応じた中心射影画像を生成する。
【0027】
表示部80は、画像再生制御部70で生成された画像の表示を行う。
【0028】
図9は、本実施形態によるパノラマ実写画像記憶部10に保存される360°パノラマ実写画像となる結合ファイルの例である。結合ファイル900は360°のパノラマ実写画像の情報を保持している。結合ファイル900はヘッダ901と分割画像902,903,…,907と複製分割画像908,…910,…911で構成されている。
【0029】
ヘッダ901は各分割画像のサイズと記憶部での記憶位置情報を保持している。一つの360°パノラマ実写画像自体は分割画像902〜907から構成される。本実施形態では、各分割画像902〜907はパノラマ画像の60°分の視野角の画像であるが、そのほかの視野角でもよい。分割画像908〜910は分割画像902〜904の複製である。複製分割画像の枚数はあらかじめ決めておけばその枚数の制限はない。図9の構成の場合、分割画像の枚数Nは6で、複製分割画像の数はMである。これらの画像を結合ファイル中で並べる際は、各画像の境界同士が連続になるように並べる。
【0030】
図10は、結合ファイル900の情報を説明するための図である。まず結合ファイル900の先頭に(1001)本実施形態のファイルであることを認識するためのマジックナンバー(file format id)を記録する。1002はヘッダの先頭を表す。1003はパノラマ画像番号(id番号)である。1004は画像の圧縮方法を示す。例えばJPEG、あるいはその他の圧縮方法でもよい。1005は、分割画像の視野角を表す。1006はパノラマの最初の分割画像 のオフセット角を示す。例えば、0°、あるいは他の値でもよい。
1007は360°のパノラマ画像の分割画像枚数Nを示す。例えば、パノラマ実写画像記録部10が360°のパノラマ画像を記憶しているのであれば、分割画像枚数Nは「表示部80の表示画角×N
【外1】
360°」を満たす最小の値であることが望ましい。
1008は複製される分割画像の枚数Mを示す。複製される分割画像の枚数Mは、表示部80の表示画角と分割画像の視野角とに応じて設定されることが望ましい。例えば、「分割画像の視野角×M表示画角
【外2】
表示部80の表示画角」を満たす最小の値であることが望ましい。
【0031】
1009と1010はこの結合ファイルのコメントである。さらに、本実施形態では、例としてコメントは2行(1009と1010)であるが、コメントの行の数に限定はない。さらに、将来、ヘッダに追加項目が発生した場合は、かわりにコメントとして入れることも考えられる。1011はヘッダの第一部の終わりを示す。第二部には、分割画像のサイズと位置を保存する。1012は分割画像1のサイズを示す。1013から1015は分割画像2からNのサイズを示す。複製分割画像1〜Mのサイズは分割画像1〜Mと同じであるので、保持する必要はない。1016は分割画像1の保存スタート位置を示す。1017から1019は分割画像2からNの保存スタート位置を示す。1020から1022は複製分割画像1からMの保存スタート位置を示す。1023はヘッダの終了を示す。その後から、各分割画像の画像データが続く。1024は分割画像1を示す。1025から1027は、分割画像2からNを示す。1028から1030は、複製分割画像1からMを示す。
【0032】
本実施形態では、結合ファイル900を図10を用いて説明をしたが、ヘッダ情報や、画像データの順番はその他の並べ方でもよい、他の情報を足してもよい。例えば、360°パノラマ画像の分割画像が「[1]、[2]、[3]、[4]、[5]、[6]」の順番ではなくても、「[3]、[4]、[5]、[6]、[1]、[2]、」の順番でもよい。これはヘッダに最初の分割画像のオフセット角度を記録することで、360°パノラマ画像のどの角度から始まっているのかがわかっているためである。さらに、複製分割画像のデータ量を減らすために、まずデータ量の少ないシークエンスを選んでから、分割画像の順番を決めてもよい。例えば、複製分割画像数が3で、分割画像[4]、分割画像[5]、部分画像[6]がデータ量の一番少ない3つの連続分割画像であれば、選ばれるシークエンスは、「[4]、[5]、[6]、[1]、[2]、[3]、[4’]、[5’]、[6’]」とすることで全体のデータ量が少なくなる。ここで、複製分割画像[4’]は分割画像[4]と同じであるが、区別するために[’]印をつけている。
【0033】
図11は結合ファイル900を作成するための方法を示すフローチャートである。S1101はフローチャートのエントリポイント(始まり)である。S1102 では、ヘッダの作成に必要な情報を入力する.例えば、分割画像の数や、分割画像の視野角や、複製分割画像の数などのパラメータを取得する。S1103では、全分割画像のサイズを取得する。S1104では、ヘッダ901の作成処理を行う。S1105では、ヘッダを結合ファイル900に保存する。S1106では、各分割画像のファイルを開き、読み出し、結合ファイル900に保存する。S1107では、結合ファイル900をクローズする。S1108は結合ファイル900の作成フローチャートのエンド(END)を示す。
【0034】
図12はステップS1102の詳細な説明を示す図である。S1201は、ステップS1102のスタートポイントである。S1202では、パノラマ画像番号を取得する。S1203では、分割画像の圧縮方法を取得する。S1204では、分割画像の視野角を取得する。S1205では、最初の分割画像のオフセット角度を取得する。S1206では、保存するパノラマの分割画像枚数を決めるか、取得する。S1207では、複製分割画像の枚数を決めるか、取得する。S1208では、コメントを決めるか、取得する。S1209では、ヘッダ901を作成するためのその他の必要な情報を取得する。S1210は、処理S1102のリターンイント(戻り)である。
【0035】
図13はステップS1103の詳細な説明を示すフローチャートである。S1301はステップS1103のスタートポイントである。S1302では最初分割画像を開き、S1303では分割画像のサイズを取得する。そして、S1304では、分割画像のサイズを図14に示すような表に記憶する。図14の表では、各分割画像id(番号)とそのサイズを記録する項目がある。図14の表のデータは図10のヘッダを作成する際に使われる。S1305では、次に調べる分割画像がまだあるかどうかを確認し、あれば、S1307で次の分割画像を開き、S1303に戻る.S1305で、全ての分割画像が確認できたら、S1306でステップS1103を終了し、メインルーチンに戻る。
【0036】
図15はステップS1104の詳細な説明を示すフローチャートである。S1501はステップS1105のスタートポイントである。S1502では、ステップS1102とステップS1103で取得した情報を元に1020に入る分割画像1データの結合ファイル900の先頭からの保存位置を計算する。S1503では、次の分割画像のスタート位置の計算に移す。S1504では、前の分割画像のスタート位置とサイズを元に、次の分割画像データの保存位置を計算する。S1505では、その分割画像データ保存位置を図16で表すような表に記憶する。図16には、各分割画像id(番号)とそれぞれの結合ファイル900の先頭からのスタート位置を記録する項目がある。S1は分割画像1のスタート位置を示す。SNは分割画像Nのスタート位置を示す。S1’は複製分割画像1のスタート位置を示す。SMは複製分割画像Mのスタート位置を示す。S1506では、結合ファイル900に保存すべき全分割画像のスタート位置の計算が終わったかどうかをチェックする。まだ次の分割画像が残っていれば、S1503に戻る。全ての分割画像のスタート位置の計算が終わっていれば、ステップS1507に進み、図16の表のデータを図10のヘッダ情報に入れる。S1508では、ステップS1104を終了し、メインルーチンに戻る。
【0037】
図17は結合ファイル900を読み出すためのフローチャートである。S1701はフローチャートのスタートポイントである。S1702では、パノラマ実写画像記憶部から読み出すファイル名とその中の分割画像番号や分割画像数などを決める。S1703では、希望のファイルを開き、ヘッダを読み出す。S1704では、ヘッダに収めている全ての分割画像のサイズとスタート位置を読み出し、表14と表16にその情報を保存する。S1705では、連続的に分割画像を読み出すときに、結合ファイル900に保存している最後の分割画像(複合分割画像を含む)を超えるかどうかをチェックする。例えば、結合ファイル900に9枚の分割画像が連続的に保存されていて、この場合は、分割画像の並べ方は次の通りになっている:「[1],[2],[3],[4],[5],[6],[1’],[2’],[3’]」。
【0038】
表示部80に表示する画像は分割されたパノラマ画像から構成されており、その際図8に示すように複数の分割画像を読み出す。ここでは、分割画像と複製分割画像は同じ働きをする。「[1],[2],[3],[4],[5],[6],[1’],[2’],[3’]」と並べて、3枚の分割画像を読み出す時、例えば分割画像1から分割画像3は連続して並んでいるので、連続的に読み出すことができる。パノラマ実写画像記憶部は例えばHDDのような磁気記憶装置や、CDROMのような光記憶装置からなるが、まず記憶装置の読み出しヘッドを最初の分割画像のスタート位置へ移動して(seek)、次に並んでいるデータ即ち分割画像「[1],[2],[3]」を連続的に読み取れるので、読み出しヘッドの動きが減り、記憶部でのデータアクセスが早くなる。
【0039】
同様に分割画像6から始めて、3枚の分割画像を連続的に「[6],[1’],[2’]」と読み出すこともできる。このように分割画像と複製分割画像を並べて記憶することで、読み出す効率を上げることができる。S1706では、希望の最初の分割画像のスタート位置から連続的に読み出せるデータの量を計算する。S1707では、パノラマ実写画像記憶部の読み出しヘッドを最初の分割画像のスタート位置に置き、S1708では、連続的に分割画像を読み出す。もし読み出しの際に最後の複製分割画像を超えたら、シーケンスの最初の位置から望みの分割画像を探し、読み出したらよい。S1709では結合ファイル900をクローズし、パノラマ実写画像の読み出し処理を終了する。
【0040】
以上のように、第1実施形態によれば、360°のパノラマ実写画像をいくつかの分割画像に分けて、さらに複製分割画像を加えて、一つの結合ファイルにまとめることで、パノラマ実写画像記憶部からの連続的な分割画像データの読み出しを早く、かつ効率的に行うことが可能となる。
【0041】
よって、パノラマ画像群によって表現される仮想空間内においてウォークスルーを行う際に、パノラマ実写画像記憶部からの画像データの読み出し効率を上げることができ、よりスムーズにウォークスルーシーンを表示することができる。
【0042】
<第2実施形態>
上記第1実施形態では、360°パノラマ実写画像を分割して、結合ファイルに連続的に保存する説明をした。第1実施形態での結合ファイルのヘッダには各分割画像のスタート位置を記録したが、分割画像のサイズ情報があれば、結合ファイルを読み出すときに分割画像のスタート位置を計算するのは可能である。結合ファイルを読み出す時の分割画像のスタート位置計算は、図16の表を作るための処理、図15で説明しているステップ1504と同じである。ヘッダに分割画像のスタート位置情報がない場合は、図17の結合ファイル900を読み出すフローチャートは、ステップS1704でヘッダに収めている分割画像のサイズを元に、図16の表のように各分割画像スタート位置を計算すればよい。
【0043】
以上のように、第2実施形態によれば、結合ファイルのヘッダでの分割画像のスタート位置情報をなくし、結合ファイルを小さくすることが可能であり、読み出すデータ量が少なくなるので、読み出すスピード効率を上げることも可能になる。
【0044】
<第3実施形態>
上記第1実施形態では、360°パノラマ実写画像を分割して、結合ファイルに分割画像を連続的に保存する説明をした。第1実施形態での結合ファイルには分割画像情報をもつためのヘッダもつけた。第3実施形態では、結合ファイルのヘッダの読み出し処理をなくすための説明をする。
【0045】
複数の視点位置に対応する複数のパノラマ画像で構成する仮想空間の各パノラマ画像全て、または一部、のパノラマ画像についてのヘッダを一つ又は、複数のヘッダ統合ファイルにまとめることも考えられる。
【0046】
図18は、ヘッダ統合ファイルの情報を説明するための図である。まずヘッダ統合ファイルの先頭に(1801)本実施形態のファイルであることを認識するためのマジックナンバー(file format id)を記録する。1802,1803,1804は一つのパノラマ画像に関する情報である。1802では、そのパノラマ画像番号は(0)であることを示す。1803は、パノラマ画像番号(0)のパノラマ統合ファイルの名前を示す。1804はパノラマ画像番号(0)のヘッダ情報を保持する。1804のヘッダ情報は、第1実施形態の図10の情報が収めていると考えてもよい。パノラマ画像番号(0)と同様に、1805,1806,1807はパノラマ画像番号(1)に関する情報である。図18のヘッダ統合ファイルは、パノラマ画像番号”Z”までの情報を示す。
【0047】
本実施形態では、上記の順番で説明をしたが、パノラマ画像情報の順番はその他の並べ方でもよいし、他の情報を足してもよい。
【0048】
ヘッダ統合ファイルを読み出すことで、各々パノラマ画像の結合ファイルのヘッダを読み出さなくても、直接パノラマ画像の分割画像を読み出すことが可能である。
【0049】
以上のように、第3実施形態によれば、ヘッダ統合ファイルを採用することで、パノラマ画像の分割画像の読み出すスピード効率を上げることも可能になる。
【0050】
<第4実施形態>
上記第1実施形態では、360°パノラマ実写画像を分割して、結合ファイルに分割画像を連続的に保存する説明をした。さらに、360°のパノラマ実写画像の縮小画像を作るためには、360°分の分割画像を読み出して、接続しなければならない。第4実施形態では、結合ファイルに360°パノラマ実写画像の縮小された画像を追加する。
【0051】
図19は、結合ファイル900の情報に縮小されたパノラマ画像の追加を説明するための図である。まず結合ファイル900の先頭に(1901)本実施形態のファイルであることを認識するためのマジックナンバー(file format id)を記録する。1002〜1011は図10と同じである。1902は360°縮小パノラマ画像のサイズを示す。1903は360°縮小パノラマ画像のデータスタート位置を示す。360°縮小パノラマ画像のデータには、画像の縦・横のサイズ情報を含む。1012〜1023は図10と同じである。1904は、360°縮小パノラマ画像のデータである。1024〜1030は図10と同じである。
本実施形態では、パノラマ画像情報の順番はその他の並べ方でもよいし、他の情報を足してもよい。
【0052】
以上のように、第4実施形態によれば、結合ファイルに360°縮小パノラマ画像を追加することで、360°パノラマ画像の縮小画像を表示するときに、360°分の分割画像を読み出して、画像を組み合わせる必要がなくなり、全体的の画像読み出しの効率を上げることが可能になる。
【0053】
<第5実施形態>
上記第1実施形態では、360°パノラマ実写画像を分割して、結合ファイルに連続的に保存する説明をした。連続的にデータを保存していれば、連続的に読み出すことが可能になるので、効率は上がる。第5実施形態では、読み出したパノラマ実写画像を転送して、他のコンピュータで表示する方法に付いて説明する。図20は第5実施形態を説明するための図である。サーバコンピュータ2001がパノラマ実写画像記憶部2002からパノラマ画像の分割画像を読み出して、ネットワーク2005を通してクライアントコンピュータ2003に転送する。クライアントコンピュータ2003はパノラマ画像の分割画像を受け取って、表示画面にパノラマのシーンを表示する。この際、クライアントコンピュータに備えられた図示しない操作部によって指示された視点位置、視線方向の画像を表示する。さらに、ネットワーク2005の転送速度等の制約を避けるために、一度受け取ったパノラマ画像の分割画像をパノラマ実写画像記憶部2004に保存する。そうすると、次に同じパノラマ画像の分割画像を表示する場合、ネットワーク2005経由でサーバー2001から分割画像を読み込まずに、パノラマ実写画像記憶部2004から読み出すことが可能となる。パノラマ実写画像記憶部2004にパノラマ分割画像を含む結合ファイルを保存する際に、第1実施形態で説明された方法が利用できる。この場合、図10のヘッダに追加項目として、すでに受け取った分割画像番号とまだ受けていない分割画像番号の記録をする項目が必要になる。また、すでに受け取っている結合ファイル(全部の分割画像を持っている)、部分的に受け取っている結合ファイル(一部の分割画像のみ持っている)、まだ受け取っていない結合ファイルの情報を持つ表をクライアントコンピュータ2003に持たなければならない。
【0054】
上記の説明では、2005のネットワークはLANでも、インターネットでもデータの送信を行うことが可能であれば何でも良い。
【0055】
以上のように、第5実施形態によれば、サーバコンピュータからのパノラマ実写画像記憶部の結合ファイルの分割画像をクライアントコンピュータに転送し、クライアントコンピュータのパノラマ実写画像記憶部に保存することで分割画像転送の制約を避けることができ、クライアント側でのパノラマのシーンの表示が早く、かつ効率的になることが可能である。
【0056】
[他の実施形態]
なお、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体(または記録媒体)を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0057】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0058】
【発明の効果】
以上説明したように、本発明によれば、記憶部からのパノラマ画像の分割画像の読み出すスピード効率を上げることができる。
【図面の簡単な説明】
【図1】第1実施形態における情報処理装置の機能構成を説明するブロック図である。
【図2】第1実施形態による情報処理装置1のハード構成を示すブロック図である。
【図3】第1実施形態の情報処理装置における、ジョイスティック操作を説明する図である。
【図4】第1実施形態の情報処理装置における、操作部40におけるデータ・フローを示す図である。
【図5】第1実施形態の情報処理装置における、視点位置・視線方向決定部50におけるデータ・フローを示す図である。
【図6】第1実施形態の情報処理装置における、対応画像決定部60におけるデータ・フローを示す図である。
【図7】第1実施形態の情報処理装置における、画像生成制御部70におけるデータ・フローを示す図である。
【図8】視点に応じた分割画像をパノラマ画像から切り出し、円筒面にテクツチャマッピングして透視変換することでパースペクチブが正しい画像を生成する方法を説明する図である。
【図9】第1実施形態の360°パノラマ画像の結合ファイル構造を説明する図である。
【図10】第1実施形態による、結合ファイルの情報の構造を示す図である。
【図11】第1実施形態による、結合ファイル作成の処理の手順を説明するフローチャートである。
【図12】第1実施形態による、結合ファイルのヘッダを作成するために分割画像数、視野角などのパラメータ取得の処理の手順を説明するフローチャートである。
【図13】第1実施形態による、結合ファイルのヘッダを作成するために分割画像サイズ取得の処理の手順を説明するフローチャートである。
【図14】第1実施形態による、分割画像サイズ表の例を説明する図である。
【図15】第1実施形態による、結合ファイルのヘッダ作成の処理の手順を説明するフローチャートである。
【図16】第1実施形態による、分割画像のスタート位置表の例を説明する図である。
【図17】第1実施形態による、結合ファイルから分割画像の読み出し処理の手順を説明するフローチャートである。
【図18】第3実施形態による、ヘッダ統合ファイルの情報の構造を示す図である。
【図19】第4実施形態による、結合ファイルに縮小された360°パノラマ画像を追加された例の構造を示す図である。
【図20】第5実施形態による、結合ファイルから読み出した分割画像を他コンピュータに転送して、ローカル記憶部に結合ファイルを再構成する例を説明する図である。
【発明の属する技術分野】
本発明は、パノラマ画像を構成する複数の分割画像を処理するものに関する。
【0002】
【従来の技術】
移動体に搭載された撮影装置によって現実空間を撮影し、撮影された実写画像データをもとに、撮影した現実空間を、計算機を用いて仮想空間として表現する試みが提案されている(例えば遠藤、片山、田村、廣瀬、渡辺、谷川:“移動車輌搭載カメラを用いた都市空間の電脳映像化について”(信学ソサイエティ、PA−3−4、pp.276−277、1997年)、または廣瀬、渡辺、谷川、遠藤、片山、田村:“移動車両搭載カメラを用いた電脳映像都市空間の構築(2)―実写画像を用いた広域仮想空間の生成―”(日本バーチャルリアリティ学会第2回大会論文集、pp.67−70、1997年)などを参照)。
【0003】
移動体に搭載された撮影装置によって撮影された実写画像データをもとに、撮影した現実空間を仮想空間として表現する手法としては、実写画像データをもとに現実空間の幾何形状モデルを再現し、従来のCG技術で表現する手法が挙げられるが、モデルの正確性や精密度、写実性などの点で限界がある。一方、モデルを用いた再現を行わずに、実写画像を用いて仮想空間を表現するImage−Based Rendering(IBR)技術が近年注目を集めている。IBR技術は実写画像に基づいているために、写実的な仮想空間の表現が可能である。
【0004】
このようなIBR技術を用いてウォークスルー可能な仮想空間を構築するためには、体験者の仮想空間内の位置に応じた画像の生成・呈示を行う必要がある。そのため、この種のシステムにおいては、実写画像データの各フレームと仮想空間内の位置とを対応付けて保存しておき、体験者の仮想空間における位置と視線方向に基づいて対応するフレームを取得し、これを再生する。
【0005】
このような仮想空間内のウォークスルーにおいては、体験者が各視点位置で所望の方向を見ることができるようにする。このため、各視点位置の画像を、再生時の画角よりも広い範囲をカバーするパノラマ画像で保存しておき、体験者の仮想空間における視点位置と視線方向とに基づいてパノラマ画像を選択するとともに、再生すべき部分画像を切り出してこれを表示することが考えられる。この場合、実写画像データを再生するので、撮影装置を搭載した車輌が走る道に沿ってパノラマ画像の再生が行われ、観察者はあたかも自分がその車輌に乗って走っているかのような感覚を味わうことができる。また、ウォークスルーによる再生画像が交差点に進入し、観察者が実際の車輌の動きとは異なる方向の道を選択すると、再生されていたパノラマ画像群とは異なるパノラマ画像群に切り替わり、新たな進路でのパノラマ画像の再生が行われる。
【0006】
【発明が解決しようとする課題】
しかし、パノラマ画像のデータを保持する記憶部の読み出し速度はパノラマ画像の表示更新レートに直接影響があり、パノラマ画像の表示更新レートを向上させるためには、パノラマ画像のデータの読み出す効率を向上させなければならない。パノラマ画像を記憶部に分割保存して、必要な部分だけ読み出すことで、読み出す効率を向上させることが可能である。しかし、パノラマ画像を分割して記憶部に保存するときの保存のやり方によってはかえって効率が低くなることもあるため改良が望まれていた。
【0007】
本発明は、パノラマ画像の分割画像の記憶方法を工夫することにより、パノラマ画像の分割画像を高速に読み出せるようにすることを目的とする。
【0008】
【課題を解決するための手段】
上記の目的を達成するために本発明は以下の構成を有することを特徴とする。
【0009】
本願請求項1に記載の発明は、パノラマ画像を生成するための複数の分割画像を処理する情報処理装置であって、前記パノラマ画像を複数に分割した分割画像を取得する分割画像取得手段と、前記分割画像のうち1枚以上の分割画像の複製を作成する複製分割画像作成手段と、前記分割画像と、前記複製分割画像を並べて結合ファイルとして記憶する記憶手段とを有し、前記結合ファイルのヘッダ情報には、前記分割画像と前記複製分割画像それぞれについての記憶手段上の開始アドレスあるいは画像サイズが記憶されることを特徴とする。
【0010】
本願請求項4に記載の発明は、サーバコンピュータとクライアントコンピュータとを有する情報処理装置であって、前記サーバコンピュータは、前記パノラマ画像を複数に分割した分割画像を記憶する分割画像記憶手段と、前記分割画像を送信する分割画像送信手段を備えたサーバコンピュータとを有し、前記クライアントコンピュータは、前記分割画像を受信する分割画像受信手段と、前記受信した分割画像と関連情報を管理しながら、分割画像と一枚以上の分割画像の複製画像とを並べて結合ファイルとして記憶する結合ファイル記憶手段とを有し、前記結合ファイルのヘッダ情報には、前記分割画像と前記複製分割画像それぞれについての結合ファイル記憶手段上の開始アドレスあるいは画像サイズを記憶されることを特徴とする。
【0011】
本願請求項6記載の発明は、360度パノラマ画像を構成する複数の分割画像から、視線方向に応じた切り出し画像を生成する情報処理方法であって、視線方向を示す視線情報を入力し、前記視線情報に対応した画像を生成するための複数の分割画像を、分割画像が格納されている記憶装置から読み出し、前記読み出された複数の分割画像から前記視線情報に対応した切り出し画像を生成する情報処理方法であり、前記記憶装置には、360度パノラマ画像を構成する複数の分割画像および前記分割画像を複製することにより得られた複製分割画像が、分割画像の境界同士が連続になるように並べられて記憶されていることを特徴とする。
【0012】
【発明の実施の形態】
以下、添付図面を参照しながら、好適な実施形態を説明する。
【0013】
<第1実施形態>
まず、本実施形態による仮想空間の情報処理装置について説明する。本実施形態では、例えば自動車などの移動体に搭載された複数の撮影装置によって撮影して得られた実写画像データからパノラマ画像データを生成し、このパノラマ画像データを、現実空間の位置に対応する地図上の位置と対応付けて保持する。そして、体験者が指示する仮想空間における視点位置(地図上の位置)と視線方向に応じて、保持されているパノラマ画像データから表示画像を生成することにより、仮想空間内のウォークスルーを実現する。
【0014】
図1は本実施形態による機能構成を説明するブロック図である。情報処理装置1は、パノラマ実写画像記憶部10、地図データ記憶部20、対応付けデータ記憶部30、操作部40、視点位置・視線方向決定部50、対応画像決定部60、画像再生制御部70、表示部80、経路データ記録部90、経路データ決定部91を有する。
【0015】
図2は、本実施形態における画像再生装置1のハード構成を示すブロック図である。図2に示したハード構成は通常のパーソナルコンピュータの構成と同等である。図2において、ディスク105はパノラマ実写画像記憶部10を構成するものである。なお、ディスク105は上述のパノラマ実写画像記憶部10のみならず、図1に示した地図データ記憶部20、対応付けデータ記憶部30をも構成するものである。
【0016】
CPU101は、ディスク105またはROM106、または外部記憶装置(不図示)に保存されているプログラムを実行することにより、視点位置・視線方向決定部50、対応画像決定部60及び画像再生制御部70として機能する。
【0017】
CPU101が表示コントローラ102に対して各種の表示指示を行うことにより、表示コントローラ102およびフレームバッファ103によって表示機104に所望の表示がなされる。なお、図では表示コントローラ102としてCRTC、表示機104としてCRTを示したが、表示器としては陰極線管に限らず、液晶表示機等を用いてもよいことはもちろんである。なお、CRTC102、フレームバッファ103及びCRT104は、上述の表示部80を構成する。マウス108、キーボード109及びジョイスティック110は、当該画像再生装置1へのユーザの操作入力を行うためのものであり、上述の操作部40を構成する。
【0018】
次に、以上の構成を備えた本実施形態の画像再生装置1の動作の概要について説明する。
【0019】
パノラマ実写画像記憶部10は、地図上の各位置に対応したパノラマ画像データを格納する。地図データ記憶部20は、少なくともパノラマ実写画像記憶部10に保存されたパノラマ画像データに対応した地図上の位置を包含する地図データを格納する。対応付けデータ記憶部30は、パノラマ実写画像記憶部10に保存されているパノラマ画像データと、地図データ記憶部20に保存されている地図データとの対応情報を格納する。
【0020】
操作部40は、マウス、キーボード、ジョイスティック等を備える。操作部40は、視点位置の移動パラメータ、視線方向の回転パラメータを生成する。本実施形態では、操作部40でジョイスティックを用いているが、ゲームコントローラなど他の入力装置でも同様の操作を行うことが可能である。図3は、操作部40におけるジョイスティックの操作と移動パラメータ、回転パラメータの関係を示す図である。ジョイスティックは、スティックの傾斜とスティックの回転を独立に制御することができる。本実施例では、ジョイスティックを前後に倒す操作を仮想空間内での視点位置の移動に、ジョイスティックを左右に捻る操作を視線方向の変化に対応させている。
【0021】
図4は、操作部40におけるデータの流れを表す図である。操作部40からは、視点位置・視線方向決定部50に対して、ジョイスティックの前後の倒し角α(α>0、後へ倒した場合は負の値)が移動パラメータとして、左右の捻り角β(β>0、右へ捻った場合は負の値)が回転パラメータとして与えられる。
【0022】
視点位置・視線方向決定部50は、操作部40からの移動パラメータ、回転パラメータをもとに、地図データ記憶部20に保存されている地図データ上における観察者の視点位置(地図上の位置)、視線方向を決定する。また、観察者がインタラクティブに操作するのではなく、あらかじめ決められた経路に沿って自動的に視点移動を行う際には、経路データ記憶部90に保存されている経路データから、地図データ上における観察者の視点位置を決定する。この際、視線方向のみは操作部40からの回転パラメータから決定しても良いし、経路データ中に視線方向に関する情報を含めておいても良い。
【0023】
図5は、視点位置・視線方向決定部50におけるデータの流れを示す図である。視点位置・視線方向決定部50は、地図データ記憶部20から地図データを読み出し、対応画像決定部60に対して、観察者の地図上の視点位置及び視線方向を与える。
【0024】
対応画像決定部60は、観察者の視点位置・視線方向の情報をもとに表示部80で表示する画像に必要な画像のIDを決定する。
【0025】
図6は、対応画像決定部60におけるデータの流れを示す図である。視点位置・視線方向決定部50で決定された体験者の仮想空間内における視点位置、視線方向及び対応付けデータ記憶部30に保存されている地図と画像の対応情報データから、表示部80で表示する画像を生成するのに必要なパノラマ実写画像記憶部10に保存されている画像のIDを決定し、画像再生制御部70に決定された画像のIDを渡す。
【0026】
画像再生制御部70は、表示部80で表示する画像を生成する。図7は、画像再生制御部70におけるデータの流れを示す図である。画像再生制御部70は、対応画像決定部60で決定された画像のIDをもとに、パノラマ実写画像記憶部10から画像を読み出し、表示部80に表示する画角にあわせてパノラマ画像を切り出して、射影変換を行って表示部80に表示する画像を生成する。切出画像の生成においては、たとえば図8のような処理が行われる。まず画像生成の基となるパノラマ実写画像をパノラマ実写画像記憶部10から取得する。その際、視線方向情報を利用して、分割保存されたパノラマ画像のうちから画像生成に必要な分割画像のみを取得する。次に、視線方向情報に応じて、全周パノラマ画像または分割画像から必要な部分画像を切り出す。そして、切り出した部分画像を円筒面にテクスチャマッピングし、透視変換処理を施すことによって、視点位置・視線方向決定部50から決定した視点情報に応じた中心射影画像を生成する。
【0027】
表示部80は、画像再生制御部70で生成された画像の表示を行う。
【0028】
図9は、本実施形態によるパノラマ実写画像記憶部10に保存される360°パノラマ実写画像となる結合ファイルの例である。結合ファイル900は360°のパノラマ実写画像の情報を保持している。結合ファイル900はヘッダ901と分割画像902,903,…,907と複製分割画像908,…910,…911で構成されている。
【0029】
ヘッダ901は各分割画像のサイズと記憶部での記憶位置情報を保持している。一つの360°パノラマ実写画像自体は分割画像902〜907から構成される。本実施形態では、各分割画像902〜907はパノラマ画像の60°分の視野角の画像であるが、そのほかの視野角でもよい。分割画像908〜910は分割画像902〜904の複製である。複製分割画像の枚数はあらかじめ決めておけばその枚数の制限はない。図9の構成の場合、分割画像の枚数Nは6で、複製分割画像の数はMである。これらの画像を結合ファイル中で並べる際は、各画像の境界同士が連続になるように並べる。
【0030】
図10は、結合ファイル900の情報を説明するための図である。まず結合ファイル900の先頭に(1001)本実施形態のファイルであることを認識するためのマジックナンバー(file format id)を記録する。1002はヘッダの先頭を表す。1003はパノラマ画像番号(id番号)である。1004は画像の圧縮方法を示す。例えばJPEG、あるいはその他の圧縮方法でもよい。1005は、分割画像の視野角を表す。1006はパノラマの最初の分割画像 のオフセット角を示す。例えば、0°、あるいは他の値でもよい。
1007は360°のパノラマ画像の分割画像枚数Nを示す。例えば、パノラマ実写画像記録部10が360°のパノラマ画像を記憶しているのであれば、分割画像枚数Nは「表示部80の表示画角×N
【外1】
360°」を満たす最小の値であることが望ましい。
1008は複製される分割画像の枚数Mを示す。複製される分割画像の枚数Mは、表示部80の表示画角と分割画像の視野角とに応じて設定されることが望ましい。例えば、「分割画像の視野角×M表示画角
【外2】
表示部80の表示画角」を満たす最小の値であることが望ましい。
【0031】
1009と1010はこの結合ファイルのコメントである。さらに、本実施形態では、例としてコメントは2行(1009と1010)であるが、コメントの行の数に限定はない。さらに、将来、ヘッダに追加項目が発生した場合は、かわりにコメントとして入れることも考えられる。1011はヘッダの第一部の終わりを示す。第二部には、分割画像のサイズと位置を保存する。1012は分割画像1のサイズを示す。1013から1015は分割画像2からNのサイズを示す。複製分割画像1〜Mのサイズは分割画像1〜Mと同じであるので、保持する必要はない。1016は分割画像1の保存スタート位置を示す。1017から1019は分割画像2からNの保存スタート位置を示す。1020から1022は複製分割画像1からMの保存スタート位置を示す。1023はヘッダの終了を示す。その後から、各分割画像の画像データが続く。1024は分割画像1を示す。1025から1027は、分割画像2からNを示す。1028から1030は、複製分割画像1からMを示す。
【0032】
本実施形態では、結合ファイル900を図10を用いて説明をしたが、ヘッダ情報や、画像データの順番はその他の並べ方でもよい、他の情報を足してもよい。例えば、360°パノラマ画像の分割画像が「[1]、[2]、[3]、[4]、[5]、[6]」の順番ではなくても、「[3]、[4]、[5]、[6]、[1]、[2]、」の順番でもよい。これはヘッダに最初の分割画像のオフセット角度を記録することで、360°パノラマ画像のどの角度から始まっているのかがわかっているためである。さらに、複製分割画像のデータ量を減らすために、まずデータ量の少ないシークエンスを選んでから、分割画像の順番を決めてもよい。例えば、複製分割画像数が3で、分割画像[4]、分割画像[5]、部分画像[6]がデータ量の一番少ない3つの連続分割画像であれば、選ばれるシークエンスは、「[4]、[5]、[6]、[1]、[2]、[3]、[4’]、[5’]、[6’]」とすることで全体のデータ量が少なくなる。ここで、複製分割画像[4’]は分割画像[4]と同じであるが、区別するために[’]印をつけている。
【0033】
図11は結合ファイル900を作成するための方法を示すフローチャートである。S1101はフローチャートのエントリポイント(始まり)である。S1102 では、ヘッダの作成に必要な情報を入力する.例えば、分割画像の数や、分割画像の視野角や、複製分割画像の数などのパラメータを取得する。S1103では、全分割画像のサイズを取得する。S1104では、ヘッダ901の作成処理を行う。S1105では、ヘッダを結合ファイル900に保存する。S1106では、各分割画像のファイルを開き、読み出し、結合ファイル900に保存する。S1107では、結合ファイル900をクローズする。S1108は結合ファイル900の作成フローチャートのエンド(END)を示す。
【0034】
図12はステップS1102の詳細な説明を示す図である。S1201は、ステップS1102のスタートポイントである。S1202では、パノラマ画像番号を取得する。S1203では、分割画像の圧縮方法を取得する。S1204では、分割画像の視野角を取得する。S1205では、最初の分割画像のオフセット角度を取得する。S1206では、保存するパノラマの分割画像枚数を決めるか、取得する。S1207では、複製分割画像の枚数を決めるか、取得する。S1208では、コメントを決めるか、取得する。S1209では、ヘッダ901を作成するためのその他の必要な情報を取得する。S1210は、処理S1102のリターンイント(戻り)である。
【0035】
図13はステップS1103の詳細な説明を示すフローチャートである。S1301はステップS1103のスタートポイントである。S1302では最初分割画像を開き、S1303では分割画像のサイズを取得する。そして、S1304では、分割画像のサイズを図14に示すような表に記憶する。図14の表では、各分割画像id(番号)とそのサイズを記録する項目がある。図14の表のデータは図10のヘッダを作成する際に使われる。S1305では、次に調べる分割画像がまだあるかどうかを確認し、あれば、S1307で次の分割画像を開き、S1303に戻る.S1305で、全ての分割画像が確認できたら、S1306でステップS1103を終了し、メインルーチンに戻る。
【0036】
図15はステップS1104の詳細な説明を示すフローチャートである。S1501はステップS1105のスタートポイントである。S1502では、ステップS1102とステップS1103で取得した情報を元に1020に入る分割画像1データの結合ファイル900の先頭からの保存位置を計算する。S1503では、次の分割画像のスタート位置の計算に移す。S1504では、前の分割画像のスタート位置とサイズを元に、次の分割画像データの保存位置を計算する。S1505では、その分割画像データ保存位置を図16で表すような表に記憶する。図16には、各分割画像id(番号)とそれぞれの結合ファイル900の先頭からのスタート位置を記録する項目がある。S1は分割画像1のスタート位置を示す。SNは分割画像Nのスタート位置を示す。S1’は複製分割画像1のスタート位置を示す。SMは複製分割画像Mのスタート位置を示す。S1506では、結合ファイル900に保存すべき全分割画像のスタート位置の計算が終わったかどうかをチェックする。まだ次の分割画像が残っていれば、S1503に戻る。全ての分割画像のスタート位置の計算が終わっていれば、ステップS1507に進み、図16の表のデータを図10のヘッダ情報に入れる。S1508では、ステップS1104を終了し、メインルーチンに戻る。
【0037】
図17は結合ファイル900を読み出すためのフローチャートである。S1701はフローチャートのスタートポイントである。S1702では、パノラマ実写画像記憶部から読み出すファイル名とその中の分割画像番号や分割画像数などを決める。S1703では、希望のファイルを開き、ヘッダを読み出す。S1704では、ヘッダに収めている全ての分割画像のサイズとスタート位置を読み出し、表14と表16にその情報を保存する。S1705では、連続的に分割画像を読み出すときに、結合ファイル900に保存している最後の分割画像(複合分割画像を含む)を超えるかどうかをチェックする。例えば、結合ファイル900に9枚の分割画像が連続的に保存されていて、この場合は、分割画像の並べ方は次の通りになっている:「[1],[2],[3],[4],[5],[6],[1’],[2’],[3’]」。
【0038】
表示部80に表示する画像は分割されたパノラマ画像から構成されており、その際図8に示すように複数の分割画像を読み出す。ここでは、分割画像と複製分割画像は同じ働きをする。「[1],[2],[3],[4],[5],[6],[1’],[2’],[3’]」と並べて、3枚の分割画像を読み出す時、例えば分割画像1から分割画像3は連続して並んでいるので、連続的に読み出すことができる。パノラマ実写画像記憶部は例えばHDDのような磁気記憶装置や、CDROMのような光記憶装置からなるが、まず記憶装置の読み出しヘッドを最初の分割画像のスタート位置へ移動して(seek)、次に並んでいるデータ即ち分割画像「[1],[2],[3]」を連続的に読み取れるので、読み出しヘッドの動きが減り、記憶部でのデータアクセスが早くなる。
【0039】
同様に分割画像6から始めて、3枚の分割画像を連続的に「[6],[1’],[2’]」と読み出すこともできる。このように分割画像と複製分割画像を並べて記憶することで、読み出す効率を上げることができる。S1706では、希望の最初の分割画像のスタート位置から連続的に読み出せるデータの量を計算する。S1707では、パノラマ実写画像記憶部の読み出しヘッドを最初の分割画像のスタート位置に置き、S1708では、連続的に分割画像を読み出す。もし読み出しの際に最後の複製分割画像を超えたら、シーケンスの最初の位置から望みの分割画像を探し、読み出したらよい。S1709では結合ファイル900をクローズし、パノラマ実写画像の読み出し処理を終了する。
【0040】
以上のように、第1実施形態によれば、360°のパノラマ実写画像をいくつかの分割画像に分けて、さらに複製分割画像を加えて、一つの結合ファイルにまとめることで、パノラマ実写画像記憶部からの連続的な分割画像データの読み出しを早く、かつ効率的に行うことが可能となる。
【0041】
よって、パノラマ画像群によって表現される仮想空間内においてウォークスルーを行う際に、パノラマ実写画像記憶部からの画像データの読み出し効率を上げることができ、よりスムーズにウォークスルーシーンを表示することができる。
【0042】
<第2実施形態>
上記第1実施形態では、360°パノラマ実写画像を分割して、結合ファイルに連続的に保存する説明をした。第1実施形態での結合ファイルのヘッダには各分割画像のスタート位置を記録したが、分割画像のサイズ情報があれば、結合ファイルを読み出すときに分割画像のスタート位置を計算するのは可能である。結合ファイルを読み出す時の分割画像のスタート位置計算は、図16の表を作るための処理、図15で説明しているステップ1504と同じである。ヘッダに分割画像のスタート位置情報がない場合は、図17の結合ファイル900を読み出すフローチャートは、ステップS1704でヘッダに収めている分割画像のサイズを元に、図16の表のように各分割画像スタート位置を計算すればよい。
【0043】
以上のように、第2実施形態によれば、結合ファイルのヘッダでの分割画像のスタート位置情報をなくし、結合ファイルを小さくすることが可能であり、読み出すデータ量が少なくなるので、読み出すスピード効率を上げることも可能になる。
【0044】
<第3実施形態>
上記第1実施形態では、360°パノラマ実写画像を分割して、結合ファイルに分割画像を連続的に保存する説明をした。第1実施形態での結合ファイルには分割画像情報をもつためのヘッダもつけた。第3実施形態では、結合ファイルのヘッダの読み出し処理をなくすための説明をする。
【0045】
複数の視点位置に対応する複数のパノラマ画像で構成する仮想空間の各パノラマ画像全て、または一部、のパノラマ画像についてのヘッダを一つ又は、複数のヘッダ統合ファイルにまとめることも考えられる。
【0046】
図18は、ヘッダ統合ファイルの情報を説明するための図である。まずヘッダ統合ファイルの先頭に(1801)本実施形態のファイルであることを認識するためのマジックナンバー(file format id)を記録する。1802,1803,1804は一つのパノラマ画像に関する情報である。1802では、そのパノラマ画像番号は(0)であることを示す。1803は、パノラマ画像番号(0)のパノラマ統合ファイルの名前を示す。1804はパノラマ画像番号(0)のヘッダ情報を保持する。1804のヘッダ情報は、第1実施形態の図10の情報が収めていると考えてもよい。パノラマ画像番号(0)と同様に、1805,1806,1807はパノラマ画像番号(1)に関する情報である。図18のヘッダ統合ファイルは、パノラマ画像番号”Z”までの情報を示す。
【0047】
本実施形態では、上記の順番で説明をしたが、パノラマ画像情報の順番はその他の並べ方でもよいし、他の情報を足してもよい。
【0048】
ヘッダ統合ファイルを読み出すことで、各々パノラマ画像の結合ファイルのヘッダを読み出さなくても、直接パノラマ画像の分割画像を読み出すことが可能である。
【0049】
以上のように、第3実施形態によれば、ヘッダ統合ファイルを採用することで、パノラマ画像の分割画像の読み出すスピード効率を上げることも可能になる。
【0050】
<第4実施形態>
上記第1実施形態では、360°パノラマ実写画像を分割して、結合ファイルに分割画像を連続的に保存する説明をした。さらに、360°のパノラマ実写画像の縮小画像を作るためには、360°分の分割画像を読み出して、接続しなければならない。第4実施形態では、結合ファイルに360°パノラマ実写画像の縮小された画像を追加する。
【0051】
図19は、結合ファイル900の情報に縮小されたパノラマ画像の追加を説明するための図である。まず結合ファイル900の先頭に(1901)本実施形態のファイルであることを認識するためのマジックナンバー(file format id)を記録する。1002〜1011は図10と同じである。1902は360°縮小パノラマ画像のサイズを示す。1903は360°縮小パノラマ画像のデータスタート位置を示す。360°縮小パノラマ画像のデータには、画像の縦・横のサイズ情報を含む。1012〜1023は図10と同じである。1904は、360°縮小パノラマ画像のデータである。1024〜1030は図10と同じである。
本実施形態では、パノラマ画像情報の順番はその他の並べ方でもよいし、他の情報を足してもよい。
【0052】
以上のように、第4実施形態によれば、結合ファイルに360°縮小パノラマ画像を追加することで、360°パノラマ画像の縮小画像を表示するときに、360°分の分割画像を読み出して、画像を組み合わせる必要がなくなり、全体的の画像読み出しの効率を上げることが可能になる。
【0053】
<第5実施形態>
上記第1実施形態では、360°パノラマ実写画像を分割して、結合ファイルに連続的に保存する説明をした。連続的にデータを保存していれば、連続的に読み出すことが可能になるので、効率は上がる。第5実施形態では、読み出したパノラマ実写画像を転送して、他のコンピュータで表示する方法に付いて説明する。図20は第5実施形態を説明するための図である。サーバコンピュータ2001がパノラマ実写画像記憶部2002からパノラマ画像の分割画像を読み出して、ネットワーク2005を通してクライアントコンピュータ2003に転送する。クライアントコンピュータ2003はパノラマ画像の分割画像を受け取って、表示画面にパノラマのシーンを表示する。この際、クライアントコンピュータに備えられた図示しない操作部によって指示された視点位置、視線方向の画像を表示する。さらに、ネットワーク2005の転送速度等の制約を避けるために、一度受け取ったパノラマ画像の分割画像をパノラマ実写画像記憶部2004に保存する。そうすると、次に同じパノラマ画像の分割画像を表示する場合、ネットワーク2005経由でサーバー2001から分割画像を読み込まずに、パノラマ実写画像記憶部2004から読み出すことが可能となる。パノラマ実写画像記憶部2004にパノラマ分割画像を含む結合ファイルを保存する際に、第1実施形態で説明された方法が利用できる。この場合、図10のヘッダに追加項目として、すでに受け取った分割画像番号とまだ受けていない分割画像番号の記録をする項目が必要になる。また、すでに受け取っている結合ファイル(全部の分割画像を持っている)、部分的に受け取っている結合ファイル(一部の分割画像のみ持っている)、まだ受け取っていない結合ファイルの情報を持つ表をクライアントコンピュータ2003に持たなければならない。
【0054】
上記の説明では、2005のネットワークはLANでも、インターネットでもデータの送信を行うことが可能であれば何でも良い。
【0055】
以上のように、第5実施形態によれば、サーバコンピュータからのパノラマ実写画像記憶部の結合ファイルの分割画像をクライアントコンピュータに転送し、クライアントコンピュータのパノラマ実写画像記憶部に保存することで分割画像転送の制約を避けることができ、クライアント側でのパノラマのシーンの表示が早く、かつ効率的になることが可能である。
【0056】
[他の実施形態]
なお、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体(または記録媒体)を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0057】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0058】
【発明の効果】
以上説明したように、本発明によれば、記憶部からのパノラマ画像の分割画像の読み出すスピード効率を上げることができる。
【図面の簡単な説明】
【図1】第1実施形態における情報処理装置の機能構成を説明するブロック図である。
【図2】第1実施形態による情報処理装置1のハード構成を示すブロック図である。
【図3】第1実施形態の情報処理装置における、ジョイスティック操作を説明する図である。
【図4】第1実施形態の情報処理装置における、操作部40におけるデータ・フローを示す図である。
【図5】第1実施形態の情報処理装置における、視点位置・視線方向決定部50におけるデータ・フローを示す図である。
【図6】第1実施形態の情報処理装置における、対応画像決定部60におけるデータ・フローを示す図である。
【図7】第1実施形態の情報処理装置における、画像生成制御部70におけるデータ・フローを示す図である。
【図8】視点に応じた分割画像をパノラマ画像から切り出し、円筒面にテクツチャマッピングして透視変換することでパースペクチブが正しい画像を生成する方法を説明する図である。
【図9】第1実施形態の360°パノラマ画像の結合ファイル構造を説明する図である。
【図10】第1実施形態による、結合ファイルの情報の構造を示す図である。
【図11】第1実施形態による、結合ファイル作成の処理の手順を説明するフローチャートである。
【図12】第1実施形態による、結合ファイルのヘッダを作成するために分割画像数、視野角などのパラメータ取得の処理の手順を説明するフローチャートである。
【図13】第1実施形態による、結合ファイルのヘッダを作成するために分割画像サイズ取得の処理の手順を説明するフローチャートである。
【図14】第1実施形態による、分割画像サイズ表の例を説明する図である。
【図15】第1実施形態による、結合ファイルのヘッダ作成の処理の手順を説明するフローチャートである。
【図16】第1実施形態による、分割画像のスタート位置表の例を説明する図である。
【図17】第1実施形態による、結合ファイルから分割画像の読み出し処理の手順を説明するフローチャートである。
【図18】第3実施形態による、ヘッダ統合ファイルの情報の構造を示す図である。
【図19】第4実施形態による、結合ファイルに縮小された360°パノラマ画像を追加された例の構造を示す図である。
【図20】第5実施形態による、結合ファイルから読み出した分割画像を他コンピュータに転送して、ローカル記憶部に結合ファイルを再構成する例を説明する図である。
Claims (9)
- パノラマ画像を生成するための複数の分割画像を処理する情報処理装置であって、
前記パノラマ画像を複数に分割した分割画像を取得する分割画像取得手段と、
前記分割画像のうち1枚以上の分割画像の複製を作成する複製分割画像作成手段と、
前記分割画像と、前記複製分割画像を並べて結合ファイルとして記憶する記憶手段とを有し、
前記結合ファイルのヘッダ情報には、前記分割画像と前記複製分割画像それぞれについての記憶手段上の開始アドレスあるいは画像サイズが記憶されることを特徴とする情報処理装置。 - さらに、前記パノラマ画像の縮小画像を取得する縮小パノラマ画像取得手段を備え、
前記縮小画像を前記結合ファイルに追加記憶する縮小パノラマ画像追加記憶手段とを備えることを特徴とする請求項1に記載の情報処理装置。 - さらに、使用者が操作する操作手段を備え、
使用者が操作手段により指示する視点位置および視線方向に応じた切り出し画像を前記結合ファイルから作成する画像作成手段とを備えることを特徴とする請求項1乃至2のいずれかに記載の情報処理装置。 - サーバコンピュータとクライアントコンピュータとを有する情報処理装置であって、
前記サーバコンピュータは、
前記パノラマ画像を複数に分割した分割画像を記憶する分割画像記憶手段と、
前記分割画像を送信する分割画像送信手段を備えたサーバコンピュータとを有し、
前記クライアントコンピュータは、
前記分割画像を受信する分割画像受信手段と、
前記受信した分割画像と関連情報を管理しながら、分割画像と一枚以上の分割画像の複製画像とを並べて結合ファイルとして記憶する結合ファイル記憶手段とを有し、
前記結合ファイルのヘッダ情報には、前記分割画像と前記複製分割画像それぞれについての結合ファイル記憶手段上の開始アドレスあるいは画像サイズを記憶されることを特徴とする情報処理装置。 - パノラマ画像を生成するための複数の分割画像を処理する情報処理方法であって、
前記パノラマ画像を複数に分割した分割画像を取得し、
前記分割画像のうち1枚以上の分割画像の複製を作成し、
前記分割画像と、前記複製分割画像を並べて結合ファイルとして記憶し、
前記結合ファイルのヘッダ情報には、前記分割画像と前記複製分割画像それぞれについての記憶手段上の開始アドレスあるいは画像サイズが記憶されることを特徴とする情報処理方法。 - 360度パノラマ画像を構成する複数の分割画像から、視線方向に応じた切り出し画像を生成する情報処理方法であって、
視線方向を示す視線情報を入力し、
前記視線情報に対応した画像を生成するための複数の分割画像を、分割画像が格納されている記憶装置から読み出し、
前記読み出された複数の分割画像から前記視線情報に対応した切り出し画像を生成する情報処理方法であり、
前記記憶装置には、360度パノラマ画像を構成する複数の分割画像および前記分割画像を複製することにより得られた複製分割画像が、分割画像の境界同士が連続になるように並べられて記憶されていることを特徴とする情報処理方法。 - 前記分割画像および前記複製分割画像を同一ファイルとして管理するとともに、
前記ファイルを視点位置毎に記憶し、
前記視線情報に加えて視点位置を示す視点位置情報を入力し、
前記視点位置情報に対応するファイルにおける、前記視線情報に対応する分割画像を読出し、切り出し画像を生成することを特徴とする請求項6記載の情報処理方法。 - 前記複製分割画像の作成枚数は、の表示画角に基づき設定されることを特徴とする請求項6乃至7のいずれかに記載の情報処理方法。
- 請求項6乃至8のいずれかに記載の情報処理方法を実現するためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002253894A JP2004094523A (ja) | 2002-08-30 | 2002-08-30 | 情報処理装置及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002253894A JP2004094523A (ja) | 2002-08-30 | 2002-08-30 | 情報処理装置及び方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004094523A true JP2004094523A (ja) | 2004-03-25 |
Family
ID=32059772
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002253894A Withdrawn JP2004094523A (ja) | 2002-08-30 | 2002-08-30 | 情報処理装置及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004094523A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004357183A (ja) * | 2003-05-30 | 2004-12-16 | Sharp Corp | 携帯端末 |
JP2010049313A (ja) * | 2008-08-19 | 2010-03-04 | Sony Corp | 画像処理装置、画像処理方法、プログラム |
JP2010118826A (ja) * | 2008-11-12 | 2010-05-27 | Seiko Epson Corp | 画像処理装置およびプログラム並びに画像処理方法 |
JP2016126209A (ja) * | 2015-01-06 | 2016-07-11 | 大日本印刷株式会社 | 画像表示装置、画像表示方法、およびプログラム |
JPWO2017195650A1 (ja) * | 2016-05-13 | 2019-03-14 | ソニー株式会社 | 生成装置および生成方法、並びに、再生装置および再生方法 |
US10817975B2 (en) | 2017-11-30 | 2020-10-27 | Panasonic Intellectual Property Management Co., Ltd. | Image display device including first and second input units, memories, writing units, and reading units, and an interpolation unit that combines image signals read by the reading units from the memory units |
-
2002
- 2002-08-30 JP JP2002253894A patent/JP2004094523A/ja not_active Withdrawn
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004357183A (ja) * | 2003-05-30 | 2004-12-16 | Sharp Corp | 携帯端末 |
JP2010049313A (ja) * | 2008-08-19 | 2010-03-04 | Sony Corp | 画像処理装置、画像処理方法、プログラム |
US8452079B2 (en) | 2008-08-19 | 2013-05-28 | Sony Corporation | Apparatus, method, and program for processing image |
JP2010118826A (ja) * | 2008-11-12 | 2010-05-27 | Seiko Epson Corp | 画像処理装置およびプログラム並びに画像処理方法 |
JP2016126209A (ja) * | 2015-01-06 | 2016-07-11 | 大日本印刷株式会社 | 画像表示装置、画像表示方法、およびプログラム |
JPWO2017195650A1 (ja) * | 2016-05-13 | 2019-03-14 | ソニー株式会社 | 生成装置および生成方法、並びに、再生装置および再生方法 |
US10817975B2 (en) | 2017-11-30 | 2020-10-27 | Panasonic Intellectual Property Management Co., Ltd. | Image display device including first and second input units, memories, writing units, and reading units, and an interpolation unit that combines image signals read by the reading units from the memory units |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10027931B2 (en) | Virtual image generating apparatus, virtual image generating method, and recording medium storing virtual image generating program | |
US10958887B2 (en) | Free-viewpoint photorealistic view synthesis from casually captured video | |
US20020126914A1 (en) | Image reproduction apparatus, image processing apparatus, and method therefor | |
US7411594B2 (en) | Information processing apparatus and method | |
EP1883052B1 (en) | Generating images combining real and virtual images | |
US8754959B2 (en) | Image processing device, dynamic image reproduction device, and processing method and program in them | |
US20020113791A1 (en) | Image-based virtual reality player with integrated 3D graphics objects | |
JP2000512410A (ja) | 参照モデルを用いて画像情報を索引付けをする方法 | |
JP4965475B2 (ja) | 仮想移動表示装置 | |
JPH11168754A (ja) | 画像の記録方法、画像データベースシステム、画像記録装置及びコンピュータプログラムの記憶媒体 | |
JP3352475B2 (ja) | 画像表示装置 | |
JP3472065B2 (ja) | アニメーション生成装置およびアニメーション生成方法 | |
JP2003125361A (ja) | 情報処理装置、情報処理方法、情報処理プログラム、及び情報処理システム | |
JP2004094523A (ja) | 情報処理装置及び方法 | |
JP4056167B2 (ja) | 図書情報検索空間構築・検索装置および図書情報検索空間構築・検索プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
McCurdy et al. | A systems architecture for ubiquitous video | |
JP4078080B2 (ja) | 情報処理装置および方法 | |
US6744934B2 (en) | Method, apparatus and recording medium for generating an image file having hierarchical image data representing a plurality of still images having different display dimensions | |
JP2004178036A (ja) | 遠隔者の映像を伴う仮想空間の提示装置 | |
JP2004062755A (ja) | 画像提示装置および情報処理方法 | |
JP2001096063A (ja) | ゲームシーン再生処理機およびシステム | |
JP2005174024A (ja) | 画像生成装置及び方法 | |
JP2004070522A (ja) | 画像再生装置及び方法 | |
JP3840113B2 (ja) | 画像再生装置及び情報処理方法 | |
JP2004234457A (ja) | 情報処理装置、方法、プログラムおよび記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20051101 |