JP3660785B2 - 情報探索装置 - Google Patents

情報探索装置 Download PDF

Info

Publication number
JP3660785B2
JP3660785B2 JP20155997A JP20155997A JP3660785B2 JP 3660785 B2 JP3660785 B2 JP 3660785B2 JP 20155997 A JP20155997 A JP 20155997A JP 20155997 A JP20155997 A JP 20155997A JP 3660785 B2 JP3660785 B2 JP 3660785B2
Authority
JP
Japan
Prior art keywords
information
viewpoint
unit
dimensional space
operator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP20155997A
Other languages
English (en)
Other versions
JPH1145263A (ja
Inventor
俊博 柿元
博久 福山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP20155997A priority Critical patent/JP3660785B2/ja
Publication of JPH1145263A publication Critical patent/JPH1145263A/ja
Application granted granted Critical
Publication of JP3660785B2 publication Critical patent/JP3660785B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、2次元の像を表示することができる表示手段を有し、当該表示手段に表示された論理的3次元空間に含まれる情報探索空間に配置された情報を探索する情報探索装置に関する。
【0002】
【従来の技術】
従来より、大量の情報の中から目的とする情報を探索するために、種々の情報検索システムが提案されている。情報検索システムとしては、操作者が、求めている情報に関連するキーワードを入力し、それに応じてヒットした件数が画面に表示されるシステムが多く実用化されている。このようなシステムでは、該当する情報の件数が多い場合には、さらにキーワードを入力することによって情報を絞りこんでいくことができ、適当な件数まで絞り込めたときに情報の表示を指示すると、ヒットした情報の詳細な内容が表示される。
【0003】
また、近年、情報検索システムの操作性を向上させるために、例えば、過去に発行された新聞の記事の内容に基づいてキーワードの関係を自動的に抽出し、その関係を論理的3次元空間に表示するシステムも提案されている(Galaxy of News:MIT)。このシステムでは、関連キーワードを辿りながら記事のタイトルに到達し、そのタイトルの記事の内容が表示されるようになっている。
【0004】
論理的3次元空間を画面に表示する情報検索システムとしては、探索対象である大量の情報について情報間の関係付けを行い、情報間の関係を3次元の情報構造として提示する技術も開発されている(例えば、Information Visualizer:Xerox社)。この技術では、論理的3次元空間の中を動き回る(以下、「ウォークスルー」という。)様子が画面に表示され、操作者はウォークスルーしながら目的の情報を探索することができる。
【0005】
【発明が解決しようとする課題】
しかしながら、上記の如く、論理的3次元空間を画面に表示し、操作者がウォークスルーするような情報探索装置においては、操作者がしばしば、論理的3次元空間内における自己の位置を見失うことがあるという問題点を有していた。
【0006】
例えば、3次元空間内で振り向いた場合の如く、視線の向きを変更したような場合には、変更した角度を正確に記憶していないと、その後の自己の視線の方向がわからなくなり、そのままウォークスルーを続けると、結果として論理的3次元空間内における自己の存在位置がわからなくなってしまう。従来のシステムにおいては、例えば「スタート位置に戻す」コマンドを用意して対処していたが、それでは、かなり奥まで入って見付けた情報を再び探索するのが非常に繁雑であり、システムの操作性が低下してしまう。
【0007】
一方、従来のシステムでは、例えば適切なキーワードの入力が行われなかった場合には、論理的3次元空間に配置されている各種情報の、当該3次元空間内における相対的な存在位置が把握しにくく、操作者が、探索したい情報の詳細な内容を記憶していない場合には、情報の探索に非常に時間がかかるという問題点もあった。
【0008】
本発明は、上記の問題点に鑑み、操作者に、論理的3次元空間における自己の存在位置を、適切に把握させることができる情報探索装置を提供することを目的とする。
【0009】
本発明の第二の目的は、操作者に、論理的3次元空間内に配置されている各種情報の、論理的3次元空間における相対的な位置を、適切に把握させることができる情報探索装置を提供することである。
【0010】
【課題を解決するための手段】
前記目的を達成するため、本発明の情報探索装置は、2次元の像を表示することができる表示手段と、探索の対象である探索対象情報を配置した情報探索空間を含む論理的3次元空間を構成する3次元空間構成手段と、前記情報探索空間を、前記論理的3次元空間における種々の視点の位置から種々の視線の方向で見た像を前記表示手段に表示させる出力手段と、操作者からの、前記情報探索空間の奥行方向の座標軸であるz軸を傾けるべき方向に関する情報として、予め設定された基準点を中心として、表示手段の表示画面上における水平方向であるx軸方向へ傾ける角度θと、前記表示画面上における垂直方向であるy軸方向への傾斜角度φとの入力を受け付ける入力受付手段と、前記入力受付手段が受け付けた情報に基づいて、前記情報探索空間のxy面を前記表示手段の表示画面に平行に保ちながら前記z軸を傾ける空間変形手段を備え、前記情報探索空間は、z軸方向に階層化された複数の探索対象層を有し、前記空間変形手段は、前記探索対象情報を配置すべき位置のx座標をx+h*tanθ、y座標をy+h*tanφにそれぞれ変換し、視点の位置のx座標をx+h’*tanθ、y座標をy+h’*tanφにそれぞれ変換する座標変更手段を備えたことを特徴とする。ただし、hは、前記基準点からの探索対象情報の配置座標のz軸方向の距離を表し、h’は、座標変換前の視点の、前記基準点からのz軸方向の距離を表す。
【0011】
前記表示手段は、xy情報分布指標表示画面を表示する部分を有し、前記情報探索装置はさらに、前記xy情報分布指標表示画面に表示すべき画像を生成するxy情報分布指標表示画面生成手段を備え、前記出力手段は、前記表示手段のxy情報分布指標表示画面を表示する部分に、前記xy情報分布指標表示画面を表示させることが望ましい。xy情報分布指標表示画面とは、z軸方向にもっとも浅い探索対象層より手前に予め設定されている所定の視点から見た情報探索空間における探索対象情報の分布の様子と、その中における操作者のxy平面上における視点の位置が表示されるものであるので、操作者は、情報探索空間のxy平面上における自己の視点位置を容易に把握することができるからである。
【0012】
前記情報探索装置はさらに、操作者の論理的3次元空間における視点の位置と当該位置における視線の方向に関する情報を、一つ又は複数保持する保持手段を備え、前記入力受付手段はさらに、操作者からの、前記保持手段からの情報の取り出しを指示する入力を受け付け、前記出力手段は、前記入力受付手段が、情報の取り出しを指示する入力を受け付けた場合に、前記保持手段から情報を取り出す手段と、取り出された情報に基づいて、視点の位置及び視線の方向を変更する手段とを有することが望ましい。前記保持手段に、例えば、予め情報探索空間の全体を見渡せるような視点の位置及び視線の方向に関する情報を格納しておけば、一度情報探索空間全体を見渡し、自己の視点の位置を把握した上で、さらに探索を進めることができるからである。
【0013】
前記入力受付手段はさらに、操作者からの、前記保持手段への情報の格納を指示する入力を受け付け、前記情報探索装置はさらに、前記入力受付手段が、情報の格納を指示する入力を受け付けた場合に、その時点における操作者の論理的3次元空間における視点の位置と当該位置における視線の方向に関する情報を前記保持手段に格納する格納手段とを有することが望ましい。操作者が前記情報を格納したい位置で、情報の格納を指示することができれば、一旦、さらに探索を進めた上で、前の位置に戻って、以前に探索された情報の内容の詳細を参照することも可能となり、情報探索装置の操作性が向上するからである。
【0014】
前記情報探索装置はさらに、前記論理的3次元空間における奥行方向の位置に基づいて、前記表示手段に表示させる像の背景色の濃度を変化させる背景着色手段を有することが望ましい。操作者が、論理的3次元空間において自己が存在する階層の深さを直観的に認識できるうようになるからである。
【0015】
以上のように、本発明の情報探索装置によれば、操作者に、論理的3次元空間内における自己の存在位置を、適切に把握させることができる。
また、本発明の情報探索装置によれば、操作者に、論理的3次元空間内に配置されている各種情報の、論理的3次元空間内における相対的な位置を、適切に把握させることもでき、情報探索装置の操作性も向上する。
【0016】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照しながら説明する。
図1は、本発明の一実施の形態に係る情報探索装置の全体構成を示すブロック図である。同図に示されるように、本実施の形態の情報探索装置は、入力部101、制御部102、出力部103、3次元空間情報格納部104、探索対象情報格納部105、静的スタック格納部106、動的スタック格納部107、空間表示ツール格納部108、背景色格納部109、背景基準色格納部110を備えている。
【0017】
また、制御部102は、視点制御部1021、座標変換部1022、情報分布管理部1023、出力画像生成部1024、静的スタック管理部1025、動的スタック管理部1026、3次元空間構成部1027を備える。
【0018】
入力部101は、操作者からの入力を受け付ける。入力内容には、論理的3次元空間内における操作者の目の位置(以下、「視点」という。)の移動の指示、当該視点における視線の方向の変更の指示、探索した情報についての詳細な内容の表示指示、スタック情報の格納、取り出し指示等がある。入力部101としては、具体的には、マウス、キーボード等の入力装置の使用が可能である。
【0019】
制御部102は、本実施の形態の情報探索装置全体の制御を行う。制御部102に備えられる各部の詳細な処理内容については後述する。
出力部103は、論理的3次元空間を表示する他、メニュー画面やパラメータ入力のための画面等を表示する。操作者は、出力部103に表示された論理的3次元空間においてウォークスルーを行うことにより、目的とする情報を探索することができる。
【0020】
3次元空間情報格納部104には、探索対象情報格納部105に格納されている探索対象情報から構成された情報探索空間に関する情報が格納される。具体的には、各種の情報の、論理的3次元空間における配置位置の座標等の情報が格納される。なお、本実施の形態の説明においては、出力部103に表示することが可能な論理的3次元空間のなかで、探索対象情報が配置されている部分を、特に「情報探索空間」ということにする。本実施の形態の情報探索装置における情報探索空間の構成方法の概略については後述する。
【0021】
探索対象情報格納部105には、探索の対象となる情報が格納される。例えば、探索対象情報が書籍に関するものであれば、書籍の名称、著者、出版社、価格、発行年月日、ページ数、内容の要約等の情報が格納されている。操作者が論理的3次元空間において書籍情報の探索を行い、探索された情報について、入力部101を介して詳細な情報の表示を指示したような場合には、探索対象情報格納部105から詳細情報が取り出されて表示される。
【0022】
静的スタック格納部106には、静的スタックが格納される。ここで、本実施の形態におけるスタックとは、視点の位置及び当該視点における視線の方向に関する情報(以下、「スタック情報」という。)を記憶する領域をいう。本実施の形態の情報探索装置には、静的スタックと動的スタックとの2種類のスタックが備えられている。静的スタックとは、初期設定若しくは環境設定等の初期段階で予め登録しておくものをいい、登録された各スタック情報には、それぞれ名前を付与することができる。操作者は、登録されているスタック情報に基づく3次元空間表示を再現したい場合に、名前を指定して当該スタック情報を選択することにより、いつでも、論理的3次元空間内における視点を移動することができる。また、静的スタックの場合は、後述の如く、移動する前の視点に戻ることも可能である。
【0023】
動的スタック格納部107には、動的スタックが格納される。本実施の形態における動的スタックは、LIFO(後入れ先出し)型のスタックにより構成されており、操作者が、その時点の視点の位置及び視線の方向を登録したいと思ったときに、入力部101を介して登録の指示をすることによって登録する。登録しておけば、他の位置に移動した後に、その直前に動的スタックに登録された位置にすぐ戻ることができる。しかし、LIFO型のスタックであるため、戻る位置をランダムに指定することはできない。
【0024】
空間表示ツール格納部108には、探索対象情報の情報探索空間における配置位置、及び視点の位置や視線の方向を表す情報等をパラメータとして渡して呼び出すことにより、出力部103に表示すべき3次元空間表示画面を生成する表示ツールが格納されている。本実施の形態では、例えば、キャノン販売株式会社製のRenderWare(商標)のようなソフトウェアを格納しているが、同等の機能を有するものであれば、他の表示ツールを格納してもかまわない。
【0025】
背景色格納部109には、論理的3次元空間の奥行方向(以下、「z軸方向」という。)の位置に応じて予め算出されている表示画面の背景色のRGB値が格納されている。本実施の形態においてはz軸方向の位置は、階層という概念で把握される。3次元空間における階層の意味、及び各階層ごとの背景色の算出方法については後述する。
【0026】
背景基準色格納部110には、前記背景色格納部109に格納される背景色の基準となる色のRGB比、及び背景色のRGB値が取り得る範囲の最小値と最大値が予め操作者により格納される。背景基準色格納部110に格納されている背景基準色に関する情報に基づいて、前記背景色格納部109に格納される背景色のRGB値が算出される。
【0027】
次に、制御部102における各部の処理内容について説明する。
視点制御部1021は、入力部101からの入力を受け付けて、操作者の視点及び視線の方向等に関する制御を行う他、入力の内容に応じて、他の各部に指示を行う。
【0028】
座標変換部1022は、後述する論理的3次元空間の変形処理のための座標軸変換処理等を行う。
情報分布管理部1023は、後述するxy情報分布指標表示画面を生成、表示するために必要な処理を行う。
【0029】
出力画像生成部1024は、他の各部からの指示に基づき、与えられる情報を用いて、空間表示ツール格納部108に格納されている表示ツールを呼び出すこと等により、出力部103に表示すべき画像データの生成を行う。
【0030】
静的スタック管理部1025は、静的スタック格納部106へのスタック情報の格納及び読み出しを行う。
動的スタック管理部1026は、動的スタック格納部107へのスタック情報の格納及び読み出しを行う。
【0031】
3次元空間構成部1027は、探索対象情報格納部105に格納されている探索対象情報から、情報探索空間を構成し、3次元空間情報を3次元空間情報格納部104へと格納する。この際に、背景基準色格納部110に格納されている背景基準色の情報から、論理的3次元空間のz軸方向の各階層における背景色を算出し、背景色格納部109に格納する。また、xy情報分布指標表示画面を生成する際に使用する固定的な視点の位置も算出し、3次元空間情報格納部104に格納する。xy情報分布指標表示画面の詳細については後述する。
【0032】
ここで、本実施の形態の情報探索装置における情報探索空間の構成方法等の概略について説明する。
図2は、本実施の形態の情報探索装置における情報探索空間の構成方法について説明するための模式図である。同図に示されてるのは、本実施の形態における情報探索空間の一例である。同図の情報探索空間は、3つの探索対象層SL1、SL2、SL3及びシンボル表示層BLを有する。即ち、情報探索空間は、複数の層の集合として構成され、z軸方向の位置は、それらのうちのどの層に属するかにより把握される。これが前記階層の概念であり、前記背景色は階層ごとに予め算出される。シンボル表示層BLから、探索対象層SL1、SL2、SL3と進むにつれ、よりz軸方向に深い層に進むと表現することにする。
【0033】
本実施の形態の情報探索装置では、上記情報探索空間を含む論理的3次元空間を出力部103に表示する際の基準点の一つとして、仮想的に視点を設定する。図中PVは視点を表す。視点PVは、図に示されるようにシンボル表示層BLの手前に存在する必要はなく、ウォークスルーを行うにつれ、よりz軸方向に深い部分に移動することもある。
【0034】
同図の例においてz軸方向に最も深い層である探索対象層SL3には、探索対象情報格納部105に格納されている探索対象情報の全てが配置される。3次元空間構成部1027が、探索対象情報から情報探索空間を構成する際に、探索対象情報の中で類似度の高いものが、最もz軸方向に深い探索対象層において、互いに近い位置となるように配置される。類似度の高いものとは、書籍情報を例にとれば、書籍名に同一のキーワードを含むもの等とすることが可能であるが、その他にも、種々のクラスタリング手法を用いることができる。z軸方向に一つ浅い探索対象層SL2には、探索対象層SL3に配置されている全ての探索対象情報の中から代表として選定された一部の探索対象情報が配置される。
【0035】
図3は、探索対象情報の代表の選定方法、及び代表を選定してz軸方向に一つ浅い探索対象層を構成する際の3次元空間構成部1027が行う処理内容について説明するための模式図である。図中、SLmとは、m番目の探索対象層を意味し、m番目の探索対象層から、代表を選定することにより第(m−1)番目の探索対象層SL(m−1)を構成する様子が示されている。
【0036】
同図に示されるように、3次元空間構成部1027は、探索対象情報の代表を選定するために、探索対象層を複数のブロックBKに区分する。各ブロックBKに含まれる探索対象情報について、その中から1つ又は複数の代表の探索対象情報を選定する。代表の探索対象情報は、一つ上の探索対象層SL(m−1)に写像することによって、SJ(m−1)として配置される。
【0037】
図3に示される処理を再帰的に繰り返すことによって、第1から第nの探索対象層SL1〜SLnが構成される。具体的には、第1の探索対象層SL1に含まれる探索対象情報SJ1が10個程度となるまで上記処理を繰り返す。即ち、階層の数は、探索対象情報全体の個数に左右される。第1の探索対象層SL1に含まれる探索対象情報SJ1は同時に同一の画面に表示されることになる。
【0038】
シンボル表示層BLには、探索対象情報の類似度を表すシンボルBLSを、対応する位置に表示する。この類似度とは、前記した如く、全ての探索対象情報を最もz軸方向に深い探索対象層に配置する際に用いられたものである。例えば、同一のキーワードを含む書籍を近くに配置したような場合であれば、当該キーワードを表すシンボルを、対応する位置に表示する。
【0039】
シンボル表示層BLは、探索対象情報群を探索する際の入り口であり、目的とする探索対象情報に速く辿り着くための指標である。もっとも、第1の探索対象層SL1に表示される探索対象情報の代表SJ1の表示が、シンボル表示層BLに表示されるべきシンボルBLSと同等の内容となる場合もあり、かかる場合には、シンボル表示層BLの構成を省略することもできる。
【0040】
図4は、上記した処理を行う際の制御部102の処理内容を示すフローチャートである。ステップS401からS405までの処理で、上記情報探索空間(シンボル表示層BLを含む)が構成される。本実施の形態の情報探索装置では、情報探索空間を構成する際に、xy情報分布指標表示画面用の視点の算出(S406)、及び背景色格納処理(S407)を行う。これら二つの処理の詳細については後述する。
【0041】
前述の如く、本実施の形態の情報探索装置では、論理的3次元空間を出力部103に表示する際の表示形態を決定するために、視点PVが設定される。視点PVの制御は、入力部101から入力された論理的3次元空間における移動を指示する入力に基づき、視点制御部1021が行う。視点は、初期状態では、階層の浅い方から深い方へ向かう視線を有する。視点に近いものは大きく見え、遠くにあるものは小さく見える。もっとも、視線の方向は変更することが可能であり、z軸方向に深い方から、浅い方を見ることもできる。
【0042】
視点から見えるものが見えたままの状態で出力部103に表示されるように、出力画像生成部1024が、出力部103に表示すべき出力画像を生成する。視点を論理的3次元空間内において移動させることによって、情報探索空間内の全ての探索対象情報を画面に表示させることができる。即ち、視点の移動によって情報探索空間に配置されている探索対象情報群の中をウォークスルーして自由に情報を探索することができる。
【0043】
さて、本実施の形態の情報探索装置では、情報探索空間を出力部103に表示するにあたり、以下に説明するように表示することを可能としている。
図5は、本発明に係る情報探索装置の第1の実施の形態において、情報探索空間を出力部103に表示する方法について説明するための模式図である。同図に示されるように、本実施の形態では、3次元空間情報格納部104に格納されている3次元空間情報を出力部103に表示する際に、操作者からの指示により座標軸の変換処理を行う。即ち、情報探索空間全体を、例えば右上に傾けたり、左上に傾けたりした形で出力部103に表示することが可能となっている。傾ける角度は、操作者が自由に指定することができる。これは、よりz軸方向に浅い探索対象層に配置されている情報を、画面上でずらして表示することにより、よりz軸方向に深い探索対象層に配置されている情報を見易くし、情報探索空間内における情報探索を行いやすくするための機能である。
【0044】
即ち、出力部103の表示画面上における水平方向(以下、「x軸方向」という。)、及び垂直方向(以下、「y軸方向」という。)に、予め設定されている基準点を中心として、x軸方向に角度θ、y軸方向に角度φだけ変形して表示することにより、上記機能を実現する。
【0045】
図6は、上記したような座標軸変換処理を行う際の、制御部102の処理内容を示すフローチャートである。制御部102は、まず、出力部103に座標軸変換すべき角度を入力するための画面を表示する(S601)。図7は、変形すべき角度を入力するために、出力部103に表示する画面の一例を示す図である。同図に示されるような画面において、操作者は、x軸方向に何度傾け、また、y軸方向に何度傾けるかを指示すべく角度を入力する。このようにして入力される角度を、以下「空間変形情報」ということとする。
【0046】
入力部101を介して操作者より入力される空間変形情報を受け付けると(S602:Yes)、空間変形情報は、視点制御部1021を介して、座標変換部1022に送られる。座標変換部1022は、3次元情報格納部104に格納されている3次元空間情報を読み込み、座標軸変換処理を行う(S603)。座標軸変換処理とは、上記3次元空間情報に含まれている、各探索対象情報の情報探索空間内における配置位置の座標について、上記空間変形後の座標を算出する処理である。具体的には以下に示す式1及び式2を用いて行う。式1は、x軸方向の変形のために、3次元空間情報のうちのx座標について実行すべき計算式であり、式2は、y軸方向の変形のために、3次元空間情報のうちのy座標について実行すべき計算式である。尚、式1及び式2において、hとは、上記基準点からの、その時点における各探索対象情報の配置座標のz軸方向の距離を表す。
【0047】
x = x + h * tanθ ・・(式1)
y = y + h * tanφ ・・(式2)
変換された値は、出力画像生成部1024に送られる。
【0048】
ところで、上記のように情報探索空間における座標軸変換処理を行った場合には、操作者の視点の位置についても、x軸方向とy軸方向についての補正を行う必要がある(S604)。即ち、本実施の形態の情報探索装置では、出力画像生成部1024が、空間表示ツールを呼び出す際に3次元空間情報及び視点の位置、視線の方向をパラメータとして渡す必要があるのであるが、3次元空間情報のみに座標軸変換処理を行い、視点に関する情報をそのままにして渡したのでは、適切な3次元空間が出力部103に表示されないこととなるからである。具体的には、図8に示すようにx軸方向、及びy軸方向について視点の位置の補正を行う。以下、補正処理の詳細な内容について説明する。
【0049】
図9は、視点座標補正処理の詳細な処理内容を示すフローチャートである。
まず、視点制御部1021が、座標軸変換処理前、即ち補正前の視点の座標を図示しない記憶手段に保存する(S901)。その後、座標変換部1022が、視点制御部1021より、補正前の視点の座標と、空間変形情報を受けとり(S902)、視点の座標の補正を行う(S903)。
【0050】
下記式3は、x軸方向の補正を行うために視点のx座標について行う補正の式であり、下記式4は、y軸方向の補正を行うために視点のy座標について行う計算式である。なお、式3及び式4において、h´とは、座標変換前の視点の、上記基準点からのz軸方向の距離を表す。
【0051】
x = x + h´ * tanθ ・・(式3)
y = y + h´ * tanφ ・・(式4)
上記視点座標補正処理も終了すると、出力画像生成部1024は、空間表示ツール格納部108に格納されている空間表示ツールを呼び出す。上述の如く、呼び出しの際のパラメータとして、3次元空間情報について上記座標軸変換処理を施した情報、及び、視点として上記視点座標補正処理を行った情報を渡すことにより、出力部103に、座標軸変換処理後の論理的3次元空間が表示される(S605)。
【0052】
なお、上記ステップS604における補正処理は、操作者が座標軸変換処理後の論理的3次元空間においてz軸方向の移動を行った際にも行う必要がある。即ち、本実施の形態の情報探索装置においては、操作者の移動の検知は、変形前の論理的3次元空間における移動距離として認識されるため、空間変形後の論理的3次元空間においてz軸方向の移動があった場合には、x軸方向及びy軸方向の補正をしないと、変形後の表示画面の上で、変形後のz軸に沿った移動の結果が表示されないこととなるからである。
【0053】
図10は、変形後の論理的3次元空間において、操作者が、入力部101を介してz軸方向の移動を含む3次元空間上における移動を指示した際の制御部102の処理内容を示すフローチャートである。
【0054】
通常のx、y、z方向の移動後の位置を算出した後、同図に示されるごとく、視点制御部1021は、入力部101を介して入力された移動を指示する入力からz軸方向の移動方向と移動距離とを算出し(S1001)、前述の視点位置の補正処理を行う(S1002)。ただし、h´は、z軸の負の方向(奥行方向)への移動は−h´となり、z軸の正の方向への移動は+h´を使う。
【0055】
補正後の視点の位置及び視線の方向等をパラメータとして渡して空間表示ツールを呼び出すことにより、出力部103に論理的3次元空間が表示される(S1003)。
【0056】
次に、本発明に係る情報探索装置の第2の実施の形態において、入力部101を介して、xy情報分布指標表示画面の表示を指示する入力がなされた場合の制御部102の処理内容について説明する。ここで、xy情報分布指標表示画面とは、z軸方向にもっとも浅い探索対象層の手前に予め設定されている所定の視点から見た論理的3次元空間における探索対象情報の分布の様子と、その中における操作者のxy平面上における視点の位置が表示されるものである。xy情報分布指標表示画面は、論理的3次元空間を表示する画面の一部に別のウィンドウを作成して、その中に表示される。操作者は、当該画面を参照することにより、論理的3次元空間において、自己が存在する探索対象層のxy平面上における、自己の視点位置を容易に把握することが可能となる。
【0057】
図11は、xy情報分布指標表示画面が表示された出力部103の具体的イメージを表す図である。ここで、前述した「予め設定されている所定の視点」とは、図4のフローチャートのステップS406において算出され、3次元空間情報格納部104に格納されているものである。具体的には、最もz軸方向に浅い探索対象層(若しくはシンボル表示層)全体をその視界の範囲内に含むことができる視点として、予め算出されている視点を意味する。
【0058】
図12は、入力部101が、xy情報分布指標表示画面の表示を指示する入力を受け付けた際の制御部102の処理内容を示すフローチャートである。
この場合は、視点位置制御部1021が、まず出力画像生成部1024に指示を送り、出力部103に表示すべき画面の中にxy情報分布指標表示画面用の別のウィンドウを作成させる(S1201)。
【0059】
それと平行して、視点制御部1021からの指示を受けた情報分布管理部1023が、前記別のウィンドウの内部に表示すべき画像データを生成するべく出力画像生成部1204に指示を送る(S1202)。具体的には、3次元空間情報格納部104に格納されている、前記xy情報分布指標表示画面の作成用の視点の位置の座標を取得し、当該位置から見た論理的3次元空間の様子を、出力画像生成部1024を介して、空間表示ツールを駆動することにより生成させる。
【0060】
さらに、情報分布管理部1023は、視点制御部1021から現在の視点の位置を受けとり、xy情報分布指標表示画面内に表示すべき操作者の位置を算出する(S1203)。算出結果を生成出力画像制御部1024に送り、出力画像制御部1024が、空間表示ツールを呼び出すことによって、別ウィンドウとして、xy情報分布指標表示画面及び当該画面の中における視点の位置が表示される(S1204)。
【0061】
ところで、上述の如く、xy情報分布指標表示画面の中には、それぞれの時点における操作者のxy平面内における存在位置を表示しているが、操作者が、論理的3次元空間におけるx軸方向又はy軸方向の移動を含む移動を指示した場合には、当該論理的3次元空間内における移動の処理と連動して、xy情報分布指標表示画面内での操作者の存在位置の移動の処理をする必要がある。
【0062】
図13は、xy情報分布指標表示画面が表示されている場合に、入力部101を介して、操作者の視点位置の移動が指示された場合の制御部102の処理内容を示すフローチャートである。
【0063】
出力部101を介して入力された移動の指示から、視点制御部1021は、まず、論理的3次元空間における移動の距離を算出する(S1301)。
さらに、視点制御部1021は、算出された移動の距離から、移動後の視点の位置の座標を算出する(S1302)。
【0064】
算出された、移動後の視点の位置の座標が、情報分布管理部1023に送られ、情報分布管理部1023は、移動後のxy情報分布指標表示画面上における視点位置の座標を算出することにより、xy情報分布指標表示画面内の視点の位置を移動させる(S1303)。その後、出力画像生成部1024が、移動後の新しい視点位置及び視線方向に基づく論理的3次元空間を、xy情報分布指標表示画面を含む形で出力部103に表示する(S1304)。
【0065】
上記のように、本実施の形態の情報探索装置においては、出力部103の一部にxy情報分布指標表示画面を表示し、xy平面上における操作者の存在位置を表示することにより、操作者が、論理的3次元空間のxy平面上における自己の存在位置を容易に把握できるようにしている。
【0066】
次に、本発明に係る情報探索装置の第3の実施の形態における視点スタック機構について説明する。上述の如く、本実施の形態の情報探索装置は、スタック格納部として静的スタック格納部106と、動的スタック格納部107とを備えている。静的スタックとは、例えば、システム初期設定等の際に、所定の視点位置と視線の方向を設定しておく領域である。具体的には、操作者が論理的3次元空間の全体を把握しやすい視点位置及び視線方向をスタック情報として複数種類予め登録しておく。例えば、論理的3次元空間内の一番手前右下の位置から一番奥を見る状態等が考えられる。この領域の内容は、ある程度汎用的に利用できる内容とすることが可能であり、それぞれのスタック情報に名前を付与して格納しておき、操作者が選択して利用することを可能としている。
【0067】
一方、動的スタックは、上記静的スタックのように汎用的なものではなく、個々の操作者が登録したいと考えた時点における、論理的3次元空間内における視点の位置及び視線の方向を表す情報を動的スタックに格納しておいて、後で、格納されている位置に戻りたいと思った場合に、動的スタックに格納された位置に戻ることができる機能である。
【0068】
以下に、それぞれのスタック格納部に対して視点及び視線を表す情報を格納する際の制御部102の処理内容について説明する。
まず、静的スタック格納部106にスタック情報を格納する際及びスタック情報を呼び出す際の制御部102の処理内容について説明する。
【0069】
上述の如く、静的スタック格納部106への情報の格納は、初期設定又は環境設定の際に行われる。具体的には、操作者が、通常の使用の際と同様に論理的3次元空間内を移動し、入力部101を介して、静的スタック情報格納の指示を行った場合に、静的スタック情報格納ウィンドウを表示することにより、スタック情報格納の処理を行う。もっとも、一旦登録されたスタック情報を、他の装置にコピーして利用することも可能である。図14は、静的スタック情報の格納を行う際の制御部102の処理内容を示すフローチャートである。
【0070】
静的スタック情報格納処理においては、出力画像生成部1024が、まず、静的スタック情報格納画面の表示を行う(S1401)。操作者(この場合、多くは装置のエンドユーザではなく、システム設定等のカストマイズ作業を行う者、若しくは装置の設計者等)が、入力部101を介して静的スタック情報の名前を入力したのを受け付けると(S1402:Yes)、制御部102は、登録時点における操作者の論理的3次元空間における視点の位置と、当該視点における視線の方向に関する情報を、入力された名前とともにスタック情報として静的スタック格納部106に格納する(S1403)。
【0071】
次に、格納された静的スタック情報を呼び出す際の制御部102の処理内容について説明する。図15は、静的スタック情報を呼び出す際の制御部102の処理内容を示すフローチャートである。
【0072】
まず、制御部102は、静的スタック情報呼び出しのための画面を出力部103に表示する。具体的には、入力部101を介してなされた操作者の指示に従い、静的スタック情報選択画面の表示を行う(S1501)。
【0073】
静的スタック情報選択画面は、静的スタック情報の名前の一覧表示を含んでおり、操作者はどのスタック情報を呼び出すかを選択できるようになっている。入力部101を介した操作者の名前の選択を受けて(S1502:Yes)、制御部102は、操作者の現在の視点の位置を、図示しない記憶手段に保存する(S1503)。
【0074】
制御部102は、選択された静的スタック情報に基づいて出力部103への3次元空間の表示を行う(S1504)。具体的には、選択されたスタック情報に含まれる視点の位置及び視線の方向を渡して空間表示ツールを呼び出すことにより、3次元空間情報を出力部103に表示する。その後、制御部102は、画面上の所定の位置、例えば画面の左下隅の位置に、視点アイコンを表示する(S1505)。操作者は、スタック情報として選択した視点位置から、もとの位置に戻る場合には、ステップS1505にて表示された視点アイコンを、例えばマウスでダブルクリックすることにより、すぐにもとの位置に戻って情報探索を続けることができる。
【0075】
一方、動的スタックへのスタック情報の格納の場合は、ウォークスルーの途中で、操作者による動的スタックへの格納指示を受けた視点制御部1021が、動的スタック管理部1026に指示を行うことにより、その時点における視点の位置と視線の方向をスタック情報として動的スタック格納部107に格納する。
【0076】
また、動的スタック呼び出し時には、入力部101が受け付けた動的スタック情報の呼び出し指示を受けて、視点制御部1021が、動的スタック管理部1026に指示を行うことにより、動的スタック格納部107に格納されたスタック情報を読み出す。さらに、読み出されたスタック情報に基づいて、出力画像生成部1024が、出力部103への表示画像を生成し、表示する。具体的には、取り出されたスタック情報に含まれる視点の位置と視線方向を表す情報をパラメータとして、空間表示ツール格納部108から、空間表示ツールを呼び出し、出力部103に3次元空間画像を表示させる。
【0077】
最後に、本発明に係る情報探索装置の第4の実施の形態における背景着色機能について説明する。冒頭に説明した如く、本実施の形態の情報探索装置における論理的3次元空間は、複数の探索対象層から構成されているが、従来の情報探索装置では、操作者が、z軸方向にどの程度の深さの階層に存在しているかを直観的に把握することが困難であると言う問題点を有していた。
【0078】
そこで、本実施の形態の情報探索装置では、操作者が存在する探索対象層のz軸方向の階層の深さに応じて、背景色の濃淡を変化させることにより、操作者が存在する階層の深さを直観的に把握できるようにしている。
即ち、3次元空間構成部1027が、情報探索空間の構成を行う際に、各階層ごとに背景色のRGB値を算出し、背景色格納部109に格納しておく。この背景色のRGB値は、そのRGB比を一定に保った値で算出されている。即ち、色をRGBで表現し、R(Red)、B(Blue)、G(Green)をそれぞれ8ビットで表現するとすれば、それぞれのR、G、Bの値は、それらの比を変えずにz軸の位置の減少関数で記述することができる。例えば、R値の最小値をR0 、R値の変化の幅をD、第0の階層のz軸上の座標をz0 、最も奥の階層のz軸上の座標をze とすればz軸上の座標がzn である階層のR値をRn とすると、以下の式5により算出することができる。
【0079】
n = R0 +D *(zn −z0 )/(ze −z0 ) ・・(式5)
上記式5によりR値が定まれば、所定のRGB比を用いてG値及びB値を算出することができる。
【0080】
以上の処理により、操作者が論理的3次元空間内においてウォークスルーを行う際に、出力画像生成部1024が、背景色格納部109を参照することにより、階層の深さに応じた濃度の背景色を表示する。即ち、RGB比が一定で濃度のみを変化させるため、操作者が存在する階層の深さを直観的に認識することが可能となる。もっとも、論理的3次元空間に直接透明な色を付けることはできないため、一定の関係に色のついた格子を配置することにより実現する。また、視点の位置が論理的3次元空間内に入ってきた場合には、視点の背景色を変化させることにより対応する。ここで、視点の背景色とは、視点の位置の情報探索空間の色のことであり、視点に空間の色と同じ色のフィルターをかぶせた場合と同等の効果を与えるものを意味する。
【0081】
図16は、図4のフローチャートにおけるステップS407の背景色格納処理の詳細な処理内容を示すフローチャートである。
3次元空間構成部1027は、まず、各階層のz軸上における座標を算出する(S1601)。その後、背景基準色格納部110に格納されている基準色のRGB値とそのRGB比、及びRGB値の最大値及び最小値を参照して、各階層ごとに、RGB値を算出する(S1602)。その後、算出されたRGB値を階層ごとに背景色格納部109に格納する(S1603)。
【0082】
操作者が、論理的3次元空間内においてウォークスルーを行う際には、出力画像生成部1024が背景色格納部109の内容を参照し、操作者が位置する各階層の深さに応じて背景色を表示させるように空間表示ツールを駆動することにより、階層ごとに背景色の濃度を変化させるように表示画面を生成する。
【0083】
なお、本実施の形態においては、座標軸変換処理を行う際に、操作者が角度を指定するようにしたが、特に角度を指定せずとも、予め設定されたいくつかの角度から選択するようにしてもよい。
【0084】
【発明の効果】
以上に説明したように、本発明に係る情報探索装置によれば、論理的3次元空間におけるz軸方向の座標軸を傾けることにより、空間を変形して表示すること、また、xy情報分布指標表示画面を表示すること、スタック情報を有効に利用すること、階層の深さにより背景色の濃度を変更することにより、操作者に、論理的3次元空間内における自己の存在位置を、適切に把握させることができるという効果を奏する。
【0085】
また、座標軸変換の処理は、よりz軸方向に深い階層に配置されている情報を見易くするため、操作者に、論理的3次元空間内に配置されている各種情報の、論理的3次元空間内における相対的な位置を、適切に把握させることができるという効果を奏する。
【0086】
さらに、スタック情報の格納、呼び出しにより、移動したい位置に容易に移動することができるようになり、情報探索装置の操作性を向上させることができるという効果を奏する。
【図面の簡単な説明】
【図1】 本発明の一実施の形態に係る情報探索装置の構成を示すブロック図である。
【図2】 本発明の一実施の形態に係る情報探索装置における情報探索空間の構成方法等の概略について説明するための模式図である。
【図3】 本発明の一実施の形態に係る情報探索装置において、探索対象層の構成方法について説明するための模式図である。
【図4】 情報探索空間の構成の際の制御部の処理内容を示すフローチャートである。
【図5】 本発明の第1の実施の形態の情報探索装置において、情報探索空間を、座標軸を傾けた形で出力部に表示する方法について説明するための模式図である。
【図6】 座標軸変換処理の処理内容を示すフローチャートである。
【図7】 座標軸変換を行う角度の入力のために表示すべき画面の一例を示す図である。
【図8】 x軸方向及びy軸方向についての視点位置の補正について説明するための模式図である。
【図9】 視点座標補正処理の内容を示すフローチャートである。
【図10】 座標軸変換処理が行われた論理的3次元空間においてz軸方向の移動を含む視点の移動が指示された場合の制御部の処理内容を示すフローチャートである。
【図11】 xy情報分布指標表示画面の表示形態の一例を示す図である。
【図12】 xy情報分布指標表示画面の表示の指示を受け付けた際の制御部の処理内容を示すフローチャートである。
【図13】 xy情報分布指標表示画面を表示している場合においてx軸方向又はy軸方向の移動を含む視点の移動が指示された場合の、論理的3次元空間の表示と、xy情報分布指標表示画面の表示との連動処理の内容を示すフローチャートである。
【図14】 静的スタック情報格納の指示を受け付けた際の制御部の処理内容を示すフローチャートである。
【図15】 静的スタック情報呼び出しの指示を受け付けた際の制御部の処理内容を示すフローチャートである。
【図16】 背景色格納処理の内容を示すフローチャートである。
【符号の説明】
101 入力部
102 制御部
103 出力部
104 3次元空間情報格納部
105 探索対象情報格納部
106 静的スタック格納部
107 動的スタック格納部
108 空間表示ツール格納部
109 背景色格納部
110 背景基準色格納部
1021 視点制御部
1022 座標変換部
1023 情報分布管理部
1024 出力画像生成部
1025 静的スタック管理部
1026 動的スタック管理部
1027 3次元空間構成部

Claims (5)

  1. 2次元の像を表示することができる表示手段と、探索の対象である探索対象情報を配置した情報探索空間を含む論理的3次元空間を構成する3次元空間構成手段と、前記情報探索空間を、前記論理的3次元空間における種々の視点の位置から種々の視線の方向で見た像を前記表示手段に表示させる出力手段と、操作者からの、前記情報探索空間の奥行方向の座標軸であるz軸を傾けるべき方向に関する情報として、予め設定された基準点を中心として、表示手段の表示画面上における水平方向であるx軸方向へ傾ける角度θと、前記表示画面上における垂直方向であるy軸方向への傾斜角度φとの入力を受け付ける入力受付手段と、前記入力受付手段が受け付けた情報に基づいて、前記情報探索空間のxy面を前記表示手段の表示画面に平行に保ちながら前記z軸を傾ける空間変形手段を備え、
    前記情報探索空間は、z軸方向に階層化された複数の探索対象層を有し、
    前記空間変形手段は、前記探索対象情報を配置すべき位置のx座標をx+h*tanθ、y座標をy+h*tanφにそれぞれ変換し、視点の位置のx座標をx+h’*tanθ、y座標をy+h’*tanφにそれぞれ変換する座標変更手段を備えたことを特徴とする情報探索装置。
    ただし、hは、前記基準点からの探索対象情報の配置座標のz軸方向の距離を表し、h’は、座標変換前の視点の、前記基準点からのz軸方向の距離を表す。
  2. 前記表示手段は、xy情報分布指標表示画面を表示する部分を有し、前記情報探索装置はさらに、前記xy情報分布指標表示画面に表示すべき画像を生成するxy情報分布指標表示画面生成手段を備え、前記出力手段は、前記表示手段のxy情報分布指標表示画面を表示する部分に、前記xy情報分布指標表示画面を表示させる請求項1に記載の情報探索装置。
  3. 前記情報探索装置はさらに、操作者の論理的3次元空間における視点の位置と当該位置における視線の方向に関する情報を、一つ又は複数保持する保持手段を備え、前記入力受付手段はさらに、操作者からの、前記保持手段からの情報の取り出しを指示する入力を受け付け、前記出力手段は、前記入力受付手段が、情報の取り出しを指示する入力を受け付けた場合に、前記保持手段から情報を取り出す手段と、取り出された情報に基づいて、視点の位置及び視線の方向を変更する手段とを有する請求項1に記載の情報探索装置。
  4. 前記入力受付手段はさらに、操作者からの、前記保持手段への情報の格納を指示する入力を受け付け、前記情報探索装置はさらに、前記入力受付手段が、情報の格納を指示する入力を受け付けた場合に、その時点における操作者の論理的3次元空間における視点の位置と当該位置における視線の方向に関する情報を前記保持手段に格納する格納手段とを有する請求項に記載の情報探索装置。
  5. 前記情報探索装置はさらに、前記論理的3次元空間における奥行方向の位置に基づいて、前記表示手段に表示させる像の背景色の濃度を変化させる背景着色手段を有する請求項1に記載の情報探索装置。
JP20155997A 1997-07-28 1997-07-28 情報探索装置 Expired - Fee Related JP3660785B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP20155997A JP3660785B2 (ja) 1997-07-28 1997-07-28 情報探索装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP20155997A JP3660785B2 (ja) 1997-07-28 1997-07-28 情報探索装置

Publications (2)

Publication Number Publication Date
JPH1145263A JPH1145263A (ja) 1999-02-16
JP3660785B2 true JP3660785B2 (ja) 2005-06-15

Family

ID=16443067

Family Applications (1)

Application Number Title Priority Date Filing Date
JP20155997A Expired - Fee Related JP3660785B2 (ja) 1997-07-28 1997-07-28 情報探索装置

Country Status (1)

Country Link
JP (1) JP3660785B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001043077A1 (fr) * 1999-12-06 2001-06-14 Fujitsu Limited Procede et dispositif d'affichage d'images
CN109079132B (zh) * 2018-07-11 2020-10-23 广东汉邦激光科技有限公司 3d嫁接打印的定位方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3473864B2 (ja) * 1994-05-11 2003-12-08 日本電信電話株式会社 ビデオ情報検索方法
JP3484234B2 (ja) * 1994-09-20 2004-01-06 日本電信電話株式会社 映像管理マップ表現方法および装置

Also Published As

Publication number Publication date
JPH1145263A (ja) 1999-02-16

Similar Documents

Publication Publication Date Title
US5555354A (en) Method and apparatus for navigation within three-dimensional information landscape
US5861885A (en) Method and apparatus for indicating selected objects by spotlight
US6317739B1 (en) Method and apparatus for data retrieval and modification utilizing graphical drag-and-drop iconic interface
US6137499A (en) Method, system, and computer program product for visualizing data using partial hierarchies
CN104137043A (zh) 用于在图形用户界面(gui)上进行人机交互的方法
CN1064557A (zh) 三维图形接口
JPH09259130A (ja) 情報探索方法及び装置
JP4165160B2 (ja) デザイン制作支援システム及びデザイン制作支援プログラム
JP3711025B2 (ja) 仮想現実空間移動制御装置
JP3660785B2 (ja) 情報探索装置
JPH01189721A (ja) 電子化文書検索装置
US7701464B1 (en) Group color mixer and color organizer
JPH0785099A (ja) 階層表示方式
JPH076076A (ja) ハイパーメディアシステム
JPS62212776A (ja) 地図情報表示システム
US11263791B2 (en) System and method for generation of an interactive color workspace
JP2002215627A (ja) 画像検索手法および装置、並びに、画像データベース作成方法および装置
CN115186320A (zh) 生成搭建文档的方法
JPH05282380A (ja) 動画像検索方法
JPH0916315A (ja) 情報検索システム
JPH07306873A (ja) 演算シートによる情報検索方法
JP2000011208A (ja) 画像表示装置及び方法
JPH07262211A (ja) 情報虫めがねによる情報検索方法
JP3208313B2 (ja) 建築デザイン方針の決定支援システム
JPH04288674A (ja) ハイパーテキスト編集装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040720

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20040723

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040921

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20040921

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20041025

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041221

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20050112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050314

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050318

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080325

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090325

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100325

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100325

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110325

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110325

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120325

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130325

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130325

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140325

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees