JP3887136B2 - 仮想3次元的空間におけるオブジェクト表示方法および表示プログラムを記録した媒体 - Google Patents
仮想3次元的空間におけるオブジェクト表示方法および表示プログラムを記録した媒体 Download PDFInfo
- Publication number
- JP3887136B2 JP3887136B2 JP2000010141A JP2000010141A JP3887136B2 JP 3887136 B2 JP3887136 B2 JP 3887136B2 JP 2000010141 A JP2000010141 A JP 2000010141A JP 2000010141 A JP2000010141 A JP 2000010141A JP 3887136 B2 JP3887136 B2 JP 3887136B2
- Authority
- JP
- Japan
- Prior art keywords
- reference object
- virtual
- dimensional space
- displayed
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Description
【発明の属する技術分野】
本発明は、仮想3次元的空間におけるオブジェクト表示方法および表示プログラムを記録した記憶媒体に関し、特にユーザが表示された仮想3次元的空間を自由にウォークスルーすることが可能なように工夫されたユーザインタフェイスを提供するものである。
【0002】
【従来の技術】
仮想3次元的表示の技術は、仮想3次元的コンピュータグラフィックス映像の制作のみではなく、CAD、科学技術計算の結果の表示等、多くの分野で応用されてきた。近年は、情報検索のような、従来、仮想3次元的表示と無縁であった分野にも応用されてきている(例えば、特開平11−175534、特開2000−029885あるいは「VR空間を用いた画像特徴量空間の可視化」広池 他、信学技報PRMU98−86(1998−09)P.17−24)。
【0003】
仮想3次元的空間表示中をユーザが動き回ることをウォークスルーという。ウォークスルー機能を備えたユーザインタフェイスとして一般に知られているものとしては、VRML用のブラウザがある。このブラウザに用いることによって、ユーザは、VRMLによって記述された仮想3次元的世界を自由に動き回ることができる。VRML用ブラウザでは、通常、2種類の典型的なウォークスルー用のインタフェイスを提供している。一つは、視点を中心とした視線方向(z方向)の上下左右回転、視線方向の前進および後退、視線方向と垂直な面(x−y面)上での視点の並進移動の機能からなり、人間が通常行う歩行動作を模擬したものである。もう一つは、移動についは前者と同等であるが、回転については、視点の方ではなく、仮想3次元的空間の方が仮想3次元的空間の原点を中心に回転する。これによって、空間中に表示されたあるオブジェクトの周りを回って眺めることができる。従って、オブジェクトの全体像を概観する際には、後者の方が便利と言える。
【0004】
【発明が解決しようとする課題】
視点中心の回転は、空間中を任意方向を選んで動き回るのには適しているが、空間中のあるオブジェクトを概観する場合不都合である。一方、空間の側を回転させる方法は、空間の中心に配置されたオブジェクトを概観するためには便利であるが、自身が自由に動き回るためには、不都合である。また、空間中に複数のオブジェクトが存在し、それぞれを概観したい場合は、空間の中心点を設定し直す必要がある。
【0005】
仮想3次元的表示が対象とする空間が、建造物の中等を模擬したものであったなら、空間内部の構造が複雑であっても、ユーザは、視点中心の回転によって、日常的動作と比較的近い感覚でウォークスルーを行うことができる。一方、空間の構造が単純で、単一の仮想3次元的オブジェクトを眺める、という場面では、空間の側を回転すれば十分である。
【0006】
しかし、例えば、情報検索等の分野に応用した場合、生成される仮想3次元的世界は、人間が日常的体験するような現実世界と必ずしも対応しない。先に引用した特開2000−029885の発明の例では、データベース中の画像コンテンツを、画像間類似度を空間の計量として仮想3次元的可視化される。この場合、得られた空間が表現するものは、画像特徴量が張る情報空間という、元来が、抽象的な世界であり、多数のデータが局所的な構造を持ちつつ、仮想3次元的空間中に散布している。この世界は、複雑な空間的構造を持つが、人間が日常的に経験するものとは異なる。ユーザは、その中を歩き回って所望のデータに近づいていく必要があるが、単純な視点中心の回転のみだとデータの分布の全体像を見失ってしまい、能率のよいウォークスルーは困難である。
【0007】
データ分布の全体像を把握するためには、空間の側を回転することが考えられるが、空間の構造が複雑なため、空間中のどこに回転の中心を設定すればよいかが自明ではない。ユーザが回転の中心を設定する場合、中心とするべき点の付近に具体的なオブジェクトが存在する場合は、そのオブジェクトを回転の中心として選択する、といったユーザインターフェイスが設計可能である。しかし、回転の中心としたい位置の付近に適当なオブジェクトが存在しない場合、中心点を設定するためのユーザインタフェイスの設計が問題となる。
【0008】
従来型のウォークスルー用のユーザインターフェイスを用いた場合の問題点は、今後、仮想3次元的表示を種々の分野に応用していく場合の障害となる。従って、より高機能で、かつ、操作性がよいウォークスルーのためユーザインターフェイスが必要である。
【0009】
【課題を解決するための手段】
仮想3次元的空間中に2つの参照オブジェクトA、Bを用意する。両者は、仮想3次元的空間中でのユーザの視点を与えるとともに、性質の異なる動作を行う参照オブジェクトとして定義されている。
【0010】
参照オブジェクトAは、A自身を中心に回転する。参照オブジェクトAは、従来技術での視点中心の回転機能を表わす。一方、参照オブジェクトBは、参照オブジェクトAを中心に回転する。これは、従来技術での空間中心の回転に類似しているが参照オブジェクトトB自身が回転するので、回転の方向は逆転する。また、回転の中心は参照オブジェクトAが位置する空間中の任意の位置である。参照オブジェクトBは、参照オブジェクトAを中心に回転するため、視線方向は常に参照オブジェクトAを向いている。
【0011】
参照オブジェクトBは参照オブジェクトAが並進移動すると参照オブジェクトAとの相対的位置関係および姿勢の関係を維持したまま、参照オブジェクトAの移動に追随して移動する。この参照オブジェクトBの移動は、ユーザ操作によるのではなく、自動的に行われる。
【0012】
ユーザは、ユーザインタフェイス上で、自らの視点を参照オブジェクトAか参照オブジェクトBのいずれかに選択できる。その上で参照オブジェクトAと参照オブジェクトBそれぞれの回転、移動等を制御する。これによって、従来のウォークスルー機能では困難であった空間中を自由に歩き回りながら、かつ、空間の全体像も容易に把握する機能が実現できる。
【0013】
【発明の実施の形態】
実施例1:画像検索における情報空間のウォークスルー
本実施例は、類似画像検索のためにユーザインタフェイス上に、本発明の技術を応用したものである。
【0014】
1.システム構成
図1に本実施例のシステム構成のブロック図を示す。本システムは、画像特徴量に基づく検索を行う検索サーバ110、仮想3次元的空間の表示を行う可視化サーバ120、GUI(グラフィックユーザインターフェイス)クライアント130からなる。サーバおよびクライアント間の情報の伝達はソケット通信で行う。
【0015】
検索サーバ110は、内蔵されたメモリー内に展開された画像特徴量に基づき検索キー画像との類似度を計算する。可視化サーバ120は、空間中の対象物の運動およびユーザのウォークスルー動作に伴う仮想3次元的空間中の状態更新を実時間で行う。GUIクライアント130では、表示領域でのウォークスルー動作の制御、および、検索条件の指定を行う。
【0016】
可視化サーバ120およびGUIクライアント130は、高性能のテクスチュアマッピング機能を持つグラフィックワークステーション上で動作する。検索サーバ110は同一計算機上、あるいは、他の高速な数値計算可能な計算機上で動作する。
【0017】
検索サーバ110は、システム起動時に、画像特徴量のデータベース140から全画像分の特徴量をメモリー内に取り込む。可視化サーバ120は、同じくシステム起動時に、全画像データ縮小イメージを画像データベース150から取り込み、テクスチュアマッピング用のデータに変換し、内蔵されたメモリー内に取り込む。GUIクライアント130は、必要な画像データを各時点で画像データベースから取り込む。
【0018】
本発明は画像検索自体ではないので、検索の詳細およびその結果の表示は先に引用した特許出願を参照することとし、以下ウォークスルーを主体に説明する。
【0019】
図5は、本実施例における表示例である。ユーザインタフェイスは、可視化サーバ120が作成する仮想3次元的可視化空間に存在するオブジェクトの内、ユーザが選択した参照オブジェクトの視点から見えるオブジェクトの表示領域510およびGUIクライアント130が表示する各種のパネル520,530,540から構成される。パネル520は画像検索のために使用されたパネルの例であり、パネル530,540がウォークスルーのために使用されるパネルである。表示領域510には、図に示すように、画像検索の結果に応じた小画像が検索のキーに応じたグループを構成して仮想3次元空間に散布している。
【0020】
2.検索機能と可視化表現
ユーザは、表示領域510内に浮かぶ小画像をマウスでクリックすることによって、新たな検索キーとしての登録を行うことができる。ユーザのキー画像登録要求は、GUIクライアント130を通して、検索サーバ110に送られる。検索サーバ110が、検索キーとなる画像集合と類似度が高いと判定した画像は、表示領域510中に、小画像から構成される仮想3次元的な散布図として新たに表示される。検索キーとなる画像集合は、パネル520内に表示される。キー画像の削除は、パネル520上の画像をマウスでクリックすることによって行う。なお、初期画面では、システム側が予め用意したサンプル画像を検索キーとした検索結果が表示されている。
【0021】
各画像の仮想3次元的可視化空間の表示領域510中での大きさは、特徴量空間中の類似度と対応付けられる。類似度は0から1の間の実数値で表現され、1ならば最大の大きさで画像は表示される。それ以下の場合は、類似度に比例して縮小して表示され、0.1以下の場合は表示されない。この類似度の値は、検索条件によって決まる。類似度の計算は、検索サーバ110中で行われる。本実施例では、色関連の画像特徴量として、画像中の色分布をヒストグラム化した特徴量、形関連の画像特徴量として、画像の輝度勾配ベクトルの方向成分の分布をヒストグラム化した特徴量を用いている。両者とも実数ベクトルとして表現されており、画像間の類似度は、これらのベクトル間の2乗距離をもとに定義される。(数1)は、ある与えらた画像とキー画像(添え字iで表わす)との類似度を定義したものである。
【0022】
【数1】
【0023】
複数のキー画像が登録されている場合は、与えられた画像と各キー画像との類似度の中で最大のものを、与えられた画像の類似度として定義する。
【0024】
可視化サーバ120は、定常的には、GUIクライアント130、検索サーバ110とは独立に仮想3次元的可視化空間の表示領域510の更新を行う。ユーザがウォークスルーすることに伴う表示領域510の表示の変化は、パネル530あるいはパネル540の操作により、GUIクライアント130から送られた制御情報によって引き起こされる。
【0025】
3.ウォークスルー機能
表示領域510中には、カメとカニと名付けられた2つの参照オブジェクトの一つを視点とするオブジェクトが表示される。参照オブジェクトのカメとカニは、異なる視点およびウォークスルー機能を持っている。前述した参照オブジェクトAはカメに、参照オブジェクトBはカニに対応する。以下、参照オブジェクトのカメおよびカニについては簡単のために、適当に「参照オブジェクト」の表現を省略する。カメは自身を中心に回転する従来技術での視点中心の回転機能を持つ。一方、カニは、カメを中心に回転する。これは、従来技術での空間中心の回転に類似しているが、カニ自身が回転移動するので、表示領域510中での表示されているオブジェクトの回転の方向は従来技術とは逆となる。また、カニの回転移動の中心は、カメの内部に定義された原点とする。カニは、カメを中心に回転移動するため、視線方向は常にカメを向いている。したがって、カニを視点として見た表示領域510の表示の中にはカメが必ず表れる。一方、カメは任意の方向を向くことができるので、カメを視点として見た表示領域510の表示の中にカニが必ず表れるというわけでは無い。
【0026】
ユーザは、ユーザインタフェイス上で、自らの視点をカメあるいはカニのいずれかに自由に選択できる。その上で、それぞれの回転、移動等を制御する。図5は、カニから見た表示領域510の表示例で、図5では良く見えないが、視野の中心部分に、小さくカメが表示されている。
【0027】
図6は、カニの視点において、カメを近くから見た場合の表示例である。カメに近づいた為に、カメの存在は明瞭になったが、表示領域510の領域に表示されるオブジェクトは減っている。図7は、カメの視点において、カニを近くから見た場合の表示例である。図6、図7では、画像検索のために用意されたパネル520の表示は隠されている。
【0028】
図2は、カニ、カメの参照オブジェクトのそれぞれの動きを具体的に説明するための概念図である。カメは、従来型のウォークスルー機能を表現した参照オブジェクトであるから、自己中心的な首振り回転を行うことによって、矢印210に示すように、任意の方向を向くことができる。また、矢印220に示すように、その回転により向いた任意の方向に移動できる。一方、カニは、常にカメに面し、カメとの距離を一定に保ちながら、矢印240に示すように、カメの移動に追随する。カニ自体が自発的に行なえる並進移動は、矢印250に示すように、カメへの接近、あるいは、カメからの逃避のみである。また、カニの回転は、矢印230に示すように、常に、カメを中心として行なわれる。カニおよびカメについては、それぞれ、x,y,zで表現される局所座標が定義されており、z軸の+方向がそれぞれの視線方向に一致する。y軸の+方向がそのオブジェクトの視点となった場合の上方向と一致する。カメおよびカニはそれぞれ移動しあるいは回転ができるから、これに応じていろんな姿勢を取ることになる。ここで姿勢は仮想3次元空間の絶対座標で表現した3×3の姿勢行列で定まる。後述するように、ユーザは、視点の変更等のために、カメおよびカニの姿勢を一致させる操作を行うことがあるが、姿勢が一致するということは、この姿勢行列が一致することを意味する。
【0029】
図5に示したように、表示領域510にはパネル530と540が表示されているが、これらのパネルは、カメ、カニの参照オブジェクトを操作するためのものである。
【0030】
図3は、パネル530の主要部の拡大図である。パネル中央にあるボタン310は、表示領域510の表示をカニの視点(カニから見えている状態の表示)、あるいは、カメの視点(カメから見えている状態の表示)に切り替えるためのトグルボタンである。その時点での見えは、ボタン310上のカニまたはカメのマークによって示される。したがって、図3のようにボタン310がカニの表示となっているときは、図6のように、表示領域510の中心部にはカメが見えていることになる。逆に、ボタン310がカメの表示となっているときは、図7のように、表示領域510の中にカニが見えていることがあるが、カメは任意の回転をするから、カメの視点では、通常の場合、表示領域510の中にカニが見えていない場合も多い。ボタン310の周囲にある矢印が付いた8つのボタンは、現在の視点における(x,y)平面上の並進移動のためボタンである。320は、カニおよびカメを表示領域510中に表示するかどうかを指定するトグルスイッチである。このトグルスイッチ320の操作により、表示領域510中にカニおよびカメが表示されたり隠されたりする。330は、それぞれの参照オブジェクトの位置を初期状態に戻すためのスイッチである。例えば、図6のように表示されている状態から、図5の表示のように初期状態に戻すために使用される。
【0031】
図4は、パネル540の主要部の拡大図である。このパネルは参照オブジェクトの回転および前進および後退(z方向の移動)のためのパネルで、中央にあるボタン410は、制御対象となる参照オブジェクトを切り替えるためのトグルボタンである。その時点での制御対象は、ボタン410上のカニまたはカメのマークによって示される。したがって、図4のようにボタン410がカニの表示となっているときは、カニの回転および前進および後退(z方向の移動)が制御される。ボタン410の周囲にある8つのボタンは、左右、上下、および、斜め方向の回転のためのボタンで、ボタンに表示された回転を行なう。その左の縦に並んた2つのボタン420および421は、前進および後退用のボタンである。
【0032】
移動および回転用の矢印ボタンは、すべて、ボタンを押す際のマウス側のボタンに応じて表示の移動および回転の速度が切り替わる。すなわち、マウスが二つのボタンを備えるものであれば2段階に、三つのボタンを備えるものなら3段階に変えられる。運動は、ボタンを押すと開始し、離すと止まる。この操作については、図14を参照しながら、後で、もう少し詳細に説明する。
【0033】
図3および図4に示すパネル530および540による視点の切替および制御対象の切替は全く独立である。ユーザは、カニの視点からカメの動きを眺めつつ、カメの動きを制御することができる。これによって、画像分布を眺めるのに適切な表示領域510中の位置に、カニの回転の中心を設定することが容易にできる。
【0034】
図3の(x,y)平面の並進移動については、カメ視点の場合、回転と移動のショートカットとして働く。まず、カメ自身が、現在の(x,y)平面上のある方向に回転した後、前方すなわち回転後のz方向へと進む。一方、カニ視点の場合は、カニは、前述した定義より自由な方向転換ができない。従って、「カメが動くことによって結果として視点が移動する」という形式で動作する。例えば、ユーザが、カニ視点(パネル530のボタン310がカニ)で右方向移動のボタン311を押すと、まず、カメがカニの右方向と一致する方向に回転する。その後、カメの方がカメの前方方向に進み、カニはその動きに追随する。結果として、視点はカニの右方向に移動する。
【0035】
図8、図9および図10は、カニの視点で、左上方向への並進移動を行った場合の表示例である。すなわち、パネル530のボタン310をカニとして、左上を向いた矢印のボタン312を操作することによって、カメが左上方向への並進移動を行った状態を表示する例である。カメは、カニにとっての左上方向を向き、画面上の表示領域は、左上方向に移動している。カメの位置は表示領域510の中央である。
【0036】
図11、図12および図13は、カメを中心としたカニの右上方向への回転を、カニの視線から見た場合の表示例である。この場合、パネル540のボタン410をカニとして、右上を向いた矢印のボタン411を操作することによって、カニが右上方向への回転を行った状態を表示する例である。この場合も、カメの位置は表示領域510の中央である。
【0037】
実際に参照オブジェクトのカニおよびカメの表示を参照しながら、パネル530のボタンを操作してウォークスルーを行なっていくと、カニおよびカメの互いの位置および姿勢の相対的な関係は変化していく。カメは任意の回転をするから、カメの視点では、通常の場合、カニをすぐに見失う。一方、カニはカメの方を見ながら、その周辺を回転するから、カニの視点では、カメは常に見えてはいる。しかし、両参照オブジェクトの回転により、カニとカメの姿勢は必ずしも一致しない。カメの視点を制御する場合、カニとカメの姿勢が一致しないと不都合な場合がある。また、現在のカメが見ている視点でカニで見てみたい、という要求も出て来る。
【0038】
このような場面に対応するために用意されているのが、図4に示すパネル540の右下にある小さなボタン430である。これは、参照オブジェクトの回転についてのショートカット機能を与える。ボタン410がカメの場合、ボタン430にはカニが表示されている。この時、ボタン430を押すと、カメは、カニの姿勢とz方向が反転した姿勢、すなわち、カニに面した姿勢へと、まず回転する。以降、ショートカットボタン430を連続してクリック操作するとz方向の反転に伴う回転が順次起きる。一方、ボタン410がカニの場合、ボタン430にはカメが表示されている。この時、ボタン430を押すと、カニは、カメの姿勢と全く一致した姿勢へと回転する。カニは、カメを中心とする公転運動をするように回転する。実際には、これは、カメの後側に回り込むような運動となる。連続してショートカットボタン430をクリック操作すると、カメの場合と同様、z方向の反転が起き、カメの前あるいは後に回り込むような動作をカニは行なう。
【0039】
なお、これらの回転運動は、すべて、1軸を中心とした連続的な回転運動として実現されている。その際の回転軸および回転角の導出は、クライアントプログラムの側で行なっている。
【0040】
参照オブジェクトのカメのみが持つ機能としては、画像へのジャンプ機能がある。ユーザは、表示領域510中の任意の画像をクリックすることによって、この画像の位置へとカメを飛ばすことができる。カニは、このカメの跳躍に追随する。この機能によって、ユーザは、見たい画像に容易に近づくことができる。
【0041】
図14は、パネル540のボタン410をカメとして、カメ前進用矢印ボタン420を押した場合の参照オブジェクトのカメの動きを制御する処理の流れを示すフローチャートである。その他の参照オブジェクトの種々の動きの制御も同様であり、説明は省略する。
【0042】
ユーザがカメ前進用矢印ボタンを押した後、マウスボタンを押すと、GUIクライアントのマウス押下イベント処理が実行される。GUIクライアントは、可視化サーバより、現在のカメの姿勢行列を取得する。可視化サーバには、可視化空間に表示するための各種のデータが保存されている。移動ベクトルは、得られた姿勢行列のz方向ベクトルに、マウスボタンの選択に応じた移動速度を乗じたものとなる。押下イベント処理の最後で、時間割り込みが開始されている。以降、ユーザがマウスボタンを放すまで、一定時間単位の時間割り込みが発生する。
【0043】
各時間割り込イベント処理においては、GUIクライアントから可視化サーバへ両参照オブジェクトの並進移動のための命令が送信される。
【0044】
実施例2:仮想美術館のウォークスルー
本実施例は、仮想3次元的空間中に構築された美術館をブラウジングするシステムである。
【0045】
本実施例では、首振り回転を行う参照オブジェクトAは参照オブジェクトBの分身としてユーザに理解されるように、ユーザインタフェイスを構成した。初期状態では、両者は、合体した状態にあり、ユーザの要求に応じて、分身が出現ないし消滅する。
【0046】
図15は、本実施例の参照オブジェクトのイメージを示した概念図である。参照オブジェクトBはユーザ自身を意味する本体1410であり、参照オブジェクトAは参照オブジェクトBの前方方向の位置にある分身1420である。本実施例では、ユーザは自分自身が仮想3次元的空間を浮遊しているような感覚を感じつつ、ウォークスルーを行うことができる。
【0047】
図16(a),(b)は、ユーザに表示される画像の例である。図16(a)では、参照オブジェクトA、Bが合体している状態の表示である。表示領域1510には、ユーザが自分自身の視点から見た美術館内の様子が表示されている。1511および1512は、ウォークスルー用のパネルである。図16(b)は、表示領域1510に参照オブジェクトAである分身1420が出現した際の表示例である。
【0048】
本実施例における回転機能、および、移動時のそれぞれの参照オブジェクトの制約については、実施例1の場合と同様で、本体1410が参照オブジェクトのカニ、分身1420が参照オブジェクトのカメに相当する。
【0049】
図17(a),(b)は、パネル1511の拡大図である。パネル中央のボタン1611は、視点切替え用のボタンで、本体の視点か、分身の視点かを切替える。図17(a)では、ボタン1611の表示は、現在の視点が、本体の視点であることを示す。一方、図17(b)では、ボタン1611の表示は、現在の視点が、分身のものであることを示す。両者が、合体した状態では、本体の視点のみが存在すると定義する。従って、視点の切替えは生じず、パネルの表示は、図17(a)の状態にある。ボタン1611の周囲の矢印ボタンは、(x,y)平面内での並行移動のためのボタンである。
【0050】
図18(a),(b)は、パネル1512の拡大図である。本パネルは、ボタン1711に示された制御対象の回転および前進および後退移動のためのパネルである。合体した状態では、制御対象は、常に分身となるよう定義されている。従って、制御対象の切替えは生じず、パネルの表示は、図18(a)の状態にある。分身の出現および消滅は、ボタン1712で行う。合体した状態で、ボタン1712を押すと、分身が出現し、初期状態では、予め設定されたある一定距離、その他の場合は、その直前に消滅が起きた時点での距離まで、分身は、本体の前方方向に進み、止まる。その時点での分身の姿勢方向は、本体と同一である。その後は、制御対象を、本体あるいは分身に切替えることが可能となる。制御対象が、分身で、かつ、本体と分身とが分離した状態の時に、ボタン1712を押すと、分身は、後ずさりするような形で本体に接近し、本体と同一位置といえる至近位置にまで至ると消滅する。その際の視点が、分身であった場合は、消滅に至る動作に対応した表示が行われた後、図17のパネル表示が、図17(b)から図17(a)に切り替わる。すなわち、視点は、本体の視点となる。一方、制御対象が、図18(b)に示すように、本体の場合、ボタン1712を押すと、本体が、分身の側に接近する形で、分身の消滅が起きる。この場合、消滅に至る動作に対応した表示が終了すると、図18のパネル表示が、図18(b)から図18(a)に変わる。すなわち、制御対象が、本体から分身へと切り替わる。
【0051】
上記のような基本機能に基づき、ユーザは、仮想的な美術舘の内部のウォークスルーを行う。内部のコンテンツ側に定義された機能として、美術館内の展示物をクリックすると、分身が、その展示物の中心へと移動する機能がある。その時点で、本体と分身とが合体した状態の場合は、分身の出現が生ずる。図19は、その際に、ユーザが抱くイメージを示した概念図である。ユーザ自身1410が眺めている美術品1810に、分身1420が吸い込まれていくような感覚をユーザが感じるように、表示は行われる。その後、ユーザは美術品1810の周辺を回転して眺めることができる。
【0052】
実施例3:画像検索における情報空間の分身を用いたウォークスルー
本実施例は、実施例1の画像検索システムにおいて、実施例2のウォークスルー方法を用いたものである。システム構成は、図1に示した実施例1のシステムと同一である。画面表示は、図5に示した実施例1の仮想3次元的空間の表示領域の表示と基本的には同一である。ただし、パネル530、540は、図16に示したパネル1511、1512に置換されたものとなる。本実施例のウォークスルー機能は、図18のパネルのボタン1712の機能が異なる点を除き、基本的には実施例2と同一である。
【0053】
本実施例では、ボタン1712は、スイッチ形式ではなく、他の矢印ボタンと同様、ボタンを押し続けることによって、所望の動作が生じる。
【0054】
本体と分身が合体した状態(パネルの表示は図18(a))で、ボタン1712を押すと、分身の分離が生じ、その後、ボタン1712が押されている間、前方方向に分身は前進する。ボタンを離すと、分身の前進は停止する。
【0055】
分身が分離した状態で、かつ、制御対象が分身の場合(パネルの表示は同じく図18(a))、ボタン1712を押すと、分身は、本体の姿勢と一致した姿勢に回転した上で、後退する形で、本体に向かって接近してくる。ボタンを離すまで、この接近は持続し、両者の位置が同一と判定されると、分身は消滅する。両者の位置が同一と判定される以前にボタンが離された場合、分身は、本体に近づいただけで、消滅はしない。
【0056】
分身が分離した状態で、かつ、制御対象が本体の場合(パネルの表示は図18(b)、ボタン1712を押すと、まず、本体が、分身を中心に公転するような形式で回転し、分身と同一の姿勢となる。この間の動作は、実施例1のカニにおける図4のパネル540のボタン430を押した場合の動作と同一である。その後、ボタン1712が押され続けると、本体は、分身に接近していく。両者の位置が同一と判定されると、分身は消滅する。両者の位置が同一と判定される以前にボタンが離された場合、分身の消滅は生じない。
【0057】
実施例4:ボタンを備えた外部入力装置を用いたシステム
本実施例では、画面上のパネルの代わりに、外部入力装置を用いて、ウォークスルーを行う。
【0058】
図20は、本実施例のシステムの構成図である。1910は検索サーバ、1920は可視化サーバであり、1930は特徴量DB、1940は画像DB、1950は外部入力装置である。ここで、可視化サーバ1920および外部入力装置1950を除くと、実施例1の検索サーバ110と同一のプログラム、特徴量DB 140、画像DB 150と同一のデータで実施できる。本システムのユーザインタフェイスは、可視化サーバ1920のみによって管理される。可視化サーバ1920は、ユーザからの入力を外部入力装置1950から取得する。
【0059】
図21は、本実施例の表示例である。可視化サーバ1920は、仮想3次元的可視化空間の内の表示領域2010内に散布されている大小の四角で示す小画像群に加え、検索キー画像の一覧を表示するパネル2020および現在の視点を示す小画像2030を表示する。これらは、それぞれ実施例1における図5に示すパネル520および図3に示すパネル530のボタン310に対応するが、実施例1のシステムにおいてGUIクライアント130が表示したパネルとは異なり、パネル2020、2030は、観察者の目前に存在する板状の仮想3次元的オブジェクトとして表示される。ただし、表示位置は、あくまで観察者の視点との関係で定義されており、ウォークスルーを行っても、画面中の位置は変化しない。
【0060】
図22に、本実施例で用いる外部入力装置1950を示す。外部入力装置1950上には、8方向の自由度を持つカーソルボタン2100と、A、B、C、Dの4つのボタンが存在する。
【0061】
表示領域2010中でのキー画像の選択は、ボタンCを押して表示領域2010中にカーソルを表示させるとともにカーソルボタン2100で所望の画像をカーソルにより指定した後ボタンCを元に戻すことにより行う。任意の画像へのカメのジャンプは、ボタンDを押して表示領域2010中にカーソルを表示させるとともにカーソルボタン2100で所望の画像をカーソルにより指定した後ボタンDを元に戻すことにより行う。
【0062】
カニおよびカメ間での視点の切替えは、2つのボタンAとBを同時に押すことによって行われる。現在視点についての(x,y)平面上、ないしは、(x,z)平面上での並進移動は、カーソルボタン2100によって行う。(x,y)平面と(x,z)平面の切替えは、2つのボタンCとDを同時に押すことによって行われる。並進移動の仕方は、実施例1の図3と同様である。例えば、カニ視点での(x,z)平面上での並進移動では、まず、カメが、カニにとっての(x,z)平面上の指定された方向を向き、その後、カメが前進し、それをカニが追随する。
【0063】
ボタンAを押しながら、カーソルボタン2100を押し回転方向を指定すると、カニの回転運動が行われる。ボタンBを押しながら、カーソルボタン2100を押し回転方向を指定すると、カメの回転運動が行われる。回転運動の直後は、カーソルボタン2100は、上下のボタンのみが有効となり、回転を行った参照オブジェクトの前進および後退(z方向の並進移動)を行うことができる。単にボタンA、ないしは、ボタンBを押した場合も、同様で、それらのボタンが押された直後は、カーソルボタンは、対応する参照オブジェクト(Aならカニ、Bならカメ)の前進および後退用のボタンとなる。この前進および後退モードは、対応するボタンAないしBを再び押すことによって解除され、現在視点についての(x,y)平面上、ないしは、(x,z)平面上を並進移動するモードに戻る。
【0064】
図4のパネル540のボタン430に対応する、カニあるいはカメのショートカット機能については、カニのショートカット機能は、2つのボタンAとCを同時に押すことによって、カメのショートショートカット機能は、2つのボタンBとDを同時に押すことによって行われる。
【0065】
【発明の効果】
本発明によって、仮想3次元的表示における、視点中心の回転機能と対象中心の回転機能が、操作性のよいユーザインタフェイス上に統合することが可能となった。これによって、仮想3次元的空間を自由に動き回ることと、その空間中の対象物の概観を眺めることを、ユーザが、容易に行うことが可能となった。
【図面の簡単な説明】
【図1】実施例1のシステム構成を示すブロック図。
【図2】二つの参照オブジェクトの動きを具体的に説明するための概念図。
【図3】実施例1の参照オブジェクトの(xy)方向並進移動と視点切替えとを制御するためのパネルの主要部の拡大図。
【図4】実施例1の参照オブジェクトの回転および前進後退と制御対象の切替えとを制御するためのパネルの主要部の拡大図。
【図5】実施例1における表示領域およびパネルの表示例を示す図。
【図6】図5における参照オブジェクトの一つのカメを近くから見た場合の表示例を示す図。
【図7】図5における参照オブジェクトの他の一つのカニを近くから見た場合の表示例を示す図。
【図8】参照オブジェクトのカニの視点におけるx−y平面上での並進移動の一つの表示例を示す図。
【図9】参照オブジェクトのカニの視点におけるx−y平面上での並進移動の他の一つの表示例を示す図。
【図10】参照オブジェクトのカニの視点におけるx−y平面上での並進移動の他の一つの表示例を示す図。
【図11】参照オブジェクトのカメを中心とした参照オブジェクトのカニの右上方向への回転をカニの視線から見た場合の一つの表示例を示す図。
【図12】参照オブジェクトのカメを中心とした参照オブジェクトのカニの右上方向への回転をカニの視線から見た場合の他の一つの表示例を示す図。
【図13】参照オブジェクトのカメを中心とした参照オブジェクトのカニの右上方向への回転をカニの視線から見た場合の他の一つの表示例を示す図。
【図14】参照オブジェクトの動きの一部を示すフローチャート。
【図15】実施例2の参照オブジェクトのイメージを示す概念図。
【図16】(a)および(b)は実施例2においてユーザに表示される仮想3次元的表示領域の画像の例を示す概念図およびこの表示領域に参照オブジェクトの一つが表示されたときの仮想3次元的表示領域の画像の例を示す概念図。
【図17】(a),(b)は、図16の画像に表れたパネルの一つを説明するためのの拡大図。
【図18】(a),(b)は、図16の画像に表れたパネルの他の一つを説明するためのの拡大図。
【図19】実施例2における参照オブジェクトの操作による参照オブジェクトの表示のイメージの概念図。
【図20】実施例4のシステム構成を示すブロック図。
【図21】実施例4における表示領域およびパネルの表示例を示す図。
【図22】実施例4におけるユーザの操作用の外部入力装置の構成の一例を示す図。
【符号の説明】
110:検索サーバ、120:可視化サーバ、130:GUIクライアント、140:画像特徴量データベース、150:画像データベース、310:視点の切替えボタン、320:参照オブジェクトの表示および非表示の切替えボタン、330:参照オブジェクト位置のリセットボタン、410:制御対象の参照オブジェクトの切替えボタン、410,420:参照オブジェクトの前進、後退ボタン、430:ショートカット用ボタン、510:表示領域、520:検索キー画像の集合、530:図3のウォークスルー用パネル、540:図4のウォークスルー用パネル、1410:参照オブジェクトであるユーザ自身のイメージ、1420:参照オブジェクトである分身のイメージ、1510:表示領域、1511:図17のウォークスルー用パネル、1512:図18のウォークスルー用パネル、1611:視点切替えボタン、1711:制御対象切替えボタン、1712:分身出現および消滅ボタン、1810:仮想的美術品、1910:検索サーバ、1920:可視化サーバ、1930:画像特徴量データベース、1940:画像データベース、1950:外部入力装置、2010:表示領域、2020:キー画像が表示されるパネル、2030:現在の視点の表示、2100:カーソルボタン、A,B,CおよびD:ボタン。
Claims (9)
- 仮想3次元的空間に表示されるためのオブジェクトのデータと、該仮想3次元的空間中に表示される二つの参照オブジェクトAとBのデータと、前記表示された参照オブジェクトを制御するためのパネルと、前記オブジェクトを表示する為の表示手段とを備えるシステムのオブジェクト表示方法であって、前記パネルは 前記参照オブジェクトAを仮想3次元的空間中において動き回らせる機能と、
前記参照オブジェクトAを仮想3次元的空間中において移動させたとき該参照オブジェクトAとの相対的関係を維持しながら前記参照オブジェクトBを並進移動させる機能と、
前記参照オブジェクトBを前記参照オブジェクトAの内部に定義された原点を中心に回転させる機能と、
前記参照オブジェクトBの回転半径を変える機能と、
仮想3次元的空間に表示されるオブジェクトの表示内容を、前記参照オブジェクトAの視点からの表示と前記参照オブジェクトBの視点からの表示との間で切替える機能とを有し、
前記パネルの表示の操作によって前記オブジェクトの所望の部分を前記表示手段に表示させることを特徴とする仮想3次元的空間におけるオブジェクト表示方法。 - 前記オブジェクトの制御をするためのパネルが前記仮想3次元的空間に表示されるオブジェクトと合わせて前記表示手段に表示される請求項1記載の仮想3次元的空間におけるオブジェクト表示方法。
- 前記オブジェクトの制御をするためのパネルが、前記システムに接続され、選択的に操作される複数の操作ボタンを有する外部入力装置である請求項1記載の仮想3次元的空間におけるオブジェクト表示方法。
- 前記参照オブジェクトの制御をするためのパネルが、前記二つの参照オブジェクトの姿勢を合わせるための機能を備える請求項1記載の仮想3次元的空間におけるオブジェクト表示方法。
- 仮想3次元的空間に表示されるためのオブジェクトのデータと、該仮想3次元的空間中に表示される二つの参照オブジェクトAとBのデータと、前記表示された参照オブジェクトを制御するためのパネルと、前記オブジェクトを表示する為の表示手段とを備えるシステムのオブジェクト表示方法であって、前記参照オブジェクトAと前記参照オブジェクトBとは合体あるいは分離して前記仮想3次元的空間中に表示され、前記パネルは、
前記参照オブジェクトAと前記参照オブジェクトBとの合体および分離を指示する機能と、
前記参照オブジェクトAを仮想3次元的空間中において動き回らせる機能と、
前記参照オブジェクトAを仮想3次元的空間中において移動させたとき該参照オブジェクトAとの相対的関係を維持しながら前記参照オブジェクトBを並進移動させる機能と、
前記参照オブジェクトBを前記参照オブジェクトAの内部に定義された原点を中心に回転させる機能と、
参照オブジェクトBの回転半径を変える機能と、
仮想3次元的空間に表示されるオブジェクトの表示内容を、前記参照オブジェクトAの視点からの表示と前記参照オブジェクトBの視点からの表示との間で切替える機能とを有し、
前記参照オブジェクトAと前記参照オブジェクトBとが合体しているときはこれを前記参照オブジェクトAとして前記パネルにより制御するとともに、前記参照オブジェクトBの視点からの前記オブジェクトの見えを前記表示手段に表示し、前記パネルの操作によって前記オブジェクトの所望の部分を前記表示手段に表示させることを特徴とする仮想3次元的空間におけるオブジェクト表示方法。 - 前記パネルは前記参照オブジェクトAと前記参照オブジェクトBとの合体および分離を指示する機能を実現するボタンを有し、前記参照オブジェクトA,Bが合体した状態で該ボタンを押し続けると前記参照オブジェクトAと前記参照オブジェクトBとが分離して前記参照オブジェクトAが前進し、前記参照オブジェクトA,Bが分離した状態で該ボタンを押し続けると前記参照オブジェクトAと前記参照オブジェクトBとが近づくとともに所定の近さまで接近したとき前記参照オブジェクトA,Bが合体する請求項5記載の仮想3次元的空間におけるオブジェクト表示方法。
- 仮想3次元的空間に表示されるためのオブジェクトのデータと、該仮想3次元的空間中に表示される二つの参照オブジェクトAとBのデータと、前記表示された参照オブジェクトを制御するためのパネルと、前記オブジェクトを表示する為の表示手段とを備えるシステムのオブジェクト表示方法を実行するためのプログラムを記憶した記憶媒体であって、前記記憶媒体は
前記参照オブジェクトAを仮想3次元的空間中において動き回らせる機能と、
前記参照オブジェクトAを仮想3次元的空間中において移動させたとき該参照オブジェクトAとの相対的関係を維持しながら前記参照オブジェクトBを並進移動させる機能と、
前記参照オブジェクトBを前記参照オブジェクトAの内部に定義された原点を中心に回転させる機能と、
前記参照オブジェクトBの回転半径を変える機能と、
仮想3次元的空間に表示されるオブジェクトの表示内容を、前記参照オブジェクトAの視点からの表示と前記参照オブジェクトBの視点からの表示との間で切替える機能と、
を実行するプログラムを備え、前記パネルの表示の操作によって前記オブジェクトの所望の部分を前記表示手段に表示させることを特徴とする仮想3次元的空間におけるオブジェクト表示方法を実行するためのプログラムを記憶した記憶媒体。 - 仮想3次元的空間に表示されるためのオブジェクトのデータと、該仮想3次元的空間中に表示される二つの参照オブジェクトAとBのデータと、前記表示された参照オブジェクトを制御するためのパネルと、前記オブジェクトを表示する為の表示手段とを備えるシステムのオブジェクト表示方法を実行するためのプログラムを記憶した記憶媒体であって、前記参照オブジェクトAと前記参照オブジェクトBとは合体あるいは分離して前記仮想3次元的空間中に表示され、前記パネルは、
前記参照オブジェクトAと前記参照オブジェクトBとの合体および分離を指示する機能と、
前記参照オブジェクトAを仮想3次元的空間中において動き回らせる機能と、
前記参照オブジェクトAを仮想3次元的空間中において移動させたとき該参照オブジェクトAとの相対的関係を維持しながら前記参照オブジェクトBを並進移動させる機能と、
前記参照オブジェクトBを前記参照オブジェクトAの内部に定義された原点を中心に回転させる機能と、
参照オブジェクトBの回転半径を変える機能と、
仮想3次元的空間に表示されるオブジェクトの表示内容を、前記参照オブジェクトAの視点からの表示と前記参照オブジェクトBの視点からの表示との間で切替える機能とを有し、
前記参照オブジェクトAと前記参照オブジェクトBとが合体しているときはこれを前記参照オブジェクトAとして前記パネルにより制御するとともに、前記参照オブジェクトBの視点からの前記オブジェクトの見えを前記表示手段に表示させる操作を実行するプログラムを備え、前記パネルの操作によって前記オブジェクトの所望の部分を前記表示手段に表示することを特徴とする仮想3次元的空間におけるオブジェクト表示方法を実行するためのプログラムを記憶した記憶媒体。 - 前記パネルは前記参照オブジェクトAと前記参照オブジェクトBとの合体および分離を指示する機能を実現するボタンを有し、前記参照オブジェクトA,Bが合体した状態で該ボタンを押し続けると前記参照オブジェクトAと前記参照オブジェクトBとが分離して前記参照オブジェクトAが前進し、前記参照オブジェクトA,Bが分離した状態で該ボタンを押し続けると前記参照オブジェクトAと前記参照オブジェクトBとが近づくとともに所定の近さまで接近したとき前記参照オブジェクトA,Bが合体する請求項8記載の仮想3次元的空間におけるオブジェクト表示方法を実行するためのプログラムを記憶した記憶媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000010141A JP3887136B2 (ja) | 2000-01-14 | 2000-01-14 | 仮想3次元的空間におけるオブジェクト表示方法および表示プログラムを記録した媒体 |
US09/759,246 US6760030B2 (en) | 2000-01-14 | 2001-01-16 | Method of displaying objects in a virtual 3-dimensional space |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000010141A JP3887136B2 (ja) | 2000-01-14 | 2000-01-14 | 仮想3次元的空間におけるオブジェクト表示方法および表示プログラムを記録した媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001195611A JP2001195611A (ja) | 2001-07-19 |
JP3887136B2 true JP3887136B2 (ja) | 2007-02-28 |
Family
ID=18538187
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000010141A Expired - Fee Related JP3887136B2 (ja) | 2000-01-14 | 2000-01-14 | 仮想3次元的空間におけるオブジェクト表示方法および表示プログラムを記録した媒体 |
Country Status (2)
Country | Link |
---|---|
US (1) | US6760030B2 (ja) |
JP (1) | JP3887136B2 (ja) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002312694A (ja) * | 2001-01-24 | 2002-10-25 | Sony Computer Entertainment Inc | 電子商取引システム、商品購入支援装置及び方法 |
JP2004185259A (ja) * | 2002-12-03 | 2004-07-02 | Renesas Technology Corp | 蓄積画像管理装置及びプログラム |
US10151599B1 (en) * | 2003-03-13 | 2018-12-11 | Pamala Meador | Interactive virtual reality tour |
US7932909B2 (en) * | 2004-04-16 | 2011-04-26 | Apple Inc. | User interface for controlling three-dimensional animation of an object |
US20050231512A1 (en) * | 2004-04-16 | 2005-10-20 | Niles Gregory E | Animation of an object using behaviors |
RU2007101498A (ru) * | 2004-06-17 | 2008-07-27 | Лего А/С (Dk) | Автоматическое генерирование инструкций для построения моделей из стандартных блоков |
US7411590B1 (en) * | 2004-08-09 | 2008-08-12 | Apple Inc. | Multimedia file format |
WO2006058292A2 (en) * | 2004-11-29 | 2006-06-01 | Purdue Research Foundation | Methods for retrieving shapes and drawings |
US20070156664A1 (en) * | 2005-07-06 | 2007-07-05 | Gemini Mobile Technologies, Inc. | Automatic user matching in an online environment |
US20070162862A1 (en) * | 2005-07-06 | 2007-07-12 | Gemini Mobile Technologies, Inc. | Selective user monitoring in an online environment |
US20070011617A1 (en) * | 2005-07-06 | 2007-01-11 | Mitsunori Akagawa | Three-dimensional graphical user interface |
US7817150B2 (en) * | 2005-09-30 | 2010-10-19 | Rockwell Automation Technologies, Inc. | Three-dimensional immersive system for representing an automation control environment |
KR100791287B1 (ko) * | 2005-10-26 | 2008-01-04 | 삼성전자주식회사 | 그래픽 객체의 3차원 동작을 제어하는 장치 및 방법 |
JP2007304667A (ja) * | 2006-05-08 | 2007-11-22 | Sony Computer Entertainment Inc | ユーザインタフェース装置、ユーザインタフェース方法及びプログラム |
CN102760308B (zh) * | 2012-05-25 | 2014-12-03 | 任伟峰 | 一种点选三维虚拟现实场景中物体的方法和装置 |
CN106408507B (zh) * | 2015-07-29 | 2020-05-05 | 北京金山安全软件有限公司 | 一种组合图片的布局编辑方法、装置及终端 |
EP4321974A1 (en) * | 2022-08-11 | 2024-02-14 | Meta Platforms Technologies, LLC | Gesture locomotion in an artifical reality environment |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5764241A (en) * | 1995-11-30 | 1998-06-09 | Microsoft Corporation | Method and system for modeling and presenting integrated media with a declarative modeling language for representing reactive behavior |
CN1133955C (zh) * | 1995-12-07 | 2004-01-07 | 世雅企业股份有限公司 | 图象产生装置,图像产生方法及应用它们的游戏机 |
US6377263B1 (en) * | 1997-07-07 | 2002-04-23 | Aesthetic Solutions | Intelligent software components for virtual worlds |
US6307562B1 (en) * | 1999-03-15 | 2001-10-23 | Sun Microsystems, Inc. | Graphical interface with event horizon |
-
2000
- 2000-01-14 JP JP2000010141A patent/JP3887136B2/ja not_active Expired - Fee Related
-
2001
- 2001-01-16 US US09/759,246 patent/US6760030B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US20010009418A1 (en) | 2001-07-26 |
US6760030B2 (en) | 2004-07-06 |
JP2001195611A (ja) | 2001-07-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3887136B2 (ja) | 仮想3次元的空間におけるオブジェクト表示方法および表示プログラムを記録した媒体 | |
Grossman et al. | Multi-finger gestural interaction with 3d volumetric displays | |
KR100963238B1 (ko) | 개인화 및 협업을 위한 테이블탑-모바일 증강현실 시스템과증강현실을 이용한 상호작용방법 | |
US6091410A (en) | Avatar pointing mode | |
Leibe et al. | The perceptive workbench: Toward spontaneous and natural interaction in semi-immersive virtual environments | |
Rekimoto | Transvision: A hand-held augmented reality system for collaborative design | |
US6981229B1 (en) | System for dynamically mapping input device movement as a user's viewpoint changes | |
CN108762482B (zh) | 一种大屏幕和增强现实眼镜间数据交互方法和*** | |
Stuerzlinger et al. | The value of constraints for 3D user interfaces | |
Kok et al. | A multimodal virtual reality interface for 3D interaction with VTK | |
CN111158469A (zh) | 视角切换方法、装置、终端设备及存储介质 | |
Leibe et al. | Toward spontaneous interaction with the perceptive workbench | |
EP3262505B1 (en) | Interactive system control apparatus and method | |
JPH0785312A (ja) | 3次元動画作成装置 | |
CN106468917B (zh) | 一种可触摸现场实时视频图像的远程呈现交互方法和*** | |
Piekarski et al. | Tinmith-hand: Unified user interface technology for mobile outdoor augmented reality and indoor virtual reality | |
Lee et al. | Tunnelslice: Freehand subspace acquisition using an egocentric tunnel for wearable augmented reality | |
Kiyokawa et al. | A tunnel window and its variations: Seamless teleportation techniques in a virtual environment | |
CN107728811A (zh) | 界面操控方法、装置及*** | |
Hirose et al. | Interactive reconfiguration techniques of reference frame hierarchy in the multi-viewport interface | |
Nivedha et al. | Enhancing user experience through physical interaction in handheld augmented reality | |
GB2535730A (en) | Interactive system control apparatus and method | |
Park et al. | 3D Gesture-based view manipulator for large scale entity model review | |
Schkolne et al. | Tangible+ virtual a flexible 3d interface for spatial construction applied to dna | |
JP2001291119A (ja) | ユーザインタフェース制御装置およびユーザインタフェース制御方法、並びにプログラム提供媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060822 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060926 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20060926 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061121 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061124 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101201 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111201 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121201 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131201 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |