JP2015515075A - 3次元グラフィックユーザインターフェイス - Google Patents

3次元グラフィックユーザインターフェイス Download PDF

Info

Publication number
JP2015515075A
JP2015515075A JP2015507567A JP2015507567A JP2015515075A JP 2015515075 A JP2015515075 A JP 2015515075A JP 2015507567 A JP2015507567 A JP 2015507567A JP 2015507567 A JP2015507567 A JP 2015507567A JP 2015515075 A JP2015515075 A JP 2015515075A
Authority
JP
Japan
Prior art keywords
graphic
graphic object
display
objects
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015507567A
Other languages
English (en)
Other versions
JP6133972B2 (ja
Inventor
アシュリー コリー
アシュリー コリー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Oyj
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of JP2015515075A publication Critical patent/JP2015515075A/ja
Application granted granted Critical
Publication of JP6133972B2 publication Critical patent/JP6133972B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

装置が、少なくとも1つのプロセッサと、コンピュータプログラムコードを含む少なくとも1つのメモリとを備え、この少なくとも1つのメモリ及びコンピュータプログラムコードは、少なくとも1つのプロセッサと協働して、装置に、各々が表示時に関連する表示パラメータを有する複数のグラフィックオブジェクトの3次元配列を含む3次元グラフィックユーザインターフェイスのビューがタッチセンサ式ディスプレイ上に表示されるようにすること、関連する表示パラメータが所定の基準を満たす少なくとも1つのグラフィックオブジェクトを識別すること、及び識別された少なくとも1つのグラフィックオブジェクトに関して個別選択可能性を有効にすることで、各個別選択可能なグラフィックオブジェクトがタッチ入力によって選択可能になり、タッチ入力によってグラフィックオブジェクトを個別に選択すると、この選択されたグラフィックオブジェクトに関する動作が実行されるようにすることを行わせるように構成される。【選択図】 図6D

Description

本明細書は、一般に3次元グラフィックユーザインターフェイスを表示させることに関し、具体的には、タッチセンサ式装置上に3次元グラフィックユーザインターフェイスを表示させることに関する。
3次元(3D)グラフィックユーザインターフェイス(GUI)の1つの主な利点は、潜在的に2次元(2D)GUIよりも多くのグラフィック情報/オブジェクトを提示できる点である。現在では、ほとんどの3D GUIでの相互作用が、ゲーム機又はパーソナルコンピュータ(PC)を用いて行われている。これらの環境では、カーソル又は焦点を動かしてGUI内の極めて小さな可視項目を強調表示した後に、これらと相互作用することができる。これにより、全ての明らかに見える要素と直接的に相互作用することができる。しかしながら、タッチ画面での相互作用は異なる。タッチ入力によってオブジェクトと相互作用する場合、オブジェクトとの相互作用能力又はオブジェクトの選択能力は指のサイズによって制限される。3D GUIに含まれるオブジェクトは、小さすぎて正確に相互作用できないことがある。
本明細書では、第1の態様において、少なくとも1つのプロセッサと、コンピュータプログラムコードを含む少なくとも1つのメモリとを備えた装置であって、この少なくとも1つのメモリ及びコンピュータプログラムコードが、少なくとも1つのプロセッサと協働して、装置に、各々が表示時に関連する表示パラメータを有する複数のグラフィックオブジェクトの3次元配列を含む3次元グラフィックユーザインターフェイスのビューがタッチセンサ式ディスプレイ上に表示されるようにすること、関連する表示パラメータが所定の基準を満たす少なくとも1つのグラフィックオブジェクトを識別すること、及び識別された少なくとも1つのグラフィックオブジェクトに関して個別選択可能性を有効にすることで、各個別選択可能なグラフィックオブジェクトがタッチ入力によって選択可能になり、タッチ入力によってグラフィックオブジェクトを個別に選択すると、この選択されたグラフィックオブジェクトに関する動作が実行されるようにすることを行わせるように構成された装置について説明する。
少なくとも1つのメモリ及びコンピュータプログラムコードは、少なくとも1つのプロセッサと協働して、装置に、識別された少なくとも1つのグラフィックオブジェクトが個別に選択可能であることをユーザに示すようにグラフィックオブジェクトの外観を変更することを行わせるように構成することができる。少なくとも1つのメモリ及びコンピュータプログラムコードは、少なくとも1つのプロセッサと協働して、装置に、関連する表示パラメータが所定の基準を満たしていない複数のグラフィックオブジェクトを識別すること、及び関連する表示パラメータが所定の基準を満たしていない識別された複数のグラフィックオブジェクトをクラスタに移すことによってグラフィックオブジェクトの3次元配列を変更することを行わせるように構成することができる。少なくとも1つのメモリ及びコンピュータプログラムコードは、少なくとも1つのプロセッサと協働して、装置に、タッチ入力を介したクラスタの選択可能性を有効にすることを行わせるように構成することができる。少なくとも1つのメモリ及びコンピュータプログラムコードは、少なくとも1つのプロセッサと協働して、装置に、クラスタに関して受け取ったタッチ入力を示す信号を受け取ること、変更された3次元配列を見る地点を、クラスタ内のグラフィックオブジェクトの各々に関連する表示パラメータが所定の基準を満たすまで変更することによって応答すること、及びクラスタ内のグラフィックオブジェクトの各々の個別選択可能性を有効にすることを行わせるように構成することができる。
少なくとも1つのメモリ及びコンピュータプログラムコードは、少なくとも1つのプロセッサと協働して、装置に、表示パラメータが所定の基準を満たしていないグラフィックオブジェクトの各々に関連するハンドルを表示して、このハンドルの少なくとも一部に関連する表示パラメータが所定の基準を満たすようにすること、及び各グラフィックオブジェクトに関連するハンドルの選択可能性を有効にすることを行わせるように構成することができる。
少なくとも1つのメモリ及びコンピュータプログラムコードは、少なくとも1つのプロセッサと協働して、装置に、3次元グラフィックユーザインターフェイスを見る地点を変更するための要求を示す信号を受け取ること、3次元グラフィックユーザインターフェイスの変更されたビューをタッチセンサ式ディスプレイ上に表示させることによって応答すること、変更されたビューに関して相互作用メトリックを計算すること、及び3次元グラフィックユーザインターフェイス見る地点を自動的に調整することにより、又は複数のグラフィックオブジェクトの配置を調整することにより、相互作用メトリックを最適化することを行わせるように構成することができる。
少なくとも1つのメモリ及びコンピュータプログラムコードは、少なくとも1つのプロセッサと協働して、装置に、複数の調整された異なるビューにおける3次元グラフィックユーザインターフェイスの相互作用メトリック、又は複数の調整された異なる3次元配列の相互作用メトリックを計算すること、及び最も高い相互作用メトリックを有するビュー又は配列が表示されるようにすることを行わせるように構成することができる。
関連する表示パラメータは、グラフィックオブジェクトの表示サイズを含むことができる。或いは、関連する表示パラメータは、グラフィックオブジェクトのタッチセンサ式ディスプレイからの仮想距離を含む。
本明細書では、第2の態様において、各々が表示時に関連する表示パラメータを有する複数のグラフィックオブジェクトの3次元配列を含む3次元グラフィックユーザインターフェイスのビューがタッチセンサ式ディスプレイ上に表示されるようにするステップと、関連する表示パラメータが所定の基準を満たす少なくとも1つのグラフィックオブジェクトを識別するステップと、識別された少なくとも1つのグラフィックオブジェクトに関して個別選択可能性を有効にすることで、各個別選択可能なグラフィックオブジェクトがタッチ入力によって選択可能になり、タッチ入力によってグラフィックオブジェクトを個別に選択すると、この選択されたグラフィックオブジェクトに関する動作が実行されるようにするステップとを含む方法について説明する。
この方法は、識別された少なくとも1つのグラフィックオブジェクトが個別に選択可能であることをユーザに示すようにグラフィックオブジェクトの外観を変更するステップをさらに含むことができる。この方法は、関連する表示パラメータが所定の基準を満たしていない複数のグラフィックオブジェクトを識別するステップと、関連する表示パラメータが所定の基準を満たしていない識別された複数のグラフィックオブジェクトをクラスタに移すことによってグラフィックオブジェクトの3次元配列を変更するステップとをさらに含むことができる。この方法は、タッチ入力を介したクラスタの選択可能性を有効にするステップをさらに含むことができる。この方法は、クラスタに関して受け取ったタッチ入力を示す信号を受け取るステップと、変更された3次元配列を見る地点を、クラスタ内のグラフィックオブジェクトの各々に関連する表示パラメータが所定の基準を満たすまで変更することによって応答するステップと、クラスタ内のグラフィックオブジェクトの各々の個別選択可能性を有効にするステップとをさらに含むことができる。
この方法は、表示パラメータが所定の基準を満たしていないグラフィックオブジェクトの各々に関連するハンドルを表示して、このハンドルの少なくとも一部に関連する表示パラメータが所定の基準を満たすようにするステップと、各グラフィックオブジェクトに関連するハンドルの選択可能性を有効にするステップとをさらに含む。
この方法は、3次元グラフィックユーザインターフェイスを見る地点を変更するための要求を示す信号を受け取るステップと、3次元グラフィックユーザインターフェイスの変更されたビューをタッチセンサ式ディスプレイ上に表示させることによって応答するステップと、変更されたビューに関して相互作用メトリックを計算するステップと、3次元グラフィックユーザインターフェイス見る地点を自動的に調整することにより、又は複数のグラフィックオブジェクトの配置を調整することにより、相互作用メトリックを最適化するステップとをさらに含むことができる。
相互作用メトリックを最適化するステップは、複数の調整された異なるビューにおける3次元グラフィックユーザインターフェイスの相互作用メトリック、又は複数の調整された異なる3次元配列の相互作用メトリックを計算するステップと、最も高い相互作用メトリックを有するビュー又は配列が表示されるようにするステップとを含むことができる。
関連する表示パラメータは、グラフィックオブジェクトの表示サイズを含む。或いは、関連する表示パラメータは、グラフィックオブジェクトのタッチセンサ式ディスプレイからの仮想距離を含むことができる。
本明細書では、第3の態様において、コンピュータ可読命令を記憶する非一時的コンピュータ可読記憶媒体であって、コンピュータ可読命令が、少なくとも1つのプロセッサによって実行された時に、少なくとも1つのプロセッサに、各々が表示時に関連する表示パラメータを有する複数のグラフィックオブジェクトの3次元配列を含む3次元グラフィックユーザインターフェイスのビューがタッチセンサ式ディスプレイ上に表示されるようにすること、関連する表示パラメータが所定の基準を満たす少なくとも1つのグラフィックオブジェクトを識別すること、及び識別された少なくとも1つのグラフィックオブジェクトに関して個別選択可能性を有効にすることで、各個別選択可能なグラフィックオブジェクトがタッチ入力によって選択可能になり、タッチ入力によってグラフィックオブジェクトを個別に選択すると、この選択されたグラフィックオブジェクトに関する動作が実行されるようにすることを行わせるように構成された非一時的コンピュータ可読記憶媒体について説明する。
本明細書では、第4の態様において、コンピュータ装置によって実行された時に、第2の態様による方法をコンピュータ装置に実行させるコンピュータ可読コードについて説明する。
本明細書では、第5の態様において、表示時に関連する表示パラメータを各々が有する複数のグラフィックオブジェクトの3次元配列を含む3次元グラフィックユーザインターフェイスのビューがタッチセンサ式ディスプレイ上に表示されるようにする手段と、関連する表示パラメータが所定の基準を満たす少なくとも1つのグラフィックオブジェクトを識別する手段と、識別された少なくとも1つのグラフィックオブジェクトに関して個別選択可能性を有効にすることで、各個別選択可能なグラフィックオブジェクトがタッチ入力によって選択可能になり、タッチ入力によってグラフィックオブジェクトを個別に選択すると、この選択されたグラフィックオブジェクトに関する動作が実行されるようにする手段とを備えた装置について説明する。
本明細書は、第5の態様において、表示時に関連する表示パラメータを各々が有する複数のグラフィックオブジェクトの3次元配列を含む3次元グラフィックユーザインターフェイスのビューがタッチセンサ式ディスプレイ上に表示されるようにし、関連する表示パラメータが所定の基準を満たす少なくとも1つのグラフィックオブジェクトを識別し、識別された少なくとも1つのグラフィックオブジェクトに関して個別選択可能性を有効にすることで、各個別選択可能なグラフィックオブジェクトがタッチ入力によって選択可能になり、タッチ入力によってグラフィックオブジェクトを個別に選択すると、この選択されたグラフィックオブジェクトに関する動作が実行されるようにするように構成された装置について説明する。
ここで、より完全に実施形態例を理解できるように、添付図面に関連して行う以下の説明を参照する。
実施形態例による装置の概略図である。 タッチセンサ式装置上に表示される3D GUIを示す図である。 図2Aの3D GUIのグラフィックオブジェクトのタッチセンサ式ディスプレイからの仮想距離を示す概略図である。 異なる回転配向で表示した時の図2Aの3D GUIを示す図である。 図3Aの3D GUIのグラフィックオブジェクトのタッチセンサ式ディスプレイからの仮想距離を示す概略図である。 実施形態例による方法を示すフローチャートである。 図4の方法の様々なステップを示す図である。 図4の方法の様々なステップを示す図である。 図4の方法の様々なステップを示す図である。 図4の方法の様々なステップを示す図である。 図4の方法の様々なステップを示す図である。 図4の方法の様々なステップを示す図である。 図4の方法の様々なステップを示す図である。 3D GUI表示を最適化する方法例を示すフローチャートである。 図7の方法の態様を示すのに役立つ3D GUIのビューである。 図7の方法の態様を示すのに役立つ3D GUIのビューである。 3D GUI表示を最適化する別の方法例を示すフローチャートである。 図9の方法の態様を示すのに役立つ3D GUIのビューである。 図9の方法の態様を示すのに役立つ3D GUIのビューである。 実施形態例による3D GUIのビューの最適化を示す図である。 実施形態例による3D GUIのビューの最適化を示す図である。
説明及び図面では、全体を通じて同じ符号が同じ要素を示す。
図1は、実施形態例による装置1の概略図である。装置1は、コントローラ10、少なくとも1つの非一時的記憶媒体12及びタッチセンサ式ディスプレイ14を含む。コントローラ10は、少なくとも1つのプロセッサ10Aを含み、任意に1又はそれ以上の特定用途向け集積回路(図示せず)を含む。少なくとも1つのプロセッサ10Aは、メモリ12に記憶されたコンピュータ可読コード12Aを実行する。コントローラ10は、コンピュータ可読コード12Aの制御下でタッチセンサ式ディスプレイ14の出力を制御する。また、コントローラ10は、コンピュータ可読コード12Aの制御下で、タッチセンサ式ディスプレイ14において受け取ったタッチ入力に応答し、これに基づいて動作を実行させる。このような動作は、タッチセンサ式ディスプレイ14の出力を変更することを含む。また、コントローラ10は、少なくとも1つのメモリ12にデータが一時的又は恒久的に記憶されるようにする。
コントローラ10は、タッチセンサ式ディスプレイ14上に3D GUIが表示されるようにする。3D GUIは、ディスプレイ14上に提供される3D配列のグラフィックオブジェクトを含む。3D GUIは、3次元データモデルに基づき、複数のグラフィックオブジェクトを含む。グラフィックオブジェクトは、グラフィックデータの表現である。グラフィックデータは、3次元空間内におけるグラフィックオブジェクトの位置を定める関連する幾何学的データを有する。この幾何学的データは、例えば1組又はそれ以上のデカルト座標を含むことができる。表示される3D GUIの外観は、3D GUIを見る地点に依存する。従って、視点(「カメラ位置」又は「ビューポイント」とも呼ばれる)が変化すると3D GUIの外観も変化する。
コントローラ10は、タッチセンサ式ディスプレイ14上に多くの異なるビューポイントからの3D GUIが表示されるようにする。GUIを表示するビューポイントは、ユーザが1又はそれ以上のタッチ入力を介して選択又は変更することができる。いくつかの例では、3D GUIを3次元でナビゲートすることができる。例えば、スワイプ入力(すなわち、タッチセンサ式ディスプレイ14の表面に沿った一方向のユーザの指の動き)を用いて、このスワイプの動きの方向にビューポイントを動かすことができる。或いは、スワイプ入力を用いて、このスワイプの動きの方向に3D GUIを回転させることもできる。ピンチ入力(すなわち、タッチセンサ式ディスプレイ14上で2本の指を互いに近付けて動かすこと)を用いて、ビューポイントをディスプレイ14の内側方向に動かすこともできる。ピンチアウト入力(すなわち、タッチセンサ式ディスプレイ14上で2本の指を互いに離して動かすこと)を用いて、ビューポイントをディスプレイ14の外側方向に移動させることもできる。当然ながら、あらゆる好適なタイプのユーザ入力を用いて3D GUIをナビゲートできると理解されるであろう。
コントローラ10は、3D GUIを表示するビューポイントを自動的に変更することもできる。コントローラ10は、3D GUIを構成するグラフィックオブジェクトの相対的な位置を調整することによって3D GUIの外観を変更することもできる。
タッチセンサ式ディスプレイ14は、表示部分14Aと、タッチセンサ式ディスプレイ14に行われるタッチ入力を検出するように構成された部分14Bとを含む。表示部分14Aは、以下に限定されるわけではないが、LEDディスプレイパネル、LCDディスプレイパネル、電子インクディスプレイパネル、又はプラズマディスプレイパネルなどのいずれかの好適なディスプレイパネルを含むことができる。タッチ入力を検出するように構成された部分14Bは、いずれかの好適なタイプのものとすることができる。好適なタイプとしては、静電容量式タッチパネル及び抵抗式タッチパネルが挙げられる。
少なくとも1つの非一時的記憶媒体12は、以下に限定されるわけではないが、ROM、RAM及びフラッシュメモリなどのいずれかのタイプとすることができる。装置1は、複数の別個の記憶媒体を含み、これらの一部又は全部は異なるタイプとすることができる。
装置1は、タッチセンサ式装置の一部とすることができる。装置1を一部として含むことができるタッチセンサ式装置は、以下に限定されるわけではないが、携帯電話機、タブレットコンピュータ、ラップトップコンピュータ、デスクトップコンピュータ、携帯情報端末(PDA)、測位システム(例えば、GPS受信器)、及びポータブルメディアプレーヤを含むことができる。
図2Aに、図1の装置1を含むタッチセンサ式装置2の例を示す。この例では、装置2がポータブル装置であり、具体的には携帯電話機である。
図2Aでは、タッチセンサ式ディスプレイ14上に単純な3D GUI20が表示されている。この例では、3D GUI20が、第1のグラフィックオブジェクト〜第4のグラフィックオブジェクト20−1、20−2、20−3、20−4を含む。この例では、これらのグラフィックオブジェクトが球体20−1、20−2、20−3、20−4である。タッチセンサ式ディスプレイ14の平面から「さらに遠く」にある3D GUIのグラフィックオブジェクト20−1、20−2、20−3、20−4は、タッチセンサ式ディスプレイ14の平面に近いものよりも小さなサイズに見える。図2Aのビューでは、第1のグラフィックオブジェクト20−1が最もディスプレイ14の平面に近く、第2のグラフィックオブジェクト20−2が次に近く、第3のグラフィックオブジェクト20−3が3番目に近く、第4のグラフィックオブジェクト20−4が最もディスプレイ14の平面から離れている。タッチセンサ式ディスプレイ14の平面からのグラフィックオブジェクト20−1、20−2、20−3、20−4のそれぞれの距離を示す図2Bは、タッチセンサ式ディスプレイ14の平面に垂直な平面内のある地点において上方から見た時の3D GUIのグラフィックオブジェクトの仮想ビューである。タッチセンサ式ディスプレイ14の平面をPと表記した線で示しており、ユーザがGUIを見る方向をVで示す矢印によって示している。当然ながら、図2A及び図2Bは単なる一例であり、ディスプレイからの距離が異なるオブジェクトのサイズの違いは強調されていることもあると理解されるであろう。この例では、3D GUIを構成するグラフィックオブジェクト20−1、20−2、20−3、20−4の中心が全て同じ平面内に位置する。これは説明を容易にするためのものに過ぎず、必ずしもそうでない場合もある。
図3Aに、異なるビューポイントから見た時の図2Aの3D GUIを示す。この例では、グラフィックオブジェクト20−1、20−2、20−3、20−4の3D配列が時計方向に約60度回転している。このビューポイントの変化は、例えば左から右の方向に動かしたスワイプ入力に応答して生じることができる。図3Bから分かるように、今度は第2のグラフィックオブジェクト20−2がディスプレイ14の平面に最も近く、第3のグラフィックオブジェクト20−3が最も離れている。従って、図3Aでは、第2のグラフィックオブジェクト20−2が最も大きな表示領域を占め、第3のグラフィックオブジェクト20−3が最も小さな表示領域を占めている。ディスプレイ14の最も小さな領域を占めているグラフィックオブジェクトは、小さすぎてユーザが指で正確に選択できない可能性がある。
図4は、図1の装置1のコントローラ10が実行できる方法例を示すフローチャートである。
コントローラ10は、ステップS4−1において、3DグラフィックGUI20(GUI)のビューを表示させる。この3D GUIのビューは、メモリ12に記憶された3Dデータモデルに基づく。3D GUI20は、表示時に、3次元配列で提供される複数のグラフィックオブジェクト20−1、20−2、20−3、20−4を含む。各グラフィックオブジェクト20−1、20−2、20−3、20−4は、関連する表示パラメータを有する。いくつかの例では、この関連する表示パラメータが、ディスプレイ14上にグラフィックオブジェクトが表示されるサイズの尺度を含む。このサイズの尺度は、例えば、グラフィックオブジェクトを構成する画素数、グラフィックオブジェクトの最大長の尺度、又はグラフィックオブジェクトを表示するディスプレイ領域の尺度とすることができる。他の例では、この表示パラメータが、グラフィックオブジェクトがディスプレイ14上の平面から離れる「仮想距離」を含むことができる。この「仮想距離」は、グラフィックオブジェクトの「z距離」と呼ばれることもある。このz距離は、ディスプレイパネルに最も近いオブジェクトの部分から測定することができる。
次に、コントローラ10は、ステップS4−2において、関連する表示パラメータが所定の基準を満たすグラフィックオブジェクト20−1、20−2を識別する。この所定の基準は、関連する表示パラメータの性質に依存すると理解されるであろう。例えば、表示パラメータがグラフィックオブジェクトの表示サイズの尺度である例では、グラフィックオブジェクトの表示サイズが所定の閾値サイズよりも大きくなければならないことが所定の基準となる。好適な閾値サイズは、約8mmとすることができる。従って、いくつかの例では、ディスプレイ14上に表示した時に、関連する表示パラメータによって少なくとも1つの寸法が8mm以上であることが示されるグラフィックオブジェクト20−1、20−2のみがステップS4−2において識別される。いくつかの例では、グラフィックオブジェクトの少なくとも一部の2つの寸法(例えば、幅と長さ)が閾値サイズを上回らなければならないことを基準とすることができる。
表示パラメータが、グラフィックオブジェクト20−1、20−2、20−3、20−4とディスプレイ14の平面との間の仮想距離である例では、この距離が閾値距離よりも短くなければならないことが所定の基準となる。換言すれば、所定の基準を満たすためには、グラフィックオブジェクト20−1、20−2、20−3、20−4の少なくとも一部が、ディスプレイ14の平面と、ディスプレイ14の平面に平行であるとともにディスプレイ14の平面の後方閾値距離に存在する仮想閾値平面との間に位置しなければならない。
所定の基準を満たすグラフィックオブジェクト20−1、20−2、20−3、20−4を識別するステップS4−2は、各グラフィックオブジェクト20−1、20−2、20−3、20−4に関連する表示パラメータを閾値表示パラメータと比較するステップを含むことができる。関連する表示パラメータが、閾値パラメータの正しい側にあると判定された場合、そのグラフィックオブジェクトは所定の基準を満たすものとして識別される。
次に、コントローラ10は、ステップS4−3において、関連する表示パラメータが所定の基準を満たす各グラフィックオブジェクト20−1、20−2、20−3、20−4の個別選択可能性を有効にする。グラフィックオブジェクト20−1、20−2、20−3、20−4は、ディスプレイ14のグラフィックオブジェクトが提供されている位置に対して行われたタッチ入力と相互作用し、又はこのタッチ入力によって選択できる場合、個別選択が可能である。コントローラ10は、コンピュータ可読コード12Aの制御の下、選択されたグラフィックオブジェクトに関する動作を実行させることにより、その後のグラフィックオブジェクトの個別選択に応答する。
所定の基準を満たしていないグラフィックオブジェクトの個別選択可能性は有効にならない。従って、これらのグラフィックオブジェクトを個別に選択し、又はこれらと相互作用することはできない。換言すれば、コントローラ10は、コンピュータ可読コード12Aの制御の下、関連する表示パラメータが所定の基準を満たしていないグラフィックオブジェクトの個別の選択可能性を無効にするように構成される。
ステップS4−3の後、ユーザは、関連する表示パラメータが所定の基準を満たすグラフィックオブジェクトを選択し、又はこれらと相互作用することができる。小さすぎてユーザが正確に選択又は相互作用できないグラフィックオブジェクトは個別に選択することができない。これにより、ユーザがグラフィックオブジェクトを誤って選択する可能性が低下する。
図5A及び図5Bに、図4の方法の態様を示す。図5Aには、図2Aに示したものと同様の3D GUIのビューを示している。しかしながら、図5Aでは、個別選択可能な(すなわち、関連する表示パラメータが所定の基準を満たす)グラフィックオブジェクト20−1、20−2が太線で示されている。この例では、グラフィックオブジェクトの少なくとも一部が、表示された時に少なくとも8mm×8mmの寸法を有していなければならないことを基準とすることができる。或いは、(図2Bと同様の)図5Bに示すように、グラフィックオブジェクトの少なくとも一部が、ディスプレイ14Aから距離xだけ離れた仮想閾値平面の前方に存在しなければならないことを基準とすることもできる。図5Bには、この仮想平面をPTとして示している。
再び図4を参照すると、方法は、表示パラメータが所定の基準を満たすグラフィックオブジェクト20−1、20−2の個別選択可能性を有効にした後にステップS4−4に進む。コントローラ10は、ステップS4−4において、個別選択可能性が有効になっているグラフィックオブジェクトの外観を変更する。これらの外観を変更することにより、ユーザは、どのグラフィックオブジェクトを個別に選択し、又は相互作用できるかを判断できるようになる。グラフィックオブジェクトの外観は、あらゆる好適な方法で変更することができる。いくつかの例では、関連するパラメータが所定の基準を満たす3Dグラフィックオブジェクトを、ディスプレイ14の平面内の2次元(2D)オブジェクトとして表示又は描画することができる。この表示は、例えば、関連する3Dグラフィックオブジェクトを、予め記憶されているグラフィックオブジェクトの2D画像と置き換えることによって行うことができる。或いは、関連する3Dグラフィックオブジェクトを、オブジェクトの主要面又は一次面がディスプレイ画面の平面と平行になるまで回転させることもできる。これに加えて、又はこれとは別に、ステップS4−2で識別されたグラフィックオブジェクトに、オブジェクトを囲む光の輪又は(図5Aに示すような)単純な輪郭強調などの視覚的強調を与えることもできる。
次に、コントローラ10は、ステップS4−5において、個別選択可能性が有効になっていない1又はそれ以上のグラフィックオブジェクトの外観又は位置を修正又は変更する。例えば、図5Cに示すように、ステップS4−2で識別されなかったグラフィックオブジェクト(すなわち、第3及び第4のグラフィックオブジェクト20−3、20−4)を、ディスプレイ上の好適な位置においてクラスタ60にグループ化することができる。クラスタ60は、その全体的サイズが選択可能性の閾値サイズよりも大きくなるように構成される。従って、グラフィックオブジェクトの数が多いクラスタ内よりもグラフィックオブジェクトの数が少ないクラスタ内の方が、クラスタ60内のグラフィックオブジェクトの間隔を広くすることができる。例えば、他のグラフィックオブジェクトが表示されていない位置を好適な位置とすることができる。クラスタ60は、他のグラフィックオブジェクトから距離閾値よりも長い距離だけ離して配置することができる。所定の基準を満たしていないグラフィックオブジェクトの数が多い場合には、2又はそれ以上のクラスタ60を構成することもできる。複数のクラスタを形成する判断は、クラスタ60を形成する予定の全てのグラフィックオブジェクトの累積的な表示領域に基づくことができる。このような例では、2又はそれ以上のクラスタの各々が、選択可能性の閾値を上回る表示サイズを有する。これらの2又はそれ以上のクラスタを、より大きな単一のクラスタとして表示されるようにグループ化することができる。或いは、これらのクラスタを、ディスプレイの分散した領域に提供することもできる。所定の基準を満たさない全てのグラフィックオブジェクトをクラスタ内に移さなくてもよいと理解されるであろう。例えば、表示パラメータが第2の緩い基準を満たしておらず、従って非常に小さく表示されているグラフィックオブジェクトは、クラスタ内に移さなくてもよい。
他の例では、個別に選択できないグラフィックオブジェクト20−3、20−4の外観を修正することができる。例えば、図6Dに示すように、グラフィックオブジェクト20−2、20−3の外観を、相互作用ハンドル62を含むように修正することができる。相互作用ハンドル62は、個別選択可能性が有効になっていないグラフィックオブジェクト20−2、20−3に関連して表示される別のグラフィックオブジェクトである。相互作用ハンドル62は、この相互作用ハンドル62とグラフィックオブジェクト20−2、20−3とを視覚的にリンクさせることによってグラフィックオブジェクト20−2、20−3に関連付けることができる。相互作用ハンドルは、3D GUIの一部を成すものではなく、その場限りで描画することができる。相互作用ハンドル62は、ハンドル62の少なくとも一部に関連する表示パラメータ(例えば、表示サイズ又はz距離)が所定の選択可能性基準を満たすように構成される。
次に、コントローラ10は、ステップS4−6において、クラスタ60又は相互作用ハンドル62の選択可能性を有効にする。従って、ユーザは、ディスプレイ14上のクラスタ60又は相互作用ハンドル62が表示されている位置にタッチ入力を行うことによって、クラスタ60又は相互作用ハンドル62を選択することができる。いくつかの例では、コントローラ10が、クラスタ60又は相互作用ハンドル62を選択し、又はこれらと相互作用できることをユーザに示すように、クラスタ60又は相互作用ハンドル62の外観が修正されるようにすることができる。
次に、コントローラ10は、ステップS4−7において、個別に選択可能なグラフィックオブジェクト20−1、20−2の一方に関して、或いはステップS4−5において表示されたクラスタ60又は相互作用ハンドル62に関して行われた選択を示す信号をタッチセンサ式ディスプレイ14から受け取る。
次に、コントローラ10は、ステップS4−8において、選択されたグラフィックオブジェクト20−1、20−2、又はクラスタ60に関する動作を実行させる。ハンドル62が選択された場合、コントローラ10は、関連するグラフィックオブジェクトに関する動作を実行させることができる。
図6Eに、グラフィックオブジェクト20−1、20−2、又はグラフィックオブジェクト20−3、20−4に関連するハンドル62が選択された際に実行できる動作の例を示す。この例では、コントローラ10が、選択されたオブジェクトを単純に拡大している。しかしながら、選択されたグラフィックオブジェクトに関して多くの異なるタイプの動作を実行できると理解されるであろう。また、この動作は、グラフィックオブジェクトが表すデジタルオブジェクトのタイプに依存し得ると理解されるであろう。例えば、グラフィックオブジェクトがアプリケーションを表す場合、グラフィックオブジェクトを選択することによって関連するアプリケーションが実行されるようにすることができる。同様に、グラフィックオブジェクトがメディアファイルを表す場合、グラフィックオブジェクトを選択することによってユーザにメディアファイルが提示されるようにすることができる。
他の例では、ハンドル62が選択された場合、コントローラ10は、ハンドル62に関連するグラフィックオブジェクト20−3、20−4に関する動作を実行する代わりに、3D GUIのビューが、選択されたハンドル62に関連するグラフィックオブジェクト20−3、20−4が個別に選択可能になるビューに遷移するようにすることもできる。
ステップS4−8において、グラフィックオブジェクトのクラスタ60が選択されると、コントローラ10は、このクラスタ内のグラフィックオブジェクト20−3、20−4に関連する表示パラメータが所定の基準を満たすまで3D GUIのビューを修正する。いくつかの例では、コントローラ10が、3D GUIを最初の3D配列(ステップS4−5において修正される前)に戻すことができる。次に、コントローラ10は、クラスタからのグラフィックオブジェクト20−3、20−4に関連する表示パラメータが所定の基準を満たすまで、3D GUIを見る地点を変更することができる。その後、コントローラ10は、これらのオブジェクト20−3、20−4、及び関連する表示パラメータが所定の基準を満たす他のあらゆるグラフィックオブジェクトの個別選択可能性を有効にする。また、コントローラ10は、関連する表示パラメータがもはや所定の基準を満たしていないあらゆるグラフィックオブジェクトの個別選択可能性を無効にする。ステップS4−4〜S4−6は、3D GUIを見る地点が変更される毎に行うことができる。
図6Bには、クラスタ60が選択された後の3D GUIのビュー例を示す。コントローラ10は、第3及び第4のグラフィックオブジェクト20−3、20−4に関連する表示パラメータが所定の基準を満たすまで3D GUIを回転させることによって応答している。3D GUIを回転させることにより、第1及び第2のグラフィックオブジェクト20−1、20−2に関連する表示パラメータは、もはや基準を満たさなくなる。従って、コントローラ10は、これらの個別選択可能性を無効にすることができる。この時点で、これらのグラフィックオブジェクト20−1、20−2は、いずれも第3及び第4のグラフィックオブジェクトによって部分的に隠されている。例示を目的として、これらの位置を点線で示している。
図6Cには、他の例による、クラスタ60が選択された後の3D GUI20のビューを示す。この例では、コントローラ10が3D GUI20を最初の3D配列に戻していない。代わりに、コントローラ10は、クラスタ内のグラフィックオブジェクト20−3、20−4に関連する表示パラメータが所定の基準を満たすまで、変更された3D GUIのビューを変更する。図5Cの例では、コントローラ10が、変更された3D GUIを見る地点を直接クラスタに近付けている。しかしながら、他の例では、コントローラ10が、クラスタ60内のグラフィックオブジェクト20−3、20−4に関連する表示パラメータが所定の基準を満たすまで、変更された3D GUIのビューを回転又は別様に遷移させることができる。
上記の説明から、実施形態例では、個別に選択できないグラフィックオブジェクトをクラスタ化することにより、又は関連する選択可能なハンドル62を提供することにより、それまで選択可能でなかったグラフィックオブジェクトを選択し、又はこれらと相互作用するための簡単で時間効率の良い方法が装置のユーザに提供されると理解されるであろう。
図7は、実施形態例による、図1の装置1が行う動作を示すフローチャートである。以下の説明から理解されるように、図7の方法ステップは、図4の方法を補足することができる。図7の方法は、コントローラ10が、ユーザと3D GUIの間の相互作用が改善されるように3D GUIのビューを最適化できる方法の例である。
コントローラ10は、ステップS7−1において、タッチセンサ式ディスプレイ14を介して、3D GUI20を見る地点を変更するための命令を受け取る。この命令は、いずれかの好適なユーザ入力を用いて与えることができる。ステップS7−1は、例えば図4のステップS4−3、S4−4及びS4−6のいずれかの後に受け取ることができる。従って、タッチセンサ式ディスプレイ14上には、3D GUIの最初のビューが既に表示されている。
コントローラ10は、この受け取った命令に応答して、ステップS7−2において、ディスプレイ上に表示された3D GUI20のビューを、受け取った命令に基づく変化したビューに遷移させる。
次に、コントローラ10は、ステップS7−3において、現在ディスプレイ14A上に表示されている3D GUI20のビューに基づいて「相互作用メトリック」を計算して記憶する。この相互作用メトリックは、現在の視点から行われ得る3D GUI内のグラフィックオブジェクトとユーザとの相互作用の量の尺度である。相互作用メトリックは、ユーザが個別に選択できるグラフィックオブジェクト20−1、20−2、20−3、20−4の数と、これらのオブジェクトをどれほど容易に選択できるかについての尺度との組み合わせに基づくことができる。相互作用メトリックは、最小規定サイズを上回る個別選択可能領域を示すグラフィックオブジェクトの数と、提示される個別選択可能領域のサイズとの加重和に基づいて計算することができる。他の基準は、相互作用メトリックをいつ計算するかを考慮することもできる。これらの基準は、特定のタイプのグラフィックオブジェクトに対する優先的重み付け、及びディスプレイ上の2又はそれ以上の個別選択可能領域の近接性を含むことができる。相互作用メトリックは、現在のビューポイントにおけるグラフィックオブジェクト3D GUIのタッチ可能性レベルについての指示である。従って、相互作用メトリックは、タッチ可能性インジケータと呼ぶこともできる。
次に、ステップS7−4において、相互作用メトリックが所定の閾値(すなわち、許容レベル)を上回っているかどうかを判定する。相互作用メトリックが所定の閾値を上回っていると判定された場合、現在の3D GUI20のビューが維持されて、方法はステップS7−5及びS7−6に進む。ステップS7−5及びS7−6は、図4を参照しながら説明したステップS4−2及びS4−3と同じものであり、コントローラ10が、表示パラメータが基準を満たすグラフィックオブジェクトを識別し(ステップS4−2)、次にこれらのグラフィックオブジェクトの個別選択可能性を有効にする(ステップS4−3)。コントローラ10は、ステップS7−5及びS7−6を行った後、図4のステップS4−4〜S4−8と同等の動作を実行し続けることができる。
ステップS7−4において、相互作用メトリックが所定の閾値を下回っていると判定された場合、コントローラ10はステップS7−7に進む。コントローラ10は、ステップS7−7において、現在のビューから調整した後の3D GUI20のビューの相互作用メトリックを計算して記憶する。この調整した後のビューは、現在のビューから特定の方向に所定の距離だけ平行移動又は回転したビューである。
次に、コントローラ10は、ステップS7−8において、この方向の距離を増やすことによって調整したビューの相互作用メトリックを計算して記憶する。このステップを、コンピュータ可読コード12Aが定める回数だけ繰り返すことができる。
その後、コントローラ10は、ステップS7−9において、所定回数の異なる平行移動方向及び/又は回転方向にわたってS7−7及びステップS7−8を繰り返す。
次に、コントローラ10は、ステップS7−10において、最も高い相互作用メトリックを生じた調整後のビューを識別し、このビューに3D GUIを遷移させる。その後、コントローラ10は、ステップS7−5及びステップS7−6に進む。
当然ながら、実施形態例によっては、図7のステップを異なる順序で実行することもできると理解されるであろう。例えば、いくつかの例では、相互作用メトリックが所定の閾値を上回っているかどうかを判定するステップS7−4を、調整後のビューの相互作用メトリックが計算される毎に行うことができる。コントローラ10は、閾値を上回る相互作用メトリックを有するビューが識別され次第、3D GUIをこのビューに遷移させる。閾値を上回る相互作用メトリックを生じるビューが存在しない場合、コントローラ10は、最も高い相互作用メトリックを有するビューに3D GUIを遷移させる。
図8Aに、ユーザがビューの遷移を開始した後の3D GUIのビューの例を示す。この例では、各グラフィックオブジェクト20−5、20−6及び20−7が、関連する表示パラメータが所定の基準を満たしていないサイズで表示されている。このことは、閾値を下回る相互作用メトリックに反映される。この結果、図7の方法ステップS7−7〜S7−9後に、相互作用メトリックが最適になった調整後のビューが識別される。この最適なビューを図8Bで確認することができ、コントローラ10がグラフィックオブジェクト20−5、20−6、20−7の方向に視点を遷移させることによってもたらされる。この最適なビューでは、全てのグラフィックオブジェクトに関連する表示パラメータが所定の基準を満たす。従って、コントローラ10は、3つのグラフィックオブジェクト20−5、20−6、20−7全てに関して個別選択可能性を有効にする。
図9は、3D GUIに関連する相互作用メトリックを最適化するための別の方法例を示すフローチャートである。この方法は、重なり合ったグラフィックオブジェクト、及びユーザが各オブジェクトを正確に個別に選択できないほど近接するグラフィックオブジェクトの問題に対処するものである。
ステップS9−1〜S9−6は、図7のステップS7−1〜S7−6と実質的に同じものである。しかしながら、この方法例では、ステップS9−4において相互作用メトリックが閾値を下回っていると判定された後に、方法はステップS9−7に進み、コントローラ10が、重なり合ったオブジェクト、又は互いに近過ぎると考えられるオブジェクトを識別する。この識別は、各グラフィックオブジェクトに関連する表示位置情報に基づくことができる。
次に、コントローラ10は、ステップS9−8において、重なり合ったオブジェクト又は近接するオブジェクトを、これらの2D中心点間の線の方向に互いに引き離す。コントローラ10は、オブジェクトが距離閾値よりも離れたと判定されるまで、各グラフィックオブジェクトをこのように分離し続ける。当然ながら、各グラフィックオブジェクトの間隔を空けるための別のアルゴリズムを使用することもできると理解されるであろう。例えば、コントローラ10は、グラフィックオブジェクトを通る水平断面を取った後に、これらのグラフィックオブジェクト間の最も短い距離を測定することもできる。この結果、これらのオブジェクトが互いに水平方向にわずかに離れて動いた場合、コントローラ10は、オブジェクト間の最も短い距離を計算する。このステップを、計算した分離距離が閾値を上回るまで、水平移動の距離を徐々に増やしながら繰り返す。次に、コントローラ10は、この処理を垂直方向に(すなわち、垂直断面を取り、オブジェクトを垂直方向に引き離すことによって)繰り返す。その後、コントローラ10は、閾値分離距離に達するのに必要な移動が最も少ないのはどの方向であるかを判定し、ディスプレイ上のオブジェクトを閾値分離距離に達するまでこの方向に分離させる。
その後、方法はステップS9−5及びS9−6に進み、コントローラ10は、表示パラメータが基準を満たすグラフィックオブジェクトを識別し(ステップS9−5)、これらのグラフィックオブジェクトの個別選択可能性を有効にする(ステップS9−6)。
図9の方法の効果は、図10A及び図10Bで確認することができる。図10Aには、ユーザがビューの遷移を開始した直後の3D GUI20のビューを示す。図で分かるように、2つのグラフィックオブジェクト20−8、20−9が重なり合って表示されている。このことがステップS9−7において認識され、この結果、ステップS9−8において、これらの重なり合ったオブジェクトが互いに引き離される。この結果を図10Bで確認することができる。
当然ながら、図7及び図9の方法例は、互いに排他的でなくてもよいと理解されるであろう。例えば、図7のステップS7−10の後にステップS9−7及びS9−8を行うことができる。また、上述したように、図7及び/又は図9の方法を図4の方法に組み込むこともできる。
以下、図11A及び図11Bを参照しながら、相互作用メトリックをどのように計算できるかについての計算例を説明する。
図11Aには、ユーザの制御によってビューポイントが変化した直後の3D GUI表示を示す。この例では、3D GUIが、2つの平面的なグラフィックオブジェクト110、112を含む。第1のオブジェクト110は実線の輪郭を有し、第2のオブジェクト112は破線の輪郭を有する。図11Aでは、両オブジェクトの平面が、ディスプレイの平面に概ね平行である。
オブジェクト及びカメラに関するデカルト座標(x,y,z)は、以下の通りである。
− 第1のオブジェクト110=[−76,1571,162]、
− 第2のオブジェクト112=[−385,1798,1455]、
− カメラ位置=[−1043,1917,−4038]、
− カメラの関心点(すなわち、カメラが焦点を合わせる地点)=[−368,1588,289]。
x軸は水平であり、右から左に増加する。y軸は垂直であり、下から上に増加する。z軸はディスプレイの平面に垂直であり、近くから遠くに増加する。各グラフィックオブジェクト110、112は、同じオブジェクトサイズである。しかしながら、第2のオブジェクト112の方がディスプレイの平面から遠くに位置するので(すなわちz値が大きいので)小さく見える。両オブジェクトは、個別選択可能性が有効になる閾値を上回るサイズで表示されている。しかしながら、現在のビューでは、第1のオブジェクト110が第2のオブジェクト112のビューを部分的に隠している。両オブジェクトは同じ優先度(=1)を有する。
オブジェクトが示される表示領域の尺度は以下の通りである。
− 第1のオブジェクト領域=1156、
− 第2のオブジェクト領域=396。
いくつかの例では、以下の方程式を用いて相互作用メトリック(MI)を計算することができる(a、b、c及びAminは、特定の実装に応じて定められるパラメータである)。
I=a(可視領域を示す個別に選択可能なオブジェクトの数>Amin)+b(最も小さな可視領域)+c(優先度=1のオブジェクトの総表示領域)+d(隣接する個別に選択可能なオブジェクトの最も近い端部間の距離)。
この実装では、各パラメータを、a=800、b=1、c=0.1及びAmin=500と仮定する(注:場合によっては、Aminを個別選択可能性の閾値サイズとすることもできる)。従って、相互作用メトリックは以下のようになる。
I=800(1)+1(396)+0.1(1156+396)+100(0)=1351。
例えば、相互作用メトリックMIの閾値が4000である場合、図7のステップS7−4は否定的な判定を生じる。従って、コントローラ10は、次にステップS7−7〜S7−10に進み、より高い相互作用メトリックを有する(好ましくは閾値を超えた)ビューポイントを識別する。図11Bに、このようなビューポイントの例を示す。
図11Bでは、カメラが右に1181ユニットだけ移動している。従って、この時点でのカメラ位置の座標は、[−1043,1917,−4038]である。カメラ位置は変化しても関心点は変化しないので、2つのオブジェクト110、112の平面は、もはやディスプレイの平面に概ね平行ではない。従って、これらのオブジェクトはもはや矩形に見えず、わずかに傾斜して見える。2つのオブジェクトの可視領域は、以下の通りである。
− 第1のオブジェクト領域=900、
− 第2のオブジェクト領域=625。
この時点で、図11Bのビューの相互作用メトリックMIは、4000(=800(2)+1(625)+0.1(900+625)+100(2.5))であり、閾値を超えている。従って、コントローラは、ユーザによる3D GUIとの相互作用を容易にするこのビューポイントに3D GUIを遷移させる。
本明細書で説明した例は、タッチ画面装置内で多くの異なる形で使用されると理解されるであろう。これらの例を使用して、例えば、GUI内の各グラフィックオブジェクトが実行するアプリケーションを表すメニューシステムを提供することができる。これらの例を使用して、画像ファイル、ビデオファイル及び/又はオーディオファイルなどの、各グラフィックオブジェクトが1つの又は一群のコンテンツ項目を表すコンテンツ項目の閲覧を可能にすることもできる。他の用途では、本明細書における例をゲーム環境内で、例えば仮想世界コンピュータゲームの一部として使用することができる。当然ながら、本明細書で説明した例は、これらの特定の用途に限定されず、他の多くのシナリオで使用することもできると理解されるであろう。
当然ながら、上述の実施形態を限定的に解釈すべきではない。当業者には、本出願を読んだ時点で他の変形例及び修正例が明らかになるであろう。さらに、本出願の開示は、本明細書で明示的に又は非明示的に開示したあらゆる新規の特徴又は特徴のあらゆる新規の組み合わせ、或いはこれらのあらゆる一般化を含むものであると理解すべきであり、本出願又は本出願から派生するあらゆる出願の審査中に、あらゆるこのような特徴及び/又はこのような特徴の組み合わせを対象とするための新たな請求項を考案することもできる。
62 相互作用ハンドル
20−1、20−2、20−3、20−4 グラフィックオブジェクト

Claims (21)

  1. 少なくとも1つのプロセッサと、
    コンピュータプログラムコードを含む少なくとも1つのメモリと、
    を備えた装置であって、前記少なくとも1つのメモリ及びコンピュータプログラムコードは、前記少なくとも1つのプロセッサと協働して、前記装置に、
    各々が表示時に関連する表示パラメータを有する複数のグラフィックオブジェクトの3次元配列を含む3次元グラフィックユーザインターフェイスのビューがタッチセンサ式ディスプレイ上に表示されるようにすること、
    前記関連する表示パラメータが所定の基準を満たす少なくとも1つのグラフィックオブジェクトを識別すること、及び、
    前記識別された少なくとも1つのグラフィックオブジェクトに関して個別選択可能性を有効にすることで、各個別選択可能なグラフィックオブジェクトがタッチ入力によって選択可能になり、タッチ入力によってグラフィックオブジェクトを個別に選択すると、該選択されたグラフィックオブジェクトに関する動作が実行されるようにすること、
    を行わせるように構成される、ことを特徴とする装置。
  2. 前記少なくとも1つのメモリ及びコンピュータプログラムコードは、前記少なくとも1つのプロセッサと協働して、前記装置に、前記識別された少なくとも1つのグラフィックオブジェクトが個別に選択可能であることをユーザに示すように前記グラフィックオブジェクトの外観を変更することを行わせるように構成される、
    ことを特徴とする請求項1に記載の装置。
  3. 前記少なくとも1つのメモリ及びコンピュータプログラムコードは、前記少なくとも1つのプロセッサと協働して、前記装置に、
    前記関連する表示パラメータが前記所定の基準を満たしていない前記複数のグラフィックオブジェクトを識別すること、及び、
    前記関連する表示パラメータが前記所定の基準を満たしていない前記識別された複数のグラフィックオブジェクトをクラスタに移すことによって前記グラフィックオブジェクトの3次元配列を変更すること、
    を行わせるように構成される、ことを特徴とする請求項1又は2に記載の装置。
  4. 前記少なくとも1つのメモリ及びコンピュータプログラムコードは、前記少なくとも1つのプロセッサと協働して、前記装置に、タッチ入力を介した前記クラスタの選択可能性を有効にすることを行わせるように構成される、
    ことを特徴とする請求項3に記載の装置。
  5. 前記少なくとも1つのメモリ及びコンピュータプログラムコードは、前記少なくとも1つのプロセッサと協働して、前記装置に、
    前記クラスタに関して受け取ったタッチ入力を示す信号を受け取ること、
    前記変更された3次元配列を見る地点を、前記クラスタ内の前記グラフィックオブジェクトの各々に関連する前記表示パラメータが前記所定の基準を満たすまで変更することによって応答すること、及び、
    前記クラスタ内の前記グラフィックオブジェクトの各々の個別選択可能性を有効にすること、
    を行わせるように構成される、ことを特徴とする請求項4に記載の装置。
  6. 前記少なくとも1つのメモリ及びコンピュータプログラムコードは、前記少なくとも1つのプロセッサと協働して、前記装置に、
    前記表示パラメータが前記所定の基準を満たしていない前記グラフィックオブジェクトの各々に関連するハンドルを表示して、該ハンドルの少なくとも一部に関連する表示パラメータが前記所定の基準を満たすようにすること、及び、
    各グラフィックオブジェクトに関連する前記ハンドルの選択可能性を有効にすること、
    を行わせるように構成される、ことを特徴とする請求項1又は2に記載の装置。
  7. 前記少なくとも1つのメモリ及びコンピュータプログラムコードは、前記少なくとも1つのプロセッサと協働して、前記装置に、
    前記3次元グラフィックユーザインターフェイスを見る地点を変更するための要求を示す信号を受け取ること、
    前記3次元グラフィックユーザインターフェイスの変更されたビューを前記タッチセンサ式ディスプレイ上に表示させることによって応答すること、
    前記変更されたビューに関して相互作用メトリックを計算すること、及び、
    前記3次元グラフィックユーザインターフェイス見る地点を自動的に調整することにより、又は前記複数のグラフィックオブジェクトの配置を調整することにより、前記相互作用メトリックを最適化すること、
    を行わせるように構成される、ことを特徴とする請求項1又は2に記載の装置。
  8. 前記少なくとも1つのメモリ及びコンピュータプログラムコードは、前記少なくとも1つのプロセッサと協働して、前記装置に、
    複数の調整された異なるビューにおける前記3次元グラフィックユーザインターフェイスの相互作用メトリック、又は複数の調整された異なる3次元配列の相互作用メトリックを計算すること、及び、
    最も高い相互作用メトリックを有する前記ビュー又は配列が表示されるようにすること、
    を行わせるように構成される、ことを特徴とする請求項7に記載の装置。
  9. 前記関連する表示パラメータは、前記グラフィックオブジェクトの表示サイズを含む、
    ことを特徴とする請求項1から8のいずれかに記載の装置。
  10. 前記関連する表示パラメータは、前記グラフィックオブジェクトの前記タッチセンサ式ディスプレイからの仮想距離を含む、
    ことを特徴とする請求項1から8のいずれかに記載の装置。
  11. 各々が表示時に関連する表示パラメータを有する複数のグラフィックオブジェクトの3次元配列を含む3次元グラフィックユーザインターフェイスのビューがタッチセンサ式ディスプレイ上に表示されるようにするステップと、
    前記関連する表示パラメータが所定の基準を満たす少なくとも1つのグラフィックオブジェクトを識別するステップと、
    前記識別された少なくとも1つのグラフィックオブジェクトに関して個別選択可能性を有効にすることで、各個別選択可能なグラフィックオブジェクトがタッチ入力によって選択可能になり、タッチ入力によってグラフィックオブジェクトを個別に選択すると、該選択されたグラフィックオブジェクトに関する動作が実行されるようにするステップと、
    を含むことを特徴とする方法。
  12. 前記識別された少なくとも1つのグラフィックオブジェクトが個別に選択可能であることをユーザに示すように前記グラフィックオブジェクトの外観を変更するステップをさらに含む、
    ことを特徴とする請求項11に記載の方法。
  13. 前記関連する表示パラメータが前記所定の基準を満たしていない前記複数のグラフィックオブジェクトを識別するステップと、
    前記関連する表示パラメータが前記所定の基準を満たしていない前記識別された複数のグラフィックオブジェクトをクラスタに移すことによって前記グラフィックオブジェクトの3次元配列を変更するステップと、
    を含むことを特徴とする請求項11又は12に記載の方法。
  14. タッチ入力を介した前記クラスタの選択可能性を有効にするステップを含む、
    ことを特徴とする請求項13に記載の方法。
  15. 前記クラスタに関して受け取ったタッチ入力を示す信号を受け取るステップと、
    前記変更された3次元配列を見る地点を、前記クラスタ内の前記グラフィックオブジェクトの各々に関連する前記表示パラメータが前記所定の基準を満たすまで変更することによって応答するステップと、
    前記クラスタ内の前記グラフィックオブジェクトの各々の個別選択可能性を有効にするステップと、
    をさらに含むことを特徴とする請求項14に記載の方法。
  16. 前記表示パラメータが前記所定の基準を満たしていない前記グラフィックオブジェクトの各々に関連するハンドルを表示して、該ハンドルの少なくとも一部に関連する表示パラメータが前記所定の基準を満たすようにするステップと、
    各グラフィックオブジェクトに関連する前記ハンドルの選択可能性を有効にするステップと、
    を含むことを特徴とする請求項11又は12に記載の方法。
  17. 前記3次元グラフィックユーザインターフェイスを見る地点を変更するための要求を示す信号を受け取るステップと、
    前記3次元グラフィックユーザインターフェイスの変更されたビューを前記タッチセンサ式ディスプレイ上に表示させることによって応答するステップと、
    前記変更されたビューに関して相互作用メトリックを計算するステップと、
    前記3次元グラフィックユーザインターフェイス見る地点を自動的に調整することにより、又は前記複数のグラフィックオブジェクトの配置を調整することにより、前記相互作用メトリックを最適化するステップと、
    をさらに含むことを特徴とする請求項11又は12に記載の方法。
  18. 前記相互作用メトリックを最適化するステップは、
    複数の調整された異なるビューにおける前記3次元グラフィックユーザインターフェイスの相互作用メトリック、又は複数の調整された異なる3次元配列の相互作用メトリックを計算するステップと、
    最も高い相互作用メトリックを有する前記ビュー又は配列が表示されるようにするステップと、
    を含むことを特徴とする請求項17に記載の方法。
  19. 前記関連する表示パラメータは、前記グラフィックオブジェクトの表示サイズ、又は前記グラフィックオブジェクトの前記タッチセンサ式ディスプレイからの仮想距離を含む、
    ことを特徴とする請求項11から18のいずれかに記載の方法。
  20. コンピュータ可読命令を記憶する非一時的コンピュータ可読記憶媒体であって、前記コンピュータ可読命令は、少なくとも1つのプロセッサによって実行された時に、前記少なくとも1つのプロセッサに、
    各々が表示時に関連する表示パラメータを有する複数のグラフィックオブジェクトの3次元配列を含む3次元グラフィックユーザインターフェイスのビューがタッチセンサ式ディスプレイ上に表示されるようにすること、
    前記関連する表示パラメータが所定の基準を満たす少なくとも1つのグラフィックオブジェクトを識別すること、及び、
    前記識別された少なくとも1つのグラフィックオブジェクトに関して個別選択可能性を有効にすることで、各個別選択可能なグラフィックオブジェクトがタッチ入力によって選択可能になり、タッチ入力によってグラフィックオブジェクトを個別に選択すると、該選択されたグラフィックオブジェクトに関する動作が実行されるようにすること、
    を行わせるように構成される、ことを特徴とする非一時的コンピュータ可読記憶媒体。
  21. コンピュータ装置によって実行された時に、請求項11から19のいずれかに記載の方法を前記コンピュータ装置に実行させる、
    ことを特徴とするコンピュータ可読コード。
JP2015507567A 2012-04-25 2013-04-23 3次元グラフィックユーザインターフェイス Active JP6133972B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/455,669 US9904457B2 (en) 2012-04-25 2012-04-25 Causing display of a three dimensional graphical user interface with dynamic selectability of items
US13/455,669 2012-04-25
PCT/FI2013/050455 WO2013160551A1 (en) 2012-04-25 2013-04-23 Three dimensional graphical user interface

Publications (2)

Publication Number Publication Date
JP2015515075A true JP2015515075A (ja) 2015-05-21
JP6133972B2 JP6133972B2 (ja) 2017-05-24

Family

ID=48444419

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015507567A Active JP6133972B2 (ja) 2012-04-25 2013-04-23 3次元グラフィックユーザインターフェイス

Country Status (6)

Country Link
US (2) US9904457B2 (ja)
EP (1) EP2842024B1 (ja)
JP (1) JP6133972B2 (ja)
CN (1) CN108628533A (ja)
PL (1) PL2842024T3 (ja)
WO (1) WO2013160551A1 (ja)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE533704C2 (sv) 2008-12-05 2010-12-07 Flatfrog Lab Ab Pekkänslig apparat och förfarande för drivning av densamma
US10168835B2 (en) 2012-05-23 2019-01-01 Flatfrog Laboratories Ab Spatial resolution in touch displays
US9910527B2 (en) * 2013-02-15 2018-03-06 Flatfrog Laboratories Ab Interpretation of pressure based gesture
US10019113B2 (en) 2013-04-11 2018-07-10 Flatfrog Laboratories Ab Tomographic processing for touch detection
KR20140133353A (ko) * 2013-05-10 2014-11-19 삼성전자주식회사 디스플레이 장치 및 그 ui 화면 제공 방법
US9874978B2 (en) 2013-07-12 2018-01-23 Flatfrog Laboratories Ab Partial detect mode
US9244590B1 (en) * 2013-12-13 2016-01-26 Amazon Technologies, Inc. Three-dimensional navigation using a two-dimensional surface
US10146376B2 (en) 2014-01-16 2018-12-04 Flatfrog Laboratories Ab Light coupling in TIR-based optical touch systems
WO2015108480A1 (en) 2014-01-16 2015-07-23 Flatfrog Laboratories Ab Improvements in tir-based optical touch systems of projection-type
KR20150101915A (ko) * 2014-02-27 2015-09-04 삼성전자주식회사 3차원 gui 화면의 표시 방법 및 이를 수행하기 위한 디바이스
US10073604B2 (en) * 2014-05-15 2018-09-11 Oracle International Corporation UI-driven model extensibility in multi-tier applications
US10161886B2 (en) 2014-06-27 2018-12-25 Flatfrog Laboratories Ab Detection of surface contamination
EP3250993B1 (en) 2015-01-28 2019-09-04 FlatFrog Laboratories AB Dynamic touch quarantine frames
US10318074B2 (en) 2015-01-30 2019-06-11 Flatfrog Laboratories Ab Touch-sensing OLED display with tilted emitters
WO2016130074A1 (en) 2015-02-09 2016-08-18 Flatfrog Laboratories Ab Optical touch system comprising means for projecting and detecting light beams above and inside a transmissive panel
US10185463B2 (en) * 2015-02-13 2019-01-22 Nokia Technologies Oy Method and apparatus for providing model-centered rotation in a three-dimensional user interface
CN107250855A (zh) 2015-03-02 2017-10-13 平蛙实验室股份公司 用于光耦合的光学部件
US20160306603A1 (en) * 2015-04-15 2016-10-20 Appycentre Pty Ltd Interactive display system for swimming pools
KR102400705B1 (ko) 2015-12-09 2022-05-23 플라트프로그 라보라토리즈 에이비 개선된 스타일러스 식별
EP3545392A4 (en) 2016-11-24 2020-07-29 FlatFrog Laboratories AB AUTOMATIC TACTILE SIGNAL OPTIMIZATION
KR102629629B1 (ko) 2016-12-07 2024-01-29 플라트프로그 라보라토리즈 에이비 개선된 터치 장치
EP3458946B1 (en) 2017-02-06 2020-10-21 FlatFrog Laboratories AB Optical coupling in touch-sensing systems
WO2018174788A1 (en) 2017-03-22 2018-09-27 Flatfrog Laboratories Object characterisation for touch displays
EP4036697A1 (en) 2017-03-28 2022-08-03 FlatFrog Laboratories AB Optical touch sensing apparatus
CN117311543A (zh) 2017-09-01 2023-12-29 平蛙实验室股份公司 触摸感测设备
US11567610B2 (en) 2018-03-05 2023-01-31 Flatfrog Laboratories Ab Detection line broadening
US11442591B2 (en) * 2018-04-09 2022-09-13 Lockheed Martin Corporation System, method, computer readable medium, and viewer-interface for prioritized selection of mutually occluding objects in a virtual environment
US11943563B2 (en) 2019-01-25 2024-03-26 FlatFrog Laboratories, AB Videoconferencing terminal and method of operating the same
JP7361493B2 (ja) 2019-05-10 2023-10-16 キヤノンメディカルシステムズ株式会社 超音波画像診断装置、トレース線設定プログラム、医用画像処理装置及び医用画像診断装置
CN115039063A (zh) 2020-02-10 2022-09-09 平蛙实验室股份公司 改进的触摸感测设备

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1011247A (ja) * 1996-06-20 1998-01-16 Mitsubishi Electric Corp コンピュータ制御視覚化装置
JP2001273599A (ja) * 2000-03-24 2001-10-05 Ship Research Institute Ministry Of Land Infrastructure & Transport ターゲット選択操作装置
JP2002366973A (ja) * 2001-06-07 2002-12-20 Hitachi Software Eng Co Ltd オブジェクトの生成方法および生成されたオブジェクトの選択制御方法並びにオブジェクトのデータ構造
JP2003005878A (ja) * 2001-06-19 2003-01-08 Hitachi Software Eng Co Ltd オブジェクトの選択制御方法
JP2006236143A (ja) * 2005-02-25 2006-09-07 Sony Ericsson Mobilecommunications Japan Inc 入力処理プログラム、携帯端末装置、及び入力処理方法
JP2007128509A (ja) * 2005-10-31 2007-05-24 Samsung Electronics Co Ltd 3次元モーショングラフィックユーザインターフェース、これを提供する装置及び方法
JP2008084249A (ja) * 2006-09-29 2008-04-10 Hitachi Ltd 情報処理装置の表示方法
US20090138823A1 (en) * 2007-11-28 2009-05-28 Marcel Bradea Handheld electronic device and associated method employing a graphical user interface to output on a display virtually stacked groups of selectable objects
JP2009157908A (ja) * 2007-12-07 2009-07-16 Sony Corp 情報表示端末、情報表示方法、およびプログラム
JP2009187057A (ja) * 2008-02-01 2009-08-20 Sharp Corp 表示装置及びコンピュータプログラム
JP2010055469A (ja) * 2008-08-29 2010-03-11 Casio Hitachi Mobile Communications Co Ltd 端末装置及びプログラム
JP2010073126A (ja) * 2008-09-22 2010-04-02 Toshiba Corp 情報可視化装置および情報可視化方法
JP2011141850A (ja) * 2010-01-09 2011-07-21 Libnet:Kk 図書館の図書検索方法及び図書検索プログラム
WO2012039288A1 (ja) * 2010-09-22 2012-03-29 Necカシオモバイルコミュニケーションズ株式会社 情報端末装置及びタッチパネルの表示方法
JP2012069010A (ja) * 2010-09-24 2012-04-05 Sharp Corp コンテンツ表示装置、コンテンツ表示方法、プログラム、および記録媒体

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6987512B2 (en) 2001-03-29 2006-01-17 Microsoft Corporation 3D navigation techniques
TWI238348B (en) 2002-05-13 2005-08-21 Kyocera Corp Portable information terminal, display control device, display control method, and recording media
US8120624B2 (en) * 2002-07-16 2012-02-21 Noregin Assets N.V. L.L.C. Detail-in-context lenses for digital image cropping, measurement and online maps
JP4630644B2 (ja) * 2004-11-18 2011-02-09 理想科学工業株式会社 タッチパネルを備えた画像処理装置
US9513765B2 (en) 2007-12-07 2016-12-06 Sony Corporation Three-dimensional sliding object arrangement method and system
US20100115471A1 (en) * 2008-11-04 2010-05-06 Apple Inc. Multidimensional widgets
KR101480194B1 (ko) 2008-11-05 2015-01-26 엘지전자 주식회사 이동 단말기 및 그 표시방법
US10198854B2 (en) 2009-08-14 2019-02-05 Microsoft Technology Licensing, Llc Manipulation of 3-dimensional graphical objects for view in a multi-touch display
JP5556423B2 (ja) * 2010-01-29 2014-07-23 ブラザー工業株式会社 入力装置および入力制御プログラム
US9207859B2 (en) 2010-09-14 2015-12-08 Lg Electronics Inc. Method and mobile terminal for displaying fixed objects independent of shifting background images on a touchscreen
WO2012040827A2 (en) * 2010-10-01 2012-04-05 Smart Technologies Ulc Interactive input system having a 3d input space
CN103999028B (zh) * 2011-05-23 2018-05-15 微软技术许可有限责任公司 不可见控件

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1011247A (ja) * 1996-06-20 1998-01-16 Mitsubishi Electric Corp コンピュータ制御視覚化装置
JP2001273599A (ja) * 2000-03-24 2001-10-05 Ship Research Institute Ministry Of Land Infrastructure & Transport ターゲット選択操作装置
JP2002366973A (ja) * 2001-06-07 2002-12-20 Hitachi Software Eng Co Ltd オブジェクトの生成方法および生成されたオブジェクトの選択制御方法並びにオブジェクトのデータ構造
JP2003005878A (ja) * 2001-06-19 2003-01-08 Hitachi Software Eng Co Ltd オブジェクトの選択制御方法
JP2006236143A (ja) * 2005-02-25 2006-09-07 Sony Ericsson Mobilecommunications Japan Inc 入力処理プログラム、携帯端末装置、及び入力処理方法
JP2007128509A (ja) * 2005-10-31 2007-05-24 Samsung Electronics Co Ltd 3次元モーショングラフィックユーザインターフェース、これを提供する装置及び方法
JP2008084249A (ja) * 2006-09-29 2008-04-10 Hitachi Ltd 情報処理装置の表示方法
US20090138823A1 (en) * 2007-11-28 2009-05-28 Marcel Bradea Handheld electronic device and associated method employing a graphical user interface to output on a display virtually stacked groups of selectable objects
JP2009157908A (ja) * 2007-12-07 2009-07-16 Sony Corp 情報表示端末、情報表示方法、およびプログラム
JP2009187057A (ja) * 2008-02-01 2009-08-20 Sharp Corp 表示装置及びコンピュータプログラム
JP2010055469A (ja) * 2008-08-29 2010-03-11 Casio Hitachi Mobile Communications Co Ltd 端末装置及びプログラム
JP2010073126A (ja) * 2008-09-22 2010-04-02 Toshiba Corp 情報可視化装置および情報可視化方法
JP2011141850A (ja) * 2010-01-09 2011-07-21 Libnet:Kk 図書館の図書検索方法及び図書検索プログラム
WO2012039288A1 (ja) * 2010-09-22 2012-03-29 Necカシオモバイルコミュニケーションズ株式会社 情報端末装置及びタッチパネルの表示方法
JP2012069010A (ja) * 2010-09-24 2012-04-05 Sharp Corp コンテンツ表示装置、コンテンツ表示方法、プログラム、および記録媒体

Also Published As

Publication number Publication date
JP6133972B2 (ja) 2017-05-24
WO2013160551A1 (en) 2013-10-31
EP2842024B1 (en) 2017-10-11
CN104395872A (zh) 2015-03-04
PL2842024T3 (pl) 2018-02-28
US20130285920A1 (en) 2013-10-31
CN108628533A (zh) 2018-10-09
US20180164978A1 (en) 2018-06-14
US10379733B2 (en) 2019-08-13
US9904457B2 (en) 2018-02-27
EP2842024A1 (en) 2015-03-04

Similar Documents

Publication Publication Date Title
JP6133972B2 (ja) 3次元グラフィックユーザインターフェイス
US11727650B2 (en) Systems, methods, and graphical user interfaces for displaying and manipulating virtual objects in augmented reality environments
CN107077197B (zh) 3d可视化图
US8839136B2 (en) Method of controlling virtual object or view point on two dimensional interactive display
US11443453B2 (en) Method and device for detecting planes and/or quadtrees for use as a virtual substrate
US8884907B2 (en) Multi-touch manipulation of application objects
US10747391B2 (en) Method and device for executing applications through application selection screen
US11604580B2 (en) Configuration of application execution spaces and sub-spaces for sharing data on a mobile touch screen device
US9158446B2 (en) Method and apparatus for interfacing
WO2020226832A1 (en) Device, method, and computer-readable medium for presenting computer-generated reality files
US20190391391A1 (en) Methods and apparatuses for providing input for head-worn image display devices
US11893206B2 (en) Transitions between states in a hybrid virtual reality desktop computing environment
KR20150094967A (ko) 적어도 하나의 어플리케이션을 실행하는 전자 장치 및 그 제어 방법
US20170168584A1 (en) Operation screen display device, operation screen display method, and non-temporary recording medium
US10073612B1 (en) Fixed cursor input interface for a computer aided design application executing on a touch screen device
US11922904B2 (en) Information processing apparatus and information processing method to control display of a content image
US20130159935A1 (en) Gesture inputs for navigating in a 3d scene via a gui
CN110825280A (zh) 控制虚拟物***置移动的方法、装置和计算机可读存储介质
KR102351900B1 (ko) 가상의 대상체 배치를 위한 사용자 인터페이스 제공 방법, 장치 및 프로그램
US10795543B2 (en) Arrangement of a stack of items based on a seed value and size value
US11641460B1 (en) Generating a volumetric representation of a capture region
US20230343027A1 (en) Selecting Multiple Virtual Objects
CN106201213A (zh) 一种虚拟现实焦点的控制方法及终端
CN115390723A (zh) 用于控制对象显示效果的方法、装置及可穿戴设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141219

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20151204

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160418

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160706

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20161006

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20161206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170321

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170420

R150 Certificate of patent or registration of utility model

Ref document number: 6133972

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250