JP6252409B2 - 情報処理装置、情報処理方法およびプログラム - Google Patents
情報処理装置、情報処理方法およびプログラム Download PDFInfo
- Publication number
- JP6252409B2 JP6252409B2 JP2014178592A JP2014178592A JP6252409B2 JP 6252409 B2 JP6252409 B2 JP 6252409B2 JP 2014178592 A JP2014178592 A JP 2014178592A JP 2014178592 A JP2014178592 A JP 2014178592A JP 6252409 B2 JP6252409 B2 JP 6252409B2
- Authority
- JP
- Japan
- Prior art keywords
- determination
- information processing
- processing apparatus
- display
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Description
1.本開示の一実施形態に係る情報処理装置の概要
2.第1の実施形態(滞留の経過時間に応じて表示制御を行う例)
2−2.情報処理装置の構成
2−3.情報処理装置の処理
2−4.変形例
3.第2の実施形態(操作判定時間を変更する例)
3−2.情報処理装置の構成
3−3.情報処理装置の処理
3−4.変形例
4.第3の実施形態(操作判定領域を変更する例)
4−2.情報処理装置の構成
4−3.情報処理装置の処理
4−4.変形例
5.本開示の一実施形態に係る情報処理装置のハードウェア構成
6.むすび
まず、図1を参照して、本開示の一実施形態に係る情報処理装置の概要について説明する。図1は、本開示の一実施形態に係る情報処理装置の概要を説明するための図である。
以上、本開示の一実施形態に係る情報処理装置100の概要について説明した。次に、本開示の第1の実施形態に係る情報処理装置100−1について説明する。情報処理装置100−1は、ポインティング位置の滞留の経過時間に応じて、ポインティング位置に係る表示オブジェクトの表示を変更させる。
まず、図2を参照して、本開示の第1の実施形態に係る情報処理装置100−1の構成について説明する。図2は、本開示の第1の実施形態に係る情報処理装置100−1の概略的な機能構成を示すブロック図である。
まず、制御部106は、ポインティング位置の滞留開始が判定されると、当該ポインティング位置に操作オブジェクトを表示させると共に、操作オブジェクトの表示位置に基づいた表示を行わせる。例えば、制御部106は、判定部104によってポインティング位置の滞留開始が判定されると、カーソル30を表示領域1に表示させると共に、カーソル30を中心とする初期発光円12を表示させる。
まず、制御部106は、ポインティング位置に基づいて操作オブジェクトを表示させる。例えば、制御部106は、操作オブジェクトとして、図6の左図に示したような、発光粒子14および発光円16で構成されるカーソル30を表示させる。
次に、図7を参照して、本実施形態における情報処理装置100−1の処理について説明する。図7は、本実施形態における情報処理装置100−1の処理を概念的に示すフローチャートである。
以上、本開示の第1の実施形態について説明した。なお、本実施形態は、上述の例に限定されない。以下に、本実施形態の第1〜第3の変形例について説明する。
本実施形態の第1の変形例として、情報処理装置100−1は、ポインティング位置の滞留中において、滞留の経過時間に応じて、実行する処理を示す処理オブジェクトの表示を変更してもよい。具体的には、制御部106は、ポインティング位置に基づいて特定される処理オブジェクトの表示を滞留の経過時間に応じて変更させる。
本実施形態の第2の変形例として、情報処理装置100−1は、ポインティング位置の滞留に基づく操作実行判定を用いて、様々な表示制御を行ってもよい。具体的には、情報処理装置100−1は、当該判定処理を用いて、処理メニューの表示またはスクロールの操作等の処理を行う。
情報処理装置100−1は、ポインティング位置の滞留に基づいて操作の実行が判定される場合、処理の優先度に基づいて構成される処理メニューを表示させてもよい。具体的には、制御部106は、処理オブジェクトで構成されるメニューを表示させ、優先度が他の処理よりも高い処理に係る処理オブジェクトを、他の処理オブジェクトよりも、優先して配置する。なお、本変形例では、操作判定領域と処理オブジェクトの表示範囲とが一致する場合について説明する。まず、図8Aを参照して、従来の情報処理装置の表示するメニューの課題について説明する。図8Aは、従来の情報処理装置の表示するメニュー操作を説明するための図である。
また、情報処理装置100−1は、ポインティング位置の滞留に基づく操作の実行の判定を利用して、表示領域の表示をスクロールさせてもよい。具体的には、制御部106は、スクロールに係る操作判定領域においてポインティング位置の滞留に基づく操作の実行が判定されると、ポインティング位置の変化に応じて表示領域の表示をスクロールさせる。さらに、図9を参照して本変形例のスクロール処理について詳細に説明する。図9は、本実施形態の第2の変形例に係る情報処理装置100−1のスクロール処理による表示変化の例を示す図である。
本実施形態の第3の変形例として、情報処理装置100−1は、ポインティング操作を行うユーザの手が表示領域に向かって開いている場合、ユーザが意図するポインティング位置を検出するように検出処理を行ってもよい。まず、図10を参照して従来の情報処理装置における、ユーザの手が表示領域に向かって開いている場合のポインティング位置の検出の課題について説明する。図10は、従来の情報処理装置における、ユーザの手が表示領域に向かって開いている場合のポインティング位置の検出処理を説明するための図である。なお、第1の実施形態におけるポインティング位置の検出処理と実質的に同一である処理については説明を省略する。
第1の手法として、情報処理装置100−1は、ユーザの手のひらの垂線方向を検出し、検出される方向に基づいてポインティング位置を検出する。具体的には、検出部102は、ユーザの手のひらが表示領域に向かって開いている場合、手のひらによって形成される面についての垂線の方向であってで、当該垂線の表示領域に向かう方向を、操作体の操作によって指し示される方向(以下、ポインティング方向とも称する。)として検出する。そして、検出部102は、当該ポインティング方向に基づいてポインティング位置を検出する。さらに、図11を参照して第1の手法の処理について詳細に説明する。図11は、本実施形態の第3の変形例に係る情報処理装置100−1における、ユーザの手が表示領域に向かって開いている場合のポインティング位置の検出処理の例を説明するための図である。なお、第1の実施形態における処理と実質的に同一である処理については説明を省略する。
第2の手法として、情報処理装置100−1は、ユーザの腕の方向を検出し、検出される方向に基づいてポインティング位置を検出する。具体的には、検出部102は、ユーザのポインティング操作に係るユーザの腕を抽出し、抽出されるユーザの腕が示す方向で、かつ表示領域に向かう方向をポインティング方向として検出する。そして、検出部102は、当該ポインティング方向に基づいてポインティング位置を検出する。さらに、図12を参照して第2の手法の処理について詳細に説明する。図12は、本実施形態の第3の変形例に係る情報処理装置100−1における、ユーザの手が表示領域に向かって開いている場合のポインティング位置の検出処理の他の例を説明するための図である。なお、第1の実施形態における処理と実質的に同一である処理については説明を省略する。
以上、本開示の第1の実施形態に係る情報処理装置100−1について説明した。次に、本開示の第2の実施形態に係る情報処理装置100−2について説明する。情報処理装置100−2は、操作判定領域におけるポインティング位置に基づいて操作判定時間を変更する。
情報処理装置100−2の機能構成は第1の実施形態に係る機能構成と実質的に同一であるが、判定部104の機能が一部異なる。なお、第1の実施形態の機能と実質的に同一である機能については説明を省略する。
次に、図14を参照して、本実施形態における情報処理装置100−2の処理について説明する。図14は、本実施形態における情報処理装置100−2の処理を概念的に示すフローチャートである。なお、第1の実施形態の処理と実質的に同一である処理については説明を省略する。
以上、本開示の第2の実施形態について説明した。なお、本実施形態は、上述の例に限定されない。以下に、本実施形態の第1〜第5の変形例について説明する。
本実施形態の第1の変形例として、情報処理装置100−2は、操作判定時間の設定において、複数の操作判定領域が重なる領域を他の領域と区別してもよい。具体的には、判定部104は、複数の操作判定領域が重なる領域とポインティング位置との重なりの有無に応じて操作判定時間を制御する。さらに、図15を参照して本変形例の処理について詳細に説明する。図15は、本実施形態の第1の変形例に係る情報処理装置100−2の処理における操作判定領域の設定の例を示す図である。
本実施形態の第2の変形として、情報処理装置100−2は、操作判定時間の設定において、表示領域外の操作判定領域を他の領域と区別してもよい。具体的には、判定部104は、表示領域外における操作判定領域とポインティング位置との重なりの有無に応じて操作判定時間を制御する。さらに、図16を参照して本変形例の処理について詳細に説明する。図16は、本実施形態の第2の変形例に係る情報処理装置100−2の処理における操作判定領域の設定の他の例を示す図である。
本実施形態の第3の変形例として、情報処理装置100−2は、操作判定領域におけるポインティング位置以外の情報に基づいて、操作判定時間を制御してもよい。具体的には、判定部104は、ポインティング位置の精度を変化させる精度要因情報に基づいて操作判定時間を制御する。より具体的には、判定部104は、ユーザの態様を示す情報(以下、ユーザ態様情報とも称する。)に基づいて操作判定時間を制御する。さらに、図17を参照して本変形例の処理について詳細に説明する。図17は、本実施形態の第3の変形例に係る情報処理装置100−2の処理におけるポインティング操作の形態の例を示す図である。
まず、判定部104は、ポインティング位置の滞留開始が判定されると、ユーザ態様情報を取得する。例えば、ユーザ態様情報は、位置を指し示すユーザの動きの形態を示す情報(以下、ジェスチャ形態情報とも称する。)を含み、判定部104は、検出部102にジェスチャ形態情報を要求する。当該要求を受けると、検出部102は、ポインティング位置の検出の際に用いられた画像等に基づいてジェスチャ形態を検出する。そして、検出部102は、検出されたジェスチャ形態を示す情報を判定部104に提供する。なお、ジェスチャ形態は、予めパターン化されてもよく、例えば図17A〜図17Cに示したような3パターンに分類されてもよい。
また、判定部104は、ユーザの特性を示す情報(以下、ユーザ特性情報とも称する。)に基づいて操作判定時間を制御してもよい。具体的には、ユーザ特性情報は、ユーザの年齢、性別または身体的特徴等を示す情報であり得る。例えば、児童、女性または痩身のユーザ等の腕は細い傾向にあり、ユーザの腕が細いとポインティング位置の精度が低下し得る。そのため、判定部104は、ユーザ特性情報の示す年齢等が所定の条件を満たすかを判定し、所定の条件が満たされると判定される場合、操作判定時間を変更する。
また、判定部104は、ユーザの操作履歴情報に基づいて操作判定時間を制御してもよい。具体的には、判定部104は、ユーザの操作履歴情報から特定される操作、操作を行ったユーザ、ユーザの特性、ユーザの姿勢またはユーザの服装等に基づいて操作判定時間を制御する。例えば、判定部104は、ユーザの操作履歴情報から特定される操作、例えば操作頻度または習熟度が他の操作よりも高い操作が行われる場合、他の操作の場合よりも短い操作判定時間を設定する。また、判定部104は、ユーザの操作履歴情報から特定されるユーザ、例えばポインティング位置の精度が他のユーザよりも低いユーザによって操作が行われる場合、他のユーザの場合よりも長い操作判定時間を設定する。また、判定部104は、ユーザの操作履歴情報から特定される服装、例えばポインティング位置の精度が低くなる服の色彩または模様等の服装をしたユーザによって操作が行われる場合、他の服装のユーザの場合よりも長い操作判定時間を設定する。
また、判定部104は、情報処理装置100−2の外部環境を示す情報(以下、外部環境情報とも称する。)に基づいて操作判定時間を制御してもよい。具体的には、外部環境情報は、外光の照度または光源数等の外光の状態を示す情報であり得る。例えば、外光の照度または光源数が増加すると、ポインティング位置の精度が低下し得る。そのため、判定部104は、外部環境情報の示す外光の照度等が閾値以上であるかを判定し、外部環境情報の示す値が閾値以上であると判定される場合、閾値未満である場合よりも長い操作判定時間を設定する。また、例えば、外光の照度等が変化し、安定しない場合も、ポインティング位置の精度が低下し得る。そのため、判定部104は、外部環境情報の示す外光の照度等の変化値または変化率が閾値以上で変化する場合、閾値未満で変化する場合よりも長い操作判定時間を設定する。
本実施形態の第4の変形例として、情報処理装置100−2は、ユーザ数に基づいて操作判定時間を制御してもよい。具体的には、判定部104は、複数のユーザに係るポインティング位置が検出される場合、操作判定時間を長くしてもよい。例えば、検出部102は、複数のポインティング位置が検出されると、ポインティング操作を行うユーザの検出を行う。そして、複数のユーザが検出される場合、判定部104は、操作判定時間を長くする。
本実施形態の第5の変形例として、情報処理装置100−2は、ユーザによって設定される設定情報に基づいて操作判定時間を設定してもよい。具体的には、判定部104は、ユーザによって予め設定される操作判定時間の設定情報を記憶部等から取得し、取得される設定情報に基づいて操作判定時間を設定する。さらに、図18を参照して本変形例の処理について詳細に説明する。図18は、本実施形態の第5の変形例に係る情報処理装置100−2が表示させる操作判定時間の設定用GUIの例を示す図である。
以上、本開示の第2の実施形態に係る情報処理装置100−2について説明した。次に、本開示の第3の実施形態に係る情報処理装置100−3について説明する。情報処理装置100−3は、ポインティング位置の滞留開始に基づいて操作判定領域を制御する。
情報処理装置100−3の機能構成は第1および第2の実施形態に係る機能構成と実質的に同一であるが、判定部104の機能が一部異なる。なお、第1および第2の実施形態の機能と実質的に同一である機能については説明を省略する。
次に、図20を参照して、本実施形態における情報処理装置100−3の処理について説明する。図20は、本実施形態における情報処理装置100−3の処理を概念的に示すフローチャートである。なお、第1および第2の実施形態の処理と実質的に同一である処理については説明を省略する。
以上、本開示の第3の実施形態について説明した。なお、本実施形態は、上述の例に限定されない。以下に、本実施形態の第1、第2の変形例について説明する。
本実施形態の第1の変形例として、情報処理装置100−3は、操作判定領域の変更に基づいて、操作判定領域に係る処理オブジェクトの表示を変更させてもよい。具体的には、判定部104は、操作判定領域の変更に基づいて、操作判定領域に係る処理オブジェクトの表示を強調させる。さらに、図21を参照して本変形例の処理について詳細に説明する。図21は、本実施形態の第1の変形例に係る情報処理装置100−3の処理による、操作判定領域の変更に伴う処理オブジェクトの表示変化の例を示す図である。
本実施形態の第2の変形例として、情報処理装置100−3は、複数の操作判定領域が重なる場合、滞留が開始された操作判定領域を優先させてもよい。具体的には、判定部104は、複数の操作判定領域の重なる領域とポインティング位置とが重なる場合、ポインティング位置の滞留が開始された操作判定領域における操作判定処理を継続する。さらに、図22を参照して本変形例の処理について詳細に説明する。図22は、本実施形態の第2の変形例に係る情報処理装置100−3の操作判定領域が重複する場合の操作判定処理を説明するための図である。
以上、本発明の実施形態を説明した。上述した情報処理装置100の処理は、ソフトウェアと、以下に説明する情報処理装置100のハードウェアとの協働により実現される。
以上、本開示の第1の実施形態によれば、表示オブジェクトの表示が滞留開始後に変化されていくことにより、ユーザに滞留状態であることを把握させ、ユーザの意図する結果となるように、滞留状態を維持またはキャンセル等の操作をユーザに促すことが可能となる。また、本開示の第2の実施形態によれば、ポインティング操作の状況に応じて操作判定時間が変更され得ることにより、ユーザの意図に沿う操作結果が得られ易くし、操作性を向上させることが可能となる。また、本開示の第3の実施形態によれば、ポインティング位置の滞留開始から操作判定までの間にポインティング位置が手振れ等に起因して意図せず移動される場合であっても操作判定処理が継続され得ることにより、操作性を向上させることが可能となる。
(1)表示面から離れた位置において操作体により前記表示面が指し示される操作によって特定される操作位置の滞留に基づいて、操作の実行有無の判定を行う判定部と、前記判定部によって前記操作の実行を行うと判定される場合、前記操作に対応するコマンドを発行する制御部と、を備える情報処理装置。
(2)前記制御部は、前記判定前における前記滞留の経過時間に応じて、前記操作位置に係る表示オブジェクトの表示を変更させる、前記(1)に記載の情報処理装置。
(3)前記表示オブジェクトは、前記操作位置を示す操作オブジェクトを含み、前記制御部は、前記操作オブジェクトの表示を前記滞留の経過時間に応じて変更させる、前記(2)に記載の情報処理装置。
(4)前記制御部は、前記操作オブジェクトの表示を、前記判定までの残り時間を示すように変更させる、前記(3)に記載の情報処理装置。
(5)前記表示オブジェクトは、実行する処理を示す処理オブジェクトを含み、前記制御部は、前記操作位置に基づいて特定される前記処理オブジェクトの表示を前記滞留の経過時間に応じて変更させる、前記(2)〜(4)のいずれか1項に記載の情報処理装置。
(6)前記判定部は、実行する処理を示す処理オブジェクトに対応付けられる操作判定領域における前記操作位置に基づいて、前記滞留の開始から前記判定までの操作判定時間を制御する、前記(2)〜(5)のいずれか1項に記載の情報処理装置。
(7)前記判定部は、前記操作位置と前記操作判定領域に係る処理オブジェクトとの位置関係に基づいて前記操作判定時間を制御する、前記(6)に記載の情報処理装置。
(8)前記判定部は、複数の操作判定領域が重なる領域と前記操作位置との重なりの有無に応じて前記操作判定時間を制御する、前記(6)または(7)に記載の情報処理装置。
(9)前記判定部は、表示領域外における前記操作判定領域と前記操作位置との重なりの有無に応じて前記操作判定時間を制御する、前記(6)〜(8)のいずれか1項に記載の情報処理装置。
(10)前記判定部は、前記滞留が開始された際に、前記操作判定領域を変更する、前記(6)〜(9)のいずれか1項に記載の情報処理装置。
(11)前記判定部は、前記操作判定領域の変更に基づいて、前記操作判定領域に係る処理オブジェクトの表示を変更させる、前記(10)に記載の情報処理装置。
(12)前記判定部は、複数の操作判定領域の重なる領域と前記操作位置とが重なる場合、前記滞留が開始された操作判定領域における前記判定に係る処理を継続する、前記(10)または(11)に記載の情報処理装置。
(13)前記判定部は、前記操作位置の精度を変化させる精度要因情報に基づいて前記操作判定時間を制御する、前記(6)〜(12)のいずれか1項に記載の情報処理装置。
(14)前記精度要因情報は、ユーザの態様を示す情報を含み、前記判定部は、前記ユーザの態様を示す情報に基づいて前記操作判定時間を制御する、前記(13)に記載の情報処理装置。
(15)前記ユーザの態様を示す情報は、位置を指し示すユーザの動作の形態を示す情報を含み、前記判定部は、前記位置を指し示すユーザの動作の形態に応じて前記操作判定時間を制御する、前記(14)に記載の情報処理装置。
(16)前記精度要因情報は、ユーザの操作履歴情報を含み、前記判定部は、前記ユーザの操作履歴情報に基づいて前記操作判定時間を制御する、前記(13)に記載の情報処理装置。
(17)前記操作は、処理オブジェクトで構成されるメニューの表示を含み、優先度が他の処理よりも高い処理に係る処理オブジェクトの第1の操作判定領域は、前記他の処理オブジェクトの第2の操作判定領域よりも、優先して配置される、前記(6)〜(16)のいずれか1項に記載の情報処理装置。
(18)前記第1の操作判定領域は、前記第2の操作判定領域よりも前記メニューの中心から近い位置に配置され、かつ前記第1の操作判定領域を前記第2の操作判定領域よりも広い、前記(17)に記載の情報処理装置。
(19)ユーザの動きによって指し示される方向を検出する検出部をさらに備え、前記検出部は、前記ユーザの手のひらが表示領域に向かって開いている場合、前記手のひらによって形成される面についての垂線の方向であって、前記垂線の前記表示領域に向かう方向を前記ユーザの姿勢によって指し示される方向として検出する、前記(1)〜(18)のいずれか1項に記載の情報処理装置。
(20)表示面から離れた位置において操作体により前記表示面が指し示される操作によって特定される操作位置の滞留に基づいて、操作の実行有無の判定を行うことと、前記操作の実行を行うと判定される場合、前記操作に対応するコマンドを発行することと、を含む情報処理方法。
(21)表示面から離れた位置において操作体により前記表示面が指し示される操作によって特定される操作位置の滞留に基づいて、操作の実行有無の判定を行う判定機能と、前記判定機能によって前記操作の実行を行うと判定される場合、前記操作に対応するコマンドを発行する制御機能と、をコンピュータに実現させるためのプログラム。
10 ポインティング位置
20 アイコン
30 カーソル
100 情報処理装置
102 検出部
104 判定部
106 制御部
108 投影部
200 撮像装置
Claims (18)
- 表示面から離れた位置において操作体により前記表示面が指し示される操作によって特定される操作位置の滞留に基づいて、操作の実行有無の判定を行う判定部と、
前記判定部によって前記操作の実行を行うと判定される場合、前記操作に対応するコマンドを発行する制御部と、
を備え、
前記制御部は、前記判定前における前記滞留の経過時間に応じて、前記操作位置に係る表示オブジェクトの表示を変更させ、
前記判定部は、実行する処理を示す処理オブジェクトに対応付けられる操作判定領域における前記操作位置に基づいて、前記滞留の開始から前記判定までの操作判定時間を制御する、情報処理装置。 - 前記表示オブジェクトは、前記操作位置を示す操作オブジェクトを含み、
前記制御部は、前記操作オブジェクトの表示を前記滞留の経過時間に応じて変更させる、請求項1に記載の情報処理装置。 - 前記制御部は、前記操作オブジェクトの表示を、前記判定までの残り時間を示すように変更させる、請求項2に記載の情報処理装置。
- 前記表示オブジェクトは、実行する処理を示す処理オブジェクトを含み、
前記制御部は、前記操作位置に基づいて特定される前記処理オブジェクトの表示を前記滞留の経過時間に応じて変更させる、請求項1〜3のいずれか1項に記載の情報処理装置。 - 前記判定部は、前記操作位置と前記操作判定領域に係る処理オブジェクトとの位置関係に基づいて前記操作判定時間を制御する、請求項1〜4のいずれか1項に記載の情報処理装置。
- 前記判定部は、複数の操作判定領域が重なる領域と前記操作位置との重なりの有無に応じて前記操作判定時間を制御する、請求項1〜5のいずれか1項に記載の情報処理装置。
- 前記判定部は、表示領域外における前記操作判定領域と前記操作位置との重なりの有無に応じて前記操作判定時間を制御する、請求項1〜6のいずれか1項に記載の情報処理装置。
- 前記判定部は、前記滞留が開始された際に、前記操作判定領域を変更する、請求項1〜7のいずれか1項に記載の情報処理装置。
- 前記判定部は、前記操作判定領域の変更に基づいて、前記操作判定領域に係る処理オブジェクトの表示を変更させる、請求項8に記載の情報処理装置。
- 前記判定部は、複数の操作判定領域の重なる領域と前記操作位置とが重なる場合、前記滞留が開始された操作判定領域における前記判定に係る処理を継続する、請求項8または9に記載の情報処理装置。
- 前記判定部は、前記操作位置の精度を変化させる精度要因情報に基づいて前記操作判定時間を制御する、請求項1〜10のいずれか1項に記載の情報処理装置。
- 前記精度要因情報は、ユーザの態様を示す情報を含み、
前記判定部は、前記ユーザの態様を示す情報に基づいて前記操作判定時間を制御する、請求項11に記載の情報処理装置。 - 前記ユーザの態様を示す情報は、位置を指し示すユーザの動作の形態を示す情報を含み、
前記判定部は、前記位置を指し示すユーザの動作の形態に応じて前記操作判定時間を制御する、請求項12に記載の情報処理装置。 - 前記精度要因情報は、ユーザの操作履歴情報を含み、
前記判定部は、前記ユーザの操作履歴情報に基づいて前記操作判定時間を制御する、請求項11に記載の情報処理装置。 - 前記操作は、処理オブジェクトで構成されるメニューの表示を含み、
優先度が他の処理よりも高い処理に係る処理オブジェクトの第1の操作判定領域は、前記他の処理オブジェクトの第2の操作判定領域よりも、優先して配置される、請求項1〜14のいずれか1項に記載の情報処理装置。 - 前記第1の操作判定領域は、前記第2の操作判定領域よりも前記メニューの中心から近い位置に配置され、かつ前記第1の操作判定領域を前記第2の操作判定領域よりも広い、請求項15に記載の情報処理装置。
- 表示面から離れた位置において操作体により前記表示面が指し示される操作によって特定される操作位置の滞留に基づいて、操作の実行有無の判定を行うことと、
前記操作の実行を行うと判定される場合、前記操作に対応するコマンドを発行することと、
前記判定前における前記滞留の経過時間に応じて、前記操作位置に係る表示オブジェクトの表示を変更させることと、
実行する処理を示す処理オブジェクトに対応付けられる操作判定領域における前記操作位置に基づいて、前記滞留の開始から前記判定までの操作判定時間を制御することと、
を含む情報処理方法。 - 表示面から離れた位置において操作体により前記表示面が指し示される操作によって特定される操作位置の滞留に基づいて、操作の実行有無の判定を行う判定機能と、
前記判定機能によって前記操作の実行を行うと判定される場合、前記操作に対応するコマンドを発行する制御機能と、
をコンピュータに実現させるためのプログラムであって、
前記制御機能は、前記判定前における前記滞留の経過時間に応じて、前記操作位置に係る表示オブジェクトの表示を変更させ、
前記判定機能は、実行する処理を示す処理オブジェクトに対応付けられる操作判定領域における前記操作位置に基づいて、前記滞留の開始から前記判定までの操作判定時間を制御する、プログラム。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014178592A JP6252409B2 (ja) | 2014-09-02 | 2014-09-02 | 情報処理装置、情報処理方法およびプログラム |
PCT/JP2015/004427 WO2016035323A1 (en) | 2014-09-02 | 2015-08-31 | Information processing device, information processing method, and program |
CN201580045429.5A CN106605187B (zh) | 2014-09-02 | 2015-08-31 | 信息处理装置、信息处理方法以及程序 |
US15/501,471 US10310623B2 (en) | 2014-09-02 | 2015-08-31 | Information processing device, information processing method, and program |
EP15763659.8A EP3189397B1 (en) | 2014-09-02 | 2015-08-31 | Information processing device, information processing method, and program |
US16/385,555 US10635184B2 (en) | 2014-09-02 | 2019-04-16 | Information processing device, information processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014178592A JP6252409B2 (ja) | 2014-09-02 | 2014-09-02 | 情報処理装置、情報処理方法およびプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017229761A Division JP6409948B2 (ja) | 2017-11-30 | 2017-11-30 | 情報処理装置、情報処理方法およびプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2016053768A JP2016053768A (ja) | 2016-04-14 |
JP2016053768A5 JP2016053768A5 (ja) | 2017-03-02 |
JP6252409B2 true JP6252409B2 (ja) | 2017-12-27 |
Family
ID=54140615
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014178592A Active JP6252409B2 (ja) | 2014-09-02 | 2014-09-02 | 情報処理装置、情報処理方法およびプログラム |
Country Status (5)
Country | Link |
---|---|
US (2) | US10310623B2 (ja) |
EP (1) | EP3189397B1 (ja) |
JP (1) | JP6252409B2 (ja) |
CN (1) | CN106605187B (ja) |
WO (1) | WO2016035323A1 (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
USD853405S1 (en) * | 2015-11-18 | 2019-07-09 | Samsung Electronics Co., Ltd. | Display screen or portion thereof with graphical user interface |
JP2018005109A (ja) * | 2016-07-07 | 2018-01-11 | オリンパス株式会社 | 表示装置、表示方法、及びプログラム |
JP6277567B1 (ja) * | 2016-11-21 | 2018-02-14 | 株式会社コナミデジタルエンタテインメント | 端末装置、及びプログラム |
JP6960249B2 (ja) * | 2017-05-31 | 2021-11-05 | Line株式会社 | プログラム、表示方法および情報処理端末 |
USD862511S1 (en) * | 2017-11-02 | 2019-10-08 | Google Llc | Display screen or portion thereof with transitional graphical user interface |
USD847854S1 (en) * | 2017-11-03 | 2019-05-07 | Salesforce.Com, Inc. | Display screen or portion thereof with animated graphical user interface |
USD854577S1 (en) * | 2017-11-24 | 2019-07-23 | Hiwin Technologies Corp. | Display screen with transitional graphical user interface |
JP6383083B2 (ja) * | 2017-12-28 | 2018-08-29 | 株式会社コナミデジタルエンタテインメント | 端末装置、及びプログラム |
JP2019164420A (ja) * | 2018-03-19 | 2019-09-26 | セイコーエプソン株式会社 | 透過型頭部装着型表示装置および透過型頭部装着型表示装置の制御方法、透過型頭部装着型表示装置の制御のためのコンピュータープログラム |
USD890773S1 (en) * | 2018-04-03 | 2020-07-21 | Samsung Electronics Co., Ltd. | Display screen or portion thereof with transitional graphical user interface |
JP2020144465A (ja) * | 2019-03-04 | 2020-09-10 | 大日本印刷株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP2021193499A (ja) | 2020-06-08 | 2021-12-23 | セイコーエプソン株式会社 | 位置検出システム、位置検出装置、プロジェクター及び位置検出方法 |
EP4141619A1 (en) * | 2021-08-26 | 2023-03-01 | TK Elevator Innovation and Operations GmbH | Touchless visualisation and command system and corresponding method and use and computer program |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6903723B1 (en) * | 1995-03-27 | 2005-06-07 | Donald K. Forest | Data entry method and apparatus |
JPH08272517A (ja) * | 1995-03-28 | 1996-10-18 | Sanyo Electric Co Ltd | 視線対応選択装置及び方法並びに情報処理装置 |
JP3542410B2 (ja) * | 1995-06-27 | 2004-07-14 | キヤノン株式会社 | 視線検出手段を有する機器 |
US6885363B2 (en) * | 2002-05-09 | 2005-04-26 | Gateway, Inc. | Pointing device dwell time |
CA2397431A1 (en) * | 2002-08-09 | 2004-02-09 | Andrew Lohbihler | Method and apparatus for a wireless position sensing interface device employing spread spectrum technology of one or more radio transmitting devices |
ES2568506T3 (es) * | 2004-06-18 | 2016-04-29 | Tobii Ab | Control ocular de aparato computador |
US7742923B2 (en) * | 2004-09-24 | 2010-06-22 | Microsoft Corporation | Graphic user interface schemes for supporting speech recognition input systems |
DE102006037156A1 (de) * | 2006-03-22 | 2007-09-27 | Volkswagen Ag | Interaktive Bedienvorrichtung und Verfahren zum Betreiben der interaktiven Bedienvorrichtung |
US7983450B2 (en) * | 2009-03-16 | 2011-07-19 | The Boeing Company | Method, apparatus and computer program product for recognizing a gesture |
CA2798148A1 (en) * | 2010-05-04 | 2011-11-10 | Timocco Ltd. | System and method for tracking and mapping an object to a target |
US20120257035A1 (en) * | 2011-04-08 | 2012-10-11 | Sony Computer Entertainment Inc. | Systems and methods for providing feedback by tracking user gaze and gestures |
US8782565B2 (en) * | 2012-01-12 | 2014-07-15 | Cisco Technology, Inc. | System for selecting objects on display |
JP2013205983A (ja) * | 2012-03-27 | 2013-10-07 | Sony Corp | 情報入力装置及び情報入力方法、並びにコンピューター・プログラム |
US9747306B2 (en) * | 2012-05-25 | 2017-08-29 | Atheer, Inc. | Method and apparatus for identifying input features for later recognition |
US9274608B2 (en) * | 2012-12-13 | 2016-03-01 | Eyesight Mobile Technologies Ltd. | Systems and methods for triggering actions based on touch-free gesture detection |
-
2014
- 2014-09-02 JP JP2014178592A patent/JP6252409B2/ja active Active
-
2015
- 2015-08-31 CN CN201580045429.5A patent/CN106605187B/zh active Active
- 2015-08-31 EP EP15763659.8A patent/EP3189397B1/en active Active
- 2015-08-31 US US15/501,471 patent/US10310623B2/en active Active
- 2015-08-31 WO PCT/JP2015/004427 patent/WO2016035323A1/en active Application Filing
-
2019
- 2019-04-16 US US16/385,555 patent/US10635184B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
WO2016035323A1 (en) | 2016-03-10 |
US10635184B2 (en) | 2020-04-28 |
EP3189397A1 (en) | 2017-07-12 |
CN106605187B (zh) | 2020-06-12 |
US20190258319A1 (en) | 2019-08-22 |
EP3189397B1 (en) | 2019-12-18 |
US20170228033A1 (en) | 2017-08-10 |
JP2016053768A (ja) | 2016-04-14 |
US10310623B2 (en) | 2019-06-04 |
CN106605187A (zh) | 2017-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6252409B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP5802667B2 (ja) | ジェスチャ入力装置およびジェスチャ入力方法 | |
JP6398987B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
KR101811909B1 (ko) | 제스처 인식을 위한 장치 및 방법 | |
US20170068416A1 (en) | Systems And Methods for Gesture Input | |
US10514842B2 (en) | Input techniques for virtual reality headset devices with front touch screens | |
TWI617994B (zh) | 使用於互動裝置並用於辨識使用者操作該互動裝置的行為的方法,以及相關互動裝置與電腦可讀媒體 | |
US20130285904A1 (en) | Computer vision based control of an icon on a display | |
JPWO2013121807A1 (ja) | 情報処理装置、情報処理方法およびコンピュータプログラム | |
JP6911834B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
WO2015104884A1 (ja) | 情報処理システム、情報処理方法およびプログラム | |
WO2017104272A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US20160147294A1 (en) | Apparatus and Method for Recognizing Motion in Spatial Interaction | |
US11886643B2 (en) | Information processing apparatus and information processing method | |
KR102118421B1 (ko) | 카메라 커서 시스템 | |
JP6245117B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP6409948B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP6418307B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
WO2016035621A1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
WO2018131245A1 (ja) | 情報処理装置、情報処理方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170130 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170815 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171003 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171031 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171113 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6252409 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |