JP6609994B2 - 表示制御方法、情報処理装置及び表示制御プログラム - Google Patents
表示制御方法、情報処理装置及び表示制御プログラム Download PDFInfo
- Publication number
- JP6609994B2 JP6609994B2 JP2015104899A JP2015104899A JP6609994B2 JP 6609994 B2 JP6609994 B2 JP 6609994B2 JP 2015104899 A JP2015104899 A JP 2015104899A JP 2015104899 A JP2015104899 A JP 2015104899A JP 6609994 B2 JP6609994 B2 JP 6609994B2
- Authority
- JP
- Japan
- Prior art keywords
- object data
- information
- identification information
- display
- displayed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- User Interface Of Digital Computer (AREA)
Description
まず、一実施形態に係るHMD1の機能構成の一例について、図1を参照しながら説明する。HMD1は、情報処理装置の一例である。情報処理装置は、撮像部及び表示部を有し、情報を処理可能な機器であればよく、例えばタブレット型端末やスマートフォンPDA、(Personal Digital Assistants)、ノート型PC(Personal Computer)、ゲーム機器、携帯電話等の端末であってもよい。また、情報処理装置は必ずしも通信部を有していなくてもよい。
次に、HMD1のハードウェア構成の一例について、図3を参照しながら説明する。HMD1は、入出力装置101、表示装置102、ドライブ装置103、主記憶装置104、補助記憶装置105、CPU106、通信装置107、カメラ108及びセンサ109を有し、これらはシステムバスBで相互に接続されている。
<第1実施形態>
[表示制御処理例]
次に、第1実施形態における表示制御処理及び採番処理の一例について図4の表示制御処理、図5の採番処理の一例を示すフローチャートを参照しながら説明する。図4のARの技術を用いたオブジェクトデータの重畳表示を行うためのARアプリケーションが起動すると(ステップS10)、撮像部10が撮影した撮像画像に含まれるARマーカ30に基づきオブジェクトデータを取得する(ステップS12)。
図5は、図4のステップS20の採番処理の一例を示すフローチャートである。本採番処理では、まず、生成部18は、表示しているオブジェクトデータの一覧を取得する(ステップS202)。ここでは、図2の(b)に示すオブジェクトデータ21a、21b、21cが取得される。
<第2実施形態>
[表示制御処理例]
次に、第2実施形態における表示制御処理の一例について図8の表示制御処理、図9の採番済オブジェクトデータ処理及び図11の未採番オブジェクトデータ処理の一例を示すフローチャートを参照しながら説明する。図8の例において、ARアプリケーションが起動すると(ステップS10)、画像認識部11は、撮像部10がキャプチャした撮影画像に含まれるARマーカを検出する。ARマーカ認識部12は、オブジェクトデータ管理テーブル2からARマーカに対応するオブジェクトデータ21を取得する(ステップS12)。表示部14は、ARマーカーから重畳位置を読み取り、重畳位置にオブジェクトデータを表示する(ステップS14)。次に、採番済みオブジェクトデータ処理が実行され(ステップS30)、その後、未採番オブジェクトデータ処理が実行される(ステップS40)。
図9は、図8のステップS30の採番済みオブジェクトデータ処理の一例を示すフローチャートである。本処理では、以下の変数が使用される。
n:カウンタ変数
N:採番リストテーブル40のn番目の採番
Tn:採番Nに紐づくオブジェクトデータが連続で非表示となっている時間
Ts:非表示状態での採番保持時間(Ts≧0)
なお、採番保持時間Tsは予め定められている。また、Tn及びTsの値は、記憶部13に保持されている。
図11は、図8のステップS40の未採番オブジェクトデータ処理の一例を示すフローチャートである。本処理では、以下の変数が使用される。
m:カウンタ変数
M:最大採番数(1≦M)
まず、生成部18は、未採番のオブジェクトデータ21が画面内に存在するかを判定する(ステップS402)。生成部18は、未採番のオブジェクトデータ21が画面内に存在しないと判定した場合、本処理を終了する。他方、生成部18は、未採番のオブジェクトデータ21が画面内に存在すると判定した場合、未採番のオブジェクトデータ21が選択可能かを判定する(ステップS404)。生成部18は、未採番のオブジェクトデータ21が選択不可能であると判定した場合、ステップS402に戻る。
<第3実施形態>
[表示制御処理例]
次に、第3実施形態における表示制御処理の一例について図12の採番処理の一例を示すフローチャートを参照しながら説明する。第3実施形態における表示制御処理は、第1実施形態にかかる表示制御処理(図4)にて呼び出される採番処理(S20:図5)のみが図12の採番処理に替わる。よって、第3実施形態では、図12の採番処理のみ説明する。また、図12の採番処理において、第1実施形態にかかる採番処理と同じステップには同一ステップ番号を付し、説明を省略する。
<第3実施形態の変形例>
次に、第3実施形態の変形例について、図16を参照しながら説明する。本変形例においても採番する番号数が限定される場合において、大量のオブジェクトデータ21への採番を可能にする。
(付記1)
ディスプレイの表示範囲に含まれるオブジェクトデータの数に応じた数の識別情報を生成し、
前記表示範囲に含まれる前記オブジェクトデータの各々に、生成した識別情報の各々を対応づけて表示する、
処理をコンピュータが実行することを特徴とする表示制御方法。
(付記2)
前記表示範囲に含まれる前記オブジェクトデータのうち、選択可能なオブジェクトデータを特定し、
特定した前記オブジェクトデータの各々に、該オブジェクトデータの識別情報の各々を対応づけて表示する、
ことを特徴とする付記1に記載の表示制御方法。
(付記3)
前記表示範囲に含まれる前記オブジェクトデータの表示位置に応じて、前記オブジェクトデータの識別情報を生成する、
ことを特徴とする付記1に記載の表示制御方法。
(付記4)
前記オブジェクトデータの各々に対応づけて表示する前記識別情報には順序が割り当てられており、前記表示範囲に含まれる前記オブジェクトデータについて、前記表示範囲の左側に表示されるオブジェクトに対して、前記表示範囲の右側に表示されるオブジェクトよりも、前の順を示す識別情報を付与する、
ことを特徴とする付記1に記載の表示制御方法。
(付記5)
入力された音声情報を解析して、前記音声情報に所定の指示を示す音声が含まれていることを検出すると、第1のオブジェクトデータの選択から、選択順が該第1のオブジェクトデータの次に該当する第2のオブジェクトデータの選択に切り替える、
ことを特徴とする付記4に記載の表示制御方法。
(付記6)
前記音声は、右、又は、次、又は、ネクストに対応する音声である、
ことを特徴とする付記5に記載の表示制御方法。
(付記7)
前記表示範囲に表示する対象として選択されたオブジェクトデータを検出すると、オブジェクトデータと、該オブジェクトデータの識別情報とを対応づける関係情報を記憶する記憶部を参照して、検出した前記オブジェクトデータに対応する関係情報が記憶されているか否かを判定し、
検出した前記オブジェクトデータに対応する関係情報が記憶されている場合、検出した前記オブジェクトデータに、該オブジェクトデータに関係づけられた識別情報を対応づけて表示し、検出した前記オブジェクトデータに対応する関係情報が記憶されていない場合、検出した前記オブジェクトデータと、生成した前記識別情報とを対応づける関係情報を前記記憶部に記憶し、
検出した前記オブジェクトデータが前記表示範囲から消失した場合、前記表示範囲から消失した前記オブジェクトデータに対応する関係情報が前記記憶部に記憶された時刻以降に前記記憶部に関係情報が記憶された他のオブジェクトデータの数が基準を超えた際に、前記表示範囲から消失した前記オブジェクトデータに対応する関係情報を前記記憶部から消去する、
ことを特徴とする付記1に記載の表示制御方法。
(付記8)
前記表示範囲に表示する対象として選択されたオブジェクトデータを検出すると、オブジェクトデータと、該オブジェクトデータの識別情報とを関係づける関係情報を記憶する記憶部を参照して、検出した前記オブジェクトデータに対応する関係情報が記憶されているか否かを判定し、
検出した前記オブジェクトデータに対応する関係情報が記憶されている場合、検出した前記オブジェクトデータに、該オブジェクトデータに関係づけられた識別情報を対応づけて表示し、検出した前記オブジェクトデータに対応する関係情報が記憶されていない場合、検出した前記オブジェクトデータと、生成した前記識別情報とを対応づける関係情報を前記記憶部に記憶し、
検出した前記オブジェクトデータが前記表示範囲から消失した場合、前記オブジェクトデータの前記表示範囲からの消失後、前記表示範囲への出現までの時間が基準を満たした際に、前記表示範囲から消失した前記オブジェクトデータに対応する関係情報を前記記憶部から消去する、
ことを特徴とする付記1に記載の表示制御方法。
(付記9)
ディスプレイの表示範囲に含まれるオブジェクトデータの数に応じた数の識別情報を生成する生成部と、
前記表示範囲に含まれる前記オブジェクトデータの各々に、生成した識別情報の各々を対応づけて表示する表示部と、
を備えることを特徴とする情報処理装置。
(付記10)
前記表示範囲に含まれる前記オブジェクトデータのうち、選択可能なオブジェクトデータを特定し、
特定した前記オブジェクトデータの各々に、該オブジェクトデータの識別情報の各々を対応づけて表示する、
ことを特徴とする付記9に記載の情報処理装置。
(付記11)
前記表示範囲に含まれる前記オブジェクトデータの表示位置に応じて、前記オブジェクトデータの識別情報を生成する、
ことを特徴とする付記9に記載の情報処理装置。
(付記12)
前記オブジェクトデータの各々に対応づけて表示する前記識別情報には順序が割り当てられており、前記表示範囲に含まれる前記オブジェクトデータについて、前記表示範囲の左側に表示されるオブジェクトに対して、前記表示範囲の右側に表示されるオブジェクトよりも、前の順を示す識別情報を付与する、
ことを特徴とする付記9に記載の情報処理装置。
(付記13)
入力された音声情報を解析して、前記音声情報に所定の指示を示す音声が含まれていることを検出すると、第1のオブジェクトデータの選択から、選択順が該第1のオブジェクトデータの次に該当する第2のオブジェクトデータの選択に切り替える、
ことを特徴とする付記12に記載の情報処理装置。
(付記14)
前記音声は、右、又は、次、又は、ネクストに対応する音声である、
ことを特徴とする付記13に記載の情報処理装置。
(付記15)
前記表示範囲に表示する対象として選択されたオブジェクトデータを検出すると、オブジェクトデータと、該オブジェクトデータの識別情報とを対応づける関係情報を記憶する記憶部を参照して、検出した前記オブジェクトデータに対応する関係情報が記憶されているか否かを判定し、
検出した前記オブジェクトデータに対応する関係情報が記憶されている場合、検出した前記オブジェクトデータに、該オブジェクトデータに関係づけられた識別情報を対応づけて表示し、検出した前記オブジェクトデータに対応する関係情報が記憶されていない場合、検出した前記オブジェクトデータと、生成した前記識別情報とを対応づける関係情報を前記記憶部に記憶し、
検出した前記オブジェクトデータが前記表示範囲から消失した場合、前記表示範囲から消失した前記オブジェクトデータに対応する関係情報が前記記憶部に記憶された時刻以降に前記記憶部に関係情報が記憶された他のオブジェクトデータの数が基準を超えた際に、前記表示範囲から消失した前記オブジェクトデータに対応する関係情報を前記記憶部から消去する、
ことを特徴とする付記9に記載の情報処理装置。
(付記16)
前記表示範囲に表示する対象として選択されたオブジェクトデータを検出すると、オブジェクトデータと、該オブジェクトデータの識別情報とを関係づける関係情報を記憶する記憶部を参照して、検出した前記オブジェクトデータに対応する関係情報が記憶されているか否かを判定し、
検出した前記オブジェクトデータに対応する関係情報が記憶されている場合、検出した前記オブジェクトデータに、該オブジェクトデータに関係づけられた識別情報を対応づけて表示し、検出した前記オブジェクトデータに対応する関係情報が記憶されていない場合、検出した前記オブジェクトデータと、生成した前記識別情報とを対応づける関係情報を前記記憶部に記憶し、
検出した前記オブジェクトデータが前記表示範囲から消失した場合、前記オブジェクトデータの前記表示範囲からの消失後、前記表示範囲への出現までの時間が基準を満たした際に、前記表示範囲から消失した前記オブジェクトデータに対応する関係情報を前記記憶部から消去する、
ことを特徴とする付記9に記載の情報処理装置。
(付記17)
ディスプレイの表示範囲に含まれるオブジェクトデータの数に応じた数の識別情報を生成し、
前記表示範囲に含まれる前記オブジェクトデータの各々に、生成した識別情報の各々を対応づけて表示する、
処理をコンピュータに実行させることを特徴とする表示制御プログラム。
(付記18)
前記表示範囲に含まれる前記オブジェクトデータのうち、選択可能なオブジェクトデータを特定し、
特定した前記オブジェクトデータの各々に、該オブジェクトデータの識別情報の各々を対応づけて表示する、
ことを特徴とする付記17に記載の表示制御プログラム。
(付記19)
前記表示範囲に含まれる前記オブジェクトデータの表示位置に応じて、前記オブジェクトデータの識別情報を生成する、
ことを特徴とする付記17に記載の表示制御プログラム。
(付記20)
前記オブジェクトデータの各々に対応づけて表示する前記識別情報には順序が割り当てられており、前記表示範囲に含まれる前記オブジェクトデータについて、前記表示範囲の左側に表示されるオブジェクトに対して、前記表示範囲の右側に表示されるオブジェクトよりも、前の順を示す識別情報を付与する、
ことを特徴とする付記17に記載の表示制御プログラム。
(付記21)
入力された音声情報を解析して、前記音声情報に所定の指示を示す音声が含まれていることを検出すると、第1のオブジェクトデータの選択から、選択順が該第1のオブジェクトデータの次に該当する第2のオブジェクトデータの選択に切り替える、
ことを特徴とする付記20に記載の表示制御プログラム。
(付記22)
前記音声は、右、又は、次、又は、ネクストに対応する音声である、
ことを特徴とする付記21に記載の表示制御プログラム。
(付記23)
前記表示範囲に表示する対象として選択されたオブジェクトデータを検出すると、オブジェクトデータと、該オブジェクトデータの識別情報とを対応づける関係情報を記憶する記憶部を参照して、検出した前記オブジェクトデータに対応する関係情報が記憶されているか否かを判定し、
検出した前記オブジェクトデータに対応する関係情報が記憶されている場合、検出した前記オブジェクトデータに、該オブジェクトデータに関係づけられた識別情報を対応づけて表示し、検出した前記オブジェクトデータに対応する関係情報が記憶されていない場合、検出した前記オブジェクトデータと、生成した前記識別情報とを対応づける関係情報を前記記憶部に記憶し、
検出した前記オブジェクトデータが前記表示範囲から消失した場合、前記表示範囲から消失した前記オブジェクトデータに対応する関係情報が前記記憶部に記憶された時刻以降に前記記憶部に関係情報が記憶された他のオブジェクトデータの数が基準を超えた際に、前記表示範囲から消失した前記オブジェクトデータに対応する関係情報を前記記憶部から消去する、
ことを特徴とする付記17に記載の表示制御プログラム。
(付記24)
前記表示範囲に表示する対象として選択されたオブジェクトデータを検出すると、オブジェクトデータと、該オブジェクトデータの識別情報とを関係づける関係情報を記憶する記憶部を参照して、検出した前記オブジェクトデータに対応する関係情報が記憶されているか否かを判定し、
検出した前記オブジェクトデータに対応する関係情報が記憶されている場合、検出した前記オブジェクトデータに、該オブジェクトデータに関係づけられた識別情報を対応づけて表示し、検出した前記オブジェクトデータに対応する関係情報が記憶されていない場合、検出した前記オブジェクトデータと、生成した前記識別情報とを対応づける関係情報を前記記憶部に記憶し、
検出した前記オブジェクトデータが前記表示範囲から消失した場合、前記オブジェクトデータの前記表示範囲からの消失後、前記表示範囲への出現までの時間が基準を満たした際に、前記表示範囲から消失した前記オブジェクトデータに対応する関係情報を前記記憶部から消去する、
ことを特徴とする付記17に記載の表示制御プログラム。
(付記25)
ディスプレイにオブジェクトデータを表示する表示制御方法であって、
オブジェクトデータの選択を受け付ける選択モードへの遷移を指示する操作を検出すると、前記ディスプレイに表示されたオブジェクトデータの各々に、該オブジェクトデータの識別情報を対応づけて表示する、
処理をコンピュータが実行することを特徴とする表示制御方法。
2:オブジェクトデータ管理テーブル
10:撮像部
11:画像認識部
12:ARマーカ認識部
13:記憶部
14:表示部
15:通信部
16:音声入力部
17:音声認識部
18:生成部
40:採番リストテーブル
50:辞書テーブル
60:位置情報テーブル
Claims (15)
- ディスプレイの表示範囲に含まれるオブジェクトデータの数に応じた数の識別情報を生成し、
前記表示範囲に含まれる前記オブジェクトデータの各々に、生成した識別情報の各々を対応づけて表示し、
前記表示範囲に表示する対象として選択されたオブジェクトデータを検出すると、オブジェクトデータと、該オブジェクトデータの識別情報とを対応づける関係情報を記憶する記憶部を参照して、検出した前記オブジェクトデータに対応する関係情報が記憶されているか否かを判定し、
検出した前記オブジェクトデータに対応する関係情報が記憶されている場合、検出した前記オブジェクトデータに、該オブジェクトデータに関係づけられた識別情報を対応づけて表示し、検出した前記オブジェクトデータに対応する関係情報が記憶されていない場合、検出した前記オブジェクトデータと、生成した前記識別情報とを対応づける関係情報を前記記憶部に記憶し、
検出した前記オブジェクトデータが前記表示範囲から消失した場合、前記表示範囲から消失した前記オブジェクトデータに対応する関係情報が前記記憶部に記憶された時刻以降に前記記憶部に関係情報が記憶された他のオブジェクトデータの数が基準を超えた際に、前記表示範囲から消失した前記オブジェクトデータに対応する関係情報を前記記憶部から消去する、
処理をコンピュータが実行することを特徴とする表示制御方法。 - ディスプレイの表示範囲に含まれるオブジェクトデータの数に応じた数の識別情報を生成し、
前記表示範囲に含まれる前記オブジェクトデータの各々に、生成した識別情報の各々を対応づけて表示し、
前記表示範囲に表示する対象として選択されたオブジェクトデータを検出すると、オブジェクトデータと、該オブジェクトデータの識別情報とを関係づける関係情報を記憶する記憶部を参照して、検出した前記オブジェクトデータに対応する関係情報が記憶されているか否かを判定し、
検出した前記オブジェクトデータに対応する関係情報が記憶されている場合、検出した前記オブジェクトデータに、該オブジェクトデータに関係づけられた識別情報を対応づけて表示し、検出した前記オブジェクトデータに対応する関係情報が記憶されていない場合、検出した前記オブジェクトデータと、生成した前記識別情報とを対応づける関係情報を前記記憶部に記憶し、
検出した前記オブジェクトデータが前記表示範囲から消失した場合、前記オブジェクトデータの前記表示範囲からの消失後、前記表示範囲への出現までの時間が基準を満たした際に、前記表示範囲から消失した前記オブジェクトデータに対応する関係情報を前記記憶部から消去する、
処理をコンピュータが実行することを特徴とする表示制御方法。 - 前記表示範囲に含まれる前記オブジェクトデータのうち、選択可能なオブジェクトデータを特定し、
特定した前記オブジェクトデータの各々に、該オブジェクトデータの識別情報の各々を対応づけて表示する、
ことを特徴とする請求項1又は2に記載の表示制御方法。 - 前記表示範囲に含まれる前記オブジェクトデータの表示位置に応じて、前記オブジェクトデータの識別情報を生成する、
ことを特徴とする請求項1又は2に記載の表示制御方法。 - 前記オブジェクトデータの各々に対応づけて表示する前記識別情報には順序が割り当てられており、前記表示範囲に含まれる前記オブジェクトデータについて、前記表示範囲の左側に表示されるオブジェクトに対して、前記表示範囲の右側に表示されるオブジェクトよりも、前の順を示す識別情報を付与する、
ことを特徴とする請求項1又は2に記載の表示制御方法。 - 入力された音声情報を解析して、前記音声情報に所定の指示を示す音声が含まれていることを検出すると、第1のオブジェクトデータの選択から、選択順が該第1のオブジェクトデータの次に該当する第2のオブジェクトデータの選択に切り替える、
ことを特徴とする請求項5に記載の表示制御方法。 - 前記音声は、右、又は、次、又は、ネクストに対応する音声である、
ことを特徴とする請求項6に記載の表示制御方法。 - ディスプレイの表示範囲に含まれるオブジェクトデータの数に応じた数の識別情報を生成する生成部と、
前記表示範囲に含まれる前記オブジェクトデータの各々に、生成した識別情報の各々を対応づけて表示する表示部と、を備え、
前記表示範囲に表示する対象として選択されたオブジェクトデータを検出すると、オブジェクトデータと、該オブジェクトデータの識別情報とを対応づける関係情報を記憶する記憶部を参照して、検出した前記オブジェクトデータに対応する関係情報が記憶されているか否かを判定し、
検出した前記オブジェクトデータに対応する関係情報が記憶されている場合、検出した前記オブジェクトデータに、該オブジェクトデータに関係づけられた識別情報を対応づけて表示し、検出した前記オブジェクトデータに対応する関係情報が記憶されていない場合、検出した前記オブジェクトデータと、生成した前記識別情報とを対応づける関係情報を前記記憶部に記憶し、
検出した前記オブジェクトデータが前記表示範囲から消失した場合、前記表示範囲から消失した前記オブジェクトデータに対応する関係情報が前記記憶部に記憶された時刻以降に前記記憶部に関係情報が記憶された他のオブジェクトデータの数が基準を超えた際に、前記表示範囲から消失した前記オブジェクトデータに対応する関係情報を前記記憶部から消去する、
ことを特徴とする情報処理装置。 - ディスプレイの表示範囲に含まれるオブジェクトデータの数に応じた数の識別情報を生成する生成部と、
前記表示範囲に含まれる前記オブジェクトデータの各々に、生成した識別情報の各々を対応づけて表示する表示部と、を備え、
前記表示範囲に表示する対象として選択されたオブジェクトデータを検出すると、オブジェクトデータと、該オブジェクトデータの識別情報とを関係づける関係情報を記憶する記憶部を参照して、検出した前記オブジェクトデータに対応する関係情報が記憶されているか否かを判定し、
検出した前記オブジェクトデータに対応する関係情報が記憶されている場合、検出した前記オブジェクトデータに、該オブジェクトデータに関係づけられた識別情報を対応づけて表示し、検出した前記オブジェクトデータに対応する関係情報が記憶されていない場合、検出した前記オブジェクトデータと、生成した前記識別情報とを対応づける関係情報を前記記憶部に記憶し、
検出した前記オブジェクトデータが前記表示範囲から消失した場合、前記オブジェクトデータの前記表示範囲からの消失後、前記表示範囲への出現までの時間が基準を満たした際に、前記表示範囲から消失した前記オブジェクトデータに対応する関係情報を前記記憶部から消去する、
ことを特徴とする情報処理装置。 - ディスプレイの表示範囲に含まれるオブジェクトデータの数に応じた数の識別情報を生成し、
前記表示範囲に含まれる前記オブジェクトデータの各々に、生成した識別情報の各々を対応づけて表示し、
前記表示範囲に表示する対象として選択されたオブジェクトデータを検出すると、オブジェクトデータと、該オブジェクトデータの識別情報とを対応づける関係情報を記憶する記憶部を参照して、検出した前記オブジェクトデータに対応する関係情報が記憶されているか否かを判定し、
検出した前記オブジェクトデータに対応する関係情報が記憶されている場合、検出した前記オブジェクトデータに、該オブジェクトデータに関係づけられた識別情報を対応づけて表示し、検出した前記オブジェクトデータに対応する関係情報が記憶されていない場合、検出した前記オブジェクトデータと、生成した前記識別情報とを対応づける関係情報を前記記憶部に記憶し、
検出した前記オブジェクトデータが前記表示範囲から消失した場合、前記表示範囲から消失した前記オブジェクトデータに対応する関係情報が前記記憶部に記憶された時刻以降に前記記憶部に関係情報が記憶された他のオブジェクトデータの数が基準を超えた際に、前記表示範囲から消失した前記オブジェクトデータに対応する関係情報を前記記憶部から消去する、
処理をコンピュータに実行させることを特徴とする表示制御プログラム。 - ディスプレイの表示範囲に含まれるオブジェクトデータの数に応じた数の識別情報を生成し、
前記表示範囲に含まれる前記オブジェクトデータの各々に、生成した識別情報の各々を対応づけて表示し、
前記表示範囲に表示する対象として選択されたオブジェクトデータを検出すると、オブジェクトデータと、該オブジェクトデータの識別情報とを関係づける関係情報を記憶する記憶部を参照して、検出した前記オブジェクトデータに対応する関係情報が記憶されているか否かを判定し、
検出した前記オブジェクトデータに対応する関係情報が記憶されている場合、検出した前記オブジェクトデータに、該オブジェクトデータに関係づけられた識別情報を対応づけて表示し、検出した前記オブジェクトデータに対応する関係情報が記憶されていない場合、検出した前記オブジェクトデータと、生成した前記識別情報とを対応づける関係情報を前記記憶部に記憶し、
検出した前記オブジェクトデータが前記表示範囲から消失した場合、前記オブジェクトデータの前記表示範囲からの消失後、前記表示範囲への出現までの時間が基準を満たした際に、前記表示範囲から消失した前記オブジェクトデータに対応する関係情報を前記記憶部から消去する、
処理をコンピュータに実行させることを特徴とする表示制御プログラム。 - オブジェクトデータの選択を受け付ける選択モードへの遷移を指示する操作を検出すると、前記ディスプレイに表示されたオブジェクトデータの各々に、該オブジェクトデータの識別情報を対応づけて表示する、
ことを特徴とする請求項1〜7のいずれか一項に記載の表示制御方法。 - 撮影部により撮影された画像に、複数のオブジェクトデータに対応付けられた基準物が含まれることを検知すると、前記画像上での前記基準物の位置に基づき、前記複数のオブジェクトデータのうち、ディスプレイへの表示の対象とするオブジェクトデータを特定し、
特定した前記オブジェクトデータの数に応じた数の識別情報を生成し、
特定した前記オブジェクトデータの各々に、生成した識別情報の各々を対応づけて表示する、
処理を情報処理装置が実行することを特徴とする表示制御方法。 - 撮影部により撮影された画像に、複数のオブジェクトデータに対応付けられた基準物が含まれることを検知すると、前記画像上での前記基準物の位置に基づき、前記複数のオブジェクトデータのうち、ディスプレイへの表示の対象とするオブジェクトデータを特定する認識部と、
特定した前記オブジェクトデータの数に応じた数の識別情報を生成する生成部と、
特定した前記オブジェクトデータの各々に、生成した識別情報の各々を対応づけて表示する表示部と、
を備えることを特徴とする情報処理装置。 - 撮影部により撮影された画像に、複数のオブジェクトデータに対応付けられた基準物が含まれることを検知すると、前記画像上での前記基準物の位置に基づき、前記複数のオブジェクトデータのうち、ディスプレイへの表示の対象とするオブジェクトデータを特定し、
特定した前記オブジェクトデータの数に応じた数の識別情報を生成し、
特定した前記オブジェクトデータの各々に、生成した識別情報の各々を対応づけて表示する、
処理を情報処理装置に実行させることを特徴とする表示制御プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015104899A JP6609994B2 (ja) | 2015-05-22 | 2015-05-22 | 表示制御方法、情報処理装置及び表示制御プログラム |
US15/130,241 US10558425B2 (en) | 2015-05-22 | 2016-04-15 | Display control method, data process apparatus, and computer-readable recording medium |
EP16165944.6A EP3096207B1 (en) | 2015-05-22 | 2016-04-19 | Display control method, data process apparatus, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015104899A JP6609994B2 (ja) | 2015-05-22 | 2015-05-22 | 表示制御方法、情報処理装置及び表示制御プログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019139589A Division JP2019200811A (ja) | 2019-07-30 | 2019-07-30 | 表示制御方法、情報処理装置及び表示制御プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016218868A JP2016218868A (ja) | 2016-12-22 |
JP6609994B2 true JP6609994B2 (ja) | 2019-11-27 |
Family
ID=55854579
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015104899A Expired - Fee Related JP6609994B2 (ja) | 2015-05-22 | 2015-05-22 | 表示制御方法、情報処理装置及び表示制御プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US10558425B2 (ja) |
EP (1) | EP3096207B1 (ja) |
JP (1) | JP6609994B2 (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170061700A1 (en) * | 2015-02-13 | 2017-03-02 | Julian Michael Urbach | Intercommunication between a head mounted display and a real world object |
EP3547096A1 (en) | 2018-03-30 | 2019-10-02 | InterDigital CE Patent Holdings | Device and method for navigation through active elements in a displayed page |
US20190377538A1 (en) * | 2018-06-08 | 2019-12-12 | Curious Company, LLC | Information Presentation Through Ambient Sounds |
US10818088B2 (en) | 2018-07-10 | 2020-10-27 | Curious Company, LLC | Virtual barrier objects |
US10902678B2 (en) | 2018-09-06 | 2021-01-26 | Curious Company, LLC | Display of hidden information |
JP7076007B2 (ja) * | 2018-11-29 | 2022-05-26 | マクセル株式会社 | 映像表示装置および方法 |
WO2020116001A1 (ja) * | 2018-12-03 | 2020-06-11 | ソニー株式会社 | 情報処理装置および情報処理方法 |
US11055913B2 (en) | 2018-12-04 | 2021-07-06 | Curious Company, LLC | Directional instructions in an hybrid reality system |
US10970935B2 (en) | 2018-12-21 | 2021-04-06 | Curious Company, LLC | Body pose message system |
US10872584B2 (en) | 2019-03-14 | 2020-12-22 | Curious Company, LLC | Providing positional information using beacon devices |
US11269183B2 (en) * | 2019-11-14 | 2022-03-08 | Microsoft Technology Licensing, Llc | Display information on a head-mountable apparatus corresponding to data of a computing device |
JP7333761B2 (ja) * | 2020-01-30 | 2023-08-25 | シャープ株式会社 | システム及び画像形成システム |
WO2023210158A1 (ja) * | 2022-04-28 | 2023-11-02 | 株式会社Nttドコモ | 眼鏡型表示装置、及び表示システム |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11134157A (ja) * | 1997-10-24 | 1999-05-21 | Toshiba Corp | 情報端末装置並びに情報処理方法 |
JP2000112610A (ja) | 1998-09-30 | 2000-04-21 | Victor Co Of Japan Ltd | コンテンツ表示選択システム及びコンテンツ記録媒体 |
US6489976B1 (en) * | 1998-12-15 | 2002-12-03 | International Business Machines Corporation | System and method for displaying pop-up symbols for indicating accelerator keys for implementing computer software options |
JP2000194532A (ja) * | 1998-12-24 | 2000-07-14 | Casio Comput Co Ltd | オブジェクト選択処理装置、及び記憶媒体 |
JP2002041276A (ja) | 2000-07-24 | 2002-02-08 | Sony Corp | 対話型操作支援システム及び対話型操作支援方法、並びに記憶媒体 |
US6591921B2 (en) * | 2000-07-26 | 2003-07-15 | Terra Ag Fuer Tiefbautechnik | Horizontal boring apparatus |
JP2002278587A (ja) * | 2001-03-14 | 2002-09-27 | Fujitsu Ltd | 音声認識入力装置 |
US6882974B2 (en) * | 2002-02-15 | 2005-04-19 | Sap Aktiengesellschaft | Voice-control for a user interface |
US7661074B2 (en) * | 2005-07-01 | 2010-02-09 | Microsoft Corporation | Keyboard accelerator |
JP2007303878A (ja) * | 2006-05-09 | 2007-11-22 | Denso Corp | ナビゲーション装置 |
JP4977480B2 (ja) * | 2007-01-18 | 2012-07-18 | Necカシオモバイルコミュニケーションズ株式会社 | 電子機器及びプログラム |
JP4763633B2 (ja) * | 2007-02-28 | 2011-08-31 | 株式会社エヌ・ティ・ティ・ドコモ | 情報処理装置及びプログラム |
JP4696184B1 (ja) | 2010-06-02 | 2011-06-08 | 任天堂株式会社 | 画像表示システム、画像表示装置および画像表示方法 |
US8384770B2 (en) | 2010-06-02 | 2013-02-26 | Nintendo Co., Ltd. | Image display system, image display apparatus, and image display method |
JP5480777B2 (ja) | 2010-11-08 | 2014-04-23 | 株式会社Nttドコモ | オブジェクト表示装置及びオブジェクト表示方法 |
US20120232977A1 (en) * | 2011-03-08 | 2012-09-13 | Bank Of America Corporation | Real-time video image analysis for providing targeted offers |
JP5866728B2 (ja) | 2011-10-14 | 2016-02-17 | サイバーアイ・エンタテインメント株式会社 | 画像認識システムを備えた知識情報処理サーバシステム |
EP2856284B1 (en) * | 2012-05-30 | 2017-10-04 | Kopin Corporation | Head-worn computer with improved virtual display function |
US9453740B2 (en) * | 2012-10-30 | 2016-09-27 | Alpine Electronics, Inc. | Method of displaying objects on navigation map |
-
2015
- 2015-05-22 JP JP2015104899A patent/JP6609994B2/ja not_active Expired - Fee Related
-
2016
- 2016-04-15 US US15/130,241 patent/US10558425B2/en not_active Expired - Fee Related
- 2016-04-19 EP EP16165944.6A patent/EP3096207B1/en active Active
Also Published As
Publication number | Publication date |
---|---|
EP3096207A1 (en) | 2016-11-23 |
EP3096207B1 (en) | 2020-10-07 |
US10558425B2 (en) | 2020-02-11 |
JP2016218868A (ja) | 2016-12-22 |
US20160342388A1 (en) | 2016-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6609994B2 (ja) | 表示制御方法、情報処理装置及び表示制御プログラム | |
KR102151286B1 (ko) | 애플리케이션과의 상호작용으로서의 다모드 사용자 표현 및 사용자 인텐서티 검출 기법 | |
JP6013642B2 (ja) | 体験コンテンツデータセットに関するキャンペーン最適化 | |
US10372229B2 (en) | Information processing system, information processing apparatus, control method, and program | |
US20160012612A1 (en) | Display control method and system | |
US20150241984A1 (en) | Methods and Devices for Natural Human Interfaces and for Man Machine and Machine to Machine Activities | |
JP2011040035A (ja) | 表示入力装置およびそのためのコンピュータプログラム | |
KR20130127349A (ko) | 문자화장단말기 및 제어방법 | |
KR20120013377A (ko) | 컴퓨팅 디바이스 상에서의 글리프 입력 | |
JP2009093291A (ja) | ジェスチャー判定装置及び方法 | |
JP2015148946A (ja) | 情報処理装置、情報処理方法及びプログラム | |
US20170047065A1 (en) | Voice-controllable image display device and voice control method for image display device | |
US11709593B2 (en) | Electronic apparatus for providing a virtual keyboard and controlling method thereof | |
US20120274573A1 (en) | Korean input method and apparatus using touch screen, and portable terminal including key input apparatus | |
US11386612B2 (en) | Non-transitory computer-readable medium, image processing method, and image processing system for controlling progress of information processing in response to a user operation | |
JP2015102875A (ja) | 表示システム及び表示制御装置 | |
CN113260426A (zh) | 游戏***、处理方法以及信息存储介质 | |
JP2019200811A (ja) | 表示制御方法、情報処理装置及び表示制御プログラム | |
US11978252B2 (en) | Communication system, display apparatus, and display control method | |
JPWO2013047023A1 (ja) | 表示装置、表示方法およびプログラム | |
JP2019101739A (ja) | 情報処理装置、情報処理システムおよびプログラム | |
JP6259225B2 (ja) | 電子機器およびこれに接続された携帯端末のジェスチャ認識操作方法、車載システム | |
KR102294717B1 (ko) | 변형 오브젝트를 제공하기 위한 증강현실 영상 제공 시스템 및 방법 | |
KR101348763B1 (ko) | 손동작에 의한 인터페이스 조작 장치 및 방법, 그리고 컴퓨터로 읽을 수 있는 기록매체 | |
JP2017004298A (ja) | 文字入力システム、文字入力方法、及び、コンピュータプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180206 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181024 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181106 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181218 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190604 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190730 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191001 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191014 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6609994 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |