JP6757404B2 - シースルー・グラス用の補助アイテム選択 - Google Patents
シースルー・グラス用の補助アイテム選択 Download PDFInfo
- Publication number
- JP6757404B2 JP6757404B2 JP2018509878A JP2018509878A JP6757404B2 JP 6757404 B2 JP6757404 B2 JP 6757404B2 JP 2018509878 A JP2018509878 A JP 2018509878A JP 2018509878 A JP2018509878 A JP 2018509878A JP 6757404 B2 JP6757404 B2 JP 6757404B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- view
- field
- given
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 239000011521 glass Substances 0.000 title description 30
- 238000009877 rendering Methods 0.000 claims description 35
- 230000003993 interaction Effects 0.000 claims description 17
- 238000000034 method Methods 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 12
- 238000004891 communication Methods 0.000 claims description 5
- 239000003550 marker Substances 0.000 claims description 4
- 230000004048 modification Effects 0.000 claims description 3
- 238000012986 modification Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims 1
- 230000003190 augmentative effect Effects 0.000 description 20
- 230000002452 interceptive effect Effects 0.000 description 10
- 210000003128 head Anatomy 0.000 description 9
- 230000001960 triggered effect Effects 0.000 description 9
- 230000007935 neutral effect Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 230000004397 blinking Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000004886 head movement Effects 0.000 description 2
- 239000004984 smart glass Substances 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 125000001475 halogen functional group Chemical group 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 235000019645 odor Nutrition 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0181—Adaptation to the pilot/driver
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Optics & Photonics (AREA)
- User Interface Of Digital Computer (AREA)
Description
[付記1]
表示装置(130)を含むヘッドマウント型装置(110)であって、
−センサ(170)の出力に基づいてユーザの視野およびユーザの視野の中央を決定することと、
−前記表示装置に出力するための画像をレンダリングすることであって、前記画像がそれぞれ、少なくとも1つの対象物、および選択可能な複数の標識を含み、前記標識のそれぞれが、前記ユーザの視野内の対象物に対応し、画像の前記レンダリングが、前記ユーザの視野が所与の標識の中央にあると判定されることに基づいて、表示された複数の標識のうち前記所与の標識の第1の表示属性を改変することを含む、レンダリングすることと、
−閾値を超える一定の時間において、前記ユーザの視野が前記所与の標識の中央にとどまっていると判定されることに基づいて、前記所与の標識を選択することと
を、実行するように動作するプロセッサ(140)を含むか、またはこのプロセッサ(140)と接続されるように構成される、ヘッドマウント型装置(110)。
[付記2]
前記レンダリングすることが、前記画像をレンダリングして、前記選択可能な対象物に対応する前記複数の標識と同時に前記ユーザの視野内の対象物を表示することを含む、付記1に記載の装置(110)。
[付記3]
前記所定の標識の前記第1の表示属性を前記変更することが、前記複数の表示された標識のうち他の標識の表示サイズに対して、前記所与の標識の表示サイズを拡大することを含む、付記1または2に記載の装置(110)。
[付記4]
画像の前記レンダリングが、前記所与の標識を前記選択することに基づいて、前記第1の表示属性以外の前記所与の標識の第2の表示属性を変更することをさらに含む、付記1〜3のいずれか一項に記載の装置(110)。
[付記5]
−前記プロセッサ(140)は、前記ユーザの視野の中央が、前記選択された所与の標識からシフトしているとの判定に基づいて、前記所与の標識を選択した後、前記所与の標識を選択解除すること
を実行するようにさらに構成される、付記1〜4のいずれか一項に記載の装置(110)。
[付記6]
少なくとも1つの動き、声、または動きと音声を介してユーザ選択を登録するように構成された、マイクロホン(180)およびモーション・センサ(170)を含む、付記1〜5のいずれか一項に記載の装置(110)。
[付記7]
タッチを介して前記ユーザ選択を登録するように構成された、インタラクション区域(160)を含む、付記1〜6のいずれか一項に記載の装置(110)。
[付記8]
タッチを介して前記ユーザ選択を登録するように構成された、インタラクション区域(160)をさらに含む、付記4に記載の装置(110)。
[付記9]
前記表示装置(130)が、前記ユーザの目に近接して、少なくとも1つのレンダリング画面上にグラフィック画像を表示するように構成され、前記レンダリング画面が、前記ユーザによって着用可能なアイグラス・フレーム(120)に機械的に連結される、付記1〜8のいずれか一項に記載の装置(110)。
[付記10]
タッチ、動き、または音声をそれぞれ介してユーザ入力を取り込むように構成された、モーション・センサ(170)、マイクロホン(180)、およびタッチ・インタラクション区域(160)を含む、付記1〜9のいずれか一項に記載の装置(110)。
[付記11]
前記標識が、少なくとも1つの対象物の名前および対象物の画像を有するサムネイルである、付記1〜10のいずれか一項に記載の装置(110)。
[付記12]
−音声、動き、またはタッチの形態でユーザを受信するユーザ・インターフェース手段と、
−前記ユーザ・インターフェース手段との通信を処理する際に、画像を表示する手段(130)とを含むヘッドマウント型装置(110)であって、
−センサ(170)の出力に基づいてユーザの視野およびユーザの視野の中央(200)を決定することと、
−表示する手段(130)に出力するための画像をレンダリングすることであって、前記画像がそれぞれ、少なくとも1つの対象物、および選択可能な複数の標識を含み、前記標識のそれぞれが、前記ユーザの視野内の対象物に対応し、画像の前記レンダリングが、前記ユーザの視野が所与の標識の中央にあると判定されることに基づいて、表示された複数の標識のうち前記所与の標識の第1の表示属性を改変することを含む、レンダリングすることと、
−閾値を超える一定の時間において、前記ユーザの視野が前記所与の標識の中央にとどまっていると判定されることに基づいて、前記所与の標識を選択することと
を、実行するように動作するプロセッサ(140)を含むか、またはこのプロセッサ(140)と接続されるように構成される、ヘッドマウント型装置(110)。
[付記13]
前記表示する手段(130)が、前記ユーザの目に近接して、少なくとも1つのレンダリング画面上にグラフィック画像を表示するように構成され、前記レンダリング画面がアイグラス・フレーム(120)に機械的に連結される、付記12に記載の装置(110)。
[付記14]
ヘッドマウント型装置(110)を使用するアイテム選択の方法であって、
−ユーザの視野およびユーザの視野の中央(220)を決定することと、
−表示用の画像をレンダリングすることであって、前記画像がそれぞれ、1つまたは複数の対象物、および複数の標識を含み、それぞれが、前記ユーザの視野内の選択可能な対象物に対応し、画像の前記レンダリングが、前記ユーザの視野が前記所与の標識の中央にあると判定されることに基づいて、表示された複数の標識のうち所与の標識の第1の表示属性を改変することを含む、レンダリングすることと、
−閾値を超える一定の時間において、前記ユーザの視野が前記所与の標識の中央にとどまっていると判定されることに基づいて、前記所与の標識を選択することと
を含む、方法。
[付記15]
前記標識が、少なくとも1つの対象物の名前および対象物の画像を有するサムネイルである、付記14に記載の方法。
Claims (15)
- 表示装置を含むヘッドマウント型装置であって、
センサの出力に基づいてユーザの視野およびユーザの視野の中央を決定することと、
前記表示装置に出力するための画像をレンダリングすることであって、前記画像がそれぞれ、少なくとも1つの対象物、選択可能な複数の標識、および選択不可能な対象物を含み、前記標識のそれぞれが、前記ユーザの視野内の対象物に対応し、画像の前記レンダリングが、前記ユーザの視野が所与の標識の中央にあると判定されることに基づいて、前記選択不可能な対象物と所与の標識の位置を切り替えること、および表示された複数の標識のうち前記所与の標識の第1の表示属性を改変することを含む、レンダリングすることと、
閾値を超える一定の時間において、前記ユーザの視野が前記所与の標識の中央にとどまっていると判定されることに基づいて、前記所与の標識を選択することと
を、実行するように動作するプロセッサを含むか、またはこのプロセッサと接続されるように構成される、ヘッドマウント型装置。 - 前記標識が、オーバラップすることなく中央の対象物の周りに収束する、請求項1に記載の装置。
- 前記所定の標識の前記第1の表示属性を前記変更することが、前記複数の表示された標識のうち他の標識の表示サイズに対して、前記所与の標識の表示サイズを拡大することを含む、請求項1または2に記載の装置。
- 画像の前記レンダリングが、前記所与の標識を前記選択することに基づいて、前記第1の表示属性以外の前記所与の標識の第2の表示属性を変更することをさらに含む、請求項1〜3のいずれか一項に記載の装置。
- 前記プロセッサは、
−前記ユーザの視野の中央が、前記選択された所与の標識からシフトしているとの判定に基づいて、前記所与の標識を選択した後、前記所与の標識を選択解除すること
を実行するようにさらに構成される、請求項1〜4のいずれか一項に記載の装置。 - 少なくとも1つの動き、声、または動きと音声を介してユーザ選択を登録するように構成された、マイクロホンおよびモーション・センサを含む、請求項1〜5のいずれか一項に記載の装置。
- タッチを介して前記ユーザ選択を登録するように構成された、インタラクション区域を含む、請求項1〜6のいずれか一項に記載の装置。
- タッチを介して前記ユーザ選択を登録するように構成された、タッチ・インタラクション区域をさらに含む、請求項4に記載の装置。
- 前記表示装置が、前記ユーザの目に近接して、少なくとも1つのレンダリング画面上にグラフィック画像を表示するように構成され、前記レンダリング画面が、前記ユーザによって着用可能なアイグラス・フレームに機械的に連結される、請求項1〜8のいずれか一項に記載の装置。
- タッチ、動き、または音声をそれぞれ介してユーザ入力を取り込むように構成された、モーション・センサ、マイクロホン、およびタッチ・インタラクション区域を含む、請求項1〜9のいずれか一項に記載の装置。
- 前記選択不可能な対象物が、前記ユーザの視野内の中央の位置を有し、前記ユーザの視野が動いているときに、前記ユーザの視野の前記中央に遅れて従う、請求項1〜10のいずれか一項に記載の装置。
- 前記選択不可能な対象物が、空の領域またはポインタである、請求項1〜10のいずれか一項に記載の装置。
- 音声、動き、またはタッチの形態でユーザを受信するユーザ・インターフェース手段と、
前記ユーザ・インターフェース手段との通信を処理する際に、画像を表示する手段とを含むヘッドマウント型装置であって、
センサの出力に基づいてユーザの視野およびユーザの視野の中央を決定することと、
表示する手段に出力するための画像をレンダリングすることであって、前記画像がそれぞれ、少なくとも1つの対象物、選択可能な複数の標識、および選択不可能な対象物を含み、前記標識のそれぞれが、前記ユーザの視野内の対象物に対応し、画像の前記レンダリングが、前記ユーザの視野が所与の標識の中央にあると判定されることに基づいて、前記選択不可能な対象物と所与の標識の位置を切り替えること、および表示された複数の標識のうち前記所与の標識の第1の表示属性を改変することを含む、レンダリングすることと、
閾値を超える一定の時間において、前記ユーザの視野が前記所与の標識の中央にとどまっていると判定されることに基づいて、前記所与の標識を選択することと
を、実行するように動作するプロセッサを含むか、またはこのプロセッサと接続されるように構成される、ヘッドマウント型装置。 - 前記表示する手段が、前記ユーザの目に近接して、少なくとも1つのレンダリング画面上にグラフィック画像を表示するように構成され、前記レンダリング画面がアイグラス・フレームに機械的に連結される、請求項13に記載の装置。
- ヘッドマウント型装置を使用するアイテム選択の方法であって、
ユーザの視野およびユーザの視野の中央を決定することと、
表示用の画像をレンダリングすることであって、前記画像がそれぞれ、1つまたは複数の対象物、および複数の標識を含み、それぞれが、選択可能な前記ユーザの視野内の選択可能な対象物、および選択不可能な対象物に対応し、画像の前記レンダリングが、前記ユーザの視野が所与の標識の中央にあると判定されることに基づいて、前記選択不可能な対象物と所与の標識の位置を切り替えること、および表示された複数の標識のうち所与の標識の第1の表示属性を改変することを含む、レンダリングすることと、
閾値を超える一定の時間において、前記ユーザの視野が前記所与の標識の中央にとどまっていると判定されることに基づいて、前記所与の標識を選択することと
を含む、方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP15306326 | 2015-08-28 | ||
EP15306326.8 | 2015-08-28 | ||
PCT/EP2016/067503 WO2017036667A1 (en) | 2015-08-28 | 2016-07-22 | Assisted item selection for see through glasses |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2018525750A JP2018525750A (ja) | 2018-09-06 |
JP2018525750A5 JP2018525750A5 (ja) | 2019-08-29 |
JP6757404B2 true JP6757404B2 (ja) | 2020-09-16 |
Family
ID=54238369
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018509878A Expired - Fee Related JP6757404B2 (ja) | 2015-08-28 | 2016-07-22 | シースルー・グラス用の補助アイテム選択 |
Country Status (6)
Country | Link |
---|---|
US (1) | US10656705B2 (ja) |
EP (1) | EP3341816A1 (ja) |
JP (1) | JP6757404B2 (ja) |
KR (1) | KR20180044292A (ja) |
CN (1) | CN107924234B (ja) |
WO (1) | WO2017036667A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2558284B (en) | 2016-12-23 | 2021-12-08 | Sony Interactive Entertainment Inc | Virtual reality |
US10957103B2 (en) * | 2017-11-03 | 2021-03-23 | Adobe Inc. | Dynamic mapping of virtual and physical interactions |
CN111198608B (zh) * | 2018-11-16 | 2021-06-22 | 广东虚拟现实科技有限公司 | 信息提示方法、装置、终端设备及计算机可读取存储介质 |
EP4078341A1 (en) * | 2019-12-18 | 2022-10-26 | Nextmind Sas | Brain-computer interface |
CN114397996A (zh) * | 2021-12-29 | 2022-04-26 | 杭州灵伴科技有限公司 | 交互提示方法、头戴式显示设备和计算机可读介质 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6456262B1 (en) * | 2000-05-09 | 2002-09-24 | Intel Corporation | Microdisplay with eye gaze detection |
US20060095865A1 (en) * | 2004-11-04 | 2006-05-04 | Rostom Mohamed A | Dynamic graphical user interface for a desktop environment |
US7928926B2 (en) * | 2006-06-27 | 2011-04-19 | Panasonic Corporation | Display apparatus and method for hands free operation that selects a function when window is within field of view |
US8102334B2 (en) * | 2007-11-15 | 2012-01-24 | International Businesss Machines Corporation | Augmenting reality for a user |
US9405456B2 (en) * | 2009-06-08 | 2016-08-02 | Xerox Corporation | Manipulation of displayed objects by virtual magnetism |
US9916006B2 (en) * | 2010-07-23 | 2018-03-13 | Telepatheye Inc. | Eye-wearable device user interface and method |
KR101303948B1 (ko) * | 2010-08-13 | 2013-09-05 | 주식회사 팬택 | 비가시 객체에 대한 증강 현실 정보 제공 장치 및 방법 |
JP5573808B2 (ja) * | 2011-09-30 | 2014-08-20 | ブラザー工業株式会社 | ヘッドマウントディスプレイ |
US20130328925A1 (en) | 2012-06-12 | 2013-12-12 | Stephen G. Latta | Object focus in a mixed reality environment |
US20130335405A1 (en) | 2012-06-18 | 2013-12-19 | Michael J. Scavezze | Virtual object generation within a virtual environment |
CN102945564A (zh) * | 2012-10-16 | 2013-02-27 | 上海大学 | 基于视频透视式增强现实的真三维建模***和方法 |
US10503359B2 (en) * | 2012-11-15 | 2019-12-10 | Quantum Interface, Llc | Selection attractive interfaces, systems and apparatuses including such interfaces, methods for making and using same |
JP6375591B2 (ja) * | 2013-01-15 | 2018-08-22 | セイコーエプソン株式会社 | 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、画像表示システム |
US9329682B2 (en) * | 2013-06-18 | 2016-05-03 | Microsoft Technology Licensing, Llc | Multi-step virtual object selection |
US9129430B2 (en) * | 2013-06-25 | 2015-09-08 | Microsoft Technology Licensing, Llc | Indicating out-of-view augmented reality images |
KR20150008733A (ko) * | 2013-07-15 | 2015-01-23 | 엘지전자 주식회사 | 안경형 휴대기기 및 그의 정보 투사면 탐색방법 |
US10558325B2 (en) | 2013-12-01 | 2020-02-11 | Upskill, Inc. | Systems and methods for controlling operation of an on-board component |
US9552060B2 (en) * | 2014-01-28 | 2017-01-24 | Microsoft Technology Licensing, Llc | Radial selection by vestibulo-ocular reflex fixation |
CN105677134A (zh) * | 2014-11-19 | 2016-06-15 | 珠海金山办公软件有限公司 | 一种对象选择方法及*** |
CN104784931B (zh) * | 2015-04-21 | 2018-07-06 | 广州多益网络股份有限公司 | 一种游戏对象的标识、选定方法及装置 |
-
2016
- 2016-07-22 EP EP16744701.0A patent/EP3341816A1/en not_active Withdrawn
- 2016-07-22 CN CN201680049319.0A patent/CN107924234B/zh not_active Expired - Fee Related
- 2016-07-22 KR KR1020187005428A patent/KR20180044292A/ko unknown
- 2016-07-22 US US15/756,248 patent/US10656705B2/en not_active Expired - Fee Related
- 2016-07-22 WO PCT/EP2016/067503 patent/WO2017036667A1/en active Application Filing
- 2016-07-22 JP JP2018509878A patent/JP6757404B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
WO2017036667A1 (en) | 2017-03-09 |
KR20180044292A (ko) | 2018-05-02 |
JP2018525750A (ja) | 2018-09-06 |
CN107924234B (zh) | 2021-03-19 |
EP3341816A1 (en) | 2018-07-04 |
US10656705B2 (en) | 2020-05-19 |
CN107924234A (zh) | 2018-04-17 |
US20180253144A1 (en) | 2018-09-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11350071B2 (en) | Augmented reality based user interfacing | |
US20210097776A1 (en) | Devices, Methods, and Graphical User Interfaces for Interacting with Three-Dimensional Environments | |
US10078917B1 (en) | Augmented reality simulation | |
EP3458937B1 (en) | Co-presence handling in virtual reality | |
JP6757404B2 (ja) | シースルー・グラス用の補助アイテム選択 | |
CN108604175B (zh) | 装置和关联方法 | |
US11481025B2 (en) | Display control apparatus, display apparatus, and display control method | |
US20210272373A1 (en) | Sharing virtual content in a mixed reality scene | |
JP2019510321A (ja) | 仮想現実用パススルーカメラのユーザインターフェイス要素 | |
US12022357B1 (en) | Content presentation and layering across multiple devices | |
US11367416B1 (en) | Presenting computer-generated content associated with reading content based on user interactions | |
US20230336865A1 (en) | Device, methods, and graphical user interfaces for capturing and displaying media | |
KR20230158505A (ko) | 맵들을 위한 디바이스들, 방법들, 및 그래픽 사용자 인터페이스들 | |
US20240221291A1 (en) | Methods for time of day adjustments for environments and environment presentation during communication sessions | |
EP3850468B1 (en) | Snapping range for augmented reality objects | |
US20230221833A1 (en) | Methods for displaying user interface elements relative to media content | |
CN111782053B (zh) | 模型编辑方法、装置、设备及存储介质 | |
US20240104849A1 (en) | User interfaces that include representations of the environment | |
US20240104871A1 (en) | User interfaces for capturing media and manipulating virtual objects | |
WO2024039666A1 (en) | Devices, methods, and graphical user interfaces for improving accessibility of interactions with three-dimensional environments | |
WO2024064278A1 (en) | Devices, methods, and graphical user interfaces for interacting with extended reality experiences | |
WO2024064932A1 (en) | Methods for controlling and interacting with a three-dimensional environment | |
WO2024064229A1 (en) | Devices, methods, and graphical user interfaces for tabbed browsing in three-dimensional environments | |
WO2024064180A1 (en) | User interfaces that include representations of the environment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190718 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190718 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20191111 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200722 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200803 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200828 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6757404 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |