JP2024009318A - ユーザインターフェースメニューのコンテキスト認識 - Google Patents
ユーザインターフェースメニューのコンテキスト認識 Download PDFInfo
- Publication number
- JP2024009318A JP2024009318A JP2023201574A JP2023201574A JP2024009318A JP 2024009318 A JP2024009318 A JP 2024009318A JP 2023201574 A JP2023201574 A JP 2023201574A JP 2023201574 A JP2023201574 A JP 2023201574A JP 2024009318 A JP2024009318 A JP 2024009318A
- Authority
- JP
- Japan
- Prior art keywords
- user
- virtual
- wearable system
- wearable
- environment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 abstract description 156
- 230000003993 interaction Effects 0.000 abstract description 60
- 238000003384 imaging method Methods 0.000 abstract description 51
- 230000003190 augmentative effect Effects 0.000 abstract description 15
- 238000012800 visualization Methods 0.000 abstract description 3
- 230000036544 posture Effects 0.000 description 66
- 230000003287 optical effect Effects 0.000 description 43
- 239000003550 marker Substances 0.000 description 38
- 210000003128 head Anatomy 0.000 description 32
- 230000008569 process Effects 0.000 description 28
- 230000033001 locomotion Effects 0.000 description 27
- 238000004422 calculation algorithm Methods 0.000 description 25
- 210000001747 pupil Anatomy 0.000 description 25
- 230000009471 action Effects 0.000 description 23
- 238000012545 processing Methods 0.000 description 23
- 210000000695 crystalline len Anatomy 0.000 description 20
- 238000010586 diagram Methods 0.000 description 16
- 238000000605 extraction Methods 0.000 description 15
- 230000004424 eye movement Effects 0.000 description 14
- 230000004308 accommodation Effects 0.000 description 13
- 231100000430 skin reaction Toxicity 0.000 description 13
- 230000006870 function Effects 0.000 description 11
- 238000005259 measurement Methods 0.000 description 11
- 210000004556 brain Anatomy 0.000 description 10
- 238000004891 communication Methods 0.000 description 10
- 230000036651 mood Effects 0.000 description 10
- 238000009877 rendering Methods 0.000 description 10
- 208000006550 Mydriasis Diseases 0.000 description 9
- 230000036772 blood pressure Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 9
- 230000036387 respiratory rate Effects 0.000 description 9
- 230000000007 visual effect Effects 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 238000013507 mapping Methods 0.000 description 8
- 239000000835 fiber Substances 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 7
- 239000000463 material Substances 0.000 description 7
- 230000035790 physiological processes and functions Effects 0.000 description 7
- 230000002350 accommodative effect Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 235000013305 food Nutrition 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 239000007787 solid Substances 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000005266 casting Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 210000003811 finger Anatomy 0.000 description 5
- 230000035807 sensation Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- 230000007423 decrease Effects 0.000 description 4
- 239000013307 optical fiber Substances 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 230000001953 sensory effect Effects 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000004438 eyesight Effects 0.000 description 3
- 230000008921 facial expression Effects 0.000 description 3
- 238000002347 injection Methods 0.000 description 3
- 239000007924 injection Substances 0.000 description 3
- 230000003565 oculomotor Effects 0.000 description 3
- 238000010422 painting Methods 0.000 description 3
- 238000003825 pressing Methods 0.000 description 3
- 210000003813 thumb Anatomy 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 230000014616 translation Effects 0.000 description 3
- 208000019901 Anxiety disease Diseases 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 2
- 230000036506 anxiety Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 210000000613 ear canal Anatomy 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012014 optical coherence tomography Methods 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000002040 relaxant effect Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- LQIAZOCLNBBZQK-UHFFFAOYSA-N 1-(1,2-Diphosphanylethyl)pyrrolidin-2-one Chemical compound PCC(P)N1CCCC1=O LQIAZOCLNBBZQK-UHFFFAOYSA-N 0.000 description 1
- KRQUFUKTQHISJB-YYADALCUSA-N 2-[(E)-N-[2-(4-chlorophenoxy)propoxy]-C-propylcarbonimidoyl]-3-hydroxy-5-(thian-3-yl)cyclohex-2-en-1-one Chemical compound CCC\C(=N/OCC(C)OC1=CC=C(Cl)C=C1)C1=C(O)CC(CC1=O)C1CCCSC1 KRQUFUKTQHISJB-YYADALCUSA-N 0.000 description 1
- 241000256837 Apidae Species 0.000 description 1
- 206010048909 Boredom Diseases 0.000 description 1
- WQZGKKKJIJFFOK-GASJEMHNSA-N Glucose Natural products OC[C@H]1OC(O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-GASJEMHNSA-N 0.000 description 1
- 206010019233 Headaches Diseases 0.000 description 1
- 239000004983 Polymer Dispersed Liquid Crystal Substances 0.000 description 1
- 206010037180 Psychiatric symptoms Diseases 0.000 description 1
- 208000036366 Sensation of pressure Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 238000005267 amalgamation Methods 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 238000002555 auscultation Methods 0.000 description 1
- 210000003403 autonomic nervous system Anatomy 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 230000003925 brain function Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005253 cladding Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000004624 confocal microscopy Methods 0.000 description 1
- 238000010411 cooking Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000000537 electroencephalography Methods 0.000 description 1
- 238000002567 electromyography Methods 0.000 description 1
- 238000002569 electronystagmography Methods 0.000 description 1
- 238000002570 electrooculography Methods 0.000 description 1
- 238000002001 electrophysiology Methods 0.000 description 1
- 230000007831 electrophysiology Effects 0.000 description 1
- 238000002571 electroretinography Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 235000021172 family meals Nutrition 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000008103 glucose Substances 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 231100000869 headache Toxicity 0.000 description 1
- 238000009532 heart rate measurement Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000010813 municipal solid waste Substances 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000013488 ordinary least square regression Methods 0.000 description 1
- 238000013186 photoplethysmography Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 125000006850 spacer group Chemical group 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 230000004936 stimulating effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000035900 sweating Effects 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02405—Determining heart rate variability
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/03—Detecting, measuring or recording fluid pressure within the body other than blood pressure, e.g. cerebral pressure; Measuring pressure in body tissues or organs
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/018—Input/output arrangements for oriental characters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
- G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
- G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Toxicology (AREA)
- Electromagnetism (AREA)
- Artificial Intelligence (AREA)
- Surgery (AREA)
- Multimedia (AREA)
- Animal Behavior & Ethology (AREA)
- Molecular Biology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Cardiology (AREA)
- Dermatology (AREA)
- Neurosurgery (AREA)
- Neurology (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Physiology (AREA)
- Hematology (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Abstract
【課題】仮想現実および拡張現実イメージングならびに可視化システムを提供すること。【解決手段】利用可能なユーザインターフェース相互作用または仮想オブジェクトを自動的に選択またはフィルタリングするためのウェアラブルシステムのためのシステムおよび方法の実施例が、開示される。ウェアラブルシステムは、ユーザと関連付けられたコンテキスト情報、ユーザの環境、ユーザの環境内の物理または仮想オブジェクト、またはユーザの生理学的または心理学的状態に基づいて、ユーザ相互作用のための仮想オブジェクトのグループを選択することができる。【選択図】図12
Description
(関連出願の相互参照)
本願は、2016年5月20日に出願され“CONTEXTUAL AWARENESS OF USER INTERFACE MENUS”と題された米国仮出願第62/339,572号、2016年8月29日に出願され“AUGMENTED COGNITION USER INTERFACE”と題された米国仮出願第62/380,869号に対する35 U.S.C. § 119(e)のもとでの優先権の利益を主張するものであり、これらの開示は、全体として本明細書中に参照により援用される。
本願は、2016年5月20日に出願され“CONTEXTUAL AWARENESS OF USER INTERFACE MENUS”と題された米国仮出願第62/339,572号、2016年8月29日に出願され“AUGMENTED COGNITION USER INTERFACE”と題された米国仮出願第62/380,869号に対する35 U.S.C. § 119(e)のもとでの優先権の利益を主張するものであり、これらの開示は、全体として本明細書中に参照により援用される。
本開示は、仮想現実および拡張現実イメージングならびに可視化システムに関し、より具体的には、コンテキスト情報に基づいて、仮想オブジェクトを提示および選択することに関する。
現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」、「拡張現実」、または「複合現実」体験のためのシステムの開発を促進しており、デジタル的に再現された画像またはその一部が、現実であるように見える、もしくはそのように知覚され得る様式でユーザに提示される。仮想現実または「VR」シナリオは、典型的には、他の実際の実世界の視覚的入力に対する透明性を伴わずに、デジタルまたは仮想画像情報の提示を伴う。拡張現実または「AR」シナリオは、典型的には、ユーザの周囲の実際の世界の可視化に対する拡張としてのデジタルまたは仮想画像情報の提示を伴う。複合現実または「MR」は、物理的および仮想オブジェクトが、共存し、リアルタイムで相互作用する、新しい環境を生成するための実世界と仮想世界との融合に関連する。結論から述べると、ヒトの視知覚系は、非常に複雑であって、他の仮想または実世界画像要素の中で仮想画像要素の快適で、自然のような感覚で、かつ豊かな提示を促進する、VR、AR、またはMR技術の生成は、困難である。本明細書に開示されるシステムおよび方法は、VR、AR、ならびにMR技術に関連する種々の課題に対処する。
一実施形態では、ユーザの3次元(3D)環境内で仮想コンテンツを生成するためのウェアラブルシステムが、開示される。ウェアラブルシステムは、仮想コンテンツを3Dビューでユーザに提示するように構成される、拡張現実ディスプレイと、ユーザの位置または配向データを入手し、位置または配向データを分析し、ユーザの姿勢を識別するように構成される、姿勢センサと、姿勢センサおよびディスプレイと通信する、ハードウェアプロセッサとを備えることができる。ハードウェアプロセッサは、少なくとも部分的に、ユーザの姿勢に基づいて、3D環境内のユーザの環境の中の物理オブジェクトを識別し、物理オブジェクトとの相互作用を開始するためのインジケーションを受信し、物理オブジェクトと関連付けられる、ユーザの環境内の仮想オブジェクトのセットを識別し、物理オブジェクトと関連付けられたコンテキスト情報を決定し、仮想オブジェクトのセットをフィルタリングし、コンテキスト情報に基づいて、仮想オブジェクトのサブセットを仮想オブジェクトのセットから識別し、仮想オブジェクトのサブセットを含む、仮想メニューを生成し、少なくとも部分的に、決定されたコンテキスト情報に基づいて、仮想メニューを提示するための3D環境内の空間場所を決定し、拡張現実ディスプレイによって、仮想メニューを空間場所に提示するようにプログラムされることができる。
別の実施形態では、ユーザの3次元(3D)環境内で仮想コンテンツを生成するための方法が、開示される。本方法は、姿勢センサから入手されたデータを分析し、ユーザの姿勢を識別するステップと、少なくとも部分的に、姿勢に基づいて、ユーザの3D環境内の相互作用可能オブジェクトを識別するステップと、相互作用可能オブジェクトとの相互作用を開始するためのインジケーションを受信するステップと、相互作用可能オブジェクトと関連付けられたコンテキスト情報を決定するステップと、コンテキスト情報に基づいて、相互作用可能オブジェクト上で利用可能なユーザインターフェース動作のセットからユーザインターフェース動作のサブセットを選択するステップと、ユーザインターフェース動作のサブセットを3Dビューでユーザに提示するための命令を生成するステップとを含むことができる。
本明細書に説明される主題の1つ以上の実装の詳細が、付随の図面および以下の説明に記載される。他の特徴、側面、および利点は、説明、図面、ならびに請求項から明白となるであろう。本概要または以下の発明を実施するための形態のいずれも、本発明の主題の範囲を定義または限定することを主張するものではない。
本願明細書は、例えば、以下の項目も提供する。
(項目1)
ユーザの3次元(3D)環境内で仮想コンテンツを生成するための方法であって、前記方法は、
姿勢センサから入手されたデータを分析し、ユーザの姿勢を識別することと、
少なくとも部分的に、前記姿勢に基づいて、前記ユーザの3D環境内の壁を識別することと、
前記壁との相互作用を開始するためのインジケーションを受信することと、
前記壁と関連付けられたコンテキスト情報を決定することと、
前記コンテキスト情報に基づいて、前記壁上で利用可能なユーザインターフェース動作のセットからユーザインターフェース動作のサブセットを選択することと、
前記ユーザインターフェース動作のサブセットを3Dビューで前記ユーザに提示するための命令を生成することと
を含む、方法。
(項目2)
前記姿勢は、眼視線、頭部姿勢、またはジェスチャのうちの少なくとも1つを含む、項目1に記載の方法。
(項目3)
前記壁を識別することは、前記ユーザの頭部姿勢に基づいて、円錐投射を実施することを含む、項目1に記載の方法。
(項目4)
前記コンテキスト情報は、前記壁の表面の配向を含み、前記ユーザインターフェース動作のサブセットを選択することは、前記配向を有する表面上で実施され得るユーザインターフェース動作を識別することを含む、項目1に記載の方法。
(項目5)
前記壁との相互作用を開始するためのインジケーションは、ユーザ入力デバイスの作動または前記ユーザの姿勢の変化を含む、項目1に記載の方法。
(項目6)
前記ユーザの生理学的パラメータを受信することと、前記ユーザの心理学的状態を決定することとをさらに含み、前記心理学的状態は、前記ユーザ相互作用のサブセットを選択するための前記コンテキスト情報の一部である、項目1に記載の方法。
(項目7)
生理学的パラメータは、心拍数、散瞳、ガルバニック皮膚反応、血圧、脳波状態、呼吸数、または眼移動のうちの少なくとも1つに関連する、項目6に記載の方法。
(項目8)
前記ユーザ相互作用のサブセットを3Dビューで前記ユーザに提示するための命令を生成することは、前記ユーザインターフェース動作のサブセットを含む仮想メニューを生成することと、前記壁の特性に基づいて、前記仮想メニューの空間場所を決定することと、前記ユーザの3D環境内の空間場所における前記仮想メニューの提示のための表示命令を生成することとを含む、項目1に記載の方法。
本願明細書は、例えば、以下の項目も提供する。
(項目1)
ユーザの3次元(3D)環境内で仮想コンテンツを生成するための方法であって、前記方法は、
姿勢センサから入手されたデータを分析し、ユーザの姿勢を識別することと、
少なくとも部分的に、前記姿勢に基づいて、前記ユーザの3D環境内の壁を識別することと、
前記壁との相互作用を開始するためのインジケーションを受信することと、
前記壁と関連付けられたコンテキスト情報を決定することと、
前記コンテキスト情報に基づいて、前記壁上で利用可能なユーザインターフェース動作のセットからユーザインターフェース動作のサブセットを選択することと、
前記ユーザインターフェース動作のサブセットを3Dビューで前記ユーザに提示するための命令を生成することと
を含む、方法。
(項目2)
前記姿勢は、眼視線、頭部姿勢、またはジェスチャのうちの少なくとも1つを含む、項目1に記載の方法。
(項目3)
前記壁を識別することは、前記ユーザの頭部姿勢に基づいて、円錐投射を実施することを含む、項目1に記載の方法。
(項目4)
前記コンテキスト情報は、前記壁の表面の配向を含み、前記ユーザインターフェース動作のサブセットを選択することは、前記配向を有する表面上で実施され得るユーザインターフェース動作を識別することを含む、項目1に記載の方法。
(項目5)
前記壁との相互作用を開始するためのインジケーションは、ユーザ入力デバイスの作動または前記ユーザの姿勢の変化を含む、項目1に記載の方法。
(項目6)
前記ユーザの生理学的パラメータを受信することと、前記ユーザの心理学的状態を決定することとをさらに含み、前記心理学的状態は、前記ユーザ相互作用のサブセットを選択するための前記コンテキスト情報の一部である、項目1に記載の方法。
(項目7)
生理学的パラメータは、心拍数、散瞳、ガルバニック皮膚反応、血圧、脳波状態、呼吸数、または眼移動のうちの少なくとも1つに関連する、項目6に記載の方法。
(項目8)
前記ユーザ相互作用のサブセットを3Dビューで前記ユーザに提示するための命令を生成することは、前記ユーザインターフェース動作のサブセットを含む仮想メニューを生成することと、前記壁の特性に基づいて、前記仮想メニューの空間場所を決定することと、前記ユーザの3D環境内の空間場所における前記仮想メニューの提示のための表示命令を生成することとを含む、項目1に記載の方法。
図面全体を通して、参照番号は、参照される要素間の対応を示すために再使用され得る。図面は、本明細書に説明される例示的実施形態を図示するために提供され、本開示の範囲を限定することを意図されない。加えて、本開示における図は、例証目的のためのものであって、正確な縮尺ではない。
(概要)
(概要)
現代のコンピュータインターフェースは、広範囲の機能性をサポートする。しかしながら、ユーザは、オプションの数に圧倒され得、着目オブジェクトを迅速に識別することができない。AR/VR/MR環境では、ウェアラブルデバイスのAR/VR/MRディスプレイを通して知覚されるようなユーザの視野(FOV)は、ユーザの自然FOVより小さくあり得るため、仮想オブジェクトの関連セットを提供することは、通常のコンピューティング環境より困難となる。
本明細書に説明されるウェアラブルシステムは、ユーザの環境を分析し、より小さくかつより関連する機能のサブセットをユーザインターフェース上に提供することによって、本問題を軽減することができる。ウェアラブルシステムは、例えば、ユーザの環境またはユーザの環境内のオブジェクト等のコンテキスト情報に基づいて、本機能のサブセットを提供し得る。ウェアラブルシステムは、物理オブジェクト(テーブルおよび壁等)および環境とのその関係を認識することができる。例えば、ウェアラブルシステムは、カップがテーブル(壁の代わりに)上に設置されるべきであって、絵画が垂直壁(テーブルの代わりに)上に設置されるべきであることを認識することができる。本関係に基づいて、ウェアラブルシステムは、仮想カップをユーザの部屋内のテーブル上に投影し、仮想絵画を垂直壁上に投影することができる。
オブジェクトとその環境との間の関係に加え、オブジェクトの配向(例えば、水平または垂直)、ユーザの環境の性質、および以前の使用パターン(時間、場所等)等の他の要因もまた、ウェアラブルシステムによって示されるべき仮想オブジェクトを決定するために使用されることができる。ユーザの環境の性質は、それがユーザがウェアラブルデバイスと比較的にセキュアかつプライベートな方式で相互作用し得るプライベート環境(例えば、ユーザの自宅またはオフィス内)または(ユーザがデバイスとのユーザの相互作用を見られたりまたは聞かれたりすることを所望し得ない)近傍の他者が存在し得るパブリック環境であるかどうかを含むことができる。プライベート環境またはパブリック環境の間の区別は、排他的ではない。例えば、公園は、多数の人々がユーザの近傍に存在する場合、パブリック環境であるが、ユーザが独りであるかまたは他者が近傍に存在しない場合、プライベート環境であり得る。区別は、少なくとも部分的に、近傍の人々の数、ユーザとのその近接度、ユーザとのその関係(例えば、彼らが、友人、家族、または見知らぬ人かどうか)等に基づいて行われてもよい。加えて、または代替として、ウェアラブルシステムは、オブジェクトと関連付けられたラベル(基準マーク等)を識別してもよい。ラベルは、基準マーカと関連付けられたオブジェクトのために表示されるべき仮想オブジェクト(仮想メニュー上のアイテム等)に関する情報を含有してもよい。
いくつかの実施形態では、ウェアラブルシステムはまた、種々の生理学的センサを含むことができる。これらのセンサは、心拍数、呼吸数、ガルバニック皮膚反応、血圧、脳波状態等のユーザの生理学的パラメータを測定または推定することができる。これらのセンサは、内向きに面したイメージングシステムと併用され、ユーザの眼移動および散瞳を決定してもよく、これはまた、ユーザの生理学的または心理学的状態の反映となり得る。生理学的センサまたは内向きに面したイメージングシステムによって入手されたデータは、ウェアラブルシステムによって分析され、気分および関心等のユーザの心理学的状態を決定することができる。ウェアラブルシステムは、ユーザの心理学的状態をコンテキスト情報の一部として使用し、少なくとも部分的に、ユーザの心理学的状態に基づいて、仮想オブジェクトのセットを提示することができる。
(ウェアラブルシステムの3Dディスプレイの実施例)
(ウェアラブルシステムの3Dディスプレイの実施例)
ウェアラブルシステム(本明細書では、拡張現実(AR)システムとも称される)は、2Dまたは3D仮想画像をユーザに提示するために構成されることができる。画像は、組み合わせまたは同等物における、静止画像、ビデオのフレーム、またはビデオであってもよい。ウェアラブルシステムは、ユーザ相互作用のために、単独で、または組み合わせて、VR、AR、またはMR環境を提示し得る、ウェアラブルデバイスを含むことができる。ウェアラブルデバイスは、頭部搭載型デバイス(HMD)であることができ、これは、ARデバイス(ARD)と同義的に使用される。ウェアラブルデバイスは、ヘルメット、眼鏡、ヘッドセット、または任意の他のウェアラブル構成の形態であってもよい。
図1は、人物によって視認される、ある仮想現実オブジェクトおよびある物理的オブジェクトを伴う、複合現実シナリオの例証を描写する。図1では、MR場面100が、描写され、MR技術のユーザには、人々、木々、背景内の建物、およびコンクリートプラットフォーム120を特徴とする、実世界公園状設定110が見える。これらのアイテムに加え、MR技術のユーザはまた、実世界プラットフォーム120上に立っているロボット像130と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ140とが「見える」と知覚するが、これらの要素は、実世界には存在しない。
3Dディスプレイが、真の深度感覚、より具体的には、表面深度のシミュレートされた感覚を生成するために、ディスプレイの視野内の点毎に、その仮想深度に対応する遠近調節応答を生成することが望ましくあり得る。ディスプレイ点に対する遠近調節応答が、収束および立体視の両眼深度キューによって決定されるようなその点の仮想深度に対応しない場合、ヒトの眼は、遠近調節衝突を体験し、不安定なイメージング、有害な眼精疲労、頭痛、および遠近調節情報の不在下では、表面深度のほぼ完全な欠如をもたらし得る。
VR、AR、およびMR体験は、複数の深度平面に対応する画像が視認者に提供されるディスプレイを有する、ディスプレイシステムによって提供されることができる。画像は、深度平面毎に異なってもよく(例えば、場面またはオブジェクトの若干異なる提示を提供する)、視認者の眼によって別個に集束され、それによって、異なる深度平面上に位置する場面に関する異なる画像特徴に合焦させるために要求される眼の遠近調節に基づいて、または合焦からずれている異なる深度平面上の異なる画像特徴を観察することに基づいて、ユーザに深度キューを提供することに役立ち得る。本明細書のどこかで議論されるように、そのような深度キューは、信用できる深度の知覚を提供する。
図2は、ウェアラブルシステム200の実施例を図示する。ウェアラブルシステム200は、ディスプレイ220と、ディスプレイ220の機能をサポートするための種々の機械的ならびに電子的モジュールおよびシステムとを含む。ディスプレイ220は、ユーザ、装着者、または視認者210によって装着可能である、フレーム230に結合されてもよい。ディスプレイ220は、ユーザ210の眼の正面に位置付けられることができる。ディスプレイ220は、AR/VR/MRコンテンツをユーザに提示するができる。ディスプレイ220は、ユーザの頭部に装着される、頭部搭載型ディスプレイ(HMD)を含むことができる。いくつかの実施形態では、スピーカ240が、フレーム230に結合され、ユーザの外耳道に隣接して位置付けられる(いくつかの実施形態では、示されない別のスピーカが、ユーザの他方の外耳道に隣接して位置付けられ、ステレオ/成形可能音響制御を提供する)。
ウェアラブルシステム200は、ユーザの周囲の環境内の世界を観察する、外向きに面したイメージングシステム464(図4に示される)を含むことができる。ウェアラブルシステム200はまた、ユーザの眼移動を追跡することができる、内向きに面したイメージングシステム462(図4に示される)を含むことができる。内向きに面したイメージングシステムは、一方の眼の移動または両方の眼の移動のいずれかを追跡することができる。内向きに面したイメージングシステム462は、フレーム230に取り付けられてもよく、内向きに面したイメージングシステムによって取得された画像情報を処理し、例えば、ユーザ210の眼、眼の移動、または眼姿勢の瞳孔直径または配向を決定し得る、処理モジュール260または270と電気通信してもよい。
実施例として、ウェアラブルシステム200は、外向きに面したイメージングシステム464または内向きに面したイメージングシステム462を使用して、ユーザの姿勢の画像を取得することができる。画像は、静止画像、ビデオのフレーム、もしくはビデオ、その組み合わせ、または同等物であってもよい。
いくつかの実施形態では、ウェアラブルシステム200は、1つ以上の生理学的センサ232を含むことができる。そのようなセンサの実施例は、共焦点顕微鏡センサ、電気眼振記録(ENG)センサ、電気眼球図記録(EOG)センサ、網膜電図(ERG)センサ、レーザドップラー血流計(LDF)センサ、光音響イメージングおよび圧力読取センサ、2光子励起顕微鏡センサ、および/または超音波センサ等の眼科試験のために構成される、センサを含む。センサの他の実施例は、心電図(ECG)センサ、脳波(EEG)センサ、筋電位(EMG)センサ、電気生理学試験(EP)センサ、事象関連電位(ERP)センサ、近赤外脳機能計測(fNIR)センサ、低解像度脳電磁波トモグラフィ(LORETA)センサ、および/または光コヒーレンストモグラフィ(OCT)センサ等の他の電気診断技術のために構成されるセンサを含む。センサ232のさらに他の実施例は、血糖値センサ、血圧センサ、皮膚電位センサ、光電式容積脈波記録機器、コンピュータ支援聴診のための感知機器、ガルバニック皮膚反応センサ、および/または体温センサ等の生理学的センサを含む。センサ232はまた、CO2監視センサ、呼吸数センサ、呼気終末CO2センサ、および/または呼気検知器を含んでもよい。
センサ232の実施例は、フレーム230に接続されるように図式的に図示される。本接続は、フレーム230への物理的取付の形態をとってもよく、フレーム230上の任意の場所であってもよい。実施例として、センサ232は、ユーザのこめかみ隣接してまたはフレーム230とユーザの鼻との間の接触点において配置されるように、フレーム230上に搭載されてもよい。別の実施例として、センサ232は、ユーザの耳にわたって延在するフレーム230の部分に配置されてもよい。いくつかの他の実施形態では、センサ232は、フレーム230から延在し、ユーザ210に接触してもよい。例えば、センサ232は、ユーザの身体の一部(ユーザの腕等)に触れ、有線接続を介して、フレーム230に接続してもよい。他の実施形態では、センサ232は、フレーム230に物理的に取り付けられなくてもよい。むしろ、センサ232は、無線接続を介して、ウェアラブルシステム200と通信してもよい。いくつかの実施形態では、ウェアラブルシステム200は、ヘルメットの形態を有してもよく、センサ232は、ユーザの頭部の頂点または側面に向かって配置されてもよい。
いくつかの実装では、センサ232は、ウェアラブルシステムによってコンテキスト情報として使用される、生理学的パラメータの直接測定を行う。例えば、心拍数センサは、直接、ユーザの心拍数を測定してもよい。他の実装では、センサ232(またはセンサのグループ)は、別の生理学的パラメータを推定するために使用される、測定を行ってもよい。例えば、ストレスは、心拍数測定およびガルバニック皮膚反応測定の組み合わせとして推定されてもよい。統計的技法が、センサデータに適用され、生理学的(または心理学的)状態を推定することができる。実施例として、センサデータは、機械学習技法(例えば、決定ツリー、ニューラルネットワーク、サポートベクトル機械、ベイズ技法)を使用して組み合わせられ、ユーザの状態を推定することができる。状態の推定は、バイナリ状態(例えば、ストレスまたはベースライン)、複数の状態(例えば、ストレス、ベースライン、またはリラックス)、または確率論的測定(例えば、ユーザがストレス下にある確率)を提供してもよい。生理学的または心理学的状態は、例えば、不安、ストレス、怒り、愛情、退屈、絶望または落胆、幸せ、悲しみ、孤独、衝撃、または驚き等のユーザの任意の感情状態を反映させ得る。
ディスプレイ220は、ローカルデータ処理モジュール260に動作可能に結合され(250)、該ローカルデータ処理モジュール260は、有線導線または無線接続等によって、フレーム230に固定して取り付けられる、ユーザによって装着されるヘルメットもしくは帽子に固定して取り付けられる、ヘッドホンに内蔵される、または別様にユーザ210に(例えば、バックパック式構成において、ベルト結合式構成において)可撤式に取り付けられる等、種々の構成において搭載され得る。
ローカル処理およびデータモジュール260は、ハードウェアプロセッサならびに不揮発性メモリ(例えば、フラッシュメモリ)等のデジタルメモリを備えてもよく、その両方は、データの処理、キャッシング、および記憶を補助するために利用され得る。データは、a)画像捕捉デバイス(例えば、内向きに面したイメージングシステムまたは外向きに面したイメージングシステム内のカメラ)、マイクロホン、慣性測定ユニット(IMU)、加速度計、コンパス、全地球測位システム(GPS)ユニット、無線デバイス、もしくはジャイロスコープ等の(例えば、フレーム230に動作可能に結合される、または別様にユーザ210に取り付けられ得る)センサから捕捉されるデータ、または、b)場合によっては処理もしくは読出後にディスプレイ220への伝達のために、遠隔処理モジュール270もしくは遠隔データリポジトリ280を使用して取得もしくは処理されるデータを含んでもよい。ローカル処理およびデータモジュール260は、これらの遠隔モジュールがローカル処理およびデータモジュール260へのリソースとして利用可能であるように、有線または無線通信リンクを介して等、通信リンク262または264によって遠隔処理モジュール270または遠隔データリポジトリ280に動作可能に結合されてもよい。加えて、遠隔処理モジュール280および遠隔データリポジトリ280は、相互に動作可能に結合されてもよい。
いくつかの実施形態では、遠隔処理モジュール270は、データおよび/または画像情報を分析ならびに処理するように構成される、1つ以上のハードウェアプロセッサを備えてもよい。いくつかの実施形態では、遠隔データリポジトリ280は、デジタルデータ記憶設備を備え得、これは、「クラウド」リソース構成におけるインターネットまたは他のネットワーキング構成を通して利用可能であってもよい。いくつかの実施形態では、全てのデータが、記憶され、全ての計算が、ローカル処理およびデータモジュールにおいて実施され、遠隔モジュールからの完全に自律的な使用を可能にする。
ヒト視覚系は、複雑であって、深度の現実的知覚を提供することは、困難である。理論によって限定されるわけではないが、オブジェクトの視認者は、輻輳・開散運動(vergence)および遠近調節(accommodation)の組み合わせに起因して、オブジェクトを3次元として知覚し得ると考えられる。相互に対する2つの眼の輻輳・開散運動(すなわち、眼の視線を収束させ、オブジェクト上に固定させるための相互に向かう、またはそこから離れるような瞳孔の転動運動)は、眼の水晶体の集束(または「遠近調節」)と密接に関連付けられる。通常条件下では、眼の水晶体の焦点を変更する、または眼を遠近調節し、1つのオブジェクトから異なる距離における別のオブジェクトに焦点を変更させることは、自動的に、「遠近調節-輻輳・開散運動反射」として知られる関係下、同一距離まで輻輳・開散運動における整合する変化を生じさせるであろう。同様に、輻輳・開散運動における変化は、通常条件下、遠近調節における整合する変化をトリガするであろう。遠近調節と輻輳・開散運動との間のより良好な整合を提供するディスプレイシステムは、3次元画像のより現実的かつ快適なシミュレーションを形成し得る。
図3は、複数の深度平面を使用して3次元画像をシミュレートするためのアプローチの側面を図示する。図3を参照すると、z-軸上の眼302および304からの種々の距離におけるオブジェクトは、それらのオブジェクトが合焦するように、眼302および304によって遠近調節される。眼302および304は、特定の遠近調節された状態をとり、オブジェクトをz-軸に沿った異なる距離に合焦させる。その結果、特定の遠近調節された状態は、特定の深度平面におけるオブジェクトまたはオブジェクトの一部が、眼がその深度平面に対して遠近調節された状態にあるとき、合焦するように、関連付けられた焦点距離を有して、深度平面306のうちの特定の1つと関連付けられると言え得る。いくつかの実施形態では、3次元画像は、各眼302および304に対し、画像の異なる提示を提供することによって、そして、深度平面のそれぞれに対応する画像の異なる提示を提供することによって、シミュレートされてもよい。例証を明確にするために、別個であるように示されるが、眼302および304の視野は、例えば、z-軸に沿った距離が増加するにつれて、重複し得ることを理解されたい。加えて、例証を容易にするために、平坦であるように示されるが、深度平面の等高線は、深度平面内の全ての特徴が特定の遠近調節された状態において眼と合焦するように、物理的空間内で湾曲されてもよいことを理解されたい。理論によって限定されるわけではないが、ヒトの眼は、典型的には、深度知覚を提供するために、有限数の深度平面を解釈し得ると考えられる。その結果、知覚される深度の高度に真実味のあるシミュレーションが、これらの限定された数の深度平面のそれぞれに対応する画像の異なる表現を眼に提供することによって達成され得る。
(導波管スタックアセンブリ)
(導波管スタックアセンブリ)
図4は、画像情報をユーザに出力するための導波管スタックの実施例を図示する。ウェアラブルシステム400は、複数の導波管432b、434b、436b、438b、4400bを使用して、3次元知覚を眼/脳に提供するために利用され得る、導波管のスタックまたはスタックされた導波管アセンブリ480を含む。いくつかの実施形態では、ウェアラブルシステム400は、図2のウェアラブルシステム200に対応してもよく、図4は、ウェアラブルシステム200のいくつかの部分をより詳細に図式的に示す。例えば、いくつかの実施形態では、導波管アセンブリ480は、図2のディスプレイ220の中に統合されてもよい。
図4を継続して参照すると、導波管アセンブリ480はまた、複数の特徴458、456、454、452を導波管の間に含んでもよい。いくつかの実施形態では、特徴458、456、454、452は、レンズであってもよい。他の実施形態では、特徴458、456、454、452は、レンズではなくてもよい。むしろ、それらは、単に、スペーサであってもよい(例えば、空気間隙を形成するためのクラッディング層または構造)。
導波管432b、434b、436b、438b、440bまたは複数のレンズ458、456、454、452は、種々のレベルの波面曲率または光線発散を伴って、画像情報を眼に送信するように構成されてもよい。各導波管レベルは、特定の深度平面と関連付けられてもよく、その深度平面に対応する画像情報を出力するように構成されてもよい。画像投入デバイス420、422、424、426、428は、それぞれ、眼410に向かって出力するために、各個別の導波管を横断して入射光を分散させるように構成され得る、導波管440b、438b、436b、434b、432bの中に画像情報を投入するために利用されてもよい。光は、画像投入デバイス420、422、424、426、428の出力表面から出射し、導波管440b、438b、436b、434b、432bの対応する入力縁の中に投入される。いくつかの実施形態では、光の単一ビーム(例えば、コリメートされたビーム)が、各導波管の中に投入され、特定の導波管と関連付けられる深度平面に対応する特定の角度(および発散量)において眼410に向かって指向される、クローン化されたコリメートビームの場全体を出力してもよい。
いくつかの実施形態では、画像投入デバイス420、422、424、426、428は、それぞれ、それぞれが対応する導波管440b、438b、436b、434b、432bの中に投入するための画像情報を生成する、離散ディスプレイである。いくつかの他の実施形態では、画像投入デバイス420、422、424、426、428は、例えば、画像情報を1つ以上の光学導管(光ファイバケーブル等)を介して、画像投入デバイス420、422、424、426、428のそれぞれに送り得る、単一の多重化されたディスプレイの出力端である。
コントローラ460が、スタックされた導波管アセンブリ480および画像投入デバイス420、422、424、426、428の動作を制御する。コントローラ460は、導波管440b、438b、436b、434b、432bへの画像情報のタイミングおよび提供を調整する、プログラミング(例えば、非一過性コンピュータ可読媒体内の命令)を含む。いくつかの実施形態では、コントローラ460は、単一の一体型デバイスであってもよいかまたは有線もしくは無線通信チャンネルによって接続される分散型システムであってもよい。コントローラ460は、いくつかの実施形態では、処理モジュール260または270(図2に図示される)の一部であってもよい。
導波管440b、438b、436b、434b、432bは、全内部反射(TIR)によって、光を各個別の導波管内で伝搬させるように構成されてもよい。導波管440b、438b、436b、434b、432bはそれぞれ、主要上部表面および主要底部表面と、それらの主要上部表面と主要底部表面との間に延在する縁とを伴う平面状であるかまたは別の形状(例えば、湾曲)を有してもよい。図示される構成では、導波管440b、438b、436b、434b、432bはそれぞれ、光を再指向させ、各個別の導波管内で伝搬させ、導波管から、画像情報を眼410に出力することによって、光を導波管から抽出するように構成される、光抽出光学要素440a、438a、436a、434a、432aを含んでもよい。抽出された光はまた、外部結合光と称され得、光抽出光学要素はまた、外部結合光学要素と称され得る。抽出された光のビームは、導波管によって、導波管内で伝搬する光が光再指向要素に衝打する場所に出力される。光抽出光学要素(440a、438a、436a、434a、432a)は、例えば、反射または回折光学特徴であってもよい。説明を容易にし、図面を明確にするために、導波管440b、438b、436b、434b、432bの底部主要表面に配置されて図示されるが、いくつかの実施形態では、光抽出光学要素440a、438a、436a、434a、432aは、上部または底部主要表面に配置されてもよい、または、導波管440b、438b、436b、434b、432bの容積内に直接配置されてもよい。いくつかの実施形態では、光抽出光学要素440a、438a、436a、434a、432aは、透明基板に取り付けられ、導波管440b、438b、436b、434b、432bを形成する、材料の層内に形成されてもよい。いくつかの他の実施形態では、導波管440b、438b、436b、434b、432bは、モノリシック材料片であってもよく、光抽出光学要素440a、438a、436a、434a、432aは、その材料片の表面上および/または内部に形成されてもよい。
図4を継続して参照すると、本明細書に議論されるように、各導波管440b、438b、436b、434b、432bは、光を出力し、特定の深度平面に対応する画像を形成するように構成される。例えば、眼の最近傍の導波管432bは、そのような導波管432bの中に投入されるにつれて、コリメートされた光を眼410に送達するように構成されてもよい。コリメートされた光は、光学無限遠焦点面を表し得る。次の上方の導波管434bは、眼410に到達し得る前に、第1のレンズ452(例えば、負のレンズ)を通して通過する、コリメートされた光を送出するように構成されてもよい。第1のレンズ452は、眼/脳が、その次の上方の導波管434bから生じる光を光学無限遠から眼410に向かって内向きにより近い第1の焦点面から生じるように解釈するように、若干の凸面波面曲率を生成するように構成されてもよい。同様に、第3の上方の導波管436bは、眼410に到達する前に、その出力光を第1のレンズ452および第2のレンズ454の両方を通して通過させる。第1および第2のレンズ452および454の組み合わせられた屈折力は、眼/脳が、第3の上方の導波管436bから生じる光を次の上方の導波管434bからの光であったよりも光学無限遠から人物に向かって内向きにさらに近い第2の焦点面から生じるように解釈するように、別の漸増量の波面曲率を生成するように構成されてもよい。
他の導波管層(例えば、導波管438b、440b)およびレンズ(例えば、レンズ456、458)も同様に構成され、スタック内の最高導波管440bを用いて、人物に最も近い焦点面を表す集約焦点力のために、その出力をそれと眼との間のレンズの全てを通して送出する。スタックされた導波管アセンブリ480の他側の世界470から生じる光を視認/解釈するとき、レンズ458、456、454、452のスタックを補償するために、補償レンズ層430が、スタックの上部に配置され、下方のレンズスタック458、456、454、452の集約力を補償してもよい。そのような構成は、利用可能な導波管/レンズ対と同じ数の知覚される焦点面を提供する。導波管の光抽出光学要素およびレンズの集束側面は両方とも、静的であってもよい(例えば、動的または電気活性ではない)。いくつかの代替実施形態では、いずれかまたは両方とも、電気活性特徴を使用して動的であってもよい。
図4を継続して参照すると、光抽出光学要素440a、438a、436a、434a、432aは、導波管と関連付けられた特定の深度平面のために、光をその個別の導波管から再指向することと、本光を適切な量の発散またはコリメーションを伴って出力することとの両方を行うように構成されてもよい。その結果、異なる関連付けられた深度平面を有する導波管は、光抽出光学要素の異なる構成を有してもよく、これは、関連付けられた深度平面に応じて、異なる量の発散を伴う光を出力する。いくつかの実施形態では、本明細書に議論されるように、光抽出光学要素440a、438a、436a、434a、432aは、体積特徴または表面特徴であってもよく、これは、具体的角度において光を出力するように構成されてもよい。例えば、光抽出光学要素440a、438a、436a、434a、432aは、体積ホログラム、表面ホログラム、および/または回折格子であってもよい。回折格子等の光抽出光学要素は、2015年6月25日に公開された米国特許公開第2015/0178939号(参照することによってその全体として本明細書に組み込まれる)に説明される。
いくつかの実施形態では、光抽出光学要素440a、438a、436a、434a、432aは、回折パターンを形成する回折特徴、すなわち、「回折光学要素」(本明細書では、「DOE」とも称される)である。好ましくは、DOEは、ビームの光の一部のみがDOEの各交差点で眼410に向かって偏向される一方、残りが、全内部反射を介して、導波管を通して移動し続けるように、比較的に低い回折効率を有する。画像情報を搬送する光は、したがって、複数の場所において導波管から出射する、いくつかの関連出射ビームに分割され、その結果は、導波管内でバウンスする本特定のコリメートされたビームに関して、眼304に向かう非常に均一なパターンの出射放出となることができる。
いくつかの実施形態では、1つ以上のDOEは、能動的に回折する「オン」状態と有意に回折しない「オフ」状態との間で切替可能であってもよい。例えば、切替可能なDOEは、ポリマー分散液晶の層を備えてもよく、その中で微小液滴は、ホスト媒体中に回折パターンを備え、微小液滴の屈折率は、ホスト材料の屈折率に実質的に整合するように切り替えられてもよい(その場合、パターンは、入射光を著しく回折させない)、または微小液滴は、ホスト媒体のものに整合しない屈折率に切り替えられてもよい(その場合、パターンは、入射光を能動的に回折させる)。
いくつかの実施形態では、深度平面または被写界深度の数および分布は、視認者の眼の瞳孔サイズまたは配向に基づいて、動的に変動されてもよい。被写界深度は、視認者の瞳孔サイズと反比例して変化してもよい。その結果、視認者の眼の瞳孔のサイズが減少するにつれて、被写界深度は、その平面の場所が眼の焦点深度を越えるため判別不能である1つの平面が、判別可能となり、瞳孔サイズの低減および被写界深度の相当する増加に伴って、より合焦して現れ得るように増加する。同様に、異なる画像を視認者に提示するために使用される、離間される深度平面の数は、減少された瞳孔サイズに伴って減少されてもよい。例えば、視認者は、一方の深度平面から他方の深度平面への眼の遠近調節を調節せずに、第1の深度平面および第2の深度平面の両方の詳細を1つの瞳孔サイズにおいて明確に知覚することが可能ではない場合がある。しかしながら、これらの2つの深度平面は、同時に、遠近調節を変化させずに、別の瞳孔サイズにおいてユーザに合焦するには十分であり得る。
いくつかの実施形態では、ディスプレイシステムは、瞳孔サイズおよび/または配向の決定に基づいて、もしくは特定の瞳孔サイズ/または配向を示す電気信号の受信に応じて、画像情報を受信する導波管の数を変動させてもよい。例えば、ユーザの眼が、2つの導波管と関連付けられた2つの深度平面間を区別不能である場合、コントローラ460は、これらの導波管のうちの1つへの画像情報の提供を停止するように構成またはプログラムされてもよい。有利には、これは、システムへの処理負担を低減させ、それによって、システムの応答性を増加させ得る。導波管のためのDOEがオンおよびオフ状態間で切替可能である実施形態では、DOEは、導波管が画像情報を受信するとき、オフ状態に切り替えられてもよい。
いくつかの実施形態では、出射ビームに視認者の眼の直径未満の直径を有するという条件を満たさせることが望ましくあり得る。しかしながら、本条件を満たすことは、視認者の瞳孔のサイズの変動性に照らして、困難であり得る。いくつかの実施形態では、本条件は、視認者の瞳孔のサイズの決定に応答して出射ビームのサイズを変動させることによって、広範囲の瞳孔サイズにわたって満たされる。例えば、瞳孔サイズが減少するにつれて、出射ビームのサイズもまた、減少し得る。いくつかの実施形態では、出射ビームサイズは、可変開口を使用して変動されてもよい。
ウェアラブルシステム400は、世界470の一部をイメージングする、外向きに面したイメージングシステム464(例えば、デジタルカメラ)を含むことができる。世界470の本部分は、世界カメラの視野(FOV)と称され得、イメージングシステム464は、時として、FOVカメラとも称される。視認者による視認またはイメージングのために利用可能な領域全体は、動眼視野(FOR)と称され得る。FORは、装着者が、その身体、頭部、または眼を移動させ、空間内の実質的に任意の方向を知覚するため、ウェアラブルシステム400を囲繞する4πステラジアンの立体角を含んでもよい。他の状況では、装着者の移動は、より抑制されてもよく、それに応じて、装着者のFORは、より小さい立体角に接し得る。外向きに面したイメージングシステム464から得られた画像は、ユーザによって行われるジェスチャ(例えば、手または指のジェスチャ)を追跡し、ユーザの正面における世界470内のオブジェクトを検出する等のために、使用されることができる。
ウェアラブルシステム400はまた、眼移動および顔移動等のユーザの移動を観察する、内向きに面したイメージングシステム466(例えば、デジタルカメラ)を含むことができる。内向きに面したイメージングシステム466は、眼410の画像を捕捉し、眼304の瞳孔のサイズおよび/または配向を決定するために使用されてもよい。内向きに面したイメージングシステム466は、ユーザが見ている方向(例えば、眼姿勢)を決定する際に使用するため、またはユーザのバイオメトリック識別のため(例えば、虹彩識別を介して)、画像を得るために使用されることができる。いくつかの実施形態では、少なくとも1つのカメラが、各眼に対し、独立して、各眼の瞳孔サイズまたは眼姿勢を別個に決定し、それによって、各眼への画像情報の提示がその眼に対して動的に調整されることを可能にするために利用されてもよい。いくつかの他の実施形態では、単一眼410のみの瞳孔直径または配向(例えば、対の眼あたり単一カメラのみを使用して)が、決定され、ユーザの両眼に関して類似すると仮定される。内向きに面したイメージングシステム466によって得られる画像は、ユーザに提示されるべきオーディオまたは視覚的コンテンツを決定するためにウェアラブルシステム400によって使用され得る、ユーザの眼姿勢または気分を決定するために分析されてもよい。ウェアラブルシステム400はまた、IMU、加速度計、ジャイロスコープ等のセンサを使用して、頭部姿勢(例えば、頭部位置または頭部配向)を決定してもよい。
ウェアラブルシステム400は、ユーザが、コマンドをコントローラ460に入力し、ウェアラブルシステム400と相互作用し得る、ユーザ入力デバイス466を含むことができる。例えば、ユーザ入力デバイス466は、トラックパッド、タッチスクリーン、ジョイスティック、多自由度(DOF)コントローラ、容量感知デバイス、ゲームコントローラ、キーボード、マウス、指向性パッド(Dパッド)、ワンド、触知デバイス、トーテム(例えば、仮想ユーザ入力デバイスとして機能する)等を含むことができる。マルチDOFコントローラは、コントローラの一部または全部の可能性として考えられる平行移動(例えば、左/右、前方/後方、または上/下)または回転(例えば、ヨー、ピッチ、またはロール)におけるユーザ入力を感知することができる。平行移動をサポートする、マルチDOFコントローラは、3DOFと称され得る一方、平行移動および回転をサポートする、マルチDOFコントローラは、6DOFと称され得る。ある場合には、ユーザは、指(例えば、親指)を使用して、タッチセンサ式入力デバイスを押下またはその上でスワイプし、入力をウェアラブルシステム400に提供してもよい(例えば、ユーザ入力をウェアラブルシステム400によって提供されるユーザインターフェースに提供するために)。ユーザ入力デバイス466は、ウェアラブルシステム400の使用の間、ユーザの手によって保持されてもよい。ユーザ入力デバイス466は、ウェアラブルシステム400と有線または無線通信することができる。
ウェアラブルシステム400はまた、心拍数、ガルバニック皮膚反応、呼吸数等のユーザの生理学的パラメータを測定するように構成される、生理学的センサ468(図2におけるセンサ232の例示的実施形態であってもよい)を含むことができる。生理学的センサは、入手されたデータをコントローラ460に通信してもよい。コントローラ460は、単独で、または他のセンサによって取得されるデータと組み合わせて、生理学的センサによって入手されたデータを使用して、ユーザの生理学的および/または心理学的状態を決定することができる。例えば、コントローラ460は、生理学的センサ468によって入手された心拍数データと、内向きに面したイメージングシステム462によって入手された散瞳情報を組み合わせ、ユーザが楽しんでいるかまたは怒っているかを決定することができる。以下にさらに説明されるように、ウェアラブルシステムは、ユーザの生理学的状態および/または心理学的状態に基づいて、選択的に、仮想コンテンツをユーザに提示することができる。
図5は、導波管によって出力された出射ビームの実施例を示す。1つの導波管が図示されるが、導波管アセンブリ480内の他の導波管も同様に機能し得、導波管アセンブリ480は、複数の導波管を含むことを理解されたい。光520が、導波管432bの入力縁432cにおいて導波管432bの中に投入され、TIRによって導波管432b内を伝搬する。光520がDOE432aに衝突する点では、光の一部は、導波管から出射ビーム510として出射する。出射ビーム510は、略平行として図示されるが、それらはまた、導波管432bと関連付けられた深度平面に応じて、ある角度で眼410に伝搬するように再指向されてもよい(例えば、発散出射ビーム形成)。略平行出射ビームは、眼410からの遠距離(例えば、光学無限遠)における深度平面に設定されるように現れる画像を形成するように光を外部結合する、光抽出光学要素を伴う導波管を示し得ることを理解されたい。他の導波管または他の光抽出光学要素のセットは、より発散する、出射ビームパターンを出力してもよく、これは、眼410がより近い距離に遠近調節し、網膜に合焦させることを要求し、光学無限遠より眼410に近い距離からの光として脳によって解釈されるであろう。
図6は、導波管装置と、光を導波管装置へまたはそこから光学的に結合するための光学結合器サブシステムと、多焦点立体ディスプレイ、画像、またはライトフィールドの生成において使用される制御サブシステムとを含む、光学システムを示す、概略図である。光学システムは、導波管装置と、光を導波管装置にまたはそこから光学的に結合するための光学結合器サブシステムと、制御サブシステムとを含むことができる。光学システムは、多焦点立体、画像、またはライトフィールドを生成するために使用されることができる。光学システムは、1つ以上の一次平面導波管632a(1つのみのが図6に示される)と、一次導波管632aの少なくともいくつかのそれぞれと関連付けられた1つ以上のDOE632bとを含むことができる。平面導波管632bは、図4を参照して議論される導波管432b、434b、436b、438b、440bに類似することができる。光学システムは、分散導波管装置を採用し、光を第1の軸(図6の図では、垂直またはY-軸)に沿って中継し、第1の軸(例えば、Y-軸)に沿って光の有効射出瞳を拡張させてもよい。分散導波管装置は、例えば、分散平面導波管622bと、分散平面導波管622bと関連付けられた少なくとも1つのDOE622a(二重破線によって図示される)とを含んでもよい。分散平面導波管622bは、少なくともいくつかの点において、それと異なる配向を有する一次平面導波管632bと類似または同じであってもよい。同様に、少なくとも1つのDOE622aは、少なくともいくつかの点において、DOE632aと類似または同じであってもよい。例えば、分散平面導波管622bまたはDOE622aは、それぞれ、一次平面導波管632bまたはDOE632aと同一材料から成ってもよい。図6に示される光学ディスプレイシステム600の実施形態は、図2に示されるウェアラブルシステム200の中に統合されることができる。
中継され、射出瞳が拡張された光は、分散導波管装置から1つ以上の一次平面導波管632bの中に光学的に結合され得る。一次平面導波管632bは、好ましくは、第1の軸に直交する、第2の軸(例えば、図6の図では、水平またはX-軸)に沿って、光を中継することができる。着目すべきこととして、第2の軸は、第1の軸に対して非直交軸であることができる。一次平面導波管632bは、その第2の軸(例えば、X-軸)に沿って、光の有効射出瞳を拡張させる。例えば、分散平面導波管622bは、光を垂直またはY-軸に沿って中継および拡張させ、光を水平またはX-軸に沿って中継および拡張させ得る、一次平面導波管632bにその光を通過させることができる。
光学システムは、単一モード光ファイバ640の近位端の中に光学的に結合され得る、1つ以上の有色光源(例えば、赤色、緑色、および青色レーザ光)610を含んでもよい。光ファイバ640の遠位端は、圧電材料の中空管642を通して螺合または受容されてもよい。遠位端は、固定されない可撓性カンチレバー644として、管642から突出する。圧電管642は、4つの象限電極(図示せず)と関連付けられることができる。電極は、例えば、管642の外側、外側表面もしくは外側周縁、または直径に鍍着されてもよい。コア電極(図示せず)もまた、管642のコア、中心、内側周縁、または内径に位置してもよい。
例えば、ワイヤ660を介して電気的に結合される、駆動電子機器650は、対向する対の電極を駆動し、圧電管642を独立して2つの軸において屈曲させる。光ファイバ644の突出する遠位先端は、機械的共鳴モードを有する。共鳴の周波数は、光ファイバ644の直径、長さ、および材料性質に依存し得る。圧電管642をファイバカンチレバー644の第1の機械的共鳴モードの近傍で振動させることによって、ファイバカンチレバー644は、振動させられ、大偏向を通して掃引し得る。
2つの軸において共振振動を刺激することによって、ファイバカンチレバー644の先端は、2次元(2-D)走査を充填する面積内において2軸方向に走査される。光源610の強度をファイバカンチレバー644の走査と同期して変調させることによって、ファイバカンチレバー644から発せられる光は、画像を形成することができる。そのような設定の説明は、米国特許公開第2014/0003762号(参照することによってその全体として本明細書に組み込まれる)に提供されている。
光学結合器サブシステムのコンポーネントは、走査ファイバカンチレバー644から発せられる光をコリメートすることができる。コリメートされた光は、鏡付き表面648によって、少なくとも1つの回折光学要素(DOE)622aを含有する、狭分散平面導波管622bの中に反射されることができる。コリメートされた光は、TIRによって分散平面導波管622bに沿って(図6の図に対して)垂直に伝搬し、そうすることによって、DOE622aと繰り返し交差することができる。DOE622aは、好ましくは、低回折効率を有する。これは、光の一部(例えば、10%)をDOE622aとの交差点の各点においてより大きい一次平面導波管632bの縁に向かって回折させ、光の一部をTIRを介して分散平面導波管622bの長さを辿ってそのオリジナル軌道上で継続させることができる。
DOE622aとの交差点の各点において、付加的光が、一次導波管632bの入口に向かって回折されることができる。入射光を複数の外部結合セットに分割することによって、光の射出瞳は、分散平面導波管622b内のDOE4によって垂直に拡張されることができる。分散平面導波管622bから外部結合された本垂直に拡張された光は、一次平面導波管632bの縁に進入することができる。
一次導波管632bに進入する光は、TIRを介して、一次導波管632bに沿って(図6の図に対して)水平に伝搬することができる。光は、複数の点においてDOE632aと交差するにつれて、TIRを介して、一次導波管632bの長さの少なくとも一部に沿って水平に伝搬する。DOE632aは、有利には、線形回折パターンおよび半径方向対称回折パターンの総和である、位相プロファイルを有し、光の偏向および集束の両方を生成するように設計または構成され得る。DOE632aは、有利には、ビームの光の一部のみが、DOE632aの各交差点において視認者の眼に向かって偏向される一方、光の残りが、TIRを介して、一次導波管632bを通して伝搬し続けるように、低回折効率(例えば、10%)を有し得る。
伝搬する光とDOE632aとの間の交差点の各点において、光の一部は、一次導波管632bの隣接面に向かって回折され、光がTIRから逃散し、一次導波管632bの面から発せられることを可能にする。いくつかの実施形態では、DOE632aの半径方向対称回折パターンは、加えて、ある焦点レベルを回折された光に付与し、個々のビームの光波面を成形(例えば、曲率を付与する)することと、ビームを設計される焦点レベルに合致する角度に操向することとの両方を行う。
故に、これらの異なる経路は、異なる角度におけるDOE632aの多重度、焦点レベル、および/または射出瞳において異なる充填パターンをもたらすことによって、光を一次平面導波管632bの外部で結合させることができる。射出瞳における異なる充填パターンは、有利には、複数の深度平面を伴うライトフィールドディスプレイを生成するために使用されることができる。導波管アセンブリ内の各層またはスタック内の層のセット(例えば、3層)が、個別の色(例えば、赤色、青色、緑色)を生成するために採用されてもよい。したがって、例えば、第1の3つの隣接する層のセットが、それぞれ、赤色、青色および緑色光を第1の焦点深度において生成するために採用されてもよい。第2の3つの隣接する層のセットが、それぞれ、赤色、青色、および緑色光を第2の焦点深度において生成するために採用されてもよい。複数のセットが、種々の焦点深度を伴うフル3Dまたは4Dカラー画像ライトフィールドを生成するために採用されてもよい。
(ウェアラブルシステムの他のコンポーネント)
(ウェアラブルシステムの他のコンポーネント)
多くの実装では、ウェアラブルシステムは、上記に説明されるウェアラブルシステムのコンポーネントに加えて、またはその代替として、他のコンポーネントを含んでもよい。ウェアラブルシステムは、例えば、1つ以上の触知デバイスまたはコンポーネントを含んでもよい。触知デバイスまたはコンポーネントは、触覚をユーザに提供するように動作可能であってもよい。例えば、触知デバイスまたはコンポーネントは、仮想コンテンツ(例えば、仮想オブジェクト、仮想ツール、他の仮想構造)に触れると、圧力および/またはテクスチャの触覚を提供してもよい。触覚は、仮想オブジェクトが表す物理的オブジェクトの感覚を再現してもよい、または仮想コンテンツが表す想像上のオブジェクトもしくはキャラクタ(例えば、ドラゴン)の感覚を再現してもよい。いくつかの実装では、触知デバイスまたはコンポーネントは、ユーザによって装着されてもよい(例えば、ユーザウェアラブルグローブ)。いくつかの実装では、触知デバイスまたはコンポーネントは、ユーザによって保持されてもよい。
ウェアラブルシステムは、例えば、ユーザによって操作可能であって、ウェアラブルシステムへの入力またはそれとの相互作用を可能にする、1つ以上の物理的オブジェクトを含んでもよい。これらの物理的オブジェクトは、本明細書では、トーテムと称され得る。いくつかのトーテムは、例えば、金属またはプラスチック片、壁、テーブルの表面等、無生物オブジェクトの形態をとってもよい。ある実装では、トーテムは、実際には、任意の物理的入力構造(例えば、キー、トリガ、ジョイスティック、トラックボール、ロッカスイッチ)を有していなくてもよい。代わりに、トーテムは、単に、物理的表面を提供してもよく、ウェアラブルシステムは、ユーザにトーテムの1つ以上の表面上にあるように見えるように、ユーザインターフェースをレンダリングしてもよい。例えば、ウェアラブルシステムは、トーテムの1つ以上の表面上に常駐するように見えるように、コンピュータキーボードおよびトラックパッドの画像をレンダリングしてもよい。例えば、ウェアラブルシステムは、トーテムとしての役割を果たす、アルミニウムの薄い長方形プレートの表面上に見えるように、仮想コンピュータキーボードおよび仮想トラックパッドをレンダリングしてもよい。長方形プレート自体は、任意の物理的キーまたはトラックパッドもしくはセンサを有していない。しかしながら、ウェアラブルシステムは、仮想キーボードまたは仮想トラックパッドを介して行われた選択または入力として、長方形プレートを用いたユーザ操作または相互作用もしくはタッチを検出し得る。ユーザ入力デバイス466(図4に示される)は、トラックパッド、タッチパッド、トリガ、ジョイスティック、トラックボール、ロッカもしくは仮想スイッチ、マウス、キーボード、多自由度コントローラ、または別の物理的入力デバイスを含み得る、トーテムの実施形態であってもよい。ユーザは、単独で、または姿勢と組み合わせて、トーテムを使用し、ウェアラブルシステムまたは他のユーザと相互作用してもよい。
本開示のウェアラブルデバイス、HMD、およびディスプレイシステムと使用可能な触知デバイスおよびトーテムの実施例は、米国特許公開第2015/0016777号(参照することによってその全体として本明細書に組み込まれる)に説明されている。
(例示的ウェアラブルシステム、環境、およびインターフェース)
(例示的ウェアラブルシステム、環境、およびインターフェース)
ウェアラブルシステムは、高被写界深度をレンダリングされたライトフィールド内で達成するために、種々のマッピング関連技法を採用してもよい。仮想世界をマッピングする際、実世界内の全ての特徴および点を把握し、仮想オブジェクトを実世界に関連して正確に描くことが有利である。この目的を達成するために、ウェアラブルシステムのユーザから捕捉されたFOV画像が、実世界の種々の点および特徴についての情報を伝達する新しい写真を含むことによって、世界モデルに追加されることができる。例えば、ウェアラブルシステムは、マップ点(2D点または3D点等)のセットを収集し、新しいマップ点を見出し、世界モデルのより正確なバージョンをレンダリングすることができる。第1のユーザの世界モデルは、第2のユーザが第1のユーザを囲繞する世界を体験し得るように、(例えば、クラウドネットワーク等のネットワークを経由して)第2のユーザに通信されることができる。
図7は、MR環境700の実施例のブロック図である。MR環境700は、入力(例えば、ユーザのウェアラブルシステムからの視覚的入力702、室内カメラ等の定常入力704、種々のセンサからの感覚入力706、ユーザ入力デバイス466からのジェスチャ、トーテム、眼追跡、ユーザ入力等)を1つ以上のユーザウェアラブルシステム(例えば、ウェアラブルシステム200またはディスプレイシステム220)または定常室内システム(例えば、室内カメラ等)から受信するように構成されてもよい。ウェアラブルシステムは、種々のセンサ(例えば、加速度計、ジャイロスコープ、温度センサ、移動センサ、深度センサ、GPSセンサ、内向きに面したイメージングシステム、外向きに面したイメージングシステム等)を使用して、ユーザの環境の場所および種々の他の属性を決定することができる。本情報はさらに、異なる視点からの画像または種々のキューを提供し得る、部屋内の定常カメラからの情報で補完されてもよい。カメラ(室内カメラおよび/または外向きに面したイメージングシステムのカメラ等)によって取得された画像データは、マッピング点のセットに低減されてもよい。
1つ以上のオブジェクト認識装置708が、受信されたデータ(例えば、点の集合)を通してクローリングし、点を認識またはマッピングし、画像をタグ付けし、マップデータベース710の支援を用いて、意味論情報をオブジェクトに結び付けることができる。マップデータベース710は、経時的に収集された種々の点およびその対応するオブジェクトを備えてもよい。種々のデバイスおよびマップデータベースは、ネットワーク(例えば、LAN、WAN等)を通して相互に接続され、クラウドにアクセスすることができる。
本情報およびマップデータベース内の点の集合に基づいて、オブジェクト認識装置708a-708nは、環境内のオブジェクトを認識してもよい。例えば、オブジェクト認識装置は、顔、人物、窓、壁、ユーザ入力デバイス、テレビ、ユーザの環境内の他のオブジェクト等を認識することができる。1つ以上のオブジェクト認識装置が、ある特性を伴うオブジェクトのために特殊化されてもよい。例えば、オブジェクト認識装置708aは、顔を認識するために使用されてもよい一方、別のオブジェクト認識装置は、トーテムを認識するために使用されてもよい。
オブジェクト認識は、種々のコンピュータビジョン技法を使用して実施されてもよい。例えば、ウェアラブルシステムは、外向きに面したイメージングシステム464(図4に示される)によって入手された画像を分析し、場面再構成、イベント検出、ビデオ追跡、オブジェクト認識、オブジェクト姿勢推定、学習、インデックス化、運動推定、または画像復元等を実施することができる。1つ以上のコンピュータビジョンアルゴリズムが、これらのタスクを実施するために使用されてもよい。コンピュータビジョンアルゴリズムの非限定的実施例は、スケール不変特徴変換(SIFT)、スピードアップロバスト特徴(SURF)、配向FASTおよび回転BRIEF(ORB)、バイナリロバスト不変スケーラブルキーポイント(BRISK)、高速網膜キーポイント(FREAK)、Viola-Jonesアルゴリズム、Eigenfacesアプローチ、Lucas-Kanadeアルゴリズム、Horn-Schunkアルゴリズム、Mean-shiftアルゴリズム、視覚的同時位置推定およびマッピング(vSLAM)技法、シーケンシャルベイズ推定器(例えば、カルマンフィルタ、拡張カルマンフィルタ等)、バンドル調節、適応閾値化(および他の閾値化技法)、反復最近傍点(ICP)、セミグローバルマッチング(SGM)、セミグローバルブロックマッチング(SGBM)、特徴点ヒストグラム、種々の機械学習アルゴリズム(例えば、サポートベクトル機械、k最近傍アルゴリズム、単純ベイズ、ニューラルネットワーク(畳み込みまたは深層ニューラルネットワークを含む)、または他の教師あり/教師なしモデル等)等を含む。
オブジェクト認識は、加えて、または代替として、種々の機械学習アルゴリズムによって実施されることができる。いったん訓練されると、機械学習アルゴリズムは、HMDによって記憶されることができる。機械学習アルゴリズムのいくつかの実施例は、教師ありまたは教師なし機械学習アルゴリズムを含むことができ、回帰アルゴリズム(例えば、通常の最小2乗回帰等)、インスタンスベースのアルゴリズム(例えば、学習ベクトル量子化等)、決定ツリーアルゴリズム(例えば、分類および回帰ツリー等)、ベイズアルゴリズム(例えば、単純ベイズ等)、クラスタリングアルゴリズム(例えば、k-平均クラスタリング等)、関連付けルール学習アルゴリズム(例えば、アプリオリアルゴリズム等)、人工ニューラルネットワークアルゴリズム(例えば、Perceptron等)、深層学習アルゴリズム(例えば、Deep Boltzmann Machine、すなわち、深層ニューラルネットワーク等)、次元削減アルゴリズム(例えば、主成分分析等)、アンサンブルアルゴリズム(例えば、Stacked Generalization等)、および/または他の機械学習アルゴリズムを含む。いくつかの実施形態では、個々のモデルは、個々のデータセットのためにカスタマイズされることができる。例えば、ウェアラブルデバイスは、ベースモデルを生成または記憶することができる。ベースモデルは、開始点として使用され、データタイプ(例えば、テレプレゼンスセッション内の特定のユーザ)、データセット(例えば、テレプレゼンスセッション内のユーザの取得される付加的画像のセット)、条件付き状況、または他の変形例に特有の付加的モデルを生成してもよい。いくつかの実施形態では、ウェアラブルHMDは、複数の技法を利用して、集約されたデータの分析のためのモデルを生成するように構成されることができる。他の技法は、事前に定義された閾値またはデータ値を使用することを含んでもよい。
マップデータベース内の本情報および点の集合に基づいて、オブジェクト認識装置708a-708nは、オブジェクトを認識し、オブジェクトを意味論情報で補完し、命をオブジェクトに与えてもよい。例えば、オブジェクト認識装置が、点のセットがドアであることを認識する場合、システムは、いくつかの意味論情報を結び付けてもよい(例えば、ドアは、ヒンジを有し、ヒンジを中心として90度移動を有する)。オブジェクト認識装置が、点のセットが鏡であることを認識する場合、システムは、鏡が、部屋内のオブジェクトの画像を反射させ得る、反射表面を有するという意味論情報を結び付けてもよい。経時的に、マップデータベースは、システム(ローカルに常駐し得る、または無線ネットワークを通してアクセス可能であり得る)がより多くのデータを世界から蓄積するにつれて成長する。いったんオブジェクトが認識されると、情報は、1つ以上のウェアラブルシステムに伝送されてもよい。例えば、MR環境700は、Californiaで起こっている場面についての情報を含んでもよい。環境700は、New Yorkにおける1人以上のユーザに伝送されてもよい。FOVカメラおよび他の入力から受信されたデータに基づいて、オブジェクト認識装置および他のソフトウェアコンポーネントは、場面が世界の異なる部分に存在し得る第2のユーザに正確に「パス」され得るように、種々の画像から収集された点をマッピングし、オブジェクトを認識すること等ができる。環境700はまた、場所特定目的のために、トポロジマップを使用してもよい。
図8は、認識されたオブジェクトに関連して仮想コンテンツをレンダリングする方法800の実施例のプロセスフロー図である。方法800は、仮想場面がウェアラブルシステムのユーザに表され得る方法を説明する。ユーザは、その場面から地理的に遠隔に存在してもよい。例えば、ユーザは、New Yorkに存在し得るが、Californiaで現在起こっている場面を視認することを所望し得る、またはCaliforniaに存在する友人と散歩に行くことを所望し得る。
ブロック810では、ウェアラブルシステムは、ユーザの環境に関する入力をユーザおよび他のユーザから受信してもよい。これは、種々の入力デバイスおよびマップデータベース内にすでに保有されている知識を通して達成されてもよい。ユーザのFOVカメラ、センサ、GPS、眼追跡等が、ブロック810において、情報をシステムに伝達する。システムは、ブロック820において、本情報に基づいて、大まかな点を決定してもよい。大まかな点は、ユーザの周囲における種々のオブジェクトの配向および位置を表示ならびに理解する際に使用され得る、姿勢データ(例えば、頭部姿勢、眼姿勢、身体姿勢、または手のジェスチャ)を決定する際に使用されてもよい。オブジェクト認識装置708a~708nは、ブロック830において、これらの収集された点を通してクローリングし、マップデータベースを使用して、1つ以上のオブジェクトを認識してもよい。本情報は、次いで、ブロック840において、ユーザの個々のウェアラブルシステムに伝達されてもよく、所望の仮想場面が、ブロック850において、適宜、ユーザに表示されてもよい。例えば、所望の仮想場面(例えば、CAにおけるユーザ)が、New Yorkにおけるユーザの種々のオブジェクトおよび他の周囲に関連して、適切な配向、位置等において表示されてもよい。
図9は、ウェアラブルシステムの別の実施例のブロック図である。本実施例では、ウェアラブルシステム900は、世界に関するマップデータを含み得る、マップを備える。マップは、部分的に、ウェアラブルシステム上にローカルに常駐してもよく、部分的に、有線または無線ネットワークによってアクセス可能なネットワーク化された記憶場所(例えば、クラウドシステム内)に常駐してもよい。姿勢プロセス910が、ウェアラブルコンピューティングアーキテクチャ(例えば、処理モジュール260またはコントローラ460)上で実行され、ウェアラブルコンピューティングハードウェアまたはユーザの位置および配向を決定するために、マップからのデータを利用してもよい。姿勢データは、ユーザが、システムを体験し、その世界内で動作するにつれて、オンザフライで収集されたデータから計算されてもよい。データは、実または仮想環境内のオブジェクトに関する画像、センサ(概して、加速度計およびジャイロスコープコンポーネントを備える、慣性測定ユニット等)からのデータ、および表面情報を備えてもよい。
大まかな点表現は、同時場所特定およびマッピング(入力が画像/視覚のみである構成を指す、SLAMまたはV-SLAM)プロセスの出力であってもよい。システムは、世界内の種々のコンポーネントの場所だけではなく、世界が成っているものを見出すように構成されることができる。姿勢は、マップをポピュレートすることおよびマップからのデータを使用することを含め、多くの目標を達成する、構築ブロックであってもよい。
一実施形態では、大まかな点位置は、それ自体では完全に適正であり得ず、さらなる情報が、多焦点AR、VR、またはMR体験を生成するために必要とされ得る。概して深度マップ情報を指す、稠密表現が、少なくとも部分的に、本間隙を充填するために利用されてもよい。そのような情報は、立体視940と称されるプロセスから計算されてもよく、深度情報は、三角測量または飛行時間感知等の技法を使用して決定される。画像情報およびアクティブパターン(アクティブプロジェクタを使用して生成される赤外線パターン等)が、立体視プロセス940への入力としての役割を果たし得る。有意な量の深度マップ情報が、ともに融合されてもよく、このうちのいくつかは、表面表現を用いて要約されてもよい。例えば、数学的に定義可能な表面は、ゲームエンジンのような他の処理デバイスへの効率的(例えば、大規模点クラウドと比較して)かつ摘要可能な入力であってもよい。したがって、立体視プロセス(例えば、深度マップ)940の出力は、融合プロセス930において組み合わせられてもよい。姿勢は、同様に、本融合プロセス930への入力であってもよく、融合930の出力は、マッププロセス920をポピュレートするための入力となる。サブ表面が、トポグラフィマッピング等において相互に接続し、より大きい表面を形成してもよく、マップは、点および表面の大規模ハイブリッドとなる。
複合現実プロセス960における種々の側面を解決するために、種々の入力が、利用されてもよい。例えば、図9に描写される実施形態では、ゲームパラメータは、システムのユーザが1匹以上のモンスタと種々の場所においてモンスタバトルゲームをプレーしていること、モンスタが死んでいるかまたは種々の条件下で逃げていること(ユーザがモンスタを撃つ場合等)、種々の場所における壁または他のオブジェクト、および同等物を決定するための入力であってもよい。世界マップは、複合現実に対する別の有用な入力となる、そのようなオブジェクトが相互に対して存在する場所に関する情報を含んでもよい。世界に対する姿勢は、同様に、入力となり、ほぼあらゆる双方向システムに対して重要な役割を果たす。
ユーザからの制御または入力は、ウェアラブルシステム900への別の入力である。本明細書に説明されるように、ユーザ入力は、視覚的入力、ジェスチャ、トーテム、オーディオ入力、感覚入力(例えば、図2におけるセンサ232によって入手された生理学的データ等)等を含むことができる。動き回るまたはゲームをプレーするために、例えば、ユーザは、ウェアラブルシステム900に、何をしたいかに関して命令する必要があり得る。空間内で自ら移動するだけではなく、利用され得る種々の形態のユーザ制御が、存在する。一実施形態では、トーテム(例えば、ユーザ入力デバイス)、または玩具銃等のオブジェクトが、ユーザによって保持され、システムによって追跡されてもよい。システムは、好ましくは、ユーザがアイテムを保持していることを把握し、ユーザがアイテムと行っている相互作用の種類を理解するように構成されるであろう(例えば、トーテムまたはオブジェクトが、銃である場合、システムは、場所および配向だけではなく、ユーザが、そのようなアクティビティがカメラのいずれかの視野内にないときでも、何が起こっているかの決定を補助し得る、IMU等のセンサを装備し得る、トリガまたは他の感知ボタンもしくは要素をクリックしているかどうかも理解するように構成されてもよい。)
手のジェスチャ追跡または認識もまた、入力情報を提供してもよい。ウェアラブルシステム900は、ボタン押下のため、左または右、停止、握持、保持等をジェスチャするために、手のジェスチャを追跡および解釈するように構成されてもよい。例えば、1つの構成では、ユーザは、非ゲーム環境において電子メールまたはカレンダを通してフリップする、または別の人物もしくは演奏者と「フィストバンプ」を行うことを所望し得る。ウェアラブルシステム900は、動的であり得る、またはそうではない場合がある、最小量の手のジェスチャを活用するように構成されてもよい。例えば、ジェスチャは、停止を示すために手を広げる、OKを示すために親指を上げる、OKではないことを示すために親指を下げる、または指向性コマンドを示すために左右もしくは上下に手をフリップする等、単純な静的ジェスチャであってもよい。
眼追跡は、別の入力である(例えば、ユーザが見ている場所を追跡し、ディスプレイ技術を制御し、具体的深度または範囲においてレンダリングする)。一実施形態では、眼の輻輳・開散運動が、三角測量を使用して決定されてもよく、次いで、その特定の人物のために開発された輻輳・開散運動/遠近調節モデルを使用して、遠近調節が、決定されてもよい。
トーテムはまた、ユーザによって、入力をウェアラブルシステムに提供するために使用されることができる。ウェアラブルシステムは、トーテムの移動、位置、または配向、ならびにトーテムのユーザの作動(トーテムのキー、ボタン、またはタッチ表面の押下等)を追跡し、複合現実プロセス960におけるユーザインターフェース相互作用を決定することができる。
ある実装では、ウェアラブルシステムはまた、ユーザの生理学的データを複合現実プロセス960において使用することができる。生理学的データは、センサ232(生理学的センサ468を含んでもよい)によって要求されてもよい。ウェアラブルシステムは、生理学的データの分析に基づいて、提示すべきコンテンツを決定することができる。例えば、ウェアラブルシステムが、ユーザがゲームをプレー中、ユーザが怒っていることを決定する(例えば、心拍数増加、血圧変化等に起因して)と、ウェアラブルシステムは、自動的に、ゲームの難易度レベルを低減させ、ユーザのゲームへの従事を保たせることができる。
カメラシステムに関して、図9に示される例示的ウェアラブルシステム900は、3つの対のカメラ、すなわち、ユーザの顔の両側に配列される相対的広FOVまたは受動SLAM対のカメラと、ユーザの正面に配向され、立体視イメージングプロセス940をハンドリングし、また、ユーザの顔の正面の手のジェスチャおよびトーテム/オブジェクトの軌道を捕捉するための異なる対のカメラとを含むことができる。ステレオプロセス940に対するFOVカメラおよび対のカメラは、外向きに面したイメージングシステム464(図4に示される)の一部であってもよい。ウェアラブルシステム900は、眼ベクトルおよび他の情報を三角測量するために、ユーザの眼に向かって配向される眼追跡カメラ(図4に示される内向きに面したイメージングシステム462の一部であってもよい)を含むことができる。ウェアラブルシステム900はまた、1つ以上のテクスチャ化光プロジェクタ(赤外線(IR)プロジェクタ等)を備え、テクスチャを場面の中に投入してもよい。
図10は、ウェアラブルシステムへのユーザ入力を決定するための方法1000の実施例のプロセスフロー図である。本実施例では、ユーザは、トーテムと相互作用してもよい。ユーザは、複数のトーテムを有してもよい。例えば、ユーザは、ソーシャルメディアアプリケーションのための指定される1つのトーテム、ゲームをプレーするための別のトーテム等を有してもよい。ブロック1010では、ウェアラブルシステムは、トーテムの運動を検出してもよい。トーテムの移動は、外向きに面したシステムを通して認識されてもよい、またはセンサ(例えば、触知グローブ、画像センサ、手追跡デバイス、眼追跡カメラ、頭部姿勢センサ等)を通して検出されてもよい。
少なくとも部分的に、検出されたジェスチャ、眼姿勢、頭部姿勢、またはトーテムを通した入力に基づいて、ウェアラブルシステムは、ブロック1020において、基準フレームに対するトーテム(またはユーザの眼もしくは頭部もしくはジェスチャ)の位置、配向、および/または移動を検出する。基準フレームは、それに基づいてウェアラブルシステムがトーテム(またはユーザ)の移動をアクションまたはコマンドに変換する、マップ点のセットであってもよい。ブロック1030では、トーテムとのユーザの相互作用が、マッピングされる。基準フレーム1020に対するユーザ相互作用のマッピングに基づいて、システムは、ブロック1040において、ユーザ入力を決定する。
例えば、ユーザは、トーテムまたは物理的オブジェクトを前後に移動させ、仮想ページを捲り、次のページに移動する、または1つのユーザインターフェース(UI)ディスプレイ画面から別のUI画面に移動することを示してもよい。別の実施例として、ユーザは、ユーザのFOR内の異なる実または仮想オブジェクトを見るために、その頭部または眼を移動させてもよい。特定の実または仮想オブジェクトにおけるユーザの注視が、閾値時間より長い場合、その実または仮想オブジェクトは、ユーザ入力として選択されてもよい。いくつかの実装では、ユーザの眼の輻輳・開散運動が、追跡されることができ、遠近調節/輻輳・開散運動モデルが、ユーザが合焦している深度平面に関する情報を提供する、ユーザの眼の遠近調節状態を決定するために使用されることができる。いくつかの実装では、ウェアラブルシステムは、レイキャスティング技法を使用して、ユーザの頭部姿勢または眼姿勢の方向に沿っている実または仮想オブジェクトを決定することができる。種々の実装では、レイキャスティング技法は、実質的に殆ど横幅を伴わない細い光線束を投じる、または実質的横幅を伴う光線(例えば、仮想円錐または円錐台)を投じることを含むことができる。
ユーザインターフェースは、本明細書に説明されるようなディスプレイシステム(図2におけるディスプレイ220等)によって投影されてもよい。また、それは、1つ以上のプロジェクタ等の種々の他の技法を使用して表示されてもよい。プロジェクタは、画像をキャンバスまたは球体等の物理的オブジェクト上に投影してもよい。ユーザインターフェースとの相互作用は、システムの外部またはシステムの一部の1つ以上のカメラを使用して(例えば、内向きに面したイメージングシステム462または外向きに面したイメージングシステム464を使用して)追跡されてもよい。
図11は、仮想ユーザインターフェースと相互作用するための方法1100の実施例のプロセスフロー図である。方法1100は、本明細書に説明されるウェアラブルシステムによって行われてもよい。
ブロック1110では、ウェアラブルシステムは、特定のUIを識別してもよい。UIのタイプは、ユーザによって与えられてもよい。ウェアラブルシステムは、特定のUIがユーザ入力(例えば、ジェスチャ、視覚的データ、オーディオデータ、感覚データ、直接コマンド等)に基づいてポピュレートされる必要があることを識別してもよい。ブロック1120では、ウェアラブルシステムは、仮想UIのためのデータを生成してもよい。例えば、UIの境界、一般的構造、形状等と関連付けられたデータが、生成されてもよい。加えて、ウェアラブルシステムは、ウェアラブルシステムがユーザの物理的場所に関連してUIを表示し得るように、ユーザの物理的場所のマップ座標を決定してもよい。例えば、UIが、身体中心である場合、ウェアラブルシステムは、リングUIがユーザの周囲に表示され得る、または平面UIが壁上またはユーザの正面に表示され得るように、ユーザの物理的スタンス、頭部姿勢、または眼姿勢の座標を決定してもよい。UIが、手中心の場合、ユーザの手のマップ座標が、決定されてもよい。これらのマップ点は、FOVカメラ、感覚入力を通して受信されたデータ、または任意の他のタイプの収集されたデータを通して導出されてもよい。
ブロック1130では、ウェアラブルシステムは、データをクラウドからディスプレイに送信してもよい、またはデータは、ローカルデータベースからディスプレイコンポーネントに送信されてもよい。ブロック1140では、UIは、送信されたデータに基づいて、ユーザに表示される。例えば、ライトフィールドディスプレイは、仮想UIをユーザの眼の一方または両方の中に投影することができる。いったん仮想UIが生成されると、ウェアラブルシステムは、ブロック1150において、単に、ユーザからのコマンドを待機し、より多くの仮想コンテンツを仮想UI上に生成してもよい。例えば、UIは、ユーザの身体の周囲の身体中心リングであってもよい。ウェアラブルシステムは、次いで、コマンド(ジェスチャ、頭部または眼移動、ユーザ入力デバイスからの入力等)を待機してもよく、認識される場合(ブロック1160)、コマンドと関連付けられた仮想コンテンツが、ユーザに表示されてもよい(ブロック1170)。実施例として、ウェアラブルシステムは、複数のステムトラックをミックスする前に、ユーザの手のジェスチャを待機してもよい。
ウェアラブルシステム、UI、およびユーザ体験(UX)の付加的実施例は、米国特許公開第2015/0016777号(参照することによってその全体として本明細書に組み込まれる)に説明されている。
(環境内の例示的オブジェクト)
(環境内の例示的オブジェクト)
図12は、オフィス環境内での仮想ユーザインターフェースとのユーザ相互作用の実施例を図示する。図12では、ウェアラブルデバイス1270を装着しているユーザ210が、オフィス1200内で立っている。ウェアラブルデバイスは、本明細書に説明されるように、ウェアラブルシステム200、400の一部であってもよい。オフィス1200は、椅子1244、鏡1242、壁1248、テーブル1246、回転式椅子1240等の複数の物理オブジェクトと、ウェアラブルデバイス1270によってユーザに提示される仮想画面1250とを備えることができる。
動眼視野内の例示的オブジェクト
動眼視野内の例示的オブジェクト
ウェアラブルデバイス1270を装着しているユーザ210は、視野(FOV)および動眼視野(FOR)を有することができる。図4を参照して議論されるように、FORは、ウェアラブルデバイス1270を介してユーザによって知覚可能なユーザの周囲の環境の一部を含む。HMDに関して、FORは、装着者が、その身体、頭部、または眼を移動させ、空間内の実質的に任意の方向を知覚することができるため、装着者を囲繞する4πステラジアン立体角の実質的に全てを含み得る。他の状況では、ユーザの移動は、より狭められ得、故に、ユーザのFORは、より小さい立体角に対し得る。
FORは、ARDを介してユーザによって知覚され得る、オブジェクトのグループを含有することができる。オブジェクトは、仮想および/または物理的オブジェクトであってもよい。仮想オブジェクトは、例えば、削除されたファイルのためのゴミ箱、コマンドを入力するための端末、ファイルまたはディレクトリにアクセスするためのファイルマネージャ、アイコン、メニュー、オーディオまたはビデオストリーミングのためのアプリケーション、オペレーティングシステムからの通知等のオペレーティングシステムオブジェクトを含んでもよい。仮想オブジェクトはまた、例えば、アバタ、ウィジェット(例えば、掛け時計の仮想表現)、ゲーム内の仮想オブジェクト、グラフィックまたは画像等、アプリケーション内のオブジェクトを含んでもよい。いくつかの仮想オブジェクトは、アプリケーション内の動作システムオブジェクトおよびオブジェクトの両方であることができる。
いくつかの実施形態では、仮想オブジェクトは、物理オブジェクトと関連付けられてもよい。例えば、図12に示されるように、仮想画面1250は、テーブル1246上に設置されてもよい。仮想画面は、オフィス生産性ツール1212、テレプレゼンス1214を行うためのアプリケーション、および電子メールツール1216等の選択可能オプションを有する、仮想メニュー1210を含んでもよい。
仮想オブジェクトは、3次元(3D)、2次元(2D)、または1次元(1D)オブジェクトであってもよい。仮想オブジェクトは、3Dコーヒーマグ(物理的コーヒーメーカーのための仮想制御を表してもよい)であってもよい。仮想オブジェクトはまた、2Dメニュー1210(図12に示される)であってもよい。いくつかの実装では、1つ以上の仮想オブジェクトは、別の仮想オブジェクト内に表示されてもよい(またはそれと関連付けられる)。例えば、図12を参照すると、仮想メニュー5110は、仮想画面1250の内側に示される。別の実施例では、テレプレゼンス1214のための仮想アプリケーションは、連絡先情報を伴う別のメニュー1220を含んでもよい。
いくつかの実装では、ユーザの環境内のいくつかのオブジェクトは、相互作用可能であってもよい。例えば、図1を参照すると、ユーザは、例えば、アバタ140が着地するように指を差し出す、または像130についての情報を提供するメニューを引き出すこと等によって、仮想オブジェクトのうちのいくつかと相互作用することができる。ユーザは、例えば、相互作用可能オブジェクトを選択または移動させる、相互作用可能オブジェクトと関連付けられたメニューを作動させる、相互作用可能オブジェクトを使用して実施されるための動作を選択する等、ユーザインターフェース動作を実施することによって、相互作用可能オブジェクトと相互作用することができる。ユーザは、単独で、または組み合わせて、頭部姿勢、眼姿勢、身体姿勢、音声、ユーザ入力デバイス上の手ジェスチャを使用して、これらのユーザインターフェース動作を実施してもよい。例えば、ユーザは、身体姿勢の変化(例えば、その手を仮想オブジェクトに向かって振る等の手ジェスチャの変化)を用いて、仮想オブジェクトを1つの場所から別の場所に移動させてもよい。別の実施例では、図12に示されるように、ユーザは、ユーザがテーブル1246の近傍に立っているとき、手ジェスチャを使用して、ユーザ入力デバイスを作動させ、仮想画面1250を開くことができる。ユーザは、マウスをクリックする、タッチパッドをタップする、タッチスクリーンをスワイプする、容量ボタンに手をかざす、もしくはそれをタッチする、キーボードもしくはゲームコントローラ(例えば、5方向d-パッド)上のキーを押下する、ジョイスティック、ワンド、もしくはトーテムをオブジェクトに向かって向ける、遠隔制御上のボタンを押下する、またはユーザ入力デバイスとの他の相互作用等によって、ユーザ入力デバイス466を作動させてもよい。ある実装では、ウェアラブルデバイス1270は、テーブル1246の検出に応じて(例えば、1つ以上のオブジェクト認識装置708を使用して)、自動的に、仮想メニュー1210を提示することができる。メニューが開かれた後、ユーザは、ユーザ入力デバイス上の軌道に沿って、その指を移動させることによって、メニュー1210をブラウジングすることができる。ユーザが、仮想画面1250を閉じることを決定すると、ユーザは、単語(例えば、「終了」)を発する、および/またはユーザ入力デバイスを作動させ、仮想画面1250を閉じる意図を示してもよい。インジケーションを受信後、ARDは、テーブル1246上への画面1250の投影を停止することができる。
(視野内の例示的オブジェクト)
(視野内の例示的オブジェクト)
FOR内において、ユーザが所与の時間に知覚する世界の部分は、FOVと称される(例えば、FOVは、ユーザが現在見ているFORの部分を包含し得る)。FOVは、ARD内のディスプレイのサイズまたは光学特性に依存し得る。例えば、ARディスプレイは、ユーザがディスプレイの特定の部分を通して見ているとき、AR機能性のみを提供する、光学装置を含んでもよい。FOVは、例えば、スタックされた導波管アセンブリ480(図4)または平面導波管632b(図6)等のARディスプレイを通して見ているときにユーザによって知覚可能な立体角に対応し得る。
ユーザの姿勢が変化するにつれて、FOVは、対応して、変化し、FOV内のオブジェクトもまた、変化し得る。図12を参照すると、ユーザ210は、テーブル1246の正面に立っているとき、仮想画面1250を知覚することができる。しかしながら、ユーザ210が鏡1242の方に歩くと、仮想画面1250は、そのFOV外に移動し得る。故に、ユーザ210は、鏡1242の正面に立っているとき、仮想画面1250を知覚不可能となるであろう。いくつかの実施形態では、仮想画面1250は、オフィス1200内を動き回るにつれて、ユーザ210に追従してもよい。例えば、仮想画面1250は、ユーザ210が移動し、鏡1242の正面に立つと、テーブル1246から壁1248に移動してもよい。仮想メニュー1210上のオプション等の仮想画面のコンテンツは、仮想画面1250がその場所を変化させると、変化してもよい。実施例として、図12では、仮想画面1250が、テーブル1250上にあるとき、ユーザ210は、種々のオフィス生産性アイテムを含む、仮想メニュー1210を知覚することができる。しかしながら、ユーザが鏡1242の方に歩くと、ユーザは、ユーザがウェアラブルデバイス1270を使用して異なる衣装の見た目をシミュレートすることを可能にする、仮想ワードローブアプリケーションと相互作用可能になってもよい。ある実装では、いったんウェアラブルデバイス1270が鏡1242を検出すると、ウェアラブルシステムは、自動的に、通信(例えば、テレプレゼンスセッション)を別のユーザ(例えば、ユーザの210パーソナルアシスタント)と開始することができる。
(コンテキスト要因に基づいて、仮想オブジェクトをFOV内にレンダリングする実施例)
(コンテキスト要因に基づいて、仮想オブジェクトをFOV内にレンダリングする実施例)
本明細書に説明されるように、多くの場合、複数の仮想オブジェクトまたはオブジェクト(例えば、物理または仮想)またはユーザの環境と関連付けられたユーザ相互作用オプションが、存在する。例えば、図12を参照すると、仮想メニュー1210は、オフィス生産性ツール1212(ワードプロセッサ、ファイルフォルダ、カレンダ等)、他のユーザがユーザの210環境内に存在するかのように(例えば、ウェアラブルシステムは、他のユーザの画像をウェアラブルシステムのユーザに投影することができる)ユーザが別のユーザと通信することを可能にする(ウェアラブルシステムを介して)テレプレゼンスアプリケーション1214、およびユーザ210が電子メール(eメール)またはテキストメッセージを送受信することを可能にする、メールツール等の複数の相互作用オプションを含む。別の実施例では、図13および14に示されるリビングルーム1300は、デジタルフレーム1312a、テレプレゼンスツール1314a、レースカーのドライビングゲーム1316a、テレビ(TV)アプリケーション1312b、ホーム管理ツール1314b(部屋1300のための温度を管理する、壁紙を投影する等ができる)、および音楽アプリケーション1316b等の仮想オブジェクトを含んでもよい。
しかしながら、本明細書に説明されるように、仮想ユーザインターフェースは、全ての利用可能な仮想オブジェクトまたはユーザ相互作用オプションをユーザに表示し、同時に、満足の行くユーザ体験を提供することは不可能であり得る。例えば、図13および14に示されるように、仮想メニューであり得る、ユーザインターフェース1310と関連付けられた6つの仮想オブジェクト(1312a、1314a、1316a、1312b、1314b、および1316b)が、存在する。しかし、壁1350上の仮想メニューは、3つのオプションのみが読取可能に適合し得る(例えば、図13および14における仮想メニュー参照)。その結果、ウェアラブルシステムは、利用可能なオプションの数をフィルタリングし、利用可能なオプションのサブセットのみを表示する必要があり得る。
有利には、いくつかの実施形態では、ウェアラブルシステムは、コンテキスト情報に基づいて、ユーザインターフェース1310上に提示されるべきユーザ相互作用オプションまたは仮想オブジェクトをフィルタリングまたは選択することができる。フィルタリングまたは選択されたユーザインターフェース相互作用オプションまたは仮想オブジェクトは、種々のレイアウトで提示されてもよい。例えば、ウェアラブルデバイスは、オプションおよび仮想オブジェクトをリスト形態で提示することができる(図12-14に示される仮想メニュー等)。ある実施形態では、仮想オブジェクトの垂直リストとして仮想ユーザインターフェース上に表示するのではなく、仮想メニューは、仮想オブジェクトの円形表現を採用することができる(例えば、図15に示される仮想メニュー1530参照)。仮想オブジェクトは、円形表現の中心を中心として回転され、所望の仮想オブジェクトを識別および選択することを補助することができる。コンテキスト情報は、ユーザの環境、ユーザ、ユーザの環境内のオブジェクト等と関連付けられた情報を含むことができる。例示的コンテキスト情報は、オプションが関連付けられた物理オブジェクトのアフォーダンス、ユーザの環境(環境が自宅であるかまたはオフィス環境であるか等)、ユーザの特性、環境内のオブジェクトとのユーザの現在の相互作用、ユーザの生理学的状態、ユーザの心理学的状態、それらの組み合わせ、または同等物を含むことができる。種々のタイプのコンテキスト情報のより詳細な説明は、以下に提供される。
(ユーザの環境)
(ユーザの環境)
ウェアラブルシステムは、ユーザの環境に基づいて、環境内の仮想オブジェクトをフィルタリングまたは選択し、ユーザ相互作用のための仮想オブジェクトのサブセットのみを提示してもよい。これは、異なる環境が異なる機能性を有し得るためである。例えば、ユーザの連絡先リストは、家族、友人、および専門家の連絡先に関する連絡先情報を含んでもよい。図12に示されるオフィス1200等のオフィス環境内では、通常、エンターテインメントアクティビティの代わりに、仕事関連アクティビティにより好適である。その結果、ユーザ210が、テレプレゼンスツール1214を使用するとき、ウェアラブルデバイス1270は、テレプレゼンスセッションのために、仕事関連連絡先のリストをメニュー1220内に提示してもよいが、ユーザの連絡先リストはまた、家族および友人の連絡を含む。対照的に、図13は、ユーザが通常リラックスし、仕事以外の人々と相互作用する、リビングルーム1300を描写する。その結果、ユーザが、テレプレゼンスツール1314aを選択すると、ウェアラブルデバイスは、友人および家族に関する連絡先情報をメニュー1320内に示してもよい。
別の実施例として、ユーザの音楽コレクションは、カントリー音楽、ジャズ、ポップス、およびクラシック音楽等の種々の音楽を含んでもよい。ユーザがリビングルーム1300に居るとき、ウェアラブルデバイスは、ジャズおよびポップス音楽をユーザに提示することができる(仮想メニュー1430に示されるように)。しかしながら、ユーザが寝室1500に居るとき、異なる音楽オプションのセットが、提示されてもよい。例えば、図15における仮想メニュー1530に示されるように、ウェアラブルデバイスは、カントリー音楽およびクラシック音楽を示してもよく、これは、これらのタイプの音楽が、リラックス効果を有し得、ユーザが睡眠に就くことに役立ち得るためである。
環境内で利用可能な仮想オブジェクトをフィルタ処理することに加えて、またはその代替として、ウェアラブルデバイスは、環境の機能に関連するメニューオプションのみを示してもよい。例えば、オフィス1200内の仮想メニュー1210(図12における)は、仕事環境に関連するオプションを含むことができる。他方では、リビングルーム1300内の仮想ユーザインターフェース1310(図14における)は、仮想TV1312b、音楽1316b、ならびにホーム管理ツール1314b等のエンターテインメントアイテムを含むことができる。
図12-15を参照して説明される例示的環境は、例証であって、ウェアラブルデバイスがそのような環境内の物理および仮想コンテンツとコンテキスト的に相互作用するために使用され得る、環境のタイプを限定することを意図するものではない。他の環境は、自宅またはオフィスの他の部分、車両(例えば、車、地下鉄、船、電車、または航空機)、エンターテインメント施設(例えば、映画館、ナイトクラブ、ゲーム施設)、小売設備(例えば、店舗またはモール)、または屋外(例えば、公園または庭)等を含むことができる。
(オブジェクトのアフォーダンス)
(オブジェクトのアフォーダンス)
ウェアラブルシステムは、ユーザが相互作用することに関心があり得る、または現在相互作用している、環境内のオブジェクトを識別することができる。ウェアラブルシステムは、例えば、眼視線、身体姿勢、または頭部姿勢等のユーザの姿勢に基づいて、オブジェクトを識別することができる。例えば、ウェアラブルデバイスは、内向きに面したイメージングシステム462(図4に示される)を使用して、ユーザの眼姿勢を追跡してもよい。ウェアラブルシステムが、ユーザが長時間にわたってある方向を見ていることを決定すると、ウェアラブルシステムは、レイキャスティングまたは円錐投射技法を使用して、ユーザの視線方向と交差するオブジェクトを識別してもよい。例えば、ウェアラブルシステムは、仮想円錐/光線を投射し、仮想円錐/光線の一部と交差する、オブジェクトを識別することができる。ウェアラブルデバイスはまた、IMU(例えば、図2、4、および9を参照して説明される)を使用して、ユーザの頭部姿勢を追跡してもよい。ウェアラブルデバイスが、ユーザの頭部姿勢の変化を検出すると、ウェアラブルデバイスは、ユーザの頭部の近傍のオブジェクトをユーザが相互作用することに関心があるオブジェクトとして識別してもよい。実施例として、ウェアラブルデバイスのユーザが、長時間にわたって自宅の冷蔵庫を見ているとき、ウェアラブルデバイスは、冷蔵庫がユーザが関心があるオブジェクトであり得ることを認識することができる。別の実施例では、ユーザは、冷蔵庫の正面に立ち得る。ウェアラブルは、ユーザによる点頭を検出し、ユーザの正面の冷蔵庫をユーザが関心があるオブジェクトとして識別してもよい。さらに別の実施例では、オブジェクト認識装置708が、ユーザの手の移動を追跡することができる(例えば、外向きに面したイメージングシステム464からのデータに基づいて)。オブジェクト認識装置は、ユーザ相互作用のためのオブジェクトのインジケーションを提供する、手のジェスチャ(例えば、冷蔵庫を指し示す指)を認識することができる。
ウェアラブルシステムは、識別されたオブジェクトのアフォーダンスを認識することができる。オブジェクトのアフォーダンスは、オブジェクトと関連付けられたアクションまたは使用のための機会を与える、オブジェクトとオブジェクトの環境との間の関係を含む。アフォーダンスは、例えば、オブジェクトの機能、配向、タイプ、場所、形状、および/またはサイズに基づいて決定されてもよい。アフォーダンスはまた、物理オブジェクトが位置する環境に基づいてもよい。ウェアラブルデバイスは、環境内の利用可能な仮想オブジェクトを絞り込み、オブジェクトのアフォーダンスに従って、仮想オブジェクトを提示することができる。実施例として、水平テーブルのアフォーダンスは、オブジェクトがテーブル上に設定され得ることであって、垂直壁のアフォーダンスは、オブジェクトが壁から吊架またはその上に投影され得ることである。
例えば、ウェアラブルデバイスは、オブジェクトの機能を識別し、オブジェクトの機能に関連するオブジェクトのみを有するメニューを示してもよい。実施例として、ウェアラブルデバイスのユーザが、自宅の冷蔵庫と相互作用するとき、ウェアラブルデバイスは、冷蔵庫の機能性のうちの1つが食品を貯蔵することであることを識別することができる。食品を貯蔵する能力は、冷蔵庫のアフォーダンスである。ユーザが、例えば、ユーザ入力デバイスを作動させることによって、冷蔵庫と関連付けられたオプションを視認することを決定すると、ウェアラブルデバイスは、ユーザに、冷蔵庫内で現在利用可能な食品のリスト、種々のレシピを含む料理アプリケーション、食品アイテムの食料品店リスト、冷蔵庫内の水フィルタの交換のリマインダを示す等、食品に具体的オプションを提示することができる。冷蔵庫のアフォーダンスの付加的実施例は、それが重く、したがって、移動が困難であり、それが物が貼付けられ得る垂直正面表面を有すること、正面表面が、多くの場合、磁気オブジェクトが正面表面に粘着し得るように、金属的および磁気的であること等を含む。
いくつかの状況では、同一オブジェクトの機能は、環境に基づいて変動し得る。ウェアラブルシステムは、環境に照らして、オブジェクトの機能性を検討することによって、仮想メニューを生成することができる。例えば、テーブルのアフォーダンスは、書き物をしたり、食事をとるために使用され得ることを含む。テーブルが、オフィス1200(図12に示される)内にあるとき、テーブルのアフォーダンスは、オフィス環境が通常は文書処理と関連付けられるため、テーブルが書き物のために使用されるべきであることを示唆し得る。故に、ウェアラブルデバイスのディスプレイ220は、仮想メニュー1210に、ワードプロセッシングアプリケーションをオフィスツール1212または電子メールアプリケーション1216の下に提示してもよい。しかしながら、同一テーブルが、台所に位置するとき、テーブルのアフォーダンスは、人々が通常はその台所内で文書の執筆を行わないため、テーブルが食事のために使用され得ることを示唆し得る。その結果、ウェアラブルデバイスは、ユーザに、オフィスツールの代わりに、食品に関連する仮想オブジェクトを表示してもよい。
ウェアラブルシステムは、オブジェクトの配向を使用して、いくつかのアクティビティ(絵を描くおよび文書を書く等)が水平表面(床またはテーブル等)上でより適切であり得る一方、他のアクティビティ(TVの鑑賞またはドライビングゲームのプレー等)が垂直表面(壁等)上でより良好なユーザ体験を有し得るため、提示されるべきオプションを決定することができる。ウェアラブルシステムは、オブジェクトの表面の配向(例えば、水平対垂直)を検出し、その配向のために適切なオプションのグループを表示することができる。
図12を参照すると、オフィス1200は、文書処理のためのオフィスツール1212および仮想TVアプリケーション(図12には図示せず)等の仮想オブジェクトを含んでもよい。仮想画面1250は、水平表面を有する、テーブル1246上にあるため、ウェアラブルデバイス1270は、文書処理が水平表面上でより適切に行われるため、メニュー1210をオフィスツール1212とともに提示してもよい。一方、ウェアラブルデバイス12700は、仮想TVが、垂直表面により適切であり得、ユーザが水平表面を有するオブジェクトと現在相互作用しているため、仮想TVアプリケーションを提示しないように構成されてもよい。しかしながら、ユーザが、壁1248の正面に立っている場合、ウェアラブルデバイス1270は、オフィスツール1212を除外しながら、仮想TVをメニュー1210内に含んでもよい。
別の実施例として、図13および14では、仮想ユーザインターフェース1310は、垂直表面を有する、壁1350上にある。その結果、ユーザインターフェース1310は、図13に示されるように、ドライビングゲーム1316aを含み、図14に示されるように、仮想TVアプリケーション1316bを含むことができる。これは、ユーザが、これらのアクティビティを垂直表面上で実施するとき、より良好な体験を有し得るためである。
加えて、またはその代替として、オブジェクトの機能、配向、場所、およびアフォーダンスはまた、オブジェクトのタイプに基づいて決定されてもよい。例えば、ソファは、TVの鑑賞等のエンターテインメントアクティビティと関連付けられ得る一方、デスク用の椅子は、財務文書の作成等の仕事関連アクティビティと関連付けられ得る。ウェアラブルシステムはまた、オブジェクトのサイズに基づいて、アフォーダンスを決定することができる。例えば、小テーブルは、花瓶等の装飾品を保持するために使用され得る一方、大テーブルは、家族の食事のために使用され得る。別の実施例として、アフォーダンスはまた、オブジェクトの形状に基づいてもよい。円形上部を伴うテーブルは、ポーカー等のあるグループゲームと関連付けられ得る一方、長方形上部を伴うテーブルは、テトリス等の単一プレーヤゲームと関連付けられ得る。
(ユーザの特性)
(ユーザの特性)
ウェアラブルシステムはまた、年齢、性別、教育レベル、職業、選好等のユーザの特性に基づいて、オプションを提示してもよい。ウェアラブルシステムは、ユーザによって提供されるプロファイル情報に基づいて、これらの特性を識別してもよい。いくつかの実施形態では、ウェアラブルシステムは、ウェアラブルシステムとのユーザの相互作用(例えば、頻繁に視認されるコンテンツ等)に基づいて、これらの特性を推測してもよい。ユーザの特性に基づいて、ウェアラブルシステムは、ユーザの特性に合致する、コンテンツを提示することができる。例えば、図15に示されるように、ウェアラブルデバイスのユーザが、幼少の子供である場合、ウェアラブルデバイスは、子供用の音楽および子守唄のためのオプションを寝室1500内のメニュー1530に提供してもよい。
いくつかの実装では、環境は、複数の人々によって共有されてもよい。ウェアラブルシステムは、空間を共有する人々の特性を分析し、空間を共有する人々のために好適なコンテンツのみを提示してもよい。例えば、リビングルーム1300は、全ての家族によって共有され得る。家族が、幼少の子供を有する場合、ウェアラブルデバイスは、映画が成人の同伴を伴わない子供のために好適であるような指定を有する映画(例えば、「G」指定映画)のみを提示してもよい。いくつかの実施形態では、ウェアラブルシステムは、ウェアラブルシステムが環境をイメージングするにつれて、同一環境内の人々を識別し、環境内に存在する人物に基づいて、オプションを提示してもよい。例えば、ウェアラブルシステムは、外向きに面したイメージングシステムを使用して、環境の画像を入手してもよく、ウェアラブルシステムは、顔認識技法を使用して、それらの画像を分析し、画像内に存在する1人以上の人々を識別することができる。ウェアラブルシステムが、子供が、HMDを装着しており、同一リビングルーム内にその両親と着座していることを決定する場合、ウェアラブルシステムは、G指定映画に加えて、またはその代替として、成人の同伴下で子供に好適であると指定される映画(例えば、「PG」指定映画)を提示してもよい。
ウェアラブルシステムは、ユーザの選好に基づいて、仮想メニューを提示してもよい。ウェアラブルシステムは、以前の使用パターンに基づいて、ユーザの選好を推測してもよい。以前の使用パターンは、仮想オブジェクトが使用された場所に関する情報および/または時間に関する情報を含んでもよい。例えば、毎朝、ユーザ210が、仮想画面1250をそのオフィス1200(図12に示される)内で立ち上げると、ユーザ210は、典型的には、最初に、その電子メールをチェックする。本使用パターンに基づいて、ウェアラブルシステムは、電子メールアプリケーション1216をメニュー1210内に表示してもよい。別の実施例では、毎朝、ユーザ210が、リビングルーム1300に入って行くと、ユーザは、典型的には、ニュースを仮想TV画面1312b(図14に示される)上で鑑賞する。ウェアラブルシステムは、故に、ユーザの頻繁な使用に基づいて、TVアプリケーション1312bを仮想ユーザインターフェース1310上に示してもよい。しかしながら、ウェアラブルシステムは、ユーザ210が通常その電子メールをそのリビングルーム1300内でチェックしないため、電子メールアプリケーション1210を仮想ユーザインターフェース1310内に示さないであろう。他方では、ユーザ210が、その場所にかかわらず、その電子メールを頻繁にチェックする場合、ウェアラブルシステムは、電子メールアプリケーション1216を仮想ユーザインターフェース1310内に同様に示してもよい。
メニュー内のオプションは、時刻に従って変動してもよい。例えば、ユーザ210が、通常、ジャズ音楽またはポップス音楽を朝に視聴し、ドライビングゲームを夜にプレーする場合、ウェアラブルシステムは、朝には、ジャズ音楽およびポップス音楽に対するオプションをメニュー1430内に提示する一方、夜には、ドライビングゲーム1316aを提示してもよい。
ARシステムはまた、ユーザが、その選好を入力することを可能にしてもよい。例えば、ユーザ210は、そのボスと頻繁に話さない場合がある場合でも、そのボスの連絡先情報をその連絡先リスト1220(図12に示される)に追加してもよい。
(ユーザと環境内のオブジェクトの相互作用)
(ユーザと環境内のオブジェクトの相互作用)
ウェアラブルデバイスは、現在のユーザ相互作用に基づいて、仮想オブジェクトのサブセットをユーザの環境内に提示してもよい。ウェアラブルデバイスは、ユーザが相互作用している人物に基づいて、仮想オブジェクトを提示してもよい。例えば、ユーザが、そのリビングルーム1300において、テレプレゼンスセッションをその家族のうちの1人と行うとき、ウェアラブルデバイスは、ユーザがフォトアルバムによって捕捉された共有体験について話すことを所望し得るため、自動的に、フォトアルバムを壁上に立て上げてもよい。他方では、ユーザが、そのオフィス1200において、テレプレゼンスセッションをその同僚のうちの1人と行うとき、ウェアラブルデバイスは、自動的に、その同僚と協働している文書を提示してもよい。
ウェアラブルデバイスはまた、ユーザが相互作用している仮想オブジェクトに基づいて、仮想オブジェクトを提示してもよい。例えば、ユーザが、現在財務文書を準備している場合、ウェアラブルデバイスは、計算機等のデータ分析ツールを提示してもよい。しかし、ユーザが、現在小説を執筆中である場合、ウェアラブルデバイスは、ユーザにワードプロセッシングツールを提示してもよい。
(ユーザの生理学的または心理学的状態)
(ユーザの生理学的または心理学的状態)
コンテキスト情報は、ユーザの生理学的状態、心理学的状態、または自律神経系活動、それらの組み合わせ、または同等物を含むことができる。図2を参照して説明されるように、ウェアラブルシステムは、種々のセンサ232を使用して、仮想コンテンツまたは環境に対するユーザの反応を測定することができる。例えば、1つ以上のセンサ232は、ユーザの眼領域のデータを取得し、そのようなデータを使用して、ユーザの気分を決定してもよい。ウェアラブルシステムは、内向きに面したイメージングシステム462(図4に示される)を使用して、眼の画像を取得することができる。ARDは、画像を使用して、眼移動、散瞳、および心拍数変動性を決定することができる。いくつかの実装では、内向きに面したイメージングシステム462が、十分に大視野を有するとき、ウェアラブルシステムは、内向きに面したイメージングシステム462によって取得される画像を使用して、ユーザの顔の表情を決定することができる。ウェアラブルシステムはまた、外向きに面したイメージングシステム464(図2に示される)を使用して、ユーザの顔の表情を決定することができる。例えば、外向きに面したイメージングシステム464は、ユーザが反射表面(鏡等)の近傍に立っているとき、ユーザの顔の反射された画像を入手することができる。ウェアラブルシステムは、反射された画像を分析し、ユーザの顔の表情を決定することができる。加えて、または代替として、ウェアラブルシステムは、皮膚電位(ガルバニック皮膚反応等)を測定する、センサを含むことができる。センサは、ユーザのウェアラブルグローブおよび/またはユーザ入力デバイス466(図4を参照して説明される)の一部であってもよい。ウェアラブルシステムは、皮膚電位データを使用して、ユーザの感情を決定することができる。
ウェアラブルシステムはまた、筋電位(EMG)、脳波(EEG)、近赤外脳機能計測(fNIR)等のためのセンサを含むことができる。ウェアラブルシステムは、これらのセンサから取得されるデータを使用して、ユーザの心理学的および生理学的状態を決定することができる。これらのデータは、単独で、または内向きに面したイメージングシステム、外向きに面したイメージングシステム、および皮膚電位を測定するためのセンサ等の他のセンサから取得されるデータと組み合わせて、使用されてもよい。ARDは、ユーザの心理学的および生理学的状態の情報を使用して、仮想コンテンツ(仮想メニュー等)をユーザに提示することができる。
実施例として、ウェアラブルシステムは、ユーザの気分に基づいて、一連のエンターテインメントコンテンツ(例えば、ゲーム、映画、音楽、表示されるための場面)を提案することができる。エンターテインメントコンテンツは、ユーザの気分を改善するために提案されてもよい。例えば、ウェアラブルシステムは、ユーザの生理学的データ(発汗等)に基づいて、ユーザが現在ストレス下にあることを決定してもよい。ウェアラブルシステムはさらに、場所センサ(GPS等)から入手された情報または外向きに面したイメージングシステム464から入手された画像に基づいて、ユーザが仕事中であることを決定することができる。ウェアラブルシステムは、これらの2つの一連の情報を組み合わせ、ユーザが仕事中にストレスを被っていることを決定することができる。故に、ウェアラブルシステムは、ユーザが、昼休憩中に落ち着くために、スローペースの探検的かつ非制限的なゲームをプレーすること、リラックスするような場面を仮想ディスプレイ上に表示すること、穏やかな音楽をユーザの環境内で再生すること等を提案することができる。
別の実施例として、複数のユーザが、物理または仮想空間内でともに存在するかまたは相互に相互作用してもよい。ウェアラブルシステムは、ユーザ間の1つ以上の共有気分(グループが、楽しいまたは怒っているかどうか等)を決定することができる。共有気分は、複数のユーザの気分の組み合わせまたは融合であってもよく、ユーザ間の共通気分またはテーマを標的としてもよい。ウェアラブルシステムは、ユーザ間の共有気分に基づいて、仮想アクティビティ(ゲーム等)を提示することができる。
(基準マーカ)
(基準マーカ)
いくつかの実装では、コンテキスト情報は、基準マーカ(本明細書では、ラベルとも称される)内にエンコードされてもよい。基準マーカは、物理オブジェクトと関連付けられてもよい。基準マーカは、クイックレスポンス(QR)コード、バーコード、ArUcoマーカ(閉塞下で確実に検出されることができる)等の光学マーカであってもよい。基準マーカはまた、ウェアラブルデバイスによって検出可能な電磁信号を放出または受信し得る、電磁マーカ(例えば、無線周波数識別タグ)を備えてもよい。そのような基準マーカは、物理オブジェクト上またはその近傍に物理的に添着されてもよい。ウェアラブルデバイスは、外向きに面したイメージングシステム464(図4に示される)または信号を基準マーカから受信するかまたはそこに伝送する1つ以上のセンサ(例えば、信号をマーカに伝送し、これは、次いで、中継信号を返し得る)を使用して、基準マーカを検出することができる。
ウェアラブルデバイスが、基準マーカを検出すると、ウェアラブルデバイスは、基準マーカをデコードし、デコードされた基準マーカに基づいて、仮想オブジェクトのグループを提示することができる。いくつかの実施形態では、基準マーカは、表示されるべき仮想オブジェクトと関連コンテキスト要因との間の関連付けを含む、データベースへの参照を含有してもよい。例えば、基準マーカは、物理オブジェクト(例えば、テーブル等)の識別子を含むことができる。ウェアラブルデバイスは、識別子を使用して、物理オブジェクトのコンテキスト特性にアクセスすることができる。本実施例では、テーブルのコンテキスト特性は、テーブルおよび水平表面のサイズを含むことができる。アクセスされる特性は、物理オブジェクトによってサポートされるユーザインターフェース動作または仮想オブジェクトを決定するために使用されることができる。テーブルは、水平表面を有するため、ウェアラブルデバイスは、絵画が、典型的には、水平表面ではなく、垂直表面と関連付けられるため、テーブルの表面上に、絵画ではなく、オフィス処理ツールを提示することができる。
例えば、図15では、ArUcoマーカ1512は、寝室1500内の窓1510に取り付けられる。ウェアラブルシステムは、ArUcoマーカ1512(例えば、外向きに面したイメージングシステム464によって入手された画像に基づいて)を識別し、ArUcoマーカ1512内にエンコードされた情報を抽出することができる。いくつかの実施形態では、抽出された情報は、ウェアラブルシステムが、窓またはユーザの環境の他のコンテキスト情報を分析せずに、基準マーカと関連付けられた仮想メニューをレンダリングするために十分であり得る。例えば、抽出された情報は、窓1510の配向を含んでもよい(例えば、窓1510は、垂直表面を有する)。配向に基づいて、ウェアラブルシステムは、垂直表面と関連付けられた仮想オブジェクトを提示することができる。ある実装では、ウェアラブルシステムは、別のデータソース(例えば、遠隔データリポジトリ280)と通信し、ウェアラブルシステムが関連仮想オブジェクトをレンダリングして識別するために、オブジェクトのタイプ(例えば、鏡)、オブジェクトと関連付けられた環境、ユーザの選好等、コンテキスト情報を取得する必要があり得る。
(コンテキスト要因に基づいて、仮想オブジェクトをレンダリングするための例示的方法)
(コンテキスト要因に基づいて、仮想オブジェクトをレンダリングするための例示的方法)
図16は、コンテキスト情報に基づいて、仮想メニューを生成するための例示的方法のフローチャートである。プロセス1600は、本明細書に説明されるウェアラブルシステムによって実施されることができる。ウェアラブルシステムは、種々のユーザ相互作用のインジケーションを受信するように構成される、ユーザ入力デバイス(例えば、図4におけるユーザ入力デバイス466参照)と、仮想オブジェクトを物理オブジェクトの近傍に表示し得る、ディスプレイと、姿勢センサとを含むことができる。姿勢センサは、ユーザの環境に対する身体の配向またはユーザの手またはユーザの視線方向によって行われるジェスチャ等のユーザの身体の一部の位置または移動を含むことができる、ユーザの姿勢を検出および追跡することができる。姿勢センサは、図2、4、および9を参照して説明される、慣性測定ユニット(IMU)、外向きに面したイメージングシステム、および/または眼追跡カメラ(例えば、図4に示されるカメラ464)を含むことができる。IMUは、加速度計、ジャイロスコープ、および他のセンサを含むことができる。
ブロック1610では、ウェアラブルシステムは、1つ以上の姿勢センサを使用して、ユーザの姿勢を決定することができる。本明細書に説明されるように、姿勢は、眼姿勢、頭部姿勢、身体姿勢、それらの組み合わせ、または同等物を含んでもよい。ユーザの姿勢に基づいて、ブロック1620では、ウェアラブルシステムは、ユーザの環境内の相互作用可能オブジェクトを識別することができる。例えば、ウェアラブルシステムは、円錐投射技法を使用して、ユーザの視線方向と交差する、オブジェクトを識別してもよい。
ブロック1630では、ユーザは、ユーザ入力デバイスを作動させ、相互作用可能オブジェクトと関連付けられた仮想メニューを開くためのインジケーションを提供することができる。仮想メニューは、複数の仮想オブジェクトをメニューオプションとして含んでもよい。複数の仮想オブジェクトは、ユーザの環境内の仮想オブジェクトのサブセットまたは相互作用可能オブジェクトと関連付けられた仮想オブジェクトのサブセットであってもよい。仮想メニューは、多くのグラフィック表現を有してもよい。仮想メニューのいくつかの実施例は、図12におけるオブジェクト1220およびオブジェクト1210、図13および14における仮想ユーザインターフェース1310、図13におけるオブジェクト1320、図14におけるオブジェクト1430、ならびに図15におけるオブジェクト1530として示される。ある実装では、仮想メニューを開くためのインジケーションは、ユーザ入力デバイスから受信される必要がない。インジケーションは、例えば、ユーザの頭部姿勢、眼視線、身体姿勢、ジェスチャ、音声コマンド等、直接ユーザ入力と関連付けられてもよい。
ブロック1640では、ウェアラブルシステムは、相互作用可能オブジェクトと関連付けられたコンテキスト情報を決定することができる。コンテキスト情報は、相互作用可能オブジェクトのアフォーダンス、環境(例えば、仕事環境または生活環境)の機能、ユーザの特性(ユーザの年齢または選好等)、または環境内のオブジェクトとの現在のユーザ相互作用等、それらの組み合わせ、または同等物を含むことができる。例えば、ウェアラブルシステムは、その機能、配向(水平対垂直)、場所、形状、サイズ等の相互作用可能オブジェクトの特性を分析することによって、相互作用可能オブジェクトのアフォーダンスを決定することができる。ウェアラブルシステムはまた、環境とのその関係を分析することによって、相互作用可能オブジェクトのアフォーダンスを決定することができる。例えば、リビングルーム環境内のエンドテーブルは、エンターテインメント目的のために使用されてもよい一方、寝室環境内におけるエンドテーブルは、人物が就寝する前に、アイテムを保持するために使用されてもよい。
相互作用可能オブジェクトと関連付けられたコンテキスト情報はまた、ユーザの特性または環境内のオブジェクトとのユーザの相互作用から決定されてもよい。例えば、ウェアラブルシステムは、ユーザの年齢を識別し、ユーザの年齢に相当する情報のみを提示してもよい。別の実施例として、ウェアラブルシステムは、仮想メニューとのユーザの以前の使用パターン(ユーザが頻繁に使用する仮想オブジェクトのタイプ等)を分析し、以前の使用パターンに従って、仮想メニューのコンテンツを調整することができる。
ブロック1650では、ウェアラブルシステムは、コンテキスト情報に基づいて、仮想メニュー内に含まれるべき仮想オブジェクトのリストを識別することができる。例えば、ウェアラブルシステムは、相互作用可能オブジェクトに関連する機能および/またはユーザの環境に関連する機能を伴う、アプリケーションのリストを識別することができる。別の実施例として、ウェアラブルシステムは、年齢、性別、および以前の使用パターン等のユーザの特性に基づいて、仮想メニュー内に含まれるべき仮想オブジェクトを識別してもよい。
ブロック1660では、ウェアラブルシステムは、仮想オブジェクトの識別されたリストに基づいて、仮想メニューを生成することができる。仮想メニューは、識別されたリスト上の全ての仮想オブジェクトを含んでもよい。いくつかの実施形態では、メニューは、空間内で限定されてもよい。ウェアラブルシステムは、リストのサブセットのみがユーザに示されるように、異なるタイプのコンテキスト情報を優先順位付けしてもよい。例えば、ウェアラブルシステムは、以前の使用パターンが最も重要なコンテキスト情報であることを決定し、したがって、以前の使用パターンに基づいて、上位5つの仮想オブジェクトのみを表示してもよい。
ユーザは、例えば、メニューを通してブラウジングする、コンテキスト情報のうちのいくつかの分析に基づいて以前に選択されていない利用可能な仮想オブジェクトを示す、メニューを終了する、または相互作用するための1つ以上のオブジェクトをメニュー上で選択する等、メニューを用いて種々のアクションを実施することができる。
(ユーザの生理学的データに基づいて、仮想オブジェクトをレンダリングするための例示的方法)
(ユーザの生理学的データに基づいて、仮想オブジェクトをレンダリングするための例示的方法)
図17は、少なくとも部分的に、ユーザの生理学的データに基づいて、仮想コンテンツを選択するための例示的方法のフローチャートである。プロセス1700は、本明細書に説明されるウェアラブルシステムによって実施されることができる。ウェアラブルシステムは、例えば、ユーザの生理学的パラメータを測定するように構成される、生理学的センサ、ユーザの眼領域を追跡するように構成される、内向きに面したイメージングシステム等、種々のセンサ232を含んでもよい。
ブロック1710では、ウェアラブルシステムは、ユーザの生理学的データを取得することができる。図2および4を参照して説明されるように、ウェアラブルシステムは、単独で、または内向きに面したイメージングシステムと組み合わせて、生理学的センサを使用し、ユーザの生理学的データを測定することができる。例えば、ウェアラブルシステムは、1つ以上の生理学的センサを使用して、ユーザのガルバニック皮膚反応を決定することができる。ウェアラブルシステムはさらに、内向きに面したイメージングシステムを使用して、ユーザの眼移動を決定することができる。
ブロック1720に示されるように、ウェアラブルシステムは、生理学的データを使用して、ユーザの生理学的または心理学的状態を決定することができる。例えば、ウェアラブルシステムは、ユーザのガルバニック皮膚反応および/またはユーザの眼移動を使用して、ユーザがあるコンテンツに興奮しているかどうかを決定することができる。
ブロック1730では、ウェアラブルシステムは、ユーザに提示されるべき仮想コンテンツを決定することができる。ウェアラブルシステムは、生理学的データに基づいて、そのような決定を行うことができる。例えば、生理学的データを使用して、ウェアラブルシステムは、ユーザがストレス下にあることを決定してもよい。ウェアラブルシステムは、故に、ユーザのストレスを和らげることと関連付けられた仮想オブジェクト(音楽またはビデオゲーム等)を提示することができる。
ウェアラブルシステムはまた、他のコンテキスト情報と組み合わせて、生理学的データの分析に基づいて、仮想コンテンツを提示することができる。例えば、ユーザの場所に基づいて、ウェアラブルシステムは、ユーザが仕事中にストレスを被っていることを決定してもよい。ユーザは、典型的には、仕事時間の間、ゲームをプレーしない、または音楽を視聴しないため、ウェアラブルシステムは、ユーザの休憩の間のみ、ビデオゲームおよび音楽を提案し、ユーザがそのストレスレベルを和らげることに役立ててもよい。
ブロック1740では、ウェアラブルシステムは、仮想コンテンツを含む、3Dユーザインターフェースを生成することができる。例えば、ウェアラブルシステムは、ユーザがストレスを被っていることを検出すると、音楽およびビデオゲームのためのアイコンを示してもよい。ウェアラブルシステムは、ユーザが物理オブジェクトと相互作用する間、仮想メニューを提示することができる。例えば、ウェアラブルシステムは、その仕事休憩の間、ユーザがユーザ入力デバイスをデスクの正面で作動させると、音楽およびビデオゲームのためのアイコンを示すことができる。
本明細書に説明される種々の実施例における技法は、利用可能な仮想オブジェクトまたはユーザインターフェース相互作用オプションのサブセットをユーザに提供することができる。本仮想オブジェクトまたはユーザインターフェース相互作用オプションのサブセットは、種々の形態で提供されることができる。実施例は、主に、メニューを提示することを参照して説明されるが、他のタイプのユーザインターフェース提示もまた、利用可能である。例えば、ウェアラブルシステムは、仮想オブジェクトのアイコンを仮想オブジェクトのサブセット内にレンダリングすることができる。ある実装では、ウェアラブルシステムは、自動的に、コンテキスト情報に基づいて、動作を実施することができる。例えば、ウェアラブルシステムは、ユーザが鏡の近傍に居る場合、自動的に、ユーザの最も頻繁な連絡先とテレプレゼンスセッションを開始してもよい。別の実施例として、ウェアラブルシステムは、ウェアラブルシステムが、ユーザがある仮想オブジェクトに最も関心がある可能性が高いことを決定する場合、自動的に、その仮想オブジェクトを呼び出すことができる。
(他の実施形態)
(他の実施形態)
第1の側面では、3次元(3D)空間内のユーザの環境の中で仮想メニューを生成するための方法であって、方法は、コンピュータハードウェアを備える、拡張現実(AR)システムであって、ARシステムは、ユーザの環境内のオブジェクトとのユーザ相互作用を可能にするように構成され、ARシステムは、ユーザ入力デバイスと、ARディスプレイと、ユーザの姿勢を検出するように構成される慣性測定ユニット(IMU)とを備える、ARシステムの制御下で、IMUを使用して、ユーザの姿勢を決定するステップと、少なくとも部分的に、ユーザの姿勢に基づいて、3D空間内のユーザの環境の中の物理オブジェクトを識別するステップと、ユーザ入力デバイスを介して、物理オブジェクトと関連付けられた仮想メニューを開くためのインジケーションを受信するステップと、物理オブジェクトと関連付けられたコンテキスト情報を決定するステップと、少なくとも部分的に、決定されたコンテキスト情報に基づいて、仮想メニュー内に含まれるべき仮想オブジェクトを決定するステップと、少なくとも部分的に、決定されたコンテキスト情報に基づいて、仮想メニューを表示するための空間場所を決定するステップと、少なくとも決定された仮想オブジェクトを含む、仮想メニューを生成するステップと、ユーザに、ARディスプレイを介して、生成されたメニューを空間場所に表示するステップとを含む、方法。
第2の側面では、姿勢は、頭部姿勢または身体姿勢のうちの1つ以上のものを含む、側面1に記載の方法。
第3の側面では、ARDはさらに、ユーザの眼姿勢を追跡するように構成される、眼追跡カメラを備える、側面1または側面2に記載の方法。
第4の側面では、姿勢は、眼姿勢を含む、側面3に記載の方法。
第5の側面では、コンテキスト情報は、物理オブジェクトのアフォーダンス、環境の機能、ユーザの特性、またはARシステムとのユーザの現在または過去の相互作用のうちの1つ以上のものを含む、側面1-4のいずれか1項に記載の方法。
第6の側面では、物理オブジェクトのアフォーダンスは、物理オブジェクトと関連付けられたアクションまたは使用のための機会を与える、物理オブジェクトと物理オブジェクトの環境との間の関係を含む、側面5に記載の方法。
第7の側面では、物理オブジェクトのアフォーダンスは、少なくとも部分的に、物理オブジェクトの機能、配向、タイプ、場所、形状、サイズ、または物理オブジェクトが位置する環境のうちの1つ以上のものに基づく、側面5または側面6に記載の方法。
第8の側面では、物理オブジェクトの配向は、水平または垂直を含む、側面7に記載の方法。
第9の側面では、環境は、生活環境または作業環境である、側面5-8のいずれか1項に記載の方法。
第10の側面では、環境は、プライベート環境またはパブリック環境である、側面5-9のいずれか1項に記載の方法。
第11の側面では、ユーザの特性は、年齢、性別、教育レベル、職業、または選好のうちの1つ以上のものを含む、側面5に記載の方法。
第12の側面では、選好は、少なくとも部分的に、ユーザの以前の使用パターンに基づき、以前の使用パターンは、仮想オブジェクトが使用された場所または時間の情報を含む、側面11に記載の方法。
第13の側面では、現在の相互作用は、ARシステムのユーザと別のユーザとの間のテレプレゼンスセッションを含む、側面5に記載の方法。
第14の側面では、コンテキスト情報は、基準マーカ内にエンコードされ、基準マーカは、物理オブジェクトと関連付けられる、側面1-13のいずれか1項に記載の方法。
第15の側面では、基準マーカは、光学マーカまたは電磁マーカを含む、側面14に記載の方法。
第16の側面では、オブジェクトは、物理オブジェクトまたは仮想オブジェクトのうちの少なくとも1つを含む、側面1-15のいずれか1項に記載の方法。
第17の側面では、複数の仮想オブジェクトを3次元(3D)空間内のユーザの環境の中にレンダリングするための方法であって、方法は、コンピュータハードウェアを備える、拡張現実(AR)システムであって、ARシステムは、ユーザの環境内のオブジェクトとのユーザ相互作用を可能にするように構成され、ARシステムは、ユーザ入力デバイスと、ARディスプレイと、ユーザの姿勢を検出するように構成される、姿勢センサとを備える、ARシステムの制御下で、姿勢センサを使用して、ユーザの姿勢を決定するステップと、少なくとも部分的に、ユーザの姿勢に基づいて、3D空間内のユーザの環境の中の相互作用可能オブジェクトを識別するステップと、ユーザ入力デバイスを介して、相互作用可能オブジェクトと関連付けられた複数の仮想オブジェクトを提示するためのインジケーションを受信するステップと、相互作用可能オブジェクトと関連付けられたコンテキスト情報を決定するステップと、少なくとも部分的に、決定されたコンテキスト情報に基づいて、ユーザに表示されるべき複数の仮想オブジェクトを決定するステップと、ユーザに、ARディスプレイを介して、決定された複数の仮想オブジェクトを表示するステップとを含む、方法。
第18の側面では、姿勢センサは、慣性測定ユニット、眼追跡カメラ、または外向きに面したイメージングシステムのうちの1つ以上のものを含む、側面17に記載の方法。
第19の側面では、姿勢は、頭部姿勢、眼姿勢、または身体姿勢のうちの1つ以上のものを含む、側面17または側面18に記載の方法。
第20の側面では、コンテキスト情報は、相互作用可能オブジェクトのアフォーダンス、環境の機能、ユーザの特性、またはARシステムとのユーザの現在または過去の相互作用のうちの1つ以上のものを含む、側面17-19のいずれか1項に記載の方法。
第21の側面では、相互作用可能オブジェクトのアフォーダンスは、相互作用可能オブジェクトと関連付けられたアクションまたは使用のための機会を与える、相互作用可能オブジェクトと相互作用可能オブジェクトの環境との間の関係を含む、側面20に記載の方法。
第22の側面では、相互作用可能オブジェクトのアフォーダンスは、少なくとも部分的に、相互作用可能オブジェクトの機能、配向、タイプ、場所、形状、サイズ、または物理オブジェクトが位置する環境のうちの1つ以上のものに基づく、側面20または側面21に記載の方法。
第23の側面では、相互作用可能オブジェクトの配向は、水平または垂直を含む、側面22に記載の方法。
第24の側面では、環境は、生活環境または作業環境である、側面20-23のいずれか1項に記載の方法。
第25の側面では、環境は、プライベート環境またはパブリック環境である、側面20-24のいずれか1項に記載の方法。
第26の側面では、ユーザの特性は、年齢、性別、教育レベル、職業、または選好のうちの1つ以上のものを含む、側面20に記載の方法。
第27の側面では、選好は、少なくとも部分的に、仮想オブジェクトが使用された場所または時間の情報を含む、ユーザの以前の使用パターンに基づく、側面26に記載の方法。
第28の側面では、現在の相互作用は、テレプレゼンスセッションを含む、側面20に記載の方法。
第29の側面では、コンテキスト情報は、基準マーカ内にエンコードされ、基準マーカは、相互作用可能オブジェクトと関連付けられる、側面17-28のいずれか1項に記載の方法。
第30の側面では、基準マーカは、光学マーカまたは電磁マーカを含む、側面29に記載の方法。
第31の側面では、オブジェクトは、物理オブジェクトまたは仮想オブジェクトのうちの少なくとも1つを含む、側面17-30のいずれか1項に記載の方法。
第32の側面では、相互作用可能オブジェクトは、物理オブジェクトまたは仮想オブジェクトのうちの少なくとも1つを含む、側面17-31のいずれか1項に記載の方法。
第33の側面では、コンピュータハードウェアと、ユーザ入力デバイスと、ARディスプレイと、姿勢センサとを備え、側面1-32に記載の方法のうちの任意の1つを実施するように構成される、拡張現実(AR)システム。
第34の側面では、仮想コンテンツをユーザに3次元空間(3D)内で選択的に提示するための方法であって、方法は、コンピュータプロセッサと、ディスプレイと、ユーザの生理学的パラメータを測定するように構成される、生理学的センサとを備える、ウェアラブルデバイスの制御下で、生理学的センサを使用して、ユーザの生理学的パラメータと関連付けられたデータを取得するステップと、少なくとも部分的に、データに基づいて、ユーザの生理学的状態を決定するステップと、少なくとも部分的に、生理学的状態に基づいて、ユーザに提示されるべき仮想コンテンツを決定するステップと、3D空間内で仮想コンテンツを表示するための空間場所を決定するステップと、少なくとも決定された仮想コンテンツを含む、仮想ユーザインターフェースを生成するステップと、ユーザに、ウェアラブルデバイスのディスプレイを介して、仮想コンテンツを決定された空間場所に表示するステップとを含む、方法。
第35の側面では、生理学的パラメータは、心拍数、散瞳、ガルバニック皮膚反応、血圧、脳波状態、呼吸数、または眼移動のうちの少なくとも1つを含む、側面34に記載の方法。
第36の側面では、ユーザの片眼または両眼をイメージングするように構成される、内向きに面したイメージングシステムを使用して、ユーザの生理学的パラメータと関連付けられたデータを取得するステップをさらに含む、側面34-35のいずれか1項に記載の方法。
第37の側面では、データに基づいて、心理学的状態を決定するステップをさらに含む、側面34-36のいずれか1項に記載の方法。
第38の側面では、仮想コンテンツは、仮想メニューを含む、側面34-37のいずれか1項に記載の方法。
第39の側面では、仮想コンテンツはさらに、仮想コンテンツと関連付けられた物理オブジェクトのアフォーダンス、ユーザの環境の機能、ユーザの特性、環境内に存在する個人、物理オブジェクトと関連付けられた基準マーカ内でエンコードされた情報、またはウェアラブルシステムとのユーザの現在または過去の相互作用のうちの少なくとも1つに基づいて決定される、側面34-38のいずれか1項に記載の方法。
第40の側面では、物理オブジェクトのアフォーダンスは、物理オブジェクトと関連付けられたアクションまたは使用のための機会を与える、物理オブジェクトと物理オブジェクトの環境との間の関係を含む、側面39に記載の方法。
第41の側面では、物理オブジェクトのアフォーダンスは、少なくとも部分的に、物理オブジェクトの機能、配向、タイプ、場所、形状、サイズ、または物理オブジェクトが位置する環境のうちの1つ以上のものに基づく、側面39または側面40に記載の方法。
第42の側面では、物理オブジェクトの配向は、水平または垂直を含む、側面41に記載の方法。
第43の側面では、環境は、生活環境または作業環境である、側面39-42のいずれか1項に記載の方法。
第44の側面では、環境は、プライベート環境またはパブリック環境である、側面39-43のいずれか1項に記載の方法。
第45の側面では、ユーザの特性は、年齢、性別、教育レベル、職業、または選好のうちの1つ以上のものを含む、側面39に記載の方法。
第46の側面では、選好は、少なくとも部分的に、ユーザの以前の使用パターンに基づき、以前の使用パターンは、仮想オブジェクトが使用された場所または時間の情報を含む、側面45に記載の方法。
第47の側面では、現在の相互作用は、ARシステムのユーザと別のユーザとの間のテレプレゼンスセッションを含む、側面39に記載の方法。
第48の側面では、ウェアラブルデバイスは、拡張現実システムを含む、側面34-47のいずれか1項に記載の方法。
第49の側面では、コンピュータプロセッサと、ディスプレイと、ユーザの生理学的パラメータを測定するように構成される、生理学的センサとを備える、ウェアラブルデバイスであって、側面34-48に記載の方法のうちの任意の1つを実施するように構成される、ウェアラブルデバイス。
第50の側面では、ユーザの3次元(3D)環境内で仮想コンテンツを生成するためのウェアラブルシステムであって、ウェアラブルシステムは、仮想コンテンツを3Dビューでユーザに提示するように構成される、拡張現実ディスプレイと、ユーザの位置または配向データを入手し、位置または配向データを分析し、ユーザの姿勢を識別するように構成される、姿勢センサと、姿勢センサおよびディスプレイと通信する、ハードウェアプロセッサであって、ハードウェアプロセッサは、少なくとも部分的に、ユーザの姿勢に基づいて、3D環境内のユーザの環境の中の物理オブジェクトを識別することと、物理オブジェクトとの相互作用を開始するためのインジケーションを受信することと、物理オブジェクトと関連付けられる、ユーザの環境内の仮想オブジェクトのセットを識別することと、物理オブジェクトと関連付けられたコンテキスト情報を決定することと、仮想オブジェクトのセットをフィルタリングし、コンテキスト情報に基づいて、仮想オブジェクトのサブセットを仮想オブジェクトのセットから識別することと、仮想オブジェクトのサブセットを含む、仮想メニューを生成することと、少なくとも部分的に、決定されたコンテキスト情報に基づいて、仮想メニューを提示するための3D環境内の空間場所を決定することと、拡張現実ディスプレイによって、仮想メニューを空間場所に提示するすることとを行うようにプログラムされる、ハードウェアプロセッサと、を備える、ウェアラブルシステム。
第51の側面では、コンテキスト情報は、物理オブジェクトと関連付けられたアクションまたは使用のための機会を与える、物理オブジェクトと物理オブジェクトの環境との間の関係を含む、物理オブジェクトのアフォーダンスを含み、物理オブジェクトのアフォーダンスは、少なくとも部分的に、物理オブジェクトの機能、配向、タイプ、場所、形状、サイズ、または物理オブジェクトが位置する環境のうちの1つ以上のものに基づく、側面50に記載のウェアラブルシステム。
第52の側面では、コンテキスト情報は、物理オブジェクトの表面の配向を含み、仮想オブジェクトのセットをフィルタリングするために、ハードウェアプロセッサは、配向を有する表面上のユーザインターフェース相互作用をサポートする、仮想オブジェクトのサブセットを識別するようにプログラムされる、側面51に記載のウェアラブルシステム。
第53の側面では、姿勢センサは、ユーザの頭部姿勢を測定し、物理オブジェクトを識別するように構成される、慣性測定ユニットを備え、ハードウェアプロセッサは、少なくとも部分的に、ユーザの頭部姿勢に基づいて、仮想円錐を投射し、物理オブジェクトが仮想円錐の一部と交差する物理オブジェクトを選択するようにプログラムされる、側面50-52のうちのいずれか1項に記載のウェアラブルシステム。
第54の側面では、ユーザの生理学的パラメータを測定するように構成される、生理学的センサをさらに備え、ハードウェアプロセッサは、ユーザの心理学的状態を決定し、心理学的状態をコンテキスト情報の一部として使用し、仮想メニュー内への含有のために、仮想オブジェクトのサブセットを識別するようにプログラムされる、側面50-53のうちのいずれか1項に記載のウェアラブルシステム。
第55の側面では、生理学的パラメータは、心拍数、散瞳、ガルバニック皮膚反応、血圧、脳波状態、呼吸数、または眼移動のうちの少なくとも1つに関連する、側面54に記載のウェアラブルシステム。
第56の側面では、3D環境は、複数のユーザを含み、ハードウェアプロセッサは、複数のユーザの共通特性を決定し、複数のユーザの共通特性に基づいて、仮想オブジェクトのセットをフィルタリングするようにプログラムされる、側面50-55のうちのいずれか1項に記載のウェアラブルシステム。
第57の側面では、コンテキスト情報は、仮想オブジェクトのセットとのユーザの過去の相互作用を含み、ハードウェアプロセッサは、ユーザが頻繁に相互作用している1つ以上の仮想オブジェクトを識別し、仮想メニューのために、1つ以上の仮想オブジェクトを仮想オブジェクトのサブセット内に含めるようにプログラムされる、側面50-56のうちのいずれか1項に記載のウェアラブルシステム。
第58の側面では、物理オブジェクトと関連付けられたコンテキスト情報を決定し、仮想オブジェクトのセットをフィルタリングするために、ハードウェアプロセッサは、物理オブジェクトと関連付けられた基準マーカを識別することであって、基準マーカは、物理オブジェクトの識別子をエンコードする、ことと、基準マーカをデコードし、識別子を抽出することと、物理オブジェクトと関連付けられたコンテキスト情報を記憶するデータベースに識別子を用いてアクセスすることと、データベース内に記憶されるコンテキスト情報を分析し、仮想オブジェクトのセットをフィルタリングすることとを行うようにプログラムされる、側面50-57のうちのいずれか1項に記載のウェアラブルシステム。
第59の側面では、基準マーカは、ArUcoマーカを含む、側面58に記載のウェアラブルシステム。
第60の側面では、仮想メニューをレンダリングするための空間場所は、物理オブジェクトに対する仮想メニューの位置または配向を含む、側面50-59のうちのいずれか1項に記載のウェアラブルシステム。
第61の側面では、仮想メニューをレンダリングするための空間場所を決定するために、ハードウェアプロセッサは、物理オブジェクトと関連付けられたオブジェクト認識装置を使用して、物理オブジェクトの表面上の空間を識別するようにプログラムされる、側面60に記載のウェアラブルシステム。
第62の側面では、ユーザの3次元(3D)環境内で仮想コンテンツを生成するための方法であって、方法は、姿勢センサから入手されたデータを分析し、ユーザの姿勢を識別するステップと、少なくとも部分的に、姿勢に基づいて、ユーザの3D環境内の相互作用可能オブジェクトを識別するステップと、相互作用可能オブジェクトとの相互作用を開始するためのインジケーションを受信するステップと、相互作用可能オブジェクトと関連付けられたコンテキスト情報を決定するステップと、コンテキスト情報に基づいて、相互作用可能オブジェクト上で利用可能なユーザインターフェース動作のセットからユーザインターフェース動作のサブセットを選択するステップと、ユーザインターフェース動作のサブセットを3Dビューでユーザに提示するための命令を生成するステップとを含む、方法。
第63の側面では、姿勢は、眼視線、頭部姿勢、またはジェスチャのうちの少なくとも1つを含む、側面62に記載の方法。
第64の側面では、相互作用可能オブジェクトを識別するステップは、ユーザの頭部姿勢に基づいて、円錐投射を実施するステップと、ユーザの環境内のオブジェクトをオブジェクトが円錐投射において使用される仮想円錐の少なくとも一部と交差する相互作用可能オブジェクトとして選択するステップとを含む、側面62-63のいずれか1項に記載の方法。
第65の側面では、コンテキスト情報は、相互作用可能オブジェクトの表面の配向を含み、ユーザインターフェース動作のサブセットを選択するステップは、配向を有する表面上で実施され得るユーザインターフェース動作を識別するステップを含む、側面62-64のいずれか1項に記載の方法。
第66の側面では、相互作用可能オブジェクトとの相互作用を開始するためのインジケーションは、ユーザ入力デバイスの作動またはユーザの姿勢の変化を含む、側面62-65のいずれか1項に記載の方法。
第67の側面では、ユーザの生理学的パラメータを受信するステップと、ユーザの心理学的状態を決定するステップとをさらに含み、心理学的状態は、ユーザ相互作用のサブセットを選択するためのコンテキスト情報の一部である、側面62-66のいずれか1項に記載の方法。
第68の側面では、生理学的パラメータは、心拍数、散瞳、ガルバニック皮膚反応、血圧、脳波状態、呼吸数、または眼移動のうちの少なくとも1つに関連する、側面67に記載の方法。
第69の側面では、ユーザ相互作用のサブセットを3Dビューでユーザに提示するための命令を生成するステップは、ユーザインターフェース動作のサブセットを含む仮想メニューを生成するステップと、相互作用可能オブジェクトの特性に基づいて、仮想メニューの空間場所を決定するステップと、ユーザの3D環境内の空間場所における仮想メニューの提示のための表示命令を生成するステップとを含む、側面62-68のいずれか1項に記載の方法。
(他の考慮点)
(他の考慮点)
本明細書に説明される、ならびに/または添付される図に描写されるプロセス、方法、およびアルゴリズムはそれぞれ、具体的かつ特定のコンピュータ命令を実行するように構成される、1つ以上の物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および/もしくは電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全もしくは部分的に自動化され得る。例えば、コンピューティングシステムは、具体的コンピュータ命令とともにプログラムされた汎用コンピュータ(例えば、サーバ)または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされる、動的リンクライブラリ内にインストールされ得る、または解釈されるプログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。
さらに、本開示の機能性のある実装は、十分に数学的、コンピュータ的、または技術的に複雑であるため、(適切な特殊化された実行可能命令を利用する)特定用途向けハードウェアまたは1つ以上の物理的コンピューティングデバイスは、例えば、関与する計算の量もしくは複雑性に起因して、または結果を実質的にリアルタイムで提供するために、機能性を実施する必要があり得る。
コードモジュールまたは任意のタイプのデータは、ハードドライブ、ソリッドステートメモリ、ランダムアクセスメモリ(RAM)、読取専用メモリ(ROM)、光学ディスク、揮発性もしくは不揮発性記憶装置、同一物の組み合わせ、および/または同等物を含む、物理的コンピュータ記憶装置等の任意のタイプの非一過性コンピュータ可読媒体上に記憶され得る。本方法およびモジュール(またはデータ)はまた、無線ベースおよび有線/ケーブルベースの媒体を含む、種々のコンピュータ可読伝送媒体上で生成されたデータ信号として(例えば、搬送波または他のアナログもしくはデジタル伝搬信号の一部として)伝送され得、種々の形態(例えば、単一もしくは多重化アナログ信号の一部として、または複数の離散デジタルパケットもしくはフレームとして)をとり得る。開示されるプロセスまたはプロセスステップの結果は、任意のタイプの非一過性有形コンピュータ記憶装置内に持続的もしくは別様に記憶され得る、またはコンピュータ可読伝送媒体を介して通信され得る。
本明細書に説明される、および/または添付される図に描写されるフロー図における任意のプロセス、ブロック、状態、ステップ、もしくは機能性は、プロセスにおいて具体的機能(例えば、論理もしくは算術)またはステップを実装するための1つ以上の実行可能命令を含む、コードモジュール、セグメント、またはコードの一部を潜在的に表すものとして理解されたい。種々のプロセス、ブロック、状態、ステップ、または機能性は、組み合わせられる、再配列される、追加される、削除される、修正される、または別様に本明細書に提供される例証的実施例から変更されることができる。いくつかの実施形態では、付加的または異なるコンピューティングシステムもしくはコードモジュールが、本明細書に説明される機能性のいくつかまたは全てを実施し得る。本明細書に説明される方法およびプロセスはまた、任意の特定のシーケンスに限定されず、それに関連するブロック、ステップ、または状態は、適切な他のシーケンスで、例えば、連続して、並行して、またはある他の様式で実施されることができる。タスクまたはイベントが、開示される例示的実施形態に追加される、またはそれから除去され得る。さらに、本明細書に説明される実装における種々のシステムコンポーネントの分離は、例証を目的とし、全ての実装においてそのような分離を要求するものとして理解されるべきではない。説明されるプログラムコンポーネント、方法、およびシステムは、概して、単一のコンピュータ製品においてともに統合される、または複数のコンピュータ製品にパッケージ化され得ることを理解されたい。多くの実装変形例が、可能である。
本プロセス、方法、およびシステムは、ネットワーク(または分散)コンピューティング環境において実装され得る。ネットワーク環境は、企業全体コンピュータネットワーク、イントラネット、ローカルエリアネットワーク(LAN)、広域ネットワーク(WAN)、パーソナルエリアネットワーク(PAN)、クラウドコンピューティングネットワーク、クラウドソースコンピューティングネットワーク、インターネット、およびワールドワイドウェブを含む。ネットワークは、有線もしくは無線ネットワークまたは任意の他のタイプの通信ネットワークであり得る。
本開示のシステムおよび方法は、それぞれ、いくつかの革新的側面を有し、そのうちのいかなるものも、本明細書に開示される望ましい属性に単独で関与しない、またはそのために要求されない。上記に説明される種々の特徴およびプロセスは、相互に独立して使用され得る、または種々の方法で組み合わせられ得る。全ての可能な組み合わせおよび副次的組み合わせが、本開示の範囲内に該当することが意図される。本開示に説明される実装の種々の修正が、当業者に容易に明白であり得、本明細書に定義される一般原理は、本開示の精神または範囲から逸脱することなく、他の実装に適用され得る。したがって、請求項は、本明細書に示される実装に限定されることを意図されず、本明細書に開示される本開示、原理、および新規の特徴と一貫する最も広い範囲を与えられるべきである。
別個の実装の文脈において本明細書に説明されるある特徴はまた、単一の実装における組み合わせにおいて実装されることができる。逆に、単一の実装の文脈において説明される種々の特徴もまた、複数の実装において別個に、または任意の好適な副次的組み合わせにおいて実装されることができる。さらに、特徴がある組み合わせにおいて作用するものとして上記に説明され、さらに、そのようなものとして最初に請求され得るが、請求される組み合わせからの1つ以上の特徴は、いくつかの場合では、組み合わせから削除されることができ、請求される組み合わせは、副次的組み合わせまたは副次的組み合わせの変形例を対象とし得る。いかなる単一の特徴または特徴のグループも、あらゆる実施形態に必要もしくは必須ではない。
とりわけ、「~できる(can)」、「~し得る(could)」、「~し得る(might)」、「~し得る(may)」、「例えば(e.g.,)」、および同等物等、本明細書で使用される条件文は、別様に具体的に記載されない限り、または使用されるような文脈内で別様に理解されない限り、概して、ある実施形態がある特徴、要素、および/またはステップを含む一方、他の実施形態がそれらを含まないことを伝えることが意図される。したがって、そのような条件文は、概して、特徴、要素、および/もしくはステップが、1つ以上の実施形態に対していかようにも要求されること、または1つ以上の実施形態が、著者の入力または促しの有無を問わず、これらの特徴、要素、および/もしくはステップが任意の特定の実施形態において含まれる、もしくは実施されるべきかどうかを決定するための論理を必然的に含むことを示唆することを意図されない。用語「~を備える」、「~を含む」、「~を有する」、および同等物は、同義語であり、非限定的方式で包括的に使用され、付加的要素、特徴、行為、動作等を除外しない。また、用語「または」は、その包括的意味において使用され(およびその排他的意味において使用されず)、したがって、例えば、要素のリストを接続するために使用されると、用語「または」は、リスト内の要素のうちの1つ、いくつか、または全てを意味する。加えて、本願および添付される請求項で使用されるような冠詞「a」、「an」、および「the」は、別様に規定されない限り、「1つ以上の」または「少なくとも1つ」を意味するように解釈されるべきである。
本明細書で使用されるように、項目のリスト「のうちの少なくとも1つ」を指す語句は、単一の要素を含む、それらの項目の任意の組み合わせを指す。ある実施例として、「A、B、またはCのうちの少なくとも1つ」は、A、B、C、AおよびB、AおよびC、BおよびC、ならびにA、B、およびCを網羅することが意図される。語句「X、Y、およびZのうちの少なくとも1つ」等の接続文は、別様に具体的に記載されない限り、概して、項目、用語等がX、Y、またはZのうちの少なくとも1つであり得ることを伝えるために使用されるような文脈で別様に理解される。したがって、そのような接続文は、概して、ある実施形態が、Xのうちの少なくとも1つ、Yのうちの少なくとも1つ、およびZのうちの少なくとも1つがそれぞれ存在するように要求することを示唆することを意図されない。
同様に、動作は、特定の順序で図面に描写され得るが、これは、望ましい結果を達成するために、そのような動作が示される特定の順序で、もしくは連続的順序で実施される、または全ての図示される動作が実施される必要はないと認識されるべきである。さらに、図面は、フローチャートの形態で1つ以上の例示的プロセスを図式的に描写し得る。しかしながら、描写されない他の動作も、図式的に図示される例示的方法およびプロセス内に組み込まれることができる。例えば、1つ以上の付加的動作が、図示される動作のいずれかの前に、その後に、それと同時に、またはその間に実施されることができる。加えて、動作は、他の実装において再配列される、または再順序付けられ得る。ある状況では、マルチタスクおよび並列処理が、有利であり得る。さらに、上記に説明される実装における種々のシステムコンポーネントの分離は、全ての実装におけるそのような分離を要求するものとして理解されるべきではなく、説明されるプログラムコンポーネントおよびシステムは、概して、単一のソフトウェア製品においてともに統合される、または複数のソフトウェア製品にパッケージ化され得ることを理解されたい。加えて、他の実装も、以下の請求項の範囲内である。いくつかの場合では、請求項に列挙されるアクションは、異なる順序で実施され、依然として、望ましい結果を達成することができる。
(項目1)
ユーザの3次元(3D)環境内で仮想コンテンツを生成するためのウェアラブルシステムであって、上記ウェアラブルシステムは、
仮想コンテンツを3Dビューでユーザに提示するように構成される拡張現実ディスプレイと、
ユーザの位置または配向データを入手し、上記位置または配向データを分析し、上記ユーザの姿勢を識別するように構成される姿勢センサと、
上記姿勢センサおよび上記ディスプレイと通信するハードウェアプロセッサであって、上記ハードウェアプロセッサは、
少なくとも部分的に、上記ユーザの姿勢に基づいて、上記3D環境内の上記ユーザの環境の中の物理オブジェクトを識別することと、
上記物理オブジェクトとの相互作用を開始するためのインジケーションを受信することと、
上記物理オブジェクトと関連付けられる上記ユーザの環境内の仮想オブジェクトのセットを識別することと、
上記物理オブジェクトと関連付けられたコンテキスト情報を決定することと、
上記仮想オブジェクトのセットをフィルタリングし、上記コンテキスト情報に基づいて、仮想オブジェクトのサブセットを上記仮想オブジェクトのセットから識別することと、
上記仮想オブジェクトのサブセットを含む仮想メニューを生成することと、
少なくとも部分的に、上記決定されたコンテキスト情報に基づいて、上記仮想メニューを提示するための上記3D環境内の空間場所を決定することと、
上記拡張現実ディスプレイによって、上記仮想メニューを上記空間場所に提示することと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、ウェアラブルシステム。
(項目2)
上記コンテキスト情報は、上記物理オブジェクトと関連付けられたアクションまたは使用のための機会を与える、上記物理オブジェクトと上記物理オブジェクトの環境との間の関係を含む、上記物理オブジェクトのアフォーダンスを含み、上記物理オブジェクトのアフォーダンスは、少なくとも部分的に、上記物理オブジェクトの機能、配向、タイプ、場所、形状、サイズ、または上記物理オブジェクトが位置する環境のうちの1つ以上のものに基づく、項目1に記載のウェアラブルシステム。
(項目3)
上記コンテキスト情報は、上記物理オブジェクトの表面の配向を含み、上記仮想オブジェクトのセットをフィルタリングするために、上記ハードウェアプロセッサは、上記配向を有する上記表面上のユーザインターフェース相互作用をサポートする上記仮想オブジェクトのサブセットを識別するようにプログラムされる、項目2に記載のウェアラブルシステム。
(項目4)
上記姿勢センサは、上記ユーザの頭部姿勢を測定し、上記物理オブジェクトを識別するように構成される慣性測定ユニットを備え、上記ハードウェアプロセッサは、少なくとも部分的に、上記ユーザの頭部姿勢に基づいて、仮想円錐を投射し、上記物理オブジェクトが上記仮想円錐の一部と交差する上記物理オブジェクトを選択するようにプログラムされる、項目1に記載のウェアラブルシステム。
(項目5)
上記ユーザの生理学的パラメータを測定するように構成される生理学的センサをさらに備え、ハードウェアプロセッサは、上記ユーザの心理学的状態を決定し、上記心理学的状態を上記コンテキスト情報の一部として使用し、上記仮想メニュー内への含有のために、上記仮想オブジェクトのサブセットを識別するようにプログラムされる、項目1に記載のウェアラブルシステム。
(項目6)
生理学的パラメータは、心拍数、散瞳、ガルバニック皮膚反応、血圧、脳波状態、呼吸数、または眼移動のうちの少なくとも1つに関連する、項目5に記載のウェアラブルシステム。
(項目7)
上記3D環境は、複数のユーザを含み、上記ハードウェアプロセッサは、上記複数のユーザの共通特性を決定し、上記複数のユーザの共通特性に基づいて、上記仮想オブジェクトのセットをフィルタリングするようにプログラムされる、項目1に記載のウェアラブルシステム。
(項目8)
上記コンテキスト情報は、上記仮想オブジェクトのセットとのユーザの過去の相互作用を含み、上記ハードウェアプロセッサは、上記ユーザが頻繁に相互作用している1つ以上の仮想オブジェクトを識別し、上記仮想メニューのために、上記1つ以上の仮想オブジェクトを上記仮想オブジェクトのサブセット内に含めるようにプログラムされる、項目1に記載のウェアラブルシステム。
(項目9)
上記物理オブジェクトと関連付けられたコンテキスト情報を決定し、上記仮想オブジェクトのセットをフィルタリングするために、上記ハードウェアプロセッサは、
上記物理オブジェクトと関連付けられた基準マーカを識別することであって、上記基準マーカは、上記物理オブジェクトの識別子をエンコードする、ことと、
上記基準マーカをデコードし、上記識別子を抽出することと、
上記物理オブジェクトと関連付けられたコンテキスト情報を記憶するデータベースに上記識別子を用いてアクセスすることと、
上記データベース内に記憶されるコンテキスト情報を分析し、上記仮想オブジェクトのセットをフィルタリングすることと
を行うようにプログラムされる、項目1に記載のウェアラブルシステム。
(項目10)
上記基準マーカは、ArUcoマーカを含む、項目9に記載のウェアラブルシステム。
(項目11)
上記仮想メニューをレンダリングするための上記空間場所は、上記物理オブジェクトに対する上記仮想メニューの位置または配向を含む、項目1に記載のウェアラブルシステム。
(項目12)
上記仮想メニューをレンダリングするための上記空間場所を決定するために、上記ハードウェアプロセッサは、上記物理オブジェクトと関連付けられたオブジェクト認識装置を使用して、上記物理オブジェクトの表面上の空間を識別するようにプログラムされる、項目11に記載のウェアラブルシステム。
(項目13)
ユーザの3次元(3D)環境内で仮想コンテンツを生成するための方法であって、上記方法は、
姿勢センサから入手されたデータを分析し、ユーザの姿勢を識別することと、
少なくとも部分的に、上記姿勢に基づいて、上記ユーザの3D環境内の相互作用可能オブジェクトを識別することと、
上記相互作用可能オブジェクトとの相互作用を開始するためのインジケーションを受信することと、
上記相互作用可能オブジェクトと関連付けられたコンテキスト情報を決定することと、
上記コンテキスト情報に基づいて、上記相互作用可能オブジェクト上で利用可能なユーザインターフェース動作のセットからユーザインターフェース動作のサブセットを選択することと、
上記ユーザインターフェース動作のサブセットを3Dビューで上記ユーザに提示するための命令を生成することと
を含む、方法。
(項目14)
上記姿勢は、眼視線、頭部姿勢、またはジェスチャのうちの少なくとも1つを含む、項目13に記載の方法。
(項目15)
上記相互作用可能オブジェクトを識別することは、上記ユーザの頭部姿勢に基づいて、円錐投射を実施することと、上記ユーザの環境内のオブジェクトを上記オブジェクトが上記円錐投射において使用される仮想円錐の少なくとも一部と交差する上記相互作用可能オブジェクトとして選択することとを含む、項目13に記載の方法。
(項目16)
上記コンテキスト情報は、上記相互作用可能オブジェクトの表面の配向を含み、上記ユーザインターフェース動作のサブセットを選択することは、上記配向を有する表面上で実施され得るユーザインターフェース動作を識別することを含む、項目13に記載の方法。
(項目17)
上記相互作用可能オブジェクトとの相互作用を開始するためのインジケーションは、ユーザ入力デバイスの作動または上記ユーザの姿勢の変化を含む、項目13に記載の方法。
(項目18)
上記ユーザの生理学的パラメータを受信することと、上記ユーザの心理学的状態を決定することとをさらに含み、上記心理学的状態は、上記ユーザ相互作用のサブセットを選択するための上記コンテキスト情報の一部である、項目13に記載の方法。
(項目19)
生理学的パラメータは、心拍数、散瞳、ガルバニック皮膚反応、血圧、脳波状態、呼吸数、または眼移動のうちの少なくとも1つに関連する、項目18に記載の方法。
(項目20)
上記ユーザ相互作用のサブセットを3Dビューで上記ユーザに提示するための命令を生成することは、上記ユーザインターフェース動作のサブセットを含む仮想メニューを生成することと、上記相互作用可能オブジェクトの特性に基づいて、上記仮想メニューの空間場所を決定することと、上記ユーザの3D環境内の空間場所における上記仮想メニューの提示のための表示命令を生成することとを含む、項目13に記載の方法。
(項目1)
ユーザの3次元(3D)環境内で仮想コンテンツを生成するためのウェアラブルシステムであって、上記ウェアラブルシステムは、
仮想コンテンツを3Dビューでユーザに提示するように構成される拡張現実ディスプレイと、
ユーザの位置または配向データを入手し、上記位置または配向データを分析し、上記ユーザの姿勢を識別するように構成される姿勢センサと、
上記姿勢センサおよび上記ディスプレイと通信するハードウェアプロセッサであって、上記ハードウェアプロセッサは、
少なくとも部分的に、上記ユーザの姿勢に基づいて、上記3D環境内の上記ユーザの環境の中の物理オブジェクトを識別することと、
上記物理オブジェクトとの相互作用を開始するためのインジケーションを受信することと、
上記物理オブジェクトと関連付けられる上記ユーザの環境内の仮想オブジェクトのセットを識別することと、
上記物理オブジェクトと関連付けられたコンテキスト情報を決定することと、
上記仮想オブジェクトのセットをフィルタリングし、上記コンテキスト情報に基づいて、仮想オブジェクトのサブセットを上記仮想オブジェクトのセットから識別することと、
上記仮想オブジェクトのサブセットを含む仮想メニューを生成することと、
少なくとも部分的に、上記決定されたコンテキスト情報に基づいて、上記仮想メニューを提示するための上記3D環境内の空間場所を決定することと、
上記拡張現実ディスプレイによって、上記仮想メニューを上記空間場所に提示することと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、ウェアラブルシステム。
(項目2)
上記コンテキスト情報は、上記物理オブジェクトと関連付けられたアクションまたは使用のための機会を与える、上記物理オブジェクトと上記物理オブジェクトの環境との間の関係を含む、上記物理オブジェクトのアフォーダンスを含み、上記物理オブジェクトのアフォーダンスは、少なくとも部分的に、上記物理オブジェクトの機能、配向、タイプ、場所、形状、サイズ、または上記物理オブジェクトが位置する環境のうちの1つ以上のものに基づく、項目1に記載のウェアラブルシステム。
(項目3)
上記コンテキスト情報は、上記物理オブジェクトの表面の配向を含み、上記仮想オブジェクトのセットをフィルタリングするために、上記ハードウェアプロセッサは、上記配向を有する上記表面上のユーザインターフェース相互作用をサポートする上記仮想オブジェクトのサブセットを識別するようにプログラムされる、項目2に記載のウェアラブルシステム。
(項目4)
上記姿勢センサは、上記ユーザの頭部姿勢を測定し、上記物理オブジェクトを識別するように構成される慣性測定ユニットを備え、上記ハードウェアプロセッサは、少なくとも部分的に、上記ユーザの頭部姿勢に基づいて、仮想円錐を投射し、上記物理オブジェクトが上記仮想円錐の一部と交差する上記物理オブジェクトを選択するようにプログラムされる、項目1に記載のウェアラブルシステム。
(項目5)
上記ユーザの生理学的パラメータを測定するように構成される生理学的センサをさらに備え、ハードウェアプロセッサは、上記ユーザの心理学的状態を決定し、上記心理学的状態を上記コンテキスト情報の一部として使用し、上記仮想メニュー内への含有のために、上記仮想オブジェクトのサブセットを識別するようにプログラムされる、項目1に記載のウェアラブルシステム。
(項目6)
生理学的パラメータは、心拍数、散瞳、ガルバニック皮膚反応、血圧、脳波状態、呼吸数、または眼移動のうちの少なくとも1つに関連する、項目5に記載のウェアラブルシステム。
(項目7)
上記3D環境は、複数のユーザを含み、上記ハードウェアプロセッサは、上記複数のユーザの共通特性を決定し、上記複数のユーザの共通特性に基づいて、上記仮想オブジェクトのセットをフィルタリングするようにプログラムされる、項目1に記載のウェアラブルシステム。
(項目8)
上記コンテキスト情報は、上記仮想オブジェクトのセットとのユーザの過去の相互作用を含み、上記ハードウェアプロセッサは、上記ユーザが頻繁に相互作用している1つ以上の仮想オブジェクトを識別し、上記仮想メニューのために、上記1つ以上の仮想オブジェクトを上記仮想オブジェクトのサブセット内に含めるようにプログラムされる、項目1に記載のウェアラブルシステム。
(項目9)
上記物理オブジェクトと関連付けられたコンテキスト情報を決定し、上記仮想オブジェクトのセットをフィルタリングするために、上記ハードウェアプロセッサは、
上記物理オブジェクトと関連付けられた基準マーカを識別することであって、上記基準マーカは、上記物理オブジェクトの識別子をエンコードする、ことと、
上記基準マーカをデコードし、上記識別子を抽出することと、
上記物理オブジェクトと関連付けられたコンテキスト情報を記憶するデータベースに上記識別子を用いてアクセスすることと、
上記データベース内に記憶されるコンテキスト情報を分析し、上記仮想オブジェクトのセットをフィルタリングすることと
を行うようにプログラムされる、項目1に記載のウェアラブルシステム。
(項目10)
上記基準マーカは、ArUcoマーカを含む、項目9に記載のウェアラブルシステム。
(項目11)
上記仮想メニューをレンダリングするための上記空間場所は、上記物理オブジェクトに対する上記仮想メニューの位置または配向を含む、項目1に記載のウェアラブルシステム。
(項目12)
上記仮想メニューをレンダリングするための上記空間場所を決定するために、上記ハードウェアプロセッサは、上記物理オブジェクトと関連付けられたオブジェクト認識装置を使用して、上記物理オブジェクトの表面上の空間を識別するようにプログラムされる、項目11に記載のウェアラブルシステム。
(項目13)
ユーザの3次元(3D)環境内で仮想コンテンツを生成するための方法であって、上記方法は、
姿勢センサから入手されたデータを分析し、ユーザの姿勢を識別することと、
少なくとも部分的に、上記姿勢に基づいて、上記ユーザの3D環境内の相互作用可能オブジェクトを識別することと、
上記相互作用可能オブジェクトとの相互作用を開始するためのインジケーションを受信することと、
上記相互作用可能オブジェクトと関連付けられたコンテキスト情報を決定することと、
上記コンテキスト情報に基づいて、上記相互作用可能オブジェクト上で利用可能なユーザインターフェース動作のセットからユーザインターフェース動作のサブセットを選択することと、
上記ユーザインターフェース動作のサブセットを3Dビューで上記ユーザに提示するための命令を生成することと
を含む、方法。
(項目14)
上記姿勢は、眼視線、頭部姿勢、またはジェスチャのうちの少なくとも1つを含む、項目13に記載の方法。
(項目15)
上記相互作用可能オブジェクトを識別することは、上記ユーザの頭部姿勢に基づいて、円錐投射を実施することと、上記ユーザの環境内のオブジェクトを上記オブジェクトが上記円錐投射において使用される仮想円錐の少なくとも一部と交差する上記相互作用可能オブジェクトとして選択することとを含む、項目13に記載の方法。
(項目16)
上記コンテキスト情報は、上記相互作用可能オブジェクトの表面の配向を含み、上記ユーザインターフェース動作のサブセットを選択することは、上記配向を有する表面上で実施され得るユーザインターフェース動作を識別することを含む、項目13に記載の方法。
(項目17)
上記相互作用可能オブジェクトとの相互作用を開始するためのインジケーションは、ユーザ入力デバイスの作動または上記ユーザの姿勢の変化を含む、項目13に記載の方法。
(項目18)
上記ユーザの生理学的パラメータを受信することと、上記ユーザの心理学的状態を決定することとをさらに含み、上記心理学的状態は、上記ユーザ相互作用のサブセットを選択するための上記コンテキスト情報の一部である、項目13に記載の方法。
(項目19)
生理学的パラメータは、心拍数、散瞳、ガルバニック皮膚反応、血圧、脳波状態、呼吸数、または眼移動のうちの少なくとも1つに関連する、項目18に記載の方法。
(項目20)
上記ユーザ相互作用のサブセットを3Dビューで上記ユーザに提示するための命令を生成することは、上記ユーザインターフェース動作のサブセットを含む仮想メニューを生成することと、上記相互作用可能オブジェクトの特性に基づいて、上記仮想メニューの空間場所を決定することと、上記ユーザの3D環境内の空間場所における上記仮想メニューの提示のための表示命令を生成することとを含む、項目13に記載の方法。
Claims (1)
- 本明細書に記載の発明。
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662339572P | 2016-05-20 | 2016-05-20 | |
US62/339,572 | 2016-05-20 | ||
US201662380869P | 2016-08-29 | 2016-08-29 | |
US62/380,869 | 2016-08-29 | ||
JP2020105691A JP7168612B2 (ja) | 2016-05-20 | 2020-06-18 | ユーザインターフェースメニューのコンテキスト認識 |
JP2021119483A JP2021170384A (ja) | 2016-05-20 | 2021-07-20 | ユーザインターフェースメニューのコンテキスト認識 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021119483A Division JP2021170384A (ja) | 2016-05-20 | 2021-07-20 | ユーザインターフェースメニューのコンテキスト認識 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024009318A true JP2024009318A (ja) | 2024-01-19 |
Family
ID=60326188
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018560645A Active JP6880075B2 (ja) | 2016-05-20 | 2017-05-18 | ユーザインターフェースメニューのコンテキスト認識 |
JP2020105691A Active JP7168612B2 (ja) | 2016-05-20 | 2020-06-18 | ユーザインターフェースメニューのコンテキスト認識 |
JP2021119483A Pending JP2021170384A (ja) | 2016-05-20 | 2021-07-20 | ユーザインターフェースメニューのコンテキスト認識 |
JP2023201574A Pending JP2024009318A (ja) | 2016-05-20 | 2023-11-29 | ユーザインターフェースメニューのコンテキスト認識 |
Family Applications Before (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018560645A Active JP6880075B2 (ja) | 2016-05-20 | 2017-05-18 | ユーザインターフェースメニューのコンテキスト認識 |
JP2020105691A Active JP7168612B2 (ja) | 2016-05-20 | 2020-06-18 | ユーザインターフェースメニューのコンテキスト認識 |
JP2021119483A Pending JP2021170384A (ja) | 2016-05-20 | 2021-07-20 | ユーザインターフェースメニューのコンテキスト認識 |
Country Status (9)
Country | Link |
---|---|
US (2) | US11328484B2 (ja) |
EP (2) | EP3459071B1 (ja) |
JP (4) | JP6880075B2 (ja) |
KR (3) | KR102407111B1 (ja) |
CN (2) | CN115185366A (ja) |
AU (1) | AU2017266933B2 (ja) |
CA (1) | CA3024689A1 (ja) |
IL (2) | IL290933B2 (ja) |
WO (1) | WO2017201329A1 (ja) |
Families Citing this family (64)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105094345B (zh) * | 2015-09-29 | 2018-07-27 | 腾讯科技(深圳)有限公司 | 一种信息处理方法、终端及计算机存储介质 |
US10521009B2 (en) * | 2016-05-17 | 2019-12-31 | Samsung Electronics Co., Ltd. | Method and apparatus for facilitating interaction with virtual reality equipment |
KR102407111B1 (ko) | 2016-05-20 | 2022-06-08 | 매직 립, 인코포레이티드 | 사용자 인터페이스 메뉴의 콘텍추얼 인식 |
US10335045B2 (en) | 2016-06-24 | 2019-07-02 | Universita Degli Studi Di Trento | Self-adaptive matrix completion for heart rate estimation from face videos under realistic conditions |
US9983684B2 (en) * | 2016-11-02 | 2018-05-29 | Microsoft Technology Licensing, Llc | Virtual affordance display at virtual target |
US10474336B2 (en) * | 2016-12-20 | 2019-11-12 | Adobe Inc. | Providing a user experience with virtual reality content and user-selected, real world objects |
US10290152B2 (en) * | 2017-04-03 | 2019-05-14 | Microsoft Technology Licensing, Llc | Virtual object user interface display |
US10325409B2 (en) * | 2017-06-16 | 2019-06-18 | Microsoft Technology Licensing, Llc | Object holographic augmentation |
US10191566B1 (en) * | 2017-07-05 | 2019-01-29 | Sony Interactive Entertainment Inc. | Interactive input controls in a simulated three-dimensional (3D) environment |
CN107803028B (zh) * | 2017-09-30 | 2019-03-08 | 网易(杭州)网络有限公司 | 信息处理方法、装置、电子设备及存储介质 |
US10732826B2 (en) * | 2017-11-22 | 2020-08-04 | Microsoft Technology Licensing, Llc | Dynamic device interaction adaptation based on user engagement |
JP2019121401A (ja) * | 2018-01-04 | 2019-07-22 | ハーマン インターナショナル インダストリーズ インコーポレイテッド | バイオメトリックの個人化オーディオ処理システム |
US20190212828A1 (en) * | 2018-01-10 | 2019-07-11 | Facebook Technologies, Llc | Object enhancement in artificial reality via a near eye display interface |
KR102111531B1 (ko) * | 2018-03-06 | 2020-05-15 | 서울대학교병원 | Vr 또는 ar을 기반으로 하는 병원에서의 진료 체험 제공 시스템 |
US11816886B1 (en) * | 2018-06-28 | 2023-11-14 | Meta Platforms Technologies, Llc | Apparatus, system, and method for machine perception |
US10679418B2 (en) * | 2018-09-13 | 2020-06-09 | International Business Machines Corporation | Augmentation of item dimensions based on derived storage locations for online and physical shopping |
US11068145B2 (en) * | 2018-11-15 | 2021-07-20 | Disney Enterprises, Inc. | Techniques for creative review of 3D content in a production environment |
US11615549B2 (en) * | 2018-12-06 | 2023-03-28 | Htc Corporation | Image processing system and image processing method |
EP3671410B1 (en) * | 2018-12-19 | 2022-08-24 | Siemens Healthcare GmbH | Method and device to control a virtual reality display unit |
WO2020210407A1 (en) * | 2019-04-08 | 2020-10-15 | Dubnov Tammuz | System and layering method for fast input-driven composition and live-generation of mixed digital content |
US11804014B1 (en) | 2019-04-22 | 2023-10-31 | Apple Inc. | Context-based application placement |
CN110109547A (zh) * | 2019-05-05 | 2019-08-09 | 芋头科技(杭州)有限公司 | 基于手势识别的命令激活方法和*** |
EP3956748B1 (en) * | 2019-06-14 | 2024-06-05 | Hewlett-Packard Development Company, L.P. | Headset signals to determine emotional states |
JP2020202971A (ja) * | 2019-06-17 | 2020-12-24 | Impute株式会社 | ストレス抑制システム |
US11611608B1 (en) | 2019-07-19 | 2023-03-21 | Snap Inc. | On-demand camera sharing over a network |
US11462000B2 (en) * | 2019-08-26 | 2022-10-04 | Apple Inc. | Image-based detection of surfaces that provide specular reflections and reflection modification |
US10991163B2 (en) * | 2019-09-20 | 2021-04-27 | Facebook Technologies, Llc | Projection casting in virtual environments |
US11189099B2 (en) | 2019-09-20 | 2021-11-30 | Facebook Technologies, Llc | Global and local mode virtual object interactions |
WO2021061349A1 (en) | 2019-09-27 | 2021-04-01 | Apple Inc. | Controlling representations of virtual objects in a computer-generated reality environment |
CN110716646A (zh) * | 2019-10-15 | 2020-01-21 | 北京市商汤科技开发有限公司 | 一种增强现实数据呈现方法、装置、设备及存储介质 |
CN110738737A (zh) * | 2019-10-15 | 2020-01-31 | 北京市商汤科技开发有限公司 | 一种ar场景图像处理方法、装置、电子设备及存储介质 |
JP7150894B2 (ja) | 2019-10-15 | 2022-10-11 | ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド | Arシーン画像処理方法及び装置、電子機器並びに記憶媒体 |
US11557096B2 (en) * | 2019-12-09 | 2023-01-17 | At&T Intellectual Property I, L.P. | Cognitive stimulation in vehicles |
US11687778B2 (en) | 2020-01-06 | 2023-06-27 | The Research Foundation For The State University Of New York | Fakecatcher: detection of synthetic portrait videos using biological signals |
WO2021154437A1 (en) * | 2020-01-27 | 2021-08-05 | Magic Leap, Inc. | Gaze timer based augmentation of functionality of a user input device |
US11354026B1 (en) * | 2020-01-28 | 2022-06-07 | Apple Inc. | Method and device for assigning an operation set |
WO2021162769A1 (en) | 2020-02-10 | 2021-08-19 | Magic Leap, Inc. | Body-centric content positioning relative to three-dimensional container in a mixed reality environment |
US10783800B1 (en) | 2020-02-26 | 2020-09-22 | University Of Central Florida Research Foundation, Inc. | Sensor-based complexity modulation for therapeutic computer-simulations |
SE546185C2 (en) * | 2020-03-20 | 2024-06-25 | Deep Forestry Ab | A method, system and computer program product for generating labelled 3d data representations of real world objects |
US11954249B1 (en) * | 2020-06-26 | 2024-04-09 | Apple Inc. | Head-mounted systems with sensor for eye monitoring |
WO2022015857A1 (en) * | 2020-07-14 | 2022-01-20 | Sterling Labs Llc | Generating suggested content for workspaces |
EP4211887A1 (en) * | 2020-09-09 | 2023-07-19 | Snap Inc. | Augmented reality messenger system |
US11880946B2 (en) | 2020-09-16 | 2024-01-23 | Snap Inc. | Context triggered augmented reality |
US20220101002A1 (en) * | 2020-09-30 | 2022-03-31 | Kyndryl, Inc. | Real-world object inclusion in a virtual reality experience |
KR102393903B1 (ko) * | 2020-11-09 | 2022-05-04 | 주식회사 나루스튜디오 | Ar 전자 현미경 제공 단말, 방법 및 프로그램 |
US11610363B2 (en) * | 2020-12-31 | 2023-03-21 | Oberon Technologies, Inc. | Systems and methods for virtual reality environments |
KR20220101837A (ko) * | 2021-01-12 | 2022-07-19 | 한국전자통신연구원 | 개인 맞춤형 인터페이스 적용 장치 및 방법 |
EP4314998A1 (en) * | 2021-03-31 | 2024-02-07 | Apple Inc. | Stress detection |
US11861315B2 (en) * | 2021-04-21 | 2024-01-02 | Meta Platforms, Inc. | Continuous learning for natural-language understanding models for assistant systems |
US11944905B2 (en) | 2021-09-28 | 2024-04-02 | Sony Group Corporation | Method to regulate jumps and falls by playable characters in XR spaces |
US11612817B1 (en) | 2021-09-28 | 2023-03-28 | Sony Group Corporation | Method for predefining activity zones in an extended reality (XR) environment |
US11596866B1 (en) | 2021-09-28 | 2023-03-07 | Sony Group Corporation | Method to use recognition of nearby physical surfaces to generate NPC reactions to events |
US11890534B2 (en) | 2021-09-28 | 2024-02-06 | Sony Group Corporation | Method for predefining a virtual entryway at a virtual boundary of an XR space |
US11617949B1 (en) | 2021-09-28 | 2023-04-04 | Sony Group Corporation | Methods for predefining virtual staircases connecting platforms in extended reality (XR) environments |
US11684848B2 (en) | 2021-09-28 | 2023-06-27 | Sony Group Corporation | Method to improve user understanding of XR spaces based in part on mesh analysis of physical surfaces |
US11960652B2 (en) * | 2021-10-12 | 2024-04-16 | Qualcomm Incorporated | User interactions with remote devices |
WO2023091355A1 (en) * | 2021-11-19 | 2023-05-25 | Apple Inc. | Scene information access for electronic device applications |
US11908356B2 (en) * | 2021-12-15 | 2024-02-20 | Motorola Mobility Llc | Augmented reality display device having contextual adaptive brightness |
WO2023203923A1 (ja) * | 2022-04-22 | 2023-10-26 | ソニーグループ株式会社 | 頭部装着型情報処理装置、情報処理方法、記憶媒体 |
US20230410159A1 (en) * | 2022-06-15 | 2023-12-21 | At&T Intellectual Property I, L.P. | Method and system for personalizing metaverse object recommendations or reviews |
WO2024034825A1 (ko) * | 2022-08-08 | 2024-02-15 | 삼성전자주식회사 | Ar 장치에게 표시하도록 명령할 컨텐츠를 결정하기 위한 방법 및 장치 |
US11991222B1 (en) | 2023-05-02 | 2024-05-21 | Meta Platforms Technologies, Llc | Persistent call control user interface element in an artificial reality environment |
CN117289791A (zh) * | 2023-08-22 | 2023-12-26 | 杭州空介视觉科技有限公司 | 元宇宙人工智能虚拟装备数据生成方法 |
CN117369649B (zh) * | 2023-12-05 | 2024-03-26 | 山东大学 | 基于本体感觉的虚拟现实交互***及方法 |
Family Cites Families (94)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5985116U (ja) | 1982-12-01 | 1984-06-08 | 株式会社資生堂 | 化粧用塗布具 |
JPH04372012A (ja) | 1991-06-20 | 1992-12-25 | Fuji Xerox Co Ltd | 入力装置 |
US6222525B1 (en) | 1992-03-05 | 2001-04-24 | Brad A. Armstrong | Image controllers with sheet connected sensors |
JP3310086B2 (ja) | 1993-03-31 | 2002-07-29 | 株式会社東芝 | 作業環境評価装置及び作業環境評価方法 |
US5590268A (en) | 1993-03-31 | 1996-12-31 | Kabushiki Kaisha Toshiba | System and method for evaluating a workspace represented by a three-dimensional model |
US5670988A (en) | 1995-09-05 | 1997-09-23 | Interlink Electronics, Inc. | Trigger operated electronic device |
JP3822357B2 (ja) | 1998-02-09 | 2006-09-20 | 株式会社東芝 | マルチモーダル入出力装置のインタフェース装置及びその方法 |
US6396509B1 (en) | 1998-02-21 | 2002-05-28 | Koninklijke Philips Electronics N.V. | Attention-based interaction in a virtual environment |
US6771294B1 (en) * | 1999-12-29 | 2004-08-03 | Petri Pulli | User interface |
US7215322B2 (en) * | 2001-05-31 | 2007-05-08 | Siemens Corporate Research, Inc. | Input devices for augmented reality applications |
CN1547131A (zh) * | 2003-12-03 | 2004-11-17 | 谭日辉 | 一种虚拟现实交互式控制*** |
KR20050087377A (ko) * | 2004-02-26 | 2005-08-31 | 삼성전자주식회사 | 이동 단말기의 인체 건강 지표 측정에 따른 홈 네트워크시스템에서의 주거 분위기 자동 조성 방법 |
US7561717B2 (en) | 2004-07-09 | 2009-07-14 | United Parcel Service Of America, Inc. | System and method for displaying item information |
US7403220B2 (en) * | 2004-08-23 | 2008-07-22 | Gamecaster, Inc. | Apparatus, methods, and systems for viewing and manipulating a virtual environment |
JP4500632B2 (ja) * | 2004-09-07 | 2010-07-14 | キヤノン株式会社 | 仮想現実感提示装置および情報処理方法 |
JP4574323B2 (ja) | 2004-10-26 | 2010-11-04 | キヤノン株式会社 | 画像処理方法、画像処理装置 |
US7564476B1 (en) | 2005-05-13 | 2009-07-21 | Avaya Inc. | Prevent video calls based on appearance |
US11428937B2 (en) | 2005-10-07 | 2022-08-30 | Percept Technologies | Enhanced optical and perceptual digital eyewear |
US8696113B2 (en) | 2005-10-07 | 2014-04-15 | Percept Technologies Inc. | Enhanced optical and perceptual digital eyewear |
US20070081123A1 (en) | 2005-10-07 | 2007-04-12 | Lewis Scott W | Digital eyewear |
JP5305561B2 (ja) | 2006-02-22 | 2013-10-02 | 任天堂株式会社 | ゲームプログラムおよびゲーム装置 |
JP4989383B2 (ja) | 2007-09-10 | 2012-08-01 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
JP5258399B2 (ja) * | 2008-06-06 | 2013-08-07 | キヤノン株式会社 | 画像投影装置及びその制御方法 |
US20100177117A1 (en) | 2009-01-14 | 2010-07-15 | International Business Machines Corporation | Contextual templates for modifying objects in a virtual universe |
EP2333651B1 (en) | 2009-12-11 | 2016-07-20 | Dassault Systèmes | Method and system for duplicating an object using a touch-sensitive display |
KR101114750B1 (ko) | 2010-01-29 | 2012-03-05 | 주식회사 팬택 | 다차원 영상을 이용한 사용자 인터페이스 장치 |
JP5786854B2 (ja) * | 2010-03-15 | 2015-09-30 | 日本電気株式会社 | 入力装置、入力方法及びプログラム |
US20120005624A1 (en) * | 2010-07-02 | 2012-01-05 | Vesely Michael A | User Interface Elements for Use within a Three Dimensional Scene |
US9304319B2 (en) | 2010-11-18 | 2016-04-05 | Microsoft Technology Licensing, Llc | Automatic focus improvement for augmented reality displays |
US10156722B2 (en) | 2010-12-24 | 2018-12-18 | Magic Leap, Inc. | Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality |
KR101890328B1 (ko) | 2010-12-24 | 2018-08-21 | 매직 립, 인코포레이티드 | 인체공학적 머리 장착식 디스플레이 장치 및 광학 시스템 |
US9217867B2 (en) * | 2011-03-24 | 2015-12-22 | Seiko Epson Corporation | Head-mounted display device and control method for the head-mounted display device |
EP3654146A1 (en) | 2011-03-29 | 2020-05-20 | QUALCOMM Incorporated | Anchoring virtual images to real world surfaces in augmented reality systems |
CN102193631A (zh) * | 2011-05-05 | 2011-09-21 | 上海大学 | 可穿戴式三维手势交互***及其使用方法 |
EP3462286A1 (en) | 2011-05-06 | 2019-04-03 | Magic Leap, Inc. | Massive simultaneous remote digital presence world |
USD658094S1 (en) | 2011-06-18 | 2012-04-24 | Dunn Scott E | Rounded square display device for a cord |
US9417754B2 (en) | 2011-08-05 | 2016-08-16 | P4tents1, LLC | User interface system, method, and computer program product |
WO2013028813A1 (en) * | 2011-08-23 | 2013-02-28 | Microsoft Corporation | Implicit sharing and privacy control through physical behaviors using sensor-rich devices |
WO2013049861A1 (en) | 2011-09-29 | 2013-04-04 | Magic Leap, Inc. | Tactile glove for human-computer interaction |
US20130104085A1 (en) | 2011-10-21 | 2013-04-25 | Digital Artforms, Inc. | Systems and methods for human-computer interaction using a two handed interface |
CA3164530C (en) | 2011-10-28 | 2023-09-19 | Magic Leap, Inc. | System and method for augmented and virtual reality |
US20130125066A1 (en) | 2011-11-14 | 2013-05-16 | Microsoft Corporation | Adaptive Area Cursor |
JP6250547B2 (ja) | 2011-11-23 | 2017-12-20 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | 3次元仮想現実および拡張現実表示システム |
JP2013152711A (ja) * | 2011-12-28 | 2013-08-08 | Nikon Corp | 投影装置及び表示装置 |
CA3111134A1 (en) | 2012-04-05 | 2013-10-10 | Magic Leap, Inc. | Wide-field of view (fov) imaging devices with active foveation capability |
CN107817555A (zh) | 2012-06-11 | 2018-03-20 | 奇跃公司 | 使用波导反射器阵列投射器的多深度平面三维显示器 |
US9671566B2 (en) * | 2012-06-11 | 2017-06-06 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
US8754829B2 (en) | 2012-08-04 | 2014-06-17 | Paul Lapstun | Scanning light field camera and display |
US9530232B2 (en) * | 2012-09-04 | 2016-12-27 | Qualcomm Incorporated | Augmented reality surface segmentation |
WO2014043196A1 (en) | 2012-09-11 | 2014-03-20 | Magic Leap, Inc | Ergonomic head mounted display device and optical system |
US10503359B2 (en) | 2012-11-15 | 2019-12-10 | Quantum Interface, Llc | Selection attractive interfaces, systems and apparatuses including such interfaces, methods for making and using same |
US20140160157A1 (en) | 2012-12-11 | 2014-06-12 | Adam G. Poulos | People-triggered holographic reminders |
US9317972B2 (en) * | 2012-12-18 | 2016-04-19 | Qualcomm Incorporated | User interface for augmented reality enabled devices |
KR101800617B1 (ko) | 2013-01-02 | 2017-12-20 | 삼성전자주식회사 | 디스플레이 장치 및 이의 화상 통화 방법 |
JP2014134922A (ja) | 2013-01-09 | 2014-07-24 | Sony Corp | 情報処理装置、情報処理方法およびプログラム |
IL293789B2 (en) | 2013-01-15 | 2023-08-01 | Magic Leap Inc | A system for scanning electromagnetic imaging radiation |
GB2511096A (en) | 2013-02-22 | 2014-08-27 | Fox Murphy Ltd | A Mobile Indoor Navigation System |
US20140258942A1 (en) | 2013-03-05 | 2014-09-11 | Intel Corporation | Interaction of multiple perceptual sensing inputs |
JP5962547B2 (ja) * | 2013-03-08 | 2016-08-03 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
IL308285B1 (en) | 2013-03-11 | 2024-07-01 | Magic Leap Inc | System and method for augmentation and virtual reality |
CA3160567A1 (en) | 2013-03-15 | 2014-09-18 | Magic Leap, Inc. | Display system and method |
US9245388B2 (en) * | 2013-05-13 | 2016-01-26 | Microsoft Technology Licensing, Llc | Interactions of virtual objects with surfaces |
US9383819B2 (en) * | 2013-06-03 | 2016-07-05 | Daqri, Llc | Manipulation of virtual object in augmented reality via intent |
US10262462B2 (en) | 2014-04-18 | 2019-04-16 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
US9874749B2 (en) | 2013-11-27 | 2018-01-23 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
US9129430B2 (en) | 2013-06-25 | 2015-09-08 | Microsoft Technology Licensing, Llc | Indicating out-of-view augmented reality images |
KR20150037254A (ko) | 2013-09-30 | 2015-04-08 | 엘지전자 주식회사 | 착용형 디스플레이 디바이스 및 레이어 제어 방법 |
WO2015051047A1 (en) | 2013-10-01 | 2015-04-09 | Quantum Interface, Llc. | Selection attractive interfaces, systems and apparatuses including such interfaces, methods for making and using same |
CA2927818C (en) | 2013-10-16 | 2021-11-30 | Magic Leap, Inc. | Virtual or augmented reality headsets having adjustable interpupillary distance |
US9857591B2 (en) | 2014-05-30 | 2018-01-02 | Magic Leap, Inc. | Methods and system for creating focal planes in virtual and augmented reality |
IL305162A (en) | 2013-11-27 | 2023-10-01 | Magic Leap Inc | Virtual and augmented reality systems and methods |
CN103713737B (zh) * | 2013-12-12 | 2017-01-11 | 中国科学院深圳先进技术研究院 | 用于智能眼镜的虚拟键盘*** |
US20150187357A1 (en) * | 2013-12-30 | 2015-07-02 | Samsung Electronics Co., Ltd. | Natural input based virtual ui system for mobile devices |
US9244539B2 (en) * | 2014-01-07 | 2016-01-26 | Microsoft Technology Licensing, Llc | Target positioning with gaze tracking |
US9836122B2 (en) * | 2014-01-21 | 2017-12-05 | Osterhout Group, Inc. | Eye glint imaging in see-through computer display systems |
WO2015117043A1 (en) | 2014-01-31 | 2015-08-06 | Magic Leap, Inc. | Multi-focal display system and method |
KR102207799B1 (ko) | 2014-01-31 | 2021-01-26 | 매직 립, 인코포레이티드 | 멀티-포컬 디스플레이 시스템 및 방법 |
US20150231509A1 (en) | 2014-02-17 | 2015-08-20 | Xaviant, LLC (a GA Limited Liability Company) | System, Method, and Apparatus for Smart Targeting |
US10203762B2 (en) | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
KR20150110257A (ko) * | 2014-03-21 | 2015-10-02 | 삼성전자주식회사 | 웨어러블 디바이스에서 가상의 입력 인터페이스를 제공하는 방법 및 이를 위한 웨어러블 디바이스 |
WO2015161307A1 (en) | 2014-04-18 | 2015-10-22 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
EP3140780B1 (en) | 2014-05-09 | 2020-11-04 | Google LLC | Systems and methods for discerning eye signals and continuous biometric identification |
KR102193052B1 (ko) | 2014-05-30 | 2020-12-18 | 매직 립, 인코포레이티드 | 가상 또는 증강 현실 장치로 가상 콘텐츠 디스플레이를 생성하기 위한 방법들 및 시스템들 |
JP6320220B2 (ja) * | 2014-07-29 | 2018-05-09 | みこらった株式会社 | 電子機器、電子機器の表示画面の表示制御方法及びプログラム |
CN106922190B (zh) * | 2014-08-15 | 2020-09-18 | 不列颠哥伦比亚大学 | 用于执行医疗手术并且用于访问和/或操纵医学相关信息的方法和*** |
KR102029756B1 (ko) | 2014-11-03 | 2019-10-08 | 삼성전자주식회사 | 웨어러블 디바이스 및 그 제어 방법 |
US9746921B2 (en) * | 2014-12-31 | 2017-08-29 | Sony Interactive Entertainment Inc. | Signal generation and detector systems and methods for determining positions of fingers of a user |
US9576190B2 (en) | 2015-03-18 | 2017-02-21 | Snap Inc. | Emotion recognition in video conferencing |
USD758367S1 (en) | 2015-05-14 | 2016-06-07 | Magic Leap, Inc. | Virtual reality headset |
WO2016203792A1 (ja) | 2015-06-15 | 2016-12-22 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
US9824499B2 (en) * | 2015-06-23 | 2017-11-21 | Microsoft Technology Licensing, Llc | Mixed-reality image capture |
EP3118722B1 (en) | 2015-07-14 | 2020-07-01 | Nokia Technologies Oy | Mediated reality |
KR102407111B1 (ko) | 2016-05-20 | 2022-06-08 | 매직 립, 인코포레이티드 | 사용자 인터페이스 메뉴의 콘텍추얼 인식 |
KR102417968B1 (ko) | 2017-09-29 | 2022-07-06 | 애플 인크. | 시선-기반 사용자 상호작용 |
-
2017
- 2017-05-18 KR KR1020187036979A patent/KR102407111B1/ko active IP Right Grant
- 2017-05-18 US US15/599,162 patent/US11328484B2/en active Active
- 2017-05-18 KR KR1020237025009A patent/KR20230113663A/ko not_active Application Discontinuation
- 2017-05-18 KR KR1020227018789A patent/KR102560558B1/ko active IP Right Grant
- 2017-05-18 AU AU2017266933A patent/AU2017266933B2/en not_active Expired - Fee Related
- 2017-05-18 EP EP17800195.4A patent/EP3459071B1/en active Active
- 2017-05-18 CN CN202210629940.1A patent/CN115185366A/zh active Pending
- 2017-05-18 WO PCT/US2017/033399 patent/WO2017201329A1/en unknown
- 2017-05-18 EP EP22171762.2A patent/EP4060462A1/en active Pending
- 2017-05-18 CA CA3024689A patent/CA3024689A1/en active Pending
- 2017-05-18 CN CN201780044955.9A patent/CN109496331B/zh active Active
- 2017-05-18 IL IL290933A patent/IL290933B2/en unknown
- 2017-05-18 JP JP2018560645A patent/JP6880075B2/ja active Active
-
2018
- 2018-11-13 IL IL262987A patent/IL262987B/en unknown
-
2020
- 2020-06-18 JP JP2020105691A patent/JP7168612B2/ja active Active
-
2021
- 2021-07-20 JP JP2021119483A patent/JP2021170384A/ja active Pending
-
2022
- 2022-04-06 US US17/714,496 patent/US12014464B2/en active Active
-
2023
- 2023-11-29 JP JP2023201574A patent/JP2024009318A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
EP3459071A1 (en) | 2019-03-27 |
AU2017266933B2 (en) | 2023-01-12 |
KR20190008941A (ko) | 2019-01-25 |
IL262987B (en) | 2022-04-01 |
KR102407111B1 (ko) | 2022-06-08 |
US20170337742A1 (en) | 2017-11-23 |
IL290933A (en) | 2022-04-01 |
EP3459071B1 (en) | 2022-05-11 |
US20220230404A1 (en) | 2022-07-21 |
JP6880075B2 (ja) | 2021-06-02 |
CN115185366A (zh) | 2022-10-14 |
CN109496331B (zh) | 2022-06-21 |
EP3459071A4 (en) | 2020-02-26 |
IL262987A (en) | 2018-12-31 |
EP4060462A1 (en) | 2022-09-21 |
AU2017266933A1 (en) | 2018-12-06 |
US12014464B2 (en) | 2024-06-18 |
IL290933B1 (en) | 2023-06-01 |
US11328484B2 (en) | 2022-05-10 |
JP2020161177A (ja) | 2020-10-01 |
WO2017201329A1 (en) | 2017-11-23 |
IL290933B2 (en) | 2023-10-01 |
KR20220080030A (ko) | 2022-06-14 |
JP7168612B2 (ja) | 2022-11-09 |
KR102560558B1 (ko) | 2023-07-27 |
CA3024689A1 (en) | 2017-11-23 |
KR20230113663A (ko) | 2023-07-31 |
JP2021170384A (ja) | 2021-10-28 |
JP2019517072A (ja) | 2019-06-20 |
CN109496331A (zh) | 2019-03-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7168612B2 (ja) | ユーザインターフェースメニューのコンテキスト認識 | |
US11568643B2 (en) | Automatic control of wearable display device based on external conditions | |
JP2020502849A (ja) | 複合現実較正のための眼球周囲試験 | |
NZ794186A (en) | Automatic control of wearable display device based on external conditions |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231129 |