CN115185366A - 用户界面菜单的情景感知 - Google Patents
用户界面菜单的情景感知 Download PDFInfo
- Publication number
- CN115185366A CN115185366A CN202210629940.1A CN202210629940A CN115185366A CN 115185366 A CN115185366 A CN 115185366A CN 202210629940 A CN202210629940 A CN 202210629940A CN 115185366 A CN115185366 A CN 115185366A
- Authority
- CN
- China
- Prior art keywords
- user
- virtual
- user interface
- environment
- wearable system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 142
- 230000003993 interaction Effects 0.000 claims abstract description 45
- 230000007613 environmental effect Effects 0.000 claims 4
- 238000003384 imaging method Methods 0.000 description 53
- 230000003287 optical effect Effects 0.000 description 44
- 210000003128 head Anatomy 0.000 description 28
- 238000012545 processing Methods 0.000 description 28
- 230000008569 process Effects 0.000 description 26
- 239000003550 marker Substances 0.000 description 25
- 238000004422 calculation algorithm Methods 0.000 description 24
- 210000001747 pupil Anatomy 0.000 description 24
- 230000006870 function Effects 0.000 description 23
- 238000010586 diagram Methods 0.000 description 18
- 238000000605 extraction Methods 0.000 description 16
- 230000033001 locomotion Effects 0.000 description 16
- 230000004308 accommodation Effects 0.000 description 15
- 230000003190 augmentative effect Effects 0.000 description 14
- 230000000694 effects Effects 0.000 description 14
- 230000009471 action Effects 0.000 description 12
- 230000036651 mood Effects 0.000 description 10
- 230000000007 visual effect Effects 0.000 description 10
- 230000004424 eye movement Effects 0.000 description 9
- 230000006996 mental state Effects 0.000 description 9
- 230000035790 physiological processes and functions Effects 0.000 description 9
- 231100000430 skin reaction Toxicity 0.000 description 9
- 210000004556 brain Anatomy 0.000 description 8
- 230000008859 change Effects 0.000 description 8
- 238000009826 distribution Methods 0.000 description 8
- 238000013507 mapping Methods 0.000 description 8
- 238000005259 measurement Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 239000000835 fiber Substances 0.000 description 7
- 238000002347 injection Methods 0.000 description 7
- 239000007924 injection Substances 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 7
- 239000000463 material Substances 0.000 description 7
- 238000005266 casting Methods 0.000 description 6
- 230000007423 decrease Effects 0.000 description 6
- 235000013305 food Nutrition 0.000 description 6
- 230000010344 pupil dilation Effects 0.000 description 6
- 230000029058 respiratory gaseous exchange Effects 0.000 description 6
- 239000007787 solid Substances 0.000 description 6
- 230000036772 blood pressure Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 210000003811 finger Anatomy 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 230000004438 eyesight Effects 0.000 description 4
- 239000013307 optical fiber Substances 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 230000035807 sensation Effects 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008921 facial expression Effects 0.000 description 3
- 230000004807 localization Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000010422 painting Methods 0.000 description 3
- 238000003825 pressing Methods 0.000 description 3
- 230000001902 propagating effect Effects 0.000 description 3
- 210000003813 thumb Anatomy 0.000 description 3
- 238000011144 upstream manufacturing Methods 0.000 description 3
- 238000004497 NIR spectroscopy Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 210000000613 ear canal Anatomy 0.000 description 2
- 238000000537 electroencephalography Methods 0.000 description 2
- 238000002567 electromyography Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 229910052751 metal Inorganic materials 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 238000012014 optical coherence tomography Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 230000002040 relaxant effect Effects 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- KRQUFUKTQHISJB-YYADALCUSA-N 2-[(E)-N-[2-(4-chlorophenoxy)propoxy]-C-propylcarbonimidoyl]-3-hydroxy-5-(thian-3-yl)cyclohex-2-en-1-one Chemical compound CCC\C(=N/OCC(C)OC1=CC=C(Cl)C=C1)C1=C(O)CC(CC1=O)C1CCCSC1 KRQUFUKTQHISJB-YYADALCUSA-N 0.000 description 1
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 241000256837 Apidae Species 0.000 description 1
- 206010005746 Blood pressure fluctuation Diseases 0.000 description 1
- 206010048909 Boredom Diseases 0.000 description 1
- WQZGKKKJIJFFOK-GASJEMHNSA-N Glucose Natural products OC[C@H]1OC(O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-GASJEMHNSA-N 0.000 description 1
- 206010019233 Headaches Diseases 0.000 description 1
- 239000004983 Polymer Dispersed Liquid Crystal Substances 0.000 description 1
- 208000036366 Sensation of pressure Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 238000002555 auscultation Methods 0.000 description 1
- 210000003403 autonomic nervous system Anatomy 0.000 description 1
- 238000013531 bayesian neural network Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005253 cladding Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000010411 cooking Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012631 diagnostic technique Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000008103 glucose Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 231100000869 headache Toxicity 0.000 description 1
- 238000009532 heart rate measurement Methods 0.000 description 1
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000013488 ordinary least square regression Methods 0.000 description 1
- 238000013186 photoplethysmography Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 230000007958 sleep Effects 0.000 description 1
- 125000006850 spacer group Chemical group 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000035900 sweating Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02405—Determining heart rate variability
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/03—Detecting, measuring or recording fluid pressure within the body other than blood pressure, e.g. cerebral pressure; Measuring pressure in body tissues or organs
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/018—Input/output arrangements for oriental characters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
- G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
- G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Toxicology (AREA)
- Electromagnetism (AREA)
- Artificial Intelligence (AREA)
- Surgery (AREA)
- Multimedia (AREA)
- Animal Behavior & Ethology (AREA)
- Molecular Biology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Cardiology (AREA)
- Dermatology (AREA)
- Neurosurgery (AREA)
- Neurology (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Physiology (AREA)
- Hematology (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Abstract
公开了可穿戴***用来自动选择或筛选可用用户界面交互或虚拟对象的***和方法的示例。可穿戴***可以基于与用户、用户的环境,用户的环境中的物理对象或虚拟对象、或用户的生理状态或心理状态相关联的情景信息选择虚拟对象组以进行用户交互。
Description
本申请是申请号为201780044955.9的中国专利申请的分案申请,原申请的申请日为2017年05月18日,优先权日为2016年05月20日,进入中国国家阶段的日期为2019年01月18日,发明名称为“用户界面菜单的情景感知”。
相关申请的交叉引用
本申请根据35U.S.C.§119(e)主张2016年5月20日提交的序列号为62/339,572的,名称为“CONTEXTUAL AWARENESS OF USER INTERFACE MENUS(用户界面菜单的情景感知)”的美国临时申请和2016年8月29日提交的序列号为62/380,869的,名称为“AUGMENTEDCOGNITION USER INTERFACE(增强认知用户界面)”的美国临时申请的优先权益,这些申请公开的全部内容在此通过引用并入此文。
技术领域
本公开涉及虚拟现实和增强现实成像和可视化***,更具体地,涉及基于情景信息呈现和选择虚拟对象。
背景技术
现代计算和显示技术促进了用于所谓的“虚拟现实”、“增强现实”或“混合现实”体验的***开发,其中数字再现图像或其一部分以看起来是真实的或可以被感知为真实的方式呈现给用户。虚拟现实或“VR”场景通常涉及呈现以对其它实际的真实世界视觉输入不透明的方式呈现数字或虚拟图像信息;增强现实或“AR”场景通常涉及将数字或虚拟图像信息呈现为对用户周围真实世界的可视化的增强。混合现实或“MR”涉及合并真实和虚拟世界以产生物理对象和虚拟对象共存并且实时交互的新环境。事实证明,人类视觉感知***非常复杂,而且,开发促进虚拟图像元素在其它虚拟或真实世界图像元素当中舒适、感觉自然、丰富呈现的VR、AR或MR技术非常具有挑战性。本文公开的***和方法解决了与VR、AR或MR技术相关的各种挑战。
发明内容
在一个实施例中,公开了一种用于在用户的三维(3D)环境中生成虚拟内容的可穿戴***。该可穿戴***可以包括增强现实显示器,该增强现实显示器被配置为在3D视图中向用户呈现虚拟内容;姿势传感器,该姿势传感器被配置为获取用户的位置或取向数据,并分析该位置或取向数据以识别该用户的姿势;硬件处理器,该硬件处理器被配置为与姿势传感器和显示器通信。该硬件处理器可以被编程为:至少部分地基于该用户的姿势识别3D环境中的用户的环境中的物理对象;接收用于启动与物理对象进行交互的指示;识别与物理对象相关联的用户的环境中的虚拟对象集;确定与物理对象相关联的情景信息;基于情景信息筛选虚拟对象集以从该虚拟对象集中识别虚拟对象子集;生成包括虚拟对象子集的虚拟菜单;至少部分地基于所确定的情景信息来确定用于呈现虚拟菜单的3D环境中的空间位置;以及通过增强现实显示器在空间位置处呈现虚拟菜单。
在另一实施例中,公开了一种用于在用户的三维(3D)环境中生成虚拟内容的方法。该方法可以包括分析从姿势传感器获取的数据以识别用户的姿势;至少部分地基于该姿势识别用户的3D环境中的可交互对象;接收用于启动与可交互对象的进行交互的指示;确定与可交互对象相关联的情景信息;基于情景信息从可交互对象上的可用用户界面操作集中选择用户界面操作子集;以及生成用于在3D视图中向用户呈现用户界面操作子集的指令。
在附图和以下描述中阐述了本说明书中描述的主题的一个或多个实施方式的细节。通过阅读说明书、附图和权利要求,其它特征、方面和优点将变得显而易见。本发明内容和以下具体实施方式并非旨在限定或限制本发明主题的范围。
附图说明
图1示出了具有由人观看到的某些虚拟现实对象和某些物理对象的混合现实场景的图示。
图2示意性地示出了可穿戴***的示例。
图3示意性地示出了使用多个深度平面模拟三维图像的方法的各方面。
图4示意性地示出了用于将图像信息输出给用户的波导堆叠的示例。
图5示出了可以由波导输出的示例出射光束。
图6是示出光学***的示意图,该光学***包括波导装置、光学耦合器子***,其用于将光光学耦合到波导装置或从波导装置光学耦合光,以及控制子***,其用于产生多焦点体积显示器、图像或光场。
图7是可穿戴***的示例的框图。
图8是呈现与所识别的对象有关的虚拟内容的方法的示例的过程流程图。
图9是可穿戴***的另一示例的框图。
图10是用于确定可穿戴***的用户输入的方法的示例的过程流程图。
图11是用于与虚拟用户界面交互的方法的示例的过程流程图。
图12示出了用户在办公室环境中与虚拟用户界面进行交互的示例。
图13和图14示出了用户在起居室环境中与虚拟用户界面进行交互的示例。
图15示出了用户在卧室环境中与虚拟用户界面进行交互的示例。
图16是用于基于情景信息生成虚拟菜单的示例方法的流程图。
图17是用于至少部分地基于用户的生理状态和/或心理状态选择虚拟内容的示例方法的流程图。
贯穿附图,可以重复使用参考标号来指示被引用元件之间的对应关系。提供附图是为了说明本文描述的示例实施例,并且并非旨在限制本公开的范围。此外,本公开中的附图用于说明目的,并非按比例绘制。
具体实施方式
概述
现代计算机界面支持广泛的功能。然而,用户可能面临着多个选项,不能快速识别感兴趣的对象。在AR/VR/MR环境中,由于当通过可穿戴设备的AR/VR/MR显示器感知时的用户视场(FOV)可能小于用户正常FOV,因此提供相关的虚拟对象集比常规计算环境更具挑战性。
本文描述的可穿戴***可以通过分析用户环境并在用户界面上提供更小且更相关的功能子集来改善该问题。可穿戴***可以基于情景信息(例如,用户环境或用户环境中的对象)提供该功能子集。可穿戴***可以识别物理对象(例如,桌子和墙壁)以及它们与环境的关系。例如,可穿戴***可以识别杯子应该放在桌子上(而不是墙壁上),并且画应该放在垂直的墙壁上(而不是桌子上)。基于这种关系,可穿戴***可以将虚拟杯子投射在用户房间的桌子上,将虚拟画投射在垂直的墙壁上。
除了对象与其环境之间的关系之外,诸如对象的取向(例如,水平或垂直),还可以使用诸如对象的取向(例如,水平或垂直)、用户环境的特性以及先前的使用模式(诸如时间、位置等)之类的其它因素来确定可穿戴***应显示哪些虚拟对象。用户环境的特性可以包括用户可以以相对安全和私密的方式(例如,在用户的家中或办公室中)与可穿戴设备进行交互的私人环境,还包括附近可能有其他人的公共环境(用户可能不希望其他人观看或无意中听到与设备进行的用户交互)。私人环境或公共环境之间的区分并不是排他的。例如,如果用户附近有许多人,则公园可以是公共环境,但如果只有用户一人或者附近没有其他人,则公园可以是私人环境。可以至少部分地基于附近人的数量、他们与用户的接近程度、他们与用户的关系(例如,他们是朋友、家人还是陌生人)等来做出区分。附加地或替换地,可穿戴***可以识别与对象相关联的标签(例如基准标记)。标签可以包含有关应该针对与基准标记相关联的对象显示哪些虚拟对象(诸如虚拟菜单上的项目)的信息。
在一些实施例中,可穿戴***还可包括各种生理传感器。这些传感器可以测量或估计用户的生理参数,诸如心率、呼吸率、皮肤电反应、血压、脑图状态等。这些传感器可以与面向内部的成像***结合使用,以确定用户的眼睛运动和瞳孔扩张,眼睛运动和瞳孔扩张也可以反映用户的生理状态或心理状态。可穿戴***可以分析由生理传感器或面向内部的成像***获取的数据,以确定用户的心理状态,诸如情绪和兴趣。可穿戴***可以使用用户的心理状态作为情景信息的一部分,并且至少部分地基于用户的心理状态呈现虚拟对象集。
可穿戴***的3D显示示例
可穿戴***(在此也被称为增强现实(AR)***)可以被配置为向用户呈现2D或3D虚拟图像。图像可以是静止图像、视频帧或视频或其组合等。可穿戴***可以包括可穿戴设备,可穿戴设备可以单独或组合地呈现VR、AR或MR环境以进行用户交互。可穿戴设备可以是头戴式设备(HMD),头戴式设备可以被互换地用作AR设备(ARD)。可穿戴设备可以采取头盔、眼镜对、耳机或任何其它可穿戴配置的形式。
图1示出了具有由人观看到的某些虚拟现实对象和某些物理对象的混合现实场景的图示。在图1中,示出了MR场景100,其中MR技术的用户看到以人、树、背景中的建筑物、混凝土平台120为特征的真实世界的公园状设置110。除了这些项目之外,MR技术的用户还感知到他“看到”站在真实世界平台120上的机器人雕像130,以及看起来是大黄蜂的化身的正在飞舞的卡通式化身角色140,即使这些元素在真实世界中不存在。
为了使3D显示器产生真实的深度感,更具体地,产生模拟的表面深度感,可能需要显示器视场中的每个点生成与其虚拟深度的对应的调节响应。如果如通过会聚和立体视觉的双目深度线索所确定的,显示点的调节响应与该点的虚拟深度不对应,则人眼可能产生调节冲突,导致不稳定的成像,有害的眼睛疲劳、头痛,并且在缺乏调节信息的情况下,几乎完全缺乏表面深度。
VR、AR和MR体验可以由具有显示器的显示***提供,在这些显示器中,与多个深度平面对应的图像被提供给观看者。对于每个深度平面,图像可以是不同的(例如,提供稍微不同的场景或对象呈现),并且可以由观看者的眼睛单独聚焦,从而有助于基于将位于不同深度平面上的场景的不同图像特征聚焦所需的眼睛的调节,或者基于观察处于失焦状态的不同深度平面上的不同图像特征,为用户提供深度线索。如本文其它地方所讨论的,这种深度线索提供了可靠的深度感。
图2示出了可穿戴***200的示例。可穿戴***200包括显示器220,以及支持该显示器220的功能的各种机械和电子模块和***。显示器220可以耦接到框架230,该框架可由显示***用户、穿戴者或观看者210穿戴。显示器220可以被定位在用户210的眼前。显示器220可以向用户呈现AR/VR/MR内容。显示器220可以包括穿戴在用户头上的头戴式显示器(HMD)。在一些实施例中,扬声器240耦接到框架230并且被定位在用户的耳道附近(在一些实施例中,另一扬声器(未示出)被定位在用户的另一耳道附近以提供立体声/可塑形的声音控制)。
可穿戴***200可包括面向外部的成像***464(如图4所示),该成像***464观察用户周围环境中的世界。可穿戴***200还可以包括面向内部的成像***462(如图4所示),该成像***462可以跟踪用户的眼睛运动。面向内部的成像***可以跟踪一只眼睛的运动或全部两只眼睛的运动。面向内部的成像***462可以被附接到框架230并且可以与处理模块260或270电连接,处理模块260或270可以处理由面向内部的成像***获取的图像信息以确定例如用户210的眼睛的瞳孔直径或取向、眼睛运动或眼睛姿势。
作为示例,可穿戴***200可以使用面向外部的成像***464或面向内部的成像***462来获取用户姿势的图像。图像可以是静止图像、视频帧或视频或其组合等。
在一些实施例中,可穿戴***200可包括一个或多个生理传感器232。这种传感器的示例包括被配置为执行眼科测试的传感器,诸如共聚焦显微镜传感器、眼震电图(ENG)传感器、眼电图(EOG)传感器、视网膜电图(ERG)传感器、激光多普勒血流计(LDF)传感器、光声成像和压力读数传感器、双光子激发显微镜传感器和/或超声传感器。传感器的其它示例包括被配置为执行其它电诊断技术的传感器,诸如心电图(ECG)传感器、脑电图(EEG)传感器、肌电图(EMG)传感器、电生理测试(EP)传感器、事件相关电位(ERP)传感器、功能性近红外光谱(fNIR)传感器、低分辨率脑电磁断层扫描(LORETA)传感器和/或光学相干断层扫描(OCT)传感器。传感器232的另外的示例包括生理传感器,诸如血糖传感器、血压传感器、皮肤电活动传感器、光电容积描记装备、用于辅助计算机听诊的传感装备、皮肤电反应传感器和/或体温传感器。传感器232还可以包括CO2监测传感器、呼吸率传感器、气末(end-title)CO2传感器和/或呼吸测醉器(breathalyzer)。
传感器232的示例被示意性地示出为连接到框架230。该连接可以采取物理附接到框架230的形式,并且可以附接到框架230上的任何位置。作为示例,传感器232可以被安装在框架230上,以便设置在用户的太阳穴附近或设置在框架230与用户鼻子之间的接触点处。作为另一示例,传感器232可以被设置在延伸到用户耳朵上方的框架230的部分处。在一些其它实施例中,传感器232可以远离框架230延伸以接触用户210。例如,传感器232可以接触用户身体的一部分(例如,用户的手臂)并且经由有线连接连接到框架230。在其它实施例中,传感器232可以不被物理地附接到框架230;相反,传感器232可以经由无线连接与可穿戴***200通信。在一些实施例中,可穿戴***200可以具有头盔的形式,并且传感器232可以朝向用户头顶或侧面设置。
在一些实施方式中,传感器232直接测量被可穿戴***用作情景信息的生理参数。例如,心率传感器可以直接测量用户的心率。在其它实施方式中,传感器232(或传感器组)可以进行用于估计另一生理参数的测量。例如,可以将压力估计为心率测量和皮肤电反应测量的组合。可以将统计技术应用于传感器数据以估计生理(或心理)状态。作为示例,可以使用机器学习技术(例如,决策树、神经网络、支持向量机、贝叶斯(Bayesian)技术)来组合传感器数据以估计用户的状态。状态估计可以提供二元状态(例如,紧张或基准(baseline))、多元状态(例如,紧张、基准或放松),或概率测量(例如,用户紧张的概率)。生理状态或心理状态可以反映用户的任何情绪状态,例如:焦虑、压力、愤怒、感动、厌倦、绝望或抑郁、快乐、悲伤、孤独、震惊或惊讶等。
显示器220可以诸如通过有线引线或无线连接可操作地将250耦接到本地数据处理模块260,本地数据处理模块260可以以各种配置安装,诸如固定地附接到框架230,固定地附接到用户戴的头盔或帽子,嵌入耳机中,或以其它方式可移除地附接到用户210(例如,采取背包式配置,采取束带连接式配置)。
本地处理和数据模块260可以包括硬件处理器,以及数字存储器,诸如非易失性存储器(例如,闪存),这两者都可被用于辅助处理、缓存和数据存储。这些数据可以包括a)通过传感器(其例如可以被可操作地耦接到框架230或以其它方式附接到用户210)捕获的数据,这些传感器诸如图像捕获设备(例如,面向内部的成像***或面向外部的成像***中的相机)、麦克风、惯性测量单元(IMU)、加速度计、指南针、全球定位***(GPS)单元、无线电设备或陀螺仪;或b)使用远程处理模块270或远程数据存储库280获取或处理的数据,这些数据可以在被执行完上述处理或检索之后传送到显示器220。本地处理和数据模块260可以通过通信链路262或264(诸如经由有线或无线通信链路)可操作地连接到远程处理模块270和远程数据存储库280,使得这些远程模块可用作本地处理和数据模块260的资源。此外,远程处理模块280和远程数据存储库280可以被可操作地彼此耦接。
在一些实施例中,远程处理模块270可以包括被配置为分析和处理数据和/或图像信息的一个或多个硬件处理器。在一些实施例中,远程数据存储库280可以包括数字数据存储设施,该设施可以通过因特网或“云”资源配置中的其它网络配置获得。在一些实施例中,在本地处理和数据模块中存储全部数据并执行全部计算,允许来自远程模块的完全自主地使用。
人类视觉***是复杂的,提供逼真的深度感具有挑战性。不受理论的限制,可以认为对象的观看者可能由于聚散度和调节的组合而将对象感知为“三维的”。两只眼睛相对于彼此的聚散度动作(即,瞳孔彼此靠近或远离以使眼睛的视线会聚固定在对象上的转动动作)与眼睛晶状体的聚焦(或“调节”)密切相关。在正常情况下,根据被称为“调节-聚散度反射”的关系,更改眼睛晶状体的焦点或调节眼睛以将焦点从一个对象转移到不同距离处的另一对象将自动导致到与同一距离匹配的聚散度变化。在调节与聚散度之间提供更好匹配的显示***可以形成更逼真和舒适的三维图像模拟。
图3示出了使用多个深度平面模拟三维图像的方法的各方面。参考图3,z轴上距眼睛302和304不同距离处的对象由眼睛302和304调节,以使这些对象对焦。眼睛302和304呈现特定的调节状态,以使沿z轴上不同距离处的对象对焦。因此,可以认为特定的调节状态与深度平面306中的特定一者相关联,具有相关联的焦距,使得当眼睛针对特定深度平面处于调节状态时,该特定深度平面中的对象或其部分对焦。在一些实施例中,可以通过为每只眼睛302和304提供图像的不同呈现,并且还通过提供与每个深度平面对应的图像的不同呈现来模拟三维图像。尽管为了清楚地说明而示出为是分开的,但是应当理解,例如在沿z轴的距离增加时,眼睛302和304的视场可以重叠。此外,尽管为了便于说明而示出为平坦的,但是应当理解,深度平面的轮廓可以在物理空间中弯曲,使得深度平面中的所有特征在眼睛处于特定调节状态时对焦。不受理论的限制,可以认为人眼通常可以解释有限数量的深度平面以提供深度感。因此,可以通过向眼睛提供与这些有限数量的深度平面中的每一者对应的图像的不同呈现来实现高度可信的感知深度模拟。
波导堆叠组件
图4示出了用于将图像信息输出给用户的波导堆叠的示例。可穿戴***400包括波导的堆叠或堆叠的波导组件480,该组件可被用于使用多个波导432b、434b、436b、438b、4400b向眼睛/大脑提供三维感知。在一些实施例中,可穿戴***400可以与图2的可穿戴***200对应,图4更详细地示意性地示出了该可穿戴***200的一些部分。例如,在一些实施例中,波导组件480可以被集成到图2的显示器220中。
继续参考图4,波导组件480还可以包括位于波导之间的多个特征458、456、454、452。在一些实施例中,特征458、456、454、452可以是透镜。在其它实施例中,特征458、456、454、452可以不是透镜。相反,它们仅是间隔物(例如,用于形成气隙的包层和/或结构)。
波导432b、434b、436b、438b、440b和/或多个透镜458、456、454、452可以被配置为以各种水平的波前曲率或光线发散度向眼睛发送图像信息。每个波导水平可以与特定深度平面相关联,并且可以被配置为输出与该深度平面对应的图像信息。图像注入设备420、422、424、426、428可被用于将图像信息注入波导440b、438b、436b、434b、432b中,这些波导中的每个波导可以被配置将入射光分布在每个相应的波导上以便朝着眼睛410输出。光从图像注入设备420、422、424、426、428的输出表面射出,并且被注入波导440b、438b、436b、434b、432b的对应的输入边缘。在一些实施例中,可以将单个光束(例如,准直光束)注入每个波导,以输出整个克隆的准直光束场,这些准直光束以对应于与特定波导相关联的深度平面的特定角度(和发散量)导向眼睛410。
在一些实施例中,图像注入设备420、422、424、426、428是分立的显示器,每个显示器产生用于分别注入到对应波导440b、438b、436b、434b、432b的图像信息。在一些其它实施例中,图像注入设备420、422、424、426、428是单个多路复用显示器的输出端,这些显示器例如可以经由一个或多个光学导管(例如,光纤光缆)将图像信息管道传输到图像注入设备420、422、424、426、428中的每一者。
控制器460控制堆叠波导组件480和图像注入设备420、422、424、426、428的操作。控制器460包括编程(例如,非暂时性计算机可读介质中的指令),该编程调节图像信息到波导440b、438b、436b、434b、432b的定时和提供。在一些实施例中,控制器460可以是单个集成设备,或者是通过有线或无线通信信道连接的分布式***。在一些实施例中,控制器460可以是处理模块260或270(如图2所示)的一部分。
波导440b、438b、436b、434b、432b可以被配置为通过全内反射(TIR)在每个相应的波导内传播光。波导440b、438b、436b、434b、432b可以各自是平面的或具有另一形状(例如,弯曲的),其具有主要的顶部主表面和底部主表面以及在这些顶部主表面与底部主表面之间延伸的边缘。在所示的配置中,波导440b、438b、436b、434b、432b可各自包括光提取光学元件440a、438a、436a、434a、432a,这些元件被配置为通过将在每个相应的波导内传播的光重定向到波导之外来从波导中提取光,从而向眼睛410输出图像信息。所提取的光也可以被称为耦出光,并且光提取光学元件也可以被称为耦出光学元件。在波导内传播的光照射光重定向元件所在的位置处,可以由波导输出所提取的光束。光提取光学元件(440a、438a、436a、434a、432a)例如可以是反射或衍射光学特征。尽管为了便于描述和作图清晰,光提取光学元件440a、438a、436a、434a、432a被示出为设置在波导440b、438b、436b、434b、432b的底部主表面处,但是在一些实施例中,光提取光学元件440a、438a、436a、434a、432a可以被设置在顶部主表面或底部主表面,和/或可以直接被设置在波导440b、438b、436b、434b、432b的体中。在一些实施例中,光提取光学元件440a、438a、436a、434a、432a可以被附接到透明衬底,以在波导440b、438b、436b、434b、432b的材料层中形成。在一些其它实施例中,波导440b、438b、436b、434b、432b可以是整块材料,并且光提取光学元件440a、438a、436a、434a、432a可以形成在该块材料的表面上和/或内部。
继续参考图4,如本文所讨论的,每个波导440b、438b、436b、434b、432b被配置为输出光,以形成与特定深度平面对应的图像。例如,最靠近眼睛的波导432b可以被配置为将注入这种波导432b的准直光传送到眼睛410。准直光可以代表光学无限远焦平面。下一上行波导434b可以被配置为发出在到达眼睛410之前传输通过第一透镜452(例如,负透镜)的准直光;第一透镜452可以被配置为产生微凸的波前曲率,使得眼睛/大脑将来自下一上行波导434b的光解释为来自从光学无限远向内更接近眼睛410的第一焦平面的光。类似地,第三上行波导436b使其输出光在到达眼睛410之前传输通过第一透镜452和第二透镜454。第一透镜452和第二透镜454的组合光焦度(optical power)可以被配置为产生另一波前曲率增量,使得眼睛/大脑将来自第三波导436b的光解释为来自从光学无限远向内进一步更靠近人的第二焦平面的光,而不是来自下一上行波导434b的光。
其它波导层(例如,波导438b、440b)和透镜(例如,透镜456、458)被类似地配置,其中堆叠中的最高波导440b通过其与眼睛之间的所有透镜发送其输出,以获得代表与人最接近的焦平面的总光焦度。为了在观察/解释来自堆叠波导组件480的另一侧上的世界470的光时,补偿透镜堆叠458、456、454、452,可以在堆叠的顶部设置补偿透镜层430,以补偿下面的透镜堆叠458、456、454、452的总光焦度。这种配置提供与可用的波导/透镜配对一样多的感知焦平面。波导的光提取光学元件和透镜的聚焦方面都可以是静态的(即,不是动态的或电活性的)。在一些替代实施例中,使用电活性特征,它们中的一者或两者均可以是动态的。
继续参考图4,光提取光学元件440a、438a、436a、434a、432a可以被配置为既将光重定向到它们相应的波导之外,又为与波导相关联的特定深度平面以适当的发散量或准直量输出该光。因此,具有不同相关深度平面的波导可以具有不同配置的光提取光学元件,这些元件根据关联深度平面以不同的发散量输出光。在一些实施例中,如本文所讨论的,光提取光学元件440a、438a、436a、434a、432a可以是体特征或表面特征,其可以被配置为以特定角度输出光。例如,光提取光学元件440a、438a、436a、434a、432a可以是体全息图、表面全息图和/或衍射光栅。诸如衍射光栅之类的光提取光学元件在2015年6月25日公开的美国专利公开NO.2015/0178939中进行描述,此公开的全部内容通过引用并入本文。
在一些实施例中,光提取光学元件440a、438a、436a、434a、432a是形成衍射图案的衍射特征,或“衍射光学元件”(在本文中也被称为“DOE”)。优选地,DOE具有相对低的衍射效率,使得只有一部分光束借助DOE的每个交叉点朝着眼睛410偏转,而其余部分经由全内反射继续通过波导。因此,携带图像信息的光可以被分成多个相关的出射光束,这些出射光束在多个位置处从波导出射,并且针对在波导内四处弹跳的特定准直光束,结果是形成朝着眼睛304出射的相当均匀的图案。
在一些实施例中,一个或多个DOE可以在他们活跃地衍射的“开启”状态与不明显衍射的“关闭”状态之间切换。例如,可切换的DOE可以包括聚合物分散液晶层,其中微滴包括在主体介质中的衍射图案,并且微滴的折射率可以被切换为基本匹配主体材料的折射率(在这种情况下,图案不会明显地衍射入射光),或者微滴可以被切换为与主体介质的折射率失配的折射率(在这种情况下,图案活跃地衍射入射光)。
在一些实施例中,深度平面或景深的数量和分布可以基于观看者的眼睛的瞳孔大小或取向动态地改变。景深可以与观看者的瞳孔大小成反比地改变。因此,当观看者眼睛的瞳孔大小减小时,景深增加,使得由于该平面的位置超出眼睛的焦深而无法辨别的该平面可能随着瞳孔大小的减小和景深的相应增加相称而变得可辨别并且显得更对焦。。同样地,被用于向观看者呈现不同图像的间隔深度平面的数量可以随着瞳孔大小的减小而减小。例如,在不调整远离一个深度平面且靠近另一深度平面的眼睛的适应性的情况下,观看者可能无法以一个瞳孔大小清楚地感知第一深度平面和第二深度平面两者的细节。然而,在不改变适应的情况下,这两个深度平面可以以另一瞳孔大小同时充分地对焦于用户。
在一些实施例中,显示***可以基于瞳孔大小或取向的确定,或基于接收指示特定瞳孔大小或取向的电信号,改变接收图像信息的波导的数量。例如,如果用户的眼睛不能区分与两个波导相关联的两个深度平面,则控制器460可以被配置为或被编程为停止向这些波导中的一者提供图像信息。有利地,这可以减轻***的处理负担,从而增加***的响应性。在用于波导的DOE可在打开和关闭状态之间切换的实施例中,当波导确实接收到图像信息时,DOE可以被切换到关闭状态。
在一些实施例中,可能需要使出射光束满足直径小于观看者眼睛直径的条件。然而,考虑到观看者瞳孔大小的变化,满足这种条件可能是具有挑战性的。在一些实施例中,通过响应于观看者瞳孔大小的确定而改变出射光束的尺寸,在宽范围的瞳孔大小上满足该条件。例如,随着瞳孔大小减小,出射光束的大小也可能减小。在一些实施例中,可以使用可变孔来改变出射光束大小。
可穿戴***400可包括面向外部的成像***464(例如,数字相机),该成像***对世界470的一部分进行成像。世界470的该部分可被称为世界相机的视场(FOV)。并且成像***464有时被称为FOV相机。可观看者观看或成像的整个区域可被称为能视域(FOR)。因为,穿戴者可以移动其身体、头部或眼睛以感知空间中的基本任何方向,所以FOR可以包括围绕可穿戴***400的4π弧度的立体角。在其它上下文中,穿戴者的动作可能更受限制,相应地,穿戴者的FOR可以对着更小的立体角。从面向外部的成像***464获得的图像可被用于跟踪用户做出的手势(例如,手部或手指的姿势),检测用户前面的世界470中的对象等。
可穿戴***400还可以包括面向内部的成像***466(例如,数字相机),该成像***观察用户的动作,诸如眼睛动作和面部动作。面向内部的成像***466可被用于捕获眼睛410的图像,以确定眼睛304的瞳孔的大小和/或取向。面向内部的成像***466可被用于获得用来确定用户的观看方向(例如,眼睛姿势)或用于用户的生物识别(例如,经由虹膜识别)的图像。在一些实施例中,至少一个相机可被用于每只眼睛,以单独地分开确定每只眼睛的瞳孔大小或眼睛姿势,从而从而允许动态的调整向每只眼睛呈现的图像信息以适应该眼睛。在一些其它实施例中,仅确定单只眼睛410的瞳孔直径或取向(例如,每对眼睛仅使用单个相机),并且假设对于用户的双眼是相似的。可以分析由面向内部的成像***466获得的图像,以确定用户眼睛姿势或心情,可穿戴***400可以使用该确定来决定应该向用户呈现的音频或视觉内容。可穿戴***400还可以使用诸如IMU、加速器计、陀螺仪之类的传感器确定头部姿势(例如,头部位置或头部取向)。
可穿戴***400可以包括用户输入设备466,通过该设备用户可以向控制器460输入命令以与可穿戴***400进行交互。例如,用户输入设备466可以包括触控板、触摸屏、操纵杆、多自由度(DOF)控制器、电容感测设备、游戏控制器、键盘、鼠标、方向垫(D-pad)、手持操纵器、触觉设备、图腾(例如,用作虚拟用户输入设备)等。多DOF控制器可以感测控制器的部分或全部可能的平移(例如,左/右、前/后、或上/下)或旋转(例如,偏航、俯仰或翻滚)方面的用户输入。支持平移动作的多DOF控制器可以被称为3DOF,而支持平移和旋转的多DOF控制器可以被称为6DOF。在一些情况下,用户可以使用手指(例如,拇指)在触敏输入设备上按压或轻扫以向可穿戴***400提供输入(例如,以将用户输入提供给由可穿戴***400提供的用户界面)。用户输入设备466可以在使用可穿戴***400期间由用户握持。用户输入设备466可以与可穿戴***400进行有线或无线通信。
可穿戴***400还可以包括生理传感器468(可以是图2中的传感器232的示例实施例),该传感器被配置为测量用户生理参数,诸如心率、皮肤电反应、呼吸率等。生理传感器可以将所获取的数据传送给控制器460。由生理传感器获取的数据可以由控制器460单独使用或者与其它传感器获得的数据结合使用,以确定用户的生理状态和/或心理状态。例如,控制器460可以将由生理传感器468获取的心率数据与由面向内部的成像***462获取的瞳孔扩张信息组合,以确定用户高兴还是生气。如下面进一步描述的,可穿戴***可以基于用户的生理状态和/或心理状态选择性地向用户呈现虚拟内容。
图5示出了由波导输出的出射光束的示例。示出了一个波导,但可以理解,波导组件480中的其它波导可以类似地起作用,其中波导组件480包括多个波导。光520在波导432b的输入边缘432c处被注入波导432b中,并且通过TIR在波导432b内传播。在光520照射到DOE432a上的点处,该光的一部分从波导出射作为出射光束510。出射光束510被示出为基本上平行,但它们也可以被重定向为以一定角度(例如形成发散的出射光束)传播到眼睛410,该角度具体取决于与波导432b相关联的深度平面。可以理解,基本平行的出射光束可以指示具有光提取光学元件的波导,该光提取光学元件耦出光,以形成看上去被设置在距眼睛410的较远距离(例如,光学无限远)固定处的深度平面上的图像。其它波导或其它光提取光学元件组可以输出更加发散的出射光束图案,这需要眼睛410适应更近的距离以将其聚焦在视网膜上,并且将被大脑解释为来自比光学无限大更接近眼睛410的距离的光。
图6是示出光学***的示意图,该光学***包括波导装置,将光光学耦合到波导装置或从波导装置光学耦合出光的光学耦合器子***,以及控制子***,该控制子***被用于生成多焦立体显示、图像或光场。该光学***可以包括波导装置,将光光学耦合到波导装置或从波导装置光学耦合出光的光学耦合器子***,以及控制子***。该光学***可被用于生成多焦立体显示、图像或光场。该光学***可以包括一个或多个主平面波导632a(图6仅示出一个)以及与至少一些主波导632a中的每一者相关联的一个或多个DOE 632b。平面波导632b类似于参考图4讨论的波导432b、434b、436b、438b、440b。该光学***可以采用分布波导装置,来沿着第一轴(图6中的纵轴或Y轴)中继光,并且沿着第一轴(例如,Y轴)扩展光的有效出射光瞳。分布波导装置例如可以包括分布平面波导622b和与分布平面波导622b相关联的至少一个DOE 622a(由双点划线示出)。分布平面波导622b至少在一些方面可以与主平面波导632b相似或相同,但是与其取向不同。类似地,至少一个DOE 622a可以至少在一些方面与DOE 632a相似或相同。例如,分布平面波导622b或DOE 622a可以分别由与主平面波导632b或DOE 632a相同的材料组成。图6所示的光学显示***600的实施例可以被集成到图2所示的可穿戴***200中。
中继的和出瞳扩展的光可以从分布波导装置光学耦合到一个或多个主平面波导632b中。主平面波导632b可以沿着优选地与第一轴正交的第二轴(例如,图6视图中的横轴或X轴)中继光。值得注意的是,第二轴可以是不与第一轴正交的轴。主平面波导632b沿着第二轴(例如,X轴)扩展光的有效出射光瞳。例如,分布平面波导622b可以沿着纵轴或Y轴中继和扩展光,并且将该光传递到主平面波导632b,该主平面波导632b沿着横轴或X轴中继和扩展光。
光学显示***可以包括能够光学耦合到单模光纤640的近端中的一种或多种彩色光源(例如,红色、绿色和蓝色激光)610。光纤640的远端可以带有螺纹或被压电材料制成的中空管642接收。该远端作为非固定柔性悬臂644从管642突出。压电管642可以与四象限电极(未示出)相关联。例如,这些电极可以镀在管642的外侧、外表面或外周边或外径上。芯电极(未示出)也可以位于管642的核心、中心、内周边或内径中。
例如经由引线660电耦合的驱动电子器件650驱动相对的电极对以独立地在两个轴上弯曲压电管642。光纤644的突出的远端具有机械共振模式。共振频率可取决于光纤644的直径、长度和材料特性。通过在光纤悬臂632的第一机械共振模式附近振动压电管642,可以引起光纤悬臂644发生振动,并且可以扫过大的偏转。
通过激发两个轴的共振,光纤悬臂644的尖端在填充二维(2D)扫描的区域中被执行双轴扫描。通过与光纤悬臂644的扫描同步地调制一个或多个光源610的强度,从光纤悬臂644出射的光可以形成图像。在美国专利公开NO.2014/0003762中提供了这种设置的描述,该公开的全部内容通过引用并入本文。
光学耦合器子***的部件可以对通过扫描光纤悬臂644出射的光进行准直。准直光可以由反射镜面648反射到包含至少一个衍射光学元件(DOE)622a的窄的分布平面波导622b中。准直光可以通过TIR沿分布平面波导622b竖直(相对于图6的视图)传播,并且在这样做时,与DOE 622a重复相交。DOE 622a优选具有低衍射效率。这可以导致在与DOE 622a的每个交点处,一部分光(例如10%)被朝向较大的主平面波导632b的边缘衍射,并且一部分光经由TIR沿着分布平面波导622b的长向下在其原始轨迹上继续。
在与DOE 622a的每个交点处,额外的光可以被朝向主波导632b的入口衍射。通过将入射光分成多个耦出集,光的出射光瞳可以由在分布平面波导622b中的DOE 4竖直扩展。从分布平面波导622b耦出的该竖直扩展光可以进入主平面波导632b的边缘。
进入主波导632b的光经由TIR沿着主波导632b水平传播(相对于图6的视图)。当光经由TIR沿着主波导632b长的至少部分水平传播时,光在多个点处与DOE 632a相交。DOE632a可以有利地被设计或配置为具有线性衍射图案和径向对称衍射图案的总和的相轮廓,以产生光的偏转和聚焦。DOE 632a可以有利地具有低的衍射效率(例如,10%),使得只有部分光束在DOE 632a的每个交点处朝向观看的眼睛偏转,而其余的光继续经由TIR通过主波导632b传播。
在传播光和DOE 632a之间的每个交点处,部分光被朝向主波导632b的相邻面衍射,从而允许光逸出TIR,并且从主波导b32b的面出射。在一些实施例中,DOE 632a的径向对称衍射图案附加地赋予衍射光以聚焦水平,既成形单个光束的光波前(例如,赋予曲率),又以与所设计的聚焦水平相匹配的角度转向光束。
因此,这些不同的路径可以通过处于不同角度、聚焦水平和/或在出瞳处产生不同填充图案的多个DOE 632a将光耦出主平面波导632b。出瞳处的不同填充图案可以被有利地用于创建具有多个深度平面的光场显示器。波导组件中的每一层或堆叠中的层集(例如3个层)可被用于生成相应的颜色(例如,红色、蓝色、绿色)。因此,例如,可以采用由三个相邻层构成的第一层集分别在第一焦深处生成红色、蓝色和绿色光。可以采用由三个相邻层构成的第二层集分别在第二焦深处生成红色、蓝色和绿色光。可以采用多个层集来生成具有各种焦深的全3D或4D彩色图像光场。
可穿戴***的其它组件
在许多实施方式中,可穿戴***可以包括其它部件,作为上述可穿戴***的部件的补充或替代。可穿戴***例如可以包括一个或多个触觉设备或部件。触觉设备或部件可通过操作向用户提供触感。例如,触觉设备或部件可以在接触虚拟内容(例如,虚拟对象、虚拟工具、其它虚拟构造)时提供压力或纹理的触感。触感可以复制虚拟对象所表示的物理对象的感觉,或者可以复制虚拟内容所表示的想象对象或角色(例如,龙)的感觉。在一些实施方式中,用户可穿戴触觉设备或部件(例如,用户可穿戴手套)。在一些实施方式中,触觉设备或部件可以由用户持有。
可穿戴***例如可以包括一个或多个可由用户操纵以允许输入或与可穿戴***交互的物理对象。这些物理对象在此可以被称为图腾。一些图腾可能采取无生命对象的形式,诸如金属片或塑料片、墙、桌面。在某些实施方式中,图腾实际上可能不具有任何物理输入结构(例如,键、触发器、操纵杆、轨迹球、摇杆开关)。相反,图腾可以仅提供物理表面,并且可穿戴***可以呈现用户界面,以使用户看起来在图腾的一个或多个表面上。例如,可穿戴***可以使计算机键盘和触控板的图像呈现为看起来位于图腾的一个或多个表面上。例如,可穿戴***可以使虚拟计算机键盘和虚拟触控板出现在用作图腾的矩形薄铝板的表面上。矩形板本身没有任何物理键或触控板或传感器。然而,当经由虚拟键盘或虚拟触控板做出选择或输入时,可穿戴***可以通过该矩形板检测到用户操纵或交互或触摸。用户输入设备466(如图4所示)可以是图腾的实施例,图腾可以包括触控板、触摸板、触发器、操纵杆、轨迹球、摇杆或虚拟开关、鼠标、键盘、多自由度控制器或其它物理输入设备。用户可以单独或结合姿势使用图腾来与可穿戴***或其他用户进行交互。
在美国专利公开NO.2015/0016777中描述了可用于本公开的可穿戴设备HMD和显示***的触觉设备和图腾的示例,该专利的全部内容通过引用并入此文。
可穿戴***、环境和接口示例
可穿戴***可以采用各种与建图相关的技术,以便在呈现光场中实现高景深。在对虚拟世界进行建图时,了解真实世界中的所有特征和点以准确描绘与真实世界相关的虚拟对象是有利的。为此,通过包括传达有关真实世界的各种点和特征的信息的新画面,可以将从可穿戴***的用户处捕获的FOV图像添加到世界模型中。例如,可穿戴***可以收集建图点(例如2D点或3D点)集并找到新的建图点以呈现世界模型的更准确版本。可以将第一用户的世界模型(例如,通过诸如云网络之类的网络)传送给第二用户,使得第二用户可以体验第一用户周围的世界。
图7是MR环境700的示例的框图。MR环境700可以被配置为从一个或多个用户可穿戴***(例如,可穿戴***200或显示***220)或固定房间***(例如,房间相机等)接收输入(例如,来自用户的可穿戴***的视觉输入702、诸如房间相机之类的固定输入704、来自各种传感器(手势、图腾、眼睛跟踪传感器)的传感器输入706、来自输入设备466的用户输入等)。可穿戴***可以使用各种传感器(例如,加速度计、陀螺仪、温度传感器、运动传感器、深度传感器、GPS传感器、面向内部的成像***、面向外部的成像***等)来确定用户环境的位置和各种其它属性。该信息可以进一步通过来自房间中的固定相机的信息进行补充,这些相机可以从不同的视点提供图像或各种线索。由相机(诸如房间相机和/或面向外部的成像***的相机)获取的图像数据可以被精简为建图点集。
一个或多个对象识别器708可以浏览所接收的数据(例如,点集)并且在地图数据库710的帮助下识别或绘制点,标记图像,将语义信息附加到对象。地图数据库710可包括在一段时间内收集的各种点及其对应的对象。各种设备和地图数据库可以通过网络(例如,LAN、WAN等)彼此连接以访问云。
基于该信息和地图数据库中的点集,对象识别器708a至708n可以识别环境中的对象。例如,对象识别器可以识别人脸、人、窗户、墙壁、用户输入设备、电视、用户环境中的其它对象等。一个或多个对象识别器可以专用于具有某些特性的对象。例如,对象识别器708a可被用于识别人脸,而另一对象识别器可被用于识别图腾。
可以使用各种计算机视觉技术来执行对象识别。例如,可穿戴***可以分析由面向外部的成像***464(如图4所示)获取的图像以执行场景重建、事件检测、视频跟踪、对象识别、对象姿势估计、学***差、自适应阈值转换法(和其它阈值技术)、迭代最近点(ICP)、半全局匹配(SGM)、半全局块匹配(SGBM)、特征点直方图、各种机器学习算法(诸如,支持向量机、k最近邻算法、朴素贝叶斯(Naive Bayes)、神经网络(包括卷积或深度神经网络)或其它有监督/无监督模型等)等。
附加地或替代地,对象识别可以通过各种机器学习算法来执行。一旦经过训练,机器学习算法就可以由HMD存储。机器学习算法的一些示例可以包括有监督或无监督机器学习算法,包括回归算法(例如,普通最小二乘回归)、基于实例的算法(例如,学习向量量化)、决策树算法(例如,分类和回归树)、贝叶斯算法(例如,朴素贝叶斯)、聚类算法(例如,k均值聚类)、关联规则学习算法(例如,先验算法)、人工神经网络算法(例如,感知器)、深度学习算法(例如,深度玻尔茨曼机(Boltzmann Machine)或深度神经网络)、降维算法(例如,主成分分析)、集合算法(例如,堆栈泛化)和/或其它机器学习算法。在一些实施例中,可以针对各个数据集定制各个模型。例如,可穿戴设备可以生成或存储基础模型。基本模型可以被用作生成特定于数据类型(例如,远端临场会话中的特定用户)、数据集(例如,在远端临场会话中从用户处获得的附加图像集)、条件情况或其它变化的其它模型的起点。在一些实施例中,可穿戴HMD可以被配置为利用多种技术来生成用于分析聚合数据的模型。其它技术可包括使用预定阈值或数据值。
基于该信息和地图数据库中的点集,对象识别器708a至708n可以识别对象并用语义信息补充对象以赋予对象生命。例如,如果对象识别器将一点集识别为门,则***可以附加一些语义信息(例如,门具有铰链并且具有围绕铰链的90度移动)。如果对象识别器将一点集识别为镜子,则***可以附加该镜子具有关该镜像具有可以可以照出房间中对象的图像的反射表面的语义信息。随着时间的推移,当***(可以驻留在本地或可以通过无线网络访问)累积来自世界的更多数据时,地图数据库也随之增长。一旦识别出对象,就可以将信息发送到一个或多个可穿戴***。例如,MR环境700可以包括有关在加利福尼亚发生的场景的信息。可以将环境700发送给纽约的一个或多个用户。基于从FOV相机接收的数据和其它输入,对象识别器和其它软件部件可以对从各种图像收集的点进行建图,识别对象等,使得场景可以被准确地“传递”给可能位于世界的另一部分的第二用户。环境700还可以使用用于本地化目的的拓扑地图。
图8是呈现与所识别的对象相关的虚拟内容的方法800的示例的过程流程图。方法800描述了如何将虚拟场景表示给可穿戴***的用户。用户可能在地理上远离场景。例如,用户可能是纽约,但可能想要观看当前正在加利福尼亚州发生的场景,或者可能想要与居住在加利福尼亚的朋友一起散步。
在框810处,可穿戴***可以从用户和其他用户接收有关用户的环境的输入。这可以通过各种输入设备和在地图数据库中已经具有的知识来实现。在框810处,用户的FOV相机、传感器、GPS、眼睛跟踪等将信息传送到***。在框820处,***可以基于该信息确定稀疏点。稀疏点可被用于确定姿势数据(例如,头部姿势、眼睛姿势、身体姿势或手势),这些数据可被用于显示和理解用户周围环境中各种对象的取向和位置。在框830处,对象识别器708a至708n可以浏览这些收集点并使用地图数据库来识别一个或多个对象。然后,在框840处,可以将该信息传送到用户的个人可穿戴***,并且在框850处,可以相应地向用户显示所需虚拟场景。例如,可以相对于纽约的用户的各种对象和其它环境以适当的取向、位置等显示所需虚拟场景(例如,位于CA的用户)。
图9是可穿戴***的另一示例的框图。在该示例中,可穿戴***900包括地图,该地图可以包括世界的地图数据。该地图可以部分地驻留在可穿戴***本地,可以部分地驻留在可由有线或无线网络(例如,在云***中)访问的网络存储位置。姿势处理910可以在可穿戴计算架构(例如,处理模块260或控制器460)上执行,并利用来自地图的数据确定可穿戴计算硬件或用户的位置和取向。可以根据当用户正在体验***并在世界中操作时收集的数据来计算姿势数据。该数据可以包括图像、来自传感器(例如惯性测量单元、其通常包括加速度计和陀螺仪部件)的数据和与真实或虚拟环境中的对象相关的表面信息。
稀疏点表示可以是同步定位与建图(SLAM或V-SLAM,指示其中输入只是图像/视觉的配置)过程的输出。该***可以被配置为不仅找出各种部件在世界上的位置,而且还要找出世界是由什么构成的。姿势可以是实现许多目标的构建块,包括填充地图和使用来自地图的数据。
在一个实施例中,稀疏点位置本身可能不完全足够,并且可能需要进一步的信息来产生多焦点AR、VR或MR体验。可以使用通常参考深度图信息的密集表示来至少部分地填充该间隙。可以根据被称为双声道的处理940计算这样的信息,其中使用诸如三角测量或飞行时间感测之类的技术来确定深度信息。图像信息和主动图案(诸如使用主动投影仪创建的红外图案)可以用作双声道处理940的输入。可以将大量深度图信息融合在一起,并且可以用表面表示来概括其中的一些。例如,数学上可定义的表面是类似游戏引擎的其它处理设备的有效(例如,相对于大点云)且可理解的输入。因此,双声道处理(例如,深度图)940的输出可以通过融合处理930组合。姿势也可以是该融合处理930的输入,并且融合930的输出变为填充建图处理920的输入。子表面可以彼此连接(例如在地形图中)以形成更大的表面,并且该地图成为点和表面的大混合体。
为了解决混合现实处理960中的各个方面,可以使用各种输入。例如,在图9所示的实施例中,可以输入游戏参数以确定***的用户正在玩打怪兽游戏,其中一个或多个怪物位于各个位置,怪物在各种条件下死亡或逃跑(例如如果用户射杀怪物),墙壁或其它对象位于各个位置等等。世界地图可以包括有关这些对象相对于彼此的位置信息,作为混合现实的另一有价值的输入。相对于世界的姿势也成为一种输入,并且几乎对任何交互***起着关键作用。
来自用户的控制或输入是可穿戴***900的另一输入。如本文所述,用户输入可包括视觉输入、手势、图腾、音频输入、感官输入(诸如由图2中的传感器232获取的生理数据)等。为了四处走动或玩游戏,例如用户可能需要指示可穿戴***900关于他或她想做的事。除了在太空中移动自己之外,可以使用各种形式的用户控制。在一个实施例中,图腾(例如,用户输入设备)或诸如玩具枪之类的对象可由用户握持并由***跟踪。该***优选地被配置为知道用户正在握住物品并且了解用户与物品进行何种交互(例如,如果图腾或对象是枪,则***可以被配置为了解位置和取向,以及用户是否正在点击触发器或其它可能配备有传感器的按钮或元件,诸如IMU,其可以有助于确定正在发生的事情,即使这样的活动不在任何相机的视场内)。
手势跟踪或识别还可以提供输入信息。可穿戴***900可以被配置为跟踪和解释按钮按压的手势,指示向左或向右、停止、抓取、握持等的手势。例如,在一种配置中,用户可能想要在非游戏环境中翻阅电子邮件或日历,或与其它人或玩家“碰拳”。可穿戴***900可以被配置为利用最小量的手势,手势可以是动态的,也可以不是动态的。例如,手势可以是简单的静态手势,例如张开手部表示停止,拇指向上表示完美,拇指向下表示不完美;或者左右或上下翻转手来做出方向命令。
眼睛跟踪是另一输入(例如,跟踪用户正注视的位置来控制显示技术以在特定深度或范围进行呈现)。在一个实施例中,可以使用三角测量来确定眼睛的聚散度,然后使用为该特定人物开发的聚散度/调节模型,可以确定调节。
用户还可以使用图腾来向可穿戴***提供输入。可穿戴***可以跟踪图腾的移动、位置或取向,以及用户对图腾的致动(例如按下图腾的按键、按钮或触摸表面)以确定混合现实过程960中的用户界面交互。
在某些实施方式中,可穿戴***还可以在混合现实过程960中使用用户的生理数据。生理数据可以由传感器232(其可以包括生理传感器468)获取。可穿戴***可以基于生理数据的分析来确定待呈现的内容。例如,当可穿戴***在用户正在玩游戏时确定用户生气时(例如,由于心率增加、血压变化等),可穿戴***可以自动降低游戏难度以维持用户参与游戏。
关于相机***,图9所示的示例可穿戴***990可包括三个相机对:相对宽FOV相机对或无源SLAM相机对,其被布置在用户面部的侧面;另外的一对相机对,其被定位在用户前方以处理双声道成像处理940,并且还捕获用户面前的手势和图腾/对象跟踪。FOV相机和用于双声道成像处理940的相机对可以是面向外部的成像***464的一部分(如图4所示)。可穿戴***900可以包括眼睛跟踪相机(其可以是图4所示的面向内部的成像***462的一部分),其被朝向用户的眼睛定位,以便对眼睛向量和其它信息进行三角测量。可穿戴***900还可以包括一个或多个纹理光投影仪(例如红外(IR)投影仪)以将纹理注入场景。
图10是用于确定可穿戴***的用户输入的方法1000的示例的过程流程图。在该示例中,用户可以与图腾交互。用户可能有多个图腾。例如,用户可能已经指定了用于社交媒体应用的图腾,用于玩游戏的另一图腾等。在框1010处,可穿戴***可以检测图腾的动作。图腾的动作可以通过面向外部的***识别,或者可以通过传感器(例如,触觉手套、图像传感器、手部跟踪设备、眼睛跟踪相机、头部姿势传感器等)来检测。
在框1020处,至少部分地基于检测到的手势、眼睛姿势、头部姿势或通过图腾的输入,可穿戴***检测图腾相对于参考帧的位置、取向和/或动作(或用户的眼睛姿势或头部姿势或手势)。参考帧可以是建图点集,可穿戴***基于该建图点集将图腾(或用户)的动作转换为动作或命令。在框1030处,对用户与图腾的交互进行建图。在框1040处,基于相对于参考帧1020的对用户交互的绘制,***确定用户输入。
例如,用户可以前后移动图腾或实体对象以表示翻虚拟页面并移到下一页或者从一个用户界面(UI)显示屏幕移到另一UI屏幕。作为另一示例,用户可移动他们的头部或眼睛以观看用户的FOR中的不同真实或虚拟对象。如果用户注视特定真实或虚拟对象的时间长于阈值时间,则可以将选择该真实或虚拟对象作为用户输入。在一些实施方式中,可以跟踪用户眼睛的聚散度,并且可以使用调节/聚散度模型来确定用户眼睛的调节状态,该调节状态提供有关用户正聚焦在深度平面的信息。在一些实施方式中,可穿戴***可以使用射线投射技术来确定哪些真实或虚拟对象沿着用户的头部姿势或眼睛姿势的方向。在各种实施方式中,射线投射技术可包括投射具有基本上很小的横向宽度的窄的射线束或具有大横向宽度(例如,锥体或平截头体)的投射射线。
用户界面可以由本文所述的显示***(诸如图2中的显示器220)投射。它还可以使用各种其它技术显示,诸如一个或多个投影仪。投影仪可以将图像投射到诸如画布或地球仪之类的物理对象上。可以使用***外部的或作为***一部分的一个或多个相机(例如,使用面向内部的成像***462或面向外部的成像***464)来跟踪与用户界面的交互。
图11是用于与虚拟用户界面交互的方法1100的示例的过程流程图。方法1100可以由本文描述的可穿戴***执行。
在框1110处,可穿戴***可识别特定UI。UI的类型可以由用户预先确定。可穿戴***可以基于用户输入(例如,手势、视觉数据、音频数据、传感数据、直接命令等)识别需要来填充特定UI。在框1120处,可穿戴***可以生成用于虚拟UI的数据。例如,可以生成与UI的限制、一般结构、形状等相关联的数据。另外,可穿戴***可以确定用户的物理位置的地图坐标,使得可穿戴***可以显示与用户的物理位置相对的UI。例如,如果UI以身体为中心,则可穿戴***可以确定用户的身体姿势、头部姿势或眼睛姿势的坐标,使得可以在用户周围显示环形UI,或者可以在墙壁上或在用户前方显示平面UI。如果UI以手为中心,则可以确定用户的手部的地图坐标。这些建图点可以借助通过FOV相机接收的数据、传感器输入或任何其它类型的收集数据导出。
在框1130处,可穿戴***可以从云向显示器发送数据,或者可以从本地数据库发向显示部件发送数据。在框1140处,基于所发送的数据向用户显示UI。例如,光场显示器可以将虚拟UI投射到用户的一只或两只眼睛中。一旦创建了虚拟UI,在框1150处,可穿戴***只需等待来自用户的命令,以生成虚拟UI上的更多虚拟内容。例如,UI可以是围绕用户身体的以身体为中心的环。然后,可穿戴***可以等待命令(手势、头部或眼睛动作、来自用户输入设备的输入等),并且如果它被识别(框1160),可以向用户显示与命令相关联的虚拟内容(框1170)。作为示例,可穿戴***可以等待用户的手势再混合多个流轨道。
可穿戴***、UI和用户体验(UX)的其它示例在美国专利公开NO.2015/0016777中描述,该专利公开的全部内容通过引用并入此文。
环境中的示例对象
图12示出了用户在办公室环境中与虚拟用户界面进行交互的示例。在图12中,穿戴可穿戴设备1270的用户210正站在办公室1200中。可穿戴设备可以是如本文所述的可穿戴***200、400的一部分。办公室1200可以包括多个物理对象,诸如椅子1244、镜子1242、墙壁1248、桌子1246、转椅1240,以及由可穿戴设备1270呈现给该用户的虚拟屏幕1250。
能视域中的示例对象
穿戴可穿戴设备1270的用户210可以具有视场(FOV)和能视域(FOR)。如参考图4所讨论的,FOR包括能够被用户经由可穿戴设备1270感知的用户周围环境的一部分。对于HMD,因为穿戴者可以移动她的身体、头部或眼睛以基本上感知空间中的任何方向,所以FOR可以包括穿戴者周围的基本全部4π弧度立体角。穿戴者的动作可能更受限制,相应地,穿戴者的FOR可以对着更小的立体角。FOR可以包含能够被用户经由ARD感知的对象组。对象可以是虚拟对象和/或物理对象。虚拟对象可以包括操作***对象,例如用于已删除文件的回收站、用于输入命令的终端、用于访问文件或目录的文件管理器、图标、菜单、用于音频或视频流的应用、来自操作***的通知等。虚拟对象还可以包括应用中的对象,例如化身、小工具(例如,时钟的虚拟表示)、游戏中的虚拟对象、图形或图像等。一些虚拟对象可以同时是操作***对象和应用中的对象。
在一些实施例中,虚拟对象可以与物理对象相关联。例如,如图12所示,虚拟屏幕1250可以被放置在桌子1246上。虚拟屏幕可以包括具有可选选项的虚拟菜单1210,诸如办公室生产工具1212、用于执行远端临场的应用1214以及电子邮件工具1216之类的选项。
虚拟对象可以是三维(3D)、二维(2D)或一维(1D)对象。虚拟对象可以是3D咖啡杯(可以表示物理咖啡机的虚拟控件)。虚拟对象也可以是2D菜单1210(如图12所示)。在一些实施方式中,一个或多个虚拟对象可以显示在另一虚拟对象内(或与另一虚拟对象相关联)。例如,参考图12,虚拟菜单5110被示出为位于虚拟屏幕1250内。在另一示例中,用于远端临场的虚拟应用1214可以包括具有联系人信息的另一菜单1220。
在一些实施方式中,用户环境中的一些对象可以是可交互的。例如,参考图1,用户可以与一些虚拟对象进行交互,例如通过伸出手指让化身140降落,或者上拉提供有关雕像130的信息的菜单。用户可以通过执行用户界面操作与可交互对象交互,例如,选择或移动可交互对象,致动与可交互对象关联菜单,选择要使用可交互对象执行的操作等。用户可以在用户输入设备上单独或组合地使用头部姿势、眼睛姿势、身体姿势、语音、手势执行这些用户界面操作。例如,用户可以通过改变身体姿势将虚拟对象从一个位置移到另一位置(例如,改变手势,诸如在虚拟对象上挥手)。在另一示例中,如图12所示,当用户站在桌子1246附近时,用户可以使用手势来致动用户输入设备以打开虚拟屏幕1250。用户可以通过点击鼠标,敲击触摸板,在触摸屏上滑动,悬停在电容式按钮或触摸电容式按钮,按下键盘或游戏控制器上的键(例如,5向D-pad),将操纵杆、手持操纵器或图腾指向对象,按下遥控器上的按钮或与用户输入设备的其它交互等来致动用户输入设备466。在某些实施方式中,可穿戴设备1270可以在检测到桌子1246时自动呈现虚拟菜单1210(例如,使用一个或多个对象识别器708)。在菜单打开之后,用户可以通过沿着用户输入设备上的轨迹移动其手指来浏览菜单1210。当用户决定关闭虚拟屏幕1250时,用户可以说出一个单词(例如,说“退出”)和/或致动用户输入设备,指示关闭虚拟屏幕1250的意图。在接收到指示后,ARD可以停止在桌子1246上投射屏幕1250。
视场中的示例对象
在FOR内,用户在给定时间处感知的世界的一部分被称为FOV(例如,FOV可以包含用户当前正看向的FOR的一部分)。FOV可取决于ARD中显示器的尺寸或光学特性。例如,AR显示器可以包括仅在用户通过显示器的特定部分观看时提供AR功能的光学器件。FOV可以对与当用户透过AR显示器(例如,堆叠波导组件480(图4)或平面波导632b(图6))观看时可感知的立体角对应。
当用户的姿势改变时,FOV将对应地改变,并且FOV内的对象也改变。参考图2,用户210可以在站在桌子1246前面时感知虚拟屏幕1250。然而,当用户210走向镜子1242时,虚拟屏幕1250可以移到他的FOV之外。因此,当用户210站在镜子1242前面时将无法感知虚拟屏幕1250。在一些实施例中,当用户210在办公室1200中移动时,虚拟屏幕1250可跟随用户210。例如,当用户210移到站在镜子1242前面时,虚拟屏幕1250可以从桌子1246移到墙壁1248。虚拟屏幕的内容(诸如虚拟菜单1210上的选项)可以在虚拟屏幕1250改变其位置时发生改变。作为示例,在图12中,当虚拟屏幕1250在桌子1250上时,用户210可以感知包括各种办公生产项目的虚拟菜单1210。然而,当用户走向镜子1242时,用户能够与虚拟衣柜应用进行交互,该虚拟衣柜应用允许用户使用可穿戴设备1270模拟不同服装的外观。在某些实施方式中,一旦可穿戴设备1270检测到镜子1242,可穿戴***便可自动发起与另一用户(例如,与用户210的个人助理)的通信(例如,远端临场会话)。
基于情景因素呈现FOV中的虚拟对象的示例
如本文所述,通常存在与对象(例如,物理或虚拟对象)或用户的环境相关联的多个虚拟对象或用户交互选项。例如,参考图12,虚拟菜单1210包括多个交互选项,诸如办公室生产工具1212(诸如文字处理器、文件夹、日历等);远端临场应用1214,该应用允许用户(经由可穿戴***)与另一用户进行通信,好像另一用户出现在用户210的环境中(例如,可穿戴***可以将另一用户的图像投射给可穿戴***的用户);以及邮件工具,此工具允许用户210发送和接收电子邮件(电邮)或短信。在另一示例中,图13和图14所示的起居室1300可以包括虚拟对象,诸如数码相框1312a、远端临场工具1314a、赛车驾驶游戏1316a、电视(TV)应用1312b、家庭管理工具1314b(可以针对房间1300管理温度,投射墙纸等)和音乐应用1316b。
然而,如本文所述,虚拟用户界面可能无法向用户显示所有可用的虚拟对象或用户交互选项,同时提供令人满意的用户体验。例如,如图13和图14所示,存在与用户界面1310相关联的六个虚拟对象(1312a、1314a、1316a、1312b、1314b和1316b),虚拟对象可以是虚拟菜单。但是墙壁1350上的虚拟菜单仅可以清楚地放置三个选项(参见例如图13和14中的虚拟菜单)。因此,可穿戴***可能需要筛选可用选项的数量,并仅显示可用选项子集。
有利地,在一些实施例中,可穿戴***可以基于情景信息筛选或选择要在用户界面1310上呈现的用户交互选项或虚拟对象。筛选或选择的用户界面交互选项或虚拟对象可以以各种布局呈现。例如,可穿戴设备可以以列表形式呈现选项和虚拟对象(诸如图12至14所示的虚拟菜单)。在某些实施例中,虚拟菜单可以采用虚拟对象的圆形表示(参见例如图15所示的虚拟菜单1530),而不是在虚拟用户界面上显示虚拟对象的垂直列表。虚拟对象可以围绕圆形表示的中心旋转,以帮助识别和选择所需的虚拟对象。情景信息可以包括与用户的环境、用户、用户环境中的对象等相关联的信息。示例情景信息可以包括与选项相关联的物理对象的可供性、用户的环境(诸如环境是家庭环境还是办公室环境)、用户的特征、用户与环境中的对象的当前交互、用户的生理状态、用户的心理状态,它们的组合等等。下面提供了各种类型情景信息的更详细描述。
用户的环境
可穿戴***可以筛选或选择环境中的虚拟对象,并且仅基于用户的环境呈现用于用户交互的虚拟对象子集。这是因为不同的环境可能具有不同的功能。例如,用户的联系人列表可以包括家庭成员、朋友和职业联系人的联系人信息。在办公室环境中,诸如图12所示的办公室1200,通常更适合与工作有关的活动而非娱乐活动。因此,当用户210使用远端临场工具1214时,可穿戴设备1270可以在用于远端临场会话的菜单1220中呈现与工作有关的联系人的列表,即使用户的联系人列表还包括家人联系人和朋友联系人。与之相对,图13示出了起居室1300,其中用户通常放松并与工作之外的人进行交互。因此,当用户选择远端临场工具1314a时,可穿戴设备可以在菜单1320中显示朋友联系人和家庭成员联系人信息。
作为另一示例,用户的音乐收藏可以包括各种音乐,诸如乡村音乐、爵士音乐、流行音乐和古典音乐。当用户在起居室1300中时,可穿戴设备可以向用户呈现爵士音乐和流行音乐(如虚拟菜单1430所示)。然而,当用户在卧室1500中时,可以呈现不同音乐选项集。例如,如图15中的虚拟菜单1530所示,可穿戴设备可以显示乡村音乐和古典音乐,因为这些类型的音乐具有放松效果并且可以帮助用户入睡。
作为筛选环境中的可用虚拟对象的附加或替换,可穿戴设备可以仅示出与环境功能相关的菜单选项。例如,办公室1200中的虚拟菜单1210(图12中)可以包括与工作环境相关的选项。另一方面,起居室1300中的虚拟用户界面1310(图14)可以包括娱乐项目,诸如虚拟TV 1312b、音乐1316b以及家庭管理工具1314b。
参考图12至图15所描述的示例环境旨在说明而不是限制可穿戴设备可用于在这种环境中与物理内容和虚拟内容进行情景交互的环境类型。其它环境可以包括家庭或办公室的其它部分、交通工具(例如,汽车、地铁、船、火车或飞机)、娱乐场所(例如,电影院、***、游戏设施)、零售设施(例如,商店或商场)或户外(例如,公园或院子)等。
对象的可供性
可穿戴***可以识别用户可能感兴趣或当前正在与之进行交互的环境中的对象。可穿戴***可以基于用户的姿势(例如,眼睛注视、身体姿势或头部姿势)识别对象。例如,可穿戴设备可以使用面向内部的成像***462(如图4所示)来跟踪用户的眼睛姿势。当可穿戴***确定用户正在长时间观看一个方向时,可穿戴***可以使用光线投射或锥体投射(conecast)技术来识别与用户的注视方向相交的对象。例如,可穿戴***可以投射虚拟锥体/光线,识别与虚拟锥体/光线的一部分相交的对象。可穿戴设备还可以使用IMU(例如,参考图2、图4和图9所描述的)来跟踪用户的头部姿势。当可穿戴设备检测到用户的头部姿势的变化时,可穿戴设备可以将用户头部附近的对象识别为用户有兴趣与其进行交互的对象。作为示例,当可穿戴设备的用户正长时间观看家中的冰箱时,可穿戴设备可以识别冰箱可能是用户感兴趣的对象。在另一示例中,用户可以是站在冰箱前。可穿戴设备可以检测用户点头并将用户前面的冰箱识别为用户感兴趣的对象。在又一示例中,对象识别器708可以跟踪用户的手部移动(例如,基于来自面向外部的成像***464的数据)。对象识别器可以识别手势(例如,手指指向冰箱),该手势提供用于用户交互的对象的指示。
可穿戴***可以识别所识别对象的可供性。对象的可供性包括对象与对象的环境之间的关系,该可供性为与对象相关联的动作或使用提供机会,可供性可以基于例如对象的功能、取向、类型、位置、形状、和/或大小。可供性还可以基于物理环境对象所处的环境。可穿戴设备可以缩减环境中的可用虚拟对象,并根据对象的可供性来呈现虚拟对象。作为示例,水平桌子的可供性是可以将对象放置在桌子上,垂直墙壁的可供性可以是可以将对象悬挂或投射到墙壁上。
例如,可穿戴设备可以识别对象的功能,并示出仅具有与对象的功能相关的对象的菜单。作为示例,当可穿戴设备的用户与家中的冰箱进行交互时,可穿戴设备可以识别出冰箱的功能之一是存储食物。储存食物的能力是冰箱的可供性。当用户决定例如通过致动用户输入设备来观看与冰箱相关联的选项时,可穿戴设备可以向用户呈现特定于食物的选项,诸如显示冰箱中当前可用的食物列表;包括各种食谱、食物清单的烹饪应用;更换冰箱中的滤水器的提醒等。冰箱可供性的其它示例包括很重,因此难以移动;具有可以粘贴物体的垂直前表面,前表面通常是金属并且具有磁性,这样可以将磁性物体粘贴在前表面上等。
在一些情况下,同一对象的功能可以基于环境而变化。可穿戴***可以通过根据环境考虑对象的功能来生成虚拟菜单。例如,桌子的可供性包括它可以被用于书写和用餐。当桌子在办公室1200中时(图12所示),桌子的可供性可以表明桌子应该被用于书写,因为办公室环境通常与文件处理相关联。因此,可穿戴设备的显示器220可以呈现虚拟菜单1210,该菜单包括位于办公工具1212或电子邮件应用1216下的文字处理应用。然而,当同一桌子位于厨房中时,该桌子的可供性可以表明桌子可被用于用餐,因为人们通常不会在他们的厨房里写文件。因此,可穿戴设备可以向用户显示与食物而非办公工具有关的虚拟对象。
可穿戴***可以使用对象的取向来确定应该呈现的选项,因为一些活动(诸如,绘画和书写文件)可能更适合于水平表面(诸如,地板或桌子),而其它活动(诸如,看电视或玩驾驶游戏)可能在垂直表面(诸如,墙壁)上具有更好的用户体验。可穿戴***可以检测对象表面的取向(例如,水平与垂直),并显示适合于该取向的选项组。
参考图12,办公室1200可以包括虚拟对象,诸如用于文件处理的办公工具1212和虚拟TV应用(图12未示出)。因为虚拟屏幕1250在具有水平表面的桌子1246上,所以可穿戴设备1270可以呈现具有办公工具1212的菜单1210,因为文件处理更适合在水平表面上完成。同时,可穿戴设备12700可以被配置为不呈现虚拟TV应用,因为虚拟TV更适合于垂直表面,而且用户当前正在与具有水平表面的对象进行交互。然而,如果用户站在墙壁1248前面,则可穿戴设备1270可以在菜单1210中包括虚拟TV,同时排除办公工具1212。
作为另一示例,在图13和图14中,虚拟用户界面1310位于具有垂直表面的墙壁1350上。因此,用户界面1310可以包括如图13所示的驾驶游戏1316a,以及包括如图14所示的虚拟TV应用1316b。这是因为用户在垂直表面上执行这些活动时可能有更好的体验。
作为对象的功能、取向和位置的附加或替换,还可以基于对象的类型确定可供性。例如,沙发可以与诸如观看电视之类的娱乐活动相关联,而桌椅可以与诸如创建财务报告之类的工作有关活动相关联。可穿戴***还可以基于对象的大小确定可供性。例如,小桌子可被用于放置诸如花瓶之类的装饰,而大桌子可被用于家庭用餐。作为另一示例,可供性也可以基于对象的形状。具有圆形顶面的桌子可以与诸如扑克之类的某些团体游戏相关联,而具有矩形顶面的桌子可以与诸如俄罗斯方块之类的单人游戏相关联。
用户的特征
可穿戴***还可以基于诸如年龄、性别、教育水平、职业、偏好等之类用户的特征呈现选项。可穿戴***可以基于用户提供的简档信息来识别这些特征。在一些实施例中,可穿戴***可以基于用户与可穿戴***的交互(例如,频繁查看的内容)来推断这些特征。基于用户的特征,可穿戴***可以呈现与用户的特征匹配的内容。例如,如图15所示,如果可穿戴设备的用户是幼儿,则可穿戴设备可以在卧室1500中的菜单1530中提供儿童音乐和摇篮曲的选项。
在一些实施方式中,环境可以由多个人共享。可穿戴***可以分析共享空间的人的特征,并且仅呈现适合于共享空间的人的内容。例如,起居室1300可以由所有家庭成员共享。如果家庭有幼儿,则可穿戴设备可以仅呈现具有使得该电影适合无成年人陪伴的儿童的等级的电影(例如,“G”级电影)。在一些实施例中,当可穿戴***对环境进行成像时,可穿戴***可能能够识别位于同一环境的人,并基于环境中存在的人呈现选项。例如,可穿戴***可以使用面向外部的成像***来获取环境的图像,并且可穿戴***可以分析这些图像,以使用人脸识别技术来识别图像中存在的一个或多个人。如果可穿戴***确定穿戴HMD且与其父母坐在同一起居室中的儿童,则可穿戴***可以呈现评级为适合于成年人在场的儿童的电影(例如,“PG”级电影),作为G级电影的附加或替换。
可穿戴***可以基于用户的偏好呈现虚拟菜单。可穿戴***可以基于先前的使用模式推断出用户的偏好。先前的使用模式可以包括有关使用虚拟对象的位置的信息和/或有关使用虚拟对象的时间的信息。例如,每个早上当用户210在他的办公室1200(图12所示)中调出虚拟屏幕1250时,用户210通常首先检查其电子邮件。基于该使用模式,可穿戴***可以在菜单1210中显示电子邮件应用1216。在另一示例中,每个早上当用户210走进起居室1300时,用户通常在虚拟电视屏幕1312b上观看新闻(图14所示)。因此,可穿戴***可以基于用户的频繁使用在虚拟用户界面1310上显示TV应用1312b。然而,可穿戴***将不在虚拟用户界面1310中显示电子邮件应用1210,因为用户210一般不在其起居室1300中查看其电子邮件。另一方面,如果用户210经常查看其电子邮件而不考虑其所在位置,则可穿戴***也可以在虚拟用户界面1310中显示电子邮件应用1216。
菜单中的选项可以根据一天中的时间而变化。例如,如果用户210通常在早上听爵士音乐或流行音乐并且在晚上玩驾驶游戏,则可穿戴***可以在早晨的菜单1430中呈现爵士音乐和流行音乐的选项,而在晚上呈现驾驶游戏1316a。
AR***还可以允许用户输入其偏好。例如,用户210可以将其老板的联系人信息添加到其联系人列表1220(如图12所示)中,即使他不经常与其老板交谈。
用户与环境中对象的交互
可穿戴设备可以基于当前用户交互在用户的环境中呈现虚拟对象子集。可穿戴设备可以基于用户与其进行交互的人来呈现虚拟对象。例如,当用户在其起居室1300与其一个家庭成员进行远端临场会话时,可穿戴设备可以自动在墙上调出相册,因为用户可能想要谈论由相册捕获的共享体验。另一方面,当用户在其办公室1200中与其一个同事进行远端临场会话时,可穿戴设备可以自动呈现用户与其同事合作过的文档。
可穿戴设备还可以基于用户与其进行交互的虚拟对象来呈现虚拟对象。例如,如果用户当前正在准备财务文档,则可穿戴设备可以呈现数据分析工具,诸如计算器。但是如果用户当前正在写小说,则可穿戴设备可以向用户呈现文字处理工具。
用户的生理状态或心理状态
情景信息可以包括用户的生理状态、心理状态或自主神经***活动及其组合等。如参考图12所述,可穿戴***可以使用各种传感器232来测量用户对虚拟内容或环境的反应。例如,一个或多个传感器232可以获得用户眼睛区域的数据,并使用这样的数据来确定用户的心情。可穿戴***可以使用面向内部的成像***462(图4所示)来获得眼睛的图像。ARD可以使用这些图像来确定眼睛运动、瞳孔扩张和心率变化。在一些实施方式中,当面向内部的成像***462具有足够大的视场时,可穿戴***可以使用由面向内部的成像***462获得的图像来确定用户的面部表情。可穿戴***还可以使用面向外部的成像***464(图2所示)来确定用户的面部表情。例如,当用户站在反射表面(诸如,镜子)附近时,面向外部的成像***464可以获取用户脸部的反射图像。可穿戴***可以分析反射图像以确定用户的面部表情。附加地或替代地,可穿戴***可包括测量皮电活动(诸如,皮肤电反应)的传感器。这些传感器可以是用户可穿戴手套和/或用户输入设备466(参考图4所述的)的一部分。可穿戴***可以使用皮电活动数据来确定用户的情绪。
可穿戴***还可以包括用于肌电图(EMG)、脑电图(EEG)、功能性近红外光谱(fNIR)等的传感器。可穿戴***可以使用从这些传感器获得的数据来确定用户的心理状态和生理状态。这些数据可以单独使用或与从诸如面向内部的成像***、面向外部的成像***和用于测量皮电活动的传感器之类的其它传感器获得的数据结合使用。ARD可以使用用户的心理状态和生理状态的信息来向用户呈现虚拟内容(诸如虚拟菜单)。
作为示例,可穿戴***可以基于用户的心情推荐娱乐内容条(例如,游戏、电影、音乐、要显示的风景)。可以推荐娱乐内容以改善用户的心情。例如,可穿戴***可以基于用户的生理数据(诸如,出汗)确定用户当前处于压力下。可穿戴***可以进一步基于从位置传感器(诸如,GPS)获取的信息或从面向外部的成像***464获取的图像来确定用户在工作。可穿戴***可以组合这两条信息,并确定用户在工作中遇到压力。因此,可穿戴***可以推荐用户在午休期间玩节奏较慢的探索性开放式游戏以平静下来,在虚拟显示器上显示令人放松的风景,在用户的环境中播放舒缓的音乐等。
作为另一示例,多个用户可以在物理空间或虚拟空间中一起出现或彼此交互。可穿戴***可以确定用户之间的一种或多种共有情绪(例如,群体是高兴还是生气)。共有情绪可以是多个用户的心情的组合或融合,并且可以针对用户之间的共同情绪或主题。可穿戴***可以基于用户之间的共有心情呈现虚拟活动(诸如,游戏)。
基准标记
在一些实施方式中,可以以基准标记(在此也被称为标签)编码情景信息。基准标记可以与物理对象相关联。基准标记可以是光学标记,诸如快速响应(QR)代码、条形码、ArUco标记(其可以在遮挡下被可靠地检测)等。基准标记还可以包括电磁标记(例如,射频识别标签),电磁标记可以发射或接收能够被可穿戴设备检测的电磁信号。这种基准标记可以被物理地固定在物理对象上或物理对象附近。可穿戴设备可以使用面向外部的成像***464(图4所示)或一个或多个传感器来检测基准标记,该传感器从基准标记中接收信号或将信号发送到基准标记(例如,将信号发送到标记,然后该标记可以返回回复信号)。
当可穿戴设备检测到基准标记时,可穿戴设备可以对基准标记进行解码,并基于所解码的基准标记呈现虚拟对象组。在一些实施例中,基准标记可以包含对数据库的引用,该引用包括待显示的虚拟对象与有关情景因素之间的关联。例如,基准标记可以包括物理对象(例如,桌子)的标识符。可穿戴设备可以使用标识符来访问物理对象的情景特征。在该示例中,桌子的情景特征可以包括桌子的大小和水平表面。所访问的特征可被用于确定由物理对象支持哪些用户界面操作或虚拟对象。由于桌子具有水平表面,因此可穿戴设备可以在桌子表面上呈现办公处理工具而不是画,因为画通常与垂直表面而不是水平表面相关联。
例如,在图15中,ArUco标记1512被附接到卧室1500中的窗户1510上。可穿戴***可识别ArUco标记1512(例如,基于由面向外部的成像***464获取的图像)并提取以ArUco标记1512编码的信息。在一些实施例中,所提取的信息可足以使可穿戴***呈现与基准标记相关联的虚拟菜单,而无需分析窗户或用户的环境的其它情景信息。例如,所提取的信息可以包括窗户1510的取向(例如,窗户1510具有垂直表面)。基于该取向,可穿戴***可以呈现与垂直表面相关联的虚拟对象。在某些实施方式中,可穿戴***可能需要与另一数据源(例如,远程数据存储库280)通信以获得情景信息,诸如对象(例如,镜子)的类型、与对象相关联的环境、用户的偏好等,用于使可穿戴***呈现识别相关虚拟对象。
基于情景因素呈现虚拟对象的示例方法
图16是用于基于情景信息生成虚拟菜单的示例方法的流程图。过程1600可以由本文所述的可穿戴***执行。可穿戴***可以包括:用户输入设备(参见例如图4中的用户输入设备466),该用户输入设备被配置为接收各种用户交互的指示;显示器,该显示器可以显示物理对象附近的虚拟对象;以及姿势传感器。姿势传感器可以检测和跟踪用户的姿势,该姿势可以包括身体相对于用户的环境的取向,或者用户身体的一部分的位置或移动,诸如用户的手部做出的手势或用户的注视方向。姿势传感器可包括参考图2、图4和图9描述的惯性测量单元(IMU)、面向外部的成像***和/或眼睛跟踪相机(例如,图4所示的相机464)。IMU可以包括加速度计、陀螺仪和其它传感器。
在框1610处,可穿戴***可使用一个或多个姿势传感器确定用户的姿势。如本文所述,姿势可以包括眼睛姿势、头部姿势或身体姿势或其组合等。基于用户的姿势,在框1620处,可穿戴***可识别用户的环境中的可交互对象。例如,可穿戴***可以使用锥形投射技术来识别与用户的注视方向相交的对象。
在框1630处,用户可以致动用户输入设备,并提供打开与可交互对象相关联的虚拟菜单的指示。虚拟菜单可以包括多个虚拟对象作为菜单选项。多个虚拟对象可以是用户的环境中的虚拟对象子集或者是与可交互对象相关联的虚拟对象子集。虚拟菜单可以具有许多图形表示。虚拟菜单的一些示例被示出为图12中的对象1220和对象1210、图13和图14中的虚拟用户界面1310、图13中的对象1320、图14中的对象1430、以及图15中的对象1530。在某些实施方式中,打开虚拟菜单的指示不必需从用户输入设备接收。该指示可以与直接用户输入相关联,例如用户的头部姿势、眼睛注视、身体姿势、手势、语音命令等。
在框1640处,可穿戴***可确定与可交互对象相关联的情景信息。情景信息可以包括可交互对象的可供性、环境(例如,工作环境或生活环境)的功能、用户的特征(诸如用户的年龄或偏好),或当前用户与环境中的对象进行的交互等或其组合等。例如,可穿戴***可以通过分析诸如功能、取向(水平对垂直)、位置、形状、大小等之类的可交互对象的特征来确定可交互对象的可供性。可穿戴***还可以通过分析可交互对象与环境的关系来确定可交换对象的可供性。例如,起居室环境中的茶几可以用于娱乐目的,而卧室环境中的床头柜可以用于在人睡觉之前放置物品。
与可交互对象相关联的情景信息还可以根据用户的特征或者根据用户与环境中对象进行的交互来确定。例如,可穿戴***可以识别用户的年龄并且仅呈现与用户的年龄相称的信息。作为另一示例,可穿戴***可以借助虚拟菜单来分析用户的先前使用模式(诸如用户经常使用的虚拟对象的类型),并根据先前的使用模式来定制虚拟菜单的内容。
在框1650处,可穿戴***可以基于情景信息识别要包括在虚拟菜单中的虚拟对象的列表。例如,可穿戴***可以识别具有与可交互对象相关的功能和/或与用户的环境相关的功能的应用列表。作为另一示例,可穿戴***可基于诸如年龄、性别和先前使用模式之类的用户的特征来识别将包括在虚拟菜单中的虚拟对象。
在框1660处,可穿戴***可以基于所识别的虚拟对象的列表生成虚拟菜单。虚拟菜单可以包括所识别的列表上的所有虚拟对象。在一些实施例中,菜单的空间可能有限。可穿戴***可以设定不同类型的情景信息的优先级,以便仅向用户显示列表子集。例如,可穿戴***可以确定先前使用模式是最重要的情景信息,因此仅基于先前使用模式显示前五个虚拟对象。
用户可以借助菜单执行各种动作,例如浏览菜单,基于对一些情景信息的分析显示先前未选择的可用虚拟对象,退出菜单,或选择菜单上的一个或多个对象以与之进行交互。
基于用户的生理数据呈现虚拟对象的示例方法
图17是用于至少部分地基于用户的生理数据选择虚拟内容的示例方法的流程图。过程1700可以由本文所述的可穿戴***执行。可穿戴***可以包括各种传感器232,例如被配置为测量用户的生理参数的生理传感器、被配置为跟踪用户的眼睛区域的面向内部的成像***等。
在框1710处,可穿戴***可以获得用户的生理数据。如参考图2和图图4所述,可穿戴***可单独地或与面向内部的成像***结合使用生理传感器来测量用户的生理数据。例如,可穿戴***可以使用一个或多个生理传感器来确定用户的皮肤电反应。可穿戴***可以使用面向内部的成像***进一步确定用户的眼睛运动。
如框1720所示,可穿戴***可使用生理数据来确定用户的生理状态或心理状态。例如,可穿戴***可以使用用户的皮肤电反应和/或用户的眼睛运动来确定用户是否对某些内容感到兴奋。
在框1730处,可穿戴***可确定要呈现给用户的虚拟内容。可穿戴***可以基于生理数据做出这种确定。例如,使用生理数据,可穿戴***可以确定用户有压力。可穿戴***可以相应地呈现与减小用户压力相关联的虚拟对象(诸如音乐或视频游戏)。
可穿戴***还可以基于结合其它情景信息对生理数据进行的分析来呈现虚拟内容。例如,基于用户的位置,可穿戴***可以确定用户正经受工作压力。因为用户通常在工作时间不玩游戏或听音乐,所以可穿戴***可能仅在用户休息期间推荐视频游戏和音乐来帮助用户降低其压力水平。
在框1740处,可穿戴***可以生成包括虚拟内容的3D用户界面。例如,可穿戴***可以在检测到用户正经受压力时显示音乐和视频游戏的图标。可穿戴***可以在用户与物理对象进行交互时呈现虚拟菜单。例如,当用户在工作休息期间在桌子前面致动用户输入设备时,可穿戴***可以显示音乐和视频游戏的图标。
本文描述的各种示例中的技术可以向用户提供可用虚拟对象子集或用户界面交互选项子集。可以以各种形式提供该虚拟对象子集或用户界面交互选项子集。尽管主要参考呈现菜单来描述示例,但是也可以使用其它类型的用户界面呈现。例如,可穿戴***可以在虚拟对象子集中呈现虚拟对象的图标。在某些实施方式中,可穿戴***可以基于情景信息自动执行操作。例如,如果用户在镜子附近,则可穿戴***可以自动启动与用户最常联系人的远端临场会话。作为另一示例,如果可穿戴***确定用户可能最感兴趣的虚拟对象,则可穿戴***可以自动启动虚拟对象。
其它实施例
在第1方面,一种用于在三维(3D)空间内的用户的环境中生成虚拟菜单的方法,该方法包括:在包括计算机硬件的增强现实(AR)***的控制下,AR***被配置为允许用户与用户的环境中的对象进行交互,AR***包括用户输入设备、AR显示器和被配置为检测用户姿势的惯性测量单元(IMU),使用IMU确定用户姿势;至少部分地基于用户姿势识别3D空间内用户的环境中的物理对象;经由用户输入设备接收打开与物理对象相关联的虚拟菜单的指示;确定与物理对象相关联的情景信息;至少部分地基于所确定的情景信息确定要包括在虚拟菜单中的虚拟对象;至少部分地基于所确定的情景信息确定用于显示虚拟菜单的空间位置;生成至少包括所确定的虚拟对象的虚拟菜单;以及经由AR显示器向用户显示在空间位置处生成的菜单。
在第2方面,根据方面1所述的方法,其中,姿势包括以下一项或多项:头部姿势或身体姿势。
在第3方面,根据方面1或方面2所述的方法,其中,ARD进一步包括眼睛跟踪相机,该眼睛跟踪相机被配置为跟踪用户的眼睛姿势。
在第4方面,根据方面3所述的方法,其中,姿势包括眼睛姿势。
在第5方面,根据方面1至4中任一项所述的方法,其中,情景信息包括以下一项或多项:物理对象的可供性;环境的功能;用户的特征;或者用户与AR***的当前或过去进行的交互。
在第6方面,根据方面5所述的方法,其中,物理对象的可供性包括物理对象与物理对象的环境之间的关系,该可供性为与物理对象相关联的动作或使用提供机会。
在第7方面,根据方面5或方面6所述的方法,其中,物理对象的可供性至少部分地基于以下一项或多项:物理对象的功能、取向、类型、位置、形状、大小或物理对象所处的环境。
在第8方面,根据方面7所述的方法,其中,物理对象的取向包括水平取向或垂直取向。
在第9方面,根据方面5至8中任一项所述的方法,其中,环境是生活环境或工作环境。
在第10方面,根据方面5至9中任一项所述的方法,其中,环境是私人环境或公共环境。
在第11方面,根据方面5所述的方法,其中,用户的特征包括以下一项或多项:年龄、性别、教育水平、职业或偏好。
在第12方面,根据方面11所述的方法,其中,偏好至少部分地基于用户的先前使用模式,其中,该先前使用模式包括有关使用虚拟对象的位置或时间的信息。
在第13方面,根据方面5所述的方法,其中,当前交互包括AR***的用户与另一用户之间的远端临场会话。
在第14方面,根据方面1至13中任一项所述的方法,其中,情景信息以基准标记编码,其中,该基准标记与物理对象相关联。
在第15方面,根据方面14所述的方法,其中,基准标记包括光学标记或电磁标记。
在第16方面,根据方面1至15中任一项所述的方法,其中,对象包括物理对象或虚拟对象中的至少一者。
在第17方面,一种用于在三维(3D)空间内的用户环境中呈现多个虚拟对象的方法,该方法包括:在包括计算机硬件的增强现实(AR)的控制下,AR***被配置为允许用户与用户的环境中的对象进行交互,AR***包括用户输入设备、AR显示器和被配置为检测用户姿势的姿势传感器,使用姿势传感器来确定用户的姿势;至少部分地基于用户的姿势识别3D空间内用户环境中的可交互对象;经由用户输入设备接收呈现与物理对象相关联的多个虚拟对象的指示;确定与可交互对象相关联的情景信息;至少部分地基于所确定的情景信息来确定将向用户显示的多个虚拟对象;以及经由AR显示器向用户显示所确定的多个虚拟对象。
在第18方面,根据方面17所述的方法,其中,姿势传感器包括以下一项或多项:惯性测量单元、眼睛跟踪相机或面向外部的成像***。
在第19方面,根据方面17或方面18所述的方法,其中,姿势包括以下一项或多项:头部姿势、眼睛姿势或身体姿势。
在第20方面,根据方面17至19中任一方面的方法,其中,情景信息包括以下一项或多项:可交互对象的可供性;环境的功能;用户的特征;或者用户与AR***的当前或过去进行的交互。
在第21方面,根据方面20所述的方法,其中,可交互对象的可供性包括可交互对象与可交互对象的环境之间的关系,该可供性为与可交互对象相关联的动作或使用提供机会。
在第22方面,根据方面20或方面21所述的方法,其中,可交互对象的可供性至少部分地基于以下一项或多项:可交互对象的功能、取向、类型、位置、形状、大小或物理对象所处的环境。
在第23方面,根据方面22所述的方法,其中,可交互对象的取向包括水平或垂直取向。
在第24方面,根据方面20至23中任一项所述的方法,其中,环境是生活环境或工作环境。
在第25方面,根据方面20至24中任一项所述的方法,其中,环境是私人环境或公共环境。
在第26方面,根据方面20所述的方法,其中,用户的特征包括以下一项或多项:年龄、性别、教育水平、职业或偏好。
在第27方面,根据方面26所述的方法,其中,偏好至少部分地基于用户的先前使用模式,该先前使用模式包括有关使用虚拟对象的位置或时间的信息。
在第28方面,根据方面20所述的方法,其中,当前交互包括远端临场会话。
在第29方面,根据方面17至28中任一项所述的方法,其中,情景信息以基准标记编码,其中,该基准标记与可交互对象相关联。
在第30方面,根据方面29所述的方法,其中,基准标记包括光学标记或电磁标记。
在第31方面,根据方面17至30中任一项所述的方法,其中,对象包括物理对象或虚拟对象中的至少一者。
在第32方面中,根据方面17至31中任一项所述的方法,其中,可交互对象包括物理对象或虚拟对象中的至少一者。
在第33方面,一种增强现实(AR)***,其包括计算机硬件、用户输入设备、AR显示器和姿势传感器,该增强现实(AR)***被配置为执行方面1至32中的任一方法。
在第34方面,一种用于在三维(3D)空间中选择性地向用户呈现虚拟内容的方法,该方法包括:在包括计算机处理器、显示器以及被配置为测量用户的生理参数的生理传感器的可穿戴设备的控制下执行下面的操作:使用生理传感器来获得与用户的生理参数相关联的数据;至少部分地基于该数据确定用户的生理状态;至少部分地基于生理状态确定要呈现给用户的虚拟内容;确定在3D空间中用于显示虚拟内容的空间位置;生成至少包括所确定的虚拟内容的虚拟用户界面;以及经由可穿戴设备的显示器在所确定的空间位置处向用户显示虚拟内容。
在第35方面,根据方面34所述的方法,其中,所述生理参数包括以下至少一项:心率、瞳孔扩张、皮肤电反应、血压、脑图状态、呼吸率、或眼球运动。
在第36方面,根据方面34至35中任一项所述的方法,进一步包括使用面向内部的成像***来获得与用户的生理参数相关联的数据,该面向内部的成像***被配置为对用户的一只或两只眼睛进行成像。
在第37方面,根据方面34至36中任一项所述的方法,进一步包括基于该数据确定心理状态。
在第38方面,根据方面34至37中任一项所述的方法,其中,虚拟内容包括虚拟菜单。
在第39方面,根据方面34至38中任一项所述的方法,其中,基于以下至少一项进一步确定虚拟内容:与虚拟内容相关联的物理对象的可供性;用户的环境的功能;用户的特征;位于环境中的个人;以与物理对象相关联的基准标记编码的信息;或者用户与可穿戴***当前或过去进行的交互。
在第40方面,根据方面39所述的方法,其中,物理对象的可供性包括物理对象与物理对象的环境之间的关系,该可供性为与物理对象相关联的动作或使用提供机会。
在第41方面,根据方面39或方面40所述的方法,其中,物理对象的可供性至少部分地基于以下一项或多项:物理对象的功能、取向、类型、位置、形状、大小或物理对象所处的环境。
在第42方面,根据方面41所述的方法,其,中物理对象的取向包括水平取向或垂直取向。
在第43方面,根据方面39至42中任一项所述的方法,其中,环境是生活环境或工作环境。
在第44方面,根据方面39至43中任一项所述的方法,其中,环境是私人环境或公共环境。
在第45方面,根据方面39所述的方法,其中,用户的特征包括以下一项或多项:年龄、性别、教育水平、职业或偏好。
在第46方面,根据方面45所述的方法,其中,偏好至少部分地基于用户的先前使用模式,其中,该先前使用模式包括有关使用虚拟对象的位置或时间的信息。
在第47方面,根据方面39所述的方法,其中,当前交互包括AR***的用户与另一用户之间的远端临场会话。
在第48方面,根据方面34至47中任一项所述的方法,其中,可穿戴设备包括增强现实***。
在第49方面,包括计算机处理器、显示器和被配置为测量用户的生理参数的生理传感器的可穿戴设备,该可穿戴设备被配置为执行根据方面34至48中的任一方法。
在第50方面,一种用于在用户的三维(3D)环境中生成虚拟内容的可穿戴***,该可穿戴***包括:增强现实显示器,其被配置为向用户呈现3D视图中的虚拟内容;姿势传感器,其被配置为获取用户的位置或取向数据并分析位置或取向数据以识别用户的姿势;硬件处理器,其与姿势传感器和显示器通信,该硬件处理器被编程为:至少部分地基于用户的姿势识别3D环境内用户环境中的物理对象;接收用于启动与物理对象进行交互的指示;识别与物理对象相关联的用户环境中的虚拟对象集;确定与物理对象相关联的情景信息;基于该情景信息筛选虚拟对象集以从该虚拟对象集中识别虚拟对象子集;生成包括虚拟对象子集的虚拟菜单;至少部分地基于所确定的情景信息确定3D环境中用于呈现虚拟菜单的空间位置;以及通过增强现实显示器在该空间位置处呈现虚拟菜单。
在第51方面,根据方面50所述的可穿戴***,其中,情景信息包括物理对象的可供性,该可供性包括物理对象与物理对象的环境之间的关系,该可供性为与物理对象相关联的动作或使用提供机会,其中,物理对象的可供性至少部分地基于以下一项或多项:物理对象的功能、取向、类型、位置、形状、大小或物理对象所处的环境。
在第52方面,根据方面51所述的可穿戴***,其中,情景信息包括物理对象的表面的取向,其中,为了筛选虚拟对象集,硬件处理器被编程为识别虚拟对象子集,该虚拟对象子集在具有该取向的表面上支持用户界面交互。
在第53方面,根据方面50至52中任一项所述的可穿戴***,其中,姿势传感器包括:惯性测量单元,其被配置为测量用户的头部姿势并识别物理对象;硬件处理器,其被编程为至少部分地基于用户的头部姿势来投射虚拟锥体,并选择物理对象,该物理对象与虚拟锥体的一部分相交。
在第54方面,根据方面50至53中任一项所述的可穿戴***,进一步包括:生理传感器,其被配置为测量用户的生理参数,其中,硬件处理器被编程为确定用户的心理状态并使用该心理状态作为情景信息的一部分来识别包含在虚拟菜单中的虚拟对象子集。
在第55方面,根据方面54所述的可穿戴***,其中,生理参数与以下至少一项相关:心率、瞳孔扩张、皮肤电反应、血压、脑图状态、呼吸率或眼睛运动。
在第56方面,根据方面50至55中任一项所述的可穿戴***,其中,3D环境包括多个用户,其中硬件处理器被编程为确定多个用户的共同特征并基于多个用户的共同特征筛选虚拟对象集。
在第57方面,根据方面50至56中任一项所述的可穿戴***,其中,情景信息包括用户过去与虚拟对象集进行的交互,其中,硬件处理器被编程为识别用户经常与之进行交互的一个或多个虚拟对象,并且在虚拟菜单的虚拟对象子集中包括一个或多个虚拟对象。
在第58方面,根据方面50至57中任一项所述的可穿戴***,其中,为了确定与物理对象相关联的情景信息并筛选虚拟对象集,硬件处理器被编程为:识别与物理对象相关联的基准标记,其中,该基准标记对物理对象的标识符进行编码;对基准标记进行解码以提取标识符;借助标识符来访问存储与物理对象相关联的情景信息的数据库;以及分析存储在数据库中的情景信息以筛选虚拟对象集。
在第59方面,根据方面58所述的可穿戴***,其中,基准标记包括ArUco标记。
在第60方面,根据方面50至59中任一项所述的可穿戴***,其中,用于呈现虚拟菜单的空间位置包括虚拟菜单相对于物理对象的位置或取向。
在第61方面,根据方面60所述的可穿戴***,其中,为了确定用于呈现虚拟菜单的空间位置,硬件处理器被编程为使用与物理对象相关联的对象识别器来识别物理对象的表面上的空间。
在第62方面,一种用于在用户的三维(3D)环境中生成虚拟内容的方法,该方法包括:分析从姿势传感器获取的数据以识别用户的姿势;至少部分地基于该姿势识别用户的3D环境中的可交互对象;接收用于启动与可交互对象进行交互的指示;确定与可交互对象相关联的情景信息;基于该情景信息从关于可交互对象的可用用户界面操作集中选择用户界面操作子集;以及生成用于向用户呈现3D视图中的用户界面操作子集的指令。
在第63方面,根据方面62所述的方法,其中,姿势包括以下至少一项:眼睛注视、头部姿势或手势。
在第64方面,根据方面62至63中任一项所述的方法,其中,识别可交互对象包括基于用户的头部姿势执行锥体投射;以及选择用户的环境中的对象作为可交互对象,其中,该对象与在锥体投射中使用的虚拟锥体的至少一部分相交。
在第65方面,根据方面62至64中任一项所述的方法,其中,情景信息包括可交互对象的表面的取向,其中,选择用户界面操作子集包括识别能在具有该取向的表面上执行的用户界面操作。
在第66方面,根据方面62至65中任一项所述的方法,其中,启动与可交互对象进行交互的指示包括用户输入设备的致动或用户姿势的改变。
在第67方面,根据方面62至66中任一项所述的方法,进一步包括接收用户的生理参数;以及确定用户的心理状态,其中,该心理状态是用于选择用户交互子集的情景信息的一部分。
在第68方面,根据方面67所述的方法,其中,生理参数与以下至少一项有关:心率、瞳孔扩张、皮肤电反应、血压、脑图状态、呼吸率或眼睛运动。
在第69方面,根据方面62至68中任一项所述的方法,其中,生成用于在3D视图中向用户呈现用户交互子集的指令包括:生成包括用户界面操作子集的虚拟菜单;基于可交互对象的特征确定虚拟菜单的空间位置;以及生成用于在用户的3D环境中的空间位置处呈现虚拟菜单的显示指令。
其它考虑事项
在此描述的和/或附图示出的过程、方法和算法中的每一者可以体现在以下项中并通过以下项被全部或部分自动化:代码模块,其由一个或多个物理计算***、硬件计算机处理器、专用电路执行;和/或电子硬件,其被配置为执行具体和特定计算机指令。例如,计算***可以包括用具体计算机指令编程的通用计算机(例如,服务器)或专用计算机、专用电路等。代码模块可以被编译并链接到可执行程序中,安装在动态链接库中,或者可以用解译性的编程语言编写。在一些实施方式中,特定操作和方法可以由专用于给定功能的电路来执行。
此外,本公开的功能的某些实施方式在数学上、计算上或技术上足够复杂,以至于为了执行所述功能(例如,由于所涉及的计算量或复杂性或者为了基本实时地提供结果),专用硬件或一个或多个物理计算设备(利用适当的专用可执行指令)可能是必需的。
代码模块或任何类型的数据可以被存储在任何类型的非暂时性计算机可读介质上,诸如物理计算机存储装置,包括硬盘驱动器、固态存储器、随机存取存储器(RAM)、只读存储器(ROM)、光盘、易失性或非易失性存储器以及相同和/或相似元件的组合。方法和模块(或数据)也可以在各种计算机可读传输介质上作为生成的数据信号(例如,作为载波或其它模拟或数字传播信号的一部分)传输,所述传输介质包括基于无线的介质和基于导线/电缆的介质,且可以采取多种形式(例如,作为单个或多路复用模拟信号的一部分,或者作为多个离散数字数据包或帧)。所公开的过程或处理步骤的结果可以持久地或以其它方式存储在任何类型的非暂时性实体计算机存储器中,或者可以经由计算机可读传输介质来传送。
在此描述和/或附图示出的流程图中的任何过程、框、状态、步骤或功能应该被理解为潜在地表示代码模块、代码段或代码部分,其包括用于实现处理中的特定功能(例如,逻辑或算术功能)或步骤的一个或多个可执行指令。各种过程、框、状态、步骤或功能可以与本文提供的说明性示例一起执行以下操作:组合、重排、添加、删除、修改或其它改变。在一些实施例中,附加的或不同的计算***或代码模块可以执行本文所述的功能中的部分或全部。本文描述的方法和过程也不限于任何具体的顺序,并且与其相关的框、步骤或状态可以以其它适当的顺列来执行,例如以串行、并行或以某种其它方式来执行。可以向所公开的示例实施例添加任务或事件或者从中移除任务或事件。此外,本文所述的实施方式中的各种***组件的分离是出于说明的目的,不应该被理解为在所有实施方式中都需要这种分离。应该理解,所描述的程序组件、方法和***通常可以一起集成在单个计算机产品中或者封装到多个计算机产品中。许多实施方式的变体是可行的。
过程、方法和***可以在网络(或分布式)计算环境中实施。网络环境包括企业范围的计算机网络、内联网、局域网(LAN)、广域网(WAN)、个域网(PAN)、云计算网络、众包计算网络、因特网和万维网。网络可以是有线或无线网络,或任何其它类型的通信网络。
本公开的***和方法各自具有若干创新性方面,这些方面中的任一单个方面不单独负责本文所公开的期望待性或不是本文所公开的期望待性所必需的。上述各种特征和过程可以彼此独立地使用,或者可以以各种方式组合使用。所有可能的组合和子组合均旨在落入本公开的范围内。对本公开中所描述的实施方式的各种修改对于本领域技术人员来说是显而易见的,并且在不脱离本公开的精神或范围的情况下,可将本文中限定的一般原理应用于其它实施方式。因此,权利要求不旨在限于本文所示的实施方式,而是应被赋予与本公开、本文公开的原理和新颖特征一致的最宽范围。
本说明书中在单独的实施方式的上下文描述的某些特征也可以在单个实施方式中组合地实现。相反,在单个实施方式的上下文中描述的各种特征也可以在多个实施方式中单独实施,或以任何合适的子组合实施。此外,尽管上文可将特征描述为以某些组合起作用,甚至最初这样要求保护,但是所要求保护的组合中的一个或多个特征在某些情况下可以从该组合中剔除,并且所要求保护的组合可以涉及子组合或子组合的变体。对于每个实施例而言,没有任何单个特征或特征组是必需的或不可或缺的。
除非另有具体说明,或者在上下文中另有理解除外,否则在此使用的诸如“可”、“可以”、“可能”、“能够”、“例如”等之类的条件语通常旨在表达某些实施例包括,而其它实施例不包括某些特征、元素和/或步骤。因此,这种条件语通常不旨在暗示特征、元素和/或步骤以任何方式对于一个或多个实施例所必需的,也不意在暗示在有或者没有程序设计者输入或提示的情况下,一个或多个实施例必然包括用于决定是否包括这些特征、元素和/或步骤是否在任何具体实施例中执行这些特征、元素和/或步骤的逻辑。术语“包括”、“包含”、“具有”等是同义词,并且以开放的方式包含性地使用,并且不排除其它元素、特征、动作、操作等。此外,术语“或”在使用时具有包含性含义(而非排他性含义),因此,当被用于例如连接元素列表时,术语“或”表示列表元素中的一个、一些或全部。另外,除非另有说明,否则在本申请和所附权利要求书中使用的冠词“一”、“一个”和“所述”应被解释为表示“一个或多个”或“至少一个”。
如本文所使用的,涉及项目列表中的“至少一个”的短语指这些项目的任何组合,包括单个成员。作为示例,“A、B或C中的至少一个”旨在涵盖:A、B、C、A和B、A和C、B和C,以及A、B和C。诸如短语“X、Y和Z中的至少一个”之类的连接语(除非另有声明)以通过常用的上下文来理解,以表达项目、术语等可以是X、Y和Z中的至少一个。因此,这样的连接语通常并不旨在暗示某些实施例需要至少一个X、至少一个Y以及至少一个Z中的每个都存在。
类似地,尽管操作在附图中可以以特定顺序示出,但应认识到,这些操作不需要以所示的特定顺序或以相继的顺序执行,或者执行所有例示的操作以实现所需的结果。此外,附图可以以流程图的形式示意性地示出一个或多个示例过程。然而,其它未示出的操作可以并入示意性说明的示例方法和处理中。例如,一个或多个附加操作可以在任何所示的操作之前、之后、同时或期间执行。另外,在其它实施方式中,操作可以重新排列或排序。在某些情况下,多任务和并行处理是有利的。此外,上述实施方式描述的各种***组件的分离不应该被理解为在所有实施方式中都需要这种分离,需要理解,所描述的程序组件和***通常可以一起集成在单个软件产品中或者封装到多个软件产品中。另外,其它实施方式在以下权利要求的范围内。在一些情况下,权利要求中列出的动作可以以不同的顺序执行,并且仍能实现所需的结果。
Claims (5)
1.一种用于在用户的三维(3D)物理环境中生成虚拟内容的方法,所述方法包括:
在硬件处理器的控制下:
分析从姿势传感器获取的数据以识别用户的姿势;
至少部分地基于所述姿势识别所述用户的3D物理环境中的物理表面;
接收用于启动与所述物理表面进行交互的指示;
确定与所述物理表面相关联的环境信息;
基于所述环境信息访问与所述物理表面相关联的可用用户界面选项集;
从所述可用用户界面选项集确定能够清楚地放置在与所述物理表面相关联的虚拟用户界面中的多个用户界面选项;
基于能够清楚地放置在所述虚拟用户界面中的所述多个用户界面选项,从与所述物理表面相关联的可用用户界面操作集中基于所述环境信息选择用户界面操作子集;
生成用于在3D视图中向所述用户呈现包括能够清楚地放置在所述虚拟用户界面中的所述用户界面操作子集的所述虚拟用户界面的指令。
2.根据权利要求1所述的方法,其中,所述环境信息包括以下一项或多项:所述用户的环境的功能,所述用户的环境中的对象,对象以及对象与所述环境的关系,或者与所述用户的环境相关联的信息。
3.根据权利要求1所述的方法,其中,所述虚拟用户界面包括虚拟菜单。
4.一种用于在用户的三维(3D)物理环境中生成虚拟内容的方法,所述方法包括:
在硬件处理器的控制下:
分析从姿势传感器获取的数据以识别用户的姿势;
至少部分地基于所述姿势识别所述用户的3D物理环境中的物理表面;
接收用于启动与所述物理表面进行交互的指示;
确定与所述物理表面相关联的对象信息;
基于所述对象信息访问与所述物理表面相关联的可用用户界面选项集;
从所述可用用户界面选项集确定能够清楚地放置在与所述物理表面相关联的虚拟用户界面中的多个用户界面选项;
基于能够清楚地放置在所述虚拟用户界面中的所述多个用户界面选项,从与所述物理表面相关联的可用用户界面操作集中基于所述对象信息选择用户界面操作子集;
生成用于在3D视图中向所述用户呈现包括能够清楚地放置在所述虚拟用户界面中的所述用户界面操作子集的所述虚拟用户界面的指令。
5.根据权利要求4所述的方法,其中,所述对象信息包括如下一项或多项:物理对象的形状,所述物理对象的功能,对象的类型,与所述用户的环境中的对象相关联的信息,或所述物理对象的可供性。
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662339572P | 2016-05-20 | 2016-05-20 | |
US62/339,572 | 2016-05-20 | ||
US201662380869P | 2016-08-29 | 2016-08-29 | |
US62/380,869 | 2016-08-29 | ||
CN201780044955.9A CN109496331B (zh) | 2016-05-20 | 2017-05-18 | 用户界面菜单的情景感知 |
PCT/US2017/033399 WO2017201329A1 (en) | 2016-05-20 | 2017-05-18 | Contextual awareness of user interface menus |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780044955.9A Division CN109496331B (zh) | 2016-05-20 | 2017-05-18 | 用户界面菜单的情景感知 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115185366A true CN115185366A (zh) | 2022-10-14 |
Family
ID=60326188
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210629940.1A Pending CN115185366A (zh) | 2016-05-20 | 2017-05-18 | 用户界面菜单的情景感知 |
CN201780044955.9A Active CN109496331B (zh) | 2016-05-20 | 2017-05-18 | 用户界面菜单的情景感知 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780044955.9A Active CN109496331B (zh) | 2016-05-20 | 2017-05-18 | 用户界面菜单的情景感知 |
Country Status (9)
Country | Link |
---|---|
US (2) | US11328484B2 (zh) |
EP (2) | EP3459071B1 (zh) |
JP (4) | JP6880075B2 (zh) |
KR (3) | KR102407111B1 (zh) |
CN (2) | CN115185366A (zh) |
AU (1) | AU2017266933B2 (zh) |
CA (1) | CA3024689A1 (zh) |
IL (2) | IL290933B2 (zh) |
WO (1) | WO2017201329A1 (zh) |
Families Citing this family (64)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105094345B (zh) * | 2015-09-29 | 2018-07-27 | 腾讯科技(深圳)有限公司 | 一种信息处理方法、终端及计算机存储介质 |
US10521009B2 (en) * | 2016-05-17 | 2019-12-31 | Samsung Electronics Co., Ltd. | Method and apparatus for facilitating interaction with virtual reality equipment |
KR102407111B1 (ko) | 2016-05-20 | 2022-06-08 | 매직 립, 인코포레이티드 | 사용자 인터페이스 메뉴의 콘텍추얼 인식 |
US10335045B2 (en) | 2016-06-24 | 2019-07-02 | Universita Degli Studi Di Trento | Self-adaptive matrix completion for heart rate estimation from face videos under realistic conditions |
US9983684B2 (en) * | 2016-11-02 | 2018-05-29 | Microsoft Technology Licensing, Llc | Virtual affordance display at virtual target |
US10474336B2 (en) * | 2016-12-20 | 2019-11-12 | Adobe Inc. | Providing a user experience with virtual reality content and user-selected, real world objects |
US10290152B2 (en) * | 2017-04-03 | 2019-05-14 | Microsoft Technology Licensing, Llc | Virtual object user interface display |
US10325409B2 (en) * | 2017-06-16 | 2019-06-18 | Microsoft Technology Licensing, Llc | Object holographic augmentation |
US10191566B1 (en) * | 2017-07-05 | 2019-01-29 | Sony Interactive Entertainment Inc. | Interactive input controls in a simulated three-dimensional (3D) environment |
CN107803028B (zh) * | 2017-09-30 | 2019-03-08 | 网易(杭州)网络有限公司 | 信息处理方法、装置、电子设备及存储介质 |
US10732826B2 (en) * | 2017-11-22 | 2020-08-04 | Microsoft Technology Licensing, Llc | Dynamic device interaction adaptation based on user engagement |
JP2019121401A (ja) * | 2018-01-04 | 2019-07-22 | ハーマン インターナショナル インダストリーズ インコーポレイテッド | バイオメトリックの個人化オーディオ処理システム |
US20190212828A1 (en) * | 2018-01-10 | 2019-07-11 | Facebook Technologies, Llc | Object enhancement in artificial reality via a near eye display interface |
KR102111531B1 (ko) * | 2018-03-06 | 2020-05-15 | 서울대학교병원 | Vr 또는 ar을 기반으로 하는 병원에서의 진료 체험 제공 시스템 |
US11816886B1 (en) * | 2018-06-28 | 2023-11-14 | Meta Platforms Technologies, Llc | Apparatus, system, and method for machine perception |
US10679418B2 (en) * | 2018-09-13 | 2020-06-09 | International Business Machines Corporation | Augmentation of item dimensions based on derived storage locations for online and physical shopping |
US11068145B2 (en) * | 2018-11-15 | 2021-07-20 | Disney Enterprises, Inc. | Techniques for creative review of 3D content in a production environment |
US11615549B2 (en) * | 2018-12-06 | 2023-03-28 | Htc Corporation | Image processing system and image processing method |
EP3671410B1 (en) * | 2018-12-19 | 2022-08-24 | Siemens Healthcare GmbH | Method and device to control a virtual reality display unit |
WO2020210407A1 (en) * | 2019-04-08 | 2020-10-15 | Dubnov Tammuz | System and layering method for fast input-driven composition and live-generation of mixed digital content |
US11804014B1 (en) | 2019-04-22 | 2023-10-31 | Apple Inc. | Context-based application placement |
CN110109547A (zh) * | 2019-05-05 | 2019-08-09 | 芋头科技(杭州)有限公司 | 基于手势识别的命令激活方法和*** |
EP3956748B1 (en) * | 2019-06-14 | 2024-06-05 | Hewlett-Packard Development Company, L.P. | Headset signals to determine emotional states |
JP2020202971A (ja) * | 2019-06-17 | 2020-12-24 | Impute株式会社 | ストレス抑制システム |
US11611608B1 (en) | 2019-07-19 | 2023-03-21 | Snap Inc. | On-demand camera sharing over a network |
US11462000B2 (en) * | 2019-08-26 | 2022-10-04 | Apple Inc. | Image-based detection of surfaces that provide specular reflections and reflection modification |
US10991163B2 (en) * | 2019-09-20 | 2021-04-27 | Facebook Technologies, Llc | Projection casting in virtual environments |
US11189099B2 (en) | 2019-09-20 | 2021-11-30 | Facebook Technologies, Llc | Global and local mode virtual object interactions |
WO2021061349A1 (en) | 2019-09-27 | 2021-04-01 | Apple Inc. | Controlling representations of virtual objects in a computer-generated reality environment |
CN110716646A (zh) * | 2019-10-15 | 2020-01-21 | 北京市商汤科技开发有限公司 | 一种增强现实数据呈现方法、装置、设备及存储介质 |
CN110738737A (zh) * | 2019-10-15 | 2020-01-31 | 北京市商汤科技开发有限公司 | 一种ar场景图像处理方法、装置、电子设备及存储介质 |
JP7150894B2 (ja) | 2019-10-15 | 2022-10-11 | ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド | Arシーン画像処理方法及び装置、電子機器並びに記憶媒体 |
US11557096B2 (en) * | 2019-12-09 | 2023-01-17 | At&T Intellectual Property I, L.P. | Cognitive stimulation in vehicles |
US11687778B2 (en) | 2020-01-06 | 2023-06-27 | The Research Foundation For The State University Of New York | Fakecatcher: detection of synthetic portrait videos using biological signals |
WO2021154437A1 (en) * | 2020-01-27 | 2021-08-05 | Magic Leap, Inc. | Gaze timer based augmentation of functionality of a user input device |
US11354026B1 (en) * | 2020-01-28 | 2022-06-07 | Apple Inc. | Method and device for assigning an operation set |
WO2021162769A1 (en) | 2020-02-10 | 2021-08-19 | Magic Leap, Inc. | Body-centric content positioning relative to three-dimensional container in a mixed reality environment |
US10783800B1 (en) | 2020-02-26 | 2020-09-22 | University Of Central Florida Research Foundation, Inc. | Sensor-based complexity modulation for therapeutic computer-simulations |
SE546185C2 (en) * | 2020-03-20 | 2024-06-25 | Deep Forestry Ab | A method, system and computer program product for generating labelled 3d data representations of real world objects |
US11954249B1 (en) * | 2020-06-26 | 2024-04-09 | Apple Inc. | Head-mounted systems with sensor for eye monitoring |
WO2022015857A1 (en) * | 2020-07-14 | 2022-01-20 | Sterling Labs Llc | Generating suggested content for workspaces |
EP4211887A1 (en) * | 2020-09-09 | 2023-07-19 | Snap Inc. | Augmented reality messenger system |
US11880946B2 (en) | 2020-09-16 | 2024-01-23 | Snap Inc. | Context triggered augmented reality |
US20220101002A1 (en) * | 2020-09-30 | 2022-03-31 | Kyndryl, Inc. | Real-world object inclusion in a virtual reality experience |
KR102393903B1 (ko) * | 2020-11-09 | 2022-05-04 | 주식회사 나루스튜디오 | Ar 전자 현미경 제공 단말, 방법 및 프로그램 |
US11610363B2 (en) * | 2020-12-31 | 2023-03-21 | Oberon Technologies, Inc. | Systems and methods for virtual reality environments |
KR20220101837A (ko) * | 2021-01-12 | 2022-07-19 | 한국전자통신연구원 | 개인 맞춤형 인터페이스 적용 장치 및 방법 |
EP4314998A1 (en) * | 2021-03-31 | 2024-02-07 | Apple Inc. | Stress detection |
US11861315B2 (en) * | 2021-04-21 | 2024-01-02 | Meta Platforms, Inc. | Continuous learning for natural-language understanding models for assistant systems |
US11944905B2 (en) | 2021-09-28 | 2024-04-02 | Sony Group Corporation | Method to regulate jumps and falls by playable characters in XR spaces |
US11612817B1 (en) | 2021-09-28 | 2023-03-28 | Sony Group Corporation | Method for predefining activity zones in an extended reality (XR) environment |
US11596866B1 (en) | 2021-09-28 | 2023-03-07 | Sony Group Corporation | Method to use recognition of nearby physical surfaces to generate NPC reactions to events |
US11890534B2 (en) | 2021-09-28 | 2024-02-06 | Sony Group Corporation | Method for predefining a virtual entryway at a virtual boundary of an XR space |
US11617949B1 (en) | 2021-09-28 | 2023-04-04 | Sony Group Corporation | Methods for predefining virtual staircases connecting platforms in extended reality (XR) environments |
US11684848B2 (en) | 2021-09-28 | 2023-06-27 | Sony Group Corporation | Method to improve user understanding of XR spaces based in part on mesh analysis of physical surfaces |
US11960652B2 (en) * | 2021-10-12 | 2024-04-16 | Qualcomm Incorporated | User interactions with remote devices |
WO2023091355A1 (en) * | 2021-11-19 | 2023-05-25 | Apple Inc. | Scene information access for electronic device applications |
US11908356B2 (en) * | 2021-12-15 | 2024-02-20 | Motorola Mobility Llc | Augmented reality display device having contextual adaptive brightness |
WO2023203923A1 (ja) * | 2022-04-22 | 2023-10-26 | ソニーグループ株式会社 | 頭部装着型情報処理装置、情報処理方法、記憶媒体 |
US20230410159A1 (en) * | 2022-06-15 | 2023-12-21 | At&T Intellectual Property I, L.P. | Method and system for personalizing metaverse object recommendations or reviews |
WO2024034825A1 (ko) * | 2022-08-08 | 2024-02-15 | 삼성전자주식회사 | Ar 장치에게 표시하도록 명령할 컨텐츠를 결정하기 위한 방법 및 장치 |
US11991222B1 (en) | 2023-05-02 | 2024-05-21 | Meta Platforms Technologies, Llc | Persistent call control user interface element in an artificial reality environment |
CN117289791A (zh) * | 2023-08-22 | 2023-12-26 | 杭州空介视觉科技有限公司 | 元宇宙人工智能虚拟装备数据生成方法 |
CN117369649B (zh) * | 2023-12-05 | 2024-03-26 | 山东大学 | 基于本体感觉的虚拟现实交互***及方法 |
Family Cites Families (94)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5985116U (ja) | 1982-12-01 | 1984-06-08 | 株式会社資生堂 | 化粧用塗布具 |
JPH04372012A (ja) | 1991-06-20 | 1992-12-25 | Fuji Xerox Co Ltd | 入力装置 |
US6222525B1 (en) | 1992-03-05 | 2001-04-24 | Brad A. Armstrong | Image controllers with sheet connected sensors |
JP3310086B2 (ja) | 1993-03-31 | 2002-07-29 | 株式会社東芝 | 作業環境評価装置及び作業環境評価方法 |
US5590268A (en) | 1993-03-31 | 1996-12-31 | Kabushiki Kaisha Toshiba | System and method for evaluating a workspace represented by a three-dimensional model |
US5670988A (en) | 1995-09-05 | 1997-09-23 | Interlink Electronics, Inc. | Trigger operated electronic device |
JP3822357B2 (ja) | 1998-02-09 | 2006-09-20 | 株式会社東芝 | マルチモーダル入出力装置のインタフェース装置及びその方法 |
US6396509B1 (en) | 1998-02-21 | 2002-05-28 | Koninklijke Philips Electronics N.V. | Attention-based interaction in a virtual environment |
US6771294B1 (en) * | 1999-12-29 | 2004-08-03 | Petri Pulli | User interface |
US7215322B2 (en) * | 2001-05-31 | 2007-05-08 | Siemens Corporate Research, Inc. | Input devices for augmented reality applications |
CN1547131A (zh) * | 2003-12-03 | 2004-11-17 | 谭日辉 | 一种虚拟现实交互式控制*** |
KR20050087377A (ko) * | 2004-02-26 | 2005-08-31 | 삼성전자주식회사 | 이동 단말기의 인체 건강 지표 측정에 따른 홈 네트워크시스템에서의 주거 분위기 자동 조성 방법 |
US7561717B2 (en) | 2004-07-09 | 2009-07-14 | United Parcel Service Of America, Inc. | System and method for displaying item information |
US7403220B2 (en) * | 2004-08-23 | 2008-07-22 | Gamecaster, Inc. | Apparatus, methods, and systems for viewing and manipulating a virtual environment |
JP4500632B2 (ja) * | 2004-09-07 | 2010-07-14 | キヤノン株式会社 | 仮想現実感提示装置および情報処理方法 |
JP4574323B2 (ja) | 2004-10-26 | 2010-11-04 | キヤノン株式会社 | 画像処理方法、画像処理装置 |
US7564476B1 (en) | 2005-05-13 | 2009-07-21 | Avaya Inc. | Prevent video calls based on appearance |
US11428937B2 (en) | 2005-10-07 | 2022-08-30 | Percept Technologies | Enhanced optical and perceptual digital eyewear |
US8696113B2 (en) | 2005-10-07 | 2014-04-15 | Percept Technologies Inc. | Enhanced optical and perceptual digital eyewear |
US20070081123A1 (en) | 2005-10-07 | 2007-04-12 | Lewis Scott W | Digital eyewear |
JP5305561B2 (ja) | 2006-02-22 | 2013-10-02 | 任天堂株式会社 | ゲームプログラムおよびゲーム装置 |
JP4989383B2 (ja) | 2007-09-10 | 2012-08-01 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
JP5258399B2 (ja) * | 2008-06-06 | 2013-08-07 | キヤノン株式会社 | 画像投影装置及びその制御方法 |
US20100177117A1 (en) | 2009-01-14 | 2010-07-15 | International Business Machines Corporation | Contextual templates for modifying objects in a virtual universe |
EP2333651B1 (en) | 2009-12-11 | 2016-07-20 | Dassault Systèmes | Method and system for duplicating an object using a touch-sensitive display |
KR101114750B1 (ko) | 2010-01-29 | 2012-03-05 | 주식회사 팬택 | 다차원 영상을 이용한 사용자 인터페이스 장치 |
JP5786854B2 (ja) * | 2010-03-15 | 2015-09-30 | 日本電気株式会社 | 入力装置、入力方法及びプログラム |
US20120005624A1 (en) * | 2010-07-02 | 2012-01-05 | Vesely Michael A | User Interface Elements for Use within a Three Dimensional Scene |
US9304319B2 (en) | 2010-11-18 | 2016-04-05 | Microsoft Technology Licensing, Llc | Automatic focus improvement for augmented reality displays |
US10156722B2 (en) | 2010-12-24 | 2018-12-18 | Magic Leap, Inc. | Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality |
KR101890328B1 (ko) | 2010-12-24 | 2018-08-21 | 매직 립, 인코포레이티드 | 인체공학적 머리 장착식 디스플레이 장치 및 광학 시스템 |
US9217867B2 (en) * | 2011-03-24 | 2015-12-22 | Seiko Epson Corporation | Head-mounted display device and control method for the head-mounted display device |
EP3654146A1 (en) | 2011-03-29 | 2020-05-20 | QUALCOMM Incorporated | Anchoring virtual images to real world surfaces in augmented reality systems |
CN102193631A (zh) * | 2011-05-05 | 2011-09-21 | 上海大学 | 可穿戴式三维手势交互***及其使用方法 |
EP3462286A1 (en) | 2011-05-06 | 2019-04-03 | Magic Leap, Inc. | Massive simultaneous remote digital presence world |
USD658094S1 (en) | 2011-06-18 | 2012-04-24 | Dunn Scott E | Rounded square display device for a cord |
US9417754B2 (en) | 2011-08-05 | 2016-08-16 | P4tents1, LLC | User interface system, method, and computer program product |
WO2013028813A1 (en) * | 2011-08-23 | 2013-02-28 | Microsoft Corporation | Implicit sharing and privacy control through physical behaviors using sensor-rich devices |
WO2013049861A1 (en) | 2011-09-29 | 2013-04-04 | Magic Leap, Inc. | Tactile glove for human-computer interaction |
US20130104085A1 (en) | 2011-10-21 | 2013-04-25 | Digital Artforms, Inc. | Systems and methods for human-computer interaction using a two handed interface |
CA3164530C (en) | 2011-10-28 | 2023-09-19 | Magic Leap, Inc. | System and method for augmented and virtual reality |
US20130125066A1 (en) | 2011-11-14 | 2013-05-16 | Microsoft Corporation | Adaptive Area Cursor |
JP6250547B2 (ja) | 2011-11-23 | 2017-12-20 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | 3次元仮想現実および拡張現実表示システム |
JP2013152711A (ja) * | 2011-12-28 | 2013-08-08 | Nikon Corp | 投影装置及び表示装置 |
CA3111134A1 (en) | 2012-04-05 | 2013-10-10 | Magic Leap, Inc. | Wide-field of view (fov) imaging devices with active foveation capability |
CN107817555A (zh) | 2012-06-11 | 2018-03-20 | 奇跃公司 | 使用波导反射器阵列投射器的多深度平面三维显示器 |
US9671566B2 (en) * | 2012-06-11 | 2017-06-06 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
US8754829B2 (en) | 2012-08-04 | 2014-06-17 | Paul Lapstun | Scanning light field camera and display |
US9530232B2 (en) * | 2012-09-04 | 2016-12-27 | Qualcomm Incorporated | Augmented reality surface segmentation |
WO2014043196A1 (en) | 2012-09-11 | 2014-03-20 | Magic Leap, Inc | Ergonomic head mounted display device and optical system |
US10503359B2 (en) | 2012-11-15 | 2019-12-10 | Quantum Interface, Llc | Selection attractive interfaces, systems and apparatuses including such interfaces, methods for making and using same |
US20140160157A1 (en) | 2012-12-11 | 2014-06-12 | Adam G. Poulos | People-triggered holographic reminders |
US9317972B2 (en) * | 2012-12-18 | 2016-04-19 | Qualcomm Incorporated | User interface for augmented reality enabled devices |
KR101800617B1 (ko) | 2013-01-02 | 2017-12-20 | 삼성전자주식회사 | 디스플레이 장치 및 이의 화상 통화 방법 |
JP2014134922A (ja) | 2013-01-09 | 2014-07-24 | Sony Corp | 情報処理装置、情報処理方法およびプログラム |
IL293789B2 (en) | 2013-01-15 | 2023-08-01 | Magic Leap Inc | A system for scanning electromagnetic imaging radiation |
GB2511096A (en) | 2013-02-22 | 2014-08-27 | Fox Murphy Ltd | A Mobile Indoor Navigation System |
US20140258942A1 (en) | 2013-03-05 | 2014-09-11 | Intel Corporation | Interaction of multiple perceptual sensing inputs |
JP5962547B2 (ja) * | 2013-03-08 | 2016-08-03 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
IL308285B1 (en) | 2013-03-11 | 2024-07-01 | Magic Leap Inc | System and method for augmentation and virtual reality |
CA3160567A1 (en) | 2013-03-15 | 2014-09-18 | Magic Leap, Inc. | Display system and method |
US9245388B2 (en) * | 2013-05-13 | 2016-01-26 | Microsoft Technology Licensing, Llc | Interactions of virtual objects with surfaces |
US9383819B2 (en) * | 2013-06-03 | 2016-07-05 | Daqri, Llc | Manipulation of virtual object in augmented reality via intent |
US10262462B2 (en) | 2014-04-18 | 2019-04-16 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
US9874749B2 (en) | 2013-11-27 | 2018-01-23 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
US9129430B2 (en) | 2013-06-25 | 2015-09-08 | Microsoft Technology Licensing, Llc | Indicating out-of-view augmented reality images |
KR20150037254A (ko) | 2013-09-30 | 2015-04-08 | 엘지전자 주식회사 | 착용형 디스플레이 디바이스 및 레이어 제어 방법 |
WO2015051047A1 (en) | 2013-10-01 | 2015-04-09 | Quantum Interface, Llc. | Selection attractive interfaces, systems and apparatuses including such interfaces, methods for making and using same |
CA2927818C (en) | 2013-10-16 | 2021-11-30 | Magic Leap, Inc. | Virtual or augmented reality headsets having adjustable interpupillary distance |
US9857591B2 (en) | 2014-05-30 | 2018-01-02 | Magic Leap, Inc. | Methods and system for creating focal planes in virtual and augmented reality |
IL305162A (en) | 2013-11-27 | 2023-10-01 | Magic Leap Inc | Virtual and augmented reality systems and methods |
CN103713737B (zh) * | 2013-12-12 | 2017-01-11 | 中国科学院深圳先进技术研究院 | 用于智能眼镜的虚拟键盘*** |
US20150187357A1 (en) * | 2013-12-30 | 2015-07-02 | Samsung Electronics Co., Ltd. | Natural input based virtual ui system for mobile devices |
US9244539B2 (en) * | 2014-01-07 | 2016-01-26 | Microsoft Technology Licensing, Llc | Target positioning with gaze tracking |
US9836122B2 (en) * | 2014-01-21 | 2017-12-05 | Osterhout Group, Inc. | Eye glint imaging in see-through computer display systems |
WO2015117043A1 (en) | 2014-01-31 | 2015-08-06 | Magic Leap, Inc. | Multi-focal display system and method |
KR102207799B1 (ko) | 2014-01-31 | 2021-01-26 | 매직 립, 인코포레이티드 | 멀티-포컬 디스플레이 시스템 및 방법 |
US20150231509A1 (en) | 2014-02-17 | 2015-08-20 | Xaviant, LLC (a GA Limited Liability Company) | System, Method, and Apparatus for Smart Targeting |
US10203762B2 (en) | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
KR20150110257A (ko) * | 2014-03-21 | 2015-10-02 | 삼성전자주식회사 | 웨어러블 디바이스에서 가상의 입력 인터페이스를 제공하는 방법 및 이를 위한 웨어러블 디바이스 |
WO2015161307A1 (en) | 2014-04-18 | 2015-10-22 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
EP3140780B1 (en) | 2014-05-09 | 2020-11-04 | Google LLC | Systems and methods for discerning eye signals and continuous biometric identification |
KR102193052B1 (ko) | 2014-05-30 | 2020-12-18 | 매직 립, 인코포레이티드 | 가상 또는 증강 현실 장치로 가상 콘텐츠 디스플레이를 생성하기 위한 방법들 및 시스템들 |
JP6320220B2 (ja) * | 2014-07-29 | 2018-05-09 | みこらった株式会社 | 電子機器、電子機器の表示画面の表示制御方法及びプログラム |
CN106922190B (zh) * | 2014-08-15 | 2020-09-18 | 不列颠哥伦比亚大学 | 用于执行医疗手术并且用于访问和/或操纵医学相关信息的方法和*** |
KR102029756B1 (ko) | 2014-11-03 | 2019-10-08 | 삼성전자주식회사 | 웨어러블 디바이스 및 그 제어 방법 |
US9746921B2 (en) * | 2014-12-31 | 2017-08-29 | Sony Interactive Entertainment Inc. | Signal generation and detector systems and methods for determining positions of fingers of a user |
US9576190B2 (en) | 2015-03-18 | 2017-02-21 | Snap Inc. | Emotion recognition in video conferencing |
USD758367S1 (en) | 2015-05-14 | 2016-06-07 | Magic Leap, Inc. | Virtual reality headset |
WO2016203792A1 (ja) | 2015-06-15 | 2016-12-22 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
US9824499B2 (en) * | 2015-06-23 | 2017-11-21 | Microsoft Technology Licensing, Llc | Mixed-reality image capture |
EP3118722B1 (en) | 2015-07-14 | 2020-07-01 | Nokia Technologies Oy | Mediated reality |
KR102407111B1 (ko) | 2016-05-20 | 2022-06-08 | 매직 립, 인코포레이티드 | 사용자 인터페이스 메뉴의 콘텍추얼 인식 |
KR102417968B1 (ko) | 2017-09-29 | 2022-07-06 | 애플 인크. | 시선-기반 사용자 상호작용 |
-
2017
- 2017-05-18 KR KR1020187036979A patent/KR102407111B1/ko active IP Right Grant
- 2017-05-18 US US15/599,162 patent/US11328484B2/en active Active
- 2017-05-18 KR KR1020237025009A patent/KR20230113663A/ko not_active Application Discontinuation
- 2017-05-18 KR KR1020227018789A patent/KR102560558B1/ko active IP Right Grant
- 2017-05-18 AU AU2017266933A patent/AU2017266933B2/en not_active Expired - Fee Related
- 2017-05-18 EP EP17800195.4A patent/EP3459071B1/en active Active
- 2017-05-18 CN CN202210629940.1A patent/CN115185366A/zh active Pending
- 2017-05-18 WO PCT/US2017/033399 patent/WO2017201329A1/en unknown
- 2017-05-18 EP EP22171762.2A patent/EP4060462A1/en active Pending
- 2017-05-18 CA CA3024689A patent/CA3024689A1/en active Pending
- 2017-05-18 CN CN201780044955.9A patent/CN109496331B/zh active Active
- 2017-05-18 IL IL290933A patent/IL290933B2/en unknown
- 2017-05-18 JP JP2018560645A patent/JP6880075B2/ja active Active
-
2018
- 2018-11-13 IL IL262987A patent/IL262987B/en unknown
-
2020
- 2020-06-18 JP JP2020105691A patent/JP7168612B2/ja active Active
-
2021
- 2021-07-20 JP JP2021119483A patent/JP2021170384A/ja active Pending
-
2022
- 2022-04-06 US US17/714,496 patent/US12014464B2/en active Active
-
2023
- 2023-11-29 JP JP2023201574A patent/JP2024009318A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
EP3459071A1 (en) | 2019-03-27 |
AU2017266933B2 (en) | 2023-01-12 |
KR20190008941A (ko) | 2019-01-25 |
IL262987B (en) | 2022-04-01 |
KR102407111B1 (ko) | 2022-06-08 |
US20170337742A1 (en) | 2017-11-23 |
IL290933A (en) | 2022-04-01 |
EP3459071B1 (en) | 2022-05-11 |
US20220230404A1 (en) | 2022-07-21 |
JP6880075B2 (ja) | 2021-06-02 |
CN109496331B (zh) | 2022-06-21 |
EP3459071A4 (en) | 2020-02-26 |
IL262987A (en) | 2018-12-31 |
EP4060462A1 (en) | 2022-09-21 |
AU2017266933A1 (en) | 2018-12-06 |
US12014464B2 (en) | 2024-06-18 |
IL290933B1 (en) | 2023-06-01 |
US11328484B2 (en) | 2022-05-10 |
JP2020161177A (ja) | 2020-10-01 |
WO2017201329A1 (en) | 2017-11-23 |
IL290933B2 (en) | 2023-10-01 |
KR20220080030A (ko) | 2022-06-14 |
JP7168612B2 (ja) | 2022-11-09 |
KR102560558B1 (ko) | 2023-07-27 |
JP2024009318A (ja) | 2024-01-19 |
CA3024689A1 (en) | 2017-11-23 |
KR20230113663A (ko) | 2023-07-31 |
JP2021170384A (ja) | 2021-10-28 |
JP2019517072A (ja) | 2019-06-20 |
CN109496331A (zh) | 2019-03-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109496331B (zh) | 用户界面菜单的情景感知 | |
US11568643B2 (en) | Automatic control of wearable display device based on external conditions | |
US10838484B2 (en) | Visual aura around field of view | |
CN112424727A (zh) | 用于可穿戴***的跨模态输入融合 | |
CN109844854A (zh) | 单词流注释 | |
CN110023814A (zh) | 由可穿戴设备进行面部模型捕获 | |
NZ794186A (en) | Automatic control of wearable display device based on external conditions |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |