CN109661687B - 固定距离虚拟和增强现实***及方法 - Google Patents
固定距离虚拟和增强现实***及方法 Download PDFInfo
- Publication number
- CN109661687B CN109661687B CN201780054387.0A CN201780054387A CN109661687B CN 109661687 B CN109661687 B CN 109661687B CN 201780054387 A CN201780054387 A CN 201780054387A CN 109661687 B CN109661687 B CN 109661687B
- Authority
- CN
- China
- Prior art keywords
- user
- value
- fixed distance
- head
- pose
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 78
- 230000003190 augmentative effect Effects 0.000 title description 21
- 230000003287 optical effect Effects 0.000 claims abstract description 100
- 238000005259 measurement Methods 0.000 claims abstract description 28
- 238000005206 flow analysis Methods 0.000 claims abstract description 18
- 210000003128 head Anatomy 0.000 claims description 76
- 230000001902 propagating effect Effects 0.000 claims description 7
- 210000004705 lumbosacral region Anatomy 0.000 claims 1
- 238000009877 rendering Methods 0.000 description 15
- 238000012545 processing Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 9
- 230000000007 visual effect Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 230000004308 accommodation Effects 0.000 description 6
- 210000001747 pupil Anatomy 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 206010019233 Headaches Diseases 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 210000000613 ear canal Anatomy 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 231100000869 headache Toxicity 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000007493 shaping process Methods 0.000 description 2
- 206010028813 Nausea Diseases 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000008693 nausea Effects 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000004470 vergence movement Effects 0.000 description 1
- 210000000857 visual cortex Anatomy 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
- G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
- G01P15/02—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration by making use of inertia forces using solid seismic masses
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
- G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
- G02B30/30—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving parallax barriers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/08—Payment architectures
- G06Q20/085—Payment architectures involving remote charge determination or related payment systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/08—Payment architectures
- G06Q20/20—Point-of-sale [POS] network systems
- G06Q20/204—Point-of-sale [POS] network systems comprising interface for record bearing medium or carrier for electronic funds transfer or payment credit
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/08—Insurance
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
- G02B2027/0125—Field-of-view increase by wavefront division
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
- G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0181—Adaptation to the pilot/driver
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0185—Displaying image at variable distance
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- Finance (AREA)
- General Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Development Economics (AREA)
- Technology Law (AREA)
- Marketing (AREA)
- Processing Or Creating Images (AREA)
- Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
- Position Input By Displaying (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
一种固定距离显示***包括光源,该光源被配置为生成光束。该***还包括光导光学元件,该光导光学元件被配置为通过全内反射传播光束的至少一部分。该***进一步包括第一惯性测量单元,该第一惯性测量单元被配置为测量用于计算用户的头部姿势的第一值。另外,该***包括相机,该相机被配置为捕获用于机器视觉光流分析的图像。该显示***被配置为仅在单个预定光学平面的容差范围内显示虚拟图像。
Description
相关申请的交叉引用
本申请主张2016年8月2日提交的代理案卷号为ML.30040.00的,名称为“FIXED-DISTANCE VIRTUAL AND AUGMENTED REALITY SYSTEMS AND METHODS(固定距离虚拟和增强现实***及方法)”的美国临时申请62/370,117的优先权益。本申请涉及2016年2月29日提交的代理案卷号为ML.30059.00的,名称为“VIRTUAL AND AUGMENTED REALISTY SYSTEMSAND METHODS(虚拟和增强现实***及方法)”的共同拥有的美国临时申请62/301,502,以及2016年5月4日提交的代卷理案号为ML.20058.00的,名称为“SEPARATED PUPIL OPTICALSYSTEMS FOR VIRTUAL AND AUGMENTED REALITY AND METHODS FOR DISPLAYING IMAGESUSING SAME(用于虚拟和增强现实的分离式瞳孔光学***以及使用该***显示图像的方法)”的共同拥有的美国专利申请公开15/146,296。上述专利申请的全部内容就像完整阐述的一样在此明确、完整地引用作为参考。
背景技术
现代计算和显示技术促进了虚拟现实(“VR”)、增强现实(“AR”)和混合现实(“MR”)***的发展,其中,数字再现的图像或其部分以他们看起来是真实的或可被感知为真实的方式呈现给用户。虚拟现实“VR”场景通常涉及以对其它实际的真实世界视觉输入不透明的方式呈现数字或虚拟图像信息;增强现实“AR”场景通常涉及将数字或虚拟图像信息的呈现作为对用户周围的现实世界的可视化的增强。混合现实“MR”***还将仿真对象引入真实世界环境中,但是这些对象通常在AR***中以具有更高交互等级为特征。仿真元素通常可以实时交互。因此,AR和MR场景涉及以对其它实际的真实世界视觉输入至少部分透明的方式呈现数字或虚拟图像信息。人类视觉感知***极为复杂,产生促进以舒适、感觉自然、丰富的方式将虚拟图像元素在其它虚拟或真实世界图像元素当中进行呈现的VR/AR/MR技术是具有挑战性的。
大脑的视觉中心从双眼及其组件相对于彼此的运动中获得有价值的感知信息。两只眼睛相对于彼此的聚散度运动(即,瞳孔朝向或远离彼此的转动运动以使眼睛的视线会聚以固定在不同距离处的对象上)与眼睛晶状体的聚焦(或“调节”)密切相关。在正常情况下,根据被称为“调节-聚散度反射”的关系,改变眼睛晶状体的焦点或调节眼睛以聚焦在不同距离处的对象上将自动引起到同一距离的聚散度匹配变化。同样,在正常情况下,聚散度的变化将引发调节的匹配变化。与大多数常规的立体VR/AR/MR配置一样,违反这种反射起作用已知会引起用户的眼疲劳、头痛或其它形式的不适。
立体可穿戴眼镜通常以用于左眼和右眼的两个显示器为特征,这些显示器被配置为显示具有略微不同的元素呈现的图像,使得人类视觉***感知到三维透视。已经发现这样的配置对于许多用户来说是不舒服的,因为聚散度与调节之间的不匹配(“聚散度-调节冲突”),必须克服这种情况以便感知三维中的图像。实际上,一些用户无法忍受立体配置。这些限制适用于VR/AR/MR***。因此,大多数常规的VR/AR/MR***并不最适合于以对用户来说舒适且最适用的方式呈现丰富的双目三维体验,部分原因是现有***未能解决人类感知***的一些基本方面,包括聚散度-调节冲突。
全VR/AR/MR***还必须能够在相对于用户的各种感知位置和距离处显示虚拟数字内容。VR/AR/MR***的设计也带来了许多其它挑战,包括***传送虚拟数字内容的速度、虚拟数字内容的质量、用户的良视距(eye relief)(解决聚散度-调节冲突)、***的尺寸和便携性,以及其它***和光学挑战。
解决这些问题(包括聚散度-调节冲突)的一种可能方法是在多个深度平面上投射图像。为了实现这种类型的***,一种方法是使用大量光学元件(例如,光源、棱镜、光栅、滤波器、扫描光学元件、分束器、反射镜、半反射镜、遮光器、目镜等)以在足够大量(例如,六个)的深度平面处投射图像。这种方法的问题在于以这种方式使用大量组件必然需要比所需更大的形状因子,并且限制了可缩小***尺寸的程度。这些***中的大量光学元件也导致更长的光路,通过更长的光路会使光和光中包含的信息退化。这些设计问题导致***笨重且耗电。这里描述的***和方法被配置为通过呈现固定距离混合现实光学***来解决这些挑战。
发明内容
在一个实施例中,一种固定距离显示***包括光源,该光源被配置为生成光束。该***还包括光导光学元件,其被配置为通过全内反射传播光束的至少一部分。该***进一步包括第一惯性测量单元,该第一惯性测量单元被配置为测量用于计算用户的头部姿势的第一值。此外,该***包括相机,该相机被配置为捕获用于机器视觉光流分析的图像。该显示***被配置为仅在单个预定光学平面的容差范围内显示虚拟图像。
在一个或多个实施例中,第一惯性测量单元可以被设置为邻近用户的头部。该***还可以包括第二惯性测量单元,该第二惯性测量单元被配置为测量用于计算用户的头部姿势的第二值。第二惯性测量单元可以被设置为邻近用户的头部。该***还可以包括第三惯性测量单元,该第三惯性测量单元被配置为测量用于计算用户的身体姿势的第三值。第三惯性测量单元可以被设置为邻近所述用户的腰部。第一惯性测量单元、第二惯性测量单元、第三惯性测量单元和相机可以被配置为将固定距离显示***的视场与用户的身***置进行匹配。
在一个或多个实施例中,容差范围在单个预定光学平面的0.2屈光度到0.6屈光度内。该显示***可以被配置为显示三维虚拟图像。该显示***可以被配置为显示具有不超过0.2屈光度到0.6屈光度的尺寸的三维虚拟图像。
在另一实施例中,一种显示方法包括测量与头部姿势相关的第一值。该方法还包括基于第一值计算用户的头部姿势。该方法进一步包括捕获图像。此外,该方法包括基于图像执行机器视觉光流分析。另外,该方法包括生成光束。该方法还包括通过全内反射传播光束的至少一部分。该方法进一步包括仅在单个预定光学平面的容差范围内显示虚拟图像。
在一个或多个实施例中,该方法还包括测量与头部姿势相关的第二值。该方法可以进一步包括根据第一值和第二值计算用户的头部姿势。此外,该方法可以包括测量与身体姿势相关的第三值。另外,该方法可以包括根据第三值计算用户的身体姿势。该方法还可以包括分析第一值、第二值、第三值和图像以将用户的视野与用户的身***置进行匹配。
在一个或多个实施例中,容差范围在单个预定光学平面的0.2屈光度到0.6屈光度内。该方法还可以包括显示三维虚拟图像。所显示的三维虚拟图像可以具有不超过0.2屈光度到0.6屈光度的尺寸。
在又一实施例中,一种在非暂时性计算机可读介质中体现的计算机程序的产品,该计算机可读介质上存储有指令序列,当由处理器执行时,该指令序列使该处理器执行用于显示的方法,该方法包括生成光束。该方法还包括通过全内反射传播光束的至少一部分。该方法进一步包括测量与头部姿势相关的第一值。此外,该方法包括基于第一值计算用户的头部姿势。另外,该方法包括捕获图像。该方法还包括基于图像执行机器视觉光流分析。该方法进一步包括仅在单个预定光学平面的容差范围内显示虚拟图像。
在再一实施例中,一种以身体为中心的显示方法包括测量与头部姿势相关的第一值。该方法还包括基于第一值计算用户的头部姿势。该方法进一步包括测量与身体姿势相关的第二值。此外,该方法包括根据第二值计算用户的身体姿势。另外,该方法包括生成虚拟图像,该虚拟图像被配置为基于头部姿势和身体姿势仅在单个预定光学平面的容差范围内显示。该方法还包括仅在所述单个预定光学平面的容差范围内显示虚拟图像。
附图说明
附图示出了本发明的各种实施例的设计和实用性。应该注意,附图未按比例绘制,并且贯穿所有附图,具有相似结构或功能的元件由相同的参考标号表示。为了更好地理解如何获得本发明的各种实施例的上述和其它优点和目标,将通过参考本发明的具体实施例来呈现上面简要描述的本发明的更详细的说明。应理解,这些附图仅示出了本发明的典型实施例,因此不应认为是对其范围的限制,将通过使用附图,借助附加特征和细节来描述和解释本发明,其中:
图1是示出了多平面聚焦完整光学***的焦平面的图;
图2是示出了根据一个实施例的单平面聚焦固定距离光学***的焦平面的图;
图3和图4是根据两个实施例的单平面聚焦固定距离光学***的用户的各个视野的示意图;
图5是根据一个实施例的光学***的详细示意图;
图6是根据一个实施例的光学***的光导光学元件的详细示意图;
图7是根据一个实施例的光学***的光导光学元件的详细透视图;
图8A至图8D和图9A至图9D是根据各个实施例的增强现实/用户识别***的示意图;
图10是多平面聚焦完整增强现实***的详细示意图;
图11和图12是根据两个实施例的单平面聚焦固定距离增强现实***的详细示意图;
图13示出了根据一个实施例的单平面聚焦固定距离增强现实***的用户的视野;
图14示出了根据图13所示的实施例的单平面聚焦固定距离增强现实***在用户的头部相对于用户的身体转动之后的用户的视野;
图15和图16是示出了根据两个实施例的用于按照以身体为中心的方式向单平面聚焦固定距离增强现实***的用户显示虚拟对象的方法的流程图。
具体实施方式
本发明的各种实施例涉及用于在单个实施例或多个实施例中实现固定距离混合现实光学***的***、方法和制品。在具体实施方式、附图和权利要求中描述了本发明的其它目标、特征和优点。
现在将参考附图详细描述各种实施例,提供附图是作为本发明的说明性示例,以使得本领域技术人员能够实践本发明。值得注意的是,下面的附图和示例并不意味着限制本发明的范围。在使用已知组件(或方法或过程)可以部分或完全地实现本发明的某些元件的情况下,将仅描述这些已知组件(或方法或过程)中理解本发明所必需的那些部分,并且省略对这些已知组件(或方法或过程)的其它部分的详细描述,以免模糊本发明。此外,各种实施例包含本文中通过说明的方式提及的组件的当前和未来获知的等同物。
光学***可以独立于AR/MR***来实现,但是下面出于说明的目的仅描述了关于AR/MR***的许多实施例。
问题和解决方案的概述
用于在各种深度处生成虚拟图像的一种类型的光学***包括许多光学组件(例如,光源、棱镜、光栅、滤波器、扫描光学元件、分束器、反射镜、半反射镜、遮光器、目镜等),当3D体验/场景的质量(例如,成像平面的数量)和图像的质量(例如,图像颜色的数量)增加时,这些光学组件的数量增加,从而增加VR/AR/MR***的复杂性、尺寸和成本。随着3D场景/图像质量增加而增加的光学***尺寸限制了VR/AR/MR***的最小尺寸,导致光学效率降低的繁琐***。
以下公开内容描述了通过提供具有更少组件效率增加的光学***,使用解决问题的用于每只眼睛的单平面聚焦光学元件在单个预定距离周围形成3D感知的***和方法的各种实施例。特别地,这里描述的***利用最小的光学***组件集来提供光学***,以便针对混合现实场景在距用户的预定距离处显示虚拟对象。该光学***设计通过将这些***的功能限制为在预定距离处显示虚拟对象来简化和缩减VR/AR/MR***的尺寸。
完整增强现实***
在描述固定距离混合现实光学***的实施例的细节之前,本公开现将提供相关的完整AR/MR***的简要描述,这些***被配置为呈现完整AR场景,其中虚拟对象显示在沿用户光轴的多个位置处(例如,从无限远到邻近用户)。混合现实光学***(完整距离和/或固定距离)可以独立于AR/MR***来实现,但是下面出于说明性目的仅描述了关于AR/MR***的许多***。各种增强现实显示***已在2014年11月27日提交的,代理案号为ML-30011-US的,名称为“VIRTUAL AND AUGMENTED REALITY SYSTEMS AND METHODS(虚拟和增强现实***和方法)”的共同拥有的美国实用新型专利申请14/555,585中进行了讨论,该申请的内容就像完整阐述地一样通过引用特此明确、完整地并入此文。
实现完整AR/MR***的一种可能方法是针对用户的每只眼睛,使用内嵌深度平面信息的多个体相位全息图、表面浮雕全息图或光导光学元件(“LOE”)来生成看起来来自各个深度平面的图像。换言之,衍射图案或衍射光学元件(“DOE”)可以嵌入LOE内或压印在LOE上,使得准直光(具有基本平面波前的光束)沿着LOE基本上全内反射,它在多个位置处与衍射图案相交并且至少部分地朝着用户眼睛出射。DOE被配置为使得通过其从LOE出射的光发生会聚,使得它们看起来源自特定的深度平面。可以使用光学聚光透镜(“聚光器”)生成准直光。
例如,第一LOE可以被配置为将准直光传送到眼睛,该准直光看起来源自光学无限远深度平面(0屈光度)。另一LOE可以被配置为传送看起来源自2米距离(1/2屈光度)的准直光。又一LOE可以被配置为传送看起来源自1米距离(1屈光度)的准直光。通过使用堆叠的LOE组件,可以理解,可以形成多个深度平面,其中,每个LOE被配置为显示看起来源自特定深度平面的图像。应该理解,该堆叠可以包括任何数量的LOE。然而,需要至少N个堆叠的LOE来生成N个深度平面。此外,可以使用N、2N或3N个堆叠的LOE在N个深度平面上生成RGB彩色图像。
为了将完整的3D AR场景中的虚拟内容呈现给用户,完整的AR/MR***将虚拟内容的图像投射到用户的眼睛中,使得这些图像看起来源自Z方向(即,正交地远离用户的眼睛)的各个深度平面。换言之,虚拟内容不仅可以在X和Y方向上(即,在与用户眼睛的中心视轴正交的8D平面中)改变,而且也可以看起来在Z方向上改变,使得用户可以感知到对象非常靠近或处于无限远距离或位于它们之间的任何距离处。在完整的AR/MR***中,用户可以同时感知到不同深度平面处的多个对象。例如,用户可以看到虚拟龙看起来从无限远处奔向用户。或者,用户可以同时看到距用户3米距离处的虚拟鸟和距用户一臂长(约1米)处的虚拟咖啡杯。
多平面聚焦完整AR/MR***通过在多个深度平面中的一些或全部上投射图像以形成可变深度感知,该多个深度平面在Z方向上距用户眼睛的各个固定距离处。现在参考图1,应当理解,多平面聚焦完整AR/MR***通常在固定深度平面202(例如,图1所示的六个深度平面202)处显示帧。一个示例性多平面聚焦完整AR/MR***在Z方向上具有六个固定深度平面202。当在六个深度平面202中的一个或多个深度平面处生成虚拟内容时,形成3D感知,使得用户感知到在距用户眼睛不同距离处的一个或多个虚拟对象。假定人眼对距离更近的对象比看起来较远的对象更敏感,因此生成更多个距眼睛更近的深度平面202,如图1所示。在其它***中,深度平面202可以被放置在距离彼此相等距离处。
通常以屈光度来测量深度平面位置202,屈光度是光焦度单位,其等于以米为单位测量的焦距的倒数。例如,在一个***中,深度平面1可以是1/3屈光度远,深度平面2可以是0.3屈光度远,深度平面3可以是0.2屈光度远,深度平面4可以是0.15屈光度远,深度平面5可以是0.1屈光度远,深度平面6可以表示无限远(即,0屈光度远)。应当理解,其它***可以在其它距离/屈光度处生成深度平面202。因此,在策略性放置的深度平面202处生成虚拟内容时,用户能够感知三维虚拟对象。例如,用户可以将在深度平面1中显示的第一虚拟对象感知为靠近他,而另一虚拟对象看起来在无限远处的深度平面6。或者,虚拟对象可以首先在深度平面6处显示,然后在深度平面5处显示,依此类推,直到虚拟对象看起来非常靠近用户。应该理解,出于说明的目的,上述示例被明显简化。在另一***中,所有六个深度平面可以被集中在远离用户的特定焦距上。例如,如果要显示的虚拟内容是距离用户半米的咖啡杯,则可以在咖啡杯的各个横截面处生成所有六个深度平面,给用户高度粒化的3D咖啡杯视图。
在一个***中,完整AR/MR***可以用作多平面聚焦***。换言之,可以同时照射所有六个LOE,从而快速连续地生成看起来源自六个固定深度平面的图像,其中,光源将图像信息快速传递到LOE 1,然后是LOE 2,然后是LOE 3,以此类推。例如,可以在时间1处注入所需图像的一部分,该部分包括光学无限远处的天空的图像,并且可以利用保持光准直的LOE1090(例如,图1中的深度平面6)。然后,可以在时间2处注入更近的树枝的图像,并且可以利用被配置为形成看起来源自10米远的深度平面(例如,图1中的深度平面5)的图像的LOE 1090;然后,可以在时间3处注入钢笔图像,并且可以利用被配置为生成看起来源自1米远的深度平面的图像的LOE 1090。此类范例可以以极快时序(例如,以360Hz)的方式重复,使得用户的眼睛和大脑(例如,视觉皮层)将输入感知为同一图像的全部部分。
需要完整AR/MR***来投射图像(即,通过发散或会聚光束),这些图像看起来源自沿Z轴的各个位置(即,深度平面)以生成用于完整3D体验的图像。如在本申请中使用的,“光束”包括但不限于从光源辐射的光能(包括可见光和不可见光能)的定向投射。生成看起来源自各个深度平面的图像遵循用户眼睛针对该图像的聚散度和调节,或者与之同步,并最小化或消除聚散度-调节冲突。
投射看起来源自各个深度平面的图像的完整AR场景功能要求对完整AR/MR***施以最小的复杂性、尺寸和成本进行限制。这里描述的固定距离AR/MR***通过缩减***的功能来避免这些限制。
固定距离增强现实***
固定距离AR/MR***被配置为接近/邻近(即,在约0.2屈光度到约0.6屈光度内)在Z方向上距离用户的单个预定距离(即,“深度平面”)显示虚拟对象,以用于部分AR体验/场景。现在参考图2,应当理解,单平面聚焦固定距离AR/MR***通常在一个固定深度平面202处显示帧。固定距离AR/MR***的用户的视觉效果是向用户呈现所显示图像的虚拟圆顶,该圆顶在用户前面或以用户为中心。圆顶206在图3中表示为2D弧,其中,所显示图像的虚拟圆顶206在用户前面。虽然用户可以具有约50°的固定左到右视野(“FOV”)208,但是由于头部转动,有效L/R FOV将是大约180°,如图3中“以身体为中心”的系(如下所述)所示。另外,用户的FOV可以通过向上或向下的头部移动来覆盖整个圆顶206。因此,固定距离AR/MR***可以在围绕用户204的整个圆顶206上向用户呈现图像信息。固定的用户可以自由地进行身体和头部转动的另一实施例中,有效FOV可以是整个球体209,如图4所示。虽然图3和图4表示由固定距离AR/MR***以2D的方式呈现的图像的圆顶206和球体209,但应该理解,圆顶206和球体209是三维表面。
对于每只眼睛,可以利用内嵌深度平面信息的单体积相位全息图、表面浮雕全息图或光导光学元件(“LOE”)来实现固定距离AR/MR***,以生成看起来源自预定深度平面的容差范围(例如,在约0.2屈光度到约0.6屈光度内)的图像。固定距离AR/MR***可以通过使用立体技术生成3D效果(即,对于每只眼睛,在预定距离的容差范围内的Z方向上的稍微不同的距离处显示的相应图像)。
虽然人类视觉***在聚散度方面非常准确,但是在出现与聚散度-调节反射相关的问题之前,它对调节(即,聚焦)差异具有一定容忍度。虽然特定于特定用户,但是调节的容差/不确定性通常发生在相对于聚散度的约0.2屈光度到约0.6屈光度之间。因此,本文公开的固定距离AR/MR***利用人类视觉***对调节差异的容忍度,在Z方向上的单个预定距离附近显示3D对象,特别是在超出用户臂长的范围内。
因为屈光度是距用户眼睛的距离的倒数(参见图1),所以,调节容差/不确定性在屈光度方面是恒定的,在线性距离方面是变化的。为了说明的目的,在距用户1.00m(=1.0屈光度)的第一距离处,增加0.2屈光度(典型容差的下限)将导致0.83m的第二距离,变化了-17cm。类似地,相反方向上的0.2屈光度对应于1.25m的距离,对于0.83m到1.25m的总范围,如果在1.00m处显示,则在0.2屈光度的调节容差内观察内容(换言之,对于在1.00m处显示内容的固定距离AR/MR***42cm范围处于0.2屈光度的容差内,)。
另一方面,对于距用户0.50m(=2.0屈光度)的第一距离,增加0.6屈光度将导致0.38m的第二距离,变化了-12cm。从距离0.50m的第一距离移动对应的0.6屈光度导致0.71m的距离,变化了21cm,或者对于要在0.5m处显示内容的固定AR/MR***,总范围为33cm处于0.6屈光度内。与具有0.2屈光度容差的1.00m固定距离AR/MR***的42cm范围相比,使容差三倍增加到0.6(屈光度容差的另一极值)实际上减小了更近的0.5m第一距离***的内容投射范围。因此,具有更精确(即更低)调节容差的固定距离***将具有用于在距离用户更远的固定距离处显示内容的更大功能范围。
如果仅在内容出现在距用户的预定光学位置的某些范围内(优选地在较大距离处,以最大化不同用户之间的容差范围)时才允许显示/呈现这些内容,则在单个光学平面周围采用本发明的容差范围的固定距离AR/MR***可以极大地简化功能。类似地,在一些实施例中,如果确定固定距离AR/MR***的预定光学平面的位置的光焦度是已知的,或者确定用户的特定优选容差,则某些内容可以被配置为仅出现在特定范围内。
表1示出了根据一些实施例允许在屈光度容差内显示内容的相对于预定光学平面的范围,其中该预定光学平面位于距用户的固定距离处。表1示出了在不考虑屈光度容差的情况下针对近用户光学平面(与允许内容显示的更大范围的更远光学平面相反)显示内容的紧密范围(参见0.5m预定光学平面距离)。
表1
在一些实施例中,固定距离AR/MR***的容差范围可以设置呈现域,使得不出现在范围内的内容将不会呈现出并因此节省电池寿命,或者内容可以专门被编程为出现在距用户一定距离内,以便保持在预定光学平面的容差范围内。
在一些实施例中,用户可以通过功能(即,选择实际上仅需要在某些距离内呈现内容的固定距离AR实施例,例如虚拟计算机屏幕)或通过规定(即,当超过某些屈光度容差时,识别出用户感到不适)来选择容差。这种选择类似于针对特定设置选择定制和简化的AR设备,而不是旨在服务于所有用例的更复杂的AR/MR***。
图5示出了用于在单个深度平面上投射图像的固定距离光学***100的一部分。***100包括光源120和LOE 190,LOE 190具有衍射光学元件(未示出)和与之相关联的耦入光栅192(“ICG”)。衍射光学元件可以是任何类型,包括体积或表面浮雕。在一个实施例中,ICG192可以是LOE 190的反射式镀铝部分。在另一实施例中,ICG 192可以是LOE 190的透射型衍射部分。当***100在使用时,来自光源120的“虚拟”光束210经由ICG 192进入LOE 190,并且通过基本全内反射(“TIR”)沿着LOE 190传播,以向用户的眼睛显示。光束210是“虚拟的”,因为它按照***100的指示对不存在的“虚拟”对象或其部分的图像进行编码。可以理解,尽管图5中仅示出了一个光束210,但是编码图像的多个光束可以通过同一ICG 192从宽角度范围进入LOE 190。进入角度范围与针对***100可实现的FOV相关。光束“进入”或被“准入”LOE包括但不限于光束与LOE相互作用以便通过基本TIR沿LOE传播。图5所示的***100可以包括各种光源120(例如,LED、OLED、激光器和掩蔽的宽区域/宽带发射器)。在其它实施例中,来自光源120的光也可以经由光缆(未示出)传送到LOE 190。
如图6所示,固定距离光学***100中的LOE 190的一部分可以用作出射光瞳扩展器196(“EPE”)以增加光源120在Y方向上的数值孔径,从而增加***100的分辨率。由于光源120产生小直径/光斑大小的光,因此EPE 196扩展了从LOE 190出射的光的光瞳的表观尺寸,以增加***分辨率。除了EPE 196之外,***100可以进一步包括正交光瞳扩展器194(“OPE”),以同时在X(OPE)和Y(EPE)方向上扩展光。有关EPE196和OPE 194的更多细节在上面引用的序列号为14/555,585的美国实用新型专利申请中进行描述,其内容先前已经通过应用并入。
图6示出了具有ICG 192、OPE 194和EPE 196的LOE 190。图6通过俯视图示出了LOE190,该俯视图类似于来自用户眼睛的视图。ICG 192、OPE 194和EPE 196可以是任何类型的DOE,包括体积或表面浮雕。ICG 192是DOE(例如,线性光栅),其被配置为允许来自光源120的虚拟光束210通过TIR传播。在图6所示的***100中,光源120被设置在LOE 190侧面。
OPE 194是在横向平面(即,垂直于光路)倾斜的DOE(例如,线性光栅),使得通过***100传播的虚拟光束210横向偏转90度。OPE 194也是部分透明的并且沿光路部分地反射,使得光束210部分地传播通过OPE 194以形成多个(例如,11个)小光束210'。在所示出***100中,光路沿X轴,并且OPE 194被配置为将小光束210'弯曲到Y轴。
EPE 196是在Z平面(即,垂直于X和Y方向)倾斜的DOE(例如,线性光栅),使得通过***100传播的小光束210'在Z平面上偏转90度,朝向用户眼睛。EPE 196也是部分透明的并且沿光路(Y轴)部分地反射,使得小光束210'部分地传播通过EPE 196以形成多个(例如,七个)小光束210'。为清楚起见,仅标记选择光束210和小光束210'。
OPE 194和EPE 196也都沿Z轴至少部分透明,以允许真实世界的光(例如,真实世界对象的反射光)在Z方向上传播通过OPE 194和EPE 196以到达用户眼睛。对于AR/MR***100,ICG 192沿Z轴至少部分透明,同样沿Z轴至少部分透明,以允许真实世界的光进入。
图7示出了另一固定距离光学***100,其包括具有ICG 192、OPE 194和EPE 196的LOE 190。***100还包括光源120,其被配置为经由ICG 192将虚拟光束210导入LOE 190中。光束210被OPE 194和EPE 196分成小光束210',如上面参考图6所述。此外,当小光束210'通过EPE 196传播时,它们也经由EPE 196朝向用户眼睛从LOE 190出射。在图7所示的***100中,光源120被设置为与LOE 190正交。为清楚起见,仅标记选择光束210和小光束210'。固定距离混合现实光学***可以独立于AR/MR***实现,但是本文仅出于说明的目的描述了关于AR/MR***的许多***。
现在参考图8A至图8D,其中示出了一些常规AR/MR***组件选项。如图8A所示,头戴式设备用户60被示出为穿戴框架64结构,框架64与位于用户60眼前的显示***62耦接。以下描述了常规AR/MR***的可能的组件。所描述的组件不是实现固定距离AR/MR***所必需的。
虽然不是实现固定距离AR/MR***所必需的,但是扬声器66可以以所示的配置耦合到框架64并且被定位在用户60的耳道附近。在替代实施例中,另一扬声器(未示出)被定位在用户60的另一耳道附近,以提供立体/可塑形的声音控制。在一个或多个实施例中,固定距离AR/MR***可以具有显示器62,其诸如可以通过有线引线或无线连接可操作地耦接到本地处理和数据模块70,本地处理和数据模块70可以通过多种配置安装,诸如固定地附接到框架64,固定地附接到图8B所示的实施例中示出的头盔或帽子80,嵌入耳机中,以图8C的实施例所示的背包式配置可拆卸地附接到用户60的躯干82,或者以图8D的实施例所示的腰带耦接配置可拆卸地附接到用户60的髋部84。
本地处理和数据模块70可以包括节省功率的处理器或控制器,以及数字存储器,诸如闪存,两者都可以被用于辅助数据的处理、缓存和存储。可以从可以可操作地耦接到框架64的传感器处捕获数据,诸如图像捕获设备(诸如相机)和惯性测量单元(包括加速度计和陀螺仪)。并非实现固定距离AR/MR***所必需的可选传感器包括指南针、麦克风、GPS单元和无线设备。可替换地或附加地,可以使用远程处理模块72和/或远程数据存储库74来获取和/或处理数据,这些数据可以在进行这样的处理或检索之后被传送到显示器62。本地处理和数据模块70可以诸如经由有线或无线通信链路可操作地将76、78耦接到远程处理模块72和远程数据存储库74,使得这些远程模块72、74可操作地彼此耦接,并且可以作为资源用于本地处理和数据模块70。
在一个实施例中,远程处理模块72可以包括一个或多个相对强大的处理器或控制器,其被配置为分析和处理数据和/或图像信息。在一个实施例中,远程数据存储库74可以包括相对大规模的数字数据存储设施,该设施可以通过因特网或“云”资源配置中的其它网络配置获得。在一个实施例中,在本地处理和数据模块中存储所有数据并且执行所有计算,从而允许来自任何远程模块的完全自主的使用。
在一个或多个实施例中,类似于图8A至8D中所示的头戴式固定距离AR/MR***可被用于在距用户预定距离的容差范围内向用户显示虚拟图像。应当理解,虽然下面描述的多个实施例可以在头戴式***中实现,但是其它实施例也可以在固定设备中实现。出于说明的目的,本公开将主要重点说明头戴式固定距离AR/MR***,但是应当理解,相同的原理也可以被应用于非头戴式和非AR实施例。
在一个或多个实施例中,固定距离AR/MR***通常适合于特定用户的头部,并且光学组件与用户的眼睛对准。可以使用这些配置步骤以确保向用户提供最佳增强现实体验,而不会引起任何生理副作用,诸如头痛、恶心、不适等。因此,在一个或多个实施例中,为每个单独的用户配置(在物理或数字方面)用户穿戴固定距离AR/MR***,并且可以专门针对该用户校准一组程序。在其它场景中,各种用户可以舒适地使用宽松佩戴的AR设备。例如,在一些实施例中,用户穿戴固定距离AR/MR***知道用户眼睛之间的距离、头戴式显示器与用户眼睛之间的距离,以及用户前额的曲率。所有这些测量可被用于提供针对给定用户定制的头戴式固定距离AR/MR***。在其它实施例中,这些测量可能不是执行AR显示功能所必需的。
例如,参考图9A至图9D,可以为每个用户定制固定距离AR/MR***。在一个或多个实施例中,如图9A所示,可以在安装头戴式用户穿戴的用户识别***时考虑用户的头部形状402。类似地,如图9B所示,眼睛组件404(例如,光学器件、光学器件的结构等)可以进行水平和垂直旋转或调节以实现用户舒适度,或者进行旋转来实现用户舒适度。在一个或多个实施例中,如图9C所示,可以基于用户头部的结构调整头部装置相对于用户头部的旋转点。类似地,如图9D所示,可以补偿瞳孔间距(IPD)(即,用户眼睛之间的距离)。
现在参考图10,将描述示例性完整AR/MR***的各种组件。应当理解,固定距离AR/MR***具有比完整AR/MR***更少的组件。然而,描述示例性完整AR/MR***将说明固定距离AR/MR***的组件的互连和功能。图10提供了AR/MR***或AR设备的各种组件的基本理念。为了说明的目的,图10在右侧框图中示出了头戴式AR/MR***62的简化版本。
参考图10,其中示出了合适的用户显示设备62的一个实施例,其包括显示镜头106,显示镜头106可以通过壳体或框架108安装到用户头部或眼睛。用户显示设备62是完整的AR/MR***,其被配置为执行各种功能,包括向用户显示在距用户的各个距离处出现的3D虚拟对象。显示透镜106可以包括一个或多个透明的反射镜,该反射镜通过壳体84定位在用户眼睛20的前方,被配置为将投射的光38反射到眼睛20中并且便于光束成型,同时还允许透射来自本地环境的至少一些光。在所示出的实施例中,两个宽视场机器视觉相机16被耦接到壳体108以对用户周围的环境进行成像;在一个实施例中,这些相机16是双摄可见光/红外光相机。所示出的***还包括一对扫描激光成型波前(即,用于深度)光投射器模块18(例如,诸如DLP、光纤扫描装置(FSD)、LCD等的空间光调制器),如图所示,光投射器模块具有被配置为将光38投射到眼睛20中的显示镜和光学器件。
虽然不是实现固定距离AR/MR***所必需的,但所示出的完整AR/MR***还包括与红外光源26(诸如,发光二极管或“LED”)配对的两个微型红外相机24,这两个红外相机被配置为跟踪用户的眼睛20以支持呈现和用户输入。这些红外相机24还被配置为连续地和动态地捕获用户眼睛的图像,尤其是可被用于用户识别的眼睛虹膜。
该***还以传感器组件39为特征,该传感器组件可包括X、Y和Z轴加速度计功能以及磁罗盘,以及X、Y和Z轴陀螺仪功能,它们优选地以相对高的频率(诸如,200Hz)提供数据。示例性传感器组件39是惯性测量单元(“IMU”)。所示的***62还包括头部姿势处理器36(“图像姿势处理器”),诸如ASIC(专用集成电路)、FPGA(现场可编程门阵列)和/或ARM处理器(高级精简指令集机器),其可以被配置为根据从捕获设备16输出的宽视场图像信息计算实时或近实时的用户头部姿势。将头部姿势处理器36可操作地耦接(90、92、94;例如,经由有线或无线连接)到相机16和渲染引擎34。
还示出了另一处理器32(“传感器姿势处理器”),其被配置为执行数字和/或模拟处理以根据传感器组件39中的陀螺仪、指南针和/或加速度计数据导出姿势。所示的***还以GPS(全球定位***)子***37为特征以辅助姿势和定位。另外,GPS还可以提供有关用户位置的基于云的信息。该信息可被用于用户识别目的。例如,如果用户识别算法可以将检测到的用户特征缩小到两个***身份,则可以使用用户的当前和历史位置数据来消除***身份中的一个。
最后,所示的***包括渲染引擎34,其可以运行软件程序的硬件为特征,该软件程序被配置为提供用户本地渲染信息以便于扫描仪的操作以及成像到用户的眼睛中,以便用户观看世界。渲染引擎34可操作地将94、100、102、104、105(即,经由有线或无线连接)耦接到图像姿势处理器36、可选的眼睛跟踪相机24、投影子***18和传感器姿势处理器32,从而使用扫描激光装置18以类似于视网膜扫描显示的方式投射渲染光38。投射光束38的波前可以被弯曲或聚焦以与投射光38的期望焦距一致。
可选的微型红外眼睛跟踪相机24可被用于跟踪眼睛以支持渲染和用户输入(例如,用户正看的地方、他正聚焦的深度等)。如下所述,可以使用眼睛边缘来估计用户聚焦的深度。GPS 37以及传感器组件39中的陀螺仪、指南针和加速度计可被用于提供粗略和/或快速姿势估计。相机16图像和传感器姿势信息结合来自相关云计算资源的数据可被用于绘制本地世界并与虚拟或增强现实社区和/或用户识别***共享用户视图。
虽然图10中以之为特征的显示***62中的大部分硬件被示出为直接耦接到与显示器106和用户的眼睛20相邻的壳体108,但是所示的硬件组件可以被安装到或容纳在其它组件中,例如腰带安装组件,如图8D所示。
在一个完整AR/MR***中,除了图像姿势处理器36、传感器姿势处理器32和渲染引擎34之外,图10以之为特征的***62的所有组件都直接耦接到显示器壳体108,并且后三者与***62的其余组件之间的通信可以是无线通信(诸如超宽带)或有线通信。所示的壳体108优选地为头戴式壳体并且可由用户穿戴。它还可以以扬声器为特征,诸如可以***用户耳朵并被用于向用户提供声音的扬声器。
已经描述了图10所示的完整AR/MR***62的常规组件,现在将参考图11描述固定距离AR/MR***300。固定距离AR/MR***300包括一对光导光学元件302-1、302-r,其被配置为接收来自各个光源(未示出)的光并将所接收的光分别导入用户的左眼和右眼。来自光源的光可以由相应的空间光调制器(未示出)调制,以包括与3D虚拟对象对应的图像数据。例如,指向左右LOE 302-1、302-r的光可以用图像数据进行,该图像数据与来自两个略微不同的视点的同一3D虚拟对象对应。这些视点与针对用户的左眼和右眼进行校准的左右LOE302-1、302-r的位置对应。因此,通过左右LOE 302-1、302-r传送的光使用立体技术为用户生成3D虚拟对象的图像。
固定距离AR/MR***300被配置为生成3D虚拟对象的图像,这些图像看起来接近相对于用户的固定距离,即,LOE 302-1、302-r的聚散度的点。如上所述,人类视觉***具有约0.2屈光度到约0.6屈光度的调节容差/不确定性。因为固定距离AR/MR***300被配置为聚焦于固定距离的容差范围内的3D虚拟对象的图像,因此,该***可以显示3D虚拟对象的图像且没有显著的调节和聚散度问题。
虽然光源和空间光调制器被描述为单独的组件,但空间光调制器可以是相应光源的一部分。在另一实施例中,单个光源和单个空间光调制器(无论是分开的还是组合的)可以以时序的方式为左右LOE 302-1、302-r两者提供调制光束。只要以每LOE至少约60帧/秒的速率提供光束(例如,对于单个光源实施例,每秒120帧),固定距离AR/MR***300就可以呈现以最小运动伪影平滑移动的3D虚拟对象。
为此,固定距离AR/MR***300还包括可操作地耦接到***300的其它组件以协调那些组件的控制器304。例如,控制器304可以包括3D渲染引擎,用于为左右LOE 302-1、302-r生成图像数据,左右LOE 302-1、302-r被配置为呈现3D虚拟对象并将该数据发送到相应光源和空间光调制器。在单个光源/空间光调制器实施例中,当单个光源/空间光调制器用为左LOE 302-l配置的图像数据编码的光时,控制器304可以激活左LOE 302-1并且停用右LOE302-r。这将使左右LOE 302-1、302-r之间的串扰和与之相关的伪像最小化。控制器304可以是头戴式固定距离AR/MR***300中的处理器。在其它实施例中,控制器304可以是移动计算机(例如,蜂窝电话)中的处理器或处理器上的一部分,该部分无线连接到固定距离AR/MR***300的其它组件。
固定距离AR/MR***300还包括左右IMU 306-1、306-r,其被配置为提供数据以确定头戴式固定距离AR/MR***300的用户/穿戴者的头部姿势。虽然单个IMU能够提供确定用户头部姿势的数据,但是两个IMU 306-1、306-r提供了附加数据,这改善了头部姿势的确定。在一个实施例中,一旦校准左右IMU 306-1、306-r中的陀螺仪,***300就能够跟踪用户的头部和眼眶所指的方向。虽然所示的固定距离AR/MR***300的实施例不包括眼睛跟踪相机和IR灯,但是左右IMU 306-1、306-r提供了使用头部姿势实际估计用户正观看的方向。
此外,固定距离AR/MR***300包括面向外部的图像捕获设备308(例如,相机)以捕获接近用户视野的图像。图像捕获设备将所捕获的图像数据发送到控制器304,控制器304执行机器视觉光流以校正由***300和耦接到***300的头戴部分的图像捕获设备308的移动引起的漂移。图像捕获设备308可以是可见光和/或红外光相机,例如CCD相机。
固定距离AR/MR***300使用左右LOE 302-1、302-r、控制器304、左右IMU 306-1、306-r,以及图像捕获设备308可以在用户的视野中生成和呈现虚拟对象的3D图像,使得用户可以观看3D图像且没有显著的调节和聚散度问题。左右LOE 302-1、302-r分别将图像投射到左眼和右眼中。控制器304呈现图像(以为用户生成3D图像)。左右IMU 306-1、306-r提供控制器304用于确定用户头部姿势的数据。图像捕获设备308提供用于校正***300中的漂移的图像数据。控制器304使用由左右IMU 306-1、306-r和图像捕获设备308提供的数据来基于用户的头部姿势和***漂移为用户的左右眼呈现适当的图像。
在图12所示的另一实施例中,固定距离AR/MR***300还包括左右LOE 302-1、302-r、控制器304、左右IMU 306-1、306-r和图像捕获设备308。这些组件可操作地耦接并且如上面针对图11所示的固定距离AR/MR***300中的相同组件所述地起作用。此外,图12所示的固定距离AR/MR***300包括第三或“身体”IMU 306-b,其被固定到用户的身体(例如,附接到用户的腰带)上。在其它实施例中,身体IMU 306-b被固定到用户的蜂窝电话上或作为蜂窝电话的一部分,但是身体IMU 306-b仅在电话固定到用户的腰带(例如,在固定器中)时才活跃。身体IMU 306-b被配置为提供确定固定距离AR/MR***300的用户的身体姿势的数据。一旦校准了身体IMU 306-b中的陀螺仪,***300就能够跟踪用户身体所指的方向。
控制器304使用来自身体IMU 306-b的数据以生成“以身体为中心”的固定距离AR场景。例如,控制器304可以在用户FOV 500中且在距用户固定距离处生成用户界面506,如图13所示。不同于“以头部为中心”的AR场景(只是随着用户头部运动而移动的真实世界场景顶部的叠加),以身体为中心的固定距离AR场景将用户界面506“固定”在相对于用户身体的固定距离和固定点处,并且在用户的头部朝着用户界面506的不同部分转动时才移到该不同部分。这是通过控制器304将来自身体IMU 306-b的数据与来自左右IMU 306-1、306-r的数据进行比较以确定相对于身体姿势的头部姿势来实现的。
示例性虚拟对象(用户界面)
图13示出了穿戴诸如图12所示的头戴式固定距离AR/MR***300的用户的FOV500。用户可以在FOV 500中看到真实的物理建筑物502和真实的灌木丛504。用户还可以在FOV 500中看到由固定距离AR/MR***300生成和呈现的用户界面506。用户界面506具有足够的不透明度以允许用户看到用户界面506后面的树504。通过用虚线示出用户界面506来说明该不透明度。用户界面506包括六个用户界面对象508-1到508-6。由于用户眼睛的限制,FOV 500限制在左侧510-l和右侧510-r。受限的FOV 500约为50°。
图14示出了在用户的头部相对于用户的身体向左转过约25°之后,穿戴同一头戴式固定距离AR/MR***300的同一用户的另一FOV 500'。建筑物502和树木504已经移动到FOV的右侧510-r。实际上,建筑物502的右半部分已经移出FOV 500'。因为头戴式固定距离AR/MR***300被配置为生成并呈现以身体为中心的用户界面506,所以在转动他们的头部之后,用户可以看到用户界面506的不同部分。例如,用户界面对象508-a、508-b和508-c在图14所示的FOV 500'中对用户可见,但在图13所示的FOV 500中对用户不可见。同时,用户界面对象508-4、508-5和508-6在图14所示的FOV 500'中对用户不可见,但是它们在图13所示的FOV 500中对用户可见。这种左右扫描的能力允许实现比接近50°的人眼FOV更大的总有效FOV。总有效FOV的增加不限于左右方向,还包括上下方向,从而形成头戴式固定距离AR/MR***300可在其上呈现虚拟图像的圆顶206(参见图3)。虽然图13和图14示出了2D用户界面506,但应注意,虚拟图像可以是上述立体呈现的3D图像。
上述固定距离AR/MR***300可以在最小化***300的复杂性、尺寸和成本的情况下,执行按照以身体为中心的方式显示虚拟对象的功能。光学***组件的这种经济使用可以导致AR/MR***(和其它光学***)更容易制造,使用更舒适,并且对于一般消费者/用户来说更便宜。
以身体为中心的虚拟对象显示
已经描述了固定距离AR/MR***300的若干实施例,现在将讨论一种按照以身体为中心的方式向固体距离AR/MR***300的用户显示虚拟对象(例如,如图14中的用户界面506)的方法600。如图15所示,该方法在步骤602从测量与头部姿势相关的第一值开始。例如,固定距离AR/MR***300中的左IMU 306-1(参见图14)可以测量指示头部姿势的陀螺仪数据。
在步骤604,根据第一值计算头部姿势。例如,固定距离AR/MR***300中的控制器304可以根据所测量的陀螺仪数据来计算头部姿势。
在步骤606,测量与身体姿势相关的第二值。例如,固定距离AR/MR***300中的身体IMU 306-b(参见图14)可以测量指示身体姿势的陀螺仪数据。
在步骤608,根据第二值计算身体姿势。例如,固定距离AR/MR***300中的控制器304可以根据所测量的陀螺仪数据来计算身体姿势。
在步骤610,基于头部姿势和身体姿势生成被配置为在单个预定光学平面的容差范围内显示的虚拟图像。例如,固定距离AR/MR***300中的控制器304的3D渲染引擎可以呈现虚拟图像,该虚拟图像被配置为基于相对于用户身体姿势的用户头部姿势在用户的FOV中显示。3D渲染引擎可以改变基于相对于用户身体姿势的用户头部姿势生成的虚拟图像(比较图13和图14)。虚拟图像可以是图13和图14所示的用户界面506的一部分。虚拟图像可以是3D图像的一部分(例如,被配置为在同时显示给用户的左眼和右眼时呈现3D图像的图像对中的左图像)。
在步骤612,在单个预定光学平面的容差范围内显示所生成的虚拟图像。如上所述,“邻近”单个预定光学平面显示虚拟图像包括但不限于在单个预定光学平面的约0.2屈光度至约0.6屈光度内显示虚拟图像。例如,固定距离AR/MR***300中的光源、空间光调制器和左LOE 302-1(参见图14)可以将所生成的虚拟图像显示给用户。可以选择单个预定光学平面,使得用户左眼的聚散度(基于由左LOE 302-1发射的光的角度)对应于单个预定光学平面的容差范围内的虚拟图像的焦点。这种对应最小化或消除了与聚散度-调节冲突相关的问题。
图19示出了按照以身体为中心的方式向固定距离AR/MR***300的用户显示虚拟对象(例如,如图14中的用户界面506)的另一方法600'。步骤602、604、606、608和612与图18所示的方法600中的对应步骤相同。
图19所示的方法600'不同于图18所示的方法600,因为在可选步骤614,捕获图像。例如,固定距离AR/MR***300中的图像采集设备308(参见图14)可以捕获接近用户的FOV的图像。
在可选步骤616,基于所捕获的图像执行机器视觉光流分析。光流分析校正由***运动导致的漂移。例如,固定距离AR/MR***300中的控制器304可以基于所捕获的图像执行机器视觉光流分析。
在步骤610,基于头部姿势、身体姿势和机器视觉光流分析的结果,生成被配置为在单个预定光学平面的容差范围内显示的虚拟图像。例如,固定距离AR/MR***300中的控制器304的3D渲染引擎可以呈现虚拟图像,该虚拟图像被配置为基于头部姿势、身体姿势和机器视觉光流分析的结果在用户的FOV中显示。3D渲染引擎可以改变基于相对于用户身体姿势的用户头部姿势生成的虚拟图像(比较图13和图14)。在渲染虚拟图像时包括机器视觉光流分析的结果校正***漂移并导致更准确地渲染的虚拟图像。虚拟图像可以是图13和图14所示的用户界面506的一部分。虚拟图像可以是3D图像的一部分(例如,被配置为在同时显示给用户的左眼和右眼时呈现3D图像的图像对中的左图像)。
提供上述固定距离AR/MR***作为可以从降低的复杂性、尺寸和成本中受益的各种常见***的示例。因此,本文描述的固定距离光学***的使用不限于所公开的固定距离AR/MR***,而是适用于任何光学***。
本文描述了本发明的各种示例性实施例。以非限制性的意义引用这些实施例。提供它们是为了说明本发明的更广泛适用的方面。在不脱离本发明的真实精神和范围的情况下,可以对所描述的本发明进行各种改变,并且可以替换等同物。此外,可以进行许多修改以使特定情况、材料、物质组成、过程、一个或多个过程动作或步骤适应本发明的一个或多个目的、精神或范围。此外,如本领域技术人员将理解的,本文描述和示出的每个单独的变型具有分立的部件和特征,其可以容易地与任何其它若干实施例的特征分离或组合,而不脱离本发明的范围或精神。所有这些修改旨在落入与本公开相关联的权利要求的范围内。
本发明包括可以使用主题设备执行的方法。该方法可以包括提供这种合适设备的行为。这种提供可以由终端用户执行。换言之,“提供”动作仅需要该终端用户获得、访问、接近、定位、设置、激活、加电或执行其它动作以在主题方法中提供必需的设备。本文所述的方法可以以在逻辑上可能的所述事件的任何顺序进行,也可以以所述的事件顺序进行。
以上已经阐述了本发明的示例性方面以及关于材料选择和制造的细节。有关本发明的其它细节,可以结合上述专利和公开以及本领域技术人员通常公知或理解的方式理解这些细节。就通常或逻辑上采用的附加动作而言,对于本发明基于方法的方面也是如此。
另外,尽管已经参考任选地结合各种特征的若干示例描述了本发明,但是本发明不限于关于本发明的每个变型所描述或指示的那些内容。可以在不脱离本发明的精神和范围的情况下,对所描述的本发明进行各种改变,并且可以替换等同物(无论是在本文中引用还是为了简洁起见而未包括)。另外,在提供一系列值的情况下,应理解的是,该范围的上限和下限之间的每个中间值,以及所述范围内的任何其它所述值或中间值都包含在本发明内。
而且,可以构想,所描述的发明变型的任何可选特征可以独立地,或者与本文描述的任何一个或多个特征组合地进行阐述或被要求保护。对单数项的引用包括存在多个相同项的可能性。更具体地说,如本文和与此相关联的权利要求中所使用的,单数形式“一”、“一个”、“所述”和“该”包括复数个指示物,除非另有具体说明。换言之,冠词的使用允许上述说明书以及与本公开相关联的权利要求中具有“至少一个”主题项。还应注意,可以起草这样的权利要求以排除任何可选元素。因此,本声明旨在作为结合权利要求元素的叙述使用诸如“单独”、“仅”之类的排他性术语或使用“否定”限制的先行基础。
在不使用这种排他性术语的情况下,与本公开相关联的权利要求中的术语“包括”应允许包括任何附加元素,不论在这样的权利要求中是否列举给定数量的元素,还是添加特征可以被视为改变这些权利要求中阐述的元素的性质。除非本文中具体定义,否则本文使用的所有技术和科学术语在保持权利要求有效性的同时尽可能广泛地被赋予通常理解的含义。
本发明的广度不限于所提供的示例和/或主题说明书,而是仅由与本公开相关联的权利要求语言的范围限制。
在前述说明书中,已经参考本发明的具体实施例对其进行了描述。然而,显而易见的是,在不脱离本发明的更广泛的精神和范围的情况下,可以对其进行各种修改和改变。例如,参考过程动作的特定顺序来描述上述过程流程。然而,可以改变许多所描述的过程动作的顺序而不影响本发明的范围或操作。因此,说明书和附图应被视为说明性的而非限制性的。
Claims (21)
1.一种固定距离显示***,包括:
光源,其被配置为生成光束;
光导光学元件,其被配置为通过全内反射传播所述光束的至少一部分;
第一惯性测量单元,其被配置为测量用于计算用户的头部姿势的第一值;
第三惯性测量单元,其被配置为测量用于计算所述用户的身体姿势的第三值;以及
相机,其被配置为捕获用于机器视觉光流分析的图像,
其中,基于所述用户的所述头部姿势、所述用户的所述身体姿势、以及所述机器视觉光流分析的结果,生成以身体为中心的虚拟用户界面;
其中,所述固定距离显示***被配置为:
以相对于所述用户的身体的固定距离和固定位置在所述用户的视野中显示所述以身体为中心的虚拟用户界面;
基于相对于所述用户的所述身体姿势的所述用户的所述头部姿势,在所述用户的所述视野中显示所述以身体为中心的虚拟用户界面,使得在所述用户的头部相对于所述用户的身体移动时,所述以身体为中心的虚拟用户界面在所述用户的所述视野中移动;以及
其中,所述固定距离显示***被配置为在距所述用户的眼睛的与0.2屈光度相对应的第一距离与距所述用户的所述眼睛的与0.6屈光度相对应的第二距离之间的距离处显示三维虚拟图像。
2.根据权利要求1所述的***,其中,所述第一惯性测量单元被设置为邻近所述用户的头部。
3.根据权利要求2所述的***,进一步包括第二惯性测量单元,所述第二惯性测量单元被配置为测量用于计算所述用户的所述头部姿势的第二值。
4.根据权利要求3所述的***,其中,所述第二惯性测量单元被设置为邻近所述用户的头部。
5.根据权利要求4所述的***,其中,所述第三惯性测量单元被设置为邻近所述用户的腰部。
6.根据权利要求5所述的***,其中,所述第一惯性测量单元、所述第二惯性测量单元、所述第三惯性测量单元和所述相机被配置为将用户的视野与所述用户的身***置进行匹配。
7.根据权利要求1所述的***,其中,所述以身体为中心的虚拟用户界面包括多个用户界面对象,所述用户界面对象被显示在所述用户的身体周围的固定距离处的弧中。
8.一种使用固定距离显示***的显示方法,包括:
由第一惯性测量单元测量与用户的头部姿势相关的第一值;
基于所述第一值,由处理器计算所述用户的所述头部姿势;
由第三惯性测量单元测量与所述用户的身体姿势相关的第三值;
基于所述第三值,由所述处理器计算所述用户的所述身体姿势;
由相机捕获图像;
基于所述图像,由所述处理器执行机器视觉光流分析;
其中,基于所述用户的所述头部姿势、所述用户的所述身体姿势、以及所述机器视觉光流分析的结果,生成以身体为中心的虚拟用户界面;
由光源生成光束;
由光导光学元件通过全内反射传播所述光束的至少一部分;
以相对于所述用户的身体的固定距离和固定位置,由所述固定距离显示***在所述用户的视野中显示所述以身体为中心的虚拟用户界面;
基于相对于所述用户的所述身体姿势的所述用户的所述头部姿势,由所述固定距离显示***在所述用户的所述视野中显示所述以身体为中心的虚拟用户界面,使得在所述用户的头部相对于所述用户的身体移动时,所述以身体为中心的虚拟用户界面在所述用户的所述视野中移动;以及
在距所述用户的眼睛的与0.2屈光度相对应的第一距离与距所述用户的所述眼睛的与0.6屈光度相对应的第二距离之间的距离处,由所述固定距离显示***显示三维虚拟图像。
9.根据权利要求8所述的方法,进一步包括由邻近所述用户头部设置的第二惯性测量单元测量与所述头部姿势相关的第二值。
10.根据权利要求9所述的方法,进一步包括由所述处理器根据所述第一值和所述第二值计算所述用户的所述头部姿势。
11.根据权利要求10所述的方法,
其中,所述第三惯性测量单元被设置为邻近所述用户的腰部。
12.根据权利要求9所述的方法,进一步包括由所述处理器分析所述第一值、所述第二值、所述第三值和所述图像以将所述用户的视野与所述用户的身***置进行匹配。
13.根据权利要求8所述的方法,其中,所述第一惯性测量单元被设置为邻近所述用户的头部。
14.根据权利要求8所述的方法,其中,所述以身体为中心的虚拟用户界面包括多个用户界面对象,所述用户界面对象被显示在所述用户的身体周围的固定距离的弧中。
15.一种非暂时性计算机可读介质,所述计算机可读介质上存储有指令序列,当由处理器执行时,所述指令序列使所述处理器执行用于显示的方法,所述方法包括:
生成光束,
通过全内反射传播所述光束的至少一部分;
测量与头部姿势相关的第一值;
基于所述第一值计算用户的所述头部姿势;
测量与身体姿势相关的第三值;
基于所述第三值,计算所述用户的所述身体姿势;
捕获图像;
基于所述图像执行机器视觉光流分析;以及
其中,基于所述用户的所述头部姿势、所述用户的所述身体姿势、以及所述机器视觉光流分析的结果,生成以身体为中心的虚拟用户界面;
以相对于所述用户的身体的固定距离和固定位置,在所述用户的视野中显示所述以身体为中心的虚拟用户界面;
基于相对于所述用户的所述身体姿势的所述用户的所述头部姿势,在所述用户的所述视野中显示所述以身体为中心的虚拟用户界面,使得在所述用户的头部相对于所述用户的身体移动时,所述以身体为中心的虚拟用户界面在所述用户的所述视野中移动;以及
在距所述用户的眼睛的与0.2屈光度相对应的第一距离与距所述用户的所述眼睛的与0.6屈光度相对应的第二距离之间的距离处显示三维虚拟图像。
16.根据权利要求15所述的非暂时性计算机可读介质,其中,所述以身体为中心的虚拟用户界面包括多个用户界面对象,所述用户界面对象被显示在所述用户的身体周围的固定距离的弧中。
17.一种显示方法,包括:
生成光束;
通过全内反射传播所述光束中的至少一部分;
测量与头部姿势相关的第一值;
基于所述第一值计算用户的所述头部姿势;
测量与所述用户的身体姿势相关的第三值;
基于所述第三值计算所述用户的所述身体姿势;
捕获图像;
基于所述图像执行机器视觉光流分析;
其中,基于所述用户的所述头部姿势、所述用户的所述身体姿势、以及所述机器视觉光流分析的结果,生成以身体为中心的虚拟用户界面;
以相对于所述用户的身体的固定距离和固定位置,在所述用户的视野中显示所述以身体为中心的虚拟用户界面;
基于相对于所述用户的所述身体姿势的所述用户的所述头部姿势,在所述用户的所述视野中显示所述以身体为中心的虚拟用户界面,使得在所述用户的头部相对于所述用户的身体移动时,所述以身体为中心的虚拟用户界面在所述用户的所述视野中移动;以及
在距所述用户的眼睛的与0.2屈光度相对应的第一距离与距所述用户的所述眼睛的与0.6屈光度相对应的第二距离之间的距离处显示三维虚拟图像。
18.根据权利要求17所述的方法,进一步包括测量与所述头部姿势相关的第二值。
19.根据权利要求18所述的方法,进一步包括根据所述第一值和所述第二值计算所述用户的头部姿势。
20.根据权利要求18所述的方法,进一步包括处理器分析所述第一值、所述第二值、所述第三值和所述图像以将所述用户的视野与所述用户的身***置进行匹配。
21.根据权利要求17所述的方法,其中,所述以身体为中心的虚拟用户界面包括多个用户界面对象,所述用户界面对象被显示在所述用户的身体周围的固定距离的弧中。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311439457.8A CN117741956A (zh) | 2016-08-02 | 2017-07-31 | 固定距离虚拟和增强现实***及方法 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662370117P | 2016-08-02 | 2016-08-02 | |
US62/370,117 | 2016-08-02 | ||
PCT/US2017/044762 WO2018026737A1 (en) | 2016-08-02 | 2017-07-31 | Fixed-distance virtual and augmented reality systems and methods |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311439457.8A Division CN117741956A (zh) | 2016-08-02 | 2017-07-31 | 固定距离虚拟和增强现实***及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109661687A CN109661687A (zh) | 2019-04-19 |
CN109661687B true CN109661687B (zh) | 2023-11-24 |
Family
ID=61071680
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311439457.8A Pending CN117741956A (zh) | 2016-08-02 | 2017-07-31 | 固定距离虚拟和增强现实***及方法 |
CN201780054387.0A Active CN109661687B (zh) | 2016-08-02 | 2017-07-31 | 固定距离虚拟和增强现实***及方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311439457.8A Pending CN117741956A (zh) | 2016-08-02 | 2017-07-31 | 固定距离虚拟和增强现实***及方法 |
Country Status (9)
Country | Link |
---|---|
US (5) | US10649211B2 (zh) |
EP (1) | EP3494549A4 (zh) |
JP (1) | JP6972105B2 (zh) |
KR (4) | KR20210025721A (zh) |
CN (2) | CN117741956A (zh) |
AU (2) | AU2017305227B2 (zh) |
CA (1) | CA3032567A1 (zh) |
IL (3) | IL303182B2 (zh) |
WO (1) | WO2018026737A1 (zh) |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11138793B2 (en) | 2014-03-14 | 2021-10-05 | Magic Leap, Inc. | Multi-depth plane display system with reduced switching between depth planes |
US10838207B2 (en) | 2015-03-05 | 2020-11-17 | Magic Leap, Inc. | Systems and methods for augmented reality |
US10180734B2 (en) | 2015-03-05 | 2019-01-15 | Magic Leap, Inc. | Systems and methods for augmented reality |
NZ735465A (en) | 2015-03-05 | 2021-07-30 | Magic Leap Inc | Systems and methods for augmented reality |
US10962780B2 (en) * | 2015-10-26 | 2021-03-30 | Microsoft Technology Licensing, Llc | Remote rendering for virtual images |
CA3007367A1 (en) | 2015-12-04 | 2017-06-08 | Magic Leap, Inc. | Relocalization systems and methods |
CA3016032C (en) | 2016-03-04 | 2024-05-21 | Magic Leap, Inc. | Current drain reduction in ar/vr display systems |
IL261769B1 (en) | 2016-03-25 | 2024-04-01 | Magic Leap Inc | Virtual and augmented reality systems and methods |
IL303182B2 (en) | 2016-08-02 | 2024-07-01 | Magic Leap Inc | Virtual and augmented reality systems at a fixed distance and methods |
US10812936B2 (en) | 2017-01-23 | 2020-10-20 | Magic Leap, Inc. | Localization determination for mixed reality systems |
EP3596702A4 (en) | 2017-03-17 | 2020-07-22 | Magic Leap, Inc. | MIXED REALITY SYSTEM WITH MULTI-SOURCE VIRTUAL CONTENT COMPOSITION AND ASSOCIATED VIRTUAL CONTENT GENERATION PROCESS |
CA3054619C (en) | 2017-03-17 | 2024-01-30 | Magic Leap, Inc. | Mixed reality system with virtual content warping and method of generating virtual content using same |
JP7009494B2 (ja) | 2017-03-17 | 2022-01-25 | マジック リープ, インコーポレイテッド | カラー仮想コンテンツワーピングを伴う複合現実システムおよびそれを使用して仮想コンテンツ生成する方法 |
US10338400B2 (en) | 2017-07-03 | 2019-07-02 | Holovisions LLC | Augmented reality eyewear with VAPE or wear technology |
US10859834B2 (en) | 2017-07-03 | 2020-12-08 | Holovisions | Space-efficient optical structures for wide field-of-view augmented reality (AR) eyewear |
WO2020018938A1 (en) | 2018-07-19 | 2020-01-23 | Magic Leap, Inc. | Content interaction driven by eye metrics |
CN109948410B (zh) | 2018-07-20 | 2020-09-11 | 华为技术有限公司 | 具有纹路检测功能的电子设备 |
WO2020023383A1 (en) | 2018-07-23 | 2020-01-30 | Magic Leap, Inc. | Mixed reality system with virtual content warping and method of generating virtual content using same |
EP3827584A4 (en) | 2018-07-23 | 2021-09-08 | Magic Leap, Inc. | INTRA-FIELD SUB-CODE SYNCHRONIZATION IN SEQUENTIAL FIELD DISPLAYS |
US11233954B1 (en) * | 2019-01-24 | 2022-01-25 | Rockwell Collins, Inc. | Stereo infrared imaging for head mounted devices |
KR20200098034A (ko) * | 2019-02-11 | 2020-08-20 | 삼성전자주식회사 | 가상 현실 유저 인터페이스를 제공하기 위한 전자 장치 및 그의 동작 방법 |
US11265487B2 (en) * | 2019-06-05 | 2022-03-01 | Mediatek Inc. | Camera view synthesis on head-mounted display for virtual reality and augmented reality |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103261944A (zh) * | 2010-12-28 | 2013-08-21 | 洛克希德马丁公司 | 采用一个或多个反射光表面的头戴式显示装置 |
Family Cites Families (256)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4462165A (en) | 1983-01-31 | 1984-07-31 | The Boeing Company | Three axis orientation sensor for an aircraft or the like |
US5047952A (en) | 1988-10-14 | 1991-09-10 | The Board Of Trustee Of The Leland Stanford Junior University | Communication system for deaf, deaf-blind, or non-vocal individuals using instrumented glove |
US6701296B1 (en) | 1988-10-14 | 2004-03-02 | James F. Kramer | Strain-sensing goniometers, systems, and recognition algorithms |
CA2142338C (en) | 1992-08-14 | 1999-11-30 | John Stuart Bladen | Position location system |
CA2358682A1 (en) | 1992-08-14 | 1994-03-03 | British Telecommunications Public Limited Company | Position location system |
US5583974A (en) | 1993-05-10 | 1996-12-10 | Apple Computer, Inc. | Computer graphics system having high performance multiple layer Z-buffer |
TW275590B (en) | 1994-12-09 | 1996-05-11 | Sega Enterprises Kk | Head mounted display and system for use therefor |
US5930741A (en) | 1995-02-28 | 1999-07-27 | Virtual Technologies, Inc. | Accurate, rapid, reliable position sensing using multiple sensing technologies |
US5592401A (en) | 1995-02-28 | 1997-01-07 | Virtual Technologies, Inc. | Accurate, rapid, reliable position sensing using multiple sensing technologies |
US5684498A (en) | 1995-06-26 | 1997-11-04 | Cae Electronics Ltd. | Field sequential color head mounted display with suppressed color break-up |
CA2238693C (en) | 1995-11-27 | 2009-02-24 | Cae Electronics Ltd. | Method and apparatus for displaying a virtual environment on a video display |
US5784115A (en) | 1996-12-31 | 1998-07-21 | Xerox Corporation | System and method for motion compensated de-interlacing of video frames |
US6163155A (en) | 1999-01-28 | 2000-12-19 | Dresser Industries, Inc. | Electromagnetic wave resistivity tool having a tilted antenna for determining the horizontal and vertical resistivities and relative dip angle in anisotropic earth formations |
US6407736B1 (en) | 1999-06-18 | 2002-06-18 | Interval Research Corporation | Deferred scanline conversion architecture |
GB9917591D0 (en) | 1999-07-28 | 1999-09-29 | Marconi Electronic Syst Ltd | Head tracker system |
JP2001208529A (ja) | 2000-01-26 | 2001-08-03 | Mixed Reality Systems Laboratory Inc | 計測装置及びその制御方法並びに記憶媒体 |
AU2001233019A1 (en) | 2000-01-28 | 2001-08-07 | Intersense, Inc. | Self-referenced tracking |
US7878905B2 (en) | 2000-02-22 | 2011-02-01 | Creative Kingdoms, Llc | Multi-layered interactive play experience |
US7445550B2 (en) | 2000-02-22 | 2008-11-04 | Creative Kingdoms, Llc | Magical wand and interactive play experience |
WO2001067749A2 (en) | 2000-03-07 | 2001-09-13 | Sarnoff Corporation | Camera pose estimation |
US6891533B1 (en) | 2000-04-11 | 2005-05-10 | Hewlett-Packard Development Company, L.P. | Compositing separately-generated three-dimensional images |
US6738044B2 (en) | 2000-08-07 | 2004-05-18 | The Regents Of The University Of California | Wireless, relative-motion computer input device |
US20020180727A1 (en) | 2000-11-22 | 2002-12-05 | Guckenberger Ronald James | Shadow buffer control module method and software construct for adjusting per pixel raster images attributes to screen space and projector features for digital warp, intensity transforms, color matching, soft-edge blending, and filtering for multiple projectors and laser projectors |
US6691074B1 (en) | 2001-02-08 | 2004-02-10 | Netmore Ltd. | System for three dimensional positioning and tracking |
US7620592B2 (en) | 2001-02-26 | 2009-11-17 | First Data Corporation | Tiered processing method and system for identifying and mitigating merchant risk |
US6861982B2 (en) | 2001-08-16 | 2005-03-01 | Itt Manufacturing Enterprises, Inc. | System for determining position of an emitter |
US7113618B2 (en) | 2001-09-18 | 2006-09-26 | Intel Corporation | Portable virtual reality |
US7487127B2 (en) | 2002-03-27 | 2009-02-03 | First Data Corporation | Merchant cash payment systems and methods |
JP2003337963A (ja) | 2002-05-17 | 2003-11-28 | Seiko Epson Corp | 画像処理装置および画像処理方法、ならびに、画像処理プログラムおよびその記録媒体 |
CN1675640A (zh) * | 2002-06-11 | 2005-09-28 | 第一数据公司 | 价值处理网络和方法 |
US20040078105A1 (en) | 2002-09-03 | 2004-04-22 | Charles Moon | System and method for workflow process management |
US9153074B2 (en) | 2011-07-18 | 2015-10-06 | Dylan T X Zhou | Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command |
JP3984907B2 (ja) * | 2002-11-29 | 2007-10-03 | キヤノン株式会社 | 画像観察システム |
US20070155589A1 (en) | 2002-12-04 | 2007-07-05 | Philip Feldman | Method and Apparatus for Operatively Controlling a Virtual Reality Scenario with an Isometric Exercise System |
JP2004213350A (ja) | 2002-12-27 | 2004-07-29 | Seiko Epson Corp | 力覚提示装置及び画像補正方法 |
US20050107870A1 (en) | 2003-04-08 | 2005-05-19 | Xingwu Wang | Medical device with multiple coating layers |
US7643025B2 (en) | 2003-09-30 | 2010-01-05 | Eric Belk Lange | Method and apparatus for applying stereoscopic imagery to three-dimensionally defined substrates |
US7443154B1 (en) | 2003-10-04 | 2008-10-28 | Seektech, Inc. | Multi-sensor mapping omnidirectional sonde and line locator |
CA2450837A1 (en) | 2003-11-25 | 2005-05-25 | University Of New Brunswick | Induction magnetometer |
US9229540B2 (en) | 2004-01-30 | 2016-01-05 | Electronic Scripting Products, Inc. | Deriving input from six degrees of freedom interfaces |
US20160098095A1 (en) | 2004-01-30 | 2016-04-07 | Electronic Scripting Products, Inc. | Deriving Input from Six Degrees of Freedom Interfaces |
US7653883B2 (en) | 2004-07-30 | 2010-01-26 | Apple Inc. | Proximity detector in handheld device |
JP4508820B2 (ja) | 2004-10-19 | 2010-07-21 | 株式会社ワコム | 3次元情報検出システム及び3次元情報入力装置 |
EP1814101A1 (en) | 2004-11-19 | 2007-08-01 | Daem Interactive, Sl | Personal device with image-acquisition functions for the application of augmented reality resources and corresponding method |
JP5631535B2 (ja) | 2005-02-08 | 2014-11-26 | オブロング・インダストリーズ・インコーポレーテッド | ジェスチャベースの制御システムのためのシステムおよび方法 |
US8567953B2 (en) | 2005-04-26 | 2013-10-29 | Imax Corporation | Systems and methods for projecting composite images |
US8308563B2 (en) | 2005-08-30 | 2012-11-13 | Nintendo Co., Ltd. | Game system and storage medium having game program stored thereon |
US8157651B2 (en) | 2005-09-12 | 2012-04-17 | Nintendo Co., Ltd. | Information processing program |
JP4437228B2 (ja) | 2005-11-07 | 2010-03-24 | 大学共同利用機関法人情報・システム研究機構 | 焦点ぼけ構造を用いたイメージング装置及びイメージング方法 |
KR100722229B1 (ko) * | 2005-12-02 | 2007-05-29 | 한국전자통신연구원 | 사용자 중심형 인터페이스를 위한 가상현실 상호작용 인체모델 즉석 생성/제어 장치 및 방법 |
US8370383B2 (en) | 2006-02-08 | 2013-02-05 | Oblong Industries, Inc. | Multi-process interactive systems and methods |
US9910497B2 (en) | 2006-02-08 | 2018-03-06 | Oblong Industries, Inc. | Gestural control of autonomous and semi-autonomous systems |
US9823747B2 (en) | 2006-02-08 | 2017-11-21 | Oblong Industries, Inc. | Spatial, multi-modal control device for use with spatial operating system |
US8531396B2 (en) | 2006-02-08 | 2013-09-10 | Oblong Industries, Inc. | Control system for navigating a principal dimension of a data space |
US8537111B2 (en) | 2006-02-08 | 2013-09-17 | Oblong Industries, Inc. | Control system for navigating a principal dimension of a data space |
JP4151982B2 (ja) | 2006-03-10 | 2008-09-17 | 任天堂株式会社 | 動き判別装置および動き判別プログラム |
JP4684147B2 (ja) | 2006-03-28 | 2011-05-18 | 任天堂株式会社 | 傾き算出装置、傾き算出プログラム、ゲーム装置およびゲームプログラム |
JP4196302B2 (ja) | 2006-06-19 | 2008-12-17 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
JP4804256B2 (ja) | 2006-07-27 | 2011-11-02 | キヤノン株式会社 | 情報処理方法 |
US8194088B1 (en) | 2006-08-03 | 2012-06-05 | Apple Inc. | Selective composite rendering |
US7921120B2 (en) | 2006-11-30 | 2011-04-05 | D&S Consultants | Method and system for image recognition using a similarity inverse matrix |
CN101093586A (zh) | 2007-07-12 | 2007-12-26 | 上海交通大学 | 面向复杂场景实时交互操作的并行碰撞检测方法 |
US8165352B1 (en) | 2007-08-06 | 2012-04-24 | University Of South Florida | Reconstruction of biometric image templates using match scores |
US10095815B2 (en) | 2008-11-19 | 2018-10-09 | Elbit Systems Ltd. | System and a method for mapping a magnetic field |
IL195389A (en) | 2008-11-19 | 2013-12-31 | Elbit Systems Ltd | Magnetic Field Mapping System and Method |
US20090115406A1 (en) | 2007-11-01 | 2009-05-07 | General Electric Company | System and method for minimizing mutual inductance coupling between coils in an electromagnetic tracking system |
US9013505B1 (en) | 2007-11-27 | 2015-04-21 | Sprint Communications Company L.P. | Mobile system representing virtual objects on live camera image |
KR20090055803A (ko) | 2007-11-29 | 2009-06-03 | 광주과학기술원 | 다시점 깊이맵 생성 방법 및 장치, 다시점 영상에서의변이값 생성 방법 |
US7795596B2 (en) | 2008-01-03 | 2010-09-14 | Alcatel-Lucent Usa Inc. | Cloaking device detection system |
WO2009091563A1 (en) | 2008-01-18 | 2009-07-23 | Thomson Licensing | Depth-image-based rendering |
US20090184825A1 (en) | 2008-01-23 | 2009-07-23 | General Electric Company | RFID Transponder Used for Instrument Identification in an Electromagnetic Tracking System |
GB2468994B (en) | 2008-01-23 | 2012-11-28 | Intel Corp | Method, apparatus and computer program product for improved graphics performance |
US8926511B2 (en) | 2008-02-29 | 2015-01-06 | Biosense Webster, Inc. | Location system with virtual touch screen |
US9495013B2 (en) | 2008-04-24 | 2016-11-15 | Oblong Industries, Inc. | Multi-modal gestural interface |
US9684380B2 (en) | 2009-04-02 | 2017-06-20 | Oblong Industries, Inc. | Operating environment with gestural control and multiple client devices, displays, and users |
US9740293B2 (en) | 2009-04-02 | 2017-08-22 | Oblong Industries, Inc. | Operating environment with gestural control and multiple client devices, displays, and users |
US9952673B2 (en) | 2009-04-02 | 2018-04-24 | Oblong Industries, Inc. | Operating environment comprising multiple client devices, multiple displays, multiple users, and gestural control |
US9740922B2 (en) | 2008-04-24 | 2017-08-22 | Oblong Industries, Inc. | Adaptive tracking system for spatial input devices |
US8723795B2 (en) | 2008-04-24 | 2014-05-13 | Oblong Industries, Inc. | Detecting, representing, and interpreting three-space input: gestural continuum subsuming freespace, proximal, and surface-contact modes |
US8446426B2 (en) | 2008-04-28 | 2013-05-21 | Apple Inc. | Technique for visually compositing a group of graphical objects |
KR20090120159A (ko) | 2008-05-19 | 2009-11-24 | 삼성전자주식회사 | 영상합성장치 및 영상합성방법 |
US8929877B2 (en) | 2008-09-12 | 2015-01-06 | Digimarc Corporation | Methods and systems for content processing |
JP5415054B2 (ja) | 2008-10-28 | 2014-02-12 | セイコーエプソン株式会社 | 駆動方法および電気光学装置 |
EP2354896B1 (en) | 2008-11-14 | 2016-12-21 | Sony Interactive Entertainment Inc. | Operating device and information processing apparatus |
US8188745B2 (en) | 2008-12-05 | 2012-05-29 | Metrotech Corporation Inc. | Precise location and orientation of a concealed dipole transmitter |
US9465129B1 (en) | 2009-03-06 | 2016-10-11 | See Scan, Inc. | Image-based mapping locating system |
US8860723B2 (en) | 2009-03-09 | 2014-10-14 | Donya Labs Ab | Bounded simplification of geometrical computer data |
US8027912B1 (en) * | 2009-04-30 | 2011-09-27 | Intuit Inc. | System and method for merchant risk management |
JP5177078B2 (ja) | 2009-05-26 | 2013-04-03 | 富士通モバイルコミュニケーションズ株式会社 | 情報処理装置 |
US9933852B2 (en) | 2009-10-14 | 2018-04-03 | Oblong Industries, Inc. | Multi-process interactive systems and methods |
US8775424B2 (en) | 2010-01-26 | 2014-07-08 | Xerox Corporation | System for creative image navigation and exploration |
US9134534B2 (en) | 2010-02-28 | 2015-09-15 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses including a modular image source |
US8581905B2 (en) | 2010-04-08 | 2013-11-12 | Disney Enterprises, Inc. | Interactive three dimensional displays on handheld devices |
TWI399688B (zh) | 2010-06-08 | 2013-06-21 | Waltop Int Corp | 整合電磁式及電容感應輸入裝置 |
JP2012043308A (ja) | 2010-08-20 | 2012-03-01 | Canon Inc | 位置姿勢決定方法、位置姿勢決定装置、物体モデル生成方法、物体モデル生成装置、およびプログラム |
WO2012046392A1 (ja) | 2010-10-08 | 2012-04-12 | パナソニック株式会社 | 姿勢推定装置及び姿勢推定方法 |
US20120086630A1 (en) * | 2010-10-12 | 2012-04-12 | Sony Computer Entertainment Inc. | Using a portable gaming device to record or modify a game or application in real-time running on a home gaming system |
US9122053B2 (en) | 2010-10-15 | 2015-09-01 | Microsoft Technology Licensing, Llc | Realistic occlusion for a head mounted augmented reality display |
FR2966251B1 (fr) | 2010-10-19 | 2014-04-25 | Astrium Sas | Systeme d'orientation et de positionnement d'un recepteur electromagnetique |
US8660369B2 (en) | 2010-10-25 | 2014-02-25 | Disney Enterprises, Inc. | Systems and methods using mobile devices for augmented reality |
US8745061B2 (en) | 2010-11-09 | 2014-06-03 | Tibco Software Inc. | Suffix array candidate selection and index data structure |
GB201020973D0 (en) | 2010-12-10 | 2011-01-26 | Panaplay Ltd | Risk management system and method |
US9235894B2 (en) | 2011-01-27 | 2016-01-12 | Metaio Gmbh | Method for determining correspondences between a first and a second image, and method for determining the pose of a camera |
US8587583B2 (en) | 2011-01-31 | 2013-11-19 | Microsoft Corporation | Three-dimensional environment reconstruction |
JP5724544B2 (ja) | 2011-03-31 | 2015-05-27 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
US9206007B2 (en) * | 2011-05-31 | 2015-12-08 | Twist-Ease Inc. | Bag dispenser |
US20120306850A1 (en) | 2011-06-02 | 2012-12-06 | Microsoft Corporation | Distributed asynchronous localization and mapping for augmented reality |
US20120327116A1 (en) * | 2011-06-23 | 2012-12-27 | Microsoft Corporation | Total field of view classification for head-mounted display |
US8933913B2 (en) | 2011-06-28 | 2015-01-13 | Microsoft Corporation | Electromagnetic 3D stylus |
US20150100380A1 (en) | 2011-07-20 | 2015-04-09 | Raymond P. Jones, JR. | Systems and methods for providing financial controls for aggregated weather-based work |
WO2013023706A1 (en) | 2011-08-18 | 2013-02-21 | Layar B.V. | Computer-vision based augmented reality system |
US20150040074A1 (en) | 2011-08-18 | 2015-02-05 | Layar B.V. | Methods and systems for enabling creation of augmented reality content |
US8749396B2 (en) | 2011-08-25 | 2014-06-10 | Satorius Stedim Biotech Gmbh | Assembling method, monitoring method, communication method, augmented reality system and computer program product |
WO2013029674A1 (en) | 2011-08-31 | 2013-03-07 | Metaio Gmbh | Method of matching image features with reference features |
WO2013040274A2 (en) | 2011-09-13 | 2013-03-21 | Sadar 3D, Inc. | Synthetic aperture radar apparatus and methods |
US20130253956A1 (en) | 2011-09-22 | 2013-09-26 | Robert Lyne Towne | Chargeback insurance |
US8821286B2 (en) | 2011-09-29 | 2014-09-02 | Wms Gaming, Inc. | Wagering game system having motion sensing controllers |
US9286711B2 (en) | 2011-09-30 | 2016-03-15 | Microsoft Technology Licensing, Llc | Representing a location at a previous time period using an augmented reality display |
US9215293B2 (en) | 2011-10-28 | 2015-12-15 | Magic Leap, Inc. | System and method for augmented and virtual reality |
CN107664847B (zh) | 2011-11-23 | 2021-04-06 | 奇跃公司 | 三维虚拟和增强现实显示*** |
US8989775B2 (en) | 2012-02-29 | 2015-03-24 | RetailNext, Inc. | Method and system for WiFi-based identification of person tracks |
US9075824B2 (en) | 2012-04-27 | 2015-07-07 | Xerox Corporation | Retrieval system and method leveraging category-level labels |
US9098229B2 (en) | 2012-05-04 | 2015-08-04 | Aaron Hallquist | Single image pose estimation of image capture devices |
US9116666B2 (en) | 2012-06-01 | 2015-08-25 | Microsoft Technology Licensing, Llc | Gesture based region identification for holograms |
US9671566B2 (en) * | 2012-06-11 | 2017-06-06 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
US9582072B2 (en) | 2013-09-17 | 2017-02-28 | Medibotics Llc | Motion recognition clothing [TM] with flexible electromagnetic, light, or sonic energy pathways |
US9384737B2 (en) | 2012-06-29 | 2016-07-05 | Microsoft Technology Licensing, Llc | Method and device for adjusting sound levels of sources based on sound source priority |
US9336494B1 (en) | 2012-08-20 | 2016-05-10 | Context Relevant, Inc. | Re-training a machine learning model |
JP2014049934A (ja) | 2012-08-31 | 2014-03-17 | Sony Corp | ヘッドマウントディスプレイ |
EP2704055A1 (en) | 2012-08-31 | 2014-03-05 | Layar B.V. | Determining space to display content in augmented reality |
US9134954B2 (en) | 2012-09-10 | 2015-09-15 | Qualcomm Incorporated | GPU memory buffer pre-fetch and pre-back signaling to avoid page-fault |
EP2711670B1 (en) | 2012-09-21 | 2019-01-30 | NavVis GmbH | Visual localisation |
GB201217372D0 (en) | 2012-09-28 | 2012-11-14 | Ucl Business Plc | A system and method for annotating images by propagating information |
US9177404B2 (en) | 2012-10-31 | 2015-11-03 | Qualcomm Incorporated | Systems and methods of merging multiple maps for computer vision based tracking |
US9188694B2 (en) | 2012-11-16 | 2015-11-17 | Halliburton Energy Services, Inc. | Optical interferometric sensors for measuring electromagnetic fields |
US9160727B1 (en) | 2012-11-30 | 2015-10-13 | Microstrategy Incorporated | Providing credential information |
US9576262B2 (en) | 2012-12-05 | 2017-02-21 | Microsoft Technology Licensing, Llc | Self learning adaptive modeling system |
US9026847B2 (en) | 2012-12-21 | 2015-05-05 | Advanced Micro Devices, Inc. | Hardware based redundant multi-threading inside a GPU for improved reliability |
US20140176591A1 (en) | 2012-12-26 | 2014-06-26 | Georg Klein | Low-latency fusing of color image data |
WO2014105385A1 (en) | 2012-12-27 | 2014-07-03 | The Regents Of The University Of California | Anamorphic stretch image compression |
US9788714B2 (en) | 2014-07-08 | 2017-10-17 | Iarmourholdings, Inc. | Systems and methods using virtual reality or augmented reality environments for the measurement and/or improvement of human vestibulo-ocular performance |
WO2014164901A1 (en) | 2013-03-11 | 2014-10-09 | Magic Leap, Inc. | System and method for augmented and virtual reality |
US9898866B2 (en) | 2013-03-13 | 2018-02-20 | The University Of North Carolina At Chapel Hill | Low latency stabilization for head-worn displays |
US9542613B2 (en) | 2013-03-15 | 2017-01-10 | Orcam Technologies Ltd. | Systems and methods for processing images |
CN108628446B (zh) | 2013-03-15 | 2021-10-26 | 奇跃公司 | 显示***和方法 |
US9269003B2 (en) | 2013-04-30 | 2016-02-23 | Qualcomm Incorporated | Diminished and mediated reality effects from reconstruction |
US20140323148A1 (en) | 2013-04-30 | 2014-10-30 | Qualcomm Incorporated | Wide area localization from slam maps |
US9367960B2 (en) * | 2013-05-22 | 2016-06-14 | Microsoft Technology Licensing, Llc | Body-locked placement of augmented reality objects |
US10254855B2 (en) | 2013-06-04 | 2019-04-09 | Wen-Chieh Geoffrey Lee | High resolution and high sensitivity three-dimensional (3D) cursor maneuvering device |
US10262462B2 (en) * | 2014-04-18 | 2019-04-16 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
US9874749B2 (en) | 2013-11-27 | 2018-01-23 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
US9129430B2 (en) * | 2013-06-25 | 2015-09-08 | Microsoft Technology Licensing, Llc | Indicating out-of-view augmented reality images |
US9443355B2 (en) * | 2013-06-28 | 2016-09-13 | Microsoft Technology Licensing, Llc | Reprojection OLED display for augmented reality experiences |
US9712473B2 (en) | 2013-07-11 | 2017-07-18 | Facebook, Inc. | Methods, systems, and user interfaces for community-based location ratings |
WO2015006784A2 (en) * | 2013-07-12 | 2015-01-15 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
US10228242B2 (en) * | 2013-07-12 | 2019-03-12 | Magic Leap, Inc. | Method and system for determining user input based on gesture |
US9514571B2 (en) | 2013-07-25 | 2016-12-06 | Microsoft Technology Licensing, Llc | Late stage reprojection |
JP6192010B2 (ja) | 2013-09-05 | 2017-09-06 | 国立大学法人 東京大学 | 重み設定装置および方法 |
US9400930B2 (en) * | 2013-09-27 | 2016-07-26 | Qualcomm Incorporated | Hybrid photo navigation and mapping |
US9729864B2 (en) | 2013-09-30 | 2017-08-08 | Sony Interactive Entertainment Inc. | Camera based safety mechanisms for users of head mounted displays |
JP6353214B2 (ja) | 2013-11-11 | 2018-07-04 | 株式会社ソニー・インタラクティブエンタテインメント | 画像生成装置および画像生成方法 |
US9857591B2 (en) | 2014-05-30 | 2018-01-02 | Magic Leap, Inc. | Methods and system for creating focal planes in virtual and augmented reality |
NZ755272A (en) * | 2013-11-27 | 2020-05-29 | Magic Leap Inc | Virtual and augmented reality systems and methods |
US11402629B2 (en) * | 2013-11-27 | 2022-08-02 | Magic Leap, Inc. | Separated pupil optical systems for virtual and augmented reality and methods for displaying images using same |
US9354778B2 (en) | 2013-12-06 | 2016-05-31 | Digimarc Corporation | Smartphone-based methods and systems |
WO2015095733A1 (en) | 2013-12-19 | 2015-06-25 | Objectvideo, Inc. | System and method for identifying faces in unconstrained media |
EP2887311B1 (en) | 2013-12-20 | 2016-09-14 | Thomson Licensing | Method and apparatus for performing depth estimation |
US9360935B2 (en) | 2013-12-20 | 2016-06-07 | Hong Kong Applied Science And Technology Research Institute Co. Ltd. | Integrated bi-sensing optical structure for head mounted display |
US10254856B2 (en) | 2014-01-17 | 2019-04-09 | Osterhout Group, Inc. | External user interface for head worn computing |
US20160147063A1 (en) | 2014-11-26 | 2016-05-26 | Osterhout Group, Inc. | See-through computer display systems |
US9448409B2 (en) | 2014-11-26 | 2016-09-20 | Osterhout Group, Inc. | See-through computer display systems |
US9405122B2 (en) | 2014-01-29 | 2016-08-02 | Ricoh Co., Ltd | Depth-disparity calibration of a binocular optical augmented reality system |
EP3170131A2 (en) | 2014-03-04 | 2017-05-24 | Google, Inc. | Map personalization based on social clues |
US20160203624A1 (en) | 2014-03-05 | 2016-07-14 | Google Inc. | System and Method for Providing Combined Multi-Dimensional Map Views |
WO2015134958A1 (en) | 2014-03-07 | 2015-09-11 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
US10203762B2 (en) | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
US9953243B2 (en) | 2014-04-25 | 2018-04-24 | Google Llc | Electronic device localization based on imagery |
CN105005457B (zh) | 2014-04-25 | 2019-04-09 | 腾讯科技(深圳)有限公司 | 地理位置展示方法及装置 |
US9652893B2 (en) | 2014-04-29 | 2017-05-16 | Microsoft Technology Licensing, Llc | Stabilization plane determination based on gaze location |
US9727341B2 (en) | 2014-05-09 | 2017-08-08 | Samsung Electronics Co., Ltd. | Control flow in a thread-based environment without branching |
EP3926589A1 (en) * | 2014-06-03 | 2021-12-22 | Apple Inc. | Method and system for presenting a digital information related to a real object |
US20150358539A1 (en) | 2014-06-06 | 2015-12-10 | Jacob Catt | Mobile Virtual Reality Camera, Method, And System |
US20150379772A1 (en) | 2014-06-30 | 2015-12-31 | Samsung Display Co., Ltd. | Tracking accelerator for virtual and augmented reality displays |
WO2016002409A1 (ja) | 2014-07-01 | 2016-01-07 | シャープ株式会社 | フィールドシーケンシャル画像表示装置および画像表示方法 |
US10056054B2 (en) | 2014-07-03 | 2018-08-21 | Federico Fraccaroli | Method, system, and apparatus for optimising the augmentation of radio emissions |
US10198865B2 (en) | 2014-07-10 | 2019-02-05 | Seiko Epson Corporation | HMD calibration with direct geometric modeling |
US10162177B2 (en) | 2014-07-11 | 2018-12-25 | Sixense Entertainment, Inc. | Method and apparatus for self-relative body tracking for virtual reality systems using magnetic tracking |
US9363644B2 (en) | 2014-07-16 | 2016-06-07 | Yahoo! Inc. | System and method for detection of indoor tracking units |
US9719871B2 (en) | 2014-08-09 | 2017-08-01 | Google Inc. | Detecting a state of a wearable device |
EP3192058A4 (en) | 2014-09-08 | 2018-05-02 | Simx LLC | Augmented reality simulator for professional and educational training |
JP2017532847A (ja) | 2014-09-09 | 2017-11-02 | ノキア テクノロジーズ オーユー | 立体録画及び再生 |
US20160104308A1 (en) | 2014-10-14 | 2016-04-14 | Microsoft Technology Licensing, Llc. | Performance optimization for data visualization |
US9478029B2 (en) | 2014-10-23 | 2016-10-25 | Qualcomm Incorporated | Selection strategy for exchanging map information in collaborative multi-user SLAM systems |
US10043217B1 (en) | 2014-10-27 | 2018-08-07 | State Farm Mutual Automobile Insurance Company | Systems and methods for quoting multiple homeowner insurance products |
US10650574B2 (en) | 2014-10-31 | 2020-05-12 | Fyusion, Inc. | Generating stereoscopic pairs of images from a single lens camera |
WO2016073557A1 (en) | 2014-11-04 | 2016-05-12 | The University Of North Carolina At Chapel Hill | Minimal-latency tracking and display for matching real and virtual worlds |
US9818170B2 (en) | 2014-12-10 | 2017-11-14 | Qualcomm Incorporated | Processing unaligned block transfer operations |
WO2016100717A1 (en) | 2014-12-17 | 2016-06-23 | Google Inc. | Generating numeric embeddings of images |
US9696549B2 (en) | 2014-12-22 | 2017-07-04 | International Business Machines Corporation | Selectively pairing an application presented in virtual space with a physical display |
US9846968B2 (en) * | 2015-01-20 | 2017-12-19 | Microsoft Technology Licensing, Llc | Holographic bird's eye view camera |
NZ735465A (en) | 2015-03-05 | 2021-07-30 | Magic Leap Inc | Systems and methods for augmented reality |
US10180734B2 (en) | 2015-03-05 | 2019-01-15 | Magic Leap, Inc. | Systems and methods for augmented reality |
JP6814752B2 (ja) | 2015-03-07 | 2021-01-20 | ベリティ ストゥディオス アーゲー | 分散された位置特定システムおよび方法ならびに自己位置特定装置 |
US9874932B2 (en) | 2015-04-09 | 2018-01-23 | Microsoft Technology Licensing, Llc | Avoidance of color breakup in late-stage re-projection |
US9814430B1 (en) | 2015-04-17 | 2017-11-14 | Bertec Corporation | System and method for measuring eye movement and/or eye position and postural sway of a subject |
KR20230136683A (ko) * | 2015-05-04 | 2023-09-26 | 매직 립, 인코포레이티드 | 가상 및 증강 현실을 위한 분리된 동공 광학 시스템들 및 이를 사용하여 이미지들을 디스플레이하기 위한 방법들 |
CN104866829B (zh) | 2015-05-25 | 2019-02-19 | 苏州大学 | 一种基于特征学习的跨年龄人脸验证方法 |
US10721280B1 (en) | 2015-05-29 | 2020-07-21 | Sprint Communications Company L.P. | Extended mixed multimedia reality platform |
US20160378863A1 (en) | 2015-06-24 | 2016-12-29 | Google Inc. | Selecting representative video frames for videos |
US10062010B2 (en) | 2015-06-26 | 2018-08-28 | Intel Corporation | System for building a map and subsequent localization |
US10192361B2 (en) | 2015-07-06 | 2019-01-29 | Seiko Epson Corporation | Head-mounted display device and computer program |
US10750161B2 (en) | 2015-07-15 | 2020-08-18 | Fyusion, Inc. | Multi-view interactive digital media representation lock screen |
US9875427B2 (en) | 2015-07-28 | 2018-01-23 | GM Global Technology Operations LLC | Method for object localization and pose estimation for an object of interest |
WO2017044965A1 (en) | 2015-09-10 | 2017-03-16 | Duke University | Systems and methods for arbitrary viewpoint robotic manipulation and robotic surgical assistance |
GB201518112D0 (en) | 2015-10-13 | 2015-11-25 | Bae Systems Plc | Improvements in and relating to displays |
US10937023B2 (en) | 2015-10-15 | 2021-03-02 | Paypal, Inc. | Crypto currency chargeback system |
US10210576B2 (en) | 2015-10-23 | 2019-02-19 | Mastercard International Incorporated | Processing payment card transaction records to determine insurance fraud risk |
US10338677B2 (en) | 2015-10-28 | 2019-07-02 | Microsoft Technology Licensing, Llc | Adjusting image frames based on tracking motion of eyes |
US10026212B2 (en) | 2015-11-20 | 2018-07-17 | Google Llc | Electronic display stabilization using pixel velocities |
US20170161853A1 (en) | 2015-12-03 | 2017-06-08 | James Carroll Gossweiler | Mapping system that identifies site-specific real estate due diligence professionals and related service providers |
CA3007367A1 (en) | 2015-12-04 | 2017-06-08 | Magic Leap, Inc. | Relocalization systems and methods |
US10241569B2 (en) | 2015-12-08 | 2019-03-26 | Facebook Technologies, Llc | Focus adjustment method for a virtual reality headset |
FR3046261B1 (fr) | 2015-12-24 | 2018-08-31 | Starbreeze Paris | Element mobile hybride, procede et dispositif pour interfacer une pluralite d'elements mobiles hybrides avec un systeme informatique, et ensemble pour systeme de realite virtuelle ou augmentee |
US10130429B1 (en) | 2016-01-06 | 2018-11-20 | Ethicon Llc | Methods, systems, and devices for controlling movement of a robotic surgical system |
KR20180110051A (ko) | 2016-02-05 | 2018-10-08 | 매직 립, 인코포레이티드 | 증강 현실을 위한 시스템들 및 방법들 |
US10788791B2 (en) | 2016-02-22 | 2020-09-29 | Real View Imaging Ltd. | Method and system for displaying holographic images within a real object |
WO2017147178A1 (en) | 2016-02-22 | 2017-08-31 | Google Inc. | Separate time-warping for a scene and an object for display of virtual reality content |
US10334076B2 (en) | 2016-02-22 | 2019-06-25 | Google Llc | Device pairing in augmented/virtual reality environment |
US9639935B1 (en) | 2016-05-25 | 2017-05-02 | Gopro, Inc. | Apparatus and methods for camera alignment model calibration |
US10453272B2 (en) | 2016-05-29 | 2019-10-22 | Google Llc | Time-warping adjustment based on depth information in a virtual/augmented reality system |
US10366536B2 (en) | 2016-06-28 | 2019-07-30 | Microsoft Technology Licensing, Llc | Infinite far-field depth perception for near-field objects in virtual environments |
US11430070B1 (en) | 2017-07-31 | 2022-08-30 | Block, Inc. | Intelligent application of reserves to transactions |
IL303182B2 (en) | 2016-08-02 | 2024-07-01 | Magic Leap Inc | Virtual and augmented reality systems at a fixed distance and methods |
US11017712B2 (en) | 2016-08-12 | 2021-05-25 | Intel Corporation | Optimized display image rendering |
CA2976464A1 (en) | 2016-08-16 | 2018-02-16 | Sergi Berna Sague | Method and system for wireless location and movement mapping, tracking and analytics |
AU2017317600B2 (en) | 2016-08-22 | 2021-12-09 | Magic Leap, Inc. | Virtual, augmented, and mixed reality systems and methods |
US10318115B2 (en) | 2016-10-14 | 2019-06-11 | OneMarket Network LLC | System and method for presenting optimized map labels |
US10942252B2 (en) | 2016-12-26 | 2021-03-09 | Htc Corporation | Tracking system and tracking method |
US10330936B2 (en) | 2017-01-19 | 2019-06-25 | Facebook Technologies, Llc | Focal surface display |
US10812936B2 (en) | 2017-01-23 | 2020-10-20 | Magic Leap, Inc. | Localization determination for mixed reality systems |
JP7009494B2 (ja) | 2017-03-17 | 2022-01-25 | マジック リープ, インコーポレイテッド | カラー仮想コンテンツワーピングを伴う複合現実システムおよびそれを使用して仮想コンテンツ生成する方法 |
EP3596702A4 (en) | 2017-03-17 | 2020-07-22 | Magic Leap, Inc. | MIXED REALITY SYSTEM WITH MULTI-SOURCE VIRTUAL CONTENT COMPOSITION AND ASSOCIATED VIRTUAL CONTENT GENERATION PROCESS |
CA3054619C (en) | 2017-03-17 | 2024-01-30 | Magic Leap, Inc. | Mixed reality system with virtual content warping and method of generating virtual content using same |
EP3619704A4 (en) | 2017-05-01 | 2020-11-11 | Pure Depth Inc. | SACCADED SEQUENTIAL FIELD FRAGMENTATION REDUCTION BASED ON HEAD TRACKING |
US10620710B2 (en) | 2017-06-15 | 2020-04-14 | Microsoft Technology Licensing, Llc | Displacement oriented interaction in computer-mediated reality |
GB201709752D0 (en) | 2017-06-19 | 2017-08-02 | Advanced Risc Mach Ltd | Graphics processing systems |
US10859834B2 (en) | 2017-07-03 | 2020-12-08 | Holovisions | Space-efficient optical structures for wide field-of-view augmented reality (AR) eyewear |
US10403032B2 (en) | 2017-08-22 | 2019-09-03 | Qualcomm Incorporated | Rendering an image from computer graphics using two rendering computing devices |
US10445922B2 (en) | 2017-08-31 | 2019-10-15 | Intel Corporation | Last-level projection method and apparatus for virtual and augmented reality |
US10529086B2 (en) | 2017-11-22 | 2020-01-07 | Futurewei Technologies, Inc. | Three-dimensional (3D) reconstructions of dynamic scenes using a reconfigurable hybrid imaging system |
US10481689B1 (en) | 2018-01-10 | 2019-11-19 | Electronic Arts Inc. | Motion capture glove |
US10861215B2 (en) | 2018-04-30 | 2020-12-08 | Qualcomm Incorporated | Asynchronous time and space warp with determination of region of interest |
WO2020023383A1 (en) | 2018-07-23 | 2020-01-30 | Magic Leap, Inc. | Mixed reality system with virtual content warping and method of generating virtual content using same |
SG10201808124WA (en) | 2018-09-19 | 2020-04-29 | Mastercard International Inc | Method and system for processing transactions |
US11176901B1 (en) | 2019-08-13 | 2021-11-16 | Facebook Technologies, Llc. | Pan-warping and modifying sub-frames with an up-sampled frame rate |
US10843067B1 (en) | 2019-10-04 | 2020-11-24 | Varjo Technologies Oy | Input device, system, and method |
-
2017
- 2017-07-31 IL IL303182A patent/IL303182B2/en unknown
- 2017-07-31 KR KR1020217006131A patent/KR20210025721A/ko not_active Application Discontinuation
- 2017-07-31 EP EP17837488.0A patent/EP3494549A4/en active Pending
- 2017-07-31 IL IL264489A patent/IL264489B/en unknown
- 2017-07-31 AU AU2017305227A patent/AU2017305227B2/en active Active
- 2017-07-31 JP JP2019505238A patent/JP6972105B2/ja active Active
- 2017-07-31 CN CN202311439457.8A patent/CN117741956A/zh active Pending
- 2017-07-31 KR KR1020227041575A patent/KR102626821B1/ko active IP Right Grant
- 2017-07-31 CN CN201780054387.0A patent/CN109661687B/zh active Active
- 2017-07-31 IL IL294134A patent/IL294134B2/en unknown
- 2017-07-31 CA CA3032567A patent/CA3032567A1/en active Pending
- 2017-07-31 KR KR1020197006281A patent/KR20190034321A/ko not_active IP Right Cessation
- 2017-07-31 KR KR1020247001408A patent/KR20240009543A/ko not_active Application Discontinuation
- 2017-07-31 WO PCT/US2017/044762 patent/WO2018026737A1/en unknown
- 2017-07-31 US US15/665,335 patent/US10649211B2/en active Active
-
2020
- 2020-03-04 US US16/809,346 patent/US11073699B2/en active Active
-
2021
- 2021-06-21 US US17/353,434 patent/US11536973B2/en active Active
-
2022
- 2022-03-14 AU AU2022201750A patent/AU2022201750B2/en not_active Expired - Fee Related
- 2022-07-26 US US17/874,184 patent/US11914154B2/en active Active
-
2024
- 2024-01-18 US US18/416,628 patent/US20240160020A1/en active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103261944A (zh) * | 2010-12-28 | 2013-08-21 | 洛克希德马丁公司 | 采用一个或多个反射光表面的头戴式显示装置 |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109661687B (zh) | 固定距离虚拟和增强现实***及方法 | |
EP3741109B1 (en) | Eye center of rotation determination, depth plane selection, and render camera positioning in display systems | |
EP3740847B1 (en) | Display systems and methods for determining registration between a display and a user's eyes | |
US11762462B2 (en) | Eye-tracking using images having different exposure times | |
US11675432B2 (en) | Systems and techniques for estimating eye pose | |
KR20170041862A (ko) | 유저 안경 특성을 결정하는 눈 추적용 디바이스를 갖는 헤드업 디스플레이 | |
US20240085980A1 (en) | Eye tracking using alternate sampling | |
JP2016134668A (ja) | 電子眼鏡および電子眼鏡の制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |