CN114830010A - 带有像差校正和输入耦合衍射光学元件的平视显示器的投影仪 - Google Patents
带有像差校正和输入耦合衍射光学元件的平视显示器的投影仪 Download PDFInfo
- Publication number
- CN114830010A CN114830010A CN202080081273.7A CN202080081273A CN114830010A CN 114830010 A CN114830010 A CN 114830010A CN 202080081273 A CN202080081273 A CN 202080081273A CN 114830010 A CN114830010 A CN 114830010A
- Authority
- CN
- China
- Prior art keywords
- doe
- multifunctional
- waveguide
- projector
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004075 alteration Effects 0.000 title claims abstract description 39
- 230000003287 optical effect Effects 0.000 title claims abstract description 37
- 238000012937 correction Methods 0.000 title claims abstract description 15
- 238000010168 coupling process Methods 0.000 title description 2
- 238000005859 coupling reaction Methods 0.000 title description 2
- 238000000034 method Methods 0.000 claims description 50
- 238000009826 distribution Methods 0.000 claims description 34
- 230000000737 periodic effect Effects 0.000 claims description 5
- 210000001747 pupil Anatomy 0.000 abstract description 4
- 230000033001 locomotion Effects 0.000 description 14
- 239000000463 material Substances 0.000 description 13
- 230000015654 memory Effects 0.000 description 13
- 238000003384 imaging method Methods 0.000 description 12
- 238000009877 rendering Methods 0.000 description 12
- 230000003190 augmentative effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 210000003811 finger Anatomy 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 210000004247 hand Anatomy 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 229920003229 poly(methyl methacrylate) Polymers 0.000 description 4
- 229920000139 polyethylene terephthalate Polymers 0.000 description 4
- 239000005020 polyethylene terephthalate Substances 0.000 description 4
- 239000004926 polymethyl methacrylate Substances 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 239000000758 substrate Substances 0.000 description 3
- 201000009310 astigmatism Diseases 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000004033 plastic Substances 0.000 description 2
- 229920003023 plastic Polymers 0.000 description 2
- 239000004417 polycarbonate Substances 0.000 description 2
- 229920000515 polycarbonate Polymers 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 238000004904 shortening Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 210000003813 thumb Anatomy 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- 206010010071 Coma Diseases 0.000 description 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 235000004035 Cryptotaenia japonica Nutrition 0.000 description 1
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 1
- 102000007641 Trefoil Factors Human genes 0.000 description 1
- 235000015724 Trifolium pratense Nutrition 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- -1 for example Substances 0.000 description 1
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 229920006254 polymer film Polymers 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
- G02B27/005—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration for correction of secondary colour or higher-order chromatic aberrations
- G02B27/0056—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration for correction of secondary colour or higher-order chromatic aberrations by using a diffractive optical element
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
- G02B27/4205—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive optical element [DOE] contributing to image formation, e.g. whereby modulation transfer function MTF or optical aberrations are relevant
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B13/00—Optical objectives specially designed for the purposes specified below
- G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
- G02B13/0015—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras characterised by the lens design
- G02B13/002—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras characterised by the lens design having at least one aspherical surface
- G02B13/0045—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras characterised by the lens design having at least one aspherical surface having five or more lenses
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0112—Head-up displays characterised by optical features comprising device for genereting colour display
- G02B2027/0116—Head-up displays characterised by optical features comprising device for genereting colour display comprising devices for correcting chromatic aberration
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
- G02B6/0001—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
- G02B6/0011—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
- G02B6/0013—Means for improving the coupling-in of light from the light source into the light guide
- G02B6/0015—Means for improving the coupling-in of light from the light source into the light guide provided on the surface of the light guide or in the bulk of it
- G02B6/0016—Grooves, prisms, gratings, scattering particles or rough surfaces
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Diffracting Gratings Or Hologram Optical Elements (AREA)
Abstract
描述了一种用于将光重定向到波导中并提供高阶像差校正的多功能衍射光学元件(DOE)。多功能DOE可以被定位在波导上、连接到波导、与波导邻近或在波导内,并且在一些示例中被定位在投影仪透镜的出射光瞳处或附近。在一个示例中,头戴式显示器(HMD)被配置为输出人工现实内容,包括被配置为接收输入光并且被配置为将接收到的输入光输出到眼盒的波导。HMD还包括被配置为将光输入到波导中的投影仪,该投影仪包括显示器、投影透镜和被配置为将来自投影仪的光重定向到波导中并对显示器的光提供高阶像差校正的多功能衍射光学元件(DOE)。
Description
技术领域
本发明总体上涉及在各种类型的电子***和设备中实现的光学元件和光学***。
背景技术
光学设备,包括头戴式显示器(HMD)设备,向用户提供视觉信息。例如,头戴式显示器被用于虚拟现实(VR)和增强现实(AR)操作。头戴式显示器通常包括电子图像源和光学配件。
在一些增强现实应用中,包括虚拟对象的虚拟图像经由显示器而被呈现给用户并且与真实世界对象组合。在一些应用中,虚拟图像经由部分透明和部分反射的组合器而被呈现给用户,并与用户通过组合器直接可见的真实世界场景叠加。在其他应用中,真实世界对象由图像捕获设备捕获并经由显示器而被呈现给用户。在一些应用中,虚拟对象和真实世界对象的图像捕获可以通过投影仪而被呈现给用户。
发明内容
一般而言,本发明涉及多功能衍射光学元件(DOE)和包括多功能衍射光学元件(DOE)的投影仪。多功能DOE可以是输入耦合器,用于将来自投影仪的光重定向到波导中,同时多功能DOE可以是投影仪透镜的元件。多功能DOE可以被定位在波导上、连接到波导、与波导邻近或在波导内,并且在一些示例中被定位在投影仪透镜的出射光瞳处或附近。如此,多功能DOE可以提高投影仪透镜的性能,例如,多功能DOE可以提高投影仪透镜的成像性能,多功能DOE可以通过在维持投影仪透镜的成像性能的同时使得去除折射元件和/或重新设计投影仪透镜或两者来实现投影仪透镜的缩短。
在一个示例中,本发明涉及一种头戴式显示器(HMD),其被配置为输出人工现实内容,包括被配置为接收输入光并且被配置为将接收到的输入光输出到眼盒的波导。HMD还包括被配置为将光输入到波导中的投影仪,该投影仪包括显示器、投影透镜和被配置为将来自投影仪的光重定向到波导中的多功能衍射光学元件(DOE)。
在一些实施例中,多功能DOE包括线性相位分布和高阶像差校正相位分布。
多功能DOE可以优选地包括旋转对称高阶像差校正相位分布和非旋转对称相位分布。
多功能DOE可以优选地被配置为补偿投影透镜的像差。
投影透镜沿其光轴的长度可以优选地小于4mm。
在一些实施例中,多功能DOE被定位在投影透镜的光阑(stop)的500μm内。
多功能DOE可以优选地被定位在波导的主表面附近。
在一些实施例中,多功能DOE是透射DOE或反射DOE。
在另一个示例中,本发明涉及一种多功能衍射光学元件(DOE),其包括线性相位分布和高阶像差校正相位分布,其中所述高阶像差校正相位分布被配置为提供入射在多功能DOE上的光的高阶像差校正。
在一些实施例中,周期性相位分布被配置为将入射在多功能DOE上的光重定向到波导中。
在一些实施例中,高阶像差校正相位分布被配置为补偿被配置为将光定向到多功能DOE的投影透镜的像差。
在一些实施例中,高阶像差校正相位分布包括旋转对称高阶像差校正相位分布和非旋转对称相位分布。
在一些实施例中,多功能DOE包括透射DOE。
在其他实施例中,多功能DOE包括反射DOE。
在一些实施例中,多功能DOE包括超表面或超材料。
在另一个示例中,本发明涉及一种投影图像的方法,该方法包括从电子显示器发射光并经由投影透镜对发射光进行准直。该方法还包括经由多功能DOE重定向准直发射光,以及经由多功能DOE补偿投影透镜的像差。
在一些实施例中,补偿投影透镜的像差包括对准直发射光的波前引入旋转对称相位延迟分布和非旋转对称相位延迟分布。
重定向准直发射光可以优选地包括将准直发射光重定向到波导中。
该方法还可以优选地包括将多功能DOE定位在波导的主表面处。
在一些实施例中,该方法还包括将多功能DOE定位在距投影透镜的光阑为500μm内。
在一些实施例中,该方法还包括将多功能DOE定位在距电子显示器为4mm内。
在另一个示例中,本发明涉及一种投影仪透镜,包括:一个或多个透镜元件,其具有光功率并被配置为对在投影仪透镜的焦平面处或附近发射的光进行准直;透镜光阑,其被定位成与一个或多个透镜元件的焦平面相对;多功能衍射光学元件(DOE),其被定位成与一个或多个透镜元件的透镜光阑相对,该多功能DOE包括:线性相位分布;以及高阶像差校正相位分布,其被配置为对入射在多功能DOE上的光提供高阶像差校正。
因此,所公开的示例提供了一种DOE,它是多功能的并且可以通过将光重定向到波导中来充当输入耦合器并且可以充当投影仪透镜的透镜元件以提高投影仪透镜的成像性能,从而能够减少投影仪透镜的长度。
附图说明
图1是描绘根据本发明中描述的技术的包括多功能衍射光学元件(DOE)的示例人工现实***的图示。
图2A是描绘根据本发明中描述的技术的包括多功能DOE的示例HMD的图示。
图2B是描绘根据本发明中描述的技术的包括多功能DOE的另一个示例HMD的图示。
图3是示出根据本发明中描述的技术的图1的人工现实***的控制台和HMD的示例实现的框图。
图4是描绘根据本发明中描述的技术的图1的人工现实***的示例HMD的框图。
图5是描绘根据本发明中描述的技术的包括多功能DOE的示例人工现实***的图示。
图6是描绘根据本发明中描述的技术的包括多功能DOE的另一个示例人工现实***的图示。
图7是描绘根据本发明中描述的技术的包括多功能DOE的另一个示例人工现实***的图示。
图8是描绘根据本发明中描述的技术的包括多功能DOE的另一个示例人工现实***的图示。
图9是描绘根据本发明中描述的技术的包括多功能DOE的另一个示例人工现实***的图示。
图10是描绘根据本发明中描述的技术的在人工现实***中包括DOE的投影透镜的图示。
图11A是描绘根据本发明中描述的技术的包括多功能DOE的示例投影仪透镜的截面图的图示。
图11B是根据本发明中描述的技术的图11A的投影透镜在各种光线角度处的一组示例调制传递函数(MTF)的曲线图。
具体实施方式
一般而言,本发明涉及多功能衍射光学元件(DOE)和包括多功能DOE的投影仪。多功能DOE可以包括可见光波长量级或更小的结构,其充当耦合器以将来自投影仪的光重定向到波导中,同时充当改善投影仪透镜的成像质量的透镜元件和/或投影仪。在一些示例中,多功能DOE可以是透射光栅,其在通过多功能DOE透射之后引起对投影仪的像差的校正,诸如经由光栅的一个或两个表面的物理表面分布的空间变化引起像差校正的表面浮雕光栅,经由多功能DOE的材料中的折射率的空间变化引起像差校正的诸如全息光学元件的体光栅,等等。在一些示例中,多功能DOE可以包括光波长量级或更小的反射结构,其在从多功能DOE反射到波导中之后引起对投影仪透镜的像差的校正,诸如经由光栅的反射表面的物理表面分布的空间变化赋予像差校正的表面浮雕反射光栅,经由多功能DOE的材料体中的折射率的空间变化赋予相位分布的诸如反射布拉格光栅的体反射光栅,等等。DOE可以被定位在波导上、连接到波导、与波导邻近或在波导内,并且在一些示例中被定位在投影仪透镜的出射光瞳处或附近。在一些示例中,DOE可以被定位在与投影仪相对的波导的表面处或附近。如此,DOE的像差校正可以提高投影仪透镜的性能,例如,DOE可以提高投影仪透镜的成像性能,DOE可以通过在维持投影仪透镜的成像性能的同时使得去除折射元件和/或重新设计投影仪透镜或二者兼而有之来实现投影仪透镜的缩短。
图1是描绘根据本发明中描述的技术的包括角度选择性漫射组合器的示例人工现实***的图示。在图1的示例中,人工现实***100包括HMD 112、一个或多个控制器114A和114B(统称为“(多个)控制器114”),并且在一些示例中可以包括一个或多个外部传感器90和/或控制台106。
HMD 112通常由用户110佩戴并且包括用于向用户110呈现人工现实内容122的电子显示器和光学配件。此外,HMD 112包括用于跟踪HMD的运动的一个或多个传感器(例如,加速度计)112并且可以包括用于捕获周围物理环境的图像数据的一个或多个图像捕获设备138(例如,相机、线扫描仪)。尽管被图示为头戴式显示器,但是AR***100可以备选地或附加地包括用于向用户110呈现人工现实内容122的眼镜或其他显示设备。
每个控制器114是用户110可以用来向控制台106、HMD 112或人工现实***100的另一组件提供输入的输入设备。(多个)控制器114可以包括一个或多个存在敏感型表面,用于通过检测触摸或悬停在存在敏感型表面的位置上方的一个或多个对象(例如,手指、触控笔)的存在来检测用户的输入。在一些示例中,(多个)控制器114可以包括输出显示器,其可以是存在敏感型显示器。在一些示例中,(多个)控制器114可以是智能电话、平板计算机、个人数据助理(PDA)或其他手持设备。在一些示例中,(多个)控制器114可以是智能手表、智能环或其他可穿戴设备。(多个)控制器114也可以是信息亭或其他固定或移动***的一部分。备选地或附加地,(多个)控制器114可以包括其他用户输入机制,诸如一个或多个按钮、触发器、操纵杆、方向键等,以使得用户能够与由人工现实***100呈现给用户110的人工现实内容122的各方面进行交互和/或控制。
在这个示例中,控制台106被示为单个计算设备,诸如游戏控制台、工作站、台式计算机或膝上型计算机。在其他示例中,控制台106可以分布在多个计算设备上,诸如分布式计算网络、数据中心或云计算***。如该示例中所示,控制台106、HMD 112和传感器90可以经由网络104可通信地耦合,网络104可以是有线或无线网络,诸如Wi-Fi、网状网络或短程无线通信介质或它们的组合。尽管在这个示例中将HMD 112示为与控制台106通信,例如连接到控制台106或与之无线通信,但是在一些实现中,HMD 112作为独立的移动人工现实***来进行操作,并且人工现实***100可以省略控制台106。
一般来说,人工现实***100渲染人工现实内容122以在HMD 112处显示给用户110。在图1的示例中,用户110观看由在HMD 112和/或控制台106上执行的人工现实应用所构建和渲染的人工现实内容122。在一些示例中,人工现实内容122可以是完全人工的,即,与用户110所在的环境不相关的图像。在一些示例中,人工现实内容122可以包括真实世界图像(例如,用户110的手、(多个)控制器114、用户110附近的其他环境对象)和虚拟对象120的混合,以产生混合现实和/或增强现实。在一些示例中,例如相对于真实世界图像,虚拟内容项可以被映射(例如,固定、锁定、放置)到人工现实内容122内的特定位置。用于虚拟内容项的位置可以是固定的,例如相对于墙或地球之一是固定的。用于虚拟内容项的位置可以是可变的,例如,相对于控制器114或用户是可变的。在一些示例中,虚拟内容项在人工现实内容122内的特定位置与真实世界物理环境内的位置相关联(例如,在物理对象的表面上)。
在操作期间,人工现实应用构建人工现实内容122以通过跟踪和计算参考框架的姿势信息来显示给用户110,参考框架通常是HMD 112的观看视角。使用HMD 112作为参考框架,并且基于由HMD 112的当前估计姿势所确定的当前视场,人工现实应用渲染3D人工现实内容,在一些示例中,该内容可以至少部分地被叠加在用户110的真实世界3D物理环境上。在这个过程期间,人工现实应用使用从HMD 112接收的感测数据,诸如移动信息和用户命令,并且在一些示例中,来自任何外部传感器90(诸如外部相机)的数据,以在真实世界物理环境内捕获3D信息,诸如用户110的运动和/或关于用户110的特征跟踪信息。基于感测数据,人工现实应用确定针对HMD 112的参考框架的当前姿势,并且根据当前姿势,渲染人工现实内容122。
人工现实***100可以基于用户110的当前视场130或其他条件来触发虚拟内容项的生成和渲染,用户110的当前视场130可以通过用户的实时注视跟踪来确定。更具体地,HMD 112的图像捕获设备138捕获表示在图像捕获设备138的视场130内的真实世界物理环境中的对象的图像数据。视场130通常对应于HMD 112的观看视角。在一些示例中,人工现实应用呈现包括混合现实和/或增强现实的人工现实内容122。人工现实应用可以渲染真实世界对象的图像,诸如用户110的***设备、手和/或手臂的各部分,它们与诸如在人工现实内容122内的虚拟对象120一起在视场130内。在其他示例中,人工现实应用可以在人工现实内容122内渲染在视场130内的用户110的***设备136、手132和/或手臂134的各部分的虚拟表示(例如,将真实世界对象渲染为虚拟对象)。在任一示例中,用户110能够在人工现实内容122内查看他们的手、手臂、***设备和/或在视场130内的任何其他真实世界对象的各部分。在其他示例中,人工现实应用可以不渲染用户110的手或手臂的表示。
为了提供与场景中的真实世界对象叠加的虚拟内容,HMD 112可以包括投影仪和波导以将由投影仪形成的图像转换到用户的一只或两只眼睛可观看的位置。投影仪可以包括显示器和投影仪透镜。波导可以包括输入光栅耦合器以将来自投影仪的光重定向到波导中,并且波导可以经由全内反射(TIR)“捕捉”光。例如,投影仪透镜可以包括多功能DOE,其可以是衍射光栅,其既用作将光重定向到波导中的光栅耦合器,又用作改善投影仪透镜的成像质量的透镜元件。波导可以包括输出光栅以将光从波导重定向到例如眼盒。在一些示例中,投影仪透镜可以对来自显示器的光进行准直,例如显示器可以基本上位于投影仪透镜的焦点处。光栅耦合器可以将来自显示器的准直光重定向到波导中,并且光可以经由波导表面处的TIR而在波导内传播。波导可以包括输出结构,例如孔、凸块、点、HOE、DOE等,以将来自波导的光重定向到用户的眼睛,从而将来自投影仪的显示器的准直光聚焦在用户的视网膜上,从而在用户的视网膜上重建显示图像。在一些示例中,波导的TIR用作反射镜并且不会显著影响显示器的图像质量,例如用户对显示器的观看相当于在反射镜中观看显示器。
图2A是描绘根据本发明中描述的技术的包括多功能DOE的示例HMD 112的图示。图2A的HMD 112可以是图1的HMD 112的示例。如图2A中所示,HMD 112可以采取眼镜的形式。HMD 112可以是人工现实***的一部分,诸如图1的人工现实***100,或者可以作为被配置为实现本文所述的技术的独立的移动人工现实***来操作。
在这个示例中,HMD 112是包括前框架的眼镜,该前框架包括允许HMD 112搁置在用户的鼻子上的梁和太阳穴(或“臂部”),其在用户的耳朵上延伸以将HMD 112固定到用户。此外,图2A的HMD 112包括一个或多个波导203A和203B(统称为“波导203”)和一个或多个波导输出结构205A和205B(统称为“波导输出结构205”),其配置为对出自波导205A和205B的光进行重定向。在所示的示例中,投影仪148A和148B(统称为“投影仪148”)可以经由光栅耦合器(未示出)将光(例如,准直光)输入到波导203A和203B中,光栅耦合器将来自投影仪148的光重定向到波导203中,以使得光经由波导内的全内反射(TIR)被“捕捉”。例如,投影仪148A和148B可以包括显示器和投影仪透镜。投影仪透镜可以包括多功能DOE,其可以是衍射光栅,其既用作将光重定向到波导中的光栅耦合器,又用作改善投影仪透镜的成像质量的透镜元件。在一些示例中,波导203可以是透明的并且在下文中可替代地被称为“窗口203”。在一些示例中,当跟踪HMD 112的位置和取向以根据HMD 112和用户的当前观看视角来渲染人工现实内容时,窗口203的已知取向和位置(相对于HMD 112的前框架)被用作参考框架,也被称为局部原点。在一些示例中,投影仪148可以提供用于向用户的每只眼睛提供单独图像的立体显示。
在所示的示例中,波导输出结构205覆盖窗口203的一部分,对着用户110可通过窗口203观看的视场130的一部分。在其他示例中,波导输出结构205可以覆盖窗口203的其他部分,或窗口205的整个区域。
如图2A中进一步所示,在这个示例中,HMD 112还包括一个或多个运动传感器206、一个或多个集成图像捕获设备138A和138B(统称为“图像捕获设备138”)、内部控制单元210,其可以包括内部电源和具有一个或多个处理器、存储器和硬件的一个或多个印刷电路板,以提供用于执行可编程操作以处理感测数据并在角度选择性漫射组合器205上呈现人工现实内容的操作环境。
图2B是描绘包括多功能DOE的另一示例HMD的图示。HMD 112可以是人工现实***的一部分,诸如图1的人工现实***100,或者可以作为被配置为实现本文所述的技术的独立的移动人工现实***操作。
在这个示例中,HMD 112包括前刚性主体和用于将HMD 112固定到用户的带子。此外,HMD 112包括波导203(或者,备选地,窗口203),其被配置为经由波导输出结构205向用户呈现人工现实内容。在所示的示例中,投影仪148可以经由光栅耦合器(未示出)将光(例如准直光)输入到波导203中,光栅耦合器将来自投影仪148的光重定向到波导203中,以使得光经由波导内的全内反射(TIR)被“捕捉”。例如,投影仪148可以包括显示器和投影仪透镜。投影仪透镜可以包括多功能DOE,其既用作将光重定向到波导中的光栅耦合器,又用作改善投影仪透镜的成像质量的透镜元件。在一些示例中,当跟踪HMD 112的位置和取向以根据HMD 112和用户的当前观看视角来渲染人工现实内容时,波导203的已知取向和位置(相对于HMD 112的前刚性主体)被用作参考框架,也被称为局部原点。在其他示例中,HMD 112可以采取其他可佩戴头戴式显示器的形式,诸如眼镜或护目镜。
图3是示出根据本发明中描述的技术的包括控制台106和HMD 112的人工现实***的示例实现的框图。在图3的示例中,控制台106基于感测数据,诸如从HMD 112和/或外部传感器接收的运动数据和图像数据,执行用于HMD 112的姿势跟踪、姿势检测以及用户界面生成和渲染。
在这个示例中,HMD 112包括一个或多个处理器302和存储器304,在一些示例中,它们提供用于执行操作***305的计算机平台,操作***305例如可以是嵌入式实时多任务操作***,或其他类型的操作***。进而,操作***305提供用于执行一个或多个软件组件307的多任务操作环境,包括应用引擎340。如关于图2A和图2B的示例所讨论的,处理器302耦合到电子显示器203、运动传感器206、图像捕获设备138,并且在一些示例中,还耦合到光学***205。在一些示例中,处理器302和存储器304可以是分开的、分立的组件。在其他示例中,存储器304可以是在单个集成电路内与处理器302并置的片上存储器。
在一些示例中,光学***205可以包括用于将虚拟内容呈现给用户的投影仪和波导,如上文关于图2A至图2B所描述的。例如,光学***205可以包括投影仪,该投影仪包括电子显示器203和投影透镜。投影透镜还可以包括多功能DOE,其既用作将光重定向到波导中的光栅耦合器,又用作改善投影透镜的成像质量的透镜元件。
一般而言,控制台106是处理从图像捕获设备138接收到的图像和跟踪信息的计算设备,以执行用于HMD 112的手势检测和用户界面和/或虚拟内容生成。在一些示例中,控制台106是单个计算设备,诸如工作站、台式计算机、膝上型计算机或游戏***。在一些示例中,控制台106的至少一部分,诸如处理器312和/或存储器314,可以分布在云计算***、数据中心或网络上,诸如互联网、另一个公共或私有通信网络,例如宽带、蜂窝、Wi-Fi和/或用于在计算***、服务器和计算设备之间传输数据的其他类型的通信网络。
在图3的示例中,控制台106包括一个或多个处理器312和存储器314,在一些示例中,它们提供用于执行操作***316的计算机平台,操作***316例如可以是嵌入式实时多任务操作***或其他类型的操作***。进而,操作***316提供用于执行一个或多个软件组件317的多任务操作环境。处理器312耦合到一个或多个I/O接口315,其提供用于与诸如键盘、游戏控制器、显示设备、图像捕获设备、HMD、***设备等之类的外部设备进行通信的一个或多个I/O接口。此外,一个或多个I/O接口315可以包括一个或多个有线或无线网络接口控制器(NIC),用于与诸如网络104之类的网络进行通信。
控制台106的软件应用317操作以提供整体的人工现实应用。在这个示例中,软件应用317包括应用引擎320、渲染引擎322、手势检测器324、姿势***326和用户界面引擎328。
一般来说,应用引擎320包括提供和呈现人工现实应用的功能性,例如电话会议应用、游戏应用、导航应用、教育应用、训练或仿真应用等。应用引擎320可以包括例如一个或多个软件包、软件库、硬件驱动器和/或应用程序接口(API),以用于在控制台106上实现人工现实应用。响应于应用引擎320的控制,渲染引擎322生成3D人工现实内容以用于由HMD112的应用引擎340显示给用户。
应用引擎320和渲染引擎322根据针对参考框架的当前姿势信息构建人工内容以显示给用户110,参考框架通常是由姿势***326确定的HMD 112的观看视角。基于当前观看视角,渲染引擎322构建3D人工现实内容,在一些情况下,该内容可以至少部分地被叠加在用户110的真实世界3D环境上。在这个过程期间,姿势***326对从HMD 112接收到的感测数据(诸如移动信息和用户命令)进行操作,并且在一些示例中对来自任何外部传感器90(图1)(诸如外部相机)的数据进行操作,以捕获真实世界环境内的3D信息,诸如用户的运动110和/或关于用户110的特征跟踪信息。基于感测数据,姿势***326确定HMD 112的参考框架的当前姿势,并且,根据当前姿势,构建人工现实内容以经由一个或多个I/O接口315来传送到HMD 112以用于显示给用户110。
姿势***326可以确定HMD 112的当前姿势,并且根据当前姿势,触发与任何渲染的虚拟内容相关联的某些功能性(例如,将虚拟内容项放置到虚拟表面上,操纵虚拟内容项,生成并渲染一个或多个虚拟标记,生成并渲染激光指示符)。在一些示例中,姿势***326检测HMD 112是否在对应于虚拟表面(例如,虚拟钉板)的物理位置附近,以触发虚拟内容的渲染。
用户界面引擎328被配置为生成用于在人工现实环境中渲染的虚拟用户界面。用户界面引擎328生成虚拟用户界面以包括一个或多个虚拟用户界面元素329,诸如虚拟绘图界面、可选菜单(例如,下拉菜单)、虚拟按钮、方向键、键盘或其他用户可选择的用户界面元素、字形、显示元素、内容、用户界面控件等。
控制台106可以经由通信信道将该虚拟用户界面和其他人工现实内容输出到HMD112以在HMD 112处显示。
基于来自任何图像捕获设备138或其他传感器设备的感测数据,手势检测器324分析用户110的对象(例如,手、手臂、手腕、手指、手掌、拇指)和/或控制器114的被跟踪的运动、配置、位置和/或取向,以识别由用户110执行的一个或多个手势。更具体地,手势检测器324分析在由HMD 112的图像捕获设备138和/或传感器90和外部相机102捕获的图像数据内识别的对象,以识别(多个)控制器114和/或用户110的手和/或手臂,并跟踪(多个)控制器114、手和/或手臂相对于HMD 112的移动以识别由用户110执行的手势。在一些示例中,手势检测器324可以基于所捕获的图像数据来跟踪(多个)控制器114、对象的手、手指和/或手臂的移动,包括位置和取向的改变,并且将对象的运动向量与手势库330中的一个或多个条目进行比较,以检测由用户110执行的手势或手势组合。在一些示例中,手势检测器324可以接收由(多个)控制器114的(多个)存在敏感型表面检测到的用户输入并且处理用户输入以检测由用户110相对于(多个)控制器114执行的一个或多个手势。
图4是描绘根据本发明中描述的技术的其中HMD 112是独立的人工现实***的示例的框图。在这个示例中,如图3,HMD 112包括一个或多个处理器302和存储器304,在一些示例中,它们提供用于执行操作***305的计算机平台,操作***305例如可以是嵌入式实时多任务操作***或其他类型的操作***。进而,操作***305提供用于执行一个或多个软件组件417的多任务操作环境。此外,(多个)处理器302耦合到(多个)电子显示器203、(多个)变焦光学***205、运动传感器206和图像捕获设备138。
在一些示例中,光学***205可以包括用于向用户呈现虚拟内容的投影仪和波导,如上文关于图2A至图2B所描述的。例如,光学***205可以包括投影仪,该投影仪包括电子显示器203和投影透镜。投影透镜还可以包括多功能DOE,其既用作将光重定向到波导中的光栅耦合器,又用作改善投影透镜的成像质量的透镜元件。
在图4的示例中,软件组件417操作以提供整体的人工现实应用。在这个示例中,软件应用417包括应用引擎440、渲染引擎422、手势检测器424、姿势***426和用户界面引擎428。在各种示例中,软件组件417类似于图3的控制台106的对应组件(例如,应用引擎320、渲染引擎322、手势检测器324、姿势***326和用户界面引擎328)来操作,以构建叠加在人工内容上或作为人工内容一部分的虚拟用户界面以显示给用户110。
类似于关于图3描述的示例,基于来自任何图像捕获设备138或102、(多个)控制器114或其他传感器设备的感测数据,手势检测器424分析用户的对象(例如,手、手臂、手腕、手指、手掌、拇指)和/或(多个)控制器114的被跟踪运动、配置、位置和/或取向,以识别由用户110执行的一个或多个手势。
图5是描绘根据本发明中描述的技术的包括多功能DOE 502的示例人工现实***500的截面图的图示。在所示的示例中,人工现实***500包括用户的眼睛510、投影仪148和波导203。波导203包括安置在波导203的一个部分上或在其附近的波导输出结构205,以及安置在波导203的不同部分上或在其附近的多个功能性DOE 502。
在所示的示例中,投影仪148被配置为以与波导203的主表面成一定角度(例如,基本上垂直的角度)而朝向波导203的主表面投射光。投影仪148被配置为基本上准直来自投影仪显示器的光。
在所示的示例中,多功能DOE 502对于来自投影仪148的光504基本上是透明的,并且相对于投影仪148被定位,以使得来自投影仪148的基本上所有光都入射在多功能DOE502上。功能DOE 502被定位在波导203的主表面附近。在一些示例中,多功能DOE 502可以是波导203的主表面的一部分,或者可以被定位在波导203内。多功能DOE 502被配置为以比波导203的临界角更小的角度重定向来自投影仪148的光,以使得光将在波导203内TIR。多功能DOE 502还被配置为用作透镜或透镜元件,例如具有球面聚焦能力或以其他方式被配置为对入射波前进行整形。例如,多功能DOE 502可以被配置为多元件投影透镜的透镜元件。
在一些示例中,多功能DOE 502可以是衍射光学元件,例如衍射光栅、相位板、相位光栅、刻划光栅、全息光栅等。多功能DOE 502可以由任何合适的材料制成,例如玻璃、塑料或聚合材料,诸如聚(甲基丙烯酸甲酯)(PMMA)、聚碳酸酯(PC)、聚(对苯二甲酸乙二醇酯)(PET)、超材料或超表面,或在可见光和/或近红外波长光谱中具有显著透明度的任何合适材料。在一些示例中,多功能DOE 502可以是由诸如玻璃、塑料或诸如聚(甲基丙烯酸甲酯)(PMMA)、聚碳酸酯(PC)、聚(对苯二甲酸乙二醇酯)(PET)之类的聚合材料之类的任何合适材料制成的反射表面光栅,或任何合适的基底材料,并用在可见光和/或近红外波长光谱中具有显著反射率的任何合适材料进行涂覆,例如,铝、银、铜等。
在一些示例中,多功能DOE 502可以包括平面衬底,并且在一些示例中多功能DOE502可以包括弯曲衬底,以使得DOE 502包括聚焦能力。在一些示例中,多功能DOE 502可以包括空间变化结构,其经由物理高度/深度差异或折射率差异或两者在入射波前赋予空间变化的相位延迟。在一些示例中,空间变化的相位延迟可以是特征相位延迟图案的迭加。例如,多功能DOE 502可以包括闪耀光栅图案,其被配置为将基本上准直的光重定向到波导203中,迭加有可以对入射光的波形进行整形的任意相位延迟图案,例如,以校正任意阶的像差。
在一些示例中,多功能DOE 502可以是偏振敏感的。例如,多功能DOE 502可以是透射或反射偏振体全息图(PVH)、液晶填充表面浮雕光栅(LC-SRG)、各向异性聚合物膜(APF)、透射或反射全息相分散液体晶体(H-PDLC)、Pancharatnam-Berry相位透镜或光栅(PBP)等。
在所示的示例中,波导输出结构205被定位在波导203的主表面附近。在一些示例中,波导输出结构205可以是波导203的主表面的一部分,或者可以被定位在波导203内。波导输出结构205被配置为将来自波导的光重定向出去并到达用户的眼睛510。
图6是描绘根据本发明中描述的技术的包括多功能DOE 502的另一个人工现实***600的截面图的图示。
人工现实***600类似于图5的人工现实***500,除了用户的眼睛510和波导输出结构205位于波导203的与投影仪148和多功能DOE 502相对的表面上之外。如图6至图7中所图示,输出波导结构205和用户的眼睛510可以位于与投影仪148和多功能DOE 502的波导203的任一侧上或与其邻近。
图7是描绘根据本发明中描述的技术的包括多功能DOE 502的另一个人工现实***700的截面图的图示。
人工现实***700类似于图5的人工现实***500,除了多功能DOE 502位于波导203的与投影仪148相对的表面上或与其邻近之外。在所示的示例中,来自投影仪148的光基本上垂直于波导203的表面入射,并且波导203对可见光和/或近红外光是基本上透明的。光在波导203的材料中沿厚度方向传播并入射在多功能DOE 502上。多功能DOE 502可以基本上是反射的,并且可以将来自投影仪的光反射和重定向到波导203中,并用作投影仪148的透镜或透镜元件。
图8是描绘根据本发明中描述的技术的包括多功能DOE 502的另一个人工现实***800的截面图的图示。
人工现实***800类似于图7的人工现实***700,除了用户的眼睛510和波导输出结构205位于波导203的与投影仪148相对的表面上之外。如图7至图8中所图示,输出波导结构205和用户的眼睛510可以位于与投影仪148和/或多功能DOE 502的波导203的任一侧上或与其邻近。
图9是描绘根据本发明中描述的技术的包括多功能DOE 502的另一个人工现实***900的截面图的图示。
在所示的示例中,多功能DOE 502被定位在波导203内,并且波导输出结构205也被定位在波导203内。在一些示例中,除了用作透镜元件之外,多功能DOE可以透射和重定向光,如图9中的光路A所图示。在一些示例中,除了用作透镜元件之外,多功能DOE还可以反射和重定向光,如图9中的光路B所图示。类似地,波导输出结构205可以在透射中重定向光,如图9中所图示,和/或波导输出结构205可以在反射中重定向光(未示出)。
人工现实***900类似于图5至图8的人工现实***500-800,并且图示了投影仪148和用户的眼睛510可以相对于彼此以及相对于多功能DOE 502和波导输出结构205中的任何一个而位于波导203的任何侧上。图9还图示了多功能DOE 502和波导输出结构205两者都可以位于波导203内的任何位置或彼此独立地邻近波导203的任一表面。
图10是描绘根据本发明中描述的技术的包括多功能DOE 502的示例人工现实***500的截面图的图示。
图10中所示的示例还图示了投影透镜1002的细节。在所示的示例中,投影仪148包括显示器1008和投影透镜1002。投影透镜1002包括一个或多个透镜元件1006、光阑1004和多功能DOE 502。在所示的示例中,显示器1008位于投影仪透镜1002的焦平面处或附近,并且来自显示器1008的光被准直或基本上准直。
图11A是描绘根据本发明中描述的技术的包括多功能DOE 502的示例投影仪1148的截面图的图示。
图11中所示的示例还图示了投影透镜1002的细节。在所示的示例中,投影仪1148包括显示器1008和投影透镜1002。投影透镜1002包括多个透镜元件1102-1110、光阑1004和多功能DOE 502。在所示的示例中,显示器1008位于投影仪透镜1002的焦平面处或附近,并且来自显示器1008的光被准直或基本上准直。然后由多功能DOE 502将光重定向到波导中,例如图5至图10中所图示的波导203。投影仪1148的长度可以被定义为从光阑1004到显示器1008的距离,并且在所示的示例中由L来标示。在一些示例中,投影仪1148的长度L可以小于10mm,并且在其他示例中,投影仪1148的长度L可以小于4mm。从光阑1004到多功能DOE 502的距离在所示的示例中由D标示。在一些示例中,距离D可以大于100μm,并且在其他示例中,距离D可以大于500μm。在一些示例中,距离D可以是负值,例如,多功能DOE 502可以位于出射光瞳和第一透镜元件1102之间。所示的示例还图示了在显示器1008上的准直光的焦点位置,用于在多功能DOE 502处光进入投影仪1148,例如,在相反方向上,作为投影仪1148的图像投影质量的模拟。换句话说,投影仪1148在投影图像方面的质量可以通过投影仪1148在显示器1008(例如投影透镜1002的焦平面)处的成像质量来估计。在所示的示例中,在图11A中图示了主光线和两个边缘光线的焦点位置,每个边缘光线用于多个离轴角处的离轴准直光和轴向准直光。
图11B是根据本发明中描述的技术的示例投影仪1148在各种光线角度处的一组示例调制传递函数(MTF)的曲线图1150。在所示的示例中,曲线1150图示了投影仪1150的MTF,包括用于在多个离轴角处的一组光线并且包括轴向光线的多功能DOE 502。所图示的一组MTF用于在“反向”方向上追踪的光线,例如,将光线聚焦在显示器1008的平面中。例如经由光的可逆性,来自该“反向”光线追踪的MTF与AR***(例如AR***600-900)中的投影透镜的图像投影质量相关。
在一些示例中,与不包括多功能DOE 502的等效投影仪相比,多功能DOE 502可以改善投影仪(例如投影仪1148)的MTF。例如,与投影仪1148相比,等效投影仪可以包括基本上相同长度L并具有相同数量的光学元件的投影仪,但多功能DOE 502除外,但是,这种等效投影仪的光学元件的形状和材料可能与投影仪1148不同,因为等效投影仪将不包括多功能DOE 1148。例如,与没有多功能DOE 502的等效投影仪的MTF值相比,投影仪1148在沿x轴的每个空间频率处的y轴上的MTF值可能更高。
在一些示例中,多功能DOE 502通过补偿存在于不包括多功能DOE 502的投影仪中的像差来改善投影透镜1002的图像投影质量。如此,多功能DOE 502至少提供以下优点:改善投影透镜1002的图像投影质量,在维持投影仪1148的图像投影质量的同时允许减小投影仪1148的长度L,或两者兼而有之。在一些示例中,多功能DOE 502可以去除透镜元件,从而减少透镜的重量和长度。
在一些示例中,多功能DOE 502可以包括周期性相位分布,用于以一定角度将光重定向,例如对应于闪耀光栅、正弦相位光栅、方波相位光栅或任何其他类型的周期性衍射光学元件的相位分布。此外,多功能DOE 502可以包括与线性相位分布迭加的高阶像差校正相位分布,例如,以校正投影透镜1002的其他光学元件(例如元件1102-1110)的像差,并且对光进行重定向。例如,多功能DOE 502可以包括旋转对称相位分布,例如:
其中φ是相位,ρ是多功能DOE 502的径向坐标,N是阶数?例如,对于N=2,φ(ρ)是可以补偿散焦(例如经由ρ2项)和球面像差(例如经由ρ4项)的相位分布。
在一些示例中,多功能DOE 502可以包括非旋转对称的附加相位分布。例如,多功能DOE 502可以包括相位分布,例如:
在一些示例中,旋转对称和非旋转对称相位分布可以与多功能DOE 502的周期性相位分布迭加。在一些示例中,向入射光束添加倾斜的线性相位项也可以另外被添加到多功能DOE 502的相位分布中。如此,在示例中,多功能DOE 502可以被配置为提供高阶像差校正相位分布并用来校正任何像差,例如高阶像差,诸如倾斜和垂直像散、垂直和倾斜三叶形、垂直和水平彗差、垂直和倾斜四叶形、垂直和倾斜二次散光、畸变等,并且将光重定向为衍射光栅。在一些示例中,多功能DOE 502可以被配置为等效于具有高阶非球面系数的非球面透镜。
在一些示例中,多功能DOE 502可以使透镜的其他元件的要求能够被放宽。例如,包括多功能DOE 502的透镜设计可以包括其他需要较少复杂曲率和较少非球面曲率的透镜元件,从而减轻透镜的制造公差。此外,包括多功能DOE 502的透镜设计可以减轻透镜元件的材料要求,例如特殊的非色散、高色散和/或高折射率材料作为透镜元件。
如本文通过各种示例所描述的,本发明的技术可以包括人工现实***或结合人工现实***来实现。如所描述的,人工现实是一种在呈现给用户之前已经以某种方式进行了调整的现实形式,其可以包括例如虚拟现实(VR)、增强现实(AR)、混合现实(MR)、混合的现实或其某种组合和/或派生物。人工现实内容可以包括完全生成的内容或生成的内容与所捕获的内容(例如,真实世界的照片或视频)相结合。人工现实内容可以包括视频、音频、触觉反馈或它们的某种组合,并且可以在单个通道或多个通道中呈现其中的任何一个(诸如向观看者产生三维效果的立体视频)。此外,在一些实施例中,人工现实可以与应用、产品、配件、服务或其某种组合相关联,例如其被用来在人工现实中创建内容和/或在人工现实中被使用(例如,在其中执行活动)。提供人工现实内容的人工现实***可以被实现在各种平台上,包括连接到主机计算机***的头戴式设备(HMD)、独立的HMD、移动设备或计算***或任何其他能够向一个或多个观看者提供人工现实内容的硬件平台。
本发明中描述的技术可以至少部分地以硬件、软件、固件或其任何组合来实现。例如,所描述技术的各个方面可以在一个或多个处理器内实现,包括一个或多个微处理器、DSP、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或任何其他等效的集成或分立逻辑电路以及这些组件的任何组合。术语“处理器”或“处理电路”通常可以单独或与其他逻辑电路或任何其他等效电路组合地指代任何前述逻辑电路。包括硬件的控制单元也可以执行本发明的技术中的一个或多个。
这样的硬件、软件和固件可以被实现在同一设备内或在分开的设备内以支持本发明中描述的各种操作和功能。此外,任何所描述的单元、模块或组件可以一起被实现或被分开实现为分立但可互操作的逻辑设备。将不同特征描述为模块或单元旨在突出不同的功能方面,并不一定意味着这些模块或单元必须由分开的硬件或软件组件来实现。相反,与一个或多个模块或单元相关联的功能性可以由分开的硬件或软件组件来执行或被集成在公共或分开的硬件或软件组件内。
本发明中描述的技术还可以被体现或编码在包含指令的诸如计算机可读存储介质之类的计算机可读介质中。嵌入或编码在计算机可读存储介质中的指令可以使可编程处理器或其他处理器执行方法,例如在指令被执行时。计算机可读存储介质可以包括随机存取存储器(RAM)、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、闪存、硬盘、CD-ROM、软盘、磁带、磁介质、光学介质或其他计算机可读介质。
如本文通过各种示例所描述的,本发明的技术可以包括人工现实***或结合人工现实***来实现。如所描述的,人工现实是一种在呈现给用户之前已经以某种方式进行了调整的现实形式,其可以包括例如虚拟现实(VR)、增强现实(AR)、混合现实(MR)、混合的现实或其某种组合和/或派生物。人工现实内容可以包括完全生成的内容或生成的内容与所捕获的内容(例如,真实世界的照片)相结合。人工现实内容可以包括视频、音频、触觉反馈或它们的某种组合,并且可以在单个通道或多个通道中呈现其中的任何一个(诸如向观看者产生三维效果的立体视频)。此外,在一些实施例中,人工现实可以与应用、产品、配件、服务或它们的某种组合相关联,例如其被用来在人工现实中创建内容和/或在人工现实中被使用(例如,在其中执行活动)。提供人工现实内容的人工现实***可以被实现在各种平台上,包括连接到主机计算机***的头戴式设备(HMD)、独立的HMD、移动设备或计算***或任何其他能够向一个或多个观看者提供人工现实内容的硬件平台。
Claims (15)
1.一种头戴式显示器(HMD),被配置为输出人工现实内容,包括:
波导,被配置为接收输入光并且被配置为将接收到的所述输入光输出到眼盒;
投影仪,被配置为将光输入到所述波导中,所述投影仪包括:
显示器;
投影透镜;和
多功能衍射光学元件(DOE),被配置为将来自所述投影仪的光重定向到所述波导中。
2.根据权利要求1所述的HMD,其中所述多功能DOE包括线性相位分布和高阶像差校正相位分布;并且优选地,其中所述多功能DOE包括旋转对称的高阶像差校正相位分布和非旋转对称相位分布;并且优选地,其中所述多功能DOE被配置为补偿所述投影透镜的像差;并且优选地,其中所述投影透镜沿其光轴的长度小于4mm。
3.根据权利要求1或2所述的HMD,其中所述多功能DOE被定位在所述投影透镜的光阑的500μm内;并且优选地,其中所述多功能DOE被定位在所述波导的主表面附近。
4.根据前述权利要求中任一项所述的HMD,其中所述多功能DOE是透射DOE或反射DOE。
5.一种多功能衍射光学元件(DOE),包括:
线性相位分布;和
高阶像差校正相位分布,其中所述高阶像差校正相位分布被配置为提供入射在所述多功能DOE上的光的高阶像差校正。
6.根据权利要求5所述的多功能DOE,其中所述周期性相位分布被配置为将入射在所述多功能DOE上的光重定向到波导中。
7.根据权利要求5或6所述的多功能DOE,其中所述高阶像差校正相位分布被配置为补偿投影透镜的像差,所述投影透镜被配置为将光定向到所述多功能DOE。
8.根据权利要求5至7中任一项所述的多功能DOE,其中所述高阶像差校正相位分布包括旋转对称的高阶像差校正相位分布和非旋转对称相位分布。
9.根据权利要求5至8中任一项所述的多功能DOE,其中所述多功能DOE包括透射DOE;或者优选地,其中所述多功能DOE包括反射DOE。
10.根据权利要求5至9所述的多功能DOE,其中所述多功能DOE包括超表面或超材料。
11.一种投影图像的方法,所述方法包括:
从电子显示器发射光;
经由投影透镜对所述发射光进行准直;
经由多功能DOE重定向经准直的所述发射光;以及
经由所述多功能DOE补偿所述投影透镜的像差。
12.根据权利要求11所述的方法,其中补偿所述投影透镜的所述像差包括对经准直的所述发射光的波前引入旋转对称相位延迟分布和非旋转对称相位延迟分布;并且优选地,其中重定向经准直的所述发射光包括将经准直的所述发射光重定向到所述波导中;并且优选地还包括:
将所述多功能DOE定位在所述波导的主表面处。
13.根据权利要求11或12所述的方法,还包括:
将所述多功能DOE定位在距所述投影透镜的光阑为500μm内。
14.根据权利要求11至13中任一项所述的方法,还包括:
将所述多功能DOE定位在距所述电子显示器为4mm内。
15.一种投影仪透镜,包括:
一个或多个透镜元件,具有光功率并且被配置为对在所述投影仪透镜的焦平面处或附近发射的光进行准直;
透镜光阑,被定位成与所述一个或多个透镜元件的所述焦平面相对;
多功能衍射光学元件(DOE),被定位成与所述一个或多个透镜元件的所述透镜光阑相对,所述多功能DOE包括:
线性相位分布;和
高阶像差校正相位分布,被配置为对入射在所述多功能DOE上的光提供高阶像差校正。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962944873P | 2019-12-06 | 2019-12-06 | |
US62/944,873 | 2019-12-06 | ||
US16/800,886 | 2020-02-25 | ||
US16/800,886 US11675192B2 (en) | 2019-12-06 | 2020-02-25 | Hybrid coupling diffractive optical element |
PCT/US2020/058626 WO2021112997A1 (en) | 2019-12-06 | 2020-11-03 | Projector for head up display with aberration correcting and in-coupling diffractive optical element |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114830010A true CN114830010A (zh) | 2022-07-29 |
Family
ID=76209669
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080081273.7A Pending CN114830010A (zh) | 2019-12-06 | 2020-11-03 | 带有像差校正和输入耦合衍射光学元件的平视显示器的投影仪 |
Country Status (6)
Country | Link |
---|---|
US (1) | US11675192B2 (zh) |
EP (1) | EP4070148A1 (zh) |
JP (1) | JP2023504996A (zh) |
KR (1) | KR20220119627A (zh) |
CN (1) | CN114830010A (zh) |
WO (1) | WO2021112997A1 (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11467406B2 (en) | 2019-09-27 | 2022-10-11 | Microsoft Technology Licensing, Llc | Field of view expanding system |
US11448883B2 (en) * | 2019-09-27 | 2022-09-20 | Microsoft Technology Licensing, Llc | Non-linear angular momentum metasurface |
CN212009182U (zh) * | 2019-11-20 | 2020-11-24 | 三赢科技(深圳)有限公司 | 光投射装置和电子装置 |
JP2021086073A (ja) * | 2019-11-29 | 2021-06-03 | セイコーエプソン株式会社 | 画像表示装置 |
CN113985519B (zh) * | 2021-12-24 | 2022-04-08 | 深圳铅笔视界科技有限公司 | 一种光波导器件、显示装置和显示设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1675577A (zh) * | 2002-08-05 | 2005-09-28 | 株式会社尼康 | 图像合成器和图像显示装置 |
CN106471428A (zh) * | 2014-07-15 | 2017-03-01 | 三星电子株式会社 | 全息穿透式光学设备、立体成像***及多媒体头戴式*** |
KR20170096380A (ko) * | 2016-02-16 | 2017-08-24 | 엘지전자 주식회사 | 헤드마운트 디스플레이 장치 |
CN108474956A (zh) * | 2015-12-29 | 2018-08-31 | 微软技术许可有限责任公司 | 具有可变聚焦的增强现实显示*** |
WO2019111237A1 (en) * | 2017-12-10 | 2019-06-13 | Lumus Ltd. | Image projector |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6791760B2 (en) | 2001-07-24 | 2004-09-14 | Itt Manufacturing Enterprises, Inc. | Planar diffractive relay |
US11327324B2 (en) * | 2016-06-09 | 2022-05-10 | 3M Innovative Properties Company | Display system and light guide |
TWI721211B (zh) * | 2017-09-08 | 2021-03-11 | 揚明光學股份有限公司 | 鏡頭及包含其之投影裝置 |
CN110579928A (zh) * | 2018-06-08 | 2019-12-17 | 中强光电股份有限公司 | 投影装置及头戴式显示装置 |
US11137536B2 (en) * | 2018-07-26 | 2021-10-05 | Facebook Technologies, Llc | Bragg-like gratings on high refractive index material |
US10955685B2 (en) * | 2018-12-28 | 2021-03-23 | Lightspace Technologies, SIA | Volumetric display arrangement and a method for representing content of an image |
-
2020
- 2020-02-25 US US16/800,886 patent/US11675192B2/en active Active
- 2020-11-03 EP EP20816015.0A patent/EP4070148A1/en not_active Withdrawn
- 2020-11-03 JP JP2022522015A patent/JP2023504996A/ja active Pending
- 2020-11-03 WO PCT/US2020/058626 patent/WO2021112997A1/en unknown
- 2020-11-03 KR KR1020227021919A patent/KR20220119627A/ko unknown
- 2020-11-03 CN CN202080081273.7A patent/CN114830010A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1675577A (zh) * | 2002-08-05 | 2005-09-28 | 株式会社尼康 | 图像合成器和图像显示装置 |
CN106471428A (zh) * | 2014-07-15 | 2017-03-01 | 三星电子株式会社 | 全息穿透式光学设备、立体成像***及多媒体头戴式*** |
US20170235144A1 (en) * | 2014-07-15 | 2017-08-17 | Samsung Electronics Co., Ltd. | Holographic see-through optical device, stereoscopic imaging system, and multimedia head mounted system |
CN108474956A (zh) * | 2015-12-29 | 2018-08-31 | 微软技术许可有限责任公司 | 具有可变聚焦的增强现实显示*** |
KR20170096380A (ko) * | 2016-02-16 | 2017-08-24 | 엘지전자 주식회사 | 헤드마운트 디스플레이 장치 |
WO2019111237A1 (en) * | 2017-12-10 | 2019-06-13 | Lumus Ltd. | Image projector |
Also Published As
Publication number | Publication date |
---|---|
WO2021112997A1 (en) | 2021-06-10 |
US20210173210A1 (en) | 2021-06-10 |
US11675192B2 (en) | 2023-06-13 |
JP2023504996A (ja) | 2023-02-08 |
KR20220119627A (ko) | 2022-08-30 |
EP4070148A1 (en) | 2022-10-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11598919B2 (en) | Artificial reality system having Bragg grating | |
US11675192B2 (en) | Hybrid coupling diffractive optical element | |
US9939647B2 (en) | Extended field of view in near-eye display using optically stitched imaging | |
EP3398008B1 (en) | Augmented reality display system with variable focus | |
JP2022540303A (ja) | 光学アーチファクト低減のためのアポダイズド光学素子 | |
US11914767B2 (en) | Glint-based eye tracker illumination using dual-sided and dual-layered architectures | |
WO2022203827A1 (en) | Eye tracker illumination through a waveguide | |
US11726328B2 (en) | Accommodation adjustable and magnification corrective optical system | |
WO2022098454A1 (en) | Waveguide assembly with virtual image focus | |
US11803238B1 (en) | Eye and hand tracking utilizing lensless camera and machine learning | |
US12019246B2 (en) | Control of variable-focus lenses in a mixed-reality device for presbyopes | |
US11768375B2 (en) | Control of variable-focus lenses in a mixed-reality device for presbyopes | |
US20240069347A1 (en) | System and method using eye tracking illumination |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: California, USA Applicant after: Yuan Platform Technology Co.,Ltd. Address before: California, USA Applicant before: Facebook Technologies, LLC |