CN107710048A - 在可穿戴式平视显示器中集成眼睛追踪和扫描激光投射的***、设备和方法 - Google Patents

在可穿戴式平视显示器中集成眼睛追踪和扫描激光投射的***、设备和方法 Download PDF

Info

Publication number
CN107710048A
CN107710048A CN201680028103.6A CN201680028103A CN107710048A CN 107710048 A CN107710048 A CN 107710048A CN 201680028103 A CN201680028103 A CN 201680028103A CN 107710048 A CN107710048 A CN 107710048A
Authority
CN
China
Prior art keywords
laser
hologram
hoe
infrared light
refractive power
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680028103.6A
Other languages
English (en)
Inventor
斯蒂芬·亚历山大
杰克·查佩斯可
劳埃德·弗雷德里克·霍兰德
托马斯·马洪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North Inc
Original Assignee
Thalmic Labs Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thalmic Labs Inc filed Critical Thalmic Labs Inc
Publication of CN107710048A publication Critical patent/CN107710048A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0189—Sight systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0816—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
    • G02B26/0833—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements the reflecting element being a micromechanical device, e.g. a MEMS mirror, DMD
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B27/0103—Head-up displays characterised by optical features comprising holographic elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/32—Holograms used as optical elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3129—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] scanning a light beam on the display screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/315—Modulator illumination systems
    • H04N9/3161—Modulator illumination systems using laser light sources
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B27/0103—Head-up displays characterised by optical features comprising holographic elements
    • G02B2027/0105—Holograms with particular structures
    • G02B2027/0107—Holograms with particular structures with optical power
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B27/0103—Head-up displays characterised by optical features comprising holographic elements
    • G02B2027/0109—Head-up displays characterised by optical features comprising holographic elements comprising details concerning the making of holograms
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0149—Head-up displays characterised by mechanical features
    • G02B2027/015—Head-up displays characterised by mechanical features involving arrangement aiming to get less bulky devices
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G02B2027/0174—Head mounted characterised by optical features holographic
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Optical Scanning Systems (AREA)
  • Video Image Reproduction Devices For Color Tv Systems (AREA)
  • Holo Graphy (AREA)
  • Diffracting Gratings Or Hologram Optical Elements (AREA)

Abstract

描述了将眼睛追踪能力集成到基于扫描激光投射器(“SLP”)的可穿戴式平视显示器的***、设备和方法。将红外激光二极管添加至RGB SLP并将红外光电探测器对准以检测红外光从眼睛的特征的反射。全息光学元件(“HOE”)可以用于将可见光、红外光和环境光组合到用户的“视野”中。所述HOE可以是异构且多路复用的从而向所述可见光施加正屈光力并向所述红外光施加零或负屈光力。

Description

在可穿戴式平视显示器中集成眼睛追踪和扫描激光投射的系 统、设备和方法
技术领域
本***、设备和方法总体上涉及基于扫描激光的眼睛追踪技术，并且具体地涉及将眼睛追踪功能集成到基于扫描激光投射器的可穿戴式平视显示器中。
背景技术
相关技术说明
可穿戴式平视显示器
头戴式显示器是以下电子设备：被穿戴在用户的头部上，并且当如此被穿戴时，将至少一个电子显示器固定在用户的至少一只眼睛的可视场内，而不管用户的头部的位置或取向如何。可穿戴式平视显示器是以下头戴式显示器：使用户能够看到显示内容，但是也不会阻碍用户看到其外部环境的能力。可穿戴式平视显示器的“显示器”组件是透明的抑或在用户的视场的***，从而使得它并不完全妨碍用户看到其外部环境的能力。可穿戴式平视显示器的示例包括：仅列举几个而言，Google Optinvent Epson以及Sony
可穿戴式平视显示器的光学性能是其设计中的重要因素。然而，当涉及到面戴式设备时，用户还非常关心美观。庞大的眼镜(包括太阳眼镜)框行业明显地突显了这一点。独立于可穿戴式平视显示器的性能限制，可穿戴式平视显示器的许多前述示例至少部分地因为它们缺乏时尚吸引力而努力寻找其在消费者市场中的魅力。迄今为止所呈现的大多数可穿戴式平视显示器采用了大显示器组件，并且因此，与常规眼镜框相比，迄今为止所呈现的大多数可穿戴式平视显示器要庞大很多且较不时髦。
可穿戴式平视显示器的设计上的挑战是：在仍提供具有足够的视觉质量的显示内容的同时使面戴式装置的体积最小化。本领域需要有着在美观上更具吸引力的设计的可穿戴式平视显示器，所述可穿戴式平视显示器能够向用户提供高质量图像而不限制用户看到其外部环境的能力。
眼睛追踪
眼睛追踪是可以测量、检测、感测、确定(统称为“测量”)、和/或监测眼睛的位置、取向和/或运动的过程。可以通过各种不同方式测量眼睛的位置、取向和/或运动，所述方式中最没有侵害性的是一般采用一个或多个光学传感器(例如，照相机)来光学地追踪眼睛。常见的技术涉及用红外光一下子照亮或淹没整个眼睛并用被调谐为对所述红外光敏感的至少一个光学传感器测量反射。对关于如何从眼睛反射红外光的信息进行分析从而确定一个或多个眼睛特征比如角膜、瞳孔、虹膜和/或视网膜血管的(多个)位置、(多个)取向和/或(多个)运动。
眼睛追踪功能在可穿戴式平视显示器应用中特别有利。可穿戴式平视显示器中眼睛追踪的效用的一些示例包括：影响在用户的视野中显示的内容的位置，通过不显示在用户的视野外的内容来节约电力，影响向用户显示的内容，判断用户正在看哪里，判断用户在其外部环境下正在看显示器上的还是透过显示器的显示内容，以及提供用户可以通过其对显示内容进行控制/与所述显示内容进行交互的手段。然而，将眼睛追踪功能并入可穿戴式平视显示器常规地给***增加了不想要的体积。现在可用的眼睛追踪***一般实施具有非常严格定位要求的多个专用部件，所述部件在被并入可穿戴式平视显示器中时不期望地增大了***的总体尺寸和形状因子。在本领域中需要可集成到可穿戴式平视显示器中而对***的尺寸和形状因子具有最小影响的眼睛追踪***、设备和方法。
发明内容
一种具有集成眼睛追踪器的激光投射器可以被概括为包括：激光模块，包括用于输出红外光的红外激光二极管以及用于输出可见光的至少一个可见光激光二极管；扫描镜，与所述激光模块的输出端对准，从而接收所述红外光和所述可见光两者并且用于可控制地反射所述红外光和所述可见光两者；波长复用全息光学元件，被对准以接收从所述扫描镜反射的所述红外光和所述可见光两者并将所述红外光和所述可见光两者朝向用户的眼睛重定向，其中，所述波长复用全息光学元件包括响应于所述可见光而不响应于所述红外光的第一全息图以及响应于所述红外光而不响应于所述可见光的第二全息图；以及红外探测器，被对准以接收从所述用户的所述眼睛反射的红外光的至少一部分。所述波长复用全息光学元件可以包括至少两个不同的全息材料层：包括所述第一全息图的第一全息材料层以及包括所述第二全息图的第二全息材料层。可替代地，所述波长复用全息光学元件可以包括单个全息材料体，所述单个全息材料体包括所述第一全息图和所述第二全息图两者。所述激光模块中的所述至少一个可见光激光二极管可以包括从由以下各项组成的组中选择的至少一个可见光激光二极管：红色激光二极管、绿色激光二极管、蓝色激光二极管、以及红色激光二极管、绿色激光二极管和/或蓝色激光二极管的任意组合。
所述第一全息图可以向所述可见光施加第一屈光力并且所述第二全息图可以向所述红外光施加第二屈光力，所述第二屈光力不同于所述第一屈光力。所述第一屈光力可以是正屈光力，并且所述第一屈光力可以大于所述第二屈光力。所述第二屈光力可以小于或等于零。
所述激光投射器可以进一步包括：支撑框架，所述支撑框架具有一副眼镜的大体形状和几何结构，其中，所述激光模块、所述扫描镜、所述波长复用全息光学元件和所述红外探测器均由所述支撑框架承载，并且其中，所述波长复用全息光学元件对环境光是基本上透明的并且在所述支撑框架被穿戴在所述用户的头部上时被定位在所述用户的至少一只眼睛的视野中。
一种可穿戴式平视显示器可以被概括为包括：支撑框架，在使用时被穿戴在用户的头部上；激光模块，由所述支撑框架承载，所述激光二极管包括用于输出红外光的红外激光二极管以及用于输出可见光的至少一个可见光激光二极管；扫描镜，所述扫描镜由所述支撑框架承载并与所述激光模块的输出端对准从而接收所述激光模块所输出的所述红外光和所述可见光两者，所述扫描镜用于可控制地反射所述红外光和所述可见光两者；波长复用全息光学元件，由所述支撑框架承载并且在所述支撑框架被穿戴在所述用户的头部上时被定位在所述用户的至少一只眼睛的视野内，所述波长复用全息光学元件被对准以用于在所述支撑框架被穿戴在所述用户的头部上时接收从所述扫描镜反射的所述红外光和所述可见光两者并将所述红外光和所述可见光两者朝所述用户的所述至少一只眼睛重新定向，其中，所述波长复用全息光学元件包括对所述可见光反应并且对所述红外光不反应的第一全息图以及对所述红外光反应并且对所述可见光不反应的第二全息图，并且其中，所述波长复用HOE对环境光是基本上透明的；以及红外探测器，由所述支撑框架承载并被对准以用于在所述支撑框架被穿戴在所述用户的头部上时接收从所述用户的所述至少一只眼睛反射的红外光的至少一部分。所述支撑框架可以具有一副眼镜的大体形状和外观。所述波长复用全息光学元件可以包括至少两个不同的全息材料层：包括所述第一全息图的第一全息材料层以及包括所述第二全息图的第二全息材料层。可替代地，所述波长复用全息光学元件可以包括单个全息材料体，所述单个全息材料体包括所述第一全息图和所述第二全息图两者。所述激光模块中的所述至少一个可见光激光二极管可以包括从由以下各项组成的组中选择的至少一个可见光激光二极管：红色激光二极管、绿色激光二极管、蓝色激光二极管、以及红色激光二极管、绿色激光二极管和/或蓝色激光二极管的任意组合。
所述第一全息图可以向所述可见光施加第一屈光力并且所述第二全息图可以向所述红外光施加第二屈光力，所述第二屈光力不同于所述第一屈光力。所述第一屈光力可以是正屈光力，并且所述第一屈光力可以大于所述第二屈光力。所述第二屈光力可以小于或等于零。
一种操作激光投射器以便将图像投射至用户的眼睛并追踪所述用户的所述眼睛的方法可以被概括为包括：由所述激光投射器的至少第一激光二极管输出可见光，所述可见光表示所述图像的至少一部分；由所述激光投射器的红外激光二极管输出红外光；由所述激光投射器的扫描镜可控制地且反射性地扫描所述可见光和所述红外光两者；由波长复用全息光学元件将所述可见光和所述红外光两者朝向所述用户的所述眼睛重定向；由红外光电探测器检测所述红外光的至少一部分从所述用户的所述眼睛的反射；以及基于所述红外光电探测器所检测到的所述红外光的至少一部分从所述用户的所述眼睛的所述反射，确定所述眼睛的至少一个特征的位置。
由波长复用全息光学元件将所述可见光和所述红外光两者朝向所述用户的所述眼睛重定向可以包括：由所述波长复用全息光学元件的第一全息图向所述可见光施加第一屈光力；以及由所述波长复用全息光学元件的第二全息图向所述红外光施加第二屈光力，所述第二屈光力不同于所述第一屈光力。由所述波长复用全息光学元件的第一全息图向所述可见光施加第一屈光力可以包括：由所述波长复用全息光学元件的所述第一全息图向所述可见光施加第一正屈光力。由所述波长复用全息光学元件的第二全息图向所述红外光施加第二屈光力可以包括：由所述波长复用全息光学元件的所述第二全息图向所述红外光施加小于所述第一屈光力的第二屈光力。由所述波长复用全息光学元件的所述第二全息图向所述红外光施加小于所述第一屈光力的第二屈光力可以包括：由所述波长复用全息光学元件的所述第二全息图向所述红外光施加小于或等于零的第二屈光力。基于所述红外光电探测器所检测到的所述红外光从所述用户的所述眼睛的所述反射确定所述眼睛的至少一个特征的位置可以包括：由处理器基于所述红外光从所述用户的所述眼睛的所述反射确定所述眼睛的至少一个特征的所述位置。由所述激光投射器的至少第一激光二极管输出可见光可以包括以下各项中的至少一项：由所述激光投射器的红色激光二极管输出红光；由所述激光投射器的绿色激光二极管输出绿光；和/或由所述激光投射器的蓝色激光二极管输出蓝光。
一种具有集成眼睛追踪器的激光投射器可以被概括为包括：用于输出激光的激光模块，其中，所述激光模块包括用于向由所述激光模块输出的所述激光贡献第一窄波带内的第一可见激光的第一激光二极管，所述第一可见激光表示图像的至少第一部分；扫描镜，与所述激光模块的输出端对准，从而接收由所述激光模块输出的所述激光并可控制地反射由所述激光模块输出的所述激光；全息光学元件，被对准以接收从所述扫描镜反射的所述激光并将所述激光朝向用户的眼睛重定向，其中，所述全息光学元件包括响应于所述第一窄波带内的所述第一可见激光而不响应于所述第一窄波带外的光的第一全息图；以及第一窄波带光电探测器，被对准以用于接收从所述用户的所述眼睛反射的所述激光的至少一部分，其中，所述第一窄波带光电探测器响应于所述第一窄波带内的所述第一可见激光而不响应于所述第一窄波带外的光。所述激光模块可以包括用于向由所述激光模块输出的所述激光贡献第二窄波带内的第二可见激光的第二激光二极管，所述第二窄波带不同于所述第一窄波带。所述第二可见激光可以表示所述图像的至少第二部分。所述第一全息图可以不响应于所述第二窄波带内的所述第二可见激光。所述全息光学元件可以是波长复用全息光学元件，所述波长复用全息光学元件包括响应于所述第二窄波带内的所述第二可见激光而不响应于所述第一窄波带内的所述第一可见光的第二全息图。所述激光投射器可以进一步包括第二窄波带光电探测器，所述第二窄波带光电探测器响应于所述第二窄波带内的所述第二可见激光而不响应于所述第二窄波带外的光。所述激光模块可以包括用于向由所述激光模块输出的所述激光贡献第三窄波带内的第三可见激光的第三激光二极管，所述第三窄波带不同于所述第一窄波带和所述第二窄波带两者。所述第三可见激光可以表示所述图像的至少第三部分。所述第一全息图可以不响应于所述第三窄波带内的第三可见激光。所述第二全息图可以不响应于所述第三窄波带内的所述第三可见激光。所述波长复用全息光学元件可以包括第三全息图，所述第三全息图响应于所述第三窄波带内的所述第三可见激光而不响应于所述第一窄波带内的所述第一可见激光和所述第二窄波带内的所述第二可见激光两者。所述激光投射器可以进一步包括第三窄波带光电探测器，所述第三窄波带光电探测器响应于所述第三窄波带内的所述第三可见激光而不响应于所述第三窄波带外的光。
所述第一激光二极管可以是红色激光二极管并且所述第一窄波带可以对应于作为红色对所述用户的所述眼睛可见的第一波长范围。所述第二激光二极管可以是绿色激光二极管并且所述第二窄波带可以对应于作为绿色对所述用户的所述眼睛可见的第二波长范围。所述第三激光二极管可以是蓝色激光二极管并且所述第三窄波带可以对应于作为蓝色对所述用户的所述眼睛可见的第三波长范围。
所述全息光学元件可以包括至少三个不同的全息材料层：包括所述第一全息图的第一全息材料层、包括所述第二全息图的第二全息材料层、以及包括所述第三全息图的第三全息材料层。可替代地，所述全息光学元件可以包括单个全息材料体，所述单个全息材料体包括所述第一全息图、所述第二全息图和所述第三全息图这三者。
所述第一全息图可以向所述第一窄波带内的所述第一可见激光施加第一屈光力，所述第二全息图可以向所述第二窄波带内的所述第二可见激光施加相同的所述第一屈光力，并且所述第三全息图可以向所述第三窄波带内的所述第三可见激光施加相同的所述第一屈光力。
所述激光投射器可以进一步包括：支撑框架，所述支撑框架具有一副眼镜的大体形状和外观，其中，所述激光模块、所述扫描镜、所述波长复用全息光学元件和所述第一窄波带光电探测器均由所述支撑框架承载，并且其中，所述波长复用全息光学元件对环境光是基本上透明的并且在所述支撑框架被穿戴在所述用户的头部上时被定位在所述用户的至少一只眼睛的视野中。
一种可穿戴式平视显示器可以被概括为包括：支撑框架，在使用时被穿戴在用户的头部上；激光模块，由所述支撑框架承载，所述激光模块包括用于输出第一窄波带内的第一可见激光的第一激光二极管，所述第一可见激光表示图像的至少第一部分；扫描镜，由所述支撑框架承载并与所述激光模块的输出端对准从而接收所述第一可见激光并可控制地反射所述第一可见激光；全息光学元件，由所述支撑框架承载并且在所述支撑框架被穿戴在所述用户的所述头部上时被定位在所述用户的至少一只眼睛的视野内，所述全息光学元件被对准以用于在所述支撑框架被穿戴在所述用户的所述头部上时接收从所述扫描镜反射的所述第一可见激光并将所述第一可见激光朝向所述用户的所述至少一只眼睛重定向，其中，所述全息光学元件包括响应于所述第一窄波带中的所述第一可见光而不响应于所述第一窄波带外的光的第一全息图，并且其中，所述全息光学元件对环境光是基本上透明的；以及第一窄波带光电探测器，由所述支撑框架承载并被对准以用于在所述支撑框架被穿戴在所述用户的所述头部上时接收从所述用户的所述至少一只眼睛反射的所述第一可见激光的至少一部分，其中，所述第一窄波带光电探测器响应于所述第一窄波带内的所述第一可见激光而不响应于所述第一窄波带外的光。所述支撑框架可以具有一副眼镜的大体形状和外观。
所述可穿戴式平视显示器的所述激光模块可以包括用于输出第二窄波带内的第二可见激光的第二激光二极管，所述第二窄波带不同于所述第一窄波带，其中，所述第二可见激光表示所述图像的至少第二部分。所述第一全息图可以不响应于所述第二窄波带内的所述第二可见激光。所述全息光学元件可以是波长复用全息光学元件，所述波长复用全息光学元件包括响应于所述第二窄波带内的所述第二可见激光而不响应于所述第一窄波带内的所述第一可见光的第二全息图。所述可穿戴式平视显示器可以进一步包括第二窄波带光电探测器，所述第二窄波带光电探测器响应于所述第二窄波带内的所述第二可见激光而不响应于所述第二窄波带外的光。所述可穿戴式平视显示器的所述激光模块可以包括用于输出第三窄波带内的第三可见激光的第三激光二极管，所述第三窄波带不同于所述第一窄波带和所述第二窄波带两者，其中，所述第三可见激光表示所述图像的至少第三部分。所述第一全息图可以不响应于所述第三窄波带内的第三可见激光。所述第二全息图可以不响应于所述第三窄波带内的所述第三可见激光。所述波长复用全息光学元件可以包括第三全息图，所述第三全息图响应于所述第三窄波带内的所述第三可见激光而不响应于所述第一窄波带内的所述第一可见激光和所述第二窄波带内的所述第二可见激光两者。所述可穿戴式平视显示器可以进一步包括第三窄波带光电探测器，所述第三窄波带光电探测器响应于所述第三窄波带内的所述第三可见激光而不响应于所述第三窄波带外的光。
所述第一激光二极管可以是红色激光二极管并且所述第一窄波带可以对应于作为红色对所述用户的所述眼睛可见的第一波长范围。所述第二激光二极管可以是绿色激光二极管并且所述第二窄波带可以对应于作为绿色对所述用户的所述眼睛可见的第二波长范围。所述第三激光二极管可以是蓝色激光二极管并且所述第三窄波带可以对应于作为蓝色对所述用户的所述眼睛可见的第三波长范围。
所述可穿戴式平视显示器的所述全息光学元件可以包括至少三个不同的全息材料层：包括所述第一全息图的第一全息材料层、包括所述第二全息图的第二全息材料层、以及包括所述第三全息图的第三全息材料层。可替代地，所述可穿戴式平视显示器的所述全息光学元件可以包括单个全息材料体，所述单个全息材料体包括所述第一全息图、所述第二全息图和所述第三全息图这三者。
所述第一全息图可以向所述第一窄波带内的所述第一可见激光施加第一屈光力，所述第二全息图可以向所述第二窄波带内的所述第二可见激光施加相同的所述第一屈光力，并且所述第三全息图可以向所述第三窄波带内的所述第三可见激光施加相同的所述第一屈光力。
一种操作激光投射器以便将图像投射至用户的眼睛并追踪所述用户的所述眼睛的方法可以被概括为包括：由激光模块输出可见激光，其中，所述激光模块至少包括第一激光二极管，并且由所述激光模块输出可见激光包括：从所述激光模块的所述第一激光二极管输出第一窄波带内的第一可见激光，并且其中，所述第一可见激光表示图像的至少第一部分；由扫描镜可控制地且反射性地扫描所述可见激光；由全息光学元件将所述可见激光朝向所述用户的所述眼睛重定向；至少由第一窄波带光电探测器检测所述可见激光的至少一部分从所述用户的所述眼睛的反射，其中，所述第一窄波带光电探测器响应于所述第一窄波带内的光而基本上不响应于所述第一窄波带外的光，并且其中，至少由第一窄波带光电探测器检测所述可见激光的所述至少一部分从所述用户的所述眼睛的反射包括：由所述第一窄波带光电探测器检测所述图像的所述第一部分的反射；以及至少基于由所述第一窄波带光电探测器检测到的所述图像的所述第一部分从所述用户的所述眼睛的所述反射，确定所述眼睛的至少一个特征的位置。
所述激光模块可以包括第二激光二极管，并且由激光模块输出可见光可以进一步包括：由所述激光模块的所述第二激光二极管输出第二窄波带内的第二可见激光，所述第二窄波带不同于所述第一窄波带。所述第二可见激光可以表示所述图像的至少第二部分。由扫描镜可控制地且反射性地扫描所述可见激光可以包括：由所述扫描镜可控制地且反射性地扫描所述图像的所述第一部分和所述图像的所述第二部分两者。所述全息光学元件可以是波长复用全息光学元件，所述波长复用全息光学元件包括：第一全息图，响应于所述第一窄波带内的光而不响应于所述第一窄波带外的光；以及第二全息图，响应于所述第二窄波带内的光而不响应于所述第二窄波带外的光。由所述全息光学元件将所述可见激光朝向所述用户的所述眼睛重定向可以包括：由所述波长复用全息光学元件的所述第一全息图将所述图像的所述第一部分朝向所述用户的所述眼睛重定向；以及由所述波长复用全息光学元件的所述第二全息图将所述图像的所述第二部分朝向所述用户的所述眼睛重定向。至少由第一窄波带光电探测器检测所述可见激光的至少一部分从所述用户的所述眼睛的反射可以进一步包括：由第二窄波带光电探测器检测所述图像的所述第二部分从所述用户的所述眼睛的反射，其中，所述第二窄波带光电探测器响应于所述第二窄波带内的光而基本上不响应于所述第二窄波带外的光。至少基于由所述第一窄波带光电探测器检测到的所述图像的所述第一部分从所述用户的所述眼睛的所述反射确定所述眼睛的至少一个特征的位置可以进一步包括：基于由所述第二窄波带光电探测器检测到的所述图像的所述第二部分从所述用户的所述眼睛的所述反射确定所述眼睛的至少一个特征的位置。
所述激光模块可以包括第三激光二极管，并且由激光模块输出可见光可以进一步包括：由所述激光模块的所述第三激光二极管输出第三窄波带内的第三可见激光，所述第三窄波带不同于所述第一窄波带和所述第二窄波带两者。所述第三可见激光可以表示所述图像的至少第三部分。由扫描镜可控制地且反射性地扫描所述可见激光可以进一步包括：由所述扫描镜可控制地且反射性地扫描所述图像的所述第三部分。所述波长复用全息光学元件可以进一步包括第三全息图，所述第三全息图响应于所述第三窄波带内的光而不响应于所述第三窄波带外的光。由所述HOE将所述可见激光朝向所述用户的所述眼睛重定向可以进一步包括：由所述波长复用全息光学元件的所述第三全息图将所述图像的所述第三部分朝向所述用户的所述眼睛重定向。至少由第一窄波带光电探测器检测所述可见激光的至少一部分从所述用户的所述眼睛的反射可以进一步包括：由第三窄波带光电探测器检测所述图像的所述第三部分从所述用户的所述眼睛的反射，其中，所述第三窄波带光电探测器响应于所述第三窄波带内的光而基本上不响应于所述第三窄波带外的光。至少基于由所述第一窄波带光电探测器检测到的所述图像的所述第一部分从所述用户的所述眼睛的所述反射确定所述眼睛的至少一个特征的位置可以进一步包括：基于由所述第三窄波带光电探测器检测到的所述图像的所述第三部分从所述用户的所述眼睛的所述反射确定所述眼睛的至少一个特征的位置。
所述第一激光二极管可以是红色激光二极管，并且由所述激光模块的所述第一激光二极管输出第一窄波带内的第一可见激光可以包括由所述红色激光二极管输出红色激光。所述图像的所述第一部分可以是所述图像的红色部分。
所述第二激光二极管可以是绿色激光二极管，并且由所述激光模块的所述第二激光二极管输出第二窄波带内的第二可见激光可以包括由所述绿色激光二极管输出绿色激光。所述图像的所述第二部分可以是所述图像的绿色部分。
所述第三激光二极管可以是蓝色激光二极管，并且由所述激光模块的所述第三激光二极管输出第三窄波带内的第三可见激光可以包括由所述蓝色激光二极管输出蓝色激光。所述图像的所述第三部分可以是所述图像的蓝色部分。
一种异构全息光学元件可以被概括为包括：至少一个全息材料层，其中，所述至少一个全息材料层包括：用于向具有第一波长的光施加第一屈光力的第一全息图；以及用于向具有第二波长的光至少施加第二屈光力的至少第二全息图，所述第二屈光力不同于所述第一屈光力并且所述第二波长不同于所述第一波长。所述第一全息图可以对具有所述第一波长的光进行重定向并且在对具有所述第一波长的所述光进行重定向时向具有所述第一波长的所述光施加所述第一屈光力。所述第二全息图可以对具有所述第二波长的光进行重定向并且在对具有所述第二波长的所述光进行重定向时向具有所述第二波长的所述光施加所述第二屈光力。
所述第一屈光力可以是正屈光力，并且所述第一全息图可以使得具有所述第一波长的光以第一汇聚速率汇聚。所述第二屈光力可以为零。所述第二屈光力可以为负屈光力，并且所述第二全息图可以使得具有所述第二波长的发散。所述第二屈光力可以是正的并小于所述第一屈光力，并且所述第二全息图可以使得具有所述第二波长的光以小于所述第一汇聚速率的第二汇聚速率进行汇聚。所述第一屈光力可以大于或等于四十屈光度并且所述第二屈光力可以小于或等于零屈光度。
所述第一波长可以是人眼可见的，并且所述第二波长可以是所述人眼不可见的。所述第一波长可以选自390nm至700nm的第一范围，并且所述第二波长可以选自700nm至10um的第二范围。
所述至少一个全息材料层可以包括单个全息材料层，并且所述第一全息图和所述至少第二全息图均可以包括在所述单个全息材料层中。可替代地，所述至少一个全息材料层可以包括第一全息材料层以及至少第二全息材料层，并且所述第一全息材料层可以包括所述第一全息图并且所述第二全息材料层可以包括所述第二全息图。
所述至少一个全息材料层可以进一步包括：用于向具有第三波长的光施加所述第一屈光力的至少第三全息图，所述第三波长基本上不同于所述第一波长和所述第二波长两者。所述第一全息图可以是用于向红光施加所述第一屈光力的红色全息图，所述第二全息图可以是用于向红外光施加所述第二屈光力的红外全息图，所述第三全息图可以是用于向绿光施加所述第一屈光力的绿色全息图，并且所述至少一个全息材料层可以进一步包括用于向蓝光施加所述第一屈光力的蓝色全息图。
所述异构全息光学元件可以进一步包括眼镜镜片，其中，所述至少一个全息材料层由所述眼镜镜片承载。
附图说明
在附图中，完全相同的参考数字标识相似的元件或动作。附图中的元件的大小和相对位置未必按比例绘制。例如，不同元件的形状以及角度不一定是按比例绘制的，并且这些元件中的一些被任意地放大和定位以提高附图的易读性。另外，所绘出的所述元件的特定形状不一定旨在传递与所述特定元件的实际形状有关的任何信息，并且选取它们只是为了方便在图中识别。
图1是原理图，示出了采用扫描激光投射器的可穿戴式平视显示器的侧视图。
图2是原理图，示出了采用扫描激光投射器和单独的眼睛追踪***的可穿戴式平视显示器的侧视图。
图3是原理图，示出了根据本***、设备和方法的包括已经被适配用于集成眼睛追踪功能的扫描激光投射器的可穿戴式平视显示器。
图4是原理图，示出了根据本***、设备和方法的被适配用于将眼睛追踪功能集成到扫描激光投射***中的可穿戴式平视显示器的侧视图。
图5是根据本***、设备和方法的在添加最少部件的情况下集成眼睛追踪和扫描激光投射的可穿戴式平视显示器的透视图。
图6是根据本***、设备和方法的用于将扫描投射器的输出分成三个角分离副本的经适配分光器的示意图。
图7是流程图，示出了根据本***、设备和方法的操作激光投射器以便将图像投射至用户的眼睛并追踪所述用户的所述眼睛的方法。
图8是原理图，示出了根据本***、设备和方法的包括使能图像投射和眼睛追踪功能两者的复用全息光学元件的可穿戴式平视显示器的侧视图。
具体实施方式
在以下说明中，列举了某些特定的细节以便提供对所披露的不同实施例的全面理解。然而，相关领域的技术人员将认识到，在没有这些特定细节中的一个或多个的情况下或在使用其他方法、组件、材料等的情况下，也可以实践实施例。在其他情况下，未详细地示出或描述与便携式电子设备和/或头戴式设备相关联的众所周知的结构，以便避免不必要地模糊对所述实施例的说明。
除非上下文另有要求，否则贯穿说明书和所附权利要求书，“包括”一词及其多种变体(诸如，“包括了(comprises)”和“包括着(comprising)”)将以一种开放式的和包含性的意义来进行解释，即作为“包括，但不限于”。
贯穿本说明书对“一个实施例”或“一种实施例”的引用意味着可以将特定特征、结构、或特性以任何适合的方式在一个或多个实施例中进行组合。
如在本说明书和所附权利要求书中所使用的，除非文中另外明确指明，否则单数形式的“一种”、“一个”以及“该”包括复数对象。还应注意，除非内容另外明确指明，否则通常以其最广泛的意义采用术语“或者”，也就是说如意味着“和/或”。
在此提供的本披露小标题以及摘要只是为了方便起见，而并非解释这些实施例的范围或含义。
在此所描述的各实施例提供了用于将眼睛追踪功能集成到扫描激光投射器(“scanning laser projector，SLP”)中的***、设备和方法。本文的一方面包括将SLP作为投射器并作为眼睛追踪器的部件两者进行操作。虽然适用于许多不同的使用情况，但是本***、设备和方法特别良好地适用于已经采用至少一个SLP的可穿戴式平视显示器(“wearable heads-up display，WHUD”)。根据本***、设备和方法，WHUD中的SLP可以被适配用于同时提供用于显示目的的可见光和用于眼睛追踪目的的红外光，从而在仅添加较小数量的分离的不引人注意的部件的情况下使能WHUD中的眼睛追踪功能。
本***、设备和方法良好地适用于WHUD，并且具体适用于已经采用至少一个SLP的WHUD。在以下各项中描述了此类显示器的示例：美国临时专利申请序列号62/017,089；美国临时专利申请序列号62/053,598；美国临时专利申请序列号62/117,316；美国临时专利申请序列号62/134,347(现在是美国非临时专利申请序列号15/070,887)；美国临时专利申请序列号62/156,736；美国临时专利申请序列号62/242,844；美国专利公开号US 2015-0378164 A1；美国专利公开号US 2015-0378161 A1；美国专利公开号US 2015-0378162 A1；美国非临时专利申请序列号15/145,576；美国非临时专利申请序列号15/145,609；美国非临时专利申请序列号15/145,583；美国非临时专利申请序列号15/046,234；美国非临时专利申请序列号15/046,254；和美国非临时专利申请序列号15/046,269。图1中提供了不具有眼睛追踪能力的这种WHUD架构的一般化示例。
图1是原理图，示出了采用SLP 110的WHUD 100的侧视图。SLP 110包括：激光模块111，所述激光模块包括红色激光二极管(图1中标记为“R”)、绿色激光二极管(图1中标记为“G”)和蓝色激光二极管(图1中标记为“B”)；以及扫描镜112，所述扫描镜可绕两条自由度轴线可控制地转动。可绕两条自由度轴线转动的单个扫描镜112在此仅用作说明性示例，并且本领域技术人员将理解的是，可以使用不同的镜子配置(比如例如，两个扫描镜，各自可绕两条正交自由度轴线中的对应一条可控制地转动且分别相对于激光120的光学路径被顺序地定位)实现类似的功能。SLP 110所输出的激光120可以包括(红色激光二极管所输出的)红色激光、(绿色激光二极管所输出的)绿色激光和/或(蓝色激光二极管所输出的)蓝色激光的任何经调制组合。从扫描镜112反射的激光120入射在将激光120背对着朝向用户的眼睛190重定向的全息光学元件(“holographic optical element，HOE”)130上。一般地，在本***、设备和方法中，术语“用户”指SLP的用户。在图1的具体上下文中，术语“用户”指穿戴或使用WHUD 100的人。本领域技术人员将理解的是，WHUD 100可以包括支撑框架和/或使用户能够穿戴图1中所描绘的元件的其他(多个)支撑/对准结构(图1中未描绘以减少混乱)，从而使得当WHUD 100被穿戴在所述用户的头部上时至少HOE 130被定位在所述用户的至少一只眼睛190的视野中。
HOE 130可以是相对于激光120从HOE 130的相反侧入射的环境光140(即，对组成环境光140的大部分波长是光学上透明的)基本上光学透明的。由于HOE 130将投射的激光120和外部环境光140有效地组合在用户的视野中，因此HOE 130可以被称为“组合器”或相关变体，比如“透明组合器”、“全息光学组合器”等。如果WHUD 100的支持框架(未展示)具有一副眼镜的大体形状、外观和/或几何结构，则HOE 130可以被承载在WHUD 100的一个或多个透明镜片上(比如一个或多个处方镜片或一个或多个非处方镜片)。至少在上文所列出的专利申请中描述了关于HOE 130的组成(例如，包括HOE 130的示例性复用配置)以及关于HOE 130可以将激光120朝向眼睛190(例如，包括示例性出射光瞳和适眼区配置)重定向的方式的进一步细节。
WHUD 100是采用SLP 110但不提供任何眼睛追踪功能的WHUD的示例。图2中展示了可以如何将常规眼睛追踪功能添加至WHUD 100的示例。
图2是原理图，示出了采用SLP 210和单独的眼睛追踪***的WHUD 200的侧视图。WHUD 200与来自图1的WHUD 100基本上类似，除了WHUD 200包括包含用于在WHUD 200中使能眼睛追踪功能的附加部件240和250的眼睛追踪***。WHUD 200的眼睛追踪***包括红外光源240和红外光电探测器250。在使用时，红外光源240用红外光222的单个大光斑(用虚线绘制以表示红外光222对眼睛290不可见，并与由SLP 210输出的可见光221进行区分)完全地照亮或“淹没”眼睛290。红外光电探测器250检测红外光222从用户眼睛290的反射。眼睛290的不同特征(例如，角膜、瞳孔、虹膜和/或视网膜血管)可以使得入射红外光222的单个大光斑的多个部分以不同的方式从眼睛290反射；因而，眼睛290的此(类)特征相对于红外光源240和光电探测器250的位置可以影响光电探测器250所检测到的红外光222的强度。当红外光源240用红外光淹没眼睛290时，光电探测器250检测取决于眼睛290的位置/取向的反射红外光222的强度图案或图。也就是说，光电探测器250所检测到的红外光222的强度取决于眼睛290的位置/取向(或眼睛290的(多个)特征比如角膜、瞳孔等的位置/取向)。光电探测器250所检测到的强度图案/图取决于眼睛290正在看哪里。以这种方式，WHUD 200的眼睛追踪***中的分离部件(红外光源240和红外光电探测器250)的组合使得能够测量和追踪眼睛290的凝视方向和移动。
WHUD 200描绘了示例架构，其中，SLP 210和眼睛追踪***(包括红外光源240和红外光电探测器250)均被包括作为完全分开且独立的子***。这种实施方式可以是一些***可接受的，但通常，WHUD尽可能地紧凑和成流线型(这两者就形状因子和处理/功率要求而言)都是有利的。在此所描述的各实施例提供了用于将眼睛追踪功能集成到SLP中以就形状因子和处理/功率要求而言提供更高效***的***、设备和方法。
图3是原理图，示出了根据本***、设备和方法的包括具有集成眼睛追踪功能的SLP 310的WHUD 300。WHUD 300与来自图2的WHUD 200基本上类似，除了在WHUD 300中扫描激光投射和眼睛追踪部件都被集成到单个封装体/模块310中之外。具体地，SLP 310包括：激光模块311，所述激光模块包括红色激光二极管(图3中标记为“R”)、绿色激光二极管(图3中标记为“G”)和蓝色激光二极管(图3中标记为“B”)；以及扫描镜312，所述扫描镜具有与针对图1的WHUD 100所描述的类似配置。然而，另外，激光模块311还包括红外激光二极管(图3中标记为“IR”)，以用于以与针对WHUD 200中的红外光源240所描述的类似方式进行眼睛追踪。扫描镜312同时充当用于激光投射的扫描镜(以与来自图1的WHUD 100的扫描镜112类似的方式)和用于眼睛追踪的扫描镜两者，由此扫描镜312在眼睛390的区域上扫描红外激光(图3中用虚线322表示)，从而连续地照亮眼睛390的整个区域(例如，通过IR光的光栅扫描)。虽然WHUD 200包括与投射器激光模块211分开的红外光源240，但是在WHUD 300中，红外激光二极管341被集成到SLP 310的激光模块311中并且扫描镜312用于在眼睛390上扫描可见(R、G和/或B)激光和红外(IR)激光两者。
扫描镜312可以有利地包括一个或多个(例如，在DLP配置中)数字微电机***(“microelectromechanical system，MEMS”)镜子。在典型的操作中，SLP 310的扫描镜312在其整个位置范围上重复地扫描并在显示器的整个视野上有效地扫描。在每个扫描位置处是否投射图像/像素取决于对激光模块311的受控调制以及其与扫描镜312的同步。扫描镜312一般在操作过程中作为激光投射器在其整个范围上进行扫描的事实使得SLP 310的扫描镜312与用于眼睛追踪目的兼容。SLP 310被适配用于在不需要折中或更改其作为SLP的操作的情况下提供眼睛追踪功能。在操作中，扫描镜312在其整个位置范围上重复地扫描，同时RGB激光二极管被调制以提供与经扫描图像的像素相对应的可见光321。同时，可以激活红外激光二极管以便用红外激光322照亮用户的眼睛390(一次一个光斑或像素，每个对应于对应的扫描镜位置)以用于眼睛追踪目的。取决于实施方式，红外激光二极管可以简单地一直打开以便用红外激光322完全地照亮(即，在眼睛的整个区域上扫描)眼睛390，或者可以对红外激光二极管进行调制以便在眼睛390上提供照明图案(例如，网格、一组平行线、十字线、或任何其他形状/图案)。由于红外激光322对用户的眼睛390是不可见的，因此红外激光322不会干扰SLP 310所投射的经扫描图像。
为了检测从眼睛390反射的红外激光322(例如，其多个部分)，WHUD 300包括与来自图2的WHUD 200的光电探测器250类似的至少一个红外光电探测器350。虽然图3中仅描绘了一个光电探测器350，但是在替代性实施例中，取决于实施方式，可以使用任何数量的光电探测器350(例如，光电探测器350阵列、或响应于红外波长范围内的光的基于电荷耦合器件的照相机)，定位成任何安排且定位在任何(多个)期望位置处。
当扫描镜312基于对R激光二极管、G激光二极管和/或B激光二极管的调制在眼睛390上扫描经调制的R光、G光和/或B光321以产生显示图像时，扫描镜312还基于对IR激光二极管的调制在眼睛390上扫描红外激光322。光电探测器350检测取决于眼睛390的位置/取向的、反射的红外激光322的强度图案或图。也就是说，扫描镜312的每个不同位置会导致光电探测器350所检测到的红外光322的对应强度，所述对应强度取决于眼睛390的位置/取向(或眼睛390的(多种)特征比如角膜、虹膜、瞳孔等的位置/取向)。光电探测器350所检测到的强度图案/图取决于眼睛390正在看哪里。以这种方式，WHUD 300中的同一SLP 310使得能够测量和追踪以下两者：i)图像投射、以及ii)眼睛390的凝视方向和移动。
出于将眼睛追踪功能集成到SLP 310中的目的，相对于WHUD 200对WHUD 300的另一种适配是HOE 330的波长复用。以与针对WHUD 100的HOE 130所描述的相同方式，WHUD300还包括将从SLP 310的激光模块311输出的激光朝向眼睛390重定向的HOE 330；然而，在WHUD 300中，HOE 330已经(相对于图1的HOE 130)被适配为包括至少两个波长复用全息图：至少第一全息图331，响应于(即，对其至少一部分进行重定向，所述部分的幅值取决于第一全息图的回放效率)由激光模块311输出的可见光321而不响应于(即，透射)由激光模块311输出的红外光322；以及第二全息图332，响应于(即，对其至少一部分进行重新定向，该部分的幅值取决于第二全息图的回放效率)由激光模块311输出的红外光322而不响应于(即，透射)由激光模块311输出的可见光321。虽然图3将第一全息图331描绘为单个全息图，但是在实践中，HOE 330的响应于由激光模块311输出的可见光321的(多个)方面可以包括可以以各种不同方式进行多路复用的任何数量的全息图，包括但不限于：波长复用(即，仅响应于来自激光模块311的红色激光二极管的红光的“红色”全息图、仅响应于来自激光模块311的绿色激光二极管的绿光的“绿色”全息图、以及仅响应于来自激光模块311的蓝色激光二极管的蓝光的“蓝色”全息图)、角度复用(例如，出于适眼区扩大/复制的目的)、相位复用、空间复用、时间复用等。在对可见光321进行重定向时，第一全息图331可以向可见光321施加第一屈光力。有利地，由第一全息图331(或由第一组复用的全息图，如果实施方式采取一组复用的全息图对可见光321进行重新定向的话)所施加的第一屈光力可以是正屈光力，所述正屈光力将可见光321聚焦或汇聚至例如用户的眼睛390处的具有小于一厘米的直径(例如，6mm、5mm、4mm、3mm)的出射光瞳上，以用于提供具有宽视野的清晰且聚焦的图像的目的。在对红外光322进行重定向时，第二全息图332可以对红外光322施加第二屈光力，其中，第二全息图332所施加的所述第二屈光力不同于第一全息图331所施加的所述第一屈光力。有利地，所述第一屈光力可以大于所述第二屈光力(并且因此，所述第二屈光力可以小于所述第一屈光力)，从而使得第二全息图332在眼睛390的大于可见光321在眼睛390处的出射光瞳的区域上对红外光322进行重定向。例如，第二全息图332的所述第二屈光力可以向红外光322施加比第一全息图331的所述第一屈光力向可见光321施加的汇聚速率更小的汇聚速率，或者第二屈光力可以为零，从而使得第二全息图332在不对红外光施加任何汇聚的情况下将红外光322朝向眼睛390进行重定向，或者第二屈光力可以为负(即，小于零)，从而使得第二全息图332的第二屈光力使红外光322发散(即，向其施加发散速率)以便覆盖，例如，覆盖眼睛390的整个区域(以及更远，如果期望的话)，以用于照亮眼睛390的整个区域并在那个被照亮的区域内追踪所有眼睛位置/运动的目的。
取决于特定实施方式，HOE 330可以包括编码、携带、已经在其中或其上嵌入、或者大体上包括第一全息图331和第二全息图332两者的单个全息材料体(例如，光致聚合物或卤化银化合物)，或者可替代地，HOE 330可以包括被层压或大体上层叠在一起的至少两个不同的全息材料层(例如，光致聚合物和/或卤化银化合物)：包括第一全息图331的第一全息材料层以及包括第二全息图332的第二全息材料层。稍后参照图8描述了示例性复用HOE的更多细节。
贯穿本说明书和所附权利要求书，术语“红外”包括“近红外”并且一般地指比一般对普通人眼可见的光的最大波长更大的光波长。对普通人眼可见的光(即，此处的“可见光”)一般在400nm至700nm的范围内，因此如在此所使用的，术语“红外”指大于700nm、上至1mm的波长。如在此和在权利要求书中所使用的，可见指的是光包括电磁光谱的人类可见部分内的波长，一般从近400nm(紫色)至近700nm(红色)。
在眼睛追踪***中使用红外光是有利的，因为红外光对(普通)人眼不可见并且因此不会破坏或干扰正向用户显示的其他光学内容。根据本***、设备和方法将红外激光二极管集成到SLP中使得能够由WHUD的基本上相同的硬件同时地进行可见激光投射和不可见眼睛追踪，由此将***的整体体积和处理/功率要求最小化。然而，在此所描述的各实施例还包括将眼睛追踪功能集成到完全在可见光谱内(即，没有红外光)操作的SLP中的***、设备和方法。
图4是原理图，示出了根据本***、设备和方法的被适配用于将眼睛追踪功能集成到扫描激光投射***中的WHUD 400的侧视图。WHUD 400与来自图1的WHUD 100基本上类似，除了WHUD 400包括至少三个窄波带光电探测器451、452和453之外，所述至少三个窄波带光电探测器用于检测从用户的眼睛490反射的可见激光420(与用于检测红外激光的至少一个红外光电探测器350相反)并使用所产生的强度图案/图来确定眼睛490的位置和/或移动。
WHUD 400包括SLP 410，所述SLP包括三个窄波带光源：红色激光二极管(图4中标记为“R”)、绿色激光二极管(图4中标记为“G”)和蓝色激光二极管(图4中标记为“B”)。贯穿本说明书和所附权利要求书，给定特定上下文，术语“窄波带”指相对较小范围的波长(或波长带宽)。在如激光二极管等光源的上下文中，窄波带光是约10nm或更小带宽内的光；在光电探测器的上下文中，窄波带光电探测器响应于约200nm或更小带宽内的光。如针对图1的WHUD 100所描述的那样，来自SLP 410的激光420被调制用于将图像投射在用户的眼睛490上。然而，WHUD 400还包括：第一窄波带光探测器451，响应于与由SLP 410的红色激光二极管输出的光相对应的窄波带中的激光420；第二窄波带光电探测器452，响应于与由SLP 410的绿色激光二极管输出的光相对应的窄波带中的激光420；以及第三窄波带光电探测器453，响应于与由SLP 410的蓝色激光二极管输出的光相对应的窄波带内的激光420。光电探测器451、452和453中的每一个被对准以接收从用户的眼睛490反射的激光420，从而使得能够确定眼睛490的位置和/或运动。每个光电探测器可以被适配用于使用一个或多个光学滤波器(比如一个或多个光学带通滤波器)而响应于对应的“窄波带”光。光电探测器451、452和453有利地是用于使来自所检测环境光的噪声最小化的“窄波带”。
WHUD 400使用同样的可见激光420实施激光眼睛追踪，所述同样的可见激光还对应于从SLP 410投射到用户的眼睛490上的图像/像素。这种方案的优点是不需要红外激光二极管并且SLP 410可以在本质上没有修改的情况下被使用；然而，缺点是，必须经受来自所投射的图像/像素图案而不是使用红外光所提供的完全不可见照明来确定眼睛位置/运动。根据本***、设备和方法，SLP的图像生成***(即，与扫描镜的位置同步地对激光420的调制进行控制的***)与基于由窄波带光电探测器451、452和453检测到的反射光确定眼睛490的位置/运动的眼睛追踪***之间的通信是有利的。这种通信可以包括例如关于在每个镜子位置处哪个激光二极管有效的信息。使用此信息，眼睛追踪***能够基于当前扫描镜位置和激光调制图案将从(多个)光电探测器451、452和/或453检测到的强度信息映射至眼睛490的各个位置和/或运动。
在一些实施方式中，在此所描述的眼睛追踪***和设备的各实施例可以利用“闪光”和/或“浦肯野图像(Purkinje image)”和/或可以采用美国临时专利申请序列号62/245,792中所描述的“基于角膜阴影”的眼睛追踪方法。
根据本***、设备和方法，眼睛追踪***(或“眼睛追踪器”)可以包括一个或多个数字处理器，所述一个或多个数字处理器通信地耦合至所述一个或多个(窄波带)光电探测器并耦合至一个或多个非瞬态处理器可读存储介质或存储器。所述(多个)存储器可以存储处理器可执行的指令和/或数据，所述处理器可执行的指令和/或数据在被处理器执行时使得处理器能够基于所述一个或多个光电探测器所提供的信息(例如，强度信息，比如强度图案/图)来确定用户眼睛的位置和/或运动。
图5是根据本***、设备和方法的在添加最少部件的情况下集成眼睛追踪和扫描激光投射的WHUD 500的透视图。WHUD 500包括图1、图2、图3和图4中所描绘的元件中的许多元件，即：激光模块511，被适配用于输出可见激光521(例如，在至少第一窄波带中)和红外激光522；扫描镜，被对准以接收由所述激光模块输出的激光并可控制地反射(即，扫描)所述激光；波长复用HOE 530，被对准以将激光521和522朝向用户的眼睛590进行重定向；以及至少一个红外光电探测器550，响应于红外激光522。取决于实施方式，可见激光521可以对应于以下各项中的任意一项(单独地或者以任何组合)：红色激光、绿色激光、和/或蓝色激光。WHUD 500还包括具有一副眼镜的大体形状和外观的支撑框架580，从而使得当支撑框架580被穿戴在用户的头部上时HOE 530被定位在用户的眼睛590的视野内。
WHUD 500进一步包括通信地耦合至光电探测器550的数字处理器560以及通信地耦合至数字处理器570的非瞬态处理器可读存储介质或存储器570。存储器570存储处理器可执行的指令和/或数据，所述处理器可执行的指令和/或数据在被处理器560执行时使得处理器560基于关于从光电探测器550传达至处理器560的、从眼睛590反射的红外光522的信息来确定眼睛590的一个或多个位置和/或移动。
在此所描述的各实施例总体上引用并展示了用户的单眼(即，单目应用)，但本领域技术人员将轻易地意识到可以在WHUD中复制本***、设备和方法从而为用户的两眼都提供经扫描激光投射和经扫描激光眼睛追踪(即，双目应用)。
一些WHUD(例如，实施某些适眼区复制/扩大方案的那些)可以涉及由SLP输出的激光路径中的各种光学元件。根据本***、设备和方法，将红外激光二极管集成到SLP以用于眼睛追踪目的的WHUD可以根据需要有利地采用热光学元件和/或冷光学元件，以便对准/分离可见激光和红外激光的对应路径。图6中描绘了示例。
图6是如美国临时专利申请序列号62/156,736和美国临时专利申请序列号62/242,844(现在是美国非临时专利申请序列号15/046,254)中所描述的用于将SLP的输出分成三个角分离副本的经适配分光器600的示意图。分光器600包括光学结构670，所述光学结构具有以分别不同的角度被定向的两个反射表面671和672及其之间的透射性区域673。SLP610(可以基本上与来自图3的SLP 310类似)具有包括如图6中所指示的子范围A、B和C的扫描范围。SLP 610可以***作用于在图像的以下三个副本上扫描可见光：扫描范围A内的第一副本、扫描范围B内的第二副本、以及扫描范围C内的第三副本。所述图像的在扫描范围A上被投射的第一副本被透射穿过光学结构670的透射性区域673从而撞击在例如角度复用全息组合器上。所述图像的在扫描范围B上被投射的第二副本被光学结构670的第一反射表面671反射，并且然后再次被第二反射器(例如，镜子)681反射。第二反射器681被取向为将与扫描范围B相对应的光朝向全息组合器(图6中未示出以减少混乱)进行重定向。所述图像的在扫描范围C上被投射的第三副本被光学结构670的第二反射表面672反射，并且然后再次被第三反射器(例如，镜子)682反射。第三反射器682被取向为将与扫描范围C相对应的光朝向全息组合器进行重定向。SLP 610可以在范围A、B和C中的每个范围上重复激光的同一调制模式(例如，时间的、强度、和/或空间的)，并且以这种方式，图像的三个副本可以由SLP610产生并且以分别不同的角度朝向角度复用全息组合器被定向。分光器600表示分光器的配置的示例，所述分光器可以与相应地经适配SLP操作模式和角度复用全息组合器结合使用，以便通过出射光瞳复制来扩大视网膜扫描显示***的适眼区。为了出于眼睛追踪的目的将红外激光集成到采用这种分光器的***中，所述分光器可以例如由冷光学元件构成，从而使得红外光在本质上没有“看见”分光器或受其影响的情况下被从中透射穿过。在这种情况下，可以在A+B+C的整个范围上扫描红外光(图6中用虚线表示)。可替代地，分光器600可以由热光学元件构成，从而使得红外光被其反射。在这种情况下，所述红外光可以仅需要针对A、B或C这三个扫描区域之一而被调制打开并且针对另外两个扫描区域而被调制关闭。
图7是流程图，示出了根据本***、设备和方法的操作激光投射器以便将图像投射至用户的眼睛并追踪所述用户的所述眼睛的方法700。方法700包括六个动作701、702、703、704、705和706，尽管本领域技术人员应当理解，在替代实施例中，可以省略某些动作和/或可以添加附加动作。本领域技术人员还将认识到所示出的动作的所展示的顺序仅出于示例性目的并且可以在替代性实施例中改变。出于方法700的目的，术语“用户”指正在观察由激光投射器投射的图像的人。
在701处，激光投射器的至少第一激光二极管输出可见光。所述可见光表示、体现、或以其他方式对应于图像的至少一部分。例如，所述可见光可以表示、体现、或以其他方式对应于完整的图像或图像的一个或多个像素。所述可见光可以包括完整的经调制激光图案(对完整的图像进行编码)、经调制激光图案的一部分、或仅经调制激光图案的单个元素。激光投射器可以包括红色激光二极管、绿色激光二极管和蓝色激光二极管，并且在701处输出的可见光可以包括由红色激光二极管输出的红色激光、由绿色激光二极管输出的绿色激光、由蓝色激光二极管输出的蓝色激光、或其任意组合。
在702处，激光投射器的红外激光二极管输出红外光。取决于特定实施方式，红外激光二极管可以或可以不调制以输出红外激光图案。
在703处，激光投射器的扫描镜可控制地且反射性地扫描可见光(即，激光投射器在701处输出的可见光)和红外光(即，激光投射器在702处输出的红外光)两者。
在704处，波长复用HOE接收在703处从扫描镜反射的可见光和红外光两者，并且所述HOE将可见光和红外光两者朝向用户的眼睛进行重定向。所述可见光表示被投射/显示给用户的视觉内容，而红外光被用于眼睛追踪目的。如之前所描述的，波长复用HOE的响应于可见光的(多个)波长而不响应于红外光的至少第一全息图可以将可见光朝向用户的眼睛进行重定向，并且波长复用HOE的响应于红外光而不响应于可见光的(多个)波长的第二全息图可以将红外光朝向用户的眼睛进行重定向。在此类实施方式中，波长复用HOE的所述至少第一全息图可以在由其或从其对可见光进行重定向时向可见光施加第一屈光力，同时波长复用HOE的所述第二全息图可以在由其或从其对红外光进行重定向时向红外光施加第二屈光力。所述第二屈光力可以小于所述第一屈光力。例如，所述第一屈光力可以是正屈光力，而所述第二屈光力可以小于或等于零。
在705处，红外光电探测器检测所述红外光的至少一部分从所述用户的所述眼睛的反射。红外光电探测器所检测到的红外光的强度可以取决于红外光被反射自其的眼睛的一个或多个特征的位置、取向和/或移动。
在706处，至少基于在705处由红外光电探测器检测到的红外光的至少一部分的反射来反射确定眼睛的至少一个特征的位置。眼睛的所述至少一个特征可以包括但不限于眼睛的瞳孔、虹膜、角膜、或视网膜血管。在此上下文中，术语“位置”无约束地用来指代眼睛的所述至少一个特征相对于参考点的总体空间位置和/或取向，比如光电探测器的空间位置和/或取向或者所述至少一个特征的之前已知的空间位置和/或取向。相应地，在706处所确定的眼睛的所述至少一个特征的位置可以表示(和/或用来后续地确定)眼睛本身的位置、取向、和/或运动。在一些实施方式中，可以由与红外光电探测器通信的处理器来确定眼睛的所述至少一个特征的位置(和/或眼睛本身的相应位置、取向、和/或运动)。
在一些实施方式中，多个红外光电探测器可以用来检测红外光的至少一(或多个)部分从用户的眼睛进行的反射，并且所述多个红外光电探测器可以绕WHUD的支撑框架(例如，绕HOE的周长)物理地聚集在一起或空间地分开。
当出于眼睛追踪目的而将红外光用于照亮眼睛的全部或一部分时，可以经由全光栅扫描完全地照亮眼睛的整个区域，或者(由于投射器正在快速地刷新每一帧并且全眼追踪可以在对用户没有显著延迟的情况下在多个帧上展开)可以以各种模式中的任意一种照亮眼睛的多个部分。例如，可以采用无源图案(比如平行线网格或集合)或者可以采取有源图案。有源照亮图案的示例包括：“二元方式搜索”，其中，将眼睛的区域划分成二元区，眼睛追踪器判断这两个区中的哪一个包含特征(例如，瞳孔或角膜)，那个区后续地被划分成二元区，并且以越来越小的区继续所述过程直到以期望的分辨率标识所述特征的位置；“最近区域聚焦”，其中，一旦找到了可信眼睛位置，则后续的扫描被限于全扫描区域的包括所述已知眼睛位置的位置的子集，其中，所述子集是基于自从所述可信眼睛位置被标识以来的时间内眼睛会可能移动的可能性的；和/或“旋转扫描”，其中，眼睛的区域被划分成被连续扫描的楔形或饼形片。
使用红外光是有利的，因为这种光可易于与激光投射器所提供的可见光区分开。然而，红外光在环境中也是普遍的，因此被优化以响应于红外光反应的窄波带光电探测器仍然可以检测到环境红外噪声。为了帮助减轻这种效果(在红外状况下以及在可见光用于眼睛追踪的实施方式中(例如，如图4中所描绘的)两者)，可以用各种不同方式中的任意一种对用于眼睛追踪目的的激光进行编码，从而使这种光能够与具有类似波长的环境光区分开。例如，可以有意地对用于眼睛追踪目的的窄波带光(红外的或可见的)进行偏振，并且可以将相应的偏振滤波器应用于窄波带(例如，红外)光电探测器，从而使得光电探测器仅响应于在窄波带内并具有正确偏振的光。作为另一示例，可以用慎重的调制图案对用于眼睛追踪目的的窄波带光进行调制，并且在对光电探测器输出进行信号处理和分析的过程中可以从光电探测器所提供的强度图中提取提供此图案的光。在一些实施方式中，红外滤波器可以被应用于或以其他方式集成有WHUD的镜片(透明组合器)，以阻止来自用户的外部环境的红外光穿过镜片/透明组合器并撞击在用户的眼睛上，从而使得从眼睛反射的并由红外光电探测器检测到的环境红外光的量减少。
如之前所描述的，出于眼睛追踪目的将红外激光集成到WHUD的SLP中可以有利地采用HOE，所述HOE被设计用于对红外激光赋予与其对可见激光赋予的光学功能不同的光学功能(例如，屈光力)。
图8是原理图，示出了根据本***、设备和方法的包括使能图像投射和眼睛追踪功能两者的波长复用HOE 830的WHUD 800的侧视图。WHUD 800与来自图3的WHUD 300基本上类似，其中出于展示的目的对HOE 830的一些细节做了加强。简而言之，WHUD 800包括：SLP810，被适配为包括用于眼睛追踪目的的红外激光二极管(在图8中标记为“IR”)；以及透明组合器，包括集成(例如，层压或以其他方式层叠在其上、或浇铸在其内)有眼镜镜片860的波长复用HOE 830。对HOE 830与镜片860的集成可以包括和/或采用美国临时专利申请序列号62/214,600和/或美国临时专利申请序列号62/268,892中所描述的***、设备和方法。
HOE 830被波长复用从而以不同的方式对如入射在其上的不同波长的光做出响应(即，向其施加不同的屈光力)。更具体地，HOE 830是异构HOE，所述异构HOE至少包括向具有第一波长(例如，至少第一可见波长)的光821施加第一屈光力的第一全息图以及对具有第二波长(例如，红外波长)的光822施加第二屈光力的第二全息图。所述第二屈光力不同于所述第一屈光力，并且所述第二波长不同于所述第一波长。HOE 830可以包括携带、编码、包含、或以其他方式包括任何数量的全息图的任何数量层的全息材料(例如，光致聚合物、卤化银化合物)。单个全息材料层可以包括多个全息图和/或单独的全息图可以包括在对应的单独全息材料层上或内。
在图8中的所展示示例中，“具有第一波长的光”和“具有第二波长的光”分别对应于均由SLP 810输出的可见激光821和红外激光822。SLP 810输出用于图像投射目的的可见激光821(图8中用实线表示)以及用于眼睛追踪目的的红外激光822(图8中用虚线表示)。作为示例，可见激光821可以包括具有在约390nm至约700nm范围内的至少一个波长(例如，红光、绿光或蓝光；或红光、绿光和/或蓝光的任意组合)的光，并且红外激光822可以包括具有在约700nm至约10um范围内的至少一个波长的光。可见激光821和红外激光822均入射在波长复用HOE 830上并且被其朝向WHUD 800的用户的眼睛890进行重定向；然而，由于图像投射和眼睛追踪的要求不同，波长复用HOE 830以与波长复用HOE 830将红外激光822朝向眼睛890进行重定向的方式不同的方式将可见激光821朝向眼睛890进行重定向。波长复用HOE830包括：i)至少第一全息图，响应于(即，进行重定向并向其施加第一屈光力)朝向眼睛890的可见激光821(即，具有可见光谱内的至少第一波长的光)；以及ii)第二全息图，响应于(即，进行重定向并施加第二屈光力)朝向眼睛890的红外激光822(即，具有红外光谱内的第二波长的光)。所述第一屈光力(即，由波长复用HOE 830的至少第一全息图向可见激光821施加的屈光力)为正，从而使得波长复用HOE 830中的所述至少第一全息图使得可见激光821在用户的眼睛890处或附近汇聚至第一出射光瞳。这种汇聚对于使用户能够以合理的视野看见所显示的内容是有利的。由于波长复用HOE 830集成有镜片860，因此波长复用HOE830可以被定位成接近眼睛890并且所述第一屈光力可以相对较高(例如，大于或等于约40屈光度)从而提供必需的汇聚。同时，所述第二屈光力(即，由波长复用HOE 830的第二全息图向红外激光822施加的屈光力)小于由向波长复用HOE 830的所述至少第一全息图可见光施加的所述第一屈光力。由波长复用HOE 830的所述第二全息图施加的所述第二屈光力可以为正并且小于由波长复用HOE 830的所述至少第一全息图施加的所述第一屈光力(例如，小于约40屈光度；足够减小发散、准直、或汇聚)，从而使得红外光822汇聚至在眼睛890处具有比可见光821的出射光瞳更大的直径的出射光瞳。可替代地，由第二全息图所＝施加的第二屈光力可以为零或为负，从而使得波长复用HOE 830的第二全息图使红外激光822在没有汇聚(即，如同来自平面镜)的情况下朝向890进行重定向或发散。换言之，所述第二屈光力可以小于或等于约0屈光度。在眼睛890处为红外光822提供比可见光821更大的出射光瞳有利于使SLP 810用红外激光822照亮眼睛890的整个区域(出于眼睛追踪目的)。
根据本***、设备和方法，波长复用HOE 830中的响应于可见光的所述至少第一全息图可以包括任何数量的波长复用全息图，所述波长复用全息图中的每一个可以响应于可见光的对应波长或对应的波长范围。例如，波长复用HOE 830中的响应于可见光的所述至少第一全息图可以包括响应于由SLP 810提供的红光的红色全息图、响应于由SLP 810提供的绿光的绿色全息图、和/或响应于由SLP 810提供的蓝光的蓝色全息图。有利的是，波长复用HOE 830的所述至少第一全息图中所包括的响应于可见光的每个全息图可以向(所述全息图响应于其的)具体可见光施加相同的第一屈光力。
与增加许多新部件中的大部分相反，根据本发明的***、设备和方法，可以通过主要谨慎地适配现有的硬件部件来实现在已经采用了SLP和全息组合器的WHUD中集成眼睛追踪功能以用于显示目的。具体地，i)可以向SLP添加红外激光二极管(独立于投射器中的(多个)可见光二极管而被调制的红外二极管)；ii)可以向全息组合器添加红外全息图(所述红外全息图向红外激光施加更低的屈光力(包括零或负屈光力)从而覆盖整个眼睛区域，与全息组合器向可见激光施加的相对较大的屈光力相反)；以及iii)可以向WHUD添加至少一个红外光电探测器从而检测红外激光从用户的眼睛进行的反射。
如之前所描述的，波长复用HOE 830的第一全息图和第二全息图都可以包括在单个全息材料层(例如，膜)中或上，或者可替代地，第一全息图可以包括在第一全息材料层中或上并且第二全息图可以包括在第二全息材料层中或上。在后一种情况下，所述第一全息材料层和所述第二全息材料层可以直接地或者通过任何数量的中介层/材料被层压或以其他方式层叠在一起。
在一些实施方式中，波长复用HOE 830可以包括分布在任何数量的层上的任何数量的附加全息图。例如，波长复用HOE 830可以包括响应于可见激光821的红色分量的第一全息图、响应于红外激光822的第二全息图、响应于可见激光821的绿色分量的第三全息图、以及响应于可见激光821的蓝色分量的第四全息图。在这种配置中，所述第一、第三和第四全息图可以各自向(每个全息图响应于其的)对应可见光施加相同的第一屈光力，并且第二全息图可以向红外光施加第二屈光力。
在此所描述的各实施例可以用于眼睛追踪以外的其他感测应用。例如，可以对在此所使能的高分辨率和高灵敏度眼睛追踪进行处理从而提取眼睛移动的细微成因，比如眼睛扫视和/或用户的心跳和/或用户的血压。
将眼睛追踪集成到SLP中的一个结果是所产生的眼睛追踪能力只在SLP本身有源时才是有源的。在一些情形下，可以期望，甚至在SLP关闭时提供粗糙的眼睛追踪功能。为此，在此所描述的各实施例(例如，图3、图4和图5中所描绘的配置)可以可选地包括单独的眼睛追踪***(比如图2中所描绘的)从而使用户能够通过瞥视一个或多个特定位置来激活SLP。美国临时专利申请序列号62/281,041中描述了合适的粗糙的补充性或第二眼睛追踪***的示例，所述***可以在采用了本***、设备和方法的基于SLP的眼睛追踪的WHUD中被组合。
贯穿本说明书和所附权利要求书，经常参照“激光模块”，比如包括激光模块的激光投射器(SLP或其他)。除非特定的上下文另外要求，否则术语“激光模块”应该无约束地被解释为指“至少一个激光模块”，并且在此所描述和要求保护的各种实施方式对所采用的不同激光模块的数量是通用的。例如，SLP可以采用包括任何数量的激光二极管的单个激光模块，或者SLP可以采用各自包括任何数量的激光二极管的多个激光模块(或者多芯片模块的激光等效物，比如多芯片激光模块)。
贯穿本说明书和所附权利要求书，术语“约”有时关于具体值或量来使用。例如，“约10nm或更小的带宽内的光”。除非具体上下文另有要求，否则术语约总体上意指±15％。
在此描述的WHUD可以包括用于从用户的环境收集数据的一个或多个传感器(例如，麦克风、照相机、温度计、指南针和/或其他传感器)。例如，一个或多个照相机可以用于向可穿戴式平视显示器的处理器提供反馈并且影响任何给定图像在(多个)透明显示器上应当被显示的位置。
在此描述的WHUD可以包括一个或多个自带功率源(例如，一个或多个电池)、用于发送/接收无线通信的无线收发器、和/或用于偶联到计算机和/或给一个或多个自带功率源充电的系留连接器端口。
贯穿本说明书和所附权利要求书，如在“通信路径”、“通信偶联”中及在如“通信地偶联”的变体中的术语“通信”总体上用于指代用于传递和/或交换信息的任何工程化安排。示例性通信路径包括但不限于：导电路径(例如，导电电线、导电迹线)、磁性路径(例如，磁性介质)、和/或光路(例如，光纤)，并且示例性通信偶联包括但不限于：电偶联、磁性偶联、和/或光偶联。
贯穿本说明书和所附权利要求书，通常使用不定式动词形式。示例包括但不限于：“来检测”、“来提供”、“来传输”、“来通信”、“来处理”、“来路由”等。除非具体的上下文另外要求，这类不定式动词形式以一种开放的、包括性的意义来使用，即被用作“至少来检测”、“至少来提供”、“至少来传输”等等。
以上对所展示实施例的说明(包括摘要中描述的内容)并不意图是穷尽的或将这些实施例限制于所披露的精确形式。尽管在此出于说明性目的描述了具体实施例和实例，但是可以在不脱离本披露的精神和范围的情况下做出不同等效修改，如相关领域的技术人员将认识到的。在此提供的不同实施例的传授内容可以应用于其他便携式和/或可穿戴电子设备，而不必是上文总体上描述的示例性可穿戴电子设备。
例如，前述详细说明已经通过使用框图、示意图、以及实例来陈述了这些装置和/或过程的不同实施例。到此为止，这些框图、示意图、以及实例含有一个或多个功能和/或操作，本领域的技术人员将理解，这些框图、流程图或实例内的每一个功能和/或操作都可以通过广泛范围的硬件、软件、固件或几乎其任何组合来单独地和/或共同地实施。在一个实施例中，本主题可以经由专用集成电路(ASIC)来实现。然而，本领域的技术人员将认识到，在此披露的这些实施例的整体或部分可以等效地在标准集成电路中被实现为由一个或多个计算机执行的一个或多个计算机程序(例如，在一个或多个计算机***上运行的一个或多个程序)、由一个或多个控制器(例如，微控制器)执行的一个或多个程序、由一个或多个处理器(例如，微处理器、中央处理单元、图形处理单元)执行的一个或多个程序、固件或几乎其任何组合，并且鉴于本披露的传授内容，设计电路***和/或编写软件和或固件的代码将是本领域的普通技术人员所完全了解的。
当逻辑被实现为软件并且被存储在存储器中时，逻辑或信息可以被存储在任何处理器可读介质上，以便由或结合任何处理器相关的***或方法使用。在本披露的上下文中，一个存储器是一个处理器可读介质，所述处理器可读介质是含有或存储一个计算机和/或处理器程序的一个电子、磁性、光学、或其他物理设备或装置。逻辑和/或信息可以被体现在任何处理器可读介质中，以便由或结合指令执行***、装置、或设备使用，所述指令执行***、装置、或设备诸如基于计算机的***、含有处理器的***、或可以从所述指令执行***、装置、或设备提取指令并且执行与逻辑和/或信息相关联的指令的其他***。
在本说明书的上下文中，“非瞬态处理器可读介质”可以是可以存储与逻辑和/或信息相关联的程序以便由或结合所述指令执行***、装置、和/或设备使用的任何元件。所述处理器可读介质可以是例如但不限于电子、磁性、光学、电磁、红外、或半导体***、装置或设备。所述计算机可读介质的更具体的实例(非穷尽列表)将包括以下各项：便携式计算机磁盘(磁卡、致密闪存卡、安全数字卡等)、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM、EEPROM、或闪存)、便携式压缩盘只读存储器(CDROM)、数字磁带、以及其他非瞬态介质。
可将以上所描述的各实施例进行组合以提供进一步实施例。就它们与本文的特定教导和定义没有不一致来说，Thalmic Labs公司所拥有的在本说明书中所提及和/或在申请数据表中所列出的所有美国专利、美国专利申请出版物、美国专利申请、外国专利、外国专利申请和非专利出版物包括但不限于：美国临时专利申请序列号62/167,767；美国临时专利申请序列号62/271,135；美国临时专利申请序列号62/017,089；美国临时专利申请序列号62/053,598；美国临时专利申请序列号62/117,316；美国临时专利申请序列号62/134,347(现在是美国非临时专利申请序列号15/070,887)；美国临时专利申请序列号62/156,736；美国临时专利申请序列号62/242,844；美国专利公开号US 2015-0378164A1；美国专利公开号US 2015-0378161 A1；美国专利公开号US 2015-0378162 A1；美国非临时专利申请序列号15/145,576；美国非临时专利申请序列号15/145,609；美国非临时专利申请序列号15/145,583；美国非临时专利申请序列号15/046,234；美国非临时专利申请序列号15/046,254；美国非临时专利申请序列号15/046,269；美国临时专利申请序列号62/245,792；美国临时专利申请序列号62/214,600；美国临时专利申请序列号62/268,892；和美国临时专利申请序列号62/281,041。如有必要，可以对实施例的方面进行修改，以利用各专利、申请和出版物中的***、电路及概念来提供又进一步实施例。
鉴于以上详细描述，可以对实施例做出这些和其他变化。一般而言，在以下权利要求书中，所使用的术语不应当被解释为将权利要求书局限于本说明书和权利要求书中所披露的特定实施例，而是应当被解释为包括所有可能的实施例、连同这些权利要求有权获得的等效物的整个范围。因此，这些权利要求不受本披露限制。

Claims (22)

1.一种具有集成眼睛追踪器的激光投射器，所述激光投射器包括：
激光模块，包括用于输出红外光的红外激光二极管以及用于输出可见光的至少一个可见光激光二极管；
扫描镜，与所述激光模块的输出端对准，从而接收所述红外光和所述可见光两者并且用于可控制地反射所述红外光和所述可见光两者；
波长复用全息光学元件(“HOE”)，被对准以接收从所述扫描镜反射的所述红外光和所述可见光两者并将所述红外光和所述可见光两者朝向用户的眼睛重定向，其中，所述波长复用HOE包括响应于所述可见光而不响应于所述红外光的第一全息图以及响应于所述红外光而不响应于所述可见光的第二全息图；以及
红外探测器，被对准以接收从所述用户的所述眼睛反射的红外光的至少一部分。
2.如权利要求1所述的激光投射器，其中，所述波长复用HOE包括至少两个不同的全息材料层：包括所述第一全息图的第一全息材料层以及包括所述第二全息图的第二全息材料层。
3.如权利要求1所述的激光投射器，其中，所述波长复用HOE包括单个全息材料体，所述单个全息材料体包括所述第一全息图和所述第二全息图两者。
4.如权利要求1所述的激光投射器，其中，所述激光模块中的所述至少一个可见光激光二极管包括从由以下各项组成的组中选择的至少一个可见光激光二极管：红色激光二极管、绿色激光二极管、蓝色激光二极管、以及红色激光二极管、绿色激光二极管和/或蓝色激光二极管的任意组合。
5.如权利要求1所述的激光投射器，其中，所述第一全息图向所述可见光施加第一屈光力并且所述第二全息图向所述红外光施加第二屈光力，所述第二屈光力不同于所述第一屈光力。
6.如权利要求5所述的激光投射器，其中，所述第一屈光力是正屈光力，并且所述第一屈光力大于所述第二屈光力。
7.如权利要求6所述的激光投射器，其中，所述第二屈光力小于或等于零。
8.如权利要求1所述的激光投射器，进一步包括：
支撑框架，所述支撑框架具有一副眼镜的大体形状和外观，其中，所述激光模块、所述扫描镜、所述波长复用HOE和所述红外探测器均由所述支撑框架承载，并且其中，所述波长复用HOE对环境光是基本上透明的并且在所述支撑框架被穿戴在所述用户的头部上时被定位在所述用户的至少一只眼睛的视野中。
9.一种可穿戴式平视显示器(“WHUD”)，包括：
支撑框架，在使用时被穿戴在用户的头部上；
激光模块，由所述支撑框架承载，所述激光模块包括用于输出红外光的红外激光二极管以及用于输出可见光的至少一个可见光激光二极管；
扫描镜，由所述支撑框架承载并与所述激光模块的输出端对准从而接收由所述激光模块输出的所述红外光和所述可见光两者，所述扫描镜用于可控制地反射所述红外光和所述可见光两者；
波长复用HOE，由所述支撑框架承载并且在所述支撑框架被穿戴在所述用户的所述头部上时被定位在所述用户的至少一只眼睛的视野内，所述波长复用HOE被对准以用于在所述支撑框架被穿戴在所述用户的所述头部上时接收从所述扫描镜反射的所述红外光和所述可见光两者并将所述红外光和所述可见光两者朝向所述用户的所述至少一只眼睛重定向，其中，所述波长复用HOE包括响应于所述可见光而不响应于所述红外光的第一全息图以及响应于所述红外光而不响应于所述可见光的第二全息图，并且其中，所述波长复用HOE对环境光是基本上透明的；以及
红外探测器，由所述支撑框架承载并被对准以用于在所述支撑框架被穿戴在所述用户的所述头部上时接收从所述用户的所述至少一只眼睛反射的红外光的至少一部分。
10.如权利要求9所述的WHUD，其中，所述支撑框架具有一副眼镜的大体形状和外观。
11.如权利要求9所述的WHUD，其中，所述波长复用HOE包括至少两个不同的全息材料层：包括所述第一全息图的第一全息材料层以及包括所述第二全息图的第二全息材料层。
12.如权利要求9所述的WHUD，其中，所述波长复用HOE包括单个全息材料体，所述单个全息材料体包括所述第一全息图和所述第二全息图两者。
13.如权利要求9所述的WHUD，其中，所述激光模块中的所述至少一个可见光激光二极管包括从由以下各项组成的组中选择的至少一个可见光激光二极管：红色激光二极管、绿色激光二极管、蓝色激光二极管、以及红色激光二极管、绿色激光二极管和/或蓝色激光二极管的任意组合。
14.如权利要求9所述的WHUD，其中，所述第一全息图向所述可见光施加第一屈光力并且所述第二全息图向所述红外光施加第二屈光力，所述第二屈光力不同于所述第一屈光力。
15.如权利要求14所述的WHUD，其中，所述第一屈光力是正屈光力，并且所述第一屈光力大于所述第二屈光力。
16.如权利要求15所述的WHUD，其中，所述第二屈光力小于或等于零。
17.一种操作激光投射器以便将图像投射至用户的眼睛并追踪所述用户的所述眼睛的方法，所述方法包括：
由所述激光投射器的至少第一激光二极管输出可见光，所述可见光表示所述图像的至少一部分；
由所述激光投射器的红外激光二极管输出红外光；
由所述激光投射器的扫描镜可控制地且反射性地扫描所述可见光和所述红外光两者；
由波长复用HOE将所述可见光和所述红外光两者朝向所述用户的所述眼睛重定向；
由红外光电探测器检测所述红外光的至少一部分从所述用户的所述眼睛的反射；以及
基于所述红外光电探测器所检测到的所述红外光的至少一部分从所述用户的所述眼睛的所述反射，确定所述眼睛的至少一个特征的位置。
18.如权利要求17所述的方法，其中，由波长复用HOE将所述可见光和所述红外光两者朝向所述用户的所述眼睛重定向包括：
由所述波长复用HOE的第一全息图向所述可见光施加第一屈光力；以及
由所述波长复用HOE的第二全息图向所述红外光施加第二屈光力，所述第二屈光力不同于所述第一屈光力。
19.如权利要求18所述的方法，其中，由所述波长复用HOE的第一全息图向所述可见光施加第一屈光力包括：由所述波长复用HOE的所述第一全息图向所述可见光施加第一正屈光力，并且其中，由所述波长复用HOE的第二全息图向所述红外光施加第二屈光力包括：由所述波长复用HOE的所述第二全息图向所述红外光施加小于所述第一屈光力的第二屈光力。
20.如权利要求19所述的方法，其中，由所述波长复用HOE的所述第二全息图向所述红外光施加小于所述第一屈光力的第二屈光力包括：由所述波长复用HOE的所述第二全息图向所述红外光施加小于或等于零的第二屈光力。
21.如权利要求19所述的方法，其中，基于所述红外光电探测器所检测到的所述红外光从所述用户的所述眼睛的所述反射确定所述眼睛的至少一个特征的位置包括：由处理器基于所述红外光从所述用户的所述眼睛的所述反射确定所述眼睛的至少一个特征的所述位置。
22.如权利要求19所述的方法，其中，由所述激光投射器的至少第一激光二极管输出可见光包括以下各项中的至少一项：
由所述激光投射器的红色激光二极管输出红光；
由所述激光投射器的绿色激光二极管输出绿光；和/或
由所述激光投射器的蓝色激光二极管输出蓝光。
CN201680028103.6A 2015-05-28 2016-05-27 在可穿戴式平视显示器中集成眼睛追踪和扫描激光投射的***、设备和方法 Pending CN107710048A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562167767P 2015-05-28 2015-05-28
US62/167,767 2015-05-28
US201562271135P 2015-12-22 2015-12-22
US62/271,135 2015-12-22
PCT/US2016/034713 WO2016191709A1 (en) 2015-05-28 2016-05-27 Systems, devices, and methods that integrate eye tracking and scanning laser projection in wearable heads-up displays

Publications (1)

Publication Number Publication Date
CN107710048A true CN107710048A (zh) 2018-02-16

Family

ID=57394258

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680028103.6A Pending CN107710048A (zh) 2015-05-28 2016-05-27 在可穿戴式平视显示器中集成眼睛追踪和扫描激光投射的***、设备和方法

Country Status (8)

Country Link
US (9) US10488661B2 (zh)
EP (1) EP3304172A4 (zh)
JP (2) JP2018518709A (zh)
KR (1) KR102474236B1 (zh)
CN (1) CN107710048A (zh)
AU (1) AU2016267275B2 (zh)
CA (1) CA2984138A1 (zh)
WO (1) WO2016191709A1 (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108957753A (zh) * 2018-07-25 2018-12-07 上海乐相科技有限公司 一种头戴式显示设备
CN110603513A (zh) * 2018-08-27 2019-12-20 深圳市汇顶科技股份有限公司 基于对眼睛特征进行成像和结构照明探测光帮助的眼睛跟踪
CN110658625A (zh) * 2018-06-29 2020-01-07 托比股份公司 全息眼睛成像设备
CN111708163A (zh) * 2020-04-26 2020-09-25 北京理工大学 具有眼动跟踪功能的抬头显示***和方法
CN112445333A (zh) * 2019-08-28 2021-03-05 通用汽车环球科技运作有限责任公司 与平视显示器集成的眼睛定位跟踪装置
CN112639555A (zh) * 2018-08-29 2021-04-09 罗伯特·博世有限公司 用于求取眼睛的视线方向的方法
CN112740079A (zh) * 2018-09-20 2021-04-30 依视路国际公司 深红色、近红外和可见光范围中的反射减少的光学装置
CN113454515A (zh) * 2018-12-17 2021-09-28 脸谱科技有限责任公司 全息场内照明器
CN113933998A (zh) * 2021-10-22 2022-01-14 小派科技（上海）有限责任公司 光学模组/***、显示装置、头戴式显示设备和显示***
CN114019679A (zh) * 2021-10-22 2022-02-08 小派科技（上海）有限责任公司 光学模组/***、显示装置、头戴式显示设备和显示***
CN115933172A (zh) * 2022-11-29 2023-04-07 大连海事大学 一种基于偏振多光谱成像的人眼视线追踪装置及方法
US11675427B2 (en) 2018-08-27 2023-06-13 Shenzhen GOODIX Technology Co., Ltd. Eye tracking based on imaging eye features and assistance of structured illumination probe light
CN112445333B (zh) * 2019-08-28 2024-07-26 通用汽车环球科技运作有限责任公司 与平视显示器集成的眼睛定位跟踪装置

Families Citing this family (132)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180048750A1 (en) * 2012-06-15 2018-02-15 Muzik, Llc Audio/video wearable computer system with integrated projector
US10528135B2 (en) 2013-01-14 2020-01-07 Ctrl-Labs Corporation Wearable muscle interface systems, devices and methods that interact with content displayed on an electronic display
US9699433B2 (en) * 2013-01-24 2017-07-04 Yuchen Zhou Method and apparatus to produce re-focusable vision with detecting re-focusing event from human eye
US20150124566A1 (en) 2013-10-04 2015-05-07 Thalmic Labs Inc. Systems, articles and methods for wearable electronic devices employing contact sensors
US10042422B2 (en) 2013-11-12 2018-08-07 Thalmic Labs Inc. Systems, articles, and methods for capacitive electromyography sensors
US11921471B2 (en) 2013-08-16 2024-03-05 Meta Platforms Technologies, Llc Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source
WO2015081113A1 (en) 2013-11-27 2015-06-04 Cezar Morun Systems, articles, and methods for electromyography sensors
US9880632B2 (en) 2014-06-19 2018-01-30 Thalmic Labs Inc. Systems, devices, and methods for gesture identification
US9874744B2 (en) 2014-06-25 2018-01-23 Thalmic Labs Inc. Systems, devices, and methods for wearable heads-up displays
US9958682B1 (en) 2015-02-17 2018-05-01 Thalmic Labs Inc. Systems, devices, and methods for splitter optics in wearable heads-up displays
JP2018506744A (ja) 2015-02-17 2018-03-08 サルミック ラブス インコーポレイテッド ウェアラブルヘッドアップディスプレイにおけるアイボックス拡張のためのシステム、機器、及び方法
US10175488B2 (en) 2015-05-04 2019-01-08 North Inc. Systems, devices, and methods for spatially-multiplexed holographic optical elements
US10488661B2 (en) 2015-05-28 2019-11-26 North Inc. Systems, devices, and methods that integrate eye tracking and scanning laser projection in wearable heads-up displays
CN108474873A (zh) 2015-09-04 2018-08-31 赛尔米克实验室公司 用于将全息光学元件与眼镜镜片整合在一起的***、制品和方法
CA3007196A1 (en) 2015-10-01 2017-04-06 Thalmic Labs Inc. Systems, devices, and methods for interacting with content displayed on head-mounted displays
US10409076B2 (en) * 2015-10-12 2019-09-10 North Inc. Adjustable pupil distance wearable display
US10437071B2 (en) * 2015-10-12 2019-10-08 North Inc. Adjustable pupil distance wearable display
US9904051B2 (en) 2015-10-23 2018-02-27 Thalmic Labs Inc. Systems, devices, and methods for laser eye tracking
US10802190B2 (en) 2015-12-17 2020-10-13 Covestro Llc Systems, devices, and methods for curved holographic optical elements
US10303246B2 (en) 2016-01-20 2019-05-28 North Inc. Systems, devices, and methods for proximity-based eye tracking
US10151926B2 (en) 2016-01-29 2018-12-11 North Inc. Systems, devices, and methods for preventing eyebox degradation in a wearable heads-up display
EP3443414A2 (en) 2016-04-13 2019-02-20 North Inc. Systems, devices, and methods for focusing laser projectors
US20180003961A1 (en) * 2016-07-01 2018-01-04 Intel Corporation Gaze detection in head worn display
US10277874B2 (en) 2016-07-27 2019-04-30 North Inc. Systems, devices, and methods for laser projectors
WO2018027326A1 (en) 2016-08-12 2018-02-15 Thalmic Labs Inc. Systems, devices, and methods for variable luminance in wearable heads-up displays
WO2018057660A2 (en) * 2016-09-20 2018-03-29 Apple Inc. Augmented reality system
US10215987B2 (en) 2016-11-10 2019-02-26 North Inc. Systems, devices, and methods for astigmatism compensation in a wearable heads-up display
WO2018098579A1 (en) 2016-11-30 2018-06-07 Thalmic Labs Inc. Systems, devices, and methods for laser eye tracking in wearable heads-up displays
US10664049B2 (en) 2016-12-09 2020-05-26 Nvidia Corporation Systems and methods for gaze tracking
DE102016124538A1 (de) * 2016-12-15 2018-06-21 tooz technologies GmbH Datenbrille, Brillenglas für eine Datenbrille und Verfahren zum Generieren eines Bildes auf der Netzhaut
US10663732B2 (en) * 2016-12-23 2020-05-26 North Inc. Systems, devices, and methods for beam combining in wearable heads-up displays
US10366674B1 (en) * 2016-12-27 2019-07-30 Facebook Technologies, Llc Display calibration in electronic displays
US10437073B2 (en) 2017-01-25 2019-10-08 North Inc. Systems, devices, and methods for beam combining in laser projectors
EP3566091A4 (en) * 2017-02-17 2020-09-30 Cogni Trax METHOD AND SYSTEM FOR DISPLAYING IMAGES
CN106873159A (zh) 2017-02-27 2017-06-20 阿里巴巴集团控股有限公司 虚拟现实头戴设备
KR20230151053A (ko) * 2017-03-21 2023-10-31 매직 립, 인코포레이티드 광 스캐닝 프로젝터와 함께 눈 움직임을 추적하기 위한 방법 및 시스템
JP7043048B2 (ja) * 2017-03-28 2022-03-29 株式会社Ｑｄレーザ レーザモジュール及び画像投影装置
JP7043049B2 (ja) * 2017-03-28 2022-03-29 株式会社Ｑｄレーザ レーザ投射装置
JP7033329B2 (ja) * 2017-04-04 2022-03-10 国立大学法人福井大学 映像生成装置及び映像生成方法
US20180292896A1 (en) * 2017-04-06 2018-10-11 Intel Corporation Head-mounted display device
US10747000B2 (en) * 2017-04-19 2020-08-18 North Inc. Systems, devices, and methods for holographic optical elements
US10303248B2 (en) * 2017-04-28 2019-05-28 Microsoft Technology Licensing, Llc Eye tracking using scanned beam and multiple detectors
US20180373043A1 (en) * 2017-06-27 2018-12-27 Thalmic Labs Inc. Systems, devices, and methods for optical waveguides
CN108701363B (zh) * 2017-07-07 2021-06-29 广东虚拟现实科技有限公司 使用多相机识别和追踪对象的方法、设备和***
US11409105B2 (en) 2017-07-24 2022-08-09 Mentor Acquisition One, Llc See-through computer display systems
US11122256B1 (en) 2017-08-07 2021-09-14 Apple Inc. Mixed reality system
US10976811B2 (en) * 2017-08-11 2021-04-13 Microsoft Technology Licensing, Llc Eye-tracking with MEMS scanning and reflected light
CN107515466B (zh) * 2017-08-14 2019-11-26 华为技术有限公司 一种眼球追踪***和眼球追踪方法
CN107422474B (zh) * 2017-08-14 2020-12-01 京东方科技集团股份有限公司 一种光束扩展结构及光学显示模组
US10394034B2 (en) 2017-08-15 2019-08-27 Microsoft Technology Licensing, Llc Eye-tracking with MEMS scanning and optical relay
US10420467B2 (en) * 2017-09-05 2019-09-24 eyeBrain Medical, Inc. Method and system for measuring binocular alignment
US11589745B2 (en) 2017-09-05 2023-02-28 Neurolens, Inc. Method and system for measuring binocular alignment
WO2019055839A2 (en) * 2017-09-15 2019-03-21 Trustees Of Dartmouth College VISUALIZATION SENSORS AND EYE MOVEMENT TRACKING APPARATUSES, AND ASSOCIATED METHODS AND SOFTWARE
CN112040858B (zh) 2017-10-19 2024-06-07 元平台技术有限公司 用于识别与神经肌肉源信号相关的生物结构的***和方法
WO2019079894A1 (en) * 2017-10-23 2019-05-02 North Inc. MULTIPLE LASER DIODE MODULES WITH FREE SPACES
US20190121139A1 (en) 2017-10-25 2019-04-25 North Inc. Free space multiple laser diode module with fast axis collimator
US10732427B2 (en) 2017-11-20 2020-08-04 Microsoft Technology Licensing, Llc Eye-tracking system positioning diffractive couplers on waveguide
US11003134B2 (en) 2017-11-30 2021-05-11 Google Llc Systems, devices, and methods for aperture-free hologram recording
US10942359B2 (en) * 2017-12-11 2021-03-09 Google Llc Wavelength combiner photonic integrated circuit with grating coupling of lasers
ES2969540T3 (es) * 2017-12-21 2024-05-21 Bae Systems Plc Oculometría para pantalla llevada en la cabeza
EP3514606A1 (en) * 2018-01-23 2019-07-24 BAE SYSTEMS plc Eye tracking for head-worn display
US10674141B1 (en) * 2018-01-23 2020-06-02 Facebook Technologies, Llc Apparatuses, systems, and methods for determining interpupillary distances of head-mounted displays
US11907423B2 (en) 2019-11-25 2024-02-20 Meta Platforms Technologies, Llc Systems and methods for contextualized interactions with an environment
US11961494B1 (en) 2019-03-29 2024-04-16 Meta Platforms Technologies, Llc Electromagnetic interference reduction in extended reality environments
US10627899B2 (en) * 2018-02-09 2020-04-21 Microsoft Technology Licensing, Llc Eye tracking system for use in a visible light display device
US10551914B2 (en) * 2018-02-09 2020-02-04 Microsoft Technology Licensing, Llc Efficient MEMs-based eye tracking system with a silicon photomultiplier sensor
JP6966075B2 (ja) * 2018-02-13 2021-11-10 国立大学法人福井大学 画像投影装置
US11042031B2 (en) * 2018-02-20 2021-06-22 Google Llc Eye tracking system and method, eyeglass lens, and wearable heads-up display
JP7109540B2 (ja) * 2018-05-30 2022-07-29 株式会社ソニー・インタラクティブエンタテインメント 画像表示システム
US10866634B2 (en) * 2018-06-19 2020-12-15 Sony Interactive Entertainment Inc. Eye tracking system with holographic film decoder
WO2020004850A1 (ko) * 2018-06-29 2020-01-02 주식회사 페네시아 홀로그램 광학 소자를 이용한 웨어러블 스마트 광학시스템
GB2575658B (en) * 2018-07-18 2020-12-23 Envisics Ltd Head-up display
US10955677B1 (en) 2018-08-06 2021-03-23 Apple Inc. Scene camera
US11087701B1 (en) 2018-10-26 2021-08-10 Facebook Technologies, Llc Head mounted display with angle compensation
US11093034B2 (en) * 2018-11-01 2021-08-17 Google Llc Eye tracking method and system and integration of the same with wearable heads-up displays
KR102676545B1 (ko) * 2018-11-09 2024-06-20 주식회사 엘지화학 광학 디바이스 및 이를 포함하는 아이웨어
DE102018220034B4 (de) * 2018-11-22 2021-10-21 Robert Bosch Gmbh Optische Kombinationsvorrichtung und Projektionssystem
CN113423341A (zh) 2018-11-27 2021-09-21 脸谱科技有限责任公司 用于可穿戴电极传感器***的自动校准的方法和装置
US10838214B2 (en) 2018-12-14 2020-11-17 Facebook Technologies, Llc Angle compensating lens and display
US11409240B2 (en) 2018-12-17 2022-08-09 Meta Platforms Technologies, Llc Holographic pattern generation for head-mounted display (HMD) eye tracking using a diffractive optical element
US10838362B2 (en) 2018-12-17 2020-11-17 Facebook Technologies, Llc Holographic pattern generation for head-mounted display (HMD) eye tracking using a prism array
US11256213B2 (en) 2018-12-17 2022-02-22 Facebook Technologies, Llc Holographic pattern generation for head-mounted display (HMD) eye tracking using an array of parabolic mirrors
US10942489B2 (en) 2018-12-17 2021-03-09 Facebook Technologies, Llc Wide-field holographic pattern generation for head-mounted display (HMD) eye tracking
US10948873B2 (en) 2018-12-17 2021-03-16 Facebook Technologies, Llc Holographic pattern generation for head-mounted display (HMD) eye tracking using a lens array
US11281160B2 (en) 2018-12-17 2022-03-22 Facebook Technologies, Llc Holographic pattern generation for head-mounted display (HMD) eye tracking using a fiber exposure
US20190146223A1 (en) * 2018-12-21 2019-05-16 Tuotuo LI Multifocal dynamic lens for head mounted display
CN109633905B (zh) * 2018-12-29 2020-07-24 华为技术有限公司 多焦平面显示***以及设备
US11181979B2 (en) * 2019-01-08 2021-11-23 Avegant Corp. Sensor-based eye-tracking using a holographic optical element
US10783819B1 (en) * 2019-01-22 2020-09-22 Facebook Technologies, Llc Digital color dispersion correction
US10838489B2 (en) 2019-03-04 2020-11-17 Microsoft Technology Licensing, Llc IR illumination module for MEMS-based eye tracking
US10832052B2 (en) 2019-03-04 2020-11-10 Microsoft Technology Licensing, Llc IR illumination module for MEMS-based eye tracking
US11624906B2 (en) 2019-03-04 2023-04-11 Microsoft Technology Licensing, Llc IR illumination module for MEMS-based eye tracking
US11353698B1 (en) * 2019-05-29 2022-06-07 Facebook Technologies, Llc Dual Purkinje imaging with ellipsoidal lensing structure
US11822081B2 (en) * 2019-08-29 2023-11-21 Apple Inc. Optical module for head-mounted device
CN114341781A (zh) * 2019-09-09 2022-04-12 苹果公司 使用定向光源的基于闪光的注视跟踪
US11885965B1 (en) 2019-09-23 2024-01-30 Apple Inc. Head-mounted display and display modules thereof
IL269809B (en) 2019-10-03 2021-12-01 Eyejets Ltd A compact retinal scanning device for tracking pupil movements of a user's eye and its applications
WO2021071915A1 (en) 2019-10-08 2021-04-15 Unlimited Tomorrow, Inc. Biometric sensor array
EP4066044A4 (en) * 2019-11-26 2023-12-27 Magic Leap, Inc. ENHANCED EYE TRACKING FOR AUGMENTED OR VIRTUAL REALITY DISPLAY SYSTEMS
US11888078B2 (en) 2020-01-09 2024-01-30 Osram Opto Semiconductors Gmbh Light detection with semiconductor photodiodes
US11209657B2 (en) 2020-01-24 2021-12-28 Valve Corporation Position tracking system for head-mounted display systems that includes angle sensitive detectors
US11073906B1 (en) 2020-01-27 2021-07-27 Valve Corporation Eye tracking system for head-mounted display devices
KR20220129639A (ko) 2020-02-03 2022-09-23 밸브 코포레이션 디스플레이 백라이트에 대한 공간적으로 변화하는 편광기
CN115066644B (zh) 2020-02-06 2023-07-25 威尔乌集团 用于照明光学的微透镜阵列偏振再循环光学器件
KR20220131341A (ko) 2020-02-06 2022-09-27 밸브 코포레이션 스캔 빔 시스템들에 대한 공간적으로 및 시간 변화하는 편광 교정 광학부
JP2023512876A (ja) 2020-02-06 2023-03-30 バルブ コーポレーション ヘッドマウントディスプレイシステムのための位置トラッキングシステム
JP2023512875A (ja) 2020-02-06 2023-03-30 バルブ コーポレーション 空間変化偏光子を使用した可変光学補正
JP2023512877A (ja) 2020-02-06 2023-03-30 バルブ コーポレーション 空間変動偏光子を使用した視野ベースの光学補正
EP4100785A4 (en) 2020-02-06 2024-03-06 Valve Corporation POLARIZATION MULTIPLEXED OPTICS FOR HEAD-MOUNTED DISPLAY SYSTEMS
US11487120B2 (en) 2020-02-06 2022-11-01 Valve Corporation Polarization compensation for wire grid polarizer of head-mounted display system
WO2021158970A1 (en) 2020-02-06 2021-08-12 Valve Corporation Correction polarization compensation optic for display systems
JP2023512887A (ja) 2020-02-11 2023-03-30 バルブ コーポレーション 高忠実度の表面キャラクタリゼーション測定用の偏光分析カメラ
KR20220129666A (ko) 2020-02-11 2022-09-23 밸브 코포레이션 조명 광학부에 대한 회절 요소들의 편광-기반 멀티플렉싱
CN115298597A (zh) * 2020-03-20 2022-11-04 奇跃公司 用于视网膜成像和跟踪的***和方法
US20220269079A1 (en) * 2020-04-01 2022-08-25 Google Llc Systems, devices, and methods for inputting light from a scanning projector into a waveguide
DE102020206451A1 (de) 2020-05-25 2021-11-25 Robert Bosch Gesellschaft mit beschränkter Haftung Optische Anordnung einer Datenbrille
KR20220036759A (ko) 2020-09-16 2022-03-23 삼성전자주식회사 다중 영상 디스플레이 장치
JP7465204B2 (ja) 2020-12-24 2024-04-10 株式会社Ｎｔｔドコモ 眼鏡型画像表示装置
DE102021108354A1 (de) * 2021-04-01 2022-10-06 Carl Zeiss Jena Gmbh Holographische Projektionsvorrichtung
US11868531B1 (en) 2021-04-08 2024-01-09 Meta Platforms Technologies, Llc Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof
US12001017B1 (en) 2021-05-17 2024-06-04 Meta Platforms Technologies, Llc Illumination system for object tracking
US20220413603A1 (en) * 2021-06-25 2022-12-29 Microsoft Technology Licensing, Llc Multiplexed diffractive elements for eye tracking
US20230314805A1 (en) * 2021-06-29 2023-10-05 Hes Ip Holdings, Llc Optic system for head wearable devices
US11662811B2 (en) * 2021-08-11 2023-05-30 GM Global Technology Operations LLC Holographic display system
US12019797B2 (en) * 2021-09-01 2024-06-25 Tdk Corporation Gaze tracking for a retinal projection display system
GB2613017A (en) * 2021-11-22 2023-05-24 Wayray Ag Optical system of augmented reality head-up display device with improved visual ergonomics
WO2023191554A1 (ko) * 2022-03-31 2023-10-05 삼성전자 주식회사 투명 디스플레이를 구비한 웨어러블 장치 및 그 동작 방법
DE102022210271A1 (de) 2022-09-28 2024-03-28 Robert Bosch Gesellschaft mit beschränkter Haftung Eye-Tracking-Vorrichtung, Datenbrille und Eye-Tracking-Verfahren
DE102022210945A1 (de) * 2022-10-17 2024-04-18 Robert Bosch Gesellschaft mit beschränkter Haftung Umlenkeinheit
WO2024128668A1 (ko) * 2022-12-12 2024-06-20 삼성전자 주식회사 광 출력 모듈을 포함하는 웨어러블 전자 장치
GB2626181A (en) * 2023-01-13 2024-07-17 Trulife Optics Ltd Eyeglass lens with holographic optical element
GB2626204A (en) * 2023-01-13 2024-07-17 Trulife Optics Ltd Eyeglass lens with holographic optical element

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3632392B2 (ja) * 1997-08-14 2005-03-23 富士ゼロックス株式会社 網膜ディスプレイ装置
EP1808722A2 (en) * 1996-10-08 2007-07-18 The Microoptical Corporation Image Combining System for Eyeglasses and Face Masks
US20130208362A1 (en) * 2012-02-15 2013-08-15 David D. Bohn Laser illumination scanning
US8767306B1 (en) * 2011-09-22 2014-07-01 Google Inc. Display system
US20140226193A1 (en) * 2011-10-25 2014-08-14 National Central University Optical head-mounted display with mechanical one-dimensional scanner
WO2014155288A2 (en) * 2013-03-25 2014-10-02 Ecole Polytechnique Federale De Lausanne (Epfl) Method and apparatus for head worn display with multiple exit pupils
US20150098061A1 (en) * 2000-10-07 2015-04-09 Metaio Gmbh Information system and method for providing information using a holographic element

Family Cites Families (181)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001242411A (ja) 1999-05-10 2001-09-07 Asahi Glass Co Ltd ホログラム表示装置
US3408133A (en) 1964-01-23 1968-10-29 Electro Optical Systems Inc Kerr-cell camera shutter
US3712716A (en) 1971-04-09 1973-01-23 Stanford Research Inst Eye tracker
JPS61198892A (ja) 1985-02-27 1986-09-03 Nec Corp 表示装置
EP0329757B1 (en) 1987-08-26 1993-03-10 EL HAGE, Sami G. Apparatus for determining the contour of the cornea of a human eye
US5231674A (en) 1989-06-09 1993-07-27 Lc Technologies, Inc. Eye tracking method and apparatus
US5103323A (en) 1990-04-18 1992-04-07 Holographic Optics, Inc. Multi-layer holographic notch filter
US5257094A (en) * 1991-07-30 1993-10-26 Larussa Joseph Helmet mounted display system
US5334991A (en) * 1992-05-15 1994-08-02 Reflection Technology Dual image head-mounted display
JP3151766B2 (ja) 1992-07-31 2001-04-03 キヤノン株式会社 画像表示装置
US5596339A (en) 1992-10-22 1997-01-21 University Of Washington Virtual retinal display with fiber optic point source
US6008781A (en) 1992-10-22 1999-12-28 Board Of Regents Of The University Of Washington Virtual retinal display
US5467104A (en) 1992-10-22 1995-11-14 Board Of Regents Of The University Of Washington Virtual retinal display
JP3418985B2 (ja) 1992-12-14 2003-06-23 株式会社デンソー 画像表示装置
JP3141737B2 (ja) 1995-08-10 2001-03-05 株式会社セガ 仮想画像生成装置及びその方法
US5742421A (en) 1996-03-01 1998-04-21 Reflection Technology, Inc. Split lens video display system
KR100227179B1 (ko) 1997-04-11 1999-10-15 박호군 고품질 반사형 홀로그래픽 광학 소자 제작 장치
JPH10319240A (ja) 1997-05-22 1998-12-04 Fuji Xerox Co Ltd ヘッドマウンテッドディスプレイ
US6027216A (en) 1997-10-21 2000-02-22 The Johns University School Of Medicine Eye fixation monitor and tracker
US6139146A (en) 1997-12-29 2000-10-31 Novartis Ag Programmable corrective lenses
US6043799A (en) 1998-02-20 2000-03-28 University Of Washington Virtual retinal display with scanner array for generating multiple exit pupils
US6396461B1 (en) * 1998-08-05 2002-05-28 Microvision, Inc. Personal display with vision tracking
EP1116211A4 (en) 1998-09-22 2001-11-21 Vega Vista Inc INTUITIVE CONTROL OF A PORTABLE DATA PRESENTATION SCREEN
US7640007B2 (en) 1999-02-12 2009-12-29 Fisher-Rosemount Systems, Inc. Wireless handheld communicator in a process control environment
US6972734B1 (en) 1999-06-11 2005-12-06 Canon Kabushiki Kaisha Mixed reality apparatus and mixed reality presentation method
JP2003502711A (ja) 1999-06-21 2003-01-21 ザ マイクロオプティカル コーポレイション 軸から外れている光学設計を使用する接眼レンズ・ディスプレイ・レンズ・システム
US6924476B2 (en) 2002-11-25 2005-08-02 Microvision, Inc. Resonant beam scanner with raster pinch compensation
JP4168221B2 (ja) 1999-09-06 2008-10-22 株式会社島津製作所 身体装着型表示システム
JP3828328B2 (ja) * 1999-12-28 2006-10-04 ローム株式会社 ヘッドマウントディスプレー
AU2001234987A1 (en) 2000-02-10 2001-08-20 Digilens Inc. Switchable hologram and method of producing the same
US6330064B1 (en) 2000-03-13 2001-12-11 Satcon Technology Corporation Doubly-differential interferometer and method for evanescent wave surface detection
US6443900B2 (en) 2000-03-15 2002-09-03 Olympus Optical Co., Ltd. Ultrasonic wave transducer system and ultrasonic wave transducer
US6813085B2 (en) 2000-06-26 2004-11-02 Angus Duncan Richards Virtual reality display device
US20020093701A1 (en) 2000-12-29 2002-07-18 Xiaoxiao Zhang Holographic multifocal lens
US20020120916A1 (en) 2001-01-16 2002-08-29 Snider Albert Monroe Head-up display system utilizing fluorescent material
JP4682470B2 (ja) * 2001-07-16 2011-05-11 株式会社デンソー スキャン型ディスプレイ装置
GB0212011D0 (en) * 2002-05-24 2002-07-03 Univ Heriot Watt Process for fabricating a security device
KR100495326B1 (ko) 2002-07-13 2005-06-14 삼성아이텍 주식회사 캐스팅 방식에 의한 내구성 편광렌즈의 제조방법 및제조도구
SE524003C2 (sv) 2002-11-21 2004-06-15 Tobii Technology Ab Förfarande och anläggning för att detektera och följa ett öga samt dess blickvinkel
US20040174287A1 (en) 2002-11-21 2004-09-09 Deak David G. Self-contained switch
WO2004049037A1 (ja) 2002-11-27 2004-06-10 Brother Kogyo Kabushiki Kaisha 画像表示装置
WO2004111820A2 (en) 2003-06-12 2004-12-23 Control Bionics Method, system, and software for interactive communication and analysis
GB2407378B (en) 2003-10-24 2006-09-06 Lein Applied Diagnostics Ltd Ocular property measuring apparatus and method therefor
EP1731943B1 (en) 2004-03-29 2019-02-13 Sony Corporation Optical device and virtual image display device
US20090207464A1 (en) 2004-11-24 2009-08-20 John David Wiltshire Holograms and Hologram Fabrication Methods and Apparatus
CA2537569C (en) 2005-02-24 2014-04-29 National Research Council Of Canada Microblinds and a method of fabrication thereof
US7773111B2 (en) 2005-03-16 2010-08-10 Lc Technologies, Inc. System and method for perceived image processing in a gaze tracking system
US20070132785A1 (en) 2005-03-29 2007-06-14 Ebersole John F Jr Platform for immersive gaming
JP4862298B2 (ja) * 2005-06-30 2012-01-25 ソニー株式会社 光学装置及び虚像表示装置
JP2007058095A (ja) 2005-08-26 2007-03-08 Fujifilm Corp ホログラム記録方法、ホログラム記録材料、光記録媒体、光記録媒体への記録方法、３ｄディスプレイホログラム、及び３ｄディスプレイホログラムの製造方法
US9681800B2 (en) * 2005-10-27 2017-06-20 The Arizona Board Of Regents On Behalf Of The University Of Arizona Holographic adaptive see-through phoropter
JP5128582B2 (ja) 2006-05-12 2013-01-23 シーリアル テクノロジーズ ソシエテ アノニム ホログラフィック投影システム及び方法
DE502006008671D1 (de) * 2006-09-26 2011-02-17 Thyssenkrupp Metalurgica Campo Limpo Ltda Verfahren zum Herstellen eines Kolbens für Verbrennungsmotoren und Kolben für einen Verbrennungsmotor
GB0622325D0 (en) 2006-11-09 2006-12-20 Optos Plc Improvements in or relating to retinal scanning
DE102007005823A1 (de) * 2007-01-31 2008-08-07 Seereal Technologies S.A. Optische Wellenfrontkorrektur für ein holographisches Projektionssystem
EP2168757B1 (en) 2007-07-25 2015-04-29 Hoya Corporation Method of manufacturing a plastic lens
US7925100B2 (en) 2007-07-31 2011-04-12 Microsoft Corporation Tiled packaging of vector image data
WO2009041055A1 (ja) 2007-09-26 2009-04-02 Panasonic Corporation ビーム走査型表示装置、その表示方法、プログラム、及び集積回路
KR20100075648A (ko) 2007-10-25 2010-07-02 아이 오조 코퍼레이션 편광 렌즈 및 편광 렌즈를 제조하는 방법
JP4989417B2 (ja) 2007-10-26 2012-08-01 キヤノン株式会社 画像表示システム、画像表示装置及びその制御方法、コンピュータプログラム
JP2009134276A (ja) * 2007-11-05 2009-06-18 Panasonic Corp 表示装置、表示方法、表示プログラム、集積回路、眼鏡型ヘッドマウントディスプレイ、自動車、単眼鏡、及び据置型ディスプレイ
US8355671B2 (en) 2008-01-04 2013-01-15 Kopin Corporation Method and apparatus for transporting video signal over Bluetooth wireless interface
JP5094430B2 (ja) 2008-01-10 2012-12-12 キヤノン株式会社 画像処理方法、画像処理装置、システム
US20100149073A1 (en) 2008-11-02 2010-06-17 David Chaum Near to Eye Display System and Appliance
US8023571B2 (en) 2008-04-15 2011-09-20 Hong Nie Impulse ultra-wideband radio communication system
EP2138886A3 (en) 2008-06-25 2011-10-05 Samsung Electronics Co., Ltd. Compact virtual display
US9037530B2 (en) 2008-06-26 2015-05-19 Microsoft Technology Licensing, Llc Wearable electromyography-based human-computer interface
US7736000B2 (en) 2008-08-27 2010-06-15 Locarna Systems, Inc. Method and apparatus for tracking eye movement
US7850306B2 (en) 2008-08-28 2010-12-14 Nokia Corporation Visual cognition aware display and visual data transmission architecture
US8922898B2 (en) 2008-09-04 2014-12-30 Innovega Inc. Molded lens with nanofilaments and related methods
WO2010057219A1 (en) * 2008-11-17 2010-05-20 Luminit Llc Holographic substrate-guided wave-based see-through display
JP4780186B2 (ja) 2008-12-09 2011-09-28 ソニー株式会社 ホログラム記録フィルム及びその製造方法、並びに、画像表示装置
ES2721600T5 (es) * 2008-12-12 2022-04-11 Bae Systems Plc Mejoras en o relacionadas con guías de onda
GB0902468D0 (en) 2009-02-16 2009-04-01 Light Blue Optics Ltd Optical systems
EP2465004A2 (en) 2009-08-13 2012-06-20 BAE Systems PLC Head up display system
US8233204B1 (en) 2009-09-30 2012-07-31 Rockwell Collins, Inc. Optical displays
KR20110050929A (ko) * 2009-11-09 2011-05-17 삼성전자주식회사 착용형 디스플레이장치
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
GB201004346D0 (en) * 2010-03-16 2010-04-28 Qinetiq Ltd Eye tracking apparatus
JP2013127489A (ja) 2010-03-29 2013-06-27 Panasonic Corp シースルーディスプレイ
CN102472892B (zh) 2010-04-28 2014-07-09 松下电器产业株式会社 扫描型图像显示装置
US8634119B2 (en) 2010-07-09 2014-01-21 Tipd, Llc System for holography
US9135708B2 (en) 2010-08-09 2015-09-15 National University Corporation Shizuoka University Gaze point detection method and gaze point detection device
JP5953311B2 (ja) 2010-11-08 2016-07-20 シーリアル テクノロジーズ ソシエテ アノニムＳｅｅｒｅａｌ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｓ．Ａ． 表示装置
US20120182309A1 (en) 2011-01-14 2012-07-19 Research In Motion Limited Device and method of conveying emotion in a messaging application
US8666212B1 (en) 2011-04-28 2014-03-04 Google Inc. Head mounted display using a fused fiber bundle
US8760499B2 (en) 2011-04-29 2014-06-24 Austin Russell Three-dimensional imager and projection device
US8510166B2 (en) 2011-05-11 2013-08-13 Google Inc. Gaze tracking system
KR101252169B1 (ko) 2011-05-27 2013-04-05 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
US20130198694A1 (en) 2011-06-10 2013-08-01 Aliphcom Determinative processes for wearable devices
US20130009853A1 (en) 2011-07-05 2013-01-10 The Board Of Trustees Of The Leland Stanford Junior University Eye-glasses mounted display
US8817379B2 (en) 2011-07-12 2014-08-26 Google Inc. Whole image scanning mirror display system
US8179604B1 (en) 2011-07-13 2012-05-15 Google Inc. Wearable marker for passive interaction
US8471967B2 (en) 2011-07-15 2013-06-25 Google Inc. Eyepiece for near-to-eye display with multi-reflectors
EP2995986B1 (en) 2011-08-24 2017-04-12 Rockwell Collins, Inc. Data display
WO2013030712A1 (en) 2011-08-31 2013-03-07 Koninklijke Philips Electronics N.V. Light control panel
US8998414B2 (en) * 2011-09-26 2015-04-07 Microsoft Technology Licensing, Llc Integrated eye tracking and display system
US20130088413A1 (en) 2011-10-05 2013-04-11 Google Inc. Method to Autofocus on Near-Eye Display
KR101167094B1 (ko) * 2011-10-26 2012-07-20 한국 천문 연구원 Ｅｏ 및 ｉｒ 겸용 광학장치
US8704882B2 (en) 2011-11-18 2014-04-22 L-3 Communications Corporation Simulated head mounted display system and method
US8611015B2 (en) * 2011-11-22 2013-12-17 Google Inc. User interface
JP5906692B2 (ja) 2011-11-29 2016-04-20 セイコーエプソン株式会社 表示装置
US8235529B1 (en) 2011-11-30 2012-08-07 Google Inc. Unlocking a screen using eye tracking information
TWI446896B (zh) 2011-12-23 2014-08-01 Ind Tech Res Inst 肌能參數感測器
US10013053B2 (en) 2012-01-04 2018-07-03 Tobii Ab System for gaze interaction
US8971023B2 (en) 2012-03-21 2015-03-03 Google Inc. Wearable computing device frame
JP5464219B2 (ja) 2012-02-03 2014-04-09 株式会社デンソー 車両用ヘッドアップディスプレイ装置
US8970571B1 (en) 2012-03-13 2015-03-03 Google Inc. Apparatus and method for display lighting adjustment
US9158113B2 (en) * 2012-03-14 2015-10-13 Google Inc. Integrated display and photosensor
JPWO2013136759A1 (ja) 2012-03-15 2015-08-03 パナソニックＩｐマネジメント株式会社 光学反射素子とアクチュエータ
US8922481B1 (en) 2012-03-16 2014-12-30 Google Inc. Content annotation
US9116545B1 (en) * 2012-03-21 2015-08-25 Hayes Solos Raffle Input detection
US8994672B2 (en) 2012-04-09 2015-03-31 Sony Corporation Content transfer via skin input
KR20130121303A (ko) 2012-04-27 2013-11-06 한국전자통신연구원 원거리 시선 추적 시스템 및 방법
US8746898B2 (en) 2012-05-07 2014-06-10 Microvision, Inc. Projector with shutter
US20130332196A1 (en) 2012-06-07 2013-12-12 The Government Of The United States As Represented By The Secretary Of The Army Diabetes Monitoring Using Smart Device
US9398229B2 (en) 2012-06-18 2016-07-19 Microsoft Technology Licensing, Llc Selective illumination of a region within a field of view
US8754829B2 (en) * 2012-08-04 2014-06-17 Paul Lapstun Scanning light field camera and display
US9250445B2 (en) * 2012-08-08 2016-02-02 Carol Ann Tosaya Multiple-pixel-beam retinal displays
US20140045463A1 (en) 2012-08-10 2014-02-13 Silverplus, Inc. Wearable Communication Device
JP6069946B2 (ja) * 2012-08-17 2017-02-01 セイコーエプソン株式会社 画像表示装置および頭部装着型画像表示装置
CN104603673B (zh) * 2012-09-03 2017-03-15 Smi创新传感技术有限公司 头戴式***以及使用头戴式***计算和渲染数字图像流的方法
US9338370B2 (en) 2012-11-05 2016-05-10 Honeywell International Inc. Visual system having multiple cameras
KR101984590B1 (ko) 2012-11-14 2019-05-31 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
US10528135B2 (en) 2013-01-14 2020-01-07 Ctrl-Labs Corporation Wearable muscle interface systems, devices and methods that interact with content displayed on an electronic display
JP2014142423A (ja) 2013-01-22 2014-08-07 Denso Corp ヘッドアップディスプレイ装置
WO2014115095A2 (en) 2013-01-28 2014-07-31 Ecole Polytechnique Federale De Lausanne (Epfl) Transflective holographic film for head worn display
US9223139B2 (en) 2013-02-15 2015-12-29 Google Inc. Cascading optics in optical combiners of head mounted displays
US9223152B1 (en) * 2013-02-15 2015-12-29 Google Inc. Ambient light optics for head mounted display
US9392129B2 (en) 2013-03-15 2016-07-12 John Castle Simmons Light management for image and data control
KR102082702B1 (ko) * 2013-03-28 2020-02-28 엘지전자 주식회사 레이저 영상표시장치
US9411210B2 (en) * 2013-03-28 2016-08-09 Panasonic Intellectual Property Management Co., Ltd. Image display device
KR102043200B1 (ko) 2013-05-07 2019-11-11 엘지전자 주식회사 스마트 워치 및 제어 방법
US20150036221A1 (en) 2013-08-04 2015-02-05 Robert S. Stephenson Wide-field head-up display (HUD) eyeglasses
JP6600310B2 (ja) 2013-09-04 2019-10-30 エシロール エンテルナショナル シースルー頭部装着型装置に基づいたナビゲーション方法
NZ755272A (en) 2013-11-27 2020-05-29 Magic Leap Inc Virtual and augmented reality systems and methods
KR101855196B1 (ko) 2013-11-27 2018-06-08 선전 구딕스 테크놀로지 컴퍼니, 리미티드 아이 트래킹 및 사용자 반응 검출
US8958158B1 (en) 2013-12-03 2015-02-17 Google Inc. On-head detection for head-mounted display
US9360935B2 (en) * 2013-12-20 2016-06-07 Hong Kong Applied Science And Technology Research Institute Co. Ltd. Integrated bi-sensing optical structure for head mounted display
US20170139209A9 (en) * 2014-01-06 2017-05-18 Avegant Corp. System, method, and apparatus for displaying an image using a curved mirror and partially transparent plate
KR102227284B1 (ko) * 2014-01-16 2021-03-12 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US20150205134A1 (en) 2014-01-17 2015-07-23 Thalmic Labs Inc. Systems, articles, and methods for wearable heads-up displays
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US20150205135A1 (en) * 2014-01-21 2015-07-23 Osterhout Group, Inc. See-through computer display systems
US9494800B2 (en) * 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
WO2015123775A1 (en) 2014-02-18 2015-08-27 Sulon Technologies Inc. Systems and methods for incorporating a real image stream in a virtual image stream
US10314482B2 (en) * 2014-02-28 2019-06-11 The Johns Hopkins University Eye alignment monitor and method
JP6415608B2 (ja) * 2014-03-03 2018-10-31 アイウェイ ビジョン エルティーディー． 目用投影システム
WO2015143073A1 (en) * 2014-03-19 2015-09-24 Intuitive Surgical Operations, Inc. Medical devices, systems, and methods integrating eye gaze tracking for stereo viewer
US9804753B2 (en) 2014-03-20 2017-10-31 Microsoft Technology Licensing, Llc Selection using eye gaze evaluation over time
EP3126896A1 (en) * 2014-03-28 2017-02-08 Alma Mater Studiorum - Università di Bologna Augmented reality glasses for medical applications and corresponding augmented reality system
US20150325202A1 (en) 2014-05-07 2015-11-12 Thalmic Labs Inc. Systems, devices, and methods for wearable computers with heads-up displays
US9874744B2 (en) 2014-06-25 2018-01-23 Thalmic Labs Inc. Systems, devices, and methods for wearable heads-up displays
US9958680B2 (en) * 2014-09-30 2018-05-01 Omnivision Technologies, Inc. Near-eye display device and methods with coaxial eye imaging
US9541998B2 (en) * 2015-01-29 2017-01-10 Samsung Electronics Co., Ltd. Electronic system with gaze alignment mechanism and method of operation thereof
JP2018506744A (ja) 2015-02-17 2018-03-08 サルミック ラブス インコーポレイテッド ウェアラブルヘッドアップディスプレイにおけるアイボックス拡張のためのシステム、機器、及び方法
WO2016138178A1 (en) 2015-02-25 2016-09-01 Brian Mullins Visual gestures for a head mounted device
JP6520209B2 (ja) 2015-02-27 2019-05-29 セイコーエプソン株式会社 画像表示装置
KR101734094B1 (ko) * 2015-03-09 2017-05-11 국립암센터 증강현실영상 투영 시스템
US20160274365A1 (en) 2015-03-17 2016-09-22 Thalmic Labs Inc. Systems, devices, and methods for wearable heads-up displays with heterogeneous display quality
US20160274758A1 (en) 2015-03-20 2016-09-22 Thalmic Labs Inc. Systems, devices, and methods for mitigating false positives in human-electronics interfaces
JP2016188907A (ja) * 2015-03-30 2016-11-04 セイコーエプソン株式会社 体積ホログラフィック素子、体積ホログラフィック素子の製造方法、および表示装置
US10078435B2 (en) 2015-04-24 2018-09-18 Thalmic Labs Inc. Systems, methods, and computer program products for interacting with electronically displayed presentation materials
CN108027519B (zh) 2015-04-30 2021-08-31 索尼公司 显示装置
US10175488B2 (en) 2015-05-04 2019-01-08 North Inc. Systems, devices, and methods for spatially-multiplexed holographic optical elements
US10488661B2 (en) 2015-05-28 2019-11-26 North Inc. Systems, devices, and methods that integrate eye tracking and scanning laser projection in wearable heads-up displays
CN108474873A (zh) 2015-09-04 2018-08-31 赛尔米克实验室公司 用于将全息光学元件与眼镜镜片整合在一起的***、制品和方法
CA3007196A1 (en) 2015-10-01 2017-04-06 Thalmic Labs Inc. Systems, devices, and methods for interacting with content displayed on head-mounted displays
US9904051B2 (en) 2015-10-23 2018-02-27 Thalmic Labs Inc. Systems, devices, and methods for laser eye tracking
US20170153701A1 (en) 2015-12-01 2017-06-01 Thalmic Labs Inc. Systems, devices, and methods for wearable heads-up displays as wireless controllers
JP7123795B2 (ja) 2015-12-17 2022-08-23 ノース インコーポレイテッド 曲面状ホログラフィック光学素子のためのシステム、デバイス、及び方法
US9693029B1 (en) * 2015-12-22 2017-06-27 Microvision, Inc. System and method for feedback control in scanning projectors
US10303246B2 (en) 2016-01-20 2019-05-28 North Inc. Systems, devices, and methods for proximity-based eye tracking
US10151926B2 (en) 2016-01-29 2018-12-11 North Inc. Systems, devices, and methods for preventing eyebox degradation in a wearable heads-up display
EP3443414A2 (en) 2016-04-13 2019-02-20 North Inc. Systems, devices, and methods for focusing laser projectors
WO2018005985A1 (en) 2016-06-30 2018-01-04 Thalmic Labs Inc. Image capture systems, devices, and methods that autofocus based on eye-tracking
US10277874B2 (en) 2016-07-27 2019-04-30 North Inc. Systems, devices, and methods for laser projectors
WO2018027326A1 (en) 2016-08-12 2018-02-15 Thalmic Labs Inc. Systems, devices, and methods for variable luminance in wearable heads-up displays
US10215987B2 (en) 2016-11-10 2019-02-26 North Inc. Systems, devices, and methods for astigmatism compensation in a wearable heads-up display
US20180129054A1 (en) 2016-11-10 2018-05-10 Thalmic Labs Inc. Systems, devices, and methods for beam shaping in a wearable heads-up display
US20180129055A1 (en) 2016-11-10 2018-05-10 Thalmic Labs Inc. Systems, devices, and methods for field shaping in wearable heads-up display

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1808722A2 (en) * 1996-10-08 2007-07-18 The Microoptical Corporation Image Combining System for Eyeglasses and Face Masks
JP3632392B2 (ja) * 1997-08-14 2005-03-23 富士ゼロックス株式会社 網膜ディスプレイ装置
US20150098061A1 (en) * 2000-10-07 2015-04-09 Metaio Gmbh Information system and method for providing information using a holographic element
US8767306B1 (en) * 2011-09-22 2014-07-01 Google Inc. Display system
US20140226193A1 (en) * 2011-10-25 2014-08-14 National Central University Optical head-mounted display with mechanical one-dimensional scanner
US20130208362A1 (en) * 2012-02-15 2013-08-15 David D. Bohn Laser illumination scanning
WO2014155288A2 (en) * 2013-03-25 2014-10-02 Ecole Polytechnique Federale De Lausanne (Epfl) Method and apparatus for head worn display with multiple exit pupils

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110658625A (zh) * 2018-06-29 2020-01-07 托比股份公司 全息眼睛成像设备
CN108957753A (zh) * 2018-07-25 2018-12-07 上海乐相科技有限公司 一种头戴式显示设备
US11675427B2 (en) 2018-08-27 2023-06-13 Shenzhen GOODIX Technology Co., Ltd. Eye tracking based on imaging eye features and assistance of structured illumination probe light
CN110603513A (zh) * 2018-08-27 2019-12-20 深圳市汇顶科技股份有限公司 基于对眼睛特征进行成像和结构照明探测光帮助的眼睛跟踪
CN110603513B (zh) * 2018-08-27 2023-08-29 深圳市汇顶科技股份有限公司 一种眼睛跟踪设备及利用光学成像跟踪眼睛的方法
US11868522B2 (en) 2018-08-29 2024-01-09 Robert Bosch Gmbh Method for ascertaining a viewing direction of an eye
CN112639555A (zh) * 2018-08-29 2021-04-09 罗伯特·博世有限公司 用于求取眼睛的视线方向的方法
CN112740079A (zh) * 2018-09-20 2021-04-30 依视路国际公司 深红色、近红外和可见光范围中的反射减少的光学装置
CN113454515A (zh) * 2018-12-17 2021-09-28 脸谱科技有限责任公司 全息场内照明器
CN112445333A (zh) * 2019-08-28 2021-03-05 通用汽车环球科技运作有限责任公司 与平视显示器集成的眼睛定位跟踪装置
CN112445333B (zh) * 2019-08-28 2024-07-26 通用汽车环球科技运作有限责任公司 与平视显示器集成的眼睛定位跟踪装置
CN111708163B (zh) * 2020-04-26 2022-06-03 北京理工大学 具有眼动跟踪功能的抬头显示***和方法
CN111708163A (zh) * 2020-04-26 2020-09-25 北京理工大学 具有眼动跟踪功能的抬头显示***和方法
CN114019679A (zh) * 2021-10-22 2022-02-08 小派科技（上海）有限责任公司 光学模组/***、显示装置、头戴式显示设备和显示***
CN113933998A (zh) * 2021-10-22 2022-01-14 小派科技（上海）有限责任公司 光学模组/***、显示装置、头戴式显示设备和显示***
CN115933172A (zh) * 2022-11-29 2023-04-07 大连海事大学 一种基于偏振多光谱成像的人眼视线追踪装置及方法
CN115933172B (zh) * 2022-11-29 2023-09-12 大连海事大学 一种基于偏振多光谱成像的人眼视线追踪装置及方法

Also Published As

Publication number Publication date
US20180067322A1 (en) 2018-03-08
US20160349514A1 (en) 2016-12-01
US10073268B2 (en) 2018-09-11
US10429655B2 (en) 2019-10-01
US20160349516A1 (en) 2016-12-01
EP3304172A4 (en) 2019-01-02
US20190004322A1 (en) 2019-01-03
JP2018518709A (ja) 2018-07-12
US10139633B2 (en) 2018-11-27
US20180136469A1 (en) 2018-05-17
US10078219B2 (en) 2018-09-18
US10534182B2 (en) 2020-01-14
US20180067323A1 (en) 2018-03-08
US20180067321A1 (en) 2018-03-08
US10114222B2 (en) 2018-10-30
AU2016267275B2 (en) 2021-07-01
WO2016191709A1 (en) 2016-12-01
US10180578B2 (en) 2019-01-15
JP2022031715A (ja) 2022-02-22
US20160349515A1 (en) 2016-12-01
US10078220B2 (en) 2018-09-18
US10488661B2 (en) 2019-11-26
CA2984138A1 (en) 2016-12-01
KR102474236B1 (ko) 2022-12-05
EP3304172A1 (en) 2018-04-11
KR20180003629A (ko) 2018-01-09
US20190004323A1 (en) 2019-01-03
AU2016267275A1 (en) 2017-11-30

Similar Documents

Publication Publication Date Title
CN107710048A (zh) 在可穿戴式平视显示器中集成眼睛追踪和扫描激光投射的***、设备和方法
US10409057B2 (en) Systems, devices, and methods for laser eye tracking in wearable heads-up displays
JP7478773B2 (ja) ウェアラブルヘッドアップディスプレイにおけるアイボックス拡張のためのシステム、機器、及び方法
US11042031B2 (en) Eye tracking system and method, eyeglass lens, and wearable heads-up display
CN107515466B (zh) 一种眼球追踪***和眼球追踪方法
CN105572877B (zh) 一种头戴式增强现实智能显示装置
KR20150136601A (ko) 다수의 출사동을 가진 헤드 착용 디스플레이로부터 투영된 이미지를 디스플레이하기 위한 방법
US20220382064A1 (en) Metalens for use in an eye-tracking system of a mixed-reality display device
US10736501B2 (en) Apparatuses and methods for carrying out eye-related measurements

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Lake Ontario, Canada

Applicant after: North Company

Address before: Lake Ontario, Canada

Applicant before: THALMIC LABS INC

CB02 Change of applicant information
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180216

WD01 Invention patent application deemed withdrawn after publication