CN104067160A - 使用眼睛跟踪在显示屏中使图像内容居中的方法 - Google Patents

使用眼睛跟踪在显示屏中使图像内容居中的方法 Download PDF

Info

Publication number
CN104067160A
CN104067160A CN201280067798.0A CN201280067798A CN104067160A CN 104067160 A CN104067160 A CN 104067160A CN 201280067798 A CN201280067798 A CN 201280067798A CN 104067160 A CN104067160 A CN 104067160A
Authority
CN
China
Prior art keywords
image
axle
hmd
central shaft
destination object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280067798.0A
Other languages
English (en)
Other versions
CN104067160B (zh
Inventor
A.J.惠勒
L.R.P.戈麦兹
H.S.拉弗尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN104067160A publication Critical patent/CN104067160A/zh
Application granted granted Critical
Publication of CN104067160B publication Critical patent/CN104067160B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Optics & Photonics (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种头戴式显示器(HMD)可包括眼睛跟踪***、HMD跟踪***和被配置为显示虚拟图像的显示屏。虚拟图像可向HMD的穿戴者呈现增强的现实并且虚拟图像可基于HMD跟踪数据来动态地调整。然而，位置和取向传感器误差可向显示的虚拟图像中引入漂移。通过包含眼睛跟踪数据，可以减小虚拟图像的漂移。在一个实施例中，眼睛跟踪数据可用于确定凝视轴和显示的虚拟图像中的目标对象。HMD随后可朝着中心轴移动目标对象。HMD还可基于凝视轴、中心轴和目标对象来记录数据以确定用户界面偏好。用户界面偏好可用于调整与HMD的类似交互。

Description

使用眼睛跟踪在显示屏中使图像内容居中的方法
背景技术
可穿戴***可将各种元件，例如微型计算机、输入设备、传感器、检测器、图像显示器、无线通信设备以及图像和音频处理器，集成到用户可以穿戴的设备中。这种设备对通信、计算和与人的环境的交互提供了一种移动且轻量的解决方案。随着与可穿戴***和微型光学元件相关联的技术的进步，已经可能考虑增强穿戴者对真实世界的体验的可穿戴紧凑型光学显示器。
通过将图像显示元件放置得靠近穿戴者的眼睛(一眼或双眼)，可以使人工图像覆盖穿戴者对真实世界的视图。这种图像显示元件被包含到也称为“近眼显示器”(near-eye display)、“头戴式显示器”(head-mounted display，HMD)或“抬头显示器”(heads-up display，HUD)的***中。取决于显示元件的大小和与穿戴者眼睛的距离，人工图像可填满或几乎填满穿戴者的视野。
发明内容
在第一方面中，提供了一种方法。该方法包括在显示屏上显示图像，该显示屏具有中心轴；相对于中心轴确定凝视轴；以及基于凝视轴确定显示的图像中的目标对象。该方法还包括调整显示屏上显示的图像以朝着中心轴移动目标对象。
在第二方面中，提供了一种方法。该方法包括在显示屏上显示图像，该显示屏具有中心轴。该方法还包括相对于中心轴确定凝视轴，并且基于凝视轴确定显示的图像中的目标对象。该方法还包括基于中心轴、凝视轴、目标对象和显示的图像来记录数据。该方法还包括基于记录的数据来调整显示屏上显示的图像。
在第三方面中，提供了一种头戴式显示器(HMD)。该HMD包括头戴支撑物和安附到头戴支撑物的光学***。光学***包括具有中心轴的显示屏，并且显示屏被配置为显示可从观看位置观看的图像。HMD还包括红外光源，该红外光源被配置为以红外光对观看位置照明以使得红外光被从观看位置反射为反射的红外光。HMD还包括被配置为通过收集反射的红外光来对观看位置成像的相机和被配置为生成与HMD的运动有关的传感器数据的传感器。HMD还包括计算机，该计算机被配置为基于由相机获得的观看位置的一个或多个图像来确定凝视轴，控制显示屏基于传感器数据来显示图像，基于凝视轴确定显示的图像中的目标对象，以及控制显示屏来朝着中心轴移动目标对象。
在第四方面中，提供了一种存储有指令的非暂态计算机可读介质。这些指令可被计算设备执行来使得该计算设备执行功能。这些功能包括：(i)控制显示屏显示图像，该显示屏具有中心轴；(ii)相对于中心轴确定凝视轴；(iii)基于凝视轴确定显示的图像中的目标对象；以及(iv)控制显示屏调整显示的图像以朝着中心轴移动目标对象。
在第五方面中，提供了一种方法。该方法包括在头戴式显示器(HMD)的显示屏上显示图像。可在观看位置处观看显示的图像并且显示屏包括中心轴。该方法还包括获取与HMD的运动有关的传感器数据，并且控制显示屏基于传感器数据来显示图像。该方法还包括基于由相机获得的观看位置的一个或多个图像来确定凝视轴，并且基于凝视轴确定显示的图像中的目标对象。该方法还包括控制显示屏来朝着中心轴移动目标对象。
附图说明
图1是根据示例实施例的可穿戴计算设备的示意图。
图2是根据示例实施例的光学***的顶视图。
图3A是根据示例实施例的头戴式显示器的正视图。
图3B是根据示例实施例的图3A的头戴式显示器的顶视图。
图3C是根据示例实施例的图3A和图3B的头戴式显示器的侧视图。
图4A是根据示例实施例的具有向前凝视轴的侧视图。
图4B是根据示例实施例的具有向上凝视轴的图4A的头戴式显示器的侧视图。
图5是根据示例实施例的方法的流程图。
图6是根据示例实施例的方法的流程图。
图7A根据示例实施例示出了HMD的视野。
图7B根据示例实施例示出了HMD的两个视野。
图8是根据示例实施例的方法的流程图。
具体实施方式
在以下详细描述中，参考了形成描述的一部分的附图。在附图中，相似的标号通常标识相似的组件，除非上下文另有规定。详细描述和附图中描述的说明性实施例并不打算进行限定。在不脱离本文给出的主题的精神或范围的情况下，可以利用其他实施例，并且可以进行其他改变。容易理解，本文概括描述并且在附图中图示的本公开的各方面可按许多种不同的配置来布置、替换、组合、分离和设计，所有这些在这里都已设想到。
1.概述
头戴式显示器(“HMD”)可使得其穿戴者能够观察穿戴者的真实世界周遭环境并且还能够观看显示的图像，例如计算机生成的图像或虚拟图像。在一些情况下，显示的图像可覆盖穿戴者的真实世界视野的一部分。从而，在HMD的穿戴者在从事着其日常活动，例如行走、驾驶、锻炼等等的同时，穿戴者可能够看到由HMD在穿戴者看着其真实世界周遭环境的同时生成的显示图像。
显示的图像可包括例如图形、文本和/或视频。显示的图像的内容可涉及任意数目的情境，包括但不限于穿戴者的当前环境、穿戴者当前从事的活动、穿戴者的生物计量状态、以及针对穿戴者的任何音频、视频或文本通信。HMD显示的图像也可以是交互式用户界面的一部分。例如，HMD可以是可穿戴计算设备的一部分。从而，HMD显示的图像可包括菜单、选择框、导航图标或者使得穿戴者能够调用可穿戴计算设备的功能或以其他方式与可穿戴计算设备交互的其他用户界面特征。
HMD显示的图像可出现在穿戴者的视野中的任何地方。例如，显示的图像可出现在穿戴者的视野的中心处或中心附近，或者显示的图像可局限于穿戴者的视野的顶部、底部或角落。或者，显示的图像可在穿戴者的正常视野的***或者完全在穿戴者的正常视野之外。例如，显示的图像可被定位成使得其在穿戴者直向前看时不可见，而在穿戴者向特定方向，例如向上、向下或向一侧看时可见。此外，显示的图像可以仅覆盖穿戴者的视野的一小部分，或者显示的图像可以填满穿戴者的视野的大部分或全部。显示的图像可被连续地显示或仅在某些时间(例如仅当穿戴者从事某些活动时)显示。
可基于HMD的位置和取向(orientation)来显示虚拟图像。例如，HMD可包括位置和取向传感器，使得当用户移动其头部时，关于HMD的位置和取向的数据可被处理器接收。HMD可还包括可受处理器控制的显示屏，从而当用户移动其头部时，处理器可调整显示屏上显示的图像。具体地，显示的图像可在头部运动的相反方向上移动以创造环顾着叠覆有虚拟图像的世界的感觉。换言之，可以显示虚拟图像来创造图形图像是真实世界的一部分的幻觉。
然而，HMD位置和取向传感器不能无限快地处理信息并且至少受到传感器硬件的速度的限制。从而，当HMD在运动中时，一些感知数据可丢失。此外，因为硬件的不完善和其他因素，漂移、偏移和其他误差可被引入到传感器数据中。结果，处理器可能接收到错误的传感器数据。例如，当传感器静止时，其返回的数据可使得传感器看起来好像在运动，至少是轻微地运动。当传感器在运动时，可发生另外的误差。
传感器漂移问题可由例如可舍入或平均数据以减小传感器误差的软件算法来校正。当传感器静止时，这些技术可帮助解决漂移问题。然而，当传感器在运动时，这些算法可能不能校正该问题。
例如，考虑一乘火车出行的HMD穿戴者，其正面对火车的侧壁坐着。该HMD穿戴者在火车运动时可经历横向位移，并且在火车绕过拐角时也可经历逐渐的旋转变化。HMD的位置和取向传感器可测量这些运动并且可使得图像被不适当地显示。在此情形中通过舍入或数据平均可能不能适当地控制漂移误差。
以下描述的方法、非暂态计算机可读介质和装置可用来通过利用眼睛跟踪信息减小漂移误差和非故意HMD运动的影响。眼睛跟踪信息可允许对凝视轴的确定，该凝视轴可与HMD显示的图像中的目标对象相关。随后，可将目标对象朝着HMD的中心轴移动。
换言之，HMD一般可使用HMD运动数据来调整显示屏上的虚拟图像。例如，当HMD用户在真实世界环境中四处走动时，可基于HMD的取向来向穿戴者呈现虚拟图像。然而，当***从眼睛跟踪***检测到目标对象选择时(例如，HMD穿戴者凝视特定的对象达充分的一段时间)，HMD可采取行动将目标对象移动到中心轴。这样，对凝视轴的确定可起到推翻HMD运动数据并将目标对象移动到中心轴附近或将目标对象保持在中心轴附近的作用。从而，可以减小或消除由于不完善的传感器数据和/或非故意的HMD运动引起的误差。
下面描述用于基于当前和记录的眼睛凝视信息来校正传感器漂移的***和方法的某些说明性示例。然而，要理解，其他实施例是可能的并且在以下示例实施例的情境内隐含考虑到了。
2.具有眼睛跟踪功能的头戴式显示装置
图1是可包括若干个不同组件和子***的可穿戴计算设备或头戴式显示器(HMD)100的示意图。HMD100的组件可包括眼睛跟踪***102、HMD跟踪***104、光学***106、***设备108、电源110、处理器112、存储器114和用户界面115。眼睛跟踪***102可包括诸如红外相机116和至少一个红外光源118之类的硬件。HMD跟踪***104可包括陀螺仪120、全球定位***(global positioning system，GPS)122和加速度计124。光学***106在一个实施例中可包括显示面板126、显示光源128和光学器件130。***设备108可包括例如无线通信接口134、触摸板136、麦克风138、相机140和扬声器142。
在示例实施例中，HMD100包括透视型(see-through)显示器。从而，HMD100的穿戴者可观察真实世界环境的一部分，即，在由光学***106提供的特定视野中观察。在示例实施例中，例如，HMD100可操作来显示叠覆在视野上的虚拟图像，以提供“增强的现实(augmented reality)”体验。HMD100显示的虚拟图像中的一些可被叠覆在视野中的特定对象上。HMD100也可显示看起来悬浮在视野内而不是与视野中的特定对象相关联的图像。
HMD100的组件可被配置为与其各自的***内或外的其他组件以互连方式工作。例如，在示例实施例中，红外相机116可对HMD穿戴者的一只或两只眼睛成像。红外相机116可将图像信息递送到处理器112，处理器112可访问存储器114并且作出关于HMD穿戴者的凝视的方向的确定，其中凝视的方向也称为凝视轴。处理器112还可接受来自GPS单元122、陀螺仪120和/或加速度计124的输入以确定HMD100的位置和取向。随后，处理器112可控制用户界面115和显示面板126来基于HMD位置和取向以及HMD穿戴者的凝视轴向HMD穿戴者显示可包括情境特定信息的虚拟图像。
HMD100可被配置为例如眼镜、护目镜、头盔、帽子、帽舌、头带或者可在穿戴者的头部上支撑或从穿戴者的头部支撑的某种其他形式。另外，HMD100可被配置为例如利用两个透视型显示器向穿戴者的双眼显示图像。或者，HMD100可以仅包括单个透视型显示器，并且可以仅向穿戴者的一只眼睛——左眼或右眼——显示图像。HMD100还可表示被配置为在没有真实世界环境的视图的情况下向穿戴者的一只或两只眼睛显示图像的不透明显示器。另外，HMD100可以为穿戴者的第一眼睛提供不透明显示，并且为穿戴者的第二眼睛提供真实世界环境的视图。
电源110可向各种HMD组件提供电力并且可表示例如可再充电锂离子电池。本领域已知的各种其他电源材料和类型是可能的。
HMD100的功能可由处理器112来控制，处理器112执行存储在非暂态计算机可读介质例如存储器114中的指令。从而，处理器112与存储器114中存储的指令相结合可起到HMD100的控制器的作用。这样，处理器112可控制用户界面115调整HMD100显示的图像。处理器112还可控制无线通信接口134和HMD100的各种其他组件。处理器112还可表示可用来以分布方式控制HMD100的个体组件或子***的多个计算设备。
除了处理器112可执行的指令以外，存储器114还可存储可以包括一组经校准的穿戴者眼睛瞳孔位置和过去眼睛瞳孔位置的集合在内的数据。从而，存储器114可起到与凝视方向有关的信息的数据库的作用。这种信息可被HMD100用来预期用户将看向何处并且确定要向穿戴者显示什么图像。经校准的穿戴者眼睛瞳孔位置可包括例如关于穿戴者的眼睛瞳孔运动的程度或范围(向右/向左和向上/向下)以及可与各种参考轴相关的穿戴者眼睛瞳孔位置的信息。
参考轴可表示例如从观看位置延伸经过目标对象或视野的表观中心(apparent center)的轴(即，可投影经过HMD的表观显示面板的中心点的中心轴)。参考轴的其他可能性是存在的。从而，参考轴还可表示用于确定动态凝视方向的基础。
此外，可在存储器114中存储关于可利用眼睛运动发生的可能控制指令的信息。例如，两次连续的穿戴者眨眼可表示指导HMD100利用***相机140捕捉图像的控制指令。另一个可能的实施例可包括这样的配置：特定的眼睛运动可表示控制指令。例如，HMD穿戴者可利用一系列预定的眼睛运动来解锁用户界面115。
控制指令可基于对目标对象的基于停歇的选择(dwell-based selection)。例如，如果穿戴者从视觉上注视特定的虚拟图像或真实世界对象并且注视时间长于预定的时间段，则可生成控制指令来选择该虚拟图像或真实世界对象作为目标对象。许多其他控制指令是可能的。
除了上述特征以外，存储器114还可存储来自先前HMD/用户交互的各种记录数据。例如，HMD穿戴者的眼睛(一眼或两眼)的多个图像可被取平均以获得平均眼睛凝视轴。这可减轻跳动式眼睛运动或眼跳动的影响，在跳动式眼睛运动或眼跳动中眼睛以迅速且有些随机的方式在眼睛凝视轴周围运动。这些眼跳动帮助人类构建视野的精神图像并且该精神图像与眼睛保持静态的情况相比具有更好的分辨率，并且通过对特定时间段内的数个眼睛图像取平均，可以以更少的跳动“噪声”确定平均凝视轴。
此外，存储器114可以为各种基于应用的功能存储关于最近眼睛凝视轴的记录数据。例如，眼睛凝视轴的最近方差(recent variance)可被耦合到由HMD100生成的滚动图像。在此实施例中，如果最近眼睛凝视轴方差较高，则图像(例如文本或其他图像)可以更快地滚动。如果眼睛凝视轴方差较低，则图像可较慢地滚动或完全停止。在此情境中，眼睛凝视轴的较低方差可表明HMD穿戴者正集中于一个特定的凝视位置，而较高的眼睛凝视轴方差意味着相反情况——HMD穿戴者可能正在迅速扫描文档并希望有更快的滚动速度。
取决于在HMD显示屏上呈现的内容，方差可依据沿着其来测量方差的轴而不同。例如，HMD穿戴者的眼睛凝视的水平方差可能较高，而垂直方差可能相对较低。这可向HMD100表明穿戴者正在阅读文本。因此，与“非阅读”滚动/平移/分页情形相比，可以以不同的或更受控的方式来调整文本滚动/跟踪。
HMD100可包括用于向穿戴者提供信息或从穿戴者接收输入的用户界面115。用户界面115可与例如显示的虚拟图像、触摸板、小键盘、按钮、麦克风和/或其他***输入设备相关联。处理器112可基于通过用户界面115接收的输入来控制HMD100的功能。例如，处理器112可利用来自用户界面115的用户输入来控制HMD100如何在视野内显示图像或者确定HMD100显示什么图像。
在HMD100中可包括眼睛跟踪***102。在示例实施例中，眼睛跟踪***102可向处理器112递送关于HMD100的穿戴者的眼睛位置的信息。眼睛跟踪数据可用于例如校正由传感器数据中的空缺(gap)和/或传感器噪声引起的传感器漂移误差。具体地，处理器112可基于来自眼睛跟踪***102的信息来确定显示的图像中的目标对象。处理器112随后可控制用户界面115和显示面板126来以各种方式调整目标对象和/或其他显示的图像。例如，在显示面板126上可以使目标对象保持静态。或者，可以将目标对象朝着显示面板126的中心轴移动。
红外相机116可被眼睛跟踪***102用来捕捉与HMD100相关联的观看位置的图像。从而，红外相机116可对可位于观看位置的HMD穿戴者的眼睛成像。观看位置可被红外光源118照明。图像可以是视频图像或静止图像。红外相机116获得的关于HMD穿戴者的眼睛的图像可帮助确定穿戴者在HMD视野内看着何处，例如通过允许处理器112查明HMD穿戴者的眼睛瞳孔的位置。对由红外相机116获得的图像的分析可由处理器112联合存储器114来执行。
对观看位置的成像可以连续地发生或者在离散的时间、取决于例如用户与用户界面115的交互而发生。红外相机116可被集成到光学***106中或被安装在HMD100上。或者，红外相机可与HMD100完全分开定位。另外，红外相机116可以额外地表示具有红外波长中的感测能力的传统可见光相机。
红外光源118可表示可对观看位置照明的一个或多个红外发光二极管(light-emitting diode，LED)或红外激光二极管。HMD100的穿戴者的一眼或两眼可被红外光源118照明。红外光源118可沿着与红外相机116共同的光轴定位和/或红外光源118可被定位在别处。红外光源118可连续地对观看位置照明或者可在离散的时间被接通。此外，当照明时，红外光源118可被调制在特定的频率。红外光源118的其他类型的调制是可能的。
HMD跟踪***104可被配置为向处理器112提供HMD位置和HMD取向。这个位置和取向数据可帮助确定要与凝视轴相比较的中心轴。例如，中心轴可对应于HMD的取向。
陀螺仪120可以是微机电***(microelectromechanical system，MEMS)陀螺仪、光纤陀螺仪或本领域已知的另外类型的陀螺仪。陀螺仪120可被配置为向处理器112提供取向信息。GPS单元122可以是从GPS卫星获得时钟和其他信号的接收器并且可被配置为向处理器112提供实时位置信息。HMD跟踪***104还可包括被配置为向处理器112提供运动输入数据的加速度计124。
光学***106可表示被配置为向观看位置提供虚拟图像的组件。光学***106的示例在下文参考图2详细描述。
各种***设备108可被包括在HMD100中并且可用来向和从HMD100的穿戴者提供信息。在一个示例中，HMD100可包括无线通信接口134，用于直接地或经由通信网络与一个或多个设备无线地通信。例如，无线通信接口134可以使用3G蜂窝通信，例如CDMA、EVDO、GSM/GPRS，或者4G蜂窝通信，例如WiMAX或LTE。或者，无线通信接口134可例如利用WiFi与无线局域网(wireless local area network，WLAN)通信。在一些实施例中，无线通信接口134可例如利用红外链路、蓝牙或ZigBee与设备直接通信。
虽然图1示出了HMD100的各种组件(即，无线通信接口134、处理器112、存储器114、红外相机116、显示面板126、GPS122和用户界面115)被集成到HMD100中，但这些组件中的一个或多个可与HMD100物理上分离。例如，红外相机116可被安装在与HMD100分离的穿戴者上。从而，HMD100可以是采取可被穿戴者穿戴或携带的分离设备的形式的可穿戴计算设备的一部分。构成可穿戴计算设备的分离组件可以以有线或无线方式通信地耦合在一起。
图2图示出光学***200的顶视图，该光学***200被配置为显示被叠覆在可沿着观看轴204观看的真实世界场景上的虚拟图像。为了清晰起见，远端部(distal portion)232和近端部(proximal portion)234表示光学***200的光学耦合的部分，这些部分可以是或不是物理上分离的。示例实施例包括可由光源208照明的显示面板206。从可见光源208发出的光入射在远端分束器210上。可见光源208可包括一个或多个发光二极管(LED)和/或激光二极管。可见光源208还可包括线性偏振器，其起到将一个特定的偏振传递到光学***的其余部分的作用。
在示例实施例中，远端分束器210是依据入射在分束器上的光的偏振来反射光的偏振分束器。举例说明，来自可见光源208的S偏振光可被远端分束界面212优先朝着显示面板206反射。示例实施例中的显示面板206是硅基液晶(liquid crystal-on-silicon，LCOS)显示器。在界面212处的远端分束器涂层不是偏振分束器的替换实施例中，显示器可以是数字光投影仪(digitallight projector，DLP)微镜显示器，或其他类型的反射型显示面板。在任一实施例中，显示面板206起到对入射光进行空间调制以在显示器中的物平面处生成光图样(light pattern)的作用。或者，显示面板206可以是发射型显示器，例如有机发光二极管(organic light-emitting diode，OLED)显示器，并且在这种情况下，不需要分束器立方(cube)210。
在显示面板206是LCOS显示面板的示例中，显示面板206生成具有与最初入射在面板上的光的偏振垂直的偏振的光图样。在此示例实施例中，显示面板206把入射的S偏振光转换成具有p偏振的光图样。从显示面板206生成的光图样被引导向远端分束器210。p偏振的光图样经过远端分束器210并沿着光轴214被引导向光学***200的近端区域。在示例实施例中，近端分束器216也是偏振分束器。光图样至少部分通过近端分束器216被透射到图像形成器218。在示例实施例中，图像形成器218包括凹透镜230和近端四分之一波片228。光图样经过近端四分之一波片228并被凹透镜230反射。
反射的光图样返回经过近端四分之一波片228。通过与近端四分之一波片228和凹透镜230的交互，光图样被转换成s偏振并形成为可观看图像。这个可观看图像入射在近端分束器216上并且可观看图像被从近端分束界面220沿着观看轴204朝着观看位置222反射。通过观看窗口224可观看真实世界场景。观看窗口224可包括线性偏振器以便减少光学***内的杂散光。来自观看窗口224的光至少部分被透射过近端分束器216。从而，在观看位置222通过近端分束器216可观看虚拟图像和真实世界图像两者。
虽然图2描绘了当从上方看时光学***壳体的远端部232在光学***壳体的近端部234的左侧，但要理解，可以有其他实施例来物理地实现光学***200，包括远端部232被配置为相对于近端部234在右侧、下方和上方。另外，虽然示例实施例描述了图像形成器218包括凹透镜230，但本领域技术人员要理解，图像形成器218可包括不同的光学元件，例如光学透镜或者衍射型光学元件。
在一个实施例中，近端分束器216、远端分束器210和光学***200的其他组件由玻璃制成。或者，这种光学组件中的一些或全部可部分或全部是塑料的，这也可起到减轻光学***200的重量的作用。适当的塑料材料是可从肯塔基州路易斯维尔的Zeon Chemicals L.P.获得的E48R环烯烃光学级聚合物。另一种适当的塑料材料是聚甲基丙烯酸甲酯(polymethylmethacrylate，PMMA)。
示例实施例可包括被配置为对观看位置222照明的红外光源226。虽然图2将红外光源226描绘为与观看窗口224相邻，但本领域技术人员将会理解，红外光源226可位于别处，例如在近端分束器216的与观看位置222相邻的那侧或者在光学***200的远端部232中。红外光源226可表示例如一个或多个红外发光二极管(LED)。可以实现具有小尺寸的红外LED，例如Vishay Technology TSML1000产品。
本领域技术人员将会理解，为了获得最佳的眼睛跟踪精确度，利用从相对于观看轴204在轴外和/或轴上的位置对眼睛照明的光源获得眼睛瞳孔的红外图像可能是有利的。因此，红外光源226可包括位于光学***200中的不同位置和/或与光学***200分离的一个或多个LED。
从红外光源226生成的红外光被配置为入射在观看位置222上。从而，穿戴者的眼睛瞳孔可以被红外光照明。红外光可从穿戴者的眼睛沿着观看轴204被反射回到近端分束器216。反射的红外光的一部分可从分束界面220被反射向图像形成器218。
为了将红外光透射到红外相机202，图像形成器218可包括被配置为依据入射光的波长选择性地反射或透射入射光的二向色性薄膜。例如，该二向色性薄膜可被配置为在反射可见光的同时使红外光通过。在示例实施例中，由显示面板206生成的可见光图样可被凹透镜230反射并且该可见光图样可被形成为可观看图像。红外光从而可被优先地通过凹透镜230透射到红外相机202。二向色性薄膜涂层可从诸如JML Optical Industries和Precision Glass&Optics(PG&O)之类的公司购得并且包括多层电介质和/或金属膜。这些二向色性涂层也被称为“冷光镜”。
在示例实施例中，可向图像形成器218中引入小孔径，这可由凹透镜230的中心的小孔实现。在这个示例实施例中，大部分可见光和红外光被图像形成器218反射并被图像形成器218形成为HMD穿戴者可观看的图像。可见光和红外光中的一些通过该孔径并入射在红外相机202上。红外相机202可以从可见光和红外光的组合中选择性地过滤并检测出红外光以获得关于穿戴者的眼睛瞳孔位置的信息。替换地和/或额外地，可以相对于锁定放大器或锁相环的时钟信号来调制红外光源226以使得红外光信号被高效地换能。另外，可以调制可见光源208并且例如当可见光源208关闭时可以执行红外光检测。也可从离轴角度收集反射的红外光，并且从而红外相机也可位于光学***200上的别处或位于与光学***200分离之处。本领域技术人员将会理解，有利用红外相机来对与可见光信号混合的红外光信号进行换能的其他变体，并且这些变体被隐含地包括在本说明书中。
图3A呈现了示例实施例中的包括头戴支撑物309的头戴式显示器(HMD)300的正视图。图3B和3C分别呈现了图3A中的HMD的顶视图和侧视图。虽然此示例实施例是以眼镜形式提供的，但要理解可穿戴***和HMD可采取其他形式，例如帽子、护目镜、面罩、头带或头盔。头戴支撑物309包括透镜框架314和316、中央框架支撑物318、透镜元件310和312以及延伸的侧臂320和322。中央框架支撑物318和侧臂320和322被配置为分别经由穿戴者的鼻子和耳朵将头戴支撑物309固定到穿戴者的头部。框架元件314、316和318以及延伸侧臂320和322中的每一个可由塑料或金属的实心结构形成，或者可由类似材料的中空结构形成，以允许配线和组件互连在内部按一定路线经过头戴支撑物309。替换地或额外地，头戴支撑物309可支撑外部配线。透镜元件310和312是至少部分透明的以允许穿戴者透视它们。具体地，穿戴者的左眼308可透视左透镜312，并且穿戴者的右眼306可透视右透镜310。可如图2所示那样配置的光学***302和304可分别定位在透镜310和312的前方，如图3A、3B和3C所示。光学***302和304可分别利用支撑底座324和326安附到头戴支撑物309。另外，光学***302和304可以分别部分或完全地集成到透镜元件310和312中。
虽然此示例包括用于穿戴者的每只眼睛的光学***，但要理解，HMD可以包括仅用于穿戴者的一只眼睛(左眼308或右眼306)的光学***。如图2中所述，HMD穿戴者可以同时从光学***302和304观察带有覆盖的虚拟图像的真实世界图像。HMD300可包括各种元件，例如处理器340、触摸板342、麦克风344和按钮346。计算机340可使用来自各种传感器和相机以及其他来源的数据来确定应当显示给用户的虚拟图像。在示例实施例中，如前所述，一个或多个红外光源可对(一个或多个)观看位置308和306亦即穿戴者的眼睛(一眼或两眼)照明，并且可以利用红外相机来收集反射的红外光。
本领域技术人员将会理解，在这种可穿戴计算***中可合理地包括其他用户输入设备、用户输出设备、无线通信设备、传感器和相机。
图4A和4B描绘了在不同条件下眼睛的侧视图和正视图以及瞳孔位置信息的示意图。确定眼睛的凝视轴的一种方式是查明眼睛瞳孔相对于参考点的位置。在跟踪眼睛瞳孔位置的示例实施例中，红外光被人的眼睛反射。可以用红外相机来对反射的光成像。在对眼睛成像后，用处理器112进行图像处理以便确定例如人的瞳孔的范围和形心位置。其他已知的眼睛跟踪的手段和方法，包括使用可见光照明和/或其他成像技术，是可能的。
在实施例400中，一个人可以直向前看，如图4A中所示。眼睛412睁开并且瞳孔418的位置沿着中心轴410。在可包括边缘检测的图像处理之后，可确定瞳孔的位置在瞳孔位置422处。在此示例中，处理器112可随后基于瞳孔位置422确定凝视轴与中心轴410一致。可由于所确定的瞳孔位置422而调整虚拟图像显示位置和运动。例如，当凝视轴和中心轴等同或几乎等同时，处理器112可将跟踪速率调整到零。这例如可允许用户缓慢地阅读关键文本或者仔细查看虚拟图像。
在示例实施例424中，如图4B中所示，一个人可能相对于中心轴428在向上看。眼睛434睁开并且瞳孔位置大体上高于参考点440。在此情形中，利用红外光对人的瞳孔438成像可得到所确定的瞳孔位置442。处理器112可确定凝视轴430向中心轴428上方倾斜。角度差432可表示中心轴428与凝视轴430之间的角度的绝对差。处理器112可计算角度差432并且基于角度差432来调整跟踪速率。例如，大角度差432可表示对跟踪速率进行调整以使得跟踪速率更高，例如以更快的速率在视野上滚动虚拟图像。在其他实施例中，处理器112可计算角度差432并且在显示的图像中移动目标对象以便最大化角度差432。换言之，可以控制HMD显示屏以使得目标对象朝着HMD显示屏的中心移动。
其他实施例可包括使用不同的眼睛凝视确定技术。例如，取代使用眼睛瞳孔来确定凝视轴，可以利用巩膜和虹膜之间的边界来跟踪眼睛运动(该边界在图4A和4B中分别被标注为416和436)。为了确定眼睛凝视轴，找到巩膜/虹膜边缘(也称为异色边缘)的形心可等同于找到瞳孔的形心。
可确定眼睛上的不同参考点的用于眼睛跟踪的其他可能性是存在的并且在本发明的情境内可实现。例如，取代查明瞳孔形心来确定凝视轴，除了关于瞳孔位置的信息之外或取代关于瞳孔位置的信息，可以使用来自眼睛上的多个闪光反射的位置数据来确定凝视轴。
3.用于基于凝视轴和显示屏的中心轴调整显示屏上的虚拟图像的方法
提供了一种方法500，用于调整显示屏上显示的图像以将目标对象移动得更靠近中心轴。方法500可利用如图1至图3C的任何一幅中所示配置的或者以某种其他方式配置的HMD来执行。图5图示了示例方法中的步骤，然而，要理解在其他实施例中，这些步骤可以按不同的顺序出现并且可以添加或减除步骤。
步骤502包括在显示屏上显示图像。显示屏可具有中心轴，该中心轴可被认为是穿过显示屏的中心的线、与显示屏本身垂直。在替换实施例中，中心轴可经过显示屏上的可能不在显示屏的中心的其他位置，例如如果显示屏不是对称的话则是如此。
如上所述，显示屏可向用户呈现很多种虚拟图像，包括文本、形状、图片，等等。这些虚拟图像可允许HMD穿戴者体验增强的现实。
步骤504包括相对于中心轴确定凝视轴。对凝视轴的确定可通过眼睛跟踪来执行。例如，眼睛跟踪***102可用于对HMD穿戴者的眼睛成像以确定其眼睛瞳孔的位置并因此确定凝视轴，例如图4A和4B中所示。
步骤506包括基于凝视轴确定显示的图像中的目标对象。在确定凝视轴之后，处理器112可确定穿戴者正凝视着该组显示的图像之中的特定目标对象。这个目标对象可以是来自显示屏上显示的图像之中的任何虚拟图像。例如，穿戴者可能正观看多行虚拟文本并且可能固定地凝视着特定的单词或短语。进而，该单词或短语可被确定为目标对象。
步骤508包括调整显示屏上显示的图像以朝着中心轴移动目标对象。这个步骤可包括使整组显示的图像(包括目标对象)朝着中心轴移动。例如，顺着特定单词或短语是目标对象的先前示例实施例，可以使整个格式化的文本体朝着中心轴移动。
或者，可以只有目标对象朝着中心轴移动。例如，如果表示一组图标之中的特定图标的虚拟图像被确定为是目标对象，则处理器112可以仅使该目标对象图标朝着显示屏的中心轴移动。其他移动也是可能的，包括在使目标对象朝着中心轴移动的同时对文本和其他虚拟图像的动态重格式化。
移动目标对象的速率或者说跟踪速率除了其他因素以外还可基于凝视轴与目标轴之间的角度。例如，如果HMD穿戴者正凝视着靠近HMD的视野的边缘的目标对象(因而，角度差较大)，则可以按相对较快的跟踪速率来移动目标对象。相反，如果目标对象只是稍微离开中心轴，则跟踪速率可较慢。
方法500的示例在图7A和7B中图示。图7A示出了HMD视野700，其中虚拟文本704被呈现给HMD穿戴者。眼睛跟踪***102可确定眼睛凝视轴可在中心眼睛凝视点706处穿过显示屏702。可确定目标对象是单词“of”。由于目标对象靠近显示屏的中心，所以凝视轴和中心轴是对齐或几乎对齐的。从而，处理器112可确定穿戴者正凝视着屏幕的中心并且不会发生虚拟图像移动。
在图7B中，可向HMD穿戴者呈现相关视野708。确定HMD穿戴者在一组虚拟文本704内具有凝视点710。在此示例中，眼睛跟踪***102和处理器112可确定穿戴者正凝视着单词“hope”并且确定该单词是目标对象。因而，可以调整虚拟图像以使得单词“hope”朝着中心轴移动。可向HMD穿戴者呈现另一视野712，其中该组虚拟文本704已被向右和向上移动，使得目标对象(在此示例中是单词“hope”)的位置沿着显示屏的中心轴。
4.用于基于凝视轴、目标对象和显示屏的中心轴来记录数据并基于记录的数据来调整显示屏上显示的图像的方法
提供了一种方法600，用于基于中心轴、凝视轴和目标对象来记录数据并且调整显示屏上显示的图像以将目标对象移动得更靠近中心轴。方法600可利用如图1至图3C的任何一幅中所示配置的或者以某种其他方式配置的HMD来执行。图6图示了示例方法中的步骤，然而，要理解在其他实施例中，这些步骤可以按不同的顺序出现并且可以添加或减除步骤。
在第一步骤602中，在显示屏上显示图像。显示屏可具有中心轴，该中心轴可由以垂直入射穿过显示屏的线来表示。中心轴可经过显示屏上的可能不在显示屏的中心的其他位置，例如如果显示屏不是对称的话则是如此。
在第二步骤604中，可相对于中心轴确定凝视轴。例如，可以使用用于眼睛跟踪的手段，例如眼睛跟踪***102，来获取HMD穿戴者的眼睛的图像。这些图像可被处理器112用来确定关于穿戴者的眼睛位置的信息，例如穿戴者的瞳孔的形心，并且从该信息进一步确定凝视轴。
在第三步骤606中，可基于凝视轴确定目标对象。例如，处理器112可确定特定的凝视轴可与来自显示屏上显示的虚拟图像之中的目标对象相关联。在一个实施例中，凝视轴可穿过显示的虚拟图像，该虚拟图像可被确定为是目标对象。在其他实施例中，如果凝视轴没有与相应的虚拟图像相交，则可从凝视轴确定目标对象。例如，HMD穿戴者可固定地凝视着显示屏上的特定虚拟图像。相应地，处理器112可确定不与感兴趣的虚拟图像空间相关的目标对象。
在第四步骤608中，可基于中心轴、凝视轴、目标对象和显示的图像来记录数据。例如，关于中心轴、HMD穿戴者的凝视轴、目标对象和显示的图像的数据可被存储在存储器114中。可以以连续的方式记录数据，或者仅在正执行特定任务时记录数据。替换地或额外地，可在有通过用户界面115的用户请求时或在其他HMD操作期间记录数据。
在第五步骤610中，基于记录的数据在显示屏上调整显示的图像。在一个示例实施例中，可在与HMD的正常穿戴者交互期间记录数据。该数据可包括例如关于HMD穿戴者的平均阅读速度的信息，该信息以后可用于在HMD穿戴者阅读文本时调整屏幕上显示的虚拟图像。例如，自动文本滚动的速率可由关于的穿戴者的平均阅读速度的预记录数据来控制。HMD可获得数据来确定可涵盖广泛的各种HMD用户交互和功能的用户偏好。
可如何使用这种记录的数据的其他示例是可能的。例如，记录的数据可用于HMD校准。由于用户之间的眼间距和脸部特征的差异，来自眼睛跟踪***的信息在各个HMD穿戴者之间可略有变化，即使当用户在执行相同动作时也是如此。因而，眼睛凝视确定在个体之间也可变化。处理器112可分析存储器114中存储的数据来将用户眼睛凝视输入匹配到期望的用户输入。显示屏上显示的图像可至少取决于记录的数据和相应的用户定制的结果。通过记录关于与HMD的眼睛跟踪交互的数据，可以减少针对个体用户进行校准和定制的需要。
5.用于传感器漂移校正的非暂态计算机可读介质
以上描述和图5、图6、图7A和图7B中图示的功能中的一些或全部可由计算设备响应于对存储在非暂态计算机可读介质中的指令的执行而执行。非暂态计算机可读介质可以例如是随机访问存储器(random access memory，RAM)、只读存储器(read-only memory，ROM)、闪存存储器、缓存存储器、一个或多个磁编码盘、一个或多个光编码盘、或者任何其他形式的非暂态数据存储装置。非暂态计算机可读介质也可分布在多个数据存储元件之间，这些数据存储元件的位置可彼此远离。执行存储的指令的计算设备可以是可穿戴计算设备，例如图1中所示的可穿戴计算设备100。或者，执行存储的指令的计算设备可以是另一计算设备，例如服务器网络中的服务器。
参考图1，可对应于存储器114的非暂态计算机可读介质可存储可由处理器112执行来执行各种功能的指令。例如，在从眼睛跟踪***102接收到凝视轴信息后，可指令处理器112控制显示面板126来基于例如凝视轴和中心轴来调整显示的图像。在另一实施例中，可基于凝视轴、中心轴和目标对象来记录数据以便调整显示屏上的目标对象或者确定用户界面偏好。用户界面偏好可用于调整将来与HMD的相似交互。本领域技术人员将会理解，可以合理地包括其他子功能或功能以指令处理器基于眼睛跟踪和其他传感器数据来调整显示屏上的虚拟图像。
6.用于基于HMD的运动和眼睛跟踪数据来在HMD中显示图像的方法
提供了一种方法800，用于基于HMD的运动和HMD穿戴者的眼睛跟踪数据在头戴式显示器(HMD)的显示屏上显示图像。方法800可利用如图1至图3C的任何一幅中所示配置的或者以某种其他方式配置的HMD来执行。图8图示了示例方法中的步骤，然而，要理解在其他实施例中，这些步骤可以按不同的顺序出现并且可以添加或减除步骤。
方法步骤802包括在HMD的显示屏上显示图像。在此实施例中，在观看位置处可观看显示的图像并且HMD显示屏具有中心轴。观看位置可以例如是HMD穿戴者的一只眼睛(或两只眼睛)的位置。与上述实施例类似，中心轴可以是从HMD显示屏的中心垂直伸出的轴。
方法步骤804包括获取与HMD的运动有关的传感器数据。传感器数据可例如由加速度计124和/或陀螺仪120生成。传感器数据可包括诸如HMD的角度和方位之类的信息，其中HMD的角度和方位可对应于中心轴的角度和方位。另外，传感器数据可包括关于HMD的位置的信息，例如可由GPS122获取。其他类型的传感器数据，例如HMD速度和加速度信息，是可能的并且可利用示例实施例来合理地应用。
方法步骤806包括控制显示屏基于传感器数据来显示图像。在示例实施例中，HMD可响应于HMD的运动而提供图形用户界面。图形用户界面可被配置为响应于任何HMD运动或者响应于预定的HMD运动而被显示。从而，处理器112可被配置为获取传感器数据。响应于适当的传感器数据输入，处理器112可控制光学***106显示与图形用户界面相关联的图像。例如，如果HMD用户向上移动其头部，则可提供图形用户界面。
另外，在HMD提供图形用户界面的同时，用户可观看虚拟图像，这些虚拟图像看起来可以是覆盖在真实世界环境上的。这些虚拟图像可以被基本上锚定到真实世界对象和/或参考点。替换地或额外地，虚拟图像中的一些或全部在一个示例中可以相对于HMD的方位(水平面内的旋转角)保持基本固定。因而，HMD穿戴者可以通过旋转其头部和/或身体来观看图形用户界面的不同方面。
方法步骤808包括利用相机基于观看位置的一个或多个图像来确定凝视轴。在此步骤中，如以上实施例中所述，红外相机可与一个或多个红外光源一起工作来对HMD穿戴者的眼睛(一眼或两眼)成像。可以捕捉图像以努力查明HMD穿戴者的凝视方向或凝视轴。凝视方向/轴可与用户在看着的方向有关。
在方法步骤810中，可基于凝视轴在显示的图像内确定目标对象。因而，利用从方法步骤808获得的信息，处理器112可用于从该组当前显示的图像中确定特定目标对象。例如，可基于凝视方向与显示面板126的交点来确定目标对象。
方法步骤812包括控制显示屏来朝着中心轴移动目标对象。在此方法的情境内，用户可在可覆盖其对真实世界环境的视图的所建立的图形用户界面内交互。通过凝视图形用户界面内的特定元素可将其从该组当前显示的图像中选出。该特定元素从而可被选择来成为目标对象。目标对象选择可通过凝视该元素达预定的一段时间来执行。随后可以朝着HMD的中心轴移动目标对象。目标对象的这个移动可允许HMD穿戴者例如更容易地阅读一段文本或者集中于图像上的特定兴趣区域。此外，因为方法步骤812中的居中调整(centering)动作可独立于HMD运动，所以该方法对于减小传感器数据中的漂移上的噪声以及HMD的非故意运动的影响可能是有用的。实际上，当眼睛跟踪数据可指示目标对象时，可以“不顾(overridden)”基于HMD运动数据来移动显示的图像的命令。这样，图像的显示可与HMD运动基本上互不相干，这可减小或消除不想要的运动传感器漂移和HMD运动的影响。
本领域技术人员将会理解，存在利用HMD运动数据和眼睛跟踪数据来在HMD的显示屏上使目标对象居中的其他可能方式，并且上述示例实施例不打算排除任何其他这样的示例。
结论
以上详细描述参考附图描述了公开的***、设备和方法的各种特征和功能。虽然本文已公开了各种方面和实施例，但本领域技术人员将清楚其他方面和实施例。本文公开的各种方面和实施例是用于说明的，而并不打算进行限定，真实的范围和精神由所附权利要求指示。

Claims (28)

1.一种方法，包括：
在显示屏上显示图像，所述显示屏具有中心轴；
相对于所述中心轴确定凝视轴；
基于所述凝视轴确定显示的图像中的目标对象；以及
调整所述显示屏上显示的图像以朝着所述中心轴移动所述目标对象。
2.如权利要求1所述的方法，其中，确定所述凝视轴包括：
获得眼睛瞳孔图像；
从所述眼睛瞳孔图像确定所述凝视轴。
3.如权利要求1所述的方法，其中，确定所述凝视轴包括：
获得多个眼睛瞳孔图像；以及
从所述多个眼睛瞳孔图像确定所述凝视轴。
4.如权利要求1所述的方法，其中，调整所述显示屏上显示的图像包括：
以跟踪速率移动所述目标对象。
5.如权利要求4所述的方法，其中，调整所述显示屏上显示的图像还包括：
基于所述凝视轴与所述中心轴之间的差别来调整所述跟踪速率。
6.一种方法，包括：
在显示屏上显示图像，所述显示屏具有中心轴；
相对于所述中心轴确定凝视轴；
基于所述凝视轴确定显示的图像中的目标对象；
基于所述中心轴、所述凝视轴、所述目标对象和所述显示的图像来记录数据；以及
基于记录的数据来调整所述显示屏上显示的图像。
7.如权利要求6所述的方法，还包括：
基于所述记录的数据来确定用户界面偏好；
基于所述用户界面偏好来调整所述显示屏上显示的图像。
8.一种头戴式显示器(HMD)，包括：
头戴支撑物；
安附到所述头戴支撑物的光学***，其中所述光学***包括具有中心轴的显示屏，其中所述显示屏被配置为显示可从观看位置观看的图像；
红外光源，被配置为以红外光对所述观看位置照明以使得所述红外光被从所述观看位置反射为反射的红外光；
相机，被配置为通过收集所述反射的红外光来对所述观看位置成像；
传感器，被配置为生成与所述HMD的运动有关的传感器数据；以及
计算机，被配置为基于由所述相机获得的所述观看位置的一个或多个图像来确定凝视轴，控制所述显示屏基于所述传感器数据来显示图像，基于所述凝视轴确定显示的图像中的目标对象，以及控制所述显示屏来朝着所述中心轴移动所述目标对象。
9.如权利要求8所述的HMD，其中，所述观看位置对应于所述HMD的穿戴者的至少一只眼睛的位置。
10.如权利要求8所述的HMD，其中，所述计算机被配置为从接收到的图像确定所述HMD的穿戴者的至少一只眼睛的瞳孔位置。
11.如权利要求8所述的HMD，其中，所述光学***还包括可见光源。
12.如权利要求11所述的HMD，其中，所述显示面板被配置为通过对来自所述可见光源的可见光进行空间调制来生成所述虚拟图像。
13.如权利要求8所述的HMD，其中，所述红外光源包括红外发光二极管(LED)。
14.如权利要求8所述的HMD，其中，所述相机包括红外相机。
15.如权利要求8所述的HMD，其中，所述计算机还被配置为基于所述中心轴、所述凝视轴、所述目标对象和所述显示的图像来记录数据，并且基于记录的数据来调整所述显示面板生成的显示的图像。
16.一种非暂态计算机可读介质，其中存储有指令，所述指令可被计算设备执行来使得该计算设备执行功能，所述功能包括：
控制显示屏显示图像，所述显示屏具有中心轴；
相对于所述中心轴确定凝视轴；
基于所述凝视轴确定显示的图像中的目标对象；以及
控制所述显示屏调整所述显示的图像以朝着所述中心轴移动所述目标对象。
17.如权利要求16所述的非暂态计算机可读介质，其中，确定凝视轴包括：
获得眼睛瞳孔图像；
从所述眼睛瞳孔图像确定所述凝视轴。
18.如权利要求16所述的非暂态计算机可读介质，其中，确定所述凝视轴包括：
获得多个眼睛瞳孔图像；以及
从所述多个眼睛瞳孔图像确定凝视轴。
19.如权利要求16所述的非暂态计算机可读介质，其中，控制所述显示屏调整所述显示的图像包括以跟踪速率移动所述目标对象。
20.如权利要求19所述的非暂态计算机可读介质，其中，控制所述显示屏调整所述显示的图像还包括基于所述凝视轴与所述中心轴之间的差别来调整所述跟踪速率。
21.如权利要求16所述的非暂态计算机可读介质，其中，所述功能还包括：
基于所述中心轴、所述凝视轴、所述目标对象和所述显示的图像来记录数据，并且基于记录的数据来调整所述显示屏上显示的图像。
22.一种方法，包括：
在头戴式显示器(HMD)的显示屏上显示图像，其中可在观看位置处观看显示的图像并且所述显示屏包括中心轴；
获取与所述HMD的运动有关的传感器数据；
控制所述显示屏基于所述传感器数据来显示图像；
基于由相机获得的所述观看位置的一个或多个图像来确定凝视轴；
基于所述凝视轴确定显示的图像中的目标对象；以及
控制所述显示屏来朝着所述中心轴移动所述目标对象。
23.如权利要求22所述的方法，其中，确定所述凝视轴包括：
获得眼睛瞳孔图像；
从所述眼睛瞳孔图像确定所述凝视轴。
24.如权利要求22所述的方法，其中，确定所述凝视轴包括：
获得多个眼睛瞳孔图像；以及
从所述多个眼睛瞳孔图像确定所述凝视轴。
25.如权利要求22所述的方法，其中，控制所述显示屏来朝着所述中心轴移动所述目标对象包括：
以跟踪速率移动所述目标对象。
26.如权利要求25所述的方法，其中，控制所述显示屏来朝着所述中心轴移动所述目标对象还包括：
基于所述凝视轴与所述中心轴之间的差别来调整所述跟踪速率。
27.如权利要求22所述的方法，还包括基于所述中心轴、所述凝视轴、所述目标对象和所述显示的图像来记录数据。
28.如权利要求27所述的方法，其中，控制所述显示屏来朝着所述中心轴移动所述目标对象还基于记录的数据。
CN201280067798.0A 2011-11-22 2012-11-01 使用眼睛跟踪在显示屏中使图像内容居中的方法 Active CN104067160B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/302,916 2011-11-22
US13/302,916 US8611015B2 (en) 2011-11-22 2011-11-22 User interface
PCT/US2012/062933 WO2013077978A2 (en) 2011-11-22 2012-11-01 Method of using eye-tracking to center image content in a display

Publications (2)

Publication Number Publication Date
CN104067160A true CN104067160A (zh) 2014-09-24
CN104067160B CN104067160B (zh) 2017-09-12

Family

ID=48426619

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280067798.0A Active CN104067160B (zh) 2011-11-22 2012-11-01 使用眼睛跟踪在显示屏中使图像内容居中的方法

Country Status (4)

Country Link
US (2) US8611015B2 (zh)
EP (1) EP2783252B1 (zh)
CN (1) CN104067160B (zh)
WO (1) WO2013077978A2 (zh)

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104570366A (zh) * 2015-01-16 2015-04-29 中国科学院上海光学精密机械研究所 一种具有手势识别功能的全息头盔显示器
CN104581126A (zh) * 2014-12-16 2015-04-29 青岛歌尔声学科技有限公司 一种头戴显示设备的画面显示处理方法和处理装置
CN104717483A (zh) * 2014-12-02 2015-06-17 上海理鑫光学科技有限公司 虚拟现实家居装潢体验***
CN105301778A (zh) * 2015-12-08 2016-02-03 北京小鸟看看科技有限公司 三维操控装置、头戴式装置及三维操控方法
CN105511618A (zh) * 2015-12-08 2016-04-20 北京小鸟看看科技有限公司 三维输入装置、头戴式装置及三维输入方法
CN106131539A (zh) * 2016-06-30 2016-11-16 乐视控股（北京）有限公司 一种虚拟现实vr设备及其视频播放方法
CN106265006A (zh) * 2016-07-29 2017-01-04 维沃移动通信有限公司 一种主视眼的矫正方法及移动终端
CN106574847A (zh) * 2014-09-24 2017-04-19 三星电子株式会社 用于获取传感器数据的方法及其电子设备
CN106796344A (zh) * 2014-10-07 2017-05-31 艾尔比特***有限公司 锁定在感兴趣对象上的放大图像的头戴式显示
CN107249497A (zh) * 2015-02-20 2017-10-13 柯惠Lp公司 手术室和手术部位感知
CN108141559A (zh) * 2015-09-18 2018-06-08 Fove股份有限公司 影像***
WO2018103072A1 (zh) * 2016-12-09 2018-06-14 深圳市柔宇科技有限公司 用户界面的调整方法、调整***及头戴显示设备
WO2018120554A1 (zh) * 2016-12-26 2018-07-05 华为技术有限公司 图像显示方法和头戴显示设备
CN108352075A (zh) * 2015-11-06 2018-07-31 欧库勒斯虚拟现实有限责任公司 使用光流的眼睛跟踪
CN109426342A (zh) * 2017-08-29 2019-03-05 深圳市掌网科技股份有限公司 基于增强现实的文档阅读方法和装置
CN109901709A (zh) * 2019-01-14 2019-06-18 北京七鑫易维信息技术有限公司 调节显示画面的方法、装置及vr设备
CN110088662A (zh) * 2016-12-01 2019-08-02 阴影技术公司 成像***和产生背景图像和聚焦图像的方法
CN110554771A (zh) * 2018-05-31 2019-12-10 托比股份公司 虚拟现实和增强现实中的眼睛跟踪应用
CN110574099A (zh) * 2017-05-01 2019-12-13 纯深度股份有限公司 基于头部跟踪的场序跳视分离减少
CN110603513A (zh) * 2018-08-27 2019-12-20 深圳市汇顶科技股份有限公司 基于对眼睛特征进行成像和结构照明探测光帮助的眼睛跟踪
CN110753899A (zh) * 2017-06-15 2020-02-04 微软技术许可有限责任公司 计算机介导现实中的位移取向交互
CN110799929A (zh) * 2017-06-28 2020-02-14 通快光子元件有限公司 用于计算机媒介现实的显示设备
CN111095357A (zh) * 2017-07-27 2020-05-01 Mo-Sys工程有限公司 定位***
US10642049B2 (en) 2018-04-25 2020-05-05 Apple Inc. Head-mounted device with active optical foveation
CN112181140A (zh) * 2015-07-31 2021-01-05 谷歌有限责任公司 自动校准穿戴式眼睛跟踪***的独特反射镜片
CN112639943A (zh) * 2018-08-22 2021-04-09 微软技术许可有限责任公司 用于改善头戴式显示器的颜色均匀性的凹式颜色校正
CN113157084A (zh) * 2020-01-14 2021-07-23 苹果公司 基于肢体跟踪信息和眼睛跟踪信息来定位受用户控制的空间选择器
CN113519154A (zh) * 2019-03-13 2021-10-19 惠普发展公司，有限责任合伙企业 检测眼睛跟踪校准误差
CN113589533A (zh) * 2018-06-01 2021-11-02 脸谱科技有限责任公司 头戴式显示器及用于确定佩戴其的用户的视线的方法
CN114041101A (zh) * 2019-07-11 2022-02-11 惠普发展公司，有限责任合伙企业 用于显示器的眼睛跟踪
CN114895471A (zh) * 2016-02-18 2022-08-12 苹果公司 具有内-外位置跟踪、用户身体跟踪和环境跟踪的用于虚拟现实和混合现实的头戴式显示器
CN115038928A (zh) * 2020-02-03 2022-09-09 贝以***哈格伦斯公司 嵌入式目标跟踪训练
US11675427B2 (en) 2018-08-27 2023-06-13 Shenzhen GOODIX Technology Co., Ltd. Eye tracking based on imaging eye features and assistance of structured illumination probe light

Families Citing this family (264)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL166799A (en) 2005-02-10 2014-09-30 Lumus Ltd Aluminum shale surfaces for use in a conductive substrate
US10073264B2 (en) 2007-08-03 2018-09-11 Lumus Ltd. Substrate-guide optical device
US9158116B1 (en) 2014-04-25 2015-10-13 Osterhout Group, Inc. Temple and ear horn assembly for headworn computer
US9952664B2 (en) 2014-01-21 2018-04-24 Osterhout Group, Inc. Eye imaging in head worn computing
US9229233B2 (en) 2014-02-11 2016-01-05 Osterhout Group, Inc. Micro Doppler presentations in head worn computing
US9366867B2 (en) 2014-07-08 2016-06-14 Osterhout Group, Inc. Optical systems for see-through displays
US9400390B2 (en) 2014-01-24 2016-07-26 Osterhout Group, Inc. Peripheral lighting for head worn computing
US9298007B2 (en) * 2014-01-21 2016-03-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9715112B2 (en) 2014-01-21 2017-07-25 Osterhout Group, Inc. Suppression of stray light in head worn computing
US9965681B2 (en) 2008-12-16 2018-05-08 Osterhout Group, Inc. Eye imaging in head worn computing
US9215293B2 (en) 2011-10-28 2015-12-15 Magic Leap, Inc. System and method for augmented and virtual reality
US8970452B2 (en) 2011-11-02 2015-03-03 Google Inc. Imaging method
US8611015B2 (en) * 2011-11-22 2013-12-17 Google Inc. User interface
US8235529B1 (en) * 2011-11-30 2012-08-07 Google Inc. Unlocking a screen using eye tracking information
US10108316B2 (en) * 2011-12-30 2018-10-23 Intel Corporation Cognitive load assessment for digital documents
US9001030B2 (en) * 2012-02-15 2015-04-07 Google Inc. Heads up display
US9239415B2 (en) 2012-03-08 2016-01-19 Google Inc. Near-to-eye display with an integrated out-looking camera
US9691241B1 (en) 2012-03-14 2017-06-27 Google Inc. Orientation of video based on the orientation of a display
WO2013168173A1 (en) * 2012-05-11 2013-11-14 Umoove Services Ltd. Gaze-based automatic scrolling
IL219907A (en) * 2012-05-21 2017-08-31 Lumus Ltd Integrated head display system with eye tracking
US9146397B2 (en) * 2012-05-30 2015-09-29 Microsoft Technology Licensing, Llc Customized see-through, electronic display device
EP2899584B1 (en) * 2012-09-19 2020-03-11 Nikon Corporation Spectacle lens design method, spectacle lens manufacturing method, spectacle lens selection method, measuring system and measuring method
US10269179B2 (en) 2012-10-05 2019-04-23 Elwha Llc Displaying second augmentations that are based on registered first augmentations
US10713846B2 (en) 2012-10-05 2020-07-14 Elwha Llc Systems and methods for sharing augmentation data
US10180715B2 (en) * 2012-10-05 2019-01-15 Elwha Llc Correlating user reaction with at least an aspect associated with an augmentation of an augmented view
US8860634B2 (en) * 2012-10-11 2014-10-14 Sony Computer Entertainment Europe Limited Head mountable display
US9007301B1 (en) * 2012-10-11 2015-04-14 Google Inc. User interface
KR101978214B1 (ko) * 2012-11-19 2019-05-14 엘지전자 주식회사 동영상 디스플레이 장치 및 그 방법
KR20140090552A (ko) 2013-01-09 2014-07-17 엘지전자 주식회사 시선 캘리브레이션을 제공하는 헤드 마운트 디스플레이 및 그 제어 방법
US9619021B2 (en) 2013-01-09 2017-04-11 Lg Electronics Inc. Head mounted display providing eye gaze calibration and control method thereof
US20140191927A1 (en) * 2013-01-09 2014-07-10 Lg Electronics Inc. Head mount display device providing eye gaze calibration and control method thereof
JP6375591B2 (ja) * 2013-01-15 2018-08-22 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、画像表示システム
EP2962175B1 (en) 2013-03-01 2019-05-01 Tobii AB Delay warp gaze interaction
US9864498B2 (en) 2013-03-13 2018-01-09 Tobii Ab Automatic scrolling based on gaze detection
US9639964B2 (en) 2013-03-15 2017-05-02 Elwha Llc Dynamically preserving scene elements in augmented reality systems
US10109075B2 (en) 2013-03-15 2018-10-23 Elwha Llc Temporal element restoration in augmented reality systems
US10025486B2 (en) 2013-03-15 2018-07-17 Elwha Llc Cross-reality select, drag, and drop for augmented reality systems
WO2014156146A1 (ja) * 2013-03-29 2014-10-02 パナソニック株式会社 電子ミラー装置
US10137361B2 (en) * 2013-06-07 2018-11-27 Sony Interactive Entertainment America Llc Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system
GB201310364D0 (en) * 2013-06-11 2013-07-24 Sony Comp Entertainment Europe Head-mountable apparatus and systems
GB201310376D0 (en) * 2013-06-11 2013-07-24 Sony Comp Entertainment Europe Head-mountable apparatus and systems
US10175483B2 (en) * 2013-06-18 2019-01-08 Microsoft Technology Licensing, Llc Hybrid world/body locked HUD on an HMD
US20140375540A1 (en) * 2013-06-24 2014-12-25 Nathan Ackerman System for optimal eye fit of headset display device
US10228242B2 (en) * 2013-07-12 2019-03-12 Magic Leap, Inc. Method and system for determining user input based on gesture
KR20150026336A (ko) 2013-09-02 2015-03-11 엘지전자 주식회사 웨어러블 디바이스 및 그 컨텐트 출력 방법
KR20150032019A (ko) * 2013-09-17 2015-03-25 한국전자통신연구원 시선 추적 기반의 사용자 인터페이스 방법 및 그 장치
CN105659200B (zh) * 2013-09-18 2019-07-23 英特尔公司 用于显示图形用户界面的方法、设备和***
KR102065417B1 (ko) * 2013-09-23 2020-02-11 엘지전자 주식회사 웨어러블 이동단말기 및 그 제어방법
KR20150037254A (ko) * 2013-09-30 2015-04-08 엘지전자 주식회사 착용형 디스플레이 디바이스 및 레이어 제어 방법
US10558262B2 (en) 2013-11-18 2020-02-11 Tobii Ab Component determination and gaze provoked interaction
US10317995B2 (en) 2013-11-18 2019-06-11 Tobii Ab Component determination and gaze provoked interaction
US20150169048A1 (en) * 2013-12-18 2015-06-18 Lenovo (Singapore) Pte. Ltd. Systems and methods to present information on device based on eye tracking
CN104731467B (zh) * 2013-12-19 2018-02-27 联想(北京)有限公司 一种信息处理方法以及一种电子设备
US9633252B2 (en) 2013-12-20 2017-04-25 Lenovo (Singapore) Pte. Ltd. Real-time detection of user intention based on kinematics analysis of movement-oriented biometric data
US10180716B2 (en) 2013-12-20 2019-01-15 Lenovo (Singapore) Pte Ltd Providing last known browsing location cue using movement-oriented biometric data
US9639152B2 (en) * 2013-12-30 2017-05-02 Lenovo (Singapore) Pte. Ltd. Display alignment based on eye tracking
US9524580B2 (en) * 2014-01-06 2016-12-20 Oculus Vr, Llc Calibration of virtual reality systems
US9841599B2 (en) 2014-06-05 2017-12-12 Osterhout Group, Inc. Optical configurations for head-worn see-through displays
US11103122B2 (en) 2014-07-15 2021-08-31 Mentor Acquisition One, Llc Content presentation in head worn computing
US9810906B2 (en) 2014-06-17 2017-11-07 Osterhout Group, Inc. External user interface for head worn computing
US20150277118A1 (en) 2014-03-28 2015-10-01 Osterhout Group, Inc. Sensor dependent content position in head worn computing
US9299194B2 (en) 2014-02-14 2016-03-29 Osterhout Group, Inc. Secure sharing in head worn computing
US9671613B2 (en) 2014-09-26 2017-06-06 Osterhout Group, Inc. See-through computer display systems
US10684687B2 (en) 2014-12-03 2020-06-16 Mentor Acquisition One, Llc See-through computer display systems
US9829707B2 (en) 2014-08-12 2017-11-28 Osterhout Group, Inc. Measuring content brightness in head worn computing
US9746686B2 (en) 2014-05-19 2017-08-29 Osterhout Group, Inc. Content position calibration in head worn computing
US10191279B2 (en) 2014-03-17 2019-01-29 Osterhout Group, Inc. Eye imaging in head worn computing
US20160019715A1 (en) 2014-07-15 2016-01-21 Osterhout Group, Inc. Content presentation in head worn computing
US9594246B2 (en) 2014-01-21 2017-03-14 Osterhout Group, Inc. See-through computer display systems
US20150228119A1 (en) 2014-02-11 2015-08-13 Osterhout Group, Inc. Spatial location presentation in head worn computing
US11227294B2 (en) 2014-04-03 2022-01-18 Mentor Acquisition One, Llc Sight information collection in head worn computing
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US10649220B2 (en) 2014-06-09 2020-05-12 Mentor Acquisition One, Llc Content presentation in head worn computing
US9575321B2 (en) 2014-06-09 2017-02-21 Osterhout Group, Inc. Content presentation in head worn computing
US9939934B2 (en) 2014-01-17 2018-04-10 Osterhout Group, Inc. External user interface for head worn computing
US9529195B2 (en) 2014-01-21 2016-12-27 Osterhout Group, Inc. See-through computer display systems
US9615742B2 (en) 2014-01-21 2017-04-11 Osterhout Group, Inc. Eye imaging in head worn computing
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US11487110B2 (en) 2014-01-21 2022-11-01 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US9494800B2 (en) 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
US9529199B2 (en) 2014-01-21 2016-12-27 Osterhout Group, Inc. See-through computer display systems
US11737666B2 (en) 2014-01-21 2023-08-29 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9651784B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US20150205135A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. See-through computer display systems
US11892644B2 (en) 2014-01-21 2024-02-06 Mentor Acquisition One, Llc See-through computer display systems
US20150206173A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. Eye imaging in head worn computing
US9836122B2 (en) 2014-01-21 2017-12-05 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
US11669163B2 (en) 2014-01-21 2023-06-06 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US9311718B2 (en) * 2014-01-23 2016-04-12 Microsoft Technology Licensing, Llc Automated content scrolling
US20160170207A1 (en) 2014-01-24 2016-06-16 Osterhout Group, Inc. See-through computer display systems
US9846308B2 (en) 2014-01-24 2017-12-19 Osterhout Group, Inc. Haptic systems for head-worn computers
US9401540B2 (en) 2014-02-11 2016-07-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US20150241964A1 (en) 2014-02-11 2015-08-27 Osterhout Group, Inc. Eye imaging in head worn computing
KR102182161B1 (ko) * 2014-02-20 2020-11-24 엘지전자 주식회사 Hmd 및 그 제어 방법
US20160187651A1 (en) 2014-03-28 2016-06-30 Osterhout Group, Inc. Safety for a vehicle operator with an hmd
US20150302422A1 (en) * 2014-04-16 2015-10-22 2020 Ip Llc Systems and methods for multi-user behavioral research
US9614724B2 (en) 2014-04-21 2017-04-04 Microsoft Technology Licensing, Llc Session-based device configuration
US9651787B2 (en) 2014-04-25 2017-05-16 Osterhout Group, Inc. Speaker assembly for headworn computer
US10853589B2 (en) 2014-04-25 2020-12-01 Mentor Acquisition One, Llc Language translation with head-worn computing
US9672210B2 (en) 2014-04-25 2017-06-06 Osterhout Group, Inc. Language translation with head-worn computing
US10424103B2 (en) * 2014-04-29 2019-09-24 Microsoft Technology Licensing, Llc Display device viewer gaze attraction
US20160137312A1 (en) 2014-05-06 2016-05-19 Osterhout Group, Inc. Unmanned aerial vehicle launch system
US10111099B2 (en) 2014-05-12 2018-10-23 Microsoft Technology Licensing, Llc Distributing content in managed wireless distribution networks
US9384335B2 (en) 2014-05-12 2016-07-05 Microsoft Technology Licensing, Llc Content delivery prioritization in managed wireless distribution networks
US9384334B2 (en) 2014-05-12 2016-07-05 Microsoft Technology Licensing, Llc Content discovery in managed wireless distribution networks
US9430667B2 (en) 2014-05-12 2016-08-30 Microsoft Technology Licensing, Llc Managed wireless distribution network
US9874914B2 (en) 2014-05-19 2018-01-23 Microsoft Technology Licensing, Llc Power management contracts for accessory devices
US10037202B2 (en) 2014-06-03 2018-07-31 Microsoft Technology Licensing, Llc Techniques to isolating a portion of an online computing service
US10663740B2 (en) 2014-06-09 2020-05-26 Mentor Acquisition One, Llc Content presentation in head worn computing
US9367490B2 (en) 2014-06-13 2016-06-14 Microsoft Technology Licensing, Llc Reversible connector for accessory devices
US10074003B2 (en) 2014-07-11 2018-09-11 Intel Corporation Dynamic control for data capture
US10204658B2 (en) * 2014-07-14 2019-02-12 Sony Interactive Entertainment Inc. System and method for use in playing back panorama video content
US9858720B2 (en) 2014-07-25 2018-01-02 Microsoft Technology Licensing, Llc Three-dimensional mixed-reality viewport
US9904055B2 (en) 2014-07-25 2018-02-27 Microsoft Technology Licensing, Llc Smart placement of virtual objects to stay in the field of view of a head mounted display
US9766460B2 (en) 2014-07-25 2017-09-19 Microsoft Technology Licensing, Llc Ground plane adjustment in a virtual reality environment
US10416760B2 (en) 2014-07-25 2019-09-17 Microsoft Technology Licensing, Llc Gaze-based object placement within a virtual reality environment
US9865089B2 (en) 2014-07-25 2018-01-09 Microsoft Technology Licensing, Llc Virtual reality environment with real world objects
US10451875B2 (en) 2014-07-25 2019-10-22 Microsoft Technology Licensing, Llc Smart transparency for virtual objects
US10311638B2 (en) 2014-07-25 2019-06-04 Microsoft Technology Licensing, Llc Anti-trip when immersed in a virtual reality environment
RU2017106629A (ru) 2014-08-03 2018-09-04 Поготек, Инк. Система носимых камер и устройств, а также способ прикрепления систем камер или других электронных устройств к носимым изделиям
US9952883B2 (en) 2014-08-05 2018-04-24 Tobii Ab Dynamic determination of hardware
US9779633B2 (en) 2014-08-08 2017-10-03 Greg Van Curen Virtual reality system enabling compatibility of sense of immersion in virtual space and movement in real space, and battle training system using same
US9599821B2 (en) * 2014-08-08 2017-03-21 Greg Van Curen Virtual reality system allowing immersion in virtual space to consist with actual movement in actual space
US9489739B2 (en) * 2014-08-13 2016-11-08 Empire Technology Development Llc Scene analysis for improved eye tracking
US20160051145A1 (en) * 2014-08-20 2016-02-25 California Baptist University Systems and methods for monitoring eye health
US10261579B2 (en) * 2014-09-01 2019-04-16 Samsung Electronics Co., Ltd. Head-mounted display apparatus
US9798383B2 (en) * 2014-09-19 2017-10-24 Intel Corporation Facilitating dynamic eye torsion-based eye tracking on computing devices
CN105527825B (zh) * 2014-09-28 2018-02-27 联想(北京)有限公司 电子设备和显示方法
CN104391567B (zh) * 2014-09-30 2017-10-31 深圳市魔眼科技有限公司 一种基于人眼跟踪的三维全息虚拟物体显示控制方法
US9984505B2 (en) * 2014-09-30 2018-05-29 Sony Interactive Entertainment Inc. Display of text information on a head-mounted display
US10943395B1 (en) * 2014-10-03 2021-03-09 Virtex Apps, Llc Dynamic integration of a virtual environment with a physical environment
US20160109943A1 (en) * 2014-10-21 2016-04-21 Honeywell International Inc. System and method for controlling visibility of a proximity display
US11372479B2 (en) 2014-11-10 2022-06-28 Irisvision, Inc. Multi-modal vision enhancement system
US11546527B2 (en) 2018-07-05 2023-01-03 Irisvision, Inc. Methods and apparatuses for compensating for retinitis pigmentosa
EP3218850A4 (en) 2014-11-10 2018-06-27 Visionize LLC Methods and apparatus for vision enhancement
US10963999B2 (en) 2018-02-13 2021-03-30 Irisvision, Inc. Methods and apparatus for contrast sensitivity compensation
US11144119B2 (en) 2015-05-01 2021-10-12 Irisvision, Inc. Methods and systems for generating a magnification region in output video images
WO2016075782A1 (ja) * 2014-11-12 2016-05-19 富士通株式会社 ウェアラブルデバイス、表示制御方法、及び表示制御プログラム
US9535497B2 (en) 2014-11-20 2017-01-03 Lenovo (Singapore) Pte. Ltd. Presentation of data on an at least partially transparent display based on user focus
US9684172B2 (en) 2014-12-03 2017-06-20 Osterhout Group, Inc. Head worn computer display systems
US9997199B2 (en) 2014-12-05 2018-06-12 Warner Bros. Entertainment Inc. Immersive virtual reality production and playback for storytelling content
US20160180798A1 (en) * 2014-12-22 2016-06-23 Elwha Llc Systems, methods, and devices for controlling content update rates
US20160180762A1 (en) * 2014-12-22 2016-06-23 Elwha Llc Systems, methods, and devices for controlling screen refresh rates
SG11201705196QA (en) 2014-12-23 2017-07-28 Pogotec Inc Wireless camera system and methods
USD751552S1 (en) 2014-12-31 2016-03-15 Osterhout Group, Inc. Computer glasses
USD753114S1 (en) 2015-01-05 2016-04-05 Osterhout Group, Inc. Air mouse
US9846968B2 (en) 2015-01-20 2017-12-19 Microsoft Technology Licensing, Llc Holographic bird's eye view camera
KR101685105B1 (ko) * 2015-01-27 2016-12-20 네이버 주식회사 만화 데이터 표시 방법 및 만화 데이터 표시 장치
US20160225191A1 (en) * 2015-02-02 2016-08-04 Daqri, Llc Head mounted display calibration
US20160239985A1 (en) 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
US10878775B2 (en) 2015-02-17 2020-12-29 Mentor Acquisition One, Llc See-through computer display systems
CN104777912B (zh) * 2015-04-29 2018-02-09 北京奇艺世纪科技有限公司 一种弹幕展示方法、装置及***
US10254544B1 (en) * 2015-05-13 2019-04-09 Rockwell Collins, Inc. Head tracking accuracy and reducing latency in dynamic environments
CN108139234B (zh) 2015-05-19 2021-02-05 奇跃公司 双复合光场装置
US10488661B2 (en) * 2015-05-28 2019-11-26 North Inc. Systems, devices, and methods that integrate eye tracking and scanning laser projection in wearable heads-up displays
EP3308216B1 (en) 2015-06-10 2021-04-21 Pogotec, Inc. Eyewear with magnetic track for electronic wearable device
US10481417B2 (en) 2015-06-10 2019-11-19 PogoTec, Inc. Magnetic attachment mechanism for electronic wearable device
WO2016199731A1 (ja) * 2015-06-10 2016-12-15 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイ、表示制御方法及びプログラム
KR20180021086A (ko) 2015-06-30 2018-02-28 쓰리엠 이노베이티브 프로퍼티즈 컴파니 조명기
US10635189B2 (en) 2015-07-06 2020-04-28 RideOn Ltd. Head mounted display curser maneuvering
US11003246B2 (en) 2015-07-22 2021-05-11 Mentor Acquisition One, Llc External user interface for head worn computing
US10139966B2 (en) 2015-07-22 2018-11-27 Osterhout Group, Inc. External user interface for head worn computing
US10127725B2 (en) 2015-09-02 2018-11-13 Microsoft Technology Licensing, Llc Augmented-reality imaging
US10757399B2 (en) 2015-09-10 2020-08-25 Google Llc Stereo rendering system
KR102574490B1 (ko) * 2015-10-12 2023-09-04 삼성전자주식회사 머리 장착형 전자 장치
US10466780B1 (en) * 2015-10-26 2019-11-05 Pillantas Systems and methods for eye tracking calibration, eye vergence gestures for interface control, and visual aids therefor
US10962780B2 (en) * 2015-10-26 2021-03-30 Microsoft Technology Licensing, Llc Remote rendering for virtual images
US10338677B2 (en) 2015-10-28 2019-07-02 Microsoft Technology Licensing, Llc Adjusting image frames based on tracking motion of eyes
TW201729610A (zh) 2015-10-29 2017-08-16 帕戈技術股份有限公司 適用於無線功率接收之助聽器
US9805512B1 (en) 2015-11-13 2017-10-31 Oculus Vr, Llc Stereo-based calibration apparatus
AU2016359149B2 (en) * 2015-11-25 2018-08-23 Google Llc Prism-based eye tracking
CN105869214A (zh) * 2015-11-26 2016-08-17 乐视致新电子科技（天津）有限公司 一种基于虚拟现实设备的视锥体裁剪方法及装置
US10229324B2 (en) 2015-12-24 2019-03-12 Intel Corporation Video summarization using semantic information
IL243400A (en) 2015-12-29 2017-06-29 Elbit Systems Ltd Principles and applications of associating the symbol system in a reference locator view
US10591728B2 (en) 2016-03-02 2020-03-17 Mentor Acquisition One, Llc Optical systems for head-worn computers
US10850116B2 (en) 2016-12-30 2020-12-01 Mentor Acquisition One, Llc Head-worn therapy device
US10667981B2 (en) 2016-02-29 2020-06-02 Mentor Acquisition One, Llc Reading assistance system for visually impaired
US9826299B1 (en) 2016-08-22 2017-11-21 Osterhout Group, Inc. Speaker systems for head-worn computer systems
US9880441B1 (en) 2016-09-08 2018-01-30 Osterhout Group, Inc. Electrochromic systems for head-worn computer systems
US11558538B2 (en) 2016-03-18 2023-01-17 Opkix, Inc. Portable camera system
CN107229122B (zh) * 2016-03-23 2019-08-16 宏达国际电子股份有限公司 头戴式显示装置
US20170277259A1 (en) * 2016-03-24 2017-09-28 Daqri, Llc Eye tracking via transparent near eye lens
US10466491B2 (en) 2016-06-01 2019-11-05 Mentor Acquisition One, Llc Modular systems for head-worn computers
WO2017223042A1 (en) * 2016-06-20 2017-12-28 PogoTec, Inc. Image alignment systems and methods
US10444509B2 (en) * 2016-06-27 2019-10-15 Daqri, Llc Near eye diffractive holographic projection method
US20180007422A1 (en) 2016-06-30 2018-01-04 Sony Interactive Entertainment Inc. Apparatus and method for providing and displaying content
KR102558473B1 (ko) * 2016-09-30 2023-07-25 삼성전자주식회사 이미지를 표시하기 위한 방법 및 그 전자 장치
US10863060B2 (en) 2016-11-08 2020-12-08 PogoTec, Inc. Smart case for electronic wearable device
EP3322186A1 (en) * 2016-11-14 2018-05-16 Thomson Licensing Method and device for transmitting data representative of an image
WO2018138714A1 (en) 2017-01-28 2018-08-02 Lumus Ltd. Augmented reality imaging system
TWI633336B (zh) * 2017-02-24 2018-08-21 宏碁股份有限公司 頭戴式顯示器、其視野校正方法以及混合實境顯示系統
US10977858B2 (en) 2017-03-30 2021-04-13 Magic Leap, Inc. Centralized rendering
EP3603108A4 (en) 2017-03-30 2021-04-14 Magic Leap, Inc. DOUBLE NON-BLOCKING DRIVER EARPHONES
KR102627452B1 (ko) 2017-04-14 2024-01-18 매직 립, 인코포레이티드 다중 모드 눈 추적
US10319266B1 (en) * 2017-04-24 2019-06-11 Facebook Technologies, Llc Display panel with non-visible light detection
US11079522B1 (en) 2017-05-31 2021-08-03 Magic Leap, Inc. Fiducial design
EP3655817B1 (en) 2017-07-19 2023-03-08 Lumus Ltd. Lcos illumination via loe
US11409105B2 (en) 2017-07-24 2022-08-09 Mentor Acquisition One, Llc See-through computer display systems
US10578869B2 (en) 2017-07-24 2020-03-03 Mentor Acquisition One, Llc See-through computer display systems with adjustable zoom cameras
US10422995B2 (en) 2017-07-24 2019-09-24 Mentor Acquisition One, Llc See-through computer display systems with stray light management
US10969584B2 (en) 2017-08-04 2021-04-06 Mentor Acquisition One, Llc Image expansion optic for head-worn computer
US10394034B2 (en) * 2017-08-15 2019-08-27 Microsoft Technology Licensing, Llc Eye-tracking with MEMS scanning and optical relay
US11157073B2 (en) * 2017-10-04 2021-10-26 Tectus Corporation Gaze calibration for eye-mounted displays
CN115175064A (zh) 2017-10-17 2022-10-11 奇跃公司 混合现实空间音频
EP3669332A4 (en) * 2017-11-30 2021-04-07 Hewlett-Packard Development Company, L.P. VIRTUAL DASHBOARD IMPLEMENTATIONS BASED ON AUGMENTED REALITY
US10506220B2 (en) 2018-01-02 2019-12-10 Lumus Ltd. Augmented reality displays with active alignment and corresponding methods
US20190212482A1 (en) * 2018-01-10 2019-07-11 Oculus Vr, Llc Angle selective filter for near eye displays
CN111771179A (zh) 2018-01-17 2020-10-13 奇跃公司 用于确定显示器与用户的眼睛之间的配准的显示***和方法
EP3741109B1 (en) * 2018-01-17 2024-04-24 Magic Leap, Inc. Eye center of rotation determination, depth plane selection, and render camera positioning in display systems
JP2019133504A (ja) * 2018-02-01 2019-08-08 トヨタ自動車株式会社 配車サービス連携探索支援システム
US11403825B2 (en) 2018-02-15 2022-08-02 Magic Leap, Inc. Mixed reality musical instrument
JP7252965B2 (ja) 2018-02-15 2023-04-05 マジック リープ， インコーポレイテッド 複合現実のための二重聴取者位置
US11477510B2 (en) 2018-02-15 2022-10-18 Magic Leap, Inc. Mixed reality virtual reverberation
JP6582205B2 (ja) * 2018-02-28 2019-10-02 株式会社コナミデジタルエンタテインメント 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、情報処理システム
KR20190118040A (ko) 2018-04-09 2019-10-17 삼성전자주식회사 웨어러블 디스플레이 장치 및 그의 입체 영상 표시 방법
US11204501B2 (en) 2018-04-24 2021-12-21 Mentor Acquisition One, Llc See-through computer display systems with vision correction and increased content density
CN108592865A (zh) * 2018-04-28 2018-09-28 京东方科技集团股份有限公司 基于ar设备的几何量测量方法及其装置、ar设备
IL259518B2 (en) 2018-05-22 2023-04-01 Lumus Ltd Optical system and method for improving light field uniformity
EP3803541A1 (en) 2018-06-11 2021-04-14 Brainlab AG Visualization of medical data depending on viewing-characteristics
US10667072B2 (en) 2018-06-12 2020-05-26 Magic Leap, Inc. Efficient rendering of virtual soundfields
US10602292B2 (en) 2018-06-14 2020-03-24 Magic Leap, Inc. Methods and systems for audio signal filtering
EP3807872B1 (en) 2018-06-14 2024-04-10 Magic Leap, Inc. Reverberation gain normalization
EP3808108A4 (en) 2018-06-18 2022-04-13 Magic Leap, Inc. SPATIAL AUDIO FOR INTERACTIVE AUDIO ENVIRONMENTS
JP7419270B2 (ja) 2018-06-21 2024-01-22 マジック リープ， インコーポレイテッド ウェアラブルシステム発話処理
AU2019294617A1 (en) 2018-06-27 2021-02-18 SentiAR, Inc. Gaze based interface for augmented reality environment
US11201953B2 (en) 2018-07-24 2021-12-14 Magic Leap, Inc. Application sharing
CN112689869A (zh) 2018-07-24 2021-04-20 奇跃公司 用于确定显示器与用户的眼睛之间的配准的显示***和方法
US11094127B2 (en) 2018-09-25 2021-08-17 Magic Leap, Inc. Systems and methods for presenting perspective views of augmented reality virtual object
CN116249053B (zh) 2018-10-05 2024-07-19 奇跃公司 用于双耳音频渲染的耳间时间差交叉渐变器
WO2020073023A1 (en) 2018-10-05 2020-04-09 Magic Leap, Inc. Near-field audio rendering
JP7448530B2 (ja) 2018-10-09 2024-03-12 マジック リープ， インコーポレイテッド 仮想および拡張現実のためのシステムおよび方法
US11487316B2 (en) 2018-10-24 2022-11-01 Magic Leap, Inc. Asynchronous ASIC
CN109507686B (zh) * 2018-11-08 2021-03-30 歌尔光学科技有限公司 一种控制方法、头戴显示设备、电子设备及存储介质
WO2020102237A1 (en) 2018-11-13 2020-05-22 Opkix, Inc. Wearable mounts for portable camera
CN113632030A (zh) 2018-12-27 2021-11-09 奇跃公司 用于虚拟现实和增强现实的***和方法
CN111506188A (zh) * 2019-01-30 2020-08-07 托比股份公司 用于动态地调整hud的方法和hmd
CN113748462A (zh) 2019-03-01 2021-12-03 奇跃公司 确定用于语音处理引擎的输入
CN113557708B (zh) 2019-03-12 2024-07-16 鲁姆斯有限公司 图像投影仪
EP3980880A4 (en) 2019-06-06 2022-11-23 Magic Leap, Inc. PHOTOREAL CHARACTER CONFIGURATIONS FOR SPACE COMPUTING
US11704874B2 (en) 2019-08-07 2023-07-18 Magic Leap, Inc. Spatial instructions and guides in mixed reality
US11328740B2 (en) 2019-08-07 2022-05-10 Magic Leap, Inc. Voice onset detection
EP4046138A4 (en) 2019-10-18 2022-12-07 Magic Leap, Inc. GRAVITY ESTIMATION AND BUNDLE ADJUSTMENT FOR VISUAL INERTIAL ODOMETRY
WO2021081435A1 (en) 2019-10-25 2021-04-29 Magic Leap, Inc. Reverberation fingerprint estimation
JP2022554200A (ja) 2019-10-25 2022-12-28 マジック リープ， インコーポレイテッド 非均一ステレオレンダリング
KR102593103B1 (ko) * 2019-10-28 2023-10-24 주식회사 케이티 카메라를 정렬하는 장치, 방법 및 컴퓨터 프로그램
US11959997B2 (en) 2019-11-22 2024-04-16 Magic Leap, Inc. System and method for tracking a wearable device
WO2021113782A1 (en) 2019-12-04 2021-06-10 Magic Leap, Inc. Variable-pitch color emitting display
WO2021113781A1 (en) 2019-12-06 2021-06-10 Magic Leap, Inc. Environment acoustics persistence
CN115053270A (zh) 2019-12-09 2022-09-13 奇跃公司 用于基于用户身份来操作头戴式显示***的***和方法
US11337023B2 (en) 2019-12-20 2022-05-17 Magic Leap, Inc. Physics-based audio and haptic synthesis
JP2021120693A (ja) * 2020-01-30 2021-08-19 シチズンファインデバイス株式会社 反射型液晶表示装置
CN115398936A (zh) 2020-02-14 2022-11-25 奇跃公司 多应用音频渲染
EP4104000A4 (en) 2020-02-14 2023-07-12 Magic Leap, Inc. TOOL BRIDGE
US11475644B2 (en) 2020-02-14 2022-10-18 Magic Leap, Inc. Session manager
CN115398316A (zh) 2020-02-14 2022-11-25 奇跃公司 3d对象注释
US11778410B2 (en) 2020-02-14 2023-10-03 Magic Leap, Inc. Delayed audio following
CN117714967A (zh) 2020-03-02 2024-03-15 奇跃公司 沉浸式音频平台
US11917384B2 (en) 2020-03-27 2024-02-27 Magic Leap, Inc. Method of waking a device using spoken voice commands
EP3941077A4 (en) * 2020-05-22 2022-06-29 Beijing Baidu Netcom Science and Technology Co., Ltd. Method and apparatus for controlling video playing, and electronic device and storage medium
CN117044234A (zh) 2020-05-29 2023-11-10 奇跃公司 表面适当碰撞
CN116210021A (zh) 2020-05-29 2023-06-02 奇跃公司 确定角加速度
US11806078B1 (en) 2022-05-01 2023-11-07 Globe Biomedical, Inc. Tear meniscus detection and evaluation system
CN116225209A (zh) * 2022-11-03 2023-06-06 溥畅(杭州)智能科技有限公司 一种基于眼动追踪的人机交互方法及***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030020755A1 (en) * 1997-04-30 2003-01-30 Lemelson Jerome H. System and methods for controlling automatic scrolling of information on a display or screen
US20060082542A1 (en) * 2004-10-01 2006-04-20 Morita Mark M Method and apparatus for surgical operating room information display gaze detection and user prioritization for control
US20060110008A1 (en) * 2003-11-14 2006-05-25 Roel Vertegaal Method and apparatus for calibration-free eye tracking
CN101943982A (zh) * 2009-07-10 2011-01-12 北京大学 基于被跟踪的眼睛运动的图像操作

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5742264A (en) * 1995-01-24 1998-04-21 Matsushita Electric Industrial Co., Ltd. Head-mounted display
CA2233047C (en) 1998-02-02 2000-09-26 Steve Mann Wearable camera system with viewfinder means
US6578962B1 (en) * 2001-04-27 2003-06-17 International Business Machines Corporation Calibration-free eye gaze tracking
US6886137B2 (en) 2001-05-29 2005-04-26 International Business Machines Corporation Eye gaze control of dynamic information presentation
US7306337B2 (en) * 2003-03-06 2007-12-11 Rensselaer Polytechnic Institute Calibration-free gaze tracking under natural head movement
KR100749033B1 (ko) 2004-03-03 2007-08-13 학교법인 한국정보통신학원 두 눈에서 반사되는 빛을 추적하여 단말기를 조작하는방법, 및 그 장치
US7542210B2 (en) 2006-06-29 2009-06-02 Chirieleison Sr Anthony Eye tracking head mounted display
KR101004930B1 (ko) 2008-07-10 2010-12-28 성균관대학교산학협력단 시선 인식을 이용한 풀 브라우징 방법 및 이를 적용한휴대용 단말기
US8611015B2 (en) * 2011-11-22 2013-12-17 Google Inc. User interface

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030020755A1 (en) * 1997-04-30 2003-01-30 Lemelson Jerome H. System and methods for controlling automatic scrolling of information on a display or screen
US20060110008A1 (en) * 2003-11-14 2006-05-25 Roel Vertegaal Method and apparatus for calibration-free eye tracking
US20060082542A1 (en) * 2004-10-01 2006-04-20 Morita Mark M Method and apparatus for surgical operating room information display gaze detection and user prioritization for control
CN101943982A (zh) * 2009-07-10 2011-01-12 北京大学 基于被跟踪的眼睛运动的图像操作

Cited By (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106574847A (zh) * 2014-09-24 2017-04-19 三星电子株式会社 用于获取传感器数据的方法及其电子设备
US10408616B2 (en) 2014-09-24 2019-09-10 Samsung Electronics Co., Ltd. Method for acquiring sensor data and electronic device thereof
CN106796344B (zh) * 2014-10-07 2018-01-09 艾尔比特***有限公司 锁定在感兴趣对象上的放大图像的***、布置和方法
CN106796344A (zh) * 2014-10-07 2017-05-31 艾尔比特***有限公司 锁定在感兴趣对象上的放大图像的头戴式显示
CN104717483B (zh) * 2014-12-02 2017-02-01 上海理鑫光学科技有限公司 虚拟现实家居装潢体验***
CN104717483A (zh) * 2014-12-02 2015-06-17 上海理鑫光学科技有限公司 虚拟现实家居装潢体验***
CN104581126A (zh) * 2014-12-16 2015-04-29 青岛歌尔声学科技有限公司 一种头戴显示设备的画面显示处理方法和处理装置
CN104570366A (zh) * 2015-01-16 2015-04-29 中国科学院上海光学精密机械研究所 一种具有手势识别功能的全息头盔显示器
CN107249497A (zh) * 2015-02-20 2017-10-13 柯惠Lp公司 手术室和手术部位感知
CN112181140A (zh) * 2015-07-31 2021-01-05 谷歌有限责任公司 自动校准穿戴式眼睛跟踪***的独特反射镜片
CN108141559A (zh) * 2015-09-18 2018-06-08 Fove股份有限公司 影像***
CN108141559B (zh) * 2015-09-18 2020-11-06 Fove股份有限公司 影像***、影像生成方法及计算机可读介质
CN108352075A (zh) * 2015-11-06 2018-07-31 欧库勒斯虚拟现实有限责任公司 使用光流的眼睛跟踪
CN108352075B (zh) * 2015-11-06 2020-01-21 脸谱科技有限责任公司 使用光流的眼睛跟踪
CN105301778A (zh) * 2015-12-08 2016-02-03 北京小鸟看看科技有限公司 三维操控装置、头戴式装置及三维操控方法
CN105511618A (zh) * 2015-12-08 2016-04-20 北京小鸟看看科技有限公司 三维输入装置、头戴式装置及三维输入方法
CN114895471B (zh) * 2016-02-18 2024-04-09 苹果公司 具有内-外位置跟踪、用户身体跟踪和环境跟踪的用于虚拟现实和混合现实的头戴式显示器
CN114895471A (zh) * 2016-02-18 2022-08-12 苹果公司 具有内-外位置跟踪、用户身体跟踪和环境跟踪的用于虚拟现实和混合现实的头戴式显示器
CN106131539A (zh) * 2016-06-30 2016-11-16 乐视控股（北京）有限公司 一种虚拟现实vr设备及其视频播放方法
CN106265006A (zh) * 2016-07-29 2017-01-04 维沃移动通信有限公司 一种主视眼的矫正方法及移动终端
CN106265006B (zh) * 2016-07-29 2019-05-17 维沃移动通信有限公司 一种主视眼的矫正装置的控制方法及移动终端
CN110088662B (zh) * 2016-12-01 2021-12-14 阴影技术公司 成像***和产生背景图像和聚焦图像的方法
CN110088662A (zh) * 2016-12-01 2019-08-02 阴影技术公司 成像***和产生背景图像和聚焦图像的方法
WO2018103072A1 (zh) * 2016-12-09 2018-06-14 深圳市柔宇科技有限公司 用户界面的调整方法、调整***及头戴显示设备
CN108604015A (zh) * 2016-12-26 2018-09-28 华为技术有限公司 图像显示方法和头戴显示设备
WO2018120554A1 (zh) * 2016-12-26 2018-07-05 华为技术有限公司 图像显示方法和头戴显示设备
CN110574099A (zh) * 2017-05-01 2019-12-13 纯深度股份有限公司 基于头部跟踪的场序跳视分离减少
CN110574099B (zh) * 2017-05-01 2022-07-12 安波福技术有限公司 基于头部跟踪的场序跳视分离减少
CN110753899A (zh) * 2017-06-15 2020-02-04 微软技术许可有限责任公司 计算机介导现实中的位移取向交互
CN110753899B (zh) * 2017-06-15 2021-12-10 微软技术许可有限责任公司 计算机介导现实中的位移取向交互
CN110799929A (zh) * 2017-06-28 2020-02-14 通快光子元件有限公司 用于计算机媒介现实的显示设备
CN110799929B (zh) * 2017-06-28 2024-01-30 通快光电器件有限公司 用于计算机媒介现实的显示设备
CN111095357A (zh) * 2017-07-27 2020-05-01 Mo-Sys工程有限公司 定位***
CN109426342B (zh) * 2017-08-29 2022-04-01 深圳市掌网科技股份有限公司 基于增强现实的文档阅读方法和装置
CN109426342A (zh) * 2017-08-29 2019-03-05 深圳市掌网科技股份有限公司 基于增强现实的文档阅读方法和装置
US10962788B2 (en) 2018-04-25 2021-03-30 Apple Inc. Head-mounted device with active optical foveation
US10642049B2 (en) 2018-04-25 2020-05-05 Apple Inc. Head-mounted device with active optical foveation
CN110554771B (zh) * 2018-05-31 2023-06-02 托比股份公司 虚拟现实和增强现实中的眼睛跟踪应用
CN110554771A (zh) * 2018-05-31 2019-12-10 托比股份公司 虚拟现实和增强现实中的眼睛跟踪应用
CN113589533A (zh) * 2018-06-01 2021-11-02 脸谱科技有限责任公司 头戴式显示器及用于确定佩戴其的用户的视线的方法
CN112639943A (zh) * 2018-08-22 2021-04-09 微软技术许可有限责任公司 用于改善头戴式显示器的颜色均匀性的凹式颜色校正
CN110603513B (zh) * 2018-08-27 2023-08-29 深圳市汇顶科技股份有限公司 一种眼睛跟踪设备及利用光学成像跟踪眼睛的方法
CN110603513A (zh) * 2018-08-27 2019-12-20 深圳市汇顶科技股份有限公司 基于对眼睛特征进行成像和结构照明探测光帮助的眼睛跟踪
US11675427B2 (en) 2018-08-27 2023-06-13 Shenzhen GOODIX Technology Co., Ltd. Eye tracking based on imaging eye features and assistance of structured illumination probe light
CN109901709B (zh) * 2019-01-14 2022-06-14 北京七鑫易维信息技术有限公司 调节显示画面的方法、装置及vr设备
CN109901709A (zh) * 2019-01-14 2019-06-18 北京七鑫易维信息技术有限公司 调节显示画面的方法、装置及vr设备
US11973927B2 (en) 2019-03-13 2024-04-30 Hewlett-Packard Development Company, L.P. Detecting eye tracking calibration errors
CN113519154A (zh) * 2019-03-13 2021-10-19 惠普发展公司，有限责任合伙企业 检测眼睛跟踪校准误差
CN114041101A (zh) * 2019-07-11 2022-02-11 惠普发展公司，有限责任合伙企业 用于显示器的眼睛跟踪
CN113157084A (zh) * 2020-01-14 2021-07-23 苹果公司 基于肢体跟踪信息和眼睛跟踪信息来定位受用户控制的空间选择器
CN115038928B (zh) * 2020-02-03 2024-02-06 贝以***哈格伦斯公司 嵌入式目标跟踪训练
CN115038928A (zh) * 2020-02-03 2022-09-09 贝以***哈格伦斯公司 嵌入式目标跟踪训练

Also Published As

Publication number Publication date
US20130128364A1 (en) 2013-05-23
WO2013077978A3 (en) 2013-07-18
US20140055846A1 (en) 2014-02-27
US8611015B2 (en) 2013-12-17
US8786953B2 (en) 2014-07-22
CN104067160B (zh) 2017-09-12
WO2013077978A2 (en) 2013-05-30
EP2783252B1 (en) 2018-07-25
EP2783252A4 (en) 2014-12-10
EP2783252A2 (en) 2014-10-01

Similar Documents

Publication Publication Date Title
CN104067160B (zh) 使用眼睛跟踪在显示屏中使图像内容居中的方法
US8970452B2 (en) Imaging method
US10055642B2 (en) Staredown to produce changes in information density and type
US11303880B2 (en) Near eye wavefront emulating display
US8767306B1 (en) Display system
US9213185B1 (en) Display scaling based on movement of a head-mounted display
US10200680B2 (en) Eye gaze responsive virtual reality headset
US8971570B1 (en) Dual LED usage for glint detection
US8982471B1 (en) HMD image source as dual-purpose projector/near-eye display
CN102928979B (zh) 调整混合现实显示器以供瞳孔间距对准
US8955973B2 (en) Method and system for input detection using structured light projection
US20130241805A1 (en) Using Convergence Angle to Select Among Different UI Elements
CN103917913B (zh) 头戴式显示器、控制光学***的方法及计算机可读介质
US20160133170A1 (en) High resolution perception of content in a wide field of view of a head-mounted display
US9261959B1 (en) Input detection
KR20140059213A (ko) 홍채 스캔 프로파일링을 이용하는 헤드 마운티드 디스플레이
WO2015183500A1 (en) Relocated virtual retinal image system
JP2023510459A (ja) ヘッドマウントディスプレイデバイスのための視線追跡システム
JP2018141874A (ja) 頭部搭載型表示装置及び画像形成光学系
US20220377312A1 (en) Autocalibrated near-eye display
US10620432B1 (en) Devices and methods for lens position adjustment based on diffraction in a fresnel lens
US10520729B1 (en) Light scattering element for providing optical cues for lens position adjustment

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: American California

Patentee after: Google limited liability company

Address before: American California

Patentee before: Google Inc.

CP01 Change in the name or title of a patent holder