CN105452936A - 用于hmd的最优眼部拟合的*** - Google Patents

用于hmd的最优眼部拟合的*** Download PDF

Info

Publication number
CN105452936A
CN105452936A CN201480036134.7A CN201480036134A CN105452936A CN 105452936 A CN105452936 A CN 105452936A CN 201480036134 A CN201480036134 A CN 201480036134A CN 105452936 A CN105452936 A CN 105452936A
Authority
CN
China
Prior art keywords
mounted display
eyes
head
axis
trace component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480036134.7A
Other languages
English (en)
Inventor
N·阿克曼
A·霍奇
D·尼斯特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN105452936A publication Critical patent/CN105452936A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

公开了一种用于传感头戴式显示设备相对于佩戴者双眼的位置和/或角度方向，以及提供反馈来调节头戴式显示设备的位置和/或角度方向以便相对于佩戴者双眼最优居中和定向的***和方法。

Description

用于HMD的最优眼部拟合的***
背景
混合现实是允许全息的或虚拟的图像与现实世界物理环境混合的技术。用户可以佩戴透光的、头戴式的、混合现实显示设备来查看在用户的视场里显示的现实对象和虚拟对象的混合图像。为了促进有三维深度的幻象，虚拟对象的图像被头戴式显示设备独立地显示到左眼和右眼，其中在各图像间有小的双目差异。该双目差异被大脑解释为指示虚拟对象在混合现实环境中的深度。
期望精确地控制头戴式显示设备在用户头部上的位置、以及所显示图像的双目差异。即使位置或双目差异中的小偏移也会产生模糊的图像、不舒适、以及三维效应的损失。
概述
本技术的各实施例涉及用于传感头戴式显示设备相对于佩戴者双眼的位置，以及提供反馈来调节头戴式显示设备的位置以便相对于佩戴者双眼最优居中的***和方法。在各实施例中，头戴式显示设备包括多个显示单元以及眼部定位和跟踪组件。显示单元以适当的目镜差异在左眼和右眼上向光学元件显示图像，以便在距用户的给定距离处创建虚拟对象的幻象。眼部定位和跟踪组件可以包括一个或多个光源以及一个或多个传感器，用于标识用户眼部相对于眼部定位和跟踪组件的位置。眼部定位和跟踪组件相对于显示单元的几何形状是已知的，以使可以为每只眼睛确定显示单元的最优的、中央位置。
当检测到显示单元相对于用户眼部的失准时，头戴式显示设备可以向用户提供视觉和/或听觉反馈。该反馈可以指示用户关于如何调节头戴式显示器以便将该头戴式显示设备最优地对准和适配于用户双眼上。除了提供关于调节头戴式显示器的位置的反馈以外，当前技术可以针对头戴式显示设备具有可调节IPD的实施例，提供关于头戴式显示设备中的调节瞳孔间距(IPD)的反馈。
在一替代实施例中，头戴式显示设备位置和/或IPD的调节可以自动发生。在一种这样的自动示例中，在检测到失准之际，失准可以用软件来校正以调节虚拟对象如何以及在哪里被一个或两个显示单元显示。在另一自动示例中，可以在头戴式显示设备上设置马达以调节头戴式显示设备的特定位置和/或IPD。
在一示例中，本技术涉及头戴式显示设备，包括：包括光学元件的显示单元；定位和跟踪组件，用于传感定位和跟踪组件相对于佩戴者双眼的位置和角度方向；处理器，与显示单元以及定位和跟踪组件耦合，用于确定光学元件相对于双眼的位置和角度方向；以及由处理器执行的反馈例程，用于基于来自处理器的失准确定向佩戴者提供反馈，以调节头戴式显示设备相对于双眼的位置和方向中的至少一者。
在一进一步示例中，本技术涉及用于在一空间中提供混合现实体验的头戴式显示设备，所述空间具有x轴、垂直于x轴的y轴、以及垂直于x轴和y轴的z轴，该头戴式显示器包括：包括光学元件的显示单元，用于向佩戴者的双眼显示虚拟图像；定位和跟踪组件，用于传感关于该定位和跟踪组件到双眼的x轴、y轴和z轴的位置，以及关于该定位和跟踪组件到双眼的x轴绕x轴、y轴和z轴的旋转的角度旋转；处理器，与显示单元以及该定位和跟踪组件耦合，用于确定光学元件相对于双眼的位置和角度方向；以及由处理器实现的反馈例程，用于基于来自处理器的确定向用户提供反馈以调节头戴式显示器相对于双眼的位置和方向中的至少一者。
在另一示例中，本技术涉及一种用于指示头戴式显示设备的一个或多个光学元件与佩戴者双眼的失准的方法，所述方法包括：(a)确定光学元件与佩戴者双眼的失准，所述失准由处理设备以及眼部定位和跟踪组件确定；以及(b)生成向佩戴者提供关于如何调节光学元件的一个或多个的信息的反馈，所述反馈被显示为向光学元件显示的一个或多个虚拟图像。
提供该概述以便以简化形式介绍概念的选集，所述概念在以下详细描述中被进一步描述。该概述不意图标识所要求保护的主题的关键特征或基本特征，也不意图被用来帮助确定所要求保护的主题的范围。
附图简述
图1是一种用于向一个或多个用户呈现混合现实环境的***的一实施例的示例组件的图示。
图2是头戴式显示单元的一实施例的透视图。
图3是头戴式显示单元的一实施例的一部分的侧视图。
图4是头戴式显示单元的组件的一实施例的框图。
图5是与头戴式显示单元相关联的处理单元的组件的一实施例的框图。
图6是解说本技术的一实施例的操作的流程图。
图7－9解说头戴式显示设备的光学元件与佩戴者双眼的失准。
图10-12解说包括虚拟对象的头戴式显示设备的透视图，其提供关于如何校正头戴式显示设备的光学元件与佩戴者双眼的失准的反馈。
图13是可用于实现此处描述的计算***的计算***的一实施例的框图。
详细描述
现在将参照图1-13描述本技术的各实施例，本技术的各实施例一般涉及用于传感头戴式显示设备相对于佩戴者双眼的位置和/或角度方向，以及提供反馈来调节头戴式显示设备的位置和/或角度方向以便相对于佩戴者双眼最优居中和定向的***和方法。头戴式显示设备可用于实现包括现实对象和虚拟对象的混合现实环境。头戴式显示设备可包括显示元件。显示元件在某种程度上是透明的，以使用户可以在该用户的视场(FOV)内透过显示元件看向现实世界对象。显示元件也提供将虚拟图像投射至用户的FOV中以使虚拟图像也显现在现实世界对象旁边的能力。***自动地跟踪用户查看之处，以使***可以确定在用户FOV的何处***虚拟图像。一旦***得知在哪里投射虚拟图像，图像就使用显示元件来投射。
图1解说通过将虚拟对象21与用户FOV内的现实内容融合来提供混合现实体验的***10。图1示出多个用户18a、18b、18c，每个用户佩戴一头戴式显示设备2，用于从自己的角度查看诸如虚拟对象21这样的虚拟对象。在进一步的示例中可以有多于或少于三个用户。如图2和3可见，头戴式显示设备2可以包括集成处理单元4。在其他实施例中，处理单元4可以与头戴式显示设备2分开，并且可以经由有线或无线通信与头戴式显示设备2通信。
头戴式显示设备2在一实施例中是眼镜形状，该头戴式显示设备2被佩戴于用户头部上，以使用户可以透过显示器查看从而具有用户前方空间的实际直接视图。术语“实际直接视图”的使用是指用人眼直接看到现实世界对象的能力，而不是看见对象的所创建的图像表示。例如，透过玻璃看房间允许用户具有该房间的实际直接视图，而在电视机上观看房间的视频不是该房间的实际直接视图。以下提供了头戴式显示设备2的更多细节。
处理单元4可包括用于操作头戴式显示设备2的许多计算能力。在各实施例中，处理单元4无线地(例如，WiFi、蓝牙、红外或其他无线通信手段)通信至一个或多个中枢计算***12。如以下说明，中枢计算***12可设置于处理单元4远程，以使中枢计算***12和处理单元4经由诸如LA或WAN的无线网络通信。在进一步的实施例中，可省略中枢计算***12以便使用头戴式显示设备2和处理单元4提供移动混合现实体验。
头戴式显示设备2，或自身或与中枢计算***12结合，可以提供混合现实体验，其中一个或多个虚拟图像(诸如图1中的虚拟对象21)可以与一场景中的现实世界对象混合。图1解说在现实世界对象出现在用户的FOV中时的植物23或用户的手23的示例。
图2和3示出头戴式显示设备2的透视图和侧视图。图3示出头戴式显示设备2的右侧，包括具有镜腿102和鼻中104的设备的一部分。麦克风110构建于鼻中104中，麦克风110用于记录声音并将该音频数据发送至处理单元4，如下所述。头戴式显示设备2前方是面向房间的摄像机112，摄像机112可以捕捉视频和静止图像。那些图像被发送至处理单元4，如下所述。
头戴式显示设备2的框架的一部分将围绕显示器(包括一个或多个透镜)。为了显示头戴式显示设备2的组件，围绕显示器的框架的一部分未示出。显示器包括导光光学元件115、不透明滤光器114、透光透镜116和透光透镜118。在一实施例中，不透明滤光器114在透光透镜116后方并且与其对齐，导光光学元件115在不透明滤光器114后方并且与其对齐，透光透镜118在导光光学元件115后方并且与其对齐。透光透镜116和118是眼镜中使用的标准透镜，并且可以对于任何处方(包括无处方)而作出。导光光学元件115将人工光导向至眼睛。不透明滤光器114和导光光学元件115的更多细节在2012年5月24日公开的美国公开专利申请No.2012/0127284中提供，该专利申请题为“Head-MountedDisplayDeviceWhichProvidesSurroundVideo(提供环绕视频的头戴式显示设备)”。
控制电路136提供支持头戴式显示设备2的其他组件的各种电子设备。以下参照图4提供了控制电路136的更多细节。耳机130、惯性测量单元132和温度传感器138在镜腿102内或安装至镜腿102。在图4所示的一实施例中，惯性测量单元132(即IMU132)包括诸如三轴磁力计132A、三轴陀螺仪132B和三轴加速度计132C这样的惯性传感器。惯性测量单元132传感头戴式显示设备2的位置、方向和突然加速(俯仰、滚转和偏航)。作为磁力计132A、陀螺仪132B和加速度计132C的附加或替代，IMU132可以包括其他惯性传感器。
微型显示器120通过透镜122投射图像。有不同的图像生成技术可用于实现微型显示器120。例如，微型显示器120可以用透射投射技术实现，其中光源用光学活性材料调制、白光为背光。这些技术通常用具有强大背光和高光能密度的LCD型显示器来实现。微型显示器120也可以用反射技术来实现，对该反射技术，外部光由光学活性材料反射和调制。取决于技术，照明或由白光源或由RGB光源正向照明。数字光处理(DLP)、硅上液晶(LCOS)以及来自高通公司的显示技术全都是反射技术的示例，由于大多数能量自已调制结构被反射出并且可用于当前***中，因此这些反射技术是有效的。此外，微型显示器120可以用放射性技术来实现，其中光由显示器生成。例如，来自微视公司(Microvision,Inc.)的PicoPTM显示引擎将激光信号以微镜转向或者发射到用作透射元件的小屏幕上，或者被直接定向发射到眼睛(例如，激光)。
导光光学元件115将光从微型显示器120发送到佩戴头戴式显示设备2的用户的眼睛140。导光光学元件115也允许光从头戴式显示设备2的前方透过导光光学元件115被发送到眼睛140，如箭头142所示，从而允许用户除了从微型显示器120接收虚拟图像以外，还具有头戴式显示设备2前方空间的实际直接视图。由此，导光光学元件115的壁是透光的。导光光学元件115包括第一反射表面124(例如，镜面或其他表面)。来自微型显示器120的光通过透镜122并且入射至反射表面124。反射表面124反射来自微型显示器120的入射光，以使光通过内部反射在包括导光光学元件115的平面基板内部被捕集。在基板表面的几次反射之后，被捕集的光波到达选择性反射表面126的阵列。注意到，五个表面之一被标记126以防止图的过度密集。反射表面126将入射于那些反射表面上的光波从基板耦合至用户的眼睛140。导光光学元件的更多细节可以在2008年11月20日公开的美国专利申请公开No.2008/0285140中找到，该专利申请题为“Substrate-GuidedOpticalDevices(基板引导的光学设备)”。
按照本技术的各方面，头戴式显示设备2还可以包括用于定位和跟踪用户双眼位置的***。该***包括眼部定位和跟踪组件134(图3)，该组件具有眼部跟踪照明器件134A和眼部跟踪传感器134B(图4)。在一实施例中，眼部跟踪照明设备134A包括朝眼睛发射IR光的一个或多个红外(IR)发射机。在一实施例中，眼部跟踪传感器134B包括传感所反射的IR光的一个或多个相机。或者，眼部跟踪传感器134B可以是RGB或深度传感器。在各实施例中可以有多个传感器134B。
用户双眼的位置、以及双眼内的瞳孔可以通过检测角膜反射的已知成像技术来标识。例如，参见2008年7月22日授权的题为“HeadMountedEyeTrackingandDisplaySystem(头戴式眼部跟踪和显示***)”的美国专利No.7,401,920。这一技术可以定位眼部中心相对于跟踪传感器134B的位置。在各实施例中，对于左眼和右眼的每一个可以有一个单独的眼部定位和跟踪组件134，以便可以确定用户的IPD。在进一步的实施例中，可以有标识左眼或右眼的任一者的中心的单个眼部定位和跟踪组件134。
在一实施例中，***将使用矩形布局的四个IRLED和四个IR光电检测器，以使在头戴式显示设备2的透镜的每个角落处有一个IRLED和IR光电检测器。来自LED的光从双眼反射。四个IR光电检测器的每一个处检测到的红外光的量确定了眼睛相对于传感器134B的位置、以及瞳孔方向。特别是，眼睛中白相对于黑的量将确定对于该特定光电检测器从眼睛反射的光的量。由此，光电检测器将具有眼睛中白或黑的量的度量。***可以从四个样本确定眼睛的方向。
另一种替代方式是如以上讨论地使用四个红外LED，但一个红外CCD位于头戴式显示设备2的透镜一侧上。CCD将使用小镜子和/或透镜(鱼眼)以使CCD可以对来自眼镜框架的可视眼睛的多达75％进行成像。然后，CCD将传感图像并且使用计算机视觉来查找该图像，如同以上讨论的。由此，尽管图3示出具有一个IR发射机的一个组件，但图3的结构可以被调节为具有四个IR发射机和/或四个IR传感器。也可以使用多于或少于四个IR发射机和/或四个IR传感器。
用于跟踪双眼方向的另一实施例基于电荷跟踪。该概念是基于对视网膜携带可测量正电荷而角膜具有负电荷的观察。用户耳朵(靠近耳机130)安装有传感器以便在双眼四处移动并有效地实时读出双眼正在做什么的同时，检测电势。这既提供了用户双眼相对于头戴式显示设备的位置，也提供了用户瞳孔的位置。也可以使用用于确定用户双眼相对于头戴式显示设备的位置的其他实施例。
通过使用上述实施例的任一个，眼部定位和跟踪***134能够确定左眼和右眼相对于眼部定位和跟踪***134的位置的位置。通过使用***134相对于光学元件115的已知位置和几何形状，光学元件115相对于左眼和右眼的位置也已知。该位置包括双眼和光学元件沿x轴(例如，水平定位)的相对位置。该位置包括双眼和光学元件沿y轴(例如，垂直定位)的相对位置。且该位置包括双眼和光学元件沿z轴(例如，双眼和光学元件之间的距离)的相对位置。
除了位置以外，确定光学元件115相对于左眼和右眼的角度方向(俯仰、偏航和滚转)也是有利的。为此，眼部定位和跟踪组件134也确定每只眼睛的中心、以及自眼睛中心笔直向外的眼部矢量。
眼睛中心可以以多种方式来确定。在传感器134B捕捉眼睛的图像(或者为彩色图像和/或为深度图像)时，可以分析该图像以确定眼睛中心。例如，图像传感器可以检查角膜表面，并且从角膜表面确定长轴和角膜中心。在进一步实施例中，图像传感器可以检查双眼的其他特征，包括瞳孔、巩膜(眼睛的白色部分)和/或眼睫毛。可以进一步成像和使用面部的其他特征，诸如眉毛、鼻子、鼻梁，来确定左眼和右眼的中心。
包括IR发射机/接收机的示例也可以确定眼睛中心以及从中心笔直向外的眼部矢量。例如，在有多个IR发射机/接收机时，诸如四个，这些组件的每一个可以测量他们检测的眼睛中的巩膜的量。可以确定和比较这四个独立值。当每个值测量到眼睛中相同量的巩膜时，该眼睛居中(笔直向前看)，眼部矢量可以是从瞳孔垂直地笔直向外。该位置可以或者在每个IR发射机/接收机测量到眼睛中相同量的巩膜时找到，或者它可以从四个发射机/接收机对测量到眼睛中不同巩膜值的测量推算。
如上所述，每只眼睛具有其自身的定位和跟踪组件134，并且可以为每只眼睛确定一个单独的眼部矢量。或者，可以假定双眼是对称的并且一起移动，可以为双眼确定和使用单个眼部矢量。
图3示出头戴式显示设备2的一半。完整的头戴式显示设备会包括另一组透光透镜、另一不透明滤光器、另一导光光学元件、另一微型显示器120、另一透镜122、面向房间的相机112、眼部定位和跟踪组件134、微型显示器、耳机以及温度传感器。
图4是描述头戴式显示设备2的各种组件的框图。图5是描述处理单元4的各种组件的框图。头戴式显示设备2的组件在图4中示出，头戴式显示设备2用于通过将一个或多个虚拟图像与用户对现实世界的视图无缝融合来向用户提供混合现实体验。此外，图4的头戴式显示设备组件包括跟踪各种条件的许多传感器。头戴式显示设备2将从处理单元4接收关于虚拟图像的指令，并且将把传感器信息提供回处理单元4。处理单元4的组件在图4中示出，处理单元4将从头戴式显示设备2接收传感信息。
通过使用该信息以及可能来自中枢计算***12的信息，处理单元4可以确定何处以及何时向用户提供虚拟图像并且相应地向图4的头戴式显示设备发送指令。如以下说明的，通过使用来自眼部定位和跟踪组件134的信息，处理单元4可另外确定头戴式显示设备2相对于用户双眼的位置，并且特别是光学元件115与左眼和右眼的任何失准。该信息可用于向用户提供关于如何调节头戴式显示设备2以便提供光学元件115与用户双眼的居中、最优对准的精确反馈。
图4的组件中的一些组件(例如，面向房间的相机112、眼部跟踪传感器134B、微型显示器120、不透明滤光器114、眼部跟踪照明134A、耳机130和温度传感器138)以阴影示出以表示那些设备的每一种有两个，一个用于头戴式显示设备2左侧，一个用于头戴式显示设备2右侧。图4示出与功率管理电路202通信的控制电路200。控制电路200包括处理器210、与存储器214(例如，D-RAM)通信的存储器控制器212、相机接口216、相机缓冲器218、显示器驱动器220、显示器格式化器222、定时生成器226、显示器输出接口228以及显示器输入接口230。
在一实施例中，控制电路200的全部组件都经由专用线路或者一条或多条总线彼此通信。在另一实施例中，控制电路200的每一个组件与处理器210通信。相机接口216向两个面向房间的相机112提供接口并且将从面向房间的相机接收到的图像存储在相机缓冲器218内。显示器驱动器220将驱动微型显示器120。显示器格式化器222向不透明度控制电路224提供关于微型显示器120上显示的虚拟图像的信息，所述不透明度控制电路224控制不透明滤光器114。定时生成器226用于为***提供定时数据。显示器输出接口228是用于将来自面向房间的相机112的图像提供至处理单元4的缓冲器。显示器输入接口230是用于接收诸如要被显示在微型显示器120上的虚拟图像这样的图像的缓冲器。显示器输出接口228和显示器输入接口230与频带接口232通信，频带接口232是到处理单元4的接口。
功率管理电路202包括电压调节器234、眼部跟踪照明驱动器236、音频DAC和放大器238、麦克风前置放大器和音频ADC240、温度传感器接口242以及时钟生成器244。电压调节器234经由频带接口232从处理单元4接收功率，并将该功率提供给头戴式显示设备2的其他组件。眼部跟踪照明驱动器236为眼部跟踪照明134A提供IR光源，如上所述。音频DAC和放大器238向耳机130输出音频信息。麦克风前置放大器和音频ADC240为麦克风110提供接口。温度传感器接口242是用于温度传感器138的接口。功率管理电路202还提供功率并从三个轴磁力计132A、三个轴陀螺仪132B和三个轴加速度计132C接收回数据。
图5是描述处理单元4的各种组件的框图。图5示出与功率管理电路306通信的控制电路304。控制电路304包括中央处理单元(CPU)320、图形处理单元(GPU)322、高速缓存324、RAM326、与存储器330(例如，D-RAM)通信的存储器控制器328、与闪存334(或其他类型的非易失性存储器)通信的闪存控制器332、经由频带接口302和频带接口232与头戴式显示设备2通信的显示器输出缓冲器336、经由频带接口302和频带接口232与头戴式显示设备2通信的缓冲器338中的显示器、与用于连接至麦克风的外部麦克风连接器342通信的麦克风接口340、用于连接至无线通信设备346的PCI快线接口、以及(诸)USB端口348。在一实施例中，无线通信设备346可以包括启用Wi-Fi的通信设备、蓝牙通信设备、红外通信设备、等等。USB端口可用于将处理单元4引至中枢计算***12以便将数据或软件加载到处理单元4、并且对处理单元4充电。在一实施例中，CPU320和GPU322是用于确定何处、何时以及如何将虚拟三维对象***到用户的视图中的主力。以下提供了更多细节。
功率管理电路306包括时钟生成器360、模数转换器362、电池充电器364、电压调节器366、头戴式显示电源376以及与温度传感器374(可能位于具有处理单元4的腕带上)通信的温度传感器接口372。模数转换器362用于监视电池电压、温度传感器并且控制电池充电功能。电压调节器366与用于向***供电的电池368通信。电池充电器364用于在从充电插口370接收到电力之际对电池368充电(经由电压调节器366)。HMD电源376向头戴式显示设备2提供电力。
通过使用诸如眼部定位和跟踪组件134这样的组件，处理单元4能够确定用户双眼的中心、以及确定光学元件115是否正确地居中于用户双眼上的最优位置。现在参照图6的流程图，在步骤600，处理单元4可以收集关于跟踪组件134中的眼部位置相对于用户双眼的位置的数据。接着，在步骤604，处理单元4可以确定光学元件115相对于用户双眼的位置。特别是，眼部定位和跟踪组件134和光学组件115两者以彼此已知的几何形状被固定地安装至头戴式显示设备2的框架。处理单元4能够使用该已知几何形状来将眼部定位和跟踪组件134与用户双眼之间的距离和角度方向转换成光学元件115和用户双眼之间的距离和角度方向。
在步骤608，通过使用该信息，处理单元4能够确定相应的光学元件115以及用户的左眼和右眼之间的线性和角度偏移。这些偏移可以分六个自由度被确定。如图7和8所示，处理单元4能够确定x轴对准(例如，水平地在光学元件115和用户双眼之间)、y轴对准(例如，垂直地在光学元件115和用户双眼之间)、以及z轴对准(例如，光学元件115和用户双眼之间的距离)。
类似地，处理单元4能够确定光学元件115相对于用户双眼的俯仰、偏航和滚转。例如，使用如上确定的眼部矢量，处理单元4能够确定光学元件115的俯仰，即绕x轴的旋转，以及光学元件115的偏航，即绕y轴的旋转。由于光学元件的滚转是关于来自左眼或右眼的眼部矢量，因此可以使用除眼部矢量以外的信息来确定滚转。例如，滚转可以通过检查来自左眼以及右眼两者的眼部矢量来确定。
可以理解，附加的成像设备可以作为头戴式显示设备2的一部分被提供，以便提供关于俯仰和偏航和滚转的附加信息，以便能精确确定光学元件115相对于用户双眼的定位、以及六个自由度中的特定的任何偏移。由于每只眼睛可具有其自身的专用眼部定位和跟踪组件134，因此可以分十二个自由度来确定左眼和右眼两者的光学元件115的偏移。
除了沿x、y和/或z轴的线性偏移以及绕x轴、y轴和/或z轴的旋转偏移以外，步骤608还可以包括确定要求调节相应光学元件115的IPD的双目视差中的任何偏移的步骤。特别是，一些头戴式显示设备可具有可变IPD，它可取决于用户瞳孔间距而调节。在这种情况下，如图9所示，通过使用左眼和右眼的已知中心，处理单元4可以确定在用户的IPD以及光学元件115间的中心到中心距离之间沿X轴的任何水平失准。
一旦已确定了所有偏移，在步骤610，头戴式显示设备2就可以进一步向用户提供反馈，所述反馈关于为了使头戴式显示设备2相对于用户双眼最优地居中而可作出的精确调节。在一示例中，处理单元4可以包括软件反馈例程，所述软件反馈例程用于经由头戴式显示设备2向用户提供关于处理单元4所确定的任何偏移的可视和/或可听反馈。反馈例程经由头戴式显示设备2以各种各样的方式提供反馈。例如，图10解说包括虚拟基准对准十字线650和虚拟实际对准十字线652的头戴式显示设备2的透视图。基准对准十字线650可以表示头戴式显示设备2在用户双眼上的最优对准的和居中的位置。实际对准十字线652可以表示头戴式显示设备2的实际位置以及沿垂直轴和水平轴两者的偏移程度。
用户可以手动地调节头戴式显示设备2以水平和垂直地移动它，直到实际对准十字线652与基准对准十字线650对准。此时，头戴式显示设备将正确地位于用户头部上。当用户移动头戴式显示设备2时，实际对准十字线62将移动以显示用户的进程。因此，虚拟十字线650、652提供闭环路反馈***，向用户指示头戴式显示设备2的调节。
作为对准的图形指示的替代或附加，可以向用户提供视觉指示以及如何调节头戴式显示设备2。这一示例在图11中示出，包括关于如何调节头戴式显示设备2的视觉指示654。这种指示可能具有另外或替代地包括的关于如何旋转头戴式显示设备2以将其与用户双眼正确对准的指令。当用户按指令调节头戴式显示设备2时，示出的调节的量可以改变以显示用户的进程。因此，可视指令654提供闭环路反馈***，向用户指示头戴式显示设备2的调节。图11所示的指令可另外或替代地为可听的。
如以上指示的，在一些示例中，头戴式显示设备2可具有用于容纳不同的IPD设置的可调节机制。处理单元4的反馈例程还可提供可视和/或可听的反馈，指示用户以及如何调节光学元件115间的距离以正确地提供IPD设置。例如，图11还示出用于调节头戴式显示设备2的IPD设置的指令656。
图12示出包括虚拟基准对准十字线660以及虚拟IPD调节十字线662、664的进一步替代方案。如上所述，用户可以使用头戴式显示设备2上的可调节机制来调节光学元件115间的距离，直到调节十字线662、664在基准对准十字线660上集合为止。图12所示的图形IPD调节可以与图10的水平/垂直调节组合。
在图10-12所示的每一个反馈机制中，反馈虚拟十字线或指令可以被显示在虚拟内容上，例如从在提供反馈时用户所参与的应用。在进一步的实施例中，转换至反馈模式可以暂时暂停其他虚拟对象的显示，这可以在一旦头戴式显示设备2中接收到的反馈已被调节时就恢复。
在各实施例中，用户可以在接收到闭环路反馈***中的反馈之际手动地调节头戴式显示设备2。在一进一步实施例中，头戴式显示设备2的调节可以如图6中步骤614所示自动地发生(由于它可能发生或可能不发生因此以虚线示出)。可能有两种自动调节方法。在第一模式中，调节要以软件实现。在第二模式中，可以使用机械致动器对头戴式显示设备作出物理改变。这些模式在以下进一步详述。
在例如要做出的调节是对光学元件115间的距离以调节至最优IPD时，该调节要用软件作出，而不是物理地调节光学元件115间的距离。特别是，从微型显示器120至相应的光学元件115的显示可由处理单元4调节，以使用来自处理单元4的软件命令自动地调节最优IPD。类似的软件调节可用于自动地补偿相对于x轴、y轴和z轴的线性和/或角度偏移。
或者，闭环路伺服致动器可设置于头戴式显示设备2上，用于响应于来自处理单元4的反馈而调节光学元件115。例如，在存在用于IPD调节的调节机制时，调节机制可由伺服马达驱动，该伺服马达响应于关于双目视差偏移的反馈在一预定义范围上物理地调节光学元件115之间的距离。可以构想，提供其他伺服马达以调节头戴式显示设备2，以自动地补偿相对于x轴、y轴和z轴的线性和/或角度偏移。
图13解说可用于实现中枢计算***12或此处公开的其他处理器的计算***的示例实施例。如图13所示，计算***500具有中央处理单元(CPU)501，该中央处理单元(CPU)501具有1级高速缓存502、2级高速缓存504和闪存ROM(只读存储器)506。1级高速缓存502和2级高速缓存504暂时存储数据，并因此减少存储器存取周期的数量，从而改进处理速度和吞吐量。CPU501可设有多于一个核，并且由此设有附加的1级高速缓存502和2级高速缓存504。闪存ROM506可以存储可执行代码，当计算设备500被加电时所述可执行代码在引导过程的初始阶段被加载。
图形处理单元(GPU)508和视频编码器/视频编解码器(编码器/解码器)514形成用于高速和高分辨率图形处理的视频处理流水线。数据经由总线从图形处理单元508被传送至视频编码器/视频编解码器514。视频处理流水线将数据输出至A/V(音频/视频)端口540用于传输至电视机或其他显示器。存储器控制器510被连接至GPU508以便于处理器存取各类存储器512，存储器512诸如、但不限于RAM(随机存取存储器)。
计算设备500包括优选地在模块518上实现的I/O控制器520、***管理控制器522、音频处理单元523、网络接口524、第一USB主机控制器526、第二USB控制器528以及前面板I/O子组件530。USB控制器526和528用作用于外设控制器542(1)－542(2)、无线适配器548和外部存储器设备546(例如，闪存、外部CD/DVDROM驱动器、可移动介质、等等)的主机。网络接口524和/或无线适配器548提供对网络(例如，互联网、家庭网络、等等)的存取，并且可以是大量各种有线或无线适配器组件中的任一种，包括以太网卡、调制解调器、蓝牙模块、电缆模块等。
***存储器543被设置以提供在启动过程期间被加载的应用数据。媒体驱动器544被设置并且可以包括DVD/CD驱动器、蓝光驱动器、硬盘驱动器或者其他可移动媒体驱动器、等等。媒体驱动器544可以在计算设备500内部或外部。应用数据可经由媒体驱动器544被存取以供由计算设备500进行执行、回放等。媒体驱动器544经由总线连接至I/O控制器520，总线诸如串行ATA总线或其他高速连接(例如，IEEE1394)。
***管理控制器522提供与确保计算设备500的可用性有关的各种服务功能。音频处理单元523和音频编解码器532形成具有高保真度和立体声处理的相应音频处理流水线。音频数据经由通信链路在音频处理单元523和音频编解码器532之间传送。音频处理流水线向A/V端口540输出数据用于供具有音频能力的外部音频用户或设备再现。
前面板I/O子组件530支持电源按钮550和弹出按钮552、以及暴露于计算设备500的外表面上的任何LED(发光二极管)或其他指示器的功能。***电源模块536向计算设备500的组件提供电力。风扇538冷却计算设备500内的电路***。
计算设备500内的CPU501、GPU508、存储器控制器510以及各种其他组件经由一条或多条总线互连，所述一条或多条总线包括串行和并行总线、存储器总线、外设总线以及使用各种总线体系结构的任一种的处理器或本地总线。例如，这种体系结构可以包括***组件互连(PCI)总线、PCI-快线总线、等等。
当计算设备500被加电时，应用数据可以从***存储器543被加载到存储器512和/或高速缓存502、504中并且在CPU501上被执行。应用可以呈现图形用户界面，该图形用户界面在导航至计算设备500上可用的不同媒体类型时提供一致的用户体验。在操作中，媒体驱动器544内包含的应用和/或其他媒体可以从媒体驱动器544被启动或播放以便向计算设备500提供附加功能。
计算设备500可以通过简单地将***连接至电视机或其他显示器而作为单机******作。在该单机模式中，计算设备500允许一个或多个用户与***交互、观看电影或者收听音乐。然而，随着通过网络接口524或无线适配器548可用的宽带连接性的集成，计算设备500还可被用作较大网络社区内的参与者。此外，计算设备500可以经由无线适配器548与处理单元4通信。
任选的输入设备(例如，控制器542(1)和542(2))由游戏应用和***应用共享。输入设备不是保留的资源，但是要在***应用和游戏应用之间切换以使各自聚焦该设备。应用管理器在不知道游戏应用的情况下优选地控制输入流的切换，驱动器维持关于聚焦切换的状态信息。捕获设备20可以经由USB控制器526或其他接口定义用于设备500的附加输入设备。在其他实施例中，中枢计算***12可以用其他硬件体系结构来实现。对硬件体系结构没有特别要求。
尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。相反，上述具体特征和动作是作为实现权利要求的示例形式公开的。本发明的范围意图由所附权利要求书所限定。

Claims (10)

1.一种头戴式显示设备，包括：
包括光学元件的显示单元；
定位和跟踪组件，用于传感所述定位和跟踪组件相对于佩戴者双眼的位置和角度方向；
与所述显示单元以及定位和跟踪组件耦合的处理器，用于确定所述光学元件相对于双眼的位置和角度方向；以及
由所述处理器执行的反馈例程，用于基于来自所述处理器的失准的确定向所述佩戴者提供反馈以便调节所述头戴式显示设备的位置和方向中的至少一者。
2.如权利要求1所述的头戴式显示器，其特征在于，所述定位和跟踪组件传感所述定位和跟踪组件与所述佩戴者双眼沿水平轴的失准。
3.如权利要求2所述的头戴式显示器，其特征在于，所述定位和跟踪组件传感所述定位和跟踪组件相对于所述佩戴者双眼的瞳孔间距的失准。
4.如权利要求1所述的头戴式显示器，其特征在于，所述定位和跟踪组件传感所述定位和跟踪组件与所述佩戴者双眼沿垂直轴的失准。
5.如权利要求1所述的头戴式显示器，其特征在于，所述定位和跟踪组件传感所述定位和跟踪组件相对于所述头戴式显示设备关于佩戴者双眼的俯仰、偏航和滚转中的至少一者的失准。
6.如权利要求1所述的头戴式显示器，其特征在于，所述定位和跟踪组件包括指向所述佩戴者眼睛的一个或多个发射机以及用于从所述佩戴者的该眼睛接收传输的一个或多个接收机。
7.一种用于在一空间中提供混合现实体验的头戴式显示设备，所述空间具有x轴、垂直于x轴的y轴、以及垂直于x轴和y轴的z轴，所述头戴式显示器包括：
包括光学元件的显示单元，用于向佩戴者双眼显示虚拟图像；
定位和跟踪组件，用于传感关于所述定位和跟踪组件到双眼的x轴、y轴和z轴的位置、以及关于绕所述定位和跟踪组件到双眼的x轴、y轴和z轴的旋转的角度；
与所述显示单元以及定位和跟踪组件耦合的处理器，用于确定所述光学元件相对于双眼的位置和角度方向；以及
由所述处理器实现的反馈例程，用于基于来自所述处理器的确定向所述用户提供反馈以便调节所述头戴式显示器的位置和方向中的至少一者。
8.如权利要求7所述的头戴式显示器，其特征在于，所述反馈例程生成以显示单元所显示的虚拟图像为形式的反馈。
9.如权利要求7所述的头戴式显示器，其特征在于，所述光学元件被安装于所述头戴式显示设备中用于相对于所述头戴式显示设备或彼此的自动调节。
10.一种用于指示头戴式显示设备的一个或多个光学元件与佩戴者双眼的失准的方法，所述方法包括：
(a)确定所述光学元件到所述佩戴者双眼的失准，所述失准由处理设备以及眼部定位和跟踪组件所确定；以及
(b)生成向佩戴者提供关于如何调节所述光学元件中的一个或多个的信息的反馈，所述反馈被显示为向所述光学元件显示的一个或多个虚拟图像。
CN201480036134.7A 2013-06-24 2014-06-18 用于hmd的最优眼部拟合的*** Pending CN105452936A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/925,643 2013-06-24
US13/925,643 US20140375540A1 (en) 2013-06-24 2013-06-24 System for optimal eye fit of headset display device
PCT/US2014/042867 WO2014209706A1 (en) 2013-06-24 2014-06-18 System for optimal eye fit of hmd

Publications (1)

Publication Number Publication Date
CN105452936A true CN105452936A (zh) 2016-03-30

Family

ID=51168442

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480036134.7A Pending CN105452936A (zh) 2013-06-24 2014-06-18 用于hmd的最优眼部拟合的***

Country Status (5)

Country Link
US (1) US20140375540A1 (zh)
EP (1) EP3014337A1 (zh)
KR (1) KR20160022924A (zh)
CN (1) CN105452936A (zh)
WO (1) WO2014209706A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105843397A (zh) * 2016-04-12 2016-08-10 公安部上海消防研究所 基于瞳孔追踪技术的虚拟现实互动***
WO2017201960A1 (zh) * 2016-05-25 2017-11-30 中兴通讯股份有限公司 调节方法、装置及虚拟现实眼镜
CN108965698A (zh) * 2018-07-01 2018-12-07 高波 一种用于眼动仪的信息采集方法以及眼动仪
CN110361865A (zh) * 2018-04-10 2019-10-22 幻视互动（北京）科技有限公司 一种可加速数字光瞳信号传输的视网膜光场显示mr混合现实眼镜
CN111751989A (zh) * 2019-03-28 2020-10-09 华为技术有限公司 一种头戴式显示设备及显示方法
CN112989904A (zh) * 2020-09-30 2021-06-18 北京字节跳动网络技术有限公司 风格图像生成方法、模型训练方法、装置、设备和介质
CN113267893A (zh) * 2020-02-17 2021-08-17 深圳岱仕科技有限公司 头戴式显示器及其调整方法
WO2021232947A1 (zh) * 2020-05-22 2021-11-25 Oppo广东移动通信有限公司 光学显示组件和智能穿戴设备

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015015563A (ja) * 2013-07-04 2015-01-22 セイコーエプソン株式会社 画像表示装置
US10345903B2 (en) * 2013-07-30 2019-07-09 Microsoft Technology Licensing, Llc Feedback for optic positioning in display devices
US20160247282A1 (en) * 2015-02-19 2016-08-25 Daqri, Llc Active surface projection correction
US10271042B2 (en) 2015-05-29 2019-04-23 Seeing Machines Limited Calibration of a head mounted eye tracking system
CN106303498B (zh) 2015-05-30 2018-10-16 北京智谷睿拓技术服务有限公司 视频显示控制方法和装置、显示设备
CN106303315B (zh) * 2015-05-30 2019-08-16 北京智谷睿拓技术服务有限公司 视频显示控制方法和装置、显示设备
CN106303499B (zh) 2015-05-30 2018-10-16 北京智谷睿拓技术服务有限公司 视频显示控制方法和装置、显示设备
US10630965B2 (en) 2015-10-02 2020-04-21 Microsoft Technology Licensing, Llc Calibrating a near-eye display
US20180359463A1 (en) * 2015-12-28 2018-12-13 Sony Corporation Information processing device, information processing method, and program
KR102417177B1 (ko) 2016-02-18 2022-07-05 애플 인크. 인사이드-아웃 위치, 사용자 신체 및 환경 추적을 갖는 가상 및 혼합 현실을 위한 머리 장착 디스플레이
IL245334B (en) * 2016-04-21 2018-10-31 Elbit Systems Ltd Validation of head display reliability
KR102523377B1 (ko) * 2016-07-15 2023-04-20 삼성디스플레이 주식회사 유기 발광 표시 장치 및 이를 포함하는 두부 장착 표시 시스템
US10169919B2 (en) * 2016-09-09 2019-01-01 Oath Inc. Headset visual displacement for motion correction
US10425636B2 (en) 2016-10-03 2019-09-24 Microsoft Technology Licensing, Llc Automatic detection and correction of binocular misalignment in a display device
US10573042B2 (en) 2016-10-05 2020-02-25 Magic Leap, Inc. Periocular test for mixed reality calibration
KR101894790B1 (ko) * 2016-12-21 2018-09-04 에스케이텔레콤 주식회사 전방 상향 시현용 광학시스템
US10610775B1 (en) * 2017-01-04 2020-04-07 Facebook Technologies, Llc Actuation for a focus adjusting head mounted display
EP3641624B1 (en) 2017-02-27 2022-06-01 Tobii AB Determining eye openness with an eye tracking device
WO2018190826A1 (en) 2017-04-12 2018-10-18 Hewlett-Packard Development Company, L.P. Transfer to head mounted display
US10338766B2 (en) * 2017-09-06 2019-07-02 Realwear, Incorporated Audible and visual operational modes for a head-mounted display device
US11164380B2 (en) * 2017-12-05 2021-11-02 Samsung Electronics Co., Ltd. System and method for transition boundaries and distance responsive interfaces in augmented and virtual reality
KR20200108857A (ko) * 2018-01-17 2020-09-21 매직 립, 인코포레이티드 디스플레이와 사용자의 눈들 사이의 정합을 결정하기 위한 디스플레이 시스템들 및 방법들
CA3087333A1 (en) 2018-01-17 2019-07-25 Magic Leap, Inc. Eye center of rotation determination, depth plane selection, and render camera positioning in display systems
US10674141B1 (en) * 2018-01-23 2020-06-02 Facebook Technologies, Llc Apparatuses, systems, and methods for determining interpupillary distances of head-mounted displays
US10591737B2 (en) * 2018-04-20 2020-03-17 Dell Products L.P. Systems and methods for automatic adjustment of head mounted display straps
JP7382387B2 (ja) * 2018-07-24 2023-11-16 マジック リープ， インコーポレイテッド ディスプレイとユーザの眼との間の位置合わせを決定するためのディスプレイシステムおよび方法
WO2020023672A1 (en) * 2018-07-24 2020-01-30 Magic Leap, Inc. Display systems and methods for determining vertical alignment between left and right displays and a user's eyes
JP7443332B2 (ja) 2018-08-03 2024-03-05 マジック リープ， インコーポレイテッド ユーザカテゴリ化による多深度平面ディスプレイシステムのための深度平面選択
US11551376B2 (en) 2018-10-29 2023-01-10 Tobii Ab Determination of position of a head-mounted device on a user
KR102184972B1 (ko) 2019-02-01 2020-12-01 주식회사 룩시드랩스 동공 중심간 거리를 측정하는 장치 및 방법
EP3982189B1 (en) * 2019-06-18 2024-06-26 Sony Group Corporation Image display device and display device
JP2022540675A (ja) 2019-07-16 2022-09-16 マジック リープ， インコーポレイテッド １つ以上の眼追跡カメラを用いた眼回転中心の決定
KR20220128726A (ko) 2021-03-15 2022-09-22 삼성전자주식회사 머리 착용형 디스플레이 장치, 그 장치에서의 동작 방법 및 저장매체
US11543667B2 (en) * 2021-05-26 2023-01-03 Hewlett-Packard Development Company, L.P. Head-mounted display generated status message
WO2023157332A1 (ja) * 2022-02-18 2023-08-24 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および調整画面表示方法
WO2024034895A1 (ko) * 2022-08-11 2024-02-15 삼성전자 주식회사 디스플레이 패널의 구동 시점을 조정하는 방법 및 전자 장치
US20240069630A1 (en) * 2022-08-24 2024-02-29 Meta Platform Technologies, LLC Headset Adjustment

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5739797A (en) * 1994-06-23 1998-04-14 Seiko Epson Corporation Head-mounted virtual image display device having switching means enabling user to select eye to view image
US20060250322A1 (en) * 2005-05-09 2006-11-09 Optics 1, Inc. Dynamic vergence and focus control for head-mounted displays
US20120127284A1 (en) * 2010-11-18 2012-05-24 Avi Bar-Zeev Head-mounted display device which provides surround video
US20130128364A1 (en) * 2011-11-22 2013-05-23 Google Inc. Method of Using Eye-Tracking to Center Image Content in a Display

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5347400A (en) * 1993-05-06 1994-09-13 Ken Hunter Optical system for virtual reality helmet
US6359601B1 (en) * 1993-09-14 2002-03-19 Francis J. Maguire, Jr. Method and apparatus for eye tracking
US6396461B1 (en) * 1998-08-05 2002-05-28 Microvision, Inc. Personal display with vision tracking
US6771423B2 (en) * 2001-05-07 2004-08-03 Richard Geist Head-mounted virtual display apparatus with a near-eye light deflecting element in the peripheral field of view
US7063256B2 (en) * 2003-03-04 2006-06-20 United Parcel Service Of America Item tracking and processing systems and methods
US7306337B2 (en) * 2003-03-06 2007-12-11 Rensselaer Polytechnic Institute Calibration-free gaze tracking under natural head movement
US7401920B1 (en) 2003-05-20 2008-07-22 Elbit Systems Ltd. Head mounted eye tracking and display system
IL157837A (en) 2003-09-10 2012-12-31 Yaakov Amitai Substrate-guided optical device particularly for three-dimensional displays
JP4652947B2 (ja) * 2005-10-21 2011-03-16 キヤノン株式会社 画像表示プログラム、画像表示装置および画像表示方法
US7651220B1 (en) * 2005-11-07 2010-01-26 Ram Pattikonda Selective system for blocking glare in a specific location of a user's field of vision
US7542210B2 (en) * 2006-06-29 2009-06-02 Chirieleison Sr Anthony Eye tracking head mounted display
US8145277B2 (en) * 2007-09-28 2012-03-27 Embarq Holdings Company Llc System and method for a wireless ringer function
US20090110245A1 (en) * 2007-10-30 2009-04-30 Karl Ola Thorn System and method for rendering and selecting a discrete portion of a digital image for manipulation
WO2011018655A2 (en) * 2009-08-13 2011-02-17 Bae Systems Plc Head up display system
JP5499854B2 (ja) * 2010-04-08 2014-05-21 ソニー株式会社 頭部装着型ディスプレイにおける光学的位置調整方法
US8531355B2 (en) * 2010-07-23 2013-09-10 Gregory A. Maltz Unitized, vision-controlled, wireless eyeglass transceiver
US8629815B2 (en) * 2011-08-09 2014-01-14 Google Inc. Laser alignment of binocular head mounted display
US9219901B2 (en) * 2012-06-19 2015-12-22 Qualcomm Incorporated Reactive user interface for head-mounted display

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5739797A (en) * 1994-06-23 1998-04-14 Seiko Epson Corporation Head-mounted virtual image display device having switching means enabling user to select eye to view image
US20060250322A1 (en) * 2005-05-09 2006-11-09 Optics 1, Inc. Dynamic vergence and focus control for head-mounted displays
US20120127284A1 (en) * 2010-11-18 2012-05-24 Avi Bar-Zeev Head-mounted display device which provides surround video
CN102540464A (zh) * 2010-11-18 2012-07-04 微软公司 提供环绕视频的头戴式显示设备
US20130128364A1 (en) * 2011-11-22 2013-05-23 Google Inc. Method of Using Eye-Tracking to Center Image Content in a Display

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
A.L. JANIN: "Calibration of head-mounted displays for augmented reality applications", 《VIRTUAL REALITY ANNUAL INTERNATIONAL SYMPOSIUM》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105843397A (zh) * 2016-04-12 2016-08-10 公安部上海消防研究所 基于瞳孔追踪技术的虚拟现实互动***
WO2017201960A1 (zh) * 2016-05-25 2017-11-30 中兴通讯股份有限公司 调节方法、装置及虚拟现实眼镜
CN107436490A (zh) * 2016-05-25 2017-12-05 中兴通讯股份有限公司 调节方法、装置及虚拟现实眼镜
CN107436490B (zh) * 2016-05-25 2020-11-20 中兴通讯股份有限公司 调节方法、装置及虚拟现实眼镜
CN110361865A (zh) * 2018-04-10 2019-10-22 幻视互动（北京）科技有限公司 一种可加速数字光瞳信号传输的视网膜光场显示mr混合现实眼镜
CN108965698A (zh) * 2018-07-01 2018-12-07 高波 一种用于眼动仪的信息采集方法以及眼动仪
CN111751989A (zh) * 2019-03-28 2020-10-09 华为技术有限公司 一种头戴式显示设备及显示方法
CN111751989B (zh) * 2019-03-28 2021-05-18 华为技术有限公司 一种头戴式显示设备及显示方法
CN113267893A (zh) * 2020-02-17 2021-08-17 深圳岱仕科技有限公司 头戴式显示器及其调整方法
WO2021232947A1 (zh) * 2020-05-22 2021-11-25 Oppo广东移动通信有限公司 光学显示组件和智能穿戴设备
CN112989904A (zh) * 2020-09-30 2021-06-18 北京字节跳动网络技术有限公司 风格图像生成方法、模型训练方法、装置、设备和介质
CN112989904B (zh) * 2020-09-30 2022-03-25 北京字节跳动网络技术有限公司 风格图像生成方法、模型训练方法、装置、设备和介质

Also Published As

Publication number Publication date
US20140375540A1 (en) 2014-12-25
WO2014209706A1 (en) 2014-12-31
KR20160022924A (ko) 2016-03-02
EP3014337A1 (en) 2016-05-04

Similar Documents

Publication Publication Date Title
CN105452936A (zh) 用于hmd的最优眼部拟合的***
CN105359076B (zh) 多步骤虚拟对象选择方法和装置
CN102591016B (zh) 用于扩展现实显示的优化聚焦区
EP3228072B1 (en) Virtual focus feedback
US10955665B2 (en) Concurrent optimal viewing of virtual objects
CN102566049B (zh) 用于扩展现实显示的自动可变虚拟焦点
CN103091843B (zh) 透视显示器亮度控制
JP6391685B2 (ja) 仮想オブジェクトの方向付け及び可視化
EP3714318B1 (en) Position tracking system for head-mounted displays that includes sensor integrated circuits
CN103620527A (zh) 使用动作和语音命令来控制信息显示和远程设备的头戴式计算机
CN105393160A (zh) 基于眼睛注视的相机自动聚焦
CN105264478A (zh) 全息锚定和动态定位
CN104995583A (zh) 用于混合现实环境的直接交互***
KR20170065631A (ko) 시스루 디스플레이 광학 구조
CN102419631A (zh) 虚拟内容到现实内容中的融合
TW202315265A (zh) 用於保護電池之系統和方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160330