CN107209565B - 用于显示固定大小的增强现实对象的方法和*** - Google Patents

用于显示固定大小的增强现实对象的方法和*** Download PDF

Info

Publication number
CN107209565B
CN107209565B CN201680006372.2A CN201680006372A CN107209565B CN 107209565 B CN107209565 B CN 107209565B CN 201680006372 A CN201680006372 A CN 201680006372A CN 107209565 B CN107209565 B CN 107209565B
Authority
CN
China
Prior art keywords
augmented reality
eye
reality object
real world
eye display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680006372.2A
Other languages
English (en)
Other versions
CN107209565A (zh
Inventor
S·雷姆斯比
D·奥斯本
S·赖特
A·加夫里留克
F·W·古安
M·桑德斯
J·拉普佐克
S·拉塔
A·G·鲍罗斯
D·麦克洛克
W·张
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US14/717,771 external-priority patent/US9934614B2/en
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN107209565A publication Critical patent/CN107209565A/zh
Application granted granted Critical
Publication of CN107209565B publication Critical patent/CN107209565B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/275Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0132Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2016Rotation, translation, scaling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Architecture (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种示例可穿戴显示***包括:控制器;左显示器,该左显示器用于以左眼显示大小将左眼增强现实图像显示在左眼显示坐标处;以及右眼显示器,该右眼显示器用于以右眼显示大小将右眼增强现实图像显示在右眼显示坐标处,该左眼和右眼增强现实图像共同形成可由该显示***的穿戴者在表观现实世界深度处感知到的增强现实对象。该控制器将该左眼显示坐标相对于该右眼显示坐标的关系设置为增强现实对象的表观现实世界深度的函数。该函数在该增强现实对象的表观现实世界深度的非缩放范围内维持该左眼和右眼显示大小的一方面,并且该函数在非缩放范围之外随着改变表观现实世界深度而缩放左眼和右眼显示大小。

Description

用于显示固定大小的增强现实对象的方法和***
背景
立体显示器可同时向查看者的左眼和右眼呈现图像。通过将同一对象的不同视图呈现在右眼和左眼视野中的不同位置处,对该对象的三维感知可被实现。
概述
提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征,也不旨在用于限制所要求保护主题的范围。此外,所要求保护的主题不限于解决在本公开的任一部分中所提及的任何或所有缺点的实现。
一种示例可穿戴、头戴式显示***包括:左近眼、透视显示器,所述左近眼、透视显示器被配置成以左眼显示大小将左眼增强现实图像显示在左眼显示坐标处;右近眼、透视显示器,所述右近眼、透视显示器被配置成以右眼显示大小将右眼增强现实图像显示在右眼显示坐标处,所述左眼增强现实图像和右眼增强现实图像共同形成可由头戴式显示***的穿戴者在表观现实世界深度处感知到的增强现实对象;以及,控制器。控制器将左眼显示坐标相对于右眼显示坐标的关系设置为增强现实对象的表观现实世界深度的函数。在增强现实对象的表观现实世界深度的整个非缩放范围内,该函数维持左眼显示大小和右眼显示大小的一方面,而在表观现实世界深度的非缩放范围外,该函数通过改变增强现实对象的表观现实世界深度来缩放左眼显示大小和右眼显示大小。
附图简述
图1示出包括佩戴近眼、透视显示设备的用户的示例环境。
图2示意性地示出示例立体、近眼、透视显示设备。
图3是示意性地解说根据第一缩放函数缩放的增强现实对象的示例表观现实世界大小和深度的图示。
图4是示意性地解说根据第二缩放函数缩放的增强现实对象的示例表观现实世界大小和深度的图示。
图5是解说用于显示增强现实对象的方法的流程图。
图6A-6E是解说示例缩放函数的图示。
图7示意性地示出增强现实对象的第一示例视图。
图8示意性地示出增强现实对象的第二示例视图。
图9示意性地示出增强现实对象的第三示例视图。
图10示意性地示出增强现实对象的第四示例视图。
图11示出示例计算***。
图12示出了示例头戴式显示设备。
详细描述
近眼透视显示设备可被配置成显示增强现实图像以提供增强现实对象(有时被称为全息图)存在于该近眼显示器设备周围的现实世界环境中的假象。为了模仿显示设备的穿戴者如何感知现实对象,当所显示的增强现实对象的感知深度改变时,该增强现实对象可在大小方面缩放。然而,为了保留增强现实对象的可见性,期望甚至在增强现实对象的深度改变时,也维持增强现实对象大小的一个或多个方面。这样的大小保留可减少对象的现实性,因为该对象不会完全如同现实对象将缩放的那样来缩放。然而,这样的大小保留可使得更容易看见对象,如果如同现实对象将缩放的那样来缩放则该对象将太小或太大,和/或可提供读取显示在对象上的内容或以其他方式与其交互的增加的能力。
根据本文中公开的各实施例,增强现实内容(诸如用户界面元素、全息图标等) 可根据定义如何相对于增强现实内容的感知深度来缩放增强现实内容大小的各相应的缩放函数被显示在近眼、透视显示设备上。在一些示例中,不同类型的增强现实内容可根据不同的缩放函数来设定大小。例如,用户界面控制元素(诸如光标) 在某一深度范围内以相同的感知大小被维持,而作为沉浸式游戏环境的一部分来显示的全息图可通过改变深度来线性地缩放。通过这种方式,用户界面控制元素可被维持为处于显示设备的用户可见的大小,即使该用户界面控制元素被显示在相对较远的表观深度处。
如以上所解释的,这样的缩放函数也可增加用户可视化显示在增强现实对象上的内容的能力。例如,来自用户的浮在横在房间中的桌子上的全息报纸可能本身是可见的,但该报纸上的头条新闻可仅在如上所述的缩放技术被采用的情况下才可见。
作为另一示例,用户可能对于注意到在横在房间中的全息电视机上播放的(模拟)立体3D电影的3D效果有困难。通过本文中描述的缩放,电视机在用户的视野中可变得足够大使得他或她能够看见并欣赏电影的立体3D效果。
作为又一示例,当用户走的相对接近正在显示(模拟)立体3D电影的固定大小的全息电视机对象时,本文中所描述的缩放可允许该电视机禁用立体3D效果,并替换为2D视频以防止视疲劳并最大化查看者舒适度。替换地,当用户在接近时为了防止电视机阻挡用户的大部分视野,全息对象可简单地在视频内容中淡出。图 1示出其中用户102佩戴近眼、透视显示设备(在本文中被实现为头戴式显示器 (HMD)104)的示例环境100。HMD向用户102提供环境100的透视视图。HMD 还向用户显示增强现实图像。在一个示例中,HMD是立体显示器设备,其中两个分开的增强现实图像各自被显示在HMD的相应的左眼和右眼显示器上。当由HMD 的穿戴者(例如用户102)查看时,这两个增强现实图像共同形成穿戴者可感知的作为环境100的一部分的增强现实对象。图1描绘示例增强现实对象106a和106b。然而,将理解,所描绘的增强现实对象对环境100中的其它人不可见,并且该增强现实对象仅可由用户102通过HMD 104看见。
HMD 104可将增强现实图像显示为使得感知的增强现实对象是身体锁定和/或世界锁定的。身体锁定的增强现实对象随着HMD 104的6自由度姿势(即6DOF: x、y、z、俯仰、偏航、滚转)改变而移动。这样,即使在用户移动、转向等时,身体锁定的增强现实对象也表现为占据用户102的视野的相同部分,并且表现为在距用户102相同的距离处。
另一方面,世界锁定的增强现实对象表现为相对于周围环境保持在固定位置中。即使在用户移动并且用户的视角改变时,世界锁定的增强现实对象仍将表现为相对于周围环境处于相同的位置/定向。作为示例,增强现实棋子可表现为在现实世界棋盘上的相同的方格中,而不管用户观看该棋盘的有利位置为何。为了支持世界锁定的增强现实对象,HMD可以跟踪HMD的6DOF姿态以及周围环境的各表面方面的几何映射/建模。
根据本公开,增强现实对象的表观现实世界大小或增强现实对象的各部分可根据该增强现实对象的表观现实世界深度而改变。换言之,随着增强现实对象被显示在较远的感知距离处,增强现实对象的大小可被增加,而随着增强现实对象被显示在较近的感知距离处,增强现实对象的大小可被减小。缩放函数可被调谐为使得增强现实对象或增强现实对象的各部分将占据用户的视野(FOV)的相同部分,而不管该增强现实对象被显示在的感知距离为何。即,增强现实对象或增强现实对象的一部分的表观现实世界大小可增加或减小以相对于用户保持相同的角大小。
在图1所示的示例中,用户102正通过姿势输入创建增强现实绘画。如所示出的,用户102正沿着相对接近用户102和HMD 104的第一墙壁108创建被描绘为增强现实对象106a的第一绘画。增强现实对象106a的一个或多个方面可被设置为使得增强现实对象106a是用户102可见的。例如,尽管增强现实对象106a的总大小可根据用户的姿势输入来确定,增强现实对象106a的线厚度可基于用户和增强现实对象106a被放置到的第一墙壁108之间的距离来设置,以便确保增强现实对象是可见的,并降低用户的眼疲劳。
如果增强现实对象的表观深度改变了,例如如果增强现实对象被放置成使得其表观深度增加,则增强现实对象的一个或多个方面可被维持以便维持对象的可见性。如图1所示,用户所创建的绘画被移动为在更大的表观深度处。被描绘为增强现实对象106b的移动绘画被放置在第二墙壁110上,该第二墙壁110比第一墙壁 108更远离用户102和HMD 104。因此,增强现实对象的表观现实世界深度已增加,并且由此增强现实对象的表观现实世界大小减小,以便提供对三个维度的感知。然而,绘画的线厚度被维持,以便维持对绘画的可见性。如本文中所描绘的,正维持的绘画的线厚度指被维持的用户感知的线厚度。在一些示例,维持用户感知的线厚度可包括调整实际显示的线的一个或多个方面。
如图1所演示,增强现实对象的一些类型可被缩放成使得一个或多个方面(例如,线厚度)在不同表观深度的范围内是恒定的。由此,当对象最初以该范围内的表观深度被显示时,或者当这样的对象被移动到那个范围内的表观深度时,对象的该方面可被设置到在该范围内恒定的预定水平。
图2是示出包括控制器203的可穿戴立体显示***202的各方面的示意图200。所示的显示***类似于传统的眼镜,并且是图1的HMD 104的一个非限制性示例。显示***包括右显示器206和左显示器204。在一些实施例中,右和左显示器从穿戴者的角度看是全部或部分透明的,以便给予穿戴者他或她的周围环境的清晰视图。此特征使得计算机化的显示影像能与来自周围环境的影像混合,以获得增强现实的幻象。
在一些实施例中,显示影像被实时地从操作地耦合到显示***202的远程计算***(未示出)传送到显示***202。显示影像可以以任何合适形式(即,类型) 的传输信号和数据结构被传送。对显示影像进行编码的信号可经由至显示***的控制器203的任何种类的有线或无线通信链路被传递。在其它实施例中,至少一些显示图像合成和处理可在控制器中执行。
在图2中继续,右和左显示器中的每一者包括各自的光学***,并且控制器 203操作地耦合到右和左光学***。在所例示的实施例中,控制器连同右和左光学***一起隐藏于显示***框架内。控制器可包括合适的输入/输出(IO)部件,使其能够接收来自远程计算***的显示影像。控制器还可包括位置感测组件—例如全球定位***(GPS)接收机、陀螺传感器或加速度计以访问头部定向和/或移动等。当显示***202在操作时,控制器203向右光学***发送适当的控制信号,这使得右光学***在右显示器206中形成右显示图像。类似地,控制器向左光学***发送适当的控制信号,这使得左光学***在左显示器204中形成左显示图像。显示***的穿戴者通过右和左眼分别查看右和左显示图像。当右和左显示图像被以适当的方式(参见下文)组合和呈现时,穿戴者体验到增强现实对象在指定位置的并具有指定3D内容和其它显示属性的幻象。将理解,如本文中使用的“增强现实对象”可以是任何期望的复杂度的对象并且不需要被限制为单个对象。相反,增强现实对象可包括具有前景和背景部分两者的完整的虚拟场景。增强现实对象还可对应于更大的增强现实对象的一部分或位点。
如图2所示,左显示器204和右显示器206(在本文中也被称为左眼显示器和右眼显示器)各自显示相应的增强现实图像(即,树的图像)。左显示器204正显示左增强现实图像208,且右显示器206正显示右增强现实图像210。左显示器204 和右显示器206中的每一者都可包括被配置成基于来自控制器203的控制信号形成显示图像的合适显示器,诸如LCD显示器。每一显示器包括被布置在矩形网格或其它几何形状上的多个可寻址的个体像素。左显示器204和右显示器206中的每一者可进一步包括用于将显示的图像递送到眼睛的光学器件。这样的光学器件可包括波导、分光器、局部反光镜等。
共同地,左增强现实图像208和右增强现实图像210在被显示***202的穿戴者查看时创建增强现实对象212。尽管在图2中左增强现实图像208和右增强现实图像210描绘成是完全相同,但将理解左和右增强现实图像中的每一者可以相同或者每一者可以不同(例如,每一者可包括相同对象但从稍有不同的视角来看的图像)。增强现实对象212具有依据左增强现实图像208和右增强现实图像210中的每个的大小及其在相应显示器上的位置来确定的表观现实世界大小和表观现实世界深度。
增强现实对象212的表观位置(包括表观现实世界深度(即,z坐标)、表观现实世界横向位置(即,x坐标)和表观现实世界垂直坐标(即,y坐标))可通过左和右增强现实图像208、210中的每一者的显示坐标来描绘。表观大小可依据那个对象的显示大小和表观深度来描绘。如本文中所使用的,增强现实图像的显示坐标包括包含增强现实图像的每一像素的x、y位置。增强现实图像的显示大小是一个或多个维度中如由包括增强现实图像的像素数指示的长度测量,例如增强现实图像所占的显示器的比例。此外,如本文中所使用的,增强现实图像指代显示器上显示的实际图像,而增强现实对象指代当显示***的穿戴者查看右和左显示器两者时,穿戴者所感知到的增强现实内容。将理解,增强现实对象可包括任何合适的增强现实内容,包括但不限于图形用户界面、用户界面控制元素、虚拟用户标记、全息图、动画、视频模拟等。
为了调整增强现实对象的表观现实世界深度,右显示坐标和/或左显示坐标可相对于彼此被设置。例如,为了减小增强现实对象的表观现实世界深度,左和右显示坐标可被设为彼此靠近。作为示例,树图像可在左和右显示器上朝向鼻子移动。为了增加增强现实对象的表观现实世界深度,左和右显示坐标可被设为彼此远离。作为示例,树图像可在左和右显示器上远离鼻子移动。
为了调整增强现实对象的表观现实世界大小,右显示大小和/或左显示大小可被调整。例如,右和/或左显示大小可被增加为增加增强现实对象的表观现实世界大小。然而,如以下将更详细解释的,增强现实对象的表观现实世界大小可以是增强现实对象相对于相同表观深度处的其他现实对象的大小。由此,在一些示例中,增强现实对象的表观现实世界大小可根据表观现实世界深度来缩放。
根据表观现实世界深度对增强现实对象大小的缩放(并因此为对相应的增强现实图像显示大小的缩放)可根据期望缩放函数来执行,该期望缩放函数将在以下更详细的解释。简言之,每一缩放函数可相对于彼此设置左和右显示坐标,以将增强现实对象设置在期望表观现实世界深度处,以及基于该表观现实世界深度来缩放增强现实图像显示大小的一个或多个方面。每一函数可差别化地执行缩放,诸如线性地、非线性地、仅在特定深度范围内的缩放、或其他合适的函数。
在一个示例缩放函数中,在表观现实世界深度的非缩放范围外,增强现实图像显示大小可通过改变表观现实世界深度来线性地缩放,而在表观现实世界深度的非缩放范围内,增强现实图像显示大小可被维持。通过这样做,增强现实对象的表观现实世界大小可通过改变表观现实世界深度而改变,使得增强现实对象保持在显示***的穿戴者的视野的恒定比例处。
图3是示意性地解说根据第一缩放函数缩放的增强现实对象的示例表观现实世界大小和深度的图示300。增强现实图像302被显示在近眼、透视显示器304上,诸如包括在图1的HMD 104和/或图2的显示***202中的显示器。当通过用户 306的眼睛查看时,增强现实图像302表现为是增强现实对象308。尽管图3中仅描绘了一个增强现实图像,但将理解,显示器304可包括两个显示器,每一显示器都显示相应的增强现实图像。图3还包括时间线310。
在第一时间点T1,增强现实图像302被显示为具有第一显示大小DS1,并具有将增强现实对象设置在第一表观深度AD1处的显示坐标。由于该显示大小和表观深度,增强现实对象具有第一表观大小AS1。
在第二时间点T2,增强现实对象的表观深度被增加,如表观深度AD2所示出的。图3的示例中应用的第一缩放函数指定当表观深度改变时,增强现实图像302 的显示大小被维持,由此显示大小DS2等于时间T1的显示大小DS1。然而,由于在显示大小保持相同的同时表观深度却已增加,因此增强现实对象308的表观大小增加,如表观大小AS2所示出的。如将通过图3领会的,增强现实图像和增强现实对象占用户的视野的相对比例从时间T1到时间T2保持恒定。
图4是示意性地解说根据第二缩放函数缩放的增强现实对象的示例表观现实世界大小和深度的图示400。类似于图3,增强现实图像402被显示在近眼、透视显示器404上,诸如包括在图1的HMD 104和/或图2的显示***202中的显示器。当通过用户406的眼睛查看时,增强现实图像402表现为是增强现实对象408。尽管图4中仅描绘了一个增强现实图像,但将理解,显示器404可包括两个显示器,每一显示器都显示相应的增强现实图像。图4还包括时间线410。
在第一时间点T1,增强现实图像402被显示为具有第三显示大小DS3,并具有将增强现实对象设置在第三表观深度AD3处的显示坐标。由于该显示大小和表观深度,增强现实对象具有第三表观大小AS3。在图4所示的示例中,第三显示大小DS3等于图3的第一显示大小DS1。同样,第三表观深度AD3和第三表观大小 AS3各自分别等于图3的第一表观深度AD1和第一表观大小AS1。
在第二时间点T2,增强现实对象的表观深度被增加,如表观深度AD4所示。图4的示例中应用的第二缩放函数指定增强现实图像302的显示大小可与表观深度线性地被缩放。由此,显示大小DS4在时间T1相对于显示大小DS3减小。结果,增强现实对象408在时间T2的表观大小保持相同,如由AS4示出的。由此,增强现实对象在时间T1的表观大小AS3等于在时间T2的表观大小AS4。如将通过图 4领会的,增强现实图像和增强现实对象占用户的视野的相对比例在时间T2相对于时间T1减小。
现在转向图5,示出了用于显示增强现实对象的方法500。方法500可以在可穿戴、头戴式立体显示器***中实现,例如如上所述的图1的HMD 104或图2的显示***202,或者以下所描述的图12中的HMD 1200。
在502,方法500包括获得要在显示器***上显示的增强现实对象。增强现实对象可以包括任何合适的增强现实内容并且可以被显示为图形用户界面、游戏、向导或辅助***或任何合适的增强或沉浸式环境的部分。增强现实对象可以响应于用户输入、执行游戏或其它内容的预定顺序或其它合适的动作从远程服务、从显示器***的存储器、或其它合适的源获得。如以上所解释的,增强现实对象可包括右眼和左眼增强现实图像,每个图像都被配置成被显示在显示***的相应的右眼和左眼显示器上。因此,获得增强现实对象可包括获得相应的左眼和右眼增强现实图像。
在504,该方法包括确定增强现实对象类型和相关联的缩放函数。增强现实对象可被分类成一种或多种类型的对象。增强现实对象的示例类型包括图形用户界面、用户界面控制元素(例如,光标、箭头)、虚拟用户标记(例如,绘图)、导航和/或辅助图标、全息图和其他合适类型的增强现实对象。每一类型的增强现实对象可具有相关联的缩放函数,该缩放函数规定形成增强现实世界对象的增强现实图像的显示大小如何根据该增强现实对象的表观现实世界深度来缩放。
在506,确定增强现实对象的表观现实世界深度。增强现实对象可被显示在合适的表观现实世界深度处。增强现实对象的表观现实世界深度可根据一个或多个合适的参数来设置,该一个或多个合适的参数包括但不限于用户命令(例如,用户是否发出了指示将增强现实对象放置在给定位置的姿势、语音或其他命令)、与一个或多个现实世界对象的关联以及增强现实对象的预设参数(例如,增强现实对象可具有被选为降低用户的眼疲劳的预设深度)。
在508,方法500包括根据缩放函数在表观现实世界深度处并以表观现实世界大小显示该增强现实对象。为了显示增强现实对象,方法500包括在左近眼、透视显示器上根据缩放函数以左眼显示大小将左眼增强现实图像显示在左眼显示坐标处,如510处所指示的。此外,方法500包括在右近眼、透视显示器上根据缩放函数以右眼显示大小将右眼增强现实图像显示在右眼显示坐标处,如512处所指示的。
如先前所解释的,增强现实对象的表观现实世界深度可由相应的右眼和左眼显示坐标来指示。随后,可根据缩放函数依据表观现实世界深度来设置增强现实对象的适当的表观现实世界大小。例如,增强现实对象对于给定表观现实世界深度可具有默认的表观现实世界大小。默认大小可基于增强现实对象的类型、在其中放置增强现实对象的上下文和/或环境、用户输入和/或其他合适的因素。缩放函数可随后基于确定的现实世界深度来更改该表观现实世界大小。为了调整表观现实世界大小,右眼和左眼增强现实图像的右眼和左眼显示大小可被调整,如以上所解释的。
图6A-6E中解说了在方法500的执行期间可应用的示例缩放函数。示图601、 603、605、607和609中的每一者都根据相应的增强现实对象的表观现实世界深度来绘制增强现实图像显示大小。这些示例函数可适用于增强现实图像的一个或多个维度(例如,高度、或宽度、或高度和宽度)。这些示例函数可适用于增强现实图像的另一方面,诸如线厚度。
线602所解说的第一线性函数跨用户的可见范围内的所有表观深度通过改变表观深度来线性地(例如,1:1地)调整显示大小。第一线性缩放函数可用于缩放旨在模仿用户的环境内的元素(例如,游戏环境内的对象)的增强现实对象。尽管线性函数(诸如线602所解说的那个线性函数)可准确地表示在对象的深度改变时该对象在感知大小方面如何改变,但它可导致对象变得太小以致无法被准确地感知,或者变得很大以致遮挡了用户的视野。
线性缩放函数的另一示例由线604解说。在该第二线性缩放函数中,增强现实图像的显示大小保持恒定,而与表观现实世界深度无关。尽管这种设定增强现实对象的大小的方法执行起来很简单,但它可遭受与第一线性缩放函数相同的问题,例如增强现实对象在一些深度处太小或太大。现实性也被减小,因为通过这种方式缩放的增强现实对象不模仿现实世界对象的缩放。
为了利用线性缩放函数的优点同时避免以上所述的大小问题,可应用各种分段缩放函数。第一分段函数的示例如线606所示。在本文中,显示大小在表观深度的第一非缩放范围内被维持恒定,而在第一非缩放范围外的深度处随着改变深度来线性地调整。由此,根据第一非线性缩放函数,左眼和右眼显示大小根据表观现实世界深度被缩放(例如,随着增加深度而减小大小),直到表观现实世界深度达到第一阈值深度T1。显示大小在非缩放深度范围内维持恒定,直到第二阈值深度T2 被达到。在超过第一非缩放范围的深度处,再次根据表观现实世界深度来缩放左眼和右眼显示大小。
第一分段缩放函数可被应用来缩放增强现实对象,这些增强现实对象不必与现实对象或现实世界环境相关。这可包括用户界面控制元素,诸如光标、图形界面、和诸如绘图之类的虚拟用户标记。通过维持所显示的增强现实图像的显示大小,增强现实对象的表观现实世界大小可在较小的深度处较小,并在较大的深度处较大,由此在第一非缩放深度范围内占据用户的视野的同一恒定比例。通过这么做,用户可容易地可视化增强现实对象和/或与其进行交互,甚至在相对较远的深度处也是如此。此外,通过在第一非缩放范围外根据深度来缩放显示大小,第一分段缩放函数防止增强现实对象变得太大并遮挡用户的视野。
第二分段缩放函数由线608解说。第二分段缩放函数与第一分段缩放函数类似,并包括在第一阈值深度T1和第二阈值深度T2之间的第二非缩放深度范围,在该第二非缩放深度范围处,增强现实图像的显示大小被维持在恒定大小处。第二非缩放深度范围可不同于第一非缩放范围,例如第二非缩放范围可以是比第一非缩放范围更大的深度范围。
第三分段缩放函数由线610解说。第三分段缩放函数在缩放深度范围内根据深度来线性地缩放增强现实图像的显示大小,但在缩放深度范围外将显示大小维持在一个或多个恒定大小处。例如,显示大小在靠近的范围深度处被维持在第一、相对较大的显示大小处,在缩放深度范围中线性地缩放,并随后在遥远的范围深度处以第二、相对较小的显示大小被维持。
以上描述的示例缩放函数可各自与相应的不同类型的增强现实对象相关联,并且每当相关联的增强现实对象被显示时都被自动应用。在其他示例中,相应的缩放函数可响应于用户请求或其他输入而被应用于增强现实函数。
当一个以上增强现实对象被显示时,每一显示的增强现实对象可根据其相应的缩放函数来缩放。结果,一些增强现实对象当被一起显示时可被类似地缩放,而其他增强现实对象可被不同地缩放。作为具体示例,作为游戏的一部分的显示对象(例如,全息树,诸如图2中解说的全息树)可通过在所有表观深度处改变深度来线性地缩放,以模仿该对象在现实世界中将如何被感知。相反,控制对象(诸如用于控制游戏的各方面的光标)可根据第一分段缩放函数来缩放以维持光标的可见性。
由此,在以上示例中,可根据第一和第二增强现实对象的表观现实世界深度来相对于右眼显示坐标设置左眼显示坐标。左眼显示大小和右眼显示大小的一方面 (例如,总图像大小)可在仅第一增强现实对象的表观现实世界深度的非缩放范围内被维持。在表观现实世界深度的非缩放范围外,左眼显示大小和右眼显示大小可通过改变第一和第二增强现实对象两者的表观现实世界深度来缩放。在仅针对第二增强现实对象的表观现实世界深度的非缩放范围内,左眼显示大小和右眼显示大小可通过改变表观现实世界深度来缩放。
以上结合图6A-6E描述的缩放函数在性质上是示例性的,并且其他缩放函数可被使用。具有任何数目的恒定、线性或非线性分段的缩放函数可被使用。同一函数的不同缩放分段可具有不同的缩放属性。例如,在恒定分段之前的缩放分段的斜率可大于在恒定分段之后的缩放分段的斜率。
来自图6A-6E中解说的函数的其他变体被构想。例如,第一线性函数的斜率可比所解说的更小或更大。在另一示例中,第一分段缩放函数可在非缩放深度范围期间在大小方面进行缩放,但以比在非缩放深度范围外小的多的速率来进行缩放。通过这么做,该函数可仅缩放维持同一角大小所需的必要缩放的比例,从而混合了以下两种考虑:给出用户正相对于增强现实对象移动的线索,同时主要维持该增强现实对象的角大小以允许用户更容易地查看到该增强现实对象并与其进行交互。此外,在一些示例中,缩放函数可以是用户可配置的。
一些缩放函数可对最大和最小表观现实世界大小有限制,这将导致在用户相对于对象移动超过相应物理距离的情况下,增强现实对象的角大小表现为改变了。缩放操作可通过实质上任何对象定位改变来触发,并且不仅限于归因于与其他现实世界或增强现实对象碰撞的定位。
这些缩放操作可连续地、周期性地被应用,或者在单个时间点被应用。例如,浮动的用户界面元素可基于抵靠用户正注视的现实世界表面的放置而连续地更新其表观现实世界大小以维持其角大小(例如,占用户的视野的比例),同时用户绘制的线可将自身的大小设为基于距其被绘制在其上的目标物理表面的距离来维持目标角大小,但随后在那个点之后在世界空间大小不改变。
此外,作为图像显示大小的替换或补充,一些缩放函数可调整显示的增强现实图像的各方面。例如,增强现实图像的色度、色彩、透明度、光照效果和/或特征密度可基于表观现实世界深度来调整。
以上结合增强现实对象的总表观现实世界大小如何基于表观现实世界深度改变描述了示例缩放函数。然而,作为调整总表观现实世界大小的替换或补充,可调整增强现实对象的一个或多个特定方面。可被调整的一个示例方面是增强现实对象的线厚度,其在以下被更详细地描述。可被调整的另一示例方面包括对象定向。例如,诸如书之类的增强现实对象当被正面查看时可被容易地看见。然而,当用户从侧面(例如,90度)角度查看同一对象时,实际上不可能读该书。由此,增强现实对象可被自动旋转为面向用户。该效果可被称为宣传。与缩放效果一样,宣传效果的关键可以是表观现实世界深度。例如,可仅在表观现实世界深度范围内实现宣传。
图7示出从用户的视角透过近眼、透视显示器(例如,HMD 104、显示*** 202)的示例视图700。在视图700中,用户可看见现实世界墙壁702a、702b、702c、 702d和地板704。除了周围环境的现实世界方面外,用户还可看见虚拟用户标记的第一实例的增强现实对象,本文中被描绘为墙壁702b上的水平线706'和墙壁702d 上的相同水平线706”的第二实例的增强现实对象。
在该示例中,水平线706”为距用户5英尺远,并且占据0.95度的垂直角展度。水平线706”可表现为在世界空间坐标中为一英寸高。另一方面,当距用户10英尺时,相同的水平线706’可仍然占据0.95度的垂直角展度,但表现为在世界空间坐标中为2英寸高。换言之,该线在不同的距离处占据HMD的视野的相同比例,并且该线将具有相同的粗细,而不管该线被绘制在的表观现实世界深度为何。在不同的距离处维持该粗细可使得用户更容易感知较远深度处的增强现实线。
在一些示例中,水平线长度可根据深度来缩放。如图所示,水平线706’的感知大小比水平线706”的感测大小短。然而,在其他示例中,类似于线粗细,线长度可被保持恒定。
作为另一示例,用户界面控制元素(本文中被描绘为光标)可根据分段缩放函数(诸如以上所描述的第一分段缩放函数)来显示。图8示出具有处于相对较远的距离处的增强现实光标802’的第一实例以及处于相对较近的距离处的相同增强现实光标802”的第二实例的视图800。在两个实例中,增强现实光标被维持在用户的视野的相同比例处。如以上所解释的,为了如此实现,分段缩放函数至少在非缩放深度范围内为增强现实图像(包括增强现实光标)的左眼和右眼显示维持相同的显示大小。
作为进一步示例,包括许多构成元素的增强现实对象的总大小被缩放成使得当处于相对较远的距离时具有较大的相应表观现实世界大小,并在处于相对较近的距离时具有相对较小的相应表观现实世界大小。作为示例,图9示出具有处于相对较远距离的图片902’的第一实例和处于相对较近的距离的同一图片902”的第二实例的增强现实对象的视图900。增强现实对象被缩放成使得在不同距离处占据HMD 的视野的相同比例。结果,图片902'具有比图片902”更大的现实世界大小。
在一些示例中,增强现实对象可以是包括多个孩子对象(例如,子对象)的父对象。例如,图9中解说的对象包括方形框,该方形框有包含在该框内的两个圆圈。在一些示例中,缩放函数可被不同地应用于父增强现实对象的不同孩子。通过这种方式,特定孩子对象的各方面可基于深度被缩放和/或维持,而其他孩子对象的各方面可不基于深度被缩放或维持。在一个示例中,圆圈和框可基于深度被缩放,而用于渲染这些对象的线的厚度被维持在如图10中所解说的相同的显示大小,如以下所描述的。在该示例中,增强现实对象的总大小相对于周围环境可维持相同,但构成元素中的一者或多者可缩放。例如,图标的总大小可表现为在被显示在较远的感知距离处时较小,但组成该图标的线的厚度可表现为在近和远感知距离两者处表现为相同。
作为示例,图10示出具有处于相对较远距离的图片1002’的第一实例和处于相对较近的距离的同一图片1002”的第二实例的增强现实对象的视图1000。增强现实对象被缩放为使得对象的总现实世界维度在不同的距离处保持一致。由此,图片 1002’的较远实例占据比图片1002”的较近实例更少的HMD的视野。然而,组成这些图片的构成线被缩放为使得在不同的距离处占据HMD的视野的相同比例。
在一些实施例中,本文中描述的方法和过程可以与一个或多个计算设备的计算***绑定。具体而言,这样的方法和过程可被实现为计算机应用程序或服务、应用编程接口(API)、库和/或其他计算机程序产品。
图11示意性地示出了可执行上述方法和过程中的一个或多个的计算***1100 的非限制性实施例。图1的HMD 104、图2的显示***202和/或如下所述的图12 的HMD 1200是计算***1100的非限制性示例。以简化形式示出了计算***1100。计算***1100可采取以下形式:一个或多个个人计算机、服务器计算机、平板计算机、家庭娱乐计算机、网络计算设备、游戏设备、移动计算设备、移动通信设备 (例如,智能电话)和/或其他计算设备。
计算***1100包括逻辑机1102和存储机1104。计算***1100可任选地包括显示子***1106、输入子***1108、通信子***1110和/或在图11中未示出的其他组件。
逻辑机1102包括被配置成执行指令的一个或多个物理设备。例如,逻辑机可被配置成执行作为以下各项的一部分的指令:一个或多个应用、服务、程序、例程、库、对象、组件、数据结构、或其他逻辑构造。这种指令可被实现以执行任务、实现数据类型、转换一个或多个组件的状态、实现技术效果、或以其他方式得到期望结果。
逻辑机可包括被配置成执行软件指令的一个或多个处理器。作为补充或替换,逻辑机可包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑机。逻辑机的处理器可以是单核或多核,且在其上执行的指令可被配置为串行、并行和/或分布式处理。逻辑机的各个组件可任选地分布在两个或更多单独设备上,这些设备可以位于远程和/或被配置成进行协同处理。逻辑机的各方面可由以云计算配置进行配置的可远程访问的联网计算设备来虚拟化和执行。
存储机1104包括被配置成保持可由逻辑机执行以实现此处所述的方法和过程的指令的一个或多个物理设备。在实现这些方法和过程时,可以变换存储机1104 的状态(例如,保存不同的数据)。
存储机1104可以包括可移动和/或内置设备。存储机1104可包括光学存储器 (例如,CD、DVD、HD-DVD、蓝光盘等)、半导体存储器(例如,RAM、EPROM、 EEPROM等)和/或磁存储器(例如,硬盘驱动器、软盘驱动器、磁带驱动器、MRAM 等)等等。存储机1104可包括易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址和/或内容可寻址设备。
可以理解,存储机1104包括一个或多个物理设备。然而,本文描述的指令的各方面可另选地通过不由物理设备在有限时长内持有的通信介质(例如,电磁信号、光信号等)来传播。
逻辑机1102和存储机1104的各方面可被一起集成到一个或多个硬件逻辑组件中。这些硬件逻辑组件可包括例如现场可编程门阵列(FPGA)、程序和应用专用的集成电路(PASIC/ASIC)、程序和应用专用的标准产品(PSSP/ASSP)、片上***(SOC)以及复杂可编程逻辑器件(CPLD)。
术语“模块”、“程序”和“引擎”可用于描述被实现为执行一个特定功能的计算***1100的一方面。在某些情况下,可以通过执行由存储机1102所保持的指令的逻辑机1104来实例化模块、程序或引擎。将理解,可以从同一应用、服务、代码块、对象、库、例程、API、函数等实例化不同的模块、程序和/或引擎。同样,可以由不同的应用程序、服务、代码块、对象、例程、API、函数等来实例化同一模块、程序和/或引擎。术语“模块”、“程序”和“引擎”可涵盖单个或成组的可执行文件、数据文件、库、驱动程序、脚本、数据库记录等。
应当理解,如此处所使用的“服务”可以是跨越多个用户会话可执行的应用程序。服务可对一个或更多***组件、程序、和/或其他服务可用。在某些实现中,服务可以在一个或多个服务器计算设备上运行。
在被包括时,显示子***1106可用于呈现由存储机1104保持的数据的视觉表示。此视觉表示可采取图形用户界面(GUI)的形式。由于本文所描述的方法和过程改变了由存储机保持的数据,并由此变换了存储机的状态,因此同样可以转变显示子***1106的状态以视觉地表示底层数据的改变。显示子***1106可包括使用实质上任何类型的技术的一个或多个显示设备。可将此类显示设备与逻辑机1102 和/或存储器机1104组合在共享封装中,或者此类显示设备可以是***显示设备。
当被包括时,输入子***1108可包括诸如键盘、鼠标、触摸屏或游戏控制器等一个或多个用户输入设备或者与这些用户输入设备对接。在一些实施例中,输入子***可以包括或相接于所选择的自然用户输入(NUI)部件。这样的部件可以是集成式的或者是外设,并且输入动作的转换和/或处理可以在板上或板下处理。示例NUI部件可包括用于语言和/或语音识别的话筒;用于机器视觉和/或姿势识别的红外、色彩、立体显示和/或深度相机;用于运动检测和/或意图识别的头部***、眼睛***、加速计和/或陀螺仪;以及用于评估脑部活动的电场感测部件。
当包括通信子***1110时,通信子***1110可被配置成将计算***1100与一个或多个其他计算设备通信地耦合。通信子***1110可包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例,通信子***可被配置成用于经由无线电话网络或者有线或无线局域网或广域网来进行通信。在一些实施例中,通信子***可允许计算***1100经由诸如因特网这样的网络将消息发送至其他设备以及/或者从其他设备接收消息。
图12以具有透视显示器1202的可穿戴眼镜的形式示出头戴式、近眼、透视显示***(也被称为HMD 1200)的非限制性示例。HMD 1200是图1的HMD 104、图2的显示***202和/或图11的计算***1100的非限制性示例。HMD可以采取任何其他合适的形式,其中透明、半透明和/或不透明显示器被支撑在查看者的一只或两只眼睛前方。例如,本文中描述的各实施例可与任何其他合适的计算设备一起使用,包括但不限于移动计算设备、膝上型计算机、台式计算机、平板计算机、其他可穿戴计算机等。例如,增强现实图像可与由移动电话的相机捕捉的现实世界影像一起被显示在移动电话的显示器上。
HMD1200包括透视显示器1202和控制器1204。透视显示器1202可以使得诸如增强现实图像(也被称为全息图对象)之类的图像被递送到HMD的穿戴者的眼睛。透视显示器1202可被配置成向透过该透明显示器观察物理环境的穿戴者在视觉上增强现实世界物理环境的外观。在一个示例中,该显示器可被配置成显示图形用户界面的一个或多个UI对象。在一些实施例中,在图形用户界面上呈现的UI 对象可以是覆盖在现实世界环境前方的虚拟对象。同样地,在一些实施例中,在图形用户界面上呈现的UI对象可以纳入通过透视显示器1202被看到的现实世界环境的现实世界对象的元素。在其他示例中,显示器可被配置成显示一个或多个其他图形对象,诸如与游戏、视频、或其他视觉内容相关联的虚拟对象。
任何合适的机制可被用于经由透视显示器1202显示图像。例如,透视显示器 1202可包括位于透镜1206内的图像生成元件(诸如例如透视有机发光二极管 (OLED)显示器)。作为另一示例,透视显示器1202可包括位于HMD 1200的框架内的显示设备(诸如例如硅上液晶(LCOS)设备或OLED微显示器)。在该示例中,透镜1206可用作或以其它方式包括用于将光从显示设备递送到穿戴者的眼睛的光导。这样的光导可使得穿戴者能够感知位于穿戴者正在查看的物理环境内的3D全息图像,同时还允许穿戴者直接查看物理环境中的物理对象,由此创建了混合现实环境。附加地或替换地,透视显示器1202可经由相应的左眼和右眼显示器呈现左眼和右眼增强现实图像,如以上结合图2所讨论的。
HMD 1200还可包括用于向控制器1204提供信息的各种传感器和相关***。此类传感器可包括但不限于,一个或多个面向内的图像传感器1208a和1208b、一个或多个面向外的图像传感器1210、惯性测量单元(IMU)1212、以及一个或多个话筒1220。一个或多个面向内的图像传感器1208a、1208b可被配置成从穿戴者的眼睛获取注视跟踪数据形式的图像数据(例如,传感器1208a可获取穿戴者的一只眼睛的图像数据,而传感器1208b可获取穿戴者的另一只眼睛的图像数据)。 HMD可被配置成基于接收自图像传感器1208a、1208b的信息用任何合适的方式来确定穿戴者眼睛中的每一只眼睛的注视方向。例如,一个或多个光源1214a、1214b (诸如红外光源)可被配置成使得闪光从穿戴者的每一只眼睛的角膜反射。一个或多个图像传感器1208a、1208b然后可被配置成捕捉穿戴者眼睛的图像。如从收集自图像传感器1208a、1208b的图像数据确定的闪烁和瞳孔的图像可被控制器1204 用于确定每一只眼睛的光轴。使用这一信息,控制器1204可被配置成确定穿戴者的注视方向。控制器1204可被配置成附加地通过将用户的注视向量投影在周围环境的3D模型上来确定穿戴者正注视的物理和/或虚拟对象的身份。
一个或多个面向外的图像传感器1210可被配置成测量HMD 1200所在的物理环境的物理环境属性(例如,光强度)。来自面向外的图像传感器1210的数据可被用于检测显示器1202的视野内的移动,诸如由在视野内的穿戴者或者人或物理对象执行的基于姿势的输入或其他移动。在一个示例中,来自面向外的图像传感器 1210的数据可被用于检测由HMD的穿戴者执行的指示对显示设备上显示的UI对象的选择的选择输入,诸如姿势(例如,捏合手指、握紧拳头等)。来自面向外的传感器的数据还可被用于确定(例如,来自成像环境特征的)方向/位置和定向数据,这使得能实现对HMD 1200在现实世界环境中的位置/运动的跟踪。来自面向外的相机的数据还可被用于从HMD 1200的视角构造周围环境的静止图像和/或视频图像。
IMU 1212可被配置成将HMD 1200的位置和/或定向数据提供给控制器1204。在一个实施例中,IMU 1212可被配置为三轴或三自由度(3DOF)位置传感器***。该示例位置传感器***可例如包括用于指示或测量HMD 1200在3D空间内绕三个正交轴(例如,滚转、俯仰和偏航)的定向的变化的三个陀螺仪。从IMU的传感器信号导出的定向可被用于经由透视显示器来显示具有逼真和稳定的位置和定向的一个或多个AR图像。
在另一示例中,IMU 1212可被配置为六轴或六自由度(6DOF)的位置传感器***。这一配置可包括三个加速度计和三个陀螺仪以指示或测量HMD 1200沿三个正交空间轴(例如,x、y和z)的位置变化和绕该三个正交旋转轴(例如,偏航、俯仰和滚转)的设备定向变化。在一些实施例中,来自面向外的图像传感器1210 和IMU 1212的位置和定向数据可结合确定HMD 1200的位置和定向被使用。
HMD 1200还可以支持其他合适的定位技术,诸如GPS或其他全球导航***。此外,尽管描述了位置传感器***的具体示例,但将理解,任何其他合适的位置传感器***可被使用。例如,头部姿势和/或移动数据可基于来自戴在穿戴者上和/或穿戴者外部的传感器的任何组合的传感器信息来确定,包括但不限于任何数量的陀螺仪、加速度计、惯性测量单元、GPS设备、气压计、磁力计、相机(例如,可见光相机、红外光相机、飞行时间深度相机、结构化光深度相机等)、通信设备(例如,WIFI天线/接口)等。
继续图12,控制器1204可被配置成随时间基于由一个或多个面向内的图像传感器1208a、1208b检测到的信息记录多个眼睛注视样本。对于每一眼睛注视样本,眼睛跟踪信息以及在一些实施例中的头部跟踪信息(来自图像传感器1210和/或 IMU 1212)可被用于估计该眼睛注视样本的原点和方向向量以产生眼睛注视与透视显示器相交的估计位置。用于确定眼睛注视样本的眼睛跟踪信息和头部跟踪信息的示例可包括眼睛注视方向、头部取向、眼睛注视速度、眼睛注视加速度、眼睛注视方向角改变、和/或任何其它合适的跟踪信息。在一些实施例中,眼睛注视跟踪可独立地针对HMD 1200的穿戴者的两只眼睛来记录。
控制器1204可被配置成使用来自面向外的图像传感器1210的信息来生成或更新周围环境的三维模型。附加地或替换地,来自面向外的图像传感器1210的信息可被传达给负责生成和/或更新周围环境的模型的远程计算机。在任一情况下, HMD相对于周围环境的相对位置和/或定向可被评估,使得增强现实图像可被准确地显示在具有期望定向的期望现实世界位置。
如上所述,HMD 1200还可包括捕捉音频数据的一个或多个话筒(诸如话筒 1220)。在一些示例中,该一个或多个话筒1220可包括包含两个或更多个话筒的话筒阵列。例如,话筒阵列可包括四个话筒,两个话筒被定位在HMD的右透镜上方,而另两个话筒被定位在HMD的左透镜上方。此外,音频输出可以经由一个或多个扬声器(诸如扬声器1222)被呈现给穿戴者。
控制器1204可包括可与HMD的显示器和各传感器进行通信的逻辑机和存储机,如以上结合图11更详细地讨论的。
一种示例可穿戴、头戴式显示***包括:左近眼、透视显示器,所述左近眼、透视显示器被配置成以左眼显示大小将左眼增强现实图像显示在左眼显示坐标处;右近眼、透视显示器,所述右近眼、透视显示器被配置成以右眼显示大小将右眼增强现实图像显示在右眼显示坐标处,所述左眼增强现实图像和右眼增强现实图像共同形成可由头戴式显示***的穿戴者在表观现实世界深度处感知到的增强现实对象;以及,控制器。所述控制器将左眼显示坐标相对于右眼显示坐标的关系设置为增强现实对象的表观现实世界深度的函数,所述函数在增强现实对象的表观现实世界深度的非缩放范围内维持左眼显示大小和右眼显示大小的一方面,并且所述函数在表观现实世界深度的范围之外,随着改变增强现实对象的表观现实世界深度来缩放左眼显示大小和右眼显示大小。附加地或替换地,这样的示例包括其中增强现实对象包括虚拟用户标记。附加地或替换地,这样的示例包括其中维持所述左眼显示大小和所述右眼显示大小的一方面包括在非缩放范围内维持虚拟用户标记的线厚度。附加地或替换地,这样的示例包括在非缩放范围内根据表观现实世界深度来缩放虚拟用户标记的线长度。附加地或替换地,这样的示例包括其中所述函数随着减小表观现实世界深度而减小左眼显示坐标和右眼显示坐标之间的距离。附加地或替换地,这样的示例包括其中在表观现实世界深度的所述非缩放范围内维持所述左眼显示大小和所述右眼显示大小的所述方面包括在表观现实世界深度的所述非缩放范围内改变所述增强现实对象的相应方面的表观现实世界大小,使得所述增强现实对象占据所述穿戴者的视野的恒定比例。附加地或替换地,这样的示例包括其中所述增强现实对象包括用户界面控制元素。附加地或替换地,这样的示例包括其中所述函数在大于所述非缩放范围的表观现实世界深度处减小所述左眼显示大小和所述右眼显示大小,并且在小于所述非缩放范围的表观现实世界深度处增加所述左眼显示大小和所述右眼显示大小。附加地或替换地,这样的示例包括其中所述增强现实对象是第一增强现实对象,并且其中所述控制器将第二增强现实对象的左眼坐标相对于所述第二增强现实对象的右眼坐标的关系设置为所述第二增强现实对象的表观现实世界深度的第二函数。附加地或替换地,这样的示例包括其中所述第二函数在所述第二增强现实对象的表观现实世界深度的第二、不同非缩放范围内维持所述第二增强现实对象的左眼显示大小和右眼显示大小的一方面。附加地或替换地,这样的示例包括其中所述增强现实对象是父增强现实对象的孩子对象,并且其中所述函数在所述父增强现实对象的表观现实世界深度的非缩放范围内随着改变所述父增强现实对象的表观现实世界深度而缩放所述父增强现实对象的左眼显示大小和右眼显示大小。以上描述的示例中的任何一个或全部可按任何合适的方式被组合在各实现中。
另一示例提供一种用于可穿戴、头戴式显示***的方法,所述方法包括在左近眼、透视显示器上根据缩放函数以左眼显示大小将左眼增强现实图像显示在左眼显示坐标处;在右近眼、透视显示器上根据所述缩放函数以右眼显示大小将右眼增强现实图像显示在右眼显示坐标处,所述左眼增强现实图像和右眼增强现实图像一起形成可由所述头戴式显示***的穿戴者在表观现实世界深度处感知到的增强现实对象,所述缩放函数根据所述增强现实对象的表观现实世界深度设置所述左眼显示坐标相对于所述右眼显示坐标的关系,所述缩放函数在所述增强现实对象的表观现实世界深度的非缩放范围内维持所述左眼显示大小和所述右眼显示大小的一方面,并且所述缩放函数在现实世界深度的非缩放范围之外随着改变所述增强现实对象的表观现实世界深度而缩放所述左眼显示大小和所述右眼显示大小。附加地或替换地,这样的示例包括其中在所述非缩放范围之外随着改变所述增强现实对象的表观现实世界深度而缩放所述左眼显示大小和所述右眼显示大小包括在现实世界深度的非缩放范围之外随着减小表观现实世界深度而增加所述左眼显示大小和所述右眼显示大小,以及随着增加表观现实世界深度而减小所述左眼显示大小和右眼显示大小。附加地或替换地,这样的示例包括其中在所述非缩放范围内维持所述左眼显示大小和所述右眼显示大小的一方面包括在所述非缩放范围内将所述增强现实对象维持为占所述穿戴者的视野的恒定比例。附加地或替换地,这样的示例包括其中将所述增强现实对象维持为占所述穿戴者的视野的恒定比例包括随着所述增强现实对象的所述表观现实世界深度改变,相对于在所述增强现实对象的相同深度处的现实世界对象改变所述增强现实对象的现实世界大小。附加地或替换地,这样的示例包括其中所述增强现实对象包括虚拟用户标记,并且其中在表观现实世界深度的非缩放范围内维持所述左眼显示大小和所述右眼显示大小的一方面包括维持所述虚拟用户标记的线厚度。以上描述的示例中的任何一个或全部可按任何合适的方式被组合在各实现中。
另一示例提供一种可穿戴、头戴式显示***,包括:左近眼、透视显示器,所述左近眼透视显示器被配置成显示第一左眼增强显示图像和第二左眼增强现实图像,所述第一和第二左眼增强现实图像以不同的左眼显示大小被显示在不同的左眼显示坐标处;右近眼、透视显示器,所述右近眼透视显示器被配置成显示第一右眼增强显示图像和第二右眼增强现实图像,所述第一和第二右眼增强现实图像以不同的右眼显示大小被显示在不同的右眼显示坐标处;所述第一左眼和第一右眼增强现实图像共同形成第一增强现实对象,所述第二左眼和第二右眼增强现实图像共同形成第二增强现实对象,所述第一和第二增强现实对象可由所述头戴式显示***的穿戴者在相应的表观现实世界深度处感知到;以及控制器,所述控制器将所述左眼显示坐标相对于所述右眼显示坐标的关系设置为所述第一和第二增强现实对象两者的表观现实世界深度的函数,所述函数在仅针对所述第一增强现实对象的表观现实世界深度的非缩放范围内维持所述左眼显示大小和所述右眼显示大小的一方面,所述函数在表观现实世界深度的非缩放范围之外随着改变所述第一和第二增强现实对象两者的表观现实世界深度而缩放所述左眼显示大小和所述右眼显示大小,并且所述函数在仅针对所述第二增强现实对象的表观现实世界深度的非缩放范围内随着改变表观现实世界深度来缩放所述左眼显示大小和所述右眼显示大小。附加地或替换地,这样的示例包括其中所述第一增强现实对象包括用户界面控制元素,并且其中所述第二增强现实对象包括全息游戏元素。附加地或替换地,这样的示例包括其中所述第一增强现实对象是所述第二增强现实对象的孩子。附加地或替换地,这样的示例包括其中所述函数包括应用于所述第一增强现实对象的第一分段函数和应用于所述第二增强现实对象的第二线性函数。以上描述的示例中的任何一个或全部可按任何合适的方式被组合在各实现中。
将会理解,本文描述的配置和/或方式本质是示例性的,这些具体实施例或本文示例不应被视为限制性的,因为许多变体是可能的。本文描述的具体例程或方法可以表示任何数量的处理策略中的一个或多个。如此,所示和/或所述的各种动作可以以所示和/或所述顺序、以其他顺序、并行地执行,或者被省略。同样,上述过程的次序可以改变。
本公开的主题包括各种过程、***和配置的所有新颖和非显而易见的组合和子组合、和此处所公开的其他特征、功能、动作、和/或特性、以及其任何和全部等效物。

Claims (20)

1.一种头戴式显示***,包括:
左近眼透视显示器,所述左近眼透视显示器被配置成以左眼显示大小将左眼增强现实图像显示在左眼显示坐标处;
右近眼透视显示器,所述右近眼透视显示器被配置成以右眼显示大小将右眼增强现实图像显示在右眼显示坐标处,所述左眼增强现实图像和右眼增强现实图像共同形成可由所述头戴式显示***的穿戴者在表观现实世界深度处感知到的增强现实对象;以及
控制器,所述控制器将所述左眼显示坐标相对于所述右眼显示坐标的关系设置为所述增强现实对象的表观现实世界深度的函数,所述函数在所述增强现实对象的表观现实世界深度的非缩放范围内维持所述左眼显示大小和所述右眼显示大小的一方面,并且所述函数在所述表观现实世界深度的范围之外,随着改变所述增强现实对象的表观现实世界深度而缩放所述左眼显示大小和所述右眼显示大小。
2.如权利要求1所述的显示***,其特征在于,所述增强现实对象包括虚拟用户标记。
3.如权利要求2所述的显示***,其特征在于,维持所述左眼显示大小和所述右眼显示大小的一方面包括在所述非缩放范围内维持所述虚拟用户标记的线厚度。
4.如权利要求3所述的显示***,其特征在于,进一步包括在所述非缩放范围内根据表观现实世界深度来缩放所述虚拟用户标记的线长度。
5.如权利要求1所述的显示***,其特征在于,所述函数随着减小表观现实世界深度而减小所述左眼显示坐标和右眼显示坐标之间的距离。
6.如权利要求1所述显示***,其特征在于,在表观现实世界深度的所述非缩放范围内维持所述左眼显示大小和所述右眼显示大小的所述方面包括在表观现实世界深度的所述非缩放范围内改变所述增强现实对象的相应方面的表观现实世界大小,使得所述增强现实对象占据所述穿戴者的视野的恒定比例。
7.如权利要求1所述的显示***,其特征在于,所述增强现实对象包括用户界面控制元素。
8.如权利要求1所述的显示***,其特征在于,所述函数在大于所述非缩放范围的表观现实世界深度处减小所述左眼显示大小和所述右眼显示大小,并且在小于所述非缩放范围的表观现实世界深度处增加所述左眼显示大小和所述右眼显示大小。
9.如权利要求1所述的显示***,其特征在于,所述增强现实对象是第一增强现实对象,并且其中所述控制器将第二增强现实对象的左眼坐标相对于所述第二增强现实对象的右眼坐标的关系设置为所述第二增强现实对象的表观现实世界深度的第二函数。
10.如权利要求9所述的显示***,其特征在于,所述第二函数在所述第二增强现实对象的表观现实世界深度的第二不同非缩放范围内维持所述第二增强现实对象的左眼显示大小和右眼显示大小的一方面。
11.如权利要求1所述的显示***,其特征在于,所述增强现实对象是父增强现实对象的孩子,并且其中所述函数在所述父增强现实对象的表观现实世界深度的非缩放范围内随着改变所述父增强现实对象的表观现实世界深度而缩放所述父增强现实对象的左眼显示大小和右眼显示大小。
12.一种用于头戴式显示***的方法,包括:
在左近眼透视显示器上根据缩放函数以左眼显示大小将左眼增强现实图像显示在左眼显示坐标处;
在右近眼透视显示器上根据所述缩放函数以右眼显示大小将右眼增强现实图像显示在右眼显示坐标处,所述左眼增强现实图像和右眼增强现实图像共同形成可由所述头戴式显示***的穿戴者在表观现实世界深度处感知到的增强现实对象;
所述缩放函数根据所述增强现实对象的所述表观现实世界深度设置所述左眼显示坐标相对于所述右眼显示坐标的关系;
所述缩放函数在所述增强现实对象的表观现实世界深度的非缩放范围内维持所述左眼显示大小和所述右眼显示大小的一方面;以及
所述缩放函数在现实世界深度的所述非缩放范围之外随着改变所述增强现实对象的表观现实世界深度而缩放所述左眼显示大小和所述右眼显示大小。
13.如权利要求12所述的方法,其特征在于,在所述非缩放范围之外随着改变所述增强现实对象的表观现实世界深度而缩放所述左眼显示大小和所述右眼显示大小包括在现实世界深度的非缩放范围之外随着减小表观现实世界深度而增加所述左眼显示大小和所述右眼显示大小,以及随着增加表观现实世界深度而减小所述左眼显示大小和右眼显示大小。
14.如权利要求12所述的方法,其特征在于,在所述非缩放范围内维持所述左眼显示大小和所述右眼显示大小的一方面包括在所述非缩放范围内将所述增强现实对象维持为占所述穿戴者的视野的恒定比例。
15.如权利要求14所述的方法,其特征在于,将所述增强现实对象维持为占所述穿戴者的视野的恒定比例包括随着所述增强现实对象的所述表观现实世界深度改变,相对于在所述增强现实对象的相同深度处的现实世界对象改变所述增强现实对象的现实世界大小。
16.如权利要求12所述的方法,其特征在于,所述增强现实对象包括虚拟用户标记,并且其中在表观现实世界深度的非缩放范围内维持所述左眼显示大小和所述右眼显示大小的一方面包括维持所述虚拟用户标记的线厚度。
17.一种头戴式显示***,包括:
左近眼透视显示器,所述左近眼透视显示器被配置成显示第一左眼增强现实图像和第二左眼增强现实图像,所述第一和第二左眼增强现实图像以不同的左眼显示大小被显示在不同的左眼显示坐标处;
右近眼透视显示器,所述右近眼透视显示器被配置成显示第一右眼增强现实图像和第二右眼增强现实图像,所述第一和第二右眼增强现实图像以不同的右眼显示大小被显示在不同的右眼显示坐标处,所述第一左眼和第一右眼增强现实图像共同形成第一增强现实对象,所述第二左眼和第二右眼增强现实图像共同形成第二增强现实对象,所述第一和第二增强现实对象可由所述头戴式显示***的穿戴者在相应的表观现实世界深度处感知到;以及
控制器,所述控制器用于将所述左眼显示坐标相对于所述右眼显示坐标的关系设置为针对所述第一和第二增强现实对象的表观现实世界深度的函数;
所述函数在仅针对所述第一增强现实对象的表观现实世界深度的非缩放范围内,维持所述左眼显示大小和所述右眼显示大小的一方面;
所述函数在表观现实世界深度的非缩放范围外,随着改变针对所述第一和第二增强现实对象两者的表观现实世界深度而缩放所述左眼显示大小和所述右眼显示大小;
所述函数在仅针对所述第二增强现实对象的表观现实世界深度的非缩放范围内,随着改变表观现实世界深度而缩放所述左眼显示大小和所述右眼显示大小。
18.如权利要求17所述的显示***,其特征在于,所述第一增强现实对象包括用户界面控制元素,并且其中所述第二增强现实对象包括全息游戏元素。
19.如权利要求17所述的显示***,其特征在于,所述第一增强现实对象是所述第二增强现实对象的孩子。
20.如权利要求17所述的显示***,其特征在于,所述函数包括应用于所述第一增强现实对象的第一分段函数和应用于所述第二增强现实对象的第二线性函数。
CN201680006372.2A 2015-01-20 2016-01-11 用于显示固定大小的增强现实对象的方法和*** Active CN107209565B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562105672P 2015-01-20 2015-01-20
US62/105,672 2015-01-20
US14/717,771 2015-05-20
US14/717,771 US9934614B2 (en) 2012-05-31 2015-05-20 Fixed size augmented reality objects
PCT/US2016/012778 WO2016118344A1 (en) 2015-01-20 2016-01-11 Fixed size augmented reality objects

Publications (2)

Publication Number Publication Date
CN107209565A CN107209565A (zh) 2017-09-26
CN107209565B true CN107209565B (zh) 2020-05-05

Family

ID=55349938

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680006372.2A Active CN107209565B (zh) 2015-01-20 2016-01-11 用于显示固定大小的增强现实对象的方法和***

Country Status (2)

Country Link
CN (1) CN107209565B (zh)
WO (1) WO2016118344A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
CN113470640B (zh) 2013-02-07 2022-04-26 苹果公司 数字助理的语音触发器
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
US10514801B2 (en) 2017-06-15 2019-12-24 Microsoft Technology Licensing, Llc Hover-based user-interactions with virtual objects within immersive environments
CN107592520B (zh) * 2017-09-29 2020-07-10 京东方科技集团股份有限公司 Ar设备的成像装置及成像方法
US10991138B2 (en) * 2017-12-22 2021-04-27 The Boeing Company Systems and methods for in-flight virtual reality displays for passenger and crew assistance
US10523912B2 (en) * 2018-02-01 2019-12-31 Microsoft Technology Licensing, Llc Displaying modified stereo visual content
US10817047B2 (en) * 2018-09-19 2020-10-27 XRSpace CO., LTD. Tracking system and tacking method using the same
CN111083391A (zh) * 2018-10-19 2020-04-28 舜宇光学(浙江)研究院有限公司 虚实融合***及其方法
CN111506188A (zh) * 2019-01-30 2020-08-07 托比股份公司 用于动态地调整hud的方法和hmd
WO2023044050A1 (en) * 2021-09-17 2023-03-23 Apple Inc. Digital assistant for providing visualization of snippet information

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609942A (zh) * 2011-01-31 2012-07-25 微软公司 使用深度图进行移动相机定位
CN102981616A (zh) * 2012-11-06 2013-03-20 中兴通讯股份有限公司 增强现实中对象的识别方法及***和计算机
CN103136726A (zh) * 2011-11-30 2013-06-05 三星电子株式会社 用于恢复图像的深度信息的方法和设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69706611T2 (de) * 1996-06-27 2002-07-04 Toshiba Kawasaki Kk Stereoskopisches Display-System und -Verfahren
US9342610B2 (en) * 2011-08-25 2016-05-17 Microsoft Technology Licensing, Llc Portals: registered objects as virtualized, personalized displays
US9323325B2 (en) * 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
US9454849B2 (en) * 2011-11-03 2016-09-27 Microsoft Technology Licensing, Llc Augmented reality playspaces with adaptive game rules
US10502876B2 (en) * 2012-05-22 2019-12-10 Microsoft Technology Licensing, Llc Waveguide optics focus elements
US20130326364A1 (en) * 2012-05-31 2013-12-05 Stephen G. Latta Position relative hologram interactions

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609942A (zh) * 2011-01-31 2012-07-25 微软公司 使用深度图进行移动相机定位
CN103136726A (zh) * 2011-11-30 2013-06-05 三星电子株式会社 用于恢复图像的深度信息的方法和设备
CN102981616A (zh) * 2012-11-06 2013-03-20 中兴通讯股份有限公司 增强现实中对象的识别方法及***和计算机

Also Published As

Publication number Publication date
CN107209565A (zh) 2017-09-26
WO2016118344A1 (en) 2016-07-28

Similar Documents

Publication Publication Date Title
US9934614B2 (en) Fixed size augmented reality objects
CN107209565B (zh) 用于显示固定大小的增强现实对象的方法和***
US10672103B2 (en) Virtual object movement
CN107209386B (zh) 增强现实视野对象跟随器
US10373392B2 (en) Transitioning views of a virtual model
EP3137982B1 (en) Transitions between body-locked and world-locked augmented reality
US9824499B2 (en) Mixed-reality image capture
US10304247B2 (en) Third party holographic portal
CN106489171B (zh) 立体图像显示器
US10789779B2 (en) Location-based holographic experience
CN110603515A (zh) 利用共享锚点显示的虚拟内容
US10134174B2 (en) Texture mapping with render-baked animation
US10523912B2 (en) Displaying modified stereo visual content
US20160371885A1 (en) Sharing of markup to image data
US20180330546A1 (en) Wind rendering for virtual reality computing device
US10025099B2 (en) Adjusted location hologram display
CN109710054B (zh) 用于头戴式显示设备的虚拟物体呈现方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant