CN108369343A - 对呈现流水线的直接运动传感器输入 - Google Patents

Abstract

本文描述了用于对呈现流水线的直接运动传感器输入的***和技术。可经由至呈现流水线的输入端口从传感器接收视图参数。可将呈现对象指派给呈现流水线中的着色器。视图参数可被应用于着色器以重新呈现呈现对象。可将重新呈现的呈现对象输出至输出互链路，该输出互链路提供用于显示重新呈现的呈现对象的指令。

Description

对呈现流水线的直接运动传感器输入

优先权申请

本申请要求2015年12月21日提交的美国申请S/N.14/976,862的优先权的权益，该申请通过引用整体结合于此。

技术领域

本文所描述的实施例一般涉及图形呈现硬件，并且更具体地涉及对呈现流水线的直接运动传感器输入。

背景技术

增强现实(AR)是用于定义以下原理的术语：将新的虚拟对象添加至现实场景(例如，由相机捕捉)使得两者皆可在显示器上被看到。例如，包括人的房间的视频馈送可使卡通角色在该馈送中被呈现，以使得看起来角色站在人旁边。在示例中，呈现可使得对于观看馈送的人而言，该呈现看起来人正与角色交互。

头戴式显示器是穿戴于用户头部的、具有用户可观看的显示元件的设备。头戴式显示器可看起来像眼镜、头盔等。常常，显示元件在未被使用时是透明的，使得用户“透视(see through)”显示器至现实世界，但也可观察被呈现至显示元件的元素。常常，头戴式显示器是传感器组以及透明或不透明显示器的组合，这使得“绘制”到如由用户感知的现实场景上成为可能。

虽然AR不是用于头戴式显示器的唯一应用，但其是用于这些显示器的重要应用。为了支持此应用，一些供应商为头戴式显示器上的AR提供片上***(SoC)平台。开发头戴式显示器的传统SoC和硬件制造商常常重用现有技术组件。在用于AR的视频呈现的情形中，GPU一般在呈现之后立即执行视频合成(在流水线内)。音频处理一般也是如此。

附图说明

在附图中(这些附图不一定是按比例绘制的)，相同的数字可描述在不同视图中的类似的组件。具有不同的字母后缀的相同的数字可以表示类似组件的不同实例。附图一般通过示例但非限制方式来示出在本文档中讨论的各种实施例。

图1是根据实施例的包括用于对呈现流水线的直接运动传感器输入的***的环境的示例的框图。

图2是根据实施例的包括用于对呈现流水线的直接运动传感器输入的***的示例的框图。

图3是根据实施例的包括用于对呈现流水线的直接运动传感器输入的方法的示例。

图4是例示可在其上实现一个或多个实施例的机器的示例的框图。

具体实施方式

AR工作负载可能要求常常旨在被穿戴的硬件，并频繁地受制于能量限制(例如，在电池上运行)。头戴式显示器的AR工作负载的困难问题是持续维持将对象呈现至显示器上的场景(例如，嵌入至场景)的正确映射。即，为了使嵌入对象随着用户头部的移动变换、移位、旋转以看起来像是其是场景的一部分。透视显示器倾向于使问题恶化，因为在显示器呈现呈现对象时不对用户隐藏场景。因此，常常在用户移动其头部时，呈现对象显得与场景不协调。

为了解决以上注意到的问题，可使用对呈现流水线的修改。特别地，呈现流水线可被修改成将运动传感器数据直接接受至呈现流水线硬件并使用运动数据来直接变换呈现对象。这可被称为单点主动对齐方法(SPAAM)，并且对包括光学透视显示器的头戴式显示器而言可以是有效的。原理包括对AR的校准，该校准基于对呈现对象的选择以及对用于坐标***的点的跟踪(用于在用户移动时继续进行坐标转换/变换)。

因此，用于显示器的传统视频或音频呈现流水线可通过添加负责至少一些呈现对象的块来改变。此块可从传感器(例如，传感器中枢)获取数据并例如基于9轴头部运动轨道数据和场景几何结构从传感器数据估计用于呈现对象的变换参数。在示例中，该块被并入SoC设备或图形处理单元(GPU)设备。在任一情形中，可添加从传感器中枢至该块的额外互链路(例如，总线)以便避免基于软件的合成技术并且更快地重新呈现呈现对象。此配置与不具有至传感器的直接连接且独立于传感器数据来进行呈现/混合的传统GPU视频/音频流水线形成对比。

本文所描述的独特的直接传感器至呈现流水线结构具有优于现有技术的以下益处：1)通过将AR对象变换卸载至硬件而简化了软件操作，这常常改进整体功耗；2)通过减少反应等待时间(因为处理将在同一硬件上完成)而提供了较好的用户体验；以及3)通过将开发者从必须担心在头部运动事件中重新呈现AR对象中解救出来而使得应用开发更简单。注意，虽然以下示例中常常讨论视频显示，但同一原理适用于音频，因为相对于场景中的呈现对象定位的头部定向改变了音频应当如何呈现给用户。例如，头部相对于呈现对象位置的移动应该会改变呈现对象的声音(例如，由于其进一步远离用户或来自与先前呈现给用户的方向不同的另一方向而使其较为柔和)。

图1是根据实施例的包括用于对呈现流水线的直接运动传感器输入的组件105的环境100的示例的框图。环境100包括目标场景150，该目标场景150表示可由用户观察的现实世界环境，诸如房间、公园等。用户穿戴头戴式设备130。头戴式设备130包括相机135(可能连同其他传感器，包括运动传感器)以及视觉显示器140(可能连同音频显示器(例如，一个或多个扬声器))。

为了例示关于当前头戴式显示器的问题，考虑由用户在视图150A处观看场景150以及呈现对象155的视图155A。用户可将其头部转动至左侧。场景视图150B随着用户正用其自己的眼睛观看场景而立即改变。然而，从传感器(例如，相机135)至AR软件、再至呈现流水线的处理延迟导致呈现对象视图155B相对于场景视图150B不对齐。为了详细描述，考虑用户定向160、呈现表面的定向(例如，虚拟平面145)140以及场景定向170。用户定向160和虚拟平面定向165通过用户的移动而彼此相关。随着用户定向160改变，虚拟平面定向以类似(例如，相同)方式改变。然而，为了使AR适当地工作，虚拟平面定向165应该匹配场景定向170，该场景定向170被假定为独立于用户定向160移动，或完全不移动。因此，挑战是在对用户定向160的改变之后调整虚拟平面定向160以匹配场景定向170。因此，当用户经由显示器140观看呈现对象155时，呈现对象的定向随用户移动其头部而被校正。

为了在没有与当前设备相关联的延迟的情况下实现以上内容，头戴式显示器130包括将传感器数据直接整合至呈现流水线的组件105。在示例中，组件105是GPU的部分。在示例中，组件105是音频流水线(例如，音频数字信号处理器(DSP))的部分。

组件105包括被布置成从传感器接收视图参数的传感器输入端口110。在示例中，传感器是提供以下中的至少一者的运动传感器：俯仰、偏转、翻滚或者向上、向下、向左、或向右的平移。在示例中，传感器是相机135。在此示例中，相机135可固有地或经由设备-驱动器链来提供视图参数。例如，相机可依次捕捉两个图像并将这些图像彼此注册。如果两个图像之间存在任何运动，则注册将揭示指示运动的转变，因为图像将不会恰好对准。在示例中，传感器输入端口110具有至少384千比特每秒的带宽。在示例中，传感器输入端口110位于连接至传感器的总线上。因此，此连接是直接的，因为其不通往最终产生呈现图像的应用软件。然而，要理解，它们可由虚拟设备硬件或软件(诸如在虚拟机器、用于传感器的设备驱动器中使用的虚拟设备硬件或软件)分开。

在示例中，视图参数是视点坐标或视角中的至少一者。在此示例中，通过传感器本身、驱动器或将传感器接口至头戴式显示器130的类似软件等来将传感器输出转换成视点坐标或视角中的至少一者。在示例中，视图参数是来自运动传感器的原始数据。在此示例中，着色器被布置成处理直接传感器数据以执行呈现对象155变换。在示例中，呈现对象是虚拟对象。此类对象可包括诸如化身(avatar)或其他角色、虚拟游戏板、虚拟电视屏、虚拟球之类的事物。在示例中，呈现对象是可听对象。示例音频对象可包括语音、音乐、砰得关上门或其他声音效果等等。与视觉呈现对象相似，音频呈现对象在常常由目标场景150定义的坐标***中占据位置。因此，在音频的情形中，如果在呈现对象155位于用户的前方时该用户将其头部转向右侧，则头戴式显示器的扬声器应该获取原始平衡声音并将其向左侧扬声器偏置。

组件105包括处理器115，该处理器115用于将呈现对象155指派给呈现流水线中的着色器120。在示例中，指派由产生呈现对象155的AR应用来指导。即，将呈现对象指派给着色器120包括从提供呈现对象的定义的AR程序接收指令。在此示例中，该指令指定呈现对象应被绑定至用于呈现的传感器输入。因此，开发者可控制哪些呈现对象将受益于可能有限的硬件。在示例中，该指令可将优先级值指定给呈现对象。因此，开发者可指定比可用着色器更多的呈现对象将被绑定至传感器，并且指派可通过基于所指定优先级值按次序来继续进行。在示例中，优先级值可与包含多个呈现对象的所指定优先级组相关。

在示例中，指派基于可观察度量，诸如与用户交互最多的呈现对象、被最频繁地使用的呈现对象等。在此示例中，开发者可被从选择特定呈现对象的责任中解救出来并让处理器115来做决定。此决定可基于统计技术、操作研究技术或经训练的人工智能技术以例如优化着色器的使用、增强用户体验(例如，经由来自用户的反馈)、降低功耗或这些的任何组合。尽管不尽相同，但此示例以类似于数据检索的高速缓存的方式来操作。

呈现对象155是按照视图参数来定义的。即，着色器120以视图参数的形式接收运动数据，并且对象定义应该符合由视图参数通知的变换。示例可包括相对于视点和视角的对象几何结构。随着从运动传感器接收这些视图参数，着色器120可将其应用于呈现对象的定义并产生重新呈现的呈现对象。

着色器120被布置成应用视图参数来重新呈现呈现对象155。在示例中，着色器120每次专用于单个呈现对象。在示例中，着色器120是着色器组中的一者，呈现对象155是呈现对象集合中的一者，且存在比专用着色器更多的呈现对象。例如，仅存在五至十个专用着色器和五十个呈现对象。在此示例中，对着色器120的呈现对象指派在着色器每次只可呈现一个呈现对象时会是问题。然而，在示例中，处理器115可被布置成在创建呈现对象的程序在运行的同时在与呈现对象155不同的时间将第二呈现对象指派给着色器。因此，处理器115可采用时分双工机制来以针对每个个体呈现对象的一些响应性为代价而处理较多的呈现对象。然而，此技术可选择性地被应用于不同类别的呈现对象。例如，如果虚拟电视屏被投射至墙上，则可假定成位于用户注意力的中心。因此，场景定向170与虚拟平面定向165之间的不对齐对用户而言可能是使人分心的事。因此，将着色器120专用于这一个呈现对象155可能是有效的。相比之下，置于墙上的多个虚拟图片可充当不要求用户注意力的美学背景。此类呈现对象可以以时分方式共享不同的着色器以最大化有限硬件资源。因此，处理器115可在所设置时段内(例如，各时间片)将呈现对象155和第二呈现对象交替地指派给着色器。

组件150包括输出端口125，该输出端口125用于将重新呈现的呈现对象输出至输出互链路。示例可包括用于显示器140的总线接口、用于扬声器的驱动线等。在示例中，输出端口125是存储器，诸如可被用于对驱动器的直接存储器访问(DMA)传输或者要在显示器140上输出的其他对象接收数据。因此，输出互链路提供用于显示重新呈现的呈现对象155的指令。

图2是根据实施例的包括用于对呈现流水线的直接运动传感器输入的***200的示例的框图。如所例示的，***200包括视觉流水线(例如，呈现块215、着色器220、视频合成块225以及显示器230)以及音频流水线(例如，呈现块235、着色器240、音频合成块245以及扬声器250)。在示例中，仅存在视觉流水线。在示例中，仅存在音频流水线。

如上述，开发头戴式显示器的传统硬件制造商重用现有技术组件。因此，在AR呈现硬件的情形中，GPU和音频处理器将呈现块215和235直接连接至合成块225和245。此办法的缺点在头部运动的情形中是明显的。当头部运动时，传感器数据被递送至程序，该程序随后调整呈现对象的程序参数。这些经调整参数随后在GPU或音频流水线的一开始就被处理。这不仅仅是耗时的——可能导致呈现对象和场景的去同步化，也是耗功率的。

为了处理这些问题，***200添加从传感器205至呈现流水线(此处至专用着色器220和240)的直接连接。此直接连接可以是总线，或者可通过向GPU或音频DSP添加控制线、端口等来简单地启用以直接接受传感器数据。进一步地，通过使用被配置成直接基于传感器数据来转变呈现对象的专用着色器220和240，GPU或音频块可重用硬件和软件技术以降低复杂度而同时仍保持高性能。

如所例示的，传感器205与相机210(还可被用于运动数据)分离。然而，两者皆可被并入头戴式设备的传感器阵列等，并且在示例中，相机210可连同加速度计、地标检测器、陀螺仪等简单地是另一类型的传感器205。进一步地，在示例中，相机210可将运动数据提供至音频流水线的专用着色器240。

***200胜过当前设备，，替代对整个环境(例如，视频情形中的图片)的重新呈现，由专用着色器220和240随着头部移动而重新呈现个体呈现对象。为了助益这点，呈现对象彼此分离并以取决于视图参数(例如，视点坐标和视角)的形式来定义(例如，描述)它们。这些分开的呈现对象各自被指派给专用着色器。来自应用的其余呈现对象按其先前已呈现的方式来呈现(例如，没有受益于直接运动数据)。

随着用户移动其头部，传感器205将注册这些移动。传感器数据可由传感器205处理以创建视图参数，或者原始输出可对应于视图参数。这些视图参数随后被直接馈送至专用着色器220和240。这些专用着色器220和240接受视图参数并已具有向其指派的呈现对象的定义。专用着色器220和240使用视图参数来变换各自分别被所指派呈现对象。这些重新呈现的呈现对象随后可由合成块225和245直接合成。

专用着色器220和240的数量是相应呈现流水线的参数。在示例中，虽然针对多个呈现对象重用同一着色器是可能的，但这是在给定某一数量的呈现对象的情况下硬件区域与操作速度之间实现的权衡。在示例中，可在五个至十个专用着色器之间找到硬件区域与性能之间的有用平衡。

传感器与GPU/音频DSP之间的总线应该足以以2.4KHz数量级的采样率来传输10维16位的数据，这是传感器205的典型输出。在此示例中，此类总线的带宽是大约384千比特每秒。

在呈现对象的数量大于专用着色器220或240的数量的情形中，开发者指定哪些呈现对象将受益于专用着色器220和245。例如，在许多呈现对象的情形中，由开发者负责基于呈现对象对用户体验的重要性来决定这些呈现对象中的哪些将由专用着色器220或240来重新呈现。进一步地，可由开发者负责以以下方式定义呈现对象：专用着色器220和245可直接使用来自传感器205的传感器数据。然而，给定特定类型的传感器205，一些助手设施可被用于助益这些操作，这些助手设施诸如用于确定哪些呈现对象与用户交互最多的监视器，或者用于在给定特定类型的传感器205的情况下将标准对象定义顺应成符合适用于专用着色器的的对象定义的转译器)。

图3是根据实施例的包括用于对呈现流水线的直接运动传感器输入的方法300的示例。方法300的操作在计算机硬件(诸如以上参考图1和2或以下参考图4描述的计算机硬件(例如，电路集))上被执行。

在操作305处，可经由至呈现流水线的输入端口从传感器接收视图参数，在示例中，传感器是提供以下中的至少一者的运动传感器：俯仰、偏转、翻滚或者向上、向下、向左、或向右的平移。在示例中，传感器是相机。在示例中，输入端口具有至少384千比特每秒的带宽。在示例中，输入端口位于连接至传感器的总线上。在示例中，视图参数是视点坐标或视角中的至少一者。在示例中，呈现对象是虚拟对象。在示例中，呈现对象是可听对象。

在操作310处，可将呈现对象指派给呈现流水线中的着色器。在此情形中，呈现对象是按照视图参数来定义的呈现对象。在示例中，着色器每次专用于单个呈现对象(例如，其不能在一帧内对两个呈现对象进行操作)。在示例中，将呈现对象指派给着色器包括从提供呈现对象的定义的增强现实程序接收指令。该指令还指定呈现对象应被绑定至用于呈现的传感器输入。

在操作315处，视图参数可被应用于着色器以重新呈现呈现对象。在示例中，着色器是着色器集合中的一个，呈现对象是呈现对象集合中的一个，且呈现对象集合的基数大于着色器集合的基数。即，着色器比呈现对象少。在示例中，着色器集合的基数处于五至十个的范围内。

在示例中，方法300可被扩展为包括在程序在运行(包括呈现对象和第二呈现对象两者)的同时在与呈现对象不同的时间将第二呈现对象指派给着色器。因此，开发者可在程序运行期间在不同时间为着色器重新分派任务不同的呈现对象。在示例中，呈现对象和第二呈现对象在所设置时段被交替地指派给着色器。此类交替布置作为专用着色器针对呈现对象进行时间共享来操作。虽然用户可在最终的呈现结果中观察到附加抖动，但此布置保持了以下好处：对开发者而言的方便性以及卸载了用于合成场景中的呈现对象的软件处理。

在操作320处，将重新呈现的呈现对象输出至输出互链路，该输出互链路提供用于显示重新呈现的呈现对象的指令。在示例中，显示器是视觉显示器。在示例中，显示器是音频显示器。在示例中，互链路被直接连接至显示器。

图4例示出本文中所讨论的技术(例如，方法)中的任何一个或多个可在其上执行的示例机器400的框图。在替代实施例中，机器400可作为独立设备来操作或可连接(例如，联网)至其他机器。在联网的部署中，机器400可在服务器-客户机网络环境中的服务器、客户机或其两者的能力内操作。在示例中，机器400可充当对等(P2P)(或其他分布式)网络环境中的对等机器。机器400可以是个人计算机(PC)、平板PC、机顶盒(STB)、个人数字助理(PDA)、移动电话、web应用、网络路由器、交换机或桥接器、或者能够执行指定该机器要采取的行动的指令(顺序的或者以其他方式)的任何机器。此外，虽然只例示出单个机器，但是术语“机器”也应当包括单独或联合地执行一组(或多组)指令以执行本文所讨论的方法的任何一种或多种的机器的任意集合，所述方法诸如云计算、软件即服务(SaaS)和其他计算机集群配置。

如本文中所述的示例可包括逻辑或多个组件、模块或机制，或可通过逻辑或多个组件、模块或机制来操作。电路集是实现于包括硬件(例如，简单电路、门、逻辑等)的有形实体中的一批电路。电路集成员可随着时间的推移以及底层的硬件变化而变化。电路集包括在操作时可单独或组合执行指定操作的成员。在示例中，电路集的硬件可被不可变地设计为执行特定操作(例如，硬连线)。在示例中，电路集的硬件可包括可变地连接的物理组件(例如，执行单元、晶体管、简单电路等)，包括被物理地修改(例如，对不变聚集粒子的磁地、电地、可移动地布置等)的计算机可读介质，用于编码特定操作的指令。在连接物理组件时，硬件成分的底层电特性例如从绝缘体改变为导体，反之亦然。这些指令使嵌入式硬件(例如，执行单元或加载机构)能够经由可变连接在硬件中创建电路集的成员以在操作时执行特定操作的部分。相应地，当设备运行时，计算机可读介质可通信地耦合至电路集成员的其他组件。在示例中，物理组件中的任一个可在多于一个电路集的多于一个成员中使用。例如，在操作下，执行单元可在时间上的某一点在第一电路集的第一电路中使用而在不同的时间被第一电路集中的第二电路或被第二电路集中的第三电路使用。

机器(例如，计算机***)400可包括硬件处理器402(例如，中央处理单元(CPU)、图形处理单元(GPU)、硬件处理器核心或者其任何组合)、主存储器404以及静态存储器406，这些部件中的一些或全部经由互链路(例如，总线)408彼此进行通信。机器400还可包括显示单元410、字母数字输入设备412(例如，键盘)以及用户界面(UI)导航设备414(例如，鼠标)。在示例中，显示单元410、输入设备412以及UI导航设备414可以是触摸屏显示器。机器400可另外包括存储设备(例如，驱动单元)416、信号生成设备418(例如，扬声器)、网络接口设备420以及一个或多个传感器421(诸如，全球定位***(GPS)传感器、罗盘、加速度计或其他传感器)。机器400可包括与一个或多个***设备(例如，打印机、读卡器等)连通或者控制这些***设备的输出控制器428，诸如串行(例如，通用串行总线(USB))、并行、或者其他有线或无线(例如，红外线(IR)、近场通信(NFC)等)连接。

存储设备416可包括在其上存储由本文中所描述的技术或功能中的任意一种或多种体现或利用的一组或者多组数据结构或指令424(例如，软件)的机器可读介质422。指令424还可在机器400执行它的期间完全地或至少部分地驻留在主存储器404内、驻留在静态存储器406内、或者驻留在硬件处理器402内。在示例中，硬件处理器402、主存储器404、静态存储器406或存储设备416中的一个或任何组合都可以构成机器可读介质。

尽管机器可读介质422被示为单一介质，但是术语“机器可读介质”可包括被配置成存储一个或多个指令424的单一介质或多个介质(例如，集中式或分布式数据库、和/或相关联的高速缓存或服务器)。

术语“机器可读介质”包括能够存储、编码或携带供机器400执行并且使机器400执行本公开的任何一项或多项技术的指令，或者能够存储、编码或携带此类指令所使用的或与此类指令相关联的数据结构的任何介质。非限制性的机器可读介质的示例可以包括固态存储器以及光和磁介质。在示例中，大容量机器可读介质包括具有多个粒子的机器可读介质，这些粒子具有不变(例如，静止)质量。相应地，大容量机器可读介质不是瞬态传播信号。大容量机器可读介质的具体事例可包括：非易失性存储器，诸如，半导体存储器设备(例如，电可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM))以及闪存设备；磁盘，诸如，内部硬盘和可移动盘；磁光盘；以及CD-ROM和DVD-ROM盘。

还可以经由利用许多传输协议(例如，帧中继、网际协议(IP)、传输控制协议(TCP)、用户数据报协议(UDP)、超文本传输协议(HTTP)等等)中的任何一种协议的网络接口设备420，通过使用传输介质的通信网络426来进一步发送或接收指令424。示例通信网络可包括局域网(LAN)、广域网(WAN)、分组数据网络(例如，互联网)、移动电话网络(例如，蜂窝网络)、普通老式电话(POTS)网络、以及无线数据网络(例如，称为的电气与电子工程师协会(IEEE)802.11系列标准、称为的IEEE 802.16系列标准、IEEE 802.15.4系列标准、点对点(P2P)网络等)。在示例中，网络接口设备420可包括用于连接到通信网络426的一个或多个物理插口(jack)(例如，以太网、共轴、或电话插口)或者一个或多个天线。在示例中，网络接口设备420可包括使用单输入多输出(SIMO)、多输入多输出(MIMO)，或多输入单输出(MISO)技术中的至少一种来进行无线通信的多个天线。术语“传输介质”应当包括任何无形的介质，所述任何无形的介质能够存储、编码或携带由计算机400执行的指令，并且“传输介质”包括数字或模拟通信信号或者用于促进此类软件的通信的其他无形的介质。

附加注释和示例

示例1是一种用于对呈现流水线的直接运动传感器输入的组件，该组件包括：输入端口，该输入端口用于从传感器接收视图参数；处理器，该处理器用于将呈现对象指派给所述呈现流水线中的着色器，呈现对象按照所述视图参数来定义，该着色器每次专用于单个呈现对象；所述着色器，该着色器用于应用所述视图参数来重新呈现所述呈现对象；以及输出端口，该输出端口用于将所述重新呈现的呈现对象输出至输出互链路，所述输出互链路提供用于显示所述重新呈现的呈现对象的指令。

在示例2中，示例1的主题任选地包括，其中所述传感器是提供以下中的至少一者的运动传感器：俯仰、偏转、翻滚或者向上、向下、向左、或向右的平移。

在示例3中，示例1-2中任何一个或多个的主题任选地包括，其中传感器是相机。

在示例4中，示例1-3中的任何一个或多个的主题任选地包括，其中所述视图参数是视点坐标或视角中的至少一者。

在示例5中，示例1-4中任何一个或多个的主题任选地包括，其中所述呈现对象是视觉对象。

在示例6中，示例1-5中任何一个或多个的主题任选地包括，其中所述呈现对象是可听对象。

在示例7中，示例1-6中任何一个或多个的主题任选地包括，其中所述着色器是着色器集合中的一者，其中所述呈现对象是呈现对象集合中的一者，并且其中所述呈现对象集合的基数大于所述着色器集合的基数。

在示例8中，示例7的主题任选地包括，其中所述着色器集合的基数处于五至十的范围内。

在示例9中，示例7-8中任何一个或多个的主题任选地包括，其中所述处理器用于在程序在进行包括所述呈现对象和第二呈现对象两者的运行的同时在与所述呈现对象的不同时间将第二呈现对象指派给所述着色器。

在示例10中，示例9的主题任选地包括，其中所述呈现对象和所述第二呈现对象在所设置时段内被交替地指派给所述着色器。

在示例11中，示例1-10中任何一个或多个的主题任选地包括，其中所述输入端口具有至少384千比特每秒的带宽。

在示例12中，示例1-11中任何一个或多个的主题任选地包括，其中所述输入端口位于连接至所述传感器的总线上。

在示例13中，示例1-12中任何一个或多个的主题任选地包括，其中用于将所述呈现对象指派给所述着色器包括所述处理器用于从提供所述呈现对象的定义的增强现实程序接收指令，所述指令指定所述呈现对象应被绑定至用于呈现的传感器输入。

示例14是一种用于对呈现流水线的直接运动传感器输入的方法，该方法包括：经由至呈现流水线的输入端口从传感器接收视图参数；将呈现对象指派给所述呈现流水线中的着色器，所述呈现对象按照所述视图参数来定义，所述着色器每次专用于单个呈现对象；将所述视图参数应用于所述着色器来重新呈现所述呈现对象；以及将所述重新呈现的呈现对象输出至输出互链路，所述输出互链路提供用于显示所述重新呈现的呈现对象的指令。

在示例15中，示例14的主题任选地包括，其中所述传感器是提供以下中的至少一者的运动传感器：俯仰、偏转、翻滚或者向上、向下、向左、或向右的平移。

在示例16中，示例14-15中任何一个或多个的主题任选地包括，其中传感器是相机。

在示例17中，示例14-16中的任何一个或多个的主题任选地包括，其中所述视图参数是视点坐标或视角中的至少一者。

在示例18中，示例14-17中任何一个或多个的主题任选地包括，其中所述呈现对象是视觉对象。

在示例19中，示例14-18中任何一个或多个的主题任选地包括，其中所述呈现对象是可听对象。

在示例20中，示例14-19中任何一个或多个的主题任选地包括，其中所述着色器是着色器集合中的一者，其中所述呈现对象是呈现对象集合中的一者，并且其中所述呈现对象集合的基数大于所述着色器集合的基数。

在示例21中，示例20的主题任选地包括，其中所述着色器集合的基数处于五至十的范围内。

在示例22中，示例20-21中任何一个或多个的主题任选地包括，在程序在进行包括所述呈现对象和第二呈现对象两者的运行的同时在与所述呈现对象的不同时间将第二呈现对象指派给所述着色器。

在示例23中，示例22的主题任选地包括，其中所述呈现对象和所述第二呈现对象在所设置时段内被交替地指派给所述着色器。

在示例24中，示例14-23中任何一个或多个的主题任选地包括，其中所述输入端口具有至少384千比特每秒的带宽。

在示例25中，示例14-24中任何一个或多个的主题任选地包括，其中所述输入端口位于连接至所述传感器的总线上。

在示例26中，示例14-25中任何一个或多个的主题任选地包括，其中将所述呈现对象指派给所述着色器包括从提供所述呈现对象的定义的增强现实程序接收指令，所述指令指定所述呈现对象应被绑定至用于呈现的传感器输入。

示例27是包括指令的至少一种机器可读介质，该指令在被所述机器执行使，使所述机器执行方法14-26中的任一项。

示例28是包括用于执行方法14-26中任一项的装置的***。

示例29是一种用于对呈现流水线的直接运动传感器输入的***，该***包括：用于经由至呈现流水线的输入端口从传感器接收视图参数的装置；用于将呈现对象指派给所述呈现流水线中的着色器的装置，所述呈现对象按照所述视图参数来定义，所述着色器每次专用于单个呈现对象；用于将所述视图参数应用于所述着色器来重新呈现所述呈现对象的装置；以及用于将所述重新呈现的呈现对象输出至输出互链路的装置，所述输出互链路提供用于显示所述重新呈现的呈现对象的指令。

在示例30中，示例29的主题任选地包括，其中所述传感器是提供以下中的至少一者的运动传感器：俯仰、偏转、翻滚或者向上、向下、向左、或向右的平移。

在示例31中，示例29-30中任何一个或多个的主题任选地包括，其中传感器是相机。

在示例32中，示例29-31中的任何一个或多个的主题任选地包括，其中所述视图参数是视点坐标或视角中的至少一者。

在示例33中，示例29-32中任何一个或多个的主题任选地包括，其中所述呈现对象是视觉对象。

在示例34中，示例29-33中任何一个或多个的主题任选地包括，其中所述呈现对象是可听对象。

在示例35中，示例29-34中任何一个或多个的主题任选地包括，其中所述着色器是着色器集合中的一者，其中所述呈现对象是呈现对象集合中的一者，并且其中所述呈现对象集合的基数大于所述着色器集合的基数。

在示例36中，示例35的主题任选地包括，其中所述着色器集合的基数处于五至十的范围内。

在示例37中，示例35-36中任何一个或多个的主题任选地包括，用于在程序在进行包括所述呈现对象和第二呈现对象两者的运行的同时在与所述呈现对象的不同时间将第二呈现对象指派给所述着色器的装置。

在示例38中，示例37的主题任选地包括，其中所述呈现对象和所述第二呈现对象在所设置时段内被交替地指派给所述着色器。

在示例39中，示例29-38中任何一个或多个的主题任选地包括，其中所述输入端口具有至少384千比特每秒的带宽。

在示例40中，示例29-39中任何一个或多个的主题任选地包括，其中所述输入端口位于连接至所述传感器的总线上。

在示例41中，示例29-40中任何一个或多个的主题任选地包括，其中将所述呈现对象指派给所述着色器包括用于从提供所述呈现对象的定义的增强现实程序接收指令的装置，所述指令指定所述呈现对象应被绑定至用于呈现的传感器输入。

示例42是包括用于对呈现流水线的直接运动传感器输入的至少一种机器可读介质，该指令在被机器执行时，使机器执行以下操作，包括：经由至呈现流水线的输入端口从传感器接收视图参数；将呈现对象指派给所述呈现流水线中的着色器，所述呈现对象按照所述视图参数来定义，所述着色器每次专用于单个呈现对象；将所述视图参数应用于所述着色器来重新呈现所述呈现对象；以及将所述重新呈现的呈现对象输出至输出互链路，所述输出互链路提供用于显示所述重新呈现的呈现对象的指令。

在示例43中，示例42的主题任选地包括，其中所述传感器是提供以下中的至少一者的运动传感器：俯仰、偏转、翻滚或者向上、向下、向左、或向右的平移。

在示例44中，示例42-43中任何一个或多个的主题任选地包括，其中传感器是相机。

在示例45中，示例42-44中的任何一个或多个的主题任选地包括，其中所述视图参数是视点坐标或视角中的至少一者。

在示例46中，示例42-45中任何一个或多个的主题任选地包括，其中所述呈现对象是视觉对象。

在示例47中，示例42-46中任何一个或多个的主题任选地包括，其中所述呈现对象是可听对象。

在示例48中，示例42-47中任何一个或多个的主题任选地包括，其中所述着色器是着色器集合中的一者，其中所述呈现对象是呈现对象集合中的一者，并且其中所述呈现对象集合的基数大于所述着色器集合的基数。

在示例49中，示例48的主题任选地包括，其中所述着色器集合的基数处于五至十的范围内。

在示例50中，示例48-49中任何一个或多个的主题任选地包括，其中操作包括在程序在进行包括所述呈现对象和第二呈现对象两者的运行的同时在与所述呈现对象的不同时间将第二呈现对象指派给所述着色器。

在示例51中，示例50的主题任选地包括，其中所述呈现对象和所述第二呈现对象在所设置时段内被交替地指派给所述着色器。

在示例52中，示例42-51中任何一个或多个的主题任选地包括，其中所述输入端口具有至少384千比特每秒的带宽。

在示例53中，示例42-52中任何一个或多个的主题任选地包括，其中所述输入端口位于连接至所述传感器的总线上。

在示例54中，示例42-53中任何一个或多个的主题任选地包括，其中将所述呈现对象指派给所述着色器包括从提供所述呈现对象的定义的增强现实程序接收指令，所述指令指定所述呈现对象应被绑定至用于呈现的传感器输入。

以上具体实施方式包括对附图的引用，附图形成具体实施方式的部分。附图通过图示来示出可实践的特定实施例。这些实施例在本文中也被称为“示例”。此类示例可包括除所示出或所描述的那些元件以外的元件。然而，本申请发明人还构想其中只提供所示或所描述的那些元素的示例。而且，本申请发明人还构想相对于特定示例(或者其一个或多个方面)或者相对于本文中所示或所描述的其他示例(或者其一个或多个方面)使用所示或所描述的那些元素(或者其一个或多个方面)的组合或置换的示例。

本文献中所涉及的所有公开、专利、和专利文献通过引用整体结合于此，好像通过引用单独地结合。本文献和通过引用所结合的那些文献之间的不一致的用法的情况，在结合的引用中的用法应当被认为是对本文献的用法的补充；对于不可调和的不一致，以本文献中的用法为准。

在此文档中，如在专利文档中常见的那样，使用术语“一(a或an)”以包括一个或多于一个，这独立于“至少一个”或“一个或多个”的任何其他实例或用法。在此文档中，使用术语“或”来指非排他性的“或”，使得除非另外指示，“A或B”包括“A但非B”、“B但非A”、以及“A和B”。在所附权利要求书中，术语“包括(including)”和“其中(in which)”被用作相应的术语“包括(comprising)”和“其中(wherein)”的普通英语等价词。”此外，在所附权利要求书中，术语“包括”和“包含”是开放式的，也就是说，在权利要求中除此类术语之后列举的那些元件之外的元件的***、设备、制品或过程仍被视为落在那项权利要求的范围内。此外，在所附权利要求书中，术语“第一”、“第二”、“第三”等仅用作标记，而不旨在对他们的对象施加数值要求。

以上描述旨在是说明性的，而非限制性的。例如，上述示例(或者其一个或多个方面)可相互组合使用。诸如，本领域普通技术人员中的一个可通过回顾以上描述来使用其他实施例。摘要用于允许读者快速地确认本技术公开的性质，并且提交此摘要需理解：它不用于解释或限制权利要求书的范围或含义。此外，在以上具体实施方式中，各种特征可共同成组以使本公开流畅。但这不应被解释为意指未要求保护的所公开特征对任何权利要求而言是必要的。相反，发明性主题可在于少于特定的所公开实施例的所有特征。因此，所附权利要求在此被结合到具体实施方式中，其中每项权利要求独立成为单独实施例。各实施例的范围应当参考所附权利要求连同这些权利要求赋予的等同物的全部范围而确定。

Claims (25)

1.一种用于对呈现流水线的直接运动传感器输入的组件，所述组件包括：

输入端口，所述输入端口用于从传感器接收视图参数；

处理器，所述处理器用于将呈现对象指派给所述呈现流水线中的着色器，所述呈现对象按照所述视图参数来定义，所述着色器每次专用于单个呈现对象；

所述着色器，所述着色器用于应用所述视图参数来重新呈现所述呈现对象；以及

输出端口，所述输出端口用于将所述重新呈现的呈现对象输出至输出互链路，所述输出互链路提供用于显示所述重新呈现的呈现对象的指令。

2.如权利要求1所述的组件，其特征在于，所述传感器是用于提供以下中的至少一者的运动传感器：俯仰、偏转、翻滚或者向上、向下、向左、或向右的平移。

3.如权利要求1所述的组件，其特征在于，所述视图参数是视点坐标或视角中的至少一者。

4.如权利要求1所述的组件，其特征在于，所述呈现对象是视觉对象。

5.如权利要求1所述的组件，其特征在于，所述呈现对象是可听对象。

6.如权利要求1所述的组件，其特征在于，所述着色器是着色器集合中的一者，其中所述呈现对象是呈现对象集合中的一者，并且其中所述呈现对象集合的基数大于所述着色器集合的基数。

7.如权利要求6所述的组件，其特征在于，所述着色器集合的基数处于五至十的范围内。

8.如权利要求6所述的组件，其特征在于，所述处理器用于在程序在进行包括所述呈现对象和第二呈现对象两者的运行的同时在与所述呈现对象的不同时间将所述第二呈现对象指派给所述着色器。

9.如权利要求8所述的组件，其特征在于，所述呈现对象和所述第二呈现对象在所设置时段内被交替地指派给所述着色器。

10.如权利要求1所述的组件，其特征在于，所述输入端口位于连接至所述传感器的总线上。

11.如权利要求1所述的组件，其特征在于，用于将所述呈现对象指派给所述着色器包括所述处理器用于从提供所述呈现对象的定义的增强现实程序接收指令，所述指令指定所述呈现对象应被绑定至用于呈现的传感器输入。

12.一种用于对呈现流水线的直接运动传感器输入的方法，所述方法包括：

经由至呈现流水线的输入端口从传感器接收视图参数；

将呈现对象指派给所述呈现流水线中的着色器，所述呈现对象按照所述视图参数来定义，所述着色器每次专用于单个呈现对象；

将所述视图参数应用于所述着色器来重新呈现所述呈现对象；以及

将所述重新呈现的呈现对象输出至输出互链路，所述输出互链路提供用于显示所述重新呈现的呈现对象的指令。

13.如权利要求12所述的方法，其特征在于，所述传感器是提供以下中的至少一者的运动传感器：俯仰、偏转、翻滚或者向上、向下、向左、或向右的平移。

14.如权利要求12所述的方法，其中所述传感器是相机。

15.如权利要求12所述的方法，其特征在于，所述视图参数是视点坐标或视角中的至少一者。

16.如权利要求12所述的方法，其特征在于，所述呈现对象是视觉对象。

17.如权利要求12所述的方法，其特征在于，所述呈现对象是可听对象。

18.如权利要求12所述的方法，其特征在于，所述着色器是着色器集合中的一者，其中所述呈现对象是呈现对象集合中的一者，并且其中所述呈现对象集合的基数大于所述着色器集合的基数。

19.如权利要求18所述的方法，其特征在于，所述着色器集合的基数处于五至十的范围内。

20.如权利要求18所述的方法，其特征在于，包括在程序在进行包括所述呈现对象和第二呈现对象两者的运行的同时在与所述呈现对象的不同时间将所述第二呈现对象指派给所述着色器。

21.如权利要求20所述的方法，其特征在于，所述呈现对象和所述第二呈现对象在所设置时段内被交替地指派给所述着色器。

22.如权利要求12所述的方法，其特征在于，所述输入端口具有至少384千比特每秒的带宽。

23.如权利要求12所述的方法，其特征在于，所述输入端口位于连接至所述传感器的总线上。

24.如权利要求12所述的方法，其特征在于，将所述呈现对象指派给所述着色器包括从提供所述呈现对象的定义的增强现实程序接收指令，所述指令指定所述呈现对象应被绑定至用于呈现的传感器输入。

25.包括指令的至少一种机器可读介质，所述指令在被所述机器执行时，使所述机器执行方法12-24中的任一项。