CN109416842B - 在虚拟现实和增强现实中的几何匹配 - Google Patents

Abstract

用于虚拟现实(VR)或增强现实(AR)输出与格式化用于在2D屏幕上显示的视频输出同时进行几何匹配的方法、装置和***，其包括值集的确定，该值集在图像处理中使用时使得AR输出对象或VR输出对象中的至少一个的屏幕外角度视场与屏幕上的对象或2D屏幕的角度视场的至少一个具有固定关系。AR/VR输出对象被输出到AR/VR显示器设备，并且通过AR/VR显示器设备上观察到的对象与出现在2D屏幕上的对应对象之间的几何匹配来改进用户体验。

Description

在虚拟现实和增强现实中的几何匹配

相关申请的交叉引用

本申请要求2016年5月2日提交的序号为62/330,708的美国临时专利申请的优先权，该申请的全部内容通过引用并入本文。

技术领域

本公开涉及用于通过计算机配置用于在几何上和时间上与用于在二维屏幕上显示的同时期的电影输出相协调的虚拟现实或增强现实输出的数字数据的方法和装置。

背景技术

“虚拟现实”为一种术语，已经用于模拟在三维(3D)世界中沉浸的各种类型的内容，包括例如各种视频游戏内容和动画电影内容。在某些类型的虚拟现实中，用户可通过控制虚拟摄像机的位置和取向来导航通过基于计算机模型生成的3D环境的模拟，该虚拟摄像机定义二维显示屏幕上显示的2D场景的视点。这些技术的变型有时被称为“增强现实”。在增强现实设定中，显示技术显示由一个或多个数字对象或覆盖物“增强”的用户周围环境的组合。增强现实内容可用于诸如提供关于在用户周围可见的对象或人的文本“抬头”信息、将虚拟对象***真实环境、使用户或环境与***对象交互，或者将用户周围环境的整个外观变换成与用户真实环境兼容的幻想环境的应用。

虚拟现实(VR)和增强现实(AR)已经应用于各种类型的沉浸式视频立体演示技术，包括例如立体虚拟现实头盔。头盔和其他演示方法使用户沉浸在3D场景中。头盔中的镜头透镜使用户能够专注于安装在头盔中距离用户眼睛仅几英寸的轻巧分体式显示屏幕。分割显示的不同侧显示视频内容的左右立体视图，而用户的***视图被阻挡。在另一种类型的头盔中，使用两个单独的显示器分别向用户的左眼和右眼显示不同的图像。在另一种类型的头盔中，显示器的视场包括眼睛的整个视场，包括周边视图。在另一种类型的头盔中，使用可控制的小型激光器、镜子或透镜将图像投影在用户的视网膜上。无论哪种方式，头盔都使用户能够更像沉浸在真实场景中一样体验显示的虚拟现实内容。在增强现实(AR)内容的情况下，观看者可体验增强内容，就好像它为增强真实场景的一部分或放置在增强真实场景中一样。

可通过头盔中检测用户头部运动的运动传感器来提供或增强这些沉浸式效果，并且相应地调整视频显示器。通过将他的头部转向一侧，用户可看到虚拟现实场景转向一侧；通过向上或向下转动他的头部，用户可在虚拟现实场景中向上看或向下看。头盔还可包括跟踪传感器，其检测用户头部和/或身体的位置，并且相应地调整视频显示器。通过倾斜或转动，用户可从不同的角度看到虚拟现实场景。这种对头部运动、头部位置和身***置的响应性极大地增强头盔可实现的沉浸式效果。可向用户提供被放置在虚拟现实场景内或“沉浸”在虚拟现实场景中的印象。如本文所用，“沉浸式”通常包括VR和AR两者。

沉浸式头盔和其他可佩戴沉浸式输出设备对于各种类型的游戏尤其有用，这些游戏涉及当用户使用头部运动、用户身体的位置或取向、头部、眼睛、手、手指、脚或其他身体部位和/或其他输入来控制一个或多个虚拟摄像机时，用户对由渲染引擎生成的建模环境的探索。为了提供沉浸式体验，用户需要感知到与现实交互时在某种程度上类似于人类视觉知觉的运动自由。为VR制作的内容可使用为各种类型的视频游戏开发的实时渲染技术来提供这种体验。内容可被设计为具有定义的边界和规则的三维计算机模型，用于渲染为视频输出。该内容可通过立体技术来增强，以提供立体输出，有时称为“3D”，并且与响应于VR头盔的移动来管理渲染过程的VR应用相关联，以产生最终的VR体验。用户体验非常类似于被放置在渲染的视频游戏中。

在其他类型的VR和AR中，模拟的3D环境可主要用于讲述故事，更像传统的戏剧或电影。在这种类型的VR或AR中，添加的视觉效果可增强故事的叙事元素或特效的深度和丰富度，而不会让用户完全控制(或任何控制)叙事本身。然而，使用VR或AR器材或方法体验类似于电影内容的任何东西的技术处于非常早期的发展阶段。用于叙事内容体验的AR和VR技术的实际实施方式尚未具有商业意义。

因此，期望开发用于掌握VR和AR使用的电影内容的新方法和其他新技术，其克服现有技术的这些和其他限制并且增强对新沉浸式技术诸如VR和AR的叙事内容的吸引和享受。

发明内容

本发明内容和以下详细描述应被解释为综合公开的补充部分，这些部分可包括冗余主题和/或补充主题。任一部分中的省略都不表示综合申请中描述的任何元素的优先权或相对重要性。这些部分之间的差异可包括替代实施例的补充公开、附加细节或使用不同术语的相同实施例的替代描述，如从各自的公开内容中显而易见的。

在本公开的一个方面，一种计算机实施的方法包括接收数字电影主数据，该数字电影主数据包括AR或VR数据中的至少一个，用于与格式化用于在2D屏幕上显示的视频数据同时地显示AR输出对象或VR输出对象中的一个。视频数据可为2D视频数据，或者用于在2D屏幕上显示的3D(立体)视频数据。VR输出设备可在VR显示器中的虚拟屏幕上输出VR数据和视频数据两者，或者AR输出设备可在与在屏幕上显示视频数据的单独显示器设备同时协调地在AR显示器中输出AR数据。

在一个方面，该方法可包括确定指示2D屏幕或出现在其上的对象的角度视场的中的至少一个相对于AR输出设备或VR输出设备中的至少一个的第一值集，并且确定指示2D屏幕与AR输出设备或VR输出设备中的至少一个之间的最短当前距离的第二值集。该方法可包括计算第三值集，该第三值集用于使得AR输出对象或VR输出对象中的至少一个的屏幕外角度视场与屏幕上对象或2D屏幕的角度视场中的至少一个具有固定关系。该计算可至少部分地基于第一值集和第二值集。该方法可包括输出用于显示具有屏幕外角度视场的AR输出对象或VR输出对象中的至少一个的数据。

在其他方面，该方法可包括确定AR输出设备或VR输出设备中的至少一个相对于2D屏幕的取向和位置中的至少一个。计算屏幕外角度视场可进一步基于取向和位置中的至少一个。另外，该方法可包括确定AR输出对象或VR输出对象中的至少一个相对于2D屏幕的取向和位置中的至少一个。在这种情况下，计算屏幕外角度视场可进一步基于取向和位置中的至少一个。另外，计算屏幕外角度视场可进一步基于满足数字电影主数据的一部分的定义的知觉标准，例如，针对单个场景或相关场景集。在一个方面，知觉标准可包括根据选自以下的关系来指定AR输出对象或VR输出对象中的至少一个相对于匹配类型的相关屏幕上对象的感知尺寸：基本上大于、基本上小于或基本上等于。在另一方面，该方法可包括基于数字电影主数据的不同部分之间的转换来改变知觉标准。

在其他方面，数字电影主数据至少包括VR数据，并且VR输出设备将格式化用于在2D屏幕上显示的视频数据进行渲染，该2D屏幕为虚拟2D屏幕。在相关方面，确定第一值集可包括从计算机存储器读取2D屏幕或出现在其上的对象的角度视场的预设值。在相关方面，确定第二值集可包括从计算机存储器读取2D屏幕和VR输出设备之间的最短当前距离的预设值。该方法可包括，例如，配置虚拟2D屏幕和周围虚拟环境以从VR输出设备输出，使得到2D屏幕的感知距离基本上匹配预设值。

在其他方面，数字电影主数据至少包括AR数据，并且与AR输出设备不同的设备(例如，投影仪、电视、膝上型计算机、记事本计算机或智能手机)将格式化用于在2D屏幕上显示的视频数据进行渲染，该2D屏幕为真实2D屏幕。在这种情况下，确定第一值集可包括至少部分地使用耦合到AR输出设备的传感器测量2D屏幕或出现在其上的对象的角度视场。另外，确定第二值集可包括至少部分地使用耦合到AR输出设备的传感器来测量2D屏幕和AR输出设备之间的最短当前距离。

通过在非暂时性计算机可读介质中编码的所提供的程序指令，可在任何合适的可编程计算装置中实施任何前述方法，当由计算机处理器执行时，该程序指令使得该装置执行所描述的操作。一种装置可包括用于视频制作或安装在电影院或家庭剧院中的计算机或一组连接的计算机。该装置的其他元件可包括例如参与该方法的执行的显示屏幕、音频输出设备和用户输入设备。一种装置可包括虚拟现实设备，诸如头盔或其他显示器，其对用户的头部或身体的运动做出反应以提供被放置在玩游戏的渲染场景内的印象。

为了实现前述和相关目的，一个或多个示例包括在下文中充分描述并在权利要求中特别指出的特征。以下描述和附图详细阐述某些说明性方面，并且仅指示可采用示例的原理的各种方式中的一些方式。当结合附图和所公开的示例考虑时，其他优点和新颖特征将从以下详细描述中变得显而易见，这些附图和所公开的示例包含所有这些方面及其等同物。

附图说明

当结合附图时，从下面阐述的详细描述中，本公开的特征、性质和优点将变得更加明显，附图中相同的附图标记在整个说明书和附图中对应地标识相同的元件。

图1为示出用于产生和配置用于耦合到分发***的虚拟现实或增强现实输出的数字数据的***和装置的各方面的示意框图。

图2为示出用于输出虚拟现实或增强现实内容的装置的更详细方面的示意框图。

图3为示出从不同观看者的角度观看协调的沉浸式和非沉浸式内容的各方面的示意图。

图4为示出用于在电影院或家庭剧院设定中向多个用户输出沉浸式内容的***的元件的概念图。

图5A为示出保持具有预定叙事的音频-视频数据的媒体包的各方面的框图，其中附加内容与预定义叙事协调并且经配置用于提供替代输出。

图5B为示出包括沉浸式和非沉浸式内容的协调输出的内容显示***的各方面的框图。

图6为示出用于提供沉浸式VR体验的立体显示器设备的组件的示意图。

图7为示出考虑用于多用户VR或AR的电影院或家庭剧院空间的组件和概念的图。

图8A为示出向提供电影体验的AR或VR输出设备供应VR或AR数据的元件的流程图。

图8B为示出用于协调在电影院或家庭剧院设定中提供到多个用户的沉浸式内容的***的元件的概念图。

图9A至图9C示出播放空间(例如，剧院或家庭电影院)的几何元件的图，几何元件适合于将VR或AR数据与二维(2D)数据同时供应到用户的播放空间用于在屏幕等上显示。

图10为示出在保持屏幕的角度尺寸恒定的同时改变用于屏幕的屏幕距离的各方面的图。

图11为示出使用摄像机对场景成像的各方面的图。

图12为示出用于AR或VR中的几何匹配的方法的流程图。

图13至图15为示出图12中所图示方法的进一步任选方面或操作的流程图。

图16为示出用于AR或VR中的几何匹配的装置或***的组件的概念框图。

具体实施方式

现在参考附图描述各个方面。在以下描述中，出于解释的目的，阐述许多具体细节以便提供对一个或多个方面的透彻理解。然而，显而易见的是，可在没有这些具体细节的情况下实践各个方面。在其他示例中，为了便于描述这些方面，以框图形式示出公知的结构和设备。

图1中示出用于与非沉浸式内容(例如，具有音频的2D视频、具有音频的立体3D视频、非沉浸式视频游戏)协调地生产和分发沉浸式内容(例如，AR和VR)的说明性***100。***100可包括生产活动集102，该生产活动集生产在底层创意内容的相关不同版本(沉浸式和非沉浸式)之间以不同方式共享和使用的资产。创意内容包括例如由各种摄像机***(CAM)112、112收集的视频数据、由音频子***(未示出)收集和/或生成的音频数据，以及从各种建模/动画子***108、110创建和排列的计算机建模/动画数据。创意内容可被存储在数据存储106中。应理解，该***可包括若干不同的数据存储(未示出)。生产服务器组件104可包括在计算机网络上运行的一系列生产应用，可在经由多个访问终端118、116控制生产过程的各种生产人员的控制下访问数据存储106中的数据。***100中所示的组件的数量仅仅为说明性的。应理解，典型的故事片或其他演播室制作***通常将包括比图示的组件的数量大得多的组件。创意总监和技术总监负责监督经配置用于沉浸式输出设备和更传统的非沉浸式设备的来自各种数据源的创意内容的组装。

由***产生的数字内容可包括相同故事的各种版本，例如2D剧院版本；2D家庭剧院版本；移动设备版本；用于剧院、家庭或移动设备中的一个或多个的立体3D版本、用于剧院体验的VR版本，可选地结合支持2D或立体3D内容，用于家庭使用的VR版本，同样可选地用于非沉浸式内容；用于补充剧院中的非沉浸式内容的AR版本、用于补充家庭剧院环境或移动设备格式中的非沉浸式内容的AR版本，以及以前述输出格式中的一种或多种的视频游戏内容。可将各种版本中的每一个中的完成的产品提供到家庭分发服务器120，家庭分发服务器120可将不同版本与用于管理使用和分发的元数据相关联地存储在内容数据存储(未示出)中。至少一组消费者可在单个数字内容(媒体)包中接收多个版本的沉浸式和非沉浸式内容，无论是在网络服务120的控制下存储，还是在诸如光盘或存储设备的计算机可读介质上本地存储。

可使用每个分配其自身服务器资源的不同分发信道来向不同的最终用户组提供内容。例如，电影院分发服务器130可将沉浸式和传统内容分发到电影院以用于公共表演。为了说明清楚，图示潜在的许多电影院的一个电影院140。每个电影院140可包括用于将数字内容分发到一个或多个剧院的至少一个服务器134，每个剧院主办一场演出。每个剧院(或者剧院，如果仅单个剧院由服务器143提供)包括电影屏幕136和一个或多个观众，每个观众都佩戴沉浸式内容消费设备132、138，例如，VR护目镜或AR头盔。因此，相同的基础音频-视频节目可以不同版本分发以供家庭和电影使用。家庭和电影版本都可包括协调不同沉浸式设备的技术元素，同时以沉浸式格式播放音频-视频节目。另外，两个版本都可包括将沉浸式内容的播放与同时或非同时内容播放相协调的元素。

在一些实施例中，保持协调的沉浸式和非沉浸式内容的媒体包可以为单个计算机可读介质(例如，光盘介质或闪存设备)，或可包括单个计算机可读介质，其中打包的数字内容存储在一起。非暂时性、有形和便携式存储介质的分发可降低网络带宽需求并且确保消费设备可靠且无缝地访问密集数字内容。在一些实施例中，可通过从保持数字内容的电子副本以便写入数字副本的选定信息亭的分发来实现对有形介质的快速分发。在替代方案中，此类信息亭可利用高带宽连接来获得用于分发的电子内容。在其他实施例中，包括例如用于电影院分发，电子内容可通过通信网络和/或计算机网络传输，并且直接存储在连接到客户端设备或与客户端设备集成的存储器设备或介质上，该客户端设备将参与接收内容的回放。

参考图2，示出用于消费VR或AR内容的内容消费装置200的各方面。家庭剧院或电影院演示的若干观众可配备内容消费设备。装置200可包括例如处理器202、例如基于由Intel^TM或AMD^TM设计的80x86架构的中央处理单元、由ARM^TM设计的片上***，或任何其他合适的微处理器。处理器202可使用总线或其他耦合通信地耦合到3D环境装置200的辅助设备或模块。可选地，处理器202及其耦合的辅助设备或模块中的一些或全部(其示例在204至216处示出)可容纳在壳体218内或耦合到壳体218，例如，具有个人计算机、游戏机、智能手机、记事本计算机、笔记本计算机、机顶盒、可佩戴式谷歌眼镜、眼镜或护目镜的形状因子或其他形状因子的壳体。

用户接口设备204可耦合到处理器202，用于向由在处理器202上执行的VR或AR沉浸式显示引擎操作的沉浸式内容显示过程提供用户控制输入。用户控制输入可包括，例如，来自图形用户界面的选择或经由触摸屏、键盘、定点设备(例如，游戏控制器)、麦克风、运动传感器、摄像机或这些或其他输入设备的某种组合生成的其他输入(例如，文本命令或方向命令)。还可经由耦合到处理器202的传感器206提供控制输入。传感器可包括例如运动传感器(例如，加速度计)、位置传感器、生物测定温度或脉冲传感器、位置传感器(例如，全球定位***(GPS)接收器和控制器)、例如，诸如可从品牌Kinect^TM旗下的Microsoft^TM获得的多摄像机跟踪传感器/控制器、眼睛跟踪传感器或麦克风。传感器206可检测用户界面显示的运动或其他状态，例如，虚拟现实头盔的运动，或者用户的身体状态，例如，面部表情、皮肤温度、瞳孔扩张、呼吸速率、肌肉张力、神经***活动或脉搏。

装置200可任选地包括耦合到处理器202的输入/输出端口208，以实现VR/AR引擎和计算机网络(例如电影内容服务器或家庭剧院服务器)之间的通信。例如，可使用此类通信来实现多玩家VR或AR体验，包括但不限于对电影内容的共享沉浸式体验。该***还可用于非电影多用户应用，例如社交网络、团体娱乐体验、教学环境、视频游戏等。

显示器220可例如经由集成在处理器202中或单独的芯片中的图形处理单元(未示出)耦合到处理器202。显示器210可包括例如由发光二极管(LED)或其他灯照明的平板彩色液晶(LCD)显示器、由LCD显示器或数字光处理(DLP)单元驱动的投影仪、激光投影仪或其他数字显示器设备。显示器设备210可结合到虚拟现实头盔或其他沉浸式显示***中。由在处理器202上操作的VR/AR沉浸式显示引擎驱动的视频输出，或者用于将用户输入与沉浸式内容显示协调和/或生成显示的其他应用，可被提供到显示器设备210并且作为视频显示输出到用户(本文也称为“玩家”)。类似地，扩音器/扬声器或其他音频输出换能器222可经由音频处理***耦合到处理器202。与视频输出相关并且由VR/AR显示引擎或其他应用生成的音频输出可被提供到音频换能器222并作为可听声音输出到用户。

3D环境装置200可进一步包括保持程序指令和数据的随机存取存储器(RAM)214，该程序指令和数据用于在控制3D环境期间由处理器快速执行或处理。当装置200断电或处于非活动状态时，程序指令和数据可被存储在长期存储器中，例如，非易失性磁性、光学或电子存储器存储设备216中。RAM 214或存储设备216中的任何一个或两个可包括保持程序指令的非暂时性计算机可读介质或存储器，该程序指令在由处理器202执行时使得装置200执行如本文所述的方法或操作。程序指令可被以任何合适的高级语言进行编码，例如C、C++、C#或Java^TM，并且被编译以产生用于由处理器执行的机器语言代码。程序指令可被分组为功能模块，以便于编码效率和可理解性。应理解，此类模块，即使可辨别为源代码中的划分或分组，也不一定可区分为机器级编码中的单独代码块。针对特定类型的功能的代码包可被认为包括模块，而不管包上的机器代码是否可独立于其他机器代码执行。换句话说，模块可仅为高级模块。

沉浸式内容可在电影院和家庭剧院设置中与非沉浸式内容一起播放，以增强在2D屏幕上显示且根本不使用任何器材或立体观看眼镜观看的常规内容。混合沉浸式和非沉浸式媒体，其一种形式包括用于与格式化用于在2D屏幕上显示的视频数据同时显示AR输出对象或VR输出对象中的一个的AR或VR数据中的至少一种，混合沉浸式和非沉浸式媒体在本文中被称为“混合媒体”、“混合AR或VR加2D媒体”或类似措辞。出于多种原因，混合媒体可能成为沉浸式和非沉浸式内容两者的重要使用案例。其中一种是，适当地完成的戏剧艺术混合媒体比纯粹的沉浸式内容更具多功能性，因为戏剧性内容既可在屏幕上以传统方式享受，也可使用AR设备与屏幕一起增强，或者使用VR装置和虚拟屏幕进行。这种多功能性可奖励混合媒体内容的制作者比制作单一平台内容更大的经济机会。此外，即使AR或VR成为主导，一些消费者因为各种原因仍然可能更喜欢消费2D内容，而不佩戴沉浸式装备，其中一些原因很难预见，并且将取决于AR和VR技术和消费者的口味如何发展，等等。尽管如此，在可预见的未来，高质量、高分辨率VR内容的制作和发行成本可能会限制其增长，并且使得大量内容主要针对2D屏幕而被制作。与此同时，AR和VR在未来几十年可能会变得更加重要，并且在某些不确定时期内与2D屏幕共存。AR或VR平台将取代2D屏幕的速度和程度无法准确预测，并且预计消费者对混合媒体的需求将至少持续一段过渡期。

图3示出在由多个用户314、316和318共享的观看空间300中使用AR或VR的增强内容的各方面。佩戴AR头盔的第一用户314部分地在屏幕302上并且部分地在围绕屏幕302的增强视图体积304中观看内容对象310(“树”)。第二用户316正在用“裸眼”而没有用器材来查看屏幕302，并且仅看到如屏幕302上所描绘的对象310的部分视图。除了屏幕302周围区域中的真实物理环境(例如，电影院或房间)之外，第二用户316看不到任何东西。

使用VR头盔的第三用户318根本看不到屏幕302。相反，第三用户看到在屏幕302中显示的对象310的等效内容对象312。对象312可位于用户的VR空间306中处于相对于用户318的位置，该位置与对象310相对于用户314、用户316的位置(即，主观地放置)接近等效。因此，所有用户314、用户316和318可共享至少在屏幕302上播放的内容的体验，而配备有AR或VR输出设备的用户314和用户318可在未配备AR输出设备或VR输出设备的用户316仅在屏幕302上观看内容的同时享受增强的内容。配备AR的用户314和配备VR的用户318都可观看出现在屏幕的前面、上面、下面或侧面的对象。例如，配备AR的用户314可看到龙320，而配备VR的用户318看到等效的龙322。在所示的示例中，每个用户在他们自己的参照系中看到仅沉浸式对象320、仅沉浸式对象322，在本文称为主观显示。

2D屏幕上的输出与VR输出的协调可提供若干益处，这些益处不为立即显而易见的。例如，配备VR或配备AR的观众成员和未配备VR或AR的观众成员可一起分享观看体验，增加在分享体验之前、分享体验期间和分享体验之后的用于社交互动的机会。此外，发现VR体验过于情绪紧张或者体验诸如眩晕的不愉快的感觉的观众成员可暂时摘下他们的头盔而不会中断他们对故事的观看。另选地或附加地，可配备VR或AR头盔以在不中断播放的情况下在沉浸式模式和非沉浸式模式之间轻松切换。然而，此类切换不会解决用户可能希望在表演期间移除沉浸式装备的所有原因。观众可能会出于其他原因期望暂时摘下头盔，诸如与另一名观众互动、享用小吃、调整配件、减轻头部重量、冷却头部，或者在2D屏幕上跟随动作的同时步行到洗手间或小卖部。

剧院所有者的另一个益处为能够在同一设施内容纳不同级别的票价。目前，例如，支付较高票价以享受立体3D内容的观众必须与支付较低价格以享受2D内容的观众安置在不同的剧院中，这需要昂贵的物理设施复制。在协调的2D加AR或VR***中，剧院运营商可实施分级定价以在同一观看室中观看内容。例如，运营商可收取进入剧院的基本票价，将顾客的AR或VR器材连接到剧院的沉浸式数据流的单独费用，以及将AR或VR设备租赁到没有自带器材的顾客的另一单独费用。

参考图4，以框形式示出用于提供沉浸式和非沉浸式内容的***400。***400的元件包括耦合到数据分发服务器422的数据源408。在电影院或家庭剧院应用中，一个或多个沉浸式输出设备(例如VR沉浸式输出设备404和AR沉浸式输出设备406)与服务器422通信。每个输出设备可耦合到对应的用户输入设备405、用户输入设备407。用户输入设备405、用户输入设备407可包括耦合到用户身体的一个或多个位置、取向、生物测定或运动传感器，和/或可通过用户操纵或其他身体输入操作的控制面板。来源于此类传感器的信息可提供到服务器422的组件。与向输出设备404、输出设备406提供数据流的同时，服务器422还可向投影仪420或其他2D显示器设备(例如电子显示屏幕)提供数据流。

服务器422可从数据源408获得各种类型的数据。这些类型可包括2D数据412(例如数字视频文件或流式馈送)、用于在真实或虚拟屏幕上显示的音频数据(未示出)、用于使用AR输出设备406增强2D数据的AR数据414、用于使用VR输出设备404提供并行或补充娱乐体验的VR数据416，以及用于管理来自服务器422的上述数据分发的分发应用418。服务器422可执行应用418，应用418在被执行时可提供各种功能模块。模块可包括分发模块424，其用于管理与多个输出设备的通信以及向多个输出设备的分发。模块可包括解密和解码模块426，其用于管理内容安全性并以设备可用形式提供流数据。模块可包括用于维持流式传输到不同输出设备的娱乐内容之间的协调的内容协调模块428，用于例如在交互式内容的情况下使得能够针对特定输出设备定制内容的定制模块430。模块可包括度量模块432，度量模块432用于收集来自沉浸式输出设备404、沉浸式输出设备406的反馈，该反馈可匿名化并且用于分析使用模式，目的是为沉浸式输出、跟踪用户偏好或其他目的提供更有效和引人注目的内容。

可为沉浸式和非沉浸式输出设备产生由例如电影脚本表示的叙事内容。参考图5A，示出在媒体包502中打包沉浸式和非沉浸式内容的一般方面500。媒体包502可为特定物品或可包括特定物品，诸如计算机可读光盘或存储设备。替代地，包502可为或可包括在服务器上维护的一组数据，对该组数据的访问权限被授予特定用户帐户。在任何一种情况下，如媒体包502所例示的沉浸式和非沉浸式内容的组合被设计成吸引希望在不同设备上获得对沉浸式内容508和非沉浸式内容510的访问的消费者，无论是在家中还是在公共剧院。例如，消费者可能希望在移动或更大设备的视频显示屏幕上看非沉浸式内容510，以及使用提供对VR或AR内容的访问的头盔或其他设备观看沉浸式内容508。

可根据非沉浸式叙事506(例如，传统脚本)来记录非沉浸式内容510。可根据沉浸式叙事规则集504(例如某种分支叙事)记录沉浸式内容508，或者替代地，根据与非沉浸式内容相同的脚本来记录沉浸式内容508。沉浸式叙事规则集504和非沉浸式叙事506两者都可为叙事主干的表述。例如，叙事主干可包括整个叙事规则集504，而非沉浸式叙事506可为主干512的子集，仅包含以特定叙事序列排列的选定关键叙事事件。

在一个方面，可通过并行回放来协调沉浸式内容508和非沉浸式内容510以供消费。图5B示出使用协调输出设备的并行消耗501的各方面。不同的输出设备可从公共源获得内容，例如从内容服务器经由电影院或家庭剧院中的局域网或无线局域网获得内容。用于非沉浸式内容的第一输出设备可包括2D显示屏幕526。第二输出设备528可经配置用于提供AR或VR。不同的输出设备526、输出设备528可由相同的用户530使用，或者由占用共享空间的不同用户(未示出)使用。

数据源可从媒体包供应至少三种类型的数据：2D或立体3D帧数据516、VR或AR数据520，以及将帧数据516和VR/AR数据520相关的映射518。映射518的使用可根据来自屏幕输出控制器522的屏幕几何数据512和定义视图空间514的几何数据(例如，来自VR/AR输出设备528中的传感器的观看者530相对于显示屏幕526的位置和取向)而改变。屏幕输出控制器522可以常规方式播放帧数据，用于在显示屏幕526上输出。当观看显示屏幕526上的输出时，用户还可观看VR/AR设备528上的输出。在VR模式中，输出设备528可复制屏幕526上的视图并且添加附加周围图像和交互式内容。在AR模式中，输出设备528可用周围图像或交互式内容来增强显示器526。使用键入到媒体包中的非沉浸式内容的VR或AR内容，适当配备的用户因此相对于显示在显示屏幕526上的内容可大大扩展与叙事内容相关的观看区域和可体验的交互式对象的数量。VR/AR输出控制器524可经由映射518和几何数据512、几何数据514保持VR或AR输出与帧数据516的播放同步。VR/AR输出控制器524还可生成用于控制触觉输出设备532(例如振荡器或气动激活的压力储存器)的信号。

本文描述的任何特征可由用于响应于用户输入提供3D环境的应用来执行，该用户输入产生用于沉浸式VR头盔等的VR输出。图6为示出可以各种形状因子提供一种类型的沉浸式VR立体显示器设备600的示意图，其中设备600仅提供一个示例。创新的方法、装置和***不必限于沉浸式VR显示器的特定形状因子，而是可用在视频输出设备中，该视频输出设备使用户能够控制在设备上播放的视频内容的位置或视点。同样，VR或AR输出设备可管理在设备上播放的音频内容的音频位置或视点。沉浸式VR立体显示器设备600表示为消费者使用而设计的相对低成本设备的示例。

沉浸式VR立体显示器设备600可包括由不透明的轻质结构材料(例如，刚性聚合物、铝或纸板)制成的平板支撑结构，该板支撑结构经配置用于支撑并允许包括高分辨率显示屏幕(例如LCD显示器)的便携式平板计算机或智能手机设备的可移除放置。这种模块化设计可避免对视频输出专用电子组件的需求，从而大大降低成本。设备600被设计成靠近用户的脸部佩戴，从而能够使用小屏幕尺寸实现宽视场，诸如当前手持平板计算机或智能手机设备中常见的小屏幕尺寸。支撑结构626可为相对于显示屏幕612保持的一对透镜622提供固定安装。透镜可被配置成使用户能够舒适地聚焦在可保持距用户眼睛大约一英寸至三英寸的显示屏幕612上。

设备600可进一步包括观察护罩(未示出)，该观察护罩耦联到支撑结构626并且由柔软、柔性或其他合适的不透明材料构成，用于形成与用户面部的配合并阻挡外部光。护罩可配置成确保用户的唯一可见光源为显示屏幕612，增强使用设备600的沉浸式效果。屏幕分隔器可用于将屏幕612分离成独立驱动的立体区域，立体区域中的每个仅通过对应的透镜622中的一个可见。因此，沉浸式VR立体显示器设备600可用于提供立体显示输出，从而为用户提供更真实3D空间知觉。两个单独的显示器也可用于分别向用户的左眼和右眼提供独立的图像。应理解，本技术可用于但不必限于立体视频输出。

沉浸式VR立体显示器设备600可进一步包括用于定位在用户的鼻子上的桥(未示出)，以便于透镜622相对于用户的眼睛的精确定位。设备600可进一步包括弹性带条或带624，或用于围绕用户头部装配并将设备600保持在用户头部的其他头饰。

沉浸式VR立体显示器设备600可包括与用户的头部630相关的显示和通信单元602(例如，平板计算机或智能手机)的附加电子组件。支撑结构604使用有弹性和/或可调节的约束设备624(例如可调节的头盔)保持显示和通信单元602，以提供舒适且牢固的贴合配合。当佩戴支撑件602时，用户通过一对透镜622观看显示器612。可由中央处理单元(CPU)602和/或图形处理单元(GPU)610经由内部总线616驱动显示器612。显示和通信单元602的组件可进一步包括例如一个或多个发送/接收组件618，使得能够经由无线耦合在CPU和外部服务器之间进行无线通信。发送/接收组件618可使用任何合适的高带宽无线技术或协议来操作，高带宽无线技术或协议包括例如蜂窝电话技术(诸如第三代合作伙伴计划(3GPP)长期演进(LTE)、全球移动通信***(GSM)或通用移动电信***(UMTS))和/或无线局域网(WLAN)技术(例如使用诸如电气和电子工程师协会(IEEE)802.11的协议)。一个或多个发送/接收组件618可实现从本地或远程视频服务器向显示和通信单元602流式传输视频数据，以及将传感器和其他数据上行链路传输到本地或远程视频服务器以用于控制或观众响应技术，如本文所述。

显示和通信单元602的组件可进一步包括例如经由通信总线616耦合到CPU 606的一个或多个传感器614。此类传感器可包括例如提供用于指示显示器和通信单元602的取向的取向数据的加速度计/倾角计阵列。当显示器和通信单元602固定到用户的头部630时，该数据也可被校准以指示头部630的取向。一个或多个传感器614可进一步包括例如指示用户地理位置的全球定位***(GPS)传感器。一个或多个传感器614可进一步包括例如定位成检测用户眼睛中的一只或多只的取向的摄像机或图像传感器。在一些实施例中，配置成检测用户的眼睛或眼睛运动的摄像机、图像传感器或其他传感器可安装在支撑结构626中，并且经由总线616和串行总线端口(未示出)，例如通用串行总线(USB)或其他合适的通信端口耦合到CPU 606。一个或多个传感器614可进一步包括例如位于支撑结构604中并且配置成向用户的眼睛指示表面轮廓的干涉仪。一个或多个传感器614可进一步包括例如用于检测口头用户命令或对显示输出的口头和非口头可听反应的麦克风、麦克风阵列，或其他音频输入变换器。一个或多个传感器可包括例如用于感测心率的电极或麦克风、经配置用于感测用户的皮肤或体温的温度传感器、耦合到分析模块以检测面部表情或瞳孔扩张的图像传感器、用于检测口头和非口头话语的麦克风，或用于收集生物反馈数据的其他生物测定传感器。

对于沉浸式VR或类似的输出模态，可增强电影等的故事内容，而不消除参与者或用户(在视觉上、听觉上和认知上沉浸其中)可或多或少地被动地享受的脚本娱乐的本质。例如，允许用户移动视点以在场景展开时看到主视图中被遮挡的项目可使此类用户能够吸收增强对情节的理解、增加情感影响、预示即将发生的事件或以其他方式增强脚本故事情节的享受的戏剧性细节。前述的示例为通过用户选择的交互式VR叙事(或叙事采取的任何形式)和至少两种感官模式加上一个认知项目之间的反馈循环的关注深度来增强故事讲述。这些模式可补充而不是取代常规电影观看技术，使得一些顾客可观看相同特征的常规屏幕版本，而想要更沉浸式体验的其他顾客可在与常规顾客相同的剧院中佩戴沉浸式头盔并同时享受对补充沉浸式特征的访问。

来自一个或多个传感器的传感器数据可由CPU本地处理以控制显示输出，和/或传输到服务器以供服务器实时处理，或者用于非实时处理。如本文所用，“实时”是指响应于控制显示器输出的用户输入的处理，而没有任何任意延迟；也就是说，一旦技术上可行，它就会做出反应。“非实时”是指批量处理或传感器数据的其他用途，其不用于提供用于控制显示器的立即控制输入，但是可在一些任意量的延迟之后控制显示器。

显示和通信单元602的组件可进一步包括例如音频输出变换器620，例如显示器和通信单元602中的扬声器或压电变换器，或者用于听筒或安装在头盔624等中的其他音频输出变换器的音频输出端口。音频输出设备可提供环绕声、多声道音频、所谓的“面向对象的音频”，或伴随立体沉浸式VR视频显示内容的其他音频轨道输出。显示和通信单元602的组件可进一步包括例如经由存储器总线耦合到CPU 606的存储器设备608。存储器608可存储例如程序指令，该程序指令在由处理器执行时使得装置600执行如本文所述的操作。存储器608还可将数据(例如音频-视频数据)存储在库中或者在流式操作期间进行缓冲。关于VR环境的生成和使用的进一步细节可如2014年12月5日提交的美国临时专利申请62/088,496中所述，该申请通过引用整体并入本文。

图7示出用于协调沉浸式和非沉浸式内容的显示环境700的几何方面，包括真实或虚拟显示屏幕704和用作虚拟投影表面的虚拟包络或外壳702，用于以与投影表面平滑混合的方式渲染场景的背景。虽然示出为半球形圆顶，但应理解，外壳702可以各种形状提供。没有尖锐边缘的闭合曲线可适用于大多数外壳几何形状。为了说明清楚，图7示出外壳702的底部边缘，但是应理解，外壳表面之间的过渡通常应该为弯曲的以避免渲染伪像。外壳702包围在本文中可称为“观察空间体积”或类似术语的体积，在该体积中发生场景的动作。然而，应理解，外壳不需要完全包围观看者。例如，外壳702可在没有任何弯曲的情况下在平面显示屏幕的上方或侧面延伸，可朝向观众弯曲但不是围绕观众一直弯曲，或者可在选定区域中无纹理和不可见。外壳702为虚拟投影表面的示例。虚拟投影表面在本文中也可称为“虚拟2D屏幕”或“虚拟屏幕”，并且可配置成任何有用的表面几何形状，包括例如平坦平面、弧形平面或多边形(例如，立方体或金字塔形)。

在使用100％渲染输出的实施方式中，外壳702的使用为任选的，因为渲染可基于具有无限范围的模型。然而，对于AR应用，纹理外壳的使用可提供更快的渲染时间和便于(通过简化计算)围绕2D屏幕704的过渡区域的渲染的优点。可使用简单的“环境”阴影在外壳上渲染背景图像，除了从渲染视点计算表面的可见部分之外，这不需要任何光线跟踪或光线跟踪近似来确定表面外观。相反，基于对应于渲染像素的2D纹理像素的聚合，将每个像素以指定颜色和亮度“烘焙”成为几何外壳提供的2D纹理。可在计算上有效的批量或实时过程中调整烘焙纹理的亮度或白平衡水平，以匹配特定剧院的屏幕特性。效果可以是好像显示屏幕的范围在外壳702的整个纹理部分上延伸。外壳702的选定部分可由于任何期望的原因而保持无纹理和未渲染，例如，用于显著聚焦，以管理生产成本，或用于设施安全。应理解，如果需要，剧院可包括多于一个的屏幕704。

外壳702不一定与屏幕704所在或者观看者706、观看者708所位于的剧院或房间的内部一致。AR输出设备的特征在于允许用户观看她的真实环境，同时用渲染为在真实环境中出现的对象覆盖视图。在渲染AR对象的情况下，真实环境被遮蔽。因此，如果希望在AR视图中创建将真实对象变换为渲染对象的错觉，则必须用渲染对象完全遮蔽真实对象。例如，如果希望用在其上渲染场景背景的几何外壳702的一部分替换剧院的墙壁，则外壳需要遮蔽整个墙壁。但是，如果外壳位于超出真实墙壁的AR空间中，则渲染背景可能不会覆盖整个墙壁，除非外壳完全闭合。在视图空间体积中渲染的对象可能部分地出现在背景中，并且部分地出现在剧院中的真实结构中，从而减损预期的幻觉。如果外壳完全闭合并且渲染可见，则用户的整个视场将为渲染视图，因此，在本公开中使用“AR”的意义上，效果为VR而非AR的效果。因此，对于AR输出，可生成外壳以适合在观看室内部，以避免通过产生诸如看起来穿过墙壁的对象的非预期效果而减少沉浸式AR体验的真实感。由此，外壳702应作为AR观看者的客观特征存在，这意味着它基于观看屏幕和房间的几何形状放置，使得每个观看者根据他们在剧院中的相应位置，对外壳702具有不同的透视图。

对于VR输出，外壳可延伸到任何期望的维度，并且屏幕704可为虚拟的，主要用作一种焦点706或“家庭”，其定义观看者和场景的预期叙事焦点之间的几何关系。对于VR输出，可基于用户偏好或导演偏好来客观地或主观地放置外壳。当主观放置时，每个VR观看者可从相同的表观起始位置观看外壳702，该表观起始位置任选地可针对响应于用户输入使用的每个而单独地改变。壳702的几何形状以及是否主观地或客观地放置，可基于每个场景的戏剧性目标在场景之间变化。这些因素在特定场景的持续时间内通常为静态的。允许不同形状的外壳之间的过渡以及对象的客观视点或主观视点之间的过渡，并且可为突然的或渐变的。可使用算法来实施逐渐过渡，以生成在期望端点之间桥接的一系列中间形状或视点。

每个场景可具有静态焦点706，其在物理屏幕的情况下在场景之间保持固定。虽然屏幕704显示为高度弯曲的，但应理解，真实物理屏幕通常具有小得多的曲率或没有曲率。平面屏幕或曲面屏幕在本文中均称为2D屏幕；也就是说，2D屏幕可为平坦的或弯曲的。当屏幕为平坦的或较低程度的弯曲时，如果需要，可混合外壳702以匹配物理屏幕在其边缘周围的曲率或平坦度。屏幕704的形状预期会因剧院而不同。为了能够在不同尺寸的屏幕和剧院中使用相同的内容，可为每个剧院选择定制或半定制(意指从一系列标准形状和尺寸中选择)外壳，并且该定制或半定制外壳不包括在运行时基于外壳的背景纹理文件和每个观看者的视场进行纹理化和渲染的屏幕704区域。例如，对于每个观看者，服务器可基于当前观看者视场加上当前视场之外的一些附加区域选择并发送背景纹理的一部分，以适应预期的头部运动量(其可能非常轻微，或根据主要对象在场景中移动的速度而变化)。因此，如果背景在帧与帧之间变化，则不需要为每个沉浸式输出设备供应用于每个帧的整个背景纹理。如果背景或其一部分在几帧上为静态的，则向每个输出设备供应整个背景纹理或用于该组帧的静态部分，而不是为各个观看者选择当前观看的部分，可能不太耗费资源。

在AR协调的视图中，屏幕704充当一种几乎在每一帧中变化的动态背景，但是输出的这部分不需要供应到AR输出设备，因为它对于观看者为直接可见的。取决于场景，周围的背景部分可为静态的或动态的。而且，放置在外壳702上的补充背景不需要在每个场景中供应，无论是为了戏剧效果、管理生产成本还是出于其他原因。对于一些场景，补充背景可限于与屏幕704相邻的相对小的部分，或者可完全省略。通常，如果仅在表演的某些时间提供补充内容，则可在每个此类时间之前提供提示，以提醒观众戴上并激活他们的沉浸式输出设备。提示可为对输出设备的不可见传输的形式，该输出设备可使用触觉、可听或可见输出以某种方式做出反应以警告用户。在替代方案中，提示可以可见或可听的形式提供，例如作为程序的一部分，或者来自AR输出设备或另一设备的发射器。

用于任何给定场景的客观几何形状与佩戴AR或VR装备的每个观看者之间的几何关系可由来自固定焦点706(例如，显示屏幕中心的点)和每个观看者的矢量710、矢量712来定义，假设观看者注视焦点，使得沉浸式设备的视平面垂直于各个矢量710、矢量712中的每一个。因此，为了在放映开始时校准输出设备，可指示佩戴沉浸式装备的观众成员注视屏幕上显示的焦点706或者依次注视几个不同的点，而每个人的沉浸式头部装备记录注视点的位置和取向。另外，可指示观众成员执行其他运动，同时由每个人的沉浸式头部装备类似地拍摄和记录位置和取向测量。任选地，通过使用每个人的沉浸式头部装备上的光传感器测量一个或多个屏幕区域的白点和亮度，可类似地促进亮度和白点的个性化调整。然后，所记录的测量数据可用于计算佩戴沉浸式装备的每个观众成员的个性化视点位置、取向和照明参数调整。然后，***服务器可记录每个观看者的位置和基本取向，或者每个沉浸式输出设备可记录其自身相对于剧院的客观坐标系的位置和取向，或前述两者。

如已经指出的，可使用客观坐标系来指定屏幕外渲染对象的位置，例如在焦点706或其他位置处具有原点的坐标系，并且由从该原点开始的一组坐标轴定义。飞龙714提供客观定位的屏幕外对象的示例，对于该示例，每个用户的视角为不同的。例如，如果龙714的客观坐标指示靠近观看空间体积的中心的位置，则每个用户的沉浸式输出设备将输出位于剧院中心的龙的渲染。位于朝向剧院右侧的用户706将看到她左侧的龙714，而朝向剧院左侧的另一个用户708将看到她右侧的龙714。另外，可基于在校准序列期间由每个用户的器材定义的相应主观坐标系，相对于每个用户指定屏幕外对象。鸟716、鸟718提供主观定位的屏幕外对象的示例，其位置和取向在相对于每个观看者的坐标中被指定。因此，两个用户将在相对于它们自身的相同位置和取向上看到他们各自的主观屏幕外对象(例如，鸟716、鸟718)。应理解，用户706将仅看到鸟716，而不是相同主观对象的任何其他示例，并且同样地用户708将仅看到她各自的对象718。一组对象坐标是主观的还是客观的可用标记位表示。例如，对于一个或多个坐标集，客观坐标可由“1”值标记位来表示，并且主观坐标由“0”值标记位表示，反之亦然。

可在公共“标准”内容源(例如，数字电影主数据)和每个用户的个性化渲染过程之间应用对沉浸数据的渲染参数的各种调整。图8A示出用于进行此类调整的计算机实施的过程800的元素。过程800的所示元素中的任何一个或所有可由每个用户的沉浸式输出设备单独执行，或者(除了所渲染的沉浸式内容的输出之外)由剧院服务器或网络单独执行。最初，在802，从任何合适的数据源获得数字电影主数据中的沉浸数据并对其进行解密以获得每帧或每组帧的帧渲染参数。此类参数可包括，例如出现在场景中的外壳对象和屏幕外对象、待渲染的所有对象的位置和取向，每个对象与被指示为主观或客观的一组位置坐标和取向坐标、用于渲染对象的相关联对象纹理、光照参数和摄像机参数相关联。然后，根据需要可为每个帧或为多个连续帧的集合调整标准帧渲染参数。

这些调整可包括一组视点调整804、视点调整806。这些视点调整中的每一个可包括几何调整，如下面更详细描述的。例如，在804，将所指示对象的客观坐标变换为适用的渲染引擎用于渲染视点的坐标系。通常，变换804将对象的客观坐标变换为适用的渲染引擎所使用的坐标，用于渲染特定沉浸式输出设备的沉浸式输出。适用的渲染引擎可不同地定位，例如在沉浸式设备的随机存取存储器中、在用于沉浸式输出设备的本地辅助设备中、在电影院服务器或服务器群中，或在云计算资源中。在任何情况下，坐标变换都将基于建立观众的每个成员与剧院的客观坐标之间的几何关系的渲染引擎使用的坐标和校准数据。可将本领域已知的任何合适的变换方法用于坐标变换。

调整可进一步包括，在806，将所指示对象的主观坐标变换为由适用的渲染引擎使用的坐标系，用于渲染视点。在简单的情况下，不需要变换，因为共同的主观值将用于每个渲染引擎，并且对于每个观众成员都为相同的。然而，在某些情况下，可能需要某些变换以将主观坐标置于用于渲染的适当条件下，例如切换到不同类型的坐标系以促进特定渲染引擎或者添加固定偏移值以解决用户之间的物理差异。

在808，在交互对象的情况下，调整可进一步包括基于用户输入调整渲染对象的位置或取向。所选对象的外观、位置或取向可能取决于用户输入。用户输入的影响可限于指定的对象和变化范围，以防止中断叙事表演的流程并使同时期的观众成员保持同步。

调整可进一步包括在810调整场景照明参数。在一个方面，场景灯的位置和取向可被指定为客观的或主观的，并且根据需要类似于关于协调的位置和取向的任何其他屏幕外对象进行变换。此外，还可调整其他照明参数(诸如强度或颜色)，使得渲染的场景元素的亮度和颜色与剧院显示屏幕上的输出的亮度和颜色相匹配。

调整还可包括在812调整对象纹理，例如，基于渲染视点与每个渲染对象之间的距离应用自动细节水平或等效度量。自动细节水平为更远的对象提供不太详细的纹理贴图，以提高渲染性能。类似地，自动细节水平调整可用于基于距视点的距离为屏幕外对象选择网格密度，再次用于渲染效率。

调整可进一步包括在814基于沉浸式输入调整与位置和取向不同的摄像机参数，诸如焦点、场和光圈。因此，沉浸式渲染引擎可允许用户通过适当的摄像机调整来“放大”或“缩小”场景。在具有共同显示屏幕的AR模式中，此类摄像机变焦可能导致显示器屏幕704与渲染外壳702或屏幕外对象714、屏幕外对象716、屏幕外对象718之间的不匹配，并且可能限于仅渲染不包括显示器屏幕的视图。一旦进行调整，渲染引擎可在816处渲染场景，并且可在框818使用沉浸式输出设备显示渲染的数据。

在具有就座顾客的剧院环境中，每个观看者的位置可为相对静止的，但是观看者的头部的取向将在整个节目中变化。如上所述，电影院分发服务器可跟踪用于管理带宽消耗的位置和/或取向数据，或者如果剧院的信息***可支持为每一帧向每个用户提供完全沉浸式环境信息，则可忽略位置和取向信息。如果信息***的带宽足够宽，并且各个输出设备的计算能力足够高，用于渲染每一帧中的所有沉浸式特征，则可在各个输出设备处执行各个视图的所有计算。假设计算能力和传输带宽的当前趋势继续，除非用于收集统计观看者度量，否则分发服务器的位置和取向跟踪可能在某一时刻变得不必要。在此期间，可能需要将计算能力分配到服务器端，以用于诸如管理带宽或实时提供高速、高质量渲染的任务。

在图8B所示的另一替换实施例850中，可将沉浸式和非沉浸式内容下载到多个专用存储器设备858A、专用存储器设备858B或以其他方式提供到多个专用存储器设备858A、专用存储器设备858B，该多个专用存储器设备858A、专用存储器设备858B中的每一个经由高带宽连接(诸如，例如高速通用串行总线(USB)或串行高级技术附件(SATA)连接)附接到沉浸式输出设备856A、沉浸式输出设备856B中的相应一个。存储器设备858A、存储器设备858B中的每一个可结合到输出设备856A、输出设备856B中，或者安装在剧院中并且经由每把椅子处的电缆端口和渲染控制单元852A、渲染控制单元852B中的对应一个连接到输出设备856A、输出设备858B。渲染单元852A、渲染单元852B可各自被实施以根据可用技术优化效率和舒适度，例如，实施在沉浸式设备的随机存取存储器或专用图形硬件子***中，实施在用于沉浸式输出设备的位于本地的辅助硬件和软件组件中(例如，在电影院座位下)、在电影院服务器或服务器场中，或者在云计算资源中。渲染控制单元852A、渲染控制单元852B中的每一个可基于来自沉浸式输出设备856A、沉浸式输出设备856B中的对应一个的传感器数据从存储器设备858A、存储器设备858B中的相应一个获得内容。可通过来自剧院服务器872的信号(例如，通过协调模块878生成的无线信号)在不同观众成员和2D显示屏幕870之间控制和协调电影院***850的表演节奏。在这些实施例中，内容数据经由各自的高带宽总线连接提供到每个输出设备，同时用于在所有观众上协调节目的控制信号可通过较低带宽的有线或无线接口实时地被提供。内容数据864、内容数据866、内容数据862可受限于安全***模块880以加密形式而被存储，该安全***模块880仅允许在剧院演示期间或在其他授权时间进行访问。可为AR输出设备854A渲染AR数据864，并且可为VR输出设备854B渲染VR数据866。来自用户输入设备856A、用户输入设备856B的传感器数据可主要用于控制渲染单元852A、渲染单元852B的渲染，并且其次可被提供到度量组件882，用于跟踪对沉浸式内容的聚集观众反应。通信软件组件876可用于管理渲染单元852A、渲染单元852B与服务器872、输出设备854A、输出设备854B与其他***组件之间的通信。同样，管理软件组件868可管理服务器872处的整体***操作。

尽管减轻对提供内容数据的带宽限制，但是通过总线提供内容可仅解决一半的资源问题。目前用于实时渲染电影质量、高分辨率图像的图形处理器可能具有功耗要求和空间要求，这使得它们不适合于结合到可佩戴的移动计算设备中。因此，具有高带宽连接的电影院侧的实施方式例如对电影院座位本地实施的渲染管理单元852A、渲染管理单元852B可在短期内为高质量沉浸式内容的密集渲染需求提供可行的解决方案。随着图形渲染技术的改进，这些单元可被定期升级到功能要求更低的更强大的处理器，并且最终在移动的电池供电的处理器足够强大至操作处理负载时被逐步淘汰。另选地或附加地，非常高带宽的通信技术和改进的图像压缩技术可允许将渲染卸载到云实施的渲染单元。

结合图7论述的示例涉及混合媒体娱乐的变型，包括AR或VR和2D屏幕演示中的一个或两个。通过前述对这些变型的描述暗示各种不同的“语法”。在AR、VR或混合媒体AR或VR加上2D娱乐的上下文中，“语法”可指控制体验POV进入到VR或AR场景中的观看者与场景之间的交互的一组规则。这些规则可能因场景而异(或不同)，并且此类变型本身可能为戏剧性元素。不同的语法可用于不同的娱乐目标和媒介。例如，完全交互式视频游戏类体验使用较少交互式内容不同的语法，主要旨在展示戏剧性故事。混合媒体内容的语法的一个方面涉及观看者与2D屏幕之间的关系。在图7中示出电影院大小的屏幕704，但是观众也可能希望使用较小的屏幕来消费混合媒体2D和AR或VR内容，例如使用家庭电视、记事本计算机或智能手机。屏幕尺寸可从对角线上的小于6英寸至几十英尺或甚至几百英尺不等。

用于混合媒体语法的规则中的一个可为维持2D或立体3D内容的2D屏幕尺寸与仅在VR或AR中体验的相关对象之间的特定几何关系。例如，当在100英尺高的屏幕上看电影时，假设AR或VR对象表现20英尺长的龙。当这条龙出现在屏幕上时，相对于被认为约六英尺高的演员，它约为三倍长。例如，如果站立的六英尺演员的图像在100英尺的屏幕上垂直延伸约33英尺，为了保持相同的比例，如果完全在框架内，龙(如果垂直延伸)需要填充超过整个100英尺的垂直屏幕空间。如果使用AR或VR设备在2D屏幕前生成龙，则应该仍然生成龙，以便显示约100英尺长以维持与屏幕上33英尺高的演员相同的相对比例。然而，如果可看到剧院中的真实对象(例如，其他观众成员)并且与屏幕外对象进行比较，则可能体验知觉不协调。

例如，屏幕外AR 100英尺长的龙将大约为典型的成年观众成员的17倍，但仅为屏幕上的33英尺演员的三倍。如果这种尺寸的不匹配为显而易见的，它可能会分散观众的注意力并且减损戏剧性体验。其他尺寸不匹配可能发生在剪切之间或摄像机移动诸如影响屏幕参考对象尺寸的变焦或平移期间。如果相关的屏幕外对象在不同的剪切或摄像机变化中保持可见并且尺寸不变，则其可被感知为相对于屏幕上的对象增大或缩小。另一方面，如果屏幕外对象增大或缩小以匹配屏幕上的对象的比例，则其可被感知为相对于观众的增大或缩小，因此看起来不那么真实，并且其变化的尺寸可能会分散对屏幕上动作的注意，而不是增强它。

对于进一步的示例，考虑混合AR或VR加上2D场景，其中演员将球形球投掷到观众中，使得球在其飞行开始附近从屏幕上的对象变换到屏幕外对象。同时，屏幕上的狗跑向观众，找到球并将其返还到屏幕上的演员。假设屏幕上的狗在它离开2D框架的地方被投影到十英尺高，但是根据屏幕上的演员比例，狗在知觉上仅有约2.5英尺高。同样，当球离开框架时，它在屏幕上有15英寸宽，但是为了配合狗的嘴部，它的直径只能为约3英寸。如果狗或球在离开2D框架后立即显示在屏幕外(或者在3D立体内容的情况下，通过立体图像限制)，它必须以与屏幕上的对象相同的尺寸显示，否则它的尺寸会突然改变。然而，如果允许屏幕外对象接近观看者(无论是作为主观对象还是客观对象)，并且假设不希望产生与观众成员相比屏幕上演员为巨人的幻觉，则屏幕外对象应随着接近观看者而减小尺寸。在这种情况下，屏幕外对象看起来会缩小，这可能会分散注意力并破坏体验所带来的现实幻觉。因此，当在屏幕2D空间和屏幕外AR或VR空间之间移动时用于管理对象的转换的语法可能为有用的。

转换语法可分为两种一般类型：客观的和主观的。在客观转换语法中，屏幕外对象被“附接”到2D屏幕上，作为屏幕的一种固定扩展。无论2D屏幕上发生什么都会控制屏幕外内容，并且相对于屏幕上的对象始终保持相对几何形状。因此，观众的每个成员将根据他们的观点看到屏幕外内容的不同视图。例如，使用狗取球的示例，狗与其屏幕尺寸匹配，即使这使得狗相对于观众成员看起来比其相对于屏幕上的演员的尺寸大得多或小得多。在电影院中，观众可看到悬挂在观众上方的非常大的狗从电影院的某个客观位置(例如距屏幕中心30英尺)跑来取球。如果在智能手机上体验到相同的内容，则可能会生成一只非常小的AR或VR屏幕外的狗，它会在距智能手机屏幕仅几英寸的地方抓取小球。

因此，在客观转换语法中，可将屏幕外空间生成为屏幕空间的固定扩展，其在某种意义上排除观众，或者至少忽略观众成员的相对比例。每个屏幕外对象的尺寸、位置和定位几何上与2D视图相关联。几何规则根据屏幕的尺寸和AR或VR观看者相对于屏幕的位置来控制相对于2D屏幕的尺寸、位置和定位属性。被动的屏幕外对象会增大并被推到观众后面，以响应2D摄像机的放大。屏幕外对象会收缩并被推向屏幕，以响应2D摄像机的缩小。当摄像机向右平移时，VR/AR处理器通过将屏幕外对象围绕摄像机视点向左枢转来做出反应。当摄像机向上平移时，屏幕外对象向下枢转，依此类推。如果2D场景在相对视图之间突然剪切(例如，向前看然后向后看)，则屏幕外对象在适当时从屏幕前方出现和消失；在小屏幕的情况下，屏幕外对象可能重新出现在屏幕后面。当2D摄像机移动通过场景移动时，被动的屏幕外对象被留下，而主动移动的屏幕外对象可能通过停留在大致相同的屏幕外位置而看起来像在跟随摄像机移动，依此类推。因为屏幕外对象的几何形状仅取决于屏幕几何形状和相对于屏幕的观看位置以及希望描绘的屏幕外对象的任何主动移动，所以观众感知其相对尺寸对于动作不重要并且保留现实的幻觉。这种客观转换语法的补充规则中的一个可能为通常避免摄像机移动或剪切，该摄像机移动或剪切有时需要屏幕外对象改变尺寸或过于剧烈地移动，以避免让太多分散注意力的移动或屏幕外对象的变化使观众饱和。

在主观转换语法中，对象离开2D屏幕空间并且在知觉上成为观众的一部分。屏幕外对象的几何参数相对于佩戴AR或VR器材的假定或已知主观观看者而不是基于屏幕空间中图像的几何形状来确定。在VR的情况下，主观屏幕外对象可替换2D屏幕内容并且成为VR用户体验的整体，这为完全沉浸式的。不同的语法适用于完全沉浸式的VR内容。本公开涉及与混合媒体2D加上AR或VR内容一起使用的语法和方法。利用这些类型的混合媒体，总是需要考虑2D屏幕内容，其可包括单视场2D视频和立体3D视频中的一个或两个。虽然主观屏幕外内容在几何意义上被感知为完全独立于屏幕上动作，但是通过允许对象在屏幕上空间和屏幕外空间之间来回传递，可根据需要增强混合媒体内容的娱乐价值。当使用主观转换语法时，可能需要管理屏幕上空间和屏幕外空间之间的对象的转换，使得几何不匹配不会发生，或者不太显而易见。

存在至少两种用于最小化主观过渡语法中的几何不匹配的方法。第一种方法为“机会性”尺寸匹配，其中屏幕外对象出现在屏幕上对象消失的确切时刻，同时具有用于主观使用的适当尺寸。该时刻将根据屏幕尺寸自然地不同，并且因此如果仔细编辑2D内容以支持针对特定尺寸的屏幕或在有限的尺寸范围内的机会性匹配，该时刻将仅在适当的时间出现。当希望使相对较大的主观对象看起来来自小屏幕，或者相对较小的主观对象看起来来自非常大的屏幕时，匹配可能难以或不可能令人信服地实现。因此，机会性尺寸匹配需要针对特定屏幕尺寸编辑2D和AR或VR内容，并且在非常小(例如智能手机)或非常大(例如，商业电影院)屏幕上可能不太有用。

用于最小化主观转换语法中的几何不匹配的第二种方法为使用隐藏转换。在隐藏转换中，屏幕上对象和屏幕外对象之间的转换被很好地隐藏，或者根本不发生(例如，对象仅出现在屏幕外)。回到狗取球的示例，屏幕上的演员抛出球，使其从场景的侧面或后面消失。一两秒钟后，一个真人大小的球从屏幕以外的任何方向出现在屏幕外，一只真人大小的狗跟在后面，好像两者都穿过一扇门、一个入口或一个虫洞。在与观看者相关的主观上的晃动之后，携带球的狗可穿过虚拟门、入口或虫洞并且以其常规的屏幕尺寸出现在屏幕上。由于门、入口、虫洞或其他隐藏的转换设备阻止屏幕外尺寸和屏幕上尺寸之间的直接比较，因此保留现实的幻觉。同时，屏幕和观众之间的分离感得以保留，因为主观对象通常不直接通过屏幕，而是使用隐藏的转换。使用机会性尺寸匹配，可在不引起知觉不协调的情况下打破主观对象的不通过规则。

前述转换语法或方法都不为互斥的。如果需要，相同的混合媒体内容可利用它们中的全部或它们中的任何数量的混合媒体内容。这些技术中的不同技术可同时用于不同的对象，或者在不同的时间用于同一对象。

在任何跨屏幕界面强制一致感知几何的语法中，例如具有机会性几何匹配的客观转换语法或主观转换语法，当对象穿过屏幕时用于实时计算几何匹配的技术和算法将为理想的。这些计算可由AR或VR输出设备实时执行。一旦输出设备到屏幕的位置和屏幕尺寸被定义，下面描述的几何关系、算法和方法可用于定义用于缩放、旋转和平移屏幕外对象的变换(例如，矩阵)。在主观转换语法中实施客观转换语法或机会性匹配所需的位置。另选地或附加地，可针对特定位置或区相对于已知尺寸的屏幕(或多个已知尺寸的屏幕)以及基于相对于屏幕的测量或假定位置提供到沉浸式输出设备的对应准备的AR或VR数据集预先准备混合媒体内容。

在下文中论述各种使用情况，包括用于将VR或AR显示中出现的对象的位置、取向或移动与显示屏幕上的2D或3D视频内容的投影等所描绘的对象相匹配的几何调整。第一种情况“A”涉及2D或3D电影的VR头戴式显示器(头盔)回放，其中附加虚拟对象增强与2D或3D视频内容的回放同步的虚拟环境。2D单视场或3D立体视频可在剧院环境(例如平面屏幕)或3D表面(例如曲面屏幕)内的2D表面上回放，该3D表面也出现在虚拟现实或增强现实环境中。虚拟对象位于相对于虚拟屏幕回放表面的各种位置，例如，在朝向观看者的虚拟屏幕表面的前方，或者在虚拟屏幕表面的侧面或上方或下方。虚拟对象还可被添加在虚拟屏幕表面的后方。虚拟对象可能看起来来源于2D视频，然后离开2D屏幕表面并进入虚拟环境。虚拟对象可能看起来来源于立体3D视频，然后离开3D内容并进入虚拟环境。

例如，场景可包括朝向捕获用于场景的2D或3D视频内容的摄像机(下文中，“场景摄像机”)运动的VR对象(例如，正在拍摄的箭头)。预期效果可能会有所不同。例如，导演可能希望每个观看者看到VR对象看起来从虚拟屏幕飞出到屏幕前方的虚拟环境中，并且继续朝向观看者，直到看起来越过观看者或者围绕观看者。在替代示例中，远离摄像机拍摄VR对象，其中导演希望对象在离开2D屏幕边界时保持可见，并且在远离观看者的某个方向上飞离。相反，导演可能希望VR对象首先出现在屏幕外区域中，然后移动到屏幕上的区域，在移动过程中逐渐成为2D/3D视频的一部分。例如，假设使用显示道路的固定摄像机拍摄场景并且在保持屏幕外的同时将汽车的声音编辑成视频内容，可对汽车的虚拟对象进行动画处理，使得其出现在VR中以朝向屏幕驱动，并且当其在视频内容中的屏幕上移动时从VR渲染中消失。

在其他实施例中，VR中显示的对象可完全排除在2D或3D视频屏幕上的内容之外。相反，VR对象可补充屏幕上的视频内容。例如，如果屏幕上视频内容显示演员正在说观看者不太可能理解的模糊对话，则可输出形状像问号的VR对象，作为一种注释出现在远离真实或虚拟视频屏幕表面的一侧。

在其他实施例中，按照补充屏幕上的视频内容的方式与屏幕上的内容同步地改变观看者正在看虚拟屏幕上的视频内容的虚拟环境。因此，使虚拟屏幕出现在仿造内容的虚拟环境中，例如与在电影或电视剧集中显示的场景相关的沉浸式虚拟环境。例如，如果观看者正在虚拟VR屏幕上看蝙蝠侠电影或电视剧集，则当屏幕上的内容显示蝙蝠洞(Bat Cave)中的蝙蝠侠角色时，屏幕外虚拟环境可改变为类似蝙蝠洞。当电影中的场景从蝙蝠洞变为高谭市(Gotham City)的某个位置时，屏幕外虚拟环境可能会变为高谭市的周边地区。在各种实施例中，屏幕上的内容可与周围环境平滑地混合，或者可看起来好像投影在环境中的表面上，例如，投影在建筑物墙壁上。

观看者对虚拟屏幕表面上的20个或30个视频内容中显示的对象尺寸的知觉为与许多因素相关的稍微复杂的主题。一个因素为屏幕上显示的对象的图像的视场与屏幕尺寸以及观看者与屏幕之间的距离之间的关系。参照图9A，虚拟或真实剧院900包括座位阵列906和屏幕902。平面虚拟屏幕902的垂直视场(α)当与所描绘的视点齐平并且垂直于从底部到屏幕902到视点的光线时可通过等式1计算，其中屏幕高度为H并且观看者与屏幕的距离为D：

tan(α)＝(H/D)

α＝arctan(H/D)。 (等式1)

绘制图9A中的三角形，使得观看距离D大约为三个屏幕高度，即D＝3H，因此α大约等于18.4度。对于真实屏幕，在许多剧院中，屏幕902的底部位于观看者下方，如图9B所图示。在这种情况下，假设屏幕902和视点904之间的最短距离D形成垂直于屏幕的光线910，则α由等式2给出：

α＝α₁+α₂＝arctan(H₁/D)+arctan(H₂/D)； (等式2)

其中H＝H₁+H₂。例如，如果H＝1、D＝3且H₁＝H₂，则等式2减小到2arctan(0.5/3)＝18.9度。同时，假想的圆柱形或球形屏幕910被定位成具有与平面屏幕902相同的垂直视场。如果α以弧度表示，则位于垂直场内的屏幕910的部分的长度(L)由αD给出。例如，如果α＝18.9度、H＝1且D＝3，则L＝0.99。这大约等于H。对于H和D的某些范围，例如对于D>2H,H≈L＝αD。在D＝2H的任意极限下，近似结果为28.65°，这与等式2(针对H₁＝H₂、H＝1且D＝2)提供的结果(28.07°)相比相差约为2％。该误差随着H/D的减小而减小，并且随着H₁变得比H₂更大或更小而增加。例如，当H₁＝2H₂时，误差约为2.7％。因此，当不需要很高的精度时，对于大多数实际遇到的H₁/H₂值为约0.5和2之间的情况，并且对于D>2H，其中α以弧度表示，利用以下近似值来加速计算可能为有用的：

α≈H/D (等式3)

参考图9C，在相同的真实或虚拟剧院900中，屏幕(β)的水平视场可通过以下等式针对以屏幕为中心的视点904来计算，其中屏幕宽度为W并且观看者距屏幕的距离为D：

tan(β/2)＝(W/2)/D)

β/2＝arctan((W/2)/D)

β＝2*arctan((W/2)/D) (等式4)

绘制上图中的三角形，使得观看距离大约为1.5个屏幕宽度(W)，即D＝W。通过类似于应用于图9B的逻辑，当视点904未与屏幕中心对齐时，

β＝β₁+β₂＝arctan(W₁/D)+arctan(W₂/D)； (等式5)

其中W＝W₁+W₂。近似值

β≈W/D (等式6)

同样适用于约2％或更小的误差，只要D>2W(对于以弧度表示的β)。对于宽屏格式的屏幕，β的近似值将不如α的近似值精确。然而，近似对于显示在屏幕上的基本上小于屏幕尺寸的对象仍然有效，因为对象尺寸与视图距离的比率同样将基本上小于整个屏幕的比率。因此，当估计屏幕对象的垂直或水平视场时，两个近似值仍然有用，只需分别用屏幕宽度或高度替换对象宽度或高度即可。

举例来说，虚拟环境中的虚拟屏幕配置成通常使用以下纵横比中的一个来显示电影和视频内容：16：9、2.40：1或1.85：1。为其他不太常见的屏幕类型创建的内容可使用不同的原始纵横比，例如为IMAX数字投影屏幕准备的内容通常使用1.90:1，IMAX 70mm/15perf电影投影屏幕通常使用1.43:1并且70mm/5perf电影投影通常使用2.20:1。沉浸式虚拟现实头盔可适应任何所需的屏幕纵横比。但是，行业标准的纵横比通常可被用来利用可用的内容库。

在许多情况下，期望出现在虚拟环境中的VR对象或AR对象与2D或3D屏幕内容内显示的对象具有特定几何关系(例如，在一个或多个维度中更大、更小或相同的尺寸)。例如，可能期望将虚拟环境中的虚拟对象的观看者感知尺寸与同时出现在屏幕上的内容中的对象的观看者感知尺寸相匹配。在其他情况下，对于进一步的示例，可能期望在屏幕上的对象和可能出现在虚拟环境中的虚拟对象之间创建显而易见的知觉尺寸差异。在任一种情况下，提供VR或AR内容的***可配置成控制VR/AR输出，使得观看者对出现在VR或AR中的对象的尺寸(例如，在一个或多个维度中更大、更小或相同的尺寸)的知觉满足相对于出现在相关屏幕上的内容中的一个或多个对象的指定标准。以上提供进一步的示例。

如结合图9A至图9C所展示的，当从任何给定的视点出现时，屏幕或显示在屏幕上的对象的角度视场由观看者距屏幕的观看距离与屏幕尺寸或屏幕对象的尺寸之间的几何关系确定。在特定观看距离处的给定尺寸的一个屏幕或屏幕对象的观看者可感知与在不同观看距离处观看不同尺寸的不同屏幕或屏幕对象时相同的角度视场。然而，在真实环境中，观看者所感知的屏幕或对象尺寸除了角度视场之外还可依赖于环境提示。

例如，考虑在不同距离处的三个不同屏幕的三个不同视图1000，所有视图具有相同的角度垂直视场'α'，如图10所示。观看者1010正在观看距离D_a为60英尺远、屏幕高度H_a为20英尺的戏剧屏幕1002；用于观看者1010的产生的垂直视场为α＝arctan(20英尺/60英尺)＝18.4o。通过相同的三角关系，在所有其他条件相同的情况下，高度H_b为2英尺且距离D_b为6英尺远的家庭电视屏幕1004也具有α＝18.4°。同样，高度H_c为6英寸并且距观看者101018英寸的距离D_c的平板计算机屏幕1006将具有与更大、更远的屏幕1004、屏幕1002相同的α。

相同的对象(例如，驼鹿)将被观看者1010感知为具有不同的尺寸，这取决于它出现在哪个屏幕上。例如，基本上填充电影院屏幕1002的驼鹿将被感知为约H_a(例如20)英尺高，在家庭电视屏幕1004上约2英尺高，以及在平板计算机屏幕上约6英寸高。这些不同的知觉将由用户在真实环境中可获得的关于真实屏幕尺寸及其距离的其他视觉提示引起。可在VR环境中针对虚拟屏幕管理这些提示。尽管如此，在包括虚拟屏幕显示的VR内容中，观看者将基于在虚拟环境中观察到的任何提示来感知确定的屏幕尺寸和到屏幕的距离。在AR环境中，观看者通过观察真实观看环境来感知屏幕尺寸和距离提示。无论哪种方式，都可方便地具有可靠的度量来测量屏幕尺寸和距离的相关提示。

前述示例表明，单独的角度视场不是屏幕上的对象的知觉尺寸的唯一决定因素，但它显然仍然为决定因素中的一个。除了角度视场之外，到对象的距离可用作简单的几何度量，用于量化观看者所体验的对象的知觉尺寸。

在包括2D内容的屏幕显示的AR或真实环境中，所有屏幕上的对象都出现在屏幕上。因此，到任何屏幕上的对象的距离等于观看者和屏幕之间的真实和感知的观看距离。换句话说，从观看者到对象图像的感知距离(Zi)等于感知观看距离(V)，因此Zi＝V。参考图11，对于出现在2D屏幕的内容上的对象，屏幕上的对象的知觉尺寸(例如，宽度×高度)由布景1100(set)上的对象1102和摄像机1104之间的几何关系以及屏幕尺寸确定。例如，对象的屏幕水平宽度(W_i2D)由以下等式确定：

W_i2D＝(M_wW_of)/Z_o (等式7)

其中摄像机镜头焦距为f，摄像机与对象的距离为Z_o，对象垂直于在布景上的摄像机的物理宽度为W_o，摄像机传感器宽度为W_e，屏幕宽度为W_s，放大系数M_w定义为W_s/W_e。同样，对象的垂直高度(H_i2d)由下式确定

H_i2d＝(M_hH_of)/Z_o (等式8)

其中对象垂直于在布景上的摄像机的物理高度为H_o且M_h＝H_s/H_e。

对于3D电影，观看者看到位于物理屏幕前方或后方某一距离处的3D屏幕上的对象。观看者对3D屏幕上的对象的感知距离取决于各种因素，包括观看者与屏幕之间的距离、3D电影内容的产生方式以及对象与在布景上的摄像机的距离。如果使用“原生3D”立体摄像机产生3D内容，则如摄像机镜头焦距、摄像机传感器尺寸、屏幕尺寸、立体摄像机间距和立体摄像机水平视差移位的摄像机设定会影响会聚点的位置。会聚点为立体摄像机的光轴会聚在该布景上的点。当在3D屏幕上向观看者显示对象时，布景上的对象相对于会聚点的距离影响到对象的3D图像的感知距离。比会聚点更靠近摄像机的对象将出现在屏幕前方，而比会聚点更远离摄像机的对象将出现在屏幕后方。与会聚点距离相同的对象将出现在屏幕距离处。

对于使用“原生3D”立体摄像机产生的3D内容，从观看者到对象的3D图像的感知距离Z_i等于

Z_i＝(VeZ_o)/(M_wft-Z_o(2M_wh-e)) (等式9)

其中V为观看者和屏幕之间的观看距离，e为眼睛间距，t为立体摄像机间距，并且h为水平摄像机传感器移位距离。对象相对于观看者的水平位置等于

X_i＝(M_wefX_o)/(M_wft-Z_o(2M_wh-e)) (等式10)

其中X_o为对象与在布景上的摄像机的光轴之间的垂直水平距离。

对象相对于观看者的垂直位置Y_i等于

Y_i＝(M_hefY_o)/(M_hft-Z_o(2M_hh-e)) (等式11)

其中，Y_o为对象与在布景上的摄像机的光轴之间的垂直水平距离。屏幕上对象的3D图像的知觉尺寸(宽度)W_i3D等于

W_i3D＝(M_wefW_o)/(M_wft-Z_o(2M_wh-e)) (等式12)

对象的3D图像的知觉尺寸(高度)H_i3D等于

H_i3D＝(M_hefH_o)/(M_hft-Z_o(2M_hh-e)) (等式13)

对象的3D图像的知觉尺寸(深度)D_i3D等于

D_i3D＝Z_ib–Z_ia，其中Z_ib＝(VeZ_ob)/(M_wft-Z_ob(2M_wh-e))以及

Z_ia＝(VeZ_oa)/(M_wft-Z_oa(2M_wh-e))；因此

D_i3D＝(VeZ_ob)/(M_wft-Z_ob(2M_wh-e))

-(VeZ_oa)/(M_wft-Z_oa(2M_wh-e)) (等式14)

在替代形式D_i3D中，等于

D_i3D＝D_o*M_d (等式15)

其中对象在平行于在布景上的摄像机的方向上的物理深度为D_o＝(Z_ob-Z_oa)，而M_d为由以下等式定义的3D深度放大系数

M_d＝(M_wVeft)/(M_wft-Z_o(2M_wh-e))² (等式16)

如果3D内容被产生为“切换的3D”，则立体3D摄像机不用于产生构成3D电影的立体图像对。相反，通过调整场景中的对象的立体差异，将最终的2D图像从2D切换为3D，其中像素单元的视差确定到观看者所感知的对象的图像的距离。就像素视差(d_p)而言，到对象的图像的距离Z_i等于

Z_i＝(Ve)/(e-P)，其中

P＝d_pW_s/X_res。代替P，我们获得

Z_i＝(Ve)/(e-(d_pW_s/X_res))。乘以X_res/X_res，我们得到

Z_i＝(VeX_res)/(X_rese-d_pW_s) (等式17)

其中d_p为左眼图像和右眼图像中的对象的同源点之间的像素差异(以像素为单位)，W_s为屏幕宽度(例如20英尺)，并且X_res为以像素为单位的图像宽度(例如对于1920×1080分辨率图像的1920像素)。如果d_p为零，则到对象图像的距离将等于观看距离，并且对象将显示在屏幕平面上。如果d_p为负，则到对象图像的距离将小于观看距离，并且对象将看起来在朝向观看者的屏幕前方。如果d_p为正，则到对象图像的距离将大于观看距离，并且对象将看起来在远离观看者的屏幕后方。

对于切换的3D，对象的3D图像的知觉尺寸(宽度)等于

W_i3D＝W_i2DZ_i/V＝W_i2d(e/(e-P)) (等式18)

如前所述，P＝d_pW_s/X_res以及W_i2D＝(M_wW_of)/Z_o。换入等式18中，我们得到：

W_i3D＝((M_wW_of)/Z_o)*(e/(e-(d_pW_s/X_res)))

＝(M_wW_ofeX_res)/(Z_o(X_rese-d_pW_s)) (等式19)

同样，对象的3D图像的感知高度(H_i3D)由以下等式提供：

H_i3D＝(MH_ofeX_res)/(Z_o(X_rese-d_pW_s)) (等式20)

当对象从作为表示在2D或3D电影内容中的对象的图像存在转换为在虚拟环境中增强2D或3D电影内容的虚拟对象时，观看者对对象的尺寸的知觉(对于2D内容，由W_i2D和H_i2D表示，对于3D内容，由W_i3D、H_i3D和O_i3D表示)以及对象的位置(X_i、Y_i、Z_i)在对象从一个域(在2D或3D内)转换到另一个域(作为虚拟环境中的虚拟对象)时应在两个域中都匹配。如果对象将从2D电影内容出现到虚拟屏幕前面的剧院空间中，则可通过调整虚拟对象的渲染来实现位置和尺寸的匹配，使得其在转换时存在于屏幕表面(Z_i＝O)，其中对象宽度等于W_i2D并且对象高度等于H_i2D。如果对象将从3D电影内容出现到虚拟屏幕前方的剧院空间中，则可通过调整虚拟对象的渲染来实现位置和尺寸的匹配，使得其位置等于3D影片内容中对象图像的对应位置(X_i、Y_i、Z_i)的位置，并且虚拟对象的尺寸(宽度、高度、深度)分别等于W_i3D、H_i3D和O_i3D。

提供VR数据的服务器或VR设备通常将具有每个观看者在虚拟环境中相对于虚拟屏幕在何处的信息，因为它根据观看者在虚拟环境中的位置和姿势渲染屏幕和虚拟环境两者。观看者在虚拟环境中相对于屏幕的初始位置由VR回放软件程序确定。观看者的初始位置可为用户可配置的设定，其可在回放开始之前或回放期间被改变。如果VR头盔具有位置跟踪特征件(如OculusOK2和HTC Vive)，则应调整观看者在虚拟环境中相对于屏幕的位置，以补偿任何检测到的VR头盔的观看者的位置移动。

在其他使用情况中，AR头盔等可提供2D或3D电影的回放，其中附加虚拟对象增强与2D或3D电影的回放同步的虚拟环境。AR使用情况可与上述VR使用情况类似，除了使用增强现实眼镜头戴式显示器代替VR头盔，并且使用真实电影或电视屏幕代替虚拟环境中的虚拟屏幕。因为AR头盔不在虚拟环境中渲染虚拟屏幕，所以它应该获得或拥有关于AR头盔和真实屏幕的相对位置和取向的信息。例如，AR头盔可检测并补偿真实电影屏幕相对于观看者的位置。

可例如使用安装在AR头盔上的摄像机来确定观看者相对于真实电影院屏幕的位置的定位，该摄像机观看唯一的QR码图像并检测与QR码图像相关联的唯一标识符。QR码图像位于电影院中每个座位的背面。在将剧院用于AR头盔回放之前，可执行单独的校准过程，以将每个座位背面的每个唯一QR码与剧院中的观看位置相关联，其中距屏幕的距离为Z_v＝V且距屏幕中心的水平距离为X_v，并且距屏幕中心的垂直距离为Y_v。

在替代实施例中，基准标记可安装在剧院壁上，例如，包括已知几何形状的基于图像的图案或基于IR的发射器的标记。每个AR头盔可通过安装到AR头盔的摄像机或检测器来感测这些基准标记，以确定AR头盔相对于基准标记的位置。基准标记还可用于指示屏幕边界。AR头盔或其他数据源可确定观看者在剧院中的位置(X_v、Y_v、Z_v)，并且当对象从图像内容域(在2D或3D电影中)转换到虚拟对象域(在真实的电影院空间中)时应用适当的补偿，或者用于将AR对象的感知尺寸与屏幕上的对象相匹配。

在其他使用情况下，VR头盔可回放2D或3D电影，同时显示增强与2D或3D电影的回放同步的虚拟环境的附加虚拟对象，模拟如上所述的AR使用情况。模拟的AR体验可为最初为佩戴AR头盔在真实电影院环境中看2D或3D电影的观看者准备的类型，而AR头盔输出的AR对象增强真实电影环境中的观看体验。例如，为了模拟为“剧院版本”制作的真实电影环境中的AR体验，可使用纯VR头盔在家庭中再现类似体验，用于“家庭娱乐版本”。可重新编辑VR内容，以便在与VR头盔一起使用时增强虚拟环境中的虚拟屏幕。

在其他使用情况下，VR头盔可回放屏幕上2D或3D内容，同时提供与屏幕内容同步的附加音频评论。使用VR头盔，将2D或3D电影视频和音频演示的回放与视频回放同步的附加预先录制的音频轨道(如评论轨道)的附加回放相结合，所述2D或3D电影视频和音频演示对佩戴VR头盔的观众来说似乎位于虚拟环境(如剧院)内的表面(如屏幕)上，并且在观看者附近或周围的位置处分配与虚拟现实环境内的虚拟对象相关联的附加预先录制的音频轨道的回放。VR头盔回放***的空间音频功能的使用允许观看者相信他正在和坐在他身边做音频评论的人一起看电影。虚拟对象可为坐在观看者在虚拟环境中的位置附近的座位上的虚拟人。同步的音频评论记录可以从现有记录中重新调整用途，这些现有记录作为DVD或蓝光光盘发行的对应2D或3D内容的特殊特征的一部分发行。虚拟人物对象可与电影回放和音频评论同步或不同步地被动画化。如果虚拟人物对象以与电影回放不同步的方式移动，则可使它们看起来像坐在椅子上的人，即使他们坐在一个地方，通常也会有一些身体运动。也应该可禁用音频评论，并且只允许听到电影音频。还应该能够禁用虚拟人物对象的可见性以允许观看者仅在虚拟屏幕表面上享受电影视频回放。

鉴于前述内容，并且通过附加示例，图12至图15示出用于在混合媒体内容的演示中提供几何匹配的一种方法1200或多种方法的各方面。方法1200可由包括可编程计算机的AR输出设备、由包括可编程计算机的VR输出设备、由与AR输出设备或VR输出设备通信的一个或多个计算机，或由AR或VR输出设备和与输出设备通信的一个或多个计算机的组合来执行。

参考图12，用于几何匹配的计算机实施的方法可包括在1210接收数字电影主数据，该数字电影主数据包括与显示格式化用于在2D屏幕上显示的视频数据同时显示AR输出对象或VR输出对象中的一个的AR或VR数据中的至少一个。换句话说，数字电影主数据包括混合媒体。视频数据可为2D视频数据或3D(立体)视频数据。2D屏幕可为真实物理屏幕(例如，用于投影的表面，或诸如LCD显示器的有源显示屏幕)或者在VR显示器中的定义的虚拟位置处生成的虚拟屏幕。在混合媒体的演示中，VR输出设备可在VR显示器中输出VR数据和视频数据两者，AR输出设备可与显示视频数据的单独显示器设备同时协调地在AR显示器中输出AR数据，或两者可针对不同用户发生。另选地或附加地，方法1200可包括将混合媒体数字电影主数据提供到AR输出设备或VR输出设备，例如通过在计算机网络上流式传输、通过无线网络上的无线传输、经由信息亭供应数字数据，或者前述的某种组合。

方法1200可包括在1220确定第一值集，该第一值集指示2D屏幕或出现在其上的对象相对于AR输出设备或VR输出设备中的至少一个的角度视场中的至少一个。与等式1至等式8中的一个或多个一致的计算或其他合适的计算可用于确定第一值集。如本文所用，“值集”意指一组一个或多个定量值。第一值集(例如，使用如上所述的角度值α和β)表征屏幕上的对象的角度视场的大小。“相对于AR输出设备或VR输出设备中的至少一个”意指从基于相关输出设备的位置确定的观点。第一值集被计算为假设或实际观看者所看到的角度视场的数学指示或表示。观看者佩戴AR输出设备或VR输出设备或者假定为佩戴AR输出设备或VR输出设备，视乎适用情况。

方法1200可包括在1230确定第二值集，该第二值集指示2D屏幕与AR输出设备或VR输出设备中的至少一个之间的最短当前距离。该确定可基于物理测量，该物理测量基于所使用的屏幕类型的典型数据分配，通过任何其他合适的方法预先分配到与剧院座位相关联的设备。例如，AR输出设备或VR输出设备可通过分析屏幕上显示的校准标记、测量信号在输出设备和屏幕之间传播所需的时间、或者通过使用三角测量定位设备和屏幕来测量到屏幕的距离。距离测量可能不需要高精度。例如，即使精确到正负百分之十，或正负百分之二十，测量也可能为有用的。另选地或附加地，操作1230可包括(例如使用上文公开的用于Z_i的等式中的任何合适的等式，或者其合适的适配)确定第二值集，该第二值集指示立体屏幕对象Z_i与AR输出设备或VR输出设备中的至少一个之间的最短当前距离。

方法1200可包括在1240计算第三值集，该第三值集用于使得AR输出对象或VR输出对象中的至少一个的屏幕外角度视场与屏幕上的对象的角度视场或2D屏幕的角度视场中的至少一个具有固定关系。该计算可至少部分地基于第一值集和第二值集，或者换句话说，基于确定屏幕或屏幕-对象角度视场和到屏幕的距离(或到立体屏幕对象的知觉距离Z_i)的量。固定关系可表示为与目标角度视场相等的关系或者表示为目标角度视场的比例。目标视场可为屏幕上的对象的角度视场或2D屏幕的角度视场中的一个。

在执行计算时，例如，AR或VR输出设备或关联计算机的处理器可将屏幕外对象的屏幕外角度视场设定为在知觉误差带内基本相等(例如，正负10％)，或者完全等于视频数据的最近帧中的对应屏幕上的对象的角度视场。例如，如果希望将垂直角度视场与近似为α≈H/D(等式1)的屏幕上的对象匹配，其中α为常数，则H_v可近似由H_v≈αD_v确定，其中H_v为屏幕外对象的高度，并且D_v为它与观看者的虚拟距离。第三值集可由H_v和/或诸如D_v的其它变量组成或包括H_v和/或诸如D_v的其它变量。D_v为从观看者到屏幕外对象的虚拟矢量的长度，并且可基于场景参数和D进行几何确定，这为已知的。例如，如果场景参数指定屏幕外对象应以从观看者到屏幕中心的光线中心偏离某个角度'Φ'并且以中心光线距离D的某个百分比'p'生成，然后D_v＝pD/余弦(Φ)，其中余弦(Φ)＝pD/D_v。

如果不存在对应的屏幕上对象，或者如果不希望将屏幕外角度视场与任何对应的屏幕上对象匹配，则处理器可将屏幕外角度视场设定为等于屏幕角度视场的预定百分比。例如，如果'q'为2D屏幕角度视场的指定百分比，则处理器可如上所述基于qα而不是α来确定Hv。显而易见的是，为了清楚示例，可使用本文提供的更精确的三角关系或类似关系来代替上述近似。还应该显而易见的是，基于上述示例，可容易地从等式4至等式6导出用于确定屏幕外对象的宽度(W)而不是高度(H)的类似算法。

方法1200可包括在1250处输出用于显示具有屏幕外角度视场的AR输出对象或VR输出对象中的至少一个的数据。基于用于确定第三值集的场景参数，屏幕外AR或VR对象位于虚拟空间中。

方法1200可以任何可操作的顺序包括图13、图14和图15所示的附加操作1300、附加操作1400或附加操作1500中的任何一个或多个。这些附加操作中的每一个不一定在该方法的每个实施例中执行，并且操作1300、操作1400或操作1500中的任何一个的存在不一定要求也可执行这些附加操作中的任何其他操作。

参考示出某些附加操作1300的图13，方法1200可进一步包括在1310确定AR输出设备或VR输出设备中的至少一个相对于2D屏幕的取向和位置中的至少一个。该方法可进一步包括进一步基于输出设备的取向和位置中的至少一个来计算屏幕外角度视场。另选地或附加地，输出设备的取向和位置可用于将虚拟空间变换为屏幕相对空间，以实施客观的屏幕相对语法。

另外，方法1200可包括在1320确定AR输出对象或VR输出对象中的至少一个相对于2D屏幕的取向和位置中的至少一个。在这种情况下，方法1200可包括在1330计算屏幕外角度视场可进一步基于AR对象或3D对象的取向和位置中的至少一个以及三维几何形状。换句话说，当AR对象或VR对象围绕一个或多个轴线旋转时，除非它关于旋转轴线完全对称，否则其角度视场将随着其旋转而变化。除了对象的位置和取向之外，变化量还将与对象在其参考取向时的角度视场和对象的几何形状有关。

此外，方法1200可进一步包括在1340进一步基于满足数字电影主数据的一部分(例如针对单个场景或一组相关场景)的定义的知觉标准来计算屏幕外角度视场。在一方面，知觉标准可包括根据选自以下的关系来指定AR输出对象或VR输出对象中的至少一个相对于相关屏幕上的对象的感知尺寸：基本上大于、基本上小于、基本上等于、成特定百分比或成比率。出现在AR/VR中的对象可通过表示相同的道具或角色，或者通过以同步的方式彼此交互来与屏幕上的对象相关。在这种情况下，“基本上”意指“对于普通观众成员可感知”。例如，如果普通观众没有特别寻找尺寸差异，在看视频和AR/VR内容用于其预期的娱乐时不会察觉到任何尺寸差异，则两个对象的尺寸基本相等。

在替代方面，知觉标准可包括根据用于单视场2D视频或类似地用于立体3D视频的前述关系中的任何选定的一个，指定AR输出对象或VR输出对象中的至少一个相对于2D屏幕或出现在2D屏幕上的对象的尺寸的感知尺寸。例如，对于立体3D对象，其可出现在距观看者'Z_i'的知觉距离处，该知觉距离不等于屏幕和观看者之间的距离'D'。因此，处理器可基于感知距离Z_i而不是屏幕距离来计算感知对象尺寸。在另一方面，方法1200可包括在1350处基于数字电影主数据的不同部分之间的转换来改变知觉标准。例如，取决于预期的戏剧效果，不同的标准可用于不同的场景。相同的屏幕外对象可能在不同场景中或在同一场景的不同部分中显得更大或更小，用于戏剧性效果。

参考图14，示出与实施例相关的某些附加操作1400，其中数字电影主数据至少包括VR数据，方法1200可进一步包括在1410处，VR输出设备将格式化用于在2D屏幕上显示的视频数据进行渲染，该2D屏幕为虚拟2D屏幕。在相关方面，方法1200可包括在1420处，确定第一值集可包括从计算机存储器读取2D屏幕或出现在其上的对象的角度视场的预设值。预设值可为被选择以向VR用户提供导演确定的体验的常数值。在替代方案中，屏幕的角度视场可为用户可控的或者基于环境因素确定，例如VR用户在真实电影院中的位置。

在相关方面，方法1200可包括在1430处至少部分地通过从计算机存储器读取2D屏幕和VR输出设备之间的最短当前距离的预设值来确定第二值集。最短当前距离值可由导演、用户可控因素或基于如上所述的检测到的环境因素来固定。方法1200可包括在1440处配置虚拟2D屏幕和周围虚拟环境以用于从VR输出设备输出，使得到2D屏幕的感知距离基本上匹配预设值。感知距离可为例如如上所述的立体图像距离Z_i。周围虚拟环境应被配置成提供适当的距离提示，诸如，例如，视角的一致使用、中间对象(例如，剧院座位和虚拟观众成员)的放置以及上下文提示(例如，电影院、起居室或手持式)。在VR内容创建过程期间，可通过建模和渲染期望空间的模型，或者通过使用VR摄像机***捕获期望尺寸的真实空间和上下文来容易地提供这些提示。

图15示出与实施例相关的某些附加操作1500，其中数字电影主数据至少包括AR数据，并且与AR输出设备不同的设备(例如，投影仪、电视、膝上型计算机、记事本计算机或智能手机)将格式化用于在2D屏幕上显示的视频数据进行渲染，该2D屏幕为真实2D屏幕。方法1200可进一步包括在1510处至少部分地通过测量2D屏幕或出现在其上的对象的角度视场来确定第一值集。测量可包括在1520处使用耦合到AR输出设备的传感器结合诸如执行分析算法的处理器的辅助器材来确定角度视场。例如，可在开始AR演示之前在屏幕上显示水平和垂直配准标记。位于AR输出设备上的摄像机可生成屏幕的图像。执行图像分析算法的处理器可使用如本公开中先前概述的合适的几何过程来分析图像，并且确定水平和垂直角度视场的值或者等效测量。

另外，方法1200可包括在1530处至少部分地通过使用耦合到AR输出设备的传感器测量2D屏幕和AR输出设备之间的最短当前距离来确定第二值集。可使用任何合适的方法来确定到AR输出设备的距离，例如声纳(SONAR)或雷达(RADAR)技术，其中使用耦合到时钟的包括收发器或信号发生器(例如超声波发射器)的传感器从回波或传输信号的传输时间来确定距离。在关于屏幕尺寸的信息可用的情况下，可由AR处理器使用图像分析方法来确定距离。例如，在屏幕上显示的用于测量角度视场的配准标记可伴随有编码配准标记的几何描述的光学代码，例如，标记之间的距离和角度。在AR设备上操作的图像分析算法可使用包括数字摄像机图像传感器的传感器基于配准标记的几何形状确定第二值集。例如，为了简化示例，使用等式3和等式6，可测量视场的垂直分量'α'，同时从光学代码读取'H'。因此，到屏幕'D'的距离可近似为D≈H/α。由等式1和等式2表示的更精确的三角关系或类似关系可用于确定'D'的更精确值。类似地，'D'可近似地由W/β或者由等式4和等式5中的更精确关系确定。对于进一步的示例，可通过使用位置传感器将AR设备与相对于屏幕具有已知位置的特定电影院座位或区相关联来确定到电影院或家庭剧院设定中的屏幕的距离。

图16为示出用于在电影院或家庭剧院中提供同时沉浸式和非沉浸式播放的装置或***1600的组件的概念框图，如本文所述。装置或***1600可包括用于执行如本文所述的功能或过程操作的附加或更详细的组件。例如，处理器1610和存储器1616可包含如上所述的用于几何匹配的过程的示例。如图所示，装置或***1600可包括可表示由处理器、软件或其组合(例如，固件)实施的功能的功能块。

如图16所示，装置或***1600可包括用于接收数字电影主数据的电子组件1602，该数字电影主数据包括AR数据或AR数据中的至少一个，用于与格式化用于在2D屏幕上显示的视频数据同时显示AR输出对象或VR输出对象中的一个。组件1602可为或可包括用于所述同时显示的工具。所述工具可包括耦合到存储器1616、收发器1612和立体显示器1614的处理器1610，处理器基于存储在存储器中的程序指令执行算法。此类算法可包括一系列更详细的操作，例如，从正在为2D屏幕播放视频内容的播放器模块或设备接收定时信号，基于该定时信号检测时间线值，以及控制沉浸式内容的播放以便与时间线保持同步。

装置1600可进一步包括用于确定第一值集的电子组件1603，该第一值集指示2D屏幕或出现在其上的对象的角度视场的至少一个。组件1603可为或可包括用于所述确定的工具。所述工具可包括耦合到存储器1616和传感器(未示出)的处理器1610，处理器基于存储在存储器中的程序指令执行算法。此类算法可包括一系列更详细的操作，例如，如上面结合在屏幕或屏幕对象上使用配准标记所描述的。传感器可包括图像传感器、无线接收器和红外传感器，或其他合适的传感器。

装置1600可进一步包括用于确定第二值集的电子组件1604，该第二值集指示2D屏幕和装置之间的最短当前距离。组件1604可为或可包括用于所述确定的工具。所述工具可包括耦合到存储器1616和传感器(未示出)的处理器1610，处理器基于存储在存储器中的程序指令执行算法。此类算法可包括一系列更详细的操作，例如，测量信号发送时间，使用已知的屏幕几何形状分析屏幕上配准标记，或者使用三角测量或与座位或区分配的关联来获得相对于屏幕的当前位置。传感器可包括图像传感器、无线接收器和红外传感器，或其他合适的传感器，其可与组件1603共享，或者由组件1604专用。

装置1600可进一步包括用于计算第三值集的电子组件1605，该第三值集用于使得AR输出对象或VR输出对象中的至少一个的屏幕外角度视场与屏幕上对象或2D屏幕的角度视场的至少一个具有固定关系。组件1605可为或可包括用于所述计算的工具。所述工具可包括耦合到存储器1616的处理器1610，处理器基于存储在存储器中的程序指令执行算法。此类算法可包括一系列更详细的操作，例如，基于沿一个或多个轴线的目标角度视场以及到立体屏幕对象的真实屏幕距离或感知距离中的至少一个来设定尺寸参数。

装置1600可进一步包括用于输出数据的电子组件1606，该数据用于显示具有屏幕外角度视场的AR输出对象或VR输出对象中的至少一个。组件1606可为或可包括用于所述输出的工具。所述工具可包括耦合到存储器1616、收发器1612和立体显示器设备1614的处理器1610，处理器基于存储在存储器中的程序指令执行算法。此类算法可包括一系列更详细的操作，例如，基于在与屏幕上节目相关的时间线的对应时间处针对屏幕外对象的计算的虚拟位置来生成包括立体视图帧的视频数据，并且将视频数据提供到立体显示器设备1614的输入端口。

装置1600可任选地包括具有至少一个处理器的处理器模块1610。处理器1610可经由总线1613或类似的通信耦合与模块1602至模块1606进行操作性通信。处理器1610可实现由电子组件1602至电子组件1606执行的过程或功能的启动和调度。

在相关方面，装置1600可包括网络接口模块(未示出)，该网络接口模块代替收发器1612或除收发器1612之外还可操作用于通过计算机网络与***组件通信。网络接口模块可为或可包括例如以太网端口或串行端口(例如，通用串行总线(USB)端口)。在进一步的相关方面，装置1600可任选地包括用于存储信息的模块，例如存储器设备1616。计算机可读介质或存储器模块1616可经由总线1613等可操作地耦合到装置1600的其他组件。存储器模块1616可适于存储计算机可读指令和数据，用于实现模块1602至模块1606及其子组件、或处理器1610或方法1200以及本文公开的附加操作1300至附加操作1500中的一个或多个的过程和行为。存储器模块1616可保留用于执行与模块1602至模块1606相关联的功能的指令。虽然示出为在存储器1616外部，但应理解，模块1602至模块1606可存在于存储器1616内。

装置1600可包括配置成无线发送器/接收器或有线发送器/接收器的收发器1612，用于向/从另一***组件，例如图4中所示的服务器或图5B中所示的屏幕输出控制器522发送和接收通信信号。在替代实施例中，处理器1610可包括来自在计算机网络上操作的设备的联网微处理器。另外，装置1600可包括用于显示沉浸式内容的立体显示器或其他沉浸式显示器设备1614。立体显示器设备1614可为或可包括如上文所述的任何合适的立体AR或VR输出设备，或者如本领域中已知的那样。

所属领域的技术人员将进一步解，结合本文中所公开的方面而描述的各种说明性逻辑块、模块、电路和算法步骤可实施为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，上面已经在功能性方面对各种说明性的组件、块、模块、电路和步骤进行总体描述。将此类功能性实施为硬件还是软件取决于特定应用和强加于整个***的设计约束。熟练的技术人员可针对每个特定应用以不同方式实施所描述的功能，但是此类实施方式决策不应被解释为引起脱离本公开的范围。

如在本申请中所使用的，术语“组件”、“模块”、“***”等旨在指代与计算机相关的实体，或者硬件、硬件和软件的组合、软件、或者执行中的软件。例如，组件或模块可为但不限于为在处理器、处理器、对象、可执行文件、执行线程、程序和/或计算机上运行的进程。举例来说，在服务器上运行的应用和服务器都可为组件或模块。一个或多个组件或模块可驻留在进程和/或执行线程内，并且组件或模块可位于一个计算机上和/或分布在两台或更多台计算机之间。

将根据可包括多个组件、模块等的***来呈现各个方面。应理解和了解，各种***可包括附加组件、模块等，和/或可不包括结合附图所论述的组件、模块等中的所有。也可使用这些方法的组合。本文公开的各个方面可在电子设备上执行，包括利用触摸屏幕显示技术、抬头用户界面、可佩戴界面和/或鼠标和键盘类型界面的设备。此类设备的示例包括VR输出设备(例如，VR头盔)、AR输出设备(例如，AR头盔)、计算机(台式机和移动设备)、智能手机、个人数字助理(PDA)以及有线和无线两者的其他电子设备。

另外，结合本文公开的方面描述的各种说明性逻辑块、模块和电路可用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑设备、离散门或晶体管逻辑、离散硬件组件或其设计成执行本文描述的功能的任何组合来实施或执行。通用处理器可为微处理器，但是另选地，处理器可为任何常规处理器、控制器、微控制器或状态机。处理器还可实施为计算设备的组合，例如DSP和微处理器的组合、多个微处理器、一个或多个微处理器与DSP核心的结合，或任何其他此类配置。

本文所公开的操作方面可直接体现在硬件、由处理器执行的软件模块中、或者两者的组合中。软件模块可驻留在RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM、数字通用盘(DVD)、蓝光光碟(Blu-ray^TM)或本领域已知的任何其他形式的存储介质中。示例性存储介质耦合到处理器，使得处理器可从存储介质读取信息以及向存储介质写入信息。在替代方案中，存储介质可集成到处理器。处理器和存储介质可驻留在ASIC中。ASIC可驻留在客户端设备或服务器中。在替代方案中，处理器和存储介质可作为离散组件驻留在客户端设备或服务器中。

此外，一个或多个版本可被实施为使用标准编程和/或工程技术以产生软件、固件、硬件或其任意组合的方法、装置或制品，以控制计算机实施所公开的方面。非暂时性计算机可读介质可包括但不限于磁存储设备(例如，硬盘、软盘、磁条或其他格式)、光盘(例如，压缩盘(CD)、DVD、Blu-ray^TM)或其他格式)、智能卡和闪存设备(例如，卡、棒或其他格式)。当然，本领域技术人员将认识到，在不脱离所公开方面的范围的情况下，可对该配置进行许多修改。

提供先前对所公开方面的描述是为了使所属领域的技术人员能够制作或使用本公开。对于本领域技术人员来说，对这些方面的各种修改为显而易见的，并且在不脱离本公开的精神或范围的情况下，本文中定义的一般原理可应用于其他实施例。因此，本公开不旨在限于本文所示的实施例，而是符合与本文公开的原理和新颖特征一致的最宽范围。

鉴于上文描述的示例性***，已经参考若干流程图描述可根据所公开的主题实施的方法。虽然为了简化说明的目的，将方法示出并描述为一系列块，但应理解和了解，所要求保护的主题不受块的顺序限制，因为一些块可以不同的顺序出现和/或与本文描绘和描述的其他块同时出现。此外，可能不需要所有示出的框来实施本文描述的方法。另外，应进一步了解，本文所公开的方法能够存储在制品上以促进将此类方法传送和转移到计算机。

Claims (32)

1.一种增强现实即AR输出设备或虚拟现实即VR输出设备中的至少一个的方法，所述方法包括：

通过AR输出设备或VR输出设备中的至少一个接收数字电影主数据，所述数字电影主数据包括AR数据或VR数据中的至少一个，用于与格式化用于在2D屏幕上显示的视频数据同时显示AR输出对象或VR输出对象中的一个；

确定指示所述2D屏幕或出现在其上的对象的角度视场中的至少一个的第一值集；

确定指示所述2D屏幕与所述AR输出设备或所述VR输出设备中的至少一个之间的最短当前距离的第二值集；

至少部分地基于所述第一值集和所述第二值集计算第三值集，所述第三值集经配置用于使得所述AR输出对象或所述VR输出对象中的至少一个的屏幕外角度视场与屏幕上的对象或所述2D屏幕的角度视场中的至少一个具有固定关系；以及

输出用于显示具有所述屏幕外角度视场的所述AR输出对象或所述VR输出对象中的至少一个的数据。

2.根据权利要求1所述的方法，进一步包括相对于所述2D屏幕，确定所述AR输出设备或所述VR输出设备中的至少一个的取向和位置中的至少一个。

3.根据权利要求2所述的方法，其中计算所述屏幕外角度视场进一步基于所述取向和所述位置中的至少一个。

4.根据权利要求1所述的方法，进一步包括确定所述AR输出对象或所述VR输出对象中的至少一个相对于所述2D屏幕的取向和位置中的至少一个。

5.根据权利要求4所述的方法，其中计算所述屏幕外角度视场进一步基于所述取向和所述位置中的至少一个。

6.根据权利要求1所述的方法，其中计算所述屏幕外角度视场进一步基于满足用于所述数字电影主数据的一部分的定义的知觉标准。

7.根据权利要求6所述的方法，其中所述知觉标准包括根据选自基本上大于、基本上小于或基本上等于的关系，指定所述AR输出对象或所述VR输出对象中的至少一个相对于匹配类型的相关屏幕上的对象的感知尺寸。

8.根据权利要求6所述的方法，进一步包括基于所述数字电影主数据的不同部分之间的转换改变所述知觉标准。

9.根据权利要求1所述的方法，其中所述数字电影主数据至少包括VR数据，并且VR输出设备将格式化用于在所述2D屏幕上显示的所述视频数据渲染，所述2D屏幕为虚拟2D屏幕。

10.根据权利要求9所述的方法，其中确定所述第一值集包括从计算机存储器读取所述2D屏幕或出现在其上的对象的角度视场的预设值。

11.根据权利要求9所述的方法，其中确定所述第二值集包括从计算机存储器读取所述2D屏幕和所述VR输出设备之间的最短当前距离的预设值。

12.根据权利要求11所述的方法，进一步包括配置所述虚拟2D屏幕和周围虚拟环境以从所述VR输出设备输出，使得到所述2D屏幕的感知距离基本上匹配所述预设值。

13.根据权利要求1所述的方法，其中所述数字电影主数据至少包括所述AR数据，并且与所述AR输出设备不同的设备将格式化用于在所述2D屏幕上显示的所述视频数据进行渲染，所述2D屏幕为真实2D屏幕。

14.根据权利要求13所述的方法，其中确定所述第一值集包括至少部分地使用耦合到所述AR输出设备的传感器测量所述2D屏幕或出现在其上的对象的角度视场。

15.根据权利要求13所述的方法，其中确定所述第二值集包括至少部分地使用耦合到所述AR输出设备的传感器测量所述2D屏幕和所述AR输出设备之间的最短当前距离。

16.一种用于虚拟现实即VR或增强现实即AR输出与屏幕上的内容的几何匹配的装置，包括：

处理器、耦合到所述处理器的存储器，以及耦合到所述处理器的立体显示器设备，其中所述存储器保持当由所述处理器执行时使得所述装置执行以下操作的指令：

接收数字电影主数据，所述数字电影主数据包括AR数据或AR数据中的至少一个，用于与格式化用于在2D屏幕上显示的视频数据同时显示AR输出对象或VR输出对象中的一个；

确定指示所述2D屏幕或出现在其上的对象的角度视场中的至少一个的第一值集；

确定指示所述2D屏幕和所述装置之间的最短当前距离的第二值集；

至少部分地基于所述第一值集和所述第二值集计算第三值集，用于使所述AR输出对象或所述VR输出对象中的至少一个的屏幕外角度视场与屏幕上的对象或所述2D屏幕的角度视场的至少一个具有固定关系；以及

输出用于显示具有所述屏幕外角度视场的所述AR输出对象或所述VR输出对象中的至少一个的数据。

17.根据权利要求16所述的装置，其中所述存储器保持用于确定所述装置相对于所述2D屏幕的取向和位置中的至少一个的进一步指令。

18.根据权利要求17所述的装置，其中所述存储器保持用于进一步基于所述取向和所述位置中的至少一个来计算所述屏幕外角度视场的进一步指令。

19.根据权利要求16所述的装置，其中所述存储器保持用于确定所述AR输出对象或所述VR输出对象中的至少一个相对于所述2D屏幕的取向和位置中的至少一个的指令。

20.根据权利要求19所述的装置，其中所述存储器保持用于进一步基于所述取向和所述位置中的至少一个来计算所述屏幕外角度视场的进一步指令。

21.根据权利要求16所述的装置，其中所述存储器保持用于进一步基于满足用于所述数字电影主数据的一部分的定义的知觉标准来计算所述屏幕外角度视场的进一步指令。

22.根据权利要求21所述的装置，其中所述存储器保持用于根据选自基本上大于、基本上小于或基本上等于中的关系指定所述知觉标准的进一步指令，所述知觉标准包括所述AR输出对象或所述VR输出对象中的至少一个相对于匹配类型的相关屏幕上的对象的感知尺寸。

23.根据权利要求21所述的装置，其中所述存储器保持用于基于所述数字电影主数据的不同部分之间的转换来改变所述知觉标准的进一步指令。

24.根据权利要求16所述的装置，其中所述存储器保持用于接收所述数字电影主数据的进一步指令，所述数字电影主数据至少包括格式化用于在所述2D屏幕上显示的视频数据，所述视频数据为VR数据，所述2D屏幕为虚拟2D屏幕。

25.根据权利要求24所述的装置，其中所述存储器保持用于至少部分地通过从计算机存储器读取所述2D屏幕或出现在其上的对象的角度视场的预设值来确定所述第一值集的进一步指令。

26.根据权利要求24所述的装置，其中所述存储器保持用于至少部分地通过从计算机存储器读取所述2D屏幕和所述VR输出设备之间的最短当前距离的预设值来确定所述第二值集的进一步指令。

27.根据权利要求26所述的装置，其中所述存储器保持用于配置所述虚拟2D屏幕和周围虚拟环境以用于从所述装置输出使得到所述2D屏幕的感知距离基本上匹配所述预设值的进一步指令。

28.根据权利要求16所述的装置，其中所述存储器保持用于接收所述数字电影主数据的进一步指令，所述数字电影主数据至少包括所述AR数据，并且与所述装置不同的设备将格式化用于在所述2D屏幕上显示的所述视频数据进行渲染，所述2D屏幕为真实2D屏幕。

29.根据权利要求28所述的装置，其中所述存储器保持用于至少部分地通过至少部分地使用耦合到所述AR输出设备的传感器测量所述2D屏幕或出现在其上的对象的角度视场来确定所述第一值集的进一步指令。

30.根据权利要求28所述的装置，其中所述存储器保持用于至少部分地通过至少部分地使用耦合到所述AR输出设备的传感器测量所述2D屏幕和所述AR输出设备之间的最短当前距离来确定所述第二值集的进一步指令。

31.一种用指令编码的计算机可读介质，所述指令在由处理器执行时使得用于虚拟现实即VR或增强现实即AR输出与屏幕上的内容的几何匹配的装置执行：

接收包括AR数据或AR数据中的至少一个的数字电影主数据，用于与格式化用于在2D屏幕上显示的视频输出同时显示AR输出对象或VR输出对象中的一个；

确定指示所述2D屏幕或出现在所述2D屏幕上的对象的角度视场中的至少一个的第一值集；

确定指示所述2D屏幕和所述装置之间的最短当前距离的第二值集；

至少部分地基于所述第一值集和所述第二值集计算第三值集，用于使所述AR输出对象或所述VR输出对象中的至少一个的屏幕外角度视场与所述屏幕上的对象或所述2D屏幕的角度视场的至少一个具有固定关系；以及

输出用于显示具有所述屏幕外角度视场的所述AR输出对象或所述VR输出对象中的所述至少一个的数据。

32.一种用于虚拟现实即VR或增强现实即AR输出与屏幕上的内容的几何匹配的装置，包括：

用于接收数字电影主数据的工具，所述数字电影主数据包括AR数据或AR数据中的至少一个，用于与格式化用于在2D屏幕上显示的视频输出同时显示AR输出对象或VR输出对象中的一个；

用于确定第一值集的工具，所述第一值集指示所述2D屏幕或出现在其上的对象的角度视场中的至少一个；

用于确定第二值集的工具，所述第二值集指示所述2D屏幕和所述装置之间的最短当前距离；

用于至少部分地基于所述第一值集和所述第二值集计算第三值集的工具，所述第三值集用于使所述AR输出对象或所述VR输出对象中的所述至少一个的屏幕外角度视场与屏幕上的对象或所述2D屏幕的所述角度视场中的至少一个具有固定关系；以及

用于输出具有所述屏幕外角度视场的所述AR输出对象或所述VR输出对象中的所述至少一个的工具。