CN111684468B

CN111684468B - 用于呈现和操纵有条件地相关的合成现实内容线程的方法和设备

Info

Publication number: CN111684468B
Application number: CN201980011724.7A
Authority: CN
Inventors: I·M·里克特; M·J·洛克威尔; A·S·赛尼
Original assignee: Apple Inc
Current assignee: Apple Inc
Priority date: 2018-02-19
Filing date: 2019-02-15
Publication date: 2024-03-08
Anticipated expiration: 2039-02-15
Also published as: KR102549822B1; US20210043004A1; US20230386149A1; US11769305B2; WO2019161267A1; US11238661B2; KR20200108457A; EP3756138A1; US12033290B2; US20220114795A1; CN111684468A

Abstract

在一个具体实施中，一种方法包括：将与第一属性相关联的第一目标实现器(OE)和与第二属性相关联的第二OE实例化到合成现实(SR)布景中，其中所述第一OE封装在所述第二OE内；基于所述第一属性和所述第二属性向所述第一OE提供第一目标；基于所述第二属性向所述第二OE提供第二目标，其中所述第一目标和所述第二目标与第一时间点和第二时间点之间的时间段相关联；基于所述第一目标生成所述第一OE的第一组动作并且基于所述第二目标生成所述第二OE的第二组动作；以及在所述时间段内渲染包括由所述第一OE执行的所述第一组动作和由所述第二OE执行的所述第二组动作的所述SR布景以用于显示。

Description

用于呈现和操纵有条件地相关的合成现实内容线程的方法和设备

技术领域

本公开整体涉及合成现实(SR)布景(setting)内的目标实现器(OE)，并且更具体地讲，涉及在有条件地相关的SR内容线程内呈现和操纵OE。

背景技术

一些设备能够生成并呈现合成现实布景。一些合成现实布景包括虚拟布景，该虚拟布景是物理布景的模拟替换。一些合成现实布景包括增强布景，该增强布景是物理布景的修改版本。呈现合成现实布景的一些设备包括移动通信设备，诸如智能电话、可头戴显示器(HMD)、眼镜、抬头显示器(HUD)、可头戴壳体和光学投影***。呈现合成现实布景的大多数先前可用的设备在呈现某些对象的表示时是无效的。例如，呈现合成现实布景的一些先前可用的设备不适于呈现与动作相关联的对象的表示。

附图说明

因此，本公开可被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。

图1A和图1B是根据一些具体实施的示例性操作环境的图示。

图2是根据一些实施方式的示例性***的框图。

图3A是根据一些具体实施的示例性新兴(emergent)内容引擎的框图。

图3B是根据一些具体实施的示例性神经网络的框图。

图4A至图4E是根据一些具体实施的生成SR布景的内容的方法的流程图表示。

图5是根据一些具体实施的利用新兴内容引擎的各种部件启用的服务器***的框图。

图6A是根据一些具体实施的有条件地相关的合成现实(SR)内容线程的框图。

图6B和图6C示出了根据一些具体实施的与目标实现器(OE)封装件相关联的时间线。

图7A至图7C示出了根据一些具体实施的示例性SR呈现情境。

图8A至图8C是根据一些具体实施的新兴内容架构的框图。

图9是根据一些具体实施的将SR布景内的OE封装件实例化的方法的流程图表示。

图10是根据一些具体实施，初始化并生成用于SR布景内的OE封装件的内容的方法的流程图表示。

图11是根据一些具体实施，初始化并生成用于SR布景内的OE的内容的方法的流程图表示。

图12是根据一些具体实施的选择SR布景(例如，有条件地相关的SR内容线程环境)内的视点的方法的流程图表示。

根据通常的做法，附图中示出的各种特征部可能未按比例绘制。因此，为了清楚起见，可以任意地扩展或减小各种特征部的尺寸。另外，一些附图可能未描绘给定的***、方法或设备的所有部件。最后，在整个说明书和附图中，类似的附图标号可用于表示类似的特征部。

发明内容

本文所公开的各种具体实施包括用于将SR布景内的OE封装件实例化的设备、***和方法。在各种具体实施中，一种设备包括非暂态存储器以及与非暂态存储器耦接的一个或多个处理器。在一些具体实施中，一种方法包括：将与第一组属性相关联的第一目标实现器(OE)和与第二组属性相关联的第二OE实例化到合成现实(SR)布景中，其中所述第一OE封装在所述第二OE内；基于所述第一组属性和所述第二组属性向所述第一OE提供第一目标；基于所述第二组属性向所述第二OE提供第二目标，其中所述第一目标和所述第二目标与第一时间点和第二时间点之间的第一时间段相关联；基于所述第一目标为所述第一OE生成与所述第一时间段相关联的第一组动作；基于所述第二目标为所述第二OE生成与所述第一时间段相关联的第二组动作；以及渲染包括由所述第一OE执行的所述第一组动作和由所述第二OE执行的所述第二组动作的所述SR布景以用于显示。

本文所公开的各种具体实施包括用于初始化和生成SR布景内的OE封装件的内容的设备、***和方法。在各种具体实施中，一种设备包括非暂态存储器以及与非暂态存储器耦接的一个或多个处理器。在一些具体实施中，一种方法包括：基于从与事件相关联的源资产中提取的一组动作来合成目标实现器(OE)封装件的一组初始目标，其中所述OE封装件包括封装在第二OE内的第一OE，并且其中所述一组初始目标包括与所述第二OE的第二目标一致的所述第一OE的第一目标；将所述OE封装件实例化到虚拟中，其中所述OE封装件由所述一组初始目标和一组视觉渲染属性来表征；基于所述一组初始目标、与所述事件相关联的上下文信息和所述一组动作的函数来生成所述OE封装件的更新目标；以及基于所述一组更新目标修改所述OE封装件。

本文所公开的各种具体实施包括用于初始化和生成SR布景内的OE的内容的设备、***和方法。在各种具体实施中，一种设备包括非暂态存储器以及与非暂态存储器耦接的一个或多个处理器。在一些具体实施中，一种方法包括：基于从与事件相关联的源资产中提取的一组动作来合成第一目标实现器(OE)的一组初始目标；将所述第一OE实例化到SR布景中，其中所述第一OE由所述一组初始目标和一组视觉渲染属性来表征；基于所述一组初始目标、与所述事件相关联的上下文信息和所述一组动作的函数来生成所述第一OE的更新目标；以及基于所述一组更新目标修改所述第一OE。

本文所公开的各种具体实施包括用于选择SR布景(例如，有条件地相关的SR内容线程环境)内的视点的设备、***和方法。在各种具体实施中，一种设备包括非暂态存储器以及与非暂态存储器耦接的一个或多个处理器。在一些具体实施中，一种方法包括：呈现包括与事件相关联的SR内容的所述事件的第一SR视图，其中所述SR内容包括执行与所述事件相关联的动作的SR内容的多个相关层；检测对与所述事件相关联的SR内容的所述多个相关层中的相应层的选择；以及响应于对所述相应层的所述选择而呈现包括SR内容的所述相应层的所述事件的第二SR视图，其中所述第二SR视图对应于所述相应层的视点。

根据一些具体实施，设备包括一个或多个处理器、非暂态存储器以及一个或多个程序。在一些具体实施中，一个或多个程序存储在非暂态存储器中并由一个或多个处理器执行。在一些具体实施中，一个或多个程序包括用于执行或促使执行本文描述的任何方法的指令。根据一些具体实施，一种非暂态计算机可读存储介质中存储有指令，该指令当由设备的一个或多个处理器执行时使该设备执行或导致执行本文所述方法中的任一种。根据一些具体实施，一种设备包括一个或多个处理器、非暂态存储器，以及用于执行或导致执行本文所述方法中的任一种的装置。

具体实施方式

描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而，附图仅示出了本公开的一些示例方面，因此不应被视为限制。本领域的普通技术人员将理解，其他有效方面和/或变体不包括本文所述的所有具体细节。此外，没有详尽地描述众所周知的***、方法、部件、设备和电路，以免模糊本文所述的示例性具体实施的更多相关方面。

物理布景是指无需电子***帮助个体就能够感知和/或个体能够交互的世界。物理布景(例如，物理森林)包括物理元素(例如，物理树、物理结构和物理动物)。个体可直接与物理布景相互作用和/或感知物理布景，诸如通过触摸、视觉、嗅觉、听觉和味觉。

相比之下，合成现实(SR)布景是指经由电子***个体能够感知并且/或者个体能够与其交互的完全或部分由计算机创建的布景。在SR中，监测个体移动的子集，并且响应于此，以符合一个或多个物理定律的方式使SR布景中的一个或多个虚拟对象的一个或多个属性变化。例如，SR***可检测到个体向前走几步，并且响应于此，以类似于此类情景和声音在物理布景中会如何改变的方式来调节呈现给个体的图形和音频。也可响应于移动的表示(例如，音频指令)而进行对SR布景中一个或多个虚拟对象的一个或多个属性的修改。

个体可使用他的任何感觉(包括触觉、嗅觉、视觉、味觉和声音)与SR对象进行交互和/或感觉SR对象。例如，个体可与创建多维(例如，三维)或空间听觉布景和/或实现听觉透明性的听觉对象进行交互和/或感知听觉对象。多维或空间听觉布景为个体提供了在多维空间中对离散听觉源的感知。在具有或不具有计算机创建的音频的情况下，听觉透明性选择性地结合来自物理布景的声音。在一些SR布景中，个体可仅与听觉对象进行交互和/或仅感知听觉对象。

SR的一个示例是虚拟现实(VR)。VR布景是指被设计为仅包括针对至少一种感觉的计算机创建的感官输入的模拟布景。VR布景包括个体可与之交互和/或对其进行感知的多个虚拟对象。个体可通过在计算机创建的布景内模拟个体动作的子集和/或通过对个体或其在计算机创建的布景内的存在的模拟，来与VR布景中的虚拟对象进行交互和/或感知VR布景中的虚拟对象。

SR的另一个示例是混合现实(MR)。MR布景是指被设计为将计算机创建的感官输入(例如，虚拟对象)与来自物理布景的感官输入或其表示集成的模拟布景。在现实谱系上，混合现实布景介于一端的VR布景和另一端的完全物理布景之间并且不包括这些布景。

在一些MR布景中，计算机创建的感官输入可以适应于来自物理布景的感官输入的变化。另外，用于呈现MR布景的一些电子***可以监测相对于物理布景的取向和/或位置，以使虚拟对象能够与真实对象(即来自物理布景的物理元素或其表示)交互。例如，***可监测运动，使得虚拟植物相对于物理建筑物看起来是静止的。

混合现实的一个示例是增强现实(AR)。AR布景是指至少一个虚拟对象叠加在物理布景或其表示之上的模拟布景。例如，电子***可具有不透明显示器和至少一个成像传感器，成像传感器用于捕获物理布景的图像或视频，这些图像或视频是物理布景的表示。***将图像或视频与虚拟对象组合，并在不透明显示器上显示该组合。个体使用***经由物理布景的图像或视频间接地查看物理布景，并且观察叠加在物理布景之上的虚拟对象。当***使用一个或多个图像传感器捕获物理布景的图像，并且使用那些图像在不透明显示器上呈现AR布景时，所显示的图像被称为视频透传。另选地，用于显示AR布景的电子***可具有透明或半透明显示器，个体可通过该显示器直接查看物理布景。该***可在透明或半透明显示器上显示虚拟对象，使得个体使用该***观察叠加在物理布景之上的虚拟对象。又如，***可包括将虚拟对象投影到物理布景中的投影***。虚拟对象可例如在物理表面上或作为全息图被投影，使得个体使用该***观察叠加在物理布景之上的虚拟对象。

增强现实布景也可指其中物理布景的表示被计算机创建的感官信息改变的模拟布景。例如，物理布景的表示的一部分可被以图形方式改变(例如，放大)，使得所改变的部分仍可代表一个或多个初始捕获的图像但不是忠实再现的版本。又如，在提供视频透传时，***可改变传感器图像中的至少一者以施加不同于一个或多个图像传感器捕获的视点的特定视点。再如，物理布景的表示可通过以图形方式将其部分进行模糊处理或消除其部分而被改变。

混合现实的另一个示例是增强虚拟(AV)。AV布景是指计算机创建布景或虚拟布景并入来自物理布景的至少一个感官输入的模拟布景。来自物理布景的一个或多个感官输入可为物理布景的至少一个特征的表示。例如，虚拟对象可呈现由一个或多个成像传感器捕获的物理元素的颜色。又如，虚拟对象可呈现出与物理布景中的实际天气条件相一致的特征，如经由天气相关的成像传感器和/或在线天气数据所识别的。在另一个示例中，增强现实森林可具有虚拟树木和结构，但动物可具有从对物理动物拍摄的图像精确再现的特征。

许多电子***使得个体能够与各种SR布景进行交互和/或感知各种SR布景。一个示例包括头戴式***。头戴式***可具有不透明显示器和一个或多个扬声器。另选地，头戴式***可以被设计为接收外部显示器(例如，智能电话)。头戴式***可具有分别用于拍摄物理布景的图像/视频和/或捕获物理布景的音频的一个或多个成像传感器和/或麦克风。头戴式***也可具有透明或半透明显示器。透明或半透明显示器可结合基板，表示图像的光通过该基板被引导到个体的眼睛。显示器可结合LED、OLED、数字光投影仪、激光扫描光源、硅上液晶，或这些技术的任意组合。透射光的基板可以是光波导、光组合器、光反射器、全息基板或这些基板的任意组合。在一个具体实施中，透明或半透明显示器可在不透明状态与透明或半透明状态之间选择性地转换。又如，电子***可以是基于投影的***。基于投影的***可使用视网膜投影将图像投影到个体的视网膜上。另选地，投影***还可将虚拟对象投影到物理布景中(例如，投影到物理表面上或作为全息图)。SR***的其他示例包括平视显示器、能够显示图形的汽车挡风玻璃、能够显示图形的窗口、能够显示图形的镜片、耳机或耳塞、扬声器布置、输入机构(例如，具有或不具有触觉反馈的控制器)、平板电脑、智能电话，以及台式计算机或膝上型计算机。

本公开提供了用于呈现和操纵SR布景的方法、***和/或设备。新兴内容引擎生成目标实现器的目标，并且将目标提供给对应的目标实现器引擎，使得目标实现器引擎可生成满足目标的动作。由新兴内容引擎生成的目标指示目标实现器引擎为其生成动作的情节或故事情节。生成目标使得能够呈现执行动作的动态目标实现器，而不是呈现静态目标实现器，从而增强用户体验并改善呈现SR布景的设备的功能。

图1A是根据一些具体实施的示例性操作环境100A的框图。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，操作环境100A包括控制器102和电子设备103。在图1A的示例中，电子设备103正由用户10握持。在一些具体实施中，电子设备103包括智能电话、平板电脑、膝上型电脑等。

如图1A所示，电子设备103呈现合成现实布景106。在一些具体实施中，合成现实布景106由控制器102和/或电子设备103生成。在一些具体实施中，合成现实布景106包括虚拟布景，该虚拟布景是物理布景的模拟替换。换句话讲，在一些具体实施中，合成现实布景106由控制器102和/或电子设备103模拟。在此类具体实施中，合成现实布景106不同于电子设备103所在的物理布景。在一些具体实施中，合成现实布景106包括增强布景，该增强布景是物理布景的修改版本。例如，在一些具体实施中，控制器102和/或电子设备103修改(例如，增强)电子设备103所在的物理布景以便生成合成现实布景106。在一些具体实施中，控制器102和/或电子设备103通过模拟电子设备103所在的物理布景的副本来生成合成现实布景106。在一些具体实施中，控制器102和/或电子设备103通过从电子设备103所在的物理布景的模拟副本中移除和/或向其中添加物项来生成合成现实布景106。

在一些具体实施中，合成现实布景106包括目标实现器的各种SR表示，诸如男孩动作人物表示108a、女孩动作人物表示108b、机器人表示108c和无人机表示108d。在一些具体实施中，目标实现器表示来自虚构材料诸如电影、视频游戏、漫画和小说的角色。例如，男孩动作人物表示108a表示来自虚构漫画的“男孩动作人物”角色，女孩动作人物表示108b表示来自虚构视频游戏的“女孩动作人物”角色。在一些具体实施中，合成现实布景106包括表示来自不同虚构材料(例如，来自不同电影/游戏/漫画/小说)的角色的目标实现器。在各种具体实施中，目标实现器表示事物(例如，有形对象)。例如，在一些具体实施中，目标实现器表示装备(例如，机器诸如飞机、坦克、机器人、汽车等)。在图1A的示例中，机器人表示108c表示机器人，并且无人机表示108d表示无人机。在一些具体实施中，目标实现器表示来自虚构材料的事物(例如，装备)。在一些具体实施中，目标实现器表示来自物理布景的事物，包括位于合成现实布景106内部和/或外部的事物。

在各种具体实施中，目标实现器执行一个或多个动作以便实现(例如，完成/满足/实现)一个或多个目标。在一些具体实施中，目标实现器执行一系列动作。在一些具体实施中，控制器102和/或电子设备103确定目标实现器要执行的动作。在一些具体实施中，目标实现器的动作与虚构材料中对应角色/事物执行的动作在一定相似度内。在图1A的示例中，女孩动作人物表示108b正在执行飞行动作(例如，因为对应的“女孩动作人物”角色能够飞行，并且/或者虚构材料中“女孩动作人物”角色经常飞行)。在图1A的示例中，无人机表示108d正在执行悬停动作(例如，因为物理布景中无人机能够悬停)。在一些具体实施中，控制器102和/或电子设备103获取用于目标实现器的动作。例如，在一些具体实施中，控制器102和/或电子设备103从确定(例如，选择)这些动作的远程服务器接收用于目标实现器的动作。

在各种具体实施中，目标实现器执行动作以便满足(例如，完成或实现)目标。在一些具体实施中，目标实现器与特定目标相关联，并且目标实现器执行改善满足该特定目标的可能性的动作。在一些具体实施中，目标实现器的SR表示称为对象表示，例如，因为目标实现器的SR表示表示各种对象(例如，真实对象或虚构对象)。在一些具体实施中，表示角色的目标实现器称为角色目标实现器。在一些具体实施中，角色目标实现器执行动作以实现角色目标。在一些具体实施中，表示装备的目标实现器称为装备目标实现器。在一些具体实施中，装备目标实现器执行动作以实现装备目标。在一些具体实施中，表示环境的目标实现器称为环境目标实现器。在一些具体实施中，环境目标实现器执行环境动作以实现环境目标。

在一些具体实施中，基于来自用户10的输入生成合成现实布景106。例如，在一些具体实施中，电子设备103接收指示用于合成现实布景106的地形的输入。在此类具体实施中，控制器102和/或电子设备103配置合成现实布景106，使得合成现实布景106包括经由输入指示的地形。在一些具体实施中，输入指示用于合成现实布景106的环境条件。在此类具体实施中，控制器102和/或电子设备103将合成现实布景106配置为具有由输入指示的环境条件。在一些具体实施中，环境条件包括温度、湿度、压力、可见度、环境光线水平、环境声音水平、一天中的时间(例如，上午、下午、晚上或夜间)和降水(例如，多云、降雨或降雪)中的一者或多者。

在一些具体实施中，基于来自用户10的输入来确定(例如，生成)目标实现器的动作。例如，在一些具体实施中，电子设备103接收指示目标实现器的SR表示的放置的输入。在此类具体实施中，控制器102和/或电子设备103根据由输入指示的放置来定位目标实现器的SR表示。在一些具体实施中，输入指示允许目标实现器执行的特定动作。在此类具体实施中，控制器102和/或电子设备103从由输入指示的特定动作中选择目标实现器的动作。在一些具体实施中，控制器102和/或电子设备103放弃不在由输入指示的特定动作之中的动作。在一些具体实施中，控制器102和/或电子设备103包括图8A至图8C中的新兴内容架构的至少一部分。

图1B是根据一些具体实施的示例性操作环境100B的框图。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，操作环境100B包括控制器102和可头戴设备(HMD)104。在图1B的示例中，HMD 104由用户10佩戴。在各种具体实施中，HMD 104以与图1A所示的电子设备103基本上相同的方式操作。在一些具体实施中，HMD 104执行与图1A所示的电子设备103基本上相同的操作。在一些具体实施中，HMD 104包括可头戴壳体。在各种具体实施中，可头戴壳体被成形为形成用于接收具有显示器的电子设备(例如，图1A所示的电子设备103)的接收器。例如，在一些具体实施中，图1A所示的电子设备103可滑入HMD 104中。在一些具体实施中，HMD 104包括用于向用户10呈现合成现实体验的集成显示器。在一些具体实施中，控制器102和/或HMD 104包括图8A至图8C中的新兴内容架构的至少一部分。

图2是为SR布景中的各种目标实现器生成目标的示例性***200的框图。例如，***200为图1A和1B所示的男孩动作人物表示108a、女孩动作人物表示108b、机器人表示108c和/或无人机表示108d生成目标。在图2的示例中，***200包括男孩动作人物角色引擎208a、女孩动作人物角色引擎208b、机器人装备引擎208c和无人机装备引擎208d，它们分别为男孩动作人物表示108a、女孩动作人物表示108b、机器人表示108c、和无人机表示108d生成动作210。在一些具体实施中，***200还包括环境引擎208e、新兴内容引擎250和显示引擎260。

在各种具体实施中，新兴内容引擎250为处于SR布景中的目标实现器和/或SR布景的环境生成相应目标254。在图2的实施例中，新兴内容引擎250生成男孩动作人物表示108a的男孩动作人物目标254a、女孩动作人物表示108b的女孩动作人物目标254b、机器人表示208c的机器人目标254c、无人机表示108d的无人机目标254d和/或SR布景106的环境的环境目标254e(例如，环境条件)。如图2所示，新兴内容引擎250向对应的角色/装备/环境引擎提供目标254。在图2的示例中，新兴内容引擎250向男孩动作人物角色引擎208a提供男孩动作人物目标254a，向女孩动作人物角色引擎208b提供女孩动作人物目标254b，向机器人装备引擎208c提供机器人目标254c，向无人机装备引擎208d提供无人机目标254d并且向环境引擎208e提供环境目标254e。

在各种具体实施中，新兴内容引擎250基于可能目标252(例如，一组预定义目标)、表征SR布景的上下文信息258以及由角色/装备/环境引擎提供的动作210的函数来生成目标254。例如，在一些具体实施中，新兴内容引擎250通过基于上下文信息258和/或动作210从可能目标252中选择目标254来生成目标254。在一些具体实施中，可能目标252存储在数据存储库中。在一些具体实施中，可能目标252从对应的虚构源材料(例如，通过擦除视频游戏、电影、小说和/或漫画)获取。例如，在一些具体实施中，女孩动作人物表示108b的可能目标252包括拯救生命、挽救宠物、打击犯罪等。

在一些具体实施中，新兴内容引擎250基于由角色/装备/环境引擎提供的动作210来生成目标254。在一些具体实施中，新兴内容引擎250生成目标254，使得在给定动作210的情况下，完成目标254的概率满足阈值(例如，概率大于阈值，例如，概率大于80％)。在一些具体实施中，新兴内容引擎250生成具有高可能性以动作210完成的目标254。

在一些具体实施中，新兴内容引擎250基于动作210对可能目标252进行排序。在一些具体实施中，特定可能目标252的等级指示在给定动作210的情况下完成该特定可能目标252的可能性。在此类具体实施中，新兴内容引擎250通过选择最高N个排序的可能目标252来生成目标254，其中N是预定义整数(例如，1、3、5、10等)。

在一些具体实施中，新兴内容引擎250基于目标254建立SR布景的初始/结束状态256。在一些具体实施中，初始/结束状态256指示SR布景内的各种角色/装备表示的放置(例如，位置)。在一些具体实施中，SR布景与持续时间(例如，几秒、几分钟、几小时或几天)相关联。例如，SR布景被调度为持续该持续时间。在此类具体实施中，初始/结束状态256指示各种角色/装备表示在/趋向持续时间的开始时和/或在/趋向持续时间的结束时的放置。在一些具体实施中，初始/结束状态256指示SR布景在/趋向与SR布景相关联的持续时间的开始/结束时的环境条件。

在一些具体实施中，除了角色/装备/环境引擎之外，新兴内容引擎250还向显示引擎260提供目标254。在一些具体实施中，显示引擎260确定由角色/装备/环境引擎提供的动作210是否与由新兴内容引擎250提供的目标254一致。例如，显示引擎260确定动作210是否满足目标254。换句话讲，在一些具体实施中，显示引擎260确定动作210是否改善完成/实现目标254的可能性。在一些具体实施中，如果动作210满足目标254，则显示引擎260根据动作210修改SR布景。在一些具体实施中，如果动作210不满足目标254，则显示引擎260放弃根据动作210修改SR布景。

图3A是根据一些具体实施的示例性新兴内容引擎300的框图。在一些具体实施中，新兴内容引擎300实现图2所示的新兴内容引擎250。在各种具体实施中，新兴内容引擎300为在SR布景中实例化的各种目标实现器生成目标254(例如，角色/装备表示，诸如图1A和图1B所示的男孩动作人物表示108a、女孩动作人物表示108b、机器人表示108c和/或无人机表示108d)。在一些具体实施中，目标254中的至少一些用于影响SR布景的环境的环境引擎(例如，图2所示的环境引擎208e)。

在各种具体实施中，新兴内容引擎300包括神经网络***310(为简明起见下文称“神经网络310”)、训练(例如，配置)神经网络310的神经网络训练***330(为简明起见下文称“训练模块330”)以及向神经网络310提供可能目标360的擦除器350。在各种具体实施中，神经网络310生成目标254(例如，图2所示的男孩动作人物表示108a的目标254a、女孩动作人物表示108b的目标254b、机器人表示108c的目标254c、无人机表示108d的目标254d和/或环境目标254e)。

在一些具体实施中，神经网络310包括长短期记忆(LSTM)递归神经网络(RNN)。在各种具体实施中，神经网络310基于可能目标360的功能生成目标254。例如，在一些具体实施中，神经网络310通过选择可能目标360的一部分来生成目标254。在一些具体实施中，神经网络310生成目标254，使得目标254与可能目标360在一定相似度内。

在各种具体实施中，神经网络310基于表征SR布景的上下文信息258来生成目标254。如图3A所示，在一些具体实施中，上下文信息258指示将装备表示340实例化、将角色表示342、特定于用户的场景/环境信息344和/或来自目标实现器引擎的动作210实例化。

在一些具体实施中，神经网络310基于实例化装备表示340生成目标254。在一些具体实施中，实例化装备表示340是指位于SR布景中的装备表示。例如，参见图1A和图1B，实例化装备表示340包括SR布景106中的机器人表示108c和无人机表示108d。在一些具体实施中，目标254包括与实例化装备表示340中的一者或多者进行交互。例如，参见图1A和1B，在一些具体实施中，男孩动作人物表示108a的目标254a中的一个目标包括破坏机器人表示108c，并且女孩动作人物表示108b的目标254b中的一个目标包括保护机器人表示108c。

在一些具体实施中，神经网络310基于实例化装备表示340为每个角色表示生成目标254。例如，参见图1A和1B，如果SR布景106包括机器人表示108c，则男孩动作人物表示108a的目标254a中的一个目标包括破坏机器人表示108c。然而，如果SR布景106不包括机器人表示108c，则男孩动作人物表示108a的目标254a包括在SR布景106内维护和平。

在一些具体实施中，神经网络310基于在SR布景中实例化的其他装备表示来为每个装备表示生成目标254。例如，参见图1A和1B，如果SR布景106包括机器人表示108c，则无人机表示108d的目标254d中的一个目标包括保护机器人表示108c。然而，如果SR布景106不包括机器人表示108c，则无人机表示108d的目标254d包括悬停在SR布景106的中心处。

在一些具体实施中，神经网络310基于实例化角色表示342生成目标254。在一些具体实施中，实例化角色表示342是指位于SR布景中的角色表示。例如，参见图1A和1B，实例化角色表示342包括SR布景106中的男孩动作人物表示108a和女孩动作人物表示108b。在一些具体实施中，目标254包括与实例化角色表示342中的一者或多者进行交互。例如，参见图1A和1B，在一些具体实施中，无人机表示108d的目标254d中的一个目标包括跟随女孩动作人物表示108b。类似地，在一些具体实施中，机器人表示108c的目标254c中的一个目标包括避开男孩动作人物表示108a。

在一些具体实施中，神经网络310基于在SR布景中实例化的其他角色表示来为每个角色表示生成目标254。例如，参见图1A和1B，如果SR布景106包括男孩动作人物表示108a，则女孩动作人物表示108b的目标254b包括抓捕男孩动作人物表示108a。然而，如果SR布景106不包括男孩动作人物表示108a，则女孩动作人物表示108b的目标254b包括围绕SR布景106飞行。

在一些具体实施中，神经网络310基于在SR布景中实例化的角色表示来为每个装备表示生成目标254。例如，参见图1A和图1B，如果SR布景106包括女孩动作人物表示108b，则无人机表示108d的目标254d中的一个目标包括跟随女孩动作人物表示108b。然而，如果SR布景106不包括女孩动作人物表示108b，则无人机表示108d的目标254d包括悬停在SR布景106的中心处。

在一些具体实施中，神经网络310基于特定于用户的场景/环境信息344生成目标254。在一些具体实施中，特定于用户的场景/环境信息344指示SR布景的边界。在此类具体实施中，神经网络310生成目标254，使得目标254可在SR布景的边界内得到满足(例如，实现)。在一些具体实施中，神经网络310通过选择可能目标252的更适于由特定于用户的场景/环境信息344指示的环境的一部分来生成目标254。例如，当特定于用户的场景/环境信息344指示SR布景内的天空清晰时，神经网络310将无人机表示108d的目标254d中的一个目标设置为悬停在男孩动作人物表示108a上方。在一些具体实施中，神经网络310放弃选择可能目标252的不适于由特定于用户的场景/环境信息344指示的环境的一部分。例如，当特定于用户的场景/环境信息344指示SR布景内的狂风时，神经网络310放弃无人机表示108d的悬停目标。

在一些具体实施中，神经网络310基于由各种目标实现器引擎提供的动作210来生成目标254。在一些具体实施中，神经网络310生成目标254，使得在给定由目标实现器引擎提供的动作210的情况下可满足(例如，实现)目标254。在一些具体实施中，神经网络310相对于动作210评估可能目标360。在此类具体实施中，神经网络310通过选择可由动作210满足的可能目标360并且放弃选择不可由动作210满足的可能目标360来生成目标360。

在各种具体实施中，训练模块330训练神经网络310。在一些具体实施中，训练模块330向神经网络310提供神经网络(NN)参数312。在一些具体实施中，神经网络310包括神经元模型，并且神经网络参数312表示模型的权重。在一些具体实施中，训练模块330生成(例如，初始化或发起)神经网络参数312，并且基于由神经网络310生成的目标254来细化(例如，调节)神经网络参数312。

在一些具体实施中，训练模块330包括回报函数332，该回报函数利用强化学习来训练神经网络310。在一些具体实施中，回报函数332将正面回报分配给期望的目标254，并且将负面回报分配给不期望的目标254。在一些具体实施中，在训练阶段，训练模块330将目标254与包括已验证目标的验证数据进行比较。在此类具体实施中，如果目标254与已验证目标在一定相似度内，则训练模块330停止训练神经网络310。然而，如果目标254与已验证目标不在一定相似度内，则训练模块330继续训练神经网络310。在各种具体实施中，训练模块330在训练期间/之后更新神经网络参数312。

在各种具体实施中，擦除器350擦除内容352以识别可能目标360。在一些具体实施中，内容352包括电影、视频游戏、漫画、小说和粉丝创建的内容诸如博客和评论。在一些具体实施中，擦除器350利用与内容擦除相关联的各种方法、***和/或设备来擦除内容352。例如，在一些具体实施中，擦除器350利用文本模式匹配、HTML(超文本标记语言)解析、DOM(文档对象模型)解析、图像处理和音频分析中的一者或多者来擦除内容352并识别可能目标360。

在一些具体实施中，目标实现器与表示类型362相关联，并且神经网络310基于与目标实现器相关联的表示类型362来生成目标254。在一些具体实施中，表示类型362指示目标实现器的物理特性(例如，颜色、材料类型、纹理等)。在此类具体实施中，神经网络310基于目标实现器的物理特性来生成目标254。在一些具体实施中，表示类型362指示目标实现器的行为特性(例如，攻击性、友好性等)。在此类具体实施中，神经网络310基于目标实现器的行为特性来生成目标254。例如，神经网络310响应于包括攻击性的行为特性而为男孩动作人物表示108a生成破坏性目标。在一些具体实施中，表示类型362指示目标实现器的功能和/或性能特性(例如，强度、速度、柔韧性等)。在此类具体实施中，神经网络310基于目标实现器的功能特性来生成目标254。例如，神经网络310响应于包括速度的行为特性而为女孩动作人物表示108b生成始终移动目标。在一些具体实施中，表示类型362基于用户输入来确定。在一些具体实施中，表示类型362基于规则的组合来确定。

在一些具体实施中，神经网络310基于指定目标364来生成目标254。在一些具体实施中，指定目标364由控制(例如，拥有或创建)角色/装备所源自的虚构材料的实体提供。例如，在一些具体实施中，指定目标364由电影制片方、视频游戏制作方、小说家等提供。在一些具体实施中，可能目标360包括指定目标364。因此，在一些具体实施中，神经网络310通过选择指定目标364的一部分来生成目标254。

在一些具体实施中，目标实现器的可能目标360受到限制器370的限制。在一些具体实施中，限制器370限制神经网络310选择可能目标360的一部分。在一些具体实施中，限制器370由拥有(例如，控制)角色/装备所源自的虚构材料的实体控制。例如，在一些具体实施中，限制器370由电影制片方、视频游戏制作方、小说家等控制。在一些具体实施中，限制器370和神经网络310由不同实体控制/操作。在一些具体实施中，限制器370限制神经网络310生成违反由控制虚构材料的实体限定的标准的目标。

图3B是根据一些具体实施的神经网络310的框图。在图3B的示例中，神经网络310包括输入层320、第一隐藏层322、第二隐藏层324、分类层326以及目标选择模块328。虽然作为示例，神经网络310包括两个隐藏层，但是本领域的普通技术人员将从本公开理解，在各种具体实施中，也存在一个或多个附加隐藏层。添加附加隐藏层会增加计算复杂性和存储器需求，但可改善某些应用的性能。

在各种具体实施中，输入层320接收各种输入。在一些具体实施中，输入层320接收上下文信息258作为输入。在图3B的示例中，输入层320接收指示将装备340实例化、将角色342、特定于用户的场景/环境信息344和/或来自目标实现器引擎的动作210实例化的输入。在一些具体实施中，神经网络310包括基于实例化装备340、实例化角色342、特定于用户的场景/环境信息344和/或动作210来生成特征流(例如，特征向量)的特征提取模块(未示出)。在此类实施方式中，特征提取模块将特征流提供到输入层320。因此，在一些具体实施中，输入层320接收作为实例化装备340、实例化角色342、特定于用户的场景/环境信息344和动作210的函数的特征流。在各种具体实施中，输入层320包括多个LSTM逻辑元件320a，这些逻辑元件也被本领域的普通技术人员称为神经元或神经元模型。在一些此类具体实施中，从特征到LSTM逻辑元件320a的输入矩阵包括矩形矩阵。此矩阵的大小是特征部流中包含的特征部数量的函数。

在一些具体实施中，第一隐藏层322包括多个LSTM逻辑元件322a。如图3B的示例所示，第一隐藏层322从输入层320接收其输入。

在一些具体实施中，第二隐藏层324包括多个LSTM逻辑元件324a。在一些具体实施中，LSTM逻辑元件324a的数量与输入层320中的LSTM逻辑元件320a的数量或第一隐藏层322中的LSTM逻辑元件322a的数量相同或类似。如图3B的示例所示，第二隐藏层324从第一隐藏层322接收其输入。附加地或另选地，在一些实施方式中，第二隐藏层324从输入层320接收其输入。

在一些具体实施中，分类层326包括多个LSTM逻辑元件326a。在一些具体实施中，LSTM逻辑元件326a的数量与输入层320中的LSTM逻辑元件320a的数量、第一隐藏层322中的LSTM逻辑元件322a的数量或第二隐藏层324中的LSTM逻辑元件324a的数量相同或类似。在一些具体实施中，分类层326包括多项式逻辑函数(例如，柔性最大值函数)的具体实施，该多项式逻辑函数产生的输出数量大约等于可能动作360的数量。在一些具体实施中，每个输出包括由动作210满足的对应目标的概率或置信度测量。在一些具体实施中，输出不包括已被限制器370的操作排除的目标。

在一些具体实施中，目标选择模块328通过选择由分类层326提供的前N个目标候选来生成目标254。在一些具体实施中，前N个目标候选可能被动作210满足。在一些具体实施中，目标选择模块328将目标254提供给渲染和显示流水线(例如，图2所示的显示引擎260)。在一些具体实施中，目标选择模块328将目标254提供给一个或多个目标实现器引擎(例如，图2所示的男孩动作人物角色引擎208a、女孩动作人物角色引擎208b、机器人装备引擎208c、无人机装备引擎208d和/或环境引擎208e)。

图4A是生成SR布景的内容的方法400的流程图表示。在各种具体实施中，方法400由具有非暂态存储器和与该非暂态存储器耦接的一个或多个处理器(例如，图1A所示的控制器102、电子设备103和/或图1B所示的HMD 104)的设备执行。在一些具体实施中，方法400由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些实施方式中，方法400由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。简而言之，在一些具体实施中，方法400包括将目标实现器实例化到SR布景中，获取SR布景的上下文信息，生成目标实现器的目标，设置SR布景的环境条件，基于目标建立目标实现器的初始条件以及基于目标修改目标实现器。

如框410所示，在各种具体实施中，方法400包括将目标实现器实例化到SR布景中(例如，将男孩动作人物表示108a、女孩动作人物表示108b、机器人表示108c和/或无人机表示108d实例化到图1A和1B所示的SR布景106中)。在一些具体实施中，目标实现器由一组预定义目标(例如，图3A所示的可能目标360)和一组视觉渲染属性来表征。

如框420所示，在各种具体实施中，方法400包括获取表征SR布景的上下文信息(例如，图2至图3B所示的上下文信息258)。在一些具体实施中，方法400包括(例如，从用户)接收上下文信息。

如框430所示，在各种具体实施中，方法400包括基于该组预定义目标、上下文信息和目标实现器的一组预定义动作的函数来为目标实现器生成目标。例如，参考图2，方法400包括基于可能目标252、上下文信息258和动作210来生成目标254。

如框440所示，在各种具体实施中，方法400包括基于目标实现器的目标来设置SR布景的环境条件。例如，参考图2，方法400包括生成环境目标254e(例如，环境条件)。

如框450所示，在各种具体实施中，方法400包括基于目标实现器的目标来建立目标实现器的初始条件和一组当前动作。例如，参见图2，方法400包括建立各种目标实现器(例如，角色表示、装备表示和/或环境)的初始/结束状态256。

如框460所示，在各种具体实施中，方法400包括基于目标修改目标实现器。例如，参见图2，在一些具体实施中，方法400包括将目标254提供给显示引擎260和/或一个或多个目标实现器引擎。

参见图4B，如框410a所示，在各种具体实施中，方法400包括从源材料(例如，图3A所示的内容352，例如电影、书籍、视频游戏、漫画和/或小说)获取一组预定义目标(例如，图3A所示的可能目标360)。如框410b所示，在各种具体实施中，方法400包括擦除该组预定义目标的源材料。

如框410c所示，在一些具体实施中，方法400包括基于表示类型(例如，图3A所示的表示类型362)来确定该组预定义目标。如框410d所示，在一些具体实施中，方法400包括基于特定于用户的配置来确定该组预定义目标(例如，基于用户输入来确定图3A所示的表示类型362)。

如框410e所示，在一些具体实施中，方法400包括基于由对象所有者指定的极限来确定预定义目标。例如，参见图3A，在一些具体实施中，方法400包括通过限制器370的操作来限制能够由神经网络310选择的可能目标360。

如框410f所示，在一些具体实施中，SR布景(例如，图1A和图1B所示的SR布景106)包括作为真实世界场景的模拟替换的SR布景。

如框410g所示，在一些具体实施中，SR布景(例如，图1A和图1B所示的SR布景106)包括作为真实世界场景的修改版本的增强场景。

如框410h所示，在一些具体实施中，目标实现器是来自电影、视频游戏、漫画、小说等中的一者或多者的角色的表示(例如，图1A和图1B所示的男孩动作人物表示108a和/或女孩动作人物表示108b)。

如框410i所示，在一些具体实施中，目标实现器是来自电影、视频游戏、漫画、小说等中的一者或多者的装备的表示(例如，图1A和图1B所示的机器人表示108c和/或无人机表示108d)。

如框410j所示，在一些具体实施中，方法400包括从图像获取一组视觉渲染属性。例如，在一些具体实施中，方法400包括捕获图像并从该图像提取视觉渲染属性(例如，通过利用与图像处理相关联的设备、方法和/或***)。

参考图4C，如框420a所示，在各种具体实施中，上下文信息指示目标实现器是否已在SR布景中实例化。如框420b所示，在一些具体实施中，上下文信息指示哪些角色表示已在SR布景中实例化(例如，上下文信息包括图3A至图3B所示的实例化角色表示342)。如框420c所示，在一些具体实施中，上下文信息指示已在SR布景中实例化的装备表示(例如，上下文信息包括图3A至图3B所示的实例化装备表示340)。

如框420d所示，在各种具体实施中，上下文信息包括特定于用户的场景信息(例如，图3A至图3B所示的特定于用户的场景/环境信息344)。如框420e所示，在各种具体实施中，上下文信息指示SR布景的地形(例如，风景，例如自然伪影诸如山脉、河流等)。如框420f所示，在各种具体实施中，上下文信息指示SR布景内的环境条件(例如，图3A至图3B所示的特定于用户的场景/环境信息344)。

如框420g所示，在一些具体实施中，上下文信息包括真实世界场景的网格地图(例如，设备所在的真实世界场景的详细表示)。在一些具体实施中，网格地图指示位于真实世界场景处的真实世界伪影的位置和/或尺寸。

参见图4D，如框430a所示，在一些具体实施中，方法400包括利用神经网络(例如，图3A至图3B所示的神经网络310)来生成目标。如框430b所示，在一些具体实施中，神经网络基于一组神经网络参数(例如，图3A所示的神经网络参数312)来生成目标。如框430c所示，在一些具体实施中，方法400包括基于由神经网络生成的目标来调节神经网络参数(例如，基于图3A所示的目标254来调节神经网络参数312)。

如框430d所示，在一些具体实施中，方法400包括基于回报函数(例如，图3A所示的回报函数332)来确定神经网络参数，该回报函数将正面回报分配给期望的目标并且将负面回报分配给不期望的目标。如框430e所示，在一些具体实施中，方法400包括基于增强学习来配置(例如，训练)神经网络。如框430f所示，在一些具体实施中，方法400包括基于从视频诸如电影、书籍诸如小说和漫画以及视频游戏擦除的内容(例如，由图3A所示的擦除器350)来训练神经网络。

如框430g所示，在一些具体实施中，方法400包括在第二目标实现器在SR布景中实例化的情况下生成第一目标。如框430h所示，在一些具体实施中，方法400包括在第三目标实现器在SR布景中实例化的情况下生成第二目标。更一般地，在各种具体实施中，方法400包括基于存在于SR布景中的其他目标实现器来为目标实现器生成不同目标。

如框430i所示，在一些具体实施中，如果在给定一组动作的情况下满足目标的可能性大于阈值，则方法400包括选择目标。如框430j所示，在一些具体实施中，如果在给定该组动作的情况下满足目标的可能性小于阈值，则方法400包括放弃选择目标。

参考图4E，如框440a所示，在一些具体实施中，方法400包括设置SR布景内的温度值、湿度值、压力值和降水值中的一者或多者。在一些具体实施中，方法400包括在SR布景中使其降雨或降雪。如框440b所示，在一些具体实施中，方法400包括设置SR布景的环境声音水平值(例如，以分贝为单位)和环境照明水平值(例如，以流明为单位)中的一者或多者。如框440c所示，在一些具体实施中，方法400包括设置SR布景内的天体的状态(例如，设置日出或日落、设置满月或弦月等)。

如框450a所示，在一些具体实施中，方法400包括建立目标实现器的初始/结束位置。在一些具体实施中，SR布景与持续时间相关联。在此类具体实施中，方法400包括设置目标实现器在持续时间开始时或接近开始时占据的初始位置，和/或设置目标实现器在持续时间结束时或接近结束时占据的结束位置。

如框450b所示，在一些具体实施中，方法400包括建立目标实现器的初始/结束动作。在一些具体实施中，SR布景与持续时间相关联。在此类具体实施中，方法400包括建立目标实现器在持续时间开始时或接近开始时执行的初始动作，和/或建立目标实现器在持续时间结束时或接近结束时执行的结束动作。

如框460a所示，在一些具体实施中，方法400包括将目标提供给渲染和显示流水线(例如，图2所示的显示引擎260)。如框460b所示，在一些具体实施中，方法400包括修改目标实现器，使得目标实现器可被视为正在执行满足目标的动作。

图5是根据一些具体实施的利用设备的一个或多个部件(例如，图1A所示的控制器102、电子设备103和/或图1B所示的HMD 104)启用的服务器***500的框图。尽管示出了一些具体特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，在一些具体实施中，服务器***500包括一个或多个处理单元(CPU)501、网络接口502、编程接口503、存储器504以及用于互连这些和各种其他部件的一个或多个通信总线505。

在一些具体实施中，网络接口502被设置成与一个或多个本地设备(例如，经由近场通信或本地网络)和/或一个或多个远程设备(例如，WiFi、以太网等)进行通信。在一些实施方式中，一个或多个通信总线505包括互连和控制在***部件之间的通信的电路。存储器504包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备，并且可包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器504任选地包括与一个或多个CPU 501远程地定位的一个或多个存储设备。存储器504包括非暂态计算机可读存储介质。

在一些具体实施中，存储器504或存储器504的非暂态计算机可读存储介质存储以下程序、模块和数据结构或它们的子集，其中包括任选的操作***506、神经网络310、训练模块330、擦除器350和可能目标360。如本文所述，神经网络310与神经网络参数312相关联。如本文所述，训练模块330包括训练(例如，配置)神经网络310(例如，通过确定神经网络参数312)的回报函数332。如本文所述，神经网络310确定SR布景中的目标实现器的目标和/或SR布景的环境的目标(例如，图2至图3B所示的目标254)。在一些具体实施中，存储器504包括图8A至图8C中的新兴内容架构的至少一部分。

在一些具体实施中，电子设备500任选地包括一个或多个输入设备，诸如眼睛***、触敏表面、小键盘或键盘、加速度计、陀螺仪、惯性测量单元(IMU)、抓握传感器、一个或多个麦克风、一个或多个按钮、一个或多个面向内部的图像传感器、一个或多个面向外部的图像传感器、一个或多个深度传感器、一个或多个生理传感器(例如，心跳传感器、葡萄糖水平检测器等)、一个或多个环境传感器(例如，气压计、湿度传感器、温度计、环境光检测器等)等。在一些具体实施中，电子设备500任选地包括一个或多个输出/反馈设备，诸如触觉引擎、皮肤剪切引擎、一个或多个显示器、一个或多个扬声器等。

图6A是根据一些具体实施的有条件地相关的SR内容线程600的框图。尽管示出了一些具体特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，在一些具体实施中，有条件地相关的SR内容线程600对应于与电影、电视剧、小说、舞台剧或活动诸如体育赛事、典礼、加冕礼、开幕式、音乐会、歌剧、戏剧演出、战争或其他大型事件相关联的相关内容线程(例如，故事、叙述等)。

根据一些具体实施，有条件地相关的SR内容线程600包括多个内容线程(为简明起见，有时在本文中也称为“故事”或“故事节点”)，这些内容线程在相互关联的故事的树、网格或网络中链接在一起。在一些具体实施中，有条件地相关的SR内容线程600内的多个故事中的每一个故事对应于事件的特定视点。在一些具体实施中，有条件地相关的SR内容线程600内的多个故事中的每一个故事基于源资产/材料，包括例如事件的计划(诸如作战方案或战斗计划)、事件的地面实况(诸如战况和战果)、历史记载和书籍、电影、视频游戏、小说等。

根据一些具体实施，有条件地相关的SR内容线程600的根包括超级宏故事610，该超级宏故事继而与一个或多个宏故事620a、620b……620n(在本文中有时统称为宏故事620)相关联。如图6A所示，在一些具体实施中，每个宏故事620与一个或多个子宏故事相关联。例如，宏故事620a与子宏故事632a、632b……632n(在本文中有时统称为子宏故事632)相关联，并且宏故事620n与子宏故事634a、634b……634n(在本文中有时统称为子宏故事634)相关联。

如图6A所示，在一些具体实施中，每个子宏故事与一个或多个微故事相关联。例如，子宏故事634a与微故事640a……640n(在本文中有时统称为微故事640)相关联。在一些具体实施中，微故事640中的每个与一个或多个子微故事相关联，并且子微故事中的每个继而与一个或多个超级微故事相关联。例如，如图6所示，微故事640a与子微故事650相关联，并且子微故事650与超级微故事660相关联。

例如，超级宏故事610对应于与历史记录中的战争中的特定战役相关联的总体故事。继续该示例，宏故事620对应于涉及特定战役的国家的各路军事部队。因此，在该示例中，宏故事620n对应于海军部队。继续该示例，子宏故事634对应于各艘船。因此，在该示例中，子宏故事634a对应于特定运输船。

如图6A所示，对应于飞行器中队的子宏故事632n与子宏故事634a之间存在关系635。在该示例中，飞行器中队为特定运输船(以及其他运输船)提供空中支援和防御。

继续该示例，微故事640对应于由特定运输船运输的多艘两栖登陆艇。继续该示例，子微故事650对应于分配到由特定运输船运输的多艘两栖登陆艇中的相应两栖登陆艇的一个步兵排或海军陆战队。继续该示例，超微故事660对应于分配到相应两栖登陆艇的特定步兵或海军陆战队员。

在一些具体实施中，向用户呈现与超级宏故事610(例如，特定战役)的第三人称全知视图相关联的SR内容。用户可切换到有条件地相关的SR内容线程600内的另一个视点，以便查看与有条件地相关的SR内容线程600内的所选择的视点相关联的SR内容，诸如与宏故事620n相关联的海军部队的视角，与子宏故事634a相关联的特定运输船的视角、相应两栖登陆艇640a的视角、与子微故事650相关联的步兵排或海军陆战队的视角或与超级微故事660相关联的分配到相应两栖登陆艇的特定步兵或海军陆战队员的视角。

根据一些具体实施，用户可移除有条件地相关的SR内容线程600的节点，以便查看排除特定节点和相关联的子节点的事件的模拟。根据一些具体实施，用户可将节点添加到有条件地相关的SR内容线程600，以便查看包括特定节点和相关联的子节点的事件的模拟。

图6B是根据一些具体实施的与目标实现器(OE)封装件相关联的时间线675的框图。尽管示出了一些具体特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，如图6B所示，时间线675示出了在多个时间段或时间点T₀、T₁、T₂和T₃处来自最低层级OE 684视点的OE封装件的状态。

在一些具体实施中，OE封装件包括基于上下文信息封装或嵌套的多个有条件的、关联的、有关的、相关联的或相关的OE。在一些具体实施中，每个OE对应于合成现实(SR)环境内的角色。例如，OE封装件对应于一组相关角色或实体，诸如包括各自具有M名海军陆战队员的N艘两栖登陆艇的运输船。在该示例中，最低层级OE是封装/嵌套在其连队内的单名海军陆战队员，该连队继而封装/嵌套在两栖登陆艇内。继续该示例，两栖登陆艇封装/嵌套在运输船内。

在一些具体实施中，当第一OE封装在第二OE内时，第一OE与第二OE相关联。在一些具体实施中，当第一OE封装在第二OE内时，第一OE与第二OE有关。在一些具体实施中，当第一OE封装在第二OE内时，第一OE与第二OE关联。在一些具体实施中，当第一OE封装在第二OE内时，第一OE与第二OE相关。换句话讲，因为第一OE封装在第二OE内，所以第一OE设置有目标并且执行与第二OE的上下文和属性一致的动作。

如图6B所示，在时间T₀处，OE封装件685a包括封装/嵌套在OE 682内的OE 684，OE682继而封装/嵌套在OE 680内。例如，在时间T₀处，在接近海滩以进行两栖登陆时，OE封装件685a包括封装/嵌套在OE 682(例如，海军陆战队连队)内的OE 684(例如，单名海军陆战队员)，OE 682继而封装/嵌套在OE 680(例如，两栖登陆艇)内。

在一些具体实施中，当第一OE封装/嵌套在第二OE内时，第一OE基于其被封装于其中的第二OE的上下文设置有目标，继而第一OE执行与该上下文一致的动作。例如，运输船上的海军陆战队员在运输船上时不被给定执行侦察巡逻的侦察目标或用迫击炮攻击标靶的火力镇压目标。在一些具体实施中，较低层级OE执行与其封装中的较高层级OE一致的动作。在一些具体实施中，一个或多个其他较低层级OE封装在第一OE内。在一些具体实施中，第二OE封装在一个或多个其他较高层级OE内。

在一些具体实施中，***针对事件的每个时间段确定一组OE封装件。因此，OE封装件可随着事件进程诸如剥离或添加OE(层)而改变。例如，在运输中(T₀)，特定战役封装件始于运输船->两栖突击载具->海军陆战队连队->单名海军陆战队员。继续该示例，在接近海滩时(T₁)，OE封装件改变为两栖突击载具->海军陆战队连队->单名海军陆战队员。继续该示例，在抢滩登陆时(T₂)，OE封装件再次改变为海军陆战队连队->单名海军陆战队员。继续该示例，当海军陆战队在到达海滩之后可能发现车辆并进入车辆时(T₃)，OE封装件再次改变，这将封装件改变为车辆->海军陆战队连队的子集->单名海军陆战队员。

如图6B所示，在时间T₁处，OE封装件685b包括封装/嵌套在OE 682内的OE 684。例如，在时间T₁处，在登陆到海滩上之后，OE封装件685b包括封装/嵌套在OE 682(例如，海军陆战队连队)内的OE 684(例如，单名海军陆战队员)。

如图6B所示，在时间T₂处，OE封装件685c包括OE 684。例如，在时间T₂处，在登陆到海滩上并完成任务之后，OE封装件685c包括脱离OE 682的OE 684(例如，单名海军陆战队员)。

如图6B所示，在时间T₃处，OE封装件685d包括封装/嵌套在OE 686内的OE 684。例如，在时间T₃处，在登陆到海滩上并到达集结点之后，OE封装件685d包括封装/嵌套在OE686(例如，撤退直升机或卡车)内的OE 684(例如，单名海军陆战队员)。

图6C是根据一些具体实施的与目标实现器(OE)封装件相关联的时间线695的框图。尽管示出了一些具体特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，时间线695与图6B中的时间线675相关。时间695示出了即使在OE封装件经过这些时间段或时间点T₀、T₁、T₂和T₃改变之后，这些OE的并行运行。换句话讲，图6C示出了从OE封装件685a和685b剥离的OE 680和OE 682随时间推移继续与OE 684并行运行。

图7A至图7C示出了根据一些具体实施的示例性SR布景700a和700b。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。

图7A示出了示例性SR布景700a。如图7A所示，物理布景706包括桌子702。在该示例中，物理布景706的一部分在电子设备103的视场704内，其中视场704与电子设备103的面向外部的图像传感器(例如，平板电脑或移动电话)相关联。换句话讲，用户正在从侧面或通过电子设备103的视角取向查看桌子702。这样，物理布景706的包括桌子702的部分显示在电子设备103的显示器705上(例如，物理布景706的实时视频流或视频透传)。如图7A所示，电子设备103在显示器705上显示SR布景106，该SR布景包括叠加在桌子702和墙壁上或与桌子和墙壁合成的SR内容。

如图7A所示，例如，覆盖或叠加在桌子702上的SR内容(例如，与特定战役相关联)包括具有SR内容元素712(例如，潜水船、潜水两栖登陆艇、水雷等)的第一SR内容层710a(例如，水下层)、具有SR内容元素714(例如，具有步兵排或海军陆战队的两栖登陆艇、运输船等)的第二AR内容层710b(例如，水面层)以及具有SR内容元素716(例如，飞行器、飞船、导弹等)的第三SR内容层710c(例如，空中层)。例如，如图7A所示，覆盖在墙壁上的SR内容720包括SR内容元素722(例如，陆地上的防御阵地、固定机枪等)。本领域的普通技术人员将理解，图7A中的SR内容层和相关联的SR内容元素的数量、结构、尺寸和放置是任意的，并且可以在各种其他具体实施中改变。

图7B和图7C示出了示例性SR布景700b。如图7B和图7C所示，例如，用户10在他/她的头上佩戴具有对物理布景706(例如，用户的客厅)的光学透视的HMD 104(例如，启用AR的眼镜)。如图7B和图7C所示，又如，用户10在他/她的头上佩戴具有对物理布景706(例如，用户的客厅)的视频透传的HMD 104(例如，启用SR的头戴式耳机)。

如图7B所示，在状态725中(例如，与时间段T₁相关联)，HMD 104将SR内容叠加或覆盖在物理布景706的桌子702和墙壁上。在该示例中，参考状态725，覆盖在桌子702上的SR内容(例如，与特定战役相关联)包括具有SR内容元素712(例如，潜水船、潜水两栖登陆艇、水雷等)的第一SR内容层710a(例如，水下层)、具有SR内容元素714(例如，具有步兵排或海军陆战队的两栖登陆艇、运输船等)的第二SR内容层710b(例如，水面层)以及具有SR内容元素716(例如，飞行器、飞船、导弹等)的第三SR内容层710c(例如，空中层)。如图7B所示，参考状态725，覆盖在前壁上的SR内容元素720包括SR内容元素722(例如，陆地上的防御阵地、固定机枪等)，并且覆盖在侧壁上的SR内容元素730包括周围或环境细节。本领域的普通技术人员将理解，图7B中的SR内容层和相关联的SR内容元素的数量、结构、尺寸和放置是任意的，并且可以在各种其他具体实施中改变。

如图7B所示，状态725对应于事件的第一SR视图，诸如整体事件(例如，特定战役)的第三人称全知视图。响应于从用户10接收到选择第三AR内容层710c(例如，空中层)的输入(例如，语音命令、手势等)，HMD 104呈现与第三SR内容层710c(例如，空中层)相关联的事件的第二SR视图。

如图7C所示，在状态735中(例如，与时间段T₂相关联)，HMD 104响应于对第三AR内容层710c的选择而更新叠加或覆盖在桌子702上的SR内容。如图7C所示，在状态735中，HMD104将对应于第三SR内容层710c的SR内容叠加或覆盖在桌子702上。在该示例中，参考状态735，覆盖在桌子702上的SR内容(例如，与特定战役相关联)包括具有SR内容元素716(例如，飞行器、飞船、导弹等)的第三SR内容层710c(例如，空中层)。例如，在图7C中，第三SR内容层710c对应于正在接近以攻击战场内的防御阵地的飞行器中队的重心。又如，在状态735中，可向用户10呈现正方正在接近以攻击战场(未示出)上的防御阵地的飞行器中队中的特定飞行员的视点。

图8A是根据一些具体实施的新兴内容架构800的框图。尽管示出了一些具体特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，在一些具体实施中，相关(例如，封装/嵌套)目标实现器(OE)引擎810a、810b、810c和810d(在本文中有时统称为OE引擎810)(例如，类似于图2中的角色引擎208a-e)的OE封装件基于来源于目标生成器807的目标来执行动作。

例如，OE封装件包括与运输船相关联的最高层级OE引擎810a、与由运输船运输的两栖登陆艇相关联的第二层级OE引擎810b、与分配到两栖登陆艇的步兵排或海军陆战队相关联的第三层级OE引擎810c以及与特定步兵或海军陆战队员相关联的最低层级OE引擎810d。因此，OE封装件内的各种OE引擎以某种方式相关，因为它们对应于与事件相关联的有条件地相关的SR内容线程内的连接节点(例如，如参考图6A中的故事节点所述)。根据一些具体实施，新兴内容架构800被构造为针对OE封装件内的各种OE引擎产生并发动作以实现一致内容。在各种具体实施中，本领域的普通技术人员将会理解，新兴内容架构800可包括任意数量的OE封装件。在一些具体实施中，由于OE与OE封装件的相关性质，同一OE引擎可在两个或更多个OE封装件之间共享。

根据一些具体实施，目标生成器807(例如，神经网络或其他AI构造)基于一组预先确定的目标、先前目标、源资产和/或其他信息(例如，类似于图2中的新兴内容引擎250)而为每个时间段的每个OE产生目标。根据一些具体实施，封装件管理器825确定OE封装件(例如，相关OE的嵌套或分层)。例如，封装件管理器825基于与事件相关联的有条件地相关的SR内容线程内的故事节点之间的连接来确定OE封装件。在一些具体实施中，封装件管理器825基于目标、源资产和/或其他信息随时间推移修改OE封装件(例如，添加或移除OE的层)。

在一些具体实施中，解复用器845基于每个OE将目标路由到其相应OE引擎810。在一些具体实施中，OE引擎810基于其目标执行动作。根据一些具体实施，捕获一段时间内的动作并将其提供给显示流水线855用于渲染和显示，以便向用户呈现与事件相关联的SR内容(例如，基于源资产的战役或其他事件的SR重建或模拟然后新兴内容)。根据一些具体实施，捕获一段时间内的动作并将其作为训练反馈865提供给OE引擎810。根据一些具体实施，动作被提供给目标生成器807，该目标生成器继而为每个时间段的每个OE产生更新目标(例如，如上文参考图2中的新兴内容引擎250所述)。

图8B是根据一些具体实施的新兴内容架构850的框图。尽管示出了一些具体特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，在一些具体实施中，相关(例如，封装/嵌套)目标实现器(OE)引擎810a、810b、810c和810d(在本文中有时统称为OE引擎810)(例如，类似于图2中的角色引擎208a-e)的OE封装件基于在时间T₀处来源于源资产805的初始目标并且基于在时间T₁处及之后来源于新兴内容引擎250的更新目标来执行动作。

根据一些具体实施，封装件管理器825确定OE封装件(例如，相关OE的嵌套或分层)。例如，封装件管理器825基于与事件相关联的有条件地相关的SR内容线程内的故事节点之间的连接来确定OE封装件。在一些具体实施中，封装件管理器825基于目标、源资产和/或其他信息随时间推移修改OE封装件(例如，添加或移除OE的层)。

例如，OE封装件包括与运输船相关联的最高层级OE引擎810a、与由运输船运输的两栖登陆艇相关联的第二层级OE引擎810b、与分配到两栖登陆艇的步兵排或海军陆战队相关联的第三层级OE引擎810c以及与特定步兵或海军陆战队员相关联的最低层级OE引擎810d。因此，OE封装件内的各种OE引擎以某种方式相关，因为它们对应于与事件相关联的有条件地相关的SR内容线程内的连接节点(例如，如参考图6A中的故事节点所述)。根据一些具体实施，新兴内容架构850被构造为针对OE封装件内的各种OE引擎产生并发动作以实现一致新兴内容。在各种具体实施中，本领域的普通技术人员将会理解，新兴内容架构850可包括任意数量的OE封装件。在一些具体实施中，由于OE与OE封装件的相关性质，同一OE引擎可在两个或更多个OE封装件之间共享。

根据一些具体实施，基于与事件(例如，事件的计划810a、地面实况810b和个人记载等810c)相关联的源资产805，通过擦除器引擎820和目标生成器830的操作来产生初始目标。在一些具体实施中，擦除器引擎820对源资产805执行解析和理解操作，以便为每个时间段的每个OE(例如，在源资产805中识别的角色)产生提取的动作。例如，在一些具体实施中，擦除器引擎820从源资产805提取动作。此后，在一些具体实施中，目标生成器830(例如，神经网络或其他AI构造)为每个时间段的每个OE产生初始目标。

根据一些具体实施，多路复用器835启用初始目标或更新目标中的一者作为对OE封装件的输入。在一些具体实施中，解复用器845基于每个OE将目标路由到其相应OE引擎810。在一些具体实施中，OE引擎810基于其目标执行动作。根据一些具体实施，捕获一段时间内的动作并将其提供给显示流水线855用于渲染和显示，以便向用户呈现与事件相关联的SR内容(例如，基于源资产的战役或其他事件的SR重建或模拟然后新兴内容)。根据一些具体实施，捕获一段时间内的动作并将其作为训练反馈865提供给新兴内容引擎250和OE引擎810。根据一些具体实施，动作被提供给新兴内容引擎250，该新兴内容引擎继而针对每个时间段的每个OE产生更新目标(例如，如上文参考图2中的新兴内容引擎250所述)。

图8C是根据一些具体实施的新兴内容架构875的框图。尽管示出了一些具体特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，在一些具体实施中，OE引擎860a、860b、860c和860d(在本文中有时统称为OE引擎860)(例如，类似于图2中的角色引擎208a-e)基于在时间T₀处来源于源资产805的初始目标并且基于在时间T₁处及之后来源于新兴内容引擎250的更新目标来执行动作。

根据一些具体实施，基于源资产805(例如，电影、电视剧、有声读物、小说、杂志文章等)，通过擦除器引擎820和目标生成器830的操作来产生初始目标。在一些具体实施中，擦除器引擎820对源资产805执行解析和理解操作，以便为每个时间段的每个OE(例如，在源资产805中识别的角色)产生提取的动作。例如，在一些具体实施中，擦除器引擎820从源资产805提取动作。此后，在一些具体实施中，目标生成器830(例如，神经网络或其他AI构造)为每个时间段的每个OE产生初始目标。

根据一些具体实施，多路复用器835启用初始目标或更新目标中的一者作为对OE引擎860的输入。在一些具体实施中，解复用器845基于每个OE将目标路由到其相应OE引擎860。在一些具体实施中，OE引擎860基于其目标执行动作。根据一些具体实施，捕获一段时间内的动作并将其提供给显示流水线855用于渲染和显示，以便向用户呈现与事件相关联的SR内容(例如，基于源资产的战役或其他事件的SR重建或模拟然后新兴内容)。根据一些具体实施，捕获一段时间内的动作并将其作为训练反馈865提供给新兴内容引擎250和OE引擎860。根据一些具体实施，动作被提供给新兴内容引擎250，该新兴内容引擎继而针对每个时间段的每个OE产生更新目标(例如，如上文参考图2中的新兴内容引擎250所述)。

图9是根据一些具体实施的将SR布景内的目标实现器(OE)封装件实例化的方法900的流程图表示。在各种具体实施中，方法900由具有非暂态存储器和与该非暂态存储器耦接的一个或多个处理器(例如，图1A所示的控制器102、电子设备103和/或图1B所示的HMD104)的设备执行。在一些具体实施中，方法900由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中，方法900由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。

例如，方法900为OE封装件中的OE生成目标，这得到SR布景中与封装的上下文一致的相关情节(例如，当在运输船上时，海军陆战队员执行与运输船上下文一致的动作)。例如，与事件(例如，特定战役)相关联的OE封装件对应于海军->运输船->两栖突击载具->海军陆战队连队->单名海军陆战队员。

如框9-1所示，方法900包括将与第一组属性(例如，视觉渲染属性、可能动作、上下文信息等)相关联的第一OE和与第二组属性相关联的第二OE实例化到SR布景中，其中第一OE封装在第二OE内。在一些具体实施中，当第一OE封装在第二OE内时，第一OE与第二OE相关联。在一些具体实施中，当第一OE封装在第二OE内时，第一OE与第二OE有关。在一些具体实施中，当第一OE封装在第二OE内时，第一OE与第二OE关联。在一些具体实施中，当第一OE封装在第二OE内时，第一OE与第二OE相关。换句话讲，因为第一OE封装在第二OE内，所以第一OE设置有目标并且执行与第二OE的上下文和属性一致的动作。在一些具体实施中，较低层级OE执行与其被封装于其中的较高层级OE一致的动作。在一些具体实施中，该一个或多个其他较低层级OE封装在第一OE内。在一些具体实施中，第二OE封装在一个或多个其他较高层级OE内。

在一些具体实施中，从与事件相关联的源材料/资产中提取属性，这些源材料/资产包括例如事件的计划(诸如作战方案)、事件的地面实况(诸如战况和战果)、历史记载或实录、电影剧本、剧本、文本或有声读物、电影、视频游戏、小说等。在一些具体实施中，***针对每个时间段确定一组OE封装件(例如，如图6B和图6C所示)。因此，OE封装件可随着事件进程诸如剥离或添加OE(层)而改变。例如，在运输中(T₀)，特定战役封装始于运输船->两栖突击载具->海军陆战队连队->单名海军陆战队员。继续该示例，在接近海滩时(T₁)，OE封装件改变为两栖突击载具->海军陆战队连队->单名海军陆战队员。继续该示例，在抢滩登陆时(T₂)，OE封装件再次改变为海军陆战队连队->单名海军陆战队员。继续该示例，当海军陆战队在到达海滩之后可能发现车辆并进入车辆时(T₃)，OE封装件再次改变，这将封装改变为车辆->海军陆战队连队的子集->单名海军陆战队员。

如框9-2所示，方法900包括基于第一组属性和第二组属性向第一OE提供第一目标。在一些具体实施中，第一OE基于其被封装于其中的第二OE的上下文设置有目标，继而第一OE执行与该上下文一致的动作。例如，运输船上的海军陆战队员在运输船上时不被给定执行侦察巡逻的侦察目标或用迫击炮攻击标靶的火力镇压目标。

如框9-3所示，方法900包括基于第二组属性向第二OE提供第二目标，其中第一目标和第二目标与第一时间点和第二时间点之间的第一时间段相关联(例如，目标对于特定时间段是有效或活动的)。在一些具体实施中，目标对应于根据源资产合成的初始目标。在一些具体实施中，每个时间段由新兴内容引擎更新目标。在一些具体实施中，每个时间段由封装件管理器更新OE封装件，诸如从封装中添加或移除OE(层)。在一个示例中，第一时间点和第二时间点对应于源内容内的场景的开始时间和结束时间。又如，第一时间点和第二时间点对应于指令集中的自然断点等。又如，第一时间点和第二时间点对应于事件的开始状态和结束状态(例如，战前和战后的军队的状态)。因此，根据一些具体实施，第一时间点和第二时间点为目标提供书的结局或引导位置。

在一些具体实施中，方法900包括基于源资产/材料(例如，与事件相关联的电影、书籍、历史记载等)来合成第一目标和第二目标。例如，源资产对应于事件的计划(诸如作战方案)、事件的地面实况(诸如战况和战果)、历史记载或实录、电影剧本、脚本、文本或有声读物、电影、视频游戏、小说等。例如，源资产还包括与故事或事件相关联的地形、基础设施、车辆、类人、动物等的3D模型。

在一些具体实施中，方法900包括从源资产中提取与事件相关联的一组动作，并且其中第一目标和第二目标来源于该组动作(例如，该组动作包括与书籍、电影、事件等相关联的基本情节点，诸如其开始和结束情况)。在一些具体实施中，第一目标和第二目标与该组动作一致。例如，如果预定义的该组动作不包括杀戮，则目标不能是杀戮。例如，如果该组动作包括事件的至少起始点和结束点(例如，书的结局)，则导出目标以获得从起始点到结束点的角色。例如，角色不能执行知识产权(IP)或数字版权管理(DRM)限制界限“之外”的动作。

在一些具体实施中，通过利用神经网络来生成第一目标和第二目标。例如，神经网络基于一组神经网络参数(例如，权重)来生成第一目标和第二目标。例如，神经网络参数由回报函数确定。在一些具体实施中，将第一目标和第二目标提供给训练模块，该训练模块调节生成目标的神经网络参数。例如，训练模块包括回报函数，该回报函数将正面回报分配给期望的动作并且将负面回报分配给不期望的动作。例如，训练模块利用强化学习来配置神经网络。例如，训练模块利用粉丝创建的内容(例如，博客文章)、经典视频、小说、书籍、漫画和/或视频游戏来训练神经网络。

如框9-4所示，方法900包括基于第一目标为第一OE生成与第一时间段相关联的第一组动作。如框9-5所示，方法900包括基于第二目标为第二OE生成与第一时间段相关联的第二组动作。例如，参考图8A，OE引擎810基于来自目标生成器807的目标执行动作。

如框9-6所示，方法900包括渲染包括由第一OE执行的第一组动作和由第二OE执行的第二组动作的SR布景以用于显示。在一些具体实施中，SR布景与事件相关联。例如，事件对应于体育赛事、音乐会、战争或另外的大型事件。例如，参考图8A，显示流水线855在第一时间段内渲染由OE执行的动作，以便向用户呈现SR内容。

在一些具体实施中，方法900包括获取表征SR布景的上下文信息。例如，上下文信息包括在SR布景内实例化的所有OE和OE封装件。例如，上下文信息包括特定于用户的场景/环境信息。例如，上下文信息包括实例化角色和装备资产。例如，上下文信息包括要实例化的其他角色的身份。例如，上下文信息包括用户环境(例如，书桌)中存在的对象的网格地图。

在一些具体实施中，方法900包括基于源资产为SR布景设置虚拟环境条件。在一些具体实施中，虚拟环境条件包括地形条件、天气条件、照明条件和环境声音中的一者或多者。在一些具体实施中，方法900包括基于用户输入来改变地形和/或环境条件以测试SR布景的不同模拟。例如，与事件相关联的地形和/或天气可根据其历史参数改变，以查看随着地形和/或天气的改变事件的结果可能如何改变(例如，模拟冬天天气代替历史事件的夏天天气，或者模拟平坦地形代替历史事件的倾斜崎岖地形)。

在一些具体实施中，方法900包括接收用户对特定OE的选择，并且作为响应显示与由特定OE执行的动作相关联的SR内容。例如，用户能够“透过”所选择的OE的眼睛查看，并且任选地控制所选择的OE的至少一些方面，诸如其移动。

在一些具体实施中，方法900包括基于第一组属性和第二组属性以及新OE的属性更新下一个时间段内第一OE的目标。例如，将第三OE层添加到OE封装件中，这进一步约束了第一OE的动作和目标。在一些具体实施中，新层是相比第一OE的高层级层，新层高于或等于第二OE。例如，参考图8A，封装件管理器825通过在OE封装件内添加附加OE引擎来更新OE封装件。

在一些具体实施中，方法900包括更新在下一个时间段内第一OE的目标以作为第一组属性的函数。例如，移除第二OE层，从而为第一OE打开新的动作和目标。例如，参考图8A，封装件管理器825通过移除OE封装件内的OE引擎810中的一个来更新OE封装件。

在一些具体实施中，方法900包括添加/移除OE以测试SR布景内的不同模拟。例如，如果运输船通常具有N艘两栖登陆艇，则在N-1艘或N+1艘两栖登陆艇内运行模拟以查看攻击者的宏观结果或微观结果可能如何改变。例如，移除SR布景内的整个OE封装件和/或单个OE。在一些具体实施中，当满足预先确定的标准时，OE中的一个执行与其目标不一致的动作(例如，道德标准、自卫标准等)。例如，如果满足预先确定的标准，则士兵放弃执行与他/她的目标一致的动作，相反离开他/她的岗位。

在一些具体实施中，方法900包括将包括第三OE和第四OE的第二OE封装件实例化。例如，第一OE封装件和第二OE封装件两者中均包括第三OE或第四OE中的至少一者。

图10是根据一些具体实施的初始化并生成用于SR布景内的目标实现器(OE)封装件的内容的方法1000的流程图表示。在各种具体实施中，方法1000由具有非暂态存储器和与该非暂态存储器耦接的一个或多个处理器(例如，图1A所示的控制器102、电子设备103和/或图1B所示的HMD 104)的设备执行。在一些具体实施中，方法1000由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中，方法1000由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。

如框10-1所示，方法1000包括获取与事件相关联的源资产。例如，事件对应于体育赛事、音乐会、战争或另外的大型事件。例如，源资产对应于事件的计划(诸如作战方案)、事件的地面实况(诸如战况和战果)、历史记载和书籍、电影、视频游戏、小说等。例如，源资产还包括与故事或事件相关联的地形、基础设施、车辆、类人、动物等的3D模型。

如框10-2所示，方法1000包括基于源资产来识别OE封装件，该OE封装件包括第一OE和第二OE。例如，OE封装件对应于一组相关角色或实体，诸如包括各自具有M名海军陆战队员的N艘两栖登陆艇的运输船。在一些具体实施中，OE对应于与事件相关联的角色，诸如类人、车辆、人形机器人、机器人、动物等。例如，参考图8B，封装件管理器825基于与事件相关联的源资产来确定包括OE引擎810的OE封装件。

如框10-3所示，方法1000包括基于源资产来提取在事件期间由第一OE和第二OE执行的一组动作。例如，该组动作对应于从事件的电影剧本或剧本导出的每个OE的动作序列。在一些具体实施中，设备合成事件的电影剧本。在一些具体实施中，设备从生成动作序列的角色引擎接收用于OE的该动作序列或一组潜在动作。在一些具体实施中，设备接收指示动作序列的用户输入。例如，该组相关角色的该组动作包括移动轨迹、对武器或其他相关装备的操作、对话等。例如，参考图8B，擦除器引擎820提取由OE在事件期间执行的一组动作。

如框10-4所示，方法1000包括基于从与事件相关联的源资产中提取的该组动作来合成OE封装件的一组初始目标，其中该组初始目标包括与第二OE的第二目标一致的第一OE的第一目标。例如，参考图8B，目标生成器830基于所提取的一组动作来合成一组初始目标。

例如，该组初始目标是使得OE封装件内的OE一致行动并且不冲突——不能从相关分组中脱离。在一些具体实施中，该组初始目标包括OE封装件内的每个OE的目标。在一些具体实施中，该组初始目标与该组动作一致。例如，如果预定义的该组动作不包括杀戮，则目标不能是杀戮。例如，如果该组动作包括事件的至少起始点和结束点(例如，书的结局)，则导出目标以获得从起始点到结束点的角色。例如，角色不能执行知识产权(IP)或数字版权管理(DRM)限制界限“之外”的动作。

在一些具体实施中，合成该组初始目标包括利用神经网络。例如，神经网络基于一组神经网络参数(例如，权重)来生成该组初始目标。例如，神经网络参数由回报函数确定。

在一些具体实施中，将该组初始目标提供给训练模块，该训练模块调节生成目标的神经网络参数。例如，训练模块包括回报函数，该回报函数将正面回报分配给期望的动作并且将负面回报分配给不期望的动作。例如，训练模块利用强化学习来配置神经网络。例如，训练模块利用粉丝创建的内容(例如，博客文章)、经典视频、小说、书籍、漫画和/或视频游戏来训练神经网络。

如框10-5所示，方法1000包括将OE封装件实例化到SR布景(例如，SR布景)中(例如，在时间T₀处)，其中OE封装件由该组初始目标(例如，根据源资产合成)和一组视觉渲染属性来表征。例如，参考图8B，在时间T0处，利用从源资产805导出的初始目标来初始化新兴内容架构850。

在一些具体实施中，方法1000包括基于该组初始目标为SR布景设置虚拟环境条件。例如，虚拟环境条件包括地形条件、天气条件、照明条件、环境声音等中的一者或多者。

在一些具体实施中，方法1000包括获取表征SR布景的上下文信息。例如，上下文信息包括在SR布景内实例化的所有OE和OE封装件。例如，上下文信息包括特定于用户的场景/环境信息。例如，上下文信息包括实例化角色和装备资产。例如，上下文信息包括要实例化的其他角色的身份。例如，上下文信息包括用户环境(例如，书桌)中存在的对象的网格地图。

如框10-6所示，方法1000包括基于该组初始目标、与事件相关联的上下文信息和该组动作的函数来生成OE封装件的更新目标。例如，该组修改目标由于其封装而不可冲突。在一些具体实施中，生成该组更新目标包括利用神经网络。例如，神经网络参数由回报函数提供。例如，参考图8B，新兴内容引擎250至少部分地基于由OE引擎810执行的先前动作来生成一组更新目标。

如框10-7所示，方法1000包括基于该组更新目标修改OE封装件(例如，在时间T₁处)。例如，参考图8B，在时间T₁处及之后，新兴内容架构850利用来自新兴内容引擎250的更新目标来操作。在一些具体实施中，修改目标被提供给生成OE表示的角色引擎，并且最终被提供给渲染和显示流水线，以便输出示出执行SR布景内的动作序列并且可能与一个或多个其他OE组合的OE的SR内容。例如，OE执行实现目标或提高实现目标的可能性的动作。

图11是根据一些具体实施的初始化并生成用于SR布景内的目标实现器(OE)的内容的方法1100的流程图表示。在各种具体实施中，方法1100由具有非暂态存储器和与该非暂态存储器耦接的一个或多个处理器(例如，图1A所示的控制器102、电子设备103和/或图1B所示的HMD 104)的设备执行。在一些具体实施中，方法1100由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中，方法1100由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。

如框11-1所示，方法1100包括获取与事件相关联的源资产。例如，事件对应于体育赛事、音乐会、战争或另外的大型事件。例如，源资产对应于事件的计划(诸如作战方案)、事件的地面实况(诸如战况和战果)、历史记载和书籍、电影、视频游戏、小说等。例如，源资产还包括与故事或事件相关联的地形、基础设施、车辆、类人、动物等的3D模型。

如框11-2所示，方法1100包括基于源资产来提取在事件期间由第一OE执行的一组动作。例如，该组动作对应于从事件的电影剧本或剧本导出的每个OE的动作序列。在一些具体实施中，设备合成事件的电影剧本。在一些具体实施中，设备从生成动作序列的角色引擎接收用于OE的该动作序列或一组潜在动作。在一些具体实施中，设备接收指示动作序列的用户输入。例如，OE的该组动作包括移动轨迹、对武器或其他相关装备的操作、对话等。例如，参考图8C，擦除器引擎820提取由OE在事件期间执行的一组动作。

如框11-3所示，方法1100包括基于从与事件相关联的源资产中提取的该组动作来合成第一OE的一组初始目标。例如，参考图8C，目标生成器830基于所提取的一组动作来合成一组初始目标。在一些具体实施中，该组初始目标与该组动作一致。例如，如果预定义的该组动作不包括杀戮，则目标不能是杀戮。例如，如果该组动作包括事件的至少起始点和结束点(例如，书的结局)，则导出目标以获得从起始点到结束点的角色。例如，角色不能执行知识产权(IP)或数字版权管理(DRM)限制界限“之外”的动作。

如框11-4所示，方法1100包括将第一OE实例化到SR布景(例如，SR布景)中(例如，在时间T₀处)，其中第一OE封装件由该组初始目标(例如，根据源资产合成)和一组视觉渲染属性来表征。因此，参考图8C，在时间T₀处，使用从源资产805导出的初始目标来初始化新兴内容架构875内的OE引擎860。

在一些具体实施中，方法1100包括基于该组初始目标为SR布景设置虚拟环境条件。例如，虚拟环境条件包括地形条件、天气条件、照明条件、环境声音等中的一者或多者。

在一些具体实施中，方法1100包括获取表征SR布景的上下文信息。例如，上下文信息包括在SR布景内实例化的所有OE。例如，上下文信息包括特定于用户的场景/环境信息。例如，上下文信息包括实例化角色和装备资产。例如，上下文信息包括要实例化的其他角色的身份。例如，上下文信息包括用户环境(例如，书桌)中存在的对象的网格地图。

如框11-5所示，方法1100包括基于该组初始目标、与事件相关联的上下文信息和该组动作的函数来生成第一OE的更新目标。在一些具体实施中，生成该组更新目标包括利用神经网络。例如，神经网络参数由回报函数提供。例如，参考图8C，新兴内容引擎250至少部分地基于由OE引擎860执行的先前动作来生成一组更新目标。

如框11-6所示，方法1100包括基于该组更新目标修改第一OE(例如，在时间T₁处)。例如，参考图8C，在时间T₁处及之后，新兴内容架构875内的OE引擎860利用来自新兴内容引擎250的更新目标来操作。在一些具体实施中，修改目标被提供给生成OE表示的角色引擎，并且最终被提供给渲染和显示流水线，以便输出示出执行SR布景内的动作序列并且可能与一个或多个其他OE组合的OE的SR内容。例如，OE执行实现目标或提高实现目标的可能性的动作。

图12是根据一些具体实施的选择SR布景(例如，有条件地相关的SR内容线程环境)内的视点的方法1200的流程图表示。在各种具体实施中，方法1200由具有非暂态存储器和与该非暂态存储器耦接的一个或多个处理器(例如，图1A所示的控制器102、电子设备103和/或图1B所示的HMD 104)的设备执行。在一些具体实施中，方法1200由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中，方法1200由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。

例如，方法1200使得用户能够在多个层级的有条件地相关的SR内容线程内的不同视点之间进行选择，这些视点诸如整体战场的第三人称全知视图、一个机群的中队视图、驱逐舰的舰长视图、两栖登陆艇内的特定海军陆战队员的第一人称视图等。

如框12-1所示，方法1200包括呈现具有与事件相关联的SR内容的事件的第一SR视图，该SR内容包括执行与事件相关联的动作的SR内容的多个相互关联层。例如，事件对应于体育赛事、音乐会、战争或另外的大型事件。在一些具体实施中，SR内容基于与事件相关联的源材料/资产来合成，这些源材料/资产包括例如事件的计划(诸如作战方案)、事件的地面实况(诸如战况和战果)、历史记载或实录、电影剧本、剧本、文本或有声读物、电影、视频游戏、小说等。

在一些具体实施中，如框12-1a所示，方法1200包括基于用户输入在第一SR视图内四处平移或放大/缩小。因此，用户能够从几乎无限数量的视角查看事件。在一些具体实施中，如框12-1b所示，方法1200包括基于用户输入添加和/或移除层和/或SR内容元素。因此，用户能够播放具有修改的层和/或改变的元素数量的事件的各种“假设”模拟。

在一些具体实施中，基于与事件相关联的源资产，SR内容包括与事件相关联的环境条件(例如，天气)和/或地形。在一些具体实施中，方法1200包括基于用户输入修改与事件相关联的环境条件和/或地形。因此，用户能够播放具有修改的环境条件(例如，天气)和/或地形的事件的各种“假设”模拟。

如框12-2所示，方法1200包括检测对SR内容的多个相互关联层中的相应层的选择。例如，选择对应于语音命令、手势命令、对与相应层相关联的示能表示的选择等。

如框12-3所示，方法1200包括呈现包括SR内容的相应层的事件的第二SR视图，其中第二SR视图对应于相应层的视点。根据一些具体实施，第一SR视图对应于事件的第三人称全知视图(例如，战场指挥官的虚拟视图)，并且第二SR视图对应于事件内的单个角色(例如，战场上的士兵或飞行器中的飞行员)的第一人称视图。例如，图7B中的状态725示出事件(例如，来自整体多维视图的特定战役)的第一SR视图，并且图7C中的状态735示出事件(例如，来自空中视图的特定战役)的第二SR视图。

在一些具体实施中，在呈现第二SR视图时，方法1200包括呈现除相应层之外的较低层级层。例如，如果相应层对应于特定的运输船，则也示出乘坐运输船的各自包括海军陆战队连队的两栖登陆艇。

在一些具体实施中，在呈现第二SR视图时，方法1200包括直接呈现除相应层之外的相关较高层级层。例如，如果相应层对应于特定海军陆战队员，则也示出其连队的剩余部分以及该特定海军陆战队员正乘坐的两栖登陆艇。

在一些具体实施中，在呈现第二SR视图时，方法1200包括排除较高层级层的呈现。例如，如果相应层对应于飞行器的特定飞行员，则排除飞行器上的其他机组人员和中队中的其他飞行器。

在一些具体实施中，在呈现第二SR视图时，方法1200包括排除正交的同等层级层的呈现。例如，如果相应层对应于特定海军陆战队员，则也示出其连队的剩余部分以及该特定海军陆战队员正乘坐的两栖登陆艇，但不示出来自同一运输船的其他两栖登陆艇。

在一些具体实施中，如框12-3a所示，方法1200包括基于用户输入来控制与第二SR视图相关联的SR内容元素。在一些具体实施中，在运行时，这些层继续同时播放，无论它们当前是否被呈现。

虽然上文描述了在所附权利要求书范围内的具体实施的各个方面，但是应当显而易见的是，上述具体实施的各种特征可通过各种各样的形式体现，并且上述任何特定结构和/或功能仅是例示性的。基于本公开，本领域的技术人员应当理解，本文所述的方面可以独立于任何其他方面来实现，并且这些方面中的两个或更多个可以采用各种方式组合。例如，可以使用本文阐述的任何数量的方面来实现装置和/或可以实践方法。另外，除了本文阐述的一个或多个方面之外或者不同于本文阐述的一个或多个方面，可以使用其他结构和/或功能来实现这样的装置和/或可以实践这样的方法。

还将理解的是，虽然术语“第一”、“第二”等可能在本文中用于描述各种元素，但是这些元素不应当被这些术语限定。这些术语只是用于将一个元件与另一元件区分开。例如，第一节点可以被称为第二节点，并且类似地，第二节点可以被称为第一节点，其改变描述的含义，只要所有出现的“第一节点”被一致地重命名并且所有出现的“第二节点”被一致地重命名。第一节点和第二节点都是节点，但它们不是同一个节点。

本文中所使用的术语仅仅是为了描述特定具体实施并非旨在对权利要求进行限制。如在本具体实施的描述和所附权利要求中所使用的那样，单数形式的“一个”和“该”旨在也涵盖复数形式，除非上下文清楚地另有指示。还将理解的是，本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”在本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件，和/或其分组。

如本文所使用的，术语“如果”可以被解释为表示“当所述先决条件为真时”或“在所述先决条件为真时”或“响应于确定”或“根据确定”或“响应于检测到”所述先决条件为真，具体取决于上下文。类似地，短语“如果确定[所述先决条件为真]”或“如果[所述先决条件为真]”或“当[所述先决条件为真]时”被解释为表示“在确定所述先决条件为真时”或“响应于确定”或“根据确定”所述先决条件为真或“当检测到所述先决条件为真时”或“响应于检测到”所述先决条件为真，具体取决于上下文。

Claims

1.一种渲染合成现实SR布景的方法，所述方法包括：

在包括非暂态存储器和一个或多个处理器的计算***处，其中所述计算***通信地耦接到显示设备和一个或多个输入设备：

将与第一组属性相关联的第一目标实现器OE和与第二组属性相关联的第二OE实例化到合成现实SR布景中，其中所述第一OE封装在所述第二OE内，其中所述第一组属性包括与所述第一OE的当前状态相关联的第一上下文信息，并且其中所述第二组属性包括与所述第二OE的当前状态相关联的第二上下文信息；

基于针对所述第一OE的所述第一组属性和针对所述第二OE的所述第二组属性生成针对所述第一OE的第一目标，其中所述第一目标与所述第一上下文信息和所述第二上下文信息一致；

基于针对所述第二OE的所述第二组属性生成针对所述第二OE的第二目标，其中所述第二目标与所述第一目标不同，并且其中所述第一目标和所述第二目标与第一时间点和第二时间点之间的第一时间段相关联；

基于所述第一目标为所述第一OE生成与所述第一时间段相关联的第一组动作；

基于所述第二目标为所述第二OE生成与所述第一时间段相关联的第二组动作；以及

渲染包括由所述第一OE执行的所述第一组动作和由所述第二OE执行的所述第二组动作的所述SR布景以用于显示。

2.根据权利要求1所述的方法，还包括：

在第二时间段内将与第三组属性相关联的第三OE实例化到所述SR布景中，其中所述第一OE封装在所述第二OE和所述第三OE内；以及

基于所述第一组属性和所述第二组属性以及与所述第三OE相关联的所述第三组属性，在所述第二时间段内更新第一OE的所述第一目标。

3.根据权利要求1所述的方法，还包括：

在第二时间段内从所述SR布景中移除所述第二OE；以及

基于所述第一组属性，在所述第二时间段内更新第一OE的所述第一目标。

4.根据权利要求1所述的方法，还包括：

将与第三组属性相关联的第三OE和与第四组属性相关联的第四OE实例化到所述SR布景中，其中所述第三OE封装在所述第四OE内。

5.根据权利要求4所述的方法，其中所述第一OE和所述第二OE与第一OE封装件相关联，并且其中所述第三OE和所述第四OE与第二OE封装件相关联。

6.根据权利要求5所述的方法，其中所述第一OE封装件和所述第二OE封装件两者中包括至少一个OE。

7.根据权利要求1所述的方法，其中所述SR布景与事件相关联，并且其中基于与所述事件相关联的源资产来合成所述第一目标和所述第二目标。

8.根据权利要求7所述的方法，还包括：

从与所述事件相关联的源资产提取一组动作，其中所述第一目标和所述第二目标来源于所述一组动作，其中所述第一目标和所述第二目标与所述一组动作一致。

9.根据权利要求1所述的方法，还包括：

接收在第二时间段内从所述SR布景移除相应OE的用户输入；以及

响应于接收到所述用户输入：

从所述SR布景中移除所述相应OE；以及

在所述第二时间段内继续渲染所述SR布景以用于显示。

10.根据权利要求1所述的方法，还包括：

接收在第二时间段内向所述SR布景添加相应OE的用户输入；以及

响应于接收到所述用户输入：

从所述SR布景添加所述相应OE；以及

在所述第二时间段内继续渲染所述SR布景以用于显示。

11.根据权利要求1所述的方法，其中生成所述第二组动作包括在满足预先确定的标准的情况下，基于自卫目标而不是所述第二目标为所述第二OE生成与所述第一时间段相关联的所述第二组动作。

12.根据权利要求1至11中任一项所述的方法，还包括：

接收在所述SR布景内选择相应OE的用户输入；以及

响应于接收到所述用户输入，通过所述相应OE的视角渲染所述SR布景以用于显示。

13.根据权利要求1所述的方法，还包括获取表征所述SR布景的上下文信息。

14.根据权利要求13所述的方法，其中所述上下文信息包括与在所述SR布景内实例化的OE和OE封装件相关联的信息。

15.根据权利要求13所述的方法，其中所述上下文信息包括与特定于用户的信息相关联的信息，所述特定于用户的信息与所述SR布景相关联。

16.根据权利要求1所述的方法，还包括为所述SR布景设置虚拟环境条件。

17.根据权利要求16所述的方法，其中基于表征场景的源资产来设置所述虚拟环境条件。

18.根据权利要求16所述的方法，还包括：

接收在第二时间段内修改所述SR布景的所述虚拟环境条件的用户输入；以及

响应于接收到所述用户输入，基于所述用户输入在所述第二时间段内修改所述SR布景的所述虚拟环境条件。

19.根据权利要求1所述的方法，其中针对所述第一OE的所述第一组属性包括由所述第一OE执行的第一组可能动作，其中针对所述第二OE的所述第二组属性包括由所述第二OE执行的第二组可能动作，并且其中所述第一目标也与所述第一组可能动作和所述第二组可能动作一致。

20.根据权利要求1所述的方法，其中所述第一组属性和所述第二组属性中的至少一些是从与所述第一OE和所述第二OE相关联的源材料中提取的。

21.一种渲染合成现实SR布景的计算***，所述计算***包括：

一个或多个处理器；

非暂态存储器；

接口，所述接口用于与显示设备和一个或多个输入设备进行通信；以及

存储在所述非暂态存储器中的一个或多个程序，所述一个或多个程序当由所述一个或多个处理器执行时使所述计算***：

22.一种存储一个或多个程序的非暂态存储器，所述一个或多个程序当由具有用于与显示设备和一个或多个输入设备进行通信的接口的计算***的一个或多个处理器执行时，使所述计算***：