CN116941234A - 用于运动捕捉的参考系 - Google Patents

Abstract

描述了用于促成使用在彼此远离的相应位置(402)的多个演员(404)的音频视频(AV)制作的协调的技术，使得可通过彼此一致地协调多个远程演员(404)的活动来生成整合AV产品。促成地理上远离彼此的多个演员的运动捕捉(mocap)(200)。

Description

用于运动捕捉的参考系

技术领域

本申请总体上涉及必须源于计算机技术并产生具体的技术改进的技术上创新的非常规解决方案。特别地，本申请涉及用于实现在多个位置的协作远程表演的技术。

背景技术

出于健康和成本考虑，人们越来越多地从远程位置进行协作。如本文所理解，使用远程演员的协作电影和计算机模拟(例如，计算机游戏)生成可能带来独特的协调问题，因为导演必须指导多个演员，这些演员各自可能在他或她自己的工作室或摄影棚中拍摄电影和进行计算机模拟相关活动，诸如运动捕捉(MoCap)。例如，在以协调动作的方式为远程演员在他们各自的舞台上提供物理参考方面存在挑战。本原理提供了用于解决这些协调挑战中的一些的技术。

发明内容

因此，本原理提供了一种方法，所述方法包括至少部分地通过在由第一位置处的至少第一演员穿戴的头戴式显示器(HMD)上呈现至少一个参考图像来在拍摄所述第一演员以进行运动捕捉(mocap)时为所述第一演员提供参考系。从逆反射器反射的光可来自光发射器。另外或替代地，所述方法可包括在所述第一位置的墙壁上提供逆反射器以用于将光朝向所述第一演员反射。另外或替代地，所述方法可包括在所述第一位置的地板上提供可见标记。

在一些示例中，所述方法可包括在拍摄第二位置处的至少第二演员以进行mocap时为所述第二演员提供参考系。所述第一位置可地理上远离所述第二位置，并且来自所述第一演员和所述第二演员的mocap可在网络练习(WebEx)中呈现在与所述第一位置和所述第二位置通信的至少一个导演显示器上。

可至少部分地使用在所述第一位置处播放的音频来向所述第一演员提供参考系。可在所述HMD上提供多个光发射器。可及时地同步所述第一演员和所述第二演员的mocap视频。

在另一方面，一种装置包括至少一个计算机存储设备，所述至少一个计算机存储设备不是瞬态信号且继而包括指令，所述指令可由至少一个处理器执行以从第一位置处的第一相机接收第一演员的运动捕捉(mocap)视频。所述指令可执行以从第二位置处的第二相机接收第二演员的mocap视频，将所述mocap视频彼此同步，并且在地理上远离所述第一位置和所述第二位置的第三位置处的至少一个显示器上将所述mocap视频合并到单个场景中。

在另一方面，一种设备包括至少一个头戴式显示器(HMD)组件，所述至少一个HMD组件继而包括被配置有指令的至少一个处理器和由所述处理器控制的至少一个显示器。所述HMD还可包括扬声器。至少一个投影仪被配置为将运动捕捉(mocap)参考光投影到所述HMD组件的穿戴者可见的至少一个表面上以在mocap期间为所述穿戴者提供空间参考。

参考附图可最好地理解本申请的关于其结构和操作两者的细节，在附图中，相同的附图标记指代相同的部分，并且在附图中：

附图说明

图1是与本原理一致的示例***的框图；

图2示出了与本原理一致的呈示例流程图格式的示例逻辑；

图3示出了示例舞台显示器的屏幕截图；

图4示出了示例分布式表演环境，为了说明，示出了两个远程工作室或电影布景和一个远程导演计算机，该远程导演计算机呈现来自每个布景或工作室的视频；

图5示出了在头戴式显示器(HMD)的吊杆上用于照明电影布景的墙壁上的逆反射器的相机；

图6示出了逆反射器的另外的特征；

图7示出了与本原理一致的呈示例流程图格式的附加的示例逻辑；

图8示出了在电影布景的地板上以辅助电影布景中的演员的标记；

图9示出了与本原理一致的呈示例流程图格式的附加的示例逻辑；并且

图10示出了示例HMD的屏幕截图。

具体实施方式

现在参考图1，本公开总体上涉及计算机生态***，包括可包括消费性电子(CE)装置的计算机网络的各方面。本文的***可包括服务器部件和客户端部件，该服务器部件和客户端部件通过网络连接，使得可在客户端部件与服务器部件之间交换数据。客户端部件可包括一个或多个计算装置，该一个或多个计算装置包括便携式电视(例如，智能TV、支持互联网的TV)、诸如膝上型计算机和平板计算机的便携式计算机，以及包括智能电话和下面讨论的附加示例的其他移动装置。这些客户端装置可在多种操作环境下操作。例如，客户端计算机中的一些可采用例如微软的操作***、或Unix操作***、或由苹果计算机(AppleComputer)或谷歌(Google)生产的操作***。可使用这些操作环境来执行一个或多个浏览程序，诸如由微软或谷歌或摩斯拉(Mozilla)制作的浏览器，或可访问由下文讨论的互联网服务器托管的网站的其他浏览器程序。

服务器和/或网关可包括执行指令的一个或多个处理器，该指令将服务器配置为通过诸如互联网的网络来接收和传输数据。或者，客户端和服务器可通过本地内联网或虚拟专用网络连接。服务器或控制器可由游戏控制台(诸如Sony )、个人计算机等实例化。

可通过网络在客户端与服务器之间交换信息。为此并且为了安全起见，服务器和/或客户端可包括防火墙、负载平衡器、临时存储设备和代理，以及用于可靠性和安全性的其他网络基础设施。

如本文使用，指令是指用于处理***中的信息的计算机实现的步骤。指令可在软件、固件或硬件中实施，并且包括由***的部件执行的任何类型的编程步骤。

处理器可以是通用单芯片或多芯片处理器，该单芯片或多芯片处理器可借助于各种线(诸如地址线、数据线和控制线)以及寄存器和移位寄存器来执行逻辑。

通过本文的流程图和用户界面描述的软件模块可包括各种子例程、程序等。在不限制本公开的情况下，被陈述为由特定模块执行的逻辑可被再分配到其他软件模块和/或一起组合在单个模块中和/或使得在可共享库中可用。虽然可使用流程图格式，但是应理解，软件可被实现为状态机或其他逻辑方法。

本文描述的本原理可被实现为硬件、软件、固件或它们的组合；因此，说明性部件、框、模块、电路和步骤是依据它们的功能性进行阐述的。

除上文已经提到的内容之外，下文描述的逻辑块、模块和电路可用被设计来执行本文描述的功能的通用处理器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)或其他可编程逻辑装置(诸如专用集成电路(ASIC)、离散门或晶体管逻辑、离散硬件部件或它们的任何组合)来实施或执行。处理器可由控制器或状态机或计算装置的组合来实现。

当在软件中实现时，下文描述的功能和方法可用诸如但不限于C#或C++的适当语言来编写，并且可存储在计算机可读存储介质上或通过计算机可读存储介质进行传输，该计算机可读存储介质诸如随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、光盘只读存储器(CD-ROM)或其他光盘存储设备(诸如数字多功能盘(DVD))、磁盘存储设备或包括可移除拇指驱动器的其他磁存储装置等。连接可建立计算机可读介质。此类连接可包括例如硬连线电缆，包括光纤和同轴线以及数字用户线(DSL)和双绞线。

一个实施方案中包括的部件可以任何适当的组合用于其他实施方案中。例如，本文中描述且/或在附图中描绘的各种部件中的任一者可被组合、互换或从其他实施方案排除。

“具有A、B和C中的至少一者的***”(同样地，“具有A、B或C中的至少一者的***”和“具有A、B、C中的至少一者的***”)包括以下***：仅具有A；仅具有B；仅具有C；同时具有A和B；同时具有A和C；同时具有B和C；和/或同时具有A、B和C等。

现在具体地参考图1，示出了示例***10，该***可包括根据本原理的上文所提及且下文进一步描述的示例装置中的一者或多者。需注意，本文的附图中描述的计算机化装置可包括针对图1中的各种装置阐述的部件中的一些或全部。

***10中包括的示例装置中的第一装置是被配置作为示例主显示装置的消费性电子(CE)装置，并且在所示的实施方案中，是音频视频显示装置(AVDD)12，诸如但不限于带有TV调谐器(等效地，控制TV的机顶盒)的支持互联网的TV。AVDD 12可以是基于的***。替代地，AVDD 12还可以是计算机化的支持互联网(“智能”)的电话、平板计算机、笔记本计算机、可穿戴的计算机化装置(诸如计算机化的支持互联网的手表、计算机化的支持互联网的手环)、其他计算机化的支持互联网的装置、计算机化的支持互联网的音乐播放器、计算机化的支持互联网的头戴式耳机、计算机化的支持互联网的可植入装置(诸如可植入皮肤装置)等。无论如何，应理解，AVDD 12和/或本文描述的其他计算机被配置为采用本原理(例如，与其他CE装置通信以采用本原理，执行本文描述的逻辑，以及执行本文描述的任何其他功能和/或操作)。

因此，为了采用此类原理，AVDD 12可由图1所示的部件中的一些或全部建立。例如，AVDD 12可包括一个或多个显示器14，该一个或多个显示器可由高清晰度或超高清晰度“4K”或更高的平面屏幕实现，并且可支持或可不支持触摸以经由显示器上的触摸来接收用户输入信号。AVDD 12还可包括：一个或多个扬声器16，该一个或多个扬声器用于根据本原理输出音频；以及至少一个附加的输入装置18，诸如音频接收器/麦克风，该至少一个附加的输入装置用于例如向AVDD 12输入可听命令以控制AVDD 12。示例AVDD 12还可包括一个或多个网络接口20，该一个或多个网络接口用于在一个或多个处理器24的控制下通过至少一个网络22(诸如互联网、其他广域网(WAN)、局域网(LAN)、个人区域网(PAN)等)进行通信。因此，接口20可以是但不限于Wi-Fi收发器，该Wi-Fi收发器是无线计算机网络接口的示例，诸如但不限于网状网络收发器。接口20可以是但不限于蓝牙收发器、Zigbee收发器、IrDA收发器、无线USB收发器、有线USB、有线LAN、Powerline或MoCA。应理解，处理器24控制AVDD 12来采用本原理，包括本文描述的AVDD 12的其他元件，诸如控制显示器14以在显示器上呈现图像以及从显示器接收输入。此外，应注意，网络接口20可以是例如有线或无线调制解调器或路由器或其他适当的接口，诸如无线电话收发器或如上所提及的Wi-Fi收发器等。

除前述内容之外，AVDD 12还可包括一个或多个输入端口26，诸如用于物理地连接(例如，使用有线连接)至另一个CE装置的高清晰度多媒体接口(HDMI)端口或USB端口和/或用于将头戴式耳机连接至AVDD 12以用于通过头戴式耳机将来自AVDD 12的音频呈现给用户的头戴式耳机端口。例如，输入端口26可经由有线或以无线方式连接至音频视频内容的有线或卫星源26a。因此，源26a可以是例如单独的或集成的机顶盒或***。或者，源26a可以是游戏控制台或磁盘播放器。

AVDD 12还可包括不是瞬态信号的一个或多个计算机存储器28，诸如基于磁盘的存储设备或固态存储设备，在一些情况下，该一个或多个计算机存储器在AVDD的机壳中体现为独立装置，或者在AVDD的机壳内部或外部体现为用于回放AV节目的个人视频记录装置(PVR)或视频磁盘播放器，或者体现为可移除存储器介质。此外，在一些实施方案中，AVDD12可包括位置或地点接收器(诸如但不限于手机接收器、GPS接收器和/或高度计30)，该位置或地点接收器被配置为例如从至少一个卫星或手机塔接收地理位置信息并且向处理器24提供该信息和/或结合处理器24来确定AVDD 12被设置的高度。然而，应理解，根据本原理，可使用除手机接收器、GPS接收器和/或高度计之外的另一个合适的位置接收器来例如确定AVDD 12在例如所有三个维度上的位置。

继续对AVDD 12的描述，在一些实施方案中，根据本原理，AVDD 12可包括一个或多个相机32，该一个或多个相机可以是例如热成像相机、数字相机(诸如网络摄像头)和/或集成到AVDD 12中并且可由处理器24控制以收集图片/图像和/或视频的相机。在AVDD 12上还可包括蓝牙收发器34和其他近场通信(NFC)元件36，以用于分别使用蓝牙和/或NFC技术与其他装置进行通信。示例NFC元件可以是射频识别(RFID)元件。

此外，AVDD 12可包括向处理器24提供输入的一个或多个辅助传感器38(例如，运动传感器，诸如加速度计、陀螺仪、计程器或磁传感器、用于从遥控器接收IR命令的红外(IR)传感器、光学传感器、速度和/或节奏传感器、手势传感器(例如，用于感测手势命令)等)。AVDD 12可包括向处理器24提供输入的无线TV广播端口40，以用于接收OTA TV广播。除前述内容之外，应注意，AVDD 12还可包括红外(IR)发射器和/或IR接收器和/或IR收发器42，诸如IR数据关联(IRDA)装置。可提供电池(未示出)以用于为AVDD 12供电。

此外，在一些实施方案中，AVDD 12可包括图形处理单元(GPU)44和/或现场可编程门阵列(FPGA)46。根据本原理，AVDD 12可将GPU和/或FPGA用于例如人工智能处理，诸如训练神经网络和执行神经网络的操作(例如，推理)。然而，应注意，处理器24也可用于人工智能处理，诸如在处理器24可能是中央处理单元(CPU)的情况下。

仍参考图1，除AVDD 12之外，***10还可包括一种或多种其他计算机装置类型，该计算机装置类型可包括针对AVDD 12示出的部件中的一些或全部。在一个示例中，第一装置48和第二装置50被示出并且可包括与AVDD 12的部件中的一些或全部类似的部件。可使用比所示更少或更多的装置。

***10还可包括一个或多个服务器52。服务器52可包括至少一个服务器处理器54、至少一个计算机存储器56(诸如基于磁盘的存储设备或固态存储设备)以及至少一个网络接口58，该网络接口在服务器处理器54的控制下允许通过网络22与图1的其他装置通信，并且根据本原理，实际上可促进服务器、控制器和客户端装置之间的通信。应注意，网络接口58可以是例如有线或无线调制解调器或路由器、Wi-Fi收发器或其他适当的接口，诸如无线电话收发器。

因此，在一些实施方案中，服务器52可以是互联网服务器并且可包括并执行“云”功能，使得在示例实施方案中，***10的装置可经由服务器52访问“云”环境。或者，服务器52可由与图1中示出的其他装置在同一房间或在附近的游戏控制台或其他计算机来实现。

下文描述的装置可结合上文描述的元件中的一些或全部。

“地理上遥远”是指超出彼此视觉和听觉范围的位置，典型地彼此相隔一英里或更远。

图2示出了与本原理一致的呈示例流程图格式的示例逻辑。本质上，投影仪用于运动捕捉(mocap)和跟踪在多个地理上遥远的舞台上的多个演员的视点(POV)的mocap，从而进行位置跟踪以实现保真度。

从框200处开始，使用例如投影仪反射来自演员携带的反射标签或其他标记的光来捕捉多个演员中的每一者在他们相应的舞台或其他位置的移动。在框202处，使用例如附加到每个演员的mocap的帧的时间戳以在真实世界时间或视频场景时间使帧彼此时间上对齐来将每个演员的mocap数据的视频图像合并到单个场景中。在框204中，将多个演员的mocap组合到单个场景中，并且由于这在拍摄演员时实时或近实时发生，因此在框206处，导演可通过给予演员舞台指导来指导演员，如下文更详细地讨论的。

事实上，图3示出了示例舞台显示器302的屏幕截图300，该舞台显示器可在演员为mocap进行表演时考虑到演员而安装在摄影棚或其他拍摄位置。可在显示器上呈现文本舞台指导304以提示演员做出特定动作，例如向上并向左看向视频中的龙骑兵的虚拟位置。可由一个或多个扬声器306发出音频提示(诸如嘟嘟声或语音指导)以达到相同效果，例如，从位于显示器的左上角的扬声器发出嘟嘟声。以这种方式，mocap演员可看向安设在运动捕捉舞台上的监视器，以便他们看到他们自己和他们对其做出反应的动画(例如，以在动画中不碰到人或墙壁)。

图4示出了示例分布式表演环境400，为了说明，示出了其中一个或多个相应的演员404正在为了mocap目的而表演的两个远程工作室或电影布景402。一个或多个显示器406和/或扬声器408可如图所示安装在工作室402中，并且可由例如图3所示的显示器302实例化。演员404的视频供稿可经由例如广域网(WAN)的有线和/或无线路径在网络练习(WebEx)式供稿中发送到远离工作室或布景402的导演位置410，诸如导演或质量控制(QC)技术人员等的人412可在该导演位置操作导演计算机414，该导演计算机呈现来自每个布景或工作室402的视频。

因此，图4示出了可使用多个舞台/工作室来捕捉演员mocap视频，这些mocap视频被流式传输到一个虚拟现实(VR)世界，以便在导演计算机414处将每个流合并到单个视频中。这有助于基于地理上远离彼此的演员来创建多人的大场景，并且特别地可用于聚合在相应的多个舞台上的多个演员的身体运动捕捉。

组合mocap视频的操作员/领导者(QC操作员)可位于远离舞台402的位置410，例如使用虚拟专用网络(VPN)联网。可使用远程访问软件来将mocap视频移动到QC计算机414中，该QC计算机可反馈舞台指导和其他信息，诸如远程相机是否被碰撞、是否需要另一次拍摄等。

图5示出了被布置成例如网格的逆反射器500的墙壁，其可由一个或多个投影仪502照明，该一个或多个投影仪借助一个或多个吊杆504安装到mocap演员的头戴式显示器(HMD)506以照明逆反射器，该逆反射器可应用于电影布景402的墙壁。这为穿戴HMD 506的mocap演员提供了真实世界中的参考点，因为他通过HMD显示器508查看来自逆反射器500的投影仪的反射。可在HMD上提供一个或多个扬声器510，并且可通过一个或多个处理器512访问一个或多个收发器514来实现HMD的输出，包括投影仪502的控制。

逆反射材料500的“墙壁”和HMD 506上的投影仪502为不同的演员提供了相对于墙壁的不同的参考系。只有穿戴HMD 506的人才能从其视角看到投影反射。以此方式，使用逆反射材料500的墙壁，虚拟布景演员可看到必要的参考而不妨碍彼此，从而看到对齐的参考反射。

应当理解，HMD 506可包括一个或多个内部相机516以跟踪穿戴者的头部和眼睛来更好地解析演员在虚拟环境中将看到的内容，从而将该场景提供给投影仪502以将适当的图像投影到逆反射器500上。

图6示出了逆反射器500的另外的特征，其中HMD投影仪(诸如图5中的投影仪502)已经投影了来自现有虚拟场景的各种图像，演员mocap将被组合到该现有虚拟场景中。演员的图像602连同各种图像的可见或可听标识604可被投影到逆反射器500上以供观看演员的图像。在图6的示例中，将龙的图像606连同使用来自其他演员的mocap视频的另一个基于角色的演员的图像608投影在龙被模拟到的虚拟世界中的位置处。

图7示出了与参考投影被呈现在HMD 506的显示器上的实施方案一致的呈示例流程图格式的附加示例逻辑。从框700开始，对于具有内部可见回射器的HMD，可基于来自HMD的内部相机的图像来在框702处跟踪头部和眼睛姿势。进行到框704，可基于在框702处的头部/眼睛跟踪来变更源自虚拟场景的现有视频的在HMD 506上的投影图像的比例和尺寸。以此方式，演员可向上看向被模拟得比演员高的角色的头部的图像，或者向下看向被模拟呈比演员矮的角色的图像。

或者，图8示出了舞台布景800，其中地板802具有逆反射标记804，演员806可在该地板上行走，其中在HMD上或在舞台布景800中的其他地方的投影仪将图像投影到标记804上以辅助演员806在mocap期间在电影布景中导航虚拟对象。应了解，上文讨论的技术提供了mocap演员可针对其进行表演的预录动画或视频。

图9示出了附加的示例逻辑，在框900处，使用具有插件计算机程序的计算机游戏引擎来将游戏数据流式传输到插件，该插件继而将游戏数据(包括音频和视频)自动地发送到本文的投影仪中的任一者以呈现参考图像来帮助mocap演员进行其表演。

图10示出了示例HMD 506的屏幕截图。与图5和图6所示的逆反射器500的外墙壁类似，HMD 506中的内部投影仪可将演员的图像1000连同各种图像的可见或可听标识1002投影到HMD的显示器上以供观看演员的图像。在图10的示例中，将龙的图像1004连同使用来自其他演员的mocap视频的另一个基于角色的演员的图像1006投影在龙被模拟到的虚拟世界中的位置处。HMD的显示器可以是反射表面，诸如用于投影的HMD上的遮光板，其中头部跟踪用于使各种图像的尺寸和比例正确。

无论是投影到墙壁、地板还是HMD部件上，角色(诸如上述龙)都可成为参考视频的一部分，并且在不同的地理上遥远的舞台上，演员可将该角色视为在VR空间中的相同位置。而且，通过将一个演员的mocap供稿发送到另一个远程演员的显示器，两个演员都可接收到在具有相同的龙和真人演员的另一个舞台上其他演员的存在。因此，每个演员都被捕捉在视频上，视频被发送到虚幻的虚拟表示，该虚幻的虚拟表示将虚拟角色(诸如龙)与真实演员的mocap视频合并到单个场景中。以此方式，每个舞台上的人都可看到相同的组合场景并进行适当的调整。不管演员应该是对什么(另一个演员或预录角色)做出反应，屏幕或笼式***都向演员给出看哪里的指示。

因此，正在解决的问题是为演员提供舞台上的物理参考。正在播放的音频也可以是对演员的提示

在以上示例中，可通过基于mocap演员的头部移动变换图像来稳定参考图像。而且，就在VR世界中的角色出现之前，可在角色出现的时间之前发出可听警报，诸如“嘟嘟声”。网络同步协议可理想地实现在本文的分布式计算机之间以确保各种视频按帧和相同场景对齐。

应了解，虽然已经参考一些示例性实施方案描述了本原理，但这些实施方案并不意图进行限制性，并且可使用各种替代布置来实现本文所要求保护的主题。

Claims (20)

1.一种方法，所述方法包括：

至少部分地通过以下方式在拍摄第一位置处的至少第一演员以进行运动捕捉(mocap)时为所述第一演员提供参考系：

在由所述第一演员穿戴的头戴式显示器(HMD)上呈现至少一个参考图像；和/或

在所述第一位置的墙壁上提供逆反射器来将光朝向所述第一演员反射；和/或

在所述第一位置的地板上提供可见标记。

2.如权利要求1所述的方法，所述方法包括在由所述第一演员穿戴的头戴式显示器(HMD)上呈现至少一个参考图像。

3.如权利要求1所述的方法，所述方法包括在所述第一位置的墙壁上提供逆反射器来将光朝向所述第一演员反射。

4.如权利要求3所述的方法，所述方法包括提供耦合到由所述演员穿戴的HMD的光发射器，从所述逆反射器反射的所述光是来自所述光发射器。

5.如权利要求3所述的方法，所述方法包括在所述第一位置的地板上提供可见标记。

6.如权利要求1所述的方法，所述方法包括：

在拍摄第二位置处的至少第二演员以进行mocap时为所述第二演员提供参考系，所述第一位置地理上远离所述第二位置；以及

在网络练习(WebEx)中将来自所述第一演员和所述第二演员的mocap呈现在与所述第一位置和所述第二位置通信的至少一个导演显示器上。

7.如权利要求1所述的方法，所述方法包括至少部分地使用在所述第一位置处播放的音频来向所述第一演员提供参考系。

8.如权利要求4所述的方法，所述方法包括在所述HMD上提供多个光发射器。

9.如权利要求6所述的方法，所述方法包括及时地同步所述第一演员和所述第二演员的mocap视频。

10.一种装置，所述装置包括：

至少一个计算机存储设备，所述至少一个计算机存储设备不是瞬态信号并包括指令，所述指令能够由至少一个处理器执行以：

从第一位置处的第一相机接收第一演员的运动捕捉(mocap)视频；

从第二位置处的第二相机接收第二演员的mocap视频；

将所述mocap视频彼此同步；

在地理上远离所述第一位置和所述第二位置的第三位置处的至少一个显示器上将所述mocap视频合并到单个场景中。

11.如权利要求10所述的装置，其中所述指令可执行以：

致动所述第一位置处的至少一个光发射器以将参考光投影到逆反射器的墙壁上以将参考光朝向所述第一演员反射。

12.如权利要求10所述的装置，其中所述指令可执行以：

致动所述第一位置的地板上的至少一个标记以将参考光朝向所述第一演员反射。

13.如权利要求10所述的装置，其中所述指令可执行以：

向由所述第一演员穿戴的头戴式显示器(HMD)发送至少一个舞台指令。

14.如权利要求10所述的装置，所述装置包括所述至少一个处理器。

15.一种设备，所述设备包括：

至少一个头戴式显示器(HMD)组件，所述至少一个HMD组件包括：

至少一个处理器，所述至少一个处理器被配置有指令；

至少一个显示器；

至少一个扬声器；以及

至少一个投影仪，所述至少一个投影仪被配置为将运动捕捉(mocap)参考光投影到所述HMD组件的穿戴者可见的至少一个表面上以在mocap期间为所述穿戴者提供空间参考。

16.如权利要求15所述的设备，其中所述投影仪安装在所述HMD组件的吊杆上。

17.如权利要求15所述的设备，其中所述表面包括所述HMD组件的所述显示器。

18.如权利要求15所述的设备，其中所述表面包括逆反射器的墙壁。

19.如权利要求15所述的设备，所述设备包括在所述HMD组件上的至少一个无线收发器，所述至少一个无线收发器用于从地理上遥远的导演计算机接收命令。

20.如权利要求19所述的设备，其中所述指令可执行以：

响应于所述命令而在所述显示器上呈现所述命令和/或在所述扬声器上播放音频。