CN110383341A - 用于视觉效果的方法、***和装置 - Google Patents

Abstract

一种用于产生视觉效果的方法、装置或***，包括：处理来自提供对象的视频的第一相机的第一视频信号、来自跟踪对象的移动的跟踪信息、以及包括表示对象上的反射和对象的照明环境中的至少一个的信息的第二视频信号，以产生表示以下视频的经渲染的信号，在该视频中，被跟踪的对象被实时地替换为具有被跟踪的对象的反射和照明环境中的一个或多个的虚拟对象。

Description

用于视觉效果的方法、***和装置

技术领域

本公开涉及用于针对诸如线性、交互式体验、增强现实、或混合现实之类的应用创建视觉效果的方法、***和装置。

背景技术

本文描述的任意背景信息旨在向读者介绍可能与下面描述的本发明实施例相关的本领域的各个方面。相信该讨论有助于向读者提供背景信息以促进更好地理解本公开的各个方面。因此，应当理解，应该从这个角度来阅读这些陈述。

针对诸如电影、交互式体验、增强现实(AR)、和/或混合现实应用之类的应用创建视觉效果可以涉及用替代内容来替换在现实世界情况下捕获的图像或视频内容的部分。例如，相机可以被用来捕获汽车的特定模型的视频。然而，视频的特定用途可能需要用不同的模型来替换实际模型汽车，同时保留原始环境的细节(例如，周围或背景风景和细节)。现代图像和视频处理技术允许进行这类修改，使得具有被替换的部分(例如，不同的模型汽车)的所得图像或视频可以至少在某种程度上看起来是真实的。然而，在已经完成图像或视频捕获之后，创建足够程度的真实性通常需要显著的后处理工作(即，工作室或视觉效果设施中的后处理工作)。这类工作可以包括由诸如图形艺术家或设计者之类的创造性人员利用大量相关时间和成本投资而进行的密集和广泛的手动工作。

除了后处理所需的成本和时间之外，通过后处理添加真实性在初始图像或视频捕获期间提出了许多挑战。例如，因为在稍后添加效果以创建最终图像或视频，相机操作员或导演在捕获图像或视频的相机后面无法看到最终结果。也就是说，摄影师或导演无法看到他们实际拍摄的最终结果。这对诸如构图和主体取景(subject framing)之类的问题提出了挑战。对于主体如何适应最终场景，可能缺乏理解、或是不准确的理解。猜测工作需要处理诸如周围照明条件对最终结果的效果或影响(例如，主体是否被正确地照亮？)之类的问题。因此，需要能够利用增强处理在相机内对编辑实际视频的结果进行可视化。

发明内容

通常，实施例包括在拍摄期间实时地提供照片写实效果(photorealisticeffect)的可视化的方法或***或装置。

根据本原理的一个方面，实施例包括产生视觉效果，包括使用图像传感器实时地合并表示来自一个或多个源的反射和/或照明的信息。

根据本原理的另一方面，实施例包括产生用于电影、交互式体验、增强现实、或混合现实的视觉效果，包括使用图像传感器实时地捕获并且合并来自一个或多个源的反射和/或照明。

根据本原理的另一方面，实施例包括产生用于电影、交互式体验、增强或混合现实的视觉效果，包括使用光传感器和图像传感器中的至少一个来实时地捕获并且合并来自一个或多个源的照明和/或反射。

根据本原理的另一方面，实施例包括产生用于电影、交互式体验、增强现实的视觉效果，包括使用一个或多个传感器来实时地捕获并且合并来自一个或多个源的照明和/或反射，该一个或多个传感器在位置上与提供要增强的视频馈送或图像信息以产生增强现实内容的相机不同。

根据本原理的另一方面，实施例包括产生诸如混合现实之类的视觉效果，包括使用一个或多个传感器来实时地捕获并且合并来自一个或多个源的照明和/或反射，该一个或多个传感器在位置上与向由用户穿戴的可穿戴设备提供视频馈送的相机不同，该用户的视觉在混合现实中被增强。

根据本原理的另一方面，实施例包括一种方法，包括：从提供对象的视频的第一相机接收第一视频馈送；跟踪对象以产生指示对象的移动的跟踪信息，其中，包括多个相机的相机阵列被安装在对象上；接收包括视频信息的第二视频信号，该视频信息与来自相机阵列中包括的多个相机中的相应相机的多个输出信号的拼接相对应，其中，第二视频信号捕获对象上的反射和对象的照明环境中的至少一个；以及处理第一视频馈送、跟踪信息、和第二视频信号以生成表示以下视频的经渲染的信号，在该视频中，被跟踪的对象已经被实时地替换为具有被跟踪的对象的反射和/或照明环境的虚拟对象。

根据本原理的另一方面，一种装置的实施例，包括一个或多个处理器，该一个或多个处理器被配置为：从提供对象的视频的第一相机接收第一视频信号；跟踪对象以产生指示对象的移动的跟踪信息，其中，包括多个相机的相机阵列被安装在对象上；接收包括视频信息的第二视频信号，该视频信息与来自相机阵列中包括的多个相机中的相应相机的多个输出信号的拼接相对应，其中，第二视频信号捕获被跟踪的对象上的反射和被跟踪的对象的照明环境中的至少一个；以及处理第一视频信号、跟踪信息、和第二视频信号以生成表示以下视频的经渲染的信号，在该视频中，被跟踪的对象已经被实时地替换为具有被跟踪的对象的反射和照明环境中的至少一个的虚拟对象。

根据本发明原理的另一方面，一种***的实施例，包括：第一相机，该第一相机产生提供对象的视频的第一视频信号；相机阵列，该相机阵列包括安装在对象上的多个相机并且具有第一处理器，该第一处理器处理来自相机阵列中包括的多个相机中的相应相机的多个输出信号，以产生表示多个输出信号的拼接的第二视频信号，其中，第二视频信号包括表示对象上的反射和对象的照明环境中的至少一个的信息；第二相机，该第二相机跟踪对象并且产生指示对象的移动的跟踪信息；以及第二处理器，该第二处理器处理第一视频信号、跟踪信息、和第二视频信号以实时地生成表示以下视频的经渲染的信号，在该视频中，被跟踪的对象已经被实时地替换为具有对象的反射和照明环境中的至少一个的虚拟对象。

根据另一方面，如本文所述的任意实施例可以包括，被跟踪的对象具有一个或多个光源，该一个或多个光源从被跟踪的对象发射光，该光与从虚拟对象发射的光的颜色、方向性、和强度相匹配。

根据另一方面，如本文所述的任意实施例可以包括传感器并且该传感器计算在位置上与传感器或观看者(例如，相机或用户)不同的一个或多个虚拟对象的照明和/或反射图。

根据另一方面，如本文所述的任意实施例可以包括使用有线和/或无线连接来传输来自一个或多个传感器的照明和/或反射信息。

根据另一方面，如本文所述的任意实施例可以包括使用经采样的现实世界光源来实时地修改虚拟对象的照明，而不是相反。

根据本原理的另一方面，实施例包括：通过用安装在对象上的单个相机或多个相机阵列来跟踪对象以产生跟踪信息，来实时地照片写实地增强来自第一相机(例如，hero相机)的视频馈送；使用单个相机或阵列来捕获对象上的反射和被跟踪的对象的照明环境中的至少一个；实时地拼接相机阵列中包括的多个相机的输出以产生表示对象的反射和/或照明环境的经拼接的视频信号；通过无线和/或有线连接来将经拼接的输出信号传输到处理器，其中，处理器处理视频馈送、跟踪信息、和经拼接的视频信号以生成表示以下视频的经渲染的信号，在该视频中，被跟踪的对象已经被实时地替换为具有与被跟踪的对象的反射和/或照明环境相匹配的反射和/或照明环境的虚拟对象。

根据本原理的另一方面，本文描述的任意实施例可以包括响应于跟踪信息而生成表示虚拟对象的放置的位置矩阵，并且响应于位置矩阵而生成包括虚拟对象的经渲染的信号。

根据本原理的另一方面，根据本文描述的任意实施例的跟踪对象可以包括使用固定到被跟踪的对象的一个或多个基准点或单独且唯一的镜头校准图表来校准第一相机的镜头。

根据本原理的另一方面，如本文所述的任意实施例可以包括处理经拼接的输出信号以执行经渲染的信号中的基于图像的照明。

根据本原理的另一方面，实施例包括一种非暂态计算机可读介质，存储有可执行程序指令，使得计算机执行指令以执行根据本文所述的方法的任意实施例的方法。

附图说明

通过结合附图考虑以下详细描述，可以容易地理解本原理，其中：

图1以框图形式示出了根据本原理的用于产生视觉效果的***或装置；

图2以框图形式示出了根据本原理的用于产生视觉效果的***或装置；

图3示出了根据本原理的示例性方法；以及

图4至图13示出了根据本原理的各种示例性实施例的各方面。

应当理解，附图是出于示出本原理的示例性方面的目的，并且不一定是用于示出本原理的唯一可能配置。为了便于理解，在各个附图中，相似的参考标号表示相同或相似的特征。

具体实施方式

下面将参考附图描述本公开的实施例。在以下描述中，没有详细描述公知的功能或构造，以避免在不必要的细节上模糊本公开。

本说明书示出了本发明的原理。因此，应当理解，本领域技术人员将能够设计各种布置，这些布置虽然未在本文中明确描述或示出，但是体现了本公开的原理并且包括在其精神和范围内。

本文引用的所有示例和条件语言旨在用于指导目的以帮助读者理解本公开的原理，并且应当被解释为不限于这些具体记载的示例和条件。

此外，本文中记载本公开的原理、方面和实施例以及其具体示例的所有陈述旨在包括其结构和功能等同物。此外，这些等同物旨在包括当前已知的等同物以及将来开发的等同物(即，开发的执行相同功能的任意元件，而不管结构如何)。

通常，根据本原理的实施例包括在拍摄期间实时地提供照片写实效果的可视化的方法或***或装置。本文使用的视觉效果、照片写实效果、虚拟对象、和类似术语旨在广泛地涵盖各种技术，例如，计算机生成的图像或影像(CGI)、艺术家的渲染、模型或对象的能够被捕获或被生成并且被***或被包括在正在拍摄或产生的场景中的图像。拍摄视觉效果为导演和摄影导演提供了可视化挑战。在拍摄时，导演和摄影导演需要知道虚拟元素将如何被取景，它们是否被正确地照亮，在反射中可以看到什么。本原理的一个方面涉及解决所描述的问题。

图1中示出了根据本原理的***和装置的示例性实施例。在图1中，从相机(例如，捕获作为特定拍摄的主体的对象的活动或移动的视频的所谓“hero”相机)接收视频信号视频输入(VIDEO IN)。信号视频输入包括能够跟踪对象(以下称为“被跟踪的对象”)的信息。跟踪可以以各种方式完成。例如，被跟踪的对象可以包括便于跟踪的各种标记或图案。下面关于图5进一步解释跟踪的示例性实施例。

同样在图1中，接收信号反射/照明信息(REFLECTION/LIGHTING INFORMATION)。该信号可以由布置在被跟踪的对象附近或之上的一个或多个传感器或相机(即，传感器或相机阵列)产生，如下面更详细地解释的。信号反射/照明信息提供对被跟踪的对象上的反射和/或被跟踪的对象的照明环境的实时地表示。处理器120接收来自***(TRACKER)110的跟踪信息、信号视频输入、和信号反射/照明信息，并且处理这些输入以执行实时渲染并且产生经渲染的输出信号。由处理器120执行的实时渲染操作包括用虚拟对象来实时地替换信号视频输入的视频中的被跟踪的对象，使得输出或经渲染的视频(RENDERED VIDEO)信号实时地表示以与被跟踪的对象相同或基本上相同的方式移动的虚拟对象，并且在视觉上看起来具有被跟踪的对象的周围事物、反射、和照明环境。因此，图1中的信号经渲染的视频提供了适用于线性电影和增强和/或混合现实上的视觉效果的信号。

更详细地，图2示出了图1的特征，并且示出了相机230(例如，hero相机)、被跟踪的对象250、以及一个或多个传感器或相机241至244的阵列240。对象250可以是移动的，并且相机230捕获能够跟踪对象250的信息，如下所述。相机或传感器242至244以虚线示出，表示它们是可选的。同样，虽然阵列240的示例性实施例被示出为包括一个到四个相机或传感器，但是阵列240可以包括多于四个的相机或传感器。通常，增加数量的相机或传感器可以提高反射和照明信息的准确度。但是，附加相机或传感器也会增加必须实时地处理的数据量。

图6示出了图1和图2的示例性***的各方面的示例性实施例。在图6中，例如图2的阵列240中的一个或多个相机被示出为布置在框架或容器310中，该框架或容器310旨在安装至或靠近被跟踪的对象。可以使用各种类型的相机或传感器，其中例如来自RED DigitalCinema的专业品质相机是示例。镜头330向相机阵列240提供图像输入。镜头330可以是“鱼眼”型镜头，其能够通过阵列240对周围环境进行360度全景捕获，以确保完全和准确地捕获被跟踪的对象的反射和照明环境信息。来自阵列240的图像或视频信息经由连接(例如，图6中示出的示例性实施例中的有线连接350)被传输到处理器(例如，图1或图2中的处理器120)。其他实施例可以使用无线技术(例如，基于本领域技术人员公知的WiFi标准的无线技术)与图6中示出的有线连接350一起或替代图6中示出的有线连接350来实现连接350。

现在转向图3，示出了根据本原理的示例性方法。在图3中，示例性方法产生输出信号经渲染的输出(RENDERED OUTPUT)，其提供在步骤310处由视频捕获(例如，由hero相机)产生的视频馈送的版本。在步骤310处由视频捕获产生的视频馈送表示由相机跟踪的对象(即，被跟踪的对象)。被跟踪的对象包括相机或传感器阵列(例如，上述阵列240)，其提供在步骤330处捕获被跟踪的对象的反射和/或照明环境。信号经渲染的输出表示在步骤310处产生的视频馈送的版本被实时地增强，以将被跟踪的对象替换为在被跟踪的对象的环境中照片写实地出现的虚拟对象。在步骤310处从第一相机(例如，hero相机)产生的视频馈送在步骤320处被处理以生成跟踪信息。在步骤320处跟踪对象并且生成跟踪信息可以包括使用固定到被跟踪的对象的基准点(fiducial)来校准产生视频馈送的相机(例如，hero相机)的镜头。

下面更详细地描述所涉及的处理的示例性实施例。如上所述，在步骤330处产生的照明环境和反射信息可以包括由相应多个相机或传感器(例如，通过安装在对象上的多个相机的阵列)产生的多个信号。每个相机信号可以表示被跟踪的对象上的照明环境或反射的一部分。在步骤340处，多个信号的内容被实时地组合或拼接在一起，以产生表示被跟踪的对象的反射和/或照明环境的总体的信号。在步骤350处，处理器执行实时渲染以产生增强视频输出信号经渲染的输出。步骤350处的处理包括处理在步骤310处产生的视频馈送、在步骤320处产生的跟踪信息、和在步骤340处产生的经拼接的反射/照明信号，以将视频馈送中的被跟踪的对象替换为具有与被跟踪的对象的反射和/或照明环境相匹配的反射和/或照明环境的虚拟对象。根据本原理的一个方面，在步骤350处发生的渲染处理的实施例可以包括响应于跟踪信息而产生表示虚拟对象的放置的位置矩阵，并且响应于位置矩阵而生成包括虚拟对象的信号经渲染的输出。根据另一方面，步骤350处的处理可以包括处理经拼接的输出信号以执行经渲染的信号中的基于图像的照明。根据另一方面，步骤340处的拼接处理可以在被跟踪的对象中的处理器中发生，使得步骤340在位置上与在步骤310处生成视频馈送的相机以及在步骤320和350处发生的处理不同(即，处于不同的位置)。如果这样，则步骤340还可以包括将由步骤340产生的经拼接的信号传输到在步骤350处执行实时渲染的处理器。这类通信可以通过有线和/或无线方式进行。

图4示出了根据本原理的***或装置的另一示例性实施例。在图4中，框430示出了被跟踪的对象的实施例，该被跟踪的对象包括：多个相机CAM1、CAM2、CAM3和CAM4，生成表示被跟踪的对象的反射和/或照明环境的上述多个信号；拼接计算机，用于将由多个相机产生的多个信号拼接在一起以产生经拼接的信号；以及无线发送器，能够实时地无线地将高清晰度(HD)经拼接的信号发送到单元420。多个相机CAM1、CAM2、CAM3和CAM4可以对应于上述相机阵列240，并且可以被配置和安装在例如图6所示的组件中，该组件可以被安装到被跟踪的对象上。同样在图4中，单元420包括：hero相机，产生视频馈送；无线接收器，接收从单元430产生并且无线地发送的经拼接的信号；以及处理器，实时地执行操作，包括如上所述的跟踪以及将虚拟对象合成到视频馈送以产生经渲染的增强信号。单元420还可以包括视频监视器，用于显示经渲染的输出信号，例如，使得操作hero相机的人能够看到增强信号并且评估取景、照明等是否符合要求。单元420还可以包括无线高清晰度发送器，用于将增强信号无线地传输到单元410，在该单元410中无线接收器接收增强信号并且将其提供给另一监视器以供例如客户或导演观看增强信号从而实现实时评估合并到增强信号中的视觉效果。适用于提供图1或图2中的处理器120、图3中的步骤350处的实时渲染、以及图4的单元420中包括的处理器的功能的处理器的示例性实施例可以是提供例如由视频游戏引擎提供的功能的处理器。下面进一步描述如上关于图1和图2中的***功能110而描述的适用于生成跟踪信息和图3的步骤320处的生成跟踪信息的跟踪功能的示例性实施例。

图5示出了可以安装在被跟踪的对象的各个位置以实现跟踪的平面目标的示例性实施例。多个目标中的每个目标具有唯一标识图案和精确二维角。这类目标能够实现跟踪的全自动检测。例如，视频馈送中的目标的图像可以与(和视频馈送一起捕获的)时间和坐标数据(例如，GPS数据)相关联。除了跟踪之外，由多个这类目标提供的其他潜在用例包括姿势估计和相机校准。例如图5中所示的目标的示例性实施例是AprilTag提供的目标。也可以使用其他跟踪方法，例如，基于光的跟踪，例如，Valve的灯塔跟踪。

图7示出了由图1和图2的相机或传感器阵列240产生的多个信号以及例如在图3所示的方法的步骤340处将信号拼接在一起以产生经拼接的信号的结果的示例。图7中的图像720、730、740和750对应于由包括四个相机的示例性相机阵列捕获的图像。图像720、730、740和750中的每个图像对应于由相机阵列中包括的四个相机中的相应相机捕获的图像或视频。图像710示出了拼接以产生合并来自所有四个图像720、730、740和750的信息的经拼接的信号的结果。根据本原理的一个方面，拼接实时地发生。

图8示出了根据本原理的示例性实施例。在图8中，高速公路右车道中的车辆对应于被跟踪的对象。左车道中的车辆提供安装在悬臂上的hero相机，该悬臂在左车道中的车辆的前方延伸。虽然从图8中的图像不清楚，但是以例如图6中示出的示例性布置进行配置的相机阵列(例如，阵列240)被安装在右车道中的车辆(即，被跟踪的对象)的顶部中心处。由该相机阵列产生的反射和照明信息信号由被跟踪的对象上的处理器实时地拼接，并且所得到的经拼接的信号被无线地传输到左车道中的车辆。左车道中的车辆中的处理能力处理来自安装在悬臂上的hero相机的信号和从被跟踪的对象接收到的经拼接的信号，以实时地产生经渲染的增强信号，如本文所述。这使得例如乘坐在左车道中的车辆中的导演能够在左车道中的车辆中的监视器上观看增强信号并且实时地看到虚拟对象在被跟踪的对象的现实世界环境中的出现(包括如本文所述产生的照片写实反射和照明环境视觉效果)。

根据本发明原理的另一方面，被跟踪的对象可以包括一个或多个光源，用于从被跟踪的对象发射光。例如，期望的视觉效果可以包括***发光的虚拟对象，例如，在末端具有火的反射金属火炬。如果是这样，则一个或多个灯或光源(例如，灯或光源的阵列)可以包括在被跟踪的对象中。来自这类光源的从被跟踪的对象发射的光是除了由于从被跟踪的对象的照明环境入射到被跟踪的对象上的光而从被跟踪的对象反射的任意光之外的光。包括在被跟踪的对象中的灯或光源可以是任意各种类型的光源，例如，LED、白炽灯、火焰、或火苗等。如果在被跟踪的对象中(例如，在光源阵列中)包括多个灯或光源，则针对应用，可以包括不止一种类型的光源，例如，用于提供光的不同颜色、强度等的混合。灯阵列还可以实现来自被跟踪的对象的照明的运动，例如，阵列中的一系列不同的灯打开或关闭、和/或闪烁(例如用于火焰)。也就是说，灯阵列可以被选择和配置以从被跟踪的对象发射光，该光在颜色、方向性、强度、移动、和变化上与从虚拟对象发射的光的这些参数相匹配。使被跟踪的对象发射与从虚拟对象发射的光相匹配的光进一步增加了由上述传感器或相机的阵列240捕获的反射和照明环境信息的准确度，从而增加了包括虚拟对象的增强信号的真实感。作为示例，图9示出了在图10中更详细地示出的被跟踪的对象310的示例性实施例。同样在图9中，在根据本原理处理图像信号之后，虚拟对象920在显示设备上产生的渲染图像中替换被跟踪的对象。图10中示出的示例性被跟踪的对象包括一个或多个目标320和鱼眼镜头330，例如上面关于图5和图6描述的那些。图11和图12中示出了图9和图10中示出的示例性被跟踪的对象和虚拟对象的放大图像。图13描绘了由虚拟对象920发射的光1310。如上所述，根据本原理，可以通过在被跟踪的对象中包括一个或多个光源，在经渲染的图像中产生具有增强写实的这类效果。

应当理解，所示出和描述的各种特征是可互换的，即，在一个实施例中示出的特征可以被合并到另一实施例中。

虽然已经在本文中详细示出和描述了结合本公开的教导的实施例，但是本说明书示出了本原理。因此，应当理解，本领域技术人员可以容易地设计出仍然包含这些教导的许多其他变化的实施例。已经描述了旨在说明而非限制的实施例，应当注意，本领域技术人员根据上述教导可以进行修改和变化。因此，应当理解，可以在所公开的特定实施例中进行改变，这些改变落入本公开的范围内。

本文记载的所有示例和条件语言旨在用于教学目的，以帮助读者理解由(一个或多个)发明人为促进本领域所贡献的本发明原理和概念，并且应当被解释为不限于这些具体记载的示例和条件。

此外，本文中记载原理、本原理的方面和实施例以及其具体示例的所有陈述旨在包括其结构和功能等同物。此外，这些等同物旨在包括当前已知的等同物以及将来开发的等同物(即，开发的执行相同功能的任意元件，而不管结构如何)。

因此，例如，本领域技术人员将理解，本文给出的框图表示体现本原理的说明性电路的概念图。类似地，应当理解，任意流程图、流程图表、状态转换图、伪代码等表示能够基本上在计算机可读介质中表示并且由计算机或处理器(无论是否明确示出这类计算机或处理器)执行的各种过程。

附图中所示的各种元件的功能可以通过使用专用硬件以及能够与合适的软件一起执行软件的硬件来提供。在由处理器提供时，功能可以由单个专用处理器、单个共享处理器或多个单独的处理器提供，其中一些处理器可以是共享的。此外，术语“处理器”或“控制器”的明确使用不应被解释为专指能够执行软件的硬件，并且可以隐含地包括但不限于数字信号处理器(“DSP”)硬件、***接口硬件、存储器(例如，用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)、和非易失性存储器)、以及实现各种功能的其它硬件，这对于本领域技术人员来说是显而易见的。

也可以包括(传统的和/或定制的)其他硬件。类似地，附图中所示的任意开关仅是概念性的。它们的功能可以通过程序逻辑的操作、通过专用逻辑、通过程序控制和专用逻辑的交互、或甚至手动地来执行，特定技术可以由实施者选择，如从上下文中更具体地理解的。

在本文中，短语“耦合”被定义为意指直接连接或通过一个或多个中间组件间接连接。这类中间组件可以包括基于硬件和软件的组件。

在本发明的权利要求中，被表示为用于执行指定功能的装置的任意元件旨在包含执行该功能的任意方式，包括例如a)执行该功能的电路元件的组合、或b)与用于执行软件以执行功能的适当电路相结合的任意形式的软件(因此包括固件、微代码等)。由这类权利要求限定的本原理在于如下事实：由各种所述装置提供的功能是以权利要求所要求的方式被组合并汇集在一起的。因此认为可以提供这些功能的任意装置都等同于本文所示的装置。

说明书中对本原理的“一个实施例”或“实施例”及其其他变型的引用意味着结合实施例描述的特定特征、结构、特性等被包括在本原理的至少一个实施例中。因此，在整个说明书中出现在各个地方的短语“在一个实施例中”或“在实施例中”以及任意其他变型的出现不一定都指代相同的实施例。

应当理解，使用任意以下“/”、“和/或”、以及“……中的至少一个”，例如，在“A/B”、“A和/或B”、和“A和B中的至少一个”的情况下，旨在包括仅选择第一个列出的选项(A)、或仅选择第二个列出的选项(B)、或选择两个选项(A和B)。作为另一示例，在“A、B和/或C”和“A、B和C中的至少一个”的情况下，这类措辞旨在包括仅选择第一个列出的选项(A)、或仅选择第二个列出的选项(B)、或仅选择第三个列出的选项(C)、或仅选择第一个和第二个列出的选项(A和B)、或仅选择第一个和第三个列出的选项(A和C)、或仅选择第二个和第三个列出的选项(B和C)、或选择所有三个选项(A和B和C)。如本领域和相关领域的普通技术人员显而易见的，这可以扩展到列出的尽可能多的项目。

应当理解，本原理的教导可以以各种形式的硬件、软件、固件、专用处理器、或其组合来实现。例如，本原理的各个方面可以被实现为硬件和软件的组合。此外，软件可以被实现为有形地体现在程序存储单元上的应用程序。应用程序可以被上载到包括任意适当的架构的机器并且由其执行。机器可以在具有诸如一个或多个中央处理单元(“CPU”)、随机存取存储器(“RAM”)、和输入/输出(“I/O”)接口之类的硬件的计算机平台上实现。计算机平台还可以包括操作***和微指令代码。本文描述的各种过程和功能可以是微指令代码的一部分或应用程序的一部分、或其任意组合，其可以由CPU执行。此外，各种其他***单元可以连接到计算机平台，例如，附加数据存储单元和打印单元。

还应当理解，因为附图中描绘的一些组成***组件和方法可以用软件实现，所以***组件或过程功能块之间的实际连接可以根据本原理被编程的方式而不同。在给出本文的教导的情况下，相关领域的普通技术人员将能够想到本原理的这些和类似的实现方式或配置。

虽然本文已经参考附图描述了说明性实施例，但是应该理解，本原理不限于那些精确的实施例，并且在不脱离本原理的范围或精神的情况下，相关领域普通技术人员可以在其中实现各种改变和修改。所有这些改变和修改旨在包括在所附权利要求中阐述的本原理的范围内。

Claims (40)

1.一种方法，包括：

从提供对象的视频的第一相机接收第一视频信号；

跟踪所述对象以产生指示所述对象的移动的跟踪信息；

接收包括视频信息的第二视频信号，所述视频信息与来自安装在所述对象上的相机阵列中所包括的多个相机中的相应相机的多个输出信号的拼接相对应，其中，所述第二视频信号捕获所述对象上的反射和所述对象的照明环境中的至少一个；以及

处理所述第一视频信号、所述跟踪信息、和所述第二视频信号以生成表示以下视频的经渲染的信号，在该视频中，被跟踪的所述对象已经被实时地替换为具有被跟踪的所述对象的所述反射和所述照明环境中的一个或多个的虚拟对象。

2.根据权利要求1所述的方法，其中，被跟踪的所述对象可以包括一个或多个光源，所述一个或多个光源从被跟踪的所述对象发射光以表示从所述虚拟对象发射的光的颜色、方向性、和强度中的一个或多个。

3.根据权利要求1或2所述的方法，其中，所述处理包括：实时地合并来自传感器的信息，其中，来自所述传感器的信息表示来自一个或多个源的反射和/或照明，用于产生包括所述虚拟对象的视觉效果。

4.根据权利要求3所述的方法，其中，所述处理还包括：将包括所述虚拟对象的视觉效果包括在电影、交互式体验、增强现实制作、或混合现实制作中的一个或多个中。

5.根据权利要求3或4所述的方法，其中，来自所述传感器的信息包括来自光传感器和图像传感器中的至少一个的信息。

6.根据权利要求3至5中任一项所述的方法，其中，来自所述传感器的信息包括来自一个或多个传感器的信息，所述一个或多个传感器在位置上与提供要增强的视频馈送或图像信息以产生增强现实内容的相机不同。

7.根据权利要求6所述的方法，其中，所述要增强的视频馈送或图像信息包括被提供给由用户穿戴的可穿戴设备的视频馈送或图像信息，所述用户的视觉在混合现实中被增强。

8.根据权利要求2至7中任一项所述的方法，还包括：使用来自所述传感器的信息来计算在位置上与所述传感器不同的一个或多个虚拟对象的照明图和反射图中的至少一个。

9.根据前述权利要求中任一项所述的方法，还包括：使用有线连接和无线连接中的至少一个来传输照明信息和反射信息中的至少一个。

10.根据前述权利要求中任一项所述的方法，还包括：使用经采样的现实世界光源来实时地修改虚拟对象的照明。

11.根据前述权利要求中任一项所述的方法，其中，所述处理包括：响应于所述跟踪信息而产生表示所述虚拟对象的放置的位置矩阵，以及响应于所述位置矩阵而生成包括所述虚拟对象的所述经渲染的信号。

12.根据前述权利要求中任一项所述的方法，其中，跟踪所述对象包括：使用固定到被跟踪的所述对象的一个或多个基准点中的至少一个基准点以及单独且唯一的镜头校准图表来校准所述第一相机的镜头。

13.根据前述权利要求中任一项所述的方法，其中，处理包括：处理经拼接的输出信号以执行所述经渲染的信号中的基于图像的照明。

14.一种非暂态计算机可读介质，其存储有可执行程序指令，使得计算机执行所述指令以执行根据权利要求1至13中任一项所述的方法。

15.一种装置，包括一个或多个处理器，所述一个或多个处理器被配置为：

从提供对象的视频的第一相机接收第一视频信号；

跟踪所述对象以产生指示所述对象的移动的跟踪信息，其中，包括多个相机的相机阵列被安装在所述对象上；

接收包括视频信息的第二视频信号，所述视频信息与来自所述相机阵列中所包括的所述多个相机中的相应相机的多个输出信号的拼接相对应，其中，所述第二视频信号捕获被跟踪的所述对象上的反射和被跟踪的所述对象的照明环境中的至少一个；以及

处理所述第一视频信号、所述跟踪信息、和所述第二视频信号以生成表示以下视频的经渲染的信号，在该视频中，被跟踪的所述对象已经被实时地替换为具有被跟踪的所述对象的所述反射和所述照明环境中的至少一个的虚拟对象。

16.根据权利要求15所述的装置，其中，被跟踪的所述对象包括一个或多个光源，所述一个或多个光源从被跟踪的所述对象发射光以表示从所述虚拟对象发射的光的颜色、方向性、和强度中的一个或多个。

17.根据权利要求15或16所述的装置，其中，所述一个或多个处理器还被配置为：生成实时地合并来自传感器的信息的所述经渲染的信号，其中来自所述传感器的信息表示来自一个或多个源的反射和/或照明，用于产生包括所述虚拟对象的视觉效果。

18.根据权利要求17所述的装置，其中，所述视觉效果包括将所述虚拟对象包括在电影、交互式体验、增强现实制作、或混合现实制作中的一个或多个中。

19.根据权利要求17或18所述的装置，其中，来自所述传感器的信息包括来自光传感器和图像传感器中的至少一个的信息。

20.根据权利要求17至19中任一项所述的装置，其中，所述传感器包括一个或多个传感器，所述一个或多个传感器在位置上与提供要增强的视频馈送或图像信息以产生增强现实内容的相机不同。

21.根据权利要求20所述的装置，其中，所述要增强的视频馈送或图像信息包括被提供给由用户穿戴的可穿戴设备的视频馈送或图像信息，所述用户的视觉在混合现实中被增强。

22.根据权利要求16至21中任一项所述的装置，其中，所述一个或多个处理器还被配置为：使用来自所述传感器的信息来计算在位置上与所述传感器不同的一个或多个虚拟对象的照明图和反射图中的至少一个。

23.根据权利要求15至22中任一项所述的装置，还包括：有线连接和无线连接中的至少一个，用于传输照明信息和反射信息中的至少一个。

24.根据权利要求15至23中任一项所述的装置，其中，所述一个或多个处理器还被配置为：使用经采样的现实世界光源来实时地修改虚拟对象的照明。

25.根据权利要求15至24中任一项所述的装置，其中，所述一个或多个处理器还被配置为：响应于所述跟踪信息而产生表示所述虚拟对象的放置的位置矩阵，以及响应于所述位置矩阵而生成包括所述虚拟对象的所述经渲染的信号。

26.根据权利要求15至25中任一项所述的装置，其中，所述一个或多个处理器还被配置为：在跟踪所述对象之前，使用固定到所述被跟踪的对象的一个或多个基准点中的至少一个基准点以及单独且唯一的镜头校准图表来校准所述第一相机的镜头。

27.根据权利要求15至26中任一项所述的装置，其中，所述一个或多个处理器还被配置为：处理经拼接的输出信号以执行所述经渲染的信号中的基于图像的照明。

28.一种***，包括：

第一相机，所述第一相机产生提供对象的视频的第一视频信号；

相机阵列，所述相机阵列包括安装在所述对象上的多个相机并且具有第一处理器，所述第一处理器处理来自所述相机阵列中所包括的多个相机中的相应相机的多个输出信号，以产生表示所述多个输出信号的拼接的第二视频信号，其中，所述第二视频信号包括表示所述对象上的反射和所述对象的照明环境中的至少一个的信息；

第二相机，所述第二相机跟踪所述对象并且产生指示所述对象的移动的跟踪信息；以及

第二处理器，所述第二处理器处理所述第一视频馈送、所述跟踪信息、和所述第二视频信号以实时地生成表示以下视频的经渲染的信号，在该视频中，被跟踪的所述对象已经被替换为具有所述对象的所述反射和所述照明环境中的至少一个的虚拟对象。

29.根据权利要求28所述的***，其中，被跟踪的所述对象可以包括一个或多个光源，所述一个或多个光源从被跟踪的所述对象发射光以表示从所述虚拟对象发射的光的颜色、方向性、和强度中的一个或多个。

30.根据权利要求28或29所述的***，其中，所述一个或多个处理器还被配置为：生成实时地合并来自传感器的信息的所述经渲染的信号，其中，来自所述传感器的信息表示来自一个或多个源的反射和/或照明，用于产生包括所述虚拟对象的视觉效果。

31.根据权利要求30所述的***，其中，所述视觉效果包括将所述虚拟对象包括在电影、交互式体验、增强现实制作、或混合现实制作中的一个或多个中。

32.根据权利要求30或31所述的***，其中，来自所述传感器的信息包括来自光传感器和图像传感器中的至少一个的信息。

33.根据权利要求30至32中任一项所述的***，其中，所述传感器包括一个或多个传感器，所述一个或多个传感器在位置上与提供要增强的视频馈送或图像信息以产生增强现实内容的相机不同。

34.根据权利要求33所述的***，其中，所述要增强的视频馈送或图像信息包括被提供给由用户穿戴的可穿戴设备的视频馈送或图像信息，所述用户的视觉在混合现实中被增强。

35.根据权利要求29至34中任一项所述的***，其中，所述一个或多个处理器还被配置为：使用来自所述传感器的信息来计算在位置上与所述传感器不同的一个或多个虚拟对象的照明图和反射图中的至少一个。

36.根据权利要求28至35中任一项所述的***，还包括：有线连接和无线连接中的至少一个，用于传输照明信息和反射信息中的至少一个。

37.根据权利要求28至36中任一项所述的***，其中，所述一个或多个处理器还被配置为：使用经采样的现实世界光源来实时地修改虚拟对象的照明。

38.根据权利要求28至37中任一项所述的***，其中，所述一个或多个处理器还被配置为：响应于所述跟踪信息而产生表示所述虚拟对象的放置的位置矩阵，以及响应于所述位置矩阵而生成包括所述虚拟对象的所述经渲染的信号。

39.根据权利要求28至38中任一项所述的***，其中，所述一个或多个处理器还被配置为：在跟踪所述对象之前，使用固定到所述被跟踪的对象的一个或多个基准点中的至少一个基准点以及单独且唯一的镜头校准图表来校准所述第一相机的镜头。

40.根据权利要求28至39中任一项所述的***，其中，所述一个或多个处理器还被配置为：处理经拼接的输出信号以执行所述经渲染的信号中的基于图像的照明。