CN118160005A - 用于投影映射的***和方法 - Google Patents

Abstract

一种使用摄像机传感器的辅助来精确对准投影映射***的***和方法。校准过程包括首先投影调制的格雷码图像序列，该序列允许校准摄像机识别校准摄像机和投影仪之间的密集图像对应组。然后，通过选择屏幕表面上的关键点或基准点将校准摄像机与屏幕表面对准，然后在摄像机图像中识别这些关键点或基准点。一旦摄像机对准屏幕表面，投影仪和摄像机之间的图像对应关系就用于确定投影仪与屏幕表面的对准。

Description

用于投影映射的***和方法

技术领域

本发明涉及投影映射。

背景技术

投影映射领域涉及使用一个或多个投影仪用光照射物体，以改变物体对观察者的外观。这种效果通常用于娱乐和营销，使视觉上无纹理的物体看起来好像具有可数字控制或动画的视觉效果。

投影映射提出了将图像精确映射到可能具有复杂形状的物体上的挑战。该任务有时通过使用摄像机传感器来辅助创建用于投影映射的自动或半自动校准程序，该程序可能涉及使用显示投影仪投影编码图案并用摄像机检测这些图案，以便准确确定每个投影仪像素照亮的物体上的位置。

当用多个投影仪将图像或图案投影到复杂的3D投影表面上时，通常首先使用传统的二维格雷码图像序列来校准这些投影仪。这种方法允许将每个投影仪的图像细分为二维网格单元，其中每个单元都被分配一个唯一的数字标识符以将其与其他单元区分开来。每个单元的数字标识符可以用二进制表示为唯一的比特序列，在格雷码的情况下，选择该比特序列使得相邻单元的比特序列仅相差一个比特，以便最小化任何图案检测误差的影响。格雷码被投影为一系列图像，其中每个图像对应于格雷码序列(gray code sequence)的一位。在图像中的每个像素处，颜色被选择为黑色或白色，这取决于该像素周围单元的格雷码位值。这种方法的一个缺点是黑白图像部分的大块结构，特别是在序列的前几个图像中是可见的，由于间接光散射效应，这可能造成图案检测困难。例如，考虑投影到房间角落，每面墙上的光线都反射到另一面墙上。在该特定示例中，典型格雷码图案序列的第一幅图像可能在其左半部分呈现全白而在其右半部分呈现全黑，导致一面墙主要受到直接照明，而另一面墙仅受到间接照明。这使得摄像机很难确定哪些像素在投影仪中显示为黑色，哪些显示为白色，因为即使每个图像都具有相同数量的白色和黑色像素，但屏幕上任何一点的间接照明水平可能会因各个投影图像的内容而有很大差异。序列中图像间间接照明水平的这种变化可能导致图案检测将间接照明水平的变化与该位置处图像源的变化混淆。

投影映射带来的另一个挑战是在多个投影仪在物体上重叠的位置将它们的图像恰当地融合在一起。在多个投影仪重叠的地方，光的附加属性使这些区域看起来比仅由一个投影仪照明的区域更亮。在这些重叠区域中，希望衰减投影仪的亮度，使得组合光贡献与单个投影仪的水平相同。这种衰减应该在图像中以平滑变化的方式产生不易察觉的效果。在复杂物体上进行投影映射的情况下，由于表面上存在阴影，某些表面区域对于某些投影仪不可见，这可能会变得更加复杂。一个或多个投影仪的任何屏幕阴影区域都会造成图像强度的差异，因为一个或多个投影仪的光贡献“缺失”。这些阴影区域可能具有复杂的形状，并且其空间面积各不相同，从而在适当地平滑混合或衰减投影仪图像以应对屏幕表面每个区域中起作用的投影仪数量的变化方面带来了挑战。

发明内容

本申请克服了现有技术的缺点，并提供了一种利用摄像机传感器的辅助来精确对准投影映射***的方法。校准过程包括首先投影调制的格雷码图像序列，该序列允许校准摄像机识别校准摄像机和投影仪之间的密集图像对应组。然后，通过选择屏幕表面上的关键点或基准点将校准摄像机与屏幕表面对准，然后在摄像机图像中识别这些关键点或基准点。一旦摄像机对准屏幕表面，投影仪和摄像机之间的图像对应关系就用于确定投影仪与屏幕表面的对准。

面对由环境照明或间接光散射引起的低摄像机图像对比度，为了提高图案检测的可靠性，每个图案图像的结构由下面的交替棋盘格图案调制。这有助于打破任何大块结构，并在图案变化时使场景中的间接光散射更加恒定。该图像与其二进制补码一起投影，以便在每个像素上训练摄像机，与黑色投影仪像素(低值)相比，全白色投影仪像素的亮度(高值)。

最后，本申请提供了一种方法，用于将来自所有投影仪的图像贡献平滑地混合在一起，以去除由重叠投影仪引起的亮度增加的区域。本方法使用轮廓图精确地计算复杂物体表面上的阴影区域，并将该信息与每个投影仪像素处的表面方向组合在一起，以将所有投影仪的贡献加权成组合的混合结果。

在说明性实施例中，提供了一种响应于图像处理器装置的用于多个投影仪的投影映射的***和方法，其中处理器装置接收来自多个投影仪的每个投影仪的投影图像的图像数据。顺序校准图案(pattern)被投影到投影表面上。来自顺序校准图案的至少一个图案的投影表面的一个或多个图像被投影在其上。然后计算投影仪到摄像机的变换和摄像机到投影表面的变换。然后确定投影仪到投影表面的变换和每个投影仪的平截头体(frustum)。说明性地，顺序校准图案可以包括调制的格雷码序列，并且调制的格雷码序列可以通过用第一图案调制预定的格雷码序列来生成。该一个或多个图像可以用至少一个摄像机捕获。投影表面可以包括三维(3D)投影表面。说明性地，计算投影仪到摄像机变换的步骤可以包括，对于顺序校准图案的每个图案，确定显示单元的像素强度与第一图案相比是相同还是相反，在每个摄像机像素处重建格雷码比特序列，并将每个摄像机像素分类到投影仪中的特定单元(ce l l)。可以相对于摄像机计算每个单元的形心(centroid)。摄像机到投影表面的变换可以包括在投影表面的模型中选择第一多个对应关系，并在投影表面的图像中选择第二多个对应关系，其中第二多个对应关系对应于第一多个对应关系。可以使用基于网格的调整工具进一步手动调整投影仪到投影表面的变换，以便对投影映射提供微调。可以通过基于投影仪的平截头体在表面上生成每个投影仪的轮廓图像来计算混合图(b lendmap)。

在另一个说明性实施例中，计算混合图的***和方法提供了多个投影仪，这些投影仪响应于图像处理器装置，利用每个投影仪将预定图像投影到表面的多个预定位置中的每个位置上，从而基于投影仪的已知平截头体利用每个投影仪在表面上生成轮廓图像。说明性地，该***和方法可以生成每个投影仪的距离变换图像、每个投影仪的混合权重图像和/或每个投影仪的最终混合图。

在另一个说明性实施例中，一种用于响应于图像处理器装置的多个投影仪的投影映射的***和方法，其中处理器装置利用摄像机接收来自多个投影仪的每个投影仪的投影图像的图像数据。与处理装置相关联的投影过程适于分别利用每个投影仪将顺序校准图案投影到投影表面的预定像场。图像数据可以包括预定像场内的一个或多个图像，这些图像是关于顺序校准图案的多个图案中的每个图案的每个投影仪的。顺序校准图案可以包括调制的格雷码序列，该序列通过用第一图像调制预定的格雷码序列而生成。预定的格雷码序列可以适于在序列中的每个图案中的像场上保持基本一致的平均强度。说明性地，格雷码序列的初始图案可以包括第一图案，该第一图案是亮特征和暗特征的镶嵌(tesse l l ation)，并且格雷码序列中的至少一个后续图案包括在垂直分叉中心线和水平分叉中心线的每一侧上的第一图案的分叉镜像。图像处理器可以被构造和布置为计算投影仪到摄像机的变换和摄像机到投影表面的变换，和/或可以被构造和布置为确定投影仪到投影表面的变换，并为每个投影仪确定平截头体。

附图说明

下面的发明描述参考附图，其中：

图1为根据本发明一个或多个方面采用投影映射的示例性显示***的***概观；

图2为根据本发明一个或多个方面的投影映射方法的流程图；

图3A-B描绘了第一和第二图案；

图4A-P描绘了二维格雷码序列；

图5A-P描绘了调制的格雷码序列；

图6A-B描绘了显示对应关系选择的图形用户界面；

图7是描绘生成混合图的方法的流程图；

图8A-B描绘了在生成混合图期间生成的轮廓图像；

图9A-B描绘了在生成混合图期间生成的距离变换图像；

图10A-B描绘了生成混合图期间生成的入射角图像；

图11A-B描绘了最终混合图；

图12A-B描绘了对应图像；以及

图13描绘了允许手动调整投影仪像素在屏幕表面上的映射的调整工具。

具体实施方式

I.***概观

图1为根据本发明一个或多个方面的用于投影映射的示例性显示***100的***概观。

在该示例中，计算设备120可以包括处理器122、存储器124和通用计算机中通常存在的任何其他组件。存储器124可存储处理器122可访问的信息，例如可由处理器执行的指令或可由处理器122检索、操纵或存储的数据。尽管图1将处理器122和存储器124示出为在计算设备120上，但是应当理解，处理器122和存储器124可以分别包括一个或多个处理器和/或存储器，这些处理器和/或存储器可以存储在也可以不存储在同一物理外壳中。在一个示例中，计算机120可以是经由有线或无线链路直接或间接与诸如有线/无线路由器或交换机之类的联网组件160通信的服务器。计算设备120还可以直接或间接连接到一个或多个光传感器110和/或一个或多个图像生成器130-134，这将在下面更详细地解释。

一个或多个光传感器110被定位成感测来自投影表面150的光(或无光)。一个或多个光传感器110可以是成像设备，例如图像传感器，例如摄像机。摄像机可以是任何类型的摄像机，例如包括独立光学器件的数码摄像机(例如数码单反摄像机)。在其他示例中，摄像机可以具有若干组件，例如镜头、其他光学器件和处理电路，这些组件可以容纳在或不容纳在单个外壳内。在一个特定示例中，在执行下面阐述的技术之前，预先校准摄像机以确定摄像机的外部和非外部参数。

虽然描绘了两个光传感器110，但是根据本公开的各个方面，***100可以采用任何数量的传感器(例如，摄像机)。在一个特定示例中，***100可以采用1∶1比例的传感器110与显示单元140-142。在另一示例中，光传感器110可以包括对应于任意数量的显示单元140-144的单个摄像机。传感器110可将一个或多个代表检测到的光数据的数据信号传输至计算装置120进行处理。

投影表面150可以是任何类型的二维或三维投影表面。在图1的示例中，投影表面150包括3D投影表面，例如城堡。在其他示例中，投影表面可以包括彼此相邻布置的单独显示屏的布置，使得显示单元140-144投影相邻显示屏之间的重叠区域。在其他示例中，投影表面150可以是任何复杂的三维形状。

***100可以包括一个或多个显示单元140、142、144。在该示例中，显示单元140-144是配置为将光(例如光图案)投影到投影表面150的全部或一部分上的投影仪。要由显示单元140-144投影到投影表面150上的图像数据可以在相应的图像生成器130、132、134处生成。图像数据可以从相应的图像生成器130-134传输到相应的显示单元140-144，在显示单元140-144中，图像数据可以作为图案或图像被投影到显示表面150上。

虽然描绘了三个显示单元140-144和三个图像生成器130-134，但是可以设想任何数量的显示单元和/或生成器或其组合。例如，单个图像生成器可以向任意数量的显示单元提供图像数据。

通常，用于将图像数据映射到复杂3D投影表面上的投影映射过程可以包括通过显示单元140-144将一个或多个图像或图案投影到投影表面150上。投影的图像可以由一个或多个传感器110感测，并且代表所感测的光的一个或多个数据信号被传输到计算设备120。计算设备120可以基于光传感器数据可选地执行一个或多个过程，并且可以基于光传感器数据和/或校准过程将一个或多个数据信号传输到图像生成器。图像发生器130-134可以将图像数据传输到显示单元140-144，并且显示单元140-144可以将光(例如，光图案)投影到投影表面150上。

除了投影映射之外，还可以执行其他校准程序，例如扭曲、混合或任何其他类型的校准程序。在一个示例中，扭曲可以在计算设备120处被计算(例如，在图形卡和/或相关图形卡软件上)，而在其他示例中，扭曲可以在图像生成器130-134处或者在专用扭曲模块(未示出)处被计算。

II.投影映射

图2描绘了根据本发明一个或多个方面的投影映射方法。

在块202，生成校准图案。

在一个示例中，校准图案可以是结构光图案，特别是二维(2D)二进制格雷码序列。在一个特定示例中，校准图案是调制的格雷码序列，这将在下面更详细地解释。

形成校准图案的单个图案图像，例如调制的格雷码序列，可按如下方式生成：

参考图3A，生成第一图案300a。该图案300a在图3A中被描绘为具有第一单元310a和第二单元320a的交替排列的8×8单元棋盘图案。在这个示例中，为了最大对比度差异，第一单元是白色的，第二单元是黑色的，但是基于特定的示例可以实现其他颜色参数。第一单元310a可以被编码为“0”，而第二单元可以被编码为“1”。例如，顶行330a可以被编码为【01010101】。如下所述，该第一图案300a将被用作基础调制图案。

每个单元310a、320a可以被分配唯一的号码(例如，0-63)。虽然图案300a在图3A中被描绘为8×8，但是任何N×N的布置都是可以预期的，这取决于特定的实现方式。例如，根据投影表面的表面细节，可能需要更大或更小的单元尺寸。随着N的增加，单元尺寸减小，反之亦然。在一些示例中，希望单元的尺寸小于与投影表面相关联的较大比例的表面效果。特别是，随着N的增加，间接(环境)照明的效果会降低。另一方面，如果单元的尺寸太小，例如小于一个像素，检测(例如，通过传感器)会变得不太可靠。

还生成了第二图案300b。该图案300b在图3B中被描绘为具有第一单元310b和第二单元320b交替排列的8×8棋盘图案。在该示例中，第一单元是黑色的，第二单元是白色的，但是基于特定示例可以实现其他颜色参数。第二图案300b是第一图案300A的二进制补码，因为每个第一单元310b是第一单元310a的二进制补码(例如相反)，并且第二单元320b是第二单元310b的二进制补码。例如，顶行330a可以被编码为【10101010】。

第一图案300a调制预定的格雷码序列，以产生调制的格雷码序列。图4A-P描绘了示例性的预定的格雷码序列。预期的是，根据本公开的方面可以实现其他格雷码序列。用第一图案300a调制图4A-P的格雷码序列的每个图案，以得到调制的格雷码序列，如图5A-P所示。具体地，用图案300a调制图4A的图案，以得到图5A的调制图案，对于图4B-P和图5B-P也是如此。

基于图案300a的对应单元和预定的格雷码序列(例如，4A-P)确定调制的格雷码序列图案，其中调制的格雷码序列中的每个图像对应于用于唯一标识每个单元的二进制比特序列的一个比特。例如，如果一个单元在其对应于当前图像的位的调制的格雷码序列中包含“0”，则来自图案300a的单元将保持不变。如果一个单元在其对应于当前图像的位的调制的格雷码序列中包含“1”，则来自模式300a的单元将被选择为与模式300b相同。以这种方式，不是将格雷码图案中的白色或黑色编码为“0”或“1”，而是对该图案与第一图案300a相比是否有变化进行编码。

如图4G-4P开始所示，越来越密集的线图案序列可用于实现更密集的图案。这些线图案不由第一图案300a调制，因为它们的结构已经是精细的(例如，密集的)，从而防止图案图像之间间接照明的显著变化。

在一个示例中，基于第一图案300a中的单元数量来选择序列中的模式数量。例如，8×8图案包括64个独特的单元(例如，编号为0-63)。选择多个比特(例如，顺序投影的单元)来唯一地标识每个单元。

在块204，调制的格雷码图案被顺序投影到三维(3D)投影表面(例如150)上。这可以由第一显示单元140-144来完成，并且在一个示例中，显示单元是投影仪。

在块206，投影的校准图案的图像由一个或多个图像传感器捕获。这可以由一个或多个传感器110来完成，并且在一个示例中，传感器是摄像机。捕获的图像可以被传输(有线或无线地)到处理器120进行处理。在另一个示例中，图像的处理可以发生在摄像机本身上。

在块208，为每个投影仪/摄像机对确定投影仪到摄像机的映射。该映射被阐述为一组像素到像素的对应关系，例如从摄像机像素到投影仪像素的对应关系，使得对应的摄像机和投影仪像素在投影表面的相同位置上重合。

这里，对于每个图案，确定哪些单元被显示为与第一图案相同，哪些单元被显示为相反。

首先显示图5A和5B的图案以确定构成“1”单元或“0”单元的阈值。在理想条件下，相对单元之间的对比度差将是黑色和白色之间的最大对比度差。在某些条件下(例如，环境照明、间接照明等)，相反比特之间的对比度差小于理想的最大值。在这点上，建立关于一个比特何时构成“1”或“0”的阈值。

对于图5C及以后的图案，根据像素强度值与图5A的第一序列图案相同还是不同来对每个像素进行分类。基于此，在每个摄像机像素处重建格雷码比特序列，并用于将摄像机像素分类到投影仪中的特定单元。一旦分类，属于同一投影仪单元的摄像机像素用于计算摄像机中单元(像素或子像素值)的形心(例如，中心点)。由于原始单元中心(作为投影仪的像素位置)通过构造是已知的，这为所有检测到的单元在校准摄像机和校准投影仪之间建立了像素到像素的图像对应关系。

值得注意的是，5C的图案(例如)定义了相似的亮与暗特征的总体总面积，但是使用格雷码校准投影过程，该过程使得投影的(和获取的)格雷码图像序列的平均强度在整个获取的(由摄像机)像场中更均匀地呈现。这与图4C的常规格雷码序列校准过程图像形成对比，在图4C的常规格雷码序列校准过程图像中，在图像的各个区域中存在大的浓度或亮或暗的特征。因此，这里设想的序列更能抵抗间接照明的影响。如图所示，在图5A-5P的整个格雷码序列中的前几个图案(例如，直到第五或第六个，也称为“初始图案”)因此通过比图4A-4P的序列中的相同图像更均匀地在像场上分布亮和暗特征而提供了更均匀的平均强度。这种更均匀的分布有效地编码了图4A-4P的相同的、标准的亮和暗信息，但是以对周围环境中可能存在的外部照明的局部变化不太敏感的方式进行编码。与图5A-5P的更分散的初始图案相比，入射光可能以更剧烈地扰乱由图4A-4P的初始图案提供的明暗信息的方式落在投影表面上。注意，如这里所使用的，术语“间接光”可以被认为是由投影仪自身照射到投影表面上所产生的光，更具体地说，是照射到相邻表面上的光，从而可能对原本黑暗的特征产生非预期的照明效果。这往往会在相邻的表面图案上产生亮或暗的假象，从而导致投影仪校准过程不准确。作为一个有用的示例，如果图4C的图案被投影到一个角落，一面黑墙和相邻的白墙，任何间接光都会改变其中一面墙图像的图案。根据图5A-5P的图案调制用于最小化这种影响。在这个意义上，图5A-5P的初始图案在整个投影序列中呈现比图4A-4P的初始图案更均匀的整体灰度分布。因此，如这里所使用的，总的术语“在序列中的每个图案中的像场上保持基本一致的平均强度”及其等同物将指图5A-5P中图案的特性。根据一个示例性的非限制性实施例，整个初始图案组(例如图5A-5G)的第一图案(图5A和5B)呈现为分别交替其亮特征和暗特征位置的规则镶嵌(例如棋盘)。接下来的图案(图5C-5F)在来自第一图案的周围镶嵌内的相应列或行中提供一行或多行水平(图5C和5E)或垂直(图5D和5F)的双重特征。更具体地说，图4C和4D的图案由图5A和5B的图案调制，而图5C和5D分别提供了一种图案，该图案在投影场中的垂直和水平分叉中心线的每一侧上提供分叉镜像图案。此外，图案5E和5F(以及序列中潜在的其他后续图案)可以被表征为沿着相应的水平和垂直分叉中心线拍摄的镜像版本。

如本文所述，格雷码序列中初始图案的基本一致性质的进一步概念化可以通过比较(例如)图4C的常规图案与图5C中的实施例的更多方格图案来导出。在用垂直线均匀平分图4C的左半部分和右半部分的过程中，在图像的两个平分部分中，呈现给观察者的是亮特征和暗特征之间的明显不连续。投影表面上间接光的任何局部变化都会对这些大特征中的一个或多个产生显著影响。相反，在图5C中平分相同的像场导致局部间接光变化的较小影响。值得注意的是，在两幅图像中，亮特征与暗特征的总面积是相同的(图4C和5C)，因此，为多个投影仪的标准校准技术(即，确定投影仪平截头体)提供了所需的校准信息。更一般地，当解码投影图案序列时，这里的调制的格雷码序列理想地保持对比度。

在块210，并且参考图6A，在3D投影表面的模型605a上选择第一多个对应关系610a。图6A描绘了图形用户界面(GUI)600a，其描绘3D投影表面的模型。使用鼠标或其他输入，用户可以选择模型上的一个或多个对应关系610a。GUI600a上还显示了对应于所选对应关系610a的模型坐标空间中的3D坐标(x，y，z)。

如上所述，第一多个对应关系610a可以被用户识别为3D投影表面本身的模型上的点，或者对应关系可以是基准点。对应关系的数量可以根据特定的实施方式和特定的投影表面而变化，并且在一个示例中，每个摄像机或投影仪至少可以有三个对应关系。

在块212，参考图6B，在成像和显示的3D投影表面605b上选择第二多个对应关系610b。图6B描绘了图形用户界面(GUI)600b，其描绘成像和显示的3D投影表面605b。使用鼠标或其他输入，用户可以在所显示的3D投影表面605b上选择一个或多个对应关系610b，该对应关系与模型的所选第一多个对应关系610a相对应(例如重叠)。

如上所述，第二多个对应关系610b可以被用户识别为成像和显示的3D投影表面上的点，或者对应关系可以是基准点。对应关系的数量可以根据特定的实施方式和特定的投影表面而变化，并且在一个示例中，每个摄像机或投影仪至少可以有三个对应关系。

还描绘了用于启用或禁用某些通信的模块615b。例如，由于不同的摄像机具有不同的视场(FOV)，特定的摄像机可能看不到(例如，无法成像)某些对应关系。在这点上，那些不可见的对应关系可以通过切换模块615b中的特定对应关系来禁用。对于跨多个摄像机可见的对应关系，这些对应关系可以重复使用。

在块214，基于在框210-212选择的对应关系，生成摄像机到投影表面的变换。摄像到投影表面的变换表示摄像机像素到投影表面坐标空间中的3D位置之间的映射。

这可以通过使用来自块210-212的3D和2D对应的集合并作为线性问题***求解来执行，例如直接线性变换(DLT)。该初始解被用作非线性优化的初始估计，以确定每个摄像机的平截头体，包括FOV参数。注意，可以以普通技术人员清楚的方式采用用于提供与这里描述的那些相似或相同的对应结果的其他计算技术。因此，术语“变换(transform)”和/或“变换(transformat ion)”应被广义地理解为包括用于确定/生成这种结果的各种技术。

在块216，投影仪到摄像机的对应关系和摄像机到屏幕的变换用于确定每个投影仪的平截头体，包括相对于投影表面的3D模型(存储在存储器中)的FOV参数和可选的透镜失真参数。

这是通过将投影表面几何形状投影到摄像机图像中来执行的，并且对于每个像素位置，将投影表面的3D位置分配给摄像机像素。然后将该信息与投影仪-摄像机图像对应关系相结合。作为图案检测的结果，在投影仪像素对应性被测量的每个摄像机像素处，该摄像机像素处的屏幕表面的3D位置被分配给对应的投影仪像素。这确定了投影仪像素和对应于该特定像素的投影表面上的已知3D点之间的对应关系列表。

在块218，对于每个投影仪，计算相对于投影表面的投影仪平截头体。这被生成为投影矩阵或平截头体，其将3D投影表面上的3D位置映射到2D投影仪像素。在一些示例中，离群点过滤被用于过滤偏离目标的点。这种过滤可以是RANSAC过滤。这可以通过DLT来执行，其中初始解被用作非线性优化的初始估计，以确定每个投影仪的平截头体，包括FOV参数。每个平截头体还可以包括每个投影仪的失真参数，例如镜头失真参数。

可选地，在块218计算的投影仪像素到投影表面的映射可以由用户手动调整或细化(例如，微调)。图13描绘了图形用户界面(GUI)1300，其显示了基于网格的调整(例如，细化或调整)工具，该工具允许手动调整投影仪像素到屏幕表面的映射，以解决所计算的投影仪平截头体和相关参数中的任何误差。在该示例中，网格1310覆盖在投影表面1320的模型上。用户可以通过点击和拖动任何网格点来调整或改进校准，以调整网格1310和投影表面1320的模型的对准。

例如，在显示器的某些区域中，投影的图像内容可能没有与物理投影对象正确对齐，或者在混合区中，来自多个投影仪的像素可能彼此稍微不对齐。在这些情况下，为每个投影仪提供网格1310，其中每个网格交叉点可以在投影仪图像空间的二维内移动，以将投影的图像内容拖动到物理投影对象上正确对准的位置，或者与其他重叠投影仪的投影图像对准。

在块220中，可选择显示参考测试图像，以演示校准投影仪的对准。

在块222，校准参数和相关联的手动调整/精细校正可以可选地例如以专有OL文件格式导出，以供与专有软件开发工具包集成的第三方媒体服务器使用。

在一些示例中，在校准之后，可以执行后续的重新校准。这可以在投影仪和摄像机从它们的原始位置轻微偏移的情况下完成，这不需要用户更新摄像机图像中控制点的位置(例如，在框212)，而是基于新的图案投影和检测结果(建立摄像机到投影仪变换的摄像机到投影仪的对应关系)，通过改进或优化过程来更新摄像机和投影仪的位置。该优化过程使用先前校准的投影仪和摄像机平截头体作为当前摄像机和投影仪平截头体值的初始解决方案。然后，使用投影表面的先前已知的3D几何形状以及当前摄像机到投影仪的对应关系，经由非线性细化过程更新摄像机和投影仪的平截头体值，该非线性细化过程最小化当前摄像机到投影仪的对应关系的重新投影误差。例如，给定摄像机中的点位置，可以使用投影面的当前平截头体值将投影面投影到该摄像机中，以在投影面上产生摄像机中该位置的3D位置。可以使用该3D位置的当前平截头体值将其投影到投影仪中，以在投影仪中产生2D像素位置。然后，通过将该像素位置与由图案检测的结果测量的像素位置进行比较，可以计算出重新投影误差。然后，可以使用非线性优化技术(例如稀疏列文伯格-马夸尔特法(Levenberg-Marquardt))对摄像机和投影仪截头体进行优化，以减少这种二次投影。

III.混合图

图7是根据本发明的一个或多个方面计算混合图的方法。

在块702中，提供了已知的投影仪平截头体。这可以从例如图2的投影映射方法中计算出来。

在块704，为每个投影仪生成轮廓图像。这在图8A-B中示出，其中图8A表示第一投影仪的轮廓图像，图8B表示第二投影仪的轮廓图像。

这样，每个投影仪对一个场景成像一次。然后，场景以线框模式绘制到投影仪图像中(所有三角形都以黑线绘制)。这是通过略微增加线条粗细来人为增加三角形边缘的宽度来实现的。接下来，再次绘制场景，所有三角形都用背景色填充。该第二次渲染过程在线框模式下绘制的场景顶部执行。结果将留下从上一个渲染过程开始的任何黑色轮廓，其中场景深度有一个突然的变化，指示当前投影仪中阴影区域的开始。

在块706，轮廓图像用于计算每个投影仪的距离变换图像。这在图9A-B中示出，图9A表示图8A的轮廓图像的距离变换图像，图9B的距离变换图像表示图8B的轮廓图像的距离变换图像。距离变换图像表示权重图像，其中每个像素离最近的轮廓线越远，权重就越大。黑色像素是投影仪无法投影的区域。

在块708，为每个投影仪生成混合权重图像。混合权重图像可以基于多个因子中的一个或多个来生成。

一个因子是空间变化的权重函数，该函数在投影仪中心较大，并平滑地渐变到投影仪边缘。这是为了在接近图像边界时减少每个投影仪的混合贡献。

在每个投影仪处，图10A-B所示的另一个因子由屏幕像素的入射角确定(即，如果投影仪在像素处与表面具有非常大的剪切角，则与正面看到的表面相比，权重减小)。

另一个因子是每个投影仪的距离变换图像。所有因子相乘组合，以创建每个投影仪的所有像素的最终混合权重。

在块710，使用上述输入为每个投影仪生成最终混合图。这如图11A-B所示，11A对应于第一投影仪，11B对应于第二投影仪。要生成最终的混合贴图，对于每个投影仪，首先要生成与其他投影仪的对应图像。这在图12A-B中示出。这是使用类似于图形引擎中用于生成阴影的过程来创建的。将场景绘制到投影仪A中，其中每个场景顶点的颜色是顶点在投影仪B中映射到的位置，正确地考虑了遮挡。该结果对应图像充当查找表，其可用于确定与当前投影仪中任何给定像素在屏幕上重合的其他投影仪中的像素位置。

接下来，对应图用于确定每个像素上所有投影仪的总混合权重。然后，对于每个投影仪，在每个像素处，使用对应图在重叠的投影仪中查找对应的像素位置。重叠投影仪中的像素位置用于在投影仪表面上的该点查找它们相应的混合权重。然后将所有投影仪(包括当前投影仪)的混合权重相加，以确定该位置所有重叠投影仪的总混合权重。通过将每个投影仪的权重除以计算出的总和来计算最终的混合权重，以便对结果进行归一化，使得所有投影仪的混合权重总和为1.0。一旦为所有投影仪计算了最终混合权重图像，可选地应用小的模糊效果来平滑混合。随着最终混合图的生成，一个或多个图像或图案可以由投影仪基于最终混合图显示在投影表面上。

前面已经详细描述了本发明的说明性实施例。在不脱离本发明的精神和范围的情况下，可以进行各种修改和添加。为了在相关的新实施例中提供多种特征组合，上述各个实施例的特征可以适当地与其他所述实施例的特征相结合。此外，虽然前面描述了本发明的设备和方法的多个单独的实施例，但是这里所描述的仅仅是对本发明原理的应用的说明。例如，如这里所使用的，术语“处理(process)”和/或“处理器(processor)”应该被广义地理解为包括各种基于电子硬件和/或软件的功能和组件(或者可以被称为功能“模块(modules)”或“元件(e lements)”)。此外，所描绘的过程或处理器可以与其他过程和/或处理器相结合，或者分成各种子过程或处理器。根据这里的实施例，这样的子过程和/或子处理器可以不同地组合。同样，可以明确设想，这里的任何功能、过程和/或处理器可以使用电子硬件、由程序指令的非暂时性计算机可读介质组成的软件或者硬件和软件的组合来实现。此外，这里使用的各种方向和布置术语，例如“垂直”、“水平”、“上”、“下”、“底”、“顶”、“侧”、“前”、“后”、“左”、“右”等，仅用作相对约定，而不是相对于固定坐标空间的绝对方向/布置，例如重力的作用方向。此外，对于给定的测量值、值或特性，当使用术语“基本地”或“近似地”时，它指的是在正常操作范围内以获得期望结果的量，但是包括由于固有的不精确性和***容许公差内的误差(例如1％-5％)而导致的一些可变性。因此，该描述仅作为示例，并不限制本发明的范围。

Claims (22)

1.一种响应于图像处理器装置的用于多个投影仪的投影映射的方法，其中所述处理器装置接收来自所述多个投影仪的每个投影仪的投影图像的图像数据，所述方法包括：

将顺序校准图案投影到投影表面上；

捕获所述投影表面的一个或多个图像，所述顺序校准图案的一个图案投影在所述投影表面上；

计算投影仪到摄像机的变换；

计算摄像机到投影表面的变换；

确定投影仪到投影表面的变换；以及

确定每个投影仪的平截头体。

2.根据权利要求1所述的方法，其中所述顺序校准图案包括调制的格雷码序列。

3.根据权利要求2所述的方法，其中通过用第一图案调制预定的格雷码序列来生成所述调制的格雷码序列。

4.根据权利要求1所述的方法，其中所述一个或多个图像用至少一个摄像机捕获。

5.根据权利要求1所述的方法，其中所述投影表面包括三维(3D)投影表面。

6.根据权利要求1所述的方法，其中计算所述投影仪到摄像机的变换包括：

对于所述顺序校准图案的每个图案，确定显示单元的像素强度与第一图案相比是相同还是相反，

在每个摄像机像素处重建格雷码比特序列，以及

将每个摄像机像素分类到所述投影仪中的特定单元。

7.根据权利要求6所述的方法，还包括计算每个单元相对于所述摄像机的形心。

8.根据权利要求1所述的方法，其中计算所述摄像机到投影表面的变换包括：

在所述投影表面的模型中选择第一多个对应关系，以及

在所述投影表面的图像中选择第二多个对应关系，

其中所述第二多个对应关系对应于所述第一多个对应关系。

9.根据权利要求1所述的方法，还包括使用基于网格的调整工具手动调整所述投影仪到投影表面的变换，以便对所述投影映射提供微调。

10.根据权利要求1所述的方法，还包括计算混合图，包括基于所述投影仪的所述平截头体使用每个投影仪在所述表面上生成轮廓图像。

11.一种计算混合图的方法，包括：

响应于图像处理器装置提供多个投影仪，每个投影仪在表面的多个预定位置中的每个位置将预定图像投影到所述表面上；以及

基于所述投影仪的已知平截头体用每个投影仪在所述表面上生成轮廓图像。

12.根据权利要求11所述的方法，还包括为每个投影仪生成距离变换图像。

13.根据权利要求12所述的方法，还包括为每个投影仪生成混合权重图像。

14.根据权利要求13所述的方法，还包括为每个投影仪生成最终混合图。

15.一种计算混合图的***，包括：

响应于图像处理器装置的多个投影仪，每个投影仪在表面的多个预定位置中的每个位置将预定图像投影到所述表面上，所述图像处理器装置适于基于所述投影仪的已知平截头体利用每个投影仪在所述表面上生成轮廓图像。

16.根据权利要求15所述的***，其中所述图像处理器装置适于为每个投影仪生成距离变换图像。

17.根据权利要求16所述的***，其中所述图像处理器装置适于为每个投影仪生成混合权重图像。

18.根据权利要求17所述的***，其中所述图像处理器装置适于为每个投影仪生成最终混合图。

19.一种响应于图像处理器装置的用于多个投影仪的投影映射的***，其中所述处理器装置利用摄像机接收来自所述多个投影仪的每个投影仪的投影图像的图像数据，所述***包括：

所述处理装置的投影过程，所述处理装置的投影过程适于利用每个投影仪分别将顺序校准图案投影到投影表面的预定像场；

所述图像数据包括所述预定像场内关于所述顺序校准图案的多个图案中的每个图案的每个投影仪的一个或多个图像，其中所述顺序校准图案包括调制的格雷码序列，所述调制的格雷码序列通过用第一图案调制预定的格雷码序列而生成；以及

所述预定的格雷码序列适于在所述序列中的每个图案中的所述像场上保持基本一致的平均强度。

20.根据权利要求19所述的***，其中所述格雷码序列的初始图案包括第一图案，所述第一图案是亮特征和暗特征的镶嵌，并且所述格雷码序列中的至少一个后续图案在垂直分叉中心线和水平分叉中心线的每一侧上限定所述第一图案的分叉镜像。

21.根据权利要求19所述的***，其中所述图像处理器被构造和布置为计算投影仪到摄像机的变换和摄像机到投影表面的变换。

22.根据权利要求21所述的***，其中所述图像处理器被构造和布置为确定投影仪到投影表面的变换，并为每个投影仪确定平截头体。