CN105308503A - 利用短程相机校准显示***的***和方法 - Google Patents

利用短程相机校准显示***的***和方法 Download PDF

Info

Publication number
CN105308503A
CN105308503A CN201480027969.6A CN201480027969A CN105308503A CN 105308503 A CN105308503 A CN 105308503A CN 201480027969 A CN201480027969 A CN 201480027969A CN 105308503 A CN105308503 A CN 105308503A
Authority
CN
China
Prior art keywords
projector
camera
coordinate system
screen
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480027969.6A
Other languages
English (en)
Inventor
T·M·詹森
K·阿马拉通加
R·J·苏拉蒂
S·J·蒂莫内尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Scalable Display Technologies Inc
Original Assignee
Scalable Display Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Scalable Display Technologies Inc filed Critical Scalable Display Technologies Inc
Publication of CN105308503A publication Critical patent/CN105308503A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3147—Multi-projection systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/13—Projectors for producing special effects at the edges of picture, e.g. blurring
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/18—Stereoscopic photography by simultaneous viewing
    • G03B35/20—Stereoscopic photography by simultaneous viewing using two or more projectors
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0693—Calibration of display systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/145—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light originating from the display screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明通过提供以下***和方法克服了现有技术的缺点：其允许使用镜头未被建模的或在有限的准确度的情况下建模的、以及可能不能够对整个投影仪***进行成像的一个或多个相机对显示***的校准。说明性***和方法通常依靠投影仪的良好建立的模型，而不是相机的良好建立的模型。说明性地，相机主要用来将投影仪映射到一个坐标系上，其中可以使用相机非常精确地建立投影仪之间的重叠，即使相机镜头属性的模型未知或者只知道很少的情况下也是如此。

Description

利用短程相机校准显示***的***和方法
技术领域
本发明涉及显示器，并且聚焦但不限于多投影显示***，而且更特别地涉及用于利用不准确地知道或根本不知道其镜头属性的相机以及利用可能不能够对整个显示***进行成像的相机来校准显示***的***和方法。
背景技术
利用相机和其它光学传感器对平铺(tiled)投影仪***的校准已经变得越来越司空见惯。自动校准***的主要目标之一是在没有专业技师使用的情况下随着该***的老化而维持该***的高品质(诸如线性几何形状、均匀的颜色和强度)。例如，期望的是没有经过训练的人可以按动图形用户界面(GUI)中的“校准”按钮，那么该***就重新校准。不期望的是应当要求用户采取要求利用GUI的许多交互的精细调节过程，这是因为该过程可能费时且要求用户的关于这部分的训练。
特别感兴趣的一个平铺显示器被设计成用在会议室环境中。在会议室中，预期可以使用MxN短程投影仪来构建高分辨率的显示器。当用在前投影仪配置中时，短程投影仪是有用的，这是因为一个人可以径直走到屏幕而不在显示器上投上影子直到一个人非常靠近屏幕为止。再者，无论用在前投影仪或后投影仪装备中，投影仪占据小的深度，该小的深度在诸如会议室之类的存在有限空间的设施中是有用的。
为了校准这样的***，常常期望将相机安装得非常靠近投影仪。期望该定位的一个原因是它允许自包含安装，这简化了安装者的任务，并且更为普遍地降低了安装费用。该定位还期望在于，它避免了这样的状况：横跨房间空间放置的相机与短程布置相比更加有可能被路过的人阻挡。横跨房间定位这样的相机还是不期望的，因为它一般要求从该***到相机穿设缆线，并且一般需要把这样的缆线穿设到墙壁中以及围绕该房间。这会很显眼并且在公共空间中造成不美外观。可替代地，能够证明在墙壁和/或顶棚中安装不可见的线缆费时且成本高。
因此，在这样的设施中短程相机是期望的，这是因为它允许自包含安装并且避免了不期望的连线布置和视野(thefiledofview)的妨碍。然而，当这样的相机紧挨着显示器时，出现至少两个挑战性效果。第一，可能有必要采用具有鱼眼镜头或其它广角镜头的多个相机，这是因为相机离屏幕不远，并且可能难以对重要视野进行成像。鱼眼镜头会是个问题，这是因为它可能难以准确地测量镜头的失真。此外，相机图像中的场景的失真不仅对镜头的属性敏感，而且它对镜头在相机成像器顶部上的定位，以及对相机的位置和朝向非常敏感。该失真朝着镜头的外侧特别敏感。因而，如果一个人在投影显示器校准期间依靠鱼眼镜头的镜头模型的准确性，则在屏幕上的所得到的显示图像常常出现失真。
再者挑战是这样的事实：可以证明对于利用可能仅几英寸的短程距离对整个屏幕进行成像是有挑战性的。
因而，期望的是创建一种自动校准***，其操作简单，不依靠场景的相机失真的准确模型，并且可以处理相机不能够对整个屏幕进行成像的情形。
发明内容
本发明通过提供下面***和方法克服了现有技术的缺点：其允许使用其镜头未被建模或在有限的准确度的情况下建模、以及可能不能够对整个投影仪***进行成像的一个或多个相机对显示***的校准。说明性***和方法通常依靠投影仪的良好建立的模型，而不是相机的良好建立的模型。说明性地，相机主要用来将投影仪映射到一个坐标系上，其中可以使用相机非常精确地建立投影仪之间的重叠，即使相机镜头属性的模型未知或者只知道很少的情况下也是如此。
本公开的一个或多个方面提供了一种校正投影仪***的方法，所述投影仪***具有两个或更多个投影仪，所述方法利用到一个或多个相机，不要求所述一个或多个相机对整个屏幕进行成像，包括步骤：(a)利用所述一个或多个相机捕获来自所述投影仪的一个或多个投射图案；以及将所投射的像素从每个投影仪映射到公共坐标系中，所述映射的步骤不依赖于所述相机的透镜属性的模型；以及(b)将所述公共坐标系映射到所述屏幕，而不依赖于所述一个或多个相机的镜头属性的模型。
在一个示例中，所述投影仪被预校准。
在一个示例中，所述映射步骤(a)或步骤(b)中的任一个使用所述投影仪的模型来形成。
在一个示例中，所述投影仪的模型包括来自投影仪映射的理想化模型的失真模型。
在一个示例中，所建模的投影仪至表面的映射通过测量进行预校准。
在一个示例中，所预校准的测量在投影仪是所校准的***的一部分时推断出。
在一个示例中，投影仪至所述公共坐标系的映射包括使用所述一个或多个相机测量所述投影机的重叠与所述投影机的重叠的建模之间的差异的步骤。
在一个示例中，所述投影仪的模型包括来自投影仪映射的理想化模型的失真模型。
在一个示例中，使用边缘混合技术将由所述一个或多个相机测量的差异应用在所述两个或更多个投影仪与所述公共坐标系之间。
在一个示例中，所述投影仪投射到平坦屏幕上，并且映射到所述公共坐标系的步骤包括使用所述一个或多个相机来找出可选的预校准的投影仪之间的单应矩阵(homographies)。
在一个示例中，所述投影仪投射到具有已知或参数化的几何形状的弯曲屏幕上，所述投影仪可选地被预校准，以及映射到所述公共坐标系的步骤包括使用所述可选预校准投影仪的投影仪至表面的映射的模型。
在一个示例中，将所述公共坐标系映射到所述屏幕还包括使用所述一个或多个相机定位所述屏幕上的基准点。
在一个示例中，所述方法还包括存储强度和颜色信息以及使用所述投影仪的被所述一个或多个相机成像的区域来平衡强度和颜色。
在一个示例中，所述投影仪被预校准，并且映射到所述公共坐标系的步骤包括使用所述一个或多个相机来找出所述预校准的投影仪之间的单应矩阵。
在一个示例中，所述投影仪被预校准，并且映射到所述公共坐标系的步骤包括使用所述预校准投影仪的投影仪至表面的映射的模型。
在一个示例中，所述测量包括在受控环境中测量来自所述投影仪的数据。
在一个示例中，所述一个或多个相机对所述整个屏幕的第一部分进行成像，从而限定了所述整个屏幕的未被所述一个或多个相机成像的第二部分。
本公开的另一方面提供了一种用于校准投影仪***的***，所述投影仪***具有两个或更多个投影仪，所述***利用到一个或多个相机，不要求所述相机对整个屏幕进行成像，包括：(a)一个或多个相机，其捕获来自所述投影仪的一个或多个投射图案的图像；映射过程，其将所投射的像素从每个投影仪映射到公共坐标系上，所述映射过程不依赖于所述相机的镜头属性的模型；以及(a)所述公共坐标系被映射到所述屏幕，而不依赖于所述一个或多个相机的镜头属性的模型。
在说明性实施例中，使用短程相机来校准投射在平坦墙壁上的、在水平方向上平铺的、具有小的重叠的两投影仪显示。相机获取来自每个投影仪的图案的图片并且找出投影仪之间在重叠区中的对应关系。例如使用从每个投影仪至公共坐标的单应矩阵可以将投影仪映射到公共坐标系，并且然后将所述公共坐标系映射到所述屏幕。
所述投影仪的模型可选地可以通过测量投影仪本征参数和来自理想投影仪的失真进行预校准。在不损失普遍性的情况下，用于对投影仪的模型进行预校准的一种方法包括在受控环境下测量来自投影仪的数据。在不损失普遍性的情况下，第二种方法进行对投影仪原位全部校准(例如，使用良好校准的相机对屏幕校准)以及使用该结果反算失真图案。如果投影仪被预校准，并且希望单应矩阵将投影仪映射到公共坐标系，至公共坐标系的映射变为两个步骤：去除预校准的失真图案，然后应用单应矩阵。
投影仪在公共坐标系中的对应关系和所述重叠的模型以及由相机收集的数据一般将不同。也就是说，模型与数据并未完美拟合。由相机收集的数据被用来找出所述模型与投影仪的实际对应关系之间的差异。所述差异例如由位移场表示，将所述差异部分地应用于每个投影仪，使得两个应用的组合补偿了相机所见到的差异。在具有四个边缘的边界区的简单情况中：在覆盖区的左边缘，针对左投影仪的所应用的位移场设定为0，以及针对右投影仪为完全量(fullamount)。在重叠区的右边缘上，针对右投影仪，所应用的位移场设定位零(0)，以及针对左投影仪为完全量。使用边缘混合类型算法找出对于每个投影仪要应用的位移场，使得总体弥补了由相机看到的差异。这些相同的边缘混合类型算法可以用于其形状更复杂的重叠区域。
一旦针对从投影仪至公共坐标系的映射作出了所有的校正，就将公共坐标系映射到了屏幕，形成了可以使用标准机制和过程来无缝示出横跨这两个投影仪的视频和影像的整体映射。
在说明性实施例中，提供了一种用于校正投影仪***的***和方法，所述投影仪***具有两个或更多个投影仪，所述用于校正投影仪***的***和方法利用到一个或多个相机，不要求所述相机对整个屏幕进行成像。该***和方法利用所述一个或多个相机捕获来自所述投影仪的一个或多个投射图案。将所投射的像素从每个投影仪映射到公共坐标上。注意，所述映射的步骤不依赖于所述相机的镜头属性的模型。所述公共坐标系被映射到所述屏幕，也不依赖于所述相机的镜头属性的模型。在一个示例中，所述投影仪可选地被预校准。再者，任一映射步骤使用所述投影仪的模型来形成。说明性地，所述投影仪的模型包括来自投影仪映射的理想化模型的失真模型。所建模的投影仪至表面的映射通过测量进行预校准。在投影仪是所校准的***的一部分时可推断出所预校准的测量。投影仪至所述公共坐标系的映射可以包括使用所述相机测量所述投影机的重叠与所述投影机的建模重叠之间的差异。由相机测量的差异可以使用边缘混合技术来应用。在实施例中，所述投影仪投射到平坦屏幕上，并且映射到所述公共坐标系包括使用所述一个或多个相机来找出所述可选预校准的投影仪之间的单应矩阵。可替代地，所述投影仪投射到具有已知或参数化的几何形状的弯曲屏幕上。在该情况中，所述投影仪被可选地预校准，并且映射到所述公共坐标系的步骤包括使用所述可选预校准投影仪的投影仪至表面的映射的模型。在实施例中，基准点定位在屏幕上。再者，在实施例中，所述***和方法还包括存储强度和颜色信息以及使用所述投影仪***的被所述一个或多个相机成像的区域来平衡强度和颜色。
附图说明
以下参考附图描述本发明，其中：
图1为一框图，其所示为，由两个投影仪提供的投射显示，其楔形地(keystoned)投射在屏幕上的，以及仅可以对投影仪之间的重叠区域进行成像的相机；
图1A是使用多个投影仪的示例性投影布置，所述多个投影仪重叠并且基于相机所采集的图像进行校准；
图2是依据说明性实施例的整体显示校准过程的框图；
图3a是用在整体校准过程中的预校准投影仪的镜头模型的方法的框图；
图3b是对投影仪的镜头模型进行原位预校准的方法的框图；
图4a是针对平坦屏幕将所投射的像素映射到公共坐标系的框图；
图4b是改进从投影仪至公共坐标系的映射的框图；
图5是针对弯曲屏幕将所投射的像素映射到公共坐标系的框图；
图6是依据说明性实施例的描述颜色和强度校准的方法的框图；
图7为一框图，其所示为，由两个投影仪提供的投射显示，其楔形地(keystoned)投射在屏幕上的，以及可以对投影仪之间的重叠区域进行成像的相机，以及在相机可以成像的屏幕上的基准标记。
具体实施方式
图1示出了屏幕100的轮廓线，其中两个投影仪101和103的轮廓线被示出为重叠。投影仪101和103在屏幕上在区域105中重叠。在该示例中，投影仪超出(overfill)屏幕。将被相机成像的一个或多个屏幕的区域的椭圆形轮廓线示出为有点像圆形的形状107。一般将相机可以成像的区域指示为矩形或梯形。然而如果相机安装了鱼眼镜头，则将它可以成像的视野更准确地表示为圆形或楔形式(底部比顶部稍宽，类似于所述重叠的外观)圆形。此楔形式外观是投影仪和相机光轴这二者相对于屏幕的非垂直定向的结果—这是由于它们在屏幕上方的位置以便维持在用户的视野外的原因。
还注意：相机不需要对整个屏幕成像。在此情况中，将相机定位成对覆盖区域105全体进行成像。再者，本文所描述的说明性过程不要求，并且即使相机不能有效地对整个区域105进行成像的话，也可以进行操作。在一些情形下，较小的相机视野或障碍物可能限制相机采集整个区域的图像的能力。本文的说明性过程可以在重叠区域105的这样的部分图像的情况下进行操作。
应当意识到，自动校准***常常涉及两个步骤：(a)将所投射的像素映射到单个坐标系，以及然后(b)将该坐标系映射到屏幕。通过作为有用的背景技术，参考申请号为2012/0120372的题目为“SYSTEMANDMETHODFORCALIBRATINGADISPLAYSYSTEMUSINGMANUALANDSEMI-MANUALTECHNIQUES”的美国公开专利申请，其教导通过引用合并于此，并且其技术类似于本实施例的教导。所合并的申请采用了手动或半手动技术来执行这两个映射中的每一个。例如，在该专利中，“图8示出了使用附加信息来更新从投影机至公共坐标系的映射的实施例。前几个步骤恰好如同图4中所做的那样。在步骤810中，至公共坐标系的映射如上面所述地形成。在步骤820中,收集关于边界、已知的基准点、边缘、和/或角的附加信息。(在图4中，收集针对屏幕的边界和角落点的这样的信息)。在步骤830中，使用所组合的信息来形成从公共坐标系至屏幕的映射，如同图4中所做的那样。在步骤840中，同时更新至公共坐标系的映射和从公共坐标系至屏幕的映射这二者。在说明性实施例中，这通过将投影仪建模为光学对象来如上文所描述地完成。在该情况中，可以通过投影仪的投影矩阵的估计来改进从投影仪至公共坐标系的映射。以及至公共坐标系的所改变的映射对从公共坐标系至屏幕的映射起作用。例如，结果是可以使用与找出投影仪的光学属性的图4一起描述的最小化来同时改变至公共坐标系的映射和公共坐标系至屏幕的映射这二者。”
本文的说明性实施例涉及自动化技术。
作为进一步的背景，图1A是依据说明性实施例的具有自动校准的示例性显示***100的框图。在该情况中，使用单个相机传感器110来校准三投影仪***。在实施例中，诸如上文图1中所示，采用了两个投影仪(例如，140和142)。如下文所述，本文的原理适于两个或更多个重叠的显示图像。相机110可以是常规的单元(例如，数字SLR)或自定义机构，其能够横跨该***测量投影仪的几何位置、颜色和强度，以及引起校正。如本文所述，可以将相机布置成具有适当的广角(例如，鱼眼)镜头组件111的短程相机。可以提供上方安装件115(采用阴影示出)来安装相机110(或多个相机)。将校准校正***到示例性PC120中所产生的校正中，所述示例性PC120包括用于操作本文的***和方法的存储的永久性软件应用(和/或电子硬件)(块122)；***到在生成的图像中所产生的校正中，所述图像要被发送到图像生成器(IG)(其可以是常规PC)130、132、134，图像生成器(IG)130、132、134继而将该图像(分别)转递至投影仪140、142、144。或者，将该校正直接应用于IG。可以将颜色校正的一部分(分别)上传至互连的投影仪140、142、144。投影仪140、142、144从而将来自一个或多个源的组合图像投射在屏幕150上，一般具有适当的重叠(例如，如所示出的15％重叠)。在说明性实施例中，投影仪之间的互连可以由网络链路(有线和/或无线)控制，其可以包括常规网络交换机160。
图2示出了用于校准***的过程(由虚线框230指示)的概括框图。如上文通常所述的，第一步骤210是将所投射的像素从所有的投影仪映射到公共坐标系上。第二步骤220是将公共坐标系映射到屏幕。虚线框230指示出有时步骤210和220同时执行。举例来说，有时210中的公共坐标系是屏幕的坐标系，在该情况下步骤220不涉及附加的过程或工作。
图3a和3b分别示出了用于预校准投影仪传输功能和该模型中的失真的两种方法。尽管不要求这样的预校准，但是在步骤210中对投影仪镜头的预校准可能非常有用。常常使用单应矩阵或单应矩阵加上径向失真，将投影仪建模为至平坦屏幕的映射像素。常常将单应矩阵分解成本征参数(例如，焦距)和外部参数(例如，旋转和平移)，不过对于本文的步骤的执行而言不要求这样的分解。预校准的目标是对投影仪的径向失真进行建模并对其进行测量，或者更为普遍地测量作为移位场的投影仪的非理想因素(non-idealities)。(常常也这样测量本征变量。)存在许多用来对投影仪镜头进行预校准的方式。
进一步参考图3a和3b，每一个例证了用于预校准的说明性方法。在图3a中，该过程测量投影仪的非理想因素。这可以依据本领域的普通技术来执行。根据图3a的过程，由用户将投影仪导向例如平坦的墙壁(步骤310)。在步骤320中，然后使用具有已校准的镜头的相机来测量该投影机。常常由投影仪投射并由相机成像的采用(例如)棋盘状图案(或另一类似重复/嵌成花纹的)校准图案的形式的校准图案来执行其测量。然后该过程将单应矩阵与该数据拟合，并且找出与单应矩阵的偏差，以及将该单应矩阵分解以找出投影仪的本征属性。在不损失普遍性的情况下，可以以多种方式来存储所述偏差。一种常见技术是追踪返回到投影仪中的射线，并且找出与应当根据单应矩阵追踪的理想像素的偏差，以及与根据测量的实际像素的偏差(步骤340)。一种替代技术是追踪从像素向外到屏幕的射线，并且找出理想值与所测量的值之间的角度的偏差。
注意，已经观测到相同模型的许多投影仪倾向于具有高度相似的失真场和本征参数。因而有可能例如在工厂测量一个失真场，然后将该测量应用于相同模型的所有投影仪。
图3b示出了用于完成该投影仪的相同预校准的替代过程。该替代过程开始于在步骤360，例如使用手动、或半手动自动技术、或另一适当的方法来校准显示***。预见到，可以对该校准步骤(360)的结果进行精细调节以获得在几何学上“完美的”校准。用来校准该***的替代方案是采用一个或多个临时的设置相机，其一个或多个镜头已经非常好地进行了校准。一般来说，将一个或多个临时相机定位在房间的另一侧以提供较长的视距。一旦执行了校准(步骤360)，在步骤370中，可以使用常规技术来反算出从投影仪至屏幕的映射。然后，在步骤380中，测量与理想镜头的偏差。在平坦屏幕的情况中，那是与单应矩阵的差异。在弯曲屏幕的情况中，可以采用简单直接的方式来执行，追踪返回到投影仪中的射线和找出与理想的偏差的更通常的模型。
图3b中的方法可以是有利的，因为校准过程原位执行。然而，一个缺点是该过程常常需要经训练的用户来执行所述步骤。然而，该更多参与的校准过程一般是一次操作(例如，在初始***设置时)，并且该***更为普遍地可由未经训练的个人长期维护。
图4a和4b示出了完成在步骤210的映射的框图。出于本描述的目的，说明性地利用两个投影仪和一个相机，在如图1中所图示的平台屏幕上执行图4a的过程。该过程开始于步骤410，通过可选地校准投影仪镜头失真和本征，其可以如图3a和3b中所描述地执行，或者通过另一方法执行。然后在步骤420中，相机对这两个投影仪之间的混合区(105)中的一些或全部进行成像，并且因此可以定义这两个投影仪之间的对应关系，并且可以根据通常技术确定这两个投影仪之间的单应矩阵。如果已经测量了镜头失真，则两个投影仪之间的映射将为：(a)不应用该投影仪的镜头失真，应用单应矩阵，并且然后(b)应用另一投影仪的镜头失真。在步骤430中，可以定义投影仪之间的公共坐标系。存在用于形成公共坐标系的许多可用技术，并且通过非限制性示例，可以在输入至投影仪之一的像素空间中完成。例如，如果将示例性1024x768投影仪图像输入到投影仪中，则可以定义采用从0...1024和0...768的两个坐标的连续坐标系，然后按需扩展以便映射到另一投影仪上。这样的坐标系可以认为与虚拟相机高度类似。
最后的步骤是步骤220(图2)。执行对该***的初始设置的个人常常选择四个(4)角落点来描述填充区域。虽然投影仪展示了足够的非故意移动(通过震动外部摇动等)以使边缘混合区显得弱，但是它们可以移动足够小的量以不致于显著影响填充区域，因此投影仪中的那四个角落点在该过程中可以继续使用。在该情况中，从公共坐标系至屏幕的映射(步骤220)是单应矩阵(或单应矩阵和可选的失真模型)，并且所述四个角落点足够创建该映射。
不需要用户输入控制点，而是一个或多个相机可以自动检测基准标记，一般是线或点或标记等，其指示应当如何充满该屏幕。在不损失普遍性的情况下，存在许多方式来找出步骤220的从公共坐标系至屏幕的映射。
注意，步骤420中的公共坐标系可替代地可以直接包括屏幕的空间。在该情况中，步骤210和220实际上并发执行。另外，注意，屏幕中的失真，例如不是完全平坦的屏幕中的失真在本文尚未解决。在标准的自动校准技术中，可以潜在地为用户提供用来在自动校准过程完成时对结果进行精细调节的选项。可以将该精细调节定义为并且存储为表示屏幕的非理想因素的矢量场。因而，可能是这样的情况：作为步骤220的部分或者是其后续，应用矢量场。只要屏幕不随着时间改变形状，所推导和存储的矢量场就将维持恒定。
图4b表示步骤430的推荐部分。注意，在边缘混合区(图1中的区域105)中，投影仪之间的不匹配应当非常小以便实现理想的投影。有时边缘混合区中的甚至十分之一的像素偏差可能引起显著的视频劣化。然而，在边缘混合区外侧，容差一般高得多。一具体像素所在的确切斑点常常不关键，并且对于大多数(或所有的)观测者而言来自理想斑点的整个像素的丢失仍可远远足够地维持良好的投影质量。
在边缘混合区，即区域105中，使用单应矩阵与可选的投影仪失真映射的说明性实施例的模型一般非常融洽，但是不完美。在步骤450中，该过程测量投影仪的重叠的所测量数据与模型之间的差异，在该情况下是单应矩阵和可选的投影仪失真映射。所述差异可以表示为位移场。可以采用多种方式来应用所述位移。说明性地，它可以使用从边缘混合步骤460借来的技术来应用。在边缘混合区105的左手侧上，该过程将所有的失真应用到右投影仪103，而一点也不应用到左投影仪101。按这样执行，使得在左投影仪中从边缘混合区外侧至边缘混合区内侧不存在不连续。类似地，在边缘混合区的另一(相对)侧上，该过程将所有的失真应用到左投影仪101，而一点也不应用到右投影仪。在中间，该过程在两个投影仪中从左至右使失真平滑地变化。期望的是采用一般在边缘混合中使用的技术来使位移场平滑地变化。例如，该过程可以适配在下列美国专利申请中所描述的技术版本：序列号为12/049,267、题目为“SYSTEMANDMETHODFORPROVIDINGIMPROVEDDISPLAYQUALITYBYDISPLAYADJUSTMENTANDIMAGEPROCESSINGUSINGOPTICALFEEDBACK”，其教导作为有用的背景信息通过引用合并于此。该专利描述了包括开环方法的多种方法，“在无缝多投影仪***中，如果强度横跨混合区域显现出不均匀的话，必须补偿显示输出的非线性性质以及投影仪的渐晕效应。显示非线性通常使用以下形式的幂定律来建模：输出强度＝(输入强度)γ，其中γ的典型值为2.5，如果忽略渐晕，则两个重叠的投影仪的输入可以使用以下形式的校正的加权函数来混合：w1(x)＝x1/γ和w2(x)＝(1-x)1/γ，其中x在混合区域上从0变化到1。
当存在渐晕时，混合区域的边缘常常明显更暗，这是由于在投影仪的边缘强度衰落。开环方法通过使用以下形式的加权函数弱化了在边缘附近的投影仪的光贡献：w1(x)＝F(x)1/γ和w2(x)＝(1-F(x))1/γ其中F(x)具有以下最小属性：
F(0)＝0，F(1)＝1
F'(0)＝0,F'(1)＝0
零阶导数一阶导数确保了边缘附近的权重小。满足该标准的两个函数是(a)埃尔米特多项式：F(x)＝x2(3-2x)和(b)正弦曲线:F(x)＝(1-COS(πx))/2.还可以使用满足所有标准的其它函数。”
通常的目标是平滑度，如果可能的话，为一阶和二阶导数的平滑度。边缘混合技术一般用于投影仪的重叠区中的强度减小、标量，其中在重叠区的一些侧上强度值为零(0)，而在其它侧处强度值最大。在该情况中，可以针对位移场的每个分量独立地使用相同的技术。
注意，如果，可能由于障碍物而导致，使相机不对边缘混合区的全体进行成像，其可以将位移场外插(extrapolate)至相机不进行成像的区域。
一旦已经测量了所投射的场之间的不匹配，并且已经决定它要如何应用，则在步骤470中，在每个投影仪与公共坐标系之间应用所得到的失真场。
再次参考图4a，将该过程普遍化为两个以上投影仪，以及在一平坦表面上可能有两个以上相机，该过程的高级别步骤类似于上面描述和图解的那些。在步骤410中，该过程可以可选地对投影仪进行校准，如前文所述。该过程可以使用相机来在投影仪(特别是重叠的投影仪对)之间形成成对的单应矩阵。理想地，观看每个边缘混合区，使得可以捕获和校正模型中的任何失真。在420中，该过程在投影仪(或投影仪对)之间形成单应矩阵，如上文所述。在多个相机的情况下，可以针对每个相机应用步骤450至470。有时是这样的情况：相机在所计算的失真上不一致，在该情况中该过程可以应用相机混合算法，即，限定屏幕的区域，在所述区域对来自一个相机的结果比另一个加权得更重。作为这样的算法的一个示例，朝着相机的边缘，相机权重慢慢降低(例如递增地)。然后可以根据其权重-以与边缘混合技术非常类似的方式应用每个相机的结果。
在步骤430中(如应用于多个投影仪和/或相机)，该过程可以以与两投影仪的情况的方式类似的方式来限定公共坐标系。可以使用类似的或相同的相机混合技术，如上文参考步骤420所述的。应当意识到，在多个投影仪的情况下，可能期望限定多个局部坐标系。也就是说，取代在一个空间中为整个显示场建立单个全局坐标系，诸如屏幕的坐标，可料想到该***可以限定可以映射到屏幕的多个局部坐标系。例如，在将图像投影到360度球面的过程中，常常是这样的情况：与一般应用两个全局坐标角相比使用局部坐标更直接简单。因而，如结合步骤210所使用的，可以将公共/全局坐标系定义为彼此映射的多个局部坐标系，使得整个体系仍然连结在一起作为全局体系的一部分。
说明性地，有刻面的屏幕，诸如飞行模拟中所使用的那些，例如WASP屏幕(由GlassMountainOptics,AustinTexas,FlightSafetyInc.的部分制作)可以使用如上文所描述的相同过程/方法来校准。也就是说，可以采用与平坦屏幕类似的方式来处理连结的平坦屏幕。应当注意，虽然使相机永久地安装可能是有用的，但是所论述的过程到目前为止对于被移除然后后期替换的相机而言同样工作良好，并且因此每次不是以相同的方式定位。类似地，可以将一个或多个相机安装在一个或多个云台头(pan-tilthead)上。或者可以使用相机来校准、移除，并且可以后期返回到有点不同的位置。更基本地，用户可以利用手持相机移动到不同的位置并且采集边缘混合区的图像。
对于已知几何形状的弯曲屏幕，诸如穹顶和圆柱体，整个过程是类似的或相同的，不过具体实现方式步骤中的一些将变化。图5描述了该过程；它基本类似于图4a和4b的过程。该过程起始于步骤510，并且可选地对投影仪进行校准，如上面通常描述的。在该情况中，如果该过程在安装屏幕上进行校准，则该过程可以使用从屏幕回到投影仪中的追踪射线来找出镜头模块中的失真。在步骤520中，建立非线性最小化来找出投影仪的外部参数。在该步骤中一般使用适当的图案和尺寸的基准点，其由投影仪上的控制点选择，或者由屏幕上的相机可以成像的标记来选择。非线性最小化一般作为标准光束调整算法来实施。在步骤530中，实施公共坐标系的最简单的一般是屏幕的公共坐标系。因而，如上所述，将步骤220并入步骤210中。
在步骤520中，如果获得了对相机的镜头属性的良好估计，则该信息可以辅助光束调整算法。镜头属性如果可用，则可以以加权的方式，例如朝着中心应用，在所述中心可以合理地精确知道相机的镜头属性。然而，朝着镜头的边缘这样的属性常常不太精确地知道。可替代地，可以使用镜头属性来开始步骤520中的最小化。随着最小化继续，这些镜头属性值可以渐进地(incrementally)去除。可以在，足够众所周知以辅助最小化过程的镜头属性与如此众所周知以辅助将像素映射到屏幕上的镜头属性之间，作出区别。
图6是描述显示***的颜色和强度校准的方法的框图。挑战性的是利用不被相机看见的屏幕的区域对***进行完全颜色和强度校准。同样有挑战性的是利用具有大强度衰落并通常以如图1中示出的方式安装在屏幕之上的相机来测量屏幕的强度。用来这样做的一个机制是针对校准过程在设置时手动地或自动地或通过另一适当的技术来完全校准该***的颜色和强度，步骤610。用来完成该任务的有效方案常常是通过使用临时第二相机。然后该***可以使用安装的相机捕获关于初始颜色和强度的局部信息。然后，随着时间的推移，利用用于该***的一个或多个相机定期地采集屏幕的图像。这些图像被该***用来确定相机是如何改变颜色和强度的，步骤620。基于投影仪的颜色和强度在横跨整个投影仪的范围内按倍数(multiplier)而变化的近似假定，于是可以横跨该整个投影仪对该***应用统一的(uniform)校正，步骤630。
图7是校准***和过程的另外的实施例，其方案基本类似于上文所述的实施例。图7的显示布置因而基本类似于图1的显示步骤。这描绘了两个投影仪显示，其轮廓线被示为701和703，其中公共重叠区域为705(稍微楔形的)。屏幕的轮廓线被示为折线700。相机视野的轮廓线被示为稍微扭曲的圆707。另外，已经增加了标记为例如“X”的基准点。这些基准点中的两个被标号为709和711。相机不能够对诸如709之类的一些基准点进行成像，但是能够对诸如711之类的基准点进行成像。说明性地，基准点标记了所显示的图像中的一定像素应当着落在屏幕上哪里。例如，如果存在规则网格的基准点，以横跨投影仪屏幕方向的10％作为间隔，则可以按那样指示出这样的校准***：要横跨该***显示的图像应当铺开使得其的10％落在每一对基准点之内。
类似于上文所述的一个或多个实施例，可以将投影仪映射到公共坐标系，然后映射至屏幕。在相机可以对基准点进行成像的区域中，比在上面无基准点的实施例中存在更多的图像。在该情况中，基准点主要指示***应当如何将特定的像素映射到屏幕。一旦步骤210的计算完成，就建立从像素至公共坐标系的映射，并且然后这些依据步骤220可以从公共坐标系映射到屏幕。
给定用于计算从公共坐标系至屏幕的现有过程和方法可以容易得出针对步骤220的解，并且可以产生一组新数据，其可得出第二解；因而，挑战是对解进行合并以找出一个统一的解。在该情形下，可以使用加权算法。在相机的边缘，一种方案是向相机应用非常低的权重，使得从相机内部至相机外部将不存在不连续(实质上没有任何不连续)。在相机的中心，可以对该数据赋予较高的权重。还可以基于来自相机的基准点的位置的估计误差来调整相机权重；有效地提供置信度量。
注意，可以在基准点之间，存在运行在适当的处理器上的插值算法。如果它可获得，可以使用相机至屏幕转换的估计来帮助该插值，即使它不完全知道的话也是如此。在投影仪重叠基准点的情况下，可以基于投影仪的模型来进行插值。
注意存在多种类型的基准点，其中的许多基准点可以做成不可见的或不容易被人眼注意到。它们中的一些可以做成极其小的。可以对其它的加水印以降低它们被观看者的可察觉性。基准点还可以在人类不会良好看到但是相机可以的波长(例如，近IR)中作出响应。有时期望的是，在空间上以适当的方式改变基准点，诸如改变颜色、反射率、尺寸、形状等，使得相机可以确定/区分相对于整体场景哪个基准点是哪个。
附加实施例
基于本文所描述的概括原理存在多种的另外的实施例，其可以依据本文的教导实施、与本领域普通技术组合。
说明性地，可以对投影仪进行堆叠和平铺。可以实施堆叠来增强亮度，或者可以实施堆叠来生成立体显示。作为不同的实现方式，可以将投影仪的各个颜色作为单独的投影有效地处理，以校正横向的颜色失真。
说明性地，可以迭代地对该***进行校准。可以基于当前的测量结果集来改变由投影仪所投射的图案，并且可以将相机所收集的新图像与期望图像进行比较以决定校正的容差是否在阈限之下。
在不损失普遍性的情况下可以驱动该***以示出许多不同种类的内容。常见示例包括横跨整个显示器示出视频内容，无论是立体的或二维的像素缓冲，其中在每个投影仪上示出内容的一部分；横跨显示示出单个台式计算机；以及示出飞行模拟器，其中在屏幕上将内容有效地切割成针对投影仪的平截头体。
可以将校准过程的结果设置在多种处理位置中，包括图形卡驱动器，或注入类型的过程，诸如序列号为12/818,102、题目为“SYSTEMANDMETHODFORINJECTIONOFMAPPINGFUNCTIONS”的美国专利申请中所描述的，其教导作为有用的背景信息通过引用而合并。或者可以将结果安装到显示***的存储的光学、机械、热和电子(OMTE，optical,mechanical,thermalandelectronic)参数中。
通过另外的背景，本文的实施例可以与以下美国专利申请中所描述的用于颜色和强度校正/校准的方法和过程结合使用：序列号13/523,852为且题目为“SYSTEMANDMETHODFORCOLORANDINTENSITYCALIBRATINGOFADISPLAYSYSTEMFORPRACTICALUSAGE”，其教导作为有用的背景信息通过引用明确合并于此。在该专利中，它描述了图3：
“在几何映射步骤(310)中，在显示单元与光学传感器之间形成映射。可以采用许多算法/过程来执行此说明性过程。举例来说，ScalableDesktop(由ScalableDisplayTechnologiesofCambridge,Mass制作的软件)建立了由一个或多个相机收集的一序列斑点图案以产生这样的映射。更为普遍地，如本文所使用的术语“算法”应当宽泛地采取以包括使用永久性计算机可读媒体的程序执行所实施的过程/处理的一部分或全部。本文的***和方法可以使用这样的永久计算机可读媒体和/或电子硬件(包括专门用途的计算芯片，诸如FPGA、ASIC等)来实现。另外，在示出和描述了方法步骤或过程块的情况下，明确预见到所述步骤/过程的一部分或全部可以以另一单独的、离散的步骤或过程来现。同样地，各种步骤/过程(或其部分)可以在功能上以不同于所描绘的那些方式的方式进行组合。
光度测定收集阶段(320)可以说明性地开始于从一个或多个相机捕获背景图像，记录外界照明和投影仪黑度水平。如果捕获了背景图像，可以使用多种技术(诸如各种减法技术)将外界和黑度水平照明从后继捕获的图像中去除。在说明性实施例中，数据收集阶段继续进行，在将黑(RGB＝0)输入发送至所有其余的投影仪并且从一个或多个相机捕获图像时，利用完全强度的纯白(RGB＝255)输入图像顺序地对每个投影仪进行照明，一次一个。可以对这些收集的被称为亮图像的图像，进行低通滤波以去除噪声，并且可以通过3X3白平衡矩阵对这些收集的图像进行每个RGB像素缩放。说明性地，该白平衡矩阵可以是对角的。
该过程的下一个阶段是目标形成(步骤330)。在不损失普遍性的情况下，存在许多计算目标图像的机制。说明性地，一种目标形成的方式开始于将每个相机或传感器的亮图像累积成被称为最大输出图像的单个图像。从该最大输出图像中选择活动区域(activeregion)，其可以通过掩膜或其它方法来确定。在各种实施例中，可以对活动区域进行下采样至较低的分辨率。可以将活动区域展开为N维矢量M，其中相机的活动区域中的每个有效像素对应一个维。在一个实施例中，最优目标t*的二次优化求解如下：
t*＝argmin0.5*tT*H*t-w1*t
因此0＜＝t≤M
其中
H＝w2*(DxT*S1*Dx+DyT*S2*Dy)+w3*(DxxT*S3*Dxx+DyyT*S4*Dyy),并且w1、w2、w3是标量权重而Dx和Dy是计算空间x和y第一导数的矩阵，以及Dxx和Dyy是计算x和y二阶导数的矩阵，以及xT和yT是x和y的转置。S1、S2、S3和S4矩阵是对角的，并且在空间上有效地改变可以基于区域、强度和图像强度中的直方图的统计而改变的权重。它们常常作为单位矩阵保留。目标图像必需小于M的约束有效地确保了目标是可实现的。
在最终步骤中，如果必要，可以通过上采样t*计算目标T以达到最大输出图像活动面积的原始维。”
本领域技术人员将意识到对投影仪原位预校准的许多优点。由于对投影仪进行就位(inplace)校准，因此在实际操作点确切地测量所找出的非理想因素和投影仪的模型的参数，而不是与投影仪的所有操作点相关。在该方面，就位预校准类似于找出投影仪的操作点，然后生成投影仪的小扰动模型。
应当意识到，存在许多类型的不精确知道其几何形状的屏幕。存在参数化屏幕，诸如其半径未知的穹顶。对于这些屏幕，在步骤520中的最小化可以包括与这样的屏幕类型相关联的附加的屏幕参数。
还存在被准确描述为“突出”的屏幕，其通常意味着屏幕从顶部到底部的切割会形成平行的直线。这些种类的屏幕可以将垂直方向处理为参数化样条曲线，其参数可以在步骤520中确定。具有轻微曲线的几乎平坦的屏幕在会议室中是常见的突出屏幕。
还存在接近但不精确为圆柱体或穹顶的屏幕。有时，这些屏幕的最容易的解决方案是测量屏幕的几何形状。例如，用户可以指引该***利用来自两个位置的校准相机对投影仪***进行校准，并且采用立体方法/过程计算该屏幕的所建模版本(丢失了整体标量因子)。
由于在本描述的多个方面中提供了对边缘混合技术的描述，因此应当清楚提出边缘混合技术的类型算法的那些技术。根据本文的实施例，显著点在于存在一函数，其一个边界或区域上具有一个值，而在不同的边界或区域上具有另一不同的值。最常见的是，一个值为零(0)，而一个值为另一最大权重。对于矢量函数，常常最简单地处理该矢量中与该矢量的每个元素相分离的每一个元素。因而，每一个元素可以作为标量处理。其间所计算的权重可以以许多方式来计算。熟悉现有技术状态的那些人已经在文献中看到基于距离、距离的平方、城市区块距离等的方法。说明性地，该***和过程可以采用基于拉普拉斯算子(Laplacian)的计算。对于加权函数，一旦限定了加权，就存在用来对权重进行组合的技术，其包括上文所述的技术。
这些边缘混合技术对于弯曲表面特别有价值，以及对于带有复杂倾斜的投影仪的弯曲表面特别有价值。在这些设置的情况下，使具有形状非常复杂的投影仪重叠区成为可行。对于这些更复杂的形状，边缘混合团体已经设计了用来解决这些复杂形状的方法。
应当清楚，上述实施例允许使用短程相机和相关联的广角镜头对多显示***的有效校准，该多显示***无需可用的镜头模型来执行此校准。也就是说，该校准以替代该模型的方式发生并且定义了一些本应由预存在的镜头模型提供的信息。
上述是对本发明的说明性实施例的详细描述。在不偏离本发明的精神和范围的情况下可以作出各种修改和添加。可以视情况将上文所述的各种实施例中每一个的特征与所描述的其它实施例的特征进行组合以在相关联的新实施例中提供许多特征组合。此外，虽然上文描述了本发明的装置和方法的多个单独的实施例，但是本文已经描述的仅仅是对本发明的原理的应用的说明。例如，如本文所使用的，术语“自动”应当意指，以通常没有人类输入或干预的方式，并且作用于存储于电子处理器中的数据以及由电子处理器作用。还应当注意，如本文所使用的，术语“过程”和/或“处理器”应当广泛地理解以包括多种电子硬件和/或基于软件的功能和部件。此外，所描绘的过程或处理器可以与其它过程和/或处理器组合或者被细分成各个子过程或处理器。这样的子过程和/或子处理器可以依据本文的实施例进行各种组合。同样地，可以明确预见，本文这里的功能、过程和/或处理器可以使用电子硬件、构成永久性计算机可读媒体的程序指令的软件、或硬件与软件的组合来实现。同样地，如本文所使用的各种方向和定向术语，诸如“竖直的”、“水平的”、“上”、“下”、“底部”、“顶部”、“侧”、“前”、“后”、“左”、“右”等等，可以仅用相对于固定坐标系(诸如重力)的相对惯例，而不是用作绝对定向。因此，此描述意味着仅是举例说明，而不是以其他方式来限制本发明的范围。

Claims (18)

1.一种利用一个或多个相机校正投影仪***的方法，所述投影仪***具有两个或更多个投影仪，其中不要求所述一个或多个相机对整个屏幕进行成像，所述方法包括步骤：
利用所述一个或多个相机捕获来自所述投影仪的一个或多个投射图案；
将所投射的像素从每个投影仪映射到公共坐标系上，映射的步骤不依赖于所述相机的透镜属性的模型；以及
将所述公共坐标系映射到所述屏幕，而不依赖于所述一个或多个相机的镜头属性的模型。
2.如权利要求1所述的方法，其中所述投影仪被预校准。
3.如权利要求1所述的方法，其中所述映射步骤中的任一个使用所述投影仪的模型来形成。
4.如权利要求3所述的方法，其中所述投影仪的模型包括来自投影仪映射的理想化模型的失真模型。
5.如权利要求3所述的方法，其中所建模的投影仪至表面的映射通过测量进行预校准。
6.如权利要求5所述的方法，其中所预校准的测量在所述投影仪是所校准的***的一部分时推断出。
7.如权利要求1所述的方法，其中投影仪至所述公共坐标系的映射包括使用所述一个或多个相机测量所述投影仪的重叠与所述投影仪的重叠的建模之间的差异的步骤。
8.如权利要求7所述的方法，其中所述投影仪的模型包括来自投影仪映射的理想化模型的失真模型。
9.如权利要求7所述的方法，其中使用边缘混合技术，在所述两个或更多个投影仪与所述公共坐标系之间应用由所述一个或多个相机测量的差异。
10.如权利要求3所述的方法，其中所述投影仪投射到平坦屏幕上，并且映射到所述公共坐标系的步骤包括使用所述一个或多个相机来找出所述投影仪之间的单应矩阵。
11.如权利要求3所述的方法，其中所述投影仪投射到具有已知或参数化的几何形状的弯曲屏幕上，并且映射到所述公共坐标系的步骤包括使用所述投影仪的投影仪至表面的映射的模型。
12.如权利要求1所述的方法，其中将所述公共坐标系映射到所述屏幕还包括使用所述一个或多个相机定位所述屏幕上的基准点。
13.如权利要求1所述的方法，还包括：存储强度和颜色信息以及使用所述投影仪的被所述一个或多个相机成像的区域来平衡强度和颜色。
14.如权利要求10所述的方法，其中所述投影仪被预校准，并且映射到所述公共坐标系的步骤包括使用所述一个或多个相机来找出所述预校准的投影仪之间的单应矩阵。
15.如权利要求11所述的方法，其中所述投影仪被预校准，并且映射到所述公共坐标系的步骤包括使用所述投影仪的投影仪至表面的映射的模型。
16.如权利要求5所述的方法，其中所述测量包括在受控环境中测量来自所述投影仪的数据。
17.如权利要求1所述的方法，其中所述一个或多个相机对所述整个屏幕的第一部分进行成像，从而限定了所述整个屏幕的未被所述一个或多个相机成像的第二部分。
18.一种利用一个或多个相机校正投影仪***的***，所述投影仪***具有两个或更多个投影仪，其中不要求所述相机对整个屏幕进行成像，包括：
一个或多个相机，其捕获来自所述投影仪的一个或多个投射图案的图像；以及，映射过程，其将所投射的像素从每个投影仪映射到公共坐标系上，所述映射过程不依赖于所述相机的镜头属性的模型；以及
所述公共坐标系被映射到所述屏幕，而不依赖于所述一个或多个相机的镜头属性的模型。
CN201480027969.6A 2013-03-15 2014-03-14 利用短程相机校准显示***的***和方法 Pending CN105308503A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361800392P 2013-03-15 2013-03-15
US61/800,392 2013-03-15
PCT/US2014/029402 WO2014144828A1 (en) 2013-03-15 2014-03-14 System and method for calibrating a display system using a short throw camera

Publications (1)

Publication Number Publication Date
CN105308503A true CN105308503A (zh) 2016-02-03

Family

ID=51537807

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480027969.6A Pending CN105308503A (zh) 2013-03-15 2014-03-14 利用短程相机校准显示***的***和方法

Country Status (7)

Country Link
US (1) US9860494B2 (zh)
EP (1) EP2972585A4 (zh)
JP (1) JP2016519330A (zh)
KR (1) KR20160034847A (zh)
CN (1) CN105308503A (zh)
HK (1) HK1220511A1 (zh)
WO (1) WO2014144828A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106331668A (zh) * 2016-08-03 2017-01-11 Tcl集团股份有限公司 一种多投影的图像显示方法及其***
CN107315315A (zh) * 2017-08-28 2017-11-03 北京铂石空间科技有限公司 图像对准装置及投影设备
CN109062484A (zh) * 2018-07-30 2018-12-21 安徽慧视金瞳科技有限公司 一种交互式课堂教学***手动掩膜图获取方法
CN110418120A (zh) * 2018-04-26 2019-11-05 美国科视数字***有限公司 堆叠投影仪对准的***和方法
US10594994B2 (en) 2018-07-30 2020-03-17 Coretronic Corporation Projection system and projection method
US10630949B2 (en) 2017-09-29 2020-04-21 Coretronic Corporation Projection system and automatic setting method thereof
US10652510B2 (en) 2017-09-29 2020-05-12 Coretronic Corporation Projection system and automatic setting method thereof
CN111862051A (zh) * 2020-02-04 2020-10-30 牧今科技 执行自动相机校准的方法和***
US10893246B2 (en) 2017-09-29 2021-01-12 Coretronic Corporation Projection system and automatic setting method thereof
WO2021164440A1 (zh) * 2020-02-19 2021-08-26 深圳光峰科技股份有限公司 一种投影设备、投影***及投影方法
US11508088B2 (en) 2020-02-04 2022-11-22 Mujin, Inc. Method and system for performing automatic camera calibration

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6115214B2 (ja) * 2012-05-22 2017-04-19 株式会社リコー パターン処理装置、パターン処理方法、パターン処理プログラム
KR102220825B1 (ko) * 2013-09-05 2021-03-02 삼성전자주식회사 전자 장치와 전자 장치의 콘텐트 표시방법
WO2015114387A1 (en) * 2014-02-03 2015-08-06 Tv One Limited Systems and methods for configuring a video wall
JP2016109934A (ja) * 2014-12-08 2016-06-20 キヤノン株式会社 画像表示システム及びその制御方法、並びに、プログラム
CN104683725B (zh) * 2015-03-26 2017-08-22 上海亿湾特训练设备科技有限公司 一种基于投影技术的射击定位自动校正***及方法
CN108476311B (zh) * 2015-11-04 2021-04-27 奇跃公司 可穿戴显示***和用于校准可穿戴显示器的方法
JP6569742B2 (ja) 2016-01-13 2019-09-04 株式会社リコー 投影システム、画像処理装置、投影方法およびプログラム
JP6719240B2 (ja) * 2016-03-22 2020-07-08 株式会社五藤光学研究所 映像投映装置およびそれを用いたプラネタリウム装置
RU2657168C2 (ru) * 2016-04-29 2018-06-08 Общество с ограниченной ответственностью "Общество Сферического Кино" Программно-аппаратный комплекс для автоматической калибровки многопроекторных систем с возможностью воспроизводить контент в высоком разрешении с использованием средств шифрования и цифровой дистрибьюции, способ шифрования контента для использования в способе воспроизведения контента
US10298893B2 (en) * 2016-11-11 2019-05-21 Christie Digital Systems Usa, Inc. System and method for digital black level blending
CN108074517B (zh) * 2016-11-17 2019-11-29 西安诺瓦星云科技股份有限公司 逐点校正方法
US11196941B2 (en) 2017-06-12 2021-12-07 Christie Digital Systems Usa, Inc. Fixture for aligning tiled displays
US10288995B2 (en) * 2017-06-15 2019-05-14 Esterline Belgium Bvba Aspherical dome display and method of rear projection
JP2019078786A (ja) * 2017-10-20 2019-05-23 セイコーエプソン株式会社 画像投射システム、プロジェクター、及び画像投射システムの制御方法
AU2017251725A1 (en) 2017-10-24 2019-05-09 Canon Kabushiki Kaisha Calibration of projection systems
US11109010B2 (en) * 2019-06-28 2021-08-31 The United States of America As Represented By The Director Of The National Geospatial-Intelligence Agency Automatic system for production-grade stereo image enhancements
KR102217783B1 (ko) * 2019-11-05 2021-02-19 한양대학교 산학협력단 학습자-교수자간 상호작용 극대화를 위한 5g 텔레프레즌스 기반 hy-live(하이-라이브) 교육 시스템
CN111322978B (zh) * 2019-11-08 2021-02-02 北京航空航天大学 一种非理想平面装配偏差的计算方法
CN110798670A (zh) * 2019-11-11 2020-02-14 成都极米科技股份有限公司 超短焦画幕对齐方法、装置和超短焦投影设备及介质
US20230215130A1 (en) * 2020-06-15 2023-07-06 Sony Group Corporation Image processing apparatus, image processing method, program, and image projection method
WO2022015847A1 (en) 2020-07-15 2022-01-20 Magic Leap, Inc. Eye tracking using aspheric cornea model
KR102408441B1 (ko) * 2020-12-04 2022-06-10 한국항공우주연구원 빔 프로젝트를 이용한 비행체의 영상정보 처리 알고리즘 검증 시스템
WO2024019899A1 (en) * 2022-07-18 2024-01-25 Nant Holdings Ip, Llc Virtual production based on display assembly pose and pose error correction
US20240078946A1 (en) * 2022-09-02 2024-03-07 Apple Inc. Display Pipeline Compensation for a Proximity Sensor Behind Display Panel

Family Cites Families (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6456339B1 (en) 1998-07-31 2002-09-24 Massachusetts Institute Of Technology Super-resolution display
US6219099B1 (en) * 1998-09-23 2001-04-17 Honeywell International Inc. Method and apparatus for calibrating a display using an array of cameras
US6310650B1 (en) * 1998-09-23 2001-10-30 Honeywell International Inc. Method and apparatus for calibrating a tiled display
US6570623B1 (en) * 1999-05-21 2003-05-27 Princeton University Optical blending for multi-projector display wall systems
US6471355B1 (en) * 2000-02-18 2002-10-29 Lockheed Martin Corporation Image control system
US6520647B2 (en) 2000-08-17 2003-02-18 Mitsubishi Electric Research Laboratories Inc. Automatic keystone correction for projectors with arbitrary orientation
US6733138B2 (en) 2001-08-15 2004-05-11 Mitsubishi Electric Research Laboratories, Inc. Multi-projector mosaic with automatic registration
US6781591B2 (en) 2001-08-15 2004-08-24 Mitsubishi Electric Research Laboratories, Inc. Blending multiple images using local and global information
US6677956B2 (en) 2001-08-15 2004-01-13 Mitsubishi Electric Research Laboratories, Inc. Method for cross-fading intensities of multiple images of a scene for seamless reconstruction
US6527395B1 (en) 2001-12-10 2003-03-04 Mitsubishi Electric Research Laboratories, Inc. Method for calibrating a projector with a camera
JP2003219324A (ja) * 2002-01-17 2003-07-31 Olympus Optical Co Ltd 画像補正データ算出方法、画像補正データ算出装置及びマルチプロジェクションシステム
US7242818B2 (en) 2003-01-17 2007-07-10 Mitsubishi Electric Research Laboratories, Inc. Position and orientation sensing with a projector
US6729733B1 (en) * 2003-03-21 2004-05-04 Mitsubishi Electric Research Laboratories, Inc. Method for determining a largest inscribed rectangular image within a union of projected quadrilateral images
US6755537B1 (en) * 2003-03-21 2004-06-29 Mitsubishi Electric Research Laboratories, Inc. Method for globally aligning multiple projected images
US6715888B1 (en) 2003-03-21 2004-04-06 Mitsubishi Electric Research Labs, Inc Method and system for displaying images on curved surfaces
US6811264B2 (en) 2003-03-21 2004-11-02 Mitsubishi Electric Research Laboratories, Inc. Geometrically aware projector
US6709116B1 (en) * 2003-03-21 2004-03-23 Mitsubishi Electric Research Laboratories, Inc. Shape-adaptive projector system
US6834965B2 (en) 2003-03-21 2004-12-28 Mitsubishi Electric Research Laboratories, Inc. Self-configurable ad-hoc projector cluster
KR100652156B1 (ko) 2003-03-26 2006-11-30 마츠시다 덴코 가부시키가이샤 밝기 조절 필터 생성 방법 및 가상 공간 생성 시스템
US7292269B2 (en) 2003-04-11 2007-11-06 Mitsubishi Electric Research Laboratories Context aware projector
US7001023B2 (en) 2003-08-06 2006-02-21 Mitsubishi Electric Research Laboratories, Inc. Method and system for calibrating projectors to arbitrarily shaped surfaces with discrete optical sensors mounted at the surfaces
US6764185B1 (en) 2003-08-07 2004-07-20 Mitsubishi Electric Research Laboratories, Inc. Projector as an input and output device
US7421111B2 (en) 2003-11-07 2008-09-02 Mitsubishi Electric Research Laboratories, Inc. Light pen system for pixel-based displays
JP4501481B2 (ja) * 2004-03-22 2010-07-14 セイコーエプソン株式会社 マルチプロジェクションシステムのための画像補正方法
US7137707B2 (en) 2004-07-01 2006-11-21 Mitsubishi Electric Research Laboratories, Inc Projector-camera system with laser pointers
US7154395B2 (en) 2004-07-01 2006-12-26 Mitsubishi Electric Research Laboratories, Inc. Interactive wireless tag location and identification system
WO2006014598A2 (en) * 2004-07-08 2006-02-09 Imax Corporation Equipment and methods for the display of high resolution images using multiple projection displays
US7355583B2 (en) 2004-08-10 2008-04-08 Mitsubishi Electric Research Laboretories, Inc. Motion-based text input
WO2006025191A1 (ja) 2004-09-01 2006-03-09 Olympus Corporation マルチプロジェクションシステムにおける幾何補正方法
JP4615519B2 (ja) * 2004-09-15 2011-01-19 三菱電機株式会社 画像投影システム及び画像幾何補正装置
US7252387B2 (en) 2005-03-21 2007-08-07 Mitsubishi Electric Research Laboratories, Inc. System and method for mechanically adjusting projector pose with six degrees of freedom for image alignment
JP4591768B2 (ja) * 2005-03-24 2010-12-01 ソニー株式会社 画像形成装置および方法
JP2005354680A (ja) * 2005-05-23 2005-12-22 Olympus Corp 画像投影システム
US20070115397A1 (en) 2005-06-24 2007-05-24 Fakespace Labs, Inc. Projection display with internal calibration bezel for video
US20070115361A1 (en) 2005-06-24 2007-05-24 Fakespace Labs, Inc. Dual camera calibration technique for video projection systems
JP2006074805A (ja) * 2005-09-20 2006-03-16 Hitachi Ltd マルチプロジェクション映像表示装置
US7763836B2 (en) * 2006-04-21 2010-07-27 Mersive Technologies, Inc. Projector calibration using validated and corrected image fiducials
US7740361B2 (en) * 2006-04-21 2010-06-22 Mersive Technologies, Inc. Alignment optimization in image display systems employing multi-camera image acquisition
WO2007136372A1 (en) * 2006-05-22 2007-11-29 Thomson Licensing Video system having a touch screen
US20080129894A1 (en) * 2006-12-02 2008-06-05 Electronics And Telecommunications Research Institute Geometric calibration apparatus for correcting image distortions on curved screen, and calibration control system and method using the same
US8042954B2 (en) * 2007-01-24 2011-10-25 Seiko Epson Corporation Mosaicing of view projections
US8994757B2 (en) * 2007-03-15 2015-03-31 Scalable Display Technologies, Inc. System and method for providing improved display quality by display adjustment and image processing using optical feedback
US8218003B2 (en) * 2007-10-05 2012-07-10 Seiko Epson Corporation Optimization strategies for GPU view projection matrix implementation
US8944612B2 (en) * 2009-02-11 2015-02-03 Hewlett-Packard Development Company, L.P. Multi-projector system and method
JP2010191311A (ja) * 2009-02-20 2010-09-02 Seiko Epson Corp 画像表示装置、画像表示方法、およびプロジェクションシステム
US7901095B2 (en) * 2009-03-27 2011-03-08 Seiko Epson Corporation Resolution scalable view projection
US8934018B2 (en) * 2009-03-30 2015-01-13 Nec Corporation Multiprojection display system and screen forming method
US8328365B2 (en) * 2009-04-30 2012-12-11 Hewlett-Packard Development Company, L.P. Mesh for mapping domains based on regularized fiducial marks
WO2010138128A1 (en) * 2009-05-29 2010-12-02 Hewlett-Packard Development Company, Lp Multi-projector system and method
US20100321382A1 (en) 2009-06-18 2010-12-23 Scalable Display Technologies, Inc. System and method for injection of mapping functions
US8045006B2 (en) * 2009-07-10 2011-10-25 Seiko Epson Corporation Method and apparatus for determining the best blending of overlapped portions of projected images
KR20140048073A (ko) * 2010-11-15 2014-04-23 스케일러블 디스플레이 테크놀로지스, 인크. 수동 및 반자동 기법을 사용하여 디스플레이 시스템을 교정하는 시스템 및 방법
US9497447B2 (en) * 2011-06-15 2016-11-15 Scalable Display Technologies, Inc. System and method for color and intensity calibrating of a display system for practical usage
US9066088B1 (en) * 2011-07-18 2015-06-23 Mersive Technologies, Inc. Color measurement and correction of multiple display devices

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106331668B (zh) * 2016-08-03 2019-03-19 深圳市Tcl高新技术开发有限公司 一种多投影的图像显示方法及其***
CN106331668A (zh) * 2016-08-03 2017-01-11 Tcl集团股份有限公司 一种多投影的图像显示方法及其***
CN107315315A (zh) * 2017-08-28 2017-11-03 北京铂石空间科技有限公司 图像对准装置及投影设备
US10630949B2 (en) 2017-09-29 2020-04-21 Coretronic Corporation Projection system and automatic setting method thereof
US10652510B2 (en) 2017-09-29 2020-05-12 Coretronic Corporation Projection system and automatic setting method thereof
US10893246B2 (en) 2017-09-29 2021-01-12 Coretronic Corporation Projection system and automatic setting method thereof
CN110418120A (zh) * 2018-04-26 2019-11-05 美国科视数字***有限公司 堆叠投影仪对准的***和方法
US10594994B2 (en) 2018-07-30 2020-03-17 Coretronic Corporation Projection system and projection method
CN109062484A (zh) * 2018-07-30 2018-12-21 安徽慧视金瞳科技有限公司 一种交互式课堂教学***手动掩膜图获取方法
CN109062484B (zh) * 2018-07-30 2022-08-02 安徽慧视金瞳科技有限公司 一种交互式课堂教学***手动掩膜图获取方法
CN111862051A (zh) * 2020-02-04 2020-10-30 牧今科技 执行自动相机校准的方法和***
US11508088B2 (en) 2020-02-04 2022-11-22 Mujin, Inc. Method and system for performing automatic camera calibration
WO2021164440A1 (zh) * 2020-02-19 2021-08-26 深圳光峰科技股份有限公司 一种投影设备、投影***及投影方法

Also Published As

Publication number Publication date
KR20160034847A (ko) 2016-03-30
US20140313423A1 (en) 2014-10-23
HK1220511A1 (zh) 2017-05-05
JP2016519330A (ja) 2016-06-30
US9860494B2 (en) 2018-01-02
EP2972585A1 (en) 2016-01-20
WO2014144828A1 (en) 2014-09-18
EP2972585A4 (en) 2016-10-19

Similar Documents

Publication Publication Date Title
CN105308503A (zh) 利用短程相机校准显示***的***和方法
US11269244B2 (en) System and method for calibrating a display system using manual and semi-manual techniques
US10750141B2 (en) Automatic calibration projection system and method
JP4495041B2 (ja) ピンホール投影により表示面上のレーザポイントと関連付けられるプロジェクタ画素を求める方法
TWI253006B (en) Image processing system, projector, information storage medium, and image processing method
US8730130B1 (en) System and method for automatically aligning immersive displays
CN104956665B (zh) 投射装置及图像校正方法
US20120300044A1 (en) Systems and Methods for Alignment, Calibration and Rendering for an Angular Slice True-3D Display
CN105205796A (zh) 广域图像获取方法和装置
JP2008533501A (ja) コンピュータ実施によるプロジェクタの姿勢を調整する方法、及び、プロジェクタの姿勢を調整する装置
JP2008288714A (ja) 映像投影システム
WO2006025191A1 (ja) マルチプロジェクションシステムにおける幾何補正方法
US20160189434A1 (en) System for reproducing virtual objects
CN110191326A (zh) 一种投影***分辨率扩展方法、装置和投影***
JP2005244835A (ja) マルチプロジェクションシステム
CN108076332A (zh) 数字黑电平混合的***和方法
CN102628693A (zh) 一种用于摄像机主轴与激光束进行平行配准的方法
US11284052B2 (en) Method for automatically restoring a calibrated state of a projection system
WO2022126430A1 (zh) 辅助对焦方法、装置及***
CN117152400B (zh) 交通道路上多路连续视频与三维孪生场景融合方法及***
TW202230278A (zh) 雙影像融合方法與裝置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160203