CN104811637A - 投影***、图像处理装置和校正方法 - Google Patents

Abstract

投影***包括：多个投影单元，共同地将图像整体投影在投影区域上；生成单元，基于指定的关系生成包括校正点的校正图像，所述校正点用于检测投影图像的失真；和补偿系数计算单元，其基于从投影区域上的校正图像获取的校正捕捉图像来计算补偿系数。此外，在校正图像中以这种方式生成余量部分：使得定义了校正图像内的校正点的部分被投影在投影区域内，同时与彼此相邻的投影单元相对应的定义了校正图像内的校正点的部分重叠。

Description

投影***、图像处理装置和校正方法

技术领域

本发明一般地涉及投影***、图像形成装置、校正方法、***和程序。更具体地，本发明涉及用于通过多个投影仪在投影体上投影图像的投影***、被包括在投影***中的图像处理装置、通过计算机执行的校正方法、包括用于实现图像处理装置的程序的***和投影装置。

背景技术

最近，多投影技术受到了越来越多的关注，在该多投影技术中多个投影仪以使得来自投影仪的投影图像在重叠区域内彼此重叠的方式被布置，从而可以在屏幕上投影单个高分辨图像。

已知在日本专利No.3908255(“专利文献1”)中公开了这样的多投影技术。在专利文献1的图像投影***中，在校正中，从每个投影仪将具有四个或更多其坐标位置已知的特征点的参考图像投影在屏幕上。在此，参考图像是指其中例如以恒定间隔布置亮点或十字的已知图像。

然后，检测在由数字相机所捕捉的(成像的)参考图像上的特征点的位置。此外，基于所检测的投影仪的四个或更多特征点的位置，投影仪的投影图像被变换，检测重叠区域，并且进行混合处理。通过由投影仪在屏幕上以使得图像被布置以便彼此具有重叠区域的方式投影所变换的并且混合处理过的图像，可以投影单个高分辨图像。

此外，存在关于多投影或堆叠生产中的校正方法的已知技术(参见例如日本专利特开2013-074475号公报(“专利文献2”))。

在上文描述的相关技术投影***中，假设其中可以进行投影而无需特别注意投影图像在像墙壁之类的宽屏幕中的位置的状况。然而，可能存在这样的情况，其中期望投影图像被成像为适合像用于展示事件、广告等的具有腿的白板的、与墙壁分离的平面屏幕内，或者期望投影图像被成像为适合附于具有诸如大理石之类的图案的墙壁(而不与墙壁分离)的专用屏幕的投影区域内。

发明内容

根据本发明的一个方面，投影***包括：多个投影单元，共同将图像整体投影在投影区域上；生成单元，基于投影单元的投影图像与投影区域之间的指定关系，生成包括相应的校正点的校正图像，所述校正点用于检测由相应的投影单元投影的投影图像的失真；和补偿系数计算单元，基于通过捕捉在投影区域上投影的校正图像而获取的一个或多个校正捕捉图像，计算与投影单元对应的补偿系数。此外，所述生成单元还以如下方式在与在投影区域的外部区域中投影所述投影图像的投影单元对应的校正图像中生成余量部分：使得在所述校正图像内定义了校正点的部分被投影在投影区域内，同时与彼此相邻的投影单元相对应的在所述校正图像内定义了校正点的部分重叠。

附图说明

当结合附图阅读时本发明的其他目标、特征和优势将从下面的描述中变得更为明显，附图中，

图1是示意性图示根据实施例的投影***的示例性整体配置的图；

图2是根据实施例的投影***的示例性功能方框图；

图3A至3D是图示在校正处理中的问题的图；

图4A至4E是图示在校正处理中另一问题的图；

图5A至5C是示例性图示按行水平布置的各个校正图像，根据第一实施例所述校正图像被生成用于三个投影仪；

图6A和6B图示当使用图5A至5C的校正图像时的示例投影状态；

图7是根据第一实施例的校正处理的整体处理的流程图；

图8是图示由根据第一实施例的图像处理设备引起的通过多个投影仪投影的校正投影场景的示例的图；

图9是图示根据实施例由几何补偿系数计算部分计算几何补偿系数的示例计算处理的流程图；

图10A和10B是图示使用合并校正点坐标(integrated correction pointcoordinate)通过线性外插来计算可投影区域的周边(circumference)坐标的方法的图；

图11是图示在第一校正之后三个投影仪的可投影区域、投影目标区域和内容图像在合并坐标系上的示例映射的图；

图12是图示在第一校正之后在投影仪存储器上的坐标相对于与投影内容图像的位置相对应的相同放大内容图像的像素位置的关系的图；

图13是图示混合系数相对于在投影仪存储器上的坐标的关系的图；

图14A图示几何补偿系数的示例数据结构；

图14B图示混合系数的示例数据结构；

图15是图示根据实施例由补偿处理部分所进行的基于补偿系数的示例补偿处理的图；

图16是图示根据实施例用于对投影目标区域的四个角位置的精细调整的示例用户界面屏幕的图；

图17是图示在调整之后三个投影仪的可投影区域、投影目标区域和相同放大内容图像到合并坐标系上的示例性映射的图；

图18是图示在调整之后在投影仪存储器上的坐标相对于在与投影内容图像的位置相对应的相同放大内容图像上的像素位置的关系的图；

图19A至19D是图示可以应用根据实施例的校正处理的多投影的其他示例的图；

图20是图示在另一实施例中从投影仪投影的校正投影场景的示例的图；

图21A和21B是图示超短焦投影仪的投影图像与安装条件之间的关系的图；

图22A是图示在校正图案可以基于投影仪的投影图像与安装条件之间的各种几何条件而适当地覆盖屏幕的情况下的示例投影状态的图；

图22B是图示在校正图案基于各种几何条件而从屏幕的上侧突出的情况下的示例投影状态的图；

图22C是图示在校正图案基于各种几何条件而从屏幕的上侧、下侧、左侧和右侧突出的情况下的示例投影状态的图；

图23是根据第二实施例的校正处理的整体处理的流程图；

图24A和24B是图示包括各自的屏幕对应区域指定标记的初始校正的图像和作为该初始校正的图像的投影的初始校正投影图像的图；

图25A至25C是图示根据第二实施例的余量计算处理的示例的图；

图26是图示可以适当地应用基于高宽比的余量指定模式和基于屏幕对应区域指定的余量指定模式的状态的图；和

图27是图示根据实施例的通用计算机设备的示例硬件配置的图。

具体实施方式

在多投影技术的相关领域技术中，基本上使用用于校正的图像，其中在整个可投影图像的每个部分中以点阵(lattice)的方式布置特征点。在这种情况下，期望调整投影图像的位置、变焦(zoom)和投影仪的投影角度，以便在要在其上投影的各自投影区域内投影图像，其中特征点的图案被投影以便投影图像而在不在图像之间形成空隙。

然而，依赖于条件，难以进行调整。这是因为，由于在诸如要在其上投影的投影区域的高宽比之类的形状特征与诸如投影仪的可投影区域的高宽比和连接(投影仪)的数目之类的安装条件之间的关系，可调整范围是有限的。

考虑到该问题做出本发明，并且本发明可以提供投影***、图像处理装置、校正方法、***和程序，它们能够基于在投影仪的投影图像与其中由投影仪投影整个图像的投影目标区域之间的关系容易地进行多个投影部件(投影仪)的校正操作。

在下文中描述本发明的实施例。然而，应当注意到，本发明不限于这些实施例。在下面的实施例中，作为投影***的示例，描述了投影***100，其包括作为投影部件的多个投影仪、作为成像部件的相机和进行总体控制的图像处理装置。

整体配置

图1示意性地图示根据实施例的投影***100的示例总体配置。图1的投影***100包括进行***的总体控制的图像处理装置110、多个投影仪150、相机160和输入设备170。投影***100的配置不限于特定配置。

然而，在下面的描述中，描述这样的情况，其中在投影表面上组合三个投影仪150a、150b和150c的投影图像(也就是，与所谓“多投影”相对应的配置)，使得基于组合图像的图像被投影在比单个投影仪的投影区域更大的区域内。

典型地可以使用诸如个人计算机、工作站等的通用计算机，作为图像处理装置110。请注意，图像处理装置110不限于这样的通用计算机。例如，图像处理装置110可以被实施为专用计算机。另外，图像处理装置110可以被实施在投影仪150的任意一个中或者实施在诸如平板计算机的设备中。

投影仪150是采用液晶方法、数字光处理(DLP)方法、硅上液晶(LCOS)方法等的投影设备。相机160是成像设备，其包括诸如互补金属氧化物半导体(CMOS)、电荷耦合器件(CCD)等的图像传感器和用于在图像传感器的光接收区域上形成图像的诸如透镜的成像形成光学***。相机160可以被提供为诸如环球网(WEB)相机、数字静止相机、数字摄相机等的专用设备，或者可以被集成至诸如智能电话终端、平板终端等的设备中。

输入设备170指诸如鼠标、键盘、触摸面板、操作面板等的输入设备，用于从用户接收指令。当生成图像用于校正时以及当校正结果被精细调整时，使用输入设备170。在此，输入设备170可以连接至图像处理装置110、投影仪150或者相机160，或者输入设备170可以是集成于其中的设备。

在投影***100中，安装了屏幕102，屏幕102是提供投影的区域的投影体。投影仪150以使得由投影仪150投影的各自图像的投影中心在屏幕102上彼此分离的方式而安装。图像处理装置110生成用于要由投影仪150a、150b和150c投影的多个投影图像的数据，并且向相应投影仪150输出用于多个投影图像的数据。

投影仪150在屏幕102上投影从图像处理装置110输入了数据的相应投影图像。在屏幕102上，如在图1中图示，由相应投影仪150a、150b和150c投影多个投影图像104a、104b和104c。投影图像104a、104b和104c在投影表面上组合以形成单个投影图像106。

在投影***100中，在投影(投影模式)之前通常进行校正处理。在校正处理(校正模式)中使用图1的相机160。在校正模式中，投影仪150输出要被用于校正的相应图像(“校正图像(corrected image)”)，并且在屏幕102上投影对应的投影图像。在此，以使得投影图像被投影在视角内的方式设置相机160的视点和视场。为此目的，典型地，进行几次用于校正的图像形成。

通过相机160捕捉的捕捉图像(下文中，其中捕捉了校正的图像的捕捉图像被称作“校正捕捉图像”)经由诸如无线局域网(LAN)、蓝牙(注册商标)、无线通用串行总线(USB)等的无线连接或者经由诸如有线USB、有线LAN等的有线连接被传输至图像处理装置110。另外，可以通过图像处理装置110经由诸如SD卡(注册商标)、紧凑快闪(注册商标)等的可移除介质来读取捕捉的图像。

图像处理装置110通过使用一个或多个被输入至图像处理装置110的校正用捕捉图像来进行校正处理。在完成校正之后，图像处理装置110在基于校正结果补偿内容图像的同时，进行内容图像的投影。在下文中，参考图2，描述与校正处理和在校正之后的投影处理有关的示例功能配置。

功能配置

图2是根据实施例的投影***100的功能框图。投影***100包括内容存储部件112。投影***100还包括与投影仪150a、150b和150c对应的补偿处理部件114a、114b和114c、投影图像输出部件116a、116b和116c、和切换部件124a、124b和124c。投影***100还包括校正条件接收部件118、校正场景生成部件120、校正图像存储部件122、校正捕捉图像输出部件126和补偿系数计算部件130。

内容存储部件112存储作为要被投影为单个投影图像106的信号源的内容图像。可以使用随机存取存储器(RAM)、硬盘驱动(HDD)、固态硬盘(SSD)、具有存储器区域的可拆卸可移除介质等作为内容存储部件112。

在此，要被投影的内容图像可以作为当在诸如展示(presentation)之类的应用中执行文件时被显示的显示屏幕而给出，或者可以作为静止图像文件或者作为在运动图像文件中的任意时刻的帧而给出。另外，内容图像可以作为通过执行操作***所生成的图像或者作为外部输入的视频图像而给出。在下文中，为了解释性的目的，描述其中给出静止图像作为内容图像的情况作为示例。

提供补偿处理部件114a、114b和114c以便对应于在投影***110中包括的投影仪150a、150b和150c。补偿处理部件114a、114b和114c从内容存储部件112中读取内容图像，并且对内容图像进行补偿处理以便生成用于投影仪150a、150b和150c的相应投影图像。

提供投影图像输出部件116a、116b和116c以便对应于在投影***100中包括的投影仪150a、150b和150c。投影图像输出部件116a、116b和116c包括与投影仪150a、150b和150c连接的各自的显示输出接口，以便输出由切换部件124a、124b和124c所选择的输入图像。

切换部件124a、124b和124c基于投影***100的操作模式来切换图像信号的流。在投影内容图像的投影模式中，切换部件124a、124b和124c选择来自于补偿处理部件114a、114b和114c的相应输出以输入至切换部件124a、124b和124c中。

另一方面，在校正模式中，切换部件124a、124b和124c选择来自于校正图像存储部件122的相应输出以输入至切换部件124a、124b和124c中。相应地，投影图像输出部件116a、116b和116c输出各自的校正图像。

校正图像存储部件122存储在校正模式中要从投影仪150a、150b和150c投影的校正图像。可以使用RAM、HDD、SSD、具有存储器区域的可拆卸可移除介质等作为校正图像存储部件122。基于由校正条件接收部件118所接收的各种条件，校正图像典型地由校正场景生成部件120生成为静止图像。下文中描述生成校正图像的处理的细节。

在根据实施例的校正处理中，用于校正的图像被捕捉几次。图像处理装置110从校正图像存储部件122中读取校正图像，并且致使投影仪150a、150b和150c以适时的方式输出相应的校正图像。在这种情况下，图像处理装置110知晓投影仪150a、150b和150c的投影图像的位置关系。

此外，图像处理装置110按照校正处理的步骤选择校正图像，并且致使投影仪150a、150b和150c投影所选择的校正图像，以便必然并且充分地作为整体获取所有投影仪150a、150b和150c的校正结果。在下文中，在校正处理的步骤中由投影仪150a、150b和150c投影图像而形成的场景被称作“校正投影场景”。

用户使用相机160以使得投影的校正图像位于相机160的视角之内的方式来捕捉用于校正投影场景的图像。校正捕捉图像输入部件126经由无线连接、有线连接或可移除介质从相机160接收所捕捉图像的输入，以便获取多个校正捕捉图像。

补偿系数计算部件110基于其中捕捉了相应的投影校正图像的一个或多个校正捕捉图像计算与投影仪150a、150b和150c对应的补偿系数。更具体地，补偿系数计算部件130包括特征点提取合并部件(characteristic pointextraction integration section)132、几何补偿系数计算部件134和混合系数计算部件136。

特征点提取合并部件132从由校正捕捉图像输入部件126响应于上述的一个或多个校正投影场景而获取的一个或多个校正捕捉图像中提取特征点。

在此，假设校正捕捉图像和校正投影场景彼此相关联，并且被输入至校正捕捉图像输入部件126中。在所描述的实施例中，校正图像包括要被用于检测投影该校正图像的投影仪的投影图像的失真的校正图案的布置。特征点提取合并部件132提取由校正图案所定义的校正点组。从校正捕捉图像中所提取的特征点被提取为在提取原始图像的坐标系上的坐标位置，并且被合并至单个坐标系。

几何补偿系数计算部件134基于用于投影仪150a、150b和150c的校正点组来计算几何补偿系数，并且设置要在补偿处理部件114a、114b和114c中使用的几何补偿系数。几何补偿系数是其中包括(考虑)了诸如位置对准、尺度(scale)对准、失真补偿等的几何补偿因素的补偿系数，以便提供从投影仪150a、150b和150c投影的投影图像。

混合系数计算部件136计算投影图像的混合的补偿系数，并且设置要在补偿处理部件114a、114b和114c中使用的补偿系数。混合系数是当图像在重叠区域中叠加时用于调节颜色和亮度的补偿系数。

更具体地，混合系数计算部件136检测其中目标投影仪的图像和与该目标投影仪邻近的其他投影仪的每个图像相重叠的重叠区域，并且基于重叠区域的检测结果来计算混合系数。通过使用对于投影仪150a、150b和150c的混合系数，变得能够平滑地组合在彼此邻近的投影仪的投影图像之间的重叠区域内的图像。

补偿处理部件114a、114b和114c通过使用由几何补偿系数计算部件134和混合系数计算部件136所计算的各种补偿系数，基于要被投影为整体的内容图像生成要从投影仪150a、150b和150c输出的投影图像。更具体地，通过使用所计算的几何补偿系数，基于作为整体的图像生成用于投影仪150a、150b和150c的中间图像。

此外，基于中间图像，通过使用所计算的混合系数来生成相应的最终投影图像。在其中投影内容图像的投影模式中，切换部件124a、124b和124c被切换以选择输入来自于补偿处理部件114a、114b和114c的各自的输出。相应地，投影图像输出部件116a、116b和116c输出作为补偿处理部件114a、114b和114c的处理结果而给出的各自的投影图像。

此外，在图2中图示的实施例中，描述了其中在单个图像处理装置110中实现元件(功能部件)112至136的情况。然而，本发明的投影***100不限于图2中图示的***。例如，在另一实施例中，为了降低随着投影仪数目增加而集中于图像处理设备上的工作负荷，可以在相应的投影仪中实现补偿处理部件的功能。

在另一实施例中，元件(功能部件)112至136被分布式地实现到两个或更多图像处理装置110中。另外，所有的元件(功能部件)112至136被实现在投影仪中的任何一个中。另外，可以提供单个装置，其包括图像处理装置110和多个投影仪的功能。在另一实施例中，可以通过服务器经由网络提供补偿系数计算部件130的功能。

根据第一实施例的校正图像的生成处理

在下文中，参考图3A至6B更详细地描述在第一实施例中生成校正图像的生成处理。如上文中所描述的，在投影***100中，对于校正投影场景的每个，投影仪150a、150b和150c投影相应的校正图像，并且通过相机160以使得可以在相机160的视角之内捕捉所投影的投影图像的方式来捕捉所投影的投影图像。

在典型的相关技术的校正中，广泛地(固定地)使用如在图3A中图示的校正图像500，其中在整个可投影图像区域内定义校正点的校正图案(在图3的示例中，圆形图案)在该区域的每部分中以点阵的方式而布置。由于该特征，当试图通过改变变焦、投影角度等以使得校正图案不突出至屏幕显示范围之外并且不产生空隙的方式调整投影图像的位置和尺寸时，可能存在其中不能取决于条件进行调整的情况。这是因为，取决于在诸如要在其上投影的屏幕的高宽比之类的形状特征和诸如投影仪的可投影区域的高宽比和连接的投影仪的数目等的安装条件之间的关系，可能限制可调整范围。

在此，描述其中获取投影图像506的情况，在该投影图像506中具有M：N的高宽比的内容图像恰好适合具有M：N的高宽比的屏幕502。此外，在这种情况下，假设屏幕502和内容图像的高宽比是以水平长的(横向的)形状的48:10，并且使用具有16:10的高宽比和1280乘800的分辨率的、在水平方向上布置在一条线上的三个投影仪。

为了以使所投影的校正图案不突出至屏幕502之外的方式来投影校正图案，如在图3C中所图示的，需要投影校正图像500a、500b和500c而完全不形成任何重叠的区域。当不形成重叠的区域时，因为由于在实际使用中投影图像的失真而可能产生如在图3D中图示的空隙，所以变得难以适当地连接投影图像。

另一方面，当要确保重叠区域的合适的量时，如在图4A中所图示的，在校正图像500a、500b和500c中的校正图案的至少部分可能突出至屏幕502之外。当在屏幕502的内部和外部之间不存在阶梯(step)时，这样的突出可能不会引起问题。然而，当例如使用具有与墙壁分离的带腿的白板作为平面屏幕时，突出的校正图案被投影在与带腿的白板分离的地点。

此外，当在屏幕502的边界附近存在校正图案时，校正图案的部分可能丢失(缺失)或者可能如在图4B中图示那样变形，使得校正图案的几何中心的位置信息可能不能被正确地提取并且相应地在校正结果中可能产生失真。

此外，如在图4C中图示，屏幕502贴附于由大理石制成的墙壁，并且校正图案可能被投影于在屏幕502之外的其中存在图案的区域。在这种情况下，图案可能成为噪声，并且可能附着于在屏幕边界附近的图案。此外，这样的噪声可能被错误地检测为图案。当校正图案附着于该图案时，图案的几何中心可能偏移，使得变得难以准确地检测图案的位置信息并且相应地在校正结果中可能产生失真。此外，如果不应当被检测到的图案被错误地检测，则可能变得难以使点阵图案对应于在投影仪存储器上的坐标，这可能引起提取错误。

此外，在离投影仪极近距离处的屏幕上投影图像的超短焦投影仪的情况下，甚至当在屏幕中存在微小的突起和凹陷弯曲时，也可能在投影图像中产生非线性失真。由于此原因，比平常情况更容易发生如在图4D中图示的校正图案突出到屏幕之外，并且形成图像不能被投影的区域，使得如在图4D和4E中图示的那样，在投影图像中缺少要投影的内容图像的部分。

为了克服这些问题，在根据第一实施例的投影***100中，校正条件接收部件118从用户接收投影仪150a、150b和150c的安装条件和屏幕102的形状特征的输入。此外，校正场景生成部件120生成校正图像，该校正图像基于安装条件和形状特征之间的关系针对投影仪150a、150b和150c被优化。此外，在优选的实施例中，要被用作位置对准的标记的四角标记区域被包括在校正图像中，使得校正图像的四个角位于屏幕102的四个角处。

通过具有四角标记，变得能够提供用户界面，该用户界面可以得用户更容易进行调整操作以使内容图像的投影区域适合于屏幕102。在第一实施例中，投影仪150a、150b和150c的安装条件和屏幕102的形状特征定义了投影仪150a、150b和150c的投影图像与屏幕102之间的关系，更具体地，定义其之间的几何关系。

图5A、5B和5C图示相对于投影仪150a、150b和150c生成的三个校正图像，使得投影图像在水平方向上被布置在一条线上。在图5A至5C中的校正图像在如下条件下形成：屏幕的高宽比是48:10，投影仪150a、150b和150c的高宽比是16:10，并且在水平方向上彼此相邻的投影仪的投影图像之间的重叠区域的宽度对应于水平方向上的投影图像的宽度的至少4/16。

如在图5A至5C中图示的，校正图像200a、200b和200c包括定义校正点的校正图案的相应布置，校正点用于检测投影图像的失真。校正图案的布置定义在投影仪存储器上的坐标，并且用作其中基于预定的规则来布置任意图形元素的图案。通过相机160来捕捉在屏幕102上投影的校正图案的布置，并且提取校正点组，并且检测其坐标。因此，可以检测由投影仪150a、150b和150c所投影的投影图像的梯形失真和局部失真。因此，为了进行(实现)高度准确的校正处理，期望校正图案的布置被包括在屏幕102中而没有校正图案的任何丢失。

基于给定的条件来生成校正图像200a、200b和200c。在这点上，在第一实施例中的校正条件接收部件118接收诸如在其上投影图像的屏幕102的高宽比之类的形状特征和诸如投影仪的可投影区域的高宽比、要连接的投影仪的数目、重叠区域与投影图像的比率、来自用户的投影方式(例如，在水平方向在一条线上、在垂直方向上在一条线上，或者多少行多少列)之类的安装条件的输入。

然而，并不是总是需要给出所有上述条件值作为输入值。一些条件值可以作为默认值给出，或者可以通过图像处理装置110来确定。例如，可以基于在操作***中的屏幕分辨率的设置信息来确定投影仪的高宽比。

在第一实施例中的校正场景生成部件120基于输入条件值生成用于相应投影仪150a、150b和150c的校正图像200a、200b和200c，并且将校正图像200a、200b和200c存储到校正图像存储部件122中。在这种情况下，校正场景生成部件120以这样的方式生成用于负责屏幕102外侧的投影仪的校正图像：使得校正图像包括在屏幕102的相应外侧形成的相应余量部分并且余量部分在校正图案的布置之外形成，如图5A至5C中图示的，使得所生成的校正图像200a、200b和200c可以投影在屏幕102内，同时基于给定安装条件和形状特征具有在相邻投影仪之间的校正图案的布置的重叠区域。余量部分通常具有背景颜色。

然而，余量部分可以包括图案，只要该图案不影响校正图案的布置的提取。此外，在图5A至5C的示例中，投影图像在水平方向上被布置在一条线上以便形成水平长的屏幕。因此，所有投影仪150a、150b和150c都包括在投影图像的上侧和下侧要被投影到屏幕之外的区域。因此，所有投影仪150a、150b和150c用作负责屏幕102的外侧的投影仪。

此外，设置余量部分的方法基于以下方法。在其中屏幕102的高宽比、投影仪150的高宽比、连接的投影仪150的数目、在相邻投影仪150之间要确保的重叠区域的比率这些条件值被给定的情况下，当在给定条件下投影至少具有重叠区域的该比率的投影图像时，确定来自投影仪150a、150b和150c的可投影区域的要被包括在屏幕102内的区域。

此外，期望其中提取特征点的所有部分被包括在确定的区域内。在校正图像内的相应区域被称作“校正区域”，其在图5A至5C中以点划线表示。在图5A至5C的示例中，在整个可投影区域内在校正区域的上侧和下侧形成余量部分。

能够使用其中在校正区域内以点阵的方式布置校正图案的校正图像。然而，在优选的实施例中，可以在其中在校正区域内形成校正图案的布置的校正图案区域之外(在图5A至5C中以虚线限定)另外形成余量部分。此外，在与负责屏幕102的角区域的投影仪150对应的校正图像中，在校正图案区域的外侧形成四角标记。

当投影仪150在水平方向布置在一条线上时，左端和右端的投影仪150a和150c变为负责角区域的投影仪。当校正图像适合屏幕102的四角时，四角标记将参考点定义为标记。用户可以以使得所投影的四角标记被布置在屏幕102内的方式来调整投影仪150a、150b和150c的投影角度和变焦。

在对于第一投影仪150a的图5A图示的第一校正图像200a中，第一投影仪150a的整个投影区域在水平方向上划分为16块并且在垂直方向上被划分为10块(以形成16×10的块组，参见图5A)。在16×10的块组中，选择14×6的新块组，其中该14块是在该16块中在水平方向上右对齐(right-justified)的块，而该6块是在该10块中在垂直方向上中心对齐的块。

此外，14×6的块组被划分为新的21个组，其中21组中的每组具有2×2块。在21个2×2组的每组的中心处，形成一个圆，使得21个圆以点阵的方式布置。

此外，在对于第二投影仪150b的图5B图示的第二校正图像200b中，第二投影仪150b的整个投影区域在水平方向上划分为16块并且在垂直方向上划分为10块(以形成16×10的块组)。在该16×10的块组中，选择16×6的新块组，其中该6块是在该10块中在垂直方向上中心对齐的块。此外，该16×6块组被划分为新的24组，其中24组中的每组具有2×2块。在24个2×2块组的每组的中心处，形成一个圆，使得24个圆以点阵的方式布置。

此外，在对于第三投影仪150c的图5C图示的第三校正图像200c中，第三投影仪150c的整个投影区域在水平方向上划分为16块并且在垂直方向上划分为10块(以形成16×10的块组)。在该16×10的块组中，选择14×6的新块组，其中14块是在该16块中水平方向上左对齐的块并且6块是在该10块中在垂直方向上中心对齐的块。此外，该14×6块组被划分为新的21个组，该21个组中的每组具有2×2块。在21个2×2块组的每组的中心处，形成一个圆，使得以点阵的方式布置21个圆。

此外，在图5A至5C的示例中，以这种方式安排四角标记：使得四角标记中的两个被安排在与左端图像相对应的第一校正图像200a中的16×8块组中的左上角块和左下角块处，其中在该16×8块组中，在垂直方向上的顶部块和底部块在16×10块组中被排除。

此外，四角标记中的另外两个被安排在与右端图像相对应的第一校正图像200c中的16×8块组中的右上角块和右下角块处，其中在该16×8块组中，在垂直方向上的顶部块和底部块在16×10块组中被排除。

此外，请注意，可以基于给定条件通过使用预定义的计算公式计算生成参数或者可以例如通过使用输入条件作为关键字(key)而通过读取生成参数来获取生成参数，该生成参数用于生成这样的具有布置的校正图案的安排位置以及四角标记的安排位置的校正图像，该生成参数对应于由供应商(制造商)事先准备的典型条件的组合。

此外，在另一实施例中，可以由供应商生成与典型条件的组合相对应的校正图像，并且可以与该组合相关联地存储该校正图像，使得用户可以通过输入条件作为关键字来读取并且获取适当的校正图像。

此外，在优选的实施例中，为了维持提取准确性，将定义了校正点的圆的尺寸设置为常数值，而不管余量部分的尺寸如何，使得圆图案的数目在行和列方向上的增加/减少可以对应于余量部分的尺寸。

在投影***100的校正处理中，基于上述的从校正捕捉图像中提取的四角标记的参考点，来定义由投影仪150a、150b和150c要将图像作为整体投影到的投影目标区域。补偿系数计算部件130计算用于投影仪150a、150b和150c的补偿系数，使得内容图像可以被投影到基于四角处的参考点所定义的投影目标区域。

此外，在优选的实施例中，提供用户界面用于精细调整。也就是，能够在将内容图像同样在投影目标区域上时通过接收用于移动定义了投影目标区域的参考点的指令而精细地调整定义了投影目标区域的四个角的参考点的位置以便适合屏幕102的实际的四个角。

通过由用户直观地重复精细调整，最终，变得能够使投影目标区域适合于由屏幕102的四个角所定义的区域，使得可以以恰好正确的尺寸将内容图像投影到屏幕102上。

在第一实施例中，生成校正图像200a、200b和200c，其具有根据屏幕102(所提供的投影区域)的形状特征和投影仪150a、150b和150c的安装条件而在校正区域之外形成的余量部分。相应地，用户变得能够以这种方式来投影校正图像200a、200b和200c：使得即使在当屏幕的高宽比大于当投影仪的投影图像仅仅被连接而不在其间形成任何重叠区域时所确定的高宽比时，期望以恰好正确的尺寸将内容图像投影至屏幕上的情况下，所有的校正图案的布置也包括在屏幕102内，如图6A中所示。

此外，能够以使得校正图案的布置被包括在屏幕102内的方式投影。因此，不太可能发生由于不平坦表面和与外部图案的附着而发生的突出变形，并且不太可能发生校正图案的错误检测，使得可以提高校正准确性。

此外，在优选的实施例中，还在校正图案的***部分中提供四角标记。因此，四角标记使用户更容易粗略地知晓在补偿之后成为投影目标的区域的初始位置。也就是说，用户可以通过使用四角标记作为良好的指示来调整投影仪的变焦和投影角度，使得用户的操作可以更容易。

此外，在优选的实施例中，在校正图像中，还在校正图案区域之外提供余量部分，并且也在这些部分内形成四角标记。由于所形成的四角标记，所以通过粗略地设置四角标记的位置，即使在使用超短焦投影仪的情况下，如在图6B中所示，也变得更容易将校正图案投影在屏幕102内，而不太可能发生图像突出到屏幕102之外或者形成其中图像不能投影在屏幕上的可投影区域的凹陷。

在上述描述中，参考图5A至C描述了情况。请注意，在本发明中的校正图案和四角标记的具体配置不限于上面所述的配置。对此，作为校正图案，考虑到以鲁棒的方式提取校正点，期望使用圆形图案，使得相对于背景具有对比的圆形以二位点阵的方式布置。然而，在另一实施例中，可以使用诸如点图案、方格图案、网格图案等的图案。

此外，划分整个投影区域的方法不限于上述的方法。例如，可以基于期望的准确性和图像处理装置110的性能来确定所划分的块的数目和划分块的方法。此外，可以使用诸如圆形之类的任何合适的形状作为四角标记的形状。

此外，在上述实施例中，描述了其中校正图案和四角标记的布置被安排在相同的校正图像中的情况。然而，如下文中详细描述的，能够分别提供包括校正图案的校正图像和包括四角标记的校正图像，只要特征点的坐标可以合并至单个坐标系中。

第一实施例中的整体处理流程

在下文中，参考图7的流程图来描述根据第一实施例的校正处理的整体处理流程。图7是根据第一实施例的示例性整体校正处理的流程图。响应于来自于用户的开始校正处理的指令，图7中的处理从步骤S100开始。

在步骤S101中，图像处理最终110从用户接收包括例如所连接的投影仪的数目“T”在内的安装条件和包括例如屏幕的高宽比“M:N”在内的形状特征的输入。通过在连接至图像处理装置110的显示器上显示条件输入屏幕，从输入设备170接收输入。

在步骤S102中，如上所述，图像处理装置110基于如上所述输入的投影仪的安装条件和屏幕的形状特征来生成校正图像，并且进一步生成校正投影场景。

在步骤S103中，图像处理装置110使得投影仪150a、150b和150c顺序地投影所生成的校正投影场景，并且获取由相机160所捕捉的校正捕捉图像，这些校正捕捉图像对应于校正投影场景。

图8图示由图像处理装置110致使的、由投影仪150a、150b和150c投影的校正投影场景的示例。更具体地，图8图示由投影仪150a、150b和150c顺序投影的三个校正投影场景，这三个校正投影场景对应于在图5A、5B和5C中的三个校正图像。

在图8的示例中，在第一捕捉的第一校正投影场景中，图像处理装置110致使第一投影仪150a投影图5A所示的第一校正图像212a，并且致使第二和第三投影仪150b和150c不投影图像。在第二捕捉的第二校正投影场景以及第三捕捉的第三校正投影场景中，类似于第一捕捉的第一校正投影场景，分别从第二投影仪150b和第三投影仪150c投影第二校正图像和第三校正图像。在一个投影仪投影校正图像时，其他投影仪不投影任何图像。

用户通过使用三脚架等来固定相机160，使得可以在相机160的视角内捕捉由所有连接的投影仪150a、150b和150c投影的投影图像212、214和216的全部。然后，用户使用相机160以根据例如由图像处理设备100所提供的引导来在上述步骤的每个中捕捉多个图像(校正捕捉图像)。由图像处理装置110来共同地或顺序地获取来自于相机160的与校正投影场景相对应的校正捕捉图像，并且处理继续至步骤S104。

在步骤S104中，图像处理装置110进行特征点提取合并处理，以从所获取的一个或多个校正捕捉图像中提取特征点。在特征点提取合并处理中，在合并坐标系中提取由投影仪的四角标记所确定的校正点和参考点的组的坐标位置。

更具体地，在特征点提取合并处理中，首先，图像处理装置110在校正捕捉图像中检测投影仪150a、150b和150c的投影图像的(圆形)校正图案。然后，图像处理装置110提取在校正捕捉图像的坐标系中的校正图案的几何中心坐标，作为校正点的坐标(具有例如十进制小数位的准确度)。

在这种情况下，通过例如对图像进行二值化并且使用图案匹配等来截去大量白像素并且获取所述大量白像素的几何中心坐标，可以计算圆形几何中心坐标。类似地，可以基于校正捕捉图像检测在校正捕捉图像中的坐标系中的四角标记的几何中心坐标，使得这些几何中心坐标被提取为参考点的坐标。

在下面的描述中，符号“L₁、L₂和L₃”表示第一、第二和第三投影仪150a、150b和150c的校正点的坐标(“校正点坐标”)。此外，符号“M₁和M₂”表示四角标记的参考点的坐标(“参考点坐标”)。

在该实施例中，在相机160固定时捕捉图像。因此，所获取的校正点坐标“L₁、L₂和L₃”和参考点坐标“M₁和M₂”是单个坐标系(“合并坐标系”)中的坐标。此外，基于四角标记的参考点坐标“M₁和M₂”，确定在其中认为正确的校正点被包括在合并坐标系中的区域。因此，通过简单地参照校正点的坐标位置，变得能够容易地排除被错误检测的校正点(例如当由于在屏幕外的图案而错误检测校正点时)。

在步骤S105中，尽管下文中描述了细节，基于所计算的校正点坐标“L₁、L₂和L₃”和参考点坐标“M₁和M₂”，计算投影仪的几何补偿系数。

在步骤S106中，尽管下文中描述了细节，图像处理装置110计算投影仪的混合系数。

在步骤S107中，图像处理装置110将在步骤S105和S106中所计算的用于投影仪150a、150b和150c的几何补偿系数和混合系数设置到相应的补偿处理部件114a、114b和114c中。

在步骤S108中，图像处理装置110读取要被投影的内容图像。

在步骤S109中，补偿处理部件114a、114b和114c对该内容图像进行与投影仪150a、150b和150c相应的补偿处理。在开始补偿处理时，切换部件124a、124b和124c进行切换操作以便来自于补偿处理部件114a、114b和114c的输出可以分别输入至投影图像输出部件116a、116b和116c，并且模式被设置为投影模式。

在步骤S110中，图像处理装置110致使投影图像输出部件116a、116b和116c输出用于投影仪150a、150b和150c的相应的补偿后投影图像。这样做，变得能够在屏幕102上整体地投影内容图像。

在投影模式的开始时，在由投影仪150a、150b和150c所投影的屏幕的部分上或者在分开提供的显示屏幕上显示用户界面，该用户界面用于调整操作以便内容图像的投影区域的四个角可以以恰好正确的尺寸适合于屏幕102。用户使用该用户界面，并且对在其上投影了内容图像的投影目标区域的四个角位置直观地进行精细调整。

当确定内容图像以恰好正确的尺寸适合于屏幕时，用户发送表明调整操作完成的指令。在步骤S111中，图像处理装置110确定是否从用户接收表明调整操作完成的指令。

在步骤S111中，当确定没有接收到表明四角位置的调整操作完成的指令时(在步骤S111中“否”)，处理继续至步骤S112。在步骤S112中，基于经由用户界面所输入的调整量，图像处理装置110更新定义了投影目标区域的四个角的参考点的位置坐标，然后处理循环回至步骤S105。

这样做，在其中已经反映了调整结果的状态中，重新计算用于投影仪150a、150b和150c的几何补偿系数和混合系数。另一方面，在步骤S111中，当确定接收到表明四角位置的调整操作完成的指令时(在步骤S111中“是”)，处理继续至步骤S113以完成调整操作，并且来到正常投影模式。

几何补偿系数的计算

下文中，参考图9至12以及图14A，描述计算投影仪150a、150b和150c的几何补偿系数的计算处理。图9是根据实施例由几何补偿系数计算部件134所进行的计算几何补偿系数的计算处理的流程图。图9的处理在图7的步骤S105中被调用，并且从步骤S200开始。

在步骤S201中，通过在用于投影仪150a、150b和150c的合并坐标系上线性外插校正点坐标“L₁、L₂和L₃”，几何补偿系数计算部件134计算投影仪150a、150b和150c的可投影区域的周边坐标。

图10A和10B图示使用合并校正点坐标基于线性外插计算可投影区域的周边坐标的计算方法。更具体地，图10A图示在投影仪存储器上的左上角处的校正点，并且图10B图示在合并坐标系上的相应四个校正点。

如在图10A中所示，在投影仪存储器上的周边坐标(在投影仪的投影图像的四角处和四边上的校正点)被固定在这样的位置上：该位置外插在周边部分中安排的四个校正点(例如P00_P至P00_P)的四边形片(quadrilateralpatch)(这些位置对应于例如在校正点之间的距离的1.5倍)。

如在图10B中图示，可以通过从在周边部分安排的相应的四个校正点坐标线性外插来计算在合并坐标系中的与投影仪的可投影区域相对应的周边像素(在四个角和在四条边上的校正点)的坐标。以相同的方式，可以通过对附近四个校正点坐标的外插进行线性内插来计算(获取)与除了周边像素(在四个角和在四条边上的校正点)之外的在投影仪存储器上的任意坐标点相对应的在合并坐标系上的点。

在此，假设在投影仪存储器上的任意坐标点“Q_P”是基于四个校正点“P00_P、P10_P、P01_P、和P11_P”通过在x轴方向上内部地划分为t:1-t(0＜t＜1)并且在y轴方向上内部地划分为s:1-s(0＜s＜1)而确定的点。在这种情况下，可以基于相应的校正点“P00_C、P10_C、P01_C、和P11_C”的坐标向量并且通过使用下列公式(1)来计算与坐标点“Q_P”相对应的在合并坐标系上的点“Q_C”。在外插的点的情况下，也可以通过设置“t(-1.5<t<0)”和“s(-1.5<s<0)”并且使用下列公式(1)来计算点“Q_C”。

Q_c＝(1-s)((1-t)P00_C+tP10_C)+s((1-t)P01_C+tP11_C)  公式(1)

在整个图像中，可能产生非线性几何失真。然而，在这种情况下，具有2×2校正点的四边形片的范围和通过朝向周边外插预定量所确定的范围仅仅是整个图像的部分。因此，在此，假设在这些范围内的失真可以视作线性失真。

此外，在此处描述的实施例中，描述了其中使用上述公式(1)基于线性内插来计算相应的点的情况。然而，在另一实施例中，通过使用两组(两对)的四个附近的校正点“P00_C、P10_C、P01_C、和P11_C”和“P00_P、P10_P、P01_P、和P11_P”基于射影变换(projective transformation)，投影仪存储器上的点“Q_P”可以与相应的点“Q_C”关联。

通过对投影仪150a、150b和150c进行如上所述的线性外插，变得能够检测投影仪150a、150b和150c在合并坐标系上的可投影区域(也就是，其中可以投影整个白色图像的区域)。图11的上部部分图示三组校正点(白色圆、黑色圆和灰色圆)，并且可投影区域304a、304b和304c对应于投影仪150a、150b和150c，并且在合并坐标系300上被检测。

通过白色实线来图示第一投影仪150a的可投影区域304a，通过白色虚线来图示第二投影仪150b的可投影区域304b，并且通过白色双点划线来图示第三投影仪150c的可投影区域304c。

在图11的上部分中在合并坐标系300上的灰色区域310图示与屏幕102相应的区域。目标是投影内容图像使得所投影的内容图像可以以恰好正确的尺寸适合于区域310。在此，期望与屏幕102相对应的区域310完全被作为三个投影仪的三个可投影区域的逻辑相加“OR”结果的区域来填充，其中期望该投影图像以恰好正确的尺寸适合于该屏幕102。

在这点上，在第一校正之后，如在图11的上部分中所示，内容图像被投影在投影目标区域312上，该投影目标区域312是由连接与四角标记相对应的参考点的虚线所定义的四边形，这些四角标记通过用户的粗略调整被定位至屏幕102的四个角(在这种情况下，投影目标区域312的形状并不一定是矩形的)。

返回参考图9，在步骤S202中，获取射影变换，以将矩形内容图像映射至投影目标区域312中，该投影目标区域312是在图11上部分中的由连接四角标记的参考点坐标的虚线所定义的四边形。在此，符号“H_t”表示从投影目标区域312到内容图像的射影变换。

几何补偿系数计算部件134基于定义了投影目标区域312的四角标记的参考点的坐标以及内容图像的四个角的坐标计算要在从投影目标区域312到内容图像的第一射影变换“H₁”(t＝1表示第一次)中使用的系数。

通过以下公式(2)给出射影变换“H₁”的变换公式。通过两边乘以分母并且改写公式，得到公式(3)，其被展开以符合一阶多项式。

$u=\frac{x*a+y*b+c}{x*g+y*h+1}$

$u=\frac{x*a+y*b+c}{x*g+y*h+1}$      公式(2)

u＝x*a+y*b+c-x*g*u-y*h*u

v＝x*d+y*e+f-x*g*v-y*h*v  公式(3)

在上述公式(2)和(3)中，符号“x”和“y”表示在变换之前在合并坐标系上的坐标，而符号“u”和“v”表示在变换之后在内容图像的坐标系上的坐标。此外，八个系数“a”至“h”表示射影变换系数。

在上述公式中，为了计算未知的八个射影变换系数，需要具有至少八个联立方程。然而，基于四角标记的参考点和在内容图像中的四角处的坐标点之间的关系，可以产生八个联立方程。因此，变得能够通过求解基于上述关系所产生的八个联立方程而获取“a”至“h”的八个系数。

返回图9，在从步骤S203至S207的循环中，对每个投影仪执行从步骤S204至S206的处理，使得可以获取投影仪的几何补偿系数。

在步骤S204中，几何补偿系数计算部件134基于射影变换“H_t”(在第一次时t＝1)将在合并坐标系上的校正点的坐标“L_i”变换至内容图像的坐标系中的坐标。

下文中，在合并坐标系上的并且贴附到投影目标区域312的内容图像被称作“投影的内容图像”。另一方面，作为“投影的内容图像”的原始图像的内容图像被称作“相同放大内容图像”。

在步骤S205中，几何补偿系数计算部件134经由合并坐标系将在投影仪存储器上的校正点坐标与相同放大内容图像的坐标系的像素位置相关联。

在步骤S206中，几何补偿系数计算部件134通过进行线性内插经由合并坐标系将在投影仪存储器上的整数像素坐标与相同放大内容图像的坐标系的像素位置相关联。

通过进行步骤S204至S206中的处理所计算的几何补偿系数将在投影存储器中的坐标与对应于投影的内容图像上的位置的在相同放大内容图像上的像素位置相关联。

在此，参考图12，基于在投影仪存储器330a上的一个校正点“P41_P”来描述示例。相对于在投影仪存储器330a上的校正点“P41_P”，提取在合并坐标系300上的对应点“P41_C(X_P41C,Y_P41C)”。此外，四边形的投影目标区域312被映射至内容图像。因此，如在图12中图示的，相对于在合并坐标系300上的坐标位置“P41_C”，进一步确定在相同放大内容图像上的相应像素位置“P41_m(X_P41m,Y_P41m)”。

具体地，当给出图12中的被映射在合并坐标系上的投影的内容图像的左上处的起点(origin)的坐标作为(X₀,Y₀)时，要被投影至合并坐标系上的此校正点上处的、在相同放大内容图像上的相应像素位置“P41_m(X_P41m,Y_P41m)”可以通过使用下面的公式(4)从点“P41_C”在合并坐标系300上的坐标“P41_C(X_P41C,Y_P41C)”而计算。

(X_P41m，Y_P41m)＝H₁(X_P41C-X₀，Y_P41C-Y₀)   公式(4)

以相同的方式，对于在投影仪存储器上的除了校正点“P41_P”之外的所有校正点“P_ijP”，也可以计算在相同放大内容图像上的相应像素位置。对于除了在投影仪存储器上的校正点之外的任意坐标，通过使用参考图10A和10B所描述的方法，也就是通过对在附近的2×2校正点的内容图像上的相应像素位置进行线性内插(内插，或者对于周边部分外插)，变得能够计算在相同放大内容图像上的相应像素位置。这样做，在内容图像内由第一投影仪150a负责的区域内的像素位置与在投影仪存储器330a上的预定区域332a的像素相关联。

图14A图示在步骤S204至S206中的处理中所计算的一个投影仪的几何补偿系数的示例数据结构。如在图14A中所示，如上所述获取的相对于投影仪存储器的所有像素在相同放大内容图像上的相应像素位置是几何补偿系数。

基于投影仪的数目来重复从步骤S203至步骤S207的循环，使得对于所有投影仪，在投影仪存储器上的整数像素坐标与相同放大内容图像的坐标系相关联，并且处理来到步骤S208。在步骤S208中，此处理结束并且处理返回至调用该处理的步骤。这样做，可以准备好所有投影仪150a、150b和150c的几何补偿系数。

在上述的实施例中，描述了其中获取相对于投影仪存储器的所有像素在相同放大内容图像上的相应图像位置作为几何补偿系数的情况。请注意，本发明不限于该配置。

在另一实施例中，可以获取相对于在投影仪存储器上的校正点“Pij_P”的像素位置“Pij_m”作为几何补偿系数，并且对于除了校正点之外的坐标，下文描述的补偿处理部件114可以在四边形片基础上通过进行射影变换或者线性变化来计算。

混合系数的计算

下文中，参考图13、14A和14B描述计算投影仪150a、150b和150c的混合系数的计算处理的细节。图13是图示在投影仪存储器上的坐标与混合系数之间的关联的图。在计算混合系数的处理中，基于投影仪进行处理，使得获取投影仪150a、150b和150c的混合系数。

首先，在合并坐标系300中，混合系数计算部件136基于目标投影仪和与该目标投影仪相邻的另一投影仪的可投影区域的周边坐标来检测彼此相邻的投影仪的可投影区域的重叠区域。在这种情况下，如在图13中图示的，从在合并坐标系300上的投影目标区域312的上侧开始，从左起点(○)在向右边的方向上进行搜索，并且逐渐降低搜索。这样做，可以检测在第一投影仪150a和第二投影仪150b之间的重叠区域的开始点(●)和结束点(◎)。

典型地，投影仪并不表现出线性输入/输出特征。在关于与重叠区域相对应的像素计算混合系数时，首先进行输入/输出特征的反补偿以便获得线性补偿。然后，以使得来自于两侧的投影仪的光量和为1的方式应用加权。

具体地，如在图13的下部图中所示，对于第一投影仪，对于在从起点(○)至重叠区域的开始点(●)的范围内的像素，混合系数被设置为最大值(也就是1)。另一方面，对于在从重叠区域的开始点(●)至结束点(◎)的范围内的像素，通过以使得实际亮度基于离开始点(●)的水平距离而从1.0到0线性下降的方式对投影仪的输入/输出特征应用反补偿来计算混合系数。

混合系数计算部件136将在投影仪存储器上的整数像素坐标与基于图14A的数据结构相应地被分配给与合并坐标系的坐标(小数点)最接近的整数像素的混合系数相关联。

通过上述处理，如在图14B中所示，可以获取用于投影仪150a、150b和150c的投影仪存储器的所有像素的混合系数。在上述描述中，描述了在第一投影仪150a和第二投影仪150b之间的重叠区域的情况。在这点上，当第二投影仪150b是目标投影仪时，描述在第二投影仪150b和第一投影仪150a之间以及在第二投影仪150b和第三投影仪150c之间的两个重叠区域的混合系数。

下文中，参考图14A、14B和15描述基于补偿系数的补偿处理的细节。在图7的步骤S107中，在补偿处理部件114a、114b和114c中设置通过几何补偿系数计算部件134计算的投影仪的几何补偿系数和通过混合系数计算部件136计算的投影仪的混合系数。

首先，补偿处理部件114a、114b和114c准备关联数据，在该关联数据中投影仪存储器的所有像素与在相同放大内容图像上的相应像素位置相关联。已经通过由几何补偿系数计算部件134进行的处理获取了如图14A所示的相对于投影仪存储器的所有像素的像素位置。因此，补偿处理部件114a、114b和114c直接读取关联数据。

补偿处理部件114a、114b和114通过使用诸如双线性内插和双三次内插等的像素内插方法，基于相应投影仪存储器的要被投影的相同放大内容图像的像素位置(小数点)，从要被投影的相同放大内容图像生成中间图像。中间图像是其中在内容图像中检测到的几何失真基于几何补偿系数而被相反地变形的图像。补偿处理部件114a、114b和114c通过将所生成的中间图像的RGB像素值乘以基于关联数据所而对应的混合系数，来生成最终的投影图像。

图15图示基于上述的补偿系数的补偿处理。图15图示基于用于三个投影仪150a、150b和150c的内容图像从补偿处理部件114a、114b和114c最终获取的投影图像350a、350b和350c。如在图15中图示的，在投影模式下，这些投影图像350a、350b和350c从各自的投影仪150a、150b和150c投影。投影图像350a、350b和350c在屏幕102上适当地重叠，以被组合成单个投影图像352。在第一校正中，内容图像被投影在由安排在屏幕102内的四角标记所指定的参考点而定义(包围)的四边形投影目标区域上。

用于调整的用户界面

在开始投影至初始位置的投影目标区域之后，在优选的实施例中，在显示作为整体的投影图像时，提供用户界面用于调整投影目标区域(整体的投影图像)的四个角的位置的调整。用户直观地观察到整体的投影图像的位置是否合适，并且调整整体的投影图像的四个角以便适合屏幕102。典型地，在初始位置中，四角标记已经安排为稍微在屏幕102的四个角内。因此，用户可以调整以便整体的投影图像稍微扩大至屏幕102的四个角(参见图15)。

图16图示在优选的实施例中用于精细地调整投影目标区域的四个角的位置的示例用户界面。图16的屏幕400包括用于调整四个角的坐标值的设置区域410、430、440和450、用于接收反映设置的指令的“调整”按钮402、和用于接收结束调整的指令的“结束”按钮404。

代表性地描述与左上相对应的设置区域410。设置区域410包括显示角的位置坐标(x,y)的文本框412和414、和作为用于接收偏移(移动)角的坐标位置的指令的用户界面部分的按钮416、418、420和422。在此，代表性描述用于在上下方向上移动坐标位置的按钮。

要作为精细调整的参考的坐标系是合并坐标系。此外，具体坐标值被输入到用户界面。在此，在合并坐标系中的垂直长度(两个左侧的四角标记之间的垂直距离和两个右侧的四角标记之间的垂直距离的平均值)被缩放以便适合于在投影仪存储器上的图像的坐标系中相应的四角标记之间的垂直距离(像素的数目)。

此外，在上述的被缩放的坐标系上，通过使用按钮418、416、420和422向上和向下以多步的粒度(例如±10和±1的两步)来改变精细调整值。另外，精细调整之后的坐标值可以直接输入至文本框412和414中。

在如上所述输入投影目标区域的四个角位置的精细调整值之后，当按下“调整”按钮时，更新定义了在合并坐标系中的投影目标区域的参考点的坐标。参考点的更新后的坐标是从如上所述输入的坐标值转换的、在合并坐标系的比例尺下的值。此后，连续地重新计算几何补偿系数并且重新计算混合系数。

图17图示在通过用户输入进行精细调整之后的投影目标区域。典型地，由于在合并坐标系上重复精细调整步骤，所以投影目标区域312的四个角的位置逐渐接近与屏幕相对应的(灰色)区域310的四个角。作为几次精细调整之后的结果，如在图17中所示，投影目标区域312的四个角的位置逐渐接近与屏幕相对应的(灰色)区域310的四个角，粗略地对应于与屏幕对应的区域310的四个角。在精细调整期间，精细调整后的目标投影区域的形状并不总是矩形的。此外，仍有稍微非线性失真。因此，即使在最终的结果中，形状可能不是理想的矩形。

在精细调整中计算几何补偿系数的计算处理类似于第一次。也就是说，获取用于将内容图像(矩形)映射至精细调整后的目标投影区域的射影变换“H_t”(t＞1)，使得基于射影变换“H_t”计算几何补偿系数。图18图示其中作为几次精细调整将相同放大内容图像映射至投影目标区域312的状态，该投影目标区域312被扩大为以恰好正确的尺寸适合于屏幕102。

通过使用上述的用户界面屏幕，用户变得能够在监测(检查)投影目标区域的粗略初始位置的同时进行投影，并且在观察补偿结果的同时精细地调整投影目标区域的四个角的位置。

投影方式的修改示例

在以上描述中，描述了其中三个投影仪150a、150b和150c的投影图像被布置在水平线上的一条线上的情况。然而，在本发明中的校正处理所应用于的多投影的实施例不限于上述配置。图19A至19D图示在也可以应用本实施例的校正处理的其他实施例中的多生成的其他示例。

投影仪的数目不限于3个。可以使用任意数目的投影仪(图19A)。此外，投影方式不限于在水平方向上在一条线上。例如，投影图像(投影仪)可以在垂直方向上布置在一条线上(图19B)。此外，一般地，投影图像(投影仪)可以在水平方向上布置在两条或者多条线上(图19C和19D)。

在如图19A图示的在水平方向上一条线的情况下，能够在投影仪的校正图像的上侧和下侧形成余量部分(在虚线内)。然而，在如图19B图示的在垂直方向上一条线的情况下，可以在校正图像的左侧和右侧上形成余量部分。此外，在两条或多条线的情况下，相对于负责屏幕102的外部区域的投影仪的校正图像形成余量部分。

在这种情况下，在负责屏幕102上部外侧的投影仪的校正图像的上侧形成余量部分，并且在负责屏幕102下部外侧的投影仪的校正图像的下侧边上形成其他余量部分。此外，在三条或多条线的情况下，相对于并不负责屏幕102的任何外侧的投影仪(也就是，与由图19D中虚线所表示的投影图像相对应的投影仪)，并不总是需要形成余量部分。

投影和捕捉校正投影场景的修改示例

此外，在上述实施例中，用户固定相机160，使得可以在相机160的视角内捕捉与所有连接的投影仪150a、150b和150c相对应的投影图像212、214和216的全部，并且用户使用相机160以便捕捉投影图像几次。然而，例如，用户可以设置相机160，使得可以在相机160的视角内捕捉全部投影图像的仅一部分，并且用户可以在改变成像范围(“分割成像”)的同时捕捉投影图像几次，使得可以组合所捕捉的几个图像以形成全部投影图像的图像。

在这点上，例如，如图20图示的，在校正图像中形成指示投影图像的四个角的定位标记。然后，用户设置相机160使得可以在相机160的视角内仅捕捉与彼此相邻的两个投影仪150a和150b相对应的校正图像230a和230b，并且用户捕捉校正图像230a和230b的图像。

然后，用户移动相机160，并且捕捉校正图像232b和232c的图像。然后，用户移动相机160，并且捕捉校正图像234c的图像。在这种情况下，在与投影仪的左端和右端相对应的校正图像上形成的定位标记可以被用作如上描述的四角标记。

在这种情况下，变得能够通过使用在多个校正捕捉图像之中共同包括的定位标记，基于射影变换将从校正提取图像中提取的特征点合并至合并坐标系。

特征点提取合并部件132可以基于定位标记的坐标位置的关系来获取射影变换的系数，并且计算在通过在多个校正捕捉图像的坐标系之间进行射影变换而合并的合并坐标系上的校正点的坐标。

为了进一步提高准确性，几次投影来自于相同投影仪的校正图像，并且获取校正图像的不同捕捉范围。基于校正图像的不同捕捉范围，可以组合多组校正点。在任何情况下，在合并坐标系上提取与被包括在***中的T个投影仪相对应的T组校正点“L₁至L_T”、以及参考点“M”。

在初始投影仪安装中的投影图像

在投影仪的初始安装中，期望调整以便校正图案的布置被包括在屏幕102内。然而，还期望屏幕102用作为投影仪的可投影区域的逻辑“或”的结果的区域完全填充。然而，为此目的，如果投影具有黑色背景的校正图像，则难以确定投影仪的可投影范围，这使得难以安装投影仪。也就是说，当使用具有亮度大于或等于预定值的诸如白色之类的背景的图像时，可投影区域的范围变得清楚，这使得投影仪的初始安装更容易。

另一方面，在上面的“投影和捕捉校正投影场景的修改示例”中，描述了“分割成像”。在分割成像中，在一个投影仪投影校正图案的布置的同时，靠近该一个投影仪的另一投影仪投影定位标记，使得分割图像被捕捉。

然而，在这种情况下，如果使用在白色背景上具有黑色图案的图像，则相邻投影仪的白色背景部分可能与黑色图案重叠。在这种情况下，黑色图案可能变得更亮，使得变得难以检测黑色图案。也就是说，在分割成像的情况下，产生重叠区域。因此，优选捕捉具有黑色背景色的校正图像。

因此，在优选的实施例中，在投影仪的初始安装中，如果校正图像在白色背景上具有黑色图案，则同时直接从投影仪投影校正图像。另一方面，如果校正图像在黑色背景上具有白色图案，则对校正图像进行黑/白反转并且同时从投影仪投影反转的校正图像。这样做，变得能够从所有投影仪投影具有白色背景(也就是，具有大于或等于预定值的亮度)的图像。

此外，图像包括校正图案的布置和四角标记。因此，变得更容易以使得屏幕用作为投影仪的可投影区域的逻辑“或”的结果的区域完全填充的方式进行投影仪的初始安装，并且四角标记和校正图案的布置被包括在屏幕内。

第二实施例中的校正处理

在上述实施例中的校正处理优选可以应用于其中可以安装多个投影仪150a、150b和150c以便几乎最佳地将图像投影至屏幕102的情况。也就是说，在上述实施例中，如在图6A和6B中所示，以这种方式调整投影仪150a、150b和150c的布置：使得投影图像210a、210b和210c具有粗略相等的重叠区域并且覆盖屏幕102而具有稍微的突出部分。当投影仪是针孔模型的光学***的正常焦距投影仪时，可以容易地实现这样的布置。

这是因为，可以基于投影仪的变焦功能、聚焦功能和镜头平移(lensshift)功能，或者简单地通过稍微调整投影仪的倾斜度，将投影图像的尺寸和位置任意调整到某个程度。投影仪的投影图像的***部分变得更暗或者模糊，使得图像质量下降。当如图6A或6B所示布置投影仪150a、150b和150c时，可以降低像素的浪费，被联合投影的投影图像的分辨率变为最佳，并且由于使用投影图像的中心部分，所以优化了图像质量。

然而，在超短焦投影仪的情况下，可能存在其中投影仪的最佳布置困难的情况。如在图21A中图示的，超短焦投影仪180包括显示面板182、透镜***184、反射镜186和自由曲面镜188。由于在超短焦投影仪180中所包括的自由曲面镜188，如在图21A和21B中示例性图示的，与其中投影图像具有期望的尺寸的屏幕之间的距离“d1”和“d2”以及相对高度“h”被限制在预定的窄范围内。

由于该限制，如果可以自由地设计投影仪150a、150b和150c相对于屏幕102的安装位置，则没有影响。然而，当基于安装环境这样的限制是必需时，可能存在这样的情况：变得难以布置和调整投影仪150a、150b和150c以便获取如在图6A、6B和22A中图示的状态。

例如，可能存在这样的情况：在其上安装了投影仪的支架的高度固定时，高度物理上受限制。此外，可能存在这样的情况：由于例如障碍物的存在，到屏幕的距离物理上受限制。此外，可能存在这样的情况：当投影仪之间的间隙(clearance)固定时，间隙物理上受限制。在这些情况下，可能存在这样的情况：基本上不可能以使得如图6A、6B和22A所示校正图案和四角标记被包括在屏幕102内的方式安装和调整投影仪150a、150b和150c。

图22B和22C示例性图示在物理上不能最佳地安装投影仪150a、150b和150c的这些情况下的投影图像。图22B图示其中投影仪150a、150b和150c相对于屏幕102的高度太低的情况。因为该原因，校正图案的上端(侧)和四角标记突出在屏幕之外。图22C示例性地图示这样的情况：其中投影仪150a、150b和150c不能接近屏幕102，也就是说屏幕和投影仪之间的距离太大，投影图像相对于屏幕的尺寸变得无谓地大，并且在水平方向上的投影图像在左侧和右侧不等地突出。

下文描述的第二实施例的目标是克服这样的情况：难以以使得如图6A、6B和22A所示在投影图像210a、210b和310c中包括的校正图案和四角标记被布置在屏幕102内的方式安装投影仪150a、150b和150c。

然后，在根据第二实施例的投影***100内，在物理安装位置存在限制的情况下，以这样的方式生成校正图像和校正场景：使得对屏幕102内的校正图案的布置放置比作为整体图像的分辨率或准确性更高的优先级。

在根据第二实施例的投影***100内，在生成校正图像之前，在投影仪150a、150b和150c投影其中绘出了要被定位至屏幕102的四个角的标记(下文中被称作“屏幕对应区域指定标记”)的初始校正图像的同时，接收来自用户的用于移动屏幕对应区域指定标记的指令。

然后，校正场景生成部件120基于由用户指定的屏幕对应区域指定标记的参考点生成用于投影仪150、150b和150c的包括优化的余量部分的校正图像。屏幕对应区域指定标记在投影仪150a、150b和150c的坐标系上的位置信息表明相对于屏幕102的尺寸和位置。

在第二实施例中，屏幕对应区域指定标记的位置信息调节在投影仪150a、150b和150c的投影图像和屏幕102之间的关系、更具体地说是几何关系。

在下文中，参考图23中的流程图、图24A和24B中的用户界面和图25A至25C的余量计算处理，描述根据第二实施例的校正处理。图23是根据第二实施例的校正处理的整个过程的流程图。响应于开始校正处理的指令，图23中的处理从步骤S300开始。

在步骤S301中，图像处理装置110从用户接收关于安装信息的输入(例如，要连接的投影仪的数目、投影仪被布置在水平方向的一条线上、垂直方向的一条线上、还是多少行多少列)。在第二实施例中，并不要求由用户输入屏幕102的高宽比。

在步骤S302中，图像处理装置110致使投影仪150投影包括屏幕对应区域指定标记的初始校正图像，作为生成校正图像的预处理。在该实施例中，屏幕对应区域指定标记被定位在屏幕102的四个角处。在水平方向一条线的情况下，从左端开始的第1个和第“T”个投影仪以及第1个和第“T”个投影仪负责屏幕102的角区域，使得这些投影仪投影包括屏幕对应区域指定标记的初始校正图像。

图24A和24B图示包括屏幕对应区域指定标记的初始校正图像和作为投影的初始校正图像的相应的“初始校正投影图像”。图24A图示在调整之前的初始状态，而图24B图示在调整之后的状态。

如图24A所示，由左端的第一投影仪150a投影的初始校正图像250a包括屏幕对应区域指定标记252LT和252LB，它们分别要被定位在屏幕102的左上角和左下角。

另一方面，由右端的第三投影仪150c投影的初始校正图像250c包括屏幕对应区域指定标记252RT和252RB，它们分别要被定位在屏幕102的右上角和右下角。此外，由安装在中心的第二投影仪150b投影的初始校正图像250b在本实施例中不包括任何标记，而是仅仅包括背景颜色。

在屏幕的外侧，投影图像很可能有大的失真，并且可能存在图案。因此，优选将屏幕对应区域指定标记252的初始位置设置在屏幕102内部，以便被投影在屏幕102内部。

此外，为了使得更容易初始安装投影仪150a、150b和150c，能够选择(使用)例如白色的具有大于或者等于预定值的亮度值的颜色，作为初始校正图像250a、250b和250c的背景颜色。

可以通过使用与图像处理装置110连接的鼠标、键盘等来改变在初始校正图像250中的屏幕对应区域指定标记252的位置。在直观地确定区域指定标记242在初始校正投影图像240a和240c中的位置的同时，用户指示图像处理装置110移动屏幕对应区域指定标记252的位置。

如图24B所示，在已经调整以便区域指定标记242的位置粗略地适合于屏幕102的四个角之后，通过例如按下按钮来完成初始定位。

返回图23，在步骤S303中，图像处理装置110确定是否已经完成通过屏幕对应区域指定标记252的初始定位。在步骤S303中，当确定没有从用户接收到表明完成初始定位的指令时(在步骤S303中“否”)，处理循环回到步骤S302。

另一方面，当确定从用户处接收表明完成初始定位的指令时(在步骤S303中“是”)，图像处理装置110获取屏幕对应区域指定标记在相应的投影仪坐标系上的当前位置坐标，并且处理来到步骤S304。

在步骤S304中，图像处理装置110基于由用户输入的投影仪的安装条件和由用户通过使用屏幕对应区域指定标记所调整的屏幕对应区域指定标记的位置信息，生成校正图像并且进一步生成校正投影场景。

图25A示意性地图示根据第二实施例的余量计算处理。用户通过使用用户界面来移动在投影仪150的投影图像上的屏幕对应区域指定标记。在直观地检查投影图像的同时，用户指定屏幕对应区域指定标记的位置以便粗略地适合于屏幕102的四个角。获取四个角的坐标值，作为此时的投影仪坐标。

四个角的坐标并不总是表明矩形形状。因此，对于在上侧、下侧、左侧和右侧的余量部分，可以选择较大的一个。在特定的实施例中，对于在校正图像的上侧形成的余量部分(上余量)的尺寸，能够采用(选择)在左端第一投影仪150a的坐标系上的从上端至左上标记的长度或者在右端第三投影仪150c的坐标系上的从上端至右上标记的长度，无论哪个较大。

类似地，对于在校正图像的下侧形成的余量部分(下余量)的尺寸，能够采用(选择)在左端第一投影仪150a的坐标系上的从下端至左下标记的长度或者在右端第三投影仪150c的坐标系上的从下端至右下标记的长度，无论哪个较大。对于在左端第一投影仪150a的校正图像的左侧形成的余量部分(左余量)的尺寸，能够采用(选择)在左端第一投影仪150a的坐标系上的从左端至左上标记的长度或者从左端至左下标记的长度，无论哪个较大。

对于在右端第三投影仪150c的校正图像的右侧形成的余量部分(右余量)，能够采用(选择)在右端第三投影仪150c的坐标系上的从右端至右上标记的长度或者从右端至右下标记的长度，无论哪个较大。

图25B图示投影仪150a、150b和150c的投影图像和通过划分区域形成的块。如图25B所示，由屏幕对应区域指定标记定义屏幕对应区域262。此外，如图25C所示，在校正图像中的余量部分(余量区域)对应于与屏幕对应区域262并不对应的块，并且由与屏幕对应区域262相对应的块定义的范围是校正区域。

可能能够使用其中以点阵方式布置校正图案的校正区域。然而，在优选的实施例中，另外形成在校正区域内的其中形成校正图案的布置的校正图案区域之外的余量部分。此外，在优选的实施例中，为了维持提取准确性，校正图案的尺寸被设置为不变的尺寸，而不管余量部分的尺寸如何。为此目的，例如，可以根据余量部分的尺寸改变校正图案的行和列的数目。

如在图25C中所示，用于第一投影仪150a的第一校正图像200a整体在水平方向上被划分为30块，并且在垂直方向上被划分为20块。在该30×20块之中，存在在上部7块、下部3块和左边18块的区域内形成的余量部分，使得在第一校正图像200a的右下侧形成12×10块的校正区域。

此外，在该12×10块的校正区域中，在校正区域的中心和右侧的11×8块的区域中，布置圆形校正图案。使用具有如上所述形成的圆形校正图案的投影图像。

在第二校正图像200b中，存在在上部7块和下部3块的区域内形成的余量部分，使得定义除了上述余量部分之外的30×10块的校正区域。在第三校正图像200c中，存在在上部7块、下部3块和右边6块的区域内形成的余量部分，使得在第三校正图像200c的左下侧形成24×10块区域的校正区域。

此外，在图25C的示例中，四角标记被提供在与左端相对应的第一校正图像200a内的校正区域的左上和左下处、以及在与右端相对应的第三校正图像200c内的校正区域的右上和右下处。

再次返回参考图23，在步骤S306中，图像处理装置110致使投影仪150a、150b和150c顺序地投影所生成的校正投影场景，并且通过使用相机160来获取与校正投影图像相对应的校正捕捉图像。在步骤S306至S315中的处理类似于在步骤S104至S113中的处理，并且在此省略其详细描述。

如上文中所描述的，用户直观地确定是否希望调整，并且调整所投影的屏幕对应区域指定标记的位置。这样做，即使在投影仪的布置方面受限制的条件下，也变得能够计算适当的余量部分并且进行高度准确的校正处理。

此外，在该实施例中，描述了其中屏幕对应区域指定标记被定位为适合于屏幕102的四个角的情况。然而，本发明不限于该配置。在另一实施例中，屏幕对应区域指定标记可以被定位为适合于屏幕102的、不仅包括四个角还包括屏幕102的尺寸的周边。例如，屏幕对应区域指定标记可以以这种方式形成在安装于中心处的投影仪150b的初始校正图像250b内：使得屏幕对应区域指定标记被定位为适合于屏幕102的上侧边和下侧边。

此外，屏幕对应区域指定标记的形状不限于如图25中图示的钩形(coronoid shape)。可以使用任何其他形状作屏幕对应区域指定标记的形状。

余量指定模式的切换

图26图示其中优选应用基于输入的高宽比的余量指定模式和基于屏幕对应区域指定的余量指定模式的情况。在图26中基于输入的高宽比的余量指定模式对应于图7的校正处理，并且基于屏幕对应区域指定的余量指定模式对应于图23的校正处理。在优选的实施例中，图像处理装置110可以基于根据用户的指定在基于输入的高宽比的余量指定模式和基于屏幕对应区域指定的余量指定模式之间切换。

在由于安装环境的限制而不能准确地布置投影仪的情况下或者在即使不存在对安装环境的特别限制时也希望以较高的自由度安装投影仪的情况下，可以优选选择基于屏幕对应区域指定的、在图26上部分图示的余量指定模式。在这种情况下，可以相对自由地安装投影仪。因此，可以降低用户的安装操作的工作负担。

另一方面，在仅存在一些对安装环境的限制使得可以准确安装投影仪的情况下，可以优选选择基于输入的高宽比的、在图26的下部分图示的余量指定模式。在这种情况下，很少浪费像素，并且由投影所连接的投影图像的分辨率变为最佳。此外，由于使用投影图像的中心部分，所以图像质量也变为最佳。

硬件配置

在下文中，参考图27描述根据实施例的图像处理装置110的示例硬件配置。典型地，使用通用计算装置作为图像处理装置110。图27图示根据实施例的通用计算装置的示例配置。

通用计算装置(图像处理装置)110包括中央处理单元(CPU)12、形成在CPU 12和存储器之间的连接的北桥14、和南桥16。南桥16经由专用总线或***组件互联(PCI)总线连接至北桥14，并且形成与诸如PCI总线和通用串行总线(USB)之类的输入/输出(I/O)的连接。

北桥14连接至随机存取存储器(RAM)18和显卡(graphic board)20，RAM提供用于CPU 12的工作区，显卡20输出视频信号。显卡20经由诸如模拟RGB、高清晰度多媒体接口(注册商标)(HDMI)(注册商标)、数字视频接口(DVI)、DisplayPort(注册商标)等的视频输出接口连接至显示器50或投影仪150。

南桥16连接至PCI端口22、局域网(LAN)端口24、IEEE 1394端口26、USB端口28、辅助存储设备30、音频输入/输出32和串行端口34。辅助存储设备30是硬盘驱动器(HDD)、固态驱动器(SSD)等，并且存储用于控制计算机装置的操作***(OS)、用于实施上文中描述的功能部分的程序、各种***信息和各种设置信息。LAN端口24是将通用计算装置(图像处理装置)110无线地或者有线地连接至网络的接口设备。

USB端口28可以连接至诸如键盘52或鼠标54的输入设备，以便提供用于从操作者接收包括例如移动四角标记和屏幕对应区域指定标记的指令在内的各种指令的输入。根据实施例的通用计算装置(图像处理装置)110从辅助存储设备30读取程序，并且将程序加载至由RAM 18提供的工作区(空间)。

这样做，可以在CPU 12的控制下实现上文描述的各种功能和处理。此外，没有具体地描述投影150和相机160。然而，这些设备也具有包括CPU、RAM等的硬件和用于特定目的的专用硬件。

如上文中描述的，根据本发明的实施例，变得能够提供投影***、在投影***中的图像形成装置、由计算机进行的校正方法、用于实现图像形成装置的程序和投影设备，它们能够根据多个投影部件的投影图像和由多个投影装置在其上投影整体的图像的投影目标区域之间的关系容易地对多个投影部件进行校正处理。

此外，上述功能部分可以通过以诸如例如汇编、C、C++、C#和Java(注册商标)的遗留编程语言或面向对象的编程语言编写的计算机可执行的程序来实施。此外，这样的程序可以存储在诸如只读存储器(ROM)、电可擦除可编程ROM(EEPROM)、EPROM、闪存、软盘、紧凑盘ROM(CD-ROM)、CD可重写(CD-RW)、数字通用盘ROM(DVD-ROM)、DVD-RAM、DVD-RW、蓝光盘、SD卡、磁光盘(MO)等的设备可读记录介质中，或者可以经由电信线而分发。

尽管为了完整清楚公开已经关于特定实施例描述了本发明，但是所附权利要求并不因此受限，而是被理解为包含完全落入在此阐述的基本教导之内的、对于本领域技术人员而言可能发生的所以修改和替换构造。

Claims (18)

1.一种投影***，包括：

多个投影单元，配置为共同将图像整体投影在投影区域上；

生成单元，配置为基于投影单元的投影图像与投影区域之间的指定关系，生成包括相应的校正点的校正图像，所述校正点用于检测由相应的投影单元投影的投影图像的失真；和

补偿系数计算单元，配置为基于通过捕捉在投影区域上投影的校正图像而获取的一个或多个校正捕捉图像，计算与投影单元对应的补偿系数，

其中，所述生成单元配置为还以如下方式在与在投影区域的外部区域中投影所述投影图像的投影单元对应的校正图像中生成余量部分：使得在所述校正图像内定义了校正点的部分被投影在投影区域内，同时与彼此相邻的投影单元相对应的在所述校正图像内定义了校正点的部分重叠。

2.根据权利要求1所述的投影***，

其中，所述生成单元配置为还在如下投影单元的校正图像中定义了校正点的部分的***区域中生成定位标记：所述投影单元在投影区域的角区域中投影所述投影图像，所述定位标记定义了在对于投影区域的角区域的定位中被用作标记的参考点。

3.根据权利要求2所述的投影***，

其中，所述生成单元配置为基于与投影区域的所有角相对应的多个参考点来定义所述图像整体被所述投影单元共同投影到的投影目标区域，所述参考点从一个或多个校正捕捉图像中提取，并且，

其中，所述补偿系数计算单元配置为基于参考点计算与投影单元对应的补偿系数。

4.根据权利要求3所述的投影***，还包括：

移动指令接收单元，配置为接收用于在图像整体被投影在投影目标区域上时移动定义了所述投影目标区域的参考点的移动指令，

其中，所述补偿系数计算单元配置为基于响应于所述移动指令已经被更新的参考点，计算与投影单元对应的补偿系数。

5.根据权利要求4所述的投影***，

其中所述移动指令接收单元包括用户界面，提供所述用户界面以相对于定义了所述投影目标区域的四角参考点的初始位置以多步的粒度改变调整量，并且

其中所述调整量是指在其中合并了所述投影单元的校正点的合并坐标系上的值，并且通过使用所述参考点在合并坐标系中的坐标和所述定位标记在投影单元的坐标系上的坐标来缩放所述调整量。

6.根据权利要求1至5中任一项所述的投影***，

其中，投影单元的投影图像与投影区域之间的指定关系包括投影单元的安装条件和投影区域的形状特征，并且

其中，投影单元的安装条件包括所安装的投影单元的数目、投影单元的投影图像的布置方式、以及投影单元的投影图像的高宽比，并且投影区域的形状特征包括投影区域的高宽比。

7.根据权利要求1至5中任一项所述的投影***，

其中，投影单元的投影图像与投影区域之间的指定关系包括投影区域相对于从投影单元所投影的投影图像的相对位置信息。

8.根据权利要求7所述的投影***，还包括：

输出单元，配置为向在投影区域的***区域中投影图像的投影单元输出初始校正图像，所述初始校正图像包括要被定位在投影区域的***处的区域指定标记；和

接收单元，配置为接收用于移动所述区域指定标记的移动指令，

其中，响应于用于移动所述区域指定标记的移动指令，获取投影区域的相对位置信息。

9.根据权利要求1至8中任一项所述的投影***，还包括：

投影图像输出单元，配置为在投影单元的初始安装的情况下同时向相应的投影单元输出图像，在所述图像中定义了点阵点的图形图案被写在具有大于或等于预定值的亮度的背景上。

10.根据权利要求1至9中任一项所述的投影***，

其中所述补偿系数计算单元包括

校正点提取合并处理单元，其从校正捕捉图像中提取校正点，并且计算校正点在合并坐标系上的坐标，所述合并坐标系是通过在校正捕捉图像的坐标系之间进行射影变换而合并的。

11.根据权利要求3至10中任一项所述的投影***，

其中所述补偿系数计算单元包括：

射影变换获取单元，配置为基于定义了投影目标区域的参考点的坐标和图像整体的角的坐标，获取从投影目标区域到图像整体的射影变换，

转换单元，配置为基于所述射影变换将投影单元的校正点的坐标转换为图像整体的坐标系，所述校正点从校正捕捉图像中提取，和

几何补偿系数计算单元，配置为通过基于在投影单元的坐标上的校正点与所提取的校正点之间的关系将投影单元的坐标系与图像整体的坐标系相关联来计算几何补偿系数，所述几何补偿系数提供由投影单元投影的投影图像。

12.根据权利要求11所述的投影***，

其中，所述补偿系数计算单元还包括

混合系数计算单元，配置为检测其中一个是目标投影单元的彼此相邻的投影单元的投影图像之间的重叠区域，并且计算混合系数，所述混合系数用于调整目标投影单元的投影图像和与该目标投影单元相邻的投影单元的投影图像之间的重叠。

13.根据权利要求12所述的投影***，还包括：

补偿处理单元，配置为基于由所述几何补偿系数计算单元计算的几何补偿系数从所述图像整体生成投影单元的中间图像，并且基于由所述混合系数计算单元计算的混合系数从所述中间图像计算投影单元的最终投影图像。

14.根据权利要求1至13中任一项所述的投影***，包括以下的至少一个：

投影设备，用作所述投影单元；和

成像设备，配置为捕捉所述校正捕捉图像。

15.一种图像处理装置，用于致使多个投影单元共同将图像整体投影在投影区域上，所述图像处理装置包括：

生成单元，配置为基于投影单元的投影图像与投影区域之间的指定关系，生成包括相应的校正点的校正图像，所述校正点用于检测由相应的投影单元投影的投影图像的失真；和

补偿系数计算单元，配置为基于通过捕捉在投影区域上投影的校正图像而获取的一个或多个校正捕捉图像，计算与投影单元相对应的补偿系数，

其中，所述生成单元配置为还以如下方式在与在投影区域的外部区域中投影所述投影图像的投影单元对应的校正图像中生成余量部分：使得在所述校正图像内定义了校正点的部分被投影在投影区域内，而与彼此相邻的投影单元相对应的在所述校正图像内定义了校正点的部分重叠。

16.一种通过计算机执行的、致使多个投影单元共同将图像整体投影在投影区域上的校正方法，所述校正方法包括：

生成步骤，基于投影单元的投影图像与投影区域之间的指定关系，生成包括相应的校正点的校正图像，所述校正点用于检测由相应的投影仪投影的投影图像的失真；

投影步骤，致使投影单元投影所生成的校正图像；

接收步骤，接收通过捕捉在投影区域上投影的校正图像而获取的一个或多个校正捕捉图像的输入；和

计算步骤，基于一个或多个校正捕捉图像计算与投影单元相对应的补偿系数；

其中，以如下方式在与在投影区域的外部区域中投影所述投影图像的投影单元对应的校正图像中生成余量部分：使得在所述校正图像内定义了校正点的部分被投影在投影区域内，同时与彼此相邻的投影单元相对应的在所述校正图像内定义了校正点的部分重叠。

17.根据权利要求16所述的校正方法，

其中，在生成步骤中，在如下投影单元的校正图像中定义了校正点的部分的***区域中生成定位标记：所述投影单元在投影区域的角区域中投影所述投影图像，所述定位标记定义了在投影区域的角区域中定位时被用作标记的参考点。

18.根据权利要求17所述的校正方法，

其中，在生成步骤中，基于与投影区域的所有角相对应的多个参考点来定义所述图像整体被所述投影单元共同投影到的投影目标区域，所述参考点从一个或多个校正捕捉图像中提取，并且

其中在计算步骤中，基于所述参考点计算与投影单元相对应的补偿系数。