CN111480335B

CN111480335B - 图像处理装置、图像处理方法、程序以及投影***

Info

Publication number: CN111480335B
Application number: CN201880080505.XA
Authority: CN
Inventors: 石川智也
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2017-12-19
Filing date: 2018-12-05
Publication date: 2023-04-18
Anticipated expiration: 2038-12-05
Also published as: US11115632B2; EP3706410B1; EP3706410A4; EP3706410A1; CN111480335A; WO2019124070A1; US20210084268A1

Abstract

本发明涉及在通过使用多个投影仪对基于等距圆柱图像的图像进行投影的情况下使得能够减少处理的图像处理装置、图像处理方法、程序以及投影***。根据本发明的一方面的图像处理装置生成作为用于生成要从多个投影仪投影的各个投影图像的图像的第二等距圆柱图像，该第二等距圆柱图像使用第一等距圆柱图像的多个投影仪的各个投影区域中的中心像素作为中心像素，并且该第二等距圆柱图像包括在包含各个投影区域的各个角度范围内的像素。本发明适用于其中从多个投影仪对视频图片进行投影的计算机。

Description

图像处理装置、图像处理方法、程序以及投影***

技术领域

本技术涉及图像处理装置、图像处理方法、程序以及投影***，并且更具体地，涉及在使用多个投影仪对基于等距圆柱图像的图像进行投影的情况下可以减少处理的图像处理装置、图像处理方法、程序以及投影***。

背景技术

使用具有高分辨率的等距圆柱图像作为输入的多个投影仪彼此链接以对等距圆柱图像的局部区域进行投影的多投影***是可用的。

在多投影***中，执行对投影仪、屏幕以及视点之间的位置关系进行测量并且生成用于生成每个投影仪的投影图像的几何校正信息的处理。几何校正信息是用于将每个投影仪的投影图像中的像素与用作投影源的等距圆柱图像中的像素相关联的信息。

引用列表

专利文献

[PTL1]JP 2016-014720A

发明内容

技术问题

在发生以下改变的情况下，通常需要再生成(重新生成)每个投影仪的投影图像。

(1)改变在等距圆柱图像中的期望投影的区域。

(2)改变投影仪、屏幕以及视点之间的位置关系。

另一可用方法是将具有高分辨率的等距圆柱图像分割成多个矩形区域，以提供矩形区域的图像作为针对投影仪的图像，而不提供投影图像。在通过这种方法提供图像的情况下，由于等距圆柱图像的特性，分配给在极点附近对图像进行投影的投影仪的区域变得非常大。因为分配给每个投影仪的区域的大小不同，所以吞吐量和数据量的变化增加。

鉴于这种情况构思了本技术，并且本技术的目的是减少用于使用多个投影仪对基于等距圆柱图像的图像进行投影的处理。

问题的解决方案

本技术的一方面的图像处理装置包括生成器，该生成器生成作为用于生成从多个投影仪投影的投影图像中的每个投影图像的图像的第二等距圆柱图像，该第二等距圆柱图像的中心像素为第一等距圆柱图像中的多个投影仪的投影区域中的每个投影区域的中心像素，并且该第二等距圆柱图像包括在包括投影区域中的每个投影区域的角度范围内的像素。

本技术的另一方面的投影***包括以下：具有弯曲投影表面的屏幕；多个投影仪，其将由图像处理装置生成的投影图像投影在屏幕上；以及所述图像处理装置，并且该图像处理装置包括：生成器，其生成作为用于生成从多个投影仪投影的投影图像中的每个投影图像的图像的第二等距圆柱图像，该第二等距圆柱图像的中心像素为第一等距圆柱图像中的多个投影仪的投影区域中的每个投影区域的中心像素，并且该第二等距圆柱图像包括在包括投影区域中的每个投影区域的角度范围内的像素，以及投影控制器，其基于第二等距圆柱图像和图像生成参数来生成投影图像，该图像生成参数包括用于将投影图像中的每个投影图像的中心像素变换成第二等距圆柱图像的中心像素的变换信息以及指示第二等距圆柱图像的角度范围的信息，并且该投影控制器使多个投影仪分别对投影图像进行投影。

在本技术中，生成作为用于生成从多个投影仪投影的投影图像中的每个投影图像的图像的第二等距圆柱图像，该第二等距圆柱图像的中心像素为第一等距圆柱图像中多个投影仪的投影区域中的每个投影区域的中心像素，并且第二等距圆柱图像包括在包括投影区域中的每个投影区域的角度范围内的像素。

发明的有益效果

本技术在使用多个投影仪对基于等距圆柱图像的图像进行投影的情况下可以减少处理。

注意，本文所描述的效果不一定是限制性的，并且可以提供本公开内容中描述的任意效果。

附图说明

[图1]图1是示出根据本技术的示例性实施方式的多投影***的配置示例的视图。

[图2]图2是示出观察者与穹顶屏之间的位置关系的示例的视图。

[图3]图3是示出配置内容的运动图像的一帧的示例的视图。

[图4]图4是示出用于设置投影正面位置的示例的视图。

[图5]图5是示出每个投影仪的投影区域的示例的视图。

[图6]图6是示出穹顶屏上的投影区域的示例的视图。

[图7]图7是示出投影状态的视图。

[图8]图8是示出图像处理装置的硬件的配置示例的框图。

[图9]图9是示出图像处理装置的功能配置示例的框图。

[图10]图10是示出图像处理的整个流程的图。

[图11]图11是示出全局投影正面位置调整处理的流程的图。

[图12]图12是示出投影仪中心等距圆柱图像的示例的图。

[图13]图13是示出投影仪中心等距圆柱图像生成处理的流程的图。

[图14]图14描绘了示出高分辨率等距圆柱图像和投影仪中心等距圆柱图像的示例的视图。

[图15]图15是示出几何再校正矢量生成处理的流程的图。

[图16]图16是说明一系列图像处理的流程图。

[图17]图17是示出现有处理的流程的图。

具体实施方式

在下文中，将描述本技术的示例性实施方式。将按照以下顺序进行描述。

1.多投影***的配置

2.等距圆柱图像

3.图像处理装置的功能

4.图像处理装置的配置

5.图像处理的整个流程

6.投影正面位置调整处理

7.投影仪中心等距圆柱图像(Projector-centered equidistant cylindricalimage)生成处理

8.几何再校正矢量生成处理

9.图像处理装置的操作

10.其他示例

<多投影***的配置>

图1是示出根据本技术的示例性实施方式的多投影***的配置示例的视图。

图1中的多投影***包括穹顶屏(dome screen)1、投影仪2-1至2-7和图像处理装置3。投影仪2-1至2-7通过有线通信或无线通信连接至图像处理装置3。

穹顶屏1具有穹顶(球形)投影表面1A，该穹顶(球形)投影表面1A具有完全覆盖站在穹顶屏1前面的观察者的视野的尺寸。

如图2所示，当投影表面1A被限定为球体的表面时，观察者站在将作为球体中心的位置P1用作观看位置以观看投影在投影表面1A上的图像的位置处。投影表面1A上的相对于位置P1沿水平方向存在的位置P2是投影表面1A中的正面位置，该位置P2在图2中的虚线箭头前端示出。

在投影表面1A上，对具有例如其水平视场角为240度并且其竖直视场角为110度的宽视场角的图像进行投影。该图像基本上覆盖了整个视野。这使得观察者能够拥有仿佛他或她被图像包围的印象并且能够获得沉浸在内容中的感觉。

例如，提供例如游戏和电影的运动图像的内容。然而，可以提供例如拍摄风景的照片的静止图像的内容。

投影仪2-1至2-7中的每一个将作为针对每个投影仪的图像的投影图像投影在穹顶屏1上，从而向观察者呈现一个图像。基于构成内容的运动图像的具有高分辨率的图像生成每个投影仪的投影图像，以允许在观察者的视点处观察没有失真的一个图像。

在图1的示例中，在投影仪2-1至2-7中，投影仪2-1至2-5安装在房间的天花板附近，而投影仪2-6和2-7安装在地板附近。投影仪2-1至2-7的投影部分分别指向投影表面1A上的预定区域。

图1示出了七个投影仪，即投影仪2-1至2-7，但是在多投影***中安装有更多个投影仪。

在下文中，假设安装有18个投影仪，即投影仪2-1至2-18。除了图1所示的投影仪2-1至2-7之外，投影仪2-8至2-18也安装在穹顶屏1前面的预定位置处，而投影仪2-8至2-18的投影部分分别指向投影表面1A上的预定区域。构成多投影***的投影仪的数目可以是任意数目。

图像处理装置3基于构成内容的运动图像的每一帧生成每个投影仪的投影图像。图像处理装置3向每个投影仪输出投影图像以进行投影。

图像处理装置3例如是PC。代替一个PC，多个PC可以构成图像处理装置3。此外，图像处理装置3可以设置在不同于其中安装有穹顶屏1的房间的房间中，而不是如图1所示设置在穹顶屏1附近。

<等距圆柱图像>

图3是示出构成内容的运动图像的一帧的示例的视图。

如图3所示，构成运动图像的一帧是等距圆柱图像。等距圆柱图像是用作例如由天球摄像装置拍摄的天球图像的表示形式的图像。由图像处理装置3获得的运动图像是例如包括宽视场角图像诸如由天球摄像装置拍摄的天球图像的运动图像。

在图3的示例中，水平视场角被设置成从-180度到180度的360度，并且竖直视场角被设置成从-90度到90度的180度。此外，等距圆柱图像包括沿水平方向的21600个像素和沿竖直方向的10800个像素。因此，每一度的视场角的像素数为60(60ppd(每度像素(pixelper degree)))。

等距圆柱图像是其纬度线和经度线以直角和相等的间隔相交的图像。每个像素的位置用纬度和经度表示。在零度纬度附近失真很小。随着远离零度纬度，沿横向方向的失真变大。在图3的等距圆柱图像中，摄像装置附近存在的建筑物被拍摄使得建筑物沿横向方向被大幅延伸。天空和大海被拍摄在正面中。

图像处理装置3基于高分辨率等距圆柱图像生成每个投影仪的投影图像，该高分辨率等距圆柱图像是这样的等距圆柱图像：该等距圆柱图像的视场角宽且分辨率高。高分辨率等距圆柱图像的视场角和像素数不限于图3所示的数值。

如上所述，投影在穹顶屏1上的图像是其水平视场角为240度并且其竖直视场角为110度的图像。基于高分辨率等距圆柱图像中的局部区域的图像生成每个投影仪的投影图像。

根据投影正面位置设置用于生成投影图像的区域。投影正面位置是投影在投影表面1A上的正面位置(图2中的位置P2)处的高分辨率等距圆柱图像上的位置。

允许图像处理装置3对投影正面位置进行调整，使得高分辨率等距圆柱图像中的预定位置被定义为投影正面位置。例如，多投影***的管理员对投影正面位置进行调整。可以根据由内容的观察者进行的操作来切换投影正面位置。

图4是示出用于设置投影正面位置的示例的视图。

例如，将高分辨率等距圆柱图像的中心设置为默认投影正面位置。对投影正面位置进行调整使得将默认投影正面位置从高分辨率等距圆柱图像的中心修改成另一位置。

在例如图4中的位置P11被设置为投影正面位置的情况下，以位置P11为基准的其水平视场角为240度并且其竖直视场角为110度的框F1中的范围被设置为穹顶屏1的投影范围。位置P11是略低于高分辨率等距圆柱图像的中心的位置。

使用所示出的由框F1包围的矩形区域中的像素和***像素生成每个投影仪的投影图像。

图5是示出每个投影仪的投影区域的示例的视图。

框F1的上部分中示出的区域A1至A5分别是投影仪2-1至2-5的投影区域。在零度纬度附近示出的区域B1至B5分别是投影仪2-6至2-10的投影区域。

区域C1至C5分别是投影仪2-11至2-15的投影区域。框F1的下部分中示出的区域D1至D3分别是投影仪2-16至2-18的投影区域。每个投影区域被表示成与高分辨率等距圆柱图像上的相邻投影区域部分重叠。

图5所示的投影区域分别分配给投影仪2-1至2-18。假设穹顶屏1、投影仪2-1至2-18以及视点之间的位置关系是固定的，则当设置投影正面位置并且确定由框F1指示的整个投影区域时，确定分配给每个投影仪的投影区域。

在图像处理装置3中，生成每个投影仪的投影图像以允许投影仪2-1至2-18对投影区域的图像进行投影。

图6是示出穹顶屏1(投影表面1A)上的投影仪的投影区域的示例的视图。

图6中的圆圈指示从穹顶屏1的后表面侧观察的投影表面1A的状态。例如，投影仪2-1至2-5的投影图像被分别投影至略高于投影表面1A中的正面位置的位置，如区域A1至A5所指示。投影仪2-8的投影图像被投影在包括投影表面1A的正面位置的区域中，如区域B3所指示。

图7是示出投影状态的视图。

例如，在图4中的位置P11被设置为投影正面位置的情况下，通过对来自投影仪的投影图像进行投影，向观察者呈现如图7所示的框F1的范围内的图像。高分辨率等距圆柱图像中的位置P11对应于投影表面1A上的正面位置。

以这种方式，通过使用多个投影仪对具有宽视场角的覆盖用户的基本上整个视野的图像进行投影来执行由多投影***对内容的呈现。

<图像处理装置的功能>

图像处理装置3主要包括以下功能。

(1)用于将投影正面位置调整成在任意位置处的功能

(2)在不重新生成每个投影仪的投影图像的情况下用于对投影正面位置执行微调(fine adjustment)的功能

(3)在不重新生成每个投影仪的投影图像的情况下用于对投影偏差进行校正的功能

如上所述，上述项(1)的功能是可以将除了高分辨率等距圆柱图像的中心以外的位置调整成投影正面位置的功能。例如，也可以调整将高分辨率等距圆柱图像的中心(其纬度为零度，并且其经度为零度)定义为投影正面位置的默认状态，使得与沿水平方向的默认状态完全相反的其纬度为零度并且其经度为180度的位置被定义为投影正面位置。

上述项(2)的功能是使得能够根据需要对投影正面位置进行微调的功能。通常，在相对于修改之后的投影正面位置进一步执行微调的情况下，需要根据经过微调的投影正面位置来生成投影图像，而不是根据已经生成的投影仪的投影图像来生成投影图像。然而，图像处理装置3不需要该步骤。

上述项(3)的功能是对在投影仪、屏幕以及视点之间的位置关系被修改的情况下发生的投影偏差进行校正的功能。投影仪、屏幕以及视点之间的位置关系可能由于时间的流逝或者温度的变化而被修改。此外，当由于例如维修而使投影仪和屏幕的位置被移位或者视点的设置被修改时，投影仪、屏幕以及视点之间的位置关系也被修改。

通常，在发生投影偏差的情况下，需要根据已经校正了投影偏差的位置关系来生成投影图像，而不是根据已经生成的投影仪的投影图像来生成投影图像。然而，图像处理装置3不需要该步骤。

<图像处理装置的配置>

图8是示出图像处理装置3的硬件的配置示例的框图。

CPU(中央处理单元)101、ROM(只读存储器)102和RAM(随机存取存储器)103通过总线104相互连接。

总线104还与输入/输出接口105连接。输入/输出接口105与输入部106、输出部107、存储器108、通信部109和驱动器110连接。

输入部106包括例如键盘和鼠标。例如，用户(多投影***的管理员)操作输入部106以调整投影正面位置。

输出部107使监视器显示用于调整投影正面位置的调整屏幕。此外，输出部107向投影仪输出投影图像。

存储器108例如包括硬盘或非易失性存储器。除了内容之外，存储器108还存储各种类型的数据，例如由CPU 101执行的程序。

通信部109包括例如网络接口。通信部109通过网络例如因特网与外部装置通信。可以通过网络提供由多投影***再现的内容。

驱动器110是用于可移动介质111例如包括半导体存储器的USB存储器的驱动器。驱动器110将数据写入可移动介质111并且读取存储在可移动介质111中的数据。

图9是示出图像处理装置3的功能配置示例的框图。

在图像处理装置3中，CPU 101执行预定程序以实现图像处理器151。

图像处理器151包括几何校正部161、分辨率转换器162、全局投影正面位置调整部163、投影仪中心等距圆柱图像生成器164、投影仪中心等距圆柱图像存储器(projector-centered equidistant cylindrical image storage)165、详细投影正面位置调整部166、投影偏差校正部167和投影控制器168。将用于几何校正处理的测量图像输入至几何校正部161中，并且将构成内容的运动图像的高分辨率等距圆柱图像输入至分辨率转换器162和投影仪中心等距圆柱图像生成器164中。

几何校正部161获取通过作为用于对内容的运动图像进行投影的预处理而执行的测量处理而获得的测量图像。测量图像是以这样的方式获得的图像：每个投影仪将预先设计的图案图像投影在投影表面1A上，并且摄像装置拍摄投影在投影表面1A上的图案图像。在测量图像中，由每个投影仪投影的图案在根据投影区域的位置而失真的同时被捕获。

几何校正部161将图案图像的坐标与测量图像的坐标相关联，并且几何校正部161(通过获得几何变换的参数)对几何问题求解以生成几何校正信息。几何校正信息是关于用于将每个投影仪的投影图像中的像素与高分辨率等距圆柱图像中的像素相关联的几何校正矢量的信息。

几何校正信息是根据投影仪、屏幕以及视点之间的位置关系的信息，并且几何校正信息例如用于生成投影图像。通过这种自动几何校正处理生成的几何校正信息被供应至全局投影正面位置调整部163、投影仪中心等距圆柱图像生成器164、详细(minute)投影正面位置调整部166、投影偏差校正部167和投影控制器168。

分辨率转换器162执行对高分辨率等距圆柱图像的分辨率转换以生成低分辨率等距圆柱图像，低分辨率等距圆柱图像具有低分辨率的等距圆柱图像。例如，通过执行用于实现低分辨率例如像素稀疏的处理，将22K(21600×10800像素)的高分辨率等距圆柱图像转换成4K(4096×2160像素)的低分辨率等距圆柱图像。

低分辨率等距圆柱图像用于对投影正面位置进行调整。由分辨率转换器162生成的低分辨率等距圆柱图像被供应至全局投影正面位置调整部163。

全局投影正面位置调整部163基于从几何校正部161供应的几何校正信息和从分辨率转换器162供应的低分辨率等距圆柱图像来执行全局投影正面位置调整处理，该全局投影正面位置调整处理是对投影正面位置进行粗略地调整的处理。由全局投影正面位置调整处理生成的投影正面位置信息被供应至投影仪中心等距圆柱图像生成器164。稍后将描述全局投影正面位置调整处理的细节。

投影仪中心等距圆柱图像生成器164基于高分辨率等距圆柱图像和从全局投影正面位置调整部163供应的投影正面位置信息来生成用于生成投影仪的投影图像的投影仪中心等距圆柱图像。为了生成投影仪中心等距圆柱图像，还使用了从几何校正部161供应的几何校正信息。

如稍后将描述的，投影仪中心等距圆柱图像是其中心像素等于每个投影仪的投影区域的中心像素并且包括投影区域的角度范围的图像。由于使用18个投影仪执行投影，因此从一个高分辨率等距圆柱图像生成18个投影仪中心等距圆柱图像。

由投影仪中心等距圆柱图像生成器164生成的投影仪中心等距圆柱图像连同图像生成参数被供应至投影仪中心等距圆柱图像存储器165，以进行存储。图像生成参数用作用于基于投影仪中心等距圆柱图像来生成投影图像的信息。

详细投影正面位置调整部166执行详细投影正面位置调整处理，该详细投影正面位置调整处理是对投影正面位置执行微调的处理。在投影仪对投影图像进行投影并且将运动图像呈现在穹顶屏1上的状态下执行详细投影正面位置调整处理。由详细投影正面位置调整处理生成的投影正面位置信息被供应至投影偏差校正部167。稍后将描述详细投影正面位置调整处理的细节。

投影偏差校正部167基于从详细投影正面位置调整部166供应的几何校正矢量对投影偏差进行校正。

投影偏差的校正是根据投影偏差对现有几何校正矢量进行校正的处理。在下文中，根据情况，投影偏差的校正被称为几何再校正矢量生成处理。

通过几何再校正矢量生成处理生成的几何再校正矢量中的每一个矢量是用于将每个投影仪的投影图像中的像素与经过对投影正面位置的微调的投影仪中心等距圆柱图像中的像素相关联的矢量。稍后将描述几何再校正矢量生成的细节。

例如，在投影仪、屏幕以及视点之间的位置关系发生偏差并且再执行自动几何校正处理的时刻，也执行由投影偏差校正部167进行的几何再校正矢量生成处理。在再执行自动几何校正处理的情况下，几何校正部161向投影偏差校正部167供应包括几何校正矢量的几何校正信息。

投影控制器168读取存储在投影仪中心等距圆柱图像存储器165中的投影仪中心等距圆柱图像和图像生成参数，以生成每个投影仪的投影图像。为了生成每个投影仪的投影图像，使用从几何校正部161供应的几何校正信息或者从投影偏差校正部167供应的几何再校正矢量。

例如，当执行用于详细投影正面位置调整处理的投影时，使用从几何校正部161供应的几何校正信息来生成投影图像。在终止详细投影正面位置调整处理和几何再校正矢量生成处理并且因此已经生成几何再校正矢量的情况下，使用几何再校正矢量来生成投影图像。

投影控制器168向每个投影仪输出投影图像，以将投影图像投影在穹顶屏1上。

<图像处理的整个流程>

图10是示出由图像处理器151执行的图像处理的整个流程的图。

如图10的左上部分处所示，几何校正部161使用测量图像作为输入来执行自动几何校正处理，并且生成几何校正信息。使用多个测量图像(测量图像组)执行自动几何校正处理。随后的处理根据此时要执行的自动几何校正处理是第一处理(first-timeprocessing)还是第二处理或者后续处理而分支。

在此时要执行的自动几何校正处理是第一处理的情况下，如空心箭头#1前端所示，全局投影正面位置调整部163使用低分辨率等距圆柱图像来执行全局投影正面位置调整处理。指示由在观看基于低分辨率等距圆柱图像而显示的图像的同时对投影正面位置进行调整的用户输入的内容的信息也被输入至全局投影正面位置调整部163。

如空心箭头#2前端所示，投影仪中心等距圆柱图像生成器164使用通过全局投影正面位置调整处理生成的投影正面位置信息和高分辨率等距圆柱图像组来执行投影仪中心等距圆柱图像生成处理。通过投影仪中心等距圆柱图像生成处理，生成针对每个投影仪的投影仪中心等距圆柱图像和图像生成参数。

如空心箭头#3前端所示，详细投影正面位置调整部166执行详细投影正面位置调整处理。指示由在观看基于投影仪中心等距圆柱图像而投影在穹顶屏1上的图像的同时对投影正面位置进行精细地调整的用户输入的内容的信息也被输入至详细投影正面位置调整部166。

如空心箭头#4前端所示，投影偏差校正部167执行几何再校正矢量生成处理。如上所述，基于从详细投影正面位置调整部166供应的几何校正矢量或者基于从几何校正部161供应的几何校正信息，通过再执行自动几何校正处理来执行几何再校正矢量生成处理。

在针对第二或随后执行的自动几何校正处理的情况下，如空心箭头#5前端所示，省略了全局投影正面位置调整处理和投影仪中心等距圆柱图像生成处理，并且接下来执行详细投影正面位置调整处理。还可以从几何再校正矢量生成处理执行一系列处理。

如空心箭头#6前端所示，投影控制器168基于投影仪中心等距圆柱图像和图像生成参数生成每个投影仪的投影图像，并且对所生成的图像进行投影。

在下文中，将描述处理的每个部分。

<投影正面位置调整处理>

为了对投影正面位置进行调整，在两个阶段中执行使用低分辨率等距圆柱图像的全局投影正面位置调整处理和在生成投影仪中心等距圆柱图像之后的详细投影正面位置调整处理。

-全局投影正面位置调整处理

图11是示出全局投影正面位置调整处理的流程的图。

如图11的左端处所示，将通过自动几何校正处理生成的几何校正信息输入至全局投影正面位置调整部163。包括在几何校正信息中的每个几何校正矢量指示用作投影图像中的每个像素(u，v)的高分辨率等距圆柱图像上的参考目标的像素E(u，v)，如由箭头A11所指示的。

输入至全局投影正面位置调整部163的等距圆柱图像是通过分辨率转换获得的低分辨率等距圆柱图像。然而，低分辨率等距圆柱图像中的像素对应于尚未转换的高分辨率等距圆柱图像中的像素。几何校正矢量用作将投影图像中的像素与高分辨率等距圆柱图像中的像素相关联并且将投影图像中的像素与低分辨率等距圆柱图像中的像素相关联的信息。

如空心箭头#11前端所示，全局投影正面位置调整部163将包括在几何校正信息中的几何校正矢量变换成3D矢量Q。

由于等距圆柱图像的特性，低分辨率等距圆柱图像中像素的位置对应于纬度和经度(θ，φ)，如上所述。在低分辨率等距圆柱图像中的像素被视为球体上的像素的情况下，3D矢量Q是指示以球体的中心为基准的像素方向的矢量。

与投影图像中的像素对应的低分辨率等距圆柱图像中的像素的纬度和经度(θ，φ)分别由以下表达式(1)和(2)表示。

[数学式1]

[数学式2]

在表达式(1)中，equiWidth是低分辨率等距圆柱图像的宽度，并且在表达式(2)中，equiHeight是低分辨率等距圆柱图像的高度。

通过以下表达式(3)将纬度和经度(θ，φ)变换成3D矢量Q。

[数学式3]

Q＝(sinφsinθ cosφ -sinφcosθ)…(3)

此处，用于对投影正面位置进行调整的调整画面显示在监视器上。在调整画面上，显示了低分辨率等距圆柱图像本身，或者显示了基于低分辨率等距圆柱图像生成的图像。

用户使用这种GUI(图形用户界面)对投影正面位置进行调整。指示经过调整的投影正面位置的信息被供应至全局投影正面位置调整部163。

如空心箭头#12前端所示，全局投影正面位置调整部163根据用户输入执行3D矢量Q的坐标变换。用于坐标变换的变换矩阵U是用于对投影正面位置进行修改的矩阵并且被表示为3D矢量Q的旋转矩阵，如由箭头A12所指示的。

反映用户输入的3D矢量Q'由以下表达式(4)表示。3D矢量Q'表示经过对投影正面位置进行调整的低分辨率等距圆柱图像中的像素的纬度和经度。

[数学式4]

Q’＝U·Q…(4)

针对投影图像中的每个像素，获得用于对指示投影图像中的像素与等距圆柱图像中的像素之间的对应关系的几何校正矢量的变换的这种变换矩阵U，并且这种变换矩阵U被供应至投影仪中心等距圆柱图像生成器164作为投影正面位置信息。

如空心箭头#13前端所示，全局投影正面位置调整部163将3D矢量Q'变换成几何校正矢量，并且生成几何校正信息，该几何校正信息是关于变换之后的几何校正矢量的信息。使用上述表达式(1)至(3)通过逆变换来执行3D矢量Q'到几何校正矢量的变换。

如由箭头A13所指示的，变换之后的几何校正矢量是用于将投影图像中的每个像素(u，v)与经过对投影正面位置的调整的低分辨率等距圆柱图像(高分辨率等距圆柱图像)中的像素E(u，v)相关联的信息。

-详细投影正面位置调整处理

在其中对来自投影仪的投影图像进行投影并且运动图像被呈现在穹顶屏1上的状态下执行详细投影正面位置调整处理。用户观看呈现在穹顶屏1上的运动图像并且对投影正面位置执行微调。

详细投影正面位置调整处理的流程与全局投影正面位置调整处理的流程基本上相同。

换句话说，将通过自动几何校正处理生成的几何校正信息输入至详细投影正面位置调整部166。包括在几何校正信息中的几何校正矢量指示用作投影图像中每个像素(u，v)的高分辨率等距圆柱图像上的参考目标的像素E(u，v)。

此处，包括像素E(u，v)的高分辨率等距圆柱图像是基于投影仪的投影仪中心等距圆柱生成的整个投影区域(图4中的框F1中的区域)的图像。

详细投影正面位置调整部166将包括在几何校正信息中的几何校正矢量变换成3D矢量Q。

另外，详细投影正面位置调整部166根据观看投影在穹顶屏1上的运动图像的用户的输入来执行3D矢量Q的坐标变换。可以由用户调整的投影正面位置的范围对应于设置在投影仪中心等距圆柱图像上的边缘区域(margin region)的范围。稍后将描述设置在投影仪中心等距圆柱图像上的边缘区域。

在概念上，边缘区域设置在由图4中的框F1指示的整个投影区域周围，并且可以在包括边缘区域的整个投影区域的范围内对投影正面位置执行微调。

详细投影正面位置调整部166将通过坐标变换获得的3D矢量Q'变换成几何校正矢量，并且生成几何校正信息，该几何校正信息是关于经过变换的几何校正矢量的信息。通过详细投影正面位置调整处理生成的几何校正信息和用于3D矢量Q的坐标变换的变换矩阵U被供应至投影偏差校正部167作为投影正面位置信息。

如上所述，在图像处理器151中，将投影正面位置的调整作为两个阶段处理来执行。通过两个阶段来执行投影正面位置的调整，从而实现以下优点。

(1)即使在图像处理装置3的性能差并且GPU不能处理高分辨率等距圆柱图像例如22K的情况下，用户也可以在观看基于低分辨率图像显示的接近于最终投影图像的图像的同时对投影正面位置进行调整。

(2)由于当执行全局投影正面位置调整处理时显示在调整屏幕上的图像是基于低分辨率等距圆柱图像显示的图像，因此图像处理装置3可以改善绘制响应。由于以改善的响应来绘制调整之后的状态，因此即使在用户对投影正面位置进行显著地调整的情况下，用户也可以快速且容易地执行调整。

(3)当调整范围在边缘区域的预设范围内时，图像处理装置3可以在不再生成针对投影仪的图像(投影仪中心等距圆柱图像)的情况下执行对投影正面位置的微调。

<投影仪中心等距圆柱图像生成处理>

为了实现对投影正面位置的调整和对投影偏差的校正，作为用于投影仪的图像的分割方法，需要具有等距圆柱图像的特性并且可以对应于几何校正信息的变化的方法。投影仪中心等距圆柱图像是满足这种要求的图像，并且是通过对针对投影仪的高分辨率等距圆柱图像进行分割而形成的具有良好的数据效率的图像。

过去，对等距圆柱图像进行分割的处理已经用于各种应用。例如，存在其中将等距圆柱图像分割成图块并且仅将显示所需的部分传输至用户侧并且显示在用户侧上的服务。

在将等距圆柱图像分割成图块的情况下，使极点附近的部分可视化所需的数据量很大，因此降低了数据传输效率和处理效率。在图12的左侧示出了高分辨率等距圆柱图像中的投影仪的投影区域。投影仪的投影区域与参照图5所说明的区域相同。

如由在图12的左侧的高分辨率等距圆柱图像上的粗线所指示的，与在零度纬度附近对图像进行投影的投影仪的投影区域相比，作为在极点附近对图像进行投影的投影仪2-16的投影区域的区域D1非常宽。

因此，如果提取由框F21包围时指示的图块区域并且将该图块区域设置为针对投影仪2-16的图像，则可能会减少整个吞吐量。此外，由于需要保留的数据大小的增加，可能降低操作稳定性。

为了解决这些问题，在图像处理器151中，如图12中的箭头A21前端所示，生成投影仪中心等距圆柱图像，所述投影仪中心等距圆柱图像是将与每个投影仪的投影区域的中心(位置P21)对应的等距圆柱图像上的坐标定义为零度纬度和零度经度并且包括每个投影仪的投影角度的范围和边缘的角度范围的图像。换句话说，不执行以下这种处理：提取由框F21指示的矩形区域以提供每个投影仪的图像。

在图12的右侧示出的矩形框F22内的区域是与投影仪2-16的投影角度范围对应的区域。此外，在框F22的外部但在框F23的内部的区域是边缘区域。边缘区域中的像素用于对投影正面位置的微调和对投影偏差的校正。

生成作为具有例如像素数小于或等于6K(6144×3072像素)的图像的投影仪中心等距圆柱图像。每个投影仪中心等距圆柱图像的像素数根据投影角度的范围而变化。

针对每个投影仪生成包括这种区域的像素的投影仪中心等距圆柱图像。图像处理器151可以执行分割成图像的处理，其中这些图像中的每一个具有作为等距圆柱图像的特性、能够与几何校正信息的变化对应，并且图像中的每一个具有每单位角度的良好的数据效率。

图13是示出投影仪中心等距圆柱图像生成处理的流程的图。

例如，顺序地聚焦在每个投影仪上而执行图13所示的投影仪中心等距圆柱图像生成处理。

如图13的左端所示，投影仪中心等距圆柱图像生成器164基于从几何校正部161供应的几何校正信息来计算与当前聚焦的投影仪的投影图像的中心像素对应的高分辨率等距圆柱图像上的纬度和经度(θ，φ)。基于包括在几何校正信息中的投影图像的中心像素的几何校正矢量以及上述表达式(1)和(2)来执行纬度和经度的计算。由箭头A31所指示的几何校正矢量是表示投影仪的投影图像的中心像素与高分辨率等距圆柱图像中的像素之间的对应关系的信息。

如空心箭头#21前端所示，投影仪中心等距圆柱图像生成器164计算每个投影仪的投影角度的范围。执行投影角度的范围的计算使得投影图像的四个角处的像素被变换成与中心像素类似的经度和纬度，并且计算沿纬度方向的角度范围R_θ和沿经度方向的角度范围R_φ。

如空心箭头#22前端所示，投影仪中心等距圆柱图像生成器164基于与投影图像的中心像素的对应的3D矢量Q来计算用于将投影图像变换成投影仪中心等距圆柱图像的变换矩阵P。

基于投影图像的中心像素的几何校正矢量，通过上述表达式(1)至(3)获得与投影仪的投影图像的中心对应的3D矢量Q。

此外，通过以下表达式(5)获得变换矩阵P。

[数学式5]

P＝U·M…(5)

表达式(5)中的变换矩阵U是用于根据如上所述的用户输入对投影正面位置进行调整的矩阵。由从全局投影正面位置调整部163供应的投影正面位置信息指定变换矩阵U。

此外，变换矩阵M是用于将投影图像的中心像素变换成投影仪中心等距圆柱图像坐标上的零度纬度和零度经度的像素的矩阵。基于与投影图像的中心像素对应的高分辨率等距圆柱图像上的经度和纬度(θ，φ)，通过以下表达式(6)获得变换矩阵M。

[数学式6]

针对用于计算变换矩阵M的高分辨率等距圆柱图像上的经度和纬度(θ，φ)，不考虑对投影正面位置的调整。通过将变换矩阵M乘以表示对投影正面位置调整的内容的变换矩阵U来获得变换矩阵P。

如由箭头A32所示，投影仪中心等距圆柱图像生成器164基于变换矩阵P将高分辨率等距圆柱图像(整个投影区域)中的每个像素的3D矢量Q变换成表示投影仪中心等距圆柱图像上的坐标的3D矢量Q”。由以下表达式(7)3D矢量Q的变换。

[数学式7]

Q”＝P·Q…(7)

如空心箭头#23前端所示，投影仪中心等距圆柱图像生成器164将用作边缘的角度范围Marginθ添加至沿纬度方向的角度范围R_θ，并且将用作边缘的角度范围Marginφ添加至沿经度方向的角度范围R_φ。投影仪中心等距圆柱图像生成器164生成包括由3D”矢量所指示的高分辨率等距圆柱图像中的像素中的角度范围(R_θ+Marginθ，R_φ+Marginφ)内的像素的投影仪中心等距圆柱图像。

投影仪中心等距圆柱图像生成器164将表示角度范围(R_θ，R_φ)和变换矩阵M的信息作为图像生成参数连同投影仪中心等距圆柱图像存储在投影仪中心等距圆柱图像存储器165中。图像生成参数用于基于投影仪中心等距圆柱图像生成投影图像。

顺序地聚焦在每个投影仪上执行如上所述的一系列处理。投影仪中心等距圆柱图像存储器165将针对每个投影仪的投影仪中心等距圆柱图像和图像生成参数作为一组进行存储。

图14描绘了示出高分辨率等距圆柱图像和投影仪中心等距圆柱图像的示例的视图。

图14的部分B中所示的投影仪中心等距圆柱图像是投影仪2-17(分配有图5中的在区域D2附近的投影区域的投影仪)的投影仪中心等距圆柱图像，该投影仪2-17是在极点附近对图像进行投影的投影仪。

注意，图14的B部分中所示的投影仪中心等距圆柱图像是其中相对于投影仪2-17的投影区域的角度范围(R_θ，R_φ)，将与20度对应的边缘区域添加至沿纬度方向的角度范围并且将与20度对应的边缘区域添加至沿经度方向的角度范围的图像。这允许用户在与20度对应的边缘区域的范围内对投影正面位置执行微调。

<几何再校正矢量生成处理>

通过自动几何校正处理生成的包括在几何校正信息中的几何校正矢量是用于将投影仪的投影图像中的像素与包括整个纬度和经度的范围的高分辨率等距圆柱图像中的像素相关联的信息。为了将投影仪的投影图像中的像素与投影仪中心等距圆柱图像中的像素相关联，需要通过对几何校正矢量进行变换来生成几何再校正矢量。

图15是示出几何再校正矢量生成处理的流程的图。

例如，顺序地聚焦在每个投影仪的投影仪中心等距圆柱图像上来执行图15中的几何再校正矢量生成处理。

如图15的左端所示，通过对投影正面位置调整而更新的几何校正信息或者通过根据投影偏差再执行自动几何校正处理而生成的几何校正信息被输入至投影偏差校正部167。

通过详细投影正面位置调整处理生成先前的几何校正信息，并且从详细投影正面位置调整部166供应先前的几何校正信息作为投影正面位置信息。包括在通过对投影正面位置调整而更新的几何校正信息中的几何校正矢量是用于将每个投影仪的投影图像中的像素与经过对投影正面位置的微调的高分辨率等距圆柱图像中的像素相关联的矢量。

当投影仪、屏幕以及视点之间的位置关系偏离并且再次执行自动几何校正处理时，从几何校正部161供应后面的几何校正信息。包括在当再次执行自动几何校正处理时供应的几何校正信息中的几何校正矢量是用于将每个投影仪的投影图像中的像素与高分辨率等距圆柱图像中的像素相关联的矢量。

如空心箭头#31和空心箭头#32前端所示，投影偏差校正部167将包括在几何校正信息中的几何校正矢量变换成3D矢量Q。通过上述表达式(1)至(3)获得3D矢量Q。

投影偏差校正部167基于针对存储在投影仪中心等距圆柱图像存储器165中的图像生成参数的变换矩阵M和通过对投影正面位置调整而获得的变换矩阵U来获得变换矩阵P'。由以下表达式(8)表示变换矩阵P'。

[数学式8]

p'＝M^-1·U…(8)

此外，如空心箭头#33前端所示，投影偏差校正部167基于变换矩阵P'在投影仪中心等距圆柱图像坐标系中将3D矢量Q变换成3D矢量Q”。由以下表达式(9)表示3D矢量Q”。

[数学式9]

Q”＝p’·Q…(9)

如空心箭头#34前端所示，投影偏差校正部167将通过变换获得的3D矢量Q”输出至投影控制器168，并且将3D矢量Q”存储为几何再校正矢量。

如上所述的一系列处理是顺序地聚焦在每个投影仪的投影仪中心等距圆柱图像上而执行的。

投影控制器168存储并管理从投影偏差校正部167供应的几何再校正矢量。几何再校正矢量是用于将每个投影仪的投影图像中的像素与经过投影偏差校正的投影仪中心等距圆柱图像中的像素相关联的矢量。

当生成投影图像时，在投影控制器168中，基于几何再校正矢量对基于从投影仪中心等距圆柱图像存储器165读取的投影仪中心等距圆柱图像和图像生成参数生成的图像进行变换以生成投影图像。

例如，基于几何再校正矢量对包括在角度范围(R_θ，R_φ)中包括的像素的图像进行变换以生成投影图像，角度范围(R_θ，R_φ)包括在投影仪中心等距圆柱图像中的像素中的图像生成参数中。

使用几何再校正矢量生成投影图像。这使得可以处理详细投影正面位置调整和投影偏差校正两者。如上所述，几何再校正矢量是使用通过详细投影正面位置调整处理获得的变换矩阵U生成的矢量。除了投影偏差校正之外，使用几何再校正矢量生成投影图像还用作包括详细投影正面位置调整的处理。

<图像处理装置的操作>

参照图16中的流程图，将描述包括上述处理的一系列图像处理。

在步骤S1中，图像处理器151确定是否已经生成投影仪中心等距圆柱图像。

在步骤S1中图像处理器151确定没有生成投影仪中心等距圆柱图像的情况下，在步骤S2中全局投影正面位置调整部163执行全局投影正面位置调整处理。执行参照图11描述的处理，从而对投影正面位置进行调整。

在步骤S3中，投影仪中心等距圆柱图像生成器164执行投影仪中心等距圆柱图像生成处理。执行参照图12和图13描述的处理，从而生成每个投影仪的投影仪中心等距圆柱图像。

在步骤S4中，详细投影正面位置调整部166执行详细投影正面位置调整处理。执行参照图11描述的处理，从而执行对投影正面位置的微调。

在步骤S5中，投影偏差校正部167执行几何再校正矢量生成处理。执行参照图15描述的处理，从而生成几何再校正矢量。

在步骤S6中，投影控制器168基于几何再校正矢量对基于投影仪中心等距圆柱图像和图像生成参数生成的图像进行变换以生成投影图像。投影控制器168将投影图像输出至每个投影仪以进行投影。

利用这种配置，包括高分辨率等距圆柱图像中的预定范围内的图像的运动图像以如图7所指示的形式被投影在穹顶屏1上。

另一方面，在图像处理器151在步骤S1中确定已经生成了投影仪中心等距圆柱图像的情况下，图像处理器151在步骤S7中确定是否对投影正面位置执行微调。

在图像处理器151在步骤S7中确定对投影正面位置执行微调的情况下，处理进行至步骤S4以执行详细投影正面位置调整处理。在执行详细投影正面位置调整处理之后，根据需要执行几何再校正矢量生成处理以生成投影图像。

另一方面，在图像处理器151在步骤S7中确定不对投影正面位置执行微调的情况下，处理进行至步骤S8并且图像处理器151确定是否执行投影偏差校正。

在图像处理器151在步骤S8中确定执行投影偏差校正的情况下，处理进行至步骤S5以执行几何再校正矢量生成处理。在执行几何再校正矢量生成处理之后，生成投影图像。

另一方面，在图像处理器151在步骤S8中确定不执行投影偏差校正的情况下，处理进行至步骤S6以生成投影图像并且对该投影图像进行投影。

如上所述，在生成投影仪中心等距圆柱图像之后，用户可以对投影正面位置执行微调并且还可以执行投影偏差校正。

换句话说，如图17所示，作为现有处理的流程，在从高分辨率等距圆柱图像直接生成每个投影仪的投影图像的情况下，当在生成投影图像之后执行投影正面位置调整或者投影偏差校正时，需要再生成投影图像。

包括边缘的投影仪中心等距圆柱图像被生成为通常被称为用作生成每个投影仪的投影图像的源的中间图像。这允许进行投影正面位置调整或者投影偏差校正，而无需这种图像再生成。

另外，用于生成投影仪中心等距圆柱图像的像素仅是其中将边缘的角度范围添加至投影区域的角度范围所得的角度范围内的像素。因此，可以提高数据传输效率和处理效率。例如，在通过从高分辨率等距圆柱图像中提取矩形区域来提供每个投影仪的图像的情况下，分配有极点附近的投影区域的投影仪的图像特别地包括许多不必要的像素，但是利用这种配置可以防止这种缺点。

<其他示例>

执行使用投影仪中心等距圆柱图像的处理被假定为用于在多投影***中对运动图像进行投影的处理。然而，使用投影仪中心等距圆柱图像的处理还适用于对等距圆柱图像进行分割以对该等距圆柱图像进行传输的***。

假设穹顶屏1的投影表面1A具有基本上半球的穹顶形状。然而，可以采用具有各种曲率和视场角的弯曲表面作为投影表面1A的形状。

例如，检测观察者的视线，执行头部跟踪，并且然后可以根据该视线控制投影范围。

图像处理器151中的功能部分可以由多个PC来实现，使得在图9所示的图像处理器151中的功能部分中，一些功能部分由预定的PC来实现，而其他功能部分由另一PC来实现。

图像处理器151中的功能部分可以由因特网上的服务器来实现，并且可以基于从服务器传输的数据来投影运动图像。

上述的一系列处理可以由硬件或者由软件执行。在一系列处理由软件执行的情况下，将配置软件的程序从用于该程序的记录介质安装在例如嵌入专用硬件的计算机或者通用个人计算机中。

例如，要由CPU 101执行的程序在被记录在可移动介质111中的同时或者在通过有线或无线传输介质例如局域网、因特网或数字广播来提供的同时，被安装在存储器108中。

注意，要由计算机执行的程序可以是其中以本说明书中描述的顺序以时间序列执行处理的程序，或者可以是其中并行执行处理或在所需定时例如在进行调用时执行处理的程序。

在本说明书中，***意在表示着一组多个部件(例如，装置和模块(部件))，而不管所有部件是否包括在同一壳体中。因此，容纳在单独的壳体中并且经由网络连接的多个装置和其中多个模块容纳在一个壳体中的一个装置两者都被称为***。

注意，本说明书中描述的效果本质上是说明性的，并且可以实现其他效果。

本技术的示例性实施方式不限于上述示例性实施方式，并且可以在不脱离本技术的主旨的情况下进行各种修改。

例如，本技术可以采用其中多个装置经由网络共享并协助处理一个功能的云计算的配置。

上述流程图中说明的每个步骤可以由一个装置执行，或者可以由多个装置通过共享执行。

此外，在一个步骤包括多个处理的情况下，一个步骤中包括的多个处理可以由一个装置执行，或者可以由多个装置通过共享执行。

本技术还可以采用以下配置。

(1)一种图像处理装置，包括：

生成器，其生成作为用于生成从多个投影仪投影的投影图像中的每个投影图像的图像的第二等距圆柱图像，所述第二等距圆柱图像的中心像素为第一等距圆柱图像中的所述多个投影仪的投影区域中的每个投影区域的中心像素，并且所述第二等距圆柱图像包括在包括所述投影区域中的每个投影区域的角度范围内的像素。

(2)根据项(1)所述的图像处理装置，还包括：

第一投影正面位置调整部，其对投影正面位置进行调整，

其中，所述生成器基于所述投影正面位置的调整后的所述第一等距圆柱图像中的所述投影区域中的每个投影区域来生成所述第二等距圆柱图像。

(3)根据项(2)所述的图像处理装置，还包括：

分辨率转换器，其通过降低所述第一等距圆柱图像的分辨率来生成低分辨率等距圆柱图像，

其中，所述第一投影正面位置调整部根据使用所述低分辨率等距圆柱图像的显示而调整的所后述投影正面位置来生成用于指示所述投影图像中的像素与所述第一等距圆柱图像中的像素之间的对应关系的几何校正信息的变换的第一变换信息。

(4)根据项(3)所述的图像处理装置，

其中，所述生成器生成包括在将预定角度范围作为边缘添加到所述投影区域中的每个投影区域的角度范围而得到的角度范围内的像素的所述第二等距圆柱图像。

(5)根据项(4)所述的图像处理装置，

其中，所述生成器生成图像生成参数，所述图像生成参数包括用于将所述投影图像中的每个投影图像的中心像素变换成所述第二等距圆柱图像的中心像素的第二变换信息以及指示所述第二等距圆柱图像的角度范围的信息。

(6)根据项(5)所述的图像处理装置，还包括：

存储器，其将所述多个投影仪中的每个投影仪的所述第二等距圆柱图像与所述图像生成参数一起存储。

(7)根据项(6)所述的图像处理装置，还包括：

投影控制器，其基于所述第二等距圆柱图像和所述图像生成参数来生成所述投影图像中的每个投影图像，并且使所述多个投影仪中的每个投影仪对所述投影图像中的每个投影图像进行投影。

(8)根据项(7)所述的图像处理装置，

其中，所述投影控制器将所述投影图像投影在具有弯曲投影表面的屏幕上。

(9)根据项(7)或(8)所述的图像处理装置，还包括：

第二投影正面位置调整部，其基于在对所述投影图像进行了投影的状态下执行的操作在所述边缘的范围内对所述投影正面位置进行调整。

(10)根据项(9)所述的图像处理装置，

其中，所述第二投影正面位置调整部根据在所述边缘的范围内调整后的所述投影正面位置来生成指示所述投影图像中的每个投影图像中的像素与所述第一等距圆柱图像中的像素之间的对应关系的几何校正信息。

(11)根据项(10)所述的图像处理装置，还包括：

校正部，其基于由所述第二投影正面位置调整部生成的所述几何校正信息来生成指示所述投影图像中的每个投影图像中的像素与所述第二等距圆柱图像中的像素之间的对应关系的几何再校正信息。

(12)根据项(11)所述的图像处理装置，

其中，所述校正部基于所述第一变换信息和所述第二变换信息来生成所述几何再校正信息。

(13)一种图像处理方法，包括：

由图像处理装置执行以下：

生成作为用于生成从多个投影仪投影的投影图像中的每个投影图像的图像的第二等距圆柱图像，所述第二等距圆柱图像的中心像素为第一等距圆柱图像中的所述多个投影仪的投影区域中的每个投影区域的中心像素，并且所述第二等距圆柱图像包括在包括所述投影区域中的每个投影区域的角度范围内的像素。

(14)一种计算机可读存储介质，所述计算机可读存储介质上存储有程序，所述程序使计算机执行以下处理：

(15)一种投影***，包括：

具有弯曲投影表面的屏幕；

多个投影仪，其将由图像处理装置生成的投影图像投影在所述屏幕上；以及

所述图像处理装置，所述图像处理装置包括：

生成器，其生成作为用于生成从多个投影仪投影的所述投影图像中的每个投影图像的图像的第二等距圆柱图像，所述第二等距圆柱图像的中心像素为第一等距圆柱图像中的所述多个投影仪的投影区域中的每个投影区域的中心像素，并且所述第二等距圆柱图像包括在包括所述投影区域中的每个投影区域的角度范围内的像素；以及

投影控制器，其基于所述第二等距圆柱图像和图像生成参数来生成所述投影图像，所述图像生成参数包括用于将所述投影图像中的每个投影图像的中心像素变换成所述第二等距圆柱图像的中心像素的变换信息以及指示所述第二等距圆柱图像的角度范围的信息，并且所述投影控制器使所述多个投影仪分别对所述投影图像进行投影。

附图标记列表

1穹顶屏、2-1至2-7投影仪、3图像处理装置、151图像处理器、161几何校正部、162分辨率转换器、163全局投影正面位置调整部、164投影仪中心等距圆柱图像生成器、165投影仪中心等距圆柱图像存储器、166详细投影正面位置调整部、167投影偏差校正部、168投影控制器

Claims

1.一种图像处理装置，包括：

生成器，其被配置成生成作为用于生成从多个投影仪投影的投影图像中的每个投影图像的图像的第二等距圆柱图像，所述第二等距圆柱图像的中心像素等同于第一等距圆柱图像中的所述多个投影仪的投影区域中的每个投影区域的中心像素，并且所述第二等距圆柱图像包括在包括所述投影区域中的每个投影区域的角度范围内的像素；

分辨率转换器，其被配置成通过降低所述第一等距圆柱图像的分辨率来生成低分辨率等距圆柱图像；和

第一投影正面位置调整部，其被配置成利用所述低分辨率等距圆柱图像的显示来对投影正面位置进行调整，

其中，所述生成器还被配置成基于所述投影正面位置的调整后的所述第一等距圆柱图像中的所述投影区域中的每个投影区域来生成所述第二等距圆柱图像，以及

其中，所述生成器、所述分辨率转换器和所述第一投影正面位置调整部均通过至少一个处理器来被实现。

2.根据权利要求1所述的图像处理装置，其中，所述第一投影正面位置调整部还被配置成根据使用所述低分辨率等距圆柱图像的显示而调整的所后述投影正面位置来生成用于指示所述投影图像中的像素与所述第一等距圆柱图像中的像素之间的对应关系的几何校正信息的变换的第一变换信息。

3.根据权利要求2所述的图像处理装置，

其中，所述生成器还被配置成生成包括在角度范围内的像素的所述第二等距圆柱图像，在所述角度范围中，预定角度范围作为边缘而被添加到所述投影区域中的每个投影区域的角度范围。

4.根据权利要求3所述的图像处理装置，

其中，所述生成器还被配置成生成图像生成参数，所述图像生成参数包括用于将所述投影图像中的每个投影图像的中心像素变换成所述第二等距圆柱图像的中心像素的第二变换信息以及指示所述第二等距圆柱图像的角度范围的信息。

5.根据权利要求4所述的图像处理装置，还包括：

存储器，其被配置成将所述多个投影仪中的每个投影仪的所述第二等距圆柱图像与所述图像生成参数一起存储，

其中，所述存储器通过至少一个处理器来被实现。

6.根据权利要求5所述的图像处理装置，还包括：

投影控制器，其被配置成基于所述第二等距圆柱图像和所述图像生成参数来生成所述投影图像中的每个投影图像，并且使所述多个投影仪中的每个投影仪对所述投影图像中的每个投影图像进行投影，

其中，所述投影控制器通过至少一个处理器来被实现。

7.根据权利要求6所述的图像处理装置，

其中，所述投影控制器还被配置成将所述投影图像投影在具有弯曲投影表面的屏幕上。

8.根据权利要求6所述的图像处理装置，还包括：

第二投影正面位置调整部，其被配置成基于在对所述投影图像进行了投影的状态下执行的操作在所述边缘的范围内对所述投影正面位置进行调整，

其中，所述第二投影正面位置调整部通过至少一个处理器来被实现。

9.根据权利要求8所述的图像处理装置，

其中，所述第二投影正面位置调整部还被配置成根据在所述边缘的范围内调整后的所述投影正面位置来生成指示所述投影图像中的每个投影图像中的像素与所述第一等距圆柱图像中的像素之间的对应关系的几何校正信息。

10.根据权利要求9所述的图像处理装置，还包括：

校正部，其被配置成基于由所述第二投影正面位置调整部生成的所述几何校正信息来生成指示所述投影图像中的每个投影图像中的像素与所述第二等距圆柱图像中的像素之间的对应关系的几何再校正信息。

11.根据权利要求10所述的图像处理装置，

其中，所述校正部还被配置成基于所述第一变换信息和所述第二变换信息来生成所述几何再校正信息。

12.一种图像处理方法，包括：

由图像处理装置执行以下：

生成作为用于生成从多个投影仪投影的投影图像中的每个投影图像的图像的第二等距圆柱图像，所述第二等距圆柱图像的中心像素等同于第一等距圆柱图像中的所述多个投影仪的投影区域中的每个投影区域的中心像素，并且所述第二等距圆柱图像包括在包括所述投影区域中的每个投影区域的角度范围内的像素；

通过降低所述第一等距圆柱图像的分辨率来生成低分辨率等距圆柱图像；和

利用所述低分辨率等距圆柱图像的显示来对投影正面位置进行调整，

其中，所述第二等距圆柱图像的生成基于所述投影正面位置的调整后的所述第一等距圆柱图像中的所述投影区域中的每个投影区域。

13.一种非暂态计算机可读介质，所述计算机可读介质上存储有程序，所述程序当被计算机执行时使计算机执行以下处理：

14.一种投影***，包括：

具有弯曲投影表面的屏幕；

多个投影仪，其被配置成将由图像处理装置生成的投影图像投影在所述屏幕上；以及

所述图像处理装置，所述图像处理装置包括：

生成器，其被配置成生成作为用于生成从多个投影仪投影的所述投影图像中的每个投影图像的图像的第二等距圆柱图像，所述第二等距圆柱图像的中心像素等同于第一等距圆柱图像中的所述多个投影仪的投影区域中的每个投影区域的中心像素，并且所述第二等距圆柱图像包括在包括所述投影区域中的每个投影区域的角度范围内的像素，

分辨率转换器，其被配置成通过降低所述第一等距圆柱图像的分辨率来生成低分辨率等距圆柱图像，

第一投影正面位置调整部，其被配置成利用所述低分辨率等距圆柱图像的显示来对投影正面位置进行调整，其中，所述生成器还被配置成基于所述投影正面位置的调整后的所述第一等距圆柱图像中的所述投影区域中的每个投影区域来生成所述第二等距圆柱图像，以及

投影控制器，其被配置成基于所述第二等距圆柱图像和图像生成参数来生成所述投影图像，所述图像生成参数包括用于将所述投影图像中的每个投影图像的中心像素变换成所述第二等距圆柱图像的中心像素的变换信息以及指示所述第二等距圆柱图像的角度范围的信息，并且所述投影控制器使所述多个投影仪分别对所述投影图像进行投影，

其中，所述生成器、所述分辨率转换器、所述第一投影正面位置调整部和所述投影控制器均通过至少一个处理器来被实现。