CN109874000B - 图像处理装置、信息处理方法和存储介质 - Google Patents

Abstract

本发明提供一种图像处理装置、信息处理方法和存储介质。该信息处理装置包括：摄像信息获得单元，用于获得关于用于在多个方向上拍摄图像的多个摄像装置的摄像信息；模型信息获得单元，用于获得关于背景形状模型的模型信息，所述背景形状模型指示由图像生成单元使用由摄像装置拍摄的图像而生成的虚拟视点图像的背景的三维形状；以及信息生成单元，用于基于获得的摄像信息和获得的模型信息，来生成将至少一个摄像装置与背景形状模型的部分区域相关联的相关信息，其中，相关信息用于确定哪一个摄像装置将拍摄，由图像生成单元用来决定与虚拟视点图像中的部分区域相对应的像素值的图像。

Description

图像处理装置、信息处理方法和存储介质

技术领域

本发明涉及图像处理装置、信息处理方法和程序。

背景技术

在最近的技术中，通过诸如位于不同位置的照相机的摄像装置从多个视点同时拍摄图像，并且使用从多个视点拍摄的图像生成虚拟视点图像。虚拟视点图像是看起来从虚拟设置的视点观看的图像。根据来自多个视点的图像生成虚拟视点图像的技术，例如，可以从各种角度观看足球和篮球的亮点。可以通过基于例如由多个照相机拍摄的图像执行诸如前景/背景分离、三维模型生成和绘制的处理，来生成基于来自多个视点的图像的虚拟视点图像。

日本特开2014-215828号公报公开了一种通过使用由多个摄像装置围绕的相同范围的图像来生成和显示与任何规格相对应的虚拟视点图像的技术。

在生成虚拟视点图像的技术中，生成以场地作为背景的体育场的三维模型，然后将图像投影到模型，以便在虚拟视点图像中生成背景。为了将图像投影到由摄像装置从不同视点拍摄的多个图像而生成的虚拟视点图像的背景模型，由摄像装置拍摄的图像首先经受例如投影变换，然后被合成。此后，可以将投影变换后生成的合成图像投影到背景模型。

然而，用于将图像投影到模型的处理(例如，用于对由摄像装置拍摄的图像进行投影变换的处理，或用于在投影变换之后合成摄像装置的拍摄图像的处理)需要许多硬件资源(例如存储器)和许多独立运算的任务。因此，期望一种用于减少该处理的负荷的技术。

发明内容

考虑到上述说明而设计了本发明。根据本发明的一方面，提供了一种信息处理装置，所述信息处理装置包括：摄像信息获得单元，其被构造为获得关于用于在多个方向上拍摄图像的多个摄像装置的摄像信息；模型信息获得单元，其被构造为获得关于背景形状模型的模型信息，所述背景形状模型指示由图像生成单元使用由摄像装置拍摄的图像而生成的虚拟视点图像的背景的三维形状；信息生成单元，其被构造为基于由摄像信息获得单元获得的摄像信息和由模型信息获得单元获得的模型信息，来生成将至少一个摄像装置与背景形状模型的部分区域相关联的相关信息，其中，相关信息用于确定哪一个摄像装置将拍摄，由图像生成单元用来确定与虚拟视点图像中的部分区域相对应的像素值的图像。

根据下面参考附图对示例性实施例的描述，本发明的其他特征将变得显而易见。

附图说明

图1示出了图像处理***的***构造的示例。

图2A和图2B示出了摄像装置的硬件构造的示例。

图3A和图3B示出了服务器装置的硬件构造的示例。

图4是预处理的示例的流程图。

图5是示出背景模型的示例的说明图。

图6是示出摄像装置的布局的示例的说明图。

图7是示出坐标变换的示例的说明图。

图8是虚拟视点图像的背景生成的示例的流程图。

图9示出了由摄像装置拍摄的状态的示例。

图10是示出剪切图像的示例的说明图。

图11示出了摄像装置的功能构造的示例。

图12示出了服务器装置的功能构造的示例。

图13是预处理的示例的流程图。

图14是背景生成的示例的流程图。

图15是指示区域的决定的示例的流程图。

图16是示出摄像装置的摄像范围的示例的说明图。

图17是示出拍摄要投影的图像的网格的示例的说明图。

图18是示出基准摄像装置和其他摄像装置之间的位置关系的示例的说明图。

图19示出了摄像装置根据距基准摄像装置的距离排列的示例。

图20是示出拍摄要投影的图像的网格的示例的说明图。

图21是预处理的示例的流程图。

图22是背景生成的示例的流程图。

图23是示出虚拟视点和摄像装置的朝向的示例的说明图。

图24是当检测到故障时的处理的示例的流程图。

具体实施方式

现在将根据附图详细地描述本发明的优选实施例。

<第一实施例>

图1示出了生成虚拟视点图像的图像处理***100的***构造的示例。图像处理***100是拍摄用于生成虚拟视点图像的图像并从拍摄的图像生成虚拟视点图像的***。图像处理***100包括摄像装置101a至101n和服务器装置103。摄像装置101a至101n和服务器装置103经由通信线路102连接以便彼此通信。

摄像装置101a至101n是诸如具有通信功能的网络照相机的摄像装置。在下文中，摄像装置101a至101n将统称为摄像装置101。在本实施例中，提供14个摄像装置101。摄像装置的数量可以是13或更少(并且多于1)，或15或更多。在本实施例中，摄像装置101a至101n设置在体育场中。摄像装置可以设置在另一个位置，例如音乐会场地。服务器装置103是信息处理装置，例如个人计算机、服务器装置或平板电脑。服务器装置103收集由摄像装置101a至101n拍摄的图像，并基于收集的图像生成虚拟视点图像。通信线路102例如是以太网通信线路。服务器装置103可以包括多个装置。

图2A示出了各个摄像装置101的硬件构造的示例。

摄像装置101包括CPU 201、主存储器202、辅助存储器203、网络I/F 204和摄像单元205。这些元件经由***总线206连接以便彼此通信。

CPU 201是控制摄像装置101的中央处理单元。主存储器202是用作CPU 201的工作区或临时数据存储区域的存储器。主存储器202使用存储介质(例如，随机存取存储器(RAM))放置。辅助存储器203是用于存储各种程序、各种设置信息、各种图像数据和照相机参数信息的存储器。使用诸如只读存储器(ROM)、硬盘驱动器(HDD)和固态驱动器(SSD)的存储介质来放置辅助存储器203。

网络I/F 204是用于通过通信线路102与外部装置(例如，服务器装置103)通信的接口。摄像单元205是拍摄装置周围的图像的摄像单元。摄像单元205包括摄像元件，例如CMOS传感器或CCD传感器和透镜。

CPU 201根据存储在辅助存储器203中的程序执行处理，从而启用将参考图2B和图11讨论的摄像装置101的功能，并且执行将参考图8和图14讨论的流程图中的摄像装置101的处理。

图2B示出了各个摄像装置101的功能构造的示例。

摄像装置101包括摄像控制单元211、生成单元212和发送单元213。

摄像控制单元211控制摄像单元205并通过使用摄像单元205中的透镜或摄像元件将光学拍摄图像转换为数字数据。生成单元212从通过摄像控制单元211拍摄的图像中分离前景和背景并生成没有前景图像的背景图像。发送单元213通过通信线路102将关于由生成单元212生成的背景图像的数据发送到服务器装置103。图2B中的功能构造的至少一部分可以由硬件实现。硬件的示例包括专用集成电路(ASIC)、现场可编辑门阵列(FPGA)和图形处理单元(GPU)。

图3A示出了服务器装置103的硬件构造的示例。

服务器装置103包括CPU 301、主存储器302、辅助存储器303和网络I/F 304。这些元件经由***总线305连接以便彼此通信。

CPU 301是控制服务器装置103的中央处理单元。主存储器302是用作CPU 301的工作区或临时数据存储区域的存储器。主存储器302使用存储介质(例如RAM)放置。辅助存储器303是用于存储各种程序、各种设置信息和各种图像数据的存储器。辅助存储器303使用存储介质(例如ROM，HDD或SSD)放置。网络I/F 304是用于通过通信线路102与外部装置(例如，摄像装置101)通信的接口。

CPU 301根据存储在辅助存储器303中的程序执行处理，从而启用将参考图3B和图12讨论的服务器装置103的功能，以及将参考图8和图14讨论的流程图中的服务器装置103的处理。CPU 301根据存储在辅助存储器303中的程序执行处理，从而启用将参考图4、图13、图15、图21、图22和图24讨论的流程图的处理。

图3B示出了服务器装置103的功能构造的示例。

服务器装置103包括图像获得单元311、校准单元312、背景模型管理单元313、坐标变换单元314、背景纹理决定单元315、虚拟照相机控制单元316和绘制单元317。

图像获得单元311获得由摄像装置101拍摄的图像，该图像通过通信线路102从摄像装置101发送。图像获得单元311将拍摄的图像发送到背景纹理决定单元315。

校准单元312控制作为关于摄像装置101的摄像信息的照相机参数。照相机参数是关于摄像装置的参数。照相机参数可以包括关于摄像装置的位置和朝向(方向)的外部参数以及关于焦距或像素间隔的内部参数。照相机参数可以是用于指定摄像区域的信息。照相机参数可以仅是外部参数和内部参数之一，或者包括另一个参数。校准单元312例如通过通信线路102将用于改变照相机参数的指令发送到摄像装置101。摄像装置101响应于发送的指令改变其照相机参数。此外，校准单元312可以通过通信线路102从摄像装置101接收例如关于照相机参数的信息。例如，校准单元312在辅助存储器303中存储和管理摄像装置101的照相机参数。校准单元312将摄像装置101的管理的照相机参数发送到坐标变换单元314。

背景模型管理单元313管理模型信息(下文中将称为背景模型数据)。模型信息被严密地定义为例如被示为由图像处理***100生成的虚拟视点图像的背景的体育场的结构的三维网格模型。背景模型数据指示例如构成背景模型的网格的位置。背景模型数据可以具有任何数据结构，例如包括点、线和面的三维形状的结构。背景模型数据被预先存储在辅助存储器303中。背景模型管理单元313将管理的背景模型数据发送到背景纹理决定单元315、坐标变换单元314和绘制单元317。在本实施例中，背景模型管理单元313通过使用预定的世界坐标系来管理背景模型的坐标。

坐标变换单元314基于从校准单元312发送的照相机参数，将世界坐标系中的背景模型中的区域变换为由摄像装置101拍摄的图像中的区域(照相机坐标系中的区域)。此外，坐标变换单元314基于从校准单元312发送的照相机参数，将由摄像装置101拍摄的图像中的照相机坐标系中的区域变换为世界坐标系中的背景模型中的区域。照相机坐标系是基于摄像装置的坐标系。坐标变换单元314可以指定各个摄像装置101中的世界坐标系和照相机坐标系之间的对应关系(例如，坐标系之间的变换参数)。在这种情况下，坐标变换单元314将关于指定的对应关系的信息发送到背景纹理决定单元315。然后，背景纹理决定单元315基于所发送的对应信息将世界坐标系中的背景模型中的区域变换为由摄像装置101拍摄的图像中的照相机坐标系中的区域。此外，背景纹理决定单元315基于所发送的对应信息将由摄像装置101拍摄的图像中的照相机坐标系中的区域变换为世界坐标系中的背景模型中的区域。

背景纹理决定单元315基于由图像获得单元311获得的图像，确定要投影到背景模型的各个部分区域(网格)的图像。

虚拟照相机控制单元316管理关于虚拟照相机的信息，并且基于通过服务器装置103的操作单元的用户操作控制虚拟照相机的照相机参数。虚拟照相机是被模拟位于指定的位置处的虚拟摄像装置。关于虚拟照相机的信息被预先存储在辅助存储器303中。虚拟照相机控制单元316将关于虚拟照相机的信息发送到绘制单元317。

绘制单元317将由背景纹理决定单元315决定的图像投影到从背景模型管理单元313发送的背景模型的各个网格。此后，绘制单元317基于来自虚拟照相机控制单元316的虚拟照相机的照相机参数将图像绘制为二维图像。这使得绘制单元317可以基于通过服务器装置103的操作单元的用户指令从任何指定的视点生成图像。

确定单元318从由图像获得单元311获得的图像当中选择要用于生成虚拟视点图像的图像。预先存储在辅助存储器303中的信息指示不使用特定图像来生成虚拟视点图像，所述特定图像包括例如离焦图像、不正确曝光(例如，在预定范围之外)的图像和由指定的摄像装置拍摄的图像。例如，基于该信息，确定单元318从由图像获得单元311获得的图像当中选择用于生成虚拟视点图像的图像。在本实施例中，假设存储在辅助存储器303中的信息指示由指定的其中一个摄像装置101拍摄的图像不用于生成虚拟视点图像。图像处理***100可以将拍摄由确定单元318确定不用于生成虚拟视点图像的图像的摄像装置，处理为不包括在图像处理***100中。

区域决定单元319决定由确定单元318确定用于生成虚拟视点图像的图像中的区域。所决定的区域中的图像被背景纹理决定单元315确定为投影到背景模型。图3B中的功能构造的至少一部分可以由硬件实现。硬件的示例包括ASIC、FPGA和GPU。

图4是在生成虚拟视点图像之前由图像处理***100执行的预处理的示例的流程图。图4中的处理使得图像处理***100可以在生成虚拟视点图像时减少将图像投影到背景模型的负担。

在S401中，背景纹理决定单元315从背景模型管理单元313接收到的背景模型数据中提取构成背景模型的网格。背景模型的各个网格是在背景模型的表面上形成的表面区域的示例。图5是示出背景模型的示例的说明图。模型501是体育场的三维模型。具有网格的地面被示为场。在本实施例中，背景模型是类似于模型501的体育场模型。然而，背景模型可以是音乐会场地或礼堂的模型。背景模型数据可以包括关于构成地面的各个网格的顶点坐标或平面的法线的信息。在本实施例中，背景纹理决定单元315在开始图4的处理之后的S401的处理中提取网格502。在S401中，可以通过与网格不同的单元部分地提取背景模型的表面上的区域。

在S402中，背景纹理决定单元315选择摄像装置101中的一个。在本实施例中，背景纹理决定单元315在S401中的处理之后的S402的处理中选择摄像装置101a。

图6是示出摄像装置的布局的示例的说明图。图6的状态示出了指示要在世界坐标系中拍摄的体育场的模型501与根据世界坐标系中的实际布局设置的摄像装置101之间的位置关系。如由摄像装置101a的照相机参数所指示的，摄像装置101a设置在图6中所示的位置处并拍摄区域601，该照相机参数由校准单元312管理。坐标变换单元314将世界坐标系中的网格502的坐标变换为摄像装置101a的照相机坐标系中的坐标。

在S403中，基于摄像装置101a的照相机参数(该照相机参数是从校准单元312发送的)，坐标变换单元314执行以下处理：坐标变换单元314将在世界坐标系中的S401中提取的网格502的区域变换为摄像装置101a的照相机坐标系中的区域。变换区域是用于拍摄由摄像装置101a拍摄的图像中与网格502相对应的部分的区域。换句话说，坐标变换单元314指定用于拍摄由各个摄像装置101拍摄的图像中的与网格502相对应的部分的区域。如图7所示，世界坐标系中的网格502的区域被变换到摄像装置101a的照相机坐标系，如下所述。区域701是摄像装置101a的照相机坐标系中的由摄像装置101a拍摄的整个图像的区域。图7示出了坐标变换单元314已经将网格502的区域变换为摄像装置101a的照相机坐标系中的区域702。

在S404中，坐标变换单元314确定在S403中是否已经针对所有摄像装置101处理了在S401中提取的网格。如果坐标变换单元314针对所有摄像装置101确定在S403中已经处理了在S401中提取的网格，则处理前进到S405的处理。如果坐标变换单元314确定在S403中尚未针对所有摄像装置101处理在S401中提取的网格，则处理前进到S402的处理。

在S405中，基于在S401中提取的网格的区域(在S403中将该区域变换到摄像装置101的照相机坐标系)，区域决定单元319执行以下处理：区域决定单元319从由摄像装置101拍摄的图像中的区域决定用于拍摄要投影到在S401中在背景模型中提取的网格的部分的图像的区域。

区域决定单元319从在S401中提取的网格的区域当中指定包含在由各个摄像装置101拍摄的图像中(没有位于该图像之外)的区域，该区域在S403中被变换到摄像装置101的照相机坐标系。区域决定单元319选择指定区域之一作为用于拍摄要投影到在S401中在背景模型中提取的网格的部分的图像的区域。换句话说，在图像处理***100中，由各个摄像装置101拍摄的图像中的所选区域的图像被投影到在S401中提取的网格的部分。

区域决定单元319例如将在S403中变换的区域中的一个指定为首先被指定包含在由各个摄像装置101拍摄的图像中的区域。换句话说，区域决定单元319可以选择指定区域作为用于拍摄要投影到在S401中提取的网格的部分的图像的区域。

在指定例如在S403中变换的区域之一作为由各个摄像装置101拍摄的图像中包含的区域之后，区域决定单元319可以执行以下处理：具体地，区域决定单元319可以基于各个区域的面积(占据图像的像素的数量)选择所选区域中的一个作为用于拍摄要投影到在S401中提取的网格的部分的图像的区域。

例如，区域决定单元319将在S403中变换的区域之一指定为包含在由各个摄像装置101拍摄的图像中的区域。此外，区域决定单元319可以选择所选区域中的最大区域作为用于拍摄要投影到在S401中提取的网格的部分的图像的区域。该处理使得图像处理***100可以选择以最大分辨率拍摄在S401中提取的网格的部分的摄像装置，作为用于拍摄要投影到该部分的图像的摄像装置。因此，图像处理***100可以利用背景模型的网格投影精细图像。

例如，区域决定单元319将在S403中变换的区域之一指定为包含在由各个摄像装置101拍摄的图像中的区域。此外，区域决定单元319可以选择所选区域中的最小区域作为用于拍摄要投影到在S401中提取的网格的部分的图像的区域。该处理使得图像处理***100可以最小化投影到背景模型的网格的图像的尺寸，从而减少投影处理的负荷。如果服务器装置103仅从摄像装置101接收投影到背景模型的网格的图像的部分，则可以保存通信线路102的通信频带。例如，区域决定单元319可以指定由摄像装置101拍摄的图像中包含的区域中的两个或更多个区域，作为用于拍摄要投影到在S401中提取的网格的部分的图像的区域。在这种情况下，图像处理***100可以在生成虚拟视点图像期间将通过对指定区域的图像求平均而获得的图像投影到对应网格。

以这种方式，S405中的区域决定单元319确定摄像装置中的哪一个将拍摄图像以及图像的哪个部分将被投影到目标网格。此外，区域决定单元319生成关于结果的信息(下文中将称为区域信息)。区域信息将摄像装置101中的至少一个与背景模型的网格相关联。当绘制单元317决定摄像装置中的哪一个要拍摄用于确定与虚拟视点图像中的目标网格相对应的像素值的图像时，使用区域信息。此外，区域信息指示与由与网格相关联的摄像装置拍摄的图像中的网格相对应的部分。在下文中，将在S405中选择的区域称为纹理区域。

在S406中，区域决定单元319确定是否针对背景模型中的所有网格完成了S402至S405的处理。如果区域决定单元319确定已经针对背景模型中的所有网格完成了S402至S405的处理，则处理前进到S407。如果区域决定单元319确定尚未针对背景模型中的所有网格完成S402至S405的处理，则处理前进到S401。

在S407中，背景纹理决定单元315将区域信息发送到绘制单元317，该区域信息指示在S405中在背景模型中为各个网格选择的纹理区域。

在完成图4中的处理时，准备要投影到背景模型的图像的生成。

图8是虚拟视点图像的背景生成的示例的流程图。

在S801中，各个摄像装置101中的摄像控制单元211拍摄被摄体的图像。

图9示出了由摄像装置101拍摄的状态的示例。图像901是由摄像装置101a拍摄的图像。图像901包括人902,903和904。

在S802中，各个摄像装置101中的生成单元212分离在S801中拍摄的图像的前景和背景，并生成没有前景的背景图像。例如，前景是移动体，背景是除前景之外的对象，例如地面或建筑物。在图9的示例中，生成单元212将人902,903和904作为前景从图像901分离并生成背景905。生成单元212通过使用例如定义前景的方法来分离前景和背景，前景是在时间方向上具有阈值以上的运动的对象。

在S803中，各个摄像装置101中的发送单元213通过通信线路102将在S802中生成的背景图像发送到服务器装置103。

在S804中，基于在S803中由各个摄像装置101发送的背景图像，背景纹理决定单元315确定要投影到虚拟视点图像的背景模型的各个网格的图像。在本实施例中，背景纹理决定单元315确定在S803中发送的各个背景图像是包括要投影到背景模型的各个网格的图像的图像，然后将背景图像发送到绘制单元317。

在S805中，绘制单元317从在S804中发送的背景图像提取由在图4的处理中生成的区域信息指示的区域的图像。然后，绘制单元317将提取的图像投影到背景模型的对应网格。绘制单元317基于例如区域信息从背景图像中提取要投影到背景模型的各个网格的区域。然后，绘制单元317将提取的区域的图像投影到背景模型的对应网格。这使得能够将对应图像投影到背景模型的各个网格。

此外，基于来自虚拟照相机控制单元316的虚拟照相机的发送的照相机参数，绘制单元317生成从虚拟照相机观看的背景模型的图像。此外，绘制单元317获得指示前景的三维形状的前景模型和模型的纹理，并生成从虚拟照相机观看的前景图像。然后，绘制单元317合成前景图像和背景图像，以生成虚拟视点图像。如果针对包括多个帧的运动图像生成虚拟视点图像，则可以使用所述帧的多个前景模型和单个背景模型，前景模型指示所述帧中的前景的形状。可选地，多个背景模型可以用于各个帧。

在本实施例中，图4的处理中的图像处理***100预先决定由各个摄像装置101拍摄的图像中的用于拍摄要投影到背景模型的各个网格的图像的区域。然后，图像处理***100将在所决定的区域中拍摄的图像投影到背景模型的各个网格，从而生成虚拟视点图像。以这种方式，图像处理***100将在预定区域中拍摄的图像投影到背景模型的各个网格。因此，图像处理***100减少用于在投影变换之后合成摄像装置101的拍摄图像的处理。此外，与在投影变换后合成由摄像装置101拍摄的图像并然后将合成的图像投影到背景模型的情况相比，图像处理***100可以减少处理的负荷，例如，主存储器302或CPU 301的存储器的使用率。

此外，图像处理***100确定用于拍摄要投影到背景模型的各个网格的图像的区域。然后，图像处理***100从随着时间的推移逐渐变化的由摄像装置101拍摄的图像当中将该区域的图像投影到背景模型的各个网格。因此，即使在由摄像装置101拍摄的图像(这些图像被投影到背景模型的网格)随着时间的推移逐渐变化的情况下，图像处理***100也可以减少处理的负荷，例如，主存储器302或CPU 301的存储器的使用率。

<第二实施例>

本实施例将描述在背景纹理决定单元315从背景图像中剪切出要投影到背景模型的各个网格的图像并将该图像发送到绘制单元317的情况下的图像处理***100的处理。

本实施例的图像处理***100的***构造类似于第一实施例的***构造。摄像装置101的硬件构造和功能构造类似于第一实施例的硬件构造和功能构造。服务器装置103的硬件构造和功能构造类似于第一实施例的硬件构造和功能构造。

参考图4和图8，下面将讨论本实施例与第一实施例的图像处理***100的处理之间的差异：

在本实施例的S804中，背景纹理决定单元315从在S803中由摄像装置101发送的背景图像当中剪切出由关于在图4的处理中决定的区域的区域信息指示的区域的图像。然后，背景纹理决定单元315将剪切图像决定为要投影到虚拟视点图像的背景模型的各个网格的图像。背景纹理决定单元315将决定的图像发送到绘制单元317。

图10是示出由背景纹理决定单元315剪切出的图像的示例的说明图。区域1001是包括用于由摄像装置101a拍摄的图像中的网格502的区域702的矩形区域(在摄像装置101a的照相机坐标系中)，该区域702在到S405的处理中被确定。摄像装置101a由确定单元318确定为用于拍摄要投影到网格502的图像的摄像装置。背景纹理决定单元315从区域701指定其中区域702被内切的矩形区域，并且将指定区域1001决定为要剪切出的区域。在图10的示例中，在S804中背景纹理决定单元315剪切出从由摄像装置101a拍摄的图像生成的背景图像中的区域1001的范围，并获得剪切图像1002。

在S805中，绘制单元317将区域的图像投影到背景模型的对应网格。该区域包括拍摄的要投影到在S804中发送的图像中包括的网格的图像。此后，绘制单元317基于从虚拟照相机控制单元316指定的虚拟照相机的照相机参数来绘制图像，并生成虚拟视点图像。

如上所述，在本实施例中，背景纹理决定单元315从背景图像中剪切出要投影到网格的图像，并将剪切图像发送到绘制单元317。因此，与整个背景图像的发送相比，图像处理***100可以减小从背景纹理决定单元315发送到绘制单元317的数据的大小。

<第三实施例>

本实施例将描述在下述情况下的图像处理***100的处理：摄像装置101各自从各个摄像装置101拍摄的图像的背景图像中剪切出与背景模型的各个网格相对应的区域的图像，然后摄像装置101将剪切图像发送到服务器装置103。

本实施例的图像处理***100的***构造类似于第一实施例的***构造。摄像装置101的硬件构造类似于第一实施例的硬件构造。服务器装置103的硬件构造类似于第一实施例的硬件构造。

图11示出了各个摄像装置101的功能构造的示例。

本实施例的摄像装置101与图2B的不同之处在于提供了剪切区域接收单元1101和剪切单元1102。

剪切区域接收单元1101从服务器装置103接收关于由摄像装置101拍摄的图像中的与背景模型的各个网格相对应的区域的信息。在本实施例中，背景纹理决定单元315在S407中将区域信息发送到拍摄由区域信息指示的区域的图像的摄像装置101。剪切区域接收单元1101接收发送的区域信息。

剪切单元1102基于由剪切区域接收单元1101接收的区域信息，从由生成单元212生成的背景图像中剪切图像。剪切单元1102通过发送单元213将剪切图像发送到服务器装置103。

图12示出了根据本实施例的服务器装置103的功能构造的示例。

本实施例的服务器装置103包括图像获得单元311、校准单元312、背景模型管理单元313、坐标变换单元314、背景纹理决定单元315、虚拟照相机控制单元316、绘制单元317、确定单元318和区域决定单元319。服务器装置103还包括剪切区域发送单元1201。

校准单元312、背景模型管理单元313、坐标变换单元314、虚拟照相机控制单元316、确定单元318和区域决定单元319类似于图3B的那些。

除了与第一实施例中相同的功能之外，背景纹理决定单元315还具有通过剪切区域发送单元1201将区域信息发送到摄像装置101的功能。

剪切区域发送单元1201通过通信线路102将从背景纹理决定单元315接收的区域信息发送到摄像装置101。

图像获得单元311通过通信线路102接收从各个摄像装置101接收的背景图像中剪切出的图像。然后，图像获得单元311将图像发送到绘制单元317。

绘制单元317通过使用从背景纹理决定单元315接收的区域信息，将从图像获得单元311接收的剪切图像投影到背景模型的各个网格。然后，绘制单元317生成虚拟视点图像。

图13是在生成虚拟视点图像之前由本实施例的图像处理***100执行的预处理的示例的流程图。

图13中的S401至S405的处理类似于图4的处理。关于图13的处理，下面将讨论与图4的不同之处。

在S1301中，剪切区域发送单元1201接收由背景纹理决定单元315生成的区域信息，并且通过通信线路102将所接收的区域信息发送到对应的摄像装置101。如图7的示例中那样，如果区域决定单元319在S405中选择区域702，则背景纹理决定单元315确定图10中的区域1001作为目标剪切区域，并且将关于所决定的区域的区域信息发送到剪切区域发送单元1201。然后，剪切区域发送单元1201将关于区域1001的区域信息发送到拍摄区域1001的图像的摄像装置101a。

图14是由本实施例的图像处理***100进行的虚拟视点图像的背景生成的示例的流程图。图14中的S801和S802的处理类似于图8的处理。关于图14的处理，下面将讨论与图8的不同之处。

在S1401中，剪切单元1102从在S802中生成的背景图像中剪切出由剪切区域接收单元1101接收的区域信息所指示的区域。如果区域信息指示区域1001，则剪切单元1102从背景图像中剪切区域1001的范围，并生成图像1002。

在S1402中，发送单元213将在S1401中由剪切单元1102从背景图像切出的图像发送到服务器装置103。

在S1403中，绘制单元317将S1402中的发送图像投影到背景模型的对应网格。此后，绘制单元317基于从虚拟照相机控制单元316指定的虚拟照相机的照相机参数来绘制图像，并生成虚拟视点图像。

在本实施例中，摄像装置101各自执行从背景图像中剪切出要投影到背景模型的网格的图像的处理。在第二实施例中，由服务器装置103执行处理。换句话说，服务器装置103接收与背景模型的网格相对应的部分图像，即，由与网格相关联的摄像装置拍摄的图像的部分图像。因此，图像处理***100可以减少服务器装置103的处理负荷。此外，摄像装置101将剪切图像而不是整个背景图像发送到服务器装置103。因此，图像处理***100可以保存通信线路102的通信频带。

<第四实施例>

本实施例将描述在S405中基于摄像装置101的照相机参数由图像处理***100决定区域的处理。

本实施例的图像处理***100的***构造类似于第一实施例的***构造。摄像装置101的硬件构造和功能构造类似于第一实施例的硬件构造和功能构造。服务器装置103的硬件构造和功能构造类似于第一实施例的硬件构造和功能构造。

本实施例的处理与第一实施例的不同之处在于图像处理***100执行图15的处理，替代图4中的S401至S406的处理。下面将讨论与第一实施例的不同之处。

图15是由本实施例的区域决定单元319进行的区域决定的示例的流程图。

在S1501中，区域决定单元319将摄像装置101中的一个确定为用于决定用于拍摄要投影到背景模型的网格的图像的区域的基准。在下文中，基准摄像装置是用作用于决定用于拍摄要投影到背景模型的网格的图像的区域的基准的摄像装置。基准摄像装置是基准摄像单元的示例。

图16是示出摄像装置的摄像范围的示例的说明图。如图6中所示，区域601指示摄像装置101a相对于背景模型的摄像范围。区域1601指示摄像装置101e相对于背景模型的摄像范围。摄像装置101e具有摄像装置101中最宽的视场。在本实施例中，区域决定单元319在S1501中将摄像装置中具有最宽视场的摄像装置101e确定为基准摄像装置。然而，在S1501中，区域决定单元319可以确定能够拍摄最大数量的背景模型的网格的区域的摄像装置作为摄像装置101中的基准摄像装置。可选地，在S1501中，区域决定单元319可以将摄像装置101中的预定一个确定为基准摄像装置。在S1501中，区域决定单元319可以基于通过服务器装置103的操作单元的用户操作来确定指定的一个摄像装置作为基准摄像装置。

在S1502中，区域决定单元319指定背景模型的网格。指定的网格已被变换为基准摄像装置的照相机坐标系，并且包括在由基准摄像装置拍摄的图像中。区域决定单元319决定与在S1501中决定的基准摄像装置拍摄的图像中指定的各个网格相对应的区域(包括变换到照相机坐标系的网格的区域)，作为用于拍摄要投影到各个网格的图像的区域。

图17是示出拍摄要由基准摄像装置投影的图像的网格的示例的说明图。阴影区域1701是用于拍摄要由基准摄像装置投影的图像的网格区域。在其他区域的网格中，尚未决定用于拍摄要投影的图像的区域。

在S1503中，区域决定单元319决定是否已经为背景模型中的所有网格决定了用于拍摄要投影的图像的区域。如果区域决定单元319决定已经为背景模型中的所有网格决定了用于拍摄要投影的图像的区域，则完成图15的处理，并且处理前进到S407的处理。如果区域决定单元319决定尚未为背景模型中的所有网格决定用于拍摄要投影的图像的区域，则处理前进到S1504的处理。

如果基准摄像装置是摄像装置101e并且在S1502的处理之后第一次执行S1503的处理，则区域决定单元319前进到S1503的处理，因为尚未为所有网格决定用于拍摄要投影的图像的区域，如图17所示。

在S1504中，区域决定单元319基于基准摄像装置和其他摄像装置101的照相机参数，选择用于拍摄如下区域的摄像装置候选，该区域用于拍摄要投影到背景模型的网格的图像。在下文中，在S1504的处理中选择的摄像装置将被称为所选择的摄像装置。

图18是示出基准摄像装置和其他摄像装置之间的位置关系的示例的说明图。区域决定单元319获得在世界坐标系中用作基准摄像装置的摄像装置101e的坐标(一个照相机参数)与世界坐标系中的其他摄像装置101的坐标之间的距离。在图18的示例中，用作基准摄像装置的摄像装置101e和摄像装置101f彼此分开距离1801。用作基准摄像装置的摄像装置101e和摄像装置101g彼此分开距离1802。用作基准摄像装置的摄像装置101e和摄像装置101h彼此分开距离1803。

图19是其中除了基准摄像装置之外的摄像装置101以距基准摄像装置的距离的升序排列的表格的示例。在图19的示例中，摄像装置101f最接近基准摄像装置。因此，当在开始图15的处理之后第一次执行S1504的处理时，区域决定单元319选择关于用作世界坐标系中的照相机参数的坐标与基准摄像装置具有最接近值的摄像装置101f。此外，当执行S1504的处理时，区域决定单元319从S1504中尚未选择的摄像装置101当中选择关于用作世界坐标系中的照相机参数的坐标与基准摄像装置具有最接近值的摄像装置。

在S1505中，区域决定单元319从背景模型的网格当中指定可由选择的摄像装置在相应区域上拍摄的网格。从尚未决定用于拍摄要投影的图像的区域的网格当中指定网格。此外，区域决定单元319将通过将指定网格的区域变换到所选择的摄像装置的照相机坐标系而获得的区域决定为用于拍摄投影到网格的图像的区域。然后，区域决定单元319前进到S1503的处理。通过图15的处理，背景纹理决定单元315将关于由区域决定单元319决定的区域的信息作为区域信息发送到绘制单元317。

图20是由所选择的摄像装置拍摄要投影的图像的网格的示例的说明图。在图20的示例中，所选择的摄像装置是摄像装置101f。区域2001指示摄像装置101f的摄像范围。从区域2001中包括的网格当中，摄像装置101f在不包括在区域1701中的网格中拍摄要投影的图像。在图20的示例中，摄像装置101f在区域2002至2004中包括的网格中拍摄要投影的图像。

在本实施例中，图像处理***100决定基准摄像装置，并从背景模型的网格当中指定由基准摄像装置在相应区域上拍摄的网格。关于指定的网格，图像处理***100决定与由基准摄像装置拍摄的图像中的网格相对应的区域，作为用于拍摄要投影到网格的图像的区域。

此外，图像处理***100从具有最接近基准摄像装置的照相机参数的摄像装置开始顺序地选择摄像装置101，然后执行以下处理：图像处理***100从由所选择的摄像装置拍摄的图像中决定用于拍摄要投影到背景模型的网格的图像的区域。更具体地，图像处理***100从背景模型的网格当中指定由所选择的摄像装置在相应区域上拍摄的网格。尚未决定用于拍摄要投影的图像的区域。此外，关于指定的网格，图像处理***100将与由所选择的摄像装置拍摄的图像中的网格相对应的区域决定为用于拍摄要投影到网格的图像的区域。对于背景模型中的所有网格，图像处理***100执行处理，直到决定用于拍摄要投影的图像的区域。

因此，在图像处理***100中，要投影到背景模型的网格的图像由基准摄像装置和具有接近基准摄像装置的照相机参数的摄像装置拍摄。因此，图像处理***100最终可以生成更自然的背景模型，其中在各个网格中投影接近摄像条件的图像。

此外，关于在S1502和S1505中可由摄像装置拍摄的所有网格，图像处理***100决定用于拍摄要投影到所有网格的图像的区域。从摄像装置拍摄的图像决定该区域。因此，包括在由相同摄像装置拍摄的图像中的图像被投影到更邻近的网格。因此，图像处理***100可以生成具有更自然连续的网格的更自然的背景模型。

在本实施例中，图像处理***100基于世界坐标系中的基准摄像装置和其他摄像装置101的坐标来决定用于拍摄要投影到背景模型的网格的图像的区域。然而，图像处理***100可以基于除了世界坐标系中的基准摄像装置和其他摄像装置101的坐标之外的照相机参数来决定用于拍摄要投影到背景模型的网格的图像的区域。例如，S1504中的区域决定单元319可以从具有最接近基准摄像装置的曝光值的摄像装置开始顺序地选择所选择的摄像装置。曝光值是照相机参数。此外，在S1504中，区域决定单元319可以从具有最接近基准摄像装置的摄像方向的摄像装置开始顺序地选择所选择的摄像装置。摄像方向是照相机参数。

<第五实施例>

在本实施例中，图像处理***100基于虚拟照相机和摄像装置101的照相机参数来决定用于拍摄要投影到背景模型的各个网格的图像的区域。

本实施例的图像处理***100的***构造类似于第一实施例的***构造。摄像装置101的硬件构造类似于第一实施例的硬件构造。服务器装置103的硬件构造类似于第一实施例的硬件构造。

图3B示出了根据本实施例的服务器装置103的功能构造。本实施例的图像获得单元311、校准单元312、背景模型管理单元313和绘制单元317与第一实施例的类似。

除了第一实施例中描述的功能之外，虚拟照相机控制单元316还具有将虚拟照相机的照相机参数发送到背景纹理决定单元315的功能。

除了第一实施例中描述的功能之外，校准单元312还具有将摄像装置101的照相机参数发送到背景纹理决定单元315的功能。

背景纹理决定单元315将从背景模型管理单元313获得的背景模型的网格变换为从图像获得单元311获得的图像上的区域(照相机坐标上的区域)。从校准单元312获得的照相机参数用于变换。背景纹理决定单元315从变换区域当中选择用于拍摄要投影到对应网格的图像的区域。此时，背景纹理决定单元315具有决定虚拟视点的最佳区域的功能。

图21是在生成虚拟视点图像之前由本实施例的服务器装置103执行的预处理的示例的流程图。

在S2101中，背景纹理决定单元315选择摄像装置101中的一个。

在S2102中，区域决定单元319通过临时使用在S2101中选择的摄像装置作为基准摄像装置来执行S1502至S1505的处理，从而决定用于拍摄要投影到背景模型的网格的图像的区域。然后，背景纹理决定单元315将关于所决定的区域的信息作为在S2101中选择的摄像装置的区域信息存储在例如辅助存储器303中。

在S2103中，区域决定单元319确定是否已经针对所有摄像装置101完成了S2102的处理。如果区域决定单元319确定已经针对所有摄像装置101完成了S2102的处理，则图21的处理完成了。如果区域决定单元319确定尚未针对所有摄像装置101完成S2102的处理，则处理前进到S2101的处理。

图21的处理可以准备与各个摄像装置101相对应的区域信息。

图22是示出由本实施例的图像处理***生成虚拟视点图像的示例的流程图。在本实施例中，虚拟照相机是基准摄像装置，其用作用于决定用于拍摄要投影到背景模型的网格的图像的区域的基准。

在S2201中，虚拟照相机控制单元316基于通过服务器装置103的操作单元的用户操作来接收虚拟照相机的照相机参数的输入。

在S2202中，基于在S2201中接收的照相机参数和从校准单元312获得的照相机参数，背景纹理决定单元315执行以下处理：背景纹理决定单元315确定摄像方向上的向量(即，在S2201中接收的照相机参数)和摄像方向上的向量(即，从校准单元312获得的照相机参数)的内积。图23是示出虚拟照相机和摄像装置101的朝向的示例的说明图。虚拟照相机2301是指向由向量2302指示的方向的虚拟照相机。向量2302是具有长度1的标准化向量。指示摄像装置101的朝向的向量2303a至2303n各自以长度1标准化。背景纹理决定单元315确定向量2302和向量2303a至2303n中的各个的内积。向量2302和向量2303a至2303n是用作照相机参数的关于摄像方向的信息的示例。

在S2203中，背景纹理决定单元315指定与在S2202中确定的内积的最大值相对应的摄像装置101。在图23的示例中，背景纹理决定单元315从向量2303a至2303n当中指定沿最类似于向量2302的向量2303k指向的摄像装置101k。

在S2204中，背景纹理决定单元315将区域信息发送到绘制单元317。区域信息对应于S2203中指定的摄像装置，并且在S2102中存储在例如辅助存储器303中。

在S2205中，绘制单元317将图像投影到背景模型的对应网格。该图像由在S2204中发送的区域信息在由各个摄像装置101拍摄的图像中指示。此后，绘制单元317基于从虚拟照相机控制单元316指定的虚拟照相机的照相机参数来绘制图像，并生成虚拟视点图像。

在本实施例中，图像处理***通过使用关于虚拟照相机和S2203中的摄像装置101的朝向的向量的内积来指定摄像装置。然而，图像处理***可以基于虚拟照相机和S2202中的摄像装置101的坐标(例如，基于虚拟照相机和摄像装置101之间的距离)来指定摄像装置。例如，代替S2202至S2203的处理，图像处理***可以指定最类似于虚拟照相机的摄像装置，并且可以使用与指定的摄像装置相对应的区域信息。在这种情况下，在图23的示例中，图像处理***指定例如最类似于虚拟照相机2301的摄像装置101j。

在本实施例中，图像处理***从摄像装置101当中指定具有与虚拟照相机的摄像方向最相似的摄像方向作为照相机参数的摄像装置，并且图像处理***根据指定的摄像装置的区域信息将图像投影到背景模型的网格。

因此，在图像处理***中，区域信息可用于具有更接近虚拟照相机的特性的摄像装置，使得虚拟照相机可以更适当地拍摄虚拟视点图像。

<第六实施例>

本实施例将描述用于处理故障的处理，例如，当不能从包括在图像处理***100中的摄像装置101获得用于生成虚拟视点图像的适当图像时。

本实施例的图像处理***100的***构造类似于第一实施例的***构造。摄像装置101的硬件构造和功能构造类似于第一实施例的硬件构造和功能构造。服务器装置103的硬件构造和功能构造类似于第一实施例的硬件构造和功能构造。

下面将讨论本实施例与第一至第五实施例的处理之间的差异：

图24是当图像处理***100检测到不能从摄像装置101获得用于生成虚拟视点图像的适当图像的故障时的处理的示例的流程图。参考图24，下面将讨论本实施例的处理。在下文中，故障仅指的是不能从摄像装置101获得用于生成虚拟视点图像的适当图像的情况。故障是例如摄像装置101的失败，由于强风引起的位置或朝向的改变，由于与鸟或飞行物体碰撞而导致的位置或朝向的改变，通信线路102的故障(例如，断开连接)，或者通信线路102的通信频带的短缺。可选地，故障是摄像装置101中的模糊图像或摄像装置101中的曝光值的意外波动。

图像处理***100可以随时执行图24的处理。例如，图像处理***100可以预定间隔周期性地执行图24的处理。

可选地，图像处理***100可以根据预定条件执行图24的处理。图像处理***100可以根据预定条件只执行图24的处理一次，或者可以每次条件满足时执行图24的处理。

例如，当生成预定数量的(例如，一个或十个)虚拟视点图像时，图像处理***100可以执行图24的处理。每次摄像装置101拍摄背景图像时，图像处理***100可以执行图24的处理。

可选地，如果确定单元318确定由各个摄像装置101拍摄的背景图像的至少一部分不适合于生成虚拟视点图像，则图像处理***100可以执行图24的处理。当确定单元318通过网络I/F 304和通信线路102检测到确定单元318和摄像装置101之间的通信故障时，图像处理***100可以执行图24的处理。

可选地，当通过例如服务器装置103的操作单元从用户输入关于故障的信息时，图像处理***100可以执行图24的处理。

在S2401中，确定单元318检测不能从摄像装置101获得用于生成虚拟视点图像的适当图像的故障。

确定单元318通过经由例如网络I/F 304从摄像装置101接收关于摄像装置101中的故障(例如，失败，位置或朝向的改变，模糊图像或曝光值的波动)的信息来检测故障。在这种情况下，摄像装置101检测例如摄像装置101的故障(例如，失败，模糊图像，曝光值的波动，或者，位置或朝向的改变)并将关于检测到的失败的信息发送到服务器装置103。

当在至少预定阈值的时段内从摄像装置101检测到通信失败时，确定单元318可以检测故障。如果确定单元318在至少预定阈值的时段内没有从摄像装置101接收到指示建立通信的分组(packet)，则确定单元318可以在检测到与摄像装置101的通信失败时检测到故障。

可选地，如果通过例如服务器装置103的操作单元从用户输入关于故障(例如，摄像装置101的失败)的信息，则确定单元318可以检测到故障。

在本实施例中，故障信息存储在主存储器302中。故障信息指示当前故障和由于故障而被阻止获得适当的背景图像的摄像装置。在没有故障的情况下，确定单元318可以存储指示无故障的故障信息或者可以存储空闲信息。

在S2402中，确定单元318将在S2401中检测到的故障与存储在辅助存储器303中的故障信息中指示的故障进行比较，并确定故障的发生是否已经改变。如果确定单元318确定故障的发生已经改变，则处理前进到S2403的处理。如果确定单元318确定故障的发生没有改变，则处理前进到S2405的处理。

在S2403中，确定单元318更新存储在主存储器302中的故障信息，使得故障信息指示在S2401中检测到的故障和由于故障而被阻止获得适当的背景图像的摄像装置101。

S2404的处理是图4的处理。在不使用如存储在主存储器302中的故障信息所指示的不能获得适当图像的摄像装置101的情况下执行处理。S2404的处理与第一实施例的图4的处理不同之处在于S402和S404的处理内容。下面将描述S2404的处理中的S402和S404。在S402中，背景纹理决定单元315选择摄像装置101中的除了如故障信息所指示的不能获得适当图像的摄像装置101之外的一个。在S2404中，在除了如故障信息所指示的不能获得适当图像的摄像装置101之外的所有摄像装置101上，S404中的坐标变换单元314执行以下处理：坐标变换单元314执行用于确定是否已经完成了对在S401中提取的网格的S403的处理的处理。如果坐标变换单元314确定处理已经完成，则处理前进到S405的处理。如果坐标变换单元314确定处理尚未完成，则处理前进到S402的处理。以这种方式，服务器装置103再次生成区域信息，使得由不能获得适当图像的摄像装置101拍摄的图像不被用于投影到虚拟视点图像的背景模型的网格的图像。

如果服务器装置103第一次执行图24的处理，则可以执行S2404的处理以生成背景图像，而不管S2402中的确定结果如何。

S2404的处理可以是在不使用如存储在主存储器302中的故障信息所指示的不能获得适当图像的摄像装置101的情况下，在图13、图15和图21中的任何一个中执行的处理。

首先，如果S2404的处理是图13的处理，即在不使用如故障信息所指示的不能获得适当图像的摄像装置101的情况下执行处理，S2404的处理与第三实施例的图13的处理不同之处在于S402和S404中的处理内容。下面将描述在这种情况下S2404的处理中的S402和S404中的处理。在S402中，背景纹理决定单元315选择摄像装置101中的除了如故障信息所指示的不能获得适当图像的摄像装置101之外的一个。在S404中，在除了如故障信息所指示的不能获得适当图像的摄像装置101之外的所有摄像装置101上，坐标变换单元314确定S401中提取的网格上的S403的处理是否已经完成。如果坐标变换单元314确定处理已经完成，则处理前进到S405的处理。如果坐标变换单元314确定处理尚未完成，则处理前进到S402的处理。

随后，如果S2404的处理是图15的处理，即在不使用如故障信息所指示的不能获得适当图像的摄像装置101的情况下执行处理，S2404的处理与第四实施例的图15的处理不同之处在于S1501和S1504中的处理内容。下面将描述在这种情况下S2404的处理中的S1501和S1504中的处理。在S1501中，区域决定单元319从除了如故障信息所指示的不能获得适当图像的摄像装置101之外的摄像装置101中选择基准摄像装置。在S1504中，区域决定单元319从除了如故障信息所指示的不能获得适当图像的摄像装置101之外的摄像装置101中选择所选择的摄像装置。

在S2404的处理中的S1501中，区域决定单元319可以从包括如故障信息所指示的不能获得适当图像的摄像装置101的摄像装置101中选择基准摄像装置。换句话说，在S1501中，可以选择故障摄像装置101作为基准摄像装置。在这种情况下，在S1504中，基于与故障基准摄像装置的位置关系，所选择的摄像装置是除了基准摄像装置之外的摄像装置101之一。与在故障的情况下改变基准摄像装置的方法相比，上述的选择摄像装置101的方法在发生故障之前和之后几乎不改变所选择的摄像装置。这不会在很大程度上改变背景图像，因此抑制了用户的不自然的感觉。

如果S2404的处理是图21中在不使用如故障信息所指示的不能获得适当图像的摄像装置101的情况下执行的处理，则S2404的处理与第五实施例的图21的处理不同之处在于S2101和S2103中的处理内容。下面将描述在这种情况下S2404的处理中的S2101和S2103中的处理。在S2101中，背景纹理决定单元315选择摄像装置101中的除了如故障信息所指示的不能获得适当图像的摄像装置101之外的一个。在S2103中，在除了如故障信息所指示的不能获得适当图像的摄像装置101之外的所有摄像装置101上，区域决定单元319决定S2102的处理是否已经完成：如果区域决定单元319确定处理已经完成，则图21的处理完成了。如果区域决定单元319确定处理尚未完成，则处理前进到S2101的处理。

S2405的处理是图8的处理。基于通过S2404的处理获得的区域信息(关于用于拍摄要投影到背景模型的网格的图像的区域(纹理区域)的信息)来执行处理。如果在S2402中确定故障的发生没有改变，则基于在图24的过去处理中的S2404的处理中获得的区域信息来执行S2405的处理。S2405的处理可以是基于在S2404的处理中获得的区域信息在图14中执行的处理。可选地，S2405的处理可以是基于在S2404的处理中获得的区域信息在图22中执行的处理。

在本实施例中，图像处理***100检测不能从摄像装置101获得适当图像的故障。此外，图像处理***100确定除了由不能获得适当图像的摄像装置101拍摄的图像的区域之外的用于拍摄要投影到背景模型的网格的图像的区域。因此，即使发生故障，图像处理***100也将由能够获得适当图像的摄像装置101拍摄的图像投影到背景模型的网格。这可以为虚拟视点图像生成适当的背景图像。

在本实施例中，故障摄像装置101可以减小可以生成的背景纹理的范围。例如，图6示出了摄像装置101a拍摄第一实施例的网格502。在这种情况下，网格502对应于除了摄像装置101a之外的任何摄像装置101都未拍摄的区域。在这种情况下，摄像装置101中的任何一个都不能拍摄要投影到网格502的图像。

在这种情况下，图像处理***100可以如下构造：图像获得单元311将最新图像中的至少一个存储在主存储器302和辅助存储器303中。在摄像装置101的正常操作下拍摄图像。例如，由于诸如摄像装置101a的失败之类的故障而不能拍摄图像，并且生成不由任何其他摄像装置101拍摄的区域。在这种情况下，在图像处理***100中，区域的图像可以是存储在主存储器302或辅助存储器303中的图像。该图像过去已经由摄像装置101a拍摄。

如果摄像装置101拍摄对应于网格的区域，则图像处理***可以构造如下：图像获得单元311可以将最新图像中的至少一个存储在主存储器302和辅助存储器303中。在摄像装置101的正常操作下拍摄图像。在这种情况下，即使一些摄像装置101发生故障，图像处理***100也可以获得由其他摄像装置101拍摄的区域的图像。即使所有摄像装置101都有故障，在图像处理***100中，存储在主存储器302和辅助存储器303中的图像也可以用于这些区域。这些图像过去已经由摄像装置101a拍摄。

这样，即使用于拍摄网格图像的所有摄像装置101都有故障，图像处理***100也可以通过使用过去的图像来生成虚拟视点图像的背景图像。

即使区域不能被任何摄像装置拍摄，该处理也使得图像处理***100可以生成背景图像。

此外，在图像处理***100中，可以在生成虚拟视点图像之前由摄像装置101拍摄图像。拍摄的图像可以预先存储在主存储器302和辅助存储器303中。

<其它实施例>

在第一至第六实施例中，服务器装置103是单个信息处理装置。然而，服务器装置103可以包括多个信息处理装置。在这种情况下，构成服务器装置103的信息处理装置的CPU根据存储在构成服务器装置103的信息处理装置的辅助存储器中的程序以协调的方式执行处理，从而实现以下功能和处理：图3B和图12的功能，图8和图14的流程图中的服务器装置103的处理，以及图4、图13、图15、图21、图22和图24的流程图中的处理。

具体讨论了本发明实施例的示例。本发明不限于特定实施例。可任选地组合或适当地修改实施例。实施例可以减少用于将图像投影到模型的处理负荷。

本发明的(多个)实施例也可以通过如下实现：一种***或装置的计算机，该***或装置读出并执行在存储介质(其也可被更充分地称为“非暂态计算机可读存储介质”)上记录的计算机可执行指令(例如，一个或多个程序)，以执行上述(多个)实施例中的一个或多个的功能，并且/或者，该***或装置包括用于执行上述(多个)实施例中的一个或多个的功能的一个或多个电路(例如，专用集成电路(ASIC))；以及由该***或者装置的计算机执行的方法，例如，从存储介质读出并执行计算机可执行指令，以执行上述(多个)实施例中的一个或多个的功能，并且/或者，控制所述一个或多个电路以执行上述(多个)实施例中的一个或多个的功能。所述计算机可以包括一个或更多处理器(例如，中央处理单元(CPU)，微处理单元(MPU))，并且可以包括分开的计算机或分开的处理器的网络，以读出并执行所述计算机可执行指令。所述计算机可执行指令可以例如从网络或存储介质被提供给计算机。所述存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算***的存储器、光盘(诸如压缩光盘(CD)、数字通用光盘(DVD)或蓝光光盘(BD)^TM)、闪存设备以及存储卡等中的一者或更多。

虽然针对示例性实施例描述了本发明，但是，应该理解，本发明不限于公开的示例性实施例。下述权利要求的范围应当被赋予最宽的解释，以便涵盖所有这类修改以及等同的结构和功能。

Claims (16)

1.一种信息处理装置，所述信息处理装置包括：

摄像信息获得单元，其被构造为获得关于用于在多个方向上拍摄图像的多个摄像装置的摄像信息；

模型信息获得单元，其被构造为获得关于背景形状模型的模型信息，所述背景形状模型指示由图像生成单元使用由摄像装置拍摄的图像而生成的虚拟视点图像中的背景的三维形状；以及

信息生成单元，其被构造为在获得由多个摄像装置拍摄的且用于生成虚拟视点图像的图像之前，基于由摄像信息获得单元获得的摄像信息和由模型信息获得单元获得的模型信息，来生成将至少一个摄像装置与背景形状模型的部分区域相关联的关联信息，其中

关联信息用于指定多个摄像装置中的拍摄用于确定虚拟视点图像中与部分区域相对应的区域的像素值的图像的至少一个摄像装置。

2.根据权利要求1所述的信息处理装置，其中

信息生成单元利用包括与背景形状模型的部分区域相对应的区域的摄像范围，来选择摄像装置，并生成将所选择的摄像装置与背景形状模型的部分区域相关联的关联信息。

3.根据权利要求2所述的信息处理装置，其中

信息生成单元基于区域的大小来选择摄像装置，所述区域包括在通过一个或更多个摄像装置拍摄与背景形状模型的部分区域相对应的区域而拍摄的各个拍摄图像中，且对应于与背景形状模型的部分区域相对应的区域。

4.根据权利要求2所述的信息处理装置，其中

信息生成单元基于由一个或更多个摄像装置拍摄的背景的背景形状模型的大小，来选择摄像装置。

5.根据权利要求2所述的信息处理装置，其中

信息生成单元基于(i)一个或更多个摄像装置中的各个的位置与从多个摄像装置当中指定的基准摄像装置的位置之间的关系、(ii)一个或更多个摄像装置的各个的方向与基准摄像装置的方向之间的关系、以及(iii)一个或更多个摄像装置中的各个的曝光值与基准摄像装置的曝光值之间的关系中的至少一者，来选择摄像装置。

6.根据权利要求2所述的信息处理装置，其中

信息生成单元基于(i)一个或更多个摄像装置中的各个的位置和与虚拟视点图像相对应的虚拟视点的位置之间的关系以及(ii)一个或更多个摄像装置中的各个的方向和与图像生成单元生成的所述虚拟视点图像相对应的虚拟视点的方向之间的关系中的至少一者，来选择摄像装置。

7.根据权利要求2所述的信息处理装置，其中

由信息生成单元生成的关联信息指示包括在由所选择的摄像装置拍摄的图像中的区域部分与包括在背景形状模型中的元素相关联。

8.根据权利要求1所述的信息处理装置，所述信息处理装置还包括：

控制单元，其被构造为向图像生成单元输入部分图像，其中，所述部分图像对应于所述部分区域，并且被包括在通过基于由信息生成单元生成的关联信息指定的摄像装置拍摄的图像中。

9.根据权利要求1所述的信息处理装置，其中

在获得用于生成虚拟视点图像的、由多个摄像装置拍摄的图像之后，信息生成单元基于在多个摄像装置中的一个中发生的故障再次生成关联信息。

10.根据权利要求1所述的信息处理装置，其中

由摄像信息获得单元获得的摄像信息指示摄像装置的位置和摄像装置的方向。

11.根据权利要求1所述的信息处理装置，其中

由模型信息获得单元获得的模型信息指示，背景形状模型的多个部分区域中的各个部分区域的位置。

12.根据权利要求1所述的信息处理装置，其中

图像生成单元基于指示多个帧中的前景的三维形状的多个前景形状模型以及对于多个帧共同的背景形状模型，来生成所述多个帧的虚拟视点图像，由多个摄像装置拍摄的图像和关联信息对于所述多个帧是共同的。

13.根据权利要求12所述的信息处理装置，其中

由前景形状模型指示的前景包括移动体，并且

由背景形状模型指示的背景包括地面和建筑物中的至少一者。

14.一种信息处理方法，所述信息处理方法包括：

获得关于用于在多个方向上拍摄图像的多个摄像装置的摄像信息；

获得关于背景形状模型的模型信息，所述背景形状模型指示由图像生成单元使用由摄像装置拍摄的图像而生成的虚拟视点图像中的背景的三维形状；以及

在获得由多个摄像装置拍摄且用于生成虚拟视点图像的图像之前，基于摄像信息和模型信息，来生成将至少一个摄像装置与背景形状模型的部分区域相关联的关联信息，其中

关联信息用于指定多个摄像装置中的拍摄用于确定虚拟视点图像中与部分区域相对应的区域的像素值的图像的至少一个摄像装置。

15.根据权利要求14所述的信息处理方法，其中

在生成关联信息时，利用包括与背景形状模型的部分区域相对应的区域的摄像范围，来选择摄像装置，并且生成将所选择的摄像装置与背景形状模型的部分区域相关联的关联信息。

16.一种非暂态计算机可读存储介质，其存储用于使计算机执行信息处理方法的程序，所述信息处理方法包括：

获得关于用于在多个方向上拍摄图像的多个摄像装置的摄像信息；

获得关于背景形状模型的模型信息，所述背景形状模型指示由图像生成单元使用由摄像装置拍摄的图像而生成的虚拟视点图像中的背景的三维形状；以及

在获得由多个摄像装置拍摄且用于生成虚拟视点图像的图像之前，基于摄像信息和模型信息，来生成将至少一个摄像装置与背景形状模型的部分区域相关联的关联信息，其中

关联信息用于指定多个摄像装置中的拍摄用于确定虚拟视点图像中与部分区域相对应的区域的像素值的图像的至少一个摄像装置。

Images