CN110460835A - 图像处理装置及其控制方法和计算机可读存储介质 - Google Patents

Abstract

本发明公开一种图像处理装置及其控制方法和计算机可读存储介质。一种图像处理装置包括：图像获得单元，被配置为基于多个摄像装置的摄像获得图像；位置获得单元，被配置为获得表示多个摄像装置指向的预定位置的信息；区域设置单元，被配置为基于所述位置获得单元获得的所述信息设置用于估计被摄体的三维形状的区域；以及估计单元，被配置为在所述区域设置单元设置的区域中基于所述图像获得单元获得的图像估计被摄体的三维形状。

Description

图像处理装置及其控制方法和计算机可读存储介质

技术领域

本发明涉及一种图像处理装置、图像处理装置的控制方法和计算机可读存储介质，更具体地涉及一种基于通过从多个方向拍摄被摄体而获得的图像和虚拟视点信息来生成虚拟视点图像的技术。

背景技术

一种生成虚拟视点图像的技术受到关注，该虚拟视点图像使得能够从各种角度观看足球或篮球比赛的精彩场面。日本专利特开第2010-134546号公报提出了一种使用安装在不同位置的多个摄像机从多个视点拍摄被摄体、并使用通过图像拍摄获得的多视点图像估计被摄体的三维形状的方法，以及一种生成虚拟视点图像的方法。

在基于多个摄像机拍摄的图像生成虚拟视点图像的情况下，有时根据摄像机和被摄体的布置生成包括低形状精度的被摄体的虚拟视点图像。例如，在拍摄足球比赛的情况下，在将多个摄像机指向的位置设置在一个目标附近时，很少会有摄像机的视角中包括其他目标附近的被摄体。在这种情况下，在使用日本专利特开第2010-134546号公报中描述的技术时，其他目标附近的被摄体的形状估计精确度降低。如果虚拟视点图像包括形状精确度低的被摄体，则可能会给观看虚拟视点图像的观看者造成不舒服的感觉。

本公开已经考虑了上述问题，并提供一种减少生成包括形状精确度低的被摄体的虚拟视点图像的风险的技术。

发明内容

根据本公开的一方面，提供一种图像处理装置，包括：图像获得单元，被配置为基于多个摄像装置获得摄像的图像；位置获得单元，被配置为获得表示多个摄像装置指向的预定位置的信息；区域设置单元，被配置为基于所述位置获得单元获得的所述信息设置用于估计被摄体的三维形状的区域；以及估计单元，被配置为在所述区域设置单元设置的区域中基于所述图像获得单元获得的图像估计被摄体的三维形状。

根据本公开的一方面，提供一种图像处理装置的控制方法，所述控制方法包括：基于多个摄像装置获得摄像的图像；获得表示所述多个摄像装置指向的预定位置的信息；基于所述获得的信息设置用于估计被摄体的三维形状的区域；在所述设置的区域中基于所述获得的图像估计所述被摄体的三维形状。

根据本公开的一方面，提供一种计算机可读存储介质，其存储使计算机执行图像处理装置的控制方法的各步骤的计算机程序，所述方法包括：基于多个摄像装置获得摄像的图像；获得表示所述多个摄像装置指向的预定位置的信息；基于所述获得的信息设置用于估计被摄体的三维形状的区域；在所述设置的区域中基于所述获得的图像估计所述被摄体的三维形状。

根据以下参照附图对示例性实施例的详细描述，本发明的其他特征将变得清楚。

附图说明

图1是示出根据实施例的图像处理***的配置的示例的框图。

图2是示出通过根据实施例的图像处理装置执行的处理步骤的流程图。

图3是示出根据实施例的多个摄像机的配置示例的示意图。

图4是示出根据实施例的形状估计区域的示例的示意图。

图5是示出根据实施例的步骤S220中的详细处理步骤的流程图。

图6是关于根据实施例的形状估计区域设置方法的示意图；以及

图7是示出根据实施例的图像处理装置的硬件配置的示例的框图。

具体实施方式

现在将参照附图详细描述本公开的示例性实施例。应当注意，除非特别声明，否则这些实施例中阐明的部件的相对配置、数字表达式以及数值不会限制本公开的范围。

在此实施例中，将描述这样的示例，其中在从通过指向预定位置(注视点)的多个摄像装置(摄像机)的图像拍摄获得的图像生成虚拟视点图像时，将设置作为形状估计的目标的区域，估计该区域中的被摄体的三维形状，并生成包括该区域中的被摄体的虚拟视点图像。更具体地说，获得通过使用多个摄像机拍摄包括被摄体的摄像目标区域而获得的图像。获得表示多个摄像机所指向的注视点的位置的信息。基于所获得的表示注视点的位置的信息设置用于在三维空间中显示被摄体的被摄体显示区域。基于所获得的图像生成其中显示了设置的被摄体显示区域中包括的被摄体的虚拟视点图像。

【***配置】

图1是示出根据此实施例的图像处理***的配置示例的框图。根据此实施例的图像处理***包括摄像装置(摄像机)1，图像处理装置2以及显示装置3。摄像机1包括一个或更多个摄像机。图像处理装置2获得通过摄像机1拍摄的图像和各摄像机的参数，并估计被摄体的三维形状。然后，图像处理装置2生成虚拟视点图像，并将图像传输到显示装置3。显示装置3将接收到的虚拟视点图像输出到显示器等。

【图像处理装置的功能性配置】

如图1所示，图像处理装置2包括摄像机信息获得单元110、应用目的设置单元120、注视点获得单元125、形状估计区域设置单元130、形状估计单元140以及虚拟视点图像生成单元150。在稍后参照图7描述的CPU 1001执行从ROM 1002或RAM 1003读出的计算机程序时实现各处理单元的功能。

摄像机信息获得单元110从摄像机1获得形成摄像机1的各摄像机的摄像机信息，并将获得的摄像机信息输出到形状估计单元140。也将通过各摄像机拍摄的图像输入到形状估计单元140。应用目的设置单元120通过用户操作使用诸如稍后将描述的键盘等的输入装置1006设置形状估计结果的应用目的信息，并将设置的应用目的信息输出到形状估计区域设置单元130。注视点获得单元125计算并获得表示要注视的点的注视点的信息。形状估计区域设置单元130根据注视点的信息和应用目的信息设置形状估计区域信息，并将设置的形状估计区域信息输出到形状估计单元140。

形状估计单元140估计形状估计区域中的被摄体的三维形状，并将估计的三维形状的信息(三维形状数据)输出到虚拟视点图像生成单元150。虚拟视点图像生成单元150使用通过用户操作使用诸如鼠标等的输入装置1006输入的虚拟视点的信息、通过摄像机信息获取单元110获得的摄像机信息以及估计的三维形状的信息来生成虚拟视点图像。然后，将生成的虚拟视点图像输出到显示装置3。显示装置3将接收到的虚拟视点图像输出到显示器等的显示屏幕。

【图像处理装置的硬件配置】

下文将参照图7描述根据本公开的实施例的图像处理装置的硬件配置的示例。图像处理装置2包括CPU 1001、ROM 1002、RAM 1003、存储设备1004和总线1005，并与输入设备1006和显示装置3连接。

CPU 1001通过根据本实施例的图像处理装置2的上述功能模块控制各种操作。由稍后描述的ROM 1002或RAM 1003上的程序指示控制内容。另外，CPU 1001还可以并行地操作多个计算机程序。ROM 1002存储数据和存储通过CPU 1001进行的控制步骤的计算机程序。RAM 1003存储要由CPU 1001处理的控制程序，并且还在CPU 1001执行各种控制时提供各种数据的工作区。由CPU 1001读出、执行而后实现诸如ROM 1002或RAM 1003等的存储介质中存储的程序代码的功能。记录介质的类型不限于此。

存储设备1004能够存储各种数据等。存储设备1004包括诸如硬盘、软盘、光盘，磁盘、磁光盘、磁带或非易失性存储卡等的记录介质，以及驱动记录介质并记录信息的驱动器。根据来自键盘等的指令或各种计算机程序的指令，根据需要将存储的计算机程序和数据加载到RAM 1003中。

总线1005是与各组成元件连接的数据总线等，并实现组成元件之间的通信，并且还实现高速的信息交换。输入装置1006提供通过用户的各种输入环境。尽管可以考虑键盘、鼠标等来提供各种输入操作环境，但是也可以使用触摸板、手写笔等。显示装置3由液晶显示器等形成，并向用户显示各种输入操作的状态以及根据这些的计算结果。注意，上述配置仅是示例，并且该配置不限于所描述的配置。

【处理】

接下来将参考图2的流程图描述根据该实施例的图像处理设备2执行的处理步骤。在该流程图中，步骤S210是从摄像机1获得各摄像机的摄像机信息的步骤。步骤S220是设置区域以估计被摄体的形状的步骤。步骤S230是估计设置区域中的被摄体的形状的步骤。步骤S240是使用形状估计结果、摄像机信息和图像生成虚拟视点图像的步骤。下文将描述详细步骤。

<S210>

在步骤S210中，摄像机信息获得单元110从摄像机1获得由摄像机拍摄的图像作为摄像机信息以及获得外部参数和内部参数作为摄像机的摄像机信息。这里，外部参数是摄像机的位置和方向的信息。内部参数是摄像机的焦距和图像中心的信息。

图3示出了根据该实施例的摄像机1的配置示例。在该实施例中，围绕运动场320配置多个摄像机310。然而，摄像目标，摄像机配置和摄像机的数量不限于此。摄像机1由一个或多个摄像机310形成，并设置各摄像机来观察注视点330。根据该实施例的处理需要至少一个摄像机。但是，摄像机的数量没有上限。另外，可以进一步增加不同的注视点和用于观察它们的摄像机。即，摄像目标的位置中安装的多个摄像机1可以包括指向特定注视点的摄像机组和指向另一个注视点的摄像机组。

在该实施例中，世界坐标系340的x轴平行于运动场320的长边方向，y轴平行于短边方向，z轴垂直于xy平面。运动场320的实际尺寸可以通过例如使用户使用诸如鼠标或键盘等的输入装置手动输入长边方向上的长度、短边方向上的长度和垂直方向上的高度来设置。

<S220>

在步骤S220中，形状估计区域设置单元130设置形状估计区域，该形状估计区域是被摄体的三维形状的估计目标。下文将参照图4描述形状估计区域410。形状估计区域410是基于由世界坐标系340表示的注视点330的位置设置的用于估计被摄体的三维形状的三维区域。例如，将距注视点330的预定距离范围设置为形状估计区域410。在通过距注视点330的距离表示形状估计区域410时，其具有在x-y平面上划分的半球形的形状。然而，在图4中，二维地表示形状估计区域410。注视点是多个摄像机中的各个所指向的位置。可以基于注视点来设置多个摄像机中的至少一个的焦点位置。例如，摄像机的焦点位置可以设置在注视点的位置，或者可以设置在远离注视点的位置预定距离的位置。另外，摄像机的光轴可以在注视点的位置处交叉，或者可以不交叉。

注意，形状不限于此。例如，可以输入长方体的对角线上的两个顶点，以将形状估计区域设置为相对于作为中心的注视点330的位置具有长方体形状的空间。另外，形状不限于关于注视点330的位置作为中心的示例，并且可以将形状估计区域设置为具有围绕注视点330的位置的长方体形状的空间。或者，可以使用诸如用于检测线的霍夫变换等的图像处理方法来检测运动场中的白线和线的交叉点，并且可以设置具有长方体形状的形状估计区域的底面。在这种情况下，用户可以基于作为虚拟视点图像生成的目标的运动任意地设置形状估计区域的高度信息。在稍后描述的步骤S230的形状估计处理中，估计形状估计区域410中的被摄体的形状。如果存在多个注视点，则为各注视点设置形状估计区域。

这里将参照图5的流程图详细描述在步骤S220中设置形状估计区域的处理。注意，这里要说明的形状估计区域设置处理是设置关于注视点330作为中心的形状估计区域的情况下的处理，并且根据要设置的形状估计区域的形状等适当地改变以下设置处理。另外，在用户指定形状估计区域的情况下，形状估计区域设置单元130基于通过用户操作输入的信息来设置形状估计区域。

<S2200>

在步骤S2200中，应用目的设置单元120获得用户输入的应用目的信息。应用目的例如是虚拟视点图像生成或运动员运动分析。

<S2210>

在步骤S2210中，形状估计区域设置单元130将三维空间划分为多个体素。此时，在由应用目的设置单元120设置的应用目的信息表示的应用目的是虚拟视点图像生成的情况下，各体素被设置为被摄体能够以高分辨率显示的小尺寸。另一方面，如果应用目的是运动员运动分析，则将体素粗略地设置为能够估计被摄体的位置的范围。也就是说，根据应用目的改变形成三维空间并用于估计被摄体的三维形状的体素大小。在应用目的是生成虚拟视点图像的情况下，与另一应用目的(例如，运动分析)相比，精细地设置形成空间的体素。

<S2220>

在步骤S2220中，形状估计区域设置单元130确定由应用目的设置单元120设置的应用目的信息表示的应用目的是否是虚拟视点图像生成。如果应用目的是虚拟视点图像生成(步骤S2220中的“是”)，则处理进入步骤S2230。另一方面，如果应用目的不是虚拟视点图像生成，而是例如运动员运动分析(步骤S2220中的“否”)，则处理进入步骤S2231。

<S2230>

在步骤S2230中，注视点获得单元125获得注视点330的位置(坐标)的信息，以将体素设置为形状估计的目标。注视点330的坐标由世界坐标系340表示，并且假设位于运动场320的平面(z＝0)上。通过计算z＝0的平面与能够从摄像机1中包括的摄像机的外部参数计算出的摄像机的视线矢量的交点计算注视点的坐标。如果存在多个注视点，在构成观察注视点的摄像机的摄像机中，能够通过相同的方法估计各注视点的坐标。

<S2240>

接下来，在步骤S2240中，基于在步骤S2230中获得的注视点330的位置(坐标)，形状估计区域设置单元130设置区域(形状估计区域)以估计被摄体的形状。更具体地，扫描所有体素，并计算注视点330与各体素的代表点(例如，各体素的中心点)之间的三维距离630。然后，将三维距离与预先设定的阈值进行比较。如果三维距离等于或小于阈值，则将体素值设置为1作为形状估计区域。当存在多个注视点时，为各注视点设置ID，并计算各体素与各注视点之间的距离。如果到最近注视点的距离等于或小于阈值，则将注视点的ID设置为体素值。

<S2250>

在步骤S2250中，形状估计区域设置单元130确定是否针对所有体素完成了形状估计区域的确定。如果确定完成，则结束形状估计区域设置处理，并且处理前进到图2中的步骤S230。另一方面，如果还有未确定的体素，则处理返回到步骤S2240。

如图6所示，使用具有统一尺寸(分辨率)的体素620填充通过输入的运动场320的尺寸定义的三维空间610，并且各体素值设置为0。在该实施例中，0是对形状估计区域的外部的设置，1是对第一注视点的形状估计区域的设置，2是对第二注视点的形状估计区域的设置。根据注视点的数量，以使得能够识别各注视点的形状估计区域来设置体素值。用户预先设定物理世界中各体素的大小，如运动场的大小。

<S2231>

在步骤S2231中，为了将在步骤S2210中设置的所有体素设置为形状估计目标，形状估计区域设置单元130将所有体素的值设置为1，结束形状估计区域设置处理，并且前进到图2的步骤S230。

<S230>

处理返回到图2中的步骤S230。在步骤S230中，形状估计单元140估计由形状估计区域设置单元130设置的形状估计区域中的被摄体的三维形状。下面将描述由形状估计单元140进行的形状估计处理。

首先，针对摄像机信息获得单元110获得的图像生成被摄体的剪影图像。剪影图像能够通过诸如从通过拍摄被摄体获得的拍摄图像计算与背景图像的差分、并将等于或大于阈值的像素定义为剪影(前景区域)的背景差分法等的通用方法来生成。在该实施例中，前景区域中的像素值是1，背景区域中的像素值是0。

接下来，使用剪影图像和摄像机信息估计被摄体的形状信息。为了估计三维形状，使用各摄像机的摄像机参数将在步骤S220中设置为形状估计区域的各体素转换为各摄像机的图像坐标。计数转换后的坐标上的的剪影图像中的像素值为1的摄像机的数量。如果该数量等于或大于设定值，则将体素确定为被摄体的形状。对形状估计区域中的所有体素执行该确定，从而估计形状估计区域中的被摄体的三维形状。作为该处理的结果，获得表示被摄体的三维形状的体数据。

注意，在存在多个注视点的情况下，首先，基于在各体素值中设置的注视点的ID来获得观察注视点的摄像机的信息。然后，将各体素的坐标转换为摄像机中包括的各摄像机的图像坐标，并计算可见摄像机的数量。如果摄像机的数量等于或大于设定阈值，则将体素确定为被摄体的形状。在以类似方式对所有体素重复该处理时，即使在设置了多个注视点的情况下，也可以基于形状估计区域来估计被摄体的三维形状。

<240>

在步骤S240中，虚拟视点图像生成单元150执行对在步骤S230中估计的形状信息(三维体素集)着色并将形状信息投影到虚拟视点的图像平面上以生成被摄体区域的前景图像的处理。虚拟视点图像生成单元150还执行从虚拟视点生成背景图像的处理。将前景图像叠加在生成的背景图像上，从而生成虚拟视点图像。将生成的虚拟视点图像发送到显示装置3。注意，虚拟视点可以由用户指定或由装置自动指定。

注意，在执行运动分析时，在步骤S240中执行的不是虚拟视点图像的生成，而是运动分析。

【前景图像的生成】

首先，为了生成虚拟视点图像的前景图像，使用用于摄像的摄像机的图像来计算形成步骤S230中估计的被摄体的三维形状的体素的颜色。首先，确定观察各体素的摄像机。此时，在设置多个注视点的情况下，在形成观察注视点的摄像机的摄像机中，基于被设置为体素值的注视点的ID来确定哪个摄像机观看注视点。从观察体素的摄像机中选择靠近虚拟视点的摄像机，并且将体素投影在最近的摄像机上。

获得最靠近投影的体素的像素的颜色，并设置为体素的颜色。通过对各体素重复该处理能够使体素着色。通过已知的CG渲染法渲染着色的体素，从而生成显示了在步骤S230中设置的形状估计区域410中的被摄体的前景图像。

注意，在使用步骤S2210中设置的所有体素作为处理目标来估计被摄体的三维形状时，并且使用该结果，在确定各体素是否位于形状估计区域中的同时执行渲染，可以类似地生成虚拟视点图像的前景图像。也就是说，尽管使用所有体素作为目标来估计被摄体的三维形状，但是渲染和显示的目标可以限于设置的显示目标区域中的体素。可以通过计算注视点330与形成被摄体的三维形状的各体素的代表点之间的距离来执行该确定。另外，可以确定特定对象的三维形状的整体或部分(例如，重心)是否包括在设定区域中。如果包括，则将被摄体的三维形状的整体设置为显示目标。否则，可以从显示目标中排除被摄体的三维形状的整体。

可以通过不仅在形状估计区域410中执行着色处理而且还对形状估计区域外的体素执行着色处理来生成整个运动场的虚拟视点图像。

另外，形状估计单元140还可以以分辨率低于形状估计区域中的被摄体的三维形状的分辨率估计形状估计区域外部的被摄体的三维形状。也就是说，在将包括形状估计区域的外部的所有区域中的被摄体设置为三维形状估计候选的同时，可以优先执行形状估计区域中的被摄体的三维形状的估计。然后，虚拟视点图像生成单元150可以基于形状估计区域中的被摄体的三维形状和形状估计区域外的被摄体的估计的三维形状来生成虚拟视点图像。例如，可以在形状估计区域的内部与形状估计区域的外部之间改变体素的大小(分辨率)或如何稀疏待着色的体素。更具体地，对形状估计区域中的所有体素执行着色处理。对于形状估计区域外的体素，通过例如将八个相邻体素作为一个体素来执行着色处理。这可以缩短虚拟视点图像的生成时间。此外，在这种情况下，可以获得使形状估计区域外的失真被摄体图像模糊并使其不明显的效果。另外，可以将摄像目标的整个区域划分为优先执行形状估计的形状估计区域、当***处理负荷或处理时间不多时，成为形状估计的目标的形状估计候选的区域、以及没有成为形状估计的目标的非形状估计区域。

【前景图像的生成】

接下来，虚拟视点图像的背景图像生成。首先，在背景3D模型(背景的三维形状数据)中，获得运动场的四个角的顶点。使用***中预先创建并存储的CG模型作为背景3D模型。将四个顶点投影到靠近虚拟视点的两个摄像机(以下称为摄像机1和摄像机2)和虚拟视点的摄像机坐标系。使用虚拟视点和摄像机1之间以及虚拟视点和摄像机2之间的对应点来计算虚拟视点和摄像机1之间的投影矩阵1以及虚拟视点和摄像机2之间的投影矩阵2。为了计算虚拟视点的背景图像中的各像素值，使用投影矩阵1和投影矩阵2将各像素值的坐标投影到背景图像，并获得各点的像素值。计算获得的两个像素值的平均值并将其用作背景图像的像素值。

生成的背景图像叠加到由此获得的虚拟视点图像的背景图像上，从而生成虚拟视点图像。即，生成的虚拟视点图像是形状估计区域中的被摄体的前景图像与整个摄像目标区域的背景图像合成的图像。然而，也可以将要生成的背景图像的范围限制在形状估计区域中。另外，虚拟视点图像的生成方法不限于该方法，可以使用其他方法。

如上所述，根据本实施例，可以基于注视点的位置来限制被摄体的三维形状估计的区域。估计限制的形状估计区域中的被摄体的三维形状，并且生成虚拟视点图像，从而防止显示失真的被摄体图像。另外，由于在重负荷的前景图像生成处理中不包括失真被摄体形状，因此可以获得降低处理负荷的效果。

在步骤S2220中对各用途切换形状估计区域时，能够生成适合目的的图像或被摄体的三维形状。

注意，在该实施例中，从摄像机1获得图像或摄像机信息。然而，本公开并不限于此，并且图像或摄像机信息可以临时存储在存储设备中并进行处理。在该实施例中，将图像输出到显示装置3并进行显示。然而，本公开并不限于此，例如，可以通过连接存储设备来保存图像，或者可以通过连接打印机将图像打印为静止图像。另外，形状估计区域的设置不限于此，并且可以通过使用户(未示出)任意地生成底面或三维形状的形状来完成。请注意，注视点也可以设置在平面以外。例如，在诸如吊环等的运动中，可以在空中设置注视点。

注意，在该实施例中，已经描述了针对各用途切换形状估计区域的示例。然而，可以省略用途设置单元120，并且可以使用固定的形状估计区域。例如，可以将用途限于“虚拟视点图像生成”，并且可以固定形状估计区域的位置、形状等。这可以通过例如将这些信息记录在形状估计区域设置单元130的非易失性存储器等中来实现。

根据本公开，能够降低生成包含低形状精确度的被摄体的虚拟视点图像的风险。

其他实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给***或装置，该***或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

虽然参照示例性实施例描述了本发明，但是应当理解，本发明并不限于所公开的示例性实施例。应当对权利要求的范围赋予最宽的解释，以使其涵盖所有这些变型例以及等同的结构及功能。

Claims (15)

1.一种图像处理装置，所述图像处理装置包括：

图像获得单元，被配置为基于多个摄像装置的摄像获得图像；

位置获得单元，被配置为获得表示多个摄像装置指向的预定位置的信息；

区域设置单元，被配置为基于所述位置获得单元获得的所述信息设置用于估计被摄体的三维形状的区域；以及

估计单元，被配置为在所述区域设置单元设置的区域中基于所述图像获得单元获得的图像估计被摄体的三维形状。

2.根据权利要求1所述的装置，其中，所述区域设置单元将距离所述预定位置的预定距离范围设置为所述区域。

3.根据权利要求1所述的装置，其中，所述区域设置单元将具有关于所述预定位置作为中心的长方体形状的空间设置为所述区域。

4.根据权利要求1所述的装置，其中，在存在多个预定位置的情况下，所述区域设置单元针对各预定位置设置所述区域。

5.根据权利要求1所述的装置，所述装置还包括用途信息获得单元，被配置为获得通过所述估计单元的被摄体的三维形状的估计结果的用途信息。

6.根据权利要求5所述的装置，其中，所述区域设置单元基于所述位置获得单元获得的信息和所述用途信息获得单元获得的用途信息设置所述区域。

7.根据权利要求5所述的装置，其中，所述区域设置单元基于所述用途信息获得单元获得的用途信息设置所述区域的大小。

8.根据权利要求7所述的装置，其中，在通过用途信息获得单元获得的用途信息表示的用途是基于指定视点的图像的生成时，所述区域设置单元设置的大小小于所述用途不是基于所述指定视点的图像的生成的情况中的大小。

9.根据权利要求5所述的装置，其中，根据所述用途信息获得单元获得的用途信息，所述区域设置单元变更形成三维空间并用于估计被摄体的三维形状的体素的大小。

10.根据权利要求9所述的装置，其中，在通过用途信息获得单元获得的用途信息表示的用途是基于指定视点的图像的生成时，所述区域设置单元设置的所述体素的大小小于所述用途不是基于所述指定视点的图像的生成的情况中的大小。

11.根据权利要求1所述的装置，其中，所述估计单元以比所述区域中的被摄体的三维形状的分辨率低的分辨率估计所述区域外部的被摄体的三维形状。

12.根据权利要求11所述的装置，所述装置还包括生成单元，被配置为基于所述估计单元估计的三维形状生成基于所述指定视点的图像，

其中，所述生成单元基于所述区域中的被摄体的三维形状和所述区域外部的被摄体的三维形状生成基于所述指定视点的图像。

13.根据权利要求1所述的装置，所述装置还包括生成单元，被配置为基于所述估计单元估计的三维形状生成基于所述指定视点的图像。

14.一种图像处理装置的控制方法，所述控制方法包括：

基于多个摄像装置的摄像获得图像；

获得表示所述多个摄像装置指向的预定位置的信息；

基于所述获得的信息设置用于估计被摄体的三维形状的区域；

在所述设置的区域中基于所述获得的图像估计所述被摄体的三维形状。

15.一种计算机可读存储介质，其存储使计算机执行图像处理装置的控制方法的各步骤的计算机程序，所述方法包括：

基于多个摄像装置的摄像获得图像；

获得表示所述多个摄像装置指向的预定位置的信息；

基于所述获得的信息设置用于估计被摄体的三维形状的区域；

在所述设置的区域中基于所述获得的图像估计所述被摄体的三维形状。