CN113544746A - 图像处理装置和图像处理方法 - Google Patents

Abstract

本发明涉及能够减轻绘制处理的处理负荷的图像处理装置和图像处理方法。图像处理装置设置有：确定单元，其确定在与由多个成像装置中的每一个捕获的捕获图像对应的纹理图像中是否捕获到被摄体；以及输出单元，其将确定单元的确定结果添加到被摄体的3D模型的3D形状数据中，然后输出所得到的数据。本技术可以应用于例如生成对象的3D模型的数据的图像处理装置等。

Description

图像处理装置和图像处理方法

技术领域

本技术涉及图像处理装置和图像处理方法，更具体地，涉及允许减少绘制处理的处理负荷的图像处理装置和图像处理方法。

背景技术

已经提出了各种技术来生成和发送3D模型。例如，已经提出了如下方法：将被摄体的3D模型的三维数据转换为从多个视点捕获的多个纹理图像和深度图像，发送到再现装置，并且在再现侧上显示(例如，参见专利文献1)。

引用列表

专利文献

专利文献1：WO 2017/082076 A。

发明内容

本发明要解决的问题

再现装置需要确定与多个视点对应的多个纹理图像中的哪一个可以用于粘贴要绘制的对象的颜色，并且该确定需要大量处理负荷。

鉴于这种情况作出了本技术，并且本技术可以减少再现侧上的绘制处理的处理负荷。

问题的解决方案

本技术的第一方面提供一种图像处理装置，包括：确定单元，其确定在与由多个成像装置中的每一个捕获的捕获图像对应的纹理图像中是否捕获到被摄体；以及输出单元，其将确定单元的确定结果添加到被摄体的3D模型的3D形状数据中，然后输出确定结果。

本技术的第一方面提供了一种图像处理方法，包括：由图像处理装置确定在与由多个成像装置中的每一个捕获的捕获图像对应的纹理图像中是否捕获到被摄体，以及将确定结果添加到被摄体的3D模型的3D形状数据中，然后输出确定结果。

在本技术的第一方面中，确定在与由多个成像装置中的每一个捕获的捕获图像对应的纹理图像中是否捕获到被摄体，并且确定结果被添加到被摄体的3D模型的3D形状数据中，然后被输出。

本技术的第二方面提供一种图像处理装置，包括：绘制处理单元，其基于包含确定结果的3D形状数据来生成被摄体的3D模型的图像，3D形状数据是添加了确定结果的3D模型的3D形状数据，确定结果指示在纹理图像中是否捕获到被摄体。

本技术的第二方面提供了一种图像处理方法，包括：由图像处理装置基于包含确定结果的3D形状数据来生成被摄体的3D模型的图像，3D形状数据是添加了确定结果的3D模型的3D形状数据，确定结果指示在纹理图像中是否捕获到被摄体。

在本技术的第二方面，基于包含确定结果的3D形状数据来生成被摄体的3D模型的图像，3D形状数据是添加了确定结果的3D模型的3D形状数据，确定结果指示在纹理图像中是否捕获到被摄体。

注意，可以通过使计算机执行程序来实现根据本技术的第一方面和第二方面的图像处理装置。要由计算机执行的程序可以通过经由传输介质传输或者记录在记录介质上来提供。

图像处理装置可以是独立的装置，或者可以是构成一个装置的内部块。

附图说明

图1是示出应用本技术的图像处理***的概要的图。

图2是示出应用本技术的图像处理***的配置示例的框图。

图3是示出布置多个成像装置的示例的图。

图4是示出3D模型数据的示例的图。

图5是示出选择用于在对象的3D形状上粘贴颜色信息的纹理图像的图。

图6是示出在存在遮挡的情况下粘贴纹理图像的图。

图7是示出可见性标志的示例的图。

图8是示出生成装置的详细配置示例的框图。

图9是示出可见性确定单元的处理的图。

图10是示出可见性确定单元的处理的图。

图11是示出打包网格数据和可见性信息的处理的示例的图。

图12是示出再现装置的详细配置示例的框图。

图13是示出生成装置的3D模型数据生成处理的流程图。

图14是示出图13的步骤S7中的可见性确定处理的细节的流程图。

图15是示出再现装置的相机选择处理的流程图。

图16是示出绘制处理单元的绘制处理的流程图。

图17是示出生成装置的修改例的框图。

图18是示出三角形图块细分处理的示意图。

图19是示出三角形图块细分处理的示意图。

图20是示出三角形图块细分处理的示意图。

图21是示出应用本技术的计算机的一个实施方式的配置示例的框图。

具体实施方式

下面将描述用于执行本公开内容的方式(在下文中被称为实施方式)。注意，将按以下顺序进行描述。

1.图像处理***的概述

2.图像处理***的配置示例

3.图像处理***的特征

4.生成装置22的配置示例

5.再现装置25的配置示例

6.3D模型数据生成处理

7.可见性确定处理

8.相机选择处理

9.绘制处理

10.修改例

11.计算机的配置示例

<1.图像处理***的概要>

首先，参照图1，将描述应用本技术的图像处理***的概要。

应用本技术的图像处理***由以下部件构成：分发侧，其根据通过利用多个成像装置进行成像而获得的捕获图像生成并分发对象的3D模型；以及再现侧，其接收从分发侧发送的3D模型，然后再现并显示3D模型。

在分发侧，使用多个成像装置从预定成像空间的***对预定成像空间进行成像，从而获得多个捕获图像。捕获图像由例如运动图像构成。然后，通过使用从不同方向的多个成像装置获得的捕获图像，生成要在成像空间中显示的多个对象的3D模型。对象的3D模型的生成也称为3D模型的重建。

图1示出了如下示例：将成像空间设置为足球场的场地，并且通过布置在构成场地***的看台侧上的多个成像装置对场地上的球员等进行成像。在执行3D模型的重构时，例如，将场上的球员、裁判、足球和球门提取为对象，并且针对每个对象生成(重构)3D模型。所生成的大量对象的3D模型的数据(在下文中也称为3D模型数据)被存储在预定存储装置中。

然后，响应于来自再现侧的请求，发送存储在预定存储装置中的成像空间中存在的大量对象中的预定对象的3D模型，并且在再现侧再现和显示这些3D模型。

再现侧可以在成像空间中存在的大量对象中仅请求要查看的对象，并且使显示装置显示该对象。例如，再现侧假设其成像范围与观看者的观看范围一致的虚拟相机，在成像空间中存在的大量对象中仅请求能够由虚拟相机捕获的对象，并且使显示装置显示这些对象。虚拟相机的视点可以被设置为任何位置，使得观看者可以从现实世界中的任何视点看到球场。

在图1的示例中，在作为所生成的对象的大量球员中，显示装置上仅显示了由正方形包围的三个球员。

<2.图像处理***的配置示例>

图2是示出实现图1中描述的图像处理的图像处理***的配置示例的框图。

图像处理***1由分发侧和再现侧构成，该分发侧根据从多个成像装置21获得的多个捕获图像生成和分发3D模型的数据，该再现侧接收从分发侧发送的3D模型的数据，然后再现和显示该3D模型。

例如，如图3所示，成像装置21-1至21-N(N>1)被布置在被摄体***的不同位置处，以对被摄体进行成像并且向生成装置22提供由于成像而获得的运动图像的图像数据。图3示出其中布置了8个成像装置21-1至21-8的示例。成像装置21-1至21-8中的每一个从与其他成像装置21的方向不同的方向对被摄体进行成像。每个成像装置21在世界坐标系中的位置是已知的。

在本实施方式中，由每个成像装置21生成的运动图像由包括R、G和B波长的捕获图像(RGB图像)构成。每个成像装置21向生成装置22提供相机参数以及通过对被摄体进行成像而获得的运动图像(RGB图像)的图像数据。相机参数至少包括外部参数和内部参数。

根据从成像装置21-1到21-N中的每一个提供的多个捕获图像，生成装置22生成被摄体的纹理图像的图像数据以及指示被摄体的3D形状的3D形状数据，并且向分发服务器23提供图像数据和3D形状数据连同多个成像装置21的相机参数。在下文中，每个对象的图像数据和3D形状数据也统称为3D模型数据。

注意，不是从成像装置21-1至21-N直接获取捕获图像，而是生成装置22可以获取曾经存储在预定存储单元诸如数据服务器中的捕获图像并且生成3D模型数据。

分发服务器23存储从生成装置22提供的3D模型数据，并且响应于来自再现装置25的请求，经由网络24将3D模型数据发送到再现装置25。

分发服务器23包括发送/接收单元31和存储器32。

发送/接收单元31获取从生成装置22提供的3D模型数据和相机参数，并且将3D模型数据和相机参数存储在存储器32中。此外，发送/接收单元31响应于来自再现装置25的请求，经由网络24将3D模型数据发送到再现装置25。

注意，发送/接收单元31可以从存储器32获取3D模型数据和相机参数并且将3D模型数据和相机参数发送到再现装置25，或者可以在不将3D模型数据和相机参数存储在存储器32中的情况下将从生成装置22提供的3D模型数据和相机参数直接发送(实时分发)到再现装置25。

网络24例如由因特网、电话网络、卫星通信网络、包括以太网(注册商标)的各种局域网(LAN)、或者诸如广域网(WAN)或因特网协议-虚拟专用网络(IP-VPN)的租用线路网络构成。

再现装置25使用经由网络24从分发服务器23发送的3D模型数据和相机参数来生成(再现)从由观看位置检测装置27提供的观看者的观看位置观看的对象的图像(对象图像)，并且将该图像提供给显示装置26。更具体地，再现装置25假设具有与观看者的观看范围一致的成像范围的虚拟相机，生成由虚拟相机捕获的对象的图像，并且使显示装置26显示该图像。虚拟相机的视点(虚拟视点)由从观看位置检测装置27提供的虚拟视点信息指定。虚拟视点信息例如由虚拟相机的相机参数(外部参数和内部参数)构成。

显示装置26显示从再现装置25提供的对象图像。观看者观看显示装置26上显示的对象图像。观看位置检测装置27检测观看者的观看位置，并且将指示观看位置的虚拟视点信息提供给再现装置25。

显示装置26和观看位置检测装置27可以被配置成集成装置。例如，显示装置26和观看位置检测装置27由头戴式显示器构成，检测观看者已移动的位置、头部的移动等，并且检测观看者的观看位置。观看位置还包括观看者相对于由再现装置25生成的对象的视线方向。

作为显示装置26和观看位置检测装置27被配置成单独装置的示例，例如，观看位置检测装置27由例如操作观看位置的控制器构成。在这种情况下，与观看者对控制器的操作对应的观看位置被从观看位置检测装置27提供给再现装置25。再现装置25使显示装置26显示与指定的观看位置对应的对象图像。

显示装置26或观看位置检测装置27还可以根据需要向再现装置25提供关于显示装置26的显示功能的信息，例如由显示装置26显示的图像的图像尺寸和视角。

在如上所述配置的图像处理***1中，在成像空间中存在的大量对象中，与观看者的视点(虚拟视点)对应的对象的3D模型数据由生成装置22生成并且经由分发服务器23被发送到再现装置25。然后，再现装置25使基于3D模型数据的对象图像再现并显示在显示装置26上。生成装置22是根据观看者的视点(虚拟视点)生成3D模型数据的图像处理装置，再现装置25是基于由生成装置22生成的3D模型数据来生成对象图像并且使显示装置26显示该对象图像的图像处理装置。

<3.图像处理***的特征>

接下来，将参照图4至图7描述图像处理***1的处理。

图4示出了从分发服务器23发送到再现装置25的3D模型数据的示例。

对象(被摄体)的纹理图像的图像数据以及指示对象的3D形状的3D形状数据作为3D模型数据被发送到再现装置25。

例如，所发送的对象的纹理图像是由成像装置21-1至21-8分别捕获的被摄体的捕获图像P1至P8，如图4所示。

例如，对象的3D形状数据是其中被摄体的3D形状由多边形网格表示的网格数据，该多边形网格由三角形(三角形图块)的顶点之间的连接表示，如图4所示。

为了根据观看者的视点(虚拟视点)生成要在显示装置26上显示的对象图像，再现装置25基于由多个成像装置21捕获的多个纹理图像在由多边形网格表示的对象的3D形状中粘贴颜色信息(RBG值)。

这里，再现装置25从由分发服务器23提供的由N个成像装置21捕获的N个纹理图像中选择较靠近虚拟视点的多个成像装置21的纹理图像，并且在对象的3D形状中粘贴颜色信息。

例如，如图5所示，在再现装置25生成其中从虚拟相机VCAM的视点(虚拟视点)观看对象Obj的对象图像的情况下，再现装置25通过使用较靠近虚拟相机VCAM的三个成像装置21-3至21-5的纹理图像来粘贴颜色信息。以这种方式使用由靠近虚拟相机VCAM的多个成像装置21获得的纹理图像来执行纹理映射的方法被称为视点相关渲染。注意，绘制像素的颜色信息是通过以预定方法混合三个纹理图像的颜色信息而获得的。

由于误差或缺乏准确性，对象的3D形状数据的值可能并不总是准确的。在对象的三维形状不准确的情况下，使用来自较靠近观看位置的成像装置21的光线信息具有可以获得误差减少和图像质量改进的优点。此外，视点相关渲染可以再现根据观看方向例如光的反射而变化的颜色信息。

顺便提及，即使在对象在成像装置21的视角内的情况下，该对象也可能与另一个对象交叠。

例如，考虑如图6所示的如下情况：两个成像装置21-A和21-B被选择为靠近虚拟相机VCAM的成像装置21，并且粘贴对象Obj1上的点P的颜色信息。

对象Obj2靠近对象Obj1。在成像装置21-B的纹理图像中，由于对象Obj2，未捕获到对象Obj1上的点P。因此，在靠近虚拟相机VCAM的两个成像装置21-A和21-B中，可以使用成像装置21-A的纹理图像(颜色信息)，但不能使用成像装置21-B的纹理图像(颜色信息)。

这样，在对象之间存在交叠(遮挡)的情况下，甚至可能无法使用靠近虚拟相机VCAM的成像装置21的纹理图像(颜色信息)。

因此，生成要再现和显示的图像的再现装置25通常需要生成深度图，在该深度图中已经计算了关于从成像装置21到对象的距离的信息(深度信息)，并且再现装置25需要确定在成像装置21的纹理图像中是否捕获到绘制点P，那么存在该处理繁重的问题。

因此，在图像处理***1中，生成装置22针对构成对象的绘制表面的每个点P，预先确定点P是否在要发送的成像装置21的纹理图像中被捕获，然后将确定结果作为标志发送到再现装置25。该标志指示关于成像装置21的纹理图像中的可见性的信息，并且被称为可见性标志。

图7示出了已经对对象Obj成像的两个成像装置21-A和21-B的可见性标志的示例。

当确定对象Obj的表面上的点P时，也就确定了可见性标志。对于对象Obj的表面上的每个点P，针对每个成像装置21确定点P是否被捕获。

在图7的示例中，对象Obj的表面上的点P1被成像装置21-A和21-B二者捕获，这被表达为可见性标志_P1(A，B)＝(1，1)。对象Obj的表面上的点P2被成像装置21-A捕获，但未被成像装置21-B捕获，这被表达为可见性标志_P2(A，B)＝(0，1)。

对象Obj的表面上的点P3未被成像装置21-A和21-B中的任一个捕获，这被表达为可见性标志_P3(A，B)＝(0，0)。对象Obj的表面上的点P4被成像装置21-A捕获，但未被成像装置21-B捕获，这被表达为可见性标志_P2(A，B)＝(1，0)。

这样，对于对象Obj的表面上的每个点，针对每个成像装置21确定可见性标志，并且N个成像装置21的可见性信息总共为N位信息。

在图像处理***1中，生成装置22生成可见性标志并且将可见性标志与3D模型数据和相机参数一起提供给再现装置25，这使得再现装置25无需确定在成像装置21的纹理图像中是否捕获到绘制点P。因此，可以减轻再现装置25的绘制负荷。

生成装置22生成并提供由多边形网格表示的数据作为指示对象的3D形状的3D形状数据，并且生成装置22为多边形网格的每个三角形图块生成和添加可见性标志。

在下文中，将描述生成装置22和再现装置25的详细配置。

<4.生成装置的配置示例>

图8是示出生成装置22的详细配置示例的框图。

生成装置22包括失真/颜色校正单元41、轮廓提取单元42、体素处理单元43、网格处理单元44、深度图生成单元45、可见性确定单元46、打包单元47和图像发送单元48。

由N个成像装置21中的每一个捕获的运动图像的图像数据被提供给生成装置22。运动图像由按时间顺序获得的多个RGB纹理图像构成。此外，还向生成装置22提供N个成像装置21中的每一个的相机参数。注意，相机参数可以由生成装置22的设置单元基于用户的操作来设置(输入)，而不是由成像装置21提供。

来自每个成像装置21的运动图像的图像数据被提供给失真/颜色校正单元41，并且相机参数被提供给体素处理单元43、深度图生成单元45和图像发送单元48。

失真/颜色校正单元41针对从N个成像装置21提供的N个纹理图像校正每个成像装置21的镜头失真和颜色。因此，N个纹理图像之间的失真和颜色变化被校正，使得可以抑制在绘制时多个纹理图像的颜色被混合时的陌生感。校正后的N个纹理图像的图像数据被提供给轮廓提取单元42和图像发送单元48。

轮廓提取单元42针对从失真/颜色校正单元41提供的校正后的N个纹理图像中的每一个生成轮廓图像，在轮廓图像中，作为要绘制的对象的被摄体的区域由轮廓表示。

例如，轮廓图像是如下的二值化图像：每个像素的像素值被二值化为“0”或“1”，并且被摄体的区域被设置为像素值“1”并且用白色表示。被摄体以外的区域被设置为像素值“0”并且用黑色表示。

注意，用于检测纹理图像中的被摄体的轮廓的检测方法没有特别限制，并且可以采用任何方法。例如，可以采用如下检测轮廓的方法：将两个相邻的成像装置21视为立体相机，通过根据两个纹理图像计算视差来计算到被摄体的距离，并且分离前景和背景。此外，还可以采用如下检测轮廓的方法：预先捕获并保存只捕获背景而不包括被摄体的背景图像，并且通过使用背景减法获得纹理图像与背景图像之间的差异。替选地，通过应用其中使用图形切割和立体视觉的方法(“Bi-Layer segmentation of binocular stereo video”，V.Kolmogorov、A.Blake等人，微软研究院有限公司，英国剑桥)，可以更准确地检测捕获图像中的人的轮廓。从N个纹理图像生成的N个轮廓图像的数据被提供给体素处理单元43。

体素处理单元43根据相机参数对从轮廓提取单元42提供的N个轮廓图像进行投影，并且使用Visual Hull方法雕刻出三维形状以生成(恢复)对象的三维形状。对象的三维形状由体素数据指示，例如，对于每个三维网格(体素)，该网格是否属于该对象。表示对象的三维形状的体素数据被提供给网格处理单元44。

网格处理单元44将从体素处理单元43提供的表示对象的三维形状的体素数据转换成可以由显示装置容易地渲染的多边形网格数据格式。可以使用诸如Marching Cubes之类的算法来转换数据格式。网格处理单元44将由三角形图块表示的格式转换之后的网格数据提供给深度图生成单元45、可见性确定单元46和打包单元47。

深度图生成单元45通过使用N个成像装置21的相机参数以及表示对象的三维形状的网格数据来生成与N个纹理图像对应的N个深度图像(深度图)。

由一个成像装置21捕获的图像中的二维坐标(u，v)以及图像中捕获的对象的世界坐标系中的三维坐标(X，Y，Z)由以下等式(1)表示，在该等式(1)中使用了相机的内部参数A和外部参数R|t。

[数学式1]

sm'＝A[R|t]M …(1)

在等式(1)中，m'是与图像的二维位置对应的矩阵，M是与世界坐标系中的三维坐标对应的矩阵。等式(1)由等式(2)更详细地表示。

[数学式2]

在等式(2)中，(u，v)是图像中的二维坐标，f_x和f_y为焦距。此外，C_x和C_y是主点，r₁₁至r₁₃、r₂₁至r₂₃、r₃₁至r₃₃以及t₁至t₃是参数，(X，Y，Z)是世界坐标系中的三维坐标。

因此可以根据等式(1)或(2)通过使用相机参数获得与纹理图像中的每个像素的二维坐标对应的三维坐标，并且可以生成与纹理图像对应的深度图像。所生成的N个深度图像被提供给可见性确定单元46。

可见性确定单元46使用N个深度图像来确定对于N个纹理图像中的每一个在由成像装置21捕获的纹理图像中是否捕获到对象上的每个点。

将参照图9和图10描述可见性确定单元46的处理。

例如，将描述可见性确定单元46确定在成像装置21-A和21-B中的每一个的纹理图像中是否捕获到图9所示的对象Obj1上的点P的情况。这里，对象Obj1上的点P的坐标是从网格处理单元44提供的表示对象的三维形状的网格数据中得知的。

可见性确定单元46计算其中对象Obj1上的点P的位置被投影到成像装置21-A的成像范围的投影画面中的坐标(i_A，j_A)，并且从由深度图生成单元45提供的成像装置21-A的深度图像中获取坐标(i_A，j_A)的深度值d_A。深度值d_A是存储在从深度图生成单元45提供的成像装置21-A的深度图像的坐标(i_A，j_A)中的深度值。

接下来，根据坐标(i_A，j_A)、深度值d_A和成像设备21-A的相机参数，可见性确定单元46计算成像装置21-A的投影画面中的坐标(i_A，j_A)在世界坐标系中的三维坐标(x_A，y_A，z_A)。

类似地，对于成像装置21-B，根据成像装置21-B的投影画面中的坐标(i_B，j_B)、深度值dB以及成像装置21-B的相机参数，计算成像设备21-B的投影画面中的坐标(i_B，j_B)在世界坐标系中的三维坐标(x_B，y_B，z_B)。

接下来，可见性确定单元46通过确定所计算出的三维坐标(x，y，z)是否与对象Obj1上的点P的已知坐标一致来确定在成像装置21的纹理图像中是否捕获到点P。

在图9所示的示例中，针对成像设备21-A计算的三维坐标(x_A，y_A，z_A)对应于点P_A，这意味着点P就是点P_A，并且确定在装置21-A的纹理图像中捕获到对象Obj1上的点P。

另一方面，针对成像设备21-B计算的三维坐标(x_B，y_B，z_B)是对象Obj2上的点P_B的坐标，而不是点P_A的坐标。因此，点P不是点P_B，并且确定在成像装置21-B的纹理图像中未捕获对象Obj1上的点P。

如图10中所示，可见性确定单元46针对作为对象的三维形状的网格数据的每个三角形图块，生成指示关于每个成像装置21的纹理图像中的可见性的确定结果的可见性标志。

在成像装置21的纹理图像中捕获到三角形图块的整个区域的情况下，设置可见性标志“1”。在在成像装置21的纹理图像中甚至连三角形图块的一部分区域也未捕获到的情况下，设置可见性标志“0”。

对于一个三角形图块，针对N个成像装置21中的每一个生成一个可见性标志，并且可见性标志对于一个三角形图块包括N位的信息。

返回图8，可见性确定单元46针对网格数据的每个三角形图块生成由N位信息表示的可见性信息，并且将可见性信息提供给打包单元47。

打包单元47将从网格处理单元44提供的多边形网格数据以及从可见性确定单元46提供的可见性信息进行打包(组合)，并且生成包含可见性信息的网格数据。

图11是示出将网格数据和可见性信息进行打包的处理的示例的图。

如上所述，可见性标志针对一个三角形图块包括N位的信息。

在用于多边形网格数据的许多数据格式中，包括三角形的三个顶点的坐标信息以及三角形的法线向量的信息(法线向量信息)。在本实施方式中，由于未使用法线向量信息，所以可以在用于法线向量信息的数据存储位置中存储N位的可见性信息。假设法线向量信息具有足以存储至少N位数据的区域。

替选地，例如，在法线向量(VNx、VNy、VNz)中的VNx、VNy、VNz具有32位数据区域的情况下，可以使用22位用于法线向量以及10位用于可见性信息。

注意，在用于法线向量信息的数据存储位置不能存储可见性信息的情况下，可以添加专用于可见性信息的存储位置。

如上所述，打包单元47将可见性信息添加到多边形网格数据以生成包含可见性信息的网格数据。

返回图8，打包单元47将所生成的包含可见性信息的网格数据输出到分发服务器23的发送/接收单元31。注意，打包单元47还用作将所生成的包含可见性信息的网格数据输出到另一装置的输出单元。

在失真/颜色校正单元41校正了由N个成像装置21中的每一个捕获的捕获图像(纹理图像)之后，图像发送单元48将N个纹理图像的图像数据以及N个成像装置21中的每一个的相机参数输出到分发服务器23。

具体地，图像发送单元48向分发服务器23输出N个视频流，这N个视频流是由失真/颜色校正单元41针对每个成像装置21校正的运动图像流。图像发送单元48可以向分发服务器23输出通过预定的压缩编码方法压缩的编码流。相机参数与视频流分开发送。

<5.再现装置25的配置示例>

图12是示出解码装置25的详细配置示例的框图。

再现装置25包括解包单元61、相机选择单元62和绘制处理单元63。

解包单元61执行与再现装置25的打包单元47的处理相反的处理。即，解包单元61将作为对象的3D形状数据从分布服务器23发送的包含可见性信息的网格数据分离成可见性信息和多边形网格数据，并且将可见性信息和多边形网格数据提供给绘制处理单元63。解包单元61还用作将包含可见性信息的网格数据分离成可见性信息和多边形网格数据的分离单元。

N个成像装置21中的每一个的相机参数被提供给相机选择单元62。

基于从观看位置检测装置27(图2)提供的指示观看者的观看位置的虚拟视点信息，相机选择单元62从N个成像装置21中选择较靠近观看者的观看位置的M个成像装置21。虚拟视点信息由虚拟相机的相机参数构成，可以通过与N个成像装置21中的每一个的相机参数进行比较来选择M个成像装置21。在作为所选择的成像装置的数目的值M小于成像装置21的数目N(M＜N)的情况下，可以减轻处理负荷。取决于再现装置25的处理能力，M＝N是可能的，即，可以选择成像装置21的总数。

相机选择单元62从分发服务器23请求并获取与所选择的M个成像装置21对应的纹理图像的图像数据。纹理图像的图像数据是例如每个成像装置21的视频流。该纹理图像的图像数据是其中纹理图像中的失真和颜色被生成装置22校正的数据。

相机选择单元62将相机参数以及与所选择的M个成像装置21对应的纹理图像的图像数据提供给绘制处理单元63。

绘制处理单元63基于观看者的观看位置来执行绘制对象的图像的渲染处理。即，绘制处理单元63基于从观看位置检测装置27提供的虚拟视点信息来生成从观看者的观看位置观看的对象的图像(对象图像)，并且将该图像提供给显示装置26，使得图像被显示。

绘制处理单元63参考从解包单元61提供的可见性信息，从M个纹理图像中选择其中捕获到绘制点的K(K≤M)个纹理图像。此外，绘制处理单元63从所选择的K个纹理图像中确定要优先使用的L(L≤K)个纹理图像。作为L个纹理图像，参考捕获到K个纹理图像的成像装置21的三维位置(成像位置)，采用其中观看位置与成像装置21之间的角度较小的纹理图像。

绘制处理单元63混合所确定的L个纹理图像的颜色信息(R、G和B值)，并且确定对象的绘制点P的颜色信息。例如，L个纹理图像中的第i个纹理图像的混合比Blend(i)可以通过以下等式(3)和等式(4)来计算。

[数学式3]

在等式(3)中，angBlend(i)表示归一化之前的第i个纹理图像的混合比，angDiff(i)表示捕获到第i个纹理图像的成像装置21相对于观看位置的角度，以及angMAX表示L个纹理图像的angDiff(i)的最大值。等式(4)中的ΣangBlend(j)表示L个纹理图像的angBlend(j)(j＝1至L)之和。

绘制处理单元63以混合比Blend(i)将L(i＝1至L)个纹理图像的颜色信息进行混合，并且确定对象的绘制点P的颜色信息。

注意，混合L个纹理图像的处理不限于上述处理，并且可以使用其他方法。混合计算公式只需要满足例如以下条件：在观看位置与成像装置21的位置相同的情况下，颜色信息接近于由成像装置21获得的纹理图像的颜色信息；在观看位置在成像装置21之间改变的情况下，混合比Blend(i)在时间和空间上平滑地改变；以及要使用的纹理的数目L是可变的。

<6.3D模型数据生成处理>

接下来，将参照图13中的流程图描述生成装置22的3D模型数据生成处理。例如，当从N个成像装置21提供被摄体的捕获图像或者相机参数时开始该处理。

首先，在步骤S1中，生成装置22获取从N个成像装置21中的每一个提供的相机参数和捕获图像。捕获图像的图像数据被提供给失真/颜色校正单元41，并且相机参数被提供给体素处理单元43、深度图生成单元45和图像发送单元48。捕获图像是顺序提供的运动图像的一部分，并且是定义对象的纹理的纹理图像。

在步骤S2中，失真/颜色校正单元41针对N个纹理图像校正每个成像装置21的镜头失真和颜色。校正后的N个纹理图像被提供给轮廓提取单元42和图像发送单元48。

在步骤S3中，轮廓提取单元42针对从失真/颜色校正单元41提供的校正后的N个纹理图像中的每一个生成其中作为对象的被摄体的区域由轮廓表示的轮廓图像，并且将轮廓图像提供给体素处理单元43。

在步骤S4中，体素处理单元43根据相机参数对从轮廓提取单元42提供的N个轮廓图像进行投影，并且使用Visual Hull方法雕刻出三维形状以生成(恢复)对象的三维形状。表示对象的三维形状的体素数据被提供给网格处理单元44。

在步骤S5中，网格处理单元44将从体素处理单元43提供的表示对象的三维形状的体素数据转换成多边形网格数据格式。格式转换后的网格数据被提供给深度图生成单元45、可见性确定单元46和打包单元47。

在步骤S6中，深度图生成单元45通过使用N个成像装置21的相机参数以及表示对象的三维形状的网格数据，生成与N个纹理图像对应的N个深度图像(在校正颜色和失真之后)。所生成的N个深度图像被提供给可见性确定单元46。

在步骤S7中，可见性确定单元46执行可见性确定处理，用于针对N个纹理图像中的每一个确定在由成像装置21捕获的纹理图像中是否捕获到对象上的每个点。可见性确定单元46将作为可见性确定处理的结果的每个三角形图块的网格数据的可见性信息提供给打包单元47。

在步骤S8中，打包单元47将从网格处理单元44提供的多边形网格数据以及从可见性确定单元46提供的可见性信息进行打包，并且生成包含可见性信息的网格数据。然后，打包单元47将所生成的包含可见性信息的网格数据输出到分发服务器23。

在步骤S9中，图像发送单元48将由失真/颜色校正单元41校正的N个纹理图像的图像数据以及N个成像装置21中的每一个的相机参数输出到分发服务器23。

步骤S8的处理和步骤S9的处理没有特定的顺序。即，可以在步骤S8的处理之前执行步骤S9的处理，或者可以同时执行步骤S8的处理和步骤S9的处理。

在从N个成像装置21提供捕获图像的同时重复执行上述步骤S1至S9的处理。

<7.可见性确定处理>

接下来，将参照图14中的流程图描述图13中的步骤S7中的可见性确定处理的细节。

首先，在步骤S21中，可见性确定单元46计算通过将要在再现侧绘制的对象上的预定点P投影到成像装置21上而获得的投影画面中的坐标(i，j)。点P的坐标从由网格处理单元44提供的表示对象的三维形状的网格数据中得知。

在步骤S22中，可见性确定单元46从由深度图生成单元45提供的成像装置21的深度图像中获取坐标(i，j)的深度值d。存储在从深度图生成单元45提供的成像装置21的深度图像的坐标(i，j)中的深度值是深度值d。

在步骤S23中，可见性确定单元46根据坐标(i，j)、深度值d以及成像装置21的相机参数计算成像装置21的投影画面中的坐标(i，j)在世界坐标系中的三维坐标(x，y，z)。

在步骤S24中，可见性确定单元46确定计算出的世界坐标系中的三维坐标(x，y，z)是否与点P的坐标相同。例如，在计算出的世界坐标系中的三维坐标(x，y，z)相对于点P的已知坐标在预定的误差范围内，则确定三维坐标(x，y，z)与点P的坐标相同。

如果在步骤S24中确定根据投影到成像装置21上的投影画面计算的三维坐标(x，y，z)与点P的三维坐标相同，则处理进行到步骤S25。可见性确定单元46确定在成像装置21的纹理图像中捕获到点P，并且处理结束。

另一方面，如果在步骤S24中确定根据投影到成像装置21上的投影画面计算的三维坐标(x，y，z)与点P的三维坐标不同，则处理进行到步骤S26。可见性确定单元46确定在成像装置21的纹理图像中未捕获点P，并且处理结束。

对对象上的所有点P和所有成像装置21执行上述处理。

<8.相机选择处理>

图15是再现装置25的相机选择单元62的相机选择处理的流程图。

首先，在步骤S41中，相机选择单元62获取N个成像装置21的相机参数以及指示观看者的观看位置的虚拟视点信息。N个成像装置21中的每一个的相机参数从分发服务器23提供，并且虚拟视点信息从观看位置检测装置27提供。

在步骤S42中，相机选择单元62基于虚拟视点信息从N个成像装置21中选择较靠近观看者的观看位置的M个成像装置21。

在步骤S43中，相机选择单元62向分发服务器23请求并获取所选择的M个成像装置21的纹理图像的图像数据。这M个成像装置21的纹理图像的图像数据作为M个视频流从分发服务器23发送。

在步骤S44中，相机选择单元62将与所选择的M个成像装置21对应的纹理图像的图像数据以及相机参数提供给绘制处理单元63，并且处理结束。

<9.绘制处理>

图16是绘制处理单元63的绘制处理的流程图。

首先，在步骤S61中，绘制处理单元63获取与M个成像装置21对应的相机参数以及纹理图像的图像数据以及对象的网格数据和可见性信息。此外，绘制处理单元63还获取指示观看者的观看位置并且从观看位置检测装置27提供的虚拟视点信息。

在步骤S62中，绘制处理单元63通过确定表示观看者的视线方向的向量是否与网格数据的每个三角形图块表面相交来计算绘制像素在三维空间中的坐标(x，y，z)。在下文中，为简单起见，将绘制像素在三维空间中的坐标(x，y，z)称为绘制点。

在步骤S63中，绘制处理单元63参考可见性信息，针对M个成像装置21中的每一个确定在成像装置21的纹理图像中是否捕获到绘制点。在此确定捕获到绘制点的纹理图像的数目被表达为K(K≤M)。

在步骤S64中，绘制处理单元63从捕获到绘制点的K个纹理图像中确定要优先使用的L(L≤K)个纹理图像。作为L个纹理图像，采用相对于观看位置具有较小角度的成像装置21的纹理图像。

在步骤S65中，绘制处理单元63将所确定的L个纹理图像的颜色信息(R、G和B值)进行混合，并且确定对象的绘制点P的颜色信息。

在步骤S66中，绘制处理单元63将对象的绘制点P的颜色信息写入绘制缓冲器。

当对观看者的观看范围内的所有点都执行了步骤S62至S66的处理时，与观看位置对应的对象图像在绘制处理单元63的绘制缓冲器中被生成并且被显示在显示装置26上。

<10.修改例>

图17是示出生成装置的配置示例的框图。

根据图17的修改例的生成装置22与图8所示的生成装置22的配置的不同之处在于，在网格处理单元44与打包单元47之间新增加了网格细分单元81。

网格细分单元81被提供有来自网格处理单元44的表示对象的三维形状的网格数据，并且被提供有来自深度图生成单元45的N个深度图像(深度图)。

网格细分单元81基于从网格处理单元44提供的网格数据对三角形图块进行细分，使得可见性标志“0”与“1”之间的边界与三角形图块之间的边界一致。网格细分单元81将细分处理之后的网格数据提供给打包单元47。

在三角形图块细分处理中，网格细分单元81和可见性确定单元46根据需要相互传递可见性信息以及细分处理之后的网格数据。

除了网格细分单元81执行三角形图块细分处理外，图17的生成装置22的配置的其他部分与图8所示的生成装置22的配置类似。

将参照图18至图20描述三角形图块细分处理。

例如，假设对象Obj11和对象Obj12被预定成像装置21捕获并且对象Obj11的一部分被对象Obj12隐藏的情况，如图18所示。

由成像装置21捕获的对象Obj11的细分之前的网格数据，换言之，从网格处理单元44提供给网格细分单元81的网格数据，由两个三角形图块TR1和TR2构成，如图18的右侧所示。

对象Obj12位于由两个三角形图块TR1和TR2的两条虚线定义的区域内。在即使三角形图块的一部分被隐藏的情况下，可见性标志也被设置为“0”，因此两个三角形图块TR1和TR2的可见性标志二者均被设置为“0”。三角形图块TR1和TR2中的“0”表示可见性标志。

另一方面，在图18的右下方示出了在网格细分单元81已经执行了三角形图块细分处理之后两个三角形图块TR1和TR2的状态。

在三角形图块细分处理之后，三角形图块TR1被划分为三角形图块TR1a至TR1e，三角形图块TR2被划分为三角形图块TR2a至TR2e。三角形图块TR1a、TR1b和TR1e的可见性标志为“1”，而三角形图块TR1c和TR1d的可见性标志为“0”。三角形图块TR2a、TR2d和TR2e的可见性标志为“1”，而三角形图块TR2b和TR2c的可见性标志为“0”。三角形图块TR1a至TR1e以及三角形图块TR2a至TR2e中的“1”或“0”表示可见性标志。由于细分处理，遮挡的边界也是可见性标志“1”与“0”之间的边界。

图19是示出三角形图块细分处理的过程的图。

图19的A示出了细分处理之前的状态。

如图19的B中所示，网格细分单元81基于由可见性确定单元46执行的可见性确定处理的结果，在可见性标志之间的边界处划分从网格处理单元44提供的三角形图块。

接下来，如图19的C中所示，网格细分单元81确定是否包括不是三角形的多边形作为从网格处理单元44提供的三角形图块的划分结果。在包括不是三角形的多边形的情况下，网格细分单元81连接多边形的顶点以进一步将多边形划分为三角形。

当多边形被划分时，如图19的D中所示，所有图块都变成三角形图块，并且三角形图块之间的边界也成为可见性标志“1”与“0”之间的边界。

图20是三角形图块细分处理的流程图。

首先，在步骤S81中，网格细分单元81基于由可见性确定单元46执行的可见性确定处理的结果，在可见性标志之间的边界处划分从网格处理单元44提供的三角形图块。

在步骤S82中，网格细分单元81确定在已经在可见性标志之间的边界处划分了三角形图块之后的状态中是否包括不是三角形的多边形。

如果在步骤S82中确定包括不是三角形的多边形，则处理进行到步骤S83，并且网格细分单元81连接不是三角形的多边形的顶点以进一步划分多边形，使得不是三角形的多边形被划分成三角形。

另一方面，如果在步骤S82中确定不包括不是三角形的多边形，则跳过步骤S83的处理。

在在可见性标志之间的边界处进行划分之后不包括不是三角形的多边形的情况下(在步骤S82中确定为否的情况下)，或者在步骤S83的处理之后，细分之后的网格数据被提供给可见性确定单元46和打包单元47，并且细分处理结束。可见性确定单元46针对细分之后的网格数据生成可见性信息。可见性确定单元46和网格细分单元81可以由一个块构成。

根据生成装置22的修改例，可见性标志“1”与“0”之间的边界与三角形图块之间的边界一致，这使得可以更准确地反映成像装置21的纹理图像中的可见性，从而提高在再现侧生成的对象图像的图像质量。

在以上描述中，在图像处理***1中，生成装置22针对作为对象的三维形状的网格数据的每个三角形图块生成可见性标志，并将包含可见性信息的网格数据提供给再现装置25。因此，再现装置25无需确定从分发侧发送的每个成像装置21的纹理图像(准确地说是校正后的纹理图像)是否能够用于粘贴显示对象的颜色信息(R、G和B值)。在在再现侧上执行可见性确定处理的情况下，需要生成深度图像并且根据深度信息确定在成像装置21的成像范围内是否捕获对象。这涉及大量的计算并且使得处理变得繁重。将包含可见性信息的网格数据提供给再现装置25使得再现侧不需要生成深度图像并且确定可见性，并且可以显著降低处理负荷。

此外，在在再现侧上确定可见性的情况下，需要获得所有对象的3D数据，并且无法增加或减少成像时对象的数目。在该处理中，可见性信息是已知的，并且可以增加或减少对象的数目。例如，可以减少对象的数目并且仅选择和绘制必要的对象，或者添加和绘制在成像时不存在的对象。常规地，在以与成像时不同的对象配置进行绘制的情况下，需要多次执行对绘制缓冲器的写入。然而，在该处理中，不需要写入中间绘制缓冲器。

注意，在上述示例中，每个成像装置21的纹理图像(校正后的纹理图像)在没有压缩编码的情况下被发送到再现侧。替选地，纹理图像可以由视频编解码器压缩然后发送。

此外，在上述示例中，被摄体的3D模型的3D形状数据作为由多边形网格表示的网格数据被发送，但是3D形状数据可以是其他数据格式。例如，3D形状数据可以是诸如点云或深度图之类的数据格式，并且可以在添加了可见性信息的情况下发送3D形状数据。在这种情况下，可以针对每个点或像素添加可见性信息。

此外，在上述示例中，可见性信息由指示是否捕获到整个三角形图块的两个值(“0”或“1”)表示，但是可见性信息可以由三个或更多个值来表示。例如，可见性信息可以由两个位(四个值)表示，例如，在捕获到三角形图块的三个顶点的情况下为“3”，在捕获到两个顶点的情况下为“2”，在捕获到一个顶点的情况下为“1”，在所有顶点都被隐藏的情况下为“0”。

<11.计算机的配置示例>

上述一系列处理不仅可以由硬件执行，而且可以由软件执行。在通过软件执行一系列处理的情况下，将构成软件的程序安装在计算机中。这里，计算机例如包括结合在专用硬件中的微型计算机或者能够利用安装在其中的各种程序执行各种功能的通用个人计算机。

图21是示出根据程序执行上述一系列处理的计算机的硬件的配置示例的框图。

在计算机中，中央处理单元(CPU)301、只读存储器(ROM)302和随机存取存储器(RAM)303通过总线304互相连接。

总线304还与输入/输出接口305连接。输入/输出接口305与输入单元306、输出单元307、存储单元308、通信单元309以及驱动器310连接。

输入单元306包括键盘、鼠标、麦克风、触摸面板、输入终端等。输出单元307包括显示器、扬声器、输出终端等。存储单元308包括硬盘、RAM盘、非易失性存储器等。通信单元309包括网络接口等。驱动器310驱动可移动记录介质311，例如磁盘、光盘、磁光盘或半导体存储器。

为了执行上述一系列处理，如上所述配置的计算机使CPU 301例如经由输入/输出接口305和总线304将存储在存储单元308中的程序加载到RAM 303中，然后执行程序。RAM303还适当地存储CPU 301执行各种类型的处理所需的数据等。

可以通过例如将程序记录在作为封装介质的可移动记录介质311等中来提供要由计算机(CPU 301)执行的程序。此外，可以经由诸如局域网、因特网或数字卫星广播的有线或无线传输介质来提供程序。

将可移动记录介质311***驱动器310中允许计算机经由输入/输出接口305将程序安装到存储单元308中。此外，程序可以由通信单元309经由有线或无线传输介质接收并且安装在存储单元308中。另外，程序可以预先安装在ROM 302或存储单元308中。

注意，在本说明书中，流程图中描述的步骤当然可以按照描述的顺序按时间顺序执行，或者可以不必按照时间顺序进行处理。这些步骤可以并行执行，或者可以在必要的时间处例如在调用时执行。

在本说明书中，***是指一组多个部件(装置、模块(部件)等)，并且所有部件是否在同一壳体中并不重要。因此，容纳在单独的壳体中并且经由网络进行连接的多个装置以及在一个壳体中容纳有多个模块的一个装置都是***。

本技术的实施方式不限于上述实施方式，而是可以在本技术的范围内以各种方式修改。

例如，可以采用将上述多个实施方式的全部或一部分进行组合的模式。

例如，本技术可以具有云计算配置，在该云计算配置中，多个装置共享一个功能并且经由网络协作处理。

此外，上述流程图中描述的每个步骤可以由一个装置执行，或者可以由多个装置共享。

此外，在一个步骤中包括多个处理的情况下，该步骤中包括的多个处理可以由一个装置执行或可以由多个装置共享。

注意，本说明书中描述的效果仅是示例而非限制性的，并且可以获得除了本说明书中描述的效果以外的效果。

注意，本技术还可以如下所述来配置。

(1)

一种图像处理设备，包括：

确定单元，其确定在与由多个成像装置中的每一个捕获的捕获图像对应的纹理图像中是否捕获到被摄体；以及

输出单元，其将所述确定单元的确定结果添加到所述被摄体的3D模型的3D形状数据中，然后输出所述确定结果。

(2)

根据(1)所述的图像处理装置，其中，

所述被摄体的3D模型的3D形状数据是用多边形网格表示所述被摄体的3D形状的网格数据。

(3)

根据(2)所述的图像处理装置，其中，

所述确定单元针对所述多边形网格的每个三角形图块确定是否捕获到所述被摄体作为所述确定结果。

(4)

根据(2)或(3)所述的图像处理装置，其中

所述输出单元通过将所述确定结果存储在所述多边形网格的法线向量信息中来将所述确定结果添加到所述3D形状数据中。

(5)

根据(1)至(4)中任一项所述的图像处理装置，其中，

所述纹理图像是对由所述成像装置捕获的捕获图像的镜头失真和颜色进行了校正的图像。

(6)

根据(1)至(5)中任一项所述的图像处理装置，还包括：

深度图生成单元，其通过使用相机参数和与所述多个成像装置对应的多个纹理图像来生成深度图，

其中，所述确定单元通过使用所述深度图的深度值生成所述确定结果。

(7)

根据(1)至(6)中任一项所述的图像处理装置，还包括：

细分单元，其以如下方式划分三角形图块，该方式使得指示是否捕获到所述被摄体的确定结果之间的边界与所述被摄体的3D模型的三角形图块之间的边界一致。

(8)

根据(1)至(7)中任一项所述的图像处理装置，还包括：

图像发送单元，其发送相机参数以及与所述成像装置的捕获图像对应的纹理图像。

(9)

一种图像处理方法，包括：

由图像处理装置确定在与由多个成像装置中的每一个捕获的捕获图像对应的纹理图像中是否捕获到被摄体，并且将确定结果添加到所述被摄体的3D模型的3D形状数据中，然后输出所述确定结果。

(10)

一种图像处理设备，包括：

绘制处理单元，其基于包含确定结果的3D形状数据来生成被摄体的3D模型的图像，所述包含确定结果的3D形状数据是添加了确定结果的所述3D模型的3D形状数据，所述确定结果指示在纹理图像中是否捕获到所述被摄体。

(11)

根据(10)所述的图像处理装置，还包括：

相机选择单元，其从N个成像装置中选择M(M≤N)个成像装置，并且获取与所述M个成像装置对应的M个纹理图像，

其中，所述绘制处理单元参考所述确定结果，从所述M个纹理图像中选择捕获到所述被摄体的K(K≤M)个纹理图像。

(12)

根据(11)所述的图像处理装置，其中，

所述绘制处理单元通过将所述K个纹理图像中的L(L≤K)个纹理图像的颜色信息进行混合来生成所述3D模型的图像。

(13)

根据(10)至(12)中任一项所述的图像处理装置，还包括：

分离单元，其将所述包含确定结果的3D形状数据分离为所述确定结果和所述3D形状数据。

(14)

一种图像处理方法，包括：

由图像处理装置基于包含确定结果的3D形状数据来生成被摄体的3D模型的图像，所述包含确定结果的3D形状数据是添加了确定结果的所述3D模型的3D形状数据，所述确定结果指示在纹理图像中是否捕获到所述被摄体。

附图标记列表

1图像处理***，21成像装置，22生成装置，23分发服务，25再现装置，26显示装置，27观看位置检测装置，41失真/颜色校正单元，44网格处理单元，45深度图生成单元，46可见性确定单元，47打包单元，48图像发送单元，61解包单元，62相机选择单元，63绘制处理单元，81网格细分单元，301 CPU，302 ROM，303 RAM，306输入单元，307输出单元，308存储单元，309通信单元，310驱动器

Claims (14)

1.一种图像处理装置，包括：

确定单元，其确定在与由多个成像装置中的每一个捕获的捕获图像对应的纹理图像中是否捕获到被摄体；以及

输出单元，其将所述确定单元的确定结果添加到所述被摄体的3D模型的3D形状数据中，然后输出所述确定结果。

2.根据权利要求1所述的图像处理装置，其中，

所述被摄体的3D模型的3D形状数据是用多边形网格表示所述被摄体的3D形状的网格数据。

3.根据权利要求2所述的图像处理装置，其中，

所述确定单元针对所述多边形网格的每个三角形图块确定是否捕获到所述被摄体作为所述确定结果。

4.根据权利要求2所述的图像处理装置，其中，

所述输出单元通过将所述确定结果存储在所述多边形网格的法线向量信息中来将所述确定结果添加到所述3D形状数据中。

5.根据权利要求1所述的图像处理装置，其中，

所述纹理图像是对由所述成像装置捕获的捕获图像的镜头失真和颜色进行了校正的图像。

6.根据权利要求1所述的图像处理装置，还包括：

深度图生成单元，其通过使用相机参数和与所述多个成像装置对应的多个纹理图像来生成深度图，

其中，所述确定单元通过使用所述深度图的深度值生成所述确定结果。

7.根据权利要求1所述的图像处理装置，还包括：

细分单元，其以如下方式划分三角形图块，该方式使得指示是否捕获到所述被摄体的确定结果之间的边界与所述被摄体的3D模型的三角形图块之间的边界一致。

8.根据权利要求1所述的图像处理装置，还包括：

图像发送单元，其发送相机参数以及与所述成像装置的捕获图像对应的纹理图像。

9.一种图像处理方法，包括：

由图像处理装置确定在与由多个成像装置中的每一个捕获的捕获图像对应的纹理图像中是否捕获到被摄体，以及将确定结果添加到所述被摄体的3D模型的3D形状数据中，然后输出所述确定结果。

10.一种图像处理装置，包括：

绘制处理单元，其基于包含确定结果的3D形状数据来生成被摄体的3D模型的图像，所述包含确定结果的3D形状数据是添加了确定结果的所述3D模型的3D形状数据，所述确定结果指示在纹理图像中是否捕获到所述被摄体。

11.根据权利要求10所述的图像处理装置，还包括：

相机选择单元，其从N个成像装置中选择M(M≤N)个成像装置，并且获取与所述M个成像装置对应的M个纹理图像，

其中，所述绘制处理单元参考所述确定结果，从所述M个纹理图像中选择捕获到所述被摄体的K(K≤M)个纹理图像。

12.根据权利要求11所述的图像处理装置，其中，

所述绘制处理单元通过将所述K个纹理图像中的L(L≤K)个纹理图像的颜色信息进行混合来生成所述3D模型的图像。

13.根据权利要求10所述的图像处理装置，还包括：

分离单元，其将所述包含确定结果的3D形状数据分离为所述确定结果和所述3D形状数据。

14.一种图像处理方法，包括：

由图像处理装置基于包含确定结果的3D形状数据来生成被摄体的3D模型的图像，所述包含确定结果的3D形状数据是添加了确定结果的所述3D模型的3D形状数据，所述确定结果指示在纹理图像中是否捕获到所述被摄体。

Images