CN111033571A - 图像处理设备和图像处理方法 - Google Patents

Abstract

本技术涉及在对多个3D对象进行建模时能够减少处理负荷的图像处理设备和图像处理方法。3D重建设备包括3D模型生成部，该3D模型生成部针对每个对象获取指示对象的3D区域的对象空间信息并且针对每个对象空间生成对象的3D模型。例如，本技术可以应用到用于生成3D模型的图像处理设备等。

Description

图像处理设备和图像处理方法

技术领域

本技术涉及图像处理设备和图像处理方法，并且更具体地涉及使得可以减少对多个3D对象进行建模时的处理负荷的图像处理设备和图像处理方法。

背景技术

针对对三维(3D)对象进行建模已经提出了各种建模技术。

例如，PTL 1公开了一种建模装置和方法，其中，通过对包围体进行分层建模来提高三维图像的建模速度。

此外，例如，PTL 2公开了一种三维建模方法，该三维建模方法包括通过使用由多个相机从不同方向获取的多个深度图像来创建三维形状。深度图像是其中到对象的距离信息被存储为像素值的图像。

引文列表

专利文献

PTL 1：日本未审查专利申请公开第2007-220121号

PTL 2：日本未审查专利申请公开第2004-302524号

发明内容

本发明要解决的问题

在对多个3D对象进行建模的情况下，由于处理负荷变大，因此期望减少处理负荷的方法以实现高速建模。

鉴于以上情况而进行本技术，并且本技术能够在对多个3D对象进行建模时减少处理负荷。

解决问题的手段

根据本技术的一方面的图像处理设备包括3D模型生成器，该3D模型生成器针对每个对象获取指示对象的3D区域的对象空间信息并且为每个对象空间生成对象的3D模型。

根据本技术的一方面的图像处理方法由图像处理设备来执行，并且该方法包括针对每个对象获取指示对象的3D区域的对象空间信息并且针对每个对象空间生成对象的3D模型。

在本技术的一方面中，针对每个对象获取指示对象的3D区域的对象空间信息，并且针对每个对象空间生成对象的3D模型。

应当注意，可以通过使计算机执行程序来实现根据本技术的一方面的图像处理设备。

为了实现根据本技术的一方面的图像处理设备，通过经由传输介质传输或在记录介质上记录，可以提供要由计算机执行的程序。

图像处理设备可以是独立设备或者可以是单个设备中包括的内部块。

本发明的有益效果

根据本技术的一方面，当以高速对多个3D对象进行建模时可以减少处理负荷。

应当注意，本文所描述的效果不一定是限制性的，并且可以提供在本公开内容中描述的效果中的任何效果。

附图说明

[图1]图1是用于说明应用本技术的图像处理***的概述的图。

[图2]图2是用于说明3D模型数据的数据格式的图。

[图3]图3是示出应用本技术的图像处理***的配置示例的框图。

[图4]图4是示出根据第一实施方式的3D重建设备的配置示例的框图。

[图5]图5是用于说明轮廓图像的生成的图。

[图6]图6是示出表示对象的全局位置信息的边界框的图。

[图7]图7是用于说明确定对象的3D模型的体素尺寸的方法的图。

[图8]图8是用于说明确定对象的3D模型的体素尺寸的方法的图。

[图9]图9是用于说明根据第一实施方式的3D重建处理的流程图。

[图10]图10是示出根据第一实施方式的3D重建设备的修改示例的框图。

[图11]图11是示出根据第二实施方式的3D重建设备的配置示例的框图。

[图12]图12是用于说明虚拟相机的视听范围的内部的图。

[图13]图13是示出遮挡对象的处理的图。

[图14]图14是用于说明根据第二实施方式的3D重建处理的流程图。

[图15]图15是示出根据第三实施方式的3D重建设备的配置示例的框图。

[图16]图16是用于说明对象的对象ID和全局位置信息的图。

[图17]图17是用于说明根据第三实施方式的3D重建处理的流程图。

[图18]图18是用于说明根据第一实施方式至第三实施方式的3D重建设备的建模方法的图。

[图19]图19是示出应用本技术的图像处理***的另一配置示例的框图。

[图20]图20是用于说明由选择设备执行的处理的图。

[图21]图21是用于说明由选择设备执行的处理的图。

[图22]图22是示出分发处理的流程图。

[图23]图23是示出再现处理的流程图。

[图24]图24是示出应用本技术的计算机的配置示例的框图。

[图25]图25是示出车辆控制***的示意性配置的示例的框图。

[图26]图26是车外信息检测部和成像部的安装位置的示例的示图。

具体实施方式

下面描述用于实现本技术的示例(以下将称为实施方式)。将按照以下顺序进行描述。

1.图像处理***的概述

2.图像处理***的配置示例

3.根据第一实施方式的3D重建设备

4.第一实施方式的修改示例

5.根据第二实施方式的3D重建设备

6.根据第三实施方式的3D重建设备

7.第一实施方式至第三实施方式的总结

8.图像处理***的其他配置示例

9.分发处理和再现处理

10.以多纹理几何格式以外的数据格式执行传送的情况

11.向多个用户进行传送的情况

12.计算机配置示例

13.应用示例

[1.图像处理***的概述]

首先，参照图1和图2，将描述应用本技术的实施方式的图像处理***的概述。

应用了本技术的实施方式的图像处理***包括：分发侧，其从通过利用多个成像设备成像而获得的拍摄图像生成对象的3D模型并且对该3D模型进行分发；再现侧，其接收从分发侧传送的3D模型并且再现并显示3D模型。

在分发侧，通过利用多个成像设备从其***对预定的拍摄空间进行成像来获得多个拍摄图像。拍摄图像包括例如运动图像。如图1所示，拍摄空间可以是室外(例如足球场)，也可以是室内。

每个成像设备包括距离测量设备，并且除了能够测量被摄体(subject)的纹理信息之外，还能够测量到被摄体的距离。此外，从来自不同方向的多个成像设备获得的拍摄图像和多条距离信息用于生成为拍摄空间中的显示目标的对象的多个3D模型。出于以下原因，对象的3D模型生成被称为3D模型重建：针对单个对象根据由多个成像设备获得的多个拍摄图像和距离信息总结出重叠区域的纹理信息和距离信息；以及通过补充由另一成像设备获得的纹理信息和距离信息来重建在一个成像设备中成为盲点的区域的纹理信息和距离信息。

在图1中，例如，在足球场的场地中设置了拍摄空间的示例中，通过布置在作为场地的***的支架侧上的多个成像设备来对场地上的运动员等成像。通过重建3D模型，例如，将场地上的运动员、裁判、足球等提取为对象，并且为每个对象生成(重建)3D模型。

通过利用所述多个成像设备进行成像而获得的拍摄图像被存储在预定存储设备中。通过使用存储在存储设备中的不同方向的多个拍摄图像来获得每个对象的3D模型的数据(下文也称为3D模型数据)。稍后将参照图2描述3D模型数据的数据格式。

响应于来自再现侧的请求来传送存在于拍摄空间中的大量对象中的一个或更多个对象的(一个或更多个)3D模型，并且将该(一个或更多个)3D模型再现并显示在再现侧上。

再现侧还可以从存在于拍摄空间中的大量对象中仅请求视听目标的对象，并且使显示设备显示该对象。例如，再现侧假设其中视听者的视听范围是拍摄区域的虚拟相机，从拍摄空间中存在的大量对象中仅请求由虚拟相机捕获的对象，并且使显示设备显示该对象。可以将虚拟相机的视点设置为任何位置，使得视听者能够从现实世界中的任何视点观看场地。

图2示出了3D模型数据的数据格式的示例。

3D模型数据可以采用各种数据格式。

一种数据格式是如下形式：其中，对象的几何信息(形状信息)由对象的三维位置处的一组点(点云)表示并且对应于各个点保存对象的颜色信息。在该格式中，针对一个对象保存一条几何信息和一条颜色信息。在本实施方式中，该格式被描述为点云格式。

数据格式的另一种形式是如下形式：其中对象的几何信息由类似于上述点云格式的一组点(点云)或称为多边形网格的顶点之间的连接来表示，并且对象的颜色信息被保存在由每个成像设备捕获的拍摄图像(二维纹理图像)中。对于一种对象，该格式保存包括一条几何信息和数目等于成像设备的数目的拍摄图像(二维纹理图像)的颜色信息。在本实施方式中，该格式被描述为多纹理几何格式。

数据格式的另一形式是如下形式：其中对象的几何信息由多边形网格表示，并且对象的颜色信息与每个多边形网格相关联地被保存。用作要附加至每个多边形网格的颜色信息的二维纹理图像由UV坐标系表示。对于一个对象，该格式保存包括一条几何信息和一个二维纹理图像的颜色信息。在本实施方式中，该格式被描述为UV纹理几何格式。UV纹理几何格式是由MPEG-4AFX(动画框架扩展)标准化的格式。

数据格式的又一形式是如下形式：其中对象的几何信息由与每个成像设备捕获的拍摄图像相对应的距离信息表示；并且对象的颜色信息被保存在由每个成像设备捕获的拍摄图像(二维纹理图像)中。在与每个成像设备捕获的拍摄图像相对应的距离信息中，采用深度图像，在深度图像中，深度方向上的到被摄体的的距离与拍摄图像的每个像素相关联地被存储为深度值。对于一个对象，这种格式保存颜色信息，该颜色信息包括：包括数目等于成像设备的数目的深度图像的几何信息；以及数目等于成像设备的数目的拍摄图像(二维纹理图像)。在本实施方式中，该格式被描述为多纹理深度格式。多纹理深度格式的优点在于，当传送3D模型数据时，可以原样使用AVC(高级视频编码)方法、HEVC(高效视频编码)方法等作为编码方法，并且可以高效地压缩3D模型数据。

点云格式和UV纹理几何格式是与视图无关的格式，其中无论虚拟相机的位置(虚拟视点)如何，颜色信息都是相同的。

相比之下，多纹理几何格式和多纹理深度格式是依赖视图的格式，其中颜色信息可以根据虚拟相机的位置(虚拟视点)而变化。

在如上所述的3D模型数据的各种数据格式中，要采用的数据格式是可选的。再现侧可以指定数据格式，或者分发侧可以确定数据格式。此外，可以针对每个应用预先确定数据格式。

[2.图像处理***的配置示例]

图3是示出应用了本技术的图像处理***的配置示例的框图。

根据参照图1描述的分发侧，图3所示的图像处理***10包括：成像设备21-1至21-N(N＞1)、存储设备22、3D重建设备(图像处理设备)23、编码设备24和传送/接收设备25。

此外，根据参照图1描述的再现侧，图像处理***10包括再现设备27和显示设备28。分经由网络26耦接发侧的传送/接收设备25和再现侧的再现设备27。

成像设备21(成像设备21-1至21-N)布置在预定拍摄空间的外周上的预定位置处，对拍摄空间进行成像，将所得到的运动图像提供给存储设备22，并且使运动图像存储在存储设备22中。

成像设备21配备有距离测量设备，该距离测量设备除了能够测量被摄体的纹理图像(纹理信息)之外，还能够测量到被摄体的距离，还从与纹理图像相同的视点生成深度图像的运动图像，并且将运动图像提供给存储设备22。

成像设备21-1至21-N中的每一个位于不同的位置，并且从与另一成像设备21不同的方向对拍摄空间成像。已知每个成像设备21在世界坐标系上的位置，并且每个成像设备21的相机参数(外部参数和内部参数)也被提供给存储设备22。

在准备将对象的3D模型传送至再现侧的过程中，成像设备21在不存在可移动对象的状态下捕获拍摄空间的图像作为背景图像，并且将所捕获的图像存储在存储设备22中。背景图像不一定必须是运动图像，而可以是静止图像。因此，数目等于成像设备21的数目(N)的背景图像被存储在存储设备22中。

存储设备22存储拍摄空间中的、多个成像设备21的每一个中获得的纹理图像和深度图像的运动图像。存储设备22还存储数目等于成像设备21的数目(N)的背景图像以及各个成像设备21的相机参数。在下文中，由多个成像设备21中的每一个捕获的运动图像中包括的纹理图像可以被描述为与预先捕获的背景图像有区别的前景图像。

3D重建设备23通过使用拍摄空间中在多个成像设备21的每一个中获得并存储在存储设备22中的纹理图像和深度图像的运动图像，为存在于拍摄空间中的大量对象的每一个生成3D模型，并且将生成的每个对象的3D模型的数据提供给编码设备24。

在本实施方式中，拍摄空间中在由多个成像设备21捕获的运动图像上显示的被摄体中的哪个被摄体被用作要生成3D模型的目标对象都没有关系。可以以任何方式确定目标的对象。显示在运动图像上的预定对象被确定为对象并且与其他对象适当地分离，并且生成3D模型。

在图像处理***10中，可以从再现设备27传送指示用户在拍摄空间中的视听范围的信息和指示用户感兴趣的对象的信息作为用户的视听信息。在这种情况下，3D重建设备23获取经由传送/接收设备25从再现设备27传送的用户的视听信息，根据用户的视听信息生成对象的3D模型，并且将每个生成的对象的3D模型提供给编码设备24。用户的视听信息在图像处理***10中不是必不可少的，并且再现设备27可以不必将视听信息传送至3D重建设备23。

编码设备24通过预定的编码方案(例如，AVC方案、HEVC方案等)对从3D重建设备23提供的预定对象的3D模型数据进行编码。通过编码获得的3D模型的编码流被提供给传送/接收设备25。

传送/接收设备25经由网络26将从编码设备24提供的3D模型的编码流传送至再现设备27。在从再现设备27传送用户的视听信息的情况下，传送/接收设备25将用户的视听信息提供给3D重建设备23。

应当注意，存储设备22、3D重建设备23、编码设备24以及分发侧的传送/接收设备25可以单独地配置，或者可以具有其中集成了两个或更多个设备的配置。例如，如图3中的虚线所示，存储设备22、3D重建设备23、编码设备24和传送/接收设备25可以配置一个分发设备。存储设备22、3D重建设备23、编码设备24和传送/接收设备25分别配置分发设备的存储装置、3D重建部、编码器和传送器/接收器。

网络26包括例如互联网、电话网络、卫星通信网络以及诸如各种LAN(局域网)、WAN(广域网)的专线网络或包括以太网(注册商标)的IP-VPN(互联网协议-虚拟专用网络)。

再现设备27包括传送器/接收器41、解码器42、绘制部43、虚拟视点检测器44和输入部45。

再现设备27的传送器/接收器41接收(获取)通过对从传送/接收设备25提供的每个对象的3D模型数据进行编码而获得的编码流，并且将该编码流提供给解码器42。

解码器42以与编码设备24中的编码方案相对应的方案对从传送器/接收器41提供的编码流进行解码。解码器42将通过解码获得的一个或更多个对象的3D模型数据提供给绘制部43。

绘制部43基于从解码器42提供的一个或更多个对象的3D模型数据从虚拟相机的视点生成对象的图像(对象图像)作为显示图像，并且将对象图像提供给显示设备28。绘制部43通过虚拟视点检测器44被提供以指示基于虚拟相机的视点的视听范围的虚拟相机视听范围信息，并且通过将从解码器42提供的一个或更多个对象的(一个或更多个)3D模型的视点投影到虚拟相机的视听范围上来生成从虚拟相机的视点来看的对象的图像。虚拟相机的视听范围对应于用户(视听者)的视点处的视听范围，并且指示基于虚拟相机的视点的视听范围的虚拟相机视听范围信息是用户的视听信息的示例。

注意，在再现设备27中，除了每个对象的3D模型数据之外，还预先从3D重建设备23传送背景图像，并且绘制部43生成其中每个对象的图像叠加在背景图像上的显示图像，并且将显示图像提供给显示设备28。

虚拟视点检测器44检测虚拟相机的视点，生成指示基于虚拟相机的视点的视听范围的虚拟相机视听范围信息，并且将虚拟相机视听范围信息提供给绘制部43。例如，虚拟视点检测器44通过捕获附加至用作显示设备28的头戴式显示器的标记等的图像来检测用户的视听位置或视听范围。

输入部45包括输入设备，例如控制器或鼠标。输入部45例如从视听者接收视听位置的指令，作为显示目标的对象的视听者的指定等。由输入部45接收的各种类型的输入信息根据需要被提供给再现设备27中的各个部。可以基于由输入部45接收的用户的指示来确定用户的视听位置和视听范围。

显示设备28包括例如二维头戴式显示器(HMD)、二维监视器等。显示设备28二维地显示由绘制部43提供的显示图像。

显示设备28还可以包括三维头戴式显示器、三维监视器等。在这种情况下，除了显示图像之外，绘制部43还将深度图像提供给显示设备28，并且显示设备28基于由绘制部43提供的显示图像和深度图像来三维地显示显示图像。

在如上所述配置的图像处理***10中，3D重建设备23通过使用通过多个成像设备21中的每一个对拍摄空间进行成像而获得并且存储在存储设备22中的运动图像，为拍摄空间中存在的大量对象中的每一个生成3D模型。所生成的对象的3D模型的数据经由编码设备24和传送/接收设备25被传送至再现设备27。

当生成要传送至再现设备27的对象的3D模型时，3D重建设备23根据对象在拍摄空间中的位置、用户的关注程度等来确定3D模型的分辨率，特别是体素尺寸，并且生成3D模型。

再现设备27获取以针对每个对象设置的分辨率传送的对象的3D模型数据，基于获取的对象的3D模型数据生成对象图像，并且将对象图像显示在显示设备28上。

本发明通过以对象为单位生成并传送3D模型数据而不是传送在分发侧和再现侧处的整个拍摄空间的3D模型数据，从而在确保视听者观看的对象图像的图像质量的同时，实现了再现侧处的处理负荷的减少和传送频带的减小。

在本说明书中，仅图像信息被描述为从分发侧向再现侧传送的传输数据数据，并且省略了音频信息的描述，然而，还传送与运动图像相对应的音频信息。

在下文中，作为由3D重建设备23生成的3D模型的数据格式，将描述参照图2描述的四种数据格式中的多纹理几何格式的生成。

除了将体素尺寸确定为3D模型的分辨率外，还必须以多纹理几何格式确定对象的几何信息是由点云还是由多边形网格表示。

尽管稍后将描述其他数据格式，但是在点云格式中，由于对象的几何信息由点云表示，因此仅将体素尺寸确定为3D模型的分辨率。类似地，在UV纹理几何格式和多纹理深度格式中，由于对象的几何信息由多边形网格表示，因此仅将体素尺寸确定为3D模型的分辨率。

[3.根据第一实施方式的3D重建设备]

[3D重建设备的框图]

图4是示出根据第一实施方式的3D重建设备23的配置示例的框图。

3D重建设备23包括前景/背景分离器61、对象跟踪部62和3D模型生成器63。

前景/背景分离器61从存储设备22获取分别由多个成像设备21捕获的背景图像。此外，前景/背景分离器61从存储设备22获取用作分别由所述多个成像设备21捕获的前景图像的纹理图像。尽管在图4中未示出，但是前景/背景分离器61获取深度图像以及纹理图像。

前景/背景分离器61通过使用分别由多个成像设备21捕获的前景图像和背景图像来生成轮廓图像，并且将轮廓图像提供给3D模型生成器63。具体地，如图5的示例中所示，前景/背景分离器61生成作为轮廓图像的图像，在该图像中在前景图像与背景图像的对应像素之间计算出前景图像与背景图像之间的差。前景/背景分离器61生成分别与多个成像设备21的前景图像相对应的多个轮廓图像，并且将所述多个轮廓图像提供给3D模型生成器63。

对象跟踪部62从存储设备22获取分别由所述多个成像设备21捕获的用作前景图像的纹理图像以及分别与纹理图像相对应的深度图像。对象跟踪部62还从存储设备22获取各个成像设备21的相机参数。

对象跟踪部62使用各个成像设备21的相机参数、分别由成像设备21捕获的用作前景图像的纹理图像以及分别与纹理图像相对应的深度图像，并且检测在前景图像中包括的每个对象的全局位置信息。每个对象的全局位置信息例如由包围全局坐标系中的每个对象的边界框定义。

图6示出了由边界框102-1至102-3表示拍摄空间101中的三个对象的多条全局位置信息的状态。

此外，在每个对象在拍摄空间中移动的情况下，对象跟踪部62还跟踪对象的移动并且检测移动后的每个对象的全局位置信息。可以仅使用背景图像、纹理图像和深度图像的图像信息(包括距离信息)来跟踪对象在拍摄空间中的全局位置，或者根据需要可以通过将移动检测传感器(例如GPS传感器或加速度传感器)附连到拍摄空间中的对象上使用从对象传送的传感器信息进行跟踪。在本实施方式中，可以使用识别和跟踪对象的全局位置的任何方法。

对象跟踪部62将检测到的每个对象的全局位置信息提供给3D模型生成器63。

3D模型生成器63包括参数确定部81、3D数据生成器82和网格转换器83。3D模型生成器63针对每个对象获取指示拍摄空间中的对象的3D区域的对象空间信息，为每个对象空间确定对象的3D模型，并且生成3D模型数据。

参数确定部81从对象跟踪部62获取每个对象的全局位置信息作为指示拍摄空间中的对象的3D区域的对象空间的信息。此外，参数确定部81从存储设备22获取各个成像设备21的相机参数。

参数确定部81基于所获取的每个对象的全局位置信息和所获取的各个成像设备21的相机参数，来确定当通过多纹理几何格式生成每个对象的3D模型数据时的参数。

具体地，参数确定部81确定当生成对象的3D模型时的体素尺寸，并且将结果提供给3D数据生成器82。

参数确定部81确定将对象的几何信息表示为点云还是多边形网格，并且将由网格标志表示的结果提供给3D数据生成器82。在对象的几何信息由点云表示的情况下，将网格标志设置为“0”，并且在对象的几何信息由多边形网格表示的情况下，网格标志被设置为“1”。

参照图7和图8，将描述确定对象的3D模型的体素尺寸的方法。

例如，如图7所示，将在拍摄空间中存在三个对象111-1至111-3的情况下进行描述，其中对象111-3是用于生成3D模型的建模目标。

成像设备21-1和21-2均可以对三个对象111-1至111-3进行成像。

首先，参数确定部81确定在对对象111-3进行成像的多个成像设备21中距作为建模目标的对象111-3的距离最接近的成像设备21。由于各个成像设备21的相机参数和每个对象的全局位置信息是已知的，因此可以确定与对象111-3具有最近距离的成像设备21。

在图7的示例中，当将从成像设备21-1到对象111-3的距离121-1与从成像设备21-2到对象111-3的距离121-2进行比较时，距离121-2更短；因此，成像设备21-2被确定为与对象111-3具有最近距离的成像设备21。确定的成像设备21-2也被称为体素计算成像设备。

当确定具有距对象111-3最近距离的成像设备21-2时，如图8所示，参数确定部81确定与在对象111-3的位置处的成像设备21-2的1(一个)像素相对应的尺寸，并且将该尺寸设置为体素尺寸。由于对象111-3的全局位置信息和成像设备21-2的相机参数是已知的，因此可以计算与成像设备21-2的一个像素相对应的尺寸。例如，当成像设备21-2的拍摄图像的水平方向(横向)上的像素数是1920个像素时，成像设备21-2的F值是1300，并且从成像设备21-2到对象111-3的距离(深度方向上的距离)为15m，对应于一个像素的尺寸为10mm。因此，对象111-3的体素尺寸被确定为10mm。

从用作建模目标的对象111-3到用作体素计算成像设备的成像设备21-2的距离越近，设置的体素尺寸越小。

接下来，将描述确定对象111-3的网格标志的方法。

参数确定部81将从具有距对象111-3的最近距离的成像设备21-2到对象111-3的距离与预定阈值进行比较，如果该距离在预定阈值之内，则将网格标志设置为“1”，并且如果该距离大于预定阈值，则将网格标志设置为“0”。

也就是说，如果从具有距对象111-3最近距离的成像设备21-2到对111-3的距离在预定阈值内，则参数确定部81确定在多边形网格中表示对象的几何信息，并且如果该距离大于预定阈值，则在点云中表示距离的几何信息。

例如，当将用于将网格标志设置为“1”或“0”的阈值设置为“30m”时，在从成像设备21-2到对象111-3的距离为15m的情况下，在图8所示的示例中，将网格标志设置为“1”，并且对象的几何信息由多边形网格表示。当执行网格划分时，数据量变得大于点云中的数据量，并且增加了处理负荷，但是图像质量得到改善。

如上所述，参数确定部81基于已经对建模目标的对象111-3成像的成像设备21和建模目标的对象111-3的位置信息，确定建模目标的对象的3D模型的参数，并且将参数提供给3D数据生成器82。

返回至图4，从参数确定部81将建模目标的每个对象的3D模型的参数提供给3D数据生成器82，并且还提供每个对象的全局位置信息、每个成像设备21的相机参数以及每个成像设备21捕获的前景图像(纹理图像)。

3D数据生成器82通过使用从前景/背景分离器61提供的轮廓图像、从参数确定部81提供的对象的3D模型的参数等来生成每个对象的3D模型。由3D数据生成器82生成的对象的3D模型数据的数据格式是多纹理几何格式，其中对象的几何信息由点云表示，并且对象的颜色信息由每个成像设备21捕获的拍摄图像(二维纹理图像)表示。

3D数据生成器82通过使用建模目标的对象的多个轮廓图像来确定从对象跟踪部62提供的对象空间中的视觉外壳，从而生成每个对象的3D模型(3D模型的数据)。视觉外壳是沿不同方向(产品设置空间)获得的多个轮廓图像的交集，并且可以通过确定多个轮廓图像的视觉外壳来生成对象的3D模型。从对象跟踪部62提供的对象空间是相对于建模目标的对象由从对象跟踪部62提供的边界框定义的空间。

在由前景/背景分离器61提供的对象的3D模型的参数的网格标志为“0”的情况下，3D数据生成器82以点云的形式输出生成的每个对象的3D模型数据。也就是说，3D数据生成器82将生成的每个对象的3D模型数据原样提供给编码设备24。

另一方面，在由前景/背景分离器61提供的对象的3D模型的参数的网格标志为“1”的情况下，3D数据生成器82以网格的形式输出生成的每个对象的3D模型数据。也就是说，3D数据生成器82将生成的每个对象的3D模型数据提供给网格转换器83，将生成的每个对象的3D模型数据转换成网格，并且输出网格。

网格转换器83执行网格转换处理，该网格转换处理将由3D数据生成器82提供的每个对象的3D模型数据的点云所表示的对象的几何信息转换成多边形网格。注意，作为将点云形式的几何信息转换成多边形网格的网格转换处理，例如，可以使用行进立方体法等，但是网格转换处理不限于此，并且可以采用任何方法。

网格转换器83向编码设备24提供在经过网格转换处理之后每个对象的3D模型的3D模型数据，即，对象的几何信息由多边形网格表示并且对象的颜色信息由各个成像设备21捕获的前景图像(纹理图像)表示的3D模型数据。

[第一3D重建处理]

图9是用于说明根据由3D重建设备23执行的第一实施方式的3D重建处理(第一3D重建处理)的流程图。例如，当经由网络26在3D重建设备23与作为再现显示侧的再现设备27之间建立连接时，开始处理。

首先，在步骤S11中，前景/背景分离器61从存储设备22获取由多个成像设备21分别捕获的背景图像和前景图像，并且生成与分别由多个成像设备21捕获的前景图像相对应的轮廓图像。所生成的多个轮廓图像被提供给3D模型生成器63的3D数据生成器82。

在步骤S12中，对象跟踪部62检测分别由多个成像设备21捕获的前景图像中包括的每个对象的全局位置信息，并且将全局位置信息提供给参数确定部81。例如通过在全局坐标系上围绕对象的边界框来定义对象的全局位置信息。

在步骤S13中，3D模型生成器63将包括在分别由多个成像设备21捕获的前景图像中的一个或更多个对象中的预定对象确定为用于生成3D模型的建模目标的对象。

在步骤S14中，参数确定部81确定建模目标的对象的体素尺寸，并且将结果提供给3D数据生成器82。如参照图7和图8所描述的，当从体素计算成像设备对建模目标的对象进行成像时，体素尺寸由对应于一个像素的尺寸确定，该体素计算成像设备是具有与建模目标的对象最近距离的成像设备21。

在步骤S15中，参数确定部81确定建模目标的对象的网格标志。也就是说，参数确定部81确定是在多边形网格中表示建模目标的对象的几何信息还是在点云中表示建模目标的对象的几何信息。如上所述，如果从体素计算成像设备到建模目标的对象的距离在预定阈值内，则将网格标志设置为“1”，并且如果该距离大于预定阈值，则将网格标志设置为“0”。

在步骤S16中，3D数据生成器82使用从前景/背景分离器61提供的轮廓图像、从参数确定部81提供的对象的3D模型的参数等来生成建模目标的对象的3D模型。

更具体地，3D数据生成器82通过使用多个轮廓图像确定视觉外壳，利用从对象跟踪部62提供的建模目标的对象空间作为处理对象，来生成建模目标的对象的3D模型。此处要生成的3D模型的数据格式是多纹理几何格式，其中对象的几何信息由点云表示并且对象的颜色信息由每个成像设备21捕获的前景图像表示。

在步骤S17中，3D数据生成器82确定从参数确定部81提供的网格标志是否为“1”，换句话说，确定是否由多边形网格代替点云来表示建模目标的对象的几何信息。

在步骤S17中确定网格标志为“1”的情况下，处理进行至步骤S18，并且3D数据生成器82将所生成的建模目标的对象的3D模型数据提供给网格转换器83。网格转换器83执行网格转换处理，该网格转换处理例如通过使用行进立方体法等将由点云表示的建模目标的对象的几何信息转换成多边形网格。

在步骤S19中，网格转换器83向编码设备24输出建模目标的对象的3D模型数据，其中，对象的几何信息由多边形网格表示并且对象的颜色信息由每个成像设备21捕获的前景图像表示。

另一方面，在步骤S17中确定网格标志为“0”的情况下，处理进行至步骤S20，并且3D数据生成器82将所生成的建模目标的对象的3D模型数据输出至编码设备24。在这种情况下，将对象的几何信息由点云表示并且对象的颜色信息由每个成像设备21捕获的前景图像表示的3D模型数据提供给编码设备24。

在步骤S21中，3D模型生成器63确定是否由每个成像设备21捕获的前景图像中包括的所有对象都被确定为建模目标的对象。

在步骤S21中确定还没有将所有对象确定为建模目标的对象的情况下，处理返回至步骤S13，并且重复上述步骤S13至步骤S21的处理。也就是说，将尚未确定为建模目标的对象确定为建模目标，确定3D模型的参数，并且根据确定的参数生成3D模型(3D模型的3D模型数据)并且将其提供给编码设备24。

另一方面，在步骤S21中确定所有对象已被确定为建模目标的对象的情况下，3D重建处理结束。

根据上面提及的第一3D重建处理，通过针对每个对象获取指示拍摄空间中的对象的3D区域的对象空间信息、并且使用多个轮廓图像确定视觉外壳、利用作为处理目标的建模目标的对象空间，来生成每个对象的3D区域。此时，基于已经对建模目标的对象成像的成像设备21和该对象的位置信息，针对每个对象确定3D模型的参数(具体地，网格标志和体素尺寸)。

通过将生成3D模型的目标限制为对象的对象空间而不是整个拍摄空间来生成3D模型，可以减少处理负荷并高速地执行建模。此外，可以减小向再现设备27传送时的传送频带。

此外，由于针对建模目标的每个对象确定了3D模型的参数，因此可以针对每个对象调整图像质量和负荷。

[4.第一实施方式的修改示例]

[3D重建设备的框图]

图10是示出根据第一实施方式的3D重建设备23的修改示例的框图。

在上述第一实施方式中，3D重建设备23本身通过使用分别由多个成像设备21捕获的前景图像和背景图像来生成轮廓图像。

然而，可以将由其他设备(例如，成像设备21)生成的轮廓图像提供给3D重建设备23，并且3D重建设备23可以使用所提供的轮廓图像来生成每个对象的3D模型。

图10的3D重建设备23是指示在将由其他设备生成的轮廓图像提供给3D重建设备23的情况下的配置示例的框图。

在图10中，与根据第一实施方式的图4中的配置相对应的部分由相同的附图标记表示，并且省略对其的描述。

在图10的3D重建设备23中，提供由其他设备生成的轮廓图像，从而省略前景/背景分离器61。例如，由其他设备生成的轮廓图像被临时存储在存储设备22中并且从存储设备22被提供给3D重建设备23。提供给3D重建设备23的轮廓图像被提供给3D数据生成器82。其余配置与上述第一实施方式的配置相同。

[5.根据第二实施方式的3D重建设备]

[3D重建设备的框图]

图11是示出根据第二实施方式的3D重建设备23的配置示例的框图。

此外，在示出第二实施方式的配置示例的图11中，与示出第一实施方式的配置示例的图4中的配置相对应的部分由相同的附图标记表示，并且适当地省略对这些部分的描述，并且描述与图4中的这些部分不同的部分。

第二实施方式与上述第一实施方式的不同之处在于：作为用户的视听信息，指示基于虚拟相机的视点的视听范围的虚拟相机视听范围信息经由传送/接收设备25从再现设备27被提供给3D重建设备23。虚拟相机视听范围信息包括例如虚拟相机的外部参数和内部参数、表示视锥的前夹表面的近信息和表示视锥的后夹表面的远信息。

根据第一实施方式的3D重建设备23为拍摄空间的每个对象生成3D模型。

相比之下，根据第二实施方式的3D重建设备23基于来自再现设备27的虚拟相机视听范围信息，仅为虚拟相机的视听范围中的对象生成3D模型。

3D模型生成器63仅针对用户的视听范围中包括的对象为每个对象空间确定对象的3D模型，并且生成3D模型数据。

从再现设备27传送的虚拟相机视听范围信息被提供给3D模型生成器63中包括的参数确定部81。

参数确定部81基于从对象跟踪部62提供的每个对象的虚拟相机视听范围信息和全局位置信息，在拍摄空间中包括的所有对象中选择(确定)虚拟相机的视野范围中包括的对象。

如图12所示，参数确定部81针对包括在拍摄空间中的所有对象，确定对象是否被包括在虚拟相机141的视听范围内，具体地，对象是否被包括在由阴影线表示的视锥142中。

更具体地，参数确定部81将配置对象的边界框的多条顶点信息投影到虚拟相机141的图像表面143上，并且在虚拟相机141的图像表面143中包括与每条顶点信息相对应的至少一组UV坐标的情况下，参数确定部81确定处于虚拟相机141的视听范围内。另一方面，在与配置边界框的多条顶点信息相对应的所有UV坐标未包括在虚拟相机141的图像表面143中的情况下，参数确定部81确定对象在虚拟相机141的视听范围之外。

在图12的示例中，由于在虚拟相机141的图像表面143中包括在其上投影有对象151-1的边界框152-1的投影平面153-1，因此，确定对象151-1在虚拟相机141的视听范围内。另一方面，由于虚拟相机141的图像表面143中不包括其上投影有对象151-2的边界框152-2的投影平面153-2，因此确定对象151-2在虚拟相机141的视听范围之外。在UV坐标系中表示虚拟相机141的图像表面143。

此外，如图13所示，即使在虚拟摄像机141的视听范围内，也不会为被另一对象遮挡的对象生成3D模型。

在图13的示例中，由于在其上投影有对象161-1的边界框162-1的投影平面163-1中完全包括其上投影有对象161-2的边界框162-2的投影平面，所以对象161-2被对象161-1遮挡。因此，从3D模型的建模目标中排除对象161-2。

在选择包括在虚拟相机141的视听范围中的对象之后，由3D模型生成器63执行的处理基本上与第一实施方式的处理类似。

然而，在第一实施方式中，当从体素计算成像设备对建模目标的对象进行成像时，以与一个像素相对应的尺寸来确定体素尺寸，其中具有与建模目标的对象的最近距离的成像设备21作为体素计算成像设备。

相比之下，在第二实施方式中，体素计算成像设备被虚拟相机141代替。

也就是说，参照图7和图8描述的用作体素计算成像设备的成像设备21-2被虚拟相机141代替，并且当从虚拟相机141对建模目标的对象进行成像时，体素尺寸由对应于一个像素的尺寸确定。从虚拟相机141到建模目标的对象的距离越近，体素尺寸被设置得越小。从虚拟相机141到建模目标的对象的距离对应于用户的关注程度。

此外，在从虚拟相机141到建模目标的对象的距离在预定阈值内的情况下，用多边形网格表示对象的几何信息，并且在该距离大于预定阈值的情况下，用点云表示对象的几何信息。

如上所述，参数确定部81基于作为用户的视听信息而提供的虚拟相机视听范围信息和建模目标的对象的位置信息，来确定建模目标的对象的3D模型的参数，并且将参数提供给3D数据生成器82。3D数据生成器82生成建模目标的对象的3D模型数据。

[第二3D重建处理]

图14是用于说明根据第二实施方式的由3D重建设备23执行的3D重建处理(第二3D重建处理)的流程图。例如，当经由网络26在3D重建设备23与作为再现显示侧的再现设备27之间建立连接时，开始该处理。

将图14的第二3D重建处理的步骤与参照图9描述的第一3D重建处理的步骤进行比较，新添加了步骤S43和步骤S44，而其他步骤S41、S42、S45至S53与图9的步骤S11至步骤S21类似。

具体地，首先，分别在步骤S41和步骤S42中，前景/背景分离器61生成轮廓图像，并且对象跟踪部62以与图9中的步骤S11和步骤S12类似的方式检测每个对象的全局位置信息。

在步骤S43中，参数确定部81获取从再现设备27传送的虚拟相机视听范围信息。

此后，在步骤S44中，参数确定部81基于从对象跟踪部62提供的每个对象的虚拟相机视听范围信息和全局位置信息，从包括在拍摄空间中的所有对象中，将包括在虚拟相机的视听范围中的对象确定为要生成3D模型的对象。注意，即使对象被包括在虚拟相机的视听范围内，作为要被另一对象遮挡的对象也将从要生成3D模型的对象中排除。

随后的步骤S45至步骤S53分别与图9的步骤S13至步骤S21相同。

然而，在图9的第一3D重建处理中，3D模型生成器63将拍摄空间(前景图像)中包括的所有对象设置为用于生成3D模型的建模目标的对象，并且针对建模目标的每个对象重复执行步骤S13至步骤S21。

相比之下，在图14的第二3D重建处理中，3D模型生成器63将一个或更多个对象设置为用于生成3D模型的建模目标的对象，其中在步骤S44中该一个或更多个对象中的每个对象被选择为要生成3D模型的对象，并且3D模型生成器63针对建模目标的每个对象重复执行步骤S45至步骤S53。

根据第二3D重建处理，仅针对虚拟相机视听范围内的对象生成3D模型。关于3D模型的生成，类似于第一实施方式，针对每个对象获取对象空间信息，并且使用建模目标的对象空间作为处理对象来生成每个对象的3D模型。

在生成3D模型时，通过将生成3D模型的目标限制为对象的对象空间，并且通过将生成3D模型的目标限制为用户的视听范围，可以减少处理负荷并以高速执行建模。此外，可以减小向再现设备27的传送时的传送频带。

由于为建模目标的每个对象确定了3D模型的参数，因此可以针对每个对象调整图像质量和负荷。

同样在第二实施方式中，如在第一实施方式的修改示例中那样，可以采用获取由其他设备生成的轮廓图像并且生成每个对象的3D模型的配置。[6.根据第三实施方式的3D重建设备]

[3D重建设备的框图]

图15是示出根据第三实施方式的3D重建设备23的配置示例的框图。

此外，在示出第三实施方式的配置示例的图15中，与示出第一实施方式的配置示例的图4中的配置相对应的部分由相同的附图标记表示，并且适当地省略对这些部分的描述，并且描述与图4中的部分不同的部分。

第三实施方式与上述第一实施方式的不同之处在于，作为用户的视听信息，指示基于虚拟相机的视点的视听范围的虚拟相机视听范围信息和指示被用户指定为显示目标的对象的对象识别信息经由传送/接收设备25从再现设备27被提供给3D重建设备23。在本实施方式中，对象识别信息被称为对象ID。虚拟相机视听范围信息类似于第二实施方式的虚拟相机视听范围信息。

根据第一实施方式的3D重建设备23针对拍摄空间中的每个对象生成3D模型。

相比之下，根据第三实施方式的3D重建设备23仅针对由用户指定为显示目标的对象生成3D模型。

因此，如图16中的A所示，3D模型生成器63首先将对象ID添加到所有对象的多条全局位置信息，并且将对象ID和多条全局位置信息传送至再现设备27。

例如，如图16的B所示，可以应用为各个对象的多条全局位置信息、边界框的x坐标的最小值xmin和最大值xmax、边界框y坐标的最小值ymin和最大值ymax以及边界框的z坐标的最小值zmin和最大值zmax。

由用户指定的一个或更多个对象的(一个或更多个)对象ID与作为用户的视听信息的虚拟相机视听范围信息一起从再现设备27被传送至3D模型生成器63。

3D模型生成器63基于来自再现设备27的虚拟相机视听范围信息和对象ID，仅针对由用户指定为显示目标的对象，确定每个对象空间的对象的3D模型，并且生成3D模型数据。

来自再现设备27的虚拟相机视听范围信息和对象ID被提供给3D模型生成器63中包括的参数确定部81。

参数确定部81基于来自再现设备27的对象ID确定(选择)要生成3D模型数据的对象。

在确定要生成3D模型数据的对象之后，由3D模型生成器63执行的处理与第二实施方式的处理类似。也就是说，基于虚拟相机视听范围信息，当从虚拟相机141对建模目标的对象成像时，体素尺寸由与一个像素的尺寸相对应的尺寸确定。基于从虚拟相机141到建模目标的对象的距离是否在预先确定的预定阈值内，来确定建模目标的对象的几何信息是由多边形网格表示还是由点云表示。

[第三3D重建处理]

图17是用于说明根据第三实施方式的由3D重建设备23执行的3D重建处理(第三3D重建处理)的流程图。例如，当经由网络26在3D重建设备23与作为再现显示侧的再现设备27之间建立连接时，开始该处理。

将图17的第三3D重建处理的步骤与参照图9描述的第一3D重建处理的步骤进行比较，新添加了步骤S73至S75，而其他步骤S71、S72、S76至S84与图9的步骤S11至步骤S21类似。

具体地，首先，在步骤S71和S72中，分别以与图9中的步骤S11和S12类似的方式，前景/背景分离器61生成轮廓图像并且对象跟踪部62检测每个对象的全局位置信息。

在步骤S73中，参数确定部81经由传送/接收设备25等将拍摄空间中的所有对象的对象ID和多条全局位置信息传送至再现设备27。

在步骤S74中，参数确定部81获取作为用户的视听信息从再现设备27传送的由用户指定的一个或更多个对象的(一个或更多个)对象ID和(多条)虚拟相机视听范围信息。

在步骤S75中，参数确定部81基于来自再现设备27的对象ID，将由用户指定的对象确定为要生成3D模型的对象。

随后的步骤S76至步骤S84分别与图9的步骤S13至步骤S21相同。

然而，在图9的第一3D重建处理中，3D模型生成器63将拍摄空间(前景图像)中包括的所有对象设置为用于生成3D模型的建模目标的对象，并且针对建模目标的每个对象重复执行步骤S13至步骤S21。

另一方面，在图17的第三3D重建处理中，3D模型生成器63将一个或更多个对象设置为用于生成3D模型的建模目标的对象并且针对建模目标的每个对象重复执行步骤S76至步骤S84，其中在步骤S75中该一个或更多个对象中的每个对象被确定为要生成3D模型的对象。

根据第三3D重建处理，仅针对由用户指定的对象生成3D模型作为用户的视听信息。关于3D模型的生成，类似于第一实施方式，针对每个对象获取对象空间信息，并且使用建模目标的对象空间作为处理对象来生成每个对象的3D模型。

在生成3D模型时，通过将生成3D模型的目标限制为对象的对象空间，并且通过将生成3D模型的目标限制为用户指定的对象，可以减少处理负荷并高速地执行建模。此外，可以减小向再现设备27传送时的传送频带。

由于针对建模目标的每个对象确定了3D模型的参数，因此可以针对每个对象调整图像质量和负荷。

同样在第三实施方式中，如在第一实施方式的修改示例中一样，可以采用其中获取由其他设备生成的轮廓图像并且生成每个对象的3D模型的配置。

[7.第一实施方式至第三实施方式的总结]

图18是概述根据第一实施方式至第三实施方式的3D重建设备23的3D模型的建模方法的表。

在第一实施方式中，成像空间中存在的所有对象均被确定为建模目标的对象。

此后，基于具有距建模目标的对象最近距离的成像设备21与对象之间的位置关系，来确定体素尺寸以及是否存在网格划分。具体地，对于体素尺寸，精细地设置靠近成像设备21的对象，并且粗略地设置远离成像设备21的对象。关于是否存在网格划分，靠近成像设备21的对象被网格划分，而远离成像设备21的对象不被网格划分并且由点云表示。

如上所述，通过针对建模目标的每个对象确定3D模型的建模方法，可以针对每个对象调整图像质量和负荷。

此外，在对对象进行建模中，因为针对每个对象获取了指示对象的3D区域的对象空间信息并且利用作为处理目标的建模目标的对象空间来生成对象的3D模型，所以可以减少处理负荷并高速执行建模。此外，可以减小向再现设备27传送时的传送频带。

在第二实施方式中，为了确定建模目标的对象，从再现设备27提供虚拟相机视听范围信息，并且基于虚拟相机视听范围信息将包括在虚拟相机141的视听范围中的对象确定为建模目标的对象。

此后，基于虚拟相机141与建模目标的对象之间的位置关系来确定体素尺寸以及是否存在网格划分。具体地，对于体素尺寸，精细地设置靠近虚拟相机141的对象，并且粗略地设置远离虚拟相机141的对象。关于是否存在网格划分，靠近虚拟相机141的对象被网格划分，而远离虚拟相机141的对象不被网格划分并且由点云表示。

如上所述，通过针对建模目标的每个对象确定3D模型的建模方法，可以针对每个对象调整图像质量和负荷。

此外，在对对象进行建模时，由于针对每个对象获取了指示对象的3D区域的对象空间信息并且利用作为处理目标的建模目标的对象空间来生成对象的3D模型，因此可以减少处理负荷并高速执行建模。此外，可以减小向再现设备27传送时的传送频带。

此外，由于仅生成了虚拟相机的视听范围中的(一个或更多个)对象的(一个或更多个)3D模型，因此与对拍摄空间中的所有对象进行建模的情况相比，可以减少处理负荷并提高处理速度。

在第三实施方式中，为了确定建模目标的对象，从再现设备27提供由用户指定为显示目标的对象ID和相机视听范围信息，并且将与由用户指定的对象ID相对应的对象确定为建模目标的对象。

此后，基于虚拟相机141与建模目标的对象之间的位置关系来确定体素尺寸和是否存在网格划分。具体地，对于体素尺寸，精细地设置靠近虚拟相机141的对象并且粗略地设置远离虚拟相机141的对象。关于是否存在网格划分，靠近虚拟相机141的对象被网格划分，而远离虚拟相机141的对象不被网格划分并且由点云表示。

如上所述，通过针对建模目标的每个对象确定3D模型的建模方法，可以针对每个对象调整图像质量和负荷。

此外，在对对象进行建模时，由于针对每个对象获取了指示对象的3D区域的对象空间信息，并且利用作为处理对象的建模目标的对象空间来生成对象的3D模型，因此可以减少处理负荷并高速执行建模。此外，可以减小向再现设备27传送时的传送频带。

此外，由于仅生成由用户指定为显示目标的(一个或更多个)对象的(一个或更多个)3D模型，因此与对拍摄空间中的所有对象进行建模的情况相比，可以减少处理负荷并提高处理速度。

[8.图像处理***的其他配置示例]

图19是示出应用本技术的图像处理***的另一配置示例的框图。

在图19中，与图3中的部分相对应的部分用相同的附图标记表示，并且省略对这些部分的描述。将通过关注不同部分来给出描述。

将图19的图像处理***10与图3的图像处理***10进行比较，在存储设备22与3D重建设备23之间新添加了选择设备30。图19的图像处理***10的其余配置与图3的图像处理***10的配置相同。注意，选择设备30可以被添加作为3D重建设备23的一部分。

以与3D重建设备23类似的方式，经由传送/接收设备25从再现设备27将作为用户的视听信息的虚拟相机视听范围信息提供给选择设备30。

选择设备30具有以与上述对象跟踪部62类似的方式检测由每个成像设备21捕获的前景图像中包括的每个对象的全局位置信息的功能。

在图3的图像处理***10中，3D重建设备23分别获取由所有成像设备21(成像设备21-1至21-N)捕获的前景图像和深度图像。

相比之下，在图19的图像处理***10中，选择设备30基于从再现设备27传送的虚拟相机视听范围信息，指定虚拟相机的视听范围中包括的对象。然后，选择设备30从分别由所有成像设备21捕获并存储在存储设备22中的前景图像(纹理图像)和深度图像中选择包括指定对象的前景图像和深度图像，从存储设备22获取前景图像和深度图像，并且将前景图像和深度图像提供给3D重建设备23。

例如，如图20所示，基于虚拟相机视听范围信息，指定包括在虚拟相机141的视听范围中的三个对象181-1至181-3。假设三个对象181-1至181-3被包括在由成像设备21-1和成像设备21-2捕获的前景图像中，而不是包括在由成像设备21-3捕获的前景图像中。

在这种情况下，选择设备30将由成像设备21-1和成像设备21-2捕获的前景图像提供给3D重建设备23，而不将由成像设备21-3捕获的前景图像提供给3D重建设备23。

图21是示出从由七个成像设备21(成像设备21-1至21-7)分别捕获的前景图像中选择前景图像处理的图，其中在选择的前景图像中包括在视听范围中所包括的对象。

图21示出了以下示例，其中在存储设备22中存储由成像设备21-1至21-7分别捕获的前景图像，虚拟相机141的视听范围中包括的对象未出现在由成像设备21-3捕获的前景图像和由成像设备21-6捕获的前景图像中。

在这种情况下，选择设备30选择由成像设备21-1、21-2、21-4、21-5和21-6捕获的前景图像并且将前景图像提供给3D重建设备23，并且不将未被选择的成像设备21-3和成像设备21-6捕获的前景图像提供给3D重建设备23。3D重建设备23使用从选择设备30提供的前景图像来确定并生成对象的3D模型。

应当注意，如上述第一实施方式至第三实施方式的修改示例那样，在将其他设备生成的轮廓图像存储在存储设备22中的情况下，选择与包括虚拟相机141的视听范围中包括的对象的前景图像相对应的轮廓图像，并且将其提供给3D重建设备23。

以这种方式，在图像处理***10中，通过添加用于选择要提供给生成3D模型的3D重建设备23的前景图像或轮廓图像的选择设备30，可以减少3D重建设备23的处理负荷并提高3D重建设备23的处理速度。

[9.再现处理的分发处理]

接下来，将描述作为图像处理***10的整个分发侧的处理的分发处理和作为图像处理***10的整个再现侧的处理的再现处理。

[分发处理]

首先，参照图22的流程图，将描述由图像处理***10的分发侧执行的分发处理。

首先，在步骤S301中，多个成像设备21中的每个成像设备捕获预定的拍摄空间并且将得到的运动图像提供给存储设备22。

在步骤S302中，3D重建设备23通过使用存储在存储设备22中的多个相机21的每一个所获得的运动图像来确定每个对象的参数，并且生成3D模型。所生成的每个对象的3D模型数据被提供给编码设备24。

在步骤S302中，如上所述，在第一实施方式中，存在于成像空间中的所有对象被确定为建模目标，并且生成3D模型。在第二实施方式中，用户的视听范围(虚拟相机的视听范围)中的对象被确定为建模目标，并且生成3D模型。在第三实施方式中，由用户指定的对象被确定为建模目标，并且生成3D模型。

此外，在如图19所示的图像处理***10那样设置选择设备30的情况下，在步骤S301与步骤S302之间添加了基于虚拟相机视听范围信息选择前景图像或轮廓图像的处理。

在步骤S303中，编码设备24例如通过诸如AVC方案、HEVC方案等的预定编码方案对从3D重建设备23提供的每个对象的3D模型数据进行编码。通过编码获得的3D模型的编码流被提供给传送/接收设备25。

在步骤S304中，传送/接收设备25经由网络26将从编码设备24提供的3D模型的编码流传送至再现设备27。

根据上面的分发处理，可以从通过多个成像设备21成像而生成的大量对象的3D模型中选择任何3D模型，并且传送3D模型数据以由再现设备27再现。

[再现处理]

接下来，参照图23的流程图，将描述通过图像处理***10的再现侧执行的再现处理。

首先，在步骤S321中，再现设备27的传送器/接收器41接收(获取)通过对从传送/接收设备25提供的每个对象的3D模型数据进行编码而获得的编码流，并且将该编码流提供给解码器42。

在步骤S322中，解码器42以与编码设备24中的编码方案相对应的方案对从传送器/接收器41提供的3D模型的编码流进行解码。解码器42将通过解码获得的每个对象的3D模型数据提供给绘制部43。

在步骤S323中，绘制部43基于从解码器42提供的每个对象的3D模型数据，从虚拟相机的视点生成对象的图像(对象图像)作为显示图像，并且将该对象图像提供给显示设备28。

在步骤S324中，显示设备28二维地显示从绘制部43提供的显示图像，并且结束再现处理。

根据上面的再现处理，可以接收通过为每个对象确定3D模型的参数而生成的3D模型(的数据)，并且使显示设备28显示3D模型。

根据图像处理***10，通过针对建模目标的每个对象确定3D模型的建模方法，可以针对每个对象调整图像质量和负荷。

此外，由于通过针对每个对象获取指示对象的3D区域的对象空间信息并且使用作为处理目标的建模目标的对象空间来生成对象的3D模型，所以可以减少处理负荷并减小向再现设备27传送时的传送频带。

此外，在基于用户的视听信息来限制建模目标的对象的情况下，与对拍摄空间中的所有对象进行建模的情况相比，可以减少处理负荷并提高处理速度。

[10.以多纹理几何格式以外的数据格式执行传送的情况]

在上述示例中，作为3D模型的数据格式，已经描述了通过参照图2描述的四种数据格式中的多纹理几何格式生成数据的情况。

在由点云格式作为3D模型的数据格式执行传送的情况下，由于对象的几何信息由点云表示，因此省略了是否要执行网格划分的确定。3D重建设备23的3D模型生成器63根据从成像设备21或虚拟相机141到建模目标的对象的距离来确定体素尺寸，并且生成3D模型。

在由UV纹理几何格式作为3D模型的数据格式执行传送的情况下，由于对象的几何信息由多边形网格表示，因此省略了是否要执行网格划分的确定。3D重建设备23的3D模型生成器63根据从成像设备21或虚拟相机141到建模目标的对象的距离来确定体素尺寸，并且生成3D模型。

在由多纹理深度格式作为3D模型的数据格式执行传送的情况下，省略关于是否要执行网格划分的确定，并且首先，对象的几何信息由多边形网格来表示。3D重建设备23的3D模型生成器63根据从成像设备21或虚拟相机141到建模目标的对象的距离来确定体素尺寸，并且通过确定的体素尺寸的多边形网格生成表示对象的几何信息的3D模型。此后，3D模型生成器63基于由多边形网格表示的对象的几何信息，生成与多个成像设备21获得的多个拍摄图像(纹理图像)相对应的多个深度图像，并且传送多纹理深度格式的3D模型数据。

[11.向多个用户执行传送的情况]

在上述示例中，已经描述了作为分发侧的3D重建设备23的情况，并且作为再现侧的再现设备27和显示设备28具有一对一的关系。然而，可能存在这样的配置，其中在再现侧存在多个用户，并且作为分发侧的3D重建设备23响应于来自与多个用户相对应的多个再现设备27的请求而传送预定对象的3D模型。

在这种情况下，3D重建设备23可以根据多个再现设备27的各个用户的多条视听信息(虚拟相机的视听范围)分别确定并传送对象的3D模型，或者例如可以计算多个用户和/或指定对象的视听范围，以确定并传送与计算结果相对应的多个对象的3D模型。

[12.计算机配置示例]

可以通过硬件或软件来执行包括上述的3D重建处理、分发处理、再现处理等的一系列处理。在通过软件执行一系列处理的情况下，将配置软件的程序安装到计算机中。此处，计算机包括内置在专用硬件中的计算机，例如能够通过安装各种程序来执行各种功能的通用个人计算机等。

图24是示出通过程序执行上述一系列处理的计算机的硬件的配置示例的框图。

在计算机900中，CPU(中央处理单元)901、ROM(只读存储器)602和RAM(随机存取存储器)903通过总线904彼此耦接。

输入/输出接口905还耦接至总线904。输入部906、输出部907、存储装置908、通信部909和驱动器910连接至输入/输出接口905。

输入部906包括键盘、鼠标、麦克风等。输出部907包括显示器、扬声器等。存储装置908包括硬盘、非易失性存储器等。通信部909包括网络接口等。驱动器910驱动诸如磁盘、光盘、磁光盘、半导体存储器等的可移除介质911。

例如，在如上所述配置的计算机900中，CPU 901经由输入/输出接口905和总线904将存储在存储装置908中的程序加载到RAM 903中，并且执行该程序，从而执行上述一系列处理。

例如，可以通过将其记录在作为包装介质等的可移除介质911中来提供要由计算机900(CPU 901)执行的程序。此外，可以经由诸如局域网、互联网或数字卫星广播的有线或无线传输介质来提供该程序。

在计算机900中，通过将可移除介质911附接至驱动器910，可以经由输入/输出接口905将程序安装在存储装置908中。还可以通过通信部909接收程序，并且经由有线或无线传输介质将程序安装在存储装置908中。另外，可以预先将程序安装在ROM 902或存储装置908中。

计算机900执行的程序可以是按照本说明书中描述的顺序按时间顺序执行处理的程序，或者可以是并行或在诸如调用时的所需定时执行处理的程序。

[13.应用示例]

根据本公开内容的实施方式的技术可以应用于各种产品。例如，根据本公开内容的实施方式的技术可以被实现为安装在任何类型的移动对象上的设备，该移动对象诸如车辆、电动车辆、混合动力电动车辆、摩托车、自行车、个人行动工具、飞机、无人驾驶飞机、船只、机器人、建筑机械、农业机械(拖拉机)等。

图25是示出车辆控制***7000的示意性配置的示例的框图，该车辆控制***是可应用作为根据本公开的实施方式的技术的移动体控制***的示例。车辆控制***7000包括经由通信网络7010彼此连接的多个电子控制单元。在图25所示出的示例中，车辆控制***7000包括驱动***控制单元7100、车身***控制单元7200、电池控制单元7300、车外信息检测单元7400、车内信息检测单元7500、以及集成控制单元7600。将多个控制单元彼此连接的通信网络7010可以是符合任意标准的车载通信网络，诸如，控制器区域网(CAN)、局域互联网(LIN)、局域网(LAN)、FlexRay(注册商标)等。

各个控制单元包括：微型计算机，根据各种程序执行运算处理；存储部，存储由微型计算机执行的程序、用于各种操作的参数等；以及驱动电路，驱动各种控制目标设备。各个控制单元进一步包括：网络接口(I/F)，用于经由通信网络7010执行与其他控制单元的通信；以及通信I/F，用于通过有线通信或无线电通信执行与车辆内部和外部的设备、传感器等的通信。图25所示的集成控制单元7600的功能配置包括微型计算机7610、通用通信I/F7620、专用通信I/F 7630、定位部7640、信标接收部7650、车内设备I/F 7660、声音/图像输出部7670、车载网络I/F 7680、以及存储部7690。其他控制单元也类似地包括微型计算机、通信I/F、存储部等。

驱动***控制单元7100根据各种程序对与车辆的驱动***相关的设备的工作进行控制。例如，驱动***控制单元7100用作控制设备来控制：用于生成车辆的驱动力的驱动力生成设备，诸如内燃机、驱动电机等；用于将驱动力传递至车轮的驱动力传递机构；用于调节车辆的转向角的转向机构；用于生成车辆的制动力的制动设备等。驱动***控制单元7100可具有防抱死制动***(ABS)、电子稳定控制(ESC)等的控制设备的功能。

驱动***控制单元7100连接有车辆状态检测部7110。车辆状态检测部7110例如包括下列项中的至少一个：检测车身的轴向旋转运动的角速度的陀螺仪传感器，检测车辆的加速度的加速度传感器，以及用于检测加速器踏板的操作量、制动踏板的操作量、方向盘的转向角、发动机速度或车轮的旋转速度等的传感器。驱动***控制单元7100使用从车辆状态检测部7110输入的信号执行运算处理，以控制内燃机、驱动电机、电动助力转向设备、制动设备等。

车身***控制单元7200根据各种程序对车身所装配的各种设备的工作进行控制。例如，车身***控制单元7200用作控制设备来控制：无钥匙进入***，智能钥匙***，电动车窗设备，或前照灯、倒车灯、制动灯、转向灯、雾灯等各种灯。在这种情况下，车身***控制单元7200可接收来自替代钥匙的移动设备所传输的无线电波或者各种开关的信号作为输入。车身***控制单元7200接收这些输入的无线电波或信号，以控制车辆的门锁设备、电动车窗设备、灯等。

电池控制单元7300根据各种程序对用作驱动电机的电源的二次电池7310进行控制。例如，电池控制单元7300接收来自包括二次电池7310的电池设备的有关于电池温度、电池输出电压、电池的剩余电量等信息。电池控制单元7300使用这些信号执行运算处理，执行二次电池7310的温度调节控制，或者对电池设备的冷却设备进行控制等。

车外信息检测单元7400检测包括车辆控制***7000的车辆的外部的信息。例如，车外信息检测单元7400至少与成像部7410和车外信息检测部7420中的一个相连接。成像部7410包括飞行时间(ToF)相机、立体相机、单目相机、红外相机以及其他相机中的至少一个。车外信息检测部7420可以包括下列项中的至少一个：用于检测当前大气条件或天气条件的环境传感器，用于检测包括车辆控制***7000的车辆的周边的其他车辆、障碍物、行人等的周边信息检测传感器。

环境传感器例如可以是下列项中的至少一个：检测雨的雨滴传感器，检测雾的雾传感器，检测日照程度的日照传感器，以及检测降雪的雪传感器。周边信息检测传感器可以是下列项中的至少一个：超声波传感器，雷达设备，以及LIDAR设备(光检测和测距设备，或激光成像检测和测距设备)。成像部7410和车外信息检测部7420两者中的每一个可设置为独立传感器或设备，或者可设置为多个传感器或设备集成在其中的设备。

图26示出成像部7410和车外信息检测部7420的安装位置的示例。成像部7910、7912、7914、7916和7918可以被布置在车辆7900的前鼻、侧视镜、后保险杠、后门以及车辆内部的挡风玻璃的上部的位置处。布置在前鼻的成像部7910以及布置在车辆内部的挡风玻璃的上部的成像部7918主要获得车辆7900的前方的图像。布置在侧视镜的成像部7912和7914主要获得车辆7900的侧方的图像。布置在后保险杠或后门的成像部7916主要获得车辆7900的后方的图像。布置在车辆内部的挡风玻璃的上部的成像部7918主要用于检测前方车辆、行人、障碍物、信号、交通标志、车道等。

顺便提及，图26示出各个成像部7910、7912、7914和7916的拍摄范围的示例。成像范围a表示布置在前鼻的成像部7910的成像范围。成像范围b和c分别表示布置在侧视镜的成像部7912和7914的成像范围。成像范围d表示布置在后保险杠或后门的成像部7916的成像范围。例如，通过叠加由成像部7910、7912、7914和7916成像的图像数据能够获得从上方观看的车辆7900的鸟瞰图像。

布置在车辆7900的前部、后部、侧部和角部以及车辆内部的挡风玻璃上部的车外信息检测部7920、7922、7924、7926、7928和7930可以是超声波传感器或雷达设备。布置在车辆7900的前鼻、车辆7900的后保险杠、后门以及车辆内部的挡风玻璃上部的车外信息检测部7920、7926和7930可以是LIDAR设备。这些车外信息检测部7920～7930主要用于检测前方车辆、行人、障碍物等。

回到图25，继续进行描述。车外信息检测单元7400使成像部7410成像车辆外部的图像并且接收所成像的图像数据。此外，车外信息检测单元7400从连接至车外信息检测单元7400的车外信息检测部7420接收检测信息。当车外信息检测部7420是超声波传感器、雷达设备或LIDAR设备时，车外信息检测单元7400使超声波、电磁波等发送，并且接收关于所接收的反射波的信息。基于所接收的信息，车外信息检测单元7400可执行检测对象(诸如路面上的人、车辆、障碍物、标志、符号等)的处理，或者执行检测到对象的距离的处理。车外信息检测单元7400可基于所接收的信息执行环境识别处理，以识别降雨、雾、路面条件等。车外信息检测单元7400可基于所接收的信息计算到车辆外部的对象的距离。

此外，基于所接收的图像数据，车外信息检测单元7400可执行用于识别对象(诸如路面上的人、车辆、障碍物、标志、符号等)的图像识别处理，或者执行检测到对象的距离的处理。车外信息检测单元7400可对所接收的图像数据进行诸如失真校正、对齐等处理，并且通过组合多个不同成像部7410成像的图像数据产生鸟瞰图像或全景图像。车外信息检测单元7400可使用不同成像部7410成像的图像数据来执行视点转换处理。

车内信息检测单元7500检测车辆内部的信息。车内信息检测单元7500可以连接有检测驾驶员状态的驾驶员状态检测部7510。驾驶员状态检测部7510可包括拍摄驾驶员的相机、检测驾驶员的生物信息的生物传感器、收集车辆内部的声音的麦克风等。生物传感器可以布置在座位表面、方向盘等处，并且检测坐在座位中的乘客或握住方向盘的驾驶员的生物信息。基于从驾驶员状态检测部7510输入的检测信息，车内信息检测单元7500可计算驾驶员的疲劳程度或驾驶员的注意力集中程度，或者可辨别驾驶员是否在打瞌睡。车内信息检测单元7500可对通过声音收集获得的音频信号进行诸如噪声消除处理等的处理。

集成控制单元7600根据各种程序对车辆控制***7000内的总体操作进行控制。集成控制单元7600与输入部7800连接。输入部7800为能够通过乘客进行输入操作的设备，例如，触摸面板、按钮、麦克风、开关、控制杆等。集成控制单元7600可接收对经由麦克风输入的语音进行语音识别所获得的数据。输入部7800可以是使用红外线或其他无线电波的远程控制设备，或者可以是支持车辆控制***7000的操作的诸如移动电话、个人数字助理(PDA)等的外部连接设备。输入部7800可以是相机。在该情况下，乘客能够通过姿势来输入信息。或者，可以输入通过检测乘客佩戴的可佩戴设备的移动而获得的数据。此外，输入部7800可包括输入控制电路等，该输入控制电路等基于由乘客等使用上述输入部7800输入的信息而生成输入信号，并将所生成的输入信号输出至集成控制单元7600。乘客等，可通过操作输入部7800向车辆控制***7000输入各种数据，处理操作的指令。

存储部7690可包括存储由微型计算机执行的各种程序的只读存储器(ROM)以及存储各种参数、操作结果、传感器值等的随机存取存储器(RAM)。此外，存储部7690可为诸如硬盘驱动器(HDD)等的磁性存储设备、半导体存储设备、光学存储设备、磁光存储设备等。

通用通信I/F 7620是广泛使用的通信I/F，该通信I/F调解与存在于外部环境7750中的各种装置的通信。通用通信I/F 7620可实现：蜂窝通信协议，诸如全球移动通信***(GSM(注册商标))、全球互通微波接入(WiMAX(注册商标))、长期演进(LTE(注册商标))、LTE高级(LTE-A)等，或者其他无线通信协议，诸如无线LAN(也被称为无线保真(Wi-Fi(注册商标))、蓝牙(注册商标)等。通用通信I/F 7620可经由基站或接入点连接至存在于外部网络(例如，互联网、云网络或公司特定网络)上的装置(例如，应用服务器或控制服务器)。此外，通用通信I/F 7620可使用对等(P2P)技术，与存在于车辆附近的终端(该终端例如是驾驶员、行人或商店的终端，或机器型通信(MTC)终端)相连接。

专用通信I/F 7630是支持针对车辆使用而开发的通信协议的通信I/F。专用通信I/F 7630可实现：标准协议，例如，车辆环境中的无线接入(WAVE)(它是作为下层的电气和电子工程师协会(IEEE)802.11p与作为上层的IEEE 1609的组合)，专用短程通信(DSRC)，或蜂窝通信协议。专用通信I/F 7630通常进行包括下列项中一个或多个的概念的V2X通信：车辆与车辆之间(车辆对车辆)的通信，道路与车辆之间(车辆对基础设施)的通信，车辆与家庭之间(车辆对家庭)的通信，以及行人与车辆之间(车辆对行人)的通信。

定位部7640可以通过，接收来自GNSS卫星的全球导航卫星***(GNSS)信号(例如，来自全球定位***(GPS)卫星的GPS信号)，生成包括车辆的纬度、经度以及高度的位置信息，而执行定位。顺便提及，定位部7640可通过与无线接入点进行信号交换识别当前位置，也可从终端获得位置信息，上述终端诸如是移动电话、个人手提电话***(PHS)或具有定位功能的智能电话。

信标接收部7650可以接收来自安装在道路等上的无线电站传输的无线电波或电磁波，从而获得关于当前位置、堵塞、道路封闭、所需时间等的信息。顺便提及，信标接收部7650的功能可被包括在上述专用通信I/F 7630中。

车内设备I/F 7660是调解微型计算机7610与存在于车辆内的各种车内设备7760之间的连接的通信接口。车内设备I/F 7660可使用诸如无线LAN、蓝牙(注册商标)、近场通信(NFC)或无线通用串行总线(WUSB)等无线通信协议建立无线连接。此外，车内设备I/F7660可经由在图中未示出的连接端子(以及电缆，如果必要的话)，通过通用串行总线(USB)、高清晰多媒体接口(HDMI(注册商标))、移动高清链接(MHL)等建立有线连接。车内设备7760可以包括下列项中的至少一个：乘客所拥有的移动设备和可佩戴设备以及载入车辆或附接至车辆的信息设备。车内设备7760还可包括搜索到任意目的地的路径的导航设备。车内设备I/F 7660与这些车内设备7760交换控制信号或数据信号。

车载网络I/F 7680是调解微型计算机7610与通信网络7010之间的通信的接口。车载网络I/F 7680依照由通信网络7010支持的预定协议传输和接收信号等。

集成控制单元7600的微型计算机7610基于经由通用通信I/F 7620、专用通信I/F7630、定位部7640、信标接收部7650、车内设备I/F 7660以及车载网络I/F 7680中的至少一个所获得的信息，根据各种程序控制车辆控制***7000。例如，微型计算机7610可基于所获得的车辆内部或车辆外部相关信息，计算用于驱动力生成设备、转向机构或制动设备的控制目标值，并且向驱动***控制单元7100输出控制命令。例如，微型计算机7610可执行旨在实现高级驾驶员辅助***(ADAS)的功能的协同控制，该功能包括用于车辆的碰撞回避或撞击缓冲、基于车间距离的跟随驾驶、车速保持驾驶、车辆碰撞警报、车辆偏离车道的警报等。此外，微型计算机7610可基于所获得的关于车辆周围环境的信息以控制驱动力生成设备、转向机构、制动设备，从而执行旨在用于不依赖于驾驶员的操作的自动行驶等的协同控制。

微型计算机7610可基于经由通用通信I/F 7620、专用通信I/F 7630、定位部7640、信标接收部7650、车内设备I/F 7660以及车载网络I/F 7680中的至少一个所获得的信息，生成车辆与诸如周围结构、人等对象之间的三维距离信息，并且生成包括车辆当前所处的周围环境的信息的局部地图信息。此外，微型计算机7610可基于所获得的信息预测诸如车辆的碰撞、行人等的接近、进入封闭道路等危险，并且生成警报信号。该警报信号可以是用于产生警告声音或点亮警报灯的信号。

声音/图像输出部7670将声音和图像中的至少一个的输出信号传输至输出设备，该输出设备能够向车辆的乘客或车辆外部以视觉或听觉方式通知信息。在图25的示例中，音频扬声器7710、显示部7720和仪表面板7730作为输出设备示出。显示部7720可包括车载显示器和平视显示器中的至少一个。显示部7720可具有增强现实(AR)显示功能。输出设备可以是这些设备以外的其他设备，诸如耳机、由乘客等佩戴的诸如眼镜式显示器等可佩戴设备、投影仪、灯等。在输出设备是显示设备的情况下，显示设备以视觉方式显示通过微型计算机7610执行的各种处理而获得的结果，或者显示从其他控制单元接收的以各种形式(诸如，文本、图像、表格、曲线图等)的信息。此外，在输出设备是音频输出设备的情况下，音频输出设备将播放的音频数据或声音数据等组成的音频信号转换为模拟信号，以听觉方式输出该模拟信号。

顺便提及，在图25所示出的示例中，经由通信网络7010彼此连接的至少两个控制单元可集成为一个控制单元。可替代地，每个单独的控制单元可包括多个控制单元。此外，车辆控制***7000可包括图中未示出的其他控制单元。此外，通过上述描述中的控制单元中的一个控制单元执行的功能的部分或全部可被分配至另一控制单元。即，可通过任一个控制单元执行预定的运算处理，只要信息经由通信网络7010传输和接收。类似地，连接至控制单元中的一个控制单元的传感器或设备可被连接至另一控制单元，并且多个控制单元可经由通信网络7010相互传输和接收检测信息。

可以在任何控制单元等中实现用于实现上述图像处理***10的功能的计算机程序。还可以提供其中存储了这样的计算机程序的计算机可读记录介质。记录介质包括例如磁盘、光盘、磁光盘、闪存等。另外，上述计算机程序可以例如通过网络而不使用记录介质来分发。

例如，在将上述图像处理***10应用于上面提及的车辆控制***7000的情况下，图像处理***10的成像设备21对应于成像部7410的至少一部分。此外，存储设备22、3D重建设备23、编码设备24、传送/接收设备25和再现设备27被集成并且对应于微型计算机7610和存储部7690。显示设备28对应于显示部7720。可以省略传送/接收设备25与再现设备27之间的网络26。在检测到用作用户的驾驶员的视听范围的情况下，通过成像部7410或驾驶员状态检测部7510的一部分执行检测。

如上所述，例如，通过将图像处理***10应用于图25所示的应用示例的集成控制单元7600，当在驾驶车辆时通过激光雷达获取周围环境的同时更新3D地图信息等时，可以根据所识别的对象的重要程度来确定是否存在网格或体素尺寸，并且可以将所生成的3D地图信息作为显示图像以高图像质量(高分辨率)显示在显示部7720等上。

此外，图像处理***10的至少一些部件可以在用于图25中所示的集成控制单元7600的模块(例如，包括单个芯片的集成电路模块)中实现。替选地，图像处理***10可以由图25所示的车辆控制***7000的多个控制单元来实现。

在本说明书中，***是指多个部件(设备、模块(部件)等)的集合，并且不限制所有部件是否在同一壳体中。因此，容纳在单独的壳体中并且经由网络连接的多个设备以及容纳在壳体中的多个模块都是***。

注意，在本说明书中描述的效果仅仅是说明性的而不是限制性的，并且可以提供其他效果。

本公开内容的实施方式不限于上述实施方式，并且可以在不脱离本公开内容的主旨的情况下进行各种修改。

例如，本公开内容可以具有如下云计算配置：其中一种功能由多个设备经由网络共同共享和处理。

另外，可以通过一个设备执行上述流程图中的步骤，并且还可以在多个设备之间共享步骤以用于执行。

此外，在一个步骤中包括多个处理的情况下，可以用一个设备执行一个步骤中包括的多个处理，并且还可以在多个设备之间共享多个处理以用于执行。

应当注意，本公开内容可以具有以下配置。

(1)

一种图像处理设备，包括：

3D模型生成器，其针对每个对象获取指示对象的3D区域的对象空间信息，并且针对每个对象空间生成对象的3D模型。

(2)

根据(1)所述的图像处理设备，其中，所述3D模型生成器基于对所述对象进行成像的成像设备和所述对象的位置信息，确定所述对象的3D模型的参数。

(3)

根据(2)所述的图像处理设备，其中，所述3D模型生成器基于下述成像设备和所述对象的位置信息来确定所述参数：在对所述对象进行成像的多个成像设备中，该成像设备最接近要生成所述3D模型的对象。

(4)

根据(1)至(3)中任一项所述的图像处理设备，其中，所述对象的3D模型通过从多个方向捕获的多个纹理图像来表示所述对象的颜色信息，并且通过点云或多边形网格来表示所述对象的几何信息。

(5)

根据(4)所述的图像处理设备，其中，在从成像设备到所述对象的距离在预定阈值以内的情况下，所述3D模型生成器通过多边形网格表示所述对象的几何信息，并且在所述距离大于所述预定阈值的情况下，通过点云表示所述对象的几何信息。

(6)

根据(2)所述的图像处理设备，其中，从所述成像设备到所述对象的距离越近，所述3D模型生成器设置越小的体素尺寸。

(7)

根据(1)所述的图像处理设备，其中，所述3D模型生成器基于用户的视听信息和所述对象的位置信息确定所述对象的3D模型的参数。

(8)

根据(7)所述的图像处理设备，其中，

所述用户的视听信息是指示基于虚拟相机的视点的用户的视听范围的视听范围信息，并且

所述3D模型生成器生成被包括在所述用户的视听范围中的所述对象的3D模型。

(9)

根据(8)所述的图像处理设备，其中，

所述对象的3D模型通过从多个方向捕获的多个纹理图像来表示所述对象的颜色信息，并且通过点云或多边形网格来表示所述对象的几何信息，并且

对于所述用户的关注程度低的对象，所述3D模型生成器通过点云表示所述对象的几何信息。

(10)

根据(8)或(9)所述的图像处理设备，其中，所述3D模型生成器对所述用户的关注程度较高的对象设置较小的体素尺寸。

(11)

根据(9)或(10)所述的图像处理设备，其中，所述3D模型生成器使用从虚拟相机到所述对象的距离作为所述用户的关注程度。

(12)

根据(7)所述的图像处理设备，其中，

所述用户的视听信息是指示由用户指定为显示目标的对象的对象识别信息，并且

所述3D模型生成器生成由所述对象识别信息指示的所述对象的3D模型。

(13)

根据(1)所述的图像处理设备，其中，所述对象的3D模型通过从多个方向捕获的多个纹理图像来表示所述对象的颜色信息，并且通过多个深度图像来表示所述对象的几何信息，所述深度图像分别与各个纹理图像的像素值相关联地存储多条距离信息。

(14)

根据(13)所述的图像处理设备，其中，所述3D模型生成器通过已设置的体素尺寸的多边形网格表示所述对象的几何信息，之后，将所述对象的几何信息转换成所述深度图像。

(15)

根据(1)所述的图像处理设备，其中，所述对象的3D模型通过点云表示所述对象的几何信息，并且与所述点云的每个点相关联地表示所述对象的颜色信息。

(16)

根据(1)所述的图像处理设备，其中，所述对象的所述3D模型通过多边形网格表示所述对象的几何信息，并且与每个多边形网格相关联地表示所述对象的颜色信息。

(17)

根据(13)至(16)所述的图像处理设备，其中，从成像设备到所述对象的距离越近，所述3D模型生成器设置越小的体素尺寸。

(18)

根据(13)至(16)所述的图像处理设备，其中，所述3D模型生成器对用户的关注程度较高的对象设置较小的体素尺寸。

(19)

根据(1)所述的图像处理设备，其中，

所述对象的所述3D模型包括所述对象的颜色信息和几何信息，

所述对象的颜色信息是通过从多个方向捕获的多个纹理图像来表示，

所述图像处理设备还包括选择器，所述选择器基于用户的视听信息指定预定对象并且从所述多个纹理图像中选择包括已经被指定的对象的纹理图像，并且

所述3D模型生成器通过使用已选择的所述纹理图像作为所述对象的颜色信息来生成所述对象的所述3D模型。

(20)

一种图像处理方法，所述方法包括：

图像处理设备针对每个对象获取指示对象的3D区域的对象空间信息并且为每个对象空间生成对象的3D模型。

附图标记列表

10 图像处理***

21-1至21-N 图像设备

22 存储设备

23 3D重建设备

27 再现设备

28 显示设备

30 选择设备

61 前景/背景分离器

62 对象跟踪部

63 3D模型生成器

81 参数确定部

82 3D数据生成器

83 网格转换器

141 虚拟相机

900 计算机

901 CPU

902 ROM

903 RAM

906 输入部

907 输出部

908 存储装置

909 通信部

910 驱动器

Claims (20)

1.一种图像处理设备，包括：

3D模型生成器，其针对每个对象获取指示对象的3D区域的对象空间信息，并且针对每个对象空间生成对象的3D模型。

2.根据权利要求1所述的图像处理设备，其中，所述3D模型生成器基于对所述对象进行成像的成像设备和所述对象的位置信息，确定所述对象的3D模型的参数。

3.根据权利要求2所述的图像处理设备，其中，所述3D模型生成器基于下述成像设备和所述对象的位置信息来确定所述参数：在对所述对象进行成像的多个成像设备中，该成像设备最接近要生成所述3D模型的对象。

4.根据权利要求1所述的图像处理设备，其中，所述对象的3D模型通过从多个方向捕获的多个纹理图像来表示所述对象的颜色信息，并且通过点云或多边形网格来表示所述对象的几何信息。

5.根据权利要求4所述的图像处理设备，其中，在从成像设备到所述对象的距离在预定阈值以内的情况下，所述3D模型生成器通过多边形网格表示所述对象的几何信息，并且在所述距离大于所述预定阈值的情况下，通过点云表示所述对象的几何信息。

6.根据权利要求2所述的图像处理设备，其中，从所述成像设备到所述对象的距离越近，所述3D模型生成器设置越小的体素尺寸。

7.根据权利要求1所述的图像处理设备，其中，所述3D模型生成器基于用户的视听信息和所述对象的位置信息确定所述对象的3D模型的参数。

8.根据权利要求7所述的图像处理设备，其中，

所述用户的视听信息是指示基于虚拟相机的视点的用户的视听范围的视听范围信息，并且

所述3D模型生成器生成被包括在所述用户的视听范围中的所述对象的3D模型。

9.根据权利要求8所述的图像处理设备，其中，

所述对象的3D模型通过从多个方向捕获的多个纹理图像来表示所述对象的颜色信息，并且通过点云或多边形网格来表示所述对象的几何信息，并且

对于所述用户的关注程度低的对象，所述3D模型生成器通过点云表示所述对象的几何信息。

10.根据权利要求8所述的图像处理设备，其中，所述3D模型生成器对所述用户的关注程度较高的对象设置较小的体素尺寸。

11.根据权利要求9所述的图像处理设备，其中，所述3D模型生成器使用从所述虚拟相机到所述对象的距离作为所述用户的关注程度。

12.根据权利要求7所述的图像处理设备，其中，

所述用户的视听信息是指示由用户指定为显示目标的对象的对象识别信息，并且

所述3D模型生成器生成由所述对象识别信息指示的所述对象的3D模型。

13.根据权利要求1所述的图像处理设备，其中，所述对象的3D模型通过从多个方向捕获的多个纹理图像来表示所述对象的颜色信息，并且通过多个深度图像来表示所述对象的几何信息，所述深度图像分别与各个纹理图像的像素值相关联地存储多条距离信息。

14.根据权利要求13所述的图像处理设备，其中，所述3D模型生成器通过已设置的体素尺寸的多边形网格表示所述对象的几何信息，之后，将所述对象的几何信息转换成所述深度图像。

15.根据权利要求1所述的图像处理设备，其中，所述对象的3D模型通过点云表示所述对象的几何信息，并且与所述点云的每个点相关联地表示所述对象的颜色信息。

16.根据权利要求1所述的图像处理设备，其中，所述对象的所述3D模型通过多边形网格表示所述对象的几何信息，并且与每个多边形网格相关联地表示所述对象的颜色信息。

17.根据权利要求13所述的图像处理设备，其中，从成像设备到所述对象的距离越近，所述3D模型生成器设置越小的体素尺寸。

18.根据权利要求13所述的图像处理设备，其中，所述3D模型生成器对用户的关注程度较高的对象设置较小的体素尺寸。

19.根据权利要求1所述的图像处理设备，其中，

所述对象的3D模型包括所述对象的颜色信息和几何信息，

通过从多个方向捕获的多个纹理图像来表示所述对象的颜色信息，

所述图像处理设备还包括选择器，所述选择器基于用户的视听信息指定预定对象并且从所述多个纹理图像中选择包括已经被指定的对象的所述纹理图像，并且

所述3D模型生成器通过使用已选择的所述纹理图像作为所述对象的颜色信息来生成所述对象的3D模型。

20.一种图像处理方法，所述方法包括：

图像处理设备针对每个对象获取指示对象的3D区域的对象空间信息并且针对每个对象空间生成对象的3D模型。

Images