CN109564698B - 图像处理设备和图像处理方法 - Google Patents

Abstract

本公开涉及一种图像处理设备和图像处理方法，其使得能够使用两个视点的表示更多区域的三维结构的纹理图像和深度图像来生成图像。绘制部使用通过将多边形的背面投影到与视线方向垂直的投影面获得的纹理图像和与每个视点的纹理图像相对应的深度图像来生成预定视点的纹理图像，所述视线方向从跨越多边形的中心彼此相对的两个视点中的每一个指向多边形的中心。本公开可以应用于例如显示设备等。

Description

图像处理设备和图像处理方法

技术领域

本公开涉及一种图像处理设备和图像处理方法，尤其涉及一种使得能够使用两个视点的纹理图像和深度图像来表示更多区域的三维结构的图像处理设备和图像处理方法。

背景技术

作为用于表示对象的三维结构的技术，主要有使用对象的多边形(3D网格)和粘贴到多边形的纹理来表示对象的三维结构的技术，以及使用通过相对于多个视点透视投影对象而获得的纹理图像和深度图像来表示对象的三维结构的技术。前一种技术是通用CG(计算机图形)技术中使用的一种技术。后一种技术(以下称为2D深度技术)对于作为通过透视投影成像对象而获得的图像的拾取图像具有高亲和性。

在通过2D深度技术来表示对象的三维结构的情况下，使用诸如MPEG MVD(运动图像专家组阶段多视图+深度)的编码方法对表示三维结构的数据进行编码(例如，参考NPL1)。

[引文列表]

[非专利文献]

[NPL 1]

Takanori SENOH、Kenji YAMAMOTO、Ryutaro OI和Taiichiro KURITA“MPEGMulti-View Image Coding Standardization”，《国家信息和通信技术研究所杂志》第56卷第1/2期，2010年3月发行。

发明内容

[技术问题]

如上所述，2D深度技术是使用通过相对于多个视点透视投影对象而获得的纹理图像(二维图像)和与纹理图像相对应的深度图像来表示对象的三维结构的技术。因此，2D深度技术不能表示对象未透视投影到的区域的三维结构。

因此，通过增加透视投影的视点数量以增加要透视投影的区域，可以表示更多区域的三维结构。然而，随着用于透视投影的视点的数量增加，表示三维结构所需的数据量增加。

鉴于如上所述的这种情况做出了本公开，并且本公开使得能够使用两个视点的纹理图像和深度图像来表示更多区域的三维结构。

[问题的解决方案]

本公开的第一方面的图像处理设备包括图像生成部，该图像生成部配置成使用通过将多边形的背面投影到与视线方向(从跨越多边形中心彼此相对的两个视点中的每一个指向多边形中心)垂直的投影面获得的纹理图像和与每个视点的纹理图像相对应的深度图像来生成预定视点的纹理图像。

本公开第一方面的图像处理方法对应于本公开第一方面的图像处理设备。

在本公开的第一方面，使用通过将多边形的背面投影到与视线方向(从跨越多边形中心彼此相对的两个视点中的每一个指向多边形中心)垂直的投影面获得的纹理图像和与每个视点的纹理图像相对应的深度图像生成了预定视点的纹理图像。

本公开的第二方面的图像处理设备包括图像生成部，该图像生成部配置成通过将多边形的背面投影到与视线方向(从跨越多边形中心彼此相对的两个视点中的每一个指向多边形中心)垂直的投影面来生成纹理图像，并生成与每个视点的纹理图像相对应的深度图像。

本公开的第二方面的图像处理方法对应于本公开的第二方面的图像处理设备。

在本公开的第二方面，将多边形的背面投影到与视线方向(从跨越多边形中心彼此相对的两个视点中的每一个指向多边形中心)垂直的投影面生成了纹理图像，并生成了与每个视点的纹理图像相对应的深度图像。

应当注意，本公开的第一方面和第二方面的图像处理设备可以通过使计算机执行程序来实现。

此外，用于由计算机执行以实现本公开的第一方面和第二方面的信息处理设备的程序可以通过经由传输介质传输或者通过将该程序记录在记录介质中来提供。

本发明的有益效果如下：

根据本公开的第一方面，可以生成图像。根据本公开的第一方面，可以使用两个视点的表示更多区域的三维结构的纹理图像和深度图像来生成图像。

此外，根据本公开的第二方面，可以生成图像。根据本公开的第二方面，可以使用两个视点的纹理图像和深度图像来表示更多区域的三维结构。

应当注意，这里描述的有利效果不一定是限制性的，并且可以是本公开中描述的一些有利效果。

附图说明

图1是描述作为应用本公开的图像处理设备的生成设备的第一实施例的配置示例的框图。

图2是描述成像设备的布置示例的视图。

图3是示出通过透视投影每个多边形的正面而生成的纹理图像和与该纹理图像相对应的深度图像的视图。

图4是示出通过透视投影每个多边形的正面而生成的纹理图像和与该纹理图像相对应的深度图像的视图。

图5是示出通过透视投影每个多边形的正面而生成的纹理图像和与该纹理图像相对应的深度图像的视图。

图6是示出通过透视投影球体的背面而生成的纹理图像和与该纹理图像相对应的深度图像的视图。

图7是示出通过透视投影球体的背面而生成的纹理图像和与该纹理图像相对应的深度图像的视图。

图8是示出通过透视投影每个多边形的背面而生成的纹理图像和与该纹理图像相对应的深度图像的视图。

图9是示出通过透视投影每个多边形的背面而生成的纹理图像和与该纹理图像相对应的深度图像的视图。

图10是示出通过透视投影每个多边形的背面而生成的纹理图像和与该纹理图像相对应的深度图像的视图。

图11是示出图1的生成设备中的生成处理的流程图。

图12是描述作为应用本公开的图像处理设备的显示设备的第一实施例的配置示例的框图。

图13是示出第一重构方法的视图。

图14是示出第二重构方法的视图。

图15是示出图12的显示设备中的显示处理的流程图。

图16是描述作为应用本公开的图像处理设备的生成设备的第二实施例的配置示例的框图。

图17是示出两个视点与能够表示三维结构的区域之间的关系的视图。

图18是示出两个视点与能够表示三维结构的区域之间的关系的视图。

图19是示出一对两个视点的候选的第一确定方法的视图。

图20是示出一对两个视点的候选的第二确定方法的视图。

图21是描述表的示例的视图。

图22是示出图16的生成设备的生成处理的流程图。

图23是示出图16的生成设备的生成处理的流程图。

图24是示出纹理图像的不同生成方法的视图。

图25是描述纹理图像的不同示例的视图。

图26是示出投影面的坐标系的视图。

图27是示出tan轴投影的视图。

图28是描述计算机硬件的配置示例的框图。

图29是描述车辆控制***的示意性配置的示例的框图。

图30是辅助说明车外信息检测部和成像部的安装位置的示例的图。

具体实施方式

以下描述了用于执行本公开的实施方式(以下称为实施例)。需要注意的是按以下顺序进行描述。

1.第一实施例：生成设备和显示设备(图1至15)

2.第二实施例：生成设备和显示设备(图16至23)

3.纹理图像的不同生成方法(图24)

4.纹理图像的不同示例(图25)

5.第三实施例：tan轴投影(图26和27)

6.第四实施例：计算机(图28)

7.应用实例(图29和30)

<1.第一实施例>

(生成设备的配置示例)

图1是描述作为应用本公开的图像处理设备的生成设备的第一实施例的配置示例的框图。

图1的生成设备12使用由成像设备11-1至11-N(N等于或大于2)获取的拾取图像和深度图像来生成拾取图像中的主成像对象的纹理图像和深度图像以及全向图像的纹理图像和深度图像。

具体地，成像设备11-1至11-N围绕主成像对象布置，并且包括主成像对象的在其成像范围内的至少一部分。成像设备11-1至11-N中的每一个包括拾取图像相机21和深度图像相机22。拾取图像相机21以帧为单位对成像对象进行成像以获取拾取图像，并将拾取图像提供给生成设备12。深度图像相机22获取拾取图像的每个像素处的成像对象在深度方向上的位置，生成深度图像，其中表示该位置的信息被用作像素值，并将深度图像提供给生成设备12。应当注意，在以下描述中，在不需要将成像设备11-1至11-N彼此具体区分开的情况下，它们统称为成像设备11。

生成设备12包括区域提取部31、位置信息生成部32、颜色信息生成部33、多边形生成部34、绘制部35、全向图像生成部36、分辨率降低部37、编码器38、存储部39和发送部40。

生成设备12的区域提取部31从N个成像设备11提供的N个拾取图像和N个深度图像中提取主成像对象的区域，并将这些区域提供给位置信息生成部32。此外，区域提取部31从N个拾取图像和N个深度图像中提取除了主成像对象的区域之外的区域作为背景区域，并将背景区域提供给全向图像生成部36。

位置信息生成部32使用从区域提取部31提供的主成像对象的区域的N个深度图像来生成对应于主成像对象的一个或多个多边形的位置信息。多边形的位置信息是多边形顶点在3D模型坐标系中的三维坐标，3D模型坐标系是原点位于主成像对象中心的三维坐标系。位置信息生成部32将每个多边形的位置信息提供给颜色信息生成部33和多边形生成部34。此外，位置信息生成部32将主成像对象区域中的N个拾取图像提供给颜色信息生成部33。

颜色信息生成部33使用从位置信息生成部32提供的每个多边形的位置信息和主成像对象的区域的N个拾取图像来生成颜色信息，例如每个多边形的正面和背面的RGB值。具体地，颜色信息生成部33使用与多边形对应的拾取图像的像素值来生成每个多边形的正面的颜色信息。此外，颜色信息生成部33还生成每个多边形的正面的颜色信息作为每个多边形的背面的颜色信息。颜色信息生成部33将每个多边形的正面和背面的每条颜色信息提供给多边形生成部34。

应当注意，多边形正面的颜色信息通过在围绕正面法线矢量的顺时针方向上描述多边形的每个顶点在3D模型坐标系中的三维坐标以及描述与三维坐标相关联的颜色信息来表示。多边形背面的颜色信息的表示方法与正面颜色信息的表示方法相似。

多边形生成部34基于从位置信息生成部32提供的每个多边形的位置信息生成每个多边形，并基于从颜色信息生成部33提供的每个多边形的正面和背面的颜色信息将纹理粘贴到每个多边形的正面和背面。多边形生成部34将正面和背面均粘贴有纹理的每个多边形提供给绘制部35。

绘制部35(图像生成部)针对跨越作为主成像对象的一个或多个多边形的中心的3D模型坐标系的原点彼此相对的、预先确定的两个视点中的每一个，执行每个多边形的背面到透视投影面的透视投影，以生成两个视点的纹理图像。具体地，对于两个视点中的每一个，绘制部35将每个多边形的背面透视投影到透视投影面，以生成两个视点的纹理图像，其中该透视投影面为法线，在从每个视点指向原点的视线方向上的直线穿过该透视投影面的中心。在本说明书中，“相对位置”不仅是相对位置，还包括在实现本公开的技术效果的范围内接近相对位置。类似地，“法线”不仅包括法线本身，还包括与接近垂直的面成角度的线。

应当注意，尽管纹理图像的格式没有特别限制，但是例如可以采用YCbCr420格式。绘制部35基于多边形生成分别对应于两个视点的纹理图像的深度图像。绘制部35将两个视点的纹理图像和深度图像提供给编码器38。

全向图像生成部36将从区域提取部31提供的背景区域的N个拾取图像透视投影到以3D模型坐标系原点为中心的规则八面体，以生成在水平方向上超360度环绕并且在垂直方向上180度环绕的全向图像的纹理图像。应当注意，如果实现了本公开的技术效果，则全向图像可以不是球体的全部空间的在水平方向上360度环绕并且在垂直方向上180度环绕的图像，而是部分空间的图像。与拾取图像类似，全向图像生成部36将从区域提取部31提供的背景的N个深度图像透视投影到正八面体，以生成全向图像的深度图像。全向图像生成部36将全向图像的纹理图像和深度图像提供给分辨率降低部37。

分辨率降低部37将从全向图像生成部36提供的全向图像的纹理图像和深度图像转换成低分辨率的纹理图像和深度图像，并将它们提供给编码器38。

编码器38对从绘制部35提供的两个视点的纹理图像和深度图像进行编码，并对从分辨率降低部37提供的全向图像的纹理图像和深度图像进行编码。虽然AVC(高级视频编码)方法、HEVC方法、MVD方法等可以用作对纹理图像和深度图像进行编码的方法，但是这里假设使用AVC方法。

因此，编码器38通过编码生成视点的纹理图像的编码流(以下称为视点纹理流)和深度图像的编码流(以下称为视点深度流)。此外，编码器38通过编码生成分辨率降低的全向图像的纹理图像的编码流(以下称为全向纹理流)和分辨率降低的全向图像的深度图像的编码流(以下称为全向深度流)。编码器38将两个视点的视点纹理流和视点深度流以及全向纹理流和全向深度流提供给存储部39。

存储部39存储两个视点的视点纹理流和视点深度流以及从编码器38提供给其的全向纹理流和全向深度流。

发送部40读出并发送存储在存储部39中的两个视点的视点纹理流和视点深度流以及全向纹理流和全向深度流。

生成设备12以上述方式将表示主成像对象的三维结构的多边形和颜色信息转换成两个视点的纹理图像和深度图像。因此，生成设备12可以使用通常使用的图像编码方法对两个视点的纹理图像和深度图像进行编码，以减少它们的数据量。结果，可以减小表示主成像对象的三维结构的数据的发送带宽。

应当注意，尽管图1的生成设备12生成多边形和颜色信息，但是生成设备12可以生成点云等的一些其他信息，只要其是表示CG技术中使用的三维结构的信息即可。

此外，虽然在图1的示例中，深度图像相机22获取像素数量等于拾取图像的像素数量的深度图像，但是在深度图像相机22获取像素数量小于拾取图像的像素数量的深度图像的情况下，在区域提取部31和位置信息生成部32之间提供了对深度图像的像素值进行插值的深度图像插值部。在这种情况下，深度图像插值部对深度图像的像素值进行插值，以使深度图像的像素数量等于拾取图像的像素数量。

此外，虽然在图1的示例中，每个成像设备11获取深度图像，但是可以根据从与深度图像相对应的成像设备11和不同的成像设备11获取的拾取图像来生成深度图像。

(图像拾取设备的布置示例)

图2是描述图1的成像设备11的布置示例的视图。

在图2的示例中，N为9。

如图2所示，九个成像设备11-1至11-9布置成围绕主成像对象61。

(效果描述)

图3至图5是示出对于跨越3D模型坐标系原点彼此相对的两个视点中的每一个，通过将每个多边形的正面透视投影到透视投影面而生成的纹理图像和与该纹理图像相对应的深度图像的视图。

在图3至图5的示例中，主成像对象的多边形形成球体81。在这种情况下，如图5的A所示，在通过从两个视点之一的视点O1在视线方向V1上相对于透视投影面透视投影球体81的正面而生成的纹理图像中，绘制粘贴到球体81的正面上的区域81A的纹理，该区域81A首先与每个投影方向82相交。投影方向是从视点延伸的方向，并且在相对于视线方向限定的角度的绝对值等于视场角的一半(在图3的示例中为θ)的范围内。此外，与纹理图像相对应的深度图像是表示区域81A相对于视点O1在深度方向(视线方向V1)上的位置的图像。

此外，如图3的B所示，在通过从两个视点中的另一个视点O2在视线方向V2上将球体81的正面透视投影到透视投影面而生成的纹理图像中，绘制粘贴到球体81的正面上的区域81B的纹理，该区域81B首先与每个投影方向83相交。此外，与纹理图像相对应的深度图像是表示区域81B相对于视点O2在深度方向(视线方向V2)上的位置的图像。

因此，如图3的C所示，来自视点O1的纹理图像和深度图像以及来自视点O2的纹理图像和深度图像可以用于表示跨越球体81的中心彼此相对的两个区域81A和81B的三维结构。然而，在球体的表面上，除了区域81A和区域81B之外，还存在其它区域。换句话说，球体81的表面区域存在不能由来自视点O1的纹理图像和深度图像以及来自视点O2的纹理图像和深度图像表示三维结构的区域。

例如，在将世界地图作为纹理应用于球体81的正面和背面并且在非洲海岸附近的大西洋上方的天空是视点O1的情况下，作为纹理粘贴到区域81A的正面的非洲大陆和南美洲大陆的一部分被绘制在视点O1的纹理图像101中，如图4的A中左侧所示。

此外，在这种情况下，视点O2在太平洋上方的天空中，并且作为纹理粘贴到区域81B的正面的澳大利亚大陆的一部分被绘制在视点O2的纹理图像102中，如图4的B中左侧所示。然而，南极洲等没有绘制在纹理图像101和纹理图像102中的任何一个中。

此外，如图4的A中右侧和图4的B中右侧所示，与纹理图像101相对应的深度图像111和与纹理图像102相对应的另一深度图像112是相同的。应当注意，在深度图像中，随着每个像素处的成像对象在深度方向上的位置的距离增加，像素值(亮度值)减小。因此，在深度图像111和深度图像112中，像素值在中心处最高，并且随着距中心的距离增加而减小。

以这种方式，在纹理图像101和纹理图像102中的任何一个中，南极等都没有被绘制。因此，如图5所示，使用纹理图像101和深度图像111以及纹理图像102和深度图像112重构的三维结构121仅仅是将世界地图粘贴到正面和背面作为纹理的球体81的一部分。

虽然在图3至图5的示例中，多边形的形状是相对简单的球体81，但是在多边形的形状复杂的情况下，多边形的其三维结构不能由两个视点的纹理图像表示的区域增加。

图6和7是示出通过相对于视点O1在视线方向V1上将球体81的背面透视投影到透视投影面而生成的纹理图像和与该纹理图像相对应的深度图像的视图。

如上所述，在通过相对于视点O1在视线方向V1上将球体81的正面透视投影到透视投影面来生成纹理图像的情况下，如图8所示，在纹理图像中绘制了应用于球体81的正面上的每个点c1的纹理，每个投影方向82首先与点c1相交。此外，与该纹理图像相对应的深度图像是表示相对于视点O1在每个点c1处的深度方向(视线方向V1)上的位置的图像。

另一方面，在通过相对于视点O1在视线方向V1上将球体81的背面透视投影到透视投影面来生成纹理图像的情况下，如图8所示，在纹理图像中绘制了应用于球体81背面上的每个点c2的纹理，每个投影方向82首先与点c2相交。此外，与该纹理图像相对应的深度图像是表示相对于视点O2在每个点c2处的深度方向(视线方向V1)上的位置的图像。

例如，在将世界地图作为纹理粘贴到球体81的正面和背面并且非洲海岸附近的大西洋上方的天空是视点O1的情况下，如图9所示，对于视点O1的纹理图像，绘制了作为纹理粘贴到每个点c2的背面的北美大陆、南美大陆的一部分、南极洲、欧洲大陆的一部分、亚洲大陆和澳大利亚大陆。此外，在与纹理图像131相对应的深度图像132中，像素值在中心处最低，并且随着距中心的距离增加而减小。

图8至图10是示出对于跨越3D模型坐标系原点彼此相对的两个视点中的每一个，通过将多边形的背面透视投影到透视投影面而生成的纹理图像和与该纹理图像相对应的深度图像的视图。

在图8至图10的示例中，主成像对象的多边形是球体81。在这种情况下，如图8的A所示，对于通过相对于视点O1在视线方向V1上将球体81的背面透视投影到透视投影面而生成的纹理图像，绘制了粘贴到球体81上背面的区域153A的纹理，每个投影方向82首先与该区域153A相交。此外，与纹理图像相对应的深度图像是表示区域81A相对于视点O1在深度方向(视线方向V1)上的位置的图像。

同时，如图8的B所示，对于通过相对于两个视点中的另一个视点O2在视线方向V2上将球体81的背面透视投影到透视投影面而生成的纹理图像，绘制了粘贴到球体81上背面的区域153B的纹理，投影方向83中的每一个首先与该区域153B相交。此外，与纹理图像相对应的深度图像是表示区域81B相对于视点O2在深度方向(视线方向V2)上的位置的图像。

因此，如图8的C所示，跨越球体81的中心彼此相对的两个区域153A和153B的三维结构可以用视点O1的纹理图像和深度图像以及视点O2的纹理图像和深度图像来表示。

应当注意，如图8的C所示，区域153A和区域153B彼此重叠。因此，整个球体81的三维结构可以用视点O1的纹理图像和深度图像以及视点O2的纹理图像和深度图像来表示。

例如，在将世界地图作为纹理应用于球体81的正面和背面以及非洲海岸附近的大西洋上方的天空为视点O1的情况下，在视点O1的纹理图像161中绘制了作为纹理粘贴到区域153A的背面的北美大陆、南美洲大陆的一部分、南极洲、欧洲大陆的一部分、亚洲大陆和澳大利亚大陆，如图9的A中左侧所示。

此外，在这种情况下，视点O2在位于太平洋上方的天空中，并且在视点O2的纹理图像162中绘制了作为纹理粘贴到区域153B背面的非洲大陆、北美大陆、南美大陆、南极洲和欧洲大陆的一部分，如图9的B中左侧所示。因此，所有七大洲都绘制在纹理图像161和纹理图像162中的至少一个中。

此外，如图9的A和图9的B中右侧所示，与纹理图像161相对应的深度图像163和与纹理图像162相对应的深度图像164是相同的。在深度图像163和深度图像164中，像素值在中心处最高，并且随着距中心的距离增加而减小。

以上述方式在纹理图像161和纹理图像162中的至少一个中绘制了所有七个洲。因此，如图10的A所示，使用纹理图像161和深度图像163重构的三维结构171是在视点O2侧(图中的右半部分)大于球体81的一半的部分。同时，如图10的B所示，使用纹理图像162和深度图像164重构的三维结构172是在视点O1侧(图中的左半部分)大于球体81的一半的部分。因此，通过使用纹理图像161和深度图像163以及纹理图像162和深度图像164重构三维结构，可以生成整个球体81。

注意，区域153A和区域153B的重叠部分是使用纹理图像161和深度图像163或纹理图像162和深度图像164生成的。

例如，如图8的A所示，在相对于视点O1透视投影区域153A和区域153B的重叠区域内的区域153A的端部部分的每个区域154的情况下，相对于投影方向82的角度较小。因此，利用纹理图像161和深度图像163，可以高精度地表示区域154的三维结构。

然而，如图8的B所示，在相对于视点O2透视投影区域154的情况下，与相对于视点O1透视投影区域154的情况相比，区域154相对于投影方向83的角度更大。因此，与利用纹理图像161和深度图像163相比，利用纹理图像162和深度图像164能够以更高的精度表示区域154的三维结构。因此，使用纹理图像162和深度图像164生成区域154。

通过使用纹理图像161和深度图像163以及纹理图像162和深度图像164中的一个来生成区域153A和区域153B的重叠区域，该重叠区域对应于相对于重叠区域具有更大角度的投影方向，可以提高球体81的重构精度。

(生成设备的处理描述)

图11是表示图1的生成设备12的生成处理的流程图。针对由N个成像设备11获取的N个拾取图像和N个深度图像的每个帧执行该生成处理。

在图11的步骤S11，生成设备12的区域提取部31从由成像设备11提供的N个拾取图像和N个深度图像中提取主成像对象的区域和背景区域。区域提取部31将主成像对象区域中的N个拾取图像和深度图像提供给位置信息生成部32，并将背景区域中的N个拾取图像和深度图像提供给全向图像生成部36。

在步骤S12，位置信息生成部32使用从区域提取部31提供的主成像对象区域中的N个深度图像来生成主成像对象的每个多边形的位置信息，并将位置信息提供给颜色信息生成部33和绘制部35。此外，位置信息生成部32将主成像对象区域中的N个拾取图像提供给颜色信息生成部33。

在步骤S13，颜色信息生成部33使用从位置信息生成部32提供的每个多边形的位置信息和主成像对象区域中的N个拾取图像来生成每个多边形的正面和背面的颜色信息。颜色信息生成部33将每个多边形的正面和背面的颜色信息提供给绘制部35。

在步骤S14，绘制部35基于从位置信息生成部32提供的每个多边形的位置信息生成多边形，并且基于从颜色信息生成部33提供的每个多边形的正面和背面的颜色信息将纹理粘贴到每个多边形的正面和背面。

在步骤S15，绘制部35通过针对预先确定的两个视点中的每一个将每个多边形的背面在视线方向上透视投影到透视投影面来生成两个视点的纹理图像。绘制部35将两个视点的纹理图像提供给编码器38。

在步骤S16，绘制部35基于多边形生成分别对应于两个视点的纹理图像的深度图像，并将深度图像提供给编码器38。

在步骤S17，全向图像生成部36通过将从区域提取部31提供的背景区域中的N个拾取图像透视投影到以3D模型坐标系的原点为中心的规则八面体来生成全向图像的纹理图像，并将全向图像的纹理图像提供给分辨率降低部37。

在步骤S18，类似于拾取图像，全向图像生成部36将从区域提取部31提供的背景区域中的N个深度图像透视投影到正八面体，以生成全向图像的深度图像，并将全向图像的深度图像提供给分辨率降低部37。

在步骤S19，分辨率降低部37将从全向图像生成部36提供的全向图像的纹理图像和深度图像转换成分辨率较低的纹理图像和深度图像，并将全向图像的分辨率降低的纹理图像和深度图像提供给编码器38。

在步骤S20，编码器38对从绘制部35提供的两个视点的纹理图像和深度图像以及从分辨率降低部37提供的全向图像的纹理图像和深度图像进行编码。编码器38将两个视点的视点纹理流和视点深度流以及作为编码结果生成的全向纹理流和全向深度流提供给存储部39以进行存储。

在步骤S21，发送部40读出存储在存储部39中的两个视点的视点纹理流和视点深度流以及全向纹理流和全向深度流，并将其发送。然后，处理结束。

生成设备12通过以上述方式针对跨越3D模型坐标系的原点彼此相对的两个视点，在每个视点的视线方向上将多边形的背面透视投影到透视投影面来生成两个视点的纹理图像和深度图像。因此，与通过透视投影多边形的正面来生成纹理图像和深度图像的替代情况相比，生成的两个视点的纹理图像和深度图像可以在更多的区域中表示主成像对象的多边形的三维结构。

(显示设备的配置示例)

图12是描述作为应用本公开的图像处理设备的显示设备的第一实施例的配置示例的框图。

图12的显示设备200接收从图1的生成设备12发送的两个视点的视点纹理流和视点深度流以及全向纹理流和全向深度流，以生成预定视点的纹理图像。

具体地，显示设备200包括接收部201、存储部202、解码器203、重构部204、绘制部205和显示部206。

显示设备200的接收部201接收从生成设备12发送的两个视点的视点纹理流和视点深度流以及全向纹理流和全向深度流，并将它们提供给存储部202。

存储部202存储从接收部201提供的两个视点的视点纹理流和视点深度流以及全向纹理流和全向深度流。

解码器203从存储部202读出两个视点的视点纹理流和视点深度流以及全向纹理流和全向深度流，并对它们进行解码。解码器203将获得的作为解码结果的两个视点的纹理图像和深度图像以及全向纹理图像和全向深度图像提供给重构部204。

重构部204使用提供给解码器203的两个视点的纹理图像和深度图像的像素在3D模型坐标系中重构主成像对象的三维结构。如上所述，与通过透视投影多边形的正面来生成纹理图像和深度图像的替代情况相比，由生成设备12生成的两个视点的纹理图像和深度图像可以在更多的区域中表示主成像对象的多边形的三维结构。因此，使用两个视点的解码纹理图像和深度图像重构三维结构的主成像对象的区域的数量大于通过透视投影多边形的正面来生成两个视点的纹理图像和深度图像的替代情况。

此外，重构部204使用从解码器203提供的全向图像的纹理图像和深度图像在3D模型坐标系中重构背景区域的三维结构。重构部204将主成像对象和背景区域的三维结构的位置信息和颜色信息提供给绘制部205。

绘制部205(图像生成部)基于从重构部204提供的主成像对象和背景区域的三维结构的位置信息和颜色信息，生成观察者等指定的3D模型坐标系中的视点、视线方向和视场角的纹理图像作为显示图像。绘制部205将生成的显示图像提供给显示部206。

显示部206显示从绘制部205提供的显示图像。因此，观察者可以从任意位置观察主成像对象，例如，在主成像对象周围。

(第一种重构方法的描述)

图13是示出第一重构方法的视图。

注意，为了便于描述，假设在图13的示例中，两个视点的纹理图像和深度图像的分辨率为4(水平)×4(垂直)像素。此外，图13示出了使用两个视点中的一个视点O1的纹理图像和深度图像重构主成像对象的三维结构的情况。

第一种重构方法是使用点云重构三维结构的方法。具体地，如图13所示，根据第一重构方法，重构部204基于视点O1生成视线方向V1、视场角2θ、纹理图像220上的采样点231的与视点O1的纹理图像220的每个像素221相对应的位置(u，v)以及与纹理图像220相对应的深度图像的每个像素221的像素值、采样点231在3D模型坐标系中的三维坐标(X，Y，Z)。

此外，重构部204将作为纹理图像220的每个像素221的像素值的YCbCr值转换成RGB值，并将它们确定为与像素221相对应的采样点231的RGB值。重构部204将采样点231的RGB值的点绘制到采样点231的三维坐标值(X，Y，Z)，以重构主成像对象的三维结构。重构部204将采样点231的三维坐标(X，Y，Z)作为主成像对象的三维结构的位置信息提供给绘制部205，并将采样点231的RGB值作为主成像对象的三维结构的颜色信息提供给绘制部205。

(第二种重构方法的描述)

图14是示出第二重构方法的视图。

注意，为了便于描述，假设在图14的示例中，两个视点的纹理图像和深度图像的分辨率为4(水平)×3(垂直)像素。此外，图14描述了使用两个视点中的一个视点O1的纹理图像和深度图像重构主成像对象的三维结构的情况。

第二种重构方法是使用三角形面片重构三维结构的方法。具体地，如图14左侧所示，在第二重构方法中，重构部204生成与视点O1的纹理图像240上的像素241相对应的采样点251。重构部204连接与纹理图像240的所有像素相对应的采样点251中的三个相邻采样点251，以生成顶点位于三个相邻采样点251处的三角形面片252。

然后，重构部204基于视点O1，生成视线方向V1、视场角2θ、纹理图像240上的每个采样点251的位置(u，v)和与纹理图像240相对应的深度图像的每个像素241的像素值、采样点251在3D模型坐标系中的三维坐标(X，Y，Z)。

然后，重构部204基于采样点251的三维坐标(X，Y，Z)在3D模型坐标系中布置与采样点251相对应的采样点261，如图14右侧所示。此外，重构部204连接与构成三角形面片252的顶点的三个采样点251相对应的采样点261，以生成三角形面片262。

此外，重构部204针对每个三角形面片262，将构成与三角形面片262相对应的三角形面片252的像素241的YCbCr值转换成RGB值，并使用RGB值来生成三角形面片262的RGB值。重构部204针对每个三角形面片262将三角形面片262的RGB值的纹理粘贴到三角形面片262。由此，重构部204重构主成像对象的三维结构。重构部204将作为三角形面片262的顶点的采样点261的三维坐标(X，Y，Z)作为主成像对象的三维结构的位置信息提供给绘制部205。此外，重构部204将三角形面片262的RGB值作为主成像对象的三维结构的颜色信息提供给绘制部205。

虽然参考图13和14描述了从视点O1的纹理图像和深度图像重构主成像对象的三维结构的方法，但是从视点O2的纹理图像和深度图像重构主成像对象的三维结构的方法和从全向图像的纹理图像和深度图像重构背景区域的三维结构的方法与刚才描述的方法类似。

(显示设备的处理描述)

图15是示出图12的显示设备200的显示处理的流程图。例如，当观察者在两个视点的视点纹理流和视点深度流以及全向纹理流和全向深度流存储在存储部202中的状态下发出显示显示图像的请求时，该显示处理开始。

在图15的步骤S32，解码器203读出并解码来自存储部202的两个视点的视点纹理流和视点深度流以及全向纹理流和全向深度流。解码器203将获得的作为解码结果的两个视点的纹理图像和深度图像以及全向纹理图像和全向深度图像提供给重构部204。

在步骤S33，重构部204使用从解码器203提供的两个视点的纹理图像和深度图像在3D模型坐标系中重构主成像对象的三维结构。重构部204将主成像对象的三维结构的位置信息和颜色信息提供给绘制部205。

在步骤S34，重构部204使用从解码器203提供的全向图像的纹理图像和深度图像在3D模型坐标系中重构背景区域的三维结构。重构部204将背景区域的三维结构的位置信息和颜色信息提供给绘制部205。

在步骤S35，绘制部205基于从重构部204提供的主成像对象和背景区域的三维结构的位置信息和颜色信息，生成具有观察者等指定的3D模型坐标系中的视点、视线方向和视场角的纹理图像作为显示图像。绘制部205将生成的显示图像提供给显示部206。

在步骤S36，显示部206显示从绘制部205提供的显示图像，并结束处理。

显示设备200使用由生成设备12以上述方式生成的两个视点的纹理图像和深度图像来生成显示图像。因此，与通过透视投影两个视点中的每一个的多边形的正面而生成的两个视点的纹理图像和深度图像的替代情况相比，可以在更多区域中重构主观察对象的三维结构，并从三维结构生成显示图像。结果，提高了显示图像的画面质量。

<第二实施例>

(生成设备的配置示例)

图16是描述作为应用本公开的信息处理设备的生成设备的第二实施例的配置示例的框图。

在图16所示的组件中，与图1的组件相同的组件用相同的附图标记表示。适当地省略重复描述。

图16的生成设备300的配置与图1的生成设备12的配置的不同之处在于，新设置了视点控制部301，并且设置了绘制部302、存储部303和发送部304来代替绘制部35、存储部39和发送部40。在生成设备300中，两个视点的位置是可变的，并且两个视点的位置被设置为使得两个视点的纹理图像和深度图像表示主成像对象的多边形的最大数量区域的三维结构。

具体地，视点控制部301(视点信息生成部)围绕原点在预定范围内沿预定方向使将横跨3D模型坐标系的原点彼此相对的当前一对两个视点互连并通过原点的直线连续地旋转预定量，以确定一对两个视点的包括当前一对视点在内的多个候选。一对两个视点的候选的生成频率没有特别限制，并且可以针对每个帧、每个序列、每个GOP(图片组)等来确定候选的生成频率。视点控制部301生成表示一对两个视点的多个候选的三维坐标的视点信息，并将该视点信息提供给绘制部302。

此外，在与从绘制部302提供的视点信息相对应的一对两个视点的候选不是当前一对两个视点的情况下，视点控制部301将当前一对两个视点改变为一对两个视点的候选，并且生成包括该对两个视点的视点信息的表。视点控制部301将该表输出到存储部303。

在视点控制部301提供了多条视点信息的情况下，绘制部302(图像生成部)针对每条视点信息，将由多边形生成部34针对一对两个视点的其三维坐标由视点信息指示的候选的每个视点生成的每个多边形的背面透视投影到透视投影面，以生成一对两个视点的候选的纹理图像。

然后，绘制部302从一对两个视点的候选中选择一对两个视点的在生成纹理图像时透视投影的多边形背面区域最大的候选作为最佳的一对两个视点。具体地，绘制部302从一对两个视点的候选中选择在生成两个视点的纹理图像被时其背面被透视投影的多边形的数量最大的一对两个视点作为最佳的一对两个视点。

绘制部302保留该最佳的一对两个视点的视点信息作为当前一对两个视点的视点信息，并将该视点信息提供给视点控制部301。此外，视点控制部301将该最佳的一对两个视点的纹理图像确定为一对两个视点的最终纹理图像。

相反，在视点控制部301未提供多条视点信息的情况下，绘制部302将其三维坐标由保留的视点信息指示的当前一对两个视点的每个视点的每个多边形的背面透视投影到透视投影面，以生成当前一对两个视点的纹理图像。

绘制部302基于每个多边形生成分别与当前一对两个视点的纹理图像相对应的深度图像。绘制部302将当前一对两个视点的纹理图像和深度图像提供给编码器38。

存储部303存储从编码器38提供的两个视点的视点纹理流和视点深度流以及全向纹理流和全向深度流。此外，存储部303存储从视点控制部301提供的表。

发送部304读出并发送两个视点的视点纹理流和视点深度流、全向纹理流和全向深度流，以及存储在存储部39中的表。

(两个视点与能够表示三维结构的区域之间的关系描述)

图17和18是示出两个视点与能够表示三维结构的区域之间的关系的视图。

在主成像对象的多边形形成图17的机器人320的情况下，图18示出了沿着相对于机器人320的安装面水平的aa’截面截取的示意图。具体地，机器人320的aa’横截面包括机器人320的左臂321、躯干322和右臂323。

在这种情况下，如图18的A所示，当两个视点之间的一个视点O1位于aa’横截面上的左臂321的左侧，而另一个视点O2位于右臂323的右侧时，左臂321右侧的背面被透视投影到视点O1的纹理图像。同时，右臂323左侧的背面被透视投影到视点O2的纹理图像。

然而，不仅在视点O1的纹理图像中，而且在视点O2的纹理图像中，躯干322的背面被存在于前方的左臂321或右臂323阻挡，因此未被透视投影。

相反，当两个视点之中的一个视点O1’设置在aa’截面上的左臂321、躯干322和右臂323的上侧，而另一视点O2’位于下侧时，如图18的B所示，则左臂321、躯干322和右臂323的下侧的背面被透视投影到视点O1’的纹理图像。同时，左臂321、躯干322和右臂323的上侧的背面被透视投影到视点O2’的纹理图像。

如上所述，在主成像对象的多边形由多个部分的多边形构成的情况下，当不同部分的多边形在两个视点中的每一个的深度方向上排列时，主成像对象的透视投影到两个视点的纹理图像的多边形的区域减小。此外，尽管未示出，但是在主成像对象的多边形的形状是凹入形状的情况下，当二者之间保持有空腔的相对端部部分处于两个视点的深度方向上时，由于前面的端部部分阻挡了后面的端部部分，因此主成像对象的多边形的要透视投影到两个视点的纹理图像的区域减小。

因此，绘制部302为一对两个视点的多个候选生成两个视点的纹理图像，并为一对两个视点选择要透视投影的多边形背面区域最大的候选作为最佳视点对。

(一对两个视点的候选的第一确定方法描述)

图19是示出一对两个视点的候选的第一确定方法的视图。

在图19的示例中，主成像对象的多边形形成图17的机器人320。此外，当前一对两个视点中的一个视点O1在图17的aa’截面上位于左臂321的左侧，而另一视点O2在图17的aa’截面上位于右臂323的右侧。其类似于以下在图20中所述。

如图19所示，在第一确定方法中，视点控制部301在预定范围内围绕原点O在一个方向上使将视点O1和视点O2互连并通过原点O的直线341连续旋转预定量，以确定一对两个视点的包括当前一对两个视点在内的候选。具体地，在第一确定方法中，一对两个视点的候选在以原点O为中心并以直线341为直径的圆上移动。

在图19的示例中，视点控制部301在非常小的角度范围θr内沿顺时针方向或逆时针方向在平行于aa’横截面的方向上使直线341连续旋转预定量，以确定一对两个视点的包括当前一对两个视点在内的候选。

(一对两个视点的候选的第二确定方法描述)

图20是示出一对两个视点的候选的第二确定方法的视图。

如图20所示，根据第二确定方法，视点控制部301通过在预定范围内围绕原点O在两个或更多个方向上使直线341连续旋转预定量来确定一对两个视点的包括当前一对两个视点在内的候选。具体地，在第二确定方法中，一对两个视点的候选在以原点O为中心并以直线341为直径的球面上移动。

在图20的示例中，视点控制部301通过在非常小的角度范围θr内沿顺时针方向或逆时针方向在平行于aa’横截面的方向上使直线341连续旋转预定量来确定一对两个视点的候选。此外，视点控制部301通过在非常小的角度范围

内沿顺时针方向或逆时针方向在垂直于aa’横截面的方向上使直线341连续旋转预定量来确定一对两个视点的候选。

如上所述，在第一和第二确定方法中，视点控制部301通过在非常小的角度范围内使当前将视点O1和视点O2互连的直线341旋转来确定一对两个视点的候选。因此，该一对两个视点逐步变化，使得要透视投影的多边形背面的区域增加。因此，即使在以帧为单位确定一对两个视点的情况下，这一对两个视点在帧之间也不会有很大的变化。结果，可以防止一对两个视点在帧之间的大变化引起纹理图像和深度图像的编码效率降低。

(表示例)

图21是描述由图16的视点控制部301生成的表的示例的视图。

如图21所示，在表中，针对每个视点记录了指示视线方向的视点信息以及方位角和仰角。

方位角是由视线方向和Z轴限定的XZ平面方向上的角度，仰角是由视线方向和XZ平面限定的角度。当从视点延伸的Z轴的正方向上的矢量在XZ平面上水平旋转方位角，然后在Y轴方向上向上或向下旋转仰角时的线表示视线方向。

在图21的示例中，3D模型坐标系的Z轴方向是从两个视点中的一个指向另一个的方向。因此，两个视点之中的一个视点处的方位角和仰角是0度，并且视点信息是三维坐标(0，0，-1.0)。此外，另一视点的方位角为-180度，并且三维坐标为(0，0，1.0)。

此外，在表中，针对每个视点记录了旋转角度，该旋转角度是透视投影面围绕视线方向在旋转方向上的角度。此外，在表中，对于每个视点，记录了视点的纹理图像的作为横向方向上的视场角的横向视场角和作为垂直方向上的视场角的垂直视场角，以及作为横向方向上的像素数的横向像素数和作为垂直方向上的像素数的垂直像素数。在图21的示例中，两个视点的旋转角度均为0度；两个视点的横向视场角和垂直视场角各为90度；两个视点的横向像素数和垂直像素数各为1024。

(图像处理设备的处理描述)

图22和23是示出图16的生成设备300的生成过程的流程图。该生成处理针对由N个成像设备11获取的N个拾取图像和深度图像的每个帧执行。

图22的步骤S51至S54的处理类似于图11的步骤S11至S14的处理。

在步骤S55，视点控制部301判定处理目标的帧是否是顶部帧。在步骤S55判定处理目标的帧不是顶部帧的情况下，即，在已经设置了当前一对两个视点的情况下，处理进入步骤S56。

在步骤S56，视点控制部301基于一对两个视点的候选的生成频率，即，基于一对两个视点的更新频率，判定是否要确定一对两个视点的多个候选。例如，在一对两个视点的候选的生成频率是以帧为单位的情况下，视点控制部301判定恒定地确定一对两个视点的多个候选。替代地，在一对两个视点的候选的生成频率是以序列为单位或以GOP为单位的情况下，当处理目标的帧是序列或GOP的顶部帧时，视点控制部301判定确定一对两个视点的多个候选。

在步骤S56判定要确定一对两个视点的多个候选的情况下，处理进入步骤S57。在步骤S57，视点控制部301通过第一或第二确定方法确定一对两个视点的多个候选。视点控制部301生成一对两个视点的多个候选的视点信息，并将其提供给绘制部302。

在步骤S58，针对每条视点信息，绘制部302针对其三维坐标由该条视点信息指示的一对两个视点的候选的每个视点，将每个多边形的背面透视投影到透视投影面，以生成一对两个视点的候选的纹理图像。

在步骤S59，绘制部302从一对两个视点的候选中选择当要生成纹理图像时要透视投影的多边形背面区域最大的候选作为最佳的一对两个视点。绘制部302保留最佳的一对两个视点的视点信息作为当前一对两个视点的视点信息，并将该视点信息提供给视点控制部301。此外，视点控制部301将最佳的一对两个视点的纹理图像确定为最终的当前一对两个视点的纹理图像。

在步骤S60，视点控制部301判定与从绘制部302提供的视点信息相对应的最终一对两个视点是否是当前一对两个视点。在步骤S60判定最终一对两个视点不是当前一对两个视点的情况下，处理进入步骤S61。

在步骤S61，视点控制部301生成包括从绘制部302提供的视点信息的表，并将该表提供给存储部303以进行存储。

在步骤S62，视点控制部301将最佳的一对两个视点设置为当前一对两个视点，并且将处理进入图23中的步骤S65。

相反，在步骤S55判定处理目标的帧是顶部帧的情况下，即，在尚未设置当前一对两个视点的情况下，处理进入步骤S63。

在步骤S63，视点控制部301将当前一对两个视点设置为初始值，并使处理进入步骤S64。

相反，在步骤S56，在判定将不会确定一对两个视点的多个候选的情况下，绘制部302针对其三维坐标由保留的视点信息表示的当前一对两个视点的每个视点，将每个多边形的背面透视投影到透视投影面，以生成当前一对两个视点的纹理图像。然后，处理进入图23的步骤S65。

相反，在步骤S60，在判定最佳的一对两个视点不是当前一对两个视点的情况下，由于不需要改变当前一对两个视点，处理跳过步骤S61和S62，进入图23的步骤S65。

在图23的步骤S65，绘制部302基于多边形生成分别与当前一对两个视点的纹理图像相对应的深度图像。绘制部302将当前一对两个视点的纹理图像和深度图像提供给编码器38。

由于步骤S66至S69的处理类似于图11的步骤S17至S20的处理，因此省略了对这些步骤的描述。

在步骤S70，发送部304从存储部39读出并发送两个视点的视点纹理流和视点深度流、全向纹理流和全向深度流，以及表。然后，处理结束。

以此方式，生成设备300确定一对两个视点，使得两个视点的纹理图像和深度图像可以表示更多区域的三维结构。因此，可以使用两个视点的纹理图像和深度图像来表示更多区域的三维结构。

除了在重构部204进行重构时使用表之外，第二实施例中的显示设备的配置与图12的显示设备200的配置相同。具体地，在第二实施例中，因为该一对两个视点不具有预先确定的固定值，因此重构部204在重构时使用记录在表中的一对两个视点的视点信息和视线信息来生成采样点的三维坐标(X，Y，Z)。

应当注意，虽然在第一和第二实施例中，仅主成像对象的多边形的背面透视投影到纹理图像，但是背景区域的多边形的正面也可以透视投影到纹理图像。

<纹理图像的不同生成方法>

图24是示出这种情况下的纹理图像的生成方法的视图。

在图24的示例中，形成了主成像对象的球体81。

在这种情况下，除了形成球体81的多边形之外，在视点O1在深度方向上的位置比球体81的位置更靠后侧的位置处生成了背景区域361的多边形，并且在视点O2在深度方向上的位置比球体81的位置更靠后侧的位置处生成了背景区域362的多边形。为了生成背景区域361和背景区域362的多边形，使用了由区域提取部31提取的背景区域中的N个拾取图像和深度图像。

此外，对于每个视点，形成球体81的多边形的背面以及背景区域361和背景区域362的每个多边形的正面被透视投影以生成纹理图像。

结果，如图24所示，在视点O1的纹理图像上绘制了包括在视点O1的视场角2θ中的球体81的背面的区域153A和来自背景区域361的正面内的未被区域153A阻挡的区域361A。此外，在视点O2的纹理图像上绘制了包括在视点O2的视场角2θ中的球体81的背面的区域153B和来自背景区域362的正面内的未被区域153B阻挡的区域362A。

在以上述方式生成纹理图像的情况下，与仅主成像对象的多边形的背面透视投影到纹理图像的替代情况相比，显示设备200可以高精度地生成显示图像的背景区域。此外，显示设备200也可以通过仅绘制存在于视点O1和视点O2的视场角2θ内的三维结构来从显示图像中删除背景区域。应当注意，在这种情况下，生成设备12(300)可以不生成全向纹理流和全向深度流。

<纹理图像的不同示例>

图25是描述纹理图像的不同示例的视图。

尽管在前述描述中，纹理图像是一个视点的纹理图像，但是其可以是与该视点相对应的左眼视点和右眼视点的纹理图像的组合。

具体地，如图25的A所示，纹理图像可以是例如打包图像420，其中与一个视点相对应的左眼视点的纹理图像421和另一右眼视点的纹理图像422在横向(水平方向)上被打包。

替代地，如图25的B所示，纹理图像可以是例如打包图像440，其中纹理图像421和另一纹理图像422在纵向(垂直方向)上被打包。

在纹理图像是如上所述对左眼视点和右眼视点的图像进行打包的纹理图像的情况下，所获得的作为解码结果的纹理图像被分成左眼视点的纹理图像和右眼视点的纹理图像。然后，为每只眼睛生成了三维结构。

然后，基于与观察者等指定的视点相对应的左眼视点、视线方向和视场角，从左眼三维结构生成左眼显示图像。同时，基于与观察者等指定的视点相对应的右眼视点、视线方向和视场角，从右眼三维结构生成右眼显示图像。

在显示部206可进行3D显示的情况下，显示部206将左眼显示图像显示为左眼图像，并将右眼显示图像显示为右眼图像，以对显示图像进行3D显示。另一方面，在显示部206不可进行3D显示的情况下，显示部206对左眼的显示图像或右眼的显示图像进行2D显示。

应当注意，虽然在第一和第二实施例中视点的数量是两个，但是视点的数量不限于两个。此外，这两个视点可以不彼此相对。视线方向可以是从视点到原点之外的位置的方向。

此外，生成设备12(300)可以读出存储在存储部39(303)中的两个视点的视点纹理流和视点深度流以及全向视点流和全向深度流，并且仅当从显示设备200接收到请求时，才将它们发送到显示设备200。这同样适用于表的发送。

此外，同样在第一实施例中，与第二实施例中类似，生成设备12可以生成包括预先确定的两个视点的视点信息的表，并将该表发送到显示设备200。

<第三实施例>

应用本公开的分配***的第三实施例的配置与上述配置相同，例如，与图1的生成设备12或图12中描述的显示设备200的配置相同，除了进行tan轴投影(下文中将描述细节)来代替透视投影之外。因此，在下文中，仅给出tan轴投影的描述。

(投影面坐标系描述)

图26是示出投影面的坐标系的视图。

应当注意，在第三实施例中，投影面是二维平面，当生成设备12生成高分辨率图像时，映射到球体的全向图像被tan轴投影到该二维平面，或者是观察范围，当显示设备200生成显示图像时，3D模型图像被投影到该观察范围内。

在图26的示例中，在3D模型的三维xyz坐标系中设置了z为-1.0的投影面451。在这种情况下，投影面451的中心O’是原点，投影面451的水平方向是s方向，而垂直方向是t方向的二维st坐标系是投影面451的坐标系。

应当注意，在以下描述中，使用坐标(s，t)和-1.0(即从原点O到投影面451的距离)将从xyz坐标系的原点O指向st坐标系的坐标(s，t)的向量452称为向量(s，t，-1.0)。

(tan轴投影描述)

图27是示出tan轴投影(切向轴投影)的视图。

图27是从z的负方向观察投影面451的视图。在图27的示例中，在st坐标系中，投影面451的s值和t值的最小值为-1.0，最大值为1.0。

在这种情况下，在透视投影中，在投影面451上设置了投影点，使得从原点O指向投影面451上的投影点的投影矢量成为矢量(s’，t’，-1.0)。应当注意，s’表示在从-1.0到1.0的s值范围内提供的每个预定距离处的值，t’表示在从-1.0到1.0的t值范围内提供的每个预定距离处的值。因此，透视投影中的投影点在投影面451上是均匀的。

相反，如果投影面451的视场角是θw(在图27的示例中，π/2)，则在tan轴投影中，在投影面451上设置投影点，使得投影矢量是矢量(tan(s’*θw/2)、tan(t’*θw/2)，-1.0)。

具体地，如果s’*θw/2由θ表示，t’*θw/2由

表示，则向量(tan(s’*θw/2)，tan(t’*θw/2)，-1.0)变成向量(tanθ，/>

-1.0)。此时，如果视场角θw接近π，则tanθ和/>

发散到无穷大。因此，矢量(tanθ，/>

-1.0)被校正为矢量/>

使得tanθ和/>

不发散到无穷大，并且在投影面451上设置投影点，使得投影矢量成为矢量/>

因此，在tan轴投影中，由与彼此相邻的投影点相对应的每个投影向量限定的角度变得相等。

应当注意，类似于对数轴(对数标度)，tan(s’*θw/2)和tan(t’*θw/2)被理解为tan轴的s’和t’。因此，在本说明书中，投影矢量为矢量(tan(s’*θw/2)，tan(t’*θw/2)、-1.0)的投影被称为tan轴投影。

<第四实施例>

(应用本公开的计算机的描述)

虽然上述一系列处理可以由硬件执行，但是也可以由软件执行。在由软件执行一系列处理的情况下，将构成软件的程序安装到计算机中。这里，计算机包括结合在专用硬件中的计算机，例如可以通过安装各种程序等来执行各种功能的通用个人计算机等。

图28是描述根据程序执行上述一系列处理的计算机硬件的配置示例的框图。

在计算机500中，CPU(中央处理单元)501、ROM(只读存储器)502和RAM(随机存取存储器)503通过总线504彼此连接。

输入/输出接口505进一步连接到总线504。输入部506、输出部507、存储部508、通信部509和驱动器510连接到输入/输出接口505。

输入部506包括键盘、鼠标、麦克风等。输出部507包括显示器、扬声器等。存储部508包括硬盘、非易失性存储器等。通信部509包括网络接口等。驱动器510驱动可移动介质511，例如磁盘、光盘、磁光盘、半导体存储器等。

在以上述方式配置的计算机500中，CPU 501通过输入/输出接口505和总线504将例如存储在存储部508中的程序加载到RAM 503中，以执行上述一系列处理。

由计算机500(CPU 501)执行的程序可以被记录到可移动介质511中并作为可移动介质511提供，例如，作为封装介质等。此外，该程序可以通过有线或无线传输介质来提供，例如局域网、互联网、数字卫星广播等。

在计算机500中，通过在驱动器510上安装可移动介质511，可以通过输入/输出接口505将程序安装到存储部508中。此外，通信部509可以通过有线或无线传输介质接收该程序，并将其安装到存储部508中。此外，该程序可以预先安装到ROM 502或存储部508中。

应当注意，由计算机500执行的程序可以是根据本说明书中描述的顺序按时间序列执行处理的程序，或者可以是并行执行处理或在必要的定时(例如当调用程序时)执行处理的程序等。

<应用示例>

根据本公开的技术可以应用于各种产品。例如，根据本公开的技术可以实现为结合在各种类型的移动体中的设备，例如汽车、电动汽车、混合电动汽车、摩托车、自行车、个人移动设备、飞机、无人机、船舶、机器人、建筑机械、农业机械(拖拉机)等。

图29是描述作为可应用根据本公开实施例的技术的移动体控制***的示例的车辆控制***7000的示意性配置的示例的框图。车辆控制***7000包括经由通信网络7010彼此连接的多个电子控制单元。在图29所示的示例中，车辆控制***7000包括驱动***控制单元7100、车身***控制单元7200、电池控制单元7300、车外信息检测单元7400、车内信息检测单元7500和集成控制单元7600。将多个控制单元彼此连接的通信网络7010可以例如是符合任意标准的车内通信网络，例如控制器局域网(CAN)、本地互连网络(LIN)、局域网(LAN)、FlexRay等。

每个控制单元包括：微型计算机，其根据各种程序执行算术处理；存储部，其存储由微型计算机执行的程序、用于各种操作的参数等；和驱动电路，其驱动各种控制目标装置。每个控制单元还包括：网络接口(I/F)，用于经由通信网络7010与其他控制单元进行通信；和通信I/F，用于通过有线通信或无线电通信与车辆内外的装置、传感器等进行通信。图29所示的集成控制单元7600的功能配置包括微型计算机7610、通用通信I/F 7620、专用通信I/F7630、定位部7640、信标接收部7650、车内装置I/F 7660、声音/图像输出部7670、车载网络I/F 7680和存储部7690。其它控制单元类似地包括微型计算机、通信I/F、存储部等。

驱动***控制单元7100根据各种程序控制与车辆的驱动***相关的装置的操作。例如，驱动***控制单元7100用作用于产生车辆驱动力的驱动力产生装置(例如内燃机、驱动电机等)、用于将驱动力传递到车轮的驱动力传递机构、用于调节车辆转向角的转向机构、用于产生车辆制动力的制动装置等的控制装置。驱动***控制单元7100可以具有作为防抱死制动***(ABS)、电子稳定性控制(ESC)等的控制装置的功能。

驱动***控制单元7100与车辆状态检测部7110连接。车辆状态检测部7110例如包括检测车身轴向旋转运动角速度的陀螺仪传感器、检测车辆加速度的加速度传感器、以及用于检测加速踏板的操作量、制动踏板的操作量、方向盘的转向角、发动机速度或车轮转速等的传感器中的至少一个。驱动***控制单元7100使用从车辆状态检测部7110输入的信号执行算术处理，并且控制内燃机、驱动马达、电动转向装置、制动装置等。

车身***控制单元7200根据各种程序控制为车身设置的各种装置的操作。例如，车身***控制单元7200用作无钥匙进入***、智能钥匙***、电动车窗装置或各种灯(例如前照灯、倒车灯、刹车灯、转向信号灯、雾灯等)的控制装置。在这种情况下，可以将从移动装置发送的无线电波输入到车身***控制单元7200，作为按键或各种开关的信号的替代。车身***控制单元7200接收这些输入无线电波或信号，并控制车辆的门锁装置、电动车窗装置、灯等。

电池控制单元7300根据各种程序控制作为驱动马达的电源的二次电池7310。例如，从包括二次电池7310的电池装置向电池控制单元7300提供关于电池温度、电池输出电压、电池剩余电量等的信息。电池控制单元7300使用这些信号执行算术处理，并且执行用于调节二次电池7310的温度的控制，或者控制为电池装置提供的冷却装置等。

车外信息检测单元7400检测关于包括车辆控制***7000的车辆的外部的信息。例如，车外信息检测单元7400与成像部7410和车外信息检测部7420中的至少一个连接。成像部7410包括飞行时间(ToF)相机、立体相机、单目相机、红外相机和其他相机中的至少一个。车外信息检测部7420例如包括用于检测当前大气条件或天气条件的环境传感器和用于检测包括车辆控制***7000的车辆周边的另一车辆、障碍物、行人等的周边信息检测传感器中的至少一个。

环境传感器例如可以是检测雨的雨滴传感器、检测雾的雾传感器、检测阳光强度的阳光传感器和检测降雪的雪传感器中的至少一个。周边信息检测传感器可以是超声波传感器、雷达装置和LIDAR装置(光检测和测距装置或激光成像检测和测距装置)中的至少一个。成像部7410和车外信息检测部7420中的每一个可以设置为独立的传感器或装置，或者可以设置为集成有多个传感器或装置的装置。

图30描述了成像部7410和车外信息检测部7420的安装位置的示例。成像部7910、7912、7914、7916和7918例如设置在车辆7900的前鼻、侧视镜、后保险杠和后门上的位置以及车辆内部挡风玻璃上部的位置中的至少一个位置处。设置在前鼻的成像部7910和设置在车辆内部挡风玻璃上部的成像部7918主要获得车辆7900前部的图像。设置在侧视镜的成像部7912和7914主要获得车辆7900侧面的图像。设置在后保险杠或后门的成像部7916主要获得车辆7900后部的图像。设置在车辆内部挡风玻璃上部的成像部7918主要用于检测前方车辆、行人、障碍物、信号、交通标志、车道等。

顺便提及，图30描述了各个成像部7910、7912、7914和7916的拍摄范围的示例。成像范围a表示设置在前鼻的成像部7910的成像范围。成像范围b和c分别表示设置在侧视镜的成像部7912和7914的成像范围。成像范围d表示设置在后保险杠或后门的成像部7916的成像范围。例如，通过叠加由成像部7910、7912、7914和7916成像的图像数据，可以获得从上方观察车辆7900的鸟瞰图像。

设置在车辆7900的前部、后部、侧面和拐角处以及车辆内部挡风玻璃的上部的车外信息检测部7920、7922、7924、7926、7928和7930可以是例如超声波传感器或雷达装置。例如，设置在车辆7900的前鼻、后保险杠、车辆7900的后门和车辆内部挡风玻璃的上部的车外信息检测部7920、7926和7930可以是LIDAR装置。这些车外信息检测部7920至7930主要用于检测前方车辆、行人、障碍物等。

回到图29，将继续进行描述。车外信息检测单元7400使成像部7410对车辆外部的图像进行成像，并接收成像图像数据。另外，车外信息检测单元7400从与车外信息检测单元7400连接的车外信息检测部7420接收检测信息。在车外信息检测部7420是超声波传感器、雷达装置或LIDAR装置的情况下，车外信息检测单元7400发送超声波、电磁波等，并接收所接收到的反射波的信息。基于接收到的信息，车外信息检测单元7400可以执行检测对象(例如人、车辆、障碍物、标志、路面上的字符等)的处理，或者检测距该对象的距离的处理。车外信息检测单元7400可以基于接收到的信息执行识别降雨、雾、路面状况等的环境识别处理。车外信息检测单元7400可以基于接收到的信息计算距车外对象的距离。

此外，基于接收到的图像数据，车外信息检测单元7400可以执行识别人、车辆、障碍物、标志、路面上的字符等的图像识别处理，或者检测距其距离的处理。车外信息检测单元7400可以对接收的图像数据进行诸如失真校正、对准等处理，并且组合由多个不同成像部7410成像的图像数据以生成鸟瞰图像或全景图像。车外信息检测单元7400可以使用由成像部7410成像的包括不同成像部分的图像数据来执行视点转换处理。

车内信息检测单元7500检测关于车辆内部的信息。车内信息检测单元7500例如与检测驾驶员状态的驾驶员状态检测部7510连接。驾驶员状态检测部7510可以包括对驾驶员进行成像的相机、检测驾驶员生物信息的生物传感器、收集车辆内部声音的麦克风等。生物传感器例如设置在座椅表面、方向盘等中，并检测坐在座椅上的乘员或握着方向盘的驾驶员的生物信息。基于从驾驶员状态检测部7510输入的检测信息，车内信息检测单元7500可以计算驾驶员的疲劳程度或驾驶员的集中程度，或者可以确定驾驶员是否正在打瞌睡。车内信息检测单元7500可以对通过声音收集获得的音频信号进行处理，例如噪声消除处理等。

集成控制单元7600根据各种程序控制车辆控制***7000内的一般操作。集成控制单元7600与输入部7800连接。输入部7800由能够由乘员进行输入操作的装置实现，例如触摸面板、按钮、麦克风、开关、杆等。可以向集成控制单元7600提供通过对通过麦克风输入的语音进行语音识别而获得的数据。输入部7800可以是例如使用红外线或其他无线电波的远程控制装置，或者支持车辆控制***7000的操作的外部连接装置，例如移动电话、个人数字助理(PDA)等。输入部7800可以是例如相机。在这种情况下，乘员可以通过手势输入信息。替代地，可以输入通过检测乘员佩戴的可穿戴装置的运动而获得的数据。此外，输入部7800可以例如包括输入控制电路等，该输入控制电路基于乘员等使用上述输入部7800输入的信息生成输入信号，并且将生成的输入信号输出到集成控制单元7600。乘员等通过操作输入部7800向车辆控制***7000输入各种数据或发出进行处理操作的指令。

存储部7690可以包括存储由微型计算机执行的各种程序的只读存储器(ROM)和存储各种参数、操作结果、传感器值等的随机存取存储器(RAM)。此外，存储部7690可以由诸如硬盘驱动器(HDD)等磁存储装置、半导体存储装置、光存储装置、磁光存储装置等来实现。

通用通信I/F 7620是广泛使用的通信I/F，该通信I/F协调与外部环境7750中存在的各种设备的通信。通用通信I/F 7620可以实现诸如全球移动通信***(GSM)、全球微波接入互操作性(WiMAX)、长期演进(LTE)、高级LTE(LTE-A)等的蜂窝通信协议，或者诸如无线LAN(也称为无线保真(Wi-Fi))、蓝牙等的另一无线通信协议。通用通信I/F 7620可以例如经由基站或接入点连接到存在于外部网络(例如，互联网、云网络或公司专用网络)上的设备(例如，应用服务器或控制服务器)。此外，通用通信I/F 7620可以使用例如对等(P2P)技术连接到车辆附近存在的终端(该终端例如是驾驶员、行人或商店的终端，或者机器类型通信(MTC)终端)。

专用通信I/F 7630是支持为在车辆中使用而开发的通信协议的通信I/F。专用通信I/F 7630可以实现标准协议，例如，作为车辆环境中的无线接入(WAVE)，其是作为低层的电气和电子工程师协会(IEEE)802.11p和作为高层的IEEE 1609的组合，专用短程通信(DSRC)，或者蜂窝通信协议。专用通信I/F 7630通常执行V2X通信作为一个概念，包括车辆和车辆之间的通信(车辆对车辆)、道路和车辆之间的通信(车辆对基础设施)、车辆和家庭之间的通信(车辆对家庭)以及行人和车辆之间的通信(车辆对行人)中的一个或多个。

定位部7640例如通过从GNSS卫星接收全球导航卫星***(GNSS)信号(例如，来自全球定位***(GPS)卫星的GPS信号)来执行定位，并且生成包括车辆的纬度、经度和高度的位置信息。顺便提及，定位部7640可以通过与无线接入点交换信号来识别当前位置，或者可以从诸如移动电话、个人手持电话***(PHS)或具有定位功能的智能电话之类的终端获得位置信息。

信标接收部7650例如接收从安装在道路等上的无线电台发射的无线电波或电磁波，从而获得关于当前位置、拥堵、封闭道路、必要时间等的信息。顺便提及，信标接收部7650的功能可以包括在上述专用通信I/F 7630中。

车内装置I/F 7660是一个通信接口，其协调微型计算机7610和存在于车辆内的各种车内装置7760之间的连接。车内装置I/F 7660可以使用诸如无线LAN、蓝牙、近场通信(NFC)或无线通用串行总线(WUSB)之类的无线通信协议建立无线连接。此外，车内装置I/F7660可以通过通用串行总线(USB)、高清多媒体接口(HDMI)、移动高清链路(MHL)等经由图中未示出的连接终端(以及如果必要的话，电缆)建立有线连接。车内装置7760可以例如包括乘员拥有的移动装置和可穿戴装置中的至少一个，以及携带到车辆中或附接到车辆的信息装置。车内装置7760还可以包括搜索到任意目的地的路径的导航装置。车内装置I/F7660与这些车内装置7760交换控制信号或数据信号。

车载网络I/F 7680是协调微型计算机7610和通信网络7010之间的通信的接口。车载网络I/F 7680根据通信网络7010支持的预定协议来发送和接收信号等。

集成控制单元7600的微型计算机7610基于经由通用通信I/F 7620、专用通信I/F7630、定位部7640、信标接收部7650、车内装置I/F 7660和车载网络I/F 7680中的至少一个获得的信息，根据各种程序来控制车辆控制***7000。例如，微型计算机7610可以基于获得的关于车辆内外的信息来计算驱动力产生装置、转向机构或制动装置的控制目标值，并且向驱动***控制单元7100输出控制命令。例如，微型计算机7610可以执行旨在实现高级驾驶员辅助***(ADAS)的功能的协作控制，ADAS的功能包括车辆的防撞或减震、基于跟随距离的跟随驾驶、车速保持驾驶、车辆碰撞警告、车辆偏离车道警告等。此外，微型计算机7610可以通过基于所获得的关于车辆周围环境的信息控制驱动力产生装置、转向机构、制动装置等来执行旨在用于自动驾驶的协作控制，这使得车辆自主行驶而不依赖于驾驶员的操作等。

微型计算机7610可以基于经由通用通信I/F 7620、专用通信I/F 7630、定位部7640、信标接收部7650、车内装置I/F 7660和车载网络I/F 7680中的至少一个获得的信息，生成车辆与诸如周围结构、人等的对象之间的三维距离信息，并且生成包括关于车辆当前位置的周围环境的信息的本地地图信息。此外，微型计算机7610可以基于所获得的信息来预测危险，例如车辆碰撞、行人接近、进入封闭道路等，并生成警告信号。警告信号例如可以是用于产生警告声音或点亮警告灯的信号。

声音/图像输出部7670将声音和图像中的至少一个的输出信号发送到输出装置，该输出装置能够可视地或可听地将信息通知给车辆的乘员或车辆外部。在图29的示例中，音频扬声器7710、显示部7720和仪表板7730示出为输出装置。显示部7720可以例如包括车内显示器和平视显示器中的至少一个。显示部7720可以具有增强现实(AR)显示功能。输出装置可以是除这些装置之外的装置，并且可以是诸如耳机的另一装置、诸如由乘员佩戴的眼镜型显示器等的可佩戴装置、投影仪、灯等。在输出装置是显示装置的情况下，显示装置以诸如文本、图像、表格、图表等各种形式可视地显示通过微型计算机7610执行的各种处理获得的结果或从另一控制单元接收的信息。此外，在输出装置是音频输出装置的情况下，音频输出装置将由再现的音频数据或声音数据等构成的音频信号转换成模拟信号，并且可听地输出模拟信号。

顺便提及，在图29所示的示例中，经由通信网络7010彼此连接的至少两个控制单元可以集成到一个控制单元中。替代地，每个单独的控制单元可以包括多个控制单元。此外，车辆控制***7000可包括图中未示出的另一控制单元。此外，可以将由上述控制单元之一执行的部分或全部功能分配给另一个控制单元。即，只要经由通信网络7010发送和接收信息，任何控制单元都可以执行预定的算术处理。类似地，连接到控制单元之一的传感器或装置可以连接到另一控制单元，并且多个控制单元可以经由通信网络7010相互发送和接收检测信息。

应当注意，用于实现根据以上参照图1至27描述的本实施例的生成设备12(300)和显示设备200的功能的计算机程序可以结合到一些控制单元等中。此外，还可以提供一种存储了上述计算机程序的计算机可读记录介质。记录介质可以是例如磁盘、光盘、磁光盘、闪存等。此外，上述计算机程序可以例如通过网络分发，而不使用记录介质。

在上述车辆控制***7000中，可以应用上面参照图1至27描述的根据本实施例的生成设备12(300)和显示设备200。在这种情况下，例如，生成设备12(300)和显示设备200被集成并对应于微型计算机7610、存储部7690和显示部7720。此外，成像设备11对应于成像部7410。在这种情况下，例如，车辆控制***7000可以使用两个视点的纹理图像和深度图像来表示更多区域的三维结构。

此外，以上参考图1至27描述的生成设备12(300)和显示设备200的至少一部分组件可以由图29中描述的用于车辆控制***7000的模块(例如，由一个管芯配置的集成电路模块)来实现。作为替代，参照图1至27描述的生成设备12(300)和显示设备200可以由图29中描述的车辆控制***7000的多个控制单元实现。

应当注意，这里描述的有利效果仅仅是说明性的，而不是限制性的，并且可以获得其他优点。

此外，本公开的实施例不限于上述实施例，并且在不脱离本公开的主题的情况下，各种改变是可能的。

例如，本公开可以假设云计算的配置，其中一个功能由多个设备通过网络共享并协同处理。

此外，上文结合流程图描述的步骤可以由单个设备执行，或者可以由多个设备共享来执行。

此外，在一个步骤包括多个处理的情况下，一个步骤中包括的多个处理可以由单个设备执行，也可以由多个设备共享来执行。

应当注意，本公开可以采用如下所述的这种配置。

(1)一种图像处理设备，包括：

图像生成部，其配置成使用通过将多边形的背面投影到与视线方向垂直的投影面获得的纹理图像和与每个视点的纹理图像相对应的深度图像来生成预定视点的纹理图像，所述视线方向从跨越所述多边形的中心彼此相对的两个视点中的每一个指向所述多边形的所述中心。

(2)根据(1)所述的图像处理设备，其中

所述图像生成部基于指示所述两个视点的位置的视点信息生成所述预定视点的纹理图像。

(3)根据(1)或(2)所述的图像处理设备，其中

使用由多个成像设备获取的拾取图像和与所述拾取图像相对应的深度图像来生成所述多边形，所述多个成像设备布置在与所述多边形相对应的成像对象周围并且包括所述成像对象的在其成像范围内的至少一部分。

(4)根据(3)所述的图像处理设备，其中

所述图像生成部使用利用由所述多个成像设备获取的所述拾取图像生成的全向图像的纹理图像和利用与由所述多个成像设备获取的所述拾取图像相对应的所述深度图像生成的全向图像的深度图像来生成所述预定视点的纹理图像。

(5)一种由图像处理设备执行的图像处理方法，包括：

图像生成步骤，使用通过将多边形的背面投影到与视线方向垂直的投影面获得的纹理图像和与所述每个视点的所述纹理图像相对应的深度图像来生成预定视点的纹理图像，所述视线方向从跨越多边形中心彼此相对的两个视点中的每一个指向所述多边形中心。

(6)一种图像处理设备，包括：

图像生成部，其配置成通过将多边形的背面投影到与视线方向垂直的投影面来生成纹理图像，并且生成与所述每个视点的所述纹理图像相对应的深度图像，所述视线方向从跨越多边形中心彼此相对的两个视点中的每一个指向所述多边形中心。

(7)根据(6)所述的图像处理设备，还包括：

视点信息生成部，其配置成生成指示所述两个视点的位置的视点信息。

(8)根据(7)所述的图像处理设备，其中

所述视点信息生成部生成多条视点信息，并且

所述图像生成部针对由所述视点信息生成部生成的每条视点信息生成所述两个视点的纹理图像，将所述两个视点的与从所述多条视点信息中生成所述两个视点的所述纹理图像时所述多边形的背面区域被投影的所述视点信息相对应的纹理图像设置为所述两个视点的最终纹理图像，并生成分别与所述两个视点的所述最终纹理图像相对应的深度图像。

(9)根据(8)所述的图像处理设备，其中

通过围绕所述多边形的中心在至少一个方向上使将所述两个视点互连并通过所述多边形的所述中心的直线连续旋转预定量来确定所述两个视点。

(10)根据(8)所述的图像处理设备，其中

所述视点信息生成部输出分别与所述两个视点的所述最终纹理图像相对应的视点信息。

(11)根据(6)至(10)中任一项所述的图像处理设备，还包括：

多边形生成部，其配置成使用由多个成像设备获取的拾取图像和与所述拾取图像相对应的深度图像来生成多边形，所述多个成像设备布置在与所述多边形相对应的成像对象周围并且包括所述成像对象的在其成像范围内的至少一部分。

(12)根据(11)所述的图像处理设备，还包括：

全向图像生成部，其配置成使用由所述多个图像拾取设备获取的所述拾取图像来生成全向图像的纹理图像，并且使用与由所述多个成像设备获取的所述拾取图像相对应的深度图像来生成所述全向图像的深度图像。

(13)一种由图像处理设备执行的图像处理方法，包括：

图像生成步骤，通过将所述多边形的背面投影到与视线方向垂直的投影面生成纹理图像，并生成与所述每个视点的所述纹理图像相对应的深度图像，所述视线方向从跨越所述多边形的中心彼此相对的两个视点中的每一个指向所述多边形的所述中心。

[附图标记列表]

11-1至11-N成像设备、12生成设备、34多边形生成部、35绘制部、61成像对象、81球体、200显示设备、205绘制部、300生成设备、301视点控制部、302绘制部、341直线。

Claims (13)

1.一种图像处理设备，包括：

图像生成部，其配置成：使用通过将多边形的背面投影到与从两个视点中的每个视点指向所述多边形的中心的视线方向垂直的投影面而获得的纹理图像、以及与所述两个视点中的每个视点的所获得的纹理图像相对应的深度图像，生成预定视点的纹理图像，其中所述两个视点跨越所述多边形的中心彼此相对。

2.根据权利要求1所述的图像处理设备，其中

所述图像生成部基于指示所述两个视点的位置的视点信息生成所述预定视点的纹理图像。

3.根据权利要求1所述的图像处理设备，其中

使用由多个成像设备获取的拾取图像和与所述拾取图像相对应的深度图像来生成所述多边形，所述多个成像设备布置在与所述多边形相对应的成像对象周围并且在其成像范围内包括所述成像对象的至少一部分。

4.根据权利要求3所述的图像处理设备，其中

所述图像生成部使用利用由所述多个成像设备获取的拾取图像生成的全向图像的纹理图像以及利用与由所述多个成像设备获取的拾取图像相对应的深度图像生成的全向图像的深度图像来生成所述预定视点的纹理图像。

5.一种由图像处理设备执行的图像处理方法，包括：

图像生成步骤，使用通过将多边形的背面投影到与从两个视点中的每个视点指向所述多边形的中心的视线方向垂直的投影面而获得的纹理图像、以及与所述两个视点中的每个视点的所获得的纹理图像相对应的深度图像，生成预定视点的纹理图像，其中所述两个视点跨越所述多边形的中心彼此相对。

6.一种图像处理设备，包括：

图像生成部，其配置成：通过将多边形的背面投影到与从两个视点中的每个视点指向所述多边形的中心的视线方向垂直的投影面来生成纹理图像，并且生成与所述两个视点中的每个视点的所生成的纹理图像相对应的深度图像，其中所述两个视点跨越所述多边形的中心彼此相对。

7.根据权利要求6所述的图像处理设备，还包括：

视点信息生成部，其配置成生成指示所述两个视点的位置的视点信息。

8.根据权利要求7所述的图像处理设备，其中

所述视点信息生成部生成多条视点信息，并且

所述图像生成部针对由所述视点信息生成部生成的每条视点信息生成所述两个视点的纹理图像，将与所述多条视点信息中在生成所述两个视点的纹理图像时所述多边形的背面的区域被投影的视点信息相对应的、所述两个视点的纹理图像设置为所述两个视点的最终纹理图像，并生成分别与所述两个视点的最终纹理图像相对应的深度图像。

9.根据权利要求8所述的图像处理设备，其中

通过围绕所述多边形的中心在至少一个方向上使将预定的两个视点互连并通过所述多边形的中心的直线连续旋转预定量来确定所述两个视点。

10.根据权利要求8所述的图像处理设备，其中

所述视点信息生成部输出分别与所述两个视点的最终纹理图像相对应的视点信息。

11.根据权利要求6所述的图像处理设备，还包括：

多边形生成部，其配置成使用由多个成像设备获取的拾取图像和与所述拾取图像相对应的深度图像来生成多边形，所述多个成像设备布置在与所述多边形相对应的成像对象周围并且在其成像范围内包括所述成像对象的至少一部分。

12.根据权利要求11所述的图像处理设备，还包括：

全向图像生成部，其配置成：使用由所述多个成像设备获取的所述拾取图像来生成全向图像的纹理图像，并且使用与由所述多个成像设备获取的拾取图像相对应的深度图像来生成所述全向图像的深度图像。

13.一种由图像处理设备执行的图像处理方法，包括：

图像生成步骤，通过将多边形的背面投影到与从两个视点中的每个视点指向所述多边形的中心的视线方向垂直的投影面生成纹理图像，并生成与所述两个视点中的每个视点的所生成的纹理图像相对应的深度图像，其中所述两个视点跨越所述多边形的中心彼此相对。

Images