CN110073657A - 用于传输与三维图像相关的数据的方法 - Google Patents

Abstract

提供了一种由设备显示三维(3D)图像的方法。该方法包括以下步骤：向服务器发送关于设备的视口的信息；从服务器接收关于打包的2D图像的多个区域当中与视口相对应的至少一个第二区域的数据；以及基于接收的数据显示3D图像，其中通过修改或重新排列从3D图像投影的2D图像的多个区域的至少一部分来生成打包的2D图像，以及其中基于3D图像的多个区域当中对应于视口的至少一个第一区域中的每一个的索引、关于3D图像的多个区域中的每一个的索引、打包的2D图像的多个区域中的每一个的索引之间的关系的信息来识别该至少一个第二区域。

Description

用于传输与三维图像相关的数据的方法

技术领域

本发明涉及一种用于传输与三维(3D)图像相关的数据的方法及设备，并且特别地涉及一种用于选择性地传输关于3D图像的特定部分的数据的方法和设备。

背景技术

随着虚拟现实(VR)或增强现实(AR)技术的发展，与处理和传输3D图像(或全向图像)以用于在具有VR或AR能力的设备上进行显示相关的技术也在推进。

为了向VR设备佩戴者提供全向图像，包含全向图像相关数据的3D图像相关数据的尺寸可能非常大。因此，3D图像相关数据的传输可能由于其数据尺寸而使传输***过载。特别地，3D图像相关数据的尺寸可能对3D图像的实时提供造成显著限制。

发明内容

技术问题

可被考虑来减少传输的3D图像相关数据量的是不传输整个3D图像，而是仅传输3D图像中与VR设备上当前正在显示或将显示的区域(即视口(viewport))相关的部分区域。然而，由于3D图像相关数据的传输是基于从3D图像投影的2D图像来执行的，所以在2D图像上识别与在3D图像上识别的视口相对应的区域并识别要传输的2D图像的区域可能给VR***带来附加的负担。

本发明的目的是提供一种用于有效发送或接收3D图像相关数据的方法和设备。

本发明的另一目的是提供一种用于容易地识别从3D图像投影的2D图像上要被选择性传输的至少一个区域的方法和设备。

本发明的目的不限于前述内容，并且从以下描述中，其它未提及的目的对于本领域普通技术人员来说将是明显的。

技术方案

为了实现前述目的，根据本发明的实施例，一种用于由设备显示三维(3D)图像的方法包括：向服务器发送关于设备的视口的信息；从服务器接收关于打包的2D图像的多个区域当中与视口相对应的至少一个第二区域的数据；以及基于接收的数据显示3D图像，其中通过修改或重新排列从3D图像投影的2D图像的多个区域的至少一部分来生成打包的2D图像，以及其中基于3D图像的多个区域当中对应于视口的至少一个第一区域中的每一个的索引以及关于在3D图像的多个区域中的每一个的索引和打包的2D图像的多个区域中的每一个的索引之间的关系的信息来识别该至少一个第二区域。

根据本发明的另一实施例，一种用于显示3D图像的设备包括：通信接口和耦合到通信接口的处理器，其中，处理器被配置为向服务器发送关于设备的视口的信息，从服务器接收关于打包2D图像的多个区域当中与视口相对应的至少一个第二区域的数据，并且基于接收的数据显示3D图像，其中通过修改或重新排列从3D图像投影的2D图像的多个区域的至少一部分来生成打包的2D图像，以及其中基于3D图像的多个区域当中对应于视口的至少一个第一区域中的每一个的索引以及关于在3D图像的多个区域中的每一个的索引和打包的2D图像的多个区域中的每一个的索引之间的关系的信息来识别至少一个第二区域。

根据本发明的又一实施例，一种用于由服务器发送3D图像的数据的方法包括：从设备接收关于设备的视口的信息，识别打包的2D图像的多个区域当中对应于该视口的至少一个第二区域，以及向设备发送关于该至少一个第二区域的数据，其中通过修改或重新排列从3D图像投影的2D图像的多个区域的至少一部分来生成打包的2D图像，以及其中基于3D图像的多个区域当中对应于视口的至少一个第一区域中的每一个的索引以及关于在3D图像的多个区域中的每一个的索引和打包的2D图像的多个区域中的每一个的索引之间的关系的信息来识别至少一个第二区域

根据本发明的仍一实施例，一种用于发送三维(3D)图像的数据的服务器包括：通信接口和耦合到通信接口的处理器，其中处理器被配置成从设备接收关于设备的视口的信息，识别打包的2D图像的多个区域当中对应于该视口的至少一个第二区域，以及向设备发送关于该至少一个第二区域的数据，其中通过修改或重新排列从3D图像投影的2D图像的多个区域的至少一部分来生成打包的2D图像，以及其中基于3D图像的多个区域当中对应于视口的至少一个第一区域中的每一个的索引以及关于在3D图像的多个区域中的每一个的索引和打包的2D图像的多个区域中的每一个的索引之间的关系的信息来识别至少一个第二区域

在详细描述和附图中阐述了其它实施例的细节。

有益技术效果

本发明的实施例至少呈现以下效果。

换句话说，可以有效地提供3D图像相关数据。

进一步，可以基于来自3D图像的投影容易地识别在2D图像上要被选择性发送的至少一个区域。

本发明的效果不限于此，并且本发明涵括其它各种效果。

附图说明

图1示出了根据本发明实施例的用于发送3D图像相关数据的发送器的***；

图2示出了根据本发明的实施例将3D图像投影到2D图像中并对投影的2D图像打包；

图3示出了根据本发明的实施例的用于接收3D图像相关数据的接收器的***；

图4示出了根据本发明的实施例的被分割成多个区域的3D图像上的视口；

图5示出了在等量矩形投影(equirectangular projection，ERP)方案中从图4的3D图像投影的2D图像。

图6示出了从图5的ERP 2D图像打包的2D图像；

图7示出了来自图4的3D图像的八面体投影(octahedron projection，OHR)2D图像；

图8示出了从图7的OHP投影的2D图像打包的2D图像；

图9示出了根据本发明的实施例的3D图像的多个区域的组；

图10是示出根据本发明的实施例的接收器的操作的流程图；

图11是示出根据本发明的另一实施例的设备和服务器的操作的流程图；

图12是示出根据本发明的又一实施例的设备和服务器的操作的流程图；

图13是示出根据本发明的又一实施例的设备和服务器的操作的流程图；

图14示出了表示球形3D图像上特定点的坐标的示例方法；和

图15是示出根据本发明实施例的接收器的框图。

具体实施方式

通过下面结合附图描述的实施例，可以理解本发明的优点和特征以及用于实现这些优点和特征的方法。然而，本发明不限于本文公开的实施例，并且可以对本文公开的实施例进行各种改变。本文公开的实施例仅被提供用于告知本领域普通技术人员本发明的类别。本发明仅由所附权利要求限定。

虽然术语“第一”和“第二”用于描述各种组件，但是这些组件不受这些术语的限制。提供这些术语只是为了将一个组件与另一组件区分开来。因此，在本发明的技术精神内，本文提到的第一组件也可以是第二组件。

图1示出了根据本发明实施例的用于发送3D图像相关数据的发送器的***。

图1示出了根据本发明实施例的发送器的***。发送器可以是用于提供3D图像相关数据或服务的服务器。这里，3D图像可以指动态图像和静态图像两者。发送器可以生成或接收3D图像(110)。发送器可以通过拼接由多个相机在各个方向上捕获的图像来生成3D图像。发送器可以在外部接收关于已经产生的3D图像的数据。3D图像可以呈现为球体、立方体、圆柱体或八面体中的任何一种形状。然而，3D图像的列举形状仅仅是示例，并且可以生成或接收相关领域中可用的3D图像的各种形状。

发送器可以将3D图像投影到2D图像中(120)。等量矩形投影、八面体投影、圆柱体投影、立方体投影以及相关技术中可用的各种投影方案中的任何一种都可以用于将3D图像投影到2D图像中。

发送器可以对投影的2D图像打包(130)。打包可以是指通过修改和/或重新排列构成投影的2D图像的多个区域中的至少一些区域来产生新的2D图像(即打包的2D图像)。这里，修改区域可以是指例如对区域进行调整尺寸、变换、旋转和/或重新采样(例如，取决于区域中的位置进行上采样、下采样和差分采样)。

下面参照图2更详细地描述投影120和打包130。图2示出了根据本发明的实施例将3D图像投影到2D图像中并对投影的2D图像打包。在图2中，示例3D图像210可以是球形的。在示例ERP方案中，投影的2D图像220可通过投影3D图像210来生成。投影的2D图像220可被分割成多个区域221、222、223和224。根据实施例，可以有各种分割投影的2D图像220的方法。

可以从投影的2D图像220生成打包的2D图像230。打包的2D图像230可以通过修改和/或重新排列投影的2D图像220的多个区域221、222、223和224来生成。打包的2D图像230的多个区域231、232、233和234可以分别顺序对应于投影的2D图像220的多个区域221、222、223和224。图2所示的打包2D图像230的多个区域231、232、233和234的修改和重排仅仅是示例，并且根据实施例可以执行各种类型的修改和重排。

返回参考图1，发送器可以对打包的2D图像(240)编码。打包的2D图像可以被分割成多个区域。打包的2D图像的多个区域可以被单独编码。在一些实施例中，可以仅对在打包2D图像的多个区域当中的待发送的一个或多个区域执行编码。在一些实施例中，可以对打包的2D图像的多个区域当中的两个或更多个区域的组图像执行编码。在一些实施例中，可以对整个打包的2D图像进行编码。可以以已知的现有2D图像编码方案执行编码。

发送器可以封装编码的数据(150)。封装可以是指通过例如分割编码的数据和处理(例如向分割物添加报头)来处理编码的数据以遵循预定的传输协议。发送器可以发送封装的数据。

下面参照图3描述接收器。图3示出了根据本发明的实施例的用于接收3D图像相关数据的接收器的***。接收器可以是VR设备或AR设备。接收器可以以其它方式表示能够接收和播放3D图像相关数据的任何类型的设备。

接收器可以从发送器接收3D图像相关数据。接收器可以解封装接收的数据(310)。由图1的编码140生成的编码数据可以通过解封装310获得。

接收器可以解码解封装(310)的数据(320)。打包的2D图像可以通过解码来恢复(320)。

接收器可以对解码的数据(即，打包的2D图像)解包(unpack)(330)。由图1的投影120生成的2D图像可以通过解包来恢复。解包可以是对图1的打包130执行的、投影的2D图像的多个区域的修改和/或重排的反向转换。为此，接收器需要知道打包130的方法。可以在接收器和发送器之间预先确定打包130的方法。在一些实施例中，发送器可以通过分离的消息(诸如元数据)将关于打包130的方法的信息传送给接收器。在一些实施例中，经由封装150生成的传输数据可以例如在报头中包含关于打包130的方法的信息。

接收器可以将解包的2D图像投影到3D图像中(340)。为了将2D图像投影到3D图像中，接收器可以使用用于投影(120)2D图像的投影的反向投影，如图1所示，但不一定限于此。接收器可以将解包的2D图像投影到3D图像中，从而生成3D图像。

接收器可经由显示设备(350)显示3D图像的至少一部分。例如，接收器可仅提取对应于3D图像的当前视场(field-of-view，FOV)的数据并渲染(render)该数据。

在一些实施例中，可仅传输3D图像相关数据当中关于3D图像的一部分的数据，以减少3D图像相关数据传输负载。例如，发送器可将打包的2D图像分割成多个区域，并且在打包的2D图像的多个区域当中仅发送包含接收器的视口的数据的一个或多个区域。这里，可设置被分割用于传输的2D图像的多个区域，而不管被分割用于打包的投影的2D图像的多个区域如何。在这种情况下，识别被分割用于传输的打包的2D图像的多个区域当中与3D图像上的视口相对应的区域可能增加接收器的处理器的计算的负担。因此，需要这样的方法，以便以简化的方式识别3D图像上对应于视口的区域。根据本发明的实施例，下面参考图4至图6描述识别3D图像上对应于视口的区域的方法。

图4示出了根据本发明的实施例的被分割成多个区域的3D图像上的视口。示例3D图像400可以以球形形状呈现。3D图像400可以被分成多个区域。3D图像400的多个区域各自可以被分割成具有预定的纬度角度范围和预定的经度角度范围，但是不必局限于此。在图4的示例中，3D图像400的多个区域中的每一个已经被设置为具有45度的经度角范围和30度的纬度角范围。可以对3D图像400的多个区域中的每个区域设置索引。多个区域中的每一个的索引可以以诸如[x，y]的形式表示，其中x和y分别是由这些区域形成的矩阵中的区域的行和列，但不必限于此。视口420可以定位在3D图像400的多个区域当中的第一区域至第六区域411、412、413、414、415和416中。3D图像400的第一至第六区域的索引可以分别是[0，1]、[1，1]、[2，1]、[0，2]、[1，2]和[2，2]。

图5示出了以ERP方案从图4的3D图像投影的2D图像。投影2D图像500可以被分割成与3D图像400的多个区域对应的多个区域。在3D图像400的多个区域具有如结合图4所述的相同纬度角范围和相同经度角范围的情况下，在对应于3D图像400的多个区域的ERP方案中投影的2D图像500的多个区域可以是相同尺寸的矩形。包括对应于投影2D图像500上的视口的区域517的多个区域中的区域511、512、513、514、515和516可以对应于3D图像400的第一区域至第六区域411、412、413、414、415和416。

图6示出了从图5的ERP 2D图像打包的2D图像。可以以任何打包方案从投影的2D图像500生成打包的2D图像600。投影的2D图像500的被分割用于打包的区域不必与图5所示的投影2D图像500的多个区域相同。出于传输目的，打包的2D图像600可以被分割成多个区域，并且图6示出了打包的2D图像600被分割成八个区域的示例。可以将索引分配给打包的2D图像600的区域中的每一个。在图6的示例中，区域被编制索引为1至8。打包的2D图像600中对应于3D图像400的包括视口420的区域411、412、413、414、415和416(即，对应于投影2D图像500的区域511、512、513、514、515和516)的区域611、612、613、615和616可以被包括在被分割用于传输目的区域当中被编制索引为2、7和8的区域631、632和633中。打包2D图像600中对应于视口420的区域620a和620b也可以被包括在被分割用于传输目的区域当中被编制索引为2、7和8的区域631、632和633中。因此，发送器可以通过发送与打包的2D图像600的多个区域当中被索引编制为2、7和8的区域631、632和633有关的数据来发送接收器显示视口420所需的数据。发送器或接收器可以知道3D图像400的多个区域和打包的2D图像600的多个区域之间的关系。因此，发送器或接收器可以从3D图像400的多个区域的各个索引中识别打包的2D图像600的多个区域中与其对应的区域，而无需复杂的计算。例如，如表1所示的查找表(LUT)可以用于识别打包的2D图像600的与3D图像400的区域对应的区域。

[表1]

这种LUT使得能够更容易地识别打包的2D图像600上的区域631、632和633(其已经被编制索引为2、7和8)，这些区域对应于3D图像400上的区域411、412、413、414、415和416(其已经被编制索引为[0，1]、[1，1]、[2，1]、[0，2]、[1，2]和[2，2])。

由此，使用索引识别与3D图像上的区域相对应的打包的2D图像上的区域不仅可以应用于3D图像以ERP方案投影到2D图像的情况，还可以应用于以其它方案执行这种投影的情况。下面结合图7和图8描述使用八面体投影(OSP)方案将3D图像投影到2D图像中的实施例。

图7示出了来自图4的3D图像的OHP 2D图像。OHP投影的2D图像700中的区域711、712、713、714、715和716可以对应于包括3D图像400的视口420的区域411、412、413、414、415和416。对应于OHP投影的2D图像700中的视口420的区域720a和区域720b可以被包括在OHP投影的2D图像700中的区域711、712、713、714、715和716中。

图8示出了从图7的OHP投影的2D图像打包的2D图像。可以以任何打包方案从图7的投影的2D图像700生成打包的2D图像800。出于传输目的，打包的2D图像800可以被分割成多个区域，例如被编制索引为1至4的四个区域。图7的投影2D图像700的区域711、712、713、714、715和716可以包括在打包2D图像800的区域当中被编制索引为2的区域831和被编制索引为3的区域832中。对应于视口420的区域可被置于打包的2D图像800的区域当中被编制索引为2的区域831和被编制索引为3的区域832中。因此，发送器可以发送关于在打包的2D图像800的区域当中被编制索引为2的区域831和被编制索引为3的区域832的数据，以发送关于视口420的数据。类似于图5和图6，发送器或接收器可以知道在3D图像400的多个区域和打包的2D图像800的区域之间的关系，并且可相应地从3D图像400的区域索引识别打包的2D图像800的对应区域。类似于表1的LUT可用于容易地识别在3D图像400的多个区域和打包的2D图像800的区域之间的关系。

在一些实施例中，接收器需要知道将3D图像被分割成多个区域的方案。发送器可以提供关于将3D图像分割成多个区域的方法的预先通知。在一些实施例中，关于将3D图像分割成多个区域的方法的信息可以作为元数据传输。发送器可以通过如下表2所示的示例语法发送将3D图像分割成多个区域的方法。

[表2]

表2语法的语义如下。

spherical_tile_groups(球形块组)—定义球形块组(即，3D图像的多个区域)的数量的参数，包括其中球体表面(即，球形3D图像)被分割的视频数据

spherical_tile_group_id(球形块组ID)—用于定义球形块组的标识符的参数，包括其中球体表面被分割的视频数据

hor_active_range_start/end—用于指示在由θ定义的方向上的起始角度和终止角度给出的球形块组的水平范围(即经度)的参数

vert_active_range_start/end—用于指示在由定义的方向上的起始角度和终止角度给出的球形块组的垂直范围(即纬度)的参数

spherical_tiles_enabled_flag—用于指示在球形块的排列中是否附加地分割视图方向的标志

num_sphereal_tile_columns—用于指定球形块组中球形块列的数量的参数

num_spherical_tile_rows—用于指定球形块组中球形块行的数量的参数

uniform_spacing_flag—用于指示当其为1时球形块行边框和球形块列边框均匀分布在图片上，并且当其为0时球形块边框由column_width_angle和row_height_angle定义的标志

column_width_angle[i]—用于指定球形块组中第i个球形块列在由θ定义的方向上的宽度(即经度)、以度为单位的参数

row_height_angle[i]—用于指定球形块组中第i个球形块行在由θ定义的方向上的高度(即纬度)、以度为单位的参数

表2的语法是3D图像为球形时的示例。此外，表2的语法示例说明了对3D图像的区域进行分组和通知。参考图9，描述了对3D图像的区域分组。图9示出了根据本发明的实施例的3D图像的多个区域的组。参考图9，3D图像900上的多个区域可以划分成四个组910、920、930和940。对应于3D图像900的组910、920、930和940中的每一个的区域可以被设置为具有180度的经度角度范围和90度的纬度角度范围。可以以类似于图4的3D图像400的方案的方案将3D图像400分割成多个区域。3D图像900的组910、920、930和940中的每一个可以包括12个区域。

在一些实施例中，将3D图像分割成多个区域的方法可以表示多个区域的相应信息片段的集合，而不是对多个区域进行分组。

图10是示出根据本发明的实施例的接收器的操作的流程图。参考图10，接收器可以向服务器发送关于视口的信息(1010)。视口相关信息可以是直接指示视口在3D图像上的放置的信息、包括3D图像的多个区域当中包括视口的至少一个区域中的每一个的索引的信息、或者包括与打包的2D图像的多个区域当中包括视口的至少一个区域对应的打包的2D图像的至少一个区域中的每一个的索引的信息。

接收器可以从服务器接收与打包2D图像的多个区域当中对应于视口的至少一个区域对应的数据(1020)。

接收器可以基于接收的数据显示3D图像(1030)。接收器可以仅显示对应于3D图像视口的区域。

根据各种实施例，下面参考图11至图13描述接收器和发送器的操作。

图11是示出根据本发明的另一实施例的设备和服务器的操作的流程图。设备1110和服务器1120可以分别对应于上述接收器和发送器。在图11的实施例中，设备1110可以知道关于在3D图像的多个区域的索引和打包的2D图像的多个区域的索引之间的关系的信息。

服务器1120可以向设备1110发送区域分割信息(1130)。区域分割信息可以包括关于多个区域的索引的信息以及将3D图像分割成多个区域的方法。区域分割信息可以以如表2中语法的形式传输。

服务器1120可以向设备1110发送LUT，该LUT包括关于在3D图像的多个区域的索引和打包的2D图像的多个区域的索引之间的关系的信息(1140)。在一些实施例中，关于在3D图像的多个区域的索引和打包的2D图像的多个区域的索引之间的关系的信息可以以LUT之外的形式传输。在一些实施例中，设备1110可以从除服务器112之外的服务器或另一设备接收LUT。LUT相关信息可以作为元数据传送。LUT相关信息可以表达为表3所示的示例语法。

[表3]

表3语法参数的语义如下。

num_hevc_tiles—用于指示其中图像被编码的高效视频编码(high efficiencyvideo coding，HEVC)块(即，投影的2D图像的多个区域)的数量的参数

hevc_tile_column_index—用于指示特定HEVC块列的索引的参数

hevc_tile_row_index—用于指示特定HEVC块行的索引的参数

num_spehrical_tiles—用于指定在HEVC块中对视频数据有贡献的球形块的数量的参数(即，用于指定与特定HEVC块相关联的球形块的数量的参数)

spherical_tile_column_index—用于指示与HEVC块相关联的特定球形块列的索引的参数

spherical_tile_row_index—用于指示与HEVC块相关联的特定球形块行的索引的参数

设备1110可以识别3D图像的多个区域当中对应于视口的至少一个第一区域(1140)。在图4的示例中，区域411、412、413、414、415和416可以被识别为至少一个第一区域。

设备1110可以基于LUT识别与打包的2D图像的多个区域当中的至少一个第一区域对应的至少一个第二区域中的每一个的索引(1145)。在图6的示例中，索引2、7和8可以被识别为至少一个第二区域的相应索引。

设备1110可以向服务器1120发送关于视口的包括至少一个第二区域的相应索引的信息。

服务器1120可以基于该至少一个第二区域的相应索引来识别至少一个第二区域。因此，服务器1120可以向设备1110发送关于至少一个第二区域的数据。

设备1110可以基于接收到的关于至少一个第二区域的数据来显示3D图像的至少一部分(例如，视口)。

图12是示出根据本发明的又一实施例的设备和服务器的操作的流程图。在图12的实施例中，设备1210可以知道将3D图像分割成多个区域的方法以及关于多个区域的索引的信息。

服务器1220可以向设备1210发送区域划分信息1230。区域分割信息可以包括与多个区域的索引有关的信息以及将3D图像分割成多个区域的方法。区域分割信息可以以如表2中语法的形式传输。

设备1210可以识别3D图像的多个区域当中与视口对应的至少一个第一区域(1235)。

设备1210可以向服务器1220发送关于视口的包括至少一个第一区域的相应索引的信息。可基于区域分割信息来识别至少一个第一区域的相应索引。

服务器1220可以基于LUT根据至少一个第一区域的相应索引识别与打包的2D图像的多个区域当中的至少一个第一区域相对应的至少一个第二区域(1245)。这里，LUT可以是指示在3D图像的多个区域的索引和打包的2D图像的索引之间的关系的信息的形式，并且在一些实施例中，这种信息可以不具有LUT形式。

服务器1220可向设备1210发送关于至少一个第二区域的识别数据(1250)。

设备1210可以基于接收的数据显示3D图像(1255)。

图13是示出根据本发明又一实施例的设备和服务器的操作的流程图。在图13的实施例中，设备1310可能不会获得区域分割信息和LUT相关信息。

设备1310可以向服务器1320发送与视口在3D图像上的放置有关的信息。关于视口的放置的信息可以直接指示视口被布置在3D图像上的位置和区域。例如，在3D图像被成形为球体的情况下，关于视口的放置的信息可以使用球体表面上的坐标来表示。参考图14，该图示例说明了表示球形3D图像上特定点的坐标的方法，在3D坐标系中点P在球形表面上的位置可以利用球体的半径r、纬度θ和经度来表示。由于球形3D图像的半径r在服务器1320和设备1310之间是已知的，所以设备1310可以通过纬度θ和经度向服务器通知3D图像上的特定点。设备1310可以使用用于表示视口的放置的各种方法。在一些实施例中，设备1310可以通过视口边缘的坐标来表示视口的放置。在一些实施例中，设备1310可以使用视口边缘的坐标和在视口边缘之间的视口边界上的点的坐标来表示视口的放置。在一些实施例中，设备1310可以使用指示基于视口中心和视口中心的坐标的视口旋转的值以及指示视口与球体中心的角度范围(例如，基于指示视口旋转的值的垂直角度范围和水平角度范围)的值来表示视口的放置。用于表示视口放置的上述方法仅仅是示例，并且设备1310可以使用各种方法来表示视口在3D图像上的放置。

返回参考图13，服务器1320可以基于关于视口的放置的信息识别3D图像的多个区域中对应于视口的至少一个第一区域(1330)。服务器可以使用上面结合图11和图12描述的区域分割信息来识别至少一个第一区域。

服务器1320可以基于LUT识别与至少一个第一区域对应的至少一个第二区域(1335)。换句话说，服务器1320可以通过从LUT获得与至少一个第一区域中的每一个的标识符对应的至少一个第二区域中的每一个的标识符来识别至少一个第二区域。

服务器1320可向设备1310发送关于至少一个第二区域的识别数据(1340)。

设备1310可以基于接收的数据显示3D图像(1345)。

下面参照图15描述接收器的结构。图15是示出根据本发明实施例的接收器的框图。接收器1500可以包括存储器、通信接口1520和处理器1530。接收器1500可以被配置为执行上面结合实施例描述的接收器(即，设备)的操作。处理器1530可以与存储器1510和通信接口1520通信连接和电连接。接收器1500可以通过通信接口1520发送和接收数据。存储器1510可以存储用于接收器1500操作的多条信息。存储器1510可以存储用于控制处理器1530的命令或代码。附加地，存储器1510可以存储处理器1530的操作所需的暂时或非暂时数据。处理器1530可以是一个处理器，并且在一些实施例中，处理器1530可以是指根据功能而不同的多个处理器的集合。处理器1530可以被配置成控制接收器1500的操作。接收器1500的上述操作可以基本上由处理器3530处理和执行。尽管信号的发送或接收是通过通信接口1520执行的，并且数据和命令的存储是由存储器1510执行的，但是通信接口1520和存储器1510的操作可以由处理器1530控制，并且因此，信号的发送和接收以及数据和命令的存储也可以被认为是由处理器1530执行的。尽管未示出，但接收器1530可以进一步包括用于显示3D图像的显示设备。

类似于接收机1530，发送器可以包括存储器、通信接口和处理器。发送器的存储器、通信接口和处理器的描述类似于接收器1530的相应元件的描述。

尽管已经参考附图描述了本发明的实施例，但是本领域普通技术人员将会理解，在不改变本发明的本质或技术精神的情况下，本发明可以以其它各种特定形式实施。因此，应当注意的是，上述实施例是作为示例提供的，不应被解释为最终限制。

Claims (14)

1.一种由设备显示三维(3D)图像的方法，所述方法包括：

向服务器发送与设备的视口有关的信息；

从服务器接收与打包的2D图像的多个区域当中对应于视口的至少一个第二区域有关的数据；以及

基于所接收的数据显示3D图像，

其中，通过修改或重新排列从3D图像投影的2D图像的多个区域的至少一部分来生成打包的2D图像，以及

其中，基于3D图像的多个区域当中对应于视口的至少一个第一区域中的每一个的索引以及与在3D图像的多个区域中的每一个的索引和打包的2D图像的多个区域中的每一个的索引之间的关系有关的信息来识别所述至少一个第二区域。

2.如权利要求1所述的方法，其中，与在3D图像的多个区域中的每一个的索引和打包的2D图像的多个区域中的每一个的索引之间的关系有关的信息具有查找表(LUT)的形式。

3.如权利要求2所述的方法，进一步包括：

从服务器接收LUT；

识别3D图像的多个区域当中的所述至少一个第一区域；以及

基于LUT识别与所述至少一个第一区域中的每一个的索引对应的所述至少一个第二区域中的每一个的索引，

其中，与视口有关的信息包括所述至少一个第二区域中的每一个的索引。

4.如权利要求1所述的方法，进一步包括：识别3D图像的多个区域当中的所述至少一个第一区域，其中，与视口有关的信息包括所述至少一个第一区域中的每一个的索引。

5.如权利要求1所述的方法，其中，与视口有关的信息包括与视口在3D图像上的放置有关的信息。

6.一种用于显示三维(3D)图像的设备，包括：

通信接口；和

耦合到通信接口的处理器，

其中，所述处理器被配置为：

向服务器发送与设备的视口有关的信息；

从服务器接收与打包的2D图像的多个区域当中对应于视口的至少一个第二区域有关的数据；以及

基于所接收的数据显示3D图像，

其中，通过修改或重新排列从3D图像投影的2D图像的多个区域的至少一部分来生成打包的2D图像，以及

其中，基于3D图像的多个区域当中对应于视口的至少一个第一区域中的每一个的索引以及与在3D图像的多个区域中的每一个的索引和打包的2D图像的多个区域中的每一个的索引之间的关系有关的信息来识别所述至少一个第二区域。

7.如权利要求6所述的设备，其中，所述处理器被进一步配置为执行权利要求2至4中的一项所述的方法。

8.一种由服务器发送3D图像的数据的方法，所述方法包括：

从设备接收与设备的视口有关的信息；

在打包的2D图像的多个区域中识别对应于视口的至少一个第二区域；以及

向设备发送关于所述至少一个第二区域的数据，

其中，通过修改或重新排列从3D图像投影的2D图像的多个区域的至少一部分来生成打包的2D图像，以及

其中，基于3D图像的多个区域当中对应于视口的至少一个第一区域中的每一个的索引以及与在3D图像的多个区域中的每一个的索引和打包的2D图像的多个区域中的每一个的索引之间的关系有关的信息来识别所述至少一个第二区域。

9.如权利要求8所述的方法，其中，与在3D图像的多个区域中的每一个的索引和打包的2D图像的多个区域中的每一个的索引之间的关系有关的信息具有查找表(LUT)的形式。

10.如权利要求9所述的方法，进一步包括：向设备发送LUT，其中，与视口有关的信息包括所述至少一个第二区域中的每一个的索引。

11.如权利要求8所述的方法，其中，与视口有关的信息包括所述至少一个第一区域中的每一个的索引。

12.如权利要求8所述的方法，其中，与视口有关的信息包括与视口在3D图像上的放置有关的信息。

13.一种用于发送三维(3D)图像的数据的服务器，包括：

通信接口；和

耦合到通信接口的处理器，

其中，所述处理器被配置为：

从设备接收与设备的视口有关的信息；

在打包的2D图像的多个区域中识别与视口对应的至少一个第二区域；以及

向设备发送关于所述至少一个第二区域的数据，

其中，通过修改或重新排列从3D图像投影的2D图像的多个区域的至少一部分来生成打包的2D图像，以及

其中，基于3D图像的多个区域当中对应于视口的至少一个第一区域中的每一个的索引以及与在3D图像的多个区域中的每一个的索引和打包的2D图像的多个区域中的每一个的索引之间的关系有关的信息来识别所述至少一个第二区域。

14.如权利要求13所述的服务器，其中，所述处理器被进一步配置为执行权利要求9至12中的一项所述的方法。