CN103139588A - 用于3d视频的补充信息编码设备和方法 - Google Patents

Abstract

提供了一种用于3D视频的补充信息编码设备和方法。用于对三维(3D)视频的补充信息进行编码的编码设备和方法可确定包括在相机信息中的参数以及包括在深度范围信息中的参数之中的更新的参数是将被编码的参数。编码设备可产生包括关于更新的参数的信息以及关于没有更新的参数的信息的更新信息，对更新的参数执行浮点转换，并对更新信息以及浮点转换的参数进行编码。用于对3D视频的补充信息进行解码的解码设备和方法可通过确定解码的补充信息是否包括更新信息来接收编码的补充信息并对编码的补充信息进行解码。当更新信息被包括时，解码设备可将解码的补充信息进行分类，对更新的参数执行浮点逆转换，并将最新的补充信息存储在存储器中。

Description

用于3D视频的补充信息编码设备和方法

本申请要求于2011年11月22日提交到韩国知识产权局的第10-2011-0122058号韩国专利申请以及于2012年4月25日提交到韩国知识产权局的第10-2012-0043506号的优先权，该申请的公开通过引用合并于此。

技术领域

一个或更多实施例的以下描述涉及三维(3D)视频的编码和解码，更具体地讲，涉及一种用于对3D视频的补充信息进行有效编码和解码的设备和方法。

背景技术

当前正由运动图像专家组(MPEG)准备的关于三维(3D)视频图像的国际标准涉及3D视频编码(3DVC)。已经针对多视点彩色图像以及多视点深度图像的压缩以及使用所述压缩的渲染技术进行3DVC的研究，以提供使用多视点彩色图像和多视点深度图像的3D视频服务。

为了提供使用多视点彩色图像和多视点深度图像的3D视频服务，补充信息可包括用于产生多视点彩色图像与多视点深度图像之间的关系并且产生3D视频的信息，补充信息可能需要被定义。另外，存在对有效地发送补充信息的编码和解码设备及其方法的需求。

发明内容

根据一个或更多实施例的一方面，提供了一种用于对可通过使用多个相机获取的三维(3D)视频的补充信息进行编码的编码设备，该编码设备包括：相机信息接收单元，用于接收相机信息；深度范围接收单元，用于接收深度范围信息；编码确定单元，用于确定包括在相机信息中的参数以及包括在深度范围信息中的参数之中的更新的参数是将被编码的参数，并产生包括关于更新的参数的信息以及关于没有更新的参数的信息的更新信息；编码单元，用于对更新信息和将被编码的参数进行编码。

相机信息可包括固有参数、旋转参数或平移参数中的至少一个，深度范围信息可包括最大深度值和最小深度值。

所述编码设备还可包括：浮点转换单元，用于对将被编码的参数执行浮点转换。编码单元可对更新信息以及浮点转换的参数进行编码。

在发送第一帧的情况下，编码确定单元可确定包括在相机信息中的所有参数以及包括在深度范围信息中的所有参数是将被编码的参数。在发送第一帧的情况下，编码单元可无需使用更新信息来对将被编码的参数进行编码。

在以预定间隔发送帧以提供随机访问服务的情况下，编码确定单元可确定包括在相机信息中的所有参数以及包括在深度范围信息中的所有参数是将被编码的参数。在以预定间隔发送帧的情况下，编码单元可无需使用更新信息来对将被编码的参数进行编码。

编码确定单元可确定是否针对包括在相机信息中的参数中的每一个以及包括在深度范围信息中的参数中的每一个执行了更新，从而确定是否需要针对参数中的每一个进行编码。

编码确定单元可产生指示是否针对包括在相机信息中的参数中的每一个以及包括在深度范围信息中的参数中的每一个执行了更新的更新信息。

编码确定单元可将包括在相机信息中的参数以及包括在深度范围信息中的参数分为预定组，可确定是否针对包括在所述组中的参数中的至少一个执行了更新，从而可确定存在对包括在组中的所有参数进行编码的需要，所述组包括至少一个更新的参数。

编码确定单元可产生指示是否对组中的每一个执行了更新的更新信息。

浮点转换单元可把将被转换的参数转换为符号、尾数、指数和精确度。

所述编码设备可还包括：焦距接收单元，用于接收焦距信息；补充增强信息(SEI)编码确定单元，当焦距信息被更新时，确定需要编码。编码单元可对更新的焦距信息进行编码。

在发送第一帧的情况下，SEI编码确定单元可确定需要焦距信息的编码。在发送第一帧的情况下，编码单元可对焦距信息进行编码。

在以预定间隔发送帧以提供随机访问服务的情况下，SEI编码确定单元可确定需要焦距信息的编码。在以预定间隔发送帧的情况下，编码单元可对焦距信息进行编码。

根据一个或更多实施例的另一方面，提供了一种用于对3D视频的补充信息进行解码的解码设备，该解码设备包括：解码单元，用于对编码的补充信息进行解码；补充信息分类单元，当更新信息被包括在编码的补充信息中时，将解码的补充信息分类为包括在相机信息中的更新的参数或者分类为包括在深度范围信息中的更新的参数；存储单元，存储最新的补充信息；补充信息重新配置单元，用于将更新的参数存储在存储单元中，并且对于没有更新的参数确定参数值。参数值可基于存储在存储单元中的最新的补充信息，或者当最新的补充信息不包括与没有更新的参数相应的参数的参数值，可通过使用默认值来获得参数值。

所述解码设备可还包括：浮点逆转换单元，用于对更新的参数执行浮点逆转换。补充信息重新配置单元可将浮点逆转换的参数存储在存储单元中。

当更新信息没有包括在编码的补充信息中时，补充信息分类单元可将解码的补充信息分类为包括在相机信息中的参数以及包括在深度范围信息中的参数。补充信息重新配置单元可将所有的分类的参数作为最新的补充信息存储在存储单元中。

当焦距信息被包括在编码的补充信息中时，补充信息分类单元可将焦距信息进行分类，并且补充信息重新配置单元可将焦距信息存储在存储单元中。

根据一个或更多实施例的另一方面，提供了一种对3D视频的补充信息进行编码的方法，该方法包括：接收相机信息和深度范围信息；确定包括在相机信息中的参数以及包括在深度范围信息中的参数之中的至少一个更新的参数是将被编码的参数；产生包括关于更新的参数的信息以及关于没有更新的参数的信息的更新信息；对更新信息以及将被编码的参数进行编码。

确定步骤可包括：确定是否针对包括在相机信息中的参数中的每一个以及包括在深度范围信息中的参数中的每一个执行了更新，从而确定是否对参数中的每一个进行编码。

产生步骤可包括：产生指示是否对包括在相机信息中的参数中的每一个以及包括在深度范围信息中参数中的每一个执行了更新的更新信息。

确定步骤可包括：将包括在相机信息中的参数以及包括在深度范围信息中的参数分为预定组，确定是否针对包括在所述组中的参数中的至少一个执行了更新，从而确定存在对包括在组中的所有参数进行编码的需要，所述组包括至少一个更新的参数。

产生步骤可包括：产生指示是否对组中的每一个执行了更新的更新信息。

根据一个或更多实施例的另一方面，提供了一种对3D视频的补充信息进行解码的方法，该方法包括：对编码的补充信息进行解码；当更新的信息被包括在编码的补充信息中时，将解码的补充信息分类为包括在相机信息中的更新的参数或者分类为包括在深度范围信息中的更新的参数；将更新的参数存储在存储单元中，并对没有更新的参数确定参数值。可基于存储的最新的补充信息来确定没有更新的参数的参数值。

该方法可还包括：当更新信息没有被包括在编码的补充信息中时，将解码的补充信息分类为包括在相机信息中的参数以及包括在深度范围信息中的参数，将所有的分类的参数作为最新的补充信息存储在存储单元中。

根据一个或更多实施例的另一方面，提供了一种用于对可使用多个相机获取的3D视频的补充信息进行编码的编码设备，该编码设备包括：相机信息接收单元，用于接收相机信息；深度范围接收单元，用于接收深度范围信息；编码确定单元，用于选择性地确定是否对包括在相机信息中的参数以及包括在深度范围信息中的参数进行编码；编码单元，用于选择性地对将被编码的参数进行编码。

如果包括在相机信息或深度范围信息中的各个参数被更新，则编码确定单元可选择性地确定对包括在相机信息中的至少一个参数或者包括在深度范围信息中的至少一个参数进行编码，编码单元可通过根据多个相机的位置和方向省略相机信息来选择性地对更新的参数的信息选择性地进行编码。

当多个帧中的第一帧将由编码设备发送时，或者当将由编码设备发送的帧是以预定间隔发送的帧以提供随机访问服务时，编码确定单元可选择性地确定对包括在相机信息和深度范围信息中的所有参数进行编码。

以下实施例提出一种对用于压缩并显示3D视频的补充信息进行编码和解码的方法。提出的对补充信息进行编码和解码的方法可确定是否执行了更新，并且可仅对更新的补充信息进行编码和解码，从而使得补充信息能够被更加有效地编码和解码。

将在接下来的描述中部分阐述本发明另外的方面，还有一部分通过描述将是清楚的，或者可以经过本公开的实施而得知。

附图说明

通过下面结合附图对实施例进行的描述，这些和/或其他方面将变得清楚和更容易理解，其中：

图1示出根据实施例的三维(3D)视频的补充信息的示例；

图2示出根据实施例的用于对3D视频的补充信息进行编码的编码设备的配置；

图3A至图3C示出根据实施例的与3D屏幕关联的焦距信息；

图4示出根据实施例的用于对3D视频的补充信息进行解码的解码设备的配置；

图5示出根据实施例的在编码设备中用于对3D视频的补充信息进行编码的处理；

图6示出根据实施例的在解码设备中用于对3D视频的补充信息进行解码的处理；

图7示出根据实施例的用于基于关于相机的位置和方向的信息来对补充信息进行编码的编码设备的配置；

图8A至图8C示出根据实施例的相机的位置和方向的示例；

图9示出根据实施例的用于添加关于用于对相机参数进行编码的另一相机参数的信息的编码设备的配置；

图10示出根据实施例的用于基于关于相机的位置和方向的信息来对补充信息进行解码的解码设备的配置；

图11示出根据实施例的用于基于关于另一相机参数的信息来对相机参数进行解码的解码设备的配置；

图12示出根据实施例的基于关于相机的位置和方向的信息对补充信息进行编码的编码方法；

图13示出根据实施例的添加关于用于对相机参数进行编码的另一相机参数的信息的编码方法；

图14示出根据实施例的基于关于相机的位置和方向的信息对补充信息进行解码的解码方法；

图15示出根据实施例的基于关于另一相机参数的信息来对相机参数进行解码的解码方法；

图16示出根据实施例的用于对关于是否基于渲染质量对3D视频进行编码的信息进行编码的编码设备的配置；

图17示出根据实施例的用于基于关于是否基于这样的信息来对深度图像进行解码的信息来对3D视频进行解码的解码设备的配置，其中，这样的信息是关于是否基于渲染质量对深度图像进行编码的信息；

图18示出根据实施例的用于对关于多个相机之间的距离的信息进行编码的编码设备的配置；

图19示出根据实施例的用于基于关于多个相机之间的距离的信息对3D视频进行解码的解码设备的配置；

图20示出根据实施例的对关于是否基于渲染质量对3D视频进行编码的信息进行编码的编码方法；

图21示出根据实施例的基于关于是否基于这样的信息来对深度图像进行解码的信息来对3D视频进行解码的解码方法的配置，其中，这样的信息是关于是否基于渲染质量对深度图像进行编码的信息；

图22示出根据实施例的对关于多个相机之间的距离的信息进行编码的编码方法；

图23示出根据实施例的基于关于多个相机之间的距离的信息对3D视频进行解码的解码方法。

具体实施方式

现在，详细参照实施例，其示例在附图中表示，其中，相同的标号始终表示相同的元件。以下通过参考附图描述实施例以解释本公开。

图1示出根据实施例的三维(3D)视频的补充信息的示例。

参照图1，补充信息可被分为相机信息和深度范围信息130。

需要相机信息以对3D视频进行渲染，并且相机信息可包括视点信息110、固有参数120、旋转参数140和平移参数150。

视点信息110指示关于相机拍摄被执行以执行3D视频的多视点拍摄的视点的信息。

固有参数120指示关于相机的唯一特性(例如，焦距、倾斜因子和主点)的信息。可以以矩阵形式存储固有参数信息。

旋转参数140以3×3矩阵的形式来指示关于相机的方向性和旋转程度的信息。

平移参数150可包括关于相机位置的信息。

深度范围信息130可包括距离期望将在3D视频中表达的深度区域的最远距离的深度值以及最近距离的深度值。

图2示出根据实施例的用于对3D视频的补充信息进行编码的编码设备200的配置。

参照图2，编码设备200可包括相机信息接收单元210、深度范围接收单元220、焦距接收单元230、编码确定单元240、补充增强信息(SEI)编码确定单元250、浮点转换单元260和编码单元270。

相机信息接收单元210可接收相机信息，例如，视点信息110、固有参数120、旋转参数140、平移参数150等。

深度范围接收单元220可接收使用最大深度值和最小深度值表达的深度范围信息。

编码确定单元240可确定包括在相机信息中的参数以及包括在深度范围信息中的参数之中的更新的参数是将被编码的参数，并且可产生包括关于更新的参数的信息和关于没有更新的参数的信息的更新信息。也就是，如果来自相机信息接收单元210或深度范围接收单元230的参数中的至少一个参数被更新，则编码确定单元240可产生更新信息。编码确定单元240可根据例如标志值来确定参数是否被更新。

编码确定单元240可确定针对包括在相机信息中的参数以及包括在深度范围信息中的参数的每一个是否执行了更新，从而确定对于每个参数是否需要编码。在这种情况下，编码确定单元240可产生指示针对包括在相机信息中的参数以及包括在深度范围信息中的参数中的每一个是否执行了更新的更新信息。

在指示针对每个参数是否执行更新的情况下，可以以诸如以下显示的形式(例如，表1)来配置更新信息和更新的参数：

[表1]

编码确定单元240可将包括在相机信息中的参数以及包括在深度范围信息中的参数分为预定组。编码确定单元240可确定针对包括在组中的参数中的至少一个是否执行了更新，从而确定存在对包括在包括至少一个更新的参数的组中的所有参数进行编码的需要。例如，在一个实施例中，固有参数可被一起分在第一组，旋转参数可被一起分在第二组，平移参数可被一起分在第三组，深度值参数可被一起分在第四组。在这种情况下，编码确定单元240可产生指示是否对每个组执行了更新的更新信息。

在指示是否对每个组执行更新的情况下(在特定参数被分组在一起的情况下)，可以以例如以下显示的形式(例如，表2)来配置更新信息和更新的参数：

[表2]

在指示针对每个组是否执行更新的情况下，通过使用浮点转换，对于每个组更新的参数的精确度可被设置为相同。因此，更新信息和更新的参数可被配置为诸如以下显示的形式(例如，表3)：

[表3]

在发送多个帧中的第一帧的情况下或者在以预定间隔发送帧以提供随机访问服务的情况下，编码确定单元240可确定包括在相机信息中的参数以及包括在深度范围信息中的所有的参数为将被编码的参数。

甚至在发送第一帧的情况下或者在以预定间隔发送帧以提供随机访问服务的情况下，一些参数的默认值可被设置。在这种情况下，在产生指示是否执行了更新的更新信息中，编码确定单元240可确定具有预定默认值的参数不需要被更新，并且可确定不具有预定默认值的参数需要被更新。

作为预定默认值的示例，主点y可具有默认值-高度/2，主点x可具有默认值-宽度/2，旋转参数可具有作为默认值的单位矩阵的形式，并且倾斜因子可具有作为默认值的“零”。在平移参数的情况下，y和z都可具有作为默认值的“零”。仅通过示例的方式来提供以上默认值，并且以上默认值不限于这些默认值。此外，可选参数可具有除了或代替上述具有默认值的参数以外的默认值。

编码确定单元240可使用诸如以下显示的标记信息(例如，表4)来设置是否进行如下的确定，其中，所述确定是关于是否基于是否更新补充信息执行编码的确定：

[表4]

在不进行关于是否基于是否更新补充信息执行编码的确定的情况下，编码确定单元240可不验证(即，判断或确定)是否更新补充信息。在发送多个帧中的第一帧的情况下或者在以预定间隔发送帧以提供随机访问服务的情况下，编码确定单元240可确定包括在相机信息中的参数以及包括在深度范围信息中的所有参数为将被编码的参数。

在许多情况下，相机参数可以是具有符号的实数值。浮点转换单元260可对将被编码的参数执行浮点转换。

浮点转换单元260可把将被编码的参数转换为符号、尾数、指数和精确度。

当存在更新信息时，编码单元270可将浮点转换的更新参数与更新信息一起进行编码。

焦距接收单元230可接收焦距信息，例如zero_parallax。将参照图3A至图3C来描述与3D屏幕关联的焦距信息。如图3A至图3C所示，当对象被表示在3D屏幕上时，聚焦在3D屏幕上的图像的位置可基于焦点的位置而改变。这里，焦距信息可以是关于在3D显示设备上形成的对象的深度值的信息。

图3A显示两个相机311和312彼此平行放置的情况。在这种情况下，当使用两个相机311和312来拍摄两个对象321和322时，获取的图像中的对象321和322可被表示为相对于例如观看获取的对象的观看者位于3D屏幕330的前面。在这种情况下，3D视频的焦距可被确定为短于距3D屏幕330的距离。

图3B显示两个相机341和342被聚焦在第一对象351上的情况。在这种情况下，当使用两个相机341和342来拍摄两个对象(第一对象351和第二对象361)时，获取的图像中的第一对象351可被表示在3D屏幕360上，获取的图像中的第二对象361可相对于例如观看获取的图像的观看者被表示在3D屏幕360的前面。在这种情况下，3D视频的焦距可被确定为等于距3D屏幕360的距离。

图3C显示两个相机371和372聚焦在短于距第一对象381和第二对象382的距离的点的情况。在这种情况下，当使用两个相机371和372拍摄两个对象(第一对象381和第二对象382)时，相对于例如观看获取的图像的观看者，获取的图像中的第一对象381和第二对象382可被表示在3D屏幕390的后面。在这种情况下，3D视频的焦距可被确定长于距3D屏幕390的距离。

根据一方面，可以以下面显示的形式(例如，表5)来设置焦距信息。

[表5]

3dv_zero_parallax_info(payload){	C	描述符...
Zero_parallax	5	ue(v)...
}

SEI编码确定单元250可验证焦距信息是否被更新，并且当焦距信息被更新时，可确定需要编码。

在发送第一帧的情况下或在以预定间隔发送帧以提供随机访问服务的情况下，SEI编码确定单元250可确定需要对焦距信息的编码。

当根据SEI编码确定单元250的确定结果需要对焦距信息的编码时，编码单元270可对焦距信息进行编码。

上述表(表1-5)或其变形中的每一个可被存储在编码设备200的存储单元(未显示)中。与参数相应的默认值也可被存储在例如存储单元的数据库中。默认值可由用户设置，或者默认值可以是预定值。存储单元可被实施为包括硬盘、软盘、闪存或存储卡(诸如，USB驱动器)的非暂时性计算机可读介质或诸如CD ROM盘和DVD的光学介质。

图4示出根据实施例的用于对3D视频的补充信息进行解码的解码设备400的配置。

参照图4，解码设备400可包括解码单元410、补充信息分类单元420、浮点逆转换单元430、存储单元440和补充信息重新配置单元450。

解码单元410可接收编码的补充信息并对编码的补充信息进行解码。在这种情况下，接收的编码的补充信息可包括以下信息中的至少一个：视点信息、固有参数、旋转参数、平移参数和焦距信息。编码的补充信息还可包括指示补充信息是否被更新的更新信息。

当更新信息被包括在编码的补充信息中时，补充信息分类单元420可将解码的补充信息分类为包括在相机信息中的更新的参数或者包括在深度范围信息中的更新的参数。

相反，当更新信息没有包括在编码的补充信息中时，所有的参数可被包括在由解码单元410解码的补充信息中。因此，补充信息分类单元420可将解码的补充信息分类为包括在相机信息中的参数和包括在深度范围信息中的参数。

浮点逆变换单元430可对由补充信息分类单元420分类的参数或更新的参数执行浮点逆转换。

存储单元420可存储最新的补充信息。例如，包括在相机信息中的参数可根据第一组被分组和/或分类，包括在深度范围信息中的参数可根据第二组被分组和/或分类。分组的补充信息(例如，第一组和第二组)可根据各个组被存储在存储单元440中。补充信息例如可根据包括在相机信息中的参数是固有参数、旋转参数还是平移参数而被进一步分类和分组。存储单元440可被实施为包括硬盘、软盘、闪存或存储卡(诸如，USB驱动器)的非暂时性计算机可读介质或诸如CD ROM盘和DVD的光学介质。

补充信息重新配置单元450可将浮点逆转换的参数存储在存储单元440中，并且可使用存储在存储单元440中的最新的补充信息来验证没有更新的参数。也就是，当具体参数被确定为已没有更新时，补充信息重新配置单元450可从存储单元440检索(预先存储的)参数。

当没有更新的参数不存在于最新的补充信息中时，补充信息重新配置单元450可验证对于每个参数设置的默认值为相应的参数值。也就是，当具体参数被确定还没有被更新并且那个参数的值没有被预先存储在存储单元440时，补充信息重新配置单元450可检索那个参数的默认值。默认值也可被存储在存储单元440中。

下文中，将对根据实施例的在以上构造的编码设备和解码设备中对3D进行编码和解码的方法进行描述。

图5示出根据实施例的在图2的编码设备200中用于对3D视频的补充信息进行编码的处理。

参照图5，在操作510，编码设备200可接收补充信息。

在操作512，编码设备可验证仅对更新的补充信息进行编码还是对整个补充信息进行编码。这里，整个补充信息被验证为将被编码的情况可对应于发送第一帧的情况或者以预定间隔发送帧以提供随机访问服务的情况。

当在操作512，仅更新的补充信息被验证为将被编码时，编码设备200可从接收的补充信息验证更新的参数，从而在操作514将补充信息分类为更新的参数和没有更新的参数。

在操作516，编码设备200可产生包括关于更新的参数的信息以及关于没有更新的参数的信息的更新信息。这里，更新信息可以是指示是否对每个参数执行了更新的信息，并且还可以是指示是否对每个组的参数执行了更新的信息。

在操作518，编码设备200可对更新的参数执行浮点转换。

在操作520，编码设备200可对更新信息和浮点转换的参数进行编码。

相反，当在操作512，整个补充信息被验证为将被编码时，在操作522编码设备200可针对包括在补充信息中的所有参数执行浮点转换。

在操作524，编码设备200可对浮点转换的参数进行编码。

图6示出根据实施例的在图4的解码设备400中用于对3D视频的补充信息进行解码的处理。

参照图6，在操作610，解码设备400可从编码设备200接收编码的补充信息。

在操作612，解码设备400可对编码的补充信息进行解码。

在操作614，解码设备400可验证更新信息是否包括在编码的补充信息中。

当基于操作614的验证结果，更新信息没有包括在编码的补充信息中时，解码设备400可在操作616将解码的补充信息分类为包括在相机信息中的参数以及包括在深度范围信息中的参数。

在操作618，解码设备400可对分类的参数执行浮点逆转换。

在操作620，解码设备400可将浮点逆转换的参数作为最新的补充信息存储在存储单元中。在操作630，解码设备400可输出该最新的补充信息。

相反，当基于操作614的验证结果，更新信息包括在编码的补充信息中时，解码设备400在操作622可将解码的补充信息分类为包括在相机信息中的更新的参数或者包括在深度范围信息中的更新的参数。

在操作624，解码设备400可对更新的参数执行浮点逆转换。

在操作626，解码设备400可将浮点逆转换的参数作为最新的补充信息存储在存储单元中。

在操作628，解码设备400可使用存储在存储单元中的最新的补充信息和/或默认值来恢复没有更新的参数。

在操作630，解码设备400可输出该最新的补充信息。

图7示出根据实施例的用于基于关于相机的位置和方向的信息来对补充信息进行编码的编码设备700的配置。

参照图7，编码设备700可包括接收单元710、编码确定单元720和编码单元730。

由编码设备700编码的补充信息可以是关于使用多个相机获取的图像的补充信息。多个相机可以以各种形式排列以通过拍摄来获取图像。

图8A至图8C示出根据实施例的相机的位置和方向的示例。

图8A显示出相机811、812、813、814、815和816被排列在二维(2D)平面上的示例。在此示例中，所有的相机811、812、813、814、815和816可面向相同的方向，从而通过拍摄来获取图像。图8A的示例可被称为2D平行排列或布置。可根据坐标来描述相机的位置。例如，可根据(x，y，z)坐标来描述相机的位置，其中，x轴的坐标可指示各相机之间的距离或者相机被排列的x轴的原点与每个相机之间的距离。y轴的坐标可指示每一个相机的高度，例如，各相机之间的垂直距离或者相机被排列的y轴的原点与每个相机之间的垂直距离。z轴的坐标可指示关于每个相机与3D视频的对象之间的距离的信息。

图8B显示出相机821、822、823和824被布置在一维(1D)行上的示例。在此示例中，所有的相机821、822、823和824可面向相同的方向，从而通过拍摄来获取图像。图8B的示例可被称为1D平行排列或布置。例如，相机可沿着轴(诸如x轴)排列，并且可具有相同的y轴值。然而，相机可排列在不同的轴(诸如y轴)上，并且具有相同的x轴值。其他排列也是可行的。

图8C显示出相机831、832、833和834被排列在拱形线上的示例。在此示例中，相机831、832、833和834中的每一个可面向不同的方向，从而通过拍摄来获取图像。图8C的示例可被称为1D拱形排列或布置。

接收单元710可接收关于多个相机的位置和方向的信息。也就是，接收单元710可接收每个相机正在面向的方向的信息以及每个相机的位置信息。当多个相机被排列为如图8B所示的1D平行时，所有的多个相机可面向相同的方向。编码确定单元720可基于关于多个相机的位置和方向的信息来选择将被编码的参数。

例如，在多个相机被排列在直线上并且面向相同的方向的情况下，也就是在如图8B所示的1D平行的情况下，所有的多个相机可具有相同的y分量，因此可不需要重复地对y分量进行编码。

在这种情况下，编码确定单元720可从将被编码的参数中排除包括在相机信息中的参数中的y轴的相机参数(y分量)。编码确定单元720可仅将x轴的相机参数(x分量)以及z轴的相机参数(z分量或z值)选择作为将被编码的参数。这里，x轴的相机参数可指示基于相机被排列的轴的相机之间的距离，或者指示相机被排列的轴的原点与每个相机之间的距离。y分量可指示每个相机的高度，例如，相机之间的垂直距离，或者相机被排列的y轴的原点与每个相机之间的垂直距离。z分量或z值可指示关于每个相机与3D视频的对象之间的距离的信息。

例如，用于对3D视频图像的补充信息进行编码的编码设备可通过仅对包括在相机信息中的参数中的z_near、z_far、focal_length_x、principal_point_x和translation_x进行编码来简化编码处理。因此，编码信息量可被减小。

即使以上描述了当基于1D平行排列相机时从将被编码的参数中排除y分量的布置，当基于另一布置来排列相机时，也可从将被编码的参数中排除x参数或z参数。因此，实施例不限于基于1D平行来排列相机的示例或者从将被编码的参数排除y分量的示例。

编码单元730可对指示一部分相机信息不被编码的信息进行编码。根据一方面，指示一部分相机信息不被编码的信息可以是acquisition_mode_info。接收相机信息的用于对3D视频的补充信息进行解码的解码设备可基于acquisition_mode_info的值来确定一部分参数没有被编码，从而容易地对相机信息进行解码。

根据一方面，acquisition_mode_info可被放置在指示补充信息是否被更新的另一标志的相同的级别或者上层。

图9示出根据实施例的用于添加关于用于对相机参数进行编码的另一相机参数的信息的编码设备900的配置。

参照图9，编码设备900可包括预测编码单元910和预测编码标志编码单元920。

预测编码单元910可对第一相机参数执行预测编码。第一相机参数可以是与第一视点关联的预定时间的相机参数。预测编码是为了对第一相机参数进行编码而基于另一相机参数将第一相机参数与另一相机参数进行比较并仅对第一相机参数与另一相机参数之间的差值进行编码的编码方案。

这里，用于与第一相机参数进行比较以对第一相机参数进行编码的另一相机参数可以与第一相机相机参数相同地是与第一视点关联的相机参数，并且可以是在时间上早于第一相机参数的时间的相机参数。也就是，另一相机参数可以是相同视点的不同时间的相机参数。例如，早于第一相机参数的第一视点的第一时间的时间可是指在第一相机参数之前对所述另一相机参数进行编码的时间。所述另一相机参数可以是在第一相机参数之前紧接着编码的相机参数，并且可被存储在编码设备900的存储单元(未显示)中。

根据另一实施例，用于与第一相机参数进行比较以对第一相机参数进行编码的另一相机参数可以是与不同于第一视点的第二视点关联的相机参数，并且可以是处于与第一相机参数的时间相同时间的相机参数。与第二视点关联的相机参数可被存储在编码设备900的存储单元(未显示)中。

预测编码标志编码单元920可对关于用于对第一相机参数执行预测编码的相机参数的视点和时间的信息进行编码。根据一方面，关于相机参数的视点和时间的信息可以是关于预测编码单元910是否基于时间上早于第一视点的预定时间的第二相机参数对第一相机参数执行预测编码的信息，或者是关于预测编码单元910是否基于处于第二视点的预定时间的第三相机参数对第一相机参数执行预测编码的信息。

图10示出根据实施例的用于基于关于相机的位置和方向的信息来对补充信息进行解码的解码设备1000的配置。

参照图10，解码设备1000可包括相机信息接收单元1010和解码单元1020。

如图8A至图8C所示，可以以各种形式来排列相机。仅包括在相机信息中的一部分参数可被编码。相机信息接收单元1010可接收关于包括在相机信息中的一部分参数是否被编码的信息。

例如，当基于如图8B所示的1D平行来排列相机时，相机可具有相同的y分量。因此，可不存在对y分量进行重复编码的需要。在这种情况下，y分量可不存在于编码的相机信息中。相机信息接收单元1010可接收作为指示是否仅一部分的参数被编码的信息的acquisition_mode_info。

基于指示是否仅一部分的参数被编码的acquisition_mode_info的值，解码单元1020可确定是针对每个相机所有的x分量、y分量和z分量都被编码，还是一部分的参数被排除并且仅另一部分的参数被编码。

例如，基于指示是否仅一部分的参数被编码的acquisition_mode_info的值，解码单元1020可确定x分量(诸如，focal_length_x、principal_point_x、translation_x等)以及z分量(诸如z_near和z_far)被编码并且与y分量关联的参数不被编码。基于确定结果，解码单元1020可对包括在编码的相机信息中的相机参数进行解码。

图11示出根据实施例的用于基于关于另一相机参数的信息来对相机参数进行解码的解码设备1100的配置。

参照图11，解码设备1100可包括预测编码标志接收单元1110和预测解码单元1120。

预测编码标志接收单元1110可接收用于对第一相机参数解码的预测编码标志。这里，预测编码标志指示关于用于对第一相机参数进行编码的相机参数的信息以及关于使用的相机参数的视点和时间的信息。

当第一相机参数是处于第一视点的第一时间的相机参数时，可基于在时间上早于第一相机参数的第一视点的第一时间的第二相机参数，来执行第一相机参数的预测编码。可选择地，可基于处于第二视点的第一时间的第三相机参数来执行第一相机参数的预测编码。例如，早于第一相机参数的第一视点的第一时间的时间可指在第一相机参数之前第二相机参数被编码的时间。第二相机参数可以是在第一相机参数之前紧接着被编码的相机参数，并且可被存储在解码设备1100的存储单元(未显示)中。处于第二视点的第一时间的第三相机参数也可被存储在存储单元中。

预测解码单元1120可基于关于使用的相机参数的视点和时间的信息，来确定用于执行第一相机参数的预测编码的相机参数。预测解码单元1120可通过再次参考用于对第一相机参数编码的相机参数来对第一相机参数进行解码。预测解码单元1120可通过从解码设备1100的存储单元(未显示)中检索用于对第一相机参数编码的相机参数，来参考用于对第一相机参数编码的相机参数并且获得该相机参数。

图12示出根据实施例的基于关于相机的位置和方向的信息对补充信息进行编码的编码方法。

在操作1210，用于对3D视频的补充信息进行编码的编码设备可接收关于多个相机的位置和方向的信息。根据一方面，可以以各种形式(例如，如图8A至图8C所示)来排列多个相机。

在操作1220，编码设备可基于关于多个相机的位置和方向的信息验证多个相机是否基于1D平行排列。这里，1D平行指示例如图8B所示的多个相机被排列在直线上并且面向相同的方向。

在操作1230，编码设备可基于关于多个相机的位置和方向的信息来选择包括在相机信息中的多个参数中的将被编码的参数。当多个相机基于1D平行排列时，仅相机信息中的关于指示关于相机之间的距离的信息的x分量以及关于每个相机与对象之间的距离的信息的z值的信息可能是有意义的。因此，编码设备可选择x分量和z值作为将被编码的参数，同时省略与y分量关联的参数。除了多个相机基于1D平行排列的前述情况之外，从相机信息中的将被编码的参数中排除y分量的情况也可发生。在相机的可选择布置中，从相机信息中的将被编码的参数中排除其他分量(例如，x和/或分量)的情况也可发生。

也就是，虽然在图12的实施例中描述了当多个相机基于1D平行排列时从将被编码的参数中排除y分量的配置，但是当使用不同的方法排列多个相机时，可排除例如诸如x分量或z分量的另一参数。也就是，基于具体参数排列方案，一部分的参数可不被编码。

在操作1240，编码设备可对被选作为将被编码的参数的相机信息进行编码。代替对整个相机信息进行编码，不必要的重复信息被排除，并且仅有意义的信息被编码，因此编码设备可简化且有效地执行编码。

根据一方面，在操作1240，编码设备可对指示相机信息中的一部分参数不被编码的acquisition_mode_info进行编码。

图13示出根据实施例的添加关于用于对相机参数进行编码的另一相机参数的信息的编码方法。

在操作1310，用于对3D视频的补充信息进行编码的编码设备可选择另一相机参数，以对第一相机参数进行编码。第一相机参数可以是第一视点的预定时间的相机参数。根据一方面，为了对第一相机参数进行编码，编码设备可选择在时间上早于第一相机参数的时间的第二相机参数。根据另一方面，为了对第一相机参数进行编码，编码设备可选择时间上处于与第一相机参数的时间相同的第二视点的预定时间的第三相机参数。

在操作1320，编码设备可使用选择的相机参数来对第一相机参数执行预测编码。这里，预测编码是基于选择的相机参数来将第一相机参数与另一相机参数进行比较并仅对第一相机参数与另一相机参数之间的差值进行编码的编码方案。因此，可需要关于用于对第一相机参数进行编码的相机参数的信息，以对使用预测编码方案编码的第一相机参数进行解码。

在操作1330，编码设备可对用于对第一相机参数进行编码的相机参数的信息进行编码。根据一方面，编码设备可对关于用于对第一相机参数执行预测编码的相机参数的视点和时间的信息进行编码。

这里，关于相机参数的视点和时间的信息可包括：关于是否基于在时间上早于第一视点的预定时间的第二相机参数对第一相机参数执行预测编码的信息、或者关于是否基于时间上处于与第一相机参数的时间相同的第二视点的预定时间的第三相机参数对第一相机参数执行预测编码的信息。

图14示出根据实施例的基于关于相机的位置和方向的信息对补充信息进行解码的解码方法。

在操作1410，用于对3D视频的补充信息进行解码的解码设备可接收关于是否仅相机信息中的一部分参数被编码的信息。根据一方面，可以以例如如图8A至图8C中所示的各种形式来排列相机。在这种情况下，x分量可指示基于相机被排列的轴的各相机之间的距离、或者相机被排列的轴的原点与每个相机之间的距离。y分量可指示每个相机的高度，例如，各相机之间的垂直距离或者相机被排列的y轴的原点与每个相机之间的垂直距离。另外，z分量可指示关于每个相机与3D视频的对象之间的距离的信息。当相机基于如图8B所示的1D平行排列时，相机信息中的y分量可不被编码。根据一方面，解码设备可接收作为关于是否仅相机信息中的一部分参数被编码的信息的acquisition_mode_info。

在操作1420，解码设备可基于指示是否仅相机信息中的一部分参数被编码的信息的acquisition_mode_info的值来对相机信息进行解码。例如，解码设备可确定仅x分量(诸如focal_length_x、principal_point_x、translation_x等)以及z分量(诸如z_near和z_far)被编码，y分量不被编码。基于确定结果，解码设备可对包括在编码的相机信息中的相机参数进行解码。

图15示出根据实施例的基于关于另一相机参数的信息来对相机参数进行解码的解码方法。

在操作1510，用于对3D视频的补充信息进行解码的解码设备可接收用于对第一相机参数进行解码的预测编码标志。这里，预测编码标志指示关于用于对第一相机参数编码的相机参数的信息以及关于使用的相机参数的视点和时间的信息。

当第一相机参数是处于第一视点的第一时间的相机参数时，可基于在时间上早于第一视点的第一时间的第二相机参数来执行第一相机参数的预测编码。可选择地，可基于时间上与第一相机参数相同的第二视点的第一时间的第三相机参数来执行第一相机参数的预测编码。

在操作1520，解码设备可基于关于使用的相机参数的视点和时间的信息，来确定用于对第一相机参数执行预测编码的相机参数。解码设备可通过再次参考用于对第一相机参数进行编码的相机参数，来对第一相机参数进行解码。用于对第一相机参数进行编码的相机参数可被预先存储在解码设备的存储单元(未显示)中。解码设备可通过从存储单元中检索用于对第一相机参数进行编码的相机参数，来参考用于对第一相机参数进行编码的相机参数。

图16示出根据实施例的用于对关于是否基于渲染质量对3D视频进行编码的信息进行编码的编码设备的配置。

参照图16，编码设备1600可包括深度图像编码单元1610和补充信息编码单元1620。

深度图像编码单元1610可对3D视频的深度图像进行编码。根据一方面，深度图像编码单元1610可使用考虑合成图像质量的比特率失真优化(RDO)来对深度图像进行编码。在深度图像通常用于虚拟图像合成的方面，考虑合成图像质量的RDO方案是基于深度图像的比特率以及合成图像的质量对深度图像进行编码的方案。因此，合成图像的质量可以是极好的，并且编码的深度值可以是精确的。

另一方面，一般合成RDO方案是仅利用深度图像的比特率的方案。也就是，一般合成RDO方案在不考虑深度图像的质量的情况下执行编码，因此，深度图像的质量可严重恶化并且编码的深度值可能是不精确的。因此，合成RDO方案可显著地影响3D视频的各种应用领域或者需要精确深度值的编码技术。

根据一方面，深度图像编码单元1610可使用考虑合成图像质量的RDO方案来对深度值进行编码。在应用合成RDO方案的情况下，当仅使用深度图像的深度质量对深度图像进行编码时，编码的深度图像的质量可降低并且编码的深度值可能是不精确的。因此，在应用考虑合成图像质量的RDO方案的情况下，深度图像编码单元1610可通过附加地利用深度图像的渲染质量来对深度图像进行编码。

在这种情况下，补充信息编码单元1620可对关于深度图像是否基于渲染质量被编码的信息进行编码。当深度图像基于渲染质量被编码时，补充信息编码单元1620可附加地对关于渲染质量的信息进行编码。可基于编码的关于渲染质量的信息来对编码的深度图像进行解码，并且编码的深度图像可被合成为虚拟图像。

根据一方面，关于深度图像是否基于渲染质量被编码的信息可被用作用于确定3D视频中的深度值的可靠性的标准。

根据一方面，可从序列级别到切片级别提供关于深度图像是否基于渲染质量被编码的信息，并且还可针对仅基础视点或针对所有视点来发送关于深度图像是否基于渲染质量被编码的信息。

根据一方面，当深度图像基于渲染质量被编码时，补充信息编码单元1620可将深度图像的渲染质量与深度图像的深度质量的比率进行编码，并且可将该编码的比率发送给解码设备。这里，渲染质量还可被称为合成质量。

根据一方面，当深度质量的值被假设为“1”时，补充信息编码单元1620可对渲染质量的值进行编码，从而将编码的值发送给解码设备。

在这种情况下，补充信息编码单元1620可以如以下例如图6中所示地对关于深度图像是否基于渲染质量和深度质量被编码的信息进行编码：

[表6]

seq_parameter_set_3dv_extension(){		描述符...
seq_view_synthesis_RDO_flag		u(1)
			if(seq_view_synthesis_RDO_flag)
ratio_of_synthesis_quality		ue(v)...
}

这里，seq_view_synthesis_RDO_flag指示深度图像是否基于渲染质量或合成质量被编码。例如，当深度图像基于渲染质量或合成质量被编码时，seq_view_synthesis_RDO_flag可具有值“1”。相反，当深度图像没有使用渲染质量或合成质量编码时，seq_view_synthesis_RDO_flag可具有值零。

另外，ratio_of_synthesis_quality表示渲染质量或合成质量与深度质量的比率。

在另一情况，补充信息编码单元1620可以如以下例如表7中所示地对关于内容的信息进行编码：(1)考虑合成图像质量的RDO方案是否被应用；(2)渲染质量；(3)深度质量：

[表7]

seq_parameter_set_3dv_extension(){		描述符...
seq_view_synthesis_RDO_flag		u(1)
			if(seq_view_synthesis_RDO_flag)
ratio_of_synthesis_quality		ue(v)
			ratio_of_depth_quality		ue(v)...
			}

这里，ratio_of_depth_quality指示深度质量与渲染质量或合成质量之间的比率。

参照表6和表7，补充信息编码单元1620可使用以下方法对关于深度图像的补充信息进行编码。

1)仅对seq_view_synthesis_RDO_flag进行编码：

当没有使用渲染质量对深度图像编码时，补充信息编码单元1620可将seq_view_synthesis_RDO_flag的值编码为“零”并且可不对渲染质量的比率进行编码。

2)对seq_view_synthesis_RDO_flag和渲染质量的比率进行编码：

当使用渲染质量对深度图像编码时，补充信息编码单元1620可将seq_view_synthesis_RDO_flag的值编码为“1”，并且还可对渲染质量的比率进行编码。

3)对seq_view_synthesis_RDO_flag、渲染质量的比例以及深度质量的比率进行编码：

当使用渲染质量对深度图像编码时，补充信息编码单元1620可将seq_view_synthesis_RDO_flag的值编码为“1”，并且还可对渲染质量的比率以及深度质量的比率进行编码。

4)对渲染质量的比率以及深度质量的比率进行编码：

当没有使用渲染质量对3D视频编码时，补充信息编码单元1620可将渲染质量的比率编码为“零”。当渲染质量的比率是零时，解码设备可估计该3D视频没有使用渲染质量进行编码。

图17示出用于基于关于3D视频的深度图像的信息对3D视频进行解码的解码设备的配置。例如，在对3D视频的深度图像进行解码中，解码可基于根据实施例的关于深度图像是否基于渲染质量被编码的信息。

参照图17，解码设备1700可包括接收单元1710和解码单元1720。

接收单元1710可从编码设备接收深度图像被编码的3D视频。另外，接收单元1710可接收关于在3D视频的深度图像的编码中深度图像是否基于渲染质量被编码的信息。

解码单元1720可基于关于深度图像是否基于渲染质量被编码的信息来对深度图像被编码的3D视频进行解码。

根据一方面，当深度图像基于渲染质量被编码时，解码单元1720可基于深度图像的渲染质量对3D视频进行解码。

根据一方面，基于深度图像是否基于渲染质量被编码，可使用如例如表6和表7中所示的各种方法来对深度图像的深度质量和渲染质量进行编码。

根据另一方面，当没有使用渲染质量对深度图像编码时，解码单元1720可基于深度图像的深度质量对3D视频进行解码。

图18示出根据实施例的用于对关于多个相机之间的距离的信息进行编码的编码设备的配置。

多视点图像可包括连续立体图像。因此，3D视频的3D效果可取决于每个子立体图像的3D效果。

与立体图像相比，多视点图像可更易受到多个视点的影响，因此可提供进一步的实际生动的图像。

通常，对3D视频中的深度的感知可根据相机之间的距离而不同。例如，当使用两个相机获得3D视频时，随着相机之间的距离的增加，在获取的图像中的深度感知可被进一步增强。

因此，编码设备1800可对关于用于获取构成3D视频的两个立体图像的相机之间的距离的信息以及3D视频进行编码。

根据一方面，3D视频编码单元1810可对使用多个相机获取的3D视频进行编码，补充信息编码单元1820可对关于多个相机之间的距离的信息进行编码。这里，由补充信息编码单元1820编码的关于多个相机之间的距离的信息可包括关于相机的数量的信息。另外，关于多个相机之间的距离的信息可包括关于从多个相机中选择的两个相机之间的距离的信息。例如，可基于相机的位置使用与每个相机关联的坐标值来获得这两个相机之间的距离。

根据一方面，补充信息编码单元1820可以如表8所示地对关于多个相机之间的距离的信息进行编码。

[表8]

3dv_interaxial(payload){		描述符...
max_interaxial		ue(v)
			if(max_interaxial)
interaxial_value		ue(v)...
}

这里，max_interaxial指示关于用于获取3D视频的相机的数量的信息，并可被定义为例如通过从相机的总数减去“1”获得的值。另外，interaxial_value可指示相机之间的距离。根据一方面，通过将直到max_interaxial的区间除以相机的数量或者预定值而获得的值可被定义为例如单位距离。通常，预定值是大于相机的数量的值，并且可被设置为例如“1024”。也就是，单位距离可等于相机之间的距离，或者可显著地小于相机之间的距离。

例如，在max_interaxial是“7”的情况下，相机的总数是“8”。因此，如果单位距离等于相机之间的距离，则可存在七个区间，每个区间在八个相机的每个之间。因此，如果interaxial_value＝0，则可指示标号0相机的位置，如果interaxial_value＝1，则可指示标号1相机的位置，等等。

另外，在单位距离被定义为通过直到max_interaxial的区间除以“1024”而获得的值的情况下，显著小于相机之间的距离的值可被获得。例如，如果interaxial_value＝1，则可指示1/(7×(相机之间的距离)×1024)。

当补充信息编码单元1820如表7所示地对关于多个相机之间的距离的信息进行编码时，解码设备可基于关于多个相机之间的距离的信息来提供可适应的3D效果。

图19示出根据实施例的用于基于关于多个相机之间的距离的信息对3D视频进行解码的解码设备1900的配置。

参照图19，解码设备1900可包括接收单元1910和解码单元1920。

接收单元1910可接收使用多个相机获取的3D视频。根据一方面，接收单元1910可接收用于获取3D视频的多个相机之间的距离的信息。

解码单元1920可基于关于多个相机之间的距离的信息来对3D视频进行解码。根据一方面，解码单元1920可基于用于获取3D视频的多个相机之间的距离来提供适应的3D效果。

例如，假设使用1024个相机来获取多视点图像。与将使用彼此相邻的标号0相机和标号1相机获取的图像进行立体观看相比，将使用标号0相机和标号3相机获取的图像进行立体观看可提供进一步增强的3D效果。

图20示出根据实施例的对关于是否基于渲染质量对3D视频进行编码的信息进行编码的编码方法。

在操作2010，编码设备可对3D视频的深度图像进行编码。根据一方面，编码设备可基于深度图像的渲染质量来对深度图像进行编码。

当深度图像基于渲染质量被编码时，深度值可以是精确的，并且编码的深度图像可维持不影响虚拟图像的合成的质量级别。

在操作2020，编码设备可对关于深度图像是否基于渲染质量被编码的信息进行编码。

在操作2030，编码设备可确定在操作2010深度图像是否基于渲染质量被编码。

当在操作2030确定深度图像基于渲染质量被编码时，编码设备在操作2040可对深度图像的渲染质量进行编码，从而将编码的渲染质量发送给解码设备。例如，编码设备可对深度图像的深度质量与深度图像的渲染质量之间的比率进行编码，从而将编码的比率发送给解码设备。在这种情况下，可由解码设备基于深度质量和渲染质量对深度图像进行解码。

相反，当在操作2030确定深度图像没有使用渲染质量被编码时，编码设备可在操作2050仅对深度质量进行编码，从而将编码的深度质量发送给解码设备。在这种情况下，可由解码设备基于深度质量对深度图像进行解码。

图21示出基于关于3D视频的深度图像的信息对3D视频进行解码的解码方法。例如，根据实施例，对3D视频的深度图像的解码可基于关于深度图像是否基于渲染质量被编码的信息。

在操作2110，解码设备可从编码设备接收深度图像被编码的3D视频。在操作2110，解码设备可从编码设备接收关于深度图像是否基于渲染质量被编码的信息。

在操作2120，解码设备可确定深度图像是否基于渲染质量被编码。

当在操作2120确定深度图像基于渲染质量被编码时，解码设备可在操作2130基于渲染质量对深度图像进行解码。例如，在操作2130，解码设备可从深度质量与渲染质量之间的比率来计算渲染质量的值，并且可基于计算的渲染质量的值来对3D视频进行解码。根据一方面，基于深度质量的值是“1”的假设，仅渲染质量的值可被编码并且深度质量与渲染质量之间的比率可被编码。

相反，当在操作2130确定深度图像没有使用渲染质量被编码时，解码设备可在操作2140基于深度质量对3D视频进行解码。

图22示出根据实施例的对关于多个相机之间的距离的信息进行编码的编码方法。

在操作2210，编码设备可接收使用多个相机获取的3D视频。使用多个相机获取的多视点图像可包括连续立体图像。因此，与一般立体图像相比，多视点图像可提供进一步增强的3D效果。

通常，对3D视频的深度的感知可基于相机之间的距离而不同。例如，当使用两个相机获取3D图像时，随着相机之间的距离的增加，获取的图像中的深度的感知可被进一步增强。

因此，在操作2220，编码设备可对关于相机之间的距离的信息进行编码。这里，将被编码的关于相机之间的距离的信息可包括关于用于获取多视点图图像的相机的数量的信息，并且可包括关于从多个相机之间选择的两个相机之间的距离的信息。根据一方面，可如表7所示地对关于两个相机之间的距离的信息进行编码。

图23示出根据实施例的基于关于多个相机之间的距离的信息对3D视频进行解码的解码方法。

在操作2310，解码设备可接收使用多个相机获取的3D视频。根据一方面，解码设备可接收关于用于获取3D视频的多个相机之间的距离的信息。

在操作2320，解码设备可基于关于多个相机之间的距离的信息来对3D视频进行解码。根据一方面，解码设备可基于用于获取3D视频的多个相机之间的距离来提供适应的3D效果。

例如，假设使用1024个相机获取多视点图像。与使用彼此相邻的标号0相机和标号1相机获取的图像的立体观看相比，使用标号0相机和标号3相机获取的图像的立体观看可提供进一步增强的3D效果。

可单独地或组合地实施根据上述示例实施例的用于对3D视频的补充信息执行编码和/或解码的设备和方法。为了便于示出和解释，已经单独地描述了这里公开的一些实施例。然而，对于本领域的普通技术人员清楚的是，可在编码或解码设备内，单独地或组合地实施上述示例实施例。例如，编码设备可用于对3D视频的补充信息进行编码、对更新信息进行编码，对关于相机的位置和方向的信息进行编码，对关于用于对在预测编码的情况下的相机参数进行编码的另一相机参数的信息进行编码，对关于是否基于渲染质量对3D视频进行编码的信息进行编码，并且对关于多个相机之间的距离的信息进行编码。

同样，解码设备可接收上述编码的信息并且可用于对3D视频的补充信息进行解码、对更新信息进行解码，对关于相机的位置和方向的信息进行解码，对关于用于对在预测编码的情况下的相机参数进行编码的另一相机参数的信息进行解码，对关于是否基于渲染质量对3D视频进行编码的信息进行解码，并且对关于多个相机之间的距离的信息进行解码。

根据上述示例实施例的用于对3D视频的补充信息执行编码和/或解码的设备和方法可使用一个或更多处理器，一个或更多处理器可包括微处理器、中央处理单元(CPU)、数字信号处理器(DSP)、或专用应用集成电路(ASIC)以及这些中的部分或组合以及其他处理装置。

上述表(例如，表1-8)或其变形中的每一个可视情况被存储在编码设备和/或解码设备的存储器中。与参数相应的默认值也可被存储在例如存储器中。可由用户设置默认值或者默认值可以是预定值。存储器可被实施为非暂时性计算机可读介质，包括硬盘、软盘、闪存或存储卡(诸如，USB驱动器)，或者光学介质(诸如，CD ROM盘和DVD)。

这里使用的术语“模块”和“单元”是指但不限于软件或硬件组件或装置，诸如执行特定任务的场可编程门阵列(FPGA)或专用应用集成电路(ASIC)。模块或单元可被配置为驻留在可寻址存储介质中，并且被配置为在一个或更多处理器上执行。因此，举例来说，模块或单元可包括诸如软件组件、面向对象的软件组件、类组件和任务组件的组件、进程、函数、属性、过程、子程序、程序代码段、驱动程序、固件、微码、电路、数据、数据库、数据结构、表、数组和变量。在组件和模块/单元中提供的功能可被组合为更少的组件和模块/模块，或者可进一步被分离成另外的组件和模块。

根据上述实施例的用于执行3D视频的补充信息进行编码和/或解码的方法可被记录在包括用于实现由计算机实现的各种操作的程序指令的非暂时性计算机可读介质中。介质还可单独地或组合地包括程序指令、数据文件、数据结构等。非暂时性计算机可读介质的示例包括磁介质(诸如，硬盘、软盘和磁带)；光介质(诸如，CD ROM盘和DVD)；磁光介质(诸如，光盘)；和可专门被配置为存储和执行程序指令的硬件装置(诸如，只读存储器(ROM)、随机存取存储器(RAM)、闪存等)。计算机指令的示例包括机器码(诸如由编译器产生的)以及包含可由计算机使用解释程序执行的高级代码的文件。所描述的硬件装置可被配置为用作一个或更多软件模块，以执行上述实施例的操作，反之亦然。可在有线或无线网络上执行根据上述实施例的用于执行3D视频的补充信息的编码和/或解码的方法。

流程图的每个块可表示包括用于执行指定逻辑功能的一个或更多可执行指令的单元、模块、片段或部分代码。还应该注意，在一些可选实施例中，在块中写下的功能可不按照顺序发生。例如，顺序显示的两个块实际上可基本上同时地执行或者有时候一些块可以以相反顺序执行，这取决于相关的功能性。

尽管已经、显示和描述了示例实施例，但是本领域的技术人员应该理解，在不脱离由权利要求及其等同物限定范围的本公开的精神和范围的情况下，可以对这些实施例进行改变。

Claims (28)

1.一种用于对三维3D视频的补充信息进行编码的编码设备，所述编码设备包括：

相机信息接收单元，用于接收相机信息；

深度范围接收单元，用于接收深度范围信息；

编码确定单元，用于确定包括在相机信息中的参数以及包括在深度范围信息中的参数之中的更新的参数是否是将被编码的参数，并且用于基于所述确定来产生更新信息；

编码单元，用于对更新信息和将被编码的参数进行编码。

2.如权利要求1所述的编码设备，其中：

当多个帧中的第一帧将由所述编码设备发送时，编码确定单元确定包括在相机信息中的所有参数以及包括在深度范围信息中的所有参数是将被编码的参数，

当发送第一帧时，编码单元无需使用更新信息来对将被编码的参数进行编码。

3.如权利要求1所述的编码设备，其中：

当将由所述编码设备发送的帧是以预定间隔发送的帧以提供随机访问服务时，编码确定单元确定包括在相机信息中的所有参数以及包括在深度范围信息中的所有参数是将被编码的参数，

当以预定间隔发送所述帧以提供随机访问服务时，编码单元无需使用更新信息来对将被编码的参数进行编码。

4.如权利要求1所述的编码设备，其中，编码确定单元确定是否针对包括在相机信息中的所有参数中的每一个以及包括在深度范围信息中的参数中的每一个执行了更新，以确定是否对参数中的每一个进行编码。

5.如权利要求4所述的编码设备，其中，编码确定单元产生指示是否对包括在相机信息中的参数中的每一个以及包括在深度范围信息中的参数中的每一个执行了更新的更新信息。

6.如权利要求1所述的编码设备，其中，编码确定单元将包括在相机信息中的参数以及包括在深度范围信息中的参数分为预定组，确定是否针对包括在所述组中的参数中的至少一个执行了更新，并且如果组中的至少一个参数是更新的参数，则确定对包括在组中的所有参数进行编码。

7.如权利要求6所述的编码设备，其中，编码确定单元产生指示是否对组中的每一个执行了更新的更新信息。

8.如权利要求1所述的编码设备，还包括：

焦距接收单元，用于接收焦距信息；

补充增强信息SEI编码确定单元，当焦距信息被更新时，确定需要编码，

其中，编码单元对更新的焦距信息进行编码。

9.如权利要求8所述的编码设备，其中：

当多个帧中的第一帧将由所述编码设备发送时，SEI编码确定单元确定需要对焦距信息的编码，

当发送第一帧时，编码单元对焦距信息进行编码。

10.如权利要求8所述的编码设备，其中：

当将被发送的帧是以预定间隔发送的帧以提供随机访问服务时，SEI编码确定单元确定需要对焦距信息的编码，

当以预定间隔发送所述帧以提供随机访问服务时，编码单元对焦距信息进行编码。

11.如权利要求1所述的编码设备，其中，相机信息包括以下参数中的至少一个：固有参数、旋转参数或平移参数，

深度范围信息包括最大深度值和最小深度值。

12.一种用于对三维3D视频的补充信息进行解码的解码设备，该解码设备包括：

解码单元，用于对编码的补充信息进行解码；

补充信息分类单元，当更新信息被包括在编码的补充信息中时，将解码的补充信息分类为包括在相机信息中的更新的参数或者分类为包括在深度范围信息中的更新的参数；

存储单元，存储最新的补充信息；

补充信息重新配置单元，用于将更新的参数存储在存储单元中，并且确定没有更新的参数。

13.如权利要求11所述的解码设备，其中，如果第一参数没有被更新，则补充信息重新配置单元基于存储在存储单元中的最新的补充信息来确定第一参数值，或者如果最新的补充信息不包含与第一参数相应的参数值，则通过使用默认值来确定第一参数值。

14.如权利要求11所述的解码设备，还包括：

浮点逆转换单元，用于对更新的参数执行浮点逆转换，

其中，补充信息重新配置单元将浮点逆转换的参数存储在存储单元中。

15.如权利要求11所述的解码设备，其中：

当更新信息没有包括在编码的补充信息中时，补充信息分类单元将解码的补充信息分类为包括在相机信息中的参数以及包括在深度范围信息中的参数，

补充信息重新配置单元将所有的分类的参数作为最新的补充信息存储在存储单元中。

16.如权利要求11所述的解码设备，其中：

当焦距信息被包括在编码的补充信息中时，补充信息分类单元将焦距信息进行分类，并且补充信息重新配置单元将焦距信息存储在存储单元中。

17.一种对使用多个相机获取的三维3D视频的补充信息进行编码的方法，该方法包括：

接收相机信息和深度范围信息；

确定包括在相机信息中的参数以及包括在深度范围信息中的参数之中的至少一个更新的参数是否是将被编码的参数；

基于所述确定来产生更新信息；

对更新信息以及将被编码参数进行编码。

18.如权利要求17所述的方法，其中，确定步骤包括：确定是否针对包括在相机信息中的参数中的每一个以及包括在深度范围信息中的参数中的每一个执行了更新以确定是否对参数中的每一个进行编码。

19.如权利要求18所述的方法，其中，产生步骤包括：产生指示是否对包括在相机信息中的参数中的每一个以及包括在深度范围信息中参数中的每一个执行了更新的更新信息。

20.如权利要求17所述的方法，其中，确定步骤包括：将包括在相机信息中的参数以及包括在深度范围信息中的参数分为预定组，确定是否针对包括在所述组中的参数中的至少一个执行了更新，并且如果组中的至少一个参数是更新的参数，则确定对包括在组中的所有参数进行编码。

21.如权利要求20所述的方法，其中，产生步骤包括：产生指示是否对组中的每一个执行了更新的更新信息。

22.如权利要求17所述的方法，其中，对更新信息和参数进行编码的步骤包括：基于关于多个相机的位置和方向的信息，来选择性地对相机信息的参数中的一部分进行编码。

23.一种对使用多个相机获取的三维3D视频的补充信息进行解码的方法，该方法包括：

对编码的补充信息进行解码；

当更新的信息被包括在编码的补充信息中时，将解码的补充信息分类为包括在相机信息中的更新的参数或者分类为包括在深度范围信息中的更新的参数；

将更新的参数存储在存储单元中，并对没有更新的参数确定参数值。

24.如权利要求23所述的方法，还包括：

当更新信息没有被包括在编码的补充信息中时，将解码的补充信息分类为包括在相机信息中的参数以及包括在深度范围信息中的参数，

将所有的分类的参数作为最新的补充信息存储在存储单元中。

25.如权利要求23所述的方法，其中，对编码的补充信息进行解码的步骤包括：基于关于多个相机的位置和方向的信息，确定是否仅相机信息中的参数中的一部分被编码。

26.一种用于对使用多个相机获取的三维3D视频的补充信息进行编码的编码设备，该编码设备包括：

相机信息接收单元，用于接收相机信息；

深度范围接收单元，用于接收深度范围信息；

编码确定单元，用于选择性地确定是否对包括在相机信息中的参数以及包括在深度范围信息中的参数进行编码；

编码单元，用于选择性地对将被编码的参数进行编码，

其中，如果包括在相机信息或深度范围信息中的各个参数被更新，则编码确定单元选择性地确定对包括在相机信息中的至少一个参数或者包括在深度范围信息中的至少一个参数进行编码，

其中，编码单元通过根据多个相机的位置和方向省略相机信息来选择性地对更新的参数的信息选择性地进行编码。

27.如权利要求26所述的编码设备，其中，当多个帧中的第一帧将由所述编码设备发送时，或者当将由所述编码设备发送的帧是以预定间隔发送的帧以提供随机访问服务时，编码确定单元选择性地确定对包括在相机信息和深度范围信息中的所有参数进行编码。

28.如权利要求26所述的编码设备，还包括：浮点转换单元，用于通过把将被编码的参数转换为尾数、指数和精确度，来对将被编码的参数执行浮点转换。

Images