CN104641642A - 用于视频编码的方法和装置 - Google Patents

Abstract

公开一种方法、装置和计算机程序产品，其中获得第一类型的至少一个视图分量和第二类型的至少一个视图分量。确定纹理视图分量和景深视图分量在访问单元中的顺序，并且对顺序的至少一个指示进行编码。基于该顺序适配对视图分量的编码。还公开一种方法、装置和计算机程序产品，其中接收第一类型的至少一个编码视图分量和第二类型的至少一个编码视图分量。还接收视图分量的顺序的至少一个编码指示。对该至少一个编码指示进行解码，并且基于该顺序适配对视图分量的解码。

Description

用于视频编码的方法和装置

技术领域

本申请总体上涉及一种用于视频编码和解码的装置、方法和计算机程序。

背景技术

本节旨在于提供在权利要求中记载的本发明的背景或者上下文。这里的描述可以包括如下概念，这些概念可以被探求但是未必是先前已经设想或者探求的概念。因此，除非这里另有指示，在本节中描述的内容不是在本申请中的说明书和权利要求书之前的现有技术并且不因包含于本节中而被承认为现有技术。

视频编码***可以包括将输入视频变换成适合用于存储/传输的压缩表示的编码器和可以将压缩视频表示解压回可查看形式的解码器。编码器可以丢弃原有视频序列中的一些信息，以便以更紧凑形式表示视频以例如实现视频信息在比以别的方式可能需要的比特率更低的比特率的存储/传输。

可伸缩视频编码是指编码结构，其中一个比特流可以包含内容在不同比特率、分辨率、帧速率和/或其它类型的可伸缩性的多个表示。可伸缩比特流可以由提供可用最低质量视频的基础层以及在与更低层一起接收和解码时增强视频质量的一个或者多个增强层。为了提高用于增强层的编码效率，该层的编码表示可以依赖于更低层。每层与所有它的依赖层一起是视频信号在某个空间分辨率、时间分辨率、质量水平和/或其它类型的可伸缩性的操作点的一个表示。

当前考察和开发用于提供三维(3D)视频内容的各种技术。具体而言，密集研究已经被聚焦于各种多视图应用，其中查看者能够仅看见来自具体视点的一对立体视频以及来自不同视点的另一对立体视频。用于这样的多视图应用的最可行方式之一已经转向这样的方式，其中向解码器侧仅提供有限数目的输入视图，例如单一或者立体视频加上一些补充数据，并且所有需要的视图然后被解码器本地渲染(即合成)以在显示器上被显示。

在对3D视频内容的编码中，可以使用视频压缩***，比如高级视频编码标准H.264/AVC或者H.264/AVC的多视图视频编码MVC扩展。

发明内容

一些实施例从如下考虑出发，该考虑是可以提供和向比特流编码纹理视图分量和景深视图分量在访问单元中的顺序的指示，并且可以基于纹理视图分量和景深视图分量的顺序适配对纹理视图分量和景深视图分量的编码。

在具体实施方式中提供本发明的示例的各种方面。

根据本发明的第一方面，提供一种方法，该方法包括：

获得视图的第一类型的至少一个视图分量和第二类型的至少一个视图分量；

确定第一类型的至少一个视图分量和第二类型的至少一个视图分量在访问单元中的视图分量顺序；

对视图分量顺序的至少一个指示进行编码；以及

基于视图分量顺序，适配对第一类型的至少一个视图分量和第二类型的至少一个视图分量之一或者二者的编码。

根据本发明的第二方面，提供一种包括至少一个处理器和至少一个存储器的装置，至少一个存储器包括计算机程序代码，至少一个存储器和计算机程序代码被配置为与至少一个处理器一起，使该装置：

获得视图的第一类型的至少一个视图分量和第二类型的至少一个视图分量；

确定第一类型的至少一个视图分量和第二类型的至少一个视图分量在访问单元中的视图分量顺序；

对视图分量顺序的至少一个指示进行编码；以及

基于视图分量顺序，适配对第一类型的至少一个视图分量和第二类型的至少一个视图分量之一或者二者的编码。

根据本发明的第三方面，提供一种包括一个或者多个指令的一个或者多个序列的计算机程序产品，一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时，使装置至少执行以下操作：

获得视图的第一类型的至少一个视图分量和第二类型的至少一个视图分量；

确定第一类型的至少一个视图分量和第二类型的至少一个视图分量在访问单元中的视图分量顺序；

对视图分量顺序的至少一个指示进行编码；以及

基于视图分量顺序，适配对第一类型的至少一个视图分量和第二类型的至少一个视图分量之一或者二者的编码。

根据本发明的第四方面，提供一种装置，该装置包括：

用于获得视图的第一类型的至少一个视图分量和第二类型的至少一个视图分量的部件；

用于确定第一类型的至少一个视图分量和第二类型的至少一个视图分量在访问单元中的视图分量顺序的部件；

用于对视图分量顺序的至少一个指示进行编码的部件；以及

用于基于视图分量顺序适配对第一类型的至少一个视图分量和第二类型的至少一个视图分量之一或者二者的编码的部件。

根据本发明的第五方面，提供一种方法，该方法包括：

接收视图的第一类型的至少一个编码视图分量和第二类型的至少一个编码视图分量；

接收第一类型的至少一个视图分量和第二类型的至少一个视图分量的视图分量顺序的至少一个编码指示；以及

对视图分量顺序的至少一个编码指示进行解码；以及

基于视图分量顺序适配对第一类型的至少一个视图分量和第二类型的至少一个视图分量之一或者二者的解码。

根据本发明的第六方面，提供一种包括至少一个处理器和至少一个存储器的装置，至少一个存储器包括计算机程序代码，至少一个存储器和计算机程序代码被配置为与至少一个处理器一起，使该装置：

接收视图的第一类型的至少一个视图分量和第二类型的至少一个视图分量；

接收第一类型的至少一个视图分量和第二类型的至少一个视图分量的视图分量顺序的至少一个编码指示；

对视图分量顺序的至少一个编码指示进行解码；以及

基于视图分量顺序，适配对第一类型的至少一个视图分量和第二类型的至少一个视图分量之一或者二者的解码。

根据本发明的第七方面，提供一种包括一个或者多个指令的一个或者多个序列的计算机程序产品，一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时，使装置至少执行以下操作：

接收视图的第一类型的至少一个视图分量和第二类型的至少一个视图分量；

接收第一类型的至少一个视图分量和第二类型的至少一个视图分量的视图分量顺序的至少一个编码指示；

对视图分量顺序的至少一个编码指示进行解码；以及

基于视图分量顺序，适配对第一类型的至少一个视图分量和第二类型的至少一个视图分量之一或者二者的解码。

根据本发明的第八方面，提供一种装置，该装置包括：

用于接收视图的第一类型的至少一个编码视图分量和第二类型的至少一个编码视图分量的部件；

用于接收第一类型的至少一个视图分量和第二类型的至少一个视图分量的视图分量顺序的至少一个编码指示的部件；以及

用于对视图分量顺序的至少一个编码指示进行解码的部件；以及

用于基于视图分量顺序适配对第一类型的至少一个视图分量和第二类型的至少一个视图分量之一或者二者的解码的部件。

附图说明

为了更完整理解本发明的示例实施例，现在参照结合附图进行的以下描述，在附图中：

图1示意地示出运用本发明的一些实施例的电子设备；

图2示意地示出适合用于运用本发明的一些实施例的用户设备；

图3进一步示意地示出使用无线和有线网络连接而连接的运用本发明的实施例的电子设备；

图4a示意地示出如在编码器内结合的本发明的实施例；

图4b示意地示出根据本发明的一些实施例的帧间预测器的实施例；

图5示出基于DIBR的3DV***的简化模型；

图6示出立体相机设置的简化2D模型；

图7示出访问单元的定义和编码顺序的示例；

图8示出能够对纹理视图和景深视图进行编码的编码器的实施例的高级流程图；

图9示出能够对纹理视图和景深视图进行解码的解码器的实施例的高级流程图；

图10示出用于在编码器内的景深映射编码的示例处理流程；

图11示出编码器的用循环内(in-loop)实施方式对两个景深映射视图进行编码的示例；

图12示出锚画面的联合多视图视频和景深编码的示例；

图13示出非锚画面的联合多视图视频和景深编码的示例；

图14描绘用于方向分离的运动矢量预测的示例方法的流程图；

图15a示出用作用于帧内预测的候选的当前编码的块的空间邻域；

图15b示出用作用于帧间预测的候选的当前编码的块的时间邻域；

图16a描绘用于P分片中的跳过模式(skip mode)的基于景深的运动竞争的示例方法的流程图；

图16b描绘用于B分片中的直接模式(direct mode)的基于景深的运动竞争的示例方法的流程图。

具体实施方式

在下文中，将在一个视频编码布置的上下文中描述本发明的若干实施例。然而，将注意的是，本发明不限于这一具体布置。事实上，不同实施例广泛地在其中需要改进参考画面操纵的任何环境中具有应用。例如，本发明可以适用于视频编码***，比如流式***、DVD播放器、数字电视接收器、个人视频记录器、在个人计算机、手持计算机和通信设备上的***和计算机程序、以及其中处理视频数据的网元(比如代码转换器和云计算布置)。

H.264/AVC标准由国际电信联盟(ITU-T)的电信标准化部门的视频编码专家组(VCEG)和国际标准化组织(ISO)/国际电工委员会(IEC)的运动图片专家组(MPEG)的联合视频团队(JVT)开发。H.264/AVC标准由两个母标准组织发布，并且它被称为ITU-T推荐H.264和ISO/IEC国际标准14496-10，也称为MPEG-4部分10高级视频编码(AVC)。已经有H.264/AVC标准的多个版本，每个版本向规范集成新扩展或者特征。这些扩展包括可伸缩视频编码(SVC)和多视图视频编码(MVC)。

有VCEG和MPEG的联合协作团队-视频编码(JCT-VC)对高效率视频编码(HEVC)的当前进行中的标准化项目。

在这一节中描述H.264/AVC和HEVC的一些关键定义、比特流和编码结构以及概念作为其中可以对实施例进行实施的视频编码器、解码器、编码方法、解码方法和比特流结构的示例。H.264/AVC的关键定义、比特流和编码结构以及概念中的一些关键定义、比特流和编码结构以及概念与在草案HEVC标准中相同——因此，以下共同地描述它们。本发明的各方面不限于H.264/AVC或者HEVC，但是相反，对于本发明可以在其上面被部分或者完全实现的一个可能基础给出描述。

与许多较早的视频编码标准相似，在H.264/AVC和HEVC中指定比特流句法和语义以及用于无错比特流的解码过程。未指定编码过程，但是编码器必须生成一致性比特流。可以用假设参考解码器(HRD)验证比特流和解码器一致性。标准包含有助于应对传输错误和丢失的编码工具，但是在编码时使用工具是可选的，并且对于错误比特流尚未指定解码过程。

分别用于至H.264/AVC或者HEVC编码器的输入以及H.264/AVC或者HEVC解码器的输出的基本单元是画面。在H.264/AVC和HEVC中，画面可以是帧或者场。帧包括亮度(luma)采样和对应色度采样的矩阵。场在源信号被交错(interlace)时是帧的交替采样行的集合并且可以用作编码器输入。色度画面在与亮度画面比较时可以被子采样。例如，在4：2：0采样模式中，色度画面的空间分辨率是亮度画面沿着两个坐标轴的空间分辨率的一半。

在H.264/AVC中，宏块是16x16亮度采样块和对应色度采样块。例如在4：2：0采样模式中，宏块包含每个色度分量一个8x8色度采样块。在H.264/AVC中，画面被分割成一个或者多个分片组，并且分片组包含一个或者多个分片。在H.264/AVC中，分片由在特定分片组内的光栅扫描中连续排序的整数数目的宏块构成。

在草案HEVC标准中，视频画面被划分成覆盖画面区域的编码单元(CU)。CU由定义用于在CU内的采样的预测过程的一个或者多个预测单元(PU)以及定义用于在CU中的采样的预测误差编码过程的一个或者多个变换单元(TU)构成。通常，CU由具有从可能CU大小的预定义集合可选择的大小的采样方块构成。具有最大允许大小的CU通常称为LCU(最大编码单元)，并且视频画面被划分成非重叠LCU。LCU可以例如通过递归地拆分LCU和所得CU来进一步拆分成更小CU的组合。每个所得CU通常具有至少一个PU和与它关联的至少一个TU。每个PU和TU还可以被拆分成更小PU和TU，以便分别增加预测和预测误差编码过程的粒度。PU拆分可以通过将CU拆分成四个相等大小的方形PU或者以对称或者不对称方式将CU竖直地或者水平地拆分成两个矩形PU来实现。通常在比特流中用信号发送将图像划分成CU以及将CU划分成PU和TU，从而允许解码器再现这些单元的既定结构。

在草案HEVC标准中，可以以矩形并且包含整数数目的LCU的瓦片(tile)的形式分割画面。在草案HEVC标准中，划分成瓦片形成规则网格，其中瓦片的高度和宽度互不相同最多一个LCU。在草案HEVC中，分片由整数数目的CU构成。如果未使用瓦片，则在瓦片内或者在画面内按照LCU的光栅扫描顺序扫描CU。在LCU内，CU具有具体扫描顺序。

在HEVC的工作草案(WD)5中，定义用于画面分割的一些关键定义和概念如下。定义分割为将集合划分成子集，从而集合的每个元素正好在子集中的一个子集中。

在HEVC WD5中的基本编码单元是树块。树块是具有三个采样阵列的画面的NxN亮度采样块和两个对应色度采样块，或者单色画面或使用三个分离色平面来编码的画面的NxN采样块。可以分割树块用于不同编码和解码过程。树块分割是用于具有三个采样阵列的画面的树块的分割所产生的亮度采样块和两个对应色度采样块或者用于单色画面或使用三个分离色平面来编码的画面的树块的峰所产生的亮度采样块。向每个树块指派分割信令以标识用于帧内或者帧间预测以及用于变换编码的块大小。分割是递归四元树分割。四元树的根与树块关联。拆分四元树直至到达称为编码节点的叶。编码节点是预测树和变换树这两个树的根节点。预测树指定预测块的位置和大小。预测树和关联预测数据称为预测单元。变换树指定变换块的位置和大小。变换树和关联变换数据称为变换单元。用于亮度和色度的拆分信息对于预测树是相同的，并且对于变换树可以是相同的或者可以不是相同的。编码节点以及关联的预测单元和变换单元一起形成编码单元。

在HEVC WD5中，将画面划分成分片(slice)和瓦片。分片可以是树块序列，但是(在指代所谓细粒度分片时)也可以在变换单元和预测单元重合的位置处在树块内具有它的边界。在分片内的树块按照光栅扫描顺序被编码和解码。对于编码的主画面，将每个画面划分成分片是分割。

在HEVC WD5中，定义瓦片为在一列和一行中同现的、在瓦片内的光栅扫描中连续排序的整数数目的树块。对于编码的主画面，将每个画面划分成瓦片是分割。瓦片在画面内的光栅扫描中被连续排序。虽然分片包含在瓦片内的光栅扫描中连续的树块，但是这些树块未必在画面内的光栅扫描中是连续的。分片和瓦片无需包含相同树块序列。瓦片可以包括在多于一个分片中包含的树块。相似地，分片可以包括在若干瓦片中包含的树块。

在H.264/AVC和HEVC中，可以跨分片边界停用画面内预测。因此，分片可以视为一种用于将编码的画面拆分成独立可解码片的方式，并且分片因此经常被视为用于传输的基本单元。在许多情况下，编码器可以在比特流中指示跨分片边界关闭哪些类型的画面内预测，并且解码器操作例如在推断哪些预测源可用时考虑这一信息。例如，如果邻近宏块或者CU在不同分片中驻留，则来自邻近宏块或者CU的采样可以视为不可用于帧内预测。

可以定义句法元素为在比特流中表示的数据的元素。可以定义句法结构为按照指定的顺序在比特流中一起存在的零个或者更多个句法元素。

分别用于H.264/AVC或者HEVC编码器的输出以及H.264/AVC或者HEVC解码器的输入的基本单元是网络抽象层(NAL)单元。为了通过面向分组的网络传送或者存储成结构化文件，NAL单元可以被封装成分组或者相似结构。已经在H.264/AVC和HEVC中为未提供成帧结构的传输或者存储环境指定字节流格式。字节流格式通过在每个NAL单元前面附着开始码将NAL单元相互分离。为了避免错误检测NAL单元边界，编码器运行面向字节的开始码仿真预防算法，如果开始码原本会出现，则该算法向NAL单元载荷(payload)添加仿真预防字节。为了实现在面向分组与面向流的***之间的简单直接网关操作，无论是否使用字节流格式，总是可以执行开始码仿真预防。NAL单元可以被定义为句法结构，该句法结构包含跟随的数据类型的指示以及以RBSP的形式包含该数据的字节，该RBSP如有必要被散布以仿真预防字节。原始字节序列载荷(RBSP)可以被定义为句法结构，该句法结构包含封装在NAL单元中的整数数目的字节。RBSP为空或者具有数据比特串的形式，该数据比特串包含被RBSP停止位跟随以及被等于0的零个或者更多个后续位跟随的句法元素。

NAL单元由首部和载荷构成。在H.264/AVC和HEVC中，NAL单元首部指示NAL单元的类型以及在NAL单元中包含的编码的分片是参考画面还是非参考画面的一部分。

H.264/AVC NAL单元首部包括2位nal_ref_idc句法元素，该句法元素在等于0时指示在NAL单元中包含的编码的分片是非参考画面的一部分而在大于0时指示在NAL单元中包含的编码的分片是参考画面的一部分。草案HEVC标准包括也称为nal_ref_flag的1位nal_ref_idc句法元素，该句法元素在等于0时指示在NAL单元中包含的编码的分片是非参考画面的一部分而在等于1时指示在NAL单元中包含的编码的分片是参考画面的一部分。用于SVC和MVC NAL单元的首部还可以包含与可伸缩性和多视图分级有关的各种指示。

在草案HEVC标准中，两字节的NAL单元首部用于所有指定的NAL单元类型。NAL单元首部的第一字节包含一个保留位、主要地指示在这一访问单元中携带的画面是参考画面还是非参考画面的一位指示nal_ref_flag以及六位NAL单元类型指示。NAL单元首部的第二字节包括用于时间级别的三位temporal_id指示和五位保留字段(称为reserved_one_5bits)，该字段在草案HEVC标准中被要求具有等于1的值。temporal_id句法元素可以视为用于NAL单元的时间标识符。预计通过扩展(比如将来可缩放和3D视频扩展)来使用五位保留字段。预计这五位将携带关于可缩放性分级的信息，比如quality_id等、dependency_id等、任何其它类型的层标识符、视图顺序索引等、视图标识符、与SVC的priority_id(如果从比特流去除大于具体标识符值的所有NAL单元，则priority_id指示有效子比特流提取)相似的标识符。不失一般性，在一些示例实施例中，从reserved_one_5bits的值得到变量LayerId例如如下：LayerId＝reserved_one_5bits–1。

NAL单元可以被分类成视频编码层(VCL)NAL单元和非VCLNAL单元。VCL NAL单元通常是编码的分片NAL单元。在H.264/AVC中，编码的分片NAL单元包含表示一个或者多个编码的宏块的句法元素，该一个或者多个编码的宏块中的每个编码的宏块对应于在未压缩的画面中的采样块。在HEVC中，编码的分片NAL单元包含表示一个或者多个CU的句法元素。在H.264/AVC和HEVC中，可以指示编码的分片NAL单元为在瞬时解码刷新(IDR)画面中的编码的分片或者在非IDR画面中的编码的分片。在HEVC中，可以指示编码的分片NAL单元为在干净解码刷新(CDR)画面(也可以称为干净随机访问画面或者CRA画面)中的编码的分片。

非VCL NAL单元可以例如是以下类型之一：序列参数集、画面参数集、补充增强信息(SEI)NAL单元、访问单元定界符、序列结束NAL单元、流结束NAL单元或者填充符数据NAL单元。参数集可能是重建解码的画面所需要的，而其它非VCL NAL单元中的许多非VCL NAL单元对于重建解码的采样值不是必需的。

可以在序列参数集中包括经过编码的视频序列而保持不变的参数。除了解码过程可能需要的参数之外，序列参数集还可以可选地包含视频可用性信息(VUI)，该VUI包括可能对于缓冲、画面输出定时、渲染和资源保留而言重要的参数。有在H.264/AVC中指定的用于携带序列参数集的三个NAL单元：包含用于在序列中的H.264/AVC VCL NAL单元的所有数据的序列参数集NAL单元、包含用于辅助编码的画面的数据的序列参数集扩展NAL单元以及用于MVC和SVC VCL NAL单元的子集序列参数集。画面参数集包含可能在若干编码的画面中不变的这样的参数。

在草案HEVC中，也有这里称为适配参数集(APS)的第三类型的参数集，该第三类型的参数集包括可能在若干编码分片中不变但是可能例如对于每个画面或者每几个画面改变的参数。在草案HEVC中，APS句法结构包括与量化矩阵(QM)、自适应采样偏移、自适应环路滤波(ALF)和解块滤波有关的参数或者句法元素。在草案HEVC中，APS是NAL单元并且被编码而无来自任何其它NAL单元的参考或者预测。在APS NAL单元中包括称为aps_id句法元素的标识符，并且在分片首部中包括和使用该标识符以参考特定APS。

H.264/AVC和HEVC句法允许参数集的多个实例，并且每个实例用唯一标识符来标识。为了限制参数集需要的存储器使用，已经限制用于参数集标识符的值范围。在H.264/AVC和草案HEVC标准中，每个分片首部包括对于包含分片的画面的解码而言活跃的画面参数集的标识符，并且每个画面参数集包含活跃序列参数集的标识符。在HEVC标准中，分片首部还包含APS标识符。因而，画面和序列参数集的传输无需与分片的传输准确同步。相反，活跃序列和画面参数集在它们被参考之前的任何时刻被接收就足够了，这允许使用与用于分片数据的协议相比较更可靠的传输机制来“带外”传输参数集。例如，可以包括参数集作为在用于实时传送协议(RTP)会话的会话描述中的参数。如果带内传输参数集，则可以重复它们以提高错误稳健性。

SEI NAL单元可以包含一个或者多个SEI消息，该一个或者多个SEI消息不是输出画面的解码所必需的但是可以辅助有关过程，比如画面输出定时、渲染、错误检测、错误隐藏和资源保留。在H.264/AVC和HEVC中指定若干SEI消息，并且用户数据SEI消息使组织和公司能够指定用于它们自己使用的SEI消息。H.264/AVC和HEVC包含用于指定的SEI消息的句法和语义，但是未定义用于在接收者中处理消息的过程。因而，要求编码器在它们创建消息时遵循H.264/AVC标准或者HEVC标准，并且不要求分别符合H.264/AVC标准或者HEVC标准的解码器为了输出顺序一致性而处理SEI消息。在H.264/AVC和HEVC中包括SEI消息的句法和语义的原因之一，是允许不同***规范等同地解释补充信息并且因此互操作。旨在于***规范可能需要在编码端和解码端二者中使用特定SEI消息，并且还可以指定用于在接收者中处理特定SEI消息的过程。

编码的画面是画面的编码表示。在H.264/AVC中的编码的画面包括画面的解码所必需的VCL NAL单元。在H.264/AVC中，编码的画面可以是主要编码画面或者冗余编码画面。在有效比特流的解码过程中使用主要编码画面，而冗余编码画面是应当仅在主要编码画面不能被成功解码时被解码的冗余表示。在草案HEVC中，尚未指定冗余编码画面。

在H.264/AVC和HEVC中，访问单元包括主要编码画面和与它关联的那些NAL单元。在H.264/AVC中，如下约束NAL单元在访问单元内的出现顺序。可选访问单元定界符NAL单元可以指示访问单元的开始。零个或者更多个SEI NAL单元跟随它。主要编码画面的编码分片接着出现。在H.264/AVC中，主要编码画面的编码分片可以跟随有用于零个或者更多个冗余编码画面的编码分片。冗余编码画面是画面或者画面的一部分的编码表示。如果主要编码画面例如由于在传输中丢失或者在物理存储介质中破坏而不被解码器接收，则可以对冗余编码画面进行解码。

在H.264/AVC中，访问单元也可以包括辅助编码画面，该辅助编码画面是补充主要编码画面并且可以例如在显示过程中使用的画面。辅助编码画面可以例如用作阿尔法通道或者阿尔法平面，该阿尔法通道或者阿尔法平面指定在解码画面中的采样的透明度水平。可以在分层组成或者渲染***中使用阿尔法通道或者平面，其中输出画面通过叠加在彼此上面至少部分透明的画面被形成。辅助编码画面具有与单色冗余编码画面相同的句法和语义限制。在H.264/AVC中，辅助编码画面包含与主要编码画面相同数目的宏块。

定义编码的视频序列为按照从IDR访问单元(包括IDR访问单元)到无论哪个更早出现的下一IDR访问单元(不包括下一IDR访问单元)或者到比特流的结束的解码顺序的连续访问单元序列。

可以定义画面组(GOP)及其特性如下。GOP无论任何先前画面是否被解码都可以被解码。开放GOP是这样的画面组，在该画面组中，按照输出顺序在初始帧内画面之前的画面可能在解码从开放GOP的初始帧内画面开始时不是可正确地解码的。换而言之，开放GOP的画面可以参考(在帧内预测中)属于先前GOP的画面。H.264/AVC解码器可以从在H.264/AVC比特流中的恢复点SEI消息识别开始开放GOP的帧内画面。HEVC解码器可以识别开始开放GOP的帧内画面，因为CRA NAL单元类型这一具体NAL单元类型用于它的编码分片。封闭GOP是这样的画面组，在该画面组中，所有画面可以在解码从封闭GOP的初始帧内画面开始时被正确解码。换而言之，在封闭GOP中的画面不参考在先前GOP中的任何画面。在H.264/AVC和HEVC中，封闭GOP从IDR访问单元开始。结果，封闭GOP结构与开放GOP结构相比较具有更多错误恢复可能性，然而代价是可能减少压缩效率。开放GOP编码结构由于在选择参考画面时的更大灵活性而在压缩时可能更高效。

H.264/AVC和HEVC的比特流句法指示特定画面是否为用于任何其它画面的帧间预测的参考画面。任何编码类型(I、P、B)的画面可以是在H.264/AVC和HEVC中的参考画面或者非参考画面。NAL单元首部指示NAL单元的类型以及在NAL单元中包含的编码分片是参考画面还是非参考画面的一部分。

包括H.264/AVC和HEVC的许多混合视频编码解码器在两个阶段中对视频信息进行编码。在第一阶段中，预测在某个画面区域或者“块”中的像素或者采样值。例如，可以通过运动补偿机制来预测这些像素或者采样值，这些运动补偿机制涉及到发现和指示在先前编码的视频帧之一中的与编码的块接近地对应的区域。此外，可以通过涉及发现和指示空间区域关系的空间机制来预测像素或者采样值。

使用来自先前编码图像的图像信息的预测方式也可以称为帧间预测方法，这些帧间预测方法也可以称为时间预测和运动补偿。使用在相同图像内的图像信息的预测方式也可以称为帧内预测方法。

第二阶段是对在预测的像素或者采样块与原有像素或者采样块之间的误差进行编码之一。这可以通过使用指定的变换对像素或者采样值的差进行变换来实现。这一变换可以是离散余弦变换(DCT)或者其变体。在对差进行变换之后，变换的差被量化和熵编码。

通过改变量化过程的保真性，编码器可以控制在像素或者采样表示的准确性(即画面的视觉品质)与所得编码视频表示的大小(即文件大小或者传输比特率)之间的平衡。

解码器通过应用与编码器为了形成像素或者采样块的预测的表示而使用的预测机制相似的预测机制(使用由编码器创建的并且在图像的压缩表示中存储的运动或者空间信息)和预测误差解码(预测误差编码的用于在空间域中恢复量化预测误差信号的逆操作)来重构输出视频。

在应用像素或者采样预测和误差解码过程之后，解码器组合预测和预测误差信号(像素或者采样值)以形成输出视频帧。

解码器(和编码器)也可以应用附加滤波过程以便在传递输出视频用于显示和/或存储为用于在视频序列中的即将来临的画面的预测参考之前提高它的品质。

在包括H.264/AVC和HEVC的许多视频编码解码器中，运动信息由与每个运动补偿图像块关联的运动矢量指示。这些运动矢量中的每个运动矢量表示在待编码(在编码器中)或者解码(在解码器处)的画面中的图像块和在先前编码或者解码图像(或者画面)之一中的预测源块的移位。H.264/AVC和HEVC如同许多其它视频压缩标准将画面划分成矩形网格，对于这些矩形中的每个矩形指示在参考画面之一的相似块用于帧间预测。预测块的位置被编码为运动矢量，该运动矢量指示预测块相对于正在被编码的块的位置。

可以使用以下因素中的一个或者多个因素来表征帧间预测过程。

运动矢量表示的准确性。例如，运动矢量可以是四分之一像素准确性，并且可以使用有限冲激响应(FIR)滤波器来获得在分数像素位置中的采样值。

用于帧间预测的块分割。包括H.264/AVC和HEVC在内的许多编码标准允许选择块(对于该块应用运动矢量用于在编码器中的运动补偿预测)的大小和形状并且在比特流中指示选择的大小和形状，从而解码器可以再现在编码器中完成的运动补偿预测。

用于帧间预测的参考画面数目。帧间预测源是先前解码画面。包括H.264/AVC和HEVC在内的许多编码标准实现存储用于帧间预测的多个参考画面和在块基础上选择使用的参考画面。例如，可以在H.264/AVC中在宏块或者宏块分割基础上以及在HEVC中在PU或者CU基础上选择参考画面。许多编码标准(比如H.264/AVC和HEVC)在比特流中包括句法结构，这些句法结构使解码器能够创建一个或者多个参考画面列表。指向参考画面列表的参考画面索引可以用来指示多个参考画面中的哪个参考画面用于特定块的帧内预测。参考画面索引可以在一些帧间编码模式中由编码器编码到比特流中，或者它可以在一些其它帧间编码模式中(由编码器和解码器)例如使用邻近块来推导。

运动矢量预测。为了在比特流中高效表示运动矢量，可以相对于特定于块的预测运动矢量对运动矢量进行差分编码。在许多视频编码解码器中，以预定义的方式(例如通过计算相邻块的编码或者解码运动矢量的中值)创建预测运动矢量。用于创建运动矢量预测的另一方式是从在时间参考画面中的相邻块和/或共同位置的块生成候选预测列表并且用信号发送选择的候选作为运动矢量预测器。除了预测运动矢量值之外，还可以预测先前编码/解码画面的参考索引。通常从在时间参考画面中的相邻块和/或共同位置的块预测参考索引。通常跨分片边界停用运动矢量的差分编码。

多假设运动补偿预测。H.264/AVC和HEVC实现在P分片中使用单个预测块(这里称为单预测分片)或者将两个运动补偿预测块的线性组合用于也称为B分片的双预测分片。在B分片中的个体块可以被双预测、单预测或者帧内预测，并且在P分片中的个体块可以被单预测或者帧内预测。用于双预测画面的参考画面可以不限于按照输出顺序的后续画面和先前画面，但是相反，可以使用任何参考画面。在许多编码标准(比如H.264/AVC和HEVC)中，为P分片构造称为参考画面列表0的一个参考画面列表，并且为B分片构造列表0和列表1这两个参考画面列表。对于B分片，即使用于预测的参考画面可以具有与彼此或者当前画面有关的任何解码或者输出顺序，在前向方向上的预测可以是指从在参考画面列表0中的参考画面预测时，而在向后方向上的预测可以是指从在参考画面列表1中的参考画面预测。

加权预测。许多编码标准将预测权重1用于帧间(P)画面的预测块而将0.5用于B画面的每个预测块(导致求平均)。H.264/AVC允许用于P和B分片的加权预测。在隐式加权预测中，权重与画面顺序计数成比例，而在显式加权预测中，显式地指示预测权重。

在许多视频编码解码器中，在运动补偿之后的预测残值先用变换内核(比如DCT)来变换，然后被编码。这一点的原因是在残值之中经常仍有一些相关性并且变换可以在许多情况下帮助减少这一相关性和提供更高效的编码。

在草案HEVC中，每个PU具有与它关联的预测信息，该预测信息定义什么种类的预测将被应用于在该PU内的像素(例如用于帧间预测的PU的运动矢量信息和用于帧内预测的PU的帧内预测方向性信息)。相似地，每个TU与如下信息关联，该信息描述用于在TU内的采样的预测误差解码过程(例如，包括DCT系数信息)。可以在CU级用信号发送预测误差编码是否被应用于每个CU。在无与CU关联的预测误差残值的情况下，可以认为没有用于CU的TU。

在一些编码格式和编码解码器中，在所谓短期与长期参考画面之间进行区分。这一区分可以影响一些解码过程，比如在时间直接模式中的运动矢量伸缩或者隐式加权预测。如果用于时间直接模式的参考画面二者为短期参考画面，则可以根据在当前画面与参考画面中的每个参考画面之间的画面顺序计数(POC)差来伸缩在预测中使用的运动矢量。然而，如果用于时间直接模式的至少一个参考画面是长期参考画面，则可以使用运动矢量的默认伸缩，例如可以使用将运动伸缩至一半。相似地，如果短期参考画面用于隐式加权预测，则可以根据在当前画面的POC与参考画面的POC之间的POC差来伸缩预测权重。然而，如果长期参考画面用于隐式加权预测，则可以使用默认预测权重，比如在用于双预测的块的隐式加权预测中为0.5。

一些视频编码格式(比如H.264/AVC)包括frame_num句法元素，该句法元素用于与多个参考画面有关的各种解码过程。在H.264/AVC中，用于IDR画面的frame_num的值为0。用于非IDR画面的frame_num的值等于被递增1的按照解码顺序的先前参考画面的frame_num(在模算术中，即在frame_num的最大值之后卷绕至0的frame_num值)。

H.264/AVC和HEVC包括画面顺序计数(POC)的概念。POC的值对于每个画面而被推导并且是随着按照输出顺序增加画面位置而不减少的。POC因此指示画面的输出顺序。POC可以在解码过程中例如用于在双预测分片的时间直接模式中的运动矢量的隐式伸缩、用于在加权预测中的隐式地推导的权重以及用于参考画面列表初始化。另外，可以在验证输出顺序一致性时使用POC。在H.264/AVC中，相对于先前IDR画面或者如下画面指定POC，该画面包含存储器管理控制操作，该存储器管理控制操作标记所有画面为“未用于参考”。

H.264/AVC指定用于解码的参考画面标记的过程以便控制在解码器中的存储器消耗。在序列参数集合中确定称为M的用于帧间预测的参考画面的最大数目。在参考画面被解码时，标记它为“用于参考”。如果参考画面的解码引起被标记为“用于参考”的多于M个的画面，则标记至少一个画面为“未用于参考”。有用于解码的参考画面标记的两个操作类型：自适应存储器控制和滑动窗。在画面基础上选择用于解码的参考画面标记的操作模式。自适应存储器控制实现用信号显式发送哪些画面被标记为“未用于参考”，并且也可以向短期参考画面指派长期索引。自适应存储器控制可能要求在比特流中存在存储器管理控制操作(MMCO)参数。可以在解码的参考画面标记句法结构中包括MMCO参数。如果滑动窗操作模式在使用中并且有标记为“用于参考”的M个画面，则在标记为“用于参考”的那些短期参考画面之中是第一解码画面的短期参考画面被标记为“未用于参考”。换而言之，滑动窗操作模式导致在短期参考画面之中的先入先出缓冲操作。

在H.264/AVC中的存储器管理控制操作之一使除了当前画面之外的所有参考画面被标记为“未用于参考”。瞬时解码刷新(IDR)画面仅包含帧内编码分片并且引起参考画面的相似“重置”。

在草案HEVC标准中，参考画面标记句法结构和有关解码过程未被使用，但是相反，参考画面集合(RPS)句法结构和解码过程代之以用于相似目的。对于画面有效或者活跃的参考画面集合包括作为参考用于该画面的所有参考画面以及对于按照解码顺序的任何后续画面保持标记为“用于参考”的所有参考画面。有参考画面集合的即称为RefPicSetStCurr0、RefPicSetStCurr1、RefPicSetStFoll0、RefPicSetStFoll1、RefPicSetLtCurr和RefPicSetLtFoll的六个子集。六个子集的注解如下。“Curr”是指在当前画面的参考画面列表中包括的参考画面，并且因此可以作为帧间预测参考用于当前画面。“Foll”是指未包括在当前画面的参考画面列表中但是可以在按照解码顺序的后续画面中用作参考画面的参考画面。“St”是指短期参考画面，这些短期参考画面一般可以通过它们的POC值的某个数目的最低有效位来标识。“Lt”是指长期参考画面，这些长期参考画面被具体标识并且一般具有比提到的某个数目的最低有效位可以表示的POC差更大的相对于当前画面的POC差。“0”是指具有比当前画面的POC值更小的POC值的那些参考画面。“1”是指具有比当前画面的POC值更大的PCO值的那些参考画面。RefPicSetStCurr0、RefPicSetStCurr1、RefPicSetStFoll0和RefPicSetStFoll1统称为参考画面集合的短期子集。RefPicSetLtCurr和RefPicSetLtFoll统称为参考画面集合的长期子集。

在草案HEVC标准中，可以在序列参数集合中指定并且通过指向参考画面集合的索引在分片首部中使用参考画面集合。也可以在分片首部中指定参考画面集合。一般仅在分片首部中指定参考画面集合的长期子集，而可以在画面参数集合或者分片首部中指定相同参考画面集合的短期子集。参考画面集合可以被独立地编码或者可以根据另一参考画面集合被预测(称为RPS间预测)。在参考画面集合被独立地编码时，句法结构包括对不同类型的参考画面迭代的多达三个循环；具有比当前画面更低的POC值的短期参考画面、具有比当前画面更高的POC值的短期参考画面和长期参考画面。每个循环条目指定将被标记为“用于参考”的画面。一般而言，画面用差分POC值来指定。RPS间预测运用当前画面的参考画面集合可以根据先前解码的参考画面集合来预测这样的事实。这是因为当前画面的所有参考画面是先前画面的参考画面或者先前解码的画面本身。仅有必要指示这些画面中的哪些画面应当是参考画面并且用于预测当前画面。在两个类型的参考画面集合编码中，还为每个参考画面发送标志(used_by_curr_pic_X_flag)，该标志指示参考画面是(包括在*Curr列表中)否(包括在*Foll列表中)用于被当前画面参考。标记在当前分片使用的参考画面集合中包括的画面为“用于参考”，并且标记未在当前分片使用的参考画面集合中的画面为“未用于参考”。如果当前画面是IDR画面，则RefPicSetStCurr0、RefPicSetStCurr1、RefPicSetStFoll0、RefPicSetStFoll1、RefPicSetLtCurr和RefPicSetLtFol1都被设置成空。

可以在编码器中和/或在解码器中使用解码画面缓冲器(DPB)。缓冲解码画面有用于在帧间预测中的参考和用于将解码画面重新排序成输出顺序这两个原因。由于H.264/AVC和HEVC为参考画面标记和输出重新排序二者提供大量灵活性，所以用于参考画面缓冲和输出画面缓冲的分离缓冲器可能浪费存储器资源。因此，DPB可以包括用于参考画面和输出重新排序的统一的解码画面缓冲过程。解码画面可以在它不再用作参考并且无需输出时从DPB被去除。

在H.264/AVC和HEVC的许多编码模式中，可以用指向参考画面列表的索引指示用于帧间预测的参考画面。可以用可变长度编码对索引进行编码，该可变长度编码通常使更小索引具有用于对应句法元素的更短值。在H.264/AVC和HEVC中，为每个双预测(B)分片生成两个参考画面列表(参考画面列表0和参考画面列表1)，并且为每个帧间编码(P)分片形成一个参考画面列表(参考画面列表0)。此外，对于HEVC中的B分片，在已经构造最终参考画面列表(列表0和列表1)之后构造组合列表(列表C)。组合列表可以用于在B分片内的单预测(也称为单向预测)。

可以在两个步骤中构造参考画面列表(比如参考画面列表0和参考画面列表1)：首先，生成初始参考画面列表。可以例如基于frame_num、POC、temporal_id、或者关于预测分级的信息(比如GOP结构)、或者其任何组合而生成初始参考画面列表。其次，可以按照在分片首部中包含的也称为参考画面列表修改句法结果的参考画面列表重新排序(RPLR)命令对初始参考画面列表进行重新排序。RPLR命令指示被排序至相应参考画面列表的开头的画面。该第二步骤也可以称为参考画面列表修改过程，并且可以在参考画面列表修改句法结构中包括RPLR命令。如果使用参考画面集合，则可以初始化参考画面列表0以首先包含RefPicSetStCurr0，接着是RefPicSetStCurr1，接着是RefPicSetLtCurr。可以初始化参考画面列表1以首先包含RefPicSetStCurr1，接着是RefPicSetStCurr0。可以通过参考画面列表修改句法结构修改初始参考画面列表，其中可以通过指向列表的条目索引标识初始参考画面列表中的画面。

可以构造HEVC中的组合列表如下。如果用于组合列表的修改标志是零，则通过隐式机制构造组合列表；否则，通过在比特流中包括的参考画面组合命令来构造它。在隐式机制中，列表C中的参考画面被以从列表0的第一条目开始、接着是列表1的第一条目等等的交错方式被映射到来自列表0和列表1的参考画面。已经在列表C中映射的任何参考画面不被再次映射。在显式机制中，用信号发送列表C中的条目数目，接着是从列表0或者列表1中的条目到列表C的每个条目的映射。此外，在列表0和列表1相同时，编码器具有如下选项，该选项为设置ref_pic_list_combination_flag为0以指示来自列表1的参考画面未被映射并且列表C等效于列表0。典型的高效率视频编码解码器(比如草案HEVC编码解码器)运用常称为合并/合并模式/过程/机制的附加运动信息编码/解码机制，其中预测和使用块/PU的所有运动信息而无任何修改/校正。用于PU的前述运动信息包括1)是‘PU仅使用参考画面列表0来单预测’或者‘PU仅使用参考画面列表1来单预测’或者‘PU使用参考画面列表0和列表1二者来双预测’的信息、2)与参考画面列表0对应的运动矢量值、3)参考画面列表0中的参考画面索引、4)与参考画面列表1对应的运动矢量值、5)参考画面列表1中的参考画面索引。相似地，预测运动信息使用时间参考画面中的相邻块和/或共同定位的块的运动信息被执行。通常，常称为合并列表的列表通过包括与可用相邻/共同定位的块关联的运动预测候选被构造，并且用信号发送选择的运动预测候选的索引。然后，选择的候选的运动信息被复制到当前PU的运动信息。在合并机制被运用于整个CU并且用于CU的预测信号用作重建信号(即预测残值未被处理)时，这一类型的对CU进行的编码/解码通常称为跳跃(skip)模式或者基于合并的跳跃模式。除了跳跃模式之外，合并机制也被运用于单独PU(未必如在跳跃模式中的整个PU)，并且在这一情况下，预测残值可以用来提高预测品质。这一类型的预测模式通常称为合并间模式。

用于解码参考画面标记的句法结构可以在视频编码***中存在。例如，在已经完成画面的解码时，解码参考画面标记句法结构(如果存在)可以用来自适应地标记画面为“未用于参考”或者“用于长期参考”。如果解码参考画面标记句法结构不存在并且标记为“用于参考”的画面的数目可能不再增加，则可以使用基本上标记最早(按照解码顺序)解码参考画面为未用于参考的滑动窗参考画面标记。

可缩放视频编码是指编码结构，其中一个比特流可以包含内容在不同比特率、分辨率和/或帧速率的多个表示。在这些情况下，接收器可以根据它的特性(例如与设备的显示器的分辨率最匹配的分辨率)提取希望的表示。备选地，服务器或者网元可以例如根据网络特性或者接收器的处理能力提取比特流的将向接收器传输的部分。

可缩放比特流可以由提供可用最低品质视频的基础层以及在被接收和与较低层一起被解码时增强视频品质的一个或者多个增强层构成。增强层可以增强由另一层或其部分表示的视频内容的时间分辨率(即帧速率)、空间分辨率或者仅仅是其品质。为了提高用于增强层的编码效率，该层的编码表示可以依赖于较低层。例如可以从较低层预测增强层的运动和模式信息。相似地，较低层的像素数据可以用来创建用于增强层的预测。

每个可缩放层与其所有从属层一起是视频信号在某个空间分辨率、时间分辨率和品质水平的一个表示。在本文中，将可缩放层与其所有从属层一起称为“可缩放层表示”。可缩放比特流的与可缩放层表示对应的部分可以被提取和解码，以在某个保真度产生原有信号的表示。

在一些情况下，在增强层中的数据可以在某个位置之后或者甚至在任意位置被截短，其中每个截短位置可以包括表示越来越增强的视觉品质的附加数据。这样的可伸缩性称为细粒度化(粒度)可伸缩性(FGS)。在SVC标准的一些草案版本中包括FGS，但是从最终SVC标准最终排除它。在SVC的一些草案版本的上下文中随后讨论FGS。不能截短的这些增强层提供的可伸缩性称为粗粒度化(粒度)可伸缩性(CGS)。它共同地包括传统品质(SNR)可伸缩性和空间可伸缩性。SVC标准支持所谓中粒度化可伸缩性(MGS)，其中品质增强画面与SNR可伸缩层画面相似地被编码，但是通过让quality_id句法元素大于0来与FGS层画面相似地由高级句法元素指示。

SVC使用层间预测机制，其中可以从除了当前重建的层之外的层或者下一较低层预测某些信息。可以层间预测的信息包括帧内纹理、运动和残值数据。层间运动预测包括块编码模式预测、首部信息等，其中从更低层的运动可以用于预测较高层。在帧内编码的情况下，从周围宏块或者从更低层的共同定位的宏块的预测是可能的。这些预测技术不运用来自更早编码访问单元的信息，因此称为帧内预测技术。另外，来自更低层的残值数据也可以用于预测当前层。

SVC指定称为单循环解码的概念。它通过使用约束的帧内纹理预测模式来启用，其中层间帧内纹理预测可以应用于如下宏块(MB)，对于这些宏块，基础层的对应块位于帧内MB内。同时，在基础层中的那些帧内MB使用约束的帧内预测(例如让句法元素“constrained_intra_pred_flag”等于1)。在单循环解码中，解码器仅对于希望回放的可伸缩层(称为“期望层”或者“目标层”)执行运动补偿和全画面重建，由此大量地减少解码复杂性。除了期望层之外的所有层无需被完全地解码，因为重建期望层无需未用于层间预测的MB的数据的全部或者部分(假设它是层间帧内纹理预测、层间运动预测或者层间残值预测)。

多数画面的解码需要单个解码循环，而选择性地应用第二解码循环以重建基础表示，这些基础表示需要作为预测参考但是无需输出或者显示，并且仅被重建用于所谓关键画面(对于这些关键画面，“store_ref_base_pic_flag”等于1)。

在SVC草案中的可伸缩性结构由三个句法元素表征：“temporal_id”、“dependency_id”和“quality_id”。句法元素“temporal_id”用来指示时间可伸缩性分级或者间接地指示帧速率。包括更小最大“temporal_id”的画面的可伸缩层表示具有比包括更大最大“temporal_id”的画面的可伸缩层表示更小的帧速率。给定的时间层通常依赖于更低时间层(即具有更小“temporal_id”值的时间层)但是未依赖于任何更高时间层。句法元素“dependency_id”用来指示CGS层间编码依赖性分级(该分级如较早提到的那样包括SNR和空间可伸缩性)。在任何时间级位置，更小“dependency_id”值的画面可以用于具有更大“dependency_id”值的画面的编码的层间预测。句法元素“quality_id”用来指示FGS或者MGS层的品质水平分级。在任何时间位置并且在相同“dependency_id”值的情况下，具有等于QL的“quality_id”的画面使用具有等于QL-1的“quality_id”的画面用于层间预测。具有大于0的“quality_id”的编码分片可以被编码为可截短FGS分片或者非可截短MGS分片。

为了简化，在一个访问单元中的具有相同“dependency_id”值的所有数据单元(例如在SVC上下文中的网络抽象层单元或者NAL单元)称为依赖性单元或者依赖性表示。在一个依赖性单元内，具有相同“quality_id”值的所有数据单元称为品质单元或者层表示。

也称为解码基础画面的基础表示是对具有等于0的“quality_id”的依赖性单元的视频编码层(VCL)NAL单元进行解码所产生的并且“store_ref_base_pic_flag”被设置等于1的解码画面。也称为解码画面的增强表示由普通解码过程产生，在该普通解码过程中，对于最高依赖性表示而存在的所有层表示被解码。

如较早提到的那样，CGS包括空间可伸缩性和SNR可伸缩性。空间可伸缩性最初被设计为支持视频的具有不同分辨率的表示。对于每个时间实例，VCL NAL单元在相同访问单元中被编码，并且这些VCL NAL单元可以对应于不同分辨率。在解码期间，低分辨率VCL NAL单元提供高分辨率画面的最终解码和重建可以可选地继承的运动场和残值。在与更旧视频压缩标准比较时，SVC的空间可伸缩性已经被广义化为使基础层能够是增强层的裁剪和缩放版本。

MGS品质层与FCS品质层相似地用“quality_id”来指示。对于每个依赖性单元(具有相同“dependency_id”)，有具有等于0的“quality_id”的层，并且可以有具有大于0的“quality_id”的其它层。具有大于0的“quality_id”的这些层根据分片是否被编码为可截短分片而为MGS层或者FGS层。

在FGS增强层的基本形式中，仅使用层间预测。因此，FGS增强层可以被自由地截短而不在解码序列中引起任何错误传播。然而，FGS的基本形式受低压缩效率困扰。这一问题的出现是因为仅低品质画面用于帧间预测参考。因此，已经提出FGS增强画面用作帧间预测参考。然而，这可能在丢弃一些FGS数据时引起也称为漂移的编码-解码失配。

草案SVC标准的一个特征是FGS NAL单元可以被自由地丢弃或者截短，并且SVCV标准的特征是MGS NAL单元可以被自由地丢弃(但是不能被截短)而不影响比特流的一致性。如以上讨论的那样，在那些FGS或者MGS数据已经在解码期间用于帧间预测参考时，数据的丢弃或者截短将造成在解码器侧中和在编码器侧中的解码画面之间的失配。这一失配也称为漂移。

为了控制由于FGS或者MGS数据的丢弃或者截短所造成的漂移，SVC应用以下解决方案：在某个依赖性单元中，基础表示(通过仅对具有等于0的“quality_id”的CGS画面和所有被依赖的更低层数据进行解码)存储于解码画面缓冲器中。在对具有相同“dependency_id”值的后续依赖性单元进行编码时，包括FGS或者MGS NAL单元的所有NAL单元使用基础表示用于帧间预测参考。因而，由于在更早访问单元中的FGS或者MGS NAL单元的丢弃或者截短所造成的所有漂移在这一访问单元被停止。对于具有相同“dependency_id”值的其它依赖性单元，所有NAL单元使用解码画面用于帧间预测参考以求高编码效率。

每个NAL单元在NAL单元首部中包括句法元素“use_ref_base_pic_flag”。在这一元素的值等于1时，NAL单元的解码在帧间预测过程期间使用参考画面的基本表示。句法元素“store_ref_base_pic_flag”指定是(在等于1时)否(在等于0时)存储当前画面的基础表示用于将来画面用于帧间预测。

具有大于0的“quality_id”的NAL单元不含与参考画面列表构造和加权预测有关的句法元素，即句法元素“num_ref_active_1x_minus1”(x＝0或1)，参考画面列表重新排序句法表，并且加权预测句法表不存在。因而，MGS层或者FGS层必须在需要时从相同依赖性单元的具有等于0的“quality_id”的NAL单元继承这些句法元素。

在SVC中，参考画面列表仅由基础表示(在“use_ref_base_pic_flag”等于1时)构成或者仅由未标记为“基础表示”的解码画面(在“use_ref_base_pic_flag”等于0时)构成，但是从未同时由二者构成。

在H.264/AVC比特流中，在一个编码视频序列中的编码画面使用相同序列参数集，并且在解码过程期间的任何时间时刻，仅一个序列参数集是活跃的。在SVC中，来自不同可缩放层的编码画面可以使用不同序列参数集。如果使用不同序列参数集，则在解码过程期间的任何时间时刻，可以有多于一个的活跃序列画面参数集。在SVC规范中，用于顶层的活跃序列画面参数集称为活跃序列画面参数集，而其余称为层活跃序列画面参数集。任何给定的活跃序列参数集贯穿层中的被活跃序列参数集参考的编码视频序列而保持不变。

可以实施用于品质可缩放性(也称为信噪比或者SNR)和/或空间可缩放性的可缩放视频编码器如下。对于基础层，可以使用常规的非可缩放视频编码器和解码器。在用于增强层的参考画面缓冲器和/或参考画面列表中包括基础层的重建/解码画面。在空间可缩放性的情况下，重建/解码基础层画面可以在它***到用于增强层画面的参考画面列表中之前被上采样。基础层解码画面可以与增强层的解码参考画面相似地被***到用于对增强层画面进行编码/解码的参考画面列表中。因而，编码器可以选择基础层参考画面作为帧间预测参考并且指示它与在编码比特流中的参考画面索引一起使用。解码器从比特流(例如从参考画面索引)解码出基础层画面用作用于增强层的帧间预测参考。在解码基础层画面用作用于增强层的预测参考时，它称为层间参考画面。

尽管前段描述具有增强层和基础层这两个可缩放性层的可缩放视频编码解码器，但是需要理解的是，该描述可以被推广至在具有多于两层的可缩放性层级中的任何两层。在这一情况下，第二增强层可以依赖于在编码和/或解码过程中的第一增强层，并且第一增强层因此可以视为用于对第二增强层进行编码和/或解码的基础层。另外，需要理解的是，可以在增强层的参考画面缓冲器或者参考画面列表中有来自多于一层的层间参考画面，并且这些层间参考画面中的每个层间参考画面可以视为驻留在用于正在被编码和/或解码的增强层的基础层或者参考层中。

如较早指示的那样，MVC是H.264/AVC的扩展。H.264/AVC的定义、概念、句法结构、语义和解码过程中的许多定义、概念、句法结构、语义和解码过程也这样或者按照某些广义化或者约束而适用于MVC。在下文中描述MVC的一些定义、概念、句法结构、语义和解码过程。

定义在MVC中的访问单元为按照解码顺序连续的NAL单元集合并且包含由一个或者多个视图分量构成的确切一个主要编码画面。除了主要编码画面之外，访问单元也可以包含一个或者多个冗余编码画面、一个辅助编码画面或者不含编码画面的分片或者分片数据部分的其它NAL单元。访问单元的解码在解码错误、比特流错误或者可能影响解码的其它错误未出现时产生由一个或者多个解码视图分量构成的一个编码画面。换而言之，在MVC中的访问单元包含用于一个输出时间实例的视图的视图分量。

在MVC中的视图分量称为在单个访问单元中的视图的编码表示。

视图间预测可以在MVC中被使用并且是指从相同访问单元的不同视图分量的解码采样预测视图分量。在MVC中，与帧间预测相似地实现视图间预测。例如，视图间参考画面被置于与用于帧间预测的参考画面相同的参考画面列表中，并且参考索引以及运动矢量对于视图间和帧间参考画面被相似地编码或者推断。

锚画面是如下编码画面，在该编码画面中，所有分片可以仅参考在相同访问单元内的分片，即可以使用视图间预测但是不使用帧间预测，并且按照输出顺序的所有后继编码画面不使用从按照解码顺序在编码画面之前的任何画面的帧间预测。视图间预测可以用于IDR视图分量，这些IDR视图分量是非基础视图的一部分。在MVC中的基础视图是在编码视频序列中具有最小视图顺序索引值的视图。基础视图可以与其它视图独立地被解码并且不使用视图间预测。基础视图可以由仅支持单视图简档(比如H.264/AVC的基线简档或者高简档)的H.264/AVC解码器解码。

在MVC标准中，MVC解码过程的子过程中的许多子过程通过分别用“视图分量”、“帧视图分量”和“场视图分量”替换在H.264/AVC标准的子过程规范中的术语“画面”、“帧”和“场”来使用H.264/AVC标准的相应子过程。类似地，术语“画面”、“帧”和“场”经常在下文中用来分别意指“视图分量”、“帧视图分量”和“场视图分量”。

在MVC中，来自不同视图的编码画面可以使用不同序列参数集。在MVC中的SPS可以包含用于视图间预测的视图依赖性信息。这可以例如被信令认知媒体网关用来构造视图依赖性树。

在多视图视频编码的上下文中，可以定义视图顺序索引为指示视图分量在访问单元中的解码或者比特流顺序的索引。在MVC中，在序列参数集中包括的序列参数集MVC扩展中指示视图间依赖性关系。根据MVC标准，要求被编码视频序列参考的所有序列参数集MVC扩展相同。序列参数集MVC扩展的以下摘录提供关于在MVC中指示视图间依赖性关系的方式的进一步细节。

在MVC解码过程中，变量VOIdx可以表示由(可以从正在被解码的编码分片的MVC NAL单元首部获得的)view_id标识的视图的视图顺序索引并且可以被设置等于如下i值，对于该i值，在参考的子集序列参数集中包括的句法元素view_id[i]等于view_id。

可以指定序列参数集MVC扩展的语义如下。num_views_minus1加1指定在编码视频序列中的编码视图的最大数目。在编码视频序列中的视图的实际数目可以小于num_views_minus1加1。view_id[i]指定具有等于i的VOIdx的视图的view_id。num_anchor_refs_l0[i]指定在对具有等于i的VOIdx的锚视图分量进行解码时在初始参考画面列表RefPicList0中用于视图间预测的视图分量的数目。anchor_ref_l0[i][j]指定在对具有等于i的VOIdx的锚视图分量进行解码时在初始参考画面列表RefPicList0中用于视图间预测的第j视图分量的view_id。num_anchor_refs_l1[i]指定在对具有等于i的VOIdx的锚视图分量进行解码时在初始参考画面列表RefPicList1中用于视图间预测的视图分量的数目。anchor_ref_l1[i][j]指定在对具有等于i的VOIdx的锚视图分量进行解码时在初始参考画面列表RefPicList1中用于视图间预测的第j视图分量的view_id。num_non_anchor_refs_l0[i]指定在对具有等于i的VOIdx的非锚视图分量进行解码时在初始参考画面列表RefPicList0中用于视图间预测的视图分量的数目。non_anchor_ref_l0[i][j]指定在对具有等于i的VOIdx的非锚视图分量进行解码时在初始参考画面列表RefPicList0中用于视图间预测的第j视图分量的view_id。num_non_anchor_refs_l1[i]指定在对具有等于i的VOIdx的非锚视图分量进行解码时在初始参考画面列表RefPicList1中用于视图间预测的视图分量的数目。non_anchor_ref_l1[i][j]指定在对具有等于i的VOIdx的非锚视图分量进行解码时在初始参考画面列表RefPicList1中用于视图间预测的第j视图分量的view_id。对于具有等于vId1的view_id和等于vOIdx1的VOIdx的任何特定视图以及具有等于vId2的view_id和等于vOIdx2的VOIdx的另一视图，在vId2对于在不含0和num_non_anchor_refs_l0[vOIdx1]的0到num_non_anchor_refs_l0[vOIdx1]的范围中的所有j等于non_anchor_ref_10[vOIdx1][j]之一的值或者对于在不含0和num_non_anchor_refs_l1[vOIdx1]的0到num_non_anchor_refs_l1[vOIdx1]的范围中的所有j等于non_anchor_ref_11[vOIdx1][j]之一的值时，也要求vId2对于在不含0和num_anchor_refs_l0[vOIdx1]的0到num_anchor_refs_l0[vOIdx1]的范围中的所有j等于anchor_ref_10[vOIdx1][j]之一的值或者对于在不含0和num_anchor_refs_l1[vOIdx1]的0到num_anchor_refs_l1[vOIdx1]的范围中的所有j等于anchor_ref_11[vOIdx1][j]之一的值。用于非锚视图分量的视图间依赖性是用于锚视图分量的视图间依赖性的子集。

在可伸缩多视图编码中，相同比特流可以包含多个视图的编码视图分量，并且至少一些编码视图分量可以使用品质和/或空间可伸缩性被编码。

纹理视图是指如下视图，该视图表示普通视频内容，例如已经使用普通相机被捕获并且通常适合用于在显示器上渲染。纹理视图通常包括具有一个亮度分量和两个色度分量这三个分量的画面。在下文中，除非例如用术语亮度纹理画面和色度纹理画面以别的方式来指示，纹理画面通常包括所有它的分量画面或者色彩分量。

景深增强视频是指具有一个或者多个视图的纹理视频，该一个或者多个视图与具有一个或者多个景深视图的景深视频关联。多种方式可以用于表示景深增强视频，包括使用视频加上景深(V+D)、多视图视频加上景深(MVD)和分层景深视频(LDV)。在视频加上景深(V+D)表示中，分别表示单个纹理视图和相应景深视图为纹理画面和景深画面序列。MVD表示包含多个纹理视图和相应景深视图。在LDV表示中，常规地表示中心视图的纹理和景深，而其它视图的纹理和景深被部分地表示并且仅覆盖中间视图的正确视图合成所需要的去封闭(dis-occluded)区域。

可以定义纹理视图分量为在单个访问单元中的视图的纹理的编码表示。可以用与单视图纹理比特流或者多视图纹理比特流兼容的方式对在景深增强视频比特流中的纹理视图分量进行编码，从而即使单视图或者多视图解码器无能力对景深视图进行解码，它也可以对纹理视图进行解码。例如，H.264/AVC解码器可以从景深增强H.264/AVC比特流对单个纹理视图进行解码。可以备选地以如下方式对纹理视图分量进行编码，该方式为能够单视图或者多视图纹理解码的解码器(比如H.264/AVC或者MVC解码器)不能对纹理视图分量进行解码，例如因为它使用基于景深的编码工具。可以定义景深视图分量为在单个访问单元中的视图的景深的编码表示。可以定义视图分量对为在相同访问单元内的相同视图的纹理视图分量和景深视图分量。

景深增强视频可以用其中纹理和景深被相互独立地编码的方式被编码。例如，纹理视图可以被编码为一个MVC比特流并且景深视图可以被编码为另一MVC比特流。景深增强视频也可以用其中纹理和景深被联合地编码的方式被编码。在纹理和景深视图的联合编码被应用于景深增强视频表示时，从景深画面的一些编码采样或者在景深画面的解码过程中获得的数据元素预测或者推导纹理画面的一些解码采样或者用于对纹理画面进行解码的数据元素。备选地或者附加地，从纹理画面的一些解码采样或者在纹理画面的解码过程中获得的数据元素预测或者推导景深画面的一些解码采样或者用于对景深画面进行解码的数据元素。在另一选项中，未从彼此预测纹理的编码视频数据和景深的编码视频数据，或者一个未基于另一个被编码/解码，但是编码纹理和景深视图可以在编码中被复用到相同比特流中并且在解码中从比特流被解复用。在又另一选项中，尽管未从在例如分片层以下中的景深的编码视频数据预测纹理的编码视频数据，但是可以从彼此共享或者预测纹理视图和景深视图的高级编码结构中的一些高级编码结构。例如，可以从编码纹理分片的分片首部预测编码景深分片的分片首部。另外，参数集中的一些参数集可以被编码纹理视图和编码景深视图二者使用。

已经发现一种用于一些多视图3D视频(3DV)应用的解决方案是具有有限数目的输入视图，例如单一或者立体视图加上一些补充数据并且在解码器侧本地渲染(即合成)所有需要的视图。根据用于视图渲染的若干可用技术，基于景深图像的渲染(DIBR)已经表现为一种有竞争力的备选。

在图5中示出基于DIBR的3DV***的简化模型。3D视频编码解码器的输入包括立体视频和具有立体基线b0的对应景深信息。然后3D视频编码解码器合成在具有基线(bi<b0)的两个输入视图之间的多个虚拟视图。DIBR算法也可以实现推测在两个输入视图以外而不在它们之间的视图。相似地，DIBR算法可以实现从单个纹理视图和相应景深视图的视图合成。然而，为了实现基于DIBR的多视图渲染，纹理数据应当与对应景深数据一起在解码器侧可用。

在这样的3DV***中，在编码器侧为每个视频帧以景深画面(也称为景深映射)的形式产生景深信息。景深映射是具有每像素景深信息的图像。在景深映射中的每个采样表示相应纹理采样从相机落在其上的平面的距离。换而言之，如果z轴沿着相机的拍摄轴(并且因此与相机落在的平面正交)，则在景深映射中的采样表示在z轴上的值。

可以通过各种手段获得景深信息。例如，可以从捕获相机配准的视差计算3D景物的景深。景深估计算法取得立体视图作为输入并且计算在视图的两个偏移图像之间的局部视差。每个图像在重叠块中被逐个像素处理，并且为每个像素块执行在偏移图像中对于匹配块的水平局部化搜索。一旦计算按像素的视差，则按照等式(1)计算对应景深值z：

$z=\frac{f\&CenterDot;b}{d+\mathrm{\&Delta;d}}---\left(1\right),$

其中如图6中所示，f是相机的焦距，并且b是在相机之间的基线距离。另外，d是指在两个相机之间观测到的视差，并且相机偏移Δd反映两个相机的光中心的可能水平错位。然而，由于算法基于块匹配，所以按视差的景深估计的品质依赖于内容并且经常不准确。例如，没有用于景深估计的简单直接解决方案有可能用于以无纹理或者大噪声水平的很平滑区域为特征的图像片段。

可以与景深映射相似地处理视差或者像差映射，比如在ISO/IEC国际标准23002-3中指定的像差映射。景深和视差具有简单直接的对应性，并且它们可以通过数学方程彼此被计算。

纹理视图和景深视图可以被编码成单个比特流，其中纹理视图中的一些纹理视图可以与一个或者多个视频标准(比如H.264/AVC和/或MVC)兼容。换而言之，解码器可以能够对这样的比特流的纹理视图中的一些纹理视图进行解码，并且可以省略其余纹理视图和景深视图。

在本文中，将一个或者多个纹理和景深视图编码成单个H.264/AVC和/或MVC兼容比特流的编码器也称为3DV-ATM编码器。这样的编码器生成的比特流可以称为3DV-ATM比特流。3DV-ATM比特流可以包括纹理视图中的、H.264/AVC和/或MVC解码器不能解码的纹理视图并且包括景深视图。能够对来自3DV-ATM比特流的所有视图进行解码的解码器也可以称为3DV-ATM解码器。

3DV-ATM比特流可以包括选择的数目的AVC/MVC兼容纹理视图。用于AVC/MVC兼容纹理视图的景深视图可以根据纹理视图被预测。其余纹理视图可以利用增强的纹理编码，并且景深视图可以利用景深编码。

可以在文档MPEG N12544“Working Draft 2 of MVC extensionfor inclusion of depth maps”中发现3DV-ATM比特流的句法和语义以及用于3DV-ATM比特流的解码过程的示例，该文档要求至少两个纹理视图是MVC兼容的。可以在文档MPEG N12545“Working Draft1 of AVC compatible video with depth information”中发现3DV-ATM比特流的句法和语义以及用于3DV-ATM比特流的解码过程的示例，该文档要求至少一个纹理视图是AVC兼容的，并且更多纹理视图可以是MVC兼容的。在提到的文档中指定的比特流格式和解码过程如在下文中描述的那样是兼容的。与工作草案“MVC extension forinclusion of depth maps”(MPEG N12544)对应的3DV-ATM配置可以称为“3D高”。与工作草案“AVC compatible video with depthinformation”(MPEG N12545)对应的3DV-ATM配置可以称为“3D扩展高”或者“3D增强高”。3D扩展高配置是3D高配置的超集。也就是说，支持3D扩展高配置的解码器也应当能够对为3D高配置而生成的比特流进行解码。

在如在文档MPEG N12544和N12545中指定的3DV-ATM中，与在纹理视图之中的视图间依赖性顺序比较，视图间依赖性顺序在景深视图之中是相同的，即，所有活跃序列参数集的序列参数集MVC扩展的内容相同。另外，在3DV-ATM中，视图顺序索引指示纹理或者景深视图分量在访问单元中的解码顺序，但是未指示纹理视图分量相对于景深视图分量的解码顺序。

图10示出用于例如在3DV-ATM中的景深映射编码的示例处理流程。

景深映射可以例如使用描述如下的循环内联合视图间景深滤波(JVDF)被联合地滤波。当前处理的视图V_c的景深映射可以被转换到景深空间(Z空间)中：

$z=\frac{1}{\frac{v_1}{255}\&CenterDot;(\frac{1}{{Z1}_{\mathrm{near}}}-\frac{1}{{Z1}_{\mathrm{far}}})+\frac{1}{{Z1}_{\mathrm{far}}}}$

随后，其它可用视图(V_a1，V_a2)的景深映射图像可以被转换到景深空间并且被投影到当前处理的视图V_c。这些投影创建景深值的若干估计，这些估计可以被平均以便产生景深值的去噪估计。可以通过从可用视图V_a向当前处理的视图V_c投影的具有景深估计值的加权平均来产生当前视图V_c的滤波的景深值

${\hat{z}}_c=w_1\&CenterDot;z_c+w_2\&CenterDot;z_{a->c}$

其中{w₁，w₂}是用于不同视图或者视图投影的景深值的加权因子或者滤波器系数。

如果景深值估计属于某个置信区间，换而言之，如果在估计之间的绝对差在特定门限(Th)以下，则可以应用滤波：

如果|z_a→c-z_c|＜Th，则w₁＝w₂＝0.5

否则w₁＝1，w₂＝0

可以例如在序列参数集内向解码器传输参数Th。

图11示出用JVDF的循环内实施方式对两个景深映射视图进行编码的示例。在用黑色标记的虚线框1100内描绘常规视频编码算法(比如H.264/AVC)。在实线框1102中描绘JVDF。

在称为联合多视图视频加上景深编码(JMVDC)的编码工具中，利用在多视图纹理视频与关联的景深视图序列之间的相关性。虽然像素值在纹理视频与它的景深映射序列之间很不同，但是在纹理视频和关联的景深映射序列中的对象的廓影和移动通常是相似的。提出的JMVDC方案可以通过MVC和SVC编码方案的组合来实现。具体而言，JMVDC可以通过向在MVC中的预测结构中嵌入SVC的层间运动预测机制来实现。每个视图可以被编码和/或视为两层表示，其中纹理驻留在基础层并且景深驻留在增强层中，该两层表示可以使用SVC的粗粒度可缩放性(CGS)来编码而仅允许层间运动预测。此外，在用于非基础视图的基础层(纹理)和增强层(景深)二者中实现视图间预测。尽管可以对于用于基础层的任何视图间预测结构应用JMVDC的层间运动预测，但是可以以视图间预测仅在IDR和锚访问单元处出现这样的方式来实现编码器和解码器，因为它可以提供在复杂性与压缩效率之间的合理折衷并且易化JMVDC的实施工作。在下文中，描述在仅在IDR/锚访问单元中被允许而在非IDR/非锚访问单元中不被允许视图间预测时用于IDR/锚和非锚访问单元的JMVDC方案。

对于IDR和锚画面，可以应用JMVDC方案如下。在视图间预测中使用的运动矢量称为视差矢量。如图12中所示，使用多视图纹理视频的视差矢量作为用于在层间运动预测过程中推导多视图景深映射的视差矢量的预测参考。在示例编码方案中，这一预测机制称为层间视差预测。对于在JMVDC中对非IDR/非锚画面进行的编码，可以如图13中描绘的那样使用来自相应纹理运动矢量的层间运动预测过程来预测用于帧间预测的景深运动矢量。

用于增强层宏块的模式判决过程可以对于锚画面和非锚画面二者是相同的。可以向模式判决过程添加基础模式，并且可以选择在基础层中的共同定位的宏块的运动/视差矢量作为用于每个增强层宏块的运动/视差矢量预测器。

也可以在其中景深视图视为基础层而相应纹理视图视为增强层的布置中使用JMVDC工具，并且可以如以上描述的那样以其它方式完成编码和解码。

称为视图内运动预测(IVMP)的编码工具可以操作如下。在IVMP模式中，运动信息可以被相同视图的景深视图分量重用，该运动信息包括纹理视图分量中的共同定位的宏块的mb_type、sub_mb_type、参考索引和运动矢量。可以在每个宏块或者宏块分割中用信号发送标志以指示它是否使用IVMP模式。如果景深视图分量的空间分辨率不同于纹理视图分量的空间分辨率，则景深视图分量的运动矢量可以在它们用作纹理视图分量的共同定位的块或者宏块的运动矢量时以纹理视图分量和景深视图分量的空间分辨率之间的比例成比例地被缩放。

可以执行循环内视图合成预测(VSP)如下。可以用源画面s(x,y)在合成的目标图像t(x+D,y)中的新像素位置中的以下映射像素通过景深映射(d)到视差(D)的转换来实施视图合成。

$D\left(s(x,y)\right)=\frac{f\&CenterDot;l}{z}$

$z={(\frac{d\left(s(x,y)\right)}{255}(\frac{1}{Z_{\mathrm{near}}}-\frac{1}{Z_{\mathrm{far}}})+\frac{1}{Z_{\mathrm{far}}})}^{-1}.$

在纹理画面投影的情况下，s(x,y)是纹理图像的采样，并且d(s(x,y))是与s(x,y)关联的景深映射值。

如果用于合成的参考帧是4:2:0，则色度分量可以例如通过重复采样值如下而被上采样至4:4:4：

其中s′_chroma(·，·)是全分辨率的色度采样值，并且s_chroma(·，·)是半分辨率的色度采样值。

在景深映射值投影的情况下，s(x，y)＝d(x，y)，并且这一采样使用它自己的值d(s(x，y))＝d(x，y)来投影。

可以在规整(warp)和下采样合成帧回到原有分辨率之前通过对参考帧上采样而以子像素精度来执行规整。

视图合成过程可以包括两个概念性步骤：前向规整和孔填充。在前向规整中，参考图像的每个像素被映射到合成图像。在来自参考帧的多个像素被映射到在合成视图中的相同采样位置时，可以在映射竞争中选择与较大景深值(与相机较近)关联的像素。在规整所有像素之后，可以有留下的一些孔像素而无从参考帧映射的采样值，并且可以例如用基于线的有向孔填充来填充这些孔像素，其中定义“孔”为在两个非孔像素之间的水平线中的连续孔像素。孔像素可以由具有较小景深采样值(距离相机较远)的两个相邻非孔像素之一填充。

可以例如跟随时间和视图间参考帧在初始参考画面列表list0和list1中包括VSP产生的合成画面。然而，可以扩展参考画面列表修改句法(即RPLR命令)以支持VSP参考画面，因此编码器可以按照任何顺序对参考画面列表进行排序、在比特流中用RPLR命令指示最终顺序，从而使解码器重建具有相同最终顺序的参考画面列表。

也可以在一些编码和解码布置中使用VSP作为与帧内、帧间、视图间和其它编码模式分离的模式。例如，可以不使用VSP跳过/直接模式将运动矢量差编码到用于块的比特流中，但是编码器和解码器可以推断运动矢量差等于0和/或运动矢量等于0。另外，VSP跳过/直接模式可以推断不使用VSP跳过/直接模式为块对变换编码的残值块进行编码。

基于景深的运动矢量预测(D-MVP)是编码工具，该编码工具在使用中取得可用景深映射数据并且利用它用于对关联的景深映射纹理数据进行编码/解码。这一编码工具可能要求在相同视图的纹理视图分量之前对视图的景深视图分量进行编码/解码。D-MVP工具可以包括接着描述的用于跳过模式和直接模式的方向分离MVP以及基于景深的MV竞争这两个部分。

可以描述方向分离MVP如下。所有可用邻近块根据它们的预测的方向(例如时间、视图间和视图合成预测)来分类。如果当前块Cb(见图15a)使用视图间参考画面，则不利用视图间预测的所有邻近块被标记为不可用于MVP并且在常规运动矢量预测(比如H.264/AVC的MVP)中不被考虑。相似地，如果当前块Cb使用时间预测，则使用视图间参考帧的邻近块被标记为不可用于MVP。在图14中描绘这一过程的流程图。流程图和以下描述仅考虑时间和视图间预测方向，但是它可以被相似地扩展为也覆盖其它预测方向(比如视图合成预测)，或者时间和视图间预测方向之一或者二者可以相似地被其它预测方向替换。

如果无运动矢量候选从邻近块可用，则用于视图间预测的默认“零MV”MVP(mv_y＝0，mv_x＝0)可以用mv_y＝0和来替换，其中是与当前纹理Cb关联的平均视差并且可以按照下式来计算：

$\stackrel{\&OverBar;}{D}\left(\mathrm{cb}\right)=(1/N).{\mathrm{\&Sigma;}}_{i}D\left(\mathrm{cb}\left(i\right)\right)$

其中i是在当前块Cb内的像素的索引，N是在当前块Cb中的像素的总数。

可以在3DV-ATM的上下文中描述用于跳过模式和直接模式的基于景深的MV竞争如下。分别在图16a和图16b中示出在跳过模式和直接模式中的用于提出的基于景深的运动竞争(DMC)的过程的流程图。在跳过模式中，纹理数据块{A，B，C}的运动矢量{mv_i}根据它们的预测方向来分组，从而形成分别用于时间和视图间的组1和组2。可以独立地为每组执行在图16a的灰色块中具体描述的DMC过程。

对于在给定组内的每个运动矢量mv_i，可以先推导运动补偿景深块d(cb，mv_i)，其中与d(cb)的定位相对地应用运动矢量mv_i，以从mv_i指向的参考景深映射获得景深块。然后在d(cb)与d(cb，mv_i)之间的相似度可以按照下式来估计：

SAD(mv_i)＝SAD(d(cb，mv_i)，d(cb))

可以选择在当前组内提供最小绝对差和(SAD)值的mv_i作为用于特定方向的最优预测器(mvp_dir)：

${\mathrm{mvp}}_{\mathrm{dir}}=\arg \underset{{\mathrm{mvp}}_{\mathrm{dir}}}{\min }\left(\mathrm{SAD}\left({\mathrm{mv}}_i\right)\right)$

此后，使在时间方向上的预测器(mvp_tmp)与在视图间方向上的预测器(mvp_inter)竞争。提供最小SAD的预测器可以通过下式得到：

${\mathrm{mvp}}_{\mathrm{opt}}=\arg \underset{{\mathrm{mvp}}_{\mathrm{dir}}}{\min }(\mathrm{SAD}\left({\mathrm{mvp}}_{\mathrm{tmp}}\right),\mathrm{SAD}\left({\mathrm{mvp}}_{\mathrm{int}\mathrm{}\mathrm{er}}\right))$

最后，参考另一视图(视图间预测)的mvp_opt可以经历以下健全校验：在利用“零MV”的情况下，它用“视差MV”预测器mv_y＝0和来替换，其中可以如以上描述的那样推导

图16b中所示用于B分片的直接模式的MVP可以与跳过模式相似，但是可以独立地对两个参考画面列表(列表0和列表1)执行DMC(用灰色块标记)。因此，对于每个预测方向(时间的或者视图间的)，DMC产生分别用于列表0和列表1的两个预测器(mvp0_dir和mvp1_dir)。此后，可以计算根据mvp0_dir和mvp1_dir推导的方向补偿块如下：

$d(\mathrm{cb},{\mathrm{mvp}}_{\mathrm{dir}})=\frac{d(\mathrm{cb},{\mathrm{mvp}0}_{\mathrm{dir}})+d(\mathrm{cb},{\mathrm{mvp}1}_{\mathrm{dir}})}{2}$

然后，可以独立地为每个方向计算在双向补偿块与Cb之间的SAD值并且可以如以上对于跳过模式示出的那样从可用mvp_inter和mvp_tmp选择用于直接模式的MVP。与跳过模式相似地，如果mvp_opt参考另一视图(视图间预测)，则在每个参考列表中的“零MV”可以用“视差MV”来替换。

可以出于多视图编码(MVC)、景深增强视频编码、多视图+景深(MVD)编码和具有循环内视图合成的多视图这些目的描述用于纹理视图的基于景深/视差的帧内预测如下。可以认为纹理的基于景深/视差的帧内预测包括新帧内预测机制的集合，这些机制基于利用景深或者视差信息(Di)用于纹理数据的当前块(cb)。假设用于纹理数据的当前块(cb)的景深或者视差信息(Di)通过对编码景深或者视差信息进行编码而可用或者可以在对当前纹理块进行编码之前在解码器侧被估计，并且可以在帧内预测中利用这一信息。

在下文中，纹理块通常是指纹理画面的单个色彩分量的采样块，即，通常是纹理画面的亮度或者色度分量之一的采样块。

编码器可以包括用于帧内编码纹理块进行编码的以下操作中的一个或者多个操作。这里应当注意的是，相似原理也在解码器侧适用于对帧内编码纹理块进行解码。尽管参照景深描述用于纹理的基于景深的帧内预测，但是将理解的是，可以取代景深相似地使用视差或者像差。该描述参考术语块，该块可以例如是与在H.264/AVC中使用的宏块相似的宏块、与在HEVC WD中使用的树块相似的树块或者任何相似块。

景深边界检测

编码器可以例如如下应用景深边界检测。景深边界也可以例如称为景深边缘、景深不连续或者景深轮廓。在编码器中，关联(重建/解码)景深块被分类为包含景深边界或者不包含景深边界。也可以在解码器中执行相同的景深边界检测算法，然后编码器和解码器二者对于重建/解码景深画面执行景深边界检测。可以在以下描述的操作中的一个或者多个操作中使用检测到的景深边界。

编码器和解码器可以试图例如通过使用边缘或者边界检测算法来检测在画面或者块内的可能边缘或者其它边界。可以有可以应用的许多可能算法。例如，可以如下完成景深边界分类。分类可以使用对以下两个3×3内核进行使用的Sobel算符以获得梯度量值图像G：

$G_x=\left[\begin{array}{ccc}-1& 0& +1\\ -2& 0& +2\\ -1& 0& +1\end{array}\right]*A$ 和 $G_y=\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ +1& +2& +1\end{array}\right]*A$

$G=\sqrt{{G_x}^2+{G_y}^2}$

其中A是源图像(重建的景深图像)。

由于序列可以具有G值的不同动态采样值范围，所以G可以使用直方图均衡来转换成图像G’。在直方图均衡中，G’的最小值和最大值可以被分别设置成0和255。另外，第一阈值T1和第二阈值T2也可以被设置为适当值。编码器或者解码器可以检查是否G’(x,y)>T1。如果是这样，则点(x,y)被分类为边界点。在已经对于当前块执行直方图均衡时，可以校验在当前块中的可能边界点的数目以确定在一个块中的边界点的数目是否大于第二阈值T2。如果是这样，则这一个块被分类为包含景深边界。

编码器可以例如基于用以上提到的阈值T1和T2中的任何阈值的不同值对块进行编码并且选择该阈值的根据拉格朗日速率-失真优化等式为最优的值来确定该阈值的值。编码器可以例如通过例如在序列参数集、画面参数集、分片参数集、画面首部、分片首部中、在宏块句法结构或者任何相似句法结构内将阈值T1和/或T2的确定的值编码为一个或者多个句法元素来在比特流内指示它们。解码器可以基于在比特流中编码的信息(比如指示阈值T1和/或T2的值的一个或者多个码字)来确定阈值T1和/或T2。

纹理块在与纹理块共同定位的景深块包含景深边界时包含、覆盖、包括、具有或者有景深边界。可以以与纹理不同的空间分辨率对景深进行编码。因此，可以在纹理块包含或者覆盖景深边界时在确定中考虑根据空间分辨率的比例而定的缩放。

基于景深的画面分割

编码器可以基于景深信息分割画面。编码器可以将画面分割编码到比特流中，或者解码器可以基于景深信息分割画面。编码器和解码器可以根据画面分割来改变块编码或者解码顺序，从而一个画面分割的块可以先于另一画面分割的编码或者解码顺序块。

可以分别改变块编码顺序和解码顺序，从而例如在光栅扫描顺序中先对不包含景深边界的纹理块进行编码或者解码而随后跳过和编码或者解码包括景深边界的纹理块。可以在编码和/或解码中标记包含景深边界的纹理块为不可用于对于不包含景深边界的块的预测(如同它们在不同分片中并且约束帧内预测开启)。

可以分别改变块编码顺序和解码顺序，从而例如在光栅扫描顺序中先对包括景深边界的纹理块进行编码或者解码，而例如在光栅扫描顺序中在包括景深边界的纹理块之后对不包含景深边界的纹理或者块进行编码或者解码。可以在编码和/或解码中标记不包含景深边界的纹理块为不可用于对于包含景深边界的块的预测(如同它们在不同分片中并且约束帧内预测开启)。

在基于景深的画面分割中，编码器可以使用H.264/AVC的灵活宏块排序的slice_group_map_type 6，这实现提供从宏块到分片组的按宏块映射。可以基于分类的景深边缘宏块执行分片组的创建，即分类为不包含景深边缘的所有宏块属于一个分片组而具有景深边缘的宏块属于另一分片组。

编码器和解码器可以基于重建/解码景深视图分量的景深边界分类来推断分片组映射。例如，分类为不包含景深边缘的所有宏块属于一个分片组而具有景深边缘的宏块属于另一分片组。

在另一示例中，可以在编码和/或解码中对相同景深范围的所有宏块进行分类以形成分片组，而可以在编码和/或解码中对包含景深边缘的宏块进行分类以形成它们自己的分片组。

包含分类为包括景深边界的宏块的分片组可以在其它分片组之后被编码或者解码。备选地，包含分类为包括景深边界的宏块的分片组可以在其它分片组之前被编码或者解码。

在光栅扫描顺序或者另外任何其它预定义顺序中对宏块进行编码或者解码，但是包含景深边缘的宏块可以被跳过并且在相同分片的所有其它宏块之后被编码或者解码。备选地，包含景深边缘的宏块可以在相同分片的所有其它宏块之前被编码或者解码。

基于景深的块分割

编码器可以基于景深信息分割纹理块。编码器可以执行块分割，从而一个块分割集合包含景深边界，而另一块分割集合不包含任何景深边界。编码器可以使用一个或者多个定义的判据来选择块分割；例如，编码器可以选择不包含景深边界的块的大小尽可能大。解码器也可以运行相同的块分割算法，或者编码器可以例如使用常规H.264/AVC块分割句法元素来向解码器用信号发送使用的块分割。

可以在16x16、8x8或者4x4块中分割帧内编码亮度纹理宏块用于帧内预测，但是显然的是也可以应用其它块大小。另外，块无需是方形块，而是其它格式也适用。作为推广，可以表示块大小为MxN，其中M，N∈Z₊。

可以使用景深块的块分割作为用于相应或者共同定位的纹理块的块分割。

可以不在比特流中对块分割进行编码或者指示。因此，编码器和解码器可以执行相同的基于景深的块分割。

在从编码器向解码器递送关于块分割的信息时，可以有用于该递送的许多选项。例如，关于块分割的信息可以被熵编码到比特流。可以用许多方式执行块分割的熵编码。例如，编码器例如使用H.264/AVC块分割句法元素来向解码器用信号发送使用的块分割。块分割可以被编码到比特流中，但是在编码器和解码器二者中应用基于景深的块分割，以用基于景深的块分割方法选择的块分割使用更少量编码数据比特这样的方式修改上下文自适应二进制算法编码(CABAC)或者基于上下文的可用长度编码或者任何相似熵编码的上下文状态。实际上，在熵编码和解码中增加基于景深的块分割推导所推断的块分割的可能性。

块分割可以被编码到比特流中，但是在块分割码字中使用的码表或者二值化表可以依赖于基于景深的块分割的结果。

使用的块分割方法可以例如通过速率-失真优化由编码器选择并且可以在编码比特流中由编码器指示为一个或者多个句法元素或者句法元素的值。句法元素可以例如驻留在序列参数集、画面参数集、适配参数集、画面首部或者分片首部中。

编码器可以例如使用速率-失真优化来执行常规块分割选择。如果常规块分割的速率-失真代价小于基于景深的块分割的速率-失真代价，则编码器可以选择使用常规块分割并且例如在分片首部、宏块句法或者块句法中指示在比特流中使用常规块分割。

解码器可以对与块分割方法有关的句法元素进行解码并且使用指示的块分割方法和有关句法元素来对比特流进行解码。

可以基于一个或者多个景深边界确定在块内的子块或者块分割的编码或者解码顺序。例如，在基于H.264/AVC的编码或者解码中，可以基于景深边界确定在宏块内根据块分割的块编码顺序。无景深边界的块可以在具有景深边界的块之前被编码或者解码。

例如，为了在基于H.264/AVC的编码/解码方案中对包含景深边界的纹理宏块进行编码或者解码，不包含景深边界的8x8块(如果有)可以先被编码或者解码。此后，(驻留在包含景深边界的那些8x8块中的)不包含景深边界的4x4块可以被编码或者解码。最后，包含景深边界的4x4块可以例如使用双向帧内预测模式来编码或者解码。

在用于基于H.264/AVC的编码/解码方案的另一示例中，包含景深边界的4x4纹理块被先编码或者解码。然后，从邻近纹理宏块和包括景深边界的重建/解码4x4纹理块的边界采样预测纹理宏块的其余采样。

常规地使用子块定位的规则网格来执行块分割。例如，在H.264/AVC中，宏块可以在宏块内以规则4x4网格被分割成4x4或者更大块。可以用如下方式应用纹理块的块分割，该方式为子块定位的坐标中的至少一个坐标不同于子块定位的规则网格。可以例如以如下方式选择具有景深边界的子块，该方式为它们的竖直坐标遵循规则4x4网格，但是选择它们的水平坐标以例如最小化具有景深边界的4x4子块的数目。

用于纹理块的帧内预测的块分割可以不同于用于相同纹理块的预测误差编码或者解码的块分割。例如，基于检测景深边界的以上方法中的任何方法可以用于确定用于帧内预测纹理块的块分割，并且不同块分割可以用于变换编码预测误差编码或者解码。编码器和/或解码器可以基于共同定位或者相应的景深重建或者解码景深推断用于帧内预测纹理的块分割。编码器可以将用于帧内编码纹理块的预测误差编码的块分割编码到比特流中，并且解码器可以从比特流解码用于帧内编码纹理块的预测误差解码的块分割。编码器例如可以在选择帧内预测和预测误差编码/解码是否使用相同块分割时使用速率-失真优化。

基于景深的帧内预测模式确定

编码器和/或解码器可以通过使用景深信息来确定帧内预测模式。可以比较正在编码或者解码的当前纹理块的景深与邻近纹理块或者与邻近纹理块共同定位或者对应的景深块的边界采样的景深，并且可以基于这一比较来确定当前纹理块的帧内预测模式。例如，如果当前纹理块的景深与边界采样的景深很相似，则可以推断DC预测。在另一示例中，在当前景深块中检测景深边界，并且推断用于当前纹理块的双向帧内预测。

由于可以在编码器和解码器中推断帧内预测模式，所以可以不对句法元素进行编码并且可以减少比特流。可以例如在分片首部中用信号发送使用基于景深的帧内预测模式确定，并且编码器可以使用对基于景深的预测模式确定和常规帧内预测模式确定进行比较的速率-失真优化判决以及句法元素编码来开启基于景深的帧内预测模式。

景深块的帧内预测模式可以用于帧内预测相应或者共同定位的纹理块(在编码器和解码器二者中)。

可以比较正在编码或者解码的当前块的景深与邻近纹理块或者与邻近纹理块共同定位或者对应的景深块的边界采样的景深，并且可以基于这一比较来确定当前纹理块的帧内预测模式。例如，如果当前纹理块的景深与边界采样的景深很相似，则可以推断DC预测或者可以推断常规帧内预测模式信号发送。在另一示例中，在当前景深块中检测景深边界并且推断用于当前纹理块的双向帧内预测。

与块分割相似，有用于帧内预测模式的熵编码的多个选项，这些选项包括以下选项。可以在块内有景深边界时推断双向帧内预测模式，否则常规帧内预测可以用于块，其中编码器确定帧内预测模式并且在比特流中指示它。由于在编码器和解码器二者中推断帧内预测，所以不对句法元素进行编码。

在另一选项中，帧内预测模式可以被编码到比特流中，但是可以在编码器和解码器二者中应用帧内预测模式的基于景深的预测，以用基于景深的算法选择的帧内预测模式可以使用更少量编码数据比特这样的方式修改CABAC或者基于上下文的可变长度编码或者任何相似熵编码的上下文状态。实际上，可以在熵编码和解码中增加由基于景深的算法推断的帧内预测模式的可能性。

在又另一选项中，帧内预测模式可以被编码到比特流中，但是在帧内预测模式码字中使用的码表或者二值化表可以依赖于基于景深的算法的结果。

可以例如在分片首部、宏块句法或者块句法中用信号发送使用基于景深的帧内预测模式确定，并且编码器可以使用对基于景深的预测模式确定和常规帧内预测模式确定进行比较的速率-失真优化判决来开启它。

编码器可以例如使用速率-失真优化来例如执行常规帧内预测模式选择。如果常规帧内预测的速率-失真代价小于基于景深的帧内预测模式选择的速率-失真代价，则编码器可以选择使用常规帧内预测并且在比特流中(例如在分片首部、宏块句法或者块句法中)指示使用常规帧内预测。

解码器可以对与帧内预测模式有关的句法元素进行解码并且使用指示的帧内预测模式和有关句法元素来对比特流进行解码。

用于帧内预测的基于景深的采样可用性

编码器和/或解码器也可以确定是否存在有用于帧内预测的一个或者多个采样。仅使用如下采样作为预测源，这些采样在编码和/或解码中被分类为属于与正在预测的采样使用相同的对象。可以例如通过比较景深采样值(例如通过仅考虑如下那些采样位置)来完成分类为相同对象，对于这些采样位置，景深采样值充分地相互接近以属于相同对象。

在示例实施方式中，可以与相应景深画面独立地完成编码器和/或解码器对帧内编码模式和宏块分割以及对用于纹理块的帧内预测模式的判决。然而，可以根据可用景深信息修改用于帧内预测的纹理采样的可用性信息。

用于包含景深边界的块的双向帧内预测

也有可能的是，编码器和解码器使用双向帧内预测用于包含景深边界的纹理块。双向帧内预测可以在景深分量在纹理分量之前被编码和解码时更高效。因此，当前块的可能所有邻近块的景深分量可以在对当前块的纹理分量进行编码或者解码时可用。

待编码或者解码的纹理块可以被划分成两个或者更多个景深区域。邻近纹理块的边界采样也可以在编码和/或解码中被分类到等效两个或者更多个景深区域。然后，可以仅从邻近块的相应边界采样来预测在正在编码或者解码的块中的特定景深区域内的采样。可以选择不同预测方向或者帧内预测模式用于不同区域。

可以执行以下步骤中的一个或者多个步骤用于双向或者多向帧内预测包含景深边界的纹理块。

a.如以下指定的那样除了普通帧内模式之外还指定用于双向帧内预测的新帧内预测模式。

b.编码器做出块分割(比如宏块或者树块分割)的速率-失真优化判决并且通过包括新双向帧内预测作为测试的模式之一来使用编码模式。作为推广，可以有多于两个帧内预测方向(即三向帧内预测或者一般为n向帧内预测，其中n是正整数)。

c.如果(任何大小和形状(比如16x16、8x8和4x4))的纹理块包含景深边界，则可以确定在邻近块的块边界采样的可用性。可以改变块或者宏块编码和解码顺序，并且待预测的块可以从上至四侧由在邻近块的可用块边界采样包围。

d.如果在邻近纹理块的可用块边界采样与来自不同景深范围的景深采样共同定位，则双向帧内预测模式可以可用于编码器和/或解码器。

双向帧内预测模式的可用性可以用来例如通过如果双向帧内预测模式不可用则在CABAC中设置双向帧内模式的概率为零或者选择在上下文自适应可变长度编码中排除双向帧内模式的码表来调节熵编码。

e.可以在编码和/或解码中从在邻近块的可用块边界景深采样和从与正在编码的纹理块共同定位的景深块选择两个最显著景深区域。例如，可以选择在景深块中具有最多采样的两个景深区域，假如在用于它们的邻近块的块边界景深采样也可用。

f.在景深块中的每个采样可以例如根据与景深区域的中间或者平均景深值最接近的绝对差被映射到两个最显著景深区域之一。作为结果，在正在编码的纹理块中的每个采样可以被映射到可以称为景深区域0或者景深区域1的任一景深区域。

可以例如如下执行步骤e和步骤f：令Dmax和Dmin分别是在与纹理块共同定位的重建景深块中的最大值和最小值。令阈值的值是DThres＝(Dmax+Dmin)/2。在景深区域0中的采样使得对于采样为depth＜＝DThres。在景深区域1中的采样使得对于采样为depth＞DThres。

可以确定景深区域是邻接的。例如，可以在编码器和解码器二者中使用小楔形分割。对于小楔形分割，定义两个区域被直线分离。分离线由均位于块的不同边界上的起点S和终点P确定。分离线可以由直线的方程描述。用于小楔形分割的起点和终端可以例如通过最小化代价函数如下来确定。测试用于S和P的不同可能性，并且推导相应代价。例如，可以测试S和P的所有可能组合。对于每对S和P，用于区域0和1的代表值先例如通过分别对在区域0和区域1中的景深采样值进行平均来确定。然后，代价可以例如通过推导景深采样相对于视已经在哪个区域上根据S和P划分景深采样而定的区域0或者区域1的代表值而言的绝对差之和来计数。选择使代价最小的S和P值用于小楔形分割。

在一些情况下，景深区域可以被确定为邻接的但是可以无需被直线分离。

g.可以对于景深区域0和景深区域1单独执行用于纹理块的帧内预测。可以对于景深区域0选择与对于景深区域1不同的帧内预测方向。预测方向可以由编码器和解码器二者推断。备选地，预测方向可以由编码器确定并且在比特流中用信号来发送。在后一种情况下，对两个预测方向码字进行编码，一个用于景深区域0而另一个用于景深区域1。

用于帧内预测的采样可用性可以例如如以上描述的那样基于景深。另一相似备选是将在可以用于帧内预测的邻近块中的采样通过比较它们的景深值与阈值DThres分类到区域0或者区域1。在区域0中分类的来自邻近块的采样可以用来预测在正在被编码或者解码的当前块中的区域0的采样，而在区域1中的来自邻近块的采样不用来预测在正在被编码或者解码的当前块中的区域0的采样。可以相似地处理正在被编码或者解码的当前块的区域1。

可以改变块或者宏块编码或者解码顺序，并且待预测的块可以从上至四侧由在邻近块的可用块边界采样包围，因此帧内预测模式和它们使用的在邻近块的块边界采样也可以不同于在H.264/AVC或者HEVC或者任何相似编码或者解码方法或者***中当前的帧内预测模式和块边界采样。例如，可以如下改变H.264/AVC帧内预测模式。

在DC模式中，设置区域0/1为在从任何方向包围当前块的邻近块并且也在区域0/1中的采样的均值。

在水平/竖直模式中，如果来自当前块的两侧的块的边界采样可用，则边界采样根据与正在预测的采样的欧几里得空间距离来加权。例如，如果预测采样p1的水平坐标是x1＝7并且预测采样p2的水平坐标是x2＝16而正在预测的采样的水平坐标是x＝10，则可以使用m＝(x2-x1)＝9来推导预测采样为((m-(x-x1))*p1+(m-(x2-x))*p2)/m＝((9-(10-7))*p1+(9-(16-10))*p2)/9＝(6*p1+3*p2)/9。如果仅一个边界采样可用，则它这样用作预测。如果无边界采样可用，则可以使用通过DC预测获得的值。

景深加权的帧内预测

编码器和解码器可以在帧内预测中使用景深信息用于加权目的。用于帧内预测纹理的基于景深的权值可以是非二进制值(比如分数值)，该非二进制值基于在正在被预测的纹理采样的景深与预测采样的景深之间的差。

多于一个的预测采样可以用于预测单个采样。另外，可以使用二进制权值，即，如果预测采样被分类为属于与正在被预测的采样不同的景深区域，则可以使用权值0。否则，可以使用用于所有预测采样的相等权值。在一些情况下，可以基于在预测采样与正在被预测的采样之间的欧几里得空间距离已经确定附加乘法权值。

在一些情况下，基于景深的权值可以是非二进制值(比如分数值)。例如，可以使用以下推导。令正在被预测的采样的景深值表示为d。令预测采样表示为pi而预测采样的景深值表示为di，其中i是预测采样的索引。预测采样的景深也可以包括从多个景深采样推导的值，比如被分类为属于与正在被预测的采样的景深相同的景深区域的邻近景深块的所有边界采样的平均值。令S对含1和n的i＝1到n的所有值等于∑abs(di-D)，其中n是预测采样的数目。令针对每个预测定义的wi对含1和n的j＝1到n这些值等于(S-∑abs(dj-D))/S，其中j≠i。然后，可以推导预测采样p对含1和n的i＝1到n的所有值为∑(wi*pi)。

将理解的是，尽管已经在特定编码解码器(比如3DV-ATM)的上下文中描述编码工具中的许多编码工具，但是它们可以相似地应用于其它编码解码器结构，比如HEVC的景深增强的多视图视频编码扩展。

在图8中呈现能够对纹理视图和景深视图进行编码的编码器200的实施例的高级流程图，并且在图9中呈现能够对纹理视图和景深视图进行解码的解码器210的实施例的高级流程图。在这些图上，实线描绘主要数据流，而虚线示出控制信息信令。编码器200可以接收将被纹理编码器202编码的纹理分量201和将被景深编码器204编码的景深映射分量203。在编码器200正在根据AVC/MVC对纹理分量进行编码时，可以关断第一开关205。在编码器200正在对增强纹理分量进行编码时，可以接通第一开关205，从而可以向纹理编码器202提供景深编码器204生成的信息。这一示例的编码器也包括可以***作如下的第二开关206。在编码器正在对AVC/MVC视图的景深进行编码时，接通第二开关206，并且在编码器正在对增强纹理视图的景深信息进行编码时，关断第二开关206。编码器200可以输出包含编码视频信息的比特流207。

解码器210可以以相似方式但是至少部分按照相反顺序操作。解码器210可以接收包含编码视频信息的比特流207。解码器210包括用于对纹理信息进行解码的纹理解码器211以及用于对景深信息进行解码的景深解码器212。可以提供第三开关213以控制从景深解码器212向纹理解码器211的信息递送，并且可以提供第四开关214以控制从纹理解码器211向景深解码器212的信息递送。在解码器210将对AVC/MVC纹理视图进行解码时，可以关断第三开关213，并且在解码器210将对增强纹理视图进行解码时，可以接通第三开关213。在解码器210将对AVC/MVC纹理视图的景深进行解码时，可以接通第四开关214，并且在解码器210将对增强纹理视图的景深进行解码时，可以关断第四开关214。解码器210可以输出重建的纹理分量215和重建的景深映射分量216。

许多视频编码器利用拉格朗日代价函数以发现速率-失真最优编码模式，例如期望的宏块模式和关联运动矢量。这一类型的代价函数使用加权因子或者λ以将由于有损编码方法所造成的确切或者估计的图像失真以及为了表示在图像区域中的像素/采样值而需要的确切或者估计的信息量连结在一起。拉格朗日代价函数可以由下式表示：

C＝D+λR

其中C是待最小化的拉格朗日代价，D是当前考虑的模式和运动矢量的图像失真(例如，在原有图像块中和在编码图像块中的像素/采样值之间的均方误差)，λ是拉格朗日系数，并且R是为了表示用于在解码器中重建图像块的所需数据(包括用于表示候选运动矢量的数据量)而需要的位数。

编码标准可以包括子比特流提取过程，并且例如在SVC、MVC和HEVC中指定这样的过程。子比特流提取过程涉及通过去除NAL单元来将比特流转换成子比特流。子比特流仍然保持符合该标准。例如，在草案HEVC标准中，通过排除具有大于或者等于选择的值的temporal_id的所有VCL NAL单元并且包括所有其它VCL NAL单元而创建的比特流保持一致。因而，具有等于TID的temporal_id的画面不使用具有大于TID的temporal_id的任何画面作为帧间预测参考。

图1示出根据示例实施例的视频编码***的框图为示例装置或者电子设备50的示意框图，该装置或者电子设备可以并入根据本发明的实施例的编码解码器。图2示出根据示例实施例的装置的布局。接着将说明图1和图2的单元。

电子设备50可以例如是无线通信***的移动终端或者用户设备。然而，将理解的是，可以在可能需要对视频图像进行编码和解码或者编码或解码的任何电子设备或者装置内实施本发明的实施例。

装置50可以包括用于结合和保护设备的壳30。装置50还可以包括形式为液晶显示器的显示器32。在本发明的其它实施例中，显示器可以是适合于显示图像或者视频的任何适当显示器技术。装置50还可以包括小键盘34。在本发明的其它实施例中，可以运用任何适当数据或者用户接口机制。例如，可以实施用户接口为虚拟键盘或者数据录入***作为触敏显示器的一部分。装置可以包括麦克风36或者任何适当的音频输入，该音频输入可以是数字或者模拟信号输入。装置50还可以包括如下音频输出设备，该音频输出设备在本发明的实施例中可以是以下各项中的任何一项：耳机38、扬声器或者模拟音频或者数字音频输出连接。装置50也可以包括电池40(或者在本发明的其它实施例中，设备可以由任何适当移动能量设备(比如太阳能电池、燃料电池或者时钟机构生成器)供电)。装置还可以包括用于与其它设备的近程视线通信的红外端口42。在其它实施例中，装置50还可以包括任何适当近程通信解决方案，比如蓝牙无线连接或者USB/火线有线连接。

装置50可以包括用于控制装置50的控制器56或者处理器。控制器56可以连接到存储器58，该存储器在本发明的实施例中可以存储形式为图像数据和音频数据二者的数据，和/或也可以存储用于在控制器56上实施的指令。控制器56还可以连接到适合于实现音频和/或视频数据的编码和解码或者辅助由控制器56实现的编码和解码的编码解码器电路装置54。

装置50还可以包括用于提供用户信息并且适合于提供用于在网络认证和授权用户的认证信息的读卡器48和智能卡46，例如UICC和UICC读取器。

装置50可以包括无线电接口电路装置52，该无线电接口电路装置连接到控制器并且适合于生成例如用于与蜂窝通信网络、无线通信***或者无线局域网通信的无线通信信号。装置50还可以包括天线44，该天线连接到无线电接口电路装置52用于向其它装置发送在无线电接口电路装置52生成的射频信号以及用于从其它装置接收射频信号。

在本发明的一些实施例中，装置50包括能够记录或者检测个体帧的相机，这些帧然后被传递到编码解码器54或者控制器用于处理。在本发明的一些实施例中，装置可以在传输和/或存储之前从另一设备接收用于处理的视频图像数据。在本发明的一些实施例中，装置50可以无线地或者通过有线连接接收用于编码/解码的图像。

图3示出根据示例实施例的包括多个装置、网络和网元的用于视频编码的布置。关于图3，示出可以在其中利用本发明的实施例的***的示例。***10包括可以通过一个或者多个网络通信的多个通信设备。***10可以包括有线或者无线网络的任何组合，这些有线或者无线网络包括但不限于无线蜂窝电话网络(比如GSM、UMTS、CDMA网络等)，比如IEEE 802.x标准中的任何标准定义的无线局域网(WLAN)、蓝牙专用网络、以太网局域网、令牌环局域网、广域网和因特网。

***10可以包括适合用于实施本发明的实施例的有线和无线通信设备二者或者装置50。例如，图3中所示***示出移动电话网络11并且示出因特网28的表示。与因特网28的连通可以包括但不限于远程无线连接、近程无线连接和各种有线连接，这些有线连接包括但不限于电话线路、线缆线路、功率线路和相似通信途径。

***10中所示示例通信设备可以包括但不限于电子设备或者装置50、个人数字助理(PDA)和移动电话14的组合、PDA 16、集成消息接发设备(IMD)18、桌面型计算机20、笔记本计算机22。装置50可以是静止的或者可以是在由移动的个人携带时可移动的。装置50也可以位于运输模式中，该运输模式包括但不限于小汽车、卡车、出租车、公共汽车、火车、船只、飞机、自行车、摩托车或者任何相似的适当运输模式。

一些或者更多装置可以发送和接收呼叫和消息，并且通过与基站24的无线连接25与服务提供商通信。基站24可以连接到网络服务器26，该网络服务器允许在移动电话网络11与因特网28之间的通信。***可以包括附加通信设备和各种类型的通信设备。

通信设备可以使用各种传输技术来通信，这些传输技术包括但不限于码分多址(CDMA)、全球移动通信***(GSM)、通用移动电信***(UMTS)、时分多址(TDMA)、频分多址(FDMA)、传输控制协议-网际协议(TCP-IP)、短消息接发服务(SMS)、多媒体消息接发服务(MMS)、电子邮件、即时消息接发服务(IMS)、蓝牙、IEEE 802.11和任何相似无线通信技术。参与实施本发明的各种实施例的通信设备可以使用各种介质来通信，这些介质包括但不限于无线电、红外线、激光、线缆连接和任何适当连接。

图4a和图4b示出根据示例实施例的用于视频编码和解码的框图。

图4a示出编码器为包括像素预测器302、预测误差编码器303和预测误差解码器304。图4a也示出像素预测器302的实施例为包括帧间预测器306、帧内预测器308、模式选择器310、滤波器316和参考帧存储器318。在这一实施例中，模式选择器310包括块处理器381和代价评估器382。编码器还可以包括用于对比特流进行熵编码的熵编码器330。

图4b描绘帧间预测器306的实施例。帧间预测器306包括用于选择一个或者多个参考帧的参考帧选择器360、运动矢量定义器361、预测列表形成器363和运动矢量选择器364。这些单元或者它们中的一些单元可以是预测处理器362的一部分或者可以通过使用其它部件来实施它们。

像素预测器302接收将在帧间预测器306(该帧间预测器确定在图像与运动补偿的参考帧318之间的差)和帧内预测器308(该帧内预测器仅基于当前帧或者画面的已经处理的部分确定用于图像块的预测)二者处被编码的图像300。向模式选择器310传递帧间预测器和帧内预测器二者的输出。帧间预测器306和帧内预测器308二者可以具有多于一个的帧内预测模式。因此，可以对于每个模式执行帧间预测和帧内预测，并且可以向模式选择器310提供预测信号。模式选择器310也接收图像300的副本。

模式选择器310确定使用哪个编码模式对当前块进行编码。如果模式选择器310判定使用帧间预测模式，则它将向模式选择器310的输出传递帧间预测器306的输出。如果模式选择器310判定使用帧内预测模式，则它将向模式选择器310的输出传递帧内预测器模式之一的输出。

模式选择器310可以在代价评估器块382中例如使用拉格朗日代价函数以通常在块基础上在编码模式及其参数(比如运动矢量、参考索引和帧内预测方向)之间选择。这种代价函数使用加权因子lambda将由于有损编码方法所造成的(确切或者估计的)图像失真与为了表示在图像区域中的像素值而需要的(确切或者估计的)信息量连结在一起：C＝D+lambda×R，其中C是待最小化的拉格朗日代价，D是在考虑模式及其参数时的图像失真(例如均方误差)，并且R是为了表示所需数据以在解码器中重构图像块而需要的位数(例如，包括用于表示候选运动矢量的数据量)。

向第一求和器件321传递模式选择器的输出。第一求和器件可以从图像300减去像素预测器302的输出以产生向预测误差编码器303输入的第一预测误差信号320。

像素预测器302还从初步重构器339接收图像块312的预测表示和预测误差解码器304的输出338的组合。可以向帧内预测器308以及向滤波器316传递初步重构图像314。接收初步表示的滤波器316可以对初步表示进行滤波并且输出可以在参考帧存储器318中保存的最终重构图像340。参考帧存储器318可以连接到帧间预测器306以用作将来图像300在帧间预测操作中与之比较的参考图像。在许多实施例中，参考帧存储器318可以能够存储多于一个的解码画面，并且它们中的一个或者多个解码画面可以由帧间预测器306用作将来图像300在帧间预测操作中与之比较的参考画面。参考帧存储器318可以在一些情况下也称为解码画面缓冲器。

像素预测器302的操作可以被配置用于执行本领域已知的任何已知像素预测算法。

像素预测器302也可以包括用于在从像素预测器302输出预测值之前对它们进行滤波的滤波器385。

下文将进一步具体描述预测误差编码器302和预测误差解码器304的操作。在下文中，编码器按照将要形成全图像或者画面的16x16像素宏块生成图像。然而，注意到图4a不限于块大小16x16，而是一般可以使用任何块大小和形状，并且类似地，图4a不限于将画面分割成宏块，而是可以使用任何其它将画面分割成块(比如编码单元)。因此，对于以下示例，像素预测器302输出大小为16x16个像素的一系列预测宏块，并且第一求和器件321输出一系列16x16像素残值数据宏块，这些残值数据宏块可以表示在图像300中的第一宏块与预测宏块(像素预测器302的输出)之间的差。

预测误差编码器303包括变换块342和量化器344。变换块342将第一预测误差信号320变换到变换域。变换例如是DCT变换或其变体。量化器344量化变换域信号(例如DCT系数)以形成量化系数。

预测误差解码器304从预测误差编码器303接收输出并且产生解码预测误差信号338，该解码预测误差信号在第二求和器件339与图像块312的预测表示组合时产生初步重构图像314。可以认为预测误差解码器包括解量化器346和逆变换块348，该解量化器将量化系数值(例如DCT系数)解量化以近似地重构变换信号，该逆变换块对重构变换信号执行逆变换，其中逆变换块348的输出包含重构块。预测误差解码器也可以包括可以根据进一步的解码信息和滤波器参数对重构宏块进行滤波的宏块滤波器(未示出)。

在下文中，将更具体描述帧间预测器306的示例实施例的操作。帧间预测器306接收用于帧间预测的当前块。假设对于当前块，已经存在已经编码的一个或者多个邻近块，并且已经为它们定义运动矢量。例如，在当前块的左侧上的块和/或以上的块可以是这样的块。可以例如通过使用在相同切片或者帧中的编码的邻近块和/或非邻近块的运动矢量、使用空间运动矢量预测的线性或者非线性函数、使用各种运动矢量与线性或者非线性运算的组合或者通过不利用时间参考信息的任何其它适当手段来形成用于当前块的空间运动矢量预测。也可以有可能通过比较一个或者多个编码的块的空间和时间预测信息二者来获得运动矢量预测。这些种类的运动矢量预测器也可以称为空间-时间运动矢量预测器。

可以向参考帧缓冲器存储在编码中使用的参考帧。可以在参考画面列表中的一个或者多个参考画面列表中包括每个参考帧，在参考画面列表内，每个条目具有标识参考帧的参考索引。在参考帧不再用作参考帧时，它可以从参考帧存储器被去除或者被标记为“不用于参考”或者非参考帧，其中该参考帧的存储位置可以被占用用于新参考帧。

如以上描述的那样，访问单元可以包含不同分量类型(例如主要文本分量、冗余文本分量、辅助分量、景深/视差分量)的、不同视图的和不同可伸缩层的分片。可以定义分量画面为用于依赖性表示、层表示、纹理视图分量、景深视图分量、景深映射或者相似分量画面的总术语。编码分量画面可以使用分量画面定界符NAL单元来相互分离，该分量画面定界符NAL单元也可以携带将用于对分量画面的编码分片进行解码的公共句法元素值。访问单元可以由相对大量分量画面(比如编码纹理和景深视图分量以及依赖性和层表示)构成。一些分量画面的编码大小可以相对小，例如因为它们可以视为表示相对于基础视图或者基础层的增量以及由于景深分量画面可以相对易于压缩。在分量画面定界符NAL单元存在于比特流中时，可以定义分量画面为分量画面定界符NAL单元和后续编码分片NAL单元直至访问单元的结束或者直至下一分量画面定界符NAL单元(不含访问单元的结束或者下一分量画面定界符NAL单元)而无论哪一个在解码顺序中更早。

可以定义分量间预测包括从一个类型的分量画面到另一类型的分量画面预测句法元素值、采样值、在解码过程中使用的变量值或者相似值。例如，分量间预测可以包括从景深视图分量预测纹理视图分量或者相反。

已经提出编码器在GOS(分片组)参数集中包括常规地已经在分片首部中包括的句法元素的至少子集。编码器可以将GOS参数集编码为NAL单元。GOS参数集NAL单元可以与例如编码分片NAL单元一起包含在比特流中，但是也可以如在其它参数集的上下文中较早描述的那样被带外输送。

GOS参数集句法结构可以包括可以在参考例如来自分片首部或者另一GOS参数集的特定GOS参数集实例时使用的标识符。备选地，GOS参数集句法结构不包括标识符，但是编码器和解码器二者可以例如使用GOS参数集句法结构的比特流顺序和预定义的编号方案来推断标识符。

编码器和解码器可以从已经在比特流中被编码或者解码或者存在的其它句法结构推断GOS参数集的内容或者实例。例如，基础视图的纹理视图分量的分片首部可以隐式地形成GOS参数集。编码器和解码器可以推断用于这样的推断的GOS参数集的标识符值。例如，可以推断由基础视图的纹理视图分量的分片首部形成的GOS参数集具有等于0的标识符值。

GOS参数集可以在与它关联的特定访问单元内有效。例如，如果在用于访问单元的NAL单元序列中包括GOS参数集句法结构，其中该序列按照解码或者比特流顺序，则GOS参数集可以从它的出现位置直至访问单元的结束有效。备选地，GOS参数集可以对于许多访问单元有效。

编码器可以对用于访问单元的许多GOS参数集进行编码。如果已知、预计或者估计在待编码的分片首部中的句法元素值的至少子集将在后续分片首部中相同，则编码器可以确定对GOS参数集进行编码。

有限编号空间可以用于GOS参数集标识符。例如，固定长度码可以被使用并且可以被解释为某个范围的无符号整数值。编码器可以使用GOS参数集标识符值用于第一GOS参数集，并且如果第一GOS参数集随后不被例如任何分片首部或者GOS参数集参考，则随后用于第二GOS参数集。编码器可以在比特流内重复GOS参数集句法结构，以例如实现防范传输错误的更佳稳健性。

在句法元素集合中可以在概念上汇集可以在GOS参数集中包括的句法元素。可以例如在以下基础中的一个或者多个基础上形成用于GOS参数集的句法元素集：

-指示可伸缩层和/或其它可伸缩性特征的句法元素

-指示视图和/或其它多视图特征的句法元素

-与特定分量类型(比如景深/视差)有关的句法元素

-与访问单元标识、解码顺序和/或输出顺序和/或可以对于访问单元的所有分片保持不变的其它句法元素有关的句法元素

-可以在视图分量的所有分片中保持不变的句法元素

-与参考画面列表修改有关的句法元素

-与使用的参考画面集合有关的句法元素

-与解码参考画面标记有关的句法元素

-与用于加权预测的预测权重表有关的句法元素

-用于控制解块(deblocking)滤波的句法元素

-用于控制自适应环路滤波的句法元素

-用于控制采样自适应偏移的句法元素

-以上集合的任何组合

对于每个句法元素集合，编码器可以在对GOS参数集进行编码时具有以下选项中的一个或者多个选项：

-可以将句法元素集合编码成GOS参数集句法结构，即可以在GOS参数集句法结构中包括句法元素集合的编码句法元素值。

-可以通过参考将句法元素集合包含到GOS参数集中。可以给定该参考作为指向另一GOS参数集的标识符。编码器可以使用不同参考GOS参数集用于不同句法元素集合。

-可以指示或者推断句法元素集合在GOS参数集中不存在。

编码器能够在对GOS参数集进行编码时为特定句法元素集合从中选择的选项可以依赖于句法元素集合类型。例如，与可伸缩层有关的句法元素集合可以总是存在于GOS参数集中，而可以在视图分量的所有分片中保持不变的句法元素集合可能不可用于通过参考来包含但是可以可选地存在于GOS参数集中，并且与参考画面列表修改有关的句法元素可以通过参考而包含于GOS参数集句法结构中，这样包含于GOS参数集句法结构中或者在GOS参数集句法结构中不存在。编码器可以在比特流中(例如在GOS参数集句法结构中)对在编码时使用哪个选项的指示进行编码。码表和/或熵编码可以依赖于句法元素集合的类型。解码器可以基于正在解码的句法元素集合的类型使用与编码器使用的码表和/或熵编码匹配的码表和/或熵编码。

编码器可以具有用于指示在句法元素集合与作为用于该句法元素集合的值的来源而使用的GOS参数集之间的关联的多个装置。例如，编码器可以对句法元素循环进行编码，其中每个循环条目被编码为句法元素，这些句法元素指示用作参考的GOS参数集标识符值并且标识从参考GOS参数集复制的句法元素集合。在另一示例中，编码器可以对各自指示GOS参数集的多个句法元素进行编码。在包含特定句法元素集合的循环中的最后GOS参数集是用于编码器当前正在编码到比特流中的、在GOS参数集中的该句法元素集合的参考。解码器相应地从比特流解析编码GOS参数集，以便再现与编码器相同的GOS参数集。

已经提出具有一种用于适配参数集的部分更新机制，以便减少APS NAL单元的大小并且因此花费更小比特流用于传达APS NAL单元。虽然APS提供一种用于共享在分片级共同的画面自适应信息的有效方式，但是对APS NAL单元独立地进行编码与一个或者多个更早适配参数集比较可能在APS参数的仅部分改变时是次优的。

在文献JCTVC-H0505(http://phenix.int-evry.fr/jct/doc_end_user/documents/8_San％20Jose/wgll/JCTVC-H0505-v2.zip)中提出组参数集(GPS)。GPS汇集参数集标识符(ID)并且包括标识符本身(自参考)。具体而言，GPS包括PPS ID和零个或者更多个APS ID。至多一个GPS可以在解码过程期间的任何时刻是活跃的。GPS如果它还不是活跃GPS则被激活并且它被编码分片NAL单元参考直至被解码。编码分片NAL单元可以包括GPS ID而不是PPS ID和一个或者多个APS ID。

在文献JCTVC-H0388(http://phenix.int-evry.fr/jct/doc_end_user/documents/8_San％20Jose/wgll/JCTVC-H0388-v4.zip)中提出视频参数集(VPS)。可以描述在VPS、SPS和PPS之间的关系和层级如下。VPS在参数集层级中以及在可缩放性和/或3DV的上下文中在SPS以上的一级驻留。VPS包括对于跨整个编码视频序列中的所有(可缩放性或者视图)层的所有分片而言公共的参数。SPS包括对于在整个编码视频序列中的特定(可缩放性或者视图)层中的所有分片而言公共的参数并且可以由多个(可缩放性或者视图)层共享。PPS包括对于在特定层表示(在一个访问单元中的一个可缩放性或者视图层的表示)中的所有分片而言公共的参数并且可能由在多个层表示中的所有分片共享。VPS可以在比特流中提供关于层的依赖性关系的信息以及适用于跨整个编码视频序列中的所有(可缩放性或者视图)层的所有分片的许多其它信息。在HEVC的可缩放扩展中，VPS可以例如包括从NAL单元首部推导的LayerId值到一个或者多个可伸缩性维度值的映射，例如对应于与SVC和MVC相似地定义的用于层的dependency_id、quality_id、view_id和depth_flag。VPS可以包括用于一层或者多层的简档和级别信息以及用于层表示的一个或者多个时间子层的简档和/或级别(由在某些temporal_id值和以下的VCLNAL单元构成)。可以如下激活VPS。一次至多一个VPS可以是活跃的。VPS在它还不是活跃的时候被激活并且它被在正在被解码的IDR访问单元中的特定层中的编码分片NAL单元参考。一旦被激活，VPS适用于整个编码视频序列。换而言之，活跃VPS仅能在IDR访问单元改变。

在一些3D视频编码格式和方法中，可以有纹理视图使用与景深视图比较的不同seq_parameter_set_3dve_extension或者相似参数集这样的底层约束。另外，与单视图或者多视图简档(无景深增强)兼容的纹理视图可以使用与利用景深增强的纹理视图比较的不同序列参数集。在一些编码格式和方法中，可以在画面参数集中提供序列参数集标识符作为参考，因此所需画面参数集的数目可以至少与序列参数集的数目一样多。序列参数集和画面参数集的主要部分可以共享用于相应句法元素的相同值。因此可以有益于减少在3D视频编码中的所用参数集的数目，以便简化编码、解码和/或传输以及提高压缩性能。

在一些3D视频编码格式和方法中，seq_parameter_set_3dvc_extension或者相似参数集可以开启/关闭某些编码工具，例如，在3DV-ATM中，seq_parameter_set_3dvc_extension可以控制开启/关闭JVDF、分片首部预测、IVMP和VSP。然而，这些工具中的许多工具的可用性或者使用可以依赖于在访问单元内的纹理和景深视图分量。例如，分片首部预测和IVMP仅可以可用于在视图分量顺序中跟随相应纹理视图分量的景深视图分量。仅在用于纹理视图分量(这些纹理视图分量用作为用于视图合成的源)的景深视图分量在视图分量顺序中先于其中使用VSP参考的纹理视图分量的情况下，VSP才可以是可用的。

不同视图分量可以使用不同编码工具/方法/算法。例如，在3DV-ATM比特流中，基础视图的景深视图分量可以在视图分量顺序中跟随相应纹理视图分量并且可以使用分片首部预测和IVMP。然而，非基础视图的景深视图分量可以先于相应景深视图分量，因此，分片首部预测和IVMP可以不是可用的。

在示例实施例中，可以使用如在H.264/AVC或者草案HEVC中指定的用于算术算符、逻辑算符、关系算符、按位算符、赋值算符和范围符号表示的公共符号表示，并且可以使用例如如在H.264/AVC或者草案HEVC中指定的算符的优先和执行顺序的公共顺序(从左向右或者从右向左)。

在示例实施例中，以下描述符可以用来指定每个句法元素的解析过程。

-b(8)：具有任何比特串模式(8位)的字节。

-se(v)：以左位优先的有符号整数Exp-Golomb编码的句法元素。

-u(n)：使用n位的无符号整数。在n是句法表中的“v”时，位数以依赖于其它句法元素的值的方式变化。用于这一描述符的解析过程由来自比特流的n个接下来的位指定，这些位被解释为以最高有效位优先写入的无符号整数的二进制表示。

可以例如使用下表将Exp-Golomb比特串(bit string)转换成码编号(codeNum)：

Bit string	codeNum
		1	0
0 1 0	1
		0 1 1	2
0 0 1 0 0	3
		0 0 1 0 1	4
0 0 1 1 0	5
		0 0 1 1 1	6
0 0 0 1 0 0 0	7
		0 0 0 1 0 0 1	8
0 0 0 1 0 1 0	9
		...	...

可以例如使用下表将与Exp-Golomb比特串对应的码编号(codeNum)转换成se(v)：

codeNum	syntax element value
		0	0
1	1
		2	-1
3	2
		4	-2
5	3
		6	-3
...	...

在示例实施例中，可以指定句法结构、句法元素的语义以及解码过程如下。以粗体类型表示比特流中的句法元素。每个句法元素由它的名称(有下划线字符的所有小写字母)、可选地由它的一个或者两个句法类别以及用于它的编码表示方法的一个或者两个描述符(descriptor)来描述。解码过程根据句法元素的值和先前解码句法元素的值来表现。在句法表或者文本中使用句法元素的值时，它以普通(即非粗体)类型出现。在一些情况下，句法表可以使用从句法元素值获得的其它变量的值。这样的变量在小写和大写字母的混合所命名的句法表或者文本中出现而无任何下划线字符。始于大写字母的变量被获得用于对当前句法结构进行解码并且都是依赖性句法结构。始于大写字母的变量可以在解码过程中用于以后句法结构而不提及变量的起源句法结构。始于小写字母的变量仅在其中获得它们的上下文中被使用。在一些情况下，用于句法元素值或者变量值的“助记”名称与它们的数值可互换地使用。有时使用“助记”名称而无任何关联数值。在文本中指定值和名称的关联。名称由被下划线字符分离的一个或者多个字符组构造。每组始于大写字母并且可以包含更多大写字母。

在示例实施例中，可以使用以下各项来指定句法结构。在波形括号中包含的一组语句是复合语句并且在功能上视为单个语句。“while”结构指定测试条件是否成立，并且如果成立则指定反复地评估语句(或者复合语句)，直至条件不再成立。“do…while”结构指定评估语句一次、跟随有测试条件是否成立，并且如果成立则指定评估主语句，否则指定评估备选语句。如果无需备选语句评估，则省略结构的“else”部分和关联备选语句。“for”结构指定评估初始语句、跟随有测试条件，并且如果条件成立则指定反复评估主语句、跟随有后续语句，直至条件不再成立。

在各种实施例中，编码器可以执行以下步骤中的一个或者多个步骤以及其它步骤。

1.确定纹理视图和景深视图的视图间预测层级并且在比特流中对视图间预测层级的指示进行编码。

2.确定在访问单元内的也称为AU视图分量顺序的视图分量顺序。

3.将AU视图分量顺序的一个或者多个指示编码到比特流中。

4.基于AU视图分量顺序推断使用一个或者多个编码工具、编码工具模式和/或编码参数。

在各种实施例中，解码器可以执行以下步骤中的一个或者多个步骤以及其它步骤。

1.从比特流接收和解码纹理和景深视图的视图间预测层级的指示。

2.从比特流接收和解码AU视图分量顺序的一个或者多个指示。

3.基于AU视图分量顺序推断将在解码过程中使用的一个或者多个编码工具、编码工具模式和/或编码参数的使用。

可以例如如下在编码器中完成确定纹理视图和景深视图的视图间预测层级。

在一些实施例中，编码器可以被配置为选择用于纹理视图和景深视图的某些相同视图间依赖性顺序。备选地或者附加地，编码器可以执行相同视图间依赖性顺序例如使用速率-失真度量比一些其它优化过程表现更佳的优化过程。

在一些实施例中，编码器与用于景深视图不同地选择用于纹理视图的视图间依赖性顺序。例如，编码器可以被配置为选择用于纹理视图和景深视图的某些视图间依赖性顺序。备选地或者附加地，编码器可以执行视图间依赖性顺序例如使用速率-失真度量比用于纹理视图和景深视图的一些其它优化过程表现更佳的优化过程。

可以例如通过在视频参数集和/或序列参数集中对视图间预测层级的指示进行编码，例如使用序列参数集MVC扩展的句法或者与序列参数集MVC扩展相似的句法来执行在比特流中对指示进行编码。编码器可以通过将参数集标识符编码到编码视频NAL单元中来指示使用哪个视频参数集或者序列参数集，从而它激活包括视图间预测层级描述的参数集。

在一些实施例中，也可以如下执行确定在访问单元内的也称为AU视图分量顺序的视图分量顺序。

纹理和景深视图分量在访问单元中的编码和解码顺序可以使得编码视图分量的数据不被任何其它编码视图分量交错并且用于访问单元的数据不被在比特流/解码顺序中的任何其它访问单元交错。例如，可以如图7中所示有在不同访问单元*(t，t+1，t+2)中的两个纹理和景深视图(t0_t,T1_t,T0_t+1,T1_t+1,T0_t+2,T1_t+2,D0_t,D1_t,D0_t+1,D1_t+1,D0_t+2,D1_t+2)，其中由纹理和景深视图分量(T0_t,T1_t,D0_t,D1_t)构成的访问单元在比特流和解码顺序中先于由纹理和景深视图分量(T0_t+1,T1_t+1,D0_t+1,D1_t+1)构成的访问单元t+1。

视图分量在访问单元内的编码和解码顺序可以由编码格式支配或者由编码器确定。确定的视图间预测层级可以限制编码和结束顺序。相同访问单元的纹理视图分量可以按照由视图顺序索引指示的视图依赖性顺序被编码。类似地，相同访问单元的景深视图分量按照视图依赖性顺序被编码。

纹理视图分量可以在相同视图的相应景深视图分量之前被编码，因此可以从相同视图的纹理视图分量预测这样的景深视图分量。这样的纹理视图分量可以例如由MVC编码器编码和由MVC解码器解码。这里，增强纹理视图分量是指在相同视图的相应景深视图分量之后被编码的纹理视图分量并且可以根据相应景深视图分量被预测。例如，可以在增强纹理视图分量中使用基于景深的运动矢量预测(D-MVP)。在一些实施例中，景深视图分量可以在相同视图的相应纹理视图分量之前被编码，因此可以根据相同视图的景深视图分量预测这样的纹理视图分量。编码器因此可以基于它确定使用的分量间预测工具选择相同视图的景深视图分量和纹理视图分量的编码、比特流和解码顺序。这样的确定可以例如基于以下各项中的一项或者多项：

-如果希望编码比特流与能够对单视图或者多视图纹理视频进行解码的解码器兼容，则编码器可以判决不使用基于景深的纹理编码工具用于选择的数目的纹理视图，并且因而在相应景深视图之前对纹理视图进行编码。

-编码器可以执行分量间编码工具和AU视图分量顺序例如在速率-失真度量中比一些其它优化过程表现更佳的优化过程。

-编码器可以被配置为使用或者可以确定使用对AU视图分量顺序施加约束的某些编码工具、编码模式和/或编码参数。例如，如果如较早描述的那样使用VSP，则用作用于视图合成预测的参考的视图的纹理视图分量和景深视图分量二者应当在AU视图分量顺序中先于编码/解码的并且合成参考分量被推导的纹理视图分量。

在一些实施例中，纹理视图和景深视图的视图间依赖性顺序以及使用分量间编码工具可以一起对确定AU视图分量顺序具有影响。例如，如果三个视图被编码并且编码器确定使用PIP视图间预测层级分别用于纹理视图T0、T1和T2(最中间视图是基础视图，而两个其它视图是非基础视图)以及IBP视图间预测分级分别用于景深视图D0、D1和D2(左视图是基础视图，可以根据左视图预测右视图，并且可以根据左视图和/或右视图预测中间视图)，并且编码器判决使用D-MVP编码工具或者任何其它基于景深的纹理编码工具用于非基础视图纹理编码和不用于纹理的基础视图的分量间预测工具，可以在编码器中推断对AU视图分量顺序的以下约束。由于T1与D0、D1和D2被独立地编码，所以它可能具有相对于它们的任何顺序。T0要求D0在它之前被解码，并且相似地，T2要求D2在它之前被解码，因为D0和D2的解码采样值在D-MVP工具中分别用于对T0和T2进行解码。D1不用作用于T1(或者任何其它纹理视图)的分量间预测参考，因此它在AU视图分量顺序中的位置仅由景深的视图间依赖性顺序指派。因而，例如，以下AU视图分量顺序是可能的：(T1,D0,D2,D1,T0,T2)；(T1,D0,T0,D2,T2,D1)；(T1,D0,D2,D1,T0,T2)；(D0,D2,D1,T1,T0,T2)。

在一些实施例中，序列参数集MVC扩展无需具有与它的用于景深视图分量的内容比较的用于纹理视图分量的相同内容，因此允许用于纹理视图的视图间依赖性顺序不同于用于景深视图的视图间依赖性顺序。

在一些实施例中，景深视图可以使用与纹理视图的活跃序列参数集不同的活跃序列参数集。另外，一个景深视图可以使用(即可以已经激活)与另一景深视图的序列参数不同的序列参数。类似地，一个纹理视图可以使用(即可以已经激活)与另一纹理视图的序列参数不同的序列参数。

在一些实施例中，编码器可以能够例如通过多个处理器和/或处理核、图形处理单元(GPU)或者任何相似处理单元的并行处理。编码器可以指派用于例如按照如下顺序在不同并行处理单元上编码的纹理视图分量和景深视图分量，该顺序由视图间预测层级以及可以例如根据待使用的分量间预测工具确定的分量间依赖性层级确定。在指派用于在并行处理单元中编码的视图分量时，编码器应当保证没有处理因等待在另一并行处理单元中的编码完成而被暂停。视图分量编码的完成顺序可能不与视图分量被指派为在不同并行处理单元中编码的顺序相同。例如，在一些编码布置中，景深视图分量可以具有与纹理视图分量的空间分辨率比较的更低空间分辨率，因此景深视图分量的编码也可能花费与用于纹理视图分量的处理时间比较的更少处理时间。并行处理单元可以被配置为按照编码分片或者视图分量被完成的顺序向比特流中输出它们。因而，在一些实施例中，AU视图分量顺序可以由视图分量在一个或者多个并行处理单元中编码的完成顺序确定。

在许多实施例中，编码格式允许让访问单元的纹理视图分量和景深视图分量相对于彼此按任何顺序，只要该排序服从视图间和分量间预测层级。换而言之，许多编码格式具有这样的约束，这些约束实现按照线性顺序(例如按照NAL单元在比特流中被接收的顺序)对接收的比特流进行解码。也就是说，接收的视图分量可以被允许具有对在比特流中较早出现的数据的依赖性而可以不允许具有对在比特流中较晚出现的数据的依赖性。编码器可以通过按照相应顺序对视图分量进行编码和/或缓冲编码数据、对缓冲数据重新排序使得服从约束以及向比特流中写入重新排序数据来保证在比特流中服从这样的约束。

在一些实施例中，可以用以下方式之一或者用任何相似方法执行将AU视图分量顺序的一个或者多个指示编码到比特流中。

可以追加视频参数集或者序列参数集或者相似参数集的句法结构，或者可以指定用于携带可缩放性、视图和分量间关系的新NAL单元类型以包括描述AU视图分量顺序的句法元素。例如，可以在示例实施例中使用以下句法：

可以指定以上呈现的句法元素的语义如下。num_view_components指定可以在访问单元中存在的纹理视图分量和景深视图分量的最大数目。等于0或者1的au_vc_order_depth_flag[i]指定在访问单元内按照解码顺序的第i个视图分量分别是纹理视图分量或者景深视图分量。au_vc_order_voidx[i]指定在访问单元内按照解码顺序的纹理视图分量或者景深视图分量的视图顺序索引。可以有在访问单元中实际地存在的少于num_view_components的视图分量，在该情况下，那些视图分量的顺序与在句法中的前N个循环项相同，其中N是在访问单元中实际地存在的视图分量的数目。取代视图顺序索引，可以在句法中使用视图的任何其它标识符，比如view_id。

如果AU视图分量顺序在序列参数集或者任何其它句法结构(该序列参数集或者其它句法结构的多个实例可以对于相同编码视频序列而言是活跃的)中存在，则可以要求指示的AU视图分量顺序在所有这样的活跃句法结构中是相同的。

在一些实施例中，序列参数集句法结构或者任何相似句法结构可以包括用于指示AU视图分量顺序的部分，该部分是有条件的并且仅在句法结构被参考作为景深视图分量的情况下才适用。例如，可以指定序列参数集3DV扩展句法结构。可以在句法结构中以如下方式指定AU视图分量顺序，该方式指示景深视图分量相对于在访问单元中按照由它们的视图顺序索引确定的顺序出现的纹理视图分量如何被定位或者交错。例如，可以使用以下句法结构或者任何相似句法结构：

可以指定以上呈现的句法元素的语义如下。num_view_components指定可以在访问单元中存在的景深视图分量的最大数目。au_vc_order_texture_voidx[i]指定在AU视图分量顺序中跟随景深视图分量的纹理视图分量的视图顺序索引，该景深视图分量具有等于i的视图顺序索引。纹理视图分量的视图顺序索引还指定它们在访问单元内的相应解码顺序。如果au_vc_order_texture_voidx[i]的值比用于纹理视图分量的视图顺序索引的最大值大一，则具有等于i的视图顺序索引的景深视图分量跟随在AU视图分量顺序中的最后纹理视图分量。如果au_vc_order_texture_voidx[i]对于i的多于一个值而言是相同的，则相应景深视图分量在AU视图分量顺序中按照视图顺序索引i的升序。

在一些实施例中，可以例如在画面参数集、适配参数集或者访问单元定界符中在访问单元级别中指示AU视图分量顺序。在一些实施例中，可以在访问单元以下的级别(比如GOS参数集、画面首部、分量画面定界符、分量画面首部或者分片首部)中指示AU视图分量顺序，并且可以要求AU视图分量顺序在对于相同访问单元而言有效的所有句法结构中是相同的。用于指示AU视图分量顺序的句法可以与以上呈现的句法相似。

在一些实施例中，可以例如在参数集(比如视频参数集或者序列参数集)中例如使用与以上呈现的句法相似的句法来指定多于一个的AU视图分量顺序。每个顺序可以与标识符(例如从0开始并且按照AU视图分量顺序在参数集中被指定的顺序递增1的整数值)关联。可以例如在编码视频序列GOP或者访问单元级别中包括AU视图分量顺序标识符值以指示哪个AU视图分量顺序用于相应编码视频序列GOP或者访问单元。可以例如在画面参数集、GOS参数集、访问单元定界符、画面首部、分量画面定界符、分量画面首部或者分片首部中包括AU视图分量顺序标识符。可以要求AU视图分量顺序并且因此要求标识符值在对于相同访问单元而言有效的所有句法结构中是相同的。

在一些实施例中，可以例如在参数集或者任何其它句法结构(比如以上提到的句法结构)中用如下句法和语义指定AU视图分量顺序，这些句法和语义允许在比特流中并且因此在编码和解码中使用不同的AU视图分量顺序。例如，可以用约束列表或者序列指定AU视图分量顺序，这些约束能够例如指示具体景深视图分量在AU视图分量顺序中先于特定纹理视图分量。在约束列表或者序列中的项可以包括相关景深视图分量和纹理视图分量的约束和指示的类型。例如，约束的类型可以指示要求景深视图分量在AU视图分量顺序中比特定纹理视图分量更早出现并且包括景深视图分量(例如它们的视图顺序索引值)的范围或者列表以及例如纹理视图分量的视图顺序索引值。例如，可以在立体景深增强比特流中指定景深视图分量(D0和D1)在访问单元中比非基础纹理视图分量(T1)更早出现。这一约束将适合/允许两个AU视图分量顺序：(D0，D1，T0，T1)和(T0，D0,D1，T1)。

在一些实施例中，AU视图分量顺序可以由视图分量在比特流中的出现顺序显式地指示。

解码器可以例如如下从比特流接收和解码纹理视图和景深视图的视图间预测层级的指示。解码器可以例如基于在正在被解码的一个或者多个编码分片句法结构中包括的参数集标识符断定活跃视频参数集或者相似视频参数集、活跃序列参数集或者相似序列参数集、活跃画面参数集或者相似画面参数集以及活跃适配参数集或者相似适配参数集中的一个或者多个参数集。视图间预测层级可以在这些参数集结构中的一个或者多个参数集结构中存在。在一些实施例中，允许让用于纹理视图的视图间预测层级不同于用于景深视图的视图间预测层级，因而解码器可以断定从视图间依赖性层级可以从其被解码的纹理视图和景深视图参考不同的参数集或者参数集的不同部分。在一些实施例中，例如用访问单元和/或编码分片指示纹理视图和景深视图的视图间预测层级例如为可以在访问单元定界符、分量画面定界符、分片首部或者任何相似定界符中存在的视图顺序索引，并且解码器可以例如从视图顺序索引句法元素或者相似句法元素解析视图间预测层级信息。在一些实施例中，视图间预测层级可以由纹理视图分量或者景深视图分量在访问单元内的解码/比特流顺序隐式地指示。

解码器可以例如如下从比特流接收和解码AU视图分量顺序的一个或者多个指示。AU视图分量顺序的指示可以是以上提到的指示或者任何相似指示中的任何指示。解码器可以例如断定哪个参数集是活跃的并且对活跃参数集的部分进行解码，该部分指示AU视图分量顺序。在一些实施例中，解码器可以例如从画面参数集解码待使用的AU视图分量顺序的索引并且使用该索引以断定在活跃视频参数集或者序列参数中包括的AU视图分量顺序中的哪个AU视图分量顺序用于参考画面参数集的访问单元。

在一些实施例中，解码器可以如下使用解码或者断定的AU视图分量顺序用于防范传输错误、大规模存储器介质破坏或者任何其它相似错误的错误恢复。解码器可以断定例如在比特流包含分量画面定界符NAL单元、分量画面首部或者分片首部时开始新视图分量/下一视图分量的解码，该分量画面定界符NAL单元、分量画面首部或者分片首部指示与先前分片的先前视图顺序索引和/或视图分量类型(例如景深或者纹理)不同的视图顺序索引和/或视图分量类型。解码器可以比较视图分量类型和视图分量的指示符(比如视图顺序索引)与AU视图分量顺序为下一视图分量推断的视图分量类型和视图分量的指示符。如果视图分量类型和视图分量的指示符二者与基于AU视图分量类型预计的视图分量类型和视图分量的指示符匹配，则解码器可以断定整个视图分量的丢失尚未发生。如果视图分量类型和视图分量的指示符之一或者二者不与基于AU视图分量顺序预计的视图分量类型和视图分量的指示符匹配，则解码器可以断定丢失整个视图分量。在一些实施例中，多于一个的AU视图分量顺序是可能的，并且解码器因此可以校验下一视图分量是否符合可能的AU视图分量顺序中的任何AU视图分量顺序。在一些实施例中，向解码器输入的比特流可以已经经历比特流提取或者删减，而AU视图分量顺序的指示可以反映在删减之前的比特流。例如，在一些实施例中，可以有可能从比特流去除所有景深视图分量，而其余比特流是符合的，即可以被解码。在一些实施例中，解码器可以例如基于分量间编码工具是否被使用以及它们被或者可以被用于哪些视图的指示来断定视图分量的丢失是/可能是有意的和/或是/可能是无意的。如果解码器断定第一视图分量是或者可以是在对另一视图分量进行编码/解码时使用的编码工具需要的，则解码器可以断定第一视图分量的丢失是有意的。

在一些实施例中，相同视图由纹理视图分量和景深视图分量表示，并且有用于每个纹理视图分量的景深视图分量，二者表示相同视图。在一些实施例中，可以有比纹理视图分量更少的景深视图分量，而当前景深视图分量表示与当前纹理视图分量中的一些当前纹理视图分量表示的视图相同的视图。

在以下段落中提供在编码器中和/或在解码器中基于AU视图分量顺序推断使用一个或者多个编码工具、编码工具模式和/或编码参数的示例实施例。

在一些实施例中，如果视图的景深视图分量在AU视图分量顺序中先于相同视图的纹理视图分量，则使用从景深到纹理的分量间依赖性的一个或者多个编码工具(比如D-MVP、用于纹理的基于景深的帧内预测、或者在基础层中具有景深和在增强层中具有纹理的JMVDC)在编码和解码中被使用。在一些实施例中，如果视图的景深视图分量在AU视图分量顺序中先于相同视图的纹理视图分量，则编码器在比特流中指示使用一个或者多个使用从景深到纹理的分量间依赖性的编码工具，比如D-MVP、用于纹理的基于景深的帧内预测、或者在基础层中具有景深和在增强层中具有纹理的JMVDC，而如果视图的景深视图分量在AU视图分量顺序中跟随相同视图的纹理视图分量，则编码器不在比特流中指示使用从景深到纹理的分量间依赖性的一个或者多个编码工具的使用。解码器根据解码AU视图分量顺序断定对使用从景深到纹理的分量间依赖性的一个或者多个编码工具(比如D-MVP)的指示是否存在于比特流中，并且如果它们存在，则从比特流解码它们并且基于断定的或者解码的对基于景深的纹理编码工具的使用来对编码视频数据进行解码。

在一些实施例中，如果视图的纹理视图分量在AU视图分量顺序中先于相同视图的景深视图分量，则在编码和解码中使用一个或者多个使用从纹理到景深的分量间依赖性的编码工具(比如，在基础层中具有纹理和在增强层中具有景深的JMVDC)。在一些实施例中，如果视图的景深视图分量在AU视图分量顺序中跟随相同视图的纹理视图分量，则编码器在比特流中指示使用一个或者多个使用从纹理到景深的分量间依赖性的编码工具(比如，在基础层中具有纹理和在增强层中具有景深的JMVDC)，而如果视图的景深视图分量在AU视图分量顺序中先于相同视图的纹理视图分量，则编码器不在比特流中指示使用一个或者多个使用从纹理到景深的分量间依赖性的编码工具。解码器根据解码AU视图分量顺序断定对使用从纹理到景深的分量间依赖性的一个或者多个编码工具的指示是否存在于比特流中，而如果它们存在，则从比特流解码它们并且基于断定的或者解码的对基于纹理的景深编码工具的使用来对编码视频数据进行解码。

在一些实施例中，编码器和解码器可以断定如果在AU视图分量顺序中连续地有至少两个景深视图分量，则可以在重建或者解码这样的连续景深视图分量在AU视图分量顺序中的最后景深视图分量之后执行JVDF过程或者任何其它多视图景深滤波。直至连续景深视图分量在AU视图分量顺序中的最后景深视图分量的所有重建或者解码景深视图分量可以参与JVDF过程或者相似过程。因而，向相同像素或者采样位置投影或者规整的景深采样的数目可以大于如果在已经重建或者解码较小数目(比如在每个景深视图分量之后)应用JVDF或者任何其它多视图景深滤波则产生的景深采样的数目。由于向相同像素位置映射的较大数目的景深采样，滤波过程可以更佳地成功。例如，如果向像素位置映射的景深/视差值的大多数落入仅在那些景深/视差值之中的置信区间中，则可以应用加权平均，因此可以排除无关景深/视差值。

在一些实施例中，编码器可以用比特流中的指示来指示在满足与编码工具关联的或者与编码工具用信号发送的视图分量顺序时使用编码工具。否则，可以不使用编码工具。换而言之，如果特定视图分量顺序被编码到比特流中，那么如果在访问单元内的更早视图分量启用使用某个编码工具，以及如果用指示来开启使用编码工具，则编码器可以使用该编码工具用于对特定视图分量进行编码。例如，如果正在对景深视图分量进行编码，则已经对与正在编码的景深视图分量相同的视图的纹理视图分量进行编码，并且已经在序列参数集或者任何相似参数集中启用使用IVMP，则编码器可以使用IVMP以对当前景深视图分量进行编码。解码器可以分别断定编码器使用编码工具。也就是说，如果正在从比特流对特定视图分量进行解码，那么如果在访问单元内的更早视图分量启用使用某个编码工具，以及如果在比特流中指示使用编码工具，则解码器可以使用该编码工具用于对特定视图分量进行解码。例如，如果正在对景深视图分量进行编码，则已经对与正在解码的景深视图分量相同的视图的纹理视图分量进行解码，并且已经在序列参数集或者任何相似参数集中启用使用IVMP，则解码器可以使用IVMP以对当前景深视图分量进行解码。在一些实施例中，在比特流中的对使用编码工具的指示可以是特定的指示的视图分量或者特定的指示的视图分量的集合特有的，而对使用编码工具的指示可以仅在对于指示的特定视图分量满足与编码工具关联的或者与编码工具用信号发送的视图分量顺序时是有效的。

在下文中描述关于3DV-ATM的示例实施例。可以指定3DV-ATM的NAL单元句法如下。用于景深视图分量和3DVC纹理视图分量的所有编码分片可以使用NAL单元类型21。用于景深视图的编码分片可以使用3字节NAL单元首部MVC扩展或者2字节NAL单元首部3DVC扩展。用于3DVC纹理视图分量的编码分片可以使用2字节NAL单元首部3DVC扩展。NAL单元首部3DVC扩展可以在svc_extension_flag等于1时被指定用于NAL单元类型21。

可以如下指定NAL单元首部3DVC扩展。view_idx可以指定用于NAL单元的视图顺序索引。

可以如下指定序列参数集句法(或者具体为subset_seq_parameter_set_rbsp句法)。等于138的profile_idc可以用于3D高配置，并且等于139的profile_idc可以用于3D增强高配置。

子集序列参数集RBSP可以实现使用相同子集序列参数集RBSP用于所有景深视图和用于无需被标记与H.264/AVC的单视图简档兼容的那些纹理视图。例如，可以指示景深视图分量相对于纹理视图分量的比特流/解码顺序。这实现推导纹理视图分量和景深视图分量在访问单元内的视图分量(比特流/解码)顺序。用于开启/关闭用于纹理的基于纹理的编码工具(分片首部预测和IVMP)的标志可以仅适用于被相应纹理视图居先的那些景深视图。

可以如下指定seq_parameter_set_3dvc_extension：

可以如下指定seq_parameter_set_3dvc_extension的一些句法元素的语义。

等于0的depth_info_present_flag指定无景深视图分量存在于这一子集序列参数集RBSP在其中活跃的编码视频序列中。等于1的depth_info_present_flag指定景深视图分量可以存在于这一子集序列参数集RBSP在其中活跃的编码视频序列中。

texture_voidx_delta[i]指定景深视图分量相对于纹理视图分量的解码顺序。如下指定变量ViewCompOrderDepthFlag[idx]和ViewCompOrderVOIdx[idx]。

texture_voidx_delta[i]的值使得以下约束成立。在比较的视图分量均存在于比特流中时，具有等于ViewCompOrderDepthFlag[earlierIdx]的DepthFlag和等于ViewCompOrderVOIdx[earlierIdx]的视图顺序索引而earlierIdx与在含0和num_views_minus1*2的0到num_views_minus1*2的范围中的任何值相等的任何视图分量在解码顺序中先于具有等于ViewCompOrderDepthFlag[laterIdx]的DepthFlag和等于ViewCompOrderVOIdx[laterIdx]的视图顺序索引而laterIdx与在含earlierIdx+1和num_views_minus1*2+1的earlierIdx+1到num_views_minus1*2+1的范围中的任何值相等的任何视图分量。

指定函数ViewCompOrder(depthFlag，vOIdx)返回idx值，对于该idx值，ViewCompOrderDepthFlag[idx]等于depthFlag并且ViewCompOrderVOIdx[idx]等于vOIdx。

等于0的slice_header_prediction_idc指示不允许从纹理视图分量到景深视图分量或者相反的分片首部预测。等于1或者2的slice_header_prediction_idc指示该预测在svc_extension_flag等于1并且ViewCompOrder(0，vOIdx)小于ViewCompOrder(1，vOIdx)时用于具有视图顺序索引vOIdx的景深视图分量。

等于1的inside_view_mvp_flag指示在svc_extension_flag等于1并且ViewCompOrder(0,vOIdx)小于ViewCompOrder(1,vOIdx)时为具有视图顺序索引vOIdx的景深视图分量启用视图内运动预测。等于0的inside_view_mvp_flag指示为参考当前序列参数集的所有视图分量停用视图内运动预测。

在分片首部中，与依赖于在纹理视图与景深视图之间的具体视图分量顺序的编码工具有关的指示可以仅对于其中视图分量顺序与编码工具相适的那些视图分量而言是存在的。例如，在3DV-ATM中，分片首部预测机制可以仅可用于景深视图分量，这些景深视图分量使用NAL单元首部3DVC扩展(对于该NAL单元首部3DVC扩展而言svc_extension_flag等于1)并且被相应纹理视图分量居先。另外，指示使用D-MVP工具的dmvp_flag可以仅对于被相应景深视图分量居先的3DVC纹理视图分量而言是存在的。可以例如如下举例说明相应分片首部句法。

在3DV-ATM中，变量IvmpEnabledFlag可以在macroblock_layer句法中用来控制mb_ivmp_flag是否存在。mb_ivmp_flag可以指示IVMP是否用于当前宏块(以它的编码形式由macroblock_layer句法结构指定)。可以如下执行IvmpEnabledFlag的值的推导。在满足所有以下条件时，IvmpEnabledFlag被设置为1：

-inside_view_mvp_flag等于1(启用视图内运动预测)；

-当前视图分量是景深视图分量；

-ViewCompOrder(0，view_idx)小于ViewCompOrder(1，view_idx)；

-svc_extension_flag等于1；

-当前画面是非锚画面并且分片类型不是I分片或者SI分片。

否则，IvmpEnabledFlag被设置为0。

在上文中，已经关于特定类型的参数集描述了一些实施例。然而，需要理解的是，可以在比特流中用任何类型的参数集或者其它句法结构实现实施例。

在上文中，已经关于特定类型的分量画面(即景深视图分量和纹理视图分量)描述了一些实施例。然而，需要理解的是，可以用可以在比特流中存在的任何类型的分量画面取代纹理视图分量和景深视图分量或者除了纹理视图分量和景深视图分量还用可以在比特流中存在的任何类型的分量画面来实现实施例。例如，在一些实施例中的分量画面可以包括红外视图分量或者落在用来表示人类可感知图像的常规射频频谱以外的某个其它图像表示。

在上文中，已经关于具有分量间依赖性的编码/解码方法或者工具(比如基于景深的纹理编码/解码或者预测工具)描述了一些实施例。需要理解的是，实施例可以不是特定于所述编码/解码方法而是可以用任何相似的编码/解码方法或者工具来实现的。

在上文中，已经借助比特流的句法描述示例实施例。然而，需要理解的是，对应结构和/或计算机程序可以在用于生成比特流的编码器和/或在用于对比特流进行解码的解码器驻留。类似地，在已经参照编码器描述示例实施例时，需要理解的是，所得比特流和解码器在它们中具有对应要素和单元。类似地，在已经借助解码器描述示例实施例时，需要理解的是，编码器具有用于生成将由解码器解码的比特流的结构和/或计算机程序。

虽然以上示例描述在电子设备内的编码解码器内操作的本发明的实施例，但是将认识到，可以实施如以下描述的本发明为任何视频编码解码器的一部分。因此，例如可以在视频编码解码器中实施本发明的实施例，该视频编码解码器可以通过固定或者有线通信路径实施视频编码。

因此，用户设备可以包括视频编码解码器，比如以上在本发明的实施例中描述的视频编码解码器。应当认识到，术语用户设备旨在于覆盖任何适当类型的无线用户设备，比如移动电话、便携数据处理设备或者便携web浏览器。

另外，公共陆地移动网络(PLMN)的单元也可以包括如以上描述的视频编码解码器。

一般而言，可以在硬件或者专用电路、软件、逻辑或者其任何组合中实施本发明的各种实施例。例如，可以在硬件中实施一些方面而可以在由控制器、微处理器或者其它计算设备可以执行的固件或者软件中实施其它方面，但是本发明不限于此。尽管本发明的各种方面可以被图示和描述为框图、流程图或者使用一些其它图形表示来图示和描述，但是，合理地理解到，可以在作为非限制示例的硬件、软件、固件、专用电路或者逻辑、通用硬件或者控制器或者其它计算设备或者其某个组合中实施这里描述的这些块、装置、***、技术或者方法。

可以通过可由移动设备的数据处理器执行的比如在处理器实体中的计算机软件或者通过硬件或者通过软件和硬件的组合来实施本发明的实施例。另外就这一点而言，应当注意到，如各图中的逻辑流程的任何块可以代表程序步骤或者互连的逻辑电路、块和功能或者程序步骤和逻辑电路、块和功能的组合。软件可以存储于比如在处理器内实施的存储器芯片或者存储器块、磁介质(比如硬盘或者软盘)和光介质(如例如DVD及其数据变体CD)这样的物理介质上。

可以借助在存储器中驻留并且使相关装置实现本发明的计算机程序代码来实施本发明的各种实施例。例如，终端设备可以包括用于处理、接收和传输数据的电路装置和电子装置、存储器中的计算机程序代码以及处理器，该处理器在运行计算机程序代码时使终端设备实现实施例的特征。进而另外，网络设备可以包括用于处理、接收和传输数据的电路装置和电子装置、存储器中的计算机程序代码以及处理器，该处理器在运行计算机程序代码时使网络设备实现实施例的特征。

存储器可以是适合于本地技术环境的任何类型并且可以使用任何适当数据存储技术(比如基于半导体的存储器器件、磁存储器器件和***、光学存储器器件和***、固定存储器和可移除存储器)来实施。数据处理器可以是适合于本地技术环境的任何类型并且可以包括作为非限制示例的通用计算机、专用计算机、微处理器、数字信号处理器(DSP)和基于多芯处理器架构的处理器中的一项或者多项。

可以在各种部件(比如集成电路模块)中实现本发明的实施例。集成电路的设计主要是高度自动化过程。复杂而强大的软件工具可用于将逻辑级设计转换成准备好在半导体衬底上蚀刻和形成的半导体电路设计。

程序(比如Mountain View,California的Synopsys公司和SanJose,California的Cadence Design提供的程序)使用建立好的设计规则以及预存的设计模块的库在半导体芯片上自动对导体布线以及对部件定位。一旦已经完成用于半导体电路的设计，就可以按照标准化电子格式(例如Opus、GDSII等)向半导体制作设施或者“fab”发送所得设计用于制作。

前文描述已经通过示例性的而非限制性的示例提供了对本发明的示例性实施例的完全而有启发的描述。然而，各种修改和改编鉴于在与附图和所附权利要求结合阅读时的前文描述可以变得为相关领域技术人员所清楚。然而，对本发明的教导的所有这样的修改和类似修改仍将落入本发明的范围内。

在下文中，将提供一些示例。

根据第一示例，提供一种方法，该方法包括：

获得视图的第一类型的至少一个视图分量和第二类型的至少一个视图分量；

确定第一类型的至少一个视图分量和第二类型的至少一个视图分量在访问单元中的视图分量顺序；

对视图分量顺序的至少一个指示进行编码；以及

基于视图分量顺序，适配对第一类型的至少一个视图分量和第二类型的至少一个视图分量之一或者二者的编码。

在一些实施例中，第一类型是纹理视图分量；并且第二类型是景深视图分量。

在一些实施例中，第一类型是红外视图分量。

在一些实施例中，适配编码包括选择以下各项中的至少一项用于编码：

在编码工具集合之中的编码工具；

在编码模式集合之中的编码模式；

一个或者多个编码参数。

在一些实施例中，在访问单元级别中指示视图分量顺序。

在一些实施例中，访问单元级别是以下各项之一：

画面参数集；

适配参数集；

访问单元定界符。

在一些实施例中，在访问单元级别以下的级别中指示视图分量顺序。

在一些实施例中，在访问单元级别以下的级别是以下各项之一：

分片组参数集；

画面首部；

分量画面定界符；

分量画面首部；

分片首部。

在一些实施例中，视图分量顺序在对于相同访问单元有效的所有句法结构中相同。

在一些实施例中，用以下各项中的至少一项对顺序的至少一个指示进行编码：

分片组参数集句法结构；

视频参数集；

序列参数集。

在一些实施例中，为多个视图获得多个纹理视图分量和景深视图分量，其中该方法还包括定义用于视图分量的视图顺序索引。

在一些实施例中，至少一个指示是指示景深视图分量相对于在访问单元中以由纹理视图分量的视图顺序索引确定的顺序出现的纹理视图分量如何被定位或者交错。

在一些实施例中，该方法包括在参数集中定义视图分量顺序集合；

在参数集中定义用于每个视图分量顺序的标识符值；以及

对与选择的视图分量顺序对应的活跃标识符值进行编码。

在一些实施例中，景深视图分量在相同视图的相应纹理视图分量之前被编码。

在一些实施例中，视图的景深视图分量在视图分量顺序中先于相同视图的纹理视图分量，其中适配编码包括以下操作中的至少一个操作：

选择编码工具，编码工具使用从景深视图分量到纹理视图分量的分量间依赖性；

对选择的编码工具的指示进行编码；

在基础层中提供景深视图分量，并且在增强层中提供纹理视图分量。

在一些实施例中，视图的景深视图分量在访问单元视图分量顺序中跟随相同视图的纹理视图分量，其中适配编码包括以下操作中的至少一个操作：

选择编码工具，编码工具使用从纹理视图分量到景深视图分量的分量间依赖性；

对指示选择的编码工具的第二指示进行编码；

在基础层中提供纹理视图分量，并且在增强层中提供景深视图分量。

根据第二示例，提供一种包括至少一个处理器和至少一个存储器的装置，至少一个存储器包括计算机程序代码，至少一个存储器和计算机程序代码被配置为与至少一个处理器一起，使该装置：

获得视图的第一类型的至少一个视图分量和第二类型的至少一个视图分量；

确定第一类型的至少一个视图分量和第二类型的至少一个视图分量在访问单元中的视图分量顺序；

对视图分量顺序的至少一个指示进行编码；以及

基于视图分量顺序，适配对第一类型的至少一个视图分量和第二类型的至少一个视图分量之一或者二者的编码。

在该装置的一些实施例中，第一类型是纹理视图分量；并且第二类型是景深视图分量。

在该装置的一些实施例中，第一类型是红外视图分量。

在该装置的一些实施例中，所述至少一个存储器在其上存储有代码，代码在由所述至少一个处理器执行时还使该装置选择以下各项中的至少一项用于编码：

在编码工具集合之中的编码工具；

在编码模式集合之中的编码模式；

一个或者多个编码参数。

在该装置的一些实施例中，所述至少一个存储器在其上存储有代码，代码在由所述至少一个处理器执行时还使该装置在访问单元级别中指示视图分量顺序。

在该装置的一些实施例中，访问单元级别是以下各项之一：

画面参数集；

适配参数集；

访问单元定界符。

在该装置的一些实施例中，所述至少一个存储器在其上存储有代码，代码在由所述至少一个处理器执行时还使该装置在访问单元级别以下的级别中指示视图分量顺序。

在该装置的一些实施例中，在访问单元级别以下的级别是以下各项之一：

分片组参数集；

画面首部；

分量画面定界符；

分量画面首部；

分片首部。

在该装置的一些实施例中，视图分量顺序在对于相同访问单元有效的所有句法结构中相同。

在该装置的一些实施例中，所述至少一个存储器在其上存储有代码，代码在由所述至少一个处理器执行时还使该装置用以下各项中的至少一项对顺序的至少一个指示进行编码：

分片组参数集句法结构；

视频参数集；

序列参数集。

在该装置的一些实施例中，所述至少一个存储器在其上存储有代码，代码在由所述至少一个处理器执行时还使该装置：为多个视图获得多个纹理视图分量和景深视图分量，并且定义用于视图分量的视图顺序索引。

在该装置的一些实施例中，至少一个指示是指示景深视图分量相对于在访问单元中以由纹理视图分量的视图顺序索引确定的顺序出现的纹理视图分量如何被定位或者交错。

在该装置的一些实施例中，所述至少一个存储器在其上存储有代码，代码在由所述至少一个处理器执行时还使该装置：

在参数集中定义视图分量顺序集合；

在参数集中定义用于每个视图分量顺序的标识符值；以及

对与选择的视图分量顺序对应的活跃标识符值进行编码。

在该装置的一些实施例中，所述至少一个存储器在其上存储有代码，代码在由所述至少一个处理器执行时还使该装置在相同视图的相应纹理视图分量之前对景深视图分量进行编码。

在该装置的一些实施例中，视图的景深视图分量在视图分量顺序中先于相同视图的纹理视图分量，其中所述至少一个存储器在其上存储有代码，代码在由所述至少一个处理器执行时还使该装置执行以下操作中的至少一个操作：

选择编码工具，编码工具使用从景深视图分量到纹理视图分量的分量间依赖性；

对选择的编码工具的指示进行编码；

在基础层中提供景深视图分量，并且在增强层中提供纹理视图分量。

在一些实施例中，视图的景深视图分量在访问单元视图分量顺序中跟随相同视图的纹理视图分量，其中所述至少一个存储器在其上存储有代码，代码在由所述至少一个处理器执行时还使该装置执行以下操作中的至少一个操作：

选择编码工具，编码工具使用从纹理视图分量到景深视图分量的分量间依赖性；

对指示选择的编码工具的第二指示进行编码；

在基础层中提供纹理视图分量，并且在增强层中提供景深视图分量。

在该装置的一些实施例中，视图分量属于多视图视频。

在一些实施例中，该装置是移动站的部件。

根据第三示例，提供一种包括一个或者多个指令的一个或者多个序列的计算机程序产品，一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时，使装置至少执行以下操作：

获得视图的第一类型的至少一个视图分量和第二类型的至少一个视图分量；

确定第一类型的至少一个视图分量和第二类型的至少一个视图分量在访问单元中的视图分量顺序；

对视图分量顺序的至少一个指示进行编码；以及

基于视图分量顺序，适配对第一类型的至少一个视图分量和第二类型的至少一个视图分量之一或者二者的编码。

在计算机程序产品的一些实施例中，第一类型是纹理视图分量；并且第二类型是景深视图分量。

在计算机程序产品的一些实施例中，第一类型是红外视图分量。

在一些实施例中，计算机程序产品包括一个或者多个指令的一个或者多个序列，一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时使该装置选择以下各项中的至少一项用于编码：

在编码工具集合之中的编码工具；

在编码模式集合之中的编码模式；

一个或者多个编码参数。

在一些实施例中，计算机程序产品包括一个或者多个指令的一个或者多个序列，一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时使该装置在访问单元级别中指示视图分量顺序。

在计算机程序产品的一些实施例中，访问单元级别是以下各项之一：

画面参数集；

适配参数集；

访问单元定界符。

在一些实施例中，计算机程序产品包括一个或者多个指令的一个或者多个序列，一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时使该装置在访问单元级别以下的级别中指示视图分量顺序。

在计算机程序产品的一些实施例中，在访问单元级别以下的级别是以下各项之一：

分片组参数集；

画面首部；

分量画面定界符；

分量画面首部；

分片首部。

在计算机程序产品的一些实施例中，视图分量顺序在对于相同访问单元有效的所有句法结构中相同。

在一些实施例中，计算机程序产品包括一个或者多个指令的一个或者多个序列，一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时使该装置用以下各项中的至少一项对顺序的至少一个指示进行编码：

分片组参数集句法结构；

视频参数集；

序列参数集。

在一些实施例中，计算机程序产品包括一个或者多个指令的一个或者多个序列，一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时使该装置为多个视图获得多个纹理视图分量和景深视图分量并且定义用于视图分量的视图顺序索引。

在计算机程序产品的一些实施例中，至少一个指示是指示景深视图分量相对于在访问单元中以由纹理视图分量的视图顺序索引确定的顺序出现的纹理视图分量如何被定位或者交错。

在一些实施例中，计算机程序产品包括一个或者多个指令的一个或者多个序列，一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时使该装置：

在参数集中定义视图分量顺序集合；

在参数集中定义用于每个视图分量顺序的标识符值；以及

对与选择的视图分量顺序对应的活跃标识符值进行编码。

在一些实施例中，计算机程序产品包括一个或者多个指令的一个或者多个序列，一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时使该装置在相同视图的相应纹理视图分量之前对景深视图分量进行编码。

在计算机程序产品的一些实施例中，视图的景深视图分量在视图分量顺序中先于相同视图的纹理视图分量，其中计算机程序产品包括一个或者多个指令的一个或者多个序列，一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时使该装置执行以下操作中的至少一个操作：

选择编码工具，编码工具使用从景深视图分量到纹理视图分量的分量间依赖性；

对选择的编码工具的指示进行编码；

在基础层中提供景深视图分量，并且在增强层中提供纹理视图分量。

在计算机程序产品的一些实施例中，视图的景深视图分量在访问单元视图分量顺序中跟随相同视图的纹理视图分量，其中计算机程序产品包括一个或者多个指令的一个或者多个序列，一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时使该装置执行以下操作中的至少一个操作：

选择编码工具，编码工具使用从纹理视图分量到景深视图分量的分量间依赖性；

对指示选择的编码工具的第二指示进行编码；

在基础层中提供纹理视图分量，并且在增强层中提供景深视图分量。

在计算机程序产品的一些实施例中，视图分量属于多视图视频。

在一些实施例中，计算机程序产品是移动站的软件部件。

根据第四示例，提供一种装置，该装置包括：

用于获得视图的第一类型的至少一个视图分量和第二类型的至少一个视图分量的部件；

用于确定第一类型的至少一个视图分量和第二类型的至少一个视图分量在访问单元中的视图分量顺序的部件；

用于对视图分量顺序的至少一个指示进行编码的部件；以及

用于基于视图分量顺序适配对第一类型的至少一个视图分量和第二类型的至少一个视图分量之一或者二者的编码的部件。

在该装置的一些实施例中，第一类型是纹理视图分量；并且第二类型是景深视图分量。

在该装置的一些实施例中，第一类型是红外视图分量。

在一些实施例中，该装置包括用于选择以下各项中的至少一项用于编码的部件：

在编码工具集合之中的编码工具；

在编码模式集合之中的编码模式；

一个或者多个编码参数。

在一些实施例中，该装置包括用于在访问单元级别中指示视图分量顺序的部件。

在该装置的一些实施例中，访问单元级别是以下各项之一：

画面参数集；

适配参数集；

访问单元定界符。

在一些实施例中，该装置包括用于在访问单元级别以下的级别中指示视图分量顺序的部件。

在该装置的一些实施例中，在访问单元级别以下的级别是以下各项之一：

分片组参数集；

画面首部；

分量画面定界符；

分量画面首部；

分片首部。

在该装置的一些实施例中，视图分量顺序在对于相同访问单元有效的所有句法结构中相同。

在一些实施例中，该装置包括用于用以下各项中的至少一项对顺序的至少一个指示进行编码的部件：

分片组参数集句法结构；

视频参数集；

序列参数集。

在一些实施例中，该装置包括用于为多个视图获得多个纹理视图分量和景深视图分量的部件以及用于定义用于视图分量的视图顺序索引的部件。

在该装置的一些实施例中，至少一个指示是指示景深视图分量相对于在访问单元中以由纹理视图分量的视图顺序索引确定的顺序出现的纹理视图分量如何被定位或者交错。

在一些实施例中，该装置包括：

用于在参数集中定义视图分量顺序集合的部件；

用于在参数集中定义用于每个视图分量顺序的标识符值的部件；以及

用于对与选择的视图分量顺序对应的活跃标识符值进行编码的部件。

在一些实施例中，该装置包括用于在相同视图的相应纹理视图分量之前对景深视图分量进行编码的部件。

在一些实施例中，视图的景深视图分量在视图分量顺序中先于相同视图的纹理视图分量，其中该装置包括用于执行以下操作中的至少一个操作的部件：

选择编码工具，编码工具使用从景深视图分量到纹理视图分量的分量间依赖性；

对选择的编码工具的指示进行编码；

在基础层中提供景深视图分量，并且在增强层中提供纹理视图分量。

在一些实施例中，视图的景深视图分量在访问单元视图分量顺序中跟随相同视图的纹理视图分量，其中该装置包括用于执行以下操作中的至少一个操作的部件：

选择编码工具，编码工具使用从纹理视图分量到景深视图分量的分量间依赖性；

对指示选择的编码工具的第二指示进行编码；

在基础层中提供纹理视图分量，并且在增强层中提供景深视图分量。

在该装置的一些实施例中，视图分量属于多视图视频。

在一些实施例中，该装置是移动站的部件。

根据第五示例，提供一种方法，该方法包括：

接收视图的第一类型的至少一个编码视图分量和第二类型的至少一个编码视图分量；

接收第一类型的至少一个视图分量和第二类型的至少一个视图分量的视图分量顺序的至少一个编码指示；以及

对视图分量顺序的至少一个编码指示进行解码；以及

基于视图分量顺序，适配对第一类型的至少一个视图分量和第二类型的至少一个视图分量之一或者二者的解码。

在一些实施例中，第一类型是纹理视图分量；并且第二类型是景深视图分量。

在一些实施例中，第一类型是红外视图分量。

在一些实施例中，适配解码包括选择以下各项中的至少一项用于解码：

在解码工具集合之中的解码工具；

在解码模式集合之中的解码模式；

一个或者多个解码参数。

在一些实施例中，在访问单元级别中指示视图分量顺序。

在一些实施例中，访问单元级别是以下各项之一：

画面参数集；

适配参数集；

访问单元定界符。

在一些实施例中，在访问单元级别以下的级别中指示视图分量顺序。

在一些实施例中，在访问单元级别以下的级别是以下各项之一：

分片组参数集；

画面首部；

分量画面定界符；

分量画面首部；

分片首部。

在一些实施例中，视图分量顺序在对于相同访问单元有效的所有句法结构中相同。

在一些实施例中，用以下各项中的至少一项对顺序的至少一个指示进行解码：

分片组参数集句法结构；

视频参数集；

序列参数集。

在一些实施例中，为多个视图获得多个纹理视图分量和景深视图分量，其中该方法还包括对用于视图分量的视图顺序索引进行解码。

在一些实施例中，至少一个指示是指示景深视图分量相对于在访问单元中以由纹理视图分量的视图顺序索引确定的顺序出现的纹理视图分量如何被定位或者交错。

在一些实施例中，该方法包括：

在参数集中定义视图分量顺序的集合；

在参数集中接收用于每个视图分量顺序的标识符值；以及

对与选择的视图分量顺序对应的活跃标识符值进行解码。

在一些实施例中，景深视图分量在相同视图的相应纹理视图分量之前被解码。

在一些实施例中，视图的景深视图分量在视图分量顺序中先于相同视图的纹理视图分量，其中适配解码包括以下操作中的至少一个操作：

选择解码工具，解码工具使用从景深视图分量到纹理视图分量的分量间依赖性；

对选择的编码工具的指示进行编码；以及

在基础层中接收景深视图分量，并且在增强层中接收纹理视图分量。

在一些实施例中，视图的景深视图分量在访问单元视图分量顺序中跟随相同视图的纹理视图分量，其中适配解码包括以下操作中的至少一个操作：

选择解码工具，解码工具使用从纹理视图分量到景深视图分量的分量间依赖性；以及

对指示选择的编码工具的第二指示进行解码；以及

在基础层中接收景深视图分量，并且在增强层中接收纹理视图分量。

在一些实施例中，该方法包括基于解码指示来确定纹理视图分量和景深视图分量在访问单元中的顺序。

根据第六示例，提供一种包括至少一个处理器和至少一个存储器的装置，至少一个存储器包括计算机程序代码，至少一个存储器和计算机程序代码被配置为与至少一个处理器一起，使该装置：

接收视图的第一类型的至少一个视图分量和第二类型的至少一个视图分量；

接收第一类型的至少一个视图分量和第二类型的至少一个视图分量的视图分量顺序的至少一个编码指示；

对视图分量顺序的至少一个编码指示进行解码；以及

基于视图分量顺序，适配对第一类型的至少一个视图分量和第二类型的至少一个视图分量之一或者二者的解码。

在该装置的一些实施例中，第一类型是纹理视图分量；并且第二类型是景深视图分量。

在该装置的一些实施例中，第一类型是红外视图分量。

在该装置的一些实施例中，所述至少一个存储器在其上存储有代码，代码在由所述至少一个处理器执行时还使该装置选择以下各项中的至少一项用于解码：

在解码工具集合之中的解码工具；

在解码模式集合之中的解码模式；

一个或者多个解码参数。

在该装置的一些实施例中，所述至少一个存储器在其上存储有代码，代码在由所述至少一个处理器执行时还使该装置在访问单元级别中指示视图分量顺序。

在该装置的一些实施例中，访问单元级别是以下各项之一：

画面参数集；

适配参数集；

访问单元定界符。

在该装置的一些实施例中，所述至少一个存储器在其上存储有代码，代码在由所述至少一个处理器执行时还使该装置在访问单元级别以下的级别中指示视图分量顺序。

在该装置的一些实施例中，在访问单元级别以下的级别是以下各项之一：

分片组参数集；

画面首部；

分量画面定界符；

分量画面首部；

分片首部。

在该装置的一些实施例中，视图分量顺序在对于相同访问单元有效的所有句法结构中相同。

在该装置的一些实施例中，所述至少一个存储器在其上存储有代码，代码在由所述至少一个处理器执行时还使该装置用以下各项中的至少一项对顺序的至少一个指示进行解码：

分片组参数集句法结构；

视频参数集；

序列参数集。

在该装置的一些实施例中，所述至少一个存储器在其上存储有代码，代码在由所述至少一个处理器执行时还使该装置：为多个视图获得多个纹理视图分量和景深视图分量，并且对用于视图分量的视图顺序索引进行解码。

在该装置的一些实施例中，至少一个指示是指示景深视图分量相对于在访问单元中以由纹理视图分量的视图顺序索引确定的顺序出现的纹理视图分量如何被定位或者交错。

在该装置的一些实施例中，所述至少一个存储器在其上存储有代码，代码在由所述至少一个处理器执行时还使该装置：

在参数集中定义视图分量顺序的集合；

在参数集中接收用于每个视图分量顺序的标识符值；以及

对与选择的视图分量顺序对应的活跃标识符值进行解码。

在该装置的一些实施例中，所述至少一个存储器在其上存储有代码，代码在由所述至少一个处理器执行时还使该装置在相同视图的相应纹理视图分量之前对景深视图分量进行解码。

在该装置的一些实施例中，视图的景深视图分量在视图分量顺序中先于相同视图的纹理视图分量，所述至少一个存储器在其上存储有代码，代码在由所述至少一个处理器执行时还使该装置执行以下操作中的至少一个操作：

选择解码工具，解码工具使用从景深视图分量到纹理视图分量的分量间依赖性；

对选择的编码工具的指示进行编码；以及

在基础层中接收景深视图分量，并且在增强层中接收纹理视图分量。

在该装置的一些实施例中，视图的景深视图分量在访问单元视图分量顺序中跟随相同视图的纹理视图分量，所述至少一个存储器在其上存储有代码，代码在由所述至少一个处理器执行时还使该装置执行以下操作中的至少一个操作：

选择解码工具，解码工具使用从纹理视图分量到景深视图分量的分量间依赖性；以及

对指示选择的编码工具的第二指示进行解码；以及

在基础层中接收景深视图分量，并且在增强层中接收纹理视图分量。

在该装置的一些实施例中，所述至少一个存储器在其上存储有代码，代码在由所述至少一个处理器执行时还使该装置基于解码指示来确定纹理视图分量和景深视图分量在访问单元中的顺序。

在该装置的一些实施例中，视图分量属于多视图视频。

在一些实施例中，该装置是移动站的部件。

根据第七示例，提供一种包括一个或者多个指令的一个或者多个序列的计算机程序产品，一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时，使装置至少执行以下操作：

接收视图的第一类型的至少一个视图分量和第二类型的至少一个视图分量；

接收第一类型的至少一个视图分量和第二类型的至少一个视图分量的视图分量顺序的至少一个编码指示；

对视图分量顺序的至少一个编码指示进行解码；以及

基于视图分量顺序，适配对第一类型的至少一个视图分量和第二类型的至少一个视图分量之一或者二者的解码。

在计算机程序产品的一些实施例中，第一类型是纹理视图分量；并且第二类型是景深视图分量。

在计算机程序产品的一些实施例中，第一类型是红外视图分量。

在一些实施例中，计算机程序产品包括一个或者多个指令的一个或者多个序列，一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时还使该装置选择以下各项中的至少一项用于解码：

在解码工具集合之中的解码工具；

在解码模式集合之中的解码模式；

一个或者多个解码参数。

在一些实施例中，计算机程序产品包括一个或者多个指令的一个或者多个序列，一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时还使该装置在访问单元级别中指示视图分量顺序。

在计算机程序产品的一些实施例中，访问单元级别是以下各项之一：

画面参数集；

适配参数集；

访问单元定界符。

在一些实施例中，计算机程序产品包括一个或者多个指令的一个或者多个序列，一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时还使该装置在访问单元级别以下的级别中指示视图分量顺序。

在计算机程序产品的一些实施例中，在访问单元级别以下的级别是以下各项之一：

分片组参数集；

画面首部；

分量画面定界符；

分量画面首部；

分片首部。

在计算机程序产品的一些实施例中，视图分量顺序在对于相同访问单元有效的所有句法结构中相同。

在一些实施例中，计算机程序产品包括一个或者多个指令的一个或者多个序列，一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时还使该装置用以下各项中的至少一项对顺序的至少一个指示进行解码：

分片组参数集句法结构；

视频参数集；

序列参数集。

在一些实施例中，计算机程序产品包括一个或者多个指令的一个或者多个序列，一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时还使该装置：为多个视图获得多个纹理视图分量和景深视图分量，并且对用于视图分量的视图顺序索引进行解码。

在计算机程序产品的一些实施例中，至少一个指示是指示景深视图分量相对于在访问单元中以由纹理视图分量的视图顺序索引确定的顺序出现的纹理视图分量如何被定位或者交错。

在一些实施例中，计算机程序产品包括一个或者多个指令的一个或者多个序列，一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时还使该装置：

在参数集中定义视图分量顺序的集合；

在参数集中接收用于每个视图分量顺序的标识符值；以及

对与选择的视图分量顺序对应的活跃标识符值进行解码。

在一些实施例中，计算机程序产品包括一个或者多个指令的一个或者多个序列，一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时还使该装置在相同视图的相应纹理视图分量之前对景深视图分量进行解码。

在一些实施例中，视图的景深视图分量在视图分量顺序中先于相同视图的纹理视图分量，其中计算机程序产品包括一个或者多个指令的一个或者多个序列，一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时还使该装置执行以下操作中的至少一个操作：

选择解码工具，解码工具使用从景深视图分量到纹理视图分量的分量间依赖性；

对选择的编码工具的指示进行编码；以及

在基础层中接收景深视图分量，并且在增强层中接收纹理视图分量。

在一些实施例中，视图的景深视图分量在访问单元视图分量顺序中跟随相同视图的纹理视图分量，其中计算机程序产品包括一个或者多个指令的一个或者多个序列，一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时还使该装置执行以下操作中的至少一个操作：

选择解码工具，解码工具使用从纹理视图分量到景深视图分量的分量间依赖性；以及

对指示选择的编码工具的第二指示进行解码；以及

在基础层中接收景深视图分量，并且在增强层中接收纹理视图分量。

在一些实施例中，计算机程序产品包括一个或者多个指令的一个或者多个序列，一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时还使该装置基于解码指示来确定纹理视图分量和景深视图分量在访问单元中的顺序。

在计算机程序产品的一些实施例中，视图分量属于多视图视频。

在一些实施例中，计算机程序产品是移动站的软件部件。

根据第八示例，提供一种装置，该装置包括：

用于接收视图的第一类型的至少一个编码视图分量和第二类型的至少一个编码视图分量的部件；

用于接收第一类型的至少一个视图分量和第二类型的至少一个视图分量的视图分量顺序的至少一个编码指示的部件；以及

用于对视图分量顺序的至少一个编码指示进行解码的部件；以及

用于基于视图分量顺序适配对第一类型的至少一个视图分量和第二类型的至少一个视图分量之一或者二者的解码的部件。

在该装置的一些实施例中，第一类型是纹理视图分量；并且第二类型是景深视图分量。

在该装置的一些实施例中，第一类型是红外视图分量。

在一些实施例中，该装置包括用于选择以下各项中的至少一项用于解码的部件：

在解码工具集合之中的解码工具；

在解码模式集合之中的解码模式；

一个或者多个解码参数。

在一些实施例中，该装置包括用于在访问单元级别中指示视图分量顺序的部件。

在该装置的一些实施例中，访问单元级别是以下各项之一：

画面参数集；

适配参数集；

访问单元定界符。

在一些实施例中，该装置包括用于在访问单元级别以下的级别中指示视图分量顺序的部件。

在该装置的一些实施例中，在访问单元级别以下的级别是以下各项之一：

分片组参数集；

画面首部；

分量画面定界符；

分量画面首部；

分片首部。

在该装置的一些实施例中，视图分量顺序在对于相同访问单元有效的所有句法结构中相同。

在一些实施例中，该装置包括用于用以下各项中的至少一项对顺序的至少一个指示进行解码的部件：

分片组参数集句法结构；

视频参数集；

序列参数集。

在一些实施例中，该装置包括用于为多个视图获得多个纹理视图分量和景深视图分量的部件以及用于对用于视图分量的视图顺序索引进行解码的部件。

在该装置的一些实施例中，至少一个指示是指示景深视图分量相对于在访问单元中以由纹理视图分量的视图顺序索引确定的顺序出现的纹理视图分量如何被定位或者交错。

在一些实施例中，该装置包括：

用于在参数集中定义视图分量顺序的集合的部件；

用于在参数集中接收用于每个视图分量顺序的标识符值的部件；以及

用于对与选择的视图分量顺序对应的活跃标识符值进行解码的部件。

在一些实施例中，该装置包括用于在相同视图的相应纹理视图分量之前对景深视图分量进行解码的部件。

在一些实施例中，视图的景深视图分量在视图分量顺序中先于相同视图的纹理视图分量，其中该装置包括用于执行以下操作中的至少一个操作的部件：

选择解码工具，解码工具使用从景深视图分量到纹理视图分量的分量间依赖性；

对选择的编码工具的指示进行编码；以及

在基础层中接收景深视图分量，并且在增强层中接收纹理视图分量。

在一些实施例中，视图的景深视图分量在访问单元视图分量顺序中跟随相同视图的纹理视图分量，其中所述装置包括用于执行以下操作中的至少一个操作的部件：

选择解码工具，解码工具使用从纹理视图分量到景深视图分量的分量间依赖性；以及

对指示选择的编码工具的第二指示进行解码；以及

在基础层中接收景深视图分量，并且在增强层中接收纹理视图分量。

在一些实施例中，该装置包括用于基于解码指示来确定纹理视图分量和景深视图分量在访问单元中的顺序的部件。

在该装置的一些实施例中，视图分量属于多视图视频。

在一些实施例中，该装置是移动站的部件。

Claims (40)

1.一种方法，包括：

获得第一类型的至少一个视图分量和第二类型的至少一个视图分量；

确定所述第一类型的所述至少一个视图分量和所述第二类型的所述至少一个视图分量在访问单元中的视图分量顺序；

对所述视图分量顺序的至少一个指示进行编码；以及

基于所述视图分量顺序，适配对所述第一类型的所述至少一个视图分量和所述第二类型的所述至少一个视图分量之一或者二者的编码，其中所述适配包括选择以下各项中的至少一项用于编码：

在编码工具集合之中的编码工具；

在编码模式集合之中的编码模式；

一个或者多个编码参数。

2.根据权利要求1所述的方法，其中用以下各项中的至少一项对所述视图分量顺序的所述至少一个指示进行编码：

分片组参数集句法结构；

视频参数集；

序列参数集。

3.根据权利要求1或者2所述的方法，其中所述第二类型是景深视图分量；并且所述第一类型是纹理视图分量；并且所述至少一个指示是指示景深视图分量相对于在所述访问单元中以由所述纹理视图分量的视图顺序索引确定的顺序出现的所述纹理视图分量如何被定位或者交错。

4.根据权利要求3所述的方法，其中视图的所述景深视图分量在所述视图分量顺序中先于相同视图的所述纹理视图分量，其中所述适配编码包括以下操作中的至少一个操作：

选择编码工具，所述编码工具使用从所述景深视图分量到所述纹理视图分量的分量间依赖性；

对选择的编码工具的指示进行编码；

在基础层中提供所述景深视图分量，并且在增强层中提供所述纹理视图分量。

5.根据权利要求3所述的方法，其中视图的所述景深视图分量在访问单元视图分量顺序中跟随相同视图的所述纹理视图分量，其中所述适配编码包括以下操作中的至少一个操作：

选择编码工具，所述编码工具使用从所述纹理视图分量到所述景深视图分量的分量间依赖性；

对指示选择的编码工具的第二指示进行编码；

在基础层中提供所述纹理视图分量，并且在增强层中提供所述景深视图分量。

6.一种包括至少一个处理器和至少一个存储器的装置，所述至少一个存储器包括计算机程序代码，所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起，使所述装置：

获得第一类型的至少一个视图分量和第二类型的至少一个视图分量；

确定所述第一类型的所述至少一个视图分量和所述第二类型的所述至少一个视图分量在访问单元中的视图分量顺序；

对所述视图分量顺序的至少一个指示进行编码；以及

通过选择以下各项中的至少一项用于编码，来基于所述视图分量顺序适配对所述第一类型的所述至少一个视图分量和所述第二类型的所述至少一个视图分量之一或者二者的编码：

在编码工具集合之中的编码工具；

在编码模式集合之中的编码模式；

一个或者多个编码参数。

7.根据权利要求6所述的装置，所述至少一个存储器在其上存储有代码，所述代码在由所述至少一个处理器执行时还使所述装置用以下各项中的至少一项对所述视图分量顺序的所述至少一个指示进行编码：

分片组参数集句法结构；

视频参数集；

序列参数集。

8.根据权利要求6或者7所述的装置，其中所述第二类型是景深视图分量；并且所述第一类型是纹理视图分量；并且所述至少一个指示是指示景深视图分量相对于在所述访问单元中以由所述纹理视图分量的视图顺序索引确定的顺序出现的所述纹理视图分量如何被定位或者交错。

9.根据权利要求8所述的装置，视图的所述景深视图分量在所述视图分量顺序中先于相同视图的所述纹理视图分量，其中所述至少一个存储器在其上存储有代码，所述代码在由所述至少一个处理器执行时还使所述装置执行以下操作中的至少一个操作：

选择编码工具，所述编码工具使用从所述景深视图分量到所述纹理视图分量的分量间依赖性；

对选择的编码工具的指示进行编码；

在基础层中提供所述景深视图分量，并且在增强层中提供所述纹理视图分量。

10.根据权利要求8所述的装置，其中视图的所述景深视图分量在访问单元视图分量顺序中跟随相同视图的所述纹理视图分量，其中所述至少一个存储器在其上存储有代码，所述代码在由所述至少一个处理器执行时还使所述装置执行以下操作中的至少一个操作：

选择编码工具，所述编码工具使用从所述纹理视图分量到所述景深视图分量的分量间依赖性；

对指示选择的编码工具的第二指示进行编码；

在基础层中提供所述纹理视图分量，并且在增强层中提供所述景深视图分量。

11.一种包括一个或者多个指令的一个或者多个序列的计算机程序产品，所述一个或者多个指令的所述一个或者多个序列在由一个或者多个处理器执行时，使装置至少执行以下操作：

获得第一类型的至少一个视图分量和第二类型的至少一个视图分量；

确定所述第一类型的所述至少一个视图分量和所述第二类型的所述至少一个视图分量在访问单元中的视图分量顺序；

对所述视图分量顺序的至少一个指示进行编码；以及

通过选择以下各项中的至少一项用于编码，来基于所述视图分量顺序适配对所述第一类型的所述至少一个视图分量和所述第二类型的所述至少一个视图分量之一或者二者的编码：

在编码工具集合之中的编码工具；

在编码模式集合之中的编码模式；

一个或者多个编码参数。

12.根据权利要求11所述的计算机程序产品，所述至少一个存储器在其上存储有代码，所述代码在由所述至少一个处理器执行时还使所述装置用以下各项中的至少一项对所述视图分量顺序的所述至少一个指示进行编码：

分片组参数集句法结构；

视频参数集；

序列参数集。

13.根据权利要求11或者12所述的计算机程序产品，其中所述第二类型是景深视图分量；并且所述第一类型是纹理视图分量；并且所述至少一个指示是指示景深视图分量相对于在所述访问单元中以由所述纹理视图分量的视图顺序索引确定的顺序出现的所述纹理视图分量如何被定位或者交错。

14.根据权利要求13所述的计算机程序产品，视图的所述景深视图分量在所述视图分量顺序中先于相同视图的所述纹理视图分量，其中所述至少一个存储器在其上存储有代码，所述代码在由所述至少一个处理器执行时还使所述装置执行以下操作中的至少一个操作：

选择编码工具，所述编码工具使用从所述景深视图分量到所述纹理视图分量的分量间依赖性；

对选择的编码工具的指示进行编码；

在基础层中提供所述景深视图分量，并且在增强层中提供所述纹理视图分量。

15.根据权利要求13所述的计算机程序产品，其中视图的所述景深视图分量在访问单元视图分量顺序中跟随相同视图的所述纹理视图分量，其中所述至少一个存储器在其上存储有代码，所述代码在由所述至少一个处理器执行时还使所述装置执行以下操作中的至少一个操作：

选择编码工具，所述编码工具使用从所述纹理视图分量到所述景深视图分量的分量间依赖性；

对指示选择的编码工具的第二指示进行编码；

在基础层中提供所述纹理视图分量，并且在增强层中提供所述景深视图分量。

16.一种装置，包括：

用于获得第一类型的至少一个视图分量和第二类型的至少一个视图分量的部件；

用于确定所述第一类型的所述至少一个视图分量和所述第二类型的所述至少一个视图分量在访问单元中的视图分量顺序的部件；

用于对所述视图分量顺序的至少一个指示进行编码的部件；以及

用于基于所述视图分量顺序适配对所述第一类型的所述至少一个视图分量和所述第二类型的所述至少一个视图分量之一或者二者的编码的部件，其中用于适配的所述部件包括用于选择以下各项中的至少一项用于编码的部件：

在编码工具集合之中的编码工具；

在编码模式集合之中的编码模式；

一个或者多个编码参数。

17.根据权利要求16所述的装置，其中所述装置包括用于用以下各项中的至少一项对所述视图分量顺序的所述至少一个指示进行编码的部件：

分片组参数集句法结构；

视频参数集；

序列参数集。

18.根据权利要求16或者17所述的装置，其中所述第二类型是景深视图分量；并且所述第一类型是纹理视图分量；并且所述至少一个指示是指示景深视图分量相对于在所述访问单元中以由所述纹理视图分量的视图顺序索引确定的顺序出现的所述纹理视图分量如何被定位或者交错。

19.根据权利要求18所述的装置，其中视图的所述景深视图分量在所述视图分量顺序中先于相同视图的所述纹理视图分量，其中用于适配编码的所述部件包括用于执行以下操作中的至少一个操作的部件：

选择编码工具，所述编码工具使用从所述景深视图分量到所述纹理视图分量的分量间依赖性；

对选择的编码工具的指示进行编码；

在基础层中提供所述景深视图分量，并且在增强层中提供所述纹理视图分量。

20.根据权利要求18所述的装置，其中视图的所述景深视图分量在访问单元视图分量顺序中跟随相同视图的所述纹理视图分量，其中用于适配编码的所述部件包括用于执行以下操作中的至少一个操作的部件：

选择编码工具，所述编码工具使用从所述纹理视图分量到所述景深视图分量的分量间依赖性；

对指示选择的编码工具的第二指示进行编码；

在基础层中提供所述纹理视图分量，并且在增强层中提供所述景深视图分量。

21.一种方法，包括：

接收第一类型的至少一个编码视图分量和第二类型的至少一个编码视图分量；

接收所述第一类型的所述至少一个视图分量和所述第二类型的所述至少一个视图分量的视图分量顺序的至少一个编码指示；以及

对所述视图分量顺序的所述至少一个编码指示进行解码；以及

基于所述视图分量顺序适配对所述第一类型的所述至少一个视图分量和所述第二类型的所述至少一个视图分量之一或者二者的解码，其中所述适配包括选择以下各项中的至少一项用于解码：

在解码工具集合之中的解码工具；

在解码模式集合之中的解码模式；

一个或者多个解码参数。

22.根据权利要求21所述的方法，其中从以下各项中的至少一项对所述视图分量顺序的所述至少一个指示进行解码：

分片组参数集句法结构；

视频参数集；

序列参数集。

23.根据权利要求21或者22所述的方法，其中所述第二类型是景深视图分量；并且所述第一类型是纹理视图分量；并且所述至少一个指示是指示景深视图分量相对于在所述访问单元中以由所述纹理视图分量的视图顺序索引确定的顺序出现的所述纹理视图分量如何被定位或者交错。

24.根据权利要求23所述的方法，其中视图的所述景深视图分量在所述视图分量顺序中先于相同视图的所述纹理视图分量，其中所述适配解码包括以下操作中的至少一个操作：

选择解码工具，所述解码工具使用从所述景深视图分量到所述纹理视图分量的分量间依赖性；

对选择的解码工具的指示进行编码；以及

在基础层中接收所述景深视图分量，并且在增强层中接收所述纹理视图分量。

25.根据权利要求23所述的方法，其中视图的所述景深视图分量在访问单元视图分量顺序中跟随相同视图的所述纹理视图分量，其中所述适配解码包括以下操作中的至少一个操作：

选择解码工具，所述解码工具使用从所述纹理视图分量到所述景深视图分量的分量间依赖性；以及

对指示选择的解码工具的第二指示进行解码；以及

在基础层中接收所述景深视图分量，并且在增强层中接收所述纹理视图分量。

26.一种包括至少一个处理器和至少一个存储器的装置，所述至少一个存储器包括计算机程序代码，所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起，使所述装置：

接收第一类型的至少一个视图分量和第二类型的至少一个视图分量；

接收所述第一类型的所述至少一个视图分量和所述第二类型的所述至少一个视图分量的视图分量顺序的至少一个编码指示；

对所述视图分量顺序的所述至少一个编码指示进行解码；以及

通过选择以下各项中的至少一项用于解码，来基于所述视图分量顺序适配对所述第一类型的所述至少一个视图分量和所述第二类型的所述至少一个视图分量之一或者二者的解码：

在解码工具集合之中的解码工具；

在解码模式集合之中的解码模式；

一个或者多个解码参数。

27.根据权利要求26所述的装置，所述至少一个存储器在其上存储有代码，所述代码在由所述至少一个处理器执行时还使所述装置从以下各项中的至少一项对所述视图分量顺序的所述至少一个指示进行解码：

分片组参数集句法结构；

视频参数集；

序列参数集。

28.根据权利要求26或者27所述的装置，其中所述第二类型是景深视图分量；并且所述第一类型是纹理视图分量；并且所述至少一个指示是指示景深视图分量相对于在所述访问单元中以由所述纹理视图分量的视图顺序索引确定的顺序出现的所述纹理视图分量如何被定位或者交错。

29.根据权利要求28所述的装置，其中视图的所述景深视图分量在所述视图分量顺序中先于相同视图的所述纹理视图分量，所述至少一个存储器在其上存储有代码，所述代码在由所述至少一个处理器执行时还使所述装置执行以下操作中的至少一个操作：

选择解码工具，所述解码工具使用从所述景深视图分量到所述纹理视图分量的分量间依赖性；

对选择的解码工具的指示进行编码；以及

在基础层中接收所述景深视图分量，并且在增强层中接收所述纹理视图分量。

30.根据权利要求28所述的装置，其中视图的所述景深视图分量在访问单元视图分量顺序中跟随相同视图的所述纹理视图分量，所述至少一个存储器在其上存储有代码，所述代码在由所述至少一个处理器执行时还使所述装置执行以下操作中的至少一个操作：

选择解码工具，所述解码工具使用从所述纹理视图分量到所述景深视图分量的分量间依赖性；以及

对指示选择的解码工具的第二指示进行解码；以及

在基础层中接收所述景深视图分量，并且在增强层中接收所述纹理视图分量。

31.一种包括一个或者多个指令的一个或者多个序列的计算机程序产品，所述一个或者多个指令的所述一个或者多个序列在由一个或者多个处理器执行时，使装置至少执行以下操作：

接收第一类型的至少一个视图分量和第二类型的至少一个视图分量；

接收所述第一类型的所述至少一个视图分量和所述第二类型的所述至少一个视图分量的视图分量顺序的至少一个编码指示；

对所述视图分量顺序的所述至少一个编码指示进行解码；以及

通过选择以下各项中的至少一项用于解码，来基于所述视图分量顺序适配对所述第一类型的所述至少一个视图分量和所述第二类型的所述至少一个视图分量之一或者二者的解码：

在解码工具集合之中的解码工具；

在解码模式集合之中的解码模式；

一个或者多个解码参数。

32.根据权利要求31所述的计算机程序产品，所述至少一个存储器在其上存储有代码，所述代码在由所述至少一个处理器执行时还使所述装置从以下各项中的至少一项对所述视图分量顺序的所述至少一个指示进行解码：

分片组参数集句法结构；

视频参数集；

序列参数集。

33.根据权利要求31或者32所述的计算机程序产品，其中所述第二类型是景深视图分量；并且所述第一类型是纹理视图分量；并且所述至少一个指示是指示景深视图分量相对于在所述访问单元中以由所述纹理视图分量的视图顺序索引确定的顺序出现的所述纹理视图分量如何被定位或者交错。

34.根据权利要求33所述的计算机程序产品，其中视图的所述景深视图分量在所述视图分量顺序中先于相同视图的所述纹理视图分量，所述至少一个存储器在其上存储有代码，所述代码在由所述至少一个处理器执行时还使所述装置执行以下操作中的至少一个操作：

选择解码工具，所述解码工具使用从所述景深视图分量到所述纹理视图分量的分量间依赖性；

对选择的解码工具的指示进行编码；以及

在基础层中接收所述景深视图分量，并且在增强层中接收所述纹理视图分量。

35.根据权利要求33所述的计算机程序产品，其中视图的所述景深视图分量在访问单元视图分量顺序中跟随相同视图的所述纹理视图分量，所述至少一个存储器在其上存储有代码，所述代码在由所述至少一个处理器执行时还使所述装置执行以下操作中的至少一个操作：

选择解码工具，所述解码工具使用从所述纹理视图分量到所述景深视图分量的分量间依赖性；以及

对指示选择的解码工具的第二指示进行解码；以及

在基础层中接收所述景深视图分量，并且在增强层中接收所述纹理视图分量。

36.一种装置，包括：

用于接收第一类型的至少一个编码视图分量和第二类型的至少一个编码视图分量的部件；

用于接收所述第一类型的所述至少一个视图分量和所述第二类型的所述至少一个视图分量的视图分量顺序的至少一个编码指示的部件；以及

用于对所述视图分量顺序的所述至少一个编码指示进行解码的部件；以及

用于基于所述视图分量顺序适配对所述第一类型的所述至少一个视图分量和所述第二类型的所述至少一个视图分量之一或者二者的解码的部件，其中用于适配的所述部件包括用于选择以下各项中的至少一项用于解码的部件：

在解码工具集合之中的解码工具；

在解码模式集合之中的解码模式；

一个或者多个解码参数。

37.根据权利要求36所述的装置，包括用于从以下各项中的至少一项对所述视图分量顺序的所述至少一个指示进行解码的部件：

分片组参数集句法结构；

视频参数集；

序列参数集。

38.根据权利要求36或者37所述的装置，其中所述第二类型是景深视图分量；并且所述第一类型是纹理视图分量；并且所述至少一个指示是指示景深视图分量相对于在所述访问单元中以由所述纹理视图分量的视图顺序索引确定的顺序出现的所述纹理视图分量如何被定位或者交错。

39.根据权利要求38所述的装置，其中视图的所述景深视图分量在所述视图分量顺序中先于相同视图的所述纹理视图分量，其中所述装置包括用于执行以下操作中的至少一个操作的部件：

选择解码工具，所述解码工具使用从所述景深视图分量到所述纹理视图分量的分量间依赖性；

对选择的解码工具的指示进行编码；以及

在基础层中接收所述景深视图分量，并且在增强层中接收所述纹理视图分量。

40.根据权利要求38所述的装置，其中视图的所述景深视图分量在访问单元视图分量顺序中跟随相同视图的所述纹理视图分量，其中所述装置包括用于执行以下操作中的至少一个操作的部件：

选择解码工具，所述解码工具使用从所述纹理视图分量到所述景深视图分量的分量间依赖性；以及

对指示选择的解码工具的第二指示进行解码；以及

在基础层中接收所述景深视图分量，并且在增强层中接收所述纹理视图分量。