CN104662909A

CN104662909A - 用于3d视频的视图间运动预测

Info

Publication number: CN104662909A
Application number: CN201380047257.6A
Authority: CN
Inventors: 张莉; 陈颖; 马尔塔·卡切维奇
Original assignee: Qualcomm Inc
Current assignee: Qualcomm Inc
Priority date: 2012-09-13
Filing date: 2013-09-12
Publication date: 2015-05-27
Anticipated expiration: 2033-09-12
Also published as: CN104662909B; JP2015532067A; JP6336987B2; WO2014043374A1; EP2896207A1; US20140071235A1

Abstract

本发明描述用于改进多视图及3D视频译码中的运动预测的译码效率的技术。在一个实例中，一种对视频数据进行解码的方法包括：导出用于当前块的一或多个视差向量，所述视差向量是从相对于所述当前块的相邻块导出；将视差向量转换成经视图问预测的运动向量候选者及视图问视差运动向量候选者中的一或多者；将所述一或多个经视图问预测的运动向量候选者及所述一或多个视图问视差运动向量候选者添加到用于运动向量预测模式的候选者列表；及使用所述候选者列表对所述当前块进行解码。

Description

用于3D视频的视图间运动预测

本申请案主张2012年9月13日申请的第61/700,765号美国临时申请案及2012年10月2日申请的第61/709,013号美国临时申请案的益处，所述两个申请案的全部内容以引用的方式并入本文中。

技术领域

本发明涉及视频译码。

背景技术

数字视频能力可并入到广泛范围的装置中，包含数字电视、数字直播***、无线广播***、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话(所谓的“智能电话”)、视频电话会议装置、视频流式传输装置及其类似者。数字视频装置实施视频译码技术，例如由MPEG-2、MPEG-4、ITU-T H.263或ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)所定义的标准、目前正在开发的高效率视频译码(HEVC)标准及这些标准的扩展中所描述的视频译码技术。视频装置可通过实施此些视频译码技术而更有效地发射、接收、编码、解码及/或存储数字视频信息。

视频译码技术包含空间(图片内)预测和/或时间(图片间)预测以减少或移除视频序列中固有的冗余。对于基于块的视频译码来说，视频切片(即，视频帧或视频帧的一部分)可以分割成视频块，视频块还可被称作树块、译码单元(CU)及/或译码节点。使用相对于同一图片中的相邻块中的参考样本的空间预测对图片的经帧内译码(I)切片中的视频块进行编码。图片的经帧间译码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称作帧，且参考图片可被称作参考帧。

空间或时间预测产生用于待译码块的预测性块。残余数据表示待译码原始块与预测性块之间的像素差。经帧间译码块是根据指向形成预测性块的参考样本块的运动向量及指示经译码块与预测性块之间的差的残余数据来编码。经帧内译码块是根据帧内译码模式及残余数据来编码。为了进一步压缩，可以将残余数据从像素域变换到变换域，从而产生残余变换系数，接着可以对残余变换系数进行量化。可扫描最初布置成二维阵列的经量化变换系数，以便产生变换系数的一维向量，且可应用熵译码以实现更多压缩。

发明内容

一般来说，本发明描述用于改进多视图及3D视频译码中的运动预测的译码效率的技术。

在本发明的一个实例中，一种对视频数据进行解码的方法包括：导出用于当前块的一或多个视差向量，所述视差向量是从相对于所述当前块的相邻块导出；将视差向量转换成经视图间预测的运动向量候选者及视图间视差运动向量候选者中的一或多者；将一或多个经视图间预测的运动向量候选者及一或多个视图间视差运动向量候选者添加到用于运动向量预测模式的候选者列表；及使用候选者列表对当前块进行解码。

在本发明的另一实例中，一种对视频数据进行解码的方法包括：导出用于当前块的一或多个视差向量，所述视差向量是从相对于所述当前块的相邻块导出；将视差向量转换成经视图间预测的运动向量及/或视图间视差运动向量中的一者；将经视图间预测的运动向量及/或视图间视差运动向量添加到用于运动向量预测模式的候选者列表；及使用候选者列表对当前块进行解码。

本发明的技术进一步包含基于添加的经视图间预测的运动向量与候选者列表中的其它候选运动向量的比较修剪候选者列表。

本发明还描述经配置以进行所揭示方法及技术的设备、装置及计算机可读媒体。

一或多个实例的细节陈述于附图及以下描述中。其它特征、目标及优势将从描述及附图和从权利要求书中显而易见。

附图说明

图1是说明可利用本发明的帧间预测技术的实例视频编码及解码***的框图。

图2是说明用于多视图视频的实例解码次序的概念图。

图3是说明用于多视图视频的实例预测结构的概念图。

图4展示可用于合并模式及AMVP模式两者的候选块的实例集合。

图5是说明用于3D视频的纹理及深度值的概念图。

图6是说明经视图间预测的运动向量候选者的实例导出过程的概念图。

图7是说明可实施本发明的帧间预测技术的视频编码器的实例的框图。

图8是说明可实施本发明的帧间预测技术的视频解码器的实例的框图。

图9是展示根据本发明的技术的实例编码过程的流程图。

图10是展示根据本发明的技术的实例编码过程的流程图。

图11是展示根据本发明的技术的实例解码过程的流程图。

图12是展示根据本发明的技术的实例解码过程的流程图。

具体实施方式

为了在视频中产生三维效果，可同时或几乎同时展示场景的两个视图(例如，左眼视图及右眼视图)。可从略微不同的水平位置俘获(或产生，例如作为计算机生成的图形)对应于场景的左眼视图及右眼视图的同一场景的两个图片，所述水平位置表示观察者的左眼及右眼之间的水平视差。通过同时或几乎同时显示这两个图片，以使得左眼视图图片被观察者的左眼感知到，及右眼视图图片被观察者的右眼感知到，观察者可体验到三维视频效果。在一些其它状况下，垂直视差可用以创造三维效果。

一般来说，本发明描述用于对多视图视频数据及/或多视图纹理加上深度视频数据进行译码及处理的技术，其中纹理信息通常描述图片的明度(亮度或强度)及色度(颜色，例如蓝色调及红色调)。深度信息可由深度图表示，其中向深度图的个别像素指派指示是在屏幕处、在屏幕的相对前方还是在屏幕的相对后方显示纹理图片的对应像素的值。可在使用纹理及深度信息合成图片时将这些深度值转换成视差值。

本发明描述用于改进多视图及/或多视图加上深度(例如，3D-HEVC)视频译码中的视图间预测的效率及质量的技术。确切地说，本发明提出用于在使用视差向量填充运动向量预测候选者列表时改进用于视图间运动预测的运动向量预测的质量的技术。

图1是说明可利用本发明的技术的实例视频编码及解码***10的框图。如图1中所示，***10包含源装置12，所述源装置提供将在稍后时间由目的地装置14解码的经编码视频数据。确切地说，源装置12经由计算机可读媒体16将视频数据提供到目的地装置14。源装置12和目的地装置14可包括多种多样的装置中的任一者，包含桌上型计算机、笔记型(即，膝上型)计算机、平板计算机、机顶盒、电话手持机(例如所谓的“智能”电话)、所谓的“智能”平板电脑、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流式传输装置或类似者。在一些状况下，源装置12和目的地装置14可能经装备以用于无线通信。

目的地装置14可经由计算机可读媒体16接收待解码的经编码视频数据。计算机可读媒体16可包括能够使经编码视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。在一个实例中，计算机可读媒体16可包括使得源装置12能够实时将经编码的视频数据直接发射到目的地装置14的通信媒体。可根据例如无线通信协议等通信标准来调制经编码视频数据，且将其发射到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一或多个物理传输线。通信媒体可形成基于包的网络(例如，局域网、广域网或全球网络，例如因特网)的部分。通信媒体可包含路由器、交换器、基站或任何其它可以用于促进从源装置12到目的地装置14的通信的设备。

在一些实例中，经编码数据可从输出接口22输出到存储装置。类似地，可以通过输入接口从存储装置存取经编码数据。存储装置可包含多种分布式或本地存取式数据存储媒体中的任一者，例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器或用于存储经编码视频数据的任何其它合适的数字存储媒体。在另一实例中，存储装置可以对应于文件服务器或另一可存储源装置12产生的经编码视频的中间存储装置。目的地装置14可经由流式传输或下载从存储装置存取所存储的视频数据。文件服务器可以是任何类型的能够存储经编码的视频数据并且将经编码的视频数据发射到目的地装置14的服务器。实例文件服务器包含网络服务器(例如，用于网站)、FTP服务器、网络附接存储(NAS)装置或本地磁盘驱动器。目的地装置14可通过任何标准数据连接(包含因特网连接)来存取经编码视频数据。此可包含无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)或适合于存取存储于文件服务器上的经编码视频数据的两者的组合。经编码视频数据从存储装置的发射可能是流式传输、下载传输或其组合。

本发明的技术不必限于无线应用或设置。所述技术可以应用于支持多种多媒体应用中的任一者的视频译码，例如空中协议电视广播、有线电视发射、***发射、因特网流式视频发射(例如，动态自适应HTTP流式传输(DASH))、经编码到数据存储媒体上的数字视频，存储在数据存储媒体上的数字视频的解码，或其它应用。在一些实例中，***10可经配置以支持单向或双向视频发射，以支持例如视频流式传输、视频重放、视频广播及/或视频电话等应用。

在图1的实例中，源装置12包含视频源18、深度估计单元19、视频编码器20及输出接口22。目的地装置14包含输入接口28、视频解码器30、基于深度图像的呈现(DIBR)单元31及显示装置32。在其它实例中，源装置和目的地装置可包含其它组件或布置。举例来说，源装置12可从外部视频源18(例如外部相机)接收视频数据。同样，目的地装置14可以与外部显示装置介接，而不是包含集成显示装置。

图1的所说明的***10仅为一个实例。本发明的技术可由任何数字视频编码及/或解码装置执行。尽管本发明的技术大体上由视频编码装置来执行，但所述技术还可通过视频编码器/解码器(通常被称作“编解码器”)执行。此外，本发明的技术还可由视频预处理器来执行。源装置12及目的装置14仅为这些译码装置的实例，其中源装置12产生用于发射到目的装置14的经译码视频数据。在一些实例中，装置12、14可以大体上对称的方式操作以使得装置12、14中的每一者包含视频编码和解码组件。因此，***10可支持视频装置12、14之间的单向或双向视频发射，例如用于视频流式传输、视频重放、视频广播或视频电话。

源装置12的视频源18可包含视频俘获装置，例如摄像机、含有先前所俘获视频的视频档案和/或用于从视频内容提供者接收视频的视频馈送接口。作为另一替代方案，视频源18可产生基于计算机图形的数据作为源视频，或直播视频、存档视频与计算机产生的视频的组合。在一些状况下，如果视频源18为摄像机，那么源装置12及目的装置14可形成所谓的相机电话或视频电话。然而，如上文所提及，本发明中所描述的技术可大体上适用于视频译码，且可应用于无线和/或有线应用。在每一状况下，可由视频编码器20来编码经俘获的、经预先俘获的或计算机产生的视频。经编码视频信息可接着通过输出接口22输出到计算机可读媒体16上。

视频源18可将视频数据的多个视图提供到视频编码器20。举例来说，视频源18可对应于相机阵列，所述相机各自具有相对于所拍摄的特定场景的唯一水平位置。或者，视频源18可例如使用计算机图形产生来自不同水平相机视角的视频数据。深度估计单元19可经配置以确定对应于纹理图像中的像素的深度像素的值。举例来说，深度估计单元19可表示声音导航与测距(声纳)单元、光检测与测距(激光雷达)单元或能够在记录场景的视频数据时实质上同时直接确定深度值的其它单元。

另外或替代地，深度估计单元19可经配置以通过比较在实质上相同时间从不同水平相机视角俘获的两个或两个以上图像来间接计算深度值。通过计算图像中的实质上类似像素值之间的水平视差，深度估计单元19可粗略估计场景中的各种对象的深度。在一些实例中，深度估计单元19可在功能上与视频源18集成。举例来说，在视频源18产生计算机图形图像时，深度估计单元19可例如使用用以呈现纹理图像的像素及对象的z坐标提供用于图形对象的实际深度图。

计算机可读媒体16可包含瞬时媒体，例如无线广播或有线网络发射，或存储媒体(也就是说，非暂时性存储媒体)，例如硬盘、快闪驱动器、压缩光盘、数字视频光盘、蓝光光盘或其它计算机可读媒体。在一些实例中，网络服务器(未图示)可以从源装置12接收经编码的视频数据，并且例如经由网络发射将经编码的视频数据提供到目的地装置14。类似地，媒体生产设施(例如光盘冲压设施)的计算装置可以从源装置12接收经编码的视频数据并且生产容纳经编码的视频数据的光盘。因此，在各种实例中，计算机可读媒体16可以理解为包含各种形式的一或多个计算机可读媒体。

目的地装置14的输入接口28从计算机可读媒体16接收信息。计算机可读媒体16的信息可包含由视频编码器20定义的语法信息，所述语法信息也被视频解码器30使用，其包含描述块及其它经译码单元(例如GOP)的特性及/或处理的语法元素。显示装置32向用户显示经解码的视频数据，且可包括多种显示装置中的任一者，例如阴极射线管(CRT)、液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。在一些实例中，显示装置32可包括能够同时或实质上同时显示两个或两个以上视图例如以向观察者产生3D视觉效果的装置。

目的地装置14的DIBR单元31可使用从视频解码器30接收的经解码视图的纹理及深度信息呈现合成视图。举例来说，DIBR单元31可依据对应深度图中的像素的值确定纹理图像的像素数据的水平视差。DIBR单元31接着可通过使纹理图像中的像素向左或向右偏移所确定的水平视差而产生合成图像。以此方式，显示装置32可以任何组合显示可对应于经解码视图及/或合成视图的一或多个视图。根据本发明的技术，视频解码器30可将深度范围及相机参数的原始及更新精度值提供到DIBR单元31，所述DIBR单元31可使用深度范围及相机参数来恰当地合成视图。

尽管图1中未展示，但在一些方面中，视频编码器20及视频解码器30可各自与音频编码器及解码器集成，且可包含适当的多路复用器-多路分用器(MUX-DEMUX)单元或其它硬件及软件，以处理对共同数据流或单独数据流中的音频与视频两者的编码。如果适用，MUX-DEMUX单元可符合ITU H.223多路复用器协议或例如用户数据报协议(UDP)等其它协议。

视频编码器20及视频解码器30可以根据视频译码标准(例如，目前正在开发的高效率视频译码(HEVC)标准)操作，并且可以符合HEVC测试模型(HM)。或者，视频编码器20及视频解码器30可根据例如或者被称作MPEG-4第10部分高级视频译码(AVC)的ITU-T H.264标准等其它专属或工业标准或此些标准的扩展(例如ITU-T H.264/AVC的MVC扩展)操作。确切地说，本发明的技术涉及基于高级编解码器的多视图及/或3D视频译码。一般来说，本发明的技术可应用于多种不同视频译码标准中的任一者。举例来说，这些技术可应用于ITU-T H.264/AVC(高级视频译码)的多视图视频译码(MVC)扩展，应用于即将到来的HEVC标准的3D视频(3DV)扩展(例如，3D-HEVC)或其它译码标准。

即将到来的HEVC标准的新近草案描述于布洛斯(Bross)等人的文件HCTVC-J1003“高效率视频译码(HEVC)文本规范草案8(High Efficiency Video Coding(HEVC)TextSpecification Draft 8)”(ITU-T SG16WP3及ISO/IEC JTC1/SC29/WG11的视频译码联合合作小组(JCT-VC)，第10次会议：瑞典斯德哥尔摩，2012年7月11日到2012年7月12日)中，所述文件从2013年6月7日起可从http：//phenix.int-evry.fr/jct/doc_end_user/documents/10Stockholm/wg11/JCTVC-J1003-v8.zip下载到。出于说明的目的，本发明的技术主要是关于HEVC的3DV扩展进行描述的。然而，应理解这些技术同样可应用于用于对用以产生三维效果的视频数据进行译码的其它标准。

ITU-T H.264/MPEG-4(AVC)标准是由ITU-T视频译码专家组(VCEG)连同ISO/IEC动画专家组(MPEG)制定以作为被称为联合视频小组(JVT)的集体伙伴关系的产品。在一些方面中，本发明中所描述的技术可应用于通常符合H.264标准的装置。ITU-T研究组在2005年3月在ITU-T推荐H.264“用于通用音视频服务的高级视频译码(Advanced VideoCoding for generic audiovisual services)”中描述了H.264标准，其在本文中可被称作H.264标准或H.264规范或H.264/AVC标准或规范。联合视频小组(JVT)继续致力于对H.264/MPEG-4AVC的扩展。

视频编码器20和视频解码器30各自可经实施为例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合的多种合适编码器电路中的任一者。当部分地用软件实施所述技术时，装置可将用于所述软件的指令存储于合适的非暂时性计算机可读媒体中且使用一或多个处理器用硬件执行所述指令以执行本发明的技术。视频编码器20及视频解码器30中的每一者可包含在一或多个编码器或解码器中，所述编码器或解码器中的任一者可集成为相应装置中的组合编码器/解码器(CODEC)的部分。包含视频编码器20及/或视频解码器30的装置可包括集成电路、微处理器及/或无线通信装置，例如蜂窝式电话。

最初，将论述HEVC的实例译码技术。JCT-VC正在致力于开发HEVC标准。HEVC标准化努力是基于被称作HEVC测试模型(HM)的视频译码装置的演进模型。HM根据(例如)ITU-T H.264/AVC假设视频译码装置相对于现有装置的若干额外能力。举例来说，虽然H.264提供九种帧内预测编码模式，但HM可提供多达三十三种角度帧内预测编码模式加DC及平面模式。

一般来说，HM的工作模型描述视频帧或图片可以被划分为包含明度和色度样本两者的一连串树块或最大译码单元(LCU)。位流内的语法数据可以定义LCU的大小，LCU是就像素数目来说的最大译码单元。切片包含呈译码次序的多个连续树块。视频帧或图片可以被分割成一或多个切片。每一树块可根据四叉树***成译码单元(CU)。一般来说，四叉树数据结构包含每个CU一个节点，其中根节点对应于树块。如果一个CU***成四个子CU，那么对应于CU的节点包含四个叶节点，其中的每一者对应于所述子CU中的一者。

四叉树数据结构的每一节点可以提供用于相对应的CU的语法数据。举例来说，四叉树中的节点可包含***旗标，从而指示对应于所述节点的所述CU是否***成子CU。CU的语法元素可递归地定义，且可取决于CU是否***成子CU。如果CU不进一步***，那么将其称为叶CU。在本发明中，叶CU的子CU也将被称作叶CU，即使不存在原始叶CU的明确***时也是如此。举例来说，如果16x16大小的CU不进一步***，那么这四个8x8子CU将也被称作叶CU，虽然16x16CU从未***。

CU具有与H.264标准的宏块类似的目的，除了CU不具有大小区别。举例来说，树块可以***成四个子节点(还称为子CU)，并且每一子节点又可以是父节点并且可以***成另外四个子节点。最终的未***子节点(被称作四叉树的叶节点)包括译码节点，还称为叶CU。与经译码位流相关联的语法数据可以定义树块可以***的最大次数，被称作最大CU深度，并且还可定义译码节点的最小大小。所以，位流还可定义最小译码单元(SCU)。本发明使用术语“块”指代CU、PU或TU中的任一者(在HEVC的情况下)或类似数据结构(在其它标准的情况下)(例如，在H.264/AVC中的宏块及其子块)。

CU包含译码节点以及与所述译码节点相关联的预测单元(PU)及变换单元(TU)。CU的大小对应于译码节点的大小且形状必须是正方形。CU的大小范围可从8x8像素到具有最大64x64像素或更大的树块的大小。每一CU可以含有一或多个PU及一或多个TU。举例来说，与CU相关联的语法数据可描述将CU分割成一或多个PU。分割模式可以在CU被跳过或经合并模式编码、经帧内预测模式编码或经帧间预测模式编码之间有区别。PU可分割成非正方形形状。举例来说，与CU相关联的语法数据还可描述根据四叉树将CU分割成一或多个TU。TU可以是正方形或非正方形(例如，矩形)形状。

HEVC标准允许根据TU变换，TU可针对不同CU而有所不同。TU的大小通常是基于针对经分割LCU定义的给定CU内的PU的大小而确定，但情况可能并非始终如此。TU通常与PU大小相同或小于PU。在一些实例中，对应于CU的残余样本可以使用被称为“残余四叉树”(RQT)的四叉树结构细分成较小单元。RQT的叶节点可被称为变换单元(TU)。可以变换与TU相关联的像素差值以产生变换系数，可以将所述变换系数量化。

叶CU可包含一或多个预测单元(PU)。一般来说，PU表示对应于对应CU的全部或一部分的空间区域，并且可包含用于检索PU的参考样本的数据。此外，PU包含与预测有关的数据。举例来说，当PU经帧内模式编码时，用于PU的数据可以包含在残余四叉树(RQT)中，残余四叉树可包含描述用于对应于PU的TU的帧内预测模式的数据。作为另一实例，当PU经帧间模式编码时，PU可包含界定PU的一或多个运动向量的数据。定义PU的运动向量的数据可描述例如运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如，四分之一像素精度或八分之一像素精度)、运动向量所指向的参考图片及/或运动向量的参考图片列表(例如，列表0、列表1或列表C)。

具有一或多个PU的叶CU还可包含一或多个变换单元(TU)。变换单元可以使用RQT(还被称作TU四叉树结构)来指定，如上文所论述。举例来说，***旗标可以指示叶CU是否***成四个变换单元。接着，每一变换单元可以进一步***成其它的子TU。当TU未经进一步***时，其可被称作叶TU。一般来说，对于帧内译码，属于叶CU的所有叶TU共享相同的帧内预测模式。也就是说，一般应用相同的帧内预测模式来计算叶CU的所有TU的预测值。对于帧内译码，视频编码器可以使用帧内预测模式针对每一叶TU计算残余值，作为CU的对应于TU的部分与原始块之间的差。TU不必限于PU的大小。因此，TU可大于或小于PU。对于帧内译码，PU可以与相同CU的对应叶TU设在同一位置。在一些实例中，叶TU的最大大小可以对应于对应叶CU的大小。

此外，叶CU的TU还可与相应四叉树数据结构(被称作残余四叉树(RQT))相关联。也就是说，叶CU可包含指示叶CU如何分割成TU的四叉树。TU四叉树的根节点一般对应于叶CU，而CU四叉树的根节点一般对应于树块(或LCU)。未***的RQT的TU被称作叶TU。一般来说，除非以其它方式提及，否则本发明分别使用术语CU及TU来指叶CU及叶TU。

视频序列通常包含一系列视频帧或图片。图片群组(GOP)一般包括一系列的视频图片中的一或多者。GOP可包含GOP的标头、图片中的一或多者的标头或其它地方中的语法数据，其描述GOP中包含的图片的数目。图片的每一切片可包含描述用于相应切片的编码模式的切片语法数据。视频编码器20通常对各个视频切片内的视频块进行操作以便对视频数据进行编码。视频块可以对应于CU内的译码节点。视频块可具有固定或变化的大小，且可根据指定译码标准而大小不同。

作为一实例，HM支持各种PU大小的预测。假设特定CU的大小是2Nx2N，那么HM支持2Nx2N或NxN的PU大小的帧内预测，及2Nx2N、2NxN、Nx2N或NxN的对称PU大小的帧间预测。HM还支持用于2NxnU、2NxnD、nLx2N及nRx2N的PU大小的帧间预测的不对称分割。在不对称划分中，不分割CU的一个方向，但是另一方向分割成25％和75％。CU的对应于25％分区的部分表示成“n”，接着是用“上方”、“下方”、“左侧”或“右侧”指示。因此，例如，“2NxnU”是指经水平分割的2Nx2N CU，其中顶部为2Nx0.5N PU，而底部为2Nx1.5N PU。

在本发明中，“NxN”与“N乘N”可互换使用来根据垂直及水平尺寸指代视频块的像素尺寸，例如，16x16像素或16乘16像素。一般来说，16x16块将在垂直方向上具有16个像素(y＝16)，且在水平方向上具有16个像素(x＝16)。同样地，NxN块一般在垂直方向上具有N个像素，且在水平方向上具有N个像素，其中N表示非负整数值。一块中的像素可布置成若干行和若干列。此外，块未必需要在水平方向与垂直方向上具有相同数目的像素。举例来说，块可包括NxM像素，其中M未必等于N。

在使用CU的PU进行帧内预测性或帧间预测性译码之后，视频编码器20可以计算用于CU的TU的残余数据。PU可包括描述在空间域(还称为像素域)中产生预测性像素数据的方法或模式的语法数据，并且TU可包括在对残余视频数据应用了变换(例如离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换)变换域中的系数。所述残余数据可对应于未编码图片的像素与对应于PU的预测值之间的像素差。视频编码器20可以形成包含用于CU的残余数据的TU，并且接着变换TU以产生用于CU的变换系数。

在用于产生变换系数的任何变换之后，视频编码器20可执行变换系数的量化。量化总体上是指变换系数经量化以可能减少用于表示系数的数据量从而提供进一步压缩的过程。量化过程可减少与系数中的一些或全部相关联的位深度。举例来说，n位值可在量化期间被舍去到m位值，其中n大于m。

在量化之后，视频编码器可以扫描变换系数，从包含经量化变换系数的二维矩阵产生一维向量。扫描可以经设计以将较高能量(并且因此较低频率)的系数放置在阵列正面，并且将较低能量(并且因此较高频率)的系数放置在阵列的背面。在一些实例中，视频编码器20可利用预定义扫描次序来扫描经量化变换系数以产生可被熵编码的串行化向量。在其它实例中，视频编码器20可执行自适应性扫描。在扫描经量化的变换系数以形成一维向量之后，视频编码器20可以例如根据上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法对一维向量进行熵编码。视频编码器20还可熵编码与经编码视频数据相关联的语法元素以供视频解码器30在解码视频数据时使用。

为了执行CABAC，视频编码器20可向待发射的符号指派上下文模型内的一个上下文。举例来说，所述上下文可以涉及符号的相邻值是否为非零。为了执行CAVLC，视频编码器20可选择用于待发射的符号的可变长度码。VLC中的码字可经建构而使得相对短的码对应于更有可能的符号，而较长的码对应于不太可能的符号。举例来说，与对待发射的每一符号使用等长度码字的情形相比较，以此方式，使用VLC可实现位节省。概率确定可基于指配给符号的上下文。

在此章节中，将论述多视图及多视图加上深度译码技术。最初，将论述MVC技术。如上所指出，MVC为ITU-T H.264/AVC的扩展。在MVC中，按时间优先次序对多个视图的数据进行译码，且因此，解码次序布置被称作时间优先译码。确切地说，可对在共同时间实例处的多个视图中的每一者的视图分量(也就是说，图片)进行译码，接着可对用于不同时间实例的视图分量的另一集合进行译码，诸如此类。存取单元可包含用于一个输出时间实例的所有视图的经译码图片。应理解存取单元的解码次序不一定等同于输出(或显示)次序。

图2中展示了典型MVC解码次序(即，位流次序)。解码次序布置被称作时间优先译码。应注意存取单元的解码次序可不等同于输出或显示次序。在图2中，S0到S7各自是指多视图视频的不同视图。T0到T8各自表示一个输出时间实例。存取单元可包含用于一个输出时间实例的所有视图的经译码图片。举例来说，第一存取单元可包含用于时间实例T0的所有视图S0到S7，第二存取单元可包含用于时间实例T1的所有视图S0到S7，等。

出于简洁目的，本发明可使用以下定义：

视图分量：单个存取单元中的视图的经译码表示。当视图包含经译码纹理及深度表示两者时，视图分量由纹理视图分量及深度视图分量构成。

纹理视图分量：单个存取单元中的视图的纹理的经译码表示。

深度视图分量：单个存取单元中的视图的深度的经译码表示。

在图2中，所述视图中的每一者包含若干图片组。举例来说，视图S0包含图片组0、8、16、24、32、40、48、56及64，视图S1包含图片组1、9、17、25、33、41、49、57及65，等。每一组包含两个图片：一个图片称为纹理视图分量，且另一图片称为深度视图分量。视图的图片组内的纹理视图分量及深度视图分量可认为是对应于彼此。举例来说，视图的图片组内的纹理视图分量认为是对应于视图的所述图片组内的深度视图分量，且反之亦然(即，深度视图分量对应于所述组中的其纹理视图分量，且反之亦然)。如本发明中所使用，对应于深度视图分量的纹理视图分量可认为是为单个存取单元的相同视图的部分的纹理视图分量及深度视图分量。

纹理视图分量包含所显示的实际图像内容。举例来说，所述纹理视图分量可包含明度(Y)及色度(Cb及Cr)分量。深度视图分量可指示其对应纹理视图分量中的像素的相对深度。作为一个实例，深度视图分量为仅包含明度值的灰阶图像。换句话说，深度视图分量可不传达任何图像内容，而是提供纹理视图分量中的像素的相对深度的测量。

举例来说，深度视图分量中的纯白色像素指示对应纹理视图分量中的其对应像素较接近于观察者的视角，且深度视图分量中的纯黑色像素指示对应纹理视图分量中的其对应像素距观察者的视角较远。黑色与白色之间的各种灰度梯度指示不同深度等级。举例来说，深度视图分量中的深灰色像素指示其在纹理视图分量中的对应像素比深度视图分量中的浅灰色像素更远。因为仅需要灰阶来识别像素的深度，因此深度视图分量不需要包含色度分量，因为深度视图分量的色彩值可能不服务于任何目的。

深度视图分量仅使用明度值(例如，强度值)来识别深度是出于说明的目的而提供，且不应被视为限制性的。在其它实例中，可利用任何技术来指示纹理视图分量中的像素的相对深度。

图3中展示了用于多视图视频译码的典型MVC预测结构(包含每一视图内的图片间预测及视图间预测两者)。预测方向由箭头指示，箭头指向的对象使用箭头出发的对象作为预测参考。在MVC中，由视差运动补偿支持视图间预测，所述视差运动补偿使用H.264/AVC运动补偿的语法但允许将不同视图中的图片用作参考图片。

在图3的实例中，说明六个视图(具有视图ID“S0”到“S5”)，且对于每一视图说明十二个时间位置(“T0”到“T11”)。即，图3中的每一行对应于一视图，而每一列指示一时间位置。

尽管MVC具有所谓的可由H.264/AVC解码器解码的基础视图，且MVC还可支持立体视图对，但MVC的优势在于其可支持使用两个以上视图作为3D视频输入且对由多个视图表示的此3D视频进行解码的实例。具有MVC解码器的客户端的呈现器可预期具有多个视图的3D视频内容。

在每一行及每一列的相交处指示图3中的图片。H.264/AVC标准可使用术语帧来表示视频的一部分。本发明可互换地使用术语图片与帧。

使用包含字母的块来说明图3中的图片，字母指明对应图片是经帧内译码(也就是说，I图片)，还是在一个方向上经帧间译码(也就是说，作为P图片)，或是在多个方向上经帧间译码(也就是说，作为B图片)。一般来说，预测由箭头指示，其中箭头指向的图片使用箭头出发的图片用于预测参考。举例来说，时间位置T0处的视图S2的P图片是从时间位置T0处的视图S0的I图片预测的。

如同单视图视频编码一样，多视图视频译码视频序列的图片可相对于不同时间位置处的图片预测性地编码。举例来说，时间位置T1处的视图S0的b图片具有从时间位置T0处的视图S0的I图片指向其的箭头，从而指示所述b图片是从所述I图片预测的。然而，另外，在多视图视频编码的情况下，图片可经视图间预测。也就是说，视图分量可使用其它视图中的视图分量用于参考。举例来说，在MVC中，如同另一视图中的视图分量为帧间预测参考而实现视图间预测。潜在视图间参考物在序列参数集(SPS)MVC扩展中用信号通知且可通过参考图片列表建构过程加以修改，所述参考图片列表建构过程实现帧间预测或视图间预测参考物的灵活排序。视图间预测也是包含3D-HEVC(多视图加上深度)的HEVC的所提出的多视图扩展的特征。

图3提供视图间预测的各种实例。在图3的实例中，视图S1的图片说明为是从视图S1的不同时间位置处的图片预测，且是从相同时间位置处的视图S0及S2的图片经视图间预测。举例来说，时间位置T1处的视图S1的b图片是从时间位置T0及T2处的视图S1的B图片中的每一者以及时间位置T1处的视图S0及S2的b图片预测。

在一些实例中，图3可看作说明纹理视图分量。举例来说，图2中所说明的I、P、B及b图片可认为是视图中的每一者的纹理视图分量。根据本发明中描述的技术，对于图3中说明的纹理视图分量中的每一者，存在对应深度视图分量。在一些实例中，可以类似于图3中针对对应纹理视图分量所说明的方式的方式预测深度视图分量。

两个视图的译码也可由MVC支持。MVC的优点中的一个优点是：MVC编码器可将两个以上视图视为3D视频输入且MVC解码器可解码此类多视图表示。因此，具有MVC解码器的任何呈现器可预期具有两个以上视图的3D视频内容。

在MVC中，允许在相同存取单元(即，具有相同时间实例)中的图片当中的视图间预测。在对非基础视图中的一者中的图片进行译码时，如果图片在不同视图中，但在相同时间实例内，那么可将图片添加到参考图片列表中。视图间参考图片可放置在参考图像列表的任何位置中，正如任何帧间预测参考图片一般。如图3中所示，视图分量可出于参考目的使用其它视图中的视图分量。在MVC中，实现视图间预测，如同另一视图中的视图分量为帧间预测参考。

下文描述与可供多视图译码及/或具有深度的多视图译码(MV-HEVC)(3D-HEVC)使用的帧间预测相关的一些相关HEVC技术。用于论述的第一技术为用于帧间预测的参考图片列表建构。

使用帧间预测对PU进行译码涉及计算当前块(例如，PU)与参考帧中的块之间的运动向量。经由被称作运动估计(或运动搜索)的过程计算运动向量。举例来说，运动向量可指示当前帧中的预测单元相对于参考帧的参考样本的位移。参考样本可为发现密切地匹配CU的包含PU的部分的块(其依据像素差进行译码)，像素差可通过绝对差总和(SAD)、平方差总和(SSD)或其它差异量度来确定。参考样本可出现在参考帧或参考切片内的任何地方。在一些实例中，参考样本可出现在分数像素位置处。在发现最佳地匹配当前部分的参考帧的一部分后，编码器即刻将当前块的当前运动向量确定为从当前块到参考帧中的匹配部分(例如，从当前块的中心到匹配部分的中心)的位置的差。

在一些实例中，编码器可在经编码视频位流中用信号发出每一块的运动向量。用信号发出的运动向量由解码器使用以执行运动补偿以便对视频数据进行解码。然而，直接用信号发出原始运动向量可导致效率不高的译码，因为通常需要大量位来传达信息。

在一些情况下，编码器可预测每一分区(即，每一PU)的运动向量，而非直接用信号发出原始运动向量。在执行此运动向量预测时，编码器可选择从与当前块相同的帧中的空间相邻块确定的运动向量候选者的集合或从参考帧(即，除当前帧之外的帧)中的相同位置块确定的时间运动向量候选者。视频编码器20可执行运动向量预测，且在需要的情况下，将索引用信号发出到参考图片以预测运动向量，而非用信号发出原始运动向量，从而减少发信号中的位速率。来自空间相邻块的运动向量候选者可被称为空间MVP候选者，而来自另一参考帧中的相同位置块的运动向量候选者可被称为时间MVP候选者。

在HEVC标准中提出了两个不同模式或类型的运动向量预测。一个模式被称作“合并”模式。另一模式被称作自适应运动向量预测(AMVP)。

在合并模式中，视频编码器20经由预测语法的位流信令指示视频解码器30复制来自帧的当前块的选定运动向量候选者的运动向量、参考索引(识别给定参考图片列表中的运动向量所指向的参考帧)及运动预测方向(其识别参考图片列表(列表0或列表1)，即，依据参考帧在时间上是在当前帧之前还是之后)。通过在位流中将索引用信号发出到识别选定运动向量候选者(即，特定空间MVP候选者或时间MVP候选者)的运动向量候选者列表中来实现此情形。

因此，对于合并模式，预测语法可包含识别模式(在此状况下为“合并”模式)的旗标及识别选定运动向量候选者的索引。在一些情况下，运动向量候选者将在参考当前块的因果性块中。也就是说，运动向量候选者将已经由视频解码器30解码。因此，视频解码器30已经接收及/或确定因果性块的运动向量、参考索引及运动预测方向。因此，视频解码器30可从存储器简单地检索与因果性块相关联的运动向量、参考索引及运动预测方向，且复制这些值作为当前块的运动信息。为了重建合并模式中的块，视频解码器30使用当前块的导出的运动信息获得预测性块，且将残余数据添加到预测性块以重建经译码块。

应注意对于跳过模式，产生相同合并候选者列表但不用信号发出残余者。为简单起见，因为跳过模式具有与合并模式相同的运动向量导出过程，所以本文件中所描述的所有技术适用于合并及跳过模式两者。

在AMVP中，视频编码器20经由位流信令指示视频解码器30仅复制来自候选块的运动向量，且使用复制的向量作为当前块的运动向量的预测子，且用信号发出运动向量差(MVD)。单独地用信号发出与当前块的运动向量相关联的参考帧及预测方向。MVD为当前块的当前运动向量与从候选块导出的运动向量预测子之间的差。在此状况下，视频编码器20使用运动估计确定待译码的块的实际运动向量，且接着将实际运动向量与运动向量预测子之间的差确定为MVD值。以此方式，视频解码器30不使用运动向量候选者的精确副本作为当前运动向量(如在合并模式中)，但可改为使用可能在值方面“接近于”从运动估计确定的当前运动向量的运动向量候选者，且添加MVD以再现当前运动向量。为了重建AMVP模式中的块，解码器添加对应残余数据以重建经译码块。

在大多数情况下，MVD需要用信号发出比整个当前运动向量少的位。因此，AMVP允许当前运动向量的更精确发信号，同时维持在发送整个运动向量时的译码效率。相对比地，合并模式并未考虑到MVD的规范，且因此，合并模式牺牲了运动向量发信号的准确性以用于增加发信号的效率(即，较少的位)。AMVP的预测语法可包含用于所述模式的旗标(在此状况下为AMVP旗标)、用于候选块的索引、当前运动向量与来自候选块的预测性运动向量之间的MVD、参考索引及运动预测方向。

帧间预测还可包含参考图片列表建构。参考图片列表包含可用于执行运动搜索及运动估计的参考图片或参考帧。通常，用于B图片(经双向预测图片)的第一或第二参考图片列表的参考图片列表建构包含两个步骤：参考图片列表初始化及参考图片列表重排(修改)。参考图片列表初始化为基于POC(与图片的显示次序对准的图片次序计数)值的次序将参考图片存储器(也被称作经解码的图片缓冲器(DPB))中的参考图片放置到列表中的显式机制。参考图片列表重排机制可将在参考图片列表初始化步骤期间被放置于列表中的图片的位置修改到任何新位置，或将参考图片存储器中的任何参考图片放置于任何位置中，即使图片并未被放置于初始化列表中。在参考图片列表重排(修改)之后，可将一些图片放置于列表中的距初始位置很远的位置中。然而，如果图片的位置超过列表的作用中参考图片的数目，那么图片不会被认为是最终参考图片列表的条目。可在每一列表的切片标头中用信号发出作用中参考图片的数目。在建构参考图片列表(即RefPicList0及RefPicListl，如果可用的话)之后，到参考图片列表的参考索引可用以识别包含于参考图片列表中的任何参考图片。

图4展示可用于合并模式及AMVP模式两者的候选块120的实例集合。在此实例中，候选块是在左下(A0)121、左(A1)122、左上(B2)125、上方(B1)124及右上(B0)123空间位置中，及在时间(T)126位置中。在此实例中，左候选块122邻近当前块127的左边缘。左块122的下边缘与当前块127的下边缘对准。上块124邻近当前块127的上边缘。上块124的右边缘与当前块127的右边缘对准。

用于论述的接下来的技术涉及时间运动向量预测子(TMVP)或时间运动向量候选者。时间运动向量预测仅使用来自除含有当前经译码CU的帧之外的帧的运动向量候选块。为了得到TMVP，最初将识别相同位置图片。在HEVC中，相同位置图片是来自与建构参考图片列表的当前图片不同的时间。如果当前图片为B切片，那么在切片标头中用信号发出语法元素collocated_from_10_flag以指示相同位置图片是来自RefPicList0还是来自RefPicListl。切片标头含有与含于切片内的所有视频块有关的数据元素。在识别参考图片列表之后，在切片标头中用信号发出的语法元素collocated_ref_idx用以识别列表中的图片中的图片。

接着通过检查相同位置图片识别相同位置预测单元(PU)(例如，时间运动向量候选者)。使用含有此PU的译码单元(CU)的右下PU的运动向量或在含有此PU的CU的中心PU内的右下PU的运动。

在由上文过程识别的运动向量用以产生用于高级运动向量预测(AMVP)或合并模式的运动候选者时，通常基于时间位置(由POC反映)按比例缩放所述运动向量。应注意将从TMVP导出的时间合并候选者的所有可能参考图片列表的目标参考索引设定为0，而对于AMVP，其经设定为等于经解码参考索引。

在HEVC中，序列参数集(SPS)包含旗标sps_temporal_mvp_enable_flag，且在sps_temporal_mvp_enable_flag等于1时，切片标头包含旗标pic_temporal_mvp_enable_flag。在对于特定图片，pic_temporal_mvp_enable_flag及temporal_id两者等于0时，来自按解码次序在特定图片之前的图片的运动向量将不在对特定图片或按解码次序在特定图片之后的图片进行解码时被用作时间运动向量预测子。

另一种类型的多视图视频译码格式引入深度值的使用。对于流行于3D电视及自由视角视频的多视图-视频-加上-深度(MVD)数据格式，可与多视图纹理图片一起独立地对纹理图像及深度图进行译码。图5说明具有纹理图像及其相关联的逐样本深度图的MVD数据格式。深度范围可被限于距对应3D点的相机的最小z_near及最大z_far距离的范围内。

相机参数及深度范围值可有助于在3D显示器上呈现之前处理经解码视图分量。因此，定义用于H.264/MVC的当前版本的特殊补充增强信息(SEI)消息(即，多视图获取信息SEI)，其包含指定获取环境的各种参数的信息。然而，不存在用于指示深度范围相关信息的在H.264/MVC中指定的语法。

3D视频(3DV)可使用多视图视频加上深度(MVD)格式表示，其中各种视图(其可对应于个别水平相机位置)的少量俘获的纹理图像以及相关联深度图可经译码，且可将所得位流包多路复用到3D视频位流中。当前，VCEG及MPEG的3D视频译码联合合作小组(JCT-3C)正开发基于HEVC的3DV标准，其中标准化努力的部分包含基于HEVC的多视图视频编解码器(MV-HEVC)及用于基于HEVC的3D视频译码(3D-HEVC)的另一部分的标准化。对于MV-HEVC，应保证其中仅存在高级语法(HLS)改变，以使得HEVC中的CU/PU层级中的模块不需要进行重新设计，且可完全再用于MV-HEVC。对于3D-HEVC，可包含及支持用于纹理及深度视图两者的包含译码单元/预测单元层级中的那些工具的新译码工具。用于3D-HEVC的最新软件3D-HTM可从以下链接下载到：https：//hevc.hhi.fraunhofer.de/svn/svn_3DVCSoftware/tags/HTM-4.0.1/

为了进一步改进译码效率，在最新参考软件中已采纳两个新技术(即“视图间运动预测”及“视图间残余预测”)。视图间运动预测及视图间残余预测利用运动向量候选者或残余及来自当前经译码视图的不同视图中的CU。用于运动搜索、运动估计及运动向量预测的视图可来自与当前经译码视图相同的时间实例或可来自不同时间实例。为了启用这两个译码工具，第一步为导出视差向量。

类似于MVC，在3D-HEVC中，启用基于来自不同视图的经重建视图分量的视图间预测。在此状况下，相同位置图片中的TMVP所指向的参考图片的类型以及时间合并候选者的目标参考图片(其中在HEVC中索引等于0)的类型可不同。举例来说，一个参考图片为视图间参考图片(类型设定为视差)，且另一参考图片为时间参考图片(类型设定为时间)。视图间参考图片可为来自另一来自经译码的当前视图的视图的参考图片。此视图间参考图片可能来自相同时间实例(例如，相同POC)或来自不同时间参考。时间参考图片为来自与当前经译码CU不同的时间实例但在相同视图中的图片。在其它实例中(例如在当前3D-HTM软件中)，用于时间合并候选者的目标参考图片可设定为0或等于相对于当前经译码PU的左相邻PU的参考图片索引的值。因此，用于时间合并候选者的目标参考图片索引可不等于0。

为了导出视差向量，被称作基于相邻块的视差向量(NBDV)导出的方法用于当前3D-HTM。NBDV导出利用来自空间及时间相邻块的视差运动向量。在NBDV导出中，按固定检查次序检查空间或时间相邻块的运动向量。一旦识别视差运动向量(即，运动向量指向视图间参考图片)，便终止检查过程，且传回所识别的视差运动向量并将其转换成将用于视图间运动预测及视图间残余预测中的视差向量。视差向量为两个视图之间的位移，而视差运动向量为一种运动向量，其类似于用于2D视频译码中的时间运动向量，所述运动向量在参考图片是来自不同视图时用于进行运动补偿。如果在检查所有预定义的相邻块之后并未发现视差运动向量，那么零视差向量将被用于视图间运动预测，而对于对应PU将停用视图间残余预测。

在下文章节中描述用于NBDV的空间及时间相邻块，接着是检查次序。五个空间相邻块用于视差向量导出。其为相同的块，如图4中所示。

将来自当前视图的所有参考图片当作候选图片。在一些实例中，候选图片的数目可被限制为特定数目，例如4，如在当前3D-HTM软件实施方案中。首先检查相同位置参考图片，且按参考索引(refIdx)的升序检查候选图片的其余者。在参考图片列表0及参考图片列表1两者可用时，所检查的第一参考图片列表由collocated_from_10_flag确定。collocated_from_10_flag等于1指定含有相同位置分割区的图片是从参考图片列表0导出的，而其它的图片是从参考图片列表1导出的。在collocated_from_10_flag不存在时，其经推断为等于1。

对于每一候选图片，确定用于导出时间相邻块的三个候选区。在区覆盖一个以上16x16块时，按光栅扫描次序检查此区中的所有16x16块。如下定义三个候选区：

CPU：相同位置PU。当前PU或当前CU的相同位置区。

CLCU：相同位置最大译码单元。覆盖当前PU的相同位置区的最大译码单元(LCU)

BR：CPU的右下(BR)4x4块。

可如下定义用于候选块的检查次序。首先检查空间相邻块，接着是时间相邻块。参考图4，五个空间相邻块的检查次序可被定义为A1、B1、B0、A0及B2。

对于每一候选图片，将按次序检查此候选图片中的三个候选区。三个区的检查次序被定义为：对于第一非基础视图的CPU、CLCU及BR或对于第二非基础视图的BR、CPU、CLU。

基于视差向量(DV)，可将新运动向量候选者(即，经视图间预测的运动向量)(如果可用的话)添加到AMVP及跳过/合并模式候选者列表。经视图间预测的运动向量(如果可用的话)为时间运动向量。

因为跳过模式具有与合并模式相同的运动向量导出过程，所以本文件中所描述的所有技术适用于合并及跳过模式两者。对于合并/跳过模式，经视图间预测的运动向量是由以下步骤导出：

(1)相同存取单元的参考视图中的当前PU/CU的对应块由视差向量定位。

(2)如果对应块并未经帧内译码且未经视图间预测，且其参考图片具有等于当前PU/CU的相同参考图片列表中的一个条目的值的POC值，那么其在基于POC转换参考索引之后的运动信息(预测方向、参考图片及运动向量)经导出为经视图间预测的运动向量。

图6展示经视图间预测的运动向量候选者的导出过程的实例。通过发现不同于当前经译码视图(视图1或V1)中的当前PU 140的视图(例如，视图0或V0)中的对应块142来计算视差向量。如果对应块142未经帧内译码且未经视图间预测，且其参考图片具有POC值，所述POC值在当前PU 140的参考图片列表中(例如，Ref0，列表0；Ref0，列表1；Ref1，列表1，如图6中所示)，那么用于对应块142的运动信息被用作经视图间预测的运动向量。如上文陈述的，参考索引可基于POC按比例缩放。

如果经视图间预测的运动向量不可用(例如，对应块142经帧内译码或经视图间预测)，那么将视差向量转换成视图间视差运动向量，在与经视图间预测的运动向量相同的位置中(在其可用时)将所述视图间视差运动向量添加到AMVP或合并候选者列表中。经视图间预测的运动向量或视图间视差运动向量在此情况下可被称作“视图间候选者”。

在AMVP模式中，如果目标参考索引对应于时间运动向量，那么通过检查由视差向量定位的当前PU的对应块中的运动向量发现经视图间预测的运动向量。而且，在AMVP模式中，如果目标参考索引对应于视差运动向量，那么将不导出经视图间预测的运动向量，且将视差向量转换成视图间视差运动向量。

在合并/跳过模式中，在所有空间及时间合并候选者之前将经视图间预测的运动向量(如果可用的话)***于合并候选者列表中。如果经视图间预测的运动向量不可用，那么将视图间视差运动向量(如果可用的话)***于相同位置中。在当前3D-HTM软件中，经视图间预测的运动向量或视图间视差运动向量在其不同于所有空间候选者的情况下紧跟在AMVP候选者列表中的所有有效空间候选者之后。

基于HEVC的多视图/3DV译码中的运动相关译码的当前设计具有归因于所导出视差向量常常不具有准确性的事实的以下问题，因此导致较低译码效率。

一个缺点在于在选择从第一可用视差运动向量导出的视差向量时，其它空间/时间相邻块的另一视差运动向量可能更准确。另一缺点在于不准确的视差向量可导致不准确的经视图间预测的运动向量。在将多个运动向量候选者添加到合并候选者列表中时产生另一缺点。在此状况下，可存在冗余(即，相同)运动向量候选者。

在将视差向量转换成待添加到合并列表中的视图间视差运动向量时产生另一缺点。如果视图间视差向量不准确，那么视图间视差运动向量可能不准确。

在空间/时间相邻块用以导出合并候选者且其经视图间预测时又会产生另一缺点。在此状况下，运动向量的垂直分量可不等于0。

鉴于这些缺点，本发明提出用于进一步改进视差向量准确性以及经视图间预测的运动向量及视图间视差运动向量的准确性的各种方法及技术。

在本发明的第一实例中，视频编码器20及视频解码器30可经配置以从相邻块导出多个视差向量，因此为视图间运动预测及/或视图间残余预测提供更多视差向量以供选择。也就是说，还为当前块导出更多视差向量，而非刚好导出用于当前经译码PU的视差向量。

在一个实例中，可传回多个经识别的视差运动向量，而非传回NBDV过程中的相邻块的第一经识别视差运动向量。导出额外视差向量会增加选择更准确视差向量的可能性。在此实例的另一方面中，在导出多个视差运动向量时，可用信号发出PU或CU的索引以指示多个视差向量中的哪一者是用于视图间运动预测及/或视图间残余预测。可在视频解码器30处指定固定数目的视差向量。在另一实例中，以上技术可仅应用于AMVP或合并模式中的一者。在另一实例中，将以上技术应用于AMP及合并模式两者。

在本发明的另一实例中，在导出多个视差运动向量时，多个视差向量可用以转换待添加到合并及/或AMVP候选者列表中的更多经视图间预测的运动向量候选者及/或视图间视差运动向量。在一个实例中，将额外视差向量(例如，来自相邻块，如上文所描述)皆转换成视图间视差运动向量。以与当前视差向量相同的方式使用第一视差向量。在另一实例中，最初将额外视差向量中的每一者转换成经视图间预测的运动向量候选者，且如果此举并不可用(例如，如果对应块是在经帧内译码或经视图间预测中)，那么将视差向量转换成视图间视差运动向量。以与当前视差向量相同的方式使用第一视差向量。

在本发明的另一实例中，即使在从相邻块仅导出一个视差向量时，可将一个以上经视图间预测的运动向量候选者及/或视差运动向量添加到合并及/或AMVP候选者列表中。在此实例的一个替代方案中，在由视差向量识别基础视图的参考块之后，含有指向参考块的视差向量的PU的左PU及/或右PU用以产生经视图间预测的运动向量候选者，其方式与从参考块产生经视图间预测的运动向量候选者的方式相同。在此实例的另一个替代方案中，在导出经视图间预测的运动向量候选者之后，对于对应于参考图片列表0或参考图片列表1的每一运动向量，运动向量水平地移位4及/或-4(即，对应于一个像素)。在此实例的另一个替代方案中，从由视差向量转换的视差运动向量移位的视差运动向量包含于合并及/或AMVP候选者列表中。在一个替代实例中，移位值为水平地4及/或-4。在另一个替代实例中，移位值等于w及/或-w，其中w为含有参考块的PU的宽度。在另一个替代实例中，移位值等于w及/或-w，其中w为当前PU的宽度。

在本发明的另一实例中，在从相邻块仅导出一个视差向量时，且甚至在添加经视图间预测的运动向量候选者之后，视差向量可经转换成视图间视差运动向量，且被进一步添加到合并及/或AMVP候选者列表中。在用于合并/AMVP候选者列表建构的先前技术中，视图间视差运动向量候选者并不包含于候选者列表中。

在本发明的另一实例中，在给定图片类型(或不管是何图片类型)的以下某些位置中的一者中将由上文方法中的任一者添加的合并MERGE及/或AMVP候选者***到相应候选者列表中。在一个实例中，在由第一视差向量导出的经视图间预测的运动向量候选者或视图间视差运动向量候选者之后，因此在所有空间候选者之前***候选者。在另一实例中，在所有空间及时间候选者及由第一视差向量导出的候选者之后，因此在组合的候选者之前***候选者。在另一实例中，在所有空间候选者之后，但在时间候选者之前***候选者。在另一实例中，在所有候选者之前***候选者。

在本发明的另一实例中，可对新添加的运动向量候选者中的每一者(甚至包含从第一视差向量导出的候选者)应用修剪。修剪涉及在候选者冗余(例如，等同于另一候选者)的情况下从运动向量候选者列表移除候选者。为修剪而进行的比较可以在所有候选者当中，或在基于视差向量的新添加的候选者与另一种类型的候选者(例如，空间候选者、时间候选者等)之间。在此实例的一个替代方案中，仅将选择性空间候选者(例如，A1、B1)与用于修剪的新导出的运动向量候选者(包含从第一视差向量导出的候选者)进行比较。另外，将包含从第一视差向量导出的候选者的新添加的运动向量候选者互相比较以避免重复。

在本发明的另一实例中，在来自空间/时间相邻块的运动信息用以导出运动向量候选者，且运动向量为视差运动向量时，对于合并及/或AMVP模式，可强制将运动向量的垂直分量设定为0。

在以下章节中，描述了所提出的技术中的一些的实例实施方案。在此实例实施方案中，可仅导出最多1个不相等视差向量。以与当前视差向量类似的方式使用第一视差向量。将第二视差向量转换成视图间视差运动向量。

多个视差向量的导出类似于NBDV，且具有相邻块的相同检查次序。在视频编码器20和/或视频解码器30识别第一视差运动向量之后，继续检查过程直到发现一个新不相等视差运动向量(即，具有不同于第一视差向量的值的视差向量)为止。在所发现的新视差运动向量的数目超过某一值N时，甚至在未发现新不相等视差向量时，并不导出额外视差运动向量。N可为大于1的整数值，例如10。

在一个替代实施方案中，如果第二可用视差运动向量(按检查次序在不相等视差向量之前)等于第一视差运动向量，那么视频编码器20将旗标(即dupFlag)设定为1；否则将其设定为0。

用以从第一视差向量导出第一运动向量候选者的过程与当前3D-HEVC中的过程相同。然而，第二视差向量经转换成视图间视差运动向量(第二新候选者)，且刚好在从第一视差向量导出的第一候选者之后，因此在所有空间候选者之前被添加到候选者列表中。

在另一实例中，如果dupFlag等于0，那么第二视差向量经转换成视图间视差运动向量(第二新候选者)，且刚好在从第一视差向量导出的第一候选者之后，因此在所有空间候选者之前被添加到候选者列表中。如果dupFlag等于1，那么以下情形适用：

-如果第一候选者为经视图间预测的运动向量候选者，那么将第一视差向量转换成第二候选者，所述第二候选者为视图间视差运动向量。

-否则，将第二视差向量转换成第二候选者，所述第二候选者为视图间视差运动向量。

可如下实现将额外运动向量候选者***到运动向量候选者列表中。将第一候选者及第二候选者两者与从A1及B1(参见图4)导出的空间候选者相比较。如果来自A1或B1的空间候选者等于这两个新候选者中的任一者，那么从候选者列表移除空间候选者。或者，将基于视差向量的两个新候选者皆与候选者列表中的前两个空间候选者相比较。

在本发明的另一实例中，可仅导出一个视差向量。然而，可基于用于跳过/合并模式的视差向量导出更多候选者。

可如下实现第一视差向量的转换。基于视差向量，经视图间预测的运动向量(即，第1视图间候选者，或第1IVC)在可用的情况下被添加到跳过/合并模式候选者列表。第1IVC的产生过程可与当前3D-HEVC设计相同。另外，视差向量经转换成视图间视差运动向量(有时被称作第2IVC)，且在第1视图间候选者(如果适用的话)之后且在所有空间候选者之前被进一步添加到候选者列表中。

可如下处理来自相邻PU的视图间候选者。在由视差向量识别基础视图的参考块之后，含有参考块的PU的左PU用以产生经视图间预测的运动向量候选者，其方式类似于当前3D-HEVC规范中的经视图间预测的运动向量候选者产生技术。此外，根据本发明的技术，如果经视图间预测的运动向量候选者不可用，那么通过视差向量减去水平分量中的左PU的宽度导出视图间视差运动向量候选者。在所有空间候选者之后将从左PU导出的经视图间预测的运动向量候选者或视图间视差运动向量(即，来自左PU或IVCLPU的视图间候选者)***到候选者列表。在时间候选者之前***此额外候选者。

此外，含有参考块的PU的右PU可用以产生经视图间预测的运动向量候选者，这类似于当前3D-HEVC规范中的经视图间预测的运动向量候选者产生过程。此外，根据本发明的技术，如果经视图间预测的运动向量候选者不可用，那么通过水平分量增加了含有参考块的PU的宽度的视差向量导出视图间视差运动向量候选者。在从左PU导出的所有空间合并候选者及视图间候选者之后将从右PU导出的经视图间预测的运动向量候选者或视图间视差运动向量(即，来自左PU的视图间候选者或IVCRPU)***到合并候选者列表。在时间候选者之前及在IVCLPU之后***此额外候选者。

在另一实例中，两个新添加的视图间候选者(即，IVCLPU及IVCRPU)在可用的情况下皆在时间候选者之后被***到候选者列表。在另一实例中，将IVCLPU及IVCRPU中的仅一者添加到候选者列表中。

可如下实现基于视图间候选者的额外修剪过程。分别将从A1或B1导出的每一空间候选者与第1IVC及第2IVC(如果可用的话)相比较。如果来自A1或B1的空间候选者等于这两个候选者中的任一者，那么从合并候选者列表移除所述空间候选者。另外，可分别将IVCLPU与第1IVC、第2IVC及从A1或B1导出的空间候选者进行比较。如果IVCLPU等于这些候选者中的任一者，那么从候选者列表移除所述IVCLPU。此外，可分别将IVCRPU与第1IVC、第2IVC、从A1或B1导出的空间候选者及IVCLPU进行比较。如果IVCRPU等于这些候选者中的任一者，那么从候选者列表移除所述IVCRPU。

在根据本发明进行修剪的另一实例中，仅在两个候选者具有相同类型(例如，其为视差运动向量或其为时间运动向量)时比较所述候选者。举例来说，如果IVCLPU为经视图间预测的运动向量，那么不需要IVCLPU与第1IVC之间的比较。

在本发明的另一实例中，可仅导出最多1个不相等视差向量。第一视差向量用以使用上文所描述的技术导出第1IVC、第2IVC、IVCLPU及IVCRPU。将第二视差向量转换成视图间视差运动向量。可根据上文所描述的技术实现多个视差向量的导出。可利用用于转换第一视差向量及从左及右PU导出更多视图间候选者的上文所描述的相同技术。

可如下实现第二视差向量的转换。第二视差向量可经转换成视图间视差运动向量(即，第3IVC)，且刚好在第1IVC及第2IVC(如果可用的话)之后及因此在所有空间候选者之前被添加到候选者列表中。可如下执行基于视图间候选者的额外修剪过程。分别将从A1或B1导出的每一空间候选者与第1IVC、第2IVC及第3IVC(如果可用的话)进行比较。如果来自A1或B1的空间候选者等于这三个候选者中的任一者，那么从候选者列表移除所述空间候选者。

在一个实例中，分别将IVCLPU与第1IVC、第2IVC、第3IVC及从A1或B1导出的空间候选者进行比较。如果IVCLPU等于这些候选者中的任一者，那么从候选者列表移除所述IVCLPU。

在另一实例中，分别将IVCRPU与第1IVC、第2IVC、第3IVC、从A1或B1导出的空间候选者及IVCLPU进行比较。如果IVCRPU等于这些候选者中的任一者，那么从候选者列表移除所述IVCRPU。

图7为说明可实施本发明的技术的视频编码器20的实例的框图。视频编码器20可执行视频切片(例如纹理图像及深度图两者的切片)内的视频块的帧内及帧间译码(包含视图间译码)。纹理信息通常包含明度(亮度或强度)及色度(颜色，例如红色调及蓝色调)信息。一般来说，视频编码器20可确定相对于明度切片的译码模式，且再用来自对明度信息进行译码的预测信息以对色度信息进行编码(例如，通过再用分割信息、帧内预测模式选择、运动向量或其类似者)。帧内译码依赖于空间预测以减少或移除给定视频帧或图片内的视频中的空间冗余。帧间译码依赖于时间预测以减少或移除视频序列的邻近帧或图片内的视频中的时间冗余。帧内模式(I模式)可指若干基于空间的译码模式中的任一者。例如单向预测(P模式)或双向预测(B模式)等帧间模式可指若干基于时间的译码模式中的任一者。

如图7中所示，视频编码器20接收待编码的视频帧(例如，纹理图像或深度图)内的当前视频块(也就是说，视频数据块，例如明度块、色度块或深度块)。在图7的实例中，视频编码器20包含模式选择单元40、参考图片存储器64、求和器50、变换处理单元52、量化单元54及熵编码单元56。模式选择单元40又包含运动补偿单元44、运动估计单元42、帧内预测单元46及分割单元48。对于视频块重建，视频编码器20还包含反量化单元58、反变换单元60，和求和器62。还可包含解块滤波器(图7中未展示)以将块边界滤波，以从经重建的视频移除成块性假影。在需要时，解块滤波器通常对求和器62的输出进行滤波。除解块滤波器之外，还可使用额外滤波器(环路内或环路后)。为简洁起见未图示此些滤波器，但是必要时，此些滤波器可以对求和器50的输出进行滤波(作为环路内滤波器)。

在编码过程期间，视频编码器20接收待译码的视频帧或切片。所述帧或切片可划分成多个视频块。运动估计单元42及运动补偿单元44相对于一或多个参考帧中的一或多个块执行所接收视频块的帧间预测性译码以提供时间预测。帧内预测单元46可替代地相对于与待译码块相同的帧或切片中的一或多个相邻块执行所接收视频块的帧内预测性译码以提供空间预测。视频编码器20可以执行多个译码遍次，例如，为了为每一视频数据块选择一种适当的译码模式。

此外，分割单元48可以基于先前译码遍次中的先前分割方案的评估将视频数据块分割成子块。举例来说，分割单元48最初可将帧或切片分割成LCU，且基于速率-失真分析(例如，速率-失真优化)将LCU中的每一者分割成子CU。模式选择单元40可以进一步产生指示LCU划分成子CU的四叉树数据结构。四叉树的叶节点CU可包含一或多个PU及一或多个TU。

模式选择单元40可(例如)基于误差结果而选择译码模式(帧内或帧间)中的一者，且将所得的经帧内译码或经帧间译码的块提供到求和器50以产生残余块数据，且提供到求和器62以重建经编码块以用作参考帧。模式选择单元40还将语法元素(例如运动向量、帧内模式指示符、分割信息和其它这些语法信息)提供到熵编码单元56。

运动估计单元42与运动补偿单元44可高度集成，但出于概念上的目的而分开予以说明。由运动估计单元42执行的运动估计是产生运动向量的过程，所述过程估计视频块的运动。举例来说，运动向量可以指示当前视频帧或图片内的视频块的PU相对于参考帧(或其它经译码单元)内的预测块相对于当前帧(或其它经译码单元)内正经译码的当前块的位移。

预测块是经发现在像素差异方面密切地匹配待译码的块的块，其可通过绝对差总和(SAD)、平方差总和(SSD)或其它差异量度来确定。在一些实例中，视频编码器20可计算存储于参考帧图片64中的参考图片的子整数像素位置的值。举例来说，视频编码器20可以内插参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此，运动估计单元42可以相对于整数像素位置和分数像素位置执行运动搜索并且输出具有分数像素精度的运动向量。

运动估计单元42通过比较PU的位置与参考图片的预测性块的位置来计算用于经帧间译码切片中的视频块的PU的运动向量。参考图片可选自第一参考图片列表(列表0)或第二参考图片列表(列表1)，其中的每一者识别存储在参考帧图片64中的一或多个参考图片。可使用本发明的技术建构参考图片列表。运动估计单元42将计算出来的运动向量发送到熵编码单元56及运动补偿单元44。

由运动补偿单元44执行的运动补偿可以涉及基于由运动估计单元42确定的运动向量提取或产生预测性块。同样，在一些实例中，运动估计单元42与运动补偿单元44可以在功能上集成。在接收到当前视频块的PU的运动向量后，运动补偿单元44即刻可以在参考图片列表中的一者中定位所述运动向量指向的预测性块。求和器50通过从经译码的当前视频块的像素值减去预测性块的像素值从而形成像素差值来形成残余视频块，如下文所论述。一般来说，运动估计单元42相对于明度分量执行运动估计，并且运动补偿单元44针对色度分量及明度分量两者使用基于明度分量计算的运动向量。以此方式，运动补偿单元44可再用针对明度分量确定的运动信息来对色度分量进行译码，以使得运动估计单元42不需要对色度分量执行运动搜索。模式选择单元40还可产生与视频块及视频切片相关联的供视频解码器30在解码视频切片的视频块时使用的语法元素。

作为如上文所描述由运动估计单元42及运动补偿单元44执行的帧间预测的替代方案，帧内预测单元46可对当前块进行帧内预测。确切地说，帧内预测单元46可以确定用来对当前块进行编码的帧内预测模式。在一些实例中，帧内预测单元46可以(例如)在单独的编码编次期间使用各种帧内预测模式来编码当前块，并且帧内预测单元46(或在一些实例中为模式选择单元40)可以从测试模式中选择适当帧内预测模式来使用。

举例来说，帧内预测单元46可使用速率-失真分析计算用于各种经测试帧内预测模式的速率-失真值，且从所述经测试模式当中选择具有最佳速率-失真特性的帧内预测模式。速率-失真分析大体上确定经编码块与经编码以产生所述经编码块的原始未编码块之间的失真(或误差)的量，以及用于产生经编码块的位速率(即，位数目)。帧内预测单元46可根据用于各种经编码块的失真和速率计算比率，以确定哪个帧内预测模式对于所述块展现最佳速率-失真值。

在针对一块选择帧内预测模式之后，帧内预测单元46可将指示用于所述块的选定帧内预测模式的信息提供到熵编码单元56。熵编码单元56可以对指示选定帧内预测模式的信息进行编码。视频编码器20可在所发射的位流中包含配置数据，所述配置数据可包含多个帧内预测模式索引表及多个修改的帧内预测模式索引表(还被称作码字映射表)，编码用于各种块的上下文的定义，及用于所述上下文中的每一者的最可能的帧内预测模式、帧内预测模式索引表及修改的帧内预测模式索引表的指示。

视频编码器20通过从经译码的原始视频块减去来自模式选择单元40的预测数据形成残余视频块。求和器50表示执行此减法运算的一或多个组件。变换处理单元52将例如离散余弦变换(DCT)或概念上类似的变换等变换应用于残余块，从而产生包括残余变换系数值的视频块。变换处理单元52可以执行概念上类似于DCT的其它变换。也可使用子波变换、整数变换、子带变换或其它类型的变换。在任何情况下，变换处理单元52向残余块应用所述变换，从而产生残余变换系数的块。

所述变换可将残余信息从像素值域转换到变换域(例如，频域)。变换处理单元52可将所得变换系数发送到量化单元54。量化单元54量化变换系数以进一步减小位速率。量化过程可减少与系数中的一些或全部相关联的位深度。可通过调整量化参数来修改量化程度。在一些实例中，量化单元54可以接着执行对包含经量化变换系数的矩阵的扫描。或者，熵编码单元56可以执行所述扫描。

在量化之后，熵编码单元56对经量化的变换系数进行熵译码。举例来说，熵编码单元56可以执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵译码技术。在基于上下文的熵译码的情况下，上下文可以基于相邻块。在由熵编码单元56进行熵译码之后，可将经编码位流发射到另一装置(例如，视频解码器30)，或将经编码位流存档以供稍后发射或检索。

反量化单元58和反变换单元60分别应用反量化和反变换，以重建像素域中的残余块，(例如)以用于稍后用作参考块。运动补偿单元44可以通过将残余块加到参考帧图片64中的帧中的一者的预测性块来计算参考块。运动补偿单元44还可将一或多个内插滤波器应用于经重建的残余块以计算子整数像素值用于运动估计。求和器62将经重建的残余块加到由运动补偿单元44产生的经运动补偿的预测块以产生经重建的视频块以用于存储在参考帧图片64中。经重建的视频块可由运动估计单元42和运动补偿单元44用作用于对后续视频帧中的块进行帧间译码的参考块。

视频编码器20可以实质上类似用于对明度分量进行译码的译码技术的方式对深度图进行编码，即使是在无对应色度分量的情况下。举例来说，帧内预测单元46可帧内预测深度图的块，而运动估计单元42及运动补偿单元44可帧间预测深度图的块。然而，如上文所论述，在深度图的帧间预测期间，运动补偿单元44可基于深度范围中的差及深度范围的精度值按比例缩放(也就是说，调整)参考深度图的值。举例来说，如果当前深度图及参考深度图中的不同最大深度值对应于相同现实世界深度，那么视频编码器20可出于预测的目的将参考深度图的最大深度值按比例缩放为等于当前深度图中的最大深度值。另外或替代地，视频编码器20可使用更新的深度范围值及精度值来产生用于视图合成预测的视图合成图片(例如使用实质上与视图间预测类似的技术)。

图8是说明可实施本发明的技术的视频解码器30的实例的框图。在图8的实例中，视频解码器30包含熵解码单元70、运动补偿单元72、帧内预测单元74、反量化单元76、反变换单元78、参考帧图片82及求和器80。视频解码器30在一些实例中可执行一般与关于视频编码器20(图7)所描述的编码遍次互逆的解码遍次。运动补偿单元72可基于从熵解码单元70接收的运动向量产生预测数据，而帧内预测单元74可基于从熵解码单元70接收的帧内预测模式指示符产生预测数据。

在解码过程期间，视频解码器30从视频编码器20接收表示经编码视频切片的视频块及相关联语法元素的经编码视频位流。视频解码器30的熵解码单元70对位流进行熵解码以产生经量化系数、运动向量或帧内预测模式指示符及其它语法元素。熵解码单元70将运动向量及其它语法元素转发到运动补偿单元72。视频解码器30可以接收在视频切片层级和/或视频块层级处的语法元素。

当视频切片经译码为经帧内译码(I)切片时，帧内预测单元74可以基于用信号发出的帧内预测模式及来自当前帧或图片的先前经解码块的数据产生用于当前视频切片的视频块的预测数据。当视频帧经译码为经帧间译码(例如，B、P或GPB)切片时，运动补偿单元72基于从熵解码单元70接收的运动向量及其它语法元素产生用于当前视频切片的视频块的预测性块。预测性块可以从参考图片列表中的一者内的参考图片中的一者产生。视频解码器30可基于存储于参考帧图片82中的参考图片使用本发明的技术建构参考帧列表：列表0及列表1。运动补偿单元72通过剖析运动向量及其它语法元素确定用于当前视频切片的视频块的预测信息，并且使用所述预测信息产生用于经解码的当前视频块的预测性块。举例来说，运动补偿单元72使用一些接收到的语法元素确定用于对视频切片的视频块进行译码的预测模式(例如，帧内预测或帧间预测)、帧间预测切片类型(例如，B切片、P切片或GPB切片)、切片的参考图片列表中的一或多者的建构信息、切片的每一经帧间编码的视频块的运动向量、切片的每一经帧间译码的视频块的帧间预测状态和用以对当前视频切片中的视频块进行解码的其它信息。

运动补偿单元72还可基于内插滤波器执行内插。运动补偿单元72可使用由视频编码器20在视频块的编码期间使用的内插滤波器来计算参考块的子整数像素的内插值。在此状况下，运动补偿单元72可根据接收的语法信息元素而确定由视频编码器20使用的内插滤波器且使用所述内插滤波器来产生预测性块。

反量化单元76将在位流中提供且由熵解码单元70解码的经量化变换系数反量化，即，解量化。反量化过程可包含使用由视频解码器30针对视频切片中的每一视频块计算以确定应应用的量化程度及同样的反量化程度的量化参数QP_Y。

反变换单元78对变换系数应用反变换(例如，反DCT、反整数变换，或概念上类似的反变换过程)，以便产生像素域中的残余块。

在运动补偿单元72基于运动向量及其它语法元素产生了当前视频块的预测性块之后，视频解码器30通过将来自反变换单元78的残余块与由运动补偿单元72产生的相对应的预测性块求和来形成经解码视频块。求和器90表示执行此求和运算的一或多个组件。如果需要的话，还可应用解块滤波器以对经解码块进行滤波，以便移除成块性假影。还可使用其它环路滤波器(在译码环路中或在译码环路之后)来使像素转变平滑或者以其它方式改善视频质量。接着将给定帧或图片中的经解码视频块存储在参考图片存储器82中，参考图片存储器82存储用于后续运动补偿的参考图片。参考图片存储器82还存储经解码视频用于以后在显示装置(例如图1的显示装置32)上呈现。

图9是展示根据本发明的技术的实例编码过程的流程图。图9的技术可由视频编码器20的一或多个结构单元实施。视频编码器20可经配置以导出用于当前块的一或多个视差向量，视差向量是从相对于当前块的相邻块导出(902)，且将视差向量转换成一或多个经视图间预测的运动向量候选者及视图间视差运动向量候选者(904)。

视频编码器20可经进一步配置以将一或多个经视图间预测的运动向量候选者及一或多个视图间视差运动向量候选者添加到用于运动向量预测模式的候选者列表(906)。运动向量预测模式可为跳过模式、合并模式及AMVP模式中的一者。在本发明的一个实例中，视频编码器20可经配置以基于经视图间预测的运动向量及视图间视差运动向量中的添加的一或多者与一个以上选定空间合并候选者的比较修剪候选者列表(908)。视频编码器20可经进一步配置以使用候选者列表对当前块进行编码(910)。在本发明的一个实例中，视频编码器20可经配置以使用视图间运动预测及视图间残余预测中的一者对当前块进行编码。

图10是展示根据本发明的技术的实例编码过程的流程图。图10的技术可由视频编码器20的一或多个结构单元实施。视频编码器20可经配置以导出用于当前块的一或多个视差向量，视差向量是从相对于当前块的相邻块导出(1002)，且一个视差向量用以定位参考视图中的一或多个参考块，其中基于使视差向量移位一或多个值来定位一或多个参考块(1004)。

视频编码器20可经进一步配置以将多个参考块的运动信息添加到用于运动向量预测模式的候选者列表，所添加的运动信息为一或多个视图间运动向量候选者(1006)。视频编码器20可经进一步配置以通过使视差向量移位一或多个值而将一或多个视图间视差运动向量候选者添加到候选者列表(1007)。在本发明的一些实例中，视频编码器20可经进一步配置以修剪候选者列表(1008)。在本发明的一个实例中，修剪候选者列表是基于一或多个添加的视图间运动向量候选者与空间合并候选者的比较。在本发明的另一实例中，修剪候选者列表是基于在无移位的情况下的一或多个添加的视图间运动向量候选者与基于经移位的视差向量的视图间运动向量候选者的比较。

在本发明的一个实例中，视频编码器20可经进一步配置以使一或多个视差向量水平地移位从-4到4的值，以使得经移位的视差向量固定于切片内。在本发明的另一实例中，视频编码器20可经进一步配置以使一或多个视差向量移位基于含有参考块的预测单元(PU)的宽度的值。在本发明的另一实例中，视频编码器20可经进一步配置以使一或多个视差向量移位基于当前块的宽度的值。

视频编码器20可经进一步配置以使用候选者列表对当前块进行编码(1110)。在本发明的一个实例中，对当前块进行编码包括使用视图间运动预测对当前块进行编码及/或使用视图间残余预测对当前块进行编码中的一者。

图11是展示根据本发明的技术的实例解码过程的流程图。图11的技术可由视频解码器30的一或多个结构单元实施。视频解码器30可经配置以导出用于当前块的一或多个视差向量，视差向量是从相对于当前块的相邻块导出(1102)，且将视差向量转换成一或多个经视图间预测的运动向量候选者及视图间视差运动向量候选者(1104)。

视频解码器30可经进一步配置以将一或多个经视图间预测的运动向量候选者及一或多个视图间视差运动向量候选者添加到用于运动向量预测模式的候选者列表(1106)。运动向量预测模式可为跳过模式、合并模式及AMVP模式中的一者。在本发明的一个实例中，视频解码器30可经配置以基于经视图间预测的运动向量及视图间视差运动向量中的添加的一或多者与一个以上选定空间合并候选者的比较修剪候选者列表(1108)。视频解码器30可进一步经配置使用候选者列表对当前块进行解码(1110)。在本发明的一个实例中，视频解码器30可经配置以使用视图间运动预测及/或视图间残余预测中的一者对当前块进行解码。

图12是展示根据本发明的技术的实例解码过程的流程图。图12的技术可由视频解码器30的一或多个结构单元实施。视频解码器30可经配置以导出用于当前块的一或多个视差向量，视差向量是从相对于当前块的相邻块导出(1202)，且使用一个视差向量以定位参考视图中的一或多个参考块，其中基于使视差向量移位一或多个值来定位一或多个参考块(1204)。

视频解码器30可经进一步配置以将多个参考块的运动信息添加到用于运动向量预测模式的候选者列表，所添加的运动信息为一或多个视图间运动向量候选者(1206)。视频解码器30可经进一步配置以通过使视差向量移位一或多个值而将一或多个视图间视差运动向量候选者添加到候选者列表(1207)。在本发明的一些实例中，视频解码器30可经进一步配置以修剪候选者列表(1208)。在本发明的一个实例中，修剪候选者列表是基于一或多个添加的视图间运动向量候选者与空间合并候选者的比较。在本发明的另一实例中，修剪候选者列表是基于在无移位的情况下的一或多个添加的视图间运动向量候选者与基于经移位的视差向量的视图间运动向量候选者的比较。

在本发明的一个实例中，视频解码器30可经进一步配置以使一或多个视差向量水平地移位从-4到4的值，以使得经移位的视差向量固定于切片内。在本发明的另一实例中，视频解码器30可经进一步配置以使一或多个视差向量移位基于含有参考块的预测单元(PU)的宽度的值。在本发明的另一实例中，视频解码器30可经进一步配置以使一或多个视差向量移位基于当前块的宽度的值。

视频解码器30可经进一步配置以使用候选者列表对当前块进行解码(1210)。在本发明的一个实例中，对当前块进行解码包括使用视图间运动预测对当前块进行解码及使用视图间残余预测对当前块进行解码中的一者。

应认识到，取决于实例，本文中所描述的技术中的任一者的某些动作或事件可用不同顺序来执行，可添加、合并或全部省略所述动作或事件(例如，实践所述技术未必需要所有所描述动作或事件)。此外，在某些实施例中，可同时(例如，通过多线程处理、中断处理或多个处理器)而非顺序地执行动作或事件。

在一或多个实例中，所描述功能可以硬件、软件、固件或其任何组合来实施。如果用软件实施，那么所述功能可以作为一或多个指令或代码在计算机可读媒体上存储或发射，并且由基于硬件的处理单元来执行。计算机可读媒体可包含计算机可读存储媒体，其对应于有形媒体，例如数据存储媒体，或包括任何促进将计算机程序从一处传送到另一处的媒体(例如，根据通信协议)的通信媒体。以此方式，计算机可读媒体通常可以对应于(1)有形计算机可读存储媒体，其是非暂时性的，或(2)通信媒体，例如信号或载波。数据存储媒体可以是可由一或多个计算机或一或多个处理器存取以检索用于实施本发明中描述的技术的指令、代码及/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。

借助于实例而非限制，此类计算机可读存储媒体可包含RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器或任何其它可用来存储指令或数据结构的形式的期望程序代码并且可由计算机存取的媒体。同样，可恰当地将任何连接称作计算机可读媒体。举例来说，如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或例如红外线、无线电及微波等无线技术从网站、服务器或其它远程源发射指令，那么同轴电缆、光纤电缆、双绞线、DSL或例如红外线、无线电及微波等无线技术包含于媒体的定义中。然而，应理解，所述计算机可读存储媒体和数据存储媒体并不包含连接、载波、信号或其它暂时性媒体，而是实际上针对非暂时性的有形存储媒体。如本文中所使用，磁盘及光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软磁盘及蓝光光盘，其中磁盘通常磁性地复制数据，而光盘使用激光光学地复制数据。上文的组合也应包含在计算机可读媒体的范围内。

可由例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路等一或多个处理器来执行指令。因此，如本文中所使用的术语“处理器”可指上述结构或适合于实施本文中所描述的技术的任一其它结构中的任一者。另外，在一些方面中，本文所述的功能性可以在经配置用于编码和解码的专用硬件和/或软件模块内提供，或者并入在组合编解码器中。并且，可将所述技术完全实施于一或多个电路或逻辑元件中。

本发明的技术可实施于广泛多种装置或设备中，所述装置或设备包含无线手持机、集成电路(IC)或一组IC(例如，芯片组)。本发明中描述各种组件、模块或单元是为了强调经配置以执行所揭示的技术的装置的功能方面，但未必需要通过不同硬件单元实现。实际上，如上文所描述，各种单元可以结合合适的软件及/或固件而组合在编解码器硬件单元中，或者通过互操作硬件单元的集合来提供，所述硬件单元包含如上文所描述的一或多个处理器。

已描述了各种实例。这些及其它实例属于所附权利要求书的范围内。

Claims

1.一种对多视图视频数据进行解码的方法，所述方法包括：

导出用于当前块的一或多个视差向量，所述视差向量是从相对于所述当前块的相邻块导出；

将视差向量转换成经视图间预测的运动向量候选者及视图间视差运动向量候选者中的一或多者；

将所述一或多个经视图间预测的运动向量候选者及所述一或多个视图间视差运动向量候选者添加到用于运动向量预测模式的候选者列表；及

使用所述候选者列表对所述当前块进行解码。

2.根据权利要求1所述的方法，其中对所述当前块进行解码包括使用视图间运动预测对所述当前块进行解码及使用视图间残余预测对所述当前块进行解码中的一者。

3.根据权利要求1所述的方法，其中所述运动向量预测模式为跳过模式、合并模式及高级运动向量预测AMVP模式中的一者。

4.根据权利要求1所述的方法，其进一步包括：

基于所述经视图间预测的运动向量及视图间视差运动向量中的所述添加的一或多者与一个以上选定空间合并候选者的比较修剪所述候选者列表。

5.一种对多视图视频数据进行解码的方法，所述方法包括：

使用一个视差向量来定位参考视图中的一或多个参考块，其中基于使视差向量移位一或多个值来定位所述一或多个参考块；

将多个所述参考块的运动信息添加到用于运动向量预测模式的候选者列表，所述所添加的运动信息为一或多个视图间运动向量候选者；

通过使视差向量移位一或多个值将所述一或多个视图间视差运动向量候选者添加到所述候选者列表；及

使用所述候选者列表对所述当前块进行解码。

6.根据权利要求5所述的方法，其进一步包括使所述一或多个视差向量水平地移位从-4到4的值，以使得所述经移位的视差向量固定于切片内。

7.根据权利要求5所述的方法，其进一步包括使所述一或多个视差向量移位基于含有参考块的预测单元PU的宽度的值。

8.根据权利要求5所述的方法，其进一步包括使所述一或多个视差向量移位基于所述当前块的宽度的值。

9.根据权利要求5所述的方法，其中对所述当前块进行解码包括使用视图间运动预测对所述当前块进行解码及使用视图间残余预测对所述当前块进行解码中的一者。

10.根据权利要求5所述的方法，其进一步包括：

基于所述一或多个添加的视图间运动向量候选者与空间合并候选者的比较修剪所述候选者列表。

11.根据权利要求5所述的方法，其进一步包括：

基于在无移位的情况下的所述一或多个添加的视图间运动向量候选者与基于经移位的视差向量的视图间运动向量候选者的比较修剪所述候选者列表。

12.一种经配置以对多视图视频数据进行解码的设备，所述设备包括：

视频解码器，其经配置以：

使用所述候选者列表对所述当前块进行解码。

13.根据权利要求12所述的设备，其中所述视频解码器通过执行使用视图间运动预测对所述当前块进行解码及使用视图间残余预测对所述当前块进行解码中的一者来对所述当前块进行解码。

14.根据权利要求12所述的设备，其中所述运动向量预测模式为跳过模式、合并模式及高级运动向量预测AMVP模式中的一者。

15.根据权利要求12所述的设备，其中所述视频解码器经进一步配置以：

16.一种经配置以对多视图视频数据进行解码的设备，所述设备包括：

视频解码器，其经配置以：

使用所述候选者列表对所述当前块进行解码。

17.根据权利要求16所述的设备，其中所述视频解码器经进一步配置以使所述一或多个视差向量水平地移位从-4到4的值，以使得所述经移位的视差向量固定于切片内。

18.根据权利要求16所述的设备，其中所述视频解码器经进一步配置以使所述一或多个视差向量移位基于含有参考块的预测单元PU的宽度的值。

19.根据权利要求16所述的设备，其中所述视频解码器经进一步配置以使所述一或多个视差向量移位基于所述当前块的宽度的值。

20.根据权利要求16所述的设备，其中所述视频解码器通过执行使用视图间运动预测对所述当前块进行解码及使用视图间残余预测对所述当前块进行解码中的一者来对所述当前块进行解码。

21.根据权利要求16所述的设备，其中所述视频解码器经进一步配置以：

22.根据权利要求16所述的设备，其中所述视频解码器经进一步配置以：

23.一种经配置以对多视图视频数据进行解码的设备，所述设备包括：

用于导出用于当前块的一或多个视差向量的装置，所述视差向量是从相对于所述当前块的相邻块导出；

用于将视差向量转换成经视图间预测的运动向量候选者及视图间视差运动向量候选者中的一或多者的装置；

用于将所述一或多个经视图间预测的运动向量候选者及所述一或多个视图间视差运动向量候选者添加到用于运动向量预测模式的候选者列表的装置；及

用于使用所述候选者列表对所述当前块进行解码的装置。

24.一种经配置以对多视图视频数据进行解码的设备，所述设备包括：

用于使用一个视差向量来定位参考视图中的一或多个参考块的装置，其中基于使视差向量移位一或多个值来定位所述一或多个参考块；

用于将多个所述参考块的运动信息添加到用于运动向量预测模式的候选者列表的装置，所述所添加的运动信息为一或多个视图间运动向量候选者；

用于通过使视差向量移位一或多个值将所述一或多个视图间视差运动向量候选者添加到所述候选者列表的装置；及

用于使用所述候选者列表对所述当前块进行解码的装置。

25.一种存储指令的计算机可读存储媒体，所述指令在执行时致使经配置以对视频数据进行解码的装置的一或多个处理器：

使用所述候选者列表对所述当前块进行解码。

26.一种存储指令的计算机可读存储媒体，所述指令在执行时致使经配置以对视频数据进行解码的装置的一或多个处理器：

使用所述候选者列表对所述当前块进行解码。

27.一种对多视图视频数据进行编码的方法，所述方法包括：

使用所述候选者列表对所述当前块进行编码。

28.根据权利要求27所述的方法，其中对所述当前块进行编码包括使用视图间运动预测对所述当前块进行编码及使用视图间残余预测对所述当前块进行编码中的一者。

29.根据权利要求27所述的方法，其中所述运动向量预测模式为跳过模式、合并模式及高级运动向量预测AMVP模式中的一者。

30.根据权利要求27所述的方法，其进一步包括：

31.一种对多视图视频数据进行编码的方法，所述方法包括：

使用所述候选者列表对所述当前块进行编码。

32.根据权利要求31所述的方法，其进一步包括使所述一或多个视差向量水平地移位从-4到4的值，以使得所述经移位的视差向量固定于切片内。

33.根据权利要求31所述的方法，其进一步包括使所述一或多个视差向量移位基于含有参考块的预测单元PU的宽度的值。

34.根据权利要求31所述的方法，其进一步包括使所述一或多个视差向量移位基于所述当前块的宽度的值。

35.根据权利要求31所述的方法，其中对所述当前块进行编码包括使用视图间运动预测对所述当前块进行编码及使用视图间残余预测对所述当前块进行编码中的一者。

36.根据权利要求31所述的方法，其进一步包括：

37.根据权利要求31所述的方法，其进一步包括：

38.一种经配置以对多视图视频数据进行编码的设备，所述设备包括：

视频编码器，其经配置以：

使用所述候选者列表对所述当前块进行编码。

39.根据权利要求38所述的设备，其中所述视频编码器通过执行使用视图间运动预测对所述当前块进行编码及使用视图间残余预测对所述当前块进行编码中的一者来对所述当前块进行编码。

40.根据权利要求38所述的设备，其中所述运动向量预测模式为跳过模式、合并模式及高级运动向量预测AMVP模式中的一者。

41.根据权利要求38所述的设备，其中所述视频编码器经进一步配置以：

42.一种经配置以对多视图视频数据进行编码的设备，所述设备包括：

视频编码器，其经配置以：

使用所述候选者列表对所述当前块进行编码。

43.根据权利要求42所述的设备，其中所述视频编码器经进一步配置以使所述一或多个视差向量水平地移位从-4到4的值，以使得所述经移位的视差向量固定于切片内。

44.根据权利要求42所述的设备，其中所述视频编码器经进一步配置以使所述一或多个视差向量移位基于含有参考块的预测单元PU的宽度的值。

45.根据权利要求42所述的设备，其中所述视频编码器经进一步配置以使所述一或多个视差向量移位基于所述当前块的宽度的值。

46.根据权利要求42所述的设备，其中所述视频编码器通过执行使用视图间运动预测对所述当前块进行编码及使用视图间残余预测对所述当前块进行编码中的一者来对所述当前块进行编码。

47.根据权利要求42所述的设备，其中所述视频编码器经进一步配置以：

48.根据权利要求42所述的设备，其中所述视频编码器经进一步配置以：