CN105247868B - 使用缩放因数的再取样 - Google Patents

Abstract

本发明涉及一种根据某些方面的用于译码视频信息的设备，其包含存储器及处理器。所述存储器单元经配置以存储与参考层图片及增强层图片相关联的视频信息。所述处理器经配置以：存储与参考层图片及增强层图片相关联的视频信息；接收指示在第一方向上的所述参考层图片与所述增强层图片之间的缩放比例的缩放因数；使用所述缩放因数确定舍入偏移值而无需执行除法运算；及使用所述缩放因数及所述舍入偏移值确定对应于位于所述增强层图片中的第二样本的位于所述参考层图片中的第一样本在所述第一方向上的坐标。

Description

使用缩放因数的再取样

技术领域

本发明涉及视频译码及压缩的领域。具体来说，本发明涉及可缩放视频译码(SVC)，包含用于高级视频译码(AVC)的SVC以及用于高效率视频译码(HEVC)的SVC(其还被称作可缩放HEVC(SHVC))。本发明也涉及3D视频译码，例如HEVC的多视图扩展(被称作MV-HEVC)。各种实施例涉及用于确定再取样过程中使用的舍入偏移的***及方法。

背景技术

数字视频能力可并入到广泛范围的装置中，包含数字电视、数字直播***、无线广播***、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子书阅读器、数字相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话(所谓的“智能电话”)、视频电话会议装置、视频流式传输装置及其类似者。数字视频装置实施视频译码技术，例如由MPEG-2、MPEG-4、ITU-T H.263或ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)所定义的标准、目前正在开发的高效率视频译码(HEVC)标准及这些标准的扩展中所描述的那些视频译码技术。视频装置可通过实施此类视频译码技术而更有效地发射、接收、编码、解码及/或存储数字视频信息。

视频译码技术包含空间(图片内)预测及/或时间(图片间)预测以减少或移除视频序列中固有的冗余。对于基于块的视频译码，视频切片(例如，视频帧或视频帧的一部分)可分割成视频块，所述视频块还可被称作树块(treeblock)、译码单元(CU)及/或译码节点。使用相对于同一图片中的相邻块中的参考样本的空间预测对图片的经帧内译码(I)切片中的视频块进行编码。图片的经帧间译码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称为帧，且参考图片可被称为参考帧。

空间或时间预测导致用于待译码块的预测性块。残余数据表示待译码原始块与预测性块之间的像素差。经帧间译码块是根据指向形成预测性块的参考样本块的运动向量及指示经译码块与预测性块之间的差的残余数据来编码。经帧内译码块是根据帧内译码模式及残余数据来编码。为了进一步压缩，可将残余数据从像素域变换到变换域，从而产生残余变换系数，接着可对残余变换系数进行量化。可扫描最初布置为二维阵列的经量化变换系数，以便产生变换系数的一维向量，且可应用熵译码以实现甚至更多压缩。

发明内容

一般来说，本发明所描述技术涉及可缩放视频译码(SVC)。下文所描述的各种技术提供用于确定再取样过程中使用的舍入偏移的方法及装置。

一种根据某些方面的用于译码视频信息的设备包含存储器及处理器。所述存储器单元经配置以存储与参考层图片及增强层图片相关联的视频信息。所述处理器经配置以：存储与参考层图片及增强层图片相关联的视频信息；接收指示在第一方向上的所述参考层图片与所述增强层图片之间的缩放比例的缩放因数；使用所述缩放因数确定舍入偏移值而无需执行除法运算；及使用所述缩放因数及所述舍入偏移值确定对应于位于所述增强层图片中的第二样本的位于所述参考层图片中的第一样本在所述第一方向上的坐标。

在附图及以下描述中阐述一或多个实例的细节，其并不希望限制本文中所描述的本发明性概念的完整范围。其它特征、目标及优势将从描述及附图且从权利要求书中显而易见。

附图说明

贯穿各图式，参考标号可再使用以指示所参考元件之间的对应关系。提供图式以说明本文中所描述的实例实施例，且并不希望限制本发明的范围。

图1为说明可利用根据本发明中描述的方面的技术的实例视频编码及解码***的框图。

图2A为说明可实施根据本发明中描述的方面的技术的视频编码器的实例的框图。

图2B为说明可实施根据本发明中描述的方面的技术的视频编码器的实例的框图。

图3A为说明可实施根据本发明中描述的方面的技术的视频解码器的实例的框图。

图3B为说明可实施根据本发明中描述的方面的技术的视频解码器的实例的框图。

图4为说明根据本发明的方面的确定再取样过程中使用的舍入偏移的实例的框图。

图5为说明根据本发明的方面的用于确定再取样过程中使用的舍入偏移的方法的一个实施例的流程图。

图6为说明根据本发明的方面的用于确定再取样过程中使用的舍入偏移的方法的另一实施例的流程图。

具体实施方式

本发明中描述的技术一般来说涉及可缩放视频译码(SHVC、SVC)及多视图/3D视频译码(例如，多视图译码加深度，MVC+D)。举例来说，技术可与高效率视频译码(HEVC)可缩放视频译码(SVC，有时称为SHVC)扩展相关，且与其一起或在其内使用。在SHVC、SVC扩展中，可存在多个视频信息层。在最底部层级处的层可充当基础层(BL)，且在最顶部处的层(或最高层)可充当增强层(EL)。“增强层(enhanced layer)”有时被称作“增强层(enhancementlayer)”，且这些术语可互换地使用。基础层有时被称作“参考层”(RL)，且这些术语也可互换地使用。基础层与顶层之间的所有层可充当EL或参考层(RL)中的任一者或两者。举例来说，中部层可为在其下方的层(例如，基础层或任何介入增强层)的EL，且同时充当在其上方的增强层的RL。基础层与顶层(或最高层)之间的每一层可用作较高层进行层间预测的参考，且可使用较低层作为用于层间预测的参考。

为简单起见，根据仅两个层来呈现实例：BL及EL；然而，应很好地理解，下文描述的构想及实施例还适用于具有多个层的情况。另外，为易于解释，常常使用术语“帧”或“块”。然而，这些术语不希望具有限制性。举例来说，下文所描述的技术可与多种视频单元中的任一者一起使用，包含(但不限于)像素、块(例如，CU、PU、TU、宏块等)、切片、帧、图片等。

视频译码

视频译码标准包含ITU-T H.261、ISO/IEC MPEG-1视觉、ITU-T H.262或ISO/IECMPEG-2视觉、ITU-T H.263、ISO/IEC MPEG-4视觉及ITU-T H.264(也被称作ISO/IEC MPEG-4AVC)，包含其可缩放视频译码(SVC)及多视图视频译码(MVC)及多视图译码加深度(MVC+D)扩展。最新HEVC草案规范(且在下文中被称作HEVC WD10)可自http://phenix.int-evry.fr/jct/doc_end_user/documents/12_Geneva/wg11/JCTVC-L1003-v34.zip获得。对HEVC的多视图扩展(即，MV-HEVC)也由JCT-3V开发。下文中的MV-HEVC WD3的最近工作草案(WD)可自http://phenix.it-sudparis.eu/jct2/doc_end_user/documents/3_Geneva/wg11/JCT3V-C1004-v4.zip获得。对HEVC的可缩放扩展(称为SHVC)也由JCT-VC开发。SHVC的最近工作草案(WD)(且在下文中被称作SHVC WD2)可自http://phenix.int-evry.fr/jct/doc_end_user/documents/13_Incheon/wg11/JCTVC-M1008-v1.zip获得。

在SVC、SHVC中，视频信息可提供为多个层。在最底部层级处的层可刚好充当基础层(BL)，且在最顶部层级处的层可充当增强层(EL)。顶部层与底部层之间的所有层可充当增强层及基础层两者。举例来说，中部层可为在其下方的层的EL，且同时作为在其上方的层的BL。为简单描述起见，我们可在说明下文所描述的技术时假定存在两个层，BL及EL。然而，本文中所描述的所有技术还适用于具有多个(两个以上)层的情况。

可缩放视频译码(SVC)可用于提供质量(还被称作信噪比(SNR))可缩放性、空间可缩放性及/或时间可缩放性。举例来说，在一个实施例中，参考层(例如，基础层)包含足以在第一质量水平下显示视频的视频信息，且增强层包含相对于参考层的额外视频信息，使得参考层及增强层一起包含足以在高于第一水平的第二质量水平(例如，较少噪音、较大分辨率、较好帧速率等)下显示视频的视频信息。增强层可具有与基础层不同的空间分辨率。举例来说，EL与BL之间的空间纵横比在垂直及水平方向上可为1.0、1.5、2.0或其它不同比率。换句话说，EL的空间方面可等于BL的空间方面的1.0、1.5或2.0倍。在一些实例中，EL的缩放因数可大于BL。举例来说，EL中的图片的大小可大于BL中的图片的大小。以此方式，EL的空间分辨率大于BL的空间分辨率可为可能的(但并非限制)。

在SVC(其是指H.264的SVC扩展或H.265的SHVC扩展(如上文所论述))中，可使用针对SVC提供的不同层执行当前块预测。此预测可被称为层间预测。可在SVC中利用层间预测方法以便减少层间冗余。层间预测的一些实例可包含层间帧内预测、层间运动预测及层间残余预测。层间帧内预测使用基础层中的共置块的重建构来预测增强层中的当前块。层间运动预测使用基础层的运动信息(包含运动向量)来预测增强层中的运动。层间残余预测使用基础层的残余来预测增强层的残余。

概述

在SHVC中，如果参考层图片大小不同于增强层图片大小，则可将再取样(或上取样)过程应用于参考层图片以匹配增强层图片的大小以用于层间预测。为对参考层图片再取样，可将N分接头再取样滤波器应用于每一颜色分量。在滤波过程中，可将参考层图片的样本(或像素)量值乘以滤波器系数并求和。由于参考层图片的大小及增强层图片的大小不同，因此可定义滤波过程中涉及的参考层样本的坐标。举例来说，可确定对应于当前增强层图片的样本位置的参考层图片的样本位置，使得由参考层图片的样本位置指示的样本可用于再取样过程。

在再取样过程期间，可应用额外舍入偏移。可在确定待再取样的参考层图片的样本位置时添加舍入偏移。举例来说，可在垂直方向上应用额外舍入偏移addY。类似地，可在水平方向上应用额外舍入偏移addX。参考层图片的样本位置可由水平样本位置及垂直样本位置定义。可在确定用于再取样的参考层图片的水平样本位置时添加水平舍入偏移，且可在确定用于再取样的参考层图片的垂直样本位置时添加垂直舍入偏移。

在SHVC的工作草案2中，addY被计算为如下：

●addY＝(((RefLayerPicHeightInSamplesL*phaseY)<<14)+(ScaledRefLayerPicHeightInSamplesL>>1))/ScaledRefLayerPicHeightInSamplesL，

其中RefLayerPicHeightInSamplesL指示参考层图片的高度且ScaledRefLayerPicHeightInSamplesL指示经缩放或经再取样参考层图片的高度。然而，使用除法运算以计算addY可代价大。因此，以更有效方式计算addY将是有利的。

为了解决这些及其它挑战，本发明中描述的技术可在无需通过使用先前所计算缩放因数执行除法运算的情况下计算用于再取样参考层图片的舍入偏移。缩放因数可包含水平缩放因数ScaleFactorX及垂直缩放因数ScaleFactorY。水平缩放因数及垂直缩放因数也可分别被称作水平缩放因数及垂直缩放因数。水平缩放因数及垂直缩放因数可分别指示水平方向上的参考层图片与增强层图片之间的缩放比例及垂直方向上的参考层图片与增强层图片之间的缩放比例。ScaleFactorX及ScaleFactorY可被计算为如下：

●ScaleFactorX＝((RefLayerPicWidthInSamplesL<<16)+(ScaledRefLayerPicWidthInSamplesL>>1))/ScaledRefLayerPicWidthInSamplesL

●ScaleFactorY＝((RefLayerPicHeightInSamplesL<<16)+(ScaledRefLayerPicHeightInSamplesL>>1))/ScaledRefLayerPicHeightInSamplesL，

其中RefLayerPicWidthInSamplesL及RefLayerPicHeightInSamplesL分别指示参考层图片的宽度及高度，且ScaledRefLayerPicWidthInSamplesL及ScaledRefLayerPicHeightInSamplesL分别指示经缩放或经再取样参考层图片的宽度及高度。

由于缩放因数的计算类似于舍入偏移的计算，因此技术可在计算舍入偏移时利用缩放因数。如上文所解释，可存在用于水平方向的舍入偏移及用于垂直方向的舍入偏移。在一个实施例中，addY及addX可被计算为如下：

●addY＝(ScaleFactorY*phaseY+offset)>>2，

●addX＝(ScaleFactorX*phaseX+offset)>>2，

其中偏移可为一些数目(例如，0、1、2等)。

一般来说，当计算舍入偏移时缩放因数可用，且因此，可基于缩放因数计算舍入偏移而无需执行除法运算。由于除法运算代价大，因此可通过排除除法运算更有效地计算舍入偏移。结果，也可更有效地执行译码过程。

在下文中参考附图更充分地描述新颖***、设备及方法的各个方面。然而，本发明可以许多不同形式体现，且不应将其理解为限于贯穿本发明所呈现的任何特定结构或功能。实际上，提供这些方面使得本发明将为透彻且完整的，且将向所属领域的技术人员充分传达本发明的范围。基于本文中的教示，所属领域的技术人员应了解，本发明的范围既定涵盖无论是独立于本发明的任何其它方面而实施还是与之组合而实施的本文中所揭示的新颖***、设备及方法的任何方面。举例来说，可使用本文中阐述的任何数目个方面来实施设备或实践方法。另外，本发明的范围既定涵盖使用除本文中所阐述的本发明的各个方面之外或除了所述方面的其它结构、功能性或结构与功能性来实践的此设备或方法。应理解，可通过权利要求的一或多个要素来体现本文中所揭示的任何方面。

尽管本文中描述了特定方面，但这些方面的许多变化及排列属于本发明的范围。尽管提到优选方面的一些益处及优势，但本发明的范围并不希望限于特定益处、用途或目标。实际上，本发明的方面既定广泛地适用于不同无线技术、***配置、网络及发射协议，其中的一些是作为实例而在图中及优选方面的以下描述中说明。详细描述及图式仅仅说明本发明，而不是限制由所附权利要求书及其等效物定义的本发明的范围。

视频译码***

图1为说明可利用根据本发明中描述的方面的技术的实例视频译码***10的框图。如本文中所描述地使用，术语“视频译码器”一般指视频编码器及视频解码器两者。在本发明中，术语“视频译码”或“译码”可一般指视频编码及视频解码。

如图1中所展示，视频译码***10包含源装置12及目的地装置14。源装置12产生经编码视频数据。目的地装置14可解码由源装置12产生的经编码视频数据。源装置12可经由通信信道16(其可包含计算机可读存储媒体或其它通信信道)将视频数据提供到目的地装置14。源装置12及目的地装置14可包含广泛范围的装置，包含桌上型计算机、笔记型(例如，膝上型)计算机、平板计算机、机顶盒、电话手持机(例如，所谓的“智能”电话、所谓的“智能”板)、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台、车载计算机、视频流式传输装置或其类似者。源装置12及目的地装置14可经装备以用于无线通信。

目的地装置14可经由通信信道16接收待解码的经编码视频数据。通信信道16可包括能够将经编码视频数据从源装置12移动到目的地装置14的媒体或装置类型。举例来说，通信信道16可包括使得源装置12能够实时将经编码视频数据直接发射到目的地装置14的通信媒体。经编码视频数据可根据通信标准(例如，无线通信协议)来调制，且被发射到目的地装置14。通信媒体可包括无线或有线通信媒体，例如射频(RF)频谱或一或多个物理发射线。通信媒体可形成分组网络(例如，局域网、广域网或全球网络，例如因特网)的部分。通信媒体可包含路由器、交换器、基站或可用于促进从源装置12到目的地装置14的通信的其它设备。

在一些实施例中，经编码数据可从输出接口22输出到存储装置。在此类实例中，信道16可对应于存储由源装置12产生的经编码视频数据的存储装置或计算机可读存储媒体。举例来说，目的地装置14可经由磁盘接入或卡接入接入计算机可读存储媒体。类似地，可通过输入接口28从计算机可读存储媒体接入经编码数据。计算机可读存储媒体可包含多种分布式或本地接入的数据存储媒体中的任一者，例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、闪存存储器、易失性或非易失性存储器，或用于存储视频数据的其它数字存储媒体。计算机可读存储媒体可对应于文件服务器或可存储由源装置12产生的经编码视频的另一中间存储装置。目的地装置14可经由流式传输或下载从计算机可读存储媒体接入所存储视频数据。文件服务器可为能够存储经编码视频数据并将经编码视频数据发射到目的地装置14的服务器类型。实例文件服务器包含网络服务器(例如，用于网站)、FTP服务器、网络附接存储(NAS)装置或本地磁盘驱动器。目的地装置14可通过标准数据连接(包含因特网连接)接入经编码视频数据。此连接可包含适于接入存储于文件服务器上的经编码视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)或两者的组合。从计算机可读存储媒体的经编码视频数据发射可为流式发射、下载发射或两者的组合。

本发明的技术可应用除无线应用或设定之外的应用或设定。所述技术可应用于视频译码以支持多种多媒体应用，例如空中协议电视广播、有线电视发射、***发射、因特网流式视频发射(例如，动态自适应HTTP流式传输(DASH))、经编码到数据存储媒体上的数字视频，存储在数据存储媒体上的数字视频的解码，或其它应用。在一些实施例中，***10可经配置以支持单向或双向视频发射，以支持例如视频流式传输、视频回放、视频广播及/或视频电话的应用。

在图1中，源装置12包含视频源18、视频编码器20及输出接口22。目的地装置14包含输入接口28、视频解码器30及显示装置32。源装置12的视频编码器20可经配置以应用用于译码包含视频数据(符合多个标准或标准扩展)的位流的技术。在其它实施例中，源装置及目的地装置可包含其它组件或布置。举例来说，源装置12可从外部视频源18(例如，外部相机)接收视频数据。同样地，目的地装置14可与外部显示装置介接，而不是包含集成显示装置。

源装置12的视频源18可包含视频俘获装置，例如摄像机、含有先前所俘获视频的视频存档及/或用以从视频内容提供者接收视频的视频馈入接口。视频源18可产生基于计算机图形的数据(作为源视频)，或实况视频、所存档视频及计算机产生的视频的组合。在一些实施例中，如果视频源18为摄像机，则源装置12及目的地装置14可形成所谓的相机电话或视频电话。可由视频编码器20编码所俘获视频、预俘获视频或计算机产生视频。经编码视频信息可由输出接口22输出到可包含计算机可读存储媒体的通信信道16，如上文所论述。

计算机可读存储媒体可包含瞬时媒体，例如无线广播或有线网络发射，或存储媒体(例如，非暂时性存储媒体)，例如硬盘、闪存驱动器、压缩光盘、数字视频光盘、蓝光光盘或其它计算机可读媒体。网络服务器(未展示)可从源装置12接收经编码视频数据，且将经编码视频数据提供到目的地装置14(例如，经由网络发射)。媒体生产设施(例如，光盘冲压设施)的计算装置可从源装置12接收经编码视频数据，且产生含有经编码视频数据的光盘。因此，通信信道16可理解为包含一或多个各种形式的计算机可读存储媒体。

目的地装置14的输入接口28可从通信信道16接收信息。通信信道16的信息可包含由视频编码器20定义的语法信息，所述语法信息可由视频解码器30使用，所述语法信息包含描述块及其它经译码单元(例如，GOP)的特性及/或处理的语法元素。显示装置32向用户显示经解码视频数据，且可包含例如阴极射线管(CRT)、液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置的多种显示装置中的任一者。

视频编码器20及视频解码器30可根据视频译码标准(例如，目前正在开发的高效率视频译码(HEVC)标准)来操作，且可符合HEVC测试模型(HM)。替代性地，视频编码器20及视频解码器30可根据其它专属或行业标准来操作，所述标准例如ITU-T H.264标准，替代性地被称为MPEG-4第10部分高级视频译码(AVC)，或此类标准的扩展。然而，本发明的技术不限于任何特定译码标准。视频译码标准的其它实例包含MPEG-2及ITU-T H.263。尽管图1中未展示，但在一些方面中，视频编码器20及视频解码器30可各自与音频编码器及解码器集成，且可包含适当多路复用器-多路分用器(MUX-DEMUX)单元或其它硬件及软件，以处理共同数据流或单独数据流中的音频及视频两者的编码。如果适用，MUX-DEMUX单元可符合ITUH.223多路复用器协议或例如用户数据报协议(UDP)的其它协议。

图1仅仅为实例，且本发明的技术可适用于未必包含编码装置与解码装置之间的任何数据通信的视频译码设定(例如，视频编码或视频解码)。在其它实例中，数据可从本地存储器检索、经由网络流式传输，或其类似者。编码装置可编码数据且将数据存储到存储器，及/或解码装置可从存储器检索数据并解码数据。在许多实例中，由并不彼此通信而是简单地编码数据到存储器及/或从存储器检索且解码数据的装置执行编码及解码。

视频编码器20及视频解码器30各自可经实施为例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合的多种合适编码器电路中的任一者。当部分地以软件实施所述技术时，装置可将用于软件的指令存储于非暂时性计算机可读媒体中且使用一或多个处理器以硬件执行指令以执行本发明的技术。视频编码器20及视频解码器30中的每一者可包含在一或多个编码器或解码器中，所述编码器或解码器中的任一者可集成为相应装置中的组合编码器/解码器(编码解码器)的部分。包含视频编码器20及/或视频解码器30的装置可包括集成电路、微处理器及/或无线通信装置，例如蜂窝式电话。

JCT-VC正在努力开发HEVC标准。HEVC标准化努力是基于被称作HEVC测试模型(HM)的视频译码装置的演进模型。HM假设视频译码装置根据(例如)ITU-T H.264/AVC相对于现存装置的若干额外能力。举例来说，虽然H.264提供九种帧内预测编码模式，但HM可提供多达三十三种帧内预测编码模式。

一般来说，HM的工作模型描述视频帧或图片可划分成包含明度及色度样本两者的一序列树块或最大译码单元(LCU)。位流内的语法数据可定义LCU的大小，LCU为在像素数目方面的最大译码单元。切片包含按译码次序的数个连续树块。视频帧或图片可分割成一或多个切片。每一树块可根据四叉树而***成译码单元(CU)。一般来说，四叉树数据结构包含每CU一个节点，其中根节点对应于树块。如果CU***成四个子CU，则对应于CU的节点包含四个叶节点，其中叶节点中的每一者对应于子CU中的一者。

四叉树数据结构的每一节点可提供用于对应CU的语法数据。举例来说，四叉树中的节点可包含***旗标，其指示对应于所述节点的CU是否***成子CU。用于CU的语法元素可递归地来定义，且可取决于CU是否***成子CU。如果CU不进一步***，则将其称为叶CU。在本发明中，叶CU的四个子CU也将被称作叶CU，即使不存在原始叶CU的明确***时也是如此。举例来说，如果16×16大小的CU不进一步***，则四个8×8子CU也将被称作叶CU，尽管16×16CU从未***。

CU具有类似于H.264标准的宏块的目的，但CU并不具有大小区别。举例来说，树块可***成四个子节点(还称为子CU)，且每一子节点又可为父节点且可***成另外四个子节点。最后的未***子节点(被称作四叉树的叶节点)包括译码节点，还称为叶CU。与经译码位流相关联的语法数据可定义树块可***的最大次数(被称作最大CU深度)，且还可定义译码节点的最小大小。因此，位流还可定义最小译码单元(SCU)。本发明使用术语“块”来指HEVC的上下文中的CU、PU或TU中的任一者，或其它标准的上下文中的类似数据结构(例如，其在H.264/AVC中的宏块及子块)。

CU包含译码节点以及与译码节点相关联的预测单元(PU)及变换单元(TU)。CU的大小对应于译码节点的大小且形状必须为正方形。CU的大小可介于8×8像素至多具有最大64×64像素或更大的树块大小的范围内。每一CU可含有一或多个PU及一或多个TU。举例来说，与CU相关联的语法数据可描述将CU分割成一或多个PU。分割模式可在CU被跳过或经直接模式编码、经帧内预测模式编码或经帧间预测模式编码之间有所不同。PU可分割成非正方形形状。举例来说，与CU相关联的语法数据还可描述将CU根据四叉树分割成一或多个TU。TU可为正方形或非正方形(例如，矩形)形状。

HEVC标准允许根据TU的变换，TU可针对不同CU而有所不同。TU的大小通常是基于针对经分割LCU定义的给定CU内的PU的大小而设定，但情况可并不总是如此。TU通常与PU大小相同或小于PU。在一些实例中，对应于CU的残余样本可使用被称为“残余四叉树”(RQT)的四叉树结构再分成较小单元。RQT的叶节点可被称为变换单元(TU)。可变换与TU相关联的像素差值以产生可经量化的变换系数。

叶CU可包含一或多个预测单元(PU)。一般来说，PU表示对应于对应CU的全部或一部分的空间区域，且可包含用于检索PU的参考样本的数据。此外，PU包含相关于预测的数据。举例来说，当PU经帧内模式编码时，用于PU的数据可包含在残余四叉树(RQT)中，残余四叉树可包含描述用于对应于PU的TU的帧内预测模式的数据。作为另一实例，当PU经帧间模式编码时，PU可包含定义PU的一或多个运动向量的数据。定义PU的运动向量的数据可描述(例如)运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如，四分之一像素精度或八分之一像素精度)、运动向量所指向的参考图片，及/或运动向量的参考图片列表(例如，列表0、列表1或列表C)。

具有一或多个PU的叶CU还可包含一或多个变换单元(TU)。变换单元可使用RQT(还被称作TU四叉树结构)来指定，如上文所论述。举例来说，***旗标可指示叶CU是否***成四个变换单元。接着，每一变换单元可进一步***成另外子TU。当TU未经进一步***时，其可被称作叶TU。一般来说，对于帧内译码，所有属于叶CU的叶TU共用相同的帧内预测模式。即，一般应用相同帧内预测模式来计算叶CU的所有TU的预测值。对于帧内译码，视频编码器可使用帧内预测模式针对每一叶TU计算残余值，作为CU的对应于TU的部分与原始块之间的差。TU未必限于PU的大小。因此，TU可比PU大或小。对于帧内译码，PU可与相同CU的对应叶TU共置。在一些实例中，叶TU的最大大小可对应于对应叶CU的大小。

此外，叶CU的TU还可与相应四叉树数据结构(被称作残余四叉树(RQT))相关联。即，叶CU可包含指示叶CU如何分割成TU的四叉树。TU四叉树的根节点一般对应于叶CU，而CU四叉树的根节点一般对应于树块(或LCU)。未***的RQT的TU被称作叶TU。一般来说，除非另外提到，否则本发明分别使用术语CU及TU来指叶CU及叶TU。

视频序列通常包含一系列视频帧或图片。图片群组(GOP)一般包括一系列视频图片中的一或多者。GOP可包含GOP的标头、图片中的一或多者的标头或别处中的语法数据，其描述GOP中包含的图片数目。图片的每一切片可包含切片语法数据，其描述用于相应切片的编码模式。视频编码器20通常对个别视频切片内的视频块进行操作以便编码视频数据。视频块可对应于CU内的译码节点。视频块可具有固定或变化的大小，且可根据指定译码标准而大小不同。

作为实例，HM支持各种PU大小的预测。假定特定CU的大小为2N×2N，则HM支持2N×2N或N×N的PU大小的帧内预测，及2N×2N、2N×N、N×2N或N×N的对称PU大小的帧间预测。HM还支持用于2N×nU、2N×nD、nL×2N及nR×2N的PU大小的帧间预测的不对称分割。在不对称分割中，不分割CU的一个方向，但另一方向被分割成25％及75％。CU的对应于25％分区的部分由“n”后面接着“上方”、“下方”、“左侧”或“右侧”的指示来指示。因此，例如，“2N×nU”是指经水平地分割的2N×2N CU，其中顶部为2N×0.5N PU，而底部为2N×1.5N PU。

在本发明中，“N×N”及“N乘N”可互换使用以在垂直尺寸及水平尺寸方面来指视频块的像素尺寸，例如，16×16像素或16乘16像素。一般来说，16×16块将在垂直方向上具有16个像素(y＝16)，且在水平方向上具有16个像素(x＝16)。同样地，N×N块在垂直方向上一般具有N个像素，且在水平方向上具有N个像素，其中N表示非负整数值。块中的像素可布置成若干行及若干列。此外，块未必需要在水平方向与垂直方向上具有相同数目个像素。举例来说，块可包括N×M个像素，其中M未必等于N。

在使用CU的PU进行帧内预测性或帧间预测性译码之后，视频编码器20可计算用于CU的TU的残余数据。PU可包括描述在空间域(还被称作像素域)中产生预测性像素数据的方法或模式的语法数据，且TU可包括在应用变换(例如，离散正弦变换(DST)、离散余弦变换(DCT)、整数变换、小波变换或概念上类似变换)到残余视频数据之后的变换域中的系数。残余数据可对应于未经编码图片的像素与对应于PU的预测值之间的像素差。视频编码器20可形成包含用于CU的残余数据的TU，且接着变换TU以产生用于CU的变换系数。

在用以产生变换系数的任何变换之后，视频编码器20可执行变换系数的量化。量化为既定具有其最广泛一般含义的广义术语。在一个实施例中，量化是指变换系数经量化以可能减少用于表示系数的数据量从而提供进一步压缩的过程。量化过程可减少与系数中的一些或全部相关联的位深度。举例来说，n位值可在量化期间被舍入到m位值，其中n大于m。

在量化之后，视频编码器可扫描变换系数，从而从包含经量化变换系数的二维矩阵产生一维向量。扫描可经设计以将较高能量(且因此较低频率)系数放置在阵列前面，且将较低能量(且因此较高频率)系数放置在阵列后面。在一些实例中，视频编码器20可利用预定义扫描次序来扫描经量化变换系数以产生可被熵编码的串行化向量。在其它实例中，视频编码器20可执行自适应扫描。在扫描经量化变换系数以形成一维向量之后，视频编码器20可(例如)根据上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法熵编码一维向量。视频编码器20还可熵编码与经编码视频数据相关联的语法元素以由视频解码器30在解码视频数据时使用。

为执行CABAC，视频编码器20可向待发射的符号指派上下文模型内的上下文。举例来说，上下文可涉及符号的相邻值是否为非零。为执行CAVLC，视频编码器20可选择用于待发射的符号的可变长度码。VLC中的码字可经建构使得相对较短码对应于更有可能的符号，而较长码对应于不太可能的符号。以此方式，使用VLC可实现(例如)优于对待发射的每一符号使用等长码字的位节省。概率确定可基于指派给符号的上下文。

视频编码器20可进一步(例如)在帧标头、块标头、切片标头或GOP标头中将例如基于块的语法数据、基于帧的语法数据及基于GOP的语法数据的语法数据发送到视频解码器30。GOP语法数据可描述相应GOP中的帧数目，且帧语法数据可指示用于编码对应帧的编码/预测模式。

视频编码器

图2A为说明可实施根据本发明中描述的方面的技术的视频编码器的实例的框图。视频编码器20可经配置以处理视频位流的单层(例如，针对HEVC)。另外，视频编码器20可经配置以执行本发明的技术中的任一者或全部，包含(但不限于)确定用于再取样过程及上文及下文关于图4到6更详细地描述的相关过程的舍入偏移的方法。作为一个实例，层间预测单元66(当提供时)可经配置以执行本发明中描述的技术中的任一者或全部。然而，本发明的方面不限于此。在一些实例中，本发明中描述的技术可在视频编码器20的各种组件当中共用。在一些实例中，另外或替代性地，处理器(未展示)可经配置以执行本发明中描述的技术中的任一者或全部。

出于解释的目的，本发明描述在HEVC译码的上下文中的视频编码器20。然而，本发明的技术可适用于其它译码标准或方法。图2A的编码器20说明编解码器的单层。然而，如将关于图2B进一步描述，可复制视频编码器20中的一些或全部以用于根据多层编解码器的处理。

视频编码器20可执行视频切片内的视频块的帧内、帧间及层间预测(有时被称作帧内、帧间或层间译码)。帧内译码依赖于空间预测来减少或移除给定视频帧或图片内的视频中的空间冗余。帧间译码依赖于时间预测来减少或移除视频序列的邻近帧或图片内的视频中的时间冗余。层间译码依赖于基于相同视频译码序列内的不同层内的视频的预测。帧内模式(I模式)可指若干基于空间的译码模式中的任一者。帧间模式(例如，单向预测(P模式)或双向预测(B模式))可指若干基于时间的译码模式中的任一者。

如图2A中所展示，视频编码器20接收待编码视频帧内的当前视频块。在图2A的实例中，视频编码器20包含模式选择单元40、参考帧存储器64、求和器50、变换处理单元52、量化单元54及熵编码单元56。模式选择单元40又包含运动补偿单元44、运动估计单元42、帧内预测单元46、层间预测单元66及分割单元48。参考帧存储器64可包含经解码图片缓冲器。经解码图片缓冲器为具有其一般含义的广义术语，且在一些实施例中是指参考帧的视频编解码器管理式数据结构。

对于视频块重建构，视频编码器20还包含反量化单元58、反变换单元60及求和器62。也可包含解块滤波器(图2A中未展示)以滤波块边界以从经重建构视频移除成块效应伪影。如果需要，解块滤波器将通常滤波求和器62的输出。除解块滤波器之外，还可使用额外滤波器(环路内或环路后)。为简洁起见未展示此类滤波器，但如果需要，此类滤波器可滤波求和器50的输出(作为环路内滤波器)。

在编码过程期间，视频编码器20接收待译码视频帧或切片。所述帧或切片可划分成多个视频块。运动估计单元42及运动补偿单元44相对于一或多个参考帧中的一或多个块执行所接收视频块的帧间预测性译码以提供时间预测。帧内预测单元46可替代性地相对于与待译码块相同的帧或切片中的一或多个相邻块执行所接收视频块的帧内预测性译码以提供空间预测。视频编码器20可执行多个译码遍次(例如)以为每一视频数据块选择适当译码模式。

此外，分割单元48可基于先前译码遍次中的先前分割方案的评估将视频数据块分割成子块。举例来说，分割单元48可最初将帧或切片分割成LCU，并基于速率失真分析(例如，速率失真优化等)将LCU中的每一者分割成子CU。模式选择单元40可进一步产生指示将LCU分割成子CU的四叉树数据结构。四叉树的叶节点CU可包含一或多个PU及一或多个TU。

模式选择单元40可(例如)基于误差结果选择译码模式中的一者(帧内、帧间或层间预测模式)，并将所得经帧内、帧间或层间译码块提供到求和器50来产生残余块数据且提供到求和器62以重建构经编码块以用作参考帧。模式选择单元40还将语法元素(例如，运动向量、帧内模式指示符、分割信息及其它此类语法信息)提供到熵编码单元56。

运动估计单元42与运动补偿单元44可高度集成，但出于概念上的目的而分离地说明。由运动估计单元42执行的运动估计为产生运动向量的过程，所述过程估计视频块的运动。举例来说，运动向量可指示当前视频帧或图片内的视频块的PU相对于参考帧(或其它经译码单元)内的预测性块相对于当前帧(或其它经译码单元)内正经译码的当前块的位移。预测性块为发现在像素差方面密切地匹配待译码块的块，其可通过绝对差总和(SAD)、平方差总和(SSD)或其它差量度来确定。在一些实例中，视频编码器20可计算存储在参考帧存储器64中的参考图片的子整数像素位置的值。举例来说，视频编码器20可内插参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此，运动估计单元42可相对于全像素位置及分数像素位置执行运动搜索并输出具有分数像素精度的运动向量。

运动估计单元42通过比较经帧间译码切片中的视频块的PU的位置与参考图片的预测性块的位置来计算PU的运动向量。参考图片可选自第一参考图片列表(列表0)或第二参考图片列表(列表1)，其中的每一者识别存储在参考帧存储器64中的一或多个参考图片。运动估计单元42将所计算的运动向量发送到熵编码单元56及运动补偿单元44。

由运动补偿单元44执行的运动补偿可涉及基于由运动估计单元42确定的运动向量而提取或产生预测性块。在一些实例中，运动估计单元42及运动补偿单元44可在功能上集成。在接收到当前视频块的PU的运动向量之后，运动补偿单元44可在参考图片列表中的一者中定位运动向量指向的预测性块。求和器50通过从经译码的当前视频块的像素值减去预测性块的像素值从而形成像素差值来形成残余视频块，如下文所论述。在一些实施例中，运动估计单元42可相对于明度分量执行运动估计，且运动补偿单元44可针对色度分量及明度分量两者使用基于明度分量所计算的运动向量。模式选择单元40可产生与视频块及视频切片相关联的由视频解码器30在解码视频切片的视频块时使用的语法元素。

作为如上文所描述由运动估计单元42及运动补偿单元44执行的帧间预测的替代方案，帧内预测单元46可对当前块进行帧内预测或计算。具体来说，帧内预测单元46可确定用以编码当前块的帧内预测模式。在一些实例中，帧内预测单元46可(例如)在单独编码编次期间使用各种帧内预测模式来编码当前块，且帧内预测单元46(或在一些实例中为模式选择单元40)可从测试模式选择适当帧内预测模式来使用。

举例来说，帧内预测单元46可使用速率失真分析计算用于各种所测试帧内预测模式的速率失真值，并从所测试模式当中选择具有最佳速率失真特性的帧内预测模式。速率失真分析一般确定经编码块与经编码以产生经编码块的原始未经编码块之间的失真(或误差)量，以及用于产生经编码块的位速率(即，位数目)。帧内预测单元46可从用于各种经编码块的失真及速率计算比率，以确定哪个帧内预测模式对于所述块展现最佳速率失真值。

在针对块选择帧内预测模式之后，帧内预测单元46可将指示用于所述块的选定帧内预测模式的信息提供到熵编码单元56。熵编码单元56可编码指示选定帧内预测模式的信息。视频编码器20可在所发射的位流中包含配置数据，所述配置数据可包含多个帧内预测模式索引表及多个经修改帧内预测模式索引表(还被称作码字映射表)、各种块的编码上下文的定义，及用于所述上下文中的每一者的最可能帧内预测模式、帧内预测模式索引表及经修改帧内预测模式索引表的指示。

视频编码器20可包含层间预测单元66。层间预测单元66经配置以使用可用于SVC中的一或多个不同层(例如，基础层或参考层)来预测当前块(例如，EL中的当前块)。此预测可被称为层间预测。层间预测单元66利用预测方法以减少层间冗余，借此改善译码效率且减少计算资源要求。层间预测的一些实例包含层间帧内预测、层间运动预测及层间残余预测。层间帧内预测使用基础层中的共置块的重建构来预测增强层中的当前块。层间运动预测使用基础层的运动信息来预测增强层中的运动。层间残余预测使用基础层的残余来预测增强层的残余。当基础层及增强层具有不同空间分辨率时，可由层间预测单元66执行使用时间缩放功能的空间运动向量缩放及/或层间位置映射，如下文更详细描述。

视频编码器20通过从经译码的原始视频块减去来自模式选择单元40的预测数据而形成残余视频块。求和器50表示执行此减法运算的组件。变换处理单元52将例如离散余弦变换(DCT)或概念上类似变换的变换应用于残余块，从而产生包括残余变换系数值的视频块。变换处理单元52可执行概念上类似于DCT的其它变换。举例来说，也可使用离散正弦变换(DST)、小波变换、整数变换、子频带变换或其它类型的变换。

变换处理单元52可将变换应用于残余块，从而产生残余变换系数块。所述变换可将残余信息从像素值域转换到变换域(例如，频域)。变换处理单元52可将所得变换系数发送到量化单元54。量化单元54量化变换系数以进一步减少位速率。量化过程可减少与系数中的一些或全部相关联的位深度。可通过调整量化参数修改量化程度。在一些实例中，量化单元54可接着执行对包含经量化变换系数的矩阵的扫描。替代性地，熵编码单元56可执行扫描。

在量化之后，熵编码单元56熵编码经量化变换系数。举例来说，熵编码单元56可执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵译码技术。在基于上下文的熵译码的情况下，上下文可基于相邻块。在由熵编码单元56进行熵译码之后，可将经编码位流发射到另一装置(例如，视频解码器30)，或将其存档以用于稍后发射或检索。

反量化单元58及反变换单元60分别应用反量化及反变换，以重建构像素域中的残余块(例如，用于稍后用作参考块)。运动补偿单元44可通过将残余块添加到参考帧存储器64的帧中的一者的预测性块来计算参考块。运动补偿单元44还可将一或多个内插滤波器应用于经重建构残余块以计算子整数像素值以用于运动估计。求和器62将经重建构残余块添加到由运动补偿单元44产生的运动补偿预测块以产生经重建构视频块以用于存储在参考帧存储器64中。经重建构视频块可由运动估计单元42及运动补偿单元44用作用以对后续视频帧中的块进行帧间译码的参考块。

多层视频编码器

图2B为说明可实施根据本发明中描述的方面的技术的多层视频编码器21的实例的框图。视频编码器21可经配置以处理多层视频帧，例如，用于SHVC及多视图译码。另外，视频编码器21可经配置以执行本发明的技术中的任一者或全部。

视频编码器21包含视频编码器20A及视频编码器20B，其中的每一者可经配置为图2A的视频编码器20且可执行上文关于视频编码器20所描述的功能。另外，如由参考标号的再使用所指示，视频编码器20A及20B可包含***及子***中的至少一些以作为视频编码器20。尽管将视频编码器21说明为包含两个视频编码器20A及20B，但视频编码器21不被如此限制且可包含任何数目个视频编码器20层。在一些实施例中，视频编码器21可包含用于接入单元中的每一图片或帧的视频编码器20。举例来说，包含五个图片的接入单元可由包含五个编码器层的视频编码器处理或编码。在一些实施例中，视频编码器21可包含比接入单元中的帧多的编码器层。在一些此类情况下，当处理一些接入单元时，视频编码器层中的一些可不在作用中。

除视频编码器20A及20B之外，视频编码器21可包含再取样单元90。在一些情况下，再取样单元90可对所接收视频帧的基础层上取样以(例如)建立增强层。再取样单元90可对与帧的所接收基础层相关联的特定信息上取样，但不对其它信息上取样。举例来说，再取样单元90可对基础层的空间大小或像素数目上取样，但切片数目或图片次序计数可保持恒定。在一些情况下，再取样单元90可不处理所接收视频及/或可为任选的。举例来说，在一些情况下，模式选择单元40可执行上取样。在一些实施例中，再取样单元90经配置以对层上取样且重新组织、重新定义、修改或调整一或多个切片以符合一组切片边界规则及/或光栅扫描规则。尽管主要描述为对基础层或接入单元中的较低层上取样，但在一些情况下，再取样单元90可对层下取样。举例来说，如果在视频的流式传输期间减少带宽，则可对帧下取样而非上取样。再取样单元90也可进一步经配置以执行修剪及/或填补操作。

再取样单元90可经配置以从较低层编码器(例如，视频编码器20A)的经解码图片缓冲器114接收图片或帧(或与图片相关联的图片信息)并对图片(或所接收图片信息)上取样。接着可将此经上取样图片提供到较高层编码器(例如，视频编码器20B)的模式选择单元40，所述较高层编码器经配置以编码与较低层编码器相同的接入单元中的图片。在一些情况下，较高层编码器为从较低层编码器移除的一个层。在其它情况下，在图2B的层0视频编码器与层1编码器之间可存在一或多个较高层编码器。

在一些情况下，可省略或绕过再取样单元90。在此类情况下，可直接提供来自视频编码器20A的经解码图片缓冲器64的图片，或至少不提供到再取样单元90，不提供到视频编码器20B的模式选择单元40。举例来说，如果提供到视频编码器20B的视频数据及来自视频编码器20A的经解码图片缓冲器64的参考图片具有相同大小或分辨率，则可将参考图片提供到视频编码器20B而无需任何再取样。

在一些实施例中，视频编码器21使用下取样单元94对待提供到较低层编码器的视频数据下取样，之后将所述视频数据提供到视频编码器20A。替代性地，下取样单元94可为能够对视频数据上取样或下取样的再取样单元90。在又其它实施例中，可省略下取样单元94。

如图2B中所说明，视频编码器21可进一步包含多路复用器98或mux。mux 98可输出来自视频编码器21的组合位流。可通过从视频编码器20A及20B中的每一者获取位流且使在给定时间处输出位流交替而建立所述组合位流。虽然在一些情况下可一次一位地交替来自两个(或在两个以上视频编码器层的情况下更多)位流的位，但在许多情况下不同地组合位流。举例来说，可通过一次一块地交替选定位流而建立输出位流。在另一实例中，可通过从视频编码器20A及20B中的每一者输出非1:1比率的块而建立输出位流。举例来说，可从视频编码器20B输出用于从视频编码器20A输出的每一块的两个块。在一些实施例中，可预编程来自mux 98的输出流。在其它实施例中，mux 98可基于从视频编码器21外部的***(例如，从源装置12上的处理器)接收的控制信号组合来自视频编码器20A、20B的位流。控制信号可基于来自视频源18的视频的分辨率或位速率、基于信道16的带宽、基于与用户相关联的预订(例如，付费预订对免费预订)或基于用于确定来自视频编码器21的所要输出分辨率的任何其它因素而产生。

视频解码器

图3A为说明可实施根据本发明中描述的方面的技术的视频解码器的实例的框图。视频解码器30可经配置以处理视频位流的单层(例如，针对HEVC)。另外，视频解码器30可经配置以执行本发明的技术中的任一者或全部，包含(但不限于)确定用于再取样过程及上文及下文关于图4到6更详细地描述的相关过程的舍入偏移的方法。作为一个实例，层间预测单元75可经配置以执行本发明中描述的技术中的任一者或全部。然而，本发明的方面不限于此。在一些实例中，本发明中描述的技术可在视频解码器30的各种组件当中共用。在一些实例中，另外或替代性地，处理器(未展示)可经配置以执行本发明中描述的技术中的任一者或全部。

出于解释的目的，本发明在HEVC译码的上下文中描述视频解码器30。然而，本发明的技术可适用于其它译码标准或方法。图3A的解码器30说明编解码器的单层。然而，如将关于图3B进一步描述，可复制视频编码器30中的一些或全部以用于根据多层编解码器的处理。

在图3A的实例中，视频解码器30包含熵解码单元70、运动补偿单元72、帧内预测单元74、层间预测单元75、反量化单元76、反变换单元78、参考帧存储器82及求和器80。在一些实施例中，运动补偿单元72及/或帧内预测单元74可经配置以执行层间预测，在此情况下可省略层间预测单元75。在一些实例中，视频解码器30可执行一般与关于视频编码器20(图2A)描述的编码遍次互逆的解码遍次。运动补偿单元72可基于从熵解码单元70接收的运动向量产生预测数据，而帧内预测单元74可基于从熵解码单元70接收的帧内预测模式指示符产生预测数据。参考帧存储器82可包含经解码图片缓冲器。经解码图片缓冲器为具有其一般含义的广义术语，且在一些实施例中是指参考帧的视频编解码器管理式数据结构。

在解码过程期间，视频解码器30从视频编码器20接收表示经解码视频切片的视频块的经编码视频位流及相关联语法元素。视频解码器30的熵解码单元70熵解码位流以产生经量化系数、运动向量或帧内预测模式指示符及其它语法元素。熵解码单元70将运动向量及其它语法元素转发到运动补偿单元72。视频解码器30可接收视频切片层级及/或视频块层级处的语法元素。

当视频切片经译码为经帧内译码(I)切片时，帧内预测单元74可基于用信号表示的帧内预测模式及来自当前帧或图片的先前经解码块的数据产生用于当前视频切片的视频块的预测数据。当视频帧经译码为经帧间译码(例如，B、P或GPB)切片时，运动补偿单元72基于运动向量及从熵解码单元70接收的其它语法元素而产生用于当前视频切片的视频块的预测性块。预测性块可从参考图片列表中的一者内的参考图片中的一者产生。视频解码器30可基于存储在参考帧存储器82中的参考图片使用默认建构技术建构参考帧列表，列表0及列表1。

运动补偿单元72通过解析运动向量及其它语法元素确定用于当前视频切片的视频块的预测信息，且使用所述预测信息产生用于正经解码的当前视频块的预测性块。举例来说，运动补偿单元72使用所接收语法元素中的一些确定用于译码视频切片的视频块的预测模式(例如，帧内预测或帧间预测)、帧间预测切片类型(例如，B切片、P切片或GPB切片)、切片的参考图片列表中的一或多者的建构信息、切片的每一经帧间编码视频块的运动向量、切片的每一经帧间译码视频块的帧间预测状态及用以解码当前视频切片中的视频块的其它信息。

运动补偿单元72还可基于内插滤波器执行内插。运动补偿单元72可使用如由视频编码器20在视频块的编码期间使用的内插滤波器来计算参考块的子整数像素的内插值。在此情况下，运动补偿单元72可从所接收语法元素确定由视频编码器20使用的内插滤波器并使用所述内插滤波器来产生预测性块。

视频解码器30还可包含层间预测单元75。层间预测单元75经配置以使用SVC中可用的一或多个不同层(例如，基础层或参考层)来预测当前块(例如，EL中的当前块)。此预测可被称为层间预测。层间预测单元75利用预测方法以减少层间冗余，借此改善译码效率且减少计算资源要求。层间预测的一些实例包含层间帧内预测、层间运动预测及层间残余预测。层间帧内预测使用基础层中的共置块的重建构来预测增强层中的当前块。层间运动预测使用基础层的运动信息来预测增强层中的运动。层间残余预测使用基础层的残余来预测增强层的残余。当基础层及增强层具有不同空间分辨率时，可由层间预测单元75使用时间缩放功能执行空间运动向量缩放及/或层间位置映射，如下文更详细描述。

反量化单元76反量化(例如，去量化)提供于位流中且由熵解码单元70解码的经量化变换系数。反量化过程可包含使用由视频解码器30针对视频切片中的每一视频块计算以确定应应用的量化程度且同样地反量化程度的量化参数QPY。

反变换单元78将反变换应用于变换系数(例如，反DCT、反DST、反整数变换或概念上类似反变换过程)，以便产生像素域中的残余块。

在运动补偿单元72基于运动向量及其它语法元素产生当前视频块的预测性块之后，视频解码器30通过将来自反变换单元78的残余块与由运动补偿单元72产生的对应预测性块求和来形成经解码视频块。求和器90表示执行此求和运算的组件。如果需要，还可应用解块滤波器以滤波经解码块，以便移除成块效应伪影。还可使用其它环路滤波器(在译码环路内或在译码环路之后)来使像素转变平滑或以其它方式改善视频质量。接着将给定帧或图片中的经解码视频块存储在参考帧存储器82中，所述参考帧存储器存储用于后续运动补偿的参考图片。参考帧存储器82还存储经解码视频以用于稍后在显示装置(例如，图1的显示装置32)上呈现。

多层解码器

图3B为说明可实施根据本发明中描述的方面的技术的多层视频解码器31的实例的框图。视频解码器31可经配置以处理多层视频帧，例如，用于SHVC及多视图译码。另外，视频解码器31可经配置以执行本发明的技术中的任一者或全部。

视频解码器31包含视频解码器30A及视频解码器30B，其中的每一者可经配置为图3A的视频解码器30且可执行上文关于视频解码器30所描述的功能。另外，如由参考标号的再使用所指示，视频解码器30A及30B可包含***及子***中的至少一些以作为视频解码器30。尽管将视频解码器31说明为包含两个视频解码器30A及30B，但视频解码器31不被如此限制且可包含任何数目个视频解码器30层。在一些实施例中，视频解码器31可包含用于接入单元中的每一图片或帧的视频解码器30。举例来说，包含五个图片的接入单元可由包含五个解码器层的视频解码器处理或解码。在一些实施例中，视频解码器31可包含比接入单元中的帧多的解码器层。在一些此类情况下，当处理一些接入单元时，视频解码器层中的一些可不在作用中。

除视频解码器30A及30B之外，视频解码器31可包含上取样单元92。在一些实施例中，上取样单元92可对所接收视频帧的基础层上取样以建立待添加到用于帧或接入单元的参考图片列表的增强层。此增强层可存储于参考帧存储器82中(例如，其经解码图片缓冲器中等)。在一些实施例中，上取样单元92可包含关于图2B的再取样单元90所描述的实施例中的一些或全部。在一些实施例中，上取样单元92经配置以对层上取样且重新组织、重新定义、修改或调整一或多个切片以符合一组切片边界规则及/或光栅扫描规则。在一些情况下，上取样单元92可为经配置以对所接收视频帧的层上取样及/或下取样的再取样单元。

上取样单元92可经配置以从较低层解码器(例如，视频解码器30A)的经解码图片缓冲器82接收图片或帧(或与图片相关联的图片信息)并对图片(或所接收图片信息)上取样。接着可将此经上取样图片提供到较高层解码器(例如，视频解码器30B)的模式选择单元71，所述较高层解码器经配置以解码与较低层解码器相同的接入单元中的图片。在一些情况下，较高层解码器为从较低层解码器移除的一个层。在其它情况下，在图3B的层0解码器与层1解码器之间可存在一或多个较高层解码器。

在一些情况下，可省略或绕过上取样单元92。在此类情况下，可直接提供来自视频解码器30A的经解码图片缓冲器82的图片，或至少不提供到上取样单元92，不提供到视频解码器30B的模式选择单元71。举例来说，如果提供到视频解码器30B的视频数据及来自视频解码器30A的经解码图片缓冲器82的参考图片具有相同大小或分辨率，则可将参考图片提供到视频解码器30B而无需上取样。另外，在一些实施例中，上取样单元92可为经配置以对从视频解码器30A的经解码图片缓冲器82接收的参考图片上取样或下取样的再取样单元90。

如图3B中所说明，视频解码器31可进一步包含多路分用器99或demux。demux 99可将经编码视频位流***成多个位流，其中由demux 99输出的每一位流被提供到不同的视频解码器30A及30B。可通过接收位流来建立多个位流，且视频解码器30A及30B中的每一者在给定时间处接收位流的一部分。虽然在一些情况下可在视频解码器(例如，图3B的实例中的视频解码器30A及30B)中的每一者之间一次一位地交替来自demux 99处所接收的位流的位，但在许多情况下不同地划分位流。举例来说，可通过一次一块地交替视频解码器接收的位流而划分所述位流。在另一实例中，可通过到视频解码器30A及30B中的每一者的非1:1比率的块来划分位流。举例来说，可针对提供到视频解码器30A的每一块将两个块提供到视频解码器30B。在一些实施例中，可预编程由demux 99对位流的划分。在其它实施例中，demux99可基于从视频解码器31外部的***(例如，从目的地装置14上的处理器)接收的控制信号而划分位流。控制信号可基于来自输入接口28的视频的分辨率或位速率、基于信道16的带宽、基于与用户相关联的预订(例如，付费预订对免费预订)或基于用于确定可由视频解码器31获得的分辨率的任何其它因素而产生。

SHVC中的再取样过程

在SHVC中，如果参考层图片大小不同于增强层图片大小，则可将再取样(或上取样)过程应用于参考层图片以匹配增强层图片的大小以用于层间预测。为对参考层图片再取样，可将N分接头再取样滤波器应用于每一颜色分量。

在滤波过程中，可将参考层图片的样本(或像素)量值乘以滤波器系数并求和以导出经过滤样本(或像素)。由于参考层图片的大小及增强层图片的大小不同，因此可定义滤波过程中涉及的参考层样本的坐标。举例来说，可确定对应于当前增强层图片的样本位置的参考层图片的样本位置，使得由参考层图片的样本位置指示的样本可用于再取样过程。在一个实施例中，此过程可被称作下文进一步描述的样本位置映射或样本位置确定。

SHVC包含相关于用于再取样的参考层样本位置的导出过程的章节(例如，章节G.6.1)。所述过程可将相对于当前图片的颜色分量的左上方样本的样本位置作为输入，并输出指定相对于参考层图片的左上方样本的以分数样本为单位(例如，1/12样本、1/16样本)的参考层样本位置的样本位置。

在参考层样本位置的过程期间，可应用额外舍入偏移。可在确定待再取样的参考层图片的样本位置时添加舍入偏移。举例来说，可在垂直方向上应用额外舍入偏移addY。类似地，可在水平方向上应用额外舍入偏移addX。舍入偏移addY及舍入偏移addX也可分别被称作垂直舍入偏移及水平舍入偏移。参考层图片的样本位置可由水平样本位置及垂直样本位置定义。可在确定用于再取样的参考层图片的水平样本位置时添加水平舍入偏移，且可在确定用于再取样的参考层图片的垂直样本位置时添加垂直舍入偏移。

在SHVC中，缩放因数计算于译码过程中，且在调用参考层样本位置导出过程之前其一般可用于计算舍入偏移的时间处。举例来说，可在层间参考图片的再取样过程的章节G.8.1.4中产生所述因数。缩放因数可包含水平缩放因数ScaleFactorX及垂直缩放因数ScaleFactorY。可针对当前增强层图片计算缩放因数。水平缩放因数及垂直缩放因数可分别指示水平方向上的参考层图片与增强层图片之间的缩放比例及垂直方向上的参考层图片与增强层图片之间的缩放比例。

在SHVC的工作草案2中，计算舍入偏移涉及除法运算。然而，除法运算可是代价大的。由于缩放因数的计算类似于舍入偏移的计算，因此技术可在计算舍入偏移时利用缩放因数。因此，本发明中描述的技术可通过使用先前所计算缩放因数计算用于参考层图片的再取样的舍入偏移而无需执行除法运算。由于除法运算代价大，因此可通过排除除法运算更有效地计算舍入偏移。结果，也可更有效地执行译码过程。下文参考图4描述相关于技术的某些细节。

图4为说明根据本发明的方面的确定再取样过程中使用的舍入偏移的实例的框图。贯穿本发明使用的各种术语为具有其一般含义的广义术语。另外，在一些实施例中，某些术语涉及以下视频概念。在某些实施例中，舍入偏移可指计算过程中添加以舍入预定值的值。在某些实施例中，符号“*”指示乘法，且符号“>>”是指位右移。在一些实施例中，右移及左移n位可分别实施为除以及乘以2^n。

在SHVC的工作草案2(章节G.6.1)中，addY被计算为如下：

●addY＝(((RefLayerPicHeightInSamplesL*phaseY)<<14)+(ScaledRefLayerPicHeightInSamplesL>>1))/ScaledRefLayerPicHeightInSamplesL，

其中RefLayerPicHeightInSamplesL 418指示参考层图片410的高度且ScaledRefLayerPicHeightInSamplesL 432指示参考层图片的经缩放或经再取样版本422的高度。然而，使用除法运算以计算addY可代价大。

类似地，尽管addX不包含于SHVC的工作草案2中，但addX可被计算为如下：

●addX＝(((RefLayerPicWidthInSamplesL*phaseX)<<14)+(ScaledRefLayerPicWidthInSamplesL>>1))/ScaledRefLayerPicWidthInSamplesL，

其中RefLayerPicWidthInSamplesL 416指示参考层图片410的宽度且ScaledRefLayerPicWidthInSamplesL 430指示参考层图片的经缩放或经再取样版本422的宽度。类似地，使用除法运算以计算addX可代价大。

在SHVC中，ScaleFactorX及ScaleFactorY可被计算为如下：

●ScaleFactorX＝((RefLayerPicWidthInSamplesL<<16)+(ScaledRefLayerPicWidthInSamplesL>>1))/ScaledRefLayerPicWidthInSamplesL

●ScaleFactorY＝((RefLayerPicHeightInSamplesL<<16)+(ScaledRefLayerPicHeightInSamplesL>>1))/ScaledRefLayerPicHeightInSamplesL，

其中RefLayerPicWidthInSamplesL 416及RefLayerPicHeightInSamplesL 418分别指示参考层图片410的宽度及高度，且ScaledRefLayerPicWidthInSamplesL 430及ScaledRefLayerPicHeightInSamplesL 432分别指示参考层图片的经缩放或经再取样版本422的宽度及高度。ScaledRefLayerPicWidthInSamplesL 430及ScaledRefLayerPicHeightInSamplesL 432可经解释以指示参考层图片的经缩放或经再取样版本422的宽度及高度。如果经缩放参考层偏移424为零，则ScaledRefLayerPicWidthInSamplesL 430及ScaledRefLayerPicHeightInSamplesL 432与增强层图片420的宽度及高度相同。经缩放参考层偏移424可为相对于当前图片指示用于预测的经上取样或经再取样层间参考图片的区的偏移(例如，当仅使用经上取样或经再取样参考层图片的一部分或区时)。

舍入偏移可用于用于再取样的参考层样本位置的导出过程中。举例来说，舍入偏移addY可用于如SHVC的工作草案2的章节G.6.1中所解释的用于再取样的参考层样本位置的导出过程中。下文解释相关于章节G.6.1的细节：

●对此过程的输入为：

-指定颜色分量索引的变量cIdx，及

-相对于由cIdx指定的当前图片的颜色分量的左上方样本的样本位置(xP,yP)434。

●此过程的输出为：

-指定相对于参考层图片的左上方样本的以1/16样本为单位的参考层样本位置的样本位置(xRef16,yRef16)。

下文解释用于G.6.1的导出过程的变量：

●变量offsetX及offsetY可分别指用于相关联经再取样参考层图片的左上方样本与当前增强层图片的左上方明度样本之间的颜色分量的水平及垂直偏移。变量offsetX及offsetY导出为如下：

-offsetX＝ScaledRefLayerLeftOffset/((cIdx＝＝0)？1:SubWidthC)(G-3)

-offsetY＝ScaledRefLayerTopOffset/((cIdx＝＝0)？1:SubHeightC)(G-4)，

其中ScaledRefLayerLeftOffset 424a指示明度颜色分量的左侧偏移，经缩放ScaledRefLayerTopOffset 424b指示明度颜色分量的顶部偏移，SubWidthC指示相对于水平方向上的明度颜色分量的色度颜色分量子取样，且SubHeightC指示相对于垂直方向上的明度颜色分量的色度颜色分量子取样，且cIdx表示颜色分量索引且可等于0。举例来说，对于明度颜色分量cIdx等于0且对于色度色彩分量其大于0。

●变量phaseY可指明度颜色分量的再取样滤波器相位。变量phaseY可导出为如下：

-phaseY＝(cIdx＝＝0)？0:1(G-5)。

●上文解释变量addY且其可导出为如下：

-addY＝(((RefLayerPicHeightInSamplesL*phaseY)<<14)+(ScaledRefLayerPicHeightInSamplesL>>1))/ScaledRefLayerPicHeightInSamplesL(G-6)

●变量xRef16及yRef16可指指定相对于参考层图片的左上方样本的以1/16样本为单位的参考层样本位置的样本位置。变量xRef16可指水平样本位置，且变量yRef16可指垂直样本位置。变量xRef16及yRef16导出为如下：

-xRef16＝(((xP-offsetX)*ScaleFactorX+(1<<11))>>12)(G-7)

-yRef16＝(((yP-offsetY)*ScaleFactorY+addY+(1<<11))>>12)-(phaseY<<2)(G-8)

如上文所展示，缩放因数的计算类似于舍入偏移的计算。因此，技术可在计算舍入偏移时利用缩放因数以避免执行另一除法运算。举例来说，针对再取样过程中的样本位置导出所计算的ScaleFactorX及ScaleFactorY可用于额外舍入偏移计算。在一个实施例中，addY及addX可被计算为如下：

●addY＝(ScaleFactorY*phaseY+offset)>>2

●addX＝(ScaleFactorX*phaseX+offset)>>2，

其中变量“offset”是指舍入偏移，其可为一些数目(例如，0、1、2等)。

尽管addX不用于工作草案2，但addX可以类似于如上文指定的addY的方式计算，且可如下以类似于yRef16的方式导出xRef16：

●xRef16＝(((xP-offsetX)*ScaleFactorX+addX+(1<<11))>>12)-(phaseX<<2)，

其中phaseX可以类似于phaseY的方式确定。

在一些实施例中，经修改addX及addY可直接包含于xRef16及yRef16计算中。举例来说，yRef16可被计算为如下：

●yRef16＝((((yP-offsetY)*4+phaseY)*ScaleFactorY+(1<<13))>>14)-(phaseY<<2)

在一些情况下，直接将addY并入yRef16的计算可导致增加准确性。

已在1/16样本准确性方面描述上文实例。然而，可使用不同分数单位准确性(例如，1/12或类似者)。

一般来说，当计算舍入偏移时缩放因数可用，且因此，可基于缩放因数计算舍入偏移而无需执行除法运算。由于除法运算代价大，因此可通过排除除法运算更有效地计算舍入偏移。结果，也可更有效地执行译码过程。

关于图4所描述的所有特征及/或实施例可单独实施或以与图4到6中所描述的其它特征及/或实施例的任何组合实施。

确定用于再取样参考层图片的舍入偏移值的方法

图5为说明根据本发明的方面的用于确定再取样过程中使用的舍入偏移的方法的一个实施例的流程图。取决于实施例，过程500可由编码器(例如，如图2A、图2B中所展示的编码器等)、解码器(例如，如图3A、图3B中所展示的解码器等)或任何其它组件执行。关于图3B中的解码器31描述过程500的框，但过程500可由例如编码器的其它组件执行，如上文所提到。取决于实施例，解码器31的层1视频解码器30B及/或解码器31的层0解码器30A可执行过程500。关于图5所描述的所有实施例可单独地实施或彼此结合地实施。上文及下文(例如)关于图4及6解释相关于过程500的某些细节。

过程500开始于框501处。解码器31可包含用于存储与参考层图片及增强层图片相关联的视频信息的存储器(例如，参考帧存储器82)。

在框502处，解码器31接收指示在第一方向上的参考层图片与增强层图片之间的缩放比例的缩放因数。第一方向可为水平方向或垂直方向。举例来说，缩放因数可针对水平方向或垂直方向。在一些实施例中，第一方向为水平方向且缩放因数是基于参考层图片的宽度及增强层图片的宽度。在其它实施例中，第一方向为水平方向且缩放因数是基于参考层图片的宽度及参考层图片的经缩放版本的宽度。在某些实施例中，在水平方向上的缩放因数被确定为(1)(a)左移16位的参考层图片的宽度与(b)右移1位的参考层图片的经缩放版本的宽度的总和除以(2)参考层图片的经缩放版本的宽度。

在一些实施例中，第一方向为垂直方向且缩放因数是基于参考层图片的高度及增强层图片的高度。在其它实施例中，第一方向为垂直方向且缩放因数是基于参考层图片的高度及参考层图片的经缩放版本的高度。在某些实施例中，在垂直方向上的缩放因数被确定为(3)(c)左移16位的参考层图片的高度与(d)右移1位的参考层图片的经缩放版本的高度的总和除以(4)参考层图片的经缩放版本的高度。

在框503处，解码器31使用缩放因数确定舍入偏移值而无需执行除法运算。舍入偏移值可用于再取样过程中的位置计算。当缩放因数针对水平方向时，舍入偏移值可针对水平方向。类似地，当缩放因数针对垂直方向时，舍入偏移值可针对垂直方向。在一些实施例中，解码器31将舍入偏移值确定为：

(缩放因数×相位+第一偏移值)>>2，其中相位指示在第一方向上的再取样滤波器相位且第一偏移值指示舍入偏移。

在框504处，解码器31使用缩放因数及舍入偏移值确定对应于位于增强层图片中的第二样本的位于参考层图片中的第一样本在第一方向上的坐标。举例来说，如果缩放因数及舍入偏移值针对水平方向，则第一样本的坐标可为水平坐标。类似地，如果缩放因数及舍入偏移值针对垂直方向，则第一样本的坐标可为垂直坐标。在一些实施例中，第一样本的水平坐标及垂直坐标可指示应包含在再取样过程中的参考层图片中的样本。

在一些实施例中，第一样本在水平方向上的坐标对应于第二样本的水平坐标，其中第一样本在水平方向上的坐标是相对于参考层图片的左上方样本且第二样本的水平坐标是相对于增强层图片的左上方样本。在其它实施例中，第一样本在垂直方向上的坐标对应于第二样本的垂直坐标，其中第一样本在垂直方向上的坐标是相对于参考层图片的左上方样本且第二样本的垂直坐标是相对于增强层图片的左上方样本。

在某些实施例中，根据如下方程式确定第一样本在水平方向上的坐标：

(((第二样本在水平方向上的坐标-第一水平偏移)×在水平方向上的缩放因数+舍入偏移值+(1<<11))>>12)-(水平相位<<2)，

其中水平相位指示在水平方向上的再取样滤波器相位且第一水平偏移指示用于参考层图片的经再取样版本的左上方样本与增强层图片的左上方样本之间的颜色坐标的水平偏移。

在其它实施例中，根据如下方程式确定第一样本在垂直方向上的坐标：

(((第二样本在垂直方向上的坐标-第一垂直偏移)×缩放因数+舍入偏移值+(1<<11))>>12)-(垂直相位<<2)，

其中垂直相位指示在垂直方向上的再取样滤波器相位且第一垂直偏移指示用于参考层图片的经再取样版本的左上方样本与增强层图片的左上方样本之间的颜色坐标的垂直偏移。

解码器31可通过应用再取样滤波器到第一样本来对第一样本再取样。

过程500在框505处结束。取决于实施例，可在过程500中添加及/或省略框，且取决于实施例，可以不同次序执行过程500的框。

可单独地实施或以其任何组合实施本发明中关于再取样所描述的任何特征及/或实施例。举例来说，结合图4及6所描述的任何特征及/或实施例可以与结合图5所描述的任何特征及/或实施例的任何组合实施，且反之亦然。

图6为说明根据本发明的方面的用于确定再取样过程中使用的舍入偏移的方法的流程图。取决于实施例，过程600可由编码器(例如，如图2A、图2B中所展示的编码器等)、解码器(例如，如图3A、图3B中所展示的解码器等)或任何其它组件执行。关于图3B中的解码器31描述过程600的框，但可由例如编码器的其它组件执行过程600，如上文所提到。取决于实施例，解码器31的层1视频解码器30B及/或解码器31的层0解码器30A可执行过程600。可单独地实施或彼此结合地实施关于图6所描述的所有实施例。上文(例如)关于图4及5解释相关于过程600的某些细节。

过程600开始于框601处。解码器31可包含用于存储与参考层中的参考层图片及增强层中的待译码增强层图片相关联的视频信息的存储器(例如，参考帧存储器82)。

在框602处，解码器31使用水平缩放因数确定水平舍入偏移值而无需执行除法运算。水平舍入偏移值可为用于确定应用于参考层图片的再取样过程中的参考层图片的水平样本位置的舍入偏移值。水平缩放因数可指示参考层图片与增强层图片之间的水平缩放比例。

水平缩放因数可基于参考层图片的宽度及参考层图片的经缩放版本的宽度。在一个实施例中，水平缩放因数可基于参考层图片的宽度及增强层图片的宽度(例如，当经缩放参考层偏移为0时)。在某些实施例中，水平缩放因数可确定为：(a)左移16位的参考层图片的宽度与(b)右移1位的参考层图片的经缩放版本的宽度的总和，所述总和除以参考层图片的经缩放版本的宽度。

在框603处，解码器31使用垂直缩放因数确定垂直舍入偏移值而无需执行除法运算。垂直舍入偏移值可为用于确定应用于参考层图片的再取样过程中的参考层图片的垂直样本位置的舍入偏移值。垂直缩放因数可指示参考层图片与增强层图片之间的垂直缩放比例。

垂直缩放因数可基于参考层图片的高度及参考层图片的经缩放版本的高度。在一个实施例中，垂直缩放因数可基于参考层图片的高度及增强层图片的高度(例如，当经缩放参考层偏移为0时)。在某些实施例中，垂直缩放因数可确定为(c)左移16位的参考层图片的高度与(d)右移1位的参考层图片的经缩放版本的高度的总和，所述总和除以参考层图片的经缩放版本的高度。

在一些实施例中，解码器31将水平舍入偏移值确定为：

(水平缩放因数×水平相位+第一偏移值)>>2，其中水平相位指示在水平方向上的再取样滤波器相位且第一偏移值指示舍入偏移。

解码器31将垂直舍入偏移值确定为：

(垂直缩放因数×垂直相位+第二偏移值)>>2，其中垂直相位指示在垂直方向上的再取样滤波器相位且第二偏移值指示舍入偏移。

在框604处，解码器31至少部分地基于水平缩放因数及水平舍入偏移值确定参考层图片的第一水平样本位置。在一个实施例中，参考层图片的第一水平样本位置对应于增强层图片的水平样本位置，其中第一水平样本位置是相对于参考层图片的左上方样本，且其中增强层图片的水平样本位置是相对于增强层图片的左上方样本。

在一些实施例中，根据如下方程式确定第一水平样本位置：

(((增强层图片的水平样本位置-第一水平偏移)×水平缩放因数+水平舍入偏移值+(1<<11))>>12)-(水平相位<<2)，

其中第一水平偏移指示用于参考层图片的经再取样版本的左上方样本与增强层图片的左上方样本之间的颜色分量的水平偏移。

在框605处，解码器31至少部分地基于垂直缩放因数及垂直舍入偏移值确定参考层图片的第一垂直样本位置。第一水平样本位置及第一垂直样本位置可一起指示用以在应用于参考层图片的再取样过程中进行再取样的参考层图片的样本位置。解码器31可将再取样滤波器应用到参考层图片的样本位置。

在一个实施例中，参考层图片的第一垂直样本位置对应于增强层图片的垂直样本位置，其中第一垂直样本位置是相对于参考层图片的左上方样本，且其中增强层图片的垂直样本位置是相对于增强层图片的左上方样本。

在一些实施例中，根据如下方程式确定第一垂直样本位置：

(((增强层图片的垂直样本位置-第一垂直偏移)×垂直缩放因数+垂直舍入偏移值+(1<<11))>>12)-(垂直相位<<2)，

其中第一垂直偏移指示用于参考层图片的经再取样版本的左上方样本与增强层图片的左上方样本之间的颜色分量的垂直偏移。

过程600在框606处结束。取决于实施例，可在过程600中添加及/或省略框，且取决于实施例，可以不同次序执行过程600的框。

可单独地实施或以其任何组合实施本发明中关于再取样所描述的任何特征及/或实施例。举例来说，结合图4及5所描述的任何特征及/或实施例可以与结合图6所描述的任何特征及/或实施例的任何组合实施，且反之亦然。

术语

虽然上文揭示内容已描述特定实施例，但许多变化是可能的。举例来说，如上文所提到，上文技术可应用于3D视频编码。在3D视频的一些实施例中，参考层(例如，基础层)包含足以显示视频的第一视图的视频信息且增强层包含关于参考层的额外视频信息，使得参考层及增强层一起包含足以显示视频的第二视图的视频信息。这两个视图可用于产生立体图像。如上文所论述，根据本发明的方面，来自参考层的运动信息可用于在编码或解码增强层中的视频单元时识别额外隐式假设。此情况可提供对3D视频位流的较大译码效率。

应认识到，取决于实例，本文中所描述的技术中的任一者的某些动作或事件可以不同序列执行、可添加、合并或全部省略(例如，实践所述技术并不需要所有所描述动作或事件)。此外，在某些实例中，可同时(例如，通过多线程处理、中断处理或多个处理器)而非顺序地执行动作或事件。

可使用多种不同技术及技艺中的任一者来表示本文中所揭示的信息及信号。举例来说，可由电压、电流、电磁波、磁场或磁粒子、光场或光粒子或其任何组合来表示在上文描述中可始终参考的数据、指令、命令、信息、信号、位、符号及码片。

结合本文中所揭示实施例所描述的各种说明性逻辑块、模块、电路及算法步骤可被实施为电子硬件、计算机软件或两者的组合。为清楚说明硬件与软件的此互换性，上文已大致关于其功能性描述各种说明性组件、块、模块、电路及步骤。此功能性是实施为硬件还是软件取决于特定应用及施加于整个***的设计约束。所属领域的技术人员可针对每一特定应用以不同方式来实施所描述功能性，但此类实施方案决定不应被解释为会导致脱离本发明的范围。

本文中所描述的技术可以硬件、软件、固件或其任一组合来实施。此类技术可实施于多种装置中的任一者中，例如通用计算机、无线通信装置手持机或集成电路装置，其具有包含在无线通信装置手持机及其它装置中的应用的多种用途。被描述为模块或组件的任何特征可一起实施于集成逻辑装置中或单独实施为离散但可互操作逻辑装置。如果以软件实施，则所述技术可至少部分地由包括程序代码的计算机可读数据存储媒体来实现，所述程序代码包含在执行时执行上文所描述方法中的一或多者的指令。计算机可读数据存储媒体可形成计算机程序产品的部分，所述计算机程序产品可包含封装材料。计算机可读媒体可包括存储器或数据存储媒体，例如随机接入存储器(RAM)(例如，同步动态随机接入存储器(SDRAM))、只读存储器(ROM)、非易失性随机接入存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、闪存存储器、磁性或光学数据存储媒体及其类似者。另外或替代性地，所述技术可至少部分地由计算机可读通信媒体来实现，所述计算机可读通信媒体以指令或数据结构的形式载运或传达程序代码且可由计算机接入、读取及/或执行(例如，传播的信号或波)。

程序代码可由处理器执行，所述处理器可包含一或多个处理器，例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)，或其它等效集成或离散逻辑电路。此处理器可经配置以执行本发明中描述的技术中的任一者。通用处理器可为微处理器；但在替代方案中，处理器可为任何常规处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如，DSP与微处理器的组合、多个微处理器的组合、一或多个微处理器与DSP核心的联合，或任何其它此配置。因此，如本文中所使用的术语“处理器”可指前述结构中的任一者、前述结构的任何组合，或适于实施本文中所描述技术的任何其它结构或设备。另外，在某些方面中，可将本文中所描述的功能性提供于经配置以用于编码及解码的专用软件模块或硬件模块内或并入组合的视频编码器-解码器(编解码器)中。

本文中所论述的译码技术可为实例视频编码及解码***中的实施例。***包含提供在稍后时间由目的地装置解码的经编码视频数据的源装置。具体来说，源装置经由计算机可读媒体将视频数据提供到目的地装置。源装置及目的地装置可包括广泛范围的装置中的任一者，包含桌上型计算机、笔记型(即，膝上型)计算机、平板计算机、机顶盒、电话手持机(例如，所谓的“智能”电话、所谓的“智能”板)、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流式传输装置或其类似者。在一些情况下，源装置及目的地装置可经装备以用于无线通信。

目的地装置可经由计算机可读媒体接收待解码的经编码视频数据。计算机可读媒体可包括能够将经编码视频数据从源装置移动到目的地装置的任何类型的媒体或装置。在一个实例中，计算机可读媒体可包括使得源装置12能够实时地将经编码视频数据直接发射到目的地装置的通信媒体。经编码视频数据可根据通信标准(例如，无线通信协议)调制，且被发射到目的地装置。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一或多个物理发射线。通信媒体可形成分组网络(例如，局域网、广域网或全球网络，例如因特网)的部分。通信媒体可包含路由器、交换器、基站或可用于促进从源装置到目的地装置的通信的任何其它设备。

在一些实例中，经编码数据可从输出接口输出到存储装置。类似地，可由输入接口从存储装置接入经编码数据。存储装置可包含多种分布式或本地接入的数据存储媒体中的任一者，例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、闪存存储器、易失性或非易失性存储器或任何其它用于存储经编码视频数据的合适数字存储媒体。在另外实例中，存储装置可对应于文件服务器或可存储由源装置产生的经编码视频的另一中间存储装置。目的地装置可经由流式传输或下载从存储装置接入所存储视频数据。文件服务器可为能够存储经编码视频数据且将经编码视频数据发射到目的地装置的任何类型服务器。实例文件服务器包含网络服务器(例如，用于网站)、FTP服务器、网络附接存储(NAS)装置或本地磁盘驱动器。目的地装置可通过任何标准数据连接(包含因特网连接)来接入经编码视频数据。此连接可包含适于接入存储于文件服务器上的经编码视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)或两者的组合。经编码视频数据从存储装置的发射可为流式发射、下载发射或其组合。

本发明的技术未必限于无线应用或设定。所述技术可应用于视频译码以支持多种多媒体应用中的任一者，例如空中协议电视广播、有线电视发射、***发射、因特网流式视频发射(例如，动态自适应HTTP流式传输(DASH))、经编码到数据存储媒体上的数字视频，存储在数据存储媒体上的数字视频的解码，或其它应用。在一些实例中，***可经配置以支持单向或双向视频发射，以支持例如视频流式传输、视频回放、视频广播及/或视频电话的应用。

在一个实例中，源装置包含视频源、视频编码器及输出接口。目的地装置可包含输入接口、视频解码器及显示装置。源装置的视频编码器可经配置以应用本文中所揭示的技术。在其它实例中，源装置及目的地装置可包含其它组件或布置。举例来说，源装置可从外部视频源(例如，外部相机)接收视频数据。同样地，目的地装置可与外部显示装置介接，而非包含集成显示装置。

上文实例***仅仅为一个实例。用于并行处理视频数据的技术可由任何数字视频编码及/或解码装置来执行。尽管本发明的技术一般由视频编码装置来执行，但所述技术还可由视频编码器/解码器(通常被称作“编解码器”)来执行。此外，本发明的技术还可由视频预处理器来执行。源装置及目的地装置仅仅为此类译码装置的实例，其中源装置产生用于发射到目的地装置的经译码视频数据。在一些实例中，源装置及目的地装置可以大致上对称方式操作，使得装置中的每一者包含视频编码及解码组件。之后，实例***可支持视频装置之间的单向或双向视频发射以(例如)用于视频流式传输、视频回放、视频广播或视频电话。

视频源可包含视频俘获装置(例如，摄像机)、含有先前所俘获视频的视频存档及/或用以从视频内容提供者接收视频的视频馈入接口。作为又一替代方案，视频源可产生基于计算机图形的数据作为源视频，或实况视频、存档视频与计算机产生的视频的组合。在一些情况下，如果视频源为摄像机，则源装置及目的地装置可形成所谓的相机电话或视频电话。然而，如上文所提到，本发明中所描述的技术可一般适用于视频译码，且可应用于无线及/或有线应用。在每一情况下，可由视频编码器来编码经俘获、经预俘获或计算机产生的视频。接着可将经编码视频信息由输出接口输出到计算机可读媒体。

如所提到，计算机可读媒体可包含瞬时媒体，例如无线广播或有线网络发射，或存储媒体(即，非暂时性存储媒体)，例如硬盘、闪存驱动器、压缩光盘、数字视频光盘、蓝光光盘或其它计算机可读媒体。在一些实例中，网络服务器(未展示)可从源装置接收经编码视频数据，并(例如)经由网络发射将经编码视频数据提供到目的地装置。类似地，媒体生产设施(例如，光盘冲压设施)的计算装置可从源装置接收经编码视频数据并产生含有经编码视频数据的光盘。因此，在不同实例中，计算机可读媒体可理解为包含各种形式的一或多个计算机可读媒体。

目的地装置的输入接口从计算机可读媒体接收信息。计算机可读媒体的信息可包含由视频编码器定义的也由视频解码器使用的语法信息，所述语法信息包含描述块及其它经译码单元(例如，图片群组(GOP))的特性及/或处理的语法元素。显示装置向用户显示经解码视频数据，且可包括多种显示装置中的任一者，例如阴极射线管(CRT)、液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。已描述本发明的各种实施例。这些及其它实施例在以下权利要求书的范围内。

已描述本发明的各种实施例。这些及其它实施例在以下权利要求书的范围内。

Claims (29)

1.一种用于译码视频信息的设备，所述设备包括：

存储器，其经配置以存储与参考层图片及增强层图片相关联的视频数据；及

处理器，其操作性地耦合到所述存储器且经配置以：

接收指示在第一方向上的所述参考层图片与所述增强层图片之间的缩放比例的缩放因数；

至少部分基于所述缩放因数确定舍入偏移值以用于至少部分基于与所述参考层图片中的第一样本对应的所述增强层图片中的第二样本在所述第一方向上的坐标来确定所述第一样本在所述第一方向上的坐标，所述舍入偏移值进一步在无需除法运算符的操作中确定，其中所述舍入偏移值进一步被确定为经整数值移位的和，基于(i)所述缩放因数和相位的乘积与(ii)第一偏移值的总和来确定所述和；

使用所述缩放因数及所述舍入偏移值确定所述第一样本在所述第一方向上的所述坐标；及

在所确定的坐标处基于所述第一样本编码或解码所述增强层图片。

2.根据权利要求1所述的设备，其中所述第一方向为水平方向或垂直方向。

3.根据权利要求1所述的设备，其中所述处理器进一步经配置以将所述舍入偏移值确定为：

(所述缩放因数×所述相位+所述第一偏移值)>>2，其中所述相位指示在所述第一方向上的再取样滤波器相位且所述第一偏移值指示舍入偏移。

4.根据权利要求2所述的设备，其中所述第一方向为所述水平方向且所述缩放因数是基于所述参考层图片的宽度及所述增强层图片的宽度。

5.根据权利要求2所述的设备，其中所述第一方向为所述水平方向且所述缩放因数是基于所述参考层图片的宽度及所述参考层图片的经缩放版本的宽度。

6.根据权利要求2所述的设备，其中所述第一方向为所述垂直方向且所述缩放因数是基于所述参考层图片的高度及所述增强层图片的高度。

7.根据权利要求2所述的设备，其中所述第一方向为所述垂直方向且所述缩放因数是基于所述参考层图片的高度及所述参考层图片的经缩放版本的高度。

8.根据权利要求5所述的设备，其中在所述水平方向上的所述缩放因数被确定为(1)(a)左移16位的所述参考层图片的所述宽度与(b)右移1位的所述参考层图片的所述经缩放版本的所述宽度的总和除以(2)所述参考层图片的所述经缩放版本的所述宽度。

9.根据权利要求7所述的设备，其中在所述垂直方向上的所述缩放因数被确定为(3)(c)左移16位的所述参考层图片的所述高度与(d)右移1位的所述参考层图片的所述经缩放版本的所述高度的总和除以(4)所述参考层图片的所述经缩放版本的所述高度。

10.根据权利要求2所述的设备，其中所述处理器进一步经配置以至少部分基于所述第二样本在所述水平方向上的坐标确定所述第一样本在所述水平方向上的所述坐标，其中所述第一样本在所述水平方向上的所述坐标是相对于所述参考层图片的左上方样本且所述第二样本在所述水平方向上的所述坐标是相对于所述增强层图片的左上方样本。

11.根据权利要求2所述的设备，其中所述处理器进一步经配置以至少部分基于所述第二样本在所述垂直方向上的坐标确定所述第一样本在所述垂直方向上的所述坐标，其中所述第一样本在所述垂直方向上的所述坐标是相对于所述参考层图片的左上方样本且所述第二样本在所述垂直方向上的所述坐标是相对于所述增强层图片的左上方样本。

12.根据权利要求10所述的设备，其中根据如下方程式确定所述第一样本在所述水平方向上的所述坐标：

(((所述第二样本在所述水平方向上的所述坐标-第一水平偏移)×在所述水平方向上的所述缩放因数+所述舍入偏移值+(1<<11))>>12)-(水平相位<<2)，

其中所述水平相位指示在所述水平方向上的再取样滤波器相位且所述第一水平偏移指示用于所述参考层图片的经再取样版本的左上方样本与所述增强层图片的所述左上方样本之间的颜色坐标的水平偏移。

13.根据权利要求11所述的设备，其中根据如下方程式确定所述第一样本在所述垂直方向上的所述坐标：

(((所述第二样本在所述垂直方向上的所述坐标-第一垂直偏移)×在所述垂直方向上的所述缩放因数+所述舍入偏移值+(1<<11))>>12)-(垂直相位<<2)，

其中所述垂直相位指示在所述垂直方向上的再取样滤波器相位且所述第一垂直偏移指示用于所述参考层图片的经再取样版本的左上方样本与所述增强层图片的所述左上方样本之间的颜色坐标的垂直偏移。

14.根据权利要求1所述的设备，其中所述舍入偏移值用于再取样过程中的位置计算。

15.根据权利要求1所述的设备，其中所述处理器进一步经配置以通过应用再取样滤波器到所述第一样本来对所述第一样本再取样。

16.根据权利要求1所述的设备，其中所述设备选自由以下各者组成的群组：桌上型计算机、笔记型计算机、膝上型计算机、平板计算机、机顶盒、电话手持机、智能电话、智能板、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台和视频流式传输装置。

17.一种译码视频信息的方法，所述方法包括：

存储与参考层图片及增强层图片相关联的视频数据；

接收指示在第一方向上的所述参考层图片与所述增强层图片之间的缩放比例的缩放因数；

至少部分基于所述缩放因数确定舍入偏移值以用于至少部分基于与所述参考层图片中的第一样本对应的所述增强层图片中的第二样本在所述第一方向上的坐标来确定所述第一样本在所述第一方向上的坐标，所述舍入偏移值进一步在无需除法运算符的操作中确定，其中所述舍入偏移值进一步被确定为经整数值移位的和，基于(i)所述缩放因数和相位的乘积与(ii)第一偏移值的总和来确定所述和；

使用所述缩放因数及所述舍入偏移值确定所述第一样本在所述第一方向上的所述坐标；及

在所确定的坐标处基于所述第一样本由视频编码器编码或由视频解码器解码所述增强层图片。

18.根据权利要求17所述的方法，其中所述第一方向为水平方向或垂直方向。

19.根据权利要求17所述的方法，其中所述确定所述舍入偏移值包括将所述舍入偏移值确定为：

(所述缩放因数×所述相位+所述第一偏移值)>>2，其中所述相位指示在所述第一方向上的再取样滤波器相位且所述第一偏移值指示舍入偏移。

20.根据权利要求18所述的方法，其中所述第一方向为所述水平方向且所述缩放因数是基于所述参考层图片的宽度及所述增强层图片的宽度。

21.根据权利要求18所述的方法，其中所述第一方向为所述水平方向且所述缩放因数是基于所述参考层图片的宽度及所述参考层图片的经缩放版本的宽度。

22.根据权利要求18所述的方法，其中所述第一方向为所述垂直方向且所述缩放因数是基于所述参考层图片的高度及所述增强层图片的高度。

23.根据权利要求18所述的方法，其中所述第一方向为所述垂直方向且所述缩放因数是基于所述参考层图片的高度及所述参考层图片的经缩放版本的高度。

24.根据权利要求21所述的方法，其中在所述水平方向上的所述缩放因数被确定为(1)(a)左移16位的所述参考层图片的所述宽度与(b)右移1位的所述参考层图片的所述经缩放版本的所述宽度的总和除以(2)所述参考层图片的所述经缩放版本的所述宽度。

25.根据权利要求23所述的方法，其中在所述垂直方向上的所述缩放因数被确定为(3)(c)左移16位的所述参考层图片的所述高度与(d)右移1位的所述参考层图片的所述经缩放版本的所述高度的总和除以(4)所述参考层图片的所述经缩放版本的所述高度。

26.一种非暂时性计算机可读媒体，其包括在执行于包括计算机硬件的处理器上时致使所述处理器进行如下操作的指令：

存储与参考层图片及增强层图片相关联的视频数据；

接收指示在第一方向上的所述参考层图片与所述增强层图片之间的缩放比例的缩放因数；

至少部分基于所述缩放因数确定舍入偏移值以用于至少部分基于与所述参考层图片中的第一样本对应的所述增强层图片中的第二样本在所述第一方向上的坐标来确定所述第一样本在所述第一方向上的坐标，所述舍入偏移值进一步在无需除法运算符的操作中确定，其中所述舍入偏移值进一步被确定为经整数值移位的和，基于(i)所述缩放因数和相位的乘积与(ii)第一偏移值的总和来确定所述和；

使用所述缩放因数及所述舍入偏移值确定所述第一样本在所述第一方向上的所述坐标；及

在所确定的坐标处基于所述第一样本编码或解码所述增强层图片。

27.根据权利要求26所述的计算机可读媒体，其进一步包括致使所述处理器将所述舍入偏移值确定为如下的指令：

(所述缩放因数×所述相位+所述第一偏移值)>>2，其中所述相位指示在所述第一方向上的再取样滤波器相位且所述第一偏移值指示舍入偏移。

28.一种用于译码视频信息的设备，所述设备包括：

用于存储与参考层图片及增强层图片相关联的视频数据的装置；

用于接收指示在第一方向上的所述参考层图片与所述增强层图片之间的缩放比例的缩放因数的装置；

用于至少部分基于所述缩放因数确定舍入偏移值以用于至少部分基于与所述参考层图片中的第一样本对应的所述增强层图片中的第二样本在所述第一方向上的坐标来确定所述第一样本在所述第一方向上的坐标的装置，所述舍入偏移值进一步在无需除法运算符的操作中确定，其中所述舍入偏移值进一步被确定为经整数值移位的和，基于(i)所述缩放因数和相位的乘积与(ii)第一偏移值的总和来确定所述和；

用于使用所述缩放因数及所述舍入偏移值确定所述第一样本在所述第一方向上的所述坐标的装置；及

用于在所确定的坐标处基于所述第一样本编码或解码所述增强层图片的装置。

29.根据权利要求28所述的设备，其中所述用于确定所述舍入偏移值的装置进一步经配置以将所述舍入偏移值确定为：

(所述缩放因数×所述相位+所述第一偏移值)>>2，其中所述相位指示在所述第一方向上的再取样滤波器相位且所述第一偏移值指示舍入偏移。