CN104584550B - 用于可缩放视频译码的帧内预测改善 - Google Patents

Abstract

一种根据某些方面的用于译码视频信息的设备包含存储器单元及与所述存储器单元通信的处理器。所述存储器单元存储与参考层及对应增强层相关联的视频信息。所述处理器至少部分基于通过第一加权因子加权的帧内预测值及通过第二加权因子加权的在所述参考层中的共置视频单元的值而确定定位在所述增强层内的一位置处的视频单元的值，其中所述帧内预测值是基于所述增强层中的至少一个额外视频单元而确定，其中所述共置视频单元位于所述参考层中的对应于所述视频单元在所述增强层中的所述位置的位置。在一些实施例中，所述第一加权因子及所述第二加权因子中的至少一者在0与1之间。

Description

用于可缩放视频译码的帧内预测改善

技术领域

本发明涉及视频译码。

背景技术

数字视频能力可并入到广泛范围的装置中，包含数字电视、数字直播***、无线广播***、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子图书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、所谓的“智能电话”、视频电话会议装置、视频流式发射装置及其类似者。数字视频装置实施视频译码技术，例如由MPEG-2、MPEG-4、ITU-T H.263或ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)所定义的标准、目前正在开发的高效率视频译码(HEVC)标准及这些标准的扩展中所描述的视频译码技术。视频装置可通过实施此类视频译码技术而更有效率地发射、接收、编码、解码及/或存储数字视频信息。

视频译码技术包含空间(图片内)预测及/或时间(图片间)预测以减少或移除视频序列中固有的冗余。对于基于块的视频译码来说，视频切片(例如，视频帧或视频帧的一部分)可分割成视频块，视频块还可被称作树块、译码单元(CU)及/或译码节点。使用相对于图片中的相邻块中的参考样本的空间预测对同一图片的经帧内编码(I)切片中的视频块进行编码。图片的经帧间译码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可称作帧，且参考图片可称作参考帧。

空间或时间预测导致待译码块的预测性块。残余数据表示待译码的原始块与预测性块之间的像素差。经帧间译码块是根据指向形成预测性块的参考样本块的运动向量及指示经译码块与预测性块之间的差的残余数据而编码。经帧内译码块是根据帧内译码模式及残余数据而编码。为了实现进一步压缩，可将残余数据从像素域变换到变换域，从而产生残余变换系数，接着可对残余变换系数进行量化。可扫描最初布置为二维阵列的经量化变换系数，以便产生变换系数的一维向量，且可应用熵译码以实现更多压缩。

发明内容

大体来说，在一些方面中，本发明描述与使用不同技术或模式预测视频单元值以及将加权因子应用到每一模式计算以确定所述视频单元值有关的技术。在一些实施例中，所述加权因子为预定的，且可译码于视频位流中。在一些实施例中，所述加权因子是基于所述视频单元在相关联块内的位置而确定。举例来说，所述加权因子可基于所述视频单元在所述块内的所述位置而选自加权因子的预定列表或群组。在另一实施例中，所述加权因子是通过使用视频块位置信息而计算。在一个实施例中，所述视频单元(例如，像素)到所述块的顶部及/或左边缘越近，与帧内预测模式相关联的加权单元就越大。在另一实施例中，所述视频单元距所述块的顶部及左边缘越远，与帧内BL预测模式相关联的所述加权单元就越大。

一种根据某些方面的用于译码视频信息的设备包含存储器单元及与所述存储器单元通信的处理器。所述存储器单元存储与参考层及对应增强层相关联的视频信息。所述处理器至少部分基于通过第一加权因子加权的帧内预测值及通过第二加权因子加权的在所述参考层中的共置视频单元的值而确定定位在所述增强层内的一位置处的视频单元的值，其中所述帧内预测值是基于所述增强层中的至少一个额外视频单元而确定，其中所述共置视频单元位于所述参考层中的对应于所述视频单元在所述增强层中的所述位置的位置。在一些实施例中，所述第一加权因子及所述第二加权因子中的至少一者在0与1之间。

一种根据某些方面的用于译码视频信息的设备包含存储器单元及与所述存储器单元通信的处理器。所述存储器单元存储与参考层及对应增强层(EL)相关联的视频信息。所述处理器至少部分基于所述参考层中的多个像素的平均值而确定所述EL中的像素的预测值。

一种根据某些方面的用于译码视频信息的设备包含存储器单元及与所述存储器单元通信的处理器。所述存储器单元存储与增强层相关联的视频信息。所述处理器将平滑滤波器应用到视频单元且在所述视频单元为像素值时将平滑滤波器应用到邻近于所述视频单元的至少一个额外视频单元。

一种根据某些方面的用于译码视频信息的设备包含存储器单元及与所述存储器单元通信的处理器。所述存储器单元存储从增强层与对应参考层之间的差导出的与像素信息的差视频层相关联的差视频信息。第一空间分辨率与所述增强层相关联，且第二空间分辨率与所述参考层相关联。所述处理器在所述第一空间分辨率不等于所述第二空间分辨率时至少部分基于所述差视频层确定定位在所述增强层内的一位置处的视频单元的值。所述处理器进一步在所述第一空间分辨率等于所述第二空间分辨率时禁止至少部分基于所述差视频层确定所述视频单元的所述值。

一或多个实例的细节陈述于附图及以下描述中。其它特征、目标及优势将从描述及附图且从权利要求书中显而易见。

附图说明

图1是说明可利用根据本发明中描述的方面的技术的实例视频编码及解码***的框图。

图2是说明可实施根据本发明中描述的方面的技术的视频编码器的实例的框图。

图3是说明可实施本发明中描述的方面的技术的视频解码器的实例的框图。

图4是说明视频译码器的实例的框图。

图5说明用于帧内预测的各种模式。

图6是说明预测过程的框图。

图7是说明当前预测单元及其相邻单元的框图。

图8是说明增强层差域译码及常规像素域译码的框图。

图9是说明使用相邻值来确定差域预测的框图。

图10是经加权平面帧内预测模式实施方案的框图。

图11是经加权平面帧内预测模式实施方案的另一实施例的框图。

图12是经加权平面帧内预测模式实施方案的另一实施例的框图。

图13是经加权平面帧内预测模式实施方案的另一实施例的框图。

图14是说明DC预测模式的实施方案的框图。

图15是说明根据本发明的方面的用于经加权平面帧内预测的实例方法的流程图。

图16是说明根据本发明的方面的用于经加权平面帧内预测的实例方法的流程图。

图17是说明根据本发明的方面的用于经加权平面帧内预测的实例方法的流程图。

图18是说明根据本发明的方面的用于经加权平面帧内预测的实例方法的流程图。

图19说明平面帧内预测模式的实例。

图20说明用于可缩放视频译码的平面模式帧内预测扩展的一个实施例。

图21说明使用基础与增强层预测样本的组合的增强层帧内预测的一个实施例。

图22说明差域帧内预测中的所提议帧内残差预测模式的一个实施例。

图23说明用于45度帧内预测方向的实例1-D方向变换。

图24A说明用于帧内DC预测的滤波的一个实施例。

图24B说明用于垂直及/或水平预测模式的滤波的一个实施例。

具体实施方式

本发明中描述的技术大体涉及可缩放视频译码(SVC)及3D视频译码。举例来说，技术可与高效率视频译码(HEVC)可缩放视频译码(SVC)扩展相关，且与HEVC SVC扩展一起使用或在所述HEVC SVC扩展内使用。HEVC SVC扩展也可称作可缩放HEVC(SHVC)。在SVC扩展中，可存在多个视频信息层。在最底层级处的层可充当基础层(BL)，且在最顶部的层可充当增强型层(enhanced layer，EL)。“增强型层”有时称作“增强层(enhancement layer)”，且这些术语可互换地使用。所有在中间的层可充当EL或BL，或EL及BL两者。举例来说，在中间的层可为用于在其下方的层(例如基础层或任何介入增强层)的EL，且同时充当用于在其上方的增强层的BL。

仅出于说明的目的，本发明中描述的技术用仅包含两层(例如，例如基础层等较低层级层，及例如增强型层等较高层级层)的实例来加以描述。应理解，本发明中描述的实例也可扩展到具有多个基础层及增强层的实例。

视频译码标准包含ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及ITU-T H.264(也被称为ISO/IEC MPEG-4 AVC)，包含其可缩放视频译码(SVC)及多视图视频译码(MVC)扩展。此外，一种新的视频译码标准，即高效率视频译码(HEVC)，正由ITU-T视频译码专家组(VCEG)及ISO/IEC运动图片专家组(MPEG)的视频译码联合合作小组(JCT-VC)进行开发。HEVC的新近草案从2012年6月7日起可从http：//wg11.sc29.org/jct/doc_end_user/current_ document.php？id＝5885/JCTVC-I1003-v2获得。被称作“HEVC工作草案7”的HEVC标准的另一新近草案从2012年6月7日起可从http：//phenix.it-sudparis.eu/jct/doc_end_user/ documents/9 Geneva/wg11/JCTVC-I1003-v3.zip下载。对HEVC工作草案7的完全引用是布洛斯(Bross)等人的文献HCTVC-I1003“高效率视频译码(HEVC)文本规范草案7(HighEfficiency Video Coding(HEVC)Text Specification Draft 7)”，ITU-T SG16 WP3及ISO/IEC JTC1/SC29/WG11的视频译码联合合作小组(JCT-VC)，第9次会议：瑞士日内瓦，2012年4月27日到2012年5月7日。被称作“HEVC工作草案(WD)8”的HEVC标准的额外新近草案可从http：//phenix.int-evry.fr/jct/doc_end_user/documents/10_Stockholm/wg11/ JCTVC-J1003-v8.zip获得。HEVC标准的另一新近工作版本为JCTVT-N0041。审批通过的HECV规范可见于http：//www.itu.int/rec/T-REC-H.265-201304-I。这些参考文献中的每一者以全文引用的方式并入本文中。

可缩放视频译码(SVC)可用于提供质量(还称作信噪比(SNR))可缩放性、空间可缩放性及/或时间可缩放性。增强型层可具有与基础层不同的空间分辨率。举例来说，EL与BL之间的空间纵横比可为1.0、1.5、2.0或其它不同比率。换句话说，EL的空间方面可等于BL的空间方面的1.0、1.5或2.0倍。在一些实例中，EL的缩放因子可大于BL。举例来说，EL中的图片的大小可大于BL中的图片的大小。以此方式，可有可能(但不限于)EL的空间分辨率大于BL的空间分辨率。

在译码增强层时，可使用像素域或差域来执行帧内预测。帧内预测是基于相邻像素及帧内预测模式。帧内预测模式的一些实例包含垂直模式、水平模式、DC模式、平面模式、角度模式。还可使用额外帧内预测模式。举例来说，在HEVC中，18个帧内预测模式可用于4x4框，且36个帧内预测模式可用于8x8框。在DC模式中，相邻像素值用于当前像素的帧内预测。

在SVC中，差域可指通过从增强层中重建的像素减去经重建的基础层像素(或反之亦然)而形成的一组差像素。如上文所解释，差域可用于帧内预测。在差帧内预测中，通过从对应基础层像素减去增强层经重建信号(或反之亦然)而产生当前预测单元(PU)以及相邻差域像素。相邻样本(用于预测)相对于当前预测像素的相对距离越远，预测误差越大。因此，对于远离左上方块边界的样本，使用共置基础层像素(例如，位于基础层中的对应位置)用于预测替代增强层相邻预测将为有利的。

本发明中描述的技术可解决与SVC中的帧内预测有关的问题。本发明中描述的技术可尤其适用于差域中。可通过将权重应用到每一帧内预测及帧内BL计算而组合帧内预测与帧内BL预测模式。每一权重可具有应用于整体预测块的固定值。每一权重还可为自适应的，或根据某一其它参数而个别地确定。可基于预测块中的样本位置而确定自适应权重值。举例来说，可向用于接近于左及/或顶部边界的样本的帧内预测权重给出较大权重，且可向用于远离左方及上方边界的样本的帧内BL权重给出较大权重。

本发明中描述的技术还可解决与SVC中的不同域帧内预测有关的其它问题。在DC预测中，所述技术可使用共置像素的基础层预测单元像素的DC值用于预测当前像素的值。举例来说，如果当前像素不具有某些相邻者或如果当前像素的相邻像素不可用，那么可使用基于共置基础层像素的DC值。所述技术还可选择不将平滑滤波器应用到相邻像素来用于差域帧内预测。举例来说，可经由HEVC中所提供的模式相依性帧内平滑化(MDIS)来应用平滑滤波器。所述技术还可选择仅在空间可缩放性情况下使用差域帧内预测。举例来说，差域帧内预测不可用于SNR(信噪比)或质量可缩放性情况。

下文参考附图更充分地描述新颖***、设备及方法的各种方面。然而，本发明可以许多不同形式来体现，且不应将其解释为限于贯穿本发明所呈现的任何特定结构或功能。确切地说，提供这些方面以使得本发明将为透彻且完整的，且将向所属领域的技术人员充分传达本发明的范围。基于本文中的教示，所属领域的技术人员应了解，本发明的范围既定涵盖无论是独立于本发明的任何其它方面而实施还是与之组合而实施的本文中所揭示的新颖***、设备及方法的任何方面。举例来说，可使用本文中阐述的任何数目的方面来实施设备或实践方法。另外，本发明的范围既定涵盖使用除本文中所阐述的本发明的各种方面之外的或不同于本文中所阐述的本发明的各种方面的其它结构、功能性或结构与功能性来实践的此设备或方法。应理解，可通过权利要求的一或多个要素来体现本文中所揭示的任何方面。

尽管本文描述了特定方面，但这些方面的许多变化及排列属于本发明的范围。尽管提到了优选方面的一些益处及优点，但本发明的范围不既定限于特定益处、用途或目的。确切地说，本发明的方面既定广泛地适用于不同无线技术、***配置、网络及发射协议，其中的一些是作为实例而在图中以及在优选方面的以下描述中加以说明。详细描述及图式仅说明本发明，而不限制由所附权利要求书及其等效者界定的本发明的范围。

图1是说明可利用根据本发明中描述的方面的技术的实例视频编码及解码***的框图。如图1所示，***10包含源装置12，所述源装置12提供待在稍后时间由目的地装置14解码的经编码视频数据。明确地说，源装置12将视频数据经由计算机可读媒体16提供到目的地装置14。源装置12及目的地装置14可包括广泛范围的装置中的任一者，包含桌上型计算机、笔记型(例如，膝上型)计算机、平板计算机、机顶盒、例如所谓的“智能”电话等电话手持机、所谓的“智能”板、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流式发射装置或其类似者。在一些情况下，源装置12及目的地装置14可经配备以用于无线通信。

目的地装置14可经由计算机可读媒体16接收待解码的经编码视频数据。计算机可读媒体16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。在一个实例中，计算机可读媒体16可包括使得源装置12能够实时地将经编码视频数据直接发射到目的地装置14的通信媒体。经编码视频数据可根据例如无线通信协议等通信标准加以调制，且发射到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一或多个物理传输线。通信媒体可能形成分组网络(例如局域网、广域网或全球网络，例如因特网)的一部分。通信媒体可包含路由器、交换器、基站，或可用于促进从源装置12到目的地装置14的通信的任何其它装备。

在一些实例中，可将经编码数据从输出接口22输出到存储装置。类似地，可通过输入接口从存储装置存取经编码数据。存储装置可包含多种分布式或本地存取的数据存储媒体中的任一者，例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器或任何其它用于存储经编码的视频数据的合适的数字存储媒体。在另一实例中，存储装置可对应于文件服务器或可存储源装置12产生的经编码视频的另一中间存储装置。目的地装置14可经由流式发射或下载从存储装置存取所存储的视频数据。文件服务器可为能够存储经编码视频数据且将经编码视频数据发射到目的地装置14的任何类型的服务器。实例文件服务器包含网络服务器(例如，用于网站)、FTP服务器、网络附接存储(NAS)装置及本地磁盘驱动器。目的地装置14可通过任何标准数据连接(包含因特网连接)来存取经编码视频数据。此可包含适合于存取存储在文件服务器上的经编码视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)或两者的组合。经编码视频数据从存储装置的发射可为流式发射、下载发射或其组合。

本发明的技术不必限于无线应用或设定。所述技术可应用于支持多种多媒体应用中的任一者的视频译码，例如空中协议电视广播、有线电视发射、***发射、因特网流式视频发射(例如，动态自适应HTTP流式发射(DASH))、经编码到数据存储媒体上的数字视频、存储在数据存储媒体上的数字视频的解码，或其它应用。在一些实例中，***10可经配置以支持单向或双向视频发射，以支持例如视频流式发射、视频回放、视频广播及/或视频电话等应用。

在图1的实例中，源装置12包含视频源18、视频编码器20及输出接口22。目的地装置14包含输入接口28、视频解码器30及显示装置32。根据本发明，源装置12的视频编码器20可经配置以应用用于对包含符合多个标准或标准扩展的视频数据的位流进行译码的技术。在其它实例中，源装置及目的地装置可包括其它组件或布置。举例来说，源装置12可从外部视频源18(例如外部相机)接收视频数据。同样，目的地装置14可与外部显示装置介接，而非包含集成显示装置。

图1所说明的***10只是一个实例。用于确定当前块的运动向量预测符的候选列表的候选者的技术可由任何数字视频编码及/或解码装置执行。尽管本发明的技术一般通过视频编码装置来执行，但是所述技术还可通过视频编码器/解码器(通常被称作“编码解码器(CODEC)”)来执行。此外，本发明的技术还可通过视频预处理器来执行。源装置12及目的地装置14仅为此些译码装置的实例，其中源装置12产生用于发射到目的地装置14的经译码视频数据。在一些实例中，装置12、14可以实质上对称的方式操作以使得装置12、14中的每一者包括视频编码及解码组件。因此，***10可支持视频装置12、14之间的单向或双向视频发射，例如用于视频流式发射、视频回放、视频广播或视频电话。

源装置12的视频源18可包含视频俘获装置，例如视频摄像机、含有先前所俘获视频的视频存档及/或用于从视频内容提供者接收视频的视频馈送接口。作为另一替代方案，视频源18可产生基于计算机图形的数据作为源视频，或直播视频(live video)、存档视频与计算机产生的视频的组合。在一些情况下，如果视频源18为视频相机，那么源装置12及目的地装置14可形成所谓的相机电话或视频电话。然而，如上文所提及，本发明中所描述的技术一般来说可适用于视频译码，且可应用于无线及/或有线应用。在每一情况下，可由视频编码器20来编码经俘获的、经预先俘获的或计算机产生的视频。经编码视频信息可接着通过输出接口22输出到计算机可读媒体16上。

计算机可读媒体16可包含瞬时媒体，例如无线广播或有线网络发射，或存储媒体(即，非暂时性存储媒体)，例如硬盘、快闪驱动器、压缩光盘、数字影音光盘、蓝光光盘或其它计算机可读媒体。在一些实例中，网络服务器(未展示)可例如经由网络发射、直接有线通信等从源装置12接收经编码视频数据且将经编码视频数据提供到目的地装置14。类似地，媒体生产设施(例如光盘冲压设施)的计算装置可从源装置12接收经编码的视频数据且生产含有经编码视频数据的光盘。因此，在各种实例中，计算机可读媒体16可理解为包含各种形式的一或多个计算机可读媒体。

目的地装置14的输入接口28从计算机可读媒体16接收信息。计算机可读媒体16的信息可包含由视频编码器20定义的语法信息，所述语法信息还供视频解码器30使用，所述语法信息包含描述块及其它经译码单元(例如，GOP)的特性及/或处理的语法元素。显示装置32向用户显示经解码视频数据，且可包括多种显示装置中的任一者，例如阴极射线管(CRT)、液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。

视频编码器20及视频解码器30可根据视频译码标准(例如，目前正在开发的高效率视频译码(HEVC)标准)来操作，且可符合HEVC测试模型(HM)。或者，视频编码器20及视频解码器30可根据其它专属或工业标准来操作，所述标准例如ITU-T H.264标准，替代地被称作MPEG-4第10部分高级视频译码(AVC)，或此类标准的扩展。然而，本发明的技术不限于任何特定译码标准，包含但不限于上文所列的标准中的任一者。视频译码标准的其它实例包含MPEG-2和ITU-T H.263。尽管图1中未展示，但在一些方面中，视频编码器20及视频解码器30可各自与音频编码器及解码器集成，且可包含适当的多路复用器-多路分用器(MUX-DEMUX)单元或其它硬件及软件，以处理对共同数据流或单独数据流中的音频与视频两者的编码。如果适用，MUX-DEMUX单元可符合ITU H.223多路复用器协议或例如用户数据报协议(UDP)等其它协议。

视频编码器20及视频解码器30各自可实施为例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合的多种合适编码器电路中的任一者。当部分地用软件实施所述技术时，装置可将用于软件的指令存储在合适的非暂时性计算机可读媒体中且使用一或多个处理器用硬件执行所述指令以执行本发明的技术。视频编码器20及视频解码器30中的每一者可包含在一或多个编码器或解码器中，所述编码器或解码器中的任一者可集成为相应装置中的组合编码器/解码器(CODEC)的部分。包含视频编码器20及/或视频解码器30的装置可包括集成电路、微处理器及/或无线通信装置，例如蜂窝式电话。

JCT-VC正在致力于开发HEVC标准。HEVC标准化努力是基于被称作HEVC测试模型(HM)的视频译码装置的演进模型。HM假设视频译码装置根据例如ITU-T H.264/AVC相对于现有装置的若干额外能力。举例来说，虽然H.264提供了九种帧内预测编码模式，但HM可提供多达三十三种帧内预测编码模式。

一般来说，HM的工作模型描述视频帧或图片可划分成包含明度及色度样本两者的一连串树块或最大译码单元(LCU)。位流内的语法数据可定义LCU的大小，LCU是就像素数目来说的最大译码单元。切片包含呈译码次序的多个连续树块。视频帧或图片可分割成一或多个切片。每一树块可根据四叉树***成译码单元(CU)。一般来说，四叉树数据结构包含每CU一个节点，其中根节点对应于所述树块。如果一个CU***成4个子CU，那么对应于CU的节点包含四个叶节点，其中的每一者对应于所述子CU中的一者。

四叉树数据结构的每一节点可提供对应CU的语法数据。举例来说，四叉树中的节点可包含***旗标，从而指示对应于所述节点的所述CU是否***成子CU。CU的语法元素可递归地定义，且可取决于CU是否***成子CU。如果CU不进一步***，那么将其称为叶CU。在本发明中，叶CU的子CU也将被称作叶CU，即使不存在原始叶CU的明确***时也是如此。举例来说，如果16x16大小的CU不进一步***，那么四个8x8子CU将也被称作叶CU，虽然16x16 CU从未***。

CU具有类似于H.264标准的宏块的目的，但CU不具有大小区别。举例来说，树块可***成四个子节点(还被称作子CU)，且每一子节点又可为父节点并且可***成另外四个子节点。最终的未***子节点(被称作四叉树的叶节点)包括也称为叶CU的译码节点。与经译码位流相关联的语法数据可界定树块可***的最大次数，被称作最大CU深度，且还可界定译码节点的最小大小。因此，位流还可定义最小译码单元(SCU)。本发明使用术语“块”指代HEVC的上下文中的CU、PU或TU中的任一者，或者其它标准的上下文中的类似数据结构(例如，其在H.264/AVC中的宏块及子块)。

CU包含译码节点以及与所述译码节点相关联的预测单元(PU)及变换单元(TU)。CU的大小对应于译码节点的大小且形状必须是正方形。CU的大小范围可从8x8像素到具有最大64x64像素或更大的树块的大小。每一CU可含有一或多个PU及一或多个TU。举例来说，与CU相关联的语法数据可描述将CU分割成一或多个PU。分割模式可在CU被跳过或经直接模式编码、帧内预测模式编码或帧间预测模式编码之间有所不同。PU可分割成非正方形形状。举例来说，与CU相关联的语法数据还可描述CU根据四叉树到一或多个TU的分割。TU可为正方形或非正方形(例如，矩形)形状。

HEVC标准允许根据TU的变换，TU可针对不同CU而有所不同。TU的大小通常是基于针对经分割LCU定义的给定CU内的PU的大小而确定，但情况可能并非始终如此。TU通常与PU大小相同或小于PU。在一些实例中，对应于CU的残余样本可使用被称为“残余四叉树”(RQT)的四叉树结构而细分成较小单元。RQT的叶节点可被称为变换单元(TU)。可变换与TU相关联的像素差值以产生变换系数，可将所述变换系数量化。

叶CU可包含一或多个预测单元(PU)。一般来说，PU表示对应于相对应的CU的全部或一部分的空间区域，且可包含用于检索PU的参考样本的数据。此外，PU包含与预测有关的数据。举例来说，当PU经帧内模式编码时，用于PU的数据可包含在残余四叉树(RQT)中，残余四叉树可包含描述用于对应于PU的TU的帧内预测模式的数据。作为另一实例，当PU经帧间模式编码时，PU可包含定义PU的一或多个运动向量的数据。举例来说，定义PU的运动向量的数据可描述运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如，四分之一像素精度或八分之一像素精度)、运动向量指向的参考图片及/或运动向量的参考图片列表(例如，列表0、列表1或列表C)。

具有一或多个PU的叶CU还可包含一或多个变换单元(TU)。变换单元可使用RQT(还称为TU四叉树结构)来指定，如上文所论述。举例来说，***旗标可指示叶CU是否***成四个变换单元。接着，每一变换单元可进一步***成其它的子TU。当TU未经进一步***时，其可被称作叶TU。一般来说，对于帧内译码，属于叶CU的所有叶TU共享相同的帧内预测模式。即，一般应用相同的帧内预测模式来计算叶CU的所有TU的预测值。对于帧内译码，视频编码器可使用帧内预测模式针对每一叶TU计算残余值，作为CU的对应于TU的部分与原始块之间的差。TU不必限于PU的大小。因此，TU可大于或小于PU。对于帧内译码，PU可与相同CU的相对应的叶TU位于相同位置。在一些实例中，叶TU的最大大小可对应于对应叶CU的大小。

此外，叶CU的TU还可与相应四叉树数据结构(被称作残余四叉树(RQT))相关联。即，叶CU可包含指示叶CU如何分割成TU的四叉树。TU四叉树的根节点一般对应于叶CU，而CU四叉树的根节点一般对应于树块(或LCU)。未经***的RQT的TU被称作叶TU。一般来说，除非另有提及，否则本发明分别使用术语CU及TU来指叶CU及叶TU。

视频序列通常包含一系列视频帧或图片。图片群组(GOP)一般包括一系列一或多个视频图片。GOP可包含GOP的标头、图片中的一者或一者以上的标头或其它地方中的语法数据，其描述GOP中包含的图片的数目。图片的每一切片可包含描述用于相应切片的编码模式的切片语法数据。视频编码器20通常对个别视频切片内的视频块操作以便编码视频数据。视频块可对应于CU内的译码节点。视频块可具有固定或变化的大小，且可根据指定译码标准而大小不同。

作为实例，HM支持各种PU大小的预测。假设特定CU的大小是2Nx2N，则HM支持2Nx2N或NxN的PU大小的帧内预测，及2Nx2N、2NxN、Nx2N或NxN的对称PU大小的帧间预测。HM还支持用于2NxnU、2NxnD、nLx2N及nRx2N的PU大小的帧间预测的不对称分割。在不对称分割中，不分割CU的一个方向，而将另一方向分割成25％及75％。CU的对应于25％分区的部分由“n”继之以“上方(U)”、“下方(D)”、“左侧(L)”或“右侧(R)”指示来指示。因而，举例来说，“2NxnU”是指水平地分割的2Nx2N CU，其中顶部为2Nx0.5N PU，而底部为2Nx1.5N PU。

在本发明中，“NxN”及“N乘N”可互换使用以指在垂直尺寸及水平尺寸方面的视频块的像素尺寸，例如，16x16像素或16乘16像素。大体来说，16x16块将在垂直方向上具有16个像素(y＝16)，且在水平方向上具有16个像素(x＝16)。同样地，N×N块一般在垂直方向上具有N个像素，且在水平方向上具有N个像素，其中N表示非负整数值。块中的像素可布置成若干行及若干列。此外，块未必需要在水平方向与垂直方向上具有相同数目的像素。举例来说，块可包括NxM像素，其中M未必等于N。

在使用CU的PU进行帧内预测性或帧间预测性译码之后，视频编码器20可计算CU的TU的残余数据。PU可包括描述在空间域(还被称作像素域)中产生预测性像素数据的方法或模式的语法数据，且TU可包括在对残余视频数据应用变换(例如，离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换)之后在变换域中的系数。残余数据可对应于未经编码图片的像素与对应于PU的预测值之间的像素差。视频编码器20可形成包含用于CU的残余数据的TU，且接着变换TU以产生用于CU的变换系数。

在进行用于产生变换系数的任何变换之后，视频编码器20可执行变换系数的量化。量化一般是指将变换系数量化以可能减少用以表示系数的数据量从而提供进一步压缩的过程。量化过程可减小与系数中的一些或全部相关联的位深度。举例来说，可在量化期间将n位值向下舍入到m位值，其中n大于m。

在量化之后，视频编码器可扫描变换系数，从而从包含经量化的变换系数的二维矩阵产生一维向量。扫描可经设计以将较高能量(且因此较低频率)的系数放置在阵列正面，且将较低能量(且因此较高频率)的系数放置在阵列的背面。在一些实例中，视频编码器20可利用预定义扫描次序来扫描经量化的变换系数以产生可被熵编码的串行化向量。在其它实例中，视频编码器20可执行自适应扫描。在扫描经量化的变换系数以形成一维向量之后，视频编码器20可例如根据上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法来对一维向量进行熵编码。视频编码器20还可对与经编码的视频数据相关联的语法元素进行熵编码以供视频解码器30在对视频数据解码时使用。

为了执行CABAC，视频编码器20可向待发射的符号指派上下文模型内的上下文。举例来说，所述上下文可涉及符号的相邻值是否为非零。为了执行CAVLC，视频编码器20可选择用于待发射的符号的可变长度码。可建构VLC中的码字以使得相对较短码对应于更有可能的符号，而较长码对应于不太可能的符号。以此方式，使用VLC可较之例如对待发射的每一符号使用等长码字实现位节省。概率确定可基于指派给符号的上下文。

视频编码器20可进一步例如在帧标头、块标头、切片标头或GOP标头中将例如基于块的语法数据、基于帧的语法数据及基于GOP的语法数据等语法数据发送到视频解码器30。GOP语法数据可描述相应GOP中的帧的数目，且帧语法数据可指示用以编码相对应的帧的编码/预测模式。

图2是说明可实施根据本发明中描述的方面的技术的视频编码器的实例的框图。视频编码器20可经配置以执行本发明的技术中的任一者或全部。作为一个实例，模式选择单元40可经配置以执行本发明中描述的技术中的任一者或全部。然而，本发明的方面不限于此。在一些实例中，本发明中描述的技术可在视频编码器20的各种组件之间共享。在一些实例中，作为补充或替代，处理器(未展示)可经配置以执行本发明中描述的技术中的任一者或全部。

在一些实施例中，模式选择单元40、帧内预测单元46(或模式选择单元40的另一组件，展示或未展示)或编码器20的另一组件(展示或未展示)可执行本发明的技术。举例来说，模式选择单元40可接收用于编码的视频数据，所述视频数据可经编码到参考层(例如，基础层)及对应的一或多个增强层中。模式选择单元40、帧内预测单元46或编码器20的另一适当单元可至少部分基于基于增强层中的至少一个额外视频单元的帧内预测值及参考层中的共置视频单元的值而确定定位在所述增强层内的一位置处的视频单元的值。基于增强层中的至少一个额外视频单元的帧内预测值可通过第一加权因子加权。参考层中的共置视频单元的值可通过第二加权因子加权。编码器20可经配置以编码与所述视频单元有关的数据。编码器20可进一步经配置以编码且在位流中用信号通知所述第一加权因子及所述第二加权因子或与所述第一加权因子及所述第二加权因子有关的信息。

在某些实施例中，模式选择单元40、帧内预测单元46(或模式选择单元40的另一组件，展示或未展示)或编码器20的另一组件(展示或未展示)可至少部分基于参考层中的多个像素的平均值确定增强层中的像素的预测值。编码器20可编码与所述像素有关的数据且在位流中用信号通知经编码数据。

在其它实施例中，模式选择单元40、帧内预测单元46(或模式选择单元40的另一组件，展示或未展示)或编码器20的另一组件(展示或未展示)可将平滑滤波器应用到增强层中的视频单元且在所述视频单元为像素值时将平滑滤波器应用到邻近于所述视频单元的至少一个额外视频单元。编码器20可编码与所述视频单元有关的数据且在位流中用信号通知经编码数据。

在一些实施例中，模式选择单元40、帧内预测单元46(或模式选择单元40的另一组件，展示或未展示)或编码器20的另一组件(展示或未展示)可至少部分基于差视频层确定定位在增强层内的一位置处的视频单元的值。可从增强层与对应参考层之间的差导出像素信息的差视频层。第一空间分辨率可与增强层相关联，且第二空间分辨率可与参考层相关联。当第一空间分辨率不等于第二空间分辨率时，编码器20可至少部分基于所述差视频层确定EL中的视频单元的值。当第一空间分辨率等于第二空间分辨率时，编码器20可禁止至少部分基于差视频层确定视频单元的值。编码器20可编码与所述视频单元有关的数据且在位流中用信号通知经编码数据。编码器20还可编码且在位流中用信号通知指示是否使用差视频层用于帧内预测的旗标。

视频编码器20可执行视频切片内的视频块的帧内译码及帧间译码。帧内译码依赖于空间预测来减少或移除给定视频帧或图片内的视频中的空间冗余。帧间译码依赖于时间预测来减少或移除视频序列的邻接帧或图片内的视频中的时间冗余。帧内模式(I模式)可指若干基于空间的译码模式中的任一者。例如单向预测(P模式)或双向预测(B模式)等帧间模式可指若干基于时间的译码模式中的任一者。

如图2所示，视频编码器20接收视频帧内的待编码的当前视频块。在图2的实例中，视频编码器20包含模式选择单元40、参考帧存储器64、求和器50、变换处理单元52、量化单元54，及熵编码单元56。模式选择单元40又包含运动补偿单元44、运动估计单元42、帧内预测单元46及分割单元48。对于视频块重建，视频编码器20还包含反量化单元58、反变换单元60，及求和器62。还可包含解块滤波器(图2中未展示)以对块边界进行滤波，以从经重建的视频移除成块假影。在需要时，解块滤波器通常对求和器62的输出进行滤波。除解块滤波器之外，还可使用额外滤波器(环路内或环路后)。为简洁起见未展示此些滤波器，但在必要时，此些滤波器可对求和器50的输出进行滤波(作为环路内滤波器)。

在编码过程期间，视频编码器20接收待译码的视频帧或切片。所述帧或切片可划分成多个视频块。运动估计单元42及运动补偿单元44相对于一或多个参考帧中的一或多个块执行所接收视频块的帧间预测性译码以提供时间预测。帧内预测单元46可替代地相对于与待译码块相同的帧或切片中的一或多个相邻块执行对所接收的视频块的帧内预测性译码以提供空间预测。视频编码器20可执行多个译码遍次，以例如针对每一视频数据块选择适当的译码模式。

此外，分割单元48可基于先前译码遍次中的先前分割方案的评估将视频数据块分割成子块。举例来说，分割单元48可最初将帧或切片分割成LCU，且基于速率-失真分析(例如，速率-失真优化)将所述LCU中的每一者分隔成子CU。模式选择单元40可进一步产生指示LCU到子CU的分割的四叉树数据结构。所述四叉树的叶节点CU可包含一或多个PU及一或多个TU。

模式选择单元40可例如基于误差结果而选择译码模式中的一者(帧内或帧间)，且将所得的经帧内译码或经帧间译码的块提供到求和器50以产生残余块数据，且提供到求和器62以重建经编码块以用作参考帧。模式选择单元40还将语法元素(例如，运动向量、帧内模式指示符、分割信息及其它此类语法信息)提供到熵编码单元56。

运动估计单元42与运动补偿单元44可高度集成，但出于概念上的目的而分开予以说明。由运动估计单元42执行的运动估计是产生估计视频块的运动的运动向量的过程。举例来说，运动向量可指示当前视频帧或图片内的视频块的PU相对于参考帧(或其它经译码单元)内的预测性块相对于当前帧(或其它经译码单元)内正经译码的当前块的移位。预测性块是经发现在像素差方面密切地匹配待译码块的块，其可通过绝对差总和(SAD)、平方差总和(SSD)或其它差量度来确定。在一些实例中，视频编码器20可计算存储在参考帧存储器64中的参考图片的子整数像素位置的值。举例来说，视频编码器20可内插参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此，运动估计单元42可相对于全像素位置及分数像素位置执行运动搜索且输出具有分数像素精度的运动向量。

运动估计单元42通过比较PU的位置与参考图片的预测性块的位置来计算用于经帧间译码切片中的视频块的PU的运动向量。参考图片可选自第一参考图片列表(列表0)或第二参考图片列表(列表1)，其中的每一者识别存储在参考帧存储器64中的一或多个参考图片。运动估计单元42将计算出的运动向量发送到熵编码单元56及运动补偿单元44。

由运动补偿单元44执行的运动补偿可涉及基于由运动估计单元42确定的运动向量提取或产生预测性块。此外，在一些实例中，运动估计单元42与运动补偿单元44可在功能上集成。在接收到当前视频块的PU的运动向量之后，运动补偿单元44可即刻在参考图片列表中的一者中定位所述运动向量指向的预测性块。求和器50通过从经译码的当前视频块的像素值减去预测性块的像素值从而形成像素差值来形成残余视频块，如下文所论述。一般来说，运动估计单元42相对于明度分量执行运动估计，且运动补偿单元44对于色度分量及明度分量两者使用基于明度分量计算的运动向量。模式选择单元40还可产生与视频块及视频切片相关联的语法元素以供视频解码器30用于对视频切片的视频块进行解码。

作为如上文所描述由运动估计单元42及运动补偿单元44执行的帧间预测的替代方案，帧内预测单元46可对当前块进行帧内预测。明确地说，帧内预测单元46可确定用来编码当前块的帧内预测模式。在一些实例中，帧内预测单元46可例如在单独编码遍次期间使用各种帧内预测模式编码当前块，且帧内预测单元46(或在一些实例中，模式选择单元40)可从经测试模式选择适当帧内预测模式来使用。

举例来说，帧内预测单元46可使用速率-失真分析计算用于各种经测试帧内预测模式的速率-失真值，且从所述经测试模式当中选择具有最佳速率-失真特性的帧内预测模式。速率-失真分析一般确定经编码块与经编码以产生所述经编码块的原始未经编码块之间的失真(或误差)的量，以及用于产生经编码块的位速率(即，位数目)。帧内预测单元46可根据用于各种经编码块的失真及速率计算比率，以确定哪种帧内预测模式对于所述块展现最佳速率-失真值。

在针对一块选择帧内预测模式之后，帧内预测单元46可将指示用于所述块的所选帧内预测模式的信息提供到熵编码单元56。熵编码单元56可编码指示选定帧内预测模式的信息。视频编码器20在发射的位流中可包含配置数据，其可包含多个帧内预测模式索引表及多个经修改的帧内预测模式索引表(也称为码字映射表)，对用于各种块的上下文进行编码的定义，及对最可能帧内预测模式、帧内预测模式索引表及经修改的帧内预测模式索引表的指示以用于所述上下文中的每一者。

视频编码器20通过从经译码的原始视频块减去来自模式选择单元40的预测数据形成残余视频块。求和器50表示执行此减法运算的组件。变换处理单元52将例如离散余弦变换(DCT)或概念上类似的变换等变换应用于残余块，从而产生包括残余变换系数值的视频块。变换处理单元52可执行概念上类似于DCT的其它变换。还可使用子波变换、整数变换、子带变换或其它类型的变换。在任何情况下，变换处理单元52向残余块应用所述变换，从而产生残余变换系数的块。所述变换可将残余信息从像素值域转换到变换域(例如，频域)。变换处理单元52可将所得变换系数发送到量化单元54。量化单元54量化变换系数以进一步减小位速率。量化过程可减小与系数中的一些或全部相关联的位深度。可通过调整量化参数来修改量化程度。在一些实例中，量化单元54可接着执行对包含经量化的变换系数的矩阵的扫描。或者，熵编码单元56可执行所述扫描。

在量化之后，熵编码单元56对经量化的变换系数进行熵译码。举例来说，熵编码单元56可执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵译码技术。在基于上下文的熵译码的情况下，上下文可基于相邻块。在熵编码单元56的熵译码之后，可将经编码位流发射到另一装置(例如视频解码器30)，或将所述视频存档用于稍后发射或检索。

反量化单元58及反变换单元60分别应用反量化及反变换，以重建像素域中的残余块，(例如)以用于稍后用作参考块。运动补偿单元44可通过将残余块相加到参考帧存储器64的帧中的一者的预测性块中来计算参考块。运动补偿单元44还可将一或多个内插滤波器应用于经重建残余块以计算子整数像素值以用于运动估计。求和器62将经重建的残余块相加到由运动补偿单元44产生的运动补偿预测块以产生经重建视频块用于存储在参考帧存储器64中。经重建的视频块可由运动估计单元42及运动补偿单元44用作用于对后续视频帧中的块进行帧间译码的参考块。

图3是说明可实施本发明中描述的方面的技术的视频解码器的实例的框图。视频解码器30可经配置以执行本发明的技术中的任一者或全部。作为一个实例，运动补偿单元72及/或帧内预测单元74可经配置以执行本发明中描述的技术中的任一者或全部。然而，本发明的方面不限于此。在一些实例中，本发明中描述的技术可在视频解码器30的各种组件之间共享。在一些实例中，作为补充或替代，处理器(未展示)可经配置以执行本发明中描述的技术中的任一者或全部。

在一些实施例中，熵解码单元70、帧内预测单元74或解码器30的另一组件(展示或未展示)可执行本发明的技术。举例来说，熵解码单元70可接收经编码视频位流，所述经编码视频位流可编码与参考层(例如，基础层)及对应的一或多个增强层有关的数据。帧内预测单元74或解码器30的另一适当单元可至少部分基于基于增强层中的至少一个额外视频单元的帧内预测值及参考层中的共置视频单元的值而确定定位在所述增强层内的一位置处的视频单元的值。基于增强层中的至少一个额外视频单元的帧内预测值可通过第一加权因子加权。参考层中的共置视频单元的值可通过第二加权因子加权。熵解码单元70或解码器30的另一组件可经配置以解码所述视频单元且在位流中接收第一加权因子及第二加权因子或与所述第一加权因子及所述第二加权因子有关的信息。在一个实施例中，解码器30可导出所述第一加权因子及所述第二加权因子。

在某些实施例中，熵解码单元70或解码器30的另一组件(展示或未展示)可接收经编码视频位流。帧内预测单元74或解码器30的另一适当单元可至少部分基于参考层中的多个像素的平均值确定增强层中的像素的预测值。

在其它实施例中，熵解码单元70或解码器30的另一组件(展示或未展示)可接收经编码视频位流。帧内预测单元74或解码器30的另一适当单元可将平滑滤波器应用到增强层中的视频单元且在所述视频单元为像素值时将平滑滤波器应用到邻近于所述视频单元的至少一个额外视频单元。

在一些实施例中，熵解码单元70或解码器30的另一组件(展示或未展示)可接收经编码视频位流。帧内预测单元74或解码器30的另一适当单元可至少部分基于差视频层确定定位于增强层内的一位置处的视频单元的值。可从增强层与对应参考层之间的差导出像素信息的差视频层。第一空间分辨率可与所述增强层相关联，且第二空间分辨率可与所述参考层相关联。当第一空间分辨率不等于第二空间分辨率时，解码器30可至少部分基于所述差视频层确定EL中的视频单元的值。当第一空间分辨率等于第二空间分辨率时，解码器30可禁止至少部分基于差视频层确定视频单元的值。

在图3的实例中，视频解码器30包含熵解码单元70、运动补偿单元72、帧内预测单元74、反量化单元76、反变换单元78、参考帧存储器82及求和器80。在一些实例中，视频解码器30可执行与关于视频编码器20(图2)所描述的编码遍次大体互逆的解码遍次。运动补偿单元72可基于从熵解码单元70接收的运动向量产生预测数据，而帧内预测单元74可基于从熵解码单元70接收的帧内预测模式指示符产生预测数据。

在解码过程期间，视频解码器30从视频编码器20接收表示经编码视频切片的视频块及相关联语法元素的经编码视频位流。视频解码器30的熵解码单元70对位流进行熵解码以产生经量化系数、运动向量或帧内预测模式指示符及其它语法元素。熵解码单元70将运动向量及其它语法元素转发到运动补偿单元72。视频解码器30可在视频切片层级及/或视频块层级接收语法元素。

当视频切片经译码为经帧内译码(I)切片时，帧内预测单元74可基于用信号通知的帧内预测模式及来自当前帧或图片的先前经解码块的数据产生用于当前视频切片的视频块的预测数据。当视频帧被译码为经帧间译码(例如，B、P或GPB)切片时，运动补偿单元72基于从熵解码单元70接收的运动向量及其它语法元素产生用于当前视频切片的视频块的预测性块。可从参考图片列表中的一者内的参考图片中的一者产生所述预测性块。视频解码器30可基于存储在参考帧存储器92中的参考图片使用默认建构技术建构参考帧列表：列表0及列表1。运动补偿单元72通过剖析运动向量及其它语法元素确定用于当前视频切片的视频块的预测信息，且使用所述预测信息产生用于经解码的当前视频块的预测性块。举例来说，运动补偿单元72使用一些接收到的语法元素确定用于对视频切片的视频块进行译码的预测模式(例如，帧内预测或帧间预测)、帧间预测切片类型(例如，B切片、P切片或GPB切片)、切片的参考图片列表中的一或多者的建构信息、切片的每一经帧间编码的视频块的运动向量、切片的每一经帧间译码的视频块的帧间预测状态及用以解码当前视频切片中的视频块的其它信息。

运动补偿单元72还可基于内插滤波器执行内插。运动补偿单元72可使用由视频编码器20在编码视频块期间使用的内插滤波器来计算参考块的子整数像素的内插值。在此情况下，运动补偿单元72可根据接收的语法信息元素而确定由视频编码器20使用的内插滤波器且使用所述内插滤波器来产生预测性块。

反量化单元76对在位流中提供且由熵解码单元80解码的经量化变换系数进行反量化，例如解量化。反量化过程可包含使用由视频解码器30针对视频切片中的每一视频块计算的量化参数QPY来确定应应用的量化程度及(同样)反量化程度。

反变换单元78对变换系数应用反变换(例如，反DCT、反整数变换，或概念上类似的反变换过程)，以便产生像素域中的残余块。

在运动补偿单元82基于运动向量及其它语法元素产生当前视频块的预测性块之后，视频解码器30通过将来自反变换单元78的残余块与运动补偿单元72产生的对应预测性块求和来形成经解码视频块。求和器90表示可执行此求和运算的组件。如果需要，还可应用去块滤波器以对经解码块进行滤波，以便移除成块假象。还可使用其它环路滤波器(在译码环路中或在译码环路之后)来使像素转变变平滑或以其它方式改善视频质量。接着将给定帧或图片中的经解码视频块存储在参考图片存储器92中，参考图片存储器92存储参考图片用于后续运动补偿。参考帧存储器82还存储经解码视频以用于稍后在显示装置(例如图1的显示装置32)上呈现。

视频译码概述

在一个实施例中，视频译码器经配置以实施如图4中所示的四个译码技术，包含运动预测、变换、量化，及熵译码。这些技术可应用于帧的矩形块及/或区域，例如(但不限于)译码单元，等。

视频信号可具有时间冗余，在相邻帧之间具有高相关。此外，在帧、图像等内，数据有时可在相邻像素之间具有空间冗余。在一些情形中，译码单元可经配置以通过从空间上位置相邻的像素进行预测来利用此类空间冗余。在此些情形中，CU可译码为帧内模式译码单元。在其它情形中，数据有时可在相邻帧之间具有时间冗余。在一些情形中，CU可经配置以通过从相邻帧进行预测来利用此类时间冗余。在此些情形中，CU可译码为帧间模式译码单元。预测阶段一般是无损的。可接着使用多种技术(例如DCT，等)中的任何一或多者来变换经译码块以使信号去相关，以使得可使用例如标量量化等技术有效地对输出进行译码。另外，可使用例如算术译码等熵译码技术压缩这些经量化系数。

一般来说，从经先前译码帧中的一或多者预测以P/B模式编码的译码单元。对于这些模式，块的预测信息由二维(2D)运动向量表示。对于以I模式编码的块，经预测块使用从相同帧内的已经编码的相邻块的空间预测而形成。接着对预测误差，例如经编码的块与经预测块之间的差，进行变换及量化。经量化变换系数与运动向量及其它控制信息一起形成经译码序列表示且有时称为语法元素。在从编码器发射到解码器之前，可对所有语法元素进行熵译码以便进一步减少其表示所利用的位数。

在解码器中，通过首先以与编码器中相同的方式建构其预测并将经压缩预测误差相加到所述预测来获得当前帧中的块。

HEVC帧内预测

帧内预测模式常正常于HEVC中以利用现有空间相关。HEVC针对所有块大小提供35个模式。图5说明用于帧内预测的35个模式。

预测过程的一个实施例说明于图6中。如图6中所示，像素“a”到“p”有待编码。像素“A”到“R”位于相邻块中，且已经编码。相邻像素用于预测以预测“a”到“p”像素的值。像素“A”到“R”可称为相邻像素。

举例来说，如果选择模式垂直，那么像素a、e、i及m通过将其设定为等于像素A来进行预测，且像素b、f、j及n通过将其设定为等于像素B来进行预测，以此类推。类似地，如果选择模式水平，那么像素a、b、c及d通过将其设定为等于像素I来进行预测，且像素e、f、g及h通过将其设定为等于像素J来进行预测，以此类推。

HEVC基础层中的当前最可能模式推导

图7说明当前预测单元(PU)及相邻单元“A”及“B”的一个实施例。下文描述HEVC基础层中的最可能模式列表推导的一个实施例。

· intraPredModeA＝intraPredModeB

- 如果intraPredModeA＜2

· candModeList[0]＝Intra_Planar

· candModeList[1]＝Intra_DC

· candModeList[2]＝Intra_Angular(26)，(垂直)

- 否则，

· candModeList[0]＝candIntraPredModeA

· candModeList[1]＝2+((candIntraPredModeA-2-1)％32，(最接近模式)

· candModeList[2]＝2+((candIntraPredModeA-2+1)％32，(最接近模式)

· intraPredModeA！＝intraPredModeB

- candModeList[0]＝intraPredModeA

- candModeList[1]＝intraPredModeB

- 如果intraPredModeA！＝Intra_Planar AND intraPredModeB！＝Intra_Planar

· candModeList[2]＝Intra_Planar

-否则，如果intraPredModeA！＝Intra_DC AND intraPredModeB！＝Intra_DC

· candModeList[2]＝Intra_DC

- 否则

· candModeList[2]＝Intra_Angular(26)，(垂直)

HEVC可缩放视频译码扩展

对HEVC编解码标准的SVC(可缩放视频译码)扩展允许发送及接收多层视频流。多层视频流可包含小基础层及可用以增强分辨率、帧率及质量的一或多个任选额外层。

图8说明增强层差域译码及常规像素域译码的一个实施例。

差域帧内预测译码

有时通过从对应基础层经重建图片样本(或在空间可缩放层的情况下，经上取样经重建图片)减去当前层图片样本而实施差域译码帧内预测。所得差用以形成“差”信号，所述“差”信号进一步从相邻差信号进行预测。可编码所述差，其常常导致更好的译码效率。使用相邻值来确定差域预测的一个实施例说明于图9中。

在一个实施例中，将差域预测旗标提供到解码器以指示是否使用差域。为改善压缩效率，可在任何粒度等级下执行差域预测，包含HEVC压缩草案中描述的粒度等级，包括但不限于帧、切片、LCU、CU、PU等。可在任何此类粒度等级下用信号通知差域预测旗标信息。

用于EL的组合帧内预测与帧内BL预测

在一个实施例中，通过将权重应用到每一帧内预测及帧内BL计算来组合帧内预测与帧内BL预测模式。在一些实施例中，每一权重具有应用于整体预测块的固定值。在其它实施例中，每一权重为自适应的，或根据某一其它参数而个别地确定。举例来说，在一个实施例中，基于在预测块中的样本位置确定自适应权重值。举例来说，可向用于接近于左及/或顶部边界的样本的帧内预测权重给出较大权重(例如，向权重给出较大值)，且可向用于远离左方及上方边界的样本的帧内BL权重给出较大权重。

在一个实施例中，此类加权预测还用于差域帧内预测。在差帧内预测情况下，通过用对应基础层像素减去增强层经重建信号来产生当前PU以及相邻差域像素。相邻样本(用于预测)相对于当前预测像素的相对距离越远，预测误差越大。因此，对于远离左上方块边界的样本，所述方法使用共置基础层像素(例如，位于基础层中的对应位置，也可称作“共置”或“对应”)用于预测来替代增强层相邻预测。图10说明用于差域帧内预测的平面帧内预测模式实施方案的一个实施例。平面帧内预测可指基于像素的水平相邻者及/或垂直相邻者的帧内预测。

图11说明用于差域帧内预测的经加权平面帧内预测模式实施方案的一个实施例。权重Wt0及Wt1用以确定当前样本的预测值。在一个实施例中，每一权重可在0与1之间或等于0及1。在一个实施例中，较接近于块的顶部及/或左列的像素具有较大Wt0值，且其它像素可具有较大Wt1值。每一权重可译码或用信号通知于信号位流中。所述模式可应用于差域或像素域中。

经加权平面帧内预测的另一实施例说明于图12中。在所说明的实施例中，基于像素在块内的位置确定权重值。举例来说，从块的左下角延伸到右上角的对角线边界将块分隔成两个区域。在其它实施例中，边界具有弯曲形状。一般来说，边界将块或单元的最左上方像素与其余像素分隔开来。

在所说明的实施例中，向一个区域(例如，最接近于单元的顶部及左方边缘的区域)中的所有像素给出一组权重值(例如，Wt0＝1，Wt1＝0)，且向其余像素给出一组不同权重值(例如，Wt0＝0，Wt1＝1)。边界充当分类器以确定哪些预定值将指派给特定像素。在此实施例中，权重并不译码于位流中，因此改善效率及压缩。所述模式可应用于差或像素域中。

经加权平面帧内预测的另一实施例说明于图13中。在所说明的实施例中，基于像素在块内的位置确定权重值。基于像素位置计算权重。举例来说，在一个实施例中：

Wt0(x，y)＝1-(X+Y)/nS1D；

Wt1(x，y)＝(X+Y)/nS1D；

其中nS1D＝在一个方向上的样本的总数目；

predSamples[x，y]＝(Wt0(x，y)*IntraPred[x，y]+Wt1(x，y)*Base[x，y]+Round)/(Wt0(x，y)+Wt1(x，y))

其中，作为一实例，对于平面帧内模式：

IntraPred[x，y]＝(nS-1-x)*p[-1，y]+(x+1)*p[nS，-1]+(nS-1-y)*p[x，-1]+(y+1)*p[-1，nS]+nS)＞＞(k+1)

nS＝预测单元中的样本的总数目

在所说明的实施例中，基于像素位置计算权重。因此，权重并不译码于位流中，因此改善效率及压缩。所述模式可应用于差或像素域中。

上方描述的方法及模式可应用于像素域(例如，通过像素域帧内预测)或差域(例如，通过差域帧内预测)中。

用于EL像素域帧内预测的基于基础层DC的DC预测模式

图14说明根据HEVC工作草案的DC预测模式的当前实施方案。基于上方及/或左方相邻像素的可用性导出DC值(例如，变量DC_Val)为：

其中x，y＝0..nS-1 其中k＝Log2(nS)

然而，如果像素(例如，在块的顶部或左方边缘处的像素)不具有某些相邻者(例如，如果上方及/或左方相邻像素不存在)，那么DC_Val将设定为默认值，例如128。此可引起译码中的低效率及不准确性。

为改善性能、准确度及效率，在一个实施例中，如果像素不具有某些相邻者，那么从共置基础层预测单元像素导出变量DC_Val。举例来说，在一个实施例中，DC_Val计算为：

其中x，y＝0..nS-1 其中k＝Log2(nS)＜＜1

在基础层中相同时刻的较多样本可用于预测DC时，较之于仅考虑增强层的仅左方及顶部相邻像素，所得预测将更准确及/或有效。

DC值有时被确定为预定像素的平均值。在一个实施例中，当用以计算DC值的相邻像素不可用(例如，基于像素位置)时，使用基础层块的DC值替代预定默认值。

从用于EL中的帧内预测的BL预测不可用相邻预测数据

在另一实施例中，在增强层中的帧内预测期间使用类似技术。一般来说，同样基于上方及左方相邻像素导出帧内预测值。然而，在当前实施方案中，如果相邻样本不可用于预测，那么用一值(例如，(1＜＜(BitDepth_Y-1)))填充或从可用样本预测或搜索所述相邻样本。在一个实施例中，替代以此方式填补，用共置像素的基础层预测单元(例如，在基础层中的位置与当前像素在增强层中的位置相同的对应像素)替换不可用像素。可以如上文所论述的相同方式确定共置基础层预测单元的DC。在一个实施例中，共置基础层预测单元的DC确定为：

其中x，y＝0..nS-1 其中k＝Log2(nS)＜＜1

nS可指例如在HEVC中定义的预测单元中的样本的总数目。

停用用于差域帧内预测的模式相依性帧内平滑化

HEVC提供用于帧内预测的模式相依性帧内平滑化(MDIS)，包含像素及差域帧内预测两者。MDIS方案确定平滑滤波器是否应用于相邻经重建样本，所述经重建样本用以根据预测单元(PU)大小及帧内预测模式产生帧内预测。在一个实施例中，对于差域帧内预测停用MDIS。对于像素域帧内预测应用MDIS，但不在差域帧内预测期间应用MDIS。此可称为模式相依性MDIS控制。

仅用于空间可缩放性的差域帧内预测信令

可缩放视频译码包含空间可缩放性及SNR(例如，质量)可缩放性两者。在空间可缩放性的情况下，增强层与基础层的分辨率不同，且通常增强层具有比基础层高的分辨率。在SNR/质量可缩放性的情况下，增强层与基础层的分辨率相同。

在一个实施例中，差域帧内预测用于空间可缩放性且对于SNR可缩放性情况被停用。举例来说，如果层之间的空间分辨率相同，那么停用或禁止使用差域帧内预测。当SNR可缩放性存在时，差域信号一般指示量化损失。因此，在此情况下，差域帧内预测可能并不有效。在当前实施例中，仅在空间可缩放性存在的情况下才用信号通知差域预测旗标，且在空间可缩放性不存在的情况下(例如，在SNR可缩放性期间，此时当前块译码为帧内预测模式)不用信号通知差域预测旗标。

图15是说明根据本发明的方面的用于经加权平面帧内预测的实例方法的流程图。可通过编码器(例如，如图2中所示的编码器，等)或解码器(例如，如图3中所示的解码器，等)执行过程1500。关于图2中的编码器20描述过程1500的框，但可通过如上文所提及的其它组件(例如解码器)执行过程1500。另外，关于图15所描述的所有实施例可单独地或彼此组合地实施。关于图10到13描述与过程1500有关的一些细节。

可实施过程1500以确定增强层(EL)中的视频单元的值。视频单元可定位于EL内的一位置处。为了清楚起见，在图15的描述中，EL中的视频单元可称为“当前EL视频单元”。可至少部分基于基于EL中的至少一个额外视频单元的帧内预测值及参考层(RL)中的共置视频单元的值来确定当前EL视频单元的值。可对基于EL中的至少一个额外视频单元的帧内预测值及RL中的共置视频单元的值进行加权。视频单元可为任何视频数据单元，且可包含但不限于：帧、切片、最大译码单元(LCU)、译码单元(CU)、块、像素，及子像素。可例如通过产生用于视频单元的预测单元(PU)来确定所述视频单元的值。

过程1500开始于框1501处。在框1502处，编码器20确定第一加权因子，且基于EL中的至少一个额外视频单元将所述第一加权因子应用于帧内预测值。举例来说，帧内预测值可基于EL中的一或多个额外视频单元。所述额外视频单元可为当前EL视频单元的相邻视频单元。帧内预测可基于特定帧内预测模式。在一个实施例中，帧内预测模式为平面帧内预测。平面帧内预测可指使用当前EL视频单元的一或多个水平及/或垂直相邻视频单元的帧内预测。将关于框1502更详细地描述确定第一加权因子。

在一个实施例中，帧内预测值是基于平面帧内预测而确定。在另一实施例中，增强层中的至少一个额外视频单元为当前EL视频单元的水平相邻视频单元或垂直相邻视频单元。

在框1503处，编码器20确定第二加权因子且将所述第二加权因子应用于RL中的共置视频单元的值。参考层可为例如相对于增强层的基础层。RL中的共置视频单元可位于RL中的对应于当前EL视频单元的位置的位置。可以各种方式确定或选择第一加权因子及第二加权因子。在一个实施例中，第一加权因子及第二加权因子中的至少一者在0与1之间。在另一实施例中，可基于视频单元位置而从一组预定值选择第一加权因子及第二加权因子。在某一实施例中，可基于视频单元位置计算第一加权因子及第二加权因子。

在又一实施例中，可根据以下方程式计算第一加权因子及第二加权因子(W1，W2)：W1＝(x+y)/宽度，且W2＝1-W1。在所述方程式中，x对应于视频单元的沿着视频信息块内的x方向的位置，y对应于视频单元的沿着所述块内的y方向的位置，且宽度对应于所述块的宽度。

第一加权因子及第二加权因子可在位流中用信号通知。第一加权因子及第二加权因子可不在位流中用信号通知。第一加权因子及第二加权因子可在位流中接收，或至少部分从位流中的信息导出。

在框1504处，编码器20至少部分基于基于至少一个额外EL视频单元的帧内预测值的经加权值及共置RL视频单元的经加权值来确定当前EL视频单元的值。在一个实施例中，可通过产生用于视频单元的预测单元(PU)来确定视频单元的值。过程1500在框1505处结束。

图16是说明根据本发明的方面的用于经加权平面帧内预测的实例方法的流程图。可通过编码器(例如，如图2中所示的编码器，等)或解码器(例如，如图3中所示的解码器，等)执行过程1600。关于图3中的解码器30描述过程1600的框，但可通过如上文所提及的其它组件(例如解码器)执行过程1600。另外，关于图16所描述的所有实施例可单独地或彼此组合地实施。关于图14描述与过程1600有关的一些细节。

可实施过程1600以确定增强层(EL)中的像素的预测值。为了清楚起见，在图16的描述中，EL中的像素可称为“当前EL像素”。视频单元可为任何视频数据单元，且可包含但不限于：帧、切片、最大译码单元(LCU)、译码单元(CU)、块、像素，及子像素。可例如通过产生用于视频单元的预测单元(PU)来确定所述视频单元的值。

过程1600开始于框1601处。在框1602处，解码器30存储与参考层及对应增强层(EL)相关联的视频信息。参考层可为基础层。在框1603处，解码器30确定参考层中的多个像素的平均值。举例来说，解码器30可执行当前EL像素的DC帧内预测。一般基于当前EL像素的相邻像素的平均值来计算DC帧内预测。在一些实施例中，可根据如关于图14所描述的以下方程式确定DC预测值：

其中x，y＝0..nS-1 其中k＝Log2(nS)＜＜1

在一个实施例中，在当前EL像素在增强层中不具有至少一个相邻视频单元时，解码器30至少部分基于参考层中的多个像素的平均值确定当前EL像素的预测值。在一个实施例中，在当前EL像素定位于具有左方及右方边缘的块内且当前EL像素沿着左方及右方边缘中的至少一者定位时，解码器30至少部分基于参考层中的多个像素的平均值确定当前EL像素的预测值。

在框1604处，解码器30至少部分基于参考层中的所述多个像素的平均值确定当前EL像素的预测值。过程1600在框1605处结束。

图17是说明根据本发明的方面的用于经加权平面帧内预测的实例方法的流程图。可通过编码器(例如，如图2中所示的编码器，等)或解码器(例如，如图3中所示的解码器，等)执行过程1700。关于图3中的解码器30描述过程1700的框，但可通过如上文所提及的其它组件(例如解码器)执行过程1700。另外，关于图17所描述的所有实施例可单独地或彼此组合地实施。上文描述与过程1700有关的一些细节。

可实施过程1700以将平滑滤波器应用于增强层中的视频单元。为了清楚起见，在图17的描述中，EL中的视频单元可称为“EL中的当前视频单元”或“当前视频单元”。视频单元可为任何视频数据单元，且可包含但不限于：帧、切片、最大译码单元(LCU)、译码单元(CU)、块、像素，及子像素。可例如通过产生用于视频单元的预测单元(PU)来确定所述视频单元的值。

过程1700开始于框1701处。在框1702处，解码器30确定EL中的当前视频单元是否为像素值。举例来说，当前视频单元可为像素域中的视频单元。在框1703处，如果当前视频单元为像素值，那么在框1704处，解码器30将平滑滤波器应用于当前视频单元及邻近于所述当前视频单元的至少一个额外视频单元。如果当前视频单元不为像素值，那么过程1700可在框1705处结束。

在一个实施例中，如果当前视频单元不为像素值，那么解码器30禁止将平滑滤波器应用于当前视频单元及邻近于所述当前视频单元的至少一个额外视频单元。举例来说，当前视频单元可为差域中的视频单元。差域可指通过从增强层视频单元减去基础层视频单元(或反之亦然)而形成的差视频层。

图18是说明根据本发明的方面的用于经加权平面帧内预测的实例方法的流程图。可通过编码器(例如，如图2中所示的编码器，等)或解码器(例如，如图3中所示的解码器，等)执行过程1800。关于图2中的编码器20描述过程1800的框，但可通过如上文所提及的其它组件(例如解码器)执行过程1800。另外，关于图18所描述的所有实施例可单独地或彼此组合地实施。上文描述与过程1800有关的一些细节。

可实施过程1800以确定定位于增强层内的一位置处的视频单元的值。为了清楚起见，在图18的描述中，定位于EL内的一位置处的视频单元可称为“当前EL视频单元”。视频单元可为任何视频数据单元，且可包含但不限于：帧、切片、最大译码单元(LCU)、译码单元(CU)、块、像素，及子像素。可例如通过产生用于视频单元的预测单元(PU)来确定所述视频单元的值。

过程1800开始于框1801处。在框1802处，编码器20存储与像素信息的差视频层相关联的差视频信息。差视频层可从增强层与对应参考层之间的差导出。第一空间分辨率可与所述增强层相关联，且第二空间分辨率可与所述参考层相关联。

在框1803处，如果第一空间分辨率不等于第二空间分辨率，那么在框1804处，编码器20至少部分基于差视频层确定定位在增强层内的一位置处的视频单元的值。举例来说，对于SVC中的空间可缩放性，第一空间分辨率与第二空间分辨率不同。在空间可缩放性的情况下，可在差域中(例如，基于差视频层)执行帧内预测。所述过程在框1806处结束。

在框1803处，如果第一空间分辨率等于第二空间分辨率，那么在框1805处，编码器20禁止至少部分基于差视频层确定视频单元的值。举例来说，对于SVC中的信噪比(SNR)可缩放性(例如，质量)，第一空间分辨率与第二空间分辨率可相等。在SNR可缩放性的情况下，可停用差域中的帧内预测(例如，基于差视频层)，因为当SNR可缩放性存在时，差域信号一般指示量化损失。在一个实施例中，编码器20在空间可缩放性的情况下可用信号通知差域预测旗标，但在SNR可缩放性的情况下不用信号通知差域预测旗标。过程1800在框1806处结束。

帧内平面模式预测

图19说明平面帧内预测模式的实例。如上文所解释，平面模式为HEVC中的帧内预测模式中的一者。出于说明性目的而描述平面模式，但本文所述的技术可扩展到所有帧内预测模式。在平面模式中，可基于左方、顶部、右上方及左下方相邻样本而导出预测样本，如图19中所示。相邻样本可为完全从邻近的左方、顶部、右上方及左下方预测单元重建的样本。如果样本不可用，那么HEVC草案可定义一组规则以从可用样本估计不可用样本。此外，右方及底部样本可能归因于HEVC中所遵循的光栅次序译码而不可用于预测。在SVC扩展中，可存在多个视频数据层，且可以各种方式执行帧内预测。下文描述一些实例。

使用基础与增强层预测样本的组合对增强层的帧内预测改善

图20说明用于可缩放视频译码的平面模式帧内预测扩展的一个实施例。在多环路解码情形中，增强层可使用来自基础层的较多样本以改善预测。HEVC允许对SVC的多环路解码，其中可使用多个运动补偿环路解码SVC层。举例来说，首先完全解码基础层，且接着解码增强层。额外样本可来自共置基础层块或共置基础层块的相邻样本。举例来说，右方及底部样本可能不可用于增强层中，且平面模式可扩展到使用来自共置基础层相邻样本的右方及底部样本，如图20中所示。

下文描述用于使用基础与增强层预测样本的组合的增强层帧内预测的各种实施例。下文描述的所有实施例可单独地或彼此结合地实施。

实施例1：增强层处的帧内预测可使用来自基础层的额外共置样本或来自基础层的共置相邻样本用于预测。

实施例2：增强层处的帧内预测可用来自基础层的一些或所有共置样本或共置相邻样本替换增强层处的当前块的一些或所有相邻样本。

实施例3：增强层处的帧内预测可使用增强层样本与来自基础层的共置样本的组合。

实施例4：替代地及/或另外，可使用在当前块外的仅一个基础层右下方像素。图21说明使用基础与增强层预测样本的组合的增强层帧内预测的一个实施例。在经预测块外的用于平面预测的右方列及底部行中的像素可获得为在外部右下方基础层像素(在图21中的右下角中的圆)与对应外部右上方增强层像素(图21中的右上角中的圆)及外部左下方增强层像素(图21中的左下角中的圆)之间的线性或非线性内插，如图21中所示。

1.层相依性译码扫描模式

在HEVC WD8中提出模式相依性自适应扫描次序。在模式相依性自适应扫描次序中，可基于用于帧内残差系数的帧内预测模式而在对角线、水平及垂直当中选择扫描模式。帧内残差系数可指可作为帧内预测的结果而产生的经量化系数。其也可称作经量化系数。此可引起经改善的速率-失真折衷。从解码器观点来说，一解码帧内预测模式就可确定扫描模式，且随后可在解码系数时使用此扫描模式。

本发明在本文中以引用的方式并入有2012年8月31日申请的第61/696,098号美国临时申请案及2012年9月28日申请的第61/707,145号美国临时申请案的整体揭示内容。在所述临时申请案的至少一部分中，提出增强层可使用共置基础层帧内预测模式作为MPM候选者中的一者。此可在增强层处引入剖析相依性，例如，在解码EL帧内预测模式时BL模式应为可用的相依性。在某些实施例中，1)当基础层位流丢失或损坏时，或2)对于跨越层的剖析相依性可能不具优先级的硬件实施方案，此剖析相依性可能不合乎需要。

下文描述用于基于与层有关的信息自适应地选择译码扫描模式的各种实施例。下文描述的所有实施例可单独地或彼此结合地实施。

实施例1：可基于层ID自适应地选择译码扫描模式。举例来说，在SVC中，层ID可与每一层相关联。层ID可为层的识别符。增强层可使用与基础层相比不同的译码扫描模式。举例来说，EL可使用固定扫描模式。在一个实例中，一个扫描模式可用于EL中的所有帧内预测模式，而不管是否对于那一序列或帧启用基础层帧内模式预测。此可避免EL剖析阶段的剖析相依性。

实施例2：可基于基础层图片是否可用于当前图片的层间预测来自适应地选择译码扫描模式。增强层可使用与基础层相比不同的译码扫描模式。举例来说，EL可使用固定扫描模式。在一个实例中，一个扫描模式可用于EL中的所有帧内预测模式，而不管是否对于那一序列或帧启用基础层帧内模式预测。此可避免EL剖析阶段的剖析相依性。

实施例3：可基于是否对于当前图片启用基础层帧内模式预测而自适应地选择译码扫描模式。增强层可使用与基础层相比不同的译码扫描模式。举例来说，EL可使用固定扫描模式。在一个实例中，一个扫描模式可用于EL中的所有帧内预测模式，而不管是否对于那一序列或帧启用基础层帧内模式预测。此可避免EL剖析阶段的剖析相依性。

实施例4：在实施例1、2及3中，用于增强层的固定扫描模式可为用于EL中的所有帧内预测模式的对角线扫描模式，而不管是否对于那一序列及/或帧启用基础层帧内模式预测。

2.简化的差域帧内预测

已在JCT-VC-K0036中提出差域帧内预测。与JCT-VC-K0036有关的细节可见于http：//phenix.int-evry.fr/jct/，其以引用的方式并入本文中。图22说明所提出的帧内残差预测模式的一个实施例。在所提出的帧内残差预测模式中，当前相邻者的像素与共置BL相邻者的像素之间的差用以基于帧内预测模式产生差预测。所产生的差预测信号相加到共置BL块信号以形成最终预测。用于差信号的帧内预测模式的数目经提出而与用于非差及/或帧内信号的帧内预测模式的数目相同。帧内残差预测模式在CU层级由例如旗标intra_resi_pred_flag指示。

差域信号可包括高频分量，且各种帧内预测模式对于非差域信号(例如，像素域信号)可能都不导致良好预测结果。因此，本发明中描述的技术可简化差域中的帧内预测以导致更好预测结果。下文说明一些实施例。下文描述的所有实施例可单独地或彼此结合地实施。在本发明中，正常帧内预测可指在非差域(例如像素域，等)中的帧内预测。

实施例1：不同组及/或不同数目的帧内预测模式用于来自正常帧内预测的差域中。

实施例2：对于实施例1，帧内预测模式的数目在差域中可减小。举例来说，对于差域可仅使用两个模式。举例来说，所述两个模式可为：1)水平及垂直，2)平面及垂直，或3)平面及水平。两个模式的选择不限于以上模式或组合，且可选择帧内预测中定义的35模式中的任一者。所述选择可基于当前帧的EL及/或BL信息数据，或来自EL及/或BL的时间帧数据。减小帧内预测模式的数目可降低信令成本，且可导致有限的例如归因于不使用其它模式而引起的预测质量损失。所述数据可包含模式、经重建当前或相邻像素，等。

实施例3：对于实施例1到2，所选择的最佳模式可使用CU或PU等级的旗标或索引用信号通知解码器。此旗标或索引可经上下文译码，且上下文选择可或可不基于相邻CU或PU模式、EL像素及/或BL像素。旗标的用信号通知可在用信号通知残差预测旗标之后完成。

实施例4：差域中的帧内预测模式的数目可减小到仅三个模式。这三个模式可为作为最可能帧内模式(MPM)推导过程的一部分而导出的模式。

实施例5：对于实施例4，mpm_prediction旗标可用信号通知为模式相依性的。在此实施例中，不用信号通知mpm_prediction旗标，且解码器从模式(例如，差域帧内模式或正常帧内模式)导出信息。所述信息可包含MPM列表是否用于帧内模式选择、编号、用于差域帧内预测中的模式的数目等。

实施例6：实施例1到6可以类似方式扩展到正常帧内预测。

实施例7：帧内预测模式数目取决于层ID。举例来说，基础层与增强层使用不同组及/或不同数目的帧内预测模式。

实施例8：对于实施例7，增强层译码比基础层译码使用较少数目的帧内预测模式。

3.对于JCTVC-K0032及JCTVC-K0040的DC邻近方法使用来自相邻像素的DC

已在JCTVC-K0032及JCTVC-K0040中提出DC调整方法。与JCTVC-K0032及JCTVC-K0040有关的细节可见于http：//phenix.int-evry.fr/jct/，其以引用的方式并入本文中。在此方法中，对于大小4x4、8x8或较大的帧内预测块应用DC调整，以便以使得块的DC匹配对应基础层块的DC的方式调整增强层帧内预测样本值。所述过程可表示如下：

P(x，y)＝P′(x，y)+dc_delta (方程式1)

其中

P(x，y)表示增强层图片中的最终预测样本；

P′(x，y)表示在HEVC(版本1)帧内预测过程之后的经预测增强层样本；且

dc_delta＝(共置基础层预测块的DC值)-(P′(x，y)块的DC值)。

本发明中描述的技术可使用相邻经重建像素替代在HEVC帧内预测过程之后预测的增强层样本。此可移除由JCTVC-K0032及JCTVC-K0040中提出的方法引入的延迟，且还归因于像素组的减小的数目而简化DC计算。下文描述各种实施例。下文描述的所有实施例可单独地或彼此结合地实施。

实施例1：从相邻像素导出的DC值可用以计算dc_delta。举例来说，在以上方程式1中，可如下确定dc_delta：

dc_delta＝(共置基础层预测块的DC值)-(EL相邻像素的DC值)。

实施例2：对于实施例1，从所有EL相邻像素导出的DC值可用以计算dc_delta。

实施例3：对于实施例1，基于帧内预测方向从一些EL相邻像素导出的DC值可用以计算dc_delta。在一个实例中，对于垂直预测模式，仅上方相邻样本可用于计算DC值。在另一实例中，对于水平模式，仅左方相邻样本可用于计算DC值。

实施例4：对于实施例1，仅从用于那一特定帧内预测模式的那些EL相邻像素导出的DC值可用以计算dc_delta。在一个实例中，对于垂直预测模式，仅上方相邻样本用于计算DC值。

4.用于差域残差的帧内预测方向相依性1-D变换

如上文所解释，示范性视频译码器可使用例如运动预测、变换、量化、熵译码等译码技术。一般来说，这些技术可应用于帧的称为译码单元的矩形块及/或区域。

一般来说，可使用如DCT及/或DST(“离散余弦变换”或“离散正弦变换”)的技术来变换块的预测残差以使信号去相关，以使得可使用例如标量量化等技术来有效地对输出进行译码。在HEVC中，可定义2-D DCT及/或DST变换以一次变换2D块。

如上文所解释，差域块残差的特性可能不同于其它块类型，且2-D DCT及/或DST在译码效率方面可能并非很好的选择。因此，本发明中描述的技术可应用替代变换用于差域残差译码。

下文描述用于帧内预测方向相依性方向变换的各种实施例。下文描述的所有实施例可单独地或彼此结合地实施。

实施例1：在视频编码器中，初级变换(例如，2-D DCT及/或DST)可用于所有块译码模式。对于不同模式(例如，帧间译码、帧内译码、无损译码，等)，2-D DCT或DST可用于所有块，且2-D DCT或DST的选择可取决于模式或可用信号通知。根据此实施例，不同于初级变换的变换可基于帧内预测方向而用于差域。

实施例2：变换可为沿着帧内预测方向的1-D DCT或DST。举例来说，对于45度帧内角度预测，变换可如图23中所说明。

实施例3：对于差域残差，变换可为1-D DCT、DST、KLT，或沿着预测方向的任何其它1-D变换。变换的选择可为自适应的，且可用信号通知或导出。举例来说，可在帧、切片、CU、PU等级等用信号通知变换的选择。还可从EL或BL信息导出变换的选择，所述EL或BL信息可包含模式信息、QP信息、像素信息、预测方向信息，等。在一些实例中，选择可经预定义，且为编码器及解码器所知。

实施例4：实施例1、2、3还可扩展到非差域帧内残差。

5.JCT-VC K0139的梯化现象修改的模式或层相依性实现

JCT-VC K0139提出在32x32帧内预测中用参考样本的双线性内插替换帧内平滑滤波器以避免梯化现象假影的解决方案。当执行基于块的视频译码时，归因于量化，若干类型的假影可出现，包含梯化现象假影。在对平滑区域进行量化时，所得视觉效应可为在所显示图像中的突兀且隔离的梯级或“轮廓”，其中所述梯级的一侧上的像素可能指派给一个量化等级，且另一侧上的像素可能指派给相邻等级。此效应可称为“梯化现象”。在基础层中，梯化现象假影可归因于在32x32块中产生帧内预测样本阵列预测样本的过程期间成块假影从参考样本的传播。

增强层处的预测及残差特性可能与基础层差别极大。因此，JCT-VC K0139中所提出的技术在减少梯化现象假影方面可能无效，且可能引入不同种类的假影。假影可指由所涉及的技术在压缩过程中引入的视频及/或图像数据中的更改。

下文描述用于梯化现象修改的模式或层相依性实现的各种实施例。下文描述的所有实施例可单独地或彼此结合地实施。

实施例1：JCT-VC K0139针对基础层所提出的修改可为层相依性的，且在增强层处可忽略。

实施例2：JCT-VC K0139针对基础层所提出的修改可为模式相依性的，且对于所有或少数增强层新添加的模式(例如差域帧内预测)可忽略。所提出的修改仍可应用于用于增强层译码的正常帧内预测。

6.帧内基础预测推断模式

在一个实施例中，共置基础层帧内预测模式可包含为MPM列表中的候选者中的一者。此可提供增益，因为显著相关可存在于EL与BL的模式分布之间。如果EL模式与BL模式之间存在显著相关，那么向基础层模式给予较大加权可能更好。给出较大权重的一个实例方式可为使模式优先化(例如，以降低用于此模式的信令成本)。优先化可指将模式在MPM列表中向上推动，使得用信号通知所述模式具有较低的位成本。

下文描述用于推断基础层帧内预测模式的各种实施例。举例来说，EL中的当前视频单元可从BL中的共置视频单元推断基础层帧内预测模式。可从基础层信息推断用于当前CU的帧内预测模式。下文描述的所有实施例可单独地或彼此结合地实施。

实施例1：可在帧、切片、CU及/或PU等级下用信号通知旗标以指示基础层帧内预测模式用于帧内预测。所述模式可经预定义及/或可用于编码器及解码器两者，因为可能不用信号通知模式信息。

实施例2：实施例1可扩展到其它模式，例如差域预测，等。

实施例3：实施例2可仅应用于明度或色度分量。

实施例4：旗标可经上下文译码。上下文建模可使用来自相邻EL块的信息来导出上下文。还可简化上下文建模以不使用来自相邻EL或BL块的任何信息。

7.像素分量相依性差域帧内预测

差域帧内预测可对于亮度分量与色度分量提供不同的压缩效率。为获得复杂度与压缩性能之间的良好折衷，在一些应用中，具有将差域帧内预测仅应用于明度分量、仅应用于色度分量或应用于两者的灵活性可为有益的。

下文描述用于像素分量相依性差域帧内预测的各种实施例。下文描述的所有实施例可单独地或彼此结合地实施。

实施例1：差域帧内预测可仅应用于亮度分量或色度分量。对于不使用差域帧内预测的分量，可对于那一分量使用正常帧内预测。

实施例2：选择将差域预测仅应用于明度或色度分量可为自适应的。可在帧、切片、CU、PU等级等用信号通知所述选择。或可从EL或BL信息导出所述选择，所述EL或BL信息可包含模式信息、QP信息、像素信息、预测方向信息，等。在一些实例中，所述选择可经预定义，且为编码器及解码器所知。

8.用于DC、垂直及水平预测的模式或层相依性帧内滤波

在HEVC WD8中提出用于DC、垂直及/或水平预测的滤波。滤波过程展示于图24A及24B中。图24A说明用于帧内DC预测的滤波的一个实施例。图24B说明用于垂直及/或水平预测模式的滤波的一个实施例。增强层处的预测及残差特性可能与基础层差别极大。因此，HEVC WD8中所提出的技术可能无效，且可能引入不同种类的假影。

因此，本发明中描述的技术可将用于DC、垂直及/或水平预测的滤波修改为模式相依性或层相依性的。下文描述用于DC、垂直及水平预测的模式或层相依性帧内滤波的各种实施例。下文描述的所有实施例可单独地或彼此结合地实施。

实施例1：用于HEVC WD8的针对基础层的DC预测修改所提出的滤波可为层相依性的，且在增强层处可忽略。DC滤波对于增强层也可为层相依性的。

实施例2：用于HEVC WD8针对基础层的DC预测修改所提出的滤波可为模式相依性的，且对于所有或少数增强层新添加的模式(例如差域帧内预测)可忽略。所提出的修改仍可应用于用于增强层译码的正常帧内预测。

实施例3：用于HEVC WD8的针对基础层的垂直预测修改所提出的滤波可为层相依性的，且在增强层处可忽略。

实施例4：用于HEVC WD8针对基础层的垂直预测修改所提出的滤波可为模式相依性的，且对于所有或少数增强层新添加的模式(例如差域帧内预测)可忽略。所提出的修改仍可应用于用于增强层译码的正常帧内预测。

实施例5：用于HEVC WD8的针对基础层的水平预测修改所提出的滤波可为层相依性的，且在增强层处可忽略。

实施例6：用于HEVC WD8针对基础层的水平预测修改所提出的滤波可为模式相依性的，且对于所有或少数增强层新添加的模式(例如差域帧内预测)可忽略。所提出的修改仍可应用于用于增强层译码的正常帧内预测。

应认识到，取决于实例，本文中所描述的技术中的任一者的某些动作或事件可用不同顺序执行、可添加、合并或全部省略(例如，实践所述技术并不需要所有的所描述动作或事件)。此外，在某些实施例中，可同时(例如，通过多线程处理、中断处理或多个处理器)而非顺序地执行动作或事件。

在一或多个实例中，所描述功能可以硬件、软件、固件或其任何组合来实施。如果用软件实施，那么所述功能可作为一或多个指令或代码在计算机可读媒体上存储或传输，且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体，其对应于有形媒体，例如数据存储媒体，或包含任何促进将计算机程序从一处传送到另一处的媒体(例如，根据通信协议)的通信媒体。以此方式，计算机可读媒体大体上可对应于(1)有形计算机可读存储媒体，其是非暂时性的，或(2)通信媒体，例如信号或载波。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索用于实施本发明中所描述的技术的指令、代码及/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。

借助于实例而非限制，此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器或任何其它可用来存储指令或数据结构的形式的期望程序代码并且可由计算机存取的媒体。而且，可恰当地将任何连接称作计算机可读媒体。举例来说，如果使用同轴电缆、光纤缆线、双绞线、数字订户线(DSL)或例如红外线、无线电和微波等无线技术从网站、服务器或其它远程源传输指令，那么同轴电缆、光纤缆线、双绞线、DSL或例如红外线、无线电和微波等无线技术包含在媒体的定义中。然而，应理解，计算机可读存储媒体及数据存储媒体并不包含连接、载波、信号或其它暂时性媒体，而是实际上针对非暂时性的有形存储媒体。如本文中所使用，磁盘及光盘包括紧密光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软磁盘及蓝光光盘，其中磁盘通常磁性地复制数据，而光盘使用激光光学地复制数据。上文各者的组合也应包含在计算机可读媒体的范围内。

可由例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路等一或多个处理器来执行所述指令。因此，如本文中所使用的术语“处理器”可指上述结构或适合于实施本文中所描述的技术的任一其它结构中的任一者。另外，在一些方面中，本文所述的功能性可提供于经配置用于编码及解码的专用硬件及/或软件模块内，或并入在组合式编解码器中。而且，可将所述技术完全实施于一或多个电路或逻辑元件中。

本发明的技术可在广泛多种装置或设备中实施，包含无线手持机、集成电路(IC)或一组IC(例如，芯片组)。本发明中描述各种组件、模块或单元是为了强调经配置以执行所揭示的技术的装置的功能方面，但未必需要通过不同硬件单元实现。确切地说，如上文所描述，各种单元可以结合合适的软件及/或固件而组合在编码解码器硬件单元中，或者通过互操作硬件单元的集合来提供，所述硬件单元包含如上文所描述的一或多个处理器。

已描述了各种实例。这些及其它实例属于所附权利要求书的范围内。

Claims (41)

1.一种经配置以译码视频信息的设备，所述设备包括：

存储器，其经配置以存储与参考层及对应增强层相关联的视频信息；以及

硬件处理器，其与所述存储器通信，所述处理器经配置以从(1)通过第一加权因子加权的帧内预测值与(2)通过第二加权因子加权的在所述参考层中的共置视频单元的值确定定位在所述增强层内的一位置处的视频单元的值，其中所述帧内预测值是基于所述增强层中的至少一个额外视频单元而确定，其中所述共置视频单元位于所述参考层中的对应于所述视频单元在所述增强层中的所述位置的位置，

其中所述第一加权因子及所述第二加权因子是基于所述视频单元的所述位置而计算，并且其中所述第一加权因子与和所述视频单元相关联的二维像素位置成比例，且由两个维度中的一个维度内的像素样本的总数所加权，并且其中所述第二加权因子是从所述第一加权因子确定的。

2.根据权利要求1所述的设备，其中所述帧内预测值是基于平面帧内预测模式而确定。

3.根据权利要求1所述的设备，其中所述增强层中的所述至少一个额外视频单元为定位在所述增强层内的所述位置处的所述视频单元的水平相邻视频单元或垂直相邻视频单元。

4.根据权利要求1所述的设备，其中所述第一加权因子及所述第二加权因子中的至少一者在0与1之间。

5.根据权利要求1所述的设备，其中所述第一加权因子及所述第二加权因子在视频位流中用信号通知。

6.根据权利要求1所述的设备，其中所述第一加权因子及所述第二加权因子不在视频位流中用信号通知。

7.根据权利要求1所述的设备，其中所述第一加权因子及所述第二加权因子是基于所述视频单元的所述位置而从一组预定值选择。

8.根据权利要求1所述的设备，其中所述第一加权因子及所述第二加权因子(W1、W2)被计算为：W1＝(x+y)/宽度，且W2＝1-W1，其中x对应于所述视频单元的沿着视频信息块内的x方向的位置，y对应于所述视频单元的沿着所述块内的y方向的位置，且宽度对应于所述块的宽度。

9.根据权利要求1所述的设备，其中所述参考层包括基础层。

10.根据权利要求1所述的设备，其中基于所述增强层中的所述至少一个额外视频单元的所述帧内预测值为预测单元。

11.根据权利要求1所述的设备，其中所述设备包括以下各者中的一或多者：桌上型计算机、笔记本计算机、膝上型计算机、平板计算机、机顶盒、电话手持机、智能电话、无线通信装置、智能板、电视、相机、显示装置、数字媒体播放器、视频游戏控制台或者视频流式传输装置。

12.根据权利要求1所述的设备，其中所述处理器经配置以至少部分基于所述参考层中的多个像素的平均值确定所述增强层EL中的像素的预测值。

13.根据权利要求12所述的设备，其中所述处理器进一步经配置以在所述增强层中的所述像素在所述增强层中不具有相邻像素时至少部分基于所述参考层中的多个像素的平均值确定所述EL中的所述像素的所述预测值。

14.根据权利要求12所述的设备，其中所述处理器进一步经配置以在所述像素定位于具有左方及右方边缘的块内且所述像素沿着所述左方及右方边缘中的至少一者定位时，至少部分基于所述参考层中的多个像素的平均值确定所述EL中的所述像素的所述预测值。

15.根据权利要求1所述的设备，其中所述处理器进一步经配置以在所述视频单元为像素值时将平滑滤波器应用于所述视频单元及邻近于所述视频单元的至少一个额外视频单元。

16.根据权利要求15所述的设备，在所述视频单元不为像素值的情况下不应用所述平滑滤波器。

17.根据权利要求1所述的设备，其中所述参考层及所述增强层各自与层识别符相关联，且所述处理器进一步经配置以基于所述层识别符自适应地选择译码扫描模式。

18.根据权利要求1所述的设备，其中：

所述存储器进一步经配置以存储与从所述参考层与所述对应增强层之间的差导出的像素信息的差视频层相关联的差视频信息，其中第一空间分辨率与所述增强层相关联，且第二空间分辨率与所述参考层相关联；且

所述硬件处理器进一步经配置以在所述第一空间分辨率不等于所述第二空间分辨率时至少部分基于所述差视频层确定定位在所述增强层内的所述位置处的所述视频单元的值，且所述处理器进一步经配置以在所述第一空间分辨率等于所述第二空间分辨率时不至少部分基于所述差视频层确定所述视频单元的所述值。

19.一种译码视频信息的方法，所述方法包括：

存储与参考层及对应增强层相关联的视频信息；以及

从(1)通过第一加权因子加权的帧内预测值与(2)通过第二加权因子加权的在所述参考层中的共置视频单元的值确定定位在所述增强层内的一位置处的视频单元的值，其中所述帧内预测值是基于所述增强层中的至少一个额外视频单元而确定，其中所述共置视频单元位于所述参考层中的对应于所述视频单元在所述增强层中的所述位置的位置，

其中所述第一加权因子及所述第二加权因子是基于所述视频单元的所述位置而计算，并且其中所述第一加权因子与和所述视频单元相关联的二维像素位置成比例，且由这些维度中的一个维度内的像素样本的总数所加权，并且其中所述第二加权因子是从所述第一加权因子确定的。

20.根据权利要求19所述的方法，其中所述帧内预测值是基于平面帧内预测模式而确定。

21.根据权利要求19所述的方法，其中所述增强层中的所述至少一个额外视频单元为定位在所述增强层内的所述位置处的所述视频单元的水平相邻视频单元或垂直相邻视频单元。

22.根据权利要求19所述的方法，其中所述第一加权因子及所述第二加权因子中的至少一者在0与1之间。

23.根据权利要求19所述的方法，其进一步包括在视频位流中用信号通知所述第一加权因子及所述第二加权因子。

24.根据权利要求19所述的方法，其进一步包括至少部分地基于所述视频信息导出所述第一加权因子及所述第二加权因子。

25.根据权利要求19所述的方法，其进一步包括基于所述视频单元的所述位置从一组预定值选择所述第一加权因子及所述第二加权因子。

26.根据权利要求19所述的方法，其进一步包括将所述第一加权因子及所述第二加权因子(W1、W2)计算为：W1＝(x+y)/宽度，且W2＝1-W1，其中x对应于所述视频单元的沿着视频信息块内的x方向的位置，y对应于所述视频单元的沿着所述块内的y方向的位置，且宽度对应于所述块的宽度。

27.根据权利要求19所述的方法，其中所述参考层包括基础层。

28.根据权利要求19所述的方法，其中基于所述增强层中的所述至少一个额外视频单元的所述帧内预测值为预测单元。

29.根据权利要求19所述的方法，其进一步包括至少部分基于所述参考层中的多个像素的平均值确定所述增强层EL中的像素的预测值。

30.根据权利要求29所述的方法，其进一步包括在所述增强层中的所述像素在所述增强层中不具有相邻像素时至少部分基于所述参考层中的多个像素的平均值确定所述EL中的所述像素的所述预测值。

31.根据权利要求29所述的方法，其进一步包括在所述视频单元定位于具有左方及右方边缘的块内且所述视频单元沿着所述左方及右方边缘中的至少一者定位时，至少部分基于所述参考层中的多个像素的平均值确定所述EL中的所述像素的所述预测值。

32.根据权利要求19所述的方法，其进一步包括在所述视频单元为像素值时将平滑滤波器应用于所述视频单元及邻近于所述视频单元的至少一个额外视频单元。

33.根据权利要求32所述的方法，其中在所述视频单元不为像素值时不应用所述平滑滤波器。

34.根据权利要求19所述的方法，其进一步包括：

存储与从所述参考层与所述对应增强层之间的差导出的像素信息的差视频层相关联的差视频信息，其中第一空间分辨率与所述增强层相关联，且第二空间分辨率与所述参考层相关联；

在所述第一空间分辨率不等于所述第二空间分辨率时至少部分基于所述差视频层确定定位在所述增强层内的所述位置处的所述视频单元的值；以及

在所述第一空间分辨率等于所述第二空间分辨率时不至少部分基于所述差视频层确定所述视频单元的所述值。

35.根据权利要求19所述的方法，其中所述参考层及所述增强层各自与层识别符相关联，且其中所述方法进一步包括基于所述层识别符自适应地选择译码扫描模式。

36.一种存储用于译码视频信息的指令的非暂时性计算机可读媒体，所述指令致使计算机处理器：

存储与参考层及对应增强层相关联的视频信息；以及

从(1)通过第一加权因子加权的帧内预测值与(2)通过第二加权因子加权的在所述参考层中的共置视频单元的值确定定位在所述增强层内的一位置处的视频单元的值，其中所述帧内预测值是基于所述增强层中的至少一个额外视频单元而确定，其中所述共置视频单元位于所述参考层中的对应于所述视频单元在所述增强层中的所述位置的位置，

其中所述第一加权因子及所述第二加权因子是基于所述视频单元的所述位置而计算，并且其中所述第二加权因子与和所述视频单元相关联的二维像素位置成比例，且由这些维度中的一个维度内的像素样本的总数所加权，并且其中所述第一加权因子是从所述第二加权因子确定的。

37.根据权利要求36所述的计算机可读媒体，其中所述帧内预测值是基于平面帧内预测模式而确定。

38.根据权利要求36所述的计算机可读媒体，其中所述增强层中的所述至少一个额外视频单元为定位在所述增强层内的所述位置处的所述视频单元的水平相邻视频单元或垂直相邻视频单元。

39.一种用于译码视频信息的设备，所述设备包括：

用于存储与参考层及对应增强层相关联的视频信息的装置；以及

用于从(1)通过第一加权因子加权的帧内预测值与(2)通过第二加权因子加权的在所述参考层中的共置视频单元的值确定定位在所述增强层内的一位置处的视频单元的值的装置，其中所述帧内预测值是基于所述增强层中的至少一个额外视频单元而确定，其中所述共置视频单元位于所述参考层中的对应于所述视频单元在所述增强层中的所述位置的位置，

其中所述第一加权因子及所述第二加权因子是基于所述视频单元的所述位置而计算，并且其中所述第二加权因子与和所述视频单元相关联的二维像素位置成比例，且由这些维度中的一个维度内的像素样本的总数所加权，并且其中所述第一加权因子是从所述第二加权因子确定的。

40.根据权利要求39所述的设备，其中所述帧内预测值是基于平面帧内预测模式而确定。

41.根据权利要求39所述的设备，其中所述增强层中的所述至少一个额外视频单元为定位在所述增强层内的所述位置处的所述视频单元的水平相邻视频单元或垂直相邻视频单元。