CN104247426A

CN104247426A - 根据内预测方向的预测单元的过滤

Info

Publication number: CN104247426A
Application number: CN201380022424.1A
Authority: CN
Inventors: 詹姆斯·亚历山大·戈梅; 尼古拉斯·里安·桑德斯; 卡尔·詹姆斯·沙曼; 保罗·詹姆斯·西尔考克
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2012-04-26
Filing date: 2013-04-26
Publication date: 2014-12-24
Also published as: KR20190077110A; CN104255029B; MX2014012846A; RU2599935C2; US20180227577A1; RU2603548C2; GB2501535A; GB201211066D0; WO2013160693A2; GB2501555A; US20200213584A1; MX343351B; CN110933409A; CA2870602A1; WO2013160696A1; AU2013254443A1; CN109068135A; JP2015518340A; US9948929B2; RU2017116180A

Abstract

一种视频编码或解码方法，其中，根据与要预测的取样的区块相关的预测方向，从其他各个取样中预测以4∶4∶4格式或4∶2∶2格式的亮度取样和色彩取样；包括相对于要预测的当前区块，检测预测方向；根据由预测方向限定的其他色彩取样，生成色彩取样的预测区块；如果所检测的预测方向基本上垂直，那么过滤在色彩取样的预测区块中的左列取样，或者如果所检测的预测方向基本上水平，那么过滤在色彩取样的预测区块中的顶行取样；并且将在所过滤的预测色度区块与实际色度区块之间的差异编码，或者将解码的差异应用于所过滤的预测色度区块中，以便分别将区块编码或解码。

Description

根据内预测方向的预测单元的过滤

相关申请的交叉引用

本申请要求分别于更早提交日期2012年11月19日、2012年6月22日以及2012年4月26日在英国知识产权局提交的GB1220836.9、GB1211067.2以及GB 1207459.7的权益，上述申请的全部内容通过引用被结合在本文中。

技术领域

本公开有关数据编码及解码。

背景技术

文中所提出的「背景技术」描述为了一般性地呈现本公开的背景的目的。目前具名的发明人的工作(达其在此先前技术段落中所描述的程度、以及其无法另合格为申请时的习知技术的描述的形态)不被明确地或暗示性地承认为对抗本公开的习知技术。

有数种视频数据编码及解码***，其涉及将视频数据变换为频域表示、将频域系数量化及接着将某形式的熵(entropy)编码应用至已量化的系数。如此可获得视频数据的压缩。相应的解码或解压缩技术被应用以恢复原始视频数据的已重建版本。

诸如那些于H.264/MPEG-4高阶视频编码(AVC)中所使用的当前的视频编解码器(编码器-解码器)主要藉由仅将介于连续视频帧之间的差异编码来获得数据压缩。这些编解码器使用所谓宏区块的规律数组，其每个被使用为与先前视频帧中的相应宏区块的比较区，且宏区块内的图像区接着依据介于视频序列中的相应的当前与先前宏区块间、或者介于视频序列的单一帧内的相邻宏区块间所发现的移动等级(level)而被编码。

高效率视频编码(HEVC)，亦已知为H.265或MPEG-H Part 2，是H.264/MPEG-4AVC的一种已提议的后继者。期望HEVC得以增进质量及加倍数据压缩比(相较于H.264)，并期望其可缩放从128×96至7680×4320像素分辨率，约略等于从128kbit/s至800Mbit/s的比特率。

于HEVC中，一种所谓的4：2：0区块结构被提议给消费者设备，其中各色度(chroma)频道中所使用的数据的量为亮度(luma)频道中所使用的四分之一。这是因为主观地人类对于亮度变化较颜色变化更为敏感，而因此得以使用较大的压缩及/或较少的数据于颜色频道中而不会有主观的质量丧失。

HEVC以一种基于编码单元(CU，其为可变尺寸结构)的更有弹性技术来取代现存H.264及MPEG标准中所发现的宏区块。

因此，当编码视频帧中的图像数据时，CU尺寸可响应于明显的图像复杂度或检测的移动等级而被选择，以取代使用均匀分布的宏区块。结果，可获得明显较大的压缩于具有少量移动于帧之间的区中以及具有少量变化于帧之内的区中，而同时可保留较佳的图像质量于高帧间移动或图像复杂度的区域中。

各CU含有：图像内或图像间预测类型的任一者的一个以上可变区块尺寸的预测单元(PU)、及其含有针对空间区块变换及量化的系数的一个以上变换单元(TU)。

再者，PU和TU区块被提供给三个频道的每一个：亮度(Y)，其为亮度或亮度频道、且其可被视为灰阶频道；及两颜色差异或色彩(色度)频道Cb和Cr。这些频道提供亮度频道的灰阶图像的颜色。术语Y、亮度(luminance)及亮度被交替地使用于本说明书中，而类似的术语Cb和Cr、色彩(chrominance)及色度被适当地交替使用，注意其色彩或色度通常可被用于Cr和Cb的一者或两者；而当讨论特定色彩频道时其将由术语Cb或Cr来识别。

一般而言，PU被视为频道独立的，除了其PU具有亮度部分及色度部分。一般而言，此表示形成各频道的PU的部分的样本代表图像的相同区，以致有固定的关系介于三个频道间的PU之间。例如，针对4：2：0视频，亮度之8×8PU永远具有色度的相应的4×4PU，其PU的色度部分代表如亮度部分的相同区域，但由于4：2：0视频中相较于亮度数据的4：2：0色度数据之次取样本质而含有较少数的像素。(在4:4:4中，取样速率相同，因此，相同的PU结构可用于亮度取样和色彩取样)。两色度频道共享预测内信息；而三个频道共享预测间信息。类似地，TU结构亦具有固定关系于三个频道之间。

然而，针对专业的广播及数字剧院设备，希望具有较少的压缩(或较多的信息)于色度频道中，且此可影响当前及已提议的HEVC处理将如何运作。

发明内容

本公开应对或减缓由此处理所发生的问题。

本公开的形态及特征限定于后附申请专利范围中。

应理解之前的一般性描述及之后的详细描述为本技术的范例性的，而非限制性的。

附图说明

本公开的更完整的理解以及许多其伴随的优点将随着其藉由参考以下的详细描述(当配合后附图形而考虑时)变得更为了解而被轻易地获得，其中：

图1概略地阐明一种使用视频数据压缩及解压缩的音频/视频(A/V)数据传输及接收***；

图2概略地阐明一种使用视频数据解压缩的视频显示***；

图3概略地阐明一种使用视频数据压缩及解压缩的音频/视频储存***；

图4概略地阐明一种使用视频数据解压缩的视频相机；

图5提供视频数据压缩及解压缩设备的概略概视图；

图6概略地阐明预测图像的产生；

图7概略地阐明最大编码单元(LCU)；

图8概略地阐明一组四个编码单元(CU)；

图9和10概略地阐明将图8的编码单元次分割为较小的编码单元；

图11概略地阐明预测单元(PU)的数组；

图12概略地阐明变换单元(TU)的数组；

图13概略地阐明部分编码图像；

图14概略地阐明一组可能的预测内方向；

图15概略地阐明一组预测模式；

图16概略地阐明笔直对角扫描；

图17概略地阐明视频压缩设备；

图18a和18b概略地阐明可能的区块尺寸；

图19概略地阐明来自色度及亮度区块的共置信息的使用；

图20概略地阐明一种情况，其中来自一色度频道的共置信息被用于另一色度频道；

图21概略地阐明用于LM-CHROMA模式的像素；

图22概略地阐明一组亮度预测方向；

图23概略地阐明图22的方向，如应用于水平上稀疏的色度频道；

图24概略地阐明映射至矩形色度像素数组的图22的方向；

图25-28概略地阐明亮度及色度像素内插；

图29a和2b各自的概略地阐明4：2：0及4：2：2的量化参数表；以及

图30和31概略地阐明量化变异表。

具体实施方式

现在参考图形，图1-4被提供以给出利用压缩及/或解压缩设备的设备或***的概略图标，以供配合本技术的实施例而描述于下。

所有将描述于下的数据压缩及/或解压缩可被实施以硬件、以运作在诸如通用计算机等通用数据处理设备上的软件，当成诸如特定应用集成电路(ASIC)或场可编程门阵列(FPGA)等可编程硬件或当成这些的组合。于其中实施例藉由软件及/或固件来实施的情况下，应理解此类软件及/或固件、及藉以储存或提供此类软件及/或固件的非瞬时数据储存媒体被视为本技术的实施例。

图1概略地阐明一种使用视频数据压缩及解压缩的音频/视频数据传输及接收***。

输入音频/视频信号10被供应至视频数据压缩设备20，其压缩音频/视频信号10的至少视频成分以供传输沿着传输路由30，诸如缆线、光纤、无线链路等等。已压缩信号由解压缩设备40所处理以提供输出音频/视频信号50。针对返回路径，压缩设备60压缩音频/视频以供传输沿着传输路由30而至解压缩设备70。

压缩设备20及解压缩设备70可因此形成传输链路的一节点。解压缩设备40及压缩设备60可形成传输链路的另一节点。当然，于其中传输链路为单向的例子中，仅有节点之一需要压缩设备而另一节点仅需要解压缩设备。

图2概略地阐明一种使用视频数据解压缩的视频显示***。特别地，已压缩音频/视频信号100由解压缩设备110所处理以提供其可被显示于显示器120上的解压缩信号。解压缩设备110可被实施为显示器120的部分，例如被提供于与显示设备相同的外壳内。另一方面，解压缩设备110可被提供为(例如)所谓得机顶盒(STB)，注意：用词「机上」并非暗示机盒需设置相对于显示器120之任何特定方位或位置；其仅为用以指示可连接至显示以当作周边装置之装置的本技术中所使用的术语。

图3概略地阐明一种使用视频数据压缩及解压缩的音频/视频储存***。输入音频/视频信号130被供应至压缩设备140，其产生已压缩信号以供由储存装置150所储存，诸如磁盘装置、光盘装置、磁带装置、固态储存装置(如半导体内存或其他储存装置)。为了播放，已压缩数据被读取自储存装置150并传递至解压缩设备160以供解压缩，以提供输出音频/视频信号170。

应理解：已压缩或已编码信号、及储存该信号之储存媒体被视为本技术的实施例。

图4概略地阐明一种使用视频数据解压缩的视频相机。于图4中，图像捕获设备180，诸如电荷耦合装置(CCD)图像电感器及相关的控制和读出电子电路，产生视频信号，其被传递至压缩设备190。一麦克风(或复数麦克风)200产生一音频信号以供被传递至压缩设备190。压缩设备190产生已压缩音频/视频信号210以便被储存及/或传输(通常显示为储存及/或传输220)。

将描述于下的技术主要有关于视频数据压缩及解压缩。应理解：许多现有的技术可配合将被描述的视频数据压缩技术而被用于音频数据压缩，以产生已压缩音频/视频信号。因此，将不提供音频数据压缩之各自的讨论。亦应理解：与视频数据(特别是广播质量视频数据)相关的数据率一般是极高于与音频数据相关的数据率(无论已压缩或未压缩)。因此应理解：未压缩音频数据可伴随已压缩视频数据以形成已压缩音频/视频信号。应进一步理解：虽然目前的范例(图1-4中所显示者)有关音频/视频数据，但以下将描述的技术可发现其应用于仅处理(亦即，压缩、解压缩、储存、显示及/或传输)视频数据的***。换言之，实施例可应用于视频数据压缩而不一定具有任何相关的音频数据处置。

图5提供视频数据压缩及解压缩设备的概略概视图。

控制器343控制设备的整体操作及；特别当针对压缩模式时，通过用作选择器，控制试验编码程序(将描述于下)以选择诸如CU、PU和TU区块尺寸的操作的各种模式以及无损地还是以其他方式将视频数据编码。

输入视频信号300的连续图像被供应至相加器310及图像预测器320。图像预测器320将参考图6而被更详细地描述于下。相加器310事实上执行相减(负相加)操作，其中其输入视频信号300于「+」输入上及图像预测器320的输出于「-」输入上，以致从输入图像减去预测图像。结果为产生代表介于实际与投影图像间的差异的所谓残留图像信号330。

残留图像信号为何被产生的一原因说明如下。将描述的数据编码方案(亦即将应用于残留图像信号的技术)倾向于更有效率地作用在当待编码的图像中有较少「能量」时。于此，术语「有效率地」指的是少量已编码数据的产生；针对特定图像质量等级，希望产生实际上尽可能少的数据。残留图像中所谓「能量」是有关残留图像中所含有的信息量。假如预测图像将全同于实际图像，则两者之间的差异(亦即，残留图像)将含有零信息(零能量)且将极易于编码成少量的已编码数据。通常，假如可使预测程序合理地作用良好，则预期残留图像数据将含有较输入图像更少的信息(较少能量)而因此将较易于编码成少量的已编码数据。

现在描述用作编码器(用于将残留或差异图像进行编码)的设备的剩余部分。残留图像信号330被耦合至变换单元340，其产生残留图像数据的离散余弦变换(DCT)表示。DCT技术本身是众所周知的且将不会详细地描述于此。然而，仍有将被更详细地描述于下的本设备中所使用的技术的形态，特别是有关于可应用DCT操作的不同区块的数据的选择。这些将参考图7-12而被描述于下。

变换单元340的输出(亦即，针对图像数据的各变换区块的一组DCT系数)被供应至量化器350。各种量化技术为视频数据压缩之领域中所已知的，范围涵盖从藉由量化标度因子的简单相乘直至复杂查找表之应用，于量化参数的控制下。一般目标是两倍。首先，量化程序减少已变换数据之可能值的数目。其次，量化程序可增加其已变换数据为零的值的可能性。这两者可使得熵编码程序(将描述于下)更有效率地作用于产生少量的已压缩视频数据。

由扫描单元360施加一数据扫描程序。扫描程序的目的为重新排列量化的已变换数据以将尽可能多的非零已量化已变换系数收集在一起，而当然因而将尽可能多的零值系数收集在一起收集。这些特征可容许有效率地施加所谓的运行长度编码或类似技术。因此，扫描程序涉及从已量化已变换数据选择系数，且特别是从相应于一已依据「扫描顺序」而被变换并量化的图像数据的区块的系数的区块，以致：(a)所有系数当作扫描的部分而被选择一次；及(b)扫描常提供所欲的重新排列。一种可常提供有用结果的范例扫描顺序是一种所谓的笔直对角扫描顺序。

已扫描系数被接着传递至熵编码器(EE)370。再次地，可使用各种类型的熵编码。两个范例是所谓的CABAC(背景适应二进制算术编码)***的变异及所谓的CAVLC(背景适应可变长度编码)***的变异。一般而言，CABAC被视为提供较佳的效率，且于某些研究中已显示出针对相当图像质量(相较于CAVLC)之已编码输出数据的量提供10-20％的减少。然而，CAVLC被视为代表相较于CABAC之复杂度更低甚多的等级(依照其实施方式)。注意：扫描程序及熵编码程序被显示为分离的程序，但事实上可被结合或一起处理。亦即，数据之读入熵编码器可发生以扫描顺序。相应的考虑适于以下将描述的各自的反向程序。注意：本案申请时于考虑下的当前的HEVC文件不再包括CAVLC系数编码器之可能性。

熵编码器370的输出，连同额外数据(以上所提及/或以下所讨论)，例如限定其中预测器320产生预测图像的方式，提供已压缩的输出视频信号380。

然而，亦提供返回路径，因为预测器320本身的操作取决于已压缩输出数据的解压缩版本。

此特征之原因如下。于适当阶段，在解压缩程序(以下将描述)中，产生残留数据的解压缩版本。此已解压缩的残留数据需被加至预测图像以产生输出图像(因为原始残留数据为介于输入图像与预测图像之间的差异)。为了使此程序是相当的，如介于压缩侧与解压缩侧之间，则由预测器320所产生的预测图像应是相同的于压缩程序期间及于解压缩程序期间。当然，在解压缩时，设备对于原始输入图像不具有存取权，而仅对于解压缩图像有。因此，于压缩时，预测器320以压缩图像的解压缩版本为其预测(至少，针对图像间编码)的基础。

由熵编码器370所执行的熵编码程序被视为「无损」，也就是说其可被反转以达成与其被首先供应至熵编码器370的完全相同的数据。因此，返回路径可被实施在熵编码阶段之前。确实，由扫描单元360所执行的扫描程序亦被视为无损的，但于本实施例中，返回路径390是从量化器350的输出至一互补反向量化器420的输入。

一般而言，熵解码器410、反转扫描单元400、反向量化器420及反向变换单元430提供熵编码器370、扫描单元360、量化器350及变换单元340之各自的反向功能。现在，将继续遍及压缩程序的讨论；用以解压缩输入已压缩视频信号的程序将被分离地讨论于下。

于压缩程序中，扫描系数由返回路径390从量化器350传递至反向量化器420，其执行扫描单元360之反向操作。反向量化及反向变换程序由单元420、430所执行以产生压缩解压缩的残留图像信号440。

图像信号440被加(于相加器450)至预测器320的输出以产生重建的输出图像460。此形成图像预测器320的输入，如以下将描述者。

现在回到用以解压缩一接收的已压缩视频信号470的程序，信号被供应至熵解码器410并从该处至反转扫描单元400、反向量化器420及反向变换单元430之链，在藉由相加器450而被加至图像预测器320的输出以前。因此，在解码器侧，解码器重构一个版本的残留图像，然后将其应用(通过相加器450)于预测版本的图像(逐块地)上，以便将每个块体解码。明确地，相加器450的输出460形成输出的解压缩视频信号480。实际上，可在信号被输出之前施加进一步过滤。

因此，图5及6的设备可作用为压缩设备或解压缩设备。两种类型的设备的功能非常大量地重迭。扫描单元360及熵编码器370未被使用于解压缩模式，而预测器320(其将被详细地描述于下)及其他单元的操作依循所接收的已压缩比特流中所含有的模式及参数，而非产生其本身的此类信息。

图6概略地阐明预测图像的产生，及更明确地为图像预测器320的操作。

有通过图像预测器320进行的两种预测的基本模式：所谓的图像内预测及所谓的图像间(或运动补偿(MC))预测。在编码器侧，每个预测包括检测要预测的当前区块的预测方向，并且根据其他取样(在相同(内)或另一个(间)图像中)生成取样的预测区块。鉴于单元310或450，编码或应用在预测区块与实际区块之间的差异，以便分别将该区块编码或解码。

(在解码器中，或者在编码器的反向解码侧，通过编码器，可响应于与编码数据相关联的数据，检测预测方向，表示在编码器中使用哪个方向。或者，检测可响应于与在编码器中做出决定的那些因素相同的因素。)

图像内预测基于来自相同图像内的数据以执行图像的一区块的内容的预测。这相应于其他视频压缩技术中的所谓的I帧编码。相对于I帧编码(其中整个图像均被内编码)，于本实施例中，可以逐区块的方式来进行介于内-与间-编码之间的选择，虽然于其他实施例中仍以逐图像的方式进行选择。

运动补偿预测为图像间预测的范例且利用其尝试限定将被编码于当前图像中的图像细节的来源(于另一邻接或附近图像中)的运动信息。因此，于一理想范例中，于预测图像中的图像的一区块的内容可极简单被编码为一参考(运动向量)，其指向一相邻图像中位于相同或稍微不同位置上的相应区块。

回到图6，显示两个图像预测配置(相应于图像内及图像间预测)，其结果为于模式信号510的控制下由多任务器500所选择以提供预测图像的区块，以便供应至相加器310及450。其选择的进行根据哪个选择提供最低「能量」(其，如上所讨论，可被视为需要编码的信息内容)，且该选择被发送给编码器于已编码输出数据流之内。图像能量(于本文中)可被检测，例如，藉由从输入图像执行预测图像之两版本的区域的试验相减、将差异图像的各像素值平方、加总平方值、及识别两版本的哪个为导致相关于该图像区域的差异图像的较低均方根值。

于内编码***中，实际预测基于其被接收为信号460的部分的图像区块来进行，换言之，预测基于已编码-已解码图像区块，以致可于解压缩设备上进行完全相同的预测。然而，数据可由内模式选择器520获取自输入视频信号300，以控制图像内预测器530的操作。

针对图像间预测，运动补偿(MC)预测器540使用运动信息，诸如由运动估计器550从输入视频信号300所取得的运动向量。这些运动向量。那些运动向量藉由运动补偿预测器540而被施加至重建图像460之已处理版本，以产生图像间预测的区块。

因此，根据由预测方向限定的其他取样，每个单元530和540(使用估计器550进行操作)用作用于检测要预测的当前区块的预测方向的检测器，并且用作用于生成取样的预测区块的生成器(形成传递给单元310和450的一部分预测)。

现在将描述施加至信号460的处理。首先，信号由过滤器单元560所过滤，其将被更详细地描述于下。此涉及应用「除区块」过滤器以移除或至少尝试减少由变换单元340所执行的区块为基的处理及后续操作。亦可使用样本调适补偿(SAO)过滤器(进一步描述于下)。同时，应用一种使用藉由处理重建信号460及输入视频信号300所取得的系数的样本回路过滤器。调适回路过滤器是一种过滤器类型，其(使用已知的技术)将调适过滤器系数应用于待过滤的数据。亦即，过滤器系数可根据各种因子而改变。定义应使用哪些过滤器系数的数据被包括为已编码输出数据流的部分。

调适过滤代表用于图像复原的回路内过滤。LCU可由高达16个过滤器过滤，其针对LCU内的各CU取得过滤器的选择及ALF开/关状态(自适应回路过滤器，见下文)。目前控制在于LCU等级，而非CU等级。

来自过滤器单元560的已过滤输出实际上形成输出视频信号480，当设备操作为压缩设备时。其亦被缓冲于一个以上图像或帧储存570中；连续图像之储存为运动补偿预测处理的必要条件，且特别是运动向量的产生。为了节省储存需求，图像储存570中的储存图像可被保持以压缩形式并接着解压缩以用于产生运动向量。为了此特定目的，可使用任何已知的压缩/解压缩***。储存图像被传递至内插过滤器580，其产生已储存图像之较高分辨率版本；于此范例中，中间样本(次样本)被产生以致：由内插过滤器580所输出的内插图像的分辨率为针对4：2：0的亮度频道而储存于图像储存570中的图像的分辨率的4倍(于各维度)；以及为针对4：2：0之色彩频道而储存于图像储存570中的图像的分辨率的8倍(于各维度)。内插图像被传递为送至运动估计器550及亦送至运动补偿预测器540的输入。

于实施例中，提供进一步的可选择阶段，其使用乘法器600而将输入视频信号的数据值乘以四的因子(效果上仅将数据值向左移两位)；及使用除法器或右移器610而施加一相应的除法操作(右移两位)于设备的输出处。因此，左移及右移纯粹针对设备的内部操作而改变数据。此处置可提供较高的计算准确度于设备内，当作减少任何数据舍入误差的效果。

现在将描述其中图像针对压缩处理而被分割的方式。于基本等级上，一待压缩图像被视为样本的区块的数组。针对本讨论的目的，考虑下的最大此类区块是所谓的最大编码单元(LCU)700(图7)，其代表通常为64×64样本的方形数组(LCU尺寸可由编码器配置，高达诸如由HEVC文件所定义的最大尺寸)。于此，讨论有关亮度样本。根据色彩模式，诸如4：4：4、4：2：2、4：2：0或4：4：4：4(GBR+密钥数据)，将有相应于亮度区块的不同数目的相应色彩样本。

将描述三种基本的区块类型：编码单元、预测单元及变换单元。一般而言，LCU的递归次划分容许输入图像被分割成使得区块尺寸及区块编码参数(诸如预测或残留编码模式)可依据待编码图像的特定特性而被设定。

LCU可被次划分为所谓的编码单元(CU)。编码单元总是方形的且具有介于8×8样本与LCU 700的完整尺寸间的尺寸。编码单元可被配置为一种树状结构，以致第一次划分可发生如图8中所示者，给定32×32样本的编码单元710；后续次划分可接着依选择性方式而发生，以给定16×16样本之某些编码单元720(图9)及8×8样本的潜在的某些编码单元730(图10)。总之，此程序可提供CU区块的内容调适的编码树状结构，其每一者可如LCU一般大或者如8×8样本一般小。输出视频数据的编码基于编码单元结构而发生，也就是说一LCU被编码、及接着该程序移至下一LCU，依此类推。

图11概略地阐明预测单元(PU)的数组。预测单元为一基础单元，用以携载关于图像预测程序的信息、或者(换言之)被加至熵编码残留图像数据以形成来自图5的设备的输出视频信号的额外数据。一般地，预测单元不限于形状为方形。其可具有其他形状，特别是形成方形编码单元之一的一半的矩形形状(例如，8×8CU可具有8×4或4×8PU)。利用其匹配图像特征之PU并非HEVC***之强制部分，但一般目标将是容许良好的编码器匹配相邻预测单元的边界以吻合(尽可能地)图像中的实际物体的边界，以致不同的预测参数可被应用于不同的实际物体。各编码单元可含有一个以上预测单元。

图12概略地阐明变换单元(TU)的数组。变换单元为变换和量化程序的基础单元。变换可或不可为方形并得以具有4×4至32×32样本的尺寸。各编码单元可含有一个以上变换单元。图12中的缩写SDIP-P表示一种所谓的短距离内预测分割。于此配置中，仅使用一维变换，所以4×N区块被传递通过N变换，其中这些变换的输入数据基于当前SDIP-P内之先前解码的相邻区块及先前解码的相邻线。在本案提出申请时SDIP-P尚未被包括于HEVC中。

如上所述，编码以一LCU、接着下一LCU的方式进行，依此类推。于LCU内，编码以CU接CU地被执行。于CU内，编码的针对一TU、接着下一TU地执行，依此类推。

现在将讨论内预测程序。一般而言，内预测涉及从相同图像中之先前编码及解码的样本产生样本的当前区块的预测(预测单元)。图13概略地阐明部分编码图像800。于此，图像基于LCU而从左上至右下被编码。部分透过完整图像之处置而编码的范例LCU被显示为区块810。区块810的左上半的阴影区820已被编码。区块810的内容的图像内预测可利用阴影区820的任一个但无法利用其下方的无阴影区域。然而，注意其针对当前LCU内之各自的TU，以上所讨论的编码的阶层顺序(CU接CU然后TU接TU)表示可能有于当前LCU中并可用于的该TU的编码的先前已编码样本，其为(例如)该TU的右上或左下。

区块810代表LCU；如以上所讨论，针对内图像预测处理的目的，此可被次划分为一组较小的预测单元及变换单元。当前TU 830的一范例被显示于LCU 810内。

内图像预测考虑在考虑当前TU之前被编码的样本，诸如那些当前TU的上方及/或左方的那些。来源样本(从这些样本预测所需样本)可被置于不同位置上或者相对于当前TU的方向。为了决定哪个方向适于当前预测单元，一样本编码器的模式选择器520可测试各候选方向的可用TU结构的所有组合并选择具有最佳压缩效率之PU方向及TU结构。

图象也可被编码以「片(slice)」为基础。于一范例中，一片为一水平相邻族群的LCU。但更一般而言，完整残留图像可形成一片，或者一片可为单一LCU，或者一片可为一列LCU，依此类推。片可提供对误差的韧性，因为其被编码为独立单元。编码器及解码器被完全地重设于片边界。例如，内预测不被执行跨越片边界；片边界被视为针对此目的的图像边界。

图14概略地阐明一组可能的(候选)预测方向。整组34个候选方向可用于8×8、16×16、32×32样本的预测单元。4×4及64×64样本的预测单元尺寸的特殊情况具有其可用的一减少组的候选方向(各自的为17个候选方向及5个候选方向)。这些方向由相对于当前区块位置的水平及垂直位移所决定，但被编码为预测「模式」，其一组被显示于图15中。注意：所谓的DC模式代表周围的上及左边样本之简单算术平均值。

一般而言，在检测每个预测单元的预测方向之后，根据由预测方向限定的其他取样，这些***可操作，以生成取样的预测区块。

图16概略地阐明所谓的笔直对角扫描，其为可由扫描单元360所应用的范例扫描型态。于图16中，该型态被显示针对一范例区块的8×8DCT系数，以其DC系数被置于该区块的左上位置840上，且增加水平和垂直空间频率由在朝下及朝向左上位置840增加距离时的系数所表示。可取代地使用其他替代的扫描顺序。

区块配置和CU、PU及TU结构的变化将被讨论如下。这些将被讨论以图17的设备的背景，其在许多方面类似于如上讨论的图5及6中所阐明者。确实，已使用了许多相同的参考数字，且将不进一步地讨论这些部分。

针对图5及6的主要显著差异关于过滤器560(图6)，其在图17中被更详细地显示为包括除区块过滤器1000及相关的编码决定区块1030、样本调适补偿(SAO)过滤器1010及相关的系数产生器1040、和调适回路过滤器(ALF)1020及相关的系数产生器1050。

除区块过滤器1000尝试减少失真并增进视觉质量和预测性能，藉由使其当使用区块编码方案时可形成于CU、PU与TU边界之间的尖锐边缘平顺化。

SAO过滤器1010将重建的像素分类为不同的范畴并接着尝试藉由仅为各范畴的像素增加补偿以减少失真。像素强度及边缘性质被用于像素分类。为了进一步增进编码效率，一图像可被划分为用于补偿参数之局部化的区。

ALF 1020尝试复原已压缩图像，以致介于重建的与来源帧之间的差异被减至最小。ALF的系数以帧为基础来计算及传输。ALF可被应用于整个帧或者局部区域。

如上所述，已提议的HEVC文件使用已知为4：2：0技术的特定的色度取样技术。4：2：0方案可被用于本地/消费者设备。然而，数种其他技术亦为可能的。

特别地，一种所谓的4：4：4方案将适于专业广播、主控(mastering)及数字剧院，且理论上将具有最高的质量及数据率。

类似地，一种所谓的4：2：2方案可被用于具有某些保真度丧失的专业广播、主控及数字剧院。

这些技术及其相应可能的PU和TU区块结构被描述如下。

此外，其他的技术包括4：0：0单色技术。

于4：4：4方案中，三个Y、Cb及Cr频道的每一个均具有相同的样本率。因此，原则上，于此技术中将有如亮度数据的两倍般多的色度数据。

因此于HEVC中，于此技术中，三个Y、Cb及Cr频道的每一个将具有其为相同尺寸的相应的PU和TU区块；例如，8×8亮度区块将具有针对两个色度频道的每一个的相应的8×8色度区块。

因此，于此技术中，通常将有直接的1：1关系于各频道中的区块尺寸之间。

于4：2：2方案中，两个色度成分被取样以亮度的取样率的一半(例如，使用垂直或水平次取样，但为了本说明的目的，假设为水平次取样)。因此，原则上，于此技术中将有如亮度数据一般多的色度数据，虽然色度数据将被分开于两个色度频道之间。

因此于HEVC中，于此技术中，Cb及Cr频道将具有针对亮度频道的不同尺寸的PU和TU区块；例如，8×8亮度区块将具有针对各色度频道的相应的宽4×高8色度区块。

因此，应注意：于次技术中，色度区块可为非方形的，即使其相应于方形亮度区块。

于当前已提议的HEVC 4：2：0方案中，两个色度成分被取样以亮度的取样率的四分之一(例如，使用垂直及水平次取样)。因此，原则上，于此技术中将有如亮度数据的一半的色度数据，色度数据将被***于两个色度频道之间。

因此于HEVC中，于此技术中，再次地Cb及Cr频道将具有针对亮度频道的不同尺寸的PU和TU区块。例如，8×8亮度区块将具有针对各色度频道的相应的4×4色度区块。

上述技术于本技艺中口语地已知为「频道比」，如以「4：2：0频道比」；然而，从以上描述应理解：事实上此并非永远表示其Y、Cb及Cr频道以该比例被压缩或者被提供。因此虽称之为频道比，此不应被假设为照字面的。事实上，4：2：0技术的正确比例为4：1：1(4：2：2方案和4：4：4技术的比例是事实上正确的)。

在参考图18A和18B以讨论特定的配置前，将概述或重述一些一般性术语。

最大编码单元(LCU)是根图像标的。通常，其涵盖相当于64×64亮度像素的区域。其被递归地***以形成树状阶层的编码单元(CU)。一般而言，三个频道(一亮度频道及二色度频道)具有相同的CU树状阶层。然而，如此一来，根据频道比，一特定的亮度CU可包括针对相应色度CU的不同数目的像素。

于数状阶层的末端上的CU，亦即，得自递归***程序的最小CU被接着***为预测单元(PU)。三个频道(一亮度频道及二色度频道)具有相同的PU结构，除了当色度频道的相应PU将具有太少样本时，于此情况下该频道仅有一PU可用。此为可配置的，但常见地一内PU的最小尺寸为4样本；一间PU的最小尺寸为4亮度样本(或针对4：2：0为2色度样本)。针对任何频道的至少一PU最小CU尺寸的限制总是够大的。

叶CU亦被***为变换单元(TU)。TU可以，及当其为太大时(例如，超过32×32样本)时必须，被***为进一步的TU。加诸一限制以致TU可被向下***至最大的树状深度，目前配置为2层。亦即，针对各CU不得有多于16个TU。一例示性的最小可容许TU尺寸为4×4样本及最大可容许TU尺寸为32×32样本。再次，只要有可能则三个频道具有相同的TU结构，但假如由于尺寸限制而使TU无法被***为针对既定频道的特定深度，则其保持于较大尺寸。所谓的非方形四倍树状变换配置(NSQT)是类似的，但***为四个TU的方法无需为2×2而可为4×1或1×4。

参考图18A及18B，针对CU、PU及TU区块概述可能的不同区块尺寸，以「Y」指称亮度区块而「C」一般性地指称色度区块的一代表者，及数字指称像素。「间」指称帧间预测PU(相对于帧内预测PU)。于许多情况下，仅显示亮度区块的区块尺寸。相关色度区块的相应尺寸关于依据频道比的亮度区块尺寸。

因此，针对4：4：4，色度频道具有如图18A和18B中所示的亮度区块般的相同区块尺寸。因此，色度PU结构在所有***等级(其中，“***等级”表示选择CU尺寸选项，并且在CU尺寸选项内，选择CU尺寸和形状选项)镜像(或分别相同于)PU结构。虽然可能使用同一组可能的区块尺寸和形状，但是可能允许相对于CU的亮度和色度成分选择不同组的区块尺寸和形状，在本公开的一些实施方式中，与CU对应的色度和亮度成分选择相同的PU区块尺寸和形状。因此，无论为亮度CU选择哪个或哪些PU尺寸和形状，都为该CU的色度成分选择相同尺寸和形状的PU。要注意的是，如下所述，在控制器343的控制下，PU的区块尺寸和形状的选择是基于编码器的决定。在这种设置中，亮度取样和色彩取样具有4:4:4格式并且被设置为多个编码单元，每个单元均包括亮度取样和色彩取样的区块；并且检测当前预测单元的预测方向，该预测单元是至少表示各个编码单元的子集的亮度或色彩取样的区块。对于特定的编码单元，使一个或多个预测单元(每个单元包括来自该编码单元的亮度取样和色彩取样)具有一种尺寸和形状(例如，通过控制器343)，以便预测单元的尺寸和形状的选择与亮度取样和色彩取样相同。

针对4：2：2及4：2：0，色度区块将各具有较相应亮度区块更少的像素，依据频道比。

图18A和18B中所示的配置考虑四种可能的CU尺寸：64×64、32×32、16×16及8×8亮度像素，各自地。这些CU的每一个均具有PU选项(显示于行1140中)及TU选项(显示于行1150中)的一相应列。针对如上所限定的可能CU尺寸，这些列选项各自被参照为1100、1110、1120及1130。

注意：64×64为当前的最大CU尺寸，但此限制可能会改变。

于各列1100…1130中，不同的PU选项被显示可应用于该CU尺寸。可应用于那些PU配置的TU选项被显示水平地与各自的PU选项对齐。

注意：于数种情况下，提供多重PU选项。如以上所讨论，设备选择PU配置的目标在于匹配(尽可能地接近)图像中之真实对象的边界，以致不同的预测参数可被应用于不同的真实对象。

区块尺寸和形状及PU是基于编码器的决定，于控制器343的控制下。当前方法涉及针对许多方向进行许多TU树状结构的试验、取得各等级上的最佳「成本」。于此，成本可被表示为得自各区块结构之失真、或噪声、或误差、或比特率的测量。因此，编码器可尝试在以上所讨论之树状结构和阶层下所容许者之内的区块尺寸和形状之两个以上(或及甚至所有可能的)排列，在选择其针对某所需的质量测量提供最低比特率、或针对所需的比特率提供最低失真(或误差、或噪声、或这些测量的组合)、或这些测量的组合的试验之一以前。

给定特定PU配置的选择，则各种等级的***可被应用以产生相应的TU。参考列1100，于64×64PU的情况下，此区块尺寸针对使用为TU是太大的，而因此第一等级的***(从「等级0」(未***)至「等级1」)是必要的，其导致四个32×32亮度TU的数组。这些的每一个可接受树状阶层中的进一步***(从「等级1」至「等级2」)如所需，以其***在变换或量化该TU被执行前被履行。TU树中之等级的最大数目由HEVC文件所限制(举例而言)。

其他的选项被提供给PU尺寸及形状于64×64亮度像素CU的情况。这些被限制仅使用以内编码图像，以及(于某些情况下)以所谓的AMP选项启用。AMP指的是非对称运动分割并容许PU被非对称地分割。

类似地，于某些情况下，选项被提供给TU尺寸及形状。假如NQST(非方形四倍树状变换，基本上容许非方形TU)被启用，则***为等级1及/或等级2可被执行如所示，而假如NQST未被启用，则TU尺寸依循该CU尺寸的各自的最大TU的***形态。

类似的，选项被提供给其他CU尺寸。

除了图18A和18B中所示的图形表示以外，相同信息的数字部分被提供于后续表中，虽然图18A和18B中的表示被视为限定性的。「n/a」指示其不容许的模式。水平像素尺寸被首先引述。假如第三数字被提供，则其有关该区块尺寸的例子的数目，如于(水平)×(垂直)×(例子数)区块。N为整数。

4：2：0、4：2：2及4：4：4区块结构变异

已理解其4：2：0及4：4：4方案两者均具有方形PU区块以供内预测编码。此外，目前4：2：0方案允许4×4像素PU及TU区块。

于实施例中，因此提议其针对4：4：4方案，针对CU区块的递归被允许向下至4×4像素而非8×8像素，因为如上所述：于4：4：4模式中，亮度与色度区块将为相同尺寸(亦即，色度数据未被次取样)而因此针对4×4CU并无PU或TU将需为少于4×4像素之已容许的最小值。因此，这是对于特定的编码单元选择一个或多个预测单元的尺寸和形状的一个实例，每个预测单元包括至少该编码单元的子集的亮度或色彩取样，预测单元的尺寸和形状的选择与亮度取样和色彩取样相同。

要注意的是，在解码器侧(或者在编码器的反向解码路径中)，该选择响应于与编码数据相关联的数据，表示在编码器的前向编码路径中进行的选择。或者，该选择可响应于与在编码器中做出决定的那些因素相同的因素。

类似地，于4：4：4方案中，于一实施例中，每一Y、Cr、Cb频道(或者Y与两个Cr、Cb频道一起)可具有各自的CU树状阶层。一旗标可接着被用以告知应使用哪个阶层或阶层的配置。此方式亦可被用于4：4：4RGB颜色空间技术。然而，替代地，色度和亮度之树状阶层可为独立的。

于4：2：0技术的8×8CU的范例中，如此导致四个4×4亮度PU及一个4×4色度PU。因此于4：2：2方案中，具有色度数据的两倍之多，一选项于此情况下具有两个4×4色度PU，其中(例如)底部色度区块将于位置上相应于底部左边亮度区块。然而，已理解于此情况下使用一个非方形4×8亮度PU将更为对齐4：2：0色度格式的配置。

于4：2：0方案中，原则上有一些非方形TU区块允许于间预测编码之某些类型，但非于内预测编码。然而，于间预测编码时，当非方形四倍树状变换(NSQT)被禁止(其为4：2：0技术的当前默认值)时，所有TU均为方形的。因此效果上4：2：0方案目前强制为方形TU。例如，16×164：2：0亮度TU将相应与各自的Cb&Cr8×84：2：0色度TU。

然而，如先前所述，4：2：2方案可具有非方形PU。因此于一实施例中，提议针对4：2：2方案容许非方形。

例如，虽然16×164：2：2亮度TU可相应与两个各自的Cb及Cr 8×84：2：2色度TU，于此实施例中，其可替代地相应与各自的Cb及Cr8×164：2：2色度TU。

类似地，四个4×44：2：2亮度TU可相应与两个各自的4×4Cb+Cr4：2：2TU，或者于此实施例中可替代地相应与各自的4×8Cb及Cr 4：2：2TU。

具有非方形色度TU(而因此较少的TU)可为更有效率的，因为其可能含有较少的信息。然而，此可能影响此类TU的变换及扫描程序，如将描述于后。

最后，针对4：4：4方案，可最好是使TU结构为频道独立的、可选择于序列、图片、片或更细的等级。

如上所述，NSQT目前被禁止于HEVC的4：2：0方案。然而，假如针对图像间预测，NSQT被启用且非对称运动分割(AMP)被允许，此容许PU被非对称地分割；因此例如16×16CU可具有4×16PU及12×16PU。于这些情况下，针对4：2：0及4：2：2方案的每一个，区块结构的进一步考虑是重要的。

针对4：2：0方案，于NSQT中，TU的最小宽度/高度可被限制于4个亮度/色度样本：

因此，于非限制性范例中，16×4/16×12亮度PU结构具有四个16×4亮度TU及四个4×4色度TU，其中亮度TU以1×4垂直区块配置而色度TU以2×2区块配置。

于其中分割为垂直而非水平之一类似配置中，4×16/12×16亮度PU结构具有四个4×16亮度TU及四个4×4色度TU，其中亮度TU以4×1水平区块配置而色度TU以2×2区块配置。

针对4：2：2方案，于NSQT中，当作一非限制性范例，4×16/12×16亮度PU结构具有四个4×16亮度TU及四个4×8色度TU，其中亮度TU以4×1水平区块配置；色度TU以2×2区块配置。

然而，已理解其不同结构可被考虑于某些情况。因此于本公开的一实施例中，于NSQT中，当作一非限制性范例，16×4/16×12亮度PU结构具有四个16×4亮度TU及四个8×4色度TU，但现在亮度和色度TU以1×4垂直区块配置，与PU布局(相对于四个4×8色度TU的4：2：0型配置于2×2区块配置)对齐。

类似地，32×8PU可具有四个16×4亮度TU及四个8×4色度TU，但现在亮度和色度TU以2×2区块配置。

因此，更一般地，针对4：2：2方案，于NSQT中，TU区块尺寸被选择以对齐非对称PU区块布局。因此，NSQT有用地容许TU边界对齐PU边界，其减少否则可能发生之高频人为因素(artefacts)

一般而言，本公开的实施例可相关于一种可针对4：2：2格式视频信号而操作的视频编码方法、设备或程序，待编码图像被划分为编码单元、预测单元及变换单元以供编码，编码单元为亮度样本及相应的色彩样本的方形数组，有一个以上预测单元于一编码单元中，且有一个以上变换单元于一编码单元中；其中预测单元为预测的基本单元以致单一预测单元内的所有样本使用共同预测技术而被预测，而变换单元为变换和量化的基础单元。

非方形变换模式(诸如NSQT模式)被启用以容许非方形预测单元。选择性地，非对称运动分割被启用以容许相应于单一编码单元的两个以上预测单元之间的非对称。

控制器343控制变换单元区块尺寸的选择以对齐预测单元区块布局，例如，藉由检测相应于一PU的图像的部分中的图像特征并针对该PU选择TU区块尺寸以使TU边界对齐图像的部分中的图像特征的边缘。

以上所讨论的规则规定区块尺寸的哪些组合是可用的。编码器可尝试不同的组合。如以上所讨论，试验可包括两个以上直到所有可得的选项。试验编码程序可被执行依据成本函数度量(metric)及依据成本函数之估计所选择的结果。

假定有三个等级的变异，依据CU尺寸及形状、PU尺寸及形状和TU尺寸及形状，则此可导致待试验编码之大量的排列。为了减少此变异，***可藉由使用各CU尺寸可容许之PU/TU配置的任意选定一者以针对CU尺寸试验编码；接着，已选定了CU尺寸，则可藉由试验编码不同的PU(其各具有单一任意选定的TU配置)以选择PU尺寸和形状。接着，已选定了CU和PU，***可尝试所有可应用的TU配置以选择一最终TU配置。

另一可能性是某些编码器可使用区块配置之固定选择，或者可容许以上讨论中所设定的组合的有限子集。

内预测

4：2：0内预测

现在回到图22，针对内预测，HEVC容许角度色度预测。

经由介绍，图22阐明35个可应用于亮度区块的预测模式，其中33个指明用以参照当前预测样本位置110的样本的方向。剩余的两模式为模式0(平面)及模式1(dc)。

HEVC容许色度具有DC、垂直、水平、平面、DM_CHROMA及LM_CHROMA模式。

DM_CHROMA指示其待使用的预测模式相同于共同位置的亮度PU的预测模式(亦即，图22中所示的35个之一)。

LM_CHROMA(线性模式色度)指示其共同位置的亮度样本(适当地向下取样至频道比)被用以取得预测的色度样本。于此情况下，假如亮度PU(DM_CHROMA预测模式将从该亮度PU取得)选择DC、垂直、水平或平面，则色度预测列中的该条目使用模式34而被取代。于LM_CHROMA模式中，亮度像素(色度像素从这些亮度像素所预测)依据亮度与色度之间的线性关系而被定标(且适当的话应用补偿)。此线性关系被取自周围的像素，且该取得可依区块接区块的方式被执行，以解码器在持续移动至下一个之前解码一区块。

在本公开的实施方式中，可限定一个图像的所有区域或者每个图像的所有区域使用相同的预测模式(例如，对于指示亮度取样)，例如，DM_CHROMA模式。

值得注意的：预测模式2-34系取样从45度至225度的角度范围；换言之，方形的对角线的一半。此可用于4：2：0技术的情况，其(如上所述)仅使用方形色度PU于图像内预测。

4：2：2内预测变异

然而，同样如上所述，4：2：2方案可具有矩形(非方形)色度PU，即使当亮度PU为方形时。或确实地，其相反可为真：矩形亮度PU可相应于方形亮度PU。其差异之原因在于：于4：2：2中，色度被水平地次(相对于亮度)取样而非垂直地。所以亮度区块与相应色度区块之宽高比将预期为不同的。

结果，于一实施例中，有关对于相应亮度区块具有不同宽高比的色度PU，可能需要针对该方向的映射表。假设(例如)针对矩形色度PU之1至2宽高比，则例如模式18(当前以135度的角度)可被重新映射至123度。替代地，当前模式18的选择可被重新映射至当前模式22的选择，至几乎相同的效果。

因此，更一般地，针对非方形PU，介于参考样本的方向与选定的内预测模式之间的不同映射可被提供以比较与方形PU的映射。

又更一般地，任何这些模式(包括非方向性模式)亦可根据经验证据而被重新映射。

有可能此映射将导致多对一的关系，使得模式的完整集合的规格对于4：2：2色度PU而言是多余的。于此情况下，例如，可能仅有17个模式(相应于角度分辨率的一半)是需要的。替代地或另加地，这些模式可被角度地分布以非均匀方式。

类似地，用于参考样本(当预测样本位置上的像素时)上之平滑过滤器可被不同地使用；于4：2：0方案中，其仅被用于平顺化亮度像素，而非色度像素。然而，于4：2：2及4：4：4方案中，此过滤器亦可被用于色度PU。于4：2：2方案中，再次地过滤器可响应于PU的不同宽高比而被修改，例如仅被用于接近水平模式的子集。模式的范例子集最好是2-18及34；或更理想的7-14。于4：2：2中，仅有参考样本的左边字段的平顺化可被执行于实施例中。

这些配置被更详细地讨论于后。

4：4：4内预测变异

于4：4：4方案中，色度和亮度PU为相同尺寸，而因此色度PU的内预测模式可相同于共同位置的亮度PU(因此藉由无需编码分离的模式而节省比特流中之某些额外负担)、或者替代地，其可被独立地选择。

因此，于后者的情况下，于一实施例中，该***可具有1、2或3个不同的预测模式，针对CU中的每一PU。

于第一范例中，Y、Cb及Cr PU可全使用相同的内预测模式。

于第二范例中，Y PU可使用一个内预测模式，而Cb及Cr PU可均使用另一独立地选择的内预测模式。

于第三范例中，Y、Cb及Cr PU各使用各自独立地选择的内预测模式。

应理解：针对多数色度频道(或各色度频道)具有独立的预测模式将增进颜色预测准确性。但此需要附加的数据额外负担以将独立的预测模式传递为已编码数据的部分。

为了减轻此负担，模式数目的选择可被指示以高阶语法(例如，以序列、图像、或片等级)。替代地，独立模式数目可被取得自视频格式；例如，GBR可具有高达3，而YCbCr可被限制于高达2。

除了独立地选择模式之外，可用的模式可被容许于4：4：4方案中不同于4：2：0方案。

例如，当亮度和色度PU为相同尺寸于4：4：4中时，色度PU可由于对所有可得的35+LM_CHROMA+DM_CHROMA方向的存取权而受惠。因此，针对各具有独立预测模式之Y、Cb及Cr的情况，则Cb频道可具有对DM_CHROMA&LM_CHROMA的存取权，而Cr频道可具有对DM_CHROMA_Y、DM_CHROMA_Cb、LM_CHROMA_Y及LM_CHROMA_Cb的存取权，其中这些以对Y或Cb色度频道的参考来取代对亮度频道的参考。

当亮度预测模式藉由取得大部分可携模式的列表并传送该列表的指标而被告知时，则假如色度预测模式为独立的，其可能必须针对各频道取得大部分可携模式的独立列表。

最后，以一类似于如上针对4：2：2情况所述的方式，于4：4：4方案中，当预测样本位置上的像素时使用于参考样本上的平滑过滤器可以类似于亮度PU的方式被用于色度PU。目前，[1,2,1]低通过滤器可在内预测之前被应用于参考样本。此仅被用于亮度TU，当使用某些预测模式时。

可用于色度TU的内预测模式之一为将预测样本基于共同位置的亮度样本。此一配置被概略地阐明于图19中，其显示由Cb、Cr及Y频道中之小方形所代表的TU 1200的数组(来自一来源图像的一区)，其显示于Cb和Y频道中及于Cr和Y频道中的图像特征(概略地由暗和亮阴影方块1200所表示)之间的特殊对齐。于此范例中，有利的是迫使色度TU将预测样本基于共同位置的亮度样本。然而，并非总是其图像特征于三个频道之间对应的情况。事实上，某些特征可能仅出现于频道之一或二中，且通常三个频道的图像可能不同。

于实施例中，针对Cr TU，LM_Chroma可选择性地基于来自Cb频道的共同位置的样本(或者，于其他实施例中，其相关性可为反向的)。此一配置被显示以概略形式于图20中。于此，空间对齐的TU被显示介于Cr、Cb和Y频道之间。标示为「来源」的另一组TU为彩色图像的概略表示(整体所见)。来源图像中所见的图像特征(左上方三角形及右下方三角形)事实上不代表亮度的改变，而仅为介于两三角区之间的亮度的改变。于此情况下，使Cr之LM_Chroma基于亮度样本将产生不佳的预测，但使其基于Cb样本则可提供较佳的预测。

有关应使用哪个LM_Chroma模式的决定可由控制器343及/或模式控制器520来做出，基于不同选项的试验编码(包括使LM_Chroma基于共同位置的亮度或共同位置的色度样本的选项)，其有关应选择哪个模式的决定藉由针对不同试验编码以存取成本函数(类似于上述者)而做出。成本函数的范例为噪声、失真、误差率、或比特率。来自接受其提供一个以上这些成本函数的最低者的试验编码之那些中的模式被选择。

图21概略地阐明用于获得实施例中的内预测的参考样本模式的方法。于观看图21时，应注意其编码依据扫描型态而被执行，以致(一般而言)当前待编码区块的左上方的区块的已编码版本可用于编码程序。有时候使用左下或右上的样本，假如其已被事先编码为当前LCU内的其他已编码TU的部分。举例而言，参考如上所述的图13。

阴影区域1210代表当前TU，亦即，当前正被编码的TU。

于4：2：0及4：2：2中，紧接于当前TU的左边的像素行不含共同位置的亮度样本及色彩样本，由于水平次取样。换言之，这是因为4：2：0及4：2：2格式具有如亮度像素的一半的色彩像素(于水平方向)，因此并非每一亮度样本位置具有共同位置的色彩样本。因此，虽然亮度样本可出现在紧接于TU的左边的像素行中，色彩样本并未出现。因此，于一些实施例中，位于当前TU左边两样本的行被使用以提供参考样本给LM_Chroma。注意：情况在4：4：4中是不同的，其中紧接于当前TU的左边的行确实含有共同位置的亮度及色度样本。此行因而可被用以提供参考样本。

参考样本被使用如下。

于LM_Chroma模式下，预测的样本依据线性关系而被取自重建的亮度样本。因此，一般而言，可以说于TU内的预测的色彩值由下式提供：

P_C＝a+bP_L

其中P_C为色彩样本值，P_L为于该样本位置上的重建的亮度样本值，及a和b为常数。这些常数针对特定区块而得，藉由检测就在该区块上方的行中以及就在该区块左方的列中的重建亮度样本与色度样本之间的关系，这些为已被编码的样本位置(参见上述)。

于一些实施例中，常数a和b被求得如下：

a＝R(P_L’,P_C’)/R(P_L’,P_L’)

其中R代表线性(最少方形)回归函数，而P_L’及P_C’为各自地来自相邻列及行的亮度样本及色彩样本，如以上所讨论，以及：

b＝mean(P_C’)–a.mean(P_L’)

针对4：4：4，P_L’及P_C’值被取自紧接在当前TU左方的列、及紧接在当前TU上方的行。针对4：2：2，P_L’及P_C’值被取自紧接在当前TU上方的行及在离开当前TU的左边缘两个样本位置的列。针对4：2：0(其被垂直地及水平地次取样)，P_L’及P_C’值将理想地被取自当前TU上方两列的行，但实际上是被取自当前TU上方一个样本位置的相邻区块中的行、以及在离开当前TU的左边缘两个样本位置的相邻区块中的列。其原因是为了避免必须维持数据的额外的整列于内存中。因此于此方面，4：2：2及4：2：0被处置以类似的方式。

因此，这些技术适用于具有色彩预测模式的视频编码方法，其中代表图像的一区的色彩样本的当前区块藉由取得并编码色彩样本相对于代表图像的相同区的一共同位置区块的亮度样本(诸如重建的亮度样本)的关系而被编码。此关系(诸如线性关系)藉由比较来自相邻已编码区块的共同位置的(另表达为相应位置的)亮度样本及色彩样本。色彩样本依据该关系而被取得自亮度样本；而介于预测色彩样本与实际色彩样本之间的差异被编码为残留数据。

有关第一取样分辨率(诸如4：4：4)，其中色彩样本具有与亮度样本相同的取样率，共同位置的样本为邻近当前区块的样本位置中的样本。

有关第二取样分辨率(诸如4：2：2或4：2：0)，其中色彩样本具有较亮度样本低的取样率，来自相邻已编码区块的共同位置的亮度和色彩样本的最近行或列被用以提供共同位置的样本。或者其中，于第二取样分辨率为4：2：0取样分辨率的情况下，相应位置的样本为邻近当前区块的相应列的样本以及相应位置的亮度和色彩样本的最近行或列，来自相邻已编码区块。

图22概率地阐明亮度样本的可用的预测角度。当前像素被预测为显示于图形的中央为像素1220。较小的点1230代表相邻像素。那些位于当前像素之上或左侧者可用为用以产生预测的参考样本，因为其已被先前地编码。其他像素当前为未知(于预测像素1220的时刻)且本身将于适当时机被预测。

各已编号的预测方向指向其被用以产生当前预测像素的当前区块的上或左边缘上的参考样本1230。于较小区块的情况下，其中预测方向指向介于参考样本之间的位置，则使用介于相邻参考样本之间的线性内插。

现在回到色度样本的角度内预测，针对4：2：0，由于色度样本的相对稀少而有较少的预测方向可得。然而，假如选择了DM_CHROMA模式则当前色度区块将使用如共同位置亮度区块的相同预测方向。于是，此表示内预测的亮度方向亦可用于色度。

然而，针对4：2：2中的色度样本，可视为反本能地使用如亮度的相同预测算法(当选择DM_CHROMA时)，假定色度区块现在具有与亮度区块不同的宽高比。例如，方形亮度数组的样本的45度线仍应映射至色度样本的45度线，虽然具有矩形尺寸样本的数组。将矩形栅格迭置于方形栅格之上指示其45度线将接着实际上映射至26.6度线。

图23概略地阐明如应用于4：2：2中的色度像素的亮度内预测方向，针对待预测的当前像素1220。注意：水平上有垂直上一半的像素，因为4：2：2具有在色度频道一半的水平取样率(相较于亮度频道)。

图24概略地阐明4：2：2色度像素的变换或映射至方形栅格，及因而阐明此变换如何改变预测方向。

亮度预测方向被显示为虚线1240。色度像素1250被再映射至方形栅格，其提供相应亮度数组的宽度1260的一半的矩形数组(诸如图22中所显示者)。图23中所示的预测方向已被再映射至矩形数组。可看出针对一些方向对(一对为一亮度方向及一色度方向)，有重迭或接近关系的任一个。例如，于亮度数组中的方向2实质上位于色度数组中的方向6之上。然而，亦将注意：某些亮度方向(大约其一半)并无相应的色度方向。一范例为编号3的亮度方向。同时，某些色度方向(2-5)无相等物于亮度数组中，而某些亮度方向(31-34)无相等物于色度数组中。但一般地，图24中所示的迭置展现其将不适于使用相同角度于亮度及色度频道两者。

因此，为了为了取得色度的适当预测角度，当(a)DM_CHROMA被选择及(b)目前使用中的DM_CHROMA模式指示其色度预测方向应为共同位置的亮度区块的方向时，则下列程序。

(i)依据根据一般HEVC规则的亮度方向以取得内预测角度步进及其反数。

(ii)假如亮度方向是显著地垂直的(亦即，例如，编号从18至34内的模式)，则内预测角度步进被减半且其反数被乘两倍。

(iii)否则，假如亮度方向是显著地水平的(亦即，例如，编号从2至17内的模式)，则内预测角度步进被乘两倍且其反数被减半。

因此，这些实施例有关视频编码或解码方法、设备或程序，其中亮度样本及色彩样本依据一关联于待预测样本的预测方向而被从其他各自的参考样本预测。于诸如4：2：2的模式中，色彩样本具有较亮度样本更低的水平及/或垂直取样率，以致亮度水平分辨率相对于色彩水平分辨率之比不同于亮度垂直分辨率相对于色彩垂直分辨率之比。简言之，此表示亮度样本的区块具有与色彩样本的相应区块不同的宽高比。

帧内预测器530(例如)可操作，以针对一组当前待预测样本检测一相关于第一宽高比的栅格而限定的第一预测方向；并以将方向映射应用于该预测方向，以产生相关于要预测的同一组当前样本的不同宽高比的样本的栅格限定的第二预测方向。

于实施例中，第一预测方向针对亮度或色彩样本之一而被限定，及第二预测方向针对亮度或色彩样本的另一而被限定。于本说明书所讨论的特定范例中，亮度预测方向可被修改以提供色彩预测方向。但亦可使用相反的方式。

此技术特别可应用于内预测，以致参考样本为如待预测样本的相同各自的图像的样本。

于至少某些配置中，第一预测方向针对亮度样本(包括当前亮度样本)的方形区块而被限定；及第二预测方向针对色彩样本(包括当前色彩样本)的矩形区块而被限定。

得以提供独立的预测模式给两个色彩成分。于此一配置中，色彩样本包括第一色彩成分及第二色彩成分的样本，及该技术包括针对该第一色彩成分(诸如Cb)以应用以上步骤所讨论的方向映射；及针对该第二色彩成分(诸如Cr)以提供不同的预测模式。

视频数据可为4：2：2格式或4：4：4格式，举例而言。

一般而言，本公开的实施例可提供独立的预测模式给色彩成分(例如，分别地给亮度及色彩成分的每一个)。这些实施例有关视频编码方法，其中图像的亮度样本及色彩样本依据一关联于待预测样本的预测方向而被预测自其来自该相同图像的其他各自的参考样本，色彩样本具有较亮度样本更低的水平及/或垂直取样率以致亮度水平分辨率相对于色彩水平分辨率之比不同于亮度垂直分辨率相对于色彩垂直分辨率之比，以致亮度样本的区块具有与色彩样本的相应区块不同的宽高比，而色彩样本代表第一及第二色彩样本。

帧内模式选择器520选择一预测模式，其限定一个以上参考样本的选择以供预测第一色彩成分(诸如Cb)的当前色彩样本。其亦选择一不同的预测模式，其限定一个以上参考样本的不同选择以供预测第二色彩成分(诸如Cr)的当前色彩样本，其与第一色彩成分的当前色彩样本位于相同位置。

一参考样本过滤器可选择性地被应用于水平样本或垂直样本(或两者)，例如，作为用作过滤器设置的帧储存器570和/或预测器530、540的一部分操作。过滤器可为3分接头的「121」过滤器，当前应用于除了左下及右上之外的所有亮度参考样本(N×N区块的样本被集合在一起以形成尺寸2N+1的单一1D数组，并接着被选择性地过滤)。于本技术的实施例中，其仅被应用于4：2：2的第一(左手边缘)或最后(顶部边缘)N+1色度样本，但注意其左下、右上及左上于是将不被调整；或是针对4：2：2及4：4：4的所有色度样本(如同亮度)。

实施例亦可提供视频编码或解码方法、设备或程序，其中亮度成分样本及第一色彩成分样本和第二色彩成分样本依据一关联于待预测样本的预测模式而被预测(自其他各自的参考样本)，其涉及预测来自第一色彩成分的样本的第二色彩成分的样本。

实施例亦可提供视频编码或解码方法、设备或程序，其中亮度成分样本及第一色彩成分样本和第二色彩成分样本依据一关联于待预测样本的预测方向而被从其他各自的参考样本预测，其涉及过滤参考样本。

如参考图19及20所讨论，有可能其不同的预测模式包括一模式，藉由该模式第二色彩成分的样本被预测自第一色彩成分的样本。

注意：模式0及1并非角度预测模式而因此未被包括于此程序中。如上所示的程序的效果用以将色度预测方向映射至图24中的亮度预测方向上。

针对4：2：0，当纯水平预测模式(亮度模式10)或纯垂直预测模式(亮度模式26)被选择时，则所预测的TU之上或左边缘接受仅针对亮度频道之过滤。针对水平预测模式，顶部列被过滤于垂直方向。针对垂直预测模式，左边行被过滤于水平方向。

于水平方向过滤一行样本可被理解为将水平定向的过滤器应用于该样本行顺序中的各样本。因此，针对一独立样本，其值将由过滤器的运动所修改，基于从该样本及水平方向上移开自该样本的样本位置上的一个以上其他样本的当前值所产生的已过滤值(亦即，相关的该样本的左及/或右边的一个以上其他样本)。

于垂直方向过滤一列样本可被理解为将垂直定向的过滤器应用于该样本列顺序中的各样本。因此，针对一独立样本，其值将由过滤器的运动所修改，基于从该样本及垂直方向上移开自该样本的样本位置上的一个以上其他样本的当前值所产生的已过滤值(亦即，相关的该样本的上及/或下方的一个以上其他样本)。

上述边缘像素过滤程序的一目的在于用以减少预测中基于边缘效果的区块，藉此用以减少残留图像数据中的能量。

于实施例中，一相应的过滤程序亦被提供给4：4：4及4：2：2中的色度TU。考虑水平次取样，一提议是仅过滤4：2：2中的色度TU的顶部列，而非过滤4：4：4中之顶部列及左边行两者(适当地，依据选定的模式)。被认为适当的是仅于这些区中过滤以避免将太多有用的细节过滤掉，其(假如过滤掉的话)将导致残留数据的增加的能量。

针对4：2：0，当DC模式被选择时，预测的TU的顶部及/或左边缘的一处或两处便接受仅针对亮度频道的过滤。在此处，这是以下情况的一个实例：亮度取样表示一个亮度成分，并且各个色彩取样表示两个色度成分，将过滤步骤应用于这三个成分中，该子集是这三个成分中的任一个或两个。子集可包括亮度成分。过滤可涉及过滤在取样的预测区块中的左列取样和/或在取样的预测区块中的顶行取样。

过滤可为致使于DC模式中，过滤器应用一针对两边缘上的所有样本的(1×相邻外部样本+3*边缘样本)/4平均化运算。然而，针对左上方，过滤器函数为(2×当前样本+1×上样本+1×左样本)/4。这是以下操作的一个实例：在生成预测取样(作为周围取样的取样算术平均值)的DC模式中，过滤步骤包括过滤在取样的预测区块中的左列取样以及在取样的预测区块中的顶行取样。H/V过滤器为介于相邻外部样本与边缘样本之间的平均。

于一些实施例中，此过滤程序亦被提供给4：4：4及4：2：2中的色度TU。再次地，考虑水平次取样，于某些实施例中，仅有色度样本之顶部列针对4：2：2而被过滤，但色度TU之顶部列及左边行针对4：4：4而被过滤。

因此，此技术可应用于有关视频编码或解码方法、设备或程序，其中于(例如)4：4：4格式或4：2：2格式中的亮度样本及色彩样本依据一关联于待预测样本的区块的预测方向而被预测自其他各自的样本。

于本技术的实施例中，预测方向关于待预测当前区块而被检测。色彩样本的预测区块依据由预测方向所限定的其他色彩样本而被产生。假如测得的预测方向为实质上垂直的(例如，于其中n为(例如)2的完全垂直模式的+/-n角度内模式)，则左边行样本被过滤(例如，于使用水平定向的过滤器的水平方向)于色彩样本的预测区块。或者，假如测得的预测方向为实质上水平的(例如，于其中n为(例如)2的完全水平模式的+/-n角度内模式)，则顶部列样本被过滤(例如，于使用垂直定向的过滤器的垂直方向)于色彩样本的预测区块。在每种情况下，操作可仅仅分别适用于左列和顶行。接着介于已过滤的预测色彩区块与实际色彩区块的间的差异被编码(例如)为残留数据。替代地，此测试可针对完全垂直或水平模式而非实质上垂直或水平模式。+/-n之容限可被应用于这些测试之一(垂直或水平)而非另一。在本公开的实施方式中，可仅仅过滤左列或顶行的预测区块，并且分别通过水平定向的过滤器或垂直定向的过滤器，可进行过滤。

就这一点而言，可由作为过滤器的各个预测器520、530来进行过滤。

在过滤过程之后，本技术的实施例将在所过滤的预测色度区块与实际色度区块(在编码器中)之间的差异编码，或者将解码的差异应用于所过滤的预测色度区块中，以便将区块编码(在解码器侧)。

间预测

注意：HEVC中的间预测已容许矩形PU，因此4：2：2模式及4：4：4模式已兼容与PU间预测处理。

视频图像的各帧为实际景象的离散取样，而因此各像素为颜色和亮度之真实世界梯度的步进近似。

有鉴于此，当从先前视频帧中的值预测新视频帧中之Y、Cb或Cr值时，该先前视频帧中的像素被内插以产生原始真实世界梯度的较佳估计，以容许新像素的亮度或颜色的更准确选择。因此，用以指向视频帧之间的运动向量不限于整数像素分辨率。反之，其可指向内插图像内的子像素位置。

4：2：0间预测

现在参考图25及26，于如上所述的4：2：0方案中，通常8×8亮度PU 1300将关联于Cb及Cr 4×4色度PU 1310。因此，为了内插亮度及色度像素直到相同的有效分辨率，不同的内插过滤器被使用。

例如，针对8×84：2：0亮度PU，内插为1/4像素，而因此8分接头×4过滤器被首先水平地应用，且接着相同的8分接头×4过滤器被垂直地应用，以致亮度PU被有效地伸展4次于各方向，以形成如图25中所示的内插数组1320。同时，相应的4×44：2：0色度PU被1/8像素内插以产生相同的最终分辨率，而因此4分接头×8过滤器被首先水平地应用，接着相同的4分接头×8过滤器被垂直地应用，以致4：2：0色度PU被有效地伸展8次于各方向，以形成如图26中所示的数组1330。

4：2：2间预测

现在将参考图27及28以描述4：2：2之类似配置，其阐明亮度PU 1350及一对相应的色度PU 1360。

参考图28，如先前所述，于4：2：2方案中，色度PU 1360可为非方形的，而针对8×84：2：2亮度PU的情况，每一Cb及Cr频道通常将为宽4×高8的4：2：2色度PU。注意：色度PU被描绘(为了图28的目的)为非方形像素的方形形状数组，但一般而言，可注意其PU 1360为4(水平)×8(垂直)像素数组。

虽然其可能因此使用现存的8分接头×4亮度过滤器垂直地于色度PU上，于本公开的实施例中，其已被理解该现存的4分接头×8色度过滤器将满足垂直内插如实际上，仅有兴趣于内插色度PU之甚至小部分位置。

因此，图27显示如前内插以8分接头×4过滤器之8×84：2：2亮度PU 1350、及内插以4分接头×8色度过滤器的4×84：2：2色度PU 1360，于水平及垂直方向，但仅以其用于形成垂直方向上的内插图像的甚至小部分结果。

这些技术可应用于使用图像间预测以编码输入视频数据的视频编码或解码方法、设备或程序，其中各色彩成分具有亮度成分的水平分辨率的1/Mth及亮度成分的垂直分辨率的1/Nth，其中M及N为等于1或更大的整数。例如，针对4：2：2，M＝2、N＝1。针对4：2：0，M＝2、N＝2。

帧储存570可操作以储存当前图像前之一个以上图像。

内插过滤器580可操作以内插已储存图像的预测单元的更高分辨率版本，以致一已内插的预测单元具有该已储存图像的相应部分的P倍的水平分辨率及该已储存图像的相应部分的Q倍的垂直分辨率，其中P及Q为大于1的整数。于当前范例中，P＝Q＝4以致内插过滤器580可操作以产生具1/4样本分辨率之已内插图像。

运动估计器550可操作以检测介于当前图像与一个以上已内插储存图像之间的图像间运动，以产生介于当前图像的预测单元与一个以上先前图像的区域之间的运动向量。

运动补偿预测器540可操作以产生当前图像的预测单元的运动补偿预测，针对由各自的运动向量所指出的已内插储存图像。

回到内插过滤器580的操作的讨论，此过滤器的实施例可操作以将xR水平及xS垂直内插过滤器应用于一储存图像之色彩成分，以产生已内插色彩预测单元，其中R等于(U×M×P)而S等于(V×N×Q)，U及V为等于1或更大的整数；并次取样该已内插色彩预测单元，以致其水平分辨率被除以U的因子且其垂直分辨率被除以V的因子，藉此获致MP×NQ样本的区块。

因此，于4：2：2的情况下，内插过滤器580将x8内插应用于水平及垂直方向，但接着以2的因子垂直地次取样，例如藉由使用已内插输出中的每第二个样本。

此技术因此容许相同(例如，x8)过滤器被使用于4：2：0及4：2：2，但于4：2：2情况下需要次取样的进一步步骤。

于实施例中，如先前的讨论，该已内插色彩预测单元具有其使用相同的xR及xS内插过滤器所内插的4：2：0格式预测单元的样本的两倍高度。

使用这些技术可避免或减轻提供不同过滤器的需求，而特别是藉由使用相同的xR水平及xS垂直内插过滤器，针对4：2：0输入视频数据及4：2：2输入视频数据。

如以上的讨论，次取样该已内插色彩预测单元的步骤包括使用垂直方向上该已内插色彩预测单元的每第V个样本，及/或使用垂直方向上该已内插色彩预测单元的每第U个样本。

实施例可涉及取得一预测单元的亮度运动向量；并独立地取得该预测单元之一个以上色彩运动向量。

于某些实施例中，R与S的至少一者等于2或更大，且于某些实施例中，xR水平及xS垂直内插过滤器亦被应用于储存图像的亮度成分。

4：4：4间预测变体

藉由延伸，仅使用现存4分接头×8色度过滤器的甚至小部分结果的相同原理可垂直地暨水平地应用于8×84：4：4色度PU。

进一步针对这些范例，x8色度过滤器可被用于所有内插，包括亮度。

进一步间预测变体

于运动向量(MV)的一实施方式中，一向量被产生给P片中之一PU以及二向量被产生给B片中之一PU(其中P片从先前帧取得预测，而B片从先前及后续帧取得预测，以一种类似于MPEG P及B帧的方式)。值得注意的，于4：2：0技术的此实施方式中，向量对于所有频道是共同的，而此外，色度数据无需被用以计算运动向量。换言之，所有频道使用一基于亮度数据的运动向量。

于一实施例中，于4：2：2方案中，色度向量可被取得以独立自亮度(亦即，用于Cb和Cr频道的单一向量可被分离地取得)，且于4：4：4方案中，色度向量可进一步针对Cb和Cr频道的每一个为独立的。

变换

于HEVC中，大部分图像从先前编码/解码的帧被编码为运动向量，以其运动向量告知解码器从(于这些其他已解码帧中)何处复制当前图像之良好近似。其结果为当前图像之近似版本。HEVC接着编码所谓的残留，其为介于近似版本与正确图像之间的误差。此残留需要甚少于直接指明实际图像的信息。然而，一般而言仍最好是压缩此残留信息以进一步减少整体比特率。

于包括HEVC的许多编码方法中，此类数据使用整数余弦变换(ICT)而被为变换为空间频率领域，且通常某压缩接着藉由保留低空间频率数据并丢弃较高空间频率数据而获得，依据所欲的压缩位准。

4：2：0变换

HEVC中所使用的空间频率变换传统上是产生4的羃次的系数(例如，64个频率系数)，因为此为特别能接受共同量化/压缩方法。4：2：0方案中的方形TU均为4的羃次而因此为直接可获得。

假如NSQT选项被启用，一些非方形变换可用于非方形TU(诸如4×16)，但再次值得注意地，这些导致64个系数(亦即，再次4的羃次)。

4：2：2及4：4：4变换变体

4：2：2方案可导致其并非4的羃次的非方形TU；例如，4×8TU具有32个像素，而32并非4的羃次。

于一实施例中，因此，可使用针对非4数字的羃次的系数的非方形变换，已知其需要对后续量化程序进行修改。

替代地，于一实施例中，非方形TU被***为具有用于变换的4区域的羃次的方形区块，且接着所得的系数可被交错。

例如，针对4×8区块，奇数/偶数垂直样本可被***为两方形区块。替代地，针对4×8区块，顶部4×4像素及底部4×4像素可形成两方形区块。替代地，再次地，针对4×8区块，哈尔(Haar)小波分解可被用以形成较低及较高频率4×4区块。

这些选项的任一者可变为可用的，且特定替代方式的选择可由解码器通知或取得。

其他变换模式

于4：2：0方案中，有一建议旗标(所谓的「qpprime_y_zero_transquant_bypass_flag」)，其容许残留数据被无损地包括于比特流中(亦即，未被变换、量化或进一步过滤)。于4：2：0方案中，该旗标应用于所有频道。

因此，此类实施例代表视频编码或解码方法、设备或程序，其中亮度样本及色彩样本被预测且介于样本与各自的预测样本之间的差异被编码，利用一种指示器，其被被配置为指示亮度差异数据是否被无损地包括于输出比特流中；并独立地指示色彩差异数据是否无损地被包括于比特流中。例如，控制器343可***这种或这些标记(或分别为指示器)。

于一实施例中，已提议其用于亮度频道之旗标对于色度频道是分离的。因此，针对4：2：2方案，此类旗标应被分离地提供给亮度频道及给色度频道，而针对4：4：4方案，此类旗标应被分离地提供给亮度及色度频道；或者一旗标被提供给该三个频道的每一个。如此认知其关联于4：2：2及4：4：4技术的增加的色度数据率，并启用(例如)无损的亮度数据连同压缩的色度数据。

针对预测内编码，模式取决的方向性变换(MDDT)容许针对一TU的水平或垂直ICT(或两ICT)被取代以整数正弦变换，根据内预测方向。于4：2：0方案中，此未被应用于色度TU。然而，于一实施例中，提议将其应用于4：2：2及4：4：4色度TU，注意其IST目前仅被定义于4样本变换维度(水平地或垂直地)，而因此目前无法被垂直地应用于4×8色度TU。MDDT将被进一步讨论如下。

于视频编码的方法中，各种实施例可被配置以指示亮度差异数据是否被无损地包括于输出比特流中；并独立地指示色彩差异数据是否被无损地包括于比特流中、及编码或包括相关数据于由此类指示所定义的形式中。

量化

于4：2：0方案中，针对色彩的量化计算相同于针对亮度的量化计算。仅有量化参数(QP)有差异。

针对色彩的QP被计算自亮度QP如下：

Qp_Cb＝scalingTable[Qp_luminance+chroma_qp_index_offset]

Qp_Cr＝scalingTable[Qp_luminance+second_chroma_qp_index_offset]

其中定标表(scaling table)被定义如图29A或29B中所见者(各自针对4：2：0及4：2：2)，且「chroma_qp_index_offset」及「second_chroma_qp_index_offset」被定义于图形参数组中且针对Cr及Cb为相同的或不同的。换言之，方形括号中的值于各情况下将一「指标」定义入定标表(图29A和B)且定标表接着给定Qp(「值」)的修订值。

注意：「chroma_qp_index_offset」及「second_chroma_qp_index_offset」可另被各自地称为cb_qp_offset及cr_qp_offset。

色彩频道通常含有较亮度更少的信息，而因此具有较小值的系数；此对于色彩QP的限制可防止所有色彩细节丧失在大量的量化等级下。

4：2：0中的QP除数关系是对数关系，以致QP的6的增加相当于除数的两倍(本说明书别处所讨论的量化步进尺寸，虽然注意到其可在使用前由Q矩阵所进一步修改)。因此在51-39＝12的定标表中的最大差异代表除数的4的因子的改变。

然而，于一实施例中，针对4：2：2方案，其潜在地含有4：2：0方案中的色度信息的两倍，定标表中的最大色彩QP值可被升高至45(亦即，除数的一半)。类似地针对4：4：4方案，定标表中的最大色彩QP值可被升高至51(亦即，相同的除数)。于此情况下，定标表在效果上是多余的，但可仅被保留以供操作上效益(亦即，以致***以针对各方案的相同方式参考表而工作)。因此，更一般地，于一实施例中，色度QP除数响应于编码方案(相对于4：2：0方案)中的信息量而被修改。

因此，实施例应用于一种视频编码或解码方法，其可操作以依据一定义量化步进尺寸的选定的量化参数而量化4：4：4或4：2：2格式之频道变换的亮度和色彩成分视频数据的区块。量化参数关联(诸如，例如，图29A或29B中的适当表格)被定义于亮度与色彩量化参数之间，其中该关联使得最大色彩量化步进尺寸小于针对4：2：2格式(例如45)的最大亮度量化步进尺寸，但等于针对4：4：4格式(例如51)的最大亮度量化步进尺寸。量化程序操作以使得频率变换的数据的各成分被除以从各自的量化步进尺寸所取得的各自的值，且其结果被舍入至整数值，以产生已量化空间频率数据的相应区块。

应理解其除法及舍入步骤指示一般性量化阶段的范例，依据各自的量化步进尺寸(或从其取得的数据，例如，藉由Q矩阵之应用)。

实施例包括选择用以量化空间频率系数的量化参数或指数(亮度的QP)的步骤，该量化参数作用为依据可应用于亮度数据的QP表之一组量化步进尺寸的各自的参考。定义量化参数关联的程序于是可包括：针对色彩成分，依据选定量化参数以参考已修改量化参数的表(诸如图29A和29B的表)，其因而可涉及(i)针对第一色彩成分，将第一补偿(诸如chroma_qp_index_offset)加至量化参数并选择相应于该条目(于该表中)的已修改量化指数，针对量化指数加上第一补偿；及(ii)针对第二色彩成分，将第二补偿(诸如second_chroma_qp_index_offset)加至量化参数并选择相应于该条目(于该表中)的已修改量化指数，针对量化指数加上第二补偿；及依据亮度数据及第一和第二色彩成分的第一和第二已修改量化指数以参考该组中之各自的量化步进尺寸。以不同方式来看，此为一涉及选择用以量化空间频率系数的量化参数的程序的范例，该量化参数作用为对于一组量化步进尺寸的各自的参考；且其中定义步骤包括：针对色彩成分，依据选定量化参数以参考已修改量化参数的表，参考步骤包括：针对各色彩成分，将各自的补偿加至量化参数并选择相应于该条目(于该表中)的已修改量化指数，针对量化指数加上各自的补偿；及依据亮度数据及第一和第二色彩成分的第一和第二已修改量化参数以参考该组中的各自的量化步进尺寸。

这些技术特别可应用于其中该组中的量化步进尺寸的连续值为对数相关的配置，以致m(其中m为整数)的量化参数的改变代表具有p(其中p为大于1的整数)的因子的量化步进尺寸的改变。于本实施例中，m＝6而p＝2。

于实施例中，如以上所讨论，最大亮度量化参数针对4：2：2格式为45；而最大色彩量化参数针对4：4：4格式为51。

于实施例中，第一和第二补偿可关联于已编码视频数据而被传递。

于4：2：0中，变换矩阵A被初始地产生(藉由变换单元340)自那些真实正规化的N×N DCT A’，其使用：

A_{ij} = int (64 \times \sqrt{N} \times {A^{'}}_{ij})

其中i和j指示矩阵中的位置。此相对于正规化变换矩阵的定标提供了精确度之增加，避免分数计算的需求并增加内部精确度。

忽略由于Aij之舍入的差异，因为X被乘以A及A^T(矩阵A的换位)两者，故所得的系数不同于真实正规化的M×N(M＝高度；N＝宽度)DCT之那些系数，藉由以下共同定标因子：

(64 \times \sqrt{N}) (64 \times \sqrt{M}) = 4096 \sqrt{N} \sqrt{M}

注意：共同定标因子可不同于此范例。亦注意：矩阵乘以A及A^T两者可被执行以各种方式，诸如所谓的蝴蝶(Butterfly)方法。重要的事实是：其被执行的操作是否等同于传统的矩阵相乘，而非其是否被履行以一特定的传统操作顺序。

此定标因子等同于二元左移位元操作以位transformShift的数目，因为于HEVC中此导致2的羃次：

transformShift＝(12+0.5log₂(N)+0.5log₂(M))

为了减少对于内部位精确度之要求，这些系数被右移(使用正舍入)两次于变换程序期间：

shift1＝log₂(N)+bitDepth-9

shift2＝log₂(M)+6

结果，这些系数(随着其离开前向变换程序并进入量化器)被有效地左移以：

resultingShift＝(12+0.5log₂(NM))-(shift1+shift2)

＝(12+0.5log₂(N)+0.5log₂(M))-(log₂(N)+bitDepth-9+log₂(M)+6)

＝15-(0.5log₂(N)+0.5log₂(M)+bitDepth)

于4：2：0中，由频率变换所产生的频率分离(例如，DCT)系数为(2^{resultingShift})的因子大于其正规化DCT所将生成的系数。

于某些实施例中，区块为方形的或者为具有2：1宽高比的矩形的。因此，针对N×M的区块尺寸，任何：

N＝M，于此情况下，resultingShift为整数且S＝N＝M＝sqrt(NM)；或者

0.5N＝2M或2N＝0.5M，于此情况下resultingShift仍为整数且S＝sqrt(NM)

resultingShift＝15-(0.5log₂(N)+0.5log₂(M)+bitDepth)＝15-(log₂(S)+bitDepth)

这些系数被接续地量化，其中量化除数依据量化参数QP而被取得。

注意：resultingShift等同于一整数，所以共同定标因子为2的整数羃次，变换程序的整体左移「resultingShift」亦被考虑于此阶段，藉由应用一相等但相反的右移「quantTransformRightShift」。

此位移位操作是可能的，因为resultingShift为一整数。

同时注意：除数-QP(量化参数或指数)关是依循基于2羃次曲线，如以上所述，其中QP增加6具有除数变两倍的效果，而QP增加3具有增加除数sqrt(2)(2之平方根)的因子的效果。

由于4：2：2的色度格式，有更大的TU宽度：高度(N：M)比：

N＝M(来自先前)其中S＝N＝M＝sqrt(NM)(resultingShift为整数

0.5N＝2M及2N＝0.5M(来自先前)其中S＝sqrt(NM)(resultingShift为整数

N＝2M 其中S＝sqrt(NM)

2M＝N 其中S＝sqrt(NM)

4N＝0.5M 其中S＝sqrt(NM)

resultingShift＝15-(log₂(S)+bitDepth)

于这后三者情况下，resultingShift不是整数。例如，此可适用于其中视频数据样本的至少一些区块包括M×N样本，其中N/M之平方根不等于2的整数羃次。此类区块尺寸可针对色度样本而发生于某些本实施例中。

因此，于此类例子中，下列技术是相关的，亦即，于视频编码或解码方法、设备或程序，其可操作以藉由在视频数据样本上履行频率变换而产生已量化空间频率数据的区块，使用一包括各针对正规化变换矩阵(藉由取决于变换矩阵之维度的量)的各自的值而被定标的整数值数组之变换矩阵；及依据选定量化步进尺寸以量化空间频率数据，其具有藉由对区块进行矩阵乘法乘以变换矩阵以及变换矩阵的换位而进行频率变换的步骤，来产生各以共同定标因子(例如，resultingShift)大于空间频率系数(其将得自视频数据样本的区块的正规化频率变换)的已定标空间频率系数的区块。

因此在量化阶段，一适当的位移位操作无法被使用来取消该操作以简单的方式。

针对此提议一解决方式如下：

在量化器阶段，应用右移：

quantTransformRightShift＝15–log2(S’)–bitDepth

其中值S’被取得以致

resultingShift-quantTransformRightShift＝+1/2

quantTransformRightShift为整数

介于1/2的移位之间的差异等同于乘以sqrt(2)，亦即，在此时刻，系数为大于其应该者的sqrt(2)倍，使得该位移位为整数字元移位。

对于量化程序，应用(QP+3)的量化参数，表示量化除数被有效率地增加sqrt(2)的因子，因而从先前步骤消除sqrt(2)定标因子。

因此，这些步骤可被总结，于视频编码或解码方法(或者相应的设备或程序)的背景，其可操作以藉由在视频数据样本的区块上履行频率变换而产生已量化空间频率数据的区块，使用一包括各针对正规化变换矩阵之各自的值而被定标的整数值数组之变换矩阵；及依据选定量化步进尺寸以量化空间频率数据，其涉及藉由对区块进行矩阵乘法乘以变换矩阵以及变换矩阵的换位而频率变换视频数据样本的区块，来产生各以共同定标因子大于空间频率系数(其将得自视频数据样本的区块的正规化频率变换)，如下：选择用以量化空间频率系数的量化步进尺寸；应用n位移位(例如，quantTransformRightShift)以将已定标空间频率系数的每一个除以2ⁿ的因子，其中n为整数；及检测残留定标因子(例如，resultingShift-quantTransformRightShift)，其为除以2ⁿ之共同定标因子。例如，于以上所讨论的情况下，量化步进尺寸于是依据残留定标因子以产生修改的量化步进尺寸；且区块中之已定标空间频率系数的每一者被除以一取决于已修改量化步进尺寸的值并将该结果舍入至整数值，以产生已量化空间频率数据的区块。如以上所讨论，量化步进尺寸的修改可仅藉由将一补偿加至QP而被执行，以选择不同的量化步进尺寸，当QP被映射入量化步进尺寸的表时。

系数现在是原始QP的正确大小。

变换矩阵可包括整数值的数组，其各针对正规化变换矩阵之各自的值而被定标以一取决于该变换矩阵之维度的量。

可得知其S’的所需值可总是被取得如下：

S’＝sqrt(2*M*N)

当作一替代提议，S’可被取得以致：

resultingShift-quantTransformRightShift＝-1/2

于此情况下，S’＝sqrt(1/2*M*N)，且已应用的量化参数为(QP-3)。

于这些情况的任一者下，(将3加至QP或从QP减去3)，选择量化步进尺寸的步骤包括选择量化指数(例如，QP)，量化指数定义量化步进尺寸的表中的各自的条目，而修改步骤包括改变量化指数以选择不同的量化步进尺寸，以致不同量化步进尺寸相对于原始选择的量化步进尺寸的比实质上等于残留定标因子。

此特别地良好工作于其中(如于本实施例中)该表中的量化步进尺寸的值为对数相关的，以致m的量化指数(例如，QP)的改变代表量化步进尺寸的改变以p的因子(其中p为大于1的整数)。于本实施例中，m＝6而p＝2，以致QP的6的增加代表所应用的量化步进尺寸的两倍，而QP的6的减少代表所得量化步进尺寸的一半。

如以上所讨论，修改可藉由：选择关于亮度样本的量化指数(例如，基础QP)；针对色彩成分的每一个或两者的样本产生量化指数补偿(相对于针对亮度样本所选择的量化指数)；依据残留定标因子以改变量化指数补偿；及传递与已编码视频数据相关的量化指数补偿。于HEVC的实施例中，针对两色度频道的QP补偿被传送于比特流中。这些步骤相应于一***，其中+/-3的QP补偿(以因应残留定标因子)可被结合入这些补偿内，或者当用于取得色度QP时其可被递增/递减。

注意：假如使用不同形状区块的话QP补偿不一定要是+/-3；只是+/-3代表一可应用于以上关于4：2：2视频(举例而言)所讨论的区块形状及宽高比的补偿。

于某些实施例中，n(如所应用的位移位)被选择以致2ⁿ大于或等于共同定标因子。于其他实施例中，n被选择以致2ⁿ小于或等于共同定标因子。于实施例(使用这些配置的任一个)中，位移位n可被选择以成为次接近(于任一方向)于共同定标因子，以致残留定标因子代表一具有小于2的大小的因子。

于其他实施例中，量化步进尺寸的修改可仅藉由将量化步进尺寸乘以一取决于残留定标因子的因子来履行。亦即，此修改无需涉及指数QP的修改。

亦注意：所讨论的量化步进尺寸不一定是已变换样本所被分割的实际量化步进尺寸。以此方式所取得的量化步进尺寸可被进一步修改。例如，于某些配置中，量化步进尺寸由值的矩阵(Q矩阵)中的各自的条目所进一步修改，以致不同的最终量化步进尺寸被用于系数之已量化区块中的不同系数位置上。

亦值得注意的：于4：2：0方案中，最大色度TU为16×16，而针对4：2：2方案则16×32TU是可能的；以及针对4：4：4方案，32×32色度TU是可能的。因此，于本公开的一实施例中，提议针对32×32色度TU的量化矩阵(Q矩阵)。类似地，Q矩阵应被定义给非方形TU，诸如16×32TU，以其一实施例为较大方形Q矩阵之次取样

Q矩阵可由下列的任一个来定义：

栅格中的值(针对4×4及8×8Q矩阵)；

空间地内插自各个较小或较大的矩阵；

-于HEVC中，较大的Q矩阵可被取得自较小参考者的系数的各自的族群，或者较小的矩阵可被次取样自较大的矩阵。注意：此内插或次取样可被执行于一频道比之内─例如，针对一频道比的较大矩阵可被内插自针对该频道比的较小者。

相对于其他Q矩阵(亦即，差异值、或差量)；

-因此仅有这些差量需被传送。

仅为阐明的目的举一小范例，针对一频道比的特定矩阵可被定义，诸如关于4：2：0的4×4矩阵

(a b)

(c d)

其中a,b,c及d为各自的系数。此作用为参考矩阵。

本公开的实施例可接着针对关于另一频道比之类似尺寸矩阵定义一组差异值：

(diff1 diff2)

(diff3 diff4)

以致为了产生针对其他频道比之Q矩阵，差异的矩阵被矩阵相加至参考矩阵。

取代差异，多重因子的一矩阵可针对其他频道比而被定义，以使得(i)多重因子的矩阵被矩阵相乘与参考矩阵而产生针对其他频道比之Q矩阵，或(ii)参考矩阵中的各系数被独立地乘以各自的因子以产生针对其他频道比之Q矩阵。

当作另一Q矩阵的函数；

-例如，相对于另一矩阵的定标比(以致上述范例中之a,b,c及d的每一个被乘以相同的因子，或者具有加入该数的相同差异)。如此减少用以传输差异或因子数据的数据需求。

-因此，仅有这些函数的系数需被传送(诸如定标比)，

当作一等式/函数(例如，块状线性曲线、指数、多项式)；

-因此，仅有这些等式的系数需被传送以取得该矩阵，

或者任何上述的组合。例如，a,b,c及d的每一个可事实上由一函数所定义，该函数可包括根据该矩阵内的系数位置(i,j)的相关性。(i,j)可代表(例如)从左至右的系数位置，接续以从矩阵之顶部至底部的系数位置。一范例为：

系数_i,j＝3i+2j

注意：Q矩阵可被称为HEVC环境内的定标表列。于其中在扫描程序后施加等化的实施例中，扫描数据可为连续数据样本的线性流。于此类例子中，Q矩阵的概念仍适用，但矩阵(或扫描表列)可被视为1×N矩阵，以致1×N矩阵内之N数据值的顺序相应于扫描样本(各自的Q矩阵值将被应用于这些样本)之顺序。换言之，扫描数据(一具扫描型态的空间频率)中的数据顺序与1×N Q矩阵中的数据顺序之间有1：1的关系。

注意：于某些实施方式中，有可能越过或省略DCT(频率分离)阶段，但保持量化阶段。

其他有用的信息包括这些值关于哪些其他矩阵的选择性指示器，亦即，先前频道或第一(主要)频道；例如，针对Cr的矩阵可为针对Y(或针对Cb)的矩阵的已定标因子，如所示者。

因此，本公开的实施例可提供一种视频编码或解码方法(及一种相应的设备或计算机程序)，其可操作以产生已量化的空间频率的区块，藉由(选择性地)对视频数据样本履行频率变换并量化视频数据(诸如空间频率数据)，依据选定的量化步进尺寸及一修改用于样本之一依序区块(诸如频率变换样本之依序区块)内的不同各自的位置上的量化步进尺寸的数据的矩阵，此方法可关于至少两不同色彩次取样格式而操作。

针对色彩次取样格式的至少一者，一个以上量化矩阵被定义为关于一个以上针对色彩次取样格式之一参考者所定义的参考量化矩阵之一个以上预定的修改。

于本公开的实施例中，定义步骤包括将一个以上量化矩阵定义为各内插自一参考量化矩阵之各自的复数值的值的矩阵。于其他实施例中，定义步骤包括将一个以上量化矩阵定义为各次取样自一参考量化矩阵的值的值的矩阵。

于本公开的实施例中，定义步骤包括将一个以上量化矩阵定义为关于一参考量化矩阵的相应值的差异的矩阵。

于本公开的实施例中，定义步骤包括将一个以上量化矩阵定义为一参考量化矩阵的值的预定函数。于此类例子中，预定函数可为多项式函数。

于本公开的实施例中，提供下列之一或两者，例如，当作已编码视频数据的部分或关联于已编码视频数据：(i)参考指示器数据，用以指示(关于已编码视频数据)参考量化矩阵；及(ii)修改指示器数据，用以指示(关于已编码数据值)一个以上预定修改。

这些技术特别可用于其中色彩次取样格式的两者为4：4：4及4：2：2格式。

对于各变换尺寸：3其HEVC 4：2：0中之Q矩阵的数目当前为6(针对相应的频道)，且一组针对内及一组针对间。于4：4：4GBR技术的情况下，应理解其量化矩阵的任一组可被用于所有频道，或者量化矩阵之三个各自的组可被使用。

于本公开的实施例中，这些矩阵的至少一者为1×N矩阵。此将为其中这些矩阵之一个以上者事实上为定标表列等等的情况(如文中所述者)，其为线性1×N阶的系数数组。

已提议的解决方式涉及递增或递减已应用的QP。然而，此可被达成以数个方式：

于HEVC中，两个色度频道的QP补偿被传送于比特流中。+/-3可被结合入这些补偿中，或者其可被递增/递减在当其被用以取得色度QP时。

如以上所讨论，于HEVC中，(亮度QP+色度补偿)被使用为对于一用来取得色度QP的表的指标。此表可被修改以结合+/-3(亦即，藉由将原始表的值递增/递减3)。

在色度QP已被取得的后，有关正常HEVC程序，其结果可接着被递增(或递减)3。

当作修改QP之替代方式，sqrt(2)或1/sqrt(2)可被用以修改量化系数。

针对前向/反向量化，除/乘程序藉由使用(QP％6)为对于一表的指标而实施，来获得量化系数或量化步进尺寸，inverseQStep/scaledQstep。(于此，QP％6表示QP模数6)。注意：如以上所讨论，此可不代表其被应用于已变换数据的最终量化步进尺寸；其可在使用前由Q矩阵进一步修改。

HEVC中的预设表为长度6，涵盖值之倍数(双倍)。此仅为减少储存需求之手段；这些表针对实际使用而被延伸，藉由依据QP之模数(mod6)以选择表中的条目并接着乘以或除以2的适当羃次，取决于来自预定基础值的差异(QP–QP模数6)。

此配置可被改变以容许QP值中的+/-3的补偿。该补偿可被应用于表查找程序，或者以上所讨论之模数程序可使用已修改QP而取代地被执行。假设补偿被应用于表查找上，然而，该表中的额外条目可被提供如下：

一替代方式为将这些表3延伸个条目，其中新的条目为如下(针对6-8的指数值)。

图30中所示的范例表将由[(QP％6)+3]来索引(一种「QP递增方法」)，其中代号QP％6系表示「QP模数6」。

图31中所示的范例表将由[(QP％6)-3]来索引(一种「QP递减方法」)，其具有针对-1至-3的指针值的额外条目。

熵编码

基本熵编码包括将码字指定给输入数据符号，其中最短可用码字被指定给输入数据中的最可携符号。平均而言，此结果为输入数据的无损但更小得多的表示。

基本技术可被进一步改良，藉由得知其符号机率经常对于最近先前数据是条件性的，而因此让该指定程序为内容调适的。

于此一技术中，内容变量(CV)被用以判定各自的机率模型的选择，且此类CV被提供于HEVC 4：2：0方案。

为了延伸对4：2：2方案的熵编码，其例如针对8×8亮度TU将使用4×8色度TU而非4×4TU，选择性地其内容变量可仅藉由垂直地重复同等CV选择而被提供。

然而，于本公开的一实施例中，CV选择并未针对左上系数(亦即，高能量、DC及/或低空间频率系数)而重复，而替代地取得新的CV。于此情况下，例如，映射可被取得自亮度图。此方式亦可被用于4：4：4方案。

于编码期间，于4：2：0方案中，一种所谓的曲折扫描从高至低频率依序地扫描这些系数。然而，再次注意4：2：2方案中的色度TU可为非方形的，而因此于本公开的一实施例中，提议一种不同的色度扫描，其扫描的角度被倾斜以使其更为水平，或更一般地，响应于TU的宽高比。

类似地，重要性图CV选择的附近及大于一和大于二CV选择之c1/c2***可因此被调适。

同样地，于本公开的一实施例中，最低有效系数位置(其变为解码期间之开始点)亦可针对4：4：4而调整，其色度TU的最低有效位置不同于共同位置亮度TU中的最低有效位置而被编码。

系数扫描亦可变为取决于某TU尺寸的预测模式。因此不同扫描顺序可根据内预测模式而被用于某些TU尺寸。

于4：2：0方案中，模式取决的系数扫描(MDCS)仅被应用于4×4/8×8亮度TU及4×4色度TU，针对内预测。MDCS根据内预测模式而被使用，考虑从水平及垂直+/-4的角度。

于本公开的一实施例中，提议于4：2：2方案中，MDCS被应用于4×8及8×4色度TU，针对内预测。类似地，提议于4：4：4方案中，MDCS被应用于8×8及4×4色度TU。针对4：2：2之MDCS仅可被进行于水平或垂直方向，且角度范围可不同针对4：4：4色度vs.4：4：4亮度vs.4：2：2色度vs.4：2：2亮度vs.4：2：0亮度。

回路内过滤器

除区块(deblocking)

除区块被应用于所有CU、PU及TU边界，而CU/PU/TU形状不列入考虑。过滤器强度及尺寸取决于局部统计，而除区块具有8×8亮度像素的粒度。

因此，预期应用于4：2：0技术的当前除区块亦应可应用于4：2：2及4：4：4方案。

样本调适补偿

于样本调适补偿(SAO)中，各频道是完全独立的。SAO使用四倍树以***各频道的图像数据，且所得的区块尺寸为至少一LCU。叶区块被对齐于LCU边界且各叶可运作于三个模式之一，如由编码器所决定者(「中央频带补偿」、「侧边频带补偿」或「边缘补偿」)。各叶分类其像素，且编码器针对16个类别的每一个取得补偿值，藉由将SAO输入数据比较与源数据。这些补偿被传送至解码器。针对已解码像素之类别的补偿被加至其值以将其与来源之偏移最小化。

此外，SAO被启用或禁用于图形等级；假如针对亮度而启用，其亦可针对各色度频道而被分离地启用。SAO因此将被应用于色度仅于其被应用于亮度的话。

因此，此程序对于重要的区块技术是极透明的且预期应用于4：2：0技术的当前SAO亦应可应用于4：2：2及4：4：4方案。

调适回路过滤

于4：2：0方案中，调适回路过滤(ALF)是预设为禁用的。然而，理论上(亦即，假如容许的话)则ALF将被应用于色度之整个图形。

于ALF中，亮度样本可被分类为数个类别之一，如由HEVC文件所判定者；各类别使用不同之威能(Wiener)为基的过滤器。

反之，于4：2：0中，色度样本未被分类-仅有一个威能为基的过滤器用于Cb，及一个用于Cr。

因此，于本公开的一实施例中，由于4：2：2及4：4：4方案中之增加的色度信息，提议其色度样本被分类，例如K类别于4：2：2及J类别于4：4：4。

虽然于4：2：0方案中ALF可使用ALF控制旗标而针对亮度被禁用以每CU的基础(向下至其由ALF控制深度所指明的CU等级)，但其仅可针对色度被禁用以每图形的基础。注意：于HEVC中，此深度目前被限制仅于LCU等级。

因此，于本公开的一实施例中，4：2：2及4：4：4方案被提供以针对色度之一或二频道特定的ALF控制旗标。

语法

于HEVC中，语法已提出以指示4：2：0、4：2：2或4：4：4方案，且被指示于序列等级。然而，于本公开的一实施例中，提议亦指示4：4：4GBR编码于此等级。

数据信号

应理解其由以上讨论的编码设备的变异所产生的数据信号(及携载此类信号之储存或传输媒体)被视为代表本公开的实施例。

通过以下多个条款，限定本技术的至少实施例的各种方面和特征：

1.一种视频编码或解码方法，其中，根据与要预测的取样的区块相关的预测方向，从其他各个取样中预测在4:4:4格式或4:2:2格式中的亮度取样和色彩取样；

所述方法包括：

相对于要预测的当前区块，检测预测方向；

根据由预测方向限定的其他色彩取样，生成色彩取样的预测区块；

如果所检测的预测方向基本上垂直，那么过滤在色彩取样的预测区块中的左列取样，或者如果所检测的预测方向基本上水平，那么过滤在色彩取样的预测区块中的顶行取样；并且

将在所过滤的预测色度区块与实际色度区块之间的差异编码，或者将解码的差异应用于所过滤的预测色度区块中，以便分别将区块编码或解码。

2.根据条款1所述的方法，其中，在所检测的预测方向基本上垂直的情况下，所述过滤步骤包括使用水平定向的过滤器过滤左列取样。

3.根据条款2所述的方法，其中，所述过滤步骤包括仅仅过滤左列取样。

4.根据条款1所述的方法，其中，在所检测的预测方向基本上水平的情况下，所述过滤步骤包括使用垂直定向的过滤器过滤顶行取样。

5.根据条款4所述的方法，其中，所述过滤步骤包括仅仅过滤顶行取样。

6.根据前述条款中任一项所述的方法，包括以下步骤：

表示在输出比特流中是否无损地包含亮度差异数据；以及

单独地表示在比特流中是否无损地包含色度差异数据。

7.根据前述条款中任一项所述的方法，其中：

所述亮度取样和色彩取样具有4:4:4格式并且设置为多个编码单元，每个编码单元包括亮度取样和色彩取样的区块；以及

所述检测步骤被配置为相对于当前预测单元，检测预测方向，所述当前预测单元是至少表示各个编码单元的子集的亮度或色彩取样的区块。

8.根据条款7所述的方法，包括以下步骤：

对于特定的编码单元，选择一个或多个预测单元的尺寸和形状，每个预测单元包括该编码单元的亮度取样和色彩取样，预测单元的尺寸和形状的选择与亮度取样和色彩取样相同；

9.一种视频编码或解码方法，其中，预测亮度取样和色彩取样，并且将在取样与各个预测取样之间的差异编码，所述方法包括以下步骤：

表示在输出比特流中是否无损地包含亮度差异数据；以及

单独地表示在比特流中是否无损地包含色度差异数据。

10.一种视频编码或解码方法，其中，具有4:4:4格式的亮度取样和色彩取样被设置为多个编码单元，每个编码单元包括亮度取样和色彩取样的区块；所述方法包括：

对于特定的编码单元，选择一个或多个预测单元的尺寸和形状，每个预测单元包括至少该编码单元的子集的亮度或色彩取样，预测单元的尺寸和形状的选择与亮度取样和色彩取样相同；

相对于每个预测单元，检测预测方向；以及

根据由预测方向限定的其他取样，生成取样的预测区块。

11.一种计算机软件，在由计算机执行时，其促使计算机执行根据前述条款中任一项所述的方法。

12.一种机器可读非易失性储存介质，其储存根据条款11所述的软件。

13.一种数据信号，其包括根据条款1到10中任一项所述的方法生成的编码数据。

14.一种视频编码或解码设备，其中，根据与要预测的取样的区块相关的预测方向，从其他各个取样中预测在4:4:4格式或4:2:2格式中的亮度取样和色彩取样；

所述设备包括：

检测器，其被配置为相对于要预测的当前区块，检测预测方向；

生成器，其被配置为根据由预测方向限定的其他色彩取样，生成色彩取样的预测区块。

过滤器，其被配置为如果所检测的预测方向基本上垂直，那么所述过滤器被配置为过滤在色彩取样的预测区块中的左列取样，或者如果所检测的预测方向基本上水平，那么所述过滤器被配置为过滤在色彩取样的预测区块中的顶行取样；以及

编码器，其被配置为将在所过滤的预测色度区块与实际色度区块之间的差异编码，或者将解码的差异应用于所过滤的预测色度区块中，以便分别将区块编码或解码。

15.一种视频编码或解码设备，其中，预测亮度取样和色彩取样，并且将在取样与各个预测取样之间的差异编码，所述设备包括：

指示器，其被配置为表示在输出比特流中是否无损地包含亮度差异数据；以及单独地表示在比特流中是否无损地包含色度差异数据。

16.一种视频编码或解码设备，其中，具有4:4:4格式的亮度取样和色彩取样被设置为多个编码单元，每个编码单元包括亮度取样和色彩取样的区块；所述方法包括：

选择器，其被配置为对于特定的编码单元，选择一个或多个预测单元的尺寸和形状，每个预测单元包括至少该编码单元的子集的亮度或色彩取样，预测单元的尺寸和形状的选择与亮度取样和色彩取样相同；

检测器，其被配置为相对于每个预测单元，检测预测方向；以及

生成器，其被配置为根据由预测方向限定的其他取样，生成取样的预测区块。

通过以下多个条款，限定本技术的至少实施例的各种进一步的方面和特征：

所述方法包括：

相对于要预测的当前区块，检测预测方向；

将在所过滤的预测色度区块与实际色度区块之间的差异编码。

6.根据前述条款中任一项所述的方法，包括以下步骤：

表示在输出比特流中是否无损地包含亮度差异数据；以及

单独地表示在比特流中是否无损地包含色度差异数据。

7.一种视频编码或解码方法，其中，预测亮度取样和色彩取样，并且将在取样与各个预测取样之间的差异编码，所述方法包括以下步骤：

表示在输出比特流中是否无损地包含亮度差异数据；以及

单独地表示在比特流中是否无损地包含色度差异数据。

8.一种计算机软件，在由计算机执行时，其促使计算机执行根据前述条款中任一项所述的方法。

9.一种机器可读非易失性储存介质，其储存根据条款8所述的软件。

10.一种数据信号，其包括根据条款1到7中任一项所述的方法生成的编码数据。

11.一种视频编码或解码设备，其中，根据与要预测的取样的区块相关的预测方向，从其他各个取样中预测在4:4:4格式或4:2:2格式中的亮度取样和色彩取样；

所述设备包括：

编码器，其被配置为将在所过滤的预测色度区块与实际色度区块之间的差异编码。

12.一种视频编码或解码设备，其中，预测亮度取样和色彩取样，并且将在取样与各个预测取样之间的差异编码，所述设备包括：

在本发明的实施例已被描述为(至少部分地)由软件控制的数据处理设备所实施的范围内，应理解其携载此类软件(诸如光盘、磁盘、半导体内存等)亦被视为代表本发明的实施例。

很清楚，本发明的各种修改及变异根据上述教导是可能的。因此应了解在后附条款之范围内，此技术可被实行以如文中所明确描述者之外的方式。

Claims

1.一种视频解码方法，其中，亮度取样和色彩取样被设置为多个编码单元，每个编码单元包括亮度取样和色彩取样的区块；所述方法包括：

对于特定的编码单元，选择一个或多个预测单元的尺寸和形状，每个预测单元包括来自至少该编码单元的子集的亮度或色彩取样，预测单元的尺寸和形状的选择对于亮度取样和色彩取样相同；

相对于每个预测单元，检测预测方向；以及

根据由所述预测方向限定的其他取样，生成取样的预测区块。

2.根据权利要求1所述的方法，所述方法包括：

如果所检测的预测方向基本上垂直，那么过滤在色彩取样的所述预测区块中的左列取样，或者如果所检测的预测方向基本上水平，那么过滤在色彩取样的所述预测区块中的顶行取样；以及

将解码差异应用于所过滤的预测色度区块中，以便将区块编码。

3.根据权利要求2所述的方法，其中，在所检测的所述预测方向基本上垂直时，所述过滤步骤包括使用水平定向的过滤器过滤左列取样。

4.根据权利要求3所述的方法，其中，所述过滤步骤包括仅仅过滤左列取样。

5.根据权利要求2所述的方法，其中，在所检测的所述预测方向基本上水平的情况下，所述过滤步骤包括使用垂直定向的过滤器过滤顶行取样。

6.根据权利要求5所述的方法，其中，所述过滤步骤包括仅仅过滤顶行取样。

7.根据权利要求1所述的方法，所述方法包括：

过滤在取样的所述预测区块中的左列取样和/或在取样的所述预测区块中的顶行取样。

8.根据权利要求7所述的方法，其中，在生成预测取样(作为周围取样的取样算术平均值)的DC模式中，过滤步骤包括

过滤在取样的所述预测区块中的左列取样以及在取样的所述预测区块中的顶行取样。

9.根据权利要求7所述的方法，其中：

所述亮度取样表示一个亮度成分，并且各个色彩取样表示两个色度成分；以及

将过滤步骤应用于这三个成分中，所述子集是这三个成分中的任一个或两个。

10.根据权利要求9所述的方法，其中，所述子集可包括亮度成分。

11.根据前述权利要求中任一项所述的方法，其中，每个视频图像进行编码，以便图像的色样取样的预测模式与适用于相应的亮度取样的预测模式相同。

12.根据前述权利要求中任一项所述的方法，其中：

所述亮度取样和色彩取样被设置为多个编码单元，每个编码单元包括亮度取样和色彩取样的区块；以及

所述预测单元是至少表示各个编码单元的子集的亮度或色彩取样的区块。

13.根据前述权利要求中任一项所述的方法，其中，所述取样具有视频格式，其中，所述色彩取样与所述亮度取样具有相同的取样速率。

14.根据权利要求13所述的方法，其中，所述视频格式是4:4:4格式。

15.根据权利要求1到12中任一项所述的方法，其中，所述视频格式是4:2:2或4:2:0格式。

16.一种视频编码方法，其中，亮度取样和色彩取样被设置为多个编码单元，每个编码单元包括亮度取样和色彩取样的区块；所述方法包括：

对于特定的编码单元，选择一个或多个预测单元的尺寸和形状，每个预测单元包括至少该编码单元的子集的亮度或色彩取样，预测单元的尺寸和形状的选择对于亮度取样和色彩取样相同；

相对于每个预测单元，检测预测方向；以及

根据由预测方向限定的其他取样，生成取样的预测区块。

17.根据权利要求16所述的方法，所述方法包括：

将在所过滤的预测色度区块与实际的色度区块之间的差异编码。

18.一种计算机软件，在由计算机执行时，使计算机执行根据前述权利要求中任一项所述的方法。

19.一种机器可读非易失性储存介质，储存根据权利要求18所述的软件。

20.一种数据信号，包括根据权利要求1到17中任一项所述的方法生成的编码数据。

21.一种视频编码设备，其中，亮度取样和色彩取样被设置为多个编码单元，每个编码单元包括亮度取样和色彩取样的区块；所述方法包括：

选择器，被配置为对于特定的编码单元，选择一个或多个预测单元的尺寸和形状，每个所述预测单元包括至少该编码单元的子集的亮度取样或色彩取样，预测单元的尺寸和形状的选择对于亮度取样和色彩取样相同；

检测器，被配置为相对于每个预测单元，检测预测方向；以及

生成器，被配置为根据由所述预测方向限定的其他取样，生成取样的预测区块。

22.一种视频解码设备，其中，亮度取样和色彩取样被设置为多个编码单元，每个编码单元包括亮度取样和色彩取样的区块；所述方法包括：

选择器，被配置为对于特定的编码单元，选择一个或多个预测单元的尺寸和形状，每个所述预测单元包括至少该编码单元的子集的亮度取样或色彩取样，预测单元的尺寸和形状的选择与亮度取样和色彩取样相同；

23.一种视频储存、捕捉、传输或接收设备，其包括根据权利要求21或22所述的设备。