CN109417625A - 用于帧内编码的基于控制点的帧内方向表示 - Google Patents

Abstract

所描述的是针对用于编码视频比特流的基于控制点的帧内模式的***和方法。在一个例示实施例中，画面中的至少两个控制点将被选择。作为示例，这些控制点是位于或邻近当前块的两个或更多拐角的点。针对每一个控制点，识别与之关联的帧内预测方向。该帧内预测方向可被编码在比特流中，例如使用差分编码。基于与控制点相对的像素(或块)的位置来***所推导的帧内预测方向，并且使用所推导的帧内预测方向来预测视频中的一个或多个采样。诸如三角插值或双线性插值之类的不同插值技术都是可以使用的。

Description

用于帧内编码的基于控制点的帧内方向表示

相关申请的交叉引用

本申请是2016年5月5日提交的名为“利用基于控制点的帧内预测表示来进行帧内编码的***及方法(SYSTEMS AND METHODS FOR INTRA CODING WITH CONTROL-POINTBASED INTRA DIRECTION REPRESENTATION)”且序列号为62/332,357的美国临时专利申请的非临时申请，并且要求根据35U.SC§119(c)而享有其权益，所述申请在这里被全部引入以作为参考。

背景技术

视频编码***被广泛用于压缩数字视频信号，以便减小此类信号的存储需求和/或传输带宽。在各种类型的视频编码***中(例如基于块、基于小波和基于对象的***)，现在最被广泛使用和部署的是基于块的混合视频编码***。关于基于块的视频编码***的示例包括国际视频编码标准，例如MPEG1/2/4part 2、H.264/MPEG-4part 10AVC、VC-1、以及由ITU-T/SG16/Q.6/VCEG和ISO/IEC/MPEG的JCT-VC(视频编码联合协作组)开发的名为高效视频编码(HEVC)的最新视频编码标准。

HEVC标准的第一个版本于2013年10月完成，与前一代视频编码标准H.264/MPEGAVC相比，其节省了大约50％的比特率或是提供了等效的感知质量。虽然HEVC标准相对于其前身而言提供了显著的编码改进，但是有证据表明，通过使用附加的编码工具，可以实现超越HEVC的更高编码效率。近来，VCEG和MPEG全都启动了有关新的编码技术的探索性工作，以便将未来的视频编码标准化。在2015年10月，ITU-T VECG和ISO/IEC MPEG组建了联合视频探索小组(JVET)，由此开始对与HEVC相比能够极大增强编码效率的先进技术进行重要研究。同月，针对未来的视频编码探索工作，还建立了名为联合探索模型(JEM)的软件代码库。该JEM参考软件以JCT-VC为HEVC开发的HEVC测试模型(HM)为基础。编码工具方面的最新进展可被集成在JEM软件中，并且经历了使用JVET通用测试条件(CTC)所做的测试。对于数字视频***的消费者和供应方来说，用于编码视频数据以进一步减小存储和带宽需求的改进***和方法是其所期望的。

发明内容

在这里公开了基于预测方向的控制点表示来执行帧内编码的***和方法。所提出的***和方法可以在不增大用信号通告块分区和帧内预测模式的开销的情况下，通过提升帧内预测方向的精度来提升帧内编码效率。在例示方法中，位于视频块内部的采样(sample)的帧内预测方向是从用于当前块的一组控制帧内预测方向导出的。此外还可以用信号通告一个标记来指示是否启用基于控制点的帧内预测。如果启用了基于控制点的帧内预测，则可以将用于当前块的控制点的帧内模式传送到解码器，并且从控制点的帧内方向推导出位于块的内部的采样的帧内模式。如果当前块中的采样的纹理改变方向，那么基于控制点的帧内预测可以为所述块内部的采样提供良好的帧内预测方向估计。基于控制点的帧内预测***和方法可以使用相对较大的帧内编码单元(CU)和预测单元(PU)，由此减小了用于用信号通告CU/PU分区和帧内方向信息的开销。

在这里提供了用于编码和/或解码(统称为“编码”)比特流中的视频的例示方法，其中所述视频包括多个帧，每一个帧都包括采样块。在一个例示方法中，至少针对当前块而言，至少为第一控制点识别第一帧内方向以及为第二控制点识别第二帧内方向。对于当前块中的至少一个当前采样来说，作为示例，该采样的帧内预测方向是以所述第一帧内方向和所述第二帧内方向为基础通过插值导出的，并且所述采样是用使用了所导出的帧内预测方向的帧内预测来预测的。所述插值可以使用双线性插值、三角插值或其他插值技术来执行。在一些实施例中，帧内预测方向的插值处理进一步以第三控制点的第三帧内方向为基础。在一些实施例中，在比特流中会用信号通告至少第一控制点和第二控制点的位置。在一些实施例中，在比特流中至少会用信号通告第一帧内预测方向。

至少第一和第二控制点可以是从包含以下各项的群组中选择的：位于所述块的左上角的第一控制点、位于所述块的右上角的第二控制点、位于所述块的左下角的第三控制点、位于所述块的右下角的第四控制点、在比特流中用信号通告的自定义控制点。在一些实施例中，位于一个或多个拐角处的控制点会被移位一个或多个像素，以便简化除法运算。

在一些实施例中，第一控制点位于当前块的左上角，第二控制点位于当前块的右上角或左下角。第二控制点的位置可以基于当前块的最可能模式列表中的帧内模式来确定。如果最可能模式中更多是水平而不是垂直的，那么所选择的第二控制点位于当前块的右上角，如果最可能模式中更多是垂直而不是水平的，那么所选择的第二控制点位于当前块的左下角。

在一些实施例中，所导出的帧内预测方向将被用于子块中的所有采样。举例来说，如果当前采样位于当前块的当前子块中，那么可以使用所导出的帧内预测方向来预测当前子块的所有采样。针对当前块的不同子块，所导出的帧内预测方向可以是不同的。

在一些实施例中，第一和第二帧内方向是从最可能模式列表中选择的，所述列表是以用于编码相邻块的帧内模式为基础确定的。

在一些实施例中，用于当前块的至少一个控制点的帧内方向被包含在用于相邻块的帧内编码处理的最可能模式列表中。

在一些实施例中，至少第二帧内方向会通过使用与第一帧内方向相对的差分编码而被编码在比特流中。

在一些实施例中，至少第一帧内方向是从与控制点相邻的模板区域中的采样导出的。

在一些实施例中，通过块级别的比特流中的标志来通告为当前块使用了基于控制点的帧内编码。

附加实施例描述了可通过操作来执行基于控制点的帧内编码的编码器和解码器。

这里的***和方法提供了用于预测像素值的新技术。编码器和解码器全都可以使用此类技术。像素预测处理会导致产生像素值，在编码方法中，该像素值可被从原始像素输入值中减去，由此确定编码在比特流中的残差。在解码方法中，从比特流中可以解码残差，并且可以将所述残差添加到预测像素值中，以便获取与原始输入像素相同或近似的重建像素。由此，至少在一些实施方式中，这里描述的预测方法会通过减少编码和解码视频所需要的比特数来改进视频编码器和解码器的操作。在具体实施方式中将会描述例示预测方法为视频编码器和解码器带来的其他好处。

附图说明

更详细的理解可以从以下结合附图给出的描述中得到，以下先对这些附图进行简要描述。

图1是示出了基于块的视频编码器的示例的功能框图。

图2是示出了基于块的视频解码器的示例的功能框图。

图3是示出了在本公开中使用以描述帧内预测中的参考采样的符号的图示。

图4是示出了HEVC中的33个定向帧内预测模式和两个非定向帧内预测模式的示例的图示。

图5是示出了JEM中的帧内模式的预测方向的图示。实线对应于作为JEM模式子集的HEVC帧内模式方向。数字是HEVC的模式编号。

图6是取决于位置的帧内预测组合的示意性表示。

图7A-7D是用于比较不同的帧内模式分区方法的示意图。图7A：原始块；图7B：一个CU分区；图7C：四个CU分区；图7D：CU+PU分区。

图8是包含了基于控制点的帧内预测模块的混合视频编码器的框图。

图9是包含了基于控制点的帧内预测模块的混合视频解码器的框图。

图10是例示的帧内预测方向的控制点表示的示意图。

图11A-11D是应用了两个控制帧内预测方向的实施例中的控制点选择的示意图。图11A：水平控制点选择；图11B：垂直控制点选择；图11C：对角线控制点选择；图11D：反对角控制点选择。

图12A和12B是应用了三个控制点的实施例中的帧内预测方向推导处理的示意图。图12A：PU级推导处理；图12B：TU级推导处理。

图13是例示实施例中的控制帧内预测方向的解码器侧推导处理的示意图。

图14是通过使用控制点帧内预测并通过使用帧内预测信号的加权组合来产生帧内预测采样的处理的示意图。

图15是示出了编码比特流结构的示例的图示。

图16是示出了例示通信***的图示。

图17是示出了可在一些实施例中被用作编码器或解码器的例示无线发射/接收单元(WTRU)的图示。

具体实施方式

例示的基于块的编码和解码***和方法。

与HEVC和JEM软件相似，这里公开的实施例是在基于块的混合视频编码框架上构建的。

图1是基于块的混合视频编码***的功能框图。输入视频信号102被以逐块的方式处理。在HEVC中，扩展块大小(其被称为“编码单元”或CU)被用于有效压缩高分辨率(1080p及以上)视频信号。在HEVC中，CU可以高达64x64个像素，并且在JEM中允许用高达256x256的更大的块大小来编码大分辨率视频(例如720p及更高)。CU可被进一步分割成预测单元(PU)，其中所述预测单元会被应用单独的预测方法。每一个输入视频块(MB或CU)都可以被执行空间预测(160)和/或时间预测(162)。空间预测(或“帧内预测”)会使用来自同一视频画面/切片中的已编码的相邻块的像素来预测当前视频块。空间预测减小了视频信号中固有的空间冗余度。时间预测(也被称为“帧间预测”或“运动补偿预测”)则会使用源于已编码视频图像的重建像素来预测当前视频块。时间预测减小了视频信号中固有的时间冗余度。用于指定视频块的时间预测信号通常是由指示了当前块与其参考块之间的运动量和运动方向的一个或多个运动矢量通告的。此外，如果支持多个参考画面(如同最近的视频编码标准(例如H.264/AVC或HEVC)那样)，那么还会为每一个视频块附加地发送其参考画面索引；并且该参考索引将被用于识别时间预测信号源自参考画面存储器(164)中的哪一个参考画面。在空间和/或时间预测之后，编码器中的模式决策块(180)将会选择最佳的预测模式(例如基于速率失真优化方法)。然后，从当前视频块(116)中将会减去预测块(116)；并且将会使用变换(104)和量化来去相关预测残差，以便实现目标比特率。经过量化的残差系数将被反量化(110)和反变换(112)，以便形成重建残差，然后，所述重建残差将被加回到预测块中(126)，以便形成重建视频块。在将重建视频块放入参考画面存储器(164)并将其用于编码将来的视频块之前，在该重建视频块上还可以应用其他的环路滤波处理，例如去块滤波器和自适应环路滤波器。为了形成输出视频比特流120，编码模式(帧间或帧内)、预测模式信息、运动信息以及量化残差系数全部会被发送到熵编码单元(108)，以便进行更进一步的压缩和打包以形成比特流。

图2是基于块的视频解码器的功能框图。首先，在熵解码单元208对视频比特流202执行拆包和熵解码处理。编码模式和预测信息被发送到空间预测单元260(如果执行帧内编码)或时间预测单元262(如果执行帧间编码)，以便形成预测块。残差变换系数被发送到反量化单元210和反变换单元212，以便重建残差块。然后，在226，预测块和残差块将被加在一起。在被保存在参考画面存储器264之前，重建块可以进一步经历环路滤波处理。然后，重建视频将被送出以驱动显示设备，以及用于预测未来的视频块。

HEVC中的帧内编码工具。

HEVC引入了若干种编码工具，相比于先前的视频编码标准，这些编码工具提升了帧内预测效率。这些帧内编码工具可以更精确地模拟不同的定向纹理以及具有逐渐改变的采样值的平滑区域。此外，在设计过程中还做了一些额外的工作，以便通过对针对DC所产生的帧内预测的参考采样和边界采样以及直接对水平和垂直方向执行自适应平滑处理来避免引入具有潜在的块效应的虚假边缘。

用于HEVC帧内编码的编码结构紧密遵循编解码器的整体结构。特别地，一个画面被分成了多个CU，所述CU代表了用于实施帧内编码的基本的四叉树分割区域。在一个CU内部可以定义多个非重叠预测单元(PU)，其中每一个预测单元都指定了一个具有单独的帧内预测模式的区域。在HEVC中，一个帧内编码CU可具有两种类型的PU分区，即PART_2Nx2N和PART_NxN。PART_2Nx2N表明该CU中的所有采样都是通过相同的帧内预测模式预测的，并且PART_NxN表明所述CU被分成了四个大小相等的PU，其中每一个PU都是通过其自身的帧内预测模式预测的。指定的PU可被进一步拆分成四叉树的变换单元(TU)，其中每一个变换单元都是在执行了TU大小的变换的情况下应用残差编码的基本操作单元。此外，在HEVC规范中，HEVC中的所有帧内预测模式的预测操作都是基于TU定义的，由此将预测采样与用于预测的参考采样之间的距离最小化，以便提升帧内预测的效率。

由于可能的帧内预测模式的数量，HEVC会在编码亮度帧内预测模式的时候考虑五种最可能模式(MPM)。在这五种MPM中，前两种是通过检测上方和左侧相邻块的帧内预测模式导出的，剩下的三种MPM则被定义成平面、DC和垂直方向(26)。此外，如果上方和左侧的块具有相同的角度模式，那么还可以在MPM列表中包含与该方向最为接近的两个相邻角度方向。

帧内预测模式。对于HEVC中的所有帧内预测模式来说，用于预测的是来自当前TU的上方和左侧的同一组在先解码的边界采样(如图3所示)。针对范围从4x4到32x32的不同TU尺寸，为其定义了具有33个不同角度方位的定向预测。除了角度方向之外，平面预测(其假设了一个具有源自边界的水平和垂直斜率的逐渐变化的表面)和DC预测(其假设了一个平坦表面)同样是可以使用的。表1指定了模式索引以及与每一个模式索引相关联的帧内预测模式。图4示出了HEVC中定义的现有帧内预测模式。对于色度来说，在比特流中可以显性地用信号通告水平、垂直、平面和DC模式；此外，色度预测模式可以通过DM模式而被指示成与亮度预测模式相同。

表1.帧内预测模式规范

参考采样平滑处理。在HEVC中，依照帧内预测的TU大小和方向性，有时会使用3抽头平滑滤波器[1,2,1]/4来过滤用于帧内预测的参考采样。对于32x32TU来说，除了直接水平和垂直之外的所有角度模式都会使用经过滤波的参考采样。对于16x16TU来说，未使用经过滤波的参考采样的帧内模式将被扩展成与水平和垂直最为接近的四种模式(9、11、25和27)。对于8x8以及更小的TU来说，只有对角线模式(2、18和34)会使用经过滤波的参考采样来执行预测。此外，当TU尺寸是8×8或更大时，参考平滑处理还会被应用于平面模式。

JEM中的帧内编码工具。通常，HEVC帧内编码的基本结构在JEM中是保持不变的，其中与帧内预测相关联的若干个模块将被进一步地扩展和/或改进，这其中包括扩展帧内预测方向、4抽头帧内插值、扩展边界平滑处理、依赖于位置的帧内预测组合、依赖于模式的不可分二次变换以及自适应参考滤波。在下文中将简要回顾JEM中的若干种帧内编码工具。

扩展帧内预测方向。为了捕获自然视频中呈现的更精细的边缘方向，在JEM中，角度帧内预测模式的数量从HEVC中的33个扩展到了65个。图5示出了JEM中定义的帧内预测模式，其中超出HEVC的新的方向模式被突出显示为点线并且平面和DC模式保持相同。与HEVC相似，扩展的定向帧内预测模式适用于所有的TU大小以及亮度和色度帧内预测。

为了适应数量增长的定向帧内模式，一种改进的帧内模式编码方法使用了六个MPM。为了推导出六个MPM的集合，左侧和上方的相邻块的帧内模式将被检查。与在HEVC中直接使用来自顶部和左侧相邻块的帧内模式不同，取而代之的是，沿着左侧相邻行以及沿着左侧相邻列的最频繁使用的帧内模式将被计算，然后分别被用作了左侧和上方的相邻模式。接下来，为了推导出实际的6个MPM，首先会通过应用HEVC中使用的相同规则来获取3个MPM；然后，剩下的3个MPM被定义成是与MPM列表中已经包含的角度模式最为接近(在预测方向方面)的3种帧内模式。表2指定了当前在JEM中使用的MPM推导方法，其中L和A分别指定了左侧和上方的相邻块的最频繁使用的帧内预测模式，并且Max和Min分别指定了左侧和上方相邻块的帧内预测模式的最大值和最小值。

表2.JEM中的6个MPM的推导处理

参考采样自适应滤波。在HEVC帧内预测中使用了低通滤波器[1,2,1]/4来平滑一些帧内预测模式的参考采样。应用了平滑滤波处理的帧内预测模式的数量取决于块大小以及预测模式。特别地，对于32x32的块来说，除水平和垂直之外的所有角度模式都会使用经过滤波的参考；对于16×16的块来说，未使用经过滤波的参考的模式将被扩展成与水平和垂直最为接近的四种模式(9,11,25,27)；对于8x8的块来说，只有对角线模式(2,18,34)会使用经过滤波的参考采样。对于8x8或更大的块大小来说，如果使用了平面模式，那么同样会应用平滑处理。

通过以预测的块大小和方向性为基础来选择性地应用参考采样平滑处理，可以通过操作来减小参考采样阵列中的边缘造成的轮廓伪像。在JEM中，为了提升帧内预测效率，通过参考采样自适应滤波处理(RASF)应用了如下的两组低通滤波器，以便平滑用于帧内预测的参考采样。

·系数为[1,2,1]/4的3抽头LPF(HEVC的默认参考平滑滤波器)

·系数为[2,3,6,3,2]/16的5抽头LPF。

为了最大化RSAF所能实现的增益，在TU级对两个参考平滑滤波器进行了选择。

数据隐藏是一种主要用于水印处理的技术。在HEVC中，通过应用该方法来将TU系数组(CG)的最重要系数(most significant coefficient)的符号隐藏到CG系数的绝对值的奇偶性中，这种处理被称为符号位隐藏(SBH)。为了减小RSAF标志信令的开销，可以使用数据隐藏处理来将用于指示是否为指定TU启用参考过滤处理的标志隐藏到该TU的变换系数中。与使用指定TU中的所有系数的SBH相反，RSAF仅仅使用了位于TU内部的奇数位置的变换系数来隐藏过滤标志的值。

依赖于位置的帧内预测组合。在HEVC中，帧内预测是从依照预测器模式和块大小而被从未滤波或经过滤波的参考边界像素集合中计算得到的。依赖于位置的帧内预测组合(PDPC)通过使用经过滤波的参考采样与从未被滤波的参考采样中计算得到的预测采样的加权组合来扩展该方法，其中所述加权取决于预测模式和像素位置。基于如图6所示的用于定义帧内预测器的符号，r和s分别表示未被过滤和经过滤波的参考采样。q[x,y]是从在HEVC中定义但禁用了针对DC的边界滤波器的经过滤波的参考s中得到的定向预测，并且指向水平和垂直帧内方向。值x和y是与块边界的水平和垂直距离。通过使用“＞＞”来表示右比特-移位操作，可以如下推导出将未被滤波的参考采样r[x,y]的加权值与预测信号q[x,y]组合在一起的新的预测p[x,y]：

其中是预先定义的预测参数，对于高到16×16的块大小来说，d＝1，并且对于更大的块来说，d＝2，以及

是归一化因子。

经过滤波的参考是通过使用二项式低通滤波器导出的，因为所述滤波器很容易被调整以用于整数计算，以及逼近高斯滤波器。预测参数和低通滤波参数是依照预测方向(相邻的预测方向被分组成35对)和块大小定义的。对于指定块的35个预测方向中的每一个预测方向来说，3组预测参数以及低通滤波器是预先定义的。在CU级上会用信号通告从这三组中选出的一组。

依赖于模式的不可分二次变换。由于空间相邻采样之间的相关性远小于时域中的相关性这一事实，在从帧内预测中产生的残差采样内部通常会存在很强的相关性。为了进一步提高帧内编码效率，在当前的JEM中应用了依赖于模式的不可分二次变换(NSST)。NSST会将不可分离的变换应用于帧内预测的每一个4×4变换系数块。特别地，数值为0到3的CU级索引会被显性地用信号通告，以便标识所应用的是哪一个预先定义的二次变换。如果该索引为零，则不使用二次变换；否则将会使用三个预先定义的4x4不可分离变换中的一个变换。一个TU的每一个4×4系数块都会被应用CU级索引所标识的4×4的不可分离变换。另外，只有在当前CU中存在至少一个非零变换系数的时候才会用信号通告CU级NSST标志。

为了应用不可分离变换，首先会将一个4x4的输入块X

重新排列到矢量中：

所述不可分离变换是作为计算的，其中指示的是变换系数矢量，并且T是16x16的变换矩阵。随后，通过使用所述块的扫描顺序(水平、垂直或对角线)，16x1的系数矢量被重新组织成4x4的块。

用于色度帧内预测的跨分量预测。通过使用跨分量相关，可以提升编码性能。在JEM中，跨分量线性模型(LM)预测模式被用于色度帧内预测。在LM预测模式中，色度采样是基于相同的块的重建亮度采样并通过使用如下的线性模型来预测的：

pred_C(i,j)＝α·rec_L(i,j)+β (5)

其中pred_C(i,j)代表块中的色度采样预测，rec_L(i,j)代表与色度块具有相同分辨率的相同的块的重建亮度采样，其可以针对4:2:0的色度格式内容而被下采样。参数α和β是通过将围绕当前块的相邻重建亮度和色度采样之间的回归误差最小化来得到的。

此外，LM预测模式还利用了两个色度分量之间的相关性，也就是说，Cr分量是从Cb分量中预测的。不同于使用重建采样信号，在残差域中会改为应用跨分量预测。这一点是通过在原始的Cr帧内预测中添加加权的重建Cb残差以形成最终的Cr预测来实施的：

缩放因子γ以与如上所述的参数α和β的推导方式相同的方式得到的。唯一的区别在于在误差函数中添加了与默认的γ值相对的回归成本，由此，所得到的缩放因子会偏向于偏向默认值(-0.5)。

帧内预测编码开销。

如上所述，通过增加帧内预测所支持的方向数量，可以为HEVC和JEM中的帧内编码实现很高的编码效率。此外，CU可被进一步划分成多个非重叠PU，其中每一个PU都可以具有不同的帧内预测模式。这种基于PU的帧内预测方向表示尤其为具有不同定向边缘的区域提供了良好的编码效率。然而在自然内容中，一个对象的边缘有可能会沿着某个范围的方向逐渐变化，且其并不总是与被限制成正方形的CU/PU分区的形状完全对准。由此，大量的信令开销(例如，用于指示CU分区的深度、PU分区类型以及帧内预测方向的比特)会被耗费在将区域划分成很小的CU/PU(其中每一个都具有不同的帧内预测方向)的处理上，以使所预测的纹理方向与对象的实际边缘方向相对准。为了例证上述问题，图7A-7D显示了对若干种用于帧内编码的分区方法所做的比较。在图7A-7D中，假设当前区域是包含了图7A中具有沿着从0°(直接水平)到90°(直接垂直)的逐渐变化的边缘的边界采样的弧形对象(其被包围在有图案的条纹中)的16×16的块。在图7B中，整个区域是通过单一的帧内预测方向并作为一个CU(包围在短划线中)编码的；但是，位于块内部的处于不同方向的边缘上的采样不能被精确预测。图7C将整个区域分成四个CU(如短划线所示)，并且每一个CU都是通过其自身的方向预测的；结果，精确预测的采样数量将会增加。图7D显示同时应用了CU(用短划线包围)和PU(用点线包围)分区处理的分区结构。该方法通过将不同的帧内预测模式指配给每一个CU/PU来进一步提升帧内预测精度。然而如前所述，这种方法带来的惩罚是有必要用信号通告大量的比特，以便在比特流中指示分区结构和帧内预测方向。

基于控制点的帧内预测。

在这里公开了以预测方向的控制点表示为基础的帧内编码***和方法。所提出的***和方法可以在没有大幅增加用信号通告块分区及帧内预测模式的开销的情况，通过提升帧内预测方向的精度来提高帧内编码效率。在例示方法中，视频块内部的采样的帧内预测方向是从当前块的一组控制帧内预测方向中推导得到的。此外还可以用信号通告一个标志，以便指示是否启用基于控制点的帧内预测。如果启用了基于控制点的帧内预测，则可以将关于当前块的控制点的帧内模式传送到解码器，并且可以从控制点帧内方向中推导出块内部的采样的帧内模式。如果当前块中的采样纹理改变方向，那么基于控制点的帧内预测可以为块内采样提供良好的帧内预测方向估计。基于控制点的帧内预测***和方法可以使用相对较大的帧内编码单元(CU)和预测单元(PU)，由此减小了用信号通告CU/PU分区和帧内方向信息所使用的开销。

如上所述，对基于PU的帧内方向信令来说，帧内方向的自适应处理受到PU分区的方形形状限制。由于一个或多个局部对象边缘有可能会在块内逐渐改变方向，因此，为了将帧内预测方向与局部对象边缘(一个或多个)相对准，通常需要大量开销来将当前块拆分成很小的PU。为了解决这个问题，在这里描述了一种全新的基于控制点的帧内预测方向的表示方法。例示实施例可以在不显著增加用信号通告块分区和帧内预测方向的开销的情况下，通过提高帧内预测方向的精度来提升帧内编码效率。特别地，在例示实施例中，对于指定视频块来说，一个或多个控制点处的帧内预测方向是用信号通告的。然后，通过利用邻近采样(或块)之间的空间相关性，从控制点的帧内预测方向中推导出当前块内部的每一个采样(或采样的子块)的帧内预测方向。

考虑到当前块中的采样的帧内方向直接源于控制点处帧内方向，由于只需要用信号通告每一个块的一个或多个帧内方向，因此，所提出的***和方法具有相对较小的帧内方向信令开销。另外，由于所提出的表示方法允许以更精细的粒度级别(例如采样级别和各种子块级别)来推导帧内预测方向，因此不太需要将当前区域划分成很小的CU/PU。这样做将会导致大型帧内CU/PU的使用增多，由此减小了用信号通告CU/PU分区所使用的开销。所有这两个方面都会提升使用控制点帧内预测编码的视频块的编码性能。

使用了基于控制点的帧内预测模式的混合视频编码。

如上所述，例示的基于控制点的帧内预测***和方法可以减小块分区(例如CU、PU和TU分区)和帧内预测方向的信令开销。如果基于控制点的帧内预测模型可以提供关于区域内部的局部帧内方向的良好估计，则不需要为了将快边界与局部边缘的变化相对准而将区域划分成很小的CU/PU分区；并且，区域内部的帧内预测方向可以从控制点处的这些方向中推导得到，而不是显性地用信号通告。由此实现了压缩增益。然而，所提出的基于控制点的帧内预测模型未必始终足够精确，并且有可能会因为很大的预测误差而损害帧内预测效率。因此，为了进一步提升编码性能，建议在某个块级别自适应地选择所提出的方法。在一些实施例中，通过在比特流中用信号通告一个标志来向解码器传送编码器决策，由此表明当前块是用控制点帧内预测模式还是现有帧内预测模式预测的。例如，编码器可以以与HM和JEM中使用的拉格朗日优化方法相似的方式来使用速率失真(R-D)优化决策，以便确定是否使用控制点帧内预测来预测当前块。

图8是被配置成实施基于控制点的帧内预测模式的例示混合视频编码器的功能框图。针对帧内编码块，该编码器通过从常规帧内预测模式和所提出的方法中进行选择(例如使用R-D优化)来估计帧内预测模式。与现有视频编码器(如图1所示)相似，帧内预测模块从属于相邻块的邻近重建采样中预测块的采样来产生帧内预测信号。原始信号会与帧内预测信号相减，以便去除空间冗余度以及产生相应的残差信号。所述残差信号将被应用变换和量化处理，然后则会被熵编码并被输出到比特流。为了获得重建信号，重建残差信号将被反量化，然后则会被反变换。所述重建残差被添加到预测信号中。更进一步，在环路滤波处理(例如去块处理)中，SAO和ALF将被应用于重建视频信号，以便进行输出。如上所述，为了提升编码增益，在指定的块级别(例如CU、PU或TU级别)可以用信号通告控制点帧内模式预测标志(例如，控制_点_帧内_预测_模式_标志(control_point_intra_prediction_mode_flag))，以便指示是否将所提出的基于控制点的帧内预测应用于当前块。如果将其应用于当前块，那么基于控制点的帧内预测模块802将使用这里描述的技术执行帧内预测。

图9是被配置成实施基于控制点的帧内预测模式的混合视频解码器的功能框图。图9的解码器可被配置成接收图8中的编码器产生的比特流。在解码器上，熵解码器解析该比特流。残差系数将被反量化和反变换，以便获得重建残差。通过使用空间预测或时间预测，可以将编码模式和预测信息用于获取预测信号。对于帧内编码块来说，如果控制点帧内模式预测标志(控制_点_帧内_预测_模式_标志(control_point_intra_prediction_mode_flag))为真，则使用基于控制点的帧内预测模块902并通过所提出的基于控制点的帧内预测方法来产生预测信号；否则通过常规的帧内预测过程来产生预测信号。所述预测信号会与重建残差相加，以便获得重建视频。在被存入参考画面存储器以供显示和/或用于解码未来的视频信号之前，该重建视频可以附加地经历环路滤波处理。

在下文中更详细地描述了这里提出的各种基于控制点的帧内预测编码和解码方法的若干特征。

基于控制点的帧内预测模式的方向表示。

在一个例示编码处理中，设想一个当前CU(该CU是N×N的块)并且设置如图10中所示的坐标系。左上角、右上角和左下角(0,0)、(N-1,0)和(0,N-1)充当了三个控制点，其分别被表示成CP₀、CP₁和CP₂。位于位置(x,y)的目标采样指定了其期望为之估计帧内预测方向的当前采样。假设IM(CP_i)和IM(x,y)是第i个控制点CP_i,i＝0,1,2的帧内预测方向以及所要估计的目标采样的帧内预测方向。于是，本实施例中提出的基于控制点的帧内方向推导方法被描述成：

其中φ_i(x,y)是指定了第i个控制点帧内方向对最终得到的目标采样的帧内方向的贡献的插值核函数，并且K是在方向插值处理中使用的控制点的数量(在图10显示的示例中，K等于3)。在例示实施例中可以应用不同的插值核函数，例如三角插值、双线性插值、高斯以及样条插值等等。应该指出的是，这里使用的术语“插值”进一步包括外插，因为插值在这里并不局限于严格落入控制点的几何边界以内的点。

在使用了三角插值的例示实施例中，与(7)中的三个控制点相关联的插值核函数可以如下给出：

如果目标点位于CP₁、CP₀和CP₂形成的三角形中(图10中的阴影区域内部的采样)形成的三角形中，那么三角插值结果将会处于控制点限制的范围以内。如果目标点在三角形之外(图10的空白区域中的采样)，那么三角插值结果可被修剪在有效范围中，因为该结果是外推得到的，并且有可能位于控制点限制的范围之外。

在另一个示例中，所使用的是双线性插值。在这种情况下，三个控制点的插值核函数可以以如下方式给出：

如等式(7)-(9)所示，所提出的基于控制点的帧内方向推导方法的插值处理可以包括与(N-1)或(N-1)²相除。考虑到视频块大小N通常是2的乘幂，与(N-1)或(N-1)²相除的处理通常不能作为比特-移位操作来实施，并且由此需要非预期的计算复杂度。在一些实施例中，为了更有效地执行除法，可以使用定点近似来计算结果。在不丧失一般性的情况下，设想与(N-1)相除的处理作为示例。该除法可以通过两个整数值M和B来近似，其被指示为：

由此，在一些实施例中，该除法可以作为与M相乘以及随后向右进行B的比特移位的处理来实施。

作为替换，在一些实施例中，为了促进有效划分，控制点位置可以在相邻的块之间轻微重叠。特别地，在使用图10中定义的坐标系的情况下，左上角的控制点(CP₀)的位置不变，其位于(0,0)。然而，右上角、左下角的控制点(CP₁和CP₂)的位置分别移动了一个附加列和一个附加行以跨越块边界，由此，新的位置CP₁和CP₂将会变成(N,0)和(0,N)，其分别属于位于当前块的右侧和下方的相邻块。相应地，在该调整之后，等式(7)-(9)中的(N-1)的值将会变成N。由此，在N是2的乘幂的情况下，等式(7)-(9)中的除法可以用比特移位来实现。

在另一个实施例中，控制点CP₁和CP₂分别是从当前块的右上角和左下角(即(N-1,0)和(0,N-1)的位置)获取的，而控制点CP₀则是从当前块的左上相邻采样(即位置(-1,-1))获取的。这样一来，等式(7)-(9)中的分母也会变成N，并且该除法可以用比特移位来实施，其中N是2的乘幂。

控制点选择。

在视频编码中，帧内方向的编码处理有可能耗费大量比特，并且由此会影响整体编码性能，尤其是在处于低比特率时。所产生的用信号通告控制帧内方向的开销有可能会抵消所提出的控制点表示的优点。在不同的实施例中，具有不同位置的不同数量的控制点可被选择，由此会导致视频内容的编码性能存在差异。从可以产生关于某个视频块内部的不断变化的帧内预测方向的更精确估计的意义上讲，使用更多的控制点是非常有利的。然而，考虑到需要发送更多的控制帧内方向，数量较多的控制点会导致开销增大。另一方面，数量较少的控制点可以减小信令开销，但是不能始终提供精确的帧内预测估计。因此，例示实施例允许为不同的视频内容选择不同数量的控制点，其中控制点的数量足以精确估计块内部的帧内预测方向，同时会导致产生适当的信令开销。在一个实施例中，当前视频块的左上角和右上角将被用作所提出的帧内预测推导方法的控制点(如图11A所示)。如果应用双线性插值，那么控制点的插值核函数(如等式(9)所示)可被表示成：

φ₀(x,y)＝(N-1-x)/(N-1) (10)

φ₁(x,y)＝x/(N-1)

考虑到两个控制点是在水平方向上获取的，该控制点选择处理对于估计在水平方向上具有处于主导地位的边缘的视频块的帧内方向更为有效。在另一个实施例中，当前视频块的左上角和左下角被用作了所提出的帧内预测推导方法的控制点(如图11B中所示)。假设应用的是双线性插值，控制点的插值核函数(如等式(9)所示)可被表示成：

由于两个控制点是在垂直方向上获取的，因此，该控制点选择处理对于估计在垂直方向上具有处于主导地位的边缘的视频块的帧内方向是非常有效的。

在使用当前视频块的左上角和右下角作为控制点的实施例中(如图11C所示)，插值核函数可以用如下方式来表示：

如果使用当前视频块的右上角和左下角作为控制点(如图1D中所示)，那么插值核函数可以用如下方式来表示：

所提出的基于控制点的帧内预测推导方法可以基于内容特性而将不同数量的控制点用于编码处理，例如三个控制点或两个控制点。在一些实施例中，控制点配置是在画面级或切片级用信号通告的。举例来说，块内部的控制点的标识可以如在表3中那样被定义，其中block_width和block_height是应用了控制点的块的宽度和高度。在表4中定义了一个例示的控制点表格，其中该表格指定了控制点的数量以及每一个控制点的位置。在画面级(例如在画面参数集合中)或序列级(例如在序列参数集合中)可以用信号通告表4中定义的多个控制点表格，并且可以通过“控制_点_模型_id(control_points_model_id)”来对其进行区分。所述“control_points_model_id”还可以在切片级或编码块级(例如CTU、CU)用信号通告。

表3.控制点索引

表4.控制点信令

control_points_model_id：指示在表格中用信号通告的control_point模型的ID。

num_control_points：指定用于该模型的控制点的数量。

CP_Id：指定该控制点的在表3中定义的ID。

pos_x：指定ID等于4的控制点的水平位置。实际位置是作为(pos_x*block_width+128)/256计算的。block_width是所述块的宽度。

pos_y：指定ID等于4的控制点的垂直位置。块内部的实际位置是作为(pos_x*block_height+128)/256计算的。block_height是所述块的高度。

应该指出的是，关于等式(10)-(13)，如上所述的用于有效地与(N-1)相除的技术也是可以应用的。

如图11A和11B所示，选择不同的控制点可以有益于呈现不同方向特性的视频区域。考虑到这个方面，可以应用基于区域的控制点自适应处理。特别地，在例示方法中，针对具有处于主导地位的水平边缘信息的区域，所启用的是水平控制点选择处理(如图11A所示)，针对具有处于主导地位的垂直边缘信息的区域，所启用的是垂直控制点选择处理(如图11B所示)。对于具有既不水平也不垂直的边缘的不平坦区域来说，三个控制点可被选择(如图10所示)。在一个区域中，处于主导地位的边缘方向可以从当前视频块的重建相邻采样中确定。在一个实施例中，索贝尔(Sobel)运算符将被用于计算相邻重建采样的水平和垂直导数(derivative)。

如果G_y和G_x之间的比率大于预定阈值(T₁)，那么可以将该区域分类成水平边缘区域；如果G_y和G_x之间的比率小于另一个预定阈值((T₂,T₂＜＜T₁)，那么可以将该区域分类成垂直边缘区域；否则，该区域的边缘可以被认为既不是水平也不是垂直的。

在另一个实施例中，当前块内部的纹理的可能方向可以从MPM集合中推导得到。举例来说，如果MPM集合中的大多数模式指示水平方向，那么可以使用图11A中的两个水平控制点。如果MPM集合中的大多数模式指示垂直方向，那么可以使用图11B中的两个垂直控制点。如果没有来自MPM模式的强烈的水平或垂直指示，那么可以使用图10中的三个控制点

基于控制点来推导帧内预测方向的处理的粒度。

在图10和图11A-11D的实施例中，帧内预测方向是基于采样单元推导的(以使视频块内部的每一个采样都具有自己的帧内方向)；然而，根据本公开的帧内方向推导方法可以在各种级别(例如CU、PU和TU级)实施，并且每一个自适应级别都可以提供不同的帧内方向自适应能力和编码/解码复杂度。举例来说，如果在TU级推导帧内预测方向，那么编码器/解码器会推导用于每一个TU的帧内预测模式，并且同一个TU内部的采样将会使用所推导的相同帧内方向。如果在PU上推导帧内预测方向，那么编码器或解码器可能只需要推导用于每一个PU的帧内方向，并且PU内部的所有TU都会将所推导的相同帧内方向用于其自身的帧内预测。在使用三个控制点的情况下，图12A-12B显示了针对所提出的基于控制点的帧内预测方法而在PU级(图12A)和TU级(图12B)推导帧内预测方向的情形，其中实线和短划线分别描述的是PU和TU的边界。在图12A中，目标块是预测单元PU₃，并且在图12B中，目标块是变换单元TU₀。作为一个例示实施例，在图12A-12B中，目标块的中心位置将被用作代表性坐标以推导所述块的帧内方向。在其他实施例中也可以选择其他位置作为代表性坐标。

在很多实施例中，启用/禁用基于控制点的帧内预测的级别(例如，用以用信号通告标志control_point_intra_prediction_mode_flag的级别或是用以定义控制点的级别)要高于帧内方向推导的级别。举例来说，在CU级可以启用基于控制点的帧内预测，而相应的帧内预测推导处理则可以在PU级、TU级或采样级执行。如果在定义了控制点的相同级别执行帧内方向推导(例如两者都处于CU级)，那么由于仅仅需要单一控制点，而这实际上是用信号通告的所述块的帧内预测模式，因此，所提出的方法将会退化成正常帧内模式。

预测以及用信号通告控制点帧内方向。

控制点的帧内方向的信令开销会影响所提出的基于控制点的帧内预测模式的整体性能。为了减小信令开销，在本公开的一个实施例中提出直接将HM和JEM中的现有帧内模式信令方法重用于用信号通告控制点帧内方向。特别地，针对每一个控制点，将会从其左侧和顶部的相邻控制点的DC、平面和帧内模式中为其生成一组MPM候选。如果控制帧内方向与MPM候选之一相同，那么将仅仅发送与该候选相对应的索引；否则将会使用固定长度码来用信号通告控制帧内方向。在另一个实施例中，在启用了基于控制点的帧内预测的时候，由于在控制点帧内预测中没有使用非角度帧内方向(DC和平面)，那么只要通过包含角度方向即可构造MPM候选列表。

在现代视频编解码器中广泛使用了差分编码来减小各种语法元素的信令开销。例如，在HM和JEM中使用了差分编码来执行有效的运动矢量(MV)编码，其中一个MV是从其空间和时间邻居之一预测的，并且只有残差是需要传送的。考虑到与相邻视频块的帧内预测方向的强相关性，对于一个视频块来说，控制点的帧内预测方向有可能会非常相似。由此，在本公开的一个实施例中提出了使用差分编码来用信号通告控制点帧内方向。更具体地说，首先会基于现有的基于MPM的帧内模式预测方法来用信号通告其中一个控制点(例如图10和11中的CP₀)。然后，该控制点的帧内方向将被用于预测其他控制点(例如图10和11中的CP₁和CP₂)的帧内方向。相应地，只有这些模式之间的差异会被用信号通告。

用于基于控制点的帧内预测模式的高精度帧内预测。

在JEM中，角度帧内模式的数量是65个。选择65这个数量的目的是在不过度增加帧内预测模式的信令开销(该开销会抵消从增大的帧内预测粒度中得到的编码增益)的情况下提供增大的帧内预测粒度。在这里公开的实施例中，当前块内部的采样的帧内方向是从控制点推导得到的，并且在比特流中不需要用开销来通告这些通过推导得到的当前块内部的帧内方向(例如使用等式(7))。由此，在启用基于控制点的帧内预测模式时，位于块内部的这些采样的定向帧内预测模式的数量有可能会在没有信令成本的情况下增加。为了更精确地捕获自然视频中的边缘方向，在本公开的一个实施例中提出，在启用基于控制点的帧内预测模式时，通过更精细的粒度方向指示来增加角度帧内预测模式的数量。

在HEVC中，在从一个位于分数位置(fractional position)的参考采样预测目标采样时，这时会通过应用双线性插值来获取帧内预测。特别地，位于位置(x,y)的每一个被预测的采样P(x,y)都是通过基于所选择的预测方向将其位置投影到参考像素行上以及通过以1/32的采样精度***被预测的采样的值来获取的，其中双线性插值是使用位于整数位置的两个最接近的参考采样R_i和R_i+1执行的。

p(x,y)＝((32-w_y)·R_i+w_y·R_i+1+16)＞＞5 (15)

其中w_y是两个整数参考采样R_i和R_i+1之间的加权参数，其指定了覆盖被投影的分数位置的分段，以及＞＞表示右比特-移位操作。参考采样索引i和w_y是如下基于与所选择的帧内预测模式(其描述了处于1/32个采样的精度以内的帧内预测方向的切线)相对应的投影位移d计算的：

其中“&”表示逐比特的AND运算。表5指定了用于不同帧内预测方向的投影距离d的例示值。

表5.关于HEVC中的33个角度帧内预测方向的帧内预测方向与投影位移d之间的映射

如上所述，当选择控制点帧内预测模式时，可以增加所支持的角度帧内预测方向的数量。相应地，现有的1/32采样精度可能不足以表示处于更精细的粒度的所有可能的定向帧内预测。因此，在本公开的一个实施例中提出，在为当前视频块启用所提出的基于控制点的帧内预测时，提升帧内插值滤波处理的精度。如果用2^B表示为更精细的粒度的帧内预测定义的分数采样数量，那么可以将双线性滤波处理(等式(15))和参考采样索引推导(等式(16))表述成：

p(x,y)＝((2^B-w_y)·R_i+w_y·R_i+1+2^B-1)＞＞B (17)

c_y＝(y·d)＞＞B (18)

w_y＝(y·d)&2^B

i＝x+c_y

此外，投影位移d的动态范围还可以被放大，以便表示提升的帧内预测粒度的正切值。在一个实施例中，其中帧内预测方向数量是131(包括平面、DC以及129个角度帧内方向)，并且帧内插值精度是1/64个采样，表6显示了与129个角度帧内预测方向相关联的例示投影位移值d。

表6.关于129个角度帧内预测方向的帧内预测方向与投影位移d之间的映

射

在另一个实施例中，角度方向粒度增大的基于控制点的帧内预测方法可以与其他插值方法结合使用。如果用表示所应用的插值滤波器的系数，k＝-(L/2-1),…,0,1,…L/2，其中L是插值滤波器长度，那么可以如下计算位于位置(x,y)的预测采样P(x,y)的值：

c_y＝(y·d)＞＞B (20)

w_y＝(y·d)&2^B

i＝x+c_y

其中H是用于表示滤波器系数的比特的数量。如等式(19)所示，滤波器系数f_wy(k)取决于相应整数采样之间的插值分数采样的相应相位(即w_y,w_y＝0,1,…,2^B-1))。

当在基于控制点的帧内预测模式中编码一个帧内块时，所推导的帧内预测方向可被用作其中一个MPM候选，以便预测相邻帧内块的帧内预测模式。相应地，控制点编码块的高精度帧内预测方向可被舍入成正常帧内模式的帧内预测精度，以便确保所预测的帧内预测方向和MPM候选具有相同的精度。由此，在本公开的一个实施例中，在为控制点编码块启用更精细粒度的帧内预测(例如129个角度方向)时，在保存当前块的高精度帧内预测模式并将其用作MPM候选来预测其相邻帧内块的帧内预测模式之前，建立将其舍入成处于粗粒度(例如JEM中的65个角度方向和HM中的33个角度方向)的最接近的帧内预测。如果两个相邻的粗精度的帧内方向与高精度帧内方向具有相等的距离，那么可以应用一个固定的规则(例如始终舍入到具有较小帧内方向索引的粗精度的帧内方向，或者始终舍入到更接近45度的粗精度的帧内方向)。

在一些实施例中，所通告的当前块的控制点上的帧内预测方向将被用于预测相邻块的帧内方向，其中所述相邻块的帧内方向是显性地用信号通告的。由此，为了减小用信号通告帧内模式的开销，建议使用右上控制点(图10中的CP₁)的帧内方向作为一个候选来产生位于当前块的右侧的相邻块的MPM列表；同样，还可以提出使用左下控制点的帧内方向(图10的CP₂)作为一个候选来生成位于当前块下方的相邻块的MPM列表。此外，在本公开的一个实施例中，建议添加控制点的帧内方向作为一个附加MPM候选，以及将MPM列表的大小加1。在另一个实施例中，为了不增加MPM索引的信令开销，建议使用控制点的帧内方向来替代一个已有的MPM候选(例如MPM列表中的最后一个候选)，以使MPM列表的大小保持不变。

解码器侧的控制点推导。

在以上描述的例示方法中，对基于控制点的帧内预测模式来说，控制点的帧内方向会被从编码器用信号通告给解码器，由此可能会耗费可观数量的比特，并且由此会降低所提出的基于控制点的帧内预测模式的整体编码性能。在一些实施例中，通过在解码器侧基于当前块的重建相邻采样群组(其被称为模板)来估计一个视频块的帧内预测模式，可以使用解码器侧的帧内模式推导(DIMD)方法来减小用信号通告帧内预测参数的开销。为了减小控制帧内方向的信令开销，在本公开的一个实施例中提出将DIMD方法应用于所提出的基于控制点的帧内预测方法。在这种情况下，在解码器侧可以使用DIMD而不是以显性地用信号通告的方式来推导控制点的帧内方向。特别地，在启用基于控制点的帧内预测时，取代在比特流中指示控制点的帧内方向的是，编码器/解码器会从与当前块相邻的重建采样中推导出控制点的帧内方向。图13示出了所提出的解码器侧控制点推导方法。在给出了所选择的控制点(CP₀，CP₁和CP₂)的位置的情况下，模板采样(由用于三个控制点的不同的图案化区域指示)指代的是用于推导相应控制点的帧内预测方向的已重建采样集合。基于每一个控制点的模板采样，解码器侧的控制帧内方向推导方法可以包括为每一个帧内预测方向计算重建模板采样与模板的预测采样之间的成本的步骤。模板成本可以作为这两者之间的失真来测量。然后，产生最小成本的帧内方向可被选择作为控制帧内方向。

在不同的实施例中，在解码器侧的帧内方向推导方法中可以应用不同的成本量度，例如绝对偏差总和(SAD)、平方差之和(SSD)以及绝对变换差之和(SATD)。该成本还可以作为包含在模板中的小子块单元(例如2×2或4×4)的成本量度的总和来测量。

基于块的编码/解码顺序，可以限定针对模板采样的选择。在图13中，每一个控制点周围的最接近的重建采样被用作模板。在实践中，不同的模板尺寸都是可以使用的。如果存在编码噪声，那么大量的模板采样会导致产生更可靠的帧内方向估计。然而，大模板尺寸还会增大模板采样与被估计模式的控制点位置之间的距离。因此，随着距离的增大，这种估计的精度可被降低(假设模板与控制点之间的相关性降低)。另一方面，虽然较小的模板可以提供更精确的估计，但其对编码噪声有可能更为敏感。因此，较为理想的是为不同的块大小选择最优的模板尺寸，其中所述模板尺寸应该足够大以抵抗噪声，同时不会超出精确获取局部边缘方向的尺寸限制。在一个实施例中，用于4x4和8x8的块的模板大小是2(即，图13中的L＝2)，用于16x16和更大视频块的模板大小是4(即，图13中的L＝4)。

在本公开的其他实施例中，在例示的基于控制点的帧内预测方法中还可以使用其他帧内模式推导方法，这其中包括其他解码器侧的帧内模式推导技术。

用于色度编码的基于控制点的帧内预测。

由于人类视觉***对亮度变化比对颜色的变化敏感得多，因此，与色度分量相比，视频编码***通常会为亮度分量倾注更多的比特(例如通过调整亮度分量和色度分量之间的量化参数(QP)增量值。由此，色度分量包含的细节信息(例如边缘和纹理)要远远少于亮度分量。基于这种观察，与亮度帧内预测相比，我们用信号通告相对较少的用于色度帧内预测的控制点。另一方面，考虑到亮度平面与色度平面之间的强相关性，色度预测和亮度预测极有可能使用相同的帧内预测方向。因此，在本公开的一个实施例中，在为一个视频块启用控制点帧内预测模式时，编码器/解码器会重用亮度分量的相同控制点来推导色度分量的帧内预测方向，由此会为亮度和色度分量使用相同的帧内预测方向。在本公开的另一个实施例中，在启用基于控制点的帧内预测模式时，分别用于亮度和色度分量的两组不同的控制点将被传送到解码器。

使用了基于控制点的帧内模式表示的帧内预测方法。

在如上所述的例示方法中，通常会以这样一种方式来执行基于控制点的帧内预测：首先会根据等式(7)并使用控制点的帧内方向来推导当前视频块内部的每一个采样(或子块)的帧内方向；然后，通过应用现有的帧内预测处理(在HEVC或JEM中定义)来使用所推导的帧内方向产生当前块的预测信号。重用等式(7)中的符号以及假设IP(intraDir)是使用帧内预测方向intraDir来执行帧内预测的函数，如上所述的基于控制点的帧内预测处理可被描述成：

在一些实施例中，帧内预测操作IP(·)可被紧密地近似成一个线性函数，并且等式(21)可以如下用近似形式来表述：

在该等式中，IP(IM(CP_i))对应于使用控制点CP_i的帧内方向来将帧内预测应用于一个采样。因此，基于等式(22)，可以通过使用所提出的基于控制点的帧内预测方法来使用另一种帧内预测方法。在该方法中，假设有K个控制点CP_i,i＝0,1,K-1，编码器/解码器首先为当前块产生K个不同的帧内预测信号，其中每一个分别使用了一个控制点的帧内预测方向IM(CP_i)；然后，最终的帧内预测是通过使用基于这K个控制点的帧内预测信号的加权组合IM(CP_i)获取的，其中所述加权可以依照等式(7)中指定的插值核函数来计算。在为当前块使用了三个控制点(K＝3)的情况下，图14显示了一个用于例证使用了控制点的帧内方向的帧内预测信号的加权组合的示例。在等式(22)，加权因子取决于目标采样(x,y)的位置，在另一个实施例中，在等式(22)中可以应用其他加权(例如不取决于位置或者未使用核函数)，以便组合用来自不同控制点的方向产生的帧内预测信号。

与使用等式(7)的方法相比，使用等式(22)的基于控制点的帧内预测方法允许控制点上的帧内预测方向处于非角度方向模式，例如DC和平面。因此，在应用基于MPM的帧内模式预测来预测控制帧内方向时，可以通过包含角度和非角度帧内方向来产生MPM候选列表。

图15是示出了编码比特流结构的示例的示意图。编码比特流1000包括多个NAL(网络抽象层)单元1001。NAL单元可以包含编码采样数据(例如编码切片1006)或高级语法元数据(例如参数集合数据、切片报头数据1005或补充增强信息数据1007(其可被称为SEI消息))。参数集合是包含基本语法元素的高级语法结构，其中所述基本语法元素既可以应用于多个比特流层(例如视频参数集合1002(VPS))，也可以应用于一个层内部的编码视频序列(例如序列参数集合1003(SPS))，还可以应用于一个编码视频序列内部的多个编码画面(例如画面参数集合1004(PPS))。该参数集合既可以与视频比特流的编码画面一起发送，也可以通过其他方式(包括使用可靠信道的带外传输、硬编码等等)发送。切片报头1005同样是高级语法结构，其可以包含一些相对较小或者仅与某些切片或画面类型相关的一些画面相关信息。SEI消息1007携带了解码处理未必需要但是可以用于其他各种目的(例如画面输出定时或显示以及丢失检测和隐藏)的信息。

图16是示出了通信***示例的示意图。通信***1300可以包括编码器1302、通信网络1304和解码器1306。编码器1302可以经由连接1308与网络1304通信，该连接1308可以是有线连接或无线连接。编码器1302可以与图1的基于块的视频编码器相类似。编码器1302可以包括单层编解码器(例如图1)或多层编解码器。举例来说，编码器1302可以是支持画面级ILP的多层(例如两层)可扩展编码***。解码器1306可以经由连接1310与网络1304通信，所述连接1310可以是有线连接或无线连接。解码器1306可以与图2的基于块的视频解码器相类似。解码器1306可以包括单层编解码器(例如图2)或多层编解码器。作为示例，解码器1306可以是支持画面级ILP的多层(例如两层)可扩展解码***。

编码器1302和/或解码器1306可被引入到各种有线通信设备和/或无线发射/接收单元(WTRU)中，例如数字电视、无线广播***、网络部件/终端、服务器(例如内容或网络服务器(例如超文本传输协议(HTTP)服务器))、个人数字助理(PDA)、膝上型或台式计算机、平板电脑、数码相机、数字记录设备、视频游戏设备、视频游戏控制台、蜂窝或卫星无线电话、和/或数字媒体播放器等等，但是并不局限于此。

通信网络1304可以是适当类型的通信网络。例如，通信网络1304可以是向多个用户提供内容(例如语音、数据、视频、消息、广播等等)的多址接入***。通信网络1304能使多个无线用户通过共享包括无线带宽在内的***资源来访问此类内容。作为示例，通信网络1304可以使用一种或多种信道接入方法，例如码分多址(CDMA)、时分多址(TDMA)、频分多址(FDMA)、正交FDMA(OFDMA)、和/或单载波FDMA(SC-FDMA)等等。通信网络1304可以包括多个相连的通信网络。该通信网络1304可以包括因特网和/或一个或多个私人商业网络，例如蜂窝网络、WiFi热点和/或因特网服务提供商(ISP)网络等等。

图17是可以实施这里描述的编码器或解码器的例示WTRU的***图示。如所示，例示的WTRU 1202可以包括处理器1218、收发信机1220、发射/接收部件1222、扬声器/麦克风1224、数字键盘1226、显示器/触摸板1228、不可移除存储器1230、可移除存储器1232、电源1234、全球定位***(GPS)芯片组1236和/或其他周边设备1238。应该了解的是，在保持与实施例相符的同时，WTRU 1202还可以包括前述部件的任何子组合。更进一步，整合有编码器(例如编码器100)和/或解码器(例如解码器200)的终端可以包含在图17的WTRU 1202中描绘以及在这里参考图17的WTRU 1202描述的一些或所有部件。

处理器1218可以是通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核心关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、其他任何类型的集成电路(IC)、状态机等等。处理器1218可以执行信号编码、数据处理、功率控制、输入/输出处理和/或其他任何能使WTRU1500在有线和/或无线环境中工作的功能。处理器1218可以耦合至收发信机1220，收发信机1220则可以耦合至发射/接收部件1222。虽然图17将处理器1218和收发信机1220描述成了独立组件，然而应该了解，处理器118和收发信机1220也可以一起集成在一个电子组件和/或芯片中。

发射/接收部件1222可被配置成经由空中接口1215来发射和/或接收往来于另一个终端的信号。举例来说，在一个实施例中，发射/接收部件1222可以是被配置成发射和/或接收RF信号的天线。作为示例，在另一个实施例中，发射/接收部件1222可以是被配置成发射和/或接收IR、UV或可见光信号的放射器/检测器。在一个或多个实施例中，发射/接收部件1222可被配置成发射和/或接收RF以及光信号。应该了解的是，该发射/接收部件1222可以被配置成发射和/或接收无线信号的任何组合。

此外，虽然在图17中将发射/接收部件1222描述成了单个部件，但是WTRU 1202可以包括任何数量的发射/接收部件1222。更具体地说，WTRU 1202可以使用MIMO技术。因此，在一个实施例中，WTRU 1202可以包括两个或更多个经由空中接口1215来发射和接收无线电信号的发射/接收部件1222(例如多个天线)。

收发信机1220可被配置成对发射/接收部件1222所要发射的信号进行调制，和/或对发射/接收部件1222接收的信号进行解调。如上所述，WTRU 1202可以具有多模能力。因此，收发信机1220可以包括允许WTRU 1500借助多种RAT(例如UTRA和IEEE 802.11)来进行通信的多个收发信机。

WTRU 1202的处理器1218可以耦合到扬声器/麦克风1224、数字键盘1226和/或显示器/触摸板1228(例如液晶显示器(LCD)显示单元或有机发光二极管(OLED)显示单元)，并且可以接收来自这些部件的用户输入数据。处理器1218还可以向扬声器/麦克风1224、数字键盘1226和/或显示器/触摸板1228输出用户数据。此外，处理器1218可以从任何适当的存储器(例如不可移除存储器1230和/或可移除存储器1232)中存取信息，以及将信息存入这些存储器。不可移除存储器1230可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘或是其他任何类型的记忆存储设备。可移除存储器1232可以包括订户身份模块(SIM)卡、记忆棒、安全数字(SD)记忆卡等等。在一个或多个实施例中，处理器1218可以从那些并非实际位于WTRU 1202的存储器存取信息，以及将数据存入这些存储器，作为示例，此类存储器可以位于服务器或家庭计算机(未显示)。

处理器1218可以接收来自电源1234的电力，并且可被配置分发和/或控制用于WTRU 1202中的其他组件的电力。电源1234可以是为WTRU 1202供电的任何适当设备。举例来说，电源1234可以包括一个或多个干电池组(例如镍镉(Ni-Cd)、镍锌(Ni-Zn)、镍氢(NiMH)、锂离子(Li-ion)等等)、太阳能电池以及燃料电池等等。

处理器1218还可以与GPS芯片组1236耦合，该芯片组可被配置成提供与WTRU 1202的当前位置相关的位置信息(例如经度和纬度)。作为来自GPS芯片组1236的信息的补充或替换，WTRU 1202可以经由空中接口1215接收来自终端(例如基站)的位置信息，和/或基于从两个或更多个附近基站接收的信号定时来确定其位置。应该了解的是，在保持与实施例相符的同时，WTRU 1202可以借助任何适当的定位方法来获取位置信息。

处理器1218可以进一步耦合到其他周边设备1238，这些设备可以包括提供附加特征、功能和/或有线或无线连接的一个或多个软件和/或硬件模块。例如，周边设备1238可以包括加速度计、朝向传感器、运动传感器、接近传感器、电子指南针、卫星收发信机、数码相机和/或录像机(用于照片和/或视频)、通用串行总线(USB)端口、振动设备、电视收发信机、免提耳机、模块、调频(FM)无线电单元、以及软件模块(例如数字音乐播放器、媒体播放器、视频游戏机模块以及因特网浏览器等等)。

作为示例，WTRU 1202可被配置成发射和/或接收无线信号，并且可以包括用户设备(UE)、移动站、固定或移动订户单元、寻呼机、蜂窝电话、个人数字助理(PDA)、智能电话、膝上型计算机、上网本、平板电脑、个人计算机、无线传感器、消费类电子产品或是其他任何能够接收和处理压缩视频通信的终端。

WTRU 1202和/或通信网络(例如通信网络804)可以实施诸如通用移动电信***(UMTS)地面无线电接入(UTRA)之类的无线电技术，该无线电技术可以使用宽带CDMA(WCDMA)来建立空中接口1215的。WCDMA可以包含通信协议，例如高速分组接入(HSPA)和/或演进性HSPA(HSPA+)。HSPA可以包括高速下行链路分组接入(HSDPA)和/或高速上行链路分组接入(HSUPA)。WTRU 1202和/或通信网络(例如通信网络804)可以实现诸如演进UMTS陆地无线电接入(E-UTRA)之类的无线电技术，该无线电技术可以使用长期演进(LTE)和/或先进LTE(LTE-A)来建立空中接口1515。。

WTRU 1202和/或通信网络(例如通信网络804)可以实施无线电技术，例如IEEE802.16(例如全球微波接入互操作性(WiMAX))、CDMA2000、CDMA2000 1X、CDMA2000EV-DO、Interim标准2000(IS-2000)、临时标准95(IS-95)、临时标准856(IS-856)、全球移动通信***(GSM)、GSM演进增强数据速率(EDGE)以及GSME DGE(GERAN)等等。WTRU 1500和/或通信网络(例如通信网络804)可以实施IEEE 802.11或IEEE 802.15等无线电技术。

应该指出的是，所描述的实施例中的一个或多个的不同的硬件部件被称为“模块”，所述模块指的是用于执行(即，实施、运行等)在这里结合相应模块描述的不同功能的“模块”。这里使用的模块包含了被相关领域的技术人员认为适合与指定的实施方式相适合的硬件(例如，一个或多个处理器、一个或多个微处理器、一个或多个微控制器、一个或多个微芯片、一个或多个专用集成电路(ASIC)、一个或多个现场可编程门阵列(FPGA)、一个或多个存储器设备)。所描述的每一个模块还可以包括可被执行以实施被描述成由相应模块执行的一个或多个功能的指令，并且应该指出的是，这些指令可以采用硬件(即硬连线)指令、固件指令和/或软件指令的形式或者包含这些指令，并且可被保存在任何适当的非暂时性计算机可读介质或媒体中，例如通常被称为RAM、ROM等等的介质或媒体。

虽然在上文中描述了采用特定组合的特征和要素，但是本领域普通技术人员将会认识到，每一个特征或要素既可以单独使用，也可以与其他特征和要素进行任何组合。此外，这里描述的方法可以在引入计算机可读介质中以供计算机或处理器运行的计算机程序、软件或固件中实施。关于计算机可读媒体的示例包括电信号(经由有线或无线连接传送)以及计算机可读存储媒体。关于计算机可读存储媒体的示例包括但不局限于只读存储器(ROM)、随机存取存储器(RAM)、寄存器、缓冲存储器、半导体存储设备、内部硬盘盒及可拆卸磁盘之类的磁介质、磁光介质、以及CD-ROM碟片和数字多用途碟片(DVD)之类的光介质。与软件关联的处理器可以用于实施在WTRU、UE、终端、基站、RNC或任何计算机主机中使用的射频收发信机。

Claims (20)

1.一种在比特流中编码视频的方法，其中所述视频包括多个帧，每一个帧包括采样块，所述方法包括：

针对至少当前块，识别至少第一控制点的第一帧内方向以及第二控制点的第二帧内方向；

针对所述当前块中的至少一个当前采样，通过根据至少所述第一帧内方向和所述第二帧内方向而***方向来推导所述采样的帧内预测方向；以及

使用所推导的帧内预测方向并通过帧内预测来预测所述采样。

2.如权利要求1所述的方法，其中所推导的帧内方向是根据所述第一帧内方向、所述第二帧内方向以及用于第三控制点的第三帧内方向而被***的。

3.如权利要求1-2中任一权利要求所述的方法，其中至少所述第一控制点和所述第二控制点的位置在所述比特流中被用信号通告。

4.如权利要求1-3中任一权利要求所述的方法，其中至少所述第一帧内预测方向在所述比特流中被用信号通告。

5.如权利要求1-4中任一权利要求所述的方法，其中至少所述第一和第二控制点选自由包含以下各项的群组中选择的：位于所述块的左上角的第一控制点、位于所述块的右上角的第二控制点、位于所述块的左下角的第三控制点、位于所述块的右下角的第四控制点、在所述比特流中用信号通告的自定义控制点。

6.如权利要求1-5中任一权利要求所述的方法，其中所述第一控制点位于所述当前块的左上角，所述第二控制点位于所述当前块的右上角或左下角。

7.如权利要求6所述的方法，其中所述第二控制点的所述位置是基于所述当前块的最可能模式列表中的帧内模式确定的，所述列表是基于用于编码相邻块的帧内模式确定的，以及其中：

如果所述最可能模式中的大多数模式是水平而不是垂直的，那么所述第二控制点位于所述当前块的右上角；以及

如果所述最可能模式中的大多数模式是垂直而不是水平的，那么所述第二控制点位于所述当前块的左下角。

8.如权利要求1-7中任一权利要求所述的方法，其中所述当前采样处于所述当前块的当前子块中，所述方法进一步包括使用所推导的帧内预测方向来预测所述当前子块的所有采样。

9.如权利要求8所述的方法，其中所述当前块包括多个采样子块，所述方法进一步包括：

通过根据至少所述第一帧内方向和所述第二帧内方向而***相应方向来为每一个所述子块推导相应的帧内预测方向；以及

通过使用了相应的所推导的帧内预测方向并通过帧内预测来对每一所述个子块中的采样进行预测。

10.如权利要求1-9中任一权利要求所述的方法，其中所述第一和第二帧内方向是从最可能模式列表中选择的，所述列表是基于用于编码相邻块的帧内模式确定的。

11.如权利要求1-10中任一权利要求所述的方法，其中用于所述当前块的至少一个所述控制点的所述帧内方向被包含在用于对相邻块进行帧内编码的最可能模式列表中。

12.如权利要求1-11中任一权利要求所述的方法，其中至少所述第二帧内方向通过使用与第一帧内方向相对的差分编码而被编码在所述比特流中。

13.如权利要求1-3或5-12中任一权利要求所述的方法，进一步包括从与所述控制点相邻的模板区域的采样中推导出至少所述第一帧内方向。

14.如权利要求1-13中任一权利要求所述的方法，其中所述***是使用三角插值执行的。

15.如权利要求1-13中任一权利要求所述的方法，其中所述***是使用双线性插值执行的。

16.如权利要求1-15中任一权利要求所述的方法，其中所述比特流包括用于指示为所述当前块使用控制点帧内编码的标志。

17.如权利要求1-16中任一权利要求所述的方法，所述方法由视频编码器执行，所述方法进一步包括：确定所述采样的预测残差以及在所述比特流中编码所述预测残差。

18.如权利要求1-16中任一权利要求所述的方法，所述方法由视频解码器执行，所述方法进一步包括：对所述采样的预测残差进行解码，以及使用所述预测和所述残差来重建所述采样。

19.一种用于将视频编码到比特流中的编码器，其中所述视频包括多个帧，每一个帧包括采样块，所述编码器可通过操作来执行包含以下各项的功能：

针对至少当前块，识别至少第一控制点的第一帧内方向以及第二控制点的第二帧内方向；

针对所述当前块中的至少一个当前采样，通过根据至少所述第一帧内方向和所述第二帧内方向而***方向来推导所述采样的帧内预测方向；以及

使用所推导的帧内预测方向并通过帧内预测来预测所述采样。

20.一种用于从比特流中解码视频的解码器，其中所述视频包括多个帧，每一个帧包括采样块，所述编码器可通过操作来执行包含以下各项的功能：

针对至少当前块，识别至少第一控制点的第一帧内方向以及第二控制点的第二帧内方向；

针对所述当前块中的至少一个当前采样，通过根据至少所述第一帧内方向和所述第二帧内方向而***方向来推导所述采样的帧内预测方向；以及

使用所推导的帧内预测方向并通过帧内预测来预测所述采样。