CN105491390B - 混合视频编码标准中帧内预测方法 - Google Patents

Abstract

混合视频编码标准中的帧内预测方法，属于视频编码领域。本发明的目的是为了有效地处理视频序列中存在的复杂块，如由于物体或者摄像机运动导致的视频模糊，多方向的复杂块等，而提出一种混合视频编码标准中帧内预测方法，以进一步提升视频编码的性能。该帧内预测方法，利用两个不同的预测模式来得到两个不同的预测值。通过对这两个预测值进行加权得到当前编码块的一个新的预测。获取当前编码块的周围若干个相邻已编码块的帧内编码模式信息，选择其中一个模式为模式一；在模式一的基础上，选择另外一个帧内模式为模式二。利用两个不同预测模式合成的预测值，能够处理视频序列中的复杂块，从而使得编码效率得到进一步提高。

Description

混合视频编码标准中帧内预测方法

技术领域

本发明涉及一种混合视频编码标准中帧内预测方法，属于视频编码领域。

背景技术

随着人们对视频显示质量要求的提高，高清和超高清视频等新视频应用形式应运而生。在这种高分辨率高质量视频欣赏应用越来越广泛的情况下，如何增强视频压缩效率变得至关重要。图像与视频在数字化过程中，产生了大量的数据冗余，这使得视频压缩技术成为了可能。一般而言，冗余类型至少包括空间冗余、时间冗余、信息熵冗余。对于空间冗余的消除，一般采用基于预测的方法，即帧内预测编码。其基本思想是利用当前编码块周围已经重建的像素值，通过基于方向的插值生成当前块的预测值。得到预测块之后，当前块与预测块的差值也就是残差块相比于原始编码块更易于编码，帧内预测有效地降低了视频编码中的空域冗余。由于现有的视频编码标准中的帧内预测采用的基于单方向的插值预测，该方法无法对复杂的块进行预测。

为了处理视频序列中的复杂编码块，Y.Ye and M.Karczewicz,“Improved H.264intra coding based on bi-directional intra prediction,directional transform,and adaptive coefficient scanning,”in Proc.IEEE Int.Conf.Image Process.,Oct.2008,pp.2116–2119.提出双向帧内预测编码方法。该方法基于H.264/AVC视频编码标准中的9种预测模式，选出一定数目的两种模式的结合。对于每个结合，一个离线训练的权值表用于加权平均这两种模式产生的预测值。仍存在视频的编码性能较差的问题。

发明内容

本发明的目的是为了有效地处理视频序列中的复杂块，而提出一种混合视频编码标准中帧内预测方法，以进一步提升视频的编码性能。

本发明为解决上述技术问题采取的技术方案是：

一种混合视频编码标准中帧内预测方法，所述预测方法用于描述视频序列中存在的复杂的编码块，所述预测方法的实现过程为：

步骤一：获取当前编码块的周围若干个相邻已编码块的帧内编码模式，当前编码块的尺寸为W*H，W为当前编码块的宽，H为当前编码块的高；周围若干个相邻已编码块称为邻近编码块；

步骤二：根据步骤一获取的邻近编码块的帧内编码模式来获取当前编码块的编码模式一的集合；

步骤三：根据编码模式一的集合中各个模式一来获取对应的模式二：选取离模式一在方向上最近的另外两个模式中的一个为模式二，或者选取与模式一相结合后具有最小预测失真的模式为模式二，

根据步骤二获取的编码模式一的集合，对编码模式一集合中的每个模式获取当前编码块的另外一个编码模式的集合，即编码模式二的集合；合并模式一的集合和模式二的集合，得到一个二元组集合，每个二元组包含两个相关的模式一和模式二；

步骤四：针对步骤三产生的二元组集合中的每个模式组合，用当前块周围相邻的像素插值得到两个不同的预测块；当前编码块的一个双向预测结果为这个两个不同预测块的加权平均块；选择最优的模式一和模式二的组合来对当前块进行预测；

步骤五：对编码单元中的亮度块和色度块分别进行最优预测模式的选取；

步骤六：对编码单元中的亮度块和色度块的编码模式分别进行编码。

在步骤一中，所述邻近编码块是当前编码块的左边，上边，左下，右上已经编码的帧内编码块；

步骤二所述获取当前编码块的编码模式一的集合原则为：

选取步骤一中获取的邻近编码块使用模式最多的几个模式为模式一，或者选择当前编码块左边和上边的邻近编码块的模式为模式一，或者选择这些邻近块中的任意一个块的模式为模式一，或者选择这些邻近块的模式的一个子集为模式一，或者为每个邻近编码块指定一个权值，将具有相同帧内编码模式的邻近编码块的权值累加，选取步骤一中获取的邻近编码块的权值最大的几个模式为模式一。

在步骤三中，针对每个模式一获取当前编码块的模式二的实现过程为：

选取与当前模式一方向最近的两个编码模式为模式二，具体过程为：模式一用mode1表示，如果模式一的模式是在3与33之间，模式二被选取为mode1-1和mode1+1；如果mode1的值是2或者34，模式二被选取为3和33；如果mode1的值是DC模式或者PLANAR模式，模式二被选取为10(水平模式)和26(垂直模式)；

或选取与模式一相结合后具有最小预测失真的模式为模式二，其实现过程是：针对每个模式一，获取所有剩余帧内编码模式对应的预测值，然后将模式一的预测值与每个剩余帧内模式对应的预测进行加权平均，选择与模式一加权平均后与当前编码块失真最小的编码模式为模式二；编码块与预测块的失真的准则可以是：最小均方误差，最小Hadamard误差或率失真优化准则。

在步骤四中，对二元组集合中的每个编码模式组进行编码测试时，选择最优的模式组来对当前块进行预测；选择最优的模式组可采用最小均方误差、最小Hadamard误差或率失真优化准则。

在步骤四中，对两个不同的预测模式产生的预测进行加权过程是：对不同的预测模式的预测块给予不用的权值；所述加权平均可以采用给这两种不同的预测块相同的权值，也就是对它们进行平均来获得当前编码块的预测块；或者根据不同预测模式的重要性赋予不同的权值，或者根据不用预测模式生成预测的准确性赋予不同的权值，或者设定一些概率较高的权值，用搜索遍历的方式获得最佳的权值。

在步骤五中，对于编码单元中的亮度块和色度块选择最佳预测模式的过程是：针对亮度块，其最优的预测模式是从原始的单向预测模式和双向预测模式中进行选取，选取的准则是最小率失真准则；而对于色度块，如果其对应的亮度块选择双向预测为最佳预测模式，则当前色度块的最优预测模式是选择其对应亮度块的两个预测模式。

在步骤六中：对编码单元中的亮度块和色度块的编码模式分别进行编码，其具体过程为：

如果当前帧内编码模式为双向预测，该双向预测中的两个编码模式，即模式一和模式二需要进行编码；模式一来自于邻近编码块，直接编码被选择的邻近块的索引。

针对亮度块，当模式一是从当前块的左边或者上边选取得到，则1个比特的符号就可以用来表示选中的模式来自左边还是上边；编码模式二是基于模式一得到的，同样地，一个比特的符号可以用来表示被选取得模式是模式一邻近模式中的哪一个；

针对色度块，如果当前亮度块选择双向预测，色度块的预测模式将被设定为双向预测模式，其对应的两个预测模式直接来着亮度块，无需要对预测模式进行编码；如果当前亮度块选择原始的单向预测，色度块将从原始的五个预测模式中进行选取。

本发明的有益效果是：

本发明预测方法可以有效地处理视频序列中存在的复杂块，如由于物体或者摄像机运动导致的视频模糊，多方向的复杂块等。本发明是利用相邻已编码块的帧内模式信息来得到当前编码块的两个模式，基于这两个模式的双向预测能够预测视频序列中的复杂块，如具有多个方向的块，物体和摄像机运动造成的模糊的块，从而使帧内预测性能得到提升，编码效率得到进一步提高。

该帧内预测方法，利用两个不同的预测模式来得到两个不同的预测值。通过对这两个预测值进行加权得到当前编码块的一个新的预测。获取当前编码块的周围若干个相邻已编码块的帧内编码模式信息，选择其中一个模式为模式一；在模式一的基础上，选择另外一个帧内模式为模式二。利用两个不同预测模式合成的预测值，能够处理视频序列中的复杂块，从而使得编码效率得到进一步提高。

与以前提出的方法不同的是，本发明方案在进行双向预测时，不需要进行权值表的训练及保存。本发明方案的双向预测模式中的两个不同模式都是基于当前块的邻近块得到的，因此编码这两个模式的比特开销少。此外，本发明方案需要进行测试的不同模式的组合数目较少，因为编码的复杂度较低。

附图说明

图1为本发明实施方式二中当前块(C)，左边的邻近块(L)和上边的邻近块(A)的位置关系图。

图2为本发明实施方式三中针对当前编码块的编码模式一，其候选的编码模式二与模式一的关系图。在图中模式一为3，模式二为与其角度最近的模式2或者4。

具体实施方式

具体实施方式一：本实施方式所述的混合视频编码标准中帧内预测方法用于预测视频序列中存在的复杂编码块，所述预测方法基于原始编码标准中的基于方向的帧内预测方法(所述预测方法基于单方向帧内预测算法实现的)，

所述的预测方法，我们称之为基于邻近编码模式的双向预测方法，简称为双向预测。该双向预测方法有两个编码模式构成，即模式一和模式二；所述预测方法的实现过程为：

步骤一：获取当前编码块的周围若干个相邻已编码块的帧内编码模式，当前编码块的尺寸为W*H，W为当前编码块的宽，H为当前编码块的高；周围若干个相邻已编码块称为邻近编码块；

步骤二：根据步骤一获取的邻近编码块的帧内编码模式来获取当前编码块的编码模式一的集合；

步骤三：根据编码模式一的集合中各个模式一来获取对应的模式二：选取离模式一在方向上最近的另外两个模式中的一个为模式二，或者选取与模式一相结合后具有最小预测失真的模式为模式二；根据步骤二获取的编码模式一的集合，对编码模式一集合中的每个模式获取当前编码块的另外一个编码模式的集合，即编码模式二的集合；合并模式一的集合和模式二的集合，得到一个二元组集合，每个二元组包含两个相关的模式一和模式二；

步骤四：针对步骤三产生的二元组集合中的每个模式组合，用当前块周围相邻的像素插值得到两个不同的预测块；当前编码块的一个双向预测结果为这个两个不同预测块的加权平均块；选择最优的模式一和模式二的组合来对当前块进行预测；

步骤五：针对编码单元中的亮度块和色度块分别进行最优预测模式的选取；

步骤六：对编码单元中的亮度块和色度块的编码模式分别进行编码。

具体实施方式二：本实施方式所述的混合视频编码标准中帧内预测方法，其特征在于：

步骤一中，所述邻近编码块是当前编码块的左边，上边，左下，右上已经编码的帧内编码块，如图1所示我们可以选择当前块左边块L和上边块A；

还支持选择更多数目的邻近块来获取当前编码块的帧内预测模式一，除了左边，上边，左下，右上的邻近块，其他位置的邻近块也同样支持；

步骤二所述获取当前编码块的编码模式一的集合原则为：

选取步骤一中获取的邻近编码块使用模式最多的几个模式为模式一，或者选择当前编码块左边和上边的邻近编码块的模式为模式一，或者选择这些邻近块中的任意一个块的模式为模式一，或者选择这些邻近块的模式的一个子集为模式一，或者为每个邻近编码块指定一个权值，将具有相同帧内编码模式的邻近编码块的权值累加，选取步骤一中获取的邻近编码块的权值最大的几个模式为模式一；如图1，可以选择当前块左边块L和上边块A对应的帧内预测模式为当前块的帧内编码模式一。

其它步骤与具体实施方式一相同。

具体实施方式三：如图2所示，本实施方式所述的混合视频编码标准中帧内预测方法，在步骤三中，所述获取当前编码块的帧内编码模式二的过程是：

选取与当前模式一方向最近的两个编码模式为模式二。实现过程为，如果模式一(mode1)的模式是在3与33之间，模式二被选取为mode1-1和mode1+1；如果mode1的值是2或者34，模式二被选取为3和33；如果mode1的值是DC模式或者PLANAR模式，模式二被选取为10(水平模式)和26(垂直模式)。

或者，在步骤三中，所述获取当前编码块的帧内编码模式二的过程是：

选取与模式一相结合后具有最小预测失真的模式为模式二的实现过程是：针对每个模式一，获取所有剩余帧内编码模式对应的预测值，然后将模式一的预测值与每个剩余帧内模式对应的预测进行加权平均，选择与模式一加权平均后与当前编码块失真最小的编码模式为模式二。这里编码块与预测块的失真的准则可以是：最小均方误差，最小Hadamard误差或率失真优化准则。

其它步骤与具体实施方式一或二相同。

具体实施方式四：本实施方式所述的混合视频编码标准中帧内预测方法，在步骤四中，对二元组集合中的每个编码模式组进行编码测试时选择最优的模式组来对当前块进行预测。选择最优的模式组可以通过：最小均方误差，最小Hadamard误差或率失真优化准则。其它步骤与具体实施方式一、二或三相同。

具体实施方式五：本实施方式所述的混合视频编码标准中帧内预测方法，在步骤四中，对两个不同的预测模式产生的预测进行加权过程是：对不同的预测模式的预测块给予不用的权值。这里的加权平均可以采用给这两种不同的预测块相同的权值，也就是对它们进行平均来获得当前编码块的预测块。或者根据不同预测模式的重要性赋予不同的权值，或者根据不同预测模式生成预测的准确性赋予不同的权值，或者设定一些概率较高的权值，用搜索遍历的方式获得最佳的权值。其它步骤与具体实施方式一、二、三或四相同。

具体实施方式六：本实施方式所述的混合视频编码标准中帧内预测方法，在步骤五中，对于编码单元中的亮度块和色度块选择最佳预测模式的过程是：针对亮度块，其最优的预测模式是从原始的单向预测模式和本发明给出的双向预测模式中进行选取，选取的准则是最小率失真准则。而对于色度块，如果其对应的亮度块选择双向预测为最佳预测模式，则当前色度块的最优预测模式是选择其对应亮度块的两个预测模式。其它步骤与具体实施方式一、二、三、四或五相同。

具体实施方式七：本实施方式所述的混合视频编码标准中帧内预测方法，帧内模式编码方法是：如果当前帧内编码模式为双向预测，该双向预测中的两个编码模式，即模式一和模式二需要进行编码。模式一来自于邻近编码块，直接编码被选择的邻近块的索引。其它步骤与具体实施方式一、二、三、四、五或六相同。

具体实施方式八：本实施方式中，模式一是从当前块的左边或者上边选取得到，则1个比特的符号就可以用来表示选中的模式来自左边还是上边。编码模式二是基于模式一得到的，同样地，一个比特的符号可以用来表示被选取得模式是模式一邻近模式中的哪一个。针对色度块，如果当前亮度块选择双向预测，色度块的预测模式将被设定为双向预测模式，其对应的两个预测模式直接来着亮度块。因此不需要对预测模式进行编码。如果当前亮度块选择原始的单向预测，色度块将从原始的五个预测模式中进行选取。其它步骤与具体实施方式一、二、三、四、五、六或七相同。

实施例

实施例一：

给出混合视频编码标准中帧内预测方法的具体实现步骤：

步骤一：获取当前编码块(尺寸为W*H，W为当前编码块的宽，H为当前编码块的高)左边相邻块和上方相邻块的编码模式modeL和modeA；

步骤二：根据步骤一获取的邻近编码块的编码模式来获取当前编码块的模式一。如果modeL与modeA相等，则当前编码块的模式一的集合为{modeL}；如果modeL与modeA不相等，则当前编码块的模式一的集合是{modeL，modeA}；

步骤三：根据步骤二获取的当前编码块的模式一集合，来得到当前编码块的模式二。对于模式一集合中的每个模式modei,如果modei是在3与33之间，模式二被选取为modei-1和modei+1；如果modei的值是2或者34，模式二被选取为3和33；如果modei的值是DC模式或者PLANAR模式，模式二被选取为10(水平模式)和26(垂直模式)。针对模式一集合中的每个模式选择其对应的模式二的集合，可以得到一个模式一和模式二结合的二元组集合，集合中高端每个元素由相对应的模式一和模式二构成，即(mode1,mode2)。

步骤四：针对步骤三产生的二元组集合中的每个模式组合(mode1，mode2)，用当前块周围相邻的像素插值得到两个不同的预测块分别是pred1和pred2。当前编码块的一个双向预测结果pred为这个两个不同预测块的平均，即pred＝(pred1+pred2+1)>>1，利用率失真优化选择最优的模式一和模式二的组合来对当前块进行预测。

步骤五：针对编码单元中的亮度块和色度块分别进行最优预测模式的选取。针对亮度块，其最优的预测模式是从原始的单向预测模式和本发明给出的双向预测模式中进行选取，选取的准则是最小率失真准则。而对于色度块，如果其对应的亮度块选择双向预测为最佳预测模式，则当前色度块的最优预测模式是选择其对应亮度块的两个预测模式。

步骤六：对编码单元中的亮度块和色度块的编码模式分别进行编码。如果当前帧内编码模式为双向预测，该双向预测中的两个编码模式，即模式一和模式二需要进行编码。模式一来自于邻近编码块，直接编码被选择的邻近块的索引。例如，模式一是从当前块的左边或者上边选取得到，则1个比特的符号就可以用来表示选中的模式来自左边还是上边。编码模式二是基于模式一得到的，同样地，一个比特的符号可以用来表示被选取得模式是模式一邻近模式中的哪一个。针对色度块，如果当前亮度块选择双向预测，色度块的预测模式将被设定为双向预测模式，其对应的两个预测模式直接来着亮度块。因此不需要对预测模式进行编码。如果当前亮度块选择原始的单向预测，色度块将从原始的五个预测模式中进行选取。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。本发明的范围最好是参考附加的权利要求。对于本所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明所提交的权利要求书确定的专利保护范围。

实施例一在VC-0.4(在HEVC的测试模型HM12.0添加了一些技术的测试模型)上实现，并按照VC266通测条件测试，VC266通测条件参考VC266 Study Group,“Test conditionand evaluation methodology”,VC-02-N005,VC266 2th Meeting:Suzhou,Mar.2015.

实施例一的实验结果如表1所示，由表1可知，与VC-0.4相比，在All Intra Main_HighBitrate(AI-HR)配置条件下，针对Y，U和V分量平均有0.8％，0.6％和1.1％的BD比特率节省，在All Intra Main_LowBitrate(AI-LR)配置条件下，针对Y，U和V分量平均有0.7％，0.4％和0.6％的BD比特率节省。BD比特率表示在同样的客观质量下两种方法的码率节省情况，参考G.“Calculation of average PSNR differences between RD-Curves,”ITU-T SG16 Q.6 Document,VCEG-M33,Austin,US,April 2001。

表1.实施例一相对于VC-0.4的BD比特率性能

Claims (8)

1.一种混合视频编码标准中帧内预测方法，所述预测方法用于描述视频序列中存在的复杂的编码块，其特征在于，所述预测方法的实现过程为：

步骤一：获取当前编码块的周围若干个相邻已编码块的帧内编码模式，当前编码块的尺寸为W*H，W为当前编码块的宽，H为当前编码块的高；周围若干个相邻已编码块称为邻近编码块；

步骤二：根据步骤一获取的邻近编码块的帧内编码模式来获取当前编码块的编码模式一的集合；

步骤三：根据编码模式一的集合中各个模式一来获取对应的模式二：选取离模式一在方向上最近的另外两个模式中的一个为模式二，或者选取与模式一相结合后具有最小预测失真的模式为模式二，

根据步骤二获取的编码模式一的集合，对编码模式一集合中的每个模式获取当前编码块的另外一个编码模式的集合，即编码模式二的集合；合并模式一的集合和模式二的集合，得到一个二元组集合，每个二元组包含两个相关的模式一和模式二；

步骤四：针对步骤三产生的二元组集合中的每个模式组合，用当前块周围相邻的像素插值得到两个不同的预测块；当前编码块的一个双向预测结果为这个两个不同预测块的加权平均块；选择最优的模式一和模式二的组合来对当前块进行预测；

步骤五：对编码单元中的亮度块和色度块分别进行最优预测模式的选取；

步骤六：对编码单元中的亮度块和色度块的编码模式分别进行编码。

2.根据权利要求1所述的混合视频编码标准中帧内预测方法，其特征在于：

在步骤一中，所述邻近编码块是当前编码块的左边，上边，左下，右上已经编码的帧内编码块；

步骤二所述获取当前编码块的编码模式一的集合原则为：

选取步骤一中获取的邻近编码块使用模式最多的几个模式为模式一，或者选择当前编码块左边和上边的邻近编码块的模式为模式一，或者选择这些邻近块中的任意一个块的模式为模式一，或者选择这些邻近块的模式的一个子集为模式一，或者为每个邻近编码块指定一个权值，将具有相同帧内编码模式的邻近编码块的权值累加，选取步骤一中获取的邻近编码块的权值最大的几个模式为模式一。

3.根据权利要求1所述的混合视频编码标准中帧内预测方法，其特征在于：在步骤三中，针对每个模式一获取当前编码块的模式二的实现过程为：

选取与当前模式一方向最近的两个编码模式为模式二，具体过程为：模式一用mode1表示，如果模式一的模式是在3与33之间，模式二被选取为mode1-1和mode1+1；如果mode1的值是2或者34，模式二被选取为3和33；如果mode1的值是DC模式或者PLANAR模式，模式二被选取为10和26；

或选取与模式一相结合后具有最小预测失真的模式为模式二，其实现过程是：针对每个模式一，获取所有剩余帧内编码模式对应的预测值，然后将模式一的预测值与每个剩余帧内模式对应的预测进行加权平均，选择与模式一加权平均后与当前编码块失真最小的编码模式为模式二；编码块与预测块的失真的准则可以是：最小均方误差，最小Hadamard误差或率失真优化准则。

4.根据权利要求1所述的混合视频编码标准中帧内预测方法，其特征在于：在步骤四中，对二元组集合中的每个编码模式组进行编码测试时，选择最优的模式组来对当前块进行预测；选择最优的模式组可采用最小均方误差、最小Hadamard误差或率失真优化准则。

5.根据权利要求1所述的混合视频编码标准中帧内预测方法，其特征在于：在步骤四中，对两个不同的预测模式产生的预测进行加权过程是：对不同的预测模式的预测块给予不同的权值；所述加权平均可以采用给这两种不同的预测块相同的权值，也就是对它们进行平均来获得当前编码块的预测块；或者根据不同预测模式的重要性赋予不同的权值，或者根据不同预测模式生成预测的准确性赋予不同的权值，或者设定一些概率较高的权值，用搜索遍历的方式获得最佳的权值。

6.根据权利要求5所述的混合视频编码标准中帧内预测方法，其特征在于：在步骤五中，对于编码单元中的亮度块和色度块选择最佳预测模式的过程是：针对亮度块，其最优的预测模式是从原始的单向预测模式和双向预测模式中进行选取，选取的准则是最小率失真准则；而对于色度块，如果其对应的亮度块选择双向预测为最佳预测模式，则当前色度块的最优预测模式是选择其对应亮度块的两个预测模式。

7.根据权利要求1或6所述混合视频编码标准中帧内预测方法，其特征在于：

在步骤六中：对编码单元中的亮度块和色度块的编码模式分别进行编码，其具体过程为：

如果当前帧内编码模式为双向预测，该双向预测中的两个编码模式，即模式一和模式二需要进行编码；模式一来自于邻近编码块，直接编码被选择的邻近块的索引。

8.根据权利要求7所述混合视频编码标准中帧内预测方法，其特征在于：

针对亮度块，当模式一是从当前块的左边或者上边选取得到，则1个比特的符号就可以用来表示选中的模式来自左边还是上边；编码模式二是基于模式一得到的，同样地，一个比特的符号可以用来表示被选取得模式是模式一邻近模式中的哪一个；

针对色度块，如果当前亮度块选择双向预测，色度块的预测模式将被设定为双向预测模式，其对应的两个预测模式直接来着亮度块，无需要对预测模式进行编码；如果当前亮度块选择原始的单向预测，色度块将从原始的五个预测模式中进行选取。