CN103997645B - 一种快速的hevc帧内编码单元和模式决策方法 - Google Patents

Abstract

本发明涉及一种快速的高效视频编码(High Efficiency Video Coding，HEVC)帧内编码单元和模式决策方法，包括下列步骤：1)设置阈值的有效长度N；2)对于视频序列的第一帧正常编码，并将每个最大编码单元(Largest Coding Unit,LCU)最终的编码深度和离散化全变差(Discrete Total Variation,DTV)值存入缓存区中；3)统计缓存区中的DTV，根据深度范围得出阈值T1和阈值T2；4)对于余下N‑1帧，根据当前LCU的DTV值和阈值，跳过概率很小的深度，在每一深度搜索时采用基于方向梯度的快速模式搜索算法；5)将第N+1帧设置为首帧，重复1)、2)、3)、4)，直到编码完所有帧。该方法采用自适应的DTV阈值决策,减小宏块单元搜索的数量，采用基于方向梯度特征简化了模式搜索的过程，加快了编码速度。

Description

一种快速的HEVC帧内编码单元和模式决策方法

技术领域

本发明涉及一种快速的HEVC帧内编码单元和模式决策方法。

背景技术

作为新一代视频编码标准，高效视频编码(High Efficiency Video Coding，HEVC)相对于H.264/AVC，在很多方面有了革命性的变化。在HEVC中，将宏块的大小从H.264/AVC的16x16扩展到了64x64，以便于高分辨率视频的压缩。同时，采用了更加灵活的编码结构来提高编码效率，包括编码单元(Coding Unit,CU)、预测单元(Predict Unit,PU)和变换单元(Transform Unit,TU)。其中编码单元类似于H.264/AVC中的宏块的概念，用于编码的过程，预测单元是进行预测的基本单元，变换单元是进行变换和量化的基本单元。这三个单元的分离，使得变换、预测和编码各个处理环节更加灵活，也有利于各环节的划分更加符合视频图像的纹理特征，有利于各个单元更优化的完成各自的功能。

在现有的HEVC帧内编码中采用树形编码单元，每一个CU允许递归的分割为四个等同大小的块。在帧内预测中，每个深度层次支持两个PU大小：2N×2N和N×N。在当前的HEVC测试模型HM中，帧内编码支持4个深度层次：0,1,2,3，分别对应的CU大小为64×64,32×32,16×16,8×8。相比于H.264/AVC，编码深度层次的数量增加。此外，每个CU的预测模式也增加了，预测的方向更加细节，多至35种帧内预测模式，其具体情况可见附图2。因此帧内预测过程的计算复杂度急剧上升。

通常宏块比较平坦时，选择较小深度块的概率比较大，当宏块细节较多时，采用较大深度块较合适。如果对宏块的每一种模式都进行计算并比较率失真模型，不仅忽略了宏块本身的内容特点，而且计算量将比较大，因而速度慢，也不能保证视频解码后的质量。如果我们能快速预测出最终的帧内编码CU尺度和最优的预测模式，那么在帧内预测过程中就可以省去很多不必要的CU深度层次和模式的搜索过程，从而大大节省编码时间。

在H.264/AVC中，针对如何预测帧内编码的宏块和模式，许多学者提出了许多的的算法。如通过已编码的邻块来决定当前编码宏块的大小和最优模式，还有根据宏块的复杂度特性来决定当前宏块的大小，根据当前编码块的边缘信息、方向信息预测最优模式等等。这些都被应用到HEVC的帧内预测中。但是针对HEVC的新特性，一些特有针对性的方法也在推广中。

发明内容

本发明是提供一种快速的HEVC帧内编码单元和模式决策方法，可以减少HEVC帧内预测过程的编码复杂度。

本发明解决上述技术问题的技术方案如下：一种快速的HEVC帧内编码单元和模式决策方法，其特征在于，该方法具体步骤如下：

步骤一：设置阈值的有效长度N。N是一个控制参数，根据当前编码视频的特性设置，如果当前编码视频不同帧之间场景变换较快，则将N设为一个较小的数值，使阈值不断更新，如果当前视频的场景变换缓慢，邻帧之间差异很小，就可以将N设为一个较大的数值，增大阈值的更新周期；

步骤二：对于视频序列的第一帧正常编码，并在编码每个最大编码单元(LargestCoding Unit,LCU)时，计算其离散化全变差(Discrete Total Variation,DTV)值，其计算方式如下：

其中n为LCU的宽度和高度，I(i,j)表示在LCU中(i,j)位置处的像素值。并将当前LCU最终的编码深度大小和相应的DTV值存入缓存区中；

步骤三：对已编码的第一帧视频序列进行统计，根据DTV值将编码宏块深度分为三组：[0,2]、[1,3]、[2,3]，统计其中编码宏块深度最小值为1且最大值为3对应的LCU的DTV值，找出这些DTV中最小的DTV值记为分割第一组和第二组的阈值T1，找出最大的DTV为分割第二组和第三组的阈值T2；

步骤四：对于余下N-1帧根据阈值进行编码。先计算每个编码LCU的DTV，再根据DTV值设置宏块深度，如果当前LCU的DTV小于T1，将其分为第一组，即只对0、1、2三个CU深度进行模式搜索，其余深度跳过。当DTV介于T1和T2之间时，将其分为第二组，跳过0深度的搜索。当DTV大于T2时，跳过深度0和深度1的模式搜索。在对某一固定深度的编码单元进行模式搜索时，采用基于方向梯度的快速模式搜索算法；

步骤五：将第N+1帧设置为首帧，重复步骤二三四，直到编码完所有帧。

本发明的有益效果是：基于自适应DTV值的方法来预测当前CU的分块方式和基于方向梯度的快速模式搜索算法来预测最优模式，计算复杂度低，检测率高，方法简单高效明了，在保证编码质量几乎不损失的前提下极大地降低了HEVC帧内预测的时间复杂度。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述的模式选择是基于方向梯度的快速模式搜索算法进行的。具体步骤如下：

1).当当前预测单元(Predict Unit,PU)大小为4M×4M(M为不等于1的正整数)时,则对当前PU的邻域像素重构值进行下采样，将当前PU的邻域像素重构值从下往上、从左到右表示为Neighbor(i)(0≤i≤16M),将这16M+1个点下采样为17个点，下采样像素值表示为Down_Neighbor(j)(0≤j≤16)，下采样方式为：

AVG(Neighbor,N,M)表示对从Neighbor数组的Neighbor(N)开始之后的M个数求平均值；

2).当当前预测单元(Predict Unit,PU)大小为4M×4M(M为不等于1的正整数),则对当前PU下采样为4x4大小，每个下采样的P(x,y)点的像素值为原始PU中非重叠的M×M大小块的平均值。将1)中的17个下采样点表示为对应PU下采样的4x4块从下往上、从左到右的邻域重构值；

3).计算当前4x4预测单元如下方向的方向梯度，-45°，0°、45°、90°、135°，表示为G(-45°)、G(0°)、G(45°)、G(90°)、G(135°)，结合附图3，其计算方式如下，I(i,j)表示在4x4的PU中(i,j)位置处的像素值：

G(-45°)＝(|Down_Neighbor(2)-I(3,3)|+|Down_Neighbor(3)-I(3,2)|+|Down_Neighbor(3)-I(1,4)|+|Down_Neighbor(4)-I(2,2)|)/4

G(0°)＝(|Down_Neighbor(7)-I(1,2)|+|Down_Neighbor(7)-I(1,4)|+|Down_Neighbor(5)-I(3,2)|+|Down_Neighbor(5)-I(3,4)|)/4

G(45°)＝(|Down_Neighbor(7)-I(3,2)|+|Down_Neighbor(8)-I(2,2)|+|Down_Neighbor(8)-I(4,4)|+|Down_Neighbor(9)-I(2,3)|)/4

G(90°)＝(|Down_Neighbor(9)-I(2,1)|+|Down_Neighbor(9)-I(4,1)|+|Down_Neighbor(11)-I(2,3)|+|Down_Neighbor(11)-I(4,3)|)/4

G(135°)＝(|Down_Neighbor(12)-I(2,2)|+|Down_Neighbor(13)-I(2,3)|+|Down_Neighbor(13)-I(4,1)|+|Down_Neighbor(14)-I(3,3)|)/4

4).从上述的5个方向中选出梯度方向最小的两个方向，并将这两个方向、这两个方向的左邻域的两个方向、右邻域的两个方向、平面(Planar)模式、直流(direct current，DC)模式加入候选预测模式中；

5).对候选预测模式中的所有模式进行率失真优化(Rate-DistortionOptimization，RDO)运算，计算每个模式的率失真代价，选择代价最小的模式为当前PU的最优模式。

附图说明

图1为本发明涉及的一种快速的HEVC帧内编码单元和模式决策方法总流程图；

图2为本发明涉及HEVC帧内预测方向情况图；

图3为本发明涉及的基于方向梯度的快速模式搜索算法中的梯度方向计算方式；

图4为本发明涉及的基于方向梯度的快速模式搜索算法步骤流程图；

具体实施方式

以下结合附图，并根据HEVC的测试模型HM算法流程，对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

图1为本发明涉及的一种快速的HEVC帧内编码单元决策方法总流程图；图2为本发明涉及HEVC帧内预测方向情况图；图3为本发明涉及的基于方向梯度的快速模式搜索算法中的梯度方向计算方式；图4为本发明涉及的基于方向梯度的快速模式搜索算法步骤流程图；如图1、2、3、4所示，一种快速的HEVC帧内编码单元决策方法的具体步骤如下：

由用户提供待测试视频。

步骤一:设置阈值的有效长度N。N是一个控制参数，根据当前编码视频的特性设置，如果当前编码视频不同帧之间场景变换较快，则将N设为一个较小的数值，使阈值不断更新，如果当前视频的场景变换缓慢，邻帧之间差异很小，就可以将N设为一个较大的数值，增大阈值的更新周期，一般可以取50。

步骤二：对于视频序列的第一帧正常编码，并在编码每个最大编码单元(LargestCoding Unit,LCU)时，计算其离散化全变差(Discrete Total Variation,DTV)值，其计算方式如下：

其中n为LCU的宽度和高度，I(i,j)表示在LCU中(i,j)位置处的像素值。并将当前LCU最终的编码深度大小和相应的DTV值存入缓存区中。

步骤三：对已编码的第一帧视频序列进行统计，根据DTV值将编码宏块深度分为三组：[0,2]、[1,3]、[2,3]，统计其中编码宏块深度最小值为1且最大值为3对应的LCU的DTV值，找出这些DTV中最小的DTV值记为分割第一组和第二组的阈值T1，找出最大的DTV为分割第二组和第三组的阈值T2。

步骤四：对于余下N-1帧根据阈值进行编码。先计算每个编码LCU的DTV，再根据DTV值设置宏块深度，如果当前LCU的DTV小于T1，将其分为第一组，即只对0、1、2三个CU深度进行模式搜索，其余深度跳过。当DTV介于T1和T2之间时，将其分为第二组，跳过0深度的搜索。当DTV大于T2时，跳过深度0和深度1的模式搜索。在对某一固定深度的编码单元进行模式搜索时，采用基于方向梯度的快速模式搜索算法，具体步骤如下：

1).当当前预测单元(Predict Unit,PU)大小为4M×4M(M为不等于1的正整数)时,则对当前PU的邻域像素重构值进行下采样，将当前PU的邻域像素重建值从下往上、从左到右表示为Neighbor(i)(0≤i≤16M),将这16M+1个点下采样为17个点，下采样像素值表示为Down_Neighbor(j)(0≤j≤16)，下采样方式为：

AVG(Neighbor,N,M)表示对从Neighbor数组的Neighbor(N)开始的M个数求平均值；

2).当当前预测单元(Predict Unit,PU)大小为4M×4M(M为不等于1的正整数),则对当前PU下采样为4x4大小，每个下采样的P(x,y)点的像素值为原始PU中非重叠的M×M大小块的平均值。将1)中的17个下采样点表示为对应PU下采样的4x4块从下往上、从左到右的邻域重构值；

3).计算当前4x4预测单元如下方向的方向梯度，-45°，0°、45°、90°、135°，这五个方向分别对应为为附图2中的模式2、10、18、26、34，其方向梯度分别表示为G(-45°)、G(0°)、G(45°)、G(90°)、G(135°)，其计算方式如附图中的图3如下，I(i,j)表示在4x4的PU中(i,j)位置处的像素值。：

G(-45°)＝(|Down_Neighbor(2)-I(3,3)|+|Down_Neighbor(3)-I(3,2)|+|Down_Neighbor(3)-I(1,4)|+|Down_Neighbor(4)-I(2,2)|)/4

G(0°)＝(|Down_Neighbor(7)-I(1,2)|+|Down_Neighbor(7)-I(1,4)|+|Down_Neighbor(5)-I(3,2)|+|Down_Neighbor(5)-I(3,4)|)/4

G(45°)＝(|Down_Neighbor(7)-I(3,2)|+|Down_Neighbor(8)-I(2,2)|+|Down_Neighbor(8)-I(4,4)|+|Down_Neighbor(9)-I(2,3)|)/4

G(90°)＝(|Down_Neighbor(9)-I(2,1)|+|Down_Neighbor(9)-I(4,1)|+|Down_Neighbor(11)-I(2,3)|+|Down_Neighbor(11)-I(4,3)|)/4

G(135°)＝(|Down_Neighbor(12)-I(2,2)|+|Down_Neighbor(13)-I(2,3)|+|Down_Neighbor(13)-I(4,1)|+|Down_Neighbor(14)-I(3,3)|)/4

4).从上述的5个方向中选出梯度方向最小的两个方向，并将这两个方向、这两个方向的左邻域的两个方向、右邻域的两个方向、附图2中的模式0—平面(Planar)模式、附图2中的模式1—直流(direct current，DC)模式加入候选预测模式中；

5).对候选预测模式中的所有模式进行率失真优化(Rate-DistortionOptimization，RDO)运算，计算每个模式的率失真代价，选择代价最小的模式为当前PU的最优模式。

步骤五：将第N+1帧设置为首帧，重复步骤二三四，直到编码完所有帧。

以上所述仅为本发明的较佳实施例子，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种快速的高效视频编码(High Efficiency Video Coding，HEVC)帧内编码单元和模式决策方法，其特征在于，该方法具体步骤如下：

步骤一:设置阈值的有效长度N，N是一个控制参数，根据当前编码视频的特性设置，如果当前编码视频不同帧之间场景变换较快，则将N设为一个较小的数值，使阈值不断更新，如果当前视频的场景变换缓慢，邻帧之间差异很小，就可以将N设为一个较大的数值，增大阈值的更新周期；

步骤二：对于视频序列的第一帧正常编码，并在编码每个最大编码单元(LargestCoding Unit,LCU)时，计算其离散化全变差(Discrete Total Variation,DTV)值，其计算方式如下：

${\mathrm{DTV}}_{block}=\underset{i=0}{\overset{n-1}{\Σ}}\underset{j=0}{\overset{n-1}{\Σ}}\left(\right|I\left(i,j\right)-I\left(i+1,j\right)|+|I\left(i,j\right)-I\left(i,j+1\right)\left|\right)$

其中n为LCU的宽度和高度，I(i,j)表示在LCU中(i,j)位置处的像素值，并将当前LCU最终的编码深度大小和相应的DTV值存入缓存区中；

步骤三：对已编码的第一帧视频序列进行统计，根据DTV值将编码宏块深度分为三组：[0,2]、[1,3]、[2,3]，统计其中编码宏块深度最小值为1且最大值为3对应的LCU的DTV值，找出这些DTV中最小的DTV值记为分割第一组和第二组的阈值T1，找出最大的DTV为分割第二组和第三组的阈值T2；

步骤四：对于余下N-1帧根据阈值进行编码，先计算每个编码LCU的DTV，再根据DTV值设置宏块深度，如果当前LCU的DTV小于T1，将其分为第一组，即只对0、1、2三个CU深度进行模式搜索，其余深度跳过；当DTV介于T1和T2之间时，将其分为第二组，跳过0深度的搜索；当DTV大于T2时，跳过深度0和深度1的模式搜索；在对某一固定深度的编码单元进行模式搜索时，采用基于方向梯度的快速模式搜索算法；

步骤五：将第N+1帧设置为首帧，重复步骤二三四，直到编码完所有帧。

2.根据权利要求1所述一种快速的HEVC帧内编码单元和模式决策方法，其特征在于，步骤四中HEVC的宏块模式选择是基于方向梯度的快速模式搜索算法，其步骤如下：

1).当当前预测单元(Predict Unit,PU)大小为4M×4M(M为不等于1的正整数)时,则对当前PU的邻域像素重构值进行下采样，将当前PU的邻域像素重建值从下往上、从左到右表示为Neighbor(i)(0≤i≤16M),将这16M+1个点下采样为17个点，下采样像素值表示为Down_Neighbor(j)(0≤j≤16)，下采样方式为：

$Down\_Neighbor\left(j\right)\left\{\begin{array}{cc}AVG(Neighbor,j\×M,M)& (0\≤j\≤7)\\ Neighbor(8\×M)& (j=8)\\ AVG(Neighbor,j\×M+1,M)& (9\≤j\≤16)\end{array}\right.$

AVG(Neighbor,N,M)表示对从Neighbor数组的Neighbor(N)开始之后的M个数求平均值；2).当当前预测单元(Predict Unit,PU)大小为4M×4M(M为不等于1的正整数),则对当前PU下采样为4x4大小，每个下采样的P(x,y)点的像素值为原始PU中非重叠的M×M大小块的平均值，将1)中的17个下采样点表示为对应PU下采样的4x4块从下往上、从左到右的邻域重构值；

3).计算当前4x4预测单元如下方向的方向梯度，-45°，0°、45°、90°、135°，表示为G(-45°)、G(0°)、G(45°)、G(90°)、G(135°)，其计算方式如下，I(i,j)表示在4x4的PU中(i,j)位置处的像素值:

G(-45°)＝(|Down_Neighbor(2)-I(3,3)|+|Down_Neighbor(3)-I(3,2)|+|Down_Neighbor(3)-I(1,4)|+|Down_Neighbor(4)-I(2,2)|)/4

G(0°)＝(|Down_Neighbor(7)-I(1,2)|+|Down_Neighbor(7)-I(1,4)|+|Down_Neighbor(5)-I(3,2)|+|Down_Neighbor(5)-I(3,4)|)/4

G(45°)＝(|Down_Neighbor(7)-I(3,2)|+|Down_Neighbor(8)-I(2,2)|+|Down_Neighbor(8)-I(4,4)|+|Down_Neighbor(9)-I(2,3)|)/4

G(90°)＝(|Down_Neighbor(9)-I(2,1)|+|Down_Neighbor(9)-I(4,1)|+|Down_Neighbor(11)-I(2,3)|+|Down_Neighbor(11)-I(4,3)|)/4

G(135°)＝(|Down_Neighbor(12)-I(2,2)|+|Down_Neighbor(13)-I(2,3)|+|Down_Neighbor(13)-I(4,1)|+|Down_Neighbor(14)-I(3,3)|)/4

4).从上述的5个方向中选出梯度方向最小的两个方向，并将这两个方向、这两个方向的左邻域的两个方向、右邻域的两个方向、平面(Planar)模式、直流(direct current，DC)模式加入候选预测模式中；

5).对候选预测模式中的所有模式进行率失真优化(Rate-Distortion Optimization，RDO)运算，计算每个模式的率失真代价，选择代价最小的模式为当前PU的最优模式。

3.根据权利要求1所述一种快速的HEVC帧内编码单元和模式决策方法，其特征在于，HEVC的宏块大小是根据当前编码LCU的DTV值大小选择的。

4.根据权利要求1所述一种快速的HEVC帧内编码单元和模式决策方法，其特征在于，所述的DTV阈值是自适应的，而不是由经验直接设置的。

5.根据权利要求1所述一种快速的HEVC帧内编码单元和模式决策方法，其特征在于，所述的DTV阈值T1和T2，在编码过程中是不断更新的，其更新的周期是根据步骤一中设置的阈值的有效长度N决定的。