CN106937116A - 基于随机训练集自适应学习的低复杂度视频编码方法 - Google Patents

Abstract

本发明公开了一种基于随机训练集自适应学习的低复杂度视频编码方法。本发明包括学习编码方法和快速编码方法。首先将视频序列按帧率进行分组，每组视频帧的前二帧为学习编码帧，用于参数学习，后续帧为快速编码帧。根据学习编码帧得到的视频编码参数，优化视频编码的CU划分方法和PU划分方法。作CU划分时，对于非最小尺寸的CU提前结束划分或者跳过当前CU的率失真计算作直接划分。作帧内预测时，对最小尺寸8×8的CU对应的PU，提前判定其划分模式或跳过当前PU的率失真计算直接判定其划分模式。因此，本发明大大减少了HEVC视频编码中的CU划分判定和PU划分判定的复杂度。在保持编码质量的前提下，有效地提高了HEVC的编码效率。

Description

基于随机训练集自适应学习的低复杂度视频编码方法

技术领域

本发明属于高效视频编码(HEVC)技术领域，尤其涉及一种基于随机训练集自适应学习的低复杂度视频编码方法。

背景技术

近年来，随着高清、超高清视频(分辨率达4K×2K、8K×4K)应用走进人们的视野，视频压缩技术受到了巨大的挑战。此外，各式各样的视频应用也随着网络和存储技术的发展不断涌现。视频应用的多样化和高清趋势对视频压缩性能提出了更高的要求。为此，2010年4月ITU-T的视频编码专家组(VCEG)和ISO/IEC的运动图像专家组(MPEG)成立了视频编码联合组(JCT-VC)，联手制定新一代视频编码标准，在2013年完成了高效视频编码HEVC(HighEfficiency Video Coding)标准，其也称为H.265。相比之前的视频编码标准H.264/AVC,HEVC标准的编码效率相比之前的视频编码标准有了显著提高，但同时编码的复杂度也大幅度提高，尤其是灵活的块划分导致的模式选择复杂度成倍增加。HEVC为图像划分定义了更灵活的块划分模式，包括编码单元(CU)、预测单元(PU)、变换单元(TU)。HEVC中的CU尺寸有64×64，32×32、16×16、8×8，记为2N×2N，其中N＝32,16,8,4。其中64×64的CU被定义为最大编码单元(LCU),采用四叉树划分结构，每个LCU能够递归的划分成4个大小相等的CU，直到最小的CU(8×8)。为了找到最优化的CU划分方案，编码器必须要考虑所有的划分情况。图1展示了一个LCU如何被划分成不同尺寸的CU模式。每个CU都有关联的PU,其中PU是帧内预测和帧间预测的基本单元，一切与预测相关的信息都定义在PU中。图2给出了帧内预测的PU划分模式。对于一个2N×2N的CU，其对应的帧内预测单元PU划分模式有两种：2N×2N和N×N，其中的N×N模式只有当CU为最小的8×8尺寸才会使用，其它尺寸的CU只使用2N×2N的PU模式。标准的HEVC视频编码遍历各种CU和PU划分模式，采用率失真优化(RDO)技术从众多模式中选取率失真代价最小的模式作为最佳模式。因为HEVC编码器需要遍历所有可能的CU和PU，这个遍历过程的复杂度较高，计算量太大，给实时视频编码带来了困难。

发明内容

本发明的目的是针对现有HEVC视频编码复杂高的缺点，提出了一种基于随机训练集自适应学习的低复杂度视频编码方法，通过简化CU和PU划分模式的判定方法及其率失真代价的计算量，在保证编码质量的同时降低编码的复杂度，尤其适用于快速实时视频编码的场合。现有的快速编码方法较多地依赖于对每一种视频的特征作参数的提取和定义，不同的视频往往需要通过多次尝试和比较来确定参数的值。相比之下，本发明方法能够根据不同的视频自适应地学习视频编码参数，并将这些特征应用到后续的快速编码帧中，大大提高了视频编码方法的普适性。

本发明包括学习编码方法和快速编码方法，其特征在于帧内编码时将视频序列按帧率进行分组，每组视频的前二帧为学习编码帧，用于参数学习，后续帧为快速编码帧，根据学习编码帧得到的参数，优化帧内编码中的CU(编码单元)判定方法和PU(预测单元)判定方法。CU的最小尺寸为8×8，对于非最小尺寸的CU,判断提前结束CU划分或者跳过当前CU的率失真计算作直接划分。而在作帧内预测时，对于最小尺寸的CU，其对应的PU划分模式有2N×2N和N×N；而其它尺寸的CU只有2N×2N一种模式,所以对最小尺寸的CU，对其作PU划分模式的优化。

学习编码帧的编码方法是：

步骤(1)、学习编码帧第一帧用于计算阈值τ_N，对于每个2N×2N大小的CU，随机选取n_N个像素对作为训练集合，计算不同尺寸CU的每个像素对的灰度差均值τ_N；

步骤(2)、学***均值作为各尺寸CU不划分的阈值Tr1_N和划分阈值Tr2_N；同时，分别记录各尺寸CU不划分和划分情况下的率失真代价的均值，得到各尺寸CU率失真代价的阈值RD1_tr_N和RD2_tr_N。

对于最小尺寸CU对应的PU划分模式，其所有的阈值计算方法与上述CU划分的阈值计算方法相同。

快速编码帧的编码方法:

步骤(I)、从CU中随机选取n_N个像素对，求每个像素对的灰度差值，将其与步骤(1)得到的阈值τ_N做比较，计算大于τ_N的像素对的个数q_k,N；将q_k,N与步骤(2)得到的阈值Tr1_N和Tr2_N进行比较，把CU分为三类：I类、II类和III类；

步骤(II)、根据CU分类结果，对非最小尺寸的CU，对CU划分模式作优化；对最小尺寸的CU，将其对应的PU划分模式作优化。其中：

如果CU为I类，若率失真代价小于阈值RD1_tr_N，对于非最小尺寸的CU,提前结束CU划分；否则，当前CU划分为4个子CU并计算每个子CU的率失真代价，再判定当前CU是否划分。若率失真代价小于阈值RD1_tr_N，提前判定最小尺寸的CU对应的PU划分模式为2N×2N，跳过后续的N×N大小的PU划分模式计算；否则，计算PU模式为N×N的率失真代价，再判定PU模式。

如果CU为II类，对于非最小尺寸CU，先计算把它划分为四个子CU后每个子CU的率失真代价，当这四个子CU的率失真代价之和小于阈值RD2_tr_N时，则跳过当前CU的率失真代价计算直接判定当前CU划分为四个子CU；否则，计算当前CU的率失真代价，再判定当前CU是否划分。对于最小尺寸CU，当其对应的PU划分为四个子PU的率失真代价之和小于阈值RD2_tr_N时，则跳过2N×2N的PU率失真计算，直接判定PU划分模式为N×N；否则，计算PU划分模式为2N×2N的率失真代价，再判定PU模式。

如果CU为III类，则执行标准的HEVC视频编码。

本发明有益效果如下：

本发明的基本原理是对每组视频帧的前二帧进行正常编码，提取HEVC视频编码参数。然后从第三帧视频编码开始，利用前二帧获得的CU划分和PU划分的阈值信息，对CU采取提前结束划分或者跳过当前CU的率失真代价计算作直接划分的策略，以及对最小尺寸CU对应的PU模式作提前判定或者跳过当前PU的率失真代价计算作直接模式判定的策略，使得视频编码的运算复杂度降低，大大节省了视频编码的时间。经过实验测定，在保持视频编码质量的前提下，使用本发明的低复杂度方法比标准HEVC编码方法能够在视频编码时间上节省40％以上，大大提高了视频编码的效率。此外，本发明提出的方法是一种自适应的编码方法，能够针对不同的视频，通过学习编码帧提取其编码特征并应用到后续的快速编码帧中，这使得本发明提出的编码方法具有良好的灵活性和适用性。

附图说明

图1为HEVC的CU划分模式示意图；

图2为HEVC帧内预测的PU划分模式示意图；

图3为2N×2N的CU划分成四等块的示意图；

图4为本发明编码流程图；

图5为学习编码帧的编码流程图；

图6为快速编码帧的编码流程图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

如图1-6所示，基于随机训练集自适应学习的低复杂度视频编码方法，采用HEVC视频编码的HM模型，测试条件使用JCT-VC制定的HEVC视频编码通用测试条件(JCTVC-H1100)，使用HM模型自带的高效视频编码的全帧内编码配置文件encoder_intra_main.cfg。

图4所示为本发明总的编码流程图，对每个视频序列编码前，先将视频序列按帧率进行分组，每组视频的前二帧为学习编码帧，运行标准的HEVC编码方法，遍历所有2N×2N(N＝32,16,8)的CU划分模式和2N×2N(N＝4)的最小尺寸CU对应的PU划分模式，获取视频编码参数并将其运用到后续的快速编码帧以实现低复杂度编码。如图5所示，学习编码帧的编码步骤是：

步骤(1)、学习编码帧第一帧用于训练阈值τ_N，对于每个2N×2N大小的CU，随机选取n_N个像素对，计算不同CU大小下的像素对灰度差均值τ_N，其中像素对的选择方法为：

从CU中随机选取n_N对像素对，其中，每对像素对分别位于不同的四个划分块区域内，且像素点在子块区域内的位置服从二维泊松分布。对一个尺寸为的2N×2N的CU,如图3所示,CU区域可以预划分为四个大小相等的子块区域A、B、C、D，每个像素对分别位于不同的子块区域，因此一共有6种组合，(A,B)、(A,C)、(A,D)、(B,C)、(B,D)、(C,D),各区域组合内选取的像素对数是相同的。每个像素点在相应的子块区域内服从关于中心点扩散的二维泊松分布，以A区域为例，A区域中心坐标为像素点的坐标(X,Y)的选取服从：

n_N取值会根据CU大小进行调整，对于一个尺寸2N×2N的CU,n_N的取值为：

n_N＝3×N×m (3)

上式m为正整数，通过m值来合理调整像素对数目。经过实验确定，m取值为3；

步骤(2)、学习编码帧第二帧用于计算阈值Tr1_N、Tr2_N和阈值RD1_tr_N、RD2_tr_N。对于每个2N×2N大小的CU，随机选取n_N个像素对，对它们进行训练，学习得到阈值Tr1_N、Tr2_N和阈值RD1_tr_N、RD2_tr_N。其中阈值Tr1_N、Tr2_N的训练步骤为：

(2a).根据从CU内随机选取的n_N对像素对和学习编码帧第一帧得到的阈值τ_N，比较各像素对的灰度值差异，两者灰度差大于τ_N时，δ_k,N取值为1，否则取值为0，计算式为：

上式g(i,j)和g(u,v)分别表示一个CU像素对位于坐标位置(i,j)、(u,v)的像素点灰度值，τ_N为自适应的灰度差阈值，通过第一帧学习得到。

(2b).计算随机训练集n_N中δ_k,N取值为1的像素对数目：

(2c).按照标准的HEVC视频编码方法完成视频帧的压缩编码,根据各尺寸CU划分情况，计算学习编码帧第二帧各CU尺寸下不划分和划分时q_k,N的均值，分别作为阈值Tr1_N、Tr2_N。

阈值RD1_tr_N、RD2_tr_N的计算方法为：

对学习编码帧第二帧进行编码的时候，根据各尺寸CU不划分和划分的情况，记录不划分和划分情况下各尺寸CU的率失真代价并求其均值，分别记为mean_RD_nonsplit_N和mean_RD_split_N。另外，分别统计出各尺寸不划分与划分CU的率失真代价，其最大值分别记为max_RD_nonsplit_N和max_RD_split_N，其最小值分别记为min_RD_nonsplit_N和min_RD_split_N。则尺寸为2N×2N的CU率失真代价阈值RD1_tr_N、RD2_tr_N为:

其中，α和β为调整参数，取值范围为α∈[0,1]，β∈[0,1]，这里，通过实验测定，α取值为0.2，β取值为0.05。

对于最小尺寸CU对应的PU划分模式，其所有的阈值计算方法与上述CU划分的阈值计算方法相同。

学习编码帧的后续帧为快速编码帧。如图6所示，从每组视频的第三帧开始是快速编码帧，其编码步骤是：

步骤(I)、从CU中随机选取n_N个像素对，通过像素对学习得到当前CU的特征参数q_k,N，计算方法与学习编码帧的编码步骤(2)中的(2a)和(2b)相同。将q_k,N与阈值Tr1_N和Tr2_N进行比较，把CU分为三类：I类、II类和III类，具体分类规则是：

步骤(II)、根据CU分类结果，对非最小尺寸的CU，对CU划分模式作优化；对最小尺寸的CU，将其对应的PU划分模式作优化；其中：

如果CU为I类，若率失真代价小于阈值RD1_tr_N，对于非最小尺寸的CU,提前结束CU划分；否则，当前CU划分为4个子CU并计算每个子CU的率失真代价，再判定当前CU是否划分。若率失真代价小于阈值RD1_tr_N，提前判定最小尺寸的CU对应的PU划分模式为2N×2N，跳过后续的N×N大小的PU划分模式计算；否则，计算PU模式为N×N的率失真代价，再判定PU模式。

如果CU为II类，对于非最小尺寸CU，先计算把它划分为四个子CU后每个子CU的率失真代价，当这四个子CU的率失真代价之和小于阈值RD2_tr_N时，则跳过当前CU的率失真代价计算直接判定当前CU划分为四个子CU；否则，计算当前CU的率失真代价，再判定当前CU是否划分。对于最小尺寸CU，当其对应的PU划分为四个子PU的率失真代价之和小于阈值RD2_tr_N时，则跳过2N×2N的PU率失真计算，直接判定PU划分模式为N×N；否则，计算PU划分模式为2N×2N的率失真代价，再判定PU模式。

如果CU为III类，则执行标准的HEVC视频编码。

Claims (5)

1.基于随机训练集自适应学习的低复杂度视频编码方法，其特征在于包括学习编码方法和快速编码方法，帧内编码时将视频序列按帧率进行分组，每组视频的前二帧为学习编码帧，用于参数学习，后续帧为快速编码帧，根据学习编码帧得到的参数，优化帧内编码中的CU划分模式判定方法和PU划分模式判定方法；CU的最小尺寸为8×8，对于非最小尺寸的CU,判断是否提前结束CU划分或者跳过当前CU的率失真计算作直接划分；作帧内预测时，对于最小尺寸的CU，其对应的PU划分模式有2N×2N和N×N；而其它尺寸的CU只有2N×2N一种PU划分模式,因此对于最小尺寸的CU，对其作PU划分模式判定的优化；

学习编码帧的编码方法是：

步骤(1)、学习编码帧第一帧用于计算阈值τ_N，对于每个2N×2N大小的CU，随机选取n_N个像素对作为训练集合，计算不同尺寸CU的每个像素对的灰度差均值τ_N；

步骤(2)、学***均值作为各尺寸CU不划分的阈值Tr1_N和划分阈值Tr2_N；同时，分别记录各尺寸CU不划分和划分情况下的率失真代价的均值，得到各尺寸CU率失真代价的阈值RD1_tr_N和RD2_tr_N；

对于最小尺寸CU对应的PU划分模式，其所有的阈值计算方法与上述CU划分的阈值计算方法相同；

快速编码帧的编码方法是：

步骤(I)、从CU中随机选取n_N个像素对，求每个像素对的灰度差值，将其与步骤(1)得到的阈值τ_N做比较，计算大于τ_N的像素对的个数q_k,N；将q_k,N与步骤(2)得到的阈值Tr1_N和Tr2_N进行比较，把CU分为三类：I类、II类和III类；

步骤(II)、根据CU分类结果，对非最小尺寸的CU，对CU划分模式作优化；对最小尺寸的CU，将其对应的PU划分模式作优化；其中：

如果CU为I类，若率失真代价小于阈值RD1_tr_N，对于非最小尺寸的CU,提前结束CU划分；否则，当前CU划分为4个子CU并计算每个子CU的率失真代价，再判定当前CU是否划分；若率失真代价小于阈值RD1_tr_N，提前判定最小尺寸的CU对应的PU划分模式为2N×2N，跳过后续的N×N大小的PU划分模式计算；否则，计算PU模式为N×N的率失真代价，再判定PU模式；

如果CU为II类，对于非最小尺寸CU，先计算把它划分为四个子CU后每个子CU的率失真代价，当这四个子CU的率失真代价之和小于阈值RD2_tr_N时，则跳过当前CU的率失真代价计算直接判定当前CU划分为四个子CU；否则，计算当前CU的率失真代价，再判定当前CU是否划分；对于最小尺寸CU，当其对应的PU划分为四个子PU的率失真代价之和小于阈值RD2_tr_N时，则跳过2N×2N的PU率失真计算，直接判定PU划分模式为N×N；否则，计算PU划分模式为2N×2N的率失真代价，再判定PU模式；

如果CU为III类，则执行标准的HEVC视频编码。

2.如权利要求1所述的基于随机训练集自适应学习的低复杂度视频编码方法，其特征在于，步骤(1)和步骤(I)中的像素对随机选取方法为：

从CU中随机选取n_N个像素对组成随机训练集，其中每个像素对分别位于相同尺寸的四个子CU内，且像素点在子CU内的位置服从二维泊松分布；对于一个尺寸为2N×2N的CU,n_N的取值为：

n_N＝3×N×m (1)

上式m为正整数，通过设定m值来调整随机训练集内的像素对数目。

3.如权利要求1所述的基于随机训练集自适应学习的低复杂度视频编码方法，其特征在于学习编码帧的编码方法步骤(2)阈值Tr1_N和Tr2_N的计算方法是：

a.根据从CU内随机选取的n_N个像素对，比较各像素对的灰度值差，当两者灰度差大于τ_N时，δ_k,N取值为1，否则取值为0:

${\mathrm{\δ}}_{k,N}=\left\{\begin{array}{cc}1,& \begin{array}{cc}if& |g(i,j)-g(u,v)|>{\mathrm{\τ}}_N\end{array}\\ 0,& otherwise\end{array}\right.---\left(2\right)$

上式g(i,j)和g(u,v)分别表示CU中坐标位置(i,j)、(u,v)的像素点灰度值，τ_N为通过学习编码帧第一帧学习得到的阈值；

b.计算随机训练集n_N中δ_k,N取值为1的像素对数目：

$q_{k,N}=\underset{k=1}{\overset{n_N}{\Σ}}{\mathrm{\δ}}_{k,N}---\left(3\right)$

c.分别统计各尺寸CU在不划分或划分情况下的q_k,N的平均值，得到阈值Tr1_N和Tr2_N。

4.如权利要求1所述的基于随机训练集自适应学习的低复杂度视频编码方法，其特征在于，快速编码帧的编码方法步骤(I)的CU分类规则是：

$\left\{\begin{array}{cc}{q}_N\&le;Tr{1}_N,& I\\ q_N\&GreaterEqual;Tr{2}_N,& II\\ Tr{1}_N<q_N<Tr{2}_N,& III\end{array}\right.---\left(4\right).$

5.如权利要求1所述的基于随机训练集自适应学习的低复杂度视频编码方法，其特征在于，学习编码帧的编码方法步骤(2)的率失真代价阈值RD1_tr_N和RD2_tr_N的计算方法是：

根据各尺寸CU划分情况，记录各尺寸CU不划分和划分的率失真代价并求其均值，分别记为mean_RD_nonsplit_N和mean_RD_split_N,另外，分别统计出各尺寸CU不划分与划分的率失真代价，其最大值分别记为max_RD_nonsplit_N和max_RD_split_N，其最小值分别记为min_RD_nonsplit_N和min_RD_split_N；则尺寸为2N×2N的CU率失真代价阈值RD1_tr_N和RD2_tr_N计算为:

$\begin{array}{c}RD1\_{\mathrm{tr}}_N=mean\_RD\_{\mathrm{nonsplit}}_N\\ +\mathrm{\&alpha;}\&times;\left(\right|\max \_RD\_{\mathrm{nonsplit}}_N-mean\_RD\_{\mathrm{nonsplit}}_N|+|\min \_RD\_{\mathrm{nonsplit}}_N-mean\_RD\_{\mathrm{nonsplit}}_N\left|\right)\end{array}---\left(5\right)$

$\begin{array}{c}RD2\_{\mathrm{tr}}_N=mean\_RD\_{\mathrm{split}}_N\\ +\mathrm{\&beta;}\&times;\left(\right|\max \_RD\_{\mathrm{split}}_N-mean\_RD\_{\mathrm{split}}_N|+|\min \_RD\_{\mathrm{split}}_N-mean\_RD\_{\mathrm{split}}_N\left|\right)\end{array}---\left(6\right)$

其中，α和β为调整参数，取值范围为α∈[0,1]，β∈[0,1]。