CN102984521A

CN102984521A - 基于时域相关性的高性能视频编码帧间模式判决方法

Info

Publication number: CN102984521A
Application number: CN2012105326817A
Authority: CN
Inventors: 何小海; 钟国韵; 李元; 吴晓红; 王正勇; 陶青川
Original assignee: Sichuan University
Current assignee: Sichuan University
Priority date: 2012-12-12
Filing date: 2012-12-12
Publication date: 2013-03-20
Anticipated expiration: 2032-12-12
Also published as: CN102984521B

Abstract

本发明公开了一种基于时域相关性的高性能视频编码帧间模式判决方法,包括预测方式配置和预测模式选择。预测模式选择利用了相邻两帧之间的时域相关性，根据此相关性，分析前一帧中对应块的大尺寸CU与当前块中小尺寸CU的PU模式的相似性，最终根据此相似性，针对各种尺寸的对应块CU，设计当前各种尺寸CU的PU模式选择方法。本发明的方法较之现有技术的HEVC视频编码标准，在比特率和视频质量几乎不变的前提下，较大幅度地降低了编码的计算复杂度。

Description

基于时域相关性的高性能视频编码帧间模式判决方法

技术领域

本发明涉及图像通信领域中的视频编码帧间模式技术问题，尤其是涉及一种高性能视频编码帧间模式判决方法。

背景技术

目前的国际视频编码标准为高级视频编码（H.264/AVC），该视频编码标准相比之前的视频编码标准，在视频编码性能方面有较大的提高。随着高清视频技术的广泛应用，H.264/AVC的最大16×16尺寸块已经不太适合高清视频的编码了。为此，国际标准化组织-国际电工委员会/活动图像专家组（ISO-IEC/ MPEG）和国际电信联盟远程通信标准化组织/视频编码专家组（ITU-T/VCEG）两大国际标准化组织已经成立了视频编码联合开发小组（JCT- VC），并正在制定新一代国际视频标准，即高性能视频编码（HEVC）标准。HEVC标准的目标是在保持H.264/AVC标准视频质量的基础上，使比特率降低一半，即压缩率提高一倍。在国内外众多学者的努力下，HEVC视频编码标准的编码性能较H.264/AVC有了较高的提升。

H.264/AVC标准采用16×16、16×8、8×16、8×8、8×4、4×8和4×4等尺寸块进行帧间预测，而HEVC标准则采用8×8、16×16、32×32和64×64尺寸的编码单元（CU）先进行分块，接着对每个CU采用最多8种不同的预测单元(PU)模式进行帧间预测，8种不同的PU模式分别为PART_2N×2N、PART_N×2N、PART_2N×N、PART_N×N、PART_nL×2N、PART_nR×2N 、PART_2N×nD、和PART_2N×nU。对于每种尺寸下的CU及其内部的PU预测模式均进行率-失真代价的计算，最终选择一种最佳的CU分块模式及其内部的PU模式进行视频编码。对于64×64尺寸的CU，只有3种PU模式可选择，对于32×32和16×16尺寸的CU，有7种模式可选择，对于8×8尺寸的CU，则有4种PU模式可选择。对于每种PU模式，编码器均需对其进行率-失真代价的计算，因此，HEVC标准带来了巨大的视频编码计算复杂度。针对H.264/AVC，已经有许多学者提出了一些快速帧间判决方法，如发表于杂志“IET Electronics Letters”的文章“Fast mode decision algorithm for H.264 using statistics of rate-distortion cost”在分析前一帧对应宏块率-失真代价的统计分布情况的基础上，提出了一种基于自适应阈值的H.264/AVC快速帧间模式判决方法。发表于杂志“IEEE Transactionson Circuits and Systems for Video Technology”的文章“Fast mode decision based on mode adaptation”提出了一种基于模式自适应快速帧间模式判决方法。该算法根据相邻块空、时域的视频编码特性，构建了一个基于优先级候选模式列表，根据该列表有效地选择最佳帧间预测模式。发表于杂志“IEEE transactions on imageprocessing”的文章“Direct inter-mode selection for H.264 video coding using phase correlation”通过利用当前块与参考块之间的相位相关性捕捉其运动向量，根据此运动向量信息从候选模式列表中选择一种最佳的帧间预测模式。

为了降低HEVC的视频编码计算复杂度，学者们提出了一些方法，如HEVC提案“JCTVC-D087”中的文章“Encoding complexity reduction by removal of N×N partition type”在从16×16、32×32和64×64尺寸的CU中取消了PART_N×N的 PU模式，只在8×8尺寸的CU中保留，从而降低了视频编码计算复杂度。提案“JCTVC-F045”中的文章“Early termination of CU encoding to reduce HEVC complexity”提出当参数cbf=0时，即离散余弦变换（DCT）后的AC系数为全零时，跳过除了PART_2N×2N之外的其它PU模式，从而降低了视频编码的计算复杂度。以上两种方法目前已经加入到HEVC最新的参考软件HM7.0中了。另外，在目前的HEVC标准中，对于当前的CU，首先检测的率-失真代价的模式为PART_2N×2N、PART_2N×N和PART_N×2N，若模式PART_2N×N的率-失真代价值小于PART_N×2N模式的率-失真代价值，则继续检测模式PART_2N×nU 和 PART_2N×nD的率-失真代价，而跳过模式PART_nL×2N 和 PART_nR×2N的率-失真代价的计算；相反，当模式PART_2N×N的率-失真代价值大于PART_N×2N模式的率-失真代价，则继续检测模式PART_nL×2N 和 PART_nR×2N的率-失真代价，而跳过模式PART_2N×nU 和 PART_2N×nD的率-失真代价的计算，该方法也较大地降低了HEVC视频编码的计算复杂度。以上这些方法均在一定程度上降低了HEVC视频编码的计算复杂度，但是，目前的HEVC视频编码的帧间预测模式在时域上还存在较大的冗余度。

HEVC相比H.264/AVC，在视频压缩比方面提高较大，但是在视频编码的计算复杂度方面却升高了很多，虽然许多学者提出了一些针对H.264/AVC的快速视频编码方法，及针对HEVC的快速视频编码方法，但是H.264/AVC的快速视频编码方法不适合HEVC，而目前的HEVC的快速视频编码方法对于将其应用于实时通信的目标还存在一些距离。

发明内容

针对现有技术的高性能视频编码帧间模式判决方法的现状与不足，本发明的旨在提供一种新的基于时域相关性的高性能视频编码帧间模式判决方法，以降低HEVC视频编码的计算复杂度，实现将其应用于实时通信的目标。

本发明的基本思想是利用相邻帧之间的PU模式选择的相似性，根据前一帧中大尺寸CU所采取的PU模式，有效地选择当前CU的PU模式，跳过一些不太可能的CU分块尺寸及PU预测模式，减少所需遍历的PU模式，从而实现减少率-失真代价计算的数量，最终达到降低HEVC视频编码的计算复杂度的目的。

本发明提供的基于时域相关性的高性能视频编码帧间模式判决方法,包括预测方式配置和预测模式选择，在预测方式配置中，CU分割深度不大于4，PU采用对称和非对称综合预测模式或只采用对称预测模式，在预测模式选择中，将当前深度CU总的率-失真代价之和与上一层CU总的率-失真代价之和进行比较，若比上层更小，则进一步采取四叉树划分成4个更下一层深度的CU，否则终止四叉树划分，所述预测模式选择包括以下步骤：

（1）检测当前CU分块前一帧对应位置CU分块的尺寸，若当前CU分块尺寸小于对应CU分块的尺寸，则进入下面步骤（2），否则遍历当前CU分块的所有PU模式，并采取四叉树划分成4个更深一层CU分块，对更深一层的每个CU分块重复上述过程；

（2）判断前一帧对应CU分块的PU模式是否为PART_2N×2N，若是，则当前CU分块只检测PART_2N×2N的PU模式的率-失真代价，并进入下面步骤（6），否则进入下面步骤（3）；

（3）判断前一帧对应CU分块的PU模式是否为PART_nL×2N 或者 PART_nR×2N，若是，则当前CU分块只检测PART_N×2N和PART_2N×2N两种PU模式的率-失真代价，并进入下面步骤（6），否则进入下面步骤（4）；

（4）判断前一帧对应CU分块的PU模式是否为PART_2N×nU 或者 PART_2N×nD，若是，则当前CU分块只检测PART_2N×N和PART_2N×2N两种PU模式的率-失真代价，并进入下面步骤（6），否则进入下面步骤（5）；

（5）检测当前CU分块检测所有PU模式的率-失真代价，并进入下面步骤（6）；

（6）判断当前CU分块的尺寸是否为前一帧对应CU块尺寸的1/4，若是，则当前CU分块不再进行四叉树划分；否则将当前CU分块进一步采取四叉树划分成4个更深一层CU分块，对更深一层的每个CU分块重复步骤（1）过程。

在上述技术方案中， CU分割深度优选为2~4，进一步优选为4。在PU可采用的对称和非对称综合预测模式和只采用对称预测模式中，优先采用对称和非对称综合预测模式。

在上述技术方案中，所述率-失真代价可通过下述公式来确定：

J_mode=(SAD_luma+w_chroma×SAD_chroma)+λ_mode×B_mode

公式中J_mode为率—失真代价，SAD_luma为原始图像亮度与预测图像亮度的均方差，SAD_chroma为原始图像色度与预测图像色度的均方差，w_chroma为色度失真的权值，λ_mode代表拉格朗日乘子，B_mode表示在该模式下编码比特数。

根据本发明的上述方法可以编制执行上述基于时域相关性的高性能视频编码帧间模式判决方法的视频编码器。

本发明是基于以下思路分析而完成的：

当对应块CU的PU模式为PART_2N×2N时，说明对应块的纹理应该是比较平滑的或者其所处的区域中所有的运动对象都有着相同的运动向量，根据相邻两帧之间高度的相似性，当前块区域也应该具有类似的属性，因此，对于当前CU分块来说，只需对PU模式PART_2N×2N进行检测即可。

当对应块CU的PU模式为PART_2N×N或者PART_N×2N时，在这种情况下，根据相邻两帧之间的相似性，此时当前块中的CU对应的对应块中并没有PU的分隔线，于是，此时并不能推测对应块区域为平滑的或者其中的运动对象均有着相同的运动向量。因此，对于当前CU分块来说，没有可以参考的PU模式，必须对所有的PU模式进行遍历。

当对应块CU的PU模式为PART_nL×2N 或者 PART_nR×2N，根据相邻两帧之间的时域相关性及时域上的运动方向性，一方面说明此时当前块中的运动对象有较大的概率分为左右两部分，另一方面，此时当前块中有部分CU的PU模式PART_N×2N的分隔线将与对应块CU的PU模式PART_nL×2N 或者 PART_nR×2N的分隔线对应，再者，根据当前块（与对应CU块相同位置和尺寸的当前帧中的当前块）中各层之间的PU模式的相关性及同CU层下相邻CU的PU模式相关性，当前块中各层CU的PU模式中，出现PART_N×2N概率较高，因此，当前块应检测PU模式PART_N×2N。另外，为了各层CU之间的连续性及保证视频编码性能，PU模式PART_2N×2N也应考虑进去，因此，在该情况下，总共只遍历2种PU模式：PART_N×2N和PART_2N×2N。同理，当对应块CU的PU模式为PART_2N×nU 或者 PART_2N×nD，此时说明当前块中的运动对象有较大的概率分为左右两部分，因此，当前块应检测PU模式为PART_2N×N和PART_2N×2N。

最后，当对应块CU分块尺寸为2N×2N，而当前块中最小CU尺寸为N/4×N/4时，根据相邻两帧之间时域的相关性，无论对应CU分块的PU模式为哪种，当前块中尺寸为N/4×N/4的CU的PU模式的分割线均不可能与对应CU的PU模式的分割线对应，即此时当前CU分块尺寸是不太可能出现N/4×N/4的，因此，对于该尺寸的CU，可不检测其率-失真代价以节省视频编码计算复杂度。

相比HEVC视频编码标准，本发明的方法能在较大幅度降低视频编码计算复杂度的基础上，在视频编码压缩比和视频质量损失很小。视频压缩方法的根本依据是通过减少视频中各种相关性而达到用更少的数据表示原来的整个视频的信息量，本发明的方法是在分析了视频中相邻两帧之间的时域上PU模式之间的相关性，通过判断前一帧对应CU的PU模式，以及当前块中相邻CU分块之间的相关性，判决当前块的最佳PU模式，从而跳过了其他的PU模式，从相邻帧之间PU模式的相关性角度来看，本发明方法是去除了PU模式之间的冗余度，而合理的冗余度去除，不仅能去除该冗余部分所需进行的视频编码计算任务，同时也不会损失视频的信息量，因此也基本不会造成视频压缩比和视频质量的下降。

本发明方法改进的是整个视频编码计算过程中计算复杂度最关键的地方。在整个视频编码过程中，运动估计（包括整数像素运动估计和分数像素运动估计）的计算复杂度所占的比例超过50%（根据不同的配置环节存在一定差异），本发明方法最关键的是根据相邻两帧之间的时域相关性，跳过当前块中各层CU块中的不太可能出现的PU模式的检测过程，即对该PU模式下各个PU分块进行率-失真代价的计算检测，从而挑选其中率-失真代价最小的一个PU模式，而在率-失真代价的计算中，运动估计是其中最耗时的编码计算过程，跳过几个PU模式即意味着跳过几个运动估计的计算量，因此，在计算复杂度方面，本发明方法着手的点为视频编码计算过程中最关键改进之处。

本发明方法能在保持降低计算复杂度的基础上，不额外增加硬件实现成本。视频编码技术很多情况下最终均要嵌入硬件设备，包括FPGA和DSP等，因此，对于改进方法的代码运算代价和所需要的数据存储硬件代价要求均较高。本发明方法需要增加的代码很少，主要包括几个判断语句，在硬件所需的存储器方面，由于本发明方法中判断的对象为前一帧中对应位置CU分块的PU模式，而这些模式的信息原来就存储在数据流中，本发明方法并未带来额外的数据存储要求，因此，若将本发明方法应用于硬件设备，对硬件设备的制造不会增加额外的成本，同时还能节省功耗。

附图说明

图1为基于时域特性的HEVC快速帧间模式判决方法与HM7.0视频编码标准的CU分块方法的比较示意图，其中(a)为HM7.0视频编码标准的CU分块方法，（b）为基于时域相关性的HEVC快速帧间模式判决方法中CU分块方法；

图2为基于时域特性的HEVC快速帧间模式判决方法与HM7.0视频编码标准的PU预测方法的比较示意图，其中(a)为HM7.0视频编码标准的PU预测方法，（b）为基于时域相关性的HEVC快速帧间模式判决方法中PU预测方法；

图3为基于时域相关性的HEVC快速帧间模式判决方法的流程图。

具体实施方式

下面结合实施例对本发明作进一步的详细说明，有必要指出的是，以下的实施例只用于对本发明做进一步的说明，不能理解为对本发明保护范围的限制，所属领域技术熟悉人员根据上述发明内容，对本发明做出一些非本质的改进和调整进行具体实施，应仍属于本发明的保护范围。

1.同时打开两个算法的程序并设置好相同的配置文件，参考软件选择HM7.0，量化步长（QP）值分别取27和32。本发明将与HEVC视频编码标准的参考软件算法HM7.0的方法进行比较。并对其三种视频编码性能：比特率、峰值信噪比（PSNR）以及视频编码时间（其中PSNR体现视频的客观视频质量，视频编码时间体现编码的计算复杂度），进行了比较分析，比较性能的差距用以下三个指标进行评价：

其中Bitrate_pro、PSNR_pro 和Time_pro 分别为本发明算法的比特率、PSNR以及视频编码时间，Bitrate_ref、PSNR_ref 和Time_ref分别为HM7.0标准算法的比特率、PSNR以及视频编码时间，∆Bitrate、∆PSNR和∆Time分别为本发明算法与HM7.0标准算法之间比特率、PSNR以及视频编码时间的差。

2.在HEVC视频编码技术中，PU预测模式可以采取对称和非对称的综合预测模式，也可以只采取对称预测模式，发明在以上两种情况下均有效，但是采取对称和非对称的综合预测模式能降低更多的视频编码计算复杂度，即能取得更好的算法效果，因此本发明采取综合预测模式。

3.编码的对象为标准的HEVC测试视频，它们的名称、分辨率和帧率分别为：Fourpeople（1280×720，60帧/秒）、Johnny（1280×720，60帧/秒）、KristenandSara（1280×720，60帧/秒）、Cactus（1920×1080，50帧/秒）、Kimono1（1920×1080，24帧/秒）和ParkScene（1920×1080，24帧/秒）。

4.输入2个相同的视频序列；

5.分别对2个相同的视频序列进行视频编码；

6.利用HEVC视频编码器HM7.0对视频序列在HEVC方式下进行视频编码；

7.本发明算法根据前一帧对应块的PU模式对当前CU分块的PU模式进行选择；

8.在预测模式选择中，将当前深度CU总的率-失真代价之和与上一层CU总的率-失真代价之和进行比较，若比上层更小，则进一步采取四叉树划分成4个更下一层深度的CU，否则终止四叉树划分，具体的预测模式选择如下：

（3）判断前一帧对应CU分块的PU模式是否为为PART_nL×2N 或者PART_nR×2N，若是，则当前CU分块只检测PART_N×2N和PART_2N×2N两种PU模式的率-失真代价，并进入下面步骤（6），否则进入下面步骤（4）；

（6）判断当前CU分块的尺寸是否为前一帧对应CU块尺寸的1/4，若是，则当前CU分块不再进行四叉树分割划分；否则将当前CU分块四叉树划分成4个CU分块，对每个CU分块进行重复步骤（1）。

9.在模式选择过程中，率失真代价的公式如下：

J_mode=(SAD_luma+w_chroma×SAD_chroma)+λ_mode×B_mode

亮度和色度的失真SAD_luma和SAD_chroma分别可由以下两式得出：

其中Diff_luma和Diff_chroma 分别为：

Diff_luma(i,j)=BlockA_luma(i,j)-BlockAB_luma(i,j)

Diff_chroma(i,j)=BlockA_chroma (i,j)-BlockAB_chroma(i,j)

其中BlockA_luma和BlockB_luma分别为编码块和预测块中坐标位置为(i,j)上的像素亮度值，BlockA_chroma和BlockB_chroma分别为编码块和预测块中坐标位置为(i,j)上的像素色度值。

色度失真权值w_chroma可由下式得出：

其中QP和QP_chroma分别为亮度和色度的QP值。

拉格朗日乘子λ_mode可由下式得出：

λ_mode=2^(QP-12)/3

10.本发明算法中，CU分割深度可以取2~4，但分割深度取的越大，则该方法的中跳过的PU预测模式将更多，最终将降低更多的视频编码计算复杂度。因此，本发明的CU分割深度取4。

11.两个程序分别输出视频编码后的视频序列以及各自的比特率、PSNR值以及总的视频编码时间，上述3个指标的结果如表1-3所示，统计显示本发明算法比HEVC标准在比特率方面上升了0.13-1.05%，而且总体上看来，在大QP值下比小QP值下要稍微上升的多一些，在视频质量PSNR值方面降低0.00-0.06dB，在视频编码计算复杂度方面降低了22.38-58.36%。从总体来看来，本发明算法与HEVC视频编码标准相比，在视频压缩率（由比特率下降程度来体现）和视频质量损失很小的前提下，较大幅度地降低了视频编码的计算复杂度（见表1~3）。

表1 本发明算法与HM7.0标准算法之间比特率的比较

表2 本发明算法与HM7.0标准算法之间PSNR值的比较

表3 本发明算法与HM7.0标准算法之间视频编码时间的比较

Claims

1.一种基于时域相关性的高性能视频编码帧间模式判决方法,包括预测方式配置和预测模式选择，在预测方式配置中，CU分割深度不大于4，PU采用对称和非对称综合预测模式或只采用对称预测模式，在预测模式选择中，将当前深度CU总的率-失真代价之和与上一层CU总的率-失真代价之和进行比较，若比上层更小，则进一步采取四叉树划分成4个更下一层深度的CU，否则终止四叉树划分，其特征在于所述预测模式选择包括以下步骤：

2.如权利要求1所述的基于时域相关性的高性能视频编码帧间模式判决方法,其特征在于CU分割深度为2~4。

3.如权利要求2所述的基于时域相关性的高性能视频编码帧间模式判决方法,其特征在于CU分割深度为4。

4.如权利要求1至3之一所述的基于时域相关性的高性能视频编码帧间模式判决方法,其特征在于PU采用对称和非对称综合预测模式。

5.如权利要求1至3之一所述的基于时域相关性的高性能视频编码帧间模式判决方法,其特征在于所述率-失真代价通过下述公式来确定：

J_mode=(SAD_luma+w_chroma×SAD_chroma)+λ_mode×B_mode

6.如权利要求4所述的基于时域相关性的高性能视频编码帧间模式判决方法,其特征在于所述率-失真代价通过下述公式来确定：

J_mode=(SAD_luma+w_chroma×SAD_chroma)+λ_mode×B_mode

7.一种用于执行权利要求1~6所述基于时域相关性的高性能视频编码帧间模式判决方法的视频编码器。