CN102665079B

CN102665079B - 用于hevc的自适应快速帧内预测模式决策方法

Info

Publication number: CN102665079B
Application number: CN201210138816.1A
Authority: CN
Inventors: 张萌萌; 白慧慧; 赵川
Original assignee: North China University of Technology
Current assignee: North China University of Technology
Priority date: 2012-05-08
Filing date: 2012-05-08
Publication date: 2014-11-26
Anticipated expiration: 2032-05-08
Also published as: CN102665079A

Abstract

一种用于高效视频编码(HEVC)的自适应帧内(Intra)预测模式决策方法。本方法在使用了HEVC中的RMD、MPM和RDO最佳模式选择方法的同时，在实施RMD之后加入了基于纹理的附加模式选择过程，从而针对4*4和8*8尺寸的预测块，将候选模式数量减小为2-5个，而针对16*16和32*32尺寸的预测块则将将候选模式数量减小为2-5个，从而明显地减少了参与RDO模式选择的候选模式的数量。

Description

用于HEVC的自适应快速帧内预测模式决策方法

联合研究

本申请由北方工业大学与北京交通大学信息所联合研究，并得到以下基金资助：国家自然科学基金(No.61103113)，江苏省自然科学基金(BK2011455)，国家973计划(2012CB316400)，中央高校基础研究基金(No.2011JBM214)。

技术领域

本发明涉及图像处理领域，更具体而言，涉及用于高效视频编码(HEVC)中帧内预测模式选择的自适应快速帧内预测模式决策方法。

背景技术

2010年4月，两大国际视频编码标准组织VCEG和MPEG成立视频压缩联合小组JCT-VC(Joint collaborative Team on Video Coding)，一同开发HEVC标准，其也称为H.265。HEVC标准主要目标是与上一代标准H.264/AVC实现大幅度的编码效率的提高，尤其是针对高分辨率视频序列。其目标是在相同视频质量(PSNR)下码率降为H.264标准的50％。

就目前阶段，HEVC依然沿用H.264就开始采用的混合编码框架。帧间和帧内预测编码：消除时间域和空间域的相关性。变换编码：对残差进行变换编码以消除空间相关性。熵编码：消除统计上的冗余度。HEVC将在混合编码框架内，着力研究新的编码工具或技术，提高视频压缩效率。

目前，JCT-VC组织的讨论中已经提出的许多编码的新特性，有可能会加入HEVC标准中，各次讨论的具体文献可以从http://wftp3.itu.int获得。

编码块的大小将最大可达64x 64，这主要是为了高清视频压缩编码的应用。DCT变换编码将突破8x8，最大能够达到32x32。对于帧内预测，预测的方向更佳细化，多达35种帧内预测(intra predication)模式，其中对于大小为4x4，8x8，16x16，32x32和64x64的预测块(predication unit)，分别有17，35，35，35和5种预测模式可用，其中，图2示出了35种帧内预测模式的情况，这将使帧内预测更佳精确，更高效地减少冗余。帧间预测在插值时采用了更多抽头的滤波器，以及1/4像素精度，来提高帧间预测的精度。在熵编码方面，使用了适应性更强的CABAC以及低复杂度的LCEC。

在帧内预测方面，由于使用了多达35种帧内预测模式，因此，在进行帧内编码时，如果直接针对35种帧内预测模式使用率失真优化(Rate-Distortion optimization，RDO)来判断最佳预测模式，则编码器将不能承受将所有预测方向进行RDO的运算量。为了降低编码器进行RDO运算时的运算量，HM4.0(HEVC test model 4.0)采用了Hadamard变换的方法，通过一种粗略模式决策(Rough Mode Decision，RMD)选出若干个较佳的候选模式。随后，在针对由这若干个较佳候选模式进行RDO运算来获得最佳模式。

在JCT-VC已经采纳的JCTVC-C207提案中将残差信号哈达玛变换系数绝对和(minimum absolute sum of Hadamard Transformed coefficients of residual signal，HSAD)与模式比特数计算过程加入粗略模式决策(RMD)算法。提案JCTVC-D283中，将联合方向帧内预测算法简化，并加入了提取最高概率模式(most probable mode，MPM)算法，即在RMD之后应用MPM算法，从而保证在进行RDO运算的候选模式集合中始终包含MPM。提案JCTVC-C218简化CU分成PU的冗余过程，这些简化算法降低了帧内预测的复杂度，但是这些方案都是最基本的解决方案而没有考虑块的性质。

本申请中主要参考以下技术文献来实现，这些文献皆是JCT-VC，并且可直接从http://wftp3.itu.int获得：

[1]J.H.Min，“Unification of the directional intra prediction methods in TMuC，”JCTVC-B100，July，2010.

[2]K.McCann et.al.，“Samsung’s response to the call for proposals on video compression technology，”JCTVC-A124，April，2010.

[3]K.Ugur，K.R.Andersson and A.Fuldseth，“Description of video coding technology proposal by Tandberg，Nokia，Ericsson，”JCTVC-A119，April，2010.

[4]Y.Piao，J.H.Min，J.Chen，“Encoder improvement of unified intra prediction，”JCTVC-C207，Oct.，2010.

[5]L.Zhao，et.al.，“Further Encoder Improvement of intra mode decision，”JCTVC-D283，Jan.，2011.

[6]J.Kim，Y.Jeon，B.Jeon，“Encoding complexity reduction for intra prediction by disabling NxN partition，”JCTVC-C218，Oct.，2010.

[7]B.Bross，W.J.Han，J.R.Ohm，G.J.Sullivan，T.Wiegand，“WD4：Working Draft 4 of High-Efficiency Video Coding，”JCTVC-F803，July，2011.

[8]JCT-VC，HEVC reference software“HM-4.0”[online]http://hevc.hhi.fraunhofer.de/svn/svn_HEVCSoftware/tages

[9]Y.H.Tan，C.Yeo，H.L.Tan，Z.Li，“RQT depth selection，”JCTVC-E104，Mar.，2011.

[10]K.Panusopone，K.Chono，Y.H.Tan，M.Zhou，“Evaluation of RQT in HM and related TU representation，”JCTVC-E365，Mar.，2011.

[11]K.McCann，S.Sekiguci，B.Bross，W.J.Han，“HM4：HEVC Test Model 4 Encoder Description，”JCTVC-F802，July，2011.

[12]B.Bross，“Common test conditions and software reference configurations，”JCTVC-F900，July，2011.

在帧内预测方面，虽然已经提出了若干种候选模式选择算法，来降低最终进行RDO的模式数量同时满足BD-rate(BD-率) 但是候选模式的数量仍然有下降的空间。

发明内容

根据一个方面，提供了一种用于高效视频编码(HEVC)的自适应帧内(Intra)预测模式决策方法，其中，所述方法是针对当前帧中的每个预测块(PU)执行预测模式决策的，该方法包括：

(1)使用粗略模式决策(RMD)确定一候选模式集合，在所述候选模式集合中包含了模式集合中具有最小代价的N个候选模式，并且所述N个候选模式已经按照代价进行了升序排序，其中，对于大小4*4和8*8的预测块，N＝8，对于大小16*16和32*32的预测块，N＝3；

(2)当所使用的预测块大小为4*4或8*8时，

判断所述集合中前2个角度模式是否相邻：如果相邻，则保留前2 个角度模式以及所述集合中其他角度模式中与第1个角度模式最近邻的角度模式，如果不相邻，则仅保留前两个角度模式；

判断所述集合中前4个模式中是否存在DC模式或Planar模式，如果存在，则在所述集合中保留DC模式和所述Planar模式；或者

当所使用的预测块大小为16*16和32*32时，

判断所述集合中的第1个模式是否为DC模式或Planar模式，如果是，则在所述集合中保留DC模式和所述Planar模式，并直接进行到步骤(4)；

(3)使用最高概率模式(MPM)算法，其中，将两个最高概率模式加入所述集合中；

(4)对所述集合中的各个模式应用率失真优化(RDO)来获得最佳帧内预测模式。

根据另一方面，提供了一种用于高效视频编码(HEVC)的视频编码器，其包括：帧内预测模式决策器，其确定最佳帧内预测模式，并将所述最佳帧内预测模式输入帧内预测器；以及帧内预测器，其基于所述最佳帧内预测模式，执行帧内预测，其中，所述帧内预测器是针对当前帧中的每个预测块(PU)执行预测模式决策的，其中，所述帧内预测模式决策器被配置为：

(2)当所使用的预测块大小为4*4或8*8时，

判断所述集合中前2个角度模式是否相邻：如果相邻，则保留前2个角度模式以及所述集合中其他角度模式中与第1个角度模式最近邻的角度模式，如果不相邻，则仅保留前两个角度模式；

当所使用的预测块大小为16*16和32*32时，

(4)对所述集合中的各个模式应用率失真优化(RDO)来获得所述最佳帧内预测模式。

还公开了与上述方法相对应的装置以及用来执行上述方法的视频编码器。

附图说明

图1示出了HEVC的编码器框图的一个实施例。

图2示出了HEVC中使用的多达35种预测模式。

图3示出了根据本发明的一个实施例的帧内预测模式选择流程图。

具体实施方式

现在参考附图来描述各种方案。在以下描述中，为了进行解释，阐述了多个具体细节以便提供对一个或多个方案的透彻理解。然而，显然，在没有这些具体细节的情况下也能够实现这些方案。

如在本申请中所使用的，术语“组件”、“模块”、“***”等等旨在指代与计算机相关的实体，例如但不限于，硬件、固件、硬件和软件的组合、软件，或者是执行中的软件。例如，组件可以是但不限于：在处理器上运行的进程、处理器、对象、可执行体(executable)、执行线程、程序、和/或计算机。举例而言，运行在计算设备上的应用程序和该计算设备都可以是组件。一个或多个组件可以位于执行进程和/或者执行线程内，并且组件可以位于一台计算机上和/或者分布在两台或更多台计算机上。另外，这些组件可以从具有存储在其上的各种数据结构的各种计算机可读介质执行。组件可以借助于本地和/或远程进程进行通信，例如根据具有一个或多个数据分组的信号，例如，来自于借助于信号与本地***、分布式***中的另一组件交互和/或者与在诸如因特网之类的网络上借助于信号与其他***交互的一个组件的数据。

图1示出了高效视频编码(HEVC)所实现的视频编码器的大致结构图。HEVC的编码器架构与H.264所使用的编码器架构大致相同，主要是针对各个模块中所使用的算法进行了进一步的研究、改进，尤其是针对高分辨率视频序列，其改进的目标是在相同视频质量(PSNR)下码率降为H.264标准的50％。

由于HEVC的编码器架构与H.264所使用的编码器架构大致相同，因此不混淆本发明，本申请中不对图1中的整体架构进行描述，而仅关注于用于HEVC的帧内预测模式选择和帧内预测。

帧内预测是H.264/AVC视频编码标准中首先采用的一种的新的帧内编码方式，目的是去除当前块与临近块之间的空间冗余。在帧内预测中，预测块P是由当前片(slice)中先前编码和重建之后的块形成的。当前块减去这个预测块P，产生残差块，残差块经过块变换、量化后产生一种量化后的变换系数X，再经过熵编码，与解码器侧所需的其他信息(例如，预测模式量化参数、运动矢量等等)一起组成压缩比特流供传输和解码使用。在H.264/AVC视频编码标准中，针对4*4的块，有包括直流(DC)在内的9种预测模式，针对8*8和16*16的块，有包含DC和平面(planar)在内的4种模式。在进行帧内预测模式选择时，从所支持的预测模式中选取与当前块具有最佳匹配(例如，具有最小率失真(RD))的模式。

在HEVC中，尤其是HM4.0(HEVC test model 4.0)中(参考文献[11])，针对帧内预测采用了大小分别为4*4，8*8，16*16，32*32和64*64的预测块(predication unit)，并且根据预测块的大小所支持的帧内预测模式数量为表1，并且可能的预测模式为图2所示。如图2所示，最多达35种的预测模式包括33种角度帧内预测模式方向，以及DC(直流)模式和Planar(平面)模式。

预测块大小	帧内预测模式数量
		4	17
8	35
		16	35
32	35
		64	5

表1

为了减少帧内预测复杂的RD运算的次数，HEVC的帧内预测模式应用粗略模式决策(Rough Mode Decision，RMD)和提取MPM(most probable mode，MPM)的方法得到了精简的最佳候选模式集合，从而减少RD运算次数。RMD目的是粗略地猜测最佳帧内预测模式，其选择过程考虑到HSAD运算值和模式比特数，但是RMD没有发掘提取模式之间的相关性。因此，分析提取模式之间的规律可以进一步降低联合帧内预测的复杂度。

RMD算法

为了降低编码器进行RDO运算时的运算量，HM4.0首先采用了Hadamard变换的方法，通过RMD选出若干个较佳的候选模式。随后，在针对由这若干个较佳候选模式进行RDO运算来获得最佳模式。

具体而言，在RMD中，使用以下公式来针对4*4和8*8尺寸的预测块获得8个候选模式，针对16*16和32*32尺寸的预测块获得3个候选模式：

J＝HSAD(Res_mode)+λ·B_mode， (1)

其中，J为代价，_mode为HEVC规定的最多具有35种的所有帧内预测模式，HSAD(Res_mode)表示残差信号哈达玛变换系数绝对和，B_mode表示模式比特数的消耗值，λ表示拉格朗日常量。

因此，RMD算法就是使用公式(1)在全部所支持的预测模式(17或35个)中，选取具有最小代价的3个(针对16*16和32*32尺寸)或8个(针对4*4和8*8尺寸)候选模式。

更具体而言，在RMD算法中，针对全部所支持的预测模式中的每一种模式，计算相关联的代价J，并依据相关联的代价J的降序对各个预测模式进行排序，并选取前3个(针对16*16和32*32尺寸)或8个(针对4*4和8*8尺寸)预测模式作为候选模式，加入候选模式集合中。

由于公式(1)的复杂度在实现上比RDO的复杂度小得多，因此在使用RDO算法决定最佳预测模式之前，使用RMD算法在全部所支持的预测模式中进行一次预选择能够显著地减少帧内预测时间。

RDO算法

RDO是在视频编码中帧内预测和帧间预测中普遍使用的算法，其通常基于最小均方误差和(SSE：Sum of Square Error)来确定最佳匹配块。

本文中为了不混淆关键概念，不对其进行展开描述。

MPM算法

MPM算法是在HM3.0中就已经提出的算法，并在JCTVC-D283中进行了进一步改进。

在涉及MPM算法的各种提案中对MPM的确定有着各种方式。本文使用了JCTVC-D283中的MPM算法。具体而言，当使用RMD算法获得了精简后的最佳模式候选集合之后，将当前预测块的左侧预测块的最佳模式和上方预测块的最佳模式直接作为两个最高概率模式(MPM)，并判断MPM是否包含在该候选集合中，如果未包含在该集合中，则加入这两个MPM。换言之，无论RDO之前的模式选择算法如何，都加入当前预测块的左侧预测块的最佳模式和上方预测块的最佳模式。

在HM4.0中，联合帧内预测提取帧内预测模式共有两步。第一步，所有的模式经过HSAD运算选出最佳模式候选集合(RMD)。在该最佳模式候选集合中，模式个数由PU尺寸大小不同儿不同。4*4和8*8尺寸块集合中包含8个候选模式，而16*16和32*32尺寸块集合中包含3个。然后，从邻近块中提取的MPM也加入集合中。第二步，将最佳模式集合中每一个模式经过RD优化计算(RDO)，将其RD消耗值最小的作为最佳模式进行帧内预测。

经过我们观察与分析，在RMD过程选出的最小HSAD模式和第二小HSAD模式表征了块纹理特征：相邻的最小HSAD模式和第二小HSAD模式代表了块是规则纹理区域；不相邻的最小HSAD模式和第二小HSAD模式、DC模式或Planar模式代表了块是不规则纹理区域。在我们提出的算法中，我们利用该特性将最佳模式集合中运算RD的个数自适应地减少，用于降低HEVC帧内预测的复杂度。

自适应候选模式选择算法

参考图3，示出了根据本发明的一个实施例的帧内预测模式选择流程图。

在步骤201中，例如RMD算法在所支持的全部预测模式中进行模式选择。具体而言使用公式(1)来针对4*4和8*8尺寸的预测块获得8个候选模式(步骤205)，针对16*16和32*32尺寸的预测块获得3个候选模式(步骤207)。

具体而言，针对相应预测块尺寸所支持的全部预测模式中的每一种模式，计算相关联的代价J，并依据相关联的代价J的降序对各个预测模式进行排序，并选取前3个(针对16*16和32*32尺寸)或8个(针对4*4和8*8尺寸)预测模式作为候选模式，加入候选模式集合中。并且，在候选模式集合中，同样按照代价J的降序对各个候选预测模式进行了排序。

针对64*64尺度的预测块，本发明不对其进行RMD模式选择。

针对4*4和8*8尺寸的预测块，在步骤209中，判断候选模式集合中的前2个角度模式是否相邻：如果相邻，则进行到步骤211。在步骤211中，在候选模式集合中保留前2个角度模式以及所述集合中其他角度模式中与第1个角度模式最近邻的角度模式，即仅保留3个角度模式。如果在步骤209中判断不相邻，则在候选模式集合中仅保留前2个角度模式(步骤213)，即仅保留2个角度模式。

该过程继续进行至步骤215。在步骤215中，判断候选模式集合中前4个候选模式中是否存在DC(直流)模式或Planar(平面)模式，如果存在，则在候选模式集合中保留DC模式和所述Planar模式，并且该过程进行至步骤223。如果在步骤215中确定前4个候选模式中不存在DC模式或Planar模式，则直接进行至步骤223。

针对16*16和32*32尺寸的预测块，在步骤209中，判断候选模式集合中的第1个模式是否为DC模式或Planar模式，如果是，则在所述集合中保留DC模式和所述Planar模式，并直接进行到步骤225。如果在步骤209中确定候选模式集合中的第1个模式不是DC模式或Planar模式，则进行至步骤223。

在步骤223中，使用MPM算法，将当前预测块的左侧预测块的最佳模式和上方预测块的最佳模式直接作为两个最高概率模式(MPM)加入候选模式集合中。当然，如果在候选模式集合中已经包含了这两个MPM，则可以略过该加入操作。

在步骤225中，对候选模式集合中的各个模式应用率失真优化(RDO)来获得最佳帧内预测模式。本领域技术人员公知的是，最佳帧内预测模式是获得最小率失真(RD)的预测模式。

在确定了当前块的最佳帧内预测模式之后，编码器可以依据该最佳帧内预测模式对当前帧执行帧内预测，如上所述，并最终获得编码比特流。执行帧内预测的具体过程不属于本发明关注的重点，因此在本文中不再赘述。

在图3的方法中，针对4*4和8*8尺寸的预测块，将候选模式数量减小为2-5个，而针对16*16和32*32尺寸的预测块则将将候选模式数量减小为2-5个，从而明显地减少了参与RDO模式选择的候选模式的数量。

本发明的实验结果对比是基于HM4.0代码平台，测试环境是根据提案JCTVC-F900的要求设定的。由于我们的实验着重于帧内预测，所以我们采用HE和LC测试条件的全I帧编码。在HE和LC两种测试环境下，表2和表3分别表示与缺省的HM4.0相比的Y、U、V三分量的BD-rate和编码时间。由实验结果得出，本文的方案在BD-rate只增加0.64％和1.05％的情况下编码时间减少15％和20％。

表2.高效率全I帧测试条件下BD-rates(％)和运行时间

表3.低复杂度全I帧测试条件下BD-rates(％)和运行时间

本发明所公开的自适应快速帧内预测模式决策方法可以用软件、硬件、固件等来实现。

当用硬件实现时，视频编码器可以用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或晶体管逻辑器件、分立硬件组件或者设计为执行本文所述功能的其任意组合，来实现或执行。通用处理器可以是微处理器，但是可替换地，该处理器也可以是任何常规的处理器、控制器、微控制器或者状态机。处理器也可以实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器的组合、一个或多个微处理器与DSP内核的组合或者任何其它此种结构。另外，至少一个处理器可以包括可操作以执行上述的一个或多个步骤和/或操作的一个或多个模块。

当用ASIC、FPGA等硬件电路来实现视频编码器时，其可以包括被配置为执行各种功能的各种电路块。本领域技术人员可以根据施加在整个***上的各种约束条件来以各种方式设计和实现这些电路，来实现本发明所公开的各种功能。

尽管前述公开文件论述了示例性方案和/或实施例，但应注意，在不背离由权利要求书定义的描述的方案和/或实施例的范围的情况下，可以在此做出许多变化和修改。而且，尽管以单数形式描述或要求的所述方案和/或实施例的要素，但也可以设想复数的情况，除非明确表示了限于单数。另外，任意方案和/或实施例的全部或部分都可以与任意其它方案和/或实施例的全部或部分结合使用，除非表明了有所不同。

Claims

1.一种用于高效视频编码的自适应帧内预测模式决策方法，其中，所述方法是针对当前帧中的每个预测块(PU)执行预测模式决策的，该方法包括：

(1)使用粗略模式决策确定一候选模式集合，在所述候选模式集合中包含了模式集合中具有最小代价的N个候选模式，并且所述N个候选模式已经按照代价进行了升序排序，其中，对于大小4*4和8*8的预测块，N＝8，对于大小16*16和32*32的预测块，N＝3；

(2)当所使用的预测块大小为4*4或8*8时，

当所使用的预测块大小为16*16和32*32时，

(3)使用最高概率模式算法，其中，将两个最高概率模式加入所述集合中；

(4)对所述集合中的各个模式应用率失真优化来获得最佳帧内预测模式。

2.如权利要求1所述的方法，其中，如果预测块的大小为64*64，则直接对与64*64大小的预测块相关联的3种预测模式执行步骤(4)，而不执行步骤(1)-(3)。

3.如权利要求1所述的方法，其中，所述代价基于以下：

J＝HSAD(Res_mode)+λ·B_mode，

其中，_mode为HEVC规定的最多具有35种的所有帧内预测模式，HSAD(Res_mode)表示残差信号哈达玛变换系数绝对和，B_mode表示模式比特数的消耗值，λ表示拉格朗日常量。

4.一种用于高效视频编码的视频编码器，其包括：

帧内预测模式决策器，其确定最佳帧内预测模式，并将所述最佳帧内预测模式输入帧内预测器；以及

帧内预测器，其基于所述最佳帧内预测模式，执行帧内预测，其中，所述帧内预测器是针对当前帧中的每个预测块执行预测模式决策的，

其中，所述帧内预测模式决策器被配置为：

(2)当所使用的预测块大小为4*4或8*8时，

当所使用的预测块大小为16*16和32*32时，

(4)对所述集合中的各个模式应用率失真优化来获得所述最佳帧内预测模式。

5.如权利要求4所述的用于高效视频编码的视频编码器，其中，如果预测块的大小为64*64，则直接对与64*64大小的预测块相关联的3种预测模式执行步骤(4)，而不执行步骤(1)-(3)。

6.如权利要求4所述的用于高效视频编码的视频编码器，其中，所述代价基于以下：

J＝HSAD(Res_mode)+λ·B_mode，

7.一种用于高效视频编码的自适应帧内预测模式决策装置，所述装置是针对当前帧中的每个预测块执行预测模式决策的，该装置包括：

模块(1)，使用粗略模式决策确定一候选模式集合，在所述候选模式集合中包含了模式集合中具有最小代价的N个候选模式，并且所述N个候选模式已经按照代价进行了升序排序，其中，对于大小4*4和8*8的预测块，N＝8，对于大小16*16和32*32的预测块，N＝3；

模块(2)，当所使用的预测块大小为4*4或8*8时，

当所使用的预测块大小为16*16和32*32时，

判断所述集合中的第1个模式是否为DC模式或Planar模式，如果是，则在所述集合中保留DC模式和所述Planar模式，并直接进行到模块(4)；

模块(3)使用最高概率模式算法，其中，将两个最高概率模式加入所述集合中；

模块(4)对所述集合中的各个模式应用率失真优化来获得最佳帧内预测模式。

8.如权利要求7所述的用于高效视频编码的自适应帧内预测模式决策装置，其中，如果预测块的大小为64*64，则直接对与64*64大小的预测块相关联的3种预测模式执行步骤(4)，而不执行步骤(1)-(3)。

9.如权利要求7所述的用于高效视频编码的自适应帧内预测模式决策装置，其中，所述代价基于以下：

J＝HSAD(Res_mode)+λ·B_mode，