CN103024392A

CN103024392A - 基于二维哈达玛变换的帧内模式预测方法及装置

Info

Publication number: CN103024392A
Application number: CN2012105758435A
Authority: CN
Inventors: 刘振宇; 朱佳; 汪东升
Original assignee: Tsinghua University; Huawei Technologies Co Ltd
Current assignee: Tsinghua University; Huawei Cloud Computing Technologies Co Ltd
Priority date: 2012-12-26
Filing date: 2012-12-26
Publication date: 2013-04-03
Anticipated expiration: 2032-12-26
Also published as: CN103024392B

Abstract

本发明提供一种基于二维哈达玛变换的帧内模式预测方法及装置，方法包括：S1、预设最优编码代价J_best；S2、选取预测块对应的候选模式M_k，计算在所述候选模式M_k下的预测结果；S3、计算所述预测结果与所述预测块对应的原始图像的残差矩阵，对所述残差矩阵进行二维变换，并对变换结果进行量化；S4、计算量化后在所述候选模式M_k下的失真程度和比特率，并计算在所述候选模式M_k下的编码代价J_k；S5、将J_k与J_best进行比较；若J_k＜J_best，则J_best＝J_k，将M_k作为最优候选模式；若J_k≥J_best，则J_best与其对应的最优候选模式不变；S6、重复步骤S2~S5，直到遍历完所述预测块的候选模式，得到最终的最优编码代价及其对应的最优候选模式。本发明通过上述方法降低了功耗开销和硬件面积。

Description

基于二维哈达玛变换的帧内模式预测方法及装置

技术领域

本发明涉及视频处理技术领域，特别涉及一种基于二维哈达玛变换的帧内模式预测方法及装置。

背景技术

随着高清、超高清视频应用的普及，受到通信信道带宽及存储能力的限制，用户对视频压缩的性能提出了越来越高的要求。为了获得较高的压缩率，视频编解码标准制定者选择了有损编码，其目标集中于以损失很小的视频质量来获得较大的压缩率。在上述背景下，高效率视频编码（HEVC，High Efficiency Video Coding）应运而生。动态图像专家组（MPEG，Moving Pictures Experts Group/Motion PicturesExperts Group）与国际电信联盟远程通信标准化组织（ITU-T，ITU-T forITU Telecommunication Standardization Sector）的视频编码专家组继H.264/AVC标准之后制定并且不断完善HEVC。HEVC标准建立在高复杂度的基础之上，尤其是其编码算法的复杂度比上一代协议（H.264/AVC）提高了一个数量级。HEVC帧内编码应用较多的预测模式，导致过大的计算量。尽管许多去除冗余模式的方法逐渐显现，但是其面积代价以及功耗开销仍然未能降低至便于进行硬件实现的范围。于是，如何优化运动预测方法，减少其运算量成为HEVC编码硬件设计所关注的重要问题。

HEVC标准制定了编码的接口规范，即编码完成后输出码流、同时也是解码端的输入码流所应符合的规范。而如何进行编码，则相对自由，仅需要保证输出编码符合标准即可。JVTVC团队发布了HEVC的开源代码，即HEVC测试模型算法（HM，HEVC test Model）。HM算法由C++代码编写而成，符合HEVC的接口规范。HM算法展示了HEVC标准的理想化压缩效率，但是并未在计算量上作相应的考虑，从而造成了大量的冗余。因此，如何移除HM算法中的冗余，降低其计算量而不带来大的图像质量损失，成为编码算法设计的核心问题。

HM的帧内预测算法，采用编码块(CU，coding unit），预测块(PU，prediction unit)和变换块(TU，transform unit)。CU、PU和TU代替了上一代编码标准中的宏块(MB，Macro Block)，将待编码块，预测块和变换块的概念分离开。一帧图像在帧内编码时，被分割为64×64像素点阵，即最大编码块。而最细小的分割，则由4×4像素点阵组成，即最小编码块。在最大编码块与最小编码块之间，则采用分成分割的方式，每层将2N×2N大小的CU分割为4个N×N大小的CU。

在CU的每一层中，编码器将通过分割前后编码代价的预估，来决定是否进行分割。若分割后的编码代价较小，则进行分割，并递归判定是否要继续分割至最小编码块；否则，即分割后的编码代价比分割前大，分割终止，以当前2N×2N大小CU进行编码。上述编码代价，以J表示之，是以图像领域通行的码流-失真率代价(RD-Cost，RateDistortion Cost)函数来获得，如下式所示：

J＝D+λR，

其中，R是由熵编码技术获得的码率，D是编码失真率，由重建值与原始值之差获得，λ是拉格朗日因子。

PU的最优模式预测，是从该PU所有的候选模式中选出使RD-Cost最小预测模式。各PU根据大小的不同，其候选模式有所不同。每个PU均有35个预测模式供选择。针对某一大小确定的PU中的某一确定候选模式，HM计算其RD-Cost的方法是：

第一步，根据该模式提供的插值方法，用已完成编码过程的近邻该PU的像素点阵来计算出待预测块PU各点的值。

第二步，在PU内作预测值与原始值的残差矩阵，对此残差矩阵进行离散余弦变换（DCT，Discrete Cosine Transform），将DCT变换后的系数矩阵进行量化。

第三步，将量化的结果进行反量化、负离散余弦变换（IDCT，inverseDiscrete Cosine Transformation），将其结果与预测值相加，得出重建值。计算编码的失真率：作重建值与原始值之差，求残差矩阵的平方和。编码失真率D计算公式如下：

D = Σ_{j = 0}^{H - 1} Σ_{i = 0}^{W - 1} {(X_{i, j}^{'} - X_{i, j})}^{2},

其中

表示CU的重建像素值，X_i，j表示CU中原始像素值，W、H分别为CU的宽、高。

第四步，对第二步中的量化结果进行熵编码，计算其比特率R，进而计算该模式的RD-Cost：以R，D并应用式（1）得到J。

CU、PU的模式预测分别确定了分割前、后的最优预测模式；此后应分别计算分割前、后的RD-Cost并进行比较，以确定是否进行分割。后者由变换块TU预测阶段完成，包括应用分割前、后的最优预测模式进行预测、变换、量化、编码、反量化、反变换、重建与RD-Cost计算与比较等部分。

以上完整描述了基于选取最优CU/PU/TU的原始的帧内预测方法。现有的帧内预测方法在此基础上进行了优化。优化策略分两种：其一是引入特定标准滤除PU的冗余候选预测模式数；其二是引入特定阈值策略，提前终止CU的递归判定过程。由两种策略衍生的各种方法有效降低了帧内预测的计算量，但是对于硬件实现而言，计算量依然是巨大障碍。其计算量的规模，主要耗费在第二步中的二维DCT变换，以及第三步的二维IDCT变换中。数量巨大的32×32、16×16、8×8的二维DCT/IDCT变换带来大量的乘法，使得硬件实现的面积大、功耗高。

发明内容

（一）解决的技术问题

本发明解决的技术问题是提供一种基于二维哈达玛变换的帧内模式预测方法，使得在操作过程中能够降低功耗。

（二）技术方案

本发明提出了一种基于二维哈达玛变换的帧内模式预测方法，所述方法包括：

S1、预设帧内最优候选模式及最优候选模式对应的最优编码代价；

S2、选取预测块对应的候选模式M_k，计算在所述候选模式M_k下的预测结果，其中，k=1、2、3…n，n为整数，M_k为所述预测块第k种候选模式；

S3、计算所述预测结果与所述预测块对应的原始图像的残差矩阵，对所述残差矩阵进行二维变换，并对变换结果进行量化；

S4、计算量化后在所述候选模式M_k下的失真程度和比特率，并根据所述候选模式M_k下的失真程度和比特率计算在所述候选模式M_k下的编码代价；

S5、将在所述候选模式M_k下的编码代价与最优编码代价进行比较；

若在所述候选模式M_k下的编码代价小于最优编码代价，则将在所述候选模式M_k下的编码代价作为最优编码代价，将所述候选模式M_k作为最优候选模式；

若在所述候选模式M_k下的编码代价大于或等于最优编码代价，则最优编码代价与其对应的最优候选模式不变；

S6、重复步骤S2~S5，直到遍历完所述预测块的候选模式，得到最终的最优编码代价及其对应的最优候选模式。

优选地，步骤S3中对所述残差矩阵进行二维变换具体包括：

若所述预测块的大小为4×4，则对所述残差矩阵进行离散正弦变换；

若所述预测块的大小为8×8、16×16、32×32或64×64，则对所述残差矩阵进行二维哈达玛变换。

优选地，对所述残差矩阵进行二维哈达玛变换的变换公式为：

Y＝H*(H*ΔX)^T

其中，Y为二维哈达玛变换结果；H为一维哈达玛变换矩阵；ΔX为残差矩阵。

优选地，一维哈达玛变换矩阵的计算方法为：

S31、利用蝶形运算将大小为4×4的所述预测块进行一维哈达玛变换，所述大小为4×4的所述预测块进行一维哈达玛变换的蝶形运算矩阵为：

H_{4} = [\begin{matrix} 1 & 1 & 0 & 0 \\ 1 & - 1 & 0 & 0 \\ 0 & 0 & 1 & 1 \\ 0 & 0 & - 1 & 1 \end{matrix}] [\begin{matrix} 1 & 0 & 0 & 1 \\ 0 & 1 & 1 & 0 \\ 0 & 1 & - 1 & 0 \\ 1 & 0 & 0 & - 1 \end{matrix}]

S32、根据所述大小为4×4的所述预测块进行一维哈达玛变换的结果，并利下式的蝶形运算对大小为8×8、16×16、32×32或64×64的所述预测块进行一维哈达玛变换：

H_{2 N} = [\begin{matrix} E_{N / 2} & O_{N / 2} & E_{N / 2} & O_{N / 2} \\ O_{N / 2} & E_{N / 2} & O_{N / 2} & {- E}_{N / 2} \\ E_{N / 2} & O_{N / 2} & {- E}_{N / 2} & O_{N / 2} \\ O_{N / 2} & E_{N / 2} & O_{N / 2} & E_{N / 2} \end{matrix}] [\begin{matrix} H_{N} & O_{N} \\ O_{N} & H_{N} \end{matrix}]

其中，E_N/2是大小为

的单位矩阵，O_N/2是大小为

的单位矩阵的0矩阵。

优选地，步骤S4中计算在所述候选模式M_k下的失真程度的计算公式为：

D = {Qstep}^{2} \cdot Σ_{i = 0}^{H - 1} Σ_{j = 0}^{W - 1} {(Y_{i, j} \cdot MF - (Z_{i, j} < < qbits))}^{2}

其中，D为在所述候选模式M_k下的失真程度；Qstep为量化步长因子；Z_i，j为步骤S2的量化结果；Y_i,j为所述变换结果；MF、qbits为满足MF·Qstep≈2^qbits条件的正整数。

本发明还提出了一种基于二维哈达玛变换的帧内模式预测装置，所述装置包括：

预设模块，用于预设帧内最优候选模式及最优候选模式对应的最优编码代价；

选取模块，用于选取预测块对应的候选模式M_k，其中，k=1、2、3…n，n为整数，M_k为所述预测块第k种候选模式；

计算模块，用于计算在所述候选模式M_k下的预测结果；

所述计算模块，还用于计算所述预测结果与所述预测块对应的原始图像的残差矩阵；

变换模块，用于对所述残差矩阵进行二维变换；

量化模块，用于并对变换模块得到的变换结果进行量化；

所述计算模块，还用于计算量化后在所述候选模式M_k下的失真程度和比特率；

所述计算模块，还用于根据所述候选模式M_k下的失真程度和比特率计算在所述候选模式M_k下的编码代价；

比较模块，用于将在所述候选模式M_k下的编码代价与最优编码代价进行比较；

更新模块，用于在所述候选模式M_k下的编码代价小于最优编码代价时，将在所述候选模式M_k下的编码代价作为最优编码代价，将所述候选模式M_k作为最优候选模式；当在所述候选模式M_k下的编码代价大于或等于最优编码代价时，令最优编码代价与其对应的最优候选模式不变。

（三）有益效果

本发明通过利用哈达玛变换的正交性，用量化过程中精确度的损失来估计编码后的失真率，从而在去除了帧内预测的DCT/IDCT变换；设计了级联的蝶型运算，进一步简化了哈达玛变换的运算过程，实现一个2N×2N变换硬件电路，仅需要在两个N×N变换的基础上增加一级由N个加减运算构成的蝶型运算电路，降低了功耗开销和硬件面积。

附图说明

图1为本发明提出的方法流程图；

图2为本发明提出的装置结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

实施例1：

本发明提出了一种基于二维哈达玛变换的帧内模式预测方法，方法流程图如图1所示，所述方法包括：

对于一个预测块PU，HEVC给出了35个候选预测模式。在帧内模式预测时，候选模式M_k从这些候选预测模式中选取。

PU候选模式M_k确定之后，根据HEVC提供的预测值方法，以待编码PU附近已编码的PU的像素值作为参考数据，作插值得到待编码PU的预测值。

计算所述预测结果与所述预测块对应的原始图像的残差矩阵的公式为：

ΔX_i,j＝X_i,j-predX_i,j，0≤i＜H,0≤j＜W

其中，ΔX_i,j为残差矩阵第i行，第j列元素，X_i,j是PU原始值，predX_i,j是PU的预测值，H、W分别为PU的高、宽。

对所述残差矩阵进行二维变换具体包括：

若所述预测块的大小为4×4，则对所述残差矩阵进行离散正弦变换；对于大小为4×4的PU的所有预测模式，因为其离散正弦变换（DST，Discrete Sine Transform）并不复杂，故使用DST变换；

其中，二维哈达玛变换是以两个一维哈达玛变换复合而成，对所述残差矩阵进行二维哈达玛变换的变换公式为：

Y＝H*(H*ΔX)^T

其中，8×8、16×16、32×32或64×64的预测块进行一维哈达玛变换是以蝶形运算的形式逐级实现的，一维哈达玛变换矩阵的计算方法为：

H_{4} = [\begin{matrix} 1 & 1 & 0 & 0 \\ 1 & - 1 & 0 & 0 \\ 0 & 0 & 1 & 1 \\ 0 & 0 & - 1 & 1 \end{matrix}] [\begin{matrix} 1 & 0 & 0 & 1 \\ 0 & 1 & 1 & 0 \\ 0 & 1 & - 1 & 0 \\ 1 & 0 & 0 & - 1 \end{matrix}]

S32、根据所述大小为4×4的所述预测块进行一维哈达玛变换的结果，并利用下式的蝶形运算对大小为8×8、16×16、32×32或64×64的所述预测块进行一维哈达玛变换：

H_{2 N} = [\begin{matrix} E_{N / 2} & O_{N / 2} & E_{N / 2} & O_{N / 2} \\ O_{N / 2} & E_{N / 2} & O_{N / 2} & {- E}_{N / 2} \\ E_{N / 2} & O_{N / 2} & {- E}_{N / 2} & O_{N / 2} \\ O_{N / 2} & E_{N / 2} & O_{N / 2} & E_{N / 2} \end{matrix}] [\begin{matrix} H_{N} & O_{N} \\ O_{N} & H_{N} \end{matrix}]

其中，E_N/2是大小为

的单位矩阵，O_N/2是大小为的单位矩阵的0矩阵。

对于上述蝶型运算，参与运算的矩阵的每一行和每一列除了0元素外，均有且仅有两个元素，其中一个必是1，而另外一个为1或-1。蝶型运算的优势在于仅由N个加减法即可实现N×N的矩阵运算。

所述对变换结果进行量化具体包括：

量化原理式如下所示：

其中，Z_i，j为步骤S2的量化结果；Y_i,j为所述变换结果；Qstep是HEVC设定的量化步长因子，而表示取整操作。

将量化原理式演化成如下的计算式：

|Z_i，j|＝(|Y_i，j|·MF+f)＞＞qbits

sign(Z_i,j)＝sign(Y_i,j)

其中MF、qbits是满足MF·Qstep≈2^qbits条件的正整数。

量化后，通过量化时的对量化结果进行取整前与取整后的差值来估计编码的失真程度，原理式如下：

D_{Q} = {Qstep}^{2} Σ_{i = 0}^{H - 1} Σ_{j = 0}^{W - 1} {(Y_{i, j} / Qstep - Z_{i, j})}^{2} .

式中D_Q为量化的失真程度，由二维变换后的变换结果Y_i,j由量化过程导致的精度损失数值的二阶能量来体现。

D_Q可以进一步转换为易于硬件实现的方式：

D = {Qstep}^{2} \cdot Σ_{i = 0}^{H - 1} Σ_{j = 0}^{W - 1} {(Y_{i, j} \cdot MF - (Z_{i, j} < < qbits))}^{2}

式中D为失真程度，且D将D_Q放大了约2^qbits倍，以便于用加法和移位实现。

量化后，还需要以HEVC的熵编码技术方法来估计比特率R。此处熵编码仅用来给出比特率的一个预估值，因为本发明的方法中采用哈达玛变换，而实际编码必须采用离散余弦变换（DCT，Discrete CosineTransform），由于计算方法为现有技术，因此本发明在此不作赘述。

在所述候选模式M_k下的编码代价是根据下述公式进行计算：

J＝D+λR

其中，J为编码代价，D失真程度，R为比特率，λ为拉格朗日因子。

因此得到候选模式M_k下的编码代价为J_k。

实施例2：

预设模块201，用于预设帧内最优候选模式及最优候选模式对应的最优编码代价；

选取模块202，用于选取预测块对应的候选模式M_k，其中，k=1、2、3…n，M_k为所述预测块第k种候选模式；

计算模块203，用于计算在所述候选模式M_k下的预测结果；

所述计算模块203，还用于计算所述预测结果与所述预测块对应的原始图像的残差矩阵；

变换模块204，用于对所述残差矩阵进行二维变换；

量化模块205，用于并对变换模块得到的变换结果进行量化；

所述计算模块203，还用于计算量化后在所述候选模式M_k下的失真程度和比特率；

所述计算模块203，还用于根据所述候选模式M_k下的失真程度和比特率计算在所述候选模式M_k下的编码代价；

比较模块206，用于将在所述候选模式M_k下的编码代价与最优编码代价进行比较；

更新模块207，用于在所述候选模式M_k下的编码代价小于最优编码代价时，将在所述候选模式M_k下的编码代价作为最优编码代价，将所述候选模式M_k作为最优候选模式；当在所述候选模式M_k下的编码代价大于或等于最优编码代价时，令最优编码代价与其对应的最优候选模式不变。

以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims

1.一种基于二维哈达玛变换的帧内模式预测方法，其特征在于，所述方法包括：

S2、选取预测块对应的候选模式M_k，计算在所述候选模式M_k下的预测结果，其中，k＝1、2、3…n，n为整数，M_k为所述预测块第k种候选模式；

2.根据权利要求1所述的方法，其特征在于，步骤S3中对所述残差矩阵进行二维变换具体包括：

3.根据权利要求2所述的方法，其特征在于，对所述残差矩阵进行二维哈达玛变换的变换公式为：

Y＝H*(H*ΔX)^T

4.根据权利要求3所述的方法，其特征在于，一维哈达玛变换矩阵的计算方法为：

H_{4} = [\begin{matrix} 1 & 1 & 0 & 0 \\ 1 & - 1 & 0 & 0 \\ 0 & 0 & 1 & 1 \\ 0 & 0 & - 1 & 1 \end{matrix}] [\begin{matrix} 1 & 0 & 0 & 1 \\ 0 & 1 & 1 & 0 \\ 0 & 1 & - 1 & 0 \\ 1 & 0 & 0 & - 1 \end{matrix}]

S32、根据所述大小为4×4的所述预测块进行一维哈达玛变换的蝶形运算矩阵，并利用下式的蝶形运算对大小为8×8、16×16、32×32或64×64的所述预测块进行一维哈达玛变换：

H_{2 N} = [\begin{matrix} E_{N / 2} & O_{N / 2} & E_{N / 2} & O_{N / 2} \\ O_{N / 2} & E_{N / 2} & O_{N / 2} & {- E}_{N / 2} \\ E_{N / 2} & O_{N / 2} & {- E}_{N / 2} & O_{N / 2} \\ O_{N / 2} & E_{N / 2} & O_{N / 2} & E_{N / 2} \end{matrix}] [\begin{matrix} H_{N} & O_{N} \\ O_{N} & H_{N} \end{matrix}]

其中，E_N/2是大小为

的单位矩阵，O_N/2是大小为

的单位矩阵的0矩阵。

5.根据权利要求1所述的方法，其特征在于，步骤S4中计算在所述候选模式M_k下的失真程度的计算公式为：

D = {Qstep}^{2} \cdot Σ_{i = 0}^{H - 1} Σ_{j = 0}^{W - 1} {(Y_{i, j} \cdot MF - (Z_{i, j} < < qbits))}^{2}

6.一种基于二维哈达玛变换的帧内模式预测装置，其特征在于，所述装置包括：

计算模块，用于计算在所述候选模式M_k下的预测结果；

变换模块，用于对所述残差矩阵进行二维变换；

量化模块，用于并对变换模块得到的变换结果进行量化；