CN111447438B - 一种面向通用视频编码的快速帧内预测模式判决方法 - Google Patents

Abstract

本发明公开了一种面向通用视频编码的快速模式判决方法，利用粗略模式判决方法(RMD)获取上下文信息；根据残差的概率分布，从数学的角度预测编码码率R_e；通过结合像素域中的上下文信息预测编码失真D_e；根据率失真代价J_e从候选模式集中确定出帧内预测模式。实验结果表明，本发明所提的通用视频编码快速帧内模式判决方法在对编码效率影响较小的情况下可以降低约29％的编码复杂度。

Description

一种面向通用视频编码的快速帧内预测模式判决方法

技术领域

本发明属于视频编码技术领域，具体涉及一种面向通用视频编码的快速帧内预测模式判决方法。

背景技术

随着网络技术的迅速发展，视频编码技术的成熟和完善，传输技术的不断提高，视频业务得到了广泛的应用。如何更好的实现高效的视频编码，一直是视频领域的研究热点。新一代视频编码标准VVC(通用视频编码)针对“高清/超高清视频的大数据量”这一点，凭借先进的编码工具以更灵活的手段来有效地表示丰富的视频内容，不仅节省了大量的存储空间和传输带宽，同时具备了应对新业务挑战的能力。

为了进一步利用空间相关性来去除视频内容的冗余，VVC引入了67种帧内预测模式，包括多角度模式、Planar模式和DC模式。依据视频的纹理特性，通过使用帧内预测模式判决，从众多模式中选择出一种最优的模式来最大化VVC的帧内编码效率。其主要借助于拉格朗日优化技术实现，每一种模式经过预测、变换、量化、熵编码、反量化、反变换、像素重构等步骤得到编码码率和编码失真，然后计算率失真代价，通过比较率失真代价来确定最优的预测模式。

在VVC中，帧内预测模式判决算法分为粗略模式判决(RMD)和率失真优化(RDO)两部分。RMD模块中首先以哈达玛变换后的绝对误差和D_s为失真测度，计算帧内预测模式的率失真代价J_s：

J_s＝D_s+λ_s·R_s， (1)

其中λ_s为拉格朗日因子，R_s表示编码帧内预测模式所耗的比特数。依据式(1)结果，选择M(M＝6)种最有可能成为最优帧内预测模式组成最可能模式集。然后在RDO中对最可能模式集中的每一种帧内预测模式进行编码，选择率失真代价J_e最小的模式作为最优帧内预测模式：

J_e＝D_e+λ_e·R_e. (2)

参数λ_e表示拉格朗日因子，R_e为帧内预测模式的编码比特数和预测残差的编码比特数之和，D_e为均方误差和。

虽然多种模式可以很好地捕获帧中任意方向的视频信息，但给编码器带来了超负荷的运算量和很长的处理时延，这对基于VVC的多媒体业务拓展是极为不利的。Jamali等人利用变换域残差来预测率失真代价，排除不可能成为最优的预测模式来降低编码复杂度(见JAMALI M，COULOMBE S.Fast HEVC intra mode decision based on RDO costprediction[J].IEEE Transactions on Broadcasting,2018:1-14)；Tariq根据相邻块率失真代价的动态变化预测当前块的率失真代价，通过最小化率失真代价以确定最优的预测模式(见TARIQ J.RD-cost as statistical inference for early intra mode decisionin HEVC[J].Multimedia Tools and Applications,2019,78(12):16783-16801)；此外还可以借助于智能优化算法，通过分析分析和研究帧内预测模式判决的特性，建立一种新的最优预测模式判决的新的目标函数(见TARIQ J,ARMGHAN A,IJAZ A,ASHRAF I.Pure intramode decision in HEVC using optimized firefly algorithm[J].Journal of VisualCommunication and Image Representation,2020,vol.68)。上述方法主要针对高效视频编码(HEVC)中35种帧内预测模式判决做出的优化，准确率和编码效率较低，以不适合应用到最新视频编码VVC中。因此建立一种合适VVC的快速帧内模式判决方法是很有必要的。

发明内容

本发明的目的是提供一种面向通用视频编码的快速帧内预测模式判决方法，该方法具有较低的编码复杂度和较高的编码效率。

本发明所采用的技术方案是，一种面向通用视频编码的快速帧内预测模式判决方法，具体包括如下步骤：

步骤1，首先使用RMD方法从67中帧内预测模式中选择M(M＝6)种最有可能成为最优帧内预测模式的候选模式。其次按照步骤2和步骤3分别计算这M种候选模式的编码码率和编码失真，获取每种候选模式的总代价，从中选择总代价最小的预测模式作为编码块的最优帧内预测模式。

步骤2，变换域的残差可以被描述为零均值的高斯分布，以均方误差和作为失真测度，经过量化后的理论率失真模型为：

其中x表示残差，δ为残差的标准差，e为自然常数。在高比特率或低失真的情况下，编码码率R与log₂ ^δ成比例，因而残差的编码码率约为：

R_r≈α·log₂ ^σ, (4)

其中α为0.5。关于帧内预测模式的编码比特数可以通过RMD模块得到：

R_m＝R_s. (5)

则总的编码比特数R_e：

R_e≈R_m+R_r.(6)

步骤3，由于VVC编码使用标量量化技术，导致像素经反编码后无法恢复到原始值而引起失真。根据帧内编码原理，位于(i,j)位置处的像素失真d可表示为原始像素值p与重构像素值p′之差：

其中p_p是采用某种帧内预测模式后得到的像素预测值，p_e表示原始像素值与预测像素值之差，p_e′表示重构像素值与预测像素值之差。考虑到当前像素与参考像素具有强的相关性，且都使用相同的量化参数，因而当前像素的编码失真可以借助于参考像素的编码失真d(r_i,r_j)进行预测：

最终编码块的总失真D_e：

本发明的特点还在于，

步骤2中公式(9)中参数δ的计算方法如下：

对于N×N大小的残差块系数r，经DCT变换后得变换矩阵T：

其中A为DCT矩阵，则：

其中[·]_u,u表示矩阵中位于(u,u)位置出的系数值，符号R'定义为：

参数ρ用于度量水平方向和垂直方向上像素值之间的相关性，其值设置为0.6；参数δ_p用于表示残差块内像素的标准差，该值可通过平均绝对差值MAD近似：

本发明与现有技术相比具有如下优点：

(1)本发明从率失真理论的角度预测编码码率，具有高的准确度。

(2)本发明从率失真理论的角度预测编码失真，具有高的准确度。

(3)本发明所提的快速帧内预测模式判决方法，考虑了视频内容特性，具有较好的编码效率。

(3)本发明所提的快速帧内预测模式判决方法，考虑了VVC编码技术，具有较好的编码效率。

(4)本发明通过利用预测的率失真代价来确定最优的帧内预测模式，与现有方法相比，编码复杂度可以降低约30％。

附图说明

图1是本发明面向通用视频编码的快速帧内模式判决方法流程图.

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明面向通用视频编码的快速帧内模式判决方法，具体计算流程如图1所示，

步骤1，以哈达玛变换后的绝对误差和D_s为失真测度，计算帧内预测模式的率失真代价J_s：

J_s＝D_s+λ_s·R_s， (1)

其中λ_s为拉格朗日因子，R_s表示编码帧内预测模式所耗的比特数。依据式(1)结果，选择M(M＝6)种最有可能成为最优帧内预测模式组成最可能模式集。步骤2，计算第i(i∈M)种候选模式下的参数δ：

对于N×N大小的残差块系数r，经DCT变换后得变换矩阵T：

其中A为DCT矩阵，则：

其中[·]_u,u表示矩阵中位于(u,u)位置出的系数值，符号R'定义为：

参数ρ用于度量水平方向和垂直方向上像素值之间的相关性，其值设置为0.6；参数δ_p用于表示残差块内像素的标准差，该值可通过平均绝对差值MAD近似：

步骤3，计算第i(i∈M)种候选模式下的编码码率：

计算残差的编码码率：

R_r≈α·log₂ ^σ, (4)

其中α为0.5。关于帧内预测模式的编码码率可以通过RMD模块得到：

R_m＝R_s. (5)

则总的编码码率R_e：

R_e≈R_m+R_r. (6)

步骤4，计算第i(i∈M)种候选模式下的编码失真

根据帧内编码原理，位于(i,j)位置处的像素失真d可表示为原始像素值p与重构像素值p′之差：

其中p_p是采用某种帧内预测模式后得到的像素预测值，p_e表示原始像素值与预测像素值之差，p_e′表示重构像素值与预测像素值之差。考虑到当前像素与参考像素具有强的相关性，且都使用相同的量化参数，因而当前像素的编码失真可以借助于参考像素的编码失真d(r_i,r_j)进行预测：

最终编码块的总失真D_e：

步骤5，按照式(2)计算第i(i∈M)种候选模式下的率失真代价。

步骤6，从候选模式集中选择率失真代价最小的预测模式作为编码块的最优帧内预测模式。

本发明的效果通过实验进一步说明。

实验测试了不同分辨率，不同应用场景下的VVC帧内编码性能。统计结果表明本发明的编码时间平均降低31.2％，编码比特数平均增加了1.53％。在面对新的视频业务特性和新的编码技术时，通过应用通用视频编码的快速帧内预测模式判决方法，可以更加快速地压缩丰富的视频内容，节省***的编码时间，提高视频播放中应对新业务挑战的能力，使越来越多的用户参与到视频应用中，身临其境地感受着高清/超高清视频所带来的独特魅力。

Claims (2)

1.一种面向通用视频编码的快速帧内模式判决方法，其特征在于，具体包括如下步骤：

步骤1，使用粗略模式判决方法从67种帧内预测模式中选择M种最有可能成为最优帧内预测模式的候选模式；

步骤2，计算第i(i∈M)种候选模式下的变换域残差的标准差δ；计算参数δ的方法具体为：

对于N×N大小的残差块系数r，经DCT变换后得变换矩阵T：

其中A为DCT矩阵，则：

其中[·]_u,u表示矩阵中位于(u,u)位置出的系数值，符号R'定义为：

参数ρ用于度量水平方向和垂直方向上像素值之间的相关性，其值设置为0.6；参数δ_p用于表示残差块内像素的标准差，该值通过平均绝对差值MAD近似：

步骤3，计算第i(i∈M)种候选模式下的编码码率；编码码率的计算方法具体为：

计算残差的编码码率：

R_r≈α·log₂ ^δ(4)其中α为0.5，关于帧内预测模式的编码码率通过RMD模块得到：

R_m＝R_s (5)

则总的编码码率R_e：

R_e≈R_m+R_r(6)；

步骤4，计算第i(i∈M)种候选模式下的编码失真；计算编码失真的具体方法为：

根据帧内编码原理，位于(i,j)位置处的像素失真d表示为原始像素值p与重构像素值p′之差：

其中p_p是采用某种帧内预测模式后得到的像素预测值，p_e表示原始像素值与预测像素值之差，p_e′表示重构像素值与预测像素值之差；考虑到当前像素与参考像素具有强的相关性，且都使用相同的量化参数，因而当前像素的编码失真借助于参考像素的编码失真d(r_i,r_j)进行预测：

最终编码块的总失真D_e：

步骤5，计算第i(i∈M)种候选模式下的率失真代价；

步骤6，从候选模式集中选择率失真代价最小的预测模式作为编码块的最优帧内预测模式。

2.根据权利要求1所述的一种面向通用视频编码的快速帧内模式判决方法，其特征在于，所述步骤1中，M取值6。

Images