CN111355955B

CN111355955B - 基于预选层的多变换核快速跳过方法

Info

Publication number: CN111355955B
Application number: CN202010150028.9A
Authority: CN
Inventors: 张昊; 马学睿; 冯冰雪; 钟培雄; 姜俊宏; 苏昊天
Original assignee: Central South University
Current assignee: Central South University
Priority date: 2020-03-06
Filing date: 2020-03-06
Publication date: 2022-07-29
Anticipated expiration: 2040-03-06
Also published as: CN111355955A

Abstract

本发明公开了一种基于预选层的多变换核快速跳过方法，包括以下步骤：S1、对传入的视频执行第一遍编码流程；S2、使用选择MTS标志位0时的变换核执行变换模块，将变换之后的值执行量化、反量化、反变换操作，得到重构像素值；S3、计算使用该变换核时的R‑Dcost值；S4、按次序使用选择MTS标志位为1的MTS变换核，重复N次，将变换之后的值执行量化、反量化、反变换操作，得到重构像素值，选择R‑Dcost值最小的变换核作为最优的变换核；S5、完成第一遍编码，产生最优划分，开始第二遍编码；S6、循环遍历所有的CU块，直到第二遍编码完成。本方案能够实现在质量损失不大的条件下，极大的降低编码器的运算成本，增加其实用性。

Description

基于预选层的多变换核快速跳过方法

技术领域

本发明涉及视频数据处理算法领域，具体的涉及一种基于预选层的多变换核快速跳过方法。

背景技术

目前，由于高质量和高分辨率视频的越来越普遍的应用，人们迫切需要制定出超越目前的高效视频编码(HEVC：High Efficiency Video Coding)标准的下一代视频编码技术。为了解决这个问题，运动图像专家组(MPEG：Moving Picture Epert Group)和视频编码专家组(VCEG：VideoCoding Epert Group)联合成立了联合视频探索小组(JVET：JointVideo Eploration Team)，并且最近取得了重大进展。在第十届JVET会议上，JVET定义了多功能视频编码(VVC)的初稿和VVC测试模型1(VTM1)编码方法。在第11次会议上，JVET启动了VVC工作草案，其中采用了几种新的编码工具，例如仿射运动补偿预测和MTS(MultipleTransform Selection多变换核选择)。在第12次会议上，VVC工作草案3中包括了对MTS内核派生的简化，并在VTM3中进行了实施。除了已在HEVC中使用的DCT-II外，VVC还包括MTS以通过以下方式提高转换效率：利用多个选定的变换。新引入的变换矩阵是DST-VII和DCT-VIII，它们都可以在水平和垂直方向上应用。如果在序列参数集(SPS)上启用了MTS，则在将DCT-II应用于两个方向之后，将在水平和垂直方向上依次对DST-VII和DCT-VIII的组合进行RD检查。

VVC采用了基于块的混合编码框架。图2所示为典型的VVC视频编码流程,输入的图像首先被划分为大小相等的正方形图像块，这些图像块被称为树形编码单元(Coding TreeUnit，简称CTU)，CTU是四叉树以及嵌套的多类型树划分结构的根节点。CTU将根据四叉树及嵌套多类型树的划分结构进一步划分为编码单元(Coding Unit，简称CU)，CU是进行预测的基本单位。一个CU首先会根据其帧内帧间属性进行帧内预测或者帧间预测。如果是帧内预测，则主要利用空间相邻的参考像素经过线性插值得到当前CU的像素预测值，如果是帧间预测，则是利用时间相邻(前一帧或前几帧)的参考像素经过位移补偿得到当前CU的像素预测值。然后将CU的预测值与原始值相减得到残差，残差经过变换进一步减少相邻像素点误差的空间相关性并得到相应的残差系数。残差系数经量化后一方面会结合编码模式以及相关的编码参数等信息进行熵编码，从而得到压缩后的码流。另一方面，量化后的残差系数会经反量化反变换，然后将反量化反变换后的残差和预测值相加得到重建像素，重建图像经滤波后生成参考帧并存储在解码图像缓存器中，用于后面的CU帧内预测或帧间预测时作参考像素。

由于VVC中增加了大量的工具，导致其复杂度急剧地增加，这也导致其时间成本增加，实用性大打折扣。

发明内容

为了解决上述问题，本发明的目的是提供一种基于预选层的多变换核快速跳过方法，能够能够实现在质量损失不大的条件下，极大的降低编码器的运算成本，增加其实用性。

本发明采用的技术方案是：

一种基于预选层的多变换核快速跳过方法，包括以下步骤：

S1、对传入的视频执行第一遍编码流程；

S2、在第一遍编码流程中，执行变换模块时，首先使用选择MTS标志位0时的变换核执行变换模块，将变换之后的值执行量化、反量化、反变换操作，得到重构像素值；

S3、计算使用该变换核时的R-Dcost值，公式如下所示：J＝D+λ*R；其中D是指失真值Distortion，λ为编码器设定数值，R为编码当前CU所使用的比特数值，J为最终计算得到的R-Dcost值；

S4、然后按次序使用选择MTS标志位为1的MTS变换核，将该步骤重复N次，将变换之后的值执行量化、反量化、反变换操作，得到重构像素值。并重复步骤S3获得使用该变换核时的R-Dcost，并与使用其它变换核时的R-Dcost比较，选择R-Dcost值最小的变换核作为最优的变换核；

S5、完成第一遍编码，产生最优划分，开始第二遍编码，第二遍编码在第一遍编码的最优CU划分的基础上继续帧内预测与编码；

S6、循环遍历所有的CU块，直到第二遍编码完成。

根据本发明的一些实施例，所述步骤S1中设置参数N，代表在第一次编码中采用MTS为1时的N个变换核进行计算，其中0<＝N<＝4。

根据本发明的一些实施例，所述步骤S2中变换方法使用离散余弦变换的第二种类型。

根据本发明的一些实施例，所述步骤S5中当执行变换模块时，遍历所有的MTS选择，包括MTS标志位为0以及MTS标志位为1时的4种MTS候选索引，计算得到选择每一种MTS时的R-Dcost，选择R-Dcost最小的变换核作为最优的变换核。

本发明的有益效果在于：

在第一次编码中，通过跳过大量的MTS，降低了运算量，并且通过第二次编码再一次去按照第一次编码所确定的CU划分重新检测最优的MTS,避免了跳过大量MTS带来的质量上的损失，通过以上的方式，在损失较小的情况下，做到了较大的时间减少。时间减少的主要的原因是因为第一遍编码流程中需要执行各种CU划分方式，从而在其中选择最优的CU划分。而在遍历所有CU划分方式时，变换模块是必不可少的，因此本方案通过第一次编码就降低了大量的时间，而第二遍的编码流程是按照第一遍所选择的最优划分进行遍历，因此可以减少整体编码时间。

通过本算法能够实现在质量损失不大的条件下，极大的降低编码器的运算成本，增加其实用性。

附图说明

图1为本发明基于预选层的多变换核快速跳过方法的流程示意图；

图2为常规的VCC编码流程图。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。

如图1所示为本发明的一种基于预选层的多变换核快速跳过方法，包括以下步骤：

S1、对传入的视频执行第一遍编码流程。设置参数N，代表在第一次编码中采用MTS为1时的N个变换核进行计算，其中0<＝N<＝4。如果N＝0表示第一遍编码不计算MTS标志位为1的MTS变换核，而只计算MTS标志位为0的MTS变换核(即DCT II)。

S2、在第一遍编码流程中，执行变换模块时，首先使用选择MTS标志位0时的变换核执行变换模块，该变换方式使用的是离散余弦变换(Discrete Cosine Transform，DCT)的第二种类型。将变换之后的值执行量化、反量化、反变换操作，得到重构像素值。

S3、计算使用该变换核时的R-Dcost(率失真消耗Rate-Distortion cost)值，公式如下所示：J＝D+λ*R

其中D是指失真值Distortion，由得到的当前CU的每个像素的重构像素值与原始像素值做差，将差值取绝对值，并将当前CU的所有像素取绝对值后的差值相加，最终的到D的值，λ为编码器设定数值，在此不做赘述，R为编码当前CU所使用的比特数值，J为最终计算得到的R-Dcost值。

S4、然后按次序使用选择MTS标志位为1的MTS变换核，该步骤重复N次。MTS标志位为1对应的变换矩阵如表1所示，其中DST-VII表示离散正弦变换(Discrete SineTransform)的第七种类型，DCT-VIII表示离散余弦变换(Discrete Cosine Transform)的第八种类型。将变换之后的值执行量化、反量化、反变换操作，得到重构像素值。并重复步骤S3。获得使用该变换核时的R-Dcost，并与使用其它变换核时的R-Dcost比较，选择R-Dcost值最小的变换核作为最优的变换核。

表1 MTS标志位为1时MTS候选索引与变换矩阵对应图

S5、完成第一遍编码，产生最优划分，开始第二遍编码，第二遍编码不再遍历所有可能的划分，只在第一遍最优CU划分的基础上继续帧内预测与编码。

与第一遍编码不同的是，在第二次编码中，当执行变换模块时，遍历所有的MTS选择，包括MTS标志位为0以及MTS标志位为1时的4种MTS候选索引，计算得到选择每一种MTS时的R-Dcost，选择R-Dcost最小的变换核作为最优的变换核。

S6、循环遍历所有的CU块，直到第二遍编码完成。

本实施例设置N＝1时进行的测试输出结果如表2所示。从输出结果可以看出具有的有益效果是在BDBR损失0.52％的情况下时间减少36.58％。该结果是在VVC官方参考软件VTM3.0上实现，并使用JVET的通用测试条件进行实验。在编码器的设置上，使用默认的All-Intra(全帧内)配置中的设置，测试所用视频序列为官方推荐的采样格式为420的视频序列。编码性能主要由BDBR和TR(Time reduction时间减少)两个指标进行评估，并以原始的VTM3.0编码器为基准评估算法的编码性能。其中，BDBR表示在同样的客观质量下两种编码方法的码率差值，由同一段视频在四个QP(Quantization Parameter量化参数)取值下(22，27，32，37)分别编码并计算码率和PSNR(Peak Signal to Noise Ratio即峰值信噪比，是一种评价图像的客观标准)所得到。BDBR能够综合反映视频的码率和质量，它表示在同样的客观质量下，较优的编码方法可以节省的码率百分比。当BDBR为负值，表示相同PSNR下，码率减少，性能提高。正值表示码率增加，性能下降。TR则用于衡量快速算法在原编码器的基础上对编码时间的缩减程度其计算方式如下：

其中，T1为将本发明方法应用到VTM3.0后的总编码时间，T0为原始VTM3.0的总编码时间。当TR为负值时表示添加算法的编码器比未添加算法的编码器所使用的时间降低。

序列名称	BDBR损失	时间减少
			BlowingBubbles	0.70％	-38.85％
BQTerrace	0.47％	-37.36％
			Cactus	0.58％	-37.08％
ChinaSpeed	0.30％	-35.89％
			Johnny	0.49％	-32.88％
PeopleOnStreet	0.61％	-39.81％
			RaceHorsesC	0.67％	-38.13％
Vidyo1	0.32％	-32.64％
			Average	0.52％	-36.58％

表2输出结果

综上，本申请的算法在第一次编码中，通过跳过大量的MTS，降低了运算量，但与此同时也带来了质量上的损失，为了弥补这种损失，本方案通过第二次编码再一次去按照第一次编码所确定的CU划分重新检测最优的MTS。最终通过以上的方式，在损失不大情况下，做到了较大的时间减少。时间减少的主要的原因是因为第一遍编码流程中需要执行各种CU划分方式，从而在其中选择最优的CU划分。而在遍历所有CU划分方式时，变换模块是必不可少的，因此本方案通过第一次编码就降低了大量的时间，而第二遍的编码流程是按照第一遍所选择的最优划分进行遍历，因此可以减少整体编码时间。

通过本方案能够实现在质量损失不大的条件下，极大的降低编码器的运算成本，增加其实用性。

以上仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种基于预选层的多变换核快速跳过方法，其特征在于，包括以下步骤：

S1、对传入的视频执行第一遍编码流程；

S2、首先使用选择MTS标志位0时的变换核执行变换模块，将变换之后的值执行量化、反量化、反变换操作，得到重构像素值；

S4、按次序使用选择MTS标志位为1的MTS变换核执行变换模块，将该步骤重复N次，将变换之后的值执行量化、反量化、反变换操作，得到重构像素值；并重复步骤S3获得使用该变换核时的R-Dcost，并与使用其它变换核时的R-Dcost比较，选择R-Dcost值最小的变换核作为最优的变换核；

S5、完成第一遍编码，产生最优划分，开始第二遍编码,第二遍编码在第一遍编码的最优CU划分的基础上继续帧内预测与编码；

S6、循环遍历所有的CU块，直到第二遍编码完成。

2.根据权利要求1所述的基于预选层的多变换核快速跳过方法，其特征在于：所述步骤S1中设置参数N，代表在第一次编码中采用MTS为1时的N个变换核进行计算，其中0<＝N<＝4,其中N＝0时第一遍编码不计算MTS标志位为1的MTS变换核，而只计算MTS标志位为0的MTS变换核。

3.根据权利要求1所述的基于预选层的多变换核快速跳过方法，其特征在于：所述步骤S2中变换方法使用离散余弦变换的第二种类型。

4.根据权利要求1所述的基于预选层的多变换核快速跳过方法，其特征在于：所述步骤S5中当执行变换模块时，遍历所有的MTS选择，包括MTS标志位为0以及MTS标志位为1时的4种MTS候选索引，计算得到选择每一种MTS时的R-Dcost，选择R-Dcost最小的变换核作为最优的变换核。