CN115190299B - Vvc仿射运动估计快速计算方法 - Google Patents

Abstract

针对在VVC加入AME使得计算复杂度急剧提升的问题，本发明主要从三个角度对VVC中的AME进行加速。首先，考虑到AME的迭代次数过多，提出了一种自适应迭代次数公式，该公式可以很大程度地削减迭代次数；其次，对AME里的三种MV精度进行删减优化，主要是对一些高精度MV的AME进行跳过；最后，在与其他模式进行比较时，率失真代价的计算过于繁琐，采用较粗略的绝对变换误差和代价来进行决策。

Description

VVC仿射运动估计快速计算方法

技术领域

本发明涉及视频编码领域，具体涉及降低编码器的复杂度的VVC仿射运动估计快速计算方法。

背景技术

视频编码领域发展飞速，从20世纪90年代至今，视频编码标准已经基于初代的H.261衍生出了许多新标准。21世纪初，我国自主研发的高级视频编码标准(AdvancedVideo Coding Standard，AVS)投入使用。截至今天，我国自主研发的视频编码标准已经发展到了AVS3，对标国际上最新的通用视频编码(Versatile Video Coding，VVC)。这种最新的视频编码标准相比上一代的高效视频编码(High Efficiency Video Coding，HEVC)/AVS2，压缩效率可以提升50％，这对于存储4K、8K乃至更高分辨率的视频提供了巨大便利。

如此高的压缩率不是凭空就得到的，是用极高的计算复杂度的代价换来的。从帧内预测、帧间预测、变换、量化、熵编码乃至环路滤波部分的计算复杂度都提升巨大。特别地，在帧间预测部分，需要通过当前帧和参考帧的重构来计算得到运动矢量(MotionVector，MV)，本质上就是在参考帧的某一范围的搜索窗内与当前帧中的当前块进行块匹配搜索，不断计算失真代价，最终选取最优的代价对应的参考块，从而得到MV。可以发现，帧间预测的复杂度是极高的。如果是全搜索过程，那么参考帧中的每一个子块都必须至少要被搜索计算一次。对此，本发明主要是减少帧间预测部分的复杂度。

由于现实世界中运动的物体并非都是刚体运动，往往很多运动都存在旋转、缩放等非刚体运动，为了能够更加清晰有效地描述这种非刚体运动，VVC引入了全新的仿射运动估计(Affine Motion Estimation，AME)，而且分像素精度最大甚至达到了1/16。显而易见，AME的复杂度同样是巨大的。基于这一初衷，本发明以加速AME过程的方式减少帧间预测部分的复杂度。

发明内容

针对在VVC加入AME使得计算复杂度急剧提升的问题，本发明主要从三个角度对VVC中的AME进行加速。首先，考虑到AME的迭代次数过多，提出了一种自适应迭代次数公式，该公式可以很大程度地削减迭代次数；其次，对AME里的三种MV精度进行删减优化，主要是对一些高精度MV的AME进行跳过；最后，在与其他模式进行比较时，率失真(RateDistortion Optimization，RDO)代价的计算过于繁琐，采用较粗略的绝对变换误差和(Sumof Absolute Transformed Difference，SATD)代价来进行决策。

本发明提供一种方案，包括：

更改AME的迭代过程中具体的迭代次数为自适应公式计算得到的动态次数；

在整像素、1/4和1/16像素精度三种运动矢量精度中选择1/4像素精度；

使用SATD代价决策来选择最优的CPMV。

在AME的迭代过程中，每次迭代都会更新CPMV，然后基于CPMV进行运动补偿，得到预测图像，进而计算RDO代价。迭代完成后，具有最小代价的CPMV会被保留下来，然后再进行之后的预测、变换、量化和熵编码等。为了在最大程度上减少迭代次数，使用自适应公式计算实际的迭代次数。

作为优选，所述的自适应公式根据迭代次数与量化参数、slice类型以及CU大小的关系得到；

其中，M表示CU尺寸大小，QP代表量化参数，α是调节参数，在QP大于等于27被设为2，小于27被设为4；θ和η是两个固定值，在四参数中，两者分别为3和5，在六参数中，两者分别为3和4。

在AME内部，每次迭代都要计算RDO代价，完成迭代后，具有最小代价的CPMV会被保留下来，用于之后的运动补偿等一系列步骤。除此之外，还存在是否进行细粒度调整的RDO代价比较。在AME外部，要将AME与其他帧间模式进行RDO代价比较，来选择最优的帧间模式。由此可见，RDO代价的比较计算在帧间预测部分的复杂度是极高的。本发明在迭代过程中采用SATD代价决策来选择最优的CPMV，这可以比RDO决策减少大量时间。

作为优选，所述的SATD代价使用以下公式计算：

其中，Ψ代表SATD，i是一个索引值，d_i代表i位置的变换系数；

将码率R和SATD采用拉格朗日优化因子进行加权叠加，得到以下公式：

ω＝Ψ+λ·R

得到用来代替迭代过程RDO代价的SATD代价ω。

本发明的实质性特点在于：极大降低了VVC中AME计算方法的计算复杂度，并且编码性能损失可以忽略不计。最新的VVC视频编码标准以付出巨大计算复杂度代价的情况下，达到了相比HEVC来说的50％的压缩效率。为减少计算复杂度，本文从VVC新加入的AME帧间模式入手，主要从三个方面来降低AME计算复杂度。首先，对迭代次数采用一个自适应公式进行删减；其次，将AME中的像素精度只保留1/4像素精度，摒弃其余两种像素精度；最后，在进行最优CPMV决策时，采用SATD代价来代替RDO代价。AME计算方法的复杂度得到了极大降低，这对整个帧间预测乃至VVC编码器复杂度的降低也做出了一定贡献。

附图说明

图1AME快速计算方法流程图；

图2更改迭代次数后的BQMall性能对比情况；

图3AME中几种像素精度的占比情况；

图4更改迭代次数后的BQTerrace性能对比情况。

具体实施方式

下面通过具体实施例，并结合附图，对本发明的技术方案作进一步的具体说明。

实施例1

在最新一代的视频编码标准VVC中，AME的引入无疑给整个编码器压缩性能的提升带来了巨大的贡献。针对旋转、缩放的运动块，AME带来的压缩性能的提升是远大于整像素、分像素运动估计所带来的运动提升的。VVC帧间预测部分的复杂度提升不单单是由AME自己带来的，AME与整、分像素运动估计的RDO代价的比较进而选择最优模式这一过程同样复杂度极高。除此之外，得到控制点运动矢量(Control Point Motion Vector，CPMV)后，要基于CPMV计算每个子块的MV，然后通过这个MV才进行运动补偿得到预测块。对于中心像素是(x,y)的块，四参数模型得到每个子块CPMV的具体公式如下，

其中，a_h,a_v,b_h,b_v分别表示左上角和右上角CPMV的横纵坐标，w表示当前块的宽度；同样地，对于六参数仿射模型来说，具体公式如下，

其中，a_h,a_v,b_h,b_v,c_h,c_v分别表示左上角、右上角和左下角三个位置的CPMV的横纵坐标，w和h分别表示当前块的宽和高。

可以看出，基于CPMV得到子块MV的过程同样存在较大复杂度。因此，迫切需要提出一种快速计算方法来降低复杂度。

基于此，本发明从三个角度来加速AME。如图1给出了本发明的计算方法流程。首先，针对AME的迭代过程进行优化，主要是减少迭代次数以降低迭代复杂度；其次，考虑到AME有整像素、1/4和1/16像素精度，经过分析统计，将其像素精度种类数量进行减少以此降低一些精度MV的复杂度；最后，考虑到计算RDO代价要经过反量化、反变换等一系列繁琐的步骤，采用SATD代价来代替RDO代价进行决策，这样的好处是不用对码流进行解码重构，就可以粗略得到其代价，用于比较。

迭代过程的复杂度降低方案：

在AME的迭代过程中，每次迭代都会更新CPMV，然后基于CPMV进行运动补偿，得到预测图像，进而计算RDO代价。迭代完成后，具有最小代价的CPMV会被保留下来，然后再进行之后的预测、变换、量化和熵编码等。

为了在最大程度上减少迭代次数，我们分析了迭代次数与量化参数(Quantization Parameter，QP)、slice类型以及CU大小的关系。基于统计分析得到了迭代次数的一个自适应公式，如下所示，

其中，M表示CU尺寸大小，QP代表量化参数，α是调节参数，在QP大于等于27被设为2，小于27被设为4；θ和η是两个固定值，在四参数中，两者分别为3和5，在六参数中，两者分别为3和4。图2和图4给出了采用本发明自适应迭代次数公式后的性能损失情况，可以发现，性能损失几乎可以忽略不计。这也验证了本发明的自适应阈值公式的合理性。运动矢量精度种类的减少方案。

为了更加精确地描述旋转、缩放的运动块，在VVC的AME中，存在三种运动矢量精度，即整像素、1/4和1/16像素精度。这三种精度的MV同样是基于RDO决策来选择代价最小的精度作为最优精度。为了减少RDO代价的计算次数，我们统计了几种运动矢量精度的占比情况，如图3所示。可以发现，在AME中，1/4像素精度的占比在三种像素精度中最高。对此，我们直接摒弃其余两种像素精度，即整像素和1/16像素精度，只保留1/4像素精度。SATD预决策。

在AME内部，每次迭代都要计算RDO代价，完成迭代后，具有最小代价的CPMV会被保留下来，用于之后的运动补偿等一系列步骤。除此之外，还存在是否进行细粒度调整的RDO代价比较。在AME外部，要将AME与其他帧间模式进行RDO代价比较，来选择最优的帧间模式。由此可见，RDO代价的比较计算在帧间预测部分的复杂度是极高的。

本方案主要从AME内部来减少复杂度。具体来说，对于每次迭代的CPMV，没必要每次都计算RDO代价。SATD代价在一定程度上也可以用于决策，只是没有RDO代价精确度高。但是，计算SATD不需要经过反量化、反变换等步骤，可以说是复杂度得到了极大降低。因此，本方案在迭代过程中采用SATD代价决策来选择最优的CPMV，这可以比RDO决策减少大量时间。具体来说，SATD可以计算如下，

其中，Ψ代表SATD，i是一个索引值，d_i代表i位置的变换系数。紧接着，将码率R和SATD采用拉格朗日优化因子进行加权叠加，得到如下，

ω＝Ψ+λ·R

至此，我们就得到了可以用来代替迭代过程RDO代价的SATD代价，即上式中的ω。需要说明的是，这种方式可以不经过反量化和反变换等步骤，变换结束后就可以计算。相比原始的RDO代价，极大地减少了计算复杂度。

Claims (2)

1.VVC仿射运动估计快速计算方法，其特征在于，包括：

更改AME的迭代过程中具体的迭代次数为自适应公式计算得到的动态次数；

在整像素、1/4和1/16像素精度三种运动矢量精度中选择1/4像素精度；

使用SATD代价决策来选择最优的CPMV；

所述的自适应公式根据迭代次数与量化参数、slice类型以及CU大小的关系得到；

其中，M表示CU尺寸大小，QP代表量化参数，α是调节参数，在QP大于等于27被设为2，小于27被设为4；θ和η是两个固定值，在四参数中，两者分别为3和5，在六参数中，两者分别为3和4。

2.根据权利要求1所述的VVC仿射运动估计快速计算方法，其特征在于，所述的SATD代价使用以下公式计算：

其中，Ψ代表SATD，i是一个索引值，d_i代表i位置的变换系数；

将码率R和SATD采用拉格朗日优化因子λ进行加权叠加，得到以下公式：

ω＝Ψ+λ·R

得到用来代替迭代过程RDO代价的SATD代价ω。

Images