CN104935938A - 一种混合视频编码标准中帧间预测方法 - Google Patents

Abstract

一种混合视频编码标准中的帧间预测方法，属于视频编码领域。本发明的目的是为了有效地处理视频序列中存在的变形运动，而提出一种混合视频编码标准中帧间预测方法，以进一步提升视频的编码性能。获取当前编码块的周围若干个相邻已编码块的运动信息；根据获取的邻近编码块的参考索引获取当前编码块中每个划分单元的参考索引；根据获取的邻近编码块的参考索引和获取的当前编码块中每个划分单元的参考索引对邻近编码块的运动矢量进行处理，获取当前编码块中每个划分单元的运动矢量。利用当前编码块相邻已编码块的运动信息对当前块的运动信息进行预测，使得视频序列中存在的变形运动得到有效地描述，编码效率得到进一步提高。

Description

一种混合视频编码标准中帧间预测方法

技术领域

本发明涉及一种混合视频编码标准中帧间预测方法。

背景技术

随着人们对视频显示质量要求的提高，高清和超高清视频等新视频应用形式应运而生。在这种高分辨率高质量视频欣赏应用越来越广泛的情况下，如何增强视频压缩效率变得至关重要。

图像与视频在数字化过程中，产生了大量的数据冗余，这使得视频压缩技术成为了可能。一般而言，冗余类型至少包括空间冗余、时间冗余、信息熵冗余。对于时间冗余的消除，一般采用基于预测的方法，即帧间预测编码。其基本思想是从已编码的相邻帧中找到当前块最匹配的块，只需将残差和与运动矢量传给解码端即可，有效地降低了视频编码中的时域冗余。由于现有的视频编码标准采用的是基于平移运动模型的块匹配运动估计，它假设一个块中的所有像素点都经历相同的运动，即使是目前最先进的HEVC编码标准，也无法对非平移运动的场景进行精确的描述。

为了克服块匹配算法的缺点，Ouseb Lee,Yao Wang,“Motion-Compensated PredictionUsing Nodal-Based Deformable Block Matching,”Journal of Visual Communication and ImageRepresentation,vol.6,no.1,pp.26-34,Mar.1995提议使用基于节点的变形模型，它假设一个块的给定数目的控制节点可以自由移动，块内任意一点的MV可以通过控制节点的MV插值出来。该方法对初始值比较敏感，并且需要大量的计算。

Yao Wang,J.Ostermann,“Comparison of Block-Based and Mesh-Based Motion EstimationAlgorithms,”IEEE International Symposium on Circuits and Systems,vol.2,pp.1157-1160,Jun.1997曾指出当存在非平移运动(比如头部旋转)的时候基于网格的模型比基于块的模型预测效果好。然而，当一个块包含多个朝不同方向运动的物体的时候，这两个模型的预测效果都不好。

为了更好地模拟复杂运动，Roman C.Kordasiewicz,Michael D.Gallant,and ShahramShirani,“Affine Motion Prediction Based on Translational Motion Vectors,”IEEE Trans.CircuitsSyst.Video Technol.,vol.17,no.10,pp.1388-1394,Oct.2007提出一个基于平移运动矢量的仿射运动场预测，它处于模式决策和运动估计之后，作为一个后处理步骤。

为了更好地描述复杂运动，A.Glantz,M.Tok,A.Krutz,and T.Sikora,“A block adaptiveskip mode for inter prediction based on parametric motion models,”IEEE InternationalConference on Image Processing,pp.1201-1204,Sept.2011提出一个基于高阶参数运动模型的参数化skip模式。

与以前提出的方法不同的是，我们的方案在处理变形运动的时候不需要编码运动参数而是利用相邻已编码块的运动信息来获取当前变形块的运动信息，并且可以在多个预测模型中选择一个最优的预测模型。

发明内容

本发明的目的是为了有效地处理视频序列中存在的变形运动，而提出一种混合视频编码标准中帧间预测方法，以进一步提升视频的编码性能。

本发明为解决上述技术问题采取的技术方案是：

一种混合视频编码标准中帧间预测方法，所述预测方法用于描述视频序列中存在的变形运动，所述预测方法用于merge模式、skip模式或inter模式中；

所述预测方法的实现过程为：

步骤一：获取当前编码块的周围若干个相邻已编码块的运动信息，当前编码块的尺寸为W*H，W为当前编码块的宽，H为当前编码块的高；所述运动信息包括参考索引和运动矢量；周围若干个相邻已编码块称为邻近编码块；

步骤二：根据步骤一获取的邻近编码块的参考索引获取当前编码块中每个划分单元的参考索引；

步骤三：根据步骤一获取的邻近编码块的参考索引和步骤二获取的当前编码块中每个划分单元的参考索引对邻近编码块的运动矢量进行处理，获取当前编码块中每个划分单元的运动矢量。

在步骤一中，所述邻近编码块是当前编码块的四个角点位置的邻近块、或是当前编码块的四个角点位置和中心点位置的邻近块；所述邻近编码块是位于当前帧中的空域邻近块或是位于时域参考帧中的时域邻近块；

步骤二和步骤三中划分单元的大小为w*h，其中：1≤w≤W，1≤h≤H；

步骤二所述获取当前编码块中每个划分单元的参考索引的原则为：

选取步骤一中获取的邻近编码块的使用次数最多的参考索引作为目标参考索引，

或者，为每个邻近编码块指定一个权值，将具有相同参考索引的邻近编码块的权值累加，选取步骤一中获取的邻近编码块的权值最大的参考索引作为目标参考索引；

步骤三所述对邻近编码块的运动矢量进行处理，其过程为：在使用邻近块的运动矢量插值出当前块中目标划分单元的运动矢量之前对邻近块的运动矢量进行预处理，即如果邻近块的参考索引跟所获取的目标参考索引不同，就根据时域距离将邻近块的运动矢量缩放到对应于目标参考索引的运动矢量。

在步骤三中，所述获取当前编码块中每个划分单元的运动矢量的实现过程为：

通过双线性插值模型计算得到所述运动矢量，其计算过程为：从步骤一中的若干邻近块中选取四个邻近块，其运动信息必须全部存在且至少有一个选中邻近块的运动信息和其他选中邻近块的运动信息不同；利用被选中邻近块的参考索引获取当前块中每个划分单元的目标参考索引；对选中邻近块的运动矢量进行预处理，然后就可以根据公式计算出当前块目标划分单元的运动矢量，式中，B_m表示当前编码块，U_x表示当前块中的某个划分单元，d_m(U_x)表示当前块中目标划分单元的运动矢量MV，d_m(MP_k)表示B_m的第k个邻近块的MV，插值核φ_m,k(x)依赖于B_m的第k个邻近块对U_x的贡献，可由目标划分单元相对于各个控制MP的位置确定。

在步骤三中，所述获取当前编码块中每个划分单元的运动矢量的实现过程为：通过六参数的仿射模型计算得到，其计算过程为：从步骤一中的若干邻近块中选取三个邻近块，其运动信息必须全部存在且至少有一个选中邻近块的运动信息和其他选中邻近块的运动信息不同；利用被选中邻近块的参考索引获取当前块中每个划分单元的目标参考索引；对选中邻近块的运动矢量进行预处理，利用选中邻近块的位置坐标及其运动矢量根据公式 $\left\{\begin{array}{c}{x}^{\′}=a_{1}x+a_{2}y+a_5\\ y^{\′}=a_{3}x+a_{4}y+a_6\\ vx=x^{\′}-x\\ vy=y^{\′}-y\end{array}\right.$ 计算出六个仿射变换系数，进而可以根据当前块中相同坐标系下每个像素点的坐标求得对应的运动矢量(vx,vy)；式中，(x,y)为当前帧中某个像素点的坐标，(x',y')为该像素点在参考帧中对应点的坐标，a₁,a₂,a₃,a₄,a₅,a₆是仿射变换系数，至少需要三个邻近块的运动矢量才能确定所述仿射变换系数。

在步骤三中，获取当前编码块中每个划分单元的运动矢量的实现过程为：通过四参数的仿射模型计算得到，其计算过程为：从步骤一中的若干邻近块中选取两个邻近块，它们的运动信息必须全部存在且至少有一个选中邻近块的运动信息和其他选中邻近块的运动信息不同；利用被选中邻近块的参考索引获取当前块中每个划分单元的目标参考索引；对选中邻近块的运动矢量进行预处理，利用选中邻近块的位置坐标及其运动矢量根据公式 $\left\{\begin{array}{c}{x}^{\′}=a_{2}x+a_{3}y+a_0\\ y^{\′}=-a_{3}x+a_{2}y+a_1\\ vx=x^{\′}-x\\ vy=y^{\′}-y\end{array}\right.$ 计算出四个仿射变换系数，进而可以根据当前块中相同坐标系下每个像素点的坐标求得对应的运动矢量(vx,vy)；式中，(x,y)为当前帧中某个像素点的坐标，(x',y')为该像素点在参考帧中对应点的坐标，a₀,a₁,a₂,a₃是仿射变换系数，至少需要两个邻近块的运动矢量才能确定所述仿射变换系数。

在步骤三中，所述获取当前编码块中每个划分单元的运动矢量的实现过程为：通过透视投影模型计算得到，其计算过程为：从步骤一中的若干邻近块中选取四个邻近块，其运动信息必须全部存在且至少有一个选中邻近块的运动信息和其他选中邻近块的运动信息不同；利用被选中邻近块的参考索引获取当前块中每个划分单元的目标参考索引；对选中邻近块的运动矢量进行预处理，利用选中邻近块的位置坐标及其运动矢量根据公式 $\left\{\begin{array}{c}{x}^{\′}=a_1+a_{2}x+a_{3}y+a_7{x}^2+a_{8}xy\\ y^{\′}=a_4+a_{5}x+a_{6}y+a_{7}xy+a_8{y}^2\\ vx=x^{\′}-x\\ vy=y^{\′}-y\end{array}\right.$ 计算出八个透视投影系数，进而可以根据当前块中相同坐标系下每个像素点的坐标求得对应的运动矢量(vx,vy)；式中，(x,y)为当前帧中某个像素点的坐标，(x',y')为该像素点在参考帧中对应点的坐标，a₁,a₂,a₃,a₄,a₅,a₆,a₇,a₈是透视投影系数，至少需要四个邻近块的运动矢量才能确定所述透视投影系数。

在步骤三中，所述获取当前编码块中每个划分单元的运动矢量的实现为：在所述双线性插值模型、透视投影模型、六参数仿射模型、四参数仿射模型中为当前块选择一个最优的预测模型。

最优的预测模型的选择过程为：从步骤一中获取的若干邻近块中选取四个邻近块，根据其相对位置计算双线性插值模型的参数，从步骤一中获取的若干邻近块中选取四个邻近块，根据其相对位置和运动信息计算透视投影模型的参数，从步骤一中获取的若干邻近块中选取三个邻近块，根据其相对位置和运动信息计算六参数仿射模型的参数，从步骤一中获取的若干邻近块中选取两个邻近块，根据其相对位置和运动信息计算四参数仿射模型的参数，然后在所有有效的预测模型构成的集合中，选择一个最优的预测模型或在所有有效预测模型构成集合的任意子集中选择一个最优的预测模型，确定预测模型后即可获取当前编码块中每个划分单元的运动矢量；

所述获取当前块中每个划分单元的运动矢量，在选择最优的预测模型时，可按照预测模型的预测性能或者使用率为候选预测模型集合中的候选预测模型排序。

选择最优预测模型的判定准则为：采用最小均方误差、最小误差平方和、最小Hadamard误差或率失真优化准则。

对获取当前编码块先划分成N部分，为每一部分对应应用其中的一种预测模型，其中N≥1。

本发明的有益效果是：

本发明预测方法可以有效地描述视频序列中存在的变形运动。

本发明是通过借助当前块相邻已编码块的运动信息利用双线性插值模型、透视投影模型、六参数仿射模型或者四参数仿射模型获取当前编码块每个划分单元的运动信息，从而使帧间预测性能得到提升。

本发明可以有效地处理视频序列中存在的变形运动，与目前编码标准中现有的块匹配算法相比，我们的方案对包含变形运动的序列有明显的性能增益，总的来说，对不包含变形运动的序列没有性能损失甚至还有些增益。所述的帧间预测方法可以用于merge模式、skip模式或inter模式中。

在帧间预测中，运动估计和运动补偿可以有效地降低视频编码中的时域冗余，提高视频编码性能。由于现有的视频编码标准采用的是基于平移运动模型的块匹配运动估计，即使是目前最先进的HEVC编码标准，也无法对非平移运动的场景进行精确的描述。为此，我们提出一个基于双线性插值模型、仿射模型和透视模型的帧间预测方法，利用当前编码块周围若干个相邻已编码块的运动信息对当前块的运动信息进行预测，使得视频序列中存在的变形运动(比如旋转，缩放等)得到有效地描述，编码效率得到进一步提高。

附图说明

图1为本发明实施例方法中当前块四个角点控制MP的候选位置，其中(a)表示左上、右上、左下角点控制MP的候选位置，是位于当前帧的空域邻近块；(b)表示右下角点控制MP的候选位置，是位于时域参考帧中的时域邻近块。

图2为本发明实施例方法中基于像素点的双线性插值模型示意图。

具体实施方式

具体实施方式一：本实施方式所述的混合视频编码标准中帧间预测方法用于描述视频序列中存在的变形运动，所述预测方法用于merge模式、skip模式或inter模式中；所述预测方法的实现过程为：

步骤一：获取当前编码块的周围若干个相邻已编码块的运动信息，当前编码块的尺寸为W*H，W为当前编码块的宽，H为当前编码块的高；所述运动信息包括参考索引和运动矢量；周围若干个相邻已编码块称为邻近编码块；

步骤二：根据步骤一获取的邻近编码块的参考索引获取当前编码块中每个划分单元的参考索引；

步骤三：根据步骤一获取的邻近编码块的参考索引和步骤二获取的当前编码块中每个划分单元的参考索引对邻近编码块的运动矢量进行处理，获取当前编码块中每个划分单元的运动矢量。

具体实施方式二：本实施方式所述的混合视频编码标准中帧间预测方法，其特征在于：

在步骤一中，所述邻近编码块是当前编码块的四个角点位置的邻近块、或是当前编码块的四个角点位置和中心点位置的邻近块；所述邻近编码块是位于当前帧中的空域邻近块或是位于时域参考帧中的时域邻近块；

还支持选择更多数目的邻近块来获取当前编码块的运动信息，除了四个角点位置和中心点位置，其他位置的邻近块也同样支持；

例如，所述的四个角点相邻已编码块选取的是当前编码块左上、右上、左下、右下角邻近4x4大小的块，记为控制MP(minimum partition)；其中，右下角控制MP位于时域参考帧中；

步骤二和步骤三中划分单元的大小为w*h，其中：1≤w≤W，1≤h≤H，划分单元的大小可以是统一的，也可以考虑当前块的纹理或其他特征设置为不同的；

步骤二所述获取当前编码块中每个划分单元的参考索引的原则为：

选取步骤一中获取的邻近编码块的使用次数最多的参考索引作为目标参考索引(每个划分单元的参考索引)，

或者，为每个邻近编码块指定一个权值，将具有相同参考索引的邻近编码块的权值累加，选取步骤一中获取的邻近编码块的权值最大的参考索引作为目标参考索引；

步骤三所述对邻近编码块的运动矢量进行处理，其过程为：在使用邻近块的运动矢量插值出当前块中目标划分单元的运动矢量之前对邻近块的运动矢量进行预处理，即如果邻近块的参考索引跟本实施方式所获取的目标参考索引不同，就根据时域距离将邻近块的运动矢量缩放到对应于目标参考索引的运动矢量。其它组成及连接关系与具体实施方式一相同。

例如：在上述实施方式中，所述的获取当前块中每个划分单元的参考索引，可以根据步骤一中获取的控制MP的参考索引的使用次数利用某种规则(比如，使用次数最多)选取目标参考索引；可以为每个控制MP指定一个权值，将具有相同参考索引的控制MP的权值累加，根据步骤一中获取的控制MP的参考索引的权值利用某种规则(比如，权值最大)选取目标参考索引；对于双线性插值模型来说，控制MP的权值可以是双线性插值模型为每个控制MP计算的权值。

例如：在上述实施方式中，所述的获取当前编码块中每个划分单元的运动矢量在使用控制MP的运动矢量插值出当前块中目标划分单元的运动矢量之前对控制MP的运动矢量进行预处理，即如果控制MP的参考索引跟步骤二中所获取的目标划分单元的参考索引不同，就根据时域距离将控制MP的运动矢量缩放到对应于目标参考索引的运动矢量。

具体实施方式三：本实施方式所述的混合视频编码标准中帧间预测方法，在步骤三中，所述获取当前编码块中每个划分单元的运动矢量的实现过程为：

通过双线性插值模型计算得到所述运动矢量，其计算过程为：从步骤一中的若干邻近块中选取四个邻近块，其运动信息必须全部存在且至少有一个选中邻近块的运动信息和其他选中邻近块的运动信息不同；按照具体实施方式二所述方式利用被选中邻近块的参考索引获取当前块中每个划分单元的目标参考索引；根据具体实施方式二所述方式对选中邻近块的运动矢量进行预处理，然后就可以根据公式计算出当前块目标划分单元的运动矢量，式中，B_m表示当前编码块，U_x表示当前块中的某个划分单元，d_m(U_x)表示当前块中目标划分单元的运动矢量MV，d_m(MP_k)表示B_m的第k个邻近块的MV，插值核φ_m,k(x)依赖于B_m的第k个邻近块对U_x的贡献，可由目标划分单元相对于各个控制MP的位置确定；

以w＝1,h＝1为例，插值核的取值如下：

φ_m,1(x)＝(W+4-dx)·(H+4-dy)/((W+4)·(H+4))

φ_m,2(x)＝dx·(H+4-dy)/((W+4)·(H+4))

φ_m,3(x)＝(W+4-dx)·dy/((W+4)·(H+4))

φ_m,4(x)＝dx·dy/((W+4)·(H+4))

式中，W代表当前块的宽，H代表当前块的高，dx表示当前块中要插值的目标像素和左边控制MP的中心像素在水平方向的像素距离，dy表示要插值的目标像素和上边控制MP的中心像素在垂直方向的像素距离。其它组成及连接关系与具体实施方式二相同。

具体实施方式四：本实施方式所述的混合视频编码标准中帧间预测方法，在步骤三中，所述获取当前编码块中每个划分单元的运动矢量的实现过程为：通过六参数的仿射模型计算得到，其计算过程为：从步骤一中的若干邻近块中选取三个邻近块，其运动信息必须全部存在且至少有一个选中邻近块的运动信息和其他选中邻近块的运动信息不同；按照具体实施方式二所述方式利用被选中邻近块的参考索引获取当前块中每个划分单元的目标参考索引；根据具体实施方式二所述方式对选中邻近块的运动矢量进行预处理，利用选中邻近块的位置坐标及其运动矢量根据公式 $\left\{\begin{array}{c}{x}^{\′}=a_{1}x+a_{2}y+a_5\\ y^{\′}=a_{3}x+a_{4}y+a_6\\ vx=x^{\′}-x\\ vy=y^{\′}-y\end{array}\right.$ 计算出六个仿射变换系数，进而可以根据当前块中相同坐标系下每个像素点的坐标求得对应的运动矢量(vx,vy)；式中，(x,y)为当前帧中某个像素点的坐标，(x',y')为该像素点在参考帧中对应点的坐标，a₁,a₂,a₃,a₄,a₅,a₆是仿射变换系数，至少需要三个邻近块的运动矢量才能确定所述仿射变换系数。其它组成及连接关系与具体实施方式二相同。

具体实施方式五：本实施方式所述的混合视频编码标准中帧间预测方法，在步骤三中，获取当前编码块中每个划分单元的运动矢量的实现过程为：通过四参数的仿射模型计算得到，其计算过程为：从步骤一中的若干邻近块中选取两个邻近块，它们的运动信息必须全部存在且至少有一个选中邻近块的运动信息和其他选中邻近块的运动信息不同；按照具体实施方式二所述方式利用被选中邻近块的参考索引获取当前块中每个划分单元的目标参考索引；根据具体实施方式二所述对选中邻近块的运动矢量进行预处理，利用选中邻近块的位置坐标及其运动矢量根据公式 $\left\{\begin{array}{c}{x}^{\′}=a_{2}x+a_{3}y+a_0\\ y^{\′}=-a_{3}x+a_{2}y+a_1\\ vx=x^{\′}-x\\ vy=y^{\′}-y\end{array}\right.$ 计算出四个仿射系数，进而可以根据当前块中相同坐标系下每个像素点的坐标求得对应的运动矢量(vx,vy)；式中，(x,y)为当前帧中某个像素点的坐标，(x',y')为该像素点在参考帧中对应点的坐标，a₀,a₁,a₂,a₃是仿射变换系数，至少需要两个邻近块的运动矢量才能确定所述仿射变换系数。其它组成及连接关系与具体实施方式二相同。

具体实施方式六：本实施方式所述的混合视频编码标准中帧间预测方法，在步骤三中，所述获取当前编码块中每个划分单元的运动矢量的实现过程为：通过透视投影模型计算得到，其计算过程为：从步骤一中的若干邻近块中选取四个邻近块，其运动信息必须全部存在且至少有一个选中邻近块的运动信息和其他选中邻近块的运动信息不同；按照具体实施方式二所述方式利用被选中邻近块的参考索引获取当前块中每个划分单元的目标参考索引；具体实施方式二所述方式对选中邻近块的运动矢量进行预处理，利用选中邻近块的位置坐标及其运动矢量根据公式 $\left\{\begin{array}{c}{x}^{\′}=a_1+a_{2}x+a_{3}y+a_7{x}^2+a_{8}xy\\ y^{\′}=a_4+a_{5}x+a_{6}y+a_{7}xy+a_8{y}^2\\ vx=x^{\′}-x\\ vy=y^{\′}-y\end{array}\right.$ 计算出八个透视投影系数，进而可以根据当前块中相同坐标系下每个像素点的坐标求得对应的运动矢量(vx,vy)；式中，(x,y)为当前帧中某个像素点的坐标，(x',y')为该像素点在参考帧中对应点的坐标，a₁,a₂,a₃,a₄,a₅,a₆,a₇,a₈是透视投影系数，至少需要四个邻近块的运动矢量才能确定所述透视投影系数。其它组成及连接关系与具体实施方式二相同。

具体实施方式七：本实施方式所述的混合视频编码标准中帧间预测方法，在步骤三中，所述获取当前编码块中每个划分单元的运动矢量的实现为：在所述双线性插值模型、透视投影模型、六参数仿射模型、四参数仿射模型中为当前块选择一个最优的预测模型。其它组成及连接关系与具体实施方式一或二相同。

具体实施方式八：本实施方式所述的混合视频编码标准中帧间预测方法，最优的预测模型的选择过程为：从步骤一中获取的若干邻近块中选取四个邻近块，根据其相对位置计算双线形插值模型的参数，从步骤一中获取的若干邻近块中选取四个邻近块，根据其相对位置和运动信息计算透视投影模型的参数，从步骤一中获取的若干邻近块中选取三个邻近块，根据其相对位置和运动信息计算六参数仿射模型的参数，从步骤一中获取的若干邻近块中选取两个邻近块，根据其相对位置和运动信息计算四参数仿射模型的参数，然后在所有有效的预测模型构成的集合中，选择一个最优的预测模型或在所有有效预测模型构成集合的任意子集中选择一个最优的预测模型，确定预测模型后即可获取当前编码块中每个划分单元的运动矢量；

所述获取当前块中每个划分单元的运动矢量，在选择最优的预测模型时，可按照预测模型的预测性能或者使用率为候选预测模型集合中的候选预测模型排序。

其它组成及连接关系与具体实施方式七相同。

对具体实施方式八举例说明：

所述获取当前块中每个划分单元的运动矢量，以步骤一中周围若干邻近块为四个角点位置的邻近块为例，六参数仿射模型可以有六种组合方式：1)使用左上、右上、左下角点邻近块运动信息的六参数仿射模型，2)使用左上、右上、右下角点邻近块运动信息的六参数仿射模型，3)使用右上、左下、右下角点邻近块运动信息的六参数仿射模型，4)使用左上、左下、右下角点邻近块运动信息的六参数仿射模型，5)将当前编码块等分成两个三角形，采用使用左上、右上、右下角点邻近块运动信息的六参数仿射模型和左上、左下、右下角点邻近块运动信息的六参数仿射模型，6)将当前编码块等分成两个三角形，采用使用左上、右上、左下角点邻近块运动信息的六参数仿射模型和右上、左下、右下角点邻近块运动信息的六参数仿射模型；四参数仿射模型有八种组合方式：1)使用右上、左下角点邻近块运动信息的四参数仿射模型，2)使用左上、左下角点邻近块运动信息的四参数仿射模型，3)使用左上、右上角点邻近块运动信息的四参数仿射模型，4)使用右上、右下角点邻近块运动信息的四参数仿射模型，5)使用左下、右下角点邻近块运动信息的四参数仿射模型，6)使用左上、右下角点邻近块运动信息的四参数仿射模型，7)将当前编码块等分成两个矩形，采用使用左上、右上角点邻近块运动信息的四参数仿射模型和左下、右下角点邻近块运动信息的四参数仿射模型，8)将当前编码块等分成两个矩形，采用使用左上、左下角点邻近块运动信息的四参数仿射模型和右上、右下角点邻近块运动信息的四参数仿射模型。也就是说可以在双线性插值模型、透视投影模型和上述十四种预测模型中选择一个最优的预测模型。也可以在这十六种预测模型的任意子集中选择一个最优的预测模型。选中的最优预测模式进行编码以保证解码端可以正常解码。

具体实施方式九：本实施方式所述的混合视频编码标准中帧间预测方法，其特征在于：选择最优预测模型的判定准则为：采用最小均方误差(Mean Squared Error,MSE)、最小误差平方(The sum of squares due to error，SSE)、最小Hadamard误差或率失真优化准则。其它组成及连接关系与具体实施方式七或八相同。

具体实施方式十：本实施方式所述混合视频编码标准中帧间预测方法，其特征在于：对获取当前编码块先划分成N部分，为每一部分对应应用其中的一种预测模型，其中N≥1。

比如，可以把当前块划分成两部分，其中一部分应用双线性插值模型，另一部分是在双线性插值模型、透视投影模型、六参数仿射模型、四参数仿射模型中为当前块划分选择一个最优的预测模型；可以把当前块划分成四部分，其中某些部分使用六参数仿射模型，某些部分使用四参数仿射模型。

其它组成及连接关系与具体实施方式三、四、五、六或七相同。

实施例一：

给出混合视频编码标准中帧间预测方法的具体实现步骤：

步骤一：获取当前编码块(尺寸为W*H，W为当前编码块的宽，H为当前编码块的高)四个角点相邻已编码块的运动信息；

步骤二：根据步骤一获取的邻近编码块的运动信息获取当前编码块中每个划分单元的参考索引；

步骤三：根据步骤一获取的邻近编码块的运动信息获取当前编码块中每个划分单元的运动矢量。

所述的四个角点相邻已编码块选取的是当前编码块左上、右上、左下、右下角邻近4x4大小的块，记为控制MP(minimum partition)。其中，右下角控制MP位于时域参考帧中。如图1所示，左上角控制MP的候选位置是B₂，B₃，A₂；右上角的候选位置是B₀，B₁；左下角的候选位置是A₀，A₁；右下角的候选位置是T_Rb。我们为每个角点选择一个控制MP，并根据以下优先顺序为每个参考帧列表单独获取控制MP：

1)对于左上角控制MP，我们首先检查位置B₀，若不存在或者其预测模式是帧内模式，我们就会检查位置B₁；否则B₀被用作控制MP。

2)对于左下角，检查优先顺序为A₀，A₁。

3)对于左上角，检查优先顺序为B₂，A₂，B₃。

在该实施方式中，采用的是双线性插值模型、六参数仿射模型、四参数仿射模型。

基于像素点的双线性插值模型示意图如图2所示，即划分单元的大小的1*1，对应于图2的双线性插值核如下：

φ_m,1(x)＝(W+4-dx)·(H+4-dy)/((W+4)·(H+4))

φ_m,2(x)＝dx·(H+4-dy)/((W+4)·(H+4))

φ_m,3(x)＝(W+4-dx)·dy/((W+4)·(H+4))

φ_m,4(x)＝dx·dy/((W+4)·(H+4))

式中，W代表当前块的宽，H代表当前块的高，dx表示当前块中要插值的目标像素和左边控制MP(MP₁)的中心像素在水平方向的像素距离，dy表示要插值的目标像素和上边控制MP(MP₂)的中心像素在垂直方向的像素距离。

所述的获取当前块中每个划分单元的参考索引，对于双线性插值模型，根据目标划分单元相对于各个控制MP的位置利用双线性插值模型计算出各个控制MP的权值，将具有相同参考索引的控制MP的权值累加，选取权值最大的那个参考索引，如果具有最大权值的参考索引有多个，那就选择索引值最小的参考索引；对于六参数仿射模型、四参数仿射模型，从控制MP使用的参考索引中选取使用次数最多的参考索引作为目标划分单元的参考索引。

所述获取当前块中每个划分单元的运动矢量，在使用控制MP的运动矢量插值出当前块中目标划分单元的运动矢量之前对控制MP的运动矢量进行预处理，即如果控制MP的参考索引跟上述所获取的目标划分单元的参考索引不同，就根据时域距离将控制MP的运动矢量缩放到对应于目标参考索引的运动矢量。

所述获取当前块中每个划分单元的运动矢量，是在双线性插值模型，六参数仿射模型、四参数仿射模型中为当前块选择一个最优的预测模型，其中，使用的六参数仿射模型包括：1)使用左上、右上、左下角点控制MP运动信息的六参数仿射模型，2)使用左上、右上、右下角点控制MP运动信息的六参数仿射模型，3)使用右上、左下、右下角点控制MP运动信息的六参数仿射模型，4)使用左上、左下、右下角点控制MP运动信息的六参数仿射模型；使用的四参数仿射模型包括：1)使用右上、左下角点控制MP运动信息的四参数仿射模型，2)使用左上、左下角点控制MP运动信息的四参数仿射模型，3)使用左上、右上角点控制MP运动信息的四参数仿射模型，4)使用右上、右下角点控制MP运动信息的四参数仿射模型，5)使用左下、右下角点控制MP运动信息的四参数仿射模型，6)使用左上、右下角点控制MP运动信息的四参数仿射模型，也就是说有十一种可选的预测模型。选择最优预测模型的判定准则是最小Hadamard误差。所述的帧间预测方法用于merge模式和skip模式中。并将所述帧间预测方法记作增强模式，具体描述如下：

步骤一：首先构建一个增强模式候选列表，该列表的大小为8，该列表按以下候选顺序构成：

1)使用右上、左下角点控制MP运动信息的四参数仿射模型

2)使用左上、左下角点控制MP运动信息的四参数仿射模型

3)使用左上、右上、左下角点控制MP运动信息的六参数仿射模型

4)使用左上、右上角点控制MP运动信息的四参数仿射模型

5)使用右上、右下角点控制MP运动信息的四参数仿射模型

6)使用左下、右下角点控制MP运动信息的四参数仿射模型

7)使用左上、右下角点控制MP运动信息的四参数仿射模型

8)使用左上、右上、左下、右下角点控制MP运动信息的双线性插值模型

9)使用左上、右上、右下角点控制MP运动信息的六参数仿射模型

10)使用右上、左下、右下角点控制MP运动信息的六参数仿射模型

11)使用左上、左下、右下角点控制MP运动信息的六参数仿射模型

当列表中可用的候选个数超过8的时候，后面的候选会舍弃。

步骤二：根据最小Hadamard误差准则选取一个最优的预测模型

步骤三：步骤二选取的最优的预测模型和其他模式(普通的merge模式、skip模式、inter模式和intra模式)进行率失真优化选择。

本实施例中仅将提议的模式用于merge模式和skip模式中，所以无需像普通inter模式那样编码运动信息。但需要将选中的最优预测模式进行编码，以保证解码端可以正常解码。为了在复杂度和编码效率之间达到折中，我们仅将提议的增强模式用于大于或者等于16x16的编码单元。

本实施例中划分单元是像素点。

实施例二：

与实施例一不同的是，本实施例的混合视频编码标准中帧间预测方法，仅使用左上、右上、左下、右下角点控制MP运动信息的双线性插值模型。

实施例三：

与实施例一不同的是，本实施方式的混合视频编码标准中帧间预测方法，仅使用左上、右上、左下、右下角点控制MP运动信息的透视投影模型。

实施例四：

与具实施例一不同的是，本实施方式的混合视频编码标准中帧间预测方法，将当前编码块等分成两个三角形，采用使用左上、右上、右下角点控制MP运动信息的六参数仿射模型和左上、左下、右下角点控制MP运动信息的六参数仿射模型。

实施例五：

与实施例一不同的是，本实施方式的混合视频编码标准中帧间预测方法，将当前编码块等分成两个三角形，采用使用左上、右上、左下角点控制MP运动信息的六参数仿射模型和右上、左下、右下角点控制MP运动信息的六参数仿射模型。

实施例六：

与实施例一不同的是，本实施方式的混合视频编码标准中帧间预测方法，将当前编码块等分成两个矩形，采用使用左上、右上角点控制MP运动信息的四参数仿射模型和左下、右下角点控制MP运动信息的四参数仿射模型。

实施例七：

与实施例一不同的是，本实施方式的混合视频编码标准中帧间预测方法，将当前编码块等分成两个矩形，采用使用左上、左下角点控制MP运动信息的四参数仿射模型和右上、右下角点控制MP运动信息的四参数仿射模型。

实施例八：

与实施例一不同的是，本实施方式的混合视频编码标准中帧间预测方法，仅使用左上、右上、左下角点控制MP运动信息的六参数仿射模型。

实施例九：

与实施例一不同的是，本实施方式的混合视频编码标准中帧间预测方法，仅使用左上、右上、右下角点控制MP运动信息的六参数仿射模型。

实施例十：

与实施例一不同的是，本实施方式的混合视频编码标准中帧间预测方法，仅使用右上、左下、右下角点控制MP运动信息的六参数仿射模型。

实施例十一：

与具实施例一不同的是，本实施方式的混合视频编码标准中帧间预测方法，仅使用左上、左下、右下角点控制MP运动信息的六参数仿射模型。

实施例十二：

与实施例一不同的是，本实施方式的混合视频编码标准中帧间预测方法，仅使用右上、左下角点控制MP运动信息的四参数仿射模型。

实施例十三：

与实施例一不同的是，本实施方式的混合视频编码标准中帧间预测方法，仅使用左上、左下角点控制MP运动信息的四参数仿射模型。

实施例十四：

与实施例一不同的是，本实施方式的混合视频编码标准中帧间预测方法，仅使用左上、右上角点控制MP运动信息的四参数仿射模型。

实施例十五：

与实施例一不同的是，本实施方式的混合视频编码标准中帧间预测方法，仅使用右上、右下角点控制MP运动信息的四参数仿射模型。

实施例十六：

与实施例一不同的是，本实施方式的混合视频编码标准中帧间预测方法，仅使用左下、右下角点控制MP运动信息的四参数仿射模型。

实施例十七：

与实施例一不同的是，本实施方式的混合视频编码标准中帧间预测方法，仅使用左上、右下角点控制MP运动信息的四参数仿射模型。

实施例十八：

与实施例一不同的是，本实施方式的混合视频编码标准中帧间预测方法，复杂模式候选列表的大小为11。

实施例十九：

与实施例一不同的是，本实施方式的混合视频编码标准中帧间预测方法，划分单元是4*4的块。

实施例二十：

与实施例十九不同的是，本实施方式的混合视频编码标准中帧间预测方法，仅将提议的增强模式用于2N*2N的预测单元划分模式。

上述具体实施例的划分单元也可以是w*h大小的块，其中，1≤w≤W，1≤h≤H，划分单元的大小可以是统一的，也可以考虑当前块的纹理或其他特征设置为不同的。选择最优预测模式的判定准则也可以是最小均方误差(Mean Squared Error,MSE)，最小误差平方和(The sum of squares due to error，SSE)，率失真优化准则，或者其他衡量误差大小的准则。上述具体实施方式也适用于更小的编码单元。除了merge模式和skip模式，上述具体实施方式同样适用于inter模式。上述具体实施方式中的邻近块位置不限于四个角点位置。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的专利保护范围。

实施例一在VC-0.2(在HEVC的测试模型HM12.0添加了一些技术的测试模型)上实现，并按照VC266通测条件测试，VC266通测条件参考VC266Study Group,“Test conditionand evaluation methodology”,VC-02-N005,VC266 2th Meeting:Suzhou,Mar.2015.由于我们的方案是用于有效地描述视频序列中存在的变形运动，因此我们还测试了一些包含变形运动的序列，表1对这些变形序列进行了描述。

实施例一的实验结果如表2所示，由表2可知，与VC-0.2相比，在Low delay BMain_HighBitrate(LB-HR)、Low delay B Main_LowBitrate(LB-LR)、Random AccessMain_HighBitrate(RA-HR)、Random Access Main_LowBitrate(RA-LR)配置条件下变形序列平均有8.2％、9.9％、6.9％、8.2％的BD比特率节省，通测条件中定义的B类序列平均有0.9％，1.3％，1.4％，1.8％的BD比特率节省，TMZ类序列平均有0.4％、0.4％、0.3％、0.3％的的BD比特率节省。BD比特率表示在同样的客观质量下两种方法的码率节省情况，参考G.“Calculation of average PSNR differences between RD-Curves,”ITU-T SG16 Q.6 Document,VCEG-M33,Austin,US,April 2001。

表1.具有变形运动的序列

序列	分辨率	帧数	帧率	序列的运动特征
					CactusPart	1920x1080	100	50fps	包含局部的旋转
BlueSkyPart	1920x1080	100	25fps	相机旋转，很多细节
					StationPart	1920x1080	100	25fps	明显地缩短焦距，很多细节
TractorPart	1920x1080	100	25fps	从局部细节到整体场景
					ShieldsPart	1920x1080	100	50fps	明显地拉长焦距，很多细节
SpincalendarPart	1280x720	100	50fps	整体旋转
					JetsPart	1280x720	100	25fps	整体缩放

表2.具体实施方式一相对于VC-0.2的BD比特率性能

Claims (10)

1.一种混合视频编码标准中帧间预测方法，所述预测方法用于描述视频序列中存在的变形运动，所述预测方法用于merge模式、skip模式或inter模式中；

其特征在于，所述预测方法的实现过程为：

步骤一：获取当前编码块的周围若干个相邻已编码块的运动信息，当前编码块的尺寸为W*H，W为当前编码块的宽，H为当前编码块的高；所述运动信息包括参考索引和运动矢量；周围若干个相邻已编码块称为邻近编码块；

步骤二：根据步骤一获取的邻近编码块的参考索引获取当前编码块中每个划分单元的参考索引；

步骤三：根据步骤一获取的邻近编码块的参考索引和步骤二获取的当前编码块中每个划分单元的参考索引对邻近编码块的运动矢量进行处理，获取当前编码块中每个划分单元的运动矢量。

2.根据权利要求1所述的混合视频编码标准中帧间预测方法，其特征在于：

在步骤一中，所述邻近编码块是当前编码块的四个角点位置的邻近块、或是当前编码块的四个角点位置和中心点位置的邻近块；所述邻近编码块是位于当前帧中的空域邻近块或是位于时域参考帧中的时域邻近块；

步骤二和步骤三中划分单元的大小为w*h，其中：1≤w≤W，1≤h≤H；

步骤二所述获取当前编码块中每个划分单元的参考索引的原则为：

选取步骤一中获取的邻近编码块的使用次数最多的参考索引作为目标参考索引，

或者，为每个邻近编码块指定一个权值，将具有相同参考索引的邻近编码块的权值累加，选取步骤一中获取的邻近编码块的权值最大的参考索引作为目标参考索引；

步骤三所述对邻近编码块的运动矢量进行处理，其过程为：在使用邻近块的运动矢量插值出当前块中目标划分单元的运动矢量之前对邻近块的运动矢量进行预处理，即如果邻近块的参考索引跟本权利要求所获取的目标参考索引不同，就根据时域距离将邻近块的运动矢量缩放到对应于目标参考索引的运动矢量。

3.根据权利要求2所述的混合视频编码标准中帧间预测方法，其特征在于：在步骤三中，所述获取当前编码块中每个划分单元的运动矢量的实现过程为：

通过双线性插值模型计算得到所述运动矢量，其计算过程为：从步骤一中的若干邻近块中选取四个邻近块，其运动信息必须全部存在且至少有一个选中邻近块的运动信息和其他选中邻近块的运动信息不同；按照权利要求2所述方式利用被选中邻近块的参考索引获取当前块中每个划分单元的目标参考索引；根据权利要求2对选中邻近块的运动矢量进行预处理，然后就可以根据公式计算出当前块目标划分单元的运动矢量，式中，B_m表示当前编码块，U_x表示当前块中的某个划分单元，d_m(U_x)表示当前块中目标划分单元的运动矢量MV，d_m(MP_k)表示B_m的第k个邻近块的MV，插值核φ_m,k(x)依赖于B_m的第k个邻近块对U_x的贡献，可由目标划分单元相对于各个控制MP的位置确定。

4.根据权利要求2所述的混合视频编码标准中帧间预测方法，其特征在于：在步骤三中，所述获取当前编码块中每个划分单元的运动矢量的实现过程为：通过六参数的仿射模型计算得到，其计算过程为：从步骤一中的若干邻近块中选取三个邻近块，其运动信息必须全部存在且至少有一个选中邻近块的运动信息和其他选中邻近块的运动信息不同；按照权利要求2所述方式利用被选中邻近块的参考索引获取当前块中每个划分单元的目标参考索引；根据权利要求2所述方式对选中邻近块的运动矢量进行预处理，利用选中邻近块的位置坐标及其运动矢量根据公式 $\left\{\begin{array}{c}{x}^{\′}=a_{1}x+a_{2}y+a_5\\ y^{\′}=a_{3}x+a_{4}y+a_6\\ vx=x^{\′}-x\\ vy=y^{\′}-y\end{array}\right.$ 计算出六个仿射变换系数，进而可以根据当前块中相同坐标系下每个像素点的坐标求得对应的运动矢量(vx,vy)；式中，(x,y)为当前帧中某个像素点的坐标，(x',y')为该像素点在参考帧中对应点的坐标，a₁,a₂,a₃,a₄,a₅,a₆是仿射变换系数，至少需要三个邻近块的运动矢量才能确定所述仿射变换系数。

5.根据权利要求2所述的混合视频编码标准中帧间预测方法，其特征在于：在步骤三中，获取当前编码块中每个划分单元的运动矢量的实现过程为：通过四参数的仿射模型计算得到，其计算过程为：从步骤一中的若干邻近块中选取两个邻近块，它们的运动信息必须全部存在且至少有一个选中邻近块的运动信息和其他选中邻近块的运动信息不同；按照权利要求2所述方式利用被选中邻近块的参考索引获取当前块中每个划分单元的目标参考索引；根据权利要求2所述方式对选中邻近块的运动矢量进行预处理，利用选中邻近块的位置坐标及其运动矢量根据公式 $\left\{\begin{array}{c}{x}^{\′}=a_{2}x+a_{3}y+a_0\\ y^{\′}=-a_{3}x+a_{2}y+a_1\\ vx=x^{\′}-x\\ vy=y^{\′}-y\end{array}\right.$ 计算出四个仿射变换系数，进而可以根据当前块中相同坐标系下每个像素点的坐标求得对应的运动矢量(vx,vy)；式中，(x,y)为当前帧中某个像素点的坐标，(x',y')为该像素点在参考帧中对应点的坐标，a₀,a₁,a₂,a₃是仿射变换系数，至少需要两个邻近块的运动矢量才能确定所述仿射变换系数。

6.根据权利要求2所述的混合视频编码标准中帧间预测方法，其特征在于：在步骤三中，所述获取当前编码块中每个划分单元的运动矢量的实现过程为：通过透视投影模型计算得到，其计算过程为：从步骤一中的若干邻近块中选取四个邻近块，其运动信息必须全部存在且至少有一个选中邻近块的运动信息和其他选中邻近块的运动信息不同；按照权利要求2所述方式利用被选中邻近块的参考索引获取当前块中每个划分单元的目标参考索引；根据权利要求2所述方式对选中邻近块的运动矢量进行预处理，利用选中邻近块的位置坐标及其运动矢量根据公式 $\left\{\begin{array}{c}{x}^{\′}=a_1+a_{2}x+a_{3}y+a_7{x}^2+a_{8}xy\\ y^{\′}=a_4+a_{5}x+a_{6}y+a_{7}xy+a_8{y}^2\\ vx=x^{\′}-x\\ vy=y^{\′}-y\end{array}\right.$ 计算出八个透视投影系数，进而可以根据当前块中相同坐标系下每个像素点的坐标求得对应的运动矢量(vx,vy)；式中，(x,y)为当前帧中某个像素点的坐标，(x',y')为该像素点在参考帧中对应点的坐标，a₁,a₂,a₃,a₄,a₅,a₆,a₇,a₈是透视投影系数，至少需要四个邻近块的运动矢量才能确定所述透视投影系数。

7.根据权利要求2所述混合视频编码标准中帧间预测方法，其特征在于：在步骤三中，所述获取当前编码块中每个划分单元的运动矢量的实现为：在所述双线性插值模型、透视投影模型、六参数仿射模型、四参数仿射模型中为当前块选择一个最优的预测模型。

8.根据权利要求7所述混合视频编码标准中帧间预测方法，其特征在于：最优的预测模型的选择过程为：从步骤一中获取的若干邻近块中选取四个邻近块，根据其相对位置计算双线性插值模型的参数，从步骤一中获取的若干邻近块中选取四个邻近块，根据其相对位置和运动信息计算透视投影模型的参数，从步骤一中获取的若干邻近块中选取三个邻近块，根据其相对位置和运动信息计算六参数仿射模型的参数，从步骤一中获取的若干邻近块中选取两个邻近块，根据其相对位置和运动信息计算四参数仿射模型的参数，然后在所有有效的预测模型构成的集合中，选择一个最优的预测模型或在所有有效预测模型构成集合的任意子集中选择一个最优的预测模型，确定预测模型后即可获取当前编码块中每个划分单元的运动矢量；

所述获取当前块中每个划分单元的运动矢量，在选择最优的预测模型时，可按照预测模型的预测性能或者使用率为候选预测模型集合中的候选预测模型排序。

9.根据权利要求7或8所述混合视频编码标准中帧间预测方法，其特征在于：选择最优预测模型的判定准则为：采用最小均方误差、最小误差平方和、最小Hadamard误差或率失真优化准则。

10.根据权利要求3、4、5、6或7所述混合视频编码标准中帧间预测方法，其特征在于：对获取当前编码块先划分成N部分，为每一部分对应应用其中的一种预测模型，其中N≥1。