CN102084654A - 用于实施时间预测对图像序列进行编码的方法和装置、对应的信号、数据存储媒体、方法和解码装置以及计算机程序产品 - Google Patents

Abstract

本发明涉及一种用于对图像序列进行编码的方法，其包括用于对所述序列的当前图像的至少一个块进行编码的步骤，所述步骤实施使所述块与所述序列的参考图像中的至少一个对应块相关联的预测(11)，所述方法的特征在于所述预测(11)针对所述当前图像或所述参考图像的至少一个给定块分别包括以下步骤：确定(111)用于所述块的多个控制向量；将所述块至少一次再分(112)为若干子块；确定(113)用于所述子块的多个控制向量；根据从针对所述子块确定的所述控制向量执行的对所述子块中的至少一者的运动补偿而确定(114)所述当前图像的至少一个点的预测值。

Description

用于实施时间预测对图像序列进行编码的方法和装置、对应的信号、数据存储媒体、方法和解码装置以及计算机程序产品

技术领域

本发明的领域是对图像序列的编码和解码的领域。

更具体来说，本发明是关于使用基于块的变换对图像序列或场景(两个或两个以上维度的场景)的压缩/解压缩。本发明可尤其适用于当前视频编码器(MPEG、H.264等)或未来编码器(H.265)中实施的时间预测。

背景技术

目前的实施来自MPEG组织(MPEG-1、MPEG-2、MPEG-4、...)或来自国际电信联盟ITU-T(H.261、...、H.264/AVC)的视频压缩标准的视频编码器用以对图像序列进行编码以递送相对于源图像序列而经压缩的经编码序列。

为此，这些编码器使用一种编码方案，所述编码方案使用序列的图像之间的预测以便获得压缩方面的较大性能水平。

可回想序列的图像常规上被再分为若干切片，所述切片接着被再分为若干宏块。每一宏块接着被再分为若干像素块，其中一像素块对应于邻近像素的一分组。序列的图像的像素块可接着根据序列的一个或一个以上其它图像的一个或一个以上块通过时间预测来编码。接着使用的术语是“帧间”块。像素块也可根据待编码图像的一个或一个以上块通过空间预测来编码。接着使用的术语是“帧内”块。

在对块的编码期间，指定是否通过使用来自序列的已知为参考图像的其它图像的信息来对此块进行编码。这些参考图像是已经先前编码/解码的图像。参考块对应于参考图像的像素分组。

更具体来说，对帧间块的编码分两个步骤进行：

-首先通过使用一个或一个以上参考块和运动补偿机制来考虑视在运动或再次实现有效预测，来预测待的编码块；

-接着通过确定待编码块与预测之间的差来计算预测误差残差。

接着对当前块与经预测块之间的差或残差进行编码和传输(和/或依据应用而存储起来)。在解码时，将所接收的差加到预测以重构块。

经典地，在视频压缩标准中，通过对帧间块的运动补偿进行的预测是借助于平移型运动补偿来实现的。因此，如果v表示所考虑的运动向量，且R是所考虑的参考图像，那么在块的每一点或像素x处的预测P如下界定：P(x)＝R(x+v)。

此运动补偿技术的一个缺点在于其无法用以考虑旋转、缩放、剪切或其它类型的自然运动。

接着提出其它运动补偿变体来进行预测。

举例来说，P.Ishwar和P.Moulin在“On Spatial Adaptation ofMotion Field Smoothness in Video Coding”中已提出一种称为OBMC(重叠块运动补偿)的基于块的运动补偿技术，其包括考虑运动向量的若干值以设置待编码的块的像素x的预测值：

$P\left(x\right)=\underset{i}{\mathrm{\Σ}}{w}_i\left(x\right)R(x+v_i)$

其中：向量v_i对应于i个运动向量，

值w_i(x)对应于通过不同运动向量获得的差预测之间的加权值。

加权值w_i(x)一般取决于块中考虑的点x的位置。通常，所使用的权重w_i(x)对于所有块是相同的。

虽然此技术可用以考虑一系列自然运动，但所获得的预测具有平均质量。待传输的预测残差的信息量因此较大，且此额外信息的传输带来压缩性能方面的代价。

因此需要具有低复杂性同时提供高质量预测的新的图像编码/解码技术来至少部分减轻现有技术的缺点。

发明内容

本发明提出一种不具有现有技术的所有这些缺点的新颖方法，其呈用于对图像序列进行编码的方法的形式，所述方法包括用于实施使块与序列的参考图像中的至少一个对应块相关联的预测来对序列的当前图像的至少一个块进行编码的步骤。

根据本发明，所述预测针对所述当前图像或所述参考图像的至少一个给定块分别包括以下步骤：

-确定用于所述块的多个控制向量，每一控制向量表示所述块的特征点分别与所述特征点在所述参考图像中或所述当前图像中的对应位置之间的移位；

-将所述块至少一次再分为若干子块；

-根据用于所述块的所述控制向量确定用于所述子块的多个控制向量；

-根据从针对所述子块确定的所述控制向量执行的对所述子块中的至少一者的运动补偿而确定所述当前图像的至少一个点的预测值。

所述编码方法还包括将用于重构用于给定块的控制向量的信息***到表示所述序列的信号中的步骤。

本发明因此提出一种预测“帧间”块的新颖技术，其提供有效的预测质量，同时保持低复杂性。所提出的解决方案还在考虑块相对于其相邻者中的至少一者(即，位于此块的左边、右边、上方或下方的块)的运动时考虑图像序列中的自然运动。

为此，本发明提出确定用于块的若干控制向量(例如两个、三个、四个或四个以上向量)，其依据此块到其相邻者中的一者或一者以上的连接而界定。

举例来说，用于块或子块的控制向量各自与块或子块的顶点中的一者相关联。因此，对于2D图像，四个控制向量与块相关联，一个控制向量与块的每一顶点或隅角相关联。对于3D图像，八个向量与块相关联，所述块实际上对应于立方体，控制向量与块的每一隅角相关联。还可能使这些控制向量与块的其它点相关联，所述块例如对应于轮廓。以相同方式，与块相关联的控制向量的数目不固定。

特定来说，所提出的技术用以通过使用向前和/或向后投影来对图像序列进行编码。

因此，如果所使用的技术实施向后投影，那么投影是通过向后运动补偿进行的预测，且控制向量从当前图像指向一个或一个以上参考图像。在此情况下，针对属于当前图像的给定块确定多个控制向量。

相反，如果所使用的技术实施向前投影，那么预测是通过向前运动补偿进行的预测，且控制向量从一个或一个以上参考图像指向当前图像。那么，针对属于参考图像的给定块确定多个控制向量。

对于参考图像或当前图像的至少一个给定块，接着将块再分为针对其确定多个控制向量的子块。这些子块可尤其具有不同大小。

此再分尤其使得可能在执行仅块平移操作的同时考虑图像序列中的例如仿射变形运动等自然运动。这些块平移操作因此显著限制在子像素位置处的图像内插值的计算的复杂性(即，计算的块共享比单独的基于点的计算更有效)。

根据本发明的一个特定方面，用于重构控制向量的若干条信息包含用于给定块的控制向量或表示这些控制向量的信息。因此，用于块的这些控制向量可容易在解码器处重构。

根据一个变体，用于重构控制向量的若干条信息包含表示所述给定块与至少一个相邻块之间的运动的至少一个连接旗标。

举例来说，用于重构控制向量的若干条信息包括两个连接旗标，所述连接旗标包含：

-第一旗标，其表示当前图像与参考图像之间在给定块与位于给定块上方的块之间的运动，以及

-第二旗标，其表示当前图像与参考图像之间在给定块与位于给定块左边的块之间的运动。

这些旗标例如表示为用于第一旗标的“flag_tc”和用于第二旗标的“flag_lc”，其用以使给定块及其相邻者(上方或左边的相邻块)在当前图像与参考图像之间的运动相关联。一旦由解码器接收，这些旗标将用以重构控制向量。

举例来说，如果给定块和位于其上方的块在运动补偿之后在当前图像中和参考图像中具有共同的脊部，那么第二旗标等于1(flag_tc＝1)。则称两个块连接。

如果给定块和位于其左边的块在运动补偿之后在当前图像和参考图像中具有共同的脊部，那么第二旗标等于1(flag_lc＝1)。

本发明还关于一种可从通信网络下载和/或存储在计算机可读载体上和/或可由处理器执行的计算机程序产品，其包括用于在所述程序在计算机上执行时实施本文在上文所述的编码方法的程序代码指令。

在另一实施例中，本发明关于一种用于对图像序列进行编码的装置，其包括用于对所述序列的当前图像的至少一个块进行编码的构件，所述构件实施使所述块与所述序列的参考图像中的至少一个对应块相关联的预测构件。

根据本发明，所述预测构件针对当前图像或参考图像的至少一个给定块分别包括以下构件：

-用于确定用于所述块的多个控制向量的构件；

-用于将所述块再分为若干子块的构件；

-用于根据针对所述块确定的所述控制向量确定用于所述子块的多个控制向量的构件；

-用于根据从针对所述子块确定的所述控制向量执行的对所述子块中的至少一者的运动补偿而确定所述当前图像的至少一个点的预测值的构件。

此外，此种编码装置具有用于将用于重构用于所述给定块的控制向量的信息***到表示所述序列的信号中的构件。

此编码装置尤其适于实施上述编码方法。其例如为MPEG或H.264型视频编码器，或使用未来视频压缩标准的编码器。

本发明的又一方面关于表示根据本文在上文描述的编码方法编码的图像序列的信号。

此信号包括用于重构用于给定块的控制向量的至少一条信息。

此信号当然可包含关于本发明的编码方法的不同特征。

举例来说，重构信息包含表示给定块与至少一个相邻块之间的运动的至少一个连接旗标。

根据一个变体，用于给定块的重构信息包含控制向量或表示这些向量的一条信息。

特定来说，此信号还包含当前图像块与预测之间的差或残差。

信号还可传达关于块的再分的阶数的信息。

本发明还关于承载如本文在上文描述的信号的存储媒体。

本发明的又一方面是关于一种用于对表示图像序列的信号进行解码的方法，其包括用于根据待重构图像的预测而重构所述序列的至少一个图像的步骤，所述预测使所述待重构图像的块与所述序列的参考图像中的至少一个对应块相关联。

此解码方法包括用于获得与分别重构用于所述待重构图像或所述参考图像的至少一个给定块的控制向量相关的信息的步骤。

此外，所述预测包含用于给定块的以下步骤：

-根据所述关于重构的信息而确定用于所述块的多个控制向量，每一控制向量表示所述块的特征点分别与所述特征点在所述参考图像中或所述待重构图像中的对应位置之间的移位；

-将所述块至少一次再分为若干子块；

-根据用于所述块的所述控制向量而确定用于所述子块的多个控制向量；

-根据从针对所述子块确定的所述控制向量执行的对所述子块中的至少一者的运动补偿而确定所述待重构图像的至少一个点的预测值。

此方法尤其适于对根据上述编码方法编码的图像序列进行解码。以此方式，执行与在编码时执行的步骤相同的预测步骤，以便通过将预测残差(在信号中传输)添加到预测来重构给定块。

在解码侧执行的预测使用在信号中传输的关于重构控制向量的信息。

因此，根据第一实施例，获得步骤包含用于提取表示给定块与至少一个相邻块之间的运动的至少一个连接旗标的步骤。

旗标例如为在信号中传输的“flag_tc”(第一旗标)和“flag_lc”(第二旗标)。

这些旗标尤其用以重构用于给定块的控制向量。

根据第二实施例，获得步骤包含用于接收用于所述给定块的控制向量的步骤。

特定来说，所述解码方法包含决定和/或参数化所述再分的步骤，从而使得有可能决定是否应再分给定块和/或参数化给定块的再分。这些决定和/或参数化的步骤是在考虑属于包括以下各项的群组的预定准则的情况下界定：

-所述块的子块的预定数目；

-关于所述控制向量之间的相似性的一条信息；

-所述块的大小；

-表示再分次数的旗标；

-等等。

以此方式，待重构图像的所有块或参考图像的块不一定被再分为子块，且再分为子块可在图像的块之间变化。分割为子块因此是自适应的。

本发明还关于一种可从通信网络下载和/或存储在计算机可读载体上和/或可由处理器执行的计算机程序产品，其包括用于在所述程序由处理器执行时实施本文在上文所述的解码方法的程序代码指令。

本发明的另一实施例关于一种用于对表示图像序列的信号进行解码的装置，其包括用于实施用于预测待重构图像的构件而重构所述序列的至少一个图像的构件，所述用于预测的构件使所述待重构图像的块与所述序列的参考图像中的至少一个对应块相关联。

此装置包括用于获得与分别重构用于待重构图像或参考图像的至少一个给定块的控制向量相关的信息的构件。

此外，所述预测构件针对所述给定块包含：

-用于根据重构信息而确定用于所述块的多个控制向量的构件；

-用于将所述块再分为若干子块的构件；

-用于根据用于所述块的所述控制向量确定用于所述子块的多个控制向量的构件；

-用于根据从针对所述子块确定的所述控制向量执行的对所述子块中的至少一者的运动补偿而确定所述待重构图像的至少一个点的预测值的构件。

此种解码装置尤其适于实施本文在上文所述的解码方法。其例如为MPEG或H.264型视频解码器，或使用任何未来的视频压缩标准的解码器。

附图说明

本发明的其它特征和优点将通过以下借助于简单说明性和非限制性实例给出的对特定实施例的描述并通过附图而更清楚地显现，其中：

-图1A和图1B表示根据本发明的一个实施例的通过运动补偿进行的预测以及编码方法的主要步骤；

-图2提出用以确定用于块的控制向量的算法；

-图3A到图3G说明在考虑块的相邻者时确定用于块的向量；

-图4展示将块再分为若干子块的实例；

-图5说明确定像素的预测值；

-图6呈现根据本发明的一个实施例的用于解码方法的主要步骤；

-图7和图8呈现根据本发明的一个特定实施例的编码装置和解码装置的结构。

具体实施方式

5.1一般原理

本发明的一般原理依赖于实施时间预测对图像序列的编码和解码，所述时间预测使待编码图像的块与序列的参考图像中的至少一个对应块相关联。

更具体来说，本发明提出通过对以“帧间”模式编码的块的运动补偿进行的新颖预测技术。所提出的技术可用以通过限制其在计算和待传输参数的数目方面带来的复杂性而获得自然运动的表示。

本发明可尤其适用于对借助于运动管道(motion tube)表示的图像序列或场景的编码，其中运动管道对应于在时间上改变的像素块。在此改变期间，管道可变形以例如考虑视在运动或块中存在的像素的数目是增加还是减少。此管道也可例如在向块的子像素层级传递中得以精细化。本发明可尤其用以确定管道所经历的变形。

特定来说，可回想运动管道由至少以下若干条信息界定：

-包括关于参考纹理的信息的参考像素块；

-管道开始和结束时刻；

-关于转变的信息，用以更新所述参考块和所述序列的至少一个时刻。

用于表示图像序列的此技术尤其在处于本申请人名义下的于2007年6月25日申请的第0756007号法国专利申请案中描述。

根据本发明的时间预测依赖于确定用于至少一个块的多个控制向量、将至少此块再分为若干子块以及确定用于所述子块的多个控制向量。随后使用这些控制向量来确定子块的预测且接着确定块的预测。

5.2运动补偿

下文中参看图1A，描述例如在H.264型视频编码器中实施的针对通过运动补偿进行的预测实施的主要步骤。

可注意到，本发明可适用于如H.264标准中所理解的块以及宏块。因此，描述中的术语《块》根据此标准的意义必须理解为表示《宏块》或《块》，其不包括相反的指示。

如图1A中说明，通过对图像序列的当前图像的至少一个块的运动补偿(11)进行的预测针对第一图像的至少给定块b_C实施以下步骤：

-确定(111)用于块b_C的多个控制向量vb_C，每一控制向量表示块b_C的特征点与其在第二图像中的对应位置之间的移位；

-将块b_C至少一次再分(112)为子块b_SC1、b_SC2等；

-基于用于块的控制向量vb_C而确定(113)用于子块的多个控制向量vb_SC1、vb_SC2等；

-基于根据针对子块确定的控制向量vb_SC1、vb_SC2等执行的运动补偿而确定(114)当前图像的至少一个点的预测值。

特定来说，如果预测实施向后运动补偿，那么第一图像是当前图像且第二图像是参考图像。可回想参考图像对应于经先前编码/解码的图像。

如果预测实施向前运动补偿，那么第一图像是参考图像且第二图像是当前图像。

以此方式，确定至少一个当前图像块的预测，也称为预测块

下文中，提供对经实施以确定帧间编码块的预测的不同步骤的更详细描述。用于确定控制向量和用于将块再分为若干子块的步骤是针对向后运动补偿的情况而描述的，根据向后运动补偿，控制向量从当前图像指向一个或一个以上参考图像。所属领域的技术人员将不难用参考图像替换当前图像来将此教示延伸到向前运动补偿，根据向前运动补偿，控制向量从参考图像指向当前图像，且反之亦然。接着针对两种类型的运动补偿中的每一者来描述用于确定点或像素的预测值的步骤。

A)确定控制向量

首先，以经典方式，针对当前图像I_C的块b_C确定运动向量。此运动向量表示为v。

接着针对块b_C确定(111)多个控制向量vb_C。在此实施例中，针对块确定四个控制向量，每一控制向量与块的一顶点或隅角相关联。

举例来说，说明以下内容

-v_br，与位于块b_C的右下方的隅角相关联的控制向量；

-v_bl，与位于块b_C的左下方的隅角相关联的控制向量；

-v_tr，与位于块b_C的右上角的隅角相关联的控制向量；

-v_tl，与位于块b_C的左上角的隅角相关联的控制向量。

这些控制向量以零值初始化。

在编码侧，将块b_C在当前图像I_C中的位置与其相邻者的位置进行比较，且将对应块在参考图像I_R中的位置与其相邻者的位置进行比较。

举例来说，如果块b_C和位于上方的块在运动补偿之后具有对当前图像和参考图像两者共同的脊部，那么意味着所述两个块垂直连接。

接着将值1指派给第一旗标flag_tc。

如果块b_C和位于其左边的块在运动补偿之后具有对当前图像和参考图像两者共同的脊部，那么意味着所述两个块水平连接。

接着将值1指派给第二旗标flag_lc。

这些旗标用以表示块b_C及其相邻者(顶部或左边)在当前图像与参考图像之间的运动。其可用以确定控制向量。这些旗标可用以在控制向量由解码器接收的情况下重构控制向量。

任选地，对于具有减少信令的实施方案，两个旗标flag_tc和flag_lc可被限于采用同一值。其接着由单个旗标(采用单个值0或1的flag_c)表示。在此变体中，因此解码器使用唯一旗标来重构控制向量。

在对当前和参考图像进行分析之后，确定用于块b_C的控制向量v_br、v_bl、v_tr和v_tl，如图2中提出。

举例来说，向与位于块b_C的右下方的隅角相关联的控制向量v_br分配(21)针对块预界定的运动向量v。

接着进行检查(22)以查看flag_lc是否等于1，等于1意味着块b_C和位于其左边的块水平连接。

还进行检查(231、232)以查看flag_tc是否等于1，等于1意味着块b_C和位于上方的块垂直连接。

如果flag_lc等于1，那么控制向量v_bl采用位于块b_C的左边的块的控制向量v_br的值(v_bl＝v_br(left_block))。选择这些符号以便于所属领域的技术人员对等式的阅读和理解。

此外，在垂直连接模式中(旗标flag_tc等于1)，控制向量v_tr采用位于块b_C的上方的块的控制向量v_br的值(v_tr＝v_br(top_block))，且控制向量v_tl采用位于块b_C的上方的块的控制向量v_bl与位于块b_C的左边的块的控制向量v_tr的平均值(v_tl＝moy[v_tr(left_block)，v_bl(top_block)])。

在垂直未连接模式中(flag_tc等于0)，控制向量v_tl采用位于块b_C的左边的块的控制向量v_tr的值(v_tl＝v_tr(left_block))，且根据块b_C的三个其它控制向量而获得控制向量v_tr(v_tr＝v_tl+v_br-v_bl)。

如果在步骤22期间观察到flag_lc不等于1，这意味着块b_C和位于其右边的块处于未连接模式，那么获得：

-在垂直连接模式中(旗标flag_tc等于1)：

○控制向量v_tr采用位于块b_C的上方的块的控制向量v_br的值(v_tr＝v_br(top_block))；

○控制向量v_tl采用位于块b_C的上方的块的控制向量v_bl的值(v_tl＝v_bl(top_block))；

○根据块b_C的其它三个控制向量而获得控制向量v_bl(v_bl＝v_tl+v_br-v_tr)；

-在垂直未连接模式中(flag_tc等于0)：

○控制向量v_tl、v_tr和v_bl全部采用块b_C的控制向量v_br的值(v_bl＝v_tl＝v_br＝v_tr＝v)。

特定来说，如果块在其左边不具有任何相邻者，那么与其左上角和左下角相关联的控制向量是根据针对其右上角和右下角确定的控制向量来界定(v_bl＝v_br且v_tl＝v_tr)。以相同方式，如果块在其上方不具有相邻者，那么与其左上角和右上角相关联的在其上方的控制向量是基于针对其左下角和右下角确定的控制向量来界定(v_tl＝v_bl且v_tr＝v_br)。如果块在左边不具有相邻者且在上方也不具有相邻者，那么与其左上角、右上角和右下角相关联的控制向量是基于针对其右下角确定的控制向量来界定(v_bl＝v_tl＝v_tr＝v_br)。

根据所呈现的实施例，以用于块b_C的控制向量的重构的信息的形式将旗标flag_lc和flag_tc传输到解码器。

特定来说，旗标可由一组块或再次逐个块来界定。此外，可在给定块的运动向量v的界定期间利用这些旗标。事实上，这些条信息可例如用于用于与给定块相关联的运动向量的预测的预测模式中。

因此，如果给定块和位于其上方的块连接且如果给定块不连接到位于其左边的块，那么对给定块的运动向量的编码可借助于由位于上方的块的运动向量界定的预测来完成(而不是如在现有技术的编码器中使用那样基于相邻块的中值向量进行预测)。

类似地，如果给定块和位于其左边的块连接，且如果给定块不连接到位于其上方的块，那么对给定块的运动向量的编码可借助于由位于其左边的块的运动向量界定的预测来完成(而不是如在现有技术的编码器中使用那样基于相邻块的中值向量进行预测)。

此外，根据所呈现的实施例，仅可对一个运动向量(向量v(v＝v_br))进行编码。其它运动向量(v_tr，v_tl，v_bl)可借助于旗标flag_lc和flag_tc来界定。

图3A到图3F尤其说明针对通过向前运动补偿进行的预测确定用于当前图像I_C的块b_C的控制向量，根据向前运动补偿，控制向量从当前图像I_C指向参考图像I_R。

更具体来说，图3A说明在位于块b_C的左边和上方的块一致的情况下确定用于块b_C的控制向量，所述一致即指位于块b_C的上方的块的左下角和位于块b_C的左边的块的右上角连接且旗标flag_lc和flag_tc等于1。

图3B说明位于块b_C的左边和上方的块一致、flag_lc等于1且flag_tc等于0的情况。

图3C说明位于块b_C的左边和上方的块一致、flag_lc等于0且flag_tc等于1的情况。

图3D说明位于块b_C的左边和上方的块一致、且旗标flag_lc和flag_tc等于0的情况。

图3E说明位于块b_C的左边和上方的块不一致(即位于块b_C的上方的块的左下角和位于块b_C的左边的块的右上角不同)、flag_lc等于1且flag_tc等于0的情况。

图3F说明位于块b_C的左边和上方的块不一致、flag_lc等于0且flag_tc等于1的情况。

图3G说明位于块b_C的左边和上方的块不一致、且flag_lc和flag_tc等于1的情况。

B)将块再分为若干子块

下文中提供对将块b_C再分为若干子块的步骤112的更精确描述。可回想根据本发明，将当前图像的至少一个块再分为若干子块。

接着使用针对块b_C界定的四个控制向量以便进行内插来界定不同子块的控制向量。举例来说，针对每一子块确定四个控制向量。

因此，如图4中说明，将块b_C例如再分为四个子块b_SC1、b_SC2、b_SC3和b_SC4。附接到块b_C的控制向量经内插以界定用于子块的新控制向量。举例来说，使用以下符号：

-v_ml，与位于子块b_SC1的左下方的隅角相关联的控制向量，还对应于位于子块b_SC3的左上方的隅角；

-v_tm，与位于子块b_SC1的顶部的隅角相关联的控制向量，还对应于位于子块b_SC2的左上方的隅角；

-v_mr，与位于子块b_SC2的右下方的隅角相关联的控制向量，还对应于位于子块b_SC4的右上方的隅角；

-v_bm，与位于子块b_SC3的右上方的隅角相关联的控制向量，还对应于位于子块b_SC4的左下方的隅角；以及

-v_mm，与位于子块b_SC1的右下方的隅角相关联的控制向量，还对应于位于子块b_SC2的左下方的隅角、位于子块b_SC3的右上方的隅角和位于子块b_SC4的左上方的隅角。

接着根据用于块b_C的控制向量确定用于子块的控制向量，例如如下：

和 $v_{\mathrm{mm}}=\frac{v_{\mathrm{tl}}+v_{\mathrm{tr}}+v_{\mathrm{bl}}+v_{\mathrm{br}}}{4}.$

接着将这些控制向量分配给不同子块：

-位于左上方的子块b_SC1具有运动向量v_tl、v_tm、v_ml、v_mm作为控制向量；

-位于左上方的子块b_SC2具有运动向量v_tm、v_tr、v_mm、v_mr作为控制向量；

-位于左下方的子块b_SC3具有运动向量v_ml、v_mm、v_bl、v_bm作为控制向量；

-位于右下方的子块b_SC4具有运动向量v_mm、v_mr、v_bm、v_br作为控制向量。

再分的次数可取决于若干参数。举例来说，其可由针对一组块界定的总体参数界定，否则为按块自适应的。因此，将块分割为针对其进行特定预测的具有较小大小的子块。接着，出现可变块大小以便获得运动补偿。

更具体来说，可根据块的大小或根据块的子块的预界定数目来界定再分的次数。举例来说，大小为16x16的宏块可再分为8个大小为4x8或8x4的块或四个大小为8x8的块，或再分为由两个大小为8x16或16x8的块形成的块。

根据一个变体，将与块b_C相关联的控制向量两两比较以便获得关于相似性的一条信息。接着仅在关于相似性的信息高于至少一个预定阈值的情况下将块b_C再分为若干子块。

在其为按块自适应的情况下，可将待进行再分的次数界定为控制向量的幅值之间的最大差(例如通过最大差的值的简单量化)。

C)针对当前图像的子块的向后运动补偿确定当前图像的至少一个点的预测值。

下文呈现用于根据基于当前图像的子块确定的控制向量执行的向后运动补偿来确定当前图像的至少一个像素的预测值的步骤114，如图5中所说明。

给定一子块及其四个控制向量，借助于以下等式针对此子块的任一点x建立预测P(x)：

P(x)＝w₁(x)I_R(x+v₁)+w₂(x)I_R(x+v₂)+w₃(x)I_R(x+v₃)+w₄(x)I_R(x+v₄)

其中：对于子块b_SC1，(v₁，v₂，v₃，v₄)＝(v_tl，v_tm，v_mm，v_ml)；

对于子块b_SC2，(v₁，v₂，v₃，v₄)＝(v_tm，v_tr，v_mr，v_mm)；

对于子块b_SC3，(v₁，v₂，v₃，v₄)＝(v_ml，v_mm，v_bm，v_bl)；以及

对于子块b_SC4，(v₁，v₂，v₃，v₄)＝(v_mm，v_mr，v_br，v_bm)。

可如本文在上文提到的文献“On Spatial Adaptation of MotionField Smoothness in Video Coding”中描述那样确定加权值w₁(x)、w₂(x)、w₃(x)、w₄(x)。也可想到其它已知技术。

因此，确定当前图像I_C的至少一个块的预测。

D)针对参考图像的子块的向前运动补偿确定当前图像的至少一个点的预测值。

下文呈现用于根据基于针对参考图像的子块确定的控制向量执行的向前运动补偿来确定当前图像的至少一个像素的预测值的步骤114。

在向前运动补偿的情况下，可通过一个或一个以上参考图像的若干块来预测当前图像的块。为了针对当前图像的点计算预测值，必须在当前图像上投影参考图像的所有块，以便确定哪些块可用以预测当前图像的点。

下文提出用于针对当前图像构造预测图像的算法。

在第一步骤期间，初始化预测图像。因此，对于图像的任一点x，存在：RI(x)＝0、RW(x)＝0。RI对应于其中由参考图像的块给出的所有预测值经加权且累加的预测图像，RW对应于权重累加图像。

对于任一子块b_SC1、b_SC2、...，实施以下步骤：

-对于子块的每一运动向量，在ab等于tl、tr、bl且接着br的情况下更新预测图像。对于子块中的任一x：

-累加点RI(x+v_ab)处的值w_ab(x)＊P(x)：RI(x+v_ab)+＝w_ab(x)＊P(x)，

P(x)为子块的点x处的预测；

-累加点RW(x+v_ab)处的值w_ab(x)：RW(x+v_ab)+＝w_ab(x)。

在向前运动补偿期间使用的权重w_ab可采用在向后运动补偿中使用的权重的值以及不同的值。特定来说，其值可不同且可按块自适应。举例来说，此自适应可取决于控制运动向量的相似性。

接着针对图像中的任一点x而将预测图像标准化：

-如果RW(x)不等于0，那么将RI(x)除以RW(x)：

RW(x)！＝0thenRI(x)/＝RW(x)；

-如果否，则将RI(x)更新为预界定值UNDEF，例如值0。

任选地，修改RW(x)等于0的未界定值以便具有相对于其相邻者更可能的值。此最后的步骤可以不同方式执行，例如在针对未界定的任何值界定在预测图像中最近的点y的值时，所述值具有准确界定的值(即，RW(y)不等于0)。

以此方式，界定对当前图像块IC的预测。

5.3编码

下文中，参看图1B，界定例如在H.264型视频编码器中实施的主要编码步骤。特定来说，本发明的方法可以各种方式、尤其以有线形式或软件形式来实施。

如图1B中所说明，本发明的编码方法可包含用于实施通过如上文参看图1A所描述的运动补偿进行的预测来对图像序列的当前图像I_C的至少一个块b_C进行编码的编码步骤11。

以此方式，确定对至少一个当前图像块b_C的预测，也称为预测块

接着传统地确定对应于当前图像块与预测块之间的差的预测误差残差。

最终，在步骤12处，将与重构用于块b_C的控制向量相关的信息***到表示图像序列的信号中。

举例来说，这些条重构信息采用表示块b_C与至少一个相邻块之间的运动的连接旗标的形式，或者其直接包括用于块b_C的控制向量。

还将预测误差残差***到信号中。这些残差可由解码器在图像序列的重构期间使用。

接着可传输表示图像序列的信号和/或将其存储在记录媒体上。

5.3信号

一旦经编码，便将序列的图像传输到解码器。

此外，将与重构用于块b_C的控制向量相关的信息元素***到此信号中。举例来说，这些条重构信息包含旗标flag_lc和flag_tc。

根据一个实施例，还将预测误差残差***到信号中，尤其是将由解码器在图像序列的重构期间使用的运动向量v的预测残差。

还可能***指定块b_C在编码器处经历的再分操作的次数的旗标。以此方式，确保在编码器进行预测期间执行的再分等于在解码器进行预测期间执行的再分。

5.4解码

现在参看图6，呈现例如H.264型视频解码器实施的解码的主要步骤。

本发明的方法可以各种方式、尤其以有线形式或软件形式实施。

假定解码器接收到例如根据本文在上文描述的编码方法而经编码的表示图像序列的信号。

更具体来说，如图6中所说明，根据本发明的解码方法具有用于根据对待重构图像的预测来重构序列的至少一个图像的步骤61，以及用于获得与重构用于待重构消息或参考图像的至少一个给定块b_C的控制向量相关的信息的步骤62。

根据此实例，针对待重构图像或参考图像的至少给定块b_C实施以下步骤：

-基于重构信息而确定(611)用于块b_C的多个控制向量vb_C，每一控制向量表示块b_C的特征点与其在参考图像中或待重构图像中的对应位置之间的移位；

-将块b_C至少一次再分(612)为子块b_SC1、b_SC2等；

-基于用于此块的控制向量而确定(613)用于子块的多个控制向量vb_SC1、vb_SC2等；

-基于根据针对子块确定的控制向量进行的对子块中的至少一者的运动补偿而确定(614)待重构图像的至少一个像素的预测值。

以此方式，针对待重构图像的至少一个块确定预测，也称为预测块

接着，传统地添加在预测块的编码期间确定的预测误差残差，以便确定待重构图像的经重构块。

用于确定用于块的多个控制向量的步骤611、将块再分(612)为若干子块、确定(613)用于子块的多个控制向量以及确定(614)待重构图像的至少一个像素的预测值类似于在编码期间实施的那些步骤，且因此此处不再更详细描述。

特定来说，可注意到此用于确定用于块b_C的多个控制向量vb_C的步骤611考虑了在步骤62期间获得的关于重构的信息。

根据第一变体，关于重构的这些条信息尤其采用***到表示编码器处的图像序列的信号中的至少一个连接旗标的形式。举例来说，这些条重构信息包含flag_tc和flag_lc。

根据第二变体，关于重构的这些条信息采用用于块b_C的控制向量的形式，其直接在流中传输。

5.5运动的颠倒

如本文在上文指示，所提出的技术使得能够使用向前和/或向后投影对图像序列进行编码/解码。

因此，基于块界定的运动可颠倒且可使得能够进行通过向前投影(基于参考图像界定的运动向量)、若干条信息(在当前图像中对运动的纹理值的预测)或所有其它有用信息(例如对关于深度的信息进行编码的3D视频编码器的关于深度的一条信息)来进行编码/解码的过程。

通过运动颠倒重构的图像是借助于本文在上文描述的再分为子块而获得的。此经重构图像可在编码器中和/或在解码器中使用。

5.6编码器和解码器的结构

现在参看图7和图8，最终呈现编码装置和解码装置的简化结构，其分别实施本文在上文描述的编码技术和解码技术。

如图7中所说明的编码装置包括包含缓冲存储器的存储器71，和例如配备微处理器μP且由计算机程序73驱动的处理单元72，所述计算机程序73实施根据本发明的编码方法。

在初始化时，将计算机程序代码指令73例如加载到RAM中且接着由处理单元72的处理器执行。处理单元72在输入处接收待编码的至少一个图像或待编码图像的块。处理单元72的微处理器根据计算机程序73的指令实施本文在上文描述的编码方法的步骤以确定对待编码的图像或块的预测，且对块或对应图像进行编码。为此，编码装置除了缓冲存储器71以外还包括使块与序列的参考图像中的至少一个对应块相关联的预测构件，和用于在表示序列的信号中***与重构用于块的控制向量相关的信息的构件，所述预测构件包括用于确定用于块的多个控制向量的构件、用于将块再分为若干子块的构件、用于确定用于子块的多个控制向量的构件以及用于确定当前图像的至少一个像素的预测值的构件。这些构件由处理单元72的微处理器驱动。

如图8中所说明的解码装置包括包含缓冲存储器的存储器81，和例如配备微处理器μP且由计算机程序83驱动的处理单元82，所述计算机程序83实施根据本发明的编码方法。

在初始化时，将计算机程序代码指令83例如加载到RAM中且接着由处理单元82的处理器执行。处理单元82在输入处接收包括用于重构与至少一个给定块相关联的控制向量的若干条信息的表示图像序列的信号。控制单元82的微处理器根据计算机程序83的指令实施本文在上文描述的解码方法的步骤以确定对给定块的预测，且重构对应图像。为此，解码装置除了缓冲存储器81以外还包括重构所述序列的至少一个图像的构件和用于获得与重构用于至少一个给定块的控制向量相关的信息的构件，所述重构构件包括预测构件，所述预测构件包括用于确定用于块的多个控制向量的构件、用于再分为若干子块的构件和用于确定用于子块的多个控制向量的构件、用于确定待重构图像的至少一个像素的预测值的构件。这些构件由处理单元82的微处理器驱动。

Claims (15)

1.一种用于对图像序列进行编码的方法，其包括用于对所述序列的当前图像的至少一个块进行编码的步骤，所述步骤实施使所述块与所述序列的参考图像中的至少一个对应块相关联的预测(11)，

所述方法的特征在于所述预测(11)针对所述当前图像或所述参考图像的至少一个给定块分别包括以下步骤：

确定(111)用于所述块的多个控制向量，每一控制向量表示所述块的特征点分别与所述特征点在所述参考图像中或所述当前图像中的对应位置之间的移位；

将所述块至少一次再分(112)为若干子块；

根据用于所述块的所述控制向量确定(113)用于所述子块的多个控制向量；

根据从针对所述子块确定的所述控制向量执行的对所述子块中的至少一者的运动补偿而确定(114)所述当前图像的至少一个点的预测值；

且所述方法的特征在于所述方法实施用于将用于重构用于所述给定块的所述控制向量的信息***(12)到表示所述序列的信号中的步骤。

2.根据权利要求1所述的编码方法，其特征在于用于重构所述控制向量的信息包含表示所述给定块与至少一个相邻块之间的运动的至少一个连接旗标。

3.根据权利要求2所述的编码方法，其特征在于所述连接旗标包括：

第一旗标，其表示所述当前图像与所述参考图像之间在所述给定块与位于所述给定块上方的块之间的运动，以及

第二旗标，其表示所述当前图像与所述参考图像之间在所述给定块与位于所述给定块左边的块之间的运动。

4.根据权利要求1所述的编码方法，其特征在于用于所述块或子块的所述控制向量各自与所述块或子块的顶点相关联。

5.一种可从通信网络下载和/或存储在计算机可读载体上和/或可由处理器执行的计算机程序产品，其特征在于其包括用于在所述程序在计算机上执行时实施根据权利要求1到4中任一权利要求所述的编码方法的程序代码指令。

6.一种用于对图像序列进行编码的装置，其包括用于对所述序列的当前图像的至少一个块进行编码的构件，所述构件实施使所述块与所述序列的参考图像中的至少一个对应块相关联的预测构件(11)，

所述装置的特征在于所述预测构件(11)针对所述当前图像或所述参考图像的至少一个给定块分别包括以下构件：

用于确定(111)用于所述块的多个控制向量的构件，每一控制向量表示所述块的特征点分别与所述特征点在所述参考图像中或所述当前图像中的对应位置之间的移位；

用于将所述块再分(112)为若干子块的构件；

用于根据用于所述块的所述控制向量确定(113)用于所述子块的多个控制向量的构件；

用于根据从针对所述子块确定的所述控制向量执行的对所述子块中的至少一者的运动补偿而确定(114)所述当前图像的至少一个点的预测值的构件；

且所述装置的特征在于所述装置具有用于将用于重构用于所述给定块的所述控制向量的信息***(12)到表示所述序列的信号中的构件。

7.一种表示依据根据权利要求1到4中任一权利要求所述的编码方法而编码的图像序列的信号，

其特征在于其包括用于重构用于给定块的控制向量的至少一条信息。

8.根据权利要求7所述的信号，其特征在于用于重构所述控制向量的所述信息包含表示所述给定块与至少一个相邻块之间的运动的至少一个连接旗标。

9.一种承载根据权利要求7和8中任一权利要求所述的信号的存储媒体。

10.一种用于对表示图像序列的信号进行解码的方法，其包括根据对待重构图像的预测而重构(61)所述序列的至少一个图像的步骤，

所述预测使所述待重构图像的块与所述序列的参考图像中的至少一个对应块相关联，

所述方法的特征在于其包括用于获得(62)用于分别重构用于所述待重构图像或所述参考图像的至少一个给定块的控制向量的信息的步骤，

且所述方法的特征在于所述预测包含用于所述给定块的以下步骤：

根据所述用于重构控制向量的信息而确定(611)用于所述块的多个控制向量，每一控制向量表示所述块的特征点分别与所述特征点在所述参考图像中或所述待重构图像中的对应位置之间的移位；

将所述块至少一次再分(612)为若干子块；

根据用于所述块的所述控制向量确定(613)用于所述子块的多个控制向量；

根据从针对所述子块确定的所述控制向量执行的对所述子块中的至少一者的运动补偿而确定(614)所述待重构图像的至少一个点的预测值。

11.根据权利要求10所述的用于解码的方法，其特征在于所述用于获得(62)信息的步骤包含用于提取表示所述给定块与至少一个相邻块之间的运动的至少一个连接旗标的步骤。

12.根据权利要求10所述的用于解码的方法，其特征在于所述用于获得(62)信息的步骤包含用于接收用于所述给定块的所述控制向量的步骤。

13.根据权利要求10所述的用于解码的方法，其特征在于其包括根据属于包括以下各项的群组的预定准则来决定和/或参数化所述再分的步骤：

所述块的子块的预定数目；

关于所述控制向量之间的相似性的一条信息；

所述块的大小；

表示再分次数的旗标。

14.一种可从通信网络下载和/或存储在计算机可读载体上和/或可由处理器执行的计算机程序产品，其特征在于其包括用于在所述程序由处理器执行时实施根据权利要求10到13中任一权利要求所述的解码方法的程序代码指令。

15.一种用于对表示图像序列的信号进行解码的装置，其包括用于实施用于预测待重构图像的构件而重构(61)所述序列的至少一个图像的构件，

所述用于预测的构件使所述待重构图像的块与所述序列的参考图像中的至少一个对应块相关联，

所述装置的特征在于其包括用于获得(62)用于分别重构用于所述待重构图像或所述参考图像的至少一个给定块的控制向量的信息的构件，

且所述装置的特征在于所述预测构件针对所述给定块包含：

用于根据用于重构控制向量的信息而确定(611)用于所述块的多个控制向量的构件，每一控制向量表示所述块的特征点分别与所述特征点在所述参考图像中或所述待重构图像中的对应位置之间的移位；

用于将所述块再分(612)为若干子块的构件；

用于根据用于所述块的所述控制向量确定(613)用于所述子块的多个控制向量的构件；

用于根据从针对所述子块确定的所述控制向量执行的对所述子块中的至少一者的运动补偿而确定(64)所述待重构图像的至少一个点的预测值的构件。

Images