CN1531824A - 图象编码与解码方法以及对应的装置和应用 - Google Patents

Abstract

本发明涉及有选择地实施至少两种图象编码方式用于对图象编码的方法，每一方法基于不同优化准则优化至少一个视频序列图象的压缩。

Description

图象编码与解码方法以及对应的装置和应用

技术领域

本发明的技术领域是通过降低动画图象序列特别是视频的位速率进行编码。

有大量的视频编码应用。这些包括(列表并未穷尽)：

-数字TV传输

-几种类型的网络上的实时视频传输：IP，移动，(“流动IP”)

-视频的计算机存储

本发明可特别用于实现MPEG型编码的***框架中。MPEG-型编码意思是基于临时预测和离散余弦变换的编码，基于硬块结构，常常有固定尺寸，但可以有可变尺寸。对这一编码族的两种表示标准是版本1到4的MPEG-4标准和直到版本2的ITU-T/H.263。本发明还可用于CCITT H26L建议框架内(例如，参见对应的VCEG-N83dl文献)。

当前提供的视频编码和解码方案划分为两类：

-通过ISO/MPEG，或通过ITU-T标准化的编码，都基于相同类型的技术(基于块结构的临时预测及离散余弦变换)

-在研发中由研究实验室提供的编码，这涉及大量技术：小波编码，区域性编码，分形编码，网格编码等等。

当前，MPEG-4编码被认为是商业标准，不仅是标准化的编码中，而且是公开的编码。

MPEG-4或ITU-T/H.263++型编码认为是达到其极限，特别是由于用作为对所有编码计算和操作的支持的固定尺寸的硬块结构。特别地，序列内图象的临时预测不能被充分利用。

此外，公开的另一种编码还没有达到充分的优化程度。

因而，为了允许被编码的视频序列以低位速率获得，编码器通常要降低图象的尺寸，并生成原始视频序列的临时子采样。然而，第二种技术的不便在于，取决于子采样水平要恢复对于用户或多或少成问题的不确定的运动。

为了避免这些不确定的运动，必须在解码器中使用临时内插重新产生失去的图象(未被编码的)。

然而，当前用于图象临时内插的技术不能获得满意的结果，特别是当它们以单解码器实现时。实际上，这些技术是与基于块的运动补偿技术相关的可视人工产物的来源，这些技术只对块的所有象素定义单个的运动向量。

发明内容

本发明的目的具体是补救以往技术的限制。

更准确地说，本发明的一个目的是要提供一种对图象数据编码和解码的技术，允许相对于已知的技术获得降低的位速率和/或改进的重新产生的图象质量。

根据本发明，这一目的是借助于一种图象编码过程实现，该过程有选择地实现至少两种图象编码方法，每一方法根据各种优化准则优化至少一个视频序列图象的压缩。

根据几个有用的实施例，关于选择所述解码器编码方式之一的信息，解码器可根据属于包括以下诸技术的组的至少一种技术知道：

-关于编码和解码已知的预定选择；

-包含在由至少某些编码图象数据组成的数据流中的选择的表示信息；

-包含在与编码图象数据无关的数据流中的选择的表示信息；

-以预定的方式通过解码器选择的确定。

该过程最好涉及用于选择施加到所述图象的编码方式的一个阶段，这至少包括：

-优化图象光度表示的一种初始编码。

-优化至少两个图象之间运动表示的第二编码。

这样，本发明通过编码混成涉及一种新的视频编码过程，特别是MPEG-型编码和使用基于由网格表示的临时内插的编码，以及解码过程及相关的二进制表示结构。

所述第二编码，最好考虑利用所述初始编码被编码的至少一个先前的图象和/或至少一个后继的图象。

所述第二编码宜考虑从使用所述初始编码被编码的紧挨的前一图象计算的运动向量场，和/或从使用所述初始编码被编码的后继紧跟的图象计算的运动向量场。

这些向量场宜应用于网格。

这种情形下，所述运动向量场可用来确定与使用所述第二编码被编码的图象相关的推演的运动向量场。

根据本发明一优选实施例，所述选择阶段基于一个N固定因子子样本的实现，N上的图象使用所述初始编码被编码。

这一N值与至少一个预定准则相关，并最好为一变量。

根据一特定的实施例，所述初始编码实现对图象块的一种变换，及各块的一种预测。例如这一变换为DCT-型变换，Hadamard变换，子波变换等。

将观察到，图象块不必是方形的，而是可取适于需要的任何形式和可用的方法。

这一初始编码具体可以是MPEG-4或H26L编码。

在后者的情形下，最好使用类型I(内)图象和/或类型P(可预测)图象(最好不是类型B图象)。

根据本发明的另一具体方式，所述第二编码宜基于M-级分层网格来实现，其中M大于或等于1，并例如为三角形网格。

这种情形下，该过程最好包含隐藏区域或消隐区域的管理阶段。

所产生的数据可被组成单个的流。最好预期有至少两个能够在独立传输通路上传输的数据流。

所述数据流最好属于包括以下内容的组：

-全局标题；

-根据所述初始编码被编码的图象数据；

-根据所述第二编码被编码的图象数据。

因而流传输可独立进行。特别地，这允许根据使得和需要图象的渐进的和/或局部的解码。

因而，根据本发明特定的实施例，开发了以下方面：

-通过标准化MPEG或ITU-T/H.263-型编码的构成模块推进的优化

-基于网格技术的临时预测和相关的误差编码。

确实，基于网格的方法由于属于连续的运动场而有助于避免通常的阻塞。而且，网格技术允许消隐被检测的“对象”，以及正确适用于这些区域的误差编码。此外，通过围绕这些区域组合MPEG-型误差编码，以大大低于通过MPEG提供的双向图象(类型B图象)的成本可明显改进内插的效率。

因而，使用MPEG-型编码能够以低的临时分辨率对基本的信息有效编码，质量良好，并然后使用通过网格内插方式的编码能够恢复序列的全部流。

当然，本发明还涉及：

-对使用上述编码过程被编码的图象信号解码的过程；

-对使用上述编码过程被编码的图象信号编码的过程；

-用于对使用上述编码过程被编码的图象信号解码的装置(最好包括用于确定至少部分的向量场和/或至少部分的消隐区的装置，类似于编码期间实现的那些装置)；

-用于存储使用上述编码过程被编码的至少一个图象信号的装置

-使用上述编码过程被编码的图象信号的编码，传输和/或解码***(根据属于包括以下技术的组的技术至少之一，所述编码方式之一的选择最好对于解码器是已知的：

-在编码和解码期间已知的预定选择；

-包含在至少包括某些编码图象数据数据流中的选择的表示信息；

-包含在数据流中的选择的表示信息，与被编码的图象数据无关；

-通过解码器以固有的方式选择的确定；

-计算机程序产品，用于对使用编码过程被编码的图象信号进行编码和/或解码；

-对这种程序的数据支持。

本发明还涉及包含根据上述过程编码的数据的图象数据信号。

这一信号最好包括至少一个指示符，规定该过程是否已被激活。

在视频序列和/或在每一信号帧的开头，该信号最好包括规定帧结构的数据。

使用所述第二编码被编码的序列，最好以指示根据这一第二编码被编码的帧的数目的标题开始。

根据一特定的实施例，信号包括指示两个可在分开的传输通路传输的数据流。

这种情形下，所述数据流最好属于包括以下内容的组：

-全局标题

-根据所述初始编码被编码的图象数据；

-根据所述第二编码被编码的图象数据。

本发明发现在各种领域的应用，特别是在属于包括以下内容的组的领域：

-数字化TV

-IP网络上的实时视频；

-通过网络到移动站的实时视频；

-图象数据存储。

附图说明

在阅读作为简单示例性、非限制性例子，及附加的附图而提供的本发明的优选实施例的说明，本发明其它的特性和优点将是明显的，其中：

-图1是本发明编码的示意图；

-图2示出对于运动的分层网格结构的一例；

-图3示出关于三角形网格的仿射内插(interpolation affine)原理；

-图4是通过覆盖三角形检测的消隐一例；

-图5示出对称方阵中任何图象三角形的变换过程；

-图6示出任何三角形到直角等腰三角形的变换；

-图7通过相关四元树示出分层网格和表示；

-图8是对分层网格编码决策的一例；

-图9示出根据本发明的位流全局结构；

-图10示出根据本发明的解码器的块程序。

具体实施方式

以下所述本发明的实施例基本上由MPEG-型编码的混合组成，例如MPEG-4，使用以内插方式操作的网格编码，也称为B方式或MPEG-标准的B图象。

应当注意，这里所述的MPEG-4编码可由任何基于等价技术的编码器代替，就是说使用基于块结构、临时预测和离散余弦变换及对于产生的信息量化和熵编码。特别地，ITU-T/H.263++编码能够代替MPEG-4编码。

对于进入编码器的序列的每一图象，编码器根据特定决策过程(例如固定因子临时子采样)决定使用具有MPEG-4编码模块的编码器，还是使用基于网格的编码模块编码器。

以网格方式编码的图象，作为它们的临时预测参照，使用按MPEG-4方式编码的图象，这些图象位于紧靠按它们所属的网格网格方式编码的图象之前或之后。

本发明的压缩效率关键点在于，基于网格的运动补偿导致非常有力的临时预测，其相关编码成本非常低。

确实，这种技术：

-考虑图象内各种类型的运动

-特别处理由于对象的运动所至区域的覆盖和去覆盖

图1提供了编码器的原理总体图。

首先，根据给定的决策方法，例如根据预定的节奏：N中1个图象按MPEG编码，其余的按网格内插方式编码，输入的图象或被导向MPEG编码模块或基于网格的编码模块。应注意，N_k表示按MPEG方式编码的图象数。

所有其余I_l，N_k＜l＜N_k+1图象通过以称为B方式的内插方式工作的网格编码器编码，例如三角形。这一编码器一般原理如下：

1.在N_k和N_k+1图象之间的之前和之后运动场的计算。对这些场以三角形网格形式建模。

2a.可预测区域的估计：在内插期间，估计It和It’之间的运动。如果运动向量的应用不导致一种变换(表示存在于可预测区域中)，则通过使用k(0≤k≤1)标量对向量加权进行运动补偿，以便内插I_t+k，t+k属于[t，t’]。对运动补偿有如下所述的三种可能的方法。

2b.不可预测区域的估计：在Il个待编码的图象中，从知道这些运动场检测不可预测消隐区域。

3.根据以下三种可能的方式之一这些消隐区域的特定编码：

-使用没有运动补偿的参照图象(N_k，N_k+1，或在以它们的运动场运动期间被补偿的这些图象)之一预测，然后使用基于三角形网格的技术对预测误差编码；

-使用带有图象内运动补偿的参照图象(N_k，N_k+1，或在以它们的运动场运动期间被补偿的这些图象)之一预测，然后使用基于三角形网格的技术对预测误差编码；

-基于三角形网格技术的图象内编码。

4.可选地，残余预测误差或编码的方式P MPEG-型编码，限于围绕消隐区域的一区域。

如上所述，能够使用三种方法进行运动补偿：之前估计，之后估计，或之前与之后估计。

1)之前估计：

在内插期间，估计I_t1和I_t2之间的运动。如果该运动向量的施加不导致变换(这对应于可预测的区域)，则通过以标量k＝m/(t1+t2)(0＜k＜1)对向量加权进行运动补偿，以便内插Im，m属于[t1，t2]。获得E1估计的图象。

2)之后估计：

在内插期间，估计I_t2和I_t1之间的运动。如果该运动向量的施加不导致变换(这对应于可预测的区域)，则通过以标量k’＝1-m/(t1+t2)(0＜＝k’＜＝1)对向量加权进行运动补偿，以便内插Im，m属于[t1，t2]。获得E2估计的图象。

3)两者一同：

在内插期间，估计I_t1和I_t2以及I_t2和I_t1之间的运动。如果该运动向量的施加不导致变换(这对应于可预测的区域)，则通过以标量k(0＜＝k＜＝1)对“之前”的向量加权进行运动补偿，且获得E1。对“之后”的向量使用标量k’(0＜＝k’＜＝1)同样进行补偿，并获得E2。然后估计的图象为E＝aE1+(1-a)E2，其中0＜＝a＜＝1。

每2位，在计算估计的解和相关源图象之间的PSNR之后取最佳解。

1.计算N_k与N_k+1图象之间的之前和之后的运动场

以分层网格形式，例如三角形，如图2中所示的T^b _k，与T^b _k+1，计算N_k与N_k+1图象之间的之前和之后的运动场。

根据运动估计过程期间特定的准则，通过划分一定的网格，例如三角形网格被划分为4个子三角形，获得这些网格。在每一分层级，对每一网格取或不取划分决策。一旦这些划分已经决定，已划分的网格相邻的网格被划分，以便维护一致的网格结构。划分之前的初始网格(分层的顶部)可取任何形式。

在图2的例子中，运动估计器决定划分三角形3和8。这导致三角形2，4，7和9的划分。重复该过程直到预定的分层级。

在三角形网格的情形下，由三角形网格T定义的运动场表示由以下对每一三角形e给出：

$\stackrel{\→}{d}(\stackrel{\→}{p},D)=\underset{n\∈\mathrm{ver}\left(e\right)}{\mathrm{\Σ}}{\mathrm{\Ψ}}_n^e\left(\stackrel{\→}{p}\right){\stackrel{\→}{d}}_n,\∀\stackrel{\→}{p}(x,y)\∈e$

其中

●e指示具有x和y坐标的当前点 的三角形元素T

●{ver(e)}指示位置

的标号为i，j，k的所有三个结点或峰。

●Ψ_l(l＝i，j，k)表示e_i，j，k三角形元素中点

的重心坐标，其中

这种类型模块定义了一种全连续的场。进而，这允许表示精确性的充分控制，这是对于压缩的重要特征。

在网格分层的每一等级，计算结点的运动向量以便使预测误差最小化。可使用各种基于网格的运动估计器，例如专利FR No.9811227，或FR No.99 15568中所述的那些估计器。

重要的是，最终的网格是来自初始网格通过划分的分层过程的结果。这一分层性的使用确实有利于结点与其父结点之间(其被***的弧的边缘)结点运动向量的差分编码。在解码器中根据初始网格，以及网格划分指示器重新计算网格结构。

因而，在过程的结尾，对于由N_k与N_k+1图象组成的图象组的每一组获得2个运动网格，用来重新产生组的所有图象。

2.消隐区域的检测

从这2个网格，检测消隐区域，这是从覆盖或去覆盖对象的N_k+1图象获得的N_k图象中不可预测区域或反之。

在它们由它们的结点向量移动之后，这些区域简单地三角形的覆盖定义。

附图示出基于运动后三角形去覆盖的消隐的检测。

通过对消隐区域中的三角形去激活，编码器能够继续进行运动估计，以便获得偏移较小的位移向量。

然而，严格来说这是编码器策略的一内部特征，并在最后，是两个完全的运动网格T^b _k和T^f _k+1被编码并***到位流。然后解码器根据这2个网格能够找出消隐区域。

这些消隐区域在N_k，与N_k+1图象中定义，并一旦它们被检测到，它们对应的三角形在编码器和解码器中都被标为结果。

然而，编码器必须知道在N_k+1与N_k+1-1图象中哪里找到这些区域。这些图象通过在由施加结点运动向量被编码的图象上投影T^b _k和T^f _k+1网格而简单获得，这些向量被重新标称化，以考虑当前图象与参照图象N_k或N_k+1之间的临时距离。

3.消隐区域编码

对于每一消隐区域，用于可能预测的参照图象在I_Nk、I_N(k+1)以及在l处通过以T^b _k和T^f _k+1网格在还没有网格覆盖之处的运动补偿而获得的图象I^C ₁之中选择。

更精确来说，I_Nk和N_N(k+1)之间的选择简单地取决于曾产生当前消隐区域的T^b _k和T^f _k+1网格。然后，这一网格用来预测图象并提供I^C ₁。I^C ₁与I_Nk或N_N(k+1)之间的选择基于预测误差准则：要保持引起最弱误差的图象。因而，这只不过是在二进制流中每区域***1位，以便对所保持的预测的选择编码。

不取选择的基准图象I_r。

这些区域的编码的其余部分包括两个阶段：

-预测阶段，

-预测误差或在不正确的预测情形下原始纹理的编码阶段。

3.1消隐区域纹理残余预测

可互相排他地使用三种方法。其决策基于最小误差准则。

方式1：

区域中的象素的值Y，U和V就是位于同一参照图象I_r中的象素的值。就是说，₁结果图象。然后对₁与I_l之间的预测误差编码。

方式2：

因而运动估计在消隐区域上I_l(要被编码的图象)与₁(来自方式1预测的结果)之间进行。因而，在网格覆盖之前从上一网格级T_r，r＝k或k+1，所得的网格，作为其结点运动被编码。最后，根据稍后定义的过程编码预测残余误差。

方式3：

不进行预测，并对区域的象素原始值编码。

4.对消隐区域的纹理或预测误差编码。

原始纹理和预测误差线得到相同的编码，其原理如下：

假设初始三角形网格能够从对于被编码的区域预测保持的T_r网格运动定义。获得这一原始网格的途径将在稍后说明。

因而纹理是根据一种选择在每一网格逼近的：

-带有高频的网格是基于称为DCT的离散余弦变换被编码的。

-使用精细的最终单元模型对较平滑的网格编码。

又分层方法将用来降低通过网格对表示编码的成本。

所使用的方法允许与网格规则分层结构相关的编码低成本维护，同时允许网格的非规则分解图象内容的局部适配。

从区域的粗初始网格，网格被再划分为4个三角形子网格，直到给定的等级。

在最后一个等级，如果由2个相邻的三角形产生的四边形对角线的可选的改变可以降低近似误差，则实施该改变。

4.1消隐区域上的纹理网格的初始化

这一网格在所考虑的区域中变换出现之前简单地由最后的T_r等级给出(根据保持的方向从T_k或T_k+1所得的网格)。因而，因为是从运动网格抽取的，故获得自动***到运动网格的纹理网格。

4.2用于在三角形上纹理的表示

两个表示被组合：仿射内插与三角形4 DCT

仿射内插

三角形网格结点包含光度(颜色，误差)信息，并通过拉格朗日修正元素进行对三角形内的点的内插。也称为仿射内插。

由三个结点 l＝i，j，k定义的三角形e_i，j，k的点 的

值由以下方程式提供：

$v\left(\stackrel{\→}{p}\right)={\mathrm{\Σ}}_{l=i,j,k}{\mathrm{\Ψ}}_l^e(x,y)\left({\stackrel{\→}{p}}_l\right)$

Ψ_l(l＝i，j，k)表示该点的重心坐标。

可以是点的Y，U或V光度分量之一，或这些分量的预测误差。

可使用几种方法计算结点值，特别是最小二乘法。

三角形上的离散余弦变换

该方法的原理在于将任何三角形变换为直角等腰三角形基准。该直角等腰三角形对于斜边是对称的，以便提供对称的方阵(图4)。

因而经典的DCT(正方形)施加到这一矩阵。可能证明，被变换的矩阵也是对称的。因而只有其下三角形的系数被量化然后被统计编码(熵编码)。

图4描绘了该过程的各阶段：T三角形的选择，T三角形仿射变换为T’直角等腰三角形。通过仿射变换，三角形象素不再位于规则正交图，且建议对参考三角形内的光度值重新采样。为此，使用类似于图象运动补偿过程的过程(在仿射变换期间)，例如使用双线性内插器。

仿射变换F及其逆F^-1由以下方程式定义：

通过F^-1逆变换获得T’三角形的光度(因而T’的呈对称的M块的)值M(i，j)，以及然后要被编码的图象纹理的Γ内插：

    M(i_Y，j_X)＝I_Г(P_(x，y))＝I_Γ(F^-1(Q_(x，y)))

其中M(i_X，j_Y)系数是在Q(X，Y)点的值，其中变换的P(x，y)为F^-1(Q)

I_Γ指示用来计算在该点的图象值的内插器，潜在的非整数坐标。

Γ纹理的

再生由以下给出：

$\widehat{\mathrm{\Γ}}\left(P_{(x,y)}\right)=I_{\widehat{\mathrm{\Γ}}}\left(Q_{(X,Y)}\right)=I_{\widehat{\mathrm{\Γ}}}(F\left(P_{(x,y)}\right)$

其中I_Γ指示来自M’块值的内插纹理，M的量化版。

这一技术只能用于非零区域三角形。但按定义，这类三角形不需要纹理编码。

与SADCT相反(DCT适用形成)，即使没有量化，这一变换也不能保证在逆变换后最好的再生。

为了减少再生的误差，引入一标度因子α以对于三角形i计算M_i块(尺寸N_i×N_i)：

$N_i=E\left(\mathrm{\α}\sqrt{2A_i}\right)$

其中

●E是过量完全部分，

●A_i是三角形i区域。

实际上，α＝1提供有益的折衷，其对于接近等腰三角形的三角形更有效。在α＜1的情形与量化步骤结合使用，以便压缩信息量。

一旦M_i块对于每一三角形定义，一个经典的DCT变换施加到它们，并根据几个可能的过程例如一致标量量化，或甚至带有变换系数频率的增量量化，来量化这些变换系数。也可使用著名的MPEG或JPEG量化矩阵。

DCT表达式由以下给出：

$F(u,v)=\frac{1}{\sqrt{\mathrm{NM}}}\underset{i=0}{\overset{N-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{M-1}{\mathrm{\Σ}}}\mathrm{\λ}\left(u\right)\mathrm{\λ}\left(v\right)\cos \frac{(2i+1)\mathrm{u\π}}{2N}\cos \frac{(2j+1)\mathrm{v\π}}{2M}f(i,j)$

F(u，v)＝F(v，u)关系出现，因为：

f(i，j)＝f(j，i)    (u，v，i，j＝0，...，N-1)被定义。

结果，足以只计算变换矩阵的下部分的系数。

4.3纹理的整体编码

如上指出，使用通过划分给定等级分层的每一三角形为4个子三角形获得的一致分层网格，并在弧的中点***结点。重复该过程直到达到最大等级。三角形的这一分层结构还以四元树的形式由编码器表示和管理(图5)。注意，只考虑包含在编码区域中的三角形。基本初始网格的构成过程保证了网格分层结构的所有三角形属于编码区域。

使消隐区域网格化的编码过程可概括如下：

1.通过生成规则初始网格化，交错分层网格化在要编码的区域上被定义，并然后重复划分三角形为4个子三角形，并在弧的中点***新的结点。计算结点值以便使由于网格化的逼近误差最小化。

2.对包含使用结点值的象素的三角形使用仿射内插，移动象素值彼此接近。

对于分层结构中的每一三角形，计算逼近误差E，并然后基于2个阈值σ₁和σ₂决定各种表示和编码方法：

1.如果E＜σ₁，则对三角形的仿射内插即足够。

2.如果σ₁＜E＜σ₂，则必须使用三角形最精细的分解以获得良好的逼近，总是使用仿射内插。

3.如果E＞σ₂，则三角形被纹理化，且使用DCT对仿射内插误差编码。

最后，对最细的网格化，测试通过2个相邻的三角形形成的四边形对角线的置换产生的误差的降低。如果获得正的结果，这一置换得到验证。

根据对不同三角形选择的编码方法，按以下方式对各种数据编码。

首先使用父结点(其中当前结点被***的弧的边缘)值预测YUV结点值。因而结点值与预测值之间的差被量化。

最后使用一种算法编码器，对四元树结构(包括三角形的划分和非划分指示器)，对角线置换指示器，YUV的差分结点值及量化DCT系数编码，并***到位流。

5.通过网格化编码的帧的二进制流中编码信息的概述

N_k+1与N_k+1-1之间按网格化方式编码的每一组帧(其中N_k+1与N_k+1-1分别是以MPEG方式编码的先前和后继的帧)在二进制流中整体表示。

在编码的形式中被驱动的数据包括：

帧组集合的标题，其中包括被编码的帧的实际数目。

运动的网格(结点的结构和运动向量)T^b _k和T^f _k+1。

对于每一组图象的预测或原始误差纹理。

6.位流的整体结构

如图8所指出，整***流包括以MPEG方式编码的帧序列，及按网格化编码的帧组。

表示编码序列的位流的整体标题其中包含混合编码的指示。

对应于以网格化方式编码的帧组的位流的部分，以指示其中实际被编码的帧数的标题开始，并可以是零。

分别对应于编码序列的整体标题的各种数据流(位流)，以MPEG编码的图象及以内插网格化方式编码的i个图象的组，如果需要可通过不同的独立的通路发送。特别地，该编码过程允许该序列分层结构的(或可标量化的)解码，即只使用总位速率一部分的解码。

7.解码过程

图9提供了解码原理的示意图。

首先，标题解码允许激活混合解码。

然后，如果是按MPEG-4编码的帧或按网格化编码的帧组，则解码器识别对应于独立实体的位流的每一部分。

MPEG-4帧提供给MPEG-解码模块。而以网格化方式编码的帧组提供给通过网格化解码的模块。

7.1基于网格化的解码

首先对于I_l，N_k+1＜l＜N_k+1图象组的T^b _k和T^f _(k+1)运动网格化解码。

然后根据编码器中相同的过程找出这些图象的消隐区域。

然后，使用I_Nk和I_Nk+1图象及T^b _k和T^f _k+1运动场简单地内插消隐区域之外的象素。

根据与编码器过程相同的过程对每一消隐区域，找出最粗的纹理的网格化(分层结构的顶层)。

因而对与对应的分层网格(三角形划分因子，仿射内插决策或DCT编码，差分结点YUV值和量化的DCT系数)相关的信息解码，并再生这些区域的象素YUV值。

Claims (37)

1.一种图象编码方法，其特征在于它有选择地实施至少两种图像编码方式，每种编码方式根据不同的优化准则优化一个视频序列的至少一个图象的压缩。

2.如权利要求1中所述的编码方法，其中根据属于包括以下的组的技术至少之一，解码器知道表示所述编码方式之一的选择的一条信息：

-在编码和解码等级知道的预定选择；

-表示所述选择并包含在包括至少某些编码图象数据的数据流中的一条信息；

-表示所述选择并包含在与编码图象数据无关的数据流中的一条信息；

-通过解码器以固有的方式确定所述选择。

3.如权利要求1和2任何之一所述的编码方法，其中包括选择用于所述图象的编码方式的步骤，其中至少：

-初始编码实质上优化图象的光度表示

-第二编码实质上优化至少两个图象之间的运动表示。

4.如权利要求3所述的编码方法，其中所述第二编码考虑使用所述初始编码被编码的至少一个先前的图象和/或至少一个后继的图象。

5.如权利要求4所述的编码方法，其中所述第二编码考虑从使用所述初始编码被编码的前面最近的一个图象计算的运动向量场，和/或从使用所述初始编码被编码的后面最近的一个图象计算的运动向量场。

6.如权利要求5所述的编码方法，其中所述运动向量场应用于一网格化。

7.如权利要求5和6任何之一中所述的编码方法，其中所述运动向量场用来确定与使用所述第二编码被编码的一图象相关的推演的运动向量场。

8.如权利要求5到7任何之一中所述的编码方法，其中所述第二编码在I_t1图象和I_t2后图象之间实现运动前估计；及运动补偿步骤，其中在所述运动估计期间获得的且不导致变换的运动向量按k＝m/(t1+t2)，0＜k＜1标量加权，以便内插至少一个Im1图象，m属于[t1，t2]。

9.如权利要求5到7任何之一中所述的编码方法，其中所述第二编码在I_t2图象和I_t1前图象之间实现运动后估计，及运动补偿阶段，其中在所述运动估计期间获得的且不导致变换的运动向量按k’＝1-m/(t1+t2)，0≤k’≤1标量加权，以便内插至少一个Im2图象，m属于[t1，t2]。

10.如权利要求8和9所述的编码方法，其中该方法实现一种后估计和前估计，以便获得估计的Im图象，Im＝aE1+(1-a)E2，其中0≤a≤1。

11.如权利要求3到10任何之一中所述的编码方法，其中所述选择阶段基于N个固定因子子采样的执行，N中的一个图象使用所述初始编码被编码。

12.如权利要求11所述的编码方法，其中N大于2。

13.如权利要求11到12任何之一中所述的编码方法，其中N是可变的。

14.如权利要求3到11任何之一中所述的编码方法，其中所述初始编码实现对图象块的变换及各块的临时预测。

15.如权利要求14所述的编码方法，其中所述初始编码是MPEG-4或H26L编码。

16.如权利要求15所述的编码方法，其中通过所述MPEG-4或H26L编码获得的图象包括类型I(内部)和/或类型P(可预测)图象。

17.如权利要求3到16任何之一中所述的编码方法，其中所述第二编码基于M级分层网格化，M大于或等于1。

18.如权利要求17所述的编码方法，其中所述网格是三角形。

19.如权利要求17和18所述的编码方法，其中该方法包括隐藏(occlusion)管理方法。

20.如权利要求1到19任何之一所述的编码方法，其中该方法产生能够通过分开的传输通路传输的至少两个数据流。

21.如权利要求20所述的编码方法，其中所述数据流属于一组，包括：

-整体标题；

-根据所述初始编码被编码的图象数据；

-根据所述第二编码被编码的图象数据；

22.用于对使用权利要求1到21任何之一所述的编码方法被编码的图象信号进行解码的方法。

23.用于对使用如权利要求1到21任何之一所述编码方法被编码的图象信号进行编码的装置。

24.用于对使用如权利要求1到21任何之一所述编码方法被编码的图象信号进行解码的装置。

25.如权利要求24所述解码装置，其中包括，类似于编码期间所实现的，用于确定至少一部分向量场和/或至少一部分隐藏区域的装置。

26.存储装置，具有至少一个使用如权利要求1到21任何之一所述的编码方法被编码的图象信号。

27.用于对使用任何权利要求1到17所述的编码方法被编码的图象信号进行编码、传输和/或解码的***。

28.如权利要求27中所述的***，其中根据属于包括以下的组的技术至少之一，解码器知道关于所述编码方式之一的选择的一条信息：

-在编码和解码级知道的预定选择；

-表示该选择并包含在包括至少某些编码图象数据的数据流中的一条信息；

-表示该选择并包含在与编码图象数据无关的数据流中的一条信息；

-通过解码器以固有的方式确定所述选择。

29.计算机程序产品，用于对使用任何权利要求1到21所述的编码方法编码的图象信号进行解码。

30.宿主计算机程序的数据介质，用于对使用任何权利要求1到21所述的编码方法编码的图象信号进行编码和/或解码。

31.图象数据信号，其中该信号包括根据按任何权利要求1到21所述的方法编码的数据。

32.如权利要求31所述的信号，其中包括至少一个指示符，规定如任何权利要求1到21所述的方法是否被激活。

33.如权利要求31和32任何之一所述的信号，其中在视频序列和/或每一信号帧的开始，包括规定帧结构的一数据单元。

34.如权利要求31到33任何之一所述的信号，其中使用所述第二编码被编码的序列，以规定根据该第二编码被编码的帧数目的标题开始。

35.如任何权利要求31到34所述的信号，其中包括至少两个数据流，它们能够通过分开的传输通路传输。

36.如权利要求35中所述的信号，其中所述数据流属于一组包括：

-整体标题；

-根据所述初始编码被编码的图象数据；

-根据所述第二编码被编码的图象数据；

37.如任何权利要求1到21所述的编码方法在包括以下的组至少之一的领域中的应用：

-数字TV；

-通过IP网络的实时视频；

-通过网络到可移动站的实时视频；

-图象数据存储。

Images