CN1717056A

CN1717056A - 用于小波视频编码中的高通时间滤波帧的帧内预测

Info

Publication number: CN1717056A
Application number: CN 200510081875
Authority: CN
Inventors: L·切普林斯基; J·卡巴尔; S·甘巴里
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2004-07-02
Filing date: 2005-07-04
Publication date: 2006-01-04

Abstract

用于小波视频编码中的高通时间滤波帧的帧内预测。一种利用包括时间滤波的3－D分解并利用帧内预测/插值对帧序列进行编码的方法，该方法包括：(a)第一阶段的内部预测/插值，在该阶段中可以使用任何相邻的块；(b)针对每个块估计步骤(a)的内部预测/插值，以识别用于帧内预测的块；(c)第二阶段的内部预测/插值，其中不将步骤(b)中识别出的块用于其它块的内部预测/插值。

Description

用于小波视频编码中的高通时间滤波帧的帧内预测

技术领域

本发明涉及对利用3-D(t+2D和2D+t)小波编码的视频序列进行编码和解码。更具体地，提出了一种针对在时间分解期间生成的高通帧的多个部分(多个块)执行帧内预测的改进方法。

背景技术

以下论文是描述3-D子带编码的背景参考资料，即Jens-Rainer Ohm的“Three-Dimensional Subband Coding with Motion Compensation”，以及Choi和Woods的“Motion-Compensation 3-D Subband Coding ofVideo”。简言之，将视频序列中的诸如图片组(GOP)的图像序列经空间小波变形后，通过运动补偿(MC)时域分析分解为时空子带。在另选的方法中，可以将时间分析和空间分析步骤互换。将所得的子带系数进一步编码用于传输。

当由于对帧的特定区域/块的移动估计完全失败和质量不满意而不能执行时间滤波时，就会在运动补偿小波视频编码中出现众所周知的问题。在现有技术中，通过在低通帧的产生中不施加时间滤波，而对于高通帧的产生仍执行运动补偿预测来解决该问题。后者的问题是，在高通帧中所产生的块趋向于具有相对高的能量(高值系数)，这对进一步的压缩步骤具有负面影响。在以前的专利申请(EP Appl.No.03255624.3，在此通过引用并入其内容)中，我们引入了利用帧内预测来改善高通帧的问题块的生成的想法。在那该项发明中，不是根据与当前帧在时间上相邻的帧、而是根据在空间上相邻的帧来预测这些块。可以应用不同的预测模式，在上述专利申请中描述了其中的几个模式。

大多数利用帧内预测的视频编码***(例如MPEG-4部分10/H.264)将这种预测限制为：按块的扫描顺序、利用在先处理的块来执行这种预测(即因果的)。在小波编码的情况下这种限制不一定是必需的。这在上述的申请中对此进行了讨论，并在下面的论文中作了进一步的研究：由Woods和Wu所著的“Directional Spatial I-blocks for MC-EZBC VideoCoder”(ICASSP 2004，2004年5月，先在2003年12月向MPEG提出)。该论文中的新颖的部分在于：使用插值法以及预测来形成高通帧块。图1示出了这种插值的一个示例，其中在当前块的左侧块和右侧块之间进行插值。

对于除了水平和垂直方向之外的预测/插值方向，情况变得更复杂，并且需要使用的块的数量可能会非常大。在图2中示出了这一点，而且示出了在这种情况下，由于候选块的右侧的一些块的不可用性，使得预测该块的一部分(浅灰色)而不是对其进行插值。

如在该论文中所讨论的，在预测和插值中对非因果(non-casual)方向的使用要求认真考虑块的可用性，以避免两个块彼此根据对方被预测的情况，并确保编码和解码之间的一致性。在考虑图像的扫描方向(通常从左向右和从上向下)时，对因果方向的使用是指使用作为扫描结果已知的信息。在论文中所提出的解决方案是使用二次扫描(two-sweep)过程：

1.在第一次扫描中，仅将DEFAULT模式非因果块(即，被认为对其进行的运动补偿已经成功的块)用作预测器。将根据帧内预测产生的MSE与运动补偿的MSE进行比较，而将帧内预测导致较低MSE的块标记为经内部预测的。

2.在第二次扫描中，将在第一步骤中未被标记为经内部预测的所有非因果块用于预测器。这表示可以将更多的相邻块用于经内部预测的块的预测/插值，这将降低高通块的MSE。

上述描述的技术具有很多问题。其中之一是当利用经内部预测的块来反复执行帧内预测时的量化误差的传播。另一问题是由Woods和Wu所采用的二次扫描过程的次最优性。在该算法的第一次扫描中，即使不会内部预测其中一部分时，也要阻止将所有的非DEFAULT块用作预测器。

发明内容

在所附权利要求中描述了本发明的多个方面。

上述的第一个问题通过应用“块限制”来解决：我们不允许将经帧内预测的块再次用于预测。在Woods和Wu中，在第一扫描中，I块的候选对于插值/预测是不可用的，这些块包括P-BLOCK和REVERSE块。他们仅对非因果块施加该限制，这在某种程度不能阻止误差传播。

我们还设计了依赖于“块限制”的改进的三次通过模式选择算法。在适当的位置利用该限制，在模式选择的第一次通过中可以允许较多的块，在第二次通过中仅部分地限制它们的数量。然后以与上述的第二次通过相同的方式使用第三次通过，以确保编码器与解码器的一致性。

附图说明

将参照以下附图说明本发明的实施例：

图1表示在水平方向上的帧内插值的简图；

图2表示在对角线方向上的帧内插值的简图；

图3表示在实施例方法中的第三级的简图；

图4表示在对角线上的经修改的插值简图；

图5表示整块预测的简图；

图6表示整块插值的简图；

图7表示编码***的框图。

具体实施方式

本发明的技术基于诸如在上述现有文献中所述的现有技术，在此通过引用将其并入。

在根据本发明第一实施例的方法中(“块限制”)，在处理当前块的时候，仅尝试帧内预测/插值模式，这些模式不包括将经内部预测的块用作预测器。该限制可用于仅包括有因果方向的预测(不需多通处理)，并可用于当非因果方向处在使用中的时候。

根据本发明第二实施例的方法也是使用“块限制”的三次通过模式选择算法。

该算法可概述为如下：

1.在第一模式选择通过中，关闭“块限制”，我们在对预测器块本身是否经内部预测不作任何限制的情况下，识别所有可能受益于内部预测的块。这意思是此处识别的一些块将有可能不被正确解码(即“两个块被用于相互预测”)。我们在下面将该组问题称为“相互预测”。

2.在第二次通过中，开启“块限制”，对在前面的通过中所识别的候选者进行重新估计。对“块限制”的使用确保了所得的经内部预测的块的集合是可用的(即不会继续存在类似在上述第1点中提到的问题)。这相似于利用粗区分的Woods和Wu中的第一次扫描：在步骤1中仅对被识别为潜在的经帧内预测的块施加所述限制，因此允许使用更多数量的块。

3.在第三次通过中，重新计算与帧内预测的块相对应的高通帧部分，这次使用从第二次通过中产生的最终块模式。该通过对确保编码器和解码器之间的一致是必需的。

在步骤1中，例如利用诸如现有技术(例如上述现有技术)中的技术来识别用于内部预测的候选块。然后可以利用所有相邻的块对这些候选块进行内部预测/插值。然后例如利用MSE或MAD(均方误差或绝对平均差)估计经帧内预测的块，以确定该误差是否小于使用运动补偿的情况。如果帧内预测优于运动补偿，则然后在步骤1中将该块识别为可能受益于帧内预测的块。

第三次通过是优选的，因为，尽管解码器具有有关以下内部的全部信息，即确切地哪些块是经过帧内预测的并由此作为预测器是不可用的，但是第二次通过编码器有时必须将一个块假定为不可用，即使该块在后来是可用的。在图3中给出了一示例。

在该示例中，中间的块在水平方向上使用帧内插值/预测。在编码器模式选择的第二次通过中，在右侧的块还没有被处理，并根据来自第一次通过的MSE比较，将该右侧的块标记为潜在经内部预测，从而不能用于当前块的预测/插值。尽管可能最后发现由于在第二次通过中使用的块限制而不是经内部预测的。因此，在解码器中形成该块的高通系数的过程不同于在编码器中使用的过程，这将导致重构帧的偏差。

下面描述对上述实施例进一步的具体实现和变化。适当地将组合这些变化和具体实施例。

在一些情况中可能不希望使用插值。一个原因是在前讨论过的附加的计算机和存储器开销。还有可能是特殊帧或帧组的内容可能有助于预测。为了解决该问题，我们提出基于每帧或每个序列在插值与预测模式之间进行切换。这可以通过以适当的级别(例如帧、图片组、序列)引入信令机制来实现，以通知解码器哪种变化正在使用中。

还可能的情况是，对于特殊帧或者甚至块，与预测相比插值可能不改善性能，尤其是当在许可方向上的附加限制被考虑的时候。为了解决后一问题，我们提出基于每个块进行切换，而不使用明确的信令。在第一解决方案中，如果插值可用于整个块，则我们仅使用插值(见图2，是一个不可行的示例)，否则我们使用针对整个块的预测。另一解决方案是改进模式判定过程，以除典型使用的绝对平均误差或均方误差之外，利用对预测误差均匀性(诸如最大绝对差分)的额外测量。因为这样避免了在块内引入明显边缘，所以尤其有助于视觉质量。

再一解决方案，其包括隐含的信令，该方案为每个方向引入三种单独的块模式：一种用于插值，两种用于预测。基于误差测量的最小值，以与内部/中间模式判定相同的方式来在这三种模式中进行选择。

对于除水平和垂直之外的方向，即使可以对块的剩余部分进行插值，但是我们也几乎必须要对角线应用预测。为了解决这个问题，我们建议在对角线上遗漏像素的位置处利用可用像素的组合。这在图4中示出，其中在像素x的位置处使用了像素a和b的平均值。

可将与上述的第二次通过相似的想法应用于非插值的情况，其中该想法可以形成单通操作的基础。在该情况中，不存在相互预测的问题，但是我们观察到将先前已经过内部预测的块用作进一步内部预测的基础会导致过量的误差传播，从而会导致严重的性能下降。更准确地，可以在因果方向预测的情况中应用“块限制”，以阻止帧内的误差传播。

在仅进行因果预测的情况中，如图5所示，将整个块的像素用作预测器，通常产生比仅利用单个线要更好的性能。

对该现象的一种可能的解释是，当同一像素不用于预测多个像素时，量化误差传播的影响就不太显著。也可以将整个块预测和插值方法相组合，其中两个相邻的块可以用作用于预测内部块的候选者。图6中示出了这种预测的一示例，其中第一半预测是根据上部块的下半部分进行，第二半预测是根据下部块的上半部分进行。

根据所观察的整个块预测的良好性能可以得出的另一结论是，将整个块用作预测器应该倾向于将帧内预测限制到结构更加均匀的区域。因此，我们提出将“基于线”的预测/插值的模式选择标准修改为包括测量被执行了帧内预测的块的周围相关区域的平整度。这可以通过计算经预测的块的区域中的像素值的方差来实现，该块将被用于整块预测。

所述模式选择标准可适于考虑时间分解级别，在该时间分解级别上形成所研究的高通帧。我们已经做了一些实验，其中我们对基于时间级别的帧间误差预测与帧内预测进行的比较中引入了偏差(bias)。所获得的结果表明当在分解级别越细处帧内预测越有利时，在性能方面稍有改善。

探讨对于时间分解级别的依从性的另一方法是通过调整块模式判定的熵编码。已经发现，在较低的分解级别处内部预测模式出现得更加频繁，因此，应该可能通过在设计长度可变的码时的适当变化来提高编码效率，即以更细的时间分解级别向内部预测模式分配更短的码。例如，如果利用总数更大的块模式，则该方法可能有效。

在内部预测的块中，如果使用单个像素来预测几个块，则会增加量化误差的影响。因此，对于将用作预测器的像素的选择优选地考虑根据单个预测器像素预测的像素的数量。

本发明可利用通过适当修改而与现有技术的***相似的***来实现。例如，除了修改MCTF(运动补偿时间滤波)模块用于执行上述实施例中的处理之外，编码***的基本部件如图7中所示。

在本说明书中，使用术语“帧”来描述图像单元，包括滤波之后，但是该术语也用于其它相似术语，诸如图像、场、图片、或图像的子单元或区域、帧等。在适当的时候，可以将术语多个像素和多个块或多组像素互换地使用。在本说明书中，除从上下文中可明显看出的情况之外，图像一词的意思是整个图像或图像的区域。同样，图像的区域也可以表示整个图像。图像包括帧或场，并涉及静止图像，或诸如电影或视频中的系列图像中的图像，或在相关的图像组中的图像。

图像可以是灰度级或彩色图像，或者是另一类型的多谱线图像(例如IR、UV或其它电磁图像)，或者是声学图像等。

除了根据上下文可明确的或如本领域的普通技术人员所理解的以外，帧内预测可以表示插值，反之亦然，并且预测/插值意思是预测或插值或两者，所以本发明的实施例可以仅包括预测或仅包括插值，或包括预测和插值的组合(用于内部编码)，并且包括运动补偿/帧内编码，并且块可以表示来自块的一个或多个像素。

例如可以利用合适的软件和/或硬件改进，在计算机***中实现本发明。例如，本发明可以利用计算机或类似物来实现，该计算机或类似物具有：诸如处理器或控制装置的控制或处理装置；包括图像存储装置的数据存储装置，诸如存储器、磁存储器、CD、DVD等；诸如显示器或监视器或打印机的数据输出装置；诸如键盘的数据输入装置；以及诸如扫描仪的图像输入装置；或者这些部件和额外部件的任何组合。可以以软件和/或硬件的形式，或在专用装置中或例如芯片的专用模块中提供本发明的多个方面。例如可以通过因特网从其它部件远程提供根据本发明实施例的装置中的***部件。如图7中所示的编码器和对应的解码器例如具有用于执行反向解码操作的对应部件。

可以使用其它类型的3-D分解和变形。例如，可以将本发明应用于其中首先执行空间滤波然后执行时间滤波的分解方案中。

Claims

1、一种利用包括时间滤波的3-D分解并利用帧内预测/插值对帧序列进行编码的方法，该方法包括：

(a)第一阶段的内部预测/插值，在该阶段中可以使用任何相邻的块；

(b)对每个块估计步骤(a)的内部预测/插值，以识别用于帧内预测的块；

(c)第二阶段的内部预测/插值，其不将步骤(b)中识别出的块用于其它块的内部预测/插值。

2、根据权利要求1所述的方法，其中在步骤(c)中，除在步骤(b)中识别出的块之外，任何相邻的块都可以用于内部预测/插值。

3、根据权利要求1或权利要求2所述的方法，还包括：

(d)估计步骤(c)中的所述内部预测/插值，以识别用于内部预测/插值的块；以及

(e)对在步骤(d)中所识别的块进行第三阶段的内部预测/插值。

4、一种利用包括时间滤波的3-D分解并利用帧内预测/插值对帧序列进行编码的方法，该方法包括：识别用于帧内预测/插值的块，其中用于帧内预测/插值的块不用于其它块的内部预测/插值。

5、根据权利要求4所述的方法，其中仅利用扫描顺序中的前面的块来执行内部预测/插值，并且用于根据所述在前块的帧内预测/插值的块不用于其它块的内部预测/插值。

6、一种利用包括时间滤波的3-D分解并利用帧内预测和插值对帧序列进行编码的方法，该方法包括根据预定标准在多个内部预测/插值模式之间进行切换。

7、根据权利要求6所述的方法，包括基于例如块、帧、图片组和序列进行切换。

8、根据权利要求7所述的方法，包括：只有当将帧内插值用于整个块时，才对该块使用帧内插值。

9、根据权利要求6所述的方法，其中所述多个模式包括基于线的预测/插值和基于块的预测/插值。

10、根据权利要求9所述的方法，其中基于平整度的测量来进行切换。

11、根据权利要求7所述的方法，包括基于误差测量最小值以块为基础在插值与两种对应预测之间进行切换。

12、一种利用包括时间滤波的3-D分解并利用帧内预测/插值对帧序列进行编码的方法，该方法包括：在帧间预测/插值与帧内预测/插值之间进行切换，其中所述切换依从于时间分解级别。

13、根据权利要求11所述的方法，包括在基于时间分解级别进行预测误差比较中使用偏差。

14、一种利用包括时间滤波的3-D分解并利用帧内预测/插值对帧序列进行编码的方法，所述方法包括：根据用于预测/插值的块使用两个或更多个行。

15、根据权利要求13所述的方法，包括使用整个块来进行预测。

16、根据权利要求14所述的方法，包括使用半块来进行预测/插值。

17、一种利用包括时间滤波的3-D分解并利用帧内预测/插值对帧序列进行编码的方法，所述方法包括由基于一个或多个相邻像素的值来替换不可用于预测/插值的像素。

18、根据权利要求16所述的方法，包括使用两个或更多个相邻像素的组合。

19、根据权利要求17所述的方法，包括：利用与位于块的对角线端处的像素垂直相邻和水平相邻并且与所述块相邻的像素的平均值来替换所述像素。

20、一种利用包括时间滤波的3-D分解并利用帧内预测/插值对帧序列进行编码的方法，所述方法包括：通过使用对预测误差的两次或更多次测量，以确定是否利用运动补偿(帧间)或帧内预测/插值，或确定是否利用帧内预测或帧内插值。

21、一种利用包括时间滤波的3-D分解并利用帧内预测/插值对帧序列进行编码的方法，其中所使用的熵编码的类型依从于时间分解级别。

22、一种利用包括时间滤波的3-D分解并利用帧内预测/插值对帧序列进行编码的方法，其中所述对将用作预测器的像素的选择考虑了根据预测器像素所预测的像素的数量。

23、一种对利用前述任一项权利要求的方法而编码的帧进行解码的方法。

24、一种对利用根据权利要求1-23中的任一项所述的方法而编码的数据的使用，包括例如包括发送和接收。

25、一种用于执行根据权利要求1-23中的任一项所述的方法的编码和/或解码装置。

26、一种用于执行根据权利要求1-23的任一项所述的方法的计算机程序、***或计算机可读存储介质。