CN101019436B - 视频图像序列的编码方法和装置 - Google Patents

Abstract

本发明涉及一种视频图像序列的编码方法和装置，这由离散的子波分解的运动补偿的时间滤波(110)实现，离散子波分解包括把视频图像序列分成两组图像和从至少由被称作源组图像组之一的像素组成的一个图像开始的叫作目的组的另一组图像的一个图像的代表性的一个图像的确定(112，113，114，115)，其特征在于有代表性的图像包括由通过至少源组的一个图像的过采样(110，111)取得的像素和子像素出发确定的一些像素和子像素。本发明还涉及译码方法和相关的译码器。

Description

视频图像序列的编码方法和装置

本发明涉及由离散子波分解运动补偿的时间滤波实现的视频图像的编码和解码(译码)的方法和装置。

更确切地说，本发明属于运用一种运动补偿和一些通过离散地变换成子波的时间变换的数字图像序列的编码范围。

目前，为了给视频图像序列编码而使用的大部分编码器产生一个唯一的数据流，对应于被编码的视频图像序列的完整性。当一个客户希望开发一个被编码的视频图像序列时，他应该收到和处理被编码的视频图像序列的整体。

然而，在电信网络，例如因特网里，客户具有不同的特点。这些特点是例如在电信网络中被分配给客户的带宽和/或它们的电信终端的处理容量。另一方面，在某些情况下，客户们希望在第一时间里使视频图像序列在一个弱的分辨率和(或)质量下快速显象，显象的质量这在以后是在一种最理想的质量和分辨率下显象。

为了暂时应付这些问题，出现了称为可分级的视频图像序列的编码算法，也就是说具有时空可变的质量和(或)分辨率的，在这些算法中，数据流按照好几层被编码，这些层的每一层都被嵌入到上级层里。例如包括具有一个更低的质量和(或)分辨率的被编码的视频图像序列的数据流的一部分，被送到特性很有限的客户那里，包括在质量和(或)分辨率上一些补充数据的数据流的另一部分被唯一地送到特性很强的客户那里，而这没有要求以不同的方式给视频图像序列编码。

新近出现了用离散的子波分解(英文为“ Discrete WeveletTransform”ou DWT)运动补偿的时间滤波的算法。这些算法首先用视频图像序列的那些图像之间的子波进行时间变换，然后在空间上分解那些合成的时间分波段。更确切地说，视频图像序列被分解成两组图像：偶数图像和奇数图像，当用子波进行时间变换时，在每一个偶数图像和奇数图像之间或那些最接近被使用的奇数图像之间一个运动受到重视。那些偶数图像和奇数图像反复地彼此互相运动补偿以便取得一些时间分波段。可以重复进行创建图像组和运动补偿过程，以便产生不同级别的子波变换。借助于子波分析滤波器那些时间图像随后被空间地滤波。

分解结束后得到一组空间-时间分波段。运动场和空间-时间分波段最终按层被编码和传递，这些层对应于目标的分辨率水平。这些算法中的某一些进行时间滤波是根据1997年W.Sweldens，Sium J.Anal的出版物中推荐的技术，(在第29卷，第二期，第511-546页中，以英语“Lifting”(面部去皱纹手术)而著名的。)

在这些算法中间，这曾在题目为“3D Subband Video codingUsing Barbell Lifting；MSRA Asia；Contribution S05 au CFPMPEG-21 SVC”的出版物里被推荐用奇数图像的像素当场显示偶数图像的像素，通过重新使用在从偶数图像出发的奇数图像的期望值时使用的奇数图像的像素的权重，以便利用这些权重进行加权后的显示。与一个权重W一起的期望值作出贡献的一个偶数图像的一点P(x，y)对一个奇数图像的一点Q’(x’，y’)将与权重W的加权后点Q’(x’，y’)的贡献一起被显示。

这种解决办法是不能令人满意的。事实上，许多问题都没有用这种算法解决。在那些偶数图像里存在一些没有被显示的像素。这种像素的未被显示被称作“孔”，它使不完全反转显象的运动场显示，并在客户的译码器上图像重建的时候产生一些赝象。还有，对于通过一个偶数图像的像素，多样性显示的某些像素来说，这种显示不是标准化的。这种标准化的缺失也产生一些赝象，例如一些超前和(或)落后的回波，当在客户的译码器上重建图像时。

本发明的目的在于通过提出视频图像序列的编码和译码的一种方法和装置解决现有技术的缺陷。此方法和此装置是通过用离散的子波分解运动地补偿时间滤波，在这当中，在译码器上重建的图像已经没有了技术状况的赝象。

为此目的，根据一个第一方面，本发明推荐通过用离散的子波分解运动地补偿时间滤波对一个视频图像序列进行编码的方法，一种离散的子波分解的方法包括把视频图像序列分成两组图像的步骤，至少一个确定步骤，此步骤从至少由称作源组的图像组之一的像素组成的一个图像出发，确定称作目的组的另一图像组的一个图像的一个具有代表性的图像。其特征在于具有代表性的图像包括一些像素和一些子像素，它们是从源组的至少一个图像的通过过采样获得的像素和子像素出发确定的。

相应地，本发明涉及一个视频图像序列编码装置，此装置利用了离散的子波分解运动地补偿时间滤波，此装置包括一些离散的子波分解的设备，它们包括一些把视频图像序列分成两个图像组的设备，一些人称作源组的图像组之一的像素组成的至少一个图像出发确定称作目的组的图像组之一的像素组成的至少一个图像出发，确定称作目的组的另一个图像组的一个图像的具有代表性的图像的设备，其特征在于编码装置包括为了形成具有代表性图像的一些设备，此具有代表性图像包括一些从通过源组的至少一个图像的过采样设备取得的像素和子像素出发所决定的像素和子像素。

因此，可能进行视频图像序列的编码，通过用离散的子波分解运动补偿的时间滤波，它可以对一个子像素进行运动评估，并能因此避免信息损失和由于分辨率的变化而引起的一种产生准光谱现象，如果运动是收缩的或是膨胀的。

根据本发明的另一方面，源组的那些图像是通过子波分解至少一次合成被过采样的。

因此，当编码在一个空间的亚分辨率下进行时，子波合成就特别与过采样相适应，这种合成是子波分解的倒置。

根据本发明的另一方面，在源组的图像和为了确定图像使用的目的组图像的每一个图像之间确定一个运动场，并且从被确定的运动场出发，把为了预言图像使用的源组的每一个图像的至少一个像素和(或)子像素与目的组的图像的具有代表性的图像的每一个像素和每一个子像素相关联。

因此，运动场是完全可能反转显象的，没有可能创造出一些赝象的任何与技术状况的孔相关的问题，当视频图像序列译码时。

根据本发明的另一方面，目的组图像的具有代表性的图像的每个像素和每个子像素的数值的取得是通过把每个像素和子像素的数值与目的组的图像的具有代表性的图像的上述像素和子像素关联求和，并通过把这个和数除以与目的组的图像的具有代表性的图像的上述像素或上述子像素关联的像素和子像素数目。

因此，那些赝象(例如超前和(或)落后的回波)被大大地减少，当视频图像序列择码时。

根据本发明的另一方面，目的组图像的具有代表性的图像被一个低通滤波器滤波。

因此，与收缩的运动相联系的问题被减少了。

根据本发明的另一方面，目的组图像的具有代表性的图像通过至少一次离散的子波分解被欠采样，为了取得一个与目的图像组的图像有同样分辨率的欠采样图像，目的图像组的图像是具有代表性的。

本发明还涉及通过用离散的子波分解运动补偿的时间滤波视频图像序列的译码方法，离散的子波分解包括把视频图像序列分成两个图像组的一个步骤，至少一个确定步骤，此步骤从被称作源组的图像组之一的像素组成的，至少一个图像出发，确定被称作目的组的另一组图像的一个图像的一个具有代表性图像。其特征在于此具有代表性的图像包括从用源组的至少一个图像的过采样取得的像素和子像素出发所确定的一些像素和子像素。

相应地，本发明涉及一个通过用离散的子波分解运动补偿的时间滤波视频图像序列的译码装置，此装置包括一些离散的子波分解的设备，它们包括一些把视频图像序列分成两个图像组的设备，一些确定设备，这些确定设备从被称作源组的图像组之一的像素组成的至少一个图像出发，确定被称作目的组的另一图像组的一个图像的一个具有代表性的图像，其特征在于译码装置包括一些为了形成具有代表性的图像的设备。此图像包括从用源组的至少一个图像的过采样设备，取得的一些像素和子像素出发确定的一些像素和一些子像素。

本发明还涉及一种信号，它包括用离散的子波分解运动补偿的时间滤波编码的一个视频图像序列，该信号包括一些通过把视频图像序列分成两个图像组和通过从被称作源组的图像组之一的像素组成的至少一个图像出发，确定被称作目的组的另一个图像组的一个图像的一个具有代表性的图像而取得的高频和低频图像，其特征在于这些高频和低频图像是从一些像素和子像素出发而取得的，这些像素和子像素是以通过源组的至少一个图像的过采样取得的像素和子像素出发被确定的。

本发明还涉及一种信号的传送方法，该信号包括用离散的子波分解运动补偿的时间滤波编码的一个视频图像序列，其特征在于，此种信号包括一些通过把视频图像序列分成两个图像组和从被称作源组的图像组之一的像素组成的至少一个图像出发确定一个被称作目的组的另一图像组的一个图像的一个具有代表性的图像而取得的高频和低频图像，在该信号中，那些高频和低频图像是从一些像素和子像素出发取得的，这些像素和子像素是从用源组的至少一个图像的过采样取得的像素和子像素出发而确定的。

本发明还涉及一种信号的存储方法，该信号包括一个用离散的子波分解运动补偿的时间滤波编码的视频图像序列，其特征在于，该信号包括一些高频和低频图像，它们是通过把视频图像序列分成两个图像组和从被称作源组的图像组之一的像素组成的至少一个图像出发确定一个被称作目的组的另一图像组的一个图像的一个具有代表性的图像而取得的。而在这个信号中，那些高频和低频图像是从一些像素和子像素出发而取得的，这些像素和子像素是从源组的至少一个图像的过采样取得的像素和子像素出发而确定的。

此存储方法、译码装置和信号的优点与编码方法和装置的优点是同样的，这些优点就不再进行说明。该信号包括在一个存储设备上传送和(或)存储的视频图像序列。

本发明还涉及在一个信息介质上存储的计算机程序，上述程序包括一些指令，这些指令执行以前描述过的那些方法，当它们被一个信息***装载和执行时。

上述提及的本发明的这些特点以及其它特点将更清楚地出现在对下面的一个实施例子描述的阅读中，上述的描述是与那些附图相关而写的。在这些附图中：

-图1表示具有运动补偿的时间滤波的一个视频编码器的方框图；

-图2表示当Haar滤波器被使用在子波分解里时，图1的视频编码器的运动补偿的时间滤波的方框图；

-图3表示能够执行符合作为参考在图4和图8上所描述的算法的编码和译码算法的一个信息的和(或)电信的装置的方框图；

-图4表示从一个软件出发当运动补偿的时间滤波被执行时，由一个处理器执行的编码算法，在这当中，一些Haar滤波器被用在子波分解中；

-图5表示，根据本发明的具有运动补偿的时间滤波的一个视频译码器的方框图；

-图6表示当Haar滤波器被使用在子波分解中时，图5的视频译码器的反向运动补偿的时间滤波方框图；

-图7表示当从一个软件出发反向运动补偿的时间滤波被执行时，由一个处理器执行的译码算法，在这软件中，一些Haar滤波器被使用在子波分解当中。

图1表示具有运动补偿的时间滤波的一个视频编码器的方框图。

具有运动补偿的时间滤波的视频编码器(10)能够把一个视频图像序列(15)编成一个可分级的数据流(18)。一个可分级的数据流是这样一个流量，在它里面，那些数据被以下列方式安排的：它能够传递描述图像分辨率和(或)质量的信息，这种描述根据接收那些数据的应用类型是可变化的。包括在这个可分级的数据流中的这些数据被编码，以便保证无论在质量上，还是在分辨率上以分级的方式或用英语术语“Scalable”(可分级的)传递视频图像序列，而不需要进行视频图像序列的各种不同编码。这可能只有一部分可分级的数据流(18)存储在数据载体上和(或)朝一个电信终端传递，当电信的网络流量不大时和(或)当电信终端不需要高质量和(或)高分辨率时。这也可能存储在一个数据载体上和(或)把可分级的数据流(18)全部朝着一个电信终端传递，当电信网络的流量很大时，和当电信终端要求高质量和(或)高分辨率时，这出自同一个可分级的数据流(18)。

根据本发明，具有运动补偿的时间滤波的视频编码器(10)包括一个运动补偿的时间滤波模块(100)，此模块(100)把N个图像的一组变成两个图像组，例如一组(N+1)/2个低频图像和一组N/2个高频图像，并从通过具有运动补偿的时间滤波(10)的视频编码器的运动估计模块(11)而进行的一个运动估计出发变换这些图像。运动估计模块(11)在每个被标记为x₂[m，n]的偶数图像和被标记为x₁[m，n]的前一个奇数图像之间进行运动估计，甚至可能跟图像序列的该偶数图像之后的奇数图像一起进行运动估计。运动补偿的时间滤波模块(100)运动补偿偶数图像x₂[m，n]，以便时间滤波是最可能有效的。实际上，一个图像的预期值和这个图像之间的差别越小，它将可能更有效的被压缩，也就是说，在流量和图像畸变之间有个良好折衷，或者以等效的方式表述压缩率与重建质量有个良好比例。

对于每一对偶数和奇数图像来说，运动估计模块(11)计算例如一个运动场，并以非限制性的方式，通过从一个奇数图像朝着一个偶数图像建立整体联系。这项技术以英语术语“信息决匹配”被认知。当然，其它的技术能够被使用例如用点阵结构进行运动估计技术。因此，偶数源图像的某些像素跟奇数图像的一些像素就建立起一种联系。在用信息块估计的特殊情况下，信息块的运动的值可能受到影响，在奇数图像的信息块的每个像素和每个子像素上。以不同的说法，信息块的加权的运动矢量以及邻近的信息块的加权的运动矢量都受影响，根据以OBMC(Overlapped Block Motion Compensation)(重叠的信息块运动补偿)命名的著名技术在信息块的每个像素上。

运动补偿时间滤波模导体(100)进行图像的离散子波分解，为了把视频图像序列分解成多个时间分波段分布在一个或多个分辨率水平上。只要所希望的分解水平没达到，离散的子波分解就被自动循环地实施在时间分波段的低频分波段上。具有运动补偿时间滤波的视频编码器(10)的判定模块(12)确定所希望的分解水平达到与否。

通过运动补偿时间滤波模块(100)取得的那些各种不同的频率分波段被转移到一个可分级的数据流(13)的生成模块上。运动估计模块(11)转移那些运动估计到一个可分级的数据流的生成模块(13)上，它从那些各种不同的频率分波段和运动估计出发，组成一个可分级的数据流(18)。

图2表示图1的视频编码器的运动补偿时间滤波模块的方框图，当一些Haar滤波器被使用在子波分解中时，运动补偿时间滤波模块(100)根据术语“Lifting”(面部去皱纹手术)而知名的技术进行一种时间滤波。这种技术能进行一种简单的，灵活并且完全可换向的滤波，相当于一种子波滤波。

源偶数图像x₂[m，n]被合成模块(110)过采样，通过根据本发明进行一种离散子波变换合成或SDWT。实际上，通过把离散子波变换合成使用到内插位置上，预期的差别就被大大地减小了。主要是如果图像x₂[m，n]是通过离散的子波分解取得的。

对于运动补偿时间滤波模块(100)的部分来说，源图像是由(110至116)模块构成的偶数图像x₂[m，n]。

被过采样的偶数图像x₂[m，n]是新的一次被内插模块(111)过采样的。内插模块(111)进行内插，以便取得一个例如具有四分之一像素的解析图像。内插是例如一个双线性内插，在这当中，距离正在处理中的像素最近的那些像素是由一些系数加权的，这些系数的总和等于1，并且这些系数相对于正在处理的像素的距离有一个线性的递减。作为变型，内插是一个双立方的内插或一个用基本正弦的内插。因此，标记成x₂[m，n]的图像被合成模块(110)和内插模块(111)变换成一个x’₂[m’，n’]图像，具有例如四分之一像素的分辨率。

运动补偿时间滤波模块(100)也包括初始运动的连接模块(121)。这个初始运动的连接模块(121)形成一个图像x’₁[m”，n”]，它包括至少比目的图像x₁[m，n]多四倍的像素。图像x’₁[m”，n”]是通过x₁[m，n]的内插或通过任何其它方法形成的，并把例如由包括这些像素和子像素的初始运动的连接模块(121)估计的信息块的运动矢量，目的图像对于运动补偿时间滤波模块(100)这部分来说是由(110到116)模块组成的，即奇数图像x₁[m，n]。

这里我们用图像x’₂[m’，n’]的像素表示图像x’₂[m’，n’]的一个像素，这与图像x₂[m，n]的一个像素有同样的位置。我们用图像x’₂[m’，n’]的子像素表示图像x’₂[m’，n’]的一个像素，它是由DWT(离散子波变换)合成和(或)一个内插创建的。我们用图像x’₁[m”，n”]的像素表示图像x’₁[m”，n”]的一个像素，它与图像x₁[m，n]的一个像素有同样的位置。我们用图像x’₁[m”，n”]的子像素表示图像x’₁[m”，n”]的一个子像素，它是通过DWT合成和(或)一个内插创建的。

运动补偿时间滤波模块(100)包括一个运动场致密化模块(112)。这个运动场致密化模块(112)从通过初始运动的连接模块(121)建立的连接出发，把源图像x’₂[m’，n’]的至少一个像素连接到目的图像x’₁[m”，n”]的每个像素和子像素。

当所有的连接都被进行时，累加模块(113)创建一个累加图像Xa’[m”，n”]，它们大小就是图像x’₁[m”，n”]的大小。累加图像Xa’[m”，n”]的每个像素和子像素的值等于源图像x’₂[m’，n’]的像素和子像素的值的总和。这些像素和子像素连接着在目的图像x’₁[m”，n”]里对应的像素或子像素，这个总和被连接在对应于图像x’₁[m”，n”]里的像素或子像素的源图像x’₂[m’，n’]的像素和子像素的数目标准化或更确切地说被除。这种除法使得能避免一些赝象，例如一些超前和(或)置后回波效应出现，当图像序列译码时。

在本发明的一种实施变型里，标记成W_connex的一个权重被赋予每个关联上。对图像Xa’[m’，n’]的每个像素或子像素来说显示的值将根据下列公式计算：

$\mathrm{Maj}=(\underset{\mathrm{associations}}{\mathrm{\Σ}}{W}_{\mathrm{connex}}*\mathrm{Valsrc})/W_{\mathrm{connex}}$

在此算式中，Maj是图像xa’[m”，n”]的一个像素或子像素的值，而Valsrc是连接在目的图像x’₁[m”，n”]的像素或子像素的源图像x₂[m，n]的像素的值。

图像Xa’[m”，n”]然后被一个标记为(114)的低通滤波器滤波。这个低通滤波器(114)有取消图像xa’[m”，n”]的某些高频成份的作用以便避免任何与一个谱的折迭相联系的赝象当由模块(115)进行的图像欠采样时。

通过在图像Xa’[m”，n”]的像素和子像素整体上进行低通滤波，图像Xa’[m”，n”]的某些细节被保存下来。

被滤波的图像Xa’[m”，n”]然后被模块(115)欠采样。模块(115)包括一个第一欠采样器和一个离散子波分解的模块，这些对图像xa’[m”，n”]进媾行欠采样，以便这个图像与图像x₁[m，n]有同样的分辨率。被欠采样的图像xa’[m”，n”]然后用减法器(116)从图像x₁[m，n]中减去，以便形成一个标记为H[m，n]的图像。此图像包括一些高频分量。图像H[m，n]然后被转移到可分级数据流生成模块(13)和合成模块(130)上。

源图像对于运动补偿时间滤波模块(100)的部分来说是由(130)至(136)模块构成的，即图像H[m，n]。

源图H[m，n]是根据本发明通过进行离散子波变换合成或SDWT被合成模块(130)过采样的。

被过采样的源图像H[m，n]是被内插模块(131)再一次过采样的，以便取得一个源图像H’[m’，n’]。内插模块(131)进行内插以便取得一个分辨率图像，例如具有四分之一像素的。内插是例如一个跟用内插模块(111)进行的那个一样的内插。

运动补偿时间滤波模块(100)也包括一个运动场致密化模块(132)。

运动场致密化模块(132)把初始连接在由初始运动的连接模块产生的图像x’₁[m”，n”]和x’₂[m’，n’]之间倒置，为了把它们贴在源图像H’[m’，n’]和目的图像x’₂[m”，n”]之间。目的图像对于运动补偿时间滤波模块(100)的部分来说，是由(130)到(136)模块构成的，即图像x₂[m，n]或x’₂[m”，n”]。

运动场致密化模块(132)把至少源图像H’[m’，n’]的一个像素与目的图像x’₂[m”，n”]的每个像素和子像素相关联，从通过初始运动的连接模块(121)建立的连接出发。

这里应该注意目的图像x’₂[m”，n”]的某些像素和(或)子像素不被连接在源图像H’[m’，n’]的一些像素或子像素上。这些像素或子像素使运动场变得不可完全地反转的，并将产生一些赝象，当在客户的译码器那里图像重建时。运动场致密化模块(132)根据本发明为这些孔建立一些关联。为此，运动场致密化模块(132)重复地并用越来越近的传播方法，把与最邻近的像素或子像素连接的源图像H’[m’，n’]的像素与目的图像x’₂[m”，n”]的每个像素和子像素相关联，这个只要目的图像x’₂[m”，n”]的所有像素和子像素都没有被源图像H’[m’，n’]的至少一个像素或子像素连接。这里应该注意在一个实施的特殊方式里，当目的图像x’₂[m”，n”]的一个像素或子像素被连接到源图像H’[m’，n’]的一个预定数目的像素时，例如与4个像素联系，对于上述这个像素来说没有任何新的关联被进行。

当所有的关联被进行时，累加模块(133)创建一个累加图像Xb’[m”，n”]。这个累加图像Xb’[m”，n”]和目的图像x’₂[m”，n”]有同样的大小，并且它的像素和子像素的每一个的值等于与在图像x’₂[m”，n”]里的对应的像素或子像素被连接的源图像的像素和子像素的值的总和，这个和被在源图像H’[m’，n’]对应的像素或子像素相关联的图像x’₂[m”，n”]的像素和子像素的数目相除。这个除法使得避免一些赝象出现，例如一些超前和(或)滞后回波的效应当图像序列的译码时。

在本发明的一个实施变型中，一个标记为W_connex的权重被赋予关联的每一个上，对于图像Xb’[m”，n”]的每个像素或子像素来说，这个显示值将根据下列公式被计算：

$\mathrm{Maj}=(\underset{\mathrm{associations}}{\mathrm{\Σ}}{W}_{\mathrm{connex}}*\mathrm{Valsrc})/W_{\mathrm{connex}}$

在这当中，Maj是图像Xb’[m”，n”]的一个像素或子像素的值，而Valsrc是与目的图像x’₂[m”，n”]的像素或子像素联系的源图像H’[m’，n’]的像素的值。

图像Xb’[m”，n”]然后被标记为(134)的一个低通滤波器滤波。低通滤波器(134)有取消图像Xb’[m”，n”]的某些高频分量的功能，以便当被模块(135)进行图像欠采样时避免任何与一个谱折迭相联系的赝象，通过在图像Xb’[m”，n”]的像素和子像素整体上进行一次低通滤波，图像Xb’[m”，n”]的某些细节被保存。

滤波的图像Xb’[m”，n”]然后被模块(115)欠采样。模块(135)包括一个第一欠采样器和一个离散子波分解的模块，它们欠采样图像Xb’[m”，n”]以便这个图像与图像x₂[m，n]有同样的分辨率。欠采样的图像Xb’[m”，n”]然后以一半被加法器(136)加在图像X₂[m，n]上，以便形成一个标记为L[m，n]的图像，它包括一些低频分量。图像L[m，n]然后被转移到可分级数据流的生成模块(13)。

图像L[m，n]然后被转移到运动补偿时间滤波的视频编码器(10)的判定模导体(12)，当所希望的分辨率水平被取得或为了一个新的分解，被运动补偿时问滤波模块(100)再处理时。当一个新的分解应该被进行时，图像L[m，n]以与上面描述方式同样的方式被运动补偿时间滤波模块(100)处理。

因此，运动补偿时间滤波模块(100)形成一些下列形式的高频和低频图像，例如当Haar滤波器被使用时：

H[m，n]＝x₁[m，n]-(W_2-＞1x2[m，n]

L[m，n]＝(x₂[m，n]+1/2(W1_-＞2H[m，n])

在这里W_i-j表示图像i在图像j上的运动补偿。

图3表示能够执行符合以图4和图8作为参考所描述的算法的编码和译码算法的一个信息装置和(或)电信装置的方框图。

这个信息装置和(或)电信装置(30)适合从一个软件出发在一个图像序列上进行运动补偿时间滤波。装置(30)也适合从一个软件出发，在一根据本发明的被编码的图像序列上进行反向的运动补偿时间滤波。

装置(30)是例如一个微型计算机。它也可以被纳入到一个视频图像序列的显象设备里，例如一台电视机、手机或任何其它的以终端接收器为目的的整体信息的生成装置。

装置(30)包括一个通信总线(301)，在它上连接着一个处理器(300)，一个只读存储器(302)，一个随机存取存储器(303)，一个屏幕(304)，一个键盘(305)一个硬盘(308)，一个数字视频盘的放录机或DVD(309)，一个与电信网连接的通信接口(306)。

硬盘(308)贮存实施本发明的程序以及那些根据本发明命名得能编码和(或)译码的数据。

更普遍地，根据本发明的程序被存储在一个存储设备里。这个存储设备是可读的，用一个计算机或一个微处理器(300)。这个存储设备是被纳入或不被纳入到装置里，并且可以是可拆换的。

当装置(30)加电时，根据本发明的程序被转移到随机存取存储器(303)里，它包括本发明的可执行的编码以及执行本发明需要的数据。

通信接口(306)能接收一个根据本发明的编码的可分级数据流以便于这些数据译码。通信接口(306)也能把一个根据本发明编码的可分级数据流传送到一个电信网。

图4表示从一个软件出发，当运动补偿时间滤波被执行时被一个处理器执行的编码算法，在这当中，一些Haar滤波器被用在子波分解中。

编码和(或)译码装置(30)的处理器(300)根据以术语“Lifting”(面部去皱纹手术)而著名的技术进行一时间滤波。

在E400步骤，源图像是被处理器(300)过采样的，通过根据本发明进行一个离散地子波变换的合成。对于本算法的本描述来说，源图像是偶数图像x₂[m，n]。

在E401步骤，被过采样的源图像x₂[m，n]是通过进行一次内插又一次被过采样的。内插是例如一个双线性内插或双立方体内插或一个基本正弦的内插。因此，图像x₂[m，n]被变换成一个图像x’₂[m’，n’]，具有例如像素的四分之一的一个分辨率。

在E402步骤，是否在偶数图像x₂[m，n]和正在处理中的目的图像x₁[m，n]之间已经进行了一种运动估计，这是要被检验的。目的图像在这里是奇数图像x₁[m，n]。

如果是肯定的话，处理器(300)就阅读在装置(30)的存储器RAM(303)里存储的运动估计，并过渡到E405步骤。如果是否定的，处理器就过渡到E403步骤。

在此步骤，处理器(300)计算一个运动场，例如以非限制性方式，通过使源图像的信息块和目的图像对应。当然，其它技术也能被使用，例如用点阵结构的运动估计技术。

这种操作被进行，处理器(300)过渡到下一步骤E404，此步骤在于建立在E403步骤上取得的初始运动的一种连接。处理器(300)使例如包括这些像素的信息块的矢量与目的图像x₁[m，n]的每个像素或目的图像x’₁[m”，n”]的每个子像素相关联，当目的图像是被过采样的时候。

目的图像对于本算法的本描述来说是奇数图像x₁[m，n]。

处理器(300)然后在E405步骤进行连接的致密化。这种致密化是以与用运动场致密化模块(112)进行的致密化同样的方式进行的。

这种操作被进行，处理器(300)在E406步骤以用累加模块(113)同样的方式进行的操作创建一个累加图像Xa’[m”，n”]。

图像Xa’[m”，n”]然后在E4 07步骤通过进行一个低通滤波以便取消图像Xa’[m”，n”]的某些高频分量和避免当图像以后的欠采样时与一谱折迭相联系的任何赝象。

被滤波的图像Xa’[m”，n”]然后在E408步骤被欠采样，通过进行一次欠采样和一次图像Xa’[m”，n”]的离散的子波分解，以便这个图像与图像x₁[m，n]有同样的分辨率。被欠采样的图像Xa’[m”，n”]然后在E409步骤被从图像x₁[m，n]减去，以便形成一个标记为H[m，n]的图像，它包括一些高频分量。图像H[m，n]然后被转移到可分级数据流的生成模块(13)。

处理器(300)重新进行E400到E409各个步骤，通过把图像H[m，n]当作源图像和把图像x₂[m，n]当作目的图像。

处理器在E400和E401步骤，在图像H[m，n]上进行的操作与在图像x₂[m，n]上进行的那些操作是同样的。它们将不被更多地描述了。

在E405步骤，处理器(300)用与被前面描述过的运动场致密化模块(132)进行的同样方法进行一次连接的致密化。

当所有的关联被进行时，处理器(300)在E406步骤创建一个图像Xb’[m”，n”]以与为累加模块(133)描述的同样的方法。

处理器(300)在图像Xb’[m”，n”]上在E407，E408步骤进行与在图像Xa’[m”，n”]上进行的操作同样的操作，它们将不被更多地描述了。

当这些操作被进行完时，处理器(300)把被滤过波的和被欠采样的图像Xb’[m”，n”]的一半加到图像x₂[m，n]，以便形成一个低频分量的图像L[m，n]。

当所希望的分辨率水平取得或为了一个新的分解被本算法再处理之后，图像L[m，n]然后被转移到具有运动补偿时间滤波视频编码器(10)的判定模块(12)上。当新的分解应该被进行时，图像L[m，n]以与前面描述过的方法同样的方法被处理。

图5表示根据本发明的具有运动补偿时间滤波的一个视频译码器的方框图。

具有运动补偿时间滤波的视频译码器(60)能把一个可分级的数据流(18)解码成一个视频图像序列(65)，包括在这个可分级的数据流里的数据被一个如同图1上描述的编码器来编码。

具有运动补偿时间滤波的视频译码器(60)包括数据流(18)的一个分析模块(68)。这个分析模块(68)分析数据流(18)并从中提取每个分解电平的每个高频图像以及包括最低分解电平的低频分量的图像。分析模块(68)转移包括高频分量(66)和低频分量(67)的图像到反向运动补偿时间滤波模块(600)。分析模块(68)也从数据流(18)中提取由图1的编码器(10)进行的运动场的各种不同的估计，并把它们转移到运动场的存储模块(61)。

反向运动补偿时间滤波模块(600)以重复的方式变换高频图像和低频图像，为了形成对应于高级分解电平的低频图像的一个偶数图像和一个奇数图像。反向运动补偿时间滤波模块(600)从在模块(41)里的存储的运动估计出发形成一个视频图像序列。这些运动估计是一些在由本发明的编码器(10)编码的视频图像序列的每个偶数图像和下一个奇数图像之间的估计。

反向运动补偿滤波模块(600)进行图像L[m，n]和H[m，n]的离散的子波合成以便形成一个视频图像序列。离散子波合成自动循环地被靠在时间的低通段的低频图像上，只要反希望的分解电平没有达到。具有反向运动补偿时间滤波的视频解码器(600)的判定模块(62)确定所希望的分解电平是否达到。

图6表示图5的视频解码器的反向运动补偿时间滤波模块方框图，当Haar滤波器在子波分解中被使用时。

反向运动补偿时间滤波模块(600)根据“Lifting”(面部去皱纹手术)技术进行时间滤波，以便重建用本发明的编码器编码的视频图像序列的各种不同的图像。

图像H[m，n]或源图像被合成模块(610)过采样。合成模块(610)与图2的合成模块(130)是同样的，这样不被更多地描述了。

被过采样的图像H[m，n]重新用内插模块(611)过采样，为了形成一个图像H’[m’，n’]。内插模块(611)是与图2中的内插模块(131)同样的，这将不被更多地描述了。

运动补偿时间滤波模块(100)也包括一个初始运动的连接模块(621)，它与图2中的初始运动的连接模块(121)相同，这将不被更多地描述了。

反向运动补偿时间滤波模块(600)包括了一个反向的运动场致密化模块(612)，此模块与图2中的运动场致密化模块(132)是同样的，它将不被更多地描述了。

反向运动补偿时间滤波模块(600)包括一个与图2中的累加模块(133)同样的一个累加模块(613)，这样不被更多地描述了。累加模块(613)创建一个累加图像Xb’[m”，n”]。

反向运动补偿时间滤波模块(600)包括一个滤波模块(614)和一个离散的子波分解模块(615)它们分别地与滤波模块(134)和离散的子波分解模块(135)是同样的，它们将不被更多地描述了。

反向运动补偿时间滤波模块(600)包括一个加法器(616)，它在图像L[m，n]上减去被滤波的和被欠采样的图像Xb’[m”，n”]的一半，以便形成一个标记为x₂[m，n]的偶数图像。

图像x₂[m，n]或源图像被合成模块(630)过采样。合成模块(630)与图6中的合成模块(610)是同样的，这将不被更多地描述了。

过采样的图像x₂[m，n]重新被内插模块(631)过采样，以便形成一个图像x’₂，[m’，n’]。内插模块(631)与图2中的内插模块(111)是同样的，这将不被更多地描述了。

反向运动补偿时间滤波模块(600)包括一个反向的运动场致密化模块(632)。这个模块(632)与图2中的运动场致密化模块(112)是同样的，这将不被更多地描述了。

反向运动补偿时间滤波模块(600)包括一个与图2中的累加模块(113)同样的累加模块(633)，这将不被更多地描述了。累加模块(633)创建一个累加图像Xa’[m”，n”]。

反向运动补偿时间滤波模块(600)包括一个滤波模块(634)和一个离散的子波分解模块(635)分别地与滤波模块(114)和离散的子波分解模块(114)是同样的，它们将不被更多地描述了。

反向运动补偿时间滤波模块(600)包括一个加法器(636)，它把滤波过和欠采样过的图像Xa’[m”，n”]加在图像H[m，n]上，以便形成一个标记为x₁[m，n]的奇数图像。这个奇数图像被转移到判定模块(62)。根据所希望的分解电平，图像x₁[m，n]和x₂[m，n]被交织，以便产生一个重新被引入的图像L[m，n]或不与更高电平的图像H[m，n]一起。在反向运动补偿时间滤波模块(600)里的可分级的数据流(18)里被读到的图像。

图7表示当从一个软件出发反向运动补偿时间滤波被执行时，由一个处理器执行的译码算法，在这当中一些Haar滤波器被使用在子波分解当中。

编码和(或)译码装置(30)的处理器(300)根据以术语“Lifting”(面部去皱纹手术)而著名的技术进行一个时间滤波。

处理器(300)通过把图像H[m，n]当作源图像和把图像L[m，n]当作目的图像进行从E800到E807的步骤。

在E800步骤上，源图像H[m，n]用处理器(300)被合成模块过采样，同时根据本发明进行一个SDWT(离散子波变换合成)。

在E801步骤上，被过采样的源图像H[m，n]被再一次过采样，通过进行一次内插，以与在图4的E401步骤上作为参考描述的内插同样方式为了形成一个图像H’[m’，n’]。

在E802步骤上，处理器(300)读出在可分级的数据流(18)里对应的运动场，并建立一些初始连接。这个步骤是与图4中的E404步骤同样的，它将不被更多地描述了。

进行了这种操作，处理器(300)过渡到下一个步骤E803，并建立致密连接。处理器(300)从由初始运动的连接模块(621)建立的连接出发把目的图像L[m，n]的至少一个像素连接到源图像H’[m’，n’]的每一个像素和子像素上。致密的连接建立在源图像和目的图像的像素和子像素之间以与用图2中的致密化模块(132)所作的方式同样的方式进行。

当所有的关联被进行后，处理器(300)过渡到E804步骤，并创建一个累加图像Xb’[m”，n”]。这个累加图像Xb’[m”，n”]被以与图2中的累加模块(133)描述的方式同样的方式创建，它将不被更多地描述了。

图像Xb’[m”，n”]然后通过进行低通滤波在E805步骤被滤波，以便取消图像Xb’[m”，n”]的某些高频分量，并避免任何与谱折迭相联系的赝象，当图像的以后的欠采样时。

被滤波的图像Xb’[m”，n”]然后在E806步骤通过进行一次欠采样被欠采样然后进行一次图像Xb’[m”，n”]的离散的子波分解以便这个图像与图像L[m，n]有同样的分辨率。

被欠采样的图像Xb’[m”，n”]然后在E807步骤上以一半在图像L[m，n]上被减去以便形成一个标记为x2[m，n]的图像。

通过把图像x₂[m，n]当成源图像和把图像H[m，n]当成目的图像，处理器(300)重新进行从E800到E807的步骤。

处理器在从E800到E802步骤上，在源图像x₂[m，n]上进行与源图像H[m，n]上以前进行的操作同样的操作，它们将不被更多地描述了。

在E803步骤上，处理器(300)以与用前面描述过的运动场致密化模块(112)进行的方式同样的方式进行一次连接的致密化。

当所有的关联被进行之后，处理器(300)在E804步骤上，创建一个图像Xa’[m”，n”]以与为了累加模块(113)描述过的方式同样的方式，

处理器(300)在E805和E806步骤上，在图像Xa’[m”，n”]上进行与在图像Xb’[m”，n”]上进行过的操作同样的操作，它们将不被更多地描述了。

当这些操作被进行以后，处理器(300)把被滤过波的和被欠采样的图像Xa’[m”，n”]加到图像H[m，n]上，以便形成一个奇数图像x₁[m，n]。图像x₁[m，n]和x₂[m，n]根据所希望的分解电平重新被引入或不引入到反向运动补偿时间滤波模块(600)里。

本发明被推荐到Haar滤波器使用的范围里。其它的滤波器例如以5/3滤波器命名的或以9/7滤波器命名的熟悉的滤波器也被使用在本发明中。这些滤波器使用数目更多的源图像以便预估一个目的图像。

这些滤波器在文献M.B Adams《可逆子波变换和在埋置图像压缩里的应用》中被描述，这是1998年维多利亚BC大学，电学和计算机工程系M.A.S.C的论文。

传统地，视频编码器的运动补偿时间滤波模块的(110)到(116)模块是一些为了预估一个目的图像的模块，而视频编码器的运动补偿时间滤波模块的(130)到(136)模块是一些为了显示一个目的图像的模块。反向运动补偿时间滤波模块的(610)到(616)模块是一些为了显示一个目的图像的模块，而视频编码器的运动补偿时间模块的(630)到(636)模块是一些为了预估一个目的图像的模块。

如同在本发明是描述的编码和译码装置，对于每个由一个源图像和一个目的图像构成的对子来说，形成一个累加图像，它符合前面所介绍的。这些累加图像中每一个都对目的图像的预估和(或)显示负责。

这样形成的累加图像然后被加在目的图像上，或从目的图像上减去。

当然，本发明并非局限于在此所述的实施方式，而是包括本领域普通技术人员可以设想范围内的任何变型。

Claims (12)

1.视频图像序列的编码方法，该方法通过利用离散的子波分解来进行运动补偿的时间滤波，离散的子波分解包括：

-将视频图像序列分成图像的源组和目的组；以及

-对源组的源图像x₂[m，n]进行过采样，发出图像x’₂[m’，n’]；

-形成包括比所述目的组的目的图像x₁[m，n]至少多四倍像素的图像x’₁[m”，n”]；

-通过利用初始运动连接模块所建立的连接将目的图像x’₁[m”，n”]的每个像素和子像素与源图像x’₂[m’，n’]的至少一个像素关联而进行运动场致密化；

-创建累加图像x_a’[m”，n”]；

-滤波所述图像x_a’[m”，n”]；

-对所述滤波图像x_a’[m”，n”]进行欠采样，发出具有与图像x₁[m，n]同样分辨率的欠采样图像x_a’[m”，n”]；

-从所述目的图像x₁[m，n]减去所述欠采样图像x_a’[m”，n”]，发出一个包括高频分量的标记为H[m，n]的图像；

-对所述图像H[m，n]进行过采样，发出图像H’[m’，n’]；

-将初始化运动连接模块在x’₁[m”，n”]和x’₂[m’，n’]之间建立的所述连接进行反转，并将它们应用在被当作源图像的所述图像H’[m，n’]和被当作目的图像的图像x’₂[m’，n’]之间；

-创建累加图像x_b’[m”，n”]；

-滤波所述图像x_b’[m”，n”]；

-对所述滤波图像x_b’[m”，n”]进行欠采样，发出具有与图像x₂[m，n]同样分辨率的欠采样图像x_b’[m”，n”]；

-将所述欠采样图像x_b’[m”，n”]的一半加到图像x₂[m，n]，发出一个包括低频分量的标记为L[m，n]的图像。

2.根据权利要求1的方法，

其特征在于，

源组的那些图像是通过进行至少一个子波分解合成而被过采样的。

3.根据权利要求1的方法，

其特征在于，

目的图像x₁’[m”，n”]的每个像素和每个子像素的值是通过与目的图像x₁’[m”，n”]上述的像素和子像素关联的每个像素和子像素的值求和，并再通过把这和除以与目的图像x₁’[m”，n”]的上述的像素或上述的子像素关联的像素和子像素数目取得的。

4.根据权利要求1的方法，

其特征在于，

进一步包括低通滤波目的图像x₁’[m”，n”]。

5.根据权利要求4的方法，

其特征在于，

被滤波的图像x_a’[m”，n”]用至少一个离散的子波分解被欠采样以便取得一个与图像x₁[m，n]有同样分辨率的欠采样的图像x_a’[m”，n”]。

6.通过用离散的子波分解运动补偿时间滤波的视频图像序列的译码方法，所述离散的子波分解包括：

-将视频图像序列分成图像的源组和目的组；以及

-对源组的源图像H[m，n]进行过采样，发出图像H’[m’，n’]，其中所述源图像H[m，n]包括高频分量；

-形成包括比所述目的组的目的图像L[m，n]至少多四倍像素的图像L’[m”，n”]，所述图像L’[m”，n”]包括低频分量；

-通过利用初始运动连接模块所建立的连接将目的图像L’[m”，n”]的每个像素和子像素与源图像H’[m’，n’]的至少一个像素关联而进行运动场致密化；

-创建累加图像x_b’[m”，n”]；

-滤波所述图像x_b’[m”，n”]；

-对所述滤波图像x_b’[m”，n”]进行欠采样，发出具有与图像L[m，n]同样分辨率的欠采样图像x_b’[m”，n”]；

-从所述目的图像L[m，n]减去所述欠采样图像x_b’[m”，n”]的一半，发出一个包括高频分量的标记为x₂[m，n]的图像；

-对所述图像X₂[m，n]进行过采样，发出图像x’₂[m’，n’]；

-将初始化运动连接模块在L’[m”，n”]和H’[m’，n’]之间建立的所述连接进行反转，并将它们应用在被当作源图像的所述图像x’₂[m’，n’]和被当作目的图像的图像H[m，n]之间；

-创建累加图像x_a’[m”，n”]；

-滤波所述图像x_a’[m”，n”]；

-对所述滤波图像x_a’[m”，n”]进行欠采样，发出具有与图像H[m，n]同样分辨率的欠采样图像x_a’[m”，n”]；

-将所述欠采样图像x_a’[m”，n”]加到图像H[m，n]，发出一个标记为x₁[m，n]的图像。

7.根据权利要求6的方法，

其特征在于，

源组的那些图像通过进行至少一种子波分解的合成而被过采样。

8.根据权利要求6的方法，

其特征在于，

目的图像L’[m”，n”]的每个像素和每个子像素的值是通过与目的图像L’[m”，n”]的上述像素和子像素关联的每个像素和子像素的值求和并通过用与目的图像L’[m”，n”]的上述像素或上述子像素关联的像素和子像素数目除所述和而取得的。

9.根据权利要求6的方法，

其特征在于，

进一步包括低通滤波图像L’[m”，n”]。

10.根据权利要求9的方法，

其特征在于，

被滤波的图像x_b’[m”，n”]被一个离散的子波分解欠采样，以便取得一个与图像L[m，n]同样分辨率的欠采样的图像x_b’[m”，n”]。

11.用离散的子波分解运动补偿时间滤波的视频图像序列的编码装置，此装置包括：

离散的子波分解设备，所述设备包括：

处理器装置，该装置被配置成执行以下步骤：

-将视频图像序列分成图像的源组和目的组；

-对源组的源图像x₂[m，n]进行过采样，发出图像x’₂[m’，n’]；

-形成包括比所述目的组的目的图像x₁[m，n]至少多四倍像素的图像x’₁[m”，n”]；

-通过利用初始运动连接模块所建立的连接将目的图像x’₁[m”，n”]的每个像素和子像素与源图像x’₂[m’，n’]的至少一个像素关联而进行运动场致密化；

-创建累加图像x_a’[m”，n”]；

-滤波所述图像x_a’[m”，n”]；

-对所述滤波图像x_a’[m”，n”]进行欠采样，发出具有与图像x₁[m，n]同样分辨率的欠采样图像x_a’[m”，n”]；

-从所述目的图像x₁[m，n]减去所述欠采样图像x_a’[m”，n”]，发出一个包括高频分量的标记为H[m，n]的图像；

-对所述图像H[m，n]进行过采样，发出图像H’[m’，n’]；

-将初始化运动连接模块在x’₁[m”，n”]和x’₂[m’，n’]之间建立的所述连接进行反转，并将它们应用在被当作源图像的所述图像H’[m’，n’]和被当作目的图像的图像x’₂[m’，n’]之间；

-创建累加图像x_b’[m”，n”]；

-滤波所述图像x_b’[m”， n”]；

-对所述滤波图像x_b’[m”，n”]进行欠采样，发出具有与图像x₂[m， n]同样分辨率的欠采样图像x_b’[m”，n”]；

-将所述欠采样图像x_b’[m”，n”]的一半加到图像x₂[m，n]，发出一个包括低频分量的标记为L[m，n]的图像。

12.用离散的子波分解运动补偿时间滤波的视频图像序列的译码装置，此装置包括：

离散的子波分解的设备，所述设备包括：

处理器装置，该装置被配置成执行以下步骤：

-将视频图像序列分成图像的源组和目的组；以及

-对源组的源图像H[m，n]进行过采样，发出图像H’[m’，n’]，其中所述源图像H[m，n]包括高频分量；

-形成包括比所述目的组的目的图像L[m，n]至少多四倍像素的图像L’[m”，n”]，所述图像L’[m”，n”]包括低频分量；

-通过利用初始运动连接模块所建立的连接将目的图像L’[m”，n”]的每个像素和子像素与源图像H’[m’，n’]的至少一个像素关联而进行运动场致密化；

-创建累加图像x_b’[m”，n”]；

-滤波所述图像x_b’[m”，n”]；

-对所述滤波图像x_b’[m”，n”]进行欠采样，发出具有与图像L[m，n]同样分辨率的欠采样图像x_b’[m”，n”]；

-从所述目的图像L[m，n]减去所述欠采样图像x_b’[m”，n”]的一半，发出一个包括高频分量的标记为x₂[m，n]的图像；

-对所述图像X₂[m，n]进行过采样，发出图像x’₂[m’，n’]；

-将初始化运动连接模块在L’[m”，n”]和H’[m’，n’]之间建立的所述连接进行反转，并将它们应用在被当作源图像的所述图像x’₂[m’，n’]和被当作目的图像的图像H[m，n]之间；

-创建累加图像x_a’[m”，n”]；

-滤波所述图像x_a’[m”，n”]；

-对所述滤波图像x_a’[m”，n”]进行欠采样，发出具有与图像H[m，n]同样分辨率的欠采样图像x_a’[m”，n”]；

-将所述欠采样图像x_a’[m”，n”]加到图像H[m，n]，发出一个标记为x₁[m，n]的图像。

Images