CN101268477A - 视频压缩中自适应运动向量采样的多阶段连接过程 - Google Patents

Abstract

一种对图像进行滤波的方法包括接收目标图像数据并将多阶段滤波器应用到目标图像数据。滤波的每个阶段包括生成运动向量采样样式，使用目标图像数据和运动向量采样样式来生成目标图像数据的时间预测，以及使用目标图像数据的时间预测来生成目标图像数据的空时变换。

Description

视频压缩中自适应运动向量采样的多阶段连接过程

技术领域

本发明涉及视频压缩领域。

背景技术

在视频编码中，压缩过程通常涉及时间预测滤波器和用于空间滤波的残差滤波器。残差滤波器可使用离散余弦变换(DCT)、小波或提升变换(1ifting transform)。时间预测滤波器允许通过一组(通常为1或2幅)参考图像来预测目标图像。时间预测滤波器使用一组运动向量和一个滤波器，所述运动向量表示相对于参考图像在目标图像中改变位置(即移动)的对象，所述滤波器对运动向量数据进行操作。用于时间预测的标准方法使用规则或统一的运动向量样式来为运动向量所表示的每个块执行简单的运动补偿。

存在在目标图像中使用不规则运动向量样式的趋势。不规则运动向量样式是由于为了改进时间预测而调整目标图像中的运动向量位置(例如，运动对象边界处运动向量较多，背景区域中运动向量较少)引起的。但是，生成不规则运动向量样式常常是很复杂的过程，而且通常在不考虑空时滤波的效果的情况下对目标图像执行这一过程。因为空时滤波和不规则运动向量采样的效果之间可能存在很大的重叠，所以这一过程不是所希望的。

例如，即使图像的某些区域可能有复杂的运动，它们也会由于空间关联性很高而非常容易被过滤。因此，这些区域不需要不规则分布的运动向量。因为可以使用简单、统一的运动向量样式来避免生成不规则运动向量样式的复杂度代价。传统方法无法将不规则运动向量样式的生成与空时滤波的结果相联系。

发明内容

一种对图像进行滤波的方法包括接收目标图像数据并将多阶段滤波器应用到目标图像数据。滤波的每个阶段包括生成运动向量采样样式，使用目标图像数据和运动向量采样样式来生成目标图像数据的时间预测，以及使用目标图像数据的时间预测来生成目标图像数据的空时变换。

附图说明

本发明通过示例方式加以阐述，并可通过结合附图参考下面的描述而得到更好的理解，图中：

图1示出连接方法的示例；

图2示出由图1的方法产生的中间结果的示例；

图3示出图1的方法中使用的空时变换的示例；

图4示出图1的方法中使用的自适应时间滤波过程的示例；

图5示出图4的方法中使用的运动向量样式的示例；

图6示出使用图4的方法生成时间预测的示例；

图7示出通过使用图1的方法生成时间预测所产生的中间结果的示例；

图8示出生成图1的方法所使用的运动向量样式的示例；

图9示出使用图1的连接方法的***的示例。

具体实施方式

在下面的描述中，参考形成本文一部分的附图，所述附图中通过图解的方式示出了可实施本发明的具体实施例。应该理解，在不脱离本发明范围的前提下，可以使用其他实施例，并做出结构改变。例如，技术人员将理解，用来描述各种实施例的术语“场”或“帧”或“图像”在针对视频数据来使用时一般可互换。类似地，技术人员将理解，在针对视频数据来使用时，术语“规则分布的运动向量”和“均匀分布的运动向量”一般可互换，术语“不规则运动向量样式”和“自适应运动向量样式”一般可互换。

一种将运动向量样式生成与空时预测相联系的方法通过多个阶段将空时变换应用到目标图像。该变换处理来自目标图像的空间数据和来自被预测图像的时间数据。在该方法的前几个阶段，目标图像中的空间数据高度相关。换言之，来自图像一部分的空间数据通常提供对图像相邻部分中的空间数据的精确预测。因此，该方法的早期阶段较之于时间预测更依赖于空间预测。例如，在早期阶段中，所生成的运动向量样式以规则样式或近乎规则样式分布。当运动向量以均匀的间隔在目标图像上均匀分布时，运动向量样式是规则的。

在本方法的后期阶段，由于低通滤波的作用，空间关联性减小。因此后期阶段中所生成的运动向量样式是不规则的，以便较之于空间预测更依赖于时间预测。通过一开始使用空间数据和规则运动向量样式来预测目标图像，压缩版的目标图像可被使用不规则运动向量样式和时间数据进一步压缩。结果，为具有较小尺寸的部分压缩的目标图像生成不规则运动向量样式没有为完整的目标图像生成不规则样式复杂。

多阶段连接方法的示例在图1中被示出。在110中，编码器接收输入目标图像和一幅或多幅参考图像组。每幅参考图像包含先前解码的数据，并且对编码器和解码器都可用。在120中，编码器生成运动向量的第一采样样式并将其应用到目标图像。在本例中，因为目标图像上的空间关联性开始很强，所以采样样式是规则的。在130中，自适应时间预测滤波器使用目标图像、规则运动向量样式和参考图像组来生成目标图像的第一预测。自适应时间预测滤波器的一个示例是下面讨论的自适应影响范围(AAOI)滤波器。在140中，第一阶段的空时变换被应用到目标图像和第一预测，以产生目标图像的第一变换。在某些实施例中，第一变换包括目标图像的第一低通数据和第一高通数据。

在150中，编码器生成运动向量的第二样式并将其应用到目标图像的第一低通数据。在本示例中，因为由于第一阶段变换的平均过程在第一低通数据中失去了一些空间关联性，所以第二采样样式不如第一采样样式规则。在160中，自适应时间预测滤波器使用运动向量的不规则采样样式、目标图像的第一低通数据、参考场组和第一预测来生成目标图像的第二预测。在170中，第二阶段的空时变换被应用到目标图像的第一低通数据和第二预测，以产生目标图像的第二变换。在某些实施例中，第二变换包括第二低通数据和第二高通数据。

在180中，给定由第二阶段变换产生的目标图像的第二低通数据，编码器生成运动向量的第三样式。在本示例中，因为更多的空间关联性由于第二阶段变换的平均过程而失去，所以第三样式比第二样式更不规则。在190中，自适应时间预测滤波器使用运动向量的第三不规则样式、目标图像的第二低通数据、参考图像组和第二预测来生成第三预测。在195中，第三阶段的空时变换被应用到第三预测和第二低通数据，以生成包含第三低通数据的目标图像的第三变换，在197中，对在本示例中作为最终残差的第三低通数据进行熵编码，并将编码系数发送到解码器。图1示出具有三个阶段的多阶段连接方法的示例。通常，对于任意数目的阶段，都可应用该多阶段连接方法，且阶段的数目可以固定或者针对每个目标图像来修改以使压缩最大化。

图1的方法所产生的中间结果的示例分三个阶段显示在图2中。块210示出编码器接收的目标图像。目标图像在被滤波之前具有高度的空间关联性。因此，如块220所示，规则运动向量样式被应用到目标图像并被输入到自适应时间预测滤波器以产生第一预测。第一阶段的空时变换使用第一预测和目标图像来产生第一变换，包括第一低通数据L₁和第一高通数据H₁，如块240所示。低通数据的示例是被平均或压缩的数据，高通数据的示例是通过原始目标图像减去目标图像的预测所获得的残差数据。

不规则运动向量样式被生成并被应用到目标图像的第一低通数据L₁，如块250所示。然后自适应时间预测滤波器使用第一低通数据、第一预测和不规则运动向量样式来产生第二预测。第二阶段的空时变换使用第二预测和第一低通数据来产生第二变换，包括第二低通数据L₂和第二高通数据H₂，如块260所示。

相比于块210所示的初始目标图像的数据量，第二低通数据的量很小。结果，为第二低通数据生成不规则运动向量样式没有为初始目标图像生成不规则样式复杂。另外，第二低通数据的空间关联性远小于目标图像210的空间关联性。从而，当较之于空间数据更依赖于时间数据时，对第二低通数据的预测更精确。因此，不规则运动向量样式被生成并被应用到第二低通数据，如块280所示。

第二低通数据、第二预测和非均匀运动向量样式被自适应时间预测滤波器使用以生成第三预测。第三预测和第二低通数据被空时变换使用以生成第三变换，包括第三低通数据L₃，如块295所示。图2所示方法说明生成运动向量样式如何与空时变换滤波交织。在每个阶段，运动向量采样样式与该阶段的目标图像数据的空间关联性相适应。自适应采样样式在运动目标区域中提供较高密度的运动向量，在背景区域中提供较低密度的运动向量。空间关联性一般在早期阶段较强而在后期阶段较弱。因此，图2的示例在阶段一(其中可更依赖于空间预测)显示规则运动向量样式，在较高阶段(其中更依赖于时间预测)显示更复杂的运动向量样式。

更详细地参考图1的140，空时变换的示例在图3中被示出。运动向量315的样式分布在目标图像310中。运动向量和参考图像320被自适应时间预测滤波器使用以生成时间预测330。空时变换被应用到时间预测和目标图像。例如，来自目标图像的像素行340被低通滤波器过滤以生成低通数据350。低通数据和来自时间预测的像素360被高通预测滤波器使用以生成高通数据370。

更详细地参考图1的130、160和190，实施自适应时间预测滤波器的过程的示例示于图4。自适应时间预测滤波器被应用到可能规则或不规则的运动向量样式，以产生目标图像的预测。在一个实施例中，针对不规则样式的自适应时间滤波器的抽头结构来确定运动向量的每一次估计。该估计分两个阶段进行。在第一阶段中，确定与滤波器的抽头结构无关的运动向量的初始估计。在第二阶段中，在对每个运动向量值的重新估计期间，使用该抽头结构。根据相邻运动向量的局部样式生成应用于特定运动向量的抽头结构，以在对特定运动向量的估计中包含它们的影响。在某些实施例中，使用自适应像素影响范围和自适应搜索窗来降低执行重新估计过程的复杂度。针对自适应时间滤波器来估计运动向量值的方法的一个示例在Marco Paniconi等人所提出的代理机构案卷号为50U7057、题为“ADAPTIVE MOITION ESTIMATIONFOR TEMPORAL PREDICTIONFILTER OVER IRREGULAR MOTION VECTOR SAMPLES”的第XX/XXX,XXX号共同待决的美国申请中有所描述，该申请与本申请同时递交，并通过引用结合于此。

自适应时间滤波过程的示例示于图4。在410中，为图像生成运动向量的采样样式。这种样式生成可通过使用本领域技术人员所公知的方法以各种方式来完成。

在410中生成的运动向量的采样样式的一个示例是图5的块510所示的不规则样式。图像510中的自点表示运动向量。利用不规则或自适应采样样式，运动向量更多地集中于难以根据参考图像来预测的区域(即，有更复杂的运动的图像区域，如运动边界附近的区域)。较少的运动向量被放在于简单运动区域，如图像背景区域。

参考图4，在420中图像被分割成多个单元，称为影响范围单元(AOI单元)，其中每个AOI单元具有一个运动向量，作为其节点。例如，图5的图像510被分割成如块520所示的AOI单元。每个AOI单元表示受该单元内运动向量的影响比受图像中任何其他运动向量影响更多的区域。因为AOI单元是为每个运动向量而生成，所以AOI单元的尺寸可能与图像中的对象的特征有关，如边界区域。例如，在对象之间的边界区域附近的AOI单元可能小于图像背景区域中的AOI单元。另外，AOI单元的形状可被局部修改以适合目标边界的形状。生成AOI单元的方法的一个实施例是距离最近运动向量分割方法。也可使用其他分割方法，如块或三角形方法。

返回图4，在430中为每个运动向量确定初始值。在435中生成自适应时间预测滤波器以使用不规则运动向量样式和影响范围单元来预测目标图像中的像素。预测滤波器在时间域对运动补偿信号进行操作。具体而言，该滤波器通过使用不同运动补偿信号的加权和来预测目标像素，其中通过应用不同的运动向量来预测目标像素而获得每个运动补偿信号。滤波器系数和抽头结构根据变化的运动向量样式针对每个像素而变化。另外，滤波器的支撑(support)是局部的。这意味着用来补偿目标像素的运动向量根据该像素的局部邻域而被获得。

滤波器具有下面的结构。令{v_j}表示N个运动向量的集合，I(x)表示参考图像(先前解码的图像)。令S(x)表示像素x位置周围的某组运动向量。该目标像素x的预测一般可表示为：

$I^{\mathrm{pred}}\left(x\right)=\underset{i\∈S\left(x\right)}{\mathrm{\Σ}}{f}_i{I}^{\mathrm{ref}}(x+v_i)$

其中{f_j}为滤波器系数集合，x+v_i为当运动向量v_i被应用到像素x时的运动补偿像素。滤波器的支撑或抽头(tap)由集合S(x)定义。抽头支撑S(x)和滤波器系数{f_j}通常是像素位置x及其相邻运动向量的函数。即，因为运动向量的分布在整个图像中都有变化，所以滤波器系数可针对每个像素而变化。因此，滤波器局部适应于变化的运动向量样式。

在440中，将预测滤波器应用到目标图像以对目标图像执行时间预测。给定运动向量值集合和采样样式的情况下，将该滤波器应用到时间域来为目标图像生成预测结果。滤波器使用由重叠区域的范围定义的滤波器抽头和滤波器系数来捕获与待预测像素相邻的运动向量的相关性。这类预测滤波器的一个示例是在Marco Paniconi等人所著的代理机构案卷号为50U6045、题为“ADAPTIVE AREA OF INFLUENCE FILTER”的第XX/XXX,XXX号共同待决的美国申请中公开的影响范围滤波器，该申请与本申请同时递交，并通过引用结合于此。

应用该滤波器以生成时间预测的示例示于图6。使用参考图像602中的像素来预测目标604中的像素。参考像素在参考图像602中用实线表示，待预测的目标像素在目标图像604中用虚线表示。滤波器通过使用局部运动向量v₁至v₅的抽头结构来形成对目标图像604中像素x的预测。运动向量对像素x而言是局部的，因为运动向量各自的AOI单元的每一个与像素x的AOI单元的至少一部分相重叠。抽头结构中的每个运动向量{v_i}映射到参考图像602中的图像数据{I_i}。自适应时间预测滤波器用滤波器权重{f_i}调整参考数据{I_i}以预测像素x。

在一个实施例中，预测滤波器使用抽头结构和滤波器权重来根据下面的公式生成预测：

预测＝I₁*f₁+I₂*f₂+I₃*f₃+I₄*f₄+I₅*f₅

其中，滤波器系数{f_i}和由局部运动向量定义的滤波器抽头在430中生成滤波器时被确定。

返回图4，在450中，使用由滤波器产生的预测结果来重新估计运动向量的值以便改进自适应滤波器的精度。在460中，若预测误差需要减小则该方法返回440。否则，该方法终止于470。结果，运动向量的总影响范围中的所有像素的预测误差降低。使用运动向量的总影响范围来重新估计运动向量值的方法的一个示例在由Marco Paniconi等人所提出的代理机构案卷号为50U7057、题为“ADAPTIVE MOITION ESTIMATION FORTEMPORAL PREDICTION FILTER OVER IRREGULAR MOTIONVECTOR SAMPLES”的第XX/XXX,XXX号共同待决的美国申请，该申请与本申请同时递交，并通过引用结合于此。

更详细地参考图1的130至160，由自适应时间预测滤波器产生的中间结果的示例示于图7。自适应时间预测滤波器使用目标图像710中的一组运动向量715和参考图像720来生成预测图像730。自适应时间预测滤波器将滤波器系数{f_i}应用到多个运动向量{m_i}来预测目标图像中的像素x。预测滤波器具有如下形式：

$P_1\left(x\right)=\underset{i\∈S\left(x\right)}{\mathrm{\Σ}}{f}_i{I}^{\mathrm{ref}}(x+m_i)$

其中x为待预测像素，i表示特定运动向量，m_i为运动向量i的值，f_i为运动向量i的滤波器系数，集合S(x)为滤波器抽头，P₁为第一预测。

使用第一预测、目标图像的第一低通数据以及参考图像来生成第二预测。在一个实施例中，第一预测和参考图像被空时变换的低通滤波器过滤以产生第一预测760的低通数据和参考图像750的低通数据。该操作使得输入到预测滤波器的数据为常用形式。不规则运动向量样式745被应用到目标图像的低通数据740，且第二预测770被生成。自适应时间预测滤波器使用来自750的参考数据和来自760的第一预测数据来预测目标图像的第一低通数据740中的像素x。

第二预测中使用的每个运动向量具有值(m_i)和模式映射(p_i)。模式映射(mode map)是0和1之间的值：p_i∈[0，1]；在某些实施例中，p_i为0、1或1/2。模式映射指示前一预测对当前预测的贡献。例如，若模式映射为0，则运动向量的值仅由参考图像的数据来确定。若模式映射为1，则运动向量的值仅由前一预测的数据来确定。若模式映射为¹/₂，则运动向量的值由前一预测数据和参考图像数据的平均来确定。

由于自适应时间预测滤波器使用第一预测来生成第二预测，因此该滤波器具有以下形式：

$P_n\left(x\right)=\underset{i\∈S\left(x\right)}{\mathrm{\Σ}}{f}_i(p_i{L}_1^{\mathrm{ref}}(x+m_i)+(1-p_i)L_1^p\left(x\right))$

其中p_i为运动向量i的模式映射值，L₁ ^ref为参考图像的低通数据，L₁ ^p为第一预测的低通数据，P₂为第二预测。

更详细地参考图1的120、150和180，选择运动向量样式的示例示于图8。一般地，分配给运动向量的总比特预算和空时变换的阶段数是预定的。在某些实施例中，在每个阶段中使用的运动向量数目也是预定的。由于每个块具有一个运动向量，因此可用的各种运动向量采样样式由块的数目和类型来表征。例如，使用诸如16像素乘16像素之类的一个块的形状来产生规则运动向量样式MV₁。在某些实施例中，使用诸如8×16、16×16和16×32像素之类的三个块的形状来产生不规则样式MV₂。在某些实施例中，更不规则的样式MV₃具有六个块的形状，例如8×8、8×16、16×16、16×32、32×32和32×64像素。非常不规则的样式MV₄具有甚至更多个块的形状，例如十个。

给定这些运动向量采样样式MV_i，其中i表示特定样式，并给定每个阶段可用的运动向量的数目，编码器执行下面的操作来确定特定阶段n的采样样式。在810中，使用空间滤波器来计算高通数据。在某些实施例中，通过对目标图像进行空间滤波来执行该操作以产生高通数据的空间预测。在815中，测量空间预测误差。阶段n中高通数据的空间预测误差被表示为e_n ^spatial。在820中，使用空时滤波器和候选运动向量采样样式MV_i来计算高通数据。在某些实施例中，通过将空时滤波器和运动向量样式应用到目标图像来执行该操作以产生空时预测。在825中，测量空时预测误差。阶段n中高通数据的空间预测误差表示为e_n ^{spatial_temporal}。在第一次迭代期间，i为1，所以使用规则采样样式MV₁。在830中，确定空间预测误差和空时预测误差之差是否在阈值以内。在一个实施例中，使用下式来做确定：

$C_{i-1}<|e_n^{\mathrm{spatial}}-e_n^{\mathrm{spatial}\_\mathrm{temporal}}|<C_i$

其中C_i-1和C_i是用来控制运动向量采样样式的复杂度的预定界限。例如，若i＝1且C₀＝0，并且

$|e_n^{\mathrm{spatial}}-e_n^{\mathrm{spatial}\_\mathrm{temporal}}|<C_1$

则预测误差实际上不随时间分量的增加而减少。因此，不需要使用不规则运动向量样式来代替规则运动向量样式MV₁。若在830中条件满足，则在840中使用候选样式并且该过程终止于845。若条件不满足，则在850中i增加1以选择下一运动向量样式作为候选样式，然后该过程返回820。

图9示出使用多阶段连接方法的***的示例。数字摄像机910捕获电子形式的图像并使用压缩设备920处理图像，其在压缩和编码过程中使用该连接方法。编码的图像通过电子传输介质930被发送到数字重放设备940。图像被在解码过程中使用本方法的解码设备950解码。摄像机910代表包含本发明实施例的各种图像处理设备(例如，其它图像捕获设备、图像编辑器、图像处理器、个人和商业计算平台等)的示例。类似地，解码设备950代表对图像数据进行解码的各种设备的示例。

虽然在特定***环境中根据实施例描述了本发明，但是本领域普通技术人员将理解，可在所附权利要求的精神和范围内的其他不同硬件和软件环境中加以修改地来实施本发明。

Claims (18)

1.一种由电子数据处理器执行的方法，包括：

接收目标图像数据；

将多阶段滤波应用到所述目标图像数据，其中每个阶段包括一个滤波过程，所述滤波过程包括：

生成运动向量采样样式；

使用所述目标图像数据和所述运动向量采样样式来生成所述目标图像数据的时间预测；以及

使用所述目标图像数据的时间预测来生成所述目标图像数据的空时变换。

2.如权利要求1所述的方法，其中将所述多阶段滤波应用到所述目标图像数据包括：

在第一阶段将所述滤波过程应用到所述目标图像；以及

在后续阶段将所述滤波过程应用到所述目标图像的低通滤波数据。

3.如权利要求1所述的方法，其中生成所述运动向量采样样式包括：

在第一阶段生成规则运动向量采样样式；以及

在后续阶段生成不规则运动向量采样样式。

4.如权利要求1所述的方法，其中每个阶段的运动向量采样样式适应于该阶段的所述目标图像数据的空间相关性。

5.如权利要求4所述的方法，其中在每个阶段生成所述运动向量采样样式包括：

对所述目标图像进行空间滤波以产生所述目标图像的第一预测；

使用所述第一预测来确定第一预测误差；

将运动向量的候选样式和空时滤波器应用到所述目标图像以产生所述目标图像的第二预测；

使用所述第二预测来确定第二预测误差；以及

若所述第一预测误差和第二预测误差之差在预定界限以内，则使用所述运动向量的候选样式作为所述运动向量采样样式。

6.如权利要求1所述的方法，其中在所述多阶段滤波器的第一阶段使用所述运动向量采样样式来生成所述目标图像的时间预测包括：

应用包含下式的预测滤波器：

$P_1\left(x\right)=\underset{i\&Element;S\left(x\right)}{\mathrm{\&Sigma;}}{f}_i{I}^{\mathrm{ref}}(x+m_i)$

其中，P₁(x)为像素x在所述第一阶段处的时间预测，S(x)为用于对所述像素x进行滤波的运动向量的集合，f_i为所述集合S(x)中运动向量i的滤波器系数权重，m_i为运动向量i的值，I^ref为参考图像。

7.如权利要求1所述的方法，其中在所述多阶段滤波的第一阶段之后的阶段使用所述运动向量采样样式来生成所述目标图像的时间预测包括：

使用所述运动向量采样样式、参考图像和来自前一阶段的时间预测来应用预测滤波器。

8.如权利要求7所述的方法，其中所述预测滤波器包括：

$P_n\left(x\right)=\underset{i\&Element;S\left(x\right)}{\mathrm{\&Sigma;}}{f}_i(p_i{L}_{n-1}^{\mathrm{ref}}(x+m_i)+(1-p_i)L_{n-1}^p\left(x\right))$

其中P_n(x)为阶段n像素x的时间预测，S(x)为用于对所述像素x进行滤波的运动向量的集合，f_i为所述集合S(x)中运动向量i的滤波器系数权重，m_i为运动向量i的值，L_n-1 ^ref为所述参考图像的低通滤波数据，L_n-1 ^p为所述来自前一阶段的时间预测的低通滤波数据，p_i为用于确定来自参考图像的低通滤波数据和所述来自前一阶段的时间预测的低通滤波数据的贡献的模式映射值。

9.一种存储计算机指令程序的计算机可读介质，所述指令被处理***执行时使得所述***执行一种方法，所述方法包括：

接收目标图像数据；

将多阶段滤波应用到所述目标图像数据，其中每个阶段包括一个滤波过程，所述滤波过程包括：

生成运动向量采样样式；

使用所述目标图像数据和所述运动向量采样样式来生成所述目标图像数据的时间预测；以及

使用所述目标图像数据的时间预测来生成所述目标图像数据的空时变换。

10.如权利要求9所述的计算机可读介质，其中将所述多阶段滤波应用到所述目标图像数据包括：

在第一阶段将所述滤波过程应用到所述目标图像；以及

在后续阶段将所述滤波过程应用到所述目标图像的低通滤波数据。

11.如权利要求9所述的计算机可读介质，其中生成所述运动向量采样样式包括：

在第一阶段生成规则运动向量采样样式；以及

在后续阶段生成不规则运动向量采样样式。

12.如权利要求9所述的计算机可读介质，其中每个阶段的运动向量采样样式适应于该阶段的所述目标图像数据的空间相关性。

13.如权利要求12所述的计算机可读介质，其中在每个阶段生成所述运动向量采样样式包括：

对所述目标图像进行空间滤波以产生所述目标图像的第一预测；

使用所述第一预测来确定第一预测误差；

将运动向量的候选样式和空时滤波器应用到所述目标图像以产生所述目标图像的第二预测；

使用所述第二预测来确定第二预测误差；以及

若所述第一预测误差和第二预测误差之差在预定界限以内，则使用所述运动向量的候选样式作为所述运动向量采样样式。

14.一种装置包括：

微处理器，所述微处理器接收目标图像数据并将多阶段滤波应用到所述目标图像数据，其中每个阶段包括一个滤波过程，所述滤波过程包括：

生成运动向量采样样式；

使用所述目标图像数据和所述运动向量采样样式来生成所述目标图像数据的时间预测；以及

使用所述目标图像数据的时间预测来生成所述目标图像数据的空时变换。

15.如权利要求14所述的装置，其中所述微处理器通过以下操作将所述多阶段滤波应用到所述目标图像数据：

在第一阶段将所述滤波过程应用到所述目标图像；以及

在后续阶段将所述滤波过程应用到所述目标图像的低通滤波数据。

16.如权利要求14所述的装置，其中所述微处理器通过以下操作生成所述运动向量采样样式：

在第一阶段生成规则运动向量采样样式；以及

在后续阶段生成不规则运动向量采样样式。

17.如权利要求14所述的装置，其中每个阶段的所述运动向量采样样式适应于该阶段的所述目标图像数据的空间相关性。

18.如权利要求17所述的装置，其中在每个阶段所述微处理器通过以下操作生成所述运动向量采样样式：

对所述目标图像进行空间滤波以产生所述目标图像的第一预测；

使用所述第一预测来确定第一预测误差；

将运动向量的候选样式和空时滤波器应用到所述目标图像以产生所述目标图像的第二预测；

使用所述第二预测来确定第二预测误差；以及

若所述第一预测误差和第二预测误差之差在预定界限以内，则使用所述运动向量的候选样式作为所述运动向量采样样式。

Images