CN1939065A - 视频数据的运动估计和分段 - Google Patents

Abstract

在一个编码器中，偏移处理器(307)为参考帧中的画面单元产生具有子像素偏移量的画面单元。扫描处理器(309)搜索一帧以便找到匹配画面单元，并且选择处理器(311)选择导致最接近的匹配的偏移画面单元。相对于所选择的画面单元编码所述第一帧，并且位移数据包括表示所选择的偏移画面单元的子像素数据和表示第一画面单元与该匹配画面单元之间的整数像素偏移量的整数像素位移数据，所述位移数据被包含在视频数据中。一个视频解码器从参考帧中提取所述第一画面单元，并且响应于子像素信息通过在所述参考帧中进行内插来产生偏移画面单元。通过响应于整数像素信息移位所述偏移帧来解码预测帧。本发明允许利用移位运动估计和具有子像素精度的基于分段的运动补偿进行编码。

Description

视频数据的运动估计和分段

本发明涉及一种视频编码和解码***，并且尤其涉及一种使用移位运动估计的视频编码器和解码器。

近几年，视频信号的数字存储和分配的使用已经日益普遍。为了减小传送数字视频信号所需的带宽，众所周知地使用包括视频数据压缩的有效的数字视频编码，借此数字视频信号的数据率可以被充分地减少。

为了确保互操作性，视频编码标准对于促进在许多专业应用和消费者应用中采用数字视频起到了关键作用。大多数有影响的标准传统上是由国际电信联盟(ITU-T)或者ISO/IEC(国际标准化组织/国际电工技术委员会)的MPEG(运动画面专家组)委员会开发的。ITU-T标准也被称为推荐，其典型地针对实时通信(例如视频会议)，而大多数MPEG标准则对于存储(例如用于数字通用盘(DVD))和广播(例如用于数字视频广播(DVB)标准)而被最优化。

当前，最广泛使用的视频压缩技术之一是MPEG-2(运动画面专家组)标准。MPEG-2是基于块的压缩方案，其中，帧被分为多个块，每个块包括八个垂直像素八个水平像素。对于亮度数据的压缩，使用离散余弦变换(DCT)对每个块进行单独压缩，随后是量化，从而将大量变换后的数据值减小到0。仅基于帧内压缩的帧被称为内部帧(I帧)。

除了帧内压缩之外，MPEG-2还使用帧间压缩以便进一步减小数据率。帧间压缩包括基于先前I帧的预测帧(P帧)的产生。另外，在I帧和P帧之间典型地***双向预测帧(B帧)，其中，通过仅传送B帧与周围的I帧和P帧之间的差异来实现压缩。另外，MPEG-2使用运动估计，其中，在各后续帧的不同位置处找到的一帧的各宏块的图像仅利用运动矢量来传送。运动估计数据一般指的是在运动估计处理期间所采用的数据。执行运动估计以便确定运动补偿(或者等效的帧间预测)的处理的参数。

作为这些压缩技术的结果，标准TV演播室广播质量级的视频信号可以以大约2-4Mbps的数据率传送。

最近，被称为H.26L的新的ITU-T标准已经出现。与现有标准(诸如MPEG-2)相比，H.26L的较高的编码效率已经被广泛认可。虽然H.26L的增益一般与画面尺寸成比例地降低，但是其在多种应用中的广泛采用的潜力是毫无疑问的。其潜力通过联合视频组(JVT)论坛的形成而得到认可，该论坛负责将H.26L最终形成为新的联合ITU-T/MPEG标准。该新标准被称为H.264或者MPEG-4 AVC(高级视频编码)。另外，基于H.264的解决方案也在其它标准化实体中得到考虑，诸如DVB和DVD论坛。

H.264/AVC标准采用基于块的运动估计(例如MPEG-2)的类似原理。然而，H.264/AVC允许编码参数的更加多的选择。例如，它允许对于16×16宏块的更加精细的分割和操作，借此例如可以在将宏块分割成小到4×4尺寸的情况下执行运动补偿处理。另一种更加有效的扩展是对于宏块的预测使用可变块尺寸的可能性。因此，一个宏块(仍然是16×16像素)可以被分割为多个较小的块，并且这些子块当中的每一个可以被分开地预测。因此，不同的子块可以具有不同的运动矢量，并且可以从不同的参考画面中恢复。此外，用于样本块的运动补偿预测的选择处理可以涉及多个所存储的先前解码的帧(或图像)，而不仅仅是相邻的帧(或图像)。此外，在运动补偿之后的最终得到的预测误差可以基于4×4的块尺寸而不是传统的8×8尺寸被变换和量化。

通常，现有的编码标准(诸如MPEG-2和H.264/AVC)使用如图1中所示的获取运动估计技术。在获取运动估计中，在参考帧上扫描将被编码的帧(预测帧)的第一块，并且将其与参考帧的各块相比较。该第一块和参考帧的各块之间的差异被确定，并且如果对于其中一个参考帧块满足给定的标准，那么就将该块用作预测帧中的运动补偿的基础。特别地，可以从该预测帧块中减去该参考帧块，而只有最终得到的差异被编码。另外，从该预测帧块指向该参考帧块的运动估计矢量被产生，并且被包含在已编码数据流中。随后对于预测帧中的所有块重复该处理。因此，对于预测帧中的每个块，参考帧被扫描以便找到合适的匹配。如果找到一个合适的匹配，则运动矢量被产生并且被附加到该预测帧块上。

一种可选择的运动估计技术被称为移位运动估计，并且被示出在图2中。在移位运动估计中，在将被编码的帧(预测帧)上扫描参考帧的一块，并且将其与将被编码的该帧的各块相比较。该块与预测帧的各块之间的差异被确定，并且如果对于其中一个预测帧块满足给定标准，那么该参考帧块被用作预测帧中的该块的运动补偿的基础。特别地，可以从该预测帧块中减去该参考帧块，而只有最终得到的差异被编码。另外，从该参考帧块指向该预测帧块的运动估计矢量被产生，并且被包含在已编码数据流中。因此，对于参考帧中的所有块重复该处理。因此，对于参考帧的每个块，预测帧被扫描以便找到合适的匹配。如果找到一个合适的匹配，那么运动矢量被产生并且被附加到该参考帧块上。

因此，如图1和2所示，在获取运动估计中，将预测帧的各块顺序地与参考帧相比较，并且如果找到合适的匹配就将各运动矢量附加到各预测帧块上，而在移位运动估计中，将参考帧的各块顺序地与预测帧相比较，并且如果找到合适的匹配就将各运动矢量附加到各参考帧块上。

典型地，获取运动估计优于移位运动估计，因为移位运动估计具有一些相关的缺点。特别地，移位运动估计不是***地处理预测帧的所有块，因此导致各运动估计区域之间的重叠和间隙。这往往导致质量与数据率的比率下降。

然而，在一些应用中希望使用移位运动估计，并且特别地在其中不存在可预测的运动估计块结构的应用中，移位运动估计是优选的。

因此，一种用于视频编码和解码的改进的***将是有利的，特别地，一种允许或便于移位运动估计的使用、改善质量与数据率的比率以及/或者降低复杂度的***将是有利的。

因此，本发明优选地试图单独地或以任意组合的方式减轻、缓解或消除上述的一个或多个缺陷。

根据本发明的第一方面，提供一种用于编码视频信号以产生视频数据的视频编码器；该视频编码器包括：对于参考帧中的至少第一画面单元产生多个具有不同子像素偏移量的偏移画面单元的装置；对于所述多个偏移画面单元中的每一个搜索第一帧以便找到匹配画面单元的装置；用于选择所述多个偏移画面单元当中的第一偏移画面单元的装置；用于为该第一画面单元产生位移数据的装置，该位移数据包括表示第一偏移画面单元的子像素位移数据和表示该第一画面单元和该匹配画面单元之间的整数像素偏移量的整数像素位移数据；用于相对于所选择的偏移画面单元来编码该匹配画面单元的装置；以及用于将该位移数据包含在视频数据中的装置。

第一画面单元可以是任何合适的像素组或像素集合，但是优选地是连续的像素区域。本发明可以提供一种用于各画面单元的子像素位移的有利装置。通过分离整数和次整数位移数据，可以实现改进的编码性能。另外，本发明可以提供对于子像素位移数据的实际的高性能确定。该位移数据参考的是参考帧的第一画面单元，从而提供可被用于第一帧中的匹配画面单元的位移数据，而不需要编码第一帧或者预先确定第二画面单元。因此，允许或者便于画面单元的前馈位移。

优选地，所述用于选择的装置包括用于确定所述多个偏移画面单元当中的每一个和匹配画面单元之间的差异参数的装置以及用于选择第一偏移画面单元作为具有最小差异参数的偏移画面单元的装置。例如，对应于偏移画面单元和匹配画面单元之间的像素差的均方和的差异参数可以被确定，并且第一偏移画面单元可以被选择为具有最小均方和的一个画面单元。这样提供了确定匹配画面单元的一种简单但是有效的措施。

优选地，视频编码器还包括用于通过参考帧的图像分段产生第一画面单元的装置。这样提供了确定合适的画面单元的适当方式。从而，本发明可以提供一种对于帧之间的分段位移产生子像素精度的低复杂度且高性能的措施，其可以被用于分段位移而不需要知道各分段在其被位移到其中的第一帧中的分段位置。

优选地，视频编码器被配置成不把分段尺寸数据包含在视频数据中。本发明允许有效地产生视频数据，其允许各分段的子像素位移而不需要把分段尺寸的信息包含在视频数据本身中。这样可以显著地减小视频数据尺寸，从而减小了传输视频数据所需的通信带宽。所述分段过程可以独立地在视频解码器中被确定，并且可以基于所述位移数据，其中一个分段可以在第一帧中被位移而不需要首先对其进行解码。特别地，这允许子像素分段位移成为第一帧解码的一部分。

优选地，视频编码器是基于块的视频编码器，并且第一画面单元是编码块。特别地，视频编码器可以利用离散傅立叶变换(DCT)块处理，并且第一画面单元可以对应于DCT块。这样利于实现并且减少了所需的处理资源。

优选地，用于产生多个偏移画面单元的装置适于通过像素内插产生至少一个偏移画面单元。这提供了一种用于产生多个偏移画面单元的简单适合的装置。

优选地，所述位移数据是运动估计数据，并且特别地，该位移数据是移位运动估计数据。因此，本发明提供了一种用于使用移位运动估计产生视频数据的有利装置。在保持移位运动估计的优势的同时，可以实现得到改善的质量对数据尺寸的比率。

根据本发明的第二方面，提供一种用于解码视频信号的视频解码器，该视频解码器包括：用于接收包括至少一个参考帧和预测帧以及用于该参考帧的多个画面单元的位移数据的视频信号的装置；用于确定该参考帧的所述多个画面单元的第一画面单元的装置；用于提取对应于第一画面单元的位移数据的装置，该位移数据包括第一子像素位移数据和第一整数像素位移数据；用于通过响应于第一子像素位移数据偏移第一画面单元来产生子像素偏移画面单元的装置；用于响应于第一图像中的第一画面单元的位置和第一整数像素位移数据来确定预测帧中的第二画面单元的位置的装置；以及用于响应于子像素偏移画面单元来解码第二画面单元的装置。

应当理解，参考视频编码器讨论的特征、变型、选项和改进同样适用于适合的视频解码器。特别地，用于确定第一画面单元的装置适于通过对第一帧进行图像分段来确定第一画面单元。同样，所述位移数据可以是被用于基于分段的运动补偿的子像素精度移位运动估计数据。

类似地，应当理解，参考视频编码器讨论的优势同样适用于适合的视频解码器。因此，视频解码器允许对具有改进的质量对数据尺寸比率的移位运动估计编码的信号进行解码。

根据本发明的第三方面，提供一种编码视频信号以产生视频数据的方法；该方法包括下列步骤：对于参考帧中的至少第一画面单元产生多个具有不同子像素偏移量的偏移画面单元；对于所述多个偏移画面单元当中的每一个搜索第一帧以便找到匹配画面单元；选择所述多个偏移画面单元当中的第一偏移画面单元；产生对应于第一画面单元的位移数据，该位移数据包括表示第一偏移画面单元的子像素位移数据和表示第一画面单元和该匹配画面单元之间的整数像素偏移量的整数像素位移数据；相对于所选择的偏移画面单元编码该匹配画面单元；以及将该位移数据包含在视频数据中。

根据本发明的第四方面，提供一种解码视频信号的方法，该方法包括下列步骤：接收包括至少一个参考帧和预测帧以及用于该参考帧的多个画面单元的位移数据的视频信号；确定该参考帧的所述多个画面单元当中的第一画面单元；提取对应于第一画面单元的位移数据，该位移数据包括第一子像素位移数据和第一整数像素位移数据；通过响应于第一子像素位移数据偏移第一画面单元来产生子像素偏移画面单元；响应于第一图像中的第一画面单元的位置和第一整数像素位移数据来确定预测帧中的第二画面单元的位置；以及响应于子像素偏移画面单元解码第二画面单元。

参考下面描述的实施例，本发明的这些和其它方面、特征和优势将是明显的并且被阐明。

参考附图，仅通过示例来描述本发明的实施例，其中：

图1是根据现有技术的获取运动估计的示意图；

图2是根据现有技术的移位运动估计的示意图；

图3是根据本发明一个实施例的移位运动估计视频编码器的示意图；以及

图4是根据本发明一个实施例的移位运动估计视频解码器的示意图。

下面的描述集中在使用于使用基于分段的移位运动估计和补偿的视频编码***的本发明的一个实施例。然而，应当理解，本发明不限于此应用。

图3是根据本发明一个实施例的移位运动估计视频编码器的示意图。将在特定情形下描述该视频编码器的操作，其中使用运动估计和补偿根据单个参考帧编码第一帧，但是应当理解，在其它实施例中，用于一帧的运动估计可以基于任何适合的帧或者多个帧(包括例如未来帧和/或与第一帧具有不同时间偏移量的帧)。

该视频编码器包括第一帧缓冲器301，其存储后面将标记为第一帧的将被编码的帧。第一帧缓冲器301耦合到参考帧缓冲器303，其存储用于对第一帧进行移位运动估计编码的参考帧。在该具体例子中，该参考帧仅仅是已经从第一帧缓冲器301移动到参考帧缓冲器303的先前原始帧。然而，应当理解，在其它实施例中，该参考帧可以以其它方式产生。例如，该参考帧可以通过对先前编码的帧进行本地解码而产生，从而提供与在接收视频解码器处产生的参考帧紧密对应的参考帧。

参考帧缓冲器303耦合到分段处理器305，该分段处理器适于将参考帧分割为多个画面单元。一个画面单元对应于根据给定的选择标准选择的一组像素，并且在所描述的实施例中，每个画面单元对应于由该分段处理器305确定的图像分段。在其它实施例中，画面单元可以替换地或者附加地对应于诸如DCT变换块或者预定义(宏)块的编码块。

在所描述的实施例中，图像分割试图将像素分组成具有相似运动特性的图像分段，例如因为它们属于同样的底层对象。一个基本的假设在于，对象边缘引起图像中的亮度或色彩的尖锐变化。具有相似亮度和/或色彩的像素因此被分组到一起，从而导致各区域之间的亮度/色彩边缘。

在该优选实施例中，画面分割因此包括基于共同属性对像素进行空间分组的处理。存在几种画面和视频分割的方法，并且每一种方法的有效性一般将取决于应用。应当理解，任何已知的用于画面分割的方法或算法都可以被使用而不会背离本发明。

在该优选实施例中，所述分段包括响应于共同特性来检测图像的分离区域，并且随后从一个图像(或画面)到下一个图像地追踪该对象。

在一个实施例中，所述分段包括将具有相似亮度级的画面单元分组在相同的图像分段中。具有相似亮度级的画面单元的邻近的各组趋向于属于相同的底层对象。类似地，具有相似的色彩级的画面单元的邻近的各组也趋向于属于相同的底层对象，并且所述分割可以替换地或者附加地包括把具有相似色彩的画面单元分组在相同的分段中。

为了简洁和清楚起见，下面的描述将集中于对单个分段(以下被标记为第一分段)的处理，但是应当理解，视频编码器优选地能够对于给定帧产生和处理多个画面单元。

分割处理器305耦合到偏移处理器307，该偏移处理器对于第一分段产生具有不同子像素偏移量的多个偏移画面单元。偏移处理器307优选地产生具有零偏移量的一个偏移分段，也就是说，未经修改的第一分段优选地是所述多个偏移分段当中的一个。另外，偏移处理器307优选地产生多个具有等距离偏移量的偏移画面。例如，如果产生四个偏移分段，那么偏移处理器307优选地产生具有偏移量(x，y)＝(0，0)的分段、具有偏移量的(x，y)＝(0.5，0)的另一个分段、具有偏移量(x，y)＝(0，0.5)的第三个分段以及具有偏移量(x，y)＝(0.5，0.5)的第四个分段。因此，在该示例中，产生对应于0.5像素的子像素精度或粒度的四个偏移分段。

偏移处理器307耦合到扫描处理器309，该扫描处理器接收各偏移分段。扫描处理器309还耦合到第一帧缓冲器301，并且对于每个偏移分段搜索第一帧以找到匹配图像分段。

具体来说，扫描处理器309可以通过下式确定距离或差异参数：

$D\left(S\right)=\underset{\mathrm{\Δr},\mathrm{\ΔyGS}}{\mathrm{\Σ}}(S(\mathrm{\Δx},\mathrm{\Δy})-P{(\mathrm{\Δx}+x,\mathrm{\Δy}+y))}^2$

其中S表示偏移分段，s(Δx，Δy)表示该分段中的相对位置(Δx，Δy)处的像素，并且P(a，b)表示在将被编码的第一帧中的位置(a，b)处的像素。

扫描处理器309通过评估所述距离参数来搜索所有可能的(x，y)值，并且对于给定的偏移分段将匹配分段确定为具有最低距离值的分段。另外，如果该距离值超过了给定阈值，就可以确定没有匹配分段，并且将不基于第一分段执行运动补偿。

扫描处理器309耦合到选择处理器311，该选择处理器选择对应于所需要的子像素位移的其中一个偏移分段。在所描述的实施例中，选择处理器311简单地选择具有最低距离参数的偏移分段。

选择处理器311耦合到位移数据处理器313，该位移数据处理器产生对应于第一分段的位移数据。在所描述的实施例中，位移数据处理器313产生用于第一分段的运动矢量，其中该运动矢量具有表示所选择的偏移画面单元的子像素位移部分和表示第一分段和匹配分段之间的整数像素偏移量的整数像素位移部分。具体来说，如果选择了(0，0)偏移分段，运动矢量可以作为(x_m，y_m)产生，如果选择了(0＝0.5，0)偏移分段，则作为(x_m+0.5，y_m)产生，如果选择(0，0.5)偏移分段，则作为(x_m，y_m+0.5)产生，并且如果选择(0.5，0.5)偏移分段，则作为(x_m+0.5，y_m+0.5)产生，其中x_m、y_m是为匹配图像分段计算的距离参数的x和y的整数值。

位移数据处理器313还耦合到偏移处理器307并且从那里接收所选择的偏移分段。位移数据处理器313还耦合到编码第一帧的编码单元315。特别地，相对于所选择的偏移分段来编码第一帧的匹配分段。

在所描述的实施例中，编码单元315通过从匹配分段中减去所选择的偏移分段的像素值来产生相对像素值。因此，使用本领域中公知的空间频率变换、量化和编码来对最终得到的相对帧进行编码。由于第一分段(和其它经处理的分段)的像素数据的值显著地减小，因此可以实现数据尺寸的显著减小。

编码单元315耦合到输出处理器317，该输出处理器还耦合到位移数据处理器313。输出处理器317产生视频编码器300的输出数据流。特别地，输出处理器317将对应于视频信号的各帧的编码数据、辅助数据、特定视频编码协议所需的控制信息等等相组合。另外，输出处理器317包括具有分数和整数部分的运动矢量形式的位移数据，其中分数部分表示所选择的偏移画面(因此表示所选择的子像素内插)，并且整数部分表示所内插的分段的第一帧中的偏移。然而，在所描述的实施例中，输出处理器317不包括任何限定所检测的图像分段的位置或尺寸的特定分段数据。

所述视频编码器从而提供移位运动估计编码，其中，参考帧的各分段被用于补偿第一(未来)帧。因此，对第一帧中的第一分段的位移和包含可以在对其进行解码之前或者在解码期间执行。因此，该视频编码器提供不需要预先了解用于解码第一帧的各分段的位置和尺寸的信号。另外，在执行子像素运动补偿时，产生非常高效且高质量的信号。

因此，所述视频编码器提供改进的质量对数据尺寸的比率，同时允许低复杂度实现方式。

附图4是根据本发明一个实施例的移位运动估计视频解码器400的示意图。在所描述的实施例中，视频解码器400接收由图3的视频编码器300产生的视频信号并且对其进行解码。

视频解码器400包括用来接收视频信号的各视频帧的接收帧缓冲器401。该视频解码器还包括存储用于解码视频信号的预测帧的参考帧的已解码参考帧缓冲器403。已解码参考帧缓冲器403耦合到视频编码器的输出，并且已解码参考帧缓冲器403接收根据所实施的编码协议的要求的合适的参考帧，正如本领域熟练技术人员将理解的那样。

下面将参考具体情况描述视频解码器的操作，其中，已解码参考帧缓冲器403包含对应于关于视频编码器300的操作描述的参考帧的已解码参考帧，并且接收帧缓冲器401包括对应于关于视频编码器300的操作描述的第一帧的预测帧。因此，已解码参考帧缓冲器403包括用于编码该预测帧并且将相应地用于对其进行解码的参考帧。另外，所接收的视频信号包括参考该参考帧的各图像分段的非整数运动矢量。然而，在所描述的实施例中，视频信号不包括与预测帧或参考帧的分段的尺寸相关的信息。因此，解码优选地不基于对预测帧中的各图像分段的标识，其还没有被解码因此不适于图像分段。然而，移位运动估计和补偿基于存储在已解码参考帧缓冲器403中的参考帧提供基于分段的运动补偿。

因此，已解码参考帧缓冲器403耦合到接收分段处理器405，该处理器对已解码的参考帧执行图像分段。该分段算法与视频编码器300的分段处理器305等效，并且因此标识相同的分段(或者大部分相同的分段)。因此，视频编码器300和视频编码器400通过单独的分段处理独立地产生基本上相同的图像分段。应当理解，优选地，由编码器标识的所有图像分段也由解码器标识，但是这对于操作而言不是必须的。

还应当理解，把用于编码的一个或多个图像分段与由接收分段处理器405产生的一个或多个图像分段相关联的任何适当功能或协议都可以被使用。

作为一个具体例子，视频编码器300可以包括用于每个运动矢量的位置标识，其对应于与运动矢量相关的所检测的图像分段的中心点。当接收该数据时，视频解码器可以将该运动矢量与包括该位置的由接收分段处理器405确定的图像分段相关联。从而，可以实现在视频编码器和视频解码器中独立确定的相应的图像分段之间的关联，而无需任何与图像分段的特性或尺寸相关的信息交换。这样提供了显著减小的数据率。

为了简便和清楚起见，下面的描述集中在由接收分段处理器405标识的第一分段的处理，但是应当理解，视频解码器优选地能够对于给定帧产生和处理多个画面单元。

接收分段处理器405被耦合来接收内插器407，该内插器在参考帧中内插第一图像分段以便产生对应于由视频编码器300选择的偏移分段的子像素偏移分段。

接收内插器407耦合到位移数据提取器409，该位移数据提取器409还耦合到接收帧缓冲器401。位移数据提取器409从所接收的视频信号中提取位移数据。它还将位移数据分离为子像素部分和整数像素部分，并且将子像素部分馈送到接收内插器407。

在所描述的实施例中，位移数据提取器409接收用于第一分段的运动矢量，并且将分数部分传送到位移数据提取器409。作为响应，位移数据提取器409在参考帧中执行内插，该内插与对于所选择的偏移分段在视频编码器中对于第一分段执行的内插相对应。因此，接收内插器407产生直接对应于视频解码器的所选择的偏移分段的图像分段。该图像分段具有子像素精度，从而提供更高质量的解码信号。

该视频编码器还包括偏移处理器411，该偏移处理器响应于位移数据的整数像素部分确定预测帧中的所产生的偏移分段的位置。特别地，偏移处理器411耦合到接收内插器407和位移数据提取器409并且从接收内插器407接收经过内插的分段，并且从位移数据提取器409接收对应于该分段的运动矢量的整数部分。偏移处理器411在预测帧的参考***中移动偏移画面单元，也就是说，它可以产生运动补偿帧，其中下式的操作用于该偏移分段中的所有像素：

p(x+Int[x_MV]，y+Int[y_MV])＝s₀(x，y)

其中p(x，y)是预测帧中的位置x，y处的像素单元，s₀(x，y)是参考帧中位于x，y位置处的偏移图像分段中的像素单元，并且(x_mv，y_mv)是用于该分段的运动矢量。

视频解码器400还包括耦合到偏移处理器411和接收帧缓冲器401的解码单元413。解码单元413使用由偏移处理器411产生的运动补偿帧来解码预测帧。特别地，第一帧可以作为向其加入运动补偿帧的相对图像而被解码，如本领域公知的那样。从而，解码单元413产生已解码的视频信号。

因此，根据所描述的实施例，公开了一种视频编码和解码***，该***使用允许具有子像素精度的基于分段的运动补偿的移位运动估计。因此，可以实现一种具有高质量对数据尺寸比率的非常有效的编码。

此外，子像素处理和偏移/内插是在整数偏移之前在参考帧中执行的，而不是在整数偏移之后才在预测帧中执行的。实验证明，这会得到显著改进的性能。

该实施例还提供相对低复杂度的实施方式，例如作为在合适的信号处理器上运行的软件程序。或者，该实施方式可以全部或部分地使用专用的硬件。

总之，本发明可以以任何合适的形式实施，包括硬件、软件、固件或者这些的任何组合。然而，本发明优选地实施为在一个或多个数据处理器和/或数字信号处理器上运行的计算机软件。本发明实施例的各元件和组件可以以任何合适的方式物理地、功能地和逻辑地实施。实际上，所述功能可以在单个单元中实施、在多个单元中实施、或者作为其它功能单元的一部分实施。因此，本发明可以在单个单元中实施或者可以物理地、功能地分布在不同的单元和处理器之间。

虽然已经参考优选实施例描述了本发明，但是不意图将本发明限制于本文陈述的具体形式。相反，本发明的范围仅由所附权利要求书限定。在权利要求书中，“包括”一次不排除存在其它元件或步骤。此外，虽然是单独列出的，但是多个装置、元件或方法步骤可以通过例如单个单元或处理器实施。另外，虽然各单独特征可以被包含在不同的权利要求中，但是这些特征可以被有利地组合，并且包含在不同权利要求中不意味着特征组合是不可行的和/或没有利的。另外，单数的附图标记不排除多个。因此，当提到“一个”、“第一”、“第二”等等时也不排除多个。

Claims (16)

1、一种用于编码视频信号以便产生视频数据的视频编码器；该视频编码器包括：

-对于参考帧中的至少第一画面单元产生(307)多个具有不同子像素偏移量的偏移画面单元的装置；

-对于所述多个偏移画面单元中的每一个搜索(309)第一帧以便找到匹配画面单元的装置；

-用于选择(311)所述多个偏移画面单元当中的第一偏移画面单元的装置；

-用于为该第一画面单元产生(313)位移数据的装置，该位移数据包括表示第一偏移画面单元的子像素位移数据和表示该第一画面单元与该匹配画面单元之间的整数像素偏移量的整数像素位移数据；

-相对于所选择的偏移画面单元来编码(315)该匹配画面单元的装置；以及

-用于将该位移数据包含(317)在视频数据中的装置。

2、如权利要求1中所述的视频编码器，其中，所述用于选择(311)的装置包括用于确定所述多个偏移画面单元当中的每一个与所述匹配画面单元之间的差异参数的装置以及用于选择所述第一偏移画面单元作为具有最小差异参数的偏移画面单元的装置。

3、如权利要求1中所述的视频编码器，还包括通过对所述参考帧的图像分段产生(305)所述第一画面单元的装置。

4、如权利要求3中所述的视频编码器，其中，所述视频编码器被配置成不把分段尺寸数据包含在视频数据中。

5、如权利要求1中所述的视频编码器，其中，所述视频编码器是基于块的视频编码器，并且所述第一画面单元是编码块。

6、如权利要求1中所述的视频编码器，其中，用于产生(307)所述多个偏移画面单元的装置适于通过像素内插产生至少一个偏移画面单元。

7、如权利要求1中所述的视频编码器，其中，所述位移数据是运动估计数据。

8、如权利要求7中所述的视频编码器，其中，所述位移数据是移位运动估计数据。

9、如权利要求1中所述的视频编码器，其中，所述多个偏移画面单元当中的一个偏移画面单元具有基本上为零的偏移量。

10、一种用于解码视频信号的视频解码器，所述视频解码器包括：

-用于接收(401)包括至少一个参考帧和预测帧以及用于该参考帧的多个画面单元的位移数据的视频信号的装置；

-用于确定(405)该参考帧的所述多个画面单元的第一画面单元的装置；-用于提取(409)对应于第一画面单元的位移数据的装置，该位移数据包括第一子像素位移数据和第一整数像素位移数据；

-用于通过响应于第一子像素位移数据偏移第一画面单元来产生(407)子像素偏移画面单元的装置；

-用于响应于第一图像中的第一画面单元的位置和第一整数像素位移数据来确定(411)该预测帧中的第二画面单元的位置的装置；以及

-用于响应于子像素偏移画面单元来解码(413)第二画面单元的装置。

11、如权利要求10中所述的视频解码器，其中，所述用于确定(405)第一画面单元的装置适于通过对所述第一帧的图像分段来确定所述第一画面单元。

12、如权利要求11所述的视频解码器，其中，所述视频数据不包括分段尺寸数据。

13、一种编码视频信号以产生视频数据的方法；该方法包括以下步骤：

-对于参考帧中的至少第一画面单元产生多个具有不同子像素偏移量的偏移画面单元；

-对于所述多个偏移画面单元当中的每一个搜索第一帧以便找到匹配画面单元；

-选择所述多个偏移画面单元当中的第一偏移画面单元；

-产生对应于第一画面单元的位移数据，该位移数据包括表示第一偏移画面单元的子像素位移数据和表示第一画面单元与该匹配画面单元之间的整数像素偏移量的整数像素位移数据；

-相对于所选择的偏移画面单元编码该匹配画面单元；以及

-将该位移数据包含在该视频数据中。

14、一种解码视频信号的方法，该方法包括以下步骤：

-接收包括至少一个参考帧和预测帧以及对应于该参考帧的多个画面单元的位移数据的视频信号；

-确定该参考帧的所述多个画面单元当中的第一画面单元；

-提取对应于第一画面单元的位移数据，该位移数据包括第一子像素位移数据和第一整数像素位移数据；

-通过响应于第一子像素位移数据偏移第一画面单元来产生子像素偏移画面单元；

-响应于第一图像中的第一画面单元的位置和第一整数像素位移数据来确定该预测帧中的第二画面单元的位置；以及

-响应于子像素偏移画面单元解码第二画面单元。

15、一种允许执行根据权利要求13或14的方法的计算机程序。

16、一种包括权利要求15中所述的计算机程序的记录载体。

Images