CN103139562B - 运动估计方法和装置 - Google Patents

Abstract

公开了一种运动估计方法和装置。该运动估计方法包括：通过分别对当前帧中的像素和参考帧中的像素进行采样，得到与当前帧对应的当前画面和与参考帧对应的参考画面；通过在参考画面中进行全搜索，找出当前画面中的每个基本像素单元的最佳运动矢量，作为当前帧中的每个宏块的多像素精度的最佳运动矢量，其中当前画面中的每个基本像素单元分别与当前帧中的每个宏块相对应，并且参考画面中的每个基本像素单元分别与参考帧中的每个宏块相对应。

Description

运动估计方法和装置

技术领域

本发明涉及图像处理领域，更具体地涉及一种运动估计方法和装置。

背景技术

运动估计(MotionEstimation)是视频处理(例如，视频编码、视频去交织)中广泛使用的一种技术。运动估计的基本思想是将图像序列中的每一帧划分成许多互不重叠的宏块，并认为每个宏块内所有像素的位移量相同，然后在参考帧的某一特定搜索范围内根据一定的匹配准则找出与当前宏块最相似的块(即，当前宏块的匹配块)，匹配块与当前宏块的相对位移即为当前宏块的运动矢量。

在视频压缩时只需保存当前宏块相对于其匹配块的运动矢量和残差数据，就可以在视频解压缩时完全恢复出当前宏块。通常在视频处理中需要在参考帧的很大搜索范围内进行运动搜索才能找出当前宏块的最佳运动矢量(即，找出与当前宏块最相似的匹配块)。为了得到当前宏块的最佳运动矢量，需要在搜索范围内进行全搜索。全搜索检查所有可能的运动矢量候选，并且提供最精确的结果，但是处理时间非常长。

发明内容

鉴于以上问题，本发明提供了一种新颖的运动估计方法和装置。

根据本发明实施例的运动估计方法包括：通过分别对当前帧中的像素和参考帧中的像素进行采样，得到与当前帧对应的当前画面和与参考帧对应的参考画面；通过在参考画面中进行全搜索，找出当前画面中的每个基本像素单元的最佳运动矢量，作为当前帧中的每个宏块的多像素精度的最佳运动矢量，其中当前画面中的每个基本像素单元分别与当前帧中的每个宏块相对应，并且参考画面中的每个基本像素单元分别与参考帧中的每个宏块相对应。

根据本发明实施例的运动估计装置包括：像素采样单元，用于通过分别对当前帧中的像素和参考帧中的像素进行采样，得到与当前帧对应的当前画面和与参考帧对应的参考画面；第一搜索单元，用于通过在参考画面中进行全搜索，找出当前画面中的每个基本像素单元的最佳运动矢量，作为当前帧中的每个宏块的多像素精度的最佳运动矢量，其中当前画面中的每个基本像素单元分别与当前帧中的每个宏块相对应，并且参考画面中的每个基本像素单元分别与参考帧中的每个宏块相对应。

通过本发明，可以在非常短的时间内找出当前帧中每个宏块的多像素精度的最佳运动矢量。

附图说明

从下面结合附图对本发明的具体实施方式的描述中可以更好地理解本发明，其中：

图1示出了对参考帧/当前帧进行采样的示例；

图2示出了在16×16的帧间编码模式下用于搜索当前帧中的任意一个宏块的整像素精度的最佳运动矢量的参考区域；

图3示出了根据本发明实施例的运动估计装置的框图；以及

图4示出了根据本发明实施例的运动估计方法的流程图。

具体实施方式

下面将详细描述本发明各个方面的特征和示例性实施例。下面的描述涵盖了许多具体细节，以便提供对本发明的全面理解。但是，对于本领域技术人员来说显而易见的是，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更清楚的理解。本发明绝不限于下面所提出的任何具体配置和算法，而是在不脱离本发明的精神的前提下覆盖了相关元素、部件和算法的任何修改、替换和改进。

为了在有限的时间内在参考帧上执行全搜索从而找出当前宏块的最佳运动矢量，本发明提出了一种快速全搜索方法。

根据本发明的一个实施例，为了执行快速全搜索，首先需要对参考帧和当前帧进行采样。图1示出了对参考帧/当前帧进行采样的示例。其中，图1中所示的像素帧可以被看作参考帧，也可以被看作当前帧。

如图1所示，对参考帧/当前帧中的每个4×4块中的像素进行采样，以得到参考画面/当前画面。其中，对参考帧/当前帧中的每个4×4块中的一个特定位置的像素进行采样；并且参考帧/当前帧中的所有4×4块的像素采样位置都是相同的。例如，图1中示出了对参考帧/当前帧中的每个4×4块的第一行、第一列的像素进行采样。但是本领域技术人员应该明白，每个4×4块的像素采样位置不限于图1中所示的位置，而可以是预先设定的任何位置。另外，参考帧中的像素采样位置与当前帧中的像素采样位置相同。

经过图1所示的采样得到的参考画面和当前画面的大小均为参考帧和当前帧的1/16(1/4宽度×1/4高度)。所以，在参考画面中进行全搜索从而得到当前画面中的每个4×4块(当前画面中的每个4×4块与当前帧中的每个宏块相对应)的最佳运动矢量仅需要1/16的处理时间(该处理时间是通过对参考帧进行全搜索得出当前帧中的每个宏块的整像素精度的最佳运动矢量所需的时间)。

显然，通过基于图1所示的采样过程得出的参考画面和当前画面进行全搜索得出的当前画面中每个4×4块的最佳运动矢量是4像素精度的运动矢量。而在实际的图像处理中，为了确保运动估计的质量，应该执行整像素精度的运动搜索。所以，需要在以根据前述4像素精度的运动矢量找出的参考区域为中心的更大的参考区域内执行全搜索。

例如，对于16×16的帧间编码模式来说，对于当前帧中的任意一个宏块B，需要根据当前画面中与宏块B相对应4×4块b的4像素精度的运动矢量在参考帧中找出与宏块B对应的参考区域R，并在以参考区域R为中心的24×24的区域中进行全搜索，从而得出宏块B的整像素精度的最佳运动矢量。图2示出了在16×16的帧间编码模式下用于搜索当前帧中的任意一个宏块B的整像素精度的最佳运动矢量的参考区域。如图2所示，在根据当前画面中与宏块B对应的4×4块b的4像素精度的运动矢量在参考帧中找出与宏块B对应的16×16的参考区域R之后，分别在上、下、左、右四个方向将16×16的参考区域R扩展4个像素，即可得到与宏块B对应的24×24的用于全搜索的区域。

例如，对于16×8的帧间编码模式来说，对于从当前帧中的任意一个宏块B分割出的一个16×8块B’，需要当前画面中与宏块B对应的4×4块b的4像素精度的运动矢量在参考帧中找出与16×8块B’对应的参考区域R，并在以参考区域R为中心的24×16的区域中进行全搜索，从而得出16×8块B’的整像素精度的最佳运动矢量。与图2所示的过程类似，在根据当前画面中与宏块B对应的4×4块b的4像素精度的运动矢量在参考帧中找出与16×8块B’对应的16×8的参考区域R之后，分别在上、下、左、右四个方向将16×8的参考区域R扩展4个像素，即可得到与该16×8块B’对应的24×16的用于全搜索的区域。

对于其他帧间编码模式，依此类推。也就是说，对于某种帧间编码模式，在根据当前画面中与宏块B对应的4×4块b的4像素精度的运动矢量在参考帧中找出根据该帧间编码模式从宏块B分割出的某个大小的子块B’的参考区域R之后，分别在上、下、左、右四个方向将参考区域R扩展4个像素，即可得到与子块B’对应的用于全搜索的区域。

在得出各种帧间编码模式下各种子块的整像素精度的最佳运动矢量后，计算在各种帧间编码模式下对于宏块B的编码代价，从而找出编码代价最小的一种帧间编码模式作为宏块B的最佳帧间编码模式。

图3示出了根据本发明实施例的运动估计装置的框图。图4示出了根据本发明实施例的运动估计方法的流程图。下面结合图3和图4，详细描述根据本发明实施例的运动估计装置和方法。

如图4所示，该运动估计装置包括像素采样单元302和第一搜索单元304。其中，像素采样单元302通过分别对当前帧中的像素和参考帧中的像素进行采样，得到与当前帧对应的当前画面和与参考帧对应的参考画面(S402)；第一搜索单元通过在参考画面中进行全搜索，找出当前画面中的每个基本像素单元的最佳运动矢量，作为当前帧中的每个宏块的多像素精度的最佳运动矢量(S404)。其中，当前画面中的每个基本像素单元分别与当前帧中的每个宏块相对应，并且参考帧中的每个基本像素单元分别与参考帧中的每个宏块相对应。

在一个实施例中，像素采样单元302可以通过结合图1描述的采样过程对当前帧和参考帧中的像素进行采样。即，像素采样单元302可以对参考帧和当前帧中的每个宏块所包含的每个4×4块中的一个特定位置的像素进行采样，以得出与参考帧对应的参考画面和与当前帧中对应的当前画面。其中，参考画面的大小为参考帧的1/16，当前画面的大小为当前帧的1/16，参考画面中的每个4×4块(即，基本像素单元)分别与参考帧中的每个宏块对应，当前画面中的每个4×4块(即，基本像素单元)分别与当前帧中的每个宏块对应。

然后，第一搜索单元304可以通过在参考画面中进行全搜索，找出当前画面中的每个4×4块的最佳运动矢量。这里，第一搜索单元304可以将当前画面中的每个4×4块的最佳运动矢量看作当前画面中的每个宏块的4像素精度的最佳运动矢量。

接着，在特定的帧间编码模式中，为了得到根据该帧间编码模式从当前帧中的任意一个宏块分割出的任意一个子块的整像素精度的最佳运动矢量，根据本发明实施例的运动估计装置进一步包括区域查找单元306和第二搜索单元308。

其中，对于当前帧中的任意一个宏块B，区域查找单元306根据当前画面中的与宏块B对应的基本像素单元b的最佳运动矢量，在参考帧中找出与根据特定帧间编码模式从宏块B分割出的任意一个子块B’对应的参考区域；第二搜索单元308对与子块B’对应的参考区域进行扩展，并在扩展后的参考区域中进行全搜索以找出子块B’的整像素精度的最佳运动矢量。其中，区域查找单元306可以利用结合图2描述的过程来进行处理。综上所述，本发明通过基于采样得出的参考画面和当前画面找出当前画面中每个基本像素单元的最佳运动矢量，然后利用当前画面中每个基本像素单元的最佳运动矢量来找出在参考帧中进行全搜索以得出当前帧中每个宏块的整像素精度的最佳运动矢量的参考区域，加快了处理速度，减少了处理时间，从而节省了硬件资源。

以上已经参考本发明的具体实施例来描述了本发明，但是本领域技术人员均了解，可以对这些具体实施例进行各种修改、组合和变更，而不会脱离由所附权利要求或其等同物限定的本发明的精神和范围。

根据需要可以用硬件或软件来执行步骤。注意，在不脱离本发明范围的前提下，可向本说明书中给出的流程图添加步骤、从中去除步骤或修改其中的步骤。一般来说，流程图只是用来指示用于实现功能的基本操作的一种可能的序列。

本发明的实施例可利用编程的通用数字计算机、利用专用集成电路、可编程逻辑器件、现场可编程门阵列、光的、化学的、生物的、量子的或纳米工程的***、组件和机构来实现。一般来说，本发明的功能可由本领域已知的任何手段来实现。可以使用分布式或联网***、组件和电路。数据的通信或传送可以是有线的、无线的或者通过任何其他手段。

还将意识到，根据特定应用的需要，附图中示出的要素中的一个或多个可以按更分离或更集成的方式来实现，或者甚至在某些情况下被去除或被停用。实现可存储在机器可读介质中的程序或代码以允许计算机执行上述任何方法，也在本发明的精神和范围之内。

此外，附图中的任何信号箭头应当被认为仅是示例性的，而不是限制性的，除非另有具体指示。当术语被预见为使分离或组合的能力不清楚时，组件或者步骤的组合也将被认为是已经记载了。

Claims (8)

1.一种运动估计方法，包括：

通过分别对当前帧中的像素和参考帧中的像素进行采样，得到与当前帧对应的当前画面和与参考帧对应的参考画面；

通过在所述参考画面中进行全搜索，找出所述当前画面中的每个基本像素单元的最佳运动矢量，作为所述当前帧中的每个宏块的多像素精度的最佳运动矢量，其中

所述当前画面中的每个基本像素单元分别与所述当前帧中的每个宏块相对应，并且所述参考画面中的每个基本像素单元分别与所述参考帧中的每个宏块相对应：

对于所述当前帧中的任意一个宏块，根据所述当前画面中的与所述一个宏块对应的基本像素单元的最佳运动矢量，在所述参考帧中找出与根据特定帧间编码模式从所述一个宏块分割出的每个子块相对应的参考区域；以及

对于根据所述特定编码模式从所述一个宏块分割出的任意一个子块，对与所述一个子块相对应的参考区域进行扩展，并在扩展后的参考区域中进行全搜索以找出所述一个子块的整像素精度的最佳运动矢量。

2.根据权利要求1所述的运动估计方法，其特征在于，对所述当前帧中的每个宏块中的固定位置的像素进行采样，并对所述参考帧中的每个宏块中的固定位置的像素进行采样。

3.根据权利要求2所述的运动估计方法，其特征在于，对所述当前帧中的每个宏块所包含的每个4×4块中的一个固定位置的像素进行采样，并对所述参考帧中的每个宏块所包含的每个4×4块中的一个固定位置的像素进行采样。

4.根据权利要求1至3中任一项所述的运动估计方法，其特征在于，所述当前帧的像素采样位置与所述参考帧的像素采样位置相同。

5.一种运动估计装置，包括：

像素采样单元，用于通过分别对当前帧中的像素和参考帧中的像素进行采样，得到与当前帧对应的当前画面和与参考帧对应的参考画面；

第一搜索单元，用于通过在所述参考画面中进行全搜索，找出所述当前画面中的每个基本像素单元的最佳运动矢量，作为所述当前帧中的每个宏块的多像素精度的最佳运动矢量，其中

所述当前画面中的每个基本像素单元分别与所述当前帧中的每个宏块相对应，并且所述参考画面中的每个基本像素单元分别与所述参考帧中的每个宏块相对应：

区域查找单元，用于对于所述当前帧中的任意一个宏块，根据所述当前画面中的与所述一个宏块对应的基本像素单元的最佳运动矢量，在所述参考帧中找出与根据特定帧间编码模式从所述一个宏块分割出的每个子块对应的参考区域；以及

第二搜索单元，对于根据所述特定编码模式从所述一个宏块分割出的任意一个子块，对与所述一个子块对应的参考区域进行扩展，并在扩展后的参考区域中进行全搜索以找出所述一个子块的整像素精度的最佳运动矢量。

6.根据权利要求5所述的运动估计装置，其特征在于，所述像素采样单元对所述当前帧中的每个宏块中的固定位置的像素进行采样，并对所述参考帧中的每个宏块中的固定位置的像素进行采样。

7.根据权利要求6所述的运动估计装置，其特征在于，所述像素采样单元对所述当前帧中的每个宏块所包含的每个4×4块中的一个固定位置的像素进行采样，并对所述参考帧中的每个宏块所包含的每个4×4块中的一个固定位置的像素进行采样。

8.根据权利要求5至7中任一项所述的运动估计装置，其特征在于，所述当前帧的像素采样位置与所述参考帧的像素采样位置相同。