CN1575479A - 用于运动估算的单元和方法以及设有这种运动估算单元的图像处理设备 - Google Patents

Abstract

运动估算单元(100)包括块匹配器(102)，用于通过使预定的成本函数最小来计算起始运动矢量(110)，预定的成本函数作为匹配这个像素块(116)与另一个图像(120)的另一个像素块(122)的匹配标准。运动估算单元(100)还包括光流分析器(104)，用于基于起始运动矢量(110)来计算更新的运动矢量(111)，对于光流分析器(104)进行设计，以便找到对应于像素块(116)的相应像素的最合适的一组光流方程。这是通过对于像素块(116)的像素的光流方程的梯度矢量进行分析实现的。最后，运动估算单元(100)的选择器(106)通过比较起始运动矢量(110)与更新运动矢量(111)来选择运动矢量(126)。

Description

用于运动估算的单元和方法以及 设有这种运动估算单元的图像处理设备

技术领域

本发明涉及一种运动估算单元，用于产生对应于图像的像素块的运动矢量，包括：

-块匹配器，用于通过使预定的成本函数最小来计算起始运动矢量，预定的成本函数作为匹配这个像素块与另一个图像的另一个像素块的匹配标准；

-光流分析器，用于基于起始运动矢量并且基于像素块的第一像素的第一光流方程来计算更新的运动矢量；

-选择器，通过比较起始运动矢量的匹配标准的第一值与更新运动矢量的匹配标准的第二值，选择起始运动矢量或更新运动矢量作为运动矢量。

本发明还涉及一种产生与图像的像素块对应的运动矢量的方法，该方法包括如下步骤：

-块匹配，通过使预定的成本函数最小来计算作为匹配这个像素块与另一个图像的另一个像素块的匹配标准的起始运动矢量；

-光流分析，基于起始运动矢量并且基于像素块的第一像素的第一光流方程来计算更新的运动矢量；

-选择，通过比较起始运动矢量的匹配标准的第一值与更新运动矢量的匹配标准的第二值，选择起始运动矢量或更新运动矢量作为运动矢量。

本发明还涉及一种图像处理设备，包括；

-接收装置，用于接收代表要显示的图像的信号；

-这样的一个运动估算单元；和

-运动补偿图像处理单元。

背景技术

对于运动估算，通常分为两种主要的技术，即基于对应性的方法和基于光流的方法。前者适合于大的运动。基于光流的方法适合于小的运动，这种方法是快速和准确的。基于光流的方法的概念是使用光流方程(OFE)来计算运动矢量。光流方程简单来说就是描述亮度L沿运动轨迹是常数的假设的方程的线性化过程。对于固定的位置 x和速度v，可将常数-亮度假设写成如下的形式：

L( x+t v，t)＝const.，         (1)

利用运动矢量 ν＝(u，v)，对于t进行微分，则有：

$u\frac{\∂L}{\∂x}+v\frac{\∂L}{\∂y}=\frac{\∂L}{\∂t}--\left(2\right)$

或者改写成如下形式：

$\stackrel{\‾}{\mathrm{\ν}}\·\mathrm{grad}L=\frac{\∂L}{\∂t},--\left(3\right)$

块匹配方法属于基于对应性的方法。

在WO99/17256中公开了在本说明书开始段中描述的那种运动估算单元的一个实施例。在这个文献中，将相邻的时空候选对象用作块递归匹配过程的输入。此外，相对于块递归匹配过程的最佳候选对象测试另一个更新的矢量。计算这个更新矢量的方法是向当前的像素块施加一个局部的像素块递归过程，其中使用像素块递归匹配过程的最佳候选对象作为开始的矢量。所说的像素块递归过程是基于光流方程的。通过比较来自于像素递归的更新矢量与来自于像素块递归过程的起始矢量并且选择具有最佳匹配的一个矢量，就可获得最终的输出矢量。按照现有技术的这种运动估算单元相对于光流方程具有两个缺点。第一，像素递归方案导致基本上不可预期的存储访问，这对于硬件实施方案来说是不期望的。第二，为了解决孔径问题所选择的技术使这种方法易受噪声的影响。所谓的孔径问题指的是，必须求解两个未知数的单个光流方程，即，在方程(2)中u和v都是未知数。

发明内容

本发明的第一个目的是提供一种在本说明书开始段描述的这种类型的运动估算单元，设计所说的运动估算单元用来估算相对高质量的运动矢量场。

本发明的第二个目的是提供一种在本说明书开始段描述的这种类型的运动估算方法，所说的运动估算方法用来估算相对高质量的运动矢量场。

本发明的第三个目的是提供一种在本说明书开始段描述的这种类型的图像处理设备，所说的图像处理设备用来根据相对高质量的运动矢量场完成运动补偿图像处理。

为了实现第一个目的，对于光流分析器进行设计，以便从像素块中选择第一像素和第二像素，求解一组包括相应的第一光流方程和第二光流方程的方程，其中根据第一光流方程的第一梯度矢量和第二光流方程的第二梯度矢量进行选择。按照现有技术的运动估算单元与按照本发明的运动估算单元之间的主要差别是，按照本发明的运动估算单元的光流分析器不是递推的，而是基于像素块的。在按照现有技术的运动估算单元中，对应于像素块的每个像素的光流方程的解是逐个估算的，并且用这个解来估算对应于下一个像素的光流方程的解。在按照本发明的运动估算单元中，寻找并使用与最合适的光流方程相关的像素。理想的情况是，在这组方程中选择对于 ν＝(u，v)可导致最可靠的解的那些光流方程。典型的情况是需要两个光流方程。除了退化情况以外，这对于 ν＝(u，v)将给出一个唯一解。通过适当地选择像素，可抑制噪声的影响。其结果是得到一个相当准确的运动矢量场。这例如对于编码应用有好处，因为剩余的图像数据很少。从高质量的运动矢量场受益的另一个应用是解交错，因为在这里运动矢量场的子像素的准确性是至关重要的。另一个优点是，好的候选对象可以稳定运动估算单元，使错误的候选对象(即与真正的运动不对应但又偶然表现出很低的匹配误差的候选答案)被选中的情况不太可能发生。

求解光流方程的通用方法是附加一个平滑约束以克服这个孔径问题。Hom和Schunk在文章“确定光流”(人工智能，1981年，第17卷，第185-203页)中公开了这种处理方法的一个例子。平滑约束项是非线性的，必须进行一个迭代过程来求解程，这比按照本发明的方法更复杂。

在按照本发明的运动估算单元的一个实施例中，对于光流分析器进行设计，使其可以：

-对于像素块的一系列像素计算光流方程的梯度矢量对的叉积，特定的叉积值对应于包括第一梯度矢量和第二梯度矢量在内的特定的梯度矢量对；和

-如果与这个叉积值相比特定的叉积值相对较大，则选择第一像素和第二像素。

解的可靠性取决于所涉及的梯度矢量的长度以及它们之间的角度。当梯度矢量很短，或者几乎平行，噪声的影响被放大。通过叉积来度量长度和平行度这两者，对于二维矢量来说，叉积是一个标量。现在引入下面的记法：

-像素块中的像素用单个角标i或j表示；

$-X=\frac{\∂L}{\∂x},$ $Y=\frac{\∂L}{\∂y},$ $T=\frac{\∂L}{\∂t};$

-L_i是在角标为i的块中像素的亮度值；

-X_i是在这个像素处的L相对于x的导数；

-Y_i是在这个像素处的L相对于y的导数；

-T_i是在这个像素处的L相对于t导数；

-g₁：＝(X_i，Y_i)是对应于像素i的梯度矢量。

在第一梯度矢量g_i和第二梯度矢量g_j之间的叉积是：

$g_i\×g_j=X_i{Y}_j-Y_i{X}_j=\left|\right|g_i\left|\right|\left|\right|g_j\left|\right|\sin \left(\mathrm{angle}(g_i,g_j)\right)--\left(4\right)$

通过找到绝对叉积值g_i×g_j相对较大的梯度矢量对，就可以实现优良的可靠性。

在按照本发明的运动估算单元的一个实施例中，对于光流分析器进行设计，使其可以对于像素块的像素的光流方程的所有可能的梯度矢量对计算叉积值，以便选择第一像素和第二像素。开发这个实施例是为了得到最简单的处理方法，找到叉积值实际最大的梯度矢量对。其优点在于这种方法最有可能得到最佳的结果。然而，这个简单的方法的时间复杂性对于梯度矢量的数目来说是二次的。例如，对于维数为8×8的一个像素块，大约需要2000次运算。

在按照本发明的运动估算单元的另一个实施例中，对于光流分析器进行设计，使其可以：

-对于像素块的一系列像素计算光流方程的梯度矢量的长度值，特定的长度值与第一梯度矢量相关；和

-如果与这个长度值相比特定的长度值相对较大，则选择第一像素。

首先，按照欧几里得范数在梯度矢量中选择相对较长的梯度矢量。优选地，选择最长的梯度矢量。然后，选择第二梯度矢量，这个第二梯度矢量与最长的梯度矢量的叉积值最大。按照本发明的光流方程对于每个梯度矢量只考虑两次，因而按线性时间运行。可以看出，最终的叉积值没能达到实际的最大值，最多相差2倍。

在按照本发明的运动估算单元的另一个实施例中，对于光流分析器进行设计，使其可以：

-对于像素块的3个像素，反复计算来自于光流方程的3个梯度矢量的3对叉积值中的3个叉积值；

-反复地比较这3个叉积值，以确定像素块的这3个像素的光流方程的3个梯度矢量中的哪两个梯度矢量产生了最大的叉积值；

-反复地产生新的梯度矢量对，新的梯度矢量对包括3个梯度矢量中的这两个以及另一个梯度矢量(如果有的话)；

-选择对应于3个梯度矢量中的这两个梯度矢量的第一像素和第二像素。

将两个“当前的”梯度矢量保存在存储器内，如g_A和g_B它们可利用g₁和g₂初始化。对于每个新的g_k，确定下述的3个叉积值中的哪一个的绝对值最大：g_A×g_B、g_k，×g_B、g_A×g_k，。梯度矢量对(g_A、g_B)然后由对应于最大叉积值的梯度矢量对代替。换言之，反复地取出3个梯度矢量构成的组来计算叉积值。根据叉积值，用新的梯度矢量代替这一组中的一个梯度矢量。按照本发明的这个光流分析器所执行的算法也是线性的，但光流分析器只需对梯度矢量访问一次。但仍无法保证找到的叉积值在实际最大可能值的不变的倍数内。

按照本发明的运动估算的一个实施例，块匹配器是递归的。在文章“利用3维递归搜寻的块匹配方法的真正运动估算”(G.de Haan等人，有关“用于视频技术的电路和***”的IEEE学报中第3卷，第5期，1993年10月，第368-379页)中公开了一个比较好的运动估算单元。这种3DRS块匹配器在原理上可以准确到1/4个像素。这个精确度在大的织构区进行平动运动时的确可以实现，例如在摄像机摇摄(pan)时。然而，在较小的区域或者在具有比效复杂的运动的区域，例如变焦移动，3DRS匹配器就必须选择许多更新的候选对象，这是不期望的，因为在一般情况下这将导致空间一致性的下降。出于这个理由，通过惩罚补偿来抑制更新的候选对象。这将导致在空间上和时间上稳定的矢量场，但也导致子优化的精确度。按照本发明的这个实施例将块匹配方法和基于光流的方法这两者的好的方面组合在一起。这一思路就是使用像素块匹配器寻找起始矢量场，达到中等精确度。剩余的运动矢量是足够地小，可以允许光流分析器应用光流方法。与按照现有技术的3DRS块匹配器相比，必须考虑的更新候选对象的数目较少，因为运动的跟踪主要是由光流分析器完成的。这就改善了运动估算单元的效率。

图像处理设备的改进和它的变化对应于所述的运动估算单元的改进和它的变化。图像处理设备可以包括一些附加的部件，例如用于接收代表图像的信号的接收装置，用于显示处理的图像的显示装置。运动补偿图像处理单元可以支持下述类型图像处理中的一项或多项：

-解交错(de-interlacing)：交错是普通的视频广播过程，用于交替地发送奇数或偶数图像行。解交错试图恢复全垂直分辨率，即，使奇数行和偶数行可为每个图像同时利用；

-上变换(up-conversion)：计算来自于一系列初始输入图像中一个较大系列的输出图像；和

-临时的噪声减小。这还可能涉及空间处理，导致空间-时间的噪声减小。

附图说明

从以下结合附图对本发明的实施方案和实施例的描述中，按照本发明的运动估算单元及其方法以及图像处理设备的这些和其它方面都将变得显而易见，其中：

图1A示意地表示运动估算单元的一个实施例；

图1B更加详细地示意地表示运动估算单元的一个实施例；

图2示意地表示图像处理设备的一个实施例；

在所有的图中，相应的标号具有相同的含义。

具体实施方式

图1A示意地表示按照本发明的运动估算单元100的一个实施例。对于运动估算单元100进行设计，使其可以产生对应于图像118的像素块116的运动矢量126。一个图像的的所有的运动矢量称之为运动矢量场124。运动估算单元100包括：

-块匹配器102，用于通过使预定的成本函数最小计算起始运动矢量110，所说的预定的成本函数是匹配像素块116与另一个图像120的另一个像素块122的匹配标准；

-光流分析器104，用于根据起始运动矢量110计算更新运动矢量111，对于光流分析器104进行设计以从像素块116选择第一像素和第二像素，从而可以求解包括相应的第一光流方程和第二光流方程在内的一组方程，基于第一光流方程的第一梯度矢量和第二光流方程的第二梯度矢量进行这种选择；和

-选择器106，通过比较起始运动矢量110的匹配标准的第一值与更新运动矢量111的匹配标准的第二值，选择起始运动矢量110或更新运动矢量111，以此作为运动矢量126。

运动估算单元100的输入包括图像，这个输入在输入连接器112上提供。运动估算单元100的输出是运动矢量场例如124，这个输出在输出连接器114上提供。

图1B更加详细地示意表示出结合图1A所述的运动估算单元100的实施例。块匹配器102的行为如下。首先，产生装置202针对像素块116产生一组候选运动矢量。然后，块匹配误差计算器206针对这些候选运动矢量计算匹配误差。然后，选择器204根据这些匹配误差从这些候选运动矢量组中选择起始运动矢量110。选择这个起始运动矢量110是因为它的匹配误差具有最小值。由块匹配误差计算器206计算的匹配误差对应于SAD：在图像118的像素块116的像素和对应于像素块116的由候选运动矢量位移的下一个图像120的另一个像素块122的像素之间的绝对亮度差之和。

光流分析器104的行为如以下所述。梯度运算器208、210、212分别在x、y、和时间方向计算亮度梯度。在一般情况下，计算像素块的所有像素的梯度。在只对一部分像素块使用光流方程时，必须计算较少的梯度。通过梯度分析器214来分析梯度矢量，以找到最合适的像素以及对应的光流方程。按照方程(2)，其结果是一组两个光流方程。在方程(5)中给出了这组方程。要注意的是，在这种情况下，角标i、j表示的是最合适的光流方程。

uX_i+vY_i+T_i＝0

uX_j+vY_j+T_j＝0            (5)

求解方程(4)可得到更新运动矢量 ν＝(u，v)111：

$u=\frac{T_i{Y}_j-T_j{Y}_i}{X_i{Y}_j-Y_i{X}_j}$

$v=\frac{T_j{X}_i-T_i{X}_j}{X_i{Y}_j-Y_i{X}_j}$

最后，通过选择器106分析这两个运动矢量，即由块匹配器102计算的起始运动矢量110和由光流分析器104计算的更新运动矢量111，从而可以选择运动矢量126。为此，块匹配误差计算器216对于两个运动矢量计算匹配误差，例如根据绝对差之和进行这种计算。然后，选择器218根据这些匹配误差选择运动矢量126。所选的运动矢量126是其它像素块的可能的候选运动矢量。因此，向块匹配器102的产生装置202提供所选的运动矢量126。

对于梯度分析器进行设计，以采取下述方法搜寻最合适的光流方程：

-对于像素块匹配器116的一系列像素的光流方程的所有可能的梯度矢量对，计算叉积值。具有最大叉积值的梯度矢量对对应于最合适的光流方程。

-首先，按照欧几里得范数在梯度矢量中选择最长的梯度矢量。而后，选择第二梯度矢量，所说的第二梯度矢量与最长的梯度矢量的叉积值最大。

-重复地取由3个梯度矢量构成的组以计算叉积值。根据叉积值，用新的梯度矢量替换这个组中的一个梯度矢量。这就是说，不属于具有最大叉积值的梯度矢量对的一部分的梯度矢量要由新的梯度矢量代替。经过控制接口220，可以选择这些方法中的一个。

图2示意地表示出图像处理设备200的各个部件，它包括；

-接收装置201，用于接收代表在进行了某些处理后要显示的图像的信号。这个信号可以是经过天线或电缆接收的广播信号，或者还可以是来自于存储装置的信号，如VCR(视频盒式录象机)或数字通用盘(DVD)。这个信号在输入连接器207上提供。

-结合图1A和1B描述的运动估算单元；

-运动补偿图像处理单元203；和

-显示器件205，用于显示处理的图像。这个显示器件是光学的。

运动补偿图像处理单元203需要图像和运动矢量作为它的输入。

应该注意的是，上述的实施例说明了本发明，而不是限制了本发明，本领域的普通技术人员可以设计出另外的实施例而不会偏离所附的权利要求书的范围。在权利要求书中，放在括号之间的任何标号不认为是对本权利要求的限制。术语“包括”不排除存在没有列在权利要求中的部件或步骤。在部件前边的“一个”并不排除存在多个这样的部件。本发明可以借助于包括几个不同的部件在内的硬件来实施，并且可以借助于适当编程的计算机来实施。在列举了几个装置的设备权利要求中，通过一个和相同项目的硬件可以实施这几个装置。要注意的是，块匹配误差计算器216和206的功能是相似的。选择这两种装置中的任何一个可能实现两项任务。对于选择器204和218，情况亦是如此。

Claims (11)

1.一种运动估算单元(100)，用于产生对应于图像(118)的像素块(116)的运动矢量(126)，包括：

-块匹配器(102)，用于通过使预定的成本函数最小来计算起始运动矢量(110)，所述的预定的成本函数是匹配所述像素块(116)与另一个图像(120)的另一个像素块(122)的匹配标准；

-光流分析器(104)，用于基于起始运动矢量(110)并且基于像素块(116)的第一像素的第一光流方程来计算更新的运动矢量(111)；

-选择器(106)，通过比较起始运动矢量(110)的匹配标准的第一值与更新运动矢量(111)的匹配标准的第二值，选择起始运动矢量(110)或更新运动矢量(111)作为运动矢量(126)，其特征在于：对于光流分析器(104)进行设计，以便从像素块(116)中选择第一像素和第二像素，求解一组包括相应的第一光流方程和第二光流方程的方程，其中根据第一光流方程的第一梯度矢量和第二光流方程的第二梯度矢量进行选择。

2.根据权利要求1所述的运动估算单元(100)，其特征在于对于光流分析器(104)进行设计，使其可以：

-对于像素块(116)的一系列像素计算光流方程的梯度矢量对的叉积值，特定的叉积值对应于包括第一梯度矢量和第二梯度矢量在内的特定的梯度矢量对；和

-如果与这个叉积值相比特定的叉积值相对较大，则选择第一像素和第二像素。

3.根据权利要求2所述的运动估算单元(100)，其特征在于对于光流分析器(104)进行设计，使其可以计算像素块(116)的像素的光流方程的所有可能的梯度矢量对，以便选择第一像素和第二像素。

4.根据权利要求2所述的运动估算单元(100)，其特征在于对于光流分析器(104)进行设计，使其可以：

-对于像素块(116)的一系列像素计算光流方程的梯度矢量的长度值，特定的长度值与第一梯度矢量相关；和

-如果与这个长度值相比，特定的长度值相对较大，则选择第一像素。

5.根据权利要求2所述的运动估算单元(100)，其特征在于对于光流分析器(104)进行设计，使其可以：

-对于像素块(116)的3个像素反复计算来自于光流方程的3个梯度矢量的3对的3个叉积值；

-反复地比较这3个叉积值，以确定像素块(116)的这3个像素的光流方程的3个梯度矢量中的哪两个梯度矢量产生了最大的叉积值；

-反复地产生新的梯度矢量对，新的梯度矢量对包括3个梯度矢量中的这两个以及另一个梯度矢量(如果有的话)；

-选择对应于3个梯度矢量中的这两个梯度矢量的第一像素和第二像素。

6.根据权利要求1所述的运动估算单元(100)，其特征在于块匹配器(102)是递归的。

7.一种产生与图像(118)的像素块(116)对应的运动矢量(126)的方法，该方法包括如下步骤：

-块匹配，通过使预定的成本函数最小来计算起始运动矢量(110)，预定的成本函数作为匹配所述像素块(116)与另一个图像(120)的另一个像素块(1220的匹配标准；

-光流分析，基于起始运动矢量(110)并且基于像素块(116)的第一像素的第一光流方程来计算更新的运动矢量(111)；

-选择，通过比较起始运动矢量(110)的匹配标准的第一值与更新运动矢量(111)的匹配标准的第二值，选择起始运动矢量(110)或更新运动矢量(111)作为运动矢量(126)，其特征在于：在光流分析步骤中，从像素块(116)中选择第一像素和第二像素，求解一组包括相应的第一光流方程和第二光流方程的方程，其中根据第一光流方程的第一梯度矢量和第二光流方程的第二梯度矢量进行选择。

8.一种图像处理设备(200)，包括：

-用于接收代表要显示的图像(118)的信号的接收装置(201)；

-用于产生对应于图像(118)的像素块(116)的运动矢量(126)的运动估算单元(100)，所述运动估算单元(100)包括：

*块匹配器(102)，用于通过使预定的成本函数最小来计算起始运动矢量(1110)，所述预定的成本函数作为匹配这个像素块(116)与另一个图像(120)的另一个像素块(122)的匹配标准；

*光流分析器(104)，用于基于起始运动矢量(110)并且基于像素块(116)的第一像素的第一光流方程来计算更新的运动矢量(111)；

*选择器(106)，通过比较起始运动矢量(110)的匹配标准的第一值与更新运动矢量(111)的匹配标准的第二值，选择起始运动矢量(110)或更新运动矢量(111)作为运动矢量(126)；和

-运动补偿图像处理单元(203)，其特征在于：对于光流分析器(104)进行设计，以便从像素块(116)中选择第一像素和第二像素，求解一组包括相应的第一光流方程和第二光流方程的方程，其中根据第一光流方程的第一梯度矢量和第二光流方程的第二梯度矢量进行选择。

9.根据权利要求8所述的图像处理设备(200)，其特征在于：对于运动补偿图像处理单元(203)进行设计，以减小图像(118)中的噪声。

10.根据权利要求8所述的图像处理设备(200)，其特征在于：对于运动补偿图像处理单元(203)进行设计，以使图像(118)解交错。

11.根据权利要求8所述的图像处理设备(200)，其特征在于：对于运动补偿图像处理单元(203)进行设计，以便能够上行转换。

Images