CN1656514A - 估计运动矢量的单元和方法 - Google Patents

Abstract

运动估计单元(100)被安排成估计第一像素组(212)的当前运动矢量，包括：产生单元(106)，用从先前估计的运动矢量组中提取的候选运动矢量产生第一像素组(212)的候选运动矢量组；匹配误差单元(102)，用于计算各候选运动矢量的匹配误差；和选择单元(104)，用于从候选运动矢量中选择当前运动矢量。运动估计单元(100)被安排成根据将第一图像分割为像素段的结果来调整匹配误差，其中分割结果与第一像素组和第二像素组都对应于相同段的概率有关，其中候选运动矢量是根据该概率确定的。

Description

估计运动矢量的单元和方法

本发明涉及一种用于估计图像像素组的当前运动矢量的运动估计单元，包括：

-产生装置，用于产生第一像素组的候选运动矢量组，所述候选运动矢量从先前估计的运动矢量组中提取；

-匹配误差单元，用于计算各个候选运动矢量的匹配误差，第一个候选运动矢量的匹配误差基于第一分量和第二分量，第一分量对应于第一像素组的像素值与第二图像的第二像素组的像素值的比较，第二分量取决于第一像素组与已经为其估计了第一个先前估计的运动矢量的第三像素组之间的关系，第一个候选运动矢量基于第一个先前估计的运动矢量；和

-选择单元，用于通过比较各个候选运动矢量的匹配误差来从候选运动矢量中选择当前运动矢量。

发明进一步涉及一种用于估计图像像素组的当前运动矢量的方法，包括：

-产生第一像素组的候选运动矢量组，所述候选运动矢量从先前估计的运动矢量组中提取；

-计算各候选运动矢量的匹配误差，第一候选运动矢量的匹配误差基于第一分量和第二分量，第一分量对应于第一像素组的像素值与第二图像的第二像素组的像素值的比较，第二分量取决于第一像素组与已经为其估计了第一个先前估计的运动矢量的第三像素组之间的关系，第一候选运动矢量基于第一个先前估计的运动矢量；和

-通过比较各候选运动矢量的匹配误差来从候选运动矢量中选择当前运动矢量。

本发明还涉及一种图像处理设备，包括：

-接收装置，用于接收表示图像系列的信号；

-这种运动估计单元；和

-运动补偿的图像处理单元，用于根据图像和当前运动矢量来确定处理的图像。

在开始段落中描述的这种运动估计单元的实施例从G.de Haan等人的文章“True-Motion Estimation with 3-D Recursive SearchBlock Matching(利用了3维递归搜索块匹配的真实运动估计)”(IEEETransactions on circuits and systems for video technology，vol.3，no.5，1993年10月，368-379页)可知。

对于许多视频信号处理中的应用，有必要知道图像序列的视在速度场(apparent velocity filed)，称为光流(optical flow)。该光流以时间变化的运动矢量场的形式给出，即每对图像一个运动矢量场。注意一个图像可以是几个图像对的一部分。在所引述的文章中，通过将图像分割为块来估计该运动矢量场。对每个块的候选运动矢量组计算匹配误差，并在最小化程序中使用匹配误差来从块的候选运动矢量组中寻找最适当的运动矢量。

所引述的运动估计单元依赖于两个基本假设。第一，对象大于块，这是指在块的附近估计的运动矢量将与该块的实际运动矢量有高相关性，并且因此能够作为该运动矢量的所谓空间预测，即空间候选运动矢量来使用。第二，对象具有惯性。这是指对象的运动不会逐个图像地不规律地变化，并且当前块的实际运动矢量将与先前图像中对应块的运动矢量有高相关性。来自这些块的运动矢量可以作为当前块的运动矢量的所谓时间预测，即时间候选运动矢量来使用。为了允许运动矢量的更新，添加了称为随机预测的额外预测，即随机候选运动矢量，其等于添加了小的噪声运动矢量的空间候选运动矢量。

因为一些候选运动矢量所具有的与当前块运动矢量的相关性高于其它候选运动矢量，因此对具有较低相关性的候选运动矢量指定惩罚。这些惩罚被添加给候选运动矢量的匹配误差(通常是绝对差的和)，使得该候选运动矢量更难以被选择作为最佳匹配运动矢量。随机候选运动矢量被给以最高惩罚，空间候选运动矢量最低，时间候选运动矢量具有介于空间和随机候选运动矢量的惩罚之间的惩罚。

这种运动估计单元的问题之一是空间候选运动矢量能够在其下使用的假设在对象边界不成立。位于另一对象中的空间候选运动矢量将与当前块的运动矢量没有相关性。

本发明的一个目的是提供一种在开始段落描述的那种运动估计单元，其能够提供更精确的运动矢量场。

实现本发明的该目的在于运动估计单元被安排成根据将第一图像分割为像素段的结果来调整第二分量，分割的结果与第一像素组的第一部分和第三像素组的第一部分都对应于一个特定段的概率有关。应用图像分割作为对上述问题的解决方法。图像分割是为了将图像划分为段，其中一定的特征保持恒定或在预定阈值之间。对于图像的像素或像素组，计算表示其属于任何段的概率的值。所述特征可以是从简单灰度值到结合彩色信息的复杂纹理量度的任何一种。基于所选定的特征的分割方法(即提取段的方法)可以是从简单的取阈值到分水岭算法的任何方法。假定图像中对象的边缘是段边缘的子集，则通过使用该信息改善运动估计的质量。因为来自其它对象的候选运动矢量(即属于其它对象的先前估计的运动矢量)与当前(第一)像素组的相关性比起来自相同对象的候选运动矢量的要小，所以对于当前图像组应当增加对另一段的候选运动矢量的惩罚。或者换言之，对于当前图像组应当增加另一段的运动矢量候选的第二分量。

对于运动补偿应用分割结果并不新颖。例如在欧洲专利申请号01202615.9(代理人文档PHNL010445)中，组合了分级分割方法和运动估计。但是按照本发明应用分割结果是新颖的：根据分割结果调整第二分量。最终的匹配误差基于第一和第二分量。因此，第一像素组的像素值和第二图像的第二像素组的像素值的比较和分割结果都被应用来计算匹配误差。按照本发明的运动估计单元的优点是匹配误差的质量。

按照本发明的运动估计单元的一个实施例被安排成根据概率大小调整第二分量。分割可以是二进制的，得到每像素一个标签，表示该像素是否属于特定段。但是，优选地，分割方法为像素或像素组提供其属于特定段的概率。像素也可能有多个概率：例如属于段A的20％的第一概率和属于段B的80％的第二概率。按照本发明的该实施例被安排成应用实际概率来调整第二分量。例如，如果不属于相同对象的概率相对较高则第二分量也应相对较高，反之亦然。该方法的优点是更精确的第二分量，以及因此更精确的匹配误差。

按照本发明的运动估计单元的另一实施例被安排成根据第一像素组第一部分的第一像素数和第一像素组的第二像素数之间的比调整第二分量。分割和运动估计可以很强地相关。这意味着例如对像素组执行分割并且对相同像素组执行运动估计。但是分割和运动估计可以独立执行。此时，分割例如基于像素执行而运动估计基于块执行。结果，可能是将要被用于运动估计的像素组的第一部分像素分类为属于段A而将另一部分像素分类为属于段B。在后一情况中，对像素组可以根据第一部分的像素数和整个像素组的像素数之间的比来计算“属于段A的总概率”。该方法的优点是更精确的第二分量，以及因此更精确的匹配误差。

在按照本发明的运动估计单元的一个实施例中，第一像素组是像素块。原理上，像素组可以具有任何形状，甚至不规则。优选的是基于块的形状，因为这降低了运动估计单元的设计复杂度。

在按照本发明的运动估计单元的另一实施例中，选择单元被安排成当对应的匹配误差是最小的匹配误差的从候选运动矢量组中选择特定运动矢量作为当前运动矢量。这是从候选运动矢量组中选择当前运动矢量的较简单的方法。

在按照本发明的运动估计单元的另一实施例中，匹配误差单元被设计为通过从第二图像的第二像素组的像素亮度值中减去第一组像素的像素亮度值来计算第一个候选运动矢量的匹配误差。优选地，计算绝对亮度差的和(SAD)。SAD是能够较快计算的相对可靠的相关性量度。

本发明的另一目的是提供一种在开始段落描述的那种方法，其能够提供更精确的运动矢量场。

实现本发明的该目的在于根据将第一图像分割为像素段的结果来调整第二分量，分割的结果与第一像素组的第一部分和第三像素组的第一部分都对应于一个特定段的概率有关。

将按照本发明的运动估计单元的一个实施例应用在开始段落描述的图像处理设备中是有利的。该图像处理设备可以包括附加的部件，例如用于显示处理的图像的显示装置，或用于存储处理的图像的存储装置。运动补偿的图像处理单元可以支持以下类型图像处理中的一个或多个：

-去交织：交织是交替发送奇数或偶数图像行的通用视频广播程序。去交织试图恢复完整的垂直分辨率，即使每个图像奇偶行同时可用；

-上变换：从原始输入图像系列中计算出更大的输出图像系列。输出图像在时间上位于两个原始输入图像之间；

-时间降噪。这也可包括空间处理，产生空-时降噪；和

-视频压缩，即例如按照MPEG标准或H26L标准的编码或解码。

图像处理设备的修改及其变化可以对应于所述运动估计单元的修改及其变化。

按照本发明的运动估计单元、方法和图像处理设备的这些和其它方面将就下文所述的实现方式和实施例并参考附图来说明和变得清楚，其中：

图1示意性示出了结合图像分割单元的运动估计单元；

图2示意性示出了运动矢量场；和

图3示意性示出了按照本发明包括运动估计单元的图像处理设备的各元件。

所有附图中对应的参考号具有相同的意义。

图1示意性示出了结图图像分割单元108和用于存储图像的存储装置110的运动估计单元100。运动估计单元100被安排成估计第一图像的第一像素组212的当前运动矢量，包括：

-产生单元106，用从先前估计的运动矢量组中提取的候选运动矢量产生第一像素组212的候选运动矢量组；

-匹配误差单元102，用基于第一分量和第二分量的第一候选运动矢量的匹配误差计算各候选运动矢量的匹配误差；和

-选择单元104，通过比较各候选运动矢量的匹配误差，从候选运动矢量中选择当前运动矢量。

通过对第一像素组212的像素值和第二图像的第二像素组的像素值进行比较来计算匹配误差的第一分量。此时，匹配误差的第一分量对应于SAD：第一图像的块中的像素和参考图像(即被候选运动矢量偏移的第二图像)中的块的像素之间的绝对亮度差的和。如果参考图像和第一图像彼此直接连续，则SAD可以计算为：

$\mathrm{SAD}(x,y,d_x,d_y,n):=\underset{i=0}{\overset{N}{\mathrm{\Σ}}}\underset{j=0}{\overset{M}{\mathrm{\Σ}}}|Y(x+i,y+j,n)-Y(x+d_x+i,y+d_y+j,n+1)|---\left(1\right)$

这里(x，y)是块的位置，(d_x，d_y)是运动矢量，n是图像号，N和M是块的宽和高，而Y(x，y，n)是图像n中位置(x，y)处像素的亮度值。

运动估计单元100被安排成根据将第一图像分割为像素段的结果来调整第二分量。首先，假定分割单元108被安排成基于块执行分割。在图像分割期间，每个块B(x，y)被指定一个对应其所属段S_k的标签l_k。该信息被存储在图像分割掩码M(x，y)中。为了降低对象边界上运动估计单元的空间一致性，按照：

调整第二分量C₂，其中c_low是小值，以便加强空间一致性，c_high是高值，以便阻止跨越对象的一致性，(x，y)是当前块的位置，(x_p，y_p)是另一像素块(即已经为其估计了运动矢量并且是运动矢量候选所基于的像素块)的位置。此时第二分量C₂有两个不同的值：

-如果分割结果得出当前块和另一块都属于相同段S_k则c_low；和

-如果分割结果得出当前块和另一块不属于相同段S_k则c_high。

通过将特定运动矢量候选的第一分量和第二分量相加计算特定运动矢量候选的匹配误差ME(x，y，d_x，d_y，n)。

ME(x，y，d_x，d_y，n)＝SAD(x，y，d_x，d_y，n)+C₂(x，y，d_x，d_y，n)  (3)

其次，假定分割单元108被安排成基于像素执行分割。这是指对于每个像素，指定属于段S_k的概率。运动估计仍然基于块，即为像素块估计运动矢量。第二分量基于当前块的像素和另一块的像素属于相同段S_k的概率，k∈K。S_k是来自段组中的一个段。第二分量C₂可以用方程式4计算：

$C_2=C/\underset{k=0}{\overset{k}{\mathrm{\Σ}}}\frac{\underset{i=0}{\overset{N}{\mathrm{\Σ}}}\underset{j=0}{\overset{M}{\mathrm{\Σ}}}P((x+i,y+j)\∈S_k)}{N*M}*\frac{\underset{i=0}{\overset{N}{\mathrm{\Σ}}}\underset{j=0}{\overset{M}{\mathrm{\Σ}}}P\left((x_p+i,y_p+j)\∈S_k\right)}{N*M},---\left(4\right)$

其中C为常数。如果当前块的像素属于段S_k的概率(即

$\frac{\underset{i=0}{\overset{N}{\mathrm{\Σ}}}\underset{j=0}{\overset{M}{\mathrm{\Σ}}}P((x+i,y+j)\∈S_k)}{N*M}$ )和另一块的像素属于段S_k的概率(即

$\frac{\underset{i=0}{\overset{N}{\mathrm{\Σ}}}\underset{j=0}{\overset{M}{\mathrm{\Σ}}}P((x_p+i,y_p+j)\∈S_k)}{N*M}$ )较高，则第二分量C₂较低。

显然，每像素属于特定段S_k的概率值和具有一定概率的像素数相是有关的。在二进制分割时，仅需计数位于段S_k中的块部分的像素数，因为对于这些像素，属于特定段S_k的概率相等：即100％。

在图1中描绘了从运动估计单元100的输出端114至分割单元108的连接116。该连接116是可选的。通过该连接116，可以对于将图像分割为像素段的分割应用运动估计结果(例如运动矢量场)。这可以是对于为其执行运动估计的相同图像或对于图像系列的另一图像。此外，还可能将对特定图像的分割结果用于不包括该特定图像而包括图像系列的另一图像的图像对的运动估计。

运动估计单元100的匹配误差单元102、选择单元104和产生单元106可以使用一个处理器来实现。通常，这些功能在软件程序产品的控制下执行。在执行期间，通常将软件程序产品装载到存储器中(例如RAM)，并从那儿执行。程序可以从后台存储器装载(如ROM、硬盘或磁和/或光存储器)，或者可以经网络(如互联网)装载。可选地，特定用途集成电路提供所公开的功能。

图2示意性示出了表示具有白背景的场景的图像的部分运动矢量场200(即正在构造中的运动矢量场)，其中背景前面是以与背景相反的方向运动的球202。假定已经对多个像素块204-210估计了运动矢量214-226，和必须要对当前像素块212估计运动矢量。对于该估计，根据先前为像素块204-210计算的运动矢量214-226创建候选运动矢量组214-220。在图1中，可以看到当前像素块212位于对应于球202的段中。此外，像素块204也位于对应于球202的段中。但是像素块210对应于背景，块206和208部分属于球202而部分属于背景。各候选运动矢量的第二分量取决于块204-210的通过分割而被标为属于表示球202的段的对应像素数。结果，由像素块204得出的候选运动矢量220的匹配误差的第二分量将最低，而由像素块210得出的候选运动设备218的匹配误差的第二分量将最高。

图3示意性示出了图像处理设备300的部件，包括：

-接收单元302，用于接收表示要在已经对其执行一些处理之后显示的图像的信号。该信号可以是经天线或电缆接收的广播信号，但也可以是来自如VCR(录像机)或数字通用盘(DVD)之类的存储装置的信号。信号在输入连接器310处提供。

-处理单元304，包括结合图1说明的运动估计单元100和分割单元108；

-运动补偿的图像处理单元306；和

-显示装置308，用于显示处理的图像。该显示装置308是可选的。

运动补偿的图像处理单元306需要图像和运动矢量作为它的输入。运动补偿的图像处理单元306可以支持以下类型图像处理的一个或多个：去交织；上变换；时间降噪；和视频压缩。

应当注意，上述实施例说明而不是限制本发明，本领域熟练技术人员能够在不脱离所附权利要求书的范围的情况下设计替代的实施例。在权利要求书中，任何置于括号之间的参考符号将不构成对权利要求的限制。单词“包括”不排除权利要求中未列出的元件或步骤的存在。元件之前的单词“一个”不排除多个这种元件的存在。本发明能够通过包括几个不同元件的硬件和通过适当编程的计算机来实施。在列举几个装置的装置权利要求中，这些装置中的几个可以用同一个硬件项实现。

Claims (12)

1.一种用于估计第一图像的第一像素组的当前运动矢量的运动估计单元，包括：

-产生装置，用于产生第一像素组的候选运动矢量组，所述候选运动矢量从先前估计的运动矢量组中提取；

-匹配误差单元，用于计算各个候选运动矢量的匹配误差，第一个候选运动矢量的匹配误差基于第一分量和第二分量，第一分量对应于第一像素组的像素值与第二图像的第二像素组的像素值的比较，第二分量取决于第一像素组与已经为其估计了第一个先前估计的运动矢量的第三像素组之间的关系，第一个候选运动矢量基于第一个先前估计的运动矢量；和

-选择单元，用于通过比较各个候选运动矢量的匹配误差来从候选运动矢量中选择当前运动矢量，其特征在于运动估计单元被安排成根据将第一图像分割为像素段的结果来调整第二分量，分割结果与第一像素组的第一部分和第三像素组的第一部分这二者对应于一个特定段的概率有关。

2.如权利要求1所述的运动估计单元，其特征在于运动估计单元(100)被安排成根据该概率大小调整第二分量。

3.如权利要求1所述的运动估计单元，其特征在于运动估计单元被安排成根据第一像素组的第一部分的第一像素数与第一像素组的第二像素数之间的比值来调整第二分量。

4.如权利要求1所述的运动估计单元，其特征在于第一像素组为像素块。

5.如权利要求1所述的运动估计单元，其特征在于选择单元被安排成当对应的匹配误差是最小的匹配误差时从候选运动矢量组中选择特定运动矢量作为当前运动矢量。

6.如权利要求1所述的运动估计单元，其特征在于匹配误差单元被设计为通过从第二图像的第二像素组的像素亮度值中减去第一像素组的像素亮度值来计算第一个候选运动矢量的匹配误差。

7.一种估计第一图像的第一像素组的当前运动矢量的方法，包括：

-产生第一像素组的候选运动矢量组，所述候选运动矢量从先前估计的运动矢量组中提取；

-计算各个候选运动矢量的匹配误差，第一个候选运动矢量的匹配误差基于第一分量和第二分量，第一分量对应于第一像素组的像素值与第二图像的第二像素组的像素值的比较，第二分量取决于第一像素组与已经为其估计了第一个先前估计的运动矢量的第三像素组之间的关系，第一个候选运动矢量基于第一个先前估计的运动矢量；和

-通过比较各个候选运动矢量的匹配误差来从候选运动矢量中选择当前运动矢量，其特征在于根据将第一图像分割为像素段的结果来调整第二分量，分割的结果与第一像素组的第一部分和第三像素组的第一部分这二者对应于一个特定段的概率有关。

8.一种图像处理设备，包括：

-接收装置，用于接收表示包括第一图像的图像系列的信号；

-如权利要求1所述的运动估计单元，用于估计第一图像的第一像素组的当前运动矢量；和

-运动补偿的图像处理单元(306)，用于根据图像和当前运动矢量确定处理的图像。

9.如权利要求8所述的图像处理设备，其特征在于运动补偿的图像处理单元被设计为执行视频压缩。

10.如权利要求8所述的图像处理设备，其特征在于运动补偿的图像处理单元被设计为降低图像系列中的噪声。

11.如权利要求8所述的图像处理设备，其特征在于运动补偿的图像处理单元被设计为对图像系列进行去交织。

12.如权利要求8所述的图像处理设备，其特征在于运动补偿的图像处理单元被设计为执行上变换。

Images