CN1381026A

CN1381026A - 块匹配候选矢量的确定

Info

Publication number: CN1381026A
Application number: CN01801324A
Authority: CN
Inventors: P·维林斯基; M·J·R·奥普德贝克
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2000-05-19
Filing date: 2001-04-27
Publication date: 2002-11-20
Anticipated expiration: 2021-04-27
Also published as: US6810134B2; CN1230784C; ATE354141T1; EP1295255B1; US20020009210A1; WO2001091054A1; JP2003534615A; DE60126612D1; EP1295255A1; KR20020020944A; DE60126612T2

Abstract

在基于块的运动或深度估值中,由于使得在有限的候选值的组(45)上匹配误差最小的结果,一个块被分配以一个运动值或深度值。这个组(45)通常包括一个随机运动值或深度值,以防止算法停留在本地最小值上。按照本发明的方法和***根据图象的性质把一个运动值或深度值加到这个组(45)。对于选择的运动值或深度值的时间改变的历史被记录,作出直方图,以及正比于直方图产生多个数值。从该多个数值选择一个被加上的数值。另外,关于改变的方向的信息被记录,以防止振荡。用于适配视频信号(40)的设备使用选择的候选值来创建视频信号(40)的增强的版本。

Description

块匹配候选矢量的确定

本发明涉及选择被使用来使得来自第一图象的块与来自第二图象的区域相匹配的最佳候选值的方法，该方法包括：

(a)作出用于确定来自第二图象的、要被匹配的区域的一个候选值组，

(b)对于该组的每个候选值，根据所述候选值确定来自第二图象的、要被匹配的区域，使得来自第一图象的块与这个区域相匹配，和计算匹配误差，以及

(c)根据计算的匹配误差，从该组中选择最佳候选值。

本发明同样涉及用于选择被使用来使得来自第一图象的块与来自第二图象的区域相匹配的最佳候选值的***，***包括：

·收集器，用来作出用于确定来自第二图象的、要被匹配的区域的一个候选值组，

·匹配器，用来对于该组的每个候选值，根据所述候选值确定来自第二图象的、要被匹配的区域，使得来自第一图象的块与这个区域相匹配，和计算匹配误差，以及

选择器，用来根据计算的匹配误差，从该组中选择最佳候选值。

本发明还涉及用于处理包括各种图象的视频信号的设备。

在开头段落中规定的那种方法可以从同一个申请人的国际专利申请公布号WO 99/40726(PHN 17.017)中获知。通过用于确定图象中的运动和深度的、基于块的技术，图象被划分成多个块，例如，相等的尺寸的长方形。然后通过匹配其它图象中的各个块，而把该图象与另一个图象进行比较。

使得一个块与第二图象进行匹配是通过选择多个用于运动矢量或深度的候选值，然后对于每个候选值确定该块相应于第二图象中的一个区域有多远。在这种匹配中偏差的程度可被计算。这个偏差被称为匹配误差，它属于候选的数值，最佳候选值是具有相对较小的匹配误差的候选值。适当的候选值，特别地，是来自第一图象的相邻的块的深度或运动矢量，因为它们多半具有与当前的块几乎相同的特性。由于一个块包括象素，所以匹配误差可以根据在来自第一图象的块和第二图象的区域中的相应的象素被确定。诸如确定均方误差(MSE)的数学方法适用于本目的。

上述的方法可以重复进行许多次，以便达到最佳候选值的最好的可能的选择。在图象中的深度被确定的情形下，有开始深度被随机选择。对于每次重复，相邻的块的数值被使用，它们可能不同于以前的重复。新找到的、具有最小的匹配误差的数值在以后被使用来计算其它的块的匹配误差。当数值不再改变时，最后的深度被确定，以及重复运行被停止。通过每次重复，对于最佳候选值的当前的数值以及匹配误差，是对于每个块要被保存的。

通常的实践是随机运动矢量或深度值被加到所述组，或在随机值被加上后，已被加上的数值再次被加上。这避免重复地执行该方法只提供本地最佳候选值。

这个方法的缺点在于，根据或不根据已被加上的数值来加上随机值，比起要确定深度或运动矢量所必须的时间，要化费更长的时间。而且，可能出现围绕最后数值的振荡，因为随机选择的数值负面地影响处理过程。

本发明的一个目的是提供在开头段落中规定的那种方法，其中对于最佳候选值作出更好的选择。

这个目的是通过按照本发明的方法达到的，在其中确定一个候选值簇，这些候选值根据第一图象的性质被确定，以及步骤(a)也包括把从所述的簇中选择的候选值加到该组。加上这个候选值，提供对于最佳候选值的更好的选择，因为这个候选值比随机选择的候选值更好地适合于第一图象。确实，这个簇是根据第一图象的性质被确定的。

在方法的实施例中，第一图象的性质也包括对于来自第一图象的块的先前选择的最佳候选值的、数值的时间改变。如果方法被执行几次，则先前得到的最佳候选值是可提供的。根据这些数值，可以形成适合于这种改变的簇。如果发生许多大的变化，则这个簇可以用许多大的候选值来形成，因为这很好地适合于第一图象。

在方法的另一个实施例中，作出所述改变的直方图，以及各种组正比于直方图上的分布被确定。这个实施例的有利点在于，现在可能仅仅确定发生哪种改变，例如，大部分，中等，和小部分，这样，可以形成很好地适合于第一图象的一个簇。

在方法的另一个实施例中，第一图象的性质也包括对于来自第一图象的块的先前选择的最佳候选值的、数值的时间改变的方向。这个实施例的有利点在于，借助于这些性质，可以确定方法的重复执行是否导致通过每次重复而选择的最佳候选值围绕每个点的振荡。在这种情形下，这个簇可被选择成使得振荡被终结。

本发明的另一个目的是提供在引言部分中规定的那种***，通过这个***，对于最佳候选值作出更好的选择。

这个目的是通过按照本发明的、用来确定各种候选值的***达到的，该候选值根据第一图象的性质被确定，以及收集器也用来把从所述簇中选择的候选值加到该组上。

***确定所述各种组，以及使得它可供收集器使用，这样，后者可以由此选择候选值，以及把它回到该组中。

在***的实施例中，第一图象的性质也包括对于来自第一图象的块的先前选择的最佳候选值的、数值的时间改变。

在***的另一个实施例中，***用来作出所述改变的直方图，以及用来正比于直方图上的分布确定各种组。

在***的一个实施例中，第一图象的性质也包括对于来自第一图象的块的先前选择的最佳候选值的、数值的时间改变的方向。

本发明的另一个目的是提供在引言部分中规定的那种设备，通过这个设备，提供视频信号的更好的处理。

这个目的是通过按照本发明的设备达到的，其中设备包括：

·按照本发明的、用于选择要被使用来把来自第一图象的块与来自第二图象的区域进行匹配的最佳候选值的***，该***用来从所述簇选择对于来自该图象的块的、最佳候选值，以及

·用于根据如由所述***确定的、得到的最佳候选值来处理视频信号以便得到增强的视频信号的图象处理器。

图象处理器根据由按照本发明的***选择的、最佳候选值来增强图象。由于通过这个***对最佳候选值作出较好的选择，这将得出比其它设备更好的、增强的图象。

在一个实施例中，设备还包括显示***，用于显示增强的视频信号。

参照此后描述的实施例将了解和说明本发明的这些和其它方面。

在附图上：

图1是候选值和它们的匹配误差的多个图形的图形表示；

图2是候选值和它们的匹配误差的多个图形的改变的图形表示；

图3是按照尺寸编组的候选值的改变的直方图；

图4是按照本发明的、用于处理图象的设备的图形表示。

在用于确定第一图象中的运动和深度的、基于块的技术中，图象被再划分成多个块。这些块可以是长方形的，并具有相同的尺寸，这样，可以以简单的和快速的方式实施再划分。虽然替换地有可能利用任意的其它形状。非长方形块的使用的有利点在于，现在的任意的物体可以用一组块覆盖，以使得这样的物体的运动或深度可被确定。通过把图象再划分成块，现在有可能通过那来自第一图象的块与来自第二图象的区域相匹配而把图象与第二图象进行比较。如果这些块被选择得足够小，则可以假定，每个块一致地移动，以及块的深度到处是相同的。然后有可能寻找来自第二图象的、相应于来自第一图象的块的区域。如果找到的话，则在两个图象之间的这个块的移位可被确定，因此，确定这个块的运动。如果两个图象都涉及到静止物体，则这提供对于确定这个物体的深度所必须的信息。

很少发生来自第一图象的块完全匹配于来自第二图象的区域。这个问题可以通过根据对于深度或运动矢量的候选值来确定来自第一图象的块必须位于第二图象的哪个地方，而被解决。以后，来自第二图象的、相应于这一点的区域与第一块进行匹配，以及计算匹配的偏差程度。这个偏差被称为候选值的匹配误差。最佳候选值是具有相对较小的匹配误差，优选地是最小匹配误差，的候选值。

由于块包含象素，匹配误差可以根据两个块中的相应的象素被确定。诸如确定均方误差(MSE)的数学方法适用于本目的。通过这个方法，对于运动矢量(dx，dy)的匹配误差可以如下地计算：

MSE (i, j) = Σ_{m = 1}^{M} Σ_{n = 1}^{N} {[U_{1} (m, n) - U_{0} (m + dx, n + dy)]}^{2}

这里，M和N是象素中的尺度，以及U_i(m，n)是图象i中在位置(m，n)处的象素强度。对于深度d的匹配误差的计算是以相同的方式进行的。

另一个适用的数学方法是计算绝对差值的和(SAD)。对于深度d的匹配误差由此可以如下地计算：

SAD (d) = \underset{(x, y) &Element; B}{Σ} | U_{1} (x + Δx (d), y + Δy (d)) - U_{0} (x, y) |

这里，(x，y)是块B的象素，Δx(d)是基于对于深度d的候选值的x的改变。

除了均方误差和绝对差值的和值以外，还可以使用其它的数学方法，诸如平均值绝对差，或平方误差的和值，用于计算对于深度或运动矢量的候选值的匹配误差。

由于实际原因，特别是，因为在视频信号处理期间只有很少的时间处理分开的图象，所以通常作出具有有限数目的候选值的一个组，正如以上所述的，这些候选值以后被使用于确定来自第二图象的一个区域，此后，来自第一图象的块和它相匹配。通常的实践是相邻的其它块的深度的数值或找到的运动矢量是通过随机值或对于这个块的深度或运动矢量的先前计算的数值被选择的，可能被加上的。在该组的单元的匹配误差已被计算后，最佳候选值被选择为具有最小匹配误差的候选值。

作出这个组、计算该组的单元的匹配误差、和选择最佳候选值的步骤可以以三个分开的步骤被执行，但也可以组合地执行。对于每个选择的候选值，匹配误差可被直接计算，此后，例如可把这个匹配误差与“行程最小值”进行比较。如果刚被计算的匹配误差原来是小于这个行程最小值，则当前的候选值被选择为临时的最佳候选值，以及它的匹配误差被选择为新的行程最小值。在该组中所有的候选值被选择以后，这样确定的临时最佳候选值选择变成为实际的最佳候选值。

上述的方法可被重复多次，达到最佳候选值的最好的可能的选择。在确定图象中的深度的情形下，一开始，深度被随机地选择。对于每次重复，相邻的块的数值被使用，这些数值可以不同于先前的重复的数值。新找到的、具有最小匹配误差的数值以后被使用于计算其它块的匹配误差。当数值不再改变时，最后的数值被确定，以及重复运行可以停止。通过每次重复，对于最佳候选值的当前的数值和匹配误差是对于每个块被保存的。

通常的实践是把随机运动矢量或深度值加到所述组，或在随机值被加上后，把已加上的数值再次加上。这避免重复地执行该方法只提供本地最佳候选值。这个随机运动矢量或深度值常常来自于预定的数值簇，这样不必对于每个块生成一个或多个随机值。

按照本发明的方法，候选值可被加到所述组，该候选值来自于一个候选值簇。这个候选值簇首先被确定，例如在重复进行上述的方法之前。来自这个簇的候选值根据第一图象的性质被确定。这些性质也可以包括来对于自第一图象的块的、先前选择的最佳候选值的数值的时间改变。

图1显示用上述的方法被确定的、在第一图象中块的深度的图形。对于运动矢量可以作出可比较的图形。当图形关系到深度候选值时，最小的数值可被使用于图形的深度最小值。通过运动矢量候选值，每个候选值是具有对于水平和垂直运动的分量的矢量。在这种情形下，当运动矢量的分量之一小于其它的矢量的相应的分量时，这个运动矢量候选值是图形的最小值。

在图1所示的图上，来自第一图象的块的深度被画在y轴上，而在x轴上表示那些块。曲线10表示在上述的方法的第一次重复时确定的块的深度，以及曲线11表示在第二次重复时确定的深度。曲线10和11也可以以不同的方式，例如通过统计地确定深度值的算法，或通过利用来自外部源的深度信息，而被得到。根据曲线10和11，可以作出新的图形，它表示块的深度的绝对差值。这个图形显示于图2。曲线20是通过对于图1的图形的x轴上的每个点确定在曲线10和11的数值之间的绝对差值和画出这个差值对图2的图形的x轴上相应的点的关系，而得到的。

根据图2的图形，作出这个改变的直方图，它被显示于图3。曲线20的值可根据它们的出现频率而被编组。组30包含来自图2的图形的小的值，组32是来自这个图形的大的值，以及组31是中间的值。在组30，31和32之间的边界可被任意地选择，以及取决于所考虑的块的总的数目和它们的相对分布。在组32是非常少的值的情形下，组32可以通过移动在组32和组31之间的边界而被放大。

从图3的直方图，结果是在第一图象上有相对较少的小的深度改变。确实，组30包含少的数值，以及这些数值代表在图2的图形中得出的深度改变。同样地，有相对较少的大的改变以及相对地许多的中间的改变。

现在作出一簇数值，这些数值被选择为正比于图3的直方图。从直方图开始，形成包含相对较少的大的和小的数值以及相对地许多的中间值的一簇。

在上述的确定最佳候选值的方法中，作出一组候选值用于确定来自第二图象的、要被匹配的区域。被加到这个组的还有从根据在图3的直方图上看到的、来自第一图象的性质(诸如深度改变)被确定的、一个候选值簇中选择的一个候选值。

图1的图形，以及从而图3的直方图，可以对于整个第一图象或这个图象的子区域，被构建。在后一种情形下，对于每个子区域作出分开的簇。这些簇也可以在确定最佳候选值的方法的一次或多次重复后，通过重新构建图1的图象和作出新的直方图而被调整。

来自这个簇的候选值的选择可以根据对于将要进行匹配的第一图象的块的以前选择的最佳候选值而不作出。如果结果是关系到在这些以前选择的最佳候选值中的主要改变，则从该簇中选择大的候选值。如果看来在这些以前选择的最佳候选值之间只有很小的改变，则最好从该簇中选择小的候选值。

为了避免围绕候选值振荡，可以使用第一图象的另一个性质，也就是，关于以前选择的最佳候选值中的改变的方向。这样做后，可以检测出这个方向是否连续地改变，因此，可以检测出是否关系到振荡。具有与以前选择的最佳候选值相同的方向的候选值然后从这个簇中被选择。

图4表示用于处理视频信号40的设备，该视频信号40包括一个图象簇。设备包括图象处理器41，它用来处理视频信号40，到处增强的视频信号。这个增强的视频信号然后被显示在显示屏幕42上。虽然图4上显示屏幕42被显示为包括图象处理器41的同一个设备的一部分，但显然，显示屏幕42也可以与该设备独立地安排，它可以通过网络接收来自设备的增强的视频信号。

图象处理器41可以根据关于在视频信号40中各个图象的运动或深度的信息来增强视频信号。例如，有可能图象处理器41处理视频信号40，以使得用户可以通过根据深度信息分开地旋转由块的图形确定的各个物体，因此产生来自另一个角度的正确的重现，而能够从另一个角度观看图象。这可以提供，例如，立体的重现。运动信息可被使用来检测和标记运动物体，例如，被使用于自动监视摄像机。这样得到的、带有比较的物体的视频信号为这些摄像机的用户提供增强的性能，因为他们选择能够更加快速地检测图象改变。

在另一个可能的应用项中，图象处理器41通过产生更有效地被压缩的视频信号，而增强以诸如MPEG的压缩格式被提供的视频信号40。通过一组块而确定的各个物体，该物体以视频信号40出现在多个图象中，现在可以通过存储关于目标的象素信息仅仅一次和存储对于这个物体出现在的其它图象的、这个物体的运动矢量或深度，而被压缩。由于这个信息比起完整的物体的象素信息需要更少的贮存容量，所以像这样的一个方法可提供显著地增强的压缩视频信号。

为了清晰起见，下面的说明是仅仅当确定第一块深度时关于***的单元的功能，但从上面说明可以看到，第一块的运动可以以类似的方式被确定。

设备还包括收集器43，匹配器46和选择器47。收集器43用来作出一个候选值组45，用于确定来自第二图象的、要被匹配的区域。由收集器43作出的组45包括，特别是，与第一块相邻的块的、以前确定的深度。相邻的块的深度通常显示很小的相互差别。所以，与第一块相邻的块的深度形成用于确定第一块的深度的良好的开始点，所以，它们被用作为对于这个深度的候选值。为此，有一个存储***44，其中可存储这个深度和其它的以前确定的深度，这样，在作出候选值组45时，收集器43可以使用它们。

收集器43把候选值组45发送到匹配器46。匹配器46根据所述的候选值，对于来自该组的每个候选值确定来自第二图象的、要被匹配的区域。随后，匹配器46使得来自第一图象的块与这个区域相匹配，以及匹配器46计算相关的匹配区域，正如上面描述的。为此，可以实施以前提到的方法，诸如，均方误差，平均值绝对差，绝对差值的和值或平方误差的和值。

在来自组45的候选值的匹配误差被计算后，选择器47根据计算的匹配误差从组45中选择最佳候选值48。最佳候选值48是具有相对较低的匹配误差的候选值。选择器47然后把最佳候选值48发送到图象处理器41。对于来自一个图象的各个块重复这个程序过程，可提供对于这个图象的深度信息。根据这样提供的深度信息，图象处理器41可以处理视频信号40，得出增强的视频信号。这个增强的视频信号然后可被显示在显示屏幕42上。

***确定一个候选值簇，这些候选值是根据第一图象的性质被确定的。收集器把来自于这个候选值簇的一个候选值加到所述组45。

第一图象的性质也包括对于来自第一图象的块的先前选择的最佳候选值的、数值的时间改变。为了确定这个簇，***作出所述改变的直方图。随后，***确定这个簇正比于直方图上的分布，正如上面参照图1，图2和图3描述的。

Claims

1.一种选择被使用来使得来自第一图象的块与来自第二图象的区域相匹配的最佳候选值的方法，该方法包括：

(a)作出用于确定来自第二图象的、要被匹配的区域的一个候选值组(45)，

(b)对于该组(45)的每个候选值，根据所述候选值确定来自第二图象的、要被匹配的区域，使得来自第一图象的块与这个区域相匹配，和计算匹配误差，以及

(c)根据计算的匹配误差，从该组(45)中选择最佳候选值(48)，

其特征在于，确定一个候选值簇，这些候选值根据第一图象的性质被确定，以及步骤(a)也包括把从所述的簇中选择的候选值加到该组中。

2.如权利要求1的方法，其特征在于，第一图象的性质也包括对于来自第一图象的块的先前选择的最佳候选值的、数值的时间改变。

3.如权利要求2的方法，其特征在于，所述改变的直方图被作出，以及该簇是正比于直方图的分布被确定的。

4.如权利要求1的方法，其特征在于，第一图象的性质也包括对于来自第一图象的块的先前选择的最佳候选值的、数值的时间改变的方向。

5.一种用于选择被使用来使得来自第一图象的块与来自第二图象的区域相匹配的最佳候选值的***，***包括：

·收集器(43)，用来作出用于确定来自第二图象的、要被匹配的区域的一个候选值组(45)，

·匹配器(46)，用来对于该组的每个候选值，根据所述候选值确定来自第二图象的、要被匹配的区域，使得来自第一图象的块与这个区域相匹配，和计算匹配误差，以及

·选择器(47)，用来根据计算的匹配误差，从该组中选择最佳候选值(48)。

其特征在于，***用来确定一个候选值簇，这些候选值根据第一图象的性质被确定，以及收集器(43)也用来把从所述的簇中选择的候选值加到该组(45)中。

6.如权利要求5的***，其特征在于，第一图象的性质也包括对于来自第一图象的块的先前选择的最佳候选值的、数值的时间改变。

7.如权利要求6的***，其特征在于，***用来作出所述改变的直方图，以及用来确定正比于直方图的分布的该簇。

8.如权利要求5的***，其特征在于，第一图象的性质也包括对于来自第一图象的块的先前选择的最佳候选值的、数值的时间改变的方向。

9.一种用于处理包括一簇图象的视频信号(40)的设备，包括：

·如权利要求5中要求的***(43，46，47)，用来选择要被使用于把来自第一图象(40)的块与来自第二图象的区域进行匹配的最佳候选值(48)，***用来从所述簇中选择对于来自图象的块的最佳候选值，以及

·图象处理器(41)，用于根据如由所述***(43，46，47)确定的、得出的最佳候选值处理视频信号(40)，得出增强的视频信号。

10.如权利要求9的设备，其特征在于，设备还包括显示***(42)，用于显示增强的视频信号。