CN101512601B - 从图像中确定深度图的方法以及确定深度图的设备 - Google Patents

Abstract

使用基于窗口的匹配来从不同方向所获得的图像中确定深度图。使用匹配窗口组用于要为其确定深度的图像中的点。产生临时深度图，其中将不止一个候选深度值归属于每个点。表面过滤器对该临时深度图进行过滤，其中通过至少为每个点最小化从在邻近区域内并且来自不同的叠加多候选数据集的邻近3D点邻近点指向感兴趣点的单位向量之和的范数的Z分量，来基于所述临时深度图提供进一步深度图。

Description

从图像中确定深度图的方法以及确定深度图的设备

技术领域

本发明涉及一种用于对图像的点使用基于窗口的匹配来从不同方向所获得的图像中确定深度图的方法。本发明还涉及一种用于对图像的点使用基于窗口的匹配来从不同方向获得的图像中确定出深度图的设备。

背景技术

对于许多应用而言，所期望的是从图像中确定深度图。这种应用的示例包括下述***，这些***可计算出从交互可控的方向来看的场景的图像、图像压缩、检查等。对于诸如3D显示、制造时的质量控制、自主导航、以及对象识别之类的广泛应用而言，从立体影像中恢复深度图的任务通常是关键的。在这里，点在图像中的深度是指视点与穿过该点且与相机的光轴相垂直的平面之间的距离。

当相机的视点从第一视点移动到第二视点时，可根据图像点的位置的平移量来确定该图像点的深度。如果通过点投影获得了图像，那么该平移与相机的位移量成正比并且与图像一部分的深度成反比。

已为大家所熟知的，为了对该平移进行度量，使用基于窗口的匹配，其中对从相机的第一方向获得的第一图像中的像素周围的窗口中的像素值与从第二方向获得的第二图像中的像素周围的窗口中的像素值进行比较。匹配通常涉及确定匹配窗口中的像素的像素值之间的差的总计。

还提出了使用自适应窗口。然而，利用自适应窗口需要通常相当复杂的算法以使该窗口适应。

在作者为Masatoshi Okutomi等人、Computer Vision and PatternRecognition(计算机视觉和模式识别)2001、CVPR 2001、proceedingsof the 2001IEEE Computer Society Conference(2001IEEE计算机协会会议的会议记录)卷2、2001年第2卷、第II-138至II-142页的文章“A Simple Stereo Algorithm to Recover Precise ObjectBoundaries and Smooth Surfaces”中描述了一种用于利用基于窗口的匹配来确定深度图的方法。

在已知的方法中，对于为其执行匹配的图像中的每个点，使用匹配窗，其中在该窗口所有点上扫描感兴趣点的位置。如果将匹配窗口不对称地设置在感兴趣像素的周围以便匹配窗口不覆盖对象边界，那么不会出现边界越过。在匹配窗口的总集合上扫描感兴趣像素。查找到最终SSSD(SSD的和，其中SSD是平方差值和)的最小值给出了对该点的视差估计。

该已知方法为边界越过问题提供了解决方案。然而，该解决方案以需要大量计算为代价。此外，出现了另一问题：破坏了平滑视差表面并且会在这样的平滑视差表面中观察到许多阶梯式的正方形。在已知方法中，通过实现边界检测方法并且对边界区进行与非边界区不同地处理来消除平滑视差表面中的问题。

然而，已知方法需要大量计算能力和相当复杂的算法。

在其它当中，本发明的目的是提供这样一种方法，该方法需要相对较少的计算能力，同时仍可提供对深度相对可靠且精确的估计。

发明内容

根据本发明，至少对于图像的一部分而言，对图像这部分中的点使用匹配窗口组，以便为每个点计算多个候选深度值以提供临时深度图，其中使超过一个候选深度值归属于每个点，在这之后，通过为每个点至少最小化从在邻近区域内并且来自不同的叠加多候选数据集的邻近3D点指向所述点的单位向量之和的范数的z分量来计算进一步的深度图。

已知方法基于″赢家通吃″策略，即为每个点计算单个最好的视差值。这需要高精确度(其需要大量计算能力)。即使如此，该精确度仅与对匹配窗口的特定选择一样，也就是说如果特定问题与对匹配窗口的选择相关联，那么该问题将保留。

在本发明中采用了不同方法。利用一组匹配窗口来为每个点初始地计算若干个候选视差值。

本发明人已经认识到，对于基于窗口的技术而言，窗口的恰当选择是重要的。如果所采用的匹配窗口的尺寸大，那么这会导致边界不精确并且丧失了细节的模糊深度图。另一方面，利用较小的窗口在降低了计算功率并且是很好的同时会导致有噪声倾向的方法。利用相对小的窗口进行匹配的结果将会导致具有噪声的深度图，但是包含了重要的小图像特征。代替将具有最低SSD或者SAD得分的窗口结果选择为感兴趣点的视差值的多窗口匹配的通用方法的是，根据本发明的方法的关键特征是利用这些候选作为正则化空间来重新计算视差估计。构造包含噪声的临时深度图，其中为每个点计算了若干候选视差值。对于这种计算而言，仅需要有限计算能力。此后执行平滑操作以向每个点提供z值。

采用候选视差值的平均值或中值以查找″真的视差值″结果是不能给出满意结果。然而，利用单位向量以重新计算进一步深度图结果是可提供良好的结果。通过计算从邻近3D点(在邻近区域之内并且来自不同的叠加多候选数据集)指向点的单位向量、并且此后查找在所述点处至少使这些单位向量和的范数的z分量最小的视差来计算在这里下面有时还被称为局部深度图的进一步深度图。对该表面一部分中的每个点进行此处理。″每个点″是指要为其构造进一步深度图的图像部分中的点。在对该图像部分的计算之内的点数目通常等于像素数目，其中点归属于每个像素。不应将″每个点″曲解为是指存在无穷大数目的数学意义上的″每个点″。邻近在本发明的概念之内是指在感兴趣点周围的给定范围之内。

在优选实施例中，使单位向量之和的范数最小化。如果兴趣主要在于恢复正平面，那么仅使单位向量之和的范数的z分量最小化则是足够的处理过程。

在更复杂的方法中，最小化邻近点的单位向量之和的范数的所有分量。

更好地是，单位向量之和是加权和，其中该计算内的每个单位向量的权重是距离感兴趣点的距离的函数。这可提高精确度。与远离感兴趣点的点相比，感兴趣点的视差值更可能与靠近的邻近点的视差值相似。

更好地是，匹配组包括下述一个或多个匹配窗口，对于这一个或多个匹配窗口而言，感兴趣点偏心地位于匹配窗口中。虽然正方形块是匹配窗口最常用的形状，但是匹配窗口的偏心定位的形状更适于锁定诸如横向和纵向边沿之类的特定图像特征。它们不以图像中感兴趣点为中心的事实可允许至少一个窗口恰当地在遮挡边界附近匹配。

更好地是，执行检查以从计算中删除下述单位向量，这些单位向量与平均值的差异大于阈值。因此，异常候选视差值，即由于一些计算误差而远离正常范围的候选视差值，较不可能对结果有负面影响。该阈值可以是固定值或者是根据其他值计算的值或者可以是与展开计算(spread calculation)有关的值。

更好地是，匹配窗口组是基本上正交的匹配窗口组。基本上正交匹配窗口是这样的匹配窗口，其中窗口之间的像素重叠小于每个窗口的像素数目的1/4。

在优选实施例中，匹配窗口的数目是四个并且匹配窗口形成了十字交叉(cross)。十字交叉是简单排列，其已经示出给出了好的结果。

在另一优选实施例中，匹配窗口的数目是八个，其中该窗口是由两个四个一组组成的，一个四个一组是另一个四个一组中的窗口的左手或者右手版本，每个四个一组形成了十字交叉。利用匹配窗口的一个四个一组可能引入轻微的左到右或右到左的偏离。通过利用这两个四个一组，可消除该偏离。

在另一实施例中，匹配窗口基本上是三角形。

附图说明

利用以下附图对本发明的这些及其他有利方面进行更详细的描述。

图1给出了图像一部分的几何结构和两个方向。

图2给出了图像一部分的图像。

图3A给出了用于构造深度图的方法的流程图。

图3B说明了根据本发明的方法的一部分。

图4一维地沿着线说明了结果产生的临时深度图。

图5说明了本发明的方法内的进一步步骤。

图6说明了如先有技术中所描述的匹配窗口组。

图7至13说明了本发明的方法可用的匹配窗口组的各种实施例。

图14说明了根据本发明的方法。

图15和16说明了根据本发明的设备。

图17说明了根据本发明的方法的结果。

图18A至18D进一步说明了根据本发明的方法的结果。

附图没有按比例绘制。通常，在附图中由相同参考数字来表示相同的部件。

具体实施方式

图1给出了图像的一部分10的几何结构和两个方向12a，b。图像的一部分可以例如是图像之内的人或者任何对象。本发明涉及一种用于提供图像的深度图的方法。可将深度图看作是认为使的z值(即深度值)归属于对象中的点。当利用来自不同方向12a，b的点投影获得了包含有图像一部分10的场景的图像时，图像部分上的点14，15在该图像中可看见的位置是点14，15的投影16a，b、17a，b。该投影可以由从点14，15通过方向12a，b到图像平面18的绘制线19a-d来说明。为了陈述该基本原理，已经在与图像平面18平行的平面中选择了方向12a，b，但是本发明并不局限于这样的对方向12a，b的选择。这些线19a-d与图像平面18之间的交叉点说明了图像部分10中的点14，15将在图像中看见的位置。

应该注意的是，视点12a，b的变化会导致其中图像部分上的点14，15在图像平面18中可看见的位置16a，b、17a，b的平移。该平移与视点与该点之间的深度″z″成反比并且与视点的位置的变化量成正比。其结果是，对于具有与方向12a，b有不同深度″z″的图像部分10中的点14，15而言，该平移会是不同的。

图2给出了包括有其中可看见图像一部分的区域22的图像20。在该图像20中，示出了平移向量23a，b、25a，b，其中响应于视点的移动，图像20中可看得见的图像部分中的点的位置根据这些平移向量进行平移。应该注意的是，与更远离视点的点相比，对于更靠近视点的图像部分中的点而言，平移向量25a，b更大。沿着所有点的深度都是相同的线26，该平移会是相同的。

当使用具有沿着线26的轴和与该线垂直的轴的坐标***时，可看得见点的位置的平移幅度″D″与A+Bu成正比，其中u是该可看得见点的位置沿着与线26相垂直的轴的坐标。该平移方向与视点的移动方向相反。参数″A″与在u＝0时深度″Z0″的倒数成正比：A＝c/Z0，并且类似地″B ″与该深度以及与该观看方向相垂直的图像部分的斜率″s″成正比：B＝c*s/Z0(c是与距离视点的位移、焦距、以及图像的缩放比例成正比的比例常数)。图1和2说明了其中使用两个相机的情况。为了确定深度图，可使用不止两个相机。利用不止两个相机可提高精确度并且可降低前景中的对象遮挡背景对象的机会。

图3A示意性地给出了用于为图像或者至少图像的一部分构造深度图的方法的一部分的流程图。

在该流程图的第一和第二步骤31，32中，使相机光学器件分别位于第一和第二视点出，其中从所述第一和第二视点分别获得第一和第二图像。

在该流程图的第三步骤33中，选择第一图像中的像素。在第四步骤34中，对于该像素，利用匹配窗口查找图像之间的匹配。

在该流程图的步骤35中，利用步骤34的结果，也就是说利用窗口的匹配，将z值归属于所述像素。在已知方法中，根据″赢家通吃″原理来将单个″最佳″z值归属于每个像素，即寻求最佳匹配并且这建立了视差值(＝z-值)。为了提供高的置信度级别，精确度必须很高，这会导致选择相当大的匹配窗口。然而，这种相对大的匹配窗口由于它们的尺寸而无法捕获小的细节。

图3B说明了根据本发明的方法的一部分。

并非为感兴趣点提供一个视差值，而是使用一组相对小的偏心匹配窗口来为每个点提供多个候选视差值(z-值1、z-值2、z-值3等等)。对于任何点不采用非明确判定(No definitive decision)；将不止一个候选视差值归属于每个点。组合的所有候选视差值提供用于噪声深度图。

图4说明了一维的结果产生的临时深度图，其中示出了沿着线的候选视差(即z-值)。在该示例中计算了两种不同颜色的视差值。由实心圆点和空心圆点示意性地表示这两种不同值。

图5说明了本发明的方法内的下一步骤。

为了从包含噪声的样本中估计出实际深度，即点的实际视差值，使用如了图5所示的方案。为每个像素计算下述深度值，该深度值使从重构样本指向候选点的单位向量之和的范数最小。在深度值远离表面的情况下，这些向量之和的范数很大(a)，但是当我们碰到表面时，期望它最小或者接近最小。在该说明书描述的框架之内，还将这称为″表面过滤器″，即对临时包含噪声的深度图执行特定过滤。该临时包含噪声的深度图为要使用该方法的图像部分中的每个点包括若干个候选视差值。单位向量之和本身是向量。

可数学上将向量的范数理解为该向量的″强度″。在本发明的方法中，使作为所有这些单位向量之和的这个向量的强度最小。如果该强度很低，那么达到了表面图(surface map)。现在存在有用于对向量强度进行测量的若干方式，最普通的是在下面公式中所描述的Lp-范数。

${\left|\right|x\left|\right|}_p={\left(\underset{n}{\mathrm{\Σ}}{\left|x_n\right|}^p\right)}^{\frac{1}{p}}$

特定情况是

-L2或者欧几里德范数(p＝2)：

-L1范数(p＝1)

-以及被称为L∞的有限情况，其被定义为：

对于视差d_i，在数学上使地点i周围很小邻域N之内的单位向量之和的L-1范数最小化(下面给出了L-1范数)：

$S\left(d_i\right)=\left|\underset{P_j\∈N}{\mathrm{\Σ}}\frac{(P_i^x-P_j^x)}{{({(P_i^x-P_j^x)}^2+{(P_i^y-P_j^y)}^2+{(P^z\left(d_i\right)-P_j^z)}^2)}^{1/2}}\right|+$

$\left|\underset{P_j\∈N}{\mathrm{\Σ}}\frac{(P_i^y-P_j^y)}{{({(P_i^x-P_j^x)}^2+{(P_i^y-P_j^y)}^2+{(P^z\left(d_i\right)-P_j^z)}^2)}^{1/2}}\right|+$

$\left|\underset{P_j\∈N}{\mathrm{\Σ}}\frac{(P^z\left(d_i\right)-P_j^z)}{{({(P_i^x-P_j^x)}^2+{(P_i^y-P_j^y)}^2+{(P^z\left(d_i\right)-P_j^z)}^2)}^{1/2}}\right|---\left(1\right)$

其中重构点与要最优化的视差值d_i相对应(因为我们在规则网格上，因此z分量仅取决于d_i)，并且重构点

与通过不同窗口配置所估计的视差相对应。因为来自不同深度估计器(不同窗口匹配配置)的冗余，可在保持邻域N的尺寸小的同时使表面提取保持鲁棒。如果我们主要对恢复正平面感兴趣，那么我们可仅最小化在计算上较不昂贵的(1)中的z分量。

还可通过将权重归于点来设置邻域N，其中权重是点之间的距离的函数：

$S\left(d_i\right)=\left|\underset{P_j\∈N}{\mathrm{\Σ}}W\left(P_i\right)\frac{(P_i^x-P_j^x)}{{({(P_i^x-P_j^x)}^2+{(P_i^y-P_j^y)}^2+{(P^z\left(d_i\right)-P_j^z)}^2)}^{1/2}}\right|$

$+\left|\underset{P_j\∈N}{\mathrm{\Σ}}W\left(P_i\right)\frac{(P_i^y-P_j^y)}{{({(P_i^x-P_j^x)}^2+{(P_i^y-P_j^y)}^2+{(P^z\left(d_i\right)-P_j^z)}^2)}^{1/2}}\right|+$

$\left|\underset{P_j\∈N}{\mathrm{\Σ}}W\left(P_i\right)\frac{(P^z\left(d_i\right)-P_j^z)}{{({(P_i^x-P_j^x)}^2+{(P_i^y-P_j^y)}^2+{(P^z\left(d_i\right)-P_j^z)}^2)}^{1/2}}\right|$

其中W(P_i)是点Pi与点P之间的距离的函数，当距离增大时其值减小。

为表面中的每个点进行该计算。在该计算中存在的点数目通常等于像素数目，也就是说点归属于每个像素并且通过最小化单位向量之和的范数来为该点计算z值。这使得计算相对容易。

这对视差值有平滑过滤效果。因为使用了感兴趣点周围的点的范围，因此在本发明的框架内将这称为表面过滤器。

为完整起见，还给出了也可使用的L-2范数：

$S_2\left(d_i\right)={\left|\underset{P_j\∈N}{\mathrm{\Σ}}\frac{(P_i^x-P_j^x)}{{({(P_i^x-P_j^x)}^2+{(P_i^y-P_j^y)}^2+{(P^z\left(d_i\right)-P_j^z)}^2)}^{1/2}}\right|}^2$

$+{\left|\underset{P_j\∈N}{\mathrm{\Σ}}\frac{(P_i^y-P_j^y)}{{({(P_i^x-P_j^x)}^2+{(P_i^y-P_j^y)}^2+{(P^z\left(d_i\right)-P_j^z)}^2)}^{1/2}}\right|}^2+$

${\left|\underset{P_j\∈N}{\mathrm{\Σ}}\frac{(P^z\left(d_i\right)-P_j^z)}{{({(P_i^x-P_j^x)}^2+{(P_i^y-P_j^y)}^2+{(P^z\left(d_i\right)-P_j^z)}^2)}^{1/2}}\right|}^2$

L-2范数＝{S₂(d_i)}^1/2

在另一实施例中使用了图像约束。

表面过滤器被示为可提取鲁棒的视差，但是可避免对深度不连续性的过平滑，并且为了更好地恢复小的细节，我们还包含图像匹配约束。就此而言，我们可使用任何局部图像相似准则。例如我们可在非常小窗口上采用SSD。局部最小的最终准则是：

E(i)＝S(d_i)+λ.SSD(d_i)    (2)

其中λ是使平滑视差区域提取与精确边界恢复相平衡的因数。通过在最小与最大允许的离散视差值之间进行简单扫描并且查找最小化E(i)的视差来执行最优化。

在某种意义上，可将这看作用于使点的SSD与自邻近点起的单位向量之和的范数的组合最小化的组合方法。基于使由和的范数加上该点处的SSD所给出的E(i)最小化的约束来最小化单位向量之和的范数。

图6说明了在所引用的先有技术文章中所描述的一组匹配窗。使用了25个窗口，每个窗口包括25个像素。由黑色矩形来表示要为其确定z值的、被称为″感兴趣点″的像素61。使用了5*5像素的标准匹配窗口并且在标准窗口的所有点上对感兴趣像素进行扫描。这提供了25个匹配窗口62。在图4中，由灰色矩形的5*5个区域来表示这25个匹配窗口。这将不得不执行大量的计算。

图7说明了在本发明的方法和设备中所使用的匹配窗口组。

在图7的示例中，使用基本上正交取向的一组四个矩形5*2匹配窗口。匹配窗口之间的重叠很小。

图8说明了窗口组的另一个示例。

图9说明了在根据本发明的方法和设备中所使用的窗口组的又一个示例。在这种情况下，使用了两组的四个匹配窗口。

图10说明了在根据本发明的方法和设备中所使用的窗口组的又一个示例。

图11说明了又一个示例。

图12和13说明了本发明的又一个示例。在后者示例中使用8个三角形窗口的组合。

应当注意的是，所示的匹配窗口示例并非都是正方形的。更好地是，匹配窗口是非正方形，这是因为诸如矩形或者三角形匹配窗口之类的非正方形形状的窗口更适于锁定诸如横向和纵向边沿(对于如图11所示的矩形匹配窗口或者三角形而言)或者成45度的边沿(对于三角形匹配窗口而言)之类的特定图像特征。

图7、8和9所示的示例示出了基本上矩形形状的匹配窗口。这些窗口彼此正交地取向并且组合地形成了十字形。如图9所示的匹配窗口这样，这些匹配窗口示出了沿着垂直和水平方向的边沿。沿着垂直和水平方向取向的这种矩形形状的匹配窗口是最好的。

更好地是，匹配窗口具有相同形状并且形成了四个一组的形状，其中该形状是有取向的并且其中每个匹配窗口的形状与另一匹配窗口的形状相关并且可通过使另一个匹配窗口旋转90、180、或者270度而获得。图7至13这组示出了这种排列，其中每组匹配窗口得自于一个(图7、8、9以及10)或者两个(图9、12)基本取向的形式，通过使这些基本取向的形式旋转90、180和270度以提供其他形式。这种排列提供了容易的计算。更好地是，通过采用沿正交方向相互取向的小且较薄的匹配窗口以产生视差候选，来摧毁平衡。

该方案基于临时深度图来提供进一步的深度图。

可通过多个优选的改进(preferred refinements)来进一步优化该计算：

-在计算S(D)的过程中，执行检查以从S(D)的计算中删除与平均值差异大于阈值的单位向量。异常候选视差值(即，由于一些计算误差所造成的候选视差值)较不可能对结果有负面影响。该阈值可以是固定值或者是根据其他值计算的或者与展开计算(spreadcalculation)有关。

-不同方案可丢弃假的匹配并且对遮挡区域进行检测。简单方案是直接的左-右/右-左一致性检查。这将确保所获得的对应性的唯一性并且允许对遮挡区域进行标记。

-基于图像的后处理

离群值舍弃和遮挡检测将会在进一步深度图中生成空孔，即不存在视差值的区域。为了填充由离群值舍弃和遮挡检测步骤所产生的空孔，我们使用基于颜色的平均。这包括计算与接近我们地点(R_i，G_i，B_i)处的颜色的颜色像素相对应的视差(局部邻域之内)的平均值。如下所述，非线性过滤器可用于重新计算在空孔的地点i处的深度。

${\hat{d}}_i=\frac{\underset{j}{\mathrm{\Σ}}{w}_{\mathrm{ij}}{d}_j}{\underset{j}{\mathrm{\Σ}}{w}_{\mathrm{ij}}}$

如果ΔC＝|R_i-R_j|+|G_i-G_j|+|B_i-B_j|＜T_C那么w_ij＝1

否则w_ij＝0

其中T_C是色差阈值。

对于

则保持旧的深度值。

可迭代地使用该过滤器，并且这具有可使深度图的边界与相应彩色图像的边界重新对准的优点，这对3D呈现应用很重要。通过希望具有与实际图像不连续性相匹配的急剧深度不连续性来指示对包括色差阈值的选择。实际上证明该选择作用良好。

图14更详细地说明了根据本发明的方法。

图14说明了4个模块141至144：头两个模块141和142是本发明最宽范围中的方法的一部分。后两个模块143和144是优选实施例的一部分并且是可选的。

将左右图像数据的数据提供给第一模块141，或者在从不止两个视点获得图像的情况下，将来自各个视点的图像数据提供给第一模块141。在该模块中，利用基于窗口的匹配产生临时深度图。将包括每个点的不止一个候选视差值的临时深度图发送给表面过滤器模块142。该表面过滤器模块通过至少最小化从邻近点的候选视差值指向所述点的单位向量之和的范数的z分量来将表面过滤应用于临时深度图。这提供了进一步深度图。可选的附加模块143和144提供了离群值舍弃/遮挡检测和随后的空孔填充。最后的产品是最终深度图。

根据本发明的设备包括用于输入从不同方向获得的图像数据的输入端，以及确定器(142)，该确定器用于对图像点使用基于窗口的匹配来从输入端所接收的图像数据中确定出临时深度图，其中在确定器中，为该图像点使用一组匹配窗口以产生该点的候选视差值，其中这组匹配窗口相对于该点偏心定位，其中设备进一步包括表面过滤器(142)，该表面过滤器被布置为通过为每个点至少最小化从邻近点的候选视差值指向所述点的单位向量之和的范数的z分量、来基于临时深度图提供进一步深度图。

图15说明了根据本发明的设备。由两个相机拍摄由图15中的立方体所表示的对象的图像。在该示例中示出了两个相机，但是该设备可包括不止两个相机。照相机可记录彩色图像、或者单色图像、或者X射线图像、或者红外图像。每个相机提供两组数据，其中每组数据表示二维图像(在图中由D1(x1，y1)和D2(x2，y2)所述)，即两个二维数据组。相机从不同方向拍摄图像幅面。该设备包括用于输入从不同方向所拍摄的图像的输入端I和确定器141。在该确定器内，利用根据本发明的匹配窗口方法来匹配图像。该确定器提供用于发送给表面过滤器142的临时深度图。该表面过滤器142提供进一步深度图。通过离群值舍弃/遮挡检测以及基于图像的空孔填充可进一步改进该进一步深度图。

在归属器151中，利用该进一步或者最终深度图将z值归属于所述像素。更好地是，来自相机的数据包括与相机的相互定向有关的数据，该确定器具有用于确定相机的相互定向的装置或者相机包括用于将这种相互定向传送到确定器的装置，或者该确定器包括用于输入这种数据(例如通过手)的装置，或者固定相机的设置以便相互定向是已知的。更好地是，使相机拍摄图像同步。该设备具有输出端OP。输出数据流D(x，y，z)是包括点的x和y坐标以及z坐标的数据流，即深度图。可以将该输出数据流D(x，y，z)发送到例如记录设备以将该数据流记录到DVD数据载体或者其他任何数据载体上，或者将该输出数据流D(x，y，z)发送到用于显示三维图像的三雏显示设备。

图15说明了包括诸如相机之类的记录设备的设备。

图16说明了具有用于例如DVD这样的数据载体的输入端的设备，该数据载体上存储了数据D1(x1，y1)和D2(x2，y2)以及与相机D的相互定向有关的数据(D(cam1，cam2))。根据本发明的设备读取该数据并且提供输出数据流D(x，y，z)。

根据本发明的设备的优选实施例包括下述装置，该装置用于根据该方法的上述优选实施例(例如匹配窗口或者非正方形)的任何一个或者任何组合来确定深度图。

根据本发明的设备包括用于记录图像的装置，也就是说，该设备包括用于拍摄图像的相机，其中该相机将与该图像有关的数据发送到上述输入端。该设备还可接收来自记录设备的数据。

应该注意的是，在本发明的概念之内，″确定器″、过滤器等等应被广泛地理解，并且单独地或者相结合地起包括例如被设计用于执行确定、选择或者匹配功能的任何硬件块(诸如确定器)、任何电路或支路，以及被设计或编程为执行根据本发明的确定、选择或者匹配操作的任何软件块(计算机程序或者子程序或者计算机程序集或者程序代码)，以及起这种作用的硬件和软件块的任何组合，而不局限于以下所给出的示意性实施例。一个程序可组合若干功能。

图17说明了根据本发明的方法的结果。

为了进行性能估算，我们在静止对(图17)上运行我们的算法。头两个图像是左右图像，最后的附图给出了深度图的概念，其中灰度值是对深度的指示。结果示出了低纹理区域之内提取深度以及对深度不连续性的高精确度这两个方面非常好的性能。通过利用鲁棒表面过滤器和来自多个候选的冗余可鲁棒地恢复低纹理区域内的深度，并且表面的隐式模型的使用也是重要因素。给定从左至右和从右到左的深度估计的鲁棒性，也可以很好地执行通过检查一致性进行的离群值舍弃，并且检测出绝大多数遮挡或者实际上非纹理的区域。最后，基于图像的后处理步骤尽管很简单但是允许进行恰当的空隙填充和边界重新对准。在图像序列上的测试示出了根据本发明的算法提供了高质量深度和很好的时间一致性，同时对于该序列而言，假如收敛是局部的，则位于前列的优化驱动的技术被证明较不稳定并且由此初始化变得很关键。本发明的另一个优点是该***的模块化特性，其允许灵活的实现并且允许会导致实时性能的优化折衷。

图18A至18D进一步说明了本发明。

在图18B中示出了利用如图7所示的四个不同小且薄窗口(左边的具有横向窗口且右边的具有纵向窗口)来对图18A的左(L)-右(R)图像对进行立体匹配的结果，所获得的深度图是如期望的具有强噪声。图18C中示出了中值过滤的结果并且将其与图18D中的本发明的表面过滤器的结果进行比较。图18D因此说明了通过根据本发明的方法所构造的进一步深度图。很明显的是中值过滤器使深度图过平滑，这会导致丧失精细的细节。例如与图18C中的相比，在图18D中可看得见灯的更多细节。另一方面，表面过滤器因此在除去噪声的同时从初始深度图中恢复出更多的信息。就中值过滤器和表面过滤器而言在基于图像的后处理之后的最终结果都改善了。当将进一步深度图和最终深度图与基础事实进行比较时，表面过滤器具有比中值过滤器要小15％的“坏像素”。

总之，本发明可描述为如下：

使用基于窗口的匹配来从不同方向获得的图像中确定深度图。使用了一组匹配窗口用于要为其确定深度的图像中的点。产生临时深度图，其中将不止一个候选视差值归属于每个点。利用表面过滤器对临时深度图进行过滤，其中至少从邻近点的候选视差值指向感兴趣点的单位向量之和的范数的z分量。

本发明还具体体现为根据本发明的方法或设备的任何计算机程序产品。应将计算机程序产品理解为下述命令集合的任何物理实现，所述命令集合可使通用或专用处理器在用于将命令加入处理器中的一系列加载步骤(可能包括中间转换步骤，像译为中间语言和最终处理器语言)之后执行发明的任何特征功能。尤其是，该计算机程序产品可以实现为诸如例如盘片或者磁带之类的载体上的数据、存在于存储器中的数据、在有线或无线网络连接上传播的数据、或者纸上的程序代码。除了程序代码之外，该程序所需的特征数据也具体体现为计算机程序产品。

该方法工作所需的、诸如数据输入和输出步骤之类的一些步骤早已存在于处理器的功能中以代替在计算机程序产品中的描述。

应该注意的是上述实施例对本发明进行说明而不是对本发明做出限制，并且本领域普通技术人员在不脱离所附权利要求的范围的情况下可设计出许多替换实施例。

在权利要求中，不应认为置于括号之间的任何参考符号是对权利要求做出限制。

很显然的是在本发明的框架之内可做出许多变化。所属技术领域的专业人员应该知道的是，本发明并不受限于在上文中特定示出和描述的那些内容。本发明在于每个新颖的特征以及特征的每个组合。权利要求中的参考数字不对其保护范围做出限制。

例如，该方法可以仅用于图像的一部分，或者本发明的方法的不同实施例可以用于图像的不同部分，例如一个实施例用于图像中心，而另一个用于图像的边界。

此外，在这些示例中使用了三维的单位向量，即具有三个坐标x、y以及z坐标的单位向量。可使用更多维的向量：

示例是使用包括空间座标(P^x，.P^y，P^z)和相关红色、绿色、以及蓝色色值(P^r，.P^g，P^b)的六维向量，这会引起增广向量(P^x，P^y，P^z，P^r，P^g，P^b)。利用该情况，我们现在可将L-1范数的准则归纳如下：

$S\left(d_i\right)=\left|\underset{P_j\∈N}{\mathrm{\Σ}}\frac{(P_i^x-P_j^x)}{{({(P_i^x-P_j^x)}^2+{(P_i^y-P_j^y)}^2+{(P^z\left(d_i\right)-P_j^z)}^2+{(P^r-P_j^r)}^2+{(P^g-P_j^g)}^2+{(P^b-P_j^b)}^2)}^{1/2}}\right|+$

$\left|\underset{P_j\∈N}{\mathrm{\Σ}}\frac{(P_i^y-P_j^y)}{{({(P_i^x-P_j^x)}^2+{(P_i^y-P_j^y)}^2+{(P^z\left(d_i\right)-P_j^z)}^2+{(P^r-P_j^r)}^2+{(P^g-P_j^g)}^2+{(P^b-P_j^b)}^2)}^{1/2}}\right|+$

$\left|\underset{P_j\∈N}{\mathrm{\Σ}}\frac{(P^z\left(d_i\right)-P_j^z)}{{({(P_i^x-P_j^x)}^2+{(P_i^y-P_j^y)}^2+{(P^z\left(d_i\right)-P_j^z)}^2+{(P^r-P_j^r)}^2+{(P^g-P_j^g)}^2+{(P^b-P_j^b)}^2)}^{1/2}}\right|+$

$\left|\underset{P_j\∈N}{\mathrm{\Σ}}\frac{(P^r-P_j^r)}{{({(P_i^x-P_j^x)}^2+{(P_i^y-P_j^y)}^2+{(P^z\left(d_i\right)-P_j^z)}^2+{(P^r-P_j^r)}^2+{(P^g-P_j^g)}^2+{(P^b-P_j^b)}^2)}^{1/2}}\right|+$

$\left|\underset{P_j\∈N}{\mathrm{\Σ}}\frac{(P^g-P_j^g)}{{({(P_i^x-P_j^x)}^2+{(P_i^y-P_j^y)}^2+{(P^z\left(d_i\right)-P_j^z)}^2+{(P^r-P_j^r)}^2+{(P^g-P_j^g)}^2+{(P^b-P_j^b)}^2)}^{1/2}}\right|+$

$\left|\underset{P_j\∈N}{\mathrm{\Σ}}\frac{\left(P^b{-P}_j^b\right)}{{({(P_i^x-P_j^x)}^2+{(P_i^y-P_j^y)}^2+{(P^z\left(d_i\right)-P_j^z)}^2+{(P^r-P_j^r)}^2+{(P^g-P_j^g)}^2+{(P^b-P_j^b)}^2)}^{1/2}}\right|$

此外当把权重归于单位向量时，这可以是视差候选与感兴趣点之间的距离的函数，但是这还可以是根据所使用的匹配窗口而归属的权重。如果使用了如所示示例给出的、基本上相同但是在定向不同的匹配窗口组，那么很可能的是所有估计具有相等权重。然而，这组匹配窗口具有在尺寸或者形式上根本不同的匹配窗口。示例是使用图7所示类型与图10所示类型的混合的匹配窗口的混合组。此后使8个候选视差值归属于每个点，其中每个子集归属4个。候选视差值的权重在子集之内是相同的，但是在子集之间是不同的。该置信度权重由用户根据他利用不同估计器的经验而给出的固定数。

动词″包括″以及其动词变化的使用不排除存在除了在权利要求所陈述的那些之外的单元。在单元之前使用冠词“一”或者“一个”不排除存在多个这种单元。

Claims (17)

1.一种用于为图像中的点使用基于窗口的匹配来从不同方向获得的图像中确定深度图的方法，其中至少对于所述图像的一部分而言，为所述图像这部分中的点使用匹配窗口组，以便为每个点计算多个候选深度值以提供临时深度图，其中将不止一个候选深度值归属于每个点，其中通过为每个点至少最小化从在邻近区域内并且来自不同的叠加多候选数据集的邻近3D点指向所述点的单位向量之和的范数的z分量来计算进一步的深度图。

2.如权利要求1所述的方法，其中最小化所述单位向量之和的范数的所有分量。

3.如权利要求1所述的方法，其中所述匹配窗口组包括一个或多个匹配窗口，在所述一个或者多个匹配窗口中，所述每个点相对于所述匹配窗口偏心定位。

4.如权利要求1、2或者3所述的方法，其中在所述计算进一步的深度图中，所述单位向量之和是加权和，以及在所述计算进一步的深度图中的每个单位向量的权重是从所述邻近3D点距所述点的距离的函数。

5.如权利要求1、2或者3所述的方法，其中在所述计算进一步的深度图中，执行检查以从所述计算进一步的深度图中删除与平均值差异超过阈值的单位向量。

6.如权利要求1、2或者3所述的方法，其中所述匹配窗口组是正交的匹配窗口组。

7.如权利要求6所述的方法，其中所述匹配窗口的数目是四个并且所述匹配窗口形成了十字。

8.如权利要求7所述的方法，其中所述匹配窗口的数目是八个，其中所述窗口构成两个组，每个组为四个一组，一个四个一组是另一个四个一组中的窗口的左手版或者右手版，每个四个一组都形成了十字。

9.如权利要求6所述的方法，其中所述匹配窗口是三角形。

10.如权利要求1、2或者3所述的方法，其中在所述进一步深度图上执行离群值舍弃/遮挡检测。

11.如权利要求10所述的方法，其中在所述进一步深度图上执行基于图像的空孔填充。

12.一种确定深度图的设备，包括用于输入从不同方向所获得的图像数据的输入端和确定器(141)，所述确定器用于为所述图像中的点使用基于窗口的匹配来从由所述输入端接收的图像数据中确定临时深度图，其中在所述确定器中，使用了匹配窗口组用于所述图像中的点以产生所述点的候选深度值，其中该设备还包括表面过滤器(142)，该表面过滤器布置为通过至少为每个点最小化从在邻近区域内并且来自不同的叠加多候选数据集的邻近3D点指向所述点的单位向量之和的范数的z分量、来基于所述临时深度图提供进一步深度图。

13.如权利要求12所述的设备，其中所述表面过滤器布置为最小化从邻近3D点指向所述点的单位向量之和的范数的所有分量。

14.如权利要求12所述的设备，其中所述确定器布置为使所述匹配窗口组包括一个或多个匹配窗口，在所述一个或多个匹配窗口中，所述每个点相对于匹配窗口偏心定位。

15.如权利要求12所述的设备，其中所述表面过滤器布置为使所述单位向量之和是加权和，其中每个单位向量的权重是从所述邻近3D点距所述点的距离的函数。

16.如权利要求12所述的设备，其中所述表面过滤器布置为执行检查以删除与平均值差异大于阈值的单位向量。

17.如权利要求12所述的设备，其中该设备包括用于记录图像的装置。

Images