CN102833569B - 用于估计3d场景的元素深度的设备 - Google Patents

Abstract

一种设备，包括：光学***，所述光学***自身包括具有多个像素(21，22，23)的光传感器(2)以及能够将场景的对象元素(E1，E2，E3)成像在所述光传感器的像素上的透镜(1)；用于将光学***的焦点调节到场景中的任一对象元素上的装置，其能够通过确定来自该元素并且被位图化的光传感器的像素之一捕获的光流的最大值，来调节所述焦点；以及适于根据焦点调节来推断所述元素的深度的装置。

Description

用于估计3D场景的元素深度的设备

技术领域

本发明涉及使用对场景的对象进行成像的光学***的焦点来估计所述场景中对象的深度的方法和设备。

背景技术

PaoloFavaro的在2002年6月25日公开的题为“Depthfromfocus/defocus”的文献(http://homepages.inf.ed.ac.uk/rbf/CVonline/LOCAL_COPIES/FAVARO1/df dtutorial.html)概述了建立深度图的光学方法。该文献指出，基于光学聚焦的方法在深度评估过程期间检查图像估计装置的参数的动态变化。

JohnEns等人在1993年2月2日在评论“IEEEtransactionsonpatternanalysisandmachineintelligence”，Vol.15，N°2中公开的题为“Aninvestigationofmethodsfordeterminingdepthfromfocus”的文献中指出，通过对在低场深度条件下摄像机的焦点参数对该摄像机捕获的图像的影响进行建模，来执行对场景的不同点的距离计算。

http://www.sc.ehu.es/ccwgrrom/transparencias/articnlos-alumnos-doct-2002/ josu-larra％2596aga/00192482.pdf。

发明内容

本发明的目的是提供一种有利的设备来估计分布在3D场景中的对象元素的深度。

因此，本发明的目的是一种深度估计设备，用于估计3D场景的对象元素的深度，所述深度估计设备包括：

光学***，所述光学***自身包括具有多个像素的光传感器以及能够将场景的对象元素成像在所述光传感器的像素上的透镜；

用于将光学***的焦点调节到场景中的任一对象元素上的装置；以及

适于根据焦点到场景的对象元素上的调节来推断所述对象元素的深度的装置；

其中，用于将焦点调节到对象元素上的装置能够通过固定在来自所述对象元素并被像素化(pixelated)的光传感器的像素之一捕获的最大光流(lightflow)上，来调节所述焦点。

对象元素对应于场景的对象区，场景中对象区的大小和位置被定义为使得这些对象区可以被成像到光传感器的像素之一上。

实际中，当执行在场景的元素上的聚焦时，来自该元素的光流到达光传感器的单个像素，该像素位于该元素经由透镜而成像的区域处。根据本发明，调节焦点以在该像素上获得最大流。当存在与焦点的明显偏离时，光流会照亮传感器的其他像素，这会干扰焦点调节过程。

优选地，光学***还包括：1)远心(telecentric)的中继成像***，大致位于透镜的像平面中，能够经由微透镜***将对象元素的图像中继到像素化的光传感器上；以及2)光空间调制器，也被像素化，并连接至中继成像***的输入；

其中每个微透镜的光轴穿过位图化(bitmapped)的光传感器的不同像素的中心，以及穿过光空间调制器的不同像素的中心，

其中每个微透镜能够与中继成像***和透镜相结合地通过光空间调制器的位于微透镜的光轴上的像素，将场景的对象元素成像到位图化的光传感器的也位于微透镜的光轴上的像素上。

优选地，所述深度估计设备还包括用于控制光空间调制器的像素的装置，所述装置控制光空间调制器的像素，使得所述光空间调制器的每个像素相继地进入通过(passing)状态而同时所有其他像素处于阻止(blocking)状态的装置。

优选地，如果光空间调制器的像素分为多个相邻像素组，则所述深度估计设备还包括用于控制光空间调制器的像素的装置，所述装置控制光空间调制器的像素，使得在每一组中像素在该组的所有其他像素处于阻止状态时始终处于通过状态，从而在每一组中每个像素相继地进入通过状态。

优选地，每一组包括相同数目的像素。

优选地，在每一组中以相同的方式对像素进行几何排序；并且，用于控制光空间调制器的像素的装置被适配为使得在每一组中每个像素按照相同的几何顺序相继地进入通过状态。

优选地，每一组包含3x3个像素。

有利地，深度估计设备还可以用于捕获场景的图像。在这种情况下，可以根据捕获图像所需的清晰度，将用于估计深度的光传感器的像素细分为多个子像素。

附图说明

参考附图，通过阅读仅作为非限制性示例而提供的以下描述，将更好地理解本发明，其中：

图1示意性地示出了根据本发明的在深度估计设备中使用的聚焦方法；

图2示出了使用图1所示的方法在场景的对象元素上聚焦期间，根据本发明的设备的传感器的像素所捕获的光强度变化，其中所述对象元素与所述像素相对应；

图3示出了来自另一对象元素的光对用于在场景的对象元素上聚焦的设备的传感器的像素的照亮造成干扰的问题；

图4示意性地示出了根据本发明的用于估计3D场景的对象元素深度的设备的优选实施例；

图5以类似于图2的方式示出了在场景的对象元素上聚焦期间，图4的设备的传感器的不同像素所捕获的光强度的变化，所述对象元素与所述不同像素相对应；

图6示出了图3设备的光空间调制器像素的分组实施例，其中根据本发明，每一组中的单个像素处于“通过”状态；

图7与图6几乎相同，区别仅在于在每一组中，另一像素已进入“通过”状态，而其他像素处于“阻止”状态。

具体实施方式

参考图1，本说明书首先将描述根据本发明的使用简化的深度估计设备来测量深度的方法所基于的一般原理之一。在该图中，3D场景的相同对象位于两个不同的深度：位置A和位置B。

简化的深度估计设备包括：

-光学***，所述光学***包括透镜1和位图化的光传感器2，所述位图化的光传感器2位于透镜的光轴上，所述透镜能够在场景的任何对象元素位于透镜的光轴上时将所述对象元素成像在传感器2上，

-用于对该光学***在该对象元素上的聚焦加以调节的装置(未示出)，以及

-能够根据在该元素上的聚焦的调节来推断所述对象元素的深度的装置(未示出)。

在本文中，当执行光学***在该元素上的聚焦时，位图化的光传感器2包括单个像素，所述单个像素的尺寸与位于透镜的光轴上的场景的对象元素的图像的尺寸近似地相对应。

现在将描述本发明所基于的聚焦方法。如果场景的对象位于位置B(图1中以虚线绘制的对象)，来自位于光轴上的对象元素的光流在亮区(lightzone)上照亮传感器2的独有像素，所述光区广泛地延伸超过传感器的像素的亮区：参见图1。

随着对象从位置B沿着光轴向位置A移动，传感器的独有像素的该亮区缩小，使得像素捕获的光强度按照图2的曲线而增大。当到达位置A时(图1中以实线绘制的对象)，光强度处于最大值。随着对象沿着相同的方向向透镜1移位，该像素上的光强度开始按照图2的曲线而减弱。

对象元素的与传感器的单个像素所捕获的光流的最大值相对应的位置A被看作是该元素在传感器上的焦点位置。

这种特性是本发明的基础之一。

根据本发明，深度估计设备因此包括用于对要评估其深度的对象元素上的焦点加以调节的装置，所述装置能够通过固定在来自该元素并且被传感器2的像素捕获的光流的最大值上，来调节所述焦点。为了说明基本原理的需要，以上通过改变对象位置来实现聚焦，然而通过改变透镜的位置或者物镜的多个透镜的位置，如针对通常的拍摄物镜(objective)所作的那样，可以获得同样的效果。

根据本发明，深度估计设备还包括能够根据如上所述的在场景的对象元素上的焦点调节来推断所述对象元素的深度的装置。该装置可以基于深度校准或者基于以光学***的组件的特性和位置为基础的标准光学计算。该装置本身是已知的，因此不进行详细描述。

参考图3，现在将描述更完整的实施例、要解决的技术问题以及本发明提供的解决方案。深度估计设备与前述设备基本相同，略微区别在于，光传感器包括多个像素21、22，所述多个像素21、22优选地均匀分布在物镜1的相同像平面中，作为前述设备的传感器的单个像素。

这种布置使得不仅可以如上所述评估场景中位于光轴上的对象元素的深度(如上所述，该元素E1被成像在中心像素21上)，还可以评估位于光轴外部的对象元素的深度(如E2，这些元素被成像在相同传感器的另一像素上，如像素22)。然而，从图3可以看出，当执行元素E1在传感器2的像素21上的聚焦时，其与元素E2在对应于元素E2的像素22上的焦点调节相距非常远，因此来自元素2的光流部分地照亮像素21，这对该像素上最大光流的确定以及元素E1的深度估计造成干扰。

为了解决该问题，提出按照以下方式来改进深度估计设备。

根据这种改进，参考图4，上述光学***还包括：

-中继成像***3，大致位于物镜1的像平面中，能够经由微透镜***4将场景的图像对象元素中继到位图化的光传感器上2；以及

光空间调制器5，也被位图化，连接至中继成像***3的在传感器侧的输入。

更具体地，该光学***中，每个微透镜41(中心位置)、42、43的光轴穿过位图化的光传感器2的其他像素21(中心位置)、22、23的中心，以及穿过光空间调制器5的另外像素51(中心位置)、52、53的中心。

更具体地，该光学***中，每个微透镜41、42、43能够与中继成像***3和物镜1相结合，经由光空间调制器5的位于该微透镜的光轴上的像素51、52、53，将场景的其他对象元素E1、E2、E3成像到位图化的光传感器2的、也位于微透镜的光轴上的像素21、22、23上。

优选地，当执行光学***在场景的对象元素上的聚焦时，传感器的每个像素的尺寸近似对应于该元素的图像的尺寸。

光空间调制器5的每个像素例如是液晶单元，优选地，双稳态液晶单元，即，具有光通过状态和光阻止状态的液晶单元。

根据该改进实施例的第一实施例，深度估计设备还包括：用于控制光空间调制器5的像素51、52、53，使得如稍后更详细描述的，光空间调制器的每个像素相继地进入通过状态而同时所有其他像素处于阻止状态的装置。

现在将描述使用这种更完整的设备来进行聚焦和深度估计的方法，该方法应用于三个对象元素E1、E2和E3，元素E1在光轴上，元素E3在光轴上方，元素E2在光轴下方，这三个元素属于相同的对象或不同的对象。

通过使用光空间调制器的控制装置，调制器的一个像素51、52、53在另两个像素保持处于阻止状态时相继地进入通过状态。

当像素51处于通过状态(并且另两个像素处于阻止状态)时，光学***可以如上所述使用传感器2的像素21聚焦在元素E1上，而不受到来自对象的其他元素(具体地，E2和E3)的光的干扰，原因在于，调制器5的像素52和53处于阻止状态。因此，避免了之前参考图3描述的缺点。通过调节在元素E1上的聚焦，可以推断该元素在对象空间中的深度。

类似地，当像素52(或者53)处于通过状态时，可以使用传感器2的像素22(或者像素23)以相同的方式来执行光学***在元素E2(或者E3)上的聚焦，而不受来自其他对象元素的干扰，原因在于调制器5的其他像素处于阻止状态。因此，也避免了之前参考图3描述的缺点。通过调节在元素E2上的聚焦，推断该元素在场景对象空间中的深度。

因此，可以看出，通过在保持其他像素处于阻止状态时使调制器的每个像素相继进入通过状态，围绕光学***的光轴扫描了对象空间，以推断与该空间中的物镜最接近的每个对象元素的深度。

图5示出了在前述聚焦中三个相继的变化周期期间，传感器2的每个像素21、22、23感知到的光强度变化。在图的下部部分中，对于用于聚焦对象元素的每个像素，可以看到来自其他对象元素的“寄生”照亮的入射。可以看出，这种“寄生”照亮并不妨碍检测到与焦点正确对应的最大照亮。这体现了本发明的改进的优点。深度估计设备的传感器2和调制器5的像素数目越多，元素在对象空间中的网格化(meshing)的密度(即，对象空间的位图的网格化的密度)增加越大。显然，***4中微透镜的数目以同样的比例增长。

在实践中，在给定了针对3D场景获得足够密集的深度图所需的像素数目的情况下，对象场景的完整扫描所需的持续时间对应于像素个数与聚焦变化周期的持续时间的乘积。该扫描总持续时间可能变得使其无法应用，特别是在场景的对象在深度估计操作期间容易移动的情况下。

现在将提供本发明的改进的第二实施例，该第二实施例也解决了这种扫描持续时间问题。

根据该实施例，参考图6，光空间调制器的像素分成相邻像素组的多个组Gl，...Gi，...Gn。优选地，每一组具有相同数目的像素，本文中是3x3个像素：P1Gl，...，P3G1，...，P7Gl，...，P9Gl针对第一组Gl；...，P1Gi，...，P9Gi针对组Gi；...，直到P1GN，...，P3GN，...，P7GN，...，P9GN针对最后一组GN。

用于控制光空间调制器5的像素的装置被适配为，使得在每一组中像素在该组的其他像素保持处于阻止状态时始终处于通过状态，并且使得每一组中每个像素相继地进入通过状态。优选地，在每一组中按照相同的预定几何顺序(geometricorder)对像素进行排序，并且在每一组中按照相同的顺序使每个像素相继地进入通过状态。例如，在每一组中，如图6所示首先第一像素处于通过状态，然后如图7所示每一组中的第二像素处于通过状态，以此类推。

为了实现根据第二实施例的设备，过程与针对第一实施例描述的过程之间的区别如下。当光空间调制器的像素处于图6所示的状态时(黑色方块＝阻止状态，白色方块＝通过状态)，在聚焦变化周期期间，同时记录由传感器的与调制器中处于通过状态的像素相对应的每个像素捕获的光强度的变化。因此，在每个焦点变化周期，获得图2所示类型的9条曲线。从像素所记录的每条曲线中，推断与捕获的光强度的最大值相对应的焦点的调节，根据该调节如上所述估计对象元素的深度，其中该对象元素的图像聚焦在该像素上。当光空间调制器的像素进入如图7所示的状态时(黑色方块＝阻止状态，白色方块＝通过状态)，继续以相同方式操作，以此类推，直到每一组的每个像素都进入过通过状态一次。因此，对象空间的完整扫描所需的焦点变化周期的数目对应于每一组中的像素数目(本文中是9个)，而不是传感器的像素总数，这有利地使得可以显著减小获取3D场景的对象元素深度值所需的持续时间。

在不脱离本发明的前提下可以使用更多数目的像素组，然而如上所述，每一组中沿两个方向(垂直和水平)均匀分布的9个像素，这使得可以最佳地改善对象空间的扫描速度，同时限制传感器不同像素之间的照亮寄生风险。优选地，中继成像***3是跨越物镜1而远心(telecentric)的。以上基于非限制性示例而描述的本发明扩展到被所附权利要求覆盖的所有实施例。

Claims (4)

1.一种深度估计设备，用于估计3D场景的对象元素的深度，所述深度估计设备包括：

光学***，所述光学***包括具有多个像素(21，22，23)的光传感器(2)、能够通过远心的中继成像***(3)将场景的对象元素(E1，E2，E3)成像在所述光传感器的像素上的透镜(1)、以及同样被像素化并且附接至所述中继成像***(3)的输入的光空间调制器(5)，其中所述远心的中继成像***(3)近似位于所述透镜(1)的像平面中，适于使用微透镜***将所述对象元素的图像中继到像素化的光传感器(2)上；

用于将光学***的焦点调节到所述场景的任一对象元素上的装置，其中该装置能够调节所述焦点，使得由所述像素化的光传感器(2)的像素之一捕获的来自所述对象元素的光流被固定在最大值上；以及

适于根据所述焦点到所述场景的对象元素上的调节来推断所述对象元素的深度的装置；

其中每个微透镜(41，42，43)的光轴穿过所述像素化的光传感器(2)的不同像素(21，22，23)的中心，以及穿过所述像素化的光空间调制器(5)的不同像素(51，52，53)的中心，

其中每个微透镜(41，42，43)能够与中继成像***和透镜(1)相结合地通过光空间调制器(5)的位于所述微透镜的光轴上的像素(51，52，53)，将场景的对象元素(E1，E2，E3)成像到所述像素化的光传感器(2)的位于所述微透镜的光轴上的像素(51，52，53)上，

其中，所述光空间调制器的像素分成一个相邻像素组或多个相邻像素组(G1,…,Gi,…,GN)，以及

其中所述设备还包括：用于控制光空间调制器(5)的像素，使得同时在所述组中的每一组中，一个像素处于通过状态而同一组中的所有其他像素处于阻止状态，并且使得在所述组中的每一组中，每个像素相继地进入通过状态的装置。

2.根据权利要求1所述的深度估计设备，其中，每一组包括相同数目的像素。

3.根据权利要求2所述的深度估计设备，其中，在所述组中的每一组中以相同的方式对像素进行几何排序；并且，用于控制光空间调制器(5)的像素的装置被适配为使得在所述组中的每一组中每个像素按照相同的几何顺序相继地进入通过状态。

4.根据权利要求2或3所述的深度估计设备，其中，每一组包含3x3个像素。