CN104918031B - 深度恢复设备和方法 - Google Patents

Abstract

公开了深度恢复设备和方法。所述深度恢复设备包括：结构光投射单元，用于向待测物体投射结构光；成像单元，用于拍摄通过将所述结构光投射在所述待测物体上而形成的第一图像；处理单元，用于根据所述成像单元获得的第一图像来计算待测物体上的待测点的深度值，其中所述结构光投射单元的光轴与所述成像单元的光轴不平行。

Description

深度恢复设备和方法

技术领域

本发明涉及深度恢复设备和方法。更具体地说，本发明涉及非平行结构的深度恢复设备和方法。

背景技术

近年来，智能终端的发展趋势是更多的用户交互以及更好的用户体验。这样的发展趋势使得三维位置检测，尤其是深度恢复成为新的研究热点。当前计算机视觉获取场景深度的方法有很多种，如结构光、TOF（Time of Flight）和立体视觉。

结构光测量***主要由结构光投射单元、相机以及处理***组成。结构光三维视觉是基于光学三角法测量原理。光学投射器将一定模式的结构光投射于物体表面。例如，可以将一斑点图投射于物体表面上。在这种情况下，在表面上形成由被测物体表面形状所调制的光点图像。通过根据光点显示出的位移（或偏移）来判断物体的深度信息。

在基于结构光的深度恢复设备的结构中，结构光投射单元的轴线与相机的轴线通常采用平行结构，如图1所示。但是这种方案的问题在于，结构光投射单元的幅面与相机幅面重合度较小，存在较大的浪费。另外，深度恢复的精度也有待提高。

发明内容

鉴于以上情形，期望提供能够解决上述问题的一种新的深度恢复设备和方法。

根据本发明的一个方面，提供了一种深度恢复设备，包括：

结构光投射单元，用于向待测物体投射结构光；

成像单元，用于拍摄通过将所述结构光投射在所述待测物体上而形成的第一图像；

处理单元，用于根据所述成像单元获得的第一图像来计算待测物体上的待测点的深度值，

其中所述结构光投射单元的光轴与所述成像单元的光轴不平行。

优选地，在根据本发明实施例的深度恢复设备中

所述处理单元进一步包括：

标定部件，用于以所述成像单元获得的、通过在预定深度处的参考平面上投射结构光而形成的图像作为参考图像，并获得每个结构光点移动的轨迹的方向；

比较部件，用于将参考图像与第一图像进行比较以获得待测点沿所述方向的偏移量，进而求出该待测点的深度值。

优选地，在根据本发明实施例的深度恢复设备中，所述标定部件通过在不同深度处的参考平面投射结构光而形成的不同图像中相同点的位移而得到每个结构光点移动的轨迹的方向。

根据本发明的另一方面，提供了一种深度恢复方法，包括如下步骤：

通过结构光投射单元，向待测物体投射结构光；

通过成像单元，拍摄通过将所述结构光投射在所述待测物体上而形成的第一图像；

根据所述成像单元获得的第一图像来计算待测物体上的待测点的深度值，

其中所述结构光投射单元的光轴与所述成像单元的光轴不平行。

优选地，在根据本发明实施例的深度恢复方法中

根据所述成像单元获得的第一图像来计算待测物体上的待测点的深度值的步骤进一步包括：

以所述成像单元获得的、通过在预定深度处的参考平面上投射结构光而形成的图像作为参考图像，并获得每个结构光点移动的轨迹的方向；

将参考结构光图像与结构光图像进行比较以获得一待测点沿所述方向的偏移量，进而求出该待测点的深度值。

优选地，在根据本发明实施例的深度恢复方法中，获得每个结构光点移动的轨迹的方向的步骤进一步包括：通过在不同深度处的参考平面投射结构光而形成的不同图像中相同点的位移而得到每个结构光点移动的轨迹的方向。

根据本发明实施例的深度恢复设备和方法，由于其通过将结构光投射单元轴线与相机轴线的夹角更改为非平行结构，因此可以提高结构光投射单元幅面与相机幅面的重合度，从而可以避免结构光投射单元幅面或相机幅面的浪费。另外，由于采用非平行结构，因此点的位移的倾斜角度增大。进而，一个点A的深度变化相同的值，A的成像的位置变化增大，从而设备对深度变化更敏感。即，可以提高深度恢复的精度。

附图说明

图1是图示根据现有技术的结构光投射单元与成像单元的相对位置关系的图；

图2是图示根据本发明实施例的深度恢复设备的配置的功能框图；

图3是图示根据本发明实施例的结构光投射单元与成像单元的相对位置关系的图；

图4A和图4B分别示出了根据现有技术的平行结构和根据本发明的非平行结构下同一斑点的移动轨迹；以及

图5是图示根据本发明实施例的深度恢复方法的具体过程的流程图。

具体实施方式

下面将参照附图对本发明的各个优选的实施方式进行描述。提供以下参照附图的描述，以帮助对由权利要求及其等价物所限定的本发明的示例实施方式的理解。其包括帮助理解的各种具体细节，但它们只能被看作是示例性的。因此，本领域技术人员将认识到，可对这里描述的实施方式进行各种改变和修改，而不脱离本发明的范围和精神。而且，为了使说明书更加清楚简洁，将省略对本领域熟知功能和构造的详细描述。

首先，将参照图2描述根据本发明实施例的深度恢复设备的具体配置。如图2所示，深度恢复设备200包括结构光投射单元202、成像单元204和深度计算单元206。

结构光投射单元202用于向待测物体投射结构光。根据结构光投射单元所投射的光束模式的不同，结构光模式又可分为点结构光模式、线结构光模式、多线结构光模式、面结构光模式、相位法等。

成像单元204拍摄通过将所述结构光投射在所述待测物体上而形成的第一图像。

处理单元206根据所述成像单元获得的第一图像来计算待测物体上的待测点的深度值。

这里需要说明的是，结构光投射单元202的光轴与所述成像单元204的光轴不平行，如图3所示。通过与图1进行比较可知，利用这样的非平行结构，可以提高成像单元的幅面与结构光投射单元的幅面的重合度，从而避免成像单元的幅面或结构光投射单元的幅面的浪费。

在轴线平行结构的基础上实现轴线非平行结构可通过如下三种方法：

第一，可以通过旋转成像单元204，向着结构光投射单元202的投射方向旋转；

第二，可以通过旋转结构光投射单元202，向着成像单元204的方向旋转；

第三，可以同时旋转结构光投射单元202和成像单元204。

下面，以结构光投射单元202所投射的结构光模式为红外斑点图（即，点阵）为例详细描述根据本发明实施例的深度恢复设备的具体配置。当然，本领域的技术人员可以理解，本发明并不仅限于此，任何其他可能的结构光模式也应该包括本发明的范围内。

处理单元206可以进一步包括：标定部件2062和比较部件2064。

在确定物体的深度信息之前，需要通过标定部件2062进行标定。具体来说，在结构光投射单元202和成像单元204的相对位置固定之后，首先选取一参考平面，其中该参考平面的深度信息已知，如1m。然后，由结构光投射单元202向该参考平面投射红外斑点图。由成像单元204拍摄红外斑点图，并将其作为参考图像。

简言之，标定部件2062用于以所述成像单元获得的、通过在预定深度处的参考平面上投射结构光而形成的图像作为参考图像。

另外，与现有技术的平行结构所不同的是，在根据本发明的非平行结构下，在确定物体的深度信息之前，标定部件2062还需要进一步获得每个结构光点移动的轨迹的方向。

这里，需要说明的是，在根据现有技术的平行结构中，当待测物体的深度发生变化（如，从1m变化到2m，或从2m变化到1m）时，待测物体处于第一深度时的红外斑点图中的一个斑点与该待测物体处于第二深度时的红外斑点图中的同一个斑点相比，移动轨迹在同一水平线中，如图4A所示。

当确定物体的深度信息时，通过结构光投射单元向其投射红外斑点图，并通过成像单元拍摄红外斑点图。通过将该红外斑点图中的斑点与上文中所述的参考图像中的斑点进行水平线上的匹配，基于同一点沿该水平线的位移能够确定物体上该点与参考平面之间的深度差。由于参考图像的深度信息已知，因此进而可以确定物体上该点的深度信息。关于斑点匹配以及依据位移确定深度的具体细节并不与本发明密切相关，因此为了简明起见，这里不再赘述。

相比之下，在根据本发明的非平行结构中，当待测物体的深度发生变化（如，从1m变化到2m，或从2m变化到1m）时，待测物体处于第一深度时的红外斑点图中的一个斑点与该待测物体处于第二深度时的红外斑点图中的同一个斑点相比，移动轨迹不是在同一水平线中，而是在一条斜线中，如图4B所示。

当确定物体的深度信息时，通过结构光投射单元向其投射红外斑点图，并通过成像单元拍摄红外斑点图。这里，与现有技术中不同的是，通过将该红外斑点图中的斑点与上文中所述的参考图像中的斑点进行该斜线上（而非水平线上）的匹配，基于同一点沿该斜线的位移能够确定物体上该点与参考平面之间的深度差。由于参考图像的深度信息已知，因此进而可以确定物体上该点的深度信息。

简言之，比较部件2062将参考图像与第一图像进行比较以获得一待测点沿上文中所述的结构光点移动轨迹的方向的偏移量，进而求出该待测点的深度值。

下面将讨论标定部件2062如何获得每个结构光点移动的轨迹的方向。事实上，所有结构光点移动的轨迹的方向均相同。因此，只需要以一个结构光点为例，确定出该方向即可。例如，一种可能的获得结构光点移动轨迹的方向的方式如下。

首先，选取一第一平面。由结构光投射单元202向该第一平面投射红外斑点图。由成像单元204拍摄红外斑点图，并将其作为第一参考图像。

然后，选取一第二平面。需要注意的是，这里的第二平面与第一平面处于不同的深度。由结构光投射单元202向该第二平面投射红外斑点图。由成像单元204拍摄红外斑点图，并将其作为第二参考图像。

最后，在第一参考图像和第二参考图像中进行同一斑点的匹配。在匹配后，可以以同一斑点在第一参考图像和第二参考图像中的位移方向作为所有结构光点移动的轨迹的方向。

当然，这里只是列举了一种可能的实施方式。本领域的技术人员可以理解，能够确定结构光点移动轨迹的方向的任何其他可能的方式也应该包括本发明的范围内。

简言之，标定部件2062通过在不同深度处的参考平面投射结构光而形成的不同图像中相同点的位移而得到每个结构光点移动的轨迹的方向。

通过上面的描述可以看出，尤其参照图4A-4B，在根据本发明的非平行结构下的深度恢复设备中，与现有技术的非平行结构相比，结构光点的移动轨迹的方向的倾斜角度增大。因此，一个点A的深度变化相同的值，A的成像的位置变化增大，从而根据本发明的深度恢复设备对深度的变化更为敏感。

在上文中，已经参照图1到图4B描述了根据本发明实施例的深度恢复设备。接下来，将参照图5描述根据本发明实施例的深度恢复方法。

所述深度恢复方法应用于上文中所述的深度恢复设备。如图5所示，所述方法包括如下步骤：

在步骤S502，通过结构光投射单元，向待测物体投射结构光；

在步骤S504，通过成像单元，拍摄通过将所述结构光投射在所述待测物体上而形成的第一图像；

在步骤S506，根据所述成像单元获得的第一图像来计算待测物体上的待测点的深度值。

这里，需要说明的是，其中所述结构光投射单元的光轴与所述成像单元的光轴不平行。

具体来说，步骤S506进一步包括如下步骤：

在确定物体的深度信息之前，需要首先进行标定。具体地，在结构光投射单元和成像单元的相对位置固定之后，首先选取一参考平面，其中该参考平面的深度信息已知，如1m。然后，由结构光投射单元202向该参考平面投射红外斑点图。由成像单元拍摄红外斑点图，并将其作为参考图像。

简言之，以所述成像单元获得的、通过在预定深度处的参考平面上投射结构光而形成的图像作为参考图像。

另外，如上文中所述，在非平行结构下，标定步骤还需要进一步获得每个结构光点移动的轨迹的方向。例如，一种可能的获得结构光点移动轨迹的方向的方式如下。

首先，选取一第一平面。由结构光投射单元向该第一平面投射红外斑点图。由成像单元拍摄红外斑点图，并将其作为第一参考图像。

然后，选取一第二平面。需要注意的是，这里的第二平面与第一平面处于不同的深度。由结构光投射单元向该第二平面投射红外斑点图。由成像单元拍摄红外斑点图，并将其作为第二参考图像。

最后，在第一参考图像和第二参考图像中进行同一斑点的匹配。在匹配后，可以以同一斑点在第一参考图像和第二参考图像中的位移方向作为所有结构光点移动的轨迹的方向。

当然，这里只是列举了一种可能的实施方式。本领域的技术人员可以理解，能够确定结构光点移动轨迹的方向的任何其他可能的方式也应该包括本发明的范围内。

简言之，获得每个结构光点移动的轨迹的方向的步骤进一步包括：通过在不同深度处的参考平面投射结构光而形成的不同图像中相同点的位移而得到每个结构光点移动的轨迹的方向。

在完成标定之后，将参考结构光图像与结构光图像进行比较以获得一待测点沿所述方向的偏移量，进而求出该待测点的深度值。

迄今为止，已经参照图1到图5详细描述了根据本发明实施例的深度恢复设备和方法。由于其通过将结构光投射单元轴线与相机轴线的夹角更改为非平行结构，因此可以提高结构光投射单元幅面与相机幅面的重合度，从而可以避免结构光投射单元幅面或相机幅面的浪费。另外，由于采用非平行结构，因此点的位移的倾斜角度增大。进而，一个点A的深度变化相同的值，A的成像的位置变化增大，从而设备对深度变化更敏感。即，可以提高深度恢复的精度。

需要说明的是，在本说明书中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

最后，还需要说明的是，上述一系列处理不仅包括以这里所述的顺序按时间序列执行的处理，而且包括并行或分别地、而不是按时间顺序执行的处理。

以上对本发明进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (4)

1.一种深度恢复设备，包括：

结构光投射单元，用于向待测物体投射结构光；

成像单元，用于拍摄通过将所述结构光投射在所述待测物体上而形成的第一图像；

处理单元，用于根据所述成像单元获得的第一图像来计算待测物体上的待测点的深度值，

其中所述结构光投射单元的光轴与所述成像单元的光轴不平行，以提高所述结构光投射单元幅面与所述成像单元幅面的重合度和增大所述结构光移动轨迹方向的倾斜角度；

其中，通过向着结构光投射单元的投射方向旋转成像单元，或向着成像单元的方向旋转结构光投射单元，或同时旋转结构光投射单元和成像单元以实现所述结构光投射单元的光轴与所述成像单元的光轴不平行；

其中，所述处理单元进一步包括：标定部件，用于以所述成像单元获得的、通过在预定深度处的参考平面上投射结构光而形成的图像作为参考图像，并获得每个结构光点移动的轨迹的方向；比较部件，用于将参考图像与第一图像进行比较以获得待测点沿所述方向的偏移量，进而求出该待测点的深度值。

2.根据权利要求1所述的深度恢复设备，其中所述标定部件通过在不同深度处的参考平面投射结构光而形成的不同图像中相同点的位移而得到每个结构光点移动的轨迹的方向。

3.一种深度恢复方法，包括如下步骤：

通过结构光投射单元，向待测物体投射结构光；

通过成像单元，拍摄通过将所述结构光投射在所述待测物体上而形成的第一图像；

根据所述成像单元获得的第一图像来计算待测物体上的待测点的深度值，

其中所述结构光投射单元的光轴与所述成像单元的光轴不平行，以提高所述结构光投射单元幅面与所述成像单元幅面的重合度和增大所述结构光移动轨迹方向的倾斜角度；

其中，通过向着结构光投射单元的投射方向旋转成像单元，或向着成像单元的方向旋转结构光投射单元，或同时旋转结构光投射单元和成像单元以实现所述结构光投射单元的光轴与所述成像单元的光轴不平行；

其中，根据所述成像单元获得的第一图像来计算待测物体上的待测点的深度值的步骤进一步包括：以所述成像单元获得的、通过在预定深度处的参考平面上投射结构光而形成的图像作为参考图像，并获得每个结构光点移动的轨迹的方向；将参考结构光图像与结构光图像进行比较以获得一待测点沿所述方向的偏移量，进而求出该待测点的深度值。

4.根据权利要求3所述的深度恢复方法，其中获得每个结构光点移动的轨迹的方向的步骤进一步包括：通过在不同深度处的参考平面投射结构光而形成的不同图像中相同点的位移而得到每个结构光点移动的轨迹的方向。