CN106911922B - 从单个传感器生成的深度图 - Google Patents

Abstract

本公开涉及从单个传感器生成的深度图。用于生成深度图的装置包括：单个相机模块，具有固定近场焦距，被配置为捕获单个图像；图像分割器，被配置为将该图像分区成多个区域；焦距度量确定器，被配置为确定针对多个区域中的每个区域的焦距度量；以及深度图生成器，被配置为针对多个区域中的每个区域将焦距度量映射成深度值并且将多个深度值组合以生成针对单个相机的深度图。

Description

从单个传感器生成的深度图

技术领域

一些实施例涉及用于从图像传感器捕获的单个图像生成深度图的装置和方法。

背景技术

使用(例如在CMOS架构中实施的)光电二极管像素的图像传感器是已知的。这种图像传感器具有很多应用。在一些应用中，可以提供像素阵列。用于确定到对象的距离的设备是已知的。

此外，当前的光子学3D图/深度设备通常被限制于针对其进行了优化的单个应用。例如，在多个相机或者相机阵列提供的一些设备中，图像可以被用于确定距离。计算相机应用可以比较这些图像内的特征，并且通过使用与相机或者相机阵列关联的本征和非本征参数的知识，确定相距设备的距离。计算相机应用因此可以创建3D图像与关联的3D深度图。

发明内容

根据第一方面，提供用于生成深度图的装置，该装置包括：单个相机模块，具有固定近场焦距，被配置为捕获单个图像；图像分割器，被配置为将图像分区成多个区域；焦距度量确定器，被配置为确定针对多个区域中的每个区域的焦距度量；以及深度图生成器，被配置为针对多个区域中的每个区域将焦距度量映射成深度值并且将多个深度值组合以生成针对单个相机的深度图。

单个相机模块可以被配置为捕获另一单个图像，图像分割器可以被配置为将另一图像分区成多个区域，焦距度量确定器可以被配置为确定针对多个区域中的每个区域的另一焦距度量；并且深度图生成器可以被配置为针对多个区域中的每个区域将焦距度量映射成另一深度值并且将多个另一深度值组合以生成针对单个相机的另一深度图。

装置可以进一步包括对象确定器，其被配置为从深度图确定深度图内与和背景分离的至少一个对象关联的位置。

对象确定器可以被配置为从另一深度图确定另一深度图内与至少一个对象关联的位置。

装置可以进一步包括对象追踪器，其被配置为追踪深度图内与和背景分离的至少一个对象关联的位置和另一深度图内与至少一个对象关联的位置之间的改变。

装置可以进一步包括姿势确定器，其被配置为从以下中的至少一个识别姿势：深度图内与和背景分离的至少一个对象关联的位置；另一深度图内与至少一个对象关联的位置；以及深度图内与和背景分离的至少一个对象关联的位置和另一深度图内与至少一个对象关联的位置之间的改变。

装置可以进一步包括控制器，其被配置为基于所识别的姿势控制装置的功能。

根据第二方面，提供用于生成深度图的方法，该方法包括：使用具有固定近场焦距的单个相机模块捕获单个图像；将图像分区成多个区域；确定针对多个区域中的每个区域的焦距度量；针对多个区域中的每个区域将焦距度量映射成深度值；以及将多个深度值组合以生成针对单个相机的深度图。

方法可以进一步包括：从单个相机模块捕获另一单个图像；将另一图像分区成多个区域；确定针对多个区域中的每个区域的另一焦距度量；针对多个区域中的每个区域将焦距度量映射成另一深度值；以及将多个另一深度值组合以生成针对单个相机的另一深度图。

方法可以进一步包括从深度图确定深度图内与和背景分离的至少一个对象关联的位置。

方法可以进一步包括从另一深度图确定另一深度图内与至少一个对象关联的位置。

方法可以进一步包括追踪深度图内与和背景分离的至少一个对象关联的位置和另一深度图内与至少一个对象关联的位置之间的改变。

方法可以进一步包括从以下中的至少一个识别姿势：深度图内与和背景分离的至少一个对象关联的位置；另一深度图内与至少一个对象关联的位置；以及深度图内与和背景分离的至少一个对象关联的位置和另一深度图内与至少一个对象关联的位置之间的改变。

方法可以进一步包括基于所识别的姿势控制装置的功能。

根据第三方面，提供用于生成深度图的装置，该装置包括：用于使用具有固定近场焦距的单个相机模块捕获单个图像的装置；用于将图像分区成多个区域的装置；用于确定针对多个区域中的每个区域的焦距度量的装置；用于针对多个区域中的每个区域将焦距度量映射成深度值的装置；以及用于将多个深度值组合以生成针对单个相机的深度图的装置。

装置可以进一步包括：用于从单个相机模块捕获另一单个图像的装置；用于将另一图像分区成多个区域的装置；用于确定针对多个区域中的每个区域的另一焦距度量的装置；用于针对多个区域中的每个区域将焦距度量映射成另一深度值的装置；以及用于将多个另一深度值组合以生成针对单个相机的另一深度图的装置。

装置可以进一步包括用于从深度图确定深度图内与和背景分离的至少一个对象关联的位置的装置。

装置可以进一步包括用于从另一深度图确定另一深度图内与至少一个对象关联的位置的装置。

装置可以进一步包括用于追踪深度图内与和背景分离的至少一个对象关联的位置和另一深度图内与至少一个对象关联的位置之间的改变的装置。

装置可以进一步包括用于从以下中的至少一个识别姿势的装置：深度图内与和背景分离的至少一个对象关联的位置；另一深度图内与至少一个对象关联的位置；以及深度图内与和背景分离的至少一个对象关联的位置和另一深度图内与至少一个对象关联的位置之间的改变。

装置可以进一步包括用于基于所识别的姿势控制装置的功能的装置。

附图说明

现在仅通过示例的方式参照附图，其中：

图1示出了包括单个相机传感器设置的用于从单个图像生成深度图的示例设备；

图2a和图2b示出了根据一些实施例的示例兴趣区域设置；

图3示出了根据一些实施例的示例深度图生成器/姿势确定器装置；

图4示出了根据一些实施例的示例焦距测量与对象距离图；

图5a至图5c示出了根据一些实施例的示例图像、具有兴趣区域和焦距测量的图像、以及从该图像生成的深度图；以及

图6示出了如图3所示的深度图生成器/姿势确定器装置的操作的流程图。

具体实施方式

与如本文中描述的实施例关联的概念是采用单个相机从单个图像确定深度图。

移动电话中的常规的多个相机或者相机阵列实施方式可以例如确定远离移动电话的对象的运动并且因此实现对移动电话的姿势控制。首先，多个相机可以捕获图像。图像信号处理器(ISP)或者处理器可以接着后处理图像以构造3D图。虽然多相机实施方式通常不增加移动电话的Z高度(或者厚度)(这是“像素竞赛”中对于较高分辨率的移动相机而言的普遍问题)，但是两个或者多个相机在设备中的使用需要单个相机两倍(或者M倍)的体积。此外，在一些实施例中，深度图可以从使用飞行时间或者相似光学传感器强化的单个相机生成。这种配置是有问题的并且需要大量硬件和处理以便确定深度图。

在一些情况下，单个相机可以从多个图像确定深度图。例如通过拍摄具有不同焦点的两个或者多个分立图像，或者通过使得能够扫描(换句话说，从2个分立视点捕获图像)的相机。在这种实施例中，问题在于，在不同时间进行的曝光可能是两个不同对象的图像(例如当对象非常迅速地移动时)或者已经在曝光之间移动了的相同对象的图像。

如下文中进一步描述的概念涉及用于从单个图像生成深度图的装置和方法。在这种装置中，具有固定焦距并且具有短的场深度的单个相机被用于捕获可以被分割成(兴趣)区域的图像。这些图像区域或者部分或者分区可以被分析以便确定针对每个区域的焦距度量。接着通过使用焦距度量值和相距传感器的对象距离之间的关系，针对每个区域生成一系列对象距离值以形成深度图。所生成的深度图接着可以被分析以便确定对象和对对象分类并且此外追踪对象。例如，追踪手指或者手的位置。对对象的追踪接着可以被用于执行姿势确定并且此外用于控制功能或者参数。例如，在汽车环境中，相机可以被设置在汽车中，该相机捕获图像并且确定手或者手指对象，从中的对象追踪的姿势识别可以控制音量功能。在以下示例中，深度图在对象追踪和姿势识别应用中被采用。然而，要理解的是，深度图可以具有很多潜在应用。

对于图1，示出了示例电子设备100。设备100可以包括像素102的阵列。阵列的像素可以是任何合适的像素类型。此外，在像素102的阵列之上定位有固定焦距短场深度透镜101。

来自像素阵列的输出可以被提供到处理器104。处理器可以被配置为运行或者执行任何合适的应用或者程序，诸如单个图像深度图确定、对象确定、对象追踪、以及姿势控制。此外，在一些实施例中，该设备包括存储器105，存储器105被配置为存储应用或者程序代码并且此外存储诸如来自像素102的图像数据、或者对象分类和/或追踪数据之类的数据。

处理器的输出可以控制例如音频子***106。然而，诸如显示器之类的任何合适的输出都可以被控制。例如，显示器可以允许对深度图的表现和/或显示所捕获的图像。备选地或者附加地，深度图和/或对象信息和/或姿势控制信息可以经由接口108输出。该接口可以将输出提供到另一设备和/或通信链路。通信链路可以是无线电链路、因特网、无线局域网、移动通信网络、或者任何其它合适的链路。

对于图3，深度图生成器/对象分析器/姿势确定器的示意性表示。在一些实施例中，这一功能可以在处理器内实施并且被编码在存储在存储器中的程序内。然而，在一些实施例中，图3所示的块被实施在硬件或者硬件和软件的组合内。

图3例如示出了兴趣区域(RoI)分割器301。RoI分割器301可以被配置为接收来自固定焦距近微距(near macro)相机的图像数据。对于图5a，示例捕获图像示出了靠近相机的手的图像，其中手具有指向相机的指向手指。

RoI分割器301接着可以被配置为将图像分割成若干不同的区域。这些区域可以根据任何期望的设置分布在图像之上。例如，在一些实施例中，ROI分割器被配置为生成一系列非重叠的规则分布区域。然而，这些区域可以被设置成不规则分布、非重叠/部分重叠或者重叠分布。ROI的尺寸可以针对特定应用被调谐。

对于图2a和图2b，示出了兴趣区域分布的两个示例兴趣区域设置。例如，图2a示出了区域的网格设置，其中图像数据201被分割成设置成行和列的长方形或者正方形区域203。对于图2b，图像数据201被分割成不规则设置，其中区域213由在图像中心处相交的径向线段215分割并且进一步由位于相距图像中心的限定半径值处的各种同心圆弧217分割。此外，对于图5b，示出了具有兴趣区域501的图5a所示的所捕获图像500的示例。图5b因此示出了以行和列设置的长方形区域501的网格覆在图像之上。RoI分割器301此外可以将针对每个所确定的区域的图像数据输出到焦距度量确定器303。

在一些实施例中，焦距度量确定器303被配置为接收与限定区域关联的图像值。焦距度量确定器303可以被配置为确定关于针对区域的图像数据的焦距度量。这一焦距度量可以是任何合适的焦距度量或者测量，诸如调制传递函数(MTF)或者空间频率响应(SFR)。焦距度量确定器303接着可以将针对区域的焦距度量值输出到深度图生成器305。图5b因此还针对每个区域501示出了焦距统计或者度量503，其指示图像锐度，其中当手指靠近相机时图像锐利并且对于远处对象来说图像离焦。在图5a至图5c所示的示例中，焦距度量提供从0(离焦＝远)到5(对焦＝近)的量度，然而可以实施任何其它合适的度量范围或者尺度。换句话说，焦距统计或者度量的粒度可以基于深度图的应用被控制。

在一些实施例中，深度图控制器302可以进一步控制焦距度量确定器303。例如，焦距度量确定器303可以被配置为当实施不同的应用时在焦距度量之间切换。

在一些实施例中，深度图生成器305被配置为接收与每个区域关联的焦距度量值并且从这一值确定深度或者距离值。这例如可以包括从聚焦的度量值映射到深度图值。这一映射可以是线性映射或者非线性映射。例如，图5c示出了从图5b所示的焦距度量值的深度图的映射，其中对象离相机越近，深度图区域黑暗强度增加。因此，对于图5a至图5c中的示例，与“手指”关联的区域具有所指示的最黑暗的区域。换句话说，知道了透镜聚焦在的距离，距离与焦距统计曲线可以被测量和/或表征。因此，可以估算基于单独区域图像焦距度量值的每个对象的近似距离。

在一些实施例中，深度图控制器302可以被配置为控制兴趣区域分割器301限定对兴趣区域的设置或者配置。

对于图4，示出了焦距测量与对象距离的图，从中，深度图生成器可以使用轮廓401将焦距值映射到深度值。在图4中，具有其固定焦距微距模式具有短场深度403的相机被配置为使得具有对焦的图像部分的任何区域(换句话说，相距相机的短距离)将产生高的焦距统计或者度量。相似地，相同的设置被配置为使得具有离焦的图像部分的任何区域(例如与相机相距一定距离)将产生低的焦距统计。换句话说，在使用低F数的透镜时，保持场深度短，并且针对图4中由区域403所示的场深度内的对象产生高焦距测量，并且度量随着对象距离增加而减少。深度图生成器305可以将一系列深度值(例如与图像区域关联的深度图)输出到帧存储307a。在一些实施例中，深度图控制器302可以被配置为确定合适的映射函数以将焦距度量值转换为距离值。

图3进一步示出了帧存储307a。帧存储307a可以被配置为接收来自深度图生成器305的深度图。帧存储接着可以将这些深度图存储在存储器中以用于之后使用，诸如对象确定/分类/追踪和/或姿势确定。

图3进一步示出了对象确定器307b，其被配置为接收来自深度图生成器305或者帧存储307a的深度图。对象确定器307b可以从深度图标识图像内的对象或者对图像内的对象分类。具有在正确焦平面内(与相机相距已知距离范围)的对象的区域接着可以产生最高的焦距度量。知道特定的区域允许计算对象的XY(和近似的Z)坐标。

此外图3示出了对象追踪器307c。对象追踪器307c可以接收若干帧之上的来自对象确定器307b的信息，并且基于从图像生成的深度图确定X、Y、以及Z方向上的对象轨迹。换句话说，具有最佳焦距的区域可以被用于对象追踪。在一些实施例中，对象可以在其停留于相同焦平面内的同时被追踪。然而，在一些实施例中，基于具有最高焦距度量的区域，对象仍然可以被追踪，其中相对于相机的距离改变也被追踪。

在其中多个区域具有相同的焦距度量的一些实施例中，可以决定是取整个图像的加权质心(或者具有大于确定阈值的焦距度量的区域)还是定位和追踪多个对象。

在一些实施例中，对象追踪器被配置为在对象移动时在帧到帧的基础上追踪对象的XYZ坐标。在这种实施例中，可以采用高帧率相机提升对象可以行进而仍然被追踪的最大速度。

在一些实施例中，来自对象确定器307b的确定对象和来自对象追踪器307c的对象追踪信息可以被传递到姿势识别器309。

在一些实施例中，装置可以包括姿势识别器309。姿势识别器309可以被配置为接收所确定的对象和/或所追踪的对象，并且确定所追踪的对象在X、Y、以及Z空间中的运动是否匹配限定的姿势。

在一些实施例中，姿势识别器309可以被配置为学习新的姿势，换句话说，姿势识别器309可以被训练。姿势识别器309可以被配置为将任何标识的姿势输出到特性控制器311。

在一些实施例中，装置包括特性控制器311，特性控制器311被配置为响应于所识别的姿势并且基于所识别的姿势控制装置的功能或者特性。例如，特性控制器可以被配置为改变用户界面显示，以便显示文本的下一页或者提高或者降低音轨的音量。

对于图6，示出了诸如图3所示的装置的示例操作的流程图。

装置被配置为接收来自固定焦距相机的图像。

在图6中由步骤601示出了接收来自固定焦距相机的图像的操作。

图像接着可以被分割成区域。

在图6中由步骤603示出了将图像分割成(兴趣)区域的操作。

装置可以进一步确定针对每个区域的焦距度量。

在图6中由步骤605示出了确定针对每个区域的焦距度量的操作。

此外，装置可以被配置为将确定的区域焦距度量映射到深度值。

在图6中由步骤607示出了将焦距度量映射到深度值的操作。

装置接着可以被配置为从深度图确定对象位置和/或对象分类和/或对象追踪值。这些值可以被存储或者在其它应用中使用。

在图6中由步骤609示出了从深度图确定针对对象的特性的操作。

此外，在一些实施例中，装置被配置为从所检测的或者所确定的对象的运动来确定姿势。

在图6中由步骤611示出了从所标识的对象姿势的运动来确定姿势的操作。

此外，在一些实施例中，装置可以被配置为基于所检测的姿势控制装置的特性和/或功能。

在图6中由步骤613示出了基于姿势控制特性/功能的操作。

示例应用可以在自动姿势识别范围内。因为这实际上是机器视觉，所以可以在收集焦距测量或者统计之前将各种不同算法(例如锐化、边缘增强、噪声减少、Canny滤波器等)应用于图像。在一些实施例中，装置图像阵列是光谱敏感阵列的IR区域。此外，在一些实施例中，装置进一步包括提供光源的IR照射器(IR LED)。

一些实施例可以被提供在电子设备中。应该领会的是，设备可以是任何合适的设备。仅通过示例的方式而不加限制，该设备可以是移动电话、智能电话、平板电脑、计算机、相机等。

上文已经描述了具有不同变化的各种实施例。应该注意的是，本领域技术人员可以将这些各种实施例和变化的各种元件组合。这种更改、修改、以及改善旨在作为本公开的一部分，并且旨在处于本发明的范围内。因此，以上描述仅通过示例的方式，并且不旨在于进行限制。本发明仅如以下权利要求和其等同物中限定的那样进行限制。

Claims (10)

1.一种用于生成深度图的装置，包括：

单个相机模块，具有固定近场焦距，被配置为捕获第一单个图像；

图像分割器，被配置为将所述第一单个图像分区成多个区域；

焦距度量确定器，被配置为确定针对所述多个区域中的每个区域的焦距度量；

深度图生成器，被配置为针对所述多个区域中的每个区域将所述焦距度量映射成深度值，并且将多个深度值组合以生成所述深度图；

对象确定器，被配置为确定所述多个区域中的具有最高焦距度量的特定区域并且基于所述特定区域确定所述深度图内的至少一个对象的位置；以及

对象追踪器，被配置为基于所述特定区域来追踪所述深度图内的所述至少一个对象的所述位置。

2.根据权利要求1所述的装置，其中所述单个相机模块被配置为捕获第二单个图像，所述图像分割器被配置为将所述第二单个图像分区成多个区域，所述焦距度量确定器被配置为确定针对所述多个区域中的每个区域的另一焦距度量；并且所述深度图生成器被配置为针对所述多个区域中的每个区域将所述焦距度量映射成另一深度值，并且将多个另一深度值组合以生成另一深度图。

3.根据权利要求2所述的装置，其中所述对象追踪器被配置为追踪所述深度图内的所述至少一个对象的所述位置和所述另一深度图内的所述至少一个对象的所述位置之间的改变。

4.根据权利要求3所述的装置，进一步包括姿势确定器，其被配置为从以下中的至少一个识别姿势：

所述深度图内的所述至少一个对象的所述位置；

所述另一深度图内的所述至少一个对象的所述位置；以及

所述深度图内的所述至少一个对象的所述位置和所述另一深度图内的所述至少一个对象的所述位置之间的所述改变。

5.根据权利要求4所述的装置，进一步包括控制器，其被配置为基于所识别的姿势控制所述装置的功能。

6.一种用于生成深度图的方法，包括：

使用具有固定近场焦距的单个相机模块捕获第一单个图像；

将所述第一单个图像分区成多个区域；

确定针对所述多个区域中的每个区域的焦距度量；

针对所述多个区域中的每个区域将所述焦距度量映射成深度值；

将多个深度值组合以生成所述深度图；

确定所述多个区域中的具有最高焦距度量的特定区域；

基于所述特定区域确定所述深度图内的至少一个对象的位置；以及

基于所述特定区域来追踪所述深度图内的所述至少一个对象的所述位置。

7.根据权利要求6所述的方法，进一步包括：

使用所述单个相机模块捕获第二单个图像；

将所述第二单个图像分区成多个区域；

确定针对所述多个区域中的每个区域的另一焦距度量；

针对所述多个区域中的每个区域将所述焦距度量映射成另一深度值；以及

将多个另一深度值组合以生成另一深度图。

8.根据权利要求7所述的方法，进一步包括追踪所述深度图内的所述至少一个对象的所述位置和所述另一深度图内的所述至少一个对象的所述位置之间的改变。

9.根据权利要求8所述的方法，进一步包括从以下中的至少一个识别姿势：

所述深度图内的所述至少一个对象的所述位置；

所述另一深度图内的所述至少一个对象的所述位置；以及

所述深度图内的所述至少一个对象的所述位置和所述另一深度图内的所述至少一个对象的所述位置之间的所述改变。

10.根据权利要求9所述的方法，进一步包括基于所识别的姿势控制装置的功能。