CN106256124B - 结构化立体 - Google Patents

Abstract

本文描述了一种装置、***和方法。所述装置包括发射器和多个传感器。发射器和传感器在***中相对于发射器非对称地放置。来自发射器和传感器的数据被用于生成高准确度深度图和密集深度图。使用高准确度深度图和密集深度图来计算高分辨率且密集的深度图。

Description

结构化立体

技术领域

本技术一般涉及深度图。更具体地，本技术涉及使用非对称放置的组件生成深度图。

背景技术

诸如计算***、平板电脑、膝上型计算机、移动电话等之类的计算平台包括用于捕获图像的各种成像硬件和软件模块。在（立体）成像中，存在两个图像传感器。两个传感器可以是例如深度传感器、可见红绿蓝（RGB）光谱传感器或红外（IR）光谱传感器，其还可以包括可见光照或IR光照。

附图说明

图1是可以包括结构化立体（structured stereo）的计算设备的框图；

图2是发射器和传感器布置的示例；

图3是发射器和传感器布置的另一示例；

图4是用于结构化立体的方法的过程流程图；以及

图5是示出存储用于结构化立体的代码的有形、非暂时性计算机可读介质的框图。

贯穿公开内容和附图使用相同的数字来引用相同的组件和特征。100系列中的数字是指在图1中原始发现的特征；200系列中的数字是指在图2中原始发现的特征；以此类推。

具体实施方式

使用传感器对的被动立体成像中的深度提取涉及计算通过两个摄像机观察到的对象片的相对偏移，被称为视差。尽管使用传感器来描述本技术，但是可以使用任何图像捕获机构，诸如摄像机、图像传感器或其任何组合。相对偏移通常以像素坐标来计算。为了计算这些视差，将来自第一传感器的图像中的像素匹配到来自第二传感器的另一图像中的对应像素。在均质区域中，其中在两个图像之间匹配像素是具有挑战性的，如果不是近乎不可能的话。如本文所使用的，均质区域是大体上类似的多个图像的部分，使得在那些区域中返回的深度图是不良质量的，如果竟然可以发现它的话。相应地，均质区域显著降低由立体摄像机***获得的深度图的质量。

可替换地，主动立体是通过将非均质纹理投影在由传感器观察到的对象上来改进深度图的方法，其利用非均质纹理填充均质区域。非均质纹理通过使用红外发射器投影非均质纹理使得用户不能使投影在由传感器观察到的对象上的图案可视化而使匹配均质区域明显更容易。相应地，使用在主动立体中的传感器是红外削减（cut）传感器。虽然由主动立体获得的深度图的质量比在被动立体中的好得多，但是视差以及因而深度（Z）准确度随距离而减小，尤其是对于远离发射器-传感器配置大于一米的距离处的对象而言。视差和Z准确度在其处减小的距离取决于***特性。

本文所描述的实施例使得能够使用***组件的非对称放置实现结构化立体，所述***组件包括发射器和传感器。可以消除来自组件之间的光学距离的对深度图的矛盾的效应。在实施例中，主动立体技术和结构化光（structured light）技术被组合以获得准确且密集的深度图。当与其它技术相比时，主动立体技术提供对环境条件更鲁棒并且具有更高的输出分辨率的深度图。结构化光（SL）技术被视为准确的，并且从而确保所得到的深度图中的准确度。

在以下描述和权利要求中，可以使用术语“耦合”和“连接”连同其派生物。应当理解的是，这些术语不意图作为彼此的同义词。而是，在特定实施例中，“连接”可以用于指示两个或更多元件与彼此直接物理或电气接触。“耦合”可以意指两个或更多元件处于直接物理或电气接触。然而，“耦合”还可以意指两个或更多元件不与彼此直接接触，但是仍旧与彼此协作或交互。

一些实施例可以以硬件、固件和软件中的一个或组合来实现。一些实施例还可以实现为存储在机器可读介质上的指令，其可以由计算平台读取和执行以实行本文所描述的操作。机器可读介质可以包括用于存储或传输以机器（例如计算机）可读的形式的信息的任何机构。例如，机器可读介质可以包括只读存储器（ROM）；随机存取存储器（RAM）；磁盘存储介质；光学存储介质；闪速存储器设备；或电气、光学、声学或其它形式的传播信号，除其它之外尤其例如载波、红外信号、数字信号或传送和/或接收信号的接口。

实施例是实现方式或示例。在说明书中对“实施例”、“一个实施例”、“一些实施例”、“各种实施例”或“其它实施例”的引用意指结合实施例描述的特定特征、结构或特性被包括在本技术的至少一些实施例中，但是不一定在所有实施例中。“实施例”、“一个实施例”或“一些实施例”的各种出现不一定都是指相同的实施例。来自实施例的元件或方面可以与另一实施例的元件或方面组合。

并非本文所图示和描述的所有组件、特征、结构、特性等都需要被包括在一个或多个特定实施例中。如果说明书陈述例如组件、特征、结构或特性“可以”、“可能”、“能够”或“可”被包括，不要求包括该特定组件、特征、结构或特性。如果说明书或权利要求提到“一”或“一个”元件，这不意味着存在仅一个元件。如果说明书或权利要求提到“一个附加”元件，其不排除存在多于一个附加元件。

要指出的是，尽管已经参照特定实现方式描述了一些实施例，但是根据一些实施例的其它实现方式是可能的。此外，在附图中图示和/或在本文描述的电路元件或其它特征的布置和/或次序不需要以所图示和描述的特定方式布置。根据一些实施例，许多其它布置是可能的。

在图中所示的每一个***中，一些情况中的元件可以均具有相同的参考标号或不同的参考标号以暗示所表示的元件可以是不同的和/或类似的。然而，元件可以足够灵活以具有不同实现方式并且与本文所示出或描述的***中的一些或全部一起工作。图中示出的各种元件可以相同或不同。将哪一个称为第一元件和将哪一个称为第二元件是任意的。

图1是可以包括结构化立体的计算设备100的框图。除其它之外，计算设备100尤其可以是例如膝上型计算机、台式计算机、平板计算机、移动设备或服务器。计算设备100还可以是游戏设备或游戏***的部分。计算设备100可以包括被配置成执行所存储的指令的中央处理单元（CPU）102，以及存储由CPU 102可执行的指令的存储器设备104。CPU可以通过总线106耦合到存储器设备104。此外，CPU 102可以是单核处理器、多核处理器、计算集群或任何数目的其它配置。此外，计算设备100可以包括多于一个CPU 102。由CPU 102执行的指令可以用于实现结构化立体。存储器设备104可以包括随机存取存储器（RAM）、只读存储器（ROM）、闪速存储器或任何其它合适的存储器***。例如，存储器设备104可以包括动态随机存取存储器（DRAM）。

计算设备100还可以包括图形处理单元（GPU）108。如所示，CPU 102可以通过总线106耦合到GPU 108。GPU 108可以被配置成执行计算设备100内的任何数目的图形操作。例如，GPU 108可以被配置成渲染或操纵图形图像、图形帧、视频等以被显示给计算设备100的用户。在一些实施例中，GPU 108包括数个执行单元110，其中每一个执行单元110被配置成实行特定图形任务，或执行特定类型的工作负载。例如，GPU 108可以包括基于非对称放置的传感器产生深度图的执行单元。

计算设备100包括图像捕获设备112。在实施例中，图像捕获设备112是摄像机、立体摄像机、红外传感器等。图像捕获设备112用于捕获图像信息。计算设备100还可以包括传感器中心（hub）114。传感器中心114可以包括各种传感器，诸如深度传感器、图像传感器、红外传感器、X射线光子计数传感器或其任何组合。传感器中心114的深度传感器可以用于捕获与由传感器中心114的图像传感器捕获到的图像信息相关联的深度信息。在一些实施例中，传感器中心114是图像捕获机构110的组件。此外，在实施例中，传感器中心114向图像捕获机构提供传感器数据。传感器中心114的传感器可以包括图像传感器，诸如电荷耦合器件（CCD）图像传感器、互补金属氧化物半导体（CMOS）图像传感器、片上***（SOC）图像传感器、具有光敏薄膜晶体管的图像传感器或其任何组合。在一些实施例中，传感器中心114可以是嵌入式服务中心或者可以实现在嵌入式服务中心内。

图像捕获机构还可以包括发射器116。发射器可以用于将非均质纹理投影到可以与非对称放置的传感器一起使用以生成深度图的对象上。在实施例中，通过分析像素之间的变化并且从非对称放置的传感器根据期望分辨率捕获像素来生成深度图。

CPU 102可以通过总线106连接到输入/输出（I/O）设备接口118，输入/输出（I/O）设备接口118被配置成将计算设备100连接到一个或多个I/O设备120。I/O设备120可以包括例如键盘和指示设备，其中除其它之外，指示设备尤其可以包括触摸垫或触摸屏。I/O设备120可以是计算设备100的内置组件，或者可以是外部连接到计算设备100的设备。

CPU 102还可以通过总线106链接到显示接口122，显示接口122被配置成将计算设备100连接到显示设备124。显示设备124可以包括作为计算设备100的内置组件的显示屏。除其它之外，显示设备124尤其还可以包括计算机监视器、电视或投影仪，其外部连接到计算设备100。

计算设备还包括存储设备126。存储设备126是物理存储器，诸如硬驱动器、光学驱动器、拇指驱动器、驱动器阵列或其任何组合。存储设备126还可以包括远程存储驱动器。存储设备126还可以包括应用128。应用128可以是人类计算机交互应用，诸如手势识别。人类计算机交互应用受益于对象的深度图像，因为传统RGB图像不提供足够的数据以充分地分析图像以及识别手势、身体姿势或面部表情。计算设备100还可以包括传感器中心引擎130。在一些情况下，传感器中心引擎包括实现在计算设备100内的传感器中心114的传感器的功能的软件。传感器中心引擎130还可以包括类似于传感器中心114的传感器。

计算设备100还可以包括网络接口控制器（NIC）132，其可以被配置成通过总线106将计算设备100连接到网络134。除其它之外，网络134尤其可以是广域网（WAN）、局域网（LAN）或因特网。

图1的框图不意图指示计算设备100要包括图1中所示的所有组件。另外，计算设备100可以包括图1中未示出的任何数目的附加组件，这取决于具体实现方式的细节。

如以上所指出的，非对称地放置立体成像中所使用的组件。组件可以包括多个传感器和多个发射器。通过这样的放置，可以克服被动和主动立体深度摄像机***二者中的光学距离的任何矛盾效应。

光学距离还可以被称为基线距离。在一些情况下，光学距离是两个传感器之间的距离。光学距离还可以是传感器与发射器之间的距离。光学距离具有对立体***（主动立体***和被动立体***二者）的性能的各种矛盾效应。首先，当光学距离增加时，来自两个传感器的图像之间的匹配由于遮挡而变得更难。匹配还变得更加困难，因为具有可变深度的对象将被两个传感器不同地查看，留下很少（如果有的话）匹配区域。匹配还可以被称为立体对应，并且可以使用从不同视点拍取的相同场景的两个或更多图像来执行。在一个图像中发现点的集合，其在另一图像中也被发现或标识出。在一些情况下，使用每一个图像内的特征来完成匹配。相应地，在匹配或立体对应中，在一个图像中发现的特征也在另一图像中被发现或标识出。在一些情况下，使用单个传感器在不同位置处获得多个图像。还可以使用单个传感器在不同时间点处获得多个图像。而且，多个传感器可以用于捕获图像以用于匹配。场景中的对象还可以处于相对于一个或多个传感器的一般运动中。

第二矛盾效应在于给定正确像素分辨率视差，深度测量更加准确。由于从每一个传感器采样图像，因此视差仅被测量直至像素准确度。因此，存在视差测量中的半像素误差的假定。在将视差变换成深度时，该误差随光学距离增加而减小。

例如，考虑一对针孔且完全对准的图像传感器。假定每一个传感器的焦长度是一个像素，并且两个传感器的像素大小是一个像素。另外，左传感器的光学中心在世界坐标系的原点处：

右摄像机的光学中心是：

考虑点。如由左传感器观察到的，点被映射如下：

如由右传感器观察到的，点被映射如下：

给定左和右传感器中的两个点的X坐标，可以提取深度值（Z）。具体地，深度为：

要指出的是，所观察到的经采样的像素值是x _l 和x _l ，而不是准确的深度值。两个像素中的组合误差ε以及x _l 和x _l 位置将导致所计算的值中的误差E。

为了计算E对d的相关性，我们取差：

相应地，Z的准确度随光学距离而反线性地增加。然而，增加光学距离使匹配过程降级并且因而增加误差的可能性。

假设对象是倾斜平面。针对 的对象坐标以及大小为K乘K的窗口用于匹配。为了使匹配成功，左和右摄像机中的两个窗口应当看起来类似。它们由于子像素采样和噪声将从不确切地类似。这是因为随着a增加，其中a是对象的深度斜率，左和右窗口之间的不类似性将增加并且使匹配过程降级。令p为窗口的左边界，，并且q为右边界，。

左（l）和右（r）摄像机二者中的这些点的坐标如下：

两个点p和q之间的视差如下：

假定a为一（以45度倾斜的平面）k为5（小窗口）。像素大小为0.0001cm，在1m处像素尺度到1mm，并且d为1cm，我们看到在1米距离处右窗口相比于左窗口按失真0.5像素。增加光学距离将增加该失真并且将使匹配准确度降级。这导致倾斜对象的相对变形随光学中心增加而增加。然而，通过非对称地放置使用在立体成像中的组件，在不随光学中心增加而革新倾斜对象的情况下获得准确的深度。

图2是发射器和传感器布置200的示例。在布置200中，当与发射器202与右传感器206之间的距离相比时，将发射器202放置得更靠近左传感器204。在图2中，发射器202、左传感器204和右传感器206用于从可以包括各种对象和特征的区域208捕获信息。左传感器204和发射器202可以用于创建深度图，其可以是稀疏的并且具有低准确度。典型地，深度图是包括传达图像内的对象的表面距特定视点的距离的信息的图像。然而，单个传感器提供针对图像中的每一个点的单个数据值。单个数据值可能不提供足够的信息以导出完整的深度图。由发射器202和左传感器提供的深度图被视为稀疏的，因为其在图像的特定特征处是准确的，诸如图像内的突出对象或图像的边缘。在一些情况下，通过进行两个传感器之间的立体对应来找到稀疏深度图。

由于由左传感器204和发射器202提供的深度图是稀疏深度图，因此其不提供对于使用深度信息的应用而言必要的准确度。相应地，稀疏深度图被用作最终深度图的初始近似。通过将左传感器204放置靠近发射器202，左传感器204具有到发射器的短光学距离以实现高准确度匹配。发射器202和传感器对可以用于将左传感器所捕获的图像匹配到由发射器在给定距离处投影的已知图案。该技术用于捕获稀疏深度图，类似于如以上描述的结构化光方案。

右传感器也用于获得图像。来自右传感器的图像用于精制（refine）从左传感器204和发射器202获得的稀疏深度图。在一些情况下，执行左和右传感器数据之间的匹配以精制深度图。此外，在一些情况下，右传感器与已知图案之间的结构化光用于精制深度图。在精制之后获得的深度图由于大光学距离而具有更高准确度，并且大光学距离处的匹配过程仅是使得针对在第一阶段中发现的视差附近的像素执行匹配的精制。

图3是发射器和传感器布置300的示例。左传感器302靠近右传感器304。发射器306在左传感器302和右传感器304二者的远右侧。在图3中，发射器306、左传感器302和右传感器304用于从可以包括各种对象和特征的区域308捕获信息。通过使左传感器302和右传感器304靠近彼此，提供低准确度但密集的深度图。右传感器304与远发射器306之间通过结构化光的匹配提供针对一些像素的深度图的精制。在一些情况下，没有针对全部像素精制测量，因为由发射器投影的图像的分辨率小于传感器的分辨率。在实施例中，传感器与发射器之间的编码的结构化光对应可以用于发现深度图。

可以应用“低分辨率-高准确度”深度图和“低准确度密集”初始图的内插以提供“高分辨率且密集”的深度图。在一些情况下，内插可以被视为智能内插。在实施例中，低分辨率高准确度深度图可以如图2中所描述的那样获得。在实施例中，“低准确度密集”深度图可以如图3中所描述的那样获得。另外，在实施例中，两个不同图案由发射器发射。第一图案可以具有适合用于主动立体用途的低占空比。第二图案可以是高频图案，其用于利用结构光或编码光技术的子像素精制。由于第二图案仅用于来自主动立体的初始结果周围的精制，因此不存在多图案或移动问题。在一些情况下，两个发射器用于发射图案。第一发射器可以用于具有相对短距离处的对象的结构化光技术，并且第二发射器可以用于具有相对长距离处的对象的结构化光技术。

图4是用于结构化立体的方法400的过程流程图。在块402处，获得低准确度的稀疏深度图。在一些情况下，稀疏深度图可以使用发射器与两个传感器来生成，其中发射器位于更靠近第一传感器以便使光学距离变化。以此方式，光学距离的矛盾效应将不影响所得到的深度图。在一些情况下，高准确度深度图是如图2中所描述的稀疏深度图。在块404处，使用低准确度的稀疏深度图作为初始近似而生成高准确度深度图。在一些情况下，高准确度深度图通过使用传感器与发射器之间的结构化光技术精制低准确度的稀疏深度图来生成。此外，高准确度深度图可以使用至少两个传感器之间的匹配技术和传感器与发射器之间的结构化光技术来生成，其中发射器投影具有低占空比的第一图案，并且发射器投影用于密集低准确度深度图的子像素精制的第二图案。

在块406处，获得密集低准确度深度图。在实施例中，紧密接近彼此定位的两个传感器可以用于生成密集深度图。在一些情况下，如图3中所描述的那样生成密集深度图。来自两个传感器的深度图可以使用结构化光技术精制。在块408处，使用高准确度深度图和密集低准确度深度图来计算密集高分辨率深度图。在一些情况下，高准确度深度图和密集深度图被内插以计算高分辨率且密集的深度图。此外，密集高分辨率深度图可以通过使用主动立体技术获得高准确度深度图并且使用结构化光技术获得密集低准确度深度图来计算。作为结果，本技术可以被视为混合主动立体和结构化光解决方案。

图5是示出存储用于结构化立体的代码的有形、非暂时性计算机可读介质500的框图。有形、非暂时性计算机可读介质500可以由处理器502通过计算机总线504访问。另外，有形、非暂时性计算机可读介质500可以包括被配置成引导处理器502执行本文所描述的方法的代码。

本文所讨论的各种软件组件可以存储在一个或多个有形、非暂时性计算机可读介质500上，如图5中所指示的。例如，稀疏映射模块506可以被配置成利用非对称放置的传感器生成稀疏深度图。由稀疏映射模块506生成的深度图还可以是高准确度深度图。在块508处，密集映射模块可以被配置成利用非对称放置的传感器生成密集深度图。在这样的场景中，发射器可以被放置在距两个传感器的某一距离处，如图3中所图示的。由密集映射模块508生成的深度图还可以是低分辨率深度图。在块510处，内插模块可以内插来自稀疏映射模块506和密集映射模块508的深度图以获得既高度准确又密集的深度图。

图5的框图不意图指示有形、非暂时性计算机可读介质500要包括图5中所示的所有组件。另外，有形、非暂时性计算机可读介质500可以包括图5中未示出的任何数目的附加组件，这取决于具体实现方式的细节。

在实施例中，本技术组合两个深度估计技术。通过使用主动立体技术，深度图对环境条件更加鲁棒并且具有更高的输出分辨率。通过还使用结构化光技术，获得被视为准确的深度图。主动立体可以使用发射器和多个图像捕获机构，诸如摄像机或传感器。第一子***至少包括发射器和图像捕获机构，并且具有放置成使得在组件之间存在短光学距离以实现高准确度匹配的组件。第二子***至少包括发射器和图像捕获机构，并且具有放置成使得存在长光学距离以实现高准确度深度（Z）计算的组件。在一些情况下，发射器周围的图像捕获机构的非对称放置导致光学距离中的变化。而且，发射器-图像捕获机构对可以用于将当前所捕获到的图像匹配到投影在给定距离处的已知图案。

示例1

本文描述了一种用于结构化立体的装置。所述装置包括发射器和多个传感器。传感器关于发射器非对称地放置。

发射器和多个传感器可以获得可以用于生成稀疏深度图的数据，并且稀疏深度图可以被进一步精制以获得准确的深度图。发射器和多个传感器还可以获得可以用于生成稀疏深度图的数据，其中稀疏深度图可以是发射器与多个传感器中的传感器之间的小光学距离的结果。另外，发射器和多个传感器可以获得可以用于生成稀疏深度图的数据，所述稀疏深度图可以被进一步精制以获得准确的深度图，其中精制可以作为发射器与多个传感器中的传感器之间的大光学距离的结果而被获得。发射器和多个传感器还可以获得可以用于生成具有低准确度的密集深度图的数据。发射器和多个传感器可以获得可以用于生成具有低准确度的密集深度图的数据，其中密集深度图可以是发射器与多个传感器中的传感器之间的大光学距离的结果。发射器和多个传感器可以获得可以用于生成具有低准确度的密集深度图的数据，其中密集深度图可以使用来自发射器与多个传感器中的传感器之间的较小光学距离的结果的数据来精制。另外，发射器和多个传感器可以使用在与结构化光技术组合的主动立体技术中以获得具有高分辨率的密集深度图。发射器与多个传感器之间的光学距离可以响应于要生成的深度图的类型而调节。所述装置可以包括第二发射器。

示例2

本文描述了一种用于结构化立体的***。所述***包括发射器、多个传感器、存储器和处理器。发射器和传感器在***中关于发射器非对称地放置。存储器存储指令并且通信地耦合到发射器和多个传感器。处理器通信地耦合到存储器。当处理器执行指令时，处理器生成高准确度深度图并且生成密集深度图。处理器还使用高准确度深度图和密集深度图计算高分辨率且密集的深度图。

发射器可以在多个传感器中的至少两个传感器之间，并且发射器与第一传感器之间的距离可以短于发射器与第二传感器之间的距离。多个传感器中的第一传感器与第二传感器之间的距离可以短于第一传感器与发射器和第二传感器与发射器之间的距离，使得第一传感器和第二传感器靠近在一起并且第一传感器和第二传感器远离发射器。另外，处理器可以通过获得低准确度的稀疏深度图并且通过在多个传感器之间匹配而精制低准确度的稀疏深度图以获得高准确度深度图来生成高准确度深度图。此外，处理器可以通过获得低准确度的稀疏深度图并且通过在多个传感器之间匹配而精制低准确度的稀疏深度图来生成高准确度深度图，其中来自要匹配的传感器的图像可以使用传感器与来自发射器的图案之间的结构化光来获得。匹配可以针对当获得低准确度的稀疏深度图时发现的视差附近的像素而执行。而且，处理器可以利用来自多个传感器中的第一传感器和第二传感器的数据生成密集深度图，其中第一传感器与第二传感器之间的距离可以短于第一传感器与发射器和第二传感器与发射器之间的距离，使得第一传感器和第二传感器靠近在一起并且第一传感器和第二传感器远离发射器。而且，处理器可以利用来自多个传感器中的第一传感器和第二传感器的数据生成密集深度图，并且通过在第一传感器或第二传感器与发射器之间匹配来精制密集深度图，其中第一传感器与第二传感器之间的距离可以短于第一传感器与发射器和第二传感器与发射器之间的距离，使得第一传感器和第二传感器靠近在一起并且第一传感器和第二传感器远离发射器。发射器可以投影用于主动立体的具有低占空比的第一图案和用于利用结构化光的精制的具有高频的第二图案。第二发射器，其中发射器可以投影用于主动立体的具有低占空比的第一图案并且第二发射器可以投影用于利用结构化光的精制的具有高频的第二图案。多个传感器可以是图像传感器。另外，所述***可以是摄像机的组件。

示例3

本文描述了一种用于混合主动立体和结构化光的方法。所述方法包括获得低准确度的稀疏深度图，以及使用低准确度的稀疏深度图作为初始近似来生成高准确度深度图。所述方法还包括获得密集低准确度深度图，以及使用高准确度深度图和密集低准确度深度图计算密集高分辨率深度图。

低准确度的稀疏深度图可以使用来自传感器和发射器的数据来获得。高准确度深度图可以通过使用传感器与发射器之间的结构化光技术精制低准确度的稀疏深度图来生成。此外，高准确度深度图可以使用至少两个传感器之间的匹配技术和传感器与发射器之间的结构化光技术来生成。密集低准确度深度图可以使用至少两个传感器获得。另外，密集低准确度深度图可以使用至少两个传感器并且使用发射器精制来自至少两个传感器的数据来获得。而且，高准确度深度图可以使用至少两个传感器之间的匹配技术和传感器与发射器之间的结构化光技术来生成，其中发射器投影具有低占空比的第一图案，并且发射器投影用于密集低准确度深度图的子像素精制的第二图案。所述方法还可以包括用于获得低准确度的稀疏深度图和密集低准确度深度图的传感器和发射器的非对称放置。密集高分辨率深度图可以通过使用主动立体技术获得高准确度深度图并且使用结构化光技术获得密集低准确度深度图来计算。此外，密集高分辨率深度图可以被计算以用于人类计算机交互应用。

示例4

本文描述了一种包括代码的有形、非暂时性计算机可读介质。所述代码引导处理器生成高准确度深度图并且生成密集深度图。所述代码还引导处理器使用高准确度深度图和密集深度图计算高分辨率且密集的深度图。

高准确度深度图可以通过使用来自传感器和发射器的数据获得低准确度的稀疏深度图并且精制稀疏深度图来生成。另外，高准确度深度图可以通过使用传感器与发射器之间的结构化光技术精制稀疏深度图来生成。高准确度深度图还可以使用至少两个传感器之间的匹配技术和传感器与发射器之间的结构化光技术来生成。密集深度图可以使用至少两个传感器来生成。另外，密集深度图可以使用至少两个传感器并且使用发射器精制来自至少两个传感器的数据来生成。而且，高准确度深度图可以使用至少两个传感器之间的匹配技术和传感器与发射器之间的结构化光技术来生成，其中发射器投影具有低占空比的第一图案，并且发射器投影用于密集深度图的子像素精制的第二图案。发射器和传感器的非对称放置可以用于获得数据以生成高准确度深度图和密集深度图。高分辨率且密集的深度图可以通过使用主动立体技术获得高准确度深度图并且使用结构化光技术获得密集深度图来计算。另外，高分辨率且密集的深度图可以被计算以用于人类计算机交互应用。

示例5

一种用于结构化立体的装置包括发射器和用以获得深度数据的部件。用以获得深度数据的部件关于发射器非对称地放置。

发射器和用以获得深度数据的部件可以获得可以用于生成稀疏深度图的数据，并且稀疏深度图可以被进一步精制以获得准确的深度图。发射器和用以获得深度数据的部件可以获得可以用于生成稀疏深度图的数据，其中稀疏深度图是发射器与用以获得深度数据的部件之间的小光学距离的结果。发射器和用以获得深度数据的部件可以获得用于生成稀疏深度图的数据，所述稀疏深度图可以被进一步精制以获得准确的深度图，其中精制可以作为发射器与用以获得深度数据的部件之间的大光学距离的结果而获得。另外，发射器和用以获得深度数据的部件可以获得用于生成具有低准确度的密集深度图的数据。发射器和用以获得深度数据的部件可以获得用于生成具有低准确度的密集深度图的数据，其中密集深度图是发射器与用以获得深度数据的部件之间的大光学距离的结果。此外，发射器和用以获得深度数据的部件可以获得用于生成具有低准确度的密集深度图的数据，其中密集深度图可以使用来自发射器与用以获得深度数据的部件之间的较小光学距离的结果的数据来精制。发射器和用以获得深度数据的部件可以使用在与结构化光技术组合的主动立体技术中以获得具有高分辨率的密集深度图。发射器与用以获得深度数据的部件之间的光学距离可以响应于要生成的深度图的类型而调节。所述装置还可以包括第二发射器。

要理解的是，前述示例中的细节可以使用在一个或多个实施例中的任何地方。例如，以上描述的计算设备的所有可选特征还可以关于本文所描述的方法或计算机可读介质中的任一个实现。另外，尽管流程图和/或状态图可能已经在本文中被用于描述实施例，但是本技术不限于本文中的那些图或对应描述。例如，流程不需要移动通过每一个所图示的框或状态或以与本文所图示和描述的确切相同的次序。

本技术不限于本文所列出的特定细节。事实上，受益于本公开的本领域技术人员将领会到，可以在本技术的范围内做出来自前述描述和附图的许多其它变型。相应地，正是包括对其的任何修改的随附权利要求限定本技术的范围。

Claims (25)

1.一种用于结构化立体的装置，包括：

发射器；

多个传感器，其中传感器关于发射器非对称地放置，并且其中发射器与多个传感器之间的光学距离响应于要生成的深度图的类型而调节。

2.根据权利要求1所述的装置，其中发射器和多个传感器获得用于生成稀疏深度图的数据，并且稀疏深度图被进一步精制以获得准确的深度图。

3.根据权利要求1所述的装置，其中发射器和多个传感器获得用于生成稀疏深度图的数据，其中稀疏深度图是发射器与多个传感器中的传感器之间的小光学距离的结果。

4.根据权利要求1所述的装置，其中发射器和多个传感器获得用于生成稀疏深度图的数据，所述稀疏深度图被进一步精制以获得准确的深度图，其中精制作为发射器与多个传感器中的传感器之间的大光学距离的结果而被获得。

5.根据权利要求1所述的装置，其中发射器和多个传感器获得用于生成具有低准确度的密集深度图的数据。

6.一种用于结构化立体的***，包括：

发射器；

多个传感器，其中发射器和传感器在***中关于发射器非对称地放置；

存储器，其存储指令并且通信地耦合到发射器和多个传感器；以及

通信地耦合到存储器的处理器，其中当处理器执行指令时，处理器：

生成具有低分辨率的高准确度深度图；

生成密集深度图；并且

使用高准确度深度图和密集深度图计算高分辨率且密集的深度图。

7.根据权利要求6所述的***，其中发射器在多个传感器中的至少两个传感器之间，并且发射器与第一传感器之间的距离短于发射器与第二传感器之间的距离。

8.根据权利要求6所述的***，其中多个传感器中的第一传感器与第二传感器之间的距离短于第一传感器与发射器和第二传感器与发射器之间的距离，使得第一传感器和第二传感器靠近在一起并且第一传感器和第二传感器远离发射器。

9.根据权利要求6所述的***，其中处理器通过获得低准确度的稀疏深度图并且通过在多个传感器之间匹配而精制低准确度的稀疏深度图以获得高准确度深度图来生成高准确度深度图。

10.根据权利要求6所述的***，其中处理器通过获得低准确度的稀疏深度图并且通过在多个传感器之间匹配而精制低准确度的稀疏深度图来生成高准确度深度图，其中来自要匹配的传感器的图像使用传感器与来自发射器的图案之间的结构化光来获得。

11.一种用于混合的主动立体和结构化光的方法，包括

获得低准确度的稀疏深度图；

使用低准确度的稀疏深度图作为初始近似来生成具有低分辨率的高准确度深度图；

获得密集低准确度深度图；以及

使用高准确度深度图和密集低准确度深度图计算密集高分辨率深度图。

12.根据权利要求11所述的方法，包括使用来自传感器和发射器的数据来获得低准确度的稀疏深度图。

13.根据权利要求11所述的方法，包括通过使用传感器与发射器之间的结构化光技术精制低准确度的稀疏深度图来生成高准确度深度图。

14.根据权利要求11所述的方法，包括使用至少两个传感器之间的匹配技术和传感器与发射器之间的结构化光技术来生成高准确度深度图。

15.根据权利要求11所述的方法，包括使用至少两个传感器获得密集低准确度深度图。

16.一种包括代码以引导处理器进行以下的有形、非暂时性计算机可读介质：

生成具有低分辨率的高准确度深度图；

生成密集深度图；以及

使用高准确度深度图和密集深度图计算高分辨率且密集的深度图。

17.根据权利要求16所述的计算机可读介质，包括通过使用来自传感器和发射器的数据获得低准确度的稀疏深度图并且精制稀疏深度图来生成高准确度深度图。

18.根据权利要求16所述的计算机可读介质，包括通过使用传感器与发射器之间的结构化光技术精制稀疏深度图来生成高准确度深度图。

19.根据权利要求16所述的计算机可读介质，包括使用至少两个传感器之间的匹配技术和传感器与发射器之间的结构化光技术来生成高准确度深度图。

20.根据权利要求16所述的计算机可读介质，包括使用至少两个传感器来生成密集深度图。

21.一种用于结构化立体的装置，包括：

发射器；

用以获得深度数据的部件，其中用以获得深度数据的部件关于发射器非对称地放置，并且其中发射器与用以获得深度数据的部件之间的光学距离响应于要生成的深度图的类型而调节。

22.根据权利要求21所述的装置，其中发射器和用以获得深度数据的部件获得用于生成稀疏深度图的数据，并且稀疏深度图被进一步精制以获得准确的深度图。

23.根据权利要求21所述的装置，其中发射器和用以获得深度数据的部件获得用于生成稀疏深度图的数据，其中稀疏深度图是发射器与用以获得深度数据的部件之间的小光学距离的结果。

24.根据权利要求21所述的装置，其中发射器和用以获得深度数据的部件获得用于生成稀疏深度图的数据，所述稀疏深度图被进一步精制以获得准确的深度图，其中精制作为发射器与用以获得深度数据的部件之间的大光学距离的结果而获得。

25.根据权利要求21所述的装置，其中发射器和用以获得深度数据的部件获得用于生成具有低准确度的密集深度图的数据。