CN115053259A - 基于来自深度传感器的数据的针对定位的单目相机激活 - Google Patents

Abstract

公开了一种设备，该设备被配置为使用可与设备一起运输的深度传感器(200)和单目相机(202)中的一者或两者来执行定位。该设备适于：从深度传感器接收深度数据，基于深度数据来确定激活单目相机用于定位的收益水平，以及基于对激活单目相机的收益水平满足激活规则的确定来激活单目相机用于定位。还公开了相关的方法和计算机程序产品。

Description

基于来自深度传感器的数据的针对定位的单目相机激活

技术领域

本公开涉及一种使用可与设备一起运输的深度传感器和单目相机中的一者或两者来执行定位的设备、一种由设备使用可与该设备一起运输的深度传感器和单目相机中的一者或两者来执行定位的方法、以及对应的计算机程序产品。

背景技术

定位和映射算法(例如，同步定位和映射(SLAM)算法)是一种允许设备依靠诸如相机、距离传感器、惯性传感器之类的机载传感器在环境中定位自身的技术。这对于机器人导航和理解环境以执行任务以及在混合现实设备中能够显示真实并持久的内容至关重要。

例如，当前的混合现实(MR)头戴式耳机和现有技术的智能手机包含RGB相机、深度/3D相机(例如，无源或有源立体相机、LIDAR等)和惯性传感器(IMU)，并且对于室内和室外机器人(例如无人机和自动驾驶汽车)同样如此。例如，英特尔和维视(Microvision)最近已经推出了面向“消费者”的小型LIDAR产品。然而，其他深度传感器或3D传感器在头戴式耳机和诸如机器人之类的其他设备中非常普遍。

已经提出了若干SLAM算法，它们依赖于RGB和IMU传感器、深度传感器或所有这些传感器的组合。使用不同类型传感器的组合的一个原因是利用不同传感器的独特操作优势，并改善它们各自的局限性。例如，RGB相机在昏暗或太亮的环境中表现不佳，因为在这样的环境中很难或不可能获取视觉特征，而诸如LIDAR或有源立体相机之类的深度相机在这样的场景下将表现良好。此外，通过直接测量深度，可以以更高的精度执行定位和映射，并且可以捕捉环境的更大数量的信息(例如，构建密度大的地图而不是稀疏的地图)，等等。

然而，深度相机通常具有较高的能耗和处理要求，并且在某些条件下可能表现不佳。例如，深度相机具有有限的测量范围，并且(无源立体相机)在低纹理环境中、(有源立体相机和LIDAR)在具有阳光直射或IR干扰的区域中、(LIDAR)在下雨情况下、以及在其他限制下，可能表现不佳。因此，期望调度使用所有可用传感器以实现精确并鲁棒的定位和映射，同时还减少设备的能源资源。

定位和映射算法(例如，SLAM算法)可以与携带有多个传感器的移动设备一起使用，以同时构建一致的几何地图和确定移动设备在该地图内的位置。一些定位和映射算法利用来自相机的数据，并且有时还利用其他类型的传感器来提高鲁棒性，但在某些环境中仍然无法生成一致的地图。在视觉退化的环境(例如，昏暗的房间或隧道)中，由于特征被确定或识别的概率较低或根本不可能，因此很难从相机中提取有用的信息。

发明内容

当前可获得的使用传感器进行定位的设备(例如，Microsoft Hololens、MagicLeap、ARCore和ARKit)假定所有此类传感器始终是激活的(例如，通电的)，并且不知道需要对各个传感器执行选择性激活和去激活并且不具有对各个传感器执行选择性激活和去激活的能力。

本公开的一些实施例涉及一种设备，该设备被配置为使用可与该设备一起运输的深度传感器和单目相机中的一者或两者来执行定位。该设备包括至少一个处理器，其可操作地连接到深度传感器和单目相机。该设备还包括至少一个存储程序代码的存储器，该程序代码由至少一个处理器执行以执行操作，操作包括从深度传感器接收深度数据。操作包括基于深度数据来确定激活单目相机用于定位的收益水平，以及基于对激活单目相机的收益水平满足激活规则的确定来激活单目相机用于定位。

一些其他相关实施例涉及一种由设备使用可与该设备一起运输的深度传感器和单目相机中的一者或两者来执行定位的方法。该方法包括从深度传感器接收深度数据、以及基于深度数据来确定激活单目相机用于定位的收益水平。该方法基于对激活单目相机的收益水平满足激活规则的确定来激活单目相机用于定位。

一些其他相关实施例涉及一种计算机程序产品，该计算机程序产品用于使用可与设备一起运输的深度传感器和单目相机中的一者或两者来执行定位。该计算机程序产品包括非暂时性计算机可读介质，该非暂时性计算机可读介质存储指令，所述指令可由设备的至少一个处理器执行以将该设备配置为：从深度传感器接收深度数据，基于深度数据来确定激活单目相机用于定位的收益水平，以及基于对激活单目相机的收益水平满足激活规则的确定来激活单目相机用于定位。

这些实施例中的一个或多个实施例的潜在优点可以包括：设备能够使用来自深度传感器的深度数据确定何时单目相机可以提供足够的收益水平使得它应该从去激活状态被激活以随后在定位中使用。以这种方式，单目相机不必是已激活的，以便以编程方式确定它是否将提供足够收益水平供在定位中使用，从而合理化它的激活和使用。这些操作可以降低在执行定位时设备的能耗和计算资源利用率。

附图说明

本公开的各个方面通过示例来说明，并且不受附图的限制。在附图中：

图1示出了根据一些实施例的从来自深度传感器的三维(3D)深度数据到供使用的二维(2D)深度图像的转换，其中该二维(2D)深度图像被处理以确定通过激活单目相机以在定位中使用可以获得的收益水平；

图2示出了根据本公开的一些实施例的用于定位的设备的***图；

图3示出了包括MR头戴式耳机的混合现实MR***，该MR头戴式耳机托住移动电子设备，该移动电子设备可以包括或可操作地连接到一组传感器并被配置为根据本公开的一些实施例进行操作；

图5示出了根据本公开的一些实施例进行配置的设备的组件的框图；

图6至图11示出了根据本公开的一些实施例的由设备执行的用于针对定位来控制对单目相机的激活和对深度传感器的去激活的操作的流程图。

具体实施方式

在下文中，将参考附图更全面地描述本发明构思，在附图中示出了本发明构思的实施例的示例。然而，本发明构思可以用多种不同形式来体现，并且不应当被解释为限于本文中所阐述的实施例。相反，提供这些实施例使得本公开将全面和完整，并且将各个本发明构思的范围充分传达给本领域技术人员。还应注意，这些实施例并不互相排斥。一个实施例的组成部分可以被默认假设为存在于/用于另一实施例中。

公开了基于从深度传感器接收的深度数据确定当前去激活的单目相机何时应该被激活用于执行定位操作的方法、设备和计算机程序产品。如下文将说明的，基于来自深度传感器的深度数据(例如，基于在深度数据中识别的物理对象的结构信息)来确定激活单目相机用于定位的收益水平。基于对激活单目相机的收益水平满足激活规则的确定来激活单目相机用于定位。尽管在执行定位的上下文中描述了各个实施例，但这些和其他实施例可以用于执行组合的定位和映射操作，例如，SLAM。因此，本文所使用的术语“定位”可互换地指代仅被配置为执行定位功能的操作和被配置为执行定位和映射功能的组合的操作，例如SLAM。

在包括单目相机和深度传感器两者的设备的上下文中描述了本公开的各个实施例。图1示出了将来自深度传感器(例如，LIDAR)的三维(3D)深度数据100转换为二维(2D)深度图像102的操作。根据一些实施例，然后可以处理2D深度图像102以确定通过激活单目相机以在定位中使用可以获得的收益水平。通过使用深度相机的内在参数将3D深度数据100转换为2D深度图像102，可以从3D深度数据100中提取对可由诸如RGB相机之类的单目相机捕捉的图像的估计。所述内在参数可以使用例如用于深度传感器的软件开发套件(SDK)(例如，参见英特尔实感D400相机系列SDK)来获得或确定。尽管本文在使用3D深度数据的上下文中描述了各个实施例，但应理解，可以使用任何维度(例如，1D、2D、3D)的深度数据。因此，术语“3D深度数据”是指来自传感器的这样的深度数据，其提供对环境对象的感测深度的三维指示。相反，术语“深度数据”是指来自传感器的这样的深度数据，其提供对环境对象的感测深度的任何维度指示。

这些实施例中的一个或多个实施例的潜在优点可以包括：设备能够基于从深度传感器接收的3D深度数据100确定何时单目相机可以提供足够的收益水平使得它应该从去激活状态被激活以在定位中使用。以这种方式，单目相机不必是已激活的，以便以编程方式确定它是否将提供足够的收益水平以在定位中使用。这些操作可以降低在执行定位时设备的能耗和计算资源利用率。

在一些实施例中，可以执行以下操作来确定激活单目相机的收益水平是否足以触发其激活，并且可以进一步确定是否应该去激活深度传感器：

1.从深度传感器接收深度数据；

2.基于深度数据来确定激活单目相机的收益水平；

3.如果激活单目相机用于定位的收益水平满足激活规则，则激活单目相机；以及

4.(可选)在已执行对单目相机的激活之后，基于来自深度传感器的深度数据并基于来自单目相机的图像数据，确定使用深度传感器进行定位的收益水平，并且基于对使用深度传感器进行定位的收益水平满足去激活规则的确定，去激活深度传感器。

图5示出了根据本公开的一些实施例进行配置的示例设备500的组件的框图。图6示出了根据本公开的一些实施例的操作的流程图，所述操作可以由设备500执行以基于对激活单目相机202用于定位的收益水平满足激活规则的确定来针对定位控制对单目相机202的激活。

参考图5和图6，在一些实施例中，设备500包括至少一个处理器510(在下文中被称为“处理器”)，其可操作地连接到深度传感器200、单目相机202和至少一个存储器520(在下文中被称为“存储器”)，所述存储器520存储由处理器510执行以执行以下操作的程序代码：从深度传感器200接收600深度数据，基于深度数据来确定602激活单目相机202用于定位的收益水平，以及基于对激活单目相机202的收益水平满足激活规则的确定来激活604单目相机202用于定位。存储器520可以包括定位图库522(例如，历史定位图)，其可以如下所述地使用。设备500可以包括被配置为通过无线接口进行通信的无线收发器530。

深度传感器200和单目相机202可与设备500一起运输，但不一定是设备500的一部分。例如，尽管图5示出了设备500包括深度传感器200、单目相机202、处理器510和存储器520，但在一些实施例中，这些组件中的一个或多个可以与设备500分离并且通过无线收发器530和/或有线接口可通信地与设备500连接。设备500可以是，但不限于，智能手机、可穿戴计算机、增强现实头戴式耳机、虚拟现实头戴式耳机、混合现实头戴式耳机、半自主或自主车辆、无人机、飞行器、机器人等中的任何一个的组件。

图3示出了包括混合现实(MR)头戴式耳机300的MR***，所述头戴式耳机300托住移动电子设备320，所述移动电子设备320可以例如经由有线和/或无线通信接口可操作地连接到至少一个单目相机202和至少一个深度传感器200。移动电子设备320可以包括或可操作地连接到处理器510和存储程序代码的存储器，所述程序代码将处理器510配置为在使用单目相机202和深度传感器200中的激活的个体执行定位时激活和去激活单目相机202和深度传感器200中的个体。

尽管在激活和去激活单个传感器(例如，一个单目相机和一个深度传感器)的上下文中描述了各个实施例，但这些实施例可以用于激活和去激活传感器组。因此，例如，“单目相机”可以对应于一组单目相机，“深度传感器”可以对应于一组深度传感器。一组传感器可以包含同类型或不同类型的传感器。

MR头戴式耳机300包括透镜310，佩戴MR头戴式耳机的用户可以通过透镜310查看真实世界特征。MR头戴式耳机300还包括支架321，支架321被配置为将移动电子设备320可释放地保持在相对于透镜310的规定方位，使得在移动电子设备320的显示设备上显示的图像被透镜310直接或间接地反射向用户的眼睛。尽管未示出，但MR头戴式耳机300可以包括位于透镜310与用户的眼睛之间的中间镜子，因此，光可被直接或间接地反射向用户的眼睛和/或相机202。

移动电子设备320可以包括，但不限于，智能手机、掌上计算机、平板计算机、游戏设备或其他计算设备。为简洁起见，“移动电子设备”在本文中也被称为“移动设备”和“设备”。

图2示出了根据本公开的一些实施例的被配置为使用深度传感器200和单目传感器202来执行定位操作和/或组合的定位和映射操作(例如，SLAM)的设备的***图。参考图2，所述设备包括传感器激活和去激活逻辑204，所述逻辑204被配置为：基于来自深度传感器200的深度数据来确定激活单目相机202用于定位操作的收益水平，并基于所述确定来选择性地激活单目相机202。传感器激活和去激活逻辑204还可以被配置为：例如当单目相机202已经被激活用于定位并且深度传感器200的持续使用不能提供足够的持续收益时，基于对使用深度传感器200进行定位的收益水平满足去激活规则的确定来去激活深度传感器200。在单目相机202是激活的时，从单目相机202向定位算法(例如定位和映射算法212)提供图像数据。类似地，在深度传感器200是激活的时，从深度传感器200向定位算法(例如定位和映射算法212)提供深度数据。

传感器激活和去激活逻辑204控制切换逻辑208，所述切换逻辑208执行对传感器200和202中的选定传感器的去激活和激活。切换逻辑208可以通过触发下述中的至少一个来执行对传感器(即，深度传感器200或单目相机202)的激活：将传感器转换到更高功率状态、给传感器通电、将传感器的数据采样率增大到用于定位的水平、将传感器的分辨率增大到用于定位的水平、将光学参数(例如，焦距、视野等)更改为用于定位的参数、以及调整定位算法以使用传感器的参数(例如，光学参数)。反之，切换逻辑208可以通过触发下述中的至少一个来执行对传感器的去激活：将传感器转换到较低功率状态、给传感器断电、将传感器的数据采样率降低到低于用于定位的水平、将传感器的分辨率降低到低于用于定位的水平、将光学参数(例如，焦距，视野等)更改为不用于定位的参数、以及调整定位算法以停止使用传感器的参数(例如，光学参数)。因此，术语“切换”不限于关开切换，而是备选地或附加地可以包括控制逻辑，其执行用于激活和去激活传感器的较复杂的上述活动中的一种或多种。

在一个实施例中，调整定位算法以使用传感器的光学参数进行定位的操作可以包括：获得与传感器的光学参数相对应的算法参数。算法参数可以基于针对不同光学参数集离线调整定位算法来预先确定。然后，基于传感器的规定的光学参数集来选择对应的预定算法参数以供使用。

如下面将进一步详细说明的，传感器激活和去激活逻辑204可以在操作上使用由能量预算206提供的信息和/或由定位图210(其可以驻留在图5中的定位图库522中)提供的信息来确定何时激活单目相机202和/或何时去激活深度传感器200。

为了让单目相机202提供可用于定位操作和/或组合的定位和映射操作(例如，SLAM)的图像数据，单目相机202必须能够捕捉相关环境特征。现在将说明可以基于定位算法(例如，定位和映射算法212)的性能来确定激活单目相机的收益水平的操作的各种备选实施例。

首选说明使用单目相机202的定位算法(例如定位和映射算法212)的性能。所述性能可以直接取决于单目相机202对视觉特征的检测。如果无法以稳健的方式检测到期望的视觉特征，则定位算法(例如，定位和映射算法212)在操作上将会失败。特征描述符(例如，SIFT、BRISK、ORB、基于机器学***。然后，基于所确定的收益水平是否满足激活规则，选择性地激活单目相机202用于定位和/或组合的定位和映射，例如SLAM。

下面讨论基于分析由深度传感器200捕捉的3D深度数据100来确定单目相机202将是否能够在环境中捕捉到足够的相关对象特征的各种方法。下面讨论了用于确定单目相机202的收益水平的各种其他相关方法。

在一些实施例中，基于在将3D深度数据100转换为2D深度图像102(如图1所示)之后进行采样和分析来确定激活单目相机202的收益水平。在一个实施例中，基于将表示3D定位图210的深度数据转换为表示2D深度图像102的2D深度数据，并基于二维深度图像102生成可以从单目相机202(如果单目相机202是激活的)获取的深度信息的近似值，来确定602激活单目相机202用于定位的收益水平。然后，基于深度信息的近似值来确定激活单目相机200用于定位的收益水平。

在一个特定示例中，基于使用深度相机内在参数将3D深度数据100转换为2D深度图像102来确定收益水平，其中，深度传感器内在参数可以由制造商提供或者可以经由对深度传感器200的校准来获得。例如，给定深度传感器内在参数矩阵M，可以根据P_2D＝M*P_3D将具有姿势P_3D的3D体素转换为具有姿态P_2D的2D像素。例如，对于英特尔实感D400深度相机，该过程由函数rs2_project_point_to_pixel()来实现，该函数是设备软件的一部分，其中，在将3D体素作为输入的情况下，该函数计算对应的2D像素。参考图1中所示的该过程的示例，2D深度图像102被生成为单目相机202(如果是激活的)需要的信息的近似值。通过从不同视角重复将3D深度数据100的序列转换为2D深度图像102的序列，可以更精确地执行近似。这可以对应于从不同角度拍摄的3D深度数据100(其被描述为3D深度数据)的快照。

图9中示出了根据本公开的一些实施例进行配置的对应操作。参考图9，针对3D定位图210中的多个不同视角中的每一个，操作重复900表示3D定位图210中的视角的深度数据到表示2D深度图像102的2D深度数据的转换。基于3D定位图210中的多个不同视角的2D深度数据来执行深度信息的近似值的生成。

对激活单目相机用于定位的收益水平的确定602可以基于对通过特征描述符检测算法处理2D深度数据而检测到的特征描述符的数量的确定。给定2D深度图像102，有可能理解单目相机202将获取多少以及多好的2D视觉特征，这例如通过将2D深度图像102馈送给诸如ORB、SIFT等特征检测器算法并获取检测到的特征的数量M来实现。

因此，在一个实施例中，确定602激活单目相机202用于定位的收益水平还可以基于满足最小特征数量阈值的特征描述符的数量。例如，还可以获得检测到的特征的质量Qi。于是，收益水平可以等于M，或者是特征质量和特征数量(例如，M个特征中的特征Mi的数量，其中Qi(Mi)＞Qmin)的函数，其中，Qmin是特征被视为是好的特征所需的最小质量水平。特征的质量可以通过常规方法来推断。

例如，下述公开文献在第2.2节中定义每个特征的质量是特征在τ个帧上的τ时间可观察性得分，它本质上表示在设备移动时在全部连续图像帧中观察到特征的一致性：Zhang，G.，&Vela，P.A.(2015)，“Good features to track for visual SLAM”，2015 IEEE计算机视觉和模式识别会议(CVPR)，doi：10.1109/cvpr.2015.7298743，2015。得分越高，用于定位和映射的特征的质量就越高。可以使用其他质量度量。例如，可以将RANSAC算法应用于若干图像序列的特征，并且可以针对图像序列计算内点集和外点集。始终设置在内点集中的特征被认为相比外点集中包括的特征具有更高的质量。

在一些实施例中，可以基于采样并分析当前被深度相机200用于执行定位的定位图210中包含的3D深度数据100来确定602激活单目相机202用于定位的收益水平。在一个实施例中，对激活单目相机用于定位的收益水平的确定可以包括基于深度数据来确定单目相机的位置。使用单目相机202的位置来访问历史3D定位图库(可以与图5所示的定位图库522相对应)以获得历史深度数据。将表示历史3D定位图的历史深度数据转换为表示历史2D深度图像的历史2D深度数据。基于历史2D深度图像来生成可从单目相机202(如果是激活的)获取的深度信息的近似值。然后基于深度信息的近似值来确定收益水平。

在其他实施例中，使用(例如，图5中的库522内的)历史3D定位图和单目相机202的相对于历史3D定位图中的位置的呈现轨迹来确定激活单目相机202的收益水平。在图4和图10的上下文中描述了示例操作。图4示出了沿着所预测的轨迹402移动通过环境的具有深度传感器200和单目相机202的设备400的俯视图。在一些实施例中，针对沿着单目相机202的相对于历史3D定位图中的位置的预测运动轨迹402的多个不同视角中的每一个，操作重复1000表示历史3D定位图中的视角的历史深度数据到表示历史2D深度图像102的历史2D深度数据的转换。基于沿着单目相机202的相对于历史3D定位图的预测运动轨迹402的多个不同视角的历史2D深度数据来执行深度信息的近似值的生成。

例如，设备500确定其相对于用于定位的历史3D定位图的当前姿态、以及设备500的运动方向的知识。给定该信息，这些操作获得历史3D定位图内的与运动轨迹402的估计相对应的不同视角的2D深度图像102，并执行如先前实施例中详述的类似操作。针对每个被选择的视角，操作可以确定激活单目相机202用于定位的收益水平。因此，操作可以附加地依赖于先验捕捉并存储在历史3D定位图中的深度数据，而不是仅使用当前从深度传感器200捕捉的在线数据，。

现在描述其他操作，这些操作可以被执行以确定激活单目相机202用于定位的收益水平，然后可以根据其来确定是否应该激活单目相机202。

在一些实施例中，基于激活单目相机202的收益水平是否满足激活规则来激活604单目相机202的操作可以包括：确定收益水平的值是否满足阈值。可以基于图11所示的操作来确定所述阈值。参考图11，操作基于对来自深度传感器200的深度数据中的被估计为可被单目相机202检测到的特征描述符的数量的确定、以及对特征描述符的数量满足执行定位所需的特征描述符的阈值数量的确定，来确定1100所述阈值。在其他实施例中，来自深度传感器的深度数据中的被估计为可被单目相机202检测到的特征描述符的数量被限制为仅包括满足特征质量阈值的特征描述符。

在一个特定示例中，收益水平等于检测到的特征描述符的数量M高于期望阈值，即M＞Mmin，其中，Mmin被定义为对于定位算法(例如，定位和映射算法212)要足够好的执行用于其预定目的而言必须检测到的特征描述符的最低数量。这可以基于使用例如SLAM算法212的离线实验来获得，然后在线调整，SLAM算法212例如是下述文献中所提出的：Schneider，T.，Dymczyk，M.，Fehr，M.，Egger，K.，Lynen，S.，Gilitschenski，I.，和Siegwart，R.，“Maplab：An open framework for research in visual-inertial mappingand localization”，IEEE机器人和自动化快报，第三卷，第3期，第1418至1425页，2018年。此外，操作可以将特征描述符的数量与特征描述符的质量相结合，并定义特征描述符的质量Qi应该高于限定的阈值(即Qi＞Qmin)例如高50％，其中Qmin可以再次基于离线实验来限定，然后在线调整。

为了在给定具有3D姿态的可用地图的情况下执行对设备姿态的计算，需要从单目相机202的图像中提取的特征描述符的最小数量可以取决于所使用的定位算法和所推断的特征描述符的质量。例如，操作可以被配置为需要至少6个满足质量阈值的特征描述符。然而，为了在检测和计算特征的姿态时处理噪声，应该检测更大数量的特征描述符。

在一些实施例中，如果在测量值集上获得的收益水平的函数(例如，深度传感器200的最近N次测量值的平均值)高于激活阈值，则应该激活单目相机202。

再次参考图4，在一些实施例中，当使用针对设备400的当前姿态和设备400的沿未来运动轨迹402的预测姿态的测量值在对(例如，图5中的定位图库522内的)定位图执行的测量值集上确定的收益水平高于激活阈值时，应该激活单目相机202。

对激活单目相机202的收益水平是否满足激活规则的确定可以基于设备的能量预算206。例如，如果激活单目相机202的收益水平满足上述条件，并且还需要基于能量预算206降低设备的能耗，则可以激活功耗较低的单目相机202，并且此后，可以去激活高功耗的深度传感器200以降低设备的功耗。

在一个特定示例中，根据单目相机202和深度传感器200两者都是激活的并且针对两个传感器检测到特征描述符的数量M及其质量Qi的实验来训练Mmin和Qmin的值。例如，为了使单目相机202以期望的性能执行，单目相机202图像的Mmin和Qmin应该处于期望的值，并且记录给定深度图像对应的M和Qi值。然后建立对应于3D深度数据100的M和Qi与单目图像的Mmin和Qmin之间的关系的模型，因此当给定3D深度数据100计算的收益水平高于这些值时，应该激活单目相机202。

一些其他实施例涉及确定在单目相机202已经被激活用于定位之后继续使用深度传感器200进行定位的收益水平，这然后可以触发对深度传感器的去激活。可以基于来自深度传感器200的3D深度数据100以及从当前激活的单目相机202接收的图像数据来确定继续使用深度传感器200进行定位的收益水平。图7示出了用于确定使用深度传感器200进行定位的收益水平的操作的对应流程图。这些操作在已经执行了对单目相机202的激活604之后基于来自深度传感器200的深度数据并基于来自单目相机202的图像数据来确定700使用深度传感器200进行定位的收益水平。

在激活单目相机202之后，设备可以确定深度传感器200是应该保持激活还是被去激活。参考图8的实施例，设备操作为基于对使用深度传感器进行定位的收益水平满足去激活规则的确定来去激活800深度传感器。

在一个实施例中，对使用深度传感器200进行定位的收益水平满足去激活规则的确定700包括：确定来自单目相机202的图像数据中的特征描述符的数量，并且确定位于深度传感器200和单目相机202两者的共同视野内的图像数据中的特征描述符的数量满足执行定位所需的特征描述符的阈值数量。因为单目相机202的视野可能不同于深度相机200的视野，所以可以例如在与单目相机202的视野相对应的(来自深度传感器的3D深度数据的)2D深度图像空间中确定特征描述符。

在其他实施例中，将来自单目相机202的图像数据中的特征描述符的数量限制为仅包括满足特征质量阈值的特征描述符。

在给定单目相机测量值的情况下，是去激活深度传感器200还是代为它保持激活的决定可以包括分析定位算法(例如，定位和映射算法212)的性能。如果性能和/或鲁棒性满足去激活角色，则相应地关闭深度相机200。所述性能和/或鲁棒性可以基于例如在来自单目相机202的图像数据中检测到的特征的数量M和特征Mi的质量Qi是否高于限定的阈值来分析。所述阈值可以离线地获得和定义，然后进一步在线调整。这可以与从定位算法(例如，定位和映射算法212)获得的姿态的属性相结合，所述属性如所确定的定位算法的输出值的误差和方差，并且如果那些值低于特定阈值，则可以解释为算法性能和/或鲁棒性是可以接受的。备选地或附加地，深度相机200可以保持是激活的并用于实现卓越的算法性能。

上述实施例可以结合使用设备500的能量预算206来确定激活单目相机的收益水平是否满足激活规则。对能量预算206的使用使设备能够对因为深度传感器200和单目相机202同时处于激活状态而存在过高功耗的情况作出反应，作为响应这可以触发对深度相机200的去激活。在对应的实施例中，对使用深度传感器200进行定位的收益水平满足去激活规则的确定700包括：确定使用深度传感器200和单目相机202两者进行定位消耗能量的水平大于设备500应提供多少能量的能量预算206。

在本文的各个实施例中，对传感器(例如，单目相机202或深度传感器200)的去激活可以通过触发下述中的至少一种来执行：将传感器转换到较低功率状态、给传感器断电、将传感器的数据采样率降低到低于用于定位的水平、将传感器的分辨率降低到低于用于定位的水平、将光学参数(例如，焦距，视野等)更改为不用于定位的参数、以及调整定位算法以停止使用传感器的参数(例如，光学参数)。

在另一实施例中，对使用深度传感器200进行定位的收益水平满足去激活规则的确定700是基于确定设备使用深度传感器200执行定位所获得的硬件资源利用率来执行的，其中，硬件资源利用率包括处理器利用率、存储器利用率和网络通信利用率中的至少一种。

如上所述，可以通过触发下述中的至少一种来执行对传感器(即，深度传感器200或单目相机202)的激活：将传感器转换到更高功率状态、给传感器通电、将传感器的数据采样率增大到用于定位的水平、将传感器的分辨率提高到用于定位的水平、将光学参数(例如，焦距、视野等)更改为用于定位的参数、以及调整定位算法以使用传感器的参数(例如，光学参数)。因此，在一个实施例中，对单目相机202的激活604包括下述中的至少一个：触发将单目相机202转换到更高功率状态、给单目相机202通电、将单目相机202的数据采样率增大到用于定位的水平、将单目相机202的分辨率增大到用于定位的水平，以及调整定位算法212以使用单目相机202的光学参数。

一些其他相关实施例涉及一种由设备使用可与该设备一起运输的深度传感器和单目相机中的一者或两者来执行定位的对应方法。该方法包括：从深度传感器接收600深度数据，基于深度数据来确定602激活单目相机用于定位的收益水平，以及基于对激活单目相机的收益水平满足激活规则的确定来激活604单目相机用于定位。在各种其他实施例中，该方法还执行以上在图1至图11的上下文中描述的操作中的任何操作。

一些其他相关实施例涉及一种计算机程序产品，所述计算机程序产品用于使用可与设备一起运输的深度传感器和单目相机中的一者或两者来执行定位。所述计算机程序产品包括存储指令的非暂时性计算机可读介质520，所述指令可在设备的至少一个处理器上执行以将所述设备配置为：从深度传感器接收深度数据，基于深度数据来确定激活单目相机用于定位的收益水平，以及基于对激活单目相机的收益水平满足激活规则的确定来激活单目相机用于定位。在各种其他实施例中，所述指令还将设备配置为还执行上面在图1至图11的上下文中描述的操作中的任何操作。

下面说明其他定义和实施例。

在对发明构思的各个实施例的以上描述中，要理解的是，本文使用的术语仅用于描述具体实施例的目的，而不意图限制发明构思。除非另外定义，否则本文使用的所有术语(包括技术术语和科学术语)具有与本发明构思所属领域的普通技术人员通常所理解的意义相同的意义。将理解，诸如在通用词典中定义的术语等的术语应被解释为具有与它们在本说明书的上下文和相关技术中的意义相一致的意义，而不被解释为理想或过于正式的意义，除非本文有这样的明确定义。

当元件被称为相对于另一元件进行“连接”、“耦接”、“响应”或其变化时，它可以直接连接、耦接到或者响应于其它元件，或者可以存在中间元件。相反，当元件被称作相对于另一元件进行“直接连接”、“直接耦接”、“直接响应”或其变化时，不存在中间元件。贯穿全文，类似附图标记表示类似的元件。此外，本文使用的“耦接”、“连接”、“响应”或其变型可以包括无线耦接、连接或响应。如本文使用的，单数形式“一”，“一个”和“所述”意在还包括复数形式，除非上下文明确地给出相反的指示。为了简洁和/或清楚，可能没对公知的功能或结构进行详细描述。术语“和/或”包括关联列出的一个或多个项目的任意和所有组合。

将理解，虽然本文中可以使用术语第一、第二、第三等来描述各元件/操作，但这些元件/操作不应被这些术语限制。这些术语仅用于将一个元素/操作与另一个元素/操作相区分。因此，在一些实施例中的第一元素/操作可以在其他实施例中称作第二元素/操作，而不会脱离本发明构思的教导。贯穿说明书，相同的附图标记或相同的参考符号表示相同或类似的元素。

本文使用的术语“包括”、“包含”、“含有”、“涵盖”、“由……构成”、“计入”、“有”、“拥有”、“具有”或其变形是开放式的，并且包括一个或多个所记载的特征、整数、元件、步骤、组件、或功能，但是不排除存在或添加一个或多个其他特征、整数、元件、步骤、组件、功能或其组合。此外，如本文的使用，常用缩写“例如(e.g.)”源于拉丁短语“exempligratia”，其可以用于介绍或指定之前提到的项目的一个或多个一般示例，而不意图作为该项目的限制。常用缩写“即(i.e)”源于拉丁短语“idest”，可以用于指定更广义的引述的具体项目。

本文参考计算机实现的方法、装置(***和/或设备)和/或计算机程序产品的框图和/或流程图图示描述了示例实施例。应理解，可以通过由一个或多个计算机电路执行的计算机程序指令来实现框图和/或流程图示出的框以及框图和/或流程图示出中的框的组合。可以将这些计算机程序指令提供给通用计算机电路、专用计算机电路和/或其它可编程数据处理电路的处理器电路来产生机器，使得经由计算机和/或其它可编程数据处理装置的处理器执行的指令转换和控制晶体管、存储器位置中存储的值、以及这种电路内的其它硬件组件，以实现框图和/或流程图框中指定的功能/动作，并由此创建用于实现框图和/或流程图框中指定的功能/动作的装置(功能体)和/或结构。

这些计算机程序指令也可以存储在有形计算机可读介质中，所述有形计算机可读介质能够指导计算机或其它可编程数据处理装置按照具体的方式作用，使得在计算机可读介质中存储的指令产生制品，所述制品包括实现在所述框图和/或流程图的框中指定的功能/动作的指令。因此，发明构思的实施例可以在硬件和/或在诸如数字信号处理器之类的处理器上运行的软件(包括固件、贮存软件、微代码等)上实现，所述处理器可以统称为″电路″、″模块″或其变体。

还应注意，在一些备选实现中，在框中标记的功能/动作可以不以流程图中标记的顺序发生。例如，依赖于所涉及的功能/动作，连续示出的两个框实际上可以实质上同时执行，或者框有时候可以按照相反的顺序执行。此外，可以将流程图和/或框图的给定框的功能分成多个框和/或流程图和/或框图的两个或更多个框的功能可以至少部分地被集成。最后，在不脱离发明构思的范围的情况下，可以在所示出的框之间添加/***其他框，和/或可以省略框/操作。此外，尽管一些框包括用于指示通信的主要方向的关于通信路径的箭头，但应当理解，通信可以以与所表示的箭头相反的方向发生。

在基本上不脱离本发明构思原理的前提下，可以对实施例做出许多改变和修改。所有这些改变和修改旨在在本文中被包括在发明构思的范围内。因此，上述主题应理解为示例性的而非限制性的，并且所附实施例的示例旨在覆盖落入本发明构思的精神和范围之内的所有这些修改、改进和其他实施例。因此，在法律允许的最大范围内，本发明构思的范围应由所附实施例的示例及其等同物的最宽允许解释来确定，并且不应受限于或限制于之前的具体实施方式。

Claims (21)

1.一种设备(500)，被配置为使用能够与所述设备一起运输的深度传感器(200)和单目相机(202)中的一者或两者来执行定位，所述设备(500)包括：

至少一个处理器(510)，能够操作地连接到所述深度传感器(200)和所述单目相机(202)；

至少一个存储器(520)，存储由所述至少一个处理器(510)执行的程序代码，以执行操作：

从所述深度传感器接收(600)深度数据；

基于所述深度数据来确定(602)激活所述单目相机用于定位的收益水平；以及

基于对激活所述单目相机的收益水平满足激活规则的确定，激活(604)所述单目相机用于定位。

2.根据权利要求1所述的设备(500)，其中，所述操作还配置所述至少一个处理器以：在已经执行了对所述单目相机的激活(604)之后，基于来自所述深度传感器的深度数据并基于来自所述单目相机的图像数据来确定(700)使用所述深度传感器进行定位的收益水平。

3.根据权利要求2所述的设备(500)，其中，所述操作还配置所述至少一个处理器以：基于对使用所述深度传感器进行定位的收益水平满足去激活规则的确定，去激活(800)所述深度传感器。

4.根据权利要求3所述的设备(500)，其中，对使用所述深度传感器进行定位的收益水平满足所述去激活规则的确定(700)包括：

确定来自所述单目相机的图像数据中的特征描述符的数量，以及

确定位于所述深度传感器和所述单目相机两者的共同视野内的图像数据中的特征描述符的数量满足执行定位所需的特征描述符的阈值数量。

5.根据权利要求4所述的设备(500)，其中，来自所述单目相机的图像数据中的特征描述符的数量被限制为仅包括满足特征质量阈值的特征描述符。

6.根据权利要求3至5中任一项所述的设备(500)，其中，对使用所述深度传感器进行定位的收益水平满足所述去激活规则的确定(700)包括：确定使用所述深度传感器和所述单目相机两者进行定位消耗能量的水平大于所述设备应提供多少能量的能量预算。

7.根据权利要求2至6中任一项所述的设备(500)，其中，对使用所述深度传感器进行定位的收益水平满足所述去激活规则的确定(700)是基于设备使用所述深度传感器执行定位所获得的硬件资源利用率来执行的，其中，所述硬件资源利用率包括处理器利用率、存储器利用率和网络通信利用率中的至少一种。

8.根据权利要求1至7中任一项所述的设备(500)，其中，对所述单目相机的激活(604)包括触发下述中的至少一个：将所述单目相机转换到更高的功率状态、给所述单目相机通电、将所述单目相机的数据采样率增大到用于定位的水平、将所述单目相机的分辨率增大到用于定位的水平、将光学参数更改为用于定位的参数、以及调整定位算法以使用所述单目相机的光学参数。

9.根据权利要求1至8中任一项所述的设备(500)，其中，激活所述单目相机用于定位的收益水平是基于以下来确定(602)的：

将表示3维，3D，定位图的深度数据转换为表示2维，2D，深度图像的2D深度数据；

基于所述2D深度图像生成深度信息的近似值，所述深度信息在所述单目相机被激活的情况下能够从所述单目相机获取；以及

基于所述深度信息的近似值来确定激活所述单目相机用于定位的收益水平。

10.根据权利要求9所述的设备(500)，还包括：

针对所述3D定位图中的多个不同视角中的每一个，重复(900)表示所述3D定位图中的视角的深度数据到表示所述2D深度图像的2D深度数据的转换，

其中，所述深度信息的近似值的生成是基于所述3D定位图中的多个不同视角的2D深度数据来执行的。

11.根据权利要求9至10中任一项所述的设备(500)，其中，对激活所述单目相机用于定位的收益水平的确定(602)基于对通过特征描述符检测算法处理所述2D深度数据而检测到的特征描述符的数量的确定。

12.根据权利要求11所述的设备(500)，其中，对激活所述单目相机用于定位的收益水平的确定(602)还基于满足最小特征数量阈值的特征描述符的数量。

13.根据权利要求1至12中任一项所述的设备(500)，其中，对激活所述单目相机用于定位的收益水平的确定(602)基于以下：

基于所述深度数据来确定所述单目相机的位置；

使用所述单目相机的位置访问历史3D定位图库，以获得历史深度数据；

将表示历史3D定位图的历史深度数据转换为表示历史2D深度图像的历史2D深度数据；

基于所述历史2D深度图像生成深度信息的近似值，所述深度信息在所述单目相机被激活的情况下能够从所述单目相机获取；以及

基于所述深度信息的近似值来确定激活所述单目相机用于定位的收益水平。

14.根据权利要求13所述的设备(500)，还包括：

针对沿着所述单目相机的相对于所述历史3D定位图的运动轨迹的多个不同视角中的每一个，重复(1000)表示所述历史3D定位图中的视角的历史深度数据到表示所述历史2D深度图像的历史2D深度数据的转换，

其中，所述深度信息的近似值的生成是基于沿着所述单目相机的相对于所述历史3D定位图的运动轨迹的多个不同视角的历史2D深度数据来执行的。

15.根据权利要求1至14中任一项所述的设备(500)，其中，基于对激活所述单目相机的收益水平满足所述激活规则的确定来激活(604)所述单目相机用于定位包括：确定所述收益水平的值满足阈值。

16.根据权利要求15所述的设备(500)，还包括：

基于对来自所述深度传感器的深度数据中的被估计为能够被所述单目相机检测到的特征描述符的数量的确定、以及对所述特征描述符的数量满足执行定位所需的特征描述符的阈值数量的确定，来确定(1100)所述阈值。

17.根据权利要求16所述的设备(500)，其中，来自所述深度传感器的深度数据中的被估计为能够被所述单目相机检测到的特征描述符的数量被限制为仅包括满足特征质量阈值的特征描述符。

18.一种由设备(500)使用能够与所述设备一起运输的深度传感器(200)和单目相机(202)中的一者或两者来执行定位的方法，所述方法包括：

从所述深度传感器接收(600)深度数据；

基于所述深度数据来确定(602)激活所述单目相机用于定位的收益水平；以及

基于对激活所述单目相机的收益水平满足激活规则的确定，激活(604)所述单目相机用于定位。

19.根据权利要求18所述的方法，还包括执行根据权利要求2至17中任一项所述的操作。

20.一种用于使用能够与设备(500)一起运输的深度传感器(200)和单目相机(202)中的一者或两者来执行定位的计算机程序产品，所述计算机程序产品包括非暂时性计算机可读介质，所述非暂时性计算机可读介质存储指令，所述指令能够由所述设备的至少一个处理器执行以将所述设备配置为：

从所述深度传感器接收(600)深度数据；

基于所述深度数据来确定(602)激活所述单目相机用于定位的收益水平；以及

基于对激活所述单目相机的收益水平满足激活规则的确定，激活(604)所述单目相机用于定位。

21.根据权利要求20所述的计算机程序产品，其中，所述指令还将所述设备配置为根据权利要求2至17中任一项来执行。

Images