CN105339981A - 用于使用一组基元配准数据的方法 - Google Patents

Abstract

一种使用包括点和平面的一组基元来配准数据的方法。首先，该方法从第一坐标系中的数据选择第一组基元，其中，第一组基元包括至少三个基元和至少一个平面。对从第一坐标系到第二坐标系的变换进行预测。使用该变换将第一组基元变换到第二坐标系。根据变换到第二坐标系的第一组基元来确定第二组基元。然后，使用第一坐标系中的第一组基元和第二坐标系中的第二组基元，将第二坐标系与第一坐标系配准。配准可以用于跟踪获取数据的相机的姿势。

Description

用于使用一组基元配准数据的方法

技术领域

本发明总体涉及计算机视觉，并且更特别地，涉及估计相机的姿势。

背景技术

在重建场景的3D结构的同时跟踪相机的姿势的***和方法被广泛用于增强现实(AR)可视化、机器人导航、场景建模、以及计算机视觉应用。这样的处理通常被称为同时定位与地图构建(SLAM)。实时SLAM***可以使用获取二维(2D)图像的传统相机、获取三维(3D)点云(一组3D点)的深度相机、或者获取2D图像和3D点云两者的红、绿、蓝和深度(RGB-D)相机(诸如，)。跟踪是指使用相机的预测运动以用于顺序地估计相机的姿势的处理，而重定位是指使用一些基于特征的全局配准(registration)以用于从跟踪失败恢复的处理。

使用2D相机的SLAM***针对纹理场景通常是成功的，但是针对无纹理区域很可能失败。在迭代最近点(ICP)方法的帮助下，使用深度相机的***依靠场景中的几何变化(诸如，曲面和深度边界)。然而，当几何变化很小时(诸如，在平面场景中)，基于ICP的***经常失败。使用RGB-D相机的***可以利用纹理和几何特征两者，但是它们仍然要求独特的纹理。

很多方法都没有明确解决重建比单人房间大的三维模型时的困难。为了将那些方法扩展到较大的场景，要求较好的存储器管理技术。然而，存储器限制不是唯一的挑战。通常，房间规模的场景包括具有纹理和几何特征的许多对象。为了扩展到较大的场景，需要跟踪具有有限纹理和不充分几何变化的区域(诸如，走廊)中的相机姿势。

相机跟踪

考虑到一些3D对应，使用3D传感器获取3D点云的***将跟踪问题归纳为配准问题。ICP方法从由相机运动预测给出的初始姿势估计开始，迭代地定位点到点或点到平面对应。ICP已被广泛用于移动机器人中的线扫描3D传感器(也称为扫描匹配)以及用于产生全部3D点云的深度相机和3D传感器。U.S.20120194516以ICP方法将点到平面对应用于相机的姿势跟踪。地图的该表示是一组体元(voxel)。每个体元表示针对到最接近表面点的距离的截断符号距离函数(truncatedsigneddistancefunction)。该方法不从3D点云提取平面；相反，通过使用局部邻域确定3D点的法线来建立点到平面对应。这样的基于ICP的方法要求场景具有充分几何变化以用于精确配准。

另一种方法从RGB图像提取特征并且执行基于描述符的点匹配，以确定点到点对应并且估计相机姿势，然后利用ICP方法将相机姿势细化。该方法使用场景中的纹理(RGB)和几何(深度)特征。然而，仅使用点特征来处理无纹理区域和具有重复纹理的区域仍然有问题。

使用平面的SLAM

平面特征已被用于许多SLAM***中。为了确定相机姿势，要求其法线跨越R³的至少三个平面。因此，特别是当视场(FOV)或传感器的范围较小(诸如，在中)时，仅使用平面导致许多退化问题(degeneracyissue)。大FOV线扫描3D传感器和小视场(FOV)深度相机的组合可以利用额外***成本避免退化。

相关申请中描述的方法使用了点-平面SLAM，点-平面SLAM使用点和平面两者以避免在使用这些基元中的一个基元的方法中常见的失败模式。该***不使用任何相机运动预测。相反，该***通过全局地定位点和平面对应，针对所有帧执行重定位。结果，该***仅能每秒处理约三个帧，并且遇到由于基于描述符的点匹配导致的一些重复纹理的失败。

相关申请中描述的方法还提出了使用点到点和平面到平面对应两者在不同坐标系中配准3D数据。

发明内容

在包括人造结构的室内和室外场景中，平面是主要的。本发明的实施方式提供了一种用于跟踪使用点和平面作为基元特征的RGB-D相机的***和方法。通过拟合平面，该方法隐式地处理3D传感器特有的深度数据中的噪声。跟踪方法由重定位和集束调整(bundleadjustment)处理支持，以展示使用手持式或机器人上安装的RGB-D相机的实时同时定位与地图构建(SLAM)***。

本发明的一个目的是在将导致配准失败的退化问题减到最小的同时使能快速和精确的配准。该方法使用相机运动预测定位点和平面对应，并且提供基于预测和校正框架的***。该方法结合使用点和平面两者的重定位和集束调整处理，以从跟踪失败恢复并且持续细化相机姿势估计。

具体地，一种方法使用包括点和平面的一组基元来配准数据。首先，该方法从第一坐标系中的数据选择第一组基元，其中，第一组基元包括至少三个基元和至少一个平面。

对从第一坐标系到第二坐标系的变换进行预测。使用该变换将第一组基元变换到第二坐标系。根据变换到第二坐标系的第一组基元确定第二组基元。

然后，使用第一坐标系中的第一组基元和第二坐标系中的第二组基元，将第二坐标系与第一坐标系配准。所述配准可以用于跟踪获取数据的相机的姿势。

附图说明

图1是根据本发明的实施方式的用于跟踪相机的姿势的方法的流程图；以及

图2是根据本发明的实施方式的用于使用相机的预测姿势在当前帧与地图(map)之间建立点到点和平面到平面对应的过程的示意图。

具体实施方式

本发明的实施方式提供了一种用于跟踪相机的姿势的***和方法。本发明通过将相机运动预测用于更快速的对应搜索和配准，扩展了在我们的相关美国申请Sn.13/539,060中描述的实施方式。我们使用在当前帧和地图之间建立的点到点和平面到平面对应。地图包括来自之前在全局坐标系中配准的帧的点和平面。这里，我们关注的是使用相机运动预测来建立平面到平面对应以及建立点到点和平面到平面对应两者的混合情况。

***概述

在优选***中，RGB-D相机102是或XtionPROLIVE，其获取一系列帧101。我们使用基于关键帧的SLAM***，这里我们选择多个代表帧作为关键帧，并且将在单个全局坐标系中配准的关键帧存储在地图中。与仅使用点的现有技术SLAM相比，我们在***中的所有处理中使用点和平面两者作为基元。每个帧中的点和平面被称为量度(measurement)，并且来自关键帧的量度作为地标被存储在地图中。

在给定地图的情况下，我们使用预测和校正框架来估计当前帧的姿势：我们预测相机的姿势，并且使用该姿势来确定点和平面量度与点和平面地标之间的对应，然后使用所述对应来确定相机姿势。

跟踪可能由于不正确或不充分的对应而失败。在预定数量的连续跟踪失败之后，我们重定位，其中，我们在当前帧与地图之间使用全局点和平面对应搜索。我们还应用使用点和平面的集束调整，以异步地细化在地图中的地标。

方法概述

如图1所述，由场景103的红、绿、蓝和深度(RGB-D)相机102获取110当前帧101。预测获取所述帧时该相机的姿势，相机的姿势被用于定位130帧与地图194之间的点和平面对应。在随机采样一致性(RANSAC)框架140中使用点和平面对应，以将帧配准到地图。如果150配准失败，则对连续失败的数量进行计数154，并且如果为假(F)，则继续下一帧，否则如果为真(T)，则使用全局配准方法而不使用相机运动预测来重定位158相机。

如果RANSAC配准成功，则在RANSAC框架中估计的姿势160被用作帧的姿势。接下来，确定170当前帧是否为关键帧，并且如果为假，则在步骤110处，继续进行下一帧。否则，在当前帧中提取180附加的点和平面，更新190地图194，并且针对下一帧继续进行。使用集束调整对地图进行异步细化198。

可以在连接到本领域中已知的存储器和输入/输出接口的处理器中执行这些步骤。

相机姿势跟踪

如上所述，我们的跟踪使用包括点和平面两者的特征。所述跟踪基于预测和校正方案，这可以被概括如下。针对每一个帧，我们使用相机运动模型来预测姿势。基于所预测的姿势，我们定位帧中与地图中的点和平面地标相对应的点和平面量度。我们使用点和平面对应来执行基于RANSAC的配准。如果该姿势与当前存储在地图中的任何关键帧的姿势不同，则我们提取附加的点和平面量度，并且将该帧添加到地图中作为新关键帧。

相机运动预测

我们将第k个帧的姿势表示为

$T_k=\left(\begin{array}{cc}{R}_k& t_k\\ 0^T& 1\end{array}\right),---\left(1\right)$

其中,R_k和t_k分别表示旋转矩阵和平移矢量。我们使用第一帧来定义地图的坐标系；因此，T₁是单位矩阵，并且T_k表示第k个帧相对于地图的姿势。

我们通过使用恒定速度假设来预测第k个帧的姿势使ΔT表示第(k-1)个帧与第(k-2)个帧之间的先前估计的运动，即，ΔT＝T_k-1T_k-2 ^-1。然后，我们将第k个帧的姿势预测为

定位点和平面对应

如图2所示，我们使用所预测的姿势来定位与地图中的地标对应的第k个帧中的点和平面量度。考虑当前帧的预测姿势201，我们定位地图202中的点和平面地标与当前帧203中的点和平面量度之间的对应。我们首先使用所预测的姿势将地图中的地标转变到当前帧。然后，针对每一个点，我们从当前帧中的所预测的像素位置开始使用光流过程执行局部搜索。针对每一个平面，我们首先定位所预测的平面的参数。然后，我们考虑所预测的平面上的一组基准点，并且定位与位于所预测的平面上的每个基准点连接的像素。选择具有最大数量的连接的像素的基准点，并且使用所有连接的像素来细化平面参数。

点对应：使p_i＝(x_i,y_i,z_i,1)^T表示地图中的第i个点地标210，第i个点地标210被表示为齐次矢量。当前帧中的p_i的2D图像投影220被预测为

${\hat{p}}_i^k={\hat{T}}_k{p}_i,{\hat{u}}_i^k=FP\left({\hat{p}}_i^k\right),---\left(2\right)$

其中，是变换到第k个帧的坐标系的3D点，并且函数FP(·)使用内部相机校准参数来确定3D点到图像平面上的前向投影。我们通过使用Lucas-Kanade的光流方法从的初始位置开始定位相应点量度。使为所确定的光流矢量230。然后，相应点量度为

$u_i^k={\hat{u}}_i^k+{\mathrm{\Δu}}_i^k,p_i^k=BP\left(u_i^k\right)D\left(u_i^k\right),---\left(3\right)$

其中，函数BP(·)将2D图像像素后向投影到3D射线，并且D(·)是指像素的深度值。如果光流矢量未被确定或像素位置具有无效深度值，则认为该特征丢失。

平面对应：代替对每个帧独立于其它帧地执行耗时的平面提取过程(现有技术)，我们利用所预测的姿势来提取平面。这产生更快的平面量度提取，并且还提供平面对应。

使π_j＝(a_j,b_j,c_j,d_j)^T表示地图中的第j个平面地标240的平面方程。我们假设平面地标和相应量度在图像中具有一些重叠区域。为了定位这样的相应平面量度，我们从第j个平面地标的内点(inlier)随机地选择多个基准点250q_j,r(r＝1,...,N)，并且将基准点转变到第k个帧作为255

${\hat{q}}_{j,r}^k={\hat{T}}_k{q}_{j,r},(r=1,...,N)---\left(4\right).$

我们还将πj转变到第k个帧作为245

${\widehat{\mathrm{\π}}}_j^k={\hat{T}}_k^{-T}{\mathrm{\π}}_j---\left(5\right).$

我们从平面上的每个转变后的基准点定位连接的像素260，并且选择具有最大内点的像素。这些内点用于细化平面方程，得到相应的平面量度如果内点的数量小于阈值，则平面地标被声明为丢失。例如，我们使用N＝5个基准点，使用针对点到平面距离的为50mm的阈值来确定平面上的内点，并且使用9000作为最小数量的内点的阈值。

地标选择

使用地图中的所有地标执行上述处理可能效率低。因此，我们使用在最接近当前帧的单个关键帧中出现的地标。在跟踪处理之前，通过使用先前帧的姿势T_k-1来选择最接近的关键帧。

RANSAC配准

基于预测的对应搜索提供点到点和平面到平面对应的候选，所述候选可能包括外点(outlier)。因此，我们执行基于RANSAC的配准以确定内点并且确定相机姿势。为了明确地确定姿势，我们需要至少三个对应。因此，如果存在少于三个对应的候选，则我们立即确定跟踪失败。为了进行精确相机跟踪，当仅存在少量对应的候选时，我们也确定跟踪失败。

如果存在足够数量的候选，则我们使用封闭形式的混合对应来解决配准问题。因为平面的数量通常远远少于点的数量，并且由于来自许多点的支持致使平面具有较少噪声，该过程使平面对应优先于点对应。如果RANSAC定位了足够数量的内点(例如，所有点和平面量度的数量的40％)，则认为跟踪成功。该方法产生第k个帧的校正姿势T_k。

地图更新

如果所估计的姿势T_k与地图中的任何现有关键帧的姿势充分不同，则我们将第k个帧确定为关键帧。为了检验该情况，我们可以例如使用平移100mm和旋转5°的阈值。针对新关键帧，使在基于RANSAC的配准中被定位为内点的点和平面量度与相应地标相关联，同时丢弃被定位为外点的那些点和平面量度。然后，我们可以提取最新出现在该帧中的附加点和平面量度。附加点量度是在不接近任何现有点量度的像素上，使用关键点检测器(诸如，尺度不变特征变换(SIFT)和加速鲁棒特征(SURF))提取的。附加平面量度是通过在不是任何现有平面量度的内点的像素上使用基于RANSAC的平面拟合来提取的。将附加点和平面量度作为新地标添加到地图。另外，我们针对帧中的所有点量度提取用于重定位的特征描述符(诸如，SIFT和SURF)。

Claims (15)

1.一种用于使用一组基元来配准数据的方法，其中，所述数据具有三个维度(3D)并且所述基元包括点和平面，所述方法包括以下步骤：

从第一坐标系中的所述数据选择第一组基元，其中，所述第一组基元包括至少三个基元和至少一个平面；

预测从所述第一坐标系到第二坐标系的变换；

使用所述变换将所述第一组基元变换到所述第二坐标系；

根据变换到所述第二坐标系的所述第一组基元来确定第二组基元；以及

使用相互对应的所述第一坐标系中的所述第一组基元和所述第二坐标系中的所述第二组基元，将所述第二坐标系与所述第一坐标系配准，其中，在处理器中执行以上步骤。

2.根据权利要求1所述的方法，其中，所述第一组基元包括所述第一坐标系中的至少一个点和至少一个平面，并且所述第二组基元包括所述第二坐标系中的至少一个点和至少一个平面。

3.根据权利要求1所述的方法，其中，通过可移动相机获取所述数据。

4.根据权利要求1所述的方法，其中，所述数据包括纹理和深度。

5.根据权利要求1所述的方法，其中，所述配准使用随机采样一致性(RANSAC)。

6.根据权利要求1所述的方法，其中，所述数据为由相机获取的一系列帧的形式。

7.根据权利要求6所述的方法，所述方法还包括：

从所述一系列帧选择一组帧作为关键帧；以及

将所述关键帧存储在地图中，其中，所述关键帧包括所述点和所述平面，并且所述点和所述平面作为地标被存储在所述地图中。

8.根据权利要求7所述的方法，所述方法还包括：

针对每个帧预测所述相机的姿势；以及

根据所述配准，针对每个帧确定所述相机的姿势，以跟踪所述相机。

9.根据权利要求1所述的方法，其中，所述配准是实时的。

10.根据权利要求7所述的方法，所述方法还包括：

应用使用所述点和所述平面的集束调整来细化所述地图中的地标。

11.根据权利要求8所述的方法，其中，第k个帧的姿势为

$T_k=\left(\begin{array}{cc}{R}_k& t_k\\ 0^T& 1\end{array}\right),$

其中，R_k和t_k分别表示旋转矩阵和平移矢量。

12.根据权利要求8所述的方法，其中，所述预测使用恒定速度假设。

13.根据权利要求6所述的方法，其中，使用光流过程来定位所述帧中的所述点。

14.根据权利要求1所述的方法，其中，使所述平面的对应优先于所述点的对应。

15.根据权利要求1所述的方法，其中，所述配准被用于同时定位与地图构建(SLAM)。