CN104537709A - 一种基于位姿变化的实时三维重建关键帧确定方法 - Google Patents

Abstract

本发明提出一种基于位姿变化的实时三维重建关键帧确定方法，通过当前帧定位、定位质量评价、视野差计算、判断是否***关键帧四个步骤实现。本发明中的方法具有优点是：关键帧质量高，速度快，稳定性好，通过判断图像帧的定位质量，可以有效防止错误帧的***；同时提出了视野差的概念，利用视野差阀值保证***的关键帧都包含一定新的图像信息，有效减少关键帧之间的冗余，减轻了地图创建的负担。

Description

一种基于位姿变化的实时三维重建关键帧确定方法

技术领域

本发明涉及机器人、无人机视觉自主导航领域，具体为一种基于位姿变化的实时三维重建关键帧确定方法。

背景技术

机器人领域的即时定位与地图构建(Simultaneous Localization and Mapping,SLAM),也称为并发建图与定位Concurrent Mapping and Localization(CML)，最早由Smith、Self和Cheeseman于1988年提出。由于其重要的理论与应用价值，被很多学者认为是实现真正全自主移动机器人的关键技术之一，经过多年的发展，其已经在一些机器人上得到了应用。其主要分成了两个分支：基于概率模型的方法如EKF-SLAM和Fast-SLAM，以及基于多视图几何的方法，如机器视觉领域的从运动恢复结构(Structure from Motion，SfM)。其中后者能够应对更大的场景，更快速的运动，定位和画图不必捆绑在一起进行，并且可以生成相对稠密的三维地图，在实际应用中更有潜力。

在SfM中定位往往依赖地图中已知特征点与当前帧之间的匹配关系，而地图创建工作通过处理关键帧中的特征点进行，关键帧的选取质量直接影响地图的质量，从而又影响定位的精准度，同时地图全局校准工作复杂度随关键帧的数量迅速增加，限制关键帧中信息的冗余度对运行速度有着重要影响。关键帧的选择应该满足以下条件：

1、单个关键帧图像质量应该较好，定位足够准确；

2、尽可能地减小信息的冗余度，空间分布尽量均匀；

3、关键帧应该尽量包含图像序列的所有信息。

目前SFM应用中所使用的关键帧选择方法大都比较简单，如与前一个关键帧比较对应特征点的平均像素位移，当超过某一固定阀值时则被选择为关键帧。这样的方法存在以下几点不足：

1、没有考虑当前关键帧的图像质量以及定位质量，很容易导致低质量甚至是错误帧的***，给***带来严重的后果；

2、在某些情况如摄像头在同一个地方左右晃动时将产生大量的冗余关键帧，浪费***的运行时间。

传统的SfM往往侧重大量无序图像的三维重建，因此无法实现实时SLAM，为了达到实时速度Klein、Murray等人提出了一种为小范围增强现实应用的同时跟踪与地图构建方法(Parallel Tracking and Mapping,PTAM)。其最大的特点是将定位和画图分开到两个线程中进行，定位不再和计算量较大的地图更新绑在一起，地图更新有更多的CPU时间专注地处理少量的关键帧，从而使得提高了定位的速度精度和鲁棒性，也使得地图质量可以相对更好。其关键帧的选择方法引入了定位质量的评价，只有当定位质量较好时添加关键帧，同时为了减少冗余，关键帧之间需要有足够的平移。

其方法存在以下不足：

1、由于其关键帧选择方式并没有考虑摄像头旋转带来的视野变化，当摄像头旋转较多而平移很少时并不会添加关键帧；

2、固定地要求每个关键帧的定位质量达到很高才被选为关键帧，但在实际情况下是不切实际的，如果不及时地在关键时刻添加关键帧，很容易导致后面的帧都无法进行定位，造成***失效。

以上所述的两点问题其实都是信息丢失的问题，也就是说，理想的关键帧选择方法在防止低质、错误帧***的情况下，既要尽可能地减少***冗余，同时也要保证不能过分丢失信息，只有这样才能保证***在正常运行的基础上能够拥有更高的效率。

发明内容

为克服现有技术在同时定位与地图构建过程中，三维重建速度随关键帧的数目增加迅速变慢的问题，本发明提出了一种基于位姿变化和定位质量的关键帧选择算法，此算法可为基于图像序列的实时三维地图重建提供鲁棒、高质量的关键帧。

本发明的技术方案为：

所述一种基于位姿变化的实时三维重建关键帧确定方法，其特征在于：对于摄像头实时获取的图像，通过以下步骤判断是否被选为关键帧：

步骤1：获取摄像头当前帧，并通过特征点提取、特征点匹配、位姿估计步骤进 行当前帧定位，得到当前帧在世界坐标系下的位姿矩阵E_cw以及当前帧的平均深度Depth；

步骤2：根据步骤1的当前帧定位过程，对当前帧的定位质量进行评价，得到评价结果：

其中，指标 $\mathrm{Error}=\frac{\mathrm{FeatureTry}}{\mathrm{FeatureFound}}\×{\mathrm{\σ}}_T\×{\mathrm{\Σ}}_{j=1},...,\mathrm{FeatureFoundObj}(\frac{\left|e_j\right|}{{\mathrm{\σ}}_j},{\mathrm{\σ}}_T),$ ErrGood和ErrBad分别为设定的评价阈值；FeatrueTry为特征点匹配过程中选择进行匹配的特征点个数，FeatrueFound为成功匹配的特征点个数，σ_T为在位姿估计步骤中得到的重投影误差阈值，Obj()函数为Tukey双权值目标函数，e_j为重投影误差向量，σ_j为|e_j|的归一化因子；

步骤3：计算当前帧与已有的关键帧的视野差，并得到最小的视野差D；当前帧与关键帧K_i的视野差为：

D_KiC＝|t|/Depth+cos^-1([0 0 1]·r_z)

其中|t|表示当前帧与关键帧K_i的相对位移大小，r_z为关键帧K_i在世界坐标系中姿态的z轴单位向量，z轴为相机指向轴；

步骤4：根据步骤2得到的当前帧定位质量评价以及步骤3得到的最小视野差D，判断是否***当前帧作为关键帧；满足***当前帧作为关键帧的条件是：

(D>D1&&TrackQuality＝良好)||(D>D2&&TrackQuality＝一般)

其中D1，D2分别为两个视野差阀值，且满足D2>D1。

进一步的优选方案：所述一种基于位姿变化的实时三维重建关键帧确定方法，其特征在于：步骤3中，采用K-D树数据结构对关键帧的平移量以及Z轴方向的单位向量进行描述，将当前帧代入K-D树数据结构进行计算，得到最小视野差D。

进一步的优选方案：所述一种基于位姿变化的实时三维重建关键帧确定方法，其特征在于：步骤3中，对当前帧的平均深度Depth进行限制：

$\mathrm{Depth}=\left\{\begin{array}{cc}0.5& (\mathrm{Depth}<0.5)\\ \mathrm{Depth}& (0.5\&le;\mathrm{Depth}\&le;5)\\ 5& (\mathrm{Depth}>5)\end{array}\right..$

有益效果

本发明中的方法具有以下优点：

1、关键帧质量高。与一般方法相比，本发明中的方法通过判断图像帧的定位质量，可以有效防止错误帧的***；同时提出了视野差的概念，利用视野差阀值保证***的关键帧都包含一定新的图像信息，有效减少关键帧之间的冗余，减轻了地图创建的负担。

2、速度快。本发明中用到的位姿信息，平均深度信息以及定位质量信息在定位中得到，都是机器人导航所需要用到的，在选择关键帧的时候可以视为已知，利用已有的结果计算视野差，运算成本较小，从而可以保证较快的速度。

3、稳定性好。一方面由于关键帧质量有较好的保证，由此得到的地图错误率较少，定位精度高；同时***在关键时刻也没有过分拘泥于很严格的定位质量，可以及时***关键帧，除非非常恶劣的情况下才会引起定位丢失的情况，因此***拥有较高的稳定性。

附图说明

图1是本发明的流程示意图。

图2是使用本发明中的方法选择关键帧重建出来的三维点云地图。

图3是重建图2地图时相机的移动轨迹以及关键帧分布图。

图4是重建图2地图的部分关键帧。

具体实施方式

下面结合具体实施例描述本发明：

对于摄像头实时获取的图像，都需要进行以下四个步骤判断是否被选为关键帧，其中第一步是导航应用中原本就应该包含的，前两步为后两步提供判断数据，最终决定当前帧是否为关键帧。

第一步：当前帧定位。对于机器人自主导航来说，地图创建只需要少量的关键帧， 而定位的频率则要求较高，对于摄像头当前获取的图像帧，通过与现有地图进行特征点匹配即可获取当前相机在地图中的位姿信息。得到的位姿信息一方面可以用于导航，同时也可以用来作为关键帧的选择判断条件。在这个过程中，通过当前图像帧中成功匹配的特征点也可以估算平均深度值。

根据当前摄像头获取的图像信息进行定位是SLAM的核心任务，其方法较多，一般流程为特征点提取、特征点匹配、位姿估计。这里仅为示例，实际应用中可以用其他方法代替。

1、特征点提取 

对于获取的图像，首先转化为灰度图，然后进行特征提取。常用的图像特征有SIFT，SURF，Fast角点等，其中Fast角点特征运算量较小，计算速度快，示例中将采用其进行特征提取。计算时,检测候选特征点周围一圈的像素值,如果候选点周围邻域内有足够多的像素点与该候选点p的灰度值差别够大,则认为该候选点为一个特征点。即：

$N=E_{x\&ForAll;\left(\mathrm{circle}\left(p\right)\right)}|I\left(x\right)-I\left(p\right)|{\mathrm{\&epsiv;}}_d$

其中,I(x)为圆周上任意一点的灰度,I(p)为圆心的灰度,ε_d为灰度值差的阈值。如果N大于给定阈值(一般为周围圆圈点的四分之三),则认为p是一个角点,或者特征点。这里为了提高***抗图像模糊的能力，对图像建立金字塔，并在金字塔的每一层都进行Fast角点特征提取。

2、特征点匹配 

为了计算当前相机姿态，需要建立当前图像特征点与已有地图中特征点的对应关系，这里采取的办法是将特征地图中的点投影到当前帧中，然后在投影得到的图像位置附近寻找对应。这一步首先将世界坐标系中的点p_jW转换到当前粗略估计的相机坐标系中，这个相机位姿可以通过运动学模型得到，如式(2)，其转换只需要左乘相机在世界坐标系下的位姿矩阵E_cw。

p_jC＝E_cwp_jW         (2) 

对于一个已经标定的相机，其相机坐标系中的点投影到图像坐标系的函数设定为CamProj(),则世界坐标系中的点p_jW投影到当前帧图像坐标系中的点(u_i v_i)可表示为：

$\left(\begin{array}{c}{u}_i\\ v_i\end{array}\right)=\mathrm{CamProj}\left(p_{\mathrm{jC}}\right)=\mathrm{CamProj}\left(E_{\mathrm{cwpjw}}\right)---\left(3\right)$

要在当前帧里面找到地图点，我们在预期位置周围的一个固定范围内寻找对应。这里采用SSD(Sum of Squared Differences，零均值的归一化协方差)的方法，为了实现这一查找，对应的像素片应该根据之前观测所处位置和当前相机的位置的关系进行一个变换。我们用矩阵A来表示这个仿射变换：

$A=\left[\begin{array}{cc}\frac{{\&PartialD;u}_C}{{\&PartialD;u}_S}& \frac{{\&PartialD;u}_C}{{\&PartialD;v}_S}\\ \frac{{\&PartialD;v}_C}{{\&PartialD;u}_S}& \frac{{\&PartialD;v}_C}{{\&PartialD;v}_S}\end{array}\right]---\left(4\right)$

其中{u_s,v_s}表示原层次金字塔图片对应水平和垂直方向上的像素位移，{u_c,v_c}对应当前帧大图(第0层)上对应的像素位移。将源关键帧金字塔等级单位像素位移投影到像素片对应的平面上，然后将其投影到当前帧，便可以得到矩阵A的值。执行上述投影可以保证矩阵不仅补偿角度和大小，还补偿了整个图像镜头畸变的影响。

A可以用来决定应该在当前的哪个金字塔层搜索对应，其行列式值等于原单个像素在当前大图上对应的像素数目；det(A)/4对应在层次1金字塔中对应的像素数，等等。其目标金字塔等级可以通过使det(A)/4^l接近1得到，我们尝试在这个最接近其大小的等级寻找其对应。

一个8×8的像素块模板在原层次上经仿射变换A/2^l和双线性插值产生，从每个像素值中减去平均像素强度，用来应对光照强度的变化。接下来，在其预测位置固定的半径范围内寻找该模板的最佳匹配，这一步通过在圆形搜索区域内的所有FAST拐角位置评估零平均SSD分数并选择分数最低的位置，如果这是一个预设的阈值之下，该像素块被认为找到。

在某些情况下，特别是在高金字塔层，整数像素的位置不够准确用来产生平滑的跟踪结果，可以通过在找到的位置执行一个迭代误差最小化来使位置更精确。我们使用反向合成方法，最大限度地减少了变换和光强带来的影响，然而，如果对每个像素块都进行这一操作就太耗时间了，所以只对高金字塔层进行这样的操作。

当使用的特征为SIFT时，匹配工作将变得简单，A矩阵并不需要，投影也可以选择性进行。因为SIFT特征不受拍摄角度和大小的影响，而是使用一个128维的向量描 述其特征，可以通过建立K-D树寻找当前帧中特征点在地图中的最近邻匹配，投影判断是否在其附近即可。

3、位姿估计 

实际运动情况下，运动学模型对当前位姿的估计是非常粗糙的，要利用这样的一个粗略位姿使用SSD进行匹配需要较大的搜索范围，而大范围搜索尤其对于较多点找对应时的时间消耗是巨大的，同时也将带来非常多的离群点。为了加快其速度，同时也增加***鲁棒性，在大量点匹配前我们首先需要对运动学模型得到的位姿信息进行优化，进行一个粗略的位姿更新。

粗略的位姿更新方法是通过少量点(50个)在较大范围内寻找匹配计算的，其中50个点优先使用高金字塔中的信息，并对其进行亚像素的匹配从而得到更高精度，这些点有较好的抗模糊能力。通过给出一组成功的对应观测Z(其中包含n个地图点p_jW与当前帧上像素位置的对应关系)，可以计算相机的位姿，典型的方法如OpenCV中的solvePnPRansac函数。

由于大范围的搜索将带来较多的离群点，为了算法的鲁棒性，这里使用RANSAC-WLS计算初始的位姿，由于其点数量较少，RANSAC的迭代次数并不需要太多，放在这里尤其适合。

使用RANSAC计算位姿的步骤如下：

1.从50个匹配中随机抽取3个计算位姿，计算Inlier个数；

2.将上一步迭代N次，选取Inlier最多的位姿作为RANSAC迭代后的位姿；

3.使用前一步位姿计算Inlier，利用所有Inlier更新得到最终位姿。

其中在实际操作中其评价并不简单地利用Inlier的个数，而是利用Inlier的平均重投影误差来评价当前姿态的好坏。RANSAC获取Inlier数据后便可以采用WLS(带权值的最小二乘方法)更新位姿，其中权值由鲁棒的Tukey估计器得到。

位姿更新通过使得鲁棒重投影误差代价函数最小得出：

$\mathrm{\&mu;}=\arg \min {\mathrm{\&Sigma;}}_{j\&Element;z}\mathrm{Obj}(\frac{\left|e_j\right|}{{\mathrm{\&sigma;}}_j},{\mathrm{\&sigma;}}_T)---\left(5\right)$

其中e_j表示重投影误差向量：

$e_j=\left[\begin{array}{c}{\hat{u}}_i\\ {\hat{v}}_i\end{array}\right]-\mathrm{CamPoj}\left(\exp \left(\mathrm{\&mu;}\right){\mathrm{\&Sigma;}}_{\mathrm{cw}}{p}_{\mathrm{jw}}\right)---\left(6\right)$

其中Obj(x，y)是Tukey双权值目标函数，其具体表达式由(7)给出。每一个观测都对应着一个像素位置(指向大图的像素单元)，其应该包含σ²＝2^2l倍2x2单位矩阵的测量噪声。σ_T是由残差分布推导出来的鲁棒估计值。

$\mathrm{Obj}(x,y)=\left\{\begin{array}{cc}0& x>y\\ {(1-(x/y))}^2& x<y\end{array}\right.---\left(7\right)$

每次迭代可以算出位姿的更新位移μ，从而得到新的位姿矩阵E_cw，我们使用10次迭代以使得估计可以从任何一组测量收敛。相机位姿粗略更新后，通过投影匹配大量点可以获得精确位姿E_cw。

根据最终的位姿E_cw及其Inlier地图点可以估计当前帧的平均深度Depth。这里由于使用Kinect传感器，可以直接使用深度图计算。

第二步：定位质量评价。对于第一步得到的位姿信息，其可信度和准确度并不一定有保证，为了剔除模糊的图像以及错误的位姿估计，根据特征点匹配数量以及重投影误差等标准将定位质量分为‘良好’，‘一般’，‘较差’三个等级。其中‘良好’代表定位可信并且精确度较高，‘一般’代表定位可信但精度不高，‘较差’代表定位不可信。定位质量可用在导航中作为置信度的衡量，也可以用来作为关键帧选择的标准之一。

为了防止错误的帧被添加到地图中，一个鲁棒的位姿评价非常重要，通常的作法是使用成功匹配点的百分数作为当前位姿质量的评价标准，对于很小的且没有遮挡的场景这是可行的，但一旦有了遮挡，其无法将错误匹配和遮挡区分开来将导致***将好的估计误认为是很差的估计，导致***错误启动定位恢复程序从而定位失败。

当定位错误时，会带来以下影响：

1.找到对应匹配的比例下降，数目减少；

2.σ_T增大；

3.重投影误差增大，点集欧氏距离和增大。

这里采用了一个更加鲁棒的方式，使用3者的乘积Error作为质量评价的好坏， 其表达式由(10)给出：

$\mathrm{Error}=\frac{\mathrm{FeatureTry}}{\mathrm{FeatureFound}}\&times;{\mathrm{\&sigma;}}_T\&times;{\mathrm{\&Sigma;}}_{j=1},...,\mathrm{FeatureFoundObj}(\frac{\left|e_j\right|}{{\mathrm{\&sigma;}}_j},{\mathrm{\&sigma;}}_T)---\left(10\right)$

ErrGood和ErrBad分别为设定的评价阈值；FeatrueTry为特征点匹配过程中选择进行匹配的特征点个数，FeatrueFound为成功匹配的特征点个数，σ_T为在位姿估计步骤中得到的重投影误差阈值，Obj()函数为Tukey双权值目标函数，e_j为重投影误差向量，σ_j为|e_j|的归一化因子。

我们将定位质量划分三个等级：‘良好’，‘一般’，‘较差’。其划分方法可表示为：

第三步：视野差计算。为了减少关键帧冗余，要在众多现有关键帧的基础上判断当前帧是否包含新的信息，计算图像匹配点之间的像素差是一种可行的方法，但是速度较慢。这里我们可以结合第一步中得到的位姿信息和平均深度值进行判断，将平移和旋转的加权和作为视野差，计算当前帧与地图中已有关键帧之间的最小视野差，这个视野差即可代表当前帧包含新场景信息的多少，从而通过控制关键帧之间的视野差避免***冗余的关键帧。

对于关键帧K_i，其在世界坐标系中的姿态为其相对于当前相机的姿态矩阵为

$E_{K_{\mathrm{iC}}}=E_{K_{i}W}\&CenterDot;{E_{\mathrm{CW}}}^{-1}---\left(8\right)$

矩阵可以写成(9)中的形式：

$E_{K_{i}C}=\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]=\left[\begin{array}{cccc}{r}_x& r_y& r_z& t\\ 0& 0& 0& 1\end{array}\right]---\left(9\right)$

[r_xr_yr_z]是旋转矩阵R的列向量形式，r_xr_yr_z分别代表姿态中三个轴在世界坐标系中的单位向量。其新Z轴与原Z轴的夹角可由r_z算出，这里z轴为相机指向轴：

θ_z＝cos^-1([0 0 1]·r_z)        (13) 

当前图像帧与关键帧K_i之间的视野差可以表示为：

$D_{K_{i}C}=\left|t\right|/\mathrm{Depth}+{\mathrm{\&theta;}}_z=\left|t\right|/\mathrm{Depth}+{\cos }^{-1}(\left[\begin{array}{ccc}0& 0& 1\end{array}\right]\&CenterDot;r_z)---\left(14\right)$

其中|t|表示当前帧与关键帧K_i的相对位移大小，同时为了让***更鲁棒，我们将Depth限制到一个固定的范围内(这里使用0.5～5，根据应用场景可做调整)：

$\mathrm{Depth}=\left\{\begin{array}{cc}0.5& (\mathrm{Depth}<0.5)\\ \mathrm{Depth}& (0.5\&le;\mathrm{Depth}\&le;5)\\ 5& (\mathrm{Depth}>5)\end{array}\right.---\left(12\right)$

对于每个关键帧都计算其与当前关键帧的视野差，选择最小的视野差D即可作为下一步是否***关键帧的判据。但这样对于每一个关键帧都要进行计算，当关键帧比较多的时候速度会变得很慢，为了加快速度，我们使用K-D树对关键帧的平移量以及Z轴方向的单位向量进行描述，这样可以快速找到视野差的最小值。

第四步：判断是否***关键帧。当获取了以上定位质量以及视野差信息后，便可以判断是否***当前帧作为关键帧，在以下两种情况下将***关键帧：

1)视野差大于阀值D1且定位质量良好。这种属于一般情况，***良好运行中，定位质量较好，一旦视野差积累到D1便将***关键帧；

2)视野差大于阀值D2(D2>D1)且定位质量为一般。这种情况是为了在***定位质量虽然不高但***迫切需要关键帧的时候***关键帧，为随后的图像序列定位作过渡。

一般情况下定位质量都比较好，一旦视野差D达到阀值D1就会***关键帧。但在某些环境下，图像出现一段质量不高的序列，导致定位质量一般但仍然可以用来定位，如果抛弃这些信息，之后的图像序列将无法进行正常定位，这个时候必须适时地***关键帧作为定位的过渡，第二种情况便是针对这样的情形设置的。

附图2是使用本发明中的方法选择关键帧进行重建得到的三维点云地图，可以看到其在实际应用中的表现非常不错，为了更加直观地体现关键帧的分布，我们将其对应的相机移动轨迹以及关键帧分布图提取出来如附图3，其中轨迹由定位质量良好的帧组成。注意附图3右上角的局部放大图中，虚框内的两帧的定位质量为一般，其身后没有定位良好帧留下的黑点路径，但这两帧却起到过渡作用，没有这两帧后面的定位无法正常进行。附图4展示了部分关键帧的原始图像与对齐深度图。

在应用实例中，平均每帧总共的处理时间不超过40ms，足以满足实时需求，其中 质量评价以及视野差计算加上关键帧判断总共花的时间不超过2ms，而主要的时间花费在于特征点提取，特征点匹配，位姿估计上，这一部分定位时间花费是导航应用不可避免的。

Claims (3)

1.一种基于位姿变化的实时三维重建关键帧确定方法，其特征在于：对于摄像头实时获取的图像，通过以下步骤判断是否被选为关键帧：

步骤1：获取摄像头当前帧，并通过特征点提取、特征点匹配、位姿估计步骤进行当前帧定位，得到当前帧在世界坐标系下的位姿矩阵E_cw以及当前帧的平均深度Depth；

步骤2：根据步骤1的当前帧定位过程，对当前帧的定位质量进行评价，得到评价结果：

其中，指标 $\mathrm{Error}=\frac{\mathrm{FeatureTry}}{\mathrm{FeatureFound}}\&times;{\mathrm{\&sigma;}}_T\&times;{\mathrm{\&Sigma;}}_{j=1,...,\mathrm{FeatureFound}}\mathrm{Obj}(\frac{\left|e_j\right|}{{\mathrm{\&sigma;}}_j},{\mathrm{\&sigma;}}_T),$ ErrGood和ErrBad分别为设定的评价阈值；FeatrueTry为特征点匹配过程中选择进行匹配的特征点个数，FeatrueFound为成功匹配的特征点个数，σ_T为在位姿估计步骤中得到的重投影误差阈值，Obj()函数为Tukey双权值目标函数，e_j为重投影误差向量，σ_j为|e_j|的归一化因子；

步骤3：计算当前帧与已有的关键帧的视野差，并得到最小的视野差D；当前帧与关键帧K_i的视野差为：

$D_{K_{i}C}=\left|t\right|/\mathrm{Depth}+{\cos }^{-1}(\left[\begin{array}{ccc}0& 0& 1\end{array}\right]\&CenterDot;r_z)$

其中|t|表示当前帧与关键帧K_i的相对位移大小，r_z为关键帧K_i在世界坐标系中姿态的z轴单位向量，z轴为相机指向轴；

步骤4：根据步骤2得到的当前帧定位质量评价以及步骤3得到的最小视野差D，判断是否***当前帧作为关键帧；满足***当前帧作为关键帧的条件是：

(D>D1&&TrackQuality＝良好)||(D>D2&&TrackQuality＝一般)

其中D1，D2分别为两个视野差阀值，且满足D2>D1。

2.根据权利要求1所述一种基于位姿变化的实时三维重建关键帧确定方法，其特征在于：步骤3中，采用K-D树数据结构对关键帧的平移量以及Z轴方向的单位向量进行描述，将当前帧代入K-D树数据结构进行计算，得到最小视野差D。

3.根据权利要求1所述一种基于位姿变化的实时三维重建关键帧确定方法，其特征在于：步骤3中，对当前帧的平均深度Depth进行限制：

$\mathrm{Depth}=\left\{\begin{array}{cc}0.5& (\mathrm{Depth}<0.5)\\ \mathrm{Depth}& (0.5\&le;\mathrm{Depth}\&le;5)\\ 5& (\mathrm{Depth}>5)\end{array}\right..$