CN105931275A

CN105931275A - 基于移动端单目和imu融合的稳定运动跟踪方法和装置

Info

Publication number: CN105931275A
Application number: CN201610346191.6A
Authority: CN
Inventors: 邓欢军; 方维; 乔羽; 李�根; 古鉴
Original assignee: Beijing Storm Mirror Technology Co Ltd
Current assignee: Beijing Storm Mirror Technology Co Ltd
Priority date: 2016-05-23
Filing date: 2016-05-23
Publication date: 2016-09-07

Abstract

本发明公开了一种基于移动端单目和IMU融合的稳定运动跟踪方法和装置，属于AR/VR运动跟踪技术领域，所述方法包括：判断图像的当前帧的跟踪特征点数目是否大于预设阈值，如果是，则采用光流法进行特征点跟踪，得到相机的当前位姿，如果否，则采用FAST特征检测算子获取特征点，并采用BRIEF算法计算描述子对图像进行特征匹配，得到相机的当前位姿；对相机的当前位姿进行卡尔曼滤波，得到视觉位姿；获取IMU在三维空间产生的加速度和角速度值，并对加速度和角速度值进行积分运算，得到IMU位姿；对视觉位姿和IMU位姿进行卡尔曼融合，并进行运动跟踪。与现有技术相比，本发明能够在移动端设备上获取更加稳定和快速的运动跟踪。

Description

基于移动端单目和IMU融合的稳定运动跟踪方法和装置

技术领域

本发明涉及AR/VR运动跟踪技术领域，特别是指一种基于移动端单目和IMU融合的稳定运动跟踪方法和装置。

背景技术

运动跟踪技术是要测量、跟踪、记录物体在三维空间中的运动轨迹，其主要是通过传感器技术获取运动场景的信息，并实时计算得到被跟踪物体在空间的姿态。其主要应用于AR(Augmented Reality，增强现实)/VR(Virtual Reality，虚拟现实)、可穿戴设备、机器人和自动驾驶导航等领域。当前，移动AR/VR等运动跟踪主要是使用手柄来进行交互，在交互过程中仅仅使用手机的陀螺仪来进行旋转跟踪。至2004年Nister首次提出视觉里程计的概念以来，基于视觉里程计的方法已成为实时姿态估计和运动跟踪的主流。它通过估计相机在空间的增量运动，在时间空间确定相机的运动轨迹。

目前主流的运动跟踪方法有基于单目或双目的视觉跟踪方法，其中单目的视觉跟踪方法由于其设备成本较低，广泛存在于的当前的移动平台，如手机、平板中，因此受到了越来越多的重视。但是由于成本所限，当前主流的手机端的摄像头帧率一般较低、且图像传感器的噪音相对较大，使得其在运动跟踪的过程中对环境的适应性较差。当前，基于移动端的单目运动跟踪方法主要存在传感器上和原理上两方面的不足。从传感器本身上说，由于受移动端成像质量和帧率的限制，当环境图像中特征点较少容易导致跟踪失败；当设备进行快速运动时，会使图像产生运动模糊，导致运动跟踪失败；从原理上说，基于单目的运动跟踪只能增量表示出相机的相对运动趋势，而不具有绝对的尺度信息。这两方面目前极大的制约了当前基于移动端的具体实际应用。

发明内容

本发明要解决的技术问题是提供一种能够在移动端设备上获取更加稳定和快速的运动跟踪的基于移动端单目和IMU融合的稳定运动跟踪方法和装置。

为解决上述技术问题，本发明提供技术方案如下：

一种基于移动端单目和IMU融合的稳定运动跟踪方法，包括：

获取图像；

判断图像的当前帧的跟踪特征点数目是否大于预设阈值，如果是，则采用光流法进行特征点跟踪，得到相机的当前位姿，如果否，则采用FAST特征检测算子获取特征点，并采用BRIEF算法计算描述子对图像进行特征匹配，得到相机的当前位姿；

对相机的当前位姿进行卡尔曼滤波，得到视觉位姿；

获取IMU在三维空间产生的加速度和角速度值，并对加速度和角速度值进行积分运算，得到IMU位姿预测结果；

对视觉位姿和IMU位姿预测结果进行卡尔曼融合，依据融合后得到的位姿信息进行运动跟踪。

进一步的，所述采用光流法进行特征点跟踪，得到相机的当前位姿包括：

对图像的前后相邻两帧图像上的对应匹配特征点集，计算得到两帧图像间的基础矩阵；

根据基础矩阵和相机的内参数，计算得到本质矩阵；

根据本质矩阵，采用SVD恢复得到相邻帧间的相对位姿；

将相对位姿与已获取的前一帧的相机的绝对位姿相乘，得到相机的当前位姿。

在跟踪成功的特征点周围分别取一定大小的块，采用图像相关性算法SSD，去除不满足阈值的特征点。

进一步的，所述采用FAST特征检测算子获取特征点，并采用BRIEF算法计算描述子对图像进行特征匹配，得到相机的当前位姿包括：

对图像当前帧使用FAST特征检测算子获取特征点，采用BRIEF算法计算描述子并与初始帧特征匹配，直接计算初始帧到当前帧的变换矩阵；

将变换矩阵与初始帧的相机的绝对位姿相乘，得到相机的当前位姿。

进一步的，所述对相机的当前位姿进行卡尔曼滤波，得到视觉位姿包括：

步骤1：对于图像的各帧，采用光流法累积所得结果和特征点直接匹配所获结果进行卡尔曼滤波，得到更加准确的相机的当前姿态，并进行不断迭代变换；

步骤2：采用离散卡尔曼滤波的更新方程，计算得到当前的协方差估计P_k ^-，具体的，离散卡尔曼滤波的更新方程为：

{\hat{x}}_{k} = A {\hat{x}}_{k - 1} + {Bu}_{k - 1}

P_k ^-＝AP_k-1A^T+Q

其中，是光流法计算得到的相机姿态，A为状态转移矩阵，B是控制增益，P_k-1是前一帧的协方差估计，Q是噪声协方差矩阵；

步骤3：采用观测方程，计算卡尔曼增益K_k，具体的，观测方程为：

z_k＝Hx_k+v_k

K_k＝P_k ^-H^T(HP_k ^-H^T+R)^-1

其中，z_k是通过FAST特征点匹配算法计算得到的相机姿态，H是观测矩阵，v_k表示观测噪声，R是观测噪声的协方差矩阵；

步骤4：根据离散卡尔曼滤波器状态更新方程，更新***设置：

{\hat{x}}_{k} = {\hat{x}}_{k}^{-} + K_{k} (z_{k} - H {\hat{x}}_{k}^{-})

P_{k} = (I - K_{k} H) P_{k}^{-} .

一种基于移动端单目和IMU融合的稳定运动跟踪装置，包括：

获取模块：用于获取图像；

视觉跟踪模块：用于判断图像的当前帧的跟踪特征点数目是否大于预设阈值，如果是，则采用光流法进行特征点跟踪，得到相机的当前位姿，如果否，则采用FAST特征检测算子获取特征点，并采用BRIEF算法计算描述子对图像进行特征匹配，得到相机的当前位姿；

滤波模块：用于对相机的当前位姿进行卡尔曼滤波，得到视觉位姿；

IMU位姿计算模块：用于获取IMU在三维空间产生的加速度和角速度值，并对加速度和角速度值进行积分运算，得到IMU位姿预测结果；

融合模块：用于对视觉位姿和IMU位姿预测结果进行卡尔曼融合，依据融合后得到的位姿信息进行运动跟踪。

根据基础矩阵和相机的内参数，计算得到本质矩阵；

根据本质矩阵，采用SVD恢复得到相邻帧间的相对位姿；

进一步的，所述滤波模块，还用于：

卡尔曼滤波模块：用于对于图像的各帧采用光流法累积所得结果和特征点直接匹配所获结果进行卡尔曼滤波，得到更加准确的相机的当前姿态，并进行不断迭代变换；

第一计算模块：用于采用离散卡尔曼滤波的更新方程，计算得到当前的协方差估计P_k ^-，具体的，离散卡尔曼滤波的更新方程为：

{\hat{x}}_{k} = A {\hat{x}}_{k - 1} + {Bu}_{k - 1}

P_k ^-＝AP_k-1A^T+Q

第二计算模块：用于采用观测方程，计算卡尔曼增益K_k，具体的，观测方程为：

z_k＝Hx_k+v_k

K_k＝P_k ^-H^T(HP_k ^-H^T+R)^-1

更新***模块：用于根据离散卡尔曼滤波器状态更新方程，更新***设置：

{\hat{x}}_{k} = {\hat{x}}_{k}^{-} + K_{k} (z_{k} - H {\hat{x}}_{k}^{-})

P_{k} = (I - K_{k} H) P_{k}^{-} .

本发明具有以下有益效果：

本发明中，针对当前基于移动跟踪的问题，本发明采用基于单目的快速的FAST算法和光流法为主，同时融合移动端已有的IMU(Inertial Measurement Unit惯性测量单元)硬件，在不借助外接设备的前提下，实现基于单目和IMU融合的稳定运动跟踪方法。本发明采用快速的FAST算法和光流法，处理速度快，能实现实时跟踪；融合了特征点匹配和光流法跟踪，视觉跟踪结果精度比传统的单一方法精度高；在EKF框架下进行视觉和IMU数据的融合，结合了相机和惯性传感器各自的优点实现了快速并且准确的位姿估计。并且，本发明通过借助IMU数据获取的稳定性及其高帧率，能有效克服基于图像特征点不足、运动模糊等产生的跟踪失败问题。在视觉进行稳定跟踪的同时，通过卡尔曼滤波实现视觉所获姿态的跟踪，以得到移动端更加平稳、精确的空间位姿。同时，通过卡尔曼滤波获取的精确相机位姿对IMU数据进行校正，减少IMU本身漂移对精度的影响。最后，利用卡尔曼滤波对IMU和单目相机获取的位姿进行融合，在获取稳定运动跟踪的同时，实现对单目重建的尺度估计。与现有技术相比，本发明能够在移动端设备上获取更加稳定和快速的运动跟踪。

附图说明

图1为本发明的基于移动端单目和IMU融合的稳定运动跟踪方法的流程示意图；

图2为本发明的基于移动端单目和IMU融合的稳定运动跟踪方法的视觉位姿计算和卡尔曼滤波原理示意图；

图3为本发明的基于移动端单目和IMU融合的稳定运动跟踪方法的视觉位姿和IMU位姿卡尔曼融合原理示意图；

图4为本发明的基于移动端单目和IMU融合的稳定运动跟踪方法的坐标***示意图；

图5为本发明的基于移动端单目和IMU融合的稳定运动跟踪方法的单目视觉和IMU***示意图；

图6为本发明的基于移动端单目和IMU融合的稳定运动跟踪方法的技术方案总流程框图；

图7为本发明的基于移动端单目和IMU融合的稳定运动跟踪装置的结构示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

一方面，本发明提供一种基于移动端单目和IMU融合的稳定运动跟踪方法，如图1所示，包括：

步骤S101：获取图像；

步骤S102：判断图像的当前帧的跟踪特征点数目是否大于预设阈值，如果是，则采用光流法进行特征点跟踪，得到相机的当前位姿，如果否，则采用FAST特征检测算子获取特征点，并采用BRIEF算法计算描述子对图像进行特征匹配，得到相机的当前位姿；

本步骤为基于单目获取视觉图像的运动跟踪过程，进行基于单目获取视觉图像的运动跟踪之前，，在图像特征检测方面，考虑到移动端较弱的计算能力，采用速度较快的FAST特征检测算子，结合光流法进行跟踪。对于图像帧序列：I₀,...,I_k,I_k+1,...,I_k+n,...，I₀,...,I_k帧图像使用FAST特征检测算子，BRIEF算法计算描述子，并进行匹配，直到第I_k帧匹配成功点对数大于阈值，则初始化成功。

本步骤中，基于单目获取视觉图像的运动跟踪的具体过程可以为：

以第一帧对应的位置为原点，第一帧图像的相机位姿态位[I|0]，第I_k帧图像的相机的绝对位姿为[R_(0,k)|t_(0,k)]。在后续帧的跟踪过程中，为提高处理的效率，通过使用光流法进行相邻帧特征点跟踪，直到n帧后，当跟踪到第I_k+n图像特征点个数小于阈值时，为保证跟踪的鲁棒性，对第I_k+n帧图像重新使用FAST特征检测算子获取更多的特征点继续跟踪，并使用BRIEF算法计算描述子与第I_k帧图像进行特征匹配得到更准确的位姿。通过上述跟踪方法，在一定程度上兼顾了单目视觉跟踪过程中的效率和鲁棒性。

步骤S103：对相机的当前位姿进行卡尔曼滤波，得到视觉位姿；

本步骤中，卡尔曼滤波(Kalman filtering)是一种采用线性***的状态方程，通过***输入输出观测数据，对***状态进行最优估计的算法。本步骤中采用卡尔曼滤波能够有效地滤除***中的噪声和干扰的影响，从而提高相机跟踪的稳定性。

步骤S104：获取IMU在三维空间产生的加速度和角速度值，并对加速度和角速度值进行积分运算，得到IMU位姿预测结果；

本步骤中，涉及的IMU(Inertial measurement unit，简称IMU)是测量物体三轴姿态角速度(或角速率)和加速度的装置。一般的，一个IMU包含了三个单轴的加速度计和三个单轴的陀螺，加速度计用于检测物体在载体坐标***独立三轴的加速度信号，陀螺用于检测载体相对于导航坐标系的角速度信号，本步骤中，IMU能在3个垂直轴方向产生加速度和角速度值，进行积分对位姿预测，而移动设备内的单目视觉传感器可以提供没有尺度的3D位置以及位姿的测量值。在前后相邻帧之间获取IMU数据进行位姿预测，后一帧视觉位姿估计作为测量值进行更新。

步骤S105：对视觉位姿和IMU位姿预测结果进行卡尔曼融合，依据融合后得到的位姿信息进行运动跟踪；

本步骤中，为获取稳定的跟踪位姿，充分利用视觉和IMU的传感器得到的信息，本发明通过使用卡尔曼融合方法，将视觉图像得到的视觉位姿和IMU积分得到的位姿预测结果进行融合，以实现两异类传感器的信息互补和目标状态估计，从而获取融合后更为准确、可靠的位姿。进而，依据融合后的位姿信息进行运动跟踪。

作为本发明的一种改进，步骤S102中的采用光流法进行特征点跟踪，得到相机的当前位姿包括：

根据基础矩阵和相机的内参数，计算得到本质矩阵；

根据本质矩阵，采用SVD恢复得到相邻帧间的相对位姿；

针对上述采用光流法进行特征点跟踪方法的改进，本发明提供一种完整具体的实施例如下：

通过跟踪过程中前后两帧图像上的对应匹配特征点集(X_L,X_R)，由计算机视觉中的基本方法，可得其对应关系X_L ^TFX_R＝0，由此可进一步计算得到两幅图像间的基础矩阵F。

由基础矩阵F和本质矩阵间E间的相互关系：E＝K_L ^TFK_R，其中(K_L,K_R)分别相机的内参数，在本移动端的单目***中，该内参数可事先标定且K_L＝K_R。

根据获取的本质矩阵E，利用SVD可以恢复得到相邻帧间的相对位姿[R_(k,k+1)|t_(k,k+1)]。

以第一帧对应的位置为原点，用该相对位姿[R_(k,k+1)|t_(k,k+1)]与前一帧相机绝对位姿[R_(0,k)|t_(0,k)]相乘，即可得到当前相机的绝对位姿[R_(0,k+1)|t_(0,k+1)]。

本发明在相机在运动过程中，可以依次获取每帧图片所对应的一系列相对位姿，进而得到绝对位姿。

作为本发明的另一种改进，步骤S102中的采用光流法进行特征点跟踪，得到相机的当前位姿包括：

本发明中，在使用光流法进行跟踪的过程中，若第I_k帧图像计算了特征点和描述子后，第I_k+1帧图使用光流法跟踪特征点，为保证光流跟踪特征点的正确性，在跟踪成功的特征点分别取它周围8*8大小的块，使用图像相关性算法SSD，去除不满足阈值的特征点，以提高光流跟踪的准确性。

作为本发明的进一步改进，步骤S102中的采用FAST特征检测算子获取特征点，并采用BRIEF算法计算描述子对图像进行特征匹配，得到相机的当前位姿包括：

本发明中，为保证上述跟踪所得相机实时位姿的准确性和平滑性，便于运动跟踪在AR/VR领域的应用，当经过n帧后光流法成功跟踪的特征点数小于阈值时，第I_k+n帧图像重新使用FAST特征检测算子和BRIEF计算描述子并与第I_k帧特征匹配，直接计算第I_k帧到第I_k+n帧的变换矩阵[R_(k,k+n)|t_(k,k+n)]，相乘第I_k帧的相机绝对位置位姿[R_(0,k)|t_(0,k)]'，进而得到较准确的第I_k+n帧相机绝对位姿[R_(0,k+n)|t_(0,k+n)]'。

作为本发明的更进一步的改进，原理图参照图2所示，步骤S103包括：

{\hat{x}}_{k} = A {\hat{x}}_{k - 1} + {Bu}_{k - 1}

P_k ^-＝AP_k-1A^T+Q

z_k＝Hx_k+v_k

K_k＝P_k ^-H^T(HP_k ^-H^T+R)^-1

步骤4：根据离散卡尔曼滤波器状态更新方程，更新***设置：

{\hat{x}}_{k} = {\hat{x}}_{k}^{-} + K_{k} (z_{k} - H {\hat{x}}_{k}^{-})

P_{k} = (I - K_{k} H) P_{k}^{-} .

本发明中，通过对单目相机姿态的卡尔曼滤波，在提高相机跟踪稳定性的同时，也为后续IMU和相机的融合提供更加准确平稳的姿态测量值[R_(0,k)|t_(0,k)]”。

本发明中，视觉位姿和IMU位姿进行卡尔曼融合过程可以采用本领域技术人员公知的多种方法实现，优选的，本发明可以参考如下实施例进行：

视觉和IMU融合流程示意图，如图3所示。为了方便描述，定义下标w,i,v,c分别表示世界坐标系，IMU坐标，视觉坐标系和相机坐标系。坐标系定义，如图4所示；

1)假设惯性测量包括一个特定的偏差b和高斯白噪声n，则实际的角速度ω和实际加速度a如下：

ω＝ω_m-b_ω-n_ω，a＝a_m-b_a-n_a

其中下标m表示测量值，动态偏差b能被表示为一个随机过程：

{\overset{\cdot}{b}}_{ω} = n_{b ω}, {\overset{\cdot}{b}}_{a} = n_{b a}

滤波器的状态量包括IMU在世界坐标系中的位置以及世界坐标系相对IMU坐标系的速度和姿态四元素同时，还有陀螺仪和加速度计的偏差b_ω，b_a以及视觉尺度因子λ。以及标定所得的IMU和相机间的旋转关系平移关系由此可以得到一个包含24个元素状态向量X：

X = {\begin{matrix} {p_{w}^{i}}^{T} & {v_{w}^{i}}^{T} & {q_{w}^{i}}^{T} & {b_{ω}}^{T} & {b_{a}}^{T} & λ & p_{i}^{c} & q_{i}^{c} \end{matrix}}

2)在上述的状态表达描述中，我们使用四元素对姿态进行描述。在这种情况下，我们使用四元素误差来表示误差和其协方差，这样能增加数值稳定性以及在最小表达。所以，我们定义了22元素的错误状态向量：

\tilde{x} = {\begin{matrix} {Δp}_{w}^{i}^{T} & {Δv}_{w}^{i}^{T} & {δθ}_{w}^{i}^{T} & {Δb}_{ω}^{T} & {Δb}_{a}^{T} & Δ λ & {Δp}_{i}^{c}^{T} & {δθ}_{i}^{c}^{T} \end{matrix}}

考虑到估计值和其真值x，例如除了四元素误差外，我们对所有状态变量使用该方法，其中，四元素误差定义为：

{δq}_{w}^{i} = q_{w}^{i} &CircleTimes; {\hat{q}}_{w}^{i}^{- 1} \approx {[\begin{matrix} \frac{1}{2} {δθ}_{w}^{i}^{T} & 1 \end{matrix}]}^{T}, {δq}_{i}^{c} = q_{i}^{c} &CircleTimes; {\hat{q}}_{i}^{c}^{- 1} \approx {[\begin{matrix} \frac{1}{2} {δθ}_{i}^{c}^{T} & 1 \end{matrix}]}^{T}

由此，可以得到连续错误状态的线性化方程：

\overset{\cdot}{\tilde{x}} = F_{c} \tilde{x} + G_{c} n

其中，是噪声向量。在当前的解决方法中，我们对算法的速度尤其关心，为此，在两相邻状态的积分时间内，我们假设F_c和G_c是恒定值。为了对其进行离散化表示：

F_{d} = \exp (F_{c} Δ t) = I_{d} + F_{c} Δ t + \frac{1}{2} F_{c}^{2} {Δt}^{2} + ...

同时，可以通过积分得到离散时间的协方差矩阵Q_d：

Q_{d} = {&Integral;}_{Δ t} F_{d} (τ) G_{c} Q_{c} G_{C}^{T} F_{d} {(τ)}^{T} d τ

由计算所得F_d和Q_d，根据卡尔曼滤波，计算得到状态协方差矩阵：

P_k+1|k＝F_dP_k|kF_d ^T+Q_d

3)对于相机的位置测量我们根据单相机的视觉跟踪获取的绝对位姿，而得到其对应的测量位置。由此得到如下测量模型：

z_{p} = p_{v}^{c} = C_{(q_{v}^{w})}^{T} (p_{w}^{i} + C_{(q_{w}^{i})}^{T} p_{i}^{c}) λ + n_{p}

其中，是IMU在世界坐标系下的姿态的旋转矩阵，是视觉坐标系相对世界坐标系的旋转矩阵。

4)定义位置测量误差模型：

{\tilde{z}}_{p} = z_{p} - {\hat{z}}_{p} = C_{(q_{v}^{w})}^{T} (p_{w}^{i} + C_{(q_{w}^{i})}^{T} p_{i}^{c}) λ + n_{p} - C_{(q_{v}^{w})}^{T} ({\hat{p}}_{w}^{i} + C_{({\hat{q}}_{w}^{i})}^{T} {\hat{p}}_{i}^{c}) \hat{λ}

定义旋转测量误差模型：

{\tilde{z}}_{q} = z_{q} - {\hat{z}}_{q} = H_{q}^{w i} {δq}_{w}^{i} = H_{q}^{i c} {δq}_{i}^{c}

其中，和是分别是误差状态量和的错误测量矩阵。最后，测量矩阵可以被累加为：

[\begin{matrix} {\tilde{z}}_{p} \\ {\tilde{z}}_{q} \end{matrix}] = [\begin{matrix} H_{p} \\ \begin{matrix} 0_{3 \times 6} & {\tilde{H}}_{q}^{w i} & 0_{3 \times 10} & {\tilde{H}}_{q}^{i c} \end{matrix} \end{matrix}] \tilde{x}

5)当我们获取到测量矩阵H时，我们可以根据卡尔曼滤波器的步骤进行更新。

如图5所示，为单目视觉和IMU融合示意图，通过上述基于卡尔曼滤波的单目视觉和IMU数据融合，得到移动端稳定的姿态输出，进而实现稳定的运动跟踪，本发明的技术方案总流程框图，如图6所示。

上述实施例仅仅是本发明的视觉位姿和IMU位姿进行卡尔曼融合的一个举例，除此实施例以外，还可以采用本领域技术人员公知的其它方法，也能够实现本发明的技术效果。

另一方面，本发明一种基于移动端单目和IMU融合的稳定运动跟踪装置，如图7所示，包括：

获取模块11：用于获取图像；

视觉跟踪模块12：用于判断图像的各帧的跟踪特征点数目是否大于预设阈值，如果是，则采用光流法进行特征点跟踪，得到相机的当前位姿，如果否，则对图像采用FAST特征检测算子获取特征点，并采用BRIEF算法计算描述子对图像进行特征匹配，得到相机的当前位姿；

滤波模块13：用于对相机的当前位姿进行卡尔曼滤波，得到视觉位姿；

IMU位姿计算模块14：用于获取IMU在三维空间产生的加速度和角速度值，并对加速度和角速度值进行积分运算，得到IMU位姿预测结果；

融合模块15：用于对视觉位姿和IMU位姿预测结果进行卡尔曼融合，依据融合后得到的位姿信息进行运动跟踪。

与上述方法相对应地，与现有技术相比，本发明同样能够在移动端设备上获取能加稳定和快速的运动跟踪。

作为本发明的一种改进，视觉跟踪模块12进行的采用光流法进行特征点跟踪，得到相机的当前位姿包括：

根据基础矩阵和相机的内参数，计算得到本质矩阵；

根据本质矩阵，采用SVD恢复得到相邻帧间的相对位姿；

作为本发明的另一种改进，视觉跟踪模块12进行的采用光流法进行特征点跟踪，得到相机的当前位姿包括：

本发明中，去除不满足阈值的特征点，能够提高光流跟踪的准确性。

作为本发明的进一步改进，视觉跟踪模块12进行的对图像采用FAST特征检测算子获取特征点，并采用BRIEF算法计算描述子对图像进行特征匹配，得到相机的当前位姿包括：

本发明中，能够保证上述跟踪所得相机实时位姿的准确性和平滑性，便于运动跟踪在AR/VR领域的应用。

作为本发明的更进一步的改进，滤波模块13，还用于：

{\hat{x}}_{k} = A {\hat{x}}_{k - 1} + {Bu}_{k - 1}

P_k ^-＝AP_k-1A^T+Q

z_k＝Hx_k+v_k

K_k＝P_k ^-H^T(HP_k ^-H^T+R)^-1

{\hat{x}}_{k} = {\hat{x}}_{k}^{-} + K_{k} (z_{k} - H {\hat{x}}_{k}^{-})

P_{k} = (I - K_{k} H) P_{k}^{-} .

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims

1.一种基于移动端单目和IMU融合的稳定运动跟踪方法，其特征在于，包括：

获取图像；

对相机的当前位姿进行卡尔曼滤波，得到视觉位姿；

2.根据权利要求1所述的基于移动端单目和IMU融合的稳定运动跟踪方法，其特征在于，所述采用光流法进行特征点跟踪，得到相机的当前位姿包括：

根据基础矩阵和相机的内参数，计算得到本质矩阵；

根据本质矩阵，采用SVD恢复得到相邻帧间的相对位姿；

3.根据权利要求1所述的基于移动端单目和IMU融合的稳定运动跟踪方法，其特征在于，所述采用光流法进行特征点跟踪，得到相机的当前位姿包括：

4.根据权利要求1-3中任一所述的基于移动端单目和IMU融合的稳定运动跟踪方法，其特征在于，所述采用FAST特征检测算子获取特征点，并采用BRIEF算法计算描述子对图像进行特征匹配，得到相机的当前位姿包括：

5.根据权利要求4所述的基于移动端单目和IMU融合的稳定运动跟踪方法，其特征在于，所述对相机的当前位姿进行卡尔曼滤波，得到视觉位姿包括：

{\hat{x}}_{k} = A {\hat{x}}_{k - 1} + {Bu}_{k - 1}

P_k ^-＝AP_k-1A^T+Q

z_k＝Hx_k+v_k

K_k＝P_k ^-H^T(HP_k ^-H^T+R)^-1

步骤4：根据离散卡尔曼滤波器状态更新方程，更新***设置：

{\hat{x}}_{k} = {\hat{x}}_{k}^{-} + K_{k} (z_{k} - H {\hat{x}}_{k}^{-})

P_{k} = (I - K_{k} H) P_{k}^{-} .

6.一种基于移动端单目和IMU融合的稳定运动跟踪装置，其特征在于，包括：

获取模块：用于获取图像；

7.根据权利要求6所述的基于移动端单目和IMU融合的稳定运动跟踪装置，其特征在于，所述采用光流法进行特征点跟踪，得到相机的当前位姿包括：

根据基础矩阵和相机的内参数，计算得到本质矩阵；

根据本质矩阵，采用SVD恢复得到相邻帧间的相对位姿；

8.根据权利要求6所述的基于移动端单目和IMU融合的稳定运动跟踪装置，其特征在于，所述采用光流法进行特征点跟踪，得到相机的当前位姿包括：

9.根据权利要求6-8中任一所述的基于移动端单目和IMU融合的稳定运动跟踪装置，其特征在于，所述采用FAST特征检测算子获取特征点，并采用BRIEF算法计算描述子对图像进行特征匹配，得到相机的当前位姿包括：

10.根据权利要求9所述的基于移动端单目和IMU融合的稳定运动跟踪装置，其特征在于，所述滤波模块，还用于：

{\hat{x}}_{k} = A {\hat{x}}_{k - 1} + {Bu}_{k - 1}

P_k ^-＝AP_k-1A^T+Q

z_k＝Hx_k+v_k

K_k＝P_k ^-H^T(HP_k ^-H^T+R)^-1

{\hat{x}}_{k} = {\hat{x}}_{k}^{-} + K_{k} (z_{k} - H {\hat{x}}_{k}^{-})

P_{k} = (I - K_{k} H) P_{k}^{-} .