CN105606127A

CN105606127A - 一种双目立体相机与惯性测量单元相对姿态标定方法

Info

Publication number: CN105606127A
Application number: CN201610012754.8A
Authority: CN
Inventors: 叶平; 贾庆轩; 孙汉旭; 高树会; 窦仁银; 杨俊锋
Original assignee: Beijing University of Posts and Telecommunications
Current assignee: Beijing University of Posts and Telecommunications
Priority date: 2016-01-11
Filing date: 2016-01-11
Publication date: 2016-05-25

Abstract

本发明公开了一种简单可行的基于绝对重力方向的立体相机与惯性测量单元相对姿态标定方法。该方法使用重力方向向量作为参考向量，分别求取出重力方向向量在相机坐标系下与IMU坐标系下的表示，得到同一向量在两个不同坐标系下的表示，就可以求解出两个坐标系之间的姿态变化关系。最后，通过重投影误差进行精度校验，给出该标定方法在视觉里程计中的一种应用。实验表明，该方法可以准确的解算出相机与IMU之间的相对姿态。该方法可以用来辅助移动机器人、球形机器人视觉定位。

Description

一种双目立体相机与惯性测量单元相对姿态标定方法

技术领域：

本发明是涉及双目立体视觉及惯性测量单元的相对姿态的标定方法，该方法可以辅助视觉定位，为视觉传感器与IMU信息融合提供必要的条件。

背景技术：

在球形机器人、无人机导航、运动捕捉以及增强现实等领域中，经常将相机与惯性测量单元绑定在一个运动物体上，通过对两者信息的融合，确定出一个较精确的位姿。双目立体视觉模拟人类双眼处理景物的方式对空间点进行定位，可以很好地解决非线性误差，是其中一个重要研究方向。但仅仅依靠视觉信息实现机器人的自主定位等功能，有一定的缺陷，如传统的视觉里程计以相机的初始坐标系作为定位坐标系，当相机安装不平行于地面时，会导致垂直方向上定位不准确，可以使用IMU信息，给出全局参考坐标系，使定位结果更加准确。传统的相机与惯性测量单元标定方法有以下几点：

(1)Mirzaei和Roumeliotis提出了一种使用扩展卡尔曼滤波器求取摄像机-IMU间的相对位姿的方法需要用到特定的标定板，当***初始误差和噪声较大时，计算结果的精度较低。

(2)Kelly和Sukhatme提出了一种基于无迹卡尔曼滤波器的传感器位姿标定方法，不需要特定的标定板，但重力加速度对标定精度有一定影响，当对大地坐标系下的重力加速度进行估计时，模型的准确度有限，故对标定精度有一定影响。

(3)Johnson等使用高精度3D激光扫描仪辅助求取摄像机-IMU相对位姿关系，但激光扫描仪一般较昂贵。

(4)Lang和Pinz，根据手眼标定方程，提出了一种受限的非线性优化算法，可用于计算相机和IMU之间的旋转变化角度[5]。该方法中假定摄像机与IMU位置十分相近，忽落了两者之间的相对位置关系，但该假设是不成立的，对传感器数据融合的结果有一定的影响。

(5)Lobo和Dias使用两个完全独立的步骤标定摄像机与IMU之间的位置关系与姿态关系。将IMU固定在一个可旋转的平台上，执行规定的运动，由手眼标定的方法得出摄像机与IMU之间的位置关系。该方法需要用到重物和旋转台，仪器安装的精度直接影响标定结果。

如何让得到简便精确的求取相机坐标系与IMU坐标系的相对姿态关系以辅助双目立体视觉定位成为本专利申请人关注和研究的新课题。

发明内容：

本发明的目的在于解决现有的视觉里程计中存在的问题，提出一种双目立体相机与IMU相对姿态标定方法。标定***由支架，重物，细线，双目立体相机与IMU组成。IMU与相机固连在一起，两传感器处于相对静止的状态，如图1所示。本发明的技术方案包括以下步骤：

1：用已标定好的双目相机，进行左右图像连续采集。得到左图像与右图像中，细线的直线方程。

2：根据双目测距原理，测得细线在相机坐标系下的表示，单位化后即机坐标系下的重力方向向量。

3：静止状态下，惯性测量单元所测得的加速度即为重力加速速，单位化后就得到惯性测量单元在IMU下的表示。

4：使相机与IMU固连单元以不同的姿态，静止于细线前方，多采集几组数据，重复步骤2与步骤3。

5：计算出相机坐标系与IMU坐标系间的姿态关系。

6：时间同步，由于IMU采集频率高于双目立体相机，故需要时间同步。

本发明的优点在于：

1)本发明通过细线确定绝对重力方向，减少了由于重力方向不准确带来的误差。

2)求解旋转四元数过程中，使用了RANSIC算法，去除噪声较大的实验数据，增加了***的鲁棒性。

3)本文充分运用了已标定的双目立体相机可以直接测得空间一点在相机坐标系下的三维坐标的优势，更准确的确定了像机坐标系下的绝对重力方向。

附图说明：

图1是相机-陀螺仪标定***示意图

图2是双目测距原理示意图

图3是本发明中定义的各个坐标系

图4相机坐标系下重力方向向量表示

具体实施方式：

下面结合说明书附图对本发明方法做详细说明：

步骤1：对双目摄像机进行标定，获取相机内外参数，包括：焦距f，基线长度b，图像中心像素位置u₀，v₀，整幅图像的校正矩阵等，相机的内参数矩阵:

步骤2：开启双目相机，进行左右图像连续采集，利用步骤1获取的相机参数对图像进行校正。

步骤3：得到左图像与右图像中，细线的直线方程。

步骤3-1：可以使用霍夫变换或者手动选取细线端点的方法，获得直线方程，得到细线端点的像素坐标两个点(u1l,v1l)与点(u2l,v2l)，可以求解出视差d＝x_l-x_r使用立体几何原理求得像素点对应的三维坐标值，其计算公式为：

步骤3-2：将相机坐标系下，细线方向向量单位化，就得到相机坐标系下重力方向向量的表示。

步骤4：通常惯性测量单元的加速度计测得的加速度a由重力向量g和***自身加速度a_b两部分组成：a＝-g+a_b。在IMU静止或匀速运动的情况下，测得的加速度为重力加速度，将IMU所测得的加速度信息单位化后，即得到重力方向向量在IMU坐标系下的表示。测得重力加速度单位化公式为：

步骤5：重复步骤二与步骤三，多采集几组数据，提高***的鲁棒性。

步骤6：解算IMU坐标系与相机坐标系之间的旋转四元数，假设^Ig_i为第i次测得的重力方向在IMU坐标系下的单位向量，^Cg_i为第i次测得的重力方向在相机坐标系下的单位向量。现假设四元数表示从{I}系到{C}系的位姿变换，于是，有根据已有文献中求取旋转四元数方法可知：能够使取得最大值的旋转四元数即为所求。

上式可以写为：

令^Ig_i＝(^Ix_i ^Iy_i ^Iz_i)，^cg_i＝(^cx_i ^cy_i ^cz_i)设：

将公式(6)和(7)带入公式(5)，有：

所要求的单位四元组也就是使成立的解，其中：令N如下所示：

N为对称矩阵，所要求的四元数即为N的最大特征值λ_max所对应的特征向量。

步骤7：重复步骤6，进行多次迭代，记录每一次迭代中得到的局内特征点数，找出局内特征点数最多的一次，作为像极坐标系与IMU坐标系之间的旋转四元数。

步骤8：由于IMU采样频率相对立体相机而言较快，故IMU返回信息不能直接使用，本发明采用一种比较简便的方法，以***时间作为参考，记录下每组图片的时间戳与IMU返回每组数据的时间戳，根据每组图片的时间戳寻找与其相对时间差最小的IMU数据。由于时间是线性增加的，在IMU先于相机采集数据的情况下，理论上每组图片都能够找到与之对应的IMU数据。

Claims

1.一种双目立体相机与惯性测量单元相对姿态标定方法，其特征在于，包括以下步骤：

步骤一：对双目摄像机与IMU固连在一起，对双目摄像机进行标定。

步骤二：将双目摄像机与IMU固连静止放置在细线前，开启相机与IMU，同时采集图像与IMU数据。

步骤三：根据双目测距原理，测得细线在相机坐标系下的表示，单位化后即机坐标系下的重力方向向量。

步骤四：静止状态下，惯性测量单元所测得的加速度即为重力加速速，单位化后就得到惯性测量单元在IMU下的表示。

步骤四：使相机与IMU固连单元以不同的姿态，静止于细线前方，多采集几组数据，重复步骤二、步骤三与步骤四。

步骤五：计算出相机坐标系与IMU坐标系间的姿态关系。

步骤六：时间同步，有***时间，进行时间同步。

2.权利要求1所述的双目立体相机与惯性测量单元相对姿态标定方法，其特征在于所述步骤二中采用细线与重摆计算出相机坐标系下的重力方向该特征充分利用了双目测距原理，简便的得到了相机坐标系下的重力方向。

3.权利要求1所述的双目立体相机与惯性测量单元相对姿态标定方法，其特征在于在静止条件惯性测量单元所测得的加速度即为IMU坐标系下。

4.权利要求1所述的双目立体相机与惯性测量单元相对姿态标定方法，其特征在于，使用RANSIC算法，每次选取三组数据计算出相机坐标系与IMU坐标系间的旋转四元数，对其他相机坐标系下测得的重力方向向量，投影到IMU坐标系下，***内点数目，迭代N次后，以局内点数目最大的一组实验数据作为输入，计算相机坐标系与IMU坐标系间的旋转四元数。